CN104509087A - 双目视觉体验增强系统 - Google Patents

双目视觉体验增强系统 Download PDF

Info

Publication number
CN104509087A
CN104509087A CN201380041083.2A CN201380041083A CN104509087A CN 104509087 A CN104509087 A CN 104509087A CN 201380041083 A CN201380041083 A CN 201380041083A CN 104509087 A CN104509087 A CN 104509087A
Authority
CN
China
Prior art keywords
image
binocular
contrast
tone mapping
vision
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380041083.2A
Other languages
English (en)
Other versions
CN104509087B (zh
Inventor
黄田津
王平安
杨轩
张琳玲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chinese University of Hong Kong CUHK
Original Assignee
Chinese University of Hong Kong CUHK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chinese University of Hong Kong CUHK filed Critical Chinese University of Hong Kong CUHK
Publication of CN104509087A publication Critical patent/CN104509087A/zh
Application granted granted Critical
Publication of CN104509087B publication Critical patent/CN104509087B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00132—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
    • H04N1/00169—Digital image input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/23—Reproducing arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/144—Processing image signals for flicker reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/006—Pseudo-stereoscopic systems, i.e. systems wherein a stereoscopic effect is obtained without sending different images to the viewer's eyes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

在基于计算机的图形成像系统中，通过基于优化的双目框架采用双目色调映射来生成比单个色调映射图像具有更多的视觉丰富性的双目单视觉图像，该双目色调映射遵循双目观看舒适性预测器(BVCP)度量以确保双目色调映射图像对的稳定形成，从而在不触发视觉不适的情况下可使图像对的视觉信息内容最大化。

Description

双目视觉体验增强系统
相关申请的交叉引用
本申请根据35USC§119要求于2012年8月2日提交的第61/678,732号美国临时专利申请以及于2013年7月30日提交的第13/954,685号的美国专利申请的权益。
背景
本发明涉及视觉图像的计算机辅助合成。更具体地，本发明涉及通过用于产生单个感知的单个高动态范围图像来合成图像对的系统和方法。
当从单目显示扩展到双目显示时，引入了附加的图像域。现有的双目显示系统仅采用此附加的图像域以用于立体视觉。人类视觉不仅能够融合两个移位的图像，还可将具有不同细节、对比度和亮度的两个图像融合到某一限制。该现象被称为双目单视觉(binocular singlevision)。相比于仅两个视图的线性混合，人类能够通过双目融合感知更多的视觉内容。
3D电影的流行导致广泛使用低成本的双目显示装置。虽然双显示域(一个用于左眼，另一个用于右眼)加倍了可视化空间，但现有的双目显示器仅用于一种类型的双目视觉：立体视觉。在日常生活中通常经历的另一双目视觉现象是双目单视觉(或单个视觉)，即，来自两眼的图像融合并被感知为单个感知，即使这两个图像是不同的(图2)[Howard和Rogers 2002年]。这种图像融合不是简单的混合，而是复杂的非线性神经生理过程[MacMillan等人，2007年]。图2的前两行示出了融合(第三列)与线性混合(第四列)之间的差异。此外，倾向于在单个感知形成期间通过任一视图来保持更高对比度、高度聚焦以及更亮的内容[Steinman等人，2000年]。换言之，通过双重显示，呈现比任何单个图像更多的人类可感知视觉内容是可行的，这是因为视觉可在不知晓两个图像之间的差异的情况下自然地组合两个图像。
不同于双目显示器，公众不那么容易获得高动态范围(HDR)显示器。即使可采用色调映射以在低动态范围(LDR)显示器上呈现HDR内容，但是在显示大尺度对比度与精细尺度细节之间存在矛盾。获得良好平衡通常具有挑战性。
双目单视觉
已知如何组合不同的图像，例如立体视觉[O’Shea，1983年]，组合不同的图像与将来自两眼的不同图像组合成单个视觉或感知不同[von Helmholtz，1962年]。尽管双目单视觉仅出现于眼睛注视位置周围的小体积视网膜区域中，但立体视觉甚至会出现于眼睛未注视的位置(当对象的图像双重时)。已经发现这种融合过程是亮度、对比度和颜色的非线性组合。为了证明，MacMillan等人[2007]使用非对称中性密度滤光器测量了两眼间亮度反应，Baker等人[2007]使用正弦波光栅测量了两眼间亮度反应。
非线性融合是复杂的神经生理过程并且通常认为是双目融合和抑制的组合[Ono等人，1977年；Steinman等人，2000年]。双目融合是将来自两个视图的类似内容叠加并组合到一个统一且稳定的感知的过程，该过程在两个视图类似或者等同时进行(图2，最上行)。双目抑制在一个视图(不占优势的)是空白的、明显更暗、更模糊或与另一视图(占优势的)相比具有明显较小对比度时出现。在这种情况下，通过智能地关闭不占优势的视图的全部或部分而在人类视觉系统中形成单个感知(图2，中间行)。然而，当两个视图非常不同时(例如，图2的最下行)，出现不期望的现象，即双目竞争。在这种情况下，因为两个刺激均太强并且任一个刺激都不能抑制另一个刺激，所以结果是包括连续交替来自两个视图的“小片”的非会聚感知[Lei和Schor，1994年]。显然，观察者可注意到这种连续交替并感到观看不适。除了双目竞争之外，双目抑制有时也会在刺激太强时引起视觉不适。在轮廓激励的中心周围感知场处会观察到作为抑制效果的结果的光环或漂移[Lei和Schor，1994年]。
以上不适可极大地阻碍或破坏视觉体验。因此，需要双目观看舒适性的评估工具。对于评估工具的需求似乎建议图像相似性度量。存在多个现有的度量，包括均方误差(MSE)、结构相似性(SSIM)[Wang等人，2004年]、感知定向度量可视差异预测器(VDP)[Daly，1993年]及其扩展高动态范围可视差异预测器(HDR-VDP，HDR-VDP-2)[Mantiuk等人，2005年；Mantiuk等人，2011年]。已知的度量考虑观察者通过双眼观看两个图像时的两个图像之间的可视差异。然而，这些现有的度量没有考虑双目视觉，在双目视觉中两个不同的图像呈现给观察者的左眼和右眼。可通过双目抑制(图2，中间行)来说明现有度量的显著缺陷，在双目抑制中使用任何现有度量两个图像都是明显不同的，即使可能形成有稳定感知。因此，不能采用任何现有度量。
色调映射：
已提出若干复杂的色调映射技术来通过HDR图像生成LDR图像。Reinhard[2006年]提供了对色调映射技术的综合考察，从S形压缩到图像外观模型，以及到基于感知和工程学的方法。色调映射方法可粗略地划分为全局操作器和局部操作器。直方图调整方法和适应性对数映射例如[Larson等人，1997年；Drago等人，2003年]是全局操作器的两种主要类别。另一方面，还存在若干普及的局部操作器，例如双边滤波方式[Durand和Dorsey，2002年]、梯度域优化[Fattal等人，2002年]和基于感知的对比度处理[Mantiuk等人，2006]。
已知的色调映射操作器可用作用于双目色调映射框架的构造块来生成两个LDR图像，其中该两个LDR图像在不触发不适的情况下优化地增加人类可感知视觉内容。
期望产生尽可能不同的两个视图以保持来自源HDR的更多的视觉内容。然而，在两个视图之间的差异方面存在限制。当超过这种限制时，出现双目观看不适，并且更糟的是双目单视觉可能失败。这种观看不适[Lambooij等人，2009年]是重要健康问题，其因3D显示器的广泛使用而受到更多关注。
以下参考文件提供本发明的背景技术：
BAKER，D.、MEESE，T.、MANSOURI，B.和HESS，R.2007年，Binocular summation of contrast remains intact in strabismicamblyopia(双目对比度总和在斜视性弱视中保持完整)，Investigativeophthalmology&visual science48，11，5332；
BLAKE，R.和BOOTHROYD，K.1985年，The precedence ofbinocular fusion over binocular rivalry(双目融合相对于双目竞争的优先级)，Attention，Perception，&Psychophysics 37，2，114–124；
CARTER，R.和HUERTAS，R.2010年，Ultra-large colordifference and small subtense(超大色差和小弦)Color Research&Application 35，1，4–17；
CHEN，H.和WANG，S.2004年，The use of visible color differencein the quantitative evaluation of color image segmentation(定量评价彩色图像分割中的可视色差的使用)，Acoustics，Speech，and SignalProcessing，2004.Proceedings.(ICASSP’04).IEEE InternationalConference，vol.3，IEEE，iii–593；
DALY，S.1993年，The visible differences predictor:an algorithmfor the assessment of image fidelity(可见的差异预测：用于评估图像保真度的算法)，Digital images and human vision 11；
DRAGO，F.、MYSZKOWSKI，K.、ANNEN，T.和CHIBA，N.2003年，Adaptive logarithmic mapping for displaying high contrast scenes(用于显示高对比度场景的适应性对数映射)，Computer Graphics Forum，vol.22，Wiley Online Library，419–426；
DURAND，F.和DORSEY，J.2002年，Fast bilateral filtering for thedisplay of high-dynamic-range images(用于高动态范围图像的显示的快速双边滤波)，Proceedings of the 29th annual conference on Computergraphics and interactive techniques，ACM，257–266；
EHRENSTEIN，W.、ARNOLD-SCHULZ-GAHMEN，B.和JASCHINSKI，W.2005年，Eye preference within the context of binocularfunctions(双目功能环境中的眼睛偏好)，Graefe’s Archive for Clinicaland Experimental Ophthalmology 243，9，926–932；
FATTAL，R.、LISCHINSKI，D.和WERMAN，M.2002年，Gradientdomain high dynamic range compression(梯度域高动态范围压缩)，ACM Transactions on Graphics 21，3，249–256；
HOWAR D，I.和ROGERS，B.2002年，Seeing in Depth，vol.1.IPorteous；
KOOI，F.和TOET，A.，2004年，Visual comfort of binocular and 3Ddisplays(双目3D显示的视觉舒适性)，Displays 25，2-3，99–108；
LAMBOOIJ，M.、IJSSELSTEIJN，W.、FORTUIN，M.和HEYNDERICKX，I.，2009年，Visual discomfort and visual fatigue ofstereoscopic displays:a review(立体显示的视觉不适和视觉疲劳：综述)，Journal of Imaging Science and Technology 53，030201；
LARSON，G.、RUSHMEIER，H.和PIATKO，C.，1997年，Avisibility matching tone reproduction operator for high dynamic rangescenes(用于高动态范围场景的可视匹配色调再现操作器)，Visualization and Computer Graphics，IEEE Transactions on 3，4，291–306；
LEI，L.和SCHOR，C.，1994年，The spatial properties of binocularsuppression zone(双目抑制区的空间特性)，Vision research 34，7，937–947；
LEVELT，W.1965年，Binocular brightness averaging and contourinformation(双目平均亮度和轮廓信息)，British journal of psychology56；
LIN，M.和JANE，S.2009年，Analysis of color difference in digitalproofing based on color management system(基于彩色管理系统的数字校验的色差分析)，Journal of Communication and Computer 6，10，32；
LIU，L.、TYLER，C.和SCHOR，C.1992年，Failure of rivalryat low contrast:Evidence of a suprathreshold binocular summationprocess(低对比度的竞争失败：阈上双目总和过程的证据)，VisionResearch 32，8，1471–1479；
MAC MILLAN，E.、GRAY，L.和HERON，G.2007年，VisualAdaptation to Interocular Brightness Differences Induced by Neutral-Density Filters(对由中性密度滤光片引起的两眼间亮度差异的视觉适应性)，Investigative ophthalmology&visual science 48，2，935；
MANTIUK，R.、DALY，S.、MYSZKOWSKI，K.和SEIDEL，H.2005年，Predicting visible differences in high dynamic range images:model and its calibration(预测高动态范围图像中的可视差异：模型及其校准)，Proc.SPIE，vol.5666，SPIE，204–214；
MANTIUK，R.、MYSZKOWSKI，K.和SEIDEL，H.2006年，Aperceptual framework for contrast processing of high dynamic rangeimages(用于高动态范围图像的对比处理的感知框架)，ACMTransactions on Applied Perception(TAP)3，3，286–308；
MANTIUK，R.，KIM，K.，REMPEL，A.，AND HEIDRICH，W.2011.Hdr-vdp-2:A calibrated visual metric for visibility and qualitypredictions in all luminance conditions.In ACM Transactions onGraphics(TOG)，vol.30，ACM，40；
MYSZKOWSKI，K.1998年，The visible differences predictor:Applications to global illumination problems(可视差异预测器：全局照明问题的应用)，Rendering techniques’98:proceedings of theEurographics Workshop in Vienna，Austria，June 29-July 1，1998，Springer Verlag Wien，223；
NORTON，T.、CORLISS，D.和BAILEY，J.2002年，Thepsychophysical measurement of visual function(视觉功能的精神物理学测量)，Butterworth Heinemann；
ONO，H.、ANGUS，R.和GREGOR，P.1977年，Binocular singlevision achieved by fusion and suppression(通过融合和抑制实现的双目单视觉)，Attention，Perception，&Psychophysics 21，6，513–521.O’SHEA，R.1983年，Does stereopsis have a fusional component？(立体视觉具有融合成分？)，Attention，Perception，&Psychophysics 34，6，599–603；
REINHARD，E.2006年，High dynamic range imaging:acquisition，display，and image-based lighting(高动态范围图像：获取、显示和基于照明的图像)，Morgan Kaufmann；
STEINMAN，S.、STEINMAN，B.和GARZIA，R.2000年，Foundations of binocular vision:A clinical perspective(双目视觉的基础：临床前景)，McGraw-Hill Medical；
TREISMAN，A.1962年，Binocular rivalry and stereoscopic depthperception(双目竞争和立体深度感知)，The Quarterly Journal ofExperimental Psychology 14，1，23–37；
VON HELMHOLTZ，H.1962年，Helmholtz’s treatise onphysiological optics(亥姆霍兹对生理光学的论述)，vol.3.The OpticalSociety of America；
WANG，Z.、BOVIK，A.、SHEIKH，H.和SIMONCELLI，E.2004年，Image quality assessment:From error visibility to structural similarity(图像质量评估：从误差可视性到结构相似性)，Image Processing，IEEE Transactions on 13，4，600–612；
WATSON，A.1987年，The cortex transform:rapid computation ofsimulated neural images(皮质变换：模拟的神经图像的快速计算)，Computer Vision，Graphics，and Image Processing 39，3，311–327；
WOPKING，M.1995年，Viewing comfort with stereoscopic pictures:An experimental study on the subjective effects of disparity magnitudeand depth of focus(观看舒适性与立体图片：差异程度和景深的主观反应的实验研究)，Journal of the Society for Information Display 3，3，101–103。
发明内容
根据本发明，在基于计算机图形成像系统中，采用基于优化的双目色调映射框架的双目色调映射来产生低动态范围(LDR)图像对，从而生成比任意单个图像保留更多人类可感知视觉内容并同时避免观看不适的双目单视觉图像。更具体地，考虑到源HDR图像的色调映射LDR图像(左边的，不失一般性的)，本发明的框架优化地通过同一源HDR图像合成其在图像对中的配对(右边的)。双目框架的额外图像空间用于增强图像内容(例如，增大对比度、提高亮度或增加更多细节)，而在另一图像空间中保留图像的其余部分的视觉信息，通过双目观看舒适性预测器(BVCP)度量来指导双目色调映射，以确保双目单视觉的稳定形成并避免观看不适。最初的BVCP度量设计为对于大多数个体避免视觉不适。基于优化的框架在BVCP的指导下以使全部视觉信息内容最大化为目标生成正确的色调映射图像。
本发明被认为是图形领域中通过双目单视觉来丰富视觉体验的首次尝试。因此，本发明为现有色调映射技术提供了图像改进。
所公开的度量被认为是用于测量因双目内容差异而导致的观看不适的新的度量。
利用基于优化的双目色调映射框架来产生比任意单个图像保留更多人类可感知的视觉内容并同时避免观看不适的低动态范围(LDR)图像对被认为是独特的。
进一步根据本发明，公开了如何通过双目色调映射框架利用现有的LDR双目显示器来在HDR图像中同时呈现对比度和细节。考虑到源HDR图像及其由已知的色调映射技术生成的色调映射LDR图像(例如左眼视图)，本发明的框架优化地合成其在双目图像对中的配对(右边的)LDR图像。因此，通过双目单视觉现象，两个LDR图像相组合以呈现比任意的单个LDR图像更多的人类可感知的视觉内容。
已通过四个现有的色调映射方法评价了本发明的框架，这四个现有的色调映射方法包括双边滤波方法[Durand和Dorsey，2002年]、梯度域HDR压缩[Fattal等人，2002年]、适应性对数映射[Drago等人，2003年]和基于感知的对比度处理[Mantiuk等人，2006]。
下面将结合附图参照以下详细描述更好地理解本发明。
附图说明
图1A示出了根据本发明所生成的第一双目色调映射图像对。
图1B示出了根据本发明所生成的第二双目色调映射图像对。
图2是示出比较双目融合；通过抑制的融合以及双目竞争的图。
图3A是根据本发明的用于通过输入的HDR图像生成LDR图像对的系统的功能框图。
图3B是用于示出本发明的元件的框图。
图4是用于示出融合区域的图。
图5是用于示出轮廓优势的图。
图6是用于示出感觉融合到最终感知的功能框图。
图7是mesa滤波器的mesa金字塔的图示。
图8是示出一对图像和得到的竞争失败的图示。
图9是轮廓匹配的图示。
图10是示出亮度相对于对比度和频率相对于对比度的两个图。
图11是示出构造的对数百分比对比度阈值的三轴图。
图12是示出BVCP评估的可视化的一组成对的图示。
图13是用于使HDR图像的四个映射操作器的双目视觉差异可视化的四部分图形组。
图14是用于使根据本发明的使用四个不同的色调映射操作器所生成的优化图像可视化的四部分图形组。
图15是示出用于评价BVCP可预测性的测试序列的一组图像对。
图16是示出用于四个不同的色调映射操作器的BVCP的可预测性的统计数据的四部分图形组。
图17是具有不同地色调映射的左右图像的立体LDR图像对。
图18是示出图像丰富性的小改进的图像对。
图19是使用Drago的操作器产生的图像对。
图20是使用Durand的操作器产生的图像对。
图21是使用Fattal的操作器产生的图像对。
图22是使用Mantiuk的操作器产生的图像对。
具体实施方式
根据本发明的实施方式，计算机图形的新颖技术利用人类视觉现象并提出了双目色调映射框架。提出的框架生成双目低动态范围(LDR)图像对，其中双目低动态范围(LDR)图像对比使用附加图像域的单个LDR图像保留更多的人类可感知的视觉内容。考虑到色调映射LDR图像(左边的，不失一般性地)，本发明的框架优化地通过同一源HDR图像合成其在图像对中的配对(右边的)。两个LDR图像是不同的，从而它们可聚集以呈现比单个任意的LDR图像更多人类可感知的视觉丰富度，而不会引起视觉不适。例如，在图1A和图1B中，每对中的一个图像呈现更大的全局对比度(每对中的左图像)，而另一个图像呈现更多的局部细节(每对中的右图像)。为了实现这一点，采用了新颖的双目观看舒适性预测器(BVCP)以使这种视觉不适的风险最小化。BVCP的设计是基于对视觉科学的发现。通过用户的研究，已确认在本发明的技术中，增加了人类可感知的视觉丰富度，并且所提出的BVCP对保守地预测人类观察者的视觉不适阈值存在功效。
图3A和图3B中示出了根据本发明的系统10的概述，其中系统10实现在具有关联的存储器13的计算机处理器11上。在存储器13中存储有用于色调映射框架100的程序编码，其中色调映射框架100包括至少一个色调映射操作器15和BVCP 30作为优化子系统22的一部分。当框架100被调用时，其提供第一通道12，第一通道12包括配置为通过HDR输入图像18产生第一(左)图像输出16的直接色调映射器14。第二通道20被设置为包括优化框架处理器22，其中优化框架处理器22具有第二色调映射操作器或色调映射器24，该第二色调映射操作器或色调映射器24配置为接收输入HDR 18的输入并接收反馈路径26上来自预测器元件28的反馈，其中预测器元件28包括BVCP 30和可视差异预测器(VDP，Visible Difference Predictor)32，可视差异预测器32配置为将输出LDR对的第二(右)图像34输出。BVCP 30被配置为接收色调映射器14的输出作为第二(右)输入。两个LDR图像的输出作为一对根据需要被提供给可视化元件，例如通过适当的3D图像分离器19可观看的立体显示器17。本发明可使用通用计算机处理器11实现，其中通用计算机处理器11包括个人计算机、平板型计算机、移动通信/计算装置等，只要其具有足够的存储量、合适的输入、合适的输出或显示以及足够的处理能力即可。本文所阐述的过程可根据本文中以适当的计算语言所公开的功能来实现。
参见图3A和图3B，在操作中，系统10的输入成单个HDR图像18的形式。(对于立体视觉而言，提供两个HDR图像，顺序地或并行地。)两个并行的信号(图像)路径12、20被调用以产生成对的LDR输出图像16、34，即，一个通道仅具有第一色调映射器或TM 14，另一路径具有优化框架处理器22，这两者均在传统的或专用的计算机操作系统(未示出)下与关联的支持部件(未示出)一起操作的传统的或专用的计算机处理器11和关联的随机存取存储器13内运行。优化框架处理器22在反馈回路中包括第二色调映射器TM 24以及BVCP30处理器和VDP处理器32，其还从第一色调映射器14接收输入。优化框架处理器22的输出是LDR输出图像对16、34中的第二输出LDR图像34。
以下提供了该操作的伪代码列表：
在操作中，第一LDR图像是使用第一通道中选择的色调映射操作器首先从源HDR图像被色调映射(图3)。用于生成LDR图像的参数可通过操作器(默认参数)自动地建议或手动地指定。可采用现有技术中的色调映射操作器作为TM 14和24。已经测试并支持四个这种色调映射器，即Drago、Durand、Fattal和Mantiuk，如之前所述并在文献中报告的那样。还可利用其他色调映射操作器。
系统的目标是通过将两视图之间的视觉差异最大化并且避免任何视觉不适、使用相同的或相同类型的色调映射操作器作为左通道来生成优化的右LDR图像。优化框架处理器22通过以梯度上升的方式迭代地调整色调映射参数来生成优化的右视图。迭代持续直至目标值收敛以产生如图3中的下部路径上的第二通道20那样的第二或右图像。
目标函数包括两个度量：例如Daley[Daly 1993](其内容通过引用并入以用于所有目的)所教导的可视差异预测器(VDP)32，以及如下文(第4部分)所阐述的双目观看舒适性预测器(BVCP)30，分别对应于视觉内容的总量和观看舒适性。BVCP功能被设置为硬性限制使得导致不适的任何LDR图像对被拒绝。在每次迭代期间，基于当前的LDR图像对的VDP，调整(在迭代反馈过程中的)色调映射参数以遵循梯度上升方向。如果LDR图像对不能通过BVCP度量测试，则减少梯度上升的步长。
由于梯度上升方法对初始值灵敏，其可能容易受到局部最优解的限制。为了增大找到全局最优解的机会，n个随机种子分布在搜索空间中，并且相应地为n个路径进行搜索。最终的输出是n对中的最佳值。在当前配置中，n＝10。
双目观看舒适性预测器
虽然色调映射限制用于显示的视觉内容，但是双目色调映射提供了用于可视化的一个附加域。利用双图像域的显著方式是确保两个图像跨度不同的动态范围，以使视觉内容的总量最大化。然而，在两个图像之间的差异上存在限制。当超过这种限制时，出现竞争和高等级抑制并导致视觉反感，例如闪烁、恶心和疲劳。
为了避免这种观看不适，使用BVCP度量。通过检查已知的精神物理学研究的结果[Levelt 1965年；Liu等人，1992年；Steinman等人，2000年；Kooi和Toet，2004年]来确定BVCP度量。具体地，本发明的BVCP测量左右图像之间在轮廓密度、对比度、亮度和颜色方面的差异。轮廓密度的限制可在对比度小时放松。该现象被称为竞争失败，由Liu等人[1992]发现。这种放松允许表现更多的视觉信息。在本发明的BVCP设计中利用该现象。
融合区域
左(L)和右(R)图像中的两个相应点是否可融合为单个感知需要复杂的考虑。该决定不仅基于两点的局部颜色，还基于两点周围的相邻区域的视觉一致性。该相邻区域在视觉科学的文献中被称为Panum的融合区域。融合区域是视网膜上的区域。在制图术语中，融合区域具有朝向眼睛的不变的立体角。当与另一眼中给定的单个视网膜点一起被刺激时，形成了单个双目感知[Steinman等人，2000年]。当观察者的两眼注视于左右图像中的位置为(i，j)的像素时，必须为融合稳定性而在轮廓、对比度、亮度和色差方面考虑位置(i，j)周围的整个融合区域(左和右)。
通过将融合区域通过瞳孔(图4)投影到屏幕，可依据像素单位计算被投影的融合区域的尺寸。在下文中为了简化起见，融合区域意指被投影的融合区域。假设观察者位于屏幕前距离d处。假设所有像素被同等地投影到屏幕上并具有方形形状(纵横比＝1)。屏幕上的像素密度为每英寸γ个像素(PPI)。图4示出了符号。以像素为单位的融合区域的半径可被计算为：
rf＝γtanθ·d          (1)
其中，θ为最大视网膜像差，对于大多数人来说约为60至70弧分[Wopking，1995年]。因此，图像中的融合区域ζ为半径为rf的圆形相邻区域。为了简化计算，将相邻区域替代地近似为2rf×2rf个像素的矩形。应注意，rf是观看距离d的函数，这意味着观看距离影响观看舒适性。
由于观看者的眼睛可注视于图像对中的任意像素位置，所以来自LDR图像对的所有像素对必须在其相应的融合区域中考虑，以确保融合稳定性。所有以下评估考虑任意位置(i，j)处的融合区域ζ。左右图像中相应的融合区域被标记为L和R。
轮廓融合
已经发现轮廓(边缘)差异在确定双目融合中比对比度或色差更重要[Treisman，1962年]。图5示出了该观点。虽然上部图像对中的图像在颜色和对比度方面不同，但是它们因轮廓非常类似而可融合。另一方面，即使颜色和对比度非常类似，下部图像对因其轮廓明显不同也不能融合(即竞争)。应注意，当两个区域具有类似轮廓时，仅非常大的色差或对比度倒转可能导致竞争(稍后将阐述)。
因为眼睛具有两种机制：运动融合和感觉融合，所以轮廓融合不需要两个相应融合区域L和R中的轮廓完全一样。运动融合通过眼睛的运动来叠加相应的点或类似轮廓。在通过运动融合对准后，神经生理过程感觉融合将两个视图组合为一个统一感知。如图6所示，左视图和右视图首先被对准以通过运动融合叠加“圆盘”，然后“十字”和“三角”通过感觉融合而融合为最终感知。因此，感觉融合的前提条件是轮廓的部分可成功地触发运动融合。对通过运动融合可对准的轮廓百分比的评价提供了是否可形成稳定融合的指导。Blake和Boothroyd[1985]展示了包含50％匹配和50％不匹配轮廓段的区域仍可成功融合。
轮廓(边缘)在不同的域中具有不同的定义。在本文中，有意义的轮廓段被定义为扩展至特定视觉程度或超过特定视觉程度的明显色差。为了得到尽可能多的轮廓段，将尺度空间表征应用到融合区域。通过原始融合区域构建金字塔，首先将融合区域傅里叶变换至频域。然后，在频域中应用低通滤波器的金字塔(图7，上面的行)。通过将每个低通频率图像进行逆傅里叶变换，获得低通融合区域的金字塔(图7，下面的行)。所选择的低通滤波器被称为mesa滤波器[Watson，1987年；Daly，1993年]。这可大致视为一种半幅度频率处的截断。这种频率特性符合确定竞争失败(failure of rivalry)中的要求，这将在稍后讨论。这是使用mesa滤波器的基本原理。假设金字塔总共具有K个等级，等级0的核的半径为rf个像素，而等级(K-1)的核的半径为1个像素。
基于视敏度(VA)的概念定义轮廓。在兰道环视标(Landolt C)和E字视力表中的精心设计的字母“C”的直径或字母“E”的高度是视敏度的五倍。因此，当轮廓段具有的视觉程度达到或超过5·VA(典型的人眼具有该视敏度以分离1-2弧分)时，将轮廓段定义为有意义的。因而，计算中所包含的mesa金字塔的最低等级应是宽度小于或等于(tanθ/tan(VA/24))的等级S。通过这种mesa金字塔，每个等级中两个相邻像素之间的明显色差被视为具有可视轮廓的段。对于每对融合区域L和R，两个mesa金字塔被分开设置。金字塔的第k级被标记为Lk和Rk，其中，k∈[S，K-1]。
为了识别轮廓，测量相邻像素之间的色差ΔEc。该色差ΔEc被定义为LAB颜色空间中相邻像素颜色的2-范数距离。考虑图9，在左图像中具有位置p1和p2的一对像素(红色像素和蓝色像素)之间的色差为：
ΔLk(p1,p2)＝ΔEc(Lk(p1),Lk(p2))      (2)
类似地，可为右图像获得ΔRk(p1,p2)。现在可通过查找ΔLk(p1,p2)和ΔRk(p1,p2)作为查询对象的判定表(表1)来预测其融合状态Sk(p1,p2)(即，观察者是否识别出轮廓)。在该表中，JND代表被称为恰可察觉的色差(just noticeable color difference)的常数，OCD代表被称为明显色差(obvious color difference)的另一常数。根据现有的研究[Chen和Wang，2004年；Lin和Jane，2009年]，设置JND＝2.3和OCD＝6.0。如果ΔLk(p1,p2)和ΔRk(p1,p2)小于OCD，则没有轮廓被识别出。因此，融合状态被设置为0(代表“无轮廓”)。如果二者均达到OCD，则两个明显的轮廓段被识别并融合在一起。因而，融合状态被设置为1(代表“匹配”)。融合仅在其中一个色差达到OCD而另一个色差低于JND时出现，在这种情况下融合状态被设置为-1(代表“不匹配”)。如果一个达到OCD而另一个处于JND与OCD之间，则可仍被视为支持轮廓的存在。因此，状态也为1。
表1：用于轮廓融合的判定表，其中J＝JND，O＝OCD
如果为“1”(匹配)的计数等于或大于为“-1”(不匹配)的计数，则两个相应融合区域的第k级(Lk和Rk)被视为可融合的。另一方面，如果为“1”的计数小于为“-1”的计数，则Lk和Rk是不可融合的。如果Lk和Rk不包含轮廓，则轮廓融合没有效果，并且最终融合状态由其他等级确定。这里，利用状态变量Bk将金字塔中第k级的两个融合区域的轮廓融合状态记录如下(0代表“无轮廓”，1代表“融合”，-1代表“不融合”)，
应注意，在最高等级的轮廓融合状态优先于最低等级的轮廓融合状态，因此
两个融合区域的最终融合状态为：
Bcf＝BcfS             (5)
轮廓对比度和区域对比度
亮度的差异通常可称为对比度。两种对比度可影响双目单视觉。它们是轮廓对比度和区域对比度。如果轮廓对比度可被人眼检测到的话，轮廓对比度与轮廓共同存在。除了轮廓对的对比度明显颠倒的情况之外，匹配的轮廓对通常有助于融合。因此，在计算式3之前将Sk(p1,p2)修改如下。当一对匹配的轮廓具有明显颠倒的对比度时，它们的融合状态改为-1(“不匹配”)。修改后的函数为：
Sk(p1,p2)＝-1,如果|C(Lk(p1),Lk(p2))|＞OCD        (6)
并且|C(Rk(p1),Rk(p2))|＞OCD
以及C(Lk(p1),Lk(p2))·C(Rk(p1),Rk(p2))＜0,
其中，C(c1,c2)计算像素对c1和c2之间的亮度差。
区域对比度指的是两个区域(在本文的情况下，两个相应融合区域)之间的对比度。其对观看舒适性具有相对较小的影响(相比于轮廓融合)，除非两个区域差别太大[Kooi和Toet，2004年]。用于区域对比度的限制性约束是优选的，使得两个融合区域L和R之间的平均色差必须小于显著色差(DCD，distinct color difference)。根据现有研究[Carter和Huertas，2010年]，设置DCD＝34。通过下式评估两个相应融合区域之间因区域对比度(Brc)而导致的观看舒适性：
其中，L(p)和R(p)是分别处于L和R中位置p的两个相应像素。
竞争失败
通常，当轮廓融合失败时，竞争或过度抑制出现并导致不适。然而，已发现竞争的出现也依赖于对比度。当对比度低于某一阈值时，无论以上提及的轮廓融合标准如何，经常形成稳定的单个感知。该现象被称为竞争失败(failure of rivalry)并且更可能在低对比度区域发生。图8示出了该现象。上部图像对因轮廓差异而不能融合。相反地，下部图像对具有相同的轮廓，但具有低得多的对比度和亮度。在这种情况下，它们因竞争失败仍可融合。对比度阈值是图像亮度和空间频率的函数[Liu等人，1992年]。其与亮度负相关(图10(a)，来自[Liu等人，1992年]中的图3)，而与空间频率正相关(图10(b)，来自[Liu等人，1992年]中的图4)。在对数空间中以一对像素c1和c2之间的对数百分比对比度(log percentage contrast)来测量对比度，表示为：
P ( c 1 , c 2 ) = log 10 | Γ ( Y 1 ) - Γ ( Y 2 ) Γ ( Y 1 ) + Γ ( Y 2 ) | , - - - ( 8 )
其中，Y1和Y2分别是c1和c2的标准化亮度。Γ(Y)将[0，1]中的标准化亮度Y映射为以cd/m2为单位的物理测量值。
无论对比度值是否小于对比度阈值，总是形成稳定的单个感知。然而，文献中已知的报告是对比度阈值的测量值相比于亮度或者是对比度阈值的测量值相比于空间频率。但是，本发明将对比度阈值表达为亮度和空间频率的函数。该过程如下：基于文献中现有的发现构造对比度函数。然后，将图10中的图(蓝点)拟合以获得如下所示的两个连续曲线(红色曲线)：
T(l)＝min(2,1.999-0.362log10(l)+0.026log10 2(l))，   (9)
T(f)＝min(2,log10(3.557-1.334f+1.881f2-0.108f3)),  (10)
其中，l为以cd/m2为单位测量的平均亮度，f为以周每度为单位测量的空间频率，以及T表示对数百分比对比度阈值。当l＝40cd/m2和f＝5cy/deg时，式9和式10关注同一百分比对比度阈值。通过假设曲率是恒定的，推断亮度和空间频率的函数为：
T(l,f)＝min(2,log10(3.557-1.334f+1.881f2-0.108f3)+0.514-0.362log10(l)+0.026log10 2(l)+δ)，        (11)
其中，δ为用户参数并被设置为[-0.15，0.15]中的值。其默认值为0。图11以三维形式将式11可视化。
将竞争失败包括在本发明的度量中允许接受更多对LDR图像并且进一步使最优对的信息内容最大化。为了将竞争失败并入度量中，过程如下：首先计算左融合区域L中的平均亮度lL为其中为L中的平均亮度。
TL k＝T(lL，fk).          (12)
类似地，可获得TR k。因此，它们公共阈值Tk为min(TL k，TR k)。当对比度低于该阈值Tk时，总是形成稳定融合，因而Sk(p1,p2)不可能为负的(“不匹配”)。因此，如下所示对融合状态变量Sk(p1,p2)进行第二次修改：
Sk(p1,p2)＝0，如果Sk(p1,p2)<0
并且P(Lk(p1),Lk(p2))≤Tk
以及P(Rk(p1),Rk(p2))≤Tk。     (13)
整体融合预测器
通过以上定义的轮廓融合预测器Bcf和区域对比度预测器Brc，现可通过下式为任意融合区域对预测最终观看舒适性：
当B＝-1(“不融合”)时，存在观看不适。图12示出了一对LDR图像及其根据本文所描述的观看环境的BVCP评估结果。白色像素指示在眼睛注视这些位置时触发观看不适的区域。
目前为止，仅描述了两个融合区域的BVCP测试。仅当基本所有像素通过BVCP测试，即图像中没有像素触发视觉不适(B＝-1)时，图像对通过BVCP测试。虽然优选所有像素通过BVCP测试，但是人类观察者可在没有过度不适的情况下能够容忍违反BVCP的某一像素量。
优化
通常，左右图像之间的差异越大，其在会聚中可保留的视觉内容越多。为了测量视觉差异，可采用可视差异预测器(VDP，visibledifference predictor)[Daly，1993年]。VDP已使用在各种应用中[Myszkowski，1998年]。对于一对图像，VDP的输出是检测可视差异V(i，j)在每个像素位置(i，j)处的概率。整体双目视觉差异E被限定为：
E = 1 &Omega; &Sigma; i , j ( H [ V ( i , j ) - &tau; ] )
其中，τ为用户定义概率阈值并通常设置为75％。H是Heaviside阶梯函数。Ω为图像中像素的总数。
利用VDP和提出的BVCP，本发明的优化框架在不违反BVCP标准的情况下使E最大化(图3)。在整个优化过程中，左图像保持不变。仅通过以梯度上升的方式调整色调映射参数迭代地生成右图像。利用BVCP测试对在当前迭代中成对的左图像和生成的右图像进行评价。如果该图像对没有通过BVCP测试，则拒绝当前的右图像，并且步长减少以生成新的右图像。重复进行该过程直至最终通过BVCP测试或者步长减至零。图13描绘了E相对于图20中用于HDR示例的四个色调映射操作器的参数。由于上部两个色调映射操作器仅具有一个参数，所以它们被描绘为2D。另一方面，下部两个色调映射操作器具有两个参数，所以它们被描绘为3D。在每个图中的红色区域表示相应的色调映射的右图像会触发视觉不适。通过BVCP对其进行预测。绿点对应于左视图的色调映射参数。
结果和讨论
本发明的框架独立于所采用的色调映射操作器。在当前实现方案中，支持四个现有的色调映射操作器，包括双边滤波方法[Durand和Dorsey，2002年]、梯度域HDR压缩[Fattal等人，2002年]、适应性对数映射[Drago等人，2003年]和基于感知的对比度处理[Mantiuk等人，2006]。这些操作器中包含全局色调映射和局部色调映射。双边滤波方法[Durand和Dorsey，2002年]是使图像两尺度分解到基础层、编码大尺度变化和细节层的方法。梯度域HDR压缩[Fattal等人，2002年]通过衰减较大梯度的量级来操作亮度图像的梯度场。适应性对数映射[Drago等人，2003年]通过对数压缩亮度值并模拟人对光的反应来显示高对比度场景。基于感知的对比度处理[Mantiuk等人，2006]增强或压缩视觉响应空间中的对比度，其中对比度值直接与其在图像中的可视性相关。
为了展示框架的效果，已针对各种测试图像测试了本发明的所有四个操作器。图14示出了从同一源HDR但通过不同的色调映射操作器所映射的四个LDR对。在每对中，左图像通过用户指定的色调映射参数进行色调映射。另一方面，右图像是通过本发明框架自动优化以使整体视觉内容最大化而不触发视觉不适。应注意，左图像和右图像可在不明显影响视觉体验的情况下互换。所感知的双目单感知通常比单个色调映射的图像保留更多细节(尤其在图14(a)和14(b)中)和更好的对比度(尤其在图14(c)和14(d)中)。更多结果可在补充材料中找到。
用户研究
为了验证本发明的方法，进行了用户研究。实验装置使用最高亮度约为300cd/m2的Zalman ZM-M215W 21.5”3D LCD显示器来显示双目图像。该显示器的像素密度为102PPI。观察者要求就坐于距离显示器0.5米处并戴上一副3D偏光眼镜(具有约44％的透光率)。所有实验均在环境亮度约为200lux的室内进行。
视觉丰富性第一用户研究依据视觉丰富性评价了双目色调映射的有效性。将双视图像对(两个视图是相同的)与离眼图像对(两个视图是不同的)进行比较。为了公平地比较，使用“最佳”参数值而不使用可能不满足某一HDR输入的默认参数值来生成双视图像对。“最佳”参数如下确定。对于每个HDR输入，首先随机地生成具有10组参数值的10个LDR图像，其中该10组参数值处于具体色调映射操作器的推荐参数范围中。然后，要求8个参与者在其中选择最佳(根据细节和对比度)的LDR图像。然后最佳评价的图像被称为用户研究中的双视图像对。同一图像也被称为离眼图像对的一个视图，而另一视图是通过本发明的框架处理器系统优选地确定。图19至图22示出了在用户研究中使用的四个这种图像对。
所有四个色调映射操作器(Durand、Fattal、Drago和Mantiuk)以及8个不同的HDR图像(总共32组图像对)在用户研究中为实验的对象。35个参与者被邀请评价32组随机显示的图像对。在每一轮中，为进行比较选择离眼图像对和相应的双视图像对。应注意，双视图像对通过同一3D眼镜展示给参与者。以随机的顺序显示两种图像对，即，参与者不了解哪一个是离眼图像对。接下来，要求每个参与者选择他/她偏好的一个图像。在选择期间测试者简要地解释他/她可以考虑视觉丰富性和/或视觉内容清楚性。然而，在选择偏好的图像对时取决于参与者的决定。为了使参与者更好地检查图像对，他/她可在选择期间按压按钮在这两种图像对之间进行切换。一旦参与者做出了决定，他/她会按压“选择”按钮。
表2：视觉丰富性的用户研究
表2示出了四个色调映射操作器的统计。显然，大多数参与者偏好双目色调映射结果(对于Drago，80.4％；对于Durand，71.7％；对于Fattal，75.3％；以及对于Mantiuk，72.1％)。还示出了双目色调映射可比单个映射有效地保留更大的视觉丰富性，尤其对于Drago的操作器的情况。一种可能的解释是全局操作器，如Drago的操作器通常比局部操作器受到更多约束，导致细节更严重的损失或者对比度的损失。
双目对称性第二用户研究评价了双目色调映射的有效性对左右眼是否对称。利用相同的数据集(用于8个不同的HDR图像的四个色调映射操作器，总共32组图像对)再次对20个参与者进行之前的视觉丰富性实验。然而，这次对这些32组图像对评价两次。在两次评价之一中，向参与者的左眼示出由框架处理器生成的LDR图像。但在另一次评价中，向参与者的右眼示出生成的LDR图像。参与者不知向其哪只眼睛示出了生成的LDR图像。
表3：双目对称性的用户研究。L/R是指左眼/右眼观看由本发明的框架生成的图像。
表3对来自这两组评价的统计数据进行比较。应清楚，无论给哪个眼睛示出哪个最优图像，双目色调映射通常都可比单个图像有效地保留更多的视觉丰富性。根据统计数据，左眼和右眼稍微不对称。这符合对眼优势的早期研究[Ehrenstein等人，2005年]。
BVCP的可预测性第三用户研究评价了BVCP预测双目视觉的不适限制的好坏程度。该实验基于传统的精神物理方法学，调整方法(method of adjustment)[Norton等人，2002年]。给定HDR图像和具体的色调映射操作器，提供具有标记为0至9的10个LDR图像对的序列。第0个图像对的左右LDR图像是等同的，并且使用随机参数集色调映射自源HDR。随着标记号增加，左LDR图像在整个序列中保持不变，而右LDR图像通过线性增加/减少具体色调映射操作器的最有影响的参数的值而生成。如果序列包含不适的图像对，则参数值的实际增加/减少的步长不重要。图15示出了一个这样的序列。5个HDR图像(1至5)和所有四个色调映射操作器进行测试，得到20个序列。
22个参与者被邀请参加实验。该22个参与者被要求确定所有20个序列的不适限制。对于每个序列而言，要求参与者在10个图像对中进行搜索以找到具有不适阈值的图像对(即，参与者开始感到不适的图像对)，以及具有更低标记号的、仍可接受的任何图像对。参与者可通过增加或减少标记号沿序列移动。然后记录由参与者识别的不适阈值。为了避免任何偏差，示出给参与者的序列中的第一个图像对是在10对中随机选择的。
图16描绘了20个测试序列的统计数据。对于每个序列而言，人识别的不适阈值的均值被指示为点，而竖直间隔对应于人选择的95％的置信区间。同时，BVCP处理器用于计算所预测的不适阈值。每个预测值被描绘为竖直柱。标记号位于竖直柱之上的任何图像对触发了视觉不适。对于所有测试序列，预测值(蓝色柱)通常低于人识别阈值的下界。换言之，BVCP过程通常会保守地预测不适阈值。
根据统计数据，并非对所有测试的色调映射操作器同样好地执行BVCP度量。由于当前的保守设计，对于某些观察者而言，预测值过度保守(图16(d))。有时也可能与用户统计数据没有充分相关(图16(c))。对这种不相关的一种可能解释是忽视了视觉关注，这是因为人类观察者可能没有识别到那些低显著性位置而本发明的预测器同等地处理所有位置。
组合立体视觉
应注意，颜色的双目融合、亮度或对比度差异并不阻止同时感知立体视觉[Steinman等人，2000年]。换言之，将本发明的双目色调映射扩展至包括立体视觉是可行的。图17示出了根据立体HDR图像对的双目色调映射的立体图像对的一个示例。该示例呈现出深度提示并同时在不触发视觉不适的情况下提升视觉丰富性。为了生成该示例，如之前那样将立体HDR图像对的左移位视图作为标准HDR输入进行处理，并且暂时忽略右移位视图。在对左移位HDR图像应用本发明的双目色调映射之后，通过优化的色调映射参数获得左LDR图像和另一LDR。对右移位HDR图像应用优化的色调映射参数。由于框架最初设计用于单个HDR输入，所以以上方法隐含地假设两个HDR立体图像的亮度是类似的并且不一致性较小。
局限性
当前实现的BVCP设计非常保守。如果轮廓融合、轮廓对比度或区域对比度的任何测试失败，则拒绝图像对。如果在mesa金字塔的任何等级存在明显轮廓误差，则拒绝该图像对。仅当所有像素通过BVCP测试的情况下图像对才通过BVCP测试。所有这些合计以提供保守度量。虽然当前的预测对于大多数个体而言可有效地避免视觉不适，但有时可能不会非常接近用户统计数据(图16(d))。换言之，人可容忍的图像对有时可能被拒绝。本发明不排除这样的未来方向，即放松当前的约束以提供更接近于用户统计数据的预测值。
当前的框架同等地处理图像中的所有像素。但是实际上，人类视觉因为视觉关注而非对每个像素同等地敏感。图18示出了一个这样的图像对。虽然本发明的方法显著增加了小门(加框区域)处的视觉丰富性，但是人类观察者的关注非常可能被同一图像中的另一高对比度区域吸引。然而，该高对比度区域可能没有显著改善，导致得到视觉体验微小改善的总体印象。
结论
已描述了利用关联方法的双目色调映射框架系统，该系统用于生成双目LDR图像对，其中双目LDR图像对比仅单个色调映射的图像呈现更多的视觉丰富性。本发明采用了新颖的BVCP度量，该BVCP度量可保守地预测不适阈值。该BVCP度量引导双目色调映射图像对的生成，以使得可在不触发视觉不适的情况下使图像对的视觉信息内容最大化。用户研究说明了框架对多种图像的有效性。已使用框架对多个色调映射操作器进行了测试。除了当前色调映射应用之外，BVCP度量也可应用于需要双目显示的任何其他应用中。本工作作为图像应用中的首次尝试，使得用于双目单视觉的立体显示系统的利用最大化。
已参考具体实施方式阐述了本发明。在不偏离本发明的范围的情况下预期了其他实施方式。因此，除了如所附权利要求所指示的之外不试图限制本发明。

Claims (20)

1.一种生成用于显示的图像的系统，包括：
计算机处理器，具有相关数字存储器和输出元件，所述计算机处理器可用于采用基于优化的双目色调映射框架；
所述计算机处理器及相关存储器配置为：
接收以数字表示的、源高动态范围图像的高动态范围图像作为源；
直接通过所述高动态范围图像产生第一低动态范围图像；
通过所述高动态范围图像合成相应的第二低动态范围图像，其中额外的图像空间用于增强图像内容并且保留视觉信息；以及
产生至少一个双目单视觉图像的输出表示，
通过双目观看舒适性预测器(BVCP)的度量指导所述色调映射框架，以确保稳定地形成双目单视觉并避免观看不适。
2.如权利要求1所述的系统，其中，所述计算机处理器配置为提供用于所述第一图像的第一图像路径和用于所述第二图像的第二图像路径，所述第一图像路径和所述第二图像路径是并行的。
3.如权利要求2所述的系统，其中所述第二图像路径提供：
优化处理器元件，所述优化处理器元件包括视觉差异预测器和双目观看舒适性预测器，所述双目观看舒适性预测器配置为建立度量以使所述视觉不适的风险最小化，所述视觉差异预测器配置为在受到所述双目观看舒适性预测器的约束的情况下，使所述第一图像与所述第二图像之间的视觉差异最大化。
4.如权利要求3所述的系统，其中，所述第一图像路径包括：
直接色调映射器，所述直接色调映射器配置为通过高清晰度范围图像产生所述第一图像。
5.如权利要求3所述的系统，其中，所述优化处理器元件配置为基于当前低密度范围图像对的视觉差异预测进行迭代反馈以遵循梯度上升方向，所述当前低密度范围图像对包括当前的第一图像和当前的第二图像，其中如果所述当前低密度范围图像对不能通过所述双目观看舒适性预测器的度量测试，则所述梯度上升的步长减小。
6.如权利要求5所述的系统，其中，所述双目观看舒适性预测器配置为测量轮廓密度、对比度、亮度和颜色方面的差异。
7.如权利要求6所述的系统，其中，在对比度小的情况下竞争失败时，轮廓密度标准被放松，以允许呈现更多的视觉信息。
8.如权利要求6所述的系统，其中，对比度阈值表示为亮度和空间频率的函数。
9.如权利要求1所述的系统，其中，所述色调映射操作器选自双边滤波、梯度域高密度范围压缩、适应性对数映射以及基于感知的对比度处理。
10.如权利要求1所述的系统，其中，所述计算机处理器配置为通过两个单图像输入产生立体图像输出。
11.一种生成用于显示的图像的方法，包括：
在计算机处理器的控制下将以数字表示的、源高动态范围图像的高动态范围图像接收在数字存储器中作为源；
通过所述计算机处理器直接从所述高动态范围图像产生第一低动态范围图像；
通过所述计算机处理器从所述高动态范围图像合成相应的第二低动态范围图像，其中额外的图像空间用于增强图像内容并且保留视觉信息；以及
通过所述计算机处理器产生至少一个双目单视觉图像的输出表示；
其中，通过双目观看舒适性预测器(BVCP)的度量指导色调映射操作，以确保稳定地形成双目单视觉并避免观看不适。
12.如权利要求11所述的方法，其中，所述计算机处理器提供用于所述第一图像的第一图像路径和用于所述第二图像的第二图像路径，所述第一图像路径和所述第二图像路径是并行的。
13.如权利要求12所述的方法，其中，所述第二图像路径配置为：
在所述第二图像路径中建立双目观看舒适性预测器的度量，以使视觉不适的风险最小化；以及
在受到所述度量的约束的情况下，使所述第一图像与所述第二图像之间的视觉差异最大化。
14.如权利要求13所述的方法，包括：
通过直接色调映射从高清晰度范围图像产生所述第一图像。
15.如权利要求14所述的方法，包括：
基于当前低密度范围图像对的视觉差异预测，在梯度上升方向通过迭代反馈来合成所述第二图像，所述当前低密度范围图像对包括当前的第一图像和当前的第二图像，其中如果所述当前低密度范围图像对不能通过所述双目观看舒适性预测器的度量测试，则减小所述梯度上升的步长。
16.如权利要求15所述的方法，其中所述度量是基于在轮廓密度、对比度、亮度和颜色方面所测量的差异。
17.如权利要求15所述的方法，其中，在对比度小时竞争失败的情况下，放松轮廓密度标准，以允许呈现更多的视觉信息。
18.如权利要求16所述的方法，其中，对比度阈值表示为亮度和空间频率的函数。
19.如权利要求11所述的方法，其中，所述色调映射操作选自双边滤波、梯度域高密度范围压缩、适应性对数映射以及基于感知的对比度处理。
20.如权利要求11所述的方法，其中，所述处理器配置为通过两个单图像输入产生立体图像输出。
CN201380041083.2A 2012-08-02 2013-08-02 双目视觉体验增强系统 Active CN104509087B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261678732P 2012-08-02 2012-08-02
US61/678,732 2012-08-02
US13/954,685 US9406105B2 (en) 2012-08-02 2013-07-30 Binocular visual experience enrichment system
US13/954,685 2013-07-30
PCT/CN2013/000909 WO2014019342A1 (en) 2012-08-02 2013-08-02 Binocular visual experience enrichment system

Publications (2)

Publication Number Publication Date
CN104509087A true CN104509087A (zh) 2015-04-08
CN104509087B CN104509087B (zh) 2018-02-09

Family

ID=50027182

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380041083.2A Active CN104509087B (zh) 2012-08-02 2013-08-02 双目视觉体验增强系统

Country Status (3)

Country Link
US (1) US9406105B2 (zh)
CN (1) CN104509087B (zh)
WO (1) WO2014019342A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108376389A (zh) * 2017-02-01 2018-08-07 迪斯尼企业公司 亮度舒适性预测和调整
CN109903313A (zh) * 2019-02-28 2019-06-18 中国人民解放军国防科技大学 一种基于目标三维模型的实时位姿跟踪方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103926927A (zh) * 2014-05-05 2014-07-16 重庆大学 一种室内移动机器人双目视觉定位与三维建图方法
GB201410635D0 (en) * 2014-06-13 2014-07-30 Univ Bangor Improvements in and relating to the display of images
US10762708B2 (en) * 2016-06-23 2020-09-01 Intel Corporation Presentation of scenes for binocular rivalry perception
US10212414B2 (en) 2016-08-01 2019-02-19 Microsoft Technology Licensing, Llc Dynamic realignment of stereoscopic digital consent
CN112132774A (zh) * 2019-07-29 2020-12-25 方玉明 一种色调映射图像的质量评价方法
US11418724B1 (en) * 2021-11-29 2022-08-16 Unity Technologies Sf Increasing dynamic range of a virtual production display

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1973556A (zh) * 2004-06-25 2007-05-30 吉良雅贵 体视图像生成方法和装置
US20100002295A1 (en) * 2008-07-01 2010-01-07 Tom Kimpe Methods and systems for stereoscopic imaging
CN101651809A (zh) * 2009-09-22 2010-02-17 西安交通大学 双目立体显示视频处理的存储器存储及读写控制方法
CN101902637A (zh) * 2004-04-23 2010-12-01 杜比实验室特许公司 高动态范围图像的编码、解码和表示
US20120183210A1 (en) * 2011-01-18 2012-07-19 Agency For Science, Technology And Research Method and a Device for Merging a Plurality of Digital Pictures

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3576987B2 (ja) * 2001-03-06 2004-10-13 株式会社東芝 画像のテンプレートマッチング方法及び画像処理装置
US7612795B2 (en) * 2006-05-12 2009-11-03 Anthony Italo Provitola Enhancement of visual perception III
US8531507B2 (en) * 2007-10-16 2013-09-10 Anthony Italo Provitola Enhancement of visual perception IV
JP2012085166A (ja) * 2010-10-13 2012-04-26 Sony Corp 映像信号処理装置及び映像信号処理方法、並びにコンピューター・プログラム
WO2012052968A1 (en) * 2010-10-20 2012-04-26 Nokia Corporation Method and device for video coding and decoding
US20120308115A1 (en) * 2011-06-02 2012-12-06 Himax Media Solutions, Inc. Method for Adjusting 3-D Images by Using Human Visual Model
US9147111B2 (en) * 2012-02-10 2015-09-29 Microsoft Technology Licensing, Llc Display with blocking image generation

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101902637A (zh) * 2004-04-23 2010-12-01 杜比实验室特许公司 高动态范围图像的编码、解码和表示
CN1973556A (zh) * 2004-06-25 2007-05-30 吉良雅贵 体视图像生成方法和装置
US20100002295A1 (en) * 2008-07-01 2010-01-07 Tom Kimpe Methods and systems for stereoscopic imaging
CN101651809A (zh) * 2009-09-22 2010-02-17 西安交通大学 双目立体显示视频处理的存储器存储及读写控制方法
US20120183210A1 (en) * 2011-01-18 2012-07-19 Agency For Science, Technology And Research Method and a Device for Merging a Plurality of Digital Pictures

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YANG，XUAN ET AL: "Binocular Tone Mapping", 《ACM TRANSACTIONS ON GRAPHICS》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108376389A (zh) * 2017-02-01 2018-08-07 迪斯尼企业公司 亮度舒适性预测和调整
CN109903313A (zh) * 2019-02-28 2019-06-18 中国人民解放军国防科技大学 一种基于目标三维模型的实时位姿跟踪方法
CN109903313B (zh) * 2019-02-28 2022-04-26 中国人民解放军国防科技大学 一种基于目标三维模型的实时位姿跟踪方法

Also Published As

Publication number Publication date
US20140055447A1 (en) 2014-02-27
CN104509087B (zh) 2018-02-09
WO2014019342A1 (en) 2014-02-06
US9406105B2 (en) 2016-08-02

Similar Documents

Publication Publication Date Title
CN104509087A (zh) 双目视觉体验增强系统
Lambooij et al. Visual discomfort of 3D TV: Assessment methods and modeling
Urvoy et al. How visual fatigue and discomfort impact 3D-TV quality of experience: a comprehensive review of technological, psychophysical, and psychological factors
Shibata et al. The zone of comfort: Predicting visual discomfort with stereo displays
Hibbard et al. Magnitude, precision, and realism of depth perception in stereoscopic vision
Park et al. 3D visual discomfort prediction: vergence, foveation, and the physiological optics of accommodation
Park et al. 3D visual discomfort predictor: Analysis of disparity and neural activity statistics
US8094927B2 (en) Stereoscopic display system with flexible rendering of disparity map according to the stereoscopic fusing capability of the observer
Oh et al. Stereoscopic 3D visual discomfort prediction: A dynamic accommodation and vergence interaction model
CN104618710B (zh) 基于增强光场显示的视觉缺陷校正系统
Li et al. Visual discomfort of stereoscopic 3D videos: Influence of 3D motion
Lambooij et al. The impact of video characteristics and subtitles on visual comfort of 3D TV
CN103986925B (zh) 基于亮度补偿的立体视频视觉舒适度评价方法
CN107181940B (zh) 一种立体视频舒适度评价方法及装置
CN102497565B (zh) 一种影响立体图像舒适度的亮度范围的测定方法
CN103329165A (zh) 放缩三维场景中的用户控制的虚拟对象的像素深度值
Fukushima et al. The relationship between CA/C ratio and individual differences in dynamic accommodative responses while viewing stereoscopic images
US9420946B2 (en) Information provision device, information provision system, server, information provision method and program
JP2023100632A (ja) 立体視のデジタル測定のためのシステム及び方法
Guan et al. Stereoscopic depth constancy
Kim et al. Quality assessment of perceptual crosstalk on two-view auto-stereoscopic displays
Khaustova et al. An objective method for 3D quality prediction using visual annoyance and acceptability level
Sun et al. Visual discomfort factor analysis and modeling for worldwide stereoscopic 3D maps
Wu et al. Subjective quality assessment of stereo image compression based on stereoscopic fusion in binocular vision
Meng et al. No-reference stereoscopic image quality assessment based on the human visual system

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant