CN102124490B - 用于缩减或者清除在显示的立体图像中感知到的重像的方法和系统 - Google Patents

用于缩减或者清除在显示的立体图像中感知到的重像的方法和系统 Download PDF

Info

Publication number
CN102124490B
CN102124490B CN200980131556.1A CN200980131556A CN102124490B CN 102124490 B CN102124490 B CN 102124490B CN 200980131556 A CN200980131556 A CN 200980131556A CN 102124490 B CN102124490 B CN 102124490B
Authority
CN
China
Prior art keywords
afterimage
image
picture
psycho
display system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN200980131556.1A
Other languages
English (en)
Other versions
CN102124490A (zh
Inventor
谭玮宁
S·Z·周
S·C·瑞德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Imax Corp
Original Assignee
Imax Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Imax Corp filed Critical Imax Corp
Publication of CN102124490A publication Critical patent/CN102124490A/zh
Application granted granted Critical
Publication of CN102124490B publication Critical patent/CN102124490B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H04N13/125—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues for crosstalk reduction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

描述了用于缩减或者清除立体三维(3D)图像显示中感知到的重像的方法和系统。立体图像包括可以接收的图像内容。显示系统参数可被接收。可以通过使用图像内容来标识立体图像的局部区域。局部区域可包括重像。可以使用图像内容来选择心理视觉因素。通过使用心理视觉因素以及显示系统参数缩减或者清除局部区域的重像，来根据立体图像生成经修改的立体图像。可以输出经修改的立体图像用于显示。

Description

用于缩减或者清除在显示的立体图像中感知到的重像的方法 和系统
相关申请的交叉引用
本申请要求2008年6月13日提交的、名称为“Methods and Systems for GhostingElimination in Displayed Stereoscopic Images”的美国临时申请序列号61/061,306的权益，在此通过参考将其全部内容引入。
技术领域
在此公开的发明概念的实施方式总体上涉及图像处理领域。具体实施方式涉及清除或者以其他方式缩减立体图像中感知到的重像。
背景技术
通过立体绘画，在百余年前就已经示出了对来自立体图像的深度的感知。在1838年，此类技术进入摄影时代，随后是由Charles Wheatstone向皇家苏格兰艺术协会的描述。立体图像由拍摄自略微不同的角度的、单个场景的两个二维(2-D)图像形成。这两个略微不同的图像类似于来自人类左眼和右眼的略微不同的视野。当立体图像配对的“左”图仅由观察者的左眼处理而“右”图由观察者的右眼处理时，将从2D图像产生三维(3D)图像的深度的感觉。
过去百余年，已经开发出了多种3D图像显示装置，用于分离左侧和右侧立体图像，并将其传输至观察者的适当眼睛。此类立体显示装置的示例包括：分色补色立体滤波器、偏振滤波器、波长-复用INFITEC滤波器以及时序LCD快门镜片。多数这些装置都受制于重像伪像(artifact)，它是由立体配对的一个透视图到另一视图之间(例如，从左眼到右眼，或者从右眼到左眼)的信息泄漏(也称为“串扰(crosstalk)”)引起的。由于重像，除了适当的左眼图像以外，观察者的左眼还会看到来自右眼图像的部分信息，反之亦然。3D图像中的重像可能损害立体3D显示的图像质量。尽管立体显示设备表现3D效果，但是大多数不能清除串扰，由此无法表现无重像的3D图像。此外，当前尝试清除显示设备中串扰的努力很困难并且代价高昂。在一个方案中，例如，在同一时间使用两种独立的技术，诸如使用偏振和快门镜片，这显著地缩减了重像。然而，在竞争异常激烈的商业电影市场，设置和维护此类系统变得成本过高。
电影放映正在从基于胶片的投影向来自数字存储介质的投影转变。对于带有重像的3D呈现，现在可能的是以逐个像素为基础来控制图像内容。此方面可用于降低数字式投影的立体放映中的重像。例如，已经开发出了数字图像处理技术，其尝试通过修改图像数据来降低重像。这些方法的示例包括：通过从图像减除重像伪像而缩减重像，以及通过改变图像亮度来促进重像伪像减除从而缩减重像。其他示例如下。
G.Street(EP 0819359)描述了一种方法，其经由逆串扰矩阵调整每个通道，从而清除串扰以增强立体显示质量。该方法将观察者的位置纳入考虑。矩阵是简单的光学串扰模型，并且可以从每只眼睛的图像中减除重像。为了保持矩阵总是可解的，施加整体中性偏置。然而，测量模型的参数可能是复杂的。
Sebastien Weitbruch(EP 1460857)描述了一种方法，其在磷光体余辉(phosphorlag)系统中产生串扰的情况下，补偿时序立体图像中的重像图像。该方法寻求从原始图像中在图像中撤回一定串扰百分比，其中原始图像水平为零(0)，全局地添加最大水平的重像图像以隐藏重像。该方法的限制是导致整体图像对比度的损失，或者由于允许特定量的重像进行妥协。
James Libscomb，Tomas Watson and Wayne Wooten，“Reducing crosstalkbetween stereoscopic views，”in Stereoscopic Displays and Virtual RealitySystems IX，Proceedings of SPIE Vol.2177，pp.92-96(Feb.1994)描述了一种降低串扰的方法，该方法是通过全局地将暗背景增进到某个灰色水平，补偿图像的动态区域，继而从立体对的其他图像中减除预定义的串扰。然而，该方法是启发式的，并且由于其局限于人造表示图像而不适于复杂图像。
Janusz Konrad“Cancellation of image crosstalk in time-sequentialdisplays of stereoscopic video，”in IEEE Transactions on Image Processing，Vol.9，No.5，pp 897-908(May 2000)描述了一种通过在映射LUT集合中定义人类心理视觉(psychovisual)模型而构造心理视觉校准的方法。该模型以强力方式将原始图像映射为经处理的图像。该方法在减轻重像的同时产生了高度扭曲的图像。校准过程使用有限的心理视觉采样点，并且依赖于具体的3D系统物理特征。此外，该方法没有将心理视觉影响与系统特征分离。该系统本质上精度较低，并且不允许自动使用。
Marly Cain“Improving 3D Anaglyphs Through Image Processing，”http://www.rmcain.com/pageserver.mv？MCAMA3DUpdate(copyright1999)描述了一种通过调整z轴距离来缩减重像的方法，用以在实现最小化重像水平并同时保留原始相关深度。然而，该方法是启发式的并且是完全人工的。另外，改变z轴距离可能并非在全部环境或者应用中均可行。
Cowan等人(美国专利公开号2006/0268104)描述了一种用于改进立体投影的重像补偿方法和系统。该方法和系统将投影屏幕划分为多个区域，每个区域具有潜在不同的重像简档。使用简单模型来估计来自一只眼睛的图像的可能重像，并且将其从原始图像中减除。人类心理视觉因素被忽略，因此，该方法和系统可能不是有效的或者可能导致不期望的伪像，尤其是在多视图环境中。此外，没有执行基于内容的局部重像移除操作。
Brian Guralnick(美国专利号6,532,008)描述了一种用户交互的软件环境，其中用户可以通过图形用户界面(GUI)和图像编辑器以及编辑方法来人工地清除重像效果。描述了仿真和评估设备。重像缩减过程是原始图像的所选择正向百分比和负向百分比的结合。在最终图像是负向的情况下，将全局地添加白色百分比。
S.Klimenko“Crosstalk reduction in passive stereo-projection systems，”EUROGRAPHICS 2003描述了一种在被动立体投影系统中缩减串扰的方法。此方法涉及从一只眼睛图像中减除另一眼睛图像中泄漏的部分。如果需要，则向图像添加恒定量的颜色。该方法潜在地导致图像中不期望的明亮背景区域。
其他相关参考包括：John Ross等人，“Contrast Adaptation and ContrastMasking in Human Vision，”Speed Proceedings：Biological Sciences，Vol.246，No.1315(Oct 22，1991)，pp.61-70.
清除立体图像中的重像的一个问题在于，上述重像减除技术在无法从图像的整个部分中完全减除重像的情况下是受限的。某些方法能够移除重像，然而与在图像中遗留某些重像伪像相比而言，对原始图像的修改超出观察者能够接受的程度。例如，如果仅仅应用重像减除方法，则需要图像的黑暗区域中足够量的图像亮度，以减除发生重像的区域中的光。通过全局应用固定量的亮度来修改图像，这可以通过减除而移除重像，然而整个图像的对比度可能受到不利影响。另一方案是利用移除的重像的量来平衡总体图像亮度偏移量。通常，传统方案以全局方式应用于图像，并且对于具有广泛动态重像范围的所显示3D图像而言不是特别有效。当图像包括不需要任何亮度偏移用以减除重像的多个区域、以及包括需要大量亮度偏移以减除重像的多个区域时，重像移除可能是有问题的。此类图像可以包括受明亮日光影响的区域和阴影中区域的结合。
由此，期望一种克服上述限制的方法，其可以使原始图像修改最小化，并且使感知到的重像的缩减最大化。
发明内容
根据本发明的一个实施方式，在一定范围内缩减立体图像中的重像，使得为了缩减重像而对图像进行的修改是人眼不可感知的。可以使用心理视觉因素来确定阈值，图像将在该阈值以下进行修改，使得重像是人眼不可感知的，并且对图像的改动最小化。在一个实施方式中，接收包括图像内容的立体图像。接收显示系统参数，其可以属于显示系统。使用图像内容来标识立体图像的至少一个局部区域。该至少一个局部区域包括重像。使用图像内容选择心理视觉因素。通过使用心理视觉因素以及显示系统参数缩减或者清除至少一个局部区域的重像，来根据立体图像生成经修改的立体图像。
在某些实施方式中，人眼不可感知的重像可以保留在图像中，以使得图像改动最小化。显示系统参数以及心理视觉因素可以生成用于修改图像的控制蒙版(mask)。控制蒙版可以包括关于如何修改图像以缩减重像并最小化图像改动的信息。尽管某些实施方式一般地适用于任何类型的3D立体显示系统，但是特定实施方式可以在具有沉浸感3D观察环境的大型动画中心中尤其有效。通过单独或者一起使用心理视觉因素和显示系统特征，可以允许灵活的系统实现，诸如在3D显示设备中的实时系统、离线处理系统以及可以包括实时和离线处理组件的混合系统。
所提及的这些示意性实施方式并不限制或者限定本发明，而是提供示例用以辅助在此申请中公开的创造性概念的理解。在阅读整个申请之后，本发明的其他方面、优势和特征将变得易见，本申请包括如下章节：附图说明、具体实施方式以及权利要求书。
附图说明
图1是根据本发明一个实施方式的缩减或者清除在所显示3D图像中感知到的重像的过程流程的图示。
图2是根据本发明一个实施方式的用于在3D图像中缩减或者清除感知到的重像的过程的流程图。
图3A示出根据本发明一个实施方式的示出通过重像消除来缩减感知到的重像的图表。
图3B示出根据本发明一个实施方式的受到图像内容影响的感知到的重像的不可感知阈值范围的图表。
图3C示出根据本发明一个实施方式的图表，其示出了通过高光缩减以及随后的消除对感知到的重像的缩减。
图3D示出根据本发明一个实施方式的通过背景提升(boosting)以及随后的消除对感知到的重像缩减的图表。
图4是根据本发明一个实施方式的用于缩减感知到的重像的处理流程图。
图5是根据本发明一个实施方式的初级可感知重像分析过程的处理流程图。
图6是根据本发明一个实施方式的次级可感知重像分析过程的处理流程图。
图7是根据本发明一个实施方式的重像抑制过程模块的处理流程图。
图8是根据本发明一个实施方式的具有校准模块和实时重像缩减模块的3D图像显示系统。
图9是根据本发明一个实施方式的用于在编码空间中测量重像转移函数的处理流程图。
图10是根据本发明一个实施方式的用于校准的测试图像。
图11是根据本发明一个实施方式的用于缩减感知到的重像的混合系统的框图。
图12是根据本发明一个实施方式的用于缩减感知到的重像的离线系统的框图。
图13是根据本发明一个实施方式的重像消除过程模块的重像清除过程模块的处理流程图。
具体实施方式
在此公开的发明概念的特定方面和实施方式涉及用于缩减或者清除3D显示系统图像中感知到的重像的方法和系统。可以使图像的外观改动最小化。在某些实施方式中，基于相对于用于显示图像的显示系统的特征和图像内容的人类心理视觉因素以及其他，使用内容自适应的图像分析技术来分析感知到的重像。在某些实施方式中，接收包括局部区域和图像内容的原始图像。局部区域可以是共享公共图像内容的像素或者一组像素。图像内容可以是图像的特征。原始图像的局部区域可以标识为具有重像。控制蒙版可以通过使用内容图像分析局部区域而生成。控制蒙版可以包括使用图像内容选择的心理视觉因素。通过使用包括心理视觉因素的控制蒙版来修改局部区域，可以根据原始图像数据生成修改的图像。修改的图像可以输出用于显示。
出于说明目的，将针对立体投影显示系统来描述本发明的示例性实施方式。然而，在给出本发明教示的情况下，本领域技术人员将能够将所公开的概念扩展至任何立体图形显示系统。此外，在此使用的术语“立体”与术语“三维”或者“3D”可互换地使用。在此使用的术语“重像缩减”与术语“重像清除”或者“重像缩减或者清除”可互换地使用。
在某些实施方式中，重像缩减方法和系统使用心理视觉因素来分析和/或修改图像。在此使用的“心理视觉因素”是影响人类的眼睛和意识如何处理和解释人类所感知到的视觉信息的条件。心理视觉因素可依赖于图形内容。通过使用一个或者多个标识的心理视觉因素以不可感知的方式来修改原始图像，可以缩减重像并且使对原始图像的改变最小化。例如，图像可以被处理以执行不可感知的图像改变，这种改变针对图像中可能不会被人眼和意识注意到的局部区域而执行。在某些实施方式中，经修改的图像可以保留不可感知的重像，这种重像是人眼和意识不可察觉或者不易察觉的。
当观察者察觉到左右图像配对之间的图像间反差的存在时，该观察者会体验到图像中的重像。然而，当图像间改变对比度相对较小时，观察者可能无法察觉到重像。图像间对比度可以依赖于图像内容，因此，观察者察觉重像的能力可依赖于图像内容。此外，不可感知重像阈值内的图像间对比度可能是观察者不可察觉的。通过确定与左右图像配对之间的图像间反差相关联的不可感知重像阈值，可以在不可感知水平内应用重像缩减。
可以使用各种心理视觉因素来修改图像。下文描述此类心理视觉因素的示例。然而，其他心理视觉因素可以由本发明的各种实施方式实现。
一个心理视觉因素是：人眼无法察觉到图像中的“大量”或者“重度”纹理化的局部区域中的重像的存在。反之，在相对较为平缓或者“平坦”的图像区域中，重像是更可感知的。通过分析图像中出现重像的局部区域中的纹理，可以随着纹理而调节不可感知重像阈值。
另一心理视觉因素是：人眼无法察觉到特征处于运动中的局部区域中的重像的存在。例如，特征可以处于快速运动中。当特征没有运动或者较慢地运动时，重像是更可感知的。通过分析图像中出现重像的局部区域的运动，可以调节不可感知重像阈值。
另一心理视觉因素：人眼无法察觉到相关联的视差(parallax)量较小的局部区域中的重像的存在。对于具有小视差的局部区域，3D图像可能看起来远离观察者，甚至在屏幕之后。在此情况下，人眼察觉重像存在的能力可能会降低。可以通过分析局部区域视差来调节不可感知重像阈值。在宽视场3D呈现(诸如IMAX3D呈现)中，图像对象可能向屏幕拉近，并且人眼可能对与大视差相关联的重像更为敏感。表征与观察者以及图像中可能的大对象非常靠近的图像视差相关联的心理视觉因素，这可以使重像最小化。
另一心理视觉因素是：人眼无法察觉到图像的局部区域中亮度的较小和渐进变化。缺乏此类能力可以与局部区域的亮度的不可感知变化相关。此类变化可以包括在不对局部区域的外观产生可感知影响的情况下，修改图像局部区域的亮度以缩减重像源。类似地，逐渐增加较暗局部区域的图像亮度，也可促进重像缩减。例如，可以在某局部区域内扩展该区域的亮度变化。通过分析具有重像的局部区域的亮度变化，用以缩减重像的局部区域的变化水平可以发生在不可感知阈值之下。
另一心理视觉因素是：人眼能够察觉到局部区域中亮度的转变(诸如锐变)，例如，在暗局部区域与具有重像的局部区域的明亮边缘之间的转变。由此，与亮度转变相关联的不可感知重像阈值可以较低。可以通过分析与具有重像的局部区域相关联的亮度转变来调节不可感知重像阈值。
另一心理视觉因素是：当图像区域的亮度增加时，人眼能够察觉到空间亮度变化降低的存在。对于较为明亮的局部区域，在局部区域中可能存在亮度的较大空间变化。可以通过分析具有重像的局部区域的亮度水平来缩放不可感知重像阈值。
另一心理视觉因素以人眼感知图像亮度的非线性特征为基础。可以这样来缩减重像：通过相对于图像亮度来表征人眼，从而修改不可感知水平内的图像局部区域。
心理视觉因素可以通过不同方式应用，以促进重像缩减。在3D动画图片中，依赖于内容的心理视觉因素的影响可被限制在图像空间的有限局部区域内以及图像帧的有限片段内。适当的图像分析方法可用于标识这些局部区域和片段。还通过逐个像素变化的加权函数来进一步描述心理视觉因素对于重像感知的影响。不同的依赖于内容的心理视觉因素的组合结果可以由称作“控制蒙版”的2D蒙版函数来描述。控制蒙版表示为了修改图像而将要应用于所标识局部区域的计算，并且表示该计算的位置和规模。根据本发明某些实施方式的控制蒙版可以通过分析原始图像的内容来创建。
使用依赖于内容的心理视觉因素来缩减重像可以避免完全清除重像，其中此类完全清除在获得重像看似被清除的图像的同时，可能扭曲图像外观。例如，重像可以缩减到人眼区分图像内容的可察觉限制之下。通过使用一个或者多个心理视觉因素，可以较大程度地修改原始图像数据以清除感知到的重像，同时，使原始图像数据的实际改变最小化。例如，通过将人类心理视觉感知限制定义并建模到心理视觉因素中，图像的局部区域中的重像可以通过修改此类局部区域得以缩减，从而相对于缩减或者清除重像的其他尝试而言改进立体呈现。
根据某些实施方式的重像缩减方法使用一个或者多个心理视觉因素，并且一般地适用于任何类型的3D立体显示系统。此类方法特别适用于具有沉浸式3D观看环境的大型动画剧院。某些实施方式将人类的心理视觉方面从显示系统特性中分离出来，这允许灵活的系统实现，包括3D显示设备中的实时系统、离线处理系统和具有实时和离线处理组件的混合系统。
图1通过功能框图示出了根据本发明一个实施方式的用于缩减或者清除感知到的重像的方法。接收原始图像的序列，原始图像是具有重像的左眼图像和右眼图像102。通过利用一个或者多个计算过程来修改原始左眼图像和原始右眼图像，可以缩减重像。可以通过图像分析过程(初级可感知重像分析过程104)来分析原始左眼图像和原始右眼图像102。初级可感知重像分析过程104估计当图像被展示在立体3D显示系统上时感知到的重像的水平，继而确定如何修改原始图像以缩减或者清除感知到的重像。初级可感知重像分析过程104可以包括接收一个或者多个类型的显示系统参数122。
显示系统参数122相对于感知到的重像来描述将在其上显示图像的3D显示系统的特性。不同类型的立体3D显示系统可以具有不同的显示系统参数集合，并且每个个体3D显示系统可以具有不同的显示系统参数。显示系统参数122可以这样获取：向3D显示系统应用校准过程，以测量其与感知到的重像有关的特性。在其他实施方式中，代表参数集合可被用作默认显示系统参数。初级可感知重像分析过程104还可以通过用户输入106接收显示系统参数，用户输入106由用户通过软件GUI和/或使用各种类型的输入设备而提供。
计算过程还可以包括重像抑制过程114和重像消除过程116。重像抑制过程114可以修改原始左眼图像和右眼图像102，以促进感知到的重像的缩减。重像消除过程116可以进一步修改图像以清除感知到的重像或者以其他方式将其进一步缩减。重像抑制过程114可以通过局部、自适应的方式修改原始左眼图像和右眼图像102，以避免对原始左眼图像和右眼图像102的经修改图像的外观的不可接受改变。为了将此类改变最小化，初级可感知重像分析过程104可被用于通过分析原始图像内容并使用适当的心理视觉因素(诸如如前所述的那些)来估计感知到的重像。初级可感知重像分析过程104可以确定将向原始左眼图像和右眼图像102应用的、用以缩减或者清除所估计感知到的重像的计算过程。
初级可感知重像分析过程104可以确定原始左眼图像和右眼图像102的位置，以应用计算以及用于应用该计算的方法。由于感知到的重像的水平可依赖于图像内容，初级可感知重像分析过程104输出此类依赖于内容的决策，作为一个或者多个抑制控制蒙版108。抑制控制蒙版108可以是各种类型。每类控制蒙版可以用于指引特定的计算过程以局部且内容自适应的方式来修改图像。控制蒙版的实施方式的在形式上是灰度图像，其中每个像素值或者编码值定义程度或者尺度，特定的计算过程将以该程度或者尺度应用于图像的相应像素。如果针对图像的不同颜色通道提供不同尺度，则控制蒙版可以由RGB图像表示，其中特定颜色通道的编码值定义如下尺度，特定的计算过程将以该尺度应用于原始图像像素的相应通道。在任一情况下，控制蒙版中的非零编码值可以定义活跃像素位置，并且活跃像素的集合可以定义图像中的活跃局部区域。在任何情况下，控制蒙版可以定义图像中的活跃局部区域以及相应的尺度，其中计算过程将以该尺度被应用于该活跃局部区域。针对图像的每一帧，可以生成并使用用于每个特定计算过程的不同控制蒙版以缩减重像。
来自初级可感知重像分析过程104的抑制控制蒙版108可用于引导重像抑制过程114对原始左眼图像和右眼图像102执行局部的、内容自适应的计算。来自此过程的结果可以是经重像抑制的图像118，该图像118可以进一步由重像消除过程116修改。重像消除过程116可以修改经重像抑制的图像118，以实现感知到的重像的最大缩减。在某些实施方式中，可以实现感知到的重像的完全清除。
重像消除过程116可以以局部的、自适应的方式修改图像，以便最大化重像缩减并且最小化对图像数据的改动。此类局部的、内容自适应的计算实践可以由次级可感知重像分析过程110产生的清除控制蒙版112来引导。次级可感知重像分析过程110的某些实施方式可以对来自经重像抑制过程114修改的图像的感知到的重像执行更为精确的估计。类似于初级可感知重像分析过程104，次级可感知重像分析过程110可以通过确定适当的心理视觉因素来分析图像内容。基于这种分析的结果，次级可感知重像分析过程110可以确定每个图像帧中活跃的局部区域的位置，以及在重像消除过程116中使用的尺度。此类确定可以使用消除控制蒙版112向重像消除过程116提供，消除控制蒙版112与初级可感知重像分析过程104所产生的控制蒙版类似地构造。次级可感知重像分析过程110可以接收一个或者多个显示系统参数122以及特定类型的用户输入107。
重像消除过程116可以使用显示系统参数122来实现感知到的重像的最大化缩减。使用的显示系统参数122可以与两个感知重像分析过程所使用的参数相同或者不同。在某些实施方式中，精确的显示系统参数可能不可获得，并且可以使用代表参数集合作为默认显示系统参数。
重像消除过程116可以输出经修改的左眼图像和右眼图像120，当其被显示在期望的立体3D显示系统上时会展示缩减的重像。在本发明的一个实施方式中，输出的经修改左眼图像和右眼图像120可以直接实时流式传输至3D显示系统以用于显示。在其他实施方式中，输出的经修改左眼图像和右眼图像120可以存储在图像存储设备上以便在处理之后的后续时间显示。
图2示出根据本发明一个实施方式的图1方法的一般性系统实现中的流程图。在框230处，接收原始立体图像。该图像例如可以接收自可以实时提供图像的电影院图像服务器或者卫星视频解码器。在某些实施方式中，图像从可以非实时提供图像的硬件驱动或者数据磁带接收。
在框232中，接收显示系统参数。在某些实施方式中，显示系统参数通过校准过程接收并被存储在系统中，或者可以动态计算。
在框234中，初级可感知重像分析过程104使用原始图像数据和显示系统参数来确定将要应用于图像的计算过程，以及用于以局部的、内容自适应的方式应用每个计算过程的方法。在框236中，生成控制蒙版，其包括或者表示用于重像抑制的计算过程。在框238中，重像抑制过程114可以在对图像外观的改变最小的情况下修改原始图像数据。在框240中，由次级可感知重像分析过程110分析经重像抑制的图像。在框242中，基于针对局部、内容自适应的重像消除的分析，生成包括或者表示用于重像消除的计算过程的控制蒙版。在框244中，由重像消除过程使用控制蒙版来执行重像消除，以生成最大化重像缩减并且最小化图像数据改动的经修改图像。在框246中，具有重像被缩减的经修改图像被输出至3D显示系统以供展示。
在某些实施方式中，取代重像抑制过程114和重像消除过程116两者，由重像消除过程116修改原始立体图像。在这些实施方式中，框234、236和238可被跳过，如虚线248所示。例如，次级可感知重像分析过程110可以应用于输入的原始图像，以估计感知到的重像并产生消除控制蒙版112，以用于局部、内容自适应的重像消除。
在其他实施方式中，取代重像消除过程116和重像抑制过程114两者，由重像抑制过程114修改原始立体图像。在这些实施方式中，框240、242和244被跳过。由重像抑制过程114修改的图像可以在框246中输出。
图3A示出了根据本发明一个实施方式的、与重像清除有关的概念。如前所述，重像可以导致来自一只眼睛(非预期眼睛)的信息泄漏至另一眼睛(预期眼睛)。来自非预期眼睛图像的此类泄漏在预期眼睛中可能作为重像而被人类观察者感知。在图3A中，每个样本图像表示二维图像帧的一条线。样本图像302是针对非预期眼睛的原始图像，而样本图像304是针对预期眼睛的原始图像。每个样本图像的水平轴表示像素水平位置，竖直轴表示像素编码值。预期眼睛图像304是相对平坦的图像，具有相对较低的编码值。非预期眼睛样本图像302包括靠近中心线的高光的峰312，这将在以感知亮度显示的感知预期眼睛图像306中导致可见重像316。如果感知到的重像的亮度水平没有超过原始预期眼睛样本图像304的原始亮度水平，则可以修改预期眼睛图像308的编码值318以产生经修改的图像310，该图像310被感知为无重像或者近似无重像320。
人眼具有针对感知到的重像的阈值水平。此类水平可以称作不可感知重像阈值。如果重像的亮度水平低于不可感知阈值水平，则重像可能是人眼不可感知的。不可感知重像阈值可依赖于图像内容，其可以通过使用一个或者多个心理视觉因素而量化。在作为缩减了重像的样本图像的经修改图像310中，此类不可感知重像阈值(由σ表示)的范围被描绘为重叠在感知的预期眼睛图像顶部的小范围322。出于说明目的，经修改图像310中的σ的尺度322被夸大。不可感知阈值可以通过实验确定，诸如针对每个心理视觉因素的迭代方法，直到观察者看不到重像。在某些实施方式中，不可感知阈值针对所使用的每个心理视觉因素而确定。在其他实施方式中，不可感知阈值针对所使用的全部心理视觉因素而确定。
根据前文公开的特定心理视觉因素，不可感知重像阈值可以随着图像内容改变而提高。图3B示出了具有“重度”或者强纹理化外观的另一预期眼睛图像324。根据某些心理视觉因素，强纹理外观可以降低人眼察觉到重像存在的能力。例如，强图像纹理可以提高不可感知重像阈值。作为结果，与图3A中的306的样本图像相比，感知预期眼睛图像326可以看上去具有较少的重像，尽管感知预期眼睛图像326和306可能经历来自非预期眼睛样本图像302的相同量的信息的物理泄漏。在作为感知预期眼睛图像326的样本图像中，这一现象被描述为不可感知重像阈值σ340的范围的增加。326的图像中的σ340的尺度出于说明目的而有所夸大。
图3C和图3D示出与通过应用具有重像消除的重像抑制来进一步缩减感知到的重像有关的概念。在图3C和图3D中，非预期眼睛样本图像302与图3A和图3B中的相同，然而预期眼睛图像由具有较低编码值354的较暗图像342代替。样本图像344示出了具有重像356的感知预期眼睛图像，其中重像356可能没有通过重像消除而被完全清除，这是因为重像的亮度水平超过了原始预期眼睛图像的亮度水平。图3C中示出的一个方法是，修改非预期眼睛图像346的编码值，以降低其亮度区域358的亮度水平，从而降低感知到的重像360的亮度水平。得到的非预期眼睛图像是经重像抑制的图像346，其中预期眼睛图像348中感知到的重像被缩减。如果在经重像抑制的图像346中有足够数量的高光被缩减，则感知到的重像可以被缩减至通过应用重像消除而清除重像的水平360。样本图像350示出对预期眼睛图像应用重像消除的结果。样本图像352示出几乎无重像的预期眼睛图像，这是由缩减非预期眼睛图像中的高光区域与向预期眼睛图像应用重像消除的结合结果而产生的。此类通过修改非预期眼睛图像的重像抑制方法可以称作“高光缩减”。
在图3D中示出了重像抑制的备选方法。此类方法被称作“背景提升”。不同于修改非预期眼睛图像的高光缩减方法，背景提升方法可以通过提高其编码值来修改预期眼睛图像。在图3D中，通过提高围绕感知到的重像356位置的暗区域354的编码值，修改作为预期眼睛图像的较暗图像342。结果是经修改的预期眼睛图像372。如果足够量的暗区域被提高378，则可以通过向372的经重像抑制的图像应用重像消除而移除感知到的重像。样本图像373示出了具有已提高背景的预期眼睛图像中感知到的重像。样本图像374示出了向经修改的预期眼睛图像374应用重像消除的结果。得到的经重像缩减的预期眼睛图像376被感知为具有提高背景382的无重像图像，由于提高的背景，该无重像图像比作为原始预期眼睛图像的较暗图像342要亮。如果预期眼睛图像中的经提高强度372较小并且是逐渐的，则所得到的经修改的预期眼睛图像376和原始图像342之间的亮度差异可能是不可感知的。
本发明的特定方面和实施方式允许高光缩减过程以及背景提升过程共同工作，以实现更为有效的重像抑制，并减少对于原始图像外观的修改。在一个实施方式中，通过缩减非预期眼睛图像中局部区域的高光来缩减感知到的重像的一部分，而利用预期眼睛图像的局部区域中的背景提升来缩减感知到的重像的其余部分。这两种方法之间的协调可以自动地控制，或者通过如图1所示的直接用户输入105来控制。初级可感知重像分析过程104和重像抑制过程114两者可以支持如下计算结构，其允许独立地控制高光缩减和背景提升计算过程，如下文以及图5和图7中进一步公开的。
来自非预期眼睛图像和预期眼睛图像两者的重像抑制的贡献可以导致这两个图像之间图像外观改变量分开，这可以降低图像外观的整体感知变化。在本发明的一个实施方式中，重像抑制过程114的实现允许在重像缩减和对图像外观改变的可接受视觉容忍度之间进行权衡。为了进一步使对图像外观的改变最小化，高光缩减和背景提升方法两者可被限制在由图像内容和心理视觉因素所确定的局部范围。抑制控制蒙版108(可以称作“高光控制蒙版”和/或“背景控制蒙版”)由初级可感知重像分析过程104产生，以允许两种方法均为局部的和内容自适应的。
图1的重像缩减方法可以使用各种系统实现。图4示出了根据本发明一个实施方式的一个此类系统。该系统包括重像缩减模块404，其包括一个或者多个处理器，诸如图像分析处理器406、重像抑制处理器408和重像消除处理器410。另外，可以提供校准模块412以获取显示系统参数420，参数420表示立体3D显示系统418针对感知到的重像的特征。
图像分析处理器406可以执行初级可感知重像分析过程104以及次级可感知重像分析过程110的功能。图像分析处理器406可以使用显示系统参数420来分析输入的原始立体图像402中感知到的重像，以及计算诸如高光控制蒙版、背景控制蒙版和消除控制蒙版之类的控制蒙版。高光控制蒙版和背景控制蒙版两者可由重像抑制处理器408使用，以执行局部的、内容自适应的重像抑制计算过程。消除控制蒙版可由重像消除处理器410使用，以执行局部的、内容自适应的重像消除计算过程。控制蒙版的完整性可由图像分析处理器406来维护，以确保重像被缩减的经修改左眼图像和右眼图像120的质量。
图4的系统实现提供了一种控制机制，用于实现有效的重像缩减与最小化图像外观改动之间的平衡。此类控制机制可由通过用户输入设备414去往重像缩减模块404的用户输入422来控制。经过数字处理的重像缩减图像数据424可以通过3D显示系统418显示，以递送经重像缩减的3D图像。然而，各种实现(诸如对于图4的变形)可以用于实现针对不同应用环境的处理方法的实施方式，其中应用环境诸如实时嵌入式硬件模块和/或后期生产管线中的离线处理。
图5示出了如图1所示初级可感知重像分析过程104中的处理流程细节。初级可感知重像分析过程104的一个功能是分析原始左眼图像和右眼图像102的图像内容，以确定是否需要重像抑制计算，以及在需要的情况下，确定如何针对图像执行重像抑制计算。初级可感知重像分析过程104包括局部自适应分析模块502，其分析左和右图像的每个像素的特征，并将共享相同特性的像素组织至局部区域中。这些局部区域可以由一个或者多个主要的图像特性来标记。局部自适应分析模块502可以执行一组图像分析和图像处理算法，这些算法从简单的图像对比度计算直到复杂的基于内容的算法。此类算法的示例包括特性提取、运动估计、像差(disparity)估计和纹理分析。这些算法中的某些可以在空域中应用，而某些其他算法可以在时域或者其他域中应用。
初级可感知重像分析过程104可以包括心理视觉因素模块520，其提供心理视觉因素作为适当计算规则的集合。这些计算规则可以建立将特定心理视觉因素与特定类型局部区域相关的对应关系。此类局部区域的示例包括但不限于：
具有高/低图像间反差的区域；
具有高/低亮度的区域；
高光/背景区域；
具有大/小像差的区域；
具有强/平坦纹理的区域；
具有快/慢运动的区域；以及
具有强/弱重像边缘的区域。
每个区域可以由其主要特性进行标记，并且每个区域可以基于适用于该区域的心理视觉因素，而以量化方式在适当的控制蒙版中加权。
局部自适应分析模块502可以接收显示系统参数122，其通过独立的校准过程获得，或者是默认的显示系统参数。在某些实施方式中，显示系统参数122通过测量引起感知到的重像的特定系统特性(诸如，左右通道之间的重像转移函数(transfer function))而由校准过程获得。获得的显示系统参数122可以表示3D显示系统针对感知到的重像的特性。局部自适应分析模块502还可以接收输入106，诸如改变心理视觉因素和相关计算规则的输入。用户输入106例如可以通过使用输入设备而通过GUI提供。
局部自适应分析模块502可以使用在3D显示系统的左眼通道和右眼通道之间的重像转移函数，以准确地确定特定的计算过程应当应用于何处以及如何应用。3D显示系统中感知到的重像的量可依赖于3D显示系统的串扰特性以及图像的强度值。另外，感知到的重像的量可能受到基于心理视觉因素的局部图像特性的影响。LL和LR可以分别表示左眼图像和右眼图像的强度值(或者编码值)。从左眼通道到右眼通道的依赖于系统的感知到的重像可以由重像转移函数来建模，表示为TL->R(IR，IL)。类似地，从右眼通道到左眼通道感知到的重像可以由第二重像转移函数来建模，表示为TR->L(IL，IR)。在更一般的表示中，感知到的重像可以由重像转移函数表示，诸如Tunint->int(Iint，Iunint)，其对从非预期眼睛图像(标注为“unint”)到预期眼睛(标注为“int”)图像的感知串扰进行建模。
3D显示系统的重像转移函数Tunint->int(Iint，Iunint)可以表示非预期眼睛图像Iunint和预期眼睛图像的Iint中感知到的重像之间的关系。图像编码值Iunint和Iint可以正则化为0至1范围中的值，其中“0”表示没有重像，“1”表示最大化感知到的重像。图像编码值可以被映射到由[0，MAX]表示的实际图像编码空间，使得
MAX＝2n-1 (1)
其中n是图像数据的位深度。例如，对于具有10位深度的图像，MAX＝1023。给定3D显示系统的重像转移函数可以通过下文详述的校准过程来获得。Tunint->int(Iint，Iunint)的重像转移函数可以是来自非预期眼睛图像和预期眼睛图像两者的强度值的函数。然而，由预期眼睛图像强度值所导致的影响可以在心理视觉模型中单独地建模，并且一般重像转移函数可以简化为一维函数，使得
T(Iunint)＝Tunint->int(0，Iunint) (2)
其中Iint被定义为0。从左眼通道到右眼通道或者从右眼通道到左眼通道的重像转移函数可以简化为：
重像转移函数可以描述针对感知到的重像的、从非预期眼睛通道向预期眼睛通道的串扰，然而可能无法描述人类观察者所感知到的重像的量。重像的人类感知可受到各种依赖于内容的心理视觉因素的影响。此类依赖于内容的心理视觉因素的示例诸如涉及特定类型的图像特性，包括但不限于：图像间反差、背景强度、像差、纹理以及运动。局部自适应分析模块502可以利用这些特性中的任何特性来搜索局部区域，分析其对于感知到的重像的影响，并确定基于重像转移函数而计算的结果之上的校正量。
再次参考图5，局部自适应分析模块502可以分析图像内容，并产生多种类型的中间数据映射。一种类型可以是残差泄漏映射504。残差泄漏映射504可以使用如下关系中的转移函数来定义：
DL(x，y)和DR(x，y)分别是针对左眼和右眼的像素位置(x，y)处的最大残差泄漏值。最大残差泄漏值的集合可以构成残存泄漏映射，其定义了图像中无法通过执行重像消除而完全清除感知到的重像的局部区域。得到的残差泄漏映射504可用于生成用于重像抑制的控制蒙版。
另一类中间数据映射可以是重像区域映射506，其中具有重像的潜在局部区域可以被标记并被指派以权重。权重可以确定应用重像抑制操作所应有的强度。例如，应用于重像抑制操作的权重“1”可以表示：在局部区域中将要移除100％的残差重像，使得重像是人眼不可感知的。0.5的权重可以标识将要移除50％的残差重像。
重像区域最初可以基于左眼图像与右眼图像之间的图像间反差来标识。在图像像素位置(x，y)的图像间反差可以是该像素位置处左眼图像与相应右眼图像之间的编码值的绝对差。这可以使用如下关系定义：
δ(x，y)＝|IL(x，y)-IR(x，y)| (5)
其中IL(x，y)和IR(x，y)是左图像和右图像在像素位置(x，y)处的编码值。图像间反差值可用于检测重像区域。较大的图像间反差值可以指示较强的重像。基于图像间反差值，可以向具有重像的局部区域的像素指派适当的权重，表示该区域的估计重像水平。可以使用适用于重像区域的心理视觉因素来校正重像。可以基于用户输入106进一步修改重像区域的权重。最终重像区域权重的集合可以是重像区域映射506，其可以用来生成用于重像抑制计算过程的控制蒙版。
作为示例，局部自适应分析模块502可以基于区域的纹理特性对重像区域的权重进行校正。可以使用标准纹理分析算法来检测区域的纹理复杂度，当然，其他等效算法也可适用。在算法中，通过计算局部区域的标准差，或者通过测量多分辨率小波变换或者小波封包变换的局部细节系数的和，可以对纹理复杂度进行量化。高纹理复杂度测量值可以指示重度纹理化区域，而小值可以指示相对平坦的区域。如果检测到重度纹理化区域，则可能需要较少的重像缩减处理，因为根据心理视觉因素的一个方面，重度纹理缩减了人类对于重像的敏感度。重像区域映射中的权重可以针对局部区域而相应降低。
在另一示例中，局部自适应分析模块502可以基于区域的运动特性而对具有重像的局部区域的权重进行校正。可以使用标准运动估计算法来测量区域中运动的量，当然其他等效算法也可适用。在美国专利号7,260,274中描述了此类方法的示例。运动可以通过运动向量进行量化，其中运动向量由基于块的运动估计算法，或者由基于光流的运动估计算法计算得到。还可以通过测量每个像素的瞬时梯度来量化运动，诸如：
Gn(x，y)＝|In(x，y)-In-1(x，y)|， (6)
其中In(x，y)是第n个图像帧中的像素位置(x，y)处的强度值。如果运动向量或者瞬时梯度在一个区域中具有较大值，则该区域可以被表征为快速运动区域，并且可以应用较少的重像缩减处理，因为根据心理视觉因素的另一方面，快速运动降低了人类对重像的感知。对于该局部区域，重像区域映射中的权重可以相应降低。
在另一示例中，局部自适应分析模块502可以基于重像区域的强度特性对该重像区域的权重进行校正。相比于具有较低强度值的区域而言，具有高像素强度值的区域可使重像较不易被人眼感知。根据心理视觉因素的另一方面，可以应用较少的重像缩减处理。对于该局部区域，重像区域映射中的权重可以相应降低。
在另一示例中，局部自适应分析模块502可以基于针对相同区域的在左眼图像和右眼图像之间的立体像差，对重像区域的权重进行校正。可以使用标准立体匹配算法来测量区域中的像差的量，当然其他等效算法也可适用，诸如在以下文章中所述的那些算法，“Ataxonomy and evaluation of dense two-frame stereo correspondence algorithms”by D.Scharstein and R.Szeliski，published in the International Journal ofComputer Vision(Volume47，Issue 1-3，2002)。相对于具有大像差值的区域而言，具有小像差值的区域可使重像较不易被人眼感知。根据心理视觉因素的另一方面，可以向该区域应用较少的重像缩减处理。对于该局部区域，重像区域映射中的权重可以相应地降低。
在另一示例中，局部自适应分析模块502可以基于区域中出现的感知到的重像的梯度对重像区域的权重进行校正。重像的梯度可以通过检测导致此类重像的、非预期眼睛图像中相应区域的梯度而进行量化。标准边界检测算法可以与局部梯度检测算法结合使用。局部梯度还可以使用如下关系测量：
G(x，y)＝(|I(x，y)-I(x-d，y)|+|I(x，y)-I(x，y-d)|)/2 (7)
其中I(x，y)是非预期眼睛图像在像素位置(x，y)处的强度值。变量d是目标边界宽度。基于由方程(7)计算的空间梯度G(x，y)，如果区域具有锐变，则该区域被标识为经历锐利重像转变。根据心理视觉因素的另一方面，可以应用较多的重像缩减处理。对于该局部区域，重像区域映射中的权重可以相应增加。
对于利用多个心理视觉因素表征的区域，基于个体心理视觉因素而确定的权重校正可以由非线性函数进行组合。
另一类中间数据映射是约束映射508，其中约束可以是由用户或者局部自适应分析模块502定义的。约束映射508可以用于管理重像抑制的计算。在一个示例中，用户可以输入命令，以禁止对图像的特定区域进行任何重像抑制处理，因为在该图像部分中改变图像的外观是不可接受的。在另一示例中，约束映射508可以包括矢量ht＝(ht红，ht绿，ht蓝)，其定义每个颜色通道中高光缩减量的上限。在另一示例中，约束映射可以包括矢量bt＝(bt红，bt绿，bt蓝)，其定义每个颜色通道中背景提升量的上限。约束映射508可用于调节重像抑制控制蒙版的生成。
重像抑制过程114可以包括背景提升模块702和高光缩减模块704，如图7所示。背景提升模块702可以由背景控制蒙版108-A控制，背景控制蒙版108-A可由背景控制蒙版生成模块510使用残差泄漏映射504、重像区域映射506和约束映射508产生。背景控制蒙版中的活跃区域可以定义预期眼睛图像中倾向于具有来自非预期眼睛图像的重像(例如图3D)的暗区域。背景控制蒙版可以允许背景提升模块702针对原始左眼和右眼图像102执行局部的、内容自适应的计算。为了最小化预期眼睛图像中对提高的亮度水平的感知，背景控制蒙版108-A可以使用柔性边缘将提高的强度水平与周围的暗区域平缓地混合。
背景控制蒙版生成模块510的实施方式可以实现如下。对于每个预期眼睛图像的帧，可以基于相应残差泄漏映射504的值来生成初始背景控制蒙版。可以基于同一帧的重像区域映射506对初始背景控制蒙版进行加权。得到的控制蒙版可以使用高斯核(或者其他低通滤波)进行平滑，以产生柔和的边缘。通过考虑与柔性边缘空间亮度改变有关的心理视觉因素，柔性边缘的空间梯度可以将空间亮度改变保持在不可感知阈值以下。高斯核的大小可以确定背景控制蒙版的柔性边缘，并且其还可以由图像帧的大小以及其他图形内容特性来确定。得到的控制蒙版可以基于同一帧的约束映射508所定义的约束进行调节。此过程可以针对预期眼睛图像的每帧而重复。背景控制蒙版生成模块510继而可以切换至第二眼睛图像并重复上述计算任务。
类似地，高光控制蒙版生成模块512可以产生高光控制蒙版108-B，其可以在重像抑制过程114中控制高光缩减模块704的计算过程。高光控制蒙版生成模块512可以使用残差泄漏映射504、重像区域映射506和约束映射508来产生初始高光控制蒙版。高光控制蒙版中的活跃区域可以定义在相应的预期眼睛图像中导致强重像的、非预期眼睛图像中的高强度区域(例如，图3C)。高光控制蒙版108-B可以允许高光缩减模块704针对原始左眼图像和右眼图像102执行局部的、内容自适应的计算。为了缩减由于强度的降低而引起的潜在伪像，高光控制蒙版108-B可以使用柔性边缘将降低的强度与周围区域平缓地混合。
高光控制蒙版生成模块512的实施方式可以实现如下。对于每个非预期眼睛图像帧，可以基于同一帧的残差泄漏映射504的值来生成初始高光控制蒙版。得到的控制蒙版可以基于同一帧的重像区域映射506进行加权。通过考虑与柔和边缘的空间亮度改变有关的心理视觉因素，可以利用适当的高斯核(或者其他低通滤波)对得到的控制蒙版进行平滑，以产生柔和边缘。得到的控制蒙版可以基于同一帧的约束映射508所定义的约束进行调节。此过程可以针对每个非预期眼睛图像帧而重复。继而，高光控制蒙版生成模块512可以切换至第二眼睛图像并重复上述计算任务。
控制蒙版可以成对地产生，一个用于左眼图像，一个用于右眼图像。由于控制蒙版的产生独立于配对中匹配的控制蒙版，因此两个控制蒙版的活跃区域和权重可能不是精确匹配的。这可能在经重像缩减的图像中导致双目失配伪像。双目一致性检查模块516可用于校正每对控制蒙版之间的此类失配。双目校正的一个示例包括：使用最大化操作将两个成对背景控制蒙版合并到将用于左眼和右眼二者的一个蒙版中。下文的关系表示此类方案：
B＝max(aLBLeft，aRBRight) (8)
其中BLeft和BRight是独立用于左眼和右眼的背景控制蒙版。校正因子aL∈[0，1]，an∈[0，1]可以是可调节参数。
背景控制蒙版108-A和高光控制蒙版108-B两者可以是基于帧的。例如，成对的控制蒙版可以针对每对图像帧而创建。当作为一个序列观看时，控制蒙版可能展示出瞬时不一致伪像。如果这种伪像不被校正，则可能在经重像缩减的图像中导致不期望的瞬时伪像。
控制蒙版中的瞬时不一致伪像可以由瞬时伪像移除模块518来校正。在一个实施方式中，瞬时伪像移除这样来实现：将当前帧的控制蒙版与先前帧的平滑化控制蒙版与平滑因子γ(0＜γ＜1)的乘积进行混合，使得
其中是帧i的经平滑控制蒙版，Si是帧i的未校正控制蒙版。方程(9)的计算操作可以称为瞬时平滑，并且可以由γ的值加以控制，其受制于约束映射508所定义的任何限制。可以限制从Si到的改变，使得在Si与之间的绝对改变被保持在特定限制以下。(9)的瞬时平滑操作可以应用于任何类型的控制蒙版。在一个实施方式中，双目一致性检查模块516所校正的控制蒙版的序列被临时存储于缓冲设备中，使得可以应用瞬时平滑。经瞬时平滑的控制蒙版可以是最终的控制蒙版，诸如背景控制蒙版108-A和高光控制蒙版108-B，其可以由包括背景提升模块702和高光缩减模块704的重像抑制过程114使用，如图7所示。
在本发明的一个实施方式中，背景提升模块702与高光缩减模块704一起对同一立体图像进行操作，以实现感知到的重像的最大缩减。在左眼图像的强度值小于右眼图像的强度值的区域中，左眼图像可以等同于预期眼睛背景，使得背景提升可以应用于左眼图像中的区域。同时，右眼图像中的相同区域可以等同于非预期眼睛高光，使得高光缩减可以应用于右眼图像中。
背景提升控制蒙版中的尺度可以定义在预期眼睛图像的活跃区域中所允许的背景提升计算的水平。例如，bt可以表示背景控制蒙版在某个像素位置处的尺度。当尺度bt＝0.1，其可以允许在同一像素位置处将预期眼睛图像编码值提高完全强度的10％。零尺度值可以禁止任何背景提升计算操作。背景控制蒙版尺度的其他定义也是可能的。此类尺度不限于上述示例。具有柔性边界的背景控制蒙版在活跃区域的边界附近可以包括逐渐降低的尺度，使得经强度提高的背景区域可以与周围像素无缝地混合。
类似地，高光控制蒙版的尺度可以定义在非预期眼睛图像的活跃区域中所允许的高光缩减计算的水平。例如，ht可以表示高光控制蒙版在某个像素位置处的尺度。如果尺度ht＝0.1，其可以允许非预期眼睛图像中的像素将其强度降低完全像素强度的10％。零尺度可以禁止任何高光缩减计算操作。高光控制蒙版尺度的其他定义也是可能的。此类尺度不限于上述示例。具有柔性边界的高光控制蒙版在活跃区域的边界附近可以具有逐渐降低的尺度，使得经强度缩减的高光区域可以与周围像素无缝地混合。
再次参考图7，重像抑制计算过程114可以提供一种控制机制，用以协调背景提升模块702和高光缩减模块704的结合操作。该控制机制可以包括可通过用户输入105调节的比率控制模块708。比率控制模块708可以生成成对比率α和β，其可以是用于相应控制蒙版的乘数。背景提升操作的控制可以利用通过乘数710的比率α，而高光缩减操作的控制可以利用通过另一乘数712的比率β。通过调整这两个比率，可以选择重像抑制计算操作的不同模式。例如，如果α被设置为100％而β被设置为零，则选择背景提升操作而不是高光缩减操作用于重像抑制。另一方面，如果β被设置为100％而α被设置为零，则选择高光缩减操作而不是背景提升操作。如果α＞0并且β＞0，则背景提升模块和高光缩减模块可以根据这两个比率的值的加权结合操作，以执行重像抑制。在0＜α＜100％并且0＜β＜100％的情况下，可以通过部分地提高预期眼睛图像的强度并且部分地降低非预期眼睛图像的高光来实现重像抑制。当α+β＝100％时，可以实现完全的重像抑制。当α＝β＝50％时，可以在背景提升和高光缩减之间相等地划分重像抑制。图7的控制机制还可以允许比率控制模块708基于图像内容而被自动地控制。
重像抑制过程的特定实施方式可以应用于一个以上的颜色通道。当每个颜色通道被独立处理时，由于对每个颜色通道的不平衡的像素强度改变，可能产生某些类型的错误彩色伪像。通过在色相、饱和度和明度(HSV)颜色空间而不是RGB颜色空间中进行处理，可以保持颜色一致性。可以对V通道而不对H或者S通道执行重像抑制操作，以保持颜色一致性。在其他实施方式中，可以对V和S通道执行该操作，而保持H通道不变。使用平滑控制蒙版可以防止由于局部强度改变而出现可见的轮廓伪像。
再次参考图1，由重像抑制过程114修改的图像数据可以由重像消除过程116进一步处理。重像清除过程116可以通过修改预期眼睛图像而缩减甚至清除感知到的重像。重像消除过程116可以按照清除控制蒙版112的引导以局部的、内容自适应的方式执行，以实现有效的重像缩减，同时最小化对图像数据的改变。消除控制操作112可以由次级可感知重像分析过程110生成。图6示出了次级可感知重像分析过程110的处理流程的一个示例，其类似于图5所示的初级可感知重像分析过程。
在图6中，已由重像抑制修改的图像数据可由局部自适应分析模块622再次分析，因为例如感知到的重像可能在修改之后改变。局部自适应分析模块622可以产生中间数据映射，诸如重像区域映射626和约束映射628。重像区域映射626可以基于显示系统参数122而计算，并且可以通过考虑由模块640提供的心理视觉因素而进行校正。约束映射628可以包括约束决策，其可由用户107定义或者由局部自适应分析模块622定义，并且可以调节重像消除控制蒙版112的生成。
在某些实施方式中，用于生成重像区域映射626和约束映射628的计算步骤可以与针对图5描述的相同。一个潜在的差异可以是：重像消除操作可不使用残差重像映射。重像区域映射626和约束映射628可用于由消除控制蒙版生成模块614生成消除控制蒙版112。得到的控制蒙版可以被进一步细化，以通过双目一致性检查模块616移除双目失配伪像，以及通过瞬时伪像移除模块618移除瞬时伪像。这两个伪像校正模块的功能可以与参考图5描述的相同。次级可感知重像分析过程110可以执行初级可感知重像分析过程的功能子集。
在一个实施方式中，次级可感知重像分析过程110可以包括与初级可感知重像分析过程104相同的配置，区别在于某些未使用的功能可被禁用。例如，两个过程都可以由图4所描述的相同图像分析处理器406执行。
从次级可感知重像分析过程110生成的消除控制蒙版112可以用于控制如何向预期眼睛图像的局部区域应用重像消除。例如，尺度值“1”可以允许完全消除，而尺度值“0”可以禁止任何消除。“0”和“1”之间的尺度值可以表示部分消除。消除控制蒙版112可以使用或者不使用柔性边缘。
图13中示出了重像消除过程116的一个实施方式。显示系统122可以由重像转移函数TL->R(IR，IL)和TR->L(IL，IR)表示，其可以通过校准过程获得。重像转移函数可以由消除控制蒙版112修改，以针对每个图像帧创建定制的重像转移函数。此计算步骤在图13中被示为重像转移函数蒙版模块1302。经蒙版的重像转移函数可用于针对每个图像帧建立感知重像模型。由于控制蒙版是局部的和内容自适应的，因此得到的重像模型可以是局部的和内容自适应的。当计算更为精确的感知重像模型时，重像消除过程可更为有效。
本发明的某些实施方式允许通过使用特定的人类心理视觉因素而使感知重像模型变得更为精确。在空域和时域两者中，人眼视觉灵敏度与图像亮度具有相反的关系。与较暗的图像相比，人眼在非常亮的图像中不太能区别细微的强度变化。人类对3D显示系统中的重像的感知遵循类似的非线性关系。此类关系可以由一般的重像模型来描述，诸如：
I′＝I+MT(ε-I)″ (10)
其中I是预期眼睛的无重像图像的强度，T是显示系统的重像转移函数，而I′是预期眼睛的感知到的图像的强度。M是关于感知到的重像的、表示人类心理视觉属性的控制蒙版，并且是依赖于内容的，而ε，n是建模参数。MT(ε-I)n表示感知到的图像。变量I′，I，M和T可以被正则化至范围[0，1]。其中I′≥MTε″，该关系依赖于参数n的值可以具有闭合形式解。当建模参数选自如下时，方程(10)可以提供对从IMAX3D电影院系统测量数据的良好近似。
n＝1/T并且ε＝1 (11)
然而，通过选择适当n和ε值，也可以使用方程(10)来建模其他类型的3D显示系统。
本发明的某些实施方式允许通过使用方程(10)求解内容自适应的感知重像模型来执行重像抑制。计算步骤可以由图13中的重像模型求解模块1304来表示。在构建此类感知重像模型中，方程(10)中的图像I可以被认为经重像消除的经修改图像，而图像I′可以被认作原始图像。项MT可被替换为重像转移函数蒙版模块1302所计算的基于帧的内容自适应蒙版重像转移函数。通过进一步利用方程(11)中定义的那些对参数进行替换，可以针对左眼图像和右眼图像二者建立以下感知重像模型：
可以通过从方程(12)求解IL和IR，来确定对左眼图像编码值和右眼图像编码值的修改的量。针对每个图像帧具有重像的每个局部区域中的每个像素求解方程(12)，这可以是针对图13中重像模型求解模块1304的计算过程。在某些实施方式中，上述计算过程还可以针对全部颜色通道而重复。方程(12)的感知重像模型可以允许将依赖于内容的心理视觉因素的影响与不依赖于内容的心理视觉因素的影响分离开；并且可以允许将依赖于系统的因素的影响与不依赖于系统的人类心理视觉因素的影响分离开。这种分离可以允许对这些因素中的每个类型单独建模，使得所公开的基于求解方程(12)的重像消除方法可以适用于多种(甚至全部)类型的3D显示系统。
在某些实施方式中，显示系统参数在不同的屏幕位置有所变化，并且还基于不同的观察者座位位置而有所变化。在屏幕位置(x，y)以及来自座位位置k的显示系统参数可以表达为重像转移函数Tk，(x，y)(I)。来自给定观察位置的、针对两个或者更多屏幕位置的重像转移函数的集合可以形成重像转移函数简档(profile)Pk，表达为Pk＝Tk，(x，y)(I)。可以使用校准过程来标识3D显示系统的至少一个简档。如果使用单一简档，则其可以表达为P＝T(x，y)(I)。重像转移函数简档可以针对每只眼睛中的每个颜色通道而定义。
在某些实施方式中，重像转移函数可以使用校准模块(诸如图4中的校准模块412)来获取。为了测量感知到的重像，校准模块412可以显示一组预定义测试图案图像，并且执行特定测量。图8示出了根据本发明一个实施方式的具备校准模块816的3D显示系统。3D显示系统是双投影仪系统，其包括左眼投影仪802、右眼投影仪804和用于显示所投影的3D图像的屏幕806。左眼投影仪802可以显示左眼测试图案图像序列，右眼投影仪804可以显示右眼测试图案图像序列。线性或者圆偏光器808可以用于以相对的方式对左眼图像和右眼图像进行偏光，使得左眼图像和右眼图像被引导至佩戴有适当偏光眼镜的观察者的适当眼睛。观察者可以基于所显示的图像的可视匹配来执行一系列人工校准过程。校准模块816可以控制测试图案图像的显示，接收用户测量以及计算显示系统参数。左眼测试图案图像可以与右眼测试图案图像在空间上对准。
所投影的左眼测试图案图像和右眼测试图案图像还可以通过配备有适当偏光器814的成对图像传感器来检测，使得左眼图像由左图像传感器810检测，右眼图像由右图像传感器812检测。图像传感器捕获的图像可以存储在校准模块816中，并被用于以自动方式计算3D显示系统的显示系统参数。所获取的显示系统参数122可以存储在嵌入每个投影仪的重像缩减模块820、822中。重像缩减模块820、822中的每一个可以对所接收的3D图像执行实时重像缩减计算。经重像缩减的3D图像可以由投影仪802、804实时显示。用户输入设备818可以允许用户与校准过程交互，例如当使用人眼而不是使用图像传感器用于匹配测试图案图像时。
图8出于示意性目的而示出了一个实施方式。根据本发明各种实施方式的各种重像缩减和清除过程例如可以在具有不同校准模块配置的其他类型的3D显示系统上实现。在某些实施方式中，校准模块816可以是独立于3D显示系统的设备。在其他实施方式中，校准模块816可以是3D显示系统的嵌入式组件。
图9示出了根据本发明一个实施方式的校准过程。左眼通道可以是在右眼通道中导致重像的非预期眼睛通道，其中右眼通道可以是预期眼睛通道。测试图案图像902可以是在编码空间中具有强度Iunint的非预期眼睛图像。测试图案图像902可以通过左眼投影仪显示，其可以由非预期眼睛通道系统转移函数910来建模。从左眼通道向右眼通道的泄漏可以由交叉通道泄漏920来建模。所显示的左眼图像可以是具有亮度Yunint的非预期眼睛图像906，其可以在所显示的预期眼睛图像上产生具有亮度水平Yg的重像914。预期眼睛通道可以是具有强度Iint的右眼测试图案图像904。预期眼睛图像可以由右眼投影仪912显示，其可以由预期眼睛通道系统转移函数912建模。所显示的右眼图像可以是具有亮度Yint的预期眼睛图像908。
非预期眼睛通道910或者预期眼睛通道912的系统转移函数可以由3D显示系统的多个显示系统参数914来确定。此类显示系统参数914的示例包括显示光学元件、显示伽马(gamma)、图像编码器、屏幕特征、观看几何以及眼镜性能。用于测量这些显示系统参数的过程可以是复杂并且耗时的。在某些情况下，可能需要高精度设备来测量特定系统参数，其成本和可用性是过高的。
本发明的某些实施方式在编码空间中测量感知到的重像。可以调整右眼测试图案图像904的强度值Iint，以产生与预期眼睛中的重像强度Yg相匹配的图像亮度Yint。测试图案可以被设计为：当调整预期眼睛图像时，将非预期眼睛图像的相应区域保持在零强度。图10示出了根据本发明一个实施方式的示例测试图案。在编码空间中测量感知到的重像可以避免可能错误的不必要假设和转换。亮度Yint和Yg的匹配(916)可以由人眼或者由成对传感器执行，这是简单并且成本有效的。由此，可以避免使用高精度设备。如果在编码空间中调整的预期眼睛图像产生与指定的显示位置处的重像亮度相匹配的亮度，则可以在该显示位置处建立两眼之间的对应关系，其可被用于计算在编码空间中定义的重像转移函数Tunint-> int918。
重像转移函数简档表示跨显示表面(诸如图8中的屏幕806)的重像转移函数的分布。典型的重像转移函数简档是二维网格上的连续函数。网格的每个顶点对应于显示图像空间的单一像素位置或者一组像素位置。重像转移函数是向特定顶点指派的函数，其或者通过顶点位置处的直接测量而获得，或者通过在靠近顶点位置处测量的重像转移函数的插值而获得。由于重像转移函数是依赖于颜色的，每个颜色通道包括分离的重像转移函数简档。
测量重像转移函数简档可以由校准模块412(或者图8中的816)执行。重像转移函数简档的测量可以分别针对每个主颜色通道并针对每只眼睛执行。在某些实施方式中，可以从不同座位位置获得不同重像转移函数简档。
在图10中，具有暗背景的一个测试图案图像1002表示将在此测量重影的预期眼睛。具有较亮背景的第二测试图案图像1003表示在预期眼睛中导致重像的非预期眼睛。每个测试图案图像可以包括圆盘图案，其标记将要应用个体重像转移函数的屏幕位置。当通过3D显示系统显示这两个测试图案图像时，来自这两个图像的盘图案可以在位置上相匹配。预期眼睛的测试图案可以具有零强度的暗背景1006，并且中心处的圆形图案1008可以具有可调整强度值Iint(1010)。非预期眼睛测试图案可以具有强度值为Iunint的较亮背景1007，但是其中心圆形图案可以具有零强度Iunint＝0(1011)。
在校准期间，这两个测试图案图像可以在显示时彼此对准。强度值Iint和Iunint可以在相同的主颜色(诸如绿色通道)中显示。在校准中，非预期眼睛测试图案的背景强度Iunint可以从0逐渐增大至最大水平，其增量步长为ΔI，导致预期眼睛图像1012中感知到的重像Yg1015的水平增加。
本发明的某些实施方式通过以下方式来间接测量重像转移函数：增加预期眼睛图像中每个盘图案1016的强度，直到亮度Iint匹配于重像Yg的亮度(如1017中所示)。此过程可以针对非预期测试图案图像的背景强度的每一步增加而重复，并且对于每一步，可以保存相应的编码值Iint和Iunint。可以针对由测试图案图像中的盘图案标记的每个屏幕位置执行测量，直到采集到一组校准数据。上述校准过程可以在全部的三个主颜色中执行，并且当非预期眼睛和预期眼睛的角色对调时，该校准过程可以针对显示系统的左眼通道和右眼通道两者进行重复。
在某些实施方式中，针对每个颜色通道的屏幕位置，可以在每只眼睛中使用共同参考重像转移函数。例如，对于每个颜色通道，可以使用2个参考重像转移函数而不是多至6个，一个用于左眼而一个用于右眼。每个屏幕位置的重像转移函数可以被建模为来自这两个参考重像转移函数的线性求导。以下是此类模型的示例：
T＝aTref+b (13)
其中a和b是参数。通过使用该模型，校准过程可以使用两个完整轮次的测量来实现，以获取针对每一只眼睛的一个参考重像转移函数。校准可以针对每只眼睛的每个颜色通道执行，但是，也可以针对每只眼睛的颜色通道使用公共参考重像转移函数，诸如当3D显示系统展示出线性颜色一致性的时候。
为了从方程(13)中描述的模型获取重像转移函数，相应的参数a和b可以通过在每个屏幕位置处进行两个点测量而测量。例如非预期眼睛图像强度可以选择为μ＞0和1，以及参数a和b可以通过使用如下线性方程确定：
利用方程(14)，可以针对每个屏幕位置测量参数a和b。结果可以形成重像转移函数模型参数映射。利用重像转移函数模型映射和重像参考转移函数，针对屏幕位置的重像转移函数可以使用方程(13)确定。为了进一步简化校准过程，3D显示区域(诸如屏幕)可以被划分为多个部分，每个部分具有不同的参数集合。针对每个屏幕位置的重像转移函数模型映射可以通过插值来获得。对于预期眼睛和非预期眼睛两者，假定用于测量颜色通道的重像转移函数的一维图像强度的N个样本，则对于来自每个屏幕位置和每个观察位置的三个颜色通道，强力校准方法可包括O(N×N×3×2)＝O(6N2)次测量。在本发明的某些实施方式中，校准过程针对每个屏幕位置和每个观察位置可执行O(2N+12)测量。
图10的测试图案每个都显示了5个盘图案，但是每个测试图案图像中的图案的量、形状和分布不限于图10所绘出的这些。
上述校准过程可以从相对于3D显示器的不同观看位置进行重复，从而可以从不同观看位置获取多个重像转移函数简档。最优重像转移函数简档可以使用由方程(15)-(20)公开的方法之一从多个重像转移函数简档获取。
重像转移函数简档可以从M个所选择观看位置的每一个测量，并且每个简档可以包括N个重像转移函数Pk＝{Tk，1，Tk，2，...，Tk，N}，其中对于N个平面位置，k＝{1，2，...，M}。最优重像转移函数简档Poptimal可以是从M个重像转移函数简档P1，P2，...，PM获取的简档。最优重像转移函数简档Poptimal可以包括N个重像转移函数，每个重像转移函数针对N个屏幕位置之一而优化。用于计算最优重像转移函数简档的一个方法可以是使用如下方程的平均方法：
备选方法可以使用如下方程的最小化方法：
另一备选方法可以是使用如下方程的最大化方法：
另一备选方法可以是使用如下方程的中间值方法：
另一备选方法可以是使用如下方程的加权平均方法：
权重wk可以基于各种考虑而确定，诸如观众席中的观众分布。在方程(19)的一个实现中，可以赋予权重，使得考虑“最有效点(sweet spot)”观众位置(例如，k＝7)而不是其他位置：
Poptimal＝Pk＝{T7，1，T7，2，...，T7，N} (20)
一旦选择一种方法，则可以针对每个颜色通道和每只眼睛重复地应用该方法。可以预先计算多个简档并将其存储于系统中以备使用。在某些实施方式中，基于用户输入或者预编程的显示条件来自动执行简档的选择。
图4示出了根据一个实施方式的重像缩减方法的实现。图4包括重像缩减模块404、校准模块412、用户输入设备414和3D显示系统418。各种类型的系统配置可以从此类实现中获取，并满足不同应用需求。在一个实施方式中，重像缩减模块404实现为嵌入3D显示系统的实时硬件设备。此类配置的一个示例绘出于图8中，其中3D显示系统包括左眼投影仪802、右眼投影仪804以及屏幕806。两个投影仪均装备有软件重像缩减模块820、822，其实时地执行重像缩减处理。重像缩减模块820、822可以实现为DSP设备或者FPGA(现场可编程门阵列)或者FPOA(现场可编程对象阵列)设备或者定制的ASIC(专用集成电路)设备。在某些实施方式中，一个设备可以执行如图4绘出的图像分析处理器406、重像抑制处理器408、以及重像消除处理器410的计算功能。经重像缩减的图像数据可以通过投影仪802、804直接显示在屏幕806上。
实时重像缩减模块404的某些实施方式包括通过外部连接而连接至3D显示系统的单机硬件设备。在此类配置中，模块404的实时性能可以通过使用通用计算机和/或软件来实现，以执行根据本发明各种实施方式的各种方法，其中该通用计算机通过配置有高性能图形处理单元(GPU)卡而被转换为专用计算机。通过利用GPU的计算能力，此类配置可以允许在软件(诸如，OpenGL、GLSL、Cg或者CUDA)中执行计算任务。例如，计算机程序产品可以被部署在一个或者多个硬线设备中，诸如上文所述或者诸如计算机系统或者服务器的其他设备。计算机程序产品可以使用软件、硬件或者软件和硬件的结合来实现。例如，计算机程序产品可以包括存储在计算机可读存储器上的可执行代码，当执行时使得硬连线设备执行根据本发明各种实施方式的动作。在某些实施方式中，计算机程序产品包括逻辑，该逻辑配置硬件设备以执行根据本发明各种实施方式的动作。使用GPU的特定实施方式可以缩减开发嵌入设备的成本，并且可以为未来特征升级而提供灵活性。单独重像缩减模块产生的经重像缩减的图像数据可以通过外部连接而在3D显示系统上直接显示。
重像缩减的实时执行可以允许系统参数被测量和存储在模块中，使得重像缩减可以针对单独3D显示系统而定制。此类实现可以传递高效的重像缩减性能。如前所述，重像缩减处理的性能可以是来自重像抑制和重像消除两者相结合的结果。两个处理可以依赖于所测量显示系统参数122的精度以估计感测到的重像。通常，每个3D显示系统可以展现不同的显示系统参数，并且此类显示系统参数可能由于系统随时间的状况下降而改变。系统状况下降的示例包括光源老化、显示表面恶化以及色温偏差。由于实时实现可以在模块内存储所测量显示系统参数，显示系统参数可以通过时间计划的并且频繁执行的校准过程而更新。实时重像缩减模块可以在重像缩减计算中使用相对准确并且相对最新的系统参数，对于重像消除过程的性能而言，这是重要的。
某些配置(诸如，实时实现)可以使用高性能嵌入式硬件或者GPU，以实时地执行图像分析、重像抑制和重像消除的计算任务。此类硬件或者GPU实现可以是昂贵的并且有时是过高的。例如，初级可感知重像分析过程中的局部自适应分析模块可以是要求计算能力的过程。为了分析大多数内容(如果不是全部的每个图像帧的话)，局部自适应分析模块可以使用某些高级的同时也是要求计算能力的图像分析算法在实时硬件中实现，这是昂贵的。该成本可以阻止在嵌入式硬件或者在GPU中实现此类图像分析算法。另外，实时重像缩减模块可以导致在成本和性能之间的折衷，潜在地提出了图像分析能力的受限范围。
根据某些实施方式的重像缩减模块可以实现为基于离线软件的过程而不必使用实时计算。图12绘出了根据一个实施方式的离线实现示例。图12示出了图像分析处理器1204、重像抑制处理器1206以及重像消除处理器1208，其通过离线计算处理管线1224而在分离的阶段中实现为软件。用户输入设备1212可以实现为作为离线计算处理管线1224部分的软件GUI应用。得到的经重像缩减的图像数据1220可以存储于存储设备1218中，以便为以后时间用于3D显示器而分发和输出。此类离线方案可以允许相对高级并且有效的算法，以便在图像分析处理器1204中部署，而在成本中没有显著增长。例如，某些离线实现可以使用图像分析和图像处理领域中的最新进展，以实现有效的基于内容的局部自适应性能而用于重像抑制处理器1206。
对于单独3D显示系统，在提供准确显示系统参数中，实现特定离线可能会遇到困难。例如，预先测量每个3D显示系统可能是昂贵的或者是费用过高的，存储显示系统参数并实现定制离线计算，以便针对图像将被分发至的每个3D显示系统缩减图像中的重像。在某些实施方式中，显示系统参数的代表集合可以从每种类型的3D显示系统获得，使得针对每种类型的显示系统而产生定制版本的重像缩减图像数据。在其他实施方式中，图12所示的系统参数默认集合1216可以用于产生针对大多数(如果不是全部的话)3D显示系统而产生重像缩减图像的通用版本。可以通过通用单独校准模块，采样先前从3D显示系统代表性集合测量的显示系统参数的代表性集合，而获得默认显示系统参数。根据某些实施方式的离线实现可以兼容于用于运动图片或者视频的各种后期制作过程。
根据特定实施方式的某些重像缩减模块可以实现为混合方案。在一个混合方案中，图4计算过程的部分例如可以实现为实时设备，而其余过程可以实现为基于软件的离线过程。图11中示出了混合实现的一个实施方式。需要计算能力的重像抑制任务可以通过离线重像缩减模块1111而在基于软件的离线过程中实现。离线重像缩减模块1111可以使用高级图像分析方法，以执行用于重像抑制的有效局部自适应图像分析。默认系统参数1128可以由离线重像缩减模块1111使用，这可以不针对每个3D显示系统使用定制的计算。
在图11的混合方案中，可以使用实时重像缩减模块1112来实现需要计算能力的重像消除过程，该实时重像缩减模块1112直接连接至3D显示系统1124。实时重像缩减模块1112可以实现为DSP设备、FPGA设备、FPOA设备或者在3D显示系统1124中嵌入的定制ASIC设备，或者可以实现为连接至3D显示系统的单独硬件设备。从单独显示系统获取的已更新显示系统参数可以存储于实时模块中，并由次级图像分析处理器1116和重像清除处理器1118使用，以针对每个单独3D显示系统而产生经重像抑制的图像数据，这类似于图8的实时设备。混合实现的实施方式可以通过使用高级图像分析方法、并通过使用已更新的显示系统参数，来提供附加重像缩减性能。
根据某些实施方式的校准模块可以实现为3D显示系统中的嵌入式设备，或者作为单机设备(诸如具有无线连接的移动设备)。校准模块可以控制校准过程的功能，诸如通过显示测试图案图像、生成和调整测试图案的强度、由强度匹配执行测量、控制图像传感器以及计算重像转移函数。由该过程获得的显示系统参数可以存储于实时设备中，诸如重像缩减模块、实时重像缩减模块1112或者离线过程的数据存储中。特定校准模块可以包括用于用户交互和控制的用户输入设备。
在特定实时实现中，图像传感器可以在校准过程中代替人眼以提供自动化。对于图8所示的系统，例如配备有适当偏振器814的一对图像传感器810、812可以捕获来自屏幕806的测试图案图像。软件可以控制测试图案强度的改变，分析所捕获图像，执行强度匹配决定以及记录结果。软件还可以从校准结果计算重像转移函数。
出于示出、解释和描述本发明实施方式的目的而提供了上文。针对这些实施方式进行的进一步的修改和调整对于本领域技术人员而言是易见的，并且可以在不脱离本发明范围和精神的情况下进行修改和调整。

Claims (31)

1.一种用于缩减或者清除图像中的重像的方法，所述方法包括：
在立体图像被显示之前接收包括图像内容的所述立体图像；
接收至少一个显示系统参数；
在所述立体图像被显示之前使用所述立体图像的所述图像内容来分析所述立体图像，以标识所述立体图像中的第一局部区域和第二局部区域，所述第一局部区域和所述第二局部区域的每一个都包括重像；
针对所述第一局部区域而使用所述图像内容选择第一心理视觉因素；
针对所述第二局部区域而使用所述图像内容选择第二心理视觉因素；
通过使用所述第一心理视觉因素和所述至少一个显示系统参数缩减或者清除所述第一局部区域的所述重像、并且使用所述第二心理视觉因素和所述至少一个显示系统参数独立地缩减或者清除所述第二局部区域的所述重像从而不同地修改所述第一局部区域和所述第二局部区域，来根据所述立体图像生成经修改的立体图像；以及
输出所述经修改的立体图像。
2.根据权利要求1所述的方法，其中所述第一心理视觉因素基于人眼的不可感知阈值之内的重像。
3.根据权利要求2所述的方法，其中所述人眼的不可感知阈值与以下至少一个有关：
所述第一局部区域的纹理细节；
所述第一局部区域的运动；
所述第一局部区域的视差；或者
所述第一局部区域的亮度转变。
4.根据权利要求1所述的方法，其中所述第一心理视觉因素基于人眼的不可察觉限制之内的、所述第一局部区域的空间亮度的变化。
5.根据权利要求4所述的方法，其中所述不可察觉限制在所述第一局部区域较亮时增加。
6.根据权利要求1所述的方法，其中所述第一心理视觉因素和所述第二心理视觉因素基于人眼的非线性特性。
7.根据权利要求1所述的方法，其中通过使用所述第一心理视觉因素和所述至少一个显示系统参数缩减或者清除所述第一局部区域的所述重像、并且使用所述第二心理视觉因素和所述至少一个显示系统参数独立地缩减或者清除所述第二局部区域的所述重像，来根据所述立体图像生成经修改的立体图像包括：
使用所述至少一个显示系统参数和所述第一心理视觉因素来分析所述第一局部区域，并且使用所述至少一个显示系统参数和所述第二心理视觉因素来分析所述第二局部区域，以生成控制蒙版，所述控制蒙版包括：
适用于所述第一局部区域和所述第二局部区域的至少一个计算；以及
适用于所述第一局部区域和所述第二局部区域的所述至少一个计算的位置和尺度；以及
通过使用所述控制蒙版修改所述立体图像来生成所述经修改的立体图像。
8.根据权利要求7所述的方法，其中通过使用所述控制蒙版修改所述立体图像来生成所述经修改的立体图像包括全局地向所述立体图像应用所述至少一个计算。
9.根据权利要求7所述的方法，其中所述至少一个计算包括重像抑制。
10.根据权利要求9所述的方法，其中所述重像抑制包括：
降低所述第一局部区域的高光；或者
提升所述第二局部区域的背景。
11.根据权利要求7所述的方法，其中所述至少一个计算包括重像消除。
12.根据权利要求11所述的方法，其中所述重像消除包括：
基于所述第一心理视觉因素和所述第二心理视觉因素，求解非线性重像模型方程。
13.根据权利要求1所述的方法，其中所述至少一个显示系统参数包括：在编码空间中定义的重像转移函数。
14.根据权利要求7所述的方法，其中使用所述至少一个显示系统参数和所述第一心理视觉因素来分析所述第一局部区域并且使用所述至少一个显示系统参数和所述第二心理视觉因素来分析所述第二局部区域以生成控制蒙版包括：
检查双目一致性；以及
移除瞬时伪像。
15.根据权利要求1所述的方法，进一步包括：
使用校准过程来获取所述至少一个显示系统参数，所述校准过程包括：
显示预期眼睛图像，所述预期眼睛图像是立体显示器的第一眼睛通道上的第一测试图案，所述第一测试图案包括具有至少一个第一测试图案局部化区域和可调节的第一亮度的暗背景；
显示非预期眼睛图像，所述非预期眼睛图像是所述立体显示器的第二眼睛通道上的第二测试图案，所述第二测试图案包括具有如下背景的图像，所述背景包括可调节的第二亮度和暗的第二测试图案局部化区域，所述第二测试图案局部化区域与所述至少一个第一测试图案局部化区域的形状和大小相同，并且在所述显示器上与所述第一测试图案局部化区域空间上对准；
在编码空间中调整所述可调节的第一亮度，直到所述可调节的第一亮度针对至少一个亮度水平在所述立体显示器的所述第一眼睛通道上与所述可调节的第二亮度相匹配；以及
基于针对所述至少一个亮度水平对所述可调节的第一亮度和所述可调节的第二亮度的调整，确定所述至少一个显示系统参数是编码空间中的重像转移函数。
16.一种用于缩减或者清除图像中的重像的系统，所述系统包括：
用于在立体图像被显示之前接收多个原始立体图像的设备，所述原始立体图像包括图像内容、至少一个左眼图像以及至少一个右眼图像；
校准模块，用于确定至少一个显示系统参数；
图像分析处理器，配置用于：
在所述立体图像被显示之前使用所述立体图像的所述图像内容来标识所述多个原始立体图像的第一局部区域和第二局部区域，所述第一局部区域和所述第二局部区域中的每一个都包括重像；
针对所述第一局部区域而使用所述图像内容选择第一心理视觉因素；
针对所述第二局部区域而使用所述图像内容选择第二心理视觉因素；以及
使用所述第一心理视觉因素和所述至少一个显示系统参数来分析所述第一局部区域，并且使用所述第二心理视觉因素和所述至少一个显示系统参数来分析所述第二局部区域，以生成控制蒙版，所述控制蒙版包括：
适用于所述第一局部区域和所述第二局部区域的至少一个计算；以及
适用于所述第一局部区域和所述第二局部区域的所述至少一个计算的位置和尺度；
计算处理器，配置用于通过使用所述控制蒙版独立地缩减或者清除所述第一局部区域和所述第二局部区域的重像，来根据所述多个原始立体图像生成经修改的立体图像；以及
显示设备，用于输出所述经修改的立体图像。
17.根据权利要求16所述的系统，其中所述校准模块配置用于：通过使用图像传感器接收测试图案的亮度，确定所述至少一个显示系统参数。
18.根据权利要求16所述的系统，其中所述校准模块配置用于：通过确定默认显示系统参数是所述至少一个显示系统参数，来确定所述至少一个显示系统参数。
19.根据权利要求16所述的系统，其中所述计算处理器包括：
重像抑制处理器，用于使用抑制控制蒙版来抑制所述第一局部区域和所述第二局部区域的所述重像；以及
重像消除处理器，用于使用消除控制蒙版来消除所述第一局部区域和所述第二局部区域的所述重像。
20.根据权利要求19所述的系统，其中所述图像分析处理器包括：
初级图像分析处理器，用于生成所述抑制控制蒙版；以及
次级图像分析处理器，用于生成所述消除控制蒙版，
其中所述初级图像分析处理器和所述重像抑制处理器位于第一位置，并且所述次级图像分析处理器和所述重像消除处理器位于第二位置。
21.根据权利要求20所述的系统，其中所述抑制控制蒙版包括：
背景控制蒙版；以及
高光控制蒙版。
22.根据权利要求21所述的系统，其中所述初级图像分析处理器配置用于：
使用所述第一心理视觉因素、所述第二心理视觉因素和所述至少一个显示系统参数，分析所述多个原始立体图像中的所述第一局部区域和所述第二局部区域，以公式化残差泄漏映射、重像区域映射以及约束映射；以及
使用所述残差泄漏映射、所述重像区域映射和所述约束映射，生成所述背景控制蒙版和所述高光控制蒙版。
23.根据权利要求16所述的系统，其中所述校准模块配置用于：通过从所述显示设备的多个观看位置执行校准过程，确定所述至少一个显示系统参数。
24.根据权利要求23所述的系统，其中所述校准模块配置用于：通过根据从所述显示设备的多个观看位置确定的多个重像转移函数简档确定优化重像转移函数简档，来确定所述至少一个显示参数；
其中所述优化重像转移函数简档由以下至少一个确定：
平均过程；
最小化过程；
最大化过程；
中间值过程；或者
加权平均过程。
25.一种用于缩减或者清除图像中的重像的装置，所述装置包括：
用于在立体图像被显示之前使用所述立体图像的图像内容标识所述立体图像的第一局部区域和第二局部区域的模块，所述第一局部区域和所述第二局部区域中的每一个都包括重像；
用于针对所述第一局部区域而使用所述图像内容来选择第一心理视觉因素的模块；
用于针对所述第二局部区域而使用所述图像内容来选择第二心理视觉因素的模块；
用于通过使用所述第一心理视觉因素和至少一个显示系统参数缩减或者清除所述第一局部区域的所述重像、并且使用所述第二心理视觉因素和所述至少一个显示系统参数独立地缩减或者清除所述第二局部区域的所述重像来根据所述立体图像生成经修改的立体图像的模块；以及
用于输出所述经修改的立体图像的模块。
26.根据权利要求25所述的装置，其中用于通过使用所述第一心理视觉因素和所述至少一个显示系统参数缩减或者清除所述第一局部区域的所述重像、并且使用所述第二心理视觉因素和所述至少一个显示系统参数独立地缩减或者清除所述第二局部区域的所述重像来根据所述立体图像生成经修改的立体图像的模块包括：
用于使用所述至少一个显示系统参数、所述第一心理视觉因素和所述第二心理视觉因素来分析所述第一局部区域和所述第二局部区域以生成控制蒙版的模块，所述控制蒙版包括：
适用于所述第一局部区域和所述第二局部区域的至少一个计算；以及
适用于所述第一局部区域和所述第二局部区域的所述至少一个计算的位置和尺度；以及
用于通过使用所述控制蒙版修改所述立体图像，来生成所述经修改的立体图像的模块。
27.根据权利要求25所述的装置，其中用于通过使用所述第一心理视觉因素和所述至少一个显示系统参数缩减或者清除所述第一局部区域的所述重像、并且使用所述第二心理视觉因素和所述至少一个显示系统参数独立地缩减或者清除所述第二局部区域的所述重像来根据所述立体图像生成经修改的立体图像的模块包括：
用于使用所述至少一个显示系统参数、所述第一心理视觉因素和所述第二心理视觉因素来分析所述第一局部区域和所述第二局部区域以生成抑制控制蒙版的模块，所述抑制控制蒙版包括：
适用于所述第一局部区域和所述第二局部区域的至少一个计算；以及
适用于所述第一局部区域和所述第二局部区域的所述至少一个计算的位置和尺度；以及
用于通过使用所述抑制控制蒙版修改所述立体图像来生成经重像抑制的图像的模块，
用于使用所述至少一个显示系统参数、所述第一心理视觉因素和所述第二心理视觉因素来分析所述经重像抑制的图像以生成消除控制蒙版的模块，所述消除控制蒙版包括：
适用于所述经重像抑制的图像的至少一个计算；以及
适用于所述经重像抑制的图像的所述至少一个计算的位置和尺度；
用于通过使用所述消除控制蒙版修改所述经重像抑制的图像来生成所述经修改的立体图像的模块。
28.根据权利要求27所述的装置，其中所述抑制控制蒙版包括背景控制蒙版和高光控制蒙版，
其中用于使用所述至少一个显示系统参数、所述第一心理视觉因素和所述第二心理视觉因素来分析所述第一局部区域和所述第二局部区域以生成所述抑制控制蒙版的模块包括：
用于通过使用所述至少一个显示系统参数、所述第一心理视觉因素和所述第二心理视觉因素来分析所述第一局部区域和所述第二局部区域来生成残差泄漏映射、重像区域映射和约束映射的模块；
用于使用所述残差泄漏映射、所述重像区域映射和所述约束映射生成所述背景控制蒙版的模块；以及
用于使用所述残差泄漏映射、所述重像区域映射和所述约束映射生成所述高光控制蒙版的模块。
29.根据权利要求28所述的装置，进一步包括：
用于执行双目一致性检查过程以及瞬时伪像移除过程以修改所述背景控制蒙版和所述高光控制蒙版的模块。
30.根据权利要求27所述的装置，其中用于使用所述至少一个显示系统参数、所述第一心理视觉因素和所述第二心理视觉因素来分析所述经重像抑制的图像以生成所述消除控制蒙版的模块包括：
用于通过使用所述至少一个显示系统参数、所述第一心理视觉因素和所述第二心理视觉因素分析所述经重像抑制的图像来生成重像区域映射和约束映射的模块；以及
用于使用所述重像区域映射和所述约束映射生成所述消除控制蒙版的模块。
31.根据权利要求30所述的装置，进一步包括：
用于执行双目一致性检查过程以及瞬时伪像移除过程以生成所述消除控制蒙版的模块。
CN200980131556.1A 2008-06-13 2009-06-15 用于缩减或者清除在显示的立体图像中感知到的重像的方法和系统 Active CN102124490B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US6130608P 2008-06-13 2008-06-13
US61/061,306 2008-06-13
PCT/IB2009/005945 WO2009150529A1 (en) 2008-06-13 2009-06-15 Methods and systems for reducing or eliminating perceived ghosting in displayed stereoscopic images

Publications (2)

Publication Number Publication Date
CN102124490A CN102124490A (zh) 2011-07-13
CN102124490B true CN102124490B (zh) 2018-02-13

Family

ID=41416408

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200980131556.1A Active CN102124490B (zh) 2008-06-13 2009-06-15 用于缩减或者清除在显示的立体图像中感知到的重像的方法和系统

Country Status (5)

Country Link
US (1) US9384535B2 (zh)
EP (1) EP2297694B1 (zh)
CN (1) CN102124490B (zh)
CA (1) CA2727218C (zh)
WO (1) WO2009150529A1 (zh)

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009150529A1 (en) 2008-06-13 2009-12-17 Imax Corporation Methods and systems for reducing or eliminating perceived ghosting in displayed stereoscopic images
JP5409107B2 (ja) * 2009-05-13 2014-02-05 任天堂株式会社 表示制御プログラム、情報処理装置、表示制御方法、および情報処理システム
CN102474631B (zh) 2009-07-02 2015-11-25 汤姆森许可贸易公司 三维(3d)投影的差分失真校正方法和系统
CA2768701A1 (en) * 2009-07-29 2011-02-03 Thomson Licensing Method for crosstalk correction for three-dimensional (3d) projection
JP5426773B2 (ja) 2009-08-12 2014-02-26 トムソン ライセンシング ３次元（３ｄ）投影のためのクロストークおよび歪み補正の方法およびシステム
JP4754031B2 (ja) 2009-11-04 2011-08-24 任天堂株式会社 表示制御プログラム、情報処理システム、および立体表示の制御に利用されるプログラム
US8570319B2 (en) * 2010-01-19 2013-10-29 Disney Enterprises, Inc. Perceptually-based compensation of unintended light pollution of images for projection display systems
KR101279659B1 (ko) * 2010-05-14 2013-06-27 엘지디스플레이 주식회사 입체 영상 표시장치와 그 구동 방법
JP2012034341A (ja) * 2010-06-30 2012-02-16 Sanyo Electric Co Ltd 表示装置
CN101895778B (zh) * 2010-07-15 2011-12-07 华映视讯（吴江）有限公司 减轻立体影像鬼影的方法及系统
US20120081521A1 (en) * 2010-09-30 2012-04-05 Nokia Corporation Apparatus and Method for Displaying Images
JP5565258B2 (ja) * 2010-10-12 2014-08-06 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
KR101282957B1 (ko) * 2010-10-29 2013-07-08 엘지디스플레이 주식회사 입체 디스플레이의 광학 측정 장치 및 방법
EP2466898B1 (en) 2010-12-20 2017-10-18 Vestel Elektronik Sanayi ve Ticaret A.S. A method and apparatus for calibration of stereo images
US8963998B2 (en) * 2011-04-15 2015-02-24 Tektronix, Inc. Full reference system for predicting subjective quality of three-dimensional video
US9148645B2 (en) * 2011-05-14 2015-09-29 Dolby Laboratories Licensing Corporation Crosstalk cancellation in 3D displays
US20120299805A1 (en) * 2011-05-26 2012-11-29 Sanyo Electric., Ltd. Projection display apparatus
CN103688288B (zh) * 2011-07-21 2017-09-29 图象公司 用于修改输入图像数据的方法以及投影系统
WO2013028201A1 (en) * 2011-08-25 2013-02-28 Hewlett-Packard Development Company, L.P. Model-based stereoscopic and multiview cross-talk reduction
US20130063575A1 (en) * 2011-09-14 2013-03-14 Broadcom Corporation System and method for viewing angle compensation for polarized three dimensional display
TWI448146B (zh) * 2011-10-14 2014-08-01 Au Optronics Corp 可改善鬼影現象之立體影像處理方法及其立體顯示裝置
EP2600616A3 (en) * 2011-11-30 2014-04-30 Thomson Licensing Antighosting method using binocular suppression.
KR101318552B1 (ko) * 2012-03-12 2013-10-16 가톨릭대학교 산학협력단 3차원 영상에 대한 인지 왜곡을 측정하는 측정 방법
EP2667616B1 (en) * 2012-05-21 2015-03-18 Vestel Elektronik Sanayi ve Ticaret A.S. A crosstalk reduction method and system for stereoscopic displays
US9509970B2 (en) 2012-07-18 2016-11-29 Qualcomm Incorporated Crosstalk reduction with location-based adjustment in multiview video processing
US9083948B2 (en) 2012-07-18 2015-07-14 Qualcomm Incorporated Crosstalk reduction in multiview video processing
JP6380881B2 (ja) * 2012-07-31 2018-08-29 Ｔｉａｎｍａ Ｊａｐａｎ株式会社 立体画像表示装置、画像処理装置及び立体画像処理方法
US8902160B2 (en) * 2012-08-24 2014-12-02 Reincloud Corporation Reducing distortion in an image source comprising a parallax barrier
GB2500284B (en) * 2012-09-12 2014-04-30 Imagination Tech Ltd Tile based computer graphics
CN103051909B (zh) * 2012-12-28 2015-08-12 北京邮电大学 用于裸眼3d显示的蒙版变换人眼跟踪方法
US20140218410A1 (en) * 2013-02-05 2014-08-07 Sirui Hu System And Method For Efficiently Generating Device-Dependent Anaglyph Images
US9955084B1 (en) * 2013-05-23 2018-04-24 Oliver Markus Haynold HDR video camera
CN103618894B (zh) * 2013-12-05 2017-04-12 北京牡丹视源电子有限责任公司 一种立体电视系统左右眼中心误差测试方法及系统
WO2015130796A1 (en) 2014-02-25 2015-09-03 Apple Inc. Adaptive video processing
US10063829B2 (en) * 2014-04-18 2018-08-28 Canon Kabushiki Kaisha Image processing method, image processing apparatus, image pickup apparatus, and non-transitory computer-readable storage medium
CN105704420A (zh) * 2014-11-28 2016-06-22 富泰华工业（深圳）有限公司 体感可视通讯系统及方法
US10412369B2 (en) * 2015-07-31 2019-09-10 Dell Products, Lp Method and apparatus for compensating for camera error in a multi-camera stereo camera system
CN107734384A (zh) * 2016-08-10 2018-02-23 北京光子互动科技有限公司 图像处理方法及装置
US10216263B2 (en) * 2016-09-12 2019-02-26 Microsoft Technology Licensing, Llc Display active alignment systems utilizing test patterns for calibrating signals in waveguide displays
US10324291B2 (en) 2016-09-12 2019-06-18 Microsoft Technology Licensing, Llc Display active alignment system for waveguide displays
US10015372B2 (en) * 2016-10-26 2018-07-03 Capsovision Inc De-ghosting of images captured using a capsule camera
EP3571436B1 (en) 2017-01-17 2021-03-17 Signify Holding B.V. Adjustable spot light position generation
CN109211790B (zh) * 2017-07-03 2023-12-08 南开大学 一种基于傅里叶功率谱探测的单像素相位成像方法
US20200261180A1 (en) * 2017-09-06 2020-08-20 Covidien Lp 27-3systems, methods, and computer-readable media for providing stereoscopic visual perception notifications and/or recommendations during a robotic surgical procedure
WO2019072374A1 (de) * 2017-10-10 2019-04-18 Robert Bosch Gmbh Verfahren zur maskierung eines bildes einer bildsequenz mit einer maske, computerprogramm, maschinenlesbares speichermedium und elektronische steuereinheit
IL264032B (en) 2018-12-30 2020-06-30 Elbit Systems Ltd System and methods for removing artifacts in binocular displays
US11587208B2 (en) * 2021-05-26 2023-02-21 Qualcomm Incorporated High quality UI elements with frame extrapolation
CN113484939A (zh) * 2021-06-08 2021-10-08 南京大学 基于平面透镜的宽视角成像方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5233299A (en) 1991-03-25 1993-08-03 General Electric Company Projection methods for producing two-dimensional images from three-dimensional data
US5758036A (en) 1995-01-31 1998-05-26 The Rowland Institute For Science Production of improved digitized stereoscopic polarizing images
GB9506954D0 (en) 1995-04-04 1995-05-24 Street Graham S B Method and apparatus for image enhancement
CA2146811C (en) * 1995-04-11 2003-07-01 David Michael Moore Dean Method and apparatus for presenting stereoscopic images
US6157424A (en) 1998-03-30 2000-12-05 Dimension Technologies, Inc. 2D/3D imaging display
US7092003B1 (en) 1999-01-21 2006-08-15 Mel Siegel 3-D imaging arrangements
US6532008B1 (en) 2000-03-13 2003-03-11 Recherches Point Lab Inc. Method and apparatus for eliminating steroscopic cross images
EP1460857A1 (en) 2003-03-17 2004-09-22 Deutsche Thomson-Brandt Gmbh Method and device for compensating ghost images in time sequential stereoscopic images
EP1460611A1 (en) 2003-03-17 2004-09-22 Deutsche Thomson-Brandt Gmbh Method and device for compensating the phosphor lag of display devices
US20050180006A1 (en) 2004-01-22 2005-08-18 Mendoza Roberto V. Curved wide angle 3-D picture
WO2005078663A1 (en) 2004-02-17 2005-08-25 Newsouth Innovations Pty Limited Improved method for motion adaptive transformation of video
EP1587035A1 (en) * 2004-04-14 2005-10-19 Koninklijke Philips Electronics N.V. Ghost artifact reduction for rendering 2.5D graphics
SG124322A1 (en) * 2005-02-01 2006-08-30 Sony Electronics Singapore Pte Reducing ghosting in holographic stereograms
WO2006128066A2 (en) 2005-05-26 2006-11-30 Real D Ghost-compensation for improved stereoscopic projection
US8085217B2 (en) * 2006-08-08 2011-12-27 Nvidia Corporation System, method, and computer program product for compensating for crosstalk during the display of stereo content
US20090244266A1 (en) * 2008-03-26 2009-10-01 Thomas Carl Brigham Enhanced Three Dimensional Television
WO2009150529A1 (en) 2008-06-13 2009-12-17 Imax Corporation Methods and systems for reducing or eliminating perceived ghosting in displayed stereoscopic images
US20100321382A1 (en) 2009-06-18 2010-12-23 Scalable Display Technologies, Inc. System and method for injection of mapping functions
JP2011091516A (ja) 2009-10-21 2011-05-06 Sharp Corp プロジェクタおよびプロジェクタの表示調整方法
EP2510683A4 (en) 2009-12-08 2013-12-04 Hewlett Packard Development Co METHOD FOR COMPENSATING TRANSLATION IN A 3D DISPLAY
CN103688288B (zh) 2011-07-21 2017-09-29 图象公司 用于修改输入图像数据的方法以及投影系统

Also Published As

Publication number Publication date
EP2297694B1 (en) 2014-10-01
CN102124490A (zh) 2011-07-13
CA2727218C (en) 2016-10-11
EP2297694A4 (en) 2013-08-28
EP2297694A1 (en) 2011-03-23
CA2727218A1 (en) 2009-12-17
US9384535B2 (en) 2016-07-05
US20110080401A1 (en) 2011-04-07
WO2009150529A1 (en) 2009-12-17

Similar Documents

Publication Publication Date Title
CN102124490B (zh) 用于缩减或者清除在显示的立体图像中感知到的重像的方法和系统
CN102663741B (zh) 对彩色数字图像进行视觉立体感知增强的方法及系统
JP5615136B2 (ja) 立体画像補正方法、立体表示装置、および立体画像生成装置
JP2021077420A (ja) フィルタリング方法、コンテキスト把握型トーンマッピングオペレータ、及びシステム
Salih et al. Tone mapping of HDR images: A review
CN105933692B (zh) 用于准备三维图像的方法
JP2015162718A (ja) 画像処理方法、画像処理装置及び電子機器
CN102263985A (zh) 一种立体投影设备的质量评价方法、装置及系统
JP2015095779A (ja) 画像処理装置、画像処理方法及び電子機器
CN106991715A (zh) 基于光场采集的光栅棱柱三维显示渲染方法
Boev et al. Visual-quality evaluation methodology for multiview displays
Bulbul et al. A perceptual approach for stereoscopic rendering optimization
CN101510306A (zh) 一种视频图像照度分布估计方法
CN202276428U (zh) 一种立体投影设备的质量评价装置
Kim et al. 3D crosstalk compensation to enhance 3D image quality of plasma display panel
KR20170098235A (ko) 자동 입체영상 디스플레이들의 크로스토크를 감소시키기 위한 방법, 장치, 및 시스템
CN116029919A (zh) 一种压缩三维光场显示的智能优化方法
Johnson Cares and concerns of CIE TC8-08: spatial appearance modeling and HDR rendering
EP4150560A1 (en) Single image 3d photography with soft-layering and depth-aware inpainting
Wolski et al. Dark stereo: improving depth perception under low luminance
Wang et al. 16‐1: A Model for the Appearance of Interocular Colorimetric Differences in Binocular XR Displays
Mahmoudpour et al. The effect of depth map up-sampling on the overall quality of stereopairs
Smit et al. Three Extensions to Subtractive Crosstalk Reduction.
Chen et al. The effect of display capabilities on the gloss consistency between real and virtual objects
Shen et al. Robust stereoscopic crosstalk prediction

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant