CN105432078B - 双目注视成像方法和设备 - Google Patents

双目注视成像方法和设备 Download PDF

Info

Publication number
CN105432078B
CN105432078B CN201480022341.7A CN201480022341A CN105432078B CN 105432078 B CN105432078 B CN 105432078B CN 201480022341 A CN201480022341 A CN 201480022341A CN 105432078 B CN105432078 B CN 105432078B
Authority
CN
China
Prior art keywords
binocular
image
change
gaze region
eye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480022341.7A
Other languages
English (en)
Other versions
CN105432078A (zh
Inventor
N·S·霍林曼
M·G·鲁宾逊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
RealD Inc
Original Assignee
RealD Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by RealD Inc filed Critical RealD Inc
Publication of CN105432078A publication Critical patent/CN105432078A/zh
Application granted granted Critical
Publication of CN105432078B publication Critical patent/CN105432078B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供了一种控制器，所述控制器可实施双目图像的内容的变化，所述变化可取决于观察者注视双目图像的哪个区域。本发明的一个方面可包括局部控制所述观察者的感知深度印象，这可取决于所述观察者注视图像中的感知深度中的何处。这可使所述感知深度能够出于质量和性能原因在整个所述图像中进行优化。

Description

双目注视成像方法和设备
相关专利申请的交叉引用：本专利申请要求提交于2013年2月19日的名称为“Binocular fixation imaging method and apparatus”(双目注视成像方法和设备)的美国临时专利申请序列号61/766,599(代理人参考号95194936.358000)的优先权，该专利申请全文以引用方式并入本文。
技术领域
本发明整体涉及图像处理，并且更具体地讲，涉及景深测算和图像处理方法及技术。
背景技术
景深测算已成为双目图像创建中的重要概念。其可对三维图像中的总双目效应创建限制。实施过程中的该限制通过考虑包括如下的多种因素来确定：人类视觉系统的限制以及用来向观察者呈现图像的图像显示装置的参数。对于图像平面中呈现的立体图像，通常在图像平面后面和前面的深度方面讨论景深测算。
用于通过控制图像的捕获或合成来控制立体图像中的感知深度使得总双目效应保持在景深测算内的技术是已知的。图15示出了参考美国专利No.6,798,406，其总体上提供了使用至少一个真实或模拟相机产生立体图像的方法，其中景深映射到感知立体图像中的预定景深测算。图21示出了参考美国专利公布No.US 2011/7,983,477，其总体上讨论了从场景到感知立体图像的可变深度映射。另外，诸如美国专利No.8,300,089中所公开的方法也可用于深度(Z)维数中的可变深度映射。
可使用一系列眼睛追踪装置，通过追踪两只眼或者通过追踪单只眼并从该信息中推断另一只眼，来确定眼睛的双目注视。双目注视追踪系统的一个例子是加拿大安大略省密西沙加的研究有限公司(Research Ltd.,Mississauga,Ontario,Canada)所制造的Eyelink 1000，其高速追踪两只眼。
发明内容
本发明的一个方面提供了一种控制器，其实施双目图像的内容的变化，这取决于观察者注视双目图像的哪个区域。本发明的一个方面包括局部控制观察者的感知深度印象，这取决于观察者注视图像中的感知深度中的何处。这具有使感知深度能够出于质量和性能原因在整个图像中进行优化的有益效果。
根据本发明的一个方面，双目成像系统可包括用于在感知上同时呈现左眼图像和右眼图像的显示器，其中左眼图像具有显示器的相关左眼视场并且右眼图像具有显示器的相关右眼视场。还可包括视线追踪元件，其可识别左眼和右眼的至少一个或两个视线方向。双目成像系统还可包括图像控制器，其可计算左和右眼的双目注视区域并且改变所显示的左和右眼图像。图像控制器可响应于当前显示的双目图像与后续显示的双目图像之间的双目注视区域变化，而改变后续显示的双目图像。改变所显示的左和右眼图像可影响双目注视区域中和双目注视区域周围的局部图像景深量。双目注视区域可包括三维区域，其中位置随左和右眼中的一者或两者的视线方向而变化。
根据本发明的另一个方面，一种用于改变双目图像内容的方法可包括显示当前双目图像，以及使用来自当前双目图像的输入、来自视线追踪器的信息以及景深测量信息来计算场景中的双目感兴趣区域(RBI)。所述方法还可包括确定双目感兴趣区域是否已变化以及在双目感兴趣区域已变化时计算用于映射到景深测算的景深范围。所述方法可包括使用相机控制算法利用景深范围生成后续显示的双目图像以及使当前显示的图像成为后续显示的双目图像。
用于改变双目图像内容的方法还可包括接收来自视线追踪器和景深测量装置的第二输入，以及在双目感兴趣区域未实质上变化时使用来自当前双目图像、视线追踪器和景深测量装置的第二输入来计算场景中的双目感兴趣区域。所述方法还可包括通过使用来自观看所显示的双目图像的观察者的视线追踪信息来确定显示空间中的双目注视区域(RBFd)，以及通过使用图像控制器所提供的显示空间中的双目注视区域(RBFd)来计算场景空间中的等效双目注视区域(RBFs)。在确定双目感兴趣区域是否已变化时，所述方法可包括使用显示空间中的双目注视区域(RBFd)以及场景空间中的等效双目注视区域(RBFs)。所述方法还可包括基于场景变化来改变双目感兴趣区域，而显示空间中的双目注视区域未实质上变化。
根据本发明的另一个方面，一种用于改变双目图像内容的方法可包括显示当前双目图像，使用来自当前双目图像和视线追踪器的输入来计算后续双目注视区域，以及确定当前双目注视区域与后续双目注视区域之间的任何双目注视变化。如果当前双目注视区域与后续双目注视区域之间出现双目注视变化的情况，所述方法可包括计算后续双目注视范围的视差范围。所述方法还可包括确定视差范围是否实质上为零，以及在视差范围不实质上为零时创建后续显示的图像。所述方法还可包括使当前显示的图像成为后续显示的双目图像。
继续讨论，所述方法可包括接收来自视线追踪器的第二输入，以及在后续双目注视区域未实质上变化时使用来自当前双目图像和视线追踪器的第二输入来计算后续双目注视区域。所述方法可包括接收来自视线追踪器的第三输入，以及在视差范围为大约零时使用来自当前双目图像和视线追踪器的第三输入来计算后续双目注视区域。视线追踪器可确定注视区域内的视差，其中视线追踪器由左眼与右眼屏幕注视点之间的差值来确定注视平面。
在所述方法确定视差范围是否实质上为零的情况下，所述方法可包括将后续物体的图像视差与零进行比较，其中在其为双目注视区域中离观察者最近的物体时后续物体将被成像。所述方法还可包括响应于当前显示的双目图像与后续显示的双目图像之间的双目注视区域变化而改变后续显示的图像，并且也可形成当前显示的双目图像。形成当前显示的双目图像可包括估计3D注视区域以及将3D注视区域投影到图像平面中以形成双目注视区域。当前显示的双目图像形成为左图像和右图像并且可从较大源图像中选择。
附图说明
在附图中以举例方式示出实施例，其中相似的参考标号表示类似部件，并且其中：
图1为示出根据本发明的双目成像设备的一个实施例的示意图；
图2为示出根据本发明的左和右眼的图像的一个实施例的示意图；
图3为示出根据本发明的当前显示的双目图像对的一个实施例的示意图；
图4为示出根据本发明的观察者的双目注视区域的一个实施例的示意图；
图5为示出根据本发明的具有很少乃至没有视差的所显示图像的一个实施例的示意图；
图6为示出根据本发明的流程图的示意图；
图7为示出根据本发明的双目图像对的一个实施例的示意图；
图8为示出根据本发明的所显示图像的一个实施例的示意图；
图9为示出根据本发明的所显示图像的一个实施例的示意图；
图10为示出根据本发明的所显示图像的一个实施例的示意图；
图11为示出根据本发明的流程图的示意图；
图12为示出根据本发明的视线追踪系统的一个实施例的示意图；
图13为示出根据本发明的场景空间的一个实施例的示意图；
图14为示出根据本发明的流程图的示意图；
图15为示出根据本发明的双目图像的一个实施例的示意图；
图16为示出根据本发明的景深范围和景深测算的一个实施例的示意图；
图17为示出根据本发明的图像控制器的响应的一个实施例的示意图；
图18为示出根据本发明的图像控制器的响应的一个实施例的示意图；
图19为示出根据本发明的图像控制器的响应的一个实施例的示意图；
图20为示出根据本发明的流程图的示意图；
图21为示出根据本发明的景深范围和感知深度范围的一个实施例的示意图；
图22为示出根据本发明的景深范围和感知深度范围的一个实施例的示意图；
图23为示出根据本发明的景深范围和感知深度范围的一个实施例的示意图；
图24为示出根据本发明的景深范围和感知深度范围的一个实施例的示意图；
图25为示出根据本发明的景深范围和感知深度范围的一个实施例的示意图；
图26为示出根据本发明的流程图的示意图；
图27为示出根据本发明的景深范围和感知深度范围的一个实施例的示意图；
图28为示出景深范围和感知景深测算的一个实施例的示意图；以及
图29为示出根据本发明的图像系统的一个实施例的示意图。
具体实施方式
一般来讲，根据本发明的一个方面，双目成像系统可包括用于在感知上同时呈现左眼图像和右眼图像的显示器，其中左眼图像具有显示器的相关左眼视场并且右眼图像具有显示器的相关右眼视场。还可包括视线追踪元件，其可识别左眼和右眼的至少一个或两个视线方向。双目成像系统还可包括图像控制器，其可计算左和右眼的双目注视区域并且改变所显示的左和右眼图像。图像控制器可响应于当前显示的双目图像与后续显示的双目图像之间的双目注视区域变化，而改变后续显示的双目图像。改变所显示的左和右眼图像可影响双目注视区域中和双目注视区域周围的局部图像景深量。双目注视区域可包括三维区域，其中位置随左和右眼中的一者或两者的视线方向而变化。
根据本发明的另一个方面，一种用于改变双目图像内容的方法可包括显示当前双目图像，以及使用来自当前双目图像的输入、来自视线追踪器的信息以及景深测量信息来计算场景中的双目感兴趣区域(RBI)。所述方法还可包括确定双目感兴趣区域是否已变化以及在双目感兴趣区域已变化时计算用于映射到景深测算的景深范围。所述方法可包括使用相机控制算法利用景深范围生成后续显示的双目图像以及使当前显示的图像成为后续显示的双目图像。
用于改变双目图像内容的方法还可包括接收来自视线追踪器和景深测量装置的第二输入，以及在双目感兴趣区域未实质上变化时使用来自当前双目图像、视线追踪器和景深测量装置的第二输入来计算场景中的双目感兴趣区域。所述方法还可包括通过使用来自观看所显示的双目图像的观察者的视线追踪信息来确定显示空间中的双目注视区域(RBFd)，以及通过使用图像控制器所提供的显示空间中的双目注视区域(RBFd)来计算场景空间中的等效双目注视区域(RBFs)。在确定双目感兴趣区域是否已变化时，所述方法可包括使用显示空间中的双目注视区域(RBFd)以及场景空间中的等效双目注视区域(RBFs)。所述方法还可包括基于场景变化来改变双目感兴趣区域，而显示空间中的双目注视区域未实质上变化。
根据本发明的另一个方面，一种用于改变双目图像内容的方法可包括显示当前双目图像，使用来自当前双目图像和视线追踪器的输入来计算后续双目注视区域，以及确定当前双目注视区域与后续双目注视区域之间的任何双目注视变化。如果当前双目注视区域与后续双目注视区域之间出现双目注视变化的情况，所述方法可包括计算后续双目注视范围的视差范围。所述方法还可包括确定视差范围是否实质上为零，以及在视差范围不实质上为零时创建后续显示的图像。所述方法还可包括使当前显示的图像成为后续显示的双目图像。
继续讨论，所述方法可包括接收来自视线追踪器的第二输入，以及在后续双目注视区域未实质上变化时使用来自当前双目图像和视线追踪器的第二输入来计算后续双目注视区域。所述方法可包括接收来自视线追踪器的第三输入，以及在视差范围为大约零时使用来自当前双目图像和视线追踪器的第三输入来计算后续双目注视区域。视线追踪器可确定注视区域内的视差，其中视线追踪器由左眼与右眼屏幕注视点之间的差值来确定注视平面。
在所述方法确定视差范围是否实质上为零的情况下，所述方法可包括将后续物体的图像视差与零进行比较，其中在其为双目注视区域中离观察者最近的物体时后续物体将被成像。所述方法还可包括响应于当前显示的双目图像与后续显示的双目图像之间的双目注视区域变化而改变后续显示的图像，并且也可形成当前显示的双目图像。形成当前显示的双目图像可包括估计3D注视区域以及将3D注视区域投影到图像平面中以形成双目注视区域。当前显示的双目图像形成为左图像和右图像并且可从较大源图像中选择。一些系统已有所公开，如美国专利No.4,634,384和美国专利公布No.2003/0067476总体上讨论，这两份专利全文以引用方式并入本文，所述系统基于中央凹区域的了解而有区别地改变二维图像特性。这些系统并未解决双目条件。
一些系统已有所公开，如美国专利公布No.2012/0200676中总体上讨论，所述系统使用眼追踪来调节场景中的计算机图形模型，从而改变从模型渲染的立体图像。这些系统调节整个模型并且不会导致整个立体图像中的差分变化以便改变从场景到双目感兴趣区域内侧和外侧的图像的深度映射。
另外，一些系统已有所公开，如美国专利No.6,198,484中总体上讨论，该专利全文以引用方式并入本文，所述系统基于头部位置和/或眼追踪来改变立体图像呈现以考虑运动视差。这些系统不会产生整个立体图像中的差分变化以便改变从场景到双目感兴趣区域内侧和外侧的图像的深度映射。
图1示出了双目成像系统，其可包括双目图像显示器5以便向左和右眼在感知上且实质上同时呈现不同图像。观察者看到图像显示器5所呈现的双目图像，其中左眼1以显示器视场3看到左眼图像，并且右眼2以显示器视场4看到右眼图像。双目成像系统还可包括视线追踪元件6，其可分别识别左眼视线方向7和右眼视线方向8中的一者或两者，并且可包括计算观察者的双目注视区域9的方式。视线追踪元件6可通过可包括计算机可读介质的任何适当处理或计算系统来计算观察者的双目注视区域9。双目注视区域9可为三维区域，其中位置随视线方向而变化。双目成像系统还可包括以一定方式改变所显示图像以便影响双目注视区域中和双目注视区域周围的局部图像景深量的方式。
在一个实施例中，一种方法可讨论具有实质上为零的视差的注视区域。该实施例可提供图像控制器10中的方法，该图像控制器可响应于当前显示的双目图像与后续显示的双目图像之间观察者的双目注视区域9的变化而改变后续显示的图像，如图6、图2和图1中总体上示出。
在图6中，步骤S60将当前显示的图像形成为左图像22和右图像23。当前显示的图像可选自较大源图像20和21，如图2中所示。在图6的步骤S61中，由图1的图像显示器5显示当前双目图像。
图2的左图像22和右图像23可包含物体例如24、25、26的图像，这些物体的水平位置可不同。在左和右眼视图的不同位置中相同物体的图像之间的该水平差异被称为图像视差，并且其量级和符号控制在其双目融合左和右图像时观察者所感知的深度。
另外在图6中，如步骤S62中所示，图1的图像控制器10接收来自视线追踪器6的输入并且使用该输入来计算后续双目注视区域。
继续针对图1、图2和图6进行讨论，在步骤S63中，控制器确定当前与后续注视之间的任何双目注视变化，如果当前与后续注视之间没有双目注视变化，则控制器在步骤S62处继续。
在步骤S64中，当存在双目注视变化时，图像控制器10计算场景中的哪个后续物体将成像，其中其为双目注视区域中离观察者最近的物体。在步骤S65中，控制器将后续物体的图像视差与零进行比较，如果视差为零，则控制器在步骤S62处继续。
在步骤S66中，控制器使用后续物体的图像视差来调节后续显示的图像，从而后续物体的图像视差变为实质上零。图3、图4和图5中示出了一种方法。
图3示出了当前显示的双目图像对22、23，其中双目注视区域与图像中的物体25对齐。图3还包括示出所显示图像中具有零视差的物体的说明线。物体25的左图像与右图像之间的水平视差为零，如由说明线30所指示。
在图4中，观察者的双目注视区域已从物体25移动到物体24，并且图像控制器10通过创建后续显示的图像40和41而作出反应。区域40示出了要显示在左眼视图中的新选择的区域，并且区域41示出了要显示在右眼视图中的新选择的区域。图像控制器通过得出物体24的视差而实现这一点，并且在这种情况下，然后使右图像窗口向右滑动该数量的像素，从而使后续注视的物体24的视差为零。
图5中示出了所得后续显示的图像，其中物体24的水平视差现在为零，如说明线50所示。图5包括示出所显示图像中具有零视差的新物体的说明线。
在图6的步骤S66中，后续显示的图像40和41现在成为当前显示的图像并且控制返回到步骤S61，其中当前显示的图像由图像显示器5显示。
另一个相关实施例可包括可具有实质上为零的视差的注视区域。该实施例以与此前实施例相似的方式调节图像，但使用视线追踪器来确定注视区域内的视差。当左和右眼图像显示于立体装置上时，视线检测器可由左与右眼屏幕注视点之间的差值来确定注视平面。如果注视平面位于显示屏的前面，例如，当显示器上的左眼的注视点位于右眼的注视点的右方时，可在很少乃至没有计算的情况下推断出注视区域中的图像具有负视差。相对于彼此移动图像可移除该负视差，并且提供与此前实施例中一样的实质上为零的视差。
又一个实施例可包括具有视差的注视区域，并且周围区域可实质上没有视差。该实施例可提供图像控制器10中的方法，该图像控制器可响应于当前显示的双目图像与后续显示的双目图像之间观察者的双目注视区域9的变化而改变后续显示的图像。图11、图7、图8、图9和图10中提供了讨论。
在图11中，步骤S110将当前显示的图像按照图7中分别对于左眼70和右眼71那样形成。图7包括当前显示的双目对的左图像70、当前显示的双目图像对的右图像、投影到图像平面72中的双目注视区域、左和右图像中看到的物体73、左和右图像中看到的另一个物体74以及左和右图像中看到的又一个物体。为了形成当前显示的图像，测量或估计3D注视区域，并且将该区域投影到图像平面72中以形成双目注视区域。图像70和71中的该区域72之外的任何图像信息在每个图像中相同。这可为单目图像，其为观察者的两只眼提供相同信息。区域72内的任何图像信息是双目信息。该图像信息可以渲染或捕获或与双目视差信息合成。图8中示出了结果。图8包括示出了物体75具有零图像视差的说明线80、示出了物体73的物体视差具有零图像视差的说明线81、示出了左图像70中的物体74的水平位置的说明线82、示出了右图像71中的物体74的水平位置的说明线83以及物体74的水平图像视差84。场景中包括的物体75和73可位于区域72之外并且可没有图8中的说明线80和81所示的双目视差。同时，区域72内的物体74具有双目视差84并且由说明线82和83示出。
在图11的步骤S111中，当前双目图像对70和71显示在图1的图像显示器5上。在步骤S112中，图1的图像控制器10接收来自视线追踪器的输入并且计算图9中的后续双目注视区域92。在步骤113中，如果双目注视区域未变化，则控制返回到图11的步骤S112。
在图11的步骤S114中，双目注视区域已变化，并且图像控制器计算场景中的后续双目注视区域的深度范围。继续讨论，在步骤S115中，可使用深度范围信息来创建双目注视区域92的所形成双目图像，所述双目图像可与单目图像组合而形成后续显示的图像90和91，如图9中所示。图9包括双目图像对的左图像90、双目图像对的右图像91以及投影的图像平面中的双目注视区域92。结果在图10中突出显示，其中具有双目视差92的区域包括具有双目视差104的物体73。图10包括示出了物体75具有零图像视差的说明线1100、示出了物体73具有零图像视差的说明线101、示出了左图像70中的物体74的水平位置的说明线102、示出了右图像71中的物体74的水平位置的说明线03以及物体74的水平图像视差104。另外，双目注视区域之外的物体74和75不再具有任何视差，如线100和101所示。
最后，在步骤S116中，当前显示的双目图像变为后续显示的双目图像并且控制返回到步骤S111。
图12为示出视线追踪系统的一个实施例的示意图。图12提供了观察者和显示器153以及显示空间中的不同元件的例子。在图12中，观察者的眼睛155正在观看所显示的双目图像。观察者的左眼可在称为左眼视线方向120的方向上观看，并且观察者的右眼可在称为右眼视线方向121的方向上观看。视线追踪系统6可追踪观察者的眼睛155。如图12所示，场景122描绘了如在融合双目图像中感知的场景，并且区域160RBFd可为显示空间中的双目注视区域。视线追踪系统6可提供视线追踪信息，所述视线追踪信息可用于计算观察者的后续双目注视区域等等。
图13为示出场景空间的一个实施例的示意图。图13提供了相机和场景空间的一个例子。在图13中，相机154可位于用于捕获场景的图像的位置中。位于相机154的旁边的可以是深度测量系统156。虽然深度测量系统156被示出为居中位于相机154之间，但这仅是为了讨论目的而非限制，因为深度测量系统可视情况位于相对于场景空间的其他位置中。在图13中，范围150可为总景深范围并且景深范围163可表示映射到显示空间的景深测算的景深范围。另外，如图13所示，区域162可为双目感兴趣区域RBI 162，并且区域161可为投影到场景空间中的双目注视区域RBFs 161。
在又一个实施例中，可由显示空间中的双目注视区域确定从场景到显示空间的深度映射。该实施例参照图20、图15、图16、图17、图18和图19进行描述。
参见图15，观察者正在观看第一当前双目图像并且看到其中的感知深度，在这种情况下，一些预定感知景深测算151内的感知深度。图15包括景深范围150、深度测量元件156、相机154、虚拟显示器152、物理显示器153以及观察者的眼睛155。在给出确定场景中的深度范围的深度测量元件156的情况下，可使用预先存在的相机控制算法(诸如在参考美国专利No.6,798,406中)来计算从正成像的场景空间150到显示空间感知景深测算151的深度的特定映射。场景中的深度范围150可例如由合成场景中的深度映射或真实场景中的光学或激光测距仪计算。
参见图20中的流程图，在步骤S200中生成第一当前双目图像，然后在步骤S201中显示。参见图16，在观察者观看所显示的双目图像的同时，使用图1的视线追踪元件6追踪其视线，并且使用该信息确定显示空间中的双目注视区域RBFd 160。图16包括场景空间中对应于RBFs的计算区域161、场景空间中的计算双目感兴趣区域RBI 162、映射到景深测算的景深范围163、感知景深测算151以及显示空间中的测量双目注视区域RBFd 160。
RBFd由图1的图像控制器10用来计算场景空间中的等效双目注视区域RBFs 161。RBFs 161然后可用来计算场景空间中的双目感兴趣区域RBI 162。RBI涵盖落入作为RBFs超集的空间体积的任何物体。RBI可为任何方便的三维形状，包括但不限于平行六面体、圆柱、椭圆、截头锥体等等。
在图20的步骤S204中，一旦已计算RBI，就可通过计算RBI的深度范围(图16中示出为163)而得出映射到感知景深测算的景深范围。这允许应用如美国专利No.6,798,406中总体上讨论的任何深度映射相机控制算法，以在步骤S205中生成后续双目图像并且在步骤S206中设置该图像进行显示。
图17、图18和图19示出了图像控制器对观察者的双目注视区域RBFd的实时变化的响应。图17包括映射到景深测算的景深范围163、感知景深测算151以及显示空间中RBFd的变化位置170。
在图17中，RBFd已变化到显示空间中的不同位置170，如由视线追踪元件6检测并由图像控制器10计算。图像控制器10然后计算如图18所示的新RBFs 180并且另外计算新RBI 181，其形成作为RBFs 180超集的空间体积。图18包括场景空间中的RBFs的计算变化位置180、场景空间中的RBI的计算变化位置181、映射到景深测算的景深范围182以及感知景深测算。根据场景的内容，新RBI可比当前值更大或更小。映射到景深测算151的景深范围182然后也将变化。一旦已知景深范围182，如美国专利No.6,798,406中总体上讨论的任何深度映射相机控制算法的应用就可将新计算的景深范围182映射到显示器感知景深测算151。
图19中的结果示出了景深到景深测算的新映射。技术有益效果是，当观察者的视线在场景周围移动(如双目图像中显示)时，对RBFd中的深度和对应RBI进行连续优化以拟合可用的景深测算151。图19包括映射到景深测算的景深范围182、感知景深测算151以及整个图像的感知深度范围190。
重要的是，该实施例也将在动画场景中操作，其中RBI由于场景变化而变化，即使当RBFd双目注视区域不变化。这可通过深度测量元件156测量，所述深度测量元件在计算机图形中可为深度缓存，或在摄影中可为测距仪诸如光学或激光装置。
又一个实施例可包括可具有优选视差的注视区域，并且周围区域可具有不同视差，其中使用可变z区域映射时总视差不超过预定极限。该实施例可提供图像控制器10中的方法，该图像控制器能够响应于当前显示的双目图像与后续显示的双目图像之间观察者的双目注视区域9的变化而改变后续显示的图像，参见图26、图20、图21、图22、图23、图24和图25。
图21包括景深范围150、相机154、深度测量元件156、近区域210、远区域212、感兴趣区域211、观察者的眼睛155和感知深度范围151。
参见图26和图20中的流程图。在步骤S260中，形成第一双目图像。这可在景深范围150(如图15中所示)映射到感知深度范围151时使用如参考文献诸如美国专利No.6,798,406、美国专利申请公布No.US 2011/7,983,477或美国专利No.8,300,089(两者全文以引用方式并入本文中)中公开的方法形成。然后在步骤S261中显示第一当前双目图像。
参见图22，在步骤S262中，图像控制器接收来自视线追踪器6的输入，这允许识别显示空间中的双目注视区域RBFd 160。由此可找出场景空间中的双目注视区域RBFs 161，并且利用来自景深测量元件156的另外输入，可计算场景中的双目感兴趣区域RBI 162。在获知RBI或景深范围150时，可以计算163，其为显示空间中映射到感知景深测算151的景深范围150。在这种情况下，163大约与景深范围150相同，例如，RBI未变化，因此不需要深度映射的变化并且步骤S263可返回到步骤S262。图22包括景深范围150、相机154、深度测量元件156、近区域210、远区域212、感兴趣区域211、映射到景深测算的景深范围163、观察者的眼睛155和感知深度范围151。
或者参见图23，观察者的视线已变化并且来自视线追踪器的输入识别后续RBFd230。图23及类似的图24和25都包括景深范围150、相机154、深度测量元件156、近区域210、远区域212、感兴趣区域211、观察者的眼睛155和感知深度范围151。然后如图24中所示，这允许后续RBFs 240被计算并形成该后续RBI 241。由于后续RBI 241现在不同于当前RBI162(如图16中所示)，继续在步骤S264处执行并且计算后续景深范围163。
步骤S265然后计算从场景到显示空间的新深度映射。图25示出了使用多区域深度映射算法(诸如美国专利No.7,983,477中总体上公开)实施步骤S265的映射的一种方式。此处RBI可被视为感兴趣区域211，其将场景分成三个区域，包括较近区域210和较远区域212。然后将这些区域映射到场景空间中的三个对应区域213、214和215。因为区域213、214和215在分配给它们的感知深度的量方面可不同，与较近区域和较远区域相比，感兴趣区域211从而RBI可被给定优先的景深量。另外，其防止场景的任何物体显现于感知深度范围151之外，诸如如图19中所示的单个区域映射。一旦形成后续图像，就可在步骤S266中将其设定为当前图像并且控制返回到步骤S261。
又一个实施例可包括可具有优选视差的注视区域，并且周围区域可具有不同视差，其中使用一个或两个维数中的可变相机参数时总视差不超过预定极限。该实施例可提供图像控制器10中的方法，该图像控制器可响应于当前显示的双目图像与后续显示的双目图像之间观察者的双目注视区域9的变化而改变后续显示的图像，参见图图27、图28、图29和图30。
在图14中，流程图步骤S300形成第一双目图像。该图像可在景深范围150映射到感知深度范围151时使用如参考文献诸如美国专利No.6,798,406、美国专利No.7,983,477或美国专利No.8,300,089中所公开的方法形成。在步骤S301中显示当前双目图像5。
参见图14，在步骤S302中，图像控制器接收来自视线追踪器6的输入，并且这可允许识别显示空间中的双目注视区域RBFd 160。由此可找出场景空间中的双目注视区域RBFs161，并且利用来自景深测量元件156的另外输入，可计算场景中的双目感兴趣区域RBI162。在获知RBI时，可以计算163，即显示空间中映射到感知深度范围151的景深范围。如果RBI未变化，则不需要深度映射的变化并且步骤S303返回到S302。
参见图27，当已识别RBI时，可在S304中计算从场景空间到显示空间的局部变化深度映射。这可改变用于捕获图像的立体相机参数。例如，RBI附近的全立体3D效应可变为RBI之外的简单2D效应，如图27中所示。图27包括可为图像中的局部变化感知深度范围的270和271、可为RBI(162)之外的物体并使用视差分配无感知深度的物体272、映射到景深测算的景深范围163、以及感知景深测算151。
如果RBI变化，如图28中所示，则具有全立体3D效应的图像区域也可变化。有益效果变为远离RBI的所显示图像的任何区域可由单个相机视点进行渲染，从而节省渲染两个图像的计算成本，同时保持中央凹区域处于最高可能的质量。图28包括可为图像中的新局部变化感知深度范围的280和281、可为新RBI(181)之外的物体并分配无感知深度的物体282、映射到景深测算的景深范围182、以及感知景深测算。
图29示出了用于步骤S305中的渲染的相机参数可如何根据不同场景元素可显现于立体图像中的位置而在一个维数中变化。图29包括景深范围163。在这种情况下，远离RBI的元素可由单中心相机视点C进行渲染，而RBI中的元素用立体相机设置A0进行渲染，该立体相机设置A0可使用如美国专利No.6,798,406中总体上讨论的方法进行计算。在全立体与二维图像区域之间的区中，对相机设置进行线性内插，使轴间分离A1减小直到单中心相机C的单独使用是适当的。
该方法的另外一个实施例是使相机参数随竖直及水平元素位置而变化，从而利用全立体效应对水平方向和竖直方向上靠近RBI的图像的区域进行渲染。
这些实施例的一个可能实施方式示于列表1中，该列表提供了GLSL的概要，如http://www.opengl.org/documentation/glsl/处的OpenGL参考页中总体上讨论，即对适用于在实时计算机图形系统中投影并着色处理顶点的相机参数进行内插以便产生中央凹立体渲染效应的顶点着色器解决方案。
列表1：
1//列表1，使用GLSL的1D和2D中央凹立体相机的方法。
2//调用一次该方法以绘制左图，并对右图调用一次。
3
4 in vec4 inPosition,inNormal；//输入关于每个顶点的信息。
5 out vec4 vsColor；//输出颜色以用于逐顶点着色处理。
6
7 uniform mat4 modelMatrix；//模型变换是所有视图通用的。
8
9 uniform mat4 viewMatrix,projectionMatrix；//左或右立体相机位置。
10 uniform mat3 normalMatrix；
11
12 uniform mat4 cViewMatrix,cProjectionMatrix；//中心视图相机位置。
13 uniform mat3 cNormalMatrix；
14
15 uniform float rABound；//场景空间边界以开始交叉衰落。
16
17//中央凹区域的场景空间原点。
18 uniform float originX,originY；
19
20 uniform vec3 IightDirection；//用于计算顶点处的经着色处理的颜色。
21 uniform vec4 lightColor,ambientColor；
22
23 void main(void)
24 {
25 vec3 normal,normLightDir；
26
27 float vertX,vertY；
28 vec4 vmPosition；
29 float fadeZone＝30.0；//交叉衰落区域的宽度。
30
31 float weight,invWeight,weighty,invWeightY；
32
33 mat4 MVPMat；
34 mat4 cMVPMat；
35
36 mat4 weightedMVPMat；
37 mat3 weightedNormMat；
38
39 vmPosition＝(cViewMatrix*modelMatrix)*inPosition；
40 vertX＝abs(vmPosition.x+originX)；
41 vertY＝abs(vmPosition.y+originY)；
42
43 weight＝(vertX-rABound)/fadeZone；
44 weightY＝(vertY-rABound)/fadeZone；
45
46 weight＝max(weight,0.0)；//计算X方向上的权重。
47 weight＝min(weight,1.0)；
48 weightY＝max(weightY,0.0)；//计算Y方向上的权重。
49 weightY＝min(weightY,1.0)；//
50 weight＝max(weight,weightY)；//选择使用X和Y权重的最大值。
51 invWeight＝1.0-weight；//NB 1.0＝(权重+权重倒数)
52
53//计算表面法向的加权变换矩阵。
54 weightedNormMat＝(invWeight*normalMatrix)+(weight*rANormalMatrix)；
55 normal＝weightedNormMat*inNormal；
56 normal＝normalize(normal)；
57 normLightDir＝normalize(IightDirection)；
58
59//使用加权法向投影和漫射照明模型来输出顶点颜色。
60 vsColor＝ambientColor*0.3+IightColor*max(dot(normal,normLightDir),0.0)；
61
62//计算顶点几何形状的加权投影矩阵。
63 MVPMat＝projectionMatrix*viewMatrix*modelMatrix；
64 cMVPMat＝cProjectionMatrix*cViewMatrix*modelMatrix；
65 weightedMVPMat＝(invWeight*MVPMat)+(weight*cMVPMat)；
66
67//使用加权MVP矩阵来输出投影的顶点位置。
68 gl Position＝weightedMVPMat*inPosition；
69 }
列表1中所述的着色器对于左眼视图调用一次并且对于右眼视图调用一次。第4到21行说明了着色器运行之前设定的变量。另外，第9和10行描述了左或右眼位置所需的相机参数。第12和13行描述了单中心单视场视图的相机参数。另外，第25-37行说明了可在中央凹相机参数的计算期间使用的变量。
值得注意的是第15行上的变量rABound和第29行上的fadeZone，它们与由第18行上的originX和originY给出的中央凹区域原点相结合，初步确定了中央凹区域的位置和范围，其中将执行立体渲染。在由rABound给出的该区域的边界处，相机参数将内插在由fadeZone初步确定的场景距离内，以变成单视场图像。
在第39与51行之间计算做到这点所适当的加权。应注意，如果所计算的权重值具有1.0的值，则已达到单视场区并且第53与68行之间的计算可对于左相机视图而非右相机视图计算一次。与分别对于两只眼计算投影和着色计算相比，导致实质上的计算节省。
若这些计算适合于中央凹立体区及单视场区中的一个相机视图，则
a.第53-60行描述了表面法向量如何使用加权法向变换矩阵变换，然后用于计算顶点的经着色处理的颜色值，从而用于示出单光朗伯着色模型。
b.第62-68行描述了如何使用加权模型视图投影矩阵来变换顶点位置。
所得的经着色处理的颜色vsColor和经变换的顶点位置gl_Position传递到计算机图形渲染管线中的下一个阶段。
又一个实施例可包括可具有优选视差的注视区域，并且周围区域可具有不同视差，其中使用三个维数中的可变相机参数时总视差不超过预定极限。使用三线性内插模型来计算权重值将允许深度维数为中央凹以及两个图像维数为中央凹。这可使用如美国专利No.7,983,477或美国专利No.8,300,089中所述的相机模型执行，其中深度维数的映射是可变的。
有益效果可包括优化中央凹区域中所看到的图像的深度呈现，同时减少了用于绘制表示该深度区域前面和后面的场景的图像区域的计算或景深测算需求。
例如，在驾驶游戏中，为驾驶者注意的场景的区域给予最佳图像质量。
另一个实施例可包括可具有优选视差的注视区域，并且周围区域可具有不同视差，其中总视差不超过任何上述方法所预定的极限，并且计算多个注视区域以允许多位经视线追踪的观察者观看相同屏幕并注意屏幕的不同部分。例如，如果有相同屏幕的多位观察者，则所述多位观察者一般不可能注视图像的相同区域。这可使用多个视线追踪装置解决，例如每人均戴上购自加拿大安大略省密西沙加的SR研究有限公司的头盔式Eye LinkII眼动仪。可使用眼追踪信息计算每个观察者的RBI，并使用所述RBI确定用于控制整个屏幕的相机参数的单独权重。
继续该讨论，该实施例使多位观察者能够观看视线追踪图像，并且虽然随时间改变所关注的区域通常在观察者之间足够相似，如Active Vision,Findlay and Gilchrist,OUP,2003(《主动视觉》，Findlay和Gilchrist，牛津大学出版社，2003年)中总体上所公开，这可导致任何观察者都不可注意到的图像区域的节省。
此外，在又一个实施例中，注视区域可具有优选视差并且周围区域可具有不同视差，其中总视差不超过任何上述方法所预定的极限并且随时间调整视差以辨别区域或多个区域之一的一部分。在利用随时间的视差调整的例子中，观察者将其注视重新定位到感兴趣区域，接着在一段时间后，改变注视区域中的视差以引入明显的深度变化。继而这引入了每只眼的会聚和/或发散的可检测变化，从而允许计算眼平均注视点。
继续该讨论，这可用于提供用户界面的一个实施例，其中桌面上的图标被给予有限但粗注视区域内的差分深度。然后一个图标可随时间调整。如果检测到眼会聚和/或发散的差分变化，则可推断出眼正注视变化的图标。
当检测到眼的会聚差分变化时，则可为图标加底色以便选择。一旦图标以这种方式加底色，则观察者可通过按下按钮、长久注视、眨眼、它们的任何组合等等来启动该加底色的图标。
另外一种增强可允许系统动态适应于用户，如果系统未检测到眼会聚和/或发散的任何变化，则其可改变哪个图标在视差上变化并且当其最终检测到眼会聚的随时间变化时最终为特定图标加底色。
此处随时间改变视差的有益效果是使用引起的眼会聚和/或发散的随时间变化以在哪个图标也正被注意方面提高总系统置信度。
此外，随时间的视差调整可能不是连续的。视差的随时间变化的替代用途可能是将注意力吸引到双目图像的区域。在这种情况下，可改变注意区域之外的区域以吸引观察者注意这些区域，例如由于如Basic Vision,Snowden,Thompson,Troscianko,OUP,2006(《基本视觉》，Snowden、Thompson、Troscianko，牛津大学出版社，2006年)中总体上讨论的隐现效应(looming effect)。
这一点的直接有益效果在于警告系统，其中需要将观察者的注意力吸引到其当前注视区域之外的区域中的紧急消息。在这种情况下，随时间改变感兴趣区域之外的警告图标的视差。这种图标的一个例子可为低电池电量警告指示器。虽然不可能其处于观察者的注视区域中，但重要的是当电池电量低于预定剩余电量时将观察者的注意力吸引到图标。对于本领域技术人员可显而易见的是，存在许多其他图标，其中这可有利于许多类型的信息呈现系统
又一个实施例可包括可具有优选视差的注视区域，并且周围区域可具有不同视差，其中总视差不超过任何上述方法所预定的极限，并且以下图像质量参数中的一者或多者也发生改变。以下列出了改变的图像质量参数。
可改变的第一图像质量参数为每像素字节方面的颜色质量或其他颜色表示方案。这可有利于使用增强或减弱的颜色表示来突出显示某些区域，并且在减弱的颜色表示的那些区域中提供减少的颜色计算时间和/或GPU中的节能和/或减小的显示带宽的有益效果。
可改变的另一个图像质量参数为每像素字节方面的灰度级质量或其他灰度级表示方案。这可提供使用增强或减弱的灰度级表示来突出显示某些区域的有益效果，并且在减弱的灰度级表示的那些区域中提供减少的灰度级计算时间和/或减小的显示带宽的有益效果。
可改变的另一个图像质量参数为总光功率方面的图像亮度，例如通过使用较小的显示器亮度范围，或通过使用能够提高图像特定区域中的亮度的高动态范围显示器。这具有有益效果，包括但不限于在具有较低亮度及高频图像伪影(诸如在使用较低分辨率图像内容时混叠在图像的较低亮度区域)的较低可见度的屏幕的区域中降低的功率利用率。
可改变的另一个图像质量参数为图像对比度，例如通过改变所显示图像的γ曲线。这具有掩蔽其他性能变化的可见度的有益效果。例如，降低的分辨率可导致图像分块，这可用低通滤波器进行掩蔽。
可改变的另一个图像质量参数为图像空间频谱，例如使用高通滤波器、低通滤波器或带通滤波器。在一个例子中，可使区域模糊，以减少计算并降低在图像的一些区域中可为合适的空间分辨率。这可有助于在具有较低空间频率的屏幕的区域中减少计算需求。
可改变的另一个图像质量参数为在屏幕不同区域中使用较高或较低图像刷新率的图像时间频率。这可有助于在具有较低时间频率的屏幕的区域中降低计算和显示带宽条件。
可改变的另一个图像质量参数为场景几何形状内容，其中通过改变用于表示物体的几何模型的质量来改变计算机图形模型的质量。这可有助于在具有降低质量的几何模型(例如，几何形状网格中较低数量的三角形)的屏幕的区域中降低计算带宽条件。
可改变的另一个图像质量参数为场景纹理图像内容，其中计算机图形模型纹理图像的质量发生改变。这可有助于在具有降低质量的纹理图像(例如，较低分辨率图像)的屏幕的区域中降低计算带宽条件。
可改变的另一个图像质量参数为计算机图形渲染参数，从而包括镜面高光、反射、折射、透明度的效应在图像区域之间在质量方面改变。这可有助于在具有降低的图形效应的屏幕的区域中降低计算带宽条件。
可改变的另一个图像质量参数为与另一个区域相比一个区域中允许的最大梯度方面的视差梯度。这可有助于改善图像区域中的感知图像质量，其中在其他情况下视差梯度可太高而不能舒适地融合图像，或如此高以致可能不利于任务性能。
如本文及至少一个实施例中所讨论，双目注视可为眼睛两个视轴的交点周围的空间体积。
如本文及至少一个实施例中所讨论，双目图像可为生成对于两只眼的单独刺激的光图案。这可包括每个瞳孔内不同方向上的多个可分辨视图。其可例如使用离散视图或连续波前生成，在技术上使用立体、自动立体、多视场或全息光学装置产生。
如本文及至少一个实施例中所讨论，双目融合图像可为通过融合两个图像而形成的世界的感知上单视图(独眼视图)。这可提供场景中的(感知)深度的感觉。
如本文及至少一个实施例中所讨论，捕获可为由现实世界或合成数据生成双目图像的过程。双目图像可以为使用光学功能诸如静物或运动相机，或者使用计算机图形或其他图像合成机构进行渲染。
如本文及至少一个实施例中所讨论，景深测算可为感知深度的范围，意指选择为双目融合图像中所见的总感知深度极限的双目视差范围。可出于舒适或技术原因来选择景深测算。
如本文及至少一个实施例中所讨论，深度映射可为从场景捕获深度并且将其再现为双目图像中的感知深度的过程。
如本文及至少一个实施例中所讨论，深度测量或深度测量元件可为用于测量注视点的表面的距离、深度的现实或虚拟的机构。在现实世界场景中，这可为激光测距仪、光学测距仪等等。在合成场景中，这可为深度映射或者测量离注视点的距离的几何计算。在大多数或所有情况下，深度测量可相对于相机位置进行并且可用于计算从场景空间到感知图像空间的深度映射。
如本文及至少一个实施例中所讨论，视线追踪可包括用于跟随眼动以确定视线方向的方法。这些方法可利用装置来执行，所述装置采用与眼的直接接触或者是例如跟随光从眼的反射的远程测量元件。
如本文及至少一个实施例中所讨论，中央凹图像可为在视网膜的中央凹区域中感知的图像。
如本文及至少一个实施例中所讨论，中央凹区域可为在视网膜的中央凹区域中感知的图像或场景的区域。
如本文及至少一个实施例中所讨论，图像可为可由视网膜检测的光图案。
如本文及至少一个实施例中所讨论，视差可为点的位置中的在法向水平的差值，其中水平被看作是通过连接两只眼的线所限定的，并且视差在视网膜上测量。
如本文及至少一个实施例中所讨论，单视场图像可为在从任何方向观察时实质上相同的图像。如果呈现给两只眼，则两只眼接收实质上相同的光图案。例如，标准2D TV呈现单视场刺激，每个像素传播在所有观察方向上实质上类似或相同的光。
如本文及至少一个实施例中所讨论，显示空间中的双目注视区域可为RBFd或者与两只眼的视线区的重叠的区域对应的显示空间的体积。
如本文及至少一个实施例中所讨论，场景空间中的双目注视区域可为RBFs或者与两只眼的视线区的重叠的区域对应的场景空间的体积。
如本文及至少一个实施例中所讨论，双目感兴趣区域可为RBI或者包括双目注视区域且延伸到包括由两只眼的视线区限制的场景的场景空间体积。
如本文及至少一个实施例中所讨论，景深范围可为在场景中测量的深度范围，其通常可映射到融合双目图像中的感知深度的范围。
如本文及至少一个实施例中所讨论，立体图像可为包括单独地向每只眼呈现的一对图像的图像。这意味着在观看立体图像时由于两个视网膜上接收到不同光图案，观察者每只眼的位置较重要。
如本文及至少一个实施例中所讨论，渲染可为从合成场景创建图像的过程。
如本文及至少一个实施例中所讨论，合成场景可为基于计算机图形、虚拟世界或基于深度的图像中的场景，所述场景可为物理真实的，但可表示物理真实场景。
如本文及至少一个实施例中所讨论，视图可为单个方向上可见的独特图像。
如本文及至少一个实施例中所讨论，场景可为现实世界或合成场景，其正被捕获，然后再现为双目图像。
如本文可能所用，术语“基本上”和“大约”为其相应的术语和/或术语之间的相关性提供了行业可接受的容差。此类行业可接受的容差为在小于1％至10％的范围内，并且对应于但不限于组件值、角度等等。各项之间的此类相关性为在小于1％至10％的范围内。
应该指出的是，本发明的实施例可用于多种光学系统中。实施例可包括或利用多种投影仪、投影系统、光学部件、计算机系统、处理器、独立成套的投影仪系统、视觉和/或视听系统以及电和/或光学装置。实际上，本发明的方面可以跟与光学和电装置、光学系统、显示系统、呈现系统有关的任何设备，或者可包括任何类型的光学系统的任何设备一起使用。因此，本发明的实施例可用于光学系统、视觉和/或光学呈现中使用的装置、视觉外围设备等，并且可用于包括互联网、内联网、局域网、广域网等在内的多种计算环境。
对于详细所公开的实施例，应当理解，实施例并不将其应用或形成限于所示的具体布置的细节，因为该实施例能够采用其他布置。此外，可以不同的组合和布置来阐述实施例的各个方面，以限定实施例在其本身权利内的独特性。另外，本文使用的术语是为了说明的目的，而非限制。
虽然上文描述了根据本文所揭示的原理的多个实施例，但应当理解，它们仅以举例的方式示出，而并非限制。因此，本发明的广度和范围不应受到任何上述示例性实施例的限制，而应该仅根据产生于本发明的任何权利要求及其等同物来限定。另外，所描述的实施例中提供了上述优点和结构特征，但不应将此类公开的权利要求的应用限于实现任何或全部上述优点的过程和结构。
另外，本文的章节标题是为了符合37CFR 1.77下的建议或者提供组织线索。这些标题不应限制或表征可产生于本发明的任何权利要求中所列出的发明。具体来说且以举例的方式，虽然标题是指“技术领域”，但权利要求书不应受到在该标题下选择用于描述所谓的领域的语言的限制。另外，“背景技术”中对技术的描述不应被理解为承认某些技术对本发明中的任何实施例而言是现有技术。“发明内容”也并非要被视为是对发布的权利要求书中所述的实施例的表征。此外，本发明中对单数形式的“发明”的任何引用不应用于辩称在本发明中仅有单个新颖点。可以根据产生于本公开的多项权利要求来提出多个实施例，并且此类权利要求因此限定由其保护的实施例和它们的等同物。在所有情况下，应根据本公开基于权利要求书本身来考虑其范围，而不应受本文给出的标题的约束。

Claims (24)

1.一种用于改变双目图像内容的方法，所述方法包括：
显示当前双目图像；
使用来自所述当前双目图像的输入、来自视线追踪器的信息和景深测量信息来计算场景中的双目注视区域(RBF)以及双目感兴趣区域(RBI)，所述双目感兴趣区域包括作为所述双目注视区域超集的体积；
当确定所述双目注视区域已变化时，计算新双目感兴趣区域，所述新双目感兴趣区域包括作为所述变化双目注视区域超集的新体积；
计算用于映射到感知景深测算的所述新双目感兴趣区域的景深范围；
使用相机控制算法来利用所述新双目感兴趣区域的所述景深范围生成后续显示的双目图像；以及
使所述当前显示的图像成为所述后续显示的双目图像。
2.根据权利要求1所述的用于改变双目图像内容的方法，还包括接收来自所述视线追踪器和景深测量装置的第二输入，以及在所述双目感兴趣区域未实质上变化时使用来自所述当前双目图像、所述视线追踪器和所述景深测量装置的所述第二输入来计算所述场景中的所述双目感兴趣区域。
3.根据权利要求1所述的用于改变双目图像内容的方法，还包括通过使用来自观看所显示的双目图像的观察者的视线追踪信息来确定显示空间中的双目注视区域(RBFd)。
4.根据权利要求3所述的用于改变双目图像内容的方法，还包括通过使用图像控制器所提供的显示空间中的所述双目注视区域(RBFd)来计算场景空间中的等效双目注视区域(RBFs)。
5.根据权利要求4所述的用于改变双目图像内容的方法，其中确定所述双目感兴趣区域是否已变化还包括使用显示空间中的所述双目注视区域(RBFd)和所述场景空间中的所述等效双目注视区域(RBFs)。
6.根据权利要求1所述的用于改变双目图像内容的方法，还包括基于场景变化来改变所述双目感兴趣区域，而显示空间中的所述双目注视区域未实质上变化。
7.一种用于改变双目图像内容的方法，所述方法包括：
显示当前双目图像，所述当前双目图像包括左和右视图；
使用来自所述当前双目图像和视线追踪器的输入来计算后续双目注视区域；
确定当前双目注视区域与所述后续双目注视区域之间的任何双目注视的变化；
在所述当前双目注视区域与所述后续双目注视区域之间存在双目注视的变化时计算所述后续双目注视区域的视差范围；
确定所述视差范围是否实质上为零；在所述视差范围不实质上为零时选择新左和右眼视图来创建后续显示的双目图像，其中所述后续双目注视区域中最近的物体在所述后续显示的双目图像中具有零视差；以及
使所述当前显示的图像成为所述后续显示的双目图像。
8.根据权利要求7所述的用于改变双目图像内容的方法，还包括接收来自所述视线追踪器的第二输入，以及在后续双目注视区域未实质上变化时使用来自所述当前双目图像和所述视线追踪器的所述第二输入来重新计算所述后续双目注视区域，并且在重新计算后，如果确定所述后续双目注视区域已变化，计算所述后续双目注视区域的所述视差范围。
9.根据权利要求7所述的用于改变双目图像内容的方法，还包括接收来自所述视线追踪器的第三输入，以及在所述视差范围为大约零时使用来自所述当前双目图像和所述视线追踪器的所述第三输入来进一步重新计算后续双目注视区域，并且在进一步重新计算后，如果确定所述后续双目注视区域已变化，重新计算所述后续双目注视区域的所述视差范围。
10.根据权利要求7所述的用于改变双目图像内容的方法，还包括用所述视线追踪器确定所述注视区域内的所述视差，其中所述视线追踪器由左眼与右眼屏幕注视点之间的差值来确定注视平面。
11.根据权利要求7所述的用于改变双目图像内容的方法，其中确定所述视差范围是否实质上为零还包括将后续物体的图像视差与零进行比较，其中在所述后续物体为所述双目注视区域中离观察者最近的物体时所述后续物体将被成像。
12.根据权利要求7所述的用于改变双目图像内容的方法，还包括响应于所述当前显示的双目图像与后续显示的双目图像之间的所述双目注视区域的变化，而改变所述后续显示的图像。
13.根据权利要求7所述的用于改变双目图像内容的方法，还包括形成当前显示的双目图像。
14.根据权利要求7所述的用于改变双目图像内容的方法，其中形成当前显示的双目图像还包括估计3D注视区域以及将所述3D注视区域投影到图像平面中以形成双目注视区域。
15.根据权利要求14所述的用于改变双目图像内容的方法，其中所述当前显示的双目图像形成为左图像和右图像。
16.根据权利要求15所述的用于改变双目图像内容的方法，其中所述当前显示的双目图像选自较大源图像。
17.一种用于改变双目图像内容的方法，所述方法包括：
显示当前双目图像；
使用来自所述当前双目图像和视线追踪器的输入来计算后续双目注视区域；
确定当前双目注视区域与所述后续双目注视区域之间的任何双目注视的变化；
在所述当前双目注视区域与所述后续双目注视区域之间存在双目注视的变化时计算所述后续双目注视区域的视差范围；
为所述后续双目注视区域创建双目图像；
将所述后续双目注视区域中的所述双目图像与单目图像组合来形成后续显示的双目图像；
使所述当前显示的双目图像成为所述后续显示的双目图像。
18.根据权利要求17所述的用于改变双目图像内容的方法，还包括接收来自所述视线追踪器的第二输入，以及在所述后续双目注视区域未实质上变化时使用来自所述当前双目图像的第二输入和来自所述视线追踪器的所述第二输入来计算所述后续双目注视区域。
19.根据权利要求17所述的用于改变双目图像内容的方法，还包括所述视线追踪器确定所述注视区域内的所述视差，其中所述视线追踪器由左眼与右眼屏幕注视点之间的差值来确定注视平面。
20.根据权利要求17所述的用于改变双目图像内容的方法，还包括响应于所述当前显示的双目图像与后续显示的双目图像之间的所述双目注视区域的变化，而改变所述后续显示的图像。
21.根据权利要求17所述的用于改变双目图像内容的方法，还包括形成当前显示的双目图像。
22.根据权利要求17所述的用于改变双目图像内容的方法，其中形成当前显示的双目图像还包括估计3D注视区域以及将所述3D注视区域投影到图像平面中以形成双目注视区域。
23.根据权利要求22所述的用于改变双目图像内容的方法，其中所述当前显示的双目图像形成为左图像和右图像。
24.根据权利要求23所述的用于改变双目图像内容的方法，其中所述当前显示的双目图像选自较大源图像。
CN201480022341.7A 2013-02-19 2014-02-19 双目注视成像方法和设备 Active CN105432078B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361766599P 2013-02-19 2013-02-19
US61/766,599 2013-02-19
PCT/US2014/017214 WO2014130584A1 (en) 2013-02-19 2014-02-19 Binocular fixation imaging method and apparatus

Publications (2)

Publication Number Publication Date
CN105432078A CN105432078A (zh) 2016-03-23
CN105432078B true CN105432078B (zh) 2017-09-22

Family

ID=51391774

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480022341.7A Active CN105432078B (zh) 2013-02-19 2014-02-19 双目注视成像方法和设备

Country Status (5)

Country Link
US (2) US10129538B2 (zh)
EP (1) EP2959685A4 (zh)
KR (1) KR20150121127A (zh)
CN (1) CN105432078B (zh)
WO (1) WO2014130584A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104023221B (zh) * 2014-06-23 2016-04-13 深圳超多维光电子有限公司 立体图像视差调节方法和装置
TWI589150B (zh) * 2016-03-04 2017-06-21 液態三維系統有限公司 ３ｄ自動對焦顯示方法及其系統
US10212414B2 (en) 2016-08-01 2019-02-19 Microsoft Technology Licensing, Llc Dynamic realignment of stereoscopic digital consent
CN106406063A (zh) * 2016-10-28 2017-02-15 京东方科技集团股份有限公司 全息显示系统和全息显示方法
US10582184B2 (en) * 2016-12-04 2020-03-03 Juyang Weng Instantaneous 180-degree 3D recording and playback systems
KR102706803B1 (ko) * 2016-12-29 2024-09-13 엘지디스플레이 주식회사 가상 현실 장치
GB2565302B (en) * 2017-08-08 2022-04-13 Sony Interactive Entertainment Inc Head-mountable apparatus and methods
JP6897467B2 (ja) * 2017-10-02 2021-06-30 富士通株式会社 視線検出装置、視線検出プログラム、及び視線検出方法
CN109558012B (zh) * 2018-12-26 2022-05-13 北京七鑫易维信息技术有限公司 一种眼球追踪方法及装置
WO2020213088A1 (ja) * 2019-04-17 2020-10-22 楽天株式会社 表示制御装置、表示制御方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体
CN109901290B (zh) * 2019-04-24 2021-05-14 京东方科技集团股份有限公司 注视区域的确定方法、装置及可穿戴设备
CN115937291B (zh) * 2022-09-14 2023-12-15 北京字跳网络技术有限公司 一种双目图像的生成方法、装置、电子设备及存储介质
CN117472316B (zh) * 2023-12-13 2024-05-14 荣耀终端有限公司 一种显示控制方法、电子设备、存储介质和芯片系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102842301A (zh) * 2012-08-21 2012-12-26 京东方科技集团股份有限公司 显示画面调节装置、显示装置及显示方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4634384A (en) 1984-02-02 1987-01-06 General Electric Company Head and/or eye tracked optically blended display system
EP0888017A2 (en) 1993-08-26 1998-12-30 Matsushita Electric Industrial Co., Ltd. Stereoscopic image display apparatus and related system
JP3478606B2 (ja) * 1994-10-12 2003-12-15 キヤノン株式会社 立体画像表示方法および装置
US5583795A (en) * 1995-03-17 1996-12-10 The United States Of America As Represented By The Secretary Of The Army Apparatus for measuring eye gaze and fixation duration, and method therefor
DE69706611T2 (de) 1996-06-27 2002-07-04 Kabushiki Kaisha Toshiba, Kawasaki Stereoskopisches Display-System und -Verfahren
GB2354389A (en) 1999-09-15 2001-03-21 Sharp Kk Stereo images with comfortable perceived depth
GB0329312D0 (en) 2003-12-18 2004-01-21 Univ Durham Mapping perceived depth to regions of interest in stereoscopic images
US20060210111A1 (en) * 2005-03-16 2006-09-21 Dixon Cleveland Systems and methods for eye-operated three-dimensional object location
KR100793077B1 (ko) * 2005-12-08 2008-01-10 한국전자통신연구원 관찰자 위치 결정 방법과 그를 이용한 관찰자 추적형 3차원디스플레이 시스템 및 그 방법
KR100908677B1 (ko) * 2007-08-24 2009-07-22 주식회사 나노박스 디스플레이 픽셀 변경을 이용한 입체 영상 표시 장치 및 그입체 영상 표시 방법
US7675513B2 (en) * 2008-03-14 2010-03-09 Evans & Sutherland Computer Corp. System and method for displaying stereo images
AT10236U3 (de) 2008-07-10 2009-09-15 Avl List Gmbh Messanordnung und verfahren zur erfassung von messdaten
JP2010045584A (ja) * 2008-08-12 2010-02-25 Sony Corp 立体画像補正装置、立体画像補正方法、立体画像表示装置、立体画像再生装置、立体画像提供システム、プログラム及び記録媒体
WO2010019926A1 (en) 2008-08-14 2010-02-18 Real D Stereoscopic depth mapping
KR101296900B1 (ko) * 2009-01-07 2013-08-14 엘지디스플레이 주식회사 입체 영상의 뷰 제어방법과 이를 이용한 입체 영상표시장치
BRPI1007918A2 (pt) * 2009-02-05 2016-02-23 Hoya Corp métodos de projeto de lente de óculos, de avaliação de lente de óculos, e de fabricação de lente de óculos, sistema de fabricação de lente de óculos, e, lentes de óculos
EP2325618A1 (en) * 2009-11-18 2011-05-25 ESSILOR INTERNATIONAL (Compagnie Générale d'Optique) Method for determining binocular performance of a pair of spectacle lenses
US20110228051A1 (en) * 2010-03-17 2011-09-22 Goksel Dedeoglu Stereoscopic Viewing Comfort Through Gaze Estimation
KR101046259B1 (ko) * 2010-10-04 2011-07-04 최규호 응시위치를 추적하여 입체영상을 표시하는 입체영상 표시장치
KR101727899B1 (ko) * 2010-11-26 2017-04-18 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
WO2012156518A2 (en) * 2011-05-17 2012-11-22 MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. Methods and device for processing digital stereo image content
WO2013018004A1 (en) * 2011-07-29 2013-02-07 Sony Mobile Communications Ab Gaze controlled focusing of stereoscopic content

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102842301A (zh) * 2012-08-21 2012-12-26 京东方科技集团股份有限公司 显示画面调节装置、显示装置及显示方法

Also Published As

Publication number Publication date
CN105432078A (zh) 2016-03-23
US20190166360A1 (en) 2019-05-30
EP2959685A1 (en) 2015-12-30
EP2959685A4 (en) 2016-08-24
US10129538B2 (en) 2018-11-13
WO2014130584A1 (en) 2014-08-28
US20160007016A1 (en) 2016-01-07
KR20150121127A (ko) 2015-10-28

Similar Documents

Publication Publication Date Title
CN105432078B (zh) 双目注视成像方法和设备
KR101675961B1 (ko) 적응적 부화소 렌더링 장치 및 방법
JP3318680B2 (ja) 画像生成方法及び画像生成装置
US9106906B2 (en) Image generation system, image generation method, and information storage medium
US20120306860A1 (en) Image generation system, image generation method, and information storage medium
Bruder et al. Cave size matters: Effects of screen distance and parallax on distance estimation in large immersive display setups
CN105611278A (zh) 防裸眼3d观看眩晕感的图像处理方法及系统和显示设备
CN105763865A (zh) 一种基于透明液晶的裸眼3d增强现实的方法及装置
Leroy et al. Visual fatigue reduction for immersive stereoscopic displays by disparity, content, and focus-point adapted blur
CN107396087A (zh) 裸眼三维显示装置及其控制方法
WO2019104548A1 (zh) 图像显示方法、智能眼镜及存储介质
Kenyon et al. Size-constancy in the CAVE
CN109525830A (zh) 一种立体视频采集系统
JP2024019662A (ja) 角検出のための方法および装置
CN115984122A (zh) 一种hud背光显示系统及方法
JP2023551864A (ja) 自動立体テレプレゼンスシステムのための３次元（３ｄ）顔特徴追跡
CN109870820A (zh) 针孔反射镜阵列集成成像增强现实装置及方法
KR101631514B1 (ko) 전자기기에서 3차원 컨텐츠 생성 방법 및 장치
KR101947372B1 (ko) Hmd에 위치 보정 영상을 제공하는 방법 및 hmd에 위치 보정 영상을 표시하는 방법, 그리고 이를 이용한 위치 보정 영상을 표시하는 hmd
CN108107580A (zh) 一种虚拟现实场景呈现展示方法及系统
CN115202475A (zh) 显示方法、装置、电子设备及计算机可读存储介质
CN102087417B (zh) 一种利用随机点立体图检测自由立体显示器立体度的方法
CN106254847B (zh) 一种确定立体显示屏幕的显示极限的方法、装置和系统
JPH03296176A (ja) 高速画像生成表示方法
Bruder et al. Perceptual evaluation of interpupillary distances in head-mounted display environments

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant