CN107810633B - 立体渲染系统 - Google Patents

立体渲染系统 Download PDF

Info

Publication number
CN107810633B
CN107810633B CN201680027625.4A CN201680027625A CN107810633B CN 107810633 B CN107810633 B CN 107810633B CN 201680027625 A CN201680027625 A CN 201680027625A CN 107810633 B CN107810633 B CN 107810633B
Authority
CN
China
Prior art keywords
image
eye image
left eye
field
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680027625.4A
Other languages
English (en)
Other versions
CN107810633A (zh
Inventor
安德鲁·伊安·拉塞尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN107810633A publication Critical patent/CN107810633A/zh
Application granted granted Critical
Publication of CN107810633B publication Critical patent/CN107810633B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/133—Equalising the characteristics of different image components, e.g. their average brightness or colour balance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/15—Processing image signals for colour aspects of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/158—Switching image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0112—Head-up displays characterised by optical features comprising device for genereting colour display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种方法，包括：接收与正在头戴式显示器(HMD)上显示的三维(3D)图像相关联的视场的指示，接收与正在HMD上显示的3D图像相关联的景深的指示，基于视场来选择第一右眼图像和第二右眼图像，基于景深来组合第一右眼图像和第二右眼图像，基于视场来选择第一左眼图像和第二左眼图像，以及基于景深来组合第一左眼图像和第二左眼图像。

Description

立体渲染系统
相关申请的交叉参考
本申请是2015年9月10日提交的美国申请No.14/850,114的继续申请并要求其优先权，所述申请的公开内容通过引用并入本文。
技术领域
实施例涉及渲染立体图像和/或视频的左眼和右眼图像和/或视频。
背景技术
典型的立体渲染涉及计算在相机对之间的稠密光流场，然后在整个3D图像上内插视点。在诸如半透明物体的某些情况下，这是困难的，甚至可能被认为是不可能的。即使对于正常的固体物体，这也是困难的，因为大多数光流算法太慢，无法实时完成。换句话说，从捕获的2D图像内插3D图像能够是处理器密集型的。结果，实时生成3D图像和/或3D视频来实现期望的回放用户体验可能是困难的。因此，期望实时和/或流传输图像或视频时无需光流内插的情况下下渲染所述3D图像和/或3D视频。
发明内容
示例性实施例描述了对3D图像和/或视频的系统和方法。在总体方面，一种方法包括接收与正在头戴式显示器(HMD)上显示的三维(3D)图像相关联的视场的指示，接收与正在所述HMD上显示的所述3D图像相关联的景深(depth of view)的指示，基于所述视场来选择第一右眼图像和第二右眼图像，基于所述景深来组合所述第一右眼图像和第二右眼图像，基于视场来选择第一左眼图像和第二左眼图像，以及基于所述景深来组合第一左眼图像和第二左眼图像。
附图说明
通过以下给出的详细描述和附图将更充分地了解示例性实施例，所述附图中同样的元件由同样的数字表示，附图仅作为说明给出，因此不是所述示例性实施例的限制，并且其中：
图1示出了根据至少一个示例性实施例的用于捕获和渲染图像和/或视频的系统的框图。
图2示出了根据至少一个示例性实施例的图像处理系统的框图。
图3A示出了根据至少一个示例性实施例的图像捕获配置的框图的俯视透视图。
图3B示出了根据至少一个示例性实施例的图像捕获配置的框图的正视透视图。
图4示出了根据至少一个示例性实施例的方法的框图。
图5A、5B和5C示出了根据至少一个示例性实施例的由位于要捕获的场景的中心、左侧和右侧的相机捕获的图像。
图6A和6B示出了根据至少一个示例性实施例的由眼睛沿着与所述相机相同的平面观看到的相同图像。
图7A、7B和7C示出了由人类视觉系统可视化的图像。
图8A和8B示出了根据至少一个示例性实施例的组合图像的图。
图8C示出了根据至少一个示例性实施例的当在HMD的显示器上显示时基于所述组合图像的可视化图像。
图9A和9B示出了根据至少一个示例性实施例的组合图像的图。
图9C示出了根据至少一个示例性实施例的当在HMD的显示器上显示时的可视化图像。
图10A和10B示出了根据至少一个示例性实施例的组合图像的图。
图10C示出了根据至少一个示例性实施例的当在HMD的显示器上显示时的可视化图像。
图11A和11B示出了根据至少一个示例性实施例的在远景深下可视化图像的并排比较的图。
图11C和11D示出了根据至少一个示例性实施例，在中景深下可视化图像的并排比较的图。
图11E和11F示出了根据至少一个示例性实施例的在近景深下可视化图像的并排比较的图。
图12A和12B示出了根据至少一个示例性实施例的头戴式显示器(HMD)的框图。
图13A示出了视野的示意图。
图13B示出了额平面(Frontal plane)和正中矢状额平面(midsagittal frontalplane)。
图13C示出了与平分眼睛的额平面正交的平面。还显示了从眼睛到点A的注视向量。
图14示出了计算机设备和移动计算机设备的示例。
应当注意，这些附图旨在说明在某些示例性实施例中使用的方法、结构和/或材料的一般特征，并补充下面提供的书面描述。然而，这些附图并不是按比例的并且可能未精确地反映任何给出的实施例的精确结构或性能特征，并且不应被解释为限定或限制由示例性实施例包含的值或属性的范围。例如，为了清楚起见，结构元件的相对厚度和定位可以被缩小或放大。在各个附图中使用类似或相同的参考数字旨在指示存在相似或相同的元件或特征。
具体实施方式
虽然示例性实施例可以包括各种修改和替代形式，但其实施例在附图中举例显示并且将在本文中详细描述。然而，应当理解，没有意图将示例性实施例限于所公开的特定形式，而是相反，示例性实施例将覆盖落入权利要求范围内的所有修改、等效物和替代方案。在整个附图描述中，相同的数字指的是相同的元件。
图1是用于在3D虚拟现实(VR)环境中捕获和渲染图像和/或视频的示例性系统100的框图。在示例性系统100中，相机装置102能够通过网络104捕获和提供图像，或者替选地，能够将图像直接提供给图像处理系统106用于分析和处理。在系统100的一些实施方式中，图像处理系统106能够基于由摄像机装置102捕获的图像来存储、修改和/或流传输图像和/或视频。图像处理系统106在下面更详细地描述。在系统100的一些实施方式中，移动设备108能够起摄像机装置102的功能以在整个网络104中提供图像。一旦图像被捕获，图像处理系统106就能够对图像进行许多计算和处理，并且例如将经处理的图像提供给头戴式显示器(HMD)设备110，用于例如经由网络104进行渲染。在一些实施方式中，图像处理系统106也能够将经处理的图像提供给移动设备108和/或计算设备112用于渲染、存储或进一步处理。
HMD设备110可以表示能够显示虚拟现实内容的虚拟现实耳机、眼镜、目镜或其他可穿戴设备。在操作中，HMD设备110能够执行VR应用(未示出)，该应用能够将接收到的和/或处理的图像回放给用户。在一些实施方式中，VR应用能够被图1所示的设备106、108或112中的一个或更多个托管。在一个示例中，HMD设备110能够提供由相机装置102捕获的场景的视频回放。在另一个示例中，HMD设备110能够提供拼接在单个场景中的静止图像的回放。
相机装置102能够被配置为用作相机(也能称为捕获设备)和/或处理设备以收集图像数据用于在VR环境中渲染内容。例如，在描述系统100的功能性时，图1显示了相机装置102，在装置周围没有布置相机来捕获图像。相机装置102的其他实施方式能够包括能围绕圆形相机装置、例如装置102的圆周布置的任何数量的相机。
如图1所示，相机装置102包括通信系统132和多个相机130。相机130能够包括单个静态相机或单个摄像机。在一些实施方式中，相机130能够包括沿相机装置102的外围(例如，环)(例如，固定地)并排布置的多个静态相机或多个摄像机。相机130可以是摄像机、图像传感器、立体相机、红外相机、移动设备等。通信系统132能用于上传和下载图像、指令和/或其他相机相关内容。通信可以是有线或无线的，并且能够通过专用或公共网络联系。
在一些实施方式中，相机装置102包括以边对边或背对背的方式布置的多个数字摄像机，使得它们的透镜各自指向径向向外的方向以观看周围场景或环境的不同部分。在一些实施方式中，多个数字摄像机被布置成具有与圆形摄像机装置102相切的观察方向的相切配置。例如，相机装置102能够包括多个数字摄像机，它们被布置成使得它们的透镜各自指向径向向外的方向，同时与装置的底部相切地布置。数字摄像机能够被设定指向以捕获不同方向的内容，从而观看周围场景的不同角度部分。
在一些实施方式中，相机能够被配置(例如，设置)成同步运行以在特定时间点从相机装置上的相机捕获视频。在一些实施方式中，相机能够被配置成同步运行，以在一段时间内从一个或更多个相机捕获视频的特定部分。标定相机装置的另一个示例能够包括配置输入图像的存储方式。例如，输入图像能够作为单独的帧或视频(例如.avi文件、.mpg文件)存储，并且这样的存储图像能够被上传到互联网、另一个服务器或设备，或者用相机装置102上的每一个相机本地存储。在一些实施方式中，输入图像能够被存储为编码的视频。
在示例性系统100中，设备106、108和112可以是膝上型计算机、台式计算机、移动计算设备或游戏控制台。在一些实施方式中，设备106、108和112能够是能布置(例如，放置/定位)在HMD设备110内的移动计算设备。例如，移动计算设备能够包括能用作HMD设备110的屏幕的显示设备。设备106、108和112能够包括用于执行VR应用的硬件和/或软件。另外，设备106、108和112能够包括硬件和/或软件，当这些设备被放置在HMD设备110的前面或保持在相对于HMD设备110的一定范围的位置内时，这些硬件和/或软件能够识别、监视和跟踪HMD设备110的3D移动。在一些实施方式中，设备106、108和112能够通过网络104向HMD设备110提供附加的内容。在一些实施方式中，设备102、106、108、110和112能够配对地或通过网络104连接地与彼此的一个或更多个连接/联系。连接能够是有线或无线的。网络104能够是公共通信网络或专用通信网络。
在HMD(例如，HMD设备110)中，观看者通过使用投射感知到的三维(3D)视频或图像的左(例如左眼)显示器和右(例如，右眼)显示器来体验视觉虚拟现实。根据示例性实施例，立体或3D视频或图像被存储在服务器上(例如，作为由相机装置102捕获的多个相关联的2D图像)。视频或图像能够从服务器编码并流传输到HMD。3D视频或图像能够被编码为左图像和右图像，其与关于左图像和右图像的元数据一起打包(例如，在数据分组中)。左图像和右图像然后被左(例如左眼)显示器和右(例如右眼)显示器解码和显示。根据示例性实施例，左图像和右图像可能够是基于同步捕获的两个或更多个图像生成的图像(例如，组合为一个图像)。根据示例性实施例，左图像和右图像可能够是基于视场和或景深生成的图像(例如，组合为一个图像)。
本文中描述的系统和方法可应用于左图像和右图像，并且在整个本公开中取决于使用情况被称为图像、帧、图像的一部分、帧的一部分、图片等。换句话说，从服务器(例如，流媒体服务器)传达到用户设备(例如，HMD)然后被解码以用于显示的编码数据能够是与3D视频或图像相关联的左图像和/或右图像。
系统100可以包括电子存储。电子存储能够包括电子存储信息的非暂时性存储介质。电子存储可以被配置为存储捕获的图像、获得的图像、预处理的图像，后处理的图像等。利用任何所公开的相机装置捕获的图像都能被处理并存储为一个或更多个视频流，或者存储为单独的帧。在一些实施方式中，存储能够在捕获期间发生，并且渲染能够在部分捕获之后直接发生，以使得能够比捕获和处理同时发生的情况更早地更快访问内容。
图2示出了根据至少一个示例性实施例的包括图像处理系统106的装置200的框图。如图2所示，装置200能够包括至少一个存储器205和至少一个处理器210。至少一个存储器205能够包括图像处理系统106。图像处理系统106能够包括至少一个图像/视频源储存库215、图像选择模块220、深度处理模块225和图像组合模块230。装置200能够是设备106、108、110或112中的至少一个的元件。此外，装置200的元件能够在设备106、108、110或112中的至少一个之间划分。例如，至少一个图像/视频源储存库215可以被包括在与图像处理系统106相关联的前述电子存储中，而深度处理模块225可以是HMD 110的子系统。
至少一个图像/视频源储存库215能够被配置为存储多个2D和/或3D图像和/或视频。图像和/或视频能够表现由相机130捕获的场景，并由相机装置102使用通信模块132传达到至少一个图像/视频源储存库215。图像和/或视频能够具有指示相机位置、视场、图像分辨率、捕获时间、帧顺序等的对应元数据。
图像选择模块220能够被配置为基于(例如，从HMD 110接收到的)视场的指示，从图像/视频源储存库215中选择2D图像。例如，图像选择模块220能够基于来自图像/视频源储存库215的视场来选择两个或更多个右眼图像和两个或更多个左眼图像。两个或更多个右眼图像和两个或更多个左眼图像能够是由不同的相机130在基本相同的时刻拍摄的场景的图像。该选择能够基于存储在图像/视频源储存库215中的图像的对应元数据。
深度处理模块225能够被配置为确定使用HMD 110观看图像和/或视频的用户的景深或焦深。例如，HMD 110能够包括眼睛跟踪设备(例如，图12B所示的第一眼睛跟踪传感器1220-L和第二眼睛跟踪传感器1220-R)，其被配置为确定景深和/或执行能从中确定景深的测量。例如，眼睛跟踪设备能够测量用户眼睛的瞳孔的位置。眼睛跟踪设备能够测量瞳孔的收缩并确定角度C(参见图13A)。角度C能用于确定景深。
图像组合模块230能够被配置为组合两个或更多个图像，以便生成第三图像，然后将其传达到HMD 110，用于在HMD 110的显示器上渲染。例如，左眼图像能够通过组合两个或更多个左眼图像而生成，使得组合的图像在景深处是清晰的(例如，不畸变或不模糊)。为了生成组合图像，第一图像(例如，由相机320-1捕获)能够相对于在与第一图像的相同(或基本上相同)时间下捕获(例如，由相机320-2捕获)的第二图像移动，直到组合图像的一部分是清晰的为止(例如，第一图像在景深处的部分与第二图像在相同景深处的部分基本重叠)。在示例性实施方式中，基于两个相机之间的距离以及角度(例如C，参见图13A)，第一图像位移了一定数量的像素。在另一个示例性实施方式中，基于与视场的位置相关的相应相机位置，两个图像都朝着视场的中心(例如，向左眼的中心)位移，并且直到组合图像的一部分(与景深对应)清晰为止。
图3A示出了根据至少一个示例性实施例的图像捕获配置的框图的俯视透视图。如图3A所示，配置包括图像300的三个部分。图像300的三个部分包括图像300的远部分305、图像300的中间部分310和图像300的近部分315。远、中和近表示与图像300的(例如，具有眼睛325-1和325-2的)观看者相关联的焦深。换句话说，图像300的远部分305在由观看者观看时处于相对远的焦深，图像300的中间部分310在由观看者观看时相对在近焦深和远焦深之间，并且图像300的近部分315在由观看者观看时处于相对近或靠近的焦深。
图3B示出了根据至少一个示例性实施例的图像300捕获配置的框图的正视透视图。如图3B所示，图像300的近部分315被示出为在图像300的中间部分310的前面。此外，图像300的远部分305被示出为在图像300的近部分315和图像300的中间部分310的后面(并且为了清楚起见，也在它们的上面)。
在示例性实施例中，3D图像捕获能够包括在不同位置使用多于一个相机。这由相机320-1、320-2和320-3示出。相机320-1、320-2和320-3能够是被配置为捕获静态图像、视频和/或视频帧的数字相机。
图4示出了根据至少一个示例性实施例的方法的框图。如图4所示，在步骤S405，确定视场。例如，HMD 110能够包括加速度计以监测HMD 110用户头部的位置或移动。例如，HMD110外部的设备(例如，相机和/或红外传感器)能够监测HMD 110用户头部的位置或移动。例如，HMD 110能够包括眼睛跟踪设备(例如，如图12B所示的第一眼睛跟踪传感器1220-L和第二眼睛跟踪传感器1220-R)，其被配置为确定注视的方向。根据HMD 110的位置和/或移动、和/或注视方向，能够确定视场。换句话说，HMD 110的位置和/或移动、和/或注视方向能够确定HMD 110的用户正在看什么(例如，视场)。
在步骤S410，确定景深。例如，HMD 110能够包括眼睛跟踪设备(例如，第一眼睛跟踪传感器1220-L和第二眼睛跟踪传感器1220-R)，其被配置为确定景深和/或执行能从中确定景深的测量。例如，眼睛跟踪设备能够测量用户眼睛的瞳孔的位置。眼睛跟踪设备能够测量瞳孔的收缩并确定角度C(参见图13A)。角度C能用于确定景深。深度处理模块225能够被配置为使用从HMD 110接收的景深的测量结果和/或指示，以便确定与图像相关的景深。
在步骤S415，基于视场来选择两个或更多个右眼图像和两个或更多个左眼图像。例如，能够从数据存储(例如，存储器和/或数据库)和/或基于实时捕获来选择图像。例如，图像选择模块220能够基于对左眼和右眼各自的视场的指示，从图像/视频源储存库215中选择2D图像。在示例性实施方式中，能使用多个相机(例如，相机320-1、320-2,320-3或1230)来捕获图像和/或视频。左眼的视场能够在两个相机(例如，相机320-1和320-2)之间，而右眼的视场能够在两个(例如，不同的)相机(例如，相机320-2和320-3)之间。因此，能选择由左眼侧面的每一个相机(例如，相机320-1和320-2)捕获的图像，并且能选择由位于右眼侧面的每一个相机(例如，相机320-2和320-3)捕获的图像。
在步骤S420，基于两个或更多个左眼图像和景深来生成左眼图像。例如，能够通过组合两个或更多个左眼图像来生成左眼图像(例如，通过图像组合模块230)，使得组合图像在景深处是清晰的(例如，不畸变或不模糊)。为了生成组合图像，处理器(例如，执行指令集的处理器210)能够相对于在与第一图像(例如，由相机320-1捕获)相同(或基本上相同)的时间下捕获的第二图像(例如，由相机320-2捕获)位移第一图像，直到组合图像的一部分清晰为止(例如，第一图像在景深处的部分与第二图像在相同景深处的部分基本重叠)。在示例性实施方式中，基于两个相机之间的距离以及角度(例如C，参见图13A)，第一图像位移了一定数量的像素。在另一个示例性实施方式中，两个图像都朝着视场的中心(例如，向左眼的中心)位移，直到组合图像的(与景深对应的)一部分清晰为止。
然后，第一图像和第二图像能够基于位移彼此组合(例如，重叠)。此外，可以发生后处理。例如，可以执行颜色合并或调整，使得图像的组合部分具有基本上与第一图像和/或第二图像中的图像部分相同的调色板。例如，可以确定颜色(或像素数据值)偏移并将其应用于组合图像。颜色偏移能够是基于距视场中心的相机距离的加权偏移。
在步骤S425中，基于两个或更多个右眼图像和景深来生成右眼图像。例如，能够通过(例如，通过图像组合模块230)组合两个或更多个右眼图像使得组合图像在景深处清晰(例如，不畸变或不模糊)来生成右眼图像。为了生成组合图像，处理器(例如，执行指令集的处理器210)能够相对于在与第一图像相同(或基本上相同)的时间下捕获(例如，由相机320-3捕获)的第二图像位移第一图像，直到组合图像的一部分清晰为止(例如，第一图像在景深处的部分与第二图像在相同景深处的部分基本重叠)。在示例性实施方式中，基于两个相机之间的距离以及角度(例如C，参见图13A)，第一图像位移了一定数量的像素。在另一个示例性实施方式中，两个图像都朝着视场的中心(例如，向右眼的中心)位移，直到组合图像的一部分(与景深对应)清晰为止。
然后，第一图像和第二图像能够基于位移彼此组合(例如，重叠)。此外，可以发生后处理。例如，可以执行颜色合并或调整，使得图像的组合部分具有基本上与第一图像和/或第二图像中的图像部分相同的调色板。例如，可以确定色彩(或像素数据值)偏移并将其应用于组合图像。颜色偏移能够是基于距视场中心的相机距离的加权偏移。
在步骤S430，左眼图像和右眼图像被显示在HMD 110的至少一个显示器上。例如，HMD 110能具有与左眼相关联的第一显示器和与右眼相关联的第二显示器。所生成的左眼图像能够在第一显示器上渲染，而所生成的右眼图像能够在第二显示器上渲染。在示例性实施方式中，HMD 110能够包括单个显示器，其包括与左眼相关联的第一部分和与右眼相关联的第二部分。
图5A、5B和5C分别示出了由相机320-1、320-2和320-3捕获的图像300。图6A和6B分别示出了由眼睛325-1和325-2观看的图像300。如图5B所示，相机320-2能够基本上直线捕获图像300，因为当如图3B所示的图像300与如图5B所示的图像300比较时，差异极少(即使有差别的话)。对照之下，由相机320-1捕获的图像300如图5A所示。能够看出，图像300显示出近部分315与中间部分310相比向右(或远离相机320-1)位移，而远部分305与中间部分310相比向左(或朝向相机320-1)位移。此外，如图5C所示的由相机320-3捕获的图像300显示出近部分315与中间部分310相比向左(或远离相机320-3)位移，而远部分305与中间部分310相比向右(或朝向相机320-3)位移。
如图6A所示，由眼睛325-1观看(例如，在眼睛325-2闭上时观看)的图像300有点类似于由相机320-1捕获或如图5A所示的图像300。因此，在图6A中，图像300显示出近部分315与中间部分310相比向右(或远离眼睛325-1)位移，而远部分305与中间部分310相比向左(或朝向眼睛325-1)位移。如图6B所示，由眼睛325-2观看(例如，在眼睛325-1闭上时观看)的图像300有点类似于由相机320-3捕获或如图5A所示的图像300。因此，在图6A中，图像300显示出，近部分315与中间部分310相比向左(或远离眼睛325-2)位移，而远部分305与中间部分310相比向右(或朝向眼睛325-2)位移。
图7A、7B和7C示出了由人类视觉系统可视化的图像300表示的场景。例如，图7A、7B和7C示出了当实时或在现实世界中观看时由人类视觉系统可视化的图像300。图7A示出当焦深为远时由人类视觉系统可视化的图像300表示的场景。换句话说，图7A示出了当实时或在现实世界中观看并且眼睛(例如，眼睛205-1、205-2或325-1、325-2)聚焦在由图像300表示的场景的远部分305所表示的场景上时，由图像300表示的场景的可视化。
如图7A所示，图像300的远部分305如图3B所示。换句话说，图像300的远部分305被示出为在图像300的近部分315和图像300的中间部分310的后方(并且为了清楚起见，在它们的上方)。图像300的远部分305也是如图3B所示的形状(例如，单个带阴影的星形)。然而，当与如图3B所示的图像300的近部分315和图像300的中间部分310相比时，在图7A中，图像300的近部分315和图像300的中间部分310被显示为畸变。这是因为人类视觉系统只能在一个焦深下看清楚的缘故。
如图7A所示，图像300的近部分315和图像300的中间部分310被显示为双重复视部分。例如，图像300的近部分315被分成三个可视化的近部分315-1、315-2和315-3。可视化的近部分315-2被显示为具有与图3B所示的图像300的近部分315相同的形状和阴影。然而，可视化的近部分315-2被显示为比图3B所示的图像300的近部分315窄。与图3B所示的图像300的近部分315相比，可视化的近部分315-1和315-3被显示为具有相同的形状和更浅的阴影。可视化的近部分315-1和315-3被显示为图像300的近部分315的宽度延伸超过图像300的中间部分310的宽度，该中间部分310与如图3B所示的图像300的中间部分310相似。当实时或在现实世界中观看并且眼睛(例如眼睛205-1、205-2或者眼睛325-1、325-2)聚焦在由图像300的远部分305表示的场景上时，可视化的近部分315-1和315-3能表示图像300的近部分315的双重复视部分。
例如，图像300的中间部分310被分成三个可视化的中间部分310-1、310-2和310-3。可视化的中间部分310-2被显示为具有与图3B所示的图像300的中间部分310相同的形状和阴影。然而，可视化的中间部分310-2被显示为比图3B所示的图像300的中间部分310窄。与图3B所示的图像300的中间部分310相比，可视化的中间部分310-1和310-3被显示为具有相同的形状和更浅的阴影。可视化的中间部分310-1和310-3被显示为图像300的中间部分310的宽度延伸，使得图像300的中间部分310的宽度比如3B所示的图像300的中间部分310宽。当实时或在现实世界中观看并且眼睛(例如眼睛205-1、205-2或者眼睛325-1、325-2)聚焦在由图像300的远部分305表示的场景上时，可视化的中间部分310-1和310-3能表示图像300的中间部分310的双重复视部分。
图7B示出当焦深为中间时由人类视觉系统可视化的图像300表示的场景。换句话说，图7B示出了当实时或在现实世界中观看并且眼睛(例如，眼睛205-1、205-2或325-1、325-2)聚焦在由图像300表示的场景的中间部分310所表示的场景上时，由图像300表示的场景的可视化。
如图7B所示，图像300的中间部分310如图3B所示。换句话说，图像300的中间部分310被示出为在图像300的近部分315的后方和图像300的远部分305的前方。图7B所示的图像300的中间部分310也是如图3B所示的形状(例如，交叉阴影的长方形)和尺寸。然而，当与如图3B所示的图像300的近部分315和图像300的远部分305相比时，在图7B中，图像300的近部分315和图像300的远部分305被显示为畸变。这是因为人类视觉系统只能在一个焦深下看清楚的缘故。
如图7B所示，图像300的近部分315和图像300的远部分305被显示为双重复视部分。例如，图像300的近部分315被分成三个可视化的近部分315-1、315-2和315-3。可视化的近部分315-2被显示为具有与图3B所示的图像300的近部分315相同的形状和阴影。然而，可视化的近部分315-2被显示为比图3B所示的图像300的近部分315窄。与图3B所示的图像300的近部分315相比，可视化的近部分315-1和315-3被显示为具有相同的形状和更浅的阴影。可视化的近部分315-1和315-3被显示为图像300的近部分315的宽度延伸超过图像300的中间部分310的宽度，该中间部分310与如图3B所示的图像300的中间部分310相似。当实时或在现实世界中观看并且眼睛(例如眼睛205-1、205-2或眼睛325-1、325-2)聚焦在由图像300的中间部分310表示的场景上时，可视化的近部分315-1和315-3能表示图像300的近部分315的双重复视部分。
例如，图像300的远部分305被分成两个可视化的远部分305-1和305-2。与图3B所示的图像300的远部分305相比，图7B所示的可视化的远部分305-1和305-2被示为具有相同的形状(例如，星形)和更浅的阴影。当实时或在现实世界中观看并且眼睛(例如眼睛205-1、205-2或眼睛325-1、325-2)聚焦在由图像300的中间部分310表示的场景上时，可视化的远部分305-1和305-3能表示图像300的远部分305的双重复视部分。
图7C示出当焦深为近时由人类视觉系统可视化的图像300表示的场景。换句话说，图7C示出了当实时或在现实世界中观看并且眼睛(例如，眼睛205-1、205-2或325-1、325-2)聚焦在由图像300表示的场景的近部分315所表示的场景上时，由图像300表示的场景的可视化。
如图7C所示，图像300的近部分315如图3B所示。换句话说，图像300的近部分315被示出为在图像300的中间部分310的前方和图像300的远部分305的前方。图7C所示的图像300的近部分315也是如图3B所示的形状(例如，圆点阴影的长方形)和尺寸。然而，当与如图3B所示的图像300的中间部分310和图像300的远部分305相比时，在图7C中，图像300的中间部分310和图像300的远部分305被显示为畸变。这是因为人类视觉系统只能在一个焦深下看清楚的缘故。
如图7C所示，图像300的中间部分310和图像300的远部分305被显示为双重复视部分。例如，图像300的中间部分310被分成三个可视化的中间部分310-1、310-2和310-3。可视化的中间部分310-2被显示为具有与图3B所示的图像300的中间部分310相同的形状和阴影。然而，可视化的中间部分310-2被显示为比图3B所示的图像300的中间部分310窄。与图3B所示的图像300的中间部分310相比，可视化的中间部分310-1和310-3被显示为具有相同的形状和更浅的阴影。可视化的中间部分310-1和310-3被显示为图像300的中间部分310的宽度延伸，使得图像300的中间部分310的宽度比如3B所示的图像300的中间部分310宽。当实时或在现实世界中观看并且眼睛(例如眼睛205-1、205-2或者眼睛325-1、325-2)聚焦在由图像300的近部分315表示的场景上时，可视化的中间部分310-1和310-3能表示图像300的中间部分310的双重复视部分。
例如，图像300的远部分305被分成两个可视化的远部分305-1和305-2。与图3B所示的图像300的远部分305相比，图7C所示的可视化的远部分305-1和305-2被显示为具有相同的形状(例如，星形)和更浅的阴影。当实时或在现实世界中观看并且眼睛(例如眼睛205-1、205-2或者眼睛325-1、325-2)聚焦在由图像300的近部分315表示的场景上时，可视化的远部分305-1和305-2能表示图像300的远部分305的双重复视部分。
图7A、7B和7C中示出的示例也能相互比较。例如，前述的双重复视部分表明，畸变越大，来自可视化的焦深越远。例如，图7B显示了当聚焦在由图像300的中间部分310表示的场景上时的图像300，图7C显示了当聚焦在由图像300的近部分315表示的场景时的图像300。因此，与由图像300的远部分305表示的场景相比较，焦深被显示为在图7C中比图7B中更远。因而，图7C所示的可视化远部分305-1和305-2显示在不同的位置。例如，与图7C所示的可视化远部分305-1和305-2相比，图7B所示的可视化远部分305-1和305-2B更靠近在一起(例如，较少畸变)并且基本上在中间部分310的宽度之内。当焦点在由图像300的中间部分310和远部分305表示的场景上时，能够进行类似的分析。
图8A和8B示出了根据至少一个示例性实施例的组合图像的图。图8A示出了基于组合由相机320-1和320-2捕获的图像300的组合图像805。组合图像805被显示为在基于图像300的远部分305的焦深下组合。换句话说，组合图像805是来自两个不同视场的图像300的组合。如图8A所示，组合图像805的远部分305与如图3B所示的图像300的远部分305基本相似。换句话说，在图8A中，组合图像805的远部分305示出为在近部分315和中间部分310的后方(并且为了清楚起见，在它们的上方)。组合图像805的远部分305也是如图3B所示的形状(例如，单个有阴影的星形)。然而，在图8A中，与如图3B所示的图像300的远部分305相比，组合图像805的远部分305显示出向左位移。替选地，近部分315和中间部分310被显示为向右位移。此外，在图8A中，当与如图3B所示的图像300的近部分315和图像300的中间部分310相比时，近部分315和中间部分310被显示为畸变。
如图8A所示，近部分315和中间部分310被显示为双重复视部分。例如，近部分315被分成三个近部分315-1、315-2和315-3。组合图像805的近部分315-2被显示为具有与图3B所示的图像300的近部分315相同的形状和阴影(例如，不畸变)。然而，组合图像805的近部分315-2被显示为比图3B所示的图像300的近部分315窄。与图3B所示的图像300的近部分315相比，组合图像805的近部分315-1和315-3被显示为具有相同的形状和更浅的阴影。组合图像805的近部分315-1和315-3被显示为图像300的近部分315的宽度延伸超过图像300的中间部分310的宽度，该中间部分310与如图3B所示的图像300的中间部分310相似。与图3B所示的图像300的近部分315相比，组合图像805的近部分315-1和315-3被显示为向右位移。
例如，中间部分310被分成三个中间部分310-1、310-2和310-3。组合图像805的中间部分310-2被显示为具有与图3B所示的图像300的中间部分310相同的形状和阴影。然而，组合图像805的中间部分310-2被显示为比图3B所示的图像300的中间部分310窄。组合图像805的中间部分310-1和310-3被显示为具有与图3B所示的图像300的中间部分310相同的形状和更浅的阴影。组合图像805的中间部分310-1和310-3被显示为图像300的中间部分310的宽度延伸，使得图像300的中间部分310的宽度比如3B所示的图像300的中间部分310宽。与图3B所示的图像300的近部315相比，组合图像805的中间部分310-1和310-3被显示为向右位移，该位移稍小于组合图像805的近部分315-1和315-3的位移(例如，组合图像805的近部分315-2延伸超过中间部分310-2的右边界，其与图7A所示的不同)。
图8B示出了基于组合由相机320-2和320-3捕获的组合图像300的组合图像810。组合图像810被显示为在基于图像300的远部分305的焦深下组合。换句话说，组合图像810是来自两个不同视场的图像300的组合。如图8B所示，组合图像810的远部分305与如图3B所示的图像300的远部分305基本相似。换句话说，在图8B中，组合图像810的远部分305示出为在近部分315和中间部分310的后方(并且为了清楚起见，在它们的上方)。组合图像810的远部分305也是如图3B所示的形状(例如，单个有阴影的星形)。然而，在图8B中，与如图3B所示的图像300的远部分305相比，组合图像805的远部分305被显示出向右位移。替选地，近部分315和中间部分310被显示为向左位移。此外，在图8B中，当与如图3B所示的图像300的近部分315和图像300的中间部分310相比时，近部分315和中间部分310被显示为畸变。
如图8B所示，近部分315和中间部分310被显示为双重复视部分。例如，近部分315被分成三个近部分315-1、315-2和315-3。组合图像810的近部分315-2被显示为具有与图3B所示的图像300的近部分315相同的形状和阴影(例如，不畸变)。然而，组合图像810的近部分315-2被显示为比图3B所示的图像300的近部分315窄。与图3B所示的图像300的近部分315相比，组合图像810的近部分315-1和315-3被显示为具有相同的形状和更浅的阴影。组合图像810的近部分315-1和315-3被显示为图像300的近部分315的宽度延伸超过图像300的中间部分310的宽度，该中间部分310与如图3B所示的图像300的中间部分310相似。与图3B所示的图像300的近部分315相比，组合图像810的近部分315-1和315-3被显示为向左位移。
例如，中间部分310被分成三个中间部分310-1、310-2和310-3。组合图像810的中间部分310-2被显示为具有与图3B所示的图像300的中间部分310相同的形状和阴影。然而，组合图像810的中间部分310-2被显示为比图3B所示的图像300的中间部分310窄。组合图像810的中间部分310-1和310-3被显示为具有与图3B所示的图像300的中间部分310相同的形状和更浅的阴影。组合图像810的中间部分310-1和310-3被显示为图像300的中间部分310的宽度延伸，使得图像300的中间部分310的宽度比如3B所示的图像300的中间部分310宽。与图3B所示的图像300的近部分315相比，组合图像810的中间部分310-1和310-3被显示为向左位移，该位移稍小于组合图像810的近部分315-1和315-3的位移(例如，组合图像810的近部分315-2延伸超过中间部分310-2的左边界，其与图7A所示的不同)。
为了生成组合图像(例如，组合图像805和/或组合图像810)，处理器(例如，执行指令集的处理器210)能够相对于在与第一图像(例如，由相机320-1捕获)相同(或基本上相同)的时间下捕获的第二图像(例如，由相机320-2捕获)位移第一图像，直到组合图像的一部分(例如，远部分305)清晰为止(例如，第一图像的部分与第二图像的部分基本重叠)。在示例性实施方式中，基于两个相机之间的距离以及角度(例如C，参见图13A)，第一图像位移了一定数量的像素。替选地，或额外地，处理器能够将第一图像(例如，由相机320-1捕获)中的一部分图像(例如，远部分305)的位置与在第一图像的相同(或基本相同)时间下捕获的第二图像(例如，由相机320-2捕获)中相同图像部分(例如，远部分305)的位置匹配。然后能够基于匹配的位置位移第一图像。
然后，第一图像和第二图像能够基于位移彼此组合(例如，重叠)。此外，可以发生后处理。例如，可以执行颜色合并或调整，使得图像的组合部分具有基本上与第一图像和/或第二图像中的图像部分相同的调色板。例如，可以确定色彩(或像素数据值)偏移并将其应用于组合图像。
图8C示出了根据至少一个示例性实施例，在HMD的显示器上显示(和观看)时的可视化图像815。例如，组合图像805可以显示在显示器105-L上，而组合图像810可以显示在显示器105-R上，HMD 150的每一个显示器如图1所示。可视化图像815能够是如在全双目重叠视野1320和/或双目重叠视野的高分辨率区域1325(参见图13A)中可视化的由人视觉系统所感知的图像。换句话说，图8C示出了当使用组合图像805和810在HMD上渲染并通过HMD观看时，由图像300表示的场景的可视化。此外，通过使用组合图像805和810，渲染所感知的3D图像无需从所捕获的2D图像内插3D图像。
如图8C所示，可视化图像815的远部分305基本上与如图3B所示的图像300的远部分305相似。换句话说，可视化图像815的远部分305被示出为在可视化图像815的近部分315和可视化图像815的中间部分310的后方(并且为了清楚起见，在它们的上方)。可视化图像815的远部分305也是如图3B所示的图像300的远部分305的形状(例如，单个有阴影的星)。然而，在图8C中，当与如图3B所示的图像300的近部分315和图像300的中间部分310相比时，可视化图像815的近部分315和可视化图像815的中间部分310被显示为畸变。这是因为人类视觉系统只能在一个焦深下看清楚的缘故。
如图8C所示，可视化图像815的近部分315和可视化图像815的中间部分310被显示为三重复视部分。例如，可视化图像815的近部分315被分成五个可视化的近部分315-1、315-2、315-3、15-4和315-5。可视化的近部分315-2被显示为具有与图3B所示的图像300的近部分315相同的形状和阴影。然而，可视化的近部分315-2被显示为比图3B所示的图像300的近部分315窄。与图3B所示的图像300的近部分315相比，可视化的近部分315-1和315-3被显示为具有相同的形状和更浅的阴影。与可视化的近部分315-1和315-3相比，可视化的近部分315-4和315-5被显示为具有相同的形状和更浅的阴影。可视化的近部分315-1、315-3、315-4和315-5被显示为可视化图像815的近部分315-2的宽度延伸超过可视化图像815的中间部分310的宽度，该中间部分310与如图3B所示的图像300的中间部分310相似。当使用组合图像805和810通过HMD观看并且眼睛(例如，眼睛205-1、205-2或325-1、325-2)聚焦在图像300的远部分305上时，可视化的近部分315-1、315-3、315-4和315-5能够表示图像300的近部分315的三重复视部分。
例如，可视化图像815的中间部分310被分成五个可视化的中间部分310-1、310-2a、310-2b、310-3和310-4。可视化图像815的可视化中间部分310-2a和310-2b被显示为具有与图3B所示的图像300的中间部分310相同的形状和阴影。然而，可视化的中间部分310-2a和310-2b被显示为在它们之间具有畸变部分310-4，而图3B所示的图像300的中间部分310是连续的。与图3B所示的图像300的中间部分310相比，可视化图像815的可视化中间部分310-1和310-3被显示为具有相同的形状和更浅的阴影。可视化图像815的可视化中间部分310-1和310-3被显示为图像300的中间部分310的宽度延伸，使得图像300的中间部分310的宽度比如图3B所示的图像300的中间部分310宽。当使用组合图像805和810通过HMD观看并且眼睛(例如，眼睛205-1、205-2或325-1、325-2)聚焦在图像300的远部分305上时，可视化图像815的可视化中间部分310-1、310-3和310-5能够表示图像300的中间部分310的三重复视部分。
图9A和9B示出了根据至少一个示例性实施例的组合图像的图。图9A示出了基于组合由相机320-1和320-2捕获的组合图像300的组合图像905。组合图像905被显示为在基于图像300的中间部分310的焦深下的组合。换句话说，组合图像905是来自两个不同视场的图像300的组合。如图9A所示，组合图像905的中间部分310基本上类似于如图3B所示的图像300的中间部分310。换句话说，在图9A中，组合图像905的中间部分310被示为在近部分315的后方并且在远部分305的前方。组合图像905的中间部分310也是如图3B所示的形状(例如，交叉阴影的长方形)和尺寸。然而，在图9A中，与如图3B所示的图像300的中间部分310相比，组合图像905的中间部分310显示向左位移。替选地，近部分315和远部分305被显示为向右位移。此外，与如图3B所示的图像300的近部分315和图像300的远部分305相比，在图9A中，近部分315和远部分305被显示为畸变。
如图9A所示，近部分315和远部分305被显示为双重复视部分。例如，近部分315被分成三个近部分315-1、315-2和315-3。组合图像905的近部分315-2被显示为具有与图3B所示的图像300的近部分315相同的形状和阴影(例如，不畸变)。然而，组合图像905的近部分315-2被显示为比图3B所示的图像300的近部分315窄。与图3B所示的图像300的近部分315相比，组合图像905的近部分315-1和315-3被显示为具有相同的形状和更浅的阴影。组合图像905的近部分315-1和315-3被显示为图像300的近部分315的宽度延伸超过图像300的中间部分310的宽度，该中间部分310与如图3B所示的图像300的中间部分310相似。与图3B所示的图像300的近部分315相比，组合图像905的近部分315-1和315-3被显示为向右位移。
例如，远部分305被分成两个远部分305-1和305-2。与图3B所示的图像300的远部分305相比，图9A所示的远部分305-1和305-2被显示为具有相同的形状(例如，星形)和更浅的阴影。与图3B所示的图像300的近部分315相比，组合图像905的远部分305-1和305-2被显示为向右位移。
图9B示出了基于组合由相机320-2和320-3捕获的图像300的组合图像910。组合图像910被显示为在基于图像300的中间部分310的焦深下的组合。换句话说，组合图像910是来自两个不同视场的图像300的组合。如图9B所示，组合图像910的中间部分310基本上类似于如图3B所示的图像300的中间部分310。换句话说，在图9B中，组合图像910的中间部分310被示为在近部分315的后面并且在远部分305的前面。组合图像910的远部分305也是如图3B所示的形状(例如，交叉阴影的长方形)和尺寸。然而，在图9B中，与如图3B所示的图像300的中间部分310相比，组合图像910的中间部分310被显示为向右位移。替选地，近部分315和远部分305被显示为向左位移。此外，与如图3B所示的图像300的近部分315和图像300的远部分305相比，在图9B中，近部分315和远部分305被显示为畸变。
如图9B所示，近部分315和远部分305被显示为双重复视部分。例如，近部分315被分成三个近部分315-1、315-2和315-3。组合图像910的近部分315-2被显示为具有与图3B所示的图像300的近部分315相同的形状和阴影(例如，不畸变)。然而，组合图像910的近部分315-2被显示为比图3B所示的图像300的近部分315窄。与图3B所示的图像300的近部分315相比，组合图像910的近部分315-1和315-3被显示为具有相同的形状和更浅的阴影。组合图像910的近部分315-1和315-3被显示为图像300的近部分315的宽度延伸超过图像300的中间部分310的宽度，该中间部分310与如图3B所示的图像300的中间部分310相似。与图3B所示的图像300的近部分315相比，组合图像910的近部分315-1和315-3被显示为向左位移。
例如，远部分305被分成两个远部分305-1和305-2。与图3B所示的图像300的远部分305相比，图9B所示的远部分305-1和305-2被显示为具有相同的形状(例如，星形)和更浅的阴影。与图3B所示的图像300的近部分315相比，组合图像910的远部分305-1和305-2被显示为向左位移。
为了生成组合图像(例如，组合图像905和/或组合图像910)，处理器(例如，执行指令集的处理器210)能够相对于在与第一图像(例如，由相机320-1捕获)相同(或基本上相同)的时间下捕获的第二图像(例如，由相机320-2捕获)位移第一图像，直到组合图像的一部分(例如，中间部分310)清晰为止(例如，第一图像的部分与第二图像的部分基本重叠)。在示例性实施方式中，基于两个相机之间的距离以及角度(例如C，参见图13A)，第一图像位移了一定数量的像素。替选地，或额外地，处理器能够将第一图像(例如，由相机320-1捕获)中的一部分图像(例如，中间部分310)的位置与在第一图像的相同(或基本相同)时间下捕获的第二图像(例如，由相机320-2捕获)中相同图像部分(例如，远部分305)的位置匹配。然后能够基于匹配的位置位移第一图像。
然后，第一图像和第二图像能够基于位移彼此组合(例如，重叠)。此外，可以发生后处理。例如，可以执行颜色合并或调整，使得图像的组合部分具有基本上与第一图像和/或第二图像中的图像部分相同的调色板。例如，可以确定色彩(或像素数据值)偏移并将其应用于组合图像。
图9C示出了根据至少一个示例性实施例，在HMD的显示器上显示(和观看)时的可视化图像915。例如，组合图像905可以显示在显示器105-L上，而组合图像910可以显示在显示器105-R上，HMD 150的每一个显示器如图1所示。可视化图像915能够是如在全双目重叠视野1320和/或双目重叠视野的高分辨率区域1325(参见图13A)中可视化的由人视觉系统所感知的图像。换句话说，图9C示出了当使用组合图像905和910在HMD上渲染并通过HMD观看时，由图像300表示的场景的可视化。此外，通过使用组合图像905和910，渲染所感知的3D图像无需从所捕获的2D图像内插3D图像。
如图9C所示，可视化图像915的中间部分310基本上类似于如图3B所示的图像300的中间部分310。换句话说，在图9C中，可视化图像915的中间部分310被示为在近部分315的后方并且在远部分305的前方。可视化图像915的中间部分310也是如图3B所示的形状(例如，交叉阴影的长方形)和尺寸。此外，当与如图3B所示的图像300的近部分315和图像300的远部分305相比时，在图9C中，可视化图像915的近部分315和可视化图像915的远部分305被显示为畸变。这是因为人类视觉系统只能在一个焦深下看清楚的缘故。
如图9C所示，可视化图像915的近部分315和可视图像915的远部分305被显示为三重复视部分。例如，可视化图像915的近部分315被分成五个可视化的近部分315-1、315-2、315-3、15-4和315-5。可视化的近部分315-2被显示为具有与图3B所示的图像300的近部分315相同的形状和阴影。然而，可视化的近部分315-2被显示为比图3B所示的图像300的近部分315窄。与图3B所示的图像300的近部分315相比，可视化的近部分315-1和315-3被显示为具有相同的形状和更浅的阴影。与可视化的近部分315-1和315-3相比，可视化的近部分315-4和315-5被显示为具有相同的形状和更浅的阴影。可视化的近部分315-1、315-3、315-4和315-5被显示为可视化图像915的近部分315-2的宽度延伸超过可视化图像915的中间部分310的宽度，该中间部分310与如图3B所示的图像300的中间部分310相似。当使用组合图像905和910通过HMD观看并且眼睛(例如，眼睛205-1、205-2或325-1、325-2)聚焦在图像300的远部分305上时，可视化的近部分315-1、315-3、315-4和315-5能够表示图像300的近部分315的三重复视部分。
例如，可视化图像915的远部305被分成三个可视化的远部分305-1、305-2和305-3。可视化图像915的可视化远部分305-2被显示为具有与图3B所示的图像300的远部分305相同的形状和阴影。然而，与图3B所示的图像300的远部分305相比，可视化图像915的可视化远部分305-1和305-3被显示为具有相同的形状和更浅的阴影。当使用组合图像905和910通过HMD观看并且眼睛(例如，眼睛205-1、205-2或325-1、325-2)聚焦在图像300的远部分305上时，可视化图像915的可视化远部分305-1和305-3能够表示图像300的远部分305的三重复视部分。
图10A和10B示出了根据至少一个示例性实施例的组合图像的图。图10A示出了基于由相机320-1和320-2捕获的组合图像300的组合图像1005。组合图像1005被显示为在基于图像300的近部分315的焦深处的组合。换句话说，组合图像1005是来自两个不同视场的图像300的组合。如图10A所示，组合图像1005的近部分315基本上类似于如图3B所示的图像300的近部分315。换句话说，在图10A中，组合图像1005的中间部分315被示为在中间部分310的前方并且在远部分305的前方。组合图像1005的近部分315也是如图3B所示的形状(例如，圆点阴影的长方形)和尺寸。然而，与如图3B所示的图像300的近部分315相比，在图10A中，组合图像1005的近部分315显示向右位移。替选地，中间部分310和远部分305被显示为向左位移。此外，与如图3B所示的图像300的中间部分310和图像300的远部分305相比，在图10A中，中间部分310和远部分305被显示为畸变。
如图10A所示，中间部分310和远部分305被显示为双重复视部分。例如，中间部分310被分成三个中间部分310-1、310-2和310-3。组合图像1005的中间部分310-2被显示为具有与图3B所示的图像300的中间部分310相同的形状和阴影。然而，组合图像1005的中间部分310-2被显示为比图3B所示的图像300的中间部分310窄。与图3B所示的图像300的中间部分310相比，组合图像1005的中间部分310-1和310-3被显示为具有相同的形状和更浅的阴影。组合图像1005的中间部分310-1和310-3被显示为图像300的中间部分310的宽度延伸，使得图像300的中间部分310的宽度比如图3B所示的图像300的中间部分310宽。组合图像1005的中间部分310-1、310-2和310-3被示出为向左位移。
例如，远部分305被分成两个远部分305-1和305-2。与图3B所示的图像300的远部分305相比，图10A所示的远部分305-1和305-2被显示为具有相同的形状(例如，星形)和更浅的阴影。与图3B所示的图像300的近部分315相比，组合图像1005的远部分305-1和305-2被显示为向左位移。
图10B示出了基于组合由相机320-2和320-3捕获的图像300的组合图像1010。组合图像1010被显示为在基于图像300的近部分315的焦深处的组合。换句话说，组合图像1010是来自两个不同视场的图像300的组合。如图10B所示，组合图像1010的近部分315基本上类似于如图3B所示的图像300的近部分315。换句话说，在图10B中，组合图像1010的近部分315被示为在中间部分310的前方并且在远部分305的前方。组合图像1010的近部分315也是如图3B所示的形状(例如，圆点阴影的长方形)和尺寸。然而，与如图3B所示的图像300的近部分315相比，在图10B中，组合图像1010的近部分315显示向左位移。替选地，中间部分310和远部分305被显示为向右位移。此外，与如图3B所示的图像300的中间部分310和图像300的远部分305相比，在图10B中，中间部分310和远部分305被显示为畸变。
如图10B所示，中间部分310和远部分305被显示为双重复视部分。例如，中间部分310被分成三个中间部分310-1、310-2和310-3。组合图像1010的中间部分310-2被显示为具有与图3B所示的图像300的中间部分310相同的形状和阴影。然而，组合图像1010的中间部分310-2被显示为比图3B所示的图像300的中间部分310窄。与图3B所示的图像300的中间部分310相比，组合图像1010的中间部分310-1和310-3被显示为具有相同的形状和更浅的阴影。组合图像1010的中间部分310-1和310-3被显示为图像300的中间部分310的宽度延伸，使得图像300的中间部分310的宽度比如图3B所示的图像300的中间部分310宽。组合图像1005的中间部分310-1、310-2和310-3被示出为向右位移。
例如，远部分305被分成两个远部分305-1和305-2。与图3B所示的图像300的远部分305相比，图10B所示的远部分305-1和305-2被显示为具有相同的形状(例如，星形)和更浅的阴影。与图3B所示的图像300的近部分315相比，组合图像1010的远部分305-1和305-2被显示为向右位移。
为了生成组合图像(例如，组合图像1005和/或组合图像1010)，处理器(例如，执行一组指令的处理器210)能够相对于在与第一图像(例如，由相机320-1捕获)相同(或基本相同)的时间下捕获的第二图像(例如，由相机320-2捕获)位移第一图像，直到组合图像的一部分(例如，近部分315)清晰为止(例如，第一图像的部分与第二图像的部分基本重叠)。在示例性实施方式中，基于两个相机之间的距离以及角度(例如C，参见图13A)，第一图像位移了一定数量的像素。替选地，或额外地，处理器能够将第一图像(例如，由相机320-1捕获)中的一部分图像(例如，近部分315)的位置与在第一图像的相同(或基本相同)时间下捕获的第二图像(例如，由相机320-2捕获)中相同图像部分(例如，近部分315)的位置匹配。然后能够基于匹配的位置位移第一图像。
然后，第一图像和第二图像能够基于位移彼此组合(例如，重叠)。此外，可以发生后处理。例如，可以执行颜色合并或调整，使得图像的组合部分具有基本上与第一图像和/或第二图像中的图像部分相同的调色板。例如，可以确定色彩(或像素数据值)偏移并将其应用于组合图像。
图10C示出了根据至少一个示例性实施例，在HMD的显示器上显示(和观看)时的可视化图像1015。例如，组合图像1005可以显示在显示器105-L上，而组合图像1010可以显示在显示器105-R上，HMD150的每一个显示器如图1所示。可视化图像1015能够是如在全双目重叠视野1320和/或双目重叠视野的高分辨率区域1325(参见图13A)中可视化的由人视觉系统所感知的图像。换句话说，图10C示出了当使用组合图像1005和1010在HMD上渲染并通过它观看时，由图像300表示的场景的可视化。此外，通过使用组合图像1005和1010，渲染所感知的3D图像无需从所捕获的2D图像内插3D图像。
如图10C所示，可视化图像1015的中间部分310基本上类似于如图3B所示的图像300的近部分315。换句话说，在图10C中，可视化图像1015的近部分315被示为在中间部分310的前方并且在远部分305的前方。可视化图像1015的近部分315也是如图3B所示的形状(例如，圆点阴影的长方形)和尺寸。此外，当与如图3B所示的图像300的近部分315和图像300的远部分305相比时，在图10C中，可视化图像1015的中间部分310和可视化图像915的远部分305被显示为畸变。这是因为人类视觉系统只能在一个焦深下看清楚的缘故。
如图10C所示，可视化图像1015的中间部分310和可视化图像1015的远部分305被显示为三重复视部分。例如，可视化图像1015的中间部分310被分成五个可视化的中间部分310-1、310-2、310-3、310-4和310-5。可视化的中间部分310-2被显示为具有与图3B所示的图像300的中间部分310相同的形状和阴影。然而，可视化的中间部分310-2被显示为比图3B所示的图像300的中间部分310窄。可视化的中间部分310-1和310-3被显示为具有与图3B所示的图像300的近部分315相同的形状和更浅的阴影。与可视化的中间部分310-1和310-3相比，可视化的中间部分310-4和310-5被显示为具有相同的形状和更浅的阴影。可视化的中间部分310-1、310-3、310-4和310-5被显示为可视化图像915的中间部分310-2的宽度延伸超过可视化图像915的中间部分310的宽度，该可视化图像915的中间部分310类似于如图3B所示的图像300的中间部分310。当使用组合图像1005和1010通过HMD观看并且眼睛(例如，眼睛205-1、205-2或325-1、325-2)聚焦在图像300的近部分315上时，可视化的中间部分310-1、310-3、310-4和310-5能够表示图像300的近部分315的三重复视部分。
例如，可视化图像1015的远部305被分成三个可视化的远部分305-1、305-2和305-3。可视化图像1015的可视化远部分305-2被显示为具有与图3B所示的图像300的远部分305相同的形状和阴影。然而，与图3B所示的图像300的远部分305相比，可视化图像1015的可视化远部分305-1和305-3被显示为具有相同的形状和更浅的阴影。当使用组合图像1005和1010通过HMD观看并且眼睛(例如，眼睛205-1、205-2或325-1、325-2)聚焦在图像300的远部分305上时，可视化图像915的可视化远部分305-1和305-3能够表示图像300的远部分305的三重复视部分。
图11A和11B示出了根据至少一个示例性实施例在远景深下可视化图像并排比较的图。图11A所示的可视化图像300是图7A所示的相同的可视化图像300。因此，图11A所示的可视化图像300如上文关于图7A所述。图11B所示的可视化图像815是图8C所示的相同的可视化图像815。因此，图11B所示的可视化图像815如上文关于图8C所述。图11A所示的可视化图像300能够对应于当看着与图3B所示的图像300相对应的场景时，人类视觉系统实际将会看到的。图11B中所示的可视化图像815能够对应于根据示例性实施方式，当看着使用组合图像805和810在HMD上渲染的与图3B所示的图像300对应的3D图像时，人类视觉系统实际将会看到的。
将图11A所示的可视化图像300与图11B所示的可视化图像815相比较，可视化图像在焦深处的部分基本相同。换句话说，图11A所示的图像300的远部分305与图11B所示的图像815的远部分305基本相同。图11A所示的图像300的中间部分310和近部分315不同于图11B所示的图像815的中间部分310和近部分315。例如，图11A所示的图像300的中间部分310和近部分315是双重的，而图11B所示的图像815的中间部分310和近部分315是三重的。图11A所示的可视化图像300与图11B所示的经渲染的可视化图像815之间的差异是可接受的，因为人类视觉系统只能在一个焦点深度处看清楚。
图11C和11D根据至少一个示例性实施例示出了在中景深下可视化图像并排比较的图。图11C所示的可视化图像300是图7B所示的相同的可视化图像300。因此，图11C中所示的可视化图像300如上文关于图7B所述。图11D所示的可视化图像915是图9C所示的相同的可视化图像915。因此，图11D所示的可视化图像915如上文关于图9C所述。图11C所示的可视化图像300能够对应于当看着与图3B所示的图像300相对应的场景时，人类视觉系统实际将会看到的。图11D中所示的可视化图像915能够对应于根据示例性实施方式，当看着使用组合图像905和910在HMD上渲染的与图3B所示的图像300对应的3D图像时，人类视觉系统实际将会看到的。
将图11C所示的可视化图像300与图11D所示的可视化图像915相比较，可视化图像在焦深处的部分基本相同。换句话说，图11C所示的图像300的中间部分310与图11D所示的图像915的中间部分310基本相同。图11C所示的图像300的远部分305和近部分315不同于图11D所示的图像915的远部分305和近部分315。例如，图11C所示的图像300的远部分305和近部分315是双重的，而图11D所示的图像915的远部分305和近部分315是三重的。图11C所示的可视化图像300与图11D所示的经渲染的可视化图像915之间的差异是可接受的，因为人类视觉系统只能在一个焦深处看清楚。
图11E和11F根据至少一个示例性实施例示出了在近景深下可视化图像并排比较的图。图11E所示的可视化图像300是图7C所示的相同的可视化图像300。因此，图11E中所示的可视化图像300如上文关于图7C。图11F所示的可视化图像1015是图10C所示的相同的可视化图像1015。因此，图11F中所示的可视化图像1015如上文关于图10C。图11E所示的可视化图像300能够对应于当看着与图3B所示的图像300相对应的场景时，人类视觉系统实际将会看到的。图11F中所示的可视化图像1015能够对应于根据示例性实施方式，当看着使用组合图像1005和1010在HMD上渲染的与图3B所示的图像300对应的3D图像时，人类视觉系统实际将会看到的。
将图11E所示的可视化图像300与图11F所示的可视化图像1015相比较，可视化图像在焦深处的部分基本相同。换句话说，图11E所示的图像300的近部分315与图11F所示的图像1015的近部分315基本相同。图11E所示的图像300的远部分305和中间部分310不同于图11F所示的图像1015的远部分305和中间部分310。例如，图11E所示的图像300的远部分305和中间部分310是双重的，而图11F所示的图像1015的远部分305和中间部分310是三重的。图11E所示的可视化图像300与图11F所示的经渲染的可视化图像1015之间的差异是可接受的，因为人类视觉系统只能在一个焦深处看清楚。
图12A示出了根据至少一个示例性实施例的头戴式显示器(HMD)的框图。如图12A所示，HMD 1200包括显示器1205、显示器第一部分1210和显示器第二部分1215。显示器第一部分1210能够是显示器1205上眼睛聚焦的一部分或HMD 1200的用户的视场。显示器第二部分1215能够是显示器1205在眼睛焦点外围的一部分或HMD1200的用户的外围视野。
根据示例性实施例，基于利用眼睛跟踪传感器跟踪眼睛的视场和景深，能够选择用于显示在HMD的每一个显示器上的2D图像和/或视频的2D帧，以便渲染3D图像和/或3D视频。结果，无需从捕获的2D图像内插3D图像，HMD的用户就有3D体验。
图12A示出了根据至少一个示例性实施例的头戴式显示器(HMD)的框图。如图12B所示，HMD 1250包括第一显示器1205-L、第二显示器1205-R、第一眼睛跟踪传感器1220-L和第二眼睛跟踪传感器1220-R。第一显示器1205-L能够包括显示器第一部分1210-L和显示器第二部分1215-L。显示器第一部分1210-L能够是第一显示器1205-L上眼睛聚焦的一部分或HMD 1250的用户的视场。显示器第二部分1215-L能够是第一显示器1205-L在眼睛焦点外围的一部分或HMD 1250的用户的外围视野。第二显示器1205-R能够包括显示器第一部分1210-R和显示器第二部分1215-R。显示器第一部分1210-R能够是第二显示器1205-R上眼睛聚焦的一部分或HMD 1250的用户的视场。显示器第二部分1215-R能够是第二显示器1205-R在眼睛焦点外围的一部分或HMD 1250的用户的外围视野。
第一显示器1205-L的显示器第一部分1210-L和第二显示器1205-R的显示器第一部分1210-R能够被配置为在与双目重叠的高分辨率区域(下面更详细地描述)相关联的视野中显示图像和/或视频数据。第一显示器1205-L的显示器第二部分1215-L和第二显示器1205-R的显示器第二部分1215-R可以被配置为在双目重叠的高分辨率区域的外面或外围——包括包含分辨率较低的双目重叠的远区域——的视野中显示图像和/或视频。第一显示器1205-L能够与左眼相关联，并且能够被配置为以3D图像或视频显示左眼图像。第二显示器1205-R能够与右眼相关联，并且能够被配置为以3D图像或视频显示右眼图像。在另一个实施例中，第一显示器1205-L和第二显示器1205-R由一个整体显示面板形成，该显示面板能够显示被划分成包含左图像和右图像的两个部分的图像。
第一眼睛跟踪传感器1220-L和第二眼睛跟踪传感器1220-R能够被配置为跟踪相应眼睛的位置。第一眼睛跟踪传感器1220-L和第二眼睛跟踪传感器1220-R能够是相机、红外传感器、和/或其组合等等。在示例性实施方式中，第一眼睛跟踪传感器1220-L和第二眼睛跟踪传感器1220-R能够被配置为将低功率红外光投射到用户的眼睛中。然后，能够检测反射的红外光，并且能使用所反射的红外光的测量(例如，作为普尔钦斑(Perkinjeimage))来确定眼睛的位置。在另一个示例性实施方式中，能够通过在环境光条件下相对于眼睛的其余部分定位瞳孔来确定注视方向。第一眼睛跟踪传感器1220-L和第二眼睛跟踪传感器1220-R能够测量用户的注视相对于HMD上的点的绝对方向和/或每次眼睛运动时瞳孔的角位移。
在示例性实施例中，第一眼睛跟踪传感器1220-L和第二眼睛跟踪传感器1220-R能用于确定注视方向(在本公开中也称为视角(view perspective))，以及HMD的用户的注视深度。注视方向和注视深度能用于确定要在第一显示器1205-L和第二显示器1205-R中的每一个上显示的图像。
图13A示出了水平视野的顶视图的示意图。如图13A所示，包括瞳孔1330-1、1330-2的眼睛1305-1、1305-2(例如，人眼)能够视觉感知左视野1310和右视野1315。在左视野1310和右视野1315内，眼睛1305-1、1305-2能够视觉感知可高达120度的全双目重叠视野1320。全双目重叠的子区域能够被称为双目重叠视野的高分辨率区域1325。如图13B(和在整个本说明书)所示，以下称为正中矢状额平面(midsagittal frontal plane)的垂直面在眼睛之间平分头部，而以下称为垂直额平面(vertical frontal plane)的垂直面在平分眼睛1305-1和1305-2的位置处与正中矢状平面相交于头部。图13C示出了相对于眼睛1305-1、1305-2在左右(或水平)的方向上延伸并且也平分眼睛的水平面。图13C中的平面可以称为水平额平面。在图13B和13C中定义的三个平面能够在从左眼中心延伸到右眼中心的线段的中点处相交。
中央凹是眼睛1305-1、1305-2各自的视网膜的中心部分，其感知最高的分辨率。注视方向(由平行于正中矢状平面的向量G示出)可以由从中央凹的中心通过瞳孔中心的向量来定义。眼睛1305-1和眼睛1305-2都不能充分转动或旋转以允许注视方向扫描完整的水平视野1310或1315。因此，超出眼睛1305-1、1305-2的转动限度的图像可能不会被中央凹看到(尽管这样的图像将被视网膜的其他部分看到)。
应该注意的是，虽然中央凹只对向小弧，但是眼睛的旋转能够扩展角度的范围，在该范围内显示器应该匹配中央凹的分辨率。当用户的眼睛移动并且注视方向改变时，匹配中央凹的分辨率希望在舒适的注视扫描范围内。相对于图13A中的向量G，舒适的注视扫描范围在任何方向上为大约15度。当扫描角度从向量G增加到超过15度时，注视能够扫描更大的角度并逐渐更加不适。
在HMD的示例性实施方式(同时参考图13C)中，所有的水平角(例如，沿着水平额平面的角，诸如θ)都能相对于矢状额平面(例如，在眼睛之间的中心的头部对称平面)测量(例如，使用第一眼睛跟踪传感器1220-L和第二眼睛跟踪传感器1220-R)。左视野1310和右视野1315区域表示左眼和右眼的视野，其能够提供部分双目重叠的图像，每个眼睛能多达120度(例如，全双目重叠视野1320区域，匹配人类视觉系统中的重叠)。双目重叠视野的高分辨率区域1325能够由左右显示器(例如，显示器105-L和显示器105-R)提供。
因此，眼睛1305-1、1305-2能够基于选择投射到左和右显示器上(或由其显示)的图像来可视化3D图像，该左和右显示器表示双眼重叠视野的高分辨率区域1325(和一定程度上的全双目重叠视野1320区域)中左眼和右眼的视野。换句话说，选择用于在全双目重叠视野1320区域中显示的图像能够匹配人类视觉系统中的重叠，致使人类视觉系统看得见3D图像和/或3D视频。如下面更详细地论述的，注视深度可用于更逼真地表示人类视觉系统。
根据示例性实施方式，用于在用于各眼睛的显示器上投影的图像能够基于与图13C所示的点A和角度θ相关的注视方向。然后能够基于图13A所示的角度C通过视觉深度来修改每一个图像。例如，点A、角度θ和角度C能够基于使用第一眼睛跟踪传感器1220-L和第二眼睛跟踪传感器1220-R捕获的测量来确定。点A、角度θ和/或角度C能用于确定上文论述的视场和/或景深。例如，角度C能指示景深，而点A与角度θ的组合能指示视场。
图14显示了可以与在此描述的技术一起使用的计算机设备1400和移动计算机设备1450的示例。计算设备1400旨在表示各种形式的数字计算机，例如膝上型电脑、台式机、工作站、个人数字助理、服务器、刀片式服务器、大型机和其他适当的计算机。计算设备1450旨在表示各种形式的移动设备，诸如个人数字助理、蜂窝电话、智能电话和其他类似的计算设备。在此显示的组件、它们的连接和关系、以及它们的功能仅仅意味着示例，并不意味着限制本文件中描述和/或要求保护的发明的实施方式。
计算设备1400包括处理器1402、存储器1404、存储设备1406、与存储器1404和高速扩展端口1410连接的高速接口1408、以及与低速总线1414和存储设备1406连接的低速接口1412。组件1402、1404、1406、1408、1410和1412中的每一个使用各种总线互连，并且可以安装在公共主板上或酌情以其他方式安装。处理器1402能够处理用于在计算设备1400内执行的指令，包括存储在存储器1404中或存储设备1406上的指令，以在外部输入/输出设备、例如与高速接口1408耦合的显示器1416上显示用于GUI的图形信息。在其他实施方式中，可以酌情使用多个处理器和/或多个总线，以及多个存储器和存储器类型。还有，可以连接多个计算设备1400，每一个设备提供必要操作的部分(例如，作为服务器组、一组刀片式服务器、或多处理器系统)。
存储器1404在计算设备1400内存储信息。在一个实施方式中，存储器1404是易失性存储器单元或多个易失性存储器单元。在另一个实施方式中，存储器1404是非易失性存储器单元或多个非易失性存储器单元。存储器1404也可以是其他形式的计算机可读介质，例如磁盘或光盘。
存储设备1406能够为计算设备1400提供大容量存储。在一个实施方式中，存储设备1406可以是或包含计算机可读介质，诸如软盘设备、硬盘设备、光盘设备或磁带设备、闪存或其他类似的固态存储设备、或设备阵列，包括存储区网络或其他配置中的设备。计算机程序产品能够有形地体现在信息载体中。计算机程序产品也可以包含在被执行时执行一种或更多种方法、例如上述那些方法的指令。信息载体是计算机或机器可读的介质，例如存储器1404、存储设备1406、或处理器1402上的存储器。
高速控制器1408管理计算设备1400的带宽密集型操作，而低速控制器1412管理较低带宽密集型操作。这样的功能分配仅是示例性的。在一个实施方式中，高速控制器1408与存储器1404、显示器1416(例如，通过图形处理器或加速器)以及可接受各种扩展卡(未显示)的高速扩展端口1410耦合。在实施方式中，低速控制器1412与存储设备1406和低速扩展端口1414耦合。可以包括各种通信端口(例如，USB、蓝牙、以太网、无线以太网)的低速扩展端口可以与一个或更多个输入/输出设备例如键盘、指示设备、扫描仪或网络设备例如转换器或路由器耦合，例如，通过网络适配器耦合。
计算设备1400可以如图所示，以许多不同的形式来实施。例如，它可以被实施为标准服务器1420，或者在一组这样的服务器中多次实施。它也可以实施为机架式服务器系统1424的一部分。此外，它可以在个人电脑例如膝上型计算机1422中实施。或者，来自计算设备1400的组件可以与诸如设备1450的移动设备中的其他组件组合(未显示)。每一个这样的设备可以包含一个或更多个计算设备1400、1450，并且整个系统可以由彼此通信的多个计算设备1400、1450构成。
计算设备1450包括处理器1452、存储器1464、输入/输出设备例如显示器1454、通信接口1466和收发器1468，以及其他组件。设备1450也可以设置有存储设备，例如微驱动器或其他设备，以提供额外的存储。组件1450、1452、1464、1454、1466和1468中的每一个使用各种总线互连，并且组件中的几个可以安装在公共主板上或酌情以其他方式安装。
处理器1452能够执行计算设备1450内的指令，包括存储在存储器1464中的指令。处理器可以被实施为芯片的芯片组，其包括单独的和多个模拟和数字处理器。处理器可以提供用于例如设备1450的其他组件的协作，诸如用户界面的控制、由设备1450运行的应用以及由设备1450进行的无线通信。
处理器1452可以通过与显示器1454耦合的控制接口1458和显示接口1456来与用户通信。显示器1454可以是例如TFT LCD(薄膜晶体管液晶显示器)或OLED(有机发光二极管)显示器或其他适当的显示技术。显示接口1456可以包含用于驱动显示器1454向用户呈现图形和其他信息的适当电路。控制接口1458可以从用户接收命令并将其转换以提交给处理器1452。另外，可以提供与处理器1452通信的外部接口1462，以使设备1450能够与其他设备近区域通信。可以提供外部接口1462，例如，在一些实施方式中用于有线通信，或者在其他实施方式中用于无线通信，并且也可以使用多个接口。
存储器1464在计算设备1450内存储信息。存储器1464能够被实施为计算机可读介质、易失性存储器单元或非易失性存储器单元中的一种或更多种。也可以提供扩展存储器1474并通过扩展接口1472与设备1450连接，扩展接口1472可以包括例如SIMM(单列直插存储器模块)卡接口。这样的扩展存储器1474可以为设备1450提供额外的存储空间，或者也可以存储用于设备1450的应用或其他信息。具体而言，扩展存储器1474可以包括执行或补充上述处理的指令，并且也可以包括安全信息。因此，例如，扩展存储器1474可以被提供为用于设备1450的安全模块，并且可以用允许安全使用设备1450的指令来编程。另外，可以经由SIMM卡，以及附加信息，例如以不可攻击的方式在SIMM卡上放置识别信息，来提供安全应用。
存储器可以包括例如如下所述的闪速存储器和/或NVRAM存储器。在一个实施方式中，计算机程序产品被有形地体现在信息载体中。计算机程序产品包含指令，其当被执行时，执行一种或更多种方法，诸如上述的方法。信息载体是计算机或机器可读的介质，诸如存储器1464、扩展存储器1474或处理器1452上的存储器，其可以例如通过收发机1468或外部接口1462接收。
设备1450可以通过通信接口1466进行无线通信，通信接口1466在必要时可以包括数字信号处理电路。通信接口1466可以提供在各种模式或协议下的通信，例如GSM语音呼叫、SMS、EMS或MMS消息、CDMA、TDMA、PDC、WCDMA、CDMA2000或GPRS等。这样的通信可以例如通过射频收发机1468发生。另外，可以发生短距离通信，诸如使用蓝牙、Wi-Fi或其他这样的收发器(未显示)。另外，GPS(全球定位系统)接收机模块1470可以向设备1450提供附加的导航和位置相关的无线数据，其可以通过在设备1450上运行的应用酌情使用。
设备1450也可以使用音频编解码器1460进行可听通信，音频编解码器1460可以从用户接收口语信息并将其转换为可用的数字信息。音频编解码器1460同样可以为用户产生可听声音，诸如通过例如在设备1450的听筒中的扬声器。这样的声音可以包括来自语音电话呼叫的声音，可以包括记录的声音(例如，语音消息、音乐文件等)，并且也可以包括由正在设备1450上操作的应用生成的声音。
计算设备1450可以如图所示，以多种不同的形式实施。例如，它可以被实施为蜂窝电话1480。它也可以被实施为智能电话1482、个人数字助理或其他类似的移动设备的一部分。
在一个一般性方面，一种方法，包括：接收与正在头戴式显示器(HMD)上显示的三维(3D)图像相关联的视场的指示，接收与正在HMD上显示的3D图像相关联的景深的指示，基于视场来选择第一右眼图像和第二右眼图像，基于景深来组合第一右眼图像和第二右眼图像，基于视场来选择第一左眼图像和第二左眼图像，以及基于景深来组合第一左眼图像和第二左眼图像。
在另一个一般方面，一种方法，包括：将三维(3D)视频流传输到头戴式显示器(HMD)。3D视频的每一帧都包括左眼图像和右眼图像。方法还包括生成随后的帧，其包括确定与3D视频相关联的视场、确定与3D视频相关联的景深、基于视场来选择第一右眼图像和第二右眼图像、基于景深将第一右眼图像和第二右眼图像组合为右眼图像、基于视场来选择第一左眼图像和第二左眼图像、以及基于景深将第一左眼图像和第二左眼图像组合为左眼图像。
在另一个一般方面，一种非暂时性计算机可读存储介质，在其上存储有计算机可执行程序代码，代码在计算机系统上执行时，引起计算机系统执行步骤。步骤包括：接收与正在头戴式显示器(HMD)上显示的三维(3D)图像相关联的视场的指示，接收与正在HMD上显示的3D图像相关联的景深的指示，基于视场选择第一右眼图像和第二右眼图像，基于景深组合第一右眼图像和第二右眼图像，基于视场选择第一左眼图像和第二左眼图像，以及基于景深来组合第一左眼图像和第二左眼图像。
实施方式能够包括一个或更多个以下特征的其一种或更多种组合。例如，第一右眼图像和第二右眼图像的选择能够包括确定HMD的用户的右眼位置、选择第一右眼图像作为位于右眼位置右侧的第一相机拍摄的图像、以及选择第二右眼图像作为位于右眼位置左侧的第二相机拍摄的图像。
例如，第一左眼图像和第二左眼图像的选择能够包括确定HMD的用户的左眼位置、选择第一左眼图像作为位于左眼位置右侧的第一相机拍摄的图像、以及选择第二左眼图像作为位于左眼位置左侧的第二相机拍摄的图像。第一右眼图像、第二右眼图像、第一左眼图像和第二左眼图像能够从在基本上相同的时刻捕获的多个图像中选择。第一右眼图像和第二右眼图像的组合能够包括相对于第二右眼图像位移第一右眼图像，直到组合图像的一部分基于景深清晰为止。第一右眼图像和第二右眼图像的组合能够包括将第一右眼图像和第二右眼图像两者都朝着视场的中心位移，直到组合图像的一部分基于景深清晰为止。
例如，第一右眼图像和第二右眼图像的组合能够包括颜色合并，使得组合图像的一部分具有基本上与第一右眼图像和第二右眼图像中至少一个的对应部分相同的调色板。第一右眼图像和第二右眼图像的组合能够包括使用颜色偏移进行颜色合并，颜色偏移是基于与距视场中心的相机距离相关联的加权偏移。第一左眼图像、第二左眼图像、第一左眼图像和第二左眼图像能够从在基本相同的时刻捕获的多个图像中选择。第一左眼图像和第二左眼图像的组合能够包括相对于第二左眼图像位移第一左眼图像，直到组合图像的一部分基于景深清晰为止。
例如，第一左眼图像和第二左眼图像的组合能够包括将第一左眼图像和第二左眼图像两者都朝着视场的中心位移，直到组合图像的一部分基于景深清晰为止。第一左眼图像和第二左眼图像的组合能够包括颜色合并组合图像，使得组合图像的一部分具有基本上与第一左眼图像和第二左眼图像中至少一个的对应部分相同的调色板。第一左眼图像和第二左眼图像的组合能够包括使用颜色偏移进行组合图像的颜色合并，颜色偏移是基于与距视场中心的相机距离相关联的加权偏移。
例如，第一右眼图像和第二右眼图像的选择能够包括：确定HMD的用户的右眼位置，选择第一右眼图像作为位于右眼位置右侧的第一相机拍摄的图像，以及选择第二右眼图像作为位于右眼位置左侧的第二相机拍摄的图像。例如，第一左眼图像和第二左眼图像的选择能够包括确定HMD的用户的左眼位置、选择第一左眼图像作为位于左眼位置右侧的第一相机拍摄的图像、以及选择第二左眼图像作为位于左眼位置左侧的第二相机拍摄的图像。
在此描述的系统和技术的各种实施方式能够在数字电子电路、集成电路、专门设计的ASIC(专用集成电路)、计算机硬件、固件、软件和/或其组合中实现。这些各种实施方式能够包括在可编程系统上可执行和/或可解释的一个或更多个计算机程序中的实施方式，可编程系统包括至少一个可编程处理器，其可以是专用或通用目的的，被耦合以从存储系统、至少一个输入设备和至少一个输出设备接收数据和指令，以及向它们发送数据和指令。这里在此描述的系统和技术的各种实施方式能够在此被实现为和/或一般被称为能够结合软件和硬件方面的电路、模块、块或系统。例如，模块可以包括在处理器(例如，在衬底、GaAs衬底等上形成的处理器)或一些其他可编程数据处理装置上执行的功能/动作/计算机程序指令。
上述示例性实施例中的一些被描述为流程图所描绘的过程或方法。虽然流程图将操作描述为顺序的过程，但许多操作可以并行、并存或同时执行。此外，操作顺序可以重新安排。过程当它们的操作完成时可以终止，但也可以具有未包括在图中的附加步骤。这些过程可以对应于方法、功能、过程(procedure)、子例程(subroutines)、子程序(subprograms)等。
上面讨论的方法，其中一些由流程图示出，可以通过硬件、软件、固件、中间件、微代码、硬件描述语言或其任何组合实施。当在软件、固件、中间件或微代码中实施时，用于执行必要任务的程序代码或代码段可以存储在机器或计算机可读介质例如存储介质中。处理器可以执行必要的任务。
本文中公开的具体结构和功能细节对描述示例实施例来说仅仅是代表性的。然而，示例性实施例可以在许多替代形式中体现，并且不应被解释为仅限于本文中所阐述的实施例。
应该理解，虽然术语第一、第二等可以在本文中用于描述各种元件，但这些元件不应受这些术语的限制。这些术语仅用于将一个元件与另一个元件区分开。例如，第一元件可以被称为第二元件，并且类似地，第二元件可以被称为第一元件，并不背离示例性实施例的范围。用在本文中时，术语和/或包括一个或更多个相关列出的项目的任何和所有组合。
应当理解，当将元件称为与另一元件连接或耦合时，它能够与另一元件直接连接或耦合或者可存在居间元件。相反，当元件被称为与另一元件直接连接或直接耦合时，不存在居间元件。用于描述元件之间关系的其他单词应该以类似的方式来解释(例如，之间对比直接之间、相邻对比直接相邻等)。
本文中使用的术语仅用于描述特定实施例的目的，而不意欲限制示例性实施例。用在本文中时，没有数量指示的名词意欲也包括复数形式，除非上下文另有明确指示。应进一步理解，术语包括、包含，在本文中使用时，指示所陈述的特征、整体、步骤、操作、元件和/或组件的存在，但不排除存在或添加一个或多个其他特征、整体、步骤、操作、元件、组件和/或其组合。
还应当注意，在一些替代实施方式中，所注释的功能/动作可以不按图中所注释的顺序发生。例如，取决于所涉及的功能/动作，连续显示的两个图实际上可以同时执行或有时可以按相反的顺序执行。
除非另有定义，在本文中使用的所有术语(技术和科学术语)所具有的含义与示例性实施例所属领域的普通技术人员通常的理解相同。还应进一步理解，例如，在常用词典中定义的那些术语应被解释为具有与其在相关领域的背景下的含义一致的含义，并且不会以理想化或过度正式的意义解释，除非在本文中如此明确定义。
上述示例性实施例的部分和相应的详细描述是根据软件、或对计算机存储器内的数据位操作的算法和符号表示来呈现的。这些描述和表示是本领域普通技术人员借以有效地将其工作的实质传送给本领域其他普通技术人员的描述和表示。算法，作为术语在此使用时，并且按其一般用法，被认为是导致期望结果的步骤的自洽序列。步骤是需要物理量的物理操纵的那些步骤。通常，虽然不一定，这些量采取能够存储、传输、组合、比较和以其他方式操纵的光、电或磁信号的形式。已经证明，主要是为了常见用法的原因，有时将这些信号称为比特、值、元件、符号、字符、术语、数字等是方便的。
在上述说明性实施例中，提到可以作为程序模块或功能过程实施的操作的动作和符号表示(例如，以流程图的形式)包括执行特定任务或实施特定抽象数据类型的例程、程序、对象、组件、数据结构等，并且可以利用现有结构元件上的现有硬件来描述和/或实施。这样的现有硬件可以包括一个或更多个中央处理单元(CPU)、数字信号处理器(DSP)、专用集成电路、现场可编程门阵列(FPGA)计算机等。
然而，应该记住，所有这些和类似的术语都将与适当的物理量相关联，并且仅仅是应用于这些量的便利标签。除非专门另有说明，或从论述中显而易见，诸如处理或计算(computing)或计算(calculating)或显示的确定等的术语是指计算机系统或类似的电子计算设备的动作和过程，其将表示为计算机系统寄存器和存储器内的物理、电子量的数据操作和转换成类似地表示为计算机系统存储器或寄存器或其他此类信息存储、传输或显示设备内的物理量的其他数据。
还应注意，示例性实施例的软件实施的方面通常被编码在某种形式的非暂时性程序存储介质上，或者通过某种类型的传输介质来实施。程序存储介质可以是磁性的(例如，软盘或硬盘驱动器)或光学的(例如，光盘只读存储器或CD ROM)，并且可以是只读或随机存取的。类似地，传输介质可以是双绞线、同轴电缆、光纤或本领域已知的一些其他合适的传输介质。示例性实施例不受任何所给出的实施方式的这些方面限制。
最后，还应当注意，虽然所附权利要求陈述了本文中所描述的特征的特定组合，但是本公开的范围不限于以下所要求保护的特定组合，而是扩展到包括在本文中公开的特征或实施例的任何组合，而不管该特定组合此时在所附权利要求书中是否被具体列举。

Claims (19)

1.一种方法，包括：
接收与正在头戴式显示器HMD上显示的三维3D图像相关联的视场的指示；
接收与正在所述HMD上显示的所述3D图像相关联的景深的指示；
选择第一右眼图像作为位于右眼位置右侧的第一相机捕获的图像以及选择第二右眼图像作为位于所述右眼位置左侧的第二相机捕获的图像，所述右眼位置基于所述视场；
通过将所述第二右眼图像覆盖在所述第一右眼图像上来组合所述第一右眼图像和所述第二右眼图像；
响应于接收所述景深的指示，相对于所述第一右眼图像水平地位移所述第二右眼图像，直到所述第二右眼图像的一部分覆盖所述第一右眼图像的至少一部分以匹配所述景深为止；
基于所述视场来选择第一左眼图像和第二左眼图像；
通过将所述第二左眼图像覆盖在所述第一左眼图像上来组合所述第一左眼图像和所述第二左眼图像；以及
响应于接收所述景深的指示，相对于所述第一左眼图像水平地位移所述第二左眼图像，直到所述第二左眼图像的一部分覆盖所述第一左眼图像的至少一部分以匹配所述景深为止。
2.根据权利要求1所述的方法，其中，对所述第一左眼图像和所述第二左眼图像的选择包括：
确定所述HMD的用户的左眼位置；
选择所述第一左眼图像作为位于所述左眼位置右侧的第一相机拍摄的图像；以及
选择所述第二左眼图像作为位于所述左眼位置左侧的第二相机拍摄的图像。
3.根据权利要求1所述的方法，进一步包括：
选择附加的左眼图像和附加的右眼图像；
覆盖所述附加的左眼图像中的至少两个附加的左眼图像；以及
响应于接收所述景深的指示，位移所述至少两个附加的左眼图像，直到所述至少两个附加的左眼图像的一部分包括与所述景深匹配的覆盖的部分为止；
覆盖所述附加的右眼图像中的至少两个附加的右眼图像；以及
响应于接收所述景深的指示，位移所述至少两个附加的右眼图像，直到所述至少两个附加的右眼图像的一部分包括与所述景深匹配的覆盖的部分为止。
4.根据权利要求1所述的方法，其中，对所述第一右眼图像和所述第二右眼图像的组合包括相对于所述第二右眼图像位移所述第一右眼图像，直到组合图像的至少一部分基于所述景深是未失真的为止。
5.根据权利要求1所述的方法，其中，对所述第一右眼图像和所述第二右眼图像的组合包括将所述第一右眼图像和所述第二右眼图像两者朝着所述视场的中心位移，直到组合图像的一部分基于所述景深是未失真的为止。
6.根据权利要求1所述的方法，其中，对所述第一右眼图像和所述第二右眼图像的组合包括颜色合并，使得组合图像的一部分具有与所述第一右眼图像和所述第二右眼图像中的至少一个的对应部分相同的调色板。
7.根据权利要求1所述的方法，其中，对所述第一右眼图像和所述第二右眼图像的组合包括基于与距所述视场的中心的相机距离相关联的加权偏移来使用颜色偏移进行颜色合并。
8.根据权利要求1所述的方法，其中，在无需光流内插的情况下执行所述第一右眼图像和所述第二右眼图像的组合与位移以及所述第一左眼图像和所述第二左眼图像的组合与位移。
9.根据权利要求1所述的方法，其中，对所述第一左眼图像和所述第二左眼图像的组合包括相对于所述第二左眼图像位移所述第一左眼图像，直到组合图像的一部分基于所述景深清晰为止。
10.根据权利要求1所述的方法，其中，对所述第一左眼图像和所述第二左眼图像的组合包括将所述第一左眼图像和所述第二左眼图像两者朝着所述视场的中心位移，直到组合图像的一部分基于所述景深清晰为止。
11.根据权利要求1所述的方法，其中，对所述第一左眼图像和所述第二左眼图像的组合包括颜色合并组合图像，使得组合图像的一部分具有与所述第一左眼图像和所述第二左眼图像中至少一个的对应部分相同的调色板。
12.根据权利要求1所述的方法，其中，对所述第一左眼图像和所述第二左眼图像的组合包括基于与距所述视场的中心的相机距离相关联的加权偏移来使用颜色偏移进行组合图像的颜色合并。
13.一种方法，包括：
将三维3D视频流传输到头戴式显示器HMD，所述3D视频的每一帧都包括左眼图像和右眼图像；以及
生成随后的帧，包括：
确定与所述3D视频相关联的视场；
确定与所述3D视频相关联的景深；
基于所述视场来选择第一右眼图像和第二右眼图像；
将所述第二右眼图像覆盖在所述第一右眼图像上；
响应于接收所述景深的指示，相对于所述第一右眼图像水平地位移所述第二右眼图像，直到所述第二右眼图像的一部分覆盖所述第一右眼图像的至少一部分以匹配所述景深为止；
选择第一左眼图像作为位于左眼位置右侧的第一相机捕获的图像以及选择第二左眼图像作为位于左眼位置左侧的第二相机捕获的图像，所述左眼位置基于所述视场；
将所述第二左眼图像覆盖在所述第一左眼图像上；以及
响应于接收所述景深的指示，相对于所述第一左眼图像水平地位移所述第二左眼图像，直到所述第二左眼图像的一部分覆盖所述第一左眼图像的至少一部分以匹配所述景深为止。
14.根据权利要求13所述的方法，其中
对所述第一右眼图像和所述第二右眼图像的选择包括：
确定所述HMD的用户的右眼位置；
选择所述第一右眼图像作为位于所述右眼位置右侧的第一相机拍摄的图像；以及
选择所述第二右眼图像作为位于所述右眼位置左侧的第二相机拍摄的图像。
15.根据权利要求13所述的方法，其中，所述第一右眼图像、所述第二右眼图像、所述第一左眼图像和所述第二左眼图像从在相同的时刻捕获的多个图像中选择。
16.根据权利要求13所述的方法，其中
所述第一右眼图像和所述第二右眼图像的组合包括相对于所述第二右眼图像位移所述第一右眼图像，直到组合图像的一部分基于所述景深是未失真的为止，并且
所述第一左眼图像和所述第二左眼图像的组合包括相对于所述第二左眼图像位移所述第一左眼图像，直到组合图像的一部分基于所述景深是未失真的为止。
17.根据权利要求13所述的方法，其中
所述第一右眼图像和所述第二右眼图像的组合包括将所述第一右眼图像和所述第二右眼图像两者朝着所述视场的中心位移，直到组合图像的一部分基于所述景深是未失真的为止，并且
所述第一左眼图像和所述第二左眼图像的组合包括将所述第一左眼图像和所述第二左眼图像两者朝着所述视场的中心位移，直到组合图像的一部分基于所述景深是未失真的为止。
18.根据权利要求13所述的方法，其中，所述第一左眼图像和所述第二左眼图像的组合包括颜色合并组合图像。
19.一种非暂时性计算机可读存储介质，在其上存储有计算机可执行程序代码，所述计算机可执行程序代码在计算机系统上执行时致使所述计算机系统执行包括以下的步骤：
接收与正在头戴式显示器HMD上显示的三维3D图像相关联的视场的指示；
接收与正在所述HMD上显示的所述3D图像相关联的景深的指示；
选择第一右眼图像作为位于右眼位置右侧的第一相机捕获的图像以及选择第二右眼图像作为位于所述右眼位置左侧的第二相机捕获的图像，所述右眼位置基于所述视场；
将所述第二右眼图像覆盖在所述第一右眼图像上；
响应于接收所述景深的指示，相对于所述第一右眼图像水平地位移所述第二右眼图像，直到所述第二右眼图像的一部分覆盖所述第一右眼图像的至少一部分以匹配所述景深为止；
基于所述视场来选择第一左眼图像和第二左眼图像；
将所述第二左眼图像覆盖在所述第一左眼图像上；以及
响应于接收所述景深的指示，相对于所述第一左眼图像水平地位移所述第二左眼图像，直到所述第二左眼图像的一部分覆盖所述第一左眼图像的至少一部分以匹配所述景深为止。
CN201680027625.4A 2015-09-10 2016-09-09 立体渲染系统 Active CN107810633B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/850,114 2015-09-10
US14/850,114 US10757399B2 (en) 2015-09-10 2015-09-10 Stereo rendering system
PCT/US2016/051012 WO2017044790A1 (en) 2015-09-10 2016-09-09 Stereo rendering system

Publications (2)

Publication Number Publication Date
CN107810633A CN107810633A (zh) 2018-03-16
CN107810633B true CN107810633B (zh) 2020-12-08

Family

ID=56959077

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680027625.4A Active CN107810633B (zh) 2015-09-10 2016-09-09 立体渲染系统

Country Status (8)

Country Link
US (1) US10757399B2 (zh)
EP (1) EP3348054B1 (zh)
JP (1) JP6596510B2 (zh)
KR (1) KR101978896B1 (zh)
CN (1) CN107810633B (zh)
DE (1) DE112016004114T5 (zh)
GB (1) GB2556207B (zh)
WO (1) WO2017044790A1 (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5996814B1 (ja) * 2016-02-08 2016-09-21 株式会社コロプラ 仮想空間の画像をヘッドマウントディスプレイに提供する方法及びプログラム
EP3420413A1 (en) 2016-02-22 2019-01-02 Real View Imaging Ltd. A method and system for displaying holographic images within a real object
US10795316B2 (en) * 2016-02-22 2020-10-06 Real View Imaging Ltd. Wide field of view hybrid holographic display
US11663937B2 (en) 2016-02-22 2023-05-30 Real View Imaging Ltd. Pupil tracking in an image display system
WO2019005045A1 (en) * 2017-06-28 2019-01-03 Halliburton Energy Services, Inc. INTERACTIVE HANDLING WITH VIRTUAL REALITY OF DOWNHOLE DATA
US10659771B2 (en) * 2017-07-13 2020-05-19 Google Llc Non-planar computational displays
JP2019053644A (ja) * 2017-09-19 2019-04-04 セイコーエプソン株式会社 頭部装着型表示装置、及び頭部装着型表示装置の制御方法
WO2019113742A1 (zh) * 2017-12-11 2019-06-20 深圳市柔宇科技有限公司 图像处理方法、头戴显示设备和头戴显示系统
CN115842907A (zh) * 2018-03-27 2023-03-24 京东方科技集团股份有限公司 渲染方法、计算机产品及显示装置
US10409068B1 (en) * 2018-03-27 2019-09-10 Tectus Corporation Binocular femtoprojector layouts
JP6868288B2 (ja) * 2018-09-11 2021-05-12 株式会社アクセル 画像処理装置、画像処理方法、及び画像処理プログラム
US10911743B2 (en) * 2018-10-19 2021-02-02 Facebook Technologies, Llc Field of view expansion by color separation
TWI683136B (zh) * 2019-01-03 2020-01-21 宏碁股份有限公司 視訊穿透式頭戴顯示器及其控制方法
EP3906669B1 (en) 2019-03-13 2024-06-05 Hewlett-Packard Development Company, L.P. Detecting eye tracking calibration errors
CN111988533B (zh) * 2019-05-23 2022-07-22 川田科技株式会社 焊接辅助方法及装置
US11190755B2 (en) 2019-06-12 2021-11-30 Sony Interactive Entertainment Inc. Asymmetric arrangement of left and right displays to improve image quality for a stereoscopic head-mounted display (HMD)
US20220311992A1 (en) * 2019-11-06 2022-09-29 Hes Ip Holdings, Llc System and method for displaying an object with depths
EP3984016A4 (en) 2020-08-14 2023-09-06 HES IP Holdings, LLC SYSTEMS AND METHODS FOR SUPERIMPOSING A VIRTUAL IMAGE ON A REAL-TIME IMAGE
JP2023541495A (ja) 2020-09-03 2023-10-03 ヒーズ アイピー ホールディングス エルエルシー 両眼視を改善するためのシステムおよび方法
US11953689B2 (en) 2020-09-30 2024-04-09 Hes Ip Holdings, Llc Virtual image display system for virtual reality and augmented reality devices
US20220122239A1 (en) * 2020-10-21 2022-04-21 Johnson & Johnson Surgical Vision, Inc. Visualizing an organ using multiple imaging modalities combined and displayed in virtual reality

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020110275A1 (en) * 1994-12-29 2002-08-15 Peter Rogina Image transformation and synthesis methods
CN102714739A (zh) * 2009-12-04 2012-10-03 诺基亚公司 处理器、设备以及相关联的方法
US20150187115A1 (en) * 2013-12-27 2015-07-02 Mark A. MacDonald Dynamically adjustable 3d goggles

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0119859D0 (en) 2001-08-15 2001-10-10 Qinetiq Ltd Eye tracking system
WO2003034705A2 (en) 2001-10-19 2003-04-24 University Of North Carolina At Chapel Hill Methods and systems for dynamic virtual convergence and head mountable display
JP2006229725A (ja) 2005-02-18 2006-08-31 Konica Minolta Photo Imaging Inc 画像生成システム及び画像生成方法
US7542210B2 (en) 2006-06-29 2009-06-02 Chirieleison Sr Anthony Eye tracking head mounted display
EP2084672A1 (en) 2006-11-20 2009-08-05 THOMSON Licensing System and method for compositing 3d images
KR20090052169A (ko) 2007-11-20 2009-05-25 삼성전자주식회사 두부(頭部) 장착 디스플레이
US8363090B1 (en) * 2008-07-17 2013-01-29 Pixar Animation Studios Combining stereo image layers for display
US20100278232A1 (en) 2009-05-04 2010-11-04 Sehoon Yea Method Coding Multi-Layered Depth Images
JP5641200B2 (ja) * 2010-05-28 2014-12-17 ソニー株式会社 画像処理装置、画像処理方法および画像処理プログラムならびに記録媒体
JP4939639B2 (ja) 2010-09-28 2012-05-30 シャープ株式会社 画像処理装置、画像処理方法、プログラム及び記録媒体
US8576276B2 (en) 2010-11-18 2013-11-05 Microsoft Corporation Head-mounted display device which provides surround video
US9690099B2 (en) 2010-12-17 2017-06-27 Microsoft Technology Licensing, Llc Optimized focal area for augmented reality displays
WO2012172719A1 (ja) 2011-06-16 2012-12-20 パナソニック株式会社 ヘッドマウントディスプレイおよびその位置ずれ調整方法
US20130088413A1 (en) 2011-10-05 2013-04-11 Google Inc. Method to Autofocus on Near-Eye Display
US8704882B2 (en) 2011-11-18 2014-04-22 L-3 Communications Corporation Simulated head mounted display system and method
US8611015B2 (en) 2011-11-22 2013-12-17 Google Inc. User interface
US9734633B2 (en) 2012-01-27 2017-08-15 Microsoft Technology Licensing, Llc Virtual environment generating system
US20140247286A1 (en) 2012-02-20 2014-09-04 Google Inc. Active Stabilization for Heads-Up Displays
US20130241805A1 (en) 2012-03-15 2013-09-19 Google Inc. Using Convergence Angle to Select Among Different UI Elements
US8736692B1 (en) 2012-07-09 2014-05-27 Google Inc. Using involuntary orbital movements to stabilize a video
JP6520119B2 (ja) 2012-08-06 2019-05-29 ソニー株式会社 画像処理装置および画像処理方法
KR101373188B1 (ko) 2012-09-26 2014-03-12 연세대학교 산학협력단 능동 루프 필터 기능을 탑재한 전원 안정 전압 제어 발진기 및 이를 이용한 위상 고정 루프
US9137524B2 (en) 2012-11-27 2015-09-15 Qualcomm Incorporated System and method for generating 3-D plenoptic video images
KR101845350B1 (ko) 2013-03-26 2018-05-18 세이코 엡슨 가부시키가이샤 두부 장착형 표시 장치 및 두부 장착형 표시 장치의 제어 방법
JP6337418B2 (ja) 2013-03-26 2018-06-06 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP6369005B2 (ja) 2013-10-25 2018-08-08 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
KR102098277B1 (ko) 2013-06-11 2020-04-07 삼성전자주식회사 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치
GB201310368D0 (en) 2013-06-11 2013-07-24 Sony Comp Entertainment Europe Head-mountable apparatus and systems
US20150312558A1 (en) * 2014-04-29 2015-10-29 Quentin Simon Charles Miller Stereoscopic rendering to eye positions

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020110275A1 (en) * 1994-12-29 2002-08-15 Peter Rogina Image transformation and synthesis methods
CN102714739A (zh) * 2009-12-04 2012-10-03 诺基亚公司 处理器、设备以及相关联的方法
US20150187115A1 (en) * 2013-12-27 2015-07-02 Mark A. MacDonald Dynamically adjustable 3d goggles

Also Published As

Publication number Publication date
DE112016004114T5 (de) 2018-06-14
CN107810633A (zh) 2018-03-16
KR20170133461A (ko) 2017-12-05
JP6596510B2 (ja) 2019-10-23
GB2556207A (en) 2018-05-23
WO2017044790A1 (en) 2017-03-16
GB201717596D0 (en) 2017-12-13
EP3348054B1 (en) 2022-11-02
JP2018533232A (ja) 2018-11-08
KR101978896B1 (ko) 2019-05-15
US10757399B2 (en) 2020-08-25
EP3348054A1 (en) 2018-07-18
GB2556207B (en) 2021-08-11
US20170078651A1 (en) 2017-03-16

Similar Documents

Publication Publication Date Title
CN107810633B (zh) 立体渲染系统
EP3051525B1 (en) Display
JP6511539B2 (ja) パノラマバーチャルリアリティコンテンツのキャプチャおよびレンダリング
CN109074681B (zh) 信息处理装置、信息处理方法和程序
KR102358932B1 (ko) 시선 위치에 기초한 안정 평면 결정
US11217024B2 (en) Artificial reality system with varifocal display of artificial reality content
US10884576B2 (en) Mediated reality
US10999412B2 (en) Sharing mediated reality content
EP2992507A1 (en) Methods for facilitating computer vision application initialization
KR20160094190A (ko) 시선 추적 장치 및 방법
CN112655202B (zh) 用于头戴式显示器的鱼眼镜头的减小带宽立体失真校正
EP3038061A1 (en) Apparatus and method to display augmented reality data
JP6446465B2 (ja) 入出力装置、入出力プログラム、および入出力方法
US20230396750A1 (en) Dynamic resolution of depth conflicts in telepresence
KR20230097163A (ko) 자동입체 텔레프레즌스 시스템들을 위한 3차원(3d) 얼굴 피처 추적
US20220232201A1 (en) Image generation system and method
WO2018165906A1 (zh) 一种头戴式显示装置及其显示方法
WO2024020258A1 (en) Late stage occlusion based rendering for extended reality (xr)

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant