CN108924540A - 低延迟混合现实头部可佩戴装置 - Google Patents

Abstract

本发明涉及一种头部可佩戴装置、方法及系统。公开了头部可佩戴装置，包括：一显示器、一摄像机、一缓冲器和一处理器，缓冲器被配置用以缓冲与来自摄像机中的真实场景图像对应的真实场景图像数据的一部分，处理器被配置用以：执行组合失真校正操作；执行前景分离；对混合值执行平滑操作；执行色差失真校正操作；接收与虚拟场景图像对应的虚拟场景图像数据；将虚拟场景图像数据与处理的真实场景图像数据混合来创建混合现实场景图像作为混合现实场景图像数据；并将混合现实场景图像数据输出到显示器用以展示给用户。

Description

低延迟混合现实头部可佩戴装置

技术领域

本发明涉及混合现实技术领域，尤其涉及低延迟混合现实头部可佩戴装置。

相关申请的交叉引用

本申请涉及在2017年7月27日提交的美国专利申请，申请号15/661，964，代理人案号17CR220，以及在2014年9月2日提交的美国专利申请，申请号14/474，778，代理人案号14CR395，在此将这些专利申请的全部内容并入本文作为参考。

背景技术

虚拟现实(VR)允许模拟和训练提供者实现丰富和拟真的虚拟内容。混合现实将虚拟场景和真实场景融入到单一三维拟真场景中，混合现实通常使用实时视频处理方法，从背景中提取前景图像，并将混合场景生成到用户显示器中，它将期望的现实前景对象与虚拟背景结合在一起。混合现实用户训练通过参加用户的肌肉记忆和提供触觉反馈来增强虚拟现实技术，这是学习的关键组成部分。混合现实允许用户操作真实的设备，用户将在现场使用真实的设备，并允许多用户训练场景，在这个场景中，队友可以在同一个三维虚拟环境中看到彼此。

低延迟视频处理对混合现实系统非常重要，对于使用遮挡显示器的混合现实系统尤其重要，如Oculus Rift或罗克韦尔柯林斯公司的训练系统，用户有一个不允许用户正常看到现实世界的不透明的显示器。目前实施的用于混合现实的遮挡显示器通常需要单独的摄像机，以提供混合现实图像的真实场景图像部分。真实场景图像通过摄像机捕获，转换算法，并在用户看到之前将其转移到显示器上。人类可以检测到由视频处理路径引起的任何明显的延迟，尤其是在头部可佩戴的显示器的宽视场下，因为人的周边视觉对运动非常敏感。例如，当用户在他或她的眼睛前摇动他或她的手时，用户的本体感觉就会告诉用户，手应该在用户的视野中出现确切时间和地点。如果摄像机和/或显示器延迟明显，大脑检测到延迟后，这对手眼协调产生负面影响，并可导致迷失方向，甚至恶心。实验表明，超过约20毫秒(ms)的显示延迟，“光子到像素”，是可察觉并打扰到用户的。超过20毫秒的延迟抵消了混合现实训练的身临其境的优势。目前，20毫秒的延迟预算大部分是由摄像机曝光时间消耗的，摄像机曝光时间通常在4-15毫秒的范围内，以及帧输入/输出(I/O)时间，帧输入/输出(I/O)时间包括将捕获的帧从摄像机传输到显示器。这20毫秒延迟预算的只剩下几毫秒来执行任何视频处理。通常，视频处理要求很重要，因为视频处理涉及渲染现场真实场景视频，与虚拟场景视频紧密结合。此外，这种视频处理通常是在非常高的带宽视频上执行，以获得足够高的分辨率来创建身临其境的混合现实体验。

发明内容

在一个方面，本文公开的发明构思的实施例针对的是一种头部可佩戴装置。头部可佩戴装置可包括一显示器、一摄像机、一缓冲器和一处理器。摄像机可以被配置用以捕捉真实场景图像。缓冲器可以与摄像机可通信地耦合，并且被配置用以缓冲与来自摄像机中的真实场景图像对应的真实场景图像数据的一部分。处理器可以可通信地耦合到缓冲器。处理器可被配置用以：对真实场景图像执行组合失真校正操作，以校正由摄像机镜头引起的失真，同时校正由显示器所引起的失真，其中组合失真校正操作生成失真校正的真实场景图像数据；对失真校正的真实场景图像数据进行前景分离操作，为失真校正的真实场景图像数据的每个像素生成一混合值；对混合值执行平滑操作，其中平滑操作生成平滑的混合值；对失真校正的真实场景图像数据的每一个红色通道、绿色通道和蓝色通道与和每一个红色通道、绿色通道和蓝色通道相关的平滑的混合值执行色差失真校正操作，其中的色差失真校正操作生成红色通道处理的真实场景图像数据、绿色通道处理的真实场景图像数据、蓝色通道处理的真实场景图像数据、和与红色通道处理的真实场景图像数据、绿色通道处理的真实场景图像数据、蓝色通道处理的真实场景图像数据相关的处理的混合值；接收与虚拟场景图像对应的虚拟场景图像数据；至少基于处理的混合值，混合红色通道处理的真实场景图像数据、绿色通道处理的真实场景图像数据、蓝色通道处理的真实场景图像数据与虚拟场景图像数据，以创建混合现实场景图像作为混合现实场景图像数据；并将混合现实场景图像数据输出到显示器用以展示给用户。

在另一方面，本文公开的发明构思的实施例针对的是一种方法。该方法可包括通过一缓冲器缓冲与来自摄像机的真实场景图像对应的真实场景图像数据的一部分。该方法进一步可包括通过一处理器对真实场景图像执行组合失真校正操作，以校正由摄像机镜头引起的失真，同时校正由显示器所引起的失真，其中组合失真校正操作生成失真校正的真实场景图像数据。该方法进一步可包括通过该处理器对失真校正的真实场景图像数据进行前景分离操作，为失真校正的真实场景图像数据的每个像素生成一混合值。该方法进一步可包括通过该处理器对混合值执行平滑操作，其中平滑操作生成平滑的混合值。该方法进一步可包括通过该处理器对失真校正的真实场景图像数据的每一个红色通道、绿色通道和蓝色通道与和每一个红色通道、绿色通道和蓝色通道相关的平滑的混合值执行色差失真校正操作，其中的色差失真校正操作生成红色通道处理的真实场景图像数据、绿色通道处理的真实场景图像数据、蓝色通道处理的真实场景图像数据、和与红色通道处理的真实场景图像数据、绿色通道处理的真实场景图像数据、蓝色通道处理的真实场景图像数据相关的处理的混合值。该方法进一步可包括通过该处理器接收与虚拟场景图像对应的虚拟场景图像数据，至少基于处理的混合值，混合红色通道处理的真实场景图像数据、绿色通道处理的真实场景图像数据和蓝色通道处理的真实场景图像数据与虚拟场景图像数据，以创建混合现实场景图像作为混合现实场景图像数据。该方法进一步可包括通过该处理器将混合现实场景图像数据输出到显示器用以展示给用户。

在另一方面，本文公开的发明构思的实施例针对的是一种系统。该系统可包括一显示器、一摄像机、一缓冲器和一处理器。摄像机可以被配置用以捕捉真实场景图像。缓冲器可通信地耦合到摄像机，并且被配置用以缓冲与来自摄像机中的真实场景图像对应的真实场景图像数据的一部分。处理器可通信耦合到缓冲器。处理器可被配置用以：对真实场景图像执行组合失真校正操作，以校正由摄像机镜头引起的失真，同时校正由显示器所引起的失真，其中组合失真校正操作生成失真校正的真实场景图像数据；对失真校正的真实场景图像数据进行前景分离操作，为失真校正的真实场景图像数据的每个像素生成一混合值；对混合值执行平滑操作，其中平滑操作生成平滑的混合值；对失真校正的真实场景图像数据的每一个红色通道、绿色通道和蓝色通道与和每一个红色通道、绿色通道和蓝色通道相关的平滑的混合值执行色差失真校正操作，其中的色差失真校正操作生成红色通道处理的真实场景图像数据、绿色通道处理的真实场景图像数据、蓝色通道处理的真实场景图像数据、和与红色通道处理的真实场景图像数据、绿色通道处理的真实场景图像数据、蓝色通道处理的真实场景图像数据相关的处理的混合值；接收与虚拟场景图像对应的虚拟场景图像数据；至少基于处理的混合值，融合红色通道处理的真实场景图像数据、绿色通道处理的真实场景图像数据和蓝色通道处理的真实场景图像数据与虚拟场景图像数据，以创建混合现实场景图像作为混合现实场景图像数据；并将混合现实场景图像数据输出到显示器用以展示给用户。

附图说明

当考虑下面的实施方式的详细描述时，可以更好地理解此处公开的发明构思的技术方案。所述的详细描述可以参考附图，但为了清晰起见，附图不一定按比例绘制，其中一些特征可被夸大，一些特征可被省略，一些特征可按照图式来表示。附图中相同的附图标记可以表示和指代相同或相似的元件、特征或功能。其中：

图1是根据本发明实施例所述的包括一头部可佩戴装置和一计算设备的一种系统的示意图。

图2是根据本发明实施例所述的图1中所示头部可佩戴装置的眼睛跟踪系统的示意图；

图3是根据本发明实施例所述的图1中所示头部可佩戴装置的头部跟踪系统的示意图；

图4是根据本发明实施例所述的图像处理流水线示意图。

图5A是根据本发明实施例所述的由左边摄像机捕捉的用户在绿色屏幕前握着对象的左边真实场景图像。

图5B是根据本发明实施例所述的由右边摄像机捕捉的用户在绿色屏幕前握着对象的右边真实场景图像。

图6A是根据本发明实施例所述的左边虚拟场景图像。

图6B是根据本发明实施例所述的右边虚拟场景图像。

图7A是根据本发明实施例所述的左边混合现实场景图像。

图7B是根据本发明实施例所述的右边混合现实场景图像。

图8是根据本发明实施例所述的视频计时回路图。

图9是根据图1中头部可佩戴装置的结构示意图。

图10是根据本发明实施例所述的方法的流程图。

具体实施方式

在详细解释此处公开的发明构思的至少一个实施例之前，应当理解，本发明构思不限于在下面的描述中或附图说明中所提到的应用、实施细节、所提出的部件或步骤或方法的安排。在以下对此处发明构思实施例的详细描述中，阐述了许多具体细节以便更透彻的理解此发明构思。然而，显而易见地，对受益于此处公开的发明构思的本领域的普通技术人员，可以在没有这些具体细节的情况下实践此处所公开的发明构思。在其它情况下，不再详细描述已知特征以避免使本公开复杂化。此处公开的发明概念还可以有其它实施例或者用其它方式去实践或执行。此外，应当理解，此处使用的措辞和术语是为了描述实施例，而不应该被认为是对实施例的限制。

本文所使用的位于附图标记之后的字母是为了指代实施例中相似的特征或元件，所述相似的特征或元件可以类似但不一定与先前描述的具有相同附图标记(例如，1a，1b)的元件或特征完全相同。使用这样的简化符号仅仅是为了方便，并不应被理解为以任何方式限制此处公开的发明构思，除非另有明文规定。

此外，除非另有明文规定，“或”是指包括性或而不是排它性或。例如，条件A或B由以下任一项满足：A为真(或存在)和B为假(或不存在)，A为假(或不存在)和B为真(或存在)，以及A和B都是真(或存在)。

此外，使用“一”来描述本发明构思实施例中的元件和组件。仅仅是因为这样既方便，又能给出本发明构思的一般意义；“一”意味着包括一个或至少一个，而且单个也包括复数，除非明显意味着其它方面。

最后，如此处所使用的对“一个实施例”或“一些实施例”的任何引用意味着结合该实施例描述的特定元件、特征、结构或特性包括在此处公开的发明构思的至少一个实施例中。在说明书中多个地方出现的短语“在一些实施例中”不一定都指同一个实施例，并且此处公开的发明构思的实施例可以包括本发明清晰描述的或固有的一个或多个特征，还包括两个或多个上述特征组成的子组合的组合，以及本发明没有进行清晰描述的或非固有的任何其它特征。

概括地说，本文公开的发明构思的实施例针对的是被配置用以显著减少视频处理延迟的(如，混合现实视频处理)一种方法、系统和至少一个装置。因此，与当前实施的混合现实视频处理的典型延迟相比，实施例通过减少混合现实处理的延迟来提高计算设备本身(如，处理器或包括处理器的头部可佩戴装置)的功能。例如，一些实施例将混合现实视频处理延迟减少到少于1毫秒。在一些实施例中，混合现实视频处理可包括步骤：视频直接内存访问(DMA)、拜耳(Bayer)过滤、镜头和显示器失真校正、前景分离(如，色度键控)如色差校正。在一些实施例中，流式架构、部分帧缓冲和视频计时器允许将延迟减少到最小值。

一些实施例可包括对混合现实应用程序进行高度优化的视频处理流水线。例如，在同步两个独立视频流的同时，视频处理流水线可以优化延迟。即使在执行诸如拜耳解码、镜头和显示器失真校正、前景分离(如，色度键控视频替换)如色差校正等复杂操作时，流水线也可以进行最小帧缓冲操作。实施例可以使用任何合适的处理器来实现，如现场可编程门阵列(FPGAs)，它们可以集成到更高级的系统中。在一些实施例中，视频处理流水线实现了对虚拟场景的100微秒(μs)以下的处理延迟，像素输入到像素输出，和对现实场景的1毫秒以下的处理延迟，像素输入到像素输出；混合现实系统中剩下的延迟可是来自摄像机曝光的时间和混合现实图像的传输/显示延迟。因此，实施例可以被配置用以满足或超过20毫秒的端到端摄像机延迟目标，这会导致摄像机系统的延迟，这对用户来说是无法察觉的。

实施例被配置用以支持高帧率(如，90帧每秒(FPS)和更高的帧率)和高分辨率视频(如，2160x1200虚拟视频和更高的分辨率视频；如，2688x1440摄像机视频和更高分辨率视频)。实施例可以扩展到支持更高的分辨率视频和更高的帧率在未来。实施例可以执行高质量的实时混合现实混合。此外，实施例可以被配置用以适应任何合适的前景分离处理，如基于色度键控“绿色屏幕”的前景分离处理或红外深度传感器前景分离处理。

参照图1，根据本文公开的发明构思，一个系统的实施例包括至少一个头部可佩戴装置102和至少一个计算设备122，其中一些或全部可以在任何给定时间进行通信耦合。例如，头部可佩戴装置102可以被配置用以接收来自计算设备122的虚拟图像(如，虚拟场景图像)和被配置用以通过将虚拟图像与现实图像(如，真实场景图像)混合，以创建三维身临其境的场景图像呈现给头部可佩戴装置102的佩戴者，为头部可佩戴装置102的佩戴者提供混合现实体验。

头部可佩戴装置102可以被配置用以将混合现实场景图像呈现给头部可佩戴装置102的佩戴者。头部可佩戴装置102可包括至少一个摄像机(如，摄像机104-1和摄像机104-2)，至少一个缓冲器(如，缓冲器106-1、106-2、106-3、和106-4)，至少一个处理器108，至少一个内存110，至少一个存储设备112，一头部跟踪系统114，一眼睛跟踪系统116，至少一个显示器(如，显示器118-1和显示器118-2)，和至少一个扬声器120，部分或所有这些可以是通信耦合的。

摄像机104-1、104-2可以被配置用以捕捉佩戴者视场的现实图像(如，真实场景图像)。摄像机104-1、104-2可以实现立体成像，如第一摄像机104-1(如，左边摄像机)与佩戴用户的左眼视场对齐，和第二摄像机104-2(如，右边摄像机)与佩戴者的右眼视场对齐。摄像机104-1、104-2可以被配置用以将真实图像作为真实图像数据(如，真实场景图像数据)输出到处理器108和/或缓冲器106-1、106-2。例如，每个摄像机104-1、104-2可以被配置用以将真实图像流作为真实图像数据流输出到缓冲器106-1、106-2。虽然头部可佩戴装置102如所示的示例性的包括的两个摄像机104-1、104-2，但是在一些实施例中，头部可佩戴装置102可以包括任何合适数量的摄像机。

缓冲器106-1、106-2、106-3和106-4可以被配置用以接收并临时储存来自摄像机104-1，104-2的至少一部分现实图像的作为真实图像数据和接收并临时存储来自处理器124的至少一部分虚拟图像的作为虚拟图像数据。每个缓冲器106-1、106-2、106-3和106-4都可以作为部分帧缓冲器实现。缓冲器106-1、106-2、106-3和106-4可以被配置用以确保像素数据对处理器108始终可用，以防止处理器108缺少要处理的数据。在一些实施例中，每个缓冲器106-1、106-2、106-3和106-4可都很小(如，被配置用以在给定时间临时存储几行(如，行或列)像素数据)。在一些实施例中，缓冲器106-1、106-2、106-3和106-4使用DMA，并被配置用以部分帧缓冲器。例如，处理器108可包括具有对缓冲器106-1、106-2、106-3和106-4多端口访问的DMA控制器。一旦图像的几行被写入缓冲器(″头端″)，处理器108就可以被配置用以立即开始从缓冲器中读取图像以进行处理(″尾端″)。″头端″可只通过几行图像来继续引导″尾端″，这足以确保下游处理看到一个不间断的像素流。与使用双循环或三轮循环缓冲方案的传统的摄像机系统相比，一些实施例的部分帧缓冲只需要在处理时间和缓冲时间中的一部分帧。

例如，每个缓冲器106-1，106-2都可以被配置用以接收来自摄像机104-1，104-2中的一个摄像机中的现实图像作为真实图像数据并在将存储的部分真实图像数据输出到处理器108之前，临时存储至少一部分真实图像数据(如，至少一行)。例如，缓冲器106-1可以被配置用以接收并存储来自摄像机104-1的现实图像帧的第一部分(如，至少一行)；和缓冲器106-1可以被配置用以接收并存储来自摄像机104-1的现实图像帧的第二部分(如，至少一行)，同时提供(如，同时提供)现实图像帧的第一部分给处理器108。类似地，例如，缓冲器106-2可以被配置用以接收并存储来自摄像机104-2的现实图像帧的第一部分(如，至少一行)；和缓冲器106-2可以被配置用以接收并存储来自摄像机104-2的现实图像帧的第二部分(如，至少一行)，同时提供(如，同时提供)现实图像帧的第一部分给处理器108。类似地，例如，缓冲器106-3可以被配置用以接收并存储来自处理器124的左边虚拟图像帧的第一部分(如，至少一行)；和缓冲器106-3可以被配置用以接收并存储来自处理器124的左边虚拟图像帧的第二部分(如，至少一行)，同时提供(如，同时提供)左边虚拟图像帧的第一部分到处理器108。类似地，例如，缓冲器106-4可以被配置用以接收并存储来自处理器124的右边虚拟图像帧的第一部分(如，至少一行)；和缓冲器106-4可以被配置用以接收并存储来自处理器124的右边虚拟图像帧的第二部分(如，至少一行)，同时提供(如，同时提供)右边虚拟图像帧的第一部分到处理器108。

虽然缓冲器106-1、106-2、106-3和106-4在实施例中描述为与处理器108分开，但在一些实施例中，处理器108包括缓冲器106-1、106-2、106-3和106-4中一个或多个。此外，虽然实施例中展示为四个的缓冲器106-1、106-2、106-3和106-4，但一些实施例可包括任何合适数量的缓冲器，或者可省略缓冲器106-1、106-2、106-3和106-4中的一个或多个。

处理器108可以实现为任何合适的处理器，例如通用处理器、图像处理器和/或FPGA。处理器108可以被配置用以接收来自摄像机104-1，104-2和/或缓冲器106-1，106-2的真实图像流(如，一左边真实图像流和一右边真实图像流)作为真实图像数据。处理器108可以配置用以执行如图4所描述和所描述的图像处理流水线的部分或全部处理操作。另外，对于每个左边现实图像，处理器108可以被配置用以接收来自计算设备122和/或缓冲器106-3的左边虚拟图像。类似地，对于每个右边现实图像，处理器108可以被配置用以接收来自计算设备122和/或缓冲器106-4右边虚拟图像。对于每个真实图像和与之对应的每个虚拟图像，至少基于像素掩码，处理器108可以被配置用以将真实图像和虚拟图像混合，以创建混合现实图像。处理器108可以被配置用以将左边和右边的混合现实图像流作为混合现实图像数据输出到头部可佩戴装置102的佩戴用户的用于演示的显示器118-1，118-2上。

在一些实施例中，至少有一个处理器108可以作为多个处理器实现，如至少一个通用处理器、至少一个FPGA和/或至少一个图像处理器。处理器108可以被配置用以运行各种软件应用程序或计算机代码，这些程序或计算机代码存储在非瞬态计算机可读介质中，和被配置用以执行各种指令或操作。处理器108可以为一种特殊用途的处理器，该处理器被配置用以执行整个公开的任何或所有操作的指令。

每个显示器118-1，118-2可以被配置用以接收混合现实图像流作为混合现实图像数据流，并将混合现实图像流呈现给头部可佩戴装置102的佩戴用户。例如，显示器118-1可是被配置用以将图像呈现给佩戴用户左眼的左边显示器。类似地，例如，显示器118-2可是被配置用以将图像呈现给佩戴用户右眼的右边显示器。显示器118-2可以被实现为任何合适的显示器，如遮挡显示器(如，Oculus Rift)。此外，虽然显示器118-1，118-2在实施例中被描述为两个显示器，但是显示器118-1，118-2可以被实现为任何合适数量的显示器。

扬声器120可被配置用以接收与混合现实环境相关的音频内容，并将音频内容作为音频呈现给头部可佩戴装置102的佩戴用户。此外，虽然扬声器120被描述为单个扬声器，但扬声器120可以被实现为多个扬声器，例如每个用户的每只耳朵都有一个扬声器。

虽然头部可佩戴装置102的摄像机104-1、104-2、缓冲器106-1、106-2、106-3、106-4、处理器108、内存110、存储设备112、头部跟踪系统114、眼睛跟踪系统116、显示器118-1、118-2和扬声器120已被实施例描述为作为单独的设备或子系统实现的，在一些实施例中，摄像机104-1，104-2，缓冲器106-1，106-2，106-3，106-4，处理器108，内存110，存储设备112、头部跟踪系统114、眼睛跟踪系统116、显示器118-1、118-2和/或扬声器120中的部分或全部可作为单个集成系统或设备实现，或作为任意数量的集成和/或部分集成的子系统和/或设备实现。

虽然头部可佩戴装置102包括示例所示的组件，但在一些实施例中，可以省略头部可佩戴装置102的一个或多个组件，或者头部可佩戴装置102可包含其他组件。

计算设备122可以包括至少一个处理器124、至少一个内存126和至少一个存储设备128，以及计算设备中通常包含的其他组件、装置和/或设备，其中一些或全部可是通信耦合的。处理器124可以是任何合适的处理器，例如通用处理器、FPGA和/或图像处理器。例如，计算设备122可以被配置用以接收来自头部可佩戴装置102的位置和方向数据(如，位置和方向数据流)，其中位置和方向数据表示用户头部的位置和方向。例如，计算设备122可以被配置用以接收来自头部可佩戴装置102的头部跟踪系统114的位置和方向数据，至少基于位置和方向数据，处理器124可被配置用以生成与头部可佩戴装置102的佩戴者的左眼视场相对应的左边虚拟图像(如，左边虚拟场景图像)。类似地，至少基于位置和方向数据，处理器124可被配置用以生成与头部可佩戴装置102的佩戴者的右眼视场相对应的右边虚拟图像(如，右边虚拟场景图像)。处理器124可以被配置用以将虚拟图像作为虚拟图像数据输出到头部可佩戴装置102。处理器124可以被配置用以生成左边和右边的虚拟图像流并将左边和右边的虚拟图像流作为虚拟图像流数据输出到头部可佩戴装置102。处理器124可以被配置用以运行各种软件应用程序或计算机代码，这些程序或计算机代码存储(如，维护)在非瞬态计算机可读介质中，和被配置用以执行各种指令或操作。此外，例如，计算设备122或处理器124可为一种特殊用途的计算机或特殊用途的处理器，该计算机或处理器被配置(如，程序编入)为执行整个公开的任何或所有操作的指令。在一些实施例中，图1中的系统可以包括任意数量的计算设备122，如多个。

虽然计算设备122包括示例所示的组件，但在一些实施例中，可以省略计算设备122的一个或多个组件，或者计算设备122可包含其他组件。

头部可佩戴装置102和计算设备122被实施例描述为作为单独的设备或系统实现的，在一些实施例中，部分或全部头部可佩戴装置102和计算设备122可是单个集成系统或设备，或任何数量的集成和/或部分集成子系统和/或设备。

虽然图1示例包括了所示的组件，但在一些实施例中，可以省略系统一个或多个组件，或者系统可包含其他组件。此外，虽然一个实施例被描述为包括一头部可佩戴装置102和一个计算设备122，但其他实施例可包括定位或移动在系统中的任何位置的任何数量的各种类型的头部可佩戴装置102和各种类型的计算设备122。

参照图2所示的图1中的头部可佩戴装置102的眼睛跟踪系统116，眼睛跟踪系统116可以被配置用以跟踪眼睛的姿态，跟踪用户的眼球运动，追踪用户的目光，确定用户凝视的收敛点的位置(有时称为注视点)，确定眼睛的位置，确定用户眼睛之间的瞳孔内部距离(IPD)，确定用户眼睛的确定位置和每个用户眼睛的收敛点的确定位置之间的方向，和/或从用户的眼睛接收输入。眼睛跟踪系统116可以被配置用以实时执行全自动的用户眼睛跟踪操作。眼睛跟踪系统116可以包括至少一个传感器202，至少一个处理器204，内存206和存储设备208，如图2所示，以及通常包含在眼睛跟踪系统中的其他组件、装置和/或设备。传感器202、处理器204、内存206和存储设备208，以及通常包含在眼睛跟踪系统中的其他组件、装置和/或设备，可是通信耦合的。

眼睛跟踪系统116的处理器204可以被配置用以处理从传感器202接收到的数据，和将处理后的数据输出到处理器108和/或计算设备122。例如，处理器204可以配置用以确定用户凝视的收敛点的位置、确定眼睛的位置、确定用户眼睛之间的瞳孔内距离(IPD)，和/或确定用户眼睛的确定位置和每个用户眼睛的收敛点的确定位置之间的方向。此外，例如，处理器204可以配置用以生成与这些确定的信息相关的数据，和将生成的数据输出到处理器108和/或计算设备122。眼睛跟踪系统116的处理器204可以被配置用以运行各种软件应用程序或计算机代码，这些程序或计算机代码存储在非瞬态计算机可读介质中，和被配置用以执行各种指令或操作。处理器204可以为一种特殊用途的处理器，该处理器被配置用以执行整个公开的任何或所有操作的指令。

参照图3所示的图1中的头部可佩戴装置102的头部跟踪系统114，头部跟踪系统114可以被配置用以确定和跟踪用户头部相对于环境的位置和方向，如训练环境。头跟踪系统114可以被配置用以实时执行全自动头部跟踪操作。头部跟踪系统114可以包括传感器302、处理器304、内存306和存储设备308，如图3所示，以及头部跟踪系统中通常包含的其他组件、装置和/或设备。传感器302、处理器304、内存306、存储设备308以及头部跟踪系统中通常包括的其他组件、装置和/或设备可是通信耦合的。

头部跟踪系统114的处理器304可以被配置用以处理从传感器302接收到的数据，并将处理后的数据输出到计算设备122和/或处理器108。例如，处理器304可以配置用以确定和跟踪用户头部相对于训练环境的位置和方向。此外，例如，处理器304可以被配置用以生成与这些确定的信息相关的位置和方向数据，和将生成的位置和方向数据输出到计算设备122和/或处理器108。头部跟踪系统114的处理器304可以被配置用以运行各种软件应用程序或计算机代码，这些程序或计算机代码存储在非瞬态计算机可读介质中，和被配置用以执行各种指令或操作。处理器304可以为一种特殊用途的处理器，该处理器被配置用以执行整个公开的任何或所有操作的指令。

参照图4，描述了根据本文公开的发明构思的图像处理流水线的实施例。例如，图像处理流水线可以在处理器108和/或缓冲器106-1、106-2、106-3和/或106-4中实现。图像处理流水线可以被配置用以对来自摄像机104-1、104-2的实时真实场景图像数据进行预处理，和准备将实时真实场景图像数据与虚拟场景图像数据进行融合。图像处理流水线可以包括左边和右边的摄像机输入/输出接口402-1、402-2，左边和右边部分帧缓冲404-1、404-2，左边和右边去马赛克406-1、406-2，左边和右边失真校正408-1、408-2，左边和右边前景分离410-1、410-2，左边和右边α平滑412-1、412-2，左边和右边色差校正414-1、414-2，交互416，虚拟图像输入/输出接口418，混合420，混合图像输入/输出接口422，和视频计时器424。

左边和右边摄像机输入/输出接口402-1，402-2可以包括将左边和右边真实场景图像作为左边和右边的真实场景图像数据分别从左边摄像机104-1和右边摄像机104-2传输到缓冲器106-1、106-2。根据从视频计时器424接收到的“同步锁定的”快门触发，从摄像机104-1、104-2上推送现实场景视频数据帧。

左边和右边部分帧缓冲404-1，404-2可分别包括缓冲器106-1、106-2中的左边和右边真实场景图像的部分帧缓冲。例如，在处理器108从每个缓冲器106-1，106-2读取真实场景图像数据的行之前，只有几行真实场景图像数据被写入每个缓冲器106-1，106-2。

在一些实施例中，图像处理流水线包括左边和右边去马赛克406-1、406-2的步骤。左边和右边去马赛克406-1、406-2的步骤可包括处理器108从每个右边和左边真实场景图像中去除拜耳编码，从而产生红绿蓝(RGB)真实场景图像数据。

关于左边和右边失真校正408-1、408-2，处理器108可以被配置用以校正由摄像机104-1、104-2各自的镜头引起的失真，同时校正由显示器118-1、118-2各自所引起的失真。通过应用失真校正，处理器108使得每个真实场景图像在头部可佩戴装置102的每个显示器118-1、118-2中观看时呈现是无失真的。此外，通过应用失真校正，每个真实场景图像可以与相应的虚拟场景图像自然地混合，处理器124可以生成这些虚拟场景图像来解释显示器失真。将镜头失真校正和显示器失真校正组合成单个失真校正来最小化处理延迟，因为失真校正是图像处理流水线中的最高延迟处理。由于每个镜头失真校正和显示器失真校正都包括坐标变换，通过组合镜头失真校正和显示器失真校正可以跳过中间变换。因此，组合失真校正的操作会产生单个坐标变换而不是两个坐标变换。在一些实施例中，失真校正功能使用内存优化、流式实现。流式失真校正操作可只需要一个传统失真校正器的延迟和缓冲内存的一小部分。例如，所需的缓冲可由变换中最坏情况下的垂直失真决定，这可生成任何给定单行输出所需的输入行坐标的最大差异。在一个实施例中，最坏情况下的垂直失真可是大约25行图像；然而，在其他实施例中，最坏的情况可有所不同。

对于左边和右边前景分离410-1、410-2，处理器108可以被配置用以对每个左边和右边失真校正的真实场景图像中的每个像素生成混合值A。混合值A表示前景(真实)与背景(虚拟)像素选择。左边和右边前景分离410-1、410-2的每一步根据公式：B＝A·V+(1-A)·R生成每个像素混合值A，被用于虚拟场景图像和真实场景图像混合步骤420中，其中B、V和R分别是混合像素值、虚拟像素值和现实像素值，A为范围[0.0，1.0]内的混合比。前景分离包括识别用户视野中的哪些现实对象将被包含在混合现实场景中，和识别哪些现实对象将被虚拟环境隐藏。实施例可以利用任何合适的前景分离方法，如色度键控前景分离或深度传感器前景分离。例如，在包含色度键控的实施例中，处理器108可以被配置用以与真实场景图像相匹配，而不是预先选定的“键颜色”值(如，“绿色屏幕”颜色)并计算混合值A，对应于像素相匹配的键颜色。色度键控可以在色调、饱和度和明度(HSV)颜色空间而不是RGB中执行颜色匹配，这基于颜色色调和较少的强度或亮度允许更大程度地加权匹配。利用HSV颜色空间，在绿色屏幕环境中，尽管有光照变化(如，阴影)，色度键控仍能持续执行。

对于左边和右边的混合值平滑(如，α平滑)412-1、412-2，处理器108可以被配置用以执行平滑操作以降低噪音并提高前景分离的质量。色度键控和深度传感往往是有噪音的处理。为了显著降低噪声和提高视频融合的视觉质量，可以进行一些形态学操作。例如，色度键控经常导致摄像机中的热/点噪声产生假阳性的(前景对象被识别为绿色屏幕)散斑噪声。这样的热/点噪声可是溶解混合现实混合的主要因素。在一些实施例中，执行平滑操作可包括执行2或3像素的开运算(如，先腐蚀后膨胀)以减少此类斑点噪声。

对于左边和右边色差校正414-1、414-2，处理器108可被配置用以校正左边和右边真实场景图像和混合值的色差失真。执行色差校正解决了显示镜头在图像数据流上的棱镜效应。色差是指不同波长的光通过镜头在不同角度折射的事实。因此，给定的像素应该被渲染到屏幕上，像素的红色、绿色和蓝色组件在显示器上稍微倾斜，以抵消这种影响，并使正确的颜色出现在用户的眼睛上。要执行色差校正，唯一的失真模式可以独立应用于每个红色、绿色和蓝色通道。此外，由于前景分离410-1、410-2步骤中计算的混合值A应用于组合的RGB像素，当分离颜色通道时，混合值分别跟随每个颜色通道使得每个颜色平面可以独立地混合，从虚拟到现实。因此，处理器108执行相同的色差校正操作，其可以包括在混合值通道上作为颜色值的双线性插值，以确保当颜色值经历失真时，现实虚拟边界的平滑图形保真。作为执行每一左边和右边色差校正414-1、414-2的结果，处理器108输出一个三个独立的彩色平面流，每个都有自己的混合值通道以混合到混合现实场景中。左边和右边真实场景图像流已经被转换成与左边和右边虚拟场景图像的几何形状对齐，并且已经被处理来将前景分离以覆盖在虚拟场景的顶部。

在一些实施例中，对于交互416，处理器108可以被配置用以交互左边的经过处理的真实场景图像和右边的经过处理的真实场景图像的颜色平面。

通过虚拟图像输入/输出接口418的左边和右边虚拟图像可以包括处理器108接收来自处理器124的左边和右边虚拟场景图像作为左边和右边虚拟场景图像数据。

对于混合420，处理器108可以被配置用以将每个左边和右边真实场景图像与相应的虚拟场景图像混合。处理器108可以独立地混合每个颜色平面通过使用在色差校正步骤414-1、414-2中生成的每个颜色平面的关联混合值通道。因此，处理器可以被配置用以通过混合图像输入/输出接口422将左边和右边混合现实场景图像输出到头部可佩带装置102的佩戴用户的用于演示的显示器118-1、118-2上。

视频计时器424可以被配置用以同步系统。例如，视频计时器424可以被配置用以及时为每一帧触发事件，以便摄像机数据可以尽可晚到达，以最小化延迟。视频计时器424可被配置用以确保摄像机104-1、104-2和虚拟场景图像源保持“同步耦合”，以最小化定时抖动和缓冲要求。例如，视频计时器424可以被配置用以基于生成虚拟场景图像的定时触发摄像机104-1、104-2的快门。

在一些实施例中，通过调整前景分离410-1、410-2和混合值平滑412-1、412-2功能，前景分离410-1、410-2和混合值平滑412-1、412-2功能可以通过简单的3x3或5x5形态学操作来实现，如逐像素颜色匹配、腐蚀和膨胀，而不是计算成本较高的操作，如斑点检测、洪水填充或分割，这些通常需要通过整个图像的两个或更多的经过，并且这将导致至少一个帧的额外延迟时间。前景分离410-1、410-2和混合值平滑412-1、412-2的功能的流化使实施例能够实现混合现实系统的低延迟要求。

参照图5A，描述了根据本文公开的发明构思的左边摄像机104-1捕捉到的用户拿着枪站在绿色屏幕前的现实场景的实施例。左边真实场景图像可以部分缓冲并提供给处理器108。处理器108可以被配置用以对所公开的左边现场景图像执行各种图像处理操作。

参照图5B，描述了根据本文公开的发明构思的右边摄像机104-2捕捉到的用户拿着枪站在绿色屏幕前的现实场景的实施例。右边真实场景图像可以部分缓冲并提供给处理器108。处理器108可以被配置用以对所公开的左边现场景图像执行各种图像处理操作。

参照图6A，描述了根据本文公开的发明构思的通过处理器124生成的左侧虚场景图像的实施例。处理器124可以被配置用以生成与头部可佩戴装置102的佩戴者左眼视野相对应的左边虚拟场景图像。处理器124可以被配置用以将左边虚拟场景图像输出到头部可佩戴装置102。

参照图6B，描述了根据本文公开的发明构思的通过处理器124生成的右侧虚场景图像的实施例。处理器124可以被配置用以生成与头部可佩戴装置102的佩戴者右眼视野相对应的右边虚拟场景图像。处理器124可以被配置用以将右边虚拟场景图像输出到头部可佩戴装置102。

参照图7A，描述了根据本文公开的发明构思的通过处理器108生成的左边混合现实场景图像的实施例。处理器108可以被配置用以从处理器124接收左边虚拟场景图像。处理器108可以被配置用以混合处理的左边真实场景图像和左边虚拟场景图像以生成左边混合现实场景图像。处理器108可以被配置用以将左边混合现实场景图像输出到头部可佩戴装置102的佩戴者用于演示的显示器118-1上。

参照图7B，描述了根据本文公开的发明构思的通过处理器108生成的右边混合现实场景图像的实施例。处理器108可以被配置用以从处理器124接收右边虚拟场景图像。处理器108可以被配置用以混合处理的右边真实场景图像和右边虚拟场景图像以生成右边混合现实场景图像。处理器108可以被配置用以将右边混合现实场景图像输出到头部可佩戴装置102的佩戴者用于演示的显示器118-2上。

参照图8，描述了根据本文公开的发明构思的视频计时回路图。视频计时可以被调整以及时完成所有操作，使得真实和虚拟视频数据都尽可地闲置，从而可以在循环中尽可晚地关闭摄像机。这可以最小化系统的端到端“光子到显示器像素”延迟。由于虚拟场景图像是由处理器124按固定速率生成的，因此视频计时器424可使用生成虚拟场景图像的固定速率来同步系统的定时。一旦视频计时器424锁定到虚拟视频定时，视频计时器424将生成预期的下一帧时间的即时摄像机快门触发器。例如，视频计时器424可以计算何时发生下一个预期的虚拟帧开始，并且可以减去摄像机的曝光时间加上失真校正步骤(如，408-1、408-2)和其他图像处理流水线函数所需的提前工作时间来调度下一个快门触发器。在一些实施例中，虚拟视频流只需要最小的缓冲，而且由于视频计时器424的存在，在虚拟视频数据变得可用时，始终会即时有现实场景像素数据准备就绪并等待。因此，虚拟视频流作为整个系统的脉动来运行。实施例被配置用以实现适合混合现实应用的低系统延迟。

参照图9，描述了根据本文公开的发明构思的图1中头部可佩带装置102的结构示意图。

在一些实施例中，摄像机104-1、104-2可以被配置用以使用滚动快门而不是全局快门。滚动快门可以有效地从延迟计算中消除传输延迟，这可以减少延迟数毫秒。对于全局快门，传感器中的所有像素同时集成，因此可同时用于消耗。由于像素是按顺序传输的，因此传感器中的最后一个像素在被处理器108接收之前，大部分帧时间都处于空闲状态。对于滚动快门，曝光时间保持不变，但由于每行开始(和结束)的集成时间略晚于前一行，所以它是交错的。在曝光完成后，可以立即输出每一行，并且可以继续处理。因此，可以从“光子到显示器-像素”延迟计算中消除传输延迟。使用滚动快门的一个可的缺点是可会存在撕裂。例如，如果场景中有明显的运动，则由于相机捕捉的动态场景，每行的时间略有不同，因此产生的图像可会被扭曲。撕裂通常只是相对于帧时间(如，以Oculus Rift速率的11毫秒)的快速运动才引人注目。为了减少使用滚动快门时的撕裂，一些实施例可包括利用头部跟踪系统114进行运动跟踪，至少部分补偿撕裂影响。例如，通过使用来自头部跟踪系统114的位置和方向数据，处理器108可以计算用户头部运动的效果，并根据每行调整失真校正函数，以补偿撕裂。这种补偿可会产生更稳定的图像，类似于全局快门。由于用户头部运动很可是混合现实应用中运动和撕裂的主要来源，利用头部跟踪系统114进行运动跟踪，可显著补偿撕裂影响。

一些实施例可以利用异步重投影来减少感知延迟。异步重投影可包括利用头部跟踪系统114进行运动跟踪至少部分补偿感知延迟。例如，通过使用来自头部跟踪系统114的位置和方向数据，处理器108可以通过在显示器118-1、118-2显示场景之前几毫秒预测用户的头部位置来弥补现实视频处理中的延迟。对于异步重投影，摄像机104-1、104-2可被配置用以捕获比显示器118-1、118-2显示的场景更宽的视野。例如，摄像机118-1、118-2可以被配置用以在显示场景的每个边缘捕获5-10％的额外像素。当处理器108检测到用户的头部向左转弯时，处理器108可以修正失真校正函数以将额外的量平移到左侧，以便在实际生成场景时根据用户的头部预测的位置在左侧边缘绘制额外的像素(如，5-10％的额外像素)。

参照图10，描述了根据本文公开的发明构思的一种方法1000可包括以下一个或多个步骤。此外，例如，一些实施例可包括以迭代、并发和/或顺序执行方法1000的多个实例。此外，例如，至少该方法的一些步骤可以并行执行和/或同时执行。例如，方法1000的左边和右边实例可以同时执行，并且可以针对连续帧重复。

步骤1002可包括通过缓冲器缓冲与来自摄像机的真实场景图像对应的真实场景图像数据的一部分。

步骤1004可包括通过至少一个处理器对真实场景图像执行组合失真校正操作，以校正由摄像机镜头引起的失真，同时校正由显示器所引起的失真，其中组合失真校正操作生成失真校正的真实场景图像数据。

步骤1006可包括通过至少一个处理器对失真校正的真实场景图像数据进行前景分离操作，为失真校正的真实场景图像数据的每个像素生成一混合值。

步骤1008可包括通过至少一个处理器对混合值执行平滑操作，其中平滑操作生成平滑的混合值。例如，平滑操作会在将真实对象与虚拟场景混合时生成更小的噪声和更清晰的边缘。

步骤1010可包括通过至少一个处理器对失真校正的真实场景图像数据的每一个红色通道、绿色通道和蓝色通道和与每一个红色通道、绿色通道和蓝色通道相关的平滑混合值执行色差失真校正操作，其中的色差失真校正操作的执行生成红色通道色差失真校正的真实场景图像数据、绿色通道色差失真校正的真实场景图像数据、蓝色通道色差失真校正的真实场景图像数据、和与红色通道色差失真校正的真实场景图像数据、绿色通道色差失真校正的真实场景图像数据、蓝色通道色差失真校正的真实场景图像数据相关的色差失真校正的平滑混合值。视频的红色、绿色和蓝色通道可单独失真，以校正显示器镜头的色差。混合值可会以相同的方式即各颜色通道单独失真，以便三色通道的前景/背景混合像素通过镜头返回眼睛时对齐。

步骤1012可包括通过至少一个处理器接收与虚拟场景图像对应的虚拟场景图像数据。

步骤1014可包括，至少基于色差失真校正的平滑混合值，通过至少一个处理器将红色通道色差失真校正的真实场景图像数据，绿色通道色差失真校正的真实场景图像数据，和蓝色通道色差失真校正的真实场景图像数据与虚拟场景图像数据融合来创建混合现实场景图像作为混合现实场景图像数据。

步骤1016可包括通过至少一个处理器，将混合现实场景图像数据输出到显示器用以展示给用户。

进一步地，方法1000可包括在整个过程中公开的任何操作。

从以上可以理解，根据本文公开的发明构思实施例中的方法、系统和至少一个头部可佩戴装置可以被配置用以减少混合现实处理的延迟。

通篇使用的，本领域技术人员应当理解，“至少一种非瞬态的计算机可读介质”可指至少一种非瞬态的计算机可读介质(如，内存110、内存126、内存206、内存306、缓冲器106-1、缓冲器106-2、缓冲器106-3、缓冲器106-4、存储设备112、存储设备128、存储设备208、存储设备308、或其组合；如，至少有一种计算机可读的介质实现为硬件；如，至少一种非瞬态处理器可读的介质，至少一个内存(如，至少一个非易失存储器，至少一个易失存储器，或其组合；如，至少一个随机存取存储器，至少一个闪存，至少一个只读内存存储器(ROM)(如，至少一个带电可擦可编程只读存储器((EEPROM))，至少一个处理器内存(如，至少一个处理器缓存，至少一个处理器缓冲，至少一个处理器闪存，至少一个处理器带电可擦可编程只读存储器，或其组合)，或其组合)，至少一个存储设备(如，至少一个硬盘驱动器，至少一个磁带驱动器，至少一个固态驱动器，至少一个闪存驱动器，至少一个光驱的可读和/或可写磁盘配置用以读取和/或写入至少一个可读和/或可写的磁盘，或其组合)，或其组合)。

通篇使用的，“至少一个”表示一个或多个；例如，“至少一个”可包括一、二、三……一百或更多。类似地，通篇使用的“一个或更多”表示一个或多个；例如，“一个或更多”可包括一、二、三……一百或更多。进一步地，通篇使用的“零或多个”表示零、一或更多；例如，“零或多个”可包括零、一、二、三……一百或更多。

在本披露中，公开的方法、操作和/或功能可以作为一组指令或一个设备可读的软件来实现。进一步地，可以理解公开的方法、操作和/或功能中的步骤的特定顺序或层次结构是示例性方法的示例。根据设计偏好，可以理解方法、操作和/或功能中的步骤的特定顺序或层次结构可以重新安排，同时保留在本发明中。随附的权利要求可以按实施例顺序表示各个步骤的元素，并不一定要局限于所提出的特定顺序或层次结构。

要理解的是，根据本发明构思公开的方法实施例可包含本发明中描述的一个或多个步骤。进一步地，这些步骤可以按照任何期望的顺序执行，并且可以同时执行两个或两个以上的步骤。此处公开的两个或多个步骤可以组合在一个步骤中，在一些实施例中，一个或多个步骤可以作为两个或多个子步骤进行。进一步地，还可以采取其他步骤或分步骤，或作为在本发明中披露的一个或多个步骤的替代。

从上述描述中，很清楚，此处公开的发明构思可以很好地实现此处所述的目的，并获得此处所述的优点以及此处公开的发明构思中所固有的优点。虽然为了此处公开的目的描述了此处公开的发明构思的当前优选实施例，但是应当理解，还可以进行许多改变；这些改变对于本领域技术人员来说将是显而易见的，并落在此处公开的发明构思和权利要求的范围内。

Claims (20)

1.一种头部可佩戴装置，包括：

一显示器；

一摄像机，被配置用以捕捉真实场景图像；

与所述摄像机通信耦合的一缓冲器，所述缓冲器被配置用以缓冲与来自所述摄像机的所述真实场景图像对应的至少一部分真实场景图像数据；和

与所述缓冲器通信耦合的至少一个处理器，所述至少一个处理器被配置用以：

对所述真实场景图像执行组合失真校正操作，以校正由所述摄像机的镜头引起的失真，同时校正由显示器所引起的失真，其中组合失真校正操作的执行产生失真校正的真实场景图像数据；

对所述失真校正的真实场景图像数据进行前景分离操作，为所述失真校正的真实场景图像数据的每个像素生成一混合值；

对所述混合值执行平滑操作，其中所述平滑操作的执行生成平滑的混合值；

对所述失真校正的真实场景图像数据的红色通道、绿色通道和蓝色通道中的每一个和与所述红色通道、绿色通道和蓝色通道中每一个相关的平滑的混合值执行色差失真校正操作，其中的所述色差失真校正操作的执行生成红色通道处理的真实场景图像数据、绿色通道处理的真实场景图像数据、蓝色通道处理的真实场景图像数据、以及与所述红色通道处理的真实场景图像数据、所述绿色通道处理的真实场景图像数据和所述蓝色通道处理的真实场景图像数据相关的处理的混合值；

接收与一虚拟场景图像对应的虚拟场景图像数据；

至少基于处理的混合值，混合所述红色通道处理的真实场景图像数据、所述绿色通道处理的真实场景图像数据和蓝色通道处理的真实场景图像数据与所述虚拟场景图像数据，以创建一混合现实场景图像作为混合现实场景图像数据；和

将所述混合现实场景图像数据输出到所述显示器以展示给用户。

2.根据权利要求1所述的头部可佩戴装置，其中，所述显示器是一左边显示器，所述左边显示器被配置用以向用户的左眼显示一左边混合现实场景图像，其中，所述摄像机是一左边摄像机，所述左边摄像机被配置用以沿着用户左眼视场捕捉左边真实场景图像，其中，所述头部可佩戴装置进一步包括一右边显示器和一右边摄像机，所述右边显示器被配置用以向用户的右眼显示一右边混合现实场景图像，所述右边摄像机被配置用以沿着用户右眼视场捕捉右边真实场景图像。

3.根据权利要求1所述的头部可佩戴装置，其中，所述至少一个处理器还被配置用以在所述组合失真校正操作的执行之前从所述真实场景图像中去除拜耳编码。

4.根据权利要求1所述的头部可佩戴装置，进一步包括一视频计时器，所述视频计时器被配置用以根据生成所述虚拟场景图像的时间同步所述摄像机的快门。

5.根据权利要求1所述的头部可佩戴装置，其中，所述缓冲器是部分帧缓冲器，所述部分帧缓冲器被配置用以缓冲小于与来自所述摄像机的所述真实场景图像对应的所述真实场景图像数据的完整帧。

6.根据权利要求5所述的头部可佩戴装置，其中，所述部分帧缓冲器通过直接内存存取实施。

7.根据权利要求1所述的头部可佩戴装置，其中，所述摄像机采用全局快门实施。

8.根据权利要求1所述的头部可佩戴装置，其中，所述摄像机采用滚动快门实施。

9.一种方法，包括：

通过缓冲器缓冲至少一部分与来自摄像机的真实场景图像对应的真实场景图像数据；

通过至少一个处理器对所述真实场景图像执行组合失真校正操作，以校正由摄像机的镜头引起的失真，同时校正由显示器所引起的失真，其中所述组合失真校正操作的执行生成失真校正的真实场景图像数据；

通过所述至少一个处理器对所述失真校正的真实场景图像数据进行前景分离操作，为所述失真校正的真实场景图像数据的每个像素生成一混合值；

通过所述至少一个处理器对所述混合值执行平滑操作，其中所述平滑操作的执行生成平滑的混合值；

通过所述至少一个处理器对所述失真校正的真实场景图像数据的每一个红色通道、绿色通道和蓝色通道以及与每一个红色通道、绿色通道和蓝色通道相关的所述平滑的混合值执行色差失真校正操作，其中所述色差失真校正操作生成红色通道处理的真实场景图像数据、绿色通道处理的真实场景图像数据、蓝色通道处理的真实场景图像数据、以及与每个所述红色通道处理的真实场景图像数据、绿色通道处理的真实场景图像数据和蓝色通道处理的真实场景图像数据相关的处理的混合值；

通过所述至少一个处理器接收与一虚拟场景图像对应的虚拟场景图像数据；

至少基于处理的混合值，通过所述至少一个处理器将所述红色通道处理的真实场景图像数据、绿色通道处理的真实场景图像数据和蓝色通道处理的真实场景图像数据与所述虚拟场景图像数据混合，以创建混合现实场景图像作为混合现实场景图像数据；和

通过所述至少一个处理器将所述混合现实场景图像数据输出到显示器用以展示给用户。

10.根据权利要求9所述的方法，进一步包括：当缓冲与来自所述摄像机的所述真实场景图像相对应的至少部分所述真实场景图像数据时，从所述真实场景图像中去除拜耳编码。

11.根据权利要求9所述的方法，进一步包括：通过一视频计时器，根据生成虚拟场景图像的时间同步所述摄像机的快门。

12.根据权利要求9所述的方法，其中，通过所述缓冲器缓冲至少部分与来自所述摄像机的所述真实场景图像对应的真实场景图像数据，通过所述缓冲器缓冲小于与来自所述摄像机的所述真实场景图像对应的所述真实场景图像数据的完整帧。

13.根据权利要求9所述的方法，其中，所述至少一个处理器、所述缓冲器、所述显示器和所述摄像机在头部可佩戴装置中实施，其中，所述摄像机被配置用以与用户眼睛的视场对齐。

14.根据权利要求9所述的方法，其中，所述方法的延迟小于1毫秒。

15.根据权利要求9所述的方法，其中，所述前景分离操作是色度键控前景分离操作。

16.根据权利要求9所述的方法，其中，所述前景分离操作是深度传感器前景分离操作。

17.根据权利要求9所述的方法，其中，所述摄像机采用滚动快门实现。

18.根据权利要求17所述的方法，进一步包括：

通过一头部跟踪系统跟踪用户头部相对于环境的位置和方向；

通过所述头部跟踪系统的一处理器，生成表示用户头部相对于环境的位置和方向的位置和方向数据；和

通过所述至少一个处理器，利用所述位置和方向数据来补偿撕裂。

19.根据权利要求9所述的方法，进一步包括：

通过一头部跟踪系统跟踪用户头部相对于环境的位置和方向；

通过所述头部跟踪系统的一处理器，生成表示用户头部相对于环境的位置和方向的位置和方向数据；和

通过所述至少一个处理器，利用所述位置和方向数据执行异步重投影。

20.一种方法，包括：

一显示器；

一摄像机，被配置用以捕捉真实场景图像；

与所述摄像机通信耦合的一缓冲器，所述缓冲器被配置用以缓冲至少一部分与来自所述摄像机的所述真实场景图像对应的真实场景图像数据；和

与所述缓冲器通信耦合的至少一个处理器，所述至少一个处理器被配置用以：

对所述真实场景图像执行组合失真校正操作，以校正由所述摄像机镜头引起的失真，同时校正由所述显示器引起的失真，其中所述组合失真校正操作的执行生成失真校正的真实场景图像数据；

对所述失真校正的真实场景图像数据进行前景分离操作，为所述失真校正的真实场景图像数据的每个像素生成一混合值；

对所述混合值执行平滑操作，其中所述平滑操作的执行生成平滑的混合值；

对所述失真校正的真实场景图像数据的每一个红色通道、绿色通道和蓝色通道以及与每一个红色通道、绿色通道和蓝色通道相关的所述平滑的混合值执行色差失真校正操作，其中所述的色差失真校正操作的执行生成红色通道处理的真实场景图像数据、绿色通道处理的真实场景图像数据、蓝色通道处理的真实场景图像数据、和与每个所述红色通道处理的真实场景图像数据、绿色通道处理的真实场景图像数据和蓝色通道处理的真实场景图像数据相关的处理的混合值；

接收与一虚拟场景图像对应的虚拟场景图像数据；

至少基于处理的混合值，将所述红色通道处理的真实场景图像数据、绿色通道处理的真实场景图像数据和蓝色通道处理的真实场景图像数据与所述虚拟场景图像数据混合，以创建混合现实场景图像作为混合现实场景图像数据；和

将所述混合现实场景图像数据输出到显示器用以展示给用户。