CN115661418A - 混合现实显示装置、方法、设备及存储介质 - Google Patents

Abstract

本发明实施例提供了一种混合现实显示装置、方法、设备及存储介质，该装置包括：系统框架层以及图形系统，系统框架层设有触发模块、摄像模块，图形系统设有双目渲染模块、视频透视叠加模块。通过在系统中的图形系统中添加双目渲染模块、视频透视叠加模块，可以将该原生系统中的各个应用程序界面渲染为头戴式电子显示设备中的虚拟画面，并和两路摄像头捕获的实时实景视频进行叠加，能够让用户在使用头戴式电子显示设备时无须摘下显示设备即可与现实世界互动，同时支持对该系统中的所有第三方应用程序进行虚拟渲染显示，大大地提高了混合现实显示的使用范围，使得混合现实显示方法能够适用到各个应用场景中，进一步提高了该方法使用的灵活可靠性。

Description

混合现实显示装置、方法、设备及存储介质

技术领域

本申请涉及智能可穿戴技术领域，尤其涉及一种混合现实显示装置、方法、设备及存储介质。

背景技术

混合现实(Mixed Reality，简称MR)是一种利用计算机图像技术、传感技术与可视化穿戴技术，实现数字虚拟对象与现实世界对象共存的可视化环境，并能够使用户在对现实世界正常感知的基础上，构建虚拟与现实世界交互的反馈回路，达到虚拟世界与现实世界及时的深度互动。

传统的混合现实方案中，通常可以使用视频透视技术（Video See-Through，简称VST）来实现的混合现实显示，通过安装与MR眼镜匹配的特定应用程序，在特定的应用程序内完成VST视频和虚拟窗口界面的叠加，并基于特定的应用程序实现现实世界与混合世界的交互。然而，这种方式用户必须运行指定的应用程序，再连接MR眼镜才能实现预期效果。

发明内容

本申请实施例提供一种混合现实显示装置、方法、设备及存储介质，不仅能够更简便地实现混合现实显示，还可以提高混合现实显示使用的灵活可靠性。

第一方面，本申请实施例提供了一种混合现实显示装置，该装置包括：

系统框架层以及图形系统，所述系统框架层设有触发模块、摄像模块，所述图形系统设有双目渲染模块、视频透视叠加模块；

所述触发模块，用于监听所述装置与所述头戴式电子显示设备的通信连接状态，若监听到所述装置与所述头戴式电子显示设备已建立通信连接，则发送采集指令至所述摄像模块，以使所述摄像模块基于所述采集指令采集现实环境所对应的实时视频流数据，并发送所述实时视频流数据至所述视频透视叠加模块；

所述双目渲染模块，用于获取待显示的图形帧，对所述待显示的图像帧进行双目渲染处理，生成虚拟画面，并将所述虚拟画面发送至所述视频透视叠加模块；

所述视频透视叠加模块，用于接收所述摄像模块发送的实时视频流数据以及所述双目渲染模块发送的虚拟画面，对所述实时视频流数据和所述虚拟画面进行叠加处理，获得目标显示画面，将所述目标显示画面发送至所述头戴式电子显示设备，以通过所述头戴式电子显示设备显示所述目标显示画面。

第二方面，本申请实施例提供了一种混合现实显示方法，包括：

监听混合现实显示装置与所述头戴式电子显示设备的通信连接状态，若监听到所述装置与所述头戴式电子显示设备已建立通信连接，则采集现实环境所对应的实时视频流数据；

获取待显示的图形帧，对待显示的图像帧进行双目渲染处理，生成虚拟画面；

对所述实时视频流数据和所述虚拟画面进行叠加处理，获得目标显示画面，将所述目标显示画面发送至头戴式电子显示设备，以通过头戴式电子显示设备显示目标显示画面。

第三方面，本申请实施例提供了一种电子设备，包括：存储器、处理器；其中，存储器，用于存储程序；

处理器，与存储器耦合，用于执行存储器中存储的程序，以用于：

所述存储器，用于存储程序；

所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以用于：

监听混合现实显示装置与所述头戴式电子显示设备的通信连接状态，若监听到所述装置与所述头戴式电子显示设备已建立通信连接，则采集现实环境所对应的实时视频流数据；

获取待显示的图形帧，对待显示的图像帧进行双目渲染处理，生成虚拟画面；

对所述实时视频流数据和所述虚拟画面进行叠加处理，获得目标显示画面，将所述目标显示画面发送至头戴式电子显示设备，以通过头戴式电子显示设备显示目标显示画面。

第四方面，本发明实施例提供了一种计算机存储介质，用于储存计算机程序，所述计算机程序使计算机执行时实现如下方法：

监听混合现实显示装置与所述头戴式电子显示设备的通信连接状态，若监听到所述装置与所述头戴式电子显示设备已建立通信连接，则采集现实环境所对应的实时视频流数据。

获取待显示的图形帧，对待显示的图像帧进行双目渲染处理，生成虚拟画面。

接收实时视频流数据以及虚拟画面，对实时视频流数据和虚拟画面进行叠加处理，获得目标显示画面，将目标显示画面发送至头戴式电子显示设备，以通过头戴式电子显示设备显示目标显示画面。

第五方面，本发明实施例提供了一种计算机程序产品，包括：计算机程序，当所述计算机程序被电子设备的处理器执行时，使所述处理器执行上述第二方面所示的混合现实显示方法中的步骤。

本申请实施例提供的技术方案，在系统框架层设有触发模块、摄像模块，在图形系统设有双目渲染模块、视频透视叠加模块。通过触发模块，监听与头戴式电子显示设备的通信连接状态，若监听到与头戴式电子显示设备已建立通信连接，则发送采集指令至摄像模块，以使摄像模块基于采集指令采集现实环境所对应的实时视频流数据，并发送实时视频流数据至所述视频透视叠加模块。接着基于双目渲染模块，获取待显示的图形帧，对待显示的图像帧进行双目渲染处理，生成虚拟画面，并将虚拟画面发送至视频透视叠加模块，而后基于视频透视叠加模块，接收摄像模块发送的实时视频流数据以及双目渲染模块发送的虚拟画面，对实时视频流数据和虚拟画面进行叠加处理，获得目标显示画面，将目标显示画面发送至头戴式电子显示设备，以通过头戴式电子显示设备显示目标显示画面。

在上述方案中，通过在操作系统里的图形系统中添加双目渲染模块、视频透视叠加模块，可以将该原生系统中的各个应用程序界面直接渲染为头戴式电子显示设备中的虚拟画面，渲染过程更快，使得头戴式电子显示设备呈现出更好地显示效果，可以有效避免出现卡顿等情况，避免头戴式电子显示设备中显示画面出现延迟。并且渲染后的虚拟画面可以和头戴式电子显示设备中摄像头捕获的实时实景视频进行叠加，能够让用户在使用头戴式电子显示设备时无须摘下头戴式电子显示设备即可与现实世界互动，同时支持对该系统中的所有第三方应用程序所对应的界面与实时实景视频进行叠加，大大地提高了混合现实显示的使用范围，使得混合现实显示方法能够适用到各个应用场景中，进一步提高了该方法使用的灵活可靠性。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所可以使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请一示例性实施例的一种混合现实显示方法的应用场景示意图；

图2为本申请一示例性实施例的一种混合现实显示系统结构示意图；

图3为本申请一示例性实施例的一种混合现实显示装置的结构示意图；

图4为本申请实施例提供的视频透视叠加模块进行叠加处理的应用场景示意图；

图5为本申请一示例性实施例的一种视频透视叠加模块进行叠加处理的应用示意图；

图6为本申请实施例提供的一种混合现实显示方法的流程示意图；

图7为图3所示的混合现实显示装置所对应的电子设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在本申请实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请实施例和所附权利要求书中所使用的单数形式的“一种”、“”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义，“多种”一般包含至少两种，但是不排除包含至少一种的情况。

应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

取决于语境，如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测（陈述的条件或事件）”可以被解释成为“当确定时”或“响应于确定”或“当检测（陈述的条件或事件）时”或“响应于检测（陈述的条件或事件）”。

还可以说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的商品或者系统中还存在另外的相同要素。

另外，下述各方法实施例中的步骤时序仅为一种举例，而非严格限定。

为了方便本领域技术人员理解本申请实施例提供的技术方案，下面对相关技术进行简要说明：

为了能够让用户在使用MR眼镜的时候无须摘下头戴式电子显示设备即可与现实世界互动，现有基于VST实现的混合现实的技术中提供了以下几种实现方式：

实现方式一，采用特定应用程序，在应用程序内对VST视频和其他虚拟窗口界面进行叠加，以实现混合现实显示，这种方式用户必须运行指定的应用程序，再连接MR眼镜才能实现预期效果。

这种混合现实显示方式，只能将特定应用程序中的虚拟窗口界面与VST视频进行叠加，无法直接将终端设备中的其他虚拟窗口界面与VST视频进行叠加，所能实现的功能有限。若想将其他应用程序中的虚拟窗口界面与VST视频进行叠加，都需要调用该特定的应用程序，终端设备经常出现卡顿等情况，使得头戴式电子显示设备中显示画面出现延迟等情况。另外，不同的厂商制作的MR应用产品需要使用不同厂商特定的应用程序，因此，在使用前需要安装特定的应用程序，这样不仅使得操作很繁琐，而且对处理该显示的终端设备以及头戴式电子显示设备的硬件具有一定的要求，这样使得头戴式电子显示设备较厚重，影响用户的体验感。

实现方式二，采用串流投屏的方式可以把手机或者电脑屏幕画面投屏到眼镜中想达到预期效果，但是串流投屏的延时受限于网络信号，体验较差，并且不能给上层应用程序开放接口，不能实现应用程序反向控制虚拟屏幕，功能和体验局限性较大。

并且，现有的基于视频透视VST的混合现实显示产品，VST只应用于一些限定的应用场景，例如安全边界的控制。然而在很多应用场景中都无法直接应用VST技术来实现混合现实显示。

为了解决上述技术问题，本实施例提供了一种混合现实显示装置、方法、设备及存储介质，其中，混合现实显示方法的执行主体可以为混合现实显示装置，该装置通信连接有头戴式电子显示设备，参考附图1所示：

其中，头戴式电子显示设备可以是虚拟现实（Virtual Reality，简称VR）眼镜、混合现实（Mixed Reality，简称MR）眼镜、VR头戴显示设备（Head-Mounted Display，简称HMD）等设备。并且，可以在头戴式电子显示设备上安装有双目摄像头，即左右两个摄像头，通过双目摄像头可以分别采集现实环境所对应的两路实时视频流数据，这样获得的两路实时视频流数据更接近于人体双眼看到的现实环境，可以使得用户看到具备3D效果的沉浸式画面。

其中，混合现实显示装置是指可以提供混合现实显示处理的设备，在物理实现上，混合现实显示装置可以是任何能够提供计算服务，响应混合现实显示处理服务，并可以进行混合现实处理的设备，具体实现时，混合现实显示装置可以是手机、个人电脑PC、平板电脑等等。此外，混合现实显示装置的基本结构可以包括：至少一个处理器。处理器的数量取决于混合现实显示装置的配置和类型。混合现实显示装置也可以包括存储器，该存储器可以为易失性的，例如RAM，也可以为非易失性的，例如只读存储器（Read-Only Memory，简称ROM）、闪存等，或者也可以同时包括两种类型。存储器内通常存储有操作系统（OperatingSystem，简称OS）、一个或多个应用程序，也可以存储有程序数据等。除了处理单元和存储器之外，客户端还包括一些基本配置，例如网卡芯片、IO总线、显示组件以及一些外围设备等。可选地，一些外围设备可以包括，例如键盘、鼠标、输入笔、打印机等。其它外围设备在本领域中是众所周知的，在此不做赘述。

需要注意的是：该混合现实显示装置中存储的操作系统，其该操作系统模块的系统框架层设有触发模块、摄像模块、虚拟屏控制模块、显示服务切换等功能模块，该操作系统中的图形系统设有双目渲染模块、视频透视叠加模块等功能模块，该操作系统还包括应用程序接口层，通过该接口可以连接各自应用程序，可以根据实际需求添加不同的功能模块。并且在本实施例中，通过在原生操作系统中添加多种模块，可以将该原生操作系统中的任意应用程序界面渲染为头戴式电子显示设备中的虚拟画面，并和头戴式电子显示设备中两路摄像头捕获的实时实景视频进行叠加，以实现用户在使用头戴式电子显示设备时无须摘下头戴式电子显示设备即可与现实世界互动。

具体的，混合现实显示系统的结构示意图，如附图2所示。混合现实显示系统中包括混合现实显示装置和MR眼镜。其中，混合现实装置包括系统模块，系统模块包括应用程序接口层、系统框架层以及原生图形系统（图形系统），并且系统框架层设有显示装置连接触发事件派发模块（触发模块）、摄像头服务模块（摄像模块）、虚拟屏控制模块、显示服务切换模块，原生图形系统设有虚拟屏双目渲染模块（双目渲染模块）、VST叠加模块（视频透视叠加模块）。MR眼镜包括MR眼镜显示屏、左路摄像头、以及右路摄像头。MR眼镜显示屏分为左显示屏幕和右显示屏幕，可以分别在左右显示屏幕中分别显示叠加后的目标显示画面。

在上述本实施例中，头戴式电子显示设备可以与混合现实显示装置进行有线连接，该有线连接包括但不局限于Type-C。头戴式电子显示设备也可以与混合现实显示装置进行网络连接，该网络连接可以是无线或有线网络连接。

在本申请实施例中，混合现实显示装置中的触发模块可以实时监听该装置与头戴式电子显示设备的通信连接状态，当用户有混合现实显示需求时，将头戴式电子显示设备与混合现实显示装置建立通信连接后，混合现实显示装置中的触发模块就会监听到该装置与头戴式电子设备已建立通信连接，然后发送采集指令至摄像模块，以使摄像模块基于采集指令采集现实环境所对应的实时视频流数据，并发送实时视频流数据至视频透视叠加模块。并基于双目渲染模块，获取待显示的图形帧，对待显示的图像帧进行双目渲染处理，生成虚拟画面，并将虚拟画面发送至视频透视叠加模块。而后，视频透视叠加模块，接收摄像模块发送的实时视频流数据以及双目渲染模块发送的虚拟画面，对实时视频流数据和虚拟画面进行叠加处理，获得目标显示画面，将目标显示画面发送至头戴式电子设备，以通过头戴式电子设备显示目标显示画面，能够让用户在使用头戴式电子显示设备时无须摘下头戴式电子显示设备即可与现实世界互动，同时支持对该系统中的所有第三方应用程序进行虚拟渲染显示，大大地提高了混合现实显示的使用范围，使得混合现实显示方法能够适用到各个应用场景中，进一步提高了该方法使用的灵活可靠性。

本实施例提供的技术方案，通过在操作系统里的图形系统中添加双目渲染模块、视频透视叠加模块，可以将该原生系统中的各个应用程序界面直接渲染为头戴式电子显示设备中的虚拟画面，不在需要依赖特定的应用程序调用原生生系统中的各个应用程序，在特定应用程序中显示各个应用程序所对应的界面窗口后，再渲染为头戴式电子显示设备中的虚拟画面，使得渲染过程更快。并且渲染出的虚拟画面可以和两路摄像头捕获的实时实景视频进行叠加，使得头戴式电子显示设备呈现出更好地显示效果，可以有效避免出现卡顿等情况。并且在本申请实施例中，通过混合现实显示装置进行混合现实显示处理，头戴式电子显示设备可以只用于显示虚拟混合显示画面，使得头戴式电子显示设备较轻薄，用户的使用体验感更好。

下面结合附图，对本申请的一些实施方式作详细说明。在各实施例之间不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。另外，下述各方法实施例中的步骤时序仅为一种举例，而非严格限定。

图3为本申请一示例性实施例的一种混合现实显示装置的结构示意图；参考附图3所示，所述装置包括：系统框架层以及图形系统，其中系统框架层设有触发模块301、摄像模块302，图形系统设有双目渲染模块303、视频透视叠加模块304。

触发模块301，用于监听装置与头戴电子设备的通信连接状态，若监听到装置与头戴式电子设备已建立通信连接，则发送采集指令至摄像模块302，以使摄像模块基于采集指令采集现实环境所对应的实时视频流数据，并发送实时视频流数据至视频透视叠加模块304。

摄像模块302，用于接收采集指令，基于采集指令采集现实环境所对应的实时视频流数据，并发送实时视频流数据至视频透视叠加模块304。

双目渲染模块303，用于获取待显示的图形帧，对待显示的图像帧进行双目渲染处理，生成虚拟画面，并将虚拟画面发送至视频透视叠加模块304。

视频透视叠加模块304，用于接收摄像模块302发送的实时视频流数据以及双目渲染模块发送的虚拟画面，对实时视频流数据和虚拟画面进行叠加处理，获得目标显示画面，并将目标显示画面发送至头戴式电子设备，以通过头戴式电子设备显示目标显示画面。

在本申请实施例中，混合现实显示装置可以实现为软件、或者软件和硬件的组合。其中，混合现实显示装置中包括系统框架层和图形系统，在系统框架层设有触发模块301、摄像模块302，图形系统设有双目渲染模块303、视频透视叠加模块304。其中，在一可选实施例中，混合现实显示装置中的系统框架层和图形系统可以通过获取一个原生操作系统，对原生操作系统进行改造来获得。具体的，获取一原生操作系统，在原生操作系统中的系统框架层中添加一个触发模块301、摄像模块302、虚拟屏控制模块、显示服务切换模块等，并在原生操作系统中的图形系统中添加双目渲染模块303、视频透视叠加模块304等功能模块。其中，原生操作系统可以为安卓系统等。

在另一可选实施例中，混合现实显示装置也可以直接生成一个定制化系统，该定制系统中包括系统框架层以及图形系统，其中，在系统框架层中添加触发模块301、摄像模块302，在图形系统中设有双目渲染模块303、视频透视叠加模块304。

触发模块301可以实时监听混合现实显示装置与头戴式电子显示设备的通信连接状态，若监听到混合显示装置与头戴式电子显示设备之间的连接事件后，则首先发送采集指令至摄像模块302，摄像模块302接收到触发模块发送的采集指令之后，基于所述采集指令，开启头戴式电子显示设备中的双目摄像头，以通过双目摄像头分别采集现实环境所对应的两路实时视频流数据。具体的，摄像模块302接收到采集指令后，调用摄像头驱动程序开启头戴式电子显示设备中的双目摄像头，双目摄像头开始工作，实时采集现实环境所对应的视频，以获得现实环境所对应的两路实时视频流数据，其中两路实时视频流数据可以包括左视实时视频流数据和右视实时视频流数据。最后将两路实时视频流数据发送至视频透视叠加模块304。

在一可选实施例中，混合现实现实装置还可以包括显示服务切换模块。在摄像模块302调用摄像头驱动程序成功开启头戴式电子显示设备中的双目摄像头之后，向显示服务切换模块发送显示切换指令，使得混合显示装置由普通显示模式切换为混合现实显示模式，使得图形系统中的双目渲染模块303和视频透视叠加模块304开始工作。

接着，双目渲染模块303获取待显示的图形帧，其中待显示的图形帧可以为系统中任意待显示的应用程序所对应的应用程序界面，也就是说，待显示的图形帧可以为系统中任意待显示的应用程序界面。其中，获取待显示的图形帧的实现方式可以为：截获系统发送到显存的图形帧。

而后，对待显示的图形帧进行拷贝处理，获得左图形帧和右图形帧，对左图形帧和右图形帧进行计算处理，生成预设大小的左虚拟画面和右虚拟画面，并将左虚拟画面和右虚拟画面发送至至视频透视叠加模块304。可选地，还可以获得头戴式电子显示设备要求显示距离，在指定距离前生成左虚拟画面和右画面，使得生成的虚拟画面显示在指定距离前。

在一可选实施例中，双目渲染模块还可以基于双目渲染算法，分别确定左虚拟画面、以及右虚拟画面在头戴式电子显示设备中各自所对应的显示位置，将显示位置发送至视频透视叠加模块304，使得叠加后的目标显示画面显示在指定位置上。

而后，视频透视叠加模块304，接收摄像模块302发送的实时视频流数据以及双目渲染模块303发送的虚拟画面，对实时视频流数据和虚拟画面进行叠加处理，获得目标显示画面，将目标显示画面发送至头戴式电子显示设备，以通过头戴式电子显示设备显示目标显示画面。

在一可选实施例中，头戴式电子显示设备包括左显示屏幕和右显示屏幕，视频透视叠加模块进行叠加处理的实现方式可以参考附图4所示，具体的，对左虚拟画面和右虚拟画面进行拼接处理，获得拼接后的虚拟画面，对两路实时视频流数据进行合成处理，获得合成后的实时视频流数据，将拼接后的虚拟画面叠加在合成后的实时视频流数据上方，获得目标显示画面，将目标显示画面发送至头戴式电子显示设备，以使得头戴式电子显示设备通过桥接芯片将目标显示画面进行裁剪处理，生成两个显示画面，并分别将两个显示画面显示在左显示屏幕和右显示屏幕。

在另一可选实施例中，头戴式电子显示设备包括左显示屏幕和右显示屏幕，头戴式电子显示设备采集到的两路实时视频流数据包括左视实时视频流数据和右视实时视频流数据，其视频透视叠加模块进行叠加处理的实现方式可以参考附图5所示，具体的，将左虚拟画面叠加在左视实时视频流数据上方，获得左目标显示画面，将右虚拟画面叠加在右视实时视频流数据上方，获得右目标显示画面，将左目标显示画面和右目标显示画面发送至头戴式电子显示设备，以使得头戴式电子显示设备将左目标显示画面显示在左显示屏幕，将右目标显示画面显示在右显示屏幕。

视频透视叠加模块304开启两个独立的线程，一个线程渲染显示两路视频流合成后的实时视频流，并且实时视频流作为作为整屏画面的背景，另一个线程渲染绘制以及复制虚拟画面，并根据双目渲染模块303计算出的位置坐标信息，将虚拟画面显示在指定位置上，并且虚拟画面的图层是在背景层之上，两个独立的线程不会影响各自的渲染绘制显示过程，使得作为背景的VST视频流播放流畅，不会因为虚拟屏上的应用程序界面（虚拟画面）而受到影响。

为了便于对头戴式电子显示设备中的虚拟屏显示进行控制，该混合现实现实装置还可以包括虚拟屏控制模块，虚拟屏控制模块可以获取显示画面所对应的预设值，基于预设值对头戴式电子显示设备中的目标显示画面进行调整。其中预设值包括虚拟屏分辨率预设值、虚拟屏亮度预设值、虚拟屏透明度预设值、虚拟屏形状等预设值。虚拟屏控制模块可以调整虚拟屏的相关功能，比如调整虚拟屏位置坐标、调整虚拟屏大小进行缩放、调整虚拟屏分辨率、调整虚拟屏亮度、调整虚拟屏透明度、修改虚拟屏形状等。

另外，混合现实显示装置还可以包括应用程序接口层，应用程序接口层可以提供相关接口功能，开放给应用层调用，应用开发者可以使用这些接口实现灵活丰富的功能，例如自定义规则在某些场景下自动缩放虚拟屏，方便应用开发者可开发出各种提升用户体验的虚拟屏交互功能。

当触发模块301监听到混合现实现实装置与头戴式电子现实设备之间的通信连接已断开，向显示服务切换模块发送显示切换指令，显示服务切换模块接收到显示切换模块后，向双目渲染模块303和视频透视叠加模块304发送暂停指令，使得双目渲染模块303和视频透视叠加模块304停止工作，可以直接显示待显示的图形帧。

在另一可选实施例中，当触发模块301监听到混合现实现实装置与头戴式电子现实设备之间的通信连接已断开，向显示服务切换模块发送显示切换指令，显示服务切换模块接收到显示切换模块后，向视频透视叠加模块304发送暂停指令，使得视频透视叠加模块304停止工作，此时双目渲染模块303仍然可以继续工作，获取待显示的图形帧，对待显示的图形帧进行拷贝处理，获得左图形帧和右图形帧，对左图形帧和右图形帧进行图像计算处理，生成预设大小的左虚拟画面和右虚拟画面，并计算出左虚拟画面和右虚拟画面在头戴式电子显示设备显示屏幕中的显示位置，将左虚拟画面和右虚拟画面发送头戴式电子显示设备中，以使得头戴式电子显示设备根据该显示位置将左虚拟画面和右虚拟画面显示在头戴式电子显示设备中的指定位置中，在显示屏幕中呈现出任意待显示的应用程序界面所对应的虚拟画面，使得用户观看到具有3D显示效果的虚拟应用程序界面。

本申请实施例提供的混合现实现实装置，通过在操作系统里的图形系统中添加双目渲染模块、视频透视叠加模块，可以将该原生系统中的各个应用程序界面直接渲染为头戴式电子显示设备中的虚拟画面，渲染过程更快，使得头戴式电子显示设备呈现出更好地显示效果，可以有效避免出现卡顿等情况，使得头戴式电子显示设备中显示画面出现延迟。并且渲染后的虚拟画面可以和头戴式电子显示设备中摄像头捕获的实时实景视频进行叠加，能够让用户在使用头戴式电子显示设备时无须摘下头戴式电子显示设备即可与现实世界互动，同时支持对该系统中的所有第三方应用程序所对应的界面与实时实景视频进行叠加，大大地提高了混合现实显示的使用范围，使得混合现实显示方法能够适用到各个应用场景中，进一步提高了该方法使用的灵活可靠性。

为了更好地实现虚拟世界与现实世界及时的深度互动，在本申请所提供的混合现实显示装置还包括互动模块，并且该装置中的双目渲染模块303不仅可以将任意待显示的应用程序界面所对应的图形帧进行双目渲染处理，生成应用程序界面所对应的虚拟画面，还可以用于对实时视频流数据进行双目渲染处理，生成现实环境所对应的虚拟画面。在通过互动模块进行现实世界与虚拟世界进行互动时，双目渲染模块303获取现实环境所对应的实时视频流数据，对实时视频流数据进行双目渲染处理，生成现实环境所对应的虚拟画面，并将现实环境所对应的虚拟画面发送至视频透视叠加模块304。然后，视频透视叠加模块304将应用程序界面所对应的虚拟画面与现实环境所对应的虚拟画面进行叠加处理，获得叠加后的目标显示画面，将目标显示画面发送至头戴式电子显示设备中，使得用户在使用头戴式电子现实设备时无须摘下头戴式电子显示设备即可与现实世界互动，并且可以将现实世界中的互动显示在头戴式电子显示设备。比如，在现实环境中一个用户正在开门，那么最终显示的目标显示画面中的相应位置上也将会显示出一个用户开门，可以更好地实现虚拟世界与现实世界及时的深度互动。

图6为本申请实施例提供的一种混合现实显示方法的流程示意图；参考附图6所示，本实施例提供了一种混合现实显示方法，该方法的执行主体可以为混合现实显示装置，可以理解的是，该装置可以实现为软件、或者软件和硬件的组合。具体的，该混合现实显示方法可以包括：

步骤601、监听混合现实显示装置与头戴式电子显示设备的通信连接状态，若监听到装置与头戴式电子显示设备已建立通信连接，则采集现实环境所对应的实时视频流数据。

步骤602、获取待显示的图形帧，对待显示的图像帧进行双目渲染处理，生成虚拟画面。

步骤603、对实时视频流数据和虚拟画面进行叠加处理，获得目标显示画面，将目标显示画面发送至头戴式电子显示设备，以通过头戴式电子显示设备显示目标显示画面。

在本申请实施例中，在进行混合现实显示处理时，首先实时监听该装置与头戴式电子显示设备的通信连接状态，当监听到头戴式电子显示设备与混合现实显示装置建立通信连接后，发送采集指令。并基于采集指令开启头戴式电子显示设备中的双目摄像头，以通过双目摄像头分别采集现实环境所对应的两路实时视频流数据，并发送实时视频流数据至视频透视叠加模块。而后获取待显示的图形帧，对待显示的图形帧进行拷贝处理，获得左图形帧和右图形帧，对左图形帧和右图形帧进行计算处理，生成预设大小的左虚拟画面和右虚拟画面，将左虚拟画面和右虚拟画面发送至视频透视叠加模块。接着，接收实时视频流数据以及双目渲染模块发送的虚拟画面，对实时视频流数据和虚拟画面进行叠加处理，获得目标显示画面，将目标显示画面发送至头戴式电子设备，以通过头戴式电子设备显示目标显示画面，能够让用户在使用头戴式电子显示设备时无须摘下头戴式电子显示设备即可与现实世界互动，同时支持对该系统中的所有第三方应用程序进行虚拟渲染显示，大大地提高了混合现实显示的使用范围，使得混合现实显示方法能够适用到各个应用场景中，进一步提高了该方法使用的灵活可靠性。

具体实现方式与上述所示的实施例中步骤的实现方式相类似，具体可参考上述陈述内容，在此不再赘述。

具体应用时，混合现实显示系统可以包括一台专用的移动智能终端（移动智能终端中集成有混合现实显示装置，或者该移动智能终端为混合现实现实装置），一副穿戴式头部显示装置MR眼镜，智能终端上搭载定制化的操作系统，通过连接线与MR眼镜相连。定制系统在原生系统GUI图形显示系统中增加虚拟屏双目渲染模块和VST叠加模块，系统框架层包括显示装置连接触发事件派发模块、显示服务切换模块、虚拟屏控制模块、摄像头服务模块。具体实现包括显示装置连接步骤、显示模式触发切换步骤、摄像头启动步骤、虚拟屏镜像和实时视频叠加步骤、虚拟屏操控步骤。本申请采用一套搭载定制操作系统的移动终端和MR眼镜显示装置，即可实现兼容任何第三方基于本系统的应用程序的，能够叠加实时视频和虚拟应用程序界面。

具体实现时，以安卓操作系统为例，在安卓操作系统的原生图形系统的系统框架层添加功能模块，混合现实现实处理过程可以包括：

步骤1、显示装置通过有线连接（包括但不局限于Type-C）与移动终端连接。

步骤2、移动终端上搭载的操作系统模块中的显示装置连接触发事件派发模块监听到连接事件，首先发送启用摄像头指令到摄像头服务模块。

步骤3、摄像头服务模块接收到启用指令，调用摄像头驱动程序开启两路摄像头，摄像头开始工作，获取到两路实时视频流数据。

步骤4、发送显示模式切换指令至显示模式切换模块，开启双目VST叠加显示模式。

步骤5、图形系统中的虚拟屏双目渲染模块和VST叠加模块开始工作。

步骤6、虚拟屏双目渲染模块，截获原生系统发送到显存的图形帧，将原生系统图形帧复制一份，并通过双目渲染算法，在指定距离前生成指定尺寸的虚拟屏（虚拟画面），计算出虚拟屏在实际屏幕中正确的位置坐标。

步骤7、VST叠加模块，将两路视频流合成为一路视频流，将虚拟屏双目渲染模块生成的虚拟屏画面，叠加在合成后的视频上方，VST作为背景，启动两个独立线程进行渲染绘制，生成最终的混合现实的显示图形帧输出到显存。

具体的，截获原生系统图形帧并生成新的图形帧（虚拟画面）的具体步骤如下，安卓系统中的原生GUI（图形系统）生成屏幕每一帧画面的过程，Surface就像是UI的画布，每个APP（应用程序）在各自的Surface上画出当前的UI界面，SurfaceFlinger是安卓系统的一个系统级服务，是独立于每个APP的系统进程，SurfaceFlinger和APP之间有一个桥梁进行通信（Binder，一种安卓中使用的进程间通信机制），APP将绘制好的Surface发送给SurfaceFlinger，SurfaceFlinger负责合成各个Surface，其中除了APP绘制的Surface，还包括其他系统级的Surface（例如顶部状态栏，底部快捷按键等），SurfaceFlinger会根据系统规则确定每个Surface的层级，根据层级顺序将所有需要显示的Surface合成为最终显示在屏幕上的画面，并将该画面发送到FrameBuffer（图形帧缓冲区），在发送到图形帧缓冲区时截取图形帧，后续由图形引擎（Skia、OpenGL）将其最终显示到屏幕上。

在SurfaceFlinger合成好最终画面后，在发送到FrameBuffer前，把合成后画面进行双目渲染的计算，再把摄像头视频流获取进来，进行叠加后，再生成显示在眼镜中的最终画面，再发送到FrameBuffer。

这里强调一下，将SurfaceFlinger获取摄像头视频流绘制为背景的线程，和APP绘制Surface的线程分开，这样对于MR眼镜，VST背景的视频播放和虚拟屏的绘制相互间不会受到干扰，保证了VST背景视频播放的流畅度，提高MR眼镜的体验。

步骤8，显示装置配置有左右两眼的两块屏幕，左屏幕将显存图形帧裁剪只显示左半部分，右屏幕将显存图形帧裁剪只显示右半部分。

本实施例提供的技术方案，通过改造该操作系统的原生图形系统，再在该系统框架层添加功能模块，实现将该原生系统应用程序界面渲染为显示装置中的虚拟屏，并和两路摄像头捕获的实时实景视频进行叠加，能够让用户在使用MR眼镜的时候无须摘下穿戴式显示装置即可与现实世界互动，同时支持该系统生态的第三方应用程序。

图7为图3所示的混合现实显示装置所对应的电子设备的结构示意图。如图7所示，电子设备包括：存储器51以及处理器52；其中，

存储器51，用于存储程序；

处理器52，与存储器耦合，用于执行存储器中存储的程序，以用于：

监听混合现实显示装置与头戴式电子显示设备的通信连接状态，若监听到所述装置与所述头戴式电子显示设备已建立通信连接，则采集现实环境所对应的实时视频流数据；

获取待显示的图形帧，对待显示的图像帧进行双目渲染处理，生成虚拟画面；

对所述实时视频流数据和所述虚拟画面进行叠加处理，获得目标显示画面，将所述目标显示画面发送至头戴式电子显示设备，以通过头戴式电子显示设备显示目标显示画面。

具体实现方式与上述所示的实施例中步骤的实现方式相类似，具体可参考上述陈述内容，在此不再赘述。

上述存储器51可被配置为存储其它各种数据以支持在计算设备上的操作。这些数据的示例包括用于在计算设备上操作的任何应用程序或方法的指令。存储器51可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器（SRAM），电可擦除可编程只读存储器（EEPROM），可擦除可编程只读存储器（EPROM），可编程只读存储器（PROM），只读存储器（ROM），磁存储器，快闪存储器，磁盘或光盘。

上述处理器52在执行存储器51中的程序时，除了上面的功能之外，还可实现其它功能，具体可参见前面各实施例的描述。

进一步，如图7所示，电子设备还包括：显示器53、电源组件54、通讯组件55等其它组件。图7中仅示意性给出部分组件，并不意味着该电子设备只包括图7所示组件。

相应的，本申请实施例还提供一种存储有计算机程序的可读存储介质，所述计算机程序被计算机执行时能够实现上述各实施例提供的混合现实现实方法的步骤或功能。

此外，本申请实施例提供了一种计算机程序产品，包括：计算机程序，当计算机程序被电子设备的处理器执行时，使处理器执行混合现实现实方法的步骤或功能。

以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的可以选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助加必需的通用硬件平台的方式来实现，当然也可以通过硬件和软件结合的方式来实现。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以计算机产品的形式体现出来，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程设备的处理器以产生一个机器，使得通过计算机或其他可编程设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器 (CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器 (RAM) 和/或非易失性内存等形式，如只读存储器 (ROM) 或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存 (PRAM)、静态随机存取存储器 (SRAM)、动态随机存取存储器 (DRAM)、其他类型的随机存取存储器 (RAM)、只读存储器 (ROM)、电可擦除可编程只读存储器 (EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘 (DVD) 或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体 (transitory media)，如调制的数据信号和载波。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (10)

1.一种混合现实显示装置，其特征在于，所述装置与头戴式电子显示设备通信连接，所述装置包括：

系统框架层以及图形系统，所述系统框架层设有触发模块、摄像模块，所述图形系统设有双目渲染模块、视频透视叠加模块；

所述触发模块，用于监听所述装置与所述头戴式电子显示设备的通信连接状态，若监听到所述装置与所述头戴式电子显示设备已建立通信连接，则发送采集指令至所述摄像模块，以使所述摄像模块基于所述采集指令采集现实环境所对应的实时视频流数据，并发送所述实时视频流数据至所述视频透视叠加模块；

所述双目渲染模块，用于获取待显示的图形帧，对所述待显示的图像帧进行双目渲染处理，生成虚拟画面，并将所述虚拟画面发送至所述视频透视叠加模块；

所述视频透视叠加模块，用于接收所述摄像模块发送的实时视频流数据以及所述双目渲染模块发送的虚拟画面，对所述实时视频流数据和所述虚拟画面进行叠加处理，获得目标显示画面，将所述目标显示画面发送至所述头戴式电子显示设备，以通过所述头戴式电子显示设备显示所述目标显示画面。

2.根据权利要求1所述的装置，其特征在于，所述摄像模块，具体用于：

接收所述触发模块发送的采集指令；

基于所述采集指令，开启所述头戴式电子显示设备中的双目摄像头，以通过所述双目摄像头分别采集现实环境所对应的两路实时视频流数据。

3.根据权利要求1所述的装置，其特征在于，所述双目渲染模块，具体用于：

对所述待显示的图形帧进行拷贝处理，获得左图形帧和右图形帧；

对所述左图形帧和右图形帧进行计算处理，生成预设大小的左虚拟画面和右虚拟画面；

将所述左虚拟画面和右虚拟画面发送至所述视频透视叠加模块。

4.根据权利要求3所述的装置，其特征在于，所述双目渲染模块还用于：

基于双目渲染算法，分别确定所述左虚拟画面、以及右虚拟画面在所述头戴式电子显示设备中各自所对应的显示位置；

将所述显示位置发送至所述视频透视叠加模块。

5.根据权利要求2-3中任一项所述的装置，其特征在于，所述头戴式电子显示设备包括左显示屏幕和右显示屏幕；所述视频透视叠加模块具体用于：

对所述左虚拟画面和右虚拟画面进行拼接处理，获得拼接后的虚拟画面；

对两路实时视频流数据进行合成处理，获得合成后的实时视频流数据；

将所述拼接后的虚拟画面叠加在所述合成后的实时视频流数据上方，获得目标显示画面；

将所述目标显示画面发送至所述头戴式电子显示设备，以使得所述头戴式电子显示设备通过桥接芯片将目标显示画面进行裁剪处理，生成两个显示画面，并分别将所述两个显示画面显示在左显示屏幕和右显示屏幕。

6.根据权利要求2-3中任一项所述的装置，其特征在于，所述两路实时视频流数据包括左视实时视频流数据和右视实时视频流数据；所述头戴式电子显示设备包括左显示屏幕和右显示屏幕；所述视频透视叠加模块具体用于：

将所述左虚拟画面叠加在左视实时视频流数据上方，获得左目标显示画面；

将所述右虚拟画面叠加在右视实时视频流数据上方，获得右目标显示画面；

将所述左目标显示画面和所述右目标显示画面发送至所述头戴式电子显示设备，以使得所述头戴式电子显示设备将所述左目标显示画面显示在左显示屏幕，将所述右目标显示画面显示在右显示屏幕。

7.根据权利要求1所述的装置，其特征在于，所述装置还包括虚拟屏控制模块，具体用于：

获取显示画面所对应的预设值；

基于所述预设值对所述头戴式电子显示设备中的目标显示画面进行调整。

8.一种混合现实显示方法，其特征在于，所述方法包括：

监听混合现实显示装置与头戴式电子显示设备的通信连接状态，若监听到所述装置与所述头戴式电子显示设备已建立通信连接，则采集现实环境所对应的实时视频流数据；

获取待显示的图形帧，对待显示的图像帧进行双目渲染处理，生成虚拟画面；

对所述实时视频流数据和所述虚拟画面进行叠加处理，获得目标显示画面，将目标显示画面发送至头戴式电子显示设备，以通过头戴式电子显示设备显示目标显示画面。

9.一种电子设备，其特征在于，包括：存储器及处理器；其中，

所述存储器，用于存储程序；

所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以用于：

监听混合现实显示装置与头戴式电子显示设备的通信连接状态，若监听到所述装置与所述头戴式电子显示设备已建立通信连接，则采集现实环境所对应的实时视频流数据；

获取待显示的图形帧，对待显示的图像帧进行双目渲染处理，生成虚拟画面；

对所述实时视频流数据和所述虚拟画面进行叠加处理，获得目标显示画面，将所述目标显示画面发送至头戴式电子显示设备，以通过头戴式电子显示设备显示目标显示画面。

10.一种计算机存储介质，其特征在于，用于储存计算机程序，所述计算机程序使计算机执行时实现如下方法：

监听混合现实显示装置与头戴式电子显示设备的通信连接状态，若监听到所述装置与所述头戴式电子显示设备已建立通信连接，则采集现实环境所对应的实时视频流数据；

获取待显示的图形帧，对待显示的图像帧进行双目渲染处理，生成虚拟画面；

对所述实时视频流数据和所述虚拟画面进行叠加处理，获得目标显示画面，将所述目标显示画面发送至头戴式电子显示设备，以通过头戴式电子显示设备显示目标显示画面。

Images