CN107995481A - 一种混合现实的显示方法及装置 - Google Patents

Abstract

本发明提供一种混合现实的显示方法及装置，涉及电通信技术领域，为解决现有技术中无法实时显示混合现实的效果的问题而发明。主要方法包括：获取待处理真实场景图像；根据预置色度抠像算法，提取所述待处理真实场景图像的人物图像；在第一预置轨道中，使用预置视频窗口捕获VR内容场景；计算所述第一预置轨道的视角和第二预置轨道的视角偏差；根据所述视角偏差，将所述VR内容场景转换为所述第二预置轨道的混合内容场景；根据所述视角偏差，叠加所述人物图像和所述混合内容场景，生成混合现实图像；根据预置空间追踪算法，输出并显示所述待处理真实场景图像和所述混合现实图像叠加的混合现实画面。本发明主要应用于混合现实的显示过程中。

Description

一种混合现实的显示方法及装置

技术领域

本发明涉及一种显示方法及装置，特别涉及一种混合现实的显示方法及装置。

背景技术

混合现实技术，是虚拟现实技术的进一步发展，该技术通过在虚拟环境中引入现实场景信息，在虚拟世界、现实世界和用户之间搭起一个交互反馈的信息回路，以增强用户体验的真实感。混合现实技术，是一种将真实世界信息和虚拟世界信息混合叠加呈现的技术，涉及多媒体处理、三维建模、实时视频显示及控制、实时跟踪以及场景融合等新技术与新手段。混合现实技术具有三个突出的特点：真实世界和虚拟世界的信息集成；具有实时交互性；在三维尺度空间中增添定位虚拟物体。MR技术可广泛应用到军事、医疗、建筑、教育、工程、影视、娱乐等领域。

混合现实以往都是通过拍摄、剪辑再导出成品，无法实时展现，混合现实的真实感不佳。现有技术中，可以通过摄像头进行移动拍摄，获取至少两张与用户视野相匹配的平面确定图像；根据所述至少两张平面确定图像，绘制所述用户视野中包括的空间网格平面；根据所述空间网格平面，确定与待显示3D物体对应的虚拟场景；将所述虚拟场景输出至所述混合现实眼镜，以使所述用户观测到由所述虚拟场景以及所述混合现实眼镜获取的真实场景融合后的混合现实场景。

现有技术的实现方案，单个人可以直接观看混合现实效果，如果实现处于不同位置的人能够观看到不同的混合现实效果，需要人工不断的滤色和剪辑视频，并且一个几分钟的视频可能会耗费2-3天的制作时间。实现一套完整的混合现实效果，步骤繁琐，无法实时的显示混合现实的效果。在使用过程中，混合现实是以第三视角在虚拟现实中拍摄，可能有时的拍摄角度被遮挡，但是此时的虚拟现实视角又比较好，但是无法快速的将虚拟现实第一时间切换回来。传统的混合显示只针对单一的内容进行展示，无法将多款内容集中统一展示，将其统一化，定制化，个性化。

发明内容

本发明提供了一种混合现实的显示方法及装置，以解决现有技术中无法实时显示混合现实的效果的问题。

第一方面，本发明提供了一种混合现实的显示方法，该方法包括：获取待处理真实场景图像；根据预置色度抠像算法，提取所述待处理真实场景图像的人物图像；在第一预置轨道中，使用预置视频窗口捕获VR内容场景；计算所述第一预置轨道的视角和第二预置轨道的视角偏差；根据所述视角偏差，将所述VR内容场景转换为所述第二预置轨道的混合内容场景；根据所述视角偏差，叠加所述人物图像和所述混合内容场景，生成混合现实图像；根据预置空间追踪算法，输出并显示所述待处理真实场景图像和所述混合现实图像叠加的混合现实画面。采用本实现方式，利用色值抠像算法、多通道场景实时位置追踪定位技术和虚拟与混合的画面切换技术，将一个VR内容实现混合现实，同时VR状态与混合现实状态是相互独立。与现有技术相比，能够经过大数据计算后快速直接的呈现混合现实效果，可在VR状态与混合状态之间随时切换，既保证了VR内容快速在第三视角的呈现也保证了第一视角的原有画面。

结合第一方面，在第一方面第一种可能的实现方式中，所述根据预置色度抠像算法，提取所述待处理真实场景图像的人物图像，包括：获取所述待处理真实场景图像的背景色值；根据色值数据算法，计算所述背景色值的场景色值；根据预置色度抠像算法，滤除所述待处理真实场景图像的场景色值；确定无所述场景色值的所述待处理真实场景图像为所述人物图像。

结合第一方面，在第一方面第二种可能的实现方式中，所述根据所述视角偏差，将所述VR内容场景转换为所述第二预置轨道的混合内容场景，包括：获取所述VR内容场景的VR特征点；查找所述VR特征点对应的VR空间坐标；根据所述视角偏差，计算所述空间坐标的转换所述第二预置轨道的混合空间坐标；选取所述混合空间坐标对应的VR特征点；根据所述视角偏差，调整所述VR特征点的像素值，生成所述混合空间坐标对应的混合特征点；根据所述混合空间坐标和混合特征点，生成混合内容场景。

结合第一方面，在第一方面第三种可能的实现方式中，所述根据预置空间追踪算法，输出并显示所述待处理真实场景图像和所述混合现实图像叠加的混合现实画面，包括：获取预置视频窗口的所述混合现实图像的摄像头覆盖角的现实场景角度；将所述待处理真实场景图像的摄像头覆盖角调整为所述现实场景角度；按照所述现实场景角度，根据所述预置空间追踪算法，叠加所述待处理真实场景图像和所述混合现实图像，生成所述混合现实画面；输出并显示混合现实画面。

结合第一方面，在第一方面第四种可能的实现方式中，所述根据所述视角偏差，将所述VR内容场景转换为所述第二预置轨道的混合内容场景之后，所述方法还包括：采用第一标记数值，标记所述VR内容场景；采用第二标记数值，标记所述混合内容场景；响应于用户操作，调用所述第一标记数值或所述第二数值切换输出并显示所述VR内容场景和/或所述混合内容场景。

第二方面，本发明还提供了一种混合现实的显示装置，所述装置包括用于执行第一方面各种实现方式中方法步骤的模块。

第三方面，本发明还提供了一种终端，包括：处理器、及存储器；所述处理器可以执行所述存储器中所存储的程序或指令，从而实现以第一方面各种实现方式所述混合现实的显示方法。

第四方面，本发明还提供了一种存储介质，该计算机存储介质可存储有程序，该程序执行时可实现包括本发明提供的混合现实的显示方法各实施例中的部分或全部步骤。

附图说明

图1显示为本发明的一种混合现实的显示方法流程图；

图2显示为本发明的一种提取所述待处理真实场景图像的人物图像的方法流程图；

图3显示为本发明的一种VR内容场景转换的方法流程图；

图4显示为本发明的一种显示混合现实图像的方法流程图；

图5显示为本发明的另一种混合现实的显示方法流程图；

图6显示为本发明的一种混合现实的装置组成框图；

图7显示为本发明的一种提取单元的组成框图；

图8显示为本发明的一种转换单元的组成框图；

图9显示为本发明的一种显示单元的组成框图；

图10显示为本发明的另一种混合现实的显示装置组成框图；

附图标号说明

获取单元61，提取单元62，捕获单元63，计算单元64，转换单元65，生成单元66，显示单元67，获取模块621，计算模块622，滤除模块623，确定模块624，获取模块651，查找模块652，计算模块653，选取模块654，生成模块655，获取模块671，调整模块672，生成模块673，显示模块674，标记单元68和调用单元69。

具体实施方式

参见图1，为本发明提供的一种混合现实的显示方法流程图。如图1所示，该方法包括：

101、获取待处理真实场景图像。

待处理真是场景图像，是本发明实现的初始图像信息，从VR视频信息中获取，由于视频是有多个静态图像构成的，所以在本发明中以单幅图像信息的处理方法为基础，说明VR视频图像的处理方法。对于VR视频中的图像连续处理即可得到VR视频对于的混合现实的视屏。

102、根据预置色度抠像算法，提取待处理真实场景图像的人物图像。

通常在拍摄VR视频过程中，选取单一的背景。以蓝色背景为例，对本步骤进行说明，根据特有的蓝色背景色值，通过色值数据算法计算出场景中包含的特有色值并过滤掉，从而将场景中的人物凸显出来，提取人物凸显的人物图像。

103、在第一预置轨道中，使用预置视频窗口捕获VR内容场景。

第一预置轨道，就是虚拟的场景通道，模拟不同位置的视觉角度。预置视频窗口，相当于摄像头拍摄图像，获取中待处理真实场景图像不同角度，作为捕获的VR内容场景。

104、计算第一预置轨道的视角和第二预置轨道的视角偏差。

第二预置轨道与第一预置轨道相似，只是位置不同，相对应待处理真实场景图像而言，具有视角偏差。

105、根据视角偏差，将VR内容场景转换为第二预置轨道的混合内容场景。

视角偏差不同，同一物体的形状、大小、明暗程度均不相同。根据视角偏差，将捕获的VR内容场景，转换为混合内容场景。

106、根据视角偏差，叠加人物图像和混合内容场景，生成混合现实图像。

107、根据预置空间追踪算法，输出并显示待处理真实场景图像和混合现实图像叠加的混合现实画面。

通过统一待处理真实场景图像和混合现实图像的空间坐标，才能将两者同时输出并显示。

采用本实现方式，利用色值抠像算法、多通道场景实时位置追踪定位技术和虚拟与混合的画面切换技术，将一个VR内容实现混合现实，同时VR状态与混合现实状态是相互独立。与现有技术相比，能够经过大数据计算后快速直接的呈现混合现实效果，可在VR状态与混合状态之间随时切换，既保证了VR内容快速在第三视角的呈现也保证了第一视角的原有画面。

参见图2，为本发明提供的一种提取待处理真实场景图像的人物图像的方法流程图。如图2所示，根据预置色度抠像算法，提取待处理真实场景图像的人物图像，包括：

201、获取待处理真实场景图像的背景色值。

202、根据色值数据算法，计算背景色值的场景色值。

203、根据预置色度抠像算法，滤除待处理真实场景图像的场景色值。

204、确定无场景色值的待处理真实场景图像为人物图像。

通过背景色值，滤除非必要的背景数据，减少图像处理时间，提高速率，以减少虚拟显示和混合现实的同步输出时间。

参见图3，为本发明提供的一种VR内容场景转换的方法流程图。如图3所示，根据视角偏差，将VR内容场景转换为第二预置轨道的混合内容场景，包括：

301、获取VR内容场景的VR特征点。

302、查找VR特征点对应的VR空间坐标。

303、根据视角偏差，计算空间坐标的转换第二预置轨道的混合空间坐标。

304、选取混合空间坐标对应的VR特征点。

305、根据视角偏差，调整VR特征点的像素值，生成混合空间坐标对应的混合特征点。

306、根据混合空间坐标和混合特征点，生成混合内容场景。

通过图像特征点和空间坐标点，实现从VR内容场景到混合场景的转换，不需要通过多角度的拍摄，通过数字化的处理即可实现。

参见图4，为本发明提供的一种显示混合现实图像的方法流程图。如图4所示，根据预置空间追踪算法，输出并显示待处理真实场景图像和混合现实图像叠加的混合现实画面，包括：

401、获取预置视频窗口的混合现实图像的摄像头覆盖角的现实场景角度。

402、将待处理真实场景图像的摄像头覆盖角调整为现实场景角度。

403、按照现实场景角度，根据预置空间追踪算法，叠加待处理真实场景图像和混合现实图像，生成混合现实画面。

404、输出并显示混合现实画面。

在同步输出并显示待处理真实场景图像和混合现实图像，不仅要考虑时间的一致性、空间的一致性，还需要考虑其镜头覆盖角的的一致性，才能实现待处理真实场景图像和混合图像的一致输出。

参见图5，为本发明提供的另一种混合现实的显示方法流程图。在图1所示方法的基础上，根据所述视角偏差，将所述VR内容场景转换为所述第二预置轨道的混合内容场景之后，方法还包括：

501、采用第一标记数值，标记VR内容场景。

502、采用第二标记数值，标记混合内容场景。

503、响应于用户操作，调用第一标记数值或第二数值切换输出并显示VR内容场景和/或混合内容场景。

为了满足不同用户的需求，生成混合内容场景之后，还保留原有的待处理真实场景图像，VR内容场景、以及混合内容场景。也就是说既可以显示单独的第一预置轨道捕获的VR内容场景和在第二预置轨道转换的混合内容场景，也可以显示VR内容场景和混合内容场景叠加的混合显示图像。

参见图6，为本发明提供的一种混合现实的装置组成框图。作为图1-5所示方法的具体实现，本发明还提供了一种混合现实的装置，如图6所示该装置包括：

获取单元61，用于获取待处理真实场景图像；

提取单元62，用于根据预置色度抠像算法，提取待处理真实场景图像的人物图像；

捕获单元63，用于在第一预置轨道中，使用预置视频窗口捕获VR内容场景；

计算单元64，用于计算第一预置轨道的视角和第二预置轨道的视角偏差；

转换单元65，用于根据视角偏差，将VR内容场景转换为第二预置轨道的混合内容场景；

生成单元66，用于根据视角偏差，叠加人物图像和混合内容场景，生成混合现实图像；

显示单元67，用于根据预置空间追踪算法，输出并显示所述待处理真实场景图像和所述混合现实图像叠加的混合现实画面。

参见图7，为本发明提供的一种提取单元的组成框图。进一步地，如图7所示，提取单元62，包括：

获取模块621，用于获取待处理真实场景图像的背景色值；

计算模块622，用于根据色值数据算法，计算背景色值的场景色值；

滤除模块623，用于根据预置色度抠像算法，滤除待处理真实场景图像的场景色值；

确定模块624，用于确定无场景色值的待处理真实场景图像为人物图像。

参见图8，为本发明提供的一种转换单元的组成框图。进一步地，如图8所示，转换单元65，包括：

获取模块651，用于获取VR内容场景的VR特征点；

查找模块652，用于查找VR特征点对应的VR空间坐标；

计算模块653，用于根据视角偏差，计算空间坐标的转换第二预置轨道的混合空间坐标；

选取模块654，用于选取混合空间坐标对应的VR特征点；

生成模块655，用于根据视角偏差，调整VR特征点的像素值，生成混合空间坐标对应的混合特征点；

生成模块655，还用于根据混合空间坐标和混合特征点，生成混合内容场景。

参见图9，为本发明提供的一种显示单元的组成框图。进一步地，如图9所示，显示单元67，包括：

获取模块671，用于获取预置视频窗口的混合现实图像的摄像头覆盖角的现实场景角度；

调整模块672，用于将待处理真实场景图像的摄像头覆盖角调整为现实场景角度；

生成模块673，用于按照所述现实场景角度，根据所述预置空间追踪算法，叠加所述待处理真实场景图像和所述混合现实图像，生成所述混合现实画面；

显示模块674，用于输出并显示所述混合现实画面。

参见图10，为本发明提供的另一种混合现实的显示装置组成框图。进一步地，如图10所示，该装置还包括：

标记单元68，用于根据所述视角偏差，将所述VR内容场景转换为所述第二预置轨道的混合内容场景之后，采用第一标记数值，标记VR内容场景；

标记单元68，还用于采用第二标记数值，标记混合内容场景；

调用单元69，用于响应于用户操作，调用第一标记数值或第二数值切换输出并显示VR内容场景和/或混合内容场景。

采用本实现方式，利用色值抠像算法、多通道场景实时位置追踪定位技术和虚拟与混合的画面切换技术，将一个VR内容实现混合现实，同时VR状态与混合现实状态是相互独立。与现有技术相比，能够经过大数据计算后快速直接的呈现混合现实效果，可在VR状态与混合状态之间随时切换，既保证了VR内容快速在第三视角的呈现也保证了第一视角的原有画面。

具体实现中，本发明还提供一种计算机存储介质，其中，该计算机存储介质可存储有程序，该程序执行时可包括本发明提供的混合现实的显示方法的各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体(英文：read-only memory，简称：ROM)或随机存储记忆体(英文：random access memory，简称：RAM)等。

本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

本说明书中各个实施例之间相同相似的部分互相参见即可。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例中的说明即可。以上所述的本发明实施方式并不构成对本发明保护范围的限定。

Claims (10)

1.一种混合现实的显示方法，其特征在于，所述方法包括：

获取待处理真实场景图像；

根据预置色度抠像算法，提取所述待处理真实场景图像的人物图像；

在第一预置轨道中，使用预置视频窗口捕获VR内容场景；

计算所述第一预置轨道的视角和第二预置轨道的视角偏差；

根据所述视角偏差，将所述VR内容场景转换为所述第二预置轨道的混合内容场景；

根据所述视角偏差，叠加所述人物图像和所述混合内容场景，生成混合现实图像；

根据预置空间追踪算法，输出并显示所述待处理真实场景图像和所述混合现实图像叠加的混合现实画面。

2.如权利要求1所述的方法，其特征在于，所述根据预置色度抠像算法，提取所述待处理真实场景图像的人物图像，包括：

获取所述待处理真实场景图像的背景色值；

根据色值数据算法，计算所述背景色值的场景色值；

根据预置色度抠像算法，滤除所述待处理真实场景图像的场景色值；

确定无所述场景色值的所述待处理真实场景图像为所述人物图像。

3.如权利要求1所述的方法，其特征在于，所述根据所述视角偏差，将所述VR内容场景转换为所述第二预置轨道的混合内容场景，包括：

获取所述VR内容场景的VR特征点；

查找所述VR特征点对应的VR空间坐标；

根据所述视角偏差，计算所述空间坐标的转换所述第二预置轨道的混合空间坐标；

选取所述混合空间坐标对应的VR特征点；

根据所述视角偏差，调整所述VR特征点的像素值，生成所述混合空间坐标对应的混合特征点；

根据所述混合空间坐标和混合特征点，生成混合内容场景。

4.如权利要求1所述的方法，其特征在于，所述根据预置空间追踪算法，输出并显示所述待处理真实场景图像和所述混合现实图像叠加的混合现实画面，包括：

获取预置视频窗口的所述混合现实图像的摄像头覆盖角的现实场景角度；

将所述待处理真实场景图像的摄像头覆盖角调整为所述现实场景角度；

按照所述现实场景角度，根据所述预置空间追踪算法，叠加所述待处理真实场景图像和所述混合现实图像，生成所述混合现实画面；

输出并显示所述混合现实画面。

5.如权利要求1所述的方法，其特征在于，所述根据所述视角偏差，将所述VR内容场景转换为所述第二预置轨道的混合内容场景之后，所述方法还包括：

采用第一标记数值，标记所述VR内容场景；

采用第二标记数值，标记所述混合内容场景；

响应于用户操作，调用所述第一标记数值或所述第二数值切换输出并显示所述VR内容场景和/或所述混合内容场景。

6.一种混合现实的显示装置，其特征在于，所述装置包括：

获取单元，用于获取待处理真实场景图像；

提取单元，用于根据预置色度抠像算法，提取所述待处理真实场景图像的人物图像；

捕获单元，用于在第一预置轨道中，使用预置视频窗口捕获VR内容场景；

计算单元，用于计算所述第一预置轨道的视角和第二预置轨道的视角偏差；

转换单元，用于根据所述视角偏差，将所述VR内容场景转换为所述第二预置轨道的混合内容场景；

生成单元，用于根据所述视角偏差，叠加所述人物图像和所述混合内容场景，生成混合现实图像；

显示单元，用于根据预置空间追踪算法，输出并显示所述待处理真实场景图像和所述混合现实图像叠加的混合现实画面。

7.如权利要求6所述的装置，其特征在于，所述提取单元，包括：

获取模块，用于获取所述待处理真实场景图像的背景色值；

计算模块，用于根据色值数据算法，计算所述背景色值的场景色值；

滤除模块，用于根据预置色度抠像算法，滤除所述待处理真实场景图像的场景色值；

确定模块，用于确定无所述场景色值的所述待处理真实场景图像为所述人物图像。

8.如权利要求6所述的装置，其特征在于，所述转换单元，包括：

获取模块，用于获取所述VR内容场景的VR特征点；

查找模块，用于查找所述VR特征点对应的VR空间坐标；

计算模块，用于根据所述视角偏差，计算所述空间坐标的转换所述第二预置轨道的混合空间坐标；

选取模块，用于选取所述混合空间坐标对应的VR特征点；

生成模块，用于根据所述视角偏差，调整所述VR特征点的像素值，生成所述混合空间坐标对应的混合特征点；

所述生成模块，还用于根据所述混合空间坐标和混合特征点，生成混合内容场景。

9.如权利要求6所述的装置，其特征在于，所述显示单元，包括：

获取模块，用于获取预置视频窗口的所述混合现实图像的摄像头覆盖角的现实场景角度；

调整模块，用于将所述待处理真实场景图像的摄像头覆盖角调整为所述现实场景角度；

生成模块，用于按照所述现实场景角度，根据所述预置空间追踪算法，叠加所述待处理真实场景图像和所述混合现实图像，生成所述混合现实画面；

显示模块，用于输出并显示所述混合现实画面。

10.如权利要求6所述的装置，其特征在于，所述装置还包括：

标记单元，用于根据所述视角偏差，将所述VR内容场景转换为所述第二预置轨道的混合内容场景之后，采用第一标记数值，标记所述VR内容场景；

所述标记单元，还用于采用第二标记数值，标记所述混合内容场景；

调用单元，用于响应于用户操作，调用所述第一标记数值或所述第二数值切换输出并显示所述VR内容场景和/或所述混合内容场景。