CN107767417B - 基于特征点确定mr头显设备输出的虚拟景象的方法及系统 - Google Patents

Abstract

本发明实施例公开了一种基于特征点确定MR头显设备输出的虚拟景象的方法及系统，该方法包括：MR头显设备将采集到的实时景象分离成背景景象与实体景象并将该背景景象发送至服务设备；服务设备根据该背景景象中的至少三个特征点组成的物理形状和该背景景象的景深确定出MR头显设备的位置与视角，进而确定出与该背景景象相匹配的虚拟景象返回至MR头显设备；MR头显设备向MR头显设备的用户输出该虚拟景象以及该实体景象。实施本发明实施例能够基于背景景象中的多个特征点确定与背景景象相匹配的虚拟景象，保证了用户使用MR头显设备时的视觉体验，且还能够在多人交互时相互之间准确的辨认出彼此的身份，提高了在通过虚拟景象实现多人交互时的安全性。

Description

基于特征点确定MR头显设备输出的虚拟景象的方法及系统

技术领域

本发明涉及介导现实(Mediated Reality，MR)技术领域，尤其涉及一种基于特征点确定MR头显设备输出的虚拟景象的方法及系统。

背景技术

当前，随着电子技术的快速发展，增强现实(Augmented Reality，AR)技术的应用也越来越广泛，AR技术是一种实时地计算摄像头影像的位置及角度并叠加上相应图像、视频、3D模型的技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动，即通过将虚拟景象与现实世界进行结合的方式为用户提供多样化的交互体验。在实际操作中，使用AR技术的相关设备需要从服务设备获取到相应的虚拟景象并显示，为了保证用户使用相关设备时的视觉体验，如何获取与现实世界相匹配的虚拟景象显得尤为重要。

发明内容

本发明实施例公开了一种基于特征点确定MR头显设备输出的虚拟景象的方法及系统，能够基于背景景象中的多个特征点确定与背景景象相匹配的虚拟景象，保证了用户使用MR头显设备时的视觉体验。

本发明实施例第一方面公开了一种基于特征点确定MR头显设备输出的虚拟景象的方法，所述方法包括：

所述MR头显设备通过双摄像头采集实时景象，并将采集到的所述实时景象分离成背景景象与实体景象，以及将所述背景景象发送至服务设备；

所述服务设备接收所述MR头显设备发送的所述背景景象，识别所述背景景象中的至少三个特征点，以及根据所述至少三个特征点组成的物理形状和所述背景景象的景深确定出所述MR头显设备在当前空间中所处的位置与视角，并根据所述位置与所述视角确定出与所述背景景象相匹配的虚拟景象，以及将所述虚拟景象返回至所述MR头显设备；

所述MR头显设备将采集到的所述实时景象中的所述背景景象替换成所述虚拟景象，并向所述MR头显设备的用户输出所述虚拟景象以及所述实体景象。

作为一种可选的实施方式，在本发明实施例第一方面中，所述MR头显设备通过双摄像头采集实时景象之后，以及所述MR头显设备将采集到的所述实时景象分离成背景景象与实体景象之前，所述方法还包括：

所述MR头显设备判断所述MR头显设备的当前使用模式是否为MR使用模式，当判断出所述当前使用模式为所述MR使用模式时，触发执行所述的将采集到的所述实时景象分离成背景景象与实体景象的操作；

当判断出所述当前使用模式不是所述MR使用模式时，所述MR头显设备输出切换提示，所述切换提示用于提示所述MR头显设备的用户是否需要将所述当前使用模式切换为所述MR使用模式；

所述MR头显设备判断是否接收到针对所述切换提示的确认消息，当判断出接收到所述确认消息时，将所述当前使用模式切换为所述MR使用模式，并触发执行所述的将采集到的所述实时景象分离成背景景象与实体景象的操作。

作为一种可选的实施方式，在本发明实施例第一方面中，所述方法还包括：

所述MR头显设备判断是否存在与其建立短距离无线连接的移动终端；

当判断出存在所述移动终端时，所述MR头显设备将所述虚拟景象以及所述实体景象发送至所述移动终端，以触发所述移动终端存储所述实体景象以及所述虚拟景象。

作为一种可选的实施方式，在本发明实施例第一方面中，所述方法还包括：

所述服务设备将允许在所述虚拟景象中显示的多个虚拟道具发送至所述MR头显设备；

所述MR头显设备接收所述多个虚拟道具，并输出所述多个虚拟道具供所述MR头显设备的用户选择；

所述MR头显设备检测所述MR头显设备的用户的眼球针对用于输出所述多个虚拟道具的输出页面的注视方向，并确定所述输出页面的页面范围内与所述注视方向对应的目标页面范围；

所述MR头显设备检测所述目标页面范围内是否输出有至少一个虚拟道具，当所述目标页面范围内输出有所述至少一个虚拟道具时，将所述至少一个虚拟道具叠加到所述虚拟景象中显示。

作为一种可选的实施方式，在本发明实施例第一方面中，所述方法还包括：

在将所述至少一个虚拟道具叠加到所述虚拟景象中显示的过程中，所述MR头显设备检测是否存在针对所述至少一个虚拟道具的其中一个虚拟道具的体感动作，当检测到存在所述体感动作时，根据所述体感动作的体感参数控制所述其中一个虚拟道具执行与所述体感参数相匹配的操作。

本发明实施例第二方面公开了一种基于特征点确定MR头显设备输出的虚拟景象的系统，所述系统包括MR头显设备以及服务设备，所述MR头显设备包括采集单元、分离单元、第一通信单元、替换单元以及输出单元，所述服务设备包括第二通信单元、识别单元以及第一确定单元，其中：

所述采集单元，用于通过双摄像头采集实时景象；

所述分离单元，用于将所述采集单元采集到的所述实时景象分离成背景景象与实体景象；

所述第一通信单元，用于将所述背景景象发送至所述服务设备；

所述第二通信单元，用于接收所述第一通信单元发送的所述背景景象；

所述识别单元，用于识别所述背景景象中的至少三个特征点；

所述第一确定单元，用于根据所述至少三个特征点组成的物理形状和所述背景景象的景深确定出所述MR头显设备在当前空间中所处的位置与视角，并根据所述位置与所述视角确定出与所述背景景象相匹配的虚拟景象；

所述第二通信单元，还用于将所述第一确定单元确定出的所述虚拟景象返回至所述MR头显设备；

所述第一通信单元，还用于接收所述第二通信单元返回的所述虚拟景象；

所述替换单元，用于将所述采集单元采集到的所述实时景象中的所述背景景象替换成所述虚拟景象；

所述输出单元，用于向所述MR头显设备的用户输出所述虚拟景象以及所述实体景象。

作为一种可选的实施方式，在本发明实施例第二方面中，所述MR头显设备还包括判断单元以及切换单元，其中：

所述判断单元，用于在所述采集单元通过双摄像头采集实时景象之后，判断所述MR头显设备的当前使用模式是否为MR使用模式，当判断出所述当前使用模式为所述MR使用模式时，触发所述分离单元执行所述的将采集到的所述实时景象分离成背景景象与实体景象的操作；

所述输出单元，还用于当所述判断单元判断出所述当前使用模式不是所述MR使用模式时，输出切换提示，所述切换提示用于提示所述MR头显设备的用户是否需要将所述当前使用模式切换为所述MR使用模式；

所述判断单元，还用于判断是否接收到针对所述切换提示的确认消息；

所述切换单元，用于当所述判断单元判断出接收到所述确认消息时，将所述当前使用模式切换为所述MR使用模式，并触发所述分离单元执行所述的将采集到的所述实时景象分离成背景景象与实体景象的操作。

作为一种可选的实施方式，在本发明实施例第二方面中，所述判断单元，还用于判断是否存在与所述MR头显设备建立短距离无线连接的移动终端；

所述第一通信单元，还用于当所述判断单元判断出存在所述移动终端时，将所述虚拟景象以及所述实体景象发送至所述移动终端，以触发所述移动终端存储所述实体景象以及所述虚拟景象。

作为一种可选的实施方式，在本发明实施例第二方面中，所述第二通信单元，还用于将允许在所述虚拟景象中显示的多个虚拟道具发送至所述MR头显设备；

所述第一通信单元，还用于接收所述第二通信单元发送的所述多个虚拟道具；

所述输出单元，还用于输出所述多个虚拟道具供所述MR头显设备的用户选择；

所述MR头显设备还包括检测单元、第二确定单元以及叠加单元，其中：

所述检测单元，用于检测所述MR头显设备的用户的眼球针对用于输出所述多个虚拟道具的输出页面的注视方向；

所述第二确定单元，用于确定所述输出页面的页面范围内与所述注视方向对应的目标页面范围；

所述检测单元，还用于检测所述目标页面范围内是否输出有至少一个虚拟道具；

所述叠加单元，用于当所述检测单元检测到所述目标页面范围内输出有所述至少一个虚拟道具时，将所述至少一个虚拟道具叠加到所述虚拟景象中显示。

作为一种可选的实施方式，在本发明实施例第二方面中，所述MR头显设备还包括控制单元，其中：

所述检测单元，还用于在将所述至少一个虚拟道具叠加到所述虚拟景象中显示的过程中，检测是否存在针对所述至少一个虚拟道具的其中一个虚拟道具的体感动作；

所述控制单元，用于当所述检测单元检测到存在所述体感动作时，根据所述体感动作的体感参数控制所述其中一个虚拟道具执行与所述体感参数相匹配的操作。

与现有技术相比，本发明实施例具备以下有益效果：

本发明实施例中，MR头显设备通过双摄像头采集实时景象，并将采集到的实时景象分离成背景景象与实体景象，以及将该背景景象发送至服务设备；服务设备接收MR头显设备发送的背景景象，识别该背景景象中的至少三个特征点，以及根据该至少三个特征点组成的物理形状和该背景景象的景深确定出MR头显设备在当前空间中所处的位置与视角，并根据该位置与该视角确定出与该背景景象相匹配的虚拟景象，以及将该虚拟景象返回至MR头显设备；MR头显设备将采集到的实时景象中的背景景象替换成该虚拟景象，并向MR头显设备的用户输出该虚拟景象以及该实体景象。可见，实施本发明实施例能够基于背景景象中的多个特征点确定与背景景象相匹配的虚拟景象，保证了用户使用MR头显设备时的视觉体验，且还能够在多人交互时相互之间准确的辨认出彼此的身份，提高了在通过虚拟景象实现多人交互时的安全性。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例公开的一种基于特征点确定MR头显设备输出的虚拟景象的方法的流程示意图；

图2是本发明实施例公开的另一种基于特征点确定MR头显设备输出的虚拟景象的方法的流程示意图；

图3是本发明实施例公开的一种基于特征点确定MR头显设备输出的虚拟景象的系统的结构示意图；

图4是本发明实施例公开的另一种基于特征点确定MR头显设备输出的虚拟景象的系统的结构示意图；

图5是本发明实施例公开的又一种基于特征点确定MR头显设备输出的虚拟景象的系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，本发明实施例的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本发明实施例公开了一种基于特征点确定MR头显设备输出的虚拟景象的方法及系统，能够基于背景景象中的多个特征点确定与背景景象相匹配的虚拟景象，保证了用户使用MR头显设备时的视觉体验，且还能够在多人交互时相互之间准确的辨认出彼此的身份，提高了在通过虚拟景象实现多人交互时的安全性。以下进行结合附图进行详细描述。

实施例一

请参阅图1，图1是本发明实施例公开的一种基于特征点确定MR头显设备输出的虚拟景象的方法的流程示意图。如图1所示，该基于特征点确定MR头显设备输出的虚拟景象的方法可以包括以下步骤：

101、MR头显设备通过双摄像头采集实时景象，并将采集到的实时景象分离成背景景象与实体景象，以及将该背景景象发送至服务设备。

本发明实施例中，MR头显设备将采集到的实时景象分离成背景景象与实体景象，可以包括：

MR头显设备通过背景颜色识别的方式，从采集的上述实时景象中识别颜色与预设背景颜色相匹配的部分实时景象，并判断该部分实时景象中是否包含针对上述实时景象中人物的某些身体部位(如人物的上半身和/或人物的下半身和/或人物的头部和/或人物的脚部等)的实时景象；

当判断结果为是时，MR头显设备将该部分实时景象中除针对上述实时景象中人物的某些身体部位的实时景象之外的第一剩余实时景象确定为背景景象，并将该部分实时景象中针对上述实时景象中人物的某些身体部位的实时景象以及第二剩余实时景象确定为实体景象，该部分实时景象以及该第二剩余实时景象组成采集的上述实时景象；

当判断结果为否时，MR头显设备将该部分实时景象确定为背景景象，并将剩余实时景象确定为实体景象，该部分实时景象以及该剩余实时景象组成采集的上述实时景象。

102、服务设备接收MR头显设备发送的背景景象，并识别背景景象中的至少三个特征点。

本发明实施例中，不同背景景象中包括的特征点不同，且不同背景景象中包括的特征点对应不同的物理形状。

103、服务设备根据上述至少三个特征点组成的物理形状和背景景象的景深确定出MR头显设备在当前空间中所处的位置与视角。

本发明实施例中，上述至少三个特征点组成的物理形状用于确定MR头显设备在当前空间中的视角，上述背景景象的景深用于确定MR头显设备在该视角与背景墙的距离，并通过该视角与该距离确定MR头显设备在当前空间中所处的位置。

104、服务设备根据上述位置与上述视角确定出与上述背景景象相匹配的虚拟景象，以及将该虚拟景象返回至MR头显设备。

本发明实施例中，服务设备中存储有针对不同位置不同视角的虚拟景象，在确定出MR头显设备在当前空间中所处的位置与视角之后，根据确定出的位置与视角确定出与上述背景景象相匹配的虚拟景象，并将该虚拟景象返回至MR头显设备。

105、MR头显设备将采集到的实时景象中的背景景象替换成上述虚拟景象，并向MR头显设备的用户输出上述虚拟景象以及上述实体景象。

在一个可选的实施例中，在执行完毕步骤101之后以及在执行步骤102之前，该基于特征点确定MR头显设备输出的虚拟景象的方法还可以包括以下操作：

服务设备判断接收到上述背景景象的时间是否处于该服务设备的预设服务时间段内，当处于预设服务时间段内时，判断上述MR头显设备是否为合法的MR头显设备，当为合法的MR头显设备时，触发执行步骤102。这样能够保证服务设备确定虚拟景象时的可靠性与安全性。

进一步可选的，在服务设备接收MR头显设备发送的背景景象之后，在服务设备识别背景景象中的至少三个特征点之前，该基于特征点确定MR头显设备输出的虚拟景象的方法还可以包括以下操作：

服务设备判断上述背景景象的分辨率是否小于等于预设分辨率阈值，当小于等于预设分辨率阈值时，对上述背景景象进行二值化图像处理操作，得到处理后的背景景象，并触发执行上述识别背景景象中的至少三个特征点的操作，当不小于等于预设分辨率阈值时，直接触发执行上述识别背景景象中的至少三个特征点的操作。这样能够保证识别出的至少三个特征点的准确性，进而提高了确定出的虚拟景象的准确性，保证了用户的视觉体验。

可见，实施图1所描述的基于特征点确定MR头显设备输出的虚拟景象的方法能够基于背景景象中的多个特征点确定与背景景象相匹配的虚拟景象，保证了用户使用MR头显设备时的视觉体验，且还能够在多人交互时相互之间准确的辨认出彼此的身份，提高了在通过虚拟景象实现多人交互时的安全性。

实施例二

请参阅图2，图2是本发明实施例公开的另一种基于特征点确定MR头显设备输出的虚拟景象的方法的流程示意图。如图2所示，该基于特征点确定MR头显设备输出的虚拟景象的方法可以包括以下步骤：

201、MR头显设备通过双摄像头采集实时景象，并判断MR头显设备的当前使用模式是否为MR使用模式，当步骤201的判断结果为是时，触发执行步骤204，当步骤201的判断结果为否时，触发执行步骤202。

202、MR头显设备输出切换提示，该切换提示用于提示MR头显设备的用户是否需要将当前使用模式切换为MR使用模式。

203、MR头显设备判断是否接收到针对切换提示的确认消息，当步骤203的判断结果为是时，触发执行步骤204，当步骤203的判断结果为否时，可以结束本次流程。

204、MR头显设备将采集到的实时景象分离成背景景象与实体景象，以及将该背景景象发送至服务设备。

可见，本发明实施例能够保证在MR使用模式下执行后续的操作，提高了基于特征点确定MR头显设备输出的虚拟景象的可靠性。

205、服务设备接收MR头显设备发送的背景景象，并识别背景景象中的至少三个特征点。

206、服务设备根据上述至少三个特征点组成的物理形状和背景景象的景深确定出MR头显设备在当前空间中所处的位置与视角。

207、服务设备根据上述位置与上述视角确定出与上述背景景象相匹配的虚拟景象，以及将该虚拟景象返回至MR头显设备。

208、MR头显设备将采集到的实时景象中的背景景象替换成上述虚拟景象，并向MR头显设备的用户输出上述虚拟景象以及上述实体景象。

在一个可选的实施例中，该基于特征点确定MR头显设备输出的虚拟景象的方法还可以包括以下操作：

209、MR头显设备判断是否存在与其建立短距离无线连接的移动终端，当步骤209的判断结果为是时，触发执行步骤210；当步骤209的判断结果为否时，可以结束本次流程。

本发明实施例中，该短距离无线连接可以为蓝牙连接、NFC连接或Wi-Fi连接等，本发明实施例不做限定。

210、MR头显设备将虚拟景象以及实体景象发送至移动终端，以触发移动终端存储实体景象以及虚拟景象。

可见，实施步骤209-210还能够将在使用MR头显设备的过程中MR头显设备的显示内容发送至移动终端，这样能够方便MR头显设备的用户在MR头显设备使用结束时对使用MR头显设备时的情况有一个直观的了解，尤其在使用MR头显设备进行游戏活动时，有利于MR头显设备的用户根据移动终端存储的内容了解游戏的具体情况，进一步提高了MR头显设备的用户的使用体验。

在另一个可选的实施例中，该基于特征点确定MR头显设备输出的虚拟景象的方法还可以包括以下操作：

服务设备将允许在上述虚拟景象中显示的多个虚拟道具发送至MR头显设备；

MR头显设备接收服务设备发送的多个虚拟道具，并输出多个虚拟道具供MR头显设备的用户选择；

MR头显设备检测MR头显设备的用户的眼球针对用于输出多个虚拟道具的输出页面的注视方向，并确定该输出页面的页面范围内与该注视方向对应的目标页面范围；

MR头显设备检测该目标页面范围内是否输出有至少一个虚拟道具，当目标页面范围内输出有至少一个虚拟道具时，将该至少一个虚拟道具叠加到虚拟景象中显示。

可见，实施该另一种可选的实施例还能够提供多个虚拟道具供MR头显设备的用户选择，且还能够使MR头显设备的用户通过眼球的注视方向选择合适的虚拟道具叠加在虚拟景象中显示，这不仅能够增加MR头显设备的用户的使用乐趣，还能够简化用户的手动操作，进一步提高了用户的使用体验。

在该另一个可选的实施例中，进一步可选的，该基于特征点确定MR头显设备输出的虚拟景象的方法还可以包括以下操作：

在将上述至少一个虚拟道具叠加到虚拟景象中显示的过程中，MR头显设备检测是否存在针对上述至少一个虚拟道具的其中一个虚拟道具的体感动作，当检测到存在体感动作时，根据体感动作的体感参数控制该其中一个虚拟道具执行与体感参数相匹配的操作。

本发明实施例中，在服务设备将上述多个虚拟道具发送给MR头显设备的同时，还可以将每个虚拟道具的控制方式发送至MR头显设备，其中，不同虚拟道具的控制方式对应不同的体感动作，且不同的体感动作对应不同的体感参数，MR头显设备可以根据每个虚拟道具的控制方式检测是否存在针对上述至少一个虚拟道具的其中一个虚拟道具的体感动作，当检测到存在时，根据该体感动作的体感参数控制该其中一个虚拟道具执行与体感参数相匹配的操作，其中，该体感动作可以为晃动头部的动作，该体感动作的体感参数可以为晃荡头部的方向、晃动头部的频率以及晃动头部的时长中的至少一个，本发明实施例不做限定。这样能够为MR头显设备的用户提供用户与虚拟道具之间的交互方式，增加了MR头显设备的用户在使用MR头显设备时的使用乐趣，提高了MR头显设备的用户的使用体验，进一步提高了MR头显设备的用户的粘稠度。

可见，实施图2所描述的基于特征点确定MR头显设备输出的虚拟景象的方法能够基于背景景象中的多个特征点确定与背景景象相匹配的虚拟景象，保证了用户使用MR头显设备时的视觉体验，且还能够在多人交互时相互之间准确的辨认出彼此的身份，提高了在通过虚拟景象实现多人交互时的安全性。

实施例三

请参阅图3，图3是本发明实施例公开的一种基于特征点确定MR头显设备输出的虚拟景象的系统的结构示意图。如图3所示，该基于特征点确定MR头显设备输出的虚拟景象的系统可以包括MR头显设备301以及服务设备302，MR头显设备301可以包括采集单元3011、分离单元3012、第一通信单元3013、替换单元3014以及输出单元3015，服务设备302可以包括第二通信单元3021、识别单元3022以及第一确定单元3023，其中：

采集单元3011，用于通过双摄像头采集实时景象。

分离单元3012，用于将采集单元3011采集到的实时景象分离成背景景象与实体景象。

第一通信单元3013，用于将分离单元3012分离得到的背景景象发送至服务设备302。

第二通信单元3021，用于接收第一通信单元3013发送的背景景象。

识别单元3022，用于识别第二通信单元3021接收到的上述背景景象中的至少三个特征点。

第一确定单元3023，用于根据识别单元3022识别出的上述至少三个特征点组成的物理形状和第二通信单元3021接收到的上述背景景象的景深确定出MR头显设备在当前空间中所处的位置与视角，并根据该位置与该视角确定出与上述背景景象相匹配的虚拟景象。

第二通信单元3021，还可以用于将第一确定单元3023确定出的虚拟景象返回至MR头显设备301。

第一通信单元3013，还可以用于接收第二通信单元3021返回的上述虚拟景象。

替换单元3014，用于将分离单元3012从采集单元3011采集到的实时景象中分离得到的背景景象替换成上述虚拟景象，并触发输出单元3015启动。

输出单元3015，用于向MR头显设备301的用户输出上述虚拟景象以及分离单元3012分离得到的实体景象。

可见，实施图3所描述的基于特征点确定MR头显设备输出的虚拟景象的系统能够基于背景景象中的多个特征点确定与背景景象相匹配的虚拟景象，保证了用户使用MR头显设备301时的视觉体验，且还能够在多人交互时相互之间准确的辨认出彼此的身份，提高了在通过虚拟景象实现多人交互时的安全性。

在一个可选的实施例中，MR头显设备301还可以包括判断单元3016以及切换单元3017，此时，该基于特征点确定MR头显设备输出的虚拟景象的系统的结构可以如图4所示，图4是本发明实施例公开的另一种基于特征点确定MR头显设备输出的虚拟景象的系统的结构示意图。其中：

判断单元3016，用于在采集单元3011通过双摄像头采集实时景象之后，判断MR头显设备301的当前使用模式是否为MR使用模式，当判断出该当前使用模式为MR使用模式时，触发分离单元3012执行上述的将采集单元3011采集到的实时景象分离成背景景象与实体景象的操作。

输出单元3015，还可以用于当判断单元3016判断出上述当前使用模式不是MR使用模式时，输出切换提示，该切换提示用于提示MR头显设备301的用户是否需要将当前使用模式切换为MR使用模式。

判断单元3016，还可以用于判断是否接收到针对切换提示的确认消息。

切换单元3017，用于当判断单元3016判断出接收到确认消息时，将MR头显设备301的当前使用模式切换为MR使用模式，并触发分离单元3012执行上述的将采集单元3011采集到的实时景象分离成背景景象与实体景象的操作。

可见，实施图4所描述的系统还能够保证在MR使用模式下触发其它单元执行后续的操作，提高了系统的可靠性。

进一步可选的，判断单元3016，还可以用于判断是否存在与MR头显设备301建立短距离无线连接的移动终端。

第一通信单元3013，还可以用于当判断单元3016判断出存在该移动终端时，将上述虚拟景象以及上述实体景象发送至移动终端，以触发移动终端存储该实体景象以及该虚拟景象。

可见，实施图4所描述的系统还能够将在使用MR头显设备301的过程中MR头显设备301的显示内容发送至移动终端，这样能够方便MR头显设备301的用户在MR头显设备301使用结束时对使用MR头显设备301时的情况有一个直观的了解，尤其在使用MR头显设备301进行游戏活动时，有利于MR头显设备301的用户根据移动终端存储的内容了解游戏的具体情况，进一步提高了MR头显设备301的用户的使用体验。

在另一个可选的实施例中，MR头显设备301还包括检测单元3018、第二确定单元3019以及叠加单元30110，此时，该系统的结构可以如图5所示，图5是本发明实施例公开的又一种基于特征点确定MR头显设备输出的虚拟景象的系统的结构示意图。其中：

第二通信单元3021，还可以用于将允许在上述虚拟景象中显示的多个虚拟道具发送至MR头显设备301。

第一通信单元3013，还可以用于接收第二通信单元3021发送的多个虚拟道具。

输出单元3015，还用于输出上述多个虚拟道具供MR头显设备301的用户选择，并触发检测单元3018启动。

检测单元3018，用于检测MR头显设备301的用户的眼球针对用于输出多个虚拟道具的输出页面的注视方向。

第二确定单元3019，用于确定输出页面的页面范围内与注视方向对应的目标页面范围。

检测单元3018，还可以用于检测上述目标页面范围内是否输出有至少一个虚拟道具。

叠加单元30110，用于当检测单元3018检测到上述目标页面范围内输出有至少一个虚拟道具时，将至少一个虚拟道具叠加到虚拟景象中显示。

可见，实施图5所描述的系统还能够提供多个虚拟道具供MR头显设备301的用户选择，且还能够使MR头显设备301的用户通过眼球的注视方向选择合适的虚拟道具叠加在虚拟景象中显示，这不仅能够增加MR头显设备301的使用乐趣，还能够简化用户的手动操作，进一步提高了用户的使用体验。

进一步可选的，如图5所示，MR头显设备301还可以包括控制单元30111，其中：

检测单元3018，还可以用于在将上述至少一个虚拟道具叠加到虚拟景象中显示的过程中，检测是否存在针对上述至少一个虚拟道具的其中一个虚拟道具的体感动作。

控制单元30111，用于当检测单元3018检测到存在体感动作时，根据体感动作的体感参数控制上述其中一个虚拟道具执行与体感参数相匹配的操作。

可见，实施图5所描述的系统还能够为MR头显设备301的用户提供用户与虚拟道具之间的交互方式，增加了MR头显设备301的用户在使用MR头显设备时的使用乐趣，提高了MR头显设备301的用户的使用体验，进一步提高了MR头显设备301的用户的粘稠度。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质包括只读存储器(Read-Only Memory，ROM)、随机存储器(Random Access Memory，RAM)、可编程只读存储器(Programmable Read-only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory，OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。

以上对本发明实施例公开的一种基于特征点确定MR头显设备输出的虚拟景象的方法及系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于特征点确定MR头显设备输出的虚拟景象的方法，其特征在于，所述方法包括：

所述MR头显设备通过双摄像头采集实时景象，

所述MR头显设备通过背景颜色识别的方式，从采集的所述实时景象中识别颜色与预设背景颜色相匹配的部分实时景象，并判断所述部分实时景象中是否包含针对所述实时景象中人物的某些身体部位的实时景象；

当判断结果为是时，所述MR头显设备将所述部分实时景象中除针对所述实时景象中人物的某些身体部位的实时景象之外的第一剩余实时景象确定为背景景象，并将所述部分实时景象中针对所述实时景象中人物的某些身体部位的实时景象以及第二剩余实时景象确定为实体景象，所述部分实时景象以及该第二剩余实时景象组成采集的所述实时景象；

当判断结果为否时，所述MR头显设备将所述部分实时景象确定为背景景象，并将剩余实时景象确定为所述实体景象，所述部分实时景象以及所述剩余实时景象组成采集的所述实时景象，以及将所述背景景象发送至服务设备；

所述服务设备接收所述MR头显设备发送的所述背景景象，识别所述背景景象中的至少三个特征点，以及根据所述至少三个特征点组成的物理形状和所述背景景象的景深确定出所述MR头显设备在当前空间中所处的位置与视角，并根据所述位置与所述视角确定出与所述背景景象相匹配的虚拟景象，以及将所述虚拟景象返回至所述MR头显设备；

所述MR头显设备将采集到的所述实时景象中的所述背景景象替换成所述虚拟景象，并向所述MR头显设备的用户输出所述虚拟景象以及所述实体景象；

所述方法还包括：

所述服务设备将允许在所述虚拟景象中显示的多个虚拟道具发送至所述MR头显设备；在所述服务设备将所述多个虚拟道具发送给所述MR头显设备的同时，还将每个虚拟道具的控制方式发送至所述MR头显设备，其中，不同虚拟道具的控制方式对应不同的体感动作，且不同的体感动作对应不同的体感参数，所述MR头显设备根据每个虚拟道具的控制方式检测是否存在针对所述多个虚拟道具中的一个虚拟道具的体感动作，当检测到存在时，根据所述一个虚拟道具的体感动作控制所述一个虚拟道具执行相匹配的操作，其中，所述体感动作为晃动头部的动作时，所述体感动作的体感参数为晃荡头部的方向、晃动头部的频率以及晃动头部的时长中的至少一个。

2.根据权利要求1所述的基于特征点确定MR头显设备输出的虚拟景象的方法，其特征在于，所述MR头显设备通过双摄像头采集实时景象之后，以及所述MR头显设备将采集到的所述实时景象分离成背景景象与实体景象之前，所述方法还包括：

所述MR头显设备判断所述MR头显设备的当前使用模式是否为MR使用模式，当判断出所述当前使用模式为所述MR使用模式时，触发执行所述的将采集到的所述实时景象分离成背景景象与实体景象的操作；

当判断出所述当前使用模式不是所述MR使用模式时，所述MR头显设备输出切换提示，所述切换提示用于提示所述MR头显设备的用户是否需要将所述当前使用模式切换为所述MR使用模式；

所述MR头显设备判断是否接收到针对所述切换提示的确认消息，当判断出接收到所述确认消息时，将所述当前使用模式切换为所述MR使用模式，并触发执行所述的将采集到的所述实时景象分离成背景景象与实体景象的操作。

3.根据权利要求2所述的基于特征点确定MR头显设备输出的虚拟景象的方法，其特征在于，所述方法还包括：

所述MR头显设备判断是否存在与其建立短距离无线连接的移动终端；

当判断出存在所述移动终端时，所述MR头显设备将所述虚拟景象以及所述实体景象发送至所述移动终端，以触发所述移动终端存储所述实体景象以及所述虚拟景象。

4.根据权利要求1-3任一项所述的基于特征点确定MR头显设备输出的虚拟景象的方法，其特征在于，所述方法还包括：

所述服务设备将允许在所述虚拟景象中显示的多个虚拟道具发送至所述MR头显设备；

所述MR头显设备接收所述多个虚拟道具，并输出所述多个虚拟道具供所述MR头显设备的用户选择；

所述MR头显设备检测所述MR头显设备的用户的眼球针对用于输出所述多个虚拟道具的输出页面的注视方向，并确定所述输出页面的页面范围内与所述注视方向对应的目标页面范围；

所述MR头显设备检测所述目标页面范围内是否输出有至少一个虚拟道具，当所述目标页面范围内输出有所述至少一个虚拟道具时，将所述至少一个虚拟道具叠加到所述虚拟景象中显示。

5.根据权利要求4所述的基于特征点确定MR头显设备输出的虚拟景象的方法，其特征在于，所述方法还包括：

在将所述至少一个虚拟道具叠加到所述虚拟景象中显示的过程中，所述MR头显设备检测是否存在针对所述至少一个虚拟道具的其中一个虚拟道具的体感动作，当检测到存在所述体感动作时，根据所述体感动作的体感参数控制所述其中一个虚拟道具执行与所述体感参数相匹配的操作。

6.一种基于特征点确定MR头显设备输出的虚拟景象的系统，其特征在于，所述系统包括MR头显设备以及服务设备，所述MR头显设备包括采集单元、分离单元、第一通信单元、替换单元以及输出单元，所述服务设备包括第二通信单元、识别单元以及第一确定单元，其中：

所述采集单元，用于通过双摄像头采集实时景象；

所述分离单元，用于将所述采集单元采集到的所述实时景象分离成背景景象与实体景象；

所述第一通信单元，用于将所述背景景象发送至所述服务设备；

所述第二通信单元，用于接收所述第一通信单元发送的所述背景景象；

所述识别单元，用于识别所述背景景象中的至少三个特征点；

所述第一确定单元，用于根据所述至少三个特征点组成的物理形状和所述背景景象的景深确定出所述MR头显设备在当前空间中所处的位置与视角，并根据所述位置与所述视角确定出与所述背景景象相匹配的虚拟景象；

所述第二通信单元，还用于将所述第一确定单元确定出的所述虚拟景象返回至所述MR头显设备；

所述第一通信单元，还用于接收所述第二通信单元返回的所述虚拟景象；

所述替换单元，用于将所述采集单元采集到的所述实时景象中的所述背景景象替换成所述虚拟景象；

所述输出单元，用于向所述MR头显设备的用户输出所述虚拟景象以及所述实体景象；

所述分离单元，具体用于通过背景颜色识别的方式，从采集的所述实时景象中识别颜色与预设背景颜色相匹配的部分实时景象，并判断所述部分实时景象中是否包含针对所述实时景象中人物的某些身体部位的实时景象；

当判断结果为是时，将所述部分实时景象中除针对所述实时景象中人物的某些身体部位的实时景象之外的第一剩余实时景象确定为所述背景景象，并将所述部分实时景象中针对所述实时景象中人物的某些身体部位的实时景象以及第二剩余实时景象确定为所述实体景象，所述部分实时景象以及该第二剩余实时景象组成采集的所述实时景象；

当判断结果为否时，将所述部分实时景象确定为背景景象，并将剩余实时景象确定为所述实体景象，所述部分实时景象以及所述剩余实时景象组成采集的所述实时景象；

所述第二通信单元，还用于将允许在所述虚拟景象中显示的多个虚拟道具，以及将每个虚拟道具的控制方式发送至所述MR头显设备；其中，不同虚拟道具的控制方式对应不同的体感动作，且不同的体感动作对应不同的体感参数，所述MR头显设备根据每个虚拟道具的控制方式检测是否存在针对所述多个虚拟道具中的一个虚拟道具的体感动作，当检测到存在时，根据所述一个虚拟道具的体感动作控制所述一个虚拟道具执行相匹配的操作，其中，所述体感动作为晃动头部的动作时，所述体感动作的体感参数为晃荡头部的方向、晃动头部的频率以及晃动头部的时长中的至少一个。

7.根据权利要求6所述的基于特征点确定MR头显设备输出的虚拟景象的系统，其特征在于，所述MR头显设备还包括判断单元以及切换单元，其中：

所述判断单元，用于在所述采集单元通过双摄像头采集实时景象之后，判断所述MR头显设备的当前使用模式是否为MR使用模式，当判断出所述当前使用模式为所述MR使用模式时，触发所述分离单元执行所述的将采集到的所述实时景象分离成背景景象与实体景象的操作；

所述输出单元，还用于当所述判断单元判断出所述当前使用模式不是所述MR使用模式时，输出切换提示，所述切换提示用于提示所述MR头显设备的用户是否需要将所述当前使用模式切换为所述MR使用模式；

所述判断单元，还用于判断是否接收到针对所述切换提示的确认消息；

所述切换单元，用于当所述判断单元判断出接收到所述确认消息时，将所述当前使用模式切换为所述MR使用模式，并触发所述分离单元执行所述的将采集到的所述实时景象分离成背景景象与实体景象的操作。

8.根据权利要求7所述的基于特征点确定MR头显设备输出的虚拟景象的系统，其特征在于，所述判断单元，还用于判断是否存在与所述MR头显设备建立短距离无线连接的移动终端；

所述第一通信单元，还用于当所述判断单元判断出存在所述移动终端时，将所述虚拟景象以及所述实体景象发送至所述移动终端，以触发所述移动终端存储所述实体景象以及所述虚拟景象。

9.根据权利要求6-8任一项所述的基于特征点确定MR头显设备输出的虚拟景象的系统，其特征在于，所述第二通信单元，还用于将允许在所述虚拟景象中显示的多个虚拟道具发送至所述MR头显设备；

所述第一通信单元，还用于接收所述第二通信单元发送的所述多个虚拟道具；

所述输出单元，还用于输出所述多个虚拟道具供所述MR头显设备的用户选择；

所述MR头显设备还包括检测单元、第二确定单元以及叠加单元，其中：

所述检测单元，用于检测所述MR头显设备的用户的眼球针对用于输出所述多个虚拟道具的输出页面的注视方向；

所述第二确定单元，用于确定所述输出页面的页面范围内与所述注视方向对应的目标页面范围；

所述检测单元，还用于检测所述目标页面范围内是否输出有至少一个虚拟道具；

所述叠加单元，用于当所述检测单元检测到所述目标页面范围内输出有所述至少一个虚拟道具时，将所述至少一个虚拟道具叠加到所述虚拟景象中显示。

10.根据权利要求9所述的基于特征点确定MR头显设备输出的虚拟景象的系统，其特征在于，所述MR头显设备还包括控制单元，其中：

所述检测单元，还用于在将所述至少一个虚拟道具叠加到所述虚拟景象中显示的过程中，检测是否存在针对所述至少一个虚拟道具的其中一个虚拟道具的体感动作；

所述控制单元，用于当所述检测单元检测到存在所述体感动作时，根据所述体感动作的体感参数控制所述其中一个虚拟道具执行与所述体感参数相匹配的操作。

Images