CN106094989A - 一种增强现实图像定位显示方法、装置和系统 - Google Patents

Abstract

本发明公开了一种增强现实图像定位显示方法、装置和系统，涉及三维智能领域。其中的方法包括：通过头戴设备读取外部图像信息；判断外部图像信息与预设图像信息是否相匹配；若外部图像信息与预设图像信息相匹配，则在可穿戴设备的位置处显示预设的虚拟现实图像。即本发明通过头戴设备和可穿戴设备的配套使用，能够实现在预定位置显示虚拟现实图像。另外，头戴设备接收可穿戴设备发送的用户运动数据后，可以向虚拟现实图像发送控制指令，实现虚拟现实图像根据用户动作为做出相应的操作。

Description

一种增强现实图像定位显示方法、装置和系统

技术领域

本发明涉及三维智能领域，尤其涉及一种增强现实图像定位显示方法、装置和系统。

背景技术

增强现实技术(Augmented Reality，AR)是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，是把原本在现实世界的一定时间空间范围内很难体验到的实体信息(视觉信息,声音,味道,触觉等),通过电脑等科学技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验。真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。

现有技术中，可以通过一些二维码或特殊图形对虚拟3D图像进行定位，并通过软件将图像定位在该处。但现有二维码或标志固定于物体表面或者通过卡片的形式呈现，没有很好的集成的设备配合显示。

发明内容

本发明的目的是提供一种增强现实图像定位显示方法、装置和系统，通过配套的设备来实现在预定位置显示虚拟现实图像。

根据本发明的一个方面，一种增强现实图像定位显示方法，包括：

通过头戴设备读取外部图像信息；

判断所述外部图像信息与预设图像信息是否相匹配；

若所述外部图像信息与预设图像信息相匹配，则在可穿戴设备的位置处显示预设的虚拟现实图像。

可选的，在可穿戴设备的位置处显示预设的虚拟现实图像包括：

判断所述可穿戴设备是否具有图像标识；

若所述可穿戴设备具有图像标识，则根据所述图像标识在所述可穿戴设备的位置处显示预设的虚拟现实图像。

可选的，该方法还包括：

接收所述可穿戴设备发送的用户的运动数据；

根据所述运动数据向所述虚拟现实图像发送相应的控制指令。

可选的，接收所述可穿戴设备发送的用户的运动数据包括：

通过所述可穿戴设备获取用户的运动轨迹，并将所述运动轨迹转换为运动数据；

所述可穿戴设备将所述运动数据发送至所述头戴设备。

可选的，根据所述运动数据向所述虚拟现实图像发送相应的控制指令包括：

所述头戴设备判断接收的运动数据与指令库中的数据是否相匹配；

若所述运动数据与指令库中的数据相匹配，则向所述虚拟现实图像发送与所述运动数据相应的控制指令。

可选的，该方法还包括：

所述头戴设备将所述外部图像信息转换为3D图像数据，以便在所述可穿戴设备的位置处显示与所述3D图像数据相应的虚拟现实图像。

可选的，该方法还包括：

所述头戴设备将所述预存图像信息转换为3D图像数据，以便在所述可穿戴设备的位置处显示与所述3D图像数据相应的虚拟现实图像。

根据本发明的另一方面，一种头戴设备，包括：

图像输入模块，用于读取外部图像信息；

数据处理模块，用于判断所述外部图像信息与预设图像信息是否相匹配，并将判断结果发送至图像显示模块；

图像显示模块，用于根据所述数据处理模块的判断结果，若所述外部图像信息与预设图像信息相匹配，则在可穿戴设备的位置处显示预设的虚拟现实图像。

可选的，所述图像显示模块用于判断所述可穿戴设备是否具有图像标识，若所述可穿戴设备具有图像标识，则根据所述图像标识在所述可穿戴设备的位置处显示预设的虚拟现实图像。

可选的，该头戴设备还包括：

第一通信模块，用于接收所述可穿戴设备发送的用户的运动数据；

所述图像显示模块用于根据所述运动数据向所述虚拟现实图像发送相应的控制指令。

可选的，所述数据处理模块用于判断接收的运动数据与指令库中的数据是否相匹配；

所述图像显示模块用于若所述运动数据与指令库中的数据相匹配，则向所述虚拟现实图像发送与所述运动数据相应的控制指令。

可选的，所述图像显示模块还用于将所述外部图像信息转换为3D图像数据，以便在所述可穿戴设备的位置处显示与所述3D图像数据相应的虚拟现实图像。

可选的，所述图像显示模块还用于将所述预存图像信息转换为3D图像数据，以便在所述可穿戴设备的位置处显示与所述3D图像数据相应的虚拟现实图像。

根据本发明的另一方面，一种可穿戴设备，包括：

运动感知模块，用于获取用户的运动数据；

第二通信模块，用于将所述运动数据发送至头戴设备，以便所述头戴设备根据所述运动数据向所述虚拟现实图像发送相应的控制指令。

可选的，所述运动感知模块用于感知所述用户的运动轨迹，并将所述运动轨迹转换为用户的运动数据。

可选的，该可穿戴设备还包括：

图像标识模块，用于标定所述虚拟现实图像的显示位置。

根据本发明的另一方面，一种增强现实图像定位显示系统，包括上述的头戴设备以及上述的可穿戴设备。

与现有技术相比，本发明通过头戴设备读取外部图像信息；判断外部图像信息与预设图像信息是否相匹配；若外部图像信息与预设图像信息相匹配，则在可穿戴设备的位置处显示预设的虚拟现实图像。即本发明通过头戴设备和可穿戴设备的配套使用，能够实现在预定位置显示虚拟现实图像。

附图说明

图1是根据本发明第一实施方式的方法流程图；

图2是根据本发明第二实施方式的方法流程图；

图3是根据本发明第三实施方式的方法流程图；

图4是根据本发明第四实施方式的装置结构示意图；

图5是根据本发明第五实施方式的装置结构示意图；

图6是根据本发明第六实施方式的系统结构示意图；

图7为用户佩戴本发明产品的示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

图1是根据本发明第一实施方式的方法流程图，增强现实图像定位显示方法包括以下步骤：

在步骤110，通过头戴设备读取外部图像信息。其中，头戴设备可以为智能眼镜，例如通过智能眼镜的摄像头可以扫描视野中的图像。

在步骤120，判断外部图像信息与预设图像信息是否相匹配，若相匹配则执行步骤130，否则执行步骤140。在头戴设备中保存有预设的图像，头戴设备获取外部图像后，可以将每一帧图像与预设的图像进行比对。

在步骤130，在可穿戴设备的位置处显示预设的虚拟现实图像。其中，可穿戴设备可以为指环，也可以是手环、臂环、腰环、腿环等。例如，可以先确定指环在视野中的位置，以便在指环处展示出预设的虚拟现实图像。

在步骤140，不进行虚拟现实图像的展示。

在该实施例中，通过头戴设备读取外部图像信息；判断外部图像信息与预设图像信息是否相匹配；若外部图像信息与预设图像信息相匹配，则在可穿戴设备的位置处显示预设的虚拟现实图像。即通过头戴设备和可穿戴设备的配套使用，能够实现在预定位置显示虚拟现实图像。

图2是根据本发明第二实施方式的方法流程图，增强现实图像定位显示方法还可以包括以下步骤：

在步骤210，头戴设备接收可穿戴设备发送的用户运动数据。例如，用户的手上带有指环，指环内的传感器可以获取用户手指的动作，将用户动作转换为用户运动数据后，指环将手指的运动数据发送至智能眼镜。运动数据可以是四元数据，也可以是采用方向余弦，欧拉公式等能够描述的用户运动姿态的参数。

在步骤220，头戴设备判断接收到的运动数据与上位机指令库中的数据是否相匹配，若相匹配，则执行步骤230，否则执行步骤240。

在步骤230，头戴设备向虚拟现实图像发送与运动数据相应的控制指令。例如，在指环处显示一只虚拟的小狗，可以通过指环划出路径，小狗可以根据路径跑动，如指环作翻转，小狗相应地翻个跟头。或者，在指环处显示一本虚拟的硬皮书，指环可以通过轻微向左或向右抖动实现翻页功能。再或者，一张虚拟的地图，可以通过指环拉近或伸远实现地图放大或缩小等。

在步骤240，头戴设备不发出控制指令。

在该实施例中，通过可穿戴设备将用户的运动数据发送至头戴设备，头戴设备根据运动数据向虚拟现实图像发送与运动数据相应的控制指令，因此，虚拟现实图像可以根据控制指令执行相应的复杂操作。

图3是根据本发明第三实施方式的方法流程图，增强现实图像定位显示方法包括以下步骤：

在步骤310，在智能眼镜选择预设图像。

在步骤320，通过智能眼镜的摄像头扫描视野中的图像。其中，智能眼镜还可以将2D图像数据转换为3D图像数据。

在步骤330，将扫描的图像与预设的图像进行比对，若扫描的图像与预设的图像相匹配，则执行步骤340，否则继续扫描视野中的图像。

在步骤340，确定指环在视野中的位置，判断指环是否具有图像标识，若指环具有图像标识，则执行步骤350，否则执行步骤351。

在步骤350，根据图像标识在指环的位置处显示预设的虚拟现实图像。例如，智能眼镜在指环图像标识处显示出3D投影。

在步骤351，不显示虚拟现实图像。

在步骤360，指环中的传感器获取用户手指的运动轨迹，并将运动轨迹转化为四元数。

例如，一个矢量R相对于参考系坐标通过轴n旋转了θ度。cosα，cosβ,cosγ为n和三个坐标轴的方向余弦,q为四元数。

R’＝qRq’；

q＝λ+p₁i+p₂i+p₃i；

$\mathrm{\λ}=cos\frac{\mathrm{\θ}}{2};p_1=sin\frac{\mathrm{\θ}}{2}cos\mathrm{\α};p_2=sin\frac{\mathrm{\θ}}{2}cos\mathrm{\β};p_3=sin\frac{\mathrm{\θ}}{2}cos\mathrm{\γ}.$

q可以确定载体坐标系到导航坐标系的转换矩阵为：

$C_b^n=\left[\begin{array}{ccc}1-2(q_2^2+q_3^2)& 2(q_1{q}_2-q_3{q}_0)& 2(q_1{q}_3+q_2{q}_0)\\ 2(q_1{q}_2+q_3{q}_0)& 1-2(q_1^2+q_3^2)& 2(q_3{q}_2-q_1{q}_0)\\ 2(q_1{q}_3-q_2{q}_0)& 2(q_3{q}_2+q_1{q}_0)& 1-2(q_2^2+q_1^2)\end{array}\right]$

通过每个传感器得到的导航坐标系的四元数数据可以得到人体姿态。

在步骤370，指环将四元数据发送至智能眼镜。

在步骤380，智能眼镜判断接收的四元数据是否与指令库中的数据相匹配，若接收的四元数据与指令库中的数据相匹配，执行步骤390，否则，执行步骤391。

在步骤390，智能眼镜向虚拟现实图像发送控制指令，虚拟现实图像执行相应的操作。例如，3D投影可以根据指环的移动而移动，同时指环做出一些移动之外例如旋转之类的动作可以对3D投影进行操控。即可以实现移动动作控制投影位移，旋转或其它动作控制投影旋转放大发送等功能。

在步骤391，智能眼镜不发出控制指令。

在该实施例中，通过智能眼镜与指环的相互配合，可以在预定位置显示虚拟现实图像，并且随着指环的运动，虚拟现实图像可以执行相应的操作。

作为一个可选的实施方式，在所述步骤步骤110之前还包括：所述头戴设备将所述外部图像信息转换为3D图像数据，以便在所述可穿戴设备的位置处显示与所述3D图像数据相应的虚拟现实图像。或者，在所述步骤步骤110之前还包括：所述头戴设备将所述预存图像信息转换为3D图像数据，以便在所述可穿戴设备的位置处显示与所述3D图像数据相应的虚拟现实图像。其中，外部图像信息可理解为可拍摄的周围的环境信息，即除了预设的虚拟现实图像(小狗)，还包括周围的环境图像(室内)，通过上述方法操作实现预设的虚拟现实图像(小狗)在环境图像中运动；所述预存图像信息预先存储于头戴设备，其为虚拟的周围的环境图像(室内)，即预设的虚拟现实图像(小狗)和周围的环境图像(室内)都为虚拟的，通过上述方法操作也可实现预设的虚拟现实图像(小狗)在环境图像中运动。

图4是根据本发明第四实施方式的装置结构示意图，其中，头戴设备包括图像输入模块410、数据处理模块420和图像显示模块430。

图像输入模块410用于读取外部图像信息。例如，通过摄像头可以扫描视野中的图像。

数据处理模块420用于判断外部图像信息与预设图像信息是否相匹配，并将判断结果发送至图像显示模块430。

图像显示模块430用于若外部图像信息与预设图像信息相匹配，则在可穿戴设备的位置处显示预设的虚拟现实图像。其中，可穿戴设备可以为指环，也可以是手环、臂环、腰环、腿环等。例如，先确定指环在视野中的位置，以便在指环处展示出预设的虚拟现实图像。

图像显示模块430还用于判断可穿戴设备是否具有图像标识，若可穿戴设备具有图像标识，则根据图像标识在可穿戴设备的位置处显示预设的虚拟现实图像。另外，图像显示模块430还可以用于将外部图像信息转换为3D图像数据，以便在可穿戴设备的位置处显示与3D图像数据相应的虚拟现实图像；图像显示模块430还用于将所述预存图像信息转换为3D图像数据，以便在所述可穿戴设备的位置处显示与所述3D图像数据相应的虚拟现实图像。。

在该实施例中，头戴设备读取外部图像信息；判断外部图像信息与预设图像信息是否相匹配；若外部图像信息与预设图像信息相匹配，则在可穿戴设备的位置处显示预设的虚拟现实图像。即通过头戴设备和可穿戴设备的配套使用，能够实现在预定位置显示虚拟现实图像。

在另一个实施例中，头戴设备可以通过第一通信模块440与可穿戴设备进行信息交互。例如通过第一通信模块440接收可穿戴设备发送的用户运动数据。

数据处理模块420还用于判断接收的运动数据与指令库中的数据是否相匹配，并将判断结果发送至图像显示模块430。

图像显示模块430向虚拟现实图像发送与运动数据相应的控制指令，以便虚拟现实图像根据用户的动作执行相应的操作。

在该实施例中，通过头戴设备与可穿戴设备的相互配合，可以在预定位置显示虚拟现实图像，并且随着用户的运动，虚拟现实图像可以执行相应的操作。例如，可以实现在指环处显示一只虚拟的小狗，可以通过指环划出路径，小狗可以根据路径跑动，如指环作翻转，小狗相应地翻个跟头等等。

图5是根据本发明第五实施方式的装置结构示意图，其中，可穿戴设备可以包括运动感知模块510和第二通信模块520。

运动感知模块510用于获取用户的运动数据。

运动感知模块510用于感知用户的运动轨迹，即人体的运动姿态，并将运动轨迹转换为用户的运动数据。例如，指环中的传感器获取用户手指的运动轨迹，并将运动轨迹转化为四元数。四元数的转换过程已在上述实施例中进行介绍，此处不再进一步阐释。

第二通信模块520用于与头戴设备进行信息交互。例如，将运动数据发送至头戴设备，以便头戴设备根据运动数据向虚拟现实图像发送相应的控制指令。

在另一个实施例中，该可穿戴设备还可以具有图像标识模块530，用于标定虚拟现实图像的显示位置。头戴设备根据可穿戴设备的图像标识确定虚拟现实图像的投射位置。

在本发明的实施例中，可穿戴设备可以将采集的人体姿态数据发送至头戴设备，以便头戴设备向虚拟现实图像发送控制指令，虚拟现实图像可以进行相应的操作。

图6是根据本发明第六实施方式的系统结构示意图，增强现实图像定位显示系统包括用于显示现实虚拟现实图像的头戴设备610和用于定位以及获取用户的运动数据的可穿戴设备620。

头戴设备610可以为智能眼镜，可穿戴设备620可以为指环、手环、臂环、腰环或腿环。其中头戴设备610和可穿戴设备620已在上述实施例中进行了详细介绍，此处不再进一步阐释。

图7为用户佩戴本发明的产品的一个示意图。710为智能眼镜，720为指环。用户手指运动时，佩戴在手指上的手环将获取的运动数据发送至智能眼镜，智能眼镜向虚拟现实图像发送控制指令，虚拟现实图像就能够根据指环的运动而做出相应的操作。例如，在指环处显示一本虚拟的硬皮书，指环可以通过轻微向左或向右抖动实现翻页功能。再或者，一张虚拟的地图，可以通过指环拉近或伸远实现地图放大或缩小等。

在本发明的实施例中，通过头戴设备和可穿戴设备的相互配合，可以在预定位置显示虚拟现实图像，并且随着指环的运动，虚拟现实图像可以执行相应的操作。

应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (17)

1.一种增强现实图像定位显示方法，其特征在于，包括：

通过头戴设备读取外部图像信息；

判断所述外部图像信息与预设图像信息是否相匹配；

若所述外部图像信息与预设图像信息相匹配，则在可穿戴设备的位置处显示预设的虚拟现实图像。

2.根据权利要求1所述的方法，其中，在可穿戴设备的位置处显示预设的虚拟现实图像包括：

判断所述可穿戴设备是否具有图像标识；

若所述可穿戴设备具有图像标识，则根据所述图像标识在所述可穿戴设备的位置处显示预设的虚拟现实图像。

3.根据权利要求1所述的方法，其中，还包括：

接收所述可穿戴设备发送的用户的运动数据；

根据所述运动数据向所述虚拟现实图像发送相应的控制指令。

4.根据权利要求3所述的方法，其中，接收所述可穿戴设备发送的用户的运动数据包括：

通过所述可穿戴设备获取用户的运动轨迹，并将所述运动轨迹转换为运动数据；

所述可穿戴设备将所述运动数据发送至所述头戴设备。

5.根据权利要求4所述的方法，其中，根据所述运动数据向所述虚拟现实图像发送相应的控制指令包括：

所述头戴设备判断接收的运动数据与指令库中的数据是否相匹配；

若所述运动数据与指令库中的数据相匹配，则向所述虚拟现实图像发送与所述运动数据相应的控制指令。

6.根据权利要求1-5任一所述的方法，其中，还包括：

所述头戴设备将所述外部图像信息转换为3D图像数据，以便在所述可穿戴设备的位置处显示与所述3D图像数据相应的虚拟现实图像。

7.根据权利要求1-5任一所述的方法，其中，还包括：

所述头戴设备将所述预存图像信息转换为3D图像数据，以便在所述可穿戴设备的位置处显示与所述3D图像数据相应的虚拟现实图像。

8.一种头戴设备，其特征在于，包括：

图像输入模块，用于读取外部图像信息；

数据处理模块，用于判断所述外部图像信息与预设图像信息是否相匹配，并将判断结果发送至图像显示模块；

图像显示模块，用于根据所述数据处理模块的判断结果，若所述外部图像信息与预设图像信息相匹配，则在可穿戴设备的位置处显示预设的虚拟现实图像。

9.根据权利要求8所述的头戴设备，其中，所述图像显示模块用于判断所述可穿戴设备是否具有图像标识，若所述可穿戴设备具有图像标识，则根据所述图像标识在所述可穿戴设备的位置处显示预设的虚拟现实图像。

10.根据权利要求8所述的头戴设备，其中，还包括：

第一通信模块，用于接收所述可穿戴设备发送的用户的运动数据；

所述图像显示模块用于根据所述运动数据向所述虚拟现实图像发送相应的控制指令。

11.根据权利要求10所述的头戴设备，其中，所述数据处理模块用于判断接收的运动数据与指令库中的数据是否相匹配；

所述图像显示模块用于若所述运动数据与指令库中的数据相匹配，则向所述虚拟现实图像发送与所述运动数据相应的控制指令。

12.根据权利要求8-11任一所述的头戴设备，其中，所述图像显示模块还用于将所述外部图像信息转换为3D图像数据，以便在所述可穿戴设备的位置处显示与所述3D图像数据相应的虚拟现实图像。

13.根据权利要求8-11任一所述的头戴设备，其中，所述图像显示模块还用于将所述预存图像信息转换为3D图像数据，以便在所述可穿戴设备的位置处显示与所述3D图像数据相应的虚拟现实图像。

14.一种可穿戴设备，其特征在于，包括：

运动感知模块，用于获取用户的运动数据；

第二通信模块，用于将所述运动数据发送至头戴设备，以便所述头戴设备根据所述运动数据向所述虚拟现实图像发送相应的控制指令。

15.根据权利要求14所述的可穿戴设备，其中，所述运动感知模块用于感知所述用户的运动轨迹，并将所述运动轨迹转换为用户的运动数据。

16.根据权利要求14或15所述的可穿戴设备，其中，还包括：

图像标识模块，用于标定所述虚拟现实图像的显示位置。

17.一种增强现实图像定位显示系统，其特征在于，包括权利要求8-13任一所述的头戴设备以及权利要求14-16任一所述的可穿戴设备。