CN104699247B - 一种基于机器视觉的虚拟现实交互系统及方法 - Google Patents
一种基于机器视觉的虚拟现实交互系统及方法 Download PDFInfo
- Publication number
- CN104699247B CN104699247B CN201510119550.XA CN201510119550A CN104699247B CN 104699247 B CN104699247 B CN 104699247B CN 201510119550 A CN201510119550 A CN 201510119550A CN 104699247 B CN104699247 B CN 104699247B
- Authority
- CN
- China
- Prior art keywords
- separation unit
- coordinate system
- module
- helmet
- interactive device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Abstract
本发明提供一种基于机器视觉的虚拟现实交互系统及方法，方法为：虚拟环境生成控制器基于机器视觉的特征点识别技术，得到参与者头部在世界坐标系下的姿态变化信息；以及，还得到分离部交互设备的姿态变化信息；再结合分离部交互设备的瞄准方向和对虚拟环境的交互指令，生成在头盔设备运动、分离部交互设备也运动的情况下的叠加虚拟动画，并将叠加后的虚拟动画输出到位于头盔设备前端卡槽内的显示屏上；优点为：可实现在头盔设备运动、分离部交互设备也运动的情况下，输出叠加的虚拟动画，从而生成比较自然、流畅的动画，进而增强玩家的体验。
Description
技术领域
本发明涉及一种虚拟现实交互系统，具体涉及一种基于机器视觉的虚拟现实交互系统及方法。
背景技术
虚拟现实技术(Virtual Reality，VR)，是集成计算机图形学、多媒体、人工智能、多传感器、网络和并行处理等技术的一项最新技术，以模拟方式为使用者创造一个实时反映实体对象变化与相互作用的三维图像世界。在视、听、触和嗅等感知行为的逼真体验中，使参与者可以直接参与虚拟对象在所处环境中的作用和变化，令人仿佛置身于一个虚拟世界中，产生身临其境的感觉，即：浸没感(Immersion)。
虚拟现实技术除具有浸没感的特征外，还具有交互性，即：参与者可操纵虚拟环境。为实现参与者和虚拟环境之间交互性，必须跟踪参与者头部和分离部的姿态，现有技术中，采用复杂的外围器件，例如，陀螺仪、加速度计以及旋转向量传感器等，对参与者头部和分离部进行跟踪，因此，既加大了系统成本，又具有跟踪精度有限的问题，从而降低了参与者体验感。
发明内容
针对现有技术存在的缺陷，本发明提供一种基于机器视觉的虚拟现实交互系统及方法，可有效解决上述问题。
本发明采用的技术方案如下：
本发明提供一种基于机器视觉的虚拟现实交互系统，包括：虚拟环境生成控制器(1)、头盔设备(2)和分离部交互系统(3)；
其中，所述头盔设备(2)包括头盔式显示器、固定安装于所述头盔式显示器的第二图像采集设备(2.1)和通信模块；所述第二图像采集设备(2.1)通过所述通信模块与所述虚拟环境生成控制器(1)通信；
所述分离部交互系统(3)包括分离部交互设备(3.1)、固定设置于所述分离部交互设备(3.1)的第二辅助识别模块(3.2)和指令发送器(3.3)；所述分离部交互设备(3.1)通过所述指令发送器(3.3)与所述虚拟环境生成控制器(1)通信；
此外，所述第二图像采集设备(2.1)为摄像机，随着参与者头部运动而运动；所述第二图像采集设备(2.1)用于采集所述第二辅助识别模块(2.2)的图像信息，并将采集到的所述图像信息上传给所述虚拟环境生成控制器(1)。
优选的，还包括头部姿态采集系统；
所述头部姿态采集系统为姿态传感器；或者，所述头部姿态采集系统包括第一图像采集设备(4)和固定设置于所述头盔式显示器的第一辅助识别模块(2.2)；所述第一图像采集设备(4)的数量为至少一个，固定安装于参与者视线的前方、左侧或右侧；当所述第一图像采集设备(4)的数量为两个以上时，形成一个无盲区的采集区域；
所述第一图像采集设备(4)与所述虚拟环境生成控制器(1)通信。
优选的，所述姿态传感器为陀螺仪和/或加速度计和/或磁力计。
优选的，所述第一辅助识别模块(2.2)和所述第二辅助识别模块(3.2)为带特征标记的多面体，所述多面体为四面体、六面体或者球体。
优选的，所述第一辅助识别模块(2.2)为设置于所述头盔式显示器中远离参与者眼部外表面的具有一定规则的纹理图案；所述第二辅助识别模块(3.2)为设置于所述分离部交互设备(3.1)外表面的具有一定规则的纹理图案。
优选的，所述分离部交互设备(3.1)为仿真模型和/或玩具；所述指令发送器(3.3)为所述仿真刀具的手柄，或者，所述指令发送器(3.3)为所述仿真枪具的扳机。
优选的，所述指令发送器(3.3)为有线指令发送器和/或无线指令发送器。
本发明还提供一种基于机器视觉的虚拟现实交互方法，包括以下步骤：
S1，初始时刻，头盔设备(2)固定设置有第二图像采集设备(2.1)以及配有图案和/或人工标记的第一辅助识别模块(2.2)；
在分离部交互设备(3.1)上固定设置有配有图案和/或人工标记的第二辅助识别模块(3.2)；
在参与者视线的前方固定安装第一图像采集设备(4)；
在初始时刻，即t＝0时，虚拟环境生成控制器(1)生成初始的虚拟环境；同时，所述虚拟环境生成控制器(1)预存储第一辅助识别模块(2.2)在头盔真实场景坐标系下的初始三维坐标A0、以及第一辅助识别模块(2.2)中各个特征点在图像平面坐标系下的初始二维坐标B0；还存储第二辅助识别模块(3.2)所在分离部交互设备真实场景坐标系下的初始三维坐标C0、第二辅助识别模块(3.2)中各个特征点在图像平面坐标系下的初始二维坐标D0，以及分离部交互设备相对于头盔真实场景所在坐标系的姿态信息P0；
根据第一辅助识别模块(2.2)所在头盔真实场景坐标系的初始三维坐标A0、以及第一辅助识别模块(2.2)中各个特征点在图像平面坐标系下的初始二维坐标B0，通过三维注册技术解算得到初始时刻第一辅助识别模块(2.2)所在头盔真实场景坐标系相对于第一图像采集设备(4)所在坐标系的变换矩阵M0；
以及，根据第二辅助识别模块(3.2)所在分离部交互设备真实场景坐标系下初始三维坐标C0、第二辅助识别模块(3.2)中各个特征点在图像平面坐标系下的初始二维坐标D0，解算得到初始时刻第二辅助识别模块(3.2)所在分离部交互设备真实场景坐标系相对于第二图像采集设备(2.1)所在坐标系的变换矩阵W0；
其中，当分离部交互设备(3.1)和/或头盔设备(2)运动时，A0、C0均为常量；
S2，在下一时刻，当头盔设备(2)和/或分离部交互设备(3.1)运动时，固定安装于参与者前方的第一图像采集设备(4)，采集当前时刻固定安装于所述头盔设备(2)的第一辅助识别模块(2.2)的第一图像信息，并实时将所述第一图像信息上传给所述虚拟环境生成控制器(1)；其中，所述第一辅助识别模块(2.2)具有一定排列规则的特征点；
同时，固定安装于所述头盔设备(2)的第二图像采集设备(2.1)实时采集当前时刻所述分离部交互设备(3.1)中第二辅助识别模块(3.2)的第二图像信息，并实时将所述第二图像信息上传给所述虚拟环境生成控制器(1)；其中，所述第二辅助识别模块(3.2)具有一定排列规则的特征点；
S3，所述虚拟环境生成控制器(1)基于机器视觉的特征点识别技术，对所述第一图像信息进行解算，得到上一时刻头部相对于第一图像采集设备所在坐标系下的姿态变化矩阵Tt-1；
其中，头部相对于第一图像采集设备所在坐标系下的姿态变化矩阵Tt-1的计算方法为：
1)采用三维注册技术计算当前时刻第一辅助识别模块(2.2)所在头盔真实场景坐标系相对于第一图像采集设备(4)所在坐标系的变换矩阵Mt；三维注册的任务是实现对使用者头部姿态变换的计算，算法的基本步骤为：
(1)已知标志点在场景中的坐标(xi，yi，zi)
(2)测定标志点在图像平面坐标系的坐标(ui,vi)
(3)利用透视投影方程建立图像平面点与场景点的联系。
(4)求解出标志点所在场景坐标系xyz与摄像头坐标系x’y’z’之间的变换矩阵B。
三维注册理论推导如下：
从场景坐标系到摄像头坐标系的关系如式(1)
(x，,y，,z，)＝R(x,y,z)T+T (1)
x，＝rxxx+rxyy+rxzz+tx
y，＝ryxx+ryyy+ryzz+ty (2)
z，＝rzxx+rzyy+rzzz+tz
在摄像头坐标系中，虽然场景点的位置是未知的，但是点在图像平面上的投影可以由透视投影方程来确定
其中F为摄像头的焦距(这里假设摄像头内部参数已知，即F已知)，联立式(2)、(3)、(4)可知，每一个标志点可以确定如下两个独立的约束方程
u(rzxx+rzyy+rzzz+tz)-F(rxxx+rxyy+rxzz+tx)＝0 (5)
v(rzxx+rzyy+rzzz+tz)-F(ryxx+ryyy+ryzz+ty)＝0
显然，由6个标志点可以产生12个方程，从而可以解出变换矩阵B中的12个参数。
实际上，如果使用旋转矩阵规范化正交约束，只需4个点就可以解出矩阵B中的12个参数，其中由于标志点都在同一个平面内，4个标志点的绝对坐标为(xi,yi,0)(i＝1,2,3,4)，所以式(5)可简化为
u(rzxx+rzyy+1)-F(rxxx+rxyy+tx)＝0 (6)
v(rzxx+rzyy+1)-F(ryxx+ryyy+ty)＝0
其实，由于tz只是各参数的比例因子，所以可以设tz＝1，同时由于式(6)中有8个参数，而且由4个标志点可以得到8个方程，因此解这个线性方程组可以求出8个参数：rzx,rzy,rxx,rxy,ryx,ryy,tx和ty。
因为旋转矩阵R是正交规范化矩阵，所以RTR＝I一定成立，利用这一特性可以计算如下参数
这样，就完成了三维注册任务。
2)又Mt-1为上一时刻第一辅助识别模块(2.2)所在坐标系相对于第一图像采集设备(4)所在坐标系的变换矩阵是已知的，则通过公式Mt＝Tt-1Mt-1可结算出Tt-1；
S4，所述虚拟环境生成控制器(1)基于机器视觉的特征点识别技术，对所述第二图像信息进行解算，得到上一时刻第二辅助识别模块(3.2)所在分离部交互设备相对于第二图像采集设备(2.1)的分离部姿态变化矩阵St-1；
其中，分离部姿态变化矩阵St-1的计算方法为：
1)采用三维注册技术计算当前时刻第二辅助识别模块(3.2)所在分离部交互设备真实场景坐标系相对于第二图像采集设备(2.1)所在坐标系的变换矩阵Wt；
2)又Wt-1为上一时刻第二辅助识别模块(3.2)所在坐标系相对于第一图像采集设备(2.1)所在坐标系的变换矩阵是已知的，则通过公式Wt＝St-1Wt-1可计算出St-1；
S5，所述虚拟环境生成控制器(1)根据上一时刻分离部姿态变化矩阵St-1，根据公式Pt＝St-1Pt-1，解算出当前时刻分离部交互设备相对于第二图像采集设备(2.1)的姿态信息，并结合S2中所述分离部交互系统(3)中的指令收发器，向虚拟环境生成控制器(1)发送当前时刻分离部交互设备的瞄准方向和对虚拟环境的交互指令；
其中，Pt-1表示上一时刻分离部交互设备相对于头盔真实场景所在坐标系的姿态信息，Pt表示当前时刻分离部交互设备相对于头盔真实场景所在坐标系的姿态信息；
S6，所述虚拟环境生成控制器(1)根据S3得到的所述上一时刻参与者头部的头部姿态变化矩阵Tt-1以及上一时刻分离部交互设备的分离部姿态变化矩阵St-1，再结合S5中分离部交互设备的瞄准方向和对虚拟环境的交互指令，对上一时刻的虚拟环境进行改变，生成在头盔设备运动、分离部交互设备也运动的情况下的新的虚拟动画，并将新的虚拟动画输出到位于头盔设备前端卡槽内的显示屏上；
S7，当下一时刻到达时，重复S2-S6，由此实现参与者与虚拟环境的虚拟现实交互。
优选的，S6中，所述对上一时刻的虚拟环境进行改变，生成在头盔设备运动、分离部交互设备也运动的情况下的新的虚拟动画，具体为：
对于上一时刻的虚拟环境中的任意一个像素点，首先使用头部姿态变化矩阵Tt-1，对该像素点的三维坐标进行坐标变换，得到第一次变化后的虚拟动画；再进一步使用分离部姿态变化矩阵St-1，对所述第一次变化后的虚拟动画的分离部交互设备的三维坐标进行坐标变换，得到第二次变化后的虚拟动画，该第二次变化后的虚拟动画即为最终需要输出的虚拟动画。
本发明提供的基于机器视觉的虚拟现实交互系统及方法具有以下优点：
(1)能够精确对参与者头部和分离部进行跟踪，从而提高参与者与虚拟环境的交互体验，最终提高参与者体验感；
(2)可实现在头盔设备运动、分离部交互设备也运动的情况下，输出叠加的虚拟动画，从而生成比较自然、流畅的动画，进而增强玩家的体验。
(3)此外，由于采用机器视觉识别技术，不需要布置复杂的外围器件，从而减化了系统成本。
(4)为一种比较廉价、便捷、逼真的虚拟现实交互系统，可大范围推广使用。
附图说明
图1为本发明提供的基于机器视觉的虚拟现实交互系统的结构示意图。
具体实施方式
以下结合附图对本发明进行详细说明：
结合图1，本发明提供一种基于机器视觉的虚拟现实交互系统，包括：虚拟环境生成控制器1、头盔设备2和分离部交互系统3；
其中，头盔设备2包括头盔式显示器、固定安装于头盔式显示器的第二图像采集设备2.1和通信模块；第二图像采集设备2.1通过通信模块与虚拟环境生成控制器1通信；
实际应用中，第二图像采集设备2.1为摄像机，由于其固定安装于头盔上，因此，能够随着参与者头部运动而运动；第二图像采集设备2.1用于采集第二辅助识别模块3.2的图像信息，并将采集到的图像信息上传给虚拟环境生成控制器1；
分离部交互系统3包括分离部交互设备3.1、固定设置于分离部交互设备3.1的第二辅助识别模块3.2和指令发送器3.3；分离部交互设备3.1通过指令发送器3.3与虚拟环境生成控制器1通信；实际应用中，分离部交互设备包括但不限于手持交互设备。本发明中，分离部可以为布置在人手上或胳膊上、或者固定在动物身体上的交互设备。
还包括头部姿态采集系统；头部姿态采集系统为姿态传感器；或者，头部姿态采集系统包括第一图像采集设备4和固定设置于头盔式显示器的第一辅助识别模块2.2；第一图像采集设备4的数量为至少一个，固定安装于参与者视线的前方、左侧或右侧；当第一图像采集设备4的数量为两个以上时，可形成一个无盲区的采集区域；第一图像采集设备4与虚拟环境生成控制器1通信，用于采集第一辅助识别模块2.2的图像信息，并将采集到的图像信息上传给虚拟环境生成控制器1。
其中，姿态传感器为陀螺仪和/或加速度计和/或磁力计。第一图像采集设备4的数量为至少一个，可采用固定式摄像机，固定安装于参与者视线的前方、左侧或右侧，当第一图像采集设备4为两个以上时，可形成一个无盲区的采集区域；
本发明中，第一辅助识别模块2.2和第二辅助识别模块3.2为带特征标记的多面体，多面体包括但不限于四面体、六面体或者球体。或者，第一辅助识别模块2.2为设置于头盔式显示器中远离参与者眼部外表面的具有一定规则的纹理图案；第二辅助识别模块3.2为设置于分离部交互设备3.1外表面的具有一定规则的纹理图案。由于第一辅助识别模块2.2固定设置于头盔，因此，当人的头部运动时，头盔进行同步运动，从而使第一辅助识别模块2.2进行同步运动，因此，第一辅助识别模块2.2的姿态信息即反应了头部姿态信息；同样的，由于第二辅助识别模块3.2固定设置于分离部交互设备3.1的外表面，因此，当分离部交互设备3.1运动时，第二辅助识别模块3.2进行同步运动，因此，第二辅助识别模块3.2的姿态信息即反应了分离部交互设备的姿态信息。而对于第一辅助识别模块2.2和第二辅助识别模块3.2的识别方法，可采用基于机器视觉的特征点识别算法实现，具体实现原理在后面介绍。
分离部交互设备3.1为模型和/或玩具，包括但不限于仿真刀具或仿真枪具；指令发送器3.3可采用有线指令发送器和/或无线指令发送器，更具体的，指令发送器为仿真刀具的手柄，或者，指令发送器3.3为仿真枪具的扳机。
以下介绍基于机器视觉的虚拟现实交互系统的一个具体实例：
虚拟环境生成控制器包括两个核心功能模块，一个为头戴摄像机姿态变换计算模块，另一个为分离部交互设备姿态变换计算模块，这两个功能模块既可以整合为一体，也可以分开设置，当分开设置时，可以分别采用嵌入在台式机、笔记本、手机、芯片、智能眼镜上的具有姿态变换计算的功能模块。下面以这两个功能模块分开设置为例，进行介绍：
本系统空间位置划分包括头戴设备部分、分离部交互设备部分和固定摄像机部分三大部分：
头戴设备部分由显示装置固定架、支架主体、影像观察窗、双目透镜、摄像机采集模块、分离部交互设备姿态变换计算模块、无线和/或有线指令接收器、显示设备组成。
双目透镜安装在支架主体的一侧；支架主体的另一侧设置有显示装置固定架；双目透镜为具有放大功能的透镜或具有放大功能的组合透镜；接口电路与分离部交互设备姿态变换计算模块、头戴摄像机姿态变换计算模块相连，接口电路还连接有无线通讯模块和/或有线通讯插口，支架主体与使用者相对的一侧，设置有与使用者的左右眼睛相对应的两个影像观察窗，双目透镜安装在两个影像观察窗上，两个影像观察窗之间设置有可调节两个影像观察窗之间距离的结构，两个影像观察窗之间设置有与使用者鼻梁相对应的凹入部。带图案或人工标记的多面体位于支架主体上侧正中心，其中，多面体可以为四面体、六面体或者球体，带图案或人工标记的多面体用于记录头部的姿态变换。可移动摄像固定在支架主体外侧的正中心，但能随着头部运动作相应的运动，用于采集分离部交互设备运动视频流。支架主体外侧刻有一定规则的纹理形状，用于辅助记录头部的姿态变换。头带摄像机姿态变换模块为嵌入在台式机、笔记本、手机、芯片、智能眼镜上的具有姿态变换计算的功能模块。
分离部交互设备部分包括手持交互设备(仿真刀、枪)、带图案或人工标记的多面体、纹理、有线和/或无线指令发射器(扳机、手柄)。其中，分离部交互设备上方为带图案或人工标记多面体，用于记录分离部交互设备的姿态变换。分离部交互设备上还有无线和/或有线指令发射器，用于发送特定的交互式命令。分离部交互设备上刻有的具有一定规则的纹理形状，用于辅助记录分离部交互设备的姿态变换。
固定摄像机部分包括一或两个固定的摄像机和头带摄像机姿态变换计算模块。其中，固定摄像机个数为一或者两个，位于距离玩家适当距离的上前方，固定在墙壁或者支架上。头戴摄像机姿态变换计算模块为嵌入在台式机、笔记本、手机、芯片、智能眼镜上的具有姿态变换计算的功能模块。
头戴设备部分中接口电路分别与无线和/或有线指令发射器、头戴摄像机姿态变换计算模块、分离部交互设备姿态变换计算模块、显示器、可移动摄像机相连，一或者两个固定摄像机与头戴摄像机姿态变换计算模块相连。
其工作原理为：头戴设备姿态变换计算模块、分离部交互设备姿态变换计算模块通过接口电路将头戴设备姿态变换矩阵、分离部交互设备姿态变换矩阵传给显示设备，并且分离部交互系统中指令收发器发射交互指令给显示设备，分离部交互设备的瞄准方向信息传给显示设备，显示设备通过这些控制信息显示相应的虚拟环境。
本发明还提供一种基于机器视觉的虚拟现实交互方法，其大致原理思想为：
在头盔设备上固定设置配有图案和/或人工标记的标记体A；在分离部交互设备上固定设置配有图案和/或人工标记的标记体B；因此，当头盔设备运动时，标记体A进行同步运动，标记体A的姿态变换即为头盔设备的姿态变换；同样的，当分离部交互设备运动时，标记体B进行同步运动，因此，标记体B的姿态变换即为分离部交互设备的姿态变换；
为实现对头盔设备和分离部交互设备的姿态变换计算，本发明中，共设置两类摄像机，第一类摄像机固定安装于参与者视线的前方，并且，第一类摄像机的位置不发生改变，因此，当头盔设备运动时，通过第一类摄像机采集头盔设备的图像，并基于机器视觉识别算法对图像中标记体A中的特征点进行识别，通过三维注册技术，可计算当前时刻头盔设备所在坐标系相对于第一类摄像机所在坐标系的变换矩阵，，再与前一时刻头盔设备所在坐标系相对于第一类摄像机所在坐标系的变换矩阵进行对比，能够得到头盔设备相对于第一类摄像机的姿态变化信息；
此外，在头盔设备上固定安装第二类摄像机，当头盔设备和分离部交互设备均运动，并且运动不同步的情况下，通过第二类摄像机采集分离部交互设备的图像信息，再结合三维注册技术，计算当前时刻分离部交互设备相对于头盔真实场景所在坐标系的姿态信息，并结合当前时刻分离部交互设备相对于头盔真实场景所在坐标系的姿态信息，求得上一时刻分离部姿态变化矩阵。也就是说，本发明中，当头盔设备和分离部交互设备均运动的情况下，能够实时识别出分离部交互设备的姿态变化信息和头盔设备的姿态变化信息，进而生成在头盔设备运动、分离部交互设备也运动的情况下的叠加虚拟动画。
例如，当虚拟环境场景为打飞机游戏场景时，当玩家瞄准虚拟环境场景中某架飞机后，通过指令发射器，向虚拟环境控制系统发送“攻击”指令，虚拟环境控制系统计算得到当前时刻分离部交互设备的姿态变化信息和头盔设备的姿态变化信息；然后，通过计算分离部交互设备与游戏场景中目标的位置关系，生成相应的游戏场景动画，并与通过计算机图形学技术生成的仿真分离部交互设备动画叠加，最终将叠加后的动画输出到位于头盔设备前端卡槽内的显示屏上。
现有技术中，通常只能实现头盔设备单独运动时，根据头盔设备运动变化信息，对虚拟场景进行相应改变，使虚拟场景跟随头盔运动而变化；或者，在分离部交互设备单独运动的情况下，使虚拟环境进行相应的改变。而本发明中，通过额外增加一个固定在适当位置的固定摄像机，其中，需要保证固定摄像机能够拍摄到人头盔设备的画面；再借助上述原理，即可实现在头盔设备运动、分离部交互设备也运动的情况下，输出叠加的虚拟动画，从而生成比较自然、流畅的动画，进而增强玩家的体验。
具体的，本发明提供的基于机器视觉的虚拟现实交互方法包括以下步骤：
S1，初始时刻，头盔设备2固定设置有第二图像采集设备2.1以及配有图案和/或人工标记的第一辅助识别模块2.2；
在分离部交互设备3.1上固定设置有配有图案和/或人工标记的第二辅助识别模块3.2；
在参与者视线的前方、左侧或右侧固定安装第一图像采集设备4，当第一图像采集设备4为多个时，可形成一个无盲区的采集区域；
在初始时刻，即t＝0时，虚拟环境生成控制器1生成初始的虚拟环境；同时，虚拟环境生成控制器1预存储第一辅助识别模块2.2在头盔真实场景坐标系下的初始三维坐标A0、以及第一辅助识别模块2.2中各个特征点在图像平面坐标系下的初始二维坐标B0；还存储第二辅助识别模块3.2所在分离部交互设备真实场景坐标系下的初始三维坐标C0、第二辅助识别模块3.2中各个特征点在图像平面坐标系下的初始二维坐标D0，以及分离部交互设备相对于头盔真实场景所在坐标系的姿态信息P0；
根据第一辅助识别模块2.2所在头盔真实场景坐标系的初始三维坐标A0、以及第一辅助识别模块2.2中各个特征点在图像平面坐标系下的初始二维坐标B0，通过三维注册技术解算得到初始时刻第一辅助识别模块2.2所在头盔真实场景坐标系相对于第一图像采集设备4所在坐标系的变换矩阵M0；
以及，根据第二辅助识别模块3.2所在分离部交互设备真实场景坐标系下初始三维坐标C0、第二辅助识别模块3.2中各个特征点在图像平面坐标系下的初始二维坐标D0，解算得到初始时刻第二辅助识别模块3.2所在分离部交互设备真实场景坐标系相对于第二图像采集设备2.1所在坐标系的变换矩阵W0；
其中，当分离部交互设备3.1和/或头盔设备2运动时，A0、C0均为常量；
S2，在下一时刻，当头盔设备2和/或分离部交互设备3.1运动时，固定安装于参与者前方的第一图像采集设备4，采集当前时刻固定安装于头盔设备2的第一辅助识别模块2.2的第一图像信息，并实时将第一图像信息上传给虚拟环境生成控制器1；其中，第一辅助识别模块2.2具有一定排列规则的特征点；
同时，固定安装于头盔设备2的第二图像采集设备2.1实时采集当前时刻分离部交互设备3.1中第二辅助识别模块3.2的第二图像信息，并实时将第二图像信息上传给虚拟环境生成控制器1；其中，第二辅助识别模块3.2具有一定排列规则的特征点；
S3，虚拟环境生成控制器1基于机器视觉的特征点识别技术，对第一图像信息进行解算，得到上一时刻头部相对于第一图像采集设备所在坐标系下的姿态变化矩阵Tt-1；
其中，头部相对于第一图像采集设备所在坐标系下的姿态变化矩阵Tt-1的计算方法为：
1、采用三维注册技术计算当前时刻第一辅助识别模块2.2所在头盔真实场景坐标系相对于第一图像采集设备4所在坐标系的变换矩阵Mt；
2、又Mt-1为上一时刻第一辅助识别模块2.2所在坐标系相对于第一图像采集设备4所在坐标系的变换矩阵是已知的，则通过公式Mt＝Tt-1Mt-1可结算出Tt-1；
S4，虚拟环境生成控制器1基于机器视觉的特征点识别技术，对第二图像信息进行解算，得到上一时刻第二辅助识别模块3.2所在分离部交互设备相对于第二图像采集设备2.1的分离部姿态变化矩阵St-1；
其中，分离部姿态变化矩阵St-1的计算方法为：
1、采用三维注册技术计算当前时刻第二辅助识别模块3.2所在分离部交互设备真实场景坐标系相对于第二图像采集设备2.1所在坐标系的变换矩阵Wt；
2、又Wt-1为上一时刻第二辅助识别模块3.2所在坐标系相对于第一图像采集设备2.1所在坐标系的变换矩阵是已知的，则通过公式Wt＝St-1Wt-1可计算出St-1；
S5，虚拟环境生成控制器1根据上一时刻分离部姿态变化矩阵St-1，根据公式Pt＝St-1Pt-1,解算出当前时刻分离部交互设备相对于第二图像采集设备2.1的姿态信息，并结合S2中分离部交互系统3中的指令收发器，向虚拟环境生成控制器1发送当前时刻分离部交互设备的瞄准方向和对虚拟环境的交互指令；
其中，Pt-1表示上一时刻分离部交互设备相对于头盔真实场景所在坐标系的姿态信息，Pt表示当前时刻分离部交互设备相对于头盔真实场景所在坐标系的姿态信息；
S6，虚拟环境生成控制器1根据S3得到的上一时刻参与者头部的头部姿态变化矩阵Tt-1以及上一时刻分离部交互设备的分离部姿态变化矩阵St-1，再结合S5中分离部交互设备的瞄准方向和对虚拟环境的交互指令，对上一时刻的虚拟环境进行改变，生成在头盔设备运动、分离部交互设备也运动的情况下的新的虚拟动画，并将新的虚拟动画输出到位于头盔设备前端卡槽内的显示屏上；
本步骤中，对上一时刻的虚拟环境进行改变，生成在头盔设备运动、分离部交互设备也运动的情况下的新的虚拟动画，具体为：
对于上一时刻的虚拟环境中的任意一个像素点，首先使用头部姿态变化矩阵Tt-1，对该像素点的三维坐标进行坐标变换，得到第一次变化后的虚拟动画；再进一步使用分离部姿态变化矩阵St-1，对第一次变化后的虚拟动画的分离部交互设备的三维坐标进行坐标变换，得到第二次变化后的虚拟动画，该第二次变化后的虚拟动画即为最终需要输出的虚拟动画。
S7，当下一时刻到达时，重复S2-S6，由此实现参与者与虚拟环境的虚拟现实交互。
由此可见，本发明提供的基于机器视觉的虚拟现实交互系统，具有以下优点：
(1)能够精确对参与者头部和分离部进行跟踪，从而提高参与者与虚拟环境的交互体验，最终提高参与者体验感；
(2)可实现在头盔设备运动、分离部交互设备也运动的情况下，输出叠加的虚拟动画，从而生成比较自然、流畅的动画，进而增强玩家的体验。
(3)此外，由于采用机器视觉识别技术，不需要布置复杂的外围器件，从而减化了系统成本。
(4)为一种比较廉价、便捷、逼真的虚拟现实交互系统，可大范围推广使用。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视本发明的保护范围。
Claims (10)
1.一种应用基于机器视觉的虚拟现实交互系统的基于机器视觉的虚拟现实交互方法，其特征在于，基于机器视觉的虚拟现实交互系统包括：虚拟环境生成控制器(1)、头盔设备(2)和分离部交互系统(3)；
其中，所述头盔设备(2)包括头盔式显示器、固定安装于所述头盔式显示器的第二图像采集设备(2.1)和通信模块；所述第二图像采集设备(2.1)通过所述通信模块与所述虚拟环境生成控制器(1)通信；
所述分离部交互系统(3)包括分离部交互设备(3.1)、固定设置于所述分离部交互设备(3.1)的第二辅助识别模块(3.2)和指令发送器(3.3)；所述分离部交互设备(3.1)通过所述指令发送器(3.3)与所述虚拟环境生成控制器(1)通信；
此外，所述第二图像采集设备(2.1)为摄像机，随着参与者头部运动而运动；所述第二图像采集设备(2.1)用于采集所述第二辅助识别模块(3.2)的图像信息，并将采集到的所述图像信息上传给所述虚拟环境生成控制器(1)；
基于机器视觉的虚拟现实交互方法包括以下步骤：
S1，初始时刻，头盔设备(2)固定设置有第二图像采集设备(2.1)以及配有图案和/或人工标记的第一辅助识别模块(2.2)；
在分离部交互设备(3.1)上固定设置有配有图案和/或人工标记的第二辅助识别模块(3.2)；
在参与者视线的前方、左侧或右侧固定安装第一图像采集设备(4)，当所述第一图像采集设备(4)为两个以上时，形成一个无盲区的采集区域；
在初始时刻，即t＝0时，虚拟环境生成控制器(1)生成初始的虚拟环境；同时，所述虚拟环境生成控制器(1)预存储第一辅助识别模块(2.2)在头盔真实场景坐标系下的初始三维坐标A0、以及第一辅助识别模块(2.2)中各个特征点在图像平面坐标系下的初始二维坐标B0；还存储第二辅助识别模块(3.2)所在分离部交互设备真实场景坐标系下的初始三维坐标C0、第二辅助识别模块(3.2)中各个特征点在图像平面坐标系下的初始二维坐标D0，以及分离部交互设备相对于头盔真实场景所在坐标系的姿态信息P0；
根据第一辅助识别模块(2.2)所在头盔真实场景坐标系的初始三维坐标A0、以及第一辅助识别模块(2.2)中各个特征点在图像平面坐标系下的初始二维坐标B0，通过三维注册技术解算得到初始时刻第一辅助识别模块(2.2)所在头盔真实场景坐标系相对于第一图像采集设备(4)所在坐标系的变换矩阵M0；
以及，根据第二辅助识别模块(3.2)所在分离部交互设备真实场景坐标系下初始三维坐标C0、第二辅助识别模块(3.2)中各个特征点在图像平面坐标系下的初始二维坐标D0，通过三维注册技术解算得到初始时刻第二辅助识别模块(3.2)所在分离部交互设备真实场景坐标系相对于第二图像采集设备(2.1)所在坐标系的变换矩阵W0；
其中，当分离部交互设备(3.1)和/或头盔设备(2)运动时，A0、C0均为常量；
S2，在下一时刻，当头盔设备(2)和/或分离部交互设备(3.1)运动时，固定安装于参与者前方的第一图像采集设备(4)，采集当前时刻固定安装于所述头盔设备(2)的第一辅助识别模块(2.2)的第一图像信息，并实时将所述第一图像信息上传给所述虚拟环境生成控制器(1)；其中，所述第一辅助识别模块(2.2)具有一定排列规则的特征点；
同时，固定安装于所述头盔设备(2)的第二图像采集设备(2.1)实时采集当前时刻所述分离部交互设备(3.1)中第二辅助识别模块(3.2)的第二图像信息，并实时将所述第二图像信息上传给所述虚拟环境生成控制器(1)；其中，所述第二辅助识别模块(3.2)具有一定排列规则的特征点；
S3，所述虚拟环境生成控制器(1)基于机器视觉的特征点识别技术，对所述第一图像信息进行解算，得到上一时刻头部相对于第一图像采集设备所在坐标系下的姿态变化矩阵Tt-1；
其中，头部相对于第一图像采集设备所在坐标系下的姿态变化矩阵Tt-1的计算方法为：
1)采用三维注册技术计算当前时刻第一辅助识别模块(2.2)所在头盔真实场景坐标系相对于第一图像采集设备(4)所在坐标系的变换矩阵Mt；
2)又Mt-1为上一时刻第一辅助识别模块(2.2)所在坐标系相对于第一图像采集设备(4)所在坐标系的变换矩阵是已知的，则通过公式Mt＝Tt-1Mt-1可结算出Tt-1；
S4，所述虚拟环境生成控制器(1)基于机器视觉的特征点识别技术，对所述第二图像信息进行解算，得到上一时刻第二辅助识别模块(3.2)所在分离部交互设备相对于第二图像采集设备(2.1)的分离部姿态变化矩阵St-1；
其中，分离部姿态变化矩阵St-1的计算方法为：
1)采用三维注册技术计算当前时刻第二辅助识别模块(3.2)所在分离部交互设备真实场景坐标系相对于第二图像采集设备(2.1)所在坐标系的变换矩阵Wt；
2)又Wt-1为上一时刻第二辅助识别模块(3.2)所在坐标系相对于第一图像采集设备(2.1)所在坐标系的变换矩阵是已知的，则通过公式Wt＝St-1Wt-1可计算出St-1；
S5，所述虚拟环境生成控制器(1)根据上一时刻分离部姿态变化矩阵St-1，根据公式Pt＝St-1Pt-1，解算出当前时刻分离部交互设备相对于第二图像采集设备(2.1)的姿态信息，并结合S2中所述分离部交互系统(3)中的指令收发器，向虚拟环境生成控制器(1)发送当前时刻分离部交互设备的瞄准方向和对虚拟环境的交互指令；
其中，Pt-1表示上一时刻分离部交互设备相对于头盔真实场景所在坐标系的姿态信息，Pt表示当前时刻分离部交互设备相对于头盔真实场景所在坐标系的姿态信息；
S6，所述虚拟环境生成控制器(1)根据S3得到的所述上一时刻参与者头部的头部姿态变化矩阵Tt-1以及上一时刻分离部交互设备的分离部姿态变化矩阵St-1，再结合S5中分离部交互设备的瞄准方向和对虚拟环境的交互指令，对上一时刻的虚拟环境进行改变，生成在头盔设备运动、分离部交互设备也运动的情况下的新的虚拟动画，并将新的虚拟动画输出到位于头盔设备前端卡槽内的显示屏上；
S7，当下一时刻到达时，重复S2-S6，由此实现参与者与虚拟环境的虚拟现实交互。
2.根据权利要求1所述的基于机器视觉的虚拟现实交互方法，其特征在于，S6中，所述对上一时刻的虚拟环境进行改变，生成在头盔设备运动、分离部交互设备也运动的情况下的新的虚拟动画，具体为：
对于上一时刻的虚拟环境中的任意一个像素点，首先使用头部姿态变化矩阵Tt-1，对该像素点的三维坐标进行坐标变换，得到第一次变化后的虚拟动画；再进一步使用分离部姿态变化矩阵St-1，对所述第一次变化后的虚拟动画的分离部交互设备的三维坐标进行坐标变换，得到第二次变化后的虚拟动画，该第二次变化后的虚拟动画即为最终需要输出的虚拟动画。
3.根据权利要求1所述的基于机器视觉的虚拟现实交互方法，其特征在于，还包括头部姿态采集系统；
所述头部姿态采集系统为姿态传感器；或者，所述头部姿态采集系统包括第一图像采集设备(4)和固定设置于所述头盔式显示器的第一辅助识别模块(2.2)；所述第一图像采集设备(4)的数量为至少一个，固定安装于参与者视线的前方、左侧或右侧；当所述第一图像采集设备(4)的数量为两个以上时，形成一个无盲区的采集区域；
所述第一图像采集设备(4)与所述虚拟环境生成控制器(1)通信。
4.根据权利要求3所述的基于机器视觉的虚拟现实交互方法，其特征在于，所述姿态传感器为陀螺仪和/或加速度计和/或磁力计。
5.根据权利要求3所述的基于机器视觉的虚拟现实交互方法，其特征在于，所述第一辅助识别模块(2.2)和所述第二辅助识别模块(3.2)为带特征标记的多面体，所述多面体为四面体、六面体或者球体。
6.根据权利要求3所述的基于机器视觉的虚拟现实交互方法，其特征在于，所述第一辅助识别模块(2.2)为设置于所述头盔式显示器中远离参与者眼部外表面的具有一定规则的纹理图案；所述第二辅助识别模块(3.2)为设置于所述分离部交互设备(3.1)外表面的具有一定规则的纹理图案。
7.根据权利要求1所述的基于机器视觉的虚拟现实交互方法，其特征在于，所述分离部交互设备(3.1)为仿真模型。
8.根据权利要求7所述的基于机器视觉的虚拟现实交互方法，其特征在于，所述仿真模型为仿真玩具。
9.根据权利要求1所述的基于机器视觉的虚拟现实交互方法，其特征在于，所述指令发送器(3.3)为仿真刀具的手柄，或者，所述指令发送器(3.3)为仿真枪具的扳机。
10.根据权利要求1所述的基于机器视觉的虚拟现实交互方法，其特征在于，所述指令发送器(3.3)为有线指令发送器和/或无线指令发送器。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510119550.XA CN104699247B (zh) | 2015-03-18 | 2015-03-18 | 一种基于机器视觉的虚拟现实交互系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510119550.XA CN104699247B (zh) | 2015-03-18 | 2015-03-18 | 一种基于机器视觉的虚拟现实交互系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104699247A CN104699247A (zh) | 2015-06-10 |
| CN104699247B true CN104699247B (zh) | 2017-12-12 |
Family
ID=53346457
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510119550.XA Active CN104699247B (zh) | 2015-03-18 | 2015-03-18 | 一种基于机器视觉的虚拟现实交互系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104699247B (zh) |
Families Citing this family (33)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106293039B (zh) * | 2015-06-17 | 2019-04-12 | 北京智谷睿拓技术服务有限公司 | 设备间的交互方法以及用户设备 |
| CN105068653A (zh) * | 2015-07-22 | 2015-11-18 | 深圳多新哆技术有限责任公司 | 确定虚拟空间中触摸事件的方法及装置 |
| WO2017088187A1 (zh) * | 2015-11-27 | 2017-06-01 | 深圳市欢创科技有限公司 | 对虚拟现实设备实现位置追踪的系统及方法 |
| US10976809B2 (en) | 2016-03-14 | 2021-04-13 | Htc Corporation | Interaction method for virtual reality |
| CN107305692B (zh) * | 2016-04-14 | 2021-01-26 | 上海乐相科技有限公司 | 一种确定待测对象的运动信息的方法及装置 |
| CN105786190B (zh) * | 2016-05-04 | 2019-04-26 | 北京三十四科技有限公司 | 一种三维虚拟交互系统 |
| CN105931272B (zh) * | 2016-05-06 | 2019-04-05 | 上海乐相科技有限公司 | 一种运动对象追踪方法及系统 |
| CN105955483A (zh) * | 2016-05-06 | 2016-09-21 | 乐视控股（北京）有限公司 | 虚拟现实终端及其视觉虚拟方法和装置 |
| CN106020456A (zh) * | 2016-05-11 | 2016-10-12 | 北京暴风魔镜科技有限公司 | 获取用户头部姿态的方法、装置和系统 |
| CN106127552B (zh) * | 2016-06-23 | 2019-12-13 | 北京理工大学 | 一种虚拟场景显示方法、装置及系统 |
| CN106028001B (zh) * | 2016-07-20 | 2019-01-04 | 上海乐相科技有限公司 | 一种光学定位方法及装置 |
| CN106200981B (zh) * | 2016-07-21 | 2019-06-28 | 北京小鸟看看科技有限公司 | 一种虚拟现实系统及其无线实现方法 |
| CN106293066A (zh) * | 2016-07-26 | 2017-01-04 | 乐视控股（北京）有限公司 | 一种遥控模型、vr终端和遥控模型的数据处理方法 |
| US10853651B2 (en) | 2016-10-26 | 2020-12-01 | Htc Corporation | Virtual reality interaction method, apparatus and system |
| CN107992188B (zh) * | 2016-10-26 | 2021-12-07 | 宏达国际电子股份有限公司 | 虚拟现实交互方法、装置与系统 |
| US10621773B2 (en) | 2016-12-30 | 2020-04-14 | Google Llc | Rendering content in a 3D environment |
| US11740690B2 (en) | 2017-01-27 | 2023-08-29 | Qualcomm Incorporated | Systems and methods for tracking a controller |
| CN106681516B (zh) * | 2017-02-27 | 2024-02-06 | 盛世光影（北京）科技有限公司 | 一种基于虚拟现实的自然人机交互系统 |
| CN106959051B (zh) * | 2017-03-30 | 2018-09-25 | 林星森 | 基于空间感知定位技术的武器瞄准系统的自动化校准方法 |
| CN107168515A (zh) * | 2017-03-31 | 2017-09-15 | 北京奇艺世纪科技有限公司 | 一种vr一体机中手柄的定位方法和装置 |
| CN207055914U (zh) * | 2017-04-06 | 2018-03-02 | 深圳市瑞信吉科技有限公司 | 具有ar/vr功能的智能游戏枪 |
| CN108803861B (zh) | 2017-04-28 | 2021-01-12 | 广东虚拟现实科技有限公司 | 一种交互方法、设备及系统 |
| CN107341829A (zh) * | 2017-06-27 | 2017-11-10 | 歌尔科技有限公司 | 虚拟现实交互部件的定位方法和装置 |
| US20190384419A1 (en) * | 2017-08-16 | 2019-12-19 | Guangdong Virtual Reality Technology Co., Ltd. | Handheld controller, tracking method and system using the same |
| CN108031110A (zh) * | 2017-11-03 | 2018-05-15 | 东莞市新进巧工艺制品有限公司 | 一种基于ar技术的游戏系统 |
| CN107803025B (zh) * | 2017-11-05 | 2019-03-15 | 北京度量科技有限公司 | 一种3d高精度实时瞄准及触发模拟方法 |
| CN108681403A (zh) * | 2018-05-18 | 2018-10-19 | 吉林大学 | 一种采用视线跟踪的小车控制方法 |
| CN110347262A (zh) * | 2019-07-16 | 2019-10-18 | 异起(上海)智能科技有限公司 | 一种虚拟现实中的移动装置和方法 |
| CN111614925B (zh) * | 2020-05-20 | 2022-04-26 | 广州视源电子科技股份有限公司 | 人物图像处理方法、装置、相应终端及存储介质 |
| CN111948822B (zh) * | 2020-08-05 | 2022-06-07 | 何学谦 | 一种vr支撑设备 |
| CN114078092A (zh) * | 2020-08-11 | 2022-02-22 | 中兴通讯股份有限公司 | 一种图像处理的方法、装置、电子设备及存储介质 |
| CN112711336A (zh) * | 2021-01-20 | 2021-04-27 | 广东电网有限责任公司广州供电局 | 一种基于平面自然特征虚实配准混合现实的头戴交互技术 |
| CN112975972B (zh) * | 2021-03-01 | 2022-06-17 | 中电海康集团有限公司 | 一种基于头戴式ar设备和操作手柄的机器人控制方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102693005A (zh) * | 2011-02-17 | 2012-09-26 | 微软公司 | 使用3d深度相机和3d投影仪来提供交互式体验 |
| CN102749990A (zh) * | 2011-04-08 | 2012-10-24 | 索尼电脑娱乐公司 | 通过追踪用户视线和姿态提供反馈的系统和方法 |
| CN103285585A (zh) * | 2012-09-24 | 2013-09-11 | 天津思博科科技发展有限公司 | 一种基于互联网架构的体感击剑互动装置 |
| CN103513421A (zh) * | 2012-06-29 | 2014-01-15 | 索尼电脑娱乐公司 | 影像处理装置、影像处理方法及影像处理系统 |
| US20140145930A1 (en) * | 2004-01-30 | 2014-05-29 | Electronic Scripting Products, Inc. | Computer Interface Employing a Manipulated Object with Absolute Pose Detection Component and a Display |
| CN104090660A (zh) * | 2014-05-30 | 2014-10-08 | 贺杰 | 一种基于立体视觉的动作采集和反馈方法及系统 |
| CN104238738A (zh) * | 2013-06-07 | 2014-12-24 | 索尼电脑娱乐美国公司 | 在头戴式系统内产生增强虚拟现实场景的系统和方法 |
-
2015
- 2015-03-18 CN CN201510119550.XA patent/CN104699247B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140145930A1 (en) * | 2004-01-30 | 2014-05-29 | Electronic Scripting Products, Inc. | Computer Interface Employing a Manipulated Object with Absolute Pose Detection Component and a Display |
| CN102693005A (zh) * | 2011-02-17 | 2012-09-26 | 微软公司 | 使用3d深度相机和3d投影仪来提供交互式体验 |
| CN102749990A (zh) * | 2011-04-08 | 2012-10-24 | 索尼电脑娱乐公司 | 通过追踪用户视线和姿态提供反馈的系统和方法 |
| CN103513421A (zh) * | 2012-06-29 | 2014-01-15 | 索尼电脑娱乐公司 | 影像处理装置、影像处理方法及影像处理系统 |
| CN103285585A (zh) * | 2012-09-24 | 2013-09-11 | 天津思博科科技发展有限公司 | 一种基于互联网架构的体感击剑互动装置 |
| CN104238738A (zh) * | 2013-06-07 | 2014-12-24 | 索尼电脑娱乐美国公司 | 在头戴式系统内产生增强虚拟现实场景的系统和方法 |
| CN104090660A (zh) * | 2014-05-30 | 2014-10-08 | 贺杰 | 一种基于立体视觉的动作采集和反馈方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104699247A (zh) | 2015-06-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104699247B (zh) | 一种基于机器视觉的虚拟现实交互系统及方法 | |
| US11790554B2 (en) | Systems and methods for augmented reality | |
| US11262841B2 (en) | Wireless wrist computing and control device and method for 3D imaging, mapping, networking and interfacing | |
| CN112513711B (zh) | 用于使用位置向量解析半球模糊度的方法和系统 | |
| CN105608746B (zh) | 一种将现实进行虚拟实现的方法 | |
| CN104781849B (zh) | 单眼视觉同时定位与建图(slam)的快速初始化 | |
| CN107016704A (zh) | 一种基于增强现实的虚拟现实实现方法 | |
| CN108140105A (zh) | 具有脸部表情检测能力的头戴式显示器 | |
| CN109840947A (zh) | 增强现实场景的实现方法、装置、设备及存储介质 | |
| WO2015180497A1 (zh) | 一种基于立体视觉的动作采集和反馈方法及系统 | |
| CN106843456A (zh) | 一种基于姿态追踪的显示方法、装置和虚拟现实设备 | |
| CN112198959A (zh) | 虚拟现实交互方法、装置及系统 | |
| CN103345064A (zh) | 一种集成3d识别的帽子及帽子的3d识别方法 | |
| CN108983982A (zh) | Ar头显设备与终端设备组合系统 | |
| CN107015655A (zh) | 博物馆虚拟场景ar体验眼镜装置及其实现方法 | |
| JP2023126474A (ja) | 拡張現実のためのシステムおよび方法 | |
| CN106569591A (zh) | 基于计算机视觉跟踪和传感器跟踪的跟踪方法和跟踪系统 | |
| CN109358754A (zh) | 一种混合现实头戴显示系统 | |
| US20210035326A1 (en) | Human pose estimation system | |
| CN105225270B (zh) | 一种信息处理方法及电子设备 | |
| CN109076206A (zh) | 基于无人机的立体成像方法和装置 | |
| CN110841266A (zh) | 一种辅助训练系统及方法 | |
| WO2022023142A1 (en) | Virtual window | |
| CN109816795A (zh) | 一种分布式场景目标识别的增强现实ar的系统以及方法 | |
| US20230067081A1 (en) | System and method for real-time creation and execution of a human Digital Twin |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |