CN206400472U - 一种虚拟现实设备及其定位系统 - Google Patents
一种虚拟现实设备及其定位系统 Download PDFInfo
- Publication number
- CN206400472U CN206400472U CN201620937374.0U CN201620937374U CN206400472U CN 206400472 U CN206400472 U CN 206400472U CN 201620937374 U CN201620937374 U CN 201620937374U CN 206400472 U CN206400472 U CN 206400472U
- Authority
- CN
- China
- Prior art keywords
- virtual reality
- image
- reality device
- video camera
- equipment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本实用新型公开了一种虚拟现实设备及其定位系统，一种虚拟现实设备，包括：至少一个反光体，其中：反光体设置于虚拟现实设备表面，所述反光体由反光材料制成。一种确定虚拟现实中被跟踪物体位置的定位系统，包括：摄像机、图像处理设备及所述的虚拟现实设备；其中：所述摄像机，用于获取包含所述虚拟现实设备的图像；所述图像处理设备，用于确定所述摄像机采集的图像中的反光点部分，所述反光点部分是因反光体反射的光线而形成的图像；根据所述反光点部分确定被跟踪物体与摄像机之间的位置关系；根据所述位置关系确定被跟踪物体在虚拟现实中的位置。采用本方案可以对虚拟现实设备进行空间定位的同时不增加它的重量、体积和耗电。
Description
技术领域
本实用新型涉及虚拟现实技术领域，特别涉及一种虚拟现实设备及其定位系统。
背景技术
VR(Virtual Reality，虚拟现实)室内定位技术可以定位VR头显及手柄等VR设备在空间的实时位置，具有空间定位的VR设备不仅能更好地提供沉浸感，其产生的眩晕感也会大幅降低，整个画面可以像现实世界中一样根据我们的移动而真的动起来。所以说，室内定位技术对于VR桌面虚拟现实设备非常重要。
目前典型定位技术的代表主要有激光定位技术、光学定位技术，其中，HTCvive所用的Lighthouse技术属于激光定位技术，Oculus Rift以及索尼PlayStationVR所用的定位技术属于光学定位技术，其中Oculus Rift是红外主动式光学技术，索尼PlayStation VR则是可见光主动式光学技术。
1、HTC Vive的Lighthouse室内定位技术
HTC的Lighthouse室内定位技术属于激光扫描定位技术，靠激光和光敏传感器来确定运动物体的位置。两个激光发射器被安置在对角，形成大小可调的长方形区域。激光束由发射器里面的两排固定LED灯发出，每秒6次。每个激光发射器内有两个扫描模块，分别在水平和垂直方向轮流对定位空间发射激光扫描定位空间。
HTC Vive头显和手柄上有超过70个光敏传感器。通过计算接收激光的时间来计算传感器位置相对于激光发射器的准确位置，通过多个光敏传感器可以探测出头显的位置及方向。
2、Oculus Rift的定位技术
Oculus Rift采用的是主动式光学定位技术。Oculus Rift设备上会隐藏着一些红外灯(即为标记点)，这些红外灯向外发射红外光，并用两台红外摄像机实时拍摄。所谓的红外摄像机就是在摄像机外加装红外光滤波片，这样摄像机只能拍摄到头显以及手柄(Oculus touch)上红外灯，从而过滤掉头显及手柄周围环境的可见光信号，提高了获得图像的信噪比，增加了系统的鲁棒性。
此外，Oculus Rift产品还配备了九轴传感器，在红外光学定位发生遮挡或者模糊时，利用九轴传感器来计算设备的空间位置信息。由于九轴会存在明显的零偏和漂移，那在红外光学定位系统可以正常工作时又可以利用其所获得的定位信息校准九轴所获得的信息，使得红外光学定位与九轴相互弥补。
3、PlayStation VR的定位技术
PlayStation VR采用的也是光学定位，不同于Oculus Rift的是，它采用的是可见光主动式光学定位技术。
PlayStation VR设备采用体感摄像头和类似之前PS Move的彩色发光物体追踪，去定位人头部和控制器的位置。头显和手柄上会放LED灯球，每个手柄、头显上各装配一个。这些LED光球可以自行发光，且不同光球所发的光颜色不同，这样在摄像头拍摄时，光球与背景环境、各个光球之间都可以很好的区分。PS4采用了体感摄像头，即双目摄像头，利用两个摄像头拍摄到的图片计算光球的空间三维坐标。
现有技术的不足在于：需要使虚拟现实设备具备较多功能才能在定位过程中实现定位，增加了虚拟现实设备的重量、体积及耗电。
实用新型内容
本实用新型提供了一种虚拟现实设备及其定位系统，用以解决虚拟现实系统进行空间定位时，增加了虚拟现实设备的重量、体积及耗电的问题。
本实用新型实施例提供了一种虚拟现实设备，包括：至少一个反光体，其中：
反光体设置于虚拟现实设备表面，所述反光体由反光材料制成。
较佳地，在任一视角下，至少有4个反光体可视。
较佳地，在任一视角下，可视的4个反光体位于虚拟现实设备的至少两个平面上。
较佳地，进一步包括：
无线通信模块，用于与外部设备进行数据交互。
较佳地，所述虚拟现实设备为以下任一设备：虚拟现实头盔，虚拟现实手套，虚拟现实手柄。
较佳地，所述反光材料为反光膜或反光粉。
本实用新型实施例提供了一种确定虚拟现实中被跟踪物体位置的定位系统，包括：摄像机、图像处理设备及所述的虚拟现实设备；其中：
所述摄像机，用于获取包含所述虚拟现实设备的图像；
所述图像处理设备，用于确定所述摄像机采集的图像中的反光点部分，所述反光点部分是因反光体反射的光线而形成的图像；根据所述反光点部分确定被跟踪物体与摄像机之间的位置关系；根据所述位置关系确定被跟踪物体在虚拟现实中的位置。
较佳地，所述摄像机，进一步包括对所述虚拟现实设备进行照射的辅助光源设备。
较佳地，所述辅助光源设备为红外线发射设备。
较佳地，所述摄像机为红外摄像机。
本实用新型有益效果如下：
在本实用新型实施例提供的技术方案中，提供了一种虚拟现实设备，包括：至少一个反光体，反光体设置于虚拟现实设备表面，反光体由反光材料制成，可以反射照射的光线，虚拟现实设备仅需要贴上反光体，不需要附加发光物体。
相应的，还进一步提供了确定虚拟现实中被跟踪物体位置的定位系统，包括摄像机、图像处理设备及虚拟现实设备，所述摄像机，用于获取包含所述虚拟现实设备的图像；图像处理设备，用于确定所述摄像机采集的图像中的反光点部分，反光点部分是因反光体反射的光线而形成的图像；根据反光点部分确定被跟踪物体与摄像机之间的位置关系；根据位置关系确定被跟踪物体在虚拟现实中的位置。
由于虚拟现实设备贴有由反光材料制成的反光体，因而不需要安装额外的电子器件，如：传感器，发光设备等，然后就可以在利用摄像机获取虚拟现实设备的图像后，确定图像中因反光体反射的光线而形成的反光点部分，根据反光点部分确定被跟踪物体与摄像机之间的位置关系，并根据所述位置关系确定被跟踪物体在虚拟现实中的位置，因此，仅仅只需要给虚拟现实设备贴上反光材料制成的反光体即可在虚拟现实中实现虚拟现实设备的定位，无疑，本申请不仅可以对虚拟现实设备进行空间定位的同时不增加它的重量、体积和耗电，还提供了一种廉价而灵活的定位方案。
附图说明
此处所说明的附图用来提供对本实用新型的进一步理解，构成本实用新型的一部分，本实用新型的示意性实施例及其说明用于解释本实用新型，并不构成对本实用新型的不当限定。在附图中：
图1为本实用新型实施例中确定虚拟现实中被跟踪物体位置的方法实施流程示意图；
图2为本实用新型实施例中虚拟现实设备示意图；
图3为本实用新型实施例中虚拟现实头盔示意图；
图4为本实用新型实施例中应用场景示意图；
图5为本实用新型实施例中虚拟现实中被跟踪物体空间定位方法实施流程示意图(a)；
图6为本实用新型实施例中虚拟现实中被跟踪物体空间定位方法实施流程示意图(b)；
图7为本实用新型实施例中确定虚拟现实中被跟踪物体位置的定位系统示意图；
图8为本实用新型实施例中虚拟现实设备定位系统示意图。
具体实施方式
发明人在发明过程中注意到：
目前的虚拟现实设备，比如虚拟现实头盔、虚拟现实手套、虚拟现实手柄等，其中有一种是不用电缆与电脑连接的，它可以独立工作，受限于自身的处理能力，一般只能检测到自身的旋转并计算出与X、Y、Z三个坐标轴之间的角度，但不能准确计算出自己在空间中的位置(三维坐标)，影响了用户体验。
有些定位系统为了能进行空间定位，在虚拟现实设备上附加了发光物体，但由于是主动的电子发光系统，体积大、重量大、耗电，给用户使用造成了不便。
可见，现有技术的不足在于：虚拟现实系统进行空间定位时，增加了虚拟现实设备的重量、体积及耗电。
然而，另一方面，虚拟现实刮起的风暴如今已经愈演愈烈，从形形色色的头盔和眼镜，到各种奇思妙想的交互设备，但VR头盔和眼镜的水准参差不齐；VR对系统配置的要求很高，相关设备随身穿戴不易。因此，现有的技术中亟需一种廉价而灵活的定位方案。这里所说的定位，就是确定参与者在场馆中的空间位置，并反馈到所有参与的玩家和服务器上。
基于此，本实用新型实施例中提供了一种虚拟现实设备及其定位系统的方案，下面结合附图对本实用新型的具体实施方式进行说明。
图1为确定虚拟现实中被跟踪物体位置的方法实施流程示意图，如图所示，可以包括如下步骤：
步骤101、利用摄像机获取被跟踪物体的图像，所述被跟踪物体贴有由反光材料制成的反光体；
步骤102、确定所述图像中的反光点部分，所述反光点部分是因反光体反射的光线而形成的图像；
步骤103、根据所述反光点部分确定被跟踪物体与摄像机之间的位置关系；
步骤104、根据所述位置关系确定被跟踪物体在虚拟现实中的位置。
在现有技术中，不管是被动的(如HTC Vive头显和手柄上有超过70个光敏传感器)还是主动的(如Oculus Rift设备上向外发射红外光)，都需要大量电子元器件才能实现其功能，而在本申请中，被跟踪物体贴有由反光材料制成的反光体，一方面，被跟踪物体不需要具备较多功能，不需要增加额外的器件，仅贴有反光体即可；另一方面，反光体十分轻便，几乎不增加重量和体积，采用反光体可以减轻被跟踪物体的体积、重量。贴好反光体后，摄像机拍摄被跟踪物体，并将图像传送给计算机进行处理，摄像机可固定在一个位置。
容易看出，采用本申请方案后，一个可以预见的效果是，减少了被跟踪物体侧的负担，许多潜在的处理将可以布置在可以包含强大计算处理设备的另一侧，这将使得对被跟踪物体一侧的要求无限降低，而可以强化另一侧的数据处理，为集中式的数据处理等打下基础，使得定位系统的使用更容易部署。
被跟踪物体可以为虚拟现实设备，具体为虚拟现实头盔，下面进行说明。
图2为虚拟现实设备示意图，包括：至少一个反光体201，其中：
反光体设置于虚拟现实设备表面，所述反光体由反光材料制成。
反光体由反光材料制成，反光材料也称逆反射材料。逆反射是反射光线从接近入射光线的反方向返回的一种反射。利用反光材料反射光线，成本低廉且行之有效。
实施中，在任一视角下，至少有4个反光体可视。
具体的，虚拟现实设备上贴有多个反光体，无论虚拟现实设备怎么移动和旋转，都要保证至少有4个反光体可视。
实施中，在任一视角下，可视的4个反光体位于虚拟现实设备的至少两个平面上。
具体的，虚拟现实设备上贴有多个反光体，无论虚拟现实设备怎么移动和旋转，都要保证可视的4个反光体位于虚拟现实设备的至少两个平面上。
实施中，进一步包括：
无线通信模块202，用于与外部设备进行数据交互。
具体的，对于虚拟现实设备来说，如果用户一边走动，一边体验的话，虚拟现实设备与电脑连线会使用户行动受限，需要注意连接的线，以防被绊倒。因而可以增加无线通信模块，可以与外部设备进行数据交互，以无线传输取代有线传输。
实施中，所述虚拟现实设备为以下任一设备：虚拟现实头盔，虚拟现实手套，虚拟现实手柄。
实施中，所述反光材料为反光膜或反光粉。
具体的，反光材料可以为反光膜或反光粉，反光膜是一种已制成薄膜可直接应用的逆反射材料，通常有白色、黄色、红色、绿色、蓝色、棕色、橙色、荧光黄色、荧光橙色、荧光黄绿色，国外还有荧光红色和荧光粉色；反光粉由一种玻璃为主粉体材料生产而成，颜色有银灰色和白色。此处反光材料不局限于反光膜或反光粉，能够反射光线的逆反射材料都可以实施。
下面以虚拟现实头盔为例进行说明。
图3为虚拟现实头盔示意图，如图所示，虚拟现实头盔表面贴有反光体，反光体由反光材料制成，反光体可由反光膜或反光粉制成。无论虚拟现实头盔怎样移动和旋转，都有至少4个反光体可视，而且这4个反光体不在被跟踪物体的同一平面上。
实施中，进一步包括：利用辅助光源照射被跟踪物体。
具体的，若反光体在可见光照射下亮度、区分度不够，则在摄像头处增加辅助光源，用以提高反光体在摄像头中的亮度和区分度。
实施中，所述辅助光源为红外光源。
具体的，辅助光源可以为发射红外线的光源，或者，摄像头可采用红外摄像头。
对于步骤102的实施，贴在被跟踪物体上的反光体反射光线(可见光或红外光)，在图像中形成反光点。对图像中的反光点部分进行预处理，使得反光点部分的特征易提取，获取预处理后的图像中反光点中心的图像坐标。
实施中，所述反光体有多个；
每一反光体因反射的光线在所述反光点部分中形成一个反光图像；
所述反光点部分包括至少4个反光图像。
具体的，被跟踪物体上贴有多个反光体，无论被跟踪物体怎么移动和旋转，都要保证采集的图像中包括至少4个反光图像。反光图像是由反光体反射光线而形成的。
实施中，所述反光点部分包括的至少4个反光图像对应的各反光体不在同一平面上。
具体的，被跟踪物体上贴有多个反光体，无论被跟踪物体怎么移动和旋转，都要保证采集的图像中包括的至少4个反光图像对应的反光体不在同一平面上。
对于步骤103的实施，根据反光点部分中各反光点中心的图像坐标得到摄像机坐标系下被跟踪物体质心的三维坐标，也即被跟踪物体与摄像机之间的位置关系。
实施中，所述根据所述反光点部分确定被跟踪物体与摄像机之间的位置关系，具体包括：
确定所述反光点部分包括的至少4个反光图像的图像坐标；
确定所述反光点部分包括的至少4个反光图像对应的各反光体的相对位置；
根据所述图像坐标和所述相对位置确定被跟踪物体与摄像机之间的位置关系。
具体的，根据反光点部分中至少4个反光点中心的图像坐标，以及这4个反光点对应的反光体的相对位置，得到摄像机坐标系下被跟踪物体质心的三维坐标，也即被跟踪物体与摄像机之间的位置关系。
实施中，所述根据所述图像坐标和所述相对位置确定被跟踪物体与摄像机之间的位置关系，具体包括：
根据所述图像坐标和所述相对位置确定的所述各反光体的空间几何关系，确定被跟踪物体与摄像机之间的位置关系；
或，采用人工神经网络算法得到人工神经网络模型，将所述图像坐标输入所述人工神经网络模型，得到被跟踪物体与摄像机之间的位置关系。
具体的，可以通过以下两种方案确定被跟踪物体与摄像机之间的位置关系。
方案一：根据单目视觉图像中4个反光点中心的图像坐标和被跟踪物体的定位标志点(对应的4个反光体)的几何信息利用空间投影法反算出被跟踪物体与摄像机之间的位置关系。具体的，确定4个反光点中心的图像坐标，首先获取以像素为单位的图像坐标系坐标(u1,v1),(u2,v2),(u3,v3),(u4,v4)，再将该坐标转换为以mm为单位的图像坐标系坐标(X1,Y1),(X2,Y2),(X3,Y3),(X4,Y4)。根据4个反光点中心的图像坐标和这4个反光点对应的各反光体的相对位置，利用空间投影法反算出被跟踪物体在摄像机坐标系下的空间三维坐标。
方案二：利用人工神经网络算法得到人工神经网络模型，将单目视觉图像中4个反光点中心的图像坐标输入人工神经网络模型，便可得到被跟踪物体与摄像机之间的位置关系。
上述两个方案是以单目摄像机为例进行的说明，在具体实施中不限于单目摄像机，双目摄像机、多摄像机也可以实施，具体的空间投影法或人工神经网络算法可以根据实际情况进行相应调整。
实施中，所述采用人工神经网络算法得到人工神经网络模型，具体包括：
采集被跟踪物体的图像得到人工神经网络模型数据样本的输入数据和输出数据，所述输入数据为反光点部分包括的至少4个反光图像的图像坐标，所述输出数据为被跟踪物体与摄像机之间的位置关系；
根据所述人工神经网络模型数据样本的输入数据和输出数据进行训练得到人工神经网络模型。
具体的，首先采集跟踪物体的图像得到训练样本，将训练样本的数据加到网络输入端，同时将相应的期望输出与网络输出相比较，得到误差信号，以此控制权值连接强度的调整，经多次训练后收敛到一个确定的权值，得到确定的人工神经网络模型。
实施中，所述图像坐标是利用特征提取算法确定的。
具体的，利用特征提取算法提取图像中反光点部分的反光图像的特征，并得到中心像素点的图像坐标。
实施中，所述特征提取算法提取的反光图像的特征为颜色特征和/或边缘特征。
具体的，可以通过提取反光图像的颜色特征来识别反光点，和/或，通过提取反光图像的边缘特征来识别反光点。在具体实施中，并不局限于这两种特征，只要能识别出反光点的特征都可以。
对于步骤104的实施，将被跟踪物体在摄像机坐标系下的空间三维坐标转换为世界坐标系下的空间三维坐标。
实施中，根据所述位置关系确定被跟踪物体在虚拟现实中的位置，具体包括：
对所述摄像机进行标定；
获取摄像机标定参数；
根据所述位置关系和所述摄像机标定参数确定被跟踪物体在虚拟现实中的位置。
实施中，所述摄像机标定参数包括旋转矩阵和平移向量。
具体的，根据旋转矩阵和平移向量将摄像机坐标系下的空间三维坐标转换为世界坐标系下的空间三维坐标，也即虚拟现实中的位置(被跟踪物体质心在X、Y、Z三个坐标轴的坐标，以及与三个坐标轴的夹角)。
为了更清楚地理解本实用新型，下面以具体实施例进行说明。
实施例1
图4为应用场景示意图，如图所示，单目摄像机与计算机系统相连，玩家持有虚拟现实手柄，虚拟现实手柄表面贴有反光体，反光体可由反光膜或反光粉制成。无论被跟踪物体怎样移动和旋转，都有至少4个反光体可视，而且这4个反光体不在同一平面上。被跟踪物体按照要求贴好反光体后，按照图5的步骤进行空间定位，并反馈到所有参与的玩家和服务器上。
图5为虚拟现实中被跟踪物体空间定位方法实施流程示意图(a)，如图所示，可以包括如下步骤：
步骤501、摄像机拍摄被跟踪物体，并将图像传送给计算机进行处理；
步骤502、对图像进行预处理，获取预处理后的图像中4个反光点中心的图像坐标；
步骤503、获取这4个反光点对应的各反光体的相对位置；
步骤504、根据4个反光点中心的图像坐标以及这4个反光点对应的各反光体的相对位置并利用空间投影法反算出被跟踪物体质心在摄像机坐标系下的空间三维坐标；
步骤505、根据旋转矩阵和平移向量将摄像机坐标系下的空间三维坐标转换为世界坐标系下的空间三维坐标，并求出被跟踪物体质心在X、Y、Z三个坐标轴的坐标，以及与三个坐标轴的夹角。
实施例2
本实施例的应用场景与实施例1相同，被跟踪物体贴反光体的要求也相同，被跟踪物体按照要求贴好反光体后，按照图6的步骤进行空间定位，并反馈到所有参与的玩家和服务器上。
图6为虚拟现实中被跟踪物体空间定位方法实施流程示意图(b)，如图所示，可以包括如下步骤：
步骤601、摄像机拍摄被跟踪物体，并将图像传送给计算机进行处理；
步骤602、对图像进行预处理，获取预处理后的图像中4个反光点中心的图像坐标；
步骤603、利用人工神经网络算法得到人工神经网络模型；
对于步骤603的实施，首先采集跟踪物体的图像得到训练样本，将训练样本的数据加到网络输入端，同时将相应的期望输出与网络输出相比较，得到误差信号，以此控制权值连接强度的调整，经多次训练后收敛到一个确定的权值。当样本情况发生变化时，经学习可以修改权值以适应新的环境。
步骤604、将4个反光点中心的图像坐标输入人工神经网络模型，得到被跟踪物体质心在摄像机坐标系下的空间三维坐标；
步骤605、根据旋转矩阵和平移向量将摄像机坐标系下的空间三维坐标转换为世界坐标系下的空间三维坐标，并求出被跟踪物体质心在X、Y、Z三个坐标轴的坐标，以及与三个坐标轴的夹角。
下面详细介绍确定虚拟现实中被跟踪物体位置的定位系统是如何利用上述图2中的虚拟现实设备进行空间定位。
图7为确定虚拟现实中被跟踪物体位置的定位系统示意图，包括：摄像机701、图像处理设备702及所述的虚拟现实设备703；虚拟现实设备703与图2中的虚拟现实设备结构相同，其中：
所述摄像机，用于获取包含所述虚拟现实设备的图像；
所述图像处理设备，用于确定所述摄像机采集的图像中的反光点部分，所述反光点部分是因反光体反射的光线而形成的图像；根据所述反光点部分确定被跟踪物体与摄像机之间的位置关系；根据所述位置关系确定被跟踪物体在虚拟现实中的位置。
具体的，摄像机701与图像处理设备702相连，摄像机701拍摄虚拟现实设备703，并将图像传送给图像处理设备702进行处理。摄像机701可固定在一个位置。
可以看出，虚拟现实设备无需增加额外的发光器件，仅需贴有反光体即可，反光体十分轻便，几乎不增加重量和体积，而且减少了虚拟现实设备的负担，更多数据处理的任务交由图像处理设备进行处理，这将使得对被跟踪物体一侧的要求无限降低，而可以强化另一侧的数据处理，为集中式的数据处理等打下基础，使得定位系统的使用更容易部署。
实施中，所述摄像机，进一步包括对所述虚拟现实设备进行照射的辅助光源设备704。
具体的，若反光体在可见光照射下亮度、区分度不够，则在摄像头处增加辅助光源设备进行照射，用以提高反光体在摄像头中的亮度和区分度。
实施中，所述辅助光源设备为红外线发射设备。
具体的，辅助光源设备可以为红外线发射设备，或者其它光源发射设备。
实施中，所述摄像机为红外摄像机。
具体的，摄像机可以为红外摄像机，可以发射红外线。
下面介绍图像处理设备702的工作原理。
贴在被跟踪物体(虚拟现实设备703)上的反光体反射光线(可见光或红外光)，在图像中形成反光点。图像处理设备对图像中的反光点部分进行预处理，使得反光点部分的特征易提取，获取预处理后的图像中反光点中心的图像坐标。
获取图像坐标后，可以通过空间投影法或人工神经网络算法确定被跟踪物体与摄像机之间的位置关系。
(1)空间投影法
根据单目视觉图像中4个反光点中心的图像坐标和被跟踪物体的定位标志点(对应的4个反光体)的几何信息利用空间投影法反算出被跟踪物体与摄像机之间的位置关系。
(2)人工神经网络算法
利用人工神经网络算法得到人工神经网络模型，将单目视觉图像中4个反光点中心的图像坐标输入人工神经网络模型，便可得到被跟踪物体与摄像机之间的位置关系。
上述两个方案是以单目摄像机为例进行的说明，在具体实施中不限于单目摄像机，双目摄像机、多摄像机也可以实施，具体的空间投影法或人工神经网络算法可以根据实际情况进行相应调整。
然后将被跟踪物体在摄像机坐标系下的空间三维坐标(被跟踪物体与摄像机之间的位置关系)转换为世界坐标系下的空间三维坐标(被跟踪物体在虚拟现实中的位置)。
为了更清楚地理解本实用新型，下面以具体实施例进行说明。
玩家戴有图3所示的虚拟现实头盔进行游戏时，可以采用以下虚拟现实设备定位系统对其进行跟踪定位。
图8为虚拟现实设备定位系统示意图，如图所示，可以包括：摄像机801、计算机802、辅助光源设备803、以及虚拟现实头盔804；
其中，摄像机801与计算机802相连，辅助光源设备803安装在摄像头处，发射光线，可以发射红外线，摄像机拍摄虚拟现实头盔804，并将图像传送给计算机802进行处理。
下面对计算机进行图像处理的过程进行说明。
首先对采集到的虚拟现实头盔的图像进行预处理(滤除噪声，进行二值化处理)，利用特征提取法对反光点进行识别，选取4个反光点进行后续计算，这4个反光点不在虚拟现实头盔的同一平面上；
其次，求取选取的4个反光点中心的图像坐标；
再次，根据图像坐标确定虚拟现实头盔与摄像机的位置关系；
最后，根据虚拟现实头盔与摄像机的位置关系确定虚拟现实头盔在虚拟现实中的位置，将数据通过无线传输给所有的玩家和服务器。
根据图像坐标确定虚拟现实头盔与摄像机的位置关系，可以通过以下两种方案(空间投影法、人工神经网络算法)进行确定。
方案一：
首先获取以像素为单位的图像坐标系坐标(u1,v1),(u2,v2),(u3,v3),(u4,v4)，再将该坐标转换为以mm为单位的图像坐标系坐标(X1,Y1),(X2,Y2),(X3,Y3),(X4,Y4)。根据4个反光点中心的图像坐标和这4个反光点对应的各反光体的相对位置，利用空间投影法反算出被跟踪物体在摄像机坐标系下的空间三维坐标。
方案二：
首先采集跟踪物体的图像得到训练样本，将训练样本的数据加到网络输入端，同时将相应的期望输出与网络输出相比较，得到误差信号，以此控制权值连接强度的调整，经多次训练后收敛到一个确定的权值，得到确定的人工神经网络模型。将单目视觉图像中4个反光点中心的图像坐标输入人工神经网络模型，便可得到被跟踪物体与摄像机之间的位置关系。
根据虚拟现实头盔与摄像机的位置关系确定虚拟现实头盔在虚拟现实中的位置，可以求取摄像机标定参数，再根据摄像机标定参数将被跟踪物体在摄像机坐标系下的空间三维坐标(被跟踪物体与摄像机之间的位置关系)转换为世界坐标系下的空间三维坐标(被跟踪物体在虚拟现实中的位置)。摄像机标定参数为旋转矩阵和平移向量。
综上所述，在本实用新型实施例提供的技术方案中，提供了一种虚拟现实设备，包括：至少一个反光体，反光体设置于虚拟现实设备表面，反光体由反光材料制成，可以反射照射的光线，虚拟现实设备仅需要贴上反光体，不需要附加发光物体。
相应的，还进一步提供了确定虚拟现实中被跟踪物体位置的定位系统，包括摄像机、图像处理设备及虚拟现实设备，所述摄像机，用于获取包含所述虚拟现实设备的图像；图像处理设备，用于确定所述摄像机采集的图像中的反光点部分，反光点部分是因反光体反射的光线而形成的图像；根据反光点部分确定被跟踪物体与摄像机之间的位置关系；根据位置关系确定被跟踪物体在虚拟现实中的位置。
由于虚拟现实设备贴有由反光材料制成的反光体，因而不需要安装额外的电子器件，如：传感器，发光设备等，然后就可以在利用摄像机获取虚拟现实设备的图像后，确定图像中因反光体反射的光线而形成的反光点部分，根据反光点部分确定被跟踪物体与摄像机之间的位置关系，并根据所述位置关系确定被跟踪物体在虚拟现实中的位置，因此，仅仅只需要给虚拟现实设备贴上反光材料制成的反光体即可在虚拟现实中实现虚拟现实设备的定位，无疑，本申请不仅可以对虚拟现实设备进行空间定位的同时不增加它的重量、体积和耗电，还提供了一种廉价而灵活的定位方案。
显然，本领域的技术人员可以对本实用新型进行各种改动和变型而不脱离本实用新型的精神和范围。这样，倘若本实用新型的这些修改和变型属于本实用新型权利要求及其等同技术的范围之内，则本实用新型也意图包含这些改动和变型在内。
Claims (10)
1.一种虚拟现实设备，其特征在于，包括：至少一个反光体，其中：
反光体设置于虚拟现实设备表面，所述反光体由反光材料制成。
2.根据权利要求1所述的设备，其特征在于，在任一视角下，至少有4个反光体可视。
3.根据权利要求2所述的设备，其特征在于，在任一视角下，可视的4个反光体位于虚拟现实设备的至少两个平面上。
4.根据权利要求1所述的设备，其特征在于，进一步包括：
无线通信模块，用于与外部设备进行数据交互。
5.根据权利要求1所述的设备，其特征在于，所述虚拟现实设备为以下任一设备：虚拟现实头盔，虚拟现实手套，虚拟现实手柄。
6.根据权利要求1至5任一所述的设备，其特征在于，所述反光材料为反光膜或反光粉。
7.一种确定虚拟现实中被跟踪物体位置的定位系统，其特征在于，包括：摄像机、图像处理设备及如权利要求1至6任一所述的虚拟现实设备；其中：
所述摄像机，用于获取包含所述虚拟现实设备的图像；
所述图像处理设备，用于确定所述摄像机采集的图像中的反光点部分，所述反光点部分是因反光体反射的光线而形成的图像；根据所述反光点部分确定被跟踪物体与摄像机之间的位置关系；根据所述位置关系确定被跟踪物体在虚拟现实中的位置。
8.根据权利要求7所述的系统，其特征在于，所述摄像机，进一步包括对所述虚拟现实设备进行照射的辅助光源设备。
9.根据权利要求8所述的系统，其特征在于，所述辅助光源设备为红外线发射设备。
10.根据权利要求9所述的系统，其特征在于，所述摄像机为红外摄像机。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201620937374.0U CN206400472U (zh) | 2016-08-24 | 2016-08-24 | 一种虚拟现实设备及其定位系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201620937374.0U CN206400472U (zh) | 2016-08-24 | 2016-08-24 | 一种虚拟现实设备及其定位系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN206400472U true CN206400472U (zh) | 2017-08-11 |
Family
ID=59508027
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201620937374.0U Active CN206400472U (zh) | 2016-08-24 | 2016-08-24 | 一种虚拟现实设备及其定位系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN206400472U (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107943293A (zh) * | 2017-11-24 | 2018-04-20 | 联想(北京)有限公司 | 一种信息交互方法及信息处理装置 |
| CN109085925A (zh) * | 2018-08-21 | 2018-12-25 | 福建天晴在线互动科技有限公司 | 一种实现mr混合现实交互的方法、存储介质 |
| CN110389352A (zh) * | 2019-08-16 | 2019-10-29 | 国网内蒙古东部电力有限公司电力科学研究院 | 光学三维动作捕捉方法及系统 |
| CN111614915A (zh) * | 2020-05-13 | 2020-09-01 | 深圳市欢创科技有限公司 | 一种空间定位方法、装置、系统和头戴式设备 |
| CN112631431A (zh) * | 2021-01-04 | 2021-04-09 | 杭州光粒科技有限公司 | Ar眼镜的位姿确定方法、装置及设备、存储介质 |
-
2016
- 2016-08-24 CN CN201620937374.0U patent/CN206400472U/zh active Active
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107943293A (zh) * | 2017-11-24 | 2018-04-20 | 联想(北京)有限公司 | 一种信息交互方法及信息处理装置 |
| CN109085925A (zh) * | 2018-08-21 | 2018-12-25 | 福建天晴在线互动科技有限公司 | 一种实现mr混合现实交互的方法、存储介质 |
| CN109085925B (zh) * | 2018-08-21 | 2021-07-27 | 福建天晴在线互动科技有限公司 | 一种实现mr混合现实交互的方法、存储介质 |
| CN110389352A (zh) * | 2019-08-16 | 2019-10-29 | 国网内蒙古东部电力有限公司电力科学研究院 | 光学三维动作捕捉方法及系统 |
| CN111614915A (zh) * | 2020-05-13 | 2020-09-01 | 深圳市欢创科技有限公司 | 一种空间定位方法、装置、系统和头戴式设备 |
| CN112631431A (zh) * | 2021-01-04 | 2021-04-09 | 杭州光粒科技有限公司 | Ar眼镜的位姿确定方法、装置及设备、存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106326930A (zh) | 一种确定虚拟现实中被跟踪物体位置的方法、装置及系统 | |
| CN206400472U (zh) | 一种虚拟现实设备及其定位系统 | |
| CN105138135B (zh) | 头戴式虚拟现实设备及虚拟现实系统 | |
| CN103907138B (zh) | 信息处理设备和显示控制方法 | |
| CN104871084B (zh) | 自适应投影仪 | |
| CN105182662B (zh) | 具有增强现实效果的投影方法及系统 | |
| CN105556508B (zh) | 虚拟镜子的装置、系统和方法 | |
| CN109636916B (zh) | 一种动态标定的大范围虚拟现实漫游系统及方法 | |
| CN104423046B (zh) | 图像处理装置及具有其的头部安装型显示装置 | |
| CN101911162B (zh) | 用于扫描光束显示器的输入装置 | |
| US20220239886A1 (en) | Depth sculpturing of three-dimensional depth images utilizing two-dimensional input selection | |
| TW202011252A (zh) | 使用人工智慧模型的臉部辨識模組 | |
| WO2012126103A1 (en) | Apparatus and system for interfacing with computers and other electronic devices through gestures by using depth sensing and methods of use | |
| CN109190484A (zh) | 图像处理方法、装置和图像处理设备 | |
| CN104243962A (zh) | 扩增实境的头戴式电子装置及产生扩增实境的方法 | |
| CN103593641B (zh) | 基于立体摄像机的物体检测方法和装置 | |
| CN106471523B (zh) | 使用红外成像的颜色标识 | |
| US11665334B2 (en) | Rolling shutter camera pipeline exposure timestamp error determination | |
| CN105183161A (zh) | 一种用户在现实环境和虚拟环境中同步移动的方法 | |
| US11259008B2 (en) | Sensor misalignment compensation | |
| CN204863196U (zh) | 一种三维人体扫描装置 | |
| CN106991699A (zh) | 控制方法及电子设备 | |
| CN110430421A (zh) | 一种用于五面led-cave的光学跟踪定位系统 | |
| CN205899162U (zh) | 一种基于led光源的散斑投射器 | |
| CN107423733A (zh) | 基于标记点身份识别的动作捕捉系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20170908 Address after: 100085 Beijing Haidian District information on Road No. 19 is the commercial center of four layers of 402D micro Cool Company Patentee after: BEIJING VISIPIC COOL TECHNOLOGY LIMITED LIBABILITY COMPANY Address before: 100085 Beijing Haidian District information on Road No. 19 is the commercial center of four layers of 402D micro Cool Company Co-patentee before: BEIJING VISIPIC COOL TECHNOLOGY LIMITED LIBABILITY COMPANY Patentee before: Wang Zhongmin |