CN111260793A - 面向增强和混合现实的远程虚实高精度匹配定位的方法 - Google Patents
面向增强和混合现实的远程虚实高精度匹配定位的方法 Download PDFInfo
- Publication number
- CN111260793A CN111260793A CN202010027417.2A CN202010027417A CN111260793A CN 111260793 A CN111260793 A CN 111260793A CN 202010027417 A CN202010027417 A CN 202010027417A CN 111260793 A CN111260793 A CN 111260793A
- Authority
- CN
- China
- Prior art keywords
- real
- scene
- virtual
- gcs
- environment space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 78
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 33
- 239000003550 marker Substances 0.000 claims abstract description 74
- 238000012935 Averaging Methods 0.000 claims description 9
- 238000012937 correction Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 3
- 238000012549 training Methods 0.000 abstract description 5
- 230000002452 interceptive effect Effects 0.000 abstract description 4
- 230000008569 process Effects 0.000 description 17
- 241000282414 Homo sapiens Species 0.000 description 8
- 101100293180 Arabidopsis thaliana MYB28 gene Proteins 0.000 description 4
- 101100020366 Mus musculus Krtap14 gene Proteins 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 101100293181 Arabidopsis thaliana MYB29 gene Proteins 0.000 description 3
- 229940124813 GPR153 ligand Drugs 0.000 description 3
- 101000987090 Homo sapiens MORF4 family-associated protein 1 Proteins 0.000 description 3
- 101000887427 Homo sapiens Probable G-protein coupled receptor 142 Proteins 0.000 description 3
- 101001039297 Homo sapiens Probable G-protein coupled receptor 153 Proteins 0.000 description 3
- 101100510386 Mus musculus Krtap15-1 gene Proteins 0.000 description 3
- 102100039861 Probable G-protein coupled receptor 142 Human genes 0.000 description 3
- 102100041018 Probable G-protein coupled receptor 153 Human genes 0.000 description 3
- 230000009471 action Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明提供一种面向增强和混合现实的远程虚实高精度匹配定位的方法，涉及混合现实和增强现实技术领域。本发明通过构建多重坐标系和确定各种坐标系之间的位置关系，利用真实标识物确定远程场景的点云场景和近端的虚拟场景在近端环境空间中的位置，实现面向的远程虚实高精度匹配定位。通过本发明的方法，可以实现基于真实空间标记对象位置，跨越空间障碍实现自适应准确定位混合和增强现实环境中虚拟对象位置，将虚拟空间中的场景准确地叠加到近端环境空间中，便于实现虚实比对下的交互操作，如远程培训示教、辅助引导等。
Description
技术领域
本发明涉及混合现实和增强现实技术领域，具体涉及一种面向增强和混合现实的远程虚实高精度匹配定位的方法。
背景技术
增强和混合现实技术是将计算机模拟的数字化信息数据与现实场景环境无缝叠加，突破空间和时间限制，实现高沉浸、无割裂感的实时信息指引、虚实互动。其本质体现在“所见即得，所触即现”。借助此项技术，可以将借助屏幕显示和交互的信息替换成与实际环境对象强关联的三维信息，直观呈现于使用者眼前。
增强和混合现实一个重要应用场景是远程辅助运维和培训。借助增强和混合现实技术，操作人员在远程端面对1：1数字场景和装备产品，与实际场景准确匹配，在虚拟空间中进行操作；终端人员在现场面对实物，同时叠加虚拟空间中的装配产品，根据远程端操作人员在虚拟空间中给出的指导操作辅助操作，即利用数字虚拟空间跨越空间障碍，利用虚实叠加完成直观指导，有效避免“空对空”交流困境。而对于一些人类无法涉足的区域，更可以利用远程虚实定位叠加，让人类在当前场景就可以对远程场景进行观察、交互。
然而，在进行发明创造的过程中发明人发现，增强和混合现实处于应用初期阶段，相关应用场景还未切实落地，针对远程场景的高精度匹配定位还未有实用的技术方法，现有的技术方法要么只能进行米级的粗略匹配定位，要么只能够使用标志点或者特定图案纹理来进行局部定位，定位范围有限，即现有的方法匹配定位不精准。
发明内容
(一)解决的技术问题
针对现有技术的不足，本发明提供了一种面向增强和混合现实的远程虚实高精度匹配定位的方法，解决了现有方法中匹配定位不精准的技术问题。
(二)技术方案
为实现以上目的，本发明通过以下技术方案予以实现：
本发明提供了一种面向增强和混合现实的远程虚实高精度匹配定位的方法，所述方法包括：
在近端的虚拟场景与远端场景相对应的位置建立全局坐标系GCS；
在远端场景中：确定至少一个与所述GCS相对位置固定的物理标识，放置能获取远端场景的点云数据的远程相机，并基于所述远程相机构建相机坐标系CCS；其中，所述CCS与所述GCS位置相对固定；
在近端环境空间中：按照所述物理标识与所述GCS的位置关系设置与所述物理标识外形一致的真实标识物，以程序启动时的AR/MR设备在环境空间中的相对位置为坐标原点建立环境坐标系AR/MR ECS，并测量所述GCS与所述AR/MR ECS的位置关系；
在近端的虚拟场景中：按照所述物理标识与所述GCS的位置关系添加与物理标识外形一致的虚拟标识；
使用AR/MR设备中的硬件摄像头获取所述真实标识物在近端环境空间中的位置信息；根据所述真实标识物在近端环境空间中的位置信息确定由远端场景的点云数据拟合得到的点云场景和近端的虚拟场景在近端的环境空间中的位置。
优选的，所述方法还包括：
以所述物理标识的标记点建立标识坐标系MCS，所述MCS的x，y，z方向与所述GCS的x，y，z方向一致；采用所述MCS与所述GCS的位置关系表示所述物理标识与所述GCS的位置关系；
基于所述真实标识物和所述物理标识的对应关系，以所述真实标识物的标记点建立标识坐标系MCS，采用所述MCS与所述GCS的位置关系表示所述真实标识物与所述GCS的位置关系。
优选的，所述在近端的虚拟场景与远端场景相对应的位置分别建立全局坐标系GCS，具体包括：
在近端的虚拟场景与远端场景相对应的某一位置按照右手法则分别建立一个全局坐标系GCS。
优选的，所述相机坐标系具体包括：远程相机拍摄远端场景生成的点云数据坐标系。
优选的，所述使用AR/MR设备中的硬件摄像头获取所述真实标识物在近端环境空间中的位置信息，具体包括：
使用硬件摄像头的RGB图像识别及深度信息捕捉，确定真实标识物与硬件摄像头的相对位置，进而得到真实标识物与AR/MR ECS的位置关系，确定真实标识物在近端环境空间中的位置信息。
优选的，所述根据所述真实标识物在近端环境空间中的位置信息确定近端的虚拟场景和由远端场景的点云数据拟合得到的点云场景在近端的环境空间中的位置，具体包括：
根据真实标识物在近端环境空间中的位置信息，结合真实标识物和GCS的位置关系，确定GCS在近端环境空间中的位置信息；
根据GCS在近端环境空间中的位置信息，确定近端的虚拟场景在在近端的环境空间中的位置；
根据真实标识物在近端环境空间中的位置信息位置信息，结合真实标识物和物理标识的对应关系，以及CCS与GCS位置关系，确定点云场景在近端的环境空间中的位置。
优选的，所述方法还包括：
修正虚实场景之间的误差，修正方法包括：反向拟合调节法、多标记点匹配法和多用户辅助部署法。
优选的，所述反向拟合调节法是针对固定误差源的修正方法，具体包括：
修正真实标识物的位置误差、修正真实标识物标记点标记误差、修正虚实场景中全局坐标系对应的误差和修正远程相机拍摄角度导致的畸变误差。
优选的，所述多标记点匹配法具体为：
在近端环境空间中设置多个真实标识物，将AR/MR设备中的硬件摄像头扫描得到的所述真实标识物在近端环境空间中的位置信息进行均值化处理，得到位置信息的均值，根据位置信息的均值确定由远端场景的点云数据拟合得到的点云场景和近端的虚拟场景在近端的环境空间中的位置。
优选的，所述多用户辅助部署法具体为：
多人协同环境下，多用户设备扫描真实标识物得到的位置数据在通信服务端进行均值化处理，得到真实标识物在近端环境空间中的位置信息的均值，根据位置信息的均值确定由远端场景的点云数据拟合得到的点云场景和近端的虚拟场景在近端的环境空间中的位置。
(三)有益效果
本发明提供了一种面向增强和混合现实的远程虚实高精度匹配定位的方法。与现有技术相比，具备以下有益效果：
本发明通过构建多重坐标系和确定各种坐标系之间的位置关系，利用真实标识物确定远程场景的点云场景和近端的虚拟场景在近端环境空间中的位置，实现面向的远程虚实高精度匹配定位。通过本发明的方法，可以实现基于真实空间标记对象位置，跨越空间障碍实现自适应准确定位混合和增强现实环境中虚拟对象位置，将虚拟空间中的场景准确地叠加到近端环境空间中，便于实现虚实比对下的交互操作，如远程培训示教、辅助引导等。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例一种面向增强和混合现实的远程虚实高精度匹配定位的方法的框图；
图2为本发明实施例中一种面向增强和混合现实的远程虚实高精度匹配定位的方法中的定位原理及误差源分析示意图；
图3为实施例1中各个坐标系及之间位置关系的示意图；
图4为实施例1中人类所处的环境空间中中贴敷真实标识物的示意图；
图5为实施例1中AR/MR CES坐标系及虚拟场景构建的示意图；
图6为实施例1中虚实叠加定位的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请实施例通过提供一种面向增强和混合现实的远程虚实高精度匹配定位的方法，解决了现有方法中匹配定位不精准的技术问题，实现远程虚实高精度匹配定位。
本申请实施例中的技术方案为解决上述技术问题，总体思路如下：
本发明实施例通过构建多重坐标系和确定各种坐标系之间的位置关系，利用真实标识物确定远程场景的点云场景和近端的虚拟场景在近端环境空间中的位置，实现面向的远程虚实高精度匹配定位。
为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
本发明实施例提供一种面向增强和混合现实的远程虚实高精度匹配定位的方法，如图1所示，包括：
S1、在近端的虚拟场景与远端场景相对应的位置建立全局坐标系GCS；
S2、在远端场景中执行以下步骤：确定至少一个与GCS相对位置固定的物理标识，放置能获取远端场景的点云数据的远程相机，并基于远程相机构建相机坐标系CCS；其中，CCS与GCS位置相对固定；
S3、在近端环境空间中执行以下步骤：按照物理标识外形、物理标识与GCS的位置关系设置真实标识物，以程序启动时的AR/MR设备在环境空间中的相对位置为坐标原点建立环境坐标系AR/MR ECS，并测量GCS与AR/MR ECS的位置关系；
S4、在近端的虚拟场景中执行以下步骤：按照物理标识与GCS的位置关系添加与物理标识外形一致的虚拟标识；
S5、使用AR/MR设备中的硬件摄像头获取真实标识物在近端环境空间中的位置信息；根据真实标识物在近端环境空间中的位置信息确定由远端场景的点云数据拟合得到的点云场景和近端的虚拟场景在近端的环境空间中的位置。
本发明实施例通过构建多重坐标系和确定各种坐标系之间的位置关系，利用真实标识物确定远程场景的点云场景和近端的虚拟场景在近端环境空间中的位置，实现面向的远程虚实高精度匹配定位。通过本发明实施例的方法，可以实现基于真实空间标记对象位置，跨越空间障碍实现自适应准确定位混合和增强现实环境中虚拟对象位置，将虚拟空间中的场景准确地叠加到近端环境空间中，便于实现虚实比对下的交互操作，如远程培训示教、辅助引导等。
下面对各个步骤进行详细描述。
需要说明的是，在本发明实施例中近端环境空间是指近端的实际场景；远端场景包括远端的实际场景和远端的虚拟场景。
实际场景，是指AR/MR设备的应用环境，例如在室内使用时的地面、墙壁、桌椅、人员等。
虚拟场景是指预先在AR/MR设备的存储系统中构建，后期利用AR/MR设备在实际场景中投射出的相对应虚拟的地面、墙壁、桌椅、人员等模型，以及其他附着的一些虚拟信息数据。
点云场景是指利用远程相机拍照扫描得到的具备深度信息的点云数据拟合得到的虚拟场景模型。需要注意的是，点云场景仅表示远程信息不局限于点云场景，还包括所有需要在实际场景中需要准确定位的远程信息。
S1、在近端的虚拟场景与远端场景相对应的位置分别建立全局坐标系GCS。具体实施过程如下：
在近端的虚拟场景在与远端的实际场景相对应的某一位置按照右手法则建立的坐标系。在具体实施过程中，选取实际场景中不易发生变化且较为规则平整的区域进行GCS坐标系的构建。
S2、在远端场景中执行以下步骤：确定至少一个与GCS相对位置固定的物理标识，放置能获取远端场景的点云数据的远程相机，并基于远程相机构建相机坐标系CCS。具体实施过程如下：
S201、在远端场景中确定至少一个与GCS相对位置固定的物理标识，以物理标识的标记点(在本发明实施例中，标记点为物理标识的中心点)建立标识坐标系MCS，MCS的x，y，z方向与GCS的x，y，z方向一致；采用MCS与GCS的位置关系表示物理标识与GCS的位置关系。需要说明的是，可以由AR/MR设备的存储系统在远端的虚拟场景中确定至少一个物理标识，也可以在远端的实际场景中放置至少一个物理标识。物理标识在远端场景中的位置选择应考虑现场的易部署性、易识别性。
S202、放置能获取远端场景的点云数据的远程相机，根据远程相机自带坐标系建立相机坐标系CCS，测量GCS与CCS的位置关系。在本发明实施例中，CCS是指远程相机拍摄实际场景环境生成的点云数据坐标系，因CCS与GCS的相对位置固定，可将远程相机拍摄生成的点云数据可直接内部换算为GCS坐标系下的点云数据。
S3、在近端环境空间中执行以下步骤：按照物理标识外形、物理标识与GCS的位置关系设置真实标识物，以程序启动时的AR/MR设备在环境空间中的相对位置为坐标原点建立环境坐标系AR/MR ECS，并测量GCS与AR/MR ECS的位置关系。具体实施过程如下：
S301、在近端环境空间中贴敷真实标识物，真实标识物和物理标识完全相同，可以选择大小、形状一致的图片或二维码(需要说明的是，采用自然特征作为真实标识物在本发明实施例的范围之内)。根据真实标识物和物理标识的对应关系，以真实标识物的标记点建立标识坐标系MCS，采用MCS与GCS的位置关系表示真实标识物与GCS的位置关系。
S302、以程序启动时的AR/MR设备在环境空间中的相对位置为坐标原点建立环境坐标系AR/MR ECS，并测量GCS与AR/MR ECS的位置关系。
S4、在近端的虚拟场景中执行以下步骤：按照物理标识与GCS的位置关系添加与物理标识外形一致的虚拟标识。具体实施过程如下：
在近端的虚拟场景中添加虚拟标识，虚拟标识和物理标识完全相同，可以选择大小、形状一致的图片或二维码。根据虚拟标识和物理标识的对应关系，以虚拟标识的标记点建立标识坐标系MCS，采用MCS与GCS的位置关系表示虚拟与GCS的位置关系。
S5、使用AR/MR设备中的硬件摄像头获取真实标识物在近端环境空间中的位置信息；根据真实标识物在近端环境空间中的位置信息确定由远端场景的点云数据拟合得到的点云场景和近端的虚拟场景在近端的环境空间中的位置。具体实施过程如下：
S501、使用硬件摄像头的RGB图像识别及深度信息捕捉，确定真实标识物与硬件摄像头的相对位置，进而得到真实标识物与AR/MR ECS的位置关系，确定真实标识物在近端环境空间中的位置信息。
S502、根据真实标识物在近端环境空间中的位置信息位置信息，结合真实标识物和物理标识的对应关系，以及CCS与GCS位置关系，确定点云场景在近端的环境空间中的位置。
S503、根据真实标识物在近端环境空间中的位置信息，结合真实标识物和GCS的位置关系，确定GCS在近端环境空间中的位置信息，进而确定近端的虚拟场景在在近端的环境空间中的位置。
在本发明实施例中，为了进一步提高面向增强和混合现实的匹配定位的精度，本发明实施例基于定位原理及误差源分析(如图2所示)，对虚实场景之间的误差提出了修正方法，修正方法包括：反向拟合调节法、多标记点匹配法和多用户辅助部署法。
针对固定误差源的修正，包括：修正真实标识物的位置误差、修正真实标识物标记点标记误差、修正虚实场景中全局坐标系对应的误差和修正相机拍摄角度导致的畸变误差。通过多次使用AR/MR设备扫描真实标识物，测量绘制误差变化曲线拟合为函数，在AR/MR设备系统内部进行反向调节。
多标记点匹配法具体为：
在近端的环境空间中设置多个真实标识物，将AR/MR设备扫描得到的真实标识物在近端的环境空间中的位置信息进行均值化处理，得到位置信息的均值，根据位置信息的均值确定由远端场景的点云数据拟合得到的点云场景和近端的虚拟场景在近端的环境空间中的位置。
均值化处理的具体过程包括：对于真实标识物不同方位采取不同的处理方法：对于垂直于标识方向的坐标值以及三个转动方向的坐标值(t)，需对多个标识数据(t1，t2，……，tN)求取均值(a＝(∑tN)/4)，并除以方差得到最终均值化数据
对于其他位置数据的坐标值，仅需对多个标识数据求取平均值的方法得到均值化数据。需要说明的是，本发明实施例提出的均值化处理的具体过程只是均值化处理的其中一种方式，本发明实施例的均值化处理的具体过程并不局限与这种方式。
多用户辅助部署法具体为：
多人协同环境下，多用户设备扫描真实标识物得到的位置数据在通信服务端进行均值化处理，得到真实标识物在近端环境空间中的位置信息的均值，根据位置信息的均值确定由远端场景的点云数据拟合得到的点云场景和近端的虚拟场景在近端的环境空间中的位置。
实施例1：
为了进一步说明书本发明实施例的方法，以火星探测器为例，详细解释本发明实施例的具体过程：
火星探测器由于部署在太空星球，目前人类无法涉足，因此存在无法直观了解火星地形地貌的问题，利用本发明实施例的方法，可以实现将火星地貌直观呈现于人类所处的环境空间中，同时可以将部分实际物体或者环境(如一比一构建的真实探测器)与虚拟火星地貌精准匹配，让操作人员达到真实临场的感受。
步骤1：火星探测器发射之前，在其上选取某一固定位置作为GCS坐标系(案例选取火星探测器大臂转台中心位置为GCS坐标系原点，沿着臂长位置向上为z方向，按照右手法则确定了x，y方向，如图3所示)。选取大臂上安装的双目相机自带坐标系为CCS坐标系(不同双目相机所定义的坐标系方位可能有所差异)。
步骤2：确定好坐标系后，在地面测量得到CCS相对于GCS的位置关系PCG(x，y，z，rx，ry，rz，rt)。其中(x，y，z)是位移坐标，(rx，ry，rz，rt)是四元数，表示CCS坐标系相对于GCS坐标系的转动关系。
步骤3：确定物理标识放置位置，放置位置应与GCS(全局坐标系)相对位置固定，不会随着探测器工作或移动发生变化。若有多个物理标识放置，为较好实现多标识点匹配降低定位误差，应确保其放置位置有一定间距，放置角度应相对有偏移。每个标记点确定一个MCS，物理标识位置确认好后需测量每个MCS相对于GCS的位置关系PMG1(x1，y1，z1，rx1，ry1，rz1，rt1)；PMG2(x2，y2，z2，rx2，ry2，rz2，rt2)。如图3所示。
步骤4：在人类所处的环境空间中中贴敷真实标识物，如图4所示。(由于没有真实火星探测器，案例中以墙壁为贴敷位置，要确保PMG1与PMG2相对位置与设定的一致)。
步骤5：在AR/MR系统中设定虚拟场景，设定GCS坐标。并确定在虚拟场景中与AR/MRECS的相对位置关系PGE(x，y，z，rx，ry，rz，rt)；确定虚拟场景相对于AR/MR ECS(AR/MR环境坐标系)坐标系的相对位置关系PVE(x，y，z，rx，ry，rz，rt)。如图5所示。
步骤6：在AR/MR系统中添加数字标识，数字标识的坐标位置与GCS相对关系应吻合PMG1及PMG2。如图5所示。
步骤7：利用AR/MR设备识别真实标识物，得到每个真实标识物在物理环境中的位置信息(不同设备，以及不同系统采用的物理空间坐标系不相同，并不影响最终结果)，分别为P1(x1，y1，z1，rx1，rx1，rx1，rt1)，P2(x2，y2，z2，rx2，rx2，rx2，rt2)。
步骤8：利用PMG1和PMG2相对位置数据，结合P1和P2进行反求，得到GCS坐标系相对于人类所处的环境空间中的位置PGR1(x1，y1，z1，rx1，rx1，rx1，rt1)，PGR2(x2，y2，z2，rx2，rx2，rx2，rt2)。
步骤9：对PGR1和PGR2进行均值化处理，得到PGR(x，y，z，rx，ry，rz，rt)。进而通过PCG，PGE反求得到AR/MR ECS以及CCS相对于人类所处的环境空间中的位置，并得到虚拟场景以及点云场景在人类所处的环境空间中的准确位置。如附图6所示。
步骤10：当有多人协同参与，每一人都可以按照上述1～8步骤得到一个GCS坐标位置PGRi，将得到的多个PGR1，PGR2，…PGRi位置信息按照均值化处理方法求得均值PGR，并同步给每个一协同人员更新其PGR位置数据，进一步降低误差。
综上所述，与现有技术相比，具备以下有益效果：
1、本发明实施例通过构建多重坐标系和确定各种坐标系之间的位置关系，利用真实标识物确定远程场景的点云场景和近端的虚拟场景在近端环境空间中的位置，实现面向的远程虚实高精度匹配定位。通过本发明实施例的方法，可以实现基于真实空间标记对象位置，跨越空间障碍实现自适应准确定位混合和增强现实环境中虚拟对象位置，将虚拟空间中的场景准确地叠加到近端环境空间中，便于实现虚实比对下的交互操作，如远程培训示教、辅助引导等。
2、本发明实施例提出虚实场景之间的误差的修正方法，进一步提高面向增强和混合现实的远程虚实匹配定位的精度。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种面向增强和混合现实的远程虚实高精度匹配定位的方法，其特征在于，所述方法包括：
在近端的虚拟场景与远端场景相对应的位置建立全局坐标系GCS；
在远端场景中：确定至少一个与所述GCS相对位置固定的物理标识，放置能获取远端场景的点云数据的远程相机，并基于所述远程相机构建相机坐标系CCS；其中，所述CCS与所述GCS位置相对固定；
在近端环境空间中：按照所述物理标识与所述GCS的位置关系设置与所述物理标识外形一致的真实标识物，以程序启动时的AR/MR设备在环境空间中的相对位置为坐标原点建立环境坐标系AR/MR ECS，并测量所述GCS与所述AR/MR ECS的位置关系；
在近端的虚拟场景中：按照所述物理标识与所述GCS的位置关系添加与物理标识外形一致的虚拟标识；
使用AR/MR设备中的硬件摄像头获取所述真实标识物在近端环境空间中的位置信息；根据所述真实标识物在近端环境空间中的位置信息确定由远端场景的点云数据拟合得到的点云场景和近端的虚拟场景在近端的环境空间中的位置。
2.如权利要求1所述的面向增强和混合现实的远程虚实高精度匹配定位的方法，其特征在于，所述方法还包括：
以所述物理标识的标记点建立标识坐标系MCS，所述MCS的x，y，z方向与所述GCS的x，y，z方向一致；采用所述MCS与所述GCS的位置关系表示所述物理标识与所述GCS的位置关系；
基于所述真实标识物和所述物理标识的对应关系，以所述真实标识物的标记点建立标识坐标系MCS，采用所述MCS与所述GCS的位置关系表示所述真实标识物与所述GCS的位置关系。
3.如权利要求1所述的面向增强和混合现实的远程虚实高精度匹配定位的方法，其特征在于，所述在近端的虚拟场景与远端场景相对应的位置分别建立全局坐标系GCS，具体包括：
在近端的虚拟场景与远端场景相对应的某一位置按照右手法则分别建立一个全局坐标系GCS。
4.如权利要求1所述的面向增强和混合现实的远程虚实高精度匹配定位的方法，其特征在于，所述相机坐标系具体包括：远程相机拍摄远端场景生成的点云数据坐标系。
5.如权利要求1所述的面向增强和混合现实的远程虚实高精度匹配定位的方法，其特征在于，所述使用AR/MR设备中的硬件摄像头获取所述真实标识物在近端环境空间中的位置信息，具体包括：
使用硬件摄像头的RGB图像识别及深度信息捕捉，确定真实标识物与硬件摄像头的相对位置，进而得到真实标识物与AR/MR ECS的位置关系，确定真实标识物在近端环境空间中的位置信息。
6.如权利要求1所述的面向增强和混合现实的远程虚实高精度匹配定位的方法，其特征在于，所述根据所述真实标识物在近端环境空间中的位置信息确定近端的虚拟场景和由远端场景的点云数据拟合得到的点云场景在近端的环境空间中的位置，具体包括：
根据真实标识物在近端环境空间中的位置信息，结合真实标识物和GCS的位置关系，确定GCS在近端环境空间中的位置信息；
根据GCS在近端环境空间中的位置信息，确定近端的虚拟场景在在近端的环境空间中的位置；
根据真实标识物在近端环境空间中的位置信息位置信息，结合真实标识物和物理标识的对应关系，以及CCS与GCS位置关系，确定点云场景在近端的环境空间中的位置。
7.如权利要求1～6任一项权利要求所述的面向增强和混合现实的远程虚实高精度匹配定位的方法，其特征在于，所述方法还包括：
修正虚实场景之间的误差，修正方法包括：反向拟合调节法、多标记点匹配法和多用户辅助部署法。
8.如权利要求7所述的面向增强和混合现实的远程虚实高精度匹配定位的方法，其特征在于，所述反向拟合调节法是针对固定误差源的修正方法，具体包括：
修正真实标识物的位置误差、修正真实标识物标记点标记误差、修正虚实场景中全局坐标系对应的误差和修正远程相机拍摄角度导致的畸变误差。
9.如权利要求7所述的面向增强和混合现实的远程虚实高精度匹配定位的方法，其特征在于，所述多标记点匹配法具体为：
在近端环境空间中设置多个真实标识物，将AR/MR设备中的硬件摄像头扫描得到的所述真实标识物在近端环境空间中的位置信息进行均值化处理，得到位置信息的均值，根据位置信息的均值确定由远端场景的点云数据拟合得到的点云场景和近端的虚拟场景在近端的环境空间中的位置。
10.如权利要求7所述的面向增强和混合现实的远程虚实高精度匹配定位的方法，其特征在于，所述多用户辅助部署法具体为：
多人协同环境下，多用户设备扫描真实标识物得到的位置数据在通信服务端进行均值化处理，得到真实标识物在近端环境空间中的位置信息的均值，根据位置信息的均值确定由远端场景的点云数据拟合得到的点云场景和近端的虚拟场景在近端的环境空间中的位置。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010027417.2A CN111260793B (zh) | 2020-01-10 | 2020-01-10 | 面向增强和混合现实的远程虚实高精度匹配定位的方法 |
| PCT/CN2020/072871 WO2021138940A1 (zh) | 2020-01-10 | 2020-01-17 | 面向增强和混合现实的远程虚实高精度匹配定位的方法 |
| US17/139,677 US11288877B2 (en) | 2020-01-10 | 2020-12-31 | Method for matching a virtual scene of a remote scene with a real scene for augmented reality and mixed reality |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010027417.2A CN111260793B (zh) | 2020-01-10 | 2020-01-10 | 面向增强和混合现实的远程虚实高精度匹配定位的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111260793A true CN111260793A (zh) | 2020-06-09 |
| CN111260793B CN111260793B (zh) | 2020-11-24 |
Family
ID=70948615
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010027417.2A Active CN111260793B (zh) | 2020-01-10 | 2020-01-10 | 面向增强和混合现实的远程虚实高精度匹配定位的方法 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN111260793B (zh) |
| WO (1) | WO2021138940A1 (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112917457A (zh) * | 2021-01-27 | 2021-06-08 | 南京航空航天大学 | 一种基于增强现实技术的工业机器人快速精准示教系统及方法 |
| WO2021138940A1 (zh) * | 2020-01-10 | 2021-07-15 | 中国电子科技集团公司第三十八研究所 | 面向增强和混合现实的远程虚实高精度匹配定位的方法 |
| CN113206989A (zh) * | 2021-03-31 | 2021-08-03 | 聚好看科技股份有限公司 | 一种三维通信系统中人物模型的定位方法及设备 |
| CN113763436A (zh) * | 2021-07-29 | 2021-12-07 | 广州泽亨实业有限公司 | 一种基于图像配准的工件碰撞检测方法及喷涂系统 |
| CN115496798A (zh) * | 2022-11-08 | 2022-12-20 | 中国电子科技集团公司第三十八研究所 | 用于系留气球装备模拟训练的协同定位方法和系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102395997A (zh) * | 2009-02-13 | 2012-03-28 | Metaio有限公司 | 用于确定摄像机相对于真实环境的至少一个对象的姿态的方法和系统 |
| US20130120372A1 (en) * | 2011-11-14 | 2013-05-16 | Electronics And Telecommunications Research Institute | Apparatus and method for providing mixed reality contents for learning through story-based virtual experience |
| CN104995583A (zh) * | 2012-12-13 | 2015-10-21 | 微软技术许可有限责任公司 | 用于混合现实环境的直接交互系统 |
| CN105787941A (zh) * | 2016-03-01 | 2016-07-20 | 天津天堰科技股份有限公司 | 一种混合现实仿真系统的快速配准方法 |
| CN106898049A (zh) * | 2017-01-18 | 2017-06-27 | 北京商询科技有限公司 | 一种用于混合现实设备的空间匹配方法及系统 |
| CN107408314A (zh) * | 2015-01-20 | 2017-11-28 | 微软技术许可有限责任公司 | 混合现实系统 |
| CN109144349A (zh) * | 2018-08-07 | 2019-01-04 | 西交利物浦大学 | 一种虚拟、增强或混合现实头显运动方向识别方法及系统 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6894707B2 (ja) * | 2017-01-06 | 2021-06-30 | キヤノン株式会社 | 情報処理装置およびその制御方法、プログラム |
| JP6795471B2 (ja) * | 2017-08-25 | 2020-12-02 | ファナック株式会社 | ロボットシステム |
| CN108346183B (zh) * | 2018-02-05 | 2021-06-22 | 北京德火新媒体技术有限公司 | 一种用于ar基准定位的方法及系统 |
| US10380804B1 (en) * | 2018-06-01 | 2019-08-13 | Imajion Corporation | Seamless injection of augmented three-dimensional imagery using a positionally encoded video stream |
| CN109272454B (zh) * | 2018-07-27 | 2020-07-03 | 阿里巴巴集团控股有限公司 | 一种增强现实设备的坐标系校准方法及装置 |
| CN111260793B (zh) * | 2020-01-10 | 2020-11-24 | 中国电子科技集团公司第三十八研究所 | 面向增强和混合现实的远程虚实高精度匹配定位的方法 |
-
2020
- 2020-01-10 CN CN202010027417.2A patent/CN111260793B/zh active Active
- 2020-01-17 WO PCT/CN2020/072871 patent/WO2021138940A1/zh active Application Filing
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102395997A (zh) * | 2009-02-13 | 2012-03-28 | Metaio有限公司 | 用于确定摄像机相对于真实环境的至少一个对象的姿态的方法和系统 |
| US20130120372A1 (en) * | 2011-11-14 | 2013-05-16 | Electronics And Telecommunications Research Institute | Apparatus and method for providing mixed reality contents for learning through story-based virtual experience |
| CN104995583A (zh) * | 2012-12-13 | 2015-10-21 | 微软技术许可有限责任公司 | 用于混合现实环境的直接交互系统 |
| CN107408314A (zh) * | 2015-01-20 | 2017-11-28 | 微软技术许可有限责任公司 | 混合现实系统 |
| CN105787941A (zh) * | 2016-03-01 | 2016-07-20 | 天津天堰科技股份有限公司 | 一种混合现实仿真系统的快速配准方法 |
| CN106898049A (zh) * | 2017-01-18 | 2017-06-27 | 北京商询科技有限公司 | 一种用于混合现实设备的空间匹配方法及系统 |
| CN109144349A (zh) * | 2018-08-07 | 2019-01-04 | 西交利物浦大学 | 一种虚拟、增强或混合现实头显运动方向识别方法及系统 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021138940A1 (zh) * | 2020-01-10 | 2021-07-15 | 中国电子科技集团公司第三十八研究所 | 面向增强和混合现实的远程虚实高精度匹配定位的方法 |
| CN112917457A (zh) * | 2021-01-27 | 2021-06-08 | 南京航空航天大学 | 一种基于增强现实技术的工业机器人快速精准示教系统及方法 |
| CN113206989A (zh) * | 2021-03-31 | 2021-08-03 | 聚好看科技股份有限公司 | 一种三维通信系统中人物模型的定位方法及设备 |
| CN113763436A (zh) * | 2021-07-29 | 2021-12-07 | 广州泽亨实业有限公司 | 一种基于图像配准的工件碰撞检测方法及喷涂系统 |
| CN115496798A (zh) * | 2022-11-08 | 2022-12-20 | 中国电子科技集团公司第三十八研究所 | 用于系留气球装备模拟训练的协同定位方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111260793B (zh) | 2020-11-24 |
| WO2021138940A1 (zh) | 2021-07-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111260793B (zh) | 面向增强和混合现实的远程虚实高精度匹配定位的方法 | |
| EP3067861B1 (en) | Determination of a coordinate conversion parameter | |
| US10432913B2 (en) | Systems and methods for determining three dimensional measurements in telemedicine application | |
| CN110383343B (zh) | 不一致检测系统、混合现实系统、程序和不一致检测方法 | |
| US11288877B2 (en) | Method for matching a virtual scene of a remote scene with a real scene for augmented reality and mixed reality | |
| AU2011312140B2 (en) | Rapid 3D modeling | |
| US20150042755A1 (en) | Method for instructing a 3dprinting system comprising a 3d printer and 3d printing system | |
| WO2023093217A1 (zh) | 数据标注方法、装置、计算机设备、存储介质和程序 | |
| Hübner et al. | Marker-based localization of the microsoft hololens in building models | |
| JP6348623B2 (ja) | 三次元モデルの作成方法、三次元モデル作成装置、三次元モデル作成システム、及び三次元モデル作成用プログラム | |
| JP2005256232A (ja) | ３ｄデータ表示方法、装置、およびプログラム | |
| CN111539300A (zh) | 一种基于ik算法的人体运动捕捉方法、装置、介质及设备 | |
| JP2018106661A (ja) | 不整合検出システム、複合現実システム、プログラム及び不整合検出方法 | |
| WO2020040277A1 (ja) | 複合現実システム、プログラム、携帯端末装置、及び方法 | |
| KR102389762B1 (ko) | 디지털 트윈 연동 증강현실 카메라를 통한 공간 형성 및 인식 시스템 및 그 방법 | |
| CN110766800A (zh) | 基于空间三点对齐的重建模型注册方法 | |
| JP5326816B2 (ja) | 遠隔会議システム、情報処理装置、及びプログラム | |
| CN111860275B (zh) | 手势识别数据采集系统、方法 | |
| CN109840943B (zh) | 三维可视化分析方法及系统 | |
| EP3655919A1 (en) | Systems and methods for determining three dimensional measurements in telemedicine application | |
| JP4810403B2 (ja) | 情報処理装置、情報処理方法 | |
| CN114071392B (zh) | 一种uwb室内高精度三维实景数据构建方法和系统 | |
| WO2021166751A1 (ja) | 情報処理装置、情報処理方法及びコンピュータプログラム | |
| Almeida et al. | Incremental 3d body reconstruction framework for robotic telepresence applications | |
| CN112033379B (zh) | 一种对象检测方法、装置以及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |