CN116486051B - 一种多用户展示协同方法、装置、设备及存储介质 - Google Patents
一种多用户展示协同方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN116486051B CN116486051B CN202310391578.3A CN202310391578A CN116486051B CN 116486051 B CN116486051 B CN 116486051B CN 202310391578 A CN202310391578 A CN 202310391578A CN 116486051 B CN116486051 B CN 116486051B
- Authority
- CN
- China
- Prior art keywords
- user
- pose
- dimensional model
- slave
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 239000011159 matrix material Substances 0.000 claims abstract description 47
- 230000009466 transformation Effects 0.000 claims abstract description 33
- 239000003550 marker Substances 0.000 claims abstract description 15
- 238000013519 translation Methods 0.000 claims description 18
- 238000012546 transfer Methods 0.000 claims description 4
- 230000008859 change Effects 0.000 abstract description 11
- 238000005516 engineering process Methods 0.000 description 14
- 230000003993 interaction Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 230000000007 visual effect Effects 0.000 description 7
- 230000003190 augmentative effect Effects 0.000 description 6
- 230000009471 action Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
Abstract
本发明公开了一种多用户展示协同方法、装置、设备及存储介质，该方法采用同一三维模型在不同坐标系下坐标变换，将主用户坐标系中的三维模型在其他从用户坐标系中进行变换，改变该模型的位姿描述方式，模型本身位姿并没有发生改变，可以实现不同用户观察到的三维模型在世界坐标系下具有相同的位姿状态。采用在不同用户坐标空间中，获取同一定位标志物位姿的不同描述的方式来计算不同用户坐标空间坐标变换矩阵，可以实现快速便捷的进行多用户不同空间的标定。
Description
技术领域
本发明涉及混合现实技术领域，特别是涉及一种多用户展示协同方法、装置、设备及存储介质。
背景技术
从目前全球发展分析，未来世界将展现出智能化、网络化、无人化、多元化等多种形态。混合现实技术(MR)是通过在虚拟环境中引入现实场景信息，将虚拟世界、现实世界和用户之间搭起一个交互反馈信息的桥梁，从而增强用户体验的真实感。是虚拟现实和增强现实技术的深入和强化。
增强现实技术可以将真实环境与虚拟信息叠加显示到同一画面和空间，实现信息间的融合与交互，从而使用户在使用时达到超越现实的感官体验。用户在使用头戴式混合现实增强显示设备时，为了实现对三维模型的多视角查看，需实时定位用户头部位置调节模型渲染。用户可以通过手势向系统发送简单的命令，如选择、移动和删除，还可以表达更复杂的意图，如切换当前交互场景、控制虚拟对象和执行虚拟动作等。
虚实结合的三维场景匹配技术是随着计算机软硬件的发展而开始拥有应用需求的一种新型显示匹配技术。虚实结合技术能够将虚拟环境融合到用户周围的真实场景中,从而提供直观和增强的使用体验；而三维匹配技术在三维空间中拥有更高操作自由度，从而形成更加直观与真实的感受。
在一些多用户协同作业场合，需要将同一虚拟环境模型融合到每个用户周围的真实场景中。现有技术中采用的方式是，服务器将确定的虚拟环境模型融合到每个用户周围的真实场景后下发至每个用户的用户端进行展示，虚拟环境模型展示给每个用户的位姿通常通过服务器设定的方式进行调整，使得展示给每个用户的模型位姿一致。
然而，现有技术中的方式，无法实现随着其中一个用户位姿变化，同时调整虚拟环境模型的位姿，并实现下发给其他用户的虚拟环境模型进行同步位姿调整，保证随着其中一个用户位姿的变化，每个用户均可以接收到调整后的相同位姿的虚拟环境模型。
发明内容
鉴于上述问题，本发明提供用于克服上述问题或者至少部分地解决上述问题的一种多用户展示协同方法、装置、设备及存储介质。
本发明提供了如下方案：
一种多用户展示协同方法，包括：
获取若干相机各自的相机坐标系；若干所述相机一一对应的设置于若干用户穿戴的混合增强设备上；若干所述用户包括一个主用户以及若干从用户；
获取定位标志物的第一特征点集；
获取若干标定图像各自的第二特征点集，若干所述标定图像为若干所述相机各自采集到的包含所述定位标志物的图像；
通过所述第一特征点集与每个所述第二特征点集分别进行迭代求解，获得所述第一特征点集的特征点与每个所述第二特征点集的特征点的旋转平移矩阵；
利用所述旋转平移矩阵确定所述定位标志物在每个所述相机坐标系下的位姿表示，以便利用所述位姿表示推算获得坐标系齐次变换矩阵；
获取所述主用户穿戴的所述混合增强设备展示的三维模型的主位姿信息；
利用所述坐标系齐次变换矩阵将所述主位姿信息进行转换获得若干从位姿信息；
利用若干所述从位姿信息对所述三维模型进行位姿调整并将调整后的所述三维模型一一对应的下发至若干所述从用户穿戴的混合增强设备，以便在若干所述从用户穿戴的混合增强设备与所述主用户穿戴的混合增强设备同步展示在世界坐标系下具有相同的位姿状态的所述三维模型。
优选地：对每个所述相机进行标定并获取每个所述相机的内外参数；利用每个所述相机的内外参数获得每个所述相机各自的相机坐标系。
优选地：确定所述主位姿信息变化后获取变化后的主位姿信息；
利用所述坐标系齐次变换矩阵将所述变化后的主位姿信息进行转换获得若干变化后的从位姿信息；
利用若干所述变化后的从位姿信息对所述三维模型进行位姿调整并将调整后的所述三维模型一一对应的下发至若干所述从用户穿戴的混合增强设备。
优选地：获取当前时刻所述主用户视野中的二维图像及视角信息、焦距信息、景深信息；所述二维图像包括目标物体；
利用所述视角信息、所述焦距信息、所述景深信息将所述二维图像与三维模型库中的三维模型进行匹配，获得与所述目标物体相似的三维模型；
获取当前时刻所述主用户头部的姿态数据，利用所述姿态数据确定所述主用户的头部位姿与所述三维模型的相对运动关系；
根据所述姿态数据确定图像选取框的倾角、图像选取框的中心点与所述目标物体的对应位置关系；
结合所述图像选取框的倾角、所述图像选取框的中心点与所述目标物体的对应位置关系以及所述相对运动关系，将所述三维模型调整至目标位姿并放入所述图像选取框内，以便在所述主用户穿戴的所述混合增强设备上展示所述三维模型；
确定所述目标位姿为所述主位姿信息。
优选地：获取当前时刻所述主用户头部的姿态数据，包括：
获取陀螺仪采集到的当前头部的侧倾角度；同时结合固定式定位器追踪混合增强设备上光子感应器的信息，获得当前时刻所述主用户头部的姿态数据。
优选地：获取若干所述用户的身份标识信息，所述身份标识信息包括用户身份信息以及用户加入顺序信息；
根据所述身份标识信息确定其中一个所述用户为所述主用户，其余所述用户为所述从用户。
优选地：接收多个所述从用户发起的控制请求或所述主用户发起的转移控制权请求；
确定最高优先级的一个所述从用户或最先发出请求控制指令的一个所述从用户作为主用户，并暂时停止控制权请求。
一种多用户展示协同装置，包括：
相机坐标系获取单元，用于获取若干相机各自的相机坐标系；若干所述相机一一对应的设置于若干用户穿戴的混合增强设备上；若干所述用户包括一个主用户以及若干从用户；
第一特征点集获取单元，用于获取定位标志物的第一特征点集；
第二特征点集获取单元，用于获取若干标定图像各自的第二特征点集，若干所述标定图像为若干所述相机各自采集到的包含所述定位标志物的图像；
旋转平移矩阵获取单元，用于通过所述第一特征点集与每个所述第二特征点集分别进行迭代求解，获得所述第一特征点集的特征点与每个所述第二特征点集的特征点的旋转平移矩阵；
坐标系齐次变换矩阵获取单元，用于利用所述旋转平移矩阵确定所述定位标志物在每个所述相机坐标系下的位姿表示，以便利用所述位姿表示推算获得坐标系齐次变换矩阵；
主位姿信息获取单元，用于获取所述主用户穿戴的所述混合增强设备展示的三维模型的主位姿信息；
从位姿信息获取单元，用于利用所述坐标系齐次变换矩阵将所述主位姿信息进行转换获得若干从位姿信息；
三维模型位姿调整单元，用于利用若干所述从位姿信息对所述三维模型进行位姿调整并将调整后的所述三维模型一一对应的下发至若干所述从用户穿戴的混合增强设备，以便在若干所述从用户穿戴的混合增强设备与所述主用户穿戴的混合增强设备同步展示在世界坐标系下具有相同的位姿状态的所述三维模型。
一种多用户展示协同设备，所述设备包括处理器以及存储器：
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行上述的多用户展示协同方法。
一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行上述的多用户展示协同方法。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本申请实施例提供的一种多用户展示协同方法、装置、设备及存储介质，该方法采用同一三维模型在不同坐标系下坐标变换，将主用户坐标系中的三维模型在其他从用户坐标系中进行变换，改变该模型的位姿描述方式，模型本身位姿并没有发生改变，可以实现不同用户观察到的三维模型在世界坐标系下具有相同的位姿状态。采用在不同用户坐标空间中，获取同一定位标志物位姿的不同描述的方式来计算不同用户坐标空间坐标变换矩阵，可以实现快速便捷的进行多用户不同空间的标定。
当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种多用户展示协同方法的流程图；
图2是本发明实施例提供的物体位姿变换示意图；
图3是本发明实施例提供的一种多用户展示协同装置的示意图；
图4是本发明实施例提供的一种多用户展示协同设备的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
参见图1，为本发明实施例提供的一种多用户展示协同方法，如图1所示，该方法可以包括：
S101:获取若干相机各自的相机坐标系；若干所述相机一一对应的设置于若干用户穿戴的混合增强设备上；若干所述用户包括一个主用户以及若干从用户；具体的，在获取相机的内外参数时，可以采用多种方法，例如，在一种实现方式下，本申请实施例可以提供对每个所述相机进行标定并获取每个所述相机的内外参数；利用每个所述相机的内外参数获得每个所述相机各自的相机坐标系。
S102:获取定位标志物的第一特征点集；
S103:获取若干标定图像各自的第二特征点集，若干所述标定图像为若干所述相机各自采集到的包含所述定位标志物的图像；
S104:通过所述第一特征点集与每个所述第二特征点集分别进行迭代求解，获得所述第一特征点集的特征点与每个所述第二特征点集的特征点的旋转平移矩阵；
S105:利用所述旋转平移矩阵确定所述定位标志物在每个所述相机坐标系下的位姿表示，以便利用所述位姿表示推算获得坐标系齐次变换矩阵；
S106:获取所述主用户穿戴的所述混合增强设备展示的三维模型的主位姿信息；
S107:利用所述坐标系齐次变换矩阵将所述主位姿信息进行转换获得若干从位姿信息；
S108:利用若干所述从位姿信息对所述三维模型进行位姿调整并将调整后的所述三维模型一一对应的下发至若干所述从用户穿戴的混合增强设备，以便在若干所述从用户穿戴的混合增强设备与所述主用户穿戴的混合增强设备同步展示在世界坐标系下具有相同的位姿状态的所述三维模型。
本申请实施例提供的多用户展示协同方法，采用若干用户在不同坐标空间中，获取同一定位标志物位姿的不同描述的方式，来计算若干用户各自不同坐标空间下的坐标系齐次变换矩阵。利用坐标系齐次变换矩阵可以实现将主用户坐标系中的模型在其他从用户坐标系中进行变换，改变该模型的位姿描述方式，模型本身位姿并没有发生改变，可以实现不同用户观察到的三维模型在世界坐标系下具有相同的位姿状态。
在实际应用中，在一些需要交互的场景下，主用户可以对观察到的三维模型进行控制，每次控制指令执行后主用户观察到的三维模型的位姿信息均可能发生变化，为了可以在主用户观察到的三维模型的位姿发生变化时，可以使得各个从用户贯穿到的三维模型的位姿同步变化，本申请实施例还可以提供确定所述主位姿信息变化后获取变化后的主位姿信息；
利用所述坐标系齐次变换矩阵将所述变化后的主位姿信息进行转换获得若干变化后的从位姿信息；
利用若干所述变化后的从位姿信息对所述三维模型进行位姿调整并将调整后的所述三维模型一一对应的下发至若干所述从用户穿戴的混合增强设备。
通过上述方式可以在主用户观察到的三维模型的主位姿信息发生变化后，利用坐标系齐次变换矩阵将变化后的主位姿信息进行转换，保证各个从用户可以同步贯穿到位姿变化后的三维模型。
可以理解的是，本申请实施例提供的主位姿信息为当前主用户观察到的三维模型的位姿信息，该主位姿信息的获取方式可以包含多种，例如，可以从服务器直接获取，该主位姿信息可以由服务器预设的方式直接下发给主用户穿戴的所述混合增强设备上，此时，可以直接由服务器获取该主位姿信息。
为了进一步的提高人机交互能力，本申请实施例还可以提供获取当前时刻所述主用户视野中的二维图像及视角信息、焦距信息、景深信息；所述二维图像包括目标物体；
利用所述视角信息、所述焦距信息、所述景深信息将所述二维图像与三维模型库中的三维模型进行匹配，获得与所述目标物体相似的三维模型；
获取当前时刻所述主用户头部的姿态数据，利用所述姿态数据确定所述主用户的头部位姿与所述三维模型的相对运动关系；
根据所述姿态数据确定图像选取框的倾角、图像选取框的中心点与所述目标物体的对应位置关系；
结合所述图像选取框的倾角、所述图像选取框的中心点与所述目标物体的对应位置关系以及所述相对运动关系，将所述三维模型调整至目标位姿并放入所述图像选取框内，以便在所述主用户穿戴的所述混合增强设备上展示所述三维模型；
确定所述目标位姿为所述主位姿信息。
依托图像采集技术、三维检索技术以及人机交互技术，在真实的应用场景中，采集用户视野中的二维的VR图像。通过提供的基于场景的模型匹配算法，通过三维模型库中与场景物体相似模型匹配检索算法以及主用户虚拟视野中三维模型随主用户姿态主动调整技术，实现沉浸式人机交互的效果。
引入轮廓匹配模型与特征匹配模型，从三维模型库中检索出与场景中物体最相似的三维模型，再利用主用户头部(VR眼镜)的姿态信息将检索得到的模型与对应的输入场景物体进行对齐。实现对真实应用场景中的二维图像进行三维模型匹配，同时提升用户与虚拟模型之间的交互体验。
进一步的，本申请实施例还可以提供获取当前时刻所述主用户头部的姿态数据，包括：
获取陀螺仪采集到的当前头部的侧倾角度；同时结合固定式定位器追踪混合增强设备上光子感应器的信息，获得当前时刻所述主用户头部的姿态数据。
在进行头部姿态数据获取定位头部姿态时，还可以通过双目SLAM与IMU互补方式获得。混合现实增强显示眼镜通常使用于复杂状况的环境下，实现眼镜的自主空间感知十分重要，同步定位与建图(SLAM)算法是空间感知定位算法的核心技术。单纯的视觉SLAM在相机的快速运动中，会出现运动模糊、帧间重叠区域小，导致特征匹配难度高、鲁棒性差，定位精度低。而IMU针对短时间内的快速运动、相机旋转姿态等提供较好的估计，同时相机信息可有效解决IMU的静态漂移问题。单目视觉SLAM则有着初始化的尺度不确定及跟踪的尺度漂移等缺陷，选择双目SLAM与IMU互补，可以实现相机即头部的快速跟踪定位。
为了进一步的在多人协同作业时，有效的区分主用户以及从用户，防止出现控制冲突，本申请实施例可以提供获取若干所述用户的身份标识信息，所述身份标识信息包括用户身份信息以及用户加入顺序信息；
根据所述身份标识信息确定其中一个所述用户为所述主用户，其余所述用户为所述从用户。
为了可以在控制主体有变化需求时，进行主用户与从用户的分配，本申请实施例还可以提供接收多个所述从用户发起的控制请求或所述主用户发起的转移控制权请求；
确定最高优先级的一个所述从用户或最先发出请求控制指令的一个所述从用户作为主用户，并暂时停止控制权请求。
下面对本申请实施例提供的多用户展示协同方法进行详细介绍。
在通过增强现实技术进行多用户协同作业时，需要对用户可交互的三维模型进行位姿同步，以实现不同用户对同一模型的观察与操作。在描述一个三维模型在所处空间的状态时，称之位姿，即位置和姿态。位置指的是三维模型某个刚性点在坐标系中的具体位置坐标，可以使用3*1的列向量进行表示。为了描述姿态，在三维模型上固定一个坐标系，利用该固定坐标系主轴相对参考坐标主轴的投影的方向余弦矩阵来给出此坐标系相对于参考坐标系的表达，如图2所示。
同一模型在不同坐标系下坐标变换可以描述为将一个坐标系中的模型在其他坐标系中进行变换，即改变该模型的位姿描述方式，模型本身位姿并没有发生改变，故可以实现不同用户观察到的三维模型在世界坐标系下具有相同的位姿状态。
传统的位姿同步方法采用在三维模型上固定一个坐标系，利用该固定坐标系主轴相对参考坐标主轴的投影的方向余弦矩阵来给出此坐标系相对于参考坐标系的表达。可见，在进行多用户协同作业时，每个用户自身的参考坐标系均不同，因此在进行位姿同步时，不能做到快速准确的进行三维模型的位姿转换。
为了快速便捷的进行多用户不同空间的标定，本申请实施例提供的方法采用在不同坐标空间中，获取同一定位标志物位姿的不同描述的方式来计算不同坐标空间坐标变换矩阵。
首先，对各个用户穿戴设备上的相机进行标定，获取各个相机的内外参数，计算相应的投影矩阵。针对每一个相机，对定位标志物如固定的二维图片和相机采集到图像进行实时特征提取，获取两组特征点集。当相机识别到定位标志物时，迭代求解两组特征点的旋转平移矩阵，即可获得定位标志物在各个相机各自坐标系下的位姿表示P，根据公式即可推算出坐标系齐次变换矩阵T。
空间标定完成后，在用户端与服务端搭建网络通讯，由服务端进行不同用户位姿信息转换并下发至各用户端进行同步。本申请实施例提供的方法用户端包含主用户端(主用户穿戴的混合增强设备)和从用户端(从用户穿戴的混合增强设备)两种，主用户端可对模型等资源进行交互操作，相关位姿等信息经服务器同步至各从用户端。
因此，在多人协同作业时，服务端需要对各用户端优先级进行动态调整。服务端对不同用户端进行身份标识，在同一时刻只允许存在唯一的主控端及一个或多个从控端，以免造成控制冲突。根据不同需求和网络环境状况，服务端可以对位姿同步频率进行调整。在遇到用户端临时加入或意外掉线等状况时，服务端可以及时调整用户身份标识及位姿同步状态，保证当前在线用户的正常使用。
此外，还需对多用户协同使用时进行并发控制和冲突消解。
由于多用户交互时，不同用户在同时对虚拟对象进行交互时相互之间存在冲突。用户端需分为主控端(主用户)与从控端(从用户)。主控端对模型的交互拥有最高优先级，主控端模型及其他对象的状态通过服务器同步至从控端，主控端与从控端身份可进行切换。
在进入多人交互系统时，服务端根据事先标识的身份或用户端加入顺序进行主从控制端分配，主控端自动获取最高控制权限。当从控端发起控制请求或主控端转移控制权时，服务端自动重新分配身份标识。当有多个控制端同时请求控制权时，服务端优先选择高优先级用户端或最先发出请求控制指令的用户端作为主控端，并暂时停止控制权请求，以避免多个用户频繁竞争控制权。
总之，本申请提供的多用户展示协同方法，采用同一三维模型在不同坐标系下坐标变换，将主用户坐标系中的三维模型在其他从用户坐标系中进行变换，改变该模型的位姿描述方式，模型本身位姿并没有发生改变，可以实现不同用户观察到的三维模型在世界坐标系下具有相同的位姿状态。采用在不同用户坐标空间中，获取同一定位标志物位姿的不同描述的方式来计算不同用户坐标空间坐标变换矩阵，可以实现快速便捷的进行多用户不同空间的标定。
参见图3，本申请实施例还可以提供一种多用户展示协同装置，如图3所示，该装置可以包括：
相机坐标系获取单元301，用于获取若干相机各自的相机坐标系；若干所述相机一一对应的设置于若干用户穿戴的混合增强设备上；若干所述用户包括一个主用户以及若干从用户；
第一特征点集获取单元302，用于获取定位标志物的第一特征点集；
第二特征点集获取单元303，用于获取若干标定图像各自的第二特征点集，若干所述标定图像为若干所述相机各自采集到的包含所述定位标志物的图像；
旋转平移矩阵获取单元304，用于通过所述第一特征点集与每个所述第二特征点集分别进行迭代求解，获得所述第一特征点集的特征点与每个所述第二特征点集的特征点的旋转平移矩阵；
坐标系齐次变换矩阵获取单元305，用于利用所述旋转平移矩阵确定所述定位标志物在每个所述相机坐标系下的位姿表示，以便利用所述位姿表示推算获得坐标系齐次变换矩阵；
主位姿信息获取单元306，用于获取所述主用户穿戴的所述混合增强设备展示的三维模型的主位姿信息；
从位姿信息获取单元307，用于利用所述坐标系齐次变换矩阵将所述主位姿信息进行转换获得若干从位姿信息；
三维模型位姿调整单元308，用于利用若干所述从位姿信息对所述三维模型进行位姿调整并将调整后的所述三维模型一一对应的下发至若干所述从用户穿戴的混合增强设备，以便在若干所述从用户穿戴的混合增强设备与所述主用户穿戴的混合增强设备同步展示在世界坐标系下具有相同的位姿状态的所述三维模型。
本申请实施例还可以提供一种多用户展示协同设备，所述设备包括处理器以及存储器：
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行上述的多用户展示协同方法的步骤。
如图4所示，本申请实施例提供的一种多用户展示协同设备，可以包括：处理器10、存储器11、通信接口12和通信总线13。处理器10、存储器11、通信接口12均通过通信总线13完成相互间的通信。
在本申请实施例中，处理器10可以为中央处理器(Central Processing Unit，CPU)、特定应用集成电路、数字信号处理器、现场可编程门阵列或者其他可编程逻辑器件等。
处理器10可以调用存储器11中存储的程序，具体的，处理器10可以执行多用户展示协同方法的实施例中的操作。
存储器11中用于存放一个或者一个以上程序，程序可以包括程序代码，程序代码包括计算机操作指令，在本申请实施例中，存储器11中至少存储有用于实现以下功能的程序：
获取若干相机各自的相机坐标系；若干所述相机一一对应的设置于若干用户穿戴的混合增强设备上；若干所述用户包括一个主用户以及若干从用户；
获取定位标志物的第一特征点集；
获取若干标定图像各自的第二特征点集，若干所述标定图像为若干所述相机各自采集到的包含所述定位标志物的图像；
通过所述第一特征点集与每个所述第二特征点集分别进行迭代求解，获得所述第一特征点集的特征点与每个所述第二特征点集的特征点的旋转平移矩阵；
利用所述旋转平移矩阵确定所述定位标志物在每个所述相机坐标系下的位姿表示，以便利用所述位姿表示推算获得坐标系齐次变换矩阵；
获取所述主用户穿戴的所述混合增强设备展示的三维模型的主位姿信息；
利用所述坐标系齐次变换矩阵将所述主位姿信息进行转换获得若干从位姿信息；
利用若干所述从位姿信息对所述三维模型进行位姿调整并将调整后的所述三维模型一一对应的下发至若干所述从用户穿戴的混合增强设备，以便在若干所述从用户穿戴的混合增强设备与所述主用户穿戴的混合增强设备同步展示在世界坐标系下具有相同的位姿状态的所述三维模型。
在一种可能的实现方式中，存储器11可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统，以及至少一个功能(比如文件创建功能、数据读写功能)所需的应用程序等；存储数据区可存储使用过程中所创建的数据，如初始化数据等。
此外，存储器11可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件或其他易失性固态存储器件。
通信接口12可以为通信模块的接口，用于与其他设备或者系统连接。
当然，需要说明的是，图4所示的结构并不构成对本申请实施例中多用户展示协同设备的限定，在实际应用中多用户展示协同设备可以包括比图4所示的更多或更少的部件，或者组合某些部件。
本申请实施例还可以提供一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行上述的多用户展示协同方法的步骤。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加上必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
Claims (10)
1.一种多用户展示协同方法，其特征在于，包括：
获取若干相机各自的相机坐标系；若干所述相机一一对应的设置于若干用户穿戴的混合增强设备上；若干所述用户包括一个主用户以及若干从用户；
获取定位标志物的第一特征点集；
获取若干标定图像各自的第二特征点集，若干所述标定图像为若干所述相机各自采集到的包含所述定位标志物的图像；
通过所述第一特征点集与每个所述第二特征点集分别进行迭代求解，获得所述第一特征点集的特征点与每个所述第二特征点集的特征点的旋转平移矩阵；
利用所述旋转平移矩阵确定所述定位标志物在每个所述相机坐标系下的位姿表示，以便利用所述位姿表示推算获得坐标系齐次变换矩阵；
获取所述主用户穿戴的所述混合增强设备展示的三维模型的主位姿信息；
利用所述坐标系齐次变换矩阵将所述主位姿信息进行转换获得若干从位姿信息；
利用若干所述从位姿信息对所述三维模型进行位姿调整并将调整后的所述三维模型一一对应的下发至若干所述从用户穿戴的混合增强设备，以便在若干所述从用户穿戴的混合增强设备与所述主用户穿戴的混合增强设备同步展示在世界坐标系下具有相同的位姿状态的所述三维模型。
2.根据权利要求1所述的多用户展示协同方法，其特征在于，对每个所述相机进行标定并获取每个所述相机的内外参数；利用每个所述相机的内外参数获得每个所述相机各自的相机坐标系。
3.根据权利要求1所述的多用户展示协同方法，其特征在于，确定所述主位姿信息变化后获取变化后的主位姿信息；
利用所述坐标系齐次变换矩阵将所述变化后的主位姿信息进行转换获得若干变化后的从位姿信息；
利用若干所述变化后的从位姿信息对所述三维模型进行位姿调整并将调整后的所述三维模型一一对应的下发至若干所述从用户穿戴的混合增强设备。
4.根据权利要求1所述的多用户展示协同方法，其特征在于，获取当前时刻所述主用户视野中的二维图像及视角信息、焦距信息、景深信息；所述二维图像包括目标物体；
利用所述视角信息、所述焦距信息、所述景深信息将所述二维图像与三维模型库中的三维模型进行匹配，获得与所述目标物体相似的三维模型；
获取当前时刻所述主用户头部的姿态数据，利用所述姿态数据确定所述主用户的头部位姿与所述三维模型的相对运动关系；
根据所述姿态数据确定图像选取框的倾角、图像选取框的中心点与所述目标物体的对应位置关系；
结合所述图像选取框的倾角、所述图像选取框的中心点与所述目标物体的对应位置关系以及所述相对运动关系，将所述三维模型调整至目标位姿并放入所述图像选取框内，以便在所述主用户穿戴的所述混合增强设备上展示所述三维模型；
确定所述目标位姿为所述主位姿信息。
5.根据权利要求4所述的多用户展示协同方法，其特征在于，获取当前时刻所述主用户头部的姿态数据，包括：
获取陀螺仪采集到的当前头部的侧倾角度；同时结合固定式定位器追踪混合增强设备上光子感应器的信息，获得当前时刻所述主用户头部的姿态数据。
6.根据权利要求1所述的多用户展示协同方法，其特征在于，获取若干所述用户的身份标识信息，所述身份标识信息包括用户身份信息以及用户加入顺序信息；
根据所述身份标识信息确定其中一个所述用户为所述主用户，其余所述用户为所述从用户。
7.根据权利要求6所述的多用户展示协同方法，其特征在于，接收多个所述从用户发起的控制请求或所述主用户发起的转移控制权请求；
确定最高优先级的一个所述从用户或最先发出请求控制指令的一个所述从用户作为主用户，并暂时停止控制权请求。
8.一种多用户展示协同装置，其特征在于，包括：
相机坐标系获取单元，用于获取若干相机各自的相机坐标系；若干所述相机一一对应的设置于若干用户穿戴的混合增强设备上；若干所述用户包括一个主用户以及若干从用户；
第一特征点集获取单元，用于获取定位标志物的第一特征点集；
第二特征点集获取单元，用于获取若干标定图像各自的第二特征点集，若干所述标定图像为若干所述相机各自采集到的包含所述定位标志物的图像；
旋转平移矩阵获取单元，用于通过所述第一特征点集与每个所述第二特征点集分别进行迭代求解，获得所述第一特征点集的特征点与每个所述第二特征点集的特征点的旋转平移矩阵；
坐标系齐次变换矩阵获取单元，用于利用所述旋转平移矩阵确定所述定位标志物在每个所述相机坐标系下的位姿表示，以便利用所述位姿表示推算获得坐标系齐次变换矩阵；
主位姿信息获取单元，用于获取所述主用户穿戴的所述混合增强设备展示的三维模型的主位姿信息；
从位姿信息获取单元，用于利用所述坐标系齐次变换矩阵将所述主位姿信息进行转换获得若干从位姿信息；
三维模型位姿调整单元，用于利用若干所述从位姿信息对所述三维模型进行位姿调整并将调整后的所述三维模型一一对应的下发至若干所述从用户穿戴的混合增强设备，以便在若干所述从用户穿戴的混合增强设备与所述主用户穿戴的混合增强设备同步展示在世界坐标系下具有相同的位姿状态的所述三维模型。
9.一种多用户展示协同设备，其特征在于，所述设备包括处理器以及存储器：
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行权利要求1-7任一项所述的多用户展示协同方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行权利要求1-7任一项所述的多用户展示协同方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310391578.3A CN116486051B (zh) | 2023-04-13 | 2023-04-13 | 一种多用户展示协同方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310391578.3A CN116486051B (zh) | 2023-04-13 | 2023-04-13 | 一种多用户展示协同方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116486051A CN116486051A (zh) | 2023-07-25 |
| CN116486051B true CN116486051B (zh) | 2023-11-28 |
Family
ID=87218754
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310391578.3A Active CN116486051B (zh) | 2023-04-13 | 2023-04-13 | 一种多用户展示协同方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116486051B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116664681B (zh) * | 2023-07-26 | 2023-10-10 | 长春工程学院 | 基于语义感知的电力作业智能协同增强现实系统及方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN211062079U (zh) * | 2019-09-11 | 2020-07-21 | 广西南宁平行视界科技有限公司 | 一种基于计算机视觉的混合现实录播系统 |
| CN112950711A (zh) * | 2021-02-25 | 2021-06-11 | 深圳市慧鲤科技有限公司 | 一种对象的控制方法、装置、电子设备及存储介质 |
| CN113129451A (zh) * | 2021-03-15 | 2021-07-16 | 北京航空航天大学 | 基于双目视觉定位的全息三维影像空间定量投影方法 |
| WO2021197189A1 (zh) * | 2020-03-31 | 2021-10-07 | 深圳光峰科技股份有限公司 | 基于增强现实的信息显示方法、系统、装置及投影设备 |
-
2023
- 2023-04-13 CN CN202310391578.3A patent/CN116486051B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN211062079U (zh) * | 2019-09-11 | 2020-07-21 | 广西南宁平行视界科技有限公司 | 一种基于计算机视觉的混合现实录播系统 |
| WO2021197189A1 (zh) * | 2020-03-31 | 2021-10-07 | 深圳光峰科技股份有限公司 | 基于增强现实的信息显示方法、系统、装置及投影设备 |
| CN112950711A (zh) * | 2021-02-25 | 2021-06-11 | 深圳市慧鲤科技有限公司 | 一种对象的控制方法、装置、电子设备及存储介质 |
| CN113129451A (zh) * | 2021-03-15 | 2021-07-16 | 北京航空航天大学 | 基于双目视觉定位的全息三维影像空间定量投影方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116486051A (zh) | 2023-07-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10567449B2 (en) | Apparatuses, methods and systems for sharing virtual elements | |
| CN102959616B (zh) | 自然交互的交互真实性增强 | |
| CN106304842A (zh) | 用于定位和地图创建的增强现实系统和方法 | |
| CN110140099A (zh) | 用于跟踪控制器的系统和方法 | |
| WO2015026645A1 (en) | Automatic calibration of scene camera for optical see-through head mounted display | |
| US11004256B2 (en) | Collaboration of augmented reality content in stereoscopic view in virtualized environment | |
| KR101763636B1 (ko) | 헤드 마운트 디스플레이를 이용한 협업 방법 | |
| CN116486051B (zh) | 一种多用户展示协同方法、装置、设备及存储介质 | |
| CN104656893A (zh) | 一种信息物理空间的远程交互式操控系统及方法 | |
| CN107145822A (zh) | 偏离深度相机的用户体感交互标定的方法和系统 | |
| CN108430032B (zh) | 一种实现vr/ar设备位置共享的方法及设备 | |
| CN111885366A (zh) | 一种用于虚拟现实屏幕的立体显示方法、装置、存储介质及设备 | |
| Yee et al. | Augmented reality in-situ 3D sketching of physical objects | |
| Schönauer et al. | Wide area motion tracking using consumer hardware | |
| KR102176805B1 (ko) | 뷰 방향이 표시되는 vr 컨텐츠 제공 시스템 및 방법 | |
| CN105183142A (zh) | 一种利用空间位置装订的数字信息复现方法 | |
| CN111345037B (zh) | 虚拟现实影像提供方法及利用其的程序 | |
| CN116228862A (zh) | 结合大空间视觉定位的ar眼镜协同系统 | |
| Zhang et al. | Virtual Reality Aided High-Quality 3D Reconstruction by Remote Drones | |
| US11238658B2 (en) | AR space image projecting system, AR space image projecting method, and user terminal | |
| CN114202639A (zh) | 一种基于vr的高临场视觉感知方法及相关装置 | |
| JP6357412B2 (ja) | 情報処理装置、情報処理システム、情報処理方法、及びプログラム | |
| CN113434046A (zh) | 三维交互系统、方法、计算机设备及可读存储介质 | |
| JP2017228141A (ja) | 画像表示制御装置及びプログラム | |
| JP6376251B2 (ja) | 情報処理装置、情報処理システム、その制御方法及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |