CN118055324A - 桌面ar定位系统、方法、装置、设备及存储介质 - Google Patents
桌面ar定位系统、方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN118055324A CN118055324A CN202211438651.XA CN202211438651A CN118055324A CN 118055324 A CN118055324 A CN 118055324A CN 202211438651 A CN202211438651 A CN 202211438651A CN 118055324 A CN118055324 A CN 118055324A
- Authority
- CN
- China
- Prior art keywords
- glasses
- coordinate system
- infrared lamp
- display
- relation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 239000011521 glass Substances 0.000 claims abstract description 212
- 238000012545 processing Methods 0.000 claims abstract description 40
- 238000003384 imaging method Methods 0.000 claims abstract description 11
- 230000003287 optical effect Effects 0.000 claims description 30
- 238000006243 chemical reaction Methods 0.000 claims description 29
- 238000004590 computer program Methods 0.000 claims description 12
- 241001422033 Thestylus Species 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 241001269238 Data Species 0.000 claims description 3
- 230000006870 function Effects 0.000 claims description 3
- 230000003190 augmentative effect Effects 0.000 abstract description 6
- 210000003128 head Anatomy 0.000 description 13
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Landscapes
- Position Input By Displaying (AREA)
Abstract
本申请涉及增强现实技术领域，尤其涉及一种桌面AR定位系统、方法、装置、设备及存储介质，系统包括：AR眼镜、摄像装置以及处理装置；所述AR眼镜与所述处理装置连接，所述摄像装置与所述处理装置连接；所述AR眼镜上设置有包括多个红外灯的红外灯系统以及IMU传感器。本发明实施例通过在AR眼镜上设置红外LED，提高了头部追踪稳定性，此外，通过在AR眼镜上设置IMU传感器，使得处理装置能够融合IMU传感器采集到的数据，提高了输出头部追踪结果的频率。
Description
技术领域
本申请涉及增强现实技术领域，尤其涉及一种桌面AR定位系统、方法、装置、设备及存储介质。
背景技术
现有桌面AR(Augmented Reality，增强现实)系统中定位方案有：1、利用AR眼镜上固定的多目相机进行头部跟踪。2、利用在AR眼镜上贴反光材质或者追踪球配合外部相机进行头部跟踪。然而，对于方法1，当环境纹理少，光线变化迅速或动态物体多时，会对头部跟踪产生不利的影响，容易出现漂移、跟踪丢失等问题。对于方法2，输出头部跟踪结果的频率完全取决于拍摄用的相机的频率，为了AR眼镜有更好的体验，头部追踪输出的频率应查过90HZ，但是摄像头达到90HZ输出的话，能耗太高，且计算单元处理成本也会极大增加。虽然可以用插值解决，但是插值的结果没有利用传感器计算的准确，快速运动下存在体验不佳的问题。
发明内容
针对上述技术问题，本申请的目的在于提供一种桌面AR定位系统、方法、装置、设备及存储介质，旨在提高头部跟踪的稳定性以及头部跟踪的输出频率。
第一方面，本发明实施例提供一种桌面AR定位系统，包括：
AR眼镜、摄像装置以及处理装置；所述AR眼镜与所述处理装置连接，所述摄像装置与所述处理装置连接；所述AR眼镜上设置有包括多个红外灯的红外灯系统以及IMU传感器。
进一步的，所述AR眼镜包括衍射光波导系统。
进一步的，所述桌面AR定位系统还包括显示器，所述显示器与所述处理装置连接。
进一步的，所述桌面AR定位系统还包括手柄和/或触控笔，所述手柄于所述处理装置连接，所述触控笔与所述处理装置连接。
第二方面，本发明实施例提供一种桌面AR定位方法，应用于上述任一项所述的桌面AR定位系统，所述方法包括：
获取所述红外灯系统的坐标系和所述摄像装置的坐标系之间的转换关系；
获取红外灯系统和所述AR眼镜上的IMU传感器的相对位置关系；
获取所述AR眼镜光机显示虚拟内容与所述AR眼镜上的IMU传感器的相对位置；
根据所述红外灯系统的坐标系和所述摄像装置的坐标系之间的转换关系、红外灯系统和所述AR眼镜上的IMU传感器的相对位置关系、所述AR眼镜光机显示虚拟内容与所述AR眼镜上的IMU传感器的相对位置计算所述摄像装置的坐标系下，AR眼镜显示内容之间的位姿关系；
根据所述AR眼镜显示内容之间的位姿关系计算所述AR眼镜中显示内容的位置。
进一步的，所述根据所述红外灯系统的坐标系和所述摄像装置的坐标系之间的转换关系、红外灯系统和所述AR眼镜上的IMU传感器的相对位置关系、所述AR眼镜光机显示虚拟内容与所述AR眼镜上的IMU传感器的相对位置以及所述IMU传感器采集到的数据计算所述摄像装置的坐标系下，AR眼镜显示内容之间的位姿关系的步骤，包括：
根据公式计算得所述摄像装置的坐标系下，AR眼镜显示内容之间的位姿关系；其中，/>表示所述摄像装置的坐标系下，AR眼镜显示内容之间的位姿关系；/>表示AR眼镜光机显示虚拟内容与所述AR眼镜上的IMU传感器的相对位置；/>表示红外灯系统的坐标系和所述摄像装置的坐标系之间的转换关系；/>表示红外灯系统和所述AR眼镜上的IMU传感器的相对位置关系；IMU datas表示IMU传感器采集到的数据；f(*)表示融合其成员变量的信息的函数，输出AR眼镜的IMU传感器在所述摄像装置的坐标系下的相对位姿关系/>
进一步的，所述方法还包括：
根据所述AR眼镜中显示内容的位置将所述内容显示在所述AR眼镜上。
第三方面，本发明实施例提供一种桌面AR定位装置，其特征在于，应用于上述任一项所述的桌面AR定位系统，所述装置包括：
第一获取模块，用于获取所述红外灯系统的坐标系和所述摄像装置的坐标系之间的转换关系；
第二获取模块，用于获取红外灯系统和所述AR眼镜上的IMU传感器的相对位置关系；
第三获取模块，用于获取所述AR眼镜光机显示虚拟内容与所述AR眼镜上的IMU传感器的相对位置；
第一计算模块，用于根据所述红外灯系统的坐标系和所述摄像装置的坐标系之间的转换关系、红外灯系统和所述AR眼镜上的IMU传感器的相对位置关系、所述AR眼镜光机显示虚拟内容与所述AR眼镜上的IMU传感器的相对位置计算所述摄像装置的坐标系下，AR眼镜显示内容之间的位姿关系；
第二计算模块，用于根据所述AR眼镜显示内容之间的位姿关系计算所述AR眼镜中显示内容的位置。
第三方面，本申请实施例提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。
第四方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。
本发明实施例提供一种桌面AR定位系统，包括：AR眼镜、摄像装置以及处理装置；所述AR眼镜与所述处理装置连接，所述摄像装置与所述处理装置连接；所述AR眼镜上设置有包括多个红外灯的红外灯系统以及IMU传感器。本发明实施例通过在AR眼镜上设置红外LED，提高了头部追踪稳定性，此外，通过在AR眼镜上设置IMU传感器，使得处理装置能够融合IMU传感器采集到的数据，提高了输出头部追踪结果的频率。
附图说明
为了更清楚地说明本申请的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的桌面AR定位系统的结构示意图；
图2是本申请实施例提供的当所述摄像装置为单目相机，且所述桌面AR定位系统包括显示器时，所述摄像装置的可视空间范围和所述AR眼镜给人看到的内容的显示范围示意图；
图3是本申请实施例提供的在所述摄像装置为单目相机，且所述桌面AR定位系统包括不显示器时，所述摄像装置的可视空间范围和所述AR眼镜(具体是AR眼镜的光机)给人看到的内容的显示范围示意图；
图4是本申请实施例提供的当所述摄像装置为多目相机，且所述桌面AR定位系统包括显示器时，所述摄像装置的可视空间范围和所述AR眼镜给人看到的内容的显示范围示意图；
图5是本申请实施例提供的当所述摄像装置为多目相机，且所述桌面AR定位系统不包括显示器时，所述摄像装置的可视空间范围和所述AR眼镜给人看到的内容的显示范围示意图；
图6是本申请实施例提供的桌面AR定位方法的流程示意图；
图7是标定系统的结构示意图；
图8是本申请实施例提供的桌面AR定位装置的结构示意图；
图9是本申请实施例提供的计算机设备的结构示意框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
实施例一：
请参阅图1，本发明实施例提供一种桌面AR定位系统，其特征在于，包括：
AR眼镜101、摄像装置102以及处理装置103；所述AR眼镜101与所述处理装置103连接，所述摄像装置102与所述处理装置103连接；所述AR眼镜上设置有包括多个红外灯的红外灯系统以及IMU传感器。
具体地，所述处理装置和摄像装置集可以集成在一个设备中。所述AR眼镜与所述设备通过蓝牙、wifi或其他低延时通信协议连接。例如，在所述AR眼镜和所述设备上均设置wifi模块，这样，所述AR眼镜和所述设备可以通过wifi模块实现无线通信连接。在一个实施例中，所述IMU传感器与所述AR眼镜的wifi模块连接，所述处理装置与所述设备的wifi模块连接，这样，便可以实现将IMU传感器(也称惯性测量单元)采集到的数据发送给所述处理装置。所述摄像装置至少包括一个摄像头，用于拍摄所述AR眼镜上的红外灯特征。需要说明的是，所述红外灯又称红外LED灯。在本发明实施例中，通过在AR眼镜上设置IMU传感器，如此，AR眼镜可以将IMU传感器采集到的IMU数据发送给处理装置，另外，通过在AR眼镜上设置包括多个红外灯的红外灯系统，可以使得摄像装置能够采集到AR眼镜上的红外灯特征图像，这样，处理装置就可以根据AR眼镜的IMU传感器采集到的IMU数据以及摄像装置采集到的红外灯特征图像计算头部姿态。
本发明实施例通过在AR眼镜上设置红外LED，提高了头部追踪稳定性，此外，通过在AR眼镜上设置IMU传感器，使得处理装置能够融合IMU传感器采集到的数据，提高了输出头部追踪结果的频率。
此外，由于AR眼镜端没有摄像头和强大的处理能力需求，功耗可以有效降低。
需要说明的是，本发明桌面定位系统适合在教室开展教育培训活动，还适合3D设计人员，显示方式方便了观看效果。在使用时，所述AR眼镜需要佩戴在用户眼睛上，在用户佩戴所述AR眼镜的过程中，所述AR眼镜将IMU传感器将采集到的IMU数据发送给所述设备中的处理装置，所述摄像装置将采集到的红外灯特征图像传输到所述设备的处理装置，处理装置接收所述IMU数据和所述红外灯特征图像，并根据所述IMU数据和所述红外灯特征图像计算头部姿态。
在一个实施例中，所述AR眼镜包括衍射光波导系统。
在本发明实施例中，应当理解的是，现有的一些AR眼镜并不能实现显示，例如，采用偏光镜片的AR眼镜并不能用于显示。而衍射光波导是一种实现增强现实AugmentedReality，简称AR)近眼显示的主流技术路线之一，它起到的作用是使用户能够看到真实世界的同时也能够看到设备给出的虚拟图像，即在真实世界中叠加虚拟信息，从而给用户提供“增强”的显示效果。因此，通过采用根据衍射光波导技术制作的AR眼镜，能够使得AR眼镜用于显示，即能够在摄像头可视AR眼镜的全范围内进行有效的3D显示。此外，所述AR眼镜也可以采用bb光学方案，bb光学方案也是一种主动显示的光学方案。此外，所述AR眼镜包括光机。
在一个实施例中，所述桌面AR定位系统还包括显示器，所述显示器与所述处理装置连接。
本发明实施例通过设置显示器，这样，所述显示器用于作为高精度的交互版使用。
在一个实施例中，所述桌面AR定位系统，还包括手柄和/或触控笔，所述手柄与所述处理装置连接，所述触控笔与所述处理装置连接。
在本发明实施例中，具体地，所述手柄和所述触控笔分别于所述处理装置无线通信连接。所述手柄和所述触控笔用于交互。所述手柄包括红外LED，所述手柄包括红外LED。在所述手柄或所述触控笔被使用时，所述摄像装置对所述手柄或所述触控笔进行拍摄，以获得红外LED特征，通过所述红外LED特征对所述手柄或触控笔进行定位。需要说明的是，在通过红外LED特征定位所述手柄和所述触控笔前，需要标定摄像头之间的位置关系。若所述桌面AR定位系统还包括所述显示器，还需要标定摄像头和所述显示器之间的位置关系。
需要说明的是，所述摄像装置可以为单目相机或多目相机，所述桌面AR定位系统可以包括显示器也可以不包括显示器。
当所述摄像装置为单目相机，且所述桌面AR定位系统包括显示器时，所述摄像装置的可视空间范围和所述AR眼镜(具体是AR眼镜的光机)给人看到的内容的显示范围如图2所示。图2中包括了可观测的AR眼镜101、摄像装置102、手柄104、触控笔105、显示器106以及手势。其中，摄像头发出的三角形虚线范围是摄像头的可视空间范围，从AR眼镜发出的三角形虚线范围，是AR眼镜光机给人眼看到的内容的显示范围。
在所述摄像装置为单目相机，且所述桌面AR定位系统包括不显示器时，所述摄像装置的可视空间范围和所述AR眼镜(具体是AR眼镜的光机)给人看到的内容的显示范围如图3所示。图3中包括了可观测的AR眼镜101、摄像装置102、手柄104、触控笔105以及手势其中，摄像头发出的三角形虚线范围是摄像头的可视空间范围，从AR眼镜发出的三角形虚线范围，是AR眼镜光机给人眼看到的内容的显示范围。
当所述摄像装置为多目相机，且所述桌面AR定位系统包括显示器时，所述摄像装置的可视空间范围和所述AR眼镜(具体是AR眼镜的光机)给人看到的内容的显示范围如图4所示。图4中包括了可观测的AR眼镜101、摄像装置102、手柄104、触控笔105、显示器106以及手势其中，摄像头发出的三角形虚线范围是摄像头的可视空间范围，从AR眼镜发出的三角形虚线范围，是AR眼镜光机给人眼看到的内容的显示范围。
当所述摄像装置为多目相机，且所述桌面AR定位系统不包括显示器时，所述摄像装置的可视空间范围和所述AR眼镜(具体是AR眼镜的光机)给人看到的内容的显示范围如图5所示。图5中包括了可观测的AR眼镜101、摄像装置102、手柄104、触控笔105以及手势其中，摄像头发出的三角形虚线范围是摄像头的可视空间范围，从AR眼镜发出的三角形虚线范围，是AR眼镜光机给人眼看到的内容的显示范围。
请参阅图6，第二方面，本发明实施例提供一种桌面AR定位方法，应用于上述任一项所述的桌面AR定位系统，所述方法包括：
S1、获取所述红外灯系统的坐标系和所述摄像装置的坐标系之间的转换关系；
S2、获取红外灯系统和所述AR眼镜上的IMU传感器的相对位置关系；
S3、获取所述AR眼镜光机显示虚拟内容与所述AR眼镜上的IMU传感器的相对位置；
S4、根据所述红外灯系统的坐标系和所述摄像装置的坐标系之间的转换关系、红外灯系统和所述AR眼镜上的IMU传感器的相对位置关系、所述AR眼镜光机显示虚拟内容与所述AR眼镜上的IMU传感器的相对位置计算所述摄像装置的坐标系下，AR眼镜显示内容之间的位姿关系；
S5、根据所述AR眼镜显示内容之间的位姿关系计算所述AR眼镜中显示内容的位置。
本发明实施例通过获取所述红外灯系统的坐标系和所述摄像装置的坐标系之间的转换关系；获取红外灯系统和所述AR眼镜上的IMU传感器的相对位置关系；获取所述AR眼镜光机显示虚拟内容与所述AR眼镜上的IMU传感器的相对位置；根据所述红外灯系统的坐标系和所述摄像装置的坐标系之间的转换关系、红外灯系统和所述AR眼镜上的IMU传感器的相对位置关系、所述AR眼镜光机显示虚拟内容与所述AR眼镜上的IMU传感器的相对位置计算所述摄像装置的坐标系下，AR眼镜显示内容之间的位姿关系，如此，在得到AR眼镜显示内容之间的位姿关系后，即可通过3D开发引擎开发相应的AR应用，进行显示。
此外，相比于现有其他桌面AR定位方案，其他方案可以随意地走动查看虚拟3d内容，但是这类方法面对多种意外情况不够稳定，处理难度大的问题。但本发明实施例通过采用主动发光LED定位，面对复杂环境，(除了LED或者相机全遮挡情况下)都可以正常地定位，正常显示3d内容，抗干扰能力极强。另外，对比其他桌面AR设备，本方案在摄像头可视范围内都可进行AR的交互，相比以屏幕作为AR显示以及交互的方法，AR有效范围得到明显的提升。
在一个实施例中，所述红外灯系统的坐标系和所述摄像装置的坐标系之间的转换关系可通过利用所述摄像装置跟踪所述红外灯系统的红外LED灯的方式标定得到所述红外灯系统的坐标系和所述摄像装置的坐标系之间的转换关系。
在一个实施例中，所述红外灯系统和所述AR眼镜上的IMU传感器的相对位置关系通过如下方式标定得到：
首先，将所述AR眼镜夹持在标定系统的标定设备上，所述标定系统如图7所示，所述标定系统还包括双目相机1，所述标定设备包括底座2，水平旋转台3、竖直装置4、夹持部5、第一驱动装置、第二驱动装置；其中，所述竖直装置4垂直设置在所述水平旋转台3上，所述夹持部5可转动连接在所述竖直装置4的侧面，用于夹持所述AR眼镜；所述第一驱动装置用于控制所述水平旋转台水平3转动；所述第二驱动装置用于控制所述夹持部5转动。所述水平旋转台能够按照图7中第一箭头7所示的方向旋转，所述夹持部能够按照如图7所示第二箭头8的方向旋转。处理装置在接收到标定指令后，通过控制第一驱动装置控制所述水平旋转台水平旋转一周，并在设定时间段后，例如，10s后，通过控制第一驱动装置和第二驱动装置控制所述水平旋转台和所述夹持部一起转动，以使所述AR眼镜均匀地指向空间中m个不同的方向。通过该轨迹下，根据双目相机采集到的双目图像(包括左目图像和右目图像)以及I MU传感器采集到的数据可标定红外灯系统和所述AR眼镜上的IMU传感器的相对位置关系。
在一个实施例中，所述AR眼镜光机显示虚拟内容与所述AR眼镜上的IMU传感器的相对位置通过第三标定方法标定得到。
具体地，本发明实施例的标定方法可采用专利号202111573840.3，发明名称：标定增强现实设备的方法、装置、设备、系统及存储介质中的标定方法标定得到。
在一个实施例中，所述根据所述红外灯系统的坐标系和所述摄像装置的坐标系之间的转换关系、红外灯系统和所述AR眼镜上的IMU传感器的相对位置关系、所述AR眼镜光机显示虚拟内容与所述AR眼镜上的IMU传感器的相对位置以及所述IMU传感器采集到的数据计算所述摄像装置的坐标系下，AR眼镜显示内容之间的位姿关系的步骤，包括：
根据公式计算得所述摄像装置的坐标系下，AR眼镜显示内容之间的位姿关系；其中，/>表示所述摄像装置的坐标系下，AR眼镜显示内容之间的位姿关系；/>表示AR眼镜光机显示虚拟内容与所述AR眼镜上的IMU传感器的相对位置；/>表示红外灯系统的坐标系和所述摄像装置的坐标系之间的转换关系；/>表示红外灯系统和所述AR眼镜上的IMU传感器的相对位置关系；IMU datas表示IMU传感器采集到的数据；f(*)表示融合其成员变量的信息的函数，输出AR眼镜的IMU传感器在所述摄像装置的坐标系下的相对位姿关系/>
在一个实施例中，所述桌面AR定位方法，所述方法还包括：
根据所述AR眼镜中显示内容的位置将所述内容显示在所述AR眼镜上。
实施例三：
请参阅图8，本发明实施例提供一种桌面AR定位装置，应用于上述任一项所述的桌面AR定位系统，所述装置包括：
第一获取模块1001，用于获取所述红外灯系统的坐标系和所述摄像装置的坐标系之间的转换关系；
第二获取模块1002，用于获取红外灯系统和所述AR眼镜上的IMU传感器的相对位置关系；
第三获取模块1003，用于获取所述AR眼镜光机显示虚拟内容与所述AR眼镜上的IMU传感器的相对位置；
第一计算模块1004，用于根据所述红外灯系统的坐标系和所述摄像装置的坐标系之间的转换关系、红外灯系统和所述AR眼镜上的IMU传感器的相对位置关系、所述AR眼镜光机显示虚拟内容与所述AR眼镜上的IMU传感器的相对位置计算所述摄像装置的坐标系下，AR眼镜显示内容之间的位姿关系；
第二计算模块1005，用于根据所述AR眼镜显示内容之间的位姿关系计算所述AR眼镜中显示内容的位置。
在一个实施例中，桌面AR定位装置，还包括：
显示模块，用于根据所述AR眼镜中显示内容的位置将所述内容显示在所述AR眼镜上。
实施例四：
参照图9，本申请实施例还提供一种计算机设备，该计算机设备可以是服务器，其内部结构可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器、神经网络接口和数据库。其中，该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于储存适用于一种桌面AR定位方法等数据。该计算机设备的神经网络接口用于与外部的终端通过神经网络连接通信。该计算机程序被处理器执行时以实现一种桌面AR定位方法，包括：获取所述红外灯系统的坐标系和所述摄像装置的坐标系之间的转换关系；获取红外灯系统和所述AR眼镜上的IMU传感器的相对位置关系；获取所述AR眼镜光机显示虚拟内容与所述AR眼镜上的IMU传感器的相对位置；根据所述红外灯系统的坐标系和所述摄像装置的坐标系之间的转换关系、红外灯系统和所述AR眼镜上的IMU传感器的相对位置关系、所述AR眼镜光机显示虚拟内容与所述AR眼镜上的IMU传感器的相对位置计算所述摄像装置的坐标系下，AR眼镜显示内容之间的位姿关系；根据所述AR眼镜显示内容之间的位姿关系计算所述AR眼镜中显示内容的位置。
本发明实施例通过获取所述红外灯系统的坐标系和所述摄像装置的坐标系之间的转换关系；获取红外灯系统和所述AR眼镜上的IMU传感器的相对位置关系；获取所述AR眼镜光机显示虚拟内容与所述AR眼镜上的IMU传感器的相对位置；根据所述红外灯系统的坐标系和所述摄像装置的坐标系之间的转换关系、红外灯系统和所述AR眼镜上的IMU传感器的相对位置关系、所述AR眼镜光机显示虚拟内容与所述AR眼镜上的IMU传感器的相对位置计算所述摄像装置的坐标系下，AR眼镜显示内容之间的位姿关系，如此，在得到AR眼镜显示内容之间的位姿关系后，即可通过3D开发引擎开发相应的AR应用，进行显示。
实施例五：
本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现一种桌面AR定位方法，包括步骤：获取所述红外灯系统的坐标系和所述摄像装置的坐标系之间的转换关系；获取红外灯系统和所述AR眼镜上的IMU传感器的相对位置关系；获取所述AR眼镜光机显示虚拟内容与所述AR眼镜上的IMU传感器的相对位置；根据所述红外灯系统的坐标系和所述摄像装置的坐标系之间的转换关系、红外灯系统和所述AR眼镜上的IMU传感器的相对位置关系、所述AR眼镜光机显示虚拟内容与所述AR眼镜上的IMU传感器的相对位置计算所述摄像装置的坐标系下，AR眼镜显示内容之间的位姿关系；根据所述AR眼镜显示内容之间的位姿关系计算所述AR眼镜中显示内容的位置。
本发明实施例通过获取所述红外灯系统的坐标系和所述摄像装置的坐标系之间的转换关系；获取红外灯系统和所述AR眼镜上的IMU传感器的相对位置关系；获取所述AR眼镜光机显示虚拟内容与所述AR眼镜上的IMU传感器的相对位置；根据所述红外灯系统的坐标系和所述摄像装置的坐标系之间的转换关系、红外灯系统和所述AR眼镜上的IMU传感器的相对位置关系、所述AR眼镜光机显示虚拟内容与所述AR眼镜上的IMU传感器的相对位置计算所述摄像装置的坐标系下，AR眼镜显示内容之间的位姿关系，如此，在得到AR眼镜显示内容之间的位姿关系后，即可通过3D开发引擎开发相应的AR应用，进行显示。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双速据率SDRAM(SSRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
以上所述仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。
Claims (10)
1.一种桌面AR定位系统，其特征在于，包括：
AR眼镜、摄像装置以及处理装置；所述AR眼镜与所述处理装置连接，所述摄像装置与所述处理装置连接；所述AR眼镜上设置有包括多个红外灯的红外灯系统以及IMU传感器。
2.根据权利要求1所述的桌面AR定位系统，其特征在于，所述AR眼镜包括衍射光波导系统。
3.根据权利要求1所述的桌面AR定位系统，其特征在于，所述桌面AR定位系统还包括显示器，所述显示器与所述处理装置连接。
4.根据权利要求1所述的桌面AR定位系统，其特征在于，所述桌面AR定位系统还包括手柄和/或触控笔，所述手柄于所述处理装置连接，所述触控笔与所述处理装置连接。
5.一种桌面AR定位方法，其特征在于，应用于权利要求1-3任一项所述的桌面AR定位系统，所述方法包括：
获取所述红外灯系统的坐标系和所述摄像装置的坐标系之间的转换关系；
获取红外灯系统和所述AR眼镜上的IMU传感器的相对位置关系；
获取所述AR眼镜光机显示虚拟内容与所述AR眼镜上的IMU传感器的相对位置；
根据所述红外灯系统的坐标系和所述摄像装置的坐标系之间的转换关系、红外灯系统和所述AR眼镜上的IMU传感器的相对位置关系、所述AR眼镜光机显示虚拟内容与所述AR眼镜上的IMU传感器的相对位置计算所述摄像装置的坐标系下，AR眼镜显示内容之间的位姿关系；
根据所述AR眼镜显示内容之间的位姿关系计算所述AR眼镜中显示内容的位置。
6.根据权利要求5所述的桌面AR定位方法，其特征在于，所述根据所述红外灯系统的坐标系和所述摄像装置的坐标系之间的转换关系、红外灯系统和所述AR眼镜上的IMU传感器的相对位置关系、所述AR眼镜光机显示虚拟内容与所述AR眼镜上的IMU传感器的相对位置以及所述IMU传感器采集到的数据计算所述摄像装置的坐标系下，AR眼镜显示内容之间的位姿关系的步骤，包括：
根据公式计算得所述摄像装置的坐标系下，AR眼镜显示内容之间的位姿关系；其中，/>表示所述摄像装置的坐标系下，AR眼镜显示内容之间的位姿关系；/>表示AR眼镜光机显示虚拟内容与所述AR眼镜上的IMU传感器的相对位置；/>表示红外灯系统的坐标系和所述摄像装置的坐标系之间的转换关系；/>表示红外灯系统和所述AR眼镜上的IMU传感器的相对位置关系；IMU datas表示IMU传感器采集到的数据；f(*)表示融合其成员变量的信息的函数，输出AR眼镜的IMU传感器在所述摄像装置的坐标系下的相对位姿关系/>
7.根据权利要求5所述的桌面AR定位方法，其特征在于，所述方法还包括：
根据所述AR眼镜中显示内容的位置将所述内容显示在所述AR眼镜上。
8.一种桌面AR定位装置，其特征在于，应用于权利要求1-3任一项所述的桌面AR定位系统，所述装置包括：
第一获取模块，用于获取所述红外灯系统的坐标系和所述摄像装置的坐标系之间的转换关系；
第二获取模块，用于获取红外灯系统和所述AR眼镜上的IMU传感器的相对位置关系；
第三获取模块，用于获取所述AR眼镜光机显示虚拟内容与所述AR眼镜上的IMU传感器的相对位置；
第一计算模块，用于根据所述红外灯系统的坐标系和所述摄像装置的坐标系之间的转换关系、红外灯系统和所述AR眼镜上的IMU传感器的相对位置关系、所述AR眼镜光机显示虚拟内容与所述AR眼镜上的IMU传感器的相对位置计算所述摄像装置的坐标系下，AR眼镜显示内容之间的位姿关系；
第二计算模块，用于根据所述AR眼镜显示内容之间的位姿关系计算所述AR眼镜中显示内容的位置。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求5至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求5至7中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211438651.XA CN118055324A (zh) | 2022-11-16 | 2022-11-16 | 桌面ar定位系统、方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211438651.XA CN118055324A (zh) | 2022-11-16 | 2022-11-16 | 桌面ar定位系统、方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN118055324A true CN118055324A (zh) | 2024-05-17 |
Family
ID=91045359
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211438651.XA Pending CN118055324A (zh) | 2022-11-16 | 2022-11-16 | 桌面ar定位系统、方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118055324A (zh) |
-
2022
- 2022-11-16 CN CN202211438651.XA patent/CN118055324A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10269139B2 (en) | Computer program, head-mounted display device, and calibration method | |
| CN102959616B (zh) | 自然交互的交互真实性增强 | |
| KR102079097B1 (ko) | 투명 디스플레이를 이용한 증강현실 구현 장치 및 그 방법 | |
| US9041743B2 (en) | System and method for presenting virtual and augmented reality scenes to a user | |
| WO2015068656A1 (ja) | 画像生成装置および画像生成方法 | |
| US10242654B2 (en) | No miss cache structure for real-time image transformations | |
| JP6008397B2 (ja) | 光学式シースルー型ｈｍｄを用いたａｒシステム | |
| US10999412B2 (en) | Sharing mediated reality content | |
| CN111512574A (zh) | 用于校准增强现实设备的方法 | |
| US20210183343A1 (en) | Content Stabilization for Head-Mounted Displays | |
| US9813693B1 (en) | Accounting for perspective effects in images | |
| US20200211512A1 (en) | Headset adjustment for optimal viewing | |
| CN108989785B (zh) | 基于人眼跟踪的裸眼3d显示方法、装置、终端和介质 | |
| CN104536579A (zh) | 交互式三维实景与数字图像高速融合处理系统及处理方法 | |
| CN112655202B (zh) | 用于头戴式显示器的鱼眼镜头的减小带宽立体失真校正 | |
| TWI453462B (zh) | 智慧型電子裝置之虛擬望遠系統及其方法 | |
| US11012677B1 (en) | Systems and methods for correcting rolling shutter artifacts | |
| KR20200056721A (ko) | 증강현실 기기의 광학 특성 측정 방법 및 장치 | |
| CN109978945B (zh) | 一种增强现实的信息处理方法和装置 | |
| US20240119610A1 (en) | Smooth and Jump-Free Rapid Target Acquisition | |
| CN118055324A (zh) | 桌面ar定位系统、方法、装置、设备及存储介质 | |
| US11941751B2 (en) | Rapid target acquisition using gravity and north vectors | |
| CN116643648B (zh) | 一种三维场景匹配交互方法、装置、设备及存储介质 | |
| CN116309854A (zh) | 标定增强现实设备的方法、装置、设备、系统及存储介质 | |
| CN112053444A (zh) | 基于光通信装置叠加虚拟对象的方法和相应的电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination |