CN117372545A - 位姿信息确定方法及系统 - Google Patents
位姿信息确定方法及系统 Download PDFInfo
- Publication number
- CN117372545A CN117372545A CN202311381879.4A CN202311381879A CN117372545A CN 117372545 A CN117372545 A CN 117372545A CN 202311381879 A CN202311381879 A CN 202311381879A CN 117372545 A CN117372545 A CN 117372545A
- Authority
- CN
- China
- Prior art keywords
- image
- pose information
- parameter
- determining
- mirror
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 78
- 238000003384 imaging method Methods 0.000 claims abstract description 134
- 238000012545 processing Methods 0.000 claims abstract description 52
- 230000003287 optical effect Effects 0.000 claims abstract description 23
- 230000008569 process Effects 0.000 claims description 24
- 238000004422 calculation algorithm Methods 0.000 claims description 7
- 230000010365 information processing Effects 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 35
- 238000003860 storage Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 230000009471 action Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 230000010354 integration Effects 0.000 description 5
- 238000013519 translation Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 230000003190 augmentative effect Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 210000005252 bulbus oculi Anatomy 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 239000000047 product Substances 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 206010013082 Discomfort Diseases 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 210000002310 elbow joint Anatomy 0.000 description 1
- 210000001508 eye Anatomy 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 210000001503 joint Anatomy 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000012466 permeate Substances 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本申请公开了一种位姿信息确定方法及系统，属于信息处理领域。其中，所述方法包括：通过摄像装置采集第一对象在反射镜中的成像作为第一图像，反射镜的反射面朝向摄像装置的入光侧；对第一图像进行拍摄反畸变处理，得到第二图像；确定反射镜的第一参数和第二参数，第一参数用于描述反射镜的反射面的形状；第二参数用于描述反射镜所在的平面在世界坐标系中的位置；根据第一参数，对第二图像进行光路反畸变处理，得到第三图像；识别第三图像中的第一对象的多个特征点，根据多个特征点获得第三图像中的第一对象的第一位姿信息；根据第二参数对第一位姿信息进行处理，确定第一对象的第二位姿信息。
Description
技术领域
本申请属于信息处理领域，具体涉及一种位姿信息确定方法及系统。
背景技术
随着扩展现实(ExtendedReality，XR)产业的发展，动捕技术逐渐从专业领域渗透进消费领域，典型的使用场景包括：虚拟直播、虚拟健身和VR游戏等。
目前常见的XR全身动捕方案有两大类：自视点跟踪和外置摄像头跟踪。前者需要在头盔上安装特殊角度的摄像头(一般朝下看向地面)，后者则需要额外架设手机等外部设备，从而导致整体的配置和使用成本较高。
发明内容
本申请实施例的目的是提供一种位姿信息确定方法及系统，能够在不添加额外特殊角度的摄像头的前提下，以较低成本实现XR场景下的全身动捕。
第一方面，本申请实施例提供了一种位姿信息确定方法，该方法包括：
通过摄像装置采集第一对象在反射镜中的成像作为第一图像，反射镜的反射面朝向摄像装置的入光侧；
对第一图像进行拍摄反畸变处理，得到第二图像；
确定反射镜的第一参数和第二参数，第一参数用于描述反射镜的反射面的形状；第二参数用于描述反射镜所在的平面在世界坐标系中的位置；
根据第一参数，对第二图像进行光路反畸变处理，得到第三图像；
识别第三图像中的第一对象的多个特征点，根据多个特征点获得第三图像中的第一对象的第一位姿信息；
根据第二参数对第一位姿信息进行处理，确定第一对象的第二位姿信息。
第二方面，本申请实施例提供了一种位姿信息确定系统，包括摄像装置和反射镜，位姿信息确定系统还包括：
采集模块，用于通过摄像装置采集第一对象在反射镜中的成像作为第一图像，反射镜的反射面朝向摄像装置的入光侧；
第一处理模块，用于对第一图像进行拍摄反畸变处理，得到第二图像；
确定模块，用于确定反射镜的第一参数和第二参数，第一参数用于描述反射镜的反射面的形状；第二参数用于描述反射镜所在的平面在世界坐标系中的位置；
第二处理模块，用于根据第一参数，对第二图像进行光路反畸变处理，得到第三图像；
识别模块，用于识别第三图像中的第一对象的多个特征点，根据多个特征点获得第三图像中的第一对象的第一位姿信息；
第三处理模块，用于根据第二参数对第一位姿信息进行处理，确定第一对象的第二位姿信息。
第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。
第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
第五方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法。
第六方面，本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如第一方面所述的方法。
在本申请的实施例中，通过摄像装置采集第一对象在反射镜中的成像作为第一图像，反射镜的反射面朝向摄像装置的入光侧；对第一图像进行拍摄反畸变处理，得到第二图像；确定反射镜的第一参数和第二参数；根据用于描述反射镜的反射面的形状的第一参数，对第二图像进行光路反畸变处理，得到第三图像，能够校正由于反射镜表面形状各异带来的光路畸变误差，得到第三图像；识别第三图像中的第一对象的多个特征点，根据多个特征点获得第三图像中的第一对象的第一位姿信息，由于第一图像为第一对象在反射镜中的成像，所以基于第一图像确定的第一位姿信息为第一对象在反射镜中的成像的位姿信息。因此，通过用于描述反射镜所在的平面在世界坐标系中的位置的第二参数对第一位姿信息进行处理，能够将第一对象在反射镜中的成像的位姿信息转换为确定第一对象的第二位姿信息，由此，能够在不添加额外特殊角度的摄像头的前提下以较低成本实现XR场景下的全身动捕，即获得第一对象的第二位姿信息。
附图说明
图1是本申请实施例提供的一种位姿信息确定方法的流程图；
图2是本申请实施例提供的一种反射镜和摄像机的位置示意图；
图3是本申请实施例提供的一种第二参数的确定方法的流程图；
图4是本申请实施例提供的一种反射镜和标定对象的位置示意图；
图5是本申请实施例提供的一种世界坐标系和局部坐标系的关系示意图；
图6是本申请实施例提供的一种反射镜和标定对象的示意图；
图7是本申请实施例提供的一种反射关系的示意图；
图8是本申请实施例提供的一种位姿信息确定系统的结构图；
图9是本申请实施例的电子设备的硬件结构示意图之一；
图10是本申请实施例的电子设备的硬件结构示意图之二。
具体实施方式
下面将结合本申请实施例的附图，对本申请实施例的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
本申请实施例提供的位姿信息确定方法至少可以应用于下述应用场景中，下面进行说明。
随着计算机软硬件技术的飞速发展和动画制作要求的提高，有多家厂商相继推出了多种商品化的运动捕捉设备，从技术的角度来说，运动捕捉的实质就是要测量、跟踪和记录物体在三维空间中的运动轨迹。
通过全身可穿戴光惯混合的方式实现全身动捕，但缺陷是全身服装穿脱复杂，成本较高，每套动捕服装上万元。
目前，随着扩展现实(ExtendedReality，XR)产业的发展，动捕技术深化了消费级应用领域，典型的使用场景包括：虚拟直播、虚拟健身和VR游戏等。在XR场景下，目前常见的消费级动捕方案可分为两大类：视觉方案和惯导方案。惯导方案需要用户额外购置可穿戴器件，成本较高。
而视觉方案则仅需要摄像头即可工作，但最大的挑战是如何使头盔的摄像头能够观察到用户自身的躯体。当前常见的方式是在头盔结构上附加伸出的悬梁结构，然后将相机固定在末端向下观测用户自身的躯干，进而根据图像信息估计全身各关节的姿态。
视觉方案需要将悬架结构固定在头戴设备上，从而导致头部设备臃肿，容易引发疲劳等不适，以及视场范围依然有限，容易发生躯体遮挡，尤其是腿部。
针对相关技术出现的问题，本申请实施例提供一种位姿信息确定方法、装置、电子设备及存储介质，能够解决对特定视角相机或外摄相机的依赖，以较低成本实现XR场景下的全身动作捕捉。
下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的位姿信息确定方法进行详细地说明。
图1为本申请实施例提供的一种位姿信息确定方法的流程图。
如图1所示，该位姿信息确定方法可以包括步骤110-步骤160，该方法应用于位姿信息确定系统，具体如下所示：
步骤110，通过摄像装置采集第一对象在反射镜中的成像作为第一图像，反射镜的反射面朝向摄像装置的入光侧；
反射镜成像是一种物理现象，指的是太阳或者灯的光照射到第一对象的身上，被反射到镜面上平面镜又将光反射到第一对象的眼睛里，因此第一对象可以看到自己在平面镜中的虚像。
通过摄像装置采集第一对象在反射镜中的成像，即上述虚像，作为第一图像。
其中，反射镜的反射面朝向摄像装置的入光侧，反射镜用于采集第一对象在反射镜中的成像。在一种可能的实施例中，反射镜为至少两个，步骤110，包括：
通过摄像装置采集第一对象在至少两个反射镜中的每个反射镜中的成像作为第一图像；第一图像、第二图像和第三图像均为至少两个；
识别第三图像中的第一对象的多个特征点，根据多个特征点获得第三图像中的第一对象的第一位姿信息，包括：
对于至少两个第三图像中的每个第三图像，分别识别第三图像中的第一对象的多个特征点，得到至少两组特征点；
根据至少两组特征点获得第一对象的第一位姿信息。
下面以反射镜为两个为例进行说明，如图2所示，图2中包括：
头戴设备200，头戴设备200佩戴于第一对象；
反射镜201，反射镜202；第一对象在反射镜中的虚像203；第一对象在反射镜中的虚像204；头戴设备坐标系205；世界地图坐标系206；
其中，第一对象可以为人体，205为头戴设备坐标系，206为世界地图坐标系，207为肘关节光路。
具体地，通过摄像装置采集第一对象在至少两个反射镜中的每个反射镜中的成像作为第一图像，即得到至少两个第一图像；然后，对至少两个第一图像进行拍摄反畸变处理，得到至少两个第二图像；接着，根据第一参数，对至少两个第二图像进行光路反畸变处理，得到至少两个第三图像；
对于至少两个第三图像，分别识别第三图像中的第一对象的多个特征点，得到至少两组特征点，至少两组特征点中的每组特征点均包括多个特征点；最后，根据至少两组特征点获得第一对象的第一位姿信息。
使用两个或者两个以上的反射镜进行多视角观测，能够解决单视角产生的遮挡问题。在多反射镜的配置下，光路畸变的计算和单反射镜类似，主要的区别在于通过深度学习网络获得第一对象的第一位姿信息的步骤，在反射镜为至少两个的情况下，需要在多视角视觉动捕模型的基础上进行迁移学习。
步骤120，对第一图像进行拍摄反畸变处理，得到第二图像；
摄像装置参数包括摄像装置内参和摄像装置外参；
其中，摄像装置内参可以包括摄像装置的拍摄焦距；
上述摄像装置可以为多个，摄像装置外参可以包括：多个摄像装置的中心坐标；每一个摄像装置相对于人体眼球的旋转分量和平移分量。
其中，步骤120中，具体可以包括：
通过摄像装置参数对第一图像进行拍摄反畸变处理，得到第二图像。
镜头畸变实际上是光学透镜固有的透视失真的总称，也就是因为透视原因造成的失真，但因为这是透镜的固有特性，所以无法消除，只能改善。由于造成畸变的原因包括摄像装置相对于人体眼球的旋转和平移以及摄像装置的焦距，因此可以通过摄像装置的拍摄焦距和摄像装置相对于人体眼球的旋转分量和平移分量对第一图像进行拍摄反畸变处理，得到第二图像。
步骤130，确定反射镜的第一参数和第二参数，第一参数用于描述反射镜的反射面的形状；第二参数用于描述反射镜所在的平面在世界坐标系中的位置；
第一参数用于描述反射镜的反射面的形状，即反射镜中的每个点的位置，由于实际的反射镜的反射面会有一定程度的凹凸，因此需要通过第一参数描述反射镜的反射面的形状。
在一种可能的实施例中，步骤130，包括步骤310-步骤350，具体如下所示：
步骤310，通过摄像装置采集标定对象在反射镜中的成像作为标定图像；
通过摄像装置采集标定对象在反射镜中的成像作为标定图像的过程与通过摄像装置采集第一对象在反射镜中的成像作为第一图像的过程类似，区别是采集对象不同。标定对象具体可以为带有坐标信息的标定板，标定板中的每个标定格子用于指示标定格子的位置信息，即标定对象在反射镜对应的局部坐标系中的第一局部坐标。
下面结合图4对摄像装置和标定对象的位置关系进行说明，如图4所示，400为安全区扫描时建立好的世界坐标系；401为反射镜对应的反射面；402为标定对象；403为标定对象的虚像，即标定对象在反射镜中的成像；404代表在多个位置摆放摄像装置对标定对象在反射镜中的成像进行观测。
步骤320，获取标定对象在反射镜对应的局部坐标系中的第一局部坐标，标定对象在反射镜中的成像在局部坐标系中的第二局部坐标；
第二参数的标定过程中，需要固定标定对象，通过多次移动摄像装置来生成多个观测信息，观测信息包括获取标定对象在反射镜对应的局部坐标系中的第一局部坐标和标定对象在反射镜中的成像在局部坐标系中的第二局部坐标。
步骤330，通过标定图像相对于标定对象的形变，确定第一参数；
由于实际场景中的反射镜表面存在一些凸起和凹陷，因此需要对反射镜的表面的面型进行标定，即确定第一参数，以用于描述反射镜的表面的形状。
标定图像中的纹理和标定对象纹理之间的形变来估计反射面的形状。
在一种可能的实施例中，步骤330，包括：
根据标定图像，确定反射镜的反射面的法线方向；
基于法线积分算法，根据法线方向确定第一参数。
面型标定本质是一个偏折测量问题，首先通过摄像装置对面型反射的虚像进行观测，获取标定图像；然后，通过计算标定图像中的纹理和标定对象纹理之间的形变来估计反射面的表面法线方向；接着，进而通过面型积分算法根据法线方向估算出整个反射面的面型，即确定第一参数。
基于法线积分算法，根据所述法线方向确定所述第一参数的步骤中，具体可以包括：根据所述法线方向，确定反射面的法向图，利用法线积分算法，根据反射面的法向图确定所述第一参数。
由此，可以通过标定图像相对于标定对象的形变，快速准确地确定第一参数。
其中，上述涉及到的根据标定图像，确定反射镜的反射面的法线方向的步骤中，具体可以包括以下步骤：
在反射镜为平面镜的情况下，基于空间平面方程，确定平面镜的反射面的法线方向；空间平面方程基于第一参数和标定图像构建得到；
在反射镜为凸面镜的情况下，基于空间曲面方程，确定凸面镜的反射面的法线方向；空间曲面方程包括曲面半径和标定图像构建得到。
在反射镜为平面镜的情况下，平面镜的反射面的法线方向为1个；
在反射镜为凸面镜的情况下，平面镜的反射面的法线方向为多个；
其中，在反射镜为平面镜的情况下，反射镜的空间平面方程的表达式可记为：Ax+By+Cz+D＝0，
隐式表达为F(x,y,z)＝c，且法线方向处处一致
考虑到一般的外形设计会采用方形、圆形等中心对称设计，因此可将局部坐标系原点设定在外形的中心，则此时平面可由中心坐标和法向量/>来表达，即一般几何意义上的点法式表达。更简化一些，可将法向量和参考系的z轴重叠，此时
其中，在反射镜为凸面镜的情况下，由于凸面镜和平面镜类似，主要区别是方程不同。以常见的凸球面镜为例，假设曲率半径为R，则空间曲面方程可表示为：x2+y2+z2-R2＝0；
亦可隐式表达为F(x,y,z)＝c，且面上任意一点处的法向量
步骤340，根据第一参数，确定面型投影函数；
由于反射镜的表面的形状会对反射镜的镜像投影关系产生影响，因此可以根据第一参数对反射镜的镜像投影关系进行调整，得到面型投影函数。
其中，PF代表引入第一参数后的镜像投影关系，即面型投影函数。
步骤350，根据面型投影函数、第一局部坐标和第二局部坐标，确定第二参数。
在定义好面型方程之后，反射镜在世界系中的安装位置即可表示为局部坐标系和世界坐标系之间旋转与平移，记为
第二参数用于描述反射镜所在的平面在世界坐标系中的位置，即该步骤用于标定反射镜的安装位置。
标定反射镜的安装位置的前提是已知世界坐标系，在XR场景中常见的实现方式是与安全区设定过程相结合。完成设定后，世界坐标系可认为固定不变，反射镜所在的平面在世界坐标系中的位置，包括旋转分量和平移分量。
第二参数的确定，可以通过对标定对象的多次观测来构建约束方程，进而求解第二参数。后续用于从虚像推理出的第一位姿信息中恢复出实际人体的动作姿态。
在一种可能的实施例中，步骤350，包括：
根据第一局部坐标和第二局部坐标，确定在世界坐标系下的标定对象的第一空间坐标和标定对象在反射镜中的成像的第二空间坐标；
根据面型投影函数、第一空间坐标和第二空间坐标，确定第二参数。
其中，第一局部坐标是标定对象在反射镜对应的局部坐标系中的第一局部坐标，第二局部坐标是标定对象在反射镜中的成像在局部坐标系中的第二局部坐标，因此需要将局部坐标系中的第一局部坐标和第二局部坐标转换为世界坐标系下的第一空间坐标和第二空间坐标。
其中，上述涉及到的根据第一局部坐标和第二局部坐标，确定在世界坐标系下的标定对象的第一空间坐标和标定对象在反射镜中的成像的第二空间坐标的步骤中，具体可以包括以下步骤：
确定标定对象相对于世界坐标系的第三位姿信息，和标定对象在反射镜中的成像相对于世界坐标系的第四位姿信息；
通过第三位姿信息，将第一局部坐标转换为第一空间坐标；
通过第四位姿信息，将第二局部坐标转换为第二空间坐标；
其中，第一空间坐标和第二空间坐标为在世界坐标系下的坐标；第一局部坐标和第二局部坐标为基于反射镜构建的坐标系下的坐标。
首先，确定标定对象相对于世界坐标系的第三位姿信息，和标定对象在反射镜中的成像相对于世界坐标系的第四位姿信息。其中，TB为标定对象相对于世界坐标系的第三位姿信息；TB′为标定对象的虚像相对于世界坐标系的第四位姿信息。
在确定出TB和TB′之后，通过第三位姿信息，将第一局部坐标转换为第一空间坐标。
其中，通过第三位姿信息，将第一局部坐标转换为第一空间坐标；通过第四位姿信息，将第二局部坐标转换为第二空间坐标的步骤中，具体可以包括以下步骤：将第一局部坐标和第三位姿信息之积确定为第一空间坐标；将第二局部坐标和第四位姿信息之积确定为第二空间坐标。
由此，可以将在局部坐标系下的标定对象的第一局部坐标和标定对象的虚像的第二局部坐标，分别转换为在世界坐标系下的标定对象的第一空间坐标和标定对象的虚像的第二空间坐标。以便于后续可以根据面型投影函数、第一空间坐标和第二空间坐标，确定第二参数。
在一种可能的实施例中，在通过摄像装置采集标定对象在反射镜中的成像作为标定图像的过程中，摄像装置对应I个位置，I个位置中的每个位置分别对应一个标定图像，I为大于1的正整数，上述涉及到的确定标定对象相对于世界坐标系的第三位姿信息，和标定对象在反射镜中的成像相对于世界坐标系的第四位姿信息的步骤中，具体可以包括以下步骤：
根据摄像装置设置于第i个位置时对应的成像约束关系和标定对象在反射镜中的成像，求解摄像装置相对于标定对象在反射镜中的成像的位姿信息；第i个位置为I个位置中的任一个；
根据摄像装置设置于第i个位置时对应的镜像投影关系和摄像装置相对于标定对象在反射镜中的成像的位姿信息，建立代价函数，基于代价函数求解第四位姿信息；
获取标定对象相对于世界坐标系的装配参数；
将标定对象相对于世界坐标系的装配参数，确定为第三位姿信息。
下面结合图5对通过摄像装置采集标定对象在反射镜中的成像作为标定图像的过程进行说明，如图5所示，其中，W代表世界坐标系；
B，表示标定对象；
B′，表示标定对象在反射镜中的成像；
Ci，表示摄像装置设置于第i个位置时对应的成像约束关系；
Pi，表示摄像装置设置于第i个位置时对应的镜像投影关系；具体地，Pi，表示头戴设备处于第i个位置时相对于世界坐标的位姿信息，其中，头戴设备中设置有摄像装置；
Ei，摄像装置设置于第i个位置，摄像装置相对于标定对象在反射镜中的成像的位姿信息；
Te为待求解的第二参数。
首先，根据摄像装置设置于第i个位置时对应的成像约束关系和标定对象在反射镜中的成像，求解摄像装置相对于标定对象在反射镜中的成像的位姿信息的步骤中，即根据Ci和B′的约束关系求解Ei的步骤中，具体可以通过Ci＝Ei·B′构建方程并进行优化求解；Ei为摄像装置相对于虚像的位姿信息；
然后，根据摄像装置设置于第i个位置时对应的镜像投影关系和摄像装置相对于标定对象在反射镜中的成像的位姿信息，建立代价函数。
联合Pi和Ei优化T′B。由T′B≈Pi·Ei可建立代价函数Oi＝T′B-PiEi，则T′B的
若标定对象实物相对于世界坐标系的装配参数已知，可直接使用该参数作为TB；若标定对象装配参数未知，则参照确定T′B的步骤对TB进行估计；
其中，TB为标定对象相对于世界坐标系的第三位姿信息；
T′B为标定对象的虚像相对于世界坐标系的第四位姿信息。
在一种可能的实施例中，上述涉及到的根据面型投影函数、第一空间坐标和第二空间坐标，确定第二参数的步骤中，具体可以包括以下步骤：
基于局部坐标系与世界坐标系的投影关系，对面型投影函数、第一空间坐标、第二空间坐标和待求解的第二参数，构建投影关系方程；
求解投影关系方程，得到第二参数。
下面，对局部坐标系与世界坐标系的投影关系进行说明：
如图6所示，此时镜面的法向可记为中心坐标为/>
镜像投影描述的是虚像和实物之间的投影关系，具体根据面型的不同而有所差异。
在反射镜为平面镜的情况下，沿用上述坐标系定义，虚像和实物相对于镜面局部坐标系相当于沿平面进行了翻折，用投影关系可表达为：
考虑镜面局部坐标系与世界全局坐标系的投影关系，有x′p＝Te·x′w，xp＝Te·xw，代入上式可得：π(Te,PF,xw,x′w)＝0。即得到投影关系方程。
其中，Te为待求解的第二参数；
PF为面型投影函数；
xp，标定对象在反射镜对应的局部坐标系中的第一局部坐标；
x′p，标定对象在反射镜中的成像在局部坐标系中的第二局部坐标；
xw，世界坐标系下的标定对象的第一空间坐标；
x′w，世界坐标系下的标定对象在反射镜中的成像第二空间坐标；
其中，PF代表面型引入的镜像投影关系，x′w和xw代表世界坐标系下虚像和实物的空间坐标，整个方程π提供了在当前安装位置和面型下虚像和实物需要满足的约束关系。
在反射镜为凸面镜的情况下，以常见的球面镜为例，镜像方程在曲率半径远大于物距时可近似为图7中上图所示的成像模型，在三维空间中的表现形式如图7中所示。
显然，成像约束关系依然由面型投影函数、第一空间坐标、第二空间坐标和待求解的第一参数所决定，仍可表示为π(Te,PF,xw,x′w)＝0，主要区别在与平面镜和凸面镜的PF有所不同。具体公式可参照几何光学中关于球面镜成像的推导，此处不再赘述。
然后，求解投影关系方程，得到第二参数的步骤中，具体可以通过下式计算：
Te＝π-1(PF,xw,x′w)
由此，可以对面型投影函数、第一空间坐标、第二空间坐标和待求解的第二参数，构建基于局部坐标系与世界坐标系的投影关系的投影关系方程，以求解出用于表征反射镜所在的平面在世界坐标系中的位置的第二参数。
至此，完成了确定反射镜的第一参数和第二参数的步骤。
步骤140，根据第一参数，对第二图像进行光路反畸变处理，得到第三图像；
由于实际场景中的反射镜表面存在一些凸起和凹陷，因此，上述得到的第二图像中会出现光路畸变的现象。由于第一参数用于描述反射镜的表面的形状，因此可以根据第一参数，对第二图像进行光路反畸变处理，也就是对反射镜表面存在一些凸起和凹陷造成的畸变进行校正处理，得到第三图像。
由此，根据第一参数，对第二图像进行光路反畸变处理，得到矫正后的第三图像，提升后续确定的第一位姿信息的准确度。
步骤150，识别第三图像中的第一对象的多个特征点，根据多个特征点获得第三图像中的第一对象的第一位姿信息；
第一图像包括第一对象，通过识别第一对象在第一图像中的显示位置，可以确定第一对象的第一位姿信息。
第一对象在第一图像中的显示位置可以包括：第一对象的多个特征点。第一对象的多个特征点可以为轮廓点。根据多个特征点，可以对第三图像中的第一对象的位姿进行估计，以获得第三图像中的第一对象的第一位姿信息。
在一种可能的实施例中，步骤150，包括：
识别第三图像中的第一对象的多个特征点，确定第一对象的多个关键点；
根据多个关键点，确定第一对象的第一位姿信息。
关键点检测的目的是从第三图像中提取出人体模型主要关节的位置，具体可以通过深度学习模型，对图像进行多层级解码，估计出关键点对应的热力图(Heatmap)，再经后处理之后得到第一图像中的关键点。
其中，在第一对象为人体的情况下，关键点可以为人体的关节点。
根据关键点，可以估计出人体模型各关节点在空间中的位姿。具体可以通过传统的基于逆向运动学估计方法和基于深度学习的推理方法。鉴于关键点检测环节已经使用了深度学习方法，其网络结构的前置层级已经包含了隐空间参数的表达，因此可延展使用另外一个深度学习网络结构对人体骨架模型进行姿态估计，最终实现从第一图像的输入到第一对象的第一位姿信息的输出的端到端的映射。
由此，通过第一图像中的关键点，能够快速准确地确定第一对象的第一位姿信息。
步骤160，根据第二参数对第一位姿信息进行处理，确定第一对象的第二位姿信息。
由于第一位姿信息是基于第一图像确定的，第一图像包括第一对象在反射镜中的成像，第一位姿信息用于表示第一对象在反射镜中的成像的位姿信息，也就是说第一位姿信息用于表示第一对象的虚像的位姿信息。
因此，需要通过反射镜的第二参数，对第一位姿信息进行转换处理，得到第一对象本身的第二位姿信息，也就是得到第一对象的实像的第二位姿信息。
在一种可能的实施例中，步骤160，包括：
获取摄像装置相对于反射镜的六自由度位姿信息；
根据第二参数和六自由度位姿信息，对第一位姿信息进行处理，确定第一对象的第二位姿信息。
六自由度(6DOF)是指刚体在三维空间中运动的六个机械自由度。具体来说，身体可以自由改变位置，如在三个垂直轴上向前/向后(波动)、上/下(起伏)、左/右(摇摆)平移，结合通过围绕三个垂直轴旋转来改变方向，通常称为偏航(法向轴)、俯仰(横轴)和滚转(纵轴)。
通过用于描述反射镜所在的平面在世界坐标系中的位置的第二参数，和用于描述摄像装置相对于反射镜的六自由度位姿信息，对用于描述第一对象在反射镜中的成像的第一位姿信息进行转换处理，以确定第一对象的第二位姿信息。
由此，通过摄像装置相对于反射镜的六自由度位姿信息和用于描述反射镜所在的平面在世界坐标系中的位置的第二参数对第一位姿信息进行处理，能够将第一对象在反射镜中的成像的位姿信息转换为确定第一对象的第二位姿信息。
在本申请的实施例中，摄像装置采集第一对象在反射镜中的成像作为第一图像，反射镜的反射面朝向摄像装置的入光侧；对第一图像进行拍摄反畸变处理，得到第二图像；确定反射镜的第一参数和第二参数；根据用于描述反射镜的反射面的形状的第一参数，对第二图像进行光路反畸变处理，得到第三图像，能够校正由于反射镜表面形状各异带来的光路畸变误差，得到第三图像；识别第三图像中的第一对象的多个特征点，根据多个特征点获得第三图像中的第一对象的第一位姿信息，由于第一图像为第一对象在反射镜中的成像，所以基于第一图像确定的第一位姿信息为第一对象在反射镜中的成像的位姿信息。因此，通过用于描述反射镜所在的平面在世界坐标系中的位置的第二参数对第一位姿信息进行处理，能够将第一对象在反射镜中的成像的位姿信息转换为确定第一对象的第二位姿信息，由此，能够在不添加额外特殊角度的摄像头的前提下以较低成本实现XR场景下的全身动捕，即获得第一对象的第二位姿信息。
本申请实施例提供的位姿信息确定方法，执行主体可以为位姿信息确定系统。本申请实施例中以位姿信息确定系统执行位姿信息确定方法为例，说明本申请实施例提供的位姿信息确定系统。
图8是本申请实施例提供的一种位姿信息确定系统的框图，该姿信息确定系统800包括摄像装置和反射镜，位姿信息确定系统800还包括：
采集模块810，用于通过摄像装置采集第一对象在反射镜中的成像作为第一图像，反射镜的反射面朝向摄像装置的入光侧；
第一处理模块820，用于对第一图像进行拍摄反畸变处理，得到第二图像；
确定模块830，用于确定反射镜的第一参数和第二参数，第一参数用于描述反射镜的反射面的形状；第二参数用于描述反射镜所在的平面在世界坐标系中的位置；
第二处理模块840，用于根据第一参数，对第二图像进行光路反畸变处理，得到第三图像；
识别模块850，用于识别第三图像中的第一对象的多个特征点，根据多个特征点获得第三图像中的第一对象的第一位姿信息；
第三处理模块860，用于根据第二参数对第一位姿信息进行处理，确定第一对象的第二位姿信息。
在一种可能的实施例中，确定模块830，具体用于：
通过摄像装置采集标定对象在反射镜中的成像作为标定图像；
获取标定对象在反射镜对应的局部坐标系中的第一局部坐标，标定对象在反射镜中的成像在局部坐标系中的第二局部坐标；
通过标定图像相对于标定对象的形变，确定第一参数；
根据第一参数，确定面型投影函数；
根据面型投影函数、第一局部坐标和第二局部坐标，确定第二参数。
在一种可能的实施例中，确定模块830，具体用于：
根据标定图像，确定反射镜的反射面的法线方向；
基于法线积分算法，根据法线方向确定第一参数。
在一种可能的实施例中，确定模块830，具体用于：
在反射镜为平面镜的情况下，基于空间平面方程，确定平面镜的反射面的法线方向；空间平面方程基于第一参数和标定图像构建得到；
在反射镜为凸面镜的情况下，基于空间曲面方程，确定凸面镜的反射面的法线方向；空间曲面方程包括曲面半径和标定图像构建得到。
在一种可能的实施例中，确定模块830，具体用于：
根据第一局部坐标和第二局部坐标，确定在世界坐标系下的标定对象的第一空间坐标和标定对象在反射镜中的成像的第二空间坐标；
根据面型投影函数、第一空间坐标和第二空间坐标，确定第二参数。
在一种可能的实施例中，确定模块830，具体用于：
确定标定对象相对于世界坐标系的第三位姿信息，和标定对象在反射镜中的成像相对于世界坐标系的第四位姿信息；
通过第三位姿信息，将第一局部坐标转换为第一空间坐标；
通过第四位姿信息，将第二局部坐标转换为第二空间坐标；
其中，第一空间坐标和第二空间坐标为在世界坐标系下的坐标；第一局部坐标和第二局部坐标为基于反射镜构建的坐标系下的坐标。
在一种可能的实施例中，在通过摄像装置采集标定对象在反射镜中的成像作为标定图像的过程中，摄像装置对应I个位置，I个位置中的每个位置分别对应一个标定图像，I为大于1的正整数，确定模块830，具体用于：
根据摄像装置设置于第i个位置时对应的成像约束关系和标定对象在反射镜中的成像，求解摄像装置相对于标定对象在反射镜中的成像的位姿信息；第i个位置为I个位置中的任一个；
根据摄像装置设置于第i个位置时对应的镜像投影关系和摄像装置相对于标定对象在反射镜中的成像的位姿信息，建立代价函数，基于代价函数求解第四位姿信息；
获取标定对象相对于世界坐标系的装配参数；
将标定对象相对于世界坐标系的装配参数，确定为第三位姿信息。
在一种可能的实施例中，确定模块830，具体用于：
基于局部坐标系与世界坐标系的投影关系，对面型投影函数、第一空间坐标、第二空间坐标和待求解的第二参数，构建投影关系方程；
求解投影关系方程，得到第二参数。
在一种可能的实施例中，识别模块850，具体用于：
识别第三图像中的第一对象的多个特征点，确定第一对象的多个关键点；
根据多个关键点，确定第一对象的第一位姿信息。
在一种可能的实施例中，反射镜为至少两个，采集模块810，具体用于：
通过摄像装置采集第一对象在至少两个反射镜中的每个反射镜中的成像作为第一图像；第一图像、第二图像和第三图像均为至少两个；
识别第三图像中的第一对象的多个特征点，根据多个特征点获得第三图像中的第一对象的第一位姿信息，包括：
对于至少两个第三图像中的每个第三图像，分别识别第三图像中的第一对象的多个特征点，得到至少两组特征点；
根据至少两组特征点获得第一对象的第一位姿信息。
在一种可能的实施例中，确定模块830，具体用于：
获取摄像装置相对于反射镜的六自由度位姿信息；
根据第二参数和六自由度位姿信息，对第一位姿信息进行处理，确定第一对象的第二位姿信息。
在本申请的实施例中，摄像装置采集第一对象在反射镜中的成像作为第一图像，反射镜的反射面朝向摄像装置的入光侧；对第一图像进行拍摄反畸变处理，得到第二图像；确定反射镜的第一参数和第二参数；根据用于描述反射镜的反射面的形状的第一参数，对第二图像进行光路反畸变处理，得到第三图像，能够校正由于反射镜表面形状各异带来的光路畸变误差，得到第三图像；识别第三图像中的第一对象的多个特征点，根据多个特征点获得第三图像中的第一对象的第一位姿信息，由于第一图像为第一对象在反射镜中的成像，所以基于第一图像确定的第一位姿信息为第一对象在反射镜中的成像的位姿信息。因此，通过用于描述反射镜所在的平面在世界坐标系中的位置的第二参数对第一位姿信息进行处理，能够将第一对象在反射镜中的成像的位姿信息转换为确定第一对象的第二位姿信息，由此，能够在不添加额外特殊角度的摄像头的前提下以较低成本实现XR场景下的全身动捕，即获得第一对象的第二位姿信息。
本申请实施例中的位姿信息确定系统可以是电子设备，也可以是电子设备中的部件，例如集成电路或芯片。该电子设备可以是终端，也可以为除终端之外的其他设备。示例性的，电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、移动上网装置(Mobile Internet Device，MID)、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、机器人、可穿戴设备、超级移动个人计算机(ultra-mobilepersonal computer，UMPC)、上网本或者个人数字助理(personal digital assistant，PDA)等，还可以为服务器、网络附属存储器(Network Attached Storage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。
本申请实施例的位姿信息确定系统可以为具有动作系统的装置。该动作系统可以为安卓(Android)动作系统，可以为ios动作系统，还可以为其他可能的动作系统，本申请实施例不作具体限定。
本申请实施例提供的位姿信息确定系统能够实现上述方法实施例实现的各个过程，为避免重复，这里不再赘述。
可选地，如图9所示，本申请实施例还提供一种电子设备910，包括处理器911，存储器912，存储在存储器912上并可在处理器911上运行的程序或指令，该程序或指令被处理器911执行时实现上述任一位姿信息确定方法实施例的各个步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。
需要说明的是，本申请实施例的电子设备包括上述的移动电子设备和非移动电子设备。
图10为实现本申请实施例的一种电子设备的硬件结构示意图。
该电子设备1000包括但不限于：射频单元1001、网络模块1002、音频输出单元1003、输入单元1004、传感器1005、显示单元1006、用户输入单元1007、接口单元1008、存储器1009、以及处理器1010等部件。
本领域技术人员可以理解，电子设备1000还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器1010逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图10中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。
其中，处理器1010，用于通过摄像装置采集第一对象在反射镜中的成像作为第一图像，反射镜的反射面朝向摄像装置的入光侧；
处理器1010，还用于对第一图像进行拍摄反畸变处理，得到第二图像；
处理器1010，还用于确定反射镜的第一参数和第二参数，第一参数用于描述反射镜的反射面的形状；第二参数用于描述反射镜所在的平面在世界坐标系中的位置；
处理器1010，还用于根据第一参数，对第二图像进行光路反畸变处理，得到第三图像；
处理器1010，还用于识别第三图像中的第一对象的多个特征点，根据多个特征点获得第三图像中的第一对象的第一位姿信息；
处理器1010，还用于根据第二参数对第一位姿信息进行处理，确定第一对象的第二位姿信息。
在一种可能的实施例中，处理器1010，还用于通过摄像装置采集标定对象在反射镜中的成像作为标定图像；
处理器1010，还用于获取标定对象在反射镜对应的局部坐标系中的第一局部坐标，标定对象在反射镜中的成像在局部坐标系中的第二局部坐标；
处理器1010，还用于通过标定图像相对于标定对象的形变，确定第一参数；
处理器1010，还用于根据第一参数，确定面型投影函数；
处理器1010，还用于根据面型投影函数、第一局部坐标和第二局部坐标，确定第二参数。
在一种可能的实施例中，处理器1010，还用于根据标定图像，确定反射镜的反射面的法线方向；
处理器1010，还用于基于法线积分算法，根据法线方向确定第一参数。
在一种可能的实施例中，处理器1010，还用于在反射镜为平面镜的情况下，基于空间平面方程，确定平面镜的反射面的法线方向；空间平面方程基于第一参数和标定图像构建得到；
处理器1010，还用于在反射镜为凸面镜的情况下，基于空间曲面方程，确定凸面镜的反射面的法线方向；空间曲面方程包括曲面半径和标定图像构建得到。
在一种可能的实施例中，处理器1010，还用于根据第一局部坐标和第二局部坐标，确定在世界坐标系下的标定对象的第一空间坐标和标定对象在反射镜中的成像的第二空间坐标；
处理器1010，还用于根据面型投影函数、第一空间坐标和第二空间坐标，确定第二参数。
在一种可能的实施例中，处理器1010，还用于确定标定对象相对于世界坐标系的第三位姿信息，和标定对象在反射镜中的成像相对于世界坐标系的第四位姿信息；
处理器1010，还用于通过第三位姿信息，将第一局部坐标转换为第一空间坐标；
处理器1010，还用于通过第四位姿信息，将第二局部坐标转换为第二空间坐标；
其中，第一空间坐标和第二空间坐标为在世界坐标系下的坐标；第一局部坐标和第二局部坐标为基于反射镜构建的坐标系下的坐标。
在一种可能的实施例中，在通过摄像装置采集标定对象在反射镜中的成像作为标定图像的过程中，摄像装置对应I个位置，I个位置中的每个位置分别对应一个标定图像，I为大于1的正整数，处理器1010，还用于根据摄像装置设置于第i个位置时对应的成像约束关系和标定对象在反射镜中的成像，求解摄像装置相对于标定对象在反射镜中的成像的位姿信息；第i个位置为I个位置中的任一个；
处理器1010，还用于根据摄像装置设置于第i个位置时对应的镜像投影关系和摄像装置相对于标定对象在反射镜中的成像的位姿信息，建立代价函数，基于代价函数求解第四位姿信息；
处理器1010，还用于获取标定对象相对于世界坐标系的装配参数；
处理器1010，还用于将标定对象相对于世界坐标系的装配参数，确定为第三位姿信息。
在一种可能的实施例中，处理器1010，还用于基于局部坐标系与世界坐标系的投影关系，对面型投影函数、第一空间坐标、第二空间坐标和待求解的第二参数，构建投影关系方程；
处理器1010，还用于求解投影关系方程，得到第二参数。
在一种可能的实施例中，处理器1010，还用于识别第三图像中的第一对象的多个特征点，确定第一对象的多个关键点；
处理器1010，还用于根据多个关键点，确定第一对象的第一位姿信息。
在一种可能的实施例中，反射镜为至少两个，处理器1010，还用于通过摄像装置采集第一对象在至少两个反射镜中的每个反射镜中的成像作为第一图像；第一图像、第二图像和第三图像均为至少两个；
处理器1010，还用于识别第三图像中的第一对象的多个特征点，根据多个特征点获得第三图像中的第一对象的第一位姿信息，包括：
处理器1010，还用于对于至少两个第三图像中的每个第三图像，分别识别第三图像中的第一对象的多个特征点，得到至少两组特征点；
处理器1010，还用于根据至少两组特征点获得第一对象的第一位姿信息。
在一种可能的实施例中，处理器1010，还用于获取头戴设备相对于反射镜的六自由度位姿信息；
处理器1010，还用于根据第二参数和六自由度位姿信息，对第一位姿信息进行处理，确定第一对象的第二位姿信息。
在本申请的实施例中，摄像装置采集第一对象在反射镜中的成像作为第一图像，反射镜的反射面朝向摄像装置的入光侧；对第一图像进行拍摄反畸变处理，得到第二图像；确定反射镜的第一参数和第二参数；根据用于描述反射镜的反射面的形状的第一参数，对第二图像进行光路反畸变处理，得到第三图像，能够校正由于反射镜表面形状各异带来的光路畸变误差，得到第三图像；识别第三图像中的第一对象的多个特征点，根据多个特征点获得第三图像中的第一对象的第一位姿信息，由于第一图像为第一对象在反射镜中的成像，所以基于第一图像确定的第一位姿信息为第一对象在反射镜中的成像的位姿信息。因此，通过用于描述反射镜所在的平面在世界坐标系中的位置的第二参数对第一位姿信息进行处理，能够将第一对象在反射镜中的成像的位姿信息转换为确定第一对象的第二位姿信息，由此，能够在不添加额外特殊角度的摄像头的前提下以较低成本实现XR场景下的全身动捕，即获得第一对象的第二位姿信息。
应理解的是，本申请实施例中，输入单元1004可以包括图形处理器(GraphicsProcessing Unit，GPU)10041和麦克风10042，图形处理器10041对在视频图像捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频图像的图像数据进行处理。显示单元1006可包括显示面板10061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板10061。用户输入单元1007包括触控面板10071以及其他输入设备10072中的至少一种。触控面板10071，也称为触控屏触控屏。触控面板10071可包括触摸检测装置和触摸控制器两个部分。其他输入设备10072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、动作杆，在此不再赘述。存储器1009可用于存储软件程序以及各种数据，包括但不限于应用程序和动作系统。处理器1010可集成应用处理器和调制解调处理器，其中，应用处理器主要处理动作系统、用户页面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1010中。
存储器1009可用于存储软件程序以及各种数据。存储器1009可主要包括存储程序或指令的第一存储区和存储数据的第二存储区，其中，第一存储区可存储操作系统、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外，存储器1009可以包括易失性存储器或非易失性存储器，或者，存储器x09可以包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synch link DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DRRAM)。本申请实施例中的存储器1009包括但不限于这些和任意其它适合类型的存储器。
处理器1010可包括一个或多个处理单元；可选的，处理器1010集成应用处理器和调制解调处理器，其中，应用处理器主要处理涉及操作系统、用户界面和应用程序等的操作，调制解调处理器主要处理无线通信信号，如基带处理器。可以理解的是，上述调制解调处理器也可以不集成到处理器1010中。
本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述位姿信息确定方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等。
本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述位姿信息确定方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如上述位姿信息确定方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。
Claims (12)
1.一种位姿信息确定方法，其特征在于，所述方法包括：
通过摄像装置采集第一对象在反射镜中的成像作为第一图像，所述反射镜的反射面朝向所述摄像装置的入光侧；
对所述第一图像进行拍摄反畸变处理，得到第二图像；
确定反射镜的第一参数和第二参数，所述第一参数用于描述所述反射镜的反射面的形状；所述第二参数用于描述所述反射镜所在的平面在世界坐标系中的位置；
根据所述第一参数，对所述第二图像进行光路反畸变处理，得到第三图像；
识别所述第三图像中的所述第一对象的多个特征点，根据所述多个特征点获得所述第三图像中的所述第一对象的第一位姿信息；
根据所述第二参数对所述第一位姿信息进行处理，确定所述第一对象的第二位姿信息。
2.根据权利要求1所述的方法，其特征在于，所述确定反射镜的第一参数和第二参数，包括：
通过所述摄像装置采集标定对象在所述反射镜中的成像作为标定图像；
获取所述标定对象在所述反射镜对应的局部坐标系中的第一局部坐标，所述标定对象在所述反射镜中的成像在所述局部坐标系中的第二局部坐标；
通过所述标定图像相对于所述标定对象的形变，确定所述第一参数；
根据所述第一参数，确定面型投影函数；
根据所述面型投影函数、所述第一局部坐标和所述第二局部坐标，确定所述第二参数。
3.根据权利要求2所述的方法，其特征在于，所述通过所述标定图像相对于所述标定对象的形变，确定所述第一参数，包括：
根据所述标定图像，确定所述反射镜的反射面的法线方向；
基于法线积分算法，根据所述法线方向确定所述第一参数。
4.根据权利要求3所述的方法，其特征在于，所述根据所述标定图像，确定所述反射镜的反射面的法线方向，包括：
在所述反射镜为平面镜的情况下，基于空间平面方程，确定所述平面镜的反射面的法线方向；所述空间平面方程基于第一参数和所述标定图像构建得到；
在所述反射镜为凸面镜的情况下，基于空间曲面方程，确定所述凸面镜的反射面的法线方向；所述空间曲面方程包括曲面半径和所述标定图像构建得到。
5.根据权利要求2所述的方法，其特征在于，所述根据所述面型投影函数、所述第一局部坐标和所述第二局部坐标，确定所述第二参数，包括：
根据所述第一局部坐标和所述第二局部坐标，确定在世界坐标系下的所述标定对象的第一空间坐标和所述标定对象在所述反射镜中的成像的第二空间坐标；
根据所述面型投影函数、所述第一空间坐标和所述第二空间坐标，确定所述第二参数。
6.根据权利要求5所述的方法，其特征在于，所述根据所述第一局部坐标和所述第二局部坐标，确定在世界坐标系下的所述标定对象的第一空间坐标和所述标定对象在所述反射镜中的成像的第二空间坐标，包括：
确定所述标定对象相对于世界坐标系的第三位姿信息，和所述标定对象在所述反射镜中的成像相对于世界坐标系的第四位姿信息；
通过所述第三位姿信息，将所述第一局部坐标转换为所述第一空间坐标；
通过所述第四位姿信息，将所述第二局部坐标转换为所述第二空间坐标；
其中，所述第一空间坐标和所述第二空间坐标为在所述世界坐标系下的坐标；所述第一局部坐标和所述第二局部坐标为基于所述反射镜构建的坐标系下的坐标。
7.根据权利要求6所述的方法，其特征在于，所述在通过所述摄像装置采集标定对象在所述反射镜中的成像作为标定图像的过程中，所述摄像装置对应I个位置，所述I个位置中的每个位置分别对应一个标定图像，I为大于1的正整数，所述确定所述标定对象相对于世界坐标系的第三位姿信息，和所述标定对象在所述反射镜中的成像相对于世界坐标系的第四位姿信息，包括：
根据所述摄像装置设置于第i个位置时对应的成像约束关系和所述标定对象在所述反射镜中的成像，求解所述摄像装置相对于所述标定对象在所述反射镜中的成像的位姿信息；所述第i个位置为所述I个位置中的任一个；
根据所述摄像装置设置于第i个位置时对应的镜像投影关系和所述摄像装置相对于所述标定对象在所述反射镜中的成像的位姿信息，建立代价函数，基于所述代价函数求解所述第四位姿信息；
获取所述标定对象相对于世界坐标系的装配参数；
将所述标定对象相对于世界坐标系的装配参数，确定为所述第三位姿信息。
8.根据权利要求5所述的方法，其特征在于，所述根据所述面型投影函数、所述第一空间坐标和所述第二空间坐标，确定所述第二参数，包括：
基于局部坐标系与世界坐标系的投影关系，对所述面型投影函数、所述第一空间坐标、所述第二空间坐标和待求解的第二参数，构建投影关系方程；
求解所述投影关系方程，得到所述第二参数。
9.根据权利要求1所述的方法，其特征在于，所述识别所述第三图像中的所述第一对象的多个特征点，根据所述多个特征点获得所述第三图像中的所述第一对象的第一位姿信息，包括：
识别所述第三图像中的所述第一对象的多个特征点，确定所述第一对象的多个关键点；
根据多个所述关键点，确定所述第一对象的第一位姿信息。
10.根据权利要求1所述的方法，其特征在于，所述反射镜为至少两个，所述通过摄像装置采集第一对象在反射镜中的成像作为第一图像，包括：
通过摄像装置采集第一对象在至少两个所述反射镜中的每个反射镜中的成像作为第一图像；所述第一图像、所述第二图像和所述第三图像均为至少两个；
所述识别所述第三图像中的所述第一对象的多个特征点，根据所述多个特征点获得所述第三图像中的所述第一对象的第一位姿信息，包括：
对于至少两个所述第三图像中的每个所述第三图像，分别识别所述第三图像中的所述第一对象的多个特征点，得到至少两组特征点；
根据至少两组所述特征点获得所述第一对象的第一位姿信息。
11.根据权利要求1所述的方法，其特征在于，所述根据所述第二参数对所述第一位姿信息进行处理，确定所述第一对象的第二位姿信息，包括：
获取所述摄像装置相对于所述反射镜的六自由度位姿信息；
根据所述第二参数和所述六自由度位姿信息，对所述第一位姿信息进行处理，确定所述第一对象的第二位姿信息。
12.一种位姿信息确定系统，其特征在于，包括摄像装置和反射镜，所述位姿信息确定系统还包括：
采集模块，用于通过所述摄像装置采集第一对象在所述反射镜中的成像作为第一图像，所述反射镜的反射面朝向所述摄像装置的入光侧；
第一处理模块，用于对所述第一图像进行拍摄反畸变处理，得到第二图像；
确定模块，用于确定反射镜的第一参数和第二参数，所述第一参数用于描述所述反射镜的反射面的形状；所述第二参数用于描述所述反射镜所在的平面在世界坐标系中的位置；
第二处理模块，用于根据所述第一参数，对所述第二图像进行光路反畸变处理，得到第三图像；
识别模块，用于识别所述第三图像中的所述第一对象的多个特征点，根据所述多个特征点获得所述第三图像中的所述第一对象的第一位姿信息；
第三处理模块，用于根据所述第二参数对所述第一位姿信息进行处理，确定所述第一对象的第二位姿信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311381879.4A CN117372545A (zh) | 2023-10-23 | 2023-10-23 | 位姿信息确定方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311381879.4A CN117372545A (zh) | 2023-10-23 | 2023-10-23 | 位姿信息确定方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117372545A true CN117372545A (zh) | 2024-01-09 |
Family
ID=89394251
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311381879.4A Pending CN117372545A (zh) | 2023-10-23 | 2023-10-23 | 位姿信息确定方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117372545A (zh) |
-
2023
- 2023-10-23 CN CN202311381879.4A patent/CN117372545A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102334139B1 (ko) | 적응적 호모그래피 매핑에 기초한 눈 시선 추적 | |
| US9779512B2 (en) | Automatic generation of virtual materials from real-world materials | |
| US11748906B2 (en) | Gaze point calculation method, apparatus and device | |
| JP4284664B2 (ja) | 三次元形状推定システム及び画像生成システム | |
| CN110913751B (zh) | 具有滑动检测和校正功能的可穿戴眼睛跟踪系统 | |
| CN111060023A (zh) | 一种高精度3d信息采集的设备及方法 | |
| CN113808160B (zh) | 视线方向追踪方法和装置 | |
| JP2021527877A (ja) | ３次元人体姿勢情報の検出方法および装置、電子機器、記憶媒体 | |
| US20190311232A1 (en) | Object tracking assisted with hand or eye tracking | |
| CN109615664B (zh) | 一种用于光学透视增强现实显示器的标定方法与设备 | |
| JPWO2018235163A1 (ja) | キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法 | |
| CN113366491B (zh) | 眼球追踪方法、装置及存储介质 | |
| CN116194866A (zh) | 使用6dof姿态信息对准来自分离相机的图像 | |
| CN111127540B (zh) | 一种三维虚拟空间自动测距方法及系统 | |
| CN109785373A (zh) | 一种基于散斑的六自由度位姿估计系统及方法 | |
| US11941851B2 (en) | Systems and methods for calibrating imaging and spatial orientation sensors | |
| CN117372545A (zh) | 位姿信息确定方法及系统 | |
| JP5337409B2 (ja) | 情報提示装置 | |
| CN114241127A (zh) | 全景图像生成方法、装置、电子设备和介质 | |
| JP4623320B2 (ja) | 三次元形状推定システム及び画像生成システム | |
| JP2011059009A (ja) | 位置計測対象物、位置計測システム、位置計測用演算装置およびプログラム | |
| CN112925413B (zh) | 增强现实眼镜及其触控方法 | |
| US11941751B2 (en) | Rapid target acquisition using gravity and north vectors | |
| US20230122185A1 (en) | Determining relative position and orientation of cameras using hardware | |
| Chen et al. | Imaging model of the off-axis non-central spherical mirrored stereo vision sensor |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |