CN112446917B - 一种姿态确定方法及装置 - Google Patents
一种姿态确定方法及装置 Download PDFInfo
- Publication number
- CN112446917B CN112446917B CN201910828873.4A CN201910828873A CN112446917B CN 112446917 B CN112446917 B CN 112446917B CN 201910828873 A CN201910828873 A CN 201910828873A CN 112446917 B CN112446917 B CN 112446917B
- Authority
- CN
- China
- Prior art keywords
- target object
- pixel coordinates
- camera
- corrected
- pose
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 230000003287 optical effect Effects 0.000 claims abstract description 68
- 239000011159 matrix material Substances 0.000 claims description 13
- 230000009466 transformation Effects 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 9
- 230000001131 transforming effect Effects 0.000 claims description 3
- 230000036544 posture Effects 0.000 description 25
- 238000003384 imaging method Methods 0.000 description 14
- 230000008901 benefit Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
公开了一种姿态确定方法、装置、计算机可读存储介质及电子设备,该方法包括获取目标对象在图像中的初始像素坐标;根据所述初始像素坐标和相机内部参数,确定所述目标对象与相机光轴间的姿态角;根据所述初始像素坐标、所述姿态角和所述相机内部参数,获取所述目标对象对应的修正像素坐标;根据所述修正像素坐标、预设模型和所述姿态角,确定所述目标对象的姿态。本公开利用目标对象与相机光轴间的姿态角对初始像素坐标进行修正,获取到修正像素坐标,并根据修正像素坐标获取目标对象的姿态,使得确定出的目标对象的姿态准确性较高。
Description
技术领域
本公开涉及图像处理技术领域,且更具体地,涉及一种姿态确定方法及装置。
背景技术
对目标对象进行姿态估计,就是确定目标对象的方位指向,在机器人视觉和动作跟踪等领域存在着广泛的应用。
目前,在利用图像对目标对象进行姿态估计时,常常会直接将选取出的感兴趣区域输入预先训练好的模型,以确定出目标对象的姿态。然而相同姿态的目标对象相对相机光轴的位置不同,在图像中的成像也就不同,从而导致直接利用感兴趣区域确定出的目标对象的姿态准确性较低。
发明内容
为了解决上述技术问题,提出了本公开,本公开的实施例提供了一种姿态确定方法、装置、计算机可读存储介质及电子设备,其利用目标对象与相机光轴间的姿态角对初始像素坐标进行修正,获取到修正像素坐标,并根据修正像素坐标获取目标对象的姿态,使得确定出的目标对象的姿态准确性较高。
根据本公开的第一方面,提供了一种姿态确定方法,包括:
获取目标对象在图像中的初始像素坐标;
根据所述初始像素坐标和相机内部参数,确定所述目标对象与相机光轴间的姿态角;
根据所述初始像素坐标、所述姿态角和所述相机内部参数,获取所述目标对象对应的修正像素坐标;
根据所述修正像素坐标、预设模型和所述姿态角,确定所述目标对象的姿态。
根据本公开的第二方面,提供了一种姿态确定装置,包括:
初始坐标获取模块,用于获取目标对象在图像中的初始像素坐标;
姿态角获取模块,用于根据所述初始像素坐标和相机内部参数,确定所述目标对象与相机光轴间的姿态角;
修正坐标获取模块,用于根据所述初始像素坐标、所述姿态角和所述相机内部参数,获取所述目标对象对应的修正像素坐标;
姿态确定模块,用于根据所述修正像素坐标、预设模型和所述姿态角,确定所述目标对象的姿态。
根据本公开的第三方面,提供了一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序用于执行上述的姿态确定方法。
根据本公开的第四方面,提供了一种电子设备,所述电子设备包括:
处理器;
用于存储所述处理器可执行指令的存储器;
所述处理器,用于从所述存储器中读取所述可执行指令,并执行所述指令以实现上述的姿态确定方法。
与现有技术相比,本公开提供的姿态确定方法、装置、计算机可读存储介质及电子设备,至少存在以下有益效果:
本实施例考虑到相同姿态的目标对象相对相机光轴的位置不同,在图像中的成像也就不同,因此在确定目标对象的姿态时,利用目标对象与相机光轴间的姿态角对目标对象在图像中的初始像素坐标进行修正,即假设对相机进行旋转,以使目标对象位于旋转后虚拟的相机光轴上,并根据目标对象相对虚拟的相机光轴的像素坐标获取修正像素坐标,利用该修正像素坐标避免了因目标对象相对相机光轴位置不同而使得得到的目标对象的姿态准确性较低的问题,即利用该修正像素坐标得到的目标对象的姿态准确性较高。
附图说明
通过结合附图对本公开实施例进行更详细的描述,本公开的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解,并且构成说明书的一部分,与本公开实施例一起用于解释本公开,并不构成对本公开的限制。在附图中,相同的参考标号通常代表相同部件或步骤。
图1是相同姿态的目标对象在相对相机光轴的不同位置进行成像的示意图;
图2是本公开一示例性实施例提供的姿态确定方法的流程示意图;
图3是本公开一示例性实施例提供的姿态确定方法中一种对相机姿态进行改变的示意图;
图4是本公开一示例性实施例提供的姿态确定方法中步骤10的流程示意图;
图5是本公开一示例性实施例提供的姿态确定方法中步骤20的流程示意图;
图6是本公开一示例性实施例提供的姿态确定方法中步骤201的流程示意图;
图7是本公开一示例性实施例提供的姿态确定方法中步骤30的流程示意图;
图8是本公开一示例性实施例提供的姿态确定方法中另一种对相机姿态进行改变的示意图;
图9是本公开一示例性实施例提供的姿态确定方法中步骤40的流程示意图;
图10是本公开第一种示例性实施例提供的姿态确定装置的结构示意图;
图11是本公开第二种示例性实施例提供的姿态确定装置的结构示意图;
图12是本公开一示例性实施例提供的姿态确定装置中观测射线获取单元的结构示意图;
图13是本公开第三种示例性实施例提供的姿态确定装置的结构示意图;
图14是本公开一示例性实施例提供的电子设备的结构图。
具体实施方式
下面,将参考附图详细地描述根据本公开的示例实施例。显然,所描述的实施例仅仅是本公开的一部分实施例,而不是本公开的全部实施例,应理解,本公开不受这里描述的示例实施例的限制。
申请概述
如图1所示,以图像中的三棱柱为目标对象,当三棱柱在位置A(光轴位置)时,得到的成像为a,即两个上下等高等宽的矩形;当三棱柱平移到位置B时(三棱柱的姿态不发生变化),得到的成像为b,即两个上下不等高等宽的矩形,由此可见即使目标对象的姿态相同,在目标对象相对相机光轴的位置不同时,目标对象在图像中的成像也就不同。而目前利用图像对目标对象进行姿态估计时,常常会直接将选取出的感兴趣区域输入预先训练好的模型,得到目标对象的姿态,在将感兴趣区域进行提取出后会丢失目标对象相对相机光轴的位置、相机内部参数等信息,致使确定出的目标对象的姿态准确性较低。
本实施例提供的姿态确定方法,利用目标对象与相机光轴间的姿态角对目标对象在图像中的初始像素坐标进行修正,即假设对相机进行旋转,以使目标对象位于旋转后虚拟的相机光轴上,并根据目标对象相对虚拟的相机光轴的像素坐标获取修正像素坐标,利用该修正像素坐标避免了因目标对象相对相机光轴位置不同而使得得到的目标对象的姿态准确性较低的问题,即利用该修正像素坐标得到的目标对象的姿态准确性较高。
示例性方法
图2是本公开一示例性实施例提供的姿态确定方法的流程示意图。
本实施例可应用在电子设备上,具体可以应用于服务器或一般计算机上。如图2所示,本公开一示例性实施例提供的姿态确定方法,至少包括如下步骤:
步骤10,获取目标对象在图像中的初始像素坐标。
获取到图像后,对图像中的目标对象进行检测,以确定目标对象在图像中的初始像素坐标,初始像素坐标为目标对象在图像中的像素点对应的像素坐标,初始像素坐标指示了目标对象在图像中真实的位置信息,其中目标对象包括人脸、车辆等需要确定姿态的对象。
步骤20,根据初始像素坐标和相机内部参数,确定目标对象与相机光轴间的姿态角。
根据初始像素坐标可以得到目标对象在图像中的相关信息,但因目标对象相对相机光轴的位置不同,在图像中的成像也就不同,因此在获取到初始像素坐标后,还需确定出目标对象与相机光轴间的姿态角,其中,姿态角为相机光轴到目标对象的观测姿态偏角,即目标对象与光心连线与相机光轴直接的姿态差。根据预先标定的相机内部参数和初始像素坐标,确定出目标对象与相机光轴间的姿态角。具体的,可以利用张正友标定法获取相机内部参数。
步骤30,根据初始像素坐标、姿态角和相机内部参数,获取目标对象对应的修正像素坐标。
为了消除目标对象与相机光轴间的位置关系在确定目标对象的姿态时带来的影响,根据获取到的姿态角和相机内部参数,对初始像素坐标进行修正,获取修正像素坐标,修正像素坐标为假设对相机进行旋转得到虚拟的相机坐标系时,目标对象位于虚拟的相机光轴上时目标对象对应的像素坐标。具体的,如图3所示,目标对象A与相机光轴间的姿态角为α1,此时目标对象A会在成像平面上成像,目标对象在成像平面上对应的像素坐标为初始像素坐标,然后假设相机光心不变,改变相机的姿态即对相机进行旋转,使得旋转后的相机光轴落在目标对象A上,此时目标对象A的成像会落在虚拟的旋转后的成像平面上,目标对象在旋转后的成像平面上对应的像素坐标为修正像素坐标。
步骤40,根据修正像素坐标、预设模型和姿态角,确定目标对象的姿态。
在得到修正像素坐标后,根据预先训练好的预设模型和姿态角,可以确定出准确度较高的目标对象的姿态。
本实施例提供的姿态确定方法的有益效果至少在于:
本实施例考虑到相同姿态的目标对象相对相机光轴的位置不同,在图像中的成像也就不同,因此在确定目标对象的姿态时,利用目标对象与相机光轴间的姿态角对目标对象在图像中的初始像素坐标进行修正,即假设对相机进行旋转,以使目标对象位于旋转后虚拟的相机光轴上,并根据目标对象相对虚拟的相机光轴的像素坐标获取修正像素坐标,利用该修正像素坐标避免了因目标对象相对相机光轴位置不同而使得得到的目标对象的姿态准确性较低的问题,即利用该修正像素坐标得到的目标对象的姿态准确性较高。
本公开一个示例性实施例中,预设模型以修正像素坐标和修正姿态为训练数据,修正姿态为利用姿态角对目标对象的初始姿态进行调整得到的。
为了保证利用预设模型获取到准确的目标对象的姿态,在训练预设模型时,会采集一系列目标对象对应的初始像素坐标和目标对象的初始姿态,目标对象的初始姿态是指目标对象的姿态真值,其中目标对象的初始像素坐标与目标对象的姿态真值相对应,利用姿态角对初始像素坐标和初始姿态进行修正,得到修正像素坐标和修正姿态,修正姿态为将目标对象的初始姿态旋转姿态角对应的角度后得到的姿态,修正姿态与修正像素坐标相对应,以修正像素坐标作为模型的输入,以修正姿态作为模型训练的真值,获取预设模型,使得利用该预设模型进行训练得到的目标对象的姿态的准确性较高。
图4示出了如图2所示的实施例中获取目标对象在图像中的初始像素坐标的流程示意图。
如图4所示,在上述图2所示实施例的基础上,本申请一个示例性实施例中,步骤10所示的获取目标对象在图像中的初始像素坐标,具体可以包括如下步骤:
步骤101,检测图像中的目标对象,获取目标对象对应的感兴趣区域。
视觉传感器在采集图像时,视野范围内通常不止存在目标对象,则在图像中目标对象通常只占据一部分区域,因此在获取到图像后,先检测图像中的目标对象,以获取目标对象对应的感兴趣区域(ROI区域),感兴趣区域为目标对象所在的区域,是图像分析关注的重点,确定出目标对象对应的感兴趣区域,可以避免对全部图像区域进行处理,减少处理时间,增加处理精度。例如,在做人脸的姿态估计时,检测图像中的人脸,以确定出人脸对应的ROI区域。
步骤102,根据感兴趣区域,获取目标对象在图像中的初始像素坐标。
在确定出目标对象的感兴趣区域后,读取感兴趣区域内的像素点对应的像素坐标,以确定目标对象的感兴趣区域在图像中对应的初始像素坐标。
本实施例中,确定目标对象在图像中所处的区域,并对该区域进行提取以确定图像中的感兴趣区域,进一步根据感兴趣区域确定出目标对象在图像中的初始像素坐标,避免直接在全部图像区域中确定出目标对象对应的初始像素坐标,从而减少处理时间,增加处理精度,使得获取到的目标对象在图像中的初始像素坐标的准确性较高。
图5示出了如图2所示的实施例中根据初始像素坐标和相机内部参数,确定目标对象与相机光轴间的姿态角的流程示意图。
如图5所示,在上述图2所示实施例的基础上,本申请一个示例性实施例中,步骤20所示的确定目标对象与相机光轴间的姿态角,具体可以包括如下步骤:
步骤201,根据初始像素坐标和相机内部参数,获取目标对象对应的观测射线。
初始像素坐标可以获取目标对象在图像中的信息,而确定目标对象与相机光轴间的姿态角时,需要获取目标对象在三维空间中的信息,因此在确定初始像素坐标后,根据初始像素坐标和相机光心间的连线获取到目标对象对应的观测射线,其中相机光心属于相机的内部参数,基于针孔成像原理可知,观测射线为初始像素坐标在三维空间中所有可能的成像点的集合,则目标对象存在位于该观测射线上的成像点。如图3所示,点O为相机的光心,点P为成像平面上初始像素坐标,目标对象A位于点P与点O连线的延长线上,点P与点O相三维空间中的延长线即该目标对象对应的观测射线。
步骤202,根据观测射线在相机坐标系下与相机光轴间的角度,确定目标对象与相机光轴间的姿态角。
在获取到目标对象的观测射线后,可以获取到观测射线在相机坐标系下与相机光轴间的角度,该角度即为目标对象与相机光轴间的姿态角(如图3中的角α1)。目标对象在三维空间中具有三维信息,在相机坐标系下,通常以相机光轴为z轴,因此通常姿态角会包括角α2和角β,即将目标对象沿相机坐标下的x轴方向转动α2角,再将目标对象沿y轴转动β角,使得目标对象位于旋转后虚拟的相机光轴上。
在本实施例中,通过初始像素坐标和相机内部参数,确定出目标对象对应的观测射线,根据该观测射线可以准确的确定出目标对象与相机光轴间的姿态角。
图6示出了如图5所示的实施例中根据初始像素坐标和相机内部参数,获取目标对象对应的观测射线的流程示意图。
如图6所示,在上述图5所示实施例的基础上,本申请一个示例性实施例中,步骤201所示的获取目标对象对应的观测射线,具体可以包括如下步骤:
步骤2011,在初始像素坐标中选取出关键像素坐标。
目标对象在三维空间中具有一定的体积,因此目标对象在图像中会有一定的面积,则目标对象在图像中会对应初始像素坐标,在确定目标对象与相机光轴间的姿态角时,不需要确定每一个初始像素坐标与相机光心的连线,只需在初始像素坐标中确定出关键像素坐标,确定关键像素坐标与相机光心的连线即可,提高方法的处理效率。具体的,在根据感兴趣区域确定目标对象对应的初始像素坐标时,可以确定感兴趣区域的中心点对应的初始像素坐标为关键像素坐标。
步骤2012,根据关键像素坐标和相机内部参数,获取目标对象对应的观测射线。
在确定了关键像素坐标后,根据关键像素坐标与相机光心的连线,获取目标对象对应的观测射线,确定出关键像素坐标对应的观测射线后,可以快速的确定出目标对象与相机光轴间的姿态角,根据该姿态角对相机进行旋转,使得关键像素坐标对应的目标对象的成像点位于旋转后虚拟的相机光轴上。
在本实施例中,通过在初始像素坐标中选取出关键像素坐标,从而根据关键像素坐标确定出目标对象对应的观测射线,可以提高方法的处理时间和处理效率。
图7示出了如图2所示的实施例中根据初始像素坐标、姿态角和相机内部参数,获取目标对象对应的修正像素坐标的流程示意图。
如图7所示,在上述图2所示实施例的基础上,本申请一个示例性实施例中,步骤30所示的获取目标对象对应的修正像素坐标,具体可以包括如下步骤:
步骤301,根据姿态角和相机内部参数,获取变换矩阵。
相机采集图像的过程是将三维空间中具有三维信息的空间点投影到图像空间中具有二维信息的像素点的过程,在此过程中涉及到世界坐标系、相机坐标系、图像物理坐标系和图像像素坐标系间的转换,其中相机坐标系中的一空间点到图像像素坐标系中的像素点存在以下转换关系:
其中,(u,v)表征像素坐标,K表征相机的内部参数矩阵,fx表征相机的焦距在x轴方向的分量,fx表征相机的焦距在y轴方向的分量,(x,y,z)表征相机坐标系下的空间点的坐标。
在获取修正像素坐标时,保持相机光心不变,对相机进行旋转,如图8所示,将相机沿相机坐标系下的x轴转动α2角,再将相机沿y轴转动β角,即可将图8中小矩形所示的目标对象转换为相机光轴上,图中大矩形表示表示的目标对象,则存在以下转换公式:
其中,s表征目标对象在相机坐标系下的坐标,R表征旋转矩阵。
从上述转换公式可以看出(u,v)到(u’,v’)为仿射变换中的一种,并确定出变换矩阵为K·R·K^(-1)。
步骤302,利用变换矩阵对初始像素坐标进行变换,获取目标对象对应的修正像素坐标。
在确定出变换矩阵后,利用变换矩阵对初始像素坐标进行变换,以确定出目标对象对应的修正像素坐标。
在本实施例中通过确定出变换矩阵,对目标对象的初始像素坐标进行变换,获取到目标对象的修正像素坐标,该修正像素坐标的准确程度较高,从而进一步保证利用该修正像素坐标得到的目标对象的姿态的准确度。
图9示出了如图2所示的实施例中根据修正像素坐标、预设模型和姿态角,确定目标对象的姿态的流程示意图。
如图9所示,在上述图2所示实施例的基础上,本申请一个示例性实施例中,步骤40所示的确定目标对象的姿态,具体可以包括如下步骤:
步骤401,将修正像素坐标输入预设模型,获取目标对象的相对姿态。
将获取到的修正像素坐标输入预设模型,当然输入预设模型的还包括修正像素坐标携带的相关信息,例如将修正像素坐标和修正像素坐标携带的相关信息作为一个整体图像输入到预设模型中。通常利用预设模型得到的目标对象的姿态为相对姿态,相对姿态是指在假设对相机进行旋转后目标对象对应在虚拟光轴上的姿态,此时得到的相对姿态并不是目标对象真实的姿态,因此在利用预设模型获取到相对姿态后还需对相对姿态进行进一步的调整。
步骤402,利用姿态角对相对姿态进行调整,以确定目标对象的姿态。
修正像素坐标是利用姿态角对初始像素坐标进行修正得到的,即将相机旋转姿态角对应的角度,因此在获取到相对姿态后,为了得到目标对象真实的姿态,还需要利用姿态角对相对姿态进行调整,即将得到的相对姿态也进行旋转,但是在旋转时需要注意旋转的方向和顺序。例如利用姿态角在获取修正像素坐标时,将相机沿相机坐标系下x轴方向顺时针转动了α2角,再将相机沿y轴顺时针转动β角,在利用姿态角对姿态真值进行调整获取修正姿态时,需要将姿态真值沿相机坐标系下的x轴方向顺时针转动了α2角,再沿y轴顺时针转动β角,因此在根据姿态角对相对姿态进行调整时,将获取的目标对象的相对姿态沿虚拟相机坐标系下的y轴方向逆时针转动β角,再沿x轴方向逆时针转动了α2角,此时可以获取到准确的目标对象的姿态。
在本实施例中,考虑到利用预设模型得到的目标对象的姿态通常为相对姿态,因此通过姿态角对预设模型获取到的相对姿态进行调整,从而使得确定出的目标对象的姿态准确性较高。
示例性装置
基于与本申请方法实施例相同的构思,本申请实施例还提供了一种姿态确定装置。
图10示出了本申请一示例性实施例提供的姿态确定装置的结构示意图。
如图10所示,本申请一示例性实施例提供的姿态确定装置,包括:
初始坐标获取模块101,用于获取目标对象在图像中的初始像素坐标;
姿态角获取模块102,用于根据初始像素坐标和相机内部参数,确定目标对象与相机光轴间的姿态角;
修正坐标获取模块103,用于根据初始像素坐标、姿态角和相机内部参数,获取目标对象对应的修正像素坐标;
姿态确定模块104,用于根据修正像素坐标、预设模型和姿态角,确定目标对象的姿态。
如图11所示,在一个示例性实施例中,初始坐标获取模块101包括:
区域检测单元1011,用于检测图像中的目标对象,获取目标对象对应的感兴趣区域。
初始坐标获取单元1012,用于根据感兴趣区域,获取目标对象在图像中的初始像素坐标。
如图11所示,在一个示例性实施例中,姿态角获取模块102包括:
观测射线获取单元1021,用于根据初始像素坐标和相机内部参数,获取目标对象对应的观测射线。
姿态角获取单元1022,用于根据观测射线在相机坐标系下与相机光轴间的角度,确定目标对象与相机光轴间的姿态角。
如图12所示,在一个示例性实施例中,观测射线获取单元1021包括:
关键坐标选取子单元10211,用于在初始像素坐标中选取出关键像素坐标。
观测射线获取子单元10212,用于根据关键像素坐标和相机内部参数,获取目标对象对应的观测射线。
如图13所示,在一个示例性实施例中,修正坐标获取模块103包括:
变换矩阵获取单元1031,用于根据姿态角和相机内部参数,获取变换矩阵。
修正坐标获取单元1032,用于利用变换矩阵对初始像素坐标进行变换,获取目标对象对应的修正像素坐标。
如图13所示,在一个示例性实施例中,姿态确定模块104包括:
相对姿态确定单元1041,用于将修正像素坐标输入预设模型,获取目标对象的相对姿态。
姿态确定单元1042,用于利用姿态角对相对姿态进行调整,以确定目标对象的姿态。
示例性电子设备
图14图示了根据本申请实施例的电子设备的框图。
如图14所示,电子设备100包括一个或多个处理器101和存储器102。
处理器101可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元,并且可以控制电子设备100中的其他组件以执行期望的功能。
存储器102可以包括一个或多个计算机程序产品,所述计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令,处理器101可以运行所述程序指令,以实现上文所述的本申请的各个实施例的姿态确定方法以及/或者其他期望的功能。
在一个示例中,电子设备100还可以包括:输入装置103和输出装置104,这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
当然,为了简化,图14中仅示出了该电子设备100中与本申请有关的组件中的一些,省略了诸如总线、输入/输出接口等等的组件。除此之外,根据具体应用情况,电子设备100还可以包括任何其他适当的组件。
示例性计算机程序产品和计算机可读存储介质
除了上述方法和设备以外,本申请的实施例还可以是计算机程序产品,其包括计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的姿态确定方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码,所述程序设计语言包括面向对象的程序设计语言,诸如Java、C++等,还包括常规的过程式程序设计语言,诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外,本申请的实施例还可以是计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的姿态确定方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本申请的基本原理,但是,需要指出的是,在本申请中提及的优点、优势、效果等仅是示例而非限制,不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外,上述公开的具体细节仅是为了示例的作用和便于理解的作用,而非限制,上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的,可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇,指“包括但不限于”,且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”,且可与其互换使用,除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”,且可与其互换使用。
还需要指出的是,在本申请的装置、设备和方法中,各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的,并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此,本申请不意图被限制到在此示出的方面,而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外,此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例,但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。
Claims (10)
1.一种姿态确定方法,包括:
获取目标对象在图像中的初始像素坐标;
根据所述初始像素坐标和相机内部参数,确定所述目标对象与相机光轴间的姿态角;
根据所述初始像素坐标、所述姿态角和所述相机内部参数,获取所述目标对象对应的修正像素坐标;
根据所述修正像素坐标、预设模型和所述姿态角,确定所述目标对象的姿态。
2.根据权利要求1所述的方法,其中,所述根据所述初始像素坐标、所述姿态角和所述相机内部参数,获取所述目标对象对应的修正像素坐标,包括:
根据所述姿态角和所述相机内部参数,获取变换矩阵;
利用所述变换矩阵对所述初始像素坐标进行变换,获取所述目标对象对应的修正像素坐标。
3.根据权利要求1所述的方法,其中,所述根据所述初始像素坐标和相机内部参数,确定所述目标对象与相机光轴间的姿态角,包括:
根据所述初始像素坐标和相机内部参数,获取所述目标对象对应的观测射线;
根据所述观测射线在相机坐标系下与相机光轴间的角度,确定所述目标对象与相机光轴间的姿态角。
4.根据权利要求3所述的方法,其中,所述根据所述初始像素坐标和相机内部参数,获取所述目标对象对应的观测射线,包括:
在所述初始像素坐标中选取出关键像素坐标;
根据所述关键像素坐标和相机内部参数,获取所述目标对象对应的观测射线。
5.根据权利要求1所述的方法,其中,所述根据所述修正像素坐标、预设模型和所述姿态角,确定所述目标对象的姿态,包括:
将所述修正像素坐标输入所述预设模型,获取所述目标对象的相对姿态;
利用所述姿态角对所述相对姿态进行调整,以确定目标对象的姿态。
6.根据权利要求1所述的方法,其中,所述获取目标对象在图像中的初始像素坐标,包括:
检测图像中的目标对象,获取所述目标对象对应的感兴趣区域;
根据所述感兴趣区域,获取所述目标对象在图像中的初始像素坐标。
7.根据权利要求1-6任一项所述的方法,其中,所述预设模型以所述修正像素坐标和修正姿态为训练数据,所述修正姿态为利用所述姿态角对所述目标对象的初始姿态进行调整得到的。
8.一种姿态确定装置,包括:
初始坐标获取模块,用于获取目标对象在图像中的初始像素坐标;
姿态角获取模块,用于根据所述初始像素坐标和相机内部参数,确定所述目标对象与相机光轴间的姿态角;
修正坐标获取模块,用于根据所述初始像素坐标、所述姿态角和所述相机内部参数,获取所述目标对象对应的修正像素坐标;
姿态确定模块,用于根据所述修正像素坐标、预设模型和所述姿态角,确定所述目标对象的姿态。
9.一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序用于执行上述权利要求1-7任一项所述的姿态确定方法。
10.一种电子设备,所述电子设备包括:
处理器;
用于存储所述处理器可执行指令的存储器;
所述处理器,用于从所述存储器中读取所述可执行指令,并执行所述指令以实现上述权利要求1-7任一项所述的姿态确定方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910828873.4A CN112446917B (zh) | 2019-09-03 | 2019-09-03 | 一种姿态确定方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910828873.4A CN112446917B (zh) | 2019-09-03 | 2019-09-03 | 一种姿态确定方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112446917A CN112446917A (zh) | 2021-03-05 |
CN112446917B true CN112446917B (zh) | 2023-12-15 |
Family
ID=74735173
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910828873.4A Active CN112446917B (zh) | 2019-09-03 | 2019-09-03 | 一种姿态确定方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112446917B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114098980B (zh) * | 2021-11-19 | 2024-06-11 | 武汉联影智融医疗科技有限公司 | 相机位姿调整方法、空间注册方法、系统和存储介质 |
CN113221253B (zh) * | 2021-06-01 | 2023-02-07 | 山东贝特建筑项目管理咨询有限公司 | 一种用于锚栓图像检测的无人机控制方法和系统 |
CN113344966B (zh) * | 2021-06-18 | 2023-09-22 | 北京星航科创技术有限公司 | 一种运动相机的目标运动状态修正方法 |
CN114241597A (zh) * | 2021-11-15 | 2022-03-25 | 华为技术有限公司 | 一种姿态识别方法及其相关设备 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008204384A (ja) * | 2007-02-22 | 2008-09-04 | Canon Inc | 撮像装置、物体検出方法及び姿勢パラメータの算出方法 |
CN102252653A (zh) * | 2011-06-27 | 2011-11-23 | 合肥工业大学 | 基于tof无扫描三维成像的位姿测量方法 |
JP2013015519A (ja) * | 2012-06-26 | 2013-01-24 | Baybig Co Ltd | 3次元相対座標計測装置およびその方法 |
CN109214980A (zh) * | 2017-07-04 | 2019-01-15 | 百度在线网络技术(北京)有限公司 | 一种三维姿态估计方法、装置、设备和计算机存储介质 |
CN109271923A (zh) * | 2018-09-14 | 2019-01-25 | 曜科智能科技(上海)有限公司 | 人脸姿态检测方法、系统、电子终端及存储介质 |
CN109976344A (zh) * | 2019-03-30 | 2019-07-05 | 南京理工大学 | 巡检机器人姿态矫正方法 |
CN110119698A (zh) * | 2019-04-29 | 2019-08-13 | 北京百度网讯科技有限公司 | 用于确定对象状态的方法、装置、设备和存储介质 |
-
2019
- 2019-09-03 CN CN201910828873.4A patent/CN112446917B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008204384A (ja) * | 2007-02-22 | 2008-09-04 | Canon Inc | 撮像装置、物体検出方法及び姿勢パラメータの算出方法 |
CN102252653A (zh) * | 2011-06-27 | 2011-11-23 | 合肥工业大学 | 基于tof无扫描三维成像的位姿测量方法 |
JP2013015519A (ja) * | 2012-06-26 | 2013-01-24 | Baybig Co Ltd | 3次元相対座標計測装置およびその方法 |
CN109214980A (zh) * | 2017-07-04 | 2019-01-15 | 百度在线网络技术(北京)有限公司 | 一种三维姿态估计方法、装置、设备和计算机存储介质 |
CN109271923A (zh) * | 2018-09-14 | 2019-01-25 | 曜科智能科技(上海)有限公司 | 人脸姿态检测方法、系统、电子终端及存储介质 |
CN109976344A (zh) * | 2019-03-30 | 2019-07-05 | 南京理工大学 | 巡检机器人姿态矫正方法 |
CN110119698A (zh) * | 2019-04-29 | 2019-08-13 | 北京百度网讯科技有限公司 | 用于确定对象状态的方法、装置、设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN112446917A (zh) | 2021-03-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112446917B (zh) | 一种姿态确定方法及装置 | |
CN110880189B (zh) | 联合标定方法及其联合标定装置和电子设备 | |
JP6011548B2 (ja) | カメラ校正装置、カメラ校正方法およびカメラ校正用プログラム | |
JP2019079553A (ja) | ビジョンシステムでラインを検出するためのシステム及び方法 | |
US11625842B2 (en) | Image processing apparatus and image processing method | |
CN111028205B (zh) | 一种基于双目测距的眼睛瞳孔定位方法及装置 | |
CN113409391B (zh) | 视觉定位方法及相关装置、设备和存储介质 | |
JP6684475B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
CN111489288B (zh) | 一种图像的拼接方法和装置 | |
CN110225321B (zh) | 梯形校正的训练样本数据获取系统和方法 | |
CN114952856A (zh) | 机械臂手眼标定方法、系统、计算机及可读存储介质 | |
CN111627070B (zh) | 一种对旋转轴进行标定的方法、装置和存储介质 | |
CN112102415A (zh) | 基于标定球的深度相机外参数标定方法、装置及设备 | |
CN118115601A (zh) | 相机镜头旋转标定方法、装置及存储介质 | |
Devy et al. | Camera calibration from multiple views of a 2D object, using a global nonlinear minimization method | |
CN116614621B (zh) | 相机内感知算法的测试方法、设备和存储介质 | |
CN112629565A (zh) | 像机与惯性测量单元旋转关系校准方法、装置和设备 | |
JP7136737B2 (ja) | 三次元位置計測装置、三次元位置計測方法及びプログラム | |
CN116051634A (zh) | 一种视觉定位方法、终端及存储介质 | |
US20230149095A1 (en) | Surgical robotic arm control system and control method thereof | |
US20230033339A1 (en) | Image processing system | |
CN112700510B (zh) | 一种热力图构建方法及装置 | |
CN113989377A (zh) | 一种相机的外参标定方法、装置、存储介质及终端设备 | |
CN102110292B (zh) | 一种虚拟体育中的变焦镜头标定方法及装置 | |
CN113205591A (zh) | 一种三维重建训练数据的获取方法、装置及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |