CN117911503A - 位姿估计方法、装置、电子设备及存储介质 - Google Patents
位姿估计方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN117911503A CN117911503A CN202311745527.2A CN202311745527A CN117911503A CN 117911503 A CN117911503 A CN 117911503A CN 202311745527 A CN202311745527 A CN 202311745527A CN 117911503 A CN117911503 A CN 117911503A
- Authority
- CN
- China
- Prior art keywords
- identified
- pose estimation
- image
- model
- objective function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 230000006870 function Effects 0.000 claims description 83
- 239000013598 vector Substances 0.000 claims description 46
- 238000004422 calculation algorithm Methods 0.000 claims description 31
- 238000006073 displacement reaction Methods 0.000 claims description 28
- 238000012549 training Methods 0.000 claims description 27
- 238000011156 evaluation Methods 0.000 claims description 22
- 238000005070 sampling Methods 0.000 claims description 22
- 238000000137 annealing Methods 0.000 claims description 21
- 230000008569 process Effects 0.000 claims description 12
- 238000010801 machine learning Methods 0.000 claims description 7
- 238000012216 screening Methods 0.000 claims description 7
- 238000010276 construction Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 abstract description 6
- 239000011159 matrix material Substances 0.000 description 13
- 238000010586 diagram Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 6
- 230000003993 interaction Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000003032 molecular docking Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本申请提供了一种位姿估计方法、装置、电子设备及存储介质，涉及图像处理技术领域。其中，该方法包括：获取待识别图像；所述待识别图像为针对待识别目标进行拍摄获得的三维图像；根据所述待识别图像中待识别目标的几何特征构建目标函数；调用位姿估计模型，根据所述目标函数对所述待识别图像进行位姿估计，获得对应所述待识别目标的位姿估计结果。本申请解决了相关技术中位姿估计的准确度低的问题。
Description
技术领域
本申请涉及图像处理技术领域，具体而言，本申请涉及一种位姿估计方法、装置、电子设备及存储介质。
背景技术
目标相对位姿估计方法在航天、工业装配等领域中有大量应用。例如在航天领域，两艘航天器之间的相对位姿估计是空间交会对接与目标跟踪的关键问题。在工业领域，通过位姿估计方法估计物件相对摄像机的姿态实现自动装配的工作任务。
现有的位姿估计方法基于单目摄像机对待识别目标进行摄像，采集待识别目标的位姿图像中的一类几何特征，通过图像数据与模型的匹配关系进行位姿估计，然而，通过图像中的一类几何特征匹配算法并不能很好地确定图像数据与模型的匹配关系。另一方面，基于单目摄像机的基本几何特征匹配算法都是只能处理单一的直线段或圆特征，导致算法的鲁棒性不足，姿态估计的准确度不足。
由上可知，如何提高位姿估计的准确度的问题仍有待解决。
发明内容
本申请各提供了一种位姿估计方法、装置、电子设备及存储介质，可以解决相关技术中存在的位姿估计的准确度低的问题。所述技术方案如下：
根据本申请的一个方面，一种位姿估计方法，其特征在于，包括：获取待识别图像；所述待识别图像为针对待识别目标进行拍摄获得的三维图像；根据所述待识别图像中待识别目标的几何特征构建目标函数；调用位姿估计模型，根据所述目标函数对所述待识别图像进行位姿估计，获得对应所述待识别目标的位姿估计结果；所述位姿估计模型是是经过确定性退火算法训练、且具有对所述待识别目标进行位姿估计的机器学习模型。
根据本申请的一个方面，一种位姿估计装置，其特征在于，包括：图像获取模块，用于获取待识别图像；所述待识别图像为针对待识别目标进行拍摄获得的三维图像；函数构建模块，用于根据所述待识别图像中待识别目标的几何特征构建目标函数；位姿估计模块，用于调用位姿估计模型，根据所述目标函数对所述待识别图像进行位姿估计，获得对应所述待识别目标的位姿估计结果；所述位姿估计模型是是经过确定性退火算法训练、且具有对所述待识别目标进行位姿估计的机器学习模型。
在一示例性实施例中，所述函数构建模块，包括：图像重建单元，用于对所述待识别图像进行图像重建，获得待识别目标的几何特征；采样单元，用于对所述待识别图像的旋转参数空间进行采样，获得至少一个旋转参数；函数构建单元，用于根据各所述旋转参数和所述几何特征构建目标函数。
在一示例性实施例中，所述图像重建单元，包括：图像重建子单元，用于针对所述待识别图像的至少一个几何维度进行图像重建，获得对应各几何维度的方向向量，各所述几何维度包括直线段维度和圆维度；特征生成子单元，用于根据各所述几何维度对应的方向向量生成待识别目标的几何特征。
在一示例性实施例中，所述位姿估计模块，包括：筛选单元，用于根据所述目标函数对各所述旋转参数进行筛选，获得满足预设阈值的至少一个目标旋转参数；位姿估计单元，用于将所述待识别目标的几何特征和各所述目标旋转参数输入所述位姿估计模型，对所述待识别图像进行位姿估计，得到对应各所述目标旋转参数的初步估计结果；结果评估单元，用于对各所述初步估计结果进行匹配性评估，根据评估结果在各所述初步估计结果中确定其中一个初步评估结果为位姿估计结果。
在一示例性实施例中，所述筛选单元，包括：输出确定子单元，用于对各旋转参数生成的目标函数进行同步比较，确定相同参数条件下所述目标函数的输出值；参数确定子单元，用于将输出值在预设阈值内的所述目标函数对应的旋转参数确定为目标旋转参数。
在一示例性实施例中，所述初步估计结果包括对应各目标旋转参数的位移向量和特征匹配关系；所述结果评估单元，包括：结果生成子单元，用于根据各所述位移向量和各所述目标旋转参数进行匹配性计算，确定各所述特征匹配关系的评价分数，并将根据所述评价分数最小的特征匹配关系生成位姿估计结果。
在一示例性实施例中，所述装置还包括：
训练图像获取模块，用于获取多个训练图像，所述训练图像包括训练图像中待识别目标的三维模型；
训练结果生成模块，用于将当前一个所述训练图像输入所述位姿估计模型，通过确定性退火算法进行位姿估计得到位姿估计结果；
更新模块，用于根据所述位姿估计结果与当前一个所述训练图像中三维模型的差异，确定所述位姿估计模型是否满足训练完成条件；若否，则更新所述位姿估计模型参数并根据，直至所述位姿估计模型满足所述训练完成条件，得到完成训练的所述位姿估计模型。
根据本申请的一个方面，一种电子设备，包括至少一个处理器以及至少一个存储器，其中，所述存储器上存储有计算机可读指令；所述计算机可读指令被一个或多个所述处理器执行，使得电子设备实现如上所述的位姿估计方法。
根据本申请的一个方面，一种存储介质，其上存储有计算机可读指令，所述计算机可读指令被一个或多个处理器执行，以实现如上所述的位姿估计方法。
本申请提供的技术方案带来的有益效果是：
在上述技术方案中，通过获取三维的待识别图像；再根据所述待识别图像中待识别目标的几何特征构建目标函数；通过退火性算法训练的位姿估计模型，根据目标函数待识别图像中的多种几何特征进行位姿估计，获得更准确的位姿估计结果准确度，从而能够有效地解决相关技术中存在的位姿估计的准确度低的问题。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本申请所涉及的实施环境的示意图；
图2是根据一示例性实施例示出的一种位姿估计方法的流程图；
图3是图2对应实施例中步骤230在一个实施例的流程图；
图4是图3对应实施例中步骤231在一个实施例的流程图；
图4a是根据一示例性实施例示出的几何特征的示意图；
图5是图2对应实施例中步骤250在一个实施例的流程图；
图6是图5对应实施例中步骤251在一个实施例的流程图；
图7是图5对应实施例中步骤255在一个实施例的流程图；
图8是根据一示例性实施例示出的位姿估计模型的训练的流程图；
图9a是一应用场景中一种位姿估计方法的具体实现示意图；
图9b是一应用场景中一种位姿估计方法的具体实现示意图；
图10是根据一示例性实施例示出的一种位姿估计装置的结构框图；
图11是根据一示例性实施例示出的一种电子设备的结构框图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本申请的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本公开的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
如前所述，现有的位姿估计方法基于单目摄像机对待识别目标进行摄像，采集待识别目标的位姿图像中的一类几何特征，通过图像数据与模型的匹配关系进行位姿估计，然而，通过图像中的一类几何特征匹配算法并不能很好地确定图像数据与模型的匹配关系。另一方面，基于单目摄像机的基本几何特征匹配算法都是只能处理单一的直线段或圆特征，导致算法的鲁棒性不足，姿态估计的准确度不足。
由上可知，相关技术中仍存在位姿估计的准确度不高的缺陷。
为此，本申请提供的位姿估计方法，能够有效地提升位姿估计的准确度，相应地，该位姿估计方法适用于位姿估计装置，该位姿估计装置可部署于电子设备，该电子设备可以是配置冯诺依曼体系结构的计算机设备，例如，该计算机设备包括台式电脑、笔记本电脑、服务器等；该电子设备也可以是具有中控功能的电子设备，例如，该电子设备包括网关等；该电子设备还可以是指便携移动的电子设备，例如，该电子设备包括智能手机、平板电脑等。
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
图1为一种位姿估计方法所涉及的一种实施环境的示意图。需要说明的是，该种实施环境只是一个适配于本发明的示例，不能认为是提供了对本发明的使用范围的任何限制。
该实施环境包括采集端110和服务端130。
具体地，采集端110，也可以认为是图像采集设备，包括但不限于摄像头、相机、摄录机等具有拍摄功能的电子设备。例如，采集端110为立体摄像机。
服务端130，该服务端130可以是台式电脑、笔记本电脑、服务器等等电子设备，还可以是由多台服务器构成的计算机集群，甚至是由多台服务器构成的云计算中心。其中，服务端130用于提供后台服务，例如，后台服务包括但不限于位姿估计服务等等。
服务端130与采集端110之间通过有线或者无线等方式预先建立网络通信连接，并通过该网络通信连接实现服务端130与采集端110之间的数据传输。传输的数据包括但不限于：待识别对象的待识别图像等等。
在一应用场景中，通过采集端110与服务端130的交互，采集端110针对待识别对象拍摄并采集得到待识别图像，并将该待识别图像上传至服务端130，以请求服务端130提供位姿估计服务。
对于服务端130而言，在接收到采集端110上传的待识别对象的待识别图像之后，便调用位姿估计服务，对待识别对象的待识别图像进行位姿估计，获得待识别对象的位姿估计结果，以此来解决相关技术中存在的效果较差的问题。
请参阅图2，本申请实施例提供了一种位姿估计方法，该方法适用于电子设备，该电子设备可以是图1所示出实施环境中的服务端130。
在下述方法实施例中，为了便于描述，以该方法各步骤的执行主体为电子设备为例进行说明，但是并非对此构成具体限定。
如图2所示，该方法可以包括以下步骤：
步骤210，获取待识别图像。
其中，待识别图像为针对待识别目标进行拍摄获得的三维图像。
在一种可能的实现方式，通过立体摄像机对待识别目标拍摄在不同方位进行拍照，生成待识别目标的左右图像作为待识别图像。
步骤230，根据待识别图像中待识别目标的几何特征构建目标函数。
其中，目标函数用于在位姿估计过程中通过待识别图像中待识别目标的几何特征针对性描述待识别目标的状态。可以理解，每个不同待识别图像中的几何特征都不相同，因此生成的目标函数也不相同，即目标函数唯一的对应待识别图像。
在一种可能的实现方式，通过重建待识别图像中的空间直线段和圆，生成空间直线的方向向量，空间圆旋转轴的方向向量以及旋转参数生成对应的目标函数。
步骤250，调用位姿估计模型，根据目标函数对待识别图像进行位姿估计，获得对应待识别目标的位姿估计结果。
其中，位姿估计模型是是经过确定性退火算法训练、且具有对待识别目标进行位姿估计的机器学习模型。
需要说明的是，在用图像特征生成位姿估计结果之前，需要对待识别图像中获得的数据与待识别目标的模型进行匹配处理。在本申请中，位姿估计模型通过确定性退火算法进行匹配处理，以此确定待识别图像中数据与待识别目标的模型的匹配关系，找到与待识别图像的真实值最接近的位姿估计结果，例如待识别目标的六自由度位姿信息和待识别目标模型的匹配信息。
通过上述过程，通过待识别图像的多种几何特征生成目标函数，并根据基于确定性退火算法的位姿估计模型进行位姿估计，可以同时处理待识别图像中的多种特征，且特征数量没有限制，提高了位姿估计所述能获取的信息维度，提高位姿估计准确度，同时通过确定性退火算法进行匹配处理，提高了三维图像中的几何特征与待识别目标的匹配精度，提高了位姿估计准确度。
在一示例性实施例中，如图3所示，步骤230可以包括以下步骤：
步骤231，对待识别图像进行图像重建，获得待识别目标的几何特征。
在一示例性实施例中，如图4所示，步骤231可以包括以下步骤：
步骤2311，针对待识别图像的至少一个几何维度进行图像重建，获得对应各几何维度的方向向量，
其中，几何维度包括直线段维度和圆维度。
步骤2313，根据各几何维度对应的方向向量生成待识别目标的几何特征。
其中，对待识别图像进行直线段维度和圆维度上的图形重建并提取特征，可以获得待识别图像中的重建直线和重建空间圆数据，例如，如图4a所示，图中示出根据直线段维度和圆维度生成的几何特征，其中上图中圆点表示重建直线上的采样点，实线段表示采样获得的模型直线段。下图中圆点表示重建空间圆及其旋转轴上的采样点，实线圆表示采样获得的模型圆。
步骤233，对待识别图像的旋转参数空间进行采样，获得至少一个旋转参数。
在一种可能的实现方式，通过汤姆逊方法对待识别图像的旋转参数空间进行均匀采样获得旋转参数。
在一种可能的实现方式，旋转参数以旋转矩阵的形式获得，通过K近邻法(K-NN)估计待识别图像中KR个旋转矩阵R。
其中，K近邻法使用的度量函数公式为：
其中，
其中，NL和ML分别表示待识别图像上拟合直线的数量和待识别目标模型上直线的数量。NC和MC分别表示待识别图像上拟合椭圆的数量和待识别目标模型上圆的数量。nLi和mLk分别表示第i个重建直线段的单位方向向量和第k个模型直线的单位方向向量。nCi和mCk分别表示第i个重建空间圆的旋转轴单位方向向量和第k个模型圆的旋转轴单位方向向量。β1和α1表示一个设定常数。
需要说明的是，的物理意义与/>相同。/>函数和/>函数是指示从待识别图像中获得的旋转矩阵与真值的匹配程度的函数，在/>中，较大的/>和/>将使得指数函数exp()变得非常小。这样选择使得/>最小的KR个R就是最接近真值的旋转矩阵估计。例如，当旋转矩阵R越接近真值，nLi和RmLk在正确匹配关系下应该约接近共线状态，此时/>约接近0。而在错误匹配关系或离真值较远的R会使/>较大。α1是一个设定值，代表/>在重建特征没有与其匹配的模型特征情况下的值。
步骤235，根据各旋转参数和几何特征构建目标函数。
在一种可能的实现方式，三维图像是左右图像，根据左右图像构建的目标函数公式如下：
其中，
其中，表示待识别图像中重建直线与待识别目标模型直线的匹配关系，例如，如果/>表示第i条待识别图像重建直线与第k条模型直线匹配，如果/>表示第i条待识别图像重建直线与第k条模型直线不匹配。
表示待识别图像重建圆与待识别目标模型圆的匹配关系，例如，如果/>表示第i条待识别图像重建圆与第k条模型圆匹配，如果/>表示第i条待识别图像重建圆与第k条模型圆不匹配。
此外，Kl和Kr分别表示对带识别目标进行拍摄的摄像机的内参数矩阵，Lli表示左图像中第i条拟合直线，Lri表示右图像中第i条拟合直线。/>分别表示左右图像中直线段与摄像机光心构成的平面。
nsl1表示在第k条模型直线上采样点的总数，Pkj表示在第k条模型直线上的第j个采样点。Ci和Ck分别表示第i个待识别图像重建圆的圆心坐标(相对左摄像机)和第k个模型圆的圆心坐标(相对模型坐标系)。
其中，mck表示第k个模型圆的旋转轴的单位方向向量，且Qk为投影矩阵。例如，对于任意向量v，Qk为向量v在第k个模型圆的旋转轴上的投影。nsc1表示在第i个待识别图像重建圆的旋转轴上的采样点数量，/>表示第i个待识别图像重建圆的旋转轴上的第j个采样点。nsc2表示在第i个待识别图像重建圆的圆周上的采样点数量，/>表示第i个待识别图像重建圆的圆周上的第j个采样点。ri表示第i个待识别图像重建圆的半径，rk表示第k个模型圆的半径。
此外目标函数中公式如下：
其中，函数指示旋转矩阵R和位移向量t是否接近真值以及匹配关系是否正确，是：模型直线上的采样点到摄像机光心与图像拟合直线所构成的空间平面的距离。当旋转矩阵R和位移向量t接近真值以及匹配关系正确时，模型直线会非常靠近摄像机光心与图像拟合直线所构成的空间平面，此时/>会非常接近0。而在错误的旋转矩阵R和位移向量t下或者错误的匹配关系下，/>会非常大。
此外目标函数中公式如下：
其中，函数包括如下四部分：
(1)待识别图像重建圆的圆心到模型圆的圆心的距离。
(2)待识别图像重建空间圆的旋转轴上的采样点到模型圆的旋转轴的距离。
(3)待识别图像重建空间圆圆周上的采样点到模型圆支撑平面的距离。
(4)待识别图像重建空间圆的半径与模型圆的半径之间差。
通过函数的值指示旋转矩阵R和位移向量t是否接近真值，例如，当旋转矩阵R和位移向量t接近真值以及匹配关系正确时，(1)、(2)、(3)和(4)所分别代表的物理量均会非常接近0，/>函数也接近0。而在错误的旋转矩阵R和位移向量t下或者错误的匹配关系下，(1)、(2)、(3)和(4)之中至少有一个所代表的物理量会非常大，/>函数也非常大。
需要注意的是，和/>中，k的取值上限分别是ML+1和MC+1。当k＝ML+1(或MC+1)时表示第i个待识别图像重建的直线特征(或圆形特征)没有与其匹配的模型特征，此时，k值的取值范围设置在正确匹配和误匹配的/>(或/>)之间。
需要说明的是，在构建目标函数过程中，目标函数可以进行化简，其中化简过程如下：
再对求关于t的导数：
其中
此时，令可得关于位移向量t的线性方程如下：
记：
则关于位移向量t的线性方程可以表示成：
t＝B-1A.。
通过上述过程，构建对应待识别图像的目标函数，可以对待识别图像的多种基本几何特征进行处理，提高了目标函数生成的准确度和鲁棒性，保证姿态识别过程的稳定进行，提高姿态识别准确度。
在一示例性实施例中，如图5所示，步骤250可以包括以下步骤：
步骤251，根据目标函数对各旋转参数进行筛选，获得满足预设阈值的至少一个目标旋转参数。
在一示例性实施例中，如图6所示，步骤251可以包括以下步骤：
步骤2511，对各旋转参数生成的目标函数进行同步比较，确定相同参数条件下目标函数的输出值。
步骤2513，将输出值在预设阈值内的目标函数对应的旋转参数确定为目标旋转参数。
其中，通过将所有旋转参数输入目标函数，使函数输出值按大小顺序排列，将函数输出值最小的旋转参数确定为目标旋转参数。
在一种可能的实现方式，使用k近邻法获取旋转参数，因此需要获取KR个目标旋转参数。
其中，旋转参数以旋转矩阵R的形式进行采集，其中R的罗德里格斯公式表示如下：
n＝[n1 n2 n3]T
＝[cosαsinβ sinαsinβ cosβ]T,，
其中0≤α＜2π，0≤β＜π，0≤θ＜π，α、β和θ通过汤姆逊采样方法获得的待识别图像的参数，最终通过对待识别图像进行采集可以产生NR个旋转矩阵R，将这NR个R带入度量函数公式，可求得NR个最小的KR个/>所对应的R即为目标旋转参数。
步骤253，将待识别目标的几何特征和各目标旋转参数输入位姿估计模型，对待识别图像进行位姿估计，得到对应各目标旋转参数的初步估计结果。
其中，初步估计结果包括对应各目标旋转参数的位移向量和特征匹配关系。例如，通过将KR个旋转参数输入位姿估计模型，生成KR个唯一向量和KR组特征匹配关系。
步骤255，对各初步估计结果进行匹配性评估，根据评估结果在各初步估计结果中确定其中一个初步评估结果为位姿估计结果。
在一示例性实施例中，如图7所示，步骤255可以包括以下步骤：
步骤2551，根据各位移向量和各目标旋转参数进行匹配性计算，确定各特征匹配关系的评价分数。
其中，评价分数是衡量旋转参数和位移向量匹配性的参数，评价分数越小，说明位姿估计模型生成的旋转参数和位移向量与真值越匹配，特征匹配关系匹配性越好。
步骤2553，根据评价分数最小的特征匹配关系生成位姿估计结果。
在一种可能的实现方式，通过目标函数对特征匹配关系进行筛选，获得最优的特征匹配关系以及姿态估计结果。
其中，通过K近邻算法得到KR个旋转矩阵R，并分别算出KR个位移向量t。
通过将旋转矩阵R和位移向量t输入目标函数进行计算。此时，在目标函数中，直线的损失函数公式如下：
其中
Pij表示第i条重建的空间直线上的第j个采样点，Pk1和Pk2分别表示第k条模型直线上的两个端点。median()表示取中位数。α4表示设置的阈值。nsl2表示在重建空间直线段上采样的点的数量，Pij表示第i条重建空间直线段上的第j个采样点。
圆的损失函数公式如下：
确定性退火算法关于匹配关系的度量函数如下：
其中z＝Z(Z表示确定性退火算法中设置的温度的数量)，(Rj,tj)表示K近邻算法求得的KR组姿态中的第j组姿态。
通过获取KR个中的最小值所对应的特征匹配关系以及姿态(R,t)，生成位姿估计结果。
在上述实施例的作用下，通过目标函数对特征匹配关系进行筛选，获得最优的特征匹配关系以及姿态估计结果，提高姿态识别的准确度。
在一示例性实施例中，如图8所示，位姿估计模型是经过确定性退火算法训练、且具有对待识别目标进行位姿估计的机器学习模型。训练过程包括：
步骤810，获取多个训练图像，并初始化位姿估计模型的参数。
步骤830，将当前一个训练图像输入位姿估计模型，通过确定性退火算法进行位姿估计得到位姿估计结果。
在一种可能的实现方式，确定性退火算法的流程如下：设定一系列温度βz，z＝1,2,....,Z；根据生成的位移向量t的线性方程，计算t的初始值(记为)，其中通过遍历所有的温度βz得到位移向量t。具体而言，用/>初始化/>根据位移向量t的线性方程中/>和/>的公式计算得到/>和/>根据化简后的关于位移向量t的线性方程更新/>重复此过程直到/>收敛，此时得到的t便是最终输出的位移向量t。
步骤850，根据位姿估计结果与当前一个训练图像的差异，确定位姿估计模型是否满足训练完成条件；若否，则更新位姿估计模型参数，直至位姿估计模型满足训练完成条件，得到完成训练的位姿估计模型。
通过更新位姿估计模型的参数使得位姿估计模型可以向提高位姿估计能力的方向训练，直到姿态估计能力满足用户要求。
在上述实施例的作用下，生成可根据确定性退火算法进行位姿估计的位姿估计模型，提高位姿估计的准确度。
图9a是一应用场景中一种位姿估计方法的具体实现示意图。该应用场景中，待识别目标为航天器，如图9a所示，通过多摄像机获取航天器的三维图像，图中圆圈线是通过航天器CAD模型在三维图像中的投影和位姿估计模型生成的位姿估计结果经过列文伯格-马夸尔特优化算法计算在三维图像中的投影。
首先，利用汤姆逊方法，对旋转参数空间进行均匀采样获得旋转参数，并通过立体摄像机左右图像重建目标表面的几何特征，使用空间直线的方向向量、空间圆旋转轴的方向向量以及旋转参数构建目标函数。
从所有采集的旋转参数中，找到使目标函数最小的KR个旋转参数确定为目标旋转参数。将目标旋转参数以及重建的空间基本几何特征输入确定性退火算法，在目标函数约束下，生成与旋转参数对应的KR个位移向量，以及KR组特征匹配关系。
将目标旋转参数和KR个位移向量作目标函数的输入，找到使目标函数最小的目标旋转参数和位移向量作为物体的位姿估计，将该目标旋转参数与位移向量对应的特征匹配关系作为最终的特征匹配关系，生成目标相对与立体相机的六自由度位姿。
根据位姿估计模型生成的位姿估计结果如图9a和图9b所示
图9a中图中圆圈线是通过CAD模型根据位姿估计模型生成的位姿估计结果生成的三维图像中的投影。
图9b中，上图中圆点表示重建直线上的采样点，实线段表示模型直线段；下图中圆点表示重建空间圆及其旋转轴上的采样点，实线圆表示模型圆；实验噪声设置为2，8条直线，8个圆；其中待识别图像中获得的数据与目标待识别模型的匹配结果完全正确；姿态估计结果中位移向量误差为0.6083％，旋转矩阵误差为0.0505度。
结果表明本发明的匹配结果以及位姿估计具有相当准确性，可以为下游任务提供先验知识。
下述为本申请装置实施例，可以用于执行本申请所涉及的位姿估计方法。对于本申请装置实施例中未披露的细节，请参照本申请所涉及的位姿估计方法的方法实施例。
请参阅图10，本申请实施例中提供了一种位姿估计装置900，包括但不限于：图像获取模块910、函数构建模块930、以及位姿估计模块950。
其中，图像获取模块910，用于获取待识别图像。待识别图像为针对待识别目标进行拍摄获得的三维图像。
函数构建模块930，用于根据待识别图像中待识别目标的几何特征构建目标函数。
位姿估计模块950，用于调用位姿估计模型，根据目标函数对待识别图像进行位姿估计，获得对应待识别目标的位姿估计结果。位姿估计模型是是经过确定性退火算法、且具有对待识别目标进行位姿估计的机器学习模型。
需要说明的是，上述实施例所提供的位姿估计装置在进行位姿估计时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即位姿估计装置的内部结构将划分为不同的功能模块，以完成以上描述的全部或者部分功能。
另外，上述实施例所提供的位姿估计装置与位姿估计方法的实施例属于同一构思，其中各个模块执行操作的具体方式已经在方法实施例中进行了详细描述，此处不再赘述。
请参阅图11，本申请实施例中提供了一种电子设备4000，该电子设备400可以包括：台式电脑、笔记本电脑、服务器等。
在图11中，该电子设备4000包括至少一个处理器4001以及至少一个存储器4003。
其中，处理器4001和存储器4003之间的数据交互，可以通过至少一个通信总线4002实现。该通信总线4002可包括一通路，用于在处理器4001和存储器4003之间传输数据。通信总线4002可以是PCI(Peripheral Component Interconnect，外设部件互连标准)总线或EISA(Extended Industry Standard Architecture，扩展工业标准结构)总线等。通信总线4002可以分为地址总线、数据总线、控制总线等。为便于表示，图11中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
可选地，电子设备4000还可以包括收发器4004，收发器4004可以用于该电子设备与其他电子设备之间的数据交互，如数据的发送和/或数据的接收等。需要说明的是，实际应用中收发器4004不限于一个，该电子设备4000的结构并不构成对本申请实施例的限定。
处理器4001可以是CPU(Central Processing Unit，中央处理器)，通用处理器，DSP(Digital Signal Processor，数据信号处理器)，ASIC(Application SpecificIntegrated Circuit，专用集成电路)，FPGA(Field Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器4001也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。
存储器4003可以是ROM(Read Only Memory，只读存储器)或可存储静态信息和指令的其他类型的静态存储设备，RAM(Random Access Memory，随机存取存储器)或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM(Electrically ErasableProgrammable Read Only Memory，电可擦可编程只读存储器)、CD-ROM(Compact DiscRead Only Memory，只读光盘)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序指令或代码并能够由电子设备400存取的任何其他介质，但不限于此。
存储器4003上存储有计算机可读指令，处理器4001可以通过通信总线4002读取存储器4003中存储的计算机可读指令。
该计算机可读指令被一个或多个处理器4001执行以实现上述各实施例中的位姿估计方法。
此外，本申请实施例中提供了一种存储介质，该存储介质上存储有计算机可读指令，计算机可读指令被一个或多个处理器执行，以实现如上的位姿估计方法。
本申请实施例中提供了一种计算机程序产品，计算机程序产品包括计算机可读指令，计算机可读指令存储在存储介质中，电子设备的一个或多个处理器从存储介质读取计算机可读指令，加载并执行该计算机可读指令，使得电子设备实现如上的位姿估计方法。
与相关技术相比，通过待识别图像的多种几何特征生成目标函数，并根据基于确定性退火算法的位姿估计模型进行位姿估计，可以同时处理待识别图像中的多种特征，且特征数量没有限制，提高了位姿估计所述能获取的信息维度，提高位姿估计准确度，同时通过确定性退火算法进行匹配处理，提高了三维图像中的几何特征与待识别目标的匹配精度，提高了位姿估计准确度。构建对应待识别图像的目标函数，可以对待识别图像的多种基本几何特征进行处理，提高了目标函数生成的准确度和鲁棒性，保证姿态识别过程的稳定进行，提高姿态识别准确度。通过目标函数对特征匹配关系进行筛选，获得最优的特征匹配关系以及姿态估计结果，提高姿态识别的准确度。生成可根据确定性退火算法进行位姿估计的位姿估计模型，提高位姿估计的准确度。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上仅是本申请的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。
Claims (10)
1.一种位姿估计方法，其特征在于，包括：
获取待识别图像；所述待识别图像为针对待识别目标进行拍摄获得的三维图像；
根据所述待识别图像中待识别目标的几何特征构建目标函数；
调用位姿估计模型，根据所述目标函数对所述待识别图像进行位姿估计，获得对应所述待识别目标的位姿估计结果；所述位姿估计模型是经过确定性退火算法训练、且具有对所述待识别目标进行位姿估计的机器学习模型。
2.如权利要求1所述的方法，其特征在于，所述根据所述待识别图像中待识别的几何特征构建目标函数，包括：
对所述待识别图像进行图像重建，获得待识别目标的几何特征；
对所述待识别图像的旋转参数空间进行采样，获得至少一个旋转参数；
根据各所述旋转参数和所述几何特征构建目标函数。
3.如权利要求2所述的方法，其特征在于，所述对所述待识别图像进行图像重建，获得待识别目标的几何特征，包括：
针对所述待识别图像的至少一个几何维度进行图像重建，获得对应各几何维度的方向向量，各所述几何维度包括直线段维度和圆维度；
根据各所述几何维度对应的方向向量生成待识别目标的几何特征。
4.如权利要求2所述的方法，其特征在于，所述调用位姿估计模型，根据所述目标函数对所述待识别图像进行位姿估计，获得对应所述待识别目标的位姿估计结果，包括：
根据所述目标函数对各所述旋转参数进行筛选，获得满足预设阈值的至少一个目标旋转参数；
将所述待识别目标的几何特征和各所述目标旋转参数输入所述位姿估计模型，对所述待识别图像进行位姿估计，得到对应各所述目标旋转参数的初步估计结果；
对各所述初步估计结果进行匹配性评估，根据评估结果在各所述初步估计结果中确定其中一个初步评估结果为位姿估计结果。
5.如权利要求4所述的方法，其特征在于，所述根据所述目标函数对各所述旋转参数进行筛选，获得满足预设阈值的至少一个目标旋转参数，包括：
对各旋转参数生成的目标函数进行同步比较，确定相同参数条件下所述目标函数的输出值；
将输出值在预设阈值内的所述目标函数对应的旋转参数确定为目标旋转参数。
6.如权利要求4所述的方法，其特征在于，所述初步估计结果包括对应各目标旋转参数的位移向量和特征匹配关系；
所述对各所述初步估计结果进行匹配性评估，根据评估结果在各所述初步估计结果中确定其中一个初步评估结果为位姿估计结果，包括：
根据各所述位移向量和各所述目标旋转参数进行匹配性计算，确定各所述特征匹配关系的评价分数；
根据所述评价分数最小的特征匹配关系生成位姿估计结果。
7.如权利要求1所述的方法，其特征在于，所述位姿估计模型的训练过程包括：
获取多个训练图像，所述训练图像包括训练图像中待识别目标的三维模型；
将当前一个所述训练图像输入所述位姿估计模型，通过确定性退火算法进行位姿估计得到位姿估计结果；
根据所述位姿估计结果与当前一个所述训练图像中三维模型的差异，确定所述位姿估计模型是否满足训练完成条件；若否，则更新所述位姿估计模型参数并根据，直至所述位姿估计模型满足所述训练完成条件，得到完成训练的所述位姿估计模型。
8.一种位姿估计装置，其特征在于，包括：
图像获取模块，用于获取待识别图像；所述待识别图像为针对待识别目标进行拍摄获得的三维图像；
函数构建模块，用于根据所述待识别图像中待识别目标的几何特征构建目标函数；
位姿估计模块，用于调用位姿估计模型，根据所述目标函数对所述待识别图像进行位姿估计，获得对应所述待识别目标的位姿估计结果；所述位姿估计模型是是经过确定性算法训练、且具有对所述待识别目标进行位姿估计的机器学习模型。
9.一种电子设备，其特征在于，包括：至少一个处理器以及至少一个存储器，其中，
所述存储器上存储有计算机可读指令；
所述计算机可读指令被一个或多个所述处理器执行，使得电子设备实现如权利要求1至7中任一项所述的位姿估计方法。
10.一种存储介质，其上存储有计算机可读指令，其特征在于，所述计算机可读指令被一个或多个处理器执行，以实现如权利要求1至7中任一项所述的位姿估计方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311745527.2A CN117911503A (zh) | 2023-12-15 | 2023-12-15 | 位姿估计方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311745527.2A CN117911503A (zh) | 2023-12-15 | 2023-12-15 | 位姿估计方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117911503A true CN117911503A (zh) | 2024-04-19 |
Family
ID=90688132
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311745527.2A Pending CN117911503A (zh) | 2023-12-15 | 2023-12-15 | 位姿估计方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117911503A (zh) |
-
2023
- 2023-12-15 CN CN202311745527.2A patent/CN117911503A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110322500B (zh) | 即时定位与地图构建的优化方法及装置、介质和电子设备 | |
| CN111612852B (zh) | 用于验证相机参数的方法和装置 | |
| CN111060138B (zh) | 标定方法及装置、处理器、电子设备、存储介质 | |
| CN112465877B (zh) | 一种基于运动状态估计的卡尔曼滤波视觉追踪稳定方法 | |
| JP2019190974A (ja) | キャリブレーション装置、キャリブレーション方法、及びプログラム | |
| CN113256718B (zh) | 定位方法和装置、设备及存储介质 | |
| CN113361365B (zh) | 定位方法和装置、设备及存储介质 | |
| CN113298870B (zh) | 一种物体的姿态跟踪方法、装置、终端设备和存储介质 | |
| CN112435193A (zh) | 一种点云数据去噪的方法、装置、存储介质和电子设备 | |
| CN111784776A (zh) | 视觉定位方法及装置、计算机可读介质和电子设备 | |
| CN110956131B (zh) | 单目标追踪方法、装置及系统 | |
| Żak et al. | Local image features matching for real-time seabed tracking applications | |
| CN112669452A (zh) | 一种基于卷积神经网络多分支结构的物体定位方法 | |
| CN112258647A (zh) | 地图重建方法及装置、计算机可读介质和电子设备 | |
| CN117911503A (zh) | 位姿估计方法、装置、电子设备及存储介质 | |
| JP2017111209A (ja) | ３ｄマップの作成 | |
| Huang et al. | Methods on Visual Positioning Based on Basketball Shooting Direction Standardisation | |
| CN115294280A (zh) | 三维重建方法、装置、设备、存储介质和程序产品 | |
| CN106651950B (zh) | 一种基于二次曲线透视投影不变性的单相机位姿估计方法 | |
| JP2023056466A (ja) | グローバル測位装置及び方法 | |
| CN109919998B (zh) | 卫星姿态确定方法、装置和终端设备 | |
| CN116295466A (zh) | 地图生成方法、装置、电子设备、存储介质、及车辆 | |
| CN115344113A (zh) | 多视角人体运动捕捉方法、装置、系统、介质及终端 | |
| CN113643328A (zh) | 标定物的重建方法、装置、电子设备及计算机可读介质 | |
| CN114119885A (zh) | 图像特征点匹配方法、装置及系统、地图构建方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |