CN115861428A - 一种位姿测量方法、装置、设备及存储介质 - Google Patents
一种位姿测量方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN115861428A CN115861428A CN202310171018.7A CN202310171018A CN115861428A CN 115861428 A CN115861428 A CN 115861428A CN 202310171018 A CN202310171018 A CN 202310171018A CN 115861428 A CN115861428 A CN 115861428A
- Authority
- CN
- China
- Prior art keywords
- characteristic
- point
- image
- feature
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种位姿测量方法、装置、设备及存储介质，所述方法包括：对被测物体的图像进行归一化处理，然后经过关键点检测网络提取若干特征点，并根据点云数据提取各特征点的坐标；对于每一特征点，当坐标为空值时，则建立的矩阵，并确定若干目标点，在遍历各目标点过程中，将第一个坐标不为空值的目标点替换所述特征点，并将替换后特征点作为待估计特征点；当特征点的坐标不为空值时，则直接将特征点作为待估计特征点；对各待估计特征点进行综合位姿计算，生成被测物体的位姿结果。通过实施本发明，能够从平面特征图像中获取特征点，同时对坐标为空值的特征点进行替换，使得物体被测平面的位姿计算更加高效和精准。
Description
技术领域
本发明涉及卫星导航定位领域，尤其涉及一种位姿测量方法、装置、设备及存储介质。
背景技术
平面位姿测量是计算机视觉的一个应用分支，广泛的应用于观测系统中，诸如飞机的舵面偏角测量，卫星的姿态估计和测量等等。目前现有技术通过目标点等计算机视觉算法，对物体表面进行标识，从而进行平面检测和计算，特征点需要粘贴在物体表面，检测效率低，同时在检测过程中受到环境因素的影响较大，容易受到诸如环境光照、转动角度以及背景相似等因素的干扰，造成获取的特征点的坐标出现空值的情况，也就是特征点出现空洞的情况，影响被测物体位姿识别检测的准确率。
发明内容
本发明提供了一种位姿测量方法、装置、设备及存储介质，能够使得物体被测平面的位姿计算更加高效和精准。
本发明提供了一种位姿测量方法，包括：获取被测物体的第一图像；
对所述第一图像进行归一化处理，生成第二图像；
将所述第二图像输入至预设的关键点检测网络中，通过所述关键点检测网络提取所述第二图像中被测物体的若干特征点；
获取所述第二图像的点云数据，根据所述点云数据，获取各所述特征点的坐标；
对于每一所述特征点，当所述特征点为的坐标为空值时，根据各所述特征点的坐标确定一中心点；将特征点与中心点连成的连线作为第一对角线，基于所述第一对角线建立矩形；确定所述矩形的第二对角线，在所述第一对角线以及第二对角线的四等分点位置确定各个目标点；对各个目标点进行遍历，将遍历过程中第一个坐标不为空值的目标点替换所述特征点，将替换后特征点作为待估计特征点；当所述特征点的坐标不为空值时，直接将所述特征点作为待估计特征点；
对各所述待估计特征点进行综合位姿计算，生成所述被测物体的位姿结果；
进一步的，对所述第一图像进行归一化处理，生成第二图像，包括：
将所述第一图像的尺寸调整为预设尺寸，得到尺寸调整后的图像；
将尺寸调整后的图像中所有像素点的色度值归一化至预设的区间内，得到色度值归一后的图像；
将色度值归一化后的图像的向量维度扩充至预设的向量维度，生成第二图像；
进一步的，所述预设的关键点检测网络包括：输入模块、最大池化模块、特征抽样模块、平均池化模块、通用矩阵乘模块以及输出模块；
所述输入模块用于获取所述第二图像并传输至所述最大池化模块；
所述最大池化模块将所述第二图像的冗余信息去除，并将去除冗余信息后的第二图像传输至所述特征抽样模块；
所述特征抽样模块，对去除冗余信息后的第二图像进行特征抽样，生成第一特征矩阵，并将所述第一特征矩阵传输至平均池化模块；
所述平均池化模块对所述第一特征矩阵进行特征的下采样，生成第二特征矩阵，并将所述第二特征矩阵传输至所述通用矩阵乘模块；
所述通用矩阵乘模块，将所述第二特征矩阵与预设的权重矩阵进行通用矩阵乘计算，生成第三特征矩阵；
所述输出模块，用于根据所述第三特征矩阵，确定各特征点的坐标并输出；
进一步的，所述特征抽样模块，包括：第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第六卷积层、第七卷积层、第八卷积层、第一激活函数层以及第二激活函数层；
所述特征抽样模块，对去除冗余信息后的第二图像进行特征抽样，生成第一特征矩阵包括：
通过第一卷积层对所述第二图像进行卷积处理得到第一卷积特征；
将所述第一卷积特征依次通过第二卷积层、第三卷积层以及第四卷积层进行处理后，得到第二卷积特征；
将所述第一卷积特征通过第五卷积层进行处理后，得到第三卷积特征；
将所述第二卷积特征与所述第三卷积特征融合后，输入至第一激活函数层中，并通过所述第一激活函数层进行非线性映射，生成第一映射特征；
将所述第一映射特征依次通过所述第六卷积层、第七卷积层以及第八卷积层进行处理后，得到第四卷积特征；
将所述第四卷积特征以及第一映射特征融合后，输入至第二激活函数层中，并通过所述第二激活函数层进行非线性映射，生成第一特征矩阵。
进一步的，在对各所述目标点进行遍历时，若各所述目标点的坐标值都为空值，则剔除所述特征点。
在上述方法项实施例的基础上，本发明对应提供了装置项实施例；
本发明提供了一种基于深度学习的位姿测量装置，包括：图像获取模块、归一化图像模块、特征点获取模块、坐标确定模块、空值替换模块以及位姿确定模块；
所述图像获取模块，用于获取被测物体的第一图像；
所述归一化图像模块，用于对所述第一图像进行归一化处理，生成第二图像；
所述特征点获取模块，用于将所述第二图像输入至预设的关键点检测网络中，通过所述关键点检测网络提取所述第二图像中被测物体的若干特征点；
所述坐标确定模块，用于获取所述第二图像的点云数据，根据所述点云数据，获取各所述特征点的坐标；
所述空值替换模块，用于对于每一所述特征点，当所述特征点为的坐标为空值时，根据各所述特征点的坐标确定一中心点；将特征点与中心点连成的连线作为对角线，基于所述对角线建立矩形；在所述矩形的两条对角线上的四等分点位置确定各个目标点；对各个目标点进行遍历，将遍历过程中第一个坐标不为空值的目标点替换所述特征点，将替换后特征点作为待估计特征点；当所述特征点的坐标不为空值时，直接将所述特征点作为待估计特征点；
所述位姿确定模块，用于对各所述待估计特征点进行综合位姿计算，生成所述被测物体的位姿结果；
在上述方法项实施例的基础上，本发明对应提供了设备项实施例；
本发明提供了一种设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现任意一项所述的位姿测量方法。
在上述方法项实施例的基础上，本发明对应提供了存储介质项实施例；
本发明提供了一种存储介质，所述存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述存储介质所在设备执行任意一项所述的位姿测量方法。
本发明的实施例，具有如下有益效果：
本发明提供了一种位姿测量方法；所述方法，在获取被测物体的第一图像后进行归一化处理，生成第二图像；将所述第二图像输入至预设的关键点检测网络中，提取若干特征点，根据点云数据，提取各所述特征点的坐标；对于每一所述特征点，若所述特征点为的坐标为空值时，则确定若干特征点的中心点，并基于中心点建立矩阵，在矩阵中确定若干目标点，在遍历各所述目标点过程中，将第一个坐标不为空值的目标点替换所述特征点，并将替换后特征点作为待估计特征点；若所述特征点的坐标不为空值时，则直接将所述特征点作为待估计特征点；通过对各待估计特征点进行综合位姿计算，生成被测物体的位姿结果。通过实施本发明，能够直接从平面特征图像中，获取被测物体的特征点，同时能够对坐标为空值的特征点进行替换，使得物体被测平面的位姿计算更加高效和精准。
附图说明
图1是本发明一实施例提供的一种位姿测量方法流程示意图；
图2是本发明一实施例提供的一种基于深度学习的位姿测量算法流程示意图；
图3是本发明一实施例提供的预设关键点检测网络的结构示意图；
图4是本发明一实施例提供的一种关键点特征检测网络结构示意图；
图5是本发明一实施例提供的一种通用矩阵乘的计算过程示意图；
图6是本发明一实施例提供的一种目标点替换特征点的矩阵示意图；
图7是本发明一实施例提供的一种基于深度学习的位姿测量装置的结构示意图。
具体实施方式
下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1和图2所示，一实施例提供的一种位姿测量方法，包括：
步骤S1:获取被测物体的第一图像；
步骤S2:对所述第一图像进行归一化处理，生成第二图像;
步骤S3:将所述第二图像输入至预设的关键点检测网络中，通过所述关键点检测网络提取所述第二图像中被测物体的若干特征点；
步骤S4:获取所述第二图像的点云数据，根据所述点云数据，获取各所述特征点的坐标；
步骤S5:对于每一所述特征点，当特征点坐标为空值时，通过建立矩阵寻找替换的目标点对特征点进行替换，替换后作为待估计特征点；当特征点坐标不为空值时，则直接做为待估计特征点；
步骤S6:对各所述待估计特征点进行综合位姿计算，生成所述被测物体的位姿结果。
对于步骤S1，在一个优选的实施例中，通过非接触不间断的方式对正在运行的物体进行观测，获取被测物体的第一图像；
对于步骤S2，在一个可选的实施例中，将所述第一图像的尺寸调整为预设尺寸，得到尺寸调整后的图像；
将尺寸调整后的图像中所有像素点的色度值归一化至预设的区间内，得到色度值归一后的图像；
将色度值归一化后的图像的向量维度扩充至预设的向量维度，生成第二图像。
具体的，获取的第一图像在统一的尺度下，将尺寸调整为256*256；尺寸调整后的图像中所有像素点的色度值从区间（0，255）归一化至区间（0，1）内；
将色度值归一化后的图像向量维度扩充至预设的向量维度，例如将（H，W，C）排布的图像调整维度顺序为（C，H，W），然后扩充至第四维度（B，C，H，W），其中B在训练时为训练设置批量输入的个数，而在本实施例中取值为1；
对于步骤S3，在一个可选的实施例中，如图3所示，所述预设的关键点检测网络包括：输入模块、最大池化模块、特征抽样模块、平均池化模块、通用矩阵乘模块以及输出模块；
所述输入模块用于获取所述第二图像并传输至所述最大池化模块；
所述最大池化模块将所述第二图像的冗余信息去除，并将去除冗余信息后的第二图像传输至所述特征抽样模块；
所述特征抽样模块，对去除冗余信息后的第二图像进行特征抽样，生成第一特征矩阵，并将所述第一特征矩阵传输至平均池化模块；
所述平均池化模块对所述第一特征矩阵进行特征的下采样，生成第二特征矩阵，并将所述第二特征矩阵传输至所述通用矩阵乘模块；
所述通用矩阵乘模块，将所述第二特征矩阵与预设的权重矩阵进行通用矩阵乘计算，生成第三特征矩阵；
所述输出模块，用于根据所述第三特征矩阵，确定各特征点的坐标并输出；
在另一个可选的实施例中，所述特征抽样模块，包括：第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第六卷积层、第七卷积层、第八卷积层、第一激活函数层以及第二激活函数层；
所述特征抽样模块，对去除冗余信息后的第二图像进行特征抽样，生成第一特征矩阵包括：
通过第一卷积层对所述第二图像进行卷积处理得到第一卷积特征；
将所述第一卷积特征依次通过第二卷积层、第三卷积层以及第四卷积层进行处理后，得到第二卷积特征；
将所述第一卷积特征通过第五卷积层进行处理后，得到第三卷积特征；
将所述第二卷积特征与所述第三卷积特征融合后，输入至第一激活函数层中，并通过所述第一激活函数层进行非线性映射，生成第一映射特征；
将所述第一映射特征依次通过所述第六卷积层、第七卷积层以及第八卷积层进行处理后，得到第四卷积特征；
将所述第四卷积特征以及第一映射特征融合后，输入至第二激活函数层中，并通过所述第二激活函数层进行非线性映射，生成第一特征矩阵；
具体的，如图4所示，首先通过（Input）输入模块获取第二图像，然后经过（Maxpool）最大池化模块，去除第二图像的冗余信息，降低非必要的数值干扰；接着通过特征抽样模块，在特征抽样模块中，经过n个网络块进行特征抽样，具体为：经过一个总的
第一卷积层Conv，生成第一卷积特征，然后分为两个部分，在左边部分，所述第一卷积特征依次通过/>
的第二卷积层、/>
的第三卷积层、/>
的第四卷积层处理后生成第二卷积特征，在右边部分，所述第一卷积特征通过/>
的第五卷积层处理后，得到第三卷积特征；
将所述第二卷积特征与所述第三卷积特征融合后，经过m个残差结构块，生成第一特征矩阵，具体为：将所述第二卷积特征与所述第三卷积特征融合后，输入至第一激活函数层Relu中，并通过所述第一激活函数层进行非线性映射，生成第一映射特征；然后分为两个部分，左边部分直接传输第一映射特征，在右边部分，所述第一映射特征依次通过
的第六卷积层、/>
的第七卷积层、/>
的第八卷积层处理后生成第三卷积特征，将将所述第四卷积特征以及第一映射特征融合后，输入至第二激活函数层中，并通过所述第二激活函数层进行非线性映射，生成第一特征矩阵；需要说明的是，在本实施例中，n取值为5，m取值为3；n和m的取值由具体识别的特征点个数和复杂程度决定；
将生成的第一特征矩阵通过平均池化模块（AvgPool）进行特征的下采样，生成第二特征矩阵，并将所述第二特征矩阵传输至所述通用矩阵乘模块；
示意性的，如图5所示，所述通用矩阵乘模块（Gemm），将所述第二特征矩阵与预设的权重矩阵进行通用矩阵乘计算，生成第三特征矩阵；
所述输出模块，用于根据所述第三特征矩阵，确定各特征点的坐标并输出。
对于步骤S4，在一个优选的实施中，根据相机给出的点云数据，并根据点云数据，对应图像中x个特征点的像素位置进行提取；需要说明的是，在本实施例中x的取值为3；
对于步骤S5，在一个优选的实施例中，对于每一所述特征点，当所述特征点为的坐标为空值时，根据各所述特征点的坐标确定一中心点；将特征点与中心点连成的连线作为第一对角线，基于所述第一对角线建立矩形；确定所述矩形的第二对角线，在所述第一对角线以及第二对角线的四等分点位置确定各个目标点；对各个目标点进行遍历，将遍历过程中第一个坐标不为空值的目标点替换所述特征点，将替换后特征点作为待估计特征点；当所述特征点的坐标不为空值时，直接将所述特征点作为待估计特征点；也就是，判断所提取的特征点是否存在空值，也就是判断特征点的坐标是否为空值，如果存在空值则进行坐标替换算法的求取，以获得邻近的代替值；
具体的，如图6所示，当某一特征点的坐标为空值时，首先在若干特征点中确定一个中心点，然后将所述特征点与中心点的连线作为对角线，建立一个矩阵，在矩阵中两条对角线的四等分点位置确定5个目标点，分别为A、B、C、D、E点；然后分别对5个目标点进行排序，第1、第2、第3目标点分别是特征点和中心点对角线上的3个四等分点，第1目标点距离特征点最近，第2目标点为两条对角线的交点，第3目标点距离中心点最近，也就是第1目标点为A点，第二目标点为B点，第3目标点的为C点；紧接着确定在另一条对角线上D和E两个特征点的顺序，具体的：以所述坐标为空值的特征点为原点，以ox方向作为x轴，以oy方向作为y轴，建立一个直角坐标系，第4特征点的x坐标始终靠近特征点，也就是始终靠近y轴；第5个特征点的y坐标始终靠近特征点，也就是始终靠近x轴的，因此可以确定，第4目标点为D点，第5目标点为E点；综合起来，5个目标点的顺序依次为A、B、C、D、E点，按照第1至第5的顺序对各目标点进行遍历，将第一个坐标不为空值的目标点替换特征点，并将替换后的特征点作为待估计特征点；当某一特征点的坐标不空值时，直接将所述特征点作为待估计特征点；
对各所述待估计特征点进行综合位姿计算，生成所述被测物体的位姿结果；
在一个可选的实施例中，在对各所述目标点进行遍历时，若各所述目标点的坐标值都为空值，则剔除所述特征点。
对于步骤S6，在一个可选的实施例中，对各所述待估计特征点进行综合位姿计算，生成所述被测物体的位姿结果，是基于现有技术中，任意一种通过被测物体图像上的特征点进行被测物体位姿计算的方法，在此不再额外赘述；
在上述方法项实施例的基础上，本发明对应提供了装置项实施例。
如图7所示，本发明另一实施例提供了基于深度学习的位姿测量装置，包括：图像获取模块、归一化图像模块、特征点获取模块、坐标确定模块、空值替换模块以及位姿确定模块；
所述图像获取模块，用于获取被测物体的第一图像；
所述归一化图像模块，用于对所述第一图像进行归一化处理，生成第二图像；
所述特征点获取模块，用于将所述第二图像输入至预设的关键点检测网络中，通过所述关键点检测网络提取所述第二图像中被测物体的若干特征点；
所述坐标确定模块，用于获取所述第二图像的点云数据，根据所述点云数据，获取各所述特征点的坐标；
所述空值替换模块，用于对于每一所述特征点，当所述特征点为的坐标为空值时，根据各所述特征点的坐标确定一中心点；将特征点与中心点连成的连线作为对角线，基于所述对角线建立矩形；在所述矩形的两条对角线上的四等分点位置确定各个目标点；对各个目标点进行遍历，将遍历过程中第一个坐标不为空值的目标点替换所述特征点，将替换后特征点作为待估计特征点；当所述特征点的坐标不为空值时，直接将所述特征点作为待估计特征点；
所述位姿确定模块，用于对各所述待估计特征点进行综合位姿计算，生成所述被测物体的位姿结果。
在上述方法项实施例的基础上，本发明对应提供了设备项实施例。
本发明另一实施例提供了一种设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序；所述处理器执行所述计算机程序时，实现本发明任意一实施例的位姿测量方法。
示例性的，在这一实施例中所述计算机程序可以被分割成一个或多个模块，所述一个或者多个模块被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述设备中的执行过程；
所述设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述设备可包括，但不仅限于，处理器、存储器；
所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列 (Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述设备的控制中心，利用各种接口和线路连接整个设备的各个部分；
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述设备的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡（Smart MediaCard, SMC），安全数字（Secure Digital,SD）卡，闪存卡（Flash Card）、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
在上述方法项实施例的基础上，本发明对应提供了存储介质项实施例。
本发明另一实施例提供了一种存储介质，所述存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述存储介质所在的设备执行本发明任意一实施例的位姿测量方法。
在这一实施例中，上述存储介质为计算机可读存储介质，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（ROM，Read-OnlyMemory）、随机存取存储器（RAM，Random Access Memory）、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
通过实施本发明上述各个实施例，能够直接从平面特征图像中，获取被测物体的特征点，能够对坐标为空值的特征点进行替换，使得物体被测平面的位姿计算更加高效和精准。
上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护。
Claims (8)
1.一种位姿测量方法，其特征在于，包括：
获取被测物体的第一图像；
对所述第一图像进行归一化处理，生成第二图像；
将所述第二图像输入至预设的关键点检测网络中，通过所述关键点检测网络提取所述第二图像中被测物体的若干特征点；
获取所述第二图像的点云数据，根据所述点云数据，获取各所述特征点的坐标；
对于每一所述特征点，当所述特征点为的坐标为空值时，根据各所述特征点的坐标确定一中心点；将特征点与中心点连成的连线作为第一对角线，基于所述第一对角线建立矩形；确定所述矩形的第二对角线，在所述第一对角线以及第二对角线的四等分点位置确定各个目标点；对各个目标点进行遍历，将遍历过程中第一个坐标不为空值的目标点替换所述特征点，将替换后特征点作为待估计特征点；当所述特征点的坐标不为空值时，直接将所述特征点作为待估计特征点；
对各所述待估计特征点进行综合位姿计算，生成所述被测物体的位姿结果。
2.如权利要求1所述的位姿测量方法，其特征在于，对所述第一图像进行归一化处理，生成第二图像，包括：
将所述第一图像的尺寸调整为预设尺寸，得到尺寸调整后的图像；
将尺寸调整后的图像中所有像素点的色度值归一化至预设的区间内，得到色度值归一后的图像；
将色度值归一化后的图像的向量维度扩充至预设的向量维度，生成第二图像。
3.如权利要求1所述的位姿测量方法，其特征在于，所述预设的关键点检测网络包括：输入模块、最大池化模块、特征抽样模块、平均池化模块、通用矩阵乘模块以及输出模块；
所述输入模块用于获取所述第二图像并传输至所述最大池化模块；
所述最大池化模块将所述第二图像的冗余信息去除，并将去除冗余信息后的第二图像传输至所述特征抽样模块；
所述特征抽样模块，对去除冗余信息后的第二图像进行特征抽样，生成第一特征矩阵，并将所述第一特征矩阵传输至平均池化模块；
所述平均池化模块对所述第一特征矩阵进行特征的下采样，生成第二特征矩阵，并将所述第二特征矩阵传输至所述通用矩阵乘模块；
所述通用矩阵乘模块，将所述第二特征矩阵与预设的权重矩阵进行通用矩阵乘计算，生成第三特征矩阵；
所述输出模块，用于根据所述第三特征矩阵，确定各特征点的坐标并输出。
4.如权利要求3所述的位姿测量方法，其特征在于，所述特征抽样模块，包括：第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第六卷积层、第七卷积层、第八卷积层、第一激活函数层以及第二激活函数层；
所述特征抽样模块，对去除冗余信息后的第二图像进行特征抽样，生成第一特征矩阵包括：
通过第一卷积层对所述第二图像进行卷积处理得到第一卷积特征；
将所述第一卷积特征依次通过第二卷积层、第三卷积层以及第四卷积层进行处理后，得到第二卷积特征；
将所述第一卷积特征通过第五卷积层进行处理后，得到第三卷积特征；
将所述第二卷积特征与所述第三卷积特征融合后，输入至第一激活函数层中，并通过所述第一激活函数层进行非线性映射，生成第一映射特征；
将所述第一映射特征依次通过所述第六卷积层、第七卷积层以及第八卷积层进行处理后，得到第四卷积特征；
将所述第四卷积特征以及第一映射特征融合后，输入至第二激活函数层中，并通过所述第二激活函数层进行非线性映射，生成第一特征矩阵。
5.如权利要求1所述的位姿测量方法，其特征在于，还包括：在对各所述目标点进行遍历时，若各所述目标点的坐标值都为空值，则剔除所述特征点。
6.一种基于深度学习的位姿测量装置，其特征在于，包括：图像获取模块、归一化图像模块、特征点获取模块、坐标确定模块、空值替换模块以及位姿确定模块；
所述图像获取模块，用于获取被测物体的第一图像；
所述归一化图像模块，用于对所述第一图像进行归一化处理，生成第二图像；
所述特征点获取模块，用于将所述第二图像输入至预设的关键点检测网络中，通过所述关键点检测网络提取所述第二图像中被测物体的若干特征点；
所述坐标确定模块，用于获取所述第二图像的点云数据，根据所述点云数据，获取各所述特征点的坐标；
所述空值替换模块，用于对于每一所述特征点，当所述特征点为的坐标为空值时，根据各所述特征点的坐标确定一中心点；将特征点与中心点连成的连线作为对角线，基于所述对角线建立矩形；在所述矩形的两条对角线上的四等分点位置确定各个目标点；对各个目标点进行遍历，将遍历过程中第一个坐标不为空值的目标点替换所述特征点，将替换后特征点作为待估计特征点；当所述特征点的坐标不为空值时，直接将所述特征点作为待估计特征点；
所述位姿确定模块，用于对各所述待估计特征点进行综合位姿计算，生成所述被测物体的位姿结果。
7.一种设备，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至5中任意一项所述的位姿测量方法。
8.一种存储介质，其特征在于，所述存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述存储介质所在设备执行如权利要求1至5中任意一项所述的位姿测量方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310171018.7A CN115861428B (zh) | 2023-02-27 | 2023-02-27 | 一种位姿测量方法、装置、终端设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310171018.7A CN115861428B (zh) | 2023-02-27 | 2023-02-27 | 一种位姿测量方法、装置、终端设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115861428A true CN115861428A (zh) | 2023-03-28 |
| CN115861428B CN115861428B (zh) | 2023-07-14 |
Family
ID=85659150
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310171018.7A Active CN115861428B (zh) | 2023-02-27 | 2023-02-27 | 一种位姿测量方法、装置、终端设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115861428B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016015036A (ja) * | 2014-07-02 | 2016-01-28 | ソニー株式会社 | 画像処理装置、画像処理方法 |
| CN107392947A (zh) * | 2017-06-28 | 2017-11-24 | 西安电子科技大学 | 基于轮廓共面四点集的2d‑3d图像配准方法 |
| US20190244050A1 (en) * | 2017-07-07 | 2019-08-08 | Tencent Technology (Shenzhen) Company Limited | Method, device and storage medium for determining camera posture information |
| CN113781561A (zh) * | 2021-09-09 | 2021-12-10 | 诺力智能装备股份有限公司 | 基于自适应高斯权快速点特征直方图的目标位姿估计方法 |
| US20220292715A1 (en) * | 2021-03-09 | 2022-09-15 | Samsung Electronics Co., Ltd. | Method and apparatus for estimating pose of device |
| WO2023015566A1 (zh) * | 2021-08-13 | 2023-02-16 | 深圳市大疆创新科技有限公司 | 控制方法、控制装置、可移动平台及存储介质 |
-
2023
- 2023-02-27 CN CN202310171018.7A patent/CN115861428B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016015036A (ja) * | 2014-07-02 | 2016-01-28 | ソニー株式会社 | 画像処理装置、画像処理方法 |
| CN107392947A (zh) * | 2017-06-28 | 2017-11-24 | 西安电子科技大学 | 基于轮廓共面四点集的2d‑3d图像配准方法 |
| US20190244050A1 (en) * | 2017-07-07 | 2019-08-08 | Tencent Technology (Shenzhen) Company Limited | Method, device and storage medium for determining camera posture information |
| US20220292715A1 (en) * | 2021-03-09 | 2022-09-15 | Samsung Electronics Co., Ltd. | Method and apparatus for estimating pose of device |
| WO2023015566A1 (zh) * | 2021-08-13 | 2023-02-16 | 深圳市大疆创新科技有限公司 | 控制方法、控制装置、可移动平台及存储介质 |
| CN113781561A (zh) * | 2021-09-09 | 2021-12-10 | 诺力智能装备股份有限公司 | 基于自适应高斯权快速点特征直方图的目标位姿估计方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115861428B (zh) | 2023-07-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110322500B (zh) | 即时定位与地图构建的优化方法及装置、介质和电子设备 | |
| CN112837371B (zh) | 基于3d匹配的物体抓取方法、装置及计算设备 | |
| CN112336342B (zh) | 手部关键点检测方法、装置及终端设备 | |
| CN108573471B (zh) | 图像处理装置、图像处理方法以及记录介质 | |
| US10776657B2 (en) | Template creation apparatus, object recognition processing apparatus, template creation method, and program | |
| CN110349212B (zh) | 即时定位与地图构建的优化方法及装置、介质和电子设备 | |
| CN109955244B (zh) | 一种基于视觉伺服的抓取控制方法、装置和机器人 | |
| US20130315490A1 (en) | Feature point matching device, feature point matching method, and non-transitory computer readable medium storing feature matching program | |
| CN110738204B (zh) | 一种证件区域定位的方法及装置 | |
| CN111832634A (zh) | 异物检测方法、系统、终端设备及存储介质 | |
| CN112465876A (zh) | 一种立体匹配方法及设备 | |
| CN113945937A (zh) | 精度检测方法、装置及存储介质 | |
| CN116051873A (zh) | 关键点匹配方法、装置及电子设备 | |
| CN114593681B (zh) | 厚度测量方法，装置，电子设备及存储介质 | |
| CN113793349A (zh) | 目标检测方法及装置、计算机可读存储介质、电子设备 | |
| US10013602B2 (en) | Feature vector extraction device based on cell positioning | |
| CN115861428A (zh) | 一种位姿测量方法、装置、设备及存储介质 | |
| CN116295466A (zh) | 地图生成方法、装置、电子设备、存储介质、及车辆 | |
| CN112464753A (zh) | 图像中关键点的检测方法、检测装置及终端设备 | |
| Huang et al. | Methods on visual positioning based on basketball shooting direction standardisation | |
| CN110399892B (zh) | 环境特征提取方法和装置 | |
| Chang et al. | The shape of patterns tells more: Using two dimensional Hough transform to detect circles | |
| CN110705479A (zh) | 模型训练方法和目标识别方法、装置、设备及介质 | |
| CN118134979B (zh) | 基于单平面特征的点云配准方法、装置和电子设备 | |
| CN113837270B (zh) | 一种目标识别方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |