CN114862951A - 一种将旋转和平移相解耦的6d位姿估计方法 - Google Patents

一种将旋转和平移相解耦的6d位姿估计方法 Download PDF

Info

Publication number
CN114862951A
CN114862951A CN202210456048.8A CN202210456048A CN114862951A CN 114862951 A CN114862951 A CN 114862951A CN 202210456048 A CN202210456048 A CN 202210456048A CN 114862951 A CN114862951 A CN 114862951A
Authority
CN
China
Prior art keywords
point cloud
target
rotation
translation
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210456048.8A
Other languages
English (en)
Inventor
李智勇
李峥嵘
陈文锐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan University
Original Assignee
Hunan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan University filed Critical Hunan University
Priority to CN202210456048.8A priority Critical patent/CN114862951A/zh
Publication of CN114862951A publication Critical patent/CN114862951A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种将旋转和平移相解耦的6D位姿估计方法，包括将RGBD图片进行图像分割得到包含目标的点云和RGB图片；分别提取包含目标的点云和RGB图片的特征，并根据特征估计目标的旋转；使用得到的目标的旋转对包含目标的点云进行旋转，得到与相机点云同方向的目标点云，然后估计点云的平移；点云平移为与相机点云同方向的目标点云，和相机点云之间的平移；通过迭代对目标的旋转和点云的平移进行优化，得到最终优化的6D位姿估计结果。本发明设计了一种将目标旋转和平移分开进行估计的网络框架，该框架通过先估计目标旋转，然后通过该旋转进行精确的平移估计，然后往返执行上两步操作以不断提高精度，拟合效果好，准确度高。

Description

一种将旋转和平移相解耦的6D位姿估计方法
技术领域
本发明属于计算机视觉处理领域，具体涉及一种将旋转和平移相解耦的6D 位姿估计方法。
背景技术
近几年来，目标6D位姿估计在机器人装配、自动驾驶和增强现实等领域得到了广泛的应用。在机器人抓取与装配任务中，实时且精确的3D定位和目标的朝向估计是抓取手势合理、装配成功率高的重要保障。
由于深度学习和人工智能的发展，出现了许多基于CNN的姿势估计方法。这些方法通常是其他领域更成熟方法的变体。如目标检测、实例分割、关键点检测等。然而，严格来说，由于6D姿势估计是一项3D任务，这些基于2D的方法最终会遇到瓶颈。由于RGBD传感器的成熟，目前的研究倾向于将RGB信息和深度信息结合起来进行姿态估计。在深度信息的帮助下，可以极大地缓解照明和障碍等环境因素造成的不稳定性。
最近的方法通常使用PointNet和CNN来分别提取RGBD图片的特征，然后采用一个主网络来直接估计目标的位姿，该位姿包括一个平移向量和一个四元数来分别代表3D位置和3D方向。但是本方法无法准确吻合人体实际观察到的位姿，造成6D位姿估计不准确，效率低。
发明内容
本发明的目的在于提供一种将旋转和平移相解耦的6D位姿估计方法，本方法准确进行位姿估计，符合人体实际观察方向。
本发明提供的这种将旋转和平移相解耦的6D位姿估计方法，包括如下步骤：
S1.将RGBD图片进行图像分割得到包含目标的点云和RGB图片；
S2.分别提取包含目标的点云和RGB图片的特征，并根据特征估计目标的旋转；
S3.使用得到的目标的旋转对包含目标的点云进行旋转，得到与相机点云同方向的目标点云，然后估计点云的平移；点云平移为与相机点云同方向的目标点云，和相机点云之间的平移；相机点云具体为相机得到的深度图片经过转换后得到的点云；
S4.通过迭代对目标的旋转和点云的平移进行优化，得到最终优化的6D位姿估计结果。
所述的步骤S1，包括采用PSPNet网络对相机得到的图像进行分割；将分割后的深度图片转换初始点云，并根据以检测中心为圆心，目标最大长度为直径做球，该球以外的点视为噪声点，剔除掉噪声点云，分割后输出为包含目标的点云和RGB图片。
所述的步骤S2包括，采用初始旋转的PointNet网络对包含目标的点云进行特征提取，得到点云特征；采用CNN网络对RGB图片的颜色信息进行特征提取，得到颜色特征；然后将点云特征和颜色特征点对点的进行融合得到特征F；将特征F输入到初始旋转的多层感知机中，对初始旋转的多层感知机进行训练，初始旋转的多层感知机输出四元数Q，四元数Q用于表示目标的旋转方向。
对初始旋转的多层感知机训练包括，采用初始旋转的多层感知机为每一个像素计算出一个长度为4的向量表示目标旋转，初始旋转的多层感知机为一种基于全连接网络的结构，并采用旋转损失函数进行训练：
Figure RE-GDA0003726212990000021
Figure RE-GDA0003726212990000022
vj＝xj-Rxj
其中，Lr表示特征估计目标的旋转的损失；xj表示相机点云的第j个点；R 表示真实旋转；
Figure RE-GDA0003726212990000023
表示第j个点的估计旋转；N表示相机点云的点的数量；ω表示旋转损失超参数；vj表示第j个点叉乘真实旋转之后形成的向量；
Figure RE-GDA0003726212990000024
表示第 j个点叉乘估计旋转之后形成的向量；<·,·>表示两个向量之间的余弦值；||·||表示向量的长度；
Figure RE-GDA0003726212990000025
表示估计向量的平均值。
所述的步骤S3，包括如下步骤：
A1.将四元数Q对包含目标的点云进行旋转，得到与相机点云同方向的目标点云，使得与相机点云同方向的目标点云，和相机点云的方向与数量一致；
A2.将与相机点云同方向的目标点云输入到初始平移的目标PointNet网络中提取出目标特征，将相机点云输入到初始平移的源PointNet网络中提取相机点云特征，并将目标特征和相机点云特征点对点进行拼接，得到拼接特征；同时将特征F复制N份拼接到得到的拼接特征中，并输入到初始平移的多层感知机中，输出一个3维的向量表示目标相对于相机的平移T，N为相机点云的数量。
所述的步骤A1，包括将目标的包含目标的点云转换成3D点云，然后叉乘，得到的旋转矩阵，旋转矩阵由四元数Q转换求得，得到与相机点云同方向的目标点云；对包含目标的点云进行采样，采样步骤为，将包含目标的点云根据其在相机坐标下的深度进行排序，选出深度最小的N个点，其中N为相机点云的数量；
所述的步骤A2，具体为采用去除了STN(空间转换网络)结构的初始平移的目标PointNet网络或初始平移的源PointNet网络，平移损失函数为：
Figure RE-GDA0003726212990000031
其中，Ld表示平移估计部分的损失；N为相机点云的数量；xj表示相机点云的第j个点；R表示真实旋转；
Figure RE-GDA0003726212990000032
表示第j个点的估计旋转；t表示真实平移；
Figure RE-GDA0003726212990000033
表示估计平移。
所述的步骤S4，每一次迭代包括如下步骤：
B1.将上一次迭代得到的旋转与平移应用到目标包含目标的点云的点云中并采样，得到一个粗对齐的点云，该点云与相机点云数量一致；
B2.将与相机点云同方向的目标点云输入到第i次迭代的旋转估计中的源PointNet网络中提取特征；将相机点云输入到第i次迭代的旋转估计中的目标 PointNet网络中提取特征；然后点对点的进行拼接；
B3.将特征F复制N份拼接到B2中的特征中，N为相机点云的数量，然后将该特征输入到第i次迭代的旋转估计中的MLP回归网络中，输出一个四元数表示目标相对于相机的旋转，具体为：
第k次迭代得到的旋转Rk表示为，
Figure RE-GDA0003726212990000041
其中，Ri-1表示第i-1次迭代得到的旋转；
Figure RE-GDA0003726212990000042
表示第i次迭代的旋转估计中的源PointNet网络、第i次迭代的旋转估计中的目标PointNet网络和第i次迭代的旋转估计中的MLP回归网络；ASS(·)表示步骤A1所述的采样步骤；ρ表示目标点云；Ti-1表示第i-1次迭代得到的平移；
Figure RE-GDA0003726212990000043
表示相机点云；I表示迭代总数；
采用步骤S3的方法求得第i次迭代得到的平移Ti：
Figure RE-GDA0003726212990000044
其中，
Figure RE-GDA0003726212990000045
表示第i次迭代的平移估计中的源PointNet网络、第i次迭代的平移估计中的目标PointNet网络和第i次迭代的平移估计中的MLP回归网络。
B4.计算总损失函数：
Figure RE-GDA0003726212990000046
其中，L表示总损失；Lr表示特征估计目标的旋转的损失；Ld表示平移估计部分的损失；β表示总损失超参数；
Figure RE-GDA0003726212990000047
表示第k次迭代的旋转损失；
Figure RE-GDA0003726212990000048
表示第 k次迭代的平移损失；
设置评价指标，评价指标为目标点云在分别与估计的位姿和真实位姿转换之后点之间的平均距离，
Figure RE-GDA0003726212990000049
其中，R表示真实旋转；
Figure RE-GDA00037262129900000410
表示第j个点的估计旋转；xj表示相机点云的第j个点；N为相机点云的数量；并采用得到的评价指标ADD对迭代结果进行评价，选取最优的6D位姿估计结果。
本发明提供的这种将旋转和平移相解耦的6D位姿估计方法，设计了一种将目标旋转和平移分开进行估计的网络框架，该框架通过先估计目标旋转，然后通过该旋转进行精确的平移估计，然后往返执行上两步操作以不断提高精度，拟合效果好，准确度高。
附图说明
图1为本发明方法的流程示意图。
图2为本发明实施例的位姿结果在流程中的示意图。
具体实施方式
如图1为本发明方法的流程示意图：本发明提供的这种将旋转和平移相解耦的6D位姿估计方法，包括如下步骤：
S1.将RGBD图片进行图像分割得到包含目标的点云和RGB图片；
S2.分别提取包含目标的点云和RGB图片的特征，并根据特征估计目标的旋转；
S3.使用得到的目标的旋转对包含目标的点云进行旋转，得到与相机点云同方向的目标点云，然后估计点云的平移；点云平移为与相机点云同方向的目标点云，和相机点云之间的平移；相机点云具体为相机得到的深度图片经过转换后得到的点云；
S4.通过迭代对目标的旋转和点云的平移进行优化，得到最终优化的6D位姿估计结果。
所述的步骤S1，包括采用一种轻量级的基于编码解码架构的实例分割网络对相机得到的图像进行分割，在本实施例中使用PSPNet；将分割后的深度图片转换初始点云，并根据以检测中心为圆心，目标最大长度为直径做球，该球以外的点视为噪声点，剔除掉噪声点云，分割后输出为包含目标的点云和RGB图片。
所述的步骤S2包括，采用初始旋转的PointNet网络对包含目标的点云进行特征提取，得到点云特征；采用CNN网络对RGB图片的颜色信息进行特征提取，得到颜色特征；然后将点云特征和颜色特征点对点的进行融合得到特征F；将特征F输入到初始旋转的多层感知机中，对初始旋转的多层感知机进行训练，初始旋转的多层感知机输出四元数Q，四元数Q用于表示目标的旋转方向。
对初始旋转的多层感知机训练包括，采用初始旋转的多层感知机为每一个像素计算出一个长度为4的向量表示目标旋转，初始旋转的多层感知机为一种基于全连接网络的结构，并采用旋转损失函数进行训练：
Figure RE-GDA0003726212990000051
Figure RE-GDA0003726212990000061
vj＝xj-Rxj
其中，Lr表示特征估计目标的旋转的损失；xj表示相机点云的第j个点，该点从对象的3D模型中随机选择；R表示真实旋转；
Figure RE-GDA0003726212990000062
表示第j个点的估计旋转； N表示相机点云的点的数量；ω表示旋转损失超参数；vj表示第j个点叉乘真实旋转之后形成的向量；
Figure RE-GDA0003726212990000063
表示第j个点叉乘估计旋转之后形成的向量；<·,·>表示两个向量之间的余弦值；||·||表示向量的长度；
Figure RE-GDA0003726212990000064
表示估计向量的平均值。
损失函数有两个约束。前者意味着每个点的方向与真实的方向尽可能相似，后者意味着每个向量的长度尽可能一致。
所述的步骤S3，包括如下步骤：
A1.将四元数Q对包含目标的点云进行旋转，得到与相机点云同方向的目标点云，使得与相机点云同方向的目标点云，和相机点云的方向与数量一致；
A2.将与相机点云同方向的目标点云输入到初始平移的目标PointNet网络中提取出目标特征，将相机点云输入到初始平移的源PointNet网络中提取相机点云特征，并将目标特征和相机点云特征点对点进行拼接，得到拼接特征；同时将特征F复制N份拼接到得到的拼接特征中，并输入到第二多层感知机中，输出一个3维的向量表示目标相对于相机的平移T，N为相机点云的数量。
所述的步骤A1，包括将目标的包含目标的点云转换成3D点云，然后叉乘得到的旋转矩阵，旋转矩阵由四元数Q转换求得，得到了与相机点云同方向的目标点云。因为深度相机得到的点云只有2.5D(即只能得到目标的一面)，所以需要对包含目标的点云进行采样。采样步骤为，将包含目标的点云根据其在相机坐标下的深度进行排序，然后选出深度最小的N个点，其中N为相机点云的数量。
所述的步骤A2，具体为由于STN结构会消除点云的旋转特性，采用去除了 STN结构的PointNet；平移损失函数为：
Figure RE-GDA0003726212990000065
其中，Ld表示平移估计部分的损失，这个损失代表了目标点云在分别应用了真实位姿和估计位姿之后的平均距离；N为相机点云的数量；xj表示相机点云的第j个点；R表示真实旋转；
Figure RE-GDA0003726212990000071
表示第j个点的估计旋转；t表示真实平移；
Figure RE-GDA0003726212990000072
表示估计平移。
步骤S4，每一次迭代包括如下步骤：
B1.将上一次迭代得到的旋转与平移应用到目标包含目标的点云的点云中并采样，得到一个粗对齐的点云，该点云与相机点云数量一致；
B2.将与相机点云同方向的目标点云输入到第i次迭代的旋转估计中的源PointNet网络中提取特征，将相机点云输入到第i次迭代的旋转估计中的目标 PointNet网络中提取特征，然后点对点的进行拼接；
B3.将特征F复制N份拼接到B2中的特征中，N为相机点云的数量，然后将该特征输入到第i次迭代的旋转估计中的MLP回归网络中，输出一个四元数表示目标相对于相机的旋转，具体为：
第k次迭代得到的旋转Qk表示为，
Figure RE-GDA0003726212990000073
其中，Qi-1表示第i-1次迭代得到的旋转；
Figure RE-GDA0003726212990000074
表示第i次迭代的旋转估计中的源PointNet网络、第i次迭代的旋转估计中的目标PointNet网络和第i次迭代的旋转估计中的MLP回归网络；ASS(·)表示步骤A1所述的采样步骤；ρ表示目标点云；Ti-1表示第i-1次迭代得到的平移；
Figure RE-GDA0003726212990000075
表示相机点云；I表示迭代总数；
采用步骤S3的方法求得第i次迭代得到的平移Ti：
Figure RE-GDA0003726212990000076
其中，
Figure RE-GDA0003726212990000077
表示第i次迭代的平移估计中的源PointNet网络、第i次迭代的平移估计中的目标PointNet网络和第i次迭代的平移估计中的MLP回归网络。
B4.计算总损失函数：
Figure RE-GDA0003726212990000078
其中，L表示总损失；Lr表示特征估计目标的旋转的损失；Ld表示平移估计部分的损失；β表示总损失超参数；
Figure RE-GDA0003726212990000079
表示第k次迭代的旋转损失；
Figure RE-GDA00037262129900000710
表示第k次迭代的平移损失；
设置评价指标，评价指标为目标点云在分别与估计的位姿和真实位姿转换之后点之间的平均距离，
Figure RE-GDA0003726212990000081
其中，R表示真实旋转；
Figure RE-GDA0003726212990000082
表示第j个点的估计旋转；xj表示相机点云的第j个点；N为相机点云的数量；并采用得到的评价指标ADD对迭代结果进行评价，选取最优的6D位姿估计结果。
如图2为本发明实施例的位姿结果在流程中的示意图。左侧为初始位姿，右侧为真实位姿结果；其中图2a表示初始位姿，图2b表示旋转估计后的位姿，图2c表示平移估计后的位姿，图2d表示第一次迭代旋转之后的位姿，图2e表示第一次迭代平移之后的位姿，图2f表示最终结果。在本实施例中，在YCB 数据集上进行了实验，获得了0.76cm的最终结果。另外，本发明的推理速度也可以满足实时性需求，在YCB数据集的图片中，能达到20fps的速度。

Claims (7)

1.一种将旋转和平移相解耦的6D位姿估计方法，其特征在于包括如下步骤：
S1.将RGBD图片进行图像分割得到包含目标的点云和RGB图片；
S2.分别提取包含目标的点云和RGB图片的特征，并根据特征估计目标的旋转；
S3.使用得到的目标的旋转对包含目标的点云进行旋转，得到与相机点云同方向的目标点云，然后估计点云的平移；点云平移为与相机点云同方向的目标点云，和相机点云之间的平移；相机点云具体为相机得到的深度图片经过转换后得到的点云；
S4.通过迭代对目标的旋转和点云的平移进行优化，得到最终优化的6D位姿估计结果。
2.根据权利要求1所述的将旋转和平移相解耦的6D位姿估计方法，其特征在于所述的步骤S1，包括采用PSPNet网络对相机得到的图像进行分割；将分割后的深度图片转换初始点云，并根据以检测中心为圆心，目标最大长度为直径做球，该球以外的点视为噪声点，剔除掉噪声点云，分割后输出为包含目标的点云和RGB图片。
3.根据权利要求2所述的将旋转和平移相解耦的6D位姿估计方法，其特征在于所述的步骤S2包括，采用初始旋转的PointNet网络对包含目标的点云进行特征提取，得到点云特征；采用CNN网络对RGB图片的颜色信息进行特征提取，得到颜色特征；然后将点云特征和颜色特征点对点的进行融合得到特征F；将特征F输入到初始旋转的多层感知机中，对初始旋转的多层感知机进行训练，初始旋转的多层感知机输出四元数Q，四元数Q用于表示目标的旋转方向。
4.根据权利要求3所述的将旋转和平移相解耦的6D位姿估计方法，其特征在于对初始旋转的多层感知机训练包括，采用初始旋转的多层感知机为每一个像素计算出一个长度为4的向量表示目标旋转，初始旋转的多层感知机为一种基于全连接网络的结构，并采用旋转损失函数进行训练：
Figure FDA0003618773350000011
Figure FDA0003618773350000021
vj＝xj-Rxj
其中，Lr表示特征估计目标的旋转的损失；xj表示相机点云的第j个点；R表示真实旋转；
Figure FDA0003618773350000022
表示第j个点的估计旋转；N表示相机点云的点的数量；ω表示旋转损失超参数；vj表示第j个点叉乘真实旋转之后形成的向量；
Figure FDA0003618773350000023
表示第j个点叉乘估计旋转之后形成的向量；<·,·>表示两个向量之间的余弦值；||·||表示向量的长度；
Figure FDA0003618773350000024
表示估计向量的平均值。
5.根据权利要求4所述的将旋转和平移相解耦的6D位姿估计方法，其特征在于所述的步骤S3，包括如下步骤：
A1.将四元数Q对包含目标的点云进行旋转，得到与相机点云同方向的目标点云，使得与相机点云同方向的目标点云，和相机点云的方向与数量一致；
A2.将与相机点云同方向的目标点云输入到初始平移的目标PointNet网络中提取出目标特征，将相机点云输入到初始平移的源PointNet网络中提取相机点云特征，并将目标特征和相机点云特征点对点进行拼接，得到拼接特征；同时将特征F复制N份拼接到得到的拼接特征中，并输入到初始平移的多层感知机中，输出一个3维的向量表示目标相对于相机的平移T，N为相机点云的数量。
6.根据权利要求5所述的将旋转和平移相解耦的6D位姿估计方法，其特征在于所述的步骤A1，包括将目标的包含目标的点云转换成3D点云，然后叉乘，得到的旋转矩阵，旋转矩阵由四元数Q转换求得，得到与相机点云同方向的目标点云；对包含目标的点云进行采样，采样步骤为，将包含目标的点云根据其在相机坐标下的深度进行排序，选出深度最小的N个点，其中N为相机点云的数量；
所述的步骤A2，具体为采用去除了STN(空间转换网络)结构的初始平移的目标PointNet网络或初始平移的源PointNet网络，平移损失函数为：
Figure FDA0003618773350000025
其中，Ld表示平移估计部分的损失；N为相机点云的数量；xj表示相机点云的第j个点；R表示真实旋转；
Figure FDA0003618773350000026
表示第j个点的估计旋转；t表示真实平移；
Figure FDA0003618773350000031
表示估计平移。
7.根据权利要求6所述的将旋转和平移相解耦的6D位姿估计方法，其特征在于步骤S4，每一次迭代包括如下步骤：
B1.将上一次迭代得到的旋转与平移应用到目标包含目标的点云的点云中并采样，得到一个粗对齐的点云，该点云与相机点云数量一致；
B2.将与相机点云同方向的目标点云输入到第i次迭代的旋转估计中的源PointNet网络中提取特征，将相机点云输入到第i次迭代的旋转估计中的目标PointNet网络中提取特征，然后点对点的进行拼接；
B3.将特征F复制N份拼接到B2中的特征中，N为相机点云的数量，然后将该特征输入到第i次迭代的旋转估计中的MLP回归网络中，输出一个四元数表示目标相对于相机的旋转，具体为：
第k次迭代得到的旋转Qk表示为，
Figure FDA0003618773350000032
其中，Qi-1表示第i-1次迭代得到的旋转；
Figure FDA0003618773350000039
表示第i次迭代的旋转估计中的源PointNet网络、第i次迭代的旋转估计中的目标PointNet网络和第i次迭代的旋转估计中的MLP回归网络；ASS(·)表示步骤A1所述的采样步骤；ρ表示目标点云；Ti-1表示第i-1次迭代得到的平移；
Figure FDA0003618773350000033
表示相机点云；I表示迭代总数；
采用步骤S3的方法求得第i次迭代得到的平移Ti：
Figure FDA0003618773350000034
其中，
Figure FDA0003618773350000035
表示第i次迭代的平移估计中的源PointNet网络、第i次迭代的平移估计中的目标PointNet网络和第i次迭代的平移估计中的MLP回归网络。
B4.计算总损失函数：
Figure FDA0003618773350000036
其中，L表示总损失；Lr表示特征估计目标的旋转的损失；Ld表示平移估计部分的损失；β表示总损失超参数；
Figure FDA0003618773350000037
表示第k次迭代的旋转损失；
Figure FDA0003618773350000038
表示第k次迭代的平移损失；
设置评价指标，评价指标为目标点云在分别与估计的位姿和真实位姿转换之后点之间的平均距离，
Figure FDA0003618773350000041
其中，R表示真实旋转；
Figure FDA0003618773350000042
表示第j个点的估计旋转；xj表示相机点云的第j个点；N为相机点云的数量；并采用得到的评价指标ADD对迭代结果进行评价，选取最优的6D位姿估计结果。
CN202210456048.8A 2022-04-24 2022-04-24 一种将旋转和平移相解耦的6d位姿估计方法 Pending CN114862951A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210456048.8A CN114862951A (zh) 2022-04-24 2022-04-24 一种将旋转和平移相解耦的6d位姿估计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210456048.8A CN114862951A (zh) 2022-04-24 2022-04-24 一种将旋转和平移相解耦的6d位姿估计方法

Publications (1)

Publication Number Publication Date
CN114862951A true CN114862951A (zh) 2022-08-05

Family

ID=82633655

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210456048.8A Pending CN114862951A (zh) 2022-04-24 2022-04-24 一种将旋转和平移相解耦的6d位姿估计方法

Country Status (1)

Country Link
CN (1) CN114862951A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115965628A (zh) * 2023-03-16 2023-04-14 湖南大学 一种工件涂装质量在线动态检测方法及检测系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115965628A (zh) * 2023-03-16 2023-04-14 湖南大学 一种工件涂装质量在线动态检测方法及检测系统

Similar Documents

Publication Publication Date Title
CN111311666B (zh) 一种融合边缘特征和深度学习的单目视觉里程计方法
CN110473284B (zh) 一种基于深度学习的运动物体三维模型重建方法
CN110766746B (zh) 一种基于联合2d-3d神经网络的3d驾驶员姿态估计方法
CN113240691A (zh) 一种基于u型网络的医学图像分割方法
CN111968217A (zh) 基于图片的smpl参数预测以及人体模型生成方法
CN110533724B (zh) 基于深度学习和注意力机制的单目视觉里程计的计算方法
US20230080133A1 (en) 6d pose and shape estimation method
CN112819853B (zh) 一种基于语义先验的视觉里程计方法
CN111709980A (zh) 基于深度学习的多尺度图像配准方法和装置
CN110059597B (zh) 基于深度相机的场景识别方法
CN110490915B (zh) 一种基于卷积受限玻尔兹曼机的点云配准方法
CN110097599B (zh) 一种基于部件模型表达的工件位姿估计方法
CN112686952A (zh) 一种图像光流计算系统、方法及应用
Ubina et al. Intelligent underwater stereo camera design for fish metric estimation using reliable object matching
CN114862951A (zh) 一种将旋转和平移相解耦的6d位姿估计方法
CN116342675B (zh) 一种实时单目深度估计方法、系统、电子设备及存储介质
CN117351078A (zh) 基于形状先验的目标尺寸与6d姿态估计方法
CN112418171A (zh) 一种基于深度学习的斑马鱼空间姿态与心脏位置估计方法
CN111339342B (zh) 一种基于角度三元中心损失的三维模型检索方法
CN112307917A (zh) 一种融合视觉里程计及imu的室内定位方法
CN108921852B (zh) 基于视差与平面拟合的双分支室外非结构化地形分割网络
Harisankar et al. Unsupervised depth estimation from monocular images for autonomous vehicles
Zhao et al. Real-time visual odometry based on Optical Flow and Depth Learning
CN115496859A (zh) 基于散乱点云交叉注意学习的三维场景运动趋势估计方法
CN116563478A (zh) 一种同步定位与建图slam算法、终端及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination