CN111667535A - 一种针对遮挡场景下的六自由度位姿估计方法 - Google Patents

一种针对遮挡场景下的六自由度位姿估计方法 Download PDF

Info

Publication number
CN111667535A
CN111667535A CN202010497562.7A CN202010497562A CN111667535A CN 111667535 A CN111667535 A CN 111667535A CN 202010497562 A CN202010497562 A CN 202010497562A CN 111667535 A CN111667535 A CN 111667535A
Authority
CN
China
Prior art keywords
dimensional
prediction
occlusion
pose
target object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010497562.7A
Other languages
English (en)
Other versions
CN111667535B (zh
Inventor
杨路
刘文俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202010497562.7A priority Critical patent/CN111667535B/zh
Publication of CN111667535A publication Critical patent/CN111667535A/zh
Application granted granted Critical
Publication of CN111667535B publication Critical patent/CN111667535B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明提供了一种针对遮挡场景下的六自由度位姿估计方法，通过位姿估计网络中的粗预测模块和遮挡纠正模块，对待检测的RGB图片进行预测，得到关键点向量场，通过随机抽样一致算法投票得到目标物体的三维关键点投影坐标，再利用通过EPnP算法计算目标物体相对于相机的六自由度位姿。本发明所提出的位姿估计网络，可针对目标进行端到端训练和预测且不需要位姿修正后处理步骤，提高了算法的运行效率，在遮挡情况下能快速准确地检测出目标物体的六自由度位姿。

Description

一种针对遮挡场景下的六自由度位姿估计方法
技术领域
本发明属于计算机视觉领域，具体为一种针对遮挡场景下的六自由度位姿估计方法。
背景技术
检测图像中目标物体的三维位置和三维旋转角(六自由度)是计算机视觉领域的研究热点。由于常见的2D目标检测仅仅只能提供目标类别和位置信息，而在实际应用中往往还需要目标在三维空间的位置和方向，例如只有准确的估计目标的六自由度位姿才可以帮助机器确定目标物体的位置和方向，并用于机器下一步的操作和决策。准确的估计目标物体的六自由度位姿是许多实际应用的技术关键，例如智能机器人，自动驾驶和增强现实等。
智能机器人的关键技术之一就是要能感知周围的环境，也就是对所处场景中的目标物体三维位置和方向的估计。这种技术对于机器人的抓取尤为重要，特别是在工业机械臂操作中，只有高效精准地检测物体的六自由度位姿，机器才可以利用物体的位姿信息规划运动路径并调整机械臂姿态来移动目标物体，可靠地保证机械臂操作的高效性和安全性。在自动驾驶技术中，精确的位姿估计能够帮助车辆知道周围物体的方向和距离等信息，这些信息将对自动驾驶系统里的碰撞预警系统是十分重要的。
近年来，随着深度学习算法的高速发展，越来越多的位姿估计方法利用神经网络强大的学习能力来提升精度，尤其是通过引入卷积神经网络的提高了特征提取能力。这些位姿估计方法运用于工件等物体检测，提高了流水线生产的效率和算法的可靠性，极大地提升实际生产效能。然而，现有技术在位姿估计任务上受实际环境影响较大，特别是在遮挡环境下，准确估计出目标物体六自由度位姿是具有很大挑战以及意义的。因此如何提供一种针对遮挡环境下的六自由度位姿估计算法是本领域技术人员亟需解决的问题。
发明内容
本发明所要解决的技术问题是提供一种针对遮挡场景下的六自由度位姿估计方法，以克服现有技术在遮挡情况下检测精度较差的不足。
为解决上述技术问题，本发明采用的技术方案是：
一种针对遮挡场景下的六自由度位姿估计方法，包括以下步骤：
S1：输入待检测的RGB图片，并计算待检测目标的三维模型九个关键点的三维坐标；
S2：通过位姿估计网络对待检测的RGB图片进行预测，获得二维关键点向量场和语义分割预测结果，具体为：
S21：基于卷积神经网络构建位姿估计网络，包含粗预测模块和遮挡纠正模块；
S22：将训练样本中RGB图片进行数据增强，输入到粗预测模块中，得到二维关键点向量场和语义分割粗预测结果，并通过向量场预测损失函数和语义分割损失函数计算与训练标签值之间的误差，通过自适应矩估计优化法对粗预测模块中权重参数进行更新，直至误差收敛，完成粗预测模块的训练；
S23：渲染并合成遮挡图片样本；
S24：将合成的遮挡图片样本通过训练完成的粗预测模块，得到二维关键点向量场和语义分割粗预测结果，再通过遮挡纠正模块，得到二维关键点向量场和语义分割预测结果，计算与标签值之间的误差，通过自适应矩估计优化法对遮挡纠正模块中权重参数进行更新，直至误差收敛，完成对遮挡纠正模块的训练；
S25：将带检测的RGB图片输入到训练完成的位姿估计网络，分别通过粗预测模块与遮挡纠正模块，获得二维关键点向量场和语义分割预测结果；
S3：利用步骤S2的得到的语义分割预测结果，对属于目标物体像素预测的向量，基于随机抽样一致算法进行投票得到九个二维关键点的坐标；
S4：利用步骤S1的目标物体三维模型上的九个关键点的坐标以及步骤S3中图片目标物体的二维关键点坐标得到二维点与三维点的对应关系，通过EPnP算法计算目标物体相对于相机的六自由度位姿。
进一步地，所述步骤S1具体为：利用最远点采样算法计算得到待检测目标的三维模型八个关键点的三维坐标，加入待检测目标的三维模型中心点，共构成九个关键点。
进一步地，所述步骤S2中，二维关键点向量场具体为：对于图像上的每一个像素p，位姿估计网络对二维关键点xk输出一个单位向量xk(p)，代表从像素p指向二维关键点xk的方向，所有单位向量vk(p)组成二维关键点xk的向量场。
进一步地，所述步骤S21具体为：粗预测模块和遮挡纠正模块基于卷积神经网络组成，均为编码-解码结构；位姿估计网络粗预测模块和遮挡纠正模块均输出两个张量：输出代表向量场预测的张量大小为H×W×(9×2×C)，输出代表语义分割预测的张量大小为H×W×(C+1)，其中H，W代表输入图像的高和宽，C代表预测类别数目。
进一步地，所述步骤S22中：
向量场预测误差损失函数为：
Figure BDA0002523435370000031
Figure BDA0002523435370000032
其中l1为smooth L1函数，
Figure BDA0002523435370000033
为预测向量，vk(p)为标签值，Δvk(p)|x,Δvk(p)|y分别为Δvk(p)沿图像宽高方向的分量，m为图像中属于目标物体的像素总数；
语义分割损失函数为：
Figure BDA0002523435370000034
其中
Figure BDA0002523435370000035
为预测像素为目标物体的概率，p为标签值；
训练损失函数为：L＝λvecLvec+λsemLsem；
其中，Lvec,Lsem分别为向量场预测损失函数和语义分割损失函数，λvec,λsem分别为向量场预测损失函数的权重系数和语义分割损失函数的权重系数，通过训练损失函数计算输出预测值与标签值的误差，再通过自适应矩估计优化法对粗预测模块中的参数进行更新。
进一步地，所述步骤S3具体为：首先，使用预测的语义标签查找目标对象的像素，然后，随机选取目标对象上的两个像素点，取其预测向量的交点作为对关键点xk的假设点hk，i，重复进行N次，生成一组假设点集合{hk，i|i＝1，2，…，N}，假设点集合表示关键点xk可能的位置；最后，目标对象上的所有像素为这些假设点投票，若像素到假设点hk，i的方向与像素预测向量xk(p)方向夹角的余弦值小于设定阈值，则该假设点的权重加一，最后取权重值最高的hk，i作为关键点xk的预测值。
进一步地，所述步骤S4的EPnP算法中，关键点的三维坐标被表示为一组控制点的加权和，首先由关键点计算得到控制点，再通过求解控制点在相机坐标下的坐标，进一步求得位姿中的旋转R和平移t。
与现有技术相比，本发明的有益效果是：在模型训练阶段，通过渲染并合成遮挡图片样本，模拟遮挡环境，提升网络在遮挡情况下的泛化能力；同时网络中遮挡纠正模块进一步得到更准确的向量场预测；从而在不需要位姿修正后处理步骤的情况下，在目标物体被遮挡时，本发明方法对目标物体位姿估计快速且精确，可以实时地对目标物体进行六自由度位姿处理。
附图说明
图1是本发明的流程示意图。
图2是网络结构示意图。
具体实施方式
下面结合附图和具体实施方式对本发明作进一步详细的说明。
如图1所示，本发明提供的一种针对遮挡场景下的六自由度位姿估计方法，包括以下步骤：
S1：输入待检测的RGB图片，并计算待检测目标的三维模型九个关键点的三维坐标；如利用最远点采样算法(Farthest Point Sampling，FPS)计算得到待检测目标的三维模型八个关键点的三维坐标，加入待检测目标的三维模型中心点，共构成九个关键点。
S2：通过位姿估计网络对待检测的RGB图片进行预测，获得二维关键点向量场和语义分割预测结果，具体为：
S21：基于卷积神经网络构建位姿估计网络，包含两个模块：粗预测模块，遮挡纠正模块；
位姿估计网络由粗预测模块和遮挡纠正模块组成。粗预测模块和遮挡纠正模块基于卷积神经网络构建，均为编码-解码结构(Encoder-Decoder)，其中粗预测模块的编码结构部分由去掉了最后一层全连接层的Resnet18网络构成，解码结构由五层卷积层和三层上采样层构成。遮挡纠正模块的编码结构由七层卷积层和三层最大池化层构成，解码结构由三层卷积层和三层上采样层构成。
位姿估计网络粗预测模块和遮挡纠正模块均输出两个张量：输出代表向量场预测的张量大小为H×W×(9×2×C)，输出代表语义分割预测的张量大小为H×W×(C+1)，其中H，W代表输入图像的高和宽，C代表预测类别数目。
S22：将训练样本中RGB图片进行数据增强，输入到粗预测模块中，得到二维关键点向量场和语义分割粗预测结果，并通过向量场预测损失函数和语义分割损失函数计算与训练标签值之间的误差，通过自适应矩估计优化法(Adaptive Moment Estimation)对粗预测模块中权重参数进行更新，直至误差收敛，完成粗预测模块的训练；
所述S22可采用以下方式：
将训练样本中RGB图片调整为480×640像素。进行数据增强，包括随机裁剪，调整大小，旋转和颜色，更改目标背景。随后输入位姿估计网络粗预测模块中，得到二维关键点向量场和语义分割粗预测结果。向量场预测误差损失函数为：
Figure BDA0002523435370000061
Figure BDA0002523435370000062
其中l1为smooth L1函数，
Figure BDA0002523435370000063
为预测向量，vk(p)为标签值，Δvk(p)|x,Δvk(p)|y分别为Δvk(p)沿图像宽高方向的分量，m为图像中属于目标物体的像素总数。
语义分割损失函数为：
Figure BDA0002523435370000064
其中
Figure BDA0002523435370000065
为预测像素为目标物体的概率，p为标签值。
训练损失函数为：L＝λvecLvec+λsemLsem
其中Lvec,Lsem分别为向量场预测损失函数和语义分割损失函数，λvec,λsem分别为向量场预测损失函数的权重系数和语义分割损失函数的权重系数，通过训练损失函数计算输出预测值与标签值的误差，再通过自适应矩估计优化法对粗预测模块中的参数进行更新。
S23：渲染并合成遮挡图片样本；将遮挡物体的CAD渲染得到RGB图片和掩码图片，再将渲染的图片与未被遮挡的图片进行合成，将遮挡物体盖住目标物体，得到遮挡图片样本。
S24：将合成的遮挡图片样本通过训练完成的粗预测模块，得到二维关键点向量场和语义分割粗预测结果，再通过遮挡纠正模块，得到二维关键点向量场和语义分割预测结果，计算与标签值之间的误差，通过自适应矩估计优化法对遮挡纠正模块中权重参数进行更新，直至误差收敛，完成对遮挡纠正模块的训练；
例如：首先固定粗预测模块中网络参数，将合成的遮挡图片输入粗预测模块中，得到二维关键点向量场和语义分割粗预测结果。然后将粗预测结果输入到遮挡纠正模块，获得纠正后的向量场和语义分割预测结果。通过训练损失函数计算输出预测值与标签值的误差，训练函数中，λvec,λsem均取1。随后通过自适应矩估计优化法对粗预测模块中的参数进行训练，初始学习率为0.001，batch size为4，每50个epoch更新后将学习率将至一半。若训练轮数<800个epoch，则利用更新后的权重参数继续迭代更新。若训练轮数>800个epoch，则训练完成，停止更新。
S25：将带检测的RGB图片输入到训练完成的位姿估计网络，分别通过粗预测模块与遮挡纠正模块，获得二维关键点向量场和语义分割预测结果。
S3：利用步骤S2的得到的语义分割预测结果，对属于目标物体像素预测的向量，基于随机抽样一致算法进行投票得到九个二维关键点的坐标；
首先，使用预测的语义标签查找目标对象的像素，然后，随机选取目标对象上的两个像素点，取其预测向量的交点作为对关键点xk的假设点hk，i，重复进行N次，生成一组假设点集合{hk，i|i＝1，2，…，N}，假设点集合表示关键点xk可能的位置。最后，目标对象上的所有像素为这些假设点投票，若像素到假设点hk，i的方向与像素预测向量xk(p)方向夹角的余弦值小于设定阈值，则该假设点的权重加一，最后取权重值最高的hk，i作为关键点xk的预测值。
S4：利用步骤S1的目标物体三维模型上的九个关键点的坐标以及步骤S3中图片目标物体的二维关键点坐标得到二维点与三维点的对应关系，通过EPnP算法计算目标物体相对于相机的六自由度位姿。在EPnP算法中，关键点的三维坐标被表示为一组控制点的加权和，首先由关键点计算得到控制点，再通过求解控制点在相机坐标下的坐标，进一步求得位姿中的旋转R和平移t。

Claims (7)

1.一种针对遮挡场景下的六自由度位姿估计方法，其特征在于，包括以下步骤：
S1：输入待检测的RGB图片，并计算待检测目标的三维模型九个关键点的三维坐标；
S2：通过位姿估计网络对待检测的RGB图片进行预测，获得二维关键点向量场和语义分割预测结果，具体为：
S21：基于卷积神经网络构建位姿估计网络，包含粗预测模块和遮挡纠正模块；
S22：将训练样本中RGB图片进行数据增强，输入到粗预测模块中，得到二维关键点向量场和语义分割粗预测结果，并通过向量场预测损失函数和语义分割损失函数计算与训练标签值之间的误差，通过自适应矩估计优化法对粗预测模块中权重参数进行更新，直至误差收敛，完成粗预测模块的训练；
S23：渲染并合成遮挡图片样本；
S24：将合成的遮挡图片样本通过训练完成的粗预测模块，得到二维关键点向量场和语义分割粗预测结果，再通过遮挡纠正模块，得到二维关键点向量场和语义分割预测结果，计算与标签值之间的误差，通过自适应矩估计优化法对遮挡纠正模块中权重参数进行更新，直至误差收敛，完成对遮挡纠正模块的训练；
S25：将带检测的RGB图片输入到训练完成的位姿估计网络，分别通过粗预测模块与遮挡纠正模块，获得二维关键点向量场和语义分割预测结果；
S3：利用步骤S2的得到的语义分割预测结果，对属于目标物体像素预测的向量，基于随机抽样一致算法进行投票得到九个二维关键点的坐标；
S4：利用步骤S1的目标物体三维模型上的九个关键点的坐标以及步骤S3中图片目标物体的二维关键点坐标得到二维点与三维点的对应关系，通过EPnP算法计算目标物体相对于相机的六自由度位姿。
2.如权利要求1所述的一种针对遮挡场景下的六自由度位姿估计方法，其特征在于，所述步骤S1具体为：利用最远点采样算法计算得到待检测目标的三维模型八个关键点的三维坐标，加入待检测目标的三维模型中心点，共构成九个关键点。
3.如权利要求1所述的一种针对遮挡场景下的六自由度位姿估计方法，其特征在于，所述步骤S2中，二维关键点向量场具体为：对于图像上的每一个像素p，位姿估计网络对二维关键点xk输出一个单位向量xk(p)，代表从像素p指向二维关键点xk的方向，所有单位向量vk(p)组成二维关键点xk的向量场。
4.如权利要求1所述的一种针对遮挡场景下的六自由度位姿估计方法，其特征在于，所述步骤S21具体为：粗预测模块和遮挡纠正模块基于卷积神经网络组成，均为编码-解码结构；位姿估计网络粗预测模块和遮挡纠正模块均输出两个张量：输出代表向量场预测的张量大小为H×W×(9×2×C)，输出代表语义分割预测的张量大小为H×W×(C+1)，其中H，W代表输入图像的高和宽，C代表预测类别数目。
5.如权利要求1所述的一种针对遮挡场景下的六自由度位姿估计方法，其特征在于，所述步骤S22中：
向量场预测损失函数为：
Figure FDA0002523435360000021
Figure FDA0002523435360000022
其中l1为smooth L1函数，
Figure FDA0002523435360000023
为预测向量，vk(p)为标签值，Δvk(p)|x,Δvk(p)|y分别为Δvk(p)沿图像宽高方向的分量，m为图像中属于目标物体的像素总数；
语义分割损失函数为：
Figure FDA0002523435360000024
其中
Figure FDA0002523435360000025
为预测像素为目标物体的概率，p为标签值；
训练损失函数为：L＝λvecLvec+λsemLsem；
其中，Lvec,Lsem分别为向量场预测损失函数和语义分割损失函数，λvec,λsem分别为向量场预测损失函数的权重系数和语义分割损失函数的权重系数，通过训练损失函数计算输出预测值与标签值的误差，再通过自适应矩估计优化法对粗预测模块中的参数进行更新。
6.如权利要求1所述的一种针对遮挡场景下的六自由度位姿估计方法，其特征在于，所述步骤S3具体为：首先，使用预测的语义标签查找目标对象的像素，然后，随机选取目标对象上的两个像素点，取其预测向量的交点作为对关键点xk的假设点hk，i，重复进行N次，生成一组假设点集合{hk，i|i＝1，2，…，N}，假设点集合表示关键点xk可能的位置；最后，目标对象上的所有像素为这些假设点投票，若像素到假设点hk，i的方向与像素预测向量xk(p)方向夹角的余弦值小于设定阈值，则该假设点的权重加一，最后取权重值最高的hk，i作为关键点xk的预测值。
7.如权利要求1所述的一种针对遮挡场景下的六自由度位姿估计方法，其特征在于，所述步骤S4的EPnP算法中，关键点的三维坐标被表示为一组控制点的加权和，首先由关键点计算得到控制点，再通过求解控制点在相机坐标下的坐标，进一步求得位姿中的旋转R和平移t。
CN202010497562.7A 2020-06-04 2020-06-04 一种针对遮挡场景下的六自由度位姿估计方法 Active CN111667535B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010497562.7A CN111667535B (zh) 2020-06-04 2020-06-04 一种针对遮挡场景下的六自由度位姿估计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010497562.7A CN111667535B (zh) 2020-06-04 2020-06-04 一种针对遮挡场景下的六自由度位姿估计方法

Publications (2)

Publication Number Publication Date
CN111667535A true CN111667535A (zh) 2020-09-15
CN111667535B CN111667535B (zh) 2023-04-18

Family

ID=72385970

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010497562.7A Active CN111667535B (zh) 2020-06-04 2020-06-04 一种针对遮挡场景下的六自由度位姿估计方法

Country Status (1)

Country Link
CN (1) CN111667535B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112270249A (zh) * 2020-10-26 2021-01-26 湖南大学 一种融合rgb-d视觉特征的目标位姿估计方法
CN112614184A (zh) * 2020-12-28 2021-04-06 清华大学 基于2d检测的物体6d姿态估计方法、装置及计算机设备
CN112861663A (zh) * 2021-01-25 2021-05-28 华南农业大学 一种基于语义分割的家禽姿态监测方法和系统
CN114257800A (zh) * 2021-12-21 2022-03-29 重庆杰夫与友文化创意有限公司 一种智能投影方法、系统及智能投影设备
CN114612767A (zh) * 2022-03-11 2022-06-10 电子科技大学 一种基于场景图的图像理解与表达方法、系统与存储介质
CN117576217A (zh) * 2024-01-12 2024-02-20 电子科技大学 一种基于单实例图像重建的物体位姿估计方法

Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040258306A1 (en) * 2003-06-23 2004-12-23 Shoestring Research, Llc Fiducial designs and pose estimation for augmented reality
CN105354875A (zh) * 2015-09-25 2016-02-24 厦门大学 一种室内环境二维与三维联合模型的构建方法和系统
CN105956074A (zh) * 2016-04-28 2016-09-21 北京航空航天大学 邻近位姿融合引导的单幅图像场景六自由度定位方法
CN108280856A (zh) * 2018-02-09 2018-07-13 哈尔滨工业大学 基于混合信息输入网络模型的未知物体抓取位姿估计方法
US20180217663A1 (en) * 2017-01-27 2018-08-02 Qualcomm Incorporated Systems and methods for tracking a controller
CN108871337A (zh) * 2018-06-21 2018-11-23 浙江工业大学 基于多视觉传感器分布式信息融合的遮挡情况下目标位姿估计方法
US20180348854A1 (en) * 2017-05-31 2018-12-06 Occipital, Inc. Six degree of freedom tracking with scale recovery and obstacle avoidance
CN109064514A (zh) * 2018-07-03 2018-12-21 北京航空航天大学 一种基于投影点坐标回归的六自由度位姿估计算法
CN109345588A (zh) * 2018-09-20 2019-02-15 浙江工业大学 一种基于Tag的六自由度姿态估计方法
CN109785373A (zh) * 2019-01-22 2019-05-21 东北大学 一种基于散斑的六自由度位姿估计系统及方法
CN109801337A (zh) * 2019-01-21 2019-05-24 同济大学 一种基于实例分割网络和迭代优化的6d位姿估计方法
CN110322510A (zh) * 2019-06-27 2019-10-11 电子科技大学 一种利用轮廓信息的6d位姿估计方法
CN110335314A (zh) * 2019-06-24 2019-10-15 华中科技大学 基于目标物体的二维图像预测目标物体实时位姿的方法
CN110533721A (zh) * 2019-08-27 2019-12-03 杭州师范大学 一种基于增强自编码器的室内目标物体6d姿态估计方法
CN110533724A (zh) * 2019-09-06 2019-12-03 电子科技大学 基于深度学习和注意力机制的单目视觉里程计算方法
WO2019232894A1 (zh) * 2018-06-05 2019-12-12 中国石油大学(华东) 一种基于复杂场景下的人体关键点检测系统及方法
US10565731B1 (en) * 2017-03-13 2020-02-18 Occipital, Inc. Pose tracking system with multi device shared scene map
CN110930454A (zh) * 2019-11-01 2020-03-27 北京航空航天大学 一种基于边界框外关键点定位的六自由度位姿估计算法
US20200126256A1 (en) * 2018-10-23 2020-04-23 Microsoft Technology Licensing, Llc Camera pose estimation using obfuscated features
CN111127557A (zh) * 2019-12-13 2020-05-08 中国电子科技集团公司第二十研究所 一种基于深度学习的视觉slam前端位姿估计方法
CN111179324A (zh) * 2019-12-30 2020-05-19 同济大学 基于颜色和深度信息融合的物体六自由度位姿估计方法

Patent Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040258306A1 (en) * 2003-06-23 2004-12-23 Shoestring Research, Llc Fiducial designs and pose estimation for augmented reality
CN105354875A (zh) * 2015-09-25 2016-02-24 厦门大学 一种室内环境二维与三维联合模型的构建方法和系统
CN105956074A (zh) * 2016-04-28 2016-09-21 北京航空航天大学 邻近位姿融合引导的单幅图像场景六自由度定位方法
US20180217663A1 (en) * 2017-01-27 2018-08-02 Qualcomm Incorporated Systems and methods for tracking a controller
US10565731B1 (en) * 2017-03-13 2020-02-18 Occipital, Inc. Pose tracking system with multi device shared scene map
US20180348854A1 (en) * 2017-05-31 2018-12-06 Occipital, Inc. Six degree of freedom tracking with scale recovery and obstacle avoidance
CN108280856A (zh) * 2018-02-09 2018-07-13 哈尔滨工业大学 基于混合信息输入网络模型的未知物体抓取位姿估计方法
WO2019232894A1 (zh) * 2018-06-05 2019-12-12 中国石油大学(华东) 一种基于复杂场景下的人体关键点检测系统及方法
CN108871337A (zh) * 2018-06-21 2018-11-23 浙江工业大学 基于多视觉传感器分布式信息融合的遮挡情况下目标位姿估计方法
CN109064514A (zh) * 2018-07-03 2018-12-21 北京航空航天大学 一种基于投影点坐标回归的六自由度位姿估计算法
CN109345588A (zh) * 2018-09-20 2019-02-15 浙江工业大学 一种基于Tag的六自由度姿态估计方法
US20200126256A1 (en) * 2018-10-23 2020-04-23 Microsoft Technology Licensing, Llc Camera pose estimation using obfuscated features
CN109801337A (zh) * 2019-01-21 2019-05-24 同济大学 一种基于实例分割网络和迭代优化的6d位姿估计方法
CN109785373A (zh) * 2019-01-22 2019-05-21 东北大学 一种基于散斑的六自由度位姿估计系统及方法
CN110335314A (zh) * 2019-06-24 2019-10-15 华中科技大学 基于目标物体的二维图像预测目标物体实时位姿的方法
CN110322510A (zh) * 2019-06-27 2019-10-11 电子科技大学 一种利用轮廓信息的6d位姿估计方法
CN110533721A (zh) * 2019-08-27 2019-12-03 杭州师范大学 一种基于增强自编码器的室内目标物体6d姿态估计方法
CN110533724A (zh) * 2019-09-06 2019-12-03 电子科技大学 基于深度学习和注意力机制的单目视觉里程计算方法
CN110930454A (zh) * 2019-11-01 2020-03-27 北京航空航天大学 一种基于边界框外关键点定位的六自由度位姿估计算法
CN111127557A (zh) * 2019-12-13 2020-05-08 中国电子科技集团公司第二十研究所 一种基于深度学习的视觉slam前端位姿估计方法
CN111179324A (zh) * 2019-12-30 2020-05-19 同济大学 基于颜色和深度信息融合的物体六自由度位姿估计方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
THANH-TOAN DO ET AL.: "Deep-6dpose:Recovering 6d object pose from a single rgb image" *
康甲: "复杂场景中的3D目标表达与检测" *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112270249A (zh) * 2020-10-26 2021-01-26 湖南大学 一种融合rgb-d视觉特征的目标位姿估计方法
CN112270249B (zh) * 2020-10-26 2024-01-23 湖南大学 一种融合rgb-d视觉特征的目标位姿估计方法
CN112614184A (zh) * 2020-12-28 2021-04-06 清华大学 基于2d检测的物体6d姿态估计方法、装置及计算机设备
CN112861663A (zh) * 2021-01-25 2021-05-28 华南农业大学 一种基于语义分割的家禽姿态监测方法和系统
CN112861663B (zh) * 2021-01-25 2023-10-10 华南农业大学 一种基于语义分割的家禽姿态监测方法和系统
CN114257800A (zh) * 2021-12-21 2022-03-29 重庆杰夫与友文化创意有限公司 一种智能投影方法、系统及智能投影设备
CN114257800B (zh) * 2021-12-21 2023-08-18 重庆杰夫与友文化创意有限公司 一种智能投影方法、系统及智能投影设备
CN114612767A (zh) * 2022-03-11 2022-06-10 电子科技大学 一种基于场景图的图像理解与表达方法、系统与存储介质
CN114612767B (zh) * 2022-03-11 2022-11-15 电子科技大学 一种基于场景图的图像理解与表达方法、系统与存储介质
CN117576217A (zh) * 2024-01-12 2024-02-20 电子科技大学 一种基于单实例图像重建的物体位姿估计方法
CN117576217B (zh) * 2024-01-12 2024-03-26 电子科技大学 一种基于单实例图像重建的物体位姿估计方法

Also Published As

Publication number Publication date
CN111667535B (zh) 2023-04-18

Similar Documents

Publication Publication Date Title
CN111667535B (zh) 一种针对遮挡场景下的六自由度位姿估计方法
Byravan et al. Se3-nets: Learning rigid body motion using deep neural networks
US11205298B2 (en) Method and system for creating a virtual 3D model
CN109800689B (zh) 一种基于时空特征融合学习的目标跟踪方法
CN107329962B (zh) 图像检索数据库生成方法、增强现实的方法及装置
CN111797688A (zh) 一种基于光流和语义分割的视觉slam方法
CN111105439A (zh) 一种使用残差注意力机制网络的同步定位与建图方法
CN112801047B (zh) 缺陷检测方法、装置、电子设备及可读存储介质
CN114973407A (zh) 一种基于rgb-d的视频三维人体姿态估计方法
CN114708293A (zh) 基于深度学习点线特征和imu紧耦合的机器人运动估计方法
GB2612029A (en) Lifted semantic graph embedding for omnidirectional place recognition
Liang et al. A manufacturing-oriented intelligent vision system based on deep neural network for object recognition and 6d pose estimation
CN113407027A (zh) 位姿获取方法及装置和电子设备、存储介质
CN116188825A (zh) 一种基于并行注意力机制的高效特征匹配方法
Gulde et al. RoPose: CNN-based 2D pose estimation of industrial robots
CN114663488A (zh) 一种基于深度学习的火箭助推器分离运动参数测量方法
CN113420590B (zh) 弱纹理环境下的机器人定位方法、装置、设备及介质
CN114266823A (zh) 一种结合SuperPoint网络特征提取的单目SLAM方法
Zhang et al. A visual-inertial dynamic object tracking SLAM tightly coupled system
CN112651294A (zh) 基于多尺度融合的遮挡人体姿势识别方法
Yuan et al. SHREC 2020 track: 6D object pose estimation
Lin 3D object detection and 6D pose estimation using RGB-D images and mask R-CNN
CN115294433A (zh) 一种适用于恶劣环境的物体六维位姿估计方法和系统
Xuan et al. Maskvo: Self-supervised visual odometry with a learnable dynamic mask
CN114821113A (zh) 基于自适应鲁棒核的单目视觉惯性slam方法与系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant