CN110322510A - 一种利用轮廓信息的6d位姿估计方法 - Google Patents
一种利用轮廓信息的6d位姿估计方法 Download PDFInfo
- Publication number
- CN110322510A CN110322510A CN201910569209.2A CN201910569209A CN110322510A CN 110322510 A CN110322510 A CN 110322510A CN 201910569209 A CN201910569209 A CN 201910569209A CN 110322510 A CN110322510 A CN 110322510A
- Authority
- CN
- China
- Prior art keywords
- target object
- loss function
- network
- pose
- picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种利用轮廓信息的6D位姿估计方法,包括:基于卷积神经网络设计目标物体6D位姿估计网络;采集和标注不同背景、角度和姿态的目标物体训练样本图片构建数据集,并对训练样本进行数据增强;对目标物体6D位姿估计网络进行训练,得到网络参数模型;调用目标物体6D位姿估计网络参数模型对目标物体图片进行预测,得到目标物体关键点二维投影坐标;由目标物体关键点二维投影坐标,利用EPnP计算出目标物体6D位姿。本发明方法在不需要位姿修正后处理的情况下,通过所设计的6D位姿估计网络,利用目标物体的轮廓信息快速准确地检测出目标物体的6D位姿。
Description
技术领域
本发明涉及物体定位和姿态估计领域,具体涉及一种利用轮廓信息的6D位姿估计方法。
背景技术
近年来深度学习在目标检测领域取得的巨大突破,机器人等领域对目标检测提出了更高的要求,即检测物体的6D位姿(三维位置和三维旋转角),以更高效地进行社会生产活动。工业机器人是面向工业领域的多关节机械手和多自由度的机器装置,它是靠自身动力系统和控制能力来实现工业生产任务的一种机器人。它可以按照预先设定的程序运行,现代工业机器人可以根据人工智能算法制定的决策规则工作。服务机器人是一种半自主或全自主工作的机器人,现已进入半商业化应用。
在机器人等实际应用中,其对周围环境的目标物体检测是非常重要的。在机器人日常的抓取操作任务中,高效精准地检测物体的6D位姿,机器人才可以利用物体的位姿信息规划运动路径并调整机械臂姿态来移动目标物体,可靠地保证机器人操作的高效性和安全性。
随着VGG、Faster R-CNN、YOLO深度学习算法在目标检测领域取得突出进展,越来越多的制造业公司开始利用深度学习方法运用于工件等物体检测,来提高流水线生产的效率和算法的可靠性,极大地提升实际生产效能。然而,面对位姿变化的物体和某些位姿检测精度要求较高的操作任务,现有技术在物体位姿估计任务上不仅存在检测精度较差的问题,而且很难平衡算法在物体位姿检测精确度和检测速度,从而限制了机器人的自动化程度。
发明内容
本发明所要解决的技术问题是提供一种利用轮廓信息的6D位姿估计方法,实时地对目标物体进行6D位姿处理,检测精度高且检测速度快。
为解决上述技术问题,本发明采用的技术方案是:
一种利用轮廓信息的6D位姿估计方法,包括以下步骤:
S1:基于卷积神经网络设计目标物体6D位姿估计网络,包含网络共享层、轮廓预测分支和边界框预测分支;
网络共享层由卷积层和池化层组成,用于提取图片中目标物体特征,得到特征图;
轮廓预测分支由上采样层和卷积层组成,每次上采样之后得到的特征图和网络共享层中相同尺度的特征图拼接得到新的特征图,并作为下一个卷积层的输入;
边界框预测分支由一系列全卷积网络以及一个直连层组成,此分支将输入图片划分为S×S个网格,每个网格对应图片中32×32的区域,每个网格输出包含代表3D边界框的9个关键点投影坐标、类别概率,预测框的置信度;边界框预测分支输出维度大小为S×S×D的张量,其中D=(9×2+N+1),N代表目标物体的类别个数,9个关键点为3D边界框的顶点和边界框的中心;
S2:采用不同背景、角度和姿态的目标物体图片作为训练样本以构建训练集,对训练样本进行数据增强,以及轮廓信息标注、分类信息标注和位姿信息标注;
S3:使用步骤S2构建的训练集对目标物体6D位姿估计网络进行训练,通过最小化设计的损失函数优化网络参数,当训练次数达到预设次数时,停止训练并得到6D位姿估计网络模型;
S4:调用S3得到的6D位姿估计网络模型对目标物体图片进行预测,得到目标物体关键点的二维投影坐标;
S5:利用S4中目标物体预测关键点的投影坐标和目标物体的CAD模型关键点三维坐标,通过EPnP算法计算目标物体相对于相机的位姿。
进一步的,目标物体6D位姿估计网络中轮廓预测分支最后一层采用Sigmoid函数,其余非线性激活函均使用Relu函数,每个卷积层均合并了批归一化层。
进一步的,在步骤2中,轮廓信息以二维张量标注,以区分目标物体和背景,轮廓信息张量的维度与网络输入图片相同;分类信息以数字标注,不同类别的物体以不同大小的整数标注;位姿信息以目标物体的3D边界框的8个顶点和1个中心点标注。
进一步的,步骤S3中所设计的损失函数包括几何约束损失函数、轮廓预测损失函数、关键点坐标误差函数、置信度损失函数和类别预测损失函数,具体是:
几何约束损失函数公式:
其中λedge为几何约束损失函数的权值,lij为预测边界框的边长,为预测框第i组的四个对应边的平均长度;
轮廓预测损失函数:
其中λmask为轮廓预测损失函数的权值,w为输入图片的宽度像素值,h为输入图片的高度像素值,p为预测像素为目标物体的概率,为标注值,;
关键点坐标误差函数:
其中λpc为关键点坐标误差函数的权值,s2为输入图片划分的网格的数目,x,y为预测坐标值,为标注坐标值,表示目标物体的中心落在第i个网格中;
置信度损失函数:
其中λobj为置信度损失函数的权值,C为预测置信度,为预测边界框与标注边界框计算得到的置信度,表示目标物体的中心落在第i个网格中,表示目标物体的中心未落在第i个网格中;
类别预测损失函数:
其中λid为类别预测损失函数的权值,p(c)为网络预测类别概率,为标注类别;
整体损失函数:L=Ledge+Lmask+Lpc+Lconf+Lid。
与现有技术相比,本发明的有益效果是:设计了能利用物体轮廓信息提升位姿检测精度的网络,在模型训练阶段,利用目标物体轮廓信息加强网络特征对目标物体边缘的学习,使获得的目标物体特征信息更鲁棒;同时,所设计的训练损失函数包含的几何约束损失函数约束了预测框投影后的形状,防止了预测框的形变;在不需要位姿修正后处理的情况下,本方法对目标物体位姿估计快速且精确,可以实时地对目标物体进行6D位姿处理。
附图说明
图1是本发明方法的流程示意图;
图2是本发明中目标物体6D位姿估计网络结构示意图。
具体实施方式
下面结合附图和具体实施方式对本发明作进一步详细的说明。如图1所示,本发明一种利用轮廓信息的6D位姿估计方法,包括以下步骤:
S1:基于卷积神经网络设计目标物体6D位姿估计网络,包括在网络中增加语义分割分支,利用轮廓特权信息约束网络底层特征的学习;
如图2所示,目标物体6D位姿估计网络是基于卷积神经网络进行设计的,其结构一共包括三个部分:网络共享层、轮廓预测分支、边界框预测分支。含目标物体的图片在经过网络共享层后得到特征图,再进入轮廓预测分支和边界框预测分支。其中网络共享层由一系列卷积层和池化层组成,卷积层中使用大小为3×3卷积核,池化层采用最大池化方式压缩特征图。
轮廓预测分支由上采样层和卷积层组成,每次经上采样之后得到的特征图将和共享层中相同尺度的特征图在通道维度上拼接得到新的特征图,前三次拼接的特征图依次通过卷积核为3×3和1×1的卷积层,最后一次的拼接的特征图通过卷积核为3×3的卷积层,再经过Sigmoid层输出目标物体预测轮廓,轮廓预测分支通过和真实轮廓计算交叉熵损失来加强网络底层特征对物体轮廓信息的学习能力。
边界框预测分支由一系列全卷积网络以及一个直连层组成,此分支将输入图片划分为S×S个网格,每个网格对应图片中32×32的区域,每个网格输出包含代表3D边界框的9个关键点投影坐标、类别概率,预测框的置信度。边界框预测分支输出维度大小为S×S×D的张量,其中D=(9×2+N+1),N代表目标物体的类别个数,9个关键点为3D边界框的顶点和边界框的中心。边界预测分支用于计算目标物体分类与位姿信息。
S2:采用不同背景、角度和姿态的目标物体图片作为训练样本,对训练样本进行数据增强,以及轮廓信息标注、分类信息标注和位姿信息标注以构建训练集;
对训练集不同背景、角度和姿态的目标物体图片进行数据增强,可以减少网络过拟合现象,得到泛化能力更强的网络,更好的适应应用场景,具体可对训练样本作如下变换:
1)随机改变训练图片的饱和度和曝光度为原图的1至1.5倍,以及将色调改变为原图的1至1.1倍;
2)随机裁剪训练图片,裁剪尺寸不超过图片大小的10%;
3)以50%的概率将图片水平翻转;
4)随机将训练图片的背景替换成从VOC2012数据集中随机选取出的图片。
训练样本的轮廓信息以二维张量标注,以区分目标物体和背景,轮廓信息张量的维度与网络输入图片相同。目标物体的轮廓张量由其CAD模型计算得出。轮廓张量对应于输入图片背景的区域标注为0,对应于图片中目标物体的区域标注为1。分类信息以不同大小的整数标注,不同类别的物体以不同数字标注。位姿信息以目标物体的3D边界框的8个顶点和1个中心点标注。
S3:使用步骤S2构建的训练集对所述的目标物体6D位姿估计网络进行训练,通过最小化所设计的损失函数优化网络参数,当训练次数达到预设次数时,停止训练并得到6D位姿估计网络模型;
训练过程中模型损失函数包括几何约束损失函数、轮廓预测损失函数、关键点坐标误差函数、置信度损失函数、类别预测损失函数,即:
几何约束损失函数公式:
其中λedge为几何约束损失函数的权值,lij为预测边界框的边长,为预测框第i组的四个对应边的平均长度;
轮廓预测损失函数:
其中λmask为轮廓预测损失函数的权值,w为输入图片的宽度像素值,h为输入图片的高度像素值,p为预测像素为目标物体的概率,为标注值,;
关键点坐标误差函数:
其中λpc为关键点坐标误差函数的权值,s2为输入图片划分的网格的数目,x,y为预测坐标值,为标注坐标值,表示目标物体的中心落在第i个网格中;
置信度损失函数:
其中λobj为置信度损失函数的权值,C为预测置信度,为预测边界框与标注边界框计算得到的置信度,表示目标物体的中心落在第i个网格中,表示目标物体的中心未落在第i个网格中;
类别预测损失函数:
其中λid为类别预测损失函数的权值,p(c)为网络预测类别概率,为标注类别;
整体损失函数:L=Ledge+Lmask+Lpc+Lconf+Lid。
训练过程中采用多尺度输入训练策略,在训练过程中每100个周期之后增大输入网络图片的尺寸。初始学习率0.001,并且在第250个周期后降低为10-4,在第500个周期后降低为10-5,训练800个周期后结束,batch size为16,采用自适应矩估计优化器优化变量。
S4:调用S3得到的6D位姿估计网络模型对目标物体图片进行预测,得到目标物体关键点的二维投影坐标;
通过所述已经训练完成的6D位姿估计的网络,对目标物体图片进行检测;由网络中边界框预测分支的输出得到目标物体9个关键点投影坐标。由于网络中参数已经在训练阶段学习到目标轮廓预测信息,在检测过程中,剪去网络中轮廓预测分支,提升了网络对目标物体的检测速度。
S5:利用S4中目标物体预测关键点的投影坐标和目标物体的CAD模型关键点三维坐标,通过EPnP算法计算目标物体相对于相机的位姿;
在EPnP算法中,世界坐标系中参考点的3D坐标被表示为一组控制点的加权和,首先由3D参考点计算出控制点,再通过高斯-牛顿优化算法确定控制点在相机坐标下的坐标,最后经位姿变换得到目标物体的位姿信息。
Claims (4)
1.一种利用轮廓信息的6D位姿估计方法,其特征在于,包括以下步骤:
S1:基于卷积神经网络设计目标物体6D位姿估计网络,包含网络共享层、轮廓预测分支和边界框预测分支;
网络共享层由卷积层和池化层组成,用于提取图片中目标物体特征,得到特征图;
轮廓预测分支由上采样层和卷积层组成,每次上采样之后得到的特征图和网络共享层中相同尺度的特征图拼接得到新的特征图,并作为下一个卷积层的输入;
边界框预测分支由一系列全卷积网络以及一个直连层组成,此分支将输入图片划分为S×S个网格,每个网格对应图片中32×32的区域,每个网格输出包含代表3D边界框的9个关键点投影坐标、类别概率,预测框的置信度;边界框预测分支输出维度大小为S×S×D的张量,其中D=(9×2+N+1),N代表目标物体的类别个数,9个关键点为3D边界框的顶点和边界框的中心;
S2:采用不同背景、角度和姿态的目标物体图片作为训练样本以构建训练集,对训练样本进行数据增强,以及轮廓信息标注、分类信息标注和位姿信息标注;
S3:使用步骤S2构建的训练集对目标物体6D位姿估计网络进行训练,通过最小化设计的损失函数优化网络参数,当训练次数达到预设次数时,停止训练并得到6D位姿估计网络模型;
S4:调用S3得到的6D位姿估计网络模型对目标物体图片进行预测,得到目标物体关键点的二维投影坐标;
S5:利用S4中目标物体预测关键点的投影坐标和目标物体的CAD模型关键点三维坐标,通过EPnP算法计算目标物体相对于相机的位姿。
2.如权利要求1所述的一种利用轮廓信息的6D位姿估计方法,其特征在于,目标物体6D位姿估计网络中轮廓预测分支最后一层采用Sigmoid函数,其余非线性激活函均使用Relu函数,每个卷积层均合并了批归一化层。
3.如权利要求1所述的一种利用轮廓信息的6D位姿估计方法,其特征在于,在步骤2中,轮廓信息以二维张量标注,以区分目标物体和背景,轮廓信息张量的维度与网络输入图片相同;分类信息以数字标注,不同类别的物体以不同大小的整数标注;位姿信息以目标物体的3D边界框的8个顶点和1个中心点标注。
4.如权利要求1所述的一种利用轮廓信息的6D位姿估计方法,其特征在于,步骤S3中所设计的损失函数包括几何约束损失函数、轮廓预测损失函数、关键点坐标误差函数、置信度损失函数和类别预测损失函数,具体是:
几何约束损失函数公式:
其中λedge为几何约束损失函数的权值,lij为预测边界框的边长,为预测框第i组的四个对应边的平均长度;
轮廓预测损失函数:
其中λmask为轮廓预测损失函数的权值,w为输入图片的宽度像素值,h为输入图片的高度像素值,p为预测像素为目标物体的概率,为标注值,;
关键点坐标误差函数:
其中λpc为关键点坐标误差函数的权值,S2为输入图片划分的网格的数目,x,y为预测坐标值,为标注坐标值,表示目标物体的中心落在第i个网格中;
置信度损失函数:
其中λobj为置信度损失函数的权值,C为预测置信度,为预测边界框与标注边界框计算得到的置信度,表示目标物体的中心落在第i个网格中,表示目标物体的中心未落在第i个网格中;
类别预测损失函数:
其中λid为类别预测损失函数的权值,p(c)为网络预测类别概率,为标注类别;
整体损失函数:L=Ledge+Lmask+Lpc+Lconf+Lid。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910569209.2A CN110322510B (zh) | 2019-06-27 | 2019-06-27 | 一种利用轮廓信息的6d位姿估计方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910569209.2A CN110322510B (zh) | 2019-06-27 | 2019-06-27 | 一种利用轮廓信息的6d位姿估计方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110322510A true CN110322510A (zh) | 2019-10-11 |
CN110322510B CN110322510B (zh) | 2021-08-27 |
Family
ID=68121222
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910569209.2A Active CN110322510B (zh) | 2019-06-27 | 2019-06-27 | 一种利用轮廓信息的6d位姿估计方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110322510B (zh) |
Cited By (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110119148A (zh) * | 2019-05-14 | 2019-08-13 | 深圳大学 | 一种六自由度姿态估计方法、装置及计算机可读存储介质 |
CN111126269A (zh) * | 2019-12-24 | 2020-05-08 | 京东数字科技控股有限公司 | 三维目标检测方法、装置以及存储介质 |
CN111144401A (zh) * | 2019-11-06 | 2020-05-12 | 华能国际电力股份有限公司海门电厂 | 一种电厂集控室深度学习和视觉伺服的触屏控制操作方法 |
CN111175318A (zh) * | 2020-01-21 | 2020-05-19 | 上海悦易网络信息技术有限公司 | 屏幕划痕碎裂检测方法及设备 |
CN111369571A (zh) * | 2020-02-27 | 2020-07-03 | 北京百度网讯科技有限公司 | 三维物体位姿准确性判断方法、装置及电子设备 |
CN111428586A (zh) * | 2020-03-09 | 2020-07-17 | 同济大学 | 基于特征融合与样本增强的三维人体姿态估计方法 |
CN111640167A (zh) * | 2020-06-08 | 2020-09-08 | 上海商汤智能科技有限公司 | 一种ar合影方法、装置、计算机设备及存储介质 |
CN111667535A (zh) * | 2020-06-04 | 2020-09-15 | 电子科技大学 | 一种针对遮挡场景下的六自由度位姿估计方法 |
CN112085789A (zh) * | 2020-08-11 | 2020-12-15 | 深圳先进技术研究院 | 位姿估计方法、装置、设备及介质 |
CN112150551A (zh) * | 2020-09-25 | 2020-12-29 | 北京百度网讯科技有限公司 | 物体位姿的获取方法、装置和电子设备 |
CN112150546A (zh) * | 2020-10-23 | 2020-12-29 | 西华大学 | 一种基于辅助点几何约束的单目视觉位姿估计方法 |
CN112163541A (zh) * | 2020-10-09 | 2021-01-01 | 上海云绅智能科技有限公司 | 一种3d目标检测方法、装置、电子设备和存储介质 |
CN112598040A (zh) * | 2020-12-16 | 2021-04-02 | 浙江方圆检测集团股份有限公司 | 一种基于深度学习的开关一致性实时检测方法 |
CN112634367A (zh) * | 2020-12-25 | 2021-04-09 | 天津大学 | 一种基于深度神经网络的抗遮挡的物体位姿估计方法 |
CN112634363A (zh) * | 2020-12-10 | 2021-04-09 | 上海零眸智能科技有限公司 | 一种货架姿态预估方法 |
CN112884820A (zh) * | 2019-11-29 | 2021-06-01 | 杭州三坛医疗科技有限公司 | 一种影像初始配准及神经网络的训练方法、装置和设备 |
CN113240736A (zh) * | 2021-02-23 | 2021-08-10 | 广东工业大学 | 基于yolo6d改进网络的位姿估计方法及装置 |
CN113436251A (zh) * | 2021-06-24 | 2021-09-24 | 东北大学 | 一种基于改进的yolo6d算法的位姿估计系统及方法 |
CN113793472A (zh) * | 2021-09-15 | 2021-12-14 | 应急管理部沈阳消防研究所 | 基于特征深度聚合网络的图像型火灾探测器位姿估计方法 |
CN114119753A (zh) * | 2021-12-08 | 2022-03-01 | 北湾科技(武汉)有限公司 | 面向机械臂抓取的透明物体6d姿态估计方法 |
WO2022116678A1 (zh) * | 2020-12-02 | 2022-06-09 | 达闼机器人股份有限公司 | 目标物体位姿确定方法、装置、存储介质及电子设备 |
CN115019136A (zh) * | 2022-08-05 | 2022-09-06 | 山东圣点世纪科技有限公司 | 抗边界点漂移的目标关键点检测模型训练方法及检测方法 |
CN116012422A (zh) * | 2023-03-23 | 2023-04-25 | 西湖大学 | 基于单目视觉的无人机6d位姿估计跟踪方法及其应用 |
CN116664843A (zh) * | 2023-06-05 | 2023-08-29 | 北京信息科技大学 | 一种基于rgbd图像和语义分割的残差拟合抓取检测网络 |
CN116934970A (zh) * | 2023-07-24 | 2023-10-24 | 天津大学 | 一种基于先验知识引导的医学单视图三维重建装置 |
CN117237451A (zh) * | 2023-09-15 | 2023-12-15 | 南京航空航天大学 | 一种基于轮廓重建和几何引导的工业零件6d位姿估计方法 |
CN117474836A (zh) * | 2023-09-27 | 2024-01-30 | 深圳市长盈精密技术股份有限公司 | 形变缺陷的检测方法及装置 |
CN117542122A (zh) * | 2024-01-09 | 2024-02-09 | 北京渲光科技有限公司 | 人体位姿估计与三维重建方法、网络训练方法及装置 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108491880A (zh) * | 2018-03-23 | 2018-09-04 | 西安电子科技大学 | 基于神经网络的物体分类和位姿估计方法 |
CN109064514A (zh) * | 2018-07-03 | 2018-12-21 | 北京航空航天大学 | 一种基于投影点坐标回归的六自由度位姿估计算法 |
CN109063301A (zh) * | 2018-07-24 | 2018-12-21 | 杭州师范大学 | 一种基于热力图的单幅图像室内物体姿态估计方法 |
CN109215080A (zh) * | 2018-09-25 | 2019-01-15 | 清华大学 | 基于深度学习迭代匹配的6d姿态估计网络训练方法及装置 |
CN109801337A (zh) * | 2019-01-21 | 2019-05-24 | 同济大学 | 一种基于实例分割网络和迭代优化的6d位姿估计方法 |
CN109816725A (zh) * | 2019-01-17 | 2019-05-28 | 哈工大机器人(合肥)国际创新研究院 | 一种基于深度学习的单目相机物体位姿估计方法及装置 |
CN109903332A (zh) * | 2019-01-08 | 2019-06-18 | 杭州电子科技大学 | 一种基于深度学习的目标姿态估计方法 |
-
2019
- 2019-06-27 CN CN201910569209.2A patent/CN110322510B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108491880A (zh) * | 2018-03-23 | 2018-09-04 | 西安电子科技大学 | 基于神经网络的物体分类和位姿估计方法 |
CN109064514A (zh) * | 2018-07-03 | 2018-12-21 | 北京航空航天大学 | 一种基于投影点坐标回归的六自由度位姿估计算法 |
CN109063301A (zh) * | 2018-07-24 | 2018-12-21 | 杭州师范大学 | 一种基于热力图的单幅图像室内物体姿态估计方法 |
CN109215080A (zh) * | 2018-09-25 | 2019-01-15 | 清华大学 | 基于深度学习迭代匹配的6d姿态估计网络训练方法及装置 |
CN109903332A (zh) * | 2019-01-08 | 2019-06-18 | 杭州电子科技大学 | 一种基于深度学习的目标姿态估计方法 |
CN109816725A (zh) * | 2019-01-17 | 2019-05-28 | 哈工大机器人(合肥)国际创新研究院 | 一种基于深度学习的单目相机物体位姿估计方法及装置 |
CN109801337A (zh) * | 2019-01-21 | 2019-05-24 | 同济大学 | 一种基于实例分割网络和迭代优化的6d位姿估计方法 |
Non-Patent Citations (4)
Title |
---|
BUGRA TEKIN等: "Real-time seamless single shot 6D object pose prediction", 《2018 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 * |
SIDA PENG等: "PVNet: Pixel-wise Voting Network for 6DoF Pose Estimation", 《ARXIV:1812.11788V1》 * |
VIJAY BADRINARAYANAN等: "SegNet: A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 * |
YU XIANG等: "PoseCNN: A Convolutional Neural Network for 6D Object Pose Estimation in Cluttered Scenes", 《ROBOTICS: SCIENCE AND SYSTEMS (RSS)》 * |
Cited By (41)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110119148A (zh) * | 2019-05-14 | 2019-08-13 | 深圳大学 | 一种六自由度姿态估计方法、装置及计算机可读存储介质 |
CN110119148B (zh) * | 2019-05-14 | 2022-04-29 | 深圳大学 | 一种六自由度姿态估计方法、装置及计算机可读存储介质 |
CN111144401A (zh) * | 2019-11-06 | 2020-05-12 | 华能国际电力股份有限公司海门电厂 | 一种电厂集控室深度学习和视觉伺服的触屏控制操作方法 |
CN111144401B (zh) * | 2019-11-06 | 2024-01-26 | 华能国际电力股份有限公司海门电厂 | 一种电厂集控室深度学习和视觉伺服的触屏控制操作方法 |
CN112884820A (zh) * | 2019-11-29 | 2021-06-01 | 杭州三坛医疗科技有限公司 | 一种影像初始配准及神经网络的训练方法、装置和设备 |
CN111126269A (zh) * | 2019-12-24 | 2020-05-08 | 京东数字科技控股有限公司 | 三维目标检测方法、装置以及存储介质 |
CN111126269B (zh) * | 2019-12-24 | 2022-09-30 | 京东科技控股股份有限公司 | 三维目标检测方法、装置以及存储介质 |
CN111175318A (zh) * | 2020-01-21 | 2020-05-19 | 上海悦易网络信息技术有限公司 | 屏幕划痕碎裂检测方法及设备 |
CN111369571A (zh) * | 2020-02-27 | 2020-07-03 | 北京百度网讯科技有限公司 | 三维物体位姿准确性判断方法、装置及电子设备 |
CN111428586B (zh) * | 2020-03-09 | 2023-05-16 | 同济大学 | 基于特征融合与样本增强的三维人体姿态估计方法 |
CN111428586A (zh) * | 2020-03-09 | 2020-07-17 | 同济大学 | 基于特征融合与样本增强的三维人体姿态估计方法 |
CN111667535A (zh) * | 2020-06-04 | 2020-09-15 | 电子科技大学 | 一种针对遮挡场景下的六自由度位姿估计方法 |
CN111640167A (zh) * | 2020-06-08 | 2020-09-08 | 上海商汤智能科技有限公司 | 一种ar合影方法、装置、计算机设备及存储介质 |
CN112085789A (zh) * | 2020-08-11 | 2020-12-15 | 深圳先进技术研究院 | 位姿估计方法、装置、设备及介质 |
CN112150551A (zh) * | 2020-09-25 | 2020-12-29 | 北京百度网讯科技有限公司 | 物体位姿的获取方法、装置和电子设备 |
CN112150551B (zh) * | 2020-09-25 | 2023-07-25 | 北京百度网讯科技有限公司 | 物体位姿的获取方法、装置和电子设备 |
CN112163541A (zh) * | 2020-10-09 | 2021-01-01 | 上海云绅智能科技有限公司 | 一种3d目标检测方法、装置、电子设备和存储介质 |
CN112150546A (zh) * | 2020-10-23 | 2020-12-29 | 西华大学 | 一种基于辅助点几何约束的单目视觉位姿估计方法 |
CN112150546B (zh) * | 2020-10-23 | 2023-11-21 | 西华大学 | 一种基于辅助点几何约束的单目视觉位姿估计方法 |
WO2022116678A1 (zh) * | 2020-12-02 | 2022-06-09 | 达闼机器人股份有限公司 | 目标物体位姿确定方法、装置、存储介质及电子设备 |
CN112634363A (zh) * | 2020-12-10 | 2021-04-09 | 上海零眸智能科技有限公司 | 一种货架姿态预估方法 |
CN112634363B (zh) * | 2020-12-10 | 2023-10-03 | 上海零眸智能科技有限公司 | 一种货架姿态预估方法 |
CN112598040A (zh) * | 2020-12-16 | 2021-04-02 | 浙江方圆检测集团股份有限公司 | 一种基于深度学习的开关一致性实时检测方法 |
CN112634367A (zh) * | 2020-12-25 | 2021-04-09 | 天津大学 | 一种基于深度神经网络的抗遮挡的物体位姿估计方法 |
CN113240736A (zh) * | 2021-02-23 | 2021-08-10 | 广东工业大学 | 基于yolo6d改进网络的位姿估计方法及装置 |
CN113436251A (zh) * | 2021-06-24 | 2021-09-24 | 东北大学 | 一种基于改进的yolo6d算法的位姿估计系统及方法 |
CN113436251B (zh) * | 2021-06-24 | 2024-01-09 | 东北大学 | 一种基于改进的yolo6d算法的位姿估计系统及方法 |
CN113793472A (zh) * | 2021-09-15 | 2021-12-14 | 应急管理部沈阳消防研究所 | 基于特征深度聚合网络的图像型火灾探测器位姿估计方法 |
CN113793472B (zh) * | 2021-09-15 | 2023-01-20 | 应急管理部沈阳消防研究所 | 基于特征深度聚合网络的图像型火灾探测器位姿估计方法 |
CN114119753A (zh) * | 2021-12-08 | 2022-03-01 | 北湾科技(武汉)有限公司 | 面向机械臂抓取的透明物体6d姿态估计方法 |
CN115019136B (zh) * | 2022-08-05 | 2022-11-25 | 山东圣点世纪科技有限公司 | 抗边界点漂移的目标关键点检测模型训练方法及检测方法 |
CN115019136A (zh) * | 2022-08-05 | 2022-09-06 | 山东圣点世纪科技有限公司 | 抗边界点漂移的目标关键点检测模型训练方法及检测方法 |
CN116012422A (zh) * | 2023-03-23 | 2023-04-25 | 西湖大学 | 基于单目视觉的无人机6d位姿估计跟踪方法及其应用 |
CN116664843B (zh) * | 2023-06-05 | 2024-02-20 | 北京信息科技大学 | 一种基于rgbd图像和语义分割的残差拟合抓取检测网络 |
CN116664843A (zh) * | 2023-06-05 | 2023-08-29 | 北京信息科技大学 | 一种基于rgbd图像和语义分割的残差拟合抓取检测网络 |
CN116934970A (zh) * | 2023-07-24 | 2023-10-24 | 天津大学 | 一种基于先验知识引导的医学单视图三维重建装置 |
CN117237451A (zh) * | 2023-09-15 | 2023-12-15 | 南京航空航天大学 | 一种基于轮廓重建和几何引导的工业零件6d位姿估计方法 |
CN117237451B (zh) * | 2023-09-15 | 2024-04-02 | 南京航空航天大学 | 一种基于轮廓重建和几何引导的工业零件6d位姿估计方法 |
CN117474836A (zh) * | 2023-09-27 | 2024-01-30 | 深圳市长盈精密技术股份有限公司 | 形变缺陷的检测方法及装置 |
CN117542122A (zh) * | 2024-01-09 | 2024-02-09 | 北京渲光科技有限公司 | 人体位姿估计与三维重建方法、网络训练方法及装置 |
CN117542122B (zh) * | 2024-01-09 | 2024-03-22 | 北京渲光科技有限公司 | 人体位姿估计与三维重建方法、网络训练方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN110322510B (zh) | 2021-08-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110322510A (zh) | 一种利用轮廓信息的6d位姿估计方法 | |
CN110135503B (zh) | 一种装配机器人零件深度学习识别方法 | |
CN110930454B (zh) | 一种基于边界框外关键点定位的六自由度位姿估计算法 | |
CN110176027A (zh) | 视频目标跟踪方法、装置、设备及存储介质 | |
US20200218971A1 (en) | Training of deep neural networks on the basis of distributions of paired similarity measures | |
CN109858569A (zh) | 基于目标检测网络的多标签物体检测方法、系统、装置 | |
CN111783772A (zh) | 一种基于RP-ResNet网络的抓取检测方法 | |
CN107203891A (zh) | 一种自动多阀值特征过滤方法及装置 | |
CN110084221A (zh) | 一种基于深度学习的带中继监督的序列化人脸关键点检测方法 | |
CN111627050B (zh) | 一种目标跟踪模型的训练方法和装置 | |
CN110610210B (zh) | 一种多目标检测方法 | |
CN108334878B (zh) | 视频图像检测方法、装置、设备及可读存储介质 | |
CN113822284B (zh) | 一种基于边界注意力的rgbd图像语义分割方法 | |
CN111368637B (zh) | 一种基于多掩模卷积神经网络的搬运机器人识别目标方法 | |
CN114022586B (zh) | 一种基于对抗生成网络的缺陷图像生成方法 | |
CN110310305A (zh) | 一种基于bssd检测与卡尔曼滤波的目标跟踪方法与装置 | |
CN115147488B (zh) | 一种基于密集预测的工件位姿估计方法与抓取系统 | |
CN113706579A (zh) | 一种基于工厂化养殖的对虾多目标跟踪系统及方法 | |
CN113673540A (zh) | 一种基于定位信息引导的目标检测方法 | |
CN113436224A (zh) | 一种基于显式构图规则建模的智能图像裁剪方法及装置 | |
CN112288084A (zh) | 一种基于特征图通道重要性程度的深度学习目标检测网络压缩方法 | |
CN117058235A (zh) | 跨多种室内场景的视觉定位方法 | |
CN117237756A (zh) | 一种训练目标分割模型的方法、目标分割方法及相关装置 | |
CN112926681B (zh) | 一种基于深度卷积神经网络的目标检测方法及装置 | |
CN115100136A (zh) | 基于YOLOv4-tiny模型的工件类别与位姿估计方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |