CN109816725A - 一种基于深度学习的单目相机物体位姿估计方法及装置 - Google Patents
一种基于深度学习的单目相机物体位姿估计方法及装置 Download PDFInfo
- Publication number
- CN109816725A CN109816725A CN201910043902.6A CN201910043902A CN109816725A CN 109816725 A CN109816725 A CN 109816725A CN 201910043902 A CN201910043902 A CN 201910043902A CN 109816725 A CN109816725 A CN 109816725A
- Authority
- CN
- China
- Prior art keywords
- neural network
- dimensional
- trained
- network model
- pose
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000013135 deep learning Methods 0.000 title claims abstract description 21
- 238000012549 training Methods 0.000 claims abstract description 68
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 64
- 238000012360 testing method Methods 0.000 claims abstract description 31
- 238000003062 neural network model Methods 0.000 claims description 42
- 230000006870 function Effects 0.000 claims description 38
- 238000013528 artificial neural network Methods 0.000 claims description 26
- 230000036544 posture Effects 0.000 claims description 17
- 238000012795 verification Methods 0.000 claims description 17
- 238000009616 inductively coupled plasma Methods 0.000 claims description 14
- 238000013507 mapping Methods 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 7
- 238000010586 diagram Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000006052 Horner reaction Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度学习的单目相机物体位姿估计方法,方法包括:1)、根据所获取的物体的三维图像在二维空间内的投影以及投影对应的物体坐标以及物体的标签文件生成训练集和验证集;2)、利用级联卷积神经网络模型学习训练集,并迭代超参数;3)、使用测试集测试训练后的级联卷积神经网络模型,在训练后的级联卷积神经网络模型的准确率不小于第一预设阈值时,使用所述训练后的级联卷积神经网络模型进行物体位姿估计。本发明公开了一种基于深度学习的单目相机物体位姿估计装置。应用本发明实施例,可以物体位姿估计的应用成本。
Description
技术领域
本发明涉及一种位姿估计方法及装置,更具体涉及一种基于深度学习的单目相机物体位姿估计方法及装置。
背景技术
位姿估计是计算机视觉领域一个非常重要的分支,在使用传感器估计物体位姿后用于控制机械手的运动轨迹、以及物体抓取研究发挥着极大作用(在基于传感器估计物体位姿后用于规划机械末端的运动轨迹、以及智能物体抓取等研究领域发挥着极大作用)。位姿估计算法是寻求现实世界和图像投影得到的图像之间物理关系,然后对物体的世界坐标以及三维方向进行精准估计,已经成为图像处理领域许多应用的必需预处理操作,位姿估计精准度直接影响后续操作成功与否,其重要性在机器人分拣领域、工业生产自动化领域和动作捕获跟踪领域尤为突出。
位姿估计的信息捕捉需要依靠硬件传感器,在视觉领域,位姿估计信息获取方式为摄像机,通常使用多目视觉位姿估计和3D视觉位姿估计。受到硬件发展水平限制,现有多目和3D相机价格都比较贵,尤其后者,价格在数十万元以上,导致目前的技术存在物体位姿估计的应用成本较高的问题。
发明内容
本发明所要解决的技术问题在于提供了一种基于深度学习的单目相机物体位姿估计方法及装置,以解决物体位姿估计的应用成本较高的技术问题。
本发明通过以下技术方案解决上述技术问题:
本发明实施例提供了一种基于深度学习的单目相机物体位姿估计方法,所述方法包括:
1)、根据所获取的物体处于不同姿态时的三维模型在二维空间内的投影,以及所述投影对应的物体坐标以及物体的标签文件生成训练集和验证集,其中,所述标签文件包括:物体的个数、物体的类别、物体边界框、物体位姿关键点中的一种或组合;
2)、利用级联卷积神经网络模型学习训练集,并迭代超参数;
3)、使用测试集测试训练后的级联卷积神经网络模型,在训练后的级联卷积神经网络模型的准确率不小于第一预设阈值时,使用所述训练后的级联卷积神经网络模型进行物体位姿估计。
可选的,在步骤1)之前,所述方法还包括:
使用ImageNet库对级联卷积神经网络模型进行预训练。
可选的,所述步骤1),包括:
使用投影矩阵将物体处于不同姿态时的三维模型转换为二维图像,其中,所述三维模型包括:含有单个物体的三维模型和含有两个或者两个以上的三维模型;
将所述二维图像转换到HSV色彩空间并剪裁掉黑色背景;
再将转换到HSV色彩空间的二维图像转换到RGB色彩空间;
将转换到RGB色彩空间的二维图像裁剪成设定尺寸;
获取每一个二维图像对应的标签文件,并将所述标签文件对应到裁剪后的二维图像,并将对应标签文件后的二维图像的集合划分为训练集和验证集,其中,所述标签文件包括:物体的个数、物体的类别、物体边界框、物体位姿关键点中的一种或组合。
可选的,所述步骤2),包括:
A:使用SSD模型提取出训练集图像的特征,将提取的特征、物体坐标以及物体的标签文件输入当前级联卷积神经网络进行训练,得到预测的物体种类、物体边界框和物体三维位姿点;
B:利用整体损失函数,评价训练后的当前级联卷积神经网络的整体损失,其中,
L()为训练后的当前级联卷积神经网络的整体损失;N为匹配到的符合条件的候选区域个数;Lconf()为置信度损失函数;x为预测坐标和真实坐标之间的距离;c为置信度;l为预测的二维位置坐标;g为真实位置坐标;Lloc()为位置损失函数;Lcnr()为三维位姿点的损失函数;q为预测三维姿态关键点;k为真实姿态点;
C:判断所述整体损失是否小于第二预设阈值;
D:若是,将当前网络作为训练后的卷积神经网络;
E:若否,按照随机梯度下降算法对当前网络进行优化,并将优化后的网络作为初始级联卷积神经网络,并返回执行所述A步骤,直至所述整体损失小于第二预设阈值,进而得到训练后的卷积神经网络。
可选的,所述步骤3),包括:
F:使用测试集测试训练后的级联卷积神经网络模型,判断训练后的级联卷积神经网络模型的准确率是否达到第一预设阈值;
G:若是,使用训练后的级联卷积神经网络模型对单目相机拍摄的待识别二维图像中包含的物体进行位姿估计;
H:若否,调整所述级联卷积神经网络模型中的超参数,并返回执行所述步骤2),直至训练后的级联卷积神经网络模型的准确率不小于第一预设阈值,进而使用训练后的级联卷积神经网络模型对单目相机拍摄的待识别二维图像中包含的物体进行位姿估计;
I:使用PNP算法将二维图像中的物体三维位姿点映射到三维空间中,得到初始化位姿关键点;
J:使用ICP算法对初始化位姿关键点进行优化,得到物体的最终位姿。
本发明实施例提供了一种基于深度学习的单目相机物体位姿估计装置,所述装置包括:
生成模块,用于根据所获取的物体处于不同姿态时的三维图像在二维空间内的投影,以及所述投影对应的物体坐标以及物体的标签文件生成训练集和验证集,其中,所述标签文件包括:物体的个数、物体的类别、物体边界框、物体位姿关键点中的一种或组合;
训练模块,用于利用级联卷积神经网络模型学习训练集,并迭代超参数;
估计模块,用于使用测试集测试训练后的级联卷积神经网络模型,在训练后的级联卷积神经网络模型的准确率不小于第一预设阈值时,使用所述训练后的级联卷积神经网络模型进行物体位姿估计。
可选的,所述装置还包括:预训练模块,用于使用ImageNet库对级联卷积神经网络模型进行预训练。
可选的,所述生成模块,用于:
使用投影矩阵将物体处于不同姿态时的三维模型转换为二维图像,其中,所述三维模型包括:含有单个物体的三维模型和含有两个或者两个以上的三维模型;
将所述二维图像转换到HSV色彩空间并剪裁掉黑色背景;
再将转换到HSV色彩空间的二维图像转换到RGB色彩空间;
将转换到RGB色彩空间的二维图像裁剪成设定尺寸;
获取每一个二维图像对应的标签文件,并将所述标签文件对应到裁剪后的二维图像,并将对应标签文件后的二维图像的集合划分为训练集和验证集,其中,所述标签文件包括:物体的个数、物体的类别、物体边界框、物体位姿关键点中的一种或组合。
可选的,所述训练模块,用于:
A:使用SSD模型提取出训练集图像的特征,将提取的特征、物体坐标以及物体的标签文件输入当前级联卷积神经网络进行训练,得到预测的物体种类、物体边界框和物体三维位姿点;
B:利用整体损失函数,评价训练后的当前级联卷积神经网络的整体损失,其中,
L()为训练后的当前级联卷积神经网络的整体损失;N为匹配到的符合条件的候选区域个数;Lconf()为置信度损失函数;x为预测坐标和真实坐标之间的距离;c为置信度;l为预测的二维位置坐标;g为真实位置坐标;Lloc()为位置损失函数;Lcnr()为三维位姿点的损失函数;q为预测三维姿态关键点;k为真实姿态点;
C:判断所述整体损失是否小于第二预设阈值;
D:若是,将当前网络作为训练后的卷积神经网络;
E:若否,按照随机梯度下降算法对当前网络进行优化,并将优化后的网络作为初始级联卷积神经网络,并返回执行所述A步骤,直至所述整体损失小于第二预设阈值,进而得到训练后的卷积神经网络。
可选的,所述估计模块,还用于:
F:使用测试集测试训练后的级联卷积神经网络模型,判断训练后的级联卷积神经网络模型的准确率是否达到第一预设阈值;
G:若是,使用训练后的级联卷积神经网络模型对单目相机拍摄的待识别二维图像中包含的物体进行位姿估计;
H:若否,调整所述级联卷积神经网络模型中的超参数,并触发训练模块,直至训练后的级联卷积神经网络模型的准确率不小于第一预设阈值,进而使用训练后的级联卷积神经网络模型对单目相机拍摄的待识别二维图像中包含的物体进行位姿估计;
I:使用PNP算法将二维图像中的物体三维位姿点映射到三维空间中,得到初始化位姿关键点;
J:使用ICP算法对初始化位姿关键点进行优化,得到物体的最终位姿。
本发明相比现有技术具有以下优点:
应用本发明实施例,将物体位于不同姿态时的三维图像在二维空间内的投影输入到级联卷积神经网络中对级联卷积神经网络进行训练,然后使用训练后的模型识别出于待识别二维图像中包含的物体的位姿信息,在实际应用中,二维图像可以使用单目相机获得,相对于现有技术中使用双目相机或者3D相机,可以大大降低物体位姿估计的应用成本。
附图说明
图1为本发明实施例提供的一种基于深度学习的单目相机物体位姿估计方法的流程示意图;
图2为本发明实施例提供的一种基于深度学习的单目相机物体位姿估计方法的原理示意图;
图3为本发明实施例提供的一种级联卷积神经网络的结构示意图;
图4为本发明实施例提供的一种基于深度学习的单目相机物体位姿估计装置的流程示意图。
具体实施方式
下面对本发明的实施例作详细说明,本实施例在以本发明技术方案为前提下进行实施,给出了详细的实施方式和具体的操作过程,但本发明的保护范围不限于下述的实施例。
本发明实施例提供了一种基于深度学习的单目相机物体位姿估计方法及装置,下面首先就本发明实施例提供的一种基于深度学习的单目相机物体位姿估计方法进行介绍。
图1为本发明实施例提供的一种基于深度学习的单目相机物体位姿估计方法的流程示意图;图2为本发明实施例提供的一种基于深度学习的单目相机物体位姿估计方法的原理示意图;如图1和图2所示,所述方法包括:
S101:根据所获取的物体处于不同姿态时的三维模型在二维空间内的投影,以及所述投影对应的物体坐标以及物体的标签文件生成训练集和验证集,其中,所述标签文件包括:物体的个数、物体的类别、物体边界框、物体位姿关键点中的一种或组合。
具体实现过程为:先使用OpenGL(Open Graphics Library,开放式图形库)软件读取用于训练及链锯安吉神经网络模型的物体的三维模型。这些三维模型可以是实用三维绘图软件绘制的。然后使用投影矩阵将物体处于不同姿态时的三维模型转换为二维图像,其中,所述三维模型包括:含有单个物体的三维模型和含有两个或者两个以上的三维模型。
在实际应用中,可以将一个物体处于倾斜状态、直立状态、倾倒状态作为物体的不同姿态;再使用投影矩阵将三维模型转换为二维图像。可以理解的是,二维图像为类似于按照一定的视角,以单个摄像头进行拍摄的平面图像。通常本步骤中得到的图像为包含物体的黑色背景的二维图像;
将所述二维图像转换到HSV(Hue Saturation Value,色调-饱和度-亮度)色彩空间并裁剪掉黑色背景区域;
再将裁剪后的二维图像转换到RGB(Red Green Blue,红绿蓝)色彩空间,并统一裁剪成设定尺寸的大小;
在实际应用中,可以将多个物体置于同一个三维图像中,进而转换到二维图像中;还可以将多个物体进行重叠摆放,进而将多个物体的三维图像转换到二维图像中,以更好的模拟实际场景。
将物体三维模型转换得到的二维图像的集合作为源图像库,然后依据渲染时模型的位姿和裁剪粘贴时的位置生成标签文件:获取每一个二维图像对应的标签文件,并将所述标签文件对应到裁剪后的二维图像,并将对应标签文件后的二维图像的集合划分为训练集和验证集,其中,所述标签文件包括但不仅限于:物体的尺寸参数、物体的形状参数、物体边界框(xmin,ymin,xmax,ymax)、物体位姿关键点(xi,yi);i∈[0,7],其中(xmin,ymin)和(xmax,ymax)分别是物体边界框一条对角线上两个顶点的坐标,(xi,yi);i∈[0,7]是八个位姿关键点。
将生成的源图像库与对应标签文件按照7:3的比例划分为训练集与验证集,并整理成可供深度网络高效读写并训练的文件。
本发明利用OpenGL对物体三维模型进行投影变换,快速生成物体的位姿关键点坐标,还可以直接生成含有多个目标物体的图像以及对应关键点坐标。相比传统人力标注数据,降低了获取源图像数据库的时间成本、人力成本以及增加了训练样本数量、提升样本质量。
S102:利用级联卷积神经网络模型学习训练集,并迭代超参数。
具体的,S102步骤,可以包括:A:使用SSD(Single Shot MultiBox Detector,单镜头多核检测器)模型提取出训练集图像的特征,将提取的特征、物体坐标以及物体的标签文件输入级联卷积神经网络进行训练,得到预测的物体种类、物体边界框和物体三维位姿点;
图3为本发明实施例提供的一种级联卷积神经网络的结构示意图,如图3所示,可以在级联卷积神经网络模型中自定义卷积网络层,并在原有输出结果基础上增加8个位姿关键点预测物体位姿。在图3中,Conv3-128代表,该卷积核尺寸为3*3,其具有128个滤波核心。发明人发现,在所有的卷积核大小都为3*3,池化层大小为2*2时,可以有效抑制模型参数个数和计算量的增长,并且加速训练速度、便于测试时模型参数移植。
级联卷积神经网络模型输出有三种信息:物体种类信息:confidence;物体边界框信息:location;和三维位姿点信息:corners。其中物体边界框和三维位姿点损失函数为Smooth L1,其计算过程为:利用针对物体三维位姿点的损失函数Lcnr()如,评价训练后的级联卷积神经网络,其中,
SmoothL1(x)为针对物体边界框和物体三维位姿点的损失函数;x为预测坐标和真实坐标之间的距离;| |为绝对值符号;
在实际应用中,可以利用针对物体种类的损失函数Lconf()如:
评价训练后的级联卷积神经网络,其中,
J(θ)为针对物体种类的损失;θ为级联卷积神经网络的参数向量;m为训练集中样本的数量;∑为求和函数;y(i)为第i个数据的类别标记;σi(z)为softmax分类器,且exp(zi)为自然底数为底数的指数函数;zi为第i个数据对应的预测的物体类别;zj为第j个数据对应的预测的物体类别;log为对数函数。
B:利用整体损失函数,评价训练后的当前级联卷积神经网络的整体损失,其中,
L()为训练后的当前级联卷积神经网络的整体损失;N为匹配到的符合条件的候选区域个数;Lconf()为物品种类置信度损失函数;x为预测坐标和真实坐标之间的距离;c为置信度;l为预测的二维位置坐标;g为真实位置坐标;Lloc()为物品位置损失函数;Lcnr()为物品三维位姿点的损失函数;q为预测三维姿态关键点;k为真实姿态点;
C:判断所述整体损失是否小于第二预设阈值;
D:若是,将当前网络作为训练后的卷积神经网络;
E:若否,按照随机梯度下降算法对当前网络进行优化,并将优化后的网络作为初始级联卷积神经网络,并返回执行所述A步骤,直至所述整体损失小于第二预设阈值,进而得到训练后的卷积神经网络。
具体的,梯度下降算法可以用如下模型表示,
其中,
θ'j为优化后的网络模型参数向量;θj为优化前的网络模型参数向量;hθ(xi)为当前网络的预测值;yi为第i组样本的目标值;为第i组样本中的第j个样本的样本值。
本发明实施例以SSD作为级联卷积神经网络的基础层,无需设计专门的特征提取滤波子,依靠多通道神经网络完成特征提取工作,能够提高图片中信息利用率。在SSD模型的基础上设计若干个自定义的卷积层,用于三维位姿估计,无需使用其他传统方法和其他复杂神经网络结构。整个网络为端到端结构神经网络,使得模型的训练和测试简易快捷。
S103:使用测试集测试训练后的级联卷积神经网络模型,在训练后的级联卷积神经网络模型的准确率不小于第一预设阈值时,使用所述训练后的级联卷积神经网络模型进行物体位姿估计。
具体的,S103步骤可以包括:F:使用测试集测试训练后的级联卷积神经网络模型,判断训练后的级联卷积神经网络模型的准确率是否达到第一预设阈值;G:若是,使用训练后的级联卷积神经网络模型对单目相机拍摄的待识别二维图像中包含的物体进行位姿估计;H:若否,调整所述级联卷积神经网络模型中的超参数,并返回执行所述步骤S102,直至训练后的级联卷积神经网络模型的准确率不小于第一预设阈值,进而使用训练后的级联卷积神经网络模型对单目相机拍摄的待识别二维图像中包含的物体进行位姿估计;I:使用PNP算法将二维图像中的物体三维位姿点映射到三维空间中,得到初始化位姿关键点;J:使用ICP算法对初始化位姿关键点进行优化,得到物体的最终位姿。
示例性的,判断训练后的级联卷积神经网络模型的准确率是否达到第一预设阈值可以为:判断训练后的当前卷积神经网络模型能否正确的识别出物体的个数、物体的类别、物体边界框、物体位姿关键点等信息,并且准确率达到第一预设阈值。另外,在本发明实施例中并不对超参数的调整方法进行限定,任何可以实现超参数调整的方法均可以应用在本发明实施例中。
使用PNP(pespective-n-point,透视-n点)算法将二位图像中的位姿关键点映射到三维空间中,PNP算法的输入点个数为8,完全满足求解PNP算法唯一解时对点数的要求。接着结合随机采样一致性算法,增加迭代次数,保证算法有足够高的置信度,得到映射后的初始化位姿关键点。
然后,使用ICP(Iterative Closest Point,迭代最近点)算法进一步对初始化位姿关键点进行优化,ICP算法如下:
其中,
Ed(r,t)为期望函数;r为旋转关系;t为旋转;n为待配准点集以及基准数据点集中包含的元素的个数;Rr为旋转关系函数;Pi为待配准点集中的第i个元素,P={Pi,i=0,1,2,....,n};T为平移关系函数;Mi为基准数据点集中的第i个元素,M={Mi,i=0,1,2,....,n};∑()为求和函数。
R为第i次迭代时的旋转关系;T为第i次迭代时的平移关系,E是期望函数,每次迭代更新ΔR和ΔT,得到更换新候的点集P。根据精度要求,定义终止迭代的条件是E值小于一个具体值,即满足点集间平均距离小于设定值。
应用本发明上述实施例,对卷积神经网络的识别结果进行进一步的处理,可以提高结果的准确度。
应用本发明图1所示实施例,将物体位于不同姿态时的三维图像在二维空间内的投影输入到级联卷积神经网络中对级联卷积神经网络进行训练,然后使用训练后的模型识别出于待识别二维图像中包含的物体的位姿信息,在实际应用中,二维图像通过使用单目相机获得,相对于现有技术中使用双目相机或者3D相机,而且对光照条件要求较低,可以大大降低物体位姿估计的应用成本。
在实际工业应用中,既要保证算法的处理速度、稳定性以及鲁棒性,也要把产品成本控制在较低范围,单目相机以其成本低、体积小的优点受到研究者们的青睐。
本发明实施例将基于模型的位姿估计算法与机器学习的位姿估计算法结合起来可以取得良好的处理效果,能够满足条件严苛的应用场景。
在实本发明实施例的一种具体实施方式中,还可以测试集对训练后的级联卷积神经网络模型进行测试。另外,为了确保测试集与训练集和验证集无交集,本发明实施例使用单目工业相机拍摄实际包含目标物体的场景作为测试集。
应用本发明上述实施例,可以对训练后的级联卷积神经网络进行测试。
在本发明实施例的一种具体实施方式中,在步骤S101之前,所述方法还包括:
使用ImageNet库对级联卷积神经网络模型进行预训练。
在实际应用中,由于ImageNet库中含有图片数量足够大,达到120万张,有助于训练出更加普适的模型。本发明实施例在ImageNet上预训练网络,优化器使用的是采用动量的随机梯度下降法,训练前期batch大小为64,学习率为0.0001,动量为0.9;在训练后期时batch大小为32,学习率为0.00001,动量为0.9。然后使用构建的训练集和验证集继续训练网络参数,每一次完整训练都使用验证集进行验证,然后反向传播更新网络中超参数,最终得到收敛并且损失函数值下降到预先期望小数量级内。
应用本发明上述实施例,可以提高卷积神经网络的训练速度和精度。
与本发明图1所示实施例相对应,本发明实施例还提供了一种基于深度学习的单目相机物体位姿估计装置。
图4为本发明实施例提供的一种基于深度学习的单目相机物体位姿估计装置的流程示意图,如图4所示,所述装置包括:
生成模块401,用于根据所获取的物体处于不同姿态时的三维图像在二维空间内的投影,以及所述投影对应的物体坐标以及物体的标签文件生成训练集和验证集,其中,所述标签文件包括:物体的个数、物体的类别、物体边界框、物体位姿关键点中的一种或组合;
训练模块402,用于利用级联卷积神经网络模型学习训练集,并迭代超参数;
估计模块403,用于使用测试集测试训练后的级联卷积神经网络模型,在训练后的级联卷积神经网络模型的准确率不小于第一预设阈值时,使用所述训练后的级联卷积神经网络模型进行物体位姿估计。
应用本发明图4所示实施例,将物体位于不同姿态时的三维图像在二维空间内的投影输入到级联卷积神经网络中对级联卷积神经网络进行训练,然后使用训练后的模型识别出于待识别二维图像中包含的物体的位姿信息,在实际应用中,二维图像可以使用单目相机获得,相对于现有技术中使用双目相机或者3D相机,可以大大降低物体位姿估计的应用成本。
在本发明实施例的一种具体实施方式中,所述装置还包括:预训练模块,用于使用ImageNet库对级联卷积神经网络模型进行预训练。
应用本发明上述实施例,可以提高卷积神经网络的训练速度和精度。
在本发明实施例的一种具体实施方式中,所述生成模块401,用于:
使用投影矩阵将物体处于不同姿态时的三维模型转换为二维图像,其中,所述三维模型包括:含有单个物体的三维模型和含有两个或者两个以上的三维模型;
将所述二维图像转换到HSV色彩空间并剪裁掉黑色背景;
再将转换到HSV色彩空间的二维图像转换到RGB色彩空间;
将转换到RGB色彩空间的二维图像裁剪成设定尺寸;
获取每一个二维图像对应的标签文件,并将所述标签文件对应到裁剪后的二维图像,并将对应标签文件后的二维图像的集合划分为训练集和验证集,其中,所述标签文件包括:物体的个数、物体的类别、物体边界框、物体位姿关键点中的一种或组合。
在本发明实施例的一种具体实施方式中,所述训练模块402,用于:
A:使用SSD模型提取出训练集图像的特征,将提取的特征、物体坐标以及物体的标签文件输入当前级联卷积神经网络进行训练,得到预测的物体种类、物体边界框和物体三维位姿点;
B:利用整体损失函数,评价训练后的当前级联卷积神经网络的整体损失,其中,
L()为训练后的当前级联卷积神经网络的整体损失;N为匹配到的符合条件的候选区域个数;Lconf()为置信度损失函数;x为预测坐标和真实坐标之间的距离;c为置信度;l为预测的二维位置坐标;g为真实位置坐标;Lloc()为位置损失函数;Lcnr()为三维位姿点的损失函数;q为预测三维姿态关键点;k为真实姿态点;
C:判断所述整体损失是否小于第二预设阈值;
D:若是,将当前网络作为训练后的卷积神经网络;
E:若否,按照随机梯度下降算法对当前网络进行优化,并将优化后的网络作为初始级联卷积神经网络,并返回执行所述A步骤,直至所述整体损失小于第二预设阈值,进而得到训练后的卷积神经网络。
在本发明实施例的一种具体实施方式中,所述估计模块,还用于:
F:使用测试集测试训练后的级联卷积神经网络模型,判断训练后的级联卷积神经网络模型的准确率是否达到第一预设阈值;
G:若是,使用训练后的级联卷积神经网络模型对单目相机拍摄的待识别二维图像中包含的物体进行位姿估计;
H:若否,调整所述级联卷积神经网络模型中的超参数,并触发训练模块,直至训练后的级联卷积神经网络模型的准确率不小于第一预设阈值,进而使用训练后的级联卷积神经网络模型对单目相机拍摄的待识别二维图像中包含的物体进行位姿估计;
I:使用PNP算法将二维图像中的物体三维位姿点映射到三维空间中,得到初始化位姿关键点;
J:使用ICP算法对初始化位姿关键点进行优化,得到物体的最终位姿。
应用本发明上述实施例,对卷积神经网络的识别结果进行进一步的处理,可以提高结果的准确度。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于深度学习的单目相机物体位姿估计方法,其特征在于,所述方法包括:
1)、根据所获取的物体处于不同姿态时的三维图像在二维空间内的投影,以及所述投影对应的物体坐标以及物体的标签文件生成训练集和验证集,其中,所述标签文件包括:物体的个数、物体的类别、物体边界框、物体位姿关键点中的一种或组合;
2)、利用级联卷积神经网络模型学习训练集,并迭代超参数;
3)、使用测试集测试训练后的级联卷积神经网络模型,在训练后的级联卷积神经网络模型的准确率不小于第一预设阈值时,使用所述训练后的级联卷积神经网络模型进行物体位姿估计。
2.根据权利要求1所述的一种基于深度学习的单目相机物体位姿估计方法,其特征在于,在步骤1)之前,所述方法还包括:
使用ImageNet库对级联卷积神经网络模型进行预训练。
3.根据权利要求1所述的一种基于深度学习的单目相机物体位姿估计方法,其特征在于,所述步骤1),包括:
使用投影矩阵将物体处于不同姿态时的三维模型转换为二维图像,其中,所述三维模型包括:含有单个物体的三维模型和含有两个或者两个以上的三维模型;
将所述二维图像转换到HSV色彩空间并剪裁掉黑色背景;
再将转换到HSV色彩空间的二维图像转换到RGB色彩空间;
将转换到RGB色彩空间的二维图像裁剪成设定尺寸;
获取每一个二维图像对应的标签文件,并将所述标签文件对应到裁剪后的二维图像,并将对应标签文件后的二维图像的集合划分为训练集和验证集,其中,所述标签文件包括:物体的个数、物体的类别、物体边界框、物体位姿关键点中的一种或组合。
4.根据权利要求1所述的一种基于深度学习的单目相机物体位姿估计方法,其特征在于,所述步骤2),包括:
A:使用SSD模型提取出训练集图像的特征,将提取的特征、物体坐标以及物体的标签文件输入当前级联卷积神经网络进行训练,得到预测的物体种类、物体边界框和物体三维位姿点;
B:利用整体损失函数,评价训练后的当前级联卷积神经网络的整体损失,其中,
L()为训练后的当前级联卷积神经网络的整体损失;N为匹配到的符合条件的候选区域个数;Lconf()为置信度损失函数;x为预测坐标和真实坐标之间的距离;c为置信度;l为预测的二维位置坐标;g为真实位置坐标;Lloc()为位置损失函数;Lcnr()为三维位姿点的损失函数;q为预测三维姿态关键点;k为真实姿态点;
C:判断所述整体损失是否小于第二预设阈值;
D:若是,将当前网络作为训练后的卷积神经网络;
E:若否,按照随机梯度下降算法对当前网络进行优化,并将优化后的网络作为初始级联卷积神经网络,并返回执行所述A步骤,直至所述整体损失小于第二预设阈值,进而得到训练后的卷积神经网络。
5.根据权利要求1所述的一种基于深度学习的单目相机物体位姿估计方法,其特征在于,所述步骤3),包括:
F:使用测试集测试训练后的级联卷积神经网络模型,判断训练后的级联卷积神经网络模型的准确率是否达到第一预设阈值;
G:若是,使用训练后的级联卷积神经网络模型对单目相机拍摄的待识别二维图像中包含的物体进行位姿估计;
H:若否,调整所述级联卷积神经网络模型中的超参数,并返回执行所述步骤2),直至训练后的级联卷积神经网络模型的准确率不小于第一预设阈值,进而使用训练后的级联卷积神经网络模型对单目相机拍摄的待识别二维图像中包含的物体进行位姿估计;
I:使用PNP算法将二维图像中的物体三维位姿点映射到三维空间中,得到初始化位姿关键点;
J:使用ICP算法对初始化位姿关键点进行优化,得到物体的最终位姿。
6.一种基于深度学习的单目相机物体位姿估计装置,其特征在于,所述装置包括:
生成模块,用于根据所获取的物体处于不同姿态时的三维图像在二维空间内的投影,以及所述投影对应的物体坐标以及物体的标签文件生成训练集和验证集,其中,所述标签文件包括:物体的个数、物体的类别、物体边界框、物体位姿关键点中的一种或组合;
训练模块,用于利用级联卷积神经网络模型学习训练集,并迭代超参数;
估计模块,用于使用测试集测试训练后的级联卷积神经网络模型,在训练后的级联卷积神经网络模型的准确率不小于第一预设阈值时,使用所述训练后的级联卷积神经网络模型进行物体位姿估计。
7.根据权利要求6所述的一种基于深度学习的单目相机物体位姿估计装置,其特征在于,所述装置还包括:预训练模块,用于使用ImageNet库对级联卷积神经网络模型进行预训练。
8.根据权利要求6所述的一种基于深度学习的单目相机物体位姿估计装置,其特征在于,所述生成模块,用于:
使用投影矩阵将物体处于不同姿态时的三维模型转换为二维图像,其中,所述三维模型包括:含有单个物体的三维模型和含有两个或者两个以上的三维模型;
将所述二维图像转换到HSV色彩空间并剪裁掉黑色背景;
再将转换到HSV色彩空间的二维图像转换到RGB色彩空间;
将转换到RGB色彩空间的二维图像裁剪成设定尺寸;
获取每一个二维图像对应的标签文件,并将所述标签文件对应到裁剪后的二维图像,并将对应标签文件后的二维图像的集合划分为训练集和验证集,其中,所述标签文件包括:物体的个数、物体的类别、物体边界框、物体位姿关键点中的一种或组合。
9.根据权利要求6所述的一种基于深度学习的单目相机物体位姿估计装置,其特征在于,所述训练模块,用于:
A:使用SSD模型提取出训练集图像的特征,将提取的特征、物体坐标以及物体的标签文件输入当前级联卷积神经网络进行训练,得到预测的物体种类、物体边界框和物体三维位姿点;
B:利用整体损失函数,评价训练后的当前级联卷积神经网络的整体损失,其中,
L()为训练后的当前级联卷积神经网络的整体损失;N为匹配到的符合条件的候选区域个数;Lconf()为置信度损失函数;x为预测坐标和真实坐标之间的距离;c为置信度;l为预测的二维位置坐标;g为真实位置坐标;Lloc()为位置损失函数;Lcnr()为三维位姿点的损失函数;q为预测三维姿态关键点;k为真实姿态点;
C:判断所述整体损失是否小于第二预设阈值;
D:若是,将当前网络作为训练后的卷积神经网络;
E:若否,按照随机梯度下降算法对当前网络进行优化,并将优化后的网络作为初始级联卷积神经网络,并返回执行所述A步骤,直至所述整体损失小于第二预设阈值,进而得到训练后的卷积神经网络。
10.根据权利要求6所述的一种基于深度学习的单目相机物体位姿估计装置,其特征在于,所述估计模块,还用于:
F:使用测试集测试训练后的级联卷积神经网络模型,判断训练后的级联卷积神经网络模型的准确率是否达到第一预设阈值;
G:若是,使用训练后的级联卷积神经网络模型对单目相机拍摄的待识别二维图像中包含的物体进行位姿估计;
H:若否,调整所述级联卷积神经网络模型中的超参数,并触发训练模块,直至训练后的级联卷积神经网络模型的准确率不小于第一预设阈值,进而使用训练后的级联卷积神经网络模型对单目相机拍摄的待识别二维图像中包含的物体进行位姿估计;
I:使用PNP算法将二维图像中的物体三维位姿点映射到三维空间中,得到初始化位姿关键点;
J:使用ICP算法对初始化位姿关键点进行优化,得到物体的最终位姿。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910043902.6A CN109816725B (zh) | 2019-01-17 | 2019-01-17 | 一种基于深度学习的单目相机物体位姿估计方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910043902.6A CN109816725B (zh) | 2019-01-17 | 2019-01-17 | 一种基于深度学习的单目相机物体位姿估计方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109816725A true CN109816725A (zh) | 2019-05-28 |
CN109816725B CN109816725B (zh) | 2023-03-14 |
Family
ID=66603433
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910043902.6A Active CN109816725B (zh) | 2019-01-17 | 2019-01-17 | 一种基于深度学习的单目相机物体位姿估计方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109816725B (zh) |
Cited By (36)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110322510A (zh) * | 2019-06-27 | 2019-10-11 | 电子科技大学 | 一种利用轮廓信息的6d位姿估计方法 |
CN110335314A (zh) * | 2019-06-24 | 2019-10-15 | 华中科技大学 | 基于目标物体的二维图像预测目标物体实时位姿的方法 |
CN110363817A (zh) * | 2019-07-10 | 2019-10-22 | 北京悉见科技有限公司 | 目标位姿估计方法、电子设备和介质 |
CN110385282A (zh) * | 2019-07-10 | 2019-10-29 | 浙江大学 | 机械装配中基于深度学习的多余物视觉检测系统与方法 |
CN110473254A (zh) * | 2019-08-20 | 2019-11-19 | 北京邮电大学 | 一种基于深度神经网络的位姿估计方法及装置 |
CN110501268A (zh) * | 2019-08-13 | 2019-11-26 | 湖南大学 | 一种基于显微图像处理的微量粉尘检测方法 |
CN110717457A (zh) * | 2019-10-10 | 2020-01-21 | 郑州迈拓信息技术有限公司 | 用于车辆的行人位姿解算方法 |
CN110728222A (zh) * | 2019-09-30 | 2020-01-24 | 清华大学深圳国际研究生院 | 一种用于机械臂抓取系统中目标物体的位姿估计方法 |
CN110910452A (zh) * | 2019-11-26 | 2020-03-24 | 上海交通大学 | 一种基于深度学习的低纹理工业零件位姿估计方法 |
CN111126269A (zh) * | 2019-12-24 | 2020-05-08 | 京东数字科技控股有限公司 | 三维目标检测方法、装置以及存储介质 |
CN111223343A (zh) * | 2020-03-07 | 2020-06-02 | 上海中科教育装备集团有限公司 | 一种杠杆平衡实验人工智能评分实验器材及评分方法 |
CN111354031A (zh) * | 2020-03-16 | 2020-06-30 | 浙江一木智能科技有限公司 | 基于深度学习的3d视觉引导系统 |
CN111489394A (zh) * | 2020-03-16 | 2020-08-04 | 华南理工大学 | 物体姿态估计模型训练方法、系统、装置及介质 |
CN111508024A (zh) * | 2019-06-27 | 2020-08-07 | 浙江大学 | 一种基于深度学习估计机器人位姿的方法 |
CN111583340A (zh) * | 2020-04-28 | 2020-08-25 | 西安交通大学 | 基于卷积神经网络降低单目相机位姿估计误差率的方法 |
CN111612842A (zh) * | 2020-05-29 | 2020-09-01 | 贝壳技术有限公司 | 生成位姿估计模型的方法和装置 |
CN111784772A (zh) * | 2020-07-02 | 2020-10-16 | 清华大学 | 基于域随机化的姿态估计模型训练方法及装置 |
CN112207813A (zh) * | 2019-07-09 | 2021-01-12 | 丰田自动车株式会社 | 运算装置、机器学习方法以及非暂时性存储介质 |
CN112308087A (zh) * | 2020-11-03 | 2021-02-02 | 西安电子科技大学 | 基于动态视觉传感器的一体化成像识别系统和方法 |
CN112330589A (zh) * | 2020-09-18 | 2021-02-05 | 北京沃东天骏信息技术有限公司 | 估计位姿的方法、装置及计算机可读存储介质 |
CN112381879A (zh) * | 2020-11-16 | 2021-02-19 | 华南理工大学 | 基于图像和三维模型的物体姿态估计方法、系统及介质 |
CN112465903A (zh) * | 2020-12-21 | 2021-03-09 | 上海交通大学宁波人工智能研究院 | 一种基于深度学习点云匹配的6dof物体姿态估计方法 |
CN112634367A (zh) * | 2020-12-25 | 2021-04-09 | 天津大学 | 一种基于深度神经网络的抗遮挡的物体位姿估计方法 |
CN112884819A (zh) * | 2019-11-29 | 2021-06-01 | 杭州三坛医疗科技有限公司 | 一种影像配准及神经网络的训练方法、装置和设备 |
CN113034575A (zh) * | 2021-01-27 | 2021-06-25 | 深圳市华汉伟业科技有限公司 | 一种模型构建方法、位姿估计方法及物体拣取装置 |
CN113034581A (zh) * | 2021-03-15 | 2021-06-25 | 中国空间技术研究院 | 基于深度学习的空间目标相对位姿估计方法 |
CN113129370A (zh) * | 2021-03-04 | 2021-07-16 | 同济大学 | 结合生成数据和无标注数据的半监督物体位姿估计方法 |
CN113436249A (zh) * | 2021-06-01 | 2021-09-24 | 中国人民解放军63628部队 | 一种快速稳健的单目相机位姿估计算法 |
CN113449565A (zh) * | 2020-03-27 | 2021-09-28 | 海信集团有限公司 | 三维姿态估计方法、智能设备及存储介质 |
CN113674339A (zh) * | 2020-05-14 | 2021-11-19 | 因特利格雷特总部有限责任公司 | 基于强化学习的传送控制 |
CN113724330A (zh) * | 2021-09-02 | 2021-11-30 | 上海仙工智能科技有限公司 | 基于关键点的单目摄像头物体位姿估计方法、系统、设备及存储介质 |
CN113793472A (zh) * | 2021-09-15 | 2021-12-14 | 应急管理部沈阳消防研究所 | 基于特征深度聚合网络的图像型火灾探测器位姿估计方法 |
CN114004971A (zh) * | 2021-11-17 | 2022-02-01 | 北京航空航天大学 | 一种基于单目图像和先验信息的3d目标检测方法 |
CN114937084A (zh) * | 2022-05-31 | 2022-08-23 | 浙江大学高端装备研究院 | 基于机器学习的地铁盾构施工中管片位姿自动识别方法 |
CN114998444A (zh) * | 2022-05-20 | 2022-09-02 | 燕山大学 | 一种基于两通道网络的机器人高精度位姿测量系统 |
CN115661702A (zh) * | 2022-10-13 | 2023-01-31 | 华中科技大学 | 一种基于智能手机的海况实时估算方法及系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150016777A1 (en) * | 2012-06-11 | 2015-01-15 | Magic Leap, Inc. | Planar waveguide apparatus with diffraction element(s) and system employing same |
CN108257139A (zh) * | 2018-02-26 | 2018-07-06 | 中国科学院大学 | 基于深度学习的rgb-d三维物体检测方法 |
US20190012548A1 (en) * | 2017-07-06 | 2019-01-10 | GM Global Technology Operations LLC | Unified deep convolutional neural net for free-space estimation, object detection and object pose estimation |
-
2019
- 2019-01-17 CN CN201910043902.6A patent/CN109816725B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150016777A1 (en) * | 2012-06-11 | 2015-01-15 | Magic Leap, Inc. | Planar waveguide apparatus with diffraction element(s) and system employing same |
US20190012548A1 (en) * | 2017-07-06 | 2019-01-10 | GM Global Technology Operations LLC | Unified deep convolutional neural net for free-space estimation, object detection and object pose estimation |
CN108257139A (zh) * | 2018-02-26 | 2018-07-06 | 中国科学院大学 | 基于深度学习的rgb-d三维物体检测方法 |
Non-Patent Citations (2)
Title |
---|
夏晶等: "基于级联卷积神经网络的机器人平面抓取位姿快速检测", 《机器人》 * |
王松等: "基于卷积神经网络的深度图姿态估计算法研究", 《系统仿真学报》 * |
Cited By (54)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110335314A (zh) * | 2019-06-24 | 2019-10-15 | 华中科技大学 | 基于目标物体的二维图像预测目标物体实时位姿的方法 |
CN110322510A (zh) * | 2019-06-27 | 2019-10-11 | 电子科技大学 | 一种利用轮廓信息的6d位姿估计方法 |
CN111508024A (zh) * | 2019-06-27 | 2020-08-07 | 浙江大学 | 一种基于深度学习估计机器人位姿的方法 |
CN110322510B (zh) * | 2019-06-27 | 2021-08-27 | 电子科技大学 | 一种利用轮廓信息的6d位姿估计方法 |
CN112207813B (zh) * | 2019-07-09 | 2024-05-14 | 丰田自动车株式会社 | 运算装置、机器学习方法以及非暂时性存储介质 |
CN112207813A (zh) * | 2019-07-09 | 2021-01-12 | 丰田自动车株式会社 | 运算装置、机器学习方法以及非暂时性存储介质 |
CN110363817A (zh) * | 2019-07-10 | 2019-10-22 | 北京悉见科技有限公司 | 目标位姿估计方法、电子设备和介质 |
CN110385282A (zh) * | 2019-07-10 | 2019-10-29 | 浙江大学 | 机械装配中基于深度学习的多余物视觉检测系统与方法 |
CN110363817B (zh) * | 2019-07-10 | 2022-03-01 | 北京悉见科技有限公司 | 目标位姿估计方法、电子设备和介质 |
CN110501268A (zh) * | 2019-08-13 | 2019-11-26 | 湖南大学 | 一种基于显微图像处理的微量粉尘检测方法 |
CN110473254A (zh) * | 2019-08-20 | 2019-11-19 | 北京邮电大学 | 一种基于深度神经网络的位姿估计方法及装置 |
CN110728222A (zh) * | 2019-09-30 | 2020-01-24 | 清华大学深圳国际研究生院 | 一种用于机械臂抓取系统中目标物体的位姿估计方法 |
CN110717457A (zh) * | 2019-10-10 | 2020-01-21 | 郑州迈拓信息技术有限公司 | 用于车辆的行人位姿解算方法 |
CN110910452B (zh) * | 2019-11-26 | 2023-08-25 | 上海交通大学 | 一种基于深度学习的低纹理工业零件位姿估计方法 |
CN110910452A (zh) * | 2019-11-26 | 2020-03-24 | 上海交通大学 | 一种基于深度学习的低纹理工业零件位姿估计方法 |
CN112884819B (zh) * | 2019-11-29 | 2024-10-01 | 杭州三坛医疗科技有限公司 | 一种影像配准及神经网络的训练方法、装置和设备 |
CN112884819A (zh) * | 2019-11-29 | 2021-06-01 | 杭州三坛医疗科技有限公司 | 一种影像配准及神经网络的训练方法、装置和设备 |
CN111126269A (zh) * | 2019-12-24 | 2020-05-08 | 京东数字科技控股有限公司 | 三维目标检测方法、装置以及存储介质 |
CN111126269B (zh) * | 2019-12-24 | 2022-09-30 | 京东科技控股股份有限公司 | 三维目标检测方法、装置以及存储介质 |
CN111223343A (zh) * | 2020-03-07 | 2020-06-02 | 上海中科教育装备集团有限公司 | 一种杠杆平衡实验人工智能评分实验器材及评分方法 |
CN111223343B (zh) * | 2020-03-07 | 2022-01-28 | 上海中科教育装备集团有限公司 | 一种杠杆平衡实验人工智能评分实验器材及评分方法 |
CN111354031A (zh) * | 2020-03-16 | 2020-06-30 | 浙江一木智能科技有限公司 | 基于深度学习的3d视觉引导系统 |
CN111489394A (zh) * | 2020-03-16 | 2020-08-04 | 华南理工大学 | 物体姿态估计模型训练方法、系统、装置及介质 |
CN111489394B (zh) * | 2020-03-16 | 2023-04-21 | 华南理工大学 | 物体姿态估计模型训练方法、系统、装置及介质 |
CN111354031B (zh) * | 2020-03-16 | 2023-08-29 | 浙江一木智能科技有限公司 | 基于深度学习的3d视觉引导系统 |
CN113449565A (zh) * | 2020-03-27 | 2021-09-28 | 海信集团有限公司 | 三维姿态估计方法、智能设备及存储介质 |
CN111583340A (zh) * | 2020-04-28 | 2020-08-25 | 西安交通大学 | 基于卷积神经网络降低单目相机位姿估计误差率的方法 |
CN113674339A (zh) * | 2020-05-14 | 2021-11-19 | 因特利格雷特总部有限责任公司 | 基于强化学习的传送控制 |
CN111612842A (zh) * | 2020-05-29 | 2020-09-01 | 贝壳技术有限公司 | 生成位姿估计模型的方法和装置 |
CN111612842B (zh) * | 2020-05-29 | 2023-08-18 | 如你所视(北京)科技有限公司 | 生成位姿估计模型的方法和装置 |
CN111784772A (zh) * | 2020-07-02 | 2020-10-16 | 清华大学 | 基于域随机化的姿态估计模型训练方法及装置 |
CN111784772B (zh) * | 2020-07-02 | 2022-12-02 | 清华大学 | 基于域随机化的姿态估计模型训练方法及装置 |
CN112330589A (zh) * | 2020-09-18 | 2021-02-05 | 北京沃东天骏信息技术有限公司 | 估计位姿的方法、装置及计算机可读存储介质 |
CN112308087A (zh) * | 2020-11-03 | 2021-02-02 | 西安电子科技大学 | 基于动态视觉传感器的一体化成像识别系统和方法 |
CN112381879A (zh) * | 2020-11-16 | 2021-02-19 | 华南理工大学 | 基于图像和三维模型的物体姿态估计方法、系统及介质 |
WO2022100379A1 (zh) * | 2020-11-16 | 2022-05-19 | 华南理工大学 | 基于图像和三维模型的物体姿态估计方法、系统及介质 |
CN112465903A (zh) * | 2020-12-21 | 2021-03-09 | 上海交通大学宁波人工智能研究院 | 一种基于深度学习点云匹配的6dof物体姿态估计方法 |
CN112634367A (zh) * | 2020-12-25 | 2021-04-09 | 天津大学 | 一种基于深度神经网络的抗遮挡的物体位姿估计方法 |
CN113034575A (zh) * | 2021-01-27 | 2021-06-25 | 深圳市华汉伟业科技有限公司 | 一种模型构建方法、位姿估计方法及物体拣取装置 |
CN113129370A (zh) * | 2021-03-04 | 2021-07-16 | 同济大学 | 结合生成数据和无标注数据的半监督物体位姿估计方法 |
CN113129370B (zh) * | 2021-03-04 | 2022-08-19 | 同济大学 | 结合生成数据和无标注数据的半监督物体位姿估计方法 |
CN113034581A (zh) * | 2021-03-15 | 2021-06-25 | 中国空间技术研究院 | 基于深度学习的空间目标相对位姿估计方法 |
CN113034581B (zh) * | 2021-03-15 | 2024-09-06 | 中国空间技术研究院 | 基于深度学习的空间目标相对位姿估计方法 |
CN113436249A (zh) * | 2021-06-01 | 2021-09-24 | 中国人民解放军63628部队 | 一种快速稳健的单目相机位姿估计算法 |
CN113724330A (zh) * | 2021-09-02 | 2021-11-30 | 上海仙工智能科技有限公司 | 基于关键点的单目摄像头物体位姿估计方法、系统、设备及存储介质 |
CN113724330B (zh) * | 2021-09-02 | 2024-04-30 | 上海仙工智能科技有限公司 | 单目摄像头物体位姿估计方法、系统、设备及存储介质 |
CN113793472B (zh) * | 2021-09-15 | 2023-01-20 | 应急管理部沈阳消防研究所 | 基于特征深度聚合网络的图像型火灾探测器位姿估计方法 |
CN113793472A (zh) * | 2021-09-15 | 2021-12-14 | 应急管理部沈阳消防研究所 | 基于特征深度聚合网络的图像型火灾探测器位姿估计方法 |
CN114004971A (zh) * | 2021-11-17 | 2022-02-01 | 北京航空航天大学 | 一种基于单目图像和先验信息的3d目标检测方法 |
CN114998444A (zh) * | 2022-05-20 | 2022-09-02 | 燕山大学 | 一种基于两通道网络的机器人高精度位姿测量系统 |
CN114998444B (zh) * | 2022-05-20 | 2024-08-16 | 燕山大学 | 一种基于两通道网络的机器人高精度位姿测量系统 |
CN114937084A (zh) * | 2022-05-31 | 2022-08-23 | 浙江大学高端装备研究院 | 基于机器学习的地铁盾构施工中管片位姿自动识别方法 |
CN115661702B (zh) * | 2022-10-13 | 2023-07-04 | 华中科技大学 | 一种基于智能手机的海况实时估算方法及系统 |
CN115661702A (zh) * | 2022-10-13 | 2023-01-31 | 华中科技大学 | 一种基于智能手机的海况实时估算方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN109816725B (zh) | 2023-03-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109816725B (zh) | 一种基于深度学习的单目相机物体位姿估计方法及装置 | |
CN108491880B (zh) | 基于神经网络的物体分类和位姿估计方法 | |
CN109870983B (zh) | 处理托盘堆垛图像的方法、装置及用于仓储拣货的系统 | |
CN107103613B (zh) | 一种三维手势姿态估计方法 | |
CN111080693A (zh) | 一种基于YOLOv3的机器人自主分类抓取方法 | |
CN103729885B (zh) | 多视角投影与三维注册联合的手绘场景三维建模方法 | |
CN111553949B (zh) | 基于单帧rgb-d图像深度学习对不规则工件的定位抓取方法 | |
CN107705322A (zh) | 运动目标识别跟踪方法和系统 | |
CN111950453A (zh) | 一种基于选择性注意力机制的任意形状文本识别方法 | |
CN115699088A (zh) | 从二维图像生成三维对象模型 | |
WO2022218396A1 (zh) | 图像处理方法、装置和计算机可读存储介质 | |
CN107944459A (zh) | 一种rgb‑d物体识别方法 | |
CN114092487A (zh) | 目标果实实例分割方法及系统 | |
CN109977834B (zh) | 从深度图像中分割人手与交互物体的方法和装置 | |
CN112149590A (zh) | 一种手部关键点检测方法 | |
CN116310128A (zh) | 基于实例分割与三维重建的动态环境单目多物体slam方法 | |
He et al. | ContourPose: Monocular 6-D Pose Estimation Method for Reflective Textureless Metal Parts | |
Mirani et al. | Object recognition in different lighting conditions at various angles by deep learning method | |
CN115049945A (zh) | 一种基于无人机图像的小麦倒伏面积提取方法和装置 | |
CN113223037B (zh) | 一种面向大规模数据的无监督语义分割方法及系统 | |
CN114218692A (zh) | 基于深度学习与模型仿真的相似零件识别系统、介质和方法 | |
CN114494773A (zh) | 一种基于深度学习的零件分拣识别系统和方法 | |
CN117689887A (zh) | 基于点云分割的工件抓取方法、装置、设备及存储介质 | |
CN113724329A (zh) | 融合平面与立体信息的目标姿态估计方法、系统和介质 | |
CN114862951B (zh) | 一种将旋转和平移相解耦的6d位姿估计方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20220726 Address after: 236000 room 306, building 3, Zone C, intelligent equipment science and Technology Park, 3963 Susong Road, Hefei Economic and Technological Development Zone, Anhui Province Applicant after: Hefei Hagong HUICAI Intelligent Technology Co.,Ltd. Address before: Room 6012, Haiheng building, No.6 Cuiwei Road, Hefei Economic and Technological Development Zone, Anhui Province Applicant before: HRG INTERNATIONAL INSTITUTE FOR RESEARCH & INNOVATION |
|
GR01 | Patent grant | ||
GR01 | Patent grant |