CN116485892A - 一种弱纹理物体的六自由度位姿估计方法 - Google Patents

一种弱纹理物体的六自由度位姿估计方法 Download PDF

Info

Publication number
CN116485892A
CN116485892A CN202310381649.1A CN202310381649A CN116485892A CN 116485892 A CN116485892 A CN 116485892A CN 202310381649 A CN202310381649 A CN 202310381649A CN 116485892 A CN116485892 A CN 116485892A
Authority
CN
China
Prior art keywords
characteristic diagram
layer
size
network
feature map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310381649.1A
Other languages
English (en)
Inventor
吴晶华
任建新
王芸
张宏伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Institutes of Physical Science of CAS
Original Assignee
Hefei Institutes of Physical Science of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Institutes of Physical Science of CAS filed Critical Hefei Institutes of Physical Science of CAS
Priority to CN202310381649.1A priority Critical patent/CN116485892A/zh
Publication of CN116485892A publication Critical patent/CN116485892A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种弱纹理物体的六自由度位姿估计方法，根据物体CAD模型采用物理渲染的方式生成物体的数据集；搭建具有单编码器和多解码器结构的卷积神经网络模型获得物体的预测掩膜和高维特征图，建立全连接网络，根据输入的物体点云映射成高维的特征表示；计算网络输出特征图的相关矩阵，并经采样、计算和评分得到候选位姿；再经细化得到最终位姿。本发明是通过合成数据完成模型训练，不需要真实场景标注即可达到很好的泛化能力，通过对弱纹理物体表面进行建模，极大提高了针对大量工业零件的检测精度，具有很好的应用价值。

Description

一种弱纹理物体的六自由度位姿估计方法
技术领域
本发明涉及机器视觉技术领域，尤其涉及一种利用机器视觉技术针对弱纹理物体进行六自由度位姿估计的方法。
背景技术
确定场景中物体相对于相机的三维平移和旋转变换参数(共六个自由度)是计算机视觉领域的经典问题。近年来，随着增强现实、自动驾驶以及视觉机器人等新兴应用的发展，对六自由度位姿估计提出了更高的精度和速度的需求。
虽然随着深度学习算法的发展，越来越多的位姿估计方法可以利用神经网络的强大的学习能力来提升位姿估计的精度。传统的基于RGB图像的六自由度位姿估计算法主要依靠关键点和线的匹配来建立图像与三维模型之间的2D-3D特征对应关系，然后基于2D-3D对应关系对投影误差函数进行优化实现对目标姿态参数的估计。这类方法适用于具有丰富纹理信息的物体和高质量图像，能够取得较高的位姿估计精度，然而对于纹理信息较弱的物体和存在遮挡、光照变化的场景的位姿估计效果并不理想，估计结果偏差较大。目前工业上存在大量的低纹理、具有反光表面的工件，因此这种传统方法不满足实际应用需求。
发明内容
本发明是为避免上述现有技术所存在的不足，提供一种基于深度学习的弱纹理物体的六自由度位姿估计方法，改善物体表面特征少而带来的位姿估计不准确问题，提高对于弱纹理的识别效果，使其能够在对工业散乱零件的抓取中发挥作用。
本发明为实现发明目的采用如下技术方案：
本发明弱纹理物体的六自由度位姿估计方法的特点是按如下步骤进行：
步骤1：按如下步骤进行离线训练，包括：训练模板检测网络YOLOX、卷积神经网络和全连接网络：
步骤11：构建待识别物的CAD模型，利用BlenderProc程序将所述CAD模型通过物理渲染的方式生成不同场景下物体的数据集，作为训练数据集合；
步骤12：利用所述训练数据集合的图片和图片中的类别标签完成目标检测网络YOLOX的训练；
步骤13：搭建具有单编码器和多解码器结构的卷积神经网络模型，从而根据输入的图像部分进行表面编码,加载所述训练数据集合中物体类别和二维检测框作为输入，经过编码器和对应的解码器得到十三维度的特征图，其中第一维度为预测图片中物体的预测掩膜，其它十二维度是预测的高维特征图，记为高维特征图A1；
所述编码器用于对输入抽取高维特征，并降低特征尺寸，所述多解码器是为每个类别物体提供一种单独的解码器进行解码，N类物体对应N个解码器；
步骤14：搭建全连接网络模型，将从所述待识别物的CAD模型中采样得到的点转换为高维特征表示，获得真实位姿渲染物体得到的特征图，记为特征图B1；
步骤15：训练的损失函数由两部分和组成，第一部分是所述预测掩膜与真实掩膜的交叉熵损失，第二部分是从真实掩膜中采样得到的坐标对应在高维特征图A1中的特征点与坐标对应在特征图B1的对比损失；将第一部分和第二部分的损失之和作为最终损失，通过ADAM优化器优化神经网络参数；完成卷积神经网络和全连接网络的训练；
步骤2：按如下步骤通过线推理实现六自由度位姿估计：
步骤21：针对由相机拍摄到的场景中的RGB图像，利用训练得到的目标检测网络YOLOX获得到目标物体在RGB图上的二维检测框和类别信息；
步骤22：选定一个二维检测框所含的图片区域，送入卷积神经网络中，得到十三个不同的特征图，其中第一维度的特征为区域内物体的预测掩码，其它十二维度是区域内物体的高维特征图，由此获得特征图矩阵；
步骤23：利用步骤21得到的目标物体类别信息，加载目标物体的三维模型点，输入到全连接神经网络中，得到该物体点云的高维信息，即获得每个物体点高维信息矩阵，维度是十二维度；
步骤24：将所述特征图矩阵与所述每个物体点高维信息矩阵相乘，得到2D图像特征图点与物体3D点的相关矩阵，相关矩阵再与预测掩码的概率置信度加权得到最终的相关矩阵，对所述相关矩阵进行多次采样，每次采样4对2D-3D点对；
步骤25：根据PnP算法对多次采样得到的2D-3D点对分别计算得到候选位姿；
步骤26：根据预测掩码的置信度，以及相关矩阵的值对候选位姿进行评分，依据评分选择出最高分数的候选位姿；通过最优化算法对该候选位姿进行细化获得最终位姿，完成位姿估计。
本发明弱纹理物体的六自由度位姿估计方法的特点也在于：在所述单编码器和多解码器结构中，编码器是带有注意力机制模块的编码器，解码器的数量与物体类别相应，且一一对应，其编码和解码过程为：
步骤A、将输入RGB图像尺寸调整为3×224×224，作为待编码图像；
步骤B、将所述待编码图像输入到编码器中，获得不同尺寸的五个特征图；
步骤C、根据物体的类别选择对应的解码器，将所述五个特征图输入到解码器中进行特征提取和融合，完成解码；
本发明弱纹理物体的六自由度位姿估计方法的特点也在于：所述步骤B是按如下过程获不同尺寸的五个特征图：
步骤B1、将待编码图像输入Conv-BN-RELU卷积层，获得尺寸为64×112×112的第一特征图；
所述Conv-BN-RELU卷积层的卷积核大小7*7，步长2，填充为3，输出通道64；
步骤B2、将所述第一特征图输入最大池化层，经一级残差块，并经注意力机制模块对一级残差块的64层通道进行加权，获得尺寸为64×56×56的第二特征图；
所述最大池化层的卷积核大小3*3,步长2，填充为1；
所述一级残差块为三个残差块，各残差块由2个卷积组成，卷积核数量64，大小3*3；
步骤B3、将所述第二特征图经二级残差块，并经注意力机制模块对残差块的128层通道进行加权，获得尺寸为128×28×28的第三特征图；
所述二级残差块为四个残差块，各残差块是由2个卷积组成，卷积核数量128，大小3*3；
步骤B4：将所述第三特征图经三级残差块，并经注意力机制模块对残差块的256层通道进行加权，获得尺寸为256×14×14的第四特征图；
所述三级残差块为六个残差块，各残差块由2个卷积组成，卷积核数量256，大小3*3；
步骤B5：将所述第四特征图经四级残差块，并经注意力机制模块对残差块的512层通道进行加权，获得尺寸为512×7×7的第五特征图；
所述四级残差块为三个残差块，各残差块由2个卷积组成，卷积核数量512，大小3*3。
本发明弱纹理物体的六自由度位姿估计方法的特点也在于：所述步骤C是按如下过程进行特征提取和融合：
步骤C1：根据目标检测YOLOX输出的物体类别信息，选择相应的解码器；
步骤C2：将第五特征图作为解码器输入，经过卷积层和上采样层得到尺寸为512×14×14的解码器第一特征图，记为特征图T1；
步骤C3：将第四特征图先经卷积层、再和特征图T1拼接，后经一个卷积层和上采样层得到尺寸为512×28×28的解码器第二特征图，记为特征图T2；
步骤C4：将第三特征图先经卷积层、再和特征图T2拼接，后经一个卷积层和上采样层，得到尺寸为256×56×56的解码器第三特征图，记为特征图T3；
步骤C5：将第二特征图先经卷积层、再和特征图T3拼接，后经一个卷积层和上采样层，得到尺寸为256×112×112的解码器第四特征图，记为特征图T4；
步骤C6：将第一特征图先经卷积层、再和特征图T4拼接，后经一个卷积层和上采样层，得到尺寸为128×224×224的解码器第五特征图，记为特征图T5；
步骤C7：将特征图T5经过一个卷积层得到尺寸为64×224×224的解码器第六特征图，记为特征图T6；
步骤C8：将特征图T6经过一个卷积层得到尺寸为13×224×224的解码器第七特征图，记为特征图T7，完成特征提取和融合。
本发明弱纹理物体的六自由度位姿估计方法的特点也在于：
按如下方式利用全连接神经网络获得物体点云高维信息：
步骤51：根据物体类别加载物体点云，点云数量为M，则网络输入尺寸是M×3；
步骤52：为每一类物体搭建一个四层全连接网络；
步骤53：根据物体类别加载对应全连接网络并将物体点云作为输入，经过全连接网络得到M×12维度的特征图，即为物体点云高维信息。
本发明弱纹理物体的六自由度位姿估计方法的特点也在于：
步骤52中所述四层全连接网络为：
网络第一层是输入维度为3，输出特征为256的全连接层，输出特征尺寸为M×256；
网络第二层是输入维度为256，输出特征为256的全连接层，输出特征尺寸为M×256；
网络第三层是输入维度为256，输出特征为256的全连接层，输出特征尺寸为M×256；
网络第四层是输入维度为256，输出特征为12的全连接层，输出特征尺寸为M×12。
本发明弱纹理物体的六自由度位姿估计方法的特点也在于：
卷积神经网络和全连接网络的训练损失函数由两个函数相加组成，采用Adam优化器，通过梯度下降的方式优化网络参数使得整体的L值最小化；
其中：
L是卷积神经网络和全连接网络损失和
是当前场景中从物体掩膜均匀采样的坐标集合；
u是当前场景中从物体掩膜均匀采样的任意坐标；
是输入图像经过卷积神经网络输出的特征图在坐标u下的数据值的转置；
pu是物体点云通过真实位姿渲染成图片后在在坐标u下对应原先的物体表面点坐标；
ku是pu经过全连接网络输出的数据值；
是从物体CAD模型表面S均匀采样得到的点集合；
pi是点集合中任意表面点，ki是pi经过全连接网络输出的值；
yi表示当前像素是否存在物体的标签，为0或1；
是卷积神经网络的掩膜通道中当前像素是否存在物体的概率；
I是图像像素坐标集合。
与已有技术相比，本发明有益效果体现在：
1、本发明方法有效改善了物体表面特征少而带来的位姿估计不准确问题，提高对于弱纹理的识别效果，使其能够在对工业散乱零件的抓取中发挥作用；
2、本发明中卷积神经网络的解码器部分和全连接网络部分对于某一类别物体都是独立的，这有助于提高物体位姿估计的准确率，特别是减弱了弱纹理物体中由于特征较少导致2D-3D点匹配精度低的问题；
3、本发明中采用物体CAD模型渲染合成训练数据集，无需手工标注真实场景数据即可完成训练的任务，简化了数据标注的繁琐步骤；
4、本发明通过引入YOLOX作为目标检测网络，该网络检测速度快，准确率高，相比现有常用的Mask RCNN等两阶段网络由较大优势；
5、本发明采用卷积神经网络和全连接网络生成密集的2D-3D点对应关系，相比于采用投票的方式或者回归物体的特殊点来说，准确率和鲁棒性更好。
附图说明
图1为本发明方法中训练数据集生成流程图；
图2为本发明方法中网络模型训练阶段流程图；
图3为本发明方法中网络模型推理阶段流程图；
图4为本发明方法中卷积神经网络中注意力机制实现流程图；
图5为本发明方法中全连接网络结构图；
具体实施方法
本实施例中弱纹理物体的六自由度位姿估计方法按如下步骤进行：
首先依图2所示流程按如下步骤进行离线训练，包括：训练模板检测网络YOLOX、卷积神经网络和全连接网络：
步骤11：构建待识别物的CAD模型，构造物理仿真环境，利用BlenderProc程序将CAD模型通过物理渲染的方式生成不同场景下物体的数据集，作为训练数据集合。
本实施例中物理仿真引擎是Blender，如图1所示，通过BlenderProc程序配置渲染参数：物体CAD模型、随机物体的位姿、随机相机角度和光照、随机场景，BlenderProc内部会调用Blender引擎，引擎生成包含物体RGB图和深度图、物体类别标签、物体包围框和掩膜以及物体的位姿的信息。本实施例中训练集合生成50个场景，每个场景下有1000张图片。对于网络训练来说，输入到数据需要经过预处理。先读取训练集合中的RGB图片，然后加载该图片中物体的类别、包围框和掩膜信息，枚举每一个包围框并根据该框截取RGB图和掩膜图中的这部分，统一经过图像缩放到224×224尺寸后作为网络的输入。
步骤12：利用训练数据集合的图片和图片中的类别标签完成目标检测网络YOLOX的训练。
步骤13：搭建具有单编码器和多解码器结构的卷积神经网络模型，从而根据输入的图像部分进行表面编码；加载训练数据集合中物体类别和二维检测框作为输入，经过编码器和对应的解码器得到十三维度的特征图，其中第一维度为预测图片中物体的预测掩膜，其它十二维度是预测的高维特征图，记为高维特征图A1；编码器用于对输入抽取高维特征，并降低特征尺寸，多解码器是为每个类别物体提供一种单独的解码器进行解码，N类物体对应N个解码器。
卷积神经网络的输入是经过数据预处理后的尺寸为3×224×224的RGB图像，图像首先经过一层Conv-BN-RELU层，该卷积层的卷积核为7*7大小，步长为2，填充为3，输出通道为64，该层输出后获得尺寸为64×112×112的第一特征图；将第一特征图输入最大池化层，经一级残差块，并经注意力机制模块对一级残差块的64通道进行加权，获得尺寸为64×56×56的第二特征图，一级残差块包含三个残差块，每个残差块由2个卷积层组成，卷积核数量64，大小为3*3，注意力机制模块，用来对一级残差块的输出的64维度的通道进行加权，从而增强算法的鲁棒性，具体来说该层如图4所示，该层对输入通道为C的特征图首先通过全局平均池化，变成将特征图H和W维度都变成1，只保留通道维度，然后经过一维卷积，使得每层的通道都与相邻层的通道进行信息交互，共享权重，再通过Sigmoid函数处理，最后把特征图与对应通道的权重进行相乘即可。
然后再经二级残差块，并经注意力机制模块对二级残差块的128通道进行加权，获得尺寸为128×28×28的第三特征图，所述二级残差块包含四个残差块，每个残差块是由2个卷积组成，卷积核数量128，大小3*3，注意力机制模块用来对二级残差块的输出的128维度的通道进行加权；再经三级残差块，并经注意力机制模块对三级残差块的256通道进行加权，获得尺寸为256×14×14的第四特征图，所述三级残差块包含六个残差块，每个残差块是由2个卷积组成，卷积核数量256，大小3*3，所述的注意力机制模块用来对三级残差块的输出的256维度的通道进行加权；再经四级残差块，并经注意力机制模块对四级残差块的512通道进行加权，获得尺寸为512×7×7的第五特征图，所述二级残差块包含四个残差块，每个残差块是由2个卷积组成，卷积核数量128，大小3*3，所述的注意力机制模块用来对四级残差块的输出的512维度的通道进行加权；至此编码器阶段完毕。
对于特征图的解码，本实施例为每一类需要进行位姿估计的物体都生成了对应的解码器，在解码时根据输入图片中物体的类别选择其中一个解码器进行解码；解码器最终输出的结果是13×224×224；其中第一个通道是该卷积神经网络预测的RGB图中的掩膜，其他十二个通道为预测的该原来RGB图像在此像素的高维特征表示。
步骤14：搭建全连接网络模型，将从待识别物的CAD模型中采样得到的点转换为高维特征表示，获得真实位姿渲染物体得到的特征图，记为特征图B1；具体如图5所示，物体的CAD模型经过离散采样后为尺寸为M×3，其中3为物体的X、Y、Z。然后输入一层输入特征维度为3，输出特征维度为256的全连接网络中，然后再经过2层输入维度是256，输出维度也是256的全连接层中，最后经过一年过输入维度是256，输出维度是12维度的全连接层中，最后得到的数据尺寸是M×12。
步骤15：训练的损失函数由两部分和组成，第一部分是预测掩膜与真实掩膜的交叉熵损失，第二部分是从真实掩膜中采样得到的坐标对应在高维特征图A1中的特征点与坐标对应在特征图B1的对比损失；将第一部分和第二部分的损失之和作为最终损失，通过ADAM优化器优化神经网络参数；完成卷积神经网络和全连接网络的训练。
具体实施中，卷积神经网络和全连接网络的训练损失函数由两个函数相加组成，采用Adam优化器，通过梯度下降的方式优化网络参数使得整体的L值最小化；
其中：
L是卷积神经网络和全连接网络损失和
是当前场景中从物体掩膜均匀采样的坐标集合；
u是当前场景中从物体掩膜均匀采样的任意坐标；
是输入图像经过卷积神经网络输出的特征图在坐标u下的数据值的转置；
pu是物体点云通过真实位姿渲染成图片后在在坐标u下对应原先的物体表面点坐标；
ku是pu经过全连接网络输出的数据值；
是从物体CAD模型表面S均匀采样得到的点集合；
pi是点集合中任意表面点，ki是pi经过全连接网络输出的值；
yi表示当前像素是否存在物体的标签，为0或1；
是卷积神经网络的掩膜通道中当前像素是否存在物体的概率；
I是图像像素坐标集合。
随着损失的反向传播会让卷积神经网络生成的特征图逼近全连接模型图；由全连接网络表征物体表面特征信息，实现对弱纹理的物体进行表面编码；卷积神经网络根据输入图片生成表面信息，在在线推理阶段通过生成的特征图建立相关矩阵，得到2D-3D点对信息，再通过PnP算法得到位姿。
然后依图3所示按如下步骤通过线推理实现六自由度位姿估计：
步骤21：针对由相机拍摄到的场景中的RGB图像，利用训练得到的目标检测网络YOLOX获得到目标物体在RGB图上的二维检测框、类别信息和置信度。
步骤22：选定一个二维检测框所含的图片区域，送入卷积神经网络中，得到十三个不同的特征图，其中第一维度的特征为区域内物体的预测掩码，其它十二维度是区域内物体的高维特征图，由此获得特征图矩阵。
步骤23：利用步骤21得到的目标物体类别信息，加载目标物体的三维模型点，输入到全连接神经网络中，得到该物体点云的高维信息，即获得每个物体点高维信息矩阵，维度是十二维度。
步骤24：将特征图矩阵与每个物体点高维信息矩阵相乘，得到2D图像特征图点与物体3D点的相关矩阵，相关矩阵再与预测掩码的概率置信度加权得到最终的相关矩阵，对相关矩阵进行多次采样，每次采样4对2D-3D点对。
步骤25：根据PnP算法对多次采样得到的2D-3D点对分别计算得到候选位姿。
步骤26：根据预测掩码的置信度，以及相关矩阵的值对候选位姿进行评分，依据评分选择出最高分数的候选位姿；通过最优化算法，可以是拟牛顿法，对该候选位姿进行细化获得最终位姿，完成位姿估计。
在单编码器和多解码器结构中，编码器是带有注意力机制模块的编码器，解码器的数量与物体类别相应，且一一对应，其编码和解码过程为：
步骤A、将输入RGB图像尺寸调整为3×224×224，作为待编码图像。
步骤B、将待编码图像输入到编码器中，获得不同尺寸的五个特征图。
步骤C、根据物体的类别选择对应的解码器，将五个特征图输入到解码器中进行特征提取和融合，完成解码。
本实施例中，步骤B是按如下过程获不同尺寸的五个特征图：
步骤B1、将待编码图像输入Conv-BN-RELU卷积层，获得尺寸为64×112×112的第一特征图；Conv-BN-RELU卷积层的卷积核大小7*7，步长2，填充为3，输出通道64。
步骤B2、将第一特征图输入最大池化层，经一级残差块，并经注意力机制模块对一级残差块的64层通道进行加权，获得尺寸为64×56×56的第二特征图；最大池化层的卷积核大小3*3,步长2，填充为1；一级残差块为三个残差块，各残差块由2个卷积组成，卷积核数量64，大小3*3。
步骤B3、将第二特征图经二级残差块，并经注意力机制模块对残差块的128层通道进行加权，获得尺寸为128×28×28的第三特征图；二级残差块为四个残差块，各残差块是由2个卷积组成，卷积核数量128，大小3*3。
步骤B4：将第三特征图经三级残差块，并经注意力机制模块对残差块的256层通道进行加权，获得尺寸为256×14×14的第四特征图；三级残差块为六个残差块，各残差块由2个卷积组成，卷积核数量256，大小3*3。
步骤B5：将第四特征图经四级残差块，并经注意力机制模块对残差块的512层通道进行加权，获得尺寸为512×7×7的第五特征图；四级残差块为三个残差块，各残差块由2个卷积组成，卷积核数量512，大小3*3。
本实施例中，步骤C是按如下过程进行特征提取和融合：
步骤C1：根据目标检测YOLOX输出的物体类别信息，选择相应的解码器。
步骤C2：将第五特征图作为解码器输入，经过卷积层和上采样层得到尺寸为512×14×14的解码器第一特征图，记为特征图T1；卷积层卷积核数量512，卷积核大小1*1。
步骤C3：将第四特征图先经卷积层、再和特征图T1拼接，后经一个卷积层和上采样层得到尺寸为512×28×28的解码器第二特征图，记为特征图T2；第一个卷积层卷积核数量256，卷积核大小1*1，第二个卷积层卷积核数量512，卷积核大小3*3。
步骤C4：将第三特征图先经卷积层、再和特征图T2拼接，后经一个卷积层和上采样层，得到尺寸为256×56×56的解码器第三特征图，记为特征图T3；第一个卷积层卷积核数量128，卷积核大小1*1，第二个卷积层卷积核数量256，卷积核大小3*3。
步骤C5：将第二特征图先经卷积层、再和特征图T3拼接，后经一个卷积层和上采样层，得到尺寸为256×112×112的解码器第四特征图，记为特征图T4；第一个卷积层卷积核数量64，卷积核大小1*1，第二个卷积层卷积核数量128，卷积核大小3*3。
步骤C6：将第一特征图先经卷积层、再和特征图T4拼接，后经一个卷积层和上采样层，得到尺寸为128×224×224的解码器第五特征图，记为特征图T5；第一个卷积层卷积核数量64，卷积核大小1*1，第二个卷积层卷积核数量128，卷积核大小3*3。
步骤C7：将特征图T5，经过一个卷积层得到尺寸为64×224×224的解码器第六特征图,记为特征图T6，卷积层卷积核数量64，卷积核大小3*3。
步骤C8：将特征图T6，经过一个卷积层得到尺寸为13×224×224的解码器第七特征图，记为特征图T7，卷积层卷积核数量13，卷积核大小1*1，完成特征提取和融合。
本实施例中，按如下方式利用全连接神经网络获得物体点云高维信息：
步骤51：根据物体类别加载物体点云，点云数量为M，则网络输入尺寸是M×3。
步骤52：为每一类物体搭建一个四层全连接网络。
步骤53：根据物体类别加载对应全连接网络并将物体点云作为输入，经过全连接网络得到M×12维度的特征图，即为物体点云高维信息。
在步骤52中四层全连接网络为：
网络第一层是输入维度为3，输出特征为256的全连接层，输出特征尺寸为M×256；
网络第二层是输入维度为256，输出特征为256的全连接层，输出特征尺寸为M×256；
网络第三层是输入维度为256，输出特征为256的全连接层，输出特征尺寸为M×256；
网络第四层是输入维度为256，输出特征为12的全连接层，输出特征尺寸为M×12。
本发明是通过合成数据完成模型训练，不需要真实场景标注即可达到很好的泛化能力，通过对弱纹理物体表面进行建模，极大提高了针对大量工业零件的检测精度，具有很好的应用价值。

Claims (7)

1.一种弱纹理物体的六自由度位姿估计方法，其特征是按如下步骤进行：
步骤1：按如下步骤进行离线训练，包括：训练模板检测网络YOLOX、卷积神经网络和全连接网络：
步骤11：构建待识别物的CAD模型，利用BlenderProc程序将所述CAD模型通过物理渲染的方式生成不同场景下物体的数据集，作为训练数据集合；
步骤12：利用所述训练数据集合的图片和图片中的类别标签完成目标检测网络YOLOX的训练；
步骤13：搭建具有单编码器和多解码器结构的卷积神经网络模型，从而根据输入的图像部分进行表面编码,加载所述训练数据集合中物体类别和二维检测框作为输入，经过编码器和对应的解码器得到十三维度的特征图，其中第一维度为预测图片中物体的预测掩膜，其它十二维度是预测的高维特征图，记为高维特征图A1；
所述编码器用于对输入抽取高维特征，并降低特征尺寸，所述多解码器是为每个类别物体提供一种单独的解码器进行解码，N类物体对应N个解码器；
步骤14：搭建全连接网络模型，将从所述待识别物的CAD模型中采样得到的点转换为高维特征表示，获得真实位姿渲染物体得到的特征图，记为特征图B1；
步骤15：训练的损失函数由两部分和组成，第一部分是所述预测掩膜与真实掩膜的交叉熵损失，第二部分是从真实掩膜中采样得到的坐标对应在高维特征图A1中的特征点与坐标对应在特征图B1的对比损失；将第一部分和第二部分的损失之和作为最终损失，通过ADAM优化器优化神经网络参数；完成卷积神经网络和全连接网络的训练；
步骤2：按如下步骤通过线推理实现六自由度位姿估计：
步骤21：针对由相机拍摄到的场景中的RGB图像，利用训练得到的目标检测网络YOLOX获得到目标物体在RGB图上的二维检测框和类别信息；
步骤22：选定一个二维检测框所含的图片区域，送入卷积神经网络中，得到十三个不同的特征图，其中第一维度的特征为区域内物体的预测掩码，其它十二维度是区域内物体的高维特征图，由此获得特征图矩阵；
步骤23：利用步骤21得到的目标物体类别信息，加载目标物体的三维模型点，输入到全连接神经网络中，得到该物体点云的高维信息，即获得每个物体点高维信息矩阵，维度是十二维度；
步骤24：将所述特征图矩阵与所述每个物体点高维信息矩阵相乘，得到2D图像特征图点与物体3D点的相关矩阵，相关矩阵再与预测掩码的概率置信度加权得到最终的相关矩阵，对所述相关矩阵进行多次采样，每次采样4对2D-3D点对；
步骤25：根据PnP算法对多次采样得到的2D-3D点对分别计算得到候选位姿；
步骤26：根据预测掩码的置信度，以及相关矩阵的值对候选位姿进行评分，依据评分选择出最高分数的候选位姿；通过最优化算法对该候选位姿进行细化获得最终位姿，完成位姿估计。
2.根据权利要求1所述的弱纹理物体的六自由度位姿估计方法，其特征是
在所述单编码器和多解码器结构中，编码器是带有注意力机制模块的编码器，解码器的数量与物体类别相应，且一一对应，其编码和解码过程为：
步骤A、将输入RGB图像尺寸调整为3×224×224，作为待编码图像；
步骤B、将所述待编码图像输入到编码器中，获得不同尺寸的五个特征图；
步骤C、根据物体的类别选择对应的解码器，将所述五个特征图输入到解码器中进行特征提取和融合，完成解码。
3.根据权利要求2所述的弱纹理物体的六自由度位姿估计方法，其特征是：
所述步骤B是按如下过程获不同尺寸的五个特征图：
步骤B1、将待编码图像输入Conv-BN-RELU卷积层，获得尺寸为64×112×112的第一特征图；
所述Conv-BN-RELU卷积层的卷积核大小7*7，步长2，填充为3，输出通道64；
步骤B2、将所述第一特征图输入最大池化层，经一级残差块，并经注意力机制模块对一级残差块的64层通道进行加权，获得尺寸为64×56×56的第二特征图；
所述最大池化层的卷积核大小3*3,步长2，填充为1；
所述一级残差块为三个残差块，各残差块由2个卷积组成，卷积核数量64，大小3*3；
步骤B3、将所述第二特征图经二级残差块，并经注意力机制模块对残差块的128层通道进行加权，获得尺寸为128×28×28的第三特征图；
所述二级残差块为四个残差块，各残差块是由2个卷积组成，卷积核数量128，大小3*3；
步骤B4：将所述第三特征图经三级残差块，并经注意力机制模块对残差块的256层通道进行加权，获得尺寸为256×14×14的第四特征图；
所述三级残差块为六个残差块，各残差块由2个卷积组成，卷积核数量256，大小3*3；
步骤B5：将所述第四特征图经四级残差块，并经注意力机制模块对残差块的512层通道进行加权，获得尺寸为512×7×7的第五特征图；
所述四级残差块为三个残差块，各残差块由2个卷积组成，卷积核数量512，大小3*3。
4.根据权利要求2所述的弱纹理物体的六自由度位姿估计方法，其特征是：
所述步骤C是按如下过程进行特征提取和融合：
步骤C1：根据目标检测YOLOX输出的物体类别信息，选择相应的解码器；
步骤C2：将第五特征图作为解码器输入，经过卷积层和上采样层得到尺寸为512×14×14的解码器第一特征图，记为特征图T1；
步骤C3：将第四特征图先经卷积层、再和特征图T1拼接，后经一个卷积层和上采样层得到尺寸为512×28×28的解码器第二特征图，记为特征图T2；
步骤C4：将第三特征图先经卷积层、再和特征图T2拼接，后经一个卷积层和上采样层，得到尺寸为256×56×56的解码器第三特征图，记为特征图T3；
步骤C5：将第二特征图先经卷积层、再和特征图T3拼接，后经一个卷积层和上采样层，得到尺寸为256×112×112的解码器第四特征图，记为特征图T4；
步骤C6：将第一特征图先经卷积层、再和特征图T4拼接，后经一个卷积层和上采样层，得到尺寸为128×224×224的解码器第五特征图，记为特征图T5；
步骤C7：将特征图T5经过一个卷积层得到尺寸为64×224×224的解码器第六特征图，记为特征图T6；
步骤C8：将特征图T6经过一个卷积层得到尺寸为13×224×224的解码器第七特征图，记为特征图T7，完成特征提取和融合。
5.根据权利要求1所述的弱纹理物体的六自由度位姿估计方法，其特征是：
按如下方式利用全连接神经网络获得物体点云高维信息：
步骤51：根据物体类别加载物体点云，点云数量为M，则网络输入尺寸是M×3；
步骤52：为每一类物体搭建一个四层全连接网络；
步骤53：根据物体类别加载对应全连接网络并将物体点云作为输入，经过全连接网络得到M×12维度的特征图，即为物体点云高维信息。
6.根据权利要求5所述的弱纹理物体的六自由度位姿估计方法，其特征是：
步骤52中所述四层全连接网络为：
网络第一层是输入维度为3，输出特征为256的全连接层，输出特征尺寸为M×256；
网络第二层是输入维度为256，输出特征为256的全连接层，输出特征尺寸为M×256；
网络第三层是输入维度为256，输出特征为256的全连接层，输出特征尺寸为M×256；
网络第四层是输入维度为256，输出特征为12的全连接层，输出特征尺寸为M×12。
7.根据权利要求1所述的弱纹理物体的六自由度位姿估计方法，其特征是：
卷积神经网络和全连接网络的训练损失函数由两个函数相加组成，采用Adam优化器，通过梯度下降的方式优化网络参数使得整体的L值最小化；
其中：
L是卷积神经网络和全连接网络损失和是当前场景中从物体掩膜均匀采样的坐标集合；
u是当前场景中从物体掩膜均匀采样的任意坐标；
是输入图像经过卷积神经网络输出的特征图在坐标u下的数据值的转置；
pu是物体点云通过真实位姿渲染成图片后在在坐标u下对应原先的物体表面点坐标；
ku是pu经过全连接网络输出的数据值；
是从物体CAD模型表面S均匀采样得到的点集合；
pi是点集合中任意表面点，ki是pi经过全连接网络输出的值；
yi表示当前像素是否存在物体的标签，为0或1；
是卷积神经网络的掩膜通道中当前像素是否存在物体的概率；
I是图像像素坐标集合。
CN202310381649.1A 2023-04-11 2023-04-11 一种弱纹理物体的六自由度位姿估计方法 Pending CN116485892A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310381649.1A CN116485892A (zh) 2023-04-11 2023-04-11 一种弱纹理物体的六自由度位姿估计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310381649.1A CN116485892A (zh) 2023-04-11 2023-04-11 一种弱纹理物体的六自由度位姿估计方法

Publications (1)

Publication Number Publication Date
CN116485892A true CN116485892A (zh) 2023-07-25

Family

ID=87224444

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310381649.1A Pending CN116485892A (zh) 2023-04-11 2023-04-11 一种弱纹理物体的六自由度位姿估计方法

Country Status (1)

Country Link
CN (1) CN116485892A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117291973A (zh) * 2023-11-24 2023-12-26 城市之光(深圳)无人驾驶有限公司 一种基于激光点云的快速鲁棒的初定位方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117291973A (zh) * 2023-11-24 2023-12-26 城市之光(深圳)无人驾驶有限公司 一种基于激光点云的快速鲁棒的初定位方法
CN117291973B (zh) * 2023-11-24 2024-02-13 城市之光(深圳)无人驾驶有限公司 一种基于激光点云的快速鲁棒的初定位方法

Similar Documents

Publication Publication Date Title
CN107945204B (zh) 一种基于生成对抗网络的像素级人像抠图方法
CN114255238A (zh) 一种融合图像特征的三维点云场景分割方法及系统
WO2023138062A1 (zh) 图像处理方法及装置
CN110728219A (zh) 基于多列多尺度图卷积神经网络的3d人脸生成方法
CN113221647B (zh) 一种融合点云局部特征的6d位姿估计方法
CN112464912B (zh) 基于YOLO-RGGNet的机器人端人脸检测方法
CN113657388A (zh) 一种融合图像超分辨率重建的图像语义分割方法
CN114758337B (zh) 一种语义实例重建方法、装置、设备及介质
CN113379646A (zh) 一种利用生成对抗网络进行稠密点云补全的算法
CN113850900B (zh) 三维重建中基于图像和几何线索恢复深度图的方法及系统
CN114549574A (zh) 一种基于掩膜传播网络的交互式视频抠图系统
CN114529940A (zh) 基于姿态引导的人体图像生成方法
CN115423978A (zh) 用于建筑物重建的基于深度学习的图像激光数据融合方法
CN116485892A (zh) 一种弱纹理物体的六自由度位姿估计方法
CN110633706B (zh) 一种基于金字塔网络的语义分割方法
CN112418235A (zh) 一种基于膨胀最近邻特征增强的点云语义分割方法
CN114638866A (zh) 一种基于局部特征学习的点云配准方法及系统
CN114299101A (zh) 图像的目标区域获取方法、装置、设备、介质和程序产品
CN116385667B (zh) 三维模型的重建方法、纹理重构模型的训练方法以及装置
CN116596966A (zh) 一种基于注意力和特征融合的分割与跟踪方法
CN110942463A (zh) 一种基于生成对抗网络的视频目标分割方法
CN115115860A (zh) 一种基于深度学习的图像特征点检测匹配网络
CN114708586A (zh) 一种从图像和视频中提取三维人脸表征的方法
CN114155406A (zh) 一种基于区域级特征融合的位姿估计方法
CN113298814A (zh) 一种基于渐进指导融合互补网络的室内场景图像处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination