CN113450408A - 一种基于深度相机的非规则物体位姿估计方法及装置 - Google Patents

一种基于深度相机的非规则物体位姿估计方法及装置 Download PDF

Info

Publication number
CN113450408A
CN113450408A CN202110697067.5A CN202110697067A CN113450408A CN 113450408 A CN113450408 A CN 113450408A CN 202110697067 A CN202110697067 A CN 202110697067A CN 113450408 A CN113450408 A CN 113450408A
Authority
CN
China
Prior art keywords
point cloud
cloud model
target
coordinate system
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110697067.5A
Other languages
English (en)
Other versions
CN113450408B (zh
Inventor
廖洪波
孙野
李田林
梁小冬
李华康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
63653 Troops of PLA
Original Assignee
63653 Troops of PLA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 63653 Troops of PLA filed Critical 63653 Troops of PLA
Priority to CN202110697067.5A priority Critical patent/CN113450408B/zh
Publication of CN113450408A publication Critical patent/CN113450408A/zh
Application granted granted Critical
Publication of CN113450408B publication Critical patent/CN113450408B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Geometry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度相机的非规则物体位姿估计方法和装置，包括：1)获取场景的二维RGB图像和对应的深度图；2)基于获取到的二维RGB图像，识别后得到第一目标点云模型；3)构建全局点云，并提取到第二目标点云模型；4)将第一目标点云模型和第二目标点云模型进行质量评估和加权融合，得到融合点云模型；5)将融合点云模型从相机坐标系转换到视锥坐标系下；6)对融合点云模型进行语义分割，并转换到掩模坐标系下，形成3D点云模型；7)对3D点云模型中的目标进行3D位姿的预测。采用本发明的技术方案能够在三维空间中准确地估计出目标的位姿，进而获取高质量抓取部位，保证抓取的精确度。

Description

一种基于深度相机的非规则物体位姿估计方法及装置
技术领域
本发明涉及一种图像处理技术，尤其涉及一种基于深度相机的非规则物体位姿估计方法及装置。
背景技术
机器人技术是具有前瞻性、战略性的高技术领域。其技术的发展水平成为衡量一个国家高科技水平和工业自动化程度的重要标志。机器人飞速发展的今天，工业机器人在各行各业的应用也越来越广泛，其中在危险作业领域，机器人技术有着重要的实际意义。机器人的视觉系统作为机器人系统的重要组成部分，首先需要识别目标对象及位置，然后才能完成路径规划和控制等过程。因此，机器人对目标对象识别的准确性以及定位的准确性，能够优化机器人抓取路径并改善抓取任务系统的整体性能。同时机器人能够实时处理视觉信息，机器人系统的工作效率将会被极大提高，人机交互能力也将会增强。
过去主要的工作是使用三维建模复原来找到好的抓取点，虽然这些基于三维模型的方法在受控情况下表现良好，但它们依赖于构建复杂且准确的三维模型。随着卷积神经网络算法在计算机视觉领域的快速发展，2D目标检测算法也随之快速发展，已经成功应用于字符识别和物体表面检测等领域。对应的机器人抓取方法采用RGB图像生成目标矩形区域，但是这种方法缺少了三维空间下的目标抓取部位位置，导致抓取精度较低。在这十年之间，低成本深度摄像机的引入以及计算框架的出现，改进了抓取识别的新方法。我们可以利用深度相机，利用算法重建出高质量的物体点云模型，估计出物体的位姿，得到精确的3D空间位置信息，提高目标抓取的准确度。
现有的实现方案主要包括以下三种：1)双目视觉定位：使用两个相机在不同位置采集图像，对采集的图像进行模板匹配，再根据视差和三角测距原理计算出目标物体的位置；2)标记物识别：在目标物体上贴提前准备好的标记物(如二维码)，通过摄像头识别标记物信息，进行定位得到目标位置信息；3)深度学习识别定位：通过深度学习框架和数据集训练神经网络模型，再用训练好的模型识别图像中的目标物体位置。
现有技术缺点：基于模板匹配的方法计算量大，且不适用于复杂的实际场景；利用标记物识别的方法无法适用于实际应用场景，不可能在每个待抓取物体上贴好标记物；单一的深度学习识别定位方法仅能确定目标的大致位置，无法获得三维空间下物体抓取部位的表征。
发明内容
本发明意在提供一种基于深度相机的非规则物体位姿估计方法及装置，能够在三维空间中准确地估计出目标的位姿，进而获取高质量抓取部位，保证抓取的精确度。
为达到上述目的，本发明提供如下技术方案：
一种基于深度相机的非规则物体位姿估计方法，包括：
S1：利用深度相机采集户外三维场景，获取场景的二维RGB图像和对应的深度图；
S2：基于获取到的二维RGB图像，利用深层的特征提取网络提取图像信息，识别出图像中的目标候选区域，得到对应检测框；将检测框映射到深度图中并选取其中的深度信息，将识别后的深度图转换成三维点云，得到第一目标点云模型，对检测结果评估后得到置信度α；
S3：基于深度信息构建全局点云，将全局点云转化成高纬度的特征图并传入检测模块，检测和回归3D边框并获得相对应置信度β，用3D边框在全局点云中提取第二目标点云模型；
S4：将第一目标点云模型和第二目标点云模型进行质量评估和加权融合，得到融合点云模型；
S5：视锥提取，将融合点云模型从相机坐标系转换到视锥坐标系下；
S6：3D实例分割，利用3D实例分割网络对S6中视锥坐标系下的融合点云模型进行语义分割，得到融合点云模型所属类别的评估分数；结合评估分数，将视锥坐标系下的融合点云模型转换到掩模坐标系下，形成3D点云模型；
S7：以掩模坐标系下的3D点云模型为输入，对3D点云模型中的目标进行3D位姿的预测。
优选地，S8：根据损失函数，计算S5～S7中在训练时产生的总体模型损失。
优选地，S4中的质量评估判定若α小于特定阈值，则舍弃第一目标点云模型，若β小于特定阈值，则舍弃第二目标点云模型，否则对第一目标点云模型和第二目标点云模型进行加权融合。
优选地，S6中在进行坐标系转换前，需结合评估份数，将视锥坐标系下的融合点云模型中的背景点云或者其他杂乱的点云剔除。
优选地，所述S6中掩模坐标系以融合点云模型的质心为原点，因此在转换时，融合点云模型中的所有目标点云需减去质心的坐标，从而形成掩模坐标系下的3D点云模型。
优选地，所述S7中3D位姿预测包括质心回归模块和非模态3D位姿评估模块；
所述质心回归模块用于将3D点云模型中的所有云点数据移动到以真实的质心为原点的坐标系下；
所述非模态3D位姿评估模块用于输出经非模态3D位姿评估模块网络处理过后的3D位姿评估的所有参数信息，该参数信息包括3D目标的质心坐标、边界框的长宽高、边界框长宽高的残差、航向角和航向角残差。
一种基于深度相机的非规则物体位姿估计装置，包括图像采集模块、二维目标检测模块、点云目标检测模块、质量评估和加权融合模块、视锥提取模块、3D实例分隔模块和3D边界框评估模块；
所述图像采集模块用于采集户外三维场景，获取户外场景的二维RGB图像和对应的深度图；
所述二维目标检测模块用于将识别出的二维RGB图像中转换为三维点云并得到第一目标点云模型，评估之后得到置信度α；
所述点云目标检测模块用于将基于深度图构建的全局点云转化为一个高纬度的特征图并将其传入检测模块，检测和回归3D边框和获得置信度β，并在全局点云中通过3D边框提取第二目标点云模型；
所述质量评估和加权融合模块用于判断置信度α和β是否小于特定阈值来对第一目标点云模型和第二目标点云模型进行质量评估和加权融合，得到更好精度的融合点云模型；
所述视锥提取模块用于将融合点云模型的相机坐标系转换成视锥坐标系；
所述3D实例分隔模块用于将视锥坐标系下的融合点云模型使用3D实力分割网络进行语义分割，并通过掩模操作将融合点云模型转成掩模坐标系下的3D点云模型；
所述3D边界框评估模块用于对3D点云模型进行质心回归操作，得到真实质心和原点坐标下的3D点云模型，并经过非模态3D位姿评估网络处理，输出3D位姿评估的所有参数信息。
优选地，所述图像采集模块采用双目立体相机传感器。
优选地，所述3D实例分隔模块中需剔除非目标点云之后再进行掩模操作。
与现有技术相比，本技术方案的优点是：
(1)本发明具备对非规则物体的探测、识别以及位姿信息估算能力，识别正确率不低于90％，识别精度优于cm级。
(2)本发明采用的双目立体相机传感器在两米距离内的测距精度均优于2cm，经过算法融合，识别精度能进一步提升，在三维空间中准确地检测出目标的高质量抓取部位，保证抓取的精确度和安全性。
(3)本发明关于获取二维图像中的目标匹配区域方法除了深度学习方法中的二维目标检测方法，还可采用模板匹配方法；3D实例分割网络可由多种深度学习或机器学习中的点云处理网络替代；基于点云数据的目标检测方法可由多种深度学习或机器学习中的3D目标检测算法(比如PointPillars)替代。
附图说明
图1为本发明提供的总体实施框架图；
图2为本发明实施例1提供的二维目标检测模块图；
图3为本发明实施例1提供的目标精检测与位姿估计模块框架图；
图4为本发明实施例1提供的点云坐标系转换示意图；
图5为本发明实施例1提供的实例分割模型架构图；
图6为本发明实施例1提供的质心回归模型架构图；
图7为本发明实施例1提供的非模态边界框评估模型架构图；
图8为本发明实施例1提供的总体模型损失函数。
具体实施方式
下面结合附图和实施方式对本发明作进一步的详细说明：
实施例1：
如图1所述，本实施例提供一种基于深度相机的非规则物体位姿估计方法，该方法提出了一种高精度高效率的三维目标检测算法，将双目深度相机获取的RGB-D图像进行双通道并行处理，进行质量评估和加权融合；通过融合后的点云数据，使用基于学习的方法进行进一步的处理从而估计出非规则物体的高精度位姿；该方法包括：
S1：利用图像采集模块对于户外三维场景，拟采用双目立体相机传感器作为目标采集设备，获取场景的二维RGB图像和对应的深度图像；
S2：如图2所示，使用二维目标检测模块，基于获取到的二维RGB图像，使用多尺度训练方法，利用深层的特征提取网络提取图像信息，在保证运行速度的同时也提高了一定的检测精度，最终识别出二维图像中的目标候选区域，得到对应检测框；将检测框映射到生成的深度图中，选取二维目标检测框中的深度信息，将识别后的深度图转换为三维点云，得到第一目标点云模型；同时，依据目标检测算法、深度相机参数以及深度图等相关信息，对检测结果进行评估，得到此方法对应的置信度α。
S3：使用点云目标检测模块，基于深度信息构建全局点云，将全局点云转化成高纬度的特征图并传入检测模块，检测和回归3D边框并获得相对应置信度β，用3D边框在全局点云中提取第二目标点云模型；
基于S2中的深度信息构建全局点云，利用特征编码网络，将全局点云转化为便于网络运算的特定形式，利用多层深度特征提取网络将转化后的全局点云处理成一个高纬度的特征图，最后将获取的特征图传入检测模块，检测和回归3D边框并且获得对应的目标置信度β，之后在全局点云中通过3D边框提取第二目标点云模型。
S4：将第一目标点云模型和第二目标点云模型进行质量评估和加权融合，得到融合点云模型；
通过S2和S3中的两种方法得到的目标点云模型以及对应的置信度系数，经质量评估和加权融合模块对目标点云模型进行加权融合，获取更高精度的融合点云模型；
若α小于特定阈值，则舍弃基于图像目标检测得到的第一目标点云模型，并将第一目标点云模型作为融合点云模型；
若β小于特定阈值，则舍弃基于点云目标检测得到的第二目标点云模型，并将第二目标点云模型作为融合点云模型；
否则对第一目标点云模型和第二目标点云模型进行加权融合，并将加权融合后的点云模型作为融合点云模型。
S5：视锥提取，将融合点云模型从相机坐标系转换到视锥坐标系下；
如图3和图4所示，图3中n为经过视锥提取模块提取出的视锥点云的点云数量，m为实例分割后目标点云的点云数量，c为点云的通道数；因为融合点云模型中，每个提取出的目标点云在相机坐标系下拥有不同的方向，为了便于对点云数据进行处理，需要使用视锥提取模块对点云的坐标系进行转换，从相机坐标系转换到视锥坐标系下；把如图4(a)所示的相机坐标系中的视锥点云中心线旋转至与图像平面正交的位置，此时的点云坐标转换为图4(b)所示的视锥坐标系下。
S6：3D实例分割，利用3D实例分割网络对S6中视锥坐标系下的融合点云模型进行语义分割，得到融合点云模型所属类别的评估分数；结合评估分数，将视锥坐标系下的融合点云模型转换到掩模坐标系下，形成3D点云模型；
如图4和图5所示，图5中n为视锥点云的点云个数，k为目标的类别数，mlp(Multi-Layer Perceptron)为多层感知器；3D实例分割模块主要由3D实例分割网络组成，实现视锥点云的语义分割；视锥提取模块提取出的视锥点云数据作为3D实例分割网络的输入；3D实例分割模块也结合了目标检测模块生成的多分类标签向量，实现视锥点云数据的语义分割，并输出3D点云所属类别的评估分数，其中3D实例分割网络输出的评估分数是对检测的目标点云和其他非目标点云生成二分类分数；掩模操作就是结合评估分数，剔除输入的视锥3D点云数据中的背景点云或者其他杂乱的点云，提取目标实例的点云，之后，对提取出的目标点云进行坐标系的转换，由视锥坐标系(图4(b))转为掩模坐标系(图4(c))，掩模坐标系以目标点云质心为原点，因此进行坐标系转换时，需对所有的目标点云减去目标点云质心的坐标，从而形成在掩模坐标系下的点云数据。
S7：以掩模坐标系下的3D点云模型为输入，对3D点云模型中的目标进行3D位姿的预测。
如图4、图6和图7所示，图6中FCs表示全连接层，其中的数字表示全连接层输出通道数；3D边界框评估模块以掩模坐标系下的目标点云数据为输入，对3D点云中的目标进行3D位姿的预测；3D实例分割模块得到的掩模坐标系下的目标质心并不是真实目标的质心，需要借助轻量级的质心回归网络进行质心位置的调整，目标点云数据经过深度网络处理，同时结合多分类标签向量生成的全局向量后由全连接层生成与质心调整相关的残差数据。之后，所有的点云数据减去残差数据得到以真实目标质心为原点的局部坐标系(图4(d))下的点云数据；
在通过质心回归网络进行质心和目标点云的移动之后，所有点云都转换到预测的真实目标质心为原点的坐标系下，再经过非模态3D位姿评估网络(如图7)处理，经过多层感知机处理，全连接层最后输出的是3D位姿评估的所有参数信息，该参数信息包括3D目标的质心坐标、边界框的长宽高、边界框长宽高的残差、航向角和航向角残差。
S8：根据损失函数，计算S5～S7中在训练时产生的总体模型损失。
整个模型架构使用了多个网络模块对3D点云数据进行训练，包括3D实例分割模块的3D实例分割网络，以及非模态3D边界框评估模块中质心回归网络和非模态3D边界框评估网络，这些结构在训练时产生的损失需要综合起来计算总体模型的损失，总体模型的损失函数如图8所示。
该损失函数中，L为整个网络的损失，Lseg为3D实例分割网络产生的语义分割损失，Lc1-reg为质心回归网络产生的质心回归损失，Lc2-reg为非模态3D位姿估计网络的质心回归损失，Lh-cls和Lh-seg分别为网络模型产生的航向角分类损失和航向角语义分割损失。Ls-cls和Ls-seg分别为网络模型预测3D边界框产生的边界框大小的分类损失和语义分割损失，α、β为模型参数，Lcorner为预测的3D边界框8个角的损失之和。
实施例2：
如图1所示，本实施例提供一种基于深度相机的非规则物体位姿估计装置，目标识别装置为双目深度相机，获取目标的RGB-D图像，利用深度卷积网络识别出目标物体在二维图像中的位置，进而剪裁出物体的点云模型，同时根据深度图生成全局点云模型，进行点云目标检测，将获取到的两者的点云模型进行质量评估和加权融合。基于融合后的点云数据模型，计算出非规则物体最后的精确位姿，获取高质量的抓取部位位置，提高抓取的准确率和安全性；
该装置包括：图像采集模块、二维目标检测模块、点云目标检测模块、质量评估和加权融合模块、视锥提取模块、3D实例分隔模块和3D边界框评估模块；
所述图像采集模块采用双目立体相机传感器，用于采集户外三维场景，获取户外场景的二维RGB图像和对应的深度图；
所述二维目标检测模块用于将识别出的二维RGB图像中转换为三维点云并得到第一目标点云模型，评估之后得到置信度α；
所述点云目标检测模块用于将基于深度图构建的全局点云转化为一个高纬度的特征图并将其传入检测模块，检测和回归3D边框和获得置信度β，并在全局点云中通过3D边框提取第二目标点云模型；
所述质量评估和加权融合模块用于判断置信度α和β是否小于特定阈值来对第一目标点云模型和第二目标点云模型进行质量评估和加权融合，得到更好精度的融合点云模型；
所述视锥提取模块用于将融合点云模型的相机坐标系转换成视锥坐标系；
所述3D实例分隔模块用于将视锥坐标系下的融合点云模型使用3D实力分割网络进行语义分割，并通过掩模操作将融合点云模型转成掩模坐标系下的3D点云模型；
所述3D边界框评估模块用于对3D点云模型进行进行质心回归操作，得到真实质心和原点坐标下的3D点云模型，并经过非模态3D位姿评估网络处理，输出3D位姿评估的所有参数信息。
本发明具备对非规则物体的探测、识别以及位姿信息估算能力，识别正确率不低于90％，识别精度优于cm级，采用的双目立体相机传感器在两米距离内的测距精度均优于2cm，经过算法融合，识别精度能进一步提升，在三维空间中准确地检测出目标的高质量抓取部位，保证抓取的精确度和安全性。
以上所述的仅是本发明的实施例，方案中公知的具体技术方案和/或特性等常识在此未作过多描述。应当指出，对于本领域的技术人员来说，在不脱离本发明技术方案的前提下，还可以作出若干变形和改进，这些也应该视为本发明的保护范围，这些都不会影响本发明实施的效果和专利的实用性。本申请要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载可以用于解释权利要求的内容。

Claims (9)

1.一种基于深度相机的非规则物体位姿估计方法，其特征在于：包括：
S1：利用深度相机采集户外三维场景，获取场景的二维RGB图像和对应的深度图；
S2：基于获取到的二维RGB图像，利用深层的特征提取网络提取图像信息，识别出图像中的目标候选区域，得到对应检测框；将检测框映射到深度图中并选取其中的深度信息，将识别后的深度图转换成三维点云，得到第一目标点云模型，对检测结果评估后得到置信度α；
S3：基于深度信息构建全局点云，将全局点云转化成高纬度的特征图并传入检测模块，检测和回归3D边框并获得相对应置信度β，用3D边框在全局点云中提取第二目标点云模型；
S4：将第一目标点云模型和第二目标点云模型进行质量评估和加权融合，得到融合点云模型；
S5：视锥提取，将融合点云模型从相机坐标系转换到视锥坐标系下；
S6：3D实例分割，利用3D实例分割网络对S6中视锥坐标系下的融合点云模型进行语义分割，得到融合点云模型所属类别的评估分数；结合评估分数，将视锥坐标系下的融合点云模型转换到掩模坐标系下，形成3D点云模型；
S7：以掩模坐标系下的3D点云模型为输入，对3D点云模型中的目标进行3D位姿的预测。
2.根据权利要求1所述的基于深度相机的非规则物体位姿估计方法，其特征在于：还包括：
S8：根据损失函数，计算S5～S7中在训练时产生的总体模型损失。
3.根据权利要求1所述的基于深度相机的非规则物体位姿估计方法，其特征在于：S4中的质量评估判定若α小于特定阈值，则舍弃第一目标点云模型，若β小于特定阈值，则舍弃第二目标点云模型，否则对第一目标点云模型和第二目标点云模型进行加权融合。
4.根据权利要求1所述的基于深度相机的非规则物体位姿估计方法，其特征在于：S6中在进行坐标系转换前，需结合评估份数，将视锥坐标系下的融合点云模型中的背景点云或者其他杂乱的点云剔除。
5.根据权利要求1所述的基于深度相机的非规则物体位姿估计方法，其特征在于：所述S6中掩模坐标系以融合点云模型的质心为原点，因此在转换时，融合点云模型中的所有目标点云需减去质心的坐标，从而形成掩模坐标系下的3D点云模型。
6.根据权利要求1所述的基于深度相机的非规则物体位姿估计方法，其特征在于：所述S7中3D位姿预测包括质心回归模块和非模态3D位姿评估模块；
所述质心回归模块用于将3D点云模型中的所有云点数据移动到以真实的质心为原点的坐标系下；
所述非模态3D位姿评估模块用于输出经非模态3D位姿评估模块网络处理过后的3D位姿评估的所有参数信息，该参数信息包括3D目标的质心坐标、边界框的长宽高、边界框长宽高的残差、航向角和航向角残差。
7.一种基于深度相机的非规则物体位姿估计装置，其特征在于：包括图像采集模块、二维目标检测模块、点云目标检测模块、质量评估和加权融合模块、视锥提取模块、3D实例分隔模块和3D边界框评估模块；
所述图像采集模块用于采集户外三维场景，获取户外场景的二维RGB图像和对应的深度图；
所述二维目标检测模块用于将识别出的二维RGB图像中转换为三维点云并得到第一目标点云模型，评估之后得到置信度α；
所述点云目标检测模块用于将基于深度图构建的全局点云转化为一个高纬度的特征图并将其传入检测模块，检测和回归3D边框和获得置信度β，并在全局点云中通过3D边框提取第二目标点云模型；
所述质量评估和加权融合模块用于判断置信度α和β是否小于特定阈值来对第一目标点云模型和第二目标点云模型进行质量评估和加权融合，得到更好精度的融合点云模型；
所述视锥提取模块用于将融合点云模型的相机坐标系转换成视锥坐标系；
所述3D实例分隔模块用于将视锥坐标系下的融合点云模型使用3D实力分割网络进行语义分割，并通过掩模操作将融合点云模型转成掩模坐标系下的3D点云模型；
所述3D边界框评估模块用于对3D点云模型进行质心回归操作，得到真实质心和原点坐标下的3D点云模型，并经过非模态3D位姿评估网络处理，输出3D位姿评估的所有参数信息。
8.根据权利要求7所述的基于深度相机的非规则物体位姿估计装置，其特征在于：所述图像采集模块采用双目立体相机传感器。
9.根据权利要求7所述的基于深度相机的非规则物体位姿估计装置，其特征在于：所述3D实例分隔模块中需剔除非目标点云之后再进行掩模操作。
CN202110697067.5A 2021-06-23 2021-06-23 一种基于深度相机的非规则物体位姿估计方法及装置 Active CN113450408B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110697067.5A CN113450408B (zh) 2021-06-23 2021-06-23 一种基于深度相机的非规则物体位姿估计方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110697067.5A CN113450408B (zh) 2021-06-23 2021-06-23 一种基于深度相机的非规则物体位姿估计方法及装置

Publications (2)

Publication Number Publication Date
CN113450408A true CN113450408A (zh) 2021-09-28
CN113450408B CN113450408B (zh) 2022-10-25

Family

ID=77812201

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110697067.5A Active CN113450408B (zh) 2021-06-23 2021-06-23 一种基于深度相机的非规则物体位姿估计方法及装置

Country Status (1)

Country Link
CN (1) CN113450408B (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113706619A (zh) * 2021-10-21 2021-11-26 南京航空航天大学 一种基于空间映射学习的非合作目标姿态估计方法
CN113888629A (zh) * 2021-10-28 2022-01-04 浙江大学 一种基于rgbd相机的快速物体三维位姿估计方法
CN114037703A (zh) * 2022-01-10 2022-02-11 西南交通大学 基于二维定位和三维姿态解算的地铁阀门状态检测方法
CN114495109A (zh) * 2022-01-24 2022-05-13 山东大学 基于目标与场景文字匹配的抓取机器人及抓取方法和系统
CN114758337A (zh) * 2022-06-16 2022-07-15 山东海量信息技术研究院 一种语义实例重建方法、装置、设备及介质
CN115082559A (zh) * 2022-07-20 2022-09-20 广东工业大学 一种柔性件的多目标智能分拣方法、系统及存储介质
CN115100264A (zh) * 2022-05-12 2022-09-23 北京控制与电子技术研究所 一种基于三维点云的地形和目标实时检测及定位方法
CN115620001A (zh) * 2022-12-15 2023-01-17 长春理工大学 基于3d点云双边扩增算法的视觉辅助系统
CN116051467A (zh) * 2022-12-14 2023-05-02 东莞市人民医院 基于多任务学习的膀胱癌肌层侵犯预测方法及相关装置
CN116494253A (zh) * 2023-06-27 2023-07-28 北京迁移科技有限公司 目标物体抓取位姿获取方法及机器人抓取系统
CN116681755A (zh) * 2022-12-29 2023-09-01 广东美的白色家电技术创新中心有限公司 位姿预测方法和装置
CN117456002A (zh) * 2023-12-22 2024-01-26 珠海市格努科技有限公司 无序抓取过程中对象的位姿估计方法、装置和电子设备
CN117593454A (zh) * 2023-11-21 2024-02-23 重庆市祥和大宇包装有限公司 三维重建与目标表面平面点云生成方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111179324A (zh) * 2019-12-30 2020-05-19 同济大学 基于颜色和深度信息融合的物体六自由度位姿估计方法
CN111899301A (zh) * 2020-06-02 2020-11-06 广州中国科学院先进技术研究所 一种基于深度学习的工件6d位姿估计方法
CN112270249A (zh) * 2020-10-26 2021-01-26 湖南大学 一种融合rgb-d视觉特征的目标位姿估计方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111179324A (zh) * 2019-12-30 2020-05-19 同济大学 基于颜色和深度信息融合的物体六自由度位姿估计方法
CN111899301A (zh) * 2020-06-02 2020-11-06 广州中国科学院先进技术研究所 一种基于深度学习的工件6d位姿估计方法
CN112270249A (zh) * 2020-10-26 2021-01-26 湖南大学 一种融合rgb-d视觉特征的目标位姿估计方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
王宪伦等: "基于图像语义分割的物体位姿估计", 《机械制造与自动化》 *
陈廷炯等: "基于语义分割和点云配准的物体检测与位姿估计", 《电子技术》 *

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113706619A (zh) * 2021-10-21 2021-11-26 南京航空航天大学 一种基于空间映射学习的非合作目标姿态估计方法
CN113888629A (zh) * 2021-10-28 2022-01-04 浙江大学 一种基于rgbd相机的快速物体三维位姿估计方法
CN114037703A (zh) * 2022-01-10 2022-02-11 西南交通大学 基于二维定位和三维姿态解算的地铁阀门状态检测方法
CN114037703B (zh) * 2022-01-10 2022-04-15 西南交通大学 基于二维定位和三维姿态解算的地铁阀门状态检测方法
CN114495109A (zh) * 2022-01-24 2022-05-13 山东大学 基于目标与场景文字匹配的抓取机器人及抓取方法和系统
CN115100264A (zh) * 2022-05-12 2022-09-23 北京控制与电子技术研究所 一种基于三维点云的地形和目标实时检测及定位方法
CN115100264B (zh) * 2022-05-12 2024-04-02 北京控制与电子技术研究所 一种基于三维点云的地形和目标实时检测及定位方法
CN114758337A (zh) * 2022-06-16 2022-07-15 山东海量信息技术研究院 一种语义实例重建方法、装置、设备及介质
CN114758337B (zh) * 2022-06-16 2022-10-28 山东海量信息技术研究院 一种语义实例重建方法、装置、设备及介质
WO2023241097A1 (zh) * 2022-06-16 2023-12-21 山东海量信息技术研究院 一种语义实例重建方法、装置、设备及介质
CN115082559A (zh) * 2022-07-20 2022-09-20 广东工业大学 一种柔性件的多目标智能分拣方法、系统及存储介质
CN115082559B (zh) * 2022-07-20 2022-11-01 广东工业大学 一种柔性件的多目标智能分拣方法、系统及存储介质
CN116051467B (zh) * 2022-12-14 2023-11-03 东莞市人民医院 基于多任务学习的膀胱癌肌层侵犯预测方法及相关装置
CN116051467A (zh) * 2022-12-14 2023-05-02 东莞市人民医院 基于多任务学习的膀胱癌肌层侵犯预测方法及相关装置
CN115620001A (zh) * 2022-12-15 2023-01-17 长春理工大学 基于3d点云双边扩增算法的视觉辅助系统
CN116681755A (zh) * 2022-12-29 2023-09-01 广东美的白色家电技术创新中心有限公司 位姿预测方法和装置
CN116681755B (zh) * 2022-12-29 2024-02-09 广东美的白色家电技术创新中心有限公司 位姿预测方法和装置
CN116494253B (zh) * 2023-06-27 2023-09-19 北京迁移科技有限公司 目标物体抓取位姿获取方法及机器人抓取系统
CN116494253A (zh) * 2023-06-27 2023-07-28 北京迁移科技有限公司 目标物体抓取位姿获取方法及机器人抓取系统
CN117593454A (zh) * 2023-11-21 2024-02-23 重庆市祥和大宇包装有限公司 三维重建与目标表面平面点云生成方法
CN117456002A (zh) * 2023-12-22 2024-01-26 珠海市格努科技有限公司 无序抓取过程中对象的位姿估计方法、装置和电子设备
CN117456002B (zh) * 2023-12-22 2024-04-02 珠海市格努科技有限公司 无序抓取过程中对象的位姿估计方法、装置和电子设备

Also Published As

Publication number Publication date
CN113450408B (zh) 2022-10-25

Similar Documents

Publication Publication Date Title
CN113450408B (zh) 一种基于深度相机的非规则物体位姿估计方法及装置
CN111563446B (zh) 一种基于数字孪生的人-机交互安全预警与控制方法
CN107833236B (zh) 一种动态环境下结合语义的视觉定位系统和方法
CN109685066B (zh) 一种基于深度卷积神经网络的矿井目标检测与识别方法
CN109255813B (zh) 一种面向人机协作的手持物体位姿实时检测方法
WO2022188379A1 (zh) 服务于电力机器人的人工智能系统及方法
CN111080693A (zh) 一种基于YOLOv3的机器人自主分类抓取方法
CN111340797A (zh) 一种激光雷达与双目相机数据融合检测方法及系统
CN111598172B (zh) 基于异构深度网络融合的动态目标抓取姿态快速检测方法
CN112200056B (zh) 人脸活体检测方法、装置、电子设备及存储介质
CN108830191A (zh) 基于改进emm及orb算法的移动机器人slam方法
Momeni-k et al. Height estimation from a single camera view
WO2022095514A1 (zh) 图像检测方法、装置、电子设备及存储介质
CN113496525A (zh) 通过2d相机的3d姿态估计
WO2022021156A1 (zh) 用于机器人抓取三维物体的方法和装置
CN110751097A (zh) 一种半监督的三维点云手势关键点检测方法
Raza et al. Framework for estimating distance and dimension attributes of pedestrians in real-time environments using monocular camera
CN112288815A (zh) 一种目标模位置测量方法、系统、存储介质及设备
CN114399515A (zh) 基于语言描述的类级别目标物6d位姿获取方法及存储介质
CN113496524A (zh) 通过深度学习和矢量场估计的特征检测
CN113920254B (zh) 一种基于单目rgb的室内三维重建方法及其系统
CN112270357A (zh) Vio视觉系统及方法
Yang et al. Locator slope calculation via deep representations based on monocular vision
Fan et al. Human-M3: A Multi-view Multi-modal Dataset for 3D Human Pose Estimation in Outdoor Scenes
Ling et al. Research and Application of Semantic Point Cloud on Indoor Robots

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant