CN112509050B - 一种位姿估计方法、防碰撞抓物方法和装置 - Google Patents

一种位姿估计方法、防碰撞抓物方法和装置 Download PDF

Info

Publication number
CN112509050B
CN112509050B CN202011503174.1A CN202011503174A CN112509050B CN 112509050 B CN112509050 B CN 112509050B CN 202011503174 A CN202011503174 A CN 202011503174A CN 112509050 B CN112509050 B CN 112509050B
Authority
CN
China
Prior art keywords
preset
point cloud
model
meet
partition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011503174.1A
Other languages
English (en)
Other versions
CN112509050A (zh
Inventor
李淼
闫琳
张少华
徐振海
刘忠新
付中涛
于天水
郭盛威
马天阳
刘辰
李必强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Cobot Technology Co ltd
Original Assignee
Wuhan Cobot Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Cobot Technology Co ltd filed Critical Wuhan Cobot Technology Co ltd
Priority to CN202011503174.1A priority Critical patent/CN112509050B/zh
Publication of CN112509050A publication Critical patent/CN112509050A/zh
Application granted granted Critical
Publication of CN112509050B publication Critical patent/CN112509050B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]

Abstract

本发明涉及机器视觉技术领域，提供了一种位姿估计方法、防碰撞抓物方法和装置，所述位姿估计方法包括：分别获取物体图像以及点云集，物体图像包括与互有遮挡的多个实物一一对应的多个物体区域，点云集包括与每个物体区域一一对应的物体点云，根据多个物体点云对多个物体区域进行识别，得到不满足预设遮挡条件的实例数据，从预设模型库中调取与实例数据一一对应的模型点云，根据实例数据对模型点云进行配准，得到精配准点云，将精配准点云确定为物体位姿，剔除了满足预设遮挡条件的实例数据，防止了依据满足预设遮挡条件的实例数据估计物体位姿，提升了物体位姿在多个实物互有遮挡的场景下的精准性。

Description

一种位姿估计方法、防碰撞抓物方法和装置
技术领域
本发明涉及机器视觉技术领域，具体涉及一种位姿估计方法、防碰撞抓物方法和装置。
背景技术
目前，机器视觉技术广泛应用于工业生产、物流和医疗等诸多领域，机器视觉技术通常需要利用位姿数据驱动机械臂对实物进行抓取，位姿数据的精准性对抓取实物至关重要。
但是，在一些场景下，位姿数据的精准性欠佳，影响了抓物操作，例如，在多个实物互有遮挡或/和处于弱光环境的场景下，通过对多个实物进行拍照得到的图像数据具有较低的精度，利用图像数据估计与各实物对应的位姿矩阵，降低了位姿矩阵的精度，在抓物过程中，容易发生抓空或碰撞等现象，从而，降低了抓物的效率和稳定性。
发明内容
针对上述技术缺陷，本发明提供一种位姿估计方法、防碰撞抓物方法和装置。
本发明第一方面提供一种位姿估计方法，包括：
分别获取物体图像以及点云集，所述物体图像包括与互有遮挡的多个实物一一对应的多个物体区域，所述点云集包括与每个所述物体区域一一对应的物体点云；
根据多个所述物体点云对多个所述物体区域进行识别，得到不满足预设遮挡条件的实例数据；
从预设模型库中调取与所述实例数据一一对应的模型点云；
根据所述实例数据对所述模型点云进行配准，得到精配准点云，将所述精配准点云确定为物体位姿。
本发明第二方面一种位姿估计装置，包括：
数据获取模块，用于分别获取物体图像以及点云集，所述物体图像包括与互有遮挡的多个实物一一对应的多个物体区域，所述点云集包括与每个所述物体区域一一对应的物体点云；
图像识别模块，用于根据多个所述物体点云对多个所述物体区域进行识别，得到不满足预设遮挡条件的实例数据；
模型调用模块，用于从预设模型库中调取与所述实例数据一一对应的模型点云；
位姿配准模块，用于根据所述实例数据对所述模型点云进行配准，得到精配准点云，将所述精配准点云确定为物体位姿。
本发明第三方面提供一种电子设备，包括：存储有计算机程序且可与处理器耦合的存储器，所述计算机程序被所述处理器加载并执行以实现如第一方面所述的位姿估计方法。
本发明第四方面提供一种计算机可读存储介质，所述计算机可读存储介质被配置与电子设备通信且存储有至少一条指令或至少一段程序或代码集或指令集，所述指令或所述程序或所述代码集或所述指令集被所述电子设备加载并执行以实现如第一方面所述的位姿估计方法。
以上位姿估计方法、位姿估计装置、电子设备和计算机可读存储介质的有益效果是：从物体图像以及点云集中，剔除了满足预设遮挡条件的实例数据，保留了不满足预设遮挡条件的实例数据，借助不满足预设遮挡条件的实例数据，将模型点云配准为精配准点云，将精配准点云作为物体位姿使用，防止了依据满足预设遮挡条件的实例数据估计物体位姿，提升了物体位姿在多个实物互有遮挡的场景下的精准性。
本发明第五方面提供一种防碰撞抓物方法，包括：
从预设模型库中调取与物体位姿对应的模型抓取点，所述物体位姿根据第一方面所述的位姿估计方法进行确定；
根据所述物体位姿对所述模型抓取点进行位姿变换，得到物体抓取点；
对所述物体抓取点进行防碰撞检测，当检测通过时，驱动机械臂对与所述物体抓取点对应的所述实物执行抓物操作。
本发明第六方面提供一种智能机器人，包括：存储有计算机程序且可与控制器耦合的存储器，所述计算机程序被所述控制器加载并执行以实现如第五方面所述的防碰撞抓物方法。
以上防碰撞抓物方法和智能机器人的有益效果是：由于物体位姿在多个实物互有遮挡的场景下的精准性偏高，所以利用物体位姿对抓取点进行位姿变换的精准性也偏高，提升了防碰撞检测的精确性，有助于机械臂在多个实物互有遮挡的场景下抓物的精准性和稳定性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图得到其他的附图。
图1为本发明实施例的一种位姿估计方法的流程示意图；
图2为本发明实施例的一种位姿估计装置的结构示意图；
图3为本发明实施例的一种防碰撞抓物方法的流程示意图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
实施例一
参见图1，本实施例提供一种位姿估计方法，包括：分别获取物体图像以及点云集，物体图像包括与互有遮挡的多个实物一一对应的多个物体区域，点云集包括与每个物体区域一一对应的物体点云；根据多个物体点云对多个物体区域进行识别，得到不满足预设遮挡条件的实例数据；从预设模型库中调取与实例数据一一对应的模型点云；根据实例数据对模型点云进行配准，得到精配准点云，将精配准点云确定为物体位姿。
示例性地，在物料框中堆积有五个物料，其中，通过3D相机在物料框的框口上方对5个物料进行拍照，得到三维图像和二维图像，将三维图像转换为点云集，二维图像作为物体图像使用；呈交叉分布的两个物料分别为实物A和实物B，实物A与实物B互有遮挡，在物体图像上，与实物B对应的物体区域B所属的轮廓可以呈现与实物A对应的物体区域A所属的轮廓互有重合的特征，在点云集中，与物体区域B对应的物体点云B所属的点数量可以呈现比与物体区域A对应的点云A所属的点数量小的特征。
从物体图像以及点云集中，剔除了满足预设遮挡条件的实例数据，保留了不满足预设遮挡条件的实例数据，借助不满足预设遮挡条件的实例数据，将模型点云配准为精配准点云，将精配准点云作为物体位姿使用，防止了依据满足预设遮挡条件的实例数据估计物体位姿，提升了物体位姿在多个实物互有遮挡的场景下的精准性。
可选地，根据多个物体点云对多个物体区域进行识别，得到不满足预设遮挡条件的实例数据，包括：通过预设图像检测模型对物体图像进行检测，得到目标检测结果，目标检测结果包括与每个实物一一对应的感兴趣区域以及与每个感兴趣区域一一对应的物体类别；通过预设图像分割模型分别对每个感兴趣区域进行分割，得到每个感兴趣区域的非标记分区和标记分区，其中，在每一个感兴趣区域内，标记分区用于对在感兴趣区域内的物体区域进行标注并与非标记分区互补；根据每个感兴趣区域的非标记分区分别确定每个感兴趣区域的遮挡率；分别统计每个物体点云的点数，得到每个物体点云的点数量；根据所有遮挡率以及对应的点数量从所有标记分区中筛选出不满足预设遮挡条件的标记分区；根据不满足预设遮挡条件的标记分区、与不满足预设遮挡条件的标记分区对应的物体点云以及与不满足预设遮挡条件的标记分区对应的物体类别确定实例数据。
示例性地，预设图像检测模型可以为Yolo-V3目标检测网络模型，感兴趣区域以下可以简称为ROI，两个ROI分别为用检测框标注在物体图像上的ROI-A和ROI-B，ROI-A包围在物体区域A外围，ROI-B包围在物体区域B外围，例如，互有遮挡的两个实物为杯子和香蕉，与ROI-A对应的物体类别A为cup,与ROI-B对应的物体类别B为banana；
示例性地，预设图像分割模型可以为Unet语义分割模型，标记分区以下简称为mask，两个mask分别为用红色标注在ROI-A中的mask-A和用黄色标注在ROI-B中的mask-B；可以理解的是，在ROI-A中且除mask-A之外的区域为非标记分区A，即非标记分区A与mask-A互补，在ROI-B中且除mask-B之外的区域为非标记分区B，即非标记分区B与mask-B互补。
示例性地，从点云集中提取与mask-A对应的物体点云A，对物体点云A中的每个点进行个数累加计算，得到与遮挡率A对应的点数量A；从点云集中提取与mask-B对应的物体点云B，对物体点云B中的每个点进行个数累加计算，得到与遮挡率B对应的点数量B。
示例性地，在遮挡率A和点数量A满足预设遮挡规则的情况下，说明实物A被实物B遮挡的部分过多，由遮挡率A、点数量A和物体类别A组成的实例数据A适合用以对与实物A对应的物体位姿A进行估计，剔除实例数据A；在遮挡率B和点数量B不满足预设遮挡规则的情况下，说明实物B被实物A遮挡的部分较少，由遮挡率B、点数量B和物体类别B组成的实例数据B适合用以对与实物B对应的物体位姿B进行估计,保留实例数据B。
通过两种图像识别模型级联配合，从物体图像上分别识别出与多个实物一一对应的多个物体类别、与多个物体类别一一对应的多个非标记分区以及多个非标记分区一一互补的标记分区，提升了图像识别精度；利用多个非标记分区计算出与多个实物一一对应的多个遮挡率，利用多个物体点云计算出与标记分区一一对应的多个点个数，利用多个遮挡率和多个点个数，剔除符合预设遮挡规则的实例数据，提升了数据筛选精度。
可选地，根据每个感兴趣区域的非标记分区分别确定每个感兴趣区域的遮挡率，包括：分别对每个非标记分区与对应的感兴趣区域进行面积比值计算，得到对应的感兴趣区域的遮挡率。
示例性地，分别检测非标记分区B的面积和ROI-B的面积，将两个面积代入预设比值计算模型中，通过预设比值计算模型计算出遮挡率B，其中，预设比值计算模型可以表示为：area1/area2，area1表示非标记分区的面积，area2表示非标记分区所在的ROI的面积，有助于简易化遮挡率的计算方式和提升计算效率。
可选地，根据所有遮挡率以及对应的点数量从所有标记分区中筛选出不满足预设遮挡条件的标记分区，包括：分别检验每个遮挡率是否大于第一阈值且对应的点数量是否小于第二阈值，若是，则剔除对应的标记分区，若否，则判定对应的标记分区不满足预设遮挡条件。
示例性地，当遮挡率A大于数值为0.3的第一阈值且点个数A小于数值为500的第二阈值时，说明标记分区A满足预设遮挡条件，当遮挡率B大于数值为0.3的第一阈值且点个数B小于数值为500的第二阈值时，说明标记分区B满足预设遮挡条件，预设遮挡条件即为遮挡率大于第一阈值且对应的点数量小于第二阈值，有助于简易化标记分区的筛选方式和提升筛选精准性，有助于提升实例数据的精确性。
可选地，根据实例数据对所述模型点云进行配准，得到精配准点云，包括：通过预设位姿估计模型对实例数据进行位姿估计，得到粗配准位姿矩阵，通过粗配准位姿矩阵将所述模型点云配准为粗配准点云；通过预设点云配准模型将粗配准点云配准为精配准点云。
示例性地，预设位姿估计模型可以为DenseFusion网络模型，将实例数据B输入DenseFusion网络模型中，在DenseFusion网络模型中，通过对损失函数进行训练优化的方式预测出第一旋转平移矩阵，将第一旋转平移矩阵作为粗配准位姿矩阵使用；DenseFusion网络模型包括针对形状非对称的物体设计的第一损失函数和针对形状对称的物体设计的第二损失函数，当实例数据B表征实物B为形状非对称的物体时，迭代优化第一损失函数，当实例数据B表征实物B为形状对称的物体时，迭代优化第二损失函数。
示例性地，令粗配准点云为rPn、粗配准位姿矩阵为rMn以及模型点云为nPn，粗配准点云rPn、粗配准位姿矩阵rMn以及模型点云nPn之间的关系表示为：rPn＝rMn·nPn，其中，P表示点云，M表示矩阵，n表示模型坐标系，r表示精配准坐标系。
示例性地，预设点云配准模型可以采用PLC点云库中的ICP配准算法，分别将粗配准点云rPn和实例数据B中的物体点云B输入ICP配准算法中，在ICP配准算法中，将粗配准点云rPn作为源点集，将物体点云B作为目标点集，计算出第二旋转平移矩阵，将第二旋转平移矩阵作为精配准位姿矩阵使用，通过精配准位姿矩阵将粗配准点云配准为精配准点云，精配准点云与物体点云B配准之间的误差越小，说明精配准点云越趋近于物体点云B。
示例性地，令精配准点云为qPn以及精配准位姿矩阵为qMr，精配准点云qPn、精配准位姿矩阵qMr以及粗配准点云rPn之间的关系表示为：qPn＝qMr·rPn，其中，q表示精配准坐标系，也即：qPn＝qMr·rMn·nPn。
通过点云配准模型与位姿估计模型级联配合，利用实例数据将模型点云配准为精配准模型，提升了点云配准精度。
需要说明的是，在DenseFusion网络模型中迭代优化损失函数的过程以及在ICP配准算法中配准点云的过程，本领域技术人员依据现有技术即可实现，为了简要说明，本发明实施例不再赘述。
实施例二
参见图2，本实施例提供一种位姿估计装置，包括：数据获取模块、图像识别模块、模型调用模块和位姿配准模块。
数据获取模块，用于分别获取物体图像以及点云集，物体图像包括与互有遮挡的多个实物一一对应的多个物体区域，点云集包括与每个物体区域一一对应的物体点云。
图像识别模块，用于根据多个物体点云对多个物体区域进行识别，得到不满足预设遮挡条件的实例数据。
模型调用模块，用于从预设模型库中调取与实例数据对应的模型点云。
位姿配准模块，用于根据实例数据对模型点云进行配准，得到精配准点云，将精配准点云确定为物体位姿。
示例性地，在预设模型库中预设有模型点云与物体类别一一对应的关联关系，利用实例数据B中的物体类别B，可以从预设模型库中调取与物体类别B对应的模型点云。
实施例三
本实施例提供一种电子设备，包括：存储有计算机程序且可与处理器耦合的存储器，所述计算机程序被所述处理器加载并执行以实现如实施例一所述的位姿估计方法，电子设备如服务器或工控机或笔记本电脑等。
实施例四
本实施例提供一种计算机可读存储介质，该计算机可读存储介质被配置与电子设备通信且存储有至少一条指令或至少一段程序或代码集或指令集，所述指令或所述程序或所述代码集或所述指令集被所述电子设备加载并执行以实现如实施例一所述的位姿估计方法。
一般来说，用于实现本发明方法的计算机指令的可以采用一个或多个计算机可读的存储介质的任意组合来承载，例如，非临时性计算机可读存储介质可以包括任何计算机可读介质，除了临时性地传播中的信号本身。
计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言，特别是可以使用适于神经网络计算的Python语言和基于TensorFlow、PyTorch等平台框架。
程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
实施例五
参见图3，本实施例提供一种防碰撞抓物方法，包括：从预设模型库中调取与物体位姿对应的模型抓取点，物体位姿根据实施例一所述的位姿估计方法进行确定；根据物体位姿对模型抓取点进行位姿变换，得到物体抓取点；对物体抓取点进行防碰撞检测，当检测通过时，驱动机械臂对与物体抓取点对应的实物执行抓物操作。
示例性地，在预设模型库中，模型抓取点B与物体类别B一一对应，利用实例数据B中的物体类别B，可以从预设模型库中调取模型抓取点B；采用包容盒算法，计算每个物体区域的包容盒，将防碰撞检测转化成盒子干涉检测，选出可能干涉的包容盒，排除与可能干涉的包容盒对应的物体抓取点，从而，筛选出有利于抓物的物体抓取点。
由于物体位姿在多个实物互有遮挡的场景下的精准性偏高，所以利用物体位姿对抓取点进行位姿变换的精准性也偏高，提升了防碰撞检测的精确性，有助于机械臂在多个实物互有遮挡的场景下抓物的精准性和稳定性。
实施例六
本实施例提供一种智能机器人，包括：存储有计算机程序且可与控制器耦合的存储器，计算机程序被控制器加载并执行以实现如实施例五所述的防碰撞抓物方法。
示例性地，智能机器人可以为具有物料分拣功能的工业机器人，工业机器人包括控制器、非易失性存储器和可自由旋转的机械臂，控制器分别与非易失性存储器和可自由旋转的机械臂电连接。
读者应理解，在本说明书的描述中，参考术语“方面”、“实施例”和“示例性地”等的描述意指结合该实施例或示例描述的具体特征、步骤或者特点包含于本发明的至少一个实施例或示例中，术语“第一”和“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量，由此，限定有“第一”和“第二”等的特征可以明示或者隐含地包括至少一个该特征。
在本说明书中，对上述术语的示意性表述不必针对的是相同的实施例或示例，描述的具体特征、步骤或者特点可以在一个或多个具体实例或示例中以合适的方式结合，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同具体实例或示例并不同实施例或示例的特征进行结合或/和组合。

Claims (7)

1.一种位姿估计方法，其特征在于，包括：
获取物体图像以及点云集，所述物体图像包括与互有遮挡的多个实物一一对应的多个物体区域，所述点云集包括与每个所述物体区域一一对应的物体点云；
根据多个所述物体点云对多个所述物体区域进行识别，得到不满足预设遮挡条件的实例数据；
从预设模型库中调取与所述实例数据一一对应的模型点云；
根据所述实例数据对所述模型点云进行配准，得到精配准点云，将所述精配准点云确定为物体位姿；
根据多个所述物体点云对多个所述物体区域进行识别，得到不满足预设遮挡条件的实例数据，包括：
通过预设图像检测模型对所述物体图像进行检测，得到目标检测结果，所述目标检测结果包括与每个所述实物一一对应的感兴趣区域以及与每个所述感兴趣区域一一对应的物体类别；
通过预设图像分割模型分别对每个所述感兴趣区域进行分割，得到每个所述感兴趣区域的非标记分区和标记分区，其中，在每一个所述感兴趣区域内，所述标记分区用于对在所述感兴趣区域内的所述物体区域进行标注，并与所述非标记分区互补；
根据每个所述感兴趣区域的所述非标记分区分别确定每个所述感兴趣区域的遮挡率；
分别统计每个所述物体点云的点数，得到每个所述物体点云的点数量；
根据所有所述遮挡率以及对应的所述点数量从所有所述标记分区中筛选出不满足所述预设遮挡条件的所述标记分区；
根据不满足所述预设遮挡条件的所述标记分区、与不满足所述预设遮挡条件的所述标记分区对应的所述物体点云以及与不满足所述预设遮挡条件的所述标记分区对应的所述物体类别确定所述实例数据；
具体的，通过所述预设图像检测模型和所述预设图像分割模型进行级联配合，并从所述物体图像上分别识别出与多个所述实物一一对应的多个物体类别、与多个所述物体类别一一对应的多个非标记分区以及多个所述非标记分区一一互补的标记分区；
利用多个所述非标记分区计算得到与多个所述实物一一对应的多个遮挡率；
利用多个所述物体点云计算得到与所述标记分区一一对应的多个点个数；
利用多个所述遮挡率和多个所述点个数剔除满足所述预设遮挡条件的实例数据，得到不满足所述预设遮挡条件的实例数据；
根据每个所述感兴趣区域的所述非标记分区分别确定每个所述感兴趣区域的遮挡率，包括：
分别对每个所述非标记分区与对应的所述感兴趣区域进行面积比值计算，得到对应的所述感兴趣区域的所述遮挡率；
根据所有所述遮挡率以及对应的所述点数量从所有所述标记分区中筛选出不满足所述预设遮挡条件的所述标记分区，包括：
分别检验每个所述遮挡率是否大于第一阈值且对应的所述点数量是否小于第二阈值，若是，则剔除对应的所述标记分区，若否，则判定对应的所述标记分区不满足所述预设遮挡条件。
2.根据权利要求1所述的位姿估计方法，其特征在于，根据所述实例数据对所述模型点云进行配准，得到精配准点云，包括：
通过预设位姿估计模型对所述实例数据进行位姿估计，得到粗配准位姿矩阵，通过所述粗配准位姿矩阵将所述模型点云配准为粗配准点云；
通过预设点云配准模型将所述粗配准点云配准为所述精配准点云。
3.一种位姿估计装置，其特征在于，包括：
数据获取模块，用于分别获取物体图像以及点云集，所述物体图像包括与互有遮挡的多个实物一一对应的多个物体区域，所述点云集包括与每个所述物体区域一一对应的物体点云；
图像识别模块，用于根据多个所述物体点云对多个所述物体区域进行识别，得到不满足预设遮挡条件的实例数据；
模型调用模块，用于从预设模型库中调取与所述实例数据一一对应的模型点云；
位姿配准模块，用于根据所述实例数据对所述模型点云进行配准，得到精配准点云，将所述精配准点云确定为物体位姿；
所述图像识别模块具体用于：
通过预设图像检测模型对所述物体图像进行检测，得到目标检测结果，所述目标检测结果包括与每个所述实物一一对应的感兴趣区域以及与每个所述感兴趣区域一一对应的物体类别；
通过预设图像分割模型分别对每个所述感兴趣区域进行分割，得到每个所述感兴趣区域的非标记分区和标记分区，其中，在每一个所述感兴趣区域内，所述标记分区用于对在所述感兴趣区域内的所述物体区域进行标注，并与所述非标记分区互补；
根据每个所述感兴趣区域的所述非标记分区分别确定每个所述感兴趣区域的遮挡率；
分别统计每个所述物体点云的点数，得到每个所述物体点云的点数量；
根据所有所述遮挡率以及对应的所述点数量从所有所述标记分区中筛选出不满足所述预设遮挡条件的所述标记分区；
根据不满足所述预设遮挡条件的所述标记分区、与不满足所述预设遮挡条件的所述标记分区对应的所述物体点云以及与不满足所述预设遮挡条件的所述标记分区对应的所述物体类别确定所述实例数据；
具体的，通过所述预设图像检测模型和所述预设图像分割模型进行级联配合，并从所述物体图像上分别识别出与多个所述实物一一对应的多个物体类别、与多个所述物体类别一一对应的多个非标记分区以及多个所述非标记分区一一互补的标记分区；
利用多个所述非标记分区计算得到与多个所述实物一一对应的多个遮挡率；
利用多个所述物体点云计算得到与所述标记分区一一对应的多个点个数；
利用多个所述遮挡率和多个所述点个数剔除满足所述预设遮挡条件的实例数据，得到不满足所述预设遮挡条件的实例数据；
所述图像识别模块具体用于：
分别对每个所述非标记分区与对应的所述感兴趣区域进行面积比值计算，得到对应的所述感兴趣区域的所述遮挡率；
所述图像识别模块具体用于：
分别检验每个所述遮挡率是否大于第一阈值且对应的所述点数量是否小于第二阈值，若是，则剔除对应的所述标记分区，若否，则判定对应的所述标记分区不满足所述预设遮挡条件。
4.一种电子设备，其特征在于，包括：存储有计算机程序且可与处理器耦合的存储器，所述计算机程序被所述处理器加载并执行以实现如权利要求1至2任一项所述的位姿估计方法。
5.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质被配置与电子设备通信且存储有至少一条指令或至少一段程序或代码集或指令集，所述指令或所述程序或所述代码集或所述指令集被所述电子设备加载并执行以实现如权利要求1至2任一项所述的位姿估计方法。
6.一种防碰撞抓物方法，其特征在于，包括：
从预设模型库中调取与物体位姿对应的模型抓取点，所述物体位姿根据权利要求1至2任一项所述的位姿估计方法进行确定；
根据所述物体位姿对所述模型抓取点进行位姿变换，得到物体抓取点；
对所述物体抓取点进行防碰撞检测，当检测通过时，驱动机械臂对与所述物体抓取点对应的所述实物执行抓物操作。
7.一种智能机器人，其特征在于，包括：存储有计算机程序且可与控制器耦合的存储器，所述计算机程序被所述控制器加载并执行以实现如权利要求6所述的防碰撞抓物方法。
CN202011503174.1A 2020-12-18 2020-12-18 一种位姿估计方法、防碰撞抓物方法和装置 Active CN112509050B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011503174.1A CN112509050B (zh) 2020-12-18 2020-12-18 一种位姿估计方法、防碰撞抓物方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011503174.1A CN112509050B (zh) 2020-12-18 2020-12-18 一种位姿估计方法、防碰撞抓物方法和装置

Publications (2)

Publication Number Publication Date
CN112509050A CN112509050A (zh) 2021-03-16
CN112509050B true CN112509050B (zh) 2023-04-07

Family

ID=74921726

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011503174.1A Active CN112509050B (zh) 2020-12-18 2020-12-18 一种位姿估计方法、防碰撞抓物方法和装置

Country Status (1)

Country Link
CN (1) CN112509050B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114310951B (zh) * 2021-12-31 2024-04-26 北京航空航天大学杭州创新研究院 位姿优化方法、装置、抓取设备和计算机可读存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9443297B2 (en) * 2013-07-10 2016-09-13 Cognex Corporation System and method for selective determination of point clouds
EP3427187A1 (en) * 2016-03-11 2019-01-16 Siemens Mobility GmbH Deep-learning based feature mining for 2.5d sensing image search
US10726567B2 (en) * 2018-05-03 2020-07-28 Zoox, Inc. Associating LIDAR data and image data
CN110322512A (zh) * 2019-06-28 2019-10-11 中国科学院自动化研究所 结合小样本实例分割和三维匹配的物体位姿估计方法
CN110866887A (zh) * 2019-11-04 2020-03-06 深圳市唯特视科技有限公司 一种基于多传感器的目标态势融合感知方法和系统
CN111402414A (zh) * 2020-03-10 2020-07-10 北京京东叁佰陆拾度电子商务有限公司 一种点云地图构建方法、装置、设备和存储介质
CN111612842B (zh) * 2020-05-29 2023-08-18 如你所视(北京)科技有限公司 生成位姿估计模型的方法和装置
CN111899301A (zh) * 2020-06-02 2020-11-06 广州中国科学院先进技术研究所 一种基于深度学习的工件6d位姿估计方法

Also Published As

Publication number Publication date
CN112509050A (zh) 2021-03-16

Similar Documents

Publication Publication Date Title
CN112476434B (zh) 一种基于协作机器人的视觉3d取放方法及系统
JP2021051797A (ja) 自動パッケージ登録機構および自動検出パイプラインを備えたロボットシステム
CN112837371A (zh) 基于3d匹配的物体抓取方法、装置及计算设备
CN109727275B (zh) 目标检测方法、装置、系统和计算机可读存储介质
WO2022170844A1 (zh) 一种视频标注方法、装置、设备及计算机可读存储介质
JP4709668B2 (ja) ３次元物体認識システム
CN111199562A (zh) 用于在机器人拣选时快速物体检测的系统和方法
CN113496525A (zh) 通过2d相机的3d姿态估计
CN116416444B (zh) 物体抓取点估计、模型训练及数据生成方法、装置及系统
Lambrecht Robust few-shot pose estimation of articulated robots using monocular cameras and deep-learning-based keypoint detection
CN112509050B (zh) 一种位姿估计方法、防碰撞抓物方法和装置
Yeh et al. Toward selecting and recognizing natural landmarks
CN115719436A (zh) 模型训练方法、目标检测方法、装置、设备以及存储介质
Rogelio et al. Object detection and segmentation using Deeplabv3 deep neural network for a portable X-ray source model
US11189053B2 (en) Information processing apparatus, method of controlling information processing apparatus, and non-transitory computer-readable storage medium
CN115082498A (zh) 一种机器人抓取位姿估计方法、装置、设备及存储介质
Holz et al. Fast edge-based detection and localization of transport boxes and pallets in rgb-d images for mobile robot bin picking
Basamakis et al. Deep object detection framework for automated quality inspection in assembly operations
CN113312969A (zh) 一种基于三维视觉的零部件识别与定位方法、系统
CN111240195A (zh) 基于机器视觉的自动控制模型训练、目标物回收方法及装置
JP3610087B2 (ja) 移動物体追跡装置
US20210233246A1 (en) Confidence-based segmentation of multiple units
CN112288038B (zh) 基于图像分类的物体识别或物体注册的方法及计算系统
CN113947754A (zh) 一种基于视觉的船舶机械运行状态监测方法、系统及存储介质
De Roovere et al. CenDerNet: Center and Curvature Representations for Render-and-Compare 6D Pose Estimation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant