CN114897974B - 一种目标物空间定位方法、系统、存储介质及计算机设备 - Google Patents

一种目标物空间定位方法、系统、存储介质及计算机设备 Download PDF

Info

Publication number
CN114897974B
CN114897974B CN202210832709.2A CN202210832709A CN114897974B CN 114897974 B CN114897974 B CN 114897974B CN 202210832709 A CN202210832709 A CN 202210832709A CN 114897974 B CN114897974 B CN 114897974B
Authority
CN
China
Prior art keywords
point cloud
target
standard
space
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210832709.2A
Other languages
English (en)
Other versions
CN114897974A (zh
Inventor
聂志华
赵迪
陈韬
曾午
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangxi Intelligent Industry Technology Innovation Research Institute
Original Assignee
Jiangxi Intelligent Industry Technology Innovation Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangxi Intelligent Industry Technology Innovation Research Institute filed Critical Jiangxi Intelligent Industry Technology Innovation Research Institute
Priority to CN202210832709.2A priority Critical patent/CN114897974B/zh
Publication of CN114897974A publication Critical patent/CN114897974A/zh
Application granted granted Critical
Publication of CN114897974B publication Critical patent/CN114897974B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Abstract

本发明提供一种目标物空间定位方法、系统、存储介质及计算机设备，所述方法包括：获取视野范围内的图像信息和深度图信息，并根据深度学习算法对图像信息进行分割得到各个物品的掩膜结果和分类结果；确定各个物品中待定位物品对应的分类结果，并根据对应的分类结果从各个物品的掩膜结果中确定待定位物品对应的目标掩膜结果；将目标掩膜结果结合深度图信息，确定待定位物品的三维目标点云；将三维目标点云与点云模板库中的多个标准点云进行相似度匹配计算，从点云模板库中求取出优选标准点云；将优选标准点云作为初始估计带入ICP算法对三维目标点云姿态迭代求解。相比传统方案大大缩短时间，且保证了点云姿态求解的有效性与精度。

Description

一种目标物空间定位方法、系统、存储介质及计算机设备
技术领域
本发明涉及空间定位技术领域，特别涉及一种目标物空间定位方法、系统、存储介质及计算机设备。
背景技术
目前常见的视觉目标空间定位方案可划分为两步：第一步实现目标的识别，区分出图像中的前景(目标)与后景(背景)；第二步通过多视几何、RGBD等技术手段获取目标的空间点云，通过空间点云的处理约束目标姿态求解过程，最终匹配计算得到目标物的空间位姿估计。
然而，在现有技术当中，通常将目标点云先带入RANSAC，再使用ICP的点云匹配算法迭代计算三维目标点云与模板点云的变换关系，导致匹配计算时间过长，降低了空间定位的效率。
发明内容
基于此，本发明的目的是提供一种目标物空间定位方法、系统、存储介质及计算机设备，用于解决现有技术中的目标物空间定位方法匹配计算时间过长，导致降低了空间定位效率的技术问题。
本发明一方面提出一种目标物空间定位方法，所述方法包括：
获取视野范围内的图像信息和深度图信息，并根据深度学习算法对所述图像信息进行分割得到各个物品的掩膜结果和分类结果；
确定各个物品中待定位物品对应的分类结果，并根据所述对应的分类结果从各个所述物品的掩膜结果中确定所述待定位物品对应的目标掩膜结果；
将所述目标掩膜结果结合所述深度图信息，确定所述待定位物品的三维目标点云；
将所述三维目标点云与点云模板库中的多个标准点云进行相似度匹配计算，从所述点云模板库中求取出优选标准点云；
将所述优选标准点云作为初始估计带入ICP算法对所述三维目标点云姿态迭代求解，得到所述待定位物品的空间位姿数据。
进一步地，所述目标物空间定位方法，其中，所述确定各个物品中待定位物品对应的分类结果，并根据所述对应的分类结果从各个所述物品的掩膜结果中确定所述待定位物品对应的目标掩膜结果的步骤具体包括：
根据所述分类结果确定对应的回归定位结果，提取所述回归定位结果的中心点深度信息，根据所述中心点深度信息将所述待定位物品中心点的像素坐标转换成相机坐标系下的第一空间坐标；
根据相机在机械臂上的安装位置，将所述第一空间坐标转换成机械臂坐标系下的第二空间坐标。
进一步地，所述目标物空间定位方法，其中，所述将所述目标掩膜结果结合所述深度图信息，确定所述待定位物品的三维目标点云的步骤具体包括：
结合所述深度图信息，提取所述目标掩膜结果中所有像素点深度信息，并根据所述所有像素点深度信息生成所述待定位物品的稠密点云；
对所述稠密点云进行滤波得到稀疏点云，并将所述稀疏点云以所述第一空间坐标为原点转换得到所述三维目标点云。
进一步地，所述目标物空间定位方法，其中，所述将所述三维目标点云与点云模板库中的多个标准点云进行相似度匹配计算，从所述点云模板库中求取出优选标准点云的步骤具体包括：
将所述三维目标点云与所述点云模板库中的所有所述标准点云对齐后，随机提取所述三维目标点云中的多个目标空间点；
将所述目标空间点与所有所述标准点云中相对应的标准空间点进行相似度匹配计算，以得到所述目标空间点与各所述标准空间点的重合率；
筛选出各所述标准空间点中与所述目标空间点的重合率最高的标准空间点，并以所述重合率最高的标准空间点所对应的标准点云作为优选标准点云。
进一步地，所述目标物空间定位方法，其中，所述将所述优选标准点云作为初始估计带入ICP算法对所述三维目标点云姿态迭代求解，得到所述待定位物品的空间位姿数据的步骤之后，所述方法还包括：
将所述空间位姿数据打包后发送给主控，最后归还线程至线程池并结束当前线程。
本发明另一方面还提出一种目标物空间定位系统，包括：
获取模块，用于获取视野范围内的图像信息和深度图信息，并根据深度学习算法对所述图像信息进行分割得到各个物品的掩膜结果和分类结果；
分类选取模块，用于确定各个物品中待定位物品对应的分类结果，并根据所述对应的分类结果从各个所述物品的掩膜结果中确定所述待定位物品对应的目标掩膜结果；
定位模块，用于将所述目标掩膜结果结合所述深度图信息，确定所述待定位物品的三维目标点云；
筛选模块，用于将所述三维目标点云与点云模板库中的多个标准点云进行相似度匹配计算，从所述点云模板库中求取出优选标准点云；
求解模块，用于将所述优选标准点云作为初始估计带入ICP算法对所述三维目标点云姿态迭代求解，得到所述待定位物品的空间位姿数据。
进一步地，所述目标物空间定位系统，其中，所述分类选取模块包括：
选取单元，用于根据所述分类结果确定对应的回归定位结果，提取所述回归定位结果的中心点深度信息，根据所述中心点深度信息将所述待定位物品中心点的像素坐标转换成相机坐标系下的第一空间坐标；
坐标转换单元，用于根据相机在机械臂上的安装位置，将所述第一空间坐标转换成机械臂坐标系下的第二空间坐标。
进一步地，所述目标物空间定位系统，其中，所述定位模块包括：
定位单元，用于结合所述深度图信息，提取所述目标掩膜结果中所有像素点深度信息，并根据所述所有像素点深度信息生成所述待定位物品的稠密点云；
构建单元，用于对所述稠密点云进行滤波得到稀疏点云，并将所述稀疏点云以所述第一空间坐标为原点转换得到所述三维目标点云。
进一步地，所述目标物空间定位系统，其中，所述筛选模块包括：
提取单元，用于将所述三维目标点云与所述点云模板库中的所有所述标准点云对齐后，随机提取所述三维目标点云中的多个目标空间点；
匹配计算单元，用于将所述目标空间点与所有所述标准点云中相对应的标准空间点进行相似度匹配计算，以得到所述目标空间点与各所述标准空间点的重合率；
输出单元，用于筛选出各所述标准空间点中与所述目标空间点的重合率最高的标准空间点，并以所述重合率最高的标准空间点所对应的标准点云作为优选标准点云。
进一步地，所述目标物空间定位系统，其中，所述系统还包括：
打包模块，用于将所述空间位姿数据打包后发送给主控，最后归还线程至线程池并结束当前线程。
本发明另一方面还提出一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述技术方案中所述的目标物空间定位方法。
本发明另一方面还提出一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述技术方案中所述的目标物空间定位方法。
与现有技术相比，本发明的有益效果是：使用标准点云的不同姿态作为匹配模板库，首先通过相似度匹配机制求取与三维目标点云最相似的优选标准点云，后续将优选标准点云姿态作为初始估计带入ICP算法对目标点云姿态迭代求解，加速了目标点云与标准点云的匹配过程，相比传统将目标点云先带入RANSAC再代入ICP的方案大大缩短时间，且保证了点云姿态求解的有效性与精度。
附图说明
本发明的上述与/或附加的方面与优点从结合下面附图对实施例的描述中将变得明显与容易理解，其中：
图1为本发明第一实施例中目标物空间定位方法的流程图；
图2为本发明第二实施例中目标物空间定位方法的流程图；
图3为本发明第二实施例中目标物空间定位方法的工作流程图；
图4为本发明第二实施例中标准点云生成流程图；
图5为本发明第三实施例中目标物空间定位系统的结构框图；
如下具体实施方式将结合上述附图进一步说明本发明。
具体实施方式
为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的若干实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容更加透彻全面。
需要说明的是，当元件被称为“固设于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及／或”包括一个或多个相关的所列项目的任意的和所有的组合。
实施例一
请参阅图1，所示为本发明第一实施例中的目标物空间定位方法的流程图，所述方法包括以下步骤：
步骤S101，获取视野范围内的图像信息和深度图信息，并根据深度学习算法对所述图像信息进行分割得到各个物品的掩膜结果和分类结果；
具体地，在本实施例中，图像信息和深度图信息均由设置在机械臂末端的视觉相机获取，基于SOLOv2模型实现图像实例分割，输出目标的实例分割掩模结果与分类结果，通过SOLOv2网络实现图像实例分割相较已有方案更为简洁、速度更快、结果更为精确，有利于目标点云的分割。
步骤S102，确定各个物品中待定位物品对应的分类结果，并根据所述对应的分类结果从各个所述物品的掩膜结果中确定所述待定位物品对应的目标掩膜结果；
可以理解地，由于相机的视野范围内可能同时识别到多个物体，因此，需要根据分割出的分类结果来定位实际需要抓取物体的目标掩膜结果。
步骤S103，将所述目标掩膜结果结合所述深度图信息，确定所述待定位物品的三维目标点云；
具体地，输出的目标掩模结果提取类似于Bounding-Box的平行于图像坐标系的矩形定位框，通过矩形定位框求取目标俯视中心，结合深度图与目标俯视中心的像素坐标可以得目标俯视中心的三维空间坐标；
输出的目标掩模结果与深度图结合分割出深度图中目标的空间点云，之后基于所述目标俯视中心的三维空间坐标作为点云中心，图像平面作为点云坐标系XOY平面，X方向为图像坐标系v轴负方向，Y方向为图像坐标系u轴负方向重构目标空间点云。
步骤S104，将所述三维目标点云与点云模板库中的多个标准点云进行相似度匹配计算，从所述点云模板库中求取出优选标准点云；
具体地，所述点云模板库中的多个标准点云需要人为预先设定，实际应用中，将识别到的三维目标点云与点云模板库中的多个标准点云进行相似度匹配计算，求取出最相似的标准点云姿态，即优选标准点云。
步骤S105，将所述优选标准点云作为初始估计带入ICP算法对所述三维目标点云姿态迭代求解，得到所述待定位物品的空间位姿数据。
可以理解地，将最相似的标准点云姿态作为初始估计带入ICP算法对三维目标点云姿态迭代求解，加速了三维目标点云与模板点云的匹配过程，相较已有方案在时效方面有客观提升，从而提升整体算法竞争力，拓宽了算法的应用场景。
综上，本发明上述实施例当中的目标物空间定位方法，使用标准点云的不同姿态作为匹配模板库，首先通过相似度匹配机制求取与三维目标点云最相似的优选标准点云，后续将优选标准点云姿态作为初始估计带入ICP算法对目标点云姿态迭代求解，加速了目标点云与标准点云的匹配过程，相比传统将目标点云先带入RANSAC再代入ICP的方案大大缩短时间，且保证了点云姿态求解的有效性与精度。
实施例二
结合图2至图4，本发明第二实施例中的目标物空间定位方法包括以下步骤：
步骤S11，获取视野范围内的图像信息和深度图信息，并根据深度学习算法对所述图像信息进行分割得到各个物品的掩膜结果和分类结果；
具体地，在本实施例中，图像信息和深度图信息均由设置在机械臂末端的视觉相机获取，基于SOLOv2模型实现图像实例分割，输出目标的实例分割掩模结果与分类结果，通过SOLOv2网络实现图像实例分割相较已有方案更为简洁、速度更快、结果更为精确，有利于目标点云的分割。
步骤S12，确定各个物品中待定位物品对应的分类结果，并根据所述对应的分类结果从各个所述物品的掩膜结果中确定所述待定位物品对应的目标掩膜结果；
可以理解地，由于相机的视野范围内可能同时识别到多个物体，因此，需要根据分割出的分类结果来定位实际需要抓取物体的目标掩膜结果。
步骤S13，将所述目标掩膜结果结合所述深度图信息，确定所述待定位物品的三维目标点云；
具体地，输出的目标掩模结果提取类似于Bounding-Box的平行于图像坐标系的矩形定位框，通过矩形定位框求取目标俯视中心，结合深度图与目标俯视中心的像素坐标可以得目标俯视中心的三维空间坐标；
输出的目标掩模结果与深度图结合分割除深度图中目标的空间点云，之后基于所述目标俯视中心的三维空间坐标作为点云中心，图像平面作为点云坐标系XOY平面，X方向为图像坐标系v轴负方向，Y方向为图像坐标系u轴负方向重构目标空间点云。
步骤S14，将所述三维目标点云与点云模板库中的多个标准点云进行相似度匹配计算，从所述点云模板库中求取出优选标准点云；
具体地，所述点云模板库中的多个标准点云需要人为预先设定，实际应用中，将识别到的三维目标点云与点云模板库中的多个标准点云进行相似度匹配计算，求取出最相似的标准点云姿态，即优选标准点云。
步骤S15，将所述优选标准点云作为初始估计带入ICP算法对所述三维目标点云姿态迭代求解，得到所述待定位物品的空间位姿数据。
可以理解地，将最相似的标准点云姿态作为初始估计带入ICP算法对三维目标点云姿态迭代求解，加速了三维目标点云与模板点云的匹配过程，相较已有方案在时效方面有客观提升，从而提升整体算法竞争力，拓宽了算法的应用场景。
进一步地，所述确定各个物品中待定位物品对应的分类结果，并根据所述对应的分类结果从各个所述物品的掩膜结果中确定所述待定位物品对应的目标掩膜结果的步骤具体包括：
根据所述分类结果确定对应的回归定位结果，提取所述回归定位结果的中心点深度信息，根据所述中心点深度信息将所述待定位物品中心点的像素坐标转换成相机坐标系下的第一空间坐标；
根据相机在机械臂上的安装位置，将所述第一空间坐标转换成机械臂坐标系下的第二空间坐标。
具体地，在本实施例中，视觉相机装配于机械臂末端，视觉系统部署于视觉控制器上，视觉单元与复合移动机器人主控制器通过以太网组网、ROS消息通信。
实际应用中，当线程启动后锁定相机，获取当前位置图像数据后解锁定，判断是否取到图像数据，未取到则重新执行图像获取步骤，取到则将图像输入深度学习网络推理；
推理结果中分类情况class_name、回归定位框Bounding-Box进入目标物位置测量分支，提取中心点深度信息后将目标物像素坐标转换成相机坐标系下的空间坐标，后将相机坐标系下的空间坐标转换为工具坐标，再由工具坐标转换为机械臂基坐标系，得到目标物在机械臂base坐标系下坐标，即第二空间坐标，以供机械臂根据第二空间坐标的位置进行抓取定位。
进一步地，所述将所述目标掩膜结果结合所述深度图信息，确定所述待定位物品的三维目标点云的步骤具体包括：
结合所述深度图信息，提取所述目标掩膜结果中所有像素点深度信息，并根据所述所有像素点深度信息生成所述待定位物品的稠密点云；
对所述稠密点云进行滤波得到稀疏点云，并将所述稀疏点云以所述第一空间坐标为原点转换得到所述三维目标点云。
具体地，推理结果中掩模区域mask及回归定位框Bounding-Box进入目标物姿态测量分支，提取mask掩模中所有像素点深度生成目标物稠密点云，滤波后得目标物稀疏点云；将稀疏点云以目标中心点空间坐标为原点，图像平面为XOY平面，X轴为像素坐标系v轴负方向、Y轴为像素坐标系u轴负方向、Z轴为距离相机距离减少的方向为坐标系重建目标三维点云。
进一步地，所述将所述三维目标点云与点云模板库中的多个标准点云进行相似度匹配计算，从所述点云模板库中求取出优选标准点云的步骤具体包括：
将所述三维目标点云与所述点云模板库中的所有所述标准点云对齐后，随机提取所述三维目标点云中的多个目标空间点；
将所述目标空间点与所有所述标准点云中相对应的标准空间点进行相似度匹配计算，以得到所述目标空间点与各所述标准空间点的重合率；
筛选出各所述标准空间点中与所述目标空间点的重合率最高的标准空间点，并以所述重合率最高的标准空间点所对应的标准点云作为优选标准点云。
具体地，从三维目标点云中随机抽取一定数量目标空间点，目标点云与标准点云对齐坐标后计算目标空间点Ptarget与模板对应标准空间点Ptemplate的距离平方和作为该目标点云与标准点云的相似度评分score，对所有标准点云采用同一组空间点计算评分，选取评分最高的标准点云姿态作为初始估计，与目标点云、标准点云一同输入ICP算法求解目标点云的空间位姿。
其中，相似度评分的计算公式为：
Figure 366360DEST_PATH_IMAGE001
关于本实施例中标准点云的构建，请参阅图4，所示为所述标准点云数据集生成流程图，通过测量目标尺寸对目标物建立Solidworks三维模型Target.stl，将三维模型使用Meshlab软件打开后另存为ply格式，最后使用pcl库中ply2pcd功能代码将三维模型转换成标准pcd格式点云。点云坐标系原点选择目标模型中心位置，坐标轴方向与ROS坐标相同。
进一步地，所述将所述优选标准点云作为初始估计带入ICP算法对所述三维目标点云姿态迭代求解，得到所述待定位物品的空间位姿数据的步骤之后，所述方法还包括：
将所述空间位姿数据打包后发送给主控，最后归还线程至线程池并结束当前线程。
具体地，通过计算目标点云与模板点云间的匹配度得分选出最佳匹配模板点云，使用其姿态作为目标物空间姿态粗估计，将目标物稀疏点云与标准点云分别进行特征提取，目标物空间姿态粗估计作为初始估计带入ICP算法计算目标物点云与模板点云变换关系，得目标物空间姿态精估计，精估计数据打包后发送给主控，最后归还线程至线程池并结束当前线程。
综上，本发明上述实施例当中的目标物空间定位方法，使用标准点云的不同姿态作为匹配模板库，首先通过相似度匹配机制求取与三维目标点云最相似的优选标准点云，后续将优选标准点云姿态作为初始估计带入ICP算法对目标点云姿态迭代求解，加速了目标点云与标准点云的匹配过程，相比传统将目标点云先带入RANSAC再代入ICP的方案大大缩短时间，且保证了点云姿态求解的有效性与精度。
实施例三
具体参阅图5，本发明还提供一种目标物空间定位系统，包括：
获取模块10，用于获取视野范围内的图像信息和深度图信息，并根据深度学习算法对所述图像信息进行分割得到各个物品的掩膜结果和分类结果；
分类选取模块20，用于确定各个物品中待定位物品对应的分类结果，并根据所述对应的分类结果从各个所述物品的掩膜结果中确定所述待定位物品对应的目标掩膜结果；
定位模块30，用于将所述目标掩膜结果结合所述深度图信息，确定所述待定位物品的三维目标点云；
筛选模块40，用于将所述三维目标点云与点云模板库中的多个标准点云进行相似度匹配计算，从所述点云模板库中求取出优选标准点云；
求解模块50，用于将所述优选标准点云作为初始估计带入ICP算法对所述三维目标点云姿态迭代求解，得到所述待定位物品的空间位姿数据。
进一步地，所述分类选取模块20包括：
选取单元，用于根据所述分类结果确定对应的回归定位结果，提取所述回归定位结果的中心点深度信息，根据所述中心点深度信息将所述待定位物品中心点的像素坐标转换成相机坐标系下的第一空间坐标；
坐标转换单元，用于根据相机在机械臂上的安装位置，将所述第一空间坐标转换成机械臂坐标系下的第二空间坐标。
进一步地，所述定位模块30包括：
定位单元，用于结合所述深度图信息，提取所述目标掩膜结果中所有像素点深度信息，并根据所述所有像素点深度信息生成所述待定位物品的稠密点云；
构建单元，用于对所述稠密点云进行滤波得到稀疏点云，并将所述稀疏点云以所述第一空间坐标为原点转换得到所述三维目标点云。
进一步地，所述筛选模块40包括：
提取单元，用于将所述三维目标点云与所述点云模板库中的所有所述标准点云对齐后，随机提取所述三维目标点云中的多个目标空间点；
匹配计算单元，用于将所述目标空间点与所有所述标准点云中相对应的标准空间点进行相似度匹配计算，以得到所述目标空间点与各所述标准空间点的重合率；
输出单元，用于筛选出各所述标准空间点中与所述目标空间点的重合率最高的标准空间点，并以所述重合率最高的标准空间点所对应的标准点云作为优选标准点云。
进一步地，所述系统还包括：
打包模块，用于将所述空间位姿数据打包后发送给主控，最后归还线程至线程池并结束当前线程。
综上，本发明上述实施例当中的目标物空间定位系统，使用标准点云的不同姿态作为匹配模板库，首先通过相似度匹配机制求取与三维目标点云最相似的优选标准点云，后续将优选标准点云姿态作为初始估计带入ICP算法对目标点云姿态迭代求解，加速了目标点云与标准点云的匹配过程，相比传统将目标点云先带入RANSAC再代入ICP的方案大大缩短时间，且保证了点云姿态求解的有效性与精度。
实施例四
本发明还提出一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述技术方案中所述的目标物空间定位方法。
本发明还提出一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述技术方案中所述的目标物空间定位方法。
本领域技术人员可以理解，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM），只读存储器（ROM），可擦除可编辑只读存储器（EPROM或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或它们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (9)

1.一种目标物空间定位方法，其特征在于，所述方法包括：
获取视野范围内的图像信息和深度图信息，并根据深度学习算法对所述图像信息进行分割得到各个物品的掩膜结果和分类结果；
确定各个物品中待定位物品对应的分类结果，并根据所述对应的分类结果从各个所述物品的掩膜结果中确定所述待定位物品对应的目标掩膜结果；
将所述目标掩膜结果结合所述深度图信息，确定所述待定位物品的三维目标点云；
将所述三维目标点云与点云模板库中的多个标准点云进行相似度匹配计算，从所述点云模板库中求取出优选标准点云；
将所述优选标准点云作为初始估计带入ICP算法对所述三维目标点云姿态迭代求解，得到所述待定位物品的空间位姿数据;
其中, 所述将所述三维目标点云与点云模板库中的多个标准点云进行相似度匹配计算，从所述点云模板库中求取出优选标准点云的步骤具体包括：
将所述三维目标点云与所述点云模板库中的所有所述标准点云对齐后，随机提取所述三维目标点云中的多个目标空间点；
将所述目标空间点与所有所述标准点云中相对应的标准空间点进行相似度匹配计算，以得到所述目标空间点与各所述标准空间点的重合率；
筛选出各所述标准空间点中与所述目标空间点的重合率最高的标准空间点，并以所述重合率最高的标准空间点所对应的标准点云作为优选标准点云。
2.根据权利要求1所述的目标物空间定位方法，其特征在于，所述确定各个物品中待定位物品对应的分类结果，并根据所述对应的分类结果从各个所述物品的掩膜结果中确定所述待定位物品对应的目标掩膜结果的步骤具体包括：
根据所述分类结果确定对应的回归定位结果，提取所述回归定位结果的中心点深度信息，根据所述中心点深度信息将所述待定位物品中心点的像素坐标转换成相机坐标系下的第一空间坐标；
根据相机在机械臂上的安装位置，将所述第一空间坐标转换成机械臂坐标系下的第二空间坐标。
3.根据权利要求2所述的目标物空间定位方法，其特征在于，所述将所述目标掩膜结果结合所述深度图信息，确定所述待定位物品的三维目标点云的步骤具体包括：
结合所述深度图信息，提取所述目标掩膜结果中所有像素点深度信息，并根据所述所有像素点深度信息生成所述待定位物品的稠密点云；
对所述稠密点云进行滤波得到稀疏点云，并将所述稀疏点云以所述第一空间坐标为原点转换得到所述三维目标点云。
4.根据权利要求1所述的目标物空间定位方法，其特征在于，所述将所述优选标准点云作为初始估计带入ICP算法对所述三维目标点云姿态迭代求解，得到所述待定位物品的空间位姿数据的步骤之后，所述方法还包括：
将所述空间位姿数据打包后发送给主控，最后归还线程至线程池并结束当前线程。
5.一种目标物空间定位系统，其特征在于，包括：
获取模块，用于获取视野范围内的图像信息和深度图信息，并根据深度学习算法对所述图像信息进行分割得到各个物品的掩膜结果和分类结果；
分类选取模块，用于确定各个物品中待定位物品对应的分类结果，并根据所述对应的分类结果从各个所述物品的掩膜结果中确定所述待定位物品对应的目标掩膜结果；
定位模块，用于将所述目标掩膜结果结合所述深度图信息，确定所述待定位物品的三维目标点云；
筛选模块，用于将所述三维目标点云与点云模板库中的多个标准点云进行相似度匹配计算，从所述点云模板库中求取出优选标准点云；
求解模块，用于将所述优选标准点云作为初始估计带入ICP算法对所述三维目标点云姿态迭代求解，得到所述待定位物品的空间位姿数据;
其中, 所述筛选模块包括：
提取单元，用于将所述三维目标点云与所述点云模板库中的所有所述标准点云对齐后，随机提取所述三维目标点云中的多个目标空间点；
匹配计算单元，用于将所述目标空间点与所有所述标准点云中相对应的标准空间点进行相似度匹配计算，以得到所述目标空间点与各所述标准空间点的重合率；
输出单元，用于筛选出各所述标准空间点中与所述目标空间点的重合率最高的标准空间点，并以所述重合率最高的标准空间点所对应的标准点云作为优选标准点云。
6.根据权利要求5所述的目标物空间定位系统，其特征在于，所述分类选取模块包括：
选取单元，用于根据所述分类结果确定对应的回归定位结果，提取所述回归定位结果的中心点深度信息，根据所述中心点深度信息将所述待定位物品中心点的像素坐标转换成相机坐标系下的第一空间坐标；
坐标转换单元，用于根据相机在机械臂上的安装位置，将所述第一空间坐标转换成机械臂坐标系下的第二空间坐标。
7.根据权利要求6所述的目标物空间定位系统，其特征在于，所述定位模块包括：
定位单元，用于结合所述深度图信息，提取所述目标掩膜结果中所有像素点深度信息，并根据所述所有像素点深度信息生成所述待定位物品的稠密点云；
构建单元，用于对所述稠密点云进行滤波得到稀疏点云，并将所述稀疏点云以所述第一空间坐标为原点转换得到所述三维目标点云。
8.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至4任一所述的目标物空间定位方法。
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至4任一所述的目标物空间定位方法。
CN202210832709.2A 2022-07-15 2022-07-15 一种目标物空间定位方法、系统、存储介质及计算机设备 Active CN114897974B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210832709.2A CN114897974B (zh) 2022-07-15 2022-07-15 一种目标物空间定位方法、系统、存储介质及计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210832709.2A CN114897974B (zh) 2022-07-15 2022-07-15 一种目标物空间定位方法、系统、存储介质及计算机设备

Publications (2)

Publication Number Publication Date
CN114897974A CN114897974A (zh) 2022-08-12
CN114897974B true CN114897974B (zh) 2022-09-27

Family

ID=82730106

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210832709.2A Active CN114897974B (zh) 2022-07-15 2022-07-15 一种目标物空间定位方法、系统、存储介质及计算机设备

Country Status (1)

Country Link
CN (1) CN114897974B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116664812A (zh) * 2022-11-30 2023-08-29 荣耀终端有限公司 一种视觉定位方法、视觉定位系统及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108830902A (zh) * 2018-04-19 2018-11-16 江南大学 一种基于点云处理的散乱工件识别与定位方法
CN110930452A (zh) * 2019-10-23 2020-03-27 同济大学 一种基于自监督学习与模板匹配的物体位姿估计方法
CN111179321A (zh) * 2019-12-30 2020-05-19 南京埃斯顿机器人工程有限公司 一种基于模板匹配的点云配准方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9619691B2 (en) * 2014-03-07 2017-04-11 University Of Southern California Multi-view 3D object recognition from a point cloud and change detection

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108830902A (zh) * 2018-04-19 2018-11-16 江南大学 一种基于点云处理的散乱工件识别与定位方法
CN110930452A (zh) * 2019-10-23 2020-03-27 同济大学 一种基于自监督学习与模板匹配的物体位姿估计方法
CN111179321A (zh) * 2019-12-30 2020-05-19 南京埃斯顿机器人工程有限公司 一种基于模板匹配的点云配准方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Fast template matching and pose estimation in 3D point clouds;Richard Vock et al.;《Computers & Graphics》;20190117;第79卷;第36-45页 *
Multi-spacecraft collaborative attitude determination of space tumbling target with experimental verification;Di Zhao et al.;《Acta Astronautica》;20210423;第185卷;第1-13页 *
基于多航天器协同观测的空间非合作目标姿态参数在轨识别方法研究;赵迪 等;《西北工业大学学报》;20210430;第39卷(第2期);第267-277页 *
面向机器人抓取的弱纹理物体六自由度位姿估计方法研究;张昊若;《中国博士学位论文全文数据库 信息科技辑》;20200615(第06期);第I140-33页 *

Also Published As

Publication number Publication date
CN114897974A (zh) 2022-08-12

Similar Documents

Publication Publication Date Title
CN110426051B (zh) 一种车道线绘制方法、装置及存储介质
EP3293670B1 (en) Lidar object detection system for automated vehicles
JP6216508B2 (ja) ３ｄシーンにおける３ｄ物体の認識および姿勢決定のための方法
CN109272523B (zh) 基于改进cvfh和crh特征的随机堆放活塞位姿估计方法
JP4865557B2 (ja) 有界三次元対象物の分類と空間ローカライゼーションのためのコンピュータ視覚システム
US20150317821A1 (en) Geodesic Distance Based Primitive Segmentation and Fitting for 3D Modeling of Non-Rigid Objects from 2D Images
JP2018523881A (ja) データを位置合わせする方法及びシステム
JP4709668B2 (ja) ３次元物体認識システム
CN111612728B (zh) 一种基于双目rgb图像的3d点云稠密化方法和装置
CN108876852B (zh) 一种基于3d视觉的在线实时物体识别定位方法
JP2018091656A (ja) 情報処理装置、計測装置、システム、算出方法、プログラムおよび物品の製造方法
Sansoni et al. Optoranger: A 3D pattern matching method for bin picking applications
Abbeloos et al. Point pair feature based object detection for random bin picking
CN113267761B (zh) 激光雷达目标检测识别方法、系统及计算机可读存储介质
CN114897974B (zh) 一种目标物空间定位方法、系统、存储介质及计算机设备
CN113935946B (zh) 实时检测地下障碍物的方法及装置
CN110599407A (zh) 基于向下倾角方向的多台tof相机人体降噪方法及系统
CN115497077A (zh) 车厢姿态识别系统、方法、电子设备及存储介质
Kovacs et al. Edge detection in discretized range images
Murino et al. Reconstruction of complex environments by robust pre-aligned ICP
CN114972495A (zh) 针对纯平面结构的物体的抓取方法、装置及计算设备
Patoommakesorn et al. The 3d edge reconstruction from 2d image by using correlation based algorithm
Fu et al. A shadow-removal based saliency map for point feature detection of underwater objects
Pang et al. MGRO recognition algorithm-based artificial potential field for mobile robot navigation
WO2022137509A1 (ja) 物体認識装置、物体認識方法、非一時的なコンピュータ可読媒体及び物体認識システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CB03 Change of inventor or designer information

Inventor after: Nie Zhihua

Inventor after: Qi Lizhe

Inventor after: Zhao Di

Inventor after: Chen Tao

Inventor after: Zeng Wu

Inventor before: Nie Zhihua

Inventor before: Zhao Di

Inventor before: Chen Tao

Inventor before: Zeng Wu

CB03 Change of inventor or designer information