CN114638891A - 基于图像和点云融合的目标检测定位方法与系统 - Google Patents

基于图像和点云融合的目标检测定位方法与系统 Download PDF

Info

Publication number
CN114638891A
CN114638891A CN202210114592.4A CN202210114592A CN114638891A CN 114638891 A CN114638891 A CN 114638891A CN 202210114592 A CN202210114592 A CN 202210114592A CN 114638891 A CN114638891 A CN 114638891A
Authority
CN
China
Prior art keywords
target
point cloud
image
edge
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210114592.4A
Other languages
English (en)
Inventor
何文浩
张永昌
郭跃
宋海涛
叶昌键
崔凌志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN202210114592.4A priority Critical patent/CN114638891A/zh
Publication of CN114638891A publication Critical patent/CN114638891A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种基于图像和点云融合的目标检测定位方法与系统，其中方法包括：基于待定位目标的目标图像，确定所述待定位目标的边缘特征；基于所述待定位目标的深度图像，确定所述待定位目标的目标点云，并对所述目标点云进行平面提取，得到所述目标点云的平面信息；基于所述待定位目标的边缘特征，以及所述目标点云的平面信息，确定所述目标点云中的所述待定位目标的位置。本发明提供的方法与系统，通过基于待定位目标的目标图像，确定待定位目标的边缘特征，并结合二维图像的边缘特征，以及三维目标点云的平面信息，在目标点云中进行目标定位，提高了目标定位方法的精度和鲁棒性，同时提升了目标定位方法的效率。

Description

基于图像和点云融合的目标检测定位方法与系统
技术领域
本发明涉及计算机技术领域，尤其涉及一种基于图像和点云融合的目标检测定位方法与系统。
背景技术
随着人工智能的快速发展，工业领域中常常应用机器人来完成对同一种目标对象进行自动搬运、自动上下料或自动分拣等，例如，应用机器人往锅里撒小麦，当锅满了之后，控制机器人往另一个锅里撒。而由于目标对象摆放位姿的随机性，为了保证机器人作业过程中的安全性和有效性，对目标对象进行准确地定位至关重要。
目前，通常借助机器视觉中的图像处理技术实现目标对象的定位，但图像数据容易受到光照变化的影响，且缺乏三维目标对象的位置、方向和几何结构等信息，导致目标对象的定位精度较低。
发明内容
本发明提供一种基于图像和点云融合的目标检测定位方法与系统，用以解决现有技术中目标对象的定位精度较低的缺陷，实现提高目标定位方法的精度。
本发明提供一种基于图像和点云融合的目标检测定位方法，包括：
基于待定位目标的目标图像，确定所述待定位目标的边缘特征；
基于所述待定位目标的深度图像，确定所述待定位目标的目标点云，并对所述目标点云进行平面提取，得到所述目标点云的平面信息；
基于所述待定位目标的边缘特征，以及所述目标点云的平面信息，确定所述目标点云中的所述待定位目标的位置。
根据本发明提供的一种基于图像和点云融合的目标检测定位方法，所述基于所述待定位目标的边缘特征，以及所述目标点云的平面信息，确定所述目标点云中的所述待定位目标的位置，包括：
基于所述待定位目标的边缘特征，以及所述平面信息，确定所述目标点云中的待定位目标的底面轮廓；
基于所述待定位目标的底面轮廓，确定所述待定位目标的底面中心的位置，并将所述待定位目标的底面中心的位置作为所述待定位目标的位置。
根据本发明提供的一种基于图像和点云融合的目标检测定位方法，所述基于所述待定位目标的边缘特征，以及所述平面信息，确定所述目标点云中的待定位目标的底面轮廓，包括：
将所述边缘特征投影至所述目标点云，得到所述目标点云中的边缘点云；
基于所述目标点云中的边缘点云，以及所述平面信息，确定所述目标点云中的待定位目标的底面轮廓。
根据本发明提供的一种基于图像和点云融合的目标检测定位方法，所述基于所述目标点云中的边缘点云，以及所述平面信息，确定所述目标点云中的待定位目标的底面轮廓，包括：
基于所述边缘点云进行圆拟合，得到所述目标点云中多个候选拟合圆；
基于所述多个候选拟合圆的法向量，以及所述平面信息包括的所述待定位目标的底平面法向量，从所述多个候选拟合圆中确定所述待定位目标的底面轮廓。
根据本发明提供的一种基于图像和点云融合的目标检测定位方法，所述基于待定位目标的目标图像，确定所述待定位目标的边缘特征，包括：
对所述目标图像进行目标检测，得到所述目标图像中的目标区域；
基于所述目标区域进行边缘提取，得到所述待定位目标的边缘特征。
根据本发明提供的一种基于图像和点云融合的目标检测定位方法，所述基于所述待定位目标的边缘特征，以及所述目标点云的平面信息，确定所述目标点云中的所述待定位目标的位置，之后还包括：
基于转换关系，将所述待定位目标的位置转换至机器人坐标系，得到所述机器人坐标系下待定位目标的位置。
本发明还提供一种基于图像和点云融合的目标检测定位系统，包括：
图像处理单元，用于基于待定位目标的目标图像，确定所述待定位目标的边缘特征；
点云处理单元，用于基于所述待定位目标的深度图像，确定所述待定位目标的目标点云，并对所述目标点云进行平面提取，得到所述目标点云的平面信息；
目标定位单元，用于基于所述待定位目标的边缘特征，以及所述目标点云的平面信息，确定所述目标点云中的所述待定位目标的位置。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于图像和点云融合的目标检测定位方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于图像和点云融合的目标检测定位方法的步骤。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述基于图像和点云融合的目标检测定位方法的步骤。
本发明提供的基于图像和点云融合的目标检测定位方法与系统，通过基于待定位目标的目标图像，确定待定位目标的边缘特征，对待定位目标的目标点云进行平面提取，得到目标点云的平面信息，并结合二维图像的边缘特征，以及三维目标点云的平面信息，在目标点云中进行目标定位，提高了目标定位方法的精度和鲁棒性，同时提升了目标定位方法的效率。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的基于图像和点云融合的目标检测定位方法的流程示意图；
图2是本发明提供的基于图像和点云融合的目标检测定位装置的结构示意图；
图3是本发明提供的基于图像和点云融合的目标检测定位系统的结构示意图；
图4是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供一种基于图像和点云融合的目标检测定位方法。图1是本发明提供的基于图像和点云融合的目标检测定位方法的流程示意图，如图1所示，该方法包括：
步骤110，基于待定位目标的目标图像，确定待定位目标的边缘特征；
步骤120，基于待定位目标的深度图像，确定待定位目标的目标点云，并对目标点云进行平面提取，得到目标点云的平面信息；
步骤130，基于待定位目标的边缘特征，以及目标点云的平面信息，确定目标点云中的待定位目标的位置。
具体地，待定位目标即需要进行目标检测和定位的三维目标，可以采用深度相机对待定位目标进行图像采集，从而得到待定位目标的RGB图像即目标图像，以及待定位目标的深度图像。随即，可以根据目标图像，确定待定位目标的边缘特征，此处的边缘特征可以是通过SIFT(Scale Invariant Feature Transform，尺度不变特征变换)、关键点提取网络等关键点提取算法提取得到的待定位目标的边缘关键点，也可以是通过Canny、Sobel或边缘提取网络等边缘提取算法提取得到的待定位目标的边缘轮廓，本发明实施例对此不作具体限定。
再者，可以根据待定位目标的深度图像的像素位置和深度信息，生成待定位目标的三维点云，即目标点云，并对目标点云进行平面提取，从而提取出目标点云中待定位目标的平面信息，在此基础上，即可结合待定位目标的边缘特征，以及目标点云中待定位目标的平面信息，在目标点云中进行目标定位，从而得到准确的目标点云中的待定位目标的位置。
此处，目标点云的生成方式具体可以是直接根据采集得到的深度图像生成三维点云，也可以是先从深度图像中提取待定位目标所在区域所对应的区域深度图像，再根据该区域深度图像生成三维点云，本发明实施例对此不作具体限定。平面提取的方法具体可以采用RANSAC(Random sample consensus，随机采样一致)、区域增长法等，平面提取所得到的平面信息可以包括待定位目标的各平面的位置、方程、法向量等信息。
可以理解的是，通过结合待定位目标的边缘特征，以及目标点云中待定位目标的平面信息，可以获得目标点云中待定位目标实际各个平面的大小、位置等信息，由此确定的待定位目标的位置具体可以是待定位目标的底平面中心点或底平面中心区域的位置，也可以是待定位目标的顶平面中心点或顶平面中心区域的位置，还可以是根据底平面中心点和顶平面中心点确定的某一点或某块区域的位置，具体可以根据不同的应用场景进行对应设置，本发明实施例对此不作具体限定。
需要说明的是，区别于单一通过二维图像的目标定位方法，二维图像数据容易受到光照变化的影响，且缺乏三维目标对象的位置、方向和几何结构等信息，导致目标对象的定位精度较低。而由于三维点云数据通常效果较差，无法包含边缘信息，且处理效率也较低，本发明实施例通过结合二维图像的边缘特征，以及三维目标点云的平面信息进行目标定位，实现了优势互补，提高了目标定位方法的精度和鲁棒性，同时提升了目标定位方法的效率。
本发明实施例提供的方法，通过基于待定位目标的目标图像，确定待定位目标的边缘特征，对待定位目标的目标点云进行平面提取，得到目标点云的平面信息，并结合二维图像的边缘特征，以及三维目标点云的平面信息，在目标点云中进行目标定位，提高了目标定位方法的精度和鲁棒性，同时提升了目标定位方法的效率。
基于上述实施例，步骤130包括：
基于待定位目标的边缘特征，以及平面信息，确定目标点云中的待定位目标的底面轮廓；
基于待定位目标的底面轮廓，确定待定位目标的底面中心的位置，并将待定位目标的底面中心的位置作为待定位目标的位置。
具体地，针对于需要确定待定位目标的底面中心的应用场景，例如，需要对待定位目标进行上料时，为了保证上料的均匀性，可以将待定位目标的底面中心的位置作为待定位目标的位置，对此，本发明实施例首先根据目标图像中特征提取得到的边缘特征，以及目标点云中平面提取得到的待定位目标的平面信息，确定目标点云中的待定位目标的底面轮廓，在此基础上，再根据待定位目标的底面轮廓进行中心定位，得到待定位目标的底面中心的位置，并将待定位目标的底面中心的位置作为待定位目标的位置。
本发明实施例提供的方法，通过结合二维边缘特征，以及三维目标点云的平面信息，能够获取准确的待定位目标的底面轮廓，在此基础上，即可实现待定位目标的底面中心的精确定位。
基于上述任一实施例，基于待定位目标的边缘特征，以及平面信息，确定目标点云中的待定位目标的底面轮廓，包括：
将边缘特征投影至目标点云，得到目标点云中的边缘点云；
基于目标点云中的边缘点云，以及平面信息，确定目标点云中的待定位目标的底面轮廓。
具体地，可以通过如下方式确定目标点云中的待定位目标的底面轮廓：首先，提取目标图像中的待定位目标底面对应的边缘特征，并根据目标图像与目标点云之间的映射关系，将边缘特征投影到目标点云上，从而得到边缘特征在目标点云中的三维映射，即边缘点云；随即，根据目标点云中的边缘点云，以及目标点云中待定位目标底面对应的平面信息，确定目标点云中的待定位目标的底面轮廓。
例如，可以判断边缘点云中各边缘点是否在待定位目标的底平面方程上，再根据在该底平面方程上的点确定待定位目标的底面轮廓，又例如，可以根据边缘点云进行待定位目标底面所属几何形状的拟合，再根据拟合出的几何形状的法向量，以及待定位目标的底平面法向量确定待定位目标的底面轮廓。
基于上述任一实施例，基于目标点云中的边缘点云，以及平面信息，确定目标点云中的待定位目标的底面轮廓，包括：
基于边缘点云进行圆拟合，得到目标点云中多个候选拟合圆；
基于多个候选拟合圆的法向量，以及平面信息包括的待定位目标的底平面法向量，从多个候选拟合圆中确定待定位目标的底面轮廓。
具体地，考虑到边缘点云中各边缘点可能不连续，无法形成待定位目标的底面形状，并且也会存在噪点，影响目标定位的精度。针对这一问题，本发明实施例在待定位目标的底面为圆形的情况下，首先根据目标点云中的边缘点云进行圆拟合，得到目标点云中多个候选拟合圆，并对各候选拟合圆进行法向量提取，从而得到各候选拟合圆的法向量，此处，圆拟合的方法例如可以采用霍夫变换法、最小二乘圆拟合法等，本发明实施例对此不作具体限定。
随即，以三维空间中平面信息包括的待定位目标的底平面法向量为约束，计算各候选拟合圆的法向量与底平面法向量之间的相似度，并根据计算结果从多个候选拟合圆中筛选出相似度最大的候选拟合圆，将其作为待定位目标的底面轮廓，此处，相似度的计算方法例如可以采用皮尔森相关系数、余弦相似度等，本发明实施例对此也不作具体限定。
本发明实施例提供的方法，通过根据二维边缘特征在目标点云中的映射进行圆拟合，再将由此得到的多个候选拟合圆的法向量，与三维目标点云中平面提取得到的底平面法向量进行匹配，从而能够获得准确的待定位目标的底面轮廓。
基于上述任一实施例，步骤110包括：
对目标图像进行目标检测，得到目标图像中的目标区域；
基于目标区域进行边缘提取，得到待定位目标的边缘特征。
具体地，考虑到图像采集过程中拍摄角度、遮挡等问题，目标图像中可能存在不包含待定位目标，或者不包含完整的待定位目标的情况，导致无法进行后续的目标定位，另外，即使包含完整的待定位目标，也有可能存在许多不属于待定位目标的像素点，影响后续的特征提取的效率。
针对上述问题，本发明实施例首先对待定位目标的目标图像进行目标检测，如果检测结果表征该图像不包含待定位目标或者不包含完整的待定位目标，则可以控制相机继续对待定位目标进行图像采集，直至采集所得到的目标图像的检测结果表征该目标图像包含完整的待定位目标，根据该检测结果也可以提取待定位目标在目标图像中的区域，即目标区域。
此处，目标检测的具体方法可以是基于深度学习的目标检测方法，例如，Yolo-v5(You Only Look Once version 5th)网络，也可以是传统的基于像素关系的目标检测方法，本发明实施例对此不作具体限定。
随即，为了进一步提升目标定位的精度，本发明实施例采用效果较好的边缘提取算法例如canny算法，对目标区域内的图像进行目标边缘提取，从而得到待定位目标的2D(two dimensional，二维)特征即边缘特征。
可以理解的是，通过在2D图像上进行目标检测和目标边缘提取的方式，相比于基于3D(three dimensional，三维)点云的方式，降低了计算量，提升了目标检测和边缘提取的效率，同时降低了对3D点云精度的要求，从而降低了目标检测和边缘提取的成本。
基于上述任一实施例，当检测到待定位目标时，检测框为包围待定位目标的矩形区域，为了增加算法的鲁棒性，本发明实施例在保持检测框的中心不变的情况下，扩大检测框的范围，例如，将检测框的长宽增加为原来的1.2倍，最终即可得到目标区域。
为了避免无关因素对于后续目标定位的干扰，以及提升点云处理的效率，本发明实施例在得到目标区域之后，在待定位目标的深度图像中提取同样的区域，从而得到目标区域对应的深度图像，再根据该深度图像的像素位置和深度信息生成目标点云。
基于上述任一实施例，步骤130之后还包括：
基于转换关系，将待定位目标的位置转换至机器人坐标系，得到机器人坐标系下待定位目标的位置。
具体地，在得到目标点云中待定位目标的位置之后，可以根据目标点云与机器人坐标系之间的转换关系，将待定位目标的位置转换到机器人坐标系下，得到机器人坐标系下待定位目标的位置，以供机器人对待定位目标进行操作。
进一步地，为了将RGB图像与深度图像之间对齐，保证像素间的对应关系，可以先将深度图像转换到RGB相机坐标系下，随即生成RGB相机坐标系下的目标点云，基于此，目标点云与机器人坐标系之间的转换关系可以根据相机坐标系与机器人坐标系之间的位姿关系确定。
基于上述任一实施例，本发明提供了一种基于RGB图像和点云融合的目标检测定位装置，用以在工业场景中，实时定位待定位目标的位置，以供机器人进行加工操作。图2是本发明提供的基于图像和点云融合的目标检测定位装置的结构示意图，如图2所示，以待定位目标为锅形目标为例，该装置包括深度相机、锅形目标和机器人，通过应用该装置，可以实现锅形目标的检测与定位，具体如下：
S1、使用RGB-D深度相机采集现实场景中锅形目标的RGB图像即目标图像、深度图像：
可选地，深度相机采用Azure Kinect DK深度相机，相机参数设置为：RGB图像分辨率：3840*2160；深度图像分辨率为：1024*1024。
S2、利用目标检测算法对2D目标图像进行目标检测，得到锅形目标在目标图像中的区域，即目标区域：
目标检测算法可以选择当前效果比较好的算法，不限于基于深度学习的目标检测方法，传统的基于像素关系的目标检测方法。可选地，本发明实施例采用效果好、速度快的Yolo-v5算法进行目标检测，具体参数采用网络的初始参数。
当检测到锅形目标时，检测框为包围锅形目标的矩形区域，为了增加算法的鲁棒性，本发明实施例在保持检测框的中心不变的情况下，扩大检测框的范围，例如，将检测框的长宽增加为原来的1.2倍，将最终得到的检测框作为目标区域。
S3、在2D目标区域内进行目标边缘提取，提取锅形目标的2D特征即边缘特征：
在本发明实施例中，可以采用canny边缘提取算法，在目标区域内进行目标边缘提取，具体过程可以是，采用canny算子，将目标区域内的RGB图像转换至灰度图像，再在灰度图像中提取锅形目标的边缘特征，可选地，在其高斯滤波平滑步骤中，高斯核大小设置为11*11，并设置双阈值检测，低阈值设置为50，高阈值设置为100。
S4、根据目标区域对应的深度图像，生成RGB相机坐标系下的3D目标点云：
可以根据相机内部深度相机和RGB相机之间的位姿关系，将锅形目标的深度图像转换到RGB相机坐标系下。在检测到RGB图像中的目标区域之后，可以在锅形目标的深度图像中提取同样的区域，从而得到目标区域对应的深度图像，根据该深度图像的像素位置和深度信息生成目标点云，具体过程为：
对相机进行标定，提取相机的内参矩阵K1：
Figure BDA0003495799950000111
基于标定的相机内参矩阵，以及深度图像的像素位置和深度信息，生成锅形目标的三维点云，即目标点云，具体方式为：
Figure BDA0003495799950000121
其中，xw，yw，zw为点(u,v)在相机坐标系下的三维坐标；u0，v0为图像的像素坐标的偏移参数；fx，fy分别为x/y方向的焦距；zc为深度图像的深度值。
S5、将边缘特征投影到目标点云上，得到3D目标点云中的边缘点云：
提取图像中的锅形目标的边缘特征的位置，并根据步骤S4中的映射关系，将边缘特征投影到目标点云上，得到边缘特征在目标点云中的映射，即边缘点云。
S6、在3D目标点云中进行目标定位，得到目标点云中的锅形目标的位置：
根据锅形目标的目标点云进行平面提取，拟合锅底平面，从而得到三维空间中锅形目标的底平面方程及其法向量；根据边缘特征在目标点云中的映射，拟合空间中的圆形特征，得到多个候选拟合圆；在众多候选拟合圆中，依靠底平面法向量与候选拟合圆的法向量的约束，从多个候选拟合圆中确定锅形目标的底面轮廓，通过圆心定位，得到底面轮廓的圆心，并将其作为锅形目标的位置。
可选地，可以采用RANSAC算法提取目标点云的平面信息。考虑到目标点云的数据量过大(点云数据在百万级别)，本发明实施例在提取平面信息前，对目标点云进行体素化降采样，例如，可以将采样率设置为(3cm*3cm*3cm)，再在降采样后的目标点云中进行RANSAC平面提取。
边缘特征在目标点云中的映射为特征点云，其为目标点云的一部分。在特征点云中进行基于霍夫变换的空间圆形拟合，由于特征点云数据相对稀疏，不进行下采样操作，直接进行圆形拟合，输出一系列候选拟合圆，再从中筛选出最符合的一个。具体的筛选方式为基于平面提取得到的锅形目标的底平面方程及其法向量，约束圆形，主要方式为，通过将各个候选拟合圆的法向量与底平面法向量求余弦相似度，选择最大的相似度对应的候选拟合圆作为锅形目标的底面轮廓，其圆心为锅形目标的位置。
S7、将锅形目标的位置转换到机器人坐标系下，以供机器人系统进行操作：
对相机进行外参标定，得到相机坐标系与机器人坐标系之间的位姿关系，由此确定相机坐标系与机器人坐标系之间的转换关系，根据该转换关系将步骤S6得到的锅形目标的位置转换到机器人坐标系下，从而得到机器人坐标系下锅形目标的位置，以供机器人或机械臂往锅形目标里撒小麦之类的物料。
下面对本发明提供的基于图像和点云融合的目标检测定位系统进行描述，下文描述的基于图像和点云融合的目标检测定位系统与上文描述的基于图像和点云融合的目标检测定位方法可相互对应参照。
基于上述任一实施例，本发明提供一种基于图像和点云融合的目标检测定位系统。图3是本发明提供的基于图像和点云融合的目标检测定位系统的结构示意图，如图3所示，该系统包括：
图像处理单元310，用于基于待定位目标的目标图像，确定待定位目标的边缘特征；
点云处理单元320，用于基于待定位目标的深度图像，确定待定位目标的目标点云，并对目标点云进行平面提取，得到目标点云的平面信息；
目标定位单元330，用于基于待定位目标的边缘特征，以及目标点云的平面信息，确定目标点云中的待定位目标的位置。
本发明实施例提供的系统，通过基于待定位目标的目标图像，确定待定位目标的边缘特征，对待定位目标的目标点云进行平面提取，得到目标点云的平面信息，并结合二维图像的边缘特征，以及三维目标点云的平面信息，在目标点云中进行目标定位，提高了目标定位方法的精度和鲁棒性，同时提升了目标定位方法的效率。
基于上述任一实施例，目标定位单元330包括：
轮廓确定单元，用于基于待定位目标的边缘特征，以及平面信息，确定目标点云中的待定位目标的底面轮廓；
圆心定位单元，用于基于待定位目标的底面轮廓，确定待定位目标的底面中心的位置，并将待定位目标的底面中心的位置作为待定位目标的位置。
基于上述任一实施例，轮廓确定单元包括：
特征投影子单元，用于将边缘特征投影至目标点云，得到目标点云中的边缘点云；
轮廓确定子单元，用于基于目标点云中的边缘点云，以及平面信息，确定目标点云中的待定位目标的底面轮廓。
基于上述任一实施例，轮廓确定子单元用于：
基于边缘点云进行圆拟合，得到目标点云中多个候选拟合圆；
基于多个候选拟合圆的法向量，以及平面信息包括的待定位目标的底平面法向量，从多个候选拟合圆中确定待定位目标的底面轮廓。
基于上述任一实施例，图像处理单元310用于：
对目标图像进行目标检测，得到目标图像中的目标区域；
基于目标区域进行边缘提取，得到待定位目标的边缘特征。
基于上述任一实施例，该装置还包括转换单元，用于：
基于转换关系，将待定位目标的位置转换至机器人坐标系，得到机器人坐标系下待定位目标的位置。
图4示例了一种电子设备的实体结构示意图，如图4所示，该电子设备可以包括：处理器(processor)410、通信接口(Communications Interface)420、存储器(memory)430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令，以执行基于图像和点云融合的目标检测定位方法，该方法包括：基于待定位目标的目标图像，确定所述待定位目标的边缘特征；基于所述待定位目标的深度图像，确定所述待定位目标的目标点云，并对所述目标点云进行平面提取，得到所述目标点云的平面信息；基于所述待定位目标的边缘特征，以及所述目标点云的平面信息，确定所述目标点云中的所述待定位目标的位置。
此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的基于图像和点云融合的目标检测定位方法，该方法包括：基于待定位目标的目标图像，确定所述待定位目标的边缘特征；基于所述待定位目标的深度图像，确定所述待定位目标的目标点云，并对所述目标点云进行平面提取，得到所述目标点云的平面信息；基于所述待定位目标的边缘特征，以及所述目标点云的平面信息，确定所述目标点云中的所述待定位目标的位置。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的基于图像和点云融合的目标检测定位方法，该方法包括：基于待定位目标的目标图像，确定所述待定位目标的边缘特征；基于所述待定位目标的深度图像，确定所述待定位目标的目标点云，并对所述目标点云进行平面提取，得到所述目标点云的平面信息；基于所述待定位目标的边缘特征，以及所述目标点云的平面信息，确定所述目标点云中的所述待定位目标的位置。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于图像和点云融合的目标检测定位方法，其特征在于，包括：
基于待定位目标的目标图像，确定所述待定位目标的边缘特征；
基于所述待定位目标的深度图像，确定所述待定位目标的目标点云，并对所述目标点云进行平面提取，得到所述目标点云的平面信息；
基于所述待定位目标的边缘特征，以及所述目标点云的平面信息，确定所述目标点云中的所述待定位目标的位置。
2.根据权利要求1所述的基于图像和点云融合的目标检测定位方法，其特征在于，所述基于所述待定位目标的边缘特征，以及所述目标点云的平面信息，确定所述目标点云中的所述待定位目标的位置，包括：
基于所述待定位目标的边缘特征，以及所述平面信息，确定所述目标点云中的待定位目标的底面轮廓；
基于所述待定位目标的底面轮廓，确定所述待定位目标的底面中心的位置，并将所述待定位目标的底面中心的位置作为所述待定位目标的位置。
3.根据权利要求2所述的基于图像和点云融合的目标检测定位方法，其特征在于，所述基于所述待定位目标的边缘特征，以及所述平面信息，确定所述目标点云中的待定位目标的底面轮廓，包括：
将所述边缘特征投影至所述目标点云，得到所述目标点云中的边缘点云；
基于所述目标点云中的边缘点云，以及所述平面信息，确定所述目标点云中的待定位目标的底面轮廓。
4.根据权利要求3所述的基于图像和点云融合的目标检测定位方法，其特征在于，所述基于所述目标点云中的边缘点云，以及所述平面信息，确定所述目标点云中的待定位目标的底面轮廓，包括：
基于所述边缘点云进行圆拟合，得到所述目标点云中多个候选拟合圆；
基于所述多个候选拟合圆的法向量，以及所述平面信息包括的所述待定位目标的底平面法向量，从所述多个候选拟合圆中确定所述待定位目标的底面轮廓。
5.根据权利要求1至4中任一项所述的基于图像和点云融合的目标检测定位方法，其特征在于，所述基于待定位目标的目标图像，确定所述待定位目标的边缘特征，包括：
对所述目标图像进行目标检测，得到所述目标图像中的目标区域；
基于所述目标区域进行边缘提取，得到所述待定位目标的边缘特征。
6.根据权利要求1至4中任一项所述的基于图像和点云融合的目标检测定位方法，其特征在于，所述基于所述待定位目标的边缘特征，以及所述目标点云的平面信息，确定所述目标点云中的所述待定位目标的位置，之后还包括：
基于转换关系，将所述待定位目标的位置转换至机器人坐标系，得到所述机器人坐标系下待定位目标的位置。
7.一种基于图像和点云融合的目标检测定位系统，其特征在于，包括：
图像处理单元，用于基于待定位目标的目标图像，确定所述待定位目标的边缘特征；
点云处理单元，用于基于所述待定位目标的深度图像，确定所述待定位目标的目标点云，并对所述目标点云进行平面提取，得到所述目标点云的平面信息；
目标定位单元，用于基于所述待定位目标的边缘特征，以及所述目标点云的平面信息，确定所述目标点云中的所述待定位目标的位置。
8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6中任一项所述基于图像和点云融合的目标检测定位方法的步骤。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述基于图像和点云融合的目标检测定位方法的步骤。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述基于图像和点云融合的目标检测定位方法的步骤。
CN202210114592.4A 2022-01-30 2022-01-30 基于图像和点云融合的目标检测定位方法与系统 Pending CN114638891A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210114592.4A CN114638891A (zh) 2022-01-30 2022-01-30 基于图像和点云融合的目标检测定位方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210114592.4A CN114638891A (zh) 2022-01-30 2022-01-30 基于图像和点云融合的目标检测定位方法与系统

Publications (1)

Publication Number Publication Date
CN114638891A true CN114638891A (zh) 2022-06-17

Family

ID=81946530

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210114592.4A Pending CN114638891A (zh) 2022-01-30 2022-01-30 基于图像和点云融合的目标检测定位方法与系统

Country Status (1)

Country Link
CN (1) CN114638891A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116485887A (zh) * 2023-01-16 2023-07-25 湖北普罗格科技股份有限公司 一种无监督3d纸箱检测方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116485887A (zh) * 2023-01-16 2023-07-25 湖北普罗格科技股份有限公司 一种无监督3d纸箱检测方法及系统
CN116485887B (zh) * 2023-01-16 2024-02-02 湖北普罗格科技股份有限公司 一种无监督3d纸箱检测方法及系统

Similar Documents

Publication Publication Date Title
CN111178250B (zh) 物体识别定位方法、装置及终端设备
CN107330439B (zh) 一种图像中物体姿态的确定方法、客户端及服务器
US10417533B2 (en) Selection of balanced-probe sites for 3-D alignment algorithms
US8903161B2 (en) Apparatus for estimating robot position and method thereof
US20190108679A1 (en) Point Cloud Meshing Method, Apparatus, Device and Computer Storage Media
CN108381549B (zh) 一种双目视觉引导机器人快速抓取方法、装置及存储介质
CN107452030B (zh) 基于轮廓检测和特征匹配的图像配准方法
WO2015006224A1 (en) Real-time 3d computer vision processing engine for object recognition, reconstruction, and analysis
CN109784250B (zh) 自动引导小车的定位方法和装置
JP2009169934A (ja) 可変形オブジェクト認識のためのシステムおよび方法
US9767383B2 (en) Method and apparatus for detecting incorrect associations between keypoints of a first image and keypoints of a second image
CN108447094B (zh) 一种单目彩色相机的姿态估算方法及系统
WO2021114776A1 (en) Object detection method, object detection device, terminal device, and medium
KR101478709B1 (ko) Rgb-d 영상 특징점 추출 및 특징 기술자 생성 방법 및 장치
CN112184811A (zh) 单目空间结构光系统结构校准方法及装置
CN110648359A (zh) 一种果实目标定位识别方法及系统
US11468609B2 (en) Methods and apparatus for generating point cloud histograms
CN114638891A (zh) 基于图像和点云融合的目标检测定位方法与系统
CN113744307A (zh) 一种基于阈值动态调整的图像特征点跟踪方法和系统
CN110458177B (zh) 图像深度信息的获取方法、图像处理装置以及存储介质
CN116721156A (zh) 工件位置定位方法、装置、计算机设备及存储介质
CN113313725B (zh) 含能材料药桶的桶口识别方法及系统
WO2021114775A1 (en) Object detection method, object detection device, terminal device, and medium
Park et al. Depth image correction for intel realsense depth camera
EP4241250A1 (en) Method and apparatus for distinguishing different configuration states of an object based on an image representation of the object

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination