CN115082926A - 一种面向移动抓取装置的视觉引导系统 - Google Patents

一种面向移动抓取装置的视觉引导系统 Download PDF

Info

Publication number
CN115082926A
CN115082926A CN202210711952.9A CN202210711952A CN115082926A CN 115082926 A CN115082926 A CN 115082926A CN 202210711952 A CN202210711952 A CN 202210711952A CN 115082926 A CN115082926 A CN 115082926A
Authority
CN
China
Prior art keywords
target object
unit
module
information
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210711952.9A
Other languages
English (en)
Inventor
赵迪
陈韬
聂志华
危振
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangxi Intelligent Industry Technology Innovation Research Institute
Original Assignee
Jiangxi Intelligent Industry Technology Innovation Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangxi Intelligent Industry Technology Innovation Research Institute filed Critical Jiangxi Intelligent Industry Technology Innovation Research Institute
Priority to CN202210711952.9A priority Critical patent/CN115082926A/zh
Publication of CN115082926A publication Critical patent/CN115082926A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种面向移动抓取装置的视觉引导系统，包括数据采集预处理模块，数据采集预处理模块用于采集图像数据并对采集的图像数据进行预处理，并且将预处理的图像数据传输至实例分割模块，实例分割模块用于识别和分割预处理的图像数据中的目标物，并输出目标物的像素坐标位置及掩模信息至三维定位模块，三维定位模块用于计算出目标物的空间位姿，并且将目标物的空间位姿信息传输至执行模块，执行模块通过目标物的空间位姿信息准确引导抓取目标物。本发明中的面向移动抓取装置的视觉引导系统能够更加精确的对目标物进行空间定位，且由于采用深度学习、实例分割、空间点云等技术，使得该视觉引导系统与移动抓取装置适配的时间更短。

Description

一种面向移动抓取装置的视觉引导系统
技术领域
本发明涉及计算机视觉技术领域，特别涉及一种面向移动抓取装置的视觉引导系统。
背景技术
随着制造业的飞速发展，为了提升生产加工的速度，生产加工的设备越来越智能化和自动化。
现有技术当中，面向移动抓取装置的视觉引导系统需要专门的工程团队根据应用场景进行定制化开发，这种方式在不同的移动抓取设备上需要大量的时间进行适配，在大规模的工厂自动化升级过程中会支出大量的时间成本，影响工厂的正常生产。且近年来研究人员致力于将目标识别算法轻量化，对目标姿态的计算算法进行约束，使得移动抓取装置对目标物的抓取存在一定的上料摆放要求，且这种方式对于目标物的空间位姿求解精度较低。
发明内容
基于此，本发明的目的是提供一种面向移动抓取装置的视觉引导系统，用于解决现有技术中，视觉引导系统在移动抓取装置上需要大量时间进行适配、需要约束目标物摆放方式及抓取目标物的空间位姿求解精度不高的问题。
本发明提出一种面向移动抓取装置的视觉引导系统，包括数据采集预处理模块、实例分割模块、三维定位模块以及执行模块；
所述数据采集预处理模块用于采集图像数据、并对采集的所述图像数据进行预处理，并且将预处理后的图像数据传输至所述实例分割模块；
所述实例分割模块用于识别和分割所述预处理后的图像数据中的目标物，并输出所述目标物的像素坐标位置及掩模信息至所述三维定位模块；
所述三维定位模块用于接收所述目标物的像素坐标位置及掩模信息、并计算出所述目标物的空间位姿，并且将所述目标物的空间位姿信息传输至执行模块；
所述执行模块用于接收所述目标物的空间位姿信息，并根据所述目标物的空间位姿信息对所述目标物进行抓取。
与现有技术相比，本发明的有益效果是，图像采集预处理模块能够采集目标物区域的图像数据并对其进行预处理，消除图像的噪声数据，使得实例分割模块能够精确的识别分割出目标物的像素坐标位置以及掩模信息，三维定位模块通过像素坐标位置和掩模信息可以计算出目标物的空间位姿，使其能够对目标物进行精确的空间定位，从而能够给执行模块提供目标物在空间当中的位姿，使得执行模块能够精确的对目标物进行抓取。由于该视觉引导系统采用实例分割等技术，使得该引导系统能够快速的适配抓取装置，并引导抓取装置对目标物进行精确的抓取。
进一步的，所述执行模块包括逻辑控制器和执行单元，所述逻辑控制器用于接收所述目标物的空间位姿信息、并控制引导所述执行单元进行抓取作业。
进一步的，所述数据采集预处理模块包括图像采集单元与数据预处理单元，所述图像采集单元用于采集所述图像数据，并将采集到的所述图像数据传输至所述数据预处理单元，所述图像数据至少包括RGB图与深度图；
所述数据预处理单元用于对所述RGB图与所述深度图进行预处理，并将预处理后的所述RGB图传输至所述实例分割模块、以及预处理后的所述深度图传输至所述三维定位模块。
进一步的，所述实例分割模块包括特征提取单元、RolAlign层、、RPN网络单元以及分割单元；
所述特征提取单元用于提取所述RGB图中的特征信息；
所述RolAlign层用于将所述特征信息与所述RGB图进行对齐；
所述RPN网络单元用于识别所述特征信息中与所述目标物相对应的特征信息、并将与所述目标物相对应的特征信息传输至所述RolAlign层；
所述分割单元用于分割所述特征信息中的所述目标物的掩模信息。
进一步的，所述实例分割模块还包括全连接层以及目标检测单元，所述全连接层用于将对齐后的所述特征信息卷积采样生成对应的特征向量并输出至所述目标检测单元，所述目标检测单元根据所述特征向量计算出所述目标物的像素坐标位置，并将所述像素坐标位置输出至所述三维定位模块。
进一步的，所述实例分割模块还包括分类单元，所述分类单元用于根据所述特征向量计算所述目标物的分类结果。
进一步的，所述三维定位模块包括点云分割单元、点云配准单元和模板点云单元；
所述点云分割单元根据所述目标物的掩模信息提取所述目标物在所述深度图中的空间点云，所述点云配准单元将所述空间点云与所述模板点云单元所传递的多个模板点云进行匹配，并选出所述多个模板点云中相似度最高的模板点云进行ICP计算，并将得到的计算值与所述相似度最高的模板点云进行矩阵乘法，以得到所述目标物的空间位姿。
进一步的，所述视觉引导系统还包括位姿优化模块，所述位姿优化模块包括目标跟踪单元与位姿图优化单元；
所述目标跟踪单元用于在所述执行单元抓取所述目标物之前，获取所述三维定位模块所传递的所述目标物的所有空间位姿，并根据所述目标物的所有空间位姿计算出所述目标物的空间位姿信息；
所述位姿图优化单元用于对所述目标物的空间位姿信息进行优化，以得到所述执行单元的最终抓取位姿。
进一步的，所述视觉引导系统还包括标定模块，所述标定模块用于对所述执行单元与所述视觉引导系统进行校准。
进一步的，所述视觉引导系统还包括触发模块，所述触发模块用于触发所述图像采集预处理模块，以使所述图像采集预处理模块对所述图像数据进行采集、并对所述图像数据进行预处理。
附图说明
图1为本发明的视觉引导系统的工作流程图；
图2为本发明的实例分割模块的工作流程图；
图3为本发明的三维定位模块的工作流程图；
主要元件符号说明：
Figure BDA0003708409060000041
Figure BDA0003708409060000051
如下具体实施方式将结合上述附图进一步说明本发明。
具体实施方式
为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的若干实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容更加透彻全面。
需要说明的是，当元件被称为“固设于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
请参阅图1，所示为本发明实施例中的面向移动抓取装置的视觉引导系统，包括数据采集预处理模块30、实例分割模块40、三维定位模块50以及执行模块60。
所述数据采集预处理模块30用于采集图像数据、并对采集的所述图像数据进行预处理，并且将预处理后的图像数据传输至所述实例分割模块40；
所述实例分割模块40用于识别和分割所述预处理后的图像数据中的目标物，并输出所述目标物的像素坐标位置408及掩模信息405至所述三维定位模块50；
所述三维定位模块50用于接收所述目标物的像素坐标位置408及掩模信息405、并计算出所述目标物的空间位姿503，并且将所述目标物的空间位姿503信息传输至执行模块60；
所述执行模块60用于接收所述目标物的空间位姿503信息，并根据所述目标物的空间位姿503信息对所述目标物进行抓取。
数据采集预处理模块30采集需要抓取的目标物区域的图像，并将图像的数据信息进行预处理，对图像数据信息进行预处理可以达到消除部分噪声数据、提升深度图数据精度，然后将处理好的图像数据传输至实例分割模块40，处理好的图像数据从数据采集预处理模块30传输至实例分割模块40后，实例分割模块40经过深度学习网络推理将图像数据中的目标物的像素坐标位置408以及掩模信息405识别分割出来，并将目标物的像素坐标位置408以及掩模信息405传输至三维定位模块50，三维定位模块50在接收到目标物的像素坐标位置408和掩模信息405之后，通过三维定位模块50内的计算，使得三维定位模块50能够准确的将目标物的空间位姿503计算出来，目标物的空间位姿503的信息计算出来之后，并传输至执行模块60。执行模块60在接收到三维定位模块50传输过来的目标物的空间位姿503信息之后，此时执行模块60根据目标物的空间位姿503信息的引导能够精确的对目标物进行抓取。并且通过该视觉引导系统能够直接处理采集目标物区域的图像数据，并对图像数据进行处理，然后计算出目标物的空间位姿503，而抓取装置能够根据目标物的空间位姿503来对目标物进行准确的抓取，如此处理目标物图像数据的方式，使得该视觉引导系统能够无需与抓取装置进行适配，直接就能够进行使用，从而能够节省移动抓取装置与视觉引导系统适配的时间，进而能够有效的节省时间成本。
请参阅图1，本实施例中，执行模块60包括逻辑控制器601和执行单元602，逻辑控制器601还可以控制执行单元602进行抓取作业，其中的执行单元602可以视为抓取装置的抓取端，可以理解为通过逻辑控制器601能够控制抓取装置的抓取端对目标物进行抓取。
请参阅图2，本实施例中，所述数据采集预处理模块30包括图像采集单元与数据预处理单元，所述图像采集单元用于采集所述图像数据，并将采集到的所述图像数据传输至所述数据预处理单元，所述图像数据包括RGB图与深度图，所述数据预处理单元用于对所述RGB图与所述深度图进行预处理，并将预处理后的所述RGB图传输至所述实例分割模块40、以及预处理后的所述深度图传输至所述三维定位模块。图像采集单元对需要抓取的目标物这一区域的图像进行采集，然后将采集来的图像数据传输至数据预处理单元，数据预处理单元对采集来的目标物这一区域的图像数据进行预处理，预处理可以达到消除部分噪声数据、提升深度图数据精度，并可以使得实例分割模块40能够更加精确的对图像数据进行处理，避免产生不必要的误差。其中深度图位图像像素点对应的深度值矩阵，RGB图是彩色的图像数据。
请参阅图2，本实施例中，所述实例分割模块40包括特征提取单元401、RolAlign层403、RPN网络单元411以及分割单元404，所述特征提取单元401用于提取所述RGB图中的特征信息402，所述RolAlign层403用于将所述特征信息402与所述RGB图进行对齐，所述RPN网络单元411用于识别所述特征信息402中与所述目标物相对应的特征信息402、并将与所述目标物相对应的特征信息402传输至所述RolAlign层403，所述分割单元404用于分割所述特征信息402中的所述目标物的掩模信息405。
可以理解的，目标物区域的RGB图的图像信息进入至实例分割模块40之后，实例分割模块40会对RGB图进行处理，首先是通过实例分割模块40中的特征提取单元401将RGB图的所有特征信息402提取出来，并将提取出来的特征信息402分别传输至RolAlign层403以及RPN网络单元411，RPN网络单元411用于将所有特征信息402中与目标物相对应的特征信息402识别出来，并传输至RolAlign层403，此时RolAlign层403将特征信息402与RGB图进行对齐，从而能够对目标物的特征信息402进行微调，使其能够与RGB图更为的适配，识别出来的目标物相对应的特征信息402与对齐之后的特征信息402在RolAlign层403中相互作用，使目标物对应的特征信息402更为的显著，然后对齐之后的特征信息402与目标物对应的特征信息402分别导入分割单元404，然后分割单元404根据对齐之后特征信息402分割得出目标物的掩模信息405，并将得出的掩模信息405传输至三维定位模块50，使三维定位模块50能够接受到目标物的掩模信息405。对上述流程进行总结就是，图像预处理单元提供的RGB图进入实例分割模块40，经特征提取单元401提取特征后、生成ROI(感兴趣区域)区域候选框，对齐原图后分别导入分割单元404得像素区域(也就是掩模信息405)。
其中特征信息402相当于目标物所处区域的图集，RPN网络单元411将图集划分为若干个框，然后在若干个框内框选出目标物对应的框，并将目标物对应的框传输至RolAlign层403内，RolAlign层403将提取出来图集(特征信息402)与RGB图(原图)进行对齐，将提取出来的图集的格式进行调整，然后在RolAlign层403目标物对应的框与对齐的图集相互作用，并分别输出至分割单元404，分割单元404将图集中的目标物的掩模信息405分割出来。
请参阅图2，在本实施例中，所述实例分割模块40还包括全连接层406以及目标检测单元407，所述全连接层406用于将对齐之后的所述特征信息402卷积采样生成对应的特征向量并输出至所述目标检测单元407，所述目标检测单元407根据所述特征向量计算出所述目标物的像素坐标位置408，并将所述像素坐标位置408输出至所述三维定位模块50。
请参阅图2，本实施例中，实例分割模块40还包括分类单元409，所述分类单元409用于根据所述特征向量计算所述目标物的分类结果。全连接层406将对齐之后的特征信息图集卷积采样生成的特征向量之后输出至分类单元409，分类单元409通过特征向量计算出目标物的分类结果410。分类单元409所得出的分类结果409同时作用于分割单元404与目标检测单元407，从而使得分类结果410能够使得该视觉引导系统能够将需要抓取的目标物判别出来，然后抓取所需要抓取的目标物。
综上，通过实例分割模块40，该实例分割模块40采用识别分割等技术，使得该视觉引导系统能够更为柔性、更为鲁棒的识别目标抓取物。
请参阅图3，本实施例中，三维定位模块50包括点云分割单元501、点云配准单元502和模板点云单元504，所述点云分割单元501根据所述目标物的掩模信息405提取所述目标物在所述深度图中的空间点云，所述点云配准单元502将所述空间点云与所述模板点云单元504所传递的多个模板点云进行匹配，并选出所述多个模板点云中相似度最高的模板点云进行ICP计算，并将得到的计算值与所述相似度最高的模板点云进行矩阵乘法，以得到所述目标物的空间位姿。深度图与目标物的掩模信息405传输至点云分割单元501、点云分割单元501通过目标物的掩模信息405在深度图中提取目标物的空间点云，目标物的空间点云与模板点云模块504内的模板点云进行匹配，并选取模板点云模块504内的相似度最高的模板点云进行ICP计算，得出的计算值与模板点云空间位姿做矩阵乘法得出目标物的空间位姿503，并将目标物的空间位姿503传输至执行模块60，执行模块60根据目标物的空间位姿503引导移动抓取装置对目标物进行精确抓取。通过上述流程，使得目标物的图像数据在进入三维定位模块50之后，能够计算出目标物的空间位姿503信息，即x、y、z、rx、ry、rz，然后三维定位模块50将目标物的空间位姿信息503传输至执行模块60，执行模块60根据目标物的空间位姿信息503来准确的对目标物进行抓取。该视觉引导系统区别与传统机器视觉方案，因为能够更加准确的确定目标物的空间位姿503，且在产线柔性生产时，仅需要使用不同的深度学习网络权重及目标物点云模板即可实现不同目标物的空间定位。
请参阅图3，本实施例中，所述视觉引导系统还包括位姿优化模块70，所述位姿优化模块70包括目标跟踪单元701与位姿图优化单元702，所述目标跟踪单元701用于在所述执行单元602抓取所述目标物之前，获取所述三维定位模块50所传递的所述目标物的所有空间位姿，并根据所述目标物的所有空间位姿计算出所述目标物的空间位姿503信息，计算出的所述目标物的所有空间位姿信息传输至所述位姿图优化单元702，所述位姿图优化单元702用于对所述目标物的空间位姿503信息进行优化，并不断动态化优化更新所述执行单元602最终的抓取位姿。目标跟踪单元701用于计算在执行单元602从开始抓取目标物到抓取目标物之前的这一段时间序列内的所有RGB图对应的目标物的空间位姿503，并将这一段时间序列内的目标物的空间位姿503信息传输至位姿图优化单元702，位姿图优化单元702根据这一段时间序列内的目标物的空间位姿503建立位姿图优化方案，并动态优化最终抓取位姿。
请参阅图1，本实施例中，该面向移动抓取装置的视觉引导系统还包括标定模块10，标定模块10用于对所述执行单元602与所述视觉引导系统进行校准，并使得执行单元602和引导系统处于待机状态，使执行单元602与引导系统处于“归零”的状态，在执行单元602与视觉引导系统进行适配时，能够更好的从零开始进行快速适配。其中执行单元602可以视为抓取装置的抓取端。
而标定模块10基于双目相机单镜头进行手眼标定，同时得到像素中心点、畸变参数等相机内参与双目相机同移动抓取装置末端的相对关系(相机外参)。
请参阅图1，本实施例中，该面向移动抓取装置的视觉引导系统还包括触发模块20，所述触发模块20用于触发所述图像采集预处理模块30，以使所述图像采集预处理模块30对所述图像数据进行采集、并对所述图像数据进行预处理。在需要对目标物进行抓取时，通过触发20触发图像采集预处理模块30，使得图像采集预处理模块30能够快速的反应并对目标物区域的图像数据进行采集。
该视觉引导系统能够用于复合移动机器人以及天车等产线的设备上，可以使得复合机器人及天车等设备在生产线上工作时，能够更加精确的抓取目标物，并且视觉引导系统与抓取的设备无需长时间的进行适配就能够投入使用，有效的节省了时间成本。
当该视觉引导系统用于复合移动机器人上时，将视觉相机装配在机械臂的末端，视觉系统部署与视觉控制器上，并置于复合移动机器人内部，与复合机器人通过以太网组网以及ROS消息通信。
当该视觉引导系统用于天车移动抓取装置上时，视觉相机装配在天车夹具的末端，俯视目标物，视觉系统部署与视觉控制器上，置于天车移动抓取装置系统外部电控柜内，与现场PCL通过458总线通信，与上位机通过以太网通信。
综上，本发明上述实施例当中的面向移动抓取装置的视觉引导系统，通过数据采集预处理模块30采集目标物区域的图像数据并采集到的图像数据进行预处理，然后将预处理的图像信息传输至实例分割模块40，实例分割模块40输出图像的掩模信息405以及像素坐标位置408，然后将掩模信息405和像素坐标位置408传输至三维定位模块50，三维定位模块50通过掩模信息405和像素坐标位置408计算出目标物的空间位姿503，然后将目标物的空间位姿503传输至执行模块60，执行模块60根据目标物的空间位姿503信息的引导可以准确的对目标物进行抓取，由于该视觉引导系统能够精确的计算出目标物的空间位姿503，从而使得该视觉引导系统与移动抓取装置进行适配的时间短，能够直接将移动抓取装置投入使用，节省了生产线上的时间成本。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种面向移动抓取装置的视觉引导系统，其特征在于，包括数据采集预处理模块、实例分割模块、三维定位模块以及执行模块；
所述数据采集预处理模块用于采集图像数据、并对采集的所述图像数据进行预处理，并且将预处理后的图像数据传输至所述实例分割模块；
所述实例分割模块用于识别和分割所述预处理后的图像数据中的目标物，并输出所述目标物的像素坐标位置及掩模信息至所述三维定位模块；
所述三维定位模块用于接收所述目标物的像素坐标位置及掩模信息、并计算出所述目标物的空间位姿，并且将所述目标物的空间位姿信息传输至执行模块；
所述执行模块用于接收所述目标物的空间位姿信息，并根据所述目标物的空间位姿信息对所述目标物进行抓取。
2.根据权利要求1所述的面向移动抓取装置的视觉引导系统，其特征在于，所述执行模块包括逻辑控制器和执行单元，所述逻辑控制器用于接收所述目标物的空间位姿信息、并控制引导所述执行单元进行抓取作业。
3.根据权利要求2所述的面向移动抓取装置的视觉引导系统，其特征在于，所述数据采集预处理模块包括图像采集单元与数据预处理单元，所述图像采集单元用于采集所述图像数据，并将采集到的所述图像数据传输至所述数据预处理单元，所述图像数据至少包括RGB图与深度图；
所述数据预处理单元用于对所述RGB图与所述深度图进行预处理，并将预处理后的所述RGB图传输至所述实例分割模块、以及预处理后的所述深度图传输至所述三维定位模块。
4.根据权利要求3所述的面向移动抓取装置的视觉引导系统，其特征在于，所述实例分割模块包括特征提取单元、RolAlign层、RPN网络单元以及分割单元；
所述特征提取单元用于提取所述RGB图中的特征信息；
所述RolAlign层用于将所述特征信息与所述RGB图进行对齐；
所述RPN网络单元用于识别所述特征信息中与所述目标物相对应的特征信息、并将与所述目标物相对应的特征信息传输至所述RolAlign层；
所述分割单元用于分割所述特征信息中的所述目标物的掩模信息。
5.根据权利要求4所述的面向移动抓取装置的视觉引导系统，其特征在于，所述实例分割模块还包括全连接层以及目标检测单元，所述全连接层用于将对齐后的所述特征信息卷积采样生成对应的特征向量并输出至所述目标检测单元，所述目标检测单元根据所述特征向量计算出所述目标物的像素坐标位置，并将所述像素坐标位置输出至所述三维定位模块。
6.根据权利要求5所述的面向移动抓取装置的视觉引导系统，其特征在于，所述实例分割模块还包括分类单元，所述分类单元用于根据所述特征向量计算所述目标物的分类结果。
7.根据权利要求6所述的面向移动抓取装置的视觉引导系统，其特征在于，所述三维定位模块包括点云分割单元、点云配准单元和模板点云单元；
所述点云分割单元根据所述目标物的掩模信息提取所述目标物在所述深度图中的空间点云，所述点云配准单元将所述空间点云与所述模板点云单元所传递的多个模板点云进行匹配，并选出所述多个模板点云中相似度最高的模板点云进行ICP计算，并将得到的计算值与所述相似度最高的模板点云进行矩阵乘法，以得到所述目标物的空间位姿。
8.根据权利要求7所述的面向移动抓取装置的视觉引导系统，其特征在于，所述视觉引导系统还包括位姿优化模块，所述位姿优化模块包括目标跟踪单元与位姿图优化单元；
所述目标跟踪单元用于在所述执行单元抓取所述目标物之前，获取所述三维定位模块所传递的所述目标物的所有空间位姿，并根据所述目标物的所有空间位姿计算出所述目标物的空间位姿信息；
所述位姿图优化单元用于对所述目标物的空间位姿信息进行优化，以得到所述执行单元的最终抓取位姿。
9.根据权利要求8所述的面向移动抓取装置的视觉引导系统，其特征在于，所述视觉引导系统还包括标定模块，所述标定模块用于对所述执行单元与所述视觉引导系统进行校准。
10.根据权利要求1所述的面向移动抓取装置的视觉引导系统，其特征在于，所述视觉引导系统还包括触发模块，所述触发模块用于触发所述图像采集预处理模块，以使所述图像采集预处理模块对所述图像数据进行采集、并对所述图像数据进行预处理。
CN202210711952.9A 2022-06-22 2022-06-22 一种面向移动抓取装置的视觉引导系统 Pending CN115082926A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210711952.9A CN115082926A (zh) 2022-06-22 2022-06-22 一种面向移动抓取装置的视觉引导系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210711952.9A CN115082926A (zh) 2022-06-22 2022-06-22 一种面向移动抓取装置的视觉引导系统

Publications (1)

Publication Number Publication Date
CN115082926A true CN115082926A (zh) 2022-09-20

Family

ID=83253857

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210711952.9A Pending CN115082926A (zh) 2022-06-22 2022-06-22 一种面向移动抓取装置的视觉引导系统

Country Status (1)

Country Link
CN (1) CN115082926A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115755920A (zh) * 2022-11-30 2023-03-07 南京蔚蓝智能科技有限公司 一种机器狗自动充电方法
CN115984388A (zh) * 2023-02-28 2023-04-18 江西省智能产业技术创新研究院 一种空间定位精度评估方法、系统、存储介质及计算机

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115755920A (zh) * 2022-11-30 2023-03-07 南京蔚蓝智能科技有限公司 一种机器狗自动充电方法
CN115984388A (zh) * 2023-02-28 2023-04-18 江西省智能产业技术创新研究院 一种空间定位精度评估方法、系统、存储介质及计算机

Similar Documents

Publication Publication Date Title
CN115082926A (zh) 一种面向移动抓取装置的视觉引导系统
US11958197B2 (en) Visual navigation inspection and obstacle avoidance method for line inspection robot
CN110426051B (zh) 一种车道线绘制方法、装置及存储介质
CN105729468B (zh) 一种基于多深度摄像机增强的机器人工作台
CN107186708B (zh) 基于深度学习图像分割技术的手眼伺服机器人抓取系统及方法
CN111421539A (zh) 一种基于计算机视觉的工业零件智能识别与分拣系统
CN111462154B (zh) 基于深度视觉传感器的目标定位方法、装置及自动抓取机器人
CN106426186A (zh) 一种基于多传感器信息融合的带电作业机器人自主作业方法
EP2629939A1 (en) Method for the filtering of target object images in a robot system
CN108335331A (zh) 一种钢卷双目视觉定位方法及设备
CN112518748B (zh) 面向运动物品的视觉机械臂自动抓取方法与系统
CN110443247A (zh) 一种无人机地面运动小目标实时检测系统及方法
CN114425776A (zh) 基于计算机视觉的自动贴标定位与纠偏方法
CN113822810A (zh) 一种基于机器视觉的三维空间中工件的定位方法
CN113222940A (zh) 一种基于rgb-d图像和cad模型的机器人自动抓取工件方法
CN110992410B (zh) 基于rgb-d数据融合的机器人视觉引导方法和装置
CN113469195B (zh) 一种基于自适应颜色快速点特征直方图的目标识别方法
CN109977884B (zh) 目标跟随方法和装置
CN111975776A (zh) 基于深度学习和卡尔曼滤波的机器人移动跟踪系统及方法
CN102200780A (zh) 一种实现3h型ccd视觉工业机器人的方法
CN104751487A (zh) 一种基于彩色rgb三平面色变帧差的运动目标检测方法
CN112862862B (zh) 基于人工智能视觉跟踪的飞机自主受油装置及应用方法
CN115457459A (zh) 一种能够有效提升检测效率的机器视觉系统
Kheng et al. Stereo vision with 3D coordinates for robot arm application guide
CN112286230A (zh) 无人机视觉图像算法、避障步骤及其信息融合处理系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination