CN113269723A - 三维视觉定位与机械手协同工作的零部件无序抓取系统 - Google Patents

三维视觉定位与机械手协同工作的零部件无序抓取系统 Download PDF

Info

Publication number
CN113269723A
CN113269723A CN202110448019.2A CN202110448019A CN113269723A CN 113269723 A CN113269723 A CN 113269723A CN 202110448019 A CN202110448019 A CN 202110448019A CN 113269723 A CN113269723 A CN 113269723A
Authority
CN
China
Prior art keywords
image
module
positioning
dimensional
manipulator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110448019.2A
Other languages
English (en)
Other versions
CN113269723B (zh
Inventor
亓凌
于涵诚
夏旻垚
刘海萍
汪内利
朱熙豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Institute of Mechanical and Electrical Engineering Co Ltd
Original Assignee
Zhejiang Institute of Mechanical and Electrical Engineering Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Institute of Mechanical and Electrical Engineering Co Ltd filed Critical Zhejiang Institute of Mechanical and Electrical Engineering Co Ltd
Priority to CN202110448019.2A priority Critical patent/CN113269723B/zh
Publication of CN113269723A publication Critical patent/CN113269723A/zh
Application granted granted Critical
Publication of CN113269723B publication Critical patent/CN113269723B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G43/00—Control devices, e.g. for safety, warning or fault-correcting
    • B65G43/08—Control devices operated by article or material being fed, conveyed or discharged
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G47/00—Article or material-handling devices associated with conveyors; Methods employing such devices
    • B65G47/74—Feeding, transfer, or discharging devices of particular kinds or types
    • B65G47/90—Devices for picking-up and depositing articles or materials
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G47/00—Article or material-handling devices associated with conveyors; Methods employing such devices
    • B65G47/74—Feeding, transfer, or discharging devices of particular kinds or types
    • B65G47/90—Devices for picking-up and depositing articles or materials
    • B65G47/905—Control arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2203/00—Indexing code relating to control or detection of the articles or the load carriers during conveying
    • B65G2203/02—Control or detection
    • B65G2203/0208—Control or detection relating to the transported articles
    • B65G2203/0233—Position of the article
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2203/00—Indexing code relating to control or detection of the articles or the load carriers during conveying
    • B65G2203/04—Detection means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Manipulator (AREA)
  • Image Processing (AREA)

Abstract

本发明属于工业自动化控制技术领域，公开了一种三维视觉定位与机械手协同工作的零部件无序抓取系统，包括：图像采集模块、输入模块、图像处理模块、中央控制模块、目标匹配模块、零部件标注模块、三维定位模块、机械手定位模块、测距模块、标定模块、抓取参数确定模块以及抓取模块。本发明提供的基于视觉分析的零部件定位及抓取方法，能够对复杂环境下的杂乱零件进行识别提取，准确计算出零件空间位置信息，并完成抓取工作，本发明能够针对不同零件实现实时、准确、可靠的抓取。本发明对零部件的相应图像数据进行处理，能够提高识别的准确性，本发明省去了零件定位工装，大大降低了工业生产线上的成本。

Description

三维视觉定位与机械手协同工作的零部件无序抓取系统
技术领域
本发明属于工业自动化控制技术领域，尤其涉及一种三维视觉定位与机械手协同工作的零部件无序抓取系统。
背景技术
目前：随着科技不断地发展，机器人的应用范围变得越来越广泛，进入了家庭娱乐、工业生产等多个不同的领域。要适应环境变化、独立工作的同时，这也带来了一些新的挑战，比如要求机器人需力以及具备更高的性等。智能机器人应该不仅能能够感知环境，还需要能与环境互动。而在所有这些力中，目标的识别和抓取是最基本且重要的一个能力，因为它将为社会带来巨大的生产力。
为了方便储存与运输一些小型零件，通常情况下是将零件整包包装，当需要安装零件时，需要将零件排列、抓取、检验及安装，如果由人工操作，误差大、效率低且容易破坏零件。同时现有的零件抓取机械手都只能执行单一的重复抓取任务，其不能进行零件的识别以及无序抓取，且抓取与识别精准度不高。
通过上述分析，现有技术存在的问题及缺陷为：现有的零件抓取机械手都只能执行单一的重复抓取任务，其不能进行零件的识别以及无序抓取，且抓取与识别精准度不高。
发明内容
针对现有技术存在的问题，本发明提供了一种三维视觉定位与机械手协同工作的零部件无序抓取系统。
本发明是这样实现的，一种三维视觉定位与机械手协同工作的零部件无序抓取系统，所述三维视觉定位与机械手协同工作的零部件无序抓取系统包括：
图像采集模块，与中央控制模块连接，用于获取零部件以及零部件预计存储位置周边图像；
输入模块，与中央控制模块连接，用于利用输入设备输入待抓取零件的相应参数、图像或其他信息；
图像处理模块，与中央控制模块连接，用于对采集的图像数据进行去噪、增强处理；
所述对采集的图像数据进行去噪包括：
对采集的图像数据进行多层小波分解，以获得对应的多层小波系数；根据所述多层小波系数的总数和每层小波系数对应的层序数，确定每层小波系数对应的噪声阈值；
所述每层小波系数对应的噪声阈值确定公式如下：
Figure BDA0003037583740000021
其中，g为所述采集的图像数据的小波系数的总数，k为对应的分解层序数，λk为对所述采集的图像数据进行g层小波分解后第k层的噪声阈值，δk＝median(|(wpq)k|)/0.6745，(wpq)k表示小波分解后第k层的水平、垂直和对角线方向上的高频系数；
利用基于所述多层小波系数对应的多个噪声阈值的小波阈值去噪函数，对所述多层小波系数进行去噪处理；
所述基于所述多层小波系数对应的多个噪声阈值的小波阈值去噪函数为：
Figure BDA0003037583740000022
其中，
Figure BDA0003037583740000023
表示对(wpq)k进行改进后的第k层小波系数，sgn((wpq)k)表示取(wpq)k的符号，h是调节参数；
利用去噪处理后的多层小波系数重构所述采集的图像数据对应的原始图像；
中央控制模块，与图像采集模块、输入模块、图像处理模块、目标匹配模块、零部件标注模块、三维定位模块、机械手定位模块、测距模块、标定模块、抓取参数确定模块以及抓取模块连接，用于利用单片机、中央处理器或控制器控制各个模块正常工作；
目标匹配模块，与中央控制模块连接，用于基于增强后的图像数据以及输入的待抓取零件的相应参数、图像或其他信息确定待抓取零部件在图像中的位置；
零部件标注模块，与中央控制模块连接，用于对图像中的待抓取的零部件进行标注；
三维定位模块，与中央控制模块连接，用于基于增强处理后的图像数据进行零部件以及预订摆放位置的定位。
进一步，所述三维视觉定位与机械手协同工作的零部件无序抓取系统还包括：
机械手定位模块，与中央控制模块连接，用于进行机械手的定位；
测距模块，与中央控制模块连接，用于基于机械手的定位、零部件以及预订摆放位置的定位进行机械手与零部件以及预计摆放位置的测距；
标定模块，与中央控制模块连接，用于进行机械手的标定；
抓取参数确定模块，与中央控制模块连接，用于基于机械手的定位、待抓取零部件的定位以及预订摆放位置信息以及测距结果确定抓取的参数；
抓取模块，与中央控制模块连接，用于基于抓取参数控制机械手进行零部件的抓取。
进一步，所述基于增强处理后的图像数据进行零部件定位包括：
(1)基于增强后的图像数据获取相应的三维图像场景；
(2)从所述三维场景图像中的各三维图像点的参考特征向量中，查找与所述增强后的图像数据中的各二维图像点的待匹配特征向量，分别对应的目标特征向量；
(3)根据所述目标特征向量以及所述待匹配特征向量之间的对应关系，确定获取所述增强后的图像数据时图像采集设备的姿态数据；
(4)基于相应的三维图像以及获得的姿态数据确定零部件的坐标位置。
进一步，所述基于增强后的图像数据获取相应的三维图像场景包括：
获取增强后的图像数据，以及所述增强后的图像数据对应的点云数据；根据所述点云数据的点云采集设备对应的点云三维坐标，以及所述增强后的图像数据的图像采集设备对应的图像二维坐标之间的坐标对应关系，将所述目标二维图像中的二维图像点的特征向量，赋予所述点云数据中的三维图像点；根据所述点云数据中，具有特征向量的各所述三维图像点，得到所述增强后的图像数据对应的三维场景图像。
进一步，所述基于机械手的定位、待抓取零部件的定位以及预订摆放位置信息以及测距结果确定抓取的参数包括：
(1)提取待抓取零部件在采集的图像中的所有轮廓；同时基于机械手、待抓取零部件以及预订摆放位置的三维坐标获得互不平行的第一向量和第二向量；
(2)根据所述第一向量和所述第二向量确定机械手、待抓取零部件以及预订摆放位置所在面的法向量；
(3)根据所述法向量以及机械手、待抓取零部件以及预订摆放位置的三维坐标，计算提取得到的所述零部件轮廓在预设坐标系下的变换矩阵，根据所述变换矩阵计算抓取所述零部件需要绕所述预设坐标系X轴、Y轴和Z轴的旋转角度。
进一步，步骤(1)中，所述提取待抓取零部件在采集的图像中的所有轮廓包括：
1)获取采集的包含零部件的第一图像数据，并计算所述第一图像与预存储的样本图像的缩放比例，并根据缩放比例将存储的所述样本图像的形状模型仿射投影到所述第一图像，得到所述零部件的第一形状轮廓；
2)从所述第一图像中缩小提取包含所述待识别物体的第二图像；计算所述第二图像与所述第一形状轮廓的缩放比例，并根据所述第二图像与所述第一形状轮廓的缩放比例，调整所述第一形状轮廓，得到所述第一图像上所述待识别物体的第二形状轮廓；
3)根据存储的所述第一图像上的任一特征点调整所述第二形状轮廓，得到所述第一图像上所述待识别物体的第三形状轮廓；根据存储的所述样本图像的纹理模型调整所述第三形状轮廓，得到所述第一图像上所述待识别物体的第四形状轮廓，即为待抓取零部件在采集的图像中的所有轮廓。
进一步，所述缩放比例包括：第一图像与样本图像的第一宽度比值，以及第一图像与样本图像的第一高度比值。
进一步，步骤1)中，所述根据缩放比例将存储的所述样本图像的形状模型仿射投影到所述第一图像包括：
根据所述第一宽度比值和所述样本图像的形状模型的宽度，计算仿射变换后所述样本图像的形状模型的宽度，并根据所述第一高度比值和所述样本图像的形状模型的高度，计算仿射变换后所述样本图像的形状模型的高度；根据计算得到的所述样本图像的形状模型的高度、以及所述样本图像的形状模型的高度，将所述样本图像的形状模型仿射投影到所述第一图像。
本发明的另一目的在于提供一种存储在计算机可读介质上的计算机程序产品，包括计算机可读程序，供于电子装置上执行时，提供用户输入接口以应用所述三维视觉定位与机械手协同工作的零部件无序抓取系统。
本发明的另一目的在于提供一种计算机可读存储介质，储存有指令，当所述指令在计算机上运行时，使得计算机应用所述三维视觉定位与机械手协同工作的零部件无序抓取系统。
结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明提供的基于视觉分析的零部件定位及抓取方法，能够对复杂环境下的杂乱零件进行识别提取，准确计算出零件空间位置信息，并完成抓取工作，本发明能够针对不同零件实现实时、准确、可靠的抓取。
本发明对零部件的相应图像数据进行处理，能够提高识别的准确性，本发明省去了零件定位工装，大大降低了工业生产线上的成本；而且不受生产线上光照不均的影响，能够精确地抓取目标零件，提高了工作的效率。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的三维视觉定位与机械手协同工作的零部件无序抓取系统结构示意图；
图中：1、图像采集模块；2、输入模块；3、图像处理模块；4、中央控制模块；5、目标匹配模块；6、零部件标注模块；7、三维定位模块；8、机械手定位模块；9、测距模块；10、标定模块；11、抓取参数确定模块；12、抓取模块。
图2是本发明实施例提供的对采集的图像数据进行去噪的方法流程图。
图3是本发明实施例提供的基于增强处理后的图像数据进行零部件定位的方法流程图。
图4是本发明实施例提供的基于增强后的图像数据获取相应的三维图像场景的方法流程图。
图5是本发明实施例提供的基于机械手的定位、待抓取零部件的定位以及预订摆放位置信息以及测距结果确定抓取的参数的方法流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
针对现有技术存在的问题，本发明提供了一种三维视觉定位与机械手协同工作的零部件无序抓取系统，下面结合附图对本发明作详细的描述。
如图1所示，本发明实施例提供的三维视觉定位与机械手协同工作的零部件无序抓取系统包括：
图像采集模块1，与中央控制模块4连接，用于获取零部件以及零部件预计存储位置周边图像；
输入模块2，与中央控制模块4连接，用于利用输入设备输入待抓取零件的相应参数、图像或其他信息；
图像处理模块3，与中央控制模块4连接，用于对采集的图像数据进行去噪、增强处理；
中央控制模块4，与图像采集模块1、输入模块2、图像处理模块3、目标匹配模块5、零部件标注模块6、三维定位模块7、机械手定位模块8、测距模块9、标定模块10、抓取参数确定模块11以及抓取模块12连接，用于利用单片机、中央处理器或控制器控制各个模块正常工作；
目标匹配模块5，与中央控制模块4连接，用于基于增强后的图像数据以及输入的待抓取零件的相应参数、图像或其他信息确定待抓取零部件在图像中的位置；
零部件标注模块6，与中央控制模块4连接，用于对图像中的待抓取的零部件进行标注；
三维定位模块7，与中央控制模块4连接，用于基于增强处理后的图像数据进行零部件以及预订摆放位置的定位；
机械手定位模块8，与中央控制模块4连接，用于进行机械手的定位；
测距模块9，与中央控制模块4连接，用于基于机械手的定位、零部件以及预订摆放位置的定位进行机械手与零部件以及预计摆放位置的测距；
标定模块10，与中央控制模块4连接，用于进行机械手的标定；
抓取参数确定模块11，与中央控制模块4连接，用于基于机械手的定位、待抓取零部件的定位以及预订摆放位置信息以及测距结果确定抓取的参数；
抓取模块12，与中央控制模块4连接，用于基于抓取参数控制机械手进行零部件的抓取。
如图2所示，本发明实施例提供的对采集的图像数据进行去噪包括：
S101，对采集的图像数据进行多层小波分解，以获得对应的多层小波系数；
S102，根据所述多层小波系数的总数和每层小波系数对应的层序数，确定每层小波系数对应的噪声阈值；
S103，利用基于所述多层小波系数对应的多个噪声阈值的小波阈值去噪函数，对所述多层小波系数进行去噪处理；
S104，利用去噪处理后的多层小波系数重构所述采集的图像数据对应的原始图像。
本发明实施例提供的每层小波系数对应的噪声阈值确定公式如下：
Figure BDA0003037583740000081
其中，g为所述采集的图像数据的小波系数的总数，k为对应的分解层序数，λk为对所述采集的图像数据进行g层小波分解后第k层的噪声阈值，δk＝median(|(wpq)k|)/0.6745，(wpq)k表示小波分解后第k层的水平、垂直和对角线方向上的高频系数；
本发明实施例提供的基于所述多层小波系数对应的多个噪声阈值的小波阈值去噪函数为：
Figure BDA0003037583740000082
其中，
Figure BDA0003037583740000091
表示对(wpq)k进行改进后的第k层小波系数，sgn((wpq)k)表示取(wpq)k的符号，h是调节参数。
如图3所示，本发明实施例提供的基于增强处理后的图像数据进行零部件定位包括：
S201，基于增强后的图像数据获取相应的三维图像场景；
S202，从所述三维场景图像中的各三维图像点的参考特征向量中，查找与所述增强后的图像数据中的各二维图像点的待匹配特征向量，分别对应的目标特征向量；
S203，根据所述目标特征向量以及所述待匹配特征向量之间的对应关系，确定获取所述增强后的图像数据时图像采集设备的姿态数据；
S204，基于相应的三维图像以及获得的姿态数据确定零部件的坐标位置。
如图4所示，本发明实施例提供的基于增强后的图像数据获取相应的三维图像场景包括：
S301，获取增强后的图像数据，以及所述增强后的图像数据对应的点云数据；
S302，根据所述点云数据的点云采集设备对应的点云三维坐标，以及所述增强后的图像数据的图像采集设备对应的图像二维坐标之间的坐标对应关系；
S303，将所述目标二维图像中的二维图像点的特征向量，赋予所述点云数据中的三维图像点；
S304，根据所述点云数据中，具有特征向量的各所述三维图像点，得到所述增强后的图像数据对应的三维场景图像。
如图5所示，本发明实施例提供的基于机械手的定位、待抓取零部件的定位以及预订摆放位置信息以及测距结果确定抓取的参数包括：
S401，提取待抓取零部件在采集的图像中的所有轮廓；同时基于机械手、待抓取零部件以及预订摆放位置的三维坐标获得互不平行的第一向量和第二向量；
S402，根据所述第一向量和所述第二向量确定机械手、待抓取零部件以及预订摆放位置所在面的法向量；
S403，根据所述法向量以及机械手、待抓取零部件以及预订摆放位置的三维坐标，计算提取得到的所述零部件轮廓在预设坐标系下的变换矩阵，根据所述变换矩阵计算抓取所述零部件需要绕所述预设坐标系X轴、Y轴和Z轴的旋转角度。
步骤S401中，本发明实施例提供的提取待抓取零部件在采集的图像中的所有轮廓包括：
获取采集的包含零部件的第一图像数据，并计算所述第一图像与预存储的样本图像的缩放比例，并根据缩放比例将存储的所述样本图像的形状模型仿射投影到所述第一图像，得到所述零部件的第一形状轮廓；
从所述第一图像中缩小提取包含所述待识别物体的第二图像；计算所述第二图像与所述第一形状轮廓的缩放比例，并根据所述第二图像与所述第一形状轮廓的缩放比例，调整所述第一形状轮廓，得到所述第一图像上所述待识别物体的第二形状轮廓；
根据存储的所述第一图像上的任一特征点调整所述第二形状轮廓，得到所述第一图像上所述待识别物体的第三形状轮廓；根据存储的所述样本图像的纹理模型调整所述第三形状轮廓，得到所述第一图像上所述待识别物体的第四形状轮廓，即为待抓取零部件在采集的图像中的所有轮廓。
本发明实施例提供的缩放比例包括：第一图像与样本图像的第一宽度比值，以及第一图像与样本图像的第一高度比值。
本发明实施例提供的根据缩放比例将存储的所述样本图像的形状模型仿射投影到所述第一图像包括：
根据所述第一宽度比值和所述样本图像的形状模型的宽度，计算仿射变换后所述样本图像的形状模型的宽度，并根据所述第一高度比值和所述样本图像的形状模型的高度，计算仿射变换后所述样本图像的形状模型的高度；根据计算得到的所述样本图像的形状模型的高度、以及所述样本图像的形状模型的高度，将所述样本图像的形状模型仿射投影到所述第一图像。
以上所述，仅为本发明较优的具体的实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种三维视觉定位与机械手协同工作的零部件无序抓取系统，其特征在于，所述三维视觉定位与机械手协同工作的零部件无序抓取系统包括：
图像采集模块，与中央控制模块连接，用于获取零部件以及零部件预计存储位置周边图像；
输入模块，与中央控制模块连接，用于利用输入设备输入待抓取零件的相应参数、图像或其他信息；
图像处理模块，与中央控制模块连接，用于对采集的图像数据进行去噪、增强处理；
所述对采集的图像数据进行去噪包括：
对采集的图像数据进行多层小波分解，以获得对应的多层小波系数；根据所述多层小波系数的总数和每层小波系数对应的层序数，确定每层小波系数对应的噪声阈值；
所述每层小波系数对应的噪声阈值确定公式如下：
Figure FDA0003037583730000011
其中，g为所述采集的图像数据的小波系数的总数，k为对应的分解层序数，λk为对所述采集的图像数据进行g层小波分解后第k层的噪声阈值，δk＝median(|(wpq)k|)/0.6745，(wpq)k表示小波分解后第k层的水平、垂直和对角线方向上的高频系数；
利用基于所述多层小波系数对应的多个噪声阈值的小波阈值去噪函数，对所述多层小波系数进行去噪处理；
所述基于所述多层小波系数对应的多个噪声阈值的小波阈值去噪函数为：
Figure FDA0003037583730000012
其中，
Figure FDA0003037583730000013
表示对(wpq)k进行改进后的第k层小波系数，sgn((wpq)k)表示取(wpq)k的符号，h是调节参数；
利用去噪处理后的多层小波系数重构所述采集的图像数据对应的原始图像；
中央控制模块，与图像采集模块、输入模块、图像处理模块、目标匹配模块、零部件标注模块、三维定位模块、机械手定位模块、测距模块、标定模块、抓取参数确定模块以及抓取模块连接，用于利用单片机、中央处理器或控制器控制各个模块正常工作；
目标匹配模块，与中央控制模块连接，用于基于增强后的图像数据以及输入的待抓取零件的相应参数、图像或其他信息确定待抓取零部件在图像中的位置；
零部件标注模块，与中央控制模块连接，用于对图像中的待抓取的零部件进行标注；
三维定位模块，与中央控制模块连接，用于基于增强处理后的图像数据进行零部件以及预订摆放位置的定位。
2.如权利要求1所述三维视觉定位与机械手协同工作的零部件无序抓取系统，其特征在于，所述三维视觉定位与机械手协同工作的零部件无序抓取系统还包括：
机械手定位模块，与中央控制模块连接，用于进行机械手的定位；
测距模块，与中央控制模块连接，用于基于机械手的定位、零部件以及预订摆放位置的定位进行机械手与零部件以及预计摆放位置的测距；
标定模块，与中央控制模块连接，用于进行机械手的标定；
抓取参数确定模块，与中央控制模块连接，用于基于机械手的定位、待抓取零部件的定位以及预订摆放位置信息以及测距结果确定抓取的参数；
抓取模块，与中央控制模块连接，用于基于抓取参数控制机械手进行零部件的抓取。
3.如权利要求1所述三维视觉定位与机械手协同工作的零部件无序抓取系统，其特征在于，所述基于增强处理后的图像数据进行零部件定位包括：
(1)基于增强后的图像数据获取相应的三维图像场景；
(2)从所述三维场景图像中的各三维图像点的参考特征向量中，查找与所述增强后的图像数据中的各二维图像点的待匹配特征向量，分别对应的目标特征向量；
(3)根据所述目标特征向量以及所述待匹配特征向量之间的对应关系，确定获取所述增强后的图像数据时图像采集设备的姿态数据；
(4)基于相应的三维图像以及获得的姿态数据确定零部件的坐标位置。
4.如权利要求3所述三维视觉定位与机械手协同工作的零部件无序抓取系统，其特征在于，所述基于增强后的图像数据获取相应的三维图像场景包括：
获取增强后的图像数据，以及所述增强后的图像数据对应的点云数据；根据所述点云数据的点云采集设备对应的点云三维坐标，以及所述增强后的图像数据的图像采集设备对应的图像二维坐标之间的坐标对应关系，将所述目标二维图像中的二维图像点的特征向量，赋予所述点云数据中的三维图像点；根据所述点云数据中，具有特征向量的各所述三维图像点，得到所述增强后的图像数据对应的三维场景图像。
5.如权利要求2所述三维视觉定位与机械手协同工作的零部件无序抓取系统，其特征在于，所述基于机械手的定位、待抓取零部件的定位以及预订摆放位置信息以及测距结果确定抓取的参数包括：
(1)提取待抓取零部件在采集的图像中的所有轮廓；同时基于机械手、待抓取零部件以及预订摆放位置的三维坐标获得互不平行的第一向量和第二向量；
(2)根据所述第一向量和所述第二向量确定机械手、待抓取零部件以及预订摆放位置所在面的法向量；
(3)根据所述法向量以及机械手、待抓取零部件以及预订摆放位置的三维坐标，计算提取得到的所述零部件轮廓在预设坐标系下的变换矩阵，根据所述变换矩阵计算抓取所述零部件需要绕所述预设坐标系X轴、Y轴和Z轴的旋转角度。
6.如权利要求5所述三维视觉定位与机械手协同工作的零部件无序抓取系统，其特征在于，步骤(1)中，所述提取待抓取零部件在采集的图像中的所有轮廓包括：
1)获取采集的包含零部件的第一图像数据，并计算所述第一图像与预存储的样本图像的缩放比例，并根据缩放比例将存储的所述样本图像的形状模型仿射投影到所述第一图像，得到所述零部件的第一形状轮廓；
2)从所述第一图像中缩小提取包含所述待识别物体的第二图像；计算所述第二图像与所述第一形状轮廓的缩放比例，并根据所述第二图像与所述第一形状轮廓的缩放比例，调整所述第一形状轮廓，得到所述第一图像上所述待识别物体的第二形状轮廓；
3)根据存储的所述第一图像上的任一特征点调整所述第二形状轮廓，得到所述第一图像上所述待识别物体的第三形状轮廓；根据存储的所述样本图像的纹理模型调整所述第三形状轮廓，得到所述第一图像上所述待识别物体的第四形状轮廓，即为待抓取零部件在采集的图像中的所有轮廓。
7.如权利要求6所述三维视觉定位与机械手协同工作的零部件无序抓取系统，其特征在于，所述缩放比例包括：第一图像与样本图像的第一宽度比值，以及第一图像与样本图像的第一高度比值。
8.如权利要求6所述三维视觉定位与机械手协同工作的零部件无序抓取系统，其特征在于，步骤1)中，所述根据缩放比例将存储的所述样本图像的形状模型仿射投影到所述第一图像包括：
根据所述第一宽度比值和所述样本图像的形状模型的宽度，计算仿射变换后所述样本图像的形状模型的宽度，并根据所述第一高度比值和所述样本图像的形状模型的高度，计算仿射变换后所述样本图像的形状模型的高度；根据计算得到的所述样本图像的形状模型的高度、以及所述样本图像的形状模型的高度，将所述样本图像的形状模型仿射投影到所述第一图像。
9.一种存储在计算机可读介质上的计算机程序产品，包括计算机可读程序，供于电子装置上执行时，提供用户输入接口以应用如权利要求1-8任意一项所述三维视觉定位与机械手协同工作的零部件无序抓取系统。
10.一种计算机可读存储介质，储存有指令，当所述指令在计算机上运行时，使得计算机应用如权利要求1-8任意一项所述三维视觉定位与机械手协同工作的零部件无序抓取系统。
CN202110448019.2A 2021-04-25 2021-04-25 三维视觉定位与机械手协同工作的零部件无序抓取系统 Active CN113269723B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110448019.2A CN113269723B (zh) 2021-04-25 2021-04-25 三维视觉定位与机械手协同工作的零部件无序抓取系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110448019.2A CN113269723B (zh) 2021-04-25 2021-04-25 三维视觉定位与机械手协同工作的零部件无序抓取系统

Publications (2)

Publication Number Publication Date
CN113269723A true CN113269723A (zh) 2021-08-17
CN113269723B CN113269723B (zh) 2024-08-27

Family

ID=77229345

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110448019.2A Active CN113269723B (zh) 2021-04-25 2021-04-25 三维视觉定位与机械手协同工作的零部件无序抓取系统

Country Status (1)

Country Link
CN (1) CN113269723B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113562465A (zh) * 2021-09-26 2021-10-29 成都新西旺自动化科技有限公司 片状物放置视觉引导方法及系统
CN114145850A (zh) * 2021-12-03 2022-03-08 张继军 一种智能ercp辅助装置及自动控制方法
CN114758236A (zh) * 2022-04-13 2022-07-15 华中科技大学 一种非特定形状物体识别、定位与机械手抓取系统及方法
CN114955523A (zh) * 2022-05-17 2022-08-30 北京大恒图像视觉有限公司 一种在西林瓶检测行业基于视觉定位的机械手上料系统
CN117346751A (zh) * 2023-10-10 2024-01-05 广东省核工业地质局测绘院 基于无人机机载激光雷达和倾斜摄影测量的矿山测绘系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017107565A1 (zh) * 2015-12-25 2017-06-29 广州视源电子科技股份有限公司 确定相机坐标与机械臂手爪坐标映射关系的方法及其系统
CN112070837A (zh) * 2020-08-31 2020-12-11 浙江省机电设计研究院有限公司 一种基于视觉分析的零部件定位及抓取方法、系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017107565A1 (zh) * 2015-12-25 2017-06-29 广州视源电子科技股份有限公司 确定相机坐标与机械臂手爪坐标映射关系的方法及其系统
CN112070837A (zh) * 2020-08-31 2020-12-11 浙江省机电设计研究院有限公司 一种基于视觉分析的零部件定位及抓取方法、系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
罗炳军;黄本法;郭联金;刘富兴;万松峰;: "搬运机器人视觉引导定位技术的研究", 新型工业化, no. 03 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113562465A (zh) * 2021-09-26 2021-10-29 成都新西旺自动化科技有限公司 片状物放置视觉引导方法及系统
CN113562465B (zh) * 2021-09-26 2021-12-03 成都新西旺自动化科技有限公司 片状物放置视觉引导方法及系统
CN114145850A (zh) * 2021-12-03 2022-03-08 张继军 一种智能ercp辅助装置及自动控制方法
CN114758236A (zh) * 2022-04-13 2022-07-15 华中科技大学 一种非特定形状物体识别、定位与机械手抓取系统及方法
CN114758236B (zh) * 2022-04-13 2024-09-17 华中科技大学 一种非特定形状物体识别、定位与机械手抓取系统及方法
CN114955523A (zh) * 2022-05-17 2022-08-30 北京大恒图像视觉有限公司 一种在西林瓶检测行业基于视觉定位的机械手上料系统
CN117346751A (zh) * 2023-10-10 2024-01-05 广东省核工业地质局测绘院 基于无人机机载激光雷达和倾斜摄影测量的矿山测绘系统

Also Published As

Publication number Publication date
CN113269723B (zh) 2024-08-27

Similar Documents

Publication Publication Date Title
CN111775152B (zh) 基于三维测量引导机械臂抓取散乱堆叠工件的方法及系统
CN113269723B (zh) 三维视觉定位与机械手协同工作的零部件无序抓取系统
CN110648361B (zh) 一种三维目标物体的实时位姿估计方法及定位抓取系统
CN109785317B (zh) 自动码垛桁架机器人的视觉系统
CN107590836B (zh) 一种基于Kinect的充电桩动态识别与定位方法及系统
CN113610921B (zh) 混合工件抓取方法、设备及计算机可读存储介质
CN109101966B (zh) 基于深度学习的工件识别定位和姿态估计系统和方法
CN104058260B (zh) 基于视觉处理的机器人自动码垛方法
CN112509063A (zh) 一种基于边缘特征匹配的机械臂抓取系统及方法
CN113379849B (zh) 基于深度相机的机器人自主识别智能抓取方法及系统
CN112907735B (zh) 一种基于点云的柔性电缆识别与三维重建方法
CN114474056B (zh) 一种面向抓取操作的单目视觉高精度目标定位方法
CN110936355B (zh) 一种基于视觉测速定位的机械臂引导系统和方法
CN113781561B (zh) 基于自适应高斯权快速点特征直方图的目标位姿估计方法
CN111598172B (zh) 基于异构深度网络融合的动态目标抓取姿态快速检测方法
CN112669385A (zh) 基于三维点云特征的工业机器人工件识别与位姿估计方法
CN115213896A (zh) 基于机械臂的物体抓取方法、系统、设备及存储介质
CN113664826A (zh) 一种未知环境中的机器人抓取方法及系统
CN113483664A (zh) 一种基于线结构光视觉的屏风板自动上料系统及方法
Lin et al. Vision based object grasping of industrial manipulator
Hashimoto et al. Current status and future trends on robot vision technology
CN115205390A (zh) 工业机器人面结构光立体相机位姿在线标定方法及系统
Tiwan et al. Cylindrical pellet pose estimation in clutter using a single robot mounted camera
Li et al. Pose estimation of metal workpieces based on RPM-Net for robot grasping from point cloud
Zhang et al. Research on Moving Arm Grasping Based on Computer Vision

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant