CN113989278A - 抓取装置的定位方法和系统 - Google Patents

抓取装置的定位方法和系统 Download PDF

Info

Publication number
CN113989278A
CN113989278A CN202111593508.3A CN202111593508A CN113989278A CN 113989278 A CN113989278 A CN 113989278A CN 202111593508 A CN202111593508 A CN 202111593508A CN 113989278 A CN113989278 A CN 113989278A
Authority
CN
China
Prior art keywords
image
real
edge
template image
detection model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111593508.3A
Other languages
English (en)
Inventor
卿黎明
李婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Shibite Robot Co Ltd
Original Assignee
Hunan Shibite Robot Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Shibite Robot Co Ltd filed Critical Hunan Shibite Robot Co Ltd
Priority to CN202111593508.3A priority Critical patent/CN113989278A/zh
Publication of CN113989278A publication Critical patent/CN113989278A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种抓取装置的定位方法和系统，一方面在实时图像的引导下，利用匹配模型与检测模型的位差关系，纠正实时图像中匹配模型相对于模板图像中检测模型的偏差，能够确保抓取装置适应工作环境改变，准确无误的抓取待抓取工件，有效解决抓取失败、漏抓、错抓等问题；另一方面，根据抓取装置抓取检测模型的位置、和匹配模型与检测模型的位差关系，定位抓取装置抓取待抓取工件的位置，准确计算出抓取点的位姿、角度，精确抓取待抓取工件，无需将图像中的位置在此转换至抓取装置坐标系下，关系转换简单快捷，且精确度高，对提高工件的生产安装效率和精度具有重大意义。

Description

抓取装置的定位方法和系统
技术领域
本发明涉及自动控制领域，特别是涉及一种抓取装置的定位技术。
背景技术
智能制造是我国产业升级以及新一轮工业革命的核心技术，其对生产线的柔性以及环境感知能力提出了很高的要求。应运而生的工业抓取装置，因具备较高灵活性而极大地提高了生产线的柔性。
但是，目前工业抓取装置在部署前需要对其示教编程，即针对某一特定应用的工业抓取装置都是在执行一段固定的自动化程序，其实质上只是完成点到点的动作。当生产环境改变时，抓取装置很难根据外界参数智能化地做出对策，必须对抓取装置再次示教来应对环境的改变。造成这一现象的主要原因是工业抓取装置不具备感知外界环境的能力，仅仅通过编程或单纯示教来执行某一特定动作。对环境感知能力的缺乏，工作环境的偏差改变等是阻碍智能制造产业升级的主要原因之一。如何适应不同工作环境，如抓取时位姿改变等，是智能制造产业亟待解决的技术问题。
发明内容
为解决上述技术问题，本发明提供了一种抓取装置的定位方法，包括：
S1：采集待抓取工件的模板图像；
S2：采集待抓取工件的实时图像；
S3：在所述模板图像中提取检测模型，检测所述实时图像中，与所述检测模型相匹配的匹配模型；
S4：根据所述抓取装置抓取所述检测模型的位置、和所述匹配模型与所述检测模型的位差关系，定位所述抓取装置抓取所述待抓取工件的位置。
进一步地，步骤S4中，采用公式（1），定位所述抓取装置抓取所述待抓取工件的位置；
Figure 862118DEST_PATH_IMAGE002
（1）
其中，R1表示所述抓取装置抓取所述检测模型的位置，T表示所述匹配模型与所述检测模型的位差转换矩阵，R2表示所述抓取装置抓取所述待抓取工件的位置。
进一步地，采用公式（2），确定所述匹配模型与所述检测模型的位差转换矩阵；
Figure 78467DEST_PATH_IMAGE004
（2）
其中，Rp1表示采集所述模板图像的采集点，E1表示采集所述模板图像的相机外参，用于将点云中模板图像的位姿转换为抓取装置坐标系下的位姿，M1表示采集所述模板图像的转换矩阵；Rp2表示采集所述实时图像的采集点，E2表示采集所述实时图像的相机外参，用于将点云中实时图像的位姿转换为抓取装置坐标系下的位姿，M2表示采集所述实时图像的转换矩阵。
进一步地，步骤S3，包括：
S31：提取所述模板图像和所述实时图像的边缘特征；
S32：在所述模板图像的边缘特征中，选定至少一个边缘特征所在区域的局部图像为所述检测模型；
S33：在所述实时图像的边缘特征中，选定与所述检测模型相匹配的边缘特征所在区域的局部图像为所述匹配模型。
进一步地，步骤S31，包括：
S311：对所述模板图像和所述实时图像，分别进行平滑降噪预处理，得到预处理后的模板图像和预处理后的实时图像；
S312：构造边缘检测算子，分别对预处理后的模板图像和预处理后的实时图像进行边缘检测，确定模板图像的边缘区块和实时图像的边缘区块；
S313：通过阈值二值化处理，分别连接模板图像的边缘区块和实时图像的边缘区块，得到模板图像的边缘特征和实时图像的边缘特征。
另一方面，本发明还提供一种抓取装置的定位系统，包括：
图像采集模块，用于采集待抓取工件的模板图像，和待抓取工件的实时图像；
图像识别模块，与所述图像采集模块连接，用于在所述模板图像中提取检测模型，检测所述实时图像中，与所述检测模型相匹配的匹配模型；
定位模块，与所述图像识别模块连接，用于根据所述抓取装置抓取所述检测模型的位置、和所述匹配模型与所述检测模型的位差关系，定位所述抓取装置抓取所述待抓取工件的位置。
进一步地，所述定位模块，采用公式（1），定位所述抓取装置抓取所述待抓取工件的位置；
Figure 602989DEST_PATH_IMAGE006
（1）
其中，R1表示所述抓取装置抓取所述检测模型的位置，T表示所述匹配模型与所述检测模型的位差转换矩阵，R2表示所述抓取装置抓取所述待抓取工件的位置。
进一步地，采用公式（2），确定所述匹配模型与所述检测模型的位差转换矩阵；
Figure 154056DEST_PATH_IMAGE008
（2）
其中，Rp1表示采集所述模板图像的采集点，E1表示采集所述模板图像的相机外参，用于将点云中模板图像的位姿转换为抓取装置坐标系下的位姿，M1表示采集所述模板图像的转换矩阵；Rp2表示采集所述实时图像的采集点，E2表示采集所述实时图像的相机外参，用于将点云中实时图像的位姿转换为抓取装置坐标系下的位姿，M2表示采集所述实时图像的转换矩阵。
进一步地，所述图像识别模块，包括：
边缘特征提取单元，用于提取所述模板图像和所述实时图像的边缘特征；
检测模型确定单元，与所述边缘特征提取单元连接，用于在所述模板图像的边缘特征中，选定至少一个边缘特征所在区域的局部图像为所述检测模型；
匹配模型确定单元，与所述边缘特征提取单元和所述检测模型确定单元连接，用于在所述实时图像的边缘特征中，选定与所述检测模型相匹配的边缘特征所在区域的局部图像为所述匹配模型。
进一步地，所述边缘特征提取单元，包括：
预处理小单元，对所述模板图像和所述实时图像，分别进行平滑降噪预处理，得到预处理后的模板图像和预处理后的实时图像；
边缘检测小单元，与所述预处理小单元连接，用于构造边缘检测算子，并分别对预处理后的模板图像和预处理后的实时图像进行边缘检测，确定模板图像的边缘区块和实时图像的边缘区块；
边缘连接小单元，与所述边缘检测单元连接，用于通过阈值二值化处理，分别连接模板图像的边缘区块和实时图像的边缘区块，得到模板图像的边缘特征和实时图像的边缘特征。
本发明提供的抓取装置的定位方法和系统，一方面能够在实时图像的引导下，利用匹配模型与检测模型的位差关系，优选为位差转换矩阵，纠正实时图像中匹配模型相对于模板图像中检测模型的偏差，能够确保抓取装置适应工作环境改变，准确无误的抓取待抓取工件，有效解决抓取失败、漏抓、错抓等问题；另一方面并非在实时图像中直接确定待抓取工件的位置，再将其转换为抓取装置坐标系下的位置，而是根据抓取装置抓取检测模型的位置（最佳抓取位置R1，这已经是抓取装置坐标系下的位置，无需再次转换）、和匹配模型与检测模型的位差关系（图像中的位差关系，可直接对应至抓取装置坐标系下的位置关系），定位抓取装置抓取待抓取工件的位置（实际抓取位置R2，这也已经是抓取装置坐标系下的位置，无需再次转换），准确计算出抓取点的位姿、角度，精确抓取待抓取工件，关系转换简单快捷，且精确度高，对提高工件的生产安装效率和精度具有重大意义。
附图说明
图1为本发明抓取装置的定位方法和系统的一个实施例的流程图；
图2为本发明抓取装置的定位方法的应用示例格栅抓取装置的一个实施例的俯视图；
图3为本发明抓取装置的定位方法的应用示例格栅抓取装置的一个实施例的侧视图；
图4为本发明抓取装置的定位方法的步骤S3的示意图；
图5为本发明抓取装置的定位方法的步骤S3的流程图；
图6为本发明抓取装置的定位方法的步骤S31的流程图；
图7为本发明抓取装置的定位方法的模板图像的原图；
图8为本发明抓取装置的定位方法的模板图像提取边缘特征后的效果图；
图9为本发明抓取装置的定位系统的一个实施例的结构框图；
图10为本发明抓取装置的定位系统的图像识别模块的一个实施例的结构框图；
图11为本发明抓取装置的定位系统的图像识别模块的边缘特征提取单元的一个实施例的结构框图。
具体实施方式
如图1-3所示，公开了一种抓取装置的定位方法（为详细解释本发明具体实施方案，下面以抓取装置抓取格栅工件为例作解释说明，如图2-3所示，该工业抓取装置，包括上端设置的活动图像采集设备、驱动组件以及下端设置的格栅抓取爪，如吸盘形式等）。值得注意的，该抓取装置的具体形式、何种用途、抓取何物、以及定位方法的应用范围等并不以该示例的抓取装置抓取格栅为限，仅作示例说明。本领域技术人员可以理解的，该定位方法可以应用于任何工业抓取装置、任何工业机器人的定位步骤中，并不以此例为限。具体的，该定位方法包括：
S1：采集待抓取工件的模板图像。具体的，该模板图像可选但不仅限于为抓取装置在抓取待抓取工件时，待抓取工件摆在最合适、最利于抓取的最佳抓取位置时，所采集的图像。更为具体的，可选但不仅限于利用相机、摄像头等图像采集模块，采集待抓取工件位于料箱抓取位的最佳抓取位置R1时的实时图像为模板图像（以格栅工件抓取过程为例，该标准模板图像，包括格栅的位置、位姿、角度等都处于最佳抓取位置的图像），以预先存储在控制模块内存中，供后续比对调用。更为优选的，可选但不仅限于根据待抓取工件（如格栅）的型号、尺寸等相应设置多个模板图像，以供后续根据格栅的实际型号等相应调取以供比对。
S2：采集待抓取工件的实时图像。具体的，可选但不仅限于在待抓取工件实际抓取安装的过程中，采用2D、3D相机等图像采集模块，实时采集待抓取工件的实时图像（此时的实时图像与待抓取工件的模板图像一般都略有差别，以格栅为例，其在料箱中堆叠存放时，可能因为运输、放置等过程中，出现放置角度稍有偏差的情况，此时采集到的实时图像中待抓取工件的实际位置与模板图像中的最佳抓取位置会存在一个位移差、角度差）。更为具体的，为便于更清晰准确的采集当前实时图像，该图像采集模块，可选但不仅限于设置在可移动组件上，由驱动件驱动而灵活移动，以带动图像采集模块移动至合适位置，近距离采集当前实时图像。
S3：在模板图像中提取检测模型，检测实时图像中，与检测模型相匹配的匹配模型。具体的，如图4所示，可选但不仅限于在模板图像中提取对于待抓取工件而言具有代表性特征的局部图像（以格栅为例，如弯曲角、弧形尾等，小矩形框的虚线点所示的特征图像）作为检测模型，然后再在实时图像（大矩形框所示）中，一一比对搜索与该检测模型相匹配的局部图像，找到匹配度最高的局部图像作为与之对应的匹配模型（在大矩形框中逐步搜索时一一匹配，找到相似度最高的局部图像作为匹配模型。如图4所示的，逐步搜索匹配到了相似度95%的局部图像和相似度98%的局部图像，则认定该相似度98%的局部图像为匹配度最高的局部图像，认定为与检测模型相匹配的匹配模型），以定位到待抓取工件在实时图像中的具体位置。
S4：根据抓取装置抓取检测模型的位置（最佳抓取位置R1）、和匹配模型与检测模型的位差关系，定位抓取装置抓取待抓取工件的位置（实际抓取位置R2）。具体的，可选但不仅限于优选位差转换矩阵T表示该二者之间的位差关系。那么，设抓取装置抓取检测模型的位置（最佳抓取位置）为R1，匹配模型与检测模型的位差转换矩阵为T，抓取装置抓取匹配模型的位置（实际抓取位置）为R2，其具体计算采用公式（1）：
Figure 441468DEST_PATH_IMAGE010
（1）
在该实施例中，本发明提供的抓取装置的定位方法，一方面，考虑到实际待抓取工件（实时图像中的待抓取工件，实际抓取位置R2）与理想中的待抓取工件（模板图像中的待抓取工件，最佳抓取位置R1）存在位移偏差，并不完全位于最优、最利于抓取的抓取位置（模板图像中的位置），而通过实时图像的引导，利用匹配模型与检测模型的位差关系（优选为位差转换矩阵），纠正实时图像中匹配模型相对于模板图像中检测模型的偏差，避免抓取装置按照既定规则抓取待抓取工件所导致的抓取失败、甚至误伤待抓取工件、料箱、抓取装置本身等情况，确保抓取装置准确无误的抓取待抓取工件，有效解决抓取失败、漏抓、错抓等问题，自动化程度高，能流水线化操作，能大大减少人力物力成本；另一方面，其区别于传统方式，并非在实时图像中直接确定待抓取工件的位置，再将其转换为抓取装置坐标系下的位置，而是根据抓取装置抓取检测模型的位置（最佳抓取位置R1，这已经是抓取装置坐标系下的位置，无需再次转换）、和匹配模型与检测模型的位差关系（图像中的位差关系，可直接对应至抓取装置坐标系下的位置关系），定位抓取装置抓取待抓取工件的位置（实际抓取位置R2，这也已经是抓取装置坐标系下的位置，无需再次转换），准确计算出抓取点的位姿、角度，精确抓取待抓取工件，关系转换简单快捷，且精确度高，对提高工件的生产安装效率和精度具有重大意义。综上所述，其发明宗旨可以归结为：首先确定抓取装置抓取模板图像中检测模型的标准位置、位姿、角度（抓取装置在模板图像中的标准抓取位置R1，即抓取待抓取工件的标准位，这个位置是相对于抓取装置坐标系下的位置），再在实时图像中检测与检测模型相匹配的匹配模型（检测模型在实时图像中的检测结果），计算二者之间的位差关系（位置、位姿、角度变换关系，优选为用位差转换矩阵表示，这是图像中的位差关系，可直接对应至抓取装置坐标系下的位置关系），最后反向求出抓取装置抓取实际待抓取工件的位置、位姿、角度（精确计算抓取装置抓取待抓取工件的位置坐标R2，这个位置是相对于抓取装置坐标系下的位置），完成精确抓取。
更为具体的，如图5所示，步骤S3，可选但不仅限于包括：
S31：提取模板图像和实时图像的边缘特征；
S32：在模板图像的边缘特征中，选定至少一个边缘特征所在区域为检测模型（如图4所示的小矩形框中的虚线）；
S33：在实时图像的边缘特征中，选定与检测模型相匹配的边缘特征所在区域为匹配模型（如图3所示的具备98%相似度的局部图像）。
在该实施例中，给出了步骤S3，如何提取检测模型，及搜索与之匹配的匹配模型的具体实时方式，其首先提取边缘特征，然后确定具有代表性的某个边缘特征所在的局部图像为特征模型（确定ROI矩形区域，从图像中获取这个矩形区域的图像，对图像进行预处理，对处理后的矩形建立模板，获取模板的轮廓作为特征模型），再在实时图像中反复进行模型匹配，最后找到最优的匹配结果（实时图像中找到与特征模型匹配的图像部分，多次迭代，获取最优匹配结果，如图4所示）。该方式不仅准确率高，实验统计准确率可达到97.86%，而且时间效率高，可以快速准确的完成模型匹配，确定实际待抓取工件的位置。
更为具体的，如图6-8所示（以模板图像提取边缘特征为例，图7为模板图像的原图，图8为模板图像提取边缘特征后的效果图），步骤S31，可选但不仅限于，包括：
S311：对模板图像和实时图像，分别进行平滑降噪预处理，得到预处理后的模板图像和预处理后的实时图像；
S312：构造边缘检测算子，分别对预处理后的模板图像和预处理后的实时图像进行边缘检测，确定模板图像的边缘区块和实时图像的边缘区块；
S313：通过阈值二值化处理，分别连接模板图像的边缘区块和实时图像的边缘区块，得到模板图像的边缘特征和实时图像的边缘特征。
在该实施例中，给出了步骤S31中如何提取边缘特征的具体实时方式，其通过滤波器进行预处理，去除图像中的噪声，抑制噪声对边缘特征提取精度的影响；再通过边缘检测算子检测边缘位置；最后通过阈值二值化处理，连接边缘。整个过程能够准确完整的提取边缘信息，达到较好的检测结果。
更为具体的，步骤S4中，可选但不仅限于包括：
设定检测模型和匹配模型相对于抓取装置的坐标为：O1，O2，则
Figure 496012DEST_PATH_IMAGE012
Figure DEST_PATH_IMAGE014
其中，Rp1表示采集模板图像的采集点，E1表示采集模板图像的相机外参，用于将点云中模板图像的位姿转换为抓取装置坐标系下的位姿，M1表示采集模板图像的转换矩阵，M1×Model1表示点云中待抓取工件相对于检测模型的位姿；Rp2表示采集实时图像的采集点，E2表示采集实时图像的相机外参，用于将点云中实时图像的位姿转换为抓取装置坐标系下的位姿，M2表示采集实时图像的转换矩阵，M2×Model2表示点云中待抓取工件相对于实时图像的位姿。
由于待抓取工件与抓取装置在抓取过程中相对位置不变，则抓取装置变换矩阵T与待抓取工件变换矩阵一致，可求得T（匹配模型与检测模型的位差转换矩阵）：
Figure DEST_PATH_IMAGE016
则可求得抓取装置抓取匹配模型的位置（在匹配模型下，即实时图像引导下，实际抓取待抓取工件的位置）R2为：
Figure DEST_PATH_IMAGE018
即，
Figure DEST_PATH_IMAGE020
其中，R1表示抓取装置抓取检测模型的位置（在检测模型下，即模板图像引导下抓取待抓取工件的位置）。
在该实施例中，给出了匹配模型与检测模型的位移差变换矩阵T的具体计算方式，其综合考虑采样点位置（相机位置）、相机参数、点云变换等可变因素，大大增加了该定位方法的灵活性和适用范围。
更为具体的，如图2-3所示，本发明的定位方法（以抓取装置抓取格栅为例），还可选但不仅限于根据检测模型确定2个甚至更多个匹配模型，以确定2个或更多个抓取装置抓取待抓取工件的位置（同时抓取多个格栅工件，4个吸盘结构的格栅抓取爪，两两配对，同时抓取两个格栅工件）。
更为具体的，如图9所示，本发明在此定位方法的基础上，还提供一种抓取装置的定位系统，包括：
图像采集模块100，用于采集待抓取工件的模板图像，和待抓取工件的实时图像；
图像识别模块200，与图像采集模块连接，用于在模板图像中提取检测模型，检测实时图像中，与检测模型相匹配的匹配模型；
定位模块300，与图像识别模块连接，用于根据抓取装置抓取检测模型的位置、和匹配模型与检测模型的位差转换矩阵，定位抓取装置抓取待抓取工件的位置。
更为具体的，定位模块300，可选但不仅限于采用公式（1），定位抓取装置抓取待抓取工件的位置；
Figure DEST_PATH_IMAGE022
（1）
其中，R1表示抓取装置抓取检测模型的位置，T表示匹配模型与检测模型的位差转换矩阵，R2表示抓取装置抓取待抓取工件的位置。
采用公式（2），确定匹配模型与检测模型的位差转换矩阵；
Figure DEST_PATH_IMAGE024
（2）
其中，Rp1表示采集模板图像的采集点，E1表示采集模板图像的相机外参，用于将点云中模板图像的位姿转换为抓取装置坐标系下的位姿，M1表示采集模板图像的转换矩阵；Rp2表示采集实时图像的采集点，E2表示采集实时图像的相机外参，用于将点云中实时图像的位姿转换为抓取装置坐标系下的位姿，M2表示采集实时图像的转换矩阵。
更为具体的，如图10所示，图像识别模块200，可选但不仅限于包括：
边缘特征提取单元210，用于提取模板图像和实时图像的边缘特征；
检测模型确定单元220，与边缘特征提取单元连接，用于在模板图像的边缘特征中，选定至少一个边缘特征所在区域的局部图像为检测模型；
匹配模型确定单元230，与边缘特征提取单元和检测模型确定单元连接，用于在实时图像的边缘特征中，选定与检测模型相匹配的边缘特征所在区域的局部图像为匹配模型。
如图11所示，边缘特征提取单元210，可选但不仅限于包括：
预处理小单元211，对模板图像和实时图像，分别进行平滑降噪预处理，得到预处理后的模板图像和预处理后的实时图像；
边缘检测小单元212，与预处理小单元连接，用于构造边缘检测算子，并分别对预处理后的模板图像和预处理后的实时图像进行边缘检测，确定模板图像的边缘区块和实时图像的边缘区块；
边缘连接小单元213，与边缘检测单元连接，用于通过阈值二值化处理，分别连接模板图像的边缘区块和实时图像的边缘区块，得到模板图像的边缘特征和实时图像的边缘特征。
上述定位系统基于上述定位方法创造，其技术作用和有益效果在此不再赘述，以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种抓取装置的定位方法，其特征在于，包括：
S1：采集待抓取工件的模板图像；
S2：采集待抓取工件的实时图像；
S3：在所述模板图像中提取检测模型，检测所述实时图像中，与所述检测模型相匹配的匹配模型；
S4：根据所述抓取装置抓取所述检测模型的位置、和所述匹配模型与所述检测模型的位差关系，定位所述抓取装置抓取所述待抓取工件的位置。
2.根据权利要求1所述的定位方法，其特征在于，步骤S4中，采用公式（1），定位所述抓取装置抓取所述待抓取工件的位置；
Figure 695167DEST_PATH_IMAGE002
（1）
其中，R1表示所述抓取装置抓取所述检测模型的位置，T表示所述匹配模型与所述检测模型的位差转换矩阵，R2表示所述抓取装置抓取所述待抓取工件的位置。
3.根据权利要求2所述的定位方法，其特征在于，采用公式（2），确定所述匹配模型与所述检测模型的位差转换矩阵；
Figure 704580DEST_PATH_IMAGE004
（2）
其中，Rp1表示采集所述模板图像的采集点，E1表示采集所述模板图像的相机外参，用于将点云中模板图像的位姿转换为抓取装置坐标系下的位姿，M1表示采集所述模板图像的转换矩阵；Rp2表示采集所述实时图像的采集点，E2表示采集所述实时图像的相机外参，用于将点云中实时图像的位姿转换为抓取装置坐标系下的位姿，M2表示采集所述实时图像的转换矩阵。
4.根据权利要求1-3任意一项所述的定位方法，其特征在于，步骤S3，包括：
S31：提取所述模板图像和所述实时图像的边缘特征；
S32：在所述模板图像的边缘特征中，选定至少一个边缘特征所在区域的局部图像为所述检测模型；
S33：在所述实时图像的边缘特征中，选定与所述检测模型相匹配的边缘特征所在区域的局部图像为所述匹配模型。
5.根据权利要求4所述的定位方法，其特征在于，步骤S31，包括：
S311：对所述模板图像和所述实时图像，分别进行平滑降噪预处理，得到预处理后的模板图像和预处理后的实时图像；
S312：构造边缘检测算子，分别对预处理后的模板图像和预处理后的实时图像进行边缘检测，确定模板图像的边缘区块和实时图像的边缘区块；
S313：通过阈值二值化处理，分别连接模板图像的边缘区块和实时图像的边缘区块，得到模板图像的边缘特征和实时图像的边缘特征。
6.一种抓取装置的定位系统，其特征在于，包括：
图像采集模块，用于采集待抓取工件的模板图像，和待抓取工件的实时图像；
图像识别模块，与所述图像采集模块连接，用于在所述模板图像中提取检测模型，检测所述实时图像中，与所述检测模型相匹配的匹配模型；
定位模块，与所述图像识别模块连接，用于根据所述抓取装置抓取所述检测模型的位置、和所述匹配模型与所述检测模型的位差关系，定位所述抓取装置抓取所述待抓取工件的位置。
7.根据权利要求6所述的定位系统，其特征在于，所述定位模块，采用公式（1），定位所述抓取装置抓取所述待抓取工件的位置；
Figure DEST_PATH_IMAGE006
（1）
其中，R1表示所述抓取装置抓取所述检测模型的位置，T表示所述匹配模型与所述检测模型的位差转换矩阵，R2表示所述抓取装置抓取所述待抓取工件的位置。
8.根据权利要求7所述的定位系统，其特征在于，采用公式（2），确定所述匹配模型与所述检测模型的位差转换矩阵；
Figure DEST_PATH_IMAGE008
（2）
其中，Rp1表示采集所述模板图像的采集点，E1表示采集所述模板图像的相机外参，用于将点云中模板图像的位姿转换为抓取装置坐标系下的位姿，M1表示采集所述模板图像的转换矩阵；Rp2表示采集所述实时图像的采集点，E2表示采集所述实时图像的相机外参，用于将点云中实时图像的位姿转换为抓取装置坐标系下的位姿，M2表示采集所述实时图像的转换矩阵。
9.根据权利要求6-8任意一项所述的定位系统，其特征在于，所述图像识别模块，包括：
边缘特征提取单元，用于提取所述模板图像和所述实时图像的边缘特征；
检测模型确定单元，与所述边缘特征提取单元连接，用于在所述模板图像的边缘特征中，选定至少一个边缘特征所在区域的局部图像为所述检测模型；
匹配模型确定单元，与所述边缘特征提取单元和所述检测模型确定单元连接，用于在所述实时图像的边缘特征中，选定与所述检测模型相匹配的边缘特征所在区域的局部图像为所述匹配模型。
10.根据权利要求9所述的定位系统，其特征在于，所述边缘特征提取单元，包括：
预处理小单元，对所述模板图像和所述实时图像，分别进行平滑降噪预处理，得到预处理后的模板图像和预处理后的实时图像；
边缘检测小单元，与所述预处理小单元连接，用于构造边缘检测算子，并分别对预处理后的模板图像和预处理后的实时图像进行边缘检测，确定模板图像的边缘区块和实时图像的边缘区块；
边缘连接小单元，与所述边缘检测单元连接，用于通过阈值二值化处理，分别连接模板图像的边缘区块和实时图像的边缘区块，得到模板图像的边缘特征和实时图像的边缘特征。
CN202111593508.3A 2021-12-24 2021-12-24 抓取装置的定位方法和系统 Pending CN113989278A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111593508.3A CN113989278A (zh) 2021-12-24 2021-12-24 抓取装置的定位方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111593508.3A CN113989278A (zh) 2021-12-24 2021-12-24 抓取装置的定位方法和系统

Publications (1)

Publication Number Publication Date
CN113989278A true CN113989278A (zh) 2022-01-28

Family

ID=79734146

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111593508.3A Pending CN113989278A (zh) 2021-12-24 2021-12-24 抓取装置的定位方法和系统

Country Status (1)

Country Link
CN (1) CN113989278A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104596502A (zh) * 2015-01-23 2015-05-06 浙江大学 一种基于cad模型与单目视觉的物体位姿测量方法
CN106041937A (zh) * 2016-08-16 2016-10-26 河南埃尔森智能科技有限公司 一种基于双目立体视觉的机械手抓取控制系统的控制方法
CN108555908A (zh) * 2018-04-12 2018-09-21 同济大学 一种基于rgbd相机的堆叠工件姿态识别及拾取方法
CN111126174A (zh) * 2019-12-04 2020-05-08 东莞理工学院 一种用于机器人抓取零件的视觉检测方法
CN111702760A (zh) * 2020-06-11 2020-09-25 湖北美和易思教育科技有限公司 一种物联网机械手臂协同作业系统及方法
CN112509063A (zh) * 2020-12-21 2021-03-16 中国矿业大学 一种基于边缘特征匹配的机械臂抓取系统及方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104596502A (zh) * 2015-01-23 2015-05-06 浙江大学 一种基于cad模型与单目视觉的物体位姿测量方法
CN106041937A (zh) * 2016-08-16 2016-10-26 河南埃尔森智能科技有限公司 一种基于双目立体视觉的机械手抓取控制系统的控制方法
CN108555908A (zh) * 2018-04-12 2018-09-21 同济大学 一种基于rgbd相机的堆叠工件姿态识别及拾取方法
CN111126174A (zh) * 2019-12-04 2020-05-08 东莞理工学院 一种用于机器人抓取零件的视觉检测方法
CN111702760A (zh) * 2020-06-11 2020-09-25 湖北美和易思教育科技有限公司 一种物联网机械手臂协同作业系统及方法
CN112509063A (zh) * 2020-12-21 2021-03-16 中国矿业大学 一种基于边缘特征匹配的机械臂抓取系统及方法

Similar Documents

Publication Publication Date Title
CN109483554B (zh) 基于全局和局部视觉语义的机器人动态抓取方法及系统
CN110660104A (zh) 工业机器人视觉识别定位抓取方法、计算机装置以及计算机可读存储介质
CN111462154B (zh) 基于深度视觉传感器的目标定位方法、装置及自动抓取机器人
CN107263468B (zh) 一种利用数字图像处理技术的scara机器人装配方法
CN104923593B (zh) 一种基于视觉的顶层折弯板材定位方法
CN105817422A (zh) 基于机器人的自动采集随机摆放快递包裹信息系统及其方法
CN110666801A (zh) 一种复杂工件匹配定位的抓取工业机器人
CN111923053A (zh) 基于深度视觉的工业机器人物件抓取示教系统及方法
CN112926503B (zh) 一种基于矩形拟合的抓取数据集自动生成方法
CN112509063A (zh) 一种基于边缘特征匹配的机械臂抓取系统及方法
Djajadi et al. A model vision of sorting system application using robotic manipulator
CN112621765B (zh) 一种基于机械手的设备自动组装控制方法及装置
CN113538459B (zh) 一种基于落点区域检测的多模式抓取避障检测优化方法
CN110640741A (zh) 一种规则形状工件匹配的抓取工业机器人
CN112295949A (zh) 一种基于深度神经网络的视觉智能分拣方法及系统
CN113284178A (zh) 物体码垛方法、装置、计算设备及计算机存储介质
CN114463244A (zh) 一种视觉机器人抓取系统及其控制方法
CN102735690A (zh) 基于机器视觉的智能型高速在线自动化检测方法及系统
CN116843631B (zh) 一种轻钢行业非标零件叠料的3d视觉分料方法
CN113989278A (zh) 抓取装置的定位方法和系统
CN113723266B (zh) 一种无刷电机冲片筛选系统及方法
Qian et al. The autonomous detection of sheet metal parts using imageprocessing
Lin et al. Inference of 6-DOF robot grasps using point cloud data
JP6644846B1 (ja) ワークの位置姿勢認識装置およびピッキングシステム
CN110640739A (zh) 一种具有中心位置识别的抓取工业机器人

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20220128

RJ01 Rejection of invention patent application after publication