CN109584216A - 面向机器人抓取作业的可变形料袋视觉识别与定位方法 - Google Patents

面向机器人抓取作业的可变形料袋视觉识别与定位方法 Download PDF

Info

Publication number
CN109584216A
CN109584216A CN201811341732.1A CN201811341732A CN109584216A CN 109584216 A CN109584216 A CN 109584216A CN 201811341732 A CN201811341732 A CN 201811341732A CN 109584216 A CN109584216 A CN 109584216A
Authority
CN
China
Prior art keywords
material bag
mark
coordinate
relative
pose
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811341732.1A
Other languages
English (en)
Inventor
陈卫东
王韵清
王贺升
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN201811341732.1A priority Critical patent/CN109584216A/zh
Publication of CN109584216A publication Critical patent/CN109584216A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

本发明提供了一种面向机器人抓取作业的可变形料袋视觉识别与定位方法，分为多特征组合人工特征生成及可变形料袋视觉识别与定位算法。基于AprilTag标志对可变形料袋进行设计，得到多特征组合人工特征并印制到料袋上，在AprilTag标志及其检测算法鲁棒性的基础上,通过冗余标志提高了系统识别的鲁棒性；采集可变形料袋图像信息，对多特征组合人工特征进行识别，得到可识别标志，对可识别标志进行定位，得到料袋坐标位置，将料袋坐标位置发送至机器人控制器。本发明针对在料袋变形或粉末泄漏导致标志变形严重或被遮挡的情况下能准确识别与定位可变形料袋，提高机器人抓取的鲁棒性。

Description

面向机器人抓取作业的可变形料袋视觉识别与定位方法
技术领域
本发明涉及工业机器人应用领域，具体地，涉及一种面向机器人抓取作业的可变形料袋视觉识别与定位方法。
背景技术
随着人力成本的上升，工业机器人替换人工越来越普遍。其中，炼钢厂覆盖剂投料，面粉厂面粉袋的堆垛拆垛，水泥厂水泥袋堆垛拆垛等应用领域中，工人人工操作劳动强度大，效率低下；长期工作易吸入粉末，影响健康。因此，在此领域机器人替换人工的需求越来越急迫。但由于料垛及料袋位置的不确定性，无法采用示教方式，需要采用传感器感知料袋信息后控制机器人运动。此种问题可归结为粉末填充的可变形料袋的识别与定位问题，主要存在以下困难：料袋包装破损导致漏料，料袋部分特征被遮挡；运输和装垛过程导致料袋散乱、互相堆挤。而现有识别与定位算法对变形料袋适应能力差，因此，急需设计一套成熟的面向机器人抓取作业的可变形料袋视觉识别与定位方法，实现机器人自动对可变形料袋的识别和抓取搬运操作。
专利文献CN104835156A公开了一种基于计算机视觉的无纺布袋自动定位方法，计算无纺布袋的前端线位置、左右端线的四个点的位置，无纺布袋的偏转角度，完成对无纺布袋的定位。该方法只是对流水线上固定深度无纺布袋定位，对不同深度层无纺布袋无法定位，通用性差。专利文献CN107626608A公开了一种利用视觉成像对包装袋进行识别的码垛控制装置，通过多个相机和光电开关获得包装袋位置，该方法所需要的传感器数目较多，推广成本较高。
针对可变形料袋的识别，在只有单幅图像的情况下料袋自然标志无法提供精确三维信息，而人工标志相对自然标志识别简单，所提供的信息丰富。AprilTag标志是由April实验室发明的一种2D条形码标志；AprilTag检测算法是与其配套的识别算法，可以提供图像中标志的唯一编号，可以提供相机与标志之间的相对变换，精度可达到毫米级。此种标志及其检测算法对光线变化和部分遮挡变形具有鲁棒性，但对大幅度遮挡变形存在识别失败及错误识别情况。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种面向机器人抓取作业的可变形料袋视觉识别与定位方法。
根据本发明提供的一种面向机器人抓取作业的可变形料袋视觉识别与定位方法，包括：
设计料袋步骤：基于AprilTag标志对可变形料袋进行特征设计，得到多特征组合人工特征；
识别料袋步骤：对多特征组合人工特征进行识别，得到可识别标志，对可识别标志进行定位，得到料袋坐标位置，将料袋坐标位置发送至机器人控制器。
优选地，所述设计料袋步骤包括：
选取标志步骤：选取AprilTag标志中n个不同标志，所述n取大于1，得到标签标志集合；
组合标志步骤：对标签标志集合中的n个AprilTag标志依据排列方式进行排列组合，得到多特征组合人工特征；
标志编号步骤：对多特征组合人工特征中的每个AprilTag标志进行编号，得到标志编号k；
坐标变换预计算步骤：定义标志坐标系和料袋坐标系，基于标志编号、排列方式、料袋尺寸，计算标志坐标系相对于料袋坐标系的第一齐次变换矩阵；
标志印制步骤：将多特征组合人工特征印制到料袋表面。
优选地，所述识别料袋步骤包括：
特征识别步骤：采用机器视觉对料袋表面的多特征组合人工特征进行识别，获得可识别标志；
标志筛选步骤：对可识别标志进行筛选，获得可定位标志；
标志定位步骤：根据可定位标志对料袋坐标系原点进行定位，得到料袋坐标系原点相对机器人坐标系位置，所述原点位置表示为P＝(xR,yR,zR)T；
其中，下标R表示此位置为料袋坐标系原点相对于机器人坐标系的位置；x表示X方向位移；y表示Y方向位移；z表示Z方向位移。
优选地，所述特征识别步骤包括：
标定相机坐标步骤：定义相机坐标系OC，对相机内参数进行标定；
标定机器人坐标步骤：定义机器人坐标系OR，对相机外参数进行标定，获取相机坐标系相对于机器人坐标系的第二齐次变换矩阵
采集图像步骤：采集待识别定位的可变形料袋图像信息，得到第一图像；
提取定位步骤：采用AprilTag检测算法提取第一图像中的可识别标志、标志编号k、可识别标志相对于相机坐标系的位姿，将识别标志相对于相机坐标系的位姿记为可识别标志位姿Ti，i＝1,2,…,m，下标i表示编号。
优选地，所述标志筛选步骤包括：
计算料袋相对坐标步骤：通过可识别标志位姿、第一齐次变换矩阵，计算料袋坐标系相对于相机坐标系的位姿，记为相机坐标系相对位姿，所述相机坐标系相对位姿表示如下：
式中，Tpi表示第i个坐标系相对位姿；
Ti表示第i个可识别标志位姿；
表示第一齐次变换矩阵的元素；
Rpi表示第i个标志坐标系相对位姿中的旋转矩阵；
Ppi表示第i个标志坐标系相对位姿中的位移向量；
xpi，ypi，zpi分别表示第i个标志相机坐标系相对位姿中的X，Y,Z方向的位移；
多方向筛选步骤：将可识别标志进行聚类，根据标志位置对多特征组合人工特征进行Z方向坐标、X方向坐标、Y方向坐标进行筛选，得到可定位标志。
优选地，所述多方向筛选步骤包括：
标志分发步骤：根据相机坐标系相对位姿将可定位标志分解为多个料袋标志，将料袋的数目表示为w；第j个料袋的可识别标志的数量记为vj，j表示为料袋的编号；可识别标志的总数表示为m，满足：
标志求取步骤：对w个料袋的标志求取，其中，第j个料袋的求取方式如下：
x方向平均值及标准差
y方向平均值及标准差
z方向平均值及标准差
标志剔除步骤：将多个料袋标志中大于或小于的料袋标志、大于或小于的料袋标志、大于或小于的料袋标志进行剔除，获得可定位标志，并更新料袋j的标志数目vj；
其中，分别表示第j个料袋的标志h的坐标系相对相机坐标系的位姿中X，Y，Z方向的位移。
优选地，标志定位步骤包括：
标定相对相机坐标步骤：计算料袋坐标系原点相对于相机坐标系的三维位置
式中，为第一齐次变换矩阵的元素；
为可定位标志位置的齐次坐标形式；
vj为第j个料袋可定位标志数目；
α为第j个料袋的第α个标志；
j表示第j个料袋；
分别表示第j个料袋坐标系原点相对于相机坐标系X，Y，Z方向的位移。
标定相对机器人坐标步骤：计算料袋坐标系原点相对于机器人坐标系三维位置
式中，表示第j个料袋坐标系原点相对于机器人坐标系位置的齐次坐标形式；
表示第二齐次变换矩阵；
表示第j个料袋坐标系原点相对于机器人坐标系位置的齐次坐标形式；
分别表示第j个料袋坐标系原点相对于机器人坐标系X，Y，Z方向的位移；
标定料袋坐标步骤：将料袋坐标系原点位置发送给机器人控制器。
与现有技术相比，本发明具有如下的有益效果：
本发明针对在料袋变形或粉末泄漏导致标志变形严重或被遮挡的情况下能准确识别与定位可变形料袋，提高机器人抓取的鲁棒性。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明每个标志的坐标系及料袋坐标系的定义；
图2为本发明相机坐标系、机器人坐标系的定义及本发明输入和输出；
图3为本发明设计的多特征组合人工特征实施例示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
根据本发明提供的一种面向机器人抓取作业的可变形料袋视觉识别与定位方法，包括：
设计料袋步骤：基于AprilTag标志对可变形料袋进行设计，得到多特征组合人工特征；
识别料袋步骤：对多特征组合人工特征进行识别，得到可识别标志，对可识别标志进行定位，得到料袋坐标位置，将料袋坐标位置发送至机器人控制器。
具体地，所述设计料袋步骤包括：
选取标志步骤：选取AprilTag标志中n个不同标志，所述n取大于1，得到标签标志集合；
组合标志步骤：对标签标志集合中的n个AprilTag标志依据排列方式进行排列组合，得到多特征组合人工特征；
标志编号步骤：对多特征组合人工特征中的每个AprilTag标志进行编号，得到标志编号k；
坐标变换步骤：定义标志坐标系和料袋坐标系，基于标志编号、排列方式、料袋尺寸，计算料袋坐标系相对于标志坐标系的第一齐次变换矩阵；
标志印制步骤：将多特征组合人工特征印制到料袋表面。
具体地，所述识别料袋步骤包括：
特征识别步骤：采用机器视觉对料袋表面的多特征组合人工特征进行识别，获得可识别标志；
标志筛选步骤：对可识别标志进行筛选，获得可定位标志；
标志定位步骤：根据可定位标志对料袋坐标系下的原点位置进行定位，得到可定位标志坐标，所述原点位置表示为P＝(xR,yR,zR)T；
其中，下标R表示此位置为料袋坐标系原点基于机器人坐标系的位置；x表示X方向位移；y表示Y方向位移；z表示Z方向位移。
具体地，所述特征识别步骤包括：
标定相机坐标步骤：定义相机坐标系OC，对相机内参数进行标定；
标定机器人坐标步骤：定义机器人坐标系OR，对相机外参数进行标定，获取相机坐标系相对于机器人坐标系的第二齐次变换矩阵
采集图像步骤：采集待识别定位的可变性料袋图像信息，得到第一图像；
提取定位步骤：采用AprilTag检测算法提取第一图像中的可识别标志、标志编号k、可识别标志相对于相机坐标系的位姿，将识别标志相对于相机坐标系的位姿记为可识别标志位姿Ti，i＝1,2,…,m，下标i表示编号。
具体地，所述标志筛选步骤包括：
计算料袋相对坐标步骤：通过可识别标志位姿、第一齐次变换矩阵，计算料袋坐标系相对于相机坐标系的位姿，记为相机坐标系相对位姿，所述相机坐标系相对位姿表示如下：
式中，Tpi表示第i个坐标系相对位姿；
Ti表示第i个可识别标志位姿；
表示第一齐次变换矩阵的元素；
Rpi表示第i个标志坐标系相对位姿中的旋转矩阵；
Ppi表示第i个标志坐标系相对位姿中的位移向量；
xpi，ypi，zpi分别表示第i个标志相机坐标系相对位姿中的X，Y,Z方向的位移；
多方向筛选步骤：将可识别标志进行聚类，根据标志位置对多特征组合人工特征进行Z方向坐标、X方向坐标、Y方向坐标进行筛选，得到可定位标志。
具体地，所述多方向筛选步骤包括：
标志分发步骤：根据相机坐标系相对位姿将可定位标志分解为多个料袋标志，将料袋的数目表示为w；第j个料袋的可识别标志的数量记为vj，j表示为料袋的编号；可识别标志的总数表示为m，满足：
标志求取步骤：对w个料袋的标志求取，其中，第j个料袋的求取方式如下：
x方向平均值及标准差
y方向平均值及标准差
z方向平均值及标准差
标志剔除步骤：将多个料袋标志中大于或小于的料袋标志、大于或小于的料袋标志、大于或小于的料袋标志进行剔除，获得可定位标志，并更新料袋j的标志数目vj；
其中，分别表示第j个料袋的标志h的坐标系相对相机坐标系的位姿中X，Y，Z方向的位移。
具体地，标志定位步骤包括：
标定相对相机坐标步骤：计算料袋坐标系原点相对于相机坐标系的三维位置
式中，为第一齐次变换矩阵的元素；
为可定位标志位置的齐次坐标形式；
vj为第j个料袋可定位标志数目；
α为第j个料袋的第α个标志；
j表示第j个料袋；
分别表示第j个料袋坐标系原点相对于相机坐标系X，Y，Z方向的位移。
标定相对机器人坐标步骤：计算料袋坐标系原点相对于机器人坐标系三维位置
式中，表示第j个料袋坐标系原点相对于机器人坐标系位置的齐次坐标形式；
表示第二齐次变换矩阵；
表示第j个料袋坐标系原点相对于机器人坐标系位置的齐次坐标形式；
分别表示第j个料袋坐标系原点相对于机器人坐标系X，Y，Z方向的位移；
标定料袋坐标步骤：将料袋坐标系原点位置发送给机器人控制器。
以下结合附图对本发明的优选例进行阐述。
如图3所示，对可变形料袋设计基于AprilTag标志的多特征组合人工特征，料袋本身已有黑色方框特征，针对此选取如图1所示方框中6个AprilTag标志，将6个不同标志组合成为2×3多特征组合人工特征，将标志从左至右、从上至下依次编号为：1、2、3、4、5、6；以标志中心为原点，定义每个标志坐标系以料袋中心为原点定义料袋坐标系OP，根据编号、排列方式及尺寸计算料袋坐标系相对于每个标志坐标系齐次变换矩阵：T1、T2、T3、T4、T5、T6。之后按比例将此多特征组合人工特征印制到料袋表面。
本实施例采用单目固定相机进行识别定位，识别定位之前对相机进行内外参的标定。首先按照图2定义相机坐标系及机器人坐标系。内参标定采用ZHANG式标定法，外参标定采用EPnP算法。内参用于相机畸变矫正和AprilTag位姿计算，外参用于计算相机坐标系相对于机器人坐标系的齐次变换矩阵标定完成后使用单目相机采集料垛上方图像信息，图像信息及相机坐标系示意图如图2所示。
如图2所示，采用机器视觉对多特征组合人工特征进行识别，获得可识别标志。对图像中有6个料袋，采用AprilTag检测算法提取图像中所有m＝36个标志、标志编号k及其相对于相机坐标系的位姿Ti，i＝1,2,…,36；通过可识别标志位姿Ti及齐次变换矩阵Tk计算料袋坐标系对于相机坐标系的位姿
将可识别标志聚类为6类，根据xpi、ypi、zpi大小将标志分为料袋1标志、料袋2标志、……、料袋j标志、……、料袋6标志，获得料袋数目6个及料袋j的6个标志；
之后，对料袋j的标志求取x平均值及标准差y平均值及标准差z平均值及标准差将大于或小于的标志、大于或小于的标志、大于或小于的标志进行剔除，获得可定位标志，并更新料袋j的标志数目vj；
以料袋j作为代表计算料袋坐标系原点相对于相机坐标系的三维位置：其中，为不同标志到料袋中心位置的转换矩阵，为可定位标志坐标的齐次坐标形式，vj为料袋可定位标志数目；以料袋j作为代表计算料袋坐标系原点相对于机器人坐标系三维位置：最后，将料袋坐标系原点位置发送给机器人控制器。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (7)

1.一种面向机器人抓取作业的可变形料袋视觉识别与定位方法，其特征在于，包括：
设计料袋步骤：基于AprilTag标志对可变形料袋进行特征设计，得到多特征组合人工特征；
识别料袋步骤：对多特征组合人工特征进行识别，得到可识别标志，对可识别标志进行定位，得到料袋坐标位置，将料袋坐标位置发送至机器人控制器。
2.根据权利要求1所述的面向机器人抓取作业的可变形料袋视觉识别与定位方法，其特征在于，所述设计料袋步骤包括：
选取标志步骤：选取AprilTag标志中n个不同标志，所述n取大于1，得到标签标志集合；
组合标志步骤：对标签标志集合中的n个AprilTag标志依据排列方式进行排列组合，得到多特征组合人工特征；
标志编号步骤：对多特征组合人工特征中的每个AprilTag标志进行编号，得到标志编号k；
坐标变换预计算步骤：定义标志坐标系和料袋坐标系，基于标志编号、排列方式、料袋尺寸，计算标志坐标系相对于料袋坐标系的第一齐次变换矩阵；
标志印制步骤：将多特征组合人工特征印制到料袋表面。
3.根据权利要求1所述的面向机器人抓取作业的可变形料袋视觉识别与定位方法，其特征在于，所述识别料袋步骤包括：
特征识别步骤：采用机器视觉对料袋表面的多特征组合人工特征进行识别，获得可识别标志；
标志筛选步骤：对可识别标志进行筛选，获得可定位标志；
标志定位步骤：根据可定位标志对料袋坐标系原点进行定位，得到料袋坐标系原点相对机器人坐标系位置，所述原点位置表示为P＝(xR,yR,zR)T；
其中，下标R表示此位置为料袋坐标系原点相对于机器人坐标系的位置；x表示X方向位移；y表示Y方向位移；z表示Z方向位移。
4.根据权利要求3所述的面向机器人抓取作业的可变形料袋视觉识别与定位方法，其特征在于，所述特征识别步骤包括：
标定相机坐标步骤：定义相机坐标系OC，对相机内参数进行标定；
标定机器人坐标步骤：定义机器人坐标系OR，对相机外参数进行标定，获取相机坐标系相对于机器人坐标系的第二齐次变换矩阵
采集图像步骤：采集待识别定位的可变形料袋图像信息，得到第一图像；
提取定位步骤：采用AprilTag检测算法提取第一图像中的可识别标志、标志编号k、可识别标志相对于相机坐标系的位姿，将识别标志相对于相机坐标系的位姿记为可识别标志位姿Ti，i＝1,2,…,m，下标i表示编号。
5.根据权利要求3所述的面向机器人抓取作业的可变形料袋视觉识别与定位方法，其特征在于，所述标志筛选步骤包括：
计算料袋相对坐标步骤：通过可识别标志位姿、第一齐次变换矩阵，计算料袋坐标系相对于相机坐标系的位姿，记为相机坐标系相对位姿，所述相机坐标系相对位姿表示如下：
式中，Tpi表示第i个坐标系相对位姿；
Ti表示第i个可识别标志位姿；
表示第一齐次变换矩阵的元素；
Rpi表示第i个标志坐标系相对位姿中的旋转矩阵；
Ppi表示第i个标志坐标系相对位姿中的位移向量；
xpi，ypi，zpi分别表示第i个标志相机坐标系相对位姿中的X，Y,Z方向的位移；
多方向筛选步骤：将可识别标志进行聚类，根据标志位置对多特征组合人工特征进行Z方向坐标、X方向坐标、Y方向坐标进行筛选，得到可定位标志。
6.根据权利要求5所述的面向机器人抓取作业的可变形料袋视觉识别与定位方法，其特征在于，所述多方向筛选步骤包括：
标志分发步骤：根据相机坐标系相对位姿将可定位标志分解为多个料袋标志，将料袋的数目表示为w；第j个料袋的可识别标志的数量记为vj，j表示为料袋的编号；可识别标志的总数表示为m，满足：
标志求取步骤：对w个料袋的标志求取，其中，第j个料袋的求取方式如下：
x方向平均值及标准差
y方向平均值及标准差
z方向平均值及标准差
标志剔除步骤：将多个料袋标志中大于或小于的料袋标志、大于或小于的料袋标志、大于或小于的料袋标志进行剔除，获得可定位标志，并更新料袋j的标志数目vj；
其中，分别表示第j个料袋的标志h的坐标系相对相机坐标系的位姿中X，Y，Z方向的位移。
7.根据权利要求3所述的面向机器人抓取作业的可变形料袋视觉识别与定位方法，其特征在于，标志定位步骤包括：
标定相对相机坐标步骤：计算料袋坐标系原点相对于相机坐标系的三维位置
式中，为第一齐次变换矩阵的元素；
为可定位标志位置的齐次坐标形式；
vj为第j个料袋可定位标志数目；
α为第j个料袋的第α个标志；
j表示第j个料袋；
分别表示第j个料袋坐标系原点相对于相机坐标系X，Y，Z方向的位移。
标定相对机器人坐标步骤：计算料袋坐标系原点相对于机器人坐标系三维位置
式中，表示第j个料袋坐标系原点相对于机器人坐标系位置的齐次坐标形式；
表示第二齐次变换矩阵；
表示第j个料袋坐标系原点相对于机器人坐标系位置的齐次坐标形式；
分别表示第j个料袋坐标系原点相对于机器人坐标系X，Y，Z方向的位移；
标定料袋坐标步骤：将料袋坐标系原点位置发送给机器人控制器。
CN201811341732.1A 2018-11-12 2018-11-12 面向机器人抓取作业的可变形料袋视觉识别与定位方法 Pending CN109584216A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811341732.1A CN109584216A (zh) 2018-11-12 2018-11-12 面向机器人抓取作业的可变形料袋视觉识别与定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811341732.1A CN109584216A (zh) 2018-11-12 2018-11-12 面向机器人抓取作业的可变形料袋视觉识别与定位方法

Publications (1)

Publication Number Publication Date
CN109584216A true CN109584216A (zh) 2019-04-05

Family

ID=65922093

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811341732.1A Pending CN109584216A (zh) 2018-11-12 2018-11-12 面向机器人抓取作业的可变形料袋视觉识别与定位方法

Country Status (1)

Country Link
CN (1) CN109584216A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110888348A (zh) * 2019-10-17 2020-03-17 广东原点智能技术有限公司 一种基于激光slam的机器人码垛控制方法及其控制系统
CN110962128A (zh) * 2019-12-11 2020-04-07 广东电科院能源技术有限责任公司 一种变电站巡检布点方法及巡检机器人控制方法
CN111311691A (zh) * 2020-03-05 2020-06-19 上海交通大学 拆垛机器人拆垛方法及系统
CN111583319A (zh) * 2020-05-13 2020-08-25 山东汇贸电子口岸有限公司 一种基于局部形变轮廓匹配的包装袋图像配准方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU6152790A (en) * 1989-08-11 1991-03-11 Plastics Recovery, Inc. Trash bags for recyclable articles and system and method for collecting recyclable waste
WO2005010803A2 (en) * 2003-07-22 2005-02-03 Cognex Corporation Methods for finding and characterizing a deformed pattern in an image
CN101488187A (zh) * 2008-01-18 2009-07-22 Mv科技软件有限责任公司 可变形对象识别系统和方法
CN101556647A (zh) * 2009-05-20 2009-10-14 哈尔滨理工大学 一种基于改进sift算法的移动机器人视觉定位方法
US20140267614A1 (en) * 2013-03-15 2014-09-18 Seiko Epson Corporation 2D/3D Localization and Pose Estimation of Harness Cables Using A Configurable Structure Representation for Robot Operations
CN104669281A (zh) * 2015-03-16 2015-06-03 青岛海之晨工业装备有限公司 基于3d机器视觉引导的工业机器人自动拆垛系统
US20170124367A1 (en) * 2015-10-29 2017-05-04 Empire Technology Development Llc Alignment markers to facilitate detection of object orientation and deformation
CN108772304A (zh) * 2018-07-12 2018-11-09 杭州慧仓信息科技有限公司 一种基于智能穿梭车的立体分拣系统及其操作方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU6152790A (en) * 1989-08-11 1991-03-11 Plastics Recovery, Inc. Trash bags for recyclable articles and system and method for collecting recyclable waste
WO2005010803A2 (en) * 2003-07-22 2005-02-03 Cognex Corporation Methods for finding and characterizing a deformed pattern in an image
CN101488187A (zh) * 2008-01-18 2009-07-22 Mv科技软件有限责任公司 可变形对象识别系统和方法
CN101556647A (zh) * 2009-05-20 2009-10-14 哈尔滨理工大学 一种基于改进sift算法的移动机器人视觉定位方法
US20140267614A1 (en) * 2013-03-15 2014-09-18 Seiko Epson Corporation 2D/3D Localization and Pose Estimation of Harness Cables Using A Configurable Structure Representation for Robot Operations
CN104669281A (zh) * 2015-03-16 2015-06-03 青岛海之晨工业装备有限公司 基于3d机器视觉引导的工业机器人自动拆垛系统
US20170124367A1 (en) * 2015-10-29 2017-05-04 Empire Technology Development Llc Alignment markers to facilitate detection of object orientation and deformation
CN108772304A (zh) * 2018-07-12 2018-11-09 杭州慧仓信息科技有限公司 一种基于智能穿梭车的立体分拣系统及其操作方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ARTUR SAGITOV 等: ""Effects of rotation and systematic occlusion on fiducial marker recognition", 《MATEC WEB OF CONFERENCES》 *
张天厚: "基于机器视觉的编织袋图像处理与分析", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
李中生: "机器视觉在机器人码垛系统中的应用研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110888348A (zh) * 2019-10-17 2020-03-17 广东原点智能技术有限公司 一种基于激光slam的机器人码垛控制方法及其控制系统
CN110962128A (zh) * 2019-12-11 2020-04-07 广东电科院能源技术有限责任公司 一种变电站巡检布点方法及巡检机器人控制方法
CN110962128B (zh) * 2019-12-11 2021-06-29 南方电网电力科技股份有限公司 一种变电站巡检布点方法及巡检机器人控制方法
CN111311691A (zh) * 2020-03-05 2020-06-19 上海交通大学 拆垛机器人拆垛方法及系统
CN111583319A (zh) * 2020-05-13 2020-08-25 山东汇贸电子口岸有限公司 一种基于局部形变轮廓匹配的包装袋图像配准方法
CN111583319B (zh) * 2020-05-13 2022-06-21 山东汇贸电子口岸有限公司 一种基于局部形变轮廓匹配的包装袋图像配准方法

Similar Documents

Publication Publication Date Title
CN109584216A (zh) 面向机器人抓取作业的可变形料袋视觉识别与定位方法
DE112019000125B4 (de) Systeme, vorrichtungen und verfahren zur automatisierten verpackungsregistrierung
CN108305264B (zh) 一种基于图像处理的无人机精确着陆方法
CN104331894A (zh) 一种基于双目立体视觉的机器人拆垛方法
CN103411553B (zh) 多线结构光视觉传感器的快速标定方法
CN105729468B (zh) 一种基于多深度摄像机增强的机器人工作台
DE112010005008B4 (de) System und Verfahren zur Bestimmung von Kamerafehlkalibrierung im Laufzeitbetrieb
CN108171748A (zh) 一种面向机器人智能抓取应用的视觉识别与定位方法
CN110211180A (zh) 一种基于深度学习的机械臂自主抓取方法
CN104923593B (zh) 一种基于视觉的顶层折弯板材定位方法
CN107063228A (zh) 基于双目视觉的目标姿态解算方法
CN107192331A (zh) 一种基于双目视觉的工件抓取方法
CN106625676A (zh) 一种汽车智能制造自动上料的三维视觉精确引导定位方法
CN106600647A (zh) 一种双目视觉多线投影结构光标定方法
DE102014212304A1 (de) Informationsverarbeitungsvorrichtung, Informationsverarbeitungsverfahren und Speichermedium
US11654571B2 (en) Three-dimensional data generation device and robot control system
CN110480637A (zh) 一种基于Kinect传感器的机械臂零件图像识别抓取方法
CN106530276A (zh) 一种用于非标准件抓取的机械手定位方法以及定位系统
CN106123772A (zh) 一种核燃料棒位姿自动识别装置与方法
CN110148187A (zh) 一种SCARA机械手Eye-in-Hand的高精度手眼标定方法和系统
CN111311691A (zh) 拆垛机器人拆垛方法及系统
CN108469254A (zh) 一种适用于仰视和俯视位姿的大视场多视觉视频测量系统全局标定方法
CN109813334A (zh) 基于双目视觉的实时高精度车辆里程计算方法
CN110065075A (zh) 一种基于视觉的空间细胞机器人外部状态感知方法
CN110110823A (zh) 基于rfid和图像识别的物体辅助识别系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190405