CN108074264A - 一种分级多目视觉定位方法、系统及装置 - Google Patents

一种分级多目视觉定位方法、系统及装置 Download PDF

Info

Publication number
CN108074264A
CN108074264A CN201711237778.4A CN201711237778A CN108074264A CN 108074264 A CN108074264 A CN 108074264A CN 201711237778 A CN201711237778 A CN 201711237778A CN 108074264 A CN108074264 A CN 108074264A
Authority
CN
China
Prior art keywords
workspace
image
screw hole
video camera
obtains
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711237778.4A
Other languages
English (en)
Inventor
张青
陈和平
席宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Intelligent Robot Research Institute
Original Assignee
Shenzhen Intelligent Robot Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Intelligent Robot Research Institute filed Critical Shenzhen Intelligent Robot Research Institute
Priority to CN201711237778.4A priority Critical patent/CN108074264A/zh
Publication of CN108074264A publication Critical patent/CN108074264A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Abstract

本发明公开了一种分级多目视觉定位方法、系统及装置，方法包括在多个摄像机中，建立每个摄像机之间的空间坐标变换关系，得到坐标转换矩阵；分别对每个摄像机进行参数标定，得到每个摄像机的内外参数，并对所有摄像机进行位置标定；通过多个摄像机对工作区进行图像采集，得到多个工作区图像；对工作区图像进行处理，并进行螺孔识别定位，得到螺孔的目标位置。本发明通过多个摄像机对螺栓进行识别和精确定位，从而可将识别定位的结果数据反馈到高精度的执行机构，实现螺栓智能识别和螺栓中心位置的自动对准，解决了多螺栓同步装配的自适应定位问题，有效提高了装配机器人的智能程度和定位精度。本发明可广泛应用于螺栓装配中。

Description

一种分级多目视觉定位方法、系统及装置
技术领域
本发明涉及图像分析技术领域，尤其涉及一种分级多目视觉定位方法、系统及装置。
背景技术
在螺栓装配应用中，有两个主要的问题：一是需要机器人在进行装配前自动找到待装配螺纹孔的位置；二是在装配过程中对装配位置补偿位置误差。目前市场上的主流工业机器人都不能都自动适应外部环境的变化，仅能在严格得定义结构化环境中执行预定的指令动作，缺乏对环境的感知与应变能力。
发明内容
为了解决上述技术问题，本发明的目的是提供一种准确率较高的分级多目视觉定位方法、系统及装置。
本发明所采取的技术方案是：
一种分级多目视觉定位方法，包括以下步骤：
在多个摄像机中，建立每个摄像机之间的空间坐标变换关系，得到坐标转换矩阵；
分别对每个摄像机进行参数标定，得到每个摄像机的内外参数，并对所有摄像机进行位置标定；
通过多个摄像机对工作区进行图像采集，得到多个工作区图像；
对工作区图像进行处理，并进行螺孔识别定位，得到螺孔的目标位置。
作为所述的一种分级多目视觉定位方法的进一步改进，所述的对工作区图像进行处理，并进行螺孔识别定位，这一步骤具体包括：
从工作区图像中选取被跟踪螺孔的局部图像作为模板图像；
根据模板图像，在原工作区图像中进行基于区域的匹配，并建立坐标系；
根据被跟踪螺孔的形状，建立一个对应的搜索区域；
在搜索区域中提取螺孔的特征，并根据特征在每个工作区图像中查找到对应的特征，得到每个工作区图像的位置特征信息；
对每个工作区图像的位置特征信息进行融合，得到螺孔的目标位置。
作为所述的一种分级多目视觉定位方法的进一步改进，所述的目标位置的计算公式为：
p＝W*F；
其中，p表示目标位置，W表示每个摄像机的工作区图像对应的权重，F表示每个工作区图像的位置特征信息。
本发明所采用的另一个技术方案是：
一种分级多目视觉定位系统，包括：
转换建立单元，用于在多个摄像机中，建立每个摄像机之间的空间坐标变换关系，得到坐标转换矩阵；
标定单元，用于分别对每个摄像机进行参数标定，得到每个摄像机的内外参数，并对所有摄像机进行位置标定；
图像采集单元，用于通过多个摄像机对工作区进行图像采集，得到多个工作区图像；
定位识别单元，用于对工作区图像进行处理，并进行螺孔识别定位，得到螺孔的目标位置。
作为所述的一种分级多目视觉定位系统的进一步改进，所述的定位识别单元具体包括：
模板选取单元，用于从工作区图像中选取被跟踪螺孔的局部图像作为模板图像；
坐标系建立单元，用于根据模板图像，在原工作区图像中进行基于区域的匹配，并建立坐标系；
搜索区域建立单元，用于根据被跟踪螺孔的形状，建立一个对应的搜索区域；
位置查找单元，用于在搜索区域中提取螺孔的特征，并根据特征在每个工作区图像中查找到对应的特征，得到每个工作区图像的位置特征信息；
目标位置计算单元，用于对每个工作区图像的位置特征信息进行融合，得到螺孔的目标位置。
作为所述的一种分级多目视觉定位系统的进一步改进，所述的目标位置的计算公式为：
p＝W*F；
其中，p表示目标位置，W表示每个摄像机的工作区图像对应的权重，F表示每个工作区图像的位置特征信息。
本发明所采用的再一个技术方案是：
一种分级多目视觉定位装置，包括：
存储器，用于存放程序；
处理器，用于执行所述程序，所述程序使得所述处理器执行所述的分级多目视觉定位方法。
本发明的有益效果是：
本发明一种分级多目视觉定位方法、系统及装置通过多个摄像机对螺栓进行识别和精确定位，从而可将识别定位的结果数据反馈到高精度的执行机构，实现螺栓智能识别和螺栓中心位置的自动对准，解决了多螺栓同步装配的自适应定位问题，有效提高了装配机器人的智能程度和定位精度。
附图说明
图1是本发明一种分级多目视觉定位方法的步骤流程图；
图2是本发明一种分级多目视觉定位系统的模块方框图。
具体实施方式
下面结合附图对本发明的具体实施方式作进一步说明：
参考图1，本发明一种分级多目视觉定位方法，包括以下步骤：
在多个摄像机中，建立每个摄像机之间的空间坐标变换关系，得到坐标转换矩阵；
分别对每个摄像机进行参数标定，得到每个摄像机的内外参数，并对所有摄像机进行位置标定；
通过多个摄像机对工作区进行图像采集，得到多个工作区图像；
对工作区图像进行处理，并进行螺孔识别定位，得到螺孔的目标位置。
进一步作为优选的实施方式，所述的对工作区图像进行处理，并进行螺孔识别定位，这一步骤具体包括：
从工作区图像中选取被跟踪螺孔的局部图像作为模板图像；
根据模板图像，在原工作区图像中进行基于区域的匹配，并建立坐标系；
根据被跟踪螺孔的形状，建立一个对应的搜索区域；
在搜索区域中提取螺孔的特征，并根据特征在每个工作区图像中查找到对应的特征，得到每个工作区图像的位置特征信息；
对每个工作区图像的位置特征信息进行融合，得到螺孔的目标位置。
进一步作为优选的实施方式，所述的目标位置的计算公式为：
p＝W*F；
其中，p表示目标位置，W表示每个摄像机的工作区图像对应的权重，F表示每个工作区图像的位置特征信息。
本发明实施例中，在装配机器人上安装多目摄像机，能够在装配过程中对每个螺栓无死角的进行位置追踪，安装在工作台周围的多目摄像机，能够在大视野范围内提供对机器人的定位，以便于机器人摄像头进行数据融合。
本实施例中经摄像机对工作区进行拍摄，计算机通过本发明中使用的图像识别方法，提取跟踪特征，进行数据识别和计算，通过逆运动学求解得到机器人各关节位置误差值，最后控制高精度的末端执行机构，最后调整机器人的位姿。
本实施例中，假设多级相机的集合可以用Cn表示，其中，n代表摄像机的层级，C0代表安装在工作台环境中的摄像机集合，C1代表安装在机器人上的摄像机集合，建立每个摄像机之间的空间坐标变换关系，表示Cn中的第i个摄像机到Cm中的第j个摄像机的坐标转换矩阵。每个摄像机中的任意空间坐标的转换可以用一下公式表达为：
然后对单个摄像机进行参数标定，确定每个摄像机的内外参数，再进行多摄像机的位置标定。
通过多个摄像机对工作区进行图像采集，得到多个工作区图像，从多个工作区图像选取被跟踪螺孔的局部图像作为模板图像T。以局部图像T为模板，在工作区图像中进行基于区域的匹配，并以T的工件的左下角为原点，建立坐标系。然后定义一个搜索区域ROI，根据要提取的特征选择区域的形状，本实施例中选择环形区域。搜索区域必须包含全部目标特征。在ROI中提取工件的特征。该步骤相当于离线学习的过程，每次使用前只需要学习一次即可。通过离线学习，系统得到ROI与工件的相对位置关系，以便实时识别中工件出现偏移、翻转等，ROI都可以准确出现在合适位置。离线学习后，视觉系统经过区域匹配、阀值分割和边缘提取等步骤找到需要识别的特征(本实施例中是圆孔的圆点)。
本发明采用的就是基于区域的相关匹配方法。它是把一幅图像中的某一点的灰度领域作为模板，在另一幅图像中搜索具有相同(或相似)灰度值分布的对应点领域，从而实现两幅图像的匹配。在基于区域相关的算法中，要匹配的元素是固定尺寸的图像窗口，相似准则是两幅图像中窗口间的相关性度量。当搜索区域中的元素使相似性准则最大化时，则认为元素是匹配的。
定义P(i，j)是模板图像中一点，取以P(i，j)为中心的某一邻域作为相关窗口K，大小为(2w+1)，假设K在原始图中，水平方向平移Δu，垂直方向平移Δu后，K所覆盖下的那块搜索区域叫做子图Sk，若K和Sk相同，则它们的差为零，否则不为零。由此定义K和Sk的相关函数为：
当D(K,SK)达到最小，K与Sk达到最佳匹配。
工作台上的螺孔与工作台在形状和颜色方面具有很大的差别，螺孔为近似圆形，一般在补偿光的作用下一般为黑色，可将这一信息作为识别工件的重要特征。
工件的边缘处灰度有急剧的变化，可以以此判断出工件的边界点。采用扫描线的方法，扫描方向上灰度剧变的像素点就是边界点。最后，通过最小二乘法把找到的边界点拟合出圆周，并计算出圆心位置。
在系统搭建和标定完成后，通过图像特征提取识别到了螺栓的位置特征。然后将隐形马尔科夫原理和卡尔曼滤波的引入到了分级多目视觉系统的图像信息中。假设在每个摄像机中的特征信息为则螺孔目标位置
p＝W*F
其中W是每个相机对应的权重，其值是由其所在的层级和位置学习而得到的。由此，可以融合多摄像机的图像信息，提高目标位置识别的准确率。
参考图2，本发明一种分级多目视觉定位系统，包括：
转换建立单元，用于在多个摄像机中，建立每个摄像机之间的空间坐标变换关系，得到坐标转换矩阵；
标定单元，用于分别对每个摄像机进行参数标定，得到每个摄像机的内外参数，并对所有摄像机进行位置标定；
图像采集单元，用于通过多个摄像机对工作区进行图像采集，得到多个工作区图像；
定位识别单元，用于对工作区图像进行处理，并进行螺孔识别定位，得到螺孔的目标位置。
进一步作为优选的实施方式，所述的定位识别单元具体包括：
模板选取单元，用于从工作区图像中选取被跟踪螺孔的局部图像作为模板图像；
坐标系建立单元，用于根据模板图像，在原工作区图像中进行基于区域的匹配，并建立坐标系；
搜索区域建立单元，用于根据被跟踪螺孔的形状，建立一个对应的搜索区域；
位置查找单元，用于在搜索区域中提取螺孔的特征，并根据特征在每个工作区图像中查找到对应的特征，得到每个工作区图像的位置特征信息；
目标位置计算单元，用于对每个工作区图像的位置特征信息进行融合，得到螺孔的目标位置。
进一步作为优选的实施方式，所述的目标位置的计算公式为：
p＝W*F；
其中，p表示目标位置，W表示每个摄像机的工作区图像对应的权重，F表示每个工作区图像的位置特征信息。
本发明一种分级多目视觉定位装置，包括：
存储器，用于存放程序；
处理器，用于执行所述程序，所述程序使得所述处理器执行所述的分级多目视觉定位方法。
从上述内容可知，本发明一种分级多目视觉定位方法、系统及装置通过多个摄像机对螺栓进行识别和精确定位，从而可将识别定位的结果数据反馈到高精度的执行机构，实现螺栓智能识别和螺栓中心位置的自动对准，解决了多螺栓同步装配的自适应定位问题，有效提高了装配机器人的智能程度和定位精度。
以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (7)

1.一种分级多目视觉定位方法，其特征在于，包括以下步骤：
在多个摄像机中，建立每个摄像机之间的空间坐标变换关系，得到坐标转换矩阵；
分别对每个摄像机进行参数标定，得到每个摄像机的内外参数，并对所有摄像机进行位置标定；
通过多个摄像机对工作区进行图像采集，得到多个工作区图像；
对工作区图像进行处理，并进行螺孔识别定位，得到螺孔的目标位置。
2.根据权利要求1所述的一种分级多目视觉定位方法，其特征在于：所述的对工作区图像进行处理，并进行螺孔识别定位，这一步骤具体包括：
从工作区图像中选取被跟踪螺孔的局部图像作为模板图像；
根据模板图像，在原工作区图像中进行基于区域的匹配，并建立坐标系；
根据被跟踪螺孔的形状，建立一个对应的搜索区域；
在搜索区域中提取螺孔的特征，并根据特征在每个工作区图像中查找到对应的特征，得到每个工作区图像的位置特征信息；
对每个工作区图像的位置特征信息进行融合，得到螺孔的目标位置。
3.根据权利要求2所述的一种分级多目视觉定位方法，其特征在于：所述的目标位置的计算公式为：
p＝W*F；
其中，p表示目标位置，W表示每个摄像机的工作区图像对应的权重，F表示每个工作区图像的位置特征信息。
4.一种分级多目视觉定位系统，其特征在于，包括：
转换建立单元，用于在多个摄像机中，建立每个摄像机之间的空间坐标变换关系，得到坐标转换矩阵；
标定单元，用于分别对每个摄像机进行参数标定，得到每个摄像机的内外参数，并对所有摄像机进行位置标定；
图像采集单元，用于通过多个摄像机对工作区进行图像采集，得到多个工作区图像；
定位识别单元，用于对工作区图像进行处理，并进行螺孔识别定位，得到螺孔的目标位置。
5.根据权利要求4所述的一种分级多目视觉定位系统，其特征在于：所述的定位识别单元具体包括：
模板选取单元，用于从工作区图像中选取被跟踪螺孔的局部图像作为模板图像；
坐标系建立单元，用于根据模板图像，在原工作区图像中进行基于区域的匹配，并建立坐标系；
搜索区域建立单元，用于根据被跟踪螺孔的形状，建立一个对应的搜索区域；
位置查找单元，用于在搜索区域中提取螺孔的特征，并根据特征在每个工作区图像中查找到对应的特征，得到每个工作区图像的位置特征信息；
目标位置计算单元，用于对每个工作区图像的位置特征信息进行融合，得到螺孔的目标位置。
6.根据权利要求5所述的一种分级多目视觉定位系统，其特征在于：所述的目标位置的计算公式为：
p＝W*F；
其中，p表示目标位置，W表示每个摄像机的工作区图像对应的权重，F表示每个工作区图像的位置特征信息。
7.一种分级多目视觉定位装置，其特征在于，包括：
存储器，用于存放程序；
处理器，用于执行所述程序，所述程序使得所述处理器执行如权利要求1～3任一项所述的分级多目视觉定位方法。
CN201711237778.4A 2017-11-30 2017-11-30 一种分级多目视觉定位方法、系统及装置 Pending CN108074264A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711237778.4A CN108074264A (zh) 2017-11-30 2017-11-30 一种分级多目视觉定位方法、系统及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711237778.4A CN108074264A (zh) 2017-11-30 2017-11-30 一种分级多目视觉定位方法、系统及装置

Publications (1)

Publication Number Publication Date
CN108074264A true CN108074264A (zh) 2018-05-25

Family

ID=62157578

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711237778.4A Pending CN108074264A (zh) 2017-11-30 2017-11-30 一种分级多目视觉定位方法、系统及装置

Country Status (1)

Country Link
CN (1) CN108074264A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110253575A (zh) * 2019-06-17 2019-09-20 深圳前海达闼云端智能科技有限公司 一种机器人抓取的方法、终端及计算机可读存储介质
CN112720449A (zh) * 2019-10-14 2021-04-30 防灾科技学院 一种机器人定位装置及其控制系统
CN114174007A (zh) * 2019-09-11 2022-03-11 西门子（中国）有限公司 自主式机器人工装系统、控制系统、控制方法及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130307981A1 (en) * 2012-05-15 2013-11-21 Electronics And Telecommunications Research Institute Apparatus and method for processing data of heterogeneous sensors in integrated manner to classify objects on road and detect locations of objects
CN103495807A (zh) * 2013-09-27 2014-01-08 重庆大学 多机器人光纤激光切割系统
CN104647390A (zh) * 2015-02-11 2015-05-27 清华大学 用于机械臂遥操作的多摄像机联合主动跟踪目标的方法
CN105499953A (zh) * 2016-01-12 2016-04-20 中国科学院自动化研究所 基于工业机器人的汽车发动机活塞、缸体装配系统及方法
CN105729468A (zh) * 2016-01-27 2016-07-06 浙江大学 一种基于多深度摄像机增强的机器人工作台
CN206665009U (zh) * 2017-04-20 2017-11-24 东莞职业技术学院 一种smd金属件的智能分拣包装设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130307981A1 (en) * 2012-05-15 2013-11-21 Electronics And Telecommunications Research Institute Apparatus and method for processing data of heterogeneous sensors in integrated manner to classify objects on road and detect locations of objects
CN103495807A (zh) * 2013-09-27 2014-01-08 重庆大学 多机器人光纤激光切割系统
CN104647390A (zh) * 2015-02-11 2015-05-27 清华大学 用于机械臂遥操作的多摄像机联合主动跟踪目标的方法
CN105499953A (zh) * 2016-01-12 2016-04-20 中国科学院自动化研究所 基于工业机器人的汽车发动机活塞、缸体装配系统及方法
CN105729468A (zh) * 2016-01-27 2016-07-06 浙江大学 一种基于多深度摄像机增强的机器人工作台
CN206665009U (zh) * 2017-04-20 2017-11-24 东莞职业技术学院 一种smd金属件的智能分拣包装设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
廖万辉等: "基于机器视觉的工业机器人定位系统", 《微计算机信息》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110253575A (zh) * 2019-06-17 2019-09-20 深圳前海达闼云端智能科技有限公司 一种机器人抓取的方法、终端及计算机可读存储介质
CN110253575B (zh) * 2019-06-17 2021-12-24 达闼机器人有限公司 一种机器人抓取的方法、终端及计算机可读存储介质
CN114174007A (zh) * 2019-09-11 2022-03-11 西门子（中国）有限公司 自主式机器人工装系统、控制系统、控制方法及存储介质
CN112720449A (zh) * 2019-10-14 2021-04-30 防灾科技学院 一种机器人定位装置及其控制系统

Similar Documents

Publication Publication Date Title
CN110580723B (zh) 一种利用深度学习和计算机视觉进行精准定位的方法
CN111563442A (zh) 基于激光雷达的点云和相机图像数据融合的slam方法及系统
CN104217428B (zh) 一种融合特征匹配和数据关联的视频监控多目标跟踪方法
CN112560741A (zh) 一种基于人体关键点的安全穿戴检测方法
CN110910350B (zh) 一种用于风电塔筒的螺母松动检测方法
CN113052876B (zh) 一种基于深度学习的视频接力跟踪方法及系统
CN109145756A (zh) 基于机器视觉和深度学习的目标检测方法
CN108074264A (zh) 一种分级多目视觉定位方法、系统及装置
CN114495068B (zh) 基于人机交互和深度学习的路面健康检测方法
CN110245592A (zh) 一种用于提升监控场景的行人重识别率的方法
CN114972421A (zh) 车间物料识别追踪与定位方法、系统
CN113723389A (zh) 一种支柱式绝缘子定位方法及装置
CN111738264A (zh) 一种机房设备显示面板数据的智能采集方法
CN114187312A (zh) 目标物的抓取方法、装置、系统、存储介质及设备
Hong et al. Natural landmarks based localization algorithm for indoor robot with binocular vision
CN113420839B (zh) 用于堆叠平面目标物体的半自动标注方法及分割定位系统
Singh et al. Low-latency vision-based fiducial detection and localisation for object tracking
Lu et al. Research on target detection and tracking system of rescue robot
CN113688819A (zh) 一种基于标记点的目标物期望点跟踪匹配方法
CN112767433A (zh) 一种巡检机器人图像自动纠偏、分割与识别方法
Singh et al. Autonomous Multiple Gesture Recognition system for disabled people
CN113139946A (zh) 一种基于视觉的衬衫污渍定位设备
Yaohui et al. Visual alignment system for PCB production based on yolov5
Xu et al. A visual relocation algorithm with illumination changing robustness
Huang et al. Engineering Applications based on Industrial Robots and Machine Vision

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination