CN112729150B - 机器人夹持下的导管测量方法 - Google Patents

机器人夹持下的导管测量方法 Download PDF

Info

Publication number
CN112729150B
CN112729150B CN201910972377.6A CN201910972377A CN112729150B CN 112729150 B CN112729150 B CN 112729150B CN 201910972377 A CN201910972377 A CN 201910972377A CN 112729150 B CN112729150 B CN 112729150B
Authority
CN
China
Prior art keywords
bent pipe
central axis
image
edge
robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910972377.6A
Other languages
English (en)
Other versions
CN112729150A (zh
Inventor
陈月玲
夏仁波
赵吉宾
赵亮
付生鹏
刘明洋
于彦凤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenyang Institute of Automation of CAS
Original Assignee
Shenyang Institute of Automation of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenyang Institute of Automation of CAS filed Critical Shenyang Institute of Automation of CAS
Priority to CN201910972377.6A priority Critical patent/CN112729150B/zh
Publication of CN112729150A publication Critical patent/CN112729150A/zh
Application granted granted Critical
Publication of CN112729150B publication Critical patent/CN112729150B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/155—Segmentation; Edge detection involving morphological operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Abstract

本发明涉及一种机器人夹持下的导管测量方法。其步骤为：同步触发多目视觉测量箱内的多个工业相机采集不同视角下的多幅原始图像，借助于过度分割边缘、组合平行边缘对以及剔除错误边缘等方法去除测量过程中夹爪的干扰，然后对边缘图像进行骨架提取得到弯管图像的中轴线,借助于图像分割将中轴线分割成直线段和椭圆段区域,最后利用极线约束对控制点进行三维重建，扫掠得到弯管的三维模型。本发明方法能实现在机器人夹持下的导管测量，能够自动去除夹爪的干扰，有效的重建管路的三维模型，得到的精确的控制点，鲁棒性强、精度高、效率高。

Description

机器人夹持下的导管测量方法
技术领域
本发明涉及计算机视觉技术领域,具体的说是机器人夹持下的导管测量方法。
背景技术
在国内工业自动化日益发展的今天，工业机器人自动化水平也得到了显著的提高，并逐渐成为了自动生产未来的趋势。然而实现导管的自动化生产，离不开导管的自动化测量。导管的自动化测量需要在工业机器人的辅助下完成，进而才可以实现导管自动化切割、焊接、装配等一系列的导管智能制造的需求。
目前对成型的弯管测量方式有接触式测量以及非接触式测量方式，其中接触式测量方法，例如靠模法、三坐标测量机、关节式坐标测量机等，这些方法存在对比装置制造困难，容易造成损伤或变形，效率低，过分依赖操作者主观判断，无法重建三维模型以及无定位基准等缺陷。非接触式测量方法，例如光栅扫描、多目视觉测量扫描等，这些方法虽然精度高，但是无法应用到自动化生产线中，无法对导管进行基准定位。
因此亟需改变传统人工配管效率低、可靠性不高的局面，有效提升自动化装配的数字化和精益化水平。
如何有效地缩短研制时间、降低研制成本、提高产品质量是弯管快速加工制造的主要目的。
发明内容
针对现有技术中存在的上述不足之处，本发明要解决的技术问题是提供一种机器人夹持下的导管测量方法，该方法有效的利用多目视觉处理算法，剔除了机器人夹爪的干扰，实现了导管的自动化生产，有效地缩短研制时间、降低研制成本、提高产品质量。
本发明为实现上述目的所采用的技术方案是：机器人夹持下的导管测量方法，包括以下步骤：
步骤1：同步触发多目视觉测量箱内的多个工业相机；
步骤2：工业相机采集不同视角下的多幅原始图像；
步骤3：对每一幅原始图像进行如下处理，得到分割的弯管中心轴线；
i.提取边缘图像并预处理：
ii.去除图像上夹持部件，得到仅包含弯管的弯管轮廓区域：
iii.提取弯管轮廓区域的中心轴线：
iiii.将弯管中心轴线分割成直线段和椭圆段；
步骤4：选取控制点，由全局标定得到工业相机的内外参数，并借助极线约束进行控制点匹配，得到弯管的空间三维控制点；
步骤5：连接弯管相邻的空间三维控制点，形成弯管空间三维中心轴线，将弯管中心轴线作为路径进行扫掠，得到导管三维模型。
所述多目视觉测量箱由若干个处于不同位置的工业相机、背光光源、匀光板以及箱体构成，其中工业相机均匀布置于箱体内壁的上方，背光光源以及匀光板设置于箱体内的底部。
所述工业相机的布局位置使得其测量范围覆盖背光光源的整个视场。
所述提取边缘图像并预处理包括：
利用Canny算子对图像进行边缘亚像素提取，得到包含夹持部件和弯管的边缘图像；
去除轮廓长度小于阈值的边缘像素；
利用导管沿中轴线对称的形态，剔除图像中的边缘干扰像素。
所述去除图像上夹持部件，得到仅包含弯管的弯管轮廓区域包括：
在图像中组合平行的边缘像素，再将平行边缘的距离大于阈值的边缘轮廓剔除掉，得到仅包含弯管的弯管轮廓区域。
所述提取弯管轮廓区域的中心轴线包括：
将得到弯管轮廓区域进行填充，再采用形态学开运算去除前景图像中的噪声区域；
对弯管轮廓的边缘区域进行骨架提取，得到弯管轮廓区域的中心轴线。
所述骨架提取包括：以距离两侧边界上两点等距的像素点作为中轴线的像素点，用于得到图像细化的骨架。
所述选取控制点为：利用相邻两个直线段的交点作为两幅图像中待匹配的控制点。
本发明具有以下有益效果及优点：
1.本发明所述的机器人夹持下的导管测量方法能有效的重建导管的三维模型。
2.本发明所述的机器人夹持下的导管测量方法能够剔除夹持夹爪的干扰有效得到导管控制点。
3.本发明所述的机器人夹持下的导管测量方法可以有效地应用到管路的自动化生产线中，推进导管的智能制造进程。
附图说明
图1为本发明方法流程图；
图2(a)为本发明方法中机器人夹持下的原始图像一；
图2(b)为本发明方法中机器人夹持下的原始图像一处理后的中心轴线图像；
图3(a)为本发明方法中机器人夹持下的原始图像二；
图3(b)为本发明方法中机器人夹持下的原始图像二处理后的中心轴线图像；
图4(a)为本发明方法中机器人夹持下的原始图像三；
图4(b)为本发明方法中机器人夹持下的原始图像三处理后的中心轴线图像；
图5为本发明方法中所采用的导管三维重建图。
具体实施方式
下面结合附图及实施例对本发明做进一步的详细说明。
参照附图1，本发明所述结合拓扑关系和极线约束的管路三维重建方法的具体步骤如下：
步骤1：机器人自动夹持弯曲后的弯管，将弯管送入多目视觉测量箱。
多目视觉测量箱由八个处于不同位置的工业相机、背光光源、匀光板以及密闭的箱体构成，其中工业相机处于箱体内部的顶部，背光光源以及匀光板处于箱体内部的底部。八个工业相机的布局保证测量范围可以覆盖背光光源的整个视场，确保无死角。
步骤2：同步触发多个工业相机采集不同视角下的原始图像；
步骤3：对每一幅弯管图像进行如下步骤3.1至步骤3.7的处理，得到分割的弯管中心轴线；
i.提取边缘图像并预处理(步骤3.1-3.3)：
步骤3.1：利用Canny算子对图像进行边缘亚像素提取，得到包含夹持部件和弯管的边缘图像；
步骤3.2：滤除边缘图像上弯管的干扰边缘，即去除轮廓长度小于threshold的边缘，实验中，threshold＝80；
步骤3.3：由于导管的边缘区域是接近于对称的，因此在分割前将没有对称区域的轮廓剔除掉(即利用导管沿中轴线对称的形态，进一步剔除图像中的干扰像素)；
ii.去除图像上夹持部件，得到仅包含弯管的弯管轮廓区域：
步骤3.4：由于夹持部件在图像上呈现为两个仿形的长方形块，即在图像中其边缘显现为平行的边缘，因此在图像中组合平行的边缘像素，再将平行边缘的距离大于阈值threshold1的边缘轮廓剔除掉(夹持机构的仿形的长方形块的像素阈值为threshold1＝100)，就得到仅包含弯管的弯管轮廓区域；
iii.提取弯管轮廓区域的中心轴线(步骤3.5-3.6)：
步骤3.5：将得到弯管轮廓区域进行填充，用形态学开运算去除前景图像中的噪声区域。所述噪声指的是图像在数字化和传输过程中常受到成像设备与外部环境噪声干扰等影响。
步骤3.6：对弯管轮廓的边缘区域进行骨架提取，得到弯管轮廓区域的中心轴线；所述骨架提取包括：以距离两侧边界上两点等距的像素点作为中轴线的像素点，用于得到图像细化的骨架。
iiii.将弯管中心轴线分割成直线段和椭圆段；
步骤3.7：将弯管中心轴线分割成直线段和椭圆段；包括：将弯管中心轴线近似的通过一个过度分割的多边形曲线来表示，遍历多边形曲线的每条边；如果拟合直线段的误差小于拟合椭圆段的误差，则彼此相邻的线段就被合并为直线段；如果拟合椭圆的误差小于拟合直线的误差，则彼此相邻的线段就被合并为椭圆弧；迭代处理多边形曲线的所有边，直到没有可以合并的直线段为止。
步骤4：利用相邻两个直线段的交点作为两幅图像中待匹配的控制点，由全局标定得到工业相机的内外参数，并借助极线约束进行控制点匹配，得到导管的空间三维控制点。如图2(a)、3(a)、4(a)为本发明方法中机器人夹持下的三幅原始图像，如图2((b))、3(b)、4(b)为本发明方法中对原始图像处理之后的三幅图像。
所述内外参数，包括：
内参数表示从工业相机坐标系到像平面坐标系的变换，像平面坐标系用像素单位表示；每个镜头的畸变程度各不相同，包括径向畸变、偏心畸变；利用二维柔性靶标对每个工业相机的内参数进行标定；
外参数表示从工业相机坐标系到世界坐标系的变换矩阵，通过旋转矩阵R和平移矩阵T实现。
步骤5：连接弯管相邻的空间三维控制点，形成弯管空间三维中心轴线，将弯管中心轴线作为路径进行扫掠，得到导管三维模型。如图5所示，为本发明方法中所采用的导管三维重建图。
所述扫掠就是将二维图形转为三维图形的建模方法，是将一个二维形体对象作为沿某个路径(例如是弯管中心轴线方向)的剖面，而形成的三维图形。
本发明对多种管路进行测量，测量精度可以达到0.15mm，测量时间效率2s。测量精度高，效率高，克服了机器人夹爪的干扰，具有较强的稳定性。

Claims (7)

1.机器人夹持下的导管测量方法，其特征在于，包括以下步骤：
步骤1：同步触发多目视觉测量箱内的多个工业相机；
步骤2：工业相机采集不同视角下的多幅原始图像；
步骤3：对每一幅原始图像进行如下处理，得到分割的弯管中心轴线；
i.提取边缘图像并预处理：
ii.去除图像上夹持部件，得到仅包含弯管的弯管轮廓区域：在图像中组合平行的边缘像素，再将平行边缘的距离大于阈值的边缘轮廓剔除掉，得到仅包含弯管的弯管轮廓区域；
iii.提取弯管轮廓区域的中心轴线：
iiii.将弯管中心轴线分割成直线段和椭圆段；
步骤4：选取控制点，由全局标定得到工业相机的内外参数，并借助极线约束进行控制点匹配，得到弯管的空间三维控制点；
步骤5：连接弯管相邻的空间三维控制点，形成弯管空间三维中心轴线，将弯管中心轴线作为路径进行扫掠，得到导管三维模型。
2.根据权利要求1所述的机器人夹持下的导管测量方法，其特征在于，所述多目视觉测量箱由若干个处于不同位置的工业相机、背光光源、匀光板以及箱体构成，其中工业相机均匀布置于箱体内壁的上方，背光光源以及匀光板设置于箱体内的底部。
3.根据权利要求2所述的机器人夹持下的导管测量方法，其特征在于，所述工业相机的布局位置使得其测量范围覆盖背光光源的整个视场。
4.根据权利要求1所述的机器人夹持下的导管测量方法，其特征在于，所述提取边缘图像并预处理包括：
利用Canny算子对图像进行边缘亚像素提取，得到包含夹持部件和弯管的边缘图像；
去除轮廓长度小于阈值的边缘像素；
利用导管沿中轴线对称的形态，剔除图像中的边缘干扰像素。
5.根据权利要求1所述的机器人夹持下的导管测量方法，其特征在于，所述提取弯管轮廓区域的中心轴线包括：
将得到弯管轮廓区域进行填充，再采用形态学开运算去除前景图像中的噪声区域；
对弯管轮廓的边缘区域进行骨架提取，得到弯管轮廓区域的中心轴线。
6.根据权利要求5所述的机器人夹持下的导管测量方法，其特征在于，所述骨架提取包括：以距离两侧边界上两点等距的像素点作为中轴线的像素点，用于得到图像细化的骨架。
7.根据权利要求1所述的机器人夹持下的导管测量方法，其特征在于，所述选取控制点为：利用相邻两个直线段的交点作为两幅图像中待匹配的控制点。
CN201910972377.6A 2019-10-14 2019-10-14 机器人夹持下的导管测量方法 Active CN112729150B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910972377.6A CN112729150B (zh) 2019-10-14 2019-10-14 机器人夹持下的导管测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910972377.6A CN112729150B (zh) 2019-10-14 2019-10-14 机器人夹持下的导管测量方法

Publications (2)

Publication Number Publication Date
CN112729150A CN112729150A (zh) 2021-04-30
CN112729150B true CN112729150B (zh) 2021-10-22

Family

ID=75588589

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910972377.6A Active CN112729150B (zh) 2019-10-14 2019-10-14 机器人夹持下的导管测量方法

Country Status (1)

Country Link
CN (1) CN112729150B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114850691A (zh) * 2022-04-12 2022-08-05 西安航天发动机有限公司 一种定制化导管余量自动去除工艺方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101176872A (zh) * 2007-11-30 2008-05-14 华南理工大学 基于机器视觉的物料实时检测及异物剔除系统
WO2012081587A1 (ja) * 2010-12-14 2012-06-21 株式会社ニコン 検査方法、検査装置、露光管理方法、露光システムおよび半導体デバイス
CN102980664A (zh) * 2012-11-12 2013-03-20 北京航空航天大学 超像素微扫描方法及相应的红外超分辨率实时成像装置
CN105809736A (zh) * 2016-03-14 2016-07-27 北京理工大学 一种管路的三维重建方法及装置
CN106153634A (zh) * 2016-09-22 2016-11-23 武汉科技大学 一种用于自动测试耐火砖抗热震性的图像采集与处理系统
CN106501281A (zh) * 2016-10-21 2017-03-15 广东技术师范学院 一种全自动精密短钢管质量检测系统
CN107218928A (zh) * 2017-05-12 2017-09-29 西北工业大学 一种复杂多管路系统检测方法
CN108074277A (zh) * 2016-11-18 2018-05-25 中国科学院沈阳自动化研究所 一种面向数字化制造的弯管测量和余量定位方法
CN109102516A (zh) * 2017-06-20 2018-12-28 成都飞机工业（集团）有限责任公司 一种鲁棒的弯管中心线提取方法
CN208333545U (zh) * 2018-05-28 2019-01-04 韦士肯(厦门)智能科技有限公司 一种智能型自动化发动机油管检测线
CN109285210A (zh) * 2017-07-19 2019-01-29 中国科学院沈阳自动化研究所 结合拓扑关系和极线约束的管路三维重建方法
CN109872277A (zh) * 2017-12-04 2019-06-11 北京京东尚科信息技术有限公司 信息处理方法和装置

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101176872A (zh) * 2007-11-30 2008-05-14 华南理工大学 基于机器视觉的物料实时检测及异物剔除系统
WO2012081587A1 (ja) * 2010-12-14 2012-06-21 株式会社ニコン 検査方法、検査装置、露光管理方法、露光システムおよび半導体デバイス
CN102980664A (zh) * 2012-11-12 2013-03-20 北京航空航天大学 超像素微扫描方法及相应的红外超分辨率实时成像装置
CN105809736A (zh) * 2016-03-14 2016-07-27 北京理工大学 一种管路的三维重建方法及装置
CN106153634A (zh) * 2016-09-22 2016-11-23 武汉科技大学 一种用于自动测试耐火砖抗热震性的图像采集与处理系统
CN106501281A (zh) * 2016-10-21 2017-03-15 广东技术师范学院 一种全自动精密短钢管质量检测系统
CN108074277A (zh) * 2016-11-18 2018-05-25 中国科学院沈阳自动化研究所 一种面向数字化制造的弯管测量和余量定位方法
CN107218928A (zh) * 2017-05-12 2017-09-29 西北工业大学 一种复杂多管路系统检测方法
CN109102516A (zh) * 2017-06-20 2018-12-28 成都飞机工业（集团）有限责任公司 一种鲁棒的弯管中心线提取方法
CN109285210A (zh) * 2017-07-19 2019-01-29 中国科学院沈阳自动化研究所 结合拓扑关系和极线约束的管路三维重建方法
CN109872277A (zh) * 2017-12-04 2019-06-11 北京京东尚科信息技术有限公司 信息处理方法和装置
CN208333545U (zh) * 2018-05-28 2019-01-04 韦士肯(厦门)智能科技有限公司 一种智能型自动化发动机油管检测线

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
A 3D reconstruction method for pipeline inspection based on multi-vision;Zhang, T;《MEASUREMENT》;20170228;全文 *
基于Steger算法的弯管图像中心线检测方法;夏仁波;《组合机床与自动化加工技术》;20200531;全文 *
基于多目视觉的弯管空间参数测量方法;张天;《仪器仪表学报》;20130228;全文 *

Also Published As

Publication number Publication date
CN112729150A (zh) 2021-04-30

Similar Documents

Publication Publication Date Title
CN111044522B (zh) 缺陷检测方法、装置及终端设备
CN112581457B (zh) 一种基于三维点云的管道内表面检测方法及装置
CN108921176B (zh) 一种基于机器视觉的指针式仪表定位与识别方法
CN107798326B (zh) 一种轮廓视觉检测方法
CN111462054B (zh) 一种点胶质量检测方法
CN109615653B (zh) 基于深度学习与视场投影模型的渗漏水面积检测与识别方法
CN109615654B (zh) 基于双目视觉的排水管道内表面腐蚀深度及面积测量方法
KR20020077420A (ko) 시험편의 주조 결함을 자동으로 검출하는 검출 방법
CN107218928A (zh) 一种复杂多管路系统检测方法
CN106996748A (zh) 一种基于双目视觉的轮径测量方法
CN110345877B (zh) 一种管板孔径和节距测量方法
CN108694713B (zh) 一种基于立体视觉的星箭对接环局部环段识别与测量方法
Birdal et al. Online inspection of 3d parts via a locally overlapping camera network
CN114029946A (zh) 一种基于3d光栅引导机器人定位抓取的方法、装置及设备
CN102798349A (zh) 一种基于等灰度线搜索的三维表面提取方法
CN112729150B (zh) 机器人夹持下的导管测量方法
CN112381847A (zh) 管路端头空间位姿测量方法及系统
CN116228652A (zh) 一种基于三维点云曲率的管道焊缝表面缺陷检测方法
CN111008602B (zh) 一种小曲率薄壁零件用二维和三维视觉结合的划线特征提取方法
CN112508885B (zh) 一种弯管的三维中轴线检测方法及系统
CN109285210B (zh) 结合拓扑关系和极线约束的管路三维重建方法
CN116258838B (zh) 一种用于管片模具合模系统的智能视觉引导方法
CN116673597A (zh) 用于双v复合型坡口的激光线图像特征提取系统及方法
CN109373901B (zh) 位于平面上的孔的中心位置的计算方法
CN116372938A (zh) 一种基于双目立体视觉三维重建的表取采样机械臂精调方法及其装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant