CN111595266A - 空间复杂走向导管视觉识别方法 - Google Patents

空间复杂走向导管视觉识别方法 Download PDF

Info

Publication number
CN111595266A
CN111595266A CN202010491201.1A CN202010491201A CN111595266A CN 111595266 A CN111595266 A CN 111595266A CN 202010491201 A CN202010491201 A CN 202010491201A CN 111595266 A CN111595266 A CN 111595266A
Authority
CN
China
Prior art keywords
catheter
robot
grabbing
conduit
identification method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010491201.1A
Other languages
English (en)
Inventor
王永红
马涛
黄欣磊
任文坚
赵灿
刘国增
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Aerospace Engine Co Ltd
Original Assignee
Xian Aerospace Engine Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Aerospace Engine Co Ltd filed Critical Xian Aerospace Engine Co Ltd
Priority to CN202010491201.1A priority Critical patent/CN111595266A/zh
Publication of CN111595266A publication Critical patent/CN111595266A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
    • G01N23/04—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching

Abstract

本发明提供了一种空间复杂走向导管视觉识别方法，根据导管型号调取预设的导管摆放姿态图；根据导管摆放姿态图所示，将多根相同型号的导管摆放在上料盘中；利用相机拍摄上料盘中导管摆放姿态，与导管图像模板进行相似度对比，若大于设定的相似度阈值，则系统识别通过并确定导管抓取定位点；机器人抓取导管抓取定位点并运动到射线检测等待工位。本发明能够实现多种类空间复杂走向导管的快速识别，并为机器人提供导管的实时空间坐标位置，以便机器人精确的进行导管的抓取和运动路径规划，进而实现导管焊缝的X射线自动化检测，提高导管焊缝的X射线检测效率和检测结果的一致性。

Description

空间复杂走向导管视觉识别方法
技术领域
本发明涉及一种实现空间异形导管的自动化检测，尤其涉及多种类型空间复杂走向导管的外形轮廓的快速识别。
背景技术
空间复杂走向导管焊缝内部质量的检测一般采用X射线照相检测工艺，但由于X射线照相检测需要经过导管照相标识制作及粘贴、切装X射线胶片、导管摆放透照、冲洗胶片、底片评定等多个环节，工艺流程繁琐且各个环节只能采用手动操作方式，特别是导管的摆放，要满足X射线检测标准中对导管焊缝透照的方向、角度、透照次数等要求，使得导管焊缝的X射线透照检测时间随着导管空间走向的复杂程度而增加，导管焊缝的检测效率低，检测劳动强度高，且X射线照相的一致性受透照过程的影响大。在此背景下，亟需研究一种空间复杂走向导管视觉识别方法，适合不同类型导管的快速识别，并能够为机器人提供复杂走向导管的实时坐标位置，以便机器人精确的进行导管的抓取和运动路径规划，进而实现导管焊缝的X射线自动化检测。现有的空间视觉识别方法至少需要两个不同视角的相机才能完成。
发明内容
为了克服现有技术的不足，本发明提供一种空间复杂走向导管视觉识别方法，能够实现多种类空间复杂走向导管的快速识别，并为机器人提供导管的实时空间坐标位置，以便机器人精确的进行导管的抓取和运动路径规划，进而实现导管焊缝的X射线自动化检测，提高导管焊缝的X射线检测效率和检测结果的一致性。
本发明解决其技术问题所采用的技术方案包括以下步骤：
1)根据导管型号调取预设的导管摆放姿态图；姿态图中的导管至少有一个直线段贴紧上料盘；
2)根据导管摆放姿态图所示，将多根相同型号的导管摆放在上料盘中；
3)利用相机拍摄上料盘中导管摆放姿态，与导管图像模板进行相似度对比，若大于设定的相似度阈值，则系统识别通过并确定导管抓取定位点；抓取定位点的选取确保在抓取和移动过程中机器人与导管相互不干涉；
4)机器人抓取导管抓取定位点并运动到射线检测等待工位。
所述的确定导管抓取点包括以下步骤：
a)获取上料盘中单根导管的图像；
b)以导管轴向发生改变处为感兴趣区域，对导管感兴趣区域进行提取；
c)计算导管感兴趣区域特征；
d)将导管在水平面内翻转180，分别记录导管的机械手抓取点位。
所述的导管感兴趣区域特征计算采用基恩世相机拍摄完成。
所述的机器人抓取导管包括以下步骤：
a)获取上料盘中多根同形状导管的图像；
b)对图像中导管进行特征匹配；
c)计算导管图像特征；
d)反求机械手抓取点坐标；
e)引导机器人抓取导管；相似度越高，抓取优先权越高。
所述的步骤1)在导管的多个姿态中选择贴紧上料盘的直线段最长的方案。
所述的步骤3)中优选抓取相似度高的导管。
所述的步骤3)中抓取点的选取确保在抓取和移动过程中机器人与导管相互不干涉，并在此前提下选择最接近导管质心的点。
所述的步骤3)中抓取点的选取确保在抓取和移动过程中机器人与导管相互不干涉，并在此前提下选择最接近导管几何中心的点。
本发明的有益效果是：
1)改变了目前没有空间复杂走向导管识别方法的现状，仅采用一个相机就能够完成空间复杂走向导管识别；
2)采用本发明的视觉识别模式，可以在200ms内快速识别不同类型的空间复杂走向导管的外形轮廓，为机器人提供实时的坐标位置，指引机器人精确的进行导管的抓取；
3)使复杂空间复杂走向导管的自动检测成为可能；
4)提升工厂数字化检测水平，配合MES系统可有效地缩短检测周期；
5)检测过程中可实现无人值守，大幅降低劳动强度。
具体实施方式
下面结合实施例对本发明进一步说明，本发明包括但不仅限于下述实施例。
针对目前各种三维空间复杂走向导管无法快速识别，进而无法实现导管焊缝的自动化检测，导致大量的复杂走向导管X射线检测效率低、检测一致性差的问题，本发明研究出了一种适用于空间复杂走向导管快速识别的视觉识别方法，其特点是建立机器人坐标系和视觉坐标系映射关系，对导管感兴趣区域进行图像采集并计算该区域特征，制作成导管视觉定位模板；检测过程中，通过对待检测导管图像进行特征匹配，获得导管抓取点位的空间坐标，并通过信号交互，引导机器人抓取导管，再通过对导管检测运动路径的规划，实现空间复杂走向导管的检测自动化。
本发明采用工业相机、镜头、光源、相机控制器、光源控制器、识别平台、操作器、显示器、六轴机器人和导管抓手完成识别和抓取任务。
本发明采用空间复杂走向导管视觉识别方法进行空间复杂走向导管焊缝内部质量检测的步骤如下：
1、输入与导管型号唯一对应的导管图号，控制系统切换到导管的相机模板，调取预设的导管摆放姿态图；姿态图中的导管至少有一个直线段贴紧上料盘，且在多个姿态中尽可能选择贴紧上料盘的直线段最长的方案。
2、检测人员按照姿态图示，将多根相同图号的导管摆放在上料盘上。
3、机器人抓取上料盘并运送到工业相机检测识别工位。
4、工业相机拍摄导管摆放姿态，并通过相机后台计算机计算分析，与导管图像模板进行相似度对比，若大于设定的相似度阈值，则系统识别通过并确定导管抓取点(同批导管，相似度越高，抓取优先权越高)，并将导管抓取定位点的空间位置坐标发送至机器人。抓取点的选取必须确保在抓取和移动过程中机器人与导管相互不干涉，并在此前提下选择最接近导管质心的点或者最接近导管几何中心的点。
5、机器人抓取导管定位点并运动到射线检测等待工位。
6、射线机发送导管检测点位到控制系统，控制系统与机器人进行信号交互，控制机器人将导管移动到检测点位。
7、控制系统收到机器人到达检测点位的反馈信号后与射线机进行信号交互，切换到射线检测模式，开启射线机高压对导管进行检测。
8、射线机与控制系统进行信号交互，控制系统与机器人进行信号交互，机器人抓举导管运动到下一个检测位置。
9、导管检测完毕后，机器人将导管摆放在完成工位的上料盘上，并与控制系统设定的检测数量对比，若数量一致，则本批导管检测结束。控制系统与铅房运动系统进行信号交互，铅房运输通道门开启，同时，机器人抓取完成上料盘并将上料盘运送、放置到铅房运输通道。
上述的步骤1之前，需先建立机器人坐标系和相机视觉坐标系的映射关系。
上述的确定导管抓取点包括以下步骤：
a)获取上料盘中单根导管的图像；
b)以导管轴向发生改变处为感兴趣区域，对导管感兴趣区域进行提取；
c)计算导管感兴趣区域特征；
d)将导管在水平面内翻转180，分别记录导管在0°、180°位置的机械手抓取点位。
上述的导管感兴趣区域特征计算采用基恩世相机拍摄完成。
上述的机器人抓取导管包括以下步骤：
a)获取上料盘中多根同形状导管的图像；
b)对图像中导管进行特征匹配；
c)计算导管图像特征；
d)反求机械手抓取点坐标；
e)引导机器人抓取导管；相似度越高，抓取优先权越高。
本发明包括导管标定、导管轮廓识别和机器人坐标转换功能，能够满足不同类型空间复杂走向导管的识别要求，实现更高精度、更大范围的检测，能够以110ms(16倍速)的速度传输2100万有效像素(5104×4092)的大尺寸图像，识别精度≤0.05mm，并且能够为机器人提供导管实时的空间坐标位置，以便机器人精确的进行导管的抓取和运动路径规划。
本发明能够满足500种以上三维空间复杂走向导管的自动识别，对于导管空间走向、材料种类无限制要求，兼容范围大，自动化程度高，并具有可扩展功能。
本发明的导管识别平台实现了不同种类的空间复杂走向导管的随意摆放，满足视觉识别系统工业相机的拍摄要求。
本发明在相机四周设置了光源，满足了导管识别拍照的光照要求，这种光源的光照满足视觉识别系统工业相机的拍摄需求。
本发明通过对不同类型的三维空间复杂走向导管图像摆放注册、搜索对象确定、相似度阈值确定、机械手坐标注册等功能的应用集成设计和导管特征的提取，实现了导管标定、导管轮廓识别和机器人坐标转换功能。
本发明设计了导管抓手，实现了导管视觉识别后，机器人带动抓手对不同类型的三维空间复杂走向导管的精准抓取，使导管焊缝的射线检测摆放效率大幅提升。
本发明将三维空间走向的导管进行分段，只选择导管与上料盘平面接触部分，特别是对有弧度和弯曲度的特征区域进行轮廓捕捉、图像采集并计算特征区域特征，将三维空间走向导管的立体识别简化为二维平面识别，可在200ms内完成导管轮廓识别，大幅缩短了识别时间；
本发明将导管在上料盘水平面做180°旋转，在0°、180°位置分别采集图像，确定导管定位点的唯一性，确保导管在指定平面任意摆放姿态的情况下，机器人抓取定位点后检测方向的一致性；
本发明突破工业相机与机器人交互协同技术，在工业相机采集导管图像并经后台计算机处理和分析后，精确定位导管的空间坐标，通过信号交互，引导机器人准确抓取导管定位点
本发明设计了导管视觉识别平台和导管运输上料盘，上料盘的尺寸根据检测导管的种类和数量、检测节拍、工业相机的识别焦距等因素综合考虑确定；上料盘采用铝合金框架结构，以保证既有一定刚性又尽可能轻便；上料盘盘面粘贴一层白色、不反光的硅胶板，以确保视觉识别效果；上料盘侧边设计有快插接口。
本发明设计了视觉照明系统，照明系统采用条形视觉光源，四根LED专用视觉照明灯管平均分布在视觉识别平台上方，在视觉识别过程中，光源不能有任何晃动，也不能在视觉平台上留下光照阴影。

Claims (8)

1.一种空间复杂走向导管视觉识别方法，其特征在于包括以下步骤：
1)根据导管型号调取预设的导管摆放姿态图；姿态图中的导管至少有一个直线段贴紧上料盘；
2)根据导管摆放姿态图所示，将多根相同型号的导管摆放在上料盘中；
3)利用相机拍摄上料盘中导管摆放姿态，与导管图像模板进行相似度对比，若大于设定的相似度阈值，则系统识别通过并确定导管抓取定位点；抓取定位点的选取确保在抓取和移动过程中机器人与导管相互不干涉；
4)机器人抓取导管抓取定位点并运动到射线检测等待工位。
2.根据权利要求1所述的空间复杂走向导管视觉识别方法，其特征在于所述的确定导管抓取点包括以下步骤：a)获取上料盘中单根导管的图像；b)以导管轴向发生改变处为感兴趣区域，对导管感兴趣区域进行提取；c)计算导管感兴趣区域特征；d)将导管在水平面内翻转180，分别记录导管的机械手抓取点位。
3.根据权利要求1所述的空间复杂走向导管视觉识别方法，其特征在于：所述的导管感兴趣区域特征计算采用基恩世相机拍摄完成。
4.根据权利要求1所述的空间复杂走向导管视觉识别方法，其特征在于所述的机器人抓取导管包括以下步骤：a)获取上料盘中多根同形状导管的图像；b)对图像中导管进行特征匹配；c)计算导管图像特征；d)反求机械手抓取点坐标；e)引导机器人抓取导管；相似度越高，抓取优先权越高。
5.根据权利要求1所述的空间复杂走向导管视觉识别方法，其特征在于：所述的步骤1)在导管的多个姿态中选择贴紧上料盘的直线段最长的方案。
6.根据权利要求1所述的空间复杂走向导管视觉识别方法，其特征在于：所述的步骤3)中优选抓取相似度高的导管。
7.根据权利要求1所述的空间复杂走向导管视觉识别方法，其特征在于：所述的步骤3)中抓取点的选取确保在抓取和移动过程中机器人与导管相互不干涉，并在此前提下选择最接近导管质心的点。
8.根据权利要求1所述的空间复杂走向导管视觉识别方法，其特征在于：所述的步骤3)中抓取点的选取确保在抓取和移动过程中机器人与导管相互不干涉，并在此前提下选择最接近导管几何中心的点。
CN202010491201.1A 2020-06-02 2020-06-02 空间复杂走向导管视觉识别方法 Pending CN111595266A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010491201.1A CN111595266A (zh) 2020-06-02 2020-06-02 空间复杂走向导管视觉识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010491201.1A CN111595266A (zh) 2020-06-02 2020-06-02 空间复杂走向导管视觉识别方法

Publications (1)

Publication Number Publication Date
CN111595266A true CN111595266A (zh) 2020-08-28

Family

ID=72181869

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010491201.1A Pending CN111595266A (zh) 2020-06-02 2020-06-02 空间复杂走向导管视觉识别方法

Country Status (1)

Country Link
CN (1) CN111595266A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114850691A (zh) * 2022-04-12 2022-08-05 西安航天发动机有限公司 一种定制化导管余量自动去除工艺方法
CN116883488A (zh) * 2023-07-21 2023-10-13 捷安特(中国)有限公司 一种圆形管的中心位置确定方法、装置、设备及介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1760457A (zh) * 2005-11-08 2006-04-19 陈绍华 地下管线防护警示带
CN203635532U (zh) * 2013-11-22 2014-06-11 宜昌中威清洗机有限公司 一种智能机器人柔性在线清洗机
CN104729455A (zh) * 2014-12-04 2015-06-24 北京航空航天大学 一种基于测量数据的管路柔性装焊机器人位姿计算方法
CN104842132A (zh) * 2015-05-05 2015-08-19 深圳市品印宝智能科技有限公司 自动装管装置及自动装管方法
US20160354875A1 (en) * 2011-02-17 2016-12-08 Lavalley Industries, Llc Position adjustable grapple attachment
CN107218928A (zh) * 2017-05-12 2017-09-29 西北工业大学 一种复杂多管路系统检测方法
BR112012018564A2 (pt) * 2010-01-29 2018-07-31 Sumitomo Metal Ind aparelho de inspeção de defeitos
CN108801175A (zh) * 2018-06-29 2018-11-13 北京航空航天大学 一种高精度空间管路测量系统及方法
CN109470149A (zh) * 2018-12-12 2019-03-15 北京理工大学 一种管路位姿的测量方法及装置
CN110509281A (zh) * 2019-09-16 2019-11-29 中国计量大学 基于双目视觉的位姿识别与抓取的装置与方法
CN111136656A (zh) * 2019-12-24 2020-05-12 上海智殷自动化科技有限公司 一种用于机器人三维不规则物体自动识别及抓取的方法
CN111178296A (zh) * 2019-12-31 2020-05-19 深圳市鲲鹏智能装备制造有限公司 多工件视觉定位和识别方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1760457A (zh) * 2005-11-08 2006-04-19 陈绍华 地下管线防护警示带
BR112012018564A2 (pt) * 2010-01-29 2018-07-31 Sumitomo Metal Ind aparelho de inspeção de defeitos
US20160354875A1 (en) * 2011-02-17 2016-12-08 Lavalley Industries, Llc Position adjustable grapple attachment
CN203635532U (zh) * 2013-11-22 2014-06-11 宜昌中威清洗机有限公司 一种智能机器人柔性在线清洗机
CN104729455A (zh) * 2014-12-04 2015-06-24 北京航空航天大学 一种基于测量数据的管路柔性装焊机器人位姿计算方法
CN104842132A (zh) * 2015-05-05 2015-08-19 深圳市品印宝智能科技有限公司 自动装管装置及自动装管方法
CN107218928A (zh) * 2017-05-12 2017-09-29 西北工业大学 一种复杂多管路系统检测方法
CN108801175A (zh) * 2018-06-29 2018-11-13 北京航空航天大学 一种高精度空间管路测量系统及方法
CN109470149A (zh) * 2018-12-12 2019-03-15 北京理工大学 一种管路位姿的测量方法及装置
CN110509281A (zh) * 2019-09-16 2019-11-29 中国计量大学 基于双目视觉的位姿识别与抓取的装置与方法
CN111136656A (zh) * 2019-12-24 2020-05-12 上海智殷自动化科技有限公司 一种用于机器人三维不规则物体自动识别及抓取的方法
CN111178296A (zh) * 2019-12-31 2020-05-19 深圳市鲲鹏智能装备制造有限公司 多工件视觉定位和识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
WANGYONGHONG: "Research and application of laser holography detection technology", 《JOURNAL OF ROCKET PROPULSION》 *
王治: "基于双目视觉的管路位姿测量", 《计算机集成制造系统》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114850691A (zh) * 2022-04-12 2022-08-05 西安航天发动机有限公司 一种定制化导管余量自动去除工艺方法
CN116883488A (zh) * 2023-07-21 2023-10-13 捷安特(中国)有限公司 一种圆形管的中心位置确定方法、装置、设备及介质
CN116883488B (zh) * 2023-07-21 2024-03-26 捷安特(中国)有限公司 一种圆形管的中心位置确定方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
CN109483554B (zh) 基于全局和局部视觉语义的机器人动态抓取方法及系统
CN110509300B (zh) 基于三维视觉引导的钢箍加工上料控制系统及控制方法
CN108399639B (zh) 基于深度学习的快速自动抓取与摆放方法
CN107618030B (zh) 基于视觉的机器人动态跟踪抓取方法及系统
CN110524582B (zh) 一种柔性组对焊接机器人工作站
CN107471218B (zh) 一种基于多目视觉的双臂机器人手眼协调方法
CN106546173B (zh) 用于检测元器件的设备及其检测方法
CN107009391B (zh) 机器人抓取方法
CN110751691B (zh) 一种基于双目视觉的管件自动抓取方法
CN111595266A (zh) 空间复杂走向导管视觉识别方法
CN110827256B (zh) 透明构件缺陷的光学和热红外多级成像检测方法及装置
CN113146172A (zh) 一种基于多视觉的检测与装配系统及方法
CN108501009A (zh) 一种捡蛋机器人
CN114405866B (zh) 视觉引导钢板分拣方法、视觉引导钢板分拣装置和系统
CN112775959A (zh) 机械手的抓取位姿确定方法及系统、存储介质
CN114758236A (zh) 一种非特定形状物体识别、定位与机械手抓取系统及方法
CN105904126B (zh) 一种基于视觉定位的机器人焊接系统及焊接方法
CN109848998A (zh) 一种用于3c行业视觉柔性的四轴机器人
CN105987917A (zh) 蓝宝石长晶缺陷及表面缺陷光学检测方法和检测系统
CN115629066A (zh) 一种基于视觉引导的面向自动配线的方法及装置
CN113744247A (zh) 一种pcb焊点缺陷识别方法和系统
CN108501008A (zh) 一种捡蛋夹爪
CN113021391A (zh) 一种集成视觉机器人夹爪及其使用方法
CN111397509B (zh) 一种蜡烛芯校正方法和系统
CN116030449B (zh) 一种激光切割件的自动分拣方法及自动分拣系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200828

RJ01 Rejection of invention patent application after publication