CN111667470A - 一种基于数字图像的工业管道探伤内壁检测方法 - Google Patents
一种基于数字图像的工业管道探伤内壁检测方法 Download PDFInfo
- Publication number
- CN111667470A CN111667470A CN202010507416.8A CN202010507416A CN111667470A CN 111667470 A CN111667470 A CN 111667470A CN 202010507416 A CN202010507416 A CN 202010507416A CN 111667470 A CN111667470 A CN 111667470A
- Authority
- CN
- China
- Prior art keywords
- image
- endoscope
- algorithm
- pipeline
- flaw detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 65
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 112
- 238000000034 method Methods 0.000 claims abstract description 51
- 238000013178 mathematical model Methods 0.000 claims abstract description 6
- 238000006073 displacement reaction Methods 0.000 claims description 19
- 230000000007 visual effect Effects 0.000 claims description 17
- 238000003384 imaging method Methods 0.000 claims description 13
- 230000011218 segmentation Effects 0.000 claims description 10
- 230000002708 enhancing effect Effects 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 6
- 230000000877 morphologic effect Effects 0.000 claims description 5
- 230000003287 optical effect Effects 0.000 claims description 4
- 230000006835 compression Effects 0.000 claims description 3
- 238000007906 compression Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 230000002093 peripheral effect Effects 0.000 claims description 3
- 230000018109 developmental process Effects 0.000 claims 1
- 230000007547 defect Effects 0.000 abstract description 14
- 230000006872 improvement Effects 0.000 abstract description 6
- 230000008569 process Effects 0.000 abstract description 6
- 230000000694 effects Effects 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 9
- 238000002474 experimental method Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 9
- 238000011156 evaluation Methods 0.000 description 7
- 238000004088 simulation Methods 0.000 description 6
- 238000012937 correction Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 239000010865 sewage Substances 0.000 description 3
- 230000007797 corrosion Effects 0.000 description 2
- 238000005260 corrosion Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Geometry (AREA)
- Multimedia (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于数字图像的工业管道探伤内壁检测方法，提出一种新的全景展开算法，该算法通过图像的增强，提高图像的分辨率；通过建立管道与内窥镜的数学模型，提取管道中心点的位置，提高展开的精度；通过按比例径向展开算法，增强算法的鲁棒性。其次本发明提出了对SIFT算法的改进，在保证继承原算法良好的旋转不变性的前提下实现了对原算法的时效性的改进。提出了一种基于相似度的特征点粗匹配过程，能够有效地提出大多错误的误匹配。提出了一种基于自适应阈值的RANSAC算法，不仅解决了原算法无法凭借经验精确定位合适阈值的缺点，同时还在参数性能上有所提升。
Description
技术领域
本发明属于管道无损检测检测技术领域，涉及一种基于数字图像的工业管道探伤内壁检测方法。
背景技术
随着机器视觉技术的广泛应用，越来越多的工程师、研究者们着力于基于视觉的管道检测技术的研究。就其研究领域而言可以分为两类：
一是管道自动检测系统。在国外，主要集中在城市管道自动检测，比如，加拿大康科迪亚大学学者Moselhi等开展了一种用于检测地下污水管道缺陷的自动化系统，该系统将神经网络与数字图像处理技术相结合，通过对管道图像分析和识别，从而对排水管道缺陷进行自动识别。美国普渡大学学者 Myung Jin Chae带领团队也研发了污水管道自动数据分析系统，该系统也是基于光学图像进行工作的[1]。我国长安大学学者孙朝云等，在VC++平台，基于图像处理技术开发了一种裂纹自动化检测技术，该项技术能校正所得的不均匀图像，再通过增强、分割等处理，自动分割出裂纹缺陷[2]。中国台湾金门大学学者苏东清团队研究出一种形态学分割算法，该算法在对外观多变、无规律管道缺陷有较好的识别能力[3]。
二是管道实时监测系统。加拿大蒙特利尔大学学者Mohammadreza等人研究出一种基于数字图像处理技术的城市管道腐蚀缺陷检测方法[4]。该方法首先采用图像预处理技术，比如：形态学处理、平滑、点处理、滤波、分割、二值等，对图像进行处理。然后通过迭代算法，有效获取管道腐蚀、裂纹等缺陷细节。我国北京工业大学学者何存富等人，开发出一种基于管道机器人检测系统。该系统将采集到的视频信号，通过无线方式即时传送到上位机上，再对采集到的视频进行分析处理[5]。该检测系统能够适应口径狭小，结构复杂的金属管道，但容易对管道造成二次伤害，并且该系统对管道缺陷图像处理过程简单，缺陷识别效果欠佳。成都电子机械学院学者陈应松等人也提出基于机器视觉策略的管内机器人系统，该系统具有识别管内障碍物的能力。其通过性能良好，可以进行各类管道的实时检测。但是该系统兼容性能差，无法有效的检测出管道各类缺陷[6]。
[1]Chae M J,Abraham D M.Neuro-Fuzzy Approaches for Sanitary SewerPipeline Condition Assessment[J].Journal of Computing in Civil Engineering,2001,15(1):4-14.
[2]孙朝云,褚燕利,樊瑶,等.基于VC++路面裂缝图像处理系统研究 [J].计算机应用与软件,2009,26(8):82-85.
[3]Yang M D,Yang Y F,Su T C,et al.An efficient fitness function ingenetic algorithm classifier for Landuse recognition on satellite images.[J].Scientific World Journal,2014,12(2):264-512.
[4]Motamedi M,Faramarzi F,Duran O.New concept for corrosioninspection of urban pipeline networks by digital image processing[J].TheJournal of Urology,2016,195(4):e1079-e1080.
[5]何存富,周龙,何守印,等.基于CCD的管内移动机器人管道缺陷检测系统[J].机械与电子,2006(10):33-35.
[6]陈应松,周瑜.基于视觉的机器人在管道检测中的远程控制研究[J]. 制冷与空调(四川),2010,24(4):133-137.
发明内容
本发明的目的是提供一种基于数字图像的工业管道探伤内壁检测方法，解决了现有管道探伤技术无法有效的检测出管道各类缺陷，对缺陷识别能力差、检测误差较大的问题。
本发明采用的技术方案是，一种基于数字图像的工业管道探伤内壁检测方法，具体操作步骤如下：
步骤1：建立内窥镜位姿成像模型，分析成像面与内窥镜位姿的关系，得到关于内窥镜内外圆环的中心点位置、内窥镜主点位置、类圆的长短轴长度数值与内窥镜的偏移角度及位移量之间关系的内外参数；
步骤2：根据步骤1标定得到内窥镜的内外参数；利用基于BEMD的改进算法对内窥镜探测得到的图像进行增强，增大有效区域面积；再利用基于大津法的改进分割算法，分割出无效区域，得到有效的圆环区域内图像；
步骤3：对步骤2得到的有效圆环内图像进行矫正与展开处理，得到管道内壁展开图像。
步骤4：将步骤3得到的有效圆环区域内的展开图像作为输入图像进行图像拼接，具体如下：
步骤4.1：预处理：首先对得到管道内壁展开图像进行形态学重建增强处理，使得到重建后的图像的探伤边缘轮廓信息更加清晰，接着利用指数增强函数方法对探伤图像进行图像增强处理，使探伤区域与背景区域相区分开，为后续的图像拼接步骤排除干扰；
步骤4.2：特征提取：对上述增强后的待拼接的探伤展开图像通过基于改进的SIFT检测算法进行管道内壁探伤图像的特征信息提取，从而获得特征点；
步骤4.3：图像匹配：对上一步骤得到的特征点通过欧氏距离进行特征匹配也就是粗匹配，是对所有的匹配点进行相似度的范围压缩，提出指点范围外的匹配对，提出的匹配对中绝大部分为错误匹配对。主要目的是提纯匹配对，进而缩减算法时间，提高算法时效性；然后再利用基于改进的自适应 RANSAC算法对特征点匹配对进行进一步的提纯，剔除掉错误的特征匹配对，符合RANSAC算法的数学模型的匹配对视为正确的，不符合模型的匹配判定为错误匹配。
步骤4.4：图像融合：采用像素灰度值加权融合算法对上述所得到的匹配信息的图像进行融合，最终实现完整的探伤区域。
步骤4.5：通过拼接后的图像进行面积统计，用来判断其是否需要更换或维修。
本发明的特点还在于，
步骤1内窥镜位姿成像模型包含四种位姿：
①内窥镜镜头视角与管道中轴线平行，且位于中轴线上，这种情况称之为理想状态，简称为“无角度偏移、无位移”，传统的管道全景展开算法应在此种状态下完成；
②内窥镜镜头视角与管道中轴线存在角度偏移，但其仍位于中轴线上，简称为“有角度偏移，无位移”；
③内窥镜镜头视角与中轴线平行，但不在中轴线上，简称为“无角度偏移，有位移”；
④内窥镜镜头视角不仅与中轴线存在角度偏移，而且也不位于中轴线上，简称为“有角度偏移，有位移”。
步骤2具体如下：
步骤2.1：首先确定内窥镜主点参数即摄像机的光心，采用张正友标定方法对内窥镜主点参数提取，得到主点参数数值；
步骤2.2：结合步骤2.1主点参数数值，采用基于BEMD的改进算法对内窥镜探测得到的图像进行增强，从而增大有效区域达到面积，提高图像的质量；
步骤2.3：图像的展开：将中心能见度低的无效区域与外围突出区域去除，从而得到有效的圆环区域内图像。
步骤3的管道内壁展开图像有两种展开放式：
①切向展开，即以圆形图像中的内外圆半径差作为展开后矩形的宽，外圆周长作为矩形的长，将环形图像展开为矩形图像；
②径向展开，对已经切向展开的图像再进行径向拉伸，通过求解管道内壁与成像面之间的几何关系，按求得的函数进行径向拉伸，从而校准图像，最终得到圆环区域的展开图像。
内窥镜设置于内窥管内，内窥管盘卷在盘卷机箱的转盘上，通过设置校直器将盘卷的内窥管拉直，同时校直器还可固定内窥管的位置，使内窥镜和内窥管伸入至管道内的管段均不与管道接触。
步骤2.1主点参数指的是内窥镜的偏移角度及位移量。
步骤4.2特征信息即不同尺度空间的特征点的位置、比例和旋转不变量信息。
本发明的有益效果，
本发明首先结合采集到的工业管道内壁视频特点(特点主要表现为：管道内窥镜拍摄到的，分辨率低、适用性差、内窥镜运行不稳定)提出一种新的全景展开算法，该算法通过图像的增强，提高图像的分辨率；通过建立管道与内窥镜的数学模型，提取管道中心点的位置，提高展开的精度；通过按比例径向展开算法，增强算法的鲁棒性。
其次本发明提出了对SIFT算法的改进，在保证继承原算法良好的旋转不变性的前提下实现了对原算法的时效性的改进。提出了一种基于相似度的特征点粗匹配过程，能够有效地提出大多错误的误匹配。提出了一种基于自适应阈值的RANSAC算法，不仅解决了原算法无法凭借经验精确定位合适阈值的缺点，同时还在参数性能上有所提升。
附图说明
图1是本发明一种基于数字图像的工业管道探伤内壁检测方法的流程图；
图2是本发明一种基于数字图像的工业管道探伤内壁检测方法的拼接效果图；
图3是本发明分割后的完整探伤图像；
图4是四种不同场景下图像增强后效果对比图；
图5是四种不同场景下图像分割后效果对比图；
图6(a)-(c)是三种径向展开算法结果图；
图7(a)-(e)是针对仿射变换的图像进行仿真实验结果图。
具体实施方式
下面结合具体实施方式对本发明进行详细说明。
本发明一种基于数字图像的工业管道探伤内壁检测方法，如图1-3所示，具体操作步骤如下：
步骤1：建立内窥镜位姿成像模型，分析成像面与内窥镜位姿的关系，得到关于内窥镜内外圆环的中心点位置、内窥镜主点位置、类圆的长短轴长度数值与内窥镜的偏移角度及位移量之间关系的内外参数；
内窥镜的四种位姿：
①内窥镜镜头视角与管道中轴线平行，且位于中轴线上，这种情况称之为理想状态，简称为“无角度偏移、无位移”，传统的管道全景展开算法应在此种状态下完成；
②内窥镜镜头视角与管道中轴线存在角度偏移，但其仍位于中轴线上，简称为“有角度偏移，无位移”；
③内窥镜镜头视角与中轴线平行，但不在中轴线上，简称为“无角度偏移，有位移”；
④内窥镜镜头视角不仅与中轴线存在角度偏移，而且也不位于中轴线上，简称为“有角度偏移，有位移”。
步骤2：根据步骤1标定得到内窥镜的内外参数；利用基于BEMD的改进算法对内窥镜探测得到的图像进行增强，增大有效区域面积；再利用基于大津法的改进分割算法，分割出无效区域，得到有效的圆环区域内图像；
步骤2.1：首先确定内窥镜主点参数即摄像机的光心，采用张正友标定方法对内窥镜主点参数提取，得到主点参数数值；
步骤2.2：结合步骤2.1所述主点参数数值，采用基于BEMD的改进算法对内窥镜探测得到的图像进行增强，从而增大有效区域达到面积，提高图像的质量；
步骤2.3：图像的展开：将中心能见度低的无效区域与外围突出区域去除，从而得到有效的圆环区域内图像。
步骤3：对步骤2得到的有效圆环内图像进行矫正与展开处理，得到管道内壁展开图像。
①切向展开，即以圆形图像中的内外圆半径差作为展开后矩形的宽，外圆周长作为矩形的长，将环形图像展开为矩形图像；
②径向展开，对已经切向展开的图像再进行径向拉伸，通过求解管道内壁与成像面之间的几何关系，按求得的函数进行径向拉伸，从而校准图像，最终得到圆环区域的展开图像。
步骤4：将步骤3得到的有效圆环区域内的展开图像作为输入图像进行图像拼接，具体如下：
步骤4.1：预处理：首先对得到管道内壁展开图像进行形态学重建增强处理，使得到重建后的图像的探伤边缘轮廓信息更加清晰，接着利用指数增强函数方法对探伤图像进行图像增强处理，使探伤区域与背景区域相区分开，为后续的图像拼接步骤排除干扰；
步骤4.2：特征提取：对上述增强后的待拼接的探伤展开图像通过基于改进的SIFT检测算法进行管道内壁探伤图像的特征信息提取，从而获得特征点；
步骤4.3：图像匹配：对上一步骤得到的特征点通过欧氏距离进行特征匹配也就是粗匹配，是对所有的匹配点进行相似度的范围压缩，提出指点范围外的匹配对，提出的匹配对中绝大部分为错误匹配对。主要目的是提纯匹配对，进而缩减算法时间，提高算法时效性；然后再利用基于改进的自适应 RANSAC算法对特征点匹配对进行进一步的提纯，剔除掉错误的特征匹配对，符合RANSAC算法的数学模型的匹配对视为正确的，不符合模型的匹配判定为错误匹配。
步骤4.4：图像融合：采用像素灰度值加权融合算法对上述所得到的匹配信息的图像进行融合，最终实现完整的探伤区域。
步骤4.5：通过拼接后的图像进行面积统计，用来判断其是否需要更换或维修。
所述内窥镜设置于内窥管内，所述内窥管盘卷在盘卷机箱的转盘上，通过设置校直器将盘卷的内窥管拉直，同时校直器还可固定内窥管的位置，使内窥镜和内窥管伸入至管道内的管段均不与管道接触。
步骤2.1所述主点参数指的是内窥镜的偏移角度及位移量。
步骤4.2所述特征信息即不同尺度空间的特征点的位置、比例和旋转不变量信息。
传统方法与本发明方案的优缺点比较：
1、由于传统摄像系统由于其视场限制，无法满足全景视场要求。为了解决这一问题，通常是在普通摄像机镜头前加装一个特别的镜面，形成类似的全景图像。这一方法往往导致了图像的径向畸变，而且图像的分辨率也不均匀。
2、扇形法：需要将展开前的环形图像，分成若干个扇形，分别进行图像校正，得到相应的矩形；然后，将这些矩形挨个拼接；最后，合成一幅全景的图像。这种方法需要经历多次的分割与合并，图像像素点也需要经历多次的遍历，需要解决计算量特别大的问题。
3、坐标变换法：该方法首先将展开前的环形图像中的所有像素点对应到级数坐标系中，然后转换到笛卡尔坐标系中。该方法具有速度快、效果好的特点，但是对不同的管道需要重新建立映射关系，适用性不强。
4、映射法：该方法首先将展开前的环形图像通过相应在映射关系，将其中的像素点投影到柱面上，从而得到管道全景图。有学者再此基础上，通过全景中心定位方法，改善了展开后的精准度，但是无法适用于内窥镜拍摄不稳定的画面。
5、本发明的研究解决的问题是基于热力管道进行管道内部的无损检测，以此来对管道内部损伤进行精确估算，通过对管道内部探伤的面积数据判断其是否在安全性隐患。进而达到降低事故率以保障人身安全，及时维护、更换管道以减少经济损失的作用。
发明要点：
(1)建立相机位姿与管道成像图之间的数学模型，并分析得到位移、偏转角与图像之间的联系，纠正了其他论文中的模型错误。
(2)由于管道图像中心部位属于低照度图像，通过学习研究相关图像增强处理方法，提出改进的基于BEMD图像增强算法，其不仅能增强边缘还能保留内部纹理与灰阶信息，同样适用于其他低照度图像，经实验表明，增强后的图像信息量提高约10％。
(3)研究因光照达不到管道深处，很多管壁信息因光照不足丢失，需要基于区域的分割方法来划分有效区域。在研究大津法、区域生长法等相关图像处理方法，提出了一种改进的基于大津法的局部迭代区域分割算法，该算法能较好地分离出有效与无效区域。
(4)根据摄像机视角与焦距，提出一种近大远小的径向展开模型，通过实验对比，本文算法较其他分段插值，最小二乘法拟合法等，效果图连续性与鲁棒性较好。
(5)提出了对SIFT算法的改进，在保证继承原算法良好的旋转不变性的前提下实现了对原算法的时效性的改进。
(6)提出了一种基于相似度的特征点粗匹配过程，能够有效地提出大多错误的误匹配。
(7)提出了一种基于自适应阈值的RANSAC算法，不仅解决了原算法无法凭借经验精确定位合适阈值的缺点，同时还在参数性能上有所提升。
实施例：
对所得到的探伤进行面积统计，我们将融合后的完整探伤图像进行阈值分割，得到分割后的二值图像如图3所示：通过统计得到该图中黑色像素的个数是11955，总像素的个数是69387，黑色像素点占总像素的比率为 17.23％。通过测量我们可以得到管道的内径，通过比例数据都可以得到真实的探伤面积。
1、关于图像增强
如图4所示，四种不同场景下本发明方法与传统算法进行对比
表1算法质量评价对比表
由表1可知，在保证图像质量与边缘清晰的条件下，本发明算法提高了原始图像的信息量及清晰度，较其他两种算法，细节更清楚。在保证图像质量的前提下，本发明算法与传统的高频强调滤波相比，处理后的图像所包含的信息相对丰富，均方误差小更小，同时原有图像的噪声得到抑制，拥有更高的信噪比，其边缘保持指数也较好。本发明算法在与BEMD算法比较时，实验结果图在局部细节上更加清晰，所含信息量更大。
2、关于图像矫正
表2不同偏转角度的图像中心偏移矫正算法处理效果图
由表2展示了不同偏转角度的图像中心偏移矫正算法处理效果；在未做偏转角度矫正时，偏转角度越大，黑色区域越多，现根据黑色区域所占比例进行详细数据对比，得到传统算法与本发明算法误差分析表3。
表3传统算法与本文算法误差分析表
根据上表可以得到，传统算法由于未做矫正，其展开图存在的误差较大，无法正确恢复关键帧图像，而本文算法在进行矫正后，可以较好的复原原始图像。
文献[7]唐爱平.管道内壁全景图像自适应展开算法研究[J].图学学报, 2015,36(6):973-977.
文献[8]周媛媛,罗斌,等.钻孔摄像机器人视频序列拼接[J].云南民族大学学报(自然科学板)。
3、关于图像展开
对图6(a)-图6(c)所展示的三种算法的径向展开图进行每行的径向间距测量文献7、文献8和本文算法的径向间距以实际值为均值进行标准差计算，数值分别为：7.74、3.11和4.2。数据可得文献8的恢复效果优于本文算法，但其在径向展开前，需要对管道，进行黑白网格点的标定，计算拟合方程的参数值，而本文算法省去了这一步，本文算法大大简化了图像的展开步骤，缩短了展开时间，也提高了本文算法的鲁棒性。
4、关于图像拼接
为了测试我们改进的RANSAC算法相关性能，我们分别就原算法即 RANSAC算法的Threshold1与Threshold5、文献[9]、文献[10]、以及本文所提出的基于自适应的RANSAC改进算法进行仿真实验，从多个现实中可能造成对预想的影响因素进行实测，并通过以上参数对不同算法进行评价。
文献[9]Zhao Y,Hong R,Jiang J.Visual summarization of imagecollections by fastRANSAC.Neurocomputing 2016；172:48–52.
文献[10]Lowe,D.G.:Distinctive image features from scale-invariantkeypoints.Int.J.
a.实验一：针对角度变换的图像进行仿真实验，仿真实验评价参数统计结果如表4所示。
表4通过对匹配总数、运行时间、误匹配率、正确匹配率、FP、FN的评价标准，对角度变换的图像的实验结果数据。
使用不同阈值的RANSAC算法用于消除误匹配现象。对误匹配的消除的效果大不相同。如表4所示，RANSAC性能受到阈值的影响，相对于阈值为1的RANSAC算法，阈值为5的RANSAC算法具有较少特征点匹配对数，但两者的误匹配率都高于文献[9][10]中的算法和本文算法。而本文算法在各参数上基本都优于文献[9]、[10]算法，虽然在误报率上不如文献[9]中的算法，但正确匹配对的总数远远高于文献[9]。因此，结合对各个参数综合判定，本文算法性能优于其他算法。
b.实验二：针对仿射变换的图像进行仿真实验，实验结果的评价参数统计结果如表5所示。
表5通过对匹配总数、运行时间、误匹配率、正确匹配率、FP、FN的评价标准，对仿射变换图像的实验结果数据。
根据表5可以看出虽然原始设定阈值的RANSAC算法的时间消耗较少，且于算法误报率和本文算法。但由于其正确匹配概率较低，我们无法确定当数据量较多时，其是否还能继续保持同时会产生更多的误匹配。本文提出的算法能够删除误匹配的同时保留更多的正确的匹配，在算法速度上也比文献 [9]和文献[10]中算法快，准确率高于其他算法。因此通过本次实验的数据统计结果来看，本文提出算法不仅可以自适应的到更为精确的阈值，同时在性能参数较其他算法也更优越。
c.实验三：针对一对仿射变换的图像进行仿真实验，并在图中标记了不匹配的结果。实验结果其评价参数统计结果如表6所示。
表6通过对匹配总数、运行时间、误匹配率、正确匹配率、FP、FN的评价标准，对清晰度变换图像的实验结果数据。
图7(a)、(b)、(c)、(d)、(e)分别为RANSAC算法Threshold1、 Threshold5、文献[9]、文献[10]以及本文算法仿射变换实验结果图；由此可以看出，使用不同阈值的RANSAC算法用于消除误匹配现象。对误匹配的消除的效果大不相同。
根据表6和图7(a)-(e)可以看出，本次实验中传统的RANSAC算法的整体参数依然劣于改进算法。而在本次实验中发现文献[9]中算法在本次实验中剔除了所有的误匹配对。该参数直观感受很好，但我们发现其保留下的正确匹配数远小于本文提出算法的结果，同时在其他参数综合考量后发现本文算法不仅可以在误匹配较低的情况下保持更多的误匹配。因此结合其他参数的衡量以及对数据量算法鲁棒性等因素的考虑，依然是本文算法在参数综合评定中表现更好。
Claims (7)
1.一种基于数字图像的工业管道探伤内壁检测方法，其特征在于，按照以下步骤实施：
步骤1：建立内窥镜位姿成像模型，分析成像面与内窥镜位姿的关系，得到关于内窥镜内外圆环的中心点位置、内窥镜主点位置、类圆的长短轴长度数值与内窥镜的偏移角度及位移量之间关系的内外参数；
步骤2：根据步骤1标定得到内窥镜的内外参数；利用基于BEMD的改进算法对内窥镜探测得到的图像进行增强，增大有效区域面积；再利用基于大津法的改进分割算法，分割出无效区域，得到有效的圆环区域内图像；
步骤3：对步骤2得到的有效圆环内图像进行矫正与展开处理，得到管道内壁展开图像。
步骤4：将步骤3得到的有效圆环区域内的展开图像作为输入图像进行图像拼接，具体如下：
步骤4.1：预处理：首先对得到管道内壁展开图像进行形态学重建增强处理，使得到重建后的图像的探伤边缘轮廓信息更加清晰，接着利用指数增强函数方法对探伤图像进行图像增强处理，使探伤区域与背景区域相区分开，为后续的图像拼接步骤排除干扰；
步骤4.2：特征提取：对上述增强后的待拼接的探伤展开图像通过基于改进的SIFT检测算法进行管道内壁探伤图像的特征信息提取，从而获得特征点；
步骤4.3：图像匹配：对上一步骤得到的特征点通过欧氏距离进行特征匹配也就是粗匹配，是对所有的匹配点进行相似度的范围压缩，提出指点范围外的匹配对，提出的匹配对中绝大部分为错误匹配对。主要目的是提纯匹配对，进而缩减算法时间，提高算法时效性；然后再利用基于改进的自适应RANSAC算法对特征点匹配对进行进一步的提纯，剔除掉错误的特征匹配对，符合RANSAC算法的数学模型的匹配对视为正确的，不符合模型的匹配判定为错误匹配。
步骤4.4：图像融合：采用像素灰度值加权融合算法对上述所得到的匹配信息的图像进行融合，最终实现完整的探伤区域。
步骤4.5：通过拼接后的图像进行面积统计，用来判断其是否需要更换或维修。
2.根据权利要求1所述的一种基于数字图像的工业管道探伤内壁检测方法，其特征在于，步骤1所述内窥镜位姿成像模型包含四种位姿：
①内窥镜镜头视角与管道中轴线平行，且位于中轴线上，这种情况称之为理想状态，简称为“无角度偏移、无位移”，传统的管道全景展开算法应在此种状态下完成；
②内窥镜镜头视角与管道中轴线存在角度偏移，但其仍位于中轴线上，简称为“有角度偏移，无位移”；
③内窥镜镜头视角与中轴线平行，但不在中轴线上，简称为“无角度偏移，有位移”；
④内窥镜镜头视角不仅与中轴线存在角度偏移，而且也不位于中轴线上，简称为“有角度偏移，有位移”。
3.根据权利要求1所述的一种基于数字图像的工业管道探伤内壁检测方法，其特征在于，步骤2具体如下：
步骤2.1：首先确定内窥镜主点参数即摄像机的光心，采用张正友标定方法对内窥镜主点参数提取，得到主点参数数值；
步骤2.2：结合步骤2.1所述主点参数数值，采用基于BEMD的改进算法对内窥镜探测得到的图像进行增强，从而增大有效区域达到面积，提高图像的质量；
步骤2.3：图像的展开：将中心能见度低的无效区域与外围突出区域去除，从而得到有效的圆环区域内图像。
4.根据权利要求1所述的一种基于数字图像的工业管道探伤内壁检测方法，其特征在于，步骤3所述管道内壁展开图像有两种展开放式：
①切向展开，即以圆形图像中的内外圆半径差作为展开后矩形的宽，外圆周长作为矩形的长，将环形图像展开为矩形图像；
②径向展开，对已经切向展开的图像再进行径向拉伸，通过求解管道内壁与成像面之间的几何关系，按求得的函数进行径向拉伸，从而校准图像，最终得到圆环区域的展开图像。
5.根据权利要求1所述的一种基于数字图像的工业管道探伤内壁检测方法，其特征在于，所述内窥镜设置于内窥管内，所述内窥管盘卷在盘卷机箱的转盘上，通过设置校直器将盘卷的内窥管拉直，同时校直器还可固定内窥管的位置，使内窥镜和内窥管伸入至管道内的管段均不与管道接触。
6.根据权利要求3所述的一种基于数字图像的工业管道探伤内壁检测方法，其特征在于，步骤2.1所述主点参数指的是内窥镜的偏移角度及位移量。
7.根据权利要求3所述的一种基于数字图像的工业管道探伤内壁检测方法，其特征在于，步骤4.2所述特征信息即不同尺度空间的特征点的位置、比例和旋转不变量信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010507416.8A CN111667470B (zh) | 2020-06-05 | 2020-06-05 | 一种基于数字图像的工业管道探伤内壁检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010507416.8A CN111667470B (zh) | 2020-06-05 | 2020-06-05 | 一种基于数字图像的工业管道探伤内壁检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111667470A true CN111667470A (zh) | 2020-09-15 |
| CN111667470B CN111667470B (zh) | 2023-04-21 |
Family
ID=72386905
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010507416.8A Active CN111667470B (zh) | 2020-06-05 | 2020-06-05 | 一种基于数字图像的工业管道探伤内壁检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111667470B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112986329A (zh) * | 2021-02-07 | 2021-06-18 | 电子科技大学 | 大尺寸非平面试件超高速撞击损伤的红外热成像检测方法 |
| CN113504244A (zh) * | 2021-07-13 | 2021-10-15 | 安徽绿舟科技有限公司 | 一种新能源汽车电池探伤检测方法与装置 |
| CN113516654A (zh) * | 2021-09-07 | 2021-10-19 | 风脉能源（武汉）股份有限公司 | 一种基于视觉识别芯孔内壁异常部位的方法及系统 |
| CN114812414A (zh) * | 2022-04-12 | 2022-07-29 | 西安交通大学 | 一种管道内径与内壁表面缺陷复合测量装置 |
| JP7506624B2 (ja) | 2021-03-15 | 2024-06-26 | 株式会社奥村組 | 管渠損傷特定装置、管渠損傷特定方法および管渠損傷特定プログラム |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090259102A1 (en) * | 2006-07-10 | 2009-10-15 | Philippe Koninckx | Endoscopic vision system |
| US20150045619A1 (en) * | 2013-08-09 | 2015-02-12 | Chang Bing Show Chwan Memorial Hospital | System and method for mosaicing endoscope images using wide angle view endoscope |
| CN108805812A (zh) * | 2018-06-04 | 2018-11-13 | 东北林业大学 | 用于图像拼接的多尺度不变orb算法 |
-
2020
- 2020-06-05 CN CN202010507416.8A patent/CN111667470B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090259102A1 (en) * | 2006-07-10 | 2009-10-15 | Philippe Koninckx | Endoscopic vision system |
| US20150045619A1 (en) * | 2013-08-09 | 2015-02-12 | Chang Bing Show Chwan Memorial Hospital | System and method for mosaicing endoscope images using wide angle view endoscope |
| CN108805812A (zh) * | 2018-06-04 | 2018-11-13 | 东北林业大学 | 用于图像拼接的多尺度不变orb算法 |
Non-Patent Citations (2)
| Title |
|---|
| 张静等: "基于SIFT特征和误匹配逐次去除的图像拼接", 《半导体光电》 * |
| 杨理践等: "排水管道视觉检测成像技术", 《沈阳工业大学学报》 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112986329A (zh) * | 2021-02-07 | 2021-06-18 | 电子科技大学 | 大尺寸非平面试件超高速撞击损伤的红外热成像检测方法 |
| CN112986329B (zh) * | 2021-02-07 | 2022-03-25 | 电子科技大学 | 大尺寸非平面试件超高速撞击损伤的红外热成像检测方法 |
| JP7506624B2 (ja) | 2021-03-15 | 2024-06-26 | 株式会社奥村組 | 管渠損傷特定装置、管渠損傷特定方法および管渠損傷特定プログラム |
| CN113504244A (zh) * | 2021-07-13 | 2021-10-15 | 安徽绿舟科技有限公司 | 一种新能源汽车电池探伤检测方法与装置 |
| CN113516654A (zh) * | 2021-09-07 | 2021-10-19 | 风脉能源（武汉）股份有限公司 | 一种基于视觉识别芯孔内壁异常部位的方法及系统 |
| CN114812414A (zh) * | 2022-04-12 | 2022-07-29 | 西安交通大学 | 一种管道内径与内壁表面缺陷复合测量装置 |
| CN114812414B (zh) * | 2022-04-12 | 2024-01-12 | 西安交通大学 | 一种管道内径与内壁表面缺陷复合测量装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111667470B (zh) | 2023-04-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111667470B (zh) | 一种基于数字图像的工业管道探伤内壁检测方法 | |
| CN104574347B (zh) | 基于多源遥感数据的在轨卫星图像几何定位精度评价方法 | |
| CN111192198B (zh) | 一种基于管道机器人的管道全景扫描方法 | |
| WO2018122809A1 (zh) | 一种基于静态红外热像图处理的地下管廊渗漏检测方法 | |
| CN117314912B (zh) | 一种焊管表面焊接缺陷视觉检测方法及系统 | |
| CN109146832B (zh) | 一种视频图像的拼接方法、装置、终端设备及存储介质 | |
| CN110020995B (zh) | 针对复杂图像的图像拼接方法 | |
| CN112017157B (zh) | 一种光学元件激光损伤阈值测试中损伤点识别方法 | |
| CN113112403B (zh) | 一种红外图像拼接方法、系统、介质及电子设备 | |
| CN109544535B (zh) | 一种基于红外截止滤镜光学滤波特性的窥视摄像头检测方法及系统 | |
| CN111046950A (zh) | 一种图像处理方法、装置、存储介质和电子装置 | |
| CN115841449B (zh) | 排水管道结构性缺陷纵向定位的单目测距方法及存储介质 | |
| CN111723801A (zh) | 鱼眼相机图片中目标检测矫正的方法与系统 | |
| CN113030244B (zh) | 输电线塔架腐蚀缺陷漏磁检测信号反演成像方法及系统 | |
| CN109359604B (zh) | 面向巡检机器人的阴影干扰下仪表识别方法 | |
| CN116258722B (zh) | 基于图像处理的桥梁建筑智能检测方法 | |
| CN114331879A (zh) | 一种均衡化二阶梯度直方图描述子的可见光与红外图像配准方法 | |
| CN113989604A (zh) | 基于端到端深度学习的轮胎dot信息识别方法 | |
| CN115639248A (zh) | 一种用于建筑外墙质量检测的系统及方法 | |
| CN113888456A (zh) | 一种基于轮廓的角点检测算法 | |
| CN113705564B (zh) | 一种指针式仪表识别读数方法 | |
| CN116883446B (zh) | 一种车载摄像头镜片碾磨程度实时监测系统 | |
| CN113408519A (zh) | 一种基于模板旋转匹配的指针仪表读数的方法及系统 | |
| CN116958837A (zh) | 基于无人机的市政设施故障检测系统 | |
| CN116596987A (zh) | 一种基于双目视觉的工件三维尺寸高精度测量方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |