CN112734720A - 基于视觉识别的船壳激光清洗在位检测方法及系统 - Google Patents
基于视觉识别的船壳激光清洗在位检测方法及系统 Download PDFInfo
- Publication number
- CN112734720A CN112734720A CN202110021250.3A CN202110021250A CN112734720A CN 112734720 A CN112734720 A CN 112734720A CN 202110021250 A CN202110021250 A CN 202110021250A CN 112734720 A CN112734720 A CN 112734720A
- Authority
- CN
- China
- Prior art keywords
- image
- surface image
- laser cleaning
- hull
- detection method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004140 cleaning Methods 0.000 title claims abstract description 82
- 238000001514 detection method Methods 0.000 title claims abstract description 61
- 230000000007 visual effect Effects 0.000 title claims abstract description 37
- 238000012545 processing Methods 0.000 claims abstract description 39
- 238000000605 extraction Methods 0.000 claims abstract description 24
- 239000003344 environmental pollutant Substances 0.000 claims abstract description 17
- 231100000719 pollutant Toxicity 0.000 claims abstract description 17
- 230000003749 cleanliness Effects 0.000 claims abstract description 13
- 238000004364 calculation method Methods 0.000 claims abstract description 9
- 238000007499 fusion processing Methods 0.000 claims abstract description 4
- 238000000034 method Methods 0.000 claims description 41
- 238000001914 filtration Methods 0.000 claims description 18
- 238000005286 illumination Methods 0.000 claims description 15
- 230000004927 fusion Effects 0.000 claims description 10
- 230000007704 transition Effects 0.000 claims description 10
- 238000005516 engineering process Methods 0.000 claims description 7
- 238000007500 overflow downdraw method Methods 0.000 claims description 7
- 229910052751 metal Inorganic materials 0.000 claims description 6
- 239000002184 metal Substances 0.000 claims description 6
- 239000000758 substrate Substances 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 5
- 239000003086 colorant Substances 0.000 claims description 5
- 238000009825 accumulation Methods 0.000 claims description 2
- 238000006243 chemical reaction Methods 0.000 claims description 2
- JEIPFZHSYJVQDO-UHFFFAOYSA-N iron(III) oxide Inorganic materials O=[Fe]O[Fe]=O JEIPFZHSYJVQDO-UHFFFAOYSA-N 0.000 description 22
- 238000010586 diagram Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 8
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 4
- 230000007797 corrosion Effects 0.000 description 4
- 238000005260 corrosion Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 239000003973 paint Substances 0.000 description 4
- 238000012216 screening Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 125000001475 halogen functional group Chemical group 0.000 description 3
- 239000007788 liquid Substances 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 239000002699 waste material Substances 0.000 description 3
- 239000002585 base Substances 0.000 description 2
- 239000000428 dust Substances 0.000 description 2
- 229910052742 iron Inorganic materials 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000013535 sea water Substances 0.000 description 2
- 230000002087 whitening effect Effects 0.000 description 2
- KRHYYFGTRYWZRS-UHFFFAOYSA-M Fluoride anion Chemical compound [F-] KRHYYFGTRYWZRS-UHFFFAOYSA-M 0.000 description 1
- BQCADISMDOOEFD-UHFFFAOYSA-N Silver Chemical compound [Ag] BQCADISMDOOEFD-UHFFFAOYSA-N 0.000 description 1
- 239000002253 acid Substances 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 239000003513 alkali Substances 0.000 description 1
- 239000003153 chemical reaction reagent Substances 0.000 description 1
- 239000000356 contaminant Substances 0.000 description 1
- 238000002845 discoloration Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000003760 hair shine Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000011065 in-situ storage Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000003921 oil Substances 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 150000003839 salts Chemical class 0.000 description 1
- 238000005488 sandblasting Methods 0.000 description 1
- 238000011012 sanitization Methods 0.000 description 1
- 229910052709 silver Inorganic materials 0.000 description 1
- 239000004332 silver Substances 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20032—Median filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种基于视觉识别的船壳激光清洗在线检测方法及系统，步骤为，采集激光清洗后船壳的表面图像；计算机图像处理装置对采集的表面图像，依次进行表面图像去光照处理、表面图像拼接处理、表面图像融合处理、表面图像的分量均衡化处理、表面图像的颜色提取、表面图像的干扰点去除以及污染物的占比计算，最终得到处理后的表面图像；将处理后的表面图像与清洁度标准比对。本发明的检测方法提升了激光清洗视觉检测的精确性和可靠性；本发明的系统具有较强的抗干扰能力和适应性、处理速度快。
Description
技术领域
本发明属于激光清洗技术领域，尤其涉及一种基于视觉识别的船壳激光清洗在位质量检测方法及系统。
背景技术
海水含盐量极高是一种腐蚀性较强的天然腐蚀剂，船舶在海水中运行时受到流动速度，气泡、温度、冲击性等多因素导致船身的锈蚀，海洋船舶的腐蚀是一个及其严重的问题，船舶的腐蚀每年造成数十亿美元的损失，严重的腐蚀导致船体结构的破裂与变形甚至完全损毁从而引发海上事故。为了防止船舶的腐蚀，需要定期对漆层剥落的地方和锈蚀的船壳进行清洗，并对其进行补漆，从而增加船舶的使用寿命，避免船舶因锈蚀导致报废而引起的不必要的经济损失。
传统的喷砂清洗产生大量的粉尘，污染环境且对人身体健康不利、化学试剂清洗对清洗的基材有一定腐蚀性会造成二次污染，清洗后的废液会造成酸、碱、油、氟化物污染等，废液处理成本高且难以完全去除，水射流清洗费用高昂、清洗效率低。因此迫切需要一种高效环保经济的新型清洗方法取代。由于激光清洗的可控、高效、绿色，将显著提升船壳除锈和除漆的质量与效率，彻底改善除锈作业环境，大幅降低除锈成本，因此更加高效绿色的激光清洗技术被运用到船舶清洗上。
现有的传统清洗和激光清洗的检测方法大都是人为目视评价或标准照片比对方法，缺少自动化的检测方法导致检测效率低，激光清洗后的船壳质量应能够达到国标ISO-8501目视评价的Sa2.5标准的质量水平。目视评价方法因人而异，很难形成统一的标准，清洗后船壳表面的是否满足我们的需要，是否需要进一步加工都需要应用检测技术。目前对激光清洗的检测方法大多是对声、光和光谱信号进行检测，这些检测技术大多是对清洗过程所产生的信号进行检测缺少直观性，只是通过检测的信号来分析清洗的结果，针对激光清洗光斑区域的质量检测并不能代表整体的清洁度，并且对于船壳这样的大型曲面结构其检测效率低、很难快速对清洗后的质量进行诊断。在船舶除锈除漆清洗的恶劣环境下，这些检测设备受环境因素影响大，难以对清洗表面做出准确的检测判断。
发明内容
发明目的：
本发明提出一种基于视觉识别的船壳激光清洗在位检测方法及系统，其目的在于解决现有的传统清洗和激光清洗的检测方法检测精度和检测效率低的问题。
技术方案：
一种基于视觉识别的船壳激光清洗在线检测方法，具体步骤如下：
(1)采集激光清洗后船壳的表面图像；
(2)计算机图像处理装置对步骤(1)中采集的表面图像，依次进行表面图像去光照处理、表面图像拼接处理、表面图像融合处理、表面图像的分量均衡化处理、表面图像的颜色提取、表面图像的干扰点去除以及污染物的占比计算，最终得到处理后的表面图像；
(3)将步骤(2)中处理后的表面图像与清洁度标准比对，若满足清洁度标准，则进行下一清洗区域的图像处理；若不满足清洁度标准，则标定污染物，规划清洗路径再次清洗直至清洗后的表面图像满足清洁度标准。
步骤(2)中表面图像去光照处理，首先对采集图像采用Retinex多尺度高斯滤波求取后，再使用构造的二维伽马函数对图像的HSV空间的V分量进行亮度改变。
构造的二维伽玛函数，表达式如下：
式中：O(x,y)为校正后的输出图像的亮度值；F(x,y)为原图像的亮度值；γ为用于亮度增强的指数值，其中I(x,y)是图像的光照分量特征；m为光照分量的亮度均值。
步骤(2)中表面图像拼接处理为对COMS相机采集到的同一区域的不同位置的图像照片分别进行SURF图像拼接，识别图像特征点，将不同位置的图像照片的特征点进行相似点标定，结合不同位置的图像照片上特征点的位置信息建立拼接连接线，将拼接连接线两侧的不同位置的图像照片根据特征点进行拼接处理，从而获得一副清晰完整的图像。
步骤(2)中图像融合处理为首先采用加权平均融合算法对缝合线的不同位置进行融合，消除融合图像缝合接缝问题和避免重影；然后利用渐入渐出加权法对缝合线融合图像C(x,y)的过渡区域进行融合，消除视觉误差；
缝合区域的加权平均融合法公式如下:
其中，w3+w4＝1，0<W3,W4<1，X是当前像素点横坐标，Xsr和Xsl是缝合线区域左右边界横坐标；
渐入渐出加权法对过渡区域进行融合的加权平均融合法权值计算公式如下：
其中，W1+W2＝1，W5+W6＝1，0<W1,W2，W5，W6<1，Xl和Xr是过度区左右边界的横坐标。
步骤(2)中表面图像的分量均衡化处理为采用间接对比增强的方法，利用彩色直方图拉伸对比度，增加前景和背景的颜色差别，然后通过累计函数对RGB阈值进行调整，实现直方图的均衡化处理。
步骤(2)中表面图像的颜色提取为利用图像处理技术对检测图像进行颜色提取，将RGB图像转化到HSV空间中，针对HSV空间的H，S，V分别设定提取阈值，当阈值设定后，满足阈值要求的颜色都将被提取，实现对于图像中污染物区域提取。
步骤(2)中表面图像干扰点去除为利用中值滤波来去除颜色提取图像中因为金属反光以及激光清洗后基材表面变色所产生的干扰像素区域。
步骤(2)中污染物的占比的计算为将滤波后的一组图像分别进行彩色图形转化为灰度图像，将灰度图像转化为二值图像，在二值图像下分别计算该组图像中污染物区域的像素点占比，并求取平均值。一种基于视觉识别的船壳激光清洗在线检测系统，该系统的工作台上固定设置有脉冲激光器，脉冲激光器发射的脉冲激光束所在的管路中依次设置有聚焦镜、扫描振镜和激光头，工作台上还设置有能移动的四自由度支架，四自由度支架上设置有图像采集装置；图像采集装置包括距离传感器和COMS相机，距离传感器固定于COMS相机上。
有益效果：
(1)采用COMS相机与四自由度支架的组合采集船壳表面图像，相比于传统检测设备能够灵活调整角度以采集需要的区域，针对船舶清洗的恶劣环境具有较强的抗干扰能力和适应性、处理速度快。视觉识别的方法直观性强，为后期的路径规划提供了参照依据，实现在线检测提高检测精度和效率。
(2)对采集图像采用Retinex多尺度高斯滤波求取后，再使用二维伽马函数对图像的HSV空间的V分量进行亮度改变，使去光照结果更好；有效解决船舶清洗时由于环境恶劣所导致的环境光不均匀所造成的采集图像失真、边缘模糊、反光区域清晰度差的问题，更适合激光清洗自动化需求。
(3)采用SURF图像拼接处理，识别两幅图像中的特征点，并利用RANSAC算法的变体MSAC算法去除误匹配的特征点，可快速准确的对图像进行拼接且拼接精度高；还原船舶清洗后船壳曲面结构表面的真实情况，解决了因曲率较大而导致采集图像失真所导致的检测结果偏差的问题。
(4)提出一种基于缝合线法的渐入渐出图像融合方法，首先采用加权平均融合算法对缝合线的不同位置进行融合，消除融合图像缝合接缝问题和避免重影；然后利用渐入渐出加权法对缝合线融合图像C(x,y)的过渡区域进行融合，有效地消除差异较大的视觉误差。
(5)采用RGB-HSV颜色提取方法，解决了RGB图像色彩相关性较低的问题，在HSV空间中通过调整H,S,V三个分量阈值来提取所需要的污染物区域，例如提取铁锈的提取阈值为：H(0<H<0.25)，S(0.15<S<1)，V(0.2<V<1)取值范围在0-1之间；采用颜色提取方法将污染物区域单独提取出来再进行后续的处理，有效解决了因灰度阈值相近而难以提取污染区域的问题。
(6)利用中值滤波的原理特性来去除颜色提取图像中因为金属反光以及激光清洗后基材表面变色所产生的干扰像素区域，分别采用3*3、5*5、7*7的三个滤波模板对图像进行处理，并将每个处理后的图像转化为黑白二值图像并计算污染区域的像素占比，最后对其结果求取平均值。提升了激光清洗视觉检测的精确性和可靠性。
附图说明
图1是本发明的检测方法流程图；
图2是船壳激光清洗系统结构示意图；
图3是图像采集过程示意图；
图4是图像去光照处理示意图；
图5是图像去光照处理实物图；
图6是曲面船壳图像拼接示意图；
图7是曲面船壳图像拼接实物图；
图8是曲面船壳图像融合示意图；
图9是曲面船壳图像融合实物图；
图10是图像颜色提取过程示意图；
图11是图像颜色提取过程实物图；
图12是图像干扰点去除示意图；
图13是图像干扰点去除实物图；
图14是灰度处理图像示意图；
图15是灰度处理图像实物图；
图16是二值图像示意图；
图17是二值图像实物图；
图中标记：1、待清洗船壳，2、激光头，3、扫描振镜，4、聚焦镜，5、脉冲激光器，6、工作台，7、图像采集装置，8、四自由度支架，9、距离传感器，10、COMS相机，11、光晕，12、泛白区域，13、第一特征点，14、第二特征点，15、拼接连接线，16、第一颜色，17、第二颜色，18、第三颜色，19、噪声点，20、铁锈区域，21、灰色像素区域，22、黑色像素点区域。
具体实施方式
以下结合说明书附图更详细的说明本发明。
本发明采用了视觉识别的检测方法，结合现有的激光清洗技术，针对船壳特有的曲面及弧形结构，利用视觉识别的方法真实还原船壳表面的污染情况，而不会因曲率导致检测结果与实际不符的情况，实现了对大型船壳曲面结构表面的分区图像采集，降低检测误差，提高检测精度和效率。相对于对信号的在线检测，视觉识别的检测方法具有较强的抗干扰能力和适应性，并且具有较高的检测精度和检测效率，从而更经济，环保，高效的使激光清洗应用在船舶清洗行业中。
如图2所示，一种基于视觉识别的船壳激光清洗在线检测系统，该系统的工作台6上固定设置有脉冲激光器5，脉冲激光器5发射的脉冲激光束所在的管路中依次设置有聚焦镜4、扫描振镜3和激光头2，工作台6上还设置有能移动的四自由度支架8，四自由度支架8上设置有图像采集装置7；图像采集装置7包括距离传感器9和COMS相机10，激光距离传感器9固定于COMS相机10上。激光距离传感器通过usb与电脑连接与配套软件结合检测四自由度支架上COMS相机与检测船板的距离，四自由度支架通过激光距离传感器的反馈配合计算机上的控制软件不断调节COMS相机的位置。COMS相机通过电源供电，并使用网线与计算机连接将采集的图像传输给计算机中的配套软件，并由计算对图像进行处理。
工作台6为可动的工作台，通过安装有轮子或者轨道等的方式，实现工作台6的可移动，便于整个系统的移动。
四自由度支架为包括垂直于船壳表面的Z轴自由度和垂直于Z轴的X，Y轴自由度和一个可以调节相机角度的球形关节的任意的现有四自由度支架。
采用COMS相机与四自由度支架的组合采集船壳表面图像，相比于传统检测设备针对船舶清洗的恶劣环境具有较强的抗干扰能力和适应性、采集和处理速度快。视觉识别的方法直观性强，为后期的路径规划提供了参照依据，实现在线检测提高检测精度和效率。
采用现有激光清洗的方法清洗船壳后，将本系统移至船壳清洗后的区域，进行在线监测或二次清洗。
如图1所示，一种基于视觉识别的船壳激光清洗在线检测方法，其具体实现步骤如下：
(1)采集清洗后曲型船板的表面图像
本系统利用脉冲激光器5作为能量源，脉冲激光器5发出的，脉冲激光束经聚焦镜4聚焦，并通过扫描振镜3将点光源变成线型光，并通过激光头2出光作用到待清洗船壳1上。图像采集装置7由四自由度支架8所夹持，四自由度夹具8安装在可动工作平台6上，工作台6将四自由度支架8和图像采集装置7移动到船壳1的位置，用于检测清洗后的表面质量；上述过程按照设定的清洗路径在表面上逐步完成每一个区域的清洗，并对清洗后的区域进行质量检测，重复这一过程逐步完成船板表面的清洗。本发明的基于视觉识别的船壳激光清洗检测方法面向该系统应用的。
图像采集过程示意图如图3所示，将COMS相机10固定在四自由度支架8上，四自由度支架8固定在工作台6上，距离传感器9安装在COMS相机10上，当检测曲型船壳曲率较大的地方时，距离传感器9通过识别并控制四自由度支架8调节距离始终保持COMS相机10在曲型船壳表面的法向方向且物距保持不变，从而保证采集的图像的像素个数、区域面积一致，保证后期图像处理的准确有效。
(2)计算机图像处理装置对步骤(1)中采集的表面图像，最终得到处理后的表面图像；
2.1图像去光照处理
采用去光照处理能有效解决因船舶清洗时由于环境恶劣所导致的环境光不均匀所造成的采集图像图像失真、边缘模糊、反光区域清晰度差的问题。
如图4所示，船舶清洗恶劣的工作环境，空气中粉尘、污染物的漂浮导致光照不均的情况和清洗基材反射的反射光不均匀所导致的采集图像失真的问题，如图4和图5中左侧图所示，使得采集的图像四周有光晕11，而由于金属的反光会导致采集的图像有泛白区域12，针对这一问题采用retinex去光照处理和二维伽马函数结合的方法解决，其原理如下：
I(x,y)＝L(x,y)R(x,y)
ln[Ri(x,y)]＝ln[Ii(x,y)]-ln[Gi(x,y)*Ii(x,y)],
∫∫Gi(x,y)dxdy＝1
R(x,y)是物体的反射性质，图像的内在属性，为需要获得的真实图像。L(x,y)是要去除的干扰分量。将公式转换为对数，下标i表示图像的不同通道；c为高斯环绕尺度；λ为一个尺度；Gi(x,y)为中心环绕函数；*表示卷积运算。通过中心环绕函数与原始图像进行卷积运算来估计图像的照度，将干扰分量L(x,y)去除，保留真实图像R(x,y)。而单纯的retinex去光照处理有时会在图片上产生模糊的雾区使图像不均匀，因此本专利利用Retinex多尺度高斯滤波求取后，再使用二维伽马函数对图像的HSV空间的V分量进行亮度改变以解决图像不均问题，从而使去光照结果更好也更满足激光清洗自动化需要。因此构造了一种新的二维伽玛函数，其表达式如下：
式中：O(x,y)为校正后的输出图像的亮度值；F(x,y)为原图像的亮度值；γ为用于亮度增强的指数值，其中I(x,y)是图像的光照分量特征；m为光照分量的亮度均值。
如图4和图5中右侧图所示，通过本方法，去掉了图4和图5中左侧图中的光晕11和泛白区域12。即相比于现有的激光清洗视觉识别方法，在采集图像后应用该方法去光照处理，解决了由于金属表面反光使得采集的图像有较大光晕和反射光较强所导致采集的图像有白色区域的问题，从而获得稳定质量且更贴近清洗表面实际情况的多幅船壳清洗图像。
2.2图像拼接处理
采用图像拼接处理可快速准确的还原船舶清洗后船壳曲面结构表面的真实情况，解决了因曲率较大而导致采集图像失真所导致的检测结果偏差的问题。
船壳特殊的大型曲面结构使得普通的采集方法所得到的图像在曲率较大的区域会有失真，针对曲率较大的地方分区进行图像采集，并利用图像的特点：特征稳定、对旋转、尺度变换和亮度不变性，进行图像中船壳表面的特征点识别。
通过SURF算法识别不同图片上的特征相似点并用圆形标定，结合不同图片上特征点的位置信息，将图片进行拼接处理，从而使所处理的图像与曲型船壳表面的实际情况一致，解决失真表面污染区域变形的问题。其原理如下：
利用Hessian矩阵H(x,σ)检测特征点，Lxx(x,σ)是输入图像与高斯二阶微分
的卷积(g(σ))为高斯函数Lxy(x,σ),Lyy(x,σ),与Lxx(x,σ)的意义类似)为降低算法运算时间，将高斯模版简化为矩形区域盒子滤波器，Hessian矩阵行列式可简化为下式：
det(Happror)＝LxxLyy-(0.9Lxy)2
对COMS相机10采集到的同一区域的不同位置的图像照片分别进行识别图像特征点，特征点即为两幅图像中相似的像素点，通过Hessian矩阵处理图像中像素点三维邻域内26个点进行比较并确定为局部极值点，再在尺度空间及图像空间中插值，最终得到特征点的位置和所在尺度值。将不同位置的图像照片的特征点进行相似点标定，结合不同位置的图像照片上特征点的位置信息建立拼接连接线15，将拼接连接线15两侧的不同位置的图像照片根据特征点进行拼接处理，从而获得一副拼接图像图像。
本实施例为，如图6和图7所示，利用程序对图像的特征点识别，不同图片上的第一特征点13、第二特征点14进行相似点圆形标定，结合不同图片上特征点的位置信息建立拼接连接线15。
将拼接连接线15两侧的第一特征点13、第二特征点14进行拼接处理，从而获得一副清晰完整的图像，图像的拼接处理解决了曲面检测难的问题，并还原曲型结构船壳表面清洗质量的真实情况。
2.3图像融合处理
拼接后的图像会有明显的拼接缝，因此要对图像进行融合处理，现有的融合方法是采用渐入渐出加权平均法进行融合，其会产生虚影和曝光差异，因此本专利结合激光清洗检测的高精度需求，提出一种缝合线法的渐入渐出图像融合方法，在获得最佳缝合线后，首先对缝合线的部分进行融合，在融合区域的不同位置通过改进加权平均融合算法的权重系数计算公式，来针对性的消除融合图像缝合接缝问题和避免重影。其缝合区域改进的加权平均融合法公式如下:
其中，W3+W4＝1，0<W3,W4<1。X是当前像素点横坐标，Xsr和Xsl是缝合线区域左右边界横坐标。随后得到的融合图像C(x,y)利用渐入渐出加权法对过渡区域进行融合，过度区加权平均融合法权值计算公式如下：
其中，W1+W2＝1，W5+W6＝1，0<W1,W2，W5，W6<1。Xl和Xr是过度区左右边界的横坐标。
如图8和图9所示，最终所融合图像，可以使像素值更自然地融合到周围图像中去，更加有效地消除差异较大的视觉误差，更适用于激光清洗的视觉检测。
2.4图像的分量均衡化处理
采用图像分量均值化处理，提高了图像的色彩对比度，针对船壳表面上的铁锈与基材的颜色区别特点，提高对比度使铁锈区域的颜色更加深红，清洗干净的区域更加银色发亮，从而使后期的颜色提取更加准确有效。
采用间接对比增强的方法，利用彩色直方图拉伸对比度，增加前景和背景的颜色差别，以达到增强对比度的目的，然后通过累计函数对RGB阈值进行调整以实现直方图的均衡化处理，相比于传统的灰度图像分量均衡化处理RGB更适合船舶激光清洗视觉检测，利用污染物(铁锈等)与基材颜色差异较大这一特点，从而使图像更加清晰，污染物部分更加突出基材部分更加明亮。
2.5图像的颜色提取
采用颜色提取方法，能够有效去除不需要的像素点，使得锈蚀区域直观明了体现出来，现有的方法采用直接将采集图像转化为灰度图像，通过筛选灰度阈值来确定未清洗干净的铁锈区域，因为基材本身也是银灰色在转化为灰度图像后整体都为灰色，铁锈区域和清洗干净的区域颜色差异小难以区分，因此采用颜色提取方法将铁锈区域单独提取出来再进行后续的处理，有效解决了因灰度阈值相近而难以区分的问题。
利用图像处理技术对检测图像进行颜色提取，并将RGB图像转化到HSV空间中，针对HSV空间的H，S，V分别设定提取阈值，当阈值设定后，满足阈值要求的颜色都将被提取，从而实现对于图像中污染物区域提取。例如铁锈设定阈值(H(0<H<45)，S(40<S<255)，V(50<V<255),三通道取值范围为H代表色调0～180，S代表饱和度0～255，V代表亮度0～255之间),通过事先设定的HSV阈值的方法将不满足需要的像素点去除，保留污染物(铁锈等)区域像素点(红色像素点)，并将去除的像素点换成白色点，提取污染物区域的边缘轮廓，并对非闭合边缘轮廓进行边缘连接。
本实施例为，图10和图11所示为图像颜色提取的过程示意图，不同区域第一颜色16、第二颜色17、第三颜色18通过设定颜色提取阈值只提取第二颜色17以上的颜色，并将其余部分区域转变为白色像素点区域，从图10和图11中可以看出不满足需要的像素点已去除。
2.6图像的干扰点去除
利用中值滤波的原理特性来去除颜色提取图像中因为金属反光以及激光清洗后基材表面变色所产生的干扰像素区域，分别采用3×3，5×5，7×7三个滤波模板对图像进行中值滤波处理，通过中值滤波方法使所得的图像更加的整洁，提高了检测的精度和检测的效率。
图12和图13所示为图像颜色提取后对图像干扰点去除示意图，通过中值滤波的方法，对图像上的多个噪声点19进行识别，并将噪声点的彩色像素转变为白色。从而获得平滑，清晰的图像。
2.7污染物的占比计算
采用二值图像计算铁锈区域像素点个数和锈蚀区域占比面积，有利于减少计算机计算步骤提升检测效率。
将颜色提取图像通过3×3，5×5，7×7的三个滤波模板滤波处理生成三幅干扰点去除的彩色图像，将三幅彩色图转化为灰度图像再转为二值图像，设定灰度的筛选阈值，不为255的像素点都为黑色，灰度值为255的即为白色，筛选后将这三幅彩色图像变为了二值图像，在二值图像下分别计算三个不同模板滤波处理后的三幅图像，即通过三个滤波模板3×3，5×5，7×7处理后所获得的三幅中值滤波后图像，是不同滤波模板下所分别得出的图像，对这三幅图像分别计算的污染区域占比面积，其结果求取平均值即为最终结果。
本实施例为，如图14和图15所示，为彩色图像转化为灰度图像，灰度图像铁锈区域20由原先的彩色像素转变为对应值的灰色像素区域21，通过设定灰度的筛选阈值，将灰度图像转化为二值图像。图16和图17为二值图像示意图，灰色像素区域21由灰色区域已经转变为完全由黑色像素点所组成的黑色像素点区域22，计算铁锈区域的像素点个数，再根据整个图像的像素点个数求出铁锈区域的面积占比。
(3)将步骤(2)中处理后的表面图像与清洁度标准比对，若满足标准，则进行下一清洗区域的图像处理；若不满足标准，则根据步骤(2)中处理的表面图像标定污染物位置，规划清洗路径再次清洗，重复步骤(2)和(3)直至达到事先设定的激光清洗船板的质量评价标准。清洁度标准为国标ISO-8501目视评价标准Sa2.5，即占比面积小于5％即认为清洗干净。
Claims (10)
1.一种基于视觉识别的船壳激光清洗在线检测方法，其特征在于：具体步骤如下：
(1)采集激光清洗后船壳的表面图像；
(2)计算机图像处理装置对步骤(1)中采集的表面图像，依次进行表面图像去光照处理、表面图像拼接处理、表面图像融合处理、表面图像的分量均衡化处理、表面图像的颜色提取、表面图像的干扰点去除以及污染物的占比计算，最终得到处理后的表面图像；
(3)将步骤(2)中处理后的表面图像与清洁度标准比对，若满足清洁度标准，则进行下一清洗区域的图像处理；若不满足清洁度标准，则标定污染物，规划清洗路径再次清洗直至清洗后的表面图像满足清洁度标准。
2.根据权利要求1所述的基于视觉识别的船壳激光清洗在线检测方法，其特征在于：步骤(2)中表面图像去光照处理，首先对采集图像采用Retinex多尺度高斯滤波求取后，再使用构造的二维伽马函数对图像的HSV空间的V分量进行亮度改变。
3.根据权利要求2所述的基于视觉识别的船壳激光清洗在线检测方法，其特征在于：构造的二维伽玛函数，表达式如下：
式中：O(x,y)为校正后的输出图像的亮度值；F(x,y)为原图像的亮度值；γ为用于亮度增强的指数值，其中I(x,y)是图像的光照分量特征；m为光照分量的亮度均值。
4.根据权利要求1所述的基于视觉识别的船壳激光清洗在线检测方法，其特征在于：步骤(2)中表面图像拼接处理为对COMS相机(10)采集到的同一区域的不同位置的图像照片分别进行SURF图像拼接，识别图像特征点，将不同位置的图像照片的特征点进行相似点标定，结合不同位置的图像照片上特征点的位置信息建立拼接连接线(15)，将拼接连接线(15)两侧的不同位置的图像照片根据特征点进行拼接处理，从而获得一副清晰完整的图像。
5.根据权利要求1所述的基于视觉识别的船壳激光清洗在线检测方法，其特征在于：步骤(2)中图像融合处理为首先采用加权平均融合算法对缝合线的不同位置进行融合，消除融合图像缝合接缝问题和避免重影；然后利用渐入渐出加权法对缝合线融合图像C(x,y)的过渡区域进行融合，消除视觉误差；
缝合区域的加权平均融合法公式如下:
其中，W3+w4＝1，0<w3,W4<1，X是当前像素点横坐标，Xsr和Xsl是缝合线区域左右边界横坐标；
渐入渐出加权法对过渡区域进行融合的加权平均融合法权值计算公式如下：
其中，W1+W2＝1，W5+W6＝1，0<W1,W2，W5，W6<1，Xl和Xr是过度区左右边界的横坐标。
6.根据权利要求1所述的基于视觉识别的船壳激光清洗在线检测方法，其特征在于：步骤(2)中表面图像的分量均衡化处理为采用间接对比增强的方法，利用彩色直方图拉伸对比度，增加前景和背景的颜色差别，然后通过累计函数对RGB阈值进行调整，实现直方图的均衡化处理。
7.根据权利要求1所述的基于视觉识别的船壳激光清洗在线检测方法，其特征在于：步骤(2)中表面图像的颜色提取为利用图像处理技术对检测图像进行颜色提取，将RGB图像转化到HSV空间中，针对HSV空间的H，S，V分别设定提取阈值，当阈值设定后，满足阈值要求的颜色都将被提取，实现对于图像中污染物区域提取。
8.根据权利要求1所述的基于视觉识别的船壳激光清洗在线检测方法，其特征在于：步骤(2)中表面图像干扰点去除为利用中值滤波来去除颜色提取图像中因为金属反光以及激光清洗后基材表面变色所产生的干扰像素区域。
9.根据权利要求1所述的基于视觉识别的船壳激光清洗在线检测方法，其特征在于：步骤(2)中污染物的占比的计算为将滤波后的一组图像分别进行彩色图形转化为灰度图像，将灰度图像转化为二值图像，在二值图像下分别计算该组图像中污染物区域的像素点占比，并求取平均值。
10.一种如权利要求1所述的基于视觉识别的船壳激光清洗在线检测系统，其特征在于：该系统的工作台(6)上固定设置有脉冲激光器(5)，脉冲激光器(5)发射的脉冲激光束所在的管路中依次设置有聚焦镜(4)、扫描振镜(3)和激光头(2)，工作台(6)上还设置有能移动的四自由度支架(8)，四自由度支架(8)上设置有图像采集装置(7)；图像采集装置(7)包括距离传感器(9)和COMS相机(10)，距离传感器(9)固定于COMS相机(10)上。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110021250.3A CN112734720B (zh) | 2021-01-08 | 2021-01-08 | 基于视觉识别的船壳激光清洗在位检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110021250.3A CN112734720B (zh) | 2021-01-08 | 2021-01-08 | 基于视觉识别的船壳激光清洗在位检测方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112734720A true CN112734720A (zh) | 2021-04-30 |
| CN112734720B CN112734720B (zh) | 2024-03-05 |
Family
ID=75591254
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110021250.3A Active CN112734720B (zh) | 2021-01-08 | 2021-01-08 | 基于视觉识别的船壳激光清洗在位检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112734720B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113628202A (zh) * | 2021-08-20 | 2021-11-09 | 美智纵横科技有限责任公司 | 一种确定方法、清洁机器人和计算机存储介质 |
| CN113731959A (zh) * | 2021-09-18 | 2021-12-03 | 安徽工业大学 | 一种火车轮对的激光自动除锈装置 |
| CN113962994A (zh) * | 2021-12-21 | 2022-01-21 | 武汉智能兴运铁路配件有限公司 | 基于图像处理的三连杆上锁销清洁度检测方法 |
| CN114260259A (zh) * | 2021-12-22 | 2022-04-01 | 深圳泰德激光技术股份有限公司 | 激光清洗电池的方法、装置及计算机可读存储介质 |
| CN115889345A (zh) * | 2022-12-20 | 2023-04-04 | 广东工业大学 | 基于视觉检测的激光超声波清洗方法及装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101853524A (zh) * | 2010-05-13 | 2010-10-06 | 北京农业信息技术研究中心 | 使用图像序列生成玉米果穗全景图的方法 |
| CN104134200A (zh) * | 2014-06-27 | 2014-11-05 | 河海大学 | 一种基于改进加权融合的运动场景图像拼接方法 |
| WO2019062092A1 (zh) * | 2017-09-30 | 2019-04-04 | 深圳市颐通科技有限公司 | 基于超像素-多色彩空间的人体轮廓提取方法 |
| CN110363706A (zh) * | 2019-06-26 | 2019-10-22 | 杭州电子科技大学 | 一种大面积桥面图像拼接方法 |
| CN110378879A (zh) * | 2019-06-26 | 2019-10-25 | 杭州电子科技大学 | 一种桥梁裂缝检测方法 |
| CN111915485A (zh) * | 2020-07-10 | 2020-11-10 | 浙江理工大学 | 一种特征点稀疏工件图像的快速拼接方法及系统 |
-
2021
- 2021-01-08 CN CN202110021250.3A patent/CN112734720B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101853524A (zh) * | 2010-05-13 | 2010-10-06 | 北京农业信息技术研究中心 | 使用图像序列生成玉米果穗全景图的方法 |
| CN104134200A (zh) * | 2014-06-27 | 2014-11-05 | 河海大学 | 一种基于改进加权融合的运动场景图像拼接方法 |
| WO2019062092A1 (zh) * | 2017-09-30 | 2019-04-04 | 深圳市颐通科技有限公司 | 基于超像素-多色彩空间的人体轮廓提取方法 |
| CN110363706A (zh) * | 2019-06-26 | 2019-10-22 | 杭州电子科技大学 | 一种大面积桥面图像拼接方法 |
| CN110378879A (zh) * | 2019-06-26 | 2019-10-25 | 杭州电子科技大学 | 一种桥梁裂缝检测方法 |
| CN111915485A (zh) * | 2020-07-10 | 2020-11-10 | 浙江理工大学 | 一种特征点稀疏工件图像的快速拼接方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| YIN LIU 等: "Experimental investigations into cleaning mechanism of ship shell plant surface involved in dry laser cleaning by controlling laser power", SPRINGER LINK, 16 October 2020 (2020-10-16) * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113628202A (zh) * | 2021-08-20 | 2021-11-09 | 美智纵横科技有限责任公司 | 一种确定方法、清洁机器人和计算机存储介质 |
| CN113628202B (zh) * | 2021-08-20 | 2024-03-19 | 美智纵横科技有限责任公司 | 一种确定方法、清洁机器人和计算机存储介质 |
| CN113731959A (zh) * | 2021-09-18 | 2021-12-03 | 安徽工业大学 | 一种火车轮对的激光自动除锈装置 |
| CN113962994A (zh) * | 2021-12-21 | 2022-01-21 | 武汉智能兴运铁路配件有限公司 | 基于图像处理的三连杆上锁销清洁度检测方法 |
| CN114260259A (zh) * | 2021-12-22 | 2022-04-01 | 深圳泰德激光技术股份有限公司 | 激光清洗电池的方法、装置及计算机可读存储介质 |
| CN114260259B (zh) * | 2021-12-22 | 2023-06-02 | 深圳泰德激光技术股份有限公司 | 激光清洗电池的方法、装置及计算机可读存储介质 |
| CN115889345A (zh) * | 2022-12-20 | 2023-04-04 | 广东工业大学 | 基于视觉检测的激光超声波清洗方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112734720B (zh) | 2024-03-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112734720B (zh) | 基于视觉识别的船壳激光清洗在位检测方法及系统 | |
| CN114757949B (zh) | 基于计算机视觉的电线电缆缺陷检测方法及系统 | |
| WO2022205525A1 (zh) | 基于双目视觉自主式水下机器人回收导引伪光源去除方法 | |
| CN112927189A (zh) | 一种电镀工件表面瑕疵视觉检测中边缘反射光斑剔除方法 | |
| US7925073B2 (en) | Multiple optical input inspection system | |
| CN112053376B (zh) | 一种基于深度信息的工件焊缝识别方法 | |
| CN111598856B (zh) | 基于缺陷导向多点定位神经网络的芯片表面缺陷自动检测方法及系统 | |
| CN111784655B (zh) | 一种水下机器人回收定位方法 | |
| CN111982916A (zh) | 一种基于机器视觉的焊缝表面缺陷检测方法及系统 | |
| CN109118471A (zh) | 一种适用于复杂环境下的打磨工件缺陷检测方法 | |
| US5969753A (en) | Method and system for detecting errors in a sample image | |
| CN111721259A (zh) | 基于双目视觉的水下机器人回收定位方法 | |
| CN111474179A (zh) | 镜片表面清洁度检测装置及方法 | |
| CN112304960B (zh) | 一种基于深度学习的高分辨率图像物体表面缺陷检测方法 | |
| CN112730454B (zh) | 基于光学、红外热波与超声波融合的复合材料的损伤智能检测方法 | |
| CN109668904A (zh) | 一种光学零件疵病检测装置及方法 | |
| CN114719749B (zh) | 基于机器视觉的金属表面裂纹检测及真实尺寸测量方法及系统 | |
| WO2024108971A1 (zh) | 用于车辆底盘腐蚀评估的agv系统 | |
| CN115661110A (zh) | 一种透明工件识别与定位的方法 | |
| CN114092682A (zh) | 基于机器学习的小金具类缺陷检测算法 | |
| CN111833350B (zh) | 机器视觉检测方法与系统 | |
| CN115235335A (zh) | 一种高铁动车组走行部尺寸智能检测方法 | |
| CN116008304A (zh) | 一种适用于管道内部的焊缝检测方法 | |
| CN113888632A (zh) | 结合rgbd图像水池污渍定位方法及系统 | |
| CN114034706B (zh) | 一种碳纤维零件表面缺陷检测装置及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |