CN112233133B - 基于otsu和区域生长法的电厂高温管道缺陷检测与分割方法 - Google Patents

Abstract

本发明涉及一种基于OTSU和区域生长法的电厂高温管道缺陷检测与分割方法，包括以下步骤：获取原始红外图像并灰度化，通过改进二维OTSU预分割提取出管道区域；通过管道区域的灰度分布直方图，找出管道正常温度对应的灰度范围；通过判断邻域灰度均值最大值是否超出正常灰度范围，完成多缺陷种子点的自动检测和定位；将根据已生长区域的灰度均值和标准差调整的自适应阈值作为生长准则，以基于Prewitt算子计算的梯度幅值阈值作为附加条件，实现缺陷区域的生长与提取。与现有技术相比，本发明具有可靠性和准确性高、实时性好的优点，能够满足应用需求。

Description

基于OTSU和区域生长法的电厂高温管道缺陷检测与分割方法

技术领域

本发明涉及电厂巡检机器人后台图像处理领域，尤其是涉及一种基于OTSU和区域生长法的电厂高温管道缺陷检测与分割方法。

背景技术

电力安全生产关系到各行各业和社会的稳定。电厂中分布着大量的高温高压蒸汽管道，一旦因管道缺陷发生高温高压蒸汽泄漏，后果不堪设想。电力巡检作为保障电厂稳定运行和安全生产的重要手段，主要是通过人工手持红外热像仪等设备按规定巡检线路进行管道、阀门的“跑冒滴漏”检测。然而，受主观因素和环境因素的影响，人工巡检存在巡检耗时长、标准化程度低、易出现误检和漏检等问题，巡检效率较低。

目前，针对管道缺陷泄漏的无损检测主要面向油气管道，采用的方法有涡流检测、超声检测、漏磁检测、射线照相检测等。其中，涡流检测一般需要将探头置入管道内部；电磁超声检测易受环境噪音的影响，信噪比低；漏磁检测需要对被测管道表面进行预处理；射线照相检测操作复杂且对人体有伤害。另外，近年来国内外专家学者也开展了基于管道机器人的管道内视频缺陷检测的相关研究，但管道机器人无法工作于运行中的高温高压管道。因此，以上方法均无法用于电厂高温高压蒸汽管道的在线检测。

随着智慧电厂建设的推进，通过搭载红外热像仪等设备的智能巡检机器人代替人工完成巡检任务，正在成为保证电厂安全生产的趋势。相比于输配电网和其他场景而言，电厂巡检环境属室内环境，采集到的高温管道红外图像具有对比度低、背景复杂等特点，并且要求巡检机器人搭载的图像识别算法能够实现多缺陷的自主检测。近年来，国内外专家学者针对不同的应用场景，通过分水岭算法、边缘检测算法等进行相应的改进，但均无法直接应用于电厂巡检机器人完成高温高压管道多缺陷自动检测。因此，需要机器人通过具有更高鲁棒性和准确性的图像识别和分割算法实现电厂高温管道的缺陷自动检测。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于OTSU和区域生长法的电厂高温管道缺陷检测与分割方法。

本发明的目的可以通过以下技术方案来实现：

一种基于OTSU和区域生长法的电厂高温管道缺陷检测与分割方法，包括以下步骤：

S1、获取原始红外图像并灰度化，通过改进二维OTSU算法进行阈值分割，将管道设备区域从背景中提取出来，得到预分割后图像，预分割后图像中管道设备区域灰度值保持不变，背景区域灰度值设为0；

S2、求取预分割后图像的灰度分布直方图，找到直方图中除灰度值为0时的峰值所对应的灰度值T*，以此值代表管道正常温度对应的灰度值；

S3、遍历整幅预分割后图像，找到灰度邻域均值最大的像素点位置，判断该像素点灰度值f_max与T*+e的大小，其中e为正常灰度波动阈值，若f_max＞T*+e，则该像素点为缺陷中心，将该点作为一个种子点；基于生长准则完成种子点对应缺陷区域的生长，并将预分割后图像中该区域的像素值设为0；

S4、重复步骤S3，直至检测到所有的缺陷中心，即当前灰度邻域均值最大的像素点的灰度值f_max均小于等于T*+e，然后通过基于生长区域灰度均值、标准差的自适应阈值，以及基于Prewitt算子的梯度幅值改进的生长判定准则，完成各缺陷区域的生长和提取。

进一步地，所述的步骤S1中，改进二维OTSU算法中，二元组联合概率密度的表达式为：

其中，i表示原始红外图像并灰度化后图像像素点(x,y)的灰度值，j表示原始红外图像并灰度化后图像的3*3邻域平滑图像像素点(x,y)的灰度值，P_ij为传统二元组联合概率密度计算结果。

进一步地，所述的步骤S1中，改进二维OTSU算法中，在最优阈值的求取引入类内方差，改进阈值表达式为：

其中，(s*,t*)表示最优阈值，σ²(s,t)表示类间方差，

表示类内方差。

进一步地，所述的步骤S3中，正常灰度波动阈值e的表达式为：

e＝T*×k

其中，k为常系数。

进一步地，k为1.3。

进一步地，所述的步骤S3中，多种子点自动选取的过程中，当检测到存在缺陷点后，便立即基于生长准则在预分割图像中完成该区域的生长，将该缺陷区域像素点灰度值均置为0，即在检测其他种子点时将该缺陷区域视为背景区域。

进一步地，所述的步骤S4中，基于生长区域灰度均值、标准差的自适应阈值，以及基于Prewitt算子的梯度幅值改进的生长判定准则为：

其中，f(x',y')为待生长像素点的灰度值，

为已生长区域的像素灰度均值，T_a*为灰度变化自适应阈值，G(x,y)为区域内当前种子点的梯度幅值，G(x',y')为待生长点的梯度幅值，T₀为梯度幅值差的设定阈值。

进一步地，所述的梯度幅值计算表达式为：

其中，G_x(x,y)为中心点(x,y)沿x方向上的梯度幅值，G_y(x,y)为中心点(x,y)沿y方向上的梯度幅值。

与现有技术相比，本发明具有以下有益效果：

1、本发明综合利用二维OTSU在阈值分割，以及区域生长法在联通缺陷区域提取方面的优势，在传统二维OTSU和区域生长法的基础上，针对电厂高温管道设备红外图像的特点和巡检机器人完成电厂高温管道缺陷自主检测的需求，提出了基于改进二维OTSU和改进区域生长法的电厂高温管道缺陷检测和提取方法，本发明不仅能实现电厂高温管道多缺陷自动检测与定位，而且能较为精确的提取出缺陷区域，满足电厂巡检机器人的应用需求，有较高的实用价值，有助于加快巡检机器人在电厂应用和推广的进程。

2、本发明在传统二维OTSU的基础上，补充考虑灰度级大小对二元组联合概率密度的影响，并在阈值计算中引入类内方差，算法的精确性和可靠性得以提升，更好的保证了管道预分割的精度，为后续缺陷区域的检测和提取创造有利条件。

3、本发明在传统区域生长法的基础上，对预分割出的管道设备图像做进一步处理，基于灰度直方图和各像素邻域灰度均值提出多种子点自动检测方法，可实现对管道多个缺陷自动检测的功能，不仅准确性高，不易出现误检现象，而且相比于传统算法实时性大幅提升。

4、本发明基于生长区域灰度均值和标准差的自适应阈值以及基于Prewitt算子的梯度幅值对传统的固定阈值生长准则进行改进，自适应的生长判定阈值灵活性和鲁棒性得到提高，从而有效避免过分割或欠分割现象；附加的梯度幅值限定条件对缺陷区域边缘十分敏感，可有效避免因缺陷区域较小时边缘模糊导致的过分割现象发生。综上，改进后的生长准则保证了缺陷区域的分割精度。

附图说明

图1为电厂高温缺陷检测流程图。

图2为电厂高温管道红外图像。

图3为原始红外图像的灰度图。

图4为二维直方图。

图5为改进二维OTSU预分割结果图。

图6为多种子点自动选取流程图。

图7为预分割图像灰度直方图。

图8为像素3*3邻域图。

图9为缺陷检测与分割结果图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

本实施例提供了一种基于OTSU和区域生长法的电厂高温管道缺陷检测与分割方法，对电厂智能巡检机器人监控系统采集的电厂高温高压管道设备的红外图像进行缺陷的自动检测和提取，该方法首先对采集到的红外图像进行灰度化处理，然后对其应用改进二维OTSU进行预分割，将管道设备从复杂背景区域中提取出来；在此基础上，利用改进的多种子区域生长法实现电厂高温管道多个缺陷区域的自动检测与提取。

如图1所示，上述电厂高温管道缺陷检测和提取方法的具体步骤包括：

步骤S1、机器人到达指定巡检点，调整云台位姿获取红外图像，并将原始红外图像转化成灰度图像，通过改进二维OTSU算法进行预分割，将高温管道设备区域从复杂背景中提取出来；

步骤S2、管道中大部分区域温度都是正常状态，正常的温度范围对应一个灰度范围，通过求取预分割后图像的灰度分布直方图，找到直方图中除灰度值为0时的峰值所对应的灰度值T*，以此值代表管道正常温度对应的灰度值；

步骤S3、根据管道正常灰度值T*完成种子点即缺陷中心点的检测和选取：遍历预分割后的整幅图像，通过比较找出3*3邻域灰度均值最大的像素点，判断像素点灰度值f_max与T*+e(e＞0)的大小，其中e为正常灰度波动阈值，若f_max＞T*+e，则证明存在缺陷，且该像素点为缺陷中心；将该点作为一个种子点，完成该区域的生长，并将预分割图像中该区域的所有像素值设为0；

步骤S4、重复上一步骤S3，直至检测到所有缺陷区域中心，即已没有符合以上条件的种子点；

步骤S5、通过基于生长区域灰度均值和标准差的自适应阈值以及基于Prewitt算子的梯度幅值改进的生长判定准则，完成各缺陷区域的生长和提取，完成电厂高温管道的多缺陷区域自动检测和提取。

本实施例基于OpenCV4.1.0工具在Visual Studio 2015平台下采用C++语言完成算法实现，并选取三幅不同场景、不同特点的电厂高温管道红外图像进行缺陷检测，三幅图像的原始红外图像如图2所示。

从左往右依次是场景一、场景二和场景三的管道区域，分别具有1个、2个、4个明显的缺陷区域，可以看出场景一和场景三的背景较为复杂、干扰较多，且场景三的管道结构也比较复杂，场景二的图像背景环境虽然比较简单，但管道左侧部分边缘较为模糊。

一、基于改进二维OTSU的管道预分割

红外热像仪拍摄的图像是以伪彩色形式表示物体表面温度分布的图，其本质是灰度图像。为便于缺陷区域提取，首先通过灰度化将采集的红外图像转化成灰度图像，如图3所示。

然后，为减少背景干扰、求出管道温度正常状态下的灰度范围，为后续区域生长种子点的选取创造有利条件，本发明基于改进二维OTSU算法对电厂高温管道灰度图像进行预分割，实现管道设备区域的提取。

OTSU即最大类间方差法，主要包括一维OTSU和二维OTSU两种。由于一维OTSU算法仅考虑到像素点本身的灰度信息，而未考虑其周围像素点的影响，所以往往会造成误分割。二维OTSU是在一维OTSU的基础上引入了像素的位置信息。由像素点自身灰度值与其邻域平均灰度值两个量共同作为该像素点的属性和分割的参考量，可靠性更高。但传统二维OTSU中依然存在以下问题：1)联合概率密度的计算未体现灰度级大小的信息；2)仅保证了目标与背景类间方差的最大，未考虑类内的内聚性，故易受噪声干扰，导致得到的阈值不合理。

针对以上问题改进后的二维OTSU的原理为：

在M*N的灰度图像f中，通过坐标点(x,y)定义图像的像素点，每个像素点的灰度值由f(x,y)表示，同时用g表示原灰度图像的3*3邻域平滑图像，即像素点(x,y)的邻域平均灰度值用g(x,y)表示，两幅图像的灰度级均为L(一般为256)。

将图像中任一像素点由一个二元组(i,j)表示，其中i和j分别表示f(x,y)和g(x,y)，且0≤i≤L-1，0≤j≤L-1。传统二元组的联合概率密度为：

其中，C_ij为图像中二元组(i,j)出现的频数。

在此基础上，补充考虑灰度级大小的信息，得到改进后的联合概率密度为：

改进的联合概率密度更加详细全面的描述了图像的信息，使得目标和背景的差别增大，有利于得到更合理和理想的阈值，提高分割精确度。

在由图像灰度(L-1)*(L-1)定义的正方形区域中建立二维直方图，如图4所示。设(s,t)为阈值点，并以此将整个二维平面切成四个部分，对角线上的区域1,3分别代表图像的目标和背景，而远离对角线的区域2,4则代表图像中的噪声等其他干扰因素。

二维OTSU的核心就是找到一组合适的阈值(s*,t*),使得图像分割效果达到最佳。将目标区域1记为ω₀C0，背景区域3记为C1，则目标和背景出现的概率分别为：

目标和背景区域对应的均值矢量为：

则二维直方图总的均值矢量为：

由此可得，两区域的类间方差σ²为

为进一步提高分割精度，引入类内方差对传统二维OTSU加以改进，类内方差是用以衡量背景和目标区域内聚性的指标，类内方差越小，分割结果越精确。两区域分别的类内方差为：

则两区域的类内方差为：

要使类内方差尽可能小、类间方差尽可能大，则改进阈值公式为：

即当D(s*,t*)＝max{D(s,t)}时，对应的(s*,t*)便是我们需要的最佳阈值。通过引入类内方差，算法的抗噪性得到提升。

在本实施例中，应用改进二维OTSU的目的是将管道设备从复杂的背景中提取出来，降低复杂背景对缺陷检测与提取的干扰。因此，经分割后的图像需保持管道设备区域的灰度值不变，背景像素点灰度值置为0，若设预分割结果为f'，则

经过上述改进二维OTSU算法预分割后的图像如图5所示。

从图5可以看出，针对对比度低、背景复杂、边缘模糊的电厂高温管道图像，基于改进二维OTSU的预分割方法可有效去除复杂背景干扰、提取出管道区域。

二、基于改进区域生长法的管道缺陷分割

1、多种子点自动选取

结合电厂高温管道红外图像缺陷区域的特征，针对OTSU预分割后的图像，提出基于灰度直方图和邻域平均灰度值的改进多种子点自动选取方法，实现同一场景中多缺陷区域的自动定位与检测。

本实施例多种子点自动选取的基本步骤为：

1)在对灰度图像应用二维OTSU完成预分割后，通过绘制该图像的灰度直方图，求出灰度值为0的区域(即背景区域)外的直方图峰值所对应的灰度值T*，即在提取出的管道区域中像素点数量最多、所占的比例最高的灰度值。因此，可将灰度值T∈(T*,T*+e)作为管道正常温度区域的灰度值范围，其中e为正常灰度波动阈值，其计算公式为

e＝T*×k   (13)

其中，k为常系数，本文中k取1.3。

2)遍历图像中的像素点，通过比较排序求出5*5邻域平均灰度值最高的像素点坐标，将其灰度值记为f_max；

3)若f_max＞T*+e，则该像素点为管道缺陷的中心区域，即可将其作为种子点，在预分割图像中依据生长准则完成该区域生长，并将生长区域的灰度值置为0，其他区域的灰度值保持不变。

4)将上一步的输出图像作为输入图像，重复步骤2)，直至不满足3)中种子点判断条件，即已找到所有种子点为止。

综上，本文多缺陷点自动选取流程图如图6所示：

本实施例中，经管道预分割后图像的灰度分布直方图如图7所示，基于灰度直方图求出的三个场景中管道正常灰度值即T*的值分别为76、98、90。

2、基于改进生长准则的缺陷区域提取

传统的区域生长法一般采用固定阈值作为生长准则，即将种子点灰度值f(x,y)与邻域待生长点灰度f(x',y')差值的绝对值Δf与预设固定阈值T比较，若Δf小于T，则将其合并到生长区域，反之则不合并。该方法需要根据图片的不同情况人工调整阈值T，才能获得比较精确的分割区域，工作量大，无法适应不同场景、不同程度的管道缺陷。因此，本文采用基于生长区域灰度均值和标准差的自适应阈值调整方法作为生长准则。

设R为已经生长的区域，该区域的灰度均值

和标准差σ的计算公式分别为

式中f(x,y)为已生长区域R内的像素点灰度值；n为区域R中的像素点总数。

基于已生长区域的灰度均值与标准差对预设阈值T_a做相应的调整，计算其灰度变化自适应阈值T_a*为

式中T_a为反映生长条件苛刻程度的预设量。

将待生长的像素点(x',y')与已生长区域内均值

的差与T_a*做比较，即

式中f(x',y')为待判断的像素点的值；

为已生长区域的像素均值。若上式成立，即满足生长条件，则将该待生长点合并到生长区域，且每次区域生长后需对

和T_a*进行更新；否则，不进行生长。

经改进的生长准则可根据缺陷实际情况进行阈值自适应调整，灵活性得到提高，从而可有效避免采用固定阈值时易出现的过分割或欠分割现象。

此外，在图像中高温管道缺陷边缘处灰度值变化较大，即边缘像素点梯度幅值较大。据此，考虑基于梯度边缘检测算子进一步完善上述生长准则。Prewitt梯度算子在垂直、水平方向和对角线方向像素点的权重相等，满足本文问题研究需求，且结构简单，计算速度快，边缘相对平滑连续。因此，本实施例通过Prewitt算子计算种子点和邻域像素点的梯度幅值G(x,y)并做差，将其与设定阈值T₀比较，以此作为附加条件加入到生长准则中。

根据Prewitt算子，对如图8所示图像的3*3邻域做加权差分。

中心点(x,y)沿x方向上的梯度幅值为

中心点(x,y)沿y方向上的梯度幅值为

则梯度的幅值为

设区域内当前种子点的梯度幅值为G(x,y)，待生长点的梯度幅值为G(x',y')，阈值为T₀，则附加限定条件为

|G(x,y)-G(x',y')|≤T₀   (21)

因此，改进的生长准则为

当所有种子点邻域像素不存在满足要求的像素点时停止生长，图像分割完毕。附加的梯度幅值限定条件对缺陷区域边缘十分敏感，可有效避免因缺陷区域较小时边缘模糊导致的过分割现象发生。

由于有了附加的生长准则，阈值T_a*可适当增大，即T_a可取大些，以防止灰度变化导致的欠分割现象。对于灰度级为[0,255]的图像，T_a的取值在[20,40]区间内较为合理，T₀的合理范围为[30,50]。

本实施例中，设定初始生长阈值T_a＝30、梯度阈值T₀＝35，经上述改进区域生长法对预分割管道图像进行最终的多缺陷自动检测和分割的效果图如图9所示，算法提取出的各缺陷区域大小如表1所示。

表1缺陷区域像素点个数表

本实施例中算法可靠性、实时性如表2所示。

表2算法性能表

结果表明，本发明能够实现不同背景、不同特点的电厂高温管道图像的多缺陷自动检测和定位，不易出现误检，并能够较为精确地分割出缺陷区域，不易出现欠分割或者过分割，准确性和实时性均能满足电厂巡检机器人的应用需求。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (4)

1.一种基于OTSU和区域生长法的电厂高温管道缺陷检测与分割方法，其特征在于，包括以下步骤：

S1、获取原始红外图像并灰度化，通过改进二维OTSU算法进行阈值分割，将管道设备区域从背景中提取出来，得到预分割后图像，预分割后图像中管道设备区域灰度值保持不变，背景区域灰度值设为0；

S2、求取预分割后图像的灰度分布直方图，找到直方图中除灰度值为0时的峰值所对应的灰度值T*，以此值代表管道正常温度对应的灰度值；

S3、遍历整幅预分割后图像，找到灰度邻域均值最大的像素点位置，判断该像素点灰度值f_max与T*+e的大小，其中e为正常灰度波动阈值，若f_max＞T*+e，则该像素点为缺陷中心，将该点作为一个种子点；基于生长准则完成种子点对应缺陷区域的生长，并将预分割后图像中该区域的像素值设为0；

S4、重复步骤S3，直至检测到所有的缺陷中心，即当前灰度邻域均值最大的像素点的灰度值f_max均小于等于T*+e，然后通过基于生长区域灰度均值、标准差的自适应阈值，以及基于Prewitt算子的梯度幅值改进的生长判定准则，完成各缺陷区域的生长和提取；

所述的步骤S4中，基于生长区域灰度均值、标准差的自适应阈值，以及基于Prewitt算子的梯度幅值改进的生长判定准则为：

其中，f(x',y')为待生长像素点的灰度值，

为已生长区域的像素灰度均值，T_a*为灰度变化自适应阈值，G(x,y)为区域内当前种子点的梯度幅值，G(x',y')为待生长点的梯度幅值，T₀为梯度幅值差的设定阈值；

其中，灰度变化自适应阈值的计算公式为：

其中，R表示已生长区域，

和σ为已生长区域的像素灰度均值和标准差，f(x,y)为已生长区域内的像素点灰度值，n为已生长区域中的像素点总数，T_a为反映生长条件苛刻程度的预设量；

所述的梯度幅值计算表达式为：

其中，G_x(x,y)为中心点(x,y)沿x方向上的梯度幅值，G_y(x,y)为中心点(x,y)沿y方向上的梯度幅值。

2.根据权利要求1所述的一种基于OTSU和区域生长法的电厂高温管道缺陷检测与分割方法，其特征在于，所述的步骤S1中，改进二维OTSU算法中，二元组联合概率密度的表达式为：

其中，i表示原始红外图像并灰度化后图像像素点(x,y)的灰度值，j表示原始红外图像并灰度化后图像的3*3邻域平滑图像像素点(x,y)的灰度值，P_ij为传统二元组联合概率密度计算结果。

3.根据权利要求1所述的一种基于OTSU和区域生长法的电厂高温管道缺陷检测与分割方法，其特征在于，所述的步骤S1中，改进二维OTSU算法中，在最优阈值的求取引入类内方差，改进阈值表达式为：

其中，(s*,t*)表示最优阈值，σ²(s,t)表示类间方差，

表示类内方差。

4.根据权利要求1所述的一种基于OTSU和区域生长法的电厂高温管道缺陷检测与分割方法，其特征在于，所述的步骤S3中，多种子点自动选取的过程中，当检测到存在缺陷点后，便立即基于生长准则在预分割图像中完成该区域的生长，将该缺陷区域像素点灰度值均置为0，即在检测其他种子点时将该缺陷区域视为背景区域。

Images