CN114359736B - 复杂光环境下的管道缺陷检测方法及装置 - Google Patents

Abstract

本发明公开了一种复杂光环境下的管道缺陷检测方法及装置，属于计算机领域。其中，该方法包括：采集管道内部的原始图像；对所述原始图像进行伽马校正，生成对应光照水平的管道缺陷图像；采用缺陷检测算法识别所述管道缺陷图像中缺陷区域的位置信息和缺陷类别。通过本发明，解决了相关技术在管道缺陷检测时缺陷数据的类别不平衡的技术问题，可以自适应地处理不同光照水平下采集的管道图像。

Description

复杂光环境下的管道缺陷检测方法及装置

技术领域

本发明涉及计算机领域，具体而言，涉及一种复杂光环境下的管道缺陷检测方法及装置。

背景技术

相关技术中，城市地下排水管网是雨水和污水排放的重要通道，是维持城市安全运行的生命线。地下排水管道在日常运行过程中，由于管材老化和维护不当等原因会产生多种管道缺陷，这些缺陷直接影响着管道运行安全。例如管道缺陷导致的管网排水能力不足、堵塞问题是造成城市内涝的重要原因，地下水掏空路基是导致公路塌陷的主要因素。近些年来，因排水管网缺陷导致的城市内涝和公路塌陷等城市病频发，给居民生命财产安全带来严重影响。对地下管网进行周期性全面检测，是及时发现风险、保障排水管网系统安全运维的关键。

相关技术中，排水管道内部检测技术包括闭路电视（Closed CircuitTelevision，CCTV）检测机器人、管道潜望镜、管道内窥镜等。地下管道中没有光源，检测设备中的相机对地下管道进行拍摄时，需要自备探照灯，以期达到良好的光照条件。管道数据采集设备中的相机和探照灯要进行合理的搭配使用，才能采集良好的管道内部图像。目前，管道数据采集设备中的探照灯均为多点发光的LED灯，多点发光可以很好解决采集的图像出现过曝光的问题，但当相机与管道内壁距离过近时，也会出现图像过曝现象——强光的问题；同时，当时当管道口径较大时，经常出现光照强度不够——弱光的问题。当管道CCTV等设备在对管道进行数据采集时，不同缺陷自然发生的概率不同，采集的图像中缺陷的种类也不相同，这就会产生缺陷数据的不平衡问题。

针对相关技术中存在的上述问题，目前尚未发现有效的解决方案。

发明内容

本发明实施例提供了一种复杂光环境下的管道缺陷检测方法及装置。

根据本申请实施例的一个方面，提供了一种复杂光环境下的管道缺陷检测方法，包括：采集管道内部的原始图像；对所述原始图像进行伽马校正，生成对应光照水平的管道缺陷图像；采用缺陷检测算法识别所述管道缺陷图像中缺陷区域的位置信息和缺陷类别。

进一步，对所述原始图像进行伽马校正，生成对应光照水平的管道缺陷图像包括：将所述原始图像转换为色调饱和度明度HSV色彩空间；对所述HSV色彩空间中的V通道进行自适应伽马处理，生成第一中间图像；将所述第一中间图像转换为红绿蓝RGB色彩空间，得到所述管道缺陷图像。

进一步，对所述HSV色彩空间中的V通道进行自适应伽马处理，生成第一中间图像包括：计算所述原始图像的对比度和像素标准差；根据所述像素标准差计算自适应伽马处理的曲线参数，根据所述对比度和所述曲线参数计算自适应伽马处理的矫正系数；采用以下公式计算第二明度s：s=kR ^γ；其中，k为所述矫正系数，γ为所述曲线参数，R为所述原始图像的第一明度；基于所述第二明度生成所述第一中间图像。

进一步，根据所述像素标准差计算自适应伽马处理的曲线参数包括：根据所述像素标准差σ计算所述原始图像的明度均值λ；判断所述像素标准差σ是否小于或等于预设阈值；若所述像素标准差小于或等于预设阈值，确定所述原始图像为低对比度图像I _L；若所述像素标准差大于预设阈值，确定所述原始图像为中高对比度图像I _H；采用以下公式计算自适应伽马处理的曲线参数γ：

其中，σ为像素标准差，λ为明度均值，I _L表示所述原始图像为低对比度图像，I _H表示所述原始图像为中高对比度图像。

进一步，根据所述对比度和所述曲线参数计算自适应伽马处理的矫正系数包括：根据所述像素标准差σ计算所述原始图像的明度均值λ；采用明度阈值比较所述明度均值λ；若所述明度均值λ大于或等于所述明度阈值，确定所述原始图像为高明度图像；若所述明度均值λ小于所述明度阈值，确定所述原始图像为低明度图像；采用以下公式计算自适应伽马处理的矫正系数k：

其中，λ为明度均值，γ为曲线参数，R为第一明度。

进一步，采用缺陷检测算法识别所述管道缺陷图像中缺陷区域的位置信息和缺陷类别包括：从所述管道缺陷图像采样提取缺陷特征；采用调制系数重构YOLOv4缺陷检测算法的初始损失函数，得到目标损失函数；采用所述缺陷特征和所述目标损失函数识别所述管道缺陷图像中缺陷区域的位置信息和缺陷类别。

进一步，从所述管道缺陷图像采样提取缺陷特征包括：对所述管道缺陷图像进行上采样，得到至少一张放大后的高层特征图；融合所述管道缺陷图像和所述高层特征图的分辨率信息和语义信息，得到融合特征图；对所述管道缺陷图像进行下采样，得到至少一张缩小后的低层特征图；将所述高层特征图，所述融合特征图，所述低层特征图确定为所述管道缺陷图像的缺陷特征。

进一步，采用调制系数重构YOLOv4缺陷检测算法的初始损失函数，得到第一损失函数，包括：采用调制系数α重构YOLOv4缺陷检测算法的初始损失函数，得到如下目标损失函数L_p：

其中，α为调制系数，S²表示对所述管道缺陷图像划分的网格个数，

表示第i个网格的第j个锚点框是否负责目标缺陷类别的判断，C表示候选缺陷类别，min是类别集合中的最小缺陷类别，max是类别集合中的最大缺陷类别，

表示分类的真实概率，

表示分类的估计概率，所述管道缺陷图像包括多个网格，所述网格用于预测缺陷所在的区域位置。

根据本申请实施例的另一个方面，还提供了一种复杂光环境下的管道缺陷检测装置，包括：采集模块，用于采集管道内部的原始图像；矫正模块，用于对所述原始图像进行伽马校正，生成对应光照水平的管道缺陷图像；识别模块，用于采用缺陷检测算法识别所述管道缺陷图像中缺陷区域的位置信息和缺陷类别。

进一步，所述矫正模块包括：第一转换单元，用于将所述原始图像转换为色调饱和度明度HSV色彩空间；处理单元，用于对所述HSV色彩空间中的V通道进行自适应伽马处理，生成第一中间图像；第二转换单元，用于将所述第一中间图像转换为红绿蓝RGB色彩空间，得到所述管道缺陷图像。

进一步，所述处理单元包括：第一计算子单元，用于计算所述原始图像的对比度和像素标准差；第二计算子单元，用于根据所述像素标准差计算自适应伽马处理的曲线参数，根据所述对比度和所述曲线参数计算自适应伽马处理的矫正系数；第三计算子单元，用于采用以下公式计算第二明度s：s=kR ^γ；其中，k为所述矫正系数，γ为所述曲线参数，R为所述原始图像的第一明度；生成子单元，用于基于所述第二明度生成所述第一中间图像。

进一步，所述第二计算子单元还用于：根据所述像素标准差σ计算所述原始图像的明度均值λ；判断所述像素标准差σ是否小于或等于预设阈值；若所述像素标准差小于或等于预设阈值，确定所述原始图像为低对比度图像I _L；若所述像素标准差大于预设阈值，确定所述原始图像为中高对比度图像I _H；采用以下公式计算自适应伽马处理的曲线参数γ：

其中，σ为像素标准差，λ为明度均值，I _L表示所述原始图像为低对比度图像，I _H表示所述原始图像为中高对比度图像。

进一步，所述第二计算子单元还用于：根据所述像素标准差σ计算所述原始图像的明度均值λ；采用明度阈值比较所述明度均值λ；若所述明度均值λ大于或等于所述明度阈值，确定所述原始图像为高明度图像；若所述明度均值λ小于所述明度阈值，确定所述原始图像为低明度图像；采用以下公式计算自适应伽马处理的矫正系数k：

其中，λ为明度均值，γ为曲线参数，R为第一明度。

进一步，所述识别模块包括：提取单元，用于从所述管道缺陷图像采样提取缺陷特征；重构单元，用于采用调制系数重构YOLOv4缺陷检测算法的初始损失函数，得到目标损失函数；识别单元，用于采用所述缺陷特征和所述目标损失函数识别所述管道缺陷图像中缺陷区域的位置信息和缺陷类别。

进一步，所述提取单元包括：第一采样子单元，用于对所述管道缺陷图像进行上采样，得到至少一张放大后的高层特征图；融合子单元，用于融合所述管道缺陷图像和所述高层特征图的分辨率信息和语义信息，得到融合特征图；第二采样子单元，用于对所述管道缺陷图像进行下采样，得到至少一张缩小后的低层特征图；确定子单元，用于将所述高层特征图，所述融合特征图，所述低层特征图确定为所述管道缺陷图像的缺陷特征。

进一步，所述重构单元包括：重构单元，用于采用调制系数α重构YOLOv4缺陷检测算法的初始损失函数，得到如下目标损失函数L_p：

其中，α为调制系数，S²表示对所述管道缺陷图像划分的网格个数，

表示第i个网格的第j个锚点框是否负责目标缺陷类别的判断，C表示候选缺陷类别，min是类别集合中的最小缺陷类别，max是类别集合中的最大缺陷类别，

表示分类的真实概率，

表示分类的估计概率，所述管道缺陷图像包括多个网格，所述网格用于预测缺陷所在的区域位置。

根据本申请实施例的另一方面，还提供了一种存储介质，该存储介质包括存储的程序，程序运行时执行上述的步骤。

根据本申请实施例的另一方面，还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；其中：存储器，用于存放计算机程序；处理器，用于通过运行存储器上所存放的程序来执行上述方法中的步骤。

本申请实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述方法中的步骤。

通过本发明，采集管道内部的原始图像，对原始图像进行伽马校正，生成对应光照水平的管道缺陷图像，采用缺陷检测算法识别管道缺陷图像中缺陷区域的位置信息和缺陷类别，对采集的原始图像使用自适应算法进行伽马校正后，复杂光线问题得到明显改善，调整原始图像的亮度和对比度，强化管道缺陷与背景之间的差异，图像更加适用于管道缺陷的自动检测，解决了相关技术在管道缺陷检测时缺陷数据的类别不平衡的技术问题，可以自适应地处理不同光照水平下采集的管道图像。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是本发明实施例的一种计算机的硬件结构框图；

图2是根据本发明实施例的一种复杂光环境下的管道缺陷检测方法的流程图；

图3是本发明实施例伽马校正的示意图；

图4是根据本发明实施例的一种复杂光环境下的管道缺陷检测装置的结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例1

本申请实施例一所提供的方法实施例可以在服务器、计算机、手持设备、或者类似的运算装置中执行。以运行在计算机上为例，图1是本发明实施例的一种计算机的硬件结构框图。如图1所示，计算机可以包括一个或多个（图1中仅示出一个）处理器102（处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置）和用于存储数据的存储器104，可选地，上述计算机还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述计算机的结构造成限定。例如，计算机还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。

存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的一种复杂光环境下的管道缺陷检测方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至计算机。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器（Network Interface Controller，简称为NIC），其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频（Radio Frequency，简称为RF）模块，其用于通过无线方式与互联网进行通讯。

在本实施例中提供了一种复杂光环境下的管道缺陷检测方法，图2是根据本发明实施例的一种复杂光环境下的管道缺陷检测方法的流程图，如图2所示，该流程包括如下步骤：

步骤S202，采集管道内部的原始图像；

本实施例的原始图像是在管道腔体的内部通过图像传感器采集得到的管道内壁画面。

步骤S204，对原始图像进行伽马校正，生成对应光照水平的管道缺陷图像；

本实施例的伽马校正是一种自适应增强算法，用于调整输入图像的亮度和对比度，强化管道缺陷与背景之间的差异，图像缺陷区域。

步骤S206，采用缺陷检测算法识别管道缺陷图像中缺陷区域的位置信息和缺陷类别；

通过上述步骤，采集管道内部的原始图像，对原始图像进行伽马校正，生成对应光照水平的管道缺陷图像，采用缺陷检测算法识别管道缺陷图像中缺陷区域的位置信息和缺陷类别，对采集的原始图像使用自适应算法进行伽马校正后，复杂光线问题得到明显改善，调整原始图像的亮度和对比度，强化管道缺陷与背景之间的差异，图像更加适用于管道缺陷的自动检测，解决了相关技术在管道缺陷检测时缺陷数据的类别不平衡的技术问题，可以自适应地处理不同光照水平下采集的管道图像。

图像的色彩空间包括RGB，HSV，其中，HSV分别对应色相(Hue)、饱和度(Saturation)、明度/强度/亮度(Value)三个通道，在本实施例的一个实施方式中，对原始图像进行伽马校正，生成对应光照水平的管道缺陷图像包括：

S11，将原始图像转换为色调饱和度明度HSV色彩空间；

S12，对HSV色彩空间中的V通道进行自适应伽马处理，生成第一中间图像；

在一些示例中，对HSV色彩空间中的V(Value)通道进行自适应伽马处理，生成第一中间图像包括：计算原始图像的对比度和像素标准差；根据像素标准差计算自适应伽马处理的曲线参数，根据对比度和曲线参数计算自适应伽马处理的矫正系数；采用以下公式计算第二明度s：s=kR ^γ；其中，k为矫正系数，γ为曲线参数，R为原始图像的第一明度；基于第二明度生成第一中间图像。

本实施例提出了自适应伽马(Gamma)校正，可以自适应地处理不同光照水平的管道缺陷图像。首先将图像转换为HSV色彩空间；然后对V通道进行自适应伽马处理，调整图像亮度；最后将图像转换为RGB色彩空间进行后续检测。

可选的，根据像素标准差计算自适应伽马处理的曲线参数包括：根据像素标准差σ计算原始图像的明度均值λ；判断像素标准差σ是否小于或等于预设阈值；若像素标准差小于或等于预设阈值，确定原始图像为低对比度图像I _L；若像素标准差大于预设阈值，确定原始图像为中高对比度图像I _H；采用以下公式计算自适应伽马处理的曲线参数γ：

其中，σ为像素标准差，λ为明度均值，I _L表示原始图像为低对比度图像，I _H表示原始图像为中高对比度图像。

可选的，根据对比度和曲线参数计算自适应伽马处理的矫正系数包括：根据像素标准差σ计算原始图像的明度均值λ；采用明度阈值比较明度均值λ；若明度均值λ大于或等于明度阈值，确定原始图像为高明度图像；若明度均值λ小于明度阈值，确定原始图像为低明度图像；采用以下公式计算自适应伽马处理的矫正系数k：

其中，λ为明度均值，γ为曲线参数，R为第一明度。

在本实施例中，图像的像素标准差反映了像素值与均值的离散程度。标准差越大，图像质量越好。采用标准差等参数确定原始图像的对比度区间，分别是低对比度图像I _L，高对比度图像I _H。

其中，σ为图像的标准差，P为对比度系数。I _L指的是低对比度的图像，而I _H指的是中高对比度的图像。在一个示例中， p=0.25可以作为不同对比度图像分类的标准。

图像的明度平均值反映了图像的亮度。平均值越大，图像的亮度越高。在本实施例中，图像的明度均值用λ表示，当图像的明度均值小于0.5时，亮度低，大于等于0.5时，亮度高。因此，在本实施例中，强度平均值λ为 0.5 是区分图像亮度的阈值，的图像分类类别如表1所示。

表1

在计算系数k的值时，不同对比度的图像使用不同的k值，同对比度的图像使用不同的k值，公式如下：

0.5-λ＞1代表低明度，0.5-λ≤0代表高明度，类别I _L中的图像具有较小的σ值，并且图像中的大多数像素在较小的像素范围内具有相似的强度和聚类。对于此类图像，需要将像素分布扩展到更大的范围以提高对比度。在Gamma 校正中，γ值越大，图像强度和对比度越高。I _H类图像具有较大的σ值，像素值在动态范围内明显呈分散分布。与其增强对比度，不如调整亮度。投入产出曲线的斜率由γ值控制，γ值越大，图像对比度越高。

在计算自适应Gamma 校正中的γ值时，使用公式计算类别I _L和I _H中的图像的γ值，使用管道数据采集设备采集的原始图像光线较弱或者过强时，原始图像中RGB直方图的分布相对集中，直接对这些图像进行管道缺陷自动识别会影响管道缺陷检测的准确率；对采集的原始数据使用本实施例的自适应算法后，复杂光线问题得到明显改善，RGB直方图分布也更加均匀，图像更加适用于管道缺陷的自动检测。

S13，将第一中间图像转换为红绿蓝RGB色彩空间，得到管道缺陷图像。

图3是本发明实施例伽马校正的示意图，上面为矫正前的原始图像，下面后矫正后的管道缺陷图像，通过调整明度，缺陷区域所在的前景区域与背景区域之间的差异得到了强化。

在本实施例的一个实施方式中，采用缺陷检测算法识别管道缺陷图像中缺陷区域的位置信息和缺陷类别包括：

S21，从管道缺陷图像采样提取缺陷特征；

在一些示例中，从管道缺陷图像采样提取缺陷特征包括：对管道缺陷图像进行上采样，得到至少一张放大后的高层特征图；融合管道缺陷图像和高层特征图的分辨率信息和语义信息，得到融合特征图；对管道缺陷图像进行下采样，得到至少一张缩小后的低层特征图；将高层特征图，融合特征图，低层特征图确定为管道缺陷图像的缺陷特征。先通过上采样方式将高层特征的语义信息传播到低层网络然后与底层特征的高分辨率信息相融合，可以提高小尺寸目标检测物的检测效果，再增加从底层到最上层的信息传输路径，通过下采样加强特征金字塔。最后用多个层的特征图融合来做预测，识别出管道缺陷图像中缺陷区域的位置信息和缺陷类别。

S22，采用调制系数重构YOLOv4缺陷检测算法的初始损失函数，得到目标损失函数；

可选的，采用调制系数重构YOLOv4缺陷检测算法的初始损失函数，得到第一损失函数，包括：采用调制系数α重构YOLOv4缺陷检测算法的初始损失函数，得到如下目标损失函数L_p：

其中，α为调制系数，s²表示对管道缺陷图像划分的网格个数，

表示第i个网格的第j个锚点框是否负责目标缺陷类别的判断，C表示候选缺陷类别，min是类别集合（classes）中的最小缺陷类别，max是类别集合中的最大缺陷类别，

表示分类的真实概率，

表示分类的估计概率，即第i个网格所在的曲线区域属于目标缺陷类别的真实和估计概率，管道缺陷图像包括多个网格，网格用于预测缺陷所在的区域位置，i，j均为正整数。

S23，采用缺陷特征和目标损失函数识别管道缺陷图像中缺陷区域的位置信息和缺陷类别。

在本实施例中，可以采用多种管道缺陷自动检测算法进行识别，包括单阶段法和两阶段法。两阶段的算法是基于候选区域（Region proposal）的算法，这种算法首先通过对输入图片进行处理去找到可能包含目标物体的候选区域，然后再使用分类器在这些候选区域上去对目标物体进行分类。单阶段的目标检测算法不用产生候选区域，可以直接从图片中获得目标检测结果。最早的单阶段目标检测算法从YOLO开始，YOLO只需要处理图片一次就可以同时得到目标物体的位置和类别。YOLO最大的优点在于运行速度十分快，相对于之前的两阶段的目标检测算法来说，YOLO的速度有明显优势。

本实施例的YOLOv4算法是一种基于锚点（anchor based）的图像网格划分的网络模型的网络，它从数据处理、主干网络、网络训练、激活函数、损失函数等各个方面引入一些优化方法，该模型在目标检测方向上具有一定的优势，因此，YOLOv4算法也可以用于管道缺陷的检测中。

YOLOv4首先通过主干网络模型提取输入图像的特征，然后将图像进行网格划分，目标中心所在的网格负责完成对自己网格内部的检测，通过计算出边界框中是否包含目标及输出边界框准确度的置信度信息Conf(Object)来确实目标的种类，这样计算方法不仅可以提高网络检测的效率，也可以更加精细地对目标进行区分。置信度信息Conf(Object)的计算方法如下：

其中，Pr(Object）用来表示是否有目标物落入该候选网格中，落入为1，没落入为0。IoU代表预测框与真实框之间的交并比，其中box（Pred）代表预测框，box（Truth）代表真实框。每个预测边界框包含五个参数，分别是Conf（Object）x, y, w, h，其中，(x，y)代表预测框中心与真实框中心的偏移，w代表预测框的宽，h代表预测框的高。

常见的管道缺陷有破裂，腐蚀和变形等，由于管道材料的问题，各类缺陷出现的概率并不相同。常见的管道材料类型有混凝土和聚氯乙烯(PVC),经过统计发现，在混凝土管道和PVC管道中，破裂类型的缺陷自然出现的概率最高，在混凝土管道中变形出现的概率很低，因此，管道缺陷数据集存在类别的不平衡问题。本实施例为解决数据样本不平衡的问题，本给交叉熵函数添加调制系数α，重构得到目标损失函数。

本实施例对管道数据采集设备在运动采集的图像问题，改进了缺陷检测算法的损失函数，提升了管道缺陷的检测精度。

针对地下管道中复杂光照环境下进行缺陷检测时易发生漏检和检测不准的问题，本实施例提出了一种自适应图像增强与优化目标检测算法结合的地下管道缺陷检测与识别方法。包括管道图像的自适应图像增强和改进的管道缺陷检测算法。自适应图像增强方法根据Gamma变换原理，提出针对不同光强图像的图像增强，可以自适应地处理不同光照水平的管道图像。改进的管道缺陷检测优化算法对管道缺陷识别准确率进行了优化，能够让算法更加适用管道场景中缺陷检测。首先，针对复杂的光照图像提出自适应增强算法，调整图像亮度和对比度，强化管道缺陷与背景之间的差异；改进目标检测算法YOLOv4网络框架损失函数，提高预测框边界准确度。本实施例提出的自适应图像增强算法和改进的 YOLOv4检测算法能够有效地提升地下管道中缺陷检测的正确识别率。

本实施例的图像自适应方法不局限于管道场景，在复杂光环境下具有通用性。改进的管道缺陷检测优化算法不局限于管道场景，在数据种类不平衡的目标检测场景下具有通用性。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质（如ROM/RAM、磁碟、光盘）中，包括若干指令用以使得一台终端设备（可以是手机，计算机，服务器，或者网络设备等）执行本发明各个实施例所述的方法。

实施例2

在本实施例中还提供了一种复杂光环境下的管道缺陷检测装置，用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图4是根据本发明实施例的一种复杂光环境下的管道缺陷检测装置的结构框图，如图4所示，该装置包括：采集模块40，矫正模块42，识别模块44，其中，

采集模块40，用于采集管道内部的原始图像；

矫正模块42，用于对所述原始图像进行伽马校正，生成对应光照水平的管道缺陷图像；

识别模块44，用于采用缺陷检测算法识别所述管道缺陷图像中缺陷区域的位置信息和缺陷类别。

可选的，所述矫正模块包括：第一转换单元，用于将所述原始图像转换为色调饱和度明度HSV色彩空间；处理单元，用于对所述HSV色彩空间中的V通道进行自适应伽马处理，生成第一中间图像；第二转换单元，用于将所述第一中间图像转换为红绿蓝RGB色彩空间，得到所述管道缺陷图像。

进一步，所述处理单元包括：第一计算子单元，用于计算所述原始图像的对比度和像素标准差；第二计算子单元，用于根据所述像素标准差计算自适应伽马处理的曲线参数，根据所述对比度和所述曲线参数计算自适应伽马处理的矫正系数；第三计算子单元，用于采用以下公式计算第二明度s：s=kR ^γ；其中，k为所述矫正系数，γ为所述曲线参数，R为所述原始图像的第一明度；生成子单元，用于基于所述第二明度生成所述第一中间图像。

进一步，所述第二计算子单元还用于：根据所述像素标准差σ计算所述原始图像的明度均值λ；判断所述像素标准差σ是否小于或等于预设阈值；若所述像素标准差小于或等于预设阈值，确定所述原始图像为低对比度图像I _L；若所述像素标准差大于预设阈值，确定所述原始图像为中高对比度图像I _H；采用以下公式计算自适应伽马处理的曲线参数γ：

其中，σ为像素标准差，λ为明度均值，I _L表示所述原始图像为低对比度图像，I _H表示所述原始图像为中高对比度图像。

进一步，所述第二计算子单元还用于：根据所述像素标准差σ计算所述原始图像的明度均值λ；采用明度阈值比较所述明度均值λ；若所述明度均值λ大于或等于所述明度阈值，确定所述原始图像为高明度图像；若所述明度均值λ小于所述明度阈值，确定所述原始图像为低明度图像；采用以下公式计算自适应伽马处理的矫正系数k：

其中，λ为明度均值，γ为曲线参数，R为第一明度。

进一步，所述识别模块包括：提取单元，用于从所述管道缺陷图像采样提取缺陷特征；重构单元，用于采用调制系数重构YOLOv4缺陷检测算法的初始损失函数，得到目标损失函数；识别单元，用于采用所述缺陷特征和所述目标损失函数识别所述管道缺陷图像中缺陷区域的位置信息和缺陷类别。

进一步，所述提取单元包括：第一采样子单元，用于对所述管道缺陷图像进行上采样，得到至少一张放大后的高层特征图；融合子单元，用于融合所述管道缺陷图像和所述高层特征图的分辨率信息和语义信息，得到融合特征图；第二采样子单元，用于对所述管道缺陷图像进行下采样，得到至少一张缩小后的低层特征图；确定子单元，用于将所述高层特征图，所述融合特征图，所述低层特征图确定为所述管道缺陷图像的缺陷特征。

进一步，所述重构单元包括：重构单元，用于采用调制系数α重构YOLOv4缺陷检测算法的初始损失函数，得到如下目标损失函数L_p：

其中，α为调制系数，S²表示对所述管道缺陷图像划分的网格个数，

表示第i个网格的第j个锚点框是否负责目标缺陷类别的判断，C表示候选缺陷类别，min是类别集合中的最小缺陷类别，max是类别集合中的最大缺陷类别，

表示分类的真实概率，

表示分类的估计概率，所述管道缺陷图像包括多个网格，所述网格用于预测缺陷所在的区域位置。

需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。

实施例3

本发明的实施例还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：

S1，采集管道内部的原始图像；

S2，对所述原始图像进行伽马校正，生成对应光照水平的管道缺陷图像；

S3，采用缺陷检测算法识别所述管道缺陷图像中缺陷区域的位置信息和缺陷类别。

可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器（Read-Only Memory，简称为ROM）、随机存取存储器（Random Access Memory，简称为RAM）、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。

本发明的实施例还提供了一种电子设备，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

可选地，上述电子设备还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：

S1，采集管道内部的原始图像；

S2，对所述原始图像进行伽马校正，生成对应光照水平的管道缺陷图像；

S3，采用缺陷检测算法识别所述管道缺陷图像中缺陷区域的位置信息和缺陷类别。

可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可为个人计算机、服务器或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (8)

1.一种复杂光环境下的管道缺陷检测方法，其特征在于，包括：

采集管道内部的原始图像；

对所述原始图像进行伽马校正，生成对应光照水平的管道缺陷图像；

采用缺陷检测算法识别所述管道缺陷图像中缺陷区域的位置信息和缺陷类别；

其中，对所述原始图像进行自适应伽马校正，生成对应管道缺陷检测光照需求的管道缺陷图像包括：将所述原始图像转换为色调饱和度明度HSV色彩空间；对所述HSV色彩空间中的V通道进行自适应伽马矫正，生成第一中间图像；将所述第一中间图像转换为红绿蓝RGB色彩空间，得到所述管道缺陷图像；对所述HSV色彩空间中的V通道进行自适应伽马矫正，生成第一中间图像包括：计算所述原始图像的对比度和像素标准差；根据所述像素标准差计算自适应伽马矫正的曲线参数，根据所述对比度和所述曲线参数计算自适应伽马矫正系数；采用以下公式计算第二明度s：s=kR ^γ；其中，k为所述矫正系数，γ为所述曲线参数，R为所述原始图像的第一明度；基于所述第二明度生成所述第一中间图像；根据所述对比度和所述曲线参数计算自适应伽马矫正系数包括：根据所述像素标准差σ计算所述原始图像的明度均值λ；采用明度阈值比较所述明度均值λ；若所述明度均值λ大于或等于所述明度阈值，确定所述原始图像为高明度图像；若所述明度均值λ小于所述明度阈值，确定所述原始图像为低明度图像；采用以下公式计算自适应伽马矫正系数k：

其中，λ为明度均值，γ为曲线参数，R为第一明度。

2.根据权利要求1所述的复杂光环境下的管道缺陷检测方法，其特征在于，根据所述像素标准差计算自适应伽马矫正的曲线参数包括：

根据所述像素标准差σ计算所述原始图像的明度均值λ；判断所述像素标准差σ是否小于或等于预设阈值；

若所述像素标准差小于或等于预设阈值，确定所述原始图像为低对比度图像I _L；若所述像素标准差大于预设阈值，确定所述原始图像为中高对比度图像I _H；

采用以下公式计算自适应伽马矫正的曲线参数γ：

其中，σ为像素标准差，λ为明度均值，I _L表示所述原始图像为低对比度图像，I _H表示所述原始图像为中高对比度图像。

3.根据权利要求1所述的复杂光环境下的管道缺陷检测方法，其特征在于，采用缺陷检测算法识别所述管道缺陷图像中缺陷区域的位置信息和缺陷类别包括：

从所述管道缺陷图像采样提取缺陷特征；

采用调制系数重构YOLOv4缺陷检测算法的初始损失函数，得到目标损失函数；

采用所述缺陷特征和所述目标损失函数识别所述管道缺陷图像中缺陷区域的位置信息和缺陷类别。

4.根据权利要求3所述的复杂光环境下的管道缺陷检测方法，其特征在于，从所述管道缺陷图像采样提取缺陷特征包括：

对所述管道缺陷图像进行上采样，得到至少一张放大后的高层特征图；

融合所述管道缺陷图像和所述高层特征图的分辨率信息和语义信息，得到融合特征图；

对所述管道缺陷图像进行下采样，得到至少一张缩小后的低层特征图；

将所述高层特征图，所述融合特征图，所述低层特征图确定为所述管道缺陷图像的缺陷特征。

5.根据权利要求3所述的复杂光环境下的管道缺陷检测方法，其特征在于，采用调制系数重构YOLOv4缺陷检测算法的初始损失函数，得到第一损失函数，包括：

采用调制系数α重构YOLOv4缺陷检测算法的初始损失函数，得到如下目标损失函数L_p：

其中，α为调制系数，S²表示对所述管道缺陷图像划分的网格个数，

表示第i个网格的第j个锚点框是否负责目标缺陷类别的判断，C表示候选缺陷类别，min是类别集合中的最小缺陷类别，max是类别集合中的最大缺陷类别，

表示分类的真实概率，

表示分类的估计概率，所述管道缺陷图像包括多个网格，所述网格用于预测缺陷所在的区域位置。

6.一种复杂光环境下的管道缺陷检测装置，其特征在于，包括：

采集模块，用于采集管道内部的原始图像；

矫正模块，用于对所述原始图像进行伽马校正，生成对应光照水平的管道缺陷图像；

识别模块，用于采用缺陷检测算法识别所述管道缺陷图像中缺陷区域的位置信息和缺陷类别；

其中，所述矫正模块包括：第一转换单元，用于将所述原始图像转换为色调饱和度明度HSV色彩空间；处理单元，用于对所述HSV色彩空间中的V通道进行自适应伽马矫正，生成第一中间图像；第二转换单元，用于将所述第一中间图像转换为红绿蓝RGB色彩空间，得到所述管道缺陷图像；所述处理单元包括：第一计算子单元，用于计算所述原始图像的对比度和像素标准差；第二计算子单元，用于根据所述像素标准差计算自适应伽马矫正的曲线参数，根据所述对比度和所述曲线参数计算自适应伽马矫正系数；第三计算子单元，用于采用以下公式计算第二明度s：s=kR ^γ；其中，k为所述矫正系数，γ为所述曲线参数，R为所述原始图像的第一明度；生成子单元，用于基于所述第二明度生成所述第一中间图像；所述第二计算子单元还用于：根据所述像素标准差σ计算所述原始图像的明度均值λ；采用明度阈值比较所述明度均值λ；若所述明度均值λ大于或等于所述明度阈值，确定所述原始图像为高明度图像；若所述明度均值λ小于所述明度阈值，确定所述原始图像为低明度图像；采用以下公式计算自适应伽马处理的矫正系数k：

其中，λ为明度均值，γ为曲线参数，R为第一明度。

7.一种计算机存储介质，其特征在于，所述计算机存储介质包括存储的计算机程序，其中，所述计算机程序运行时执行上述权利要求1至5中任一项所述的复杂光环境下的管道缺陷检测方法的步骤。

8.一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；其中：

存储器，用于存放计算机程序；

处理器，用于通过运行存储器上所存放的程序来执行权利要求1至5中任一项所述的复杂光环境下的管道缺陷检测方法的步骤。

Images