CN114266771A

CN114266771A - 基于改进扩展特征金字塔模型的管道缺陷检测方法及装置

Info

Publication number: CN114266771A
Application number: CN202210196175.9A
Authority: CN
Inventors: 李清泉; 郭文浩; 王全; 刘志; 朱家松; 朱松; 元鹏鹏; 李秋棪
Original assignee: Shenzhen Huanshui Pipe Network Technology Service Co ltd; Shenzhen Zhiyuan Space Innovation Technology Co ltd
Current assignee: Shenzhen Huanshui Pipe Network Technology Service Co ltd; Shenzhen Zhiyuan Space Innovation Technology Co ltd
Priority date: 2022-03-02
Filing date: 2022-03-02
Publication date: 2022-04-01
Anticipated expiration: 2042-03-02
Also published as: CN114266771B

Abstract

本发明公开了一种基于改进扩展特征金字塔模型的管道缺陷检测方法及装置，属于计算机领域。其中，该方法包括：采集管道内部曲面的原始图像；对所述原始图像进行畸变转换，得到二维平面图像；在多个尺度对所述二维平面图像进行特征采样，构建所述二维平面图像的特征金字塔采样模型，其中，所述特征金字塔采样模型包括多个按照尺度排列的管道特征图；基于所述特征金字塔采样模型生成所述管道内部的缺陷特征图；根据所述缺陷特征图识别所述二维平面图像在边缘区域的缺陷类别。通过本发明，解决了相关技术中管道缺陷检测的准确率低的技术问题，尤其是边缘变形区域，提高了缺陷检测和分类的准确性。

Description

基于改进扩展特征金字塔模型的管道缺陷检测方法及装置

技术领域

本发明涉及计算机领域，具体而言，涉及一种基于改进扩展特征金字塔模型的管道缺陷检测方法及装置。

背景技术

相关技术中，城市地下管网是城市雨水、污水排放的主要通道，是维持城市正常运行所必需的。管道内部缺陷不仅会造成污水泄漏、排水不畅等系统运行问题，还可能造成地面塌陷、环境污染等安全问题。因此，定期对地下管网进行全面检查是及时发现风险、保障排水系统安全运行和维护的关键。

相关技术中，管道缺陷检测方法一般分为基于图像处理和非图像处理两大类。非图像处理方法主要是通过激光雷达、声纳发射器等传感器检测管道内部健康状况。这些方法的主要缺点是系统不能保证与管道中心对齐，不能捕获关于管道的完整和详细信息，并且检测成本太高。基于图像处理的方法通过摄影或录像来记录管道内部缺陷，这些方法可以快速获取管道缺陷数据，是常用的管道缺陷检测方法，例如，管道内窥镜和管道闭路电视（Closed Circuit Television，CCTV）等常用设备用于通过图像检测管道缺陷。二维图像处理技术已经成熟，利用二维图像识别管道内部缺陷的方法有很多，如机器学习、计算机视觉自动识别和分类管道内部的缺陷，然而，这些方法都没有对管道成像进行分析，仅将物体检测方法应用于管道缺陷检测，导致缺陷检测精度存在瓶颈问题，在基于图像的管道缺陷检测研究中，二维图像中信息的有效利用直接关系到图像的采样。现有的检测方法没有对管道成像进行分析，而是直接使用物体检测方法进行缺陷检测，导致精度存在瓶颈问题。管道内表面为三维表面，缺陷数据的细节很容易丢失，从而直接导致管道缺陷检测的准确率低。

针对相关技术中存在的上述问题，目前尚未发现有效的解决方案。

发明内容

本发明实施例提供了一种基于改进扩展特征金字塔模型的管道缺陷检测方法及装置，以解决相关技术中管道缺陷检测的准确率低的技术问题。

根据本申请实施例的一个方面，提供了一种基于改进扩展特征金字塔模型的管道缺陷检测方法，包括：采集管道内部曲面的原始图像；对所述原始图像进行畸变转换，得到二维平面图像；在多个尺度对所述二维平面图像进行特征采样，构建所述二维平面图像的特征金字塔采样模型，其中，所述特征金字塔采样模型包括多个按照尺度排列的管道特征图；基于所述特征金字塔采样模型生成所述管道内部的缺陷特征图；根据所述缺陷特征图识别所述二维平面图像在边缘区域的缺陷类别。

进一步，对所述原始图像进行畸变转换，得到二维平面图像，包括：确定二阶径向畸变系数k₁，k₂；遍历所述原始图像中的实际像素点在物理坐标系中的实际坐标点（x, y），采用以下畸变模型对所述实际坐标点（x, y）进行畸变转换，得到二维平面图像中理想像素点的对应坐标点

：

其中，k₁，k₂为二阶径向畸变系数，r²=(x²+y²)。

进一步，在多个尺度对所述二维平面图像进行特征采样，构建所述二维平面图像的特征金字塔采样模型，包括：基于第一缩小尺度对所述二维平面图像进行下采样，得到第一中间特征图；基于第二缩小尺度对所述第一中间特征图进行下采样，得到第二中间特征图；基于第三缩小尺度对所述第二中间特征图进行下采样，得到第三中间特征图；基于第四缩小尺度对所述第三中间特征图进行下采样，得到第四中间特征图；将所述第四中间特征图确定为第一管道特征图；将所述第一管道特征图上采样至与所述第三中间特征图相同的尺度后融合所述第三中间特征图生成第二管道特征图；将所述第二管道特征图上采样至与所述第二中间特征图相同的尺度后融合所述第二中间特征图生成第三管道特征图；将所述第三管道特征图上采样至与所述第一中间特征图相同的尺度后融合所述第一中间特征图生成第四管道特征图；采用所述第一管道特征图，所述第二管道特征图，所述第三管道特征图，所述第四管道特征图构建所述二维平面图像的扩展特征金字塔采样模型网络EFPN。

进一步，基于所述特征金字塔采样模型生成所述管道内部的缺陷特征图包括：从所述EFPN的第一阶层获取主输入特征，从所述EFPN的第二阶层获取参考输入特征，其中，所述EFPN由所述第一阶层和所述第二阶层组成；将所述主输入特征和所述参考输入特征嵌入超分辨率模块生成纹理特征图；基于所述纹理特征图拓展生成所述管道内部的缺陷特征图。

进一步，将所述主输入特征和所述参考输入特征嵌入超分辨率模块生成纹理特征图包括：将所述主输入特征作为第一输入信息输入纹理特征转换器FTT，以及将所述参考输入特征作为第二输入信息输入所述FTT，其中，所述主输入特征包括特征图P₅，特征图P₄，特征图P₃，所述参考输入特征包括特征图P₂；采用以下公式通过所述FTT输出纹理特征图P_2s：

其中，E_t()表示纹理提取器组件，E_f()表示特征内容提取器组件，↑_2x表示通过子像素卷积进行两倍放大，||表示特征级联。

进一步，根据所述纹理特征图拓展生成所述管道内部的缺陷特征图包括：基于第一缩小尺度对所述二维平面图像进行下采样，得到第一中间特征图C₂′；采用以下公式拓展生成所述管道内部的缺陷特征图P₂′：P₂′=P_2s↑2+ C₂′；其中，P_2s为纹理特征图，↑2表示通过最近邻插值进行两次上标。

进一步，根据所述缺陷特征图识别所述管道内部曲面上的缺陷类别包括：将所述缺陷特征图的边缘区域划分为多个预测框；通过转移通道尺寸上的像素增加每个预测框在宽度和高度尺寸上的像素点，得到卷积层特征F；采用以下公式对所述卷积层特征进行随机混洗，重新排列为形状为rH × rW × C的缺陷灰度图：

其中, PS(F)_x,y,c表示像素随机混洗之后在坐标（x, y, c）上的输出特征像素，r表示放大系数，

，R表示卷积核的输入范围，W表示预测框的宽，H表示预测框的高，C表示预测的缺陷类别，c为像素的灰度值；采用所述缺陷灰度图确定所述管道内部曲面上的缺陷类别。

根据本申请实施例的另一个方面，还提供了一种基于改进扩展特征金字塔模型的管道缺陷检测装置，包括：采集模块，用于采集管道内部曲面的原始图像；转换模块，用于对所述原始图像进行畸变转换，得到二维平面图像；构建模块，用于在多个尺度对所述二维平面图像进行特征采样，构建所述二维平面图像的特征金字塔采样模型，其中，所述特征金字塔采样模型包括多个按照尺度排列的管道特征图；生成模块，用于基于所述特征金字塔采样模型生成所述管道内部的缺陷特征图；识别模块，根据所述缺陷特征图识别所述管道内部曲面上的缺陷类别。

进一步，所述转换模块包括：确定单元，用于确定二阶径向畸变系数k₁，k₂；转换单元，用于遍历所述原始图像中的实际像素点在物理坐标系中的实际坐标点（x, y），采用以下畸变模型对所述实际坐标点（x, y）进行畸变转换，得到二维平面图像中理想像素点的对应坐标点

：

其中，k₁，k₂为二阶径向畸变系数，r²=(x²+y²)。

进一步，所述构建模块包括：第一采样单元，用于基于第一缩小尺度对所述二维平面图像进行下采样，得到第一中间特征图；第二采样单元，用于基于第二缩小尺度对所述第一中间特征图进行下采样，得到第二中间特征图；第三采样单元，用于基于第三缩小尺度对所述第二中间特征图进行下采样，得到第三中间特征图；第四采样单元，用于基于第四缩小尺度对所述第三中间特征图进行下采样，得到第四中间特征图；确定单元，用于将所述第四中间特征图确定为第一管道特征图；第一融合单元，用于将所述第一管道特征图上采样至与所述第三中间特征图相同的尺度后融合所述第三中间特征图生成第二管道特征图；第二融合单元，用于将所述第二管道特征图上采样至与所述第二中间特征图相同的尺度后融合所述第二中间特征图生成第三管道特征图；第三融合单元，用于将所述第三管道特征图上采样至与所述第一中间特征图相同的尺度后融合所述第一中间特征图生成第四管道特征图；第四融合单元，用于采用所述第一管道特征图，所述第二管道特征图，所述第三管道特征图，所述第四管道特征图构建所述二维平面图像的扩展特征金字塔采样模型网络EFPN。

进一步，所述生成模块包括：获取单元，用于从所述EFPN的第一阶层获取主输入特征，从所述EFPN的第二阶层获取参考输入特征，其中，所述EFPN由所述第一阶层和所述第二阶层组成；生成单元，用于将所述主输入特征和所述参考输入特征嵌入超分辨率模块生成纹理特征图；拓展单元，用于基于所述纹理特征图拓展生成所述管道内部的缺陷特征图。

进一步，所述生成单元包括：输入子单元，用于将所述主输入特征作为第一输入信息输入纹理特征转换器FTT，以及将所述参考输入特征作为第二输入信息输入所述FTT，其中，所述主输入特征包括特征图P₅，特征图P₄，特征图P₃，所述参考输入特征包括特征图P₂；输出子单元，用于采用以下公式通过所述FTT输出纹理特征图P_2s：

进一步，所述拓展单元包括：采样子单元，用于基于第一缩小尺度对所述二维平面图像进行下采样，得到第一中间特征图C₂′；拓展子单元，用于采用以下公式拓展生成所述管道内部的缺陷特征图P₂′：

P₂′=P_2s↑2+ C₂′；

其中，P_2s为纹理特征图，↑2表示通过最近邻插值进行两次上标。

进一步，所述识别模块包括：划分单元，用于将所述缺陷特征图的边缘区域划分为多个预测框；处理单元，用于通过转移通道尺寸上的像素增加每个预测框在宽度和高度尺寸上的像素点，得到卷积层特征F；排列单元，用于采用以下公式对所述卷积层特征进行随机混洗，重新排列为形状为rH × rW × C的缺陷灰度图：

其中，PS(F)_x,y,c表示像素随机混洗之后在坐标（x, y, c）上的输出特征像素，r表示放大系数，

，R表示卷积核的输入范围，W表示预测框的宽，H表示预测框的高，C表示预测的缺陷类别，c为像素的灰度值；

确定单元，用于采用所述缺陷灰度图确定所述管道内部曲面上的缺陷类别。

根据本申请实施例的另一方面，还提供了一种存储介质，该存储介质包括存储的程序，程序运行时执行上述的步骤。

根据本申请实施例的另一方面，还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；其中：存储器，用于存放计算机程序；处理器，用于通过运行存储器上所存放的程序来执行上述方法中的步骤。

本申请实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述方法中的步骤。

通过本发明，采集管道内部曲面的原始图像，对原始图像进行畸变转换，得到二维平面图像，在多个尺度对二维平面图像进行特征采样，构建二维平面图像的特征金字塔采样模型，特征金字塔采样模型包括多个按照尺度排列的管道特征图，基于特征金字塔采样模型生成管道内部的缺陷特征图，根据缺陷特征图识别管道内部曲面上的缺陷类别，通过多次采样可以提高管道特征的准确度，构建特征金字塔采样模型可以获得丰富的缺陷纹理信息，为管道缺陷检测提供图像采样支持，从而在管道图像中捕获更多区域纹理，丰富局部的细节特征，解决了相关技术中管道缺陷检测的准确率低的技术问题，尤其是边缘变形区域，提高了缺陷检测和分类的准确性。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是本发明实施例的一种计算机的硬件结构框图；

图2是根据本发明实施例的一种基于改进扩展特征金字塔模型的管道缺陷检测方法的流程图；

图3是本发明实施例管道图像成像模型的示意图；

图4是本发明实施例管道成像中的缺陷示意图；

图5是本发明实施例图像采样的示意图；

图6是本发明实施例管道扩展特征金字塔采样模型网络的示意图；

图7是根据本发明实施例的一种基于改进扩展特征金字塔模型的管道缺陷检测装置的结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例1

本申请实施例一所提供的方法实施例可以在服务器、计算机、手持设备、或者类似的运算装置中执行。以运行在计算机上为例，图1是本发明实施例的一种计算机的硬件结构框图。如图1所示，计算机可以包括一个或多个（图1中仅示出一个）处理器102（处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置）和用于存储数据的存储器104，可选地，上述计算机还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述计算机的结构造成限定。例如，计算机还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。

存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的一种基于改进扩展特征金字塔模型的管道缺陷检测方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至计算机。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器（Network Interface Controller，简称为NIC），其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频（Radio Frequency，简称为RF）模块，其用于通过无线方式与互联网进行通讯。

在本实施例中提供了一种基于改进扩展特征金字塔模型的管道缺陷检测方法，图2是根据本发明实施例的一种基于改进扩展特征金字塔模型的管道缺陷检测方法的流程图，如图2所示，该流程包括如下步骤：

步骤S202，采集管道内部曲面的原始图像；

本实施例的原始图像是与管道内壁对应的三维曲面画面。

步骤S204，对原始图像进行畸变转换，得到二维平面图像；

步骤S206，在多个尺度对二维平面图像进行特征采样，构建二维平面图像的特征金字塔采样模型，其中，特征金字塔采样模型包括多个按照尺度排列的管道特征图；

步骤S208，基于特征金字塔采样模型生成管道内部的缺陷特征图；

步骤S210，根据缺陷特征图识别管道内部曲面上的缺陷类别。

管道内部场景单一，管道缺陷数据颜色和种类相对简单，因此缺陷的形状是缺陷识别与分类的重要依据，可以采用形状进行缺陷识别。

通过上述步骤，采集管道内部曲面的原始图像，对原始图像进行畸变转换，得到二维平面图像，在多个尺度对二维平面图像进行特征采样，构建二维平面图像的特征金字塔采样模型，特征金字塔采样模型包括多个按照尺度排列的管道特征图，基于特征金字塔采样模型生成管道内部的缺陷特征图，根据缺陷特征图识别管道内部曲面上的缺陷类别，通过多次采样可以提高管道特征的准确度，构建特征金字塔采样模型可以获得丰富的缺陷纹理信息，为管道缺陷检测提供图像采样支持，从而在管道图像中捕获更多区域纹理，丰富局部的细节特征，解决了相关技术中管道缺陷检测的准确率低的技术问题，尤其是边缘变形区域，提高了缺陷检测和分类的准确性。

在本实施例的一个实施方式中，对原始图像进行畸变转换，得到二维平面图像，包括：确定二阶径向畸变系数k₁，k₂；遍历原始图像中的实际像素点在物理坐标系中的实际坐标点（x, y），采用以下畸变模型对实际坐标点（x, y）进行畸变转换，得到二维平面图像中理想像素点的对应坐标点

：

其中，k₁，k₂为二阶径向畸变系数，r²=(x²+y²)。

排水管道内部表面一般为圆柱曲面，通常情况下，相机在管道内壁拍摄存在一定的畸变，这种畸变会对缺陷的形状会产生影响。

图3是本发明实施例管道图像成像模型的示意图，包括成像面和管道表面，排水管道内部表面在相机成像模型中，距离相机中心轴线越远，成像畸变就越严重，其形变模型可以用公式表示：λ=ktanθ,λ为畸变系数，k为相机成像常数，θ为管道内部表面点到相机成像中心线的夹角。

由于相机的真实成像系统和理论成像模型间存在偏差，导致物体的位置、投影中心点以及二维图像点间的关系发生变化，不符合严格的线性关系。对于图像来说，径向畸变不会改变清晰度，但是会改变图像的几何位置，相机镜头下，物理坐标系下的实际像点p（x,y）与理想像点

之间的关系可表示为λ：

上式中，（σ_x，σ_y）为理想像点与实际像点之间的相差，r²=(x²+y²),k₁,k₂,k₃…为图像径向畸变系数，p₁,p₂为切向畸变系数。

本实施例考虑到多镜头畸变的影响，在成像过程中加入更多的畸变参数，可能会导致计算解不稳定，对提高相机的标定精度没有太多帮助。在图像的各种畸变中，径向畸变占主导地位，实际相机中几乎不会引入明显的切向畸变。因此，本实施例只考虑二阶径向畸变系数k₁,k₂带来的误差，反而可以提高畸变转换的精度，其畸变模型简化为：

当图像中的像素点向正方向不断偏移时，径向畸变就会使像素点与中心点慢慢的远离，这便是枕形畸变形成的过程。随着鱼眼相机的视场角不断增大，相机系统垂轴放大率也会随之不断的增加，相反的情况，就是桶形畸变的形成。

图4是本发明实施例管道成像中的缺陷示意图，管道缺陷检测时，畸变的图像会影响缺陷的识别，左下角为边缘管道成像边缘的缺陷区域。此外，由于地下管线的环境非常复杂，在检测管道缺陷时，往往伴随着异物、泥土等干扰。如果管道中的缺陷被扭曲，则很容易出现漏检和误检的问题。因此，解决三维管道到二维图像畸变的问题对于管道缺陷检测非常重要。使用不同尺度的管道缺陷是提高缺陷检测精度的有效方法。由于不同尺度的管道缺陷特征的耦合以及金字塔层与对象大小之间的不正确映射会降低采样的有效性，因此提出了扩展特征金字塔采样模型网络（Extended feature pyramid network, EFPN）来增强管道在图像边缘采样的有效性和更合适的特征层被分配给管道图像边缘的缺陷，即管道扩展特征金字塔采样模型网络（Pipe-extended feature pyramid network, PEFPN）。构建了一个扩展的特征金字塔采样模型，专用于图像边缘的缺陷采样，并在底部具有高分辨率特征层。该方法具有丰富的区域纹理信息，能有效提高管道缺陷检测的准确率。

在本实施例的一个实例中，在多个尺度对二维平面图像进行特征采样，构建二维平面图像的特征金字塔采样模型，包括：基于第一缩小尺度对二维平面图像进行下采样，得到第一中间特征图；基于第二缩小尺度对第一中间特征图进行下采样，得到第二中间特征图；基于第三缩小尺度对第二中间特征图进行下采样，得到第三中间特征图；基于第四缩小尺度对第三中间特征图进行下采样，得到第四中间特征图；将第四中间特征图确定为第一管道特征图；将第一管道特征图上采样至与第三中间特征图相同的尺度后融合第三中间特征图生成第二管道特征图；将第二管道特征图上采样至与第二中间特征图相同的尺度后融合第二中间特征图生成第三管道特征图；将第三管道特征图上采样至与第一中间特征图相同的尺度后融合第一中间特征图生成第四管道特征图；采用第一管道特征图，第二管道特征图，第三管道特征图，第四管道特征图构建二维平面图像的扩展特征金字塔采样模型网络EFPN。

管道内部表面是三维立体的曲面，将三维曲面转换的二维平面中，存在很多数据细节的丢失，但也是最便捷的获取数据的方法，如何将二维平面上的有效信息利用，提升管道缺陷识别精度，是非常重要的研究问题。

本实施例利用不同尺度的管道缺陷特征是提升缺陷识别精度的有效途径。FPN通过自上而下的路径合并低层和高层的特性来构建特性金字塔，图5是本发明实施例图像采样的示意图，第一中间特征图，第二中间特征图，第三中间特征图，第四中间特征图，对应C₂~C₅，第一管道特征图，第二管道特征图，第三管道特征图，第四管道特征图，对应P₅~P₂。

由于不同尺度的管道缺陷特征耦合和金字塔层与目标大小之间的不恰当映射会降低采样的有效性，本实施例提出了一种PEFPN来提升图像边缘的管道采样有效性，并为管道图像边缘的缺陷分配更合适的特征层，构建一个扩展的特征金字塔采样模型，专门用于图像边缘的缺陷采样，并在底部有一个高分辨率的特征层，该层具有丰富的区域纹理信息，可以有效地提升管道缺陷识别的精度。

在本实施例的一个实施方式中，基于特征金字塔采样模型生成管道内部的缺陷特征图包括：

S11，从EFPN的第一阶层获取主输入特征，从EFPN的第二阶层获取参考输入特征，其中，EFPN由第一阶层和第二阶层组成；

FPN相同顶层4个金字塔层（P₅~P₂）采用自顶向下的路径构建，如图5所示,能够在较少计算量的前提下融合低分辨率语义信息中的较强特征图和高分辨率语义信息中空间信息丰富的较弱特征图。虽然不同金字塔层上的特征负责不同大小的目标，但小目标检测和中目标检测仍然耦合在FPN的同一底层P₂上，直接对FPN进行扩展的话，P₂中的噪声将直接向下传递到扩展金字塔级，严重影响图像采样的质量。

在基于图像参考的SR的启发下，本实施例提出扩展FPN来扩展原始特征金字塔采样模型的一个新的层次，图6是本发明实施例管道扩展特征金字塔采样模型网络的示意图，基于纹理特征转换器(Feature texture transfer, FTT)模块来实现特征的超分辨率，FTT模块的输出在较低的高分辨率参考特征中综合了强语义，而在较低的高分辨率参考特征中综合了关键局部细节，可以在参考源中很好地消除噪声。FTT模块的输入源分为两个部分，分别是主输入源和参考输入源，在主输入源中，通过一个类似FPN的框架嵌入一个SR模块来实现扩展的特性金字塔，可以直接从低分辨率图像中生成高分辨率特征，以支持更加丰富的纹理采样，目的是捕捉管道图像中更多的区域细节，尤其是在边缘区域，有利于缺陷识别与分类。

S12，将所述主输入特征和所述参考输入特征嵌入超分辨率模块生成纹理特征图；

在一个示例中，将所述主输入特征和所述参考输入特征嵌入超分辨率模块生成纹理特征图包括：将主输入特征作为第一输入信息输入纹理特征转换器FTT，以及将参考输入特征作为第二输入信息输入FTT，其中，主输入特征包括特征图P₅，特征图P₄，特征图P₃，参考输入特征包括特征图P₂；采用以下公式通过FTT输出纹理特征图P_2s：

如图6所示，FTT模块中，主输入是来自EFPN的特征图（P₅~P₃），参考输入是来自EFPN第四层的特征图P₂。在主输入源，考虑到效率，将子像素卷积应用于来自主输入P₅~P₃的内容特征的高级空间分辨率。在参考输入源中，参考特征P₂和超分辨内容特征P₃,P₄,P₅的环绕被馈送到纹理提取器。纹理提取器旨在拾取管道图像中可用于缺陷检测的可靠纹理，并阻止原始FPN无用的噪声向下传递。

S13，基于纹理特征图拓展生成管道内部的缺陷特征图。

在一个示例中，根据纹理特征图拓展生成管道内部的缺陷特征图包括：基于第一缩小尺度对二维平面图像进行下采样，得到第一中间特征图C₂′；采用以下公式拓展生成管道内部的缺陷特征图P₂′：

P₂′=P_2s↑2+ C₂′；

在纹理和特征上逐元素添加，确保输出整合了来自输入和引用的语义和区域信息。因此，特征图P_2s具有从浅层特征参考P₂中选择的可靠纹理，以及从深层P₃,P₄,P₅具有相似的语义。

在本实施例的一个实施方式，根据缺陷特征图识别管道内部曲面上的缺陷类别包括：

S21，将缺陷特征图的边缘区域划分为多个预测框；

S22，通过转移通道尺寸上的像素增加每个预测框在宽度和高度尺寸上的像素点，得到卷积层特征F；

S23，采用以下公式对卷积层特征进行随机混洗，重新排列为形状为rH × rW ×C的缺陷灰度图：

S24，采用所述缺陷灰度图确定所述管道内部曲面上的缺陷类别。

子像素卷积通过转移通道尺寸上的像素来增加宽度和高度尺寸上的像素。将卷积层生成的特征表示为

。子像素卷积中的像素混洗算符将特征重新排列为形状为rH × rW × C的图。

在本实施例中，构建了一个扩展的特征金字塔采样模型，专门用于图像边缘的缺陷采样，扩展的特征金字塔采样模型是通过类似FPN的框架嵌入SR模块来实现的。PEFPN可以在管道图像中失真较大的边缘区域更好地进行缺陷检测，同时可以更好地保留纹理特征的细节。因此，检测精度有显着提高。可以直接从低分辨率图像中生成高分辨率特征，并且可以捕获管道图像中更多的区域细节，尤其是边缘区域，有利于缺陷检测和分类。本专利所提出的PEFPN在检测不同类型的缺陷时可以显着提高管道变形和腐蚀缺陷的检测精度，特别是对于图像边缘区域的缺陷识别。本实施例构建了一个扩展的特征金字塔采样模型，专门用于图像边缘的缺陷采样，通过像框架一样的FPN嵌入一个超分辨率（Super-Resolution, SR）模块来实现扩展的特征金字塔采样模型。该方法可以直接从低分辨率图像中生成高分辨率特征，并且可以捕获管道图像中更多的区域细节，尤其是边缘区域，有利于缺陷检测和分类。

本实施例通过对管道成像进行了分析，发现对图像边缘区域内的缺陷纹理进行有效采样可以提高缺陷检测的准确性。构建了图像采样框架—PEFPN，嵌入了SR模块进行纹理提取，可以获得丰富的缺陷纹理信息，为管道缺陷检测提供图像采样支持。本发明所提出的方法通过在管道图像中捕获更多区域纹理，尤其是边缘变形区域，提高了缺陷检测和分类的准确性。

在利用图像进行管道缺陷检测的场景中，对管道成像进行了研究分析，发现图像边缘区域内的缺陷纹理进行有效采样可以提高缺陷检测的准确性。本发明构建了图像采样框架-PEFPN，可以获得丰富的缺陷纹理信息，为管道缺陷检测提供图像采样支持。本实施例的方案通过在管道图像中捕获更多区域纹理，尤其是边缘变形区域，提高了缺陷检测和分类的准确性。

本实施例的管道缺陷检测是常见的应用场景，但不仅限于管道缺陷检测的场景，也可以在表面为曲面中表观缺陷检测中应用。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质（如ROM/RAM、磁碟、光盘）中，包括若干指令用以使得一台终端设备（可以是手机，计算机，服务器，或者网络设备等）执行本发明各个实施例所述的方法。

实施例2

在本实施例中还提供了一种基于改进扩展特征金字塔模型的管道缺陷检测装置，用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图7是根据本发明实施例的一种基于改进扩展特征金字塔模型的管道缺陷检测装置的结构框图，如图7所示，该装置包括：采集模块70，转换模块72，构建模块74，生成模块76，识别模块78，其中，

采集模块70，用于采集管道内部曲面的原始图像；

转换模块72，用于对所述原始图像进行畸变转换，得到二维平面图像；

构建模块74，用于在多个尺度对所述二维平面图像进行特征采样，构建所述二维平面图像的特征金字塔采样模型，其中，所述特征金字塔采样模型包括多个按照尺度排列的管道特征图；

生成模块76，用于基于所述特征金字塔采样模型生成所述管道内部的缺陷特征图；

识别模块78，根据所述缺陷特征图识别所述管道内部曲面上的缺陷类别。

可选的，所述转换模块包括：确定单元，用于确定二阶径向畸变系数k₁，k₂；转换单元，用于遍历所述原始图像中的实际像素点在物理坐标系中的实际坐标点（x, y），采用以下畸变模型对所述实际坐标点（x, y）进行畸变转换，得到二维平面图像中理想像素点的对应坐标点

：

其中，k₁，k₂为二阶径向畸变系数，r²=(x²+y²)。

P₂′=P_2s↑2+ C₂′；

需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。

实施例3

本发明的实施例还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：

S1，采集管道内部曲面的原始图像；

S2，对所述原始图像进行畸变转换，得到二维平面图像；

S3，在多个尺度对所述二维平面图像进行特征采样，构建所述二维平面图像的特征金字塔采样模型，其中，所述特征金字塔采样模型包括多个按照尺度排列的管道特征图；

S4，基于所述特征金字塔采样模型生成所述管道内部的缺陷特征图；

S5，根据所述缺陷特征图识别所述二维平面图像在边缘区域的缺陷类别。

可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器（Read-Only Memory，简称为ROM）、随机存取存储器（Random Access Memory，简称为RAM）、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。

本发明的实施例还提供了一种电子设备，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

可选地，上述电子设备还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：

S1，采集管道内部曲面的原始图像；

S2，对所述原始图像进行畸变转换，得到二维平面图像；

可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可为个人计算机、服务器或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims

1.一种基于改进扩展特征金字塔模型的管道缺陷检测方法，其特征在于，包括：

采集管道内部曲面的原始图像；

对所述原始图像进行畸变转换，得到二维平面图像；

在多个尺度对所述二维平面图像进行特征采样，构建所述二维平面图像的特征金字塔采样模型，其中，所述特征金字塔采样模型包括多个按照尺度排列的管道特征图；

基于所述特征金字塔采样模型生成所述管道内部的缺陷特征图；

根据所述缺陷特征图识别所述管道内部曲面上的缺陷类别。

2.根据权利要求1所述的基于改进扩展特征金字塔模型的管道缺陷检测方法，其特征在于，对所述原始图像进行畸变转换，得到二维平面图像，包括：

确定二阶径向畸变系数k₁，k₂；

遍历所述原始图像中的实际像素点在物理坐标系中的实际坐标点（x, y），采用以下畸变模型对所述实际坐标点（x, y）进行畸变转换，得到二维平面图像中理想像素点的对应坐标点

：

其中，k₁，k₂为二阶径向畸变系数，r²=(x²+y²)。

3.根据权利要求1所述的基于改进扩展特征金字塔模型的管道缺陷检测方法，其特征在于，在多个尺度对所述二维平面图像进行特征采样，构建所述二维平面图像的特征金字塔采样模型，包括：

基于第一缩小尺度对所述二维平面图像进行下采样，得到第一中间特征图；

基于第二缩小尺度对所述第一中间特征图进行下采样，得到第二中间特征图；

基于第三缩小尺度对所述第二中间特征图进行下采样，得到第三中间特征图；

基于第四缩小尺度对所述第三中间特征图进行下采样，得到第四中间特征图；

将所述第四中间特征图确定为第一管道特征图；

将所述第一管道特征图上采样至与所述第三中间特征图相同的尺度后融合所述第三中间特征图生成第二管道特征图；

将所述第二管道特征图上采样至与所述第二中间特征图相同的尺度后融合所述第二中间特征图生成第三管道特征图；

将所述第三管道特征图上采样至与所述第一中间特征图相同的尺度后融合所述第一中间特征图生成第四管道特征图；

采用所述第一管道特征图，所述第二管道特征图，所述第三管道特征图，所述第四管道特征图构建所述二维平面图像的扩展特征金字塔采样模型网络EFPN。

4.根据权利要求1所述的基于改进扩展特征金字塔模型的管道缺陷检测方法，其特征在于，所述特征金字塔采样模型为EFPN，基于所述特征金字塔采样模型生成所述管道内部的缺陷特征图包括：

从所述EFPN的第一阶层获取主输入特征，从所述EFPN的第二阶层获取参考输入特征，其中，所述EFPN由所述第一阶层和所述第二阶层组成；

将所述主输入特征和所述参考输入特征嵌入超分辨率模块生成纹理特征图；

基于所述纹理特征图拓展生成所述管道内部的缺陷特征图。

5.根据权利要求4所述的基于改进扩展特征金字塔模型的管道缺陷检测方法，其特征在于，将所述主输入特征和所述参考输入特征嵌入超分辨率模块生成纹理特征图包括：

将所述主输入特征作为第一输入信息输入纹理特征转换器FTT，以及将所述参考输入特征作为第二输入信息输入所述FTT，其中，所述主输入特征包括特征图P₅，特征图P₄，特征图P₃，所述参考输入特征包括特征图P₂；

采用以下公式通过所述FTT输出纹理特征图P_2s：

6.根据权利要求4所述的基于改进扩展特征金字塔模型的管道缺陷检测方法，其特征在于，根据所述纹理特征图拓展生成所述管道内部的缺陷特征图包括：

基于第一缩小尺度对所述二维平面图像进行下采样，得到第一中间特征图C₂′；

采用以下公式拓展生成所述管道内部的缺陷特征图P₂′：

P₂′=P_2s↑2+ C₂′；

7.根据权利要求1所述的基于改进扩展特征金字塔模型的管道缺陷检测方法，其特征在于，根据所述缺陷特征图识别所述管道内部曲面上的缺陷类别包括：

将所述缺陷特征图的边缘区域划分为多个预测框；

通过转移通道尺寸上的像素增加每个预测框在宽度和高度尺寸上的像素点，得到卷积层特征F；

采用以下公式对所述卷积层特征进行随机混洗，重新排列为形状为rH × rW × C的缺陷灰度图：

采用所述缺陷灰度图确定所述管道内部曲面上的缺陷类别。

8.一种基于改进扩展特征金字塔模型的管道缺陷检测装置，其特征在于，包括：

采集模块，用于采集管道内部曲面的原始图像；

转换模块，用于对所述原始图像进行畸变转换，得到二维平面图像；

构建模块，用于在多个尺度对所述二维平面图像进行特征采样，构建所述二维平面图像的特征金字塔采样模型，其中，所述特征金字塔采样模型包括多个按照尺度排列的管道特征图；

生成模块，用于基于所述特征金字塔采样模型生成所述管道内部的缺陷特征图；

识别模块，根据所述缺陷特征图识别所述管道内部曲面上的缺陷类别。

9.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，所述程序运行时执行上述权利要求1至7中任一项所述的基于改进扩展特征金字塔模型的管道缺陷检测方法的步骤。

10.一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；其中：

存储器，用于存放计算机程序；

处理器，用于通过运行存储器上所存放的程序来执行权利要求1至7中任一项所述的基于改进扩展特征金字塔模型的管道缺陷检测方法的步骤。