CN114663375A - 基于小样本学习的浮空器主缆绳表面缺陷检测方法及系统 - Google Patents

Abstract

本发明提供基于小样本学习的浮空器主缆绳表面缺陷检测方法及系统包括：设置系统软硬件环境；采集并通过预置对抗网络扩充处理浮空器主缆绳表面图像，以得到缆绳表面增强图像数据并标注，据以构建缺陷样本库；以DenseNet网络及主电缆缺陷特点设计网络模型，利用小样本学习构建网络模型，根据缺陷样本库训练网络模型；以经训练的网络模型利用yolov4单阶段检测算法处理缺陷样本库中的查询集，据以得到浅层纹理特征及高层语义特征；利用网络模型的DenseNet网络的结构，通过跳跃连接将浅层纹理特征传递至高层语义特征中并以度量逻辑处理；在终端选择获取不同模式下的浮空器主缆绳表面缺陷检测数据。解决了缺陷漏检率、误检率高及检测效率低的技术问题。

Description

基于小样本学习的浮空器主缆绳表面缺陷检测方法及系统

技术领域

本发明涉及浮空器的线缆缺陷检测技术，具体涉及一种基于小样本学习的浮空器主缆绳表面缺陷检测方法及系统。

背景技术

线缆表面的外护套是防备外界因素侵蚀线缆绝缘层的结构部分，主要作用是提高线缆的机械强度以及防化学腐蚀、防水、防燃烧等。然而，在线缆的生产过程中，由于加工设备、生产工艺、生产原料等因素，会不可避免地造成折痕、划痕、小孔、鼓包、绝缘皮破损等表面缺陷。这些缺陷不仅有损产品性能、影响商业用途，而且严重的表观质量甚至会造成后期使用的安全隐患。

申请号为CN202111068447.9的发明专利《一种基于小样本学习的玻璃面板表面缺陷检测方法》包括以下步骤：S1：采集少量有缺陷的玻璃面板图像，并标注边界框和缺陷类别；S2：对玻璃面板图像进行预处理及数量扩展，构建玻璃面板表面缺陷检测数据集；S3：构建用于对玻璃面板图像进行识别和定位的缺陷检测网络，所述的缺陷检测网络包含由ResNet101和特征金字塔网络构成的主干特征提取网络、改进的RPN网络、ROIpooling层、全局ROI提取层、边框回归网络和分类网络；所述的主干特征提取网络用于提取图像的全局特征，改进的RPN网络和ROIpooling层用于提取图像的候选区域特征，全局ROI提取层用于融合全局特征和候选区域特征，对候选区域特征进行更新，边框回归网络和分类网络用于根据更新后的候选区域特征生成定位边界框和缺陷类别；S4：使用玻璃面板表面缺陷检测数据集对构建的缺陷检测网络进行训练，得到训练好的缺陷检测模型；S5：使用训练好的缺陷检测模型对玻璃面板图像进行缺陷检测，输出缺陷定位边界框和所属的缺陷类别。前述现有专利中虽然也采用了小样本学习以及样本扩展的方法，但其采用的小样本学习以及样本扩展的具体技术方案与本申请技术方案中披露的小样本学习和样本扩充方案不同，二者采用的缺陷检测网络模型等存在区别。同时，前述现有专利并非应用于浮空器的线缆检测领域，也并非用于线缆检测。目前，国内企业的线缆表面缺陷检测技术主要依靠人工目测和手触判断的方法，这两种方法的检测效率很难达到高速生产线的检测要求，漏检率和误检率极高。因此，现有技术中的浮空器线缆检测技术存在缺陷漏检率、误检率高及检测效率低的技术问题。

发明内容

本发明所要解决的技术问题在于如何解决现有技术中的浮空器线缆检测技术存在的缺陷漏检率、误检率高及检测效率低的技术问题。

本发明是采用以下技术方案解决上述技术问题的：一种基于小样本学习的浮空器主缆绳表面缺陷检测方法包括：

S1、初始化系统环境，设置系统参数及检测作业模式；

S2、采集并通过预置对抗网络扩充处理浮空器主缆绳表面图像，以得到缆绳表面增强图像数据并标注，据以构建缆绳表面缺陷样本库；

S3、以DenseNet网络及主电缆缺陷特点设计主电缆缺陷检测网络模型，利用小样本学习构建所述主电缆缺陷检测网络模型，根据所述缆绳表面缺陷样本库训练所述主电缆缺陷检测网络模型；

S4、以经过前述训练的所述主电缆缺陷检测网络模型利用yolov4单阶段检测算法处理所述缆绳表面缺陷样本库中的查询集，据以得到所述浅层纹理特征及所述高层语义特征；

S5、利用所述主电缆缺陷检测网络模型的所述DenseNet网络的结构，通过跳跃连接将所述浅层纹理特征传递至所述高层语义特征中，以下述度量逻辑综合处理所述浅层纹理特征及所述高层语义特征：

euc(x,ω_c)＝‖x-ω_c‖#(2)

，

其中，ω_c是属于c类的所有样本经过函数变化的均值，euc(x,ω_c)是距离函数，p(y＝c|x)是概率函数，以得到浮空器主缆绳表面缺陷检测数据；

S6、在终端选择不同的所述检测作业模式，据以获取不同的所述检测作业模式下的所述浮空器主缆绳表面缺陷检测数据。

本发明选择基于深度神经网络的yolov4单阶段检测算法作为线缆缺陷检测的基准算法，其在当前的目标检测算法中具有一定的技术优势，在同样的算法耗时下具有更好的检测效果。为了综合利用浅层的纹理特征与高层的语义特征，在本发明中选用DenseNet网络作为检测算法的基础框架，其通过跳跃连接频繁地将底层特征传递到高层特征中，有助于检测效果的提升。

在更具体的技术方案中，步骤S1包括：

S11、采集并存储主线缆运行环境数据；

S12、根据所述主线缆运行环境数据设置图像采集设备并预置图像滤波器。

在更具体的技术方案中，步骤S12中的图像滤波器的滤波方式包括：中值滤波。

在更具体的技术方案中，步骤S12中的图像采集设备包括不少于2台相机，所述相机设于预置线缆缺陷图像采集位置。

在更具体的技术方案中，步骤S2包括：

S21、以预置的图像采集设备采集浮空器主缆绳表面图像；

S22、增强处理所述浮空器主缆绳表面图像以得到所述浮空器主缆绳表面增强图像；

S23、通过所述预置对抗网络以下述逻辑扩充处理所述浮空器主缆绳表面增强图像，以得到所述缆绳表面增强图像数据：

，

其中，m代表样本的数量，Z代表随机噪声样本，X代表真实样本，D代表discriminator分辨器，G代表产生器，

表示梯度，θ表述常量；

S24、标注所述缆绳表面增强图像数据，据以构建所述缆绳表面缺陷样本库。

本发明针对缺陷样本不均衡、人工标注困难、现场环境变化多样等挑战，本项目在利用图像增强扩充现有样本多样性的同时，还通过构建对抗神经网络进行样本的扩充。

在更具体的技术方案中，步骤S21中的所述浮空器主缆绳表面图像包括：雷击穿孔图像、裂纹图像及正常图像。

本发明考虑到线缆终点击穿孔、裂纹都是非常小的缺陷，当经过深度神经网络的逐层提取后极有可能在高层特征中被丢失，同时高层特征又具有极强的语义性，在分类判断时具有重要的意义，故本发明选用DenseNet网络作为检测算法的基础框架，利用其跳跃连接将底层特征传递到高层特征中，以提升对终点击穿孔、裂纹等细微缺陷的检测效果。

在更具体的技术方案中，步骤S3包括：

S31、获取所述主电缆缺陷特点，采用所述DenseNet网络作为基础框架，根据所述主线缆缺陷特点设计主电缆缺陷检测网络模型；

S32、以小样本学习编码器构建所述主电缆缺陷检测网络模型，并根据所述缆绳表面缺项样本库中的支持集，利用focol loss和标签平滑策略训练所述主电缆缺陷检测网络模型。

本发明在深度神经网络训练时使用focol loss和标签平滑策略，以进一步缓解类别不均衡的影响。

在更具体的技术方案中，步骤S32包括：

S321、提取所述所述缆绳表面缺项样本库中的所述支持集；

S322、设置所述主电缆缺陷检测网络模型中的小样本学习编码器的卷积层为4层；

S323、设置所述卷积层的尺寸为3x3；

S324、设置所述小样本学习编码器的卷积核为64。

在更具体的技术方案中，步骤S6中的所述检测作业模式包括：图像采集模式、离线检测模式及在线检测模式，其中，以所述图像采集模式对相机拍摄的图片进行收集供后期处理；以所述离线检测模式对本地已采集的图片进行缺陷检测；以所述在线检测模式融合所述图像采集模式及所述离线检测模式用以在线检测所述浮空器主缆绳表面缺陷检测数据。

本发明为满足现场作业人员的实际需求，特提供了图像采集、离线检测、在线检测三种作业模式，其中图像采集模式只是对相机拍摄的图片进行收集方便后期处理，离线检测模式则对本地已经采集好的图片进行缺陷检测，在线检测模式则在收集图片的同时进行缺陷检测，在线检测模式可以理解为图片采集和离线检测的融合。三种作业模式具有不同的硬件需求和作业特性，其中在线检测模式具有较高的硬件配置要求，现场工作人员根据现场硬件配置情况和使用需求做出设置，更加易于操作。

在更具体的技术方案中，一种基于小样本学习的浮空器主缆绳表面缺陷检测系统包括：

软硬件环境设置模块，用以初始化系统环境，设置系统参数及检测作业模式；

样本库扩充构建模块，用以采集并通过预置对抗网络扩充处理所述浮空器主缆绳表面图像，以得到缆绳表面增强图像数据并标注，据以构建缆绳表面缺陷样本库，所述样本库扩充构建模块与所述软硬件环境设置模块连接；

模型构建训练模块，用于以DenseNet网络及主电缆缺陷特点设计主电缆缺陷检测网络模型，利用小样本学习构建所述主电缆缺陷检测网络模型，根据所述缆绳表面缺陷样本库训练所述主电缆缺陷检测网络模型，所述模型构建训练模块与所述样本库扩充构建模块连接；

特征模块，用于以经过前述训练的所述主电缆缺陷检测网络模型利用yolov4单阶段检测算法处理所述缆绳表面缺陷样本库中的查询集，据以得到所述浅层纹理特征及所述高层语义特征，所述特征模块与所述模型构建训练模块连接；

浮空器缺陷检测检测模块，用以利用所述主电缆缺陷检测网络模型的所述DenseNet网络的结构，通过跳跃连接将所述浅层纹理特征传递至所述高层语义特征中，以下述度量逻辑综合处理所述浅层纹理特征及所述高层语义特征：

euc(x,ω_c)＝‖x-ω_c‖#(2)

，其中，ω_c是属于c类的所有样本经过函数变化的均值，euc(x,ω_c)是距离函数，p(y＝c|x)是概率函数，以得到浮空器主缆绳表面缺陷检测数据，所述浮空器缺陷检测模块与所述特征模块连接；

终端多模式操作模块，用以在终端选择不同的所述检测作业模式，据以获取不同的所述检测作业模式下的所述浮空器主缆绳表面缺陷检测数据，所述多模式材质模块与所述浮空器缺陷检测模块及所述软硬件环境设置模块连接。

本发明相比现有技术具有以下优点：本发明选择基于深度神经网络的yolov4单阶段检测算法作为线缆缺陷检测的基准算法，其在当前的目标检测算法中具有一定的技术优势，在同样的算法耗时下具有更好的检测效果。为了综合利用浅层的纹理特征与高层的语义特征，在本发明中选用DenseNet网络作为检测算法的基础框架，其通过跳跃连接频繁地将底层特征传递到高层特征中，有助于检测效果的提升。

本发明针对缺陷样本不均衡、人工标注困难、现场环境变化多样等挑战，本项目在利用图像增强扩充现有样本多样性的同时，还通过构建对抗神经网络进行样本的扩充。

本发明考虑到线缆终点击穿孔、裂纹都是非常小的缺陷，当经过深度神经网络的逐层提取后极有可能在高层特征中被丢失，同时高层特征又具有极强的语义性，在分类判断时具有重要的意义，故本发明选用DenseNet网络作为检测算法的基础框架，利用其跳跃连接将底层特征传递到高层特征中，以提升对终点击穿孔、裂纹等细微缺陷的检测效果。本发明在深度神经网络训练时使用focol loss和标签平滑策略，以进一步缓解类别不均衡的影响。

本发明为满足现场作业人员的实际需求，特提供了图像采集、离线检测、在线检测三种作业模式，三种作业模式具有不同的硬件需求和作业特性，其中在线检测模式具有较高的硬件配置要求，现场工作人员根据现场硬件配置情况和使用需求做出设置，更加易于操作。

本发明解决了现有技术中存在的缺陷漏检率、误检率高及检测效率低的技术问题。

附图说明

图1为实施例1的基于小样本学习的浮空器主缆绳表面缺陷检测方法流程示意图；

图2为小样本度量学习的流程示意图；

图3为对抗神经网络示意图；

图4为DenseNet网络架构示意图；

图5为小样本学习编码器结构示意图；

图6为基于小样本学习的浮空器主缆绳表面缺陷检测系统界面示意图；

图7为雷击、穿孔及正常图片样本示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

如图1所示，以下述步骤提供一个基于小样本学习的浮空器主缆绳表面缺陷检测系统：

S1、根据需求分析数据设置软硬件运行环境，可选的，基于主电缆缺陷检测的需求：进行相关运行环境调研，实现系统功能分解，明确系统开发内容；

S2、设计图像采集装备，可选的，在硬件设计阶段，根据主电缆运行的环境及电缆表面情况，设计电缆图像采集设施；

S3、采集图像，可选的，图像采集及预先处理：利用采集设备进行图像采集；

S4、建立样本库；

S5、增强图像，可选的，完成必要的图像预处理工作，并利用图像增强及对抗网络对样本库进行扩充；

S6、标注图像，可选的，设计标注软件，对样本进行标注，构建样本数据库；

S7、构建模型，可选的，根据主电缆缺陷特点，设计网络模型；

S8、模型学习及迭代；

S9、优化模型的算法实时性，可选的，迭代并优化前述模型以满足检测需求。对算法进行优化；

S10、系统设计及部署，可选的，根据实时性及性能要求对模型进行修改及裁剪，并根据多种浮空器主缆绳表面缺陷检测模式完成系统部署。

实施例2

如图2所示，从图中可以看到，小样本度量学习的方法主要由特征编码模块和度量模块组成。图中支持集表示该数据集中的样本类别我们是已知的，查询集表示该数据集中的样本属于待检测样本。

样本数据增强

如图3所示，针对缺陷样本不均衡、人工标注困难、现场环境变化多样等挑战，本项目在利用图像增强扩充现有样本多样性的同时，还通过构建对抗神经网络进行样本的扩充，在深度神经网络训练时为了进一步缓解类别不均衡的影响进一步使用了focol loss和标签平滑策略。

本文中采用的度量方式可用如下公式表达：

euc(x,ω_c)＝||x-ω_c||#(2)

其中ω_c是属于c类的所有样本经过函数变化的均值

上述公式是距离函数，第三个是概率函数，待判断样本离ω_c越近，其概率越接近1。c是类，第三个公式含义是离c类越近离其他类c'越远，那么他属于c概率越大。对抗神经网络可采用例如下述逻辑对样本进行扩充：

，

其中，m代表样本的数量，Z代表随机噪声样本，X代表真实样本，D代表discriminator分辨器，G代表产生器，

表示梯度，θ表示常量。

网络结构设计

如图4所示，考虑项目中线缆缺陷检测具有实时性的需求，在单相机5帧时三个相机每秒需要检测15帧图片，在该项目中我们选择基于深度神经网络的yolov4单阶段检测算法作为线缆缺陷检测的基准算法，其在当前的目标检测算法中具有一定的技术优势，在同样的算法耗时下具有更好的检测效果。同时，考虑到线缆却终点击穿孔、裂纹都是非常小的缺陷，当经过深度神经网络的逐层提取后极有可能在高层特征中被丢失，同时高层特征又具有极强的语义性，在分类判断时具有重要的意义。为了综合利用浅层的纹理特征与高层的语义特征，在该项目中选用DenseNet网络作为检测算法的基础框架，其通过跳跃连接频繁地将底层特征传递到高层特征中，有助于检测效果的提升。

如图5所示，我们采用小样本学习中的经典的编码器结构，编码器的结构如图5所示。该编码器由4层卷积层组成，卷积层的尺寸大小为3x3，卷积核的数量为64。卷积层的主要作用就是将图片映射到相同的特征空间中，在这个特征空间中，同一类别的图像提取的特征上会更加的相似。

系统界面设计

如图6所示，系统实时采集三台相机的图片，在界面左上方实时显示当前待检测的电缆图，若检测到缺陷时在界面左下方显示缺陷图像，供人员进行最终确认，并储存对应的缺陷图片，供以后查询。在界面右边对缺陷检测结果进行汇总并显示缺陷检测详细记录，并提供了检测报告生成与检测记录保存按钮。为满足现场作业人员的实际需求，特提供了图像采集、离线检测、在线检测三种作业模式，其中图像采集模式只是对相机拍摄的图片进行收集方便后期处理，离线检测模式则对本地已经采集好的图片进行缺陷检测，在线检测模式则在收集图片的同时进行缺陷检测，在线检测模式可以理解为图片采集和离线检测共呢的融合。三种作业模式具有不同的硬件需求和作业特性，其中在线检测模式具有较高的硬件配置要求，现场工作人员根据现场硬件配置情况和使用需求做出设置，更加易于操作。

试验验证

如图7所示，用相机对主缆绳进行拍摄，获得了包含缺陷数据样本与正常数据样本。之后，我们对每个图像进行中值滤波，去除拍摄时的噪声干扰。我们获得的数据集包含三类数据，分别为雷击穿孔，裂纹和正常的图像。数据集中总共包含60张图片。图7中展示了数据集中的部分样本。数据集中各类别的图片数量如下表1所示：

表1各个类别数据详情

综上，本发明选择基于深度神经网络的yolov4单阶段检测算法作为线缆缺陷检测的基准算法，其在当前的目标检测算法中具有一定的技术优势，在同样的算法耗时下具有更好的检测效果。为了综合利用浅层的纹理特征与高层的语义特征，在本发明中选用DenseNet网络作为检测算法的基础框架，其通过跳跃连接频繁地将底层特征传递到高层特征中，有助于检测效果的提升。

本发明针对缺陷样本不均衡、人工标注困难、现场环境变化多样等挑战，本项目在利用图像增强扩充现有样本多样性的同时，还通过构建对抗神经网络进行样本的扩充。

本发明考虑到线缆终点击穿孔、裂纹都是非常小的缺陷，当经过深度神经网络的逐层提取后极有可能在高层特征中被丢失，同时高层特征又具有极强的语义性，在分类判断时具有重要的意义，故本发明选用DenseNet网络作为检测算法的基础框架，利用其跳跃连接将底层特征传递到高层特征中，以提升对终点击穿孔、裂纹等细微缺陷的检测效果。本发明在深度神经网络训练时使用focol loss和标签平滑策略，以进一步缓解类别不均衡的影响。

本发明为满足现场作业人员的实际需求，特提供了图像采集、离线检测、在线检测三种作业模式，三种作业模式具有不同的硬件需求和作业特性，其中在线检测模式具有较高的硬件配置要求，现场工作人员根据现场硬件配置情况和使用需求做出设置，更加易于操作。

本发明解决了现有技术中存在的缺陷漏检率、误检率高及检测效率低的技术问题。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于小样本学习的浮空器主缆绳表面缺陷检测方法，其特征在于，所述方法包括：

S1、初始化系统环境，设置系统参数及检测作业模式；

S2、采集并通过预置对抗网络扩充处理浮空器主缆绳表面图像，以得到缆绳表面增强图像数据并标注，据以构建缆绳表面缺陷样本库；

S3、以DenseNet网络及主电缆缺陷特点设计主电缆缺陷检测网络模型，利用小样本学习构建所述主电缆缺陷检测网络模型，根据所述缆绳表面缺陷样本库训练所述主电缆缺陷检测网络模型；

S4、以经过前述训练的所述主电缆缺陷检测网络模型利用yolov4单阶段检测算法处理所述缆绳表面缺陷样本库中的查询集，据以得到所述浅层纹理特征及所述高层语义特征；

S5、利用所述主电缆缺陷检测网络模型的所述DenseNet网络的结构，通过跳跃连接将所述浅层纹理特征传递至所述高层语义特征中，以下述度量逻辑综合处理所述浅层纹理特征及所述高层语义特征：

euc(x,ω_c)＝‖x-ω_c‖#(2)

，

其中，ω_c是属于c类的所有样本经过函数变化的均值，euc(x,ω_c)是距离函数，p(y＝c|x)是概率函数，以得到浮空器主缆绳表面缺陷检测数据；

S6、在终端选择不同的所述检测作业模式，据以获取不同的所述检测作业模式下的所述浮空器主缆绳表面缺陷检测数据。

2.根据权利要求1所述的一种基于小样本学习的浮空器主缆绳表面缺陷检测方法，其特征在于，所述步骤S1包括：

S11、采集并存储主线缆运行环境数据；

S12、根据所述主线缆运行环境数据设置图像采集设备并预置图像滤波器。

3.根据权利要求2所述的一种基于小样本学习的浮空器主缆绳表面缺陷检测方法，其特征在于，所述步骤S12中的图像滤波器的滤波方式包括：中值滤波。

4.根据权利要求2所述的一种基于小样本学习的浮空器主缆绳表面缺陷检测方法，其特征在于，所述步骤S12中的图像采集设备包括不少于2台相机，所述相机设于预置线缆缺陷图像采集位置。

5.根据权利要求1所述的一种基于小样本学习的浮空器主缆绳表面缺陷检测方法，其特征在于，所述步骤S2包括：

S21、以预置的图像采集设备采集所述浮空器主缆绳表面图像；

S22、增强处理所述浮空器主缆绳表面图像以得到所述浮空器主缆绳表面增强图像；

S23、通过所述预置对抗网络以下述逻辑扩充处理所述浮空器主缆绳表面增强图像，以得到所述缆绳表面增强图像数据：

或

，

其中，m代表样本的数量，Z代表随机噪声样本，X代表真实样本，D代表discriminator分辨器，G代表产生器，

表示梯度，θ表述常量；

S24、标注所述缆绳表面增强图像数据，据以构建所述缆绳表面缺陷样本库。

6.根据权利要求5所述的一种基于小样本学习的浮空器主缆绳表面缺陷检测方法，其特征在于，所述步骤S21中的所述浮空器主缆绳表面图像包括：雷击穿孔图像、裂纹图像及正常图像。

7.根据权利要求1所述的一种基于小样本学习的浮空器主缆绳表面缺陷检测方法，其特征在于，所述步骤S3包括：

S31、获取所述主电缆缺陷特点，采用所述DenseNet网络作为基础框架，根据所述主线缆缺陷特点设计主电缆缺陷检测网络模型；

S32、以小样本学习编码器构建所述主电缆缺陷检测网络模型，并根据所述缆绳表面缺项样本库中的支持集，利用focol loss和标签平滑策略训练所述主电缆缺陷检测网络模型。

8.根据权利要求7所述的一种基于小样本学习的浮空器主缆绳表面缺陷检测方法，其特征在于，所述步骤S32包括：

S321、提取所述所述缆绳表面缺项样本库中的所述支持集；

S322、设置所述主电缆缺陷检测网络模型中的小样本学习编码器的卷积层为4层；

S323、设置所述卷积层的尺寸为3x3；

S324、设置所述小样本学习编码器的卷积核为64。

9.根据权利要求1所述的一种基于小样本学习的浮空器主缆绳表面缺陷检测方法，其特征在于，所述步骤S6中的所述检测作业模式包括：图像采集模式、离线检测模式及在线检测模式，其中，以所述图像采集模式对相机拍摄的图片进行收集供后期处理；以所述离线检测模式对本地已采集的图片进行缺陷检测；以所述在线检测模式融合所述图像采集模式及所述离线检测模式用以在线检测所述浮空器主缆绳表面缺陷检测数据。

10.一种基于小样本学习的浮空器主缆绳表面缺陷检测系统，其特征在于，所述系统包括：

软硬件环境设置模块，用以初始化系统环境，设置系统参数及检测作业模式；

样本库扩充构建模块，用以采集并通过预置对抗网络扩充处理浮空器主缆绳表面图像，以得到缆绳表面增强图像数据并标注，据以构建缆绳表面缺陷样本库，所述样本库扩充构建模块与所述软硬件环境设置模块连接；

模型构建训练模块，用于以DenseNet网络及主电缆缺陷特点设计主电缆缺陷检测网络模型，利用小样本学习构建所述主电缆缺陷检测网络模型，根据所述缆绳表面缺陷样本库训练所述主电缆缺陷检测网络模型，所述模型构建训练模块与所述样本库扩充构建模块连接；

特征模块，用于以经过前述训练的所述主电缆缺陷检测网络模型利用yolov4单阶段检测算法处理所述缆绳表面缺陷样本库中的查询集，据以得到所述浅层纹理特征及所述高层语义特征，所述特征模块与所述模型构建训练模块连接；

浮空器缺陷检测检测模块，用以利用所述主电缆缺陷检测网络模型的所述DenseNet网络的结构，通过跳跃连接将所述浅层纹理特征传递至所述高层语义特征中，以下述度量逻辑综合处理所述浅层纹理特征及所述高层语义特征：

euc(x,ω_c)＝‖x-ω_c‖#(2)

，

其中，ω_c是属于c类的所有样本经过函数变化的均值，euc(x,ω_c)是距离函数，p(y＝c|x)是概率函数，以得到浮空器主缆绳表面缺陷检测数据，所述浮空器缺陷检测模块与所述特征模块连接；

终端多模式操作模块，用以在终端选择不同的所述检测作业模式，据以获取不同的所述检测作业模式下的所述浮空器主缆绳表面缺陷检测数据，所述多模式材质模块与所述浮空器缺陷检测模块及所述软硬件环境设置模块连接。

Images