CN114612470A

CN114612470A - 一种基于改进图像自适应yolo的氢敏胶带变色检测方法

Info

Publication number: CN114612470A
Application number: CN202210500054.9A
Authority: CN
Inventors: 李煦侃; 赵振兵; 刘韬; 周慎学; 冯成; 张志宇; 陈浩天; 刘洪涛; 潘尘; 朱旺
Original assignee: Zhejiang Zheneng Aerospace Hydrogen Energy Technology Co ltd; North China Electric Power University
Current assignee: Zhejiang Zheneng Aerospace Hydrogen Energy Technology Co ltd; North China Electric Power University
Priority date: 2022-05-10
Filing date: 2022-05-10
Publication date: 2022-06-10
Anticipated expiration: 2042-05-10
Also published as: CN114612470B

Abstract

本发明公开了一种基于改进图像自适应YOLO的氢敏胶带变色检测方法，该方法包括生成图像处理模块的可微分滤波器，可微分滤波器包括白平衡滤波器、明亮度滤波器、对比度滤波器和饱和度滤波器；当采集到目标识别图像时，生成目标识别图像对应的低分辨率图像，并将低分辨率图像输入至小型卷积神经网络，得到滤波器参数；基于滤波器参数调整各可微分滤波器后，将目标识别图像输入至图像处理模块，得到预处理图像；将预处理图像输入至YOLOv3目标检测器，得到输出图像；基于自监督模块依次提取各定位框对应的框内图片信息的特征值，生成相似度信息；确定氢敏胶带位置区域图像中的变色区域。本申请实现氢敏胶带在弱光环境下的变色检测，且图像识别能力强。

Description

一种基于改进图像自适应YOLO的氢敏胶带变色检测方法

技术领域

本申请涉及加氢技术领域，具体而言，涉及一种基于改进图像自适应YOLO的氢敏胶带变色检测方法。

背景技术

加氢站中包括了氢气输入、输出、增压、缓冲、放空等各项功能，因此其内部集成有大量的氢气管道。其中，增压模块会采用液驱式、隔膜式、离子式等氢气压缩机形式给氢气加压，是加氢站的核心，与缓冲罐、放空管等其他涉氢设备连接。低压氢气通过卸气柱到增压模块增压至最大45MPa/90MPa，满足加注压力条件后通过加氢机开始加注。

氢气属于易燃易爆气体，如果在增压模块、加氢机中发生泄漏容易发生安全事故，需要及时发现漏点并采取预警措施。由于人工巡检时间覆盖不足，且存在人身安全问题。一般在加氢站内安装有防爆摄像机，可利用防爆摄像机识别氢敏胶带遇氢气变蓝的情况，来进行实时监测。但是，由于加氢站内管阀件较多，还有较多油管、冷却管、防爆挠性管，发现管阀件接头处细微的胶带变色难度较大。且在撬装式加氢站中，撬体一般处于关闭状态，撬内部光线偏暗；在固定式加氢站中，夜间光线也较昏暗，使得对摄像头定位算法的要求很高。

综上可知，目前已有的图像识别算法，一般主要针对恶劣的天气条件场景（如大雾天气）的目标检测，在加氢站的复杂工业环境及昏暗情况下图像识别能力较差，定位能力弱，难以做到快速定位氢敏胶带并及时发现其变色情况。

发明内容

为了解决上述问题，本申请实施例提供了一种基于改进图像自适应YOLO的氢敏胶带变色检测方法。

第一方面，本申请实施例提供了一种基于改进图像自适应YOLO的氢敏胶带变色检测方法，所述方法包括：

生成图像处理模块的可微分滤波器，所述可微分滤波器包括白平衡滤波器、明亮度滤波器、对比度滤波器和饱和度滤波器；

当采集到目标识别图像时，生成所述目标识别图像对应的低分辨率图像，并将所述低分辨率图像输入至小型卷积神经网络，得到滤波器参数；

基于所述滤波器参数调整各所述可微分滤波器后，将所述目标识别图像输入至所述图像处理模块，得到预处理图像；

将所述预处理图像输入至YOLOv3目标检测器，得到输出图像，所述输出图像中包含有至少一个定位框以及所述定位框对应的氢敏胶带概率值；

基于预设的自监督模块依次提取各所述定位框对应的框内图片信息的特征值，生成相似度信息，所述相似度信息用以表征所述框内图片信息与氢敏胶带样张图片信息的相似度；

基于所述氢敏胶带概率值与相似度信息确定氢敏胶带位置区域图像，基于HSV色彩空间确定所述氢敏胶带位置区域图像中的变色区域，并在所述变色区域占所述氢敏胶带位置区域图像的比例超过预设比例时生成警报信息。

优选的，所述当采集到目标识别图像时，生成所述目标识别图像对应的低分辨率图像，并将所述低分辨率图像输入至小型卷积神经网络，得到滤波器参数之前，还包括：

构建由暗光环境下包含氢敏胶带的未变色样本图像组成的第一训练集、由正常光环境下包含氢敏胶带的未变色样本图像组成的第二训练集、由暗光环境或正常光环境下包含氢敏胶带的变色样本图像组成的第三训练集；

对所述第一训练集、第二训练集和第三训练集标注标签后，基于所述第一训练集、第二训练集和第三训练集训练小型卷积神经网络和YOLOv3目标检测器，所述标签包括未变色氢敏胶带、变色氢敏胶带和不含氢敏胶带的管道连接处。

优选的，所述将所述目标识别图像输入至所述图像处理模块，得到预处理图像，包括：

将所述目标识别图像输入至所述图像处理模块，基于各所述可微分滤波器处理所述目标识别图像，并基于中值滤波法对所述目标识别图像去噪，得到预处理图像。

优选的，所述自监督模块包括VGG16卷积神经网络；

所述基于预设的自监督模块依次提取各所述定位框对应的框内图片信息的特征值，生成相似度信息，所述相似度信息用以表征所述框内图片信息与氢敏胶带样张图片信息的相似度，包括：

将各所述定位框对应的框内图片信息依次与预设的氢敏胶带样张图片信息一同输入至预设的自监督模块，基于所述VGG16卷积神经网络提取特征值；

全连接所述特征值后，将所述特征值输入至Sigmoid函数，生成相似度信息，所述相似度信息用以表征所述框内图片信息与氢敏胶带样张图片信息的相似度。

优选的，所述基于所述氢敏胶带概率值与相似度信息确定氢敏胶带位置区域图像，包括：

将所述氢敏胶带概率值大于第一预设值且所述相似度信息大于第二预设值的目标区域图像确定为氢敏胶带位置区域图像。

优选的，所述基于HSV色彩空间确定所述氢敏胶带位置区域图像中的变色区域，并在所述变色区域占所述氢敏胶带位置区域图像的比例超过预设比例时生成警报信息，包括：

将所述氢敏胶带位置区域图像从RGB通道转换至HSV色彩空间，确定所述氢敏胶带位置区域图像中的变色区域，将所述变色区域的像素值变为0；

对所述氢敏胶带位置区域图像进行灰度处理，并将像素值大于0的像素对应的像素值变为255，所述氢敏胶带位置区域图像的黑色区域即为所述变色区域；

在所述黑色区域占所述氢敏胶带位置区域图像的比例超过预设比例时，生成警报信息。

第二方面，本申请实施例提供了一种基于改进图像自适应YOLO的氢敏胶带变色检测装置，所述装置包括：

生成模块，用于生成图像处理模块的可微分滤波器，所述可微分滤波器包括白平衡滤波器、明亮度滤波器、对比度滤波器和饱和度滤波器；

采集模块，用于当采集到目标识别图像时，生成所述目标识别图像对应的低分辨率图像，并将所述低分辨率图像输入至小型卷积神经网络，得到滤波器参数；

调整模块，用于基于所述滤波器参数调整各所述可微分滤波器后，将所述目标识别图像输入至所述图像处理模块，得到预处理图像；

第一筛选模块，用于将所述预处理图像输入至YOLOv3目标检测器，得到输出图像，所述输出图像中包含有至少一个定位框以及所述定位框对应的氢敏胶带概率值；

第二筛选模块，用于基于预设的自监督模块依次提取各所述定位框对应的框内图片信息的特征值，生成相似度信息，所述相似度信息用以表征所述框内图片信息与氢敏胶带样张图片信息的相似度；

警报模块，用于基于所述氢敏胶带概率值与相似度信息确定氢敏胶带位置区域图像，基于HSV色彩空间确定所述氢敏胶带位置区域图像中的变色区域，并在所述变色区域占所述氢敏胶带位置区域图像的比例超过预设比例时生成警报信息。

第三方面，本申请实施例提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面或第一方面的任意一种可能的实现方式提供的方法的步骤。

第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面或第一方面的任意一种可能的实现方式提供的方法。

本发明的有益效果为：1.实现氢敏胶带在弱光环境下的变色检测，通过将原框架中图像处理模块的六个可调超参数的可微分滤波器，包括去雾、白平衡、Gamma、对比度、色调和锐化重新设计为四个可调超参数的可微分滤波器，即白平衡、明亮度、对比度、饱和度，使氢敏胶带变色后更容易在HSV色彩空间中检测，在加氢站的复杂工业环境及昏暗情况下图像识别能力强。

2.通过自监督模块来对比学习，提高在加氢站的复杂工业环境及昏暗情况下对氢敏胶带检测的准确率。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例中所需使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种基于改进图像自适应YOLO的氢敏胶带变色检测方法的流程示意图；

图2为本申请实施例提供的图像处理模块的架构示意图；

图3为本申请实施例提供的一种基于改进图像自适应YOLO的氢敏胶带变色检测方法的原理示意图；

图4为本申请实施例提供的自监督模块的架构示意图；

图5为本申请实施例提供的一种基于改进图像自适应YOLO的氢敏胶带变色检测装置的结构示意图；

图6为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

在下述介绍中，术语“第一”、“第二”仅为用于描述的目的，而不能理解为指示或暗示相对重要性。下述介绍提供了本申请的多个实施例，不同实施例之间可以替换或者合并组合，因此本申请也可认为包含所记载的相同和/或不同实施例的所有可能组合。因而，如果一个实施例包含特征A、B、C，另一个实施例包含特征B、D，那么本申请也应视为包括含有A、B、C、D的一个或多个所有其他可能的组合的实施例，尽管该实施例可能并未在以下内容中有明确的文字记载。

下面的描述提供了示例，并且不对权利要求书中阐述的范围、适用性或示例进行限制。可以在不脱离本申请内容的范围的情况下，对描述的元素的功能和布置做出改变。各个示例可以适当省略、替代或添加各种过程或组件。例如所描述的方法可以以所描述的顺序不同的顺序来执行，并且可以添加、省略或组合各种步骤。此外，可以将关于一些示例描述的特征组合到其他示例中。

参见图1，图1是本申请实施例提供的一种基于改进图像自适应YOLO的氢敏胶带变色检测方法的流程示意图。在本申请实施例中，所述方法包括：

S101、生成图像处理模块的可微分滤波器，所述可微分滤波器包括白平衡滤波器、明亮度滤波器、对比度滤波器和饱和度滤波器。

本申请的执行主体可以是云端服务器。

在本申请实施例中，现有检测技术主要针对恶劣的天气条件的场景(如大雾天气)进行目标检测，但并不适合氢敏胶带变色的检测，原框架图像处理模块的六个可调超参数的可微分滤波器，包括去雾、白平衡、Gamma、对比度、色调和锐化并不适合本应用场景，难以做到在复杂工业环境及较多昏暗的环境下对氢敏胶带快速定位并及时发现其变色情况，因而本发明重新设计了四个可调超参数的可微分滤波器，包括白平衡、明亮度、对比度、饱和度，如图2所示。设计可微分滤波器主要考虑的因素如下：

（1）白平衡能精确反映被摄物的色彩状况。

（2）明亮度增加画面的整体亮度。

（3）对比度和饱和度可使色彩更加艳丽，当氢敏胶带变色后更容易在HSV色彩空间中检测。

具体的设计思路如下：本发明设计的滤波器为像素级滤波器，假设像素级滤波器的输入像素值为

，映射对应出的输出像素值为

。其中(r,g,b)分别表示红、绿、蓝三种颜色通道的值。滤波器的参数与映射函数设计表格如下：

（1）白平衡的意思是白色的平衡。白平衡是描述显示器中红、绿、蓝三基色混合生成后白色精确度的一项指标，可以解决色彩还原和色调处理的一系列问题，也就是蓝、绿、红的比例关系。白平衡是简单的乘法变换。很显然，它的映射函数对于输入图像和参数都是可微的。

（2）一般的非线性RGB亮度调整只是在原有R、G、B值基础上增加和减少一定量来实现的，考虑到所处的环境光线较弱，明亮度的增量一定大于0，因此，本发明采用基于当前RBG进行指数调整，R、G、B越大调整的越大，其中

为[0,1]之间的数。

（3）公式中

为给定的阈值，

为处理过的对比度增量，在本发明中，增量应该是大于0小于255的一个值，按照要求应将增量进行处理

，其中等号左边的

为处理过的对比度增量，等号右边的

为输入的对比度增量。

（4）饱和度是指色彩的鲜艳程度，也称色彩的纯度。式中

，而

，式中

为待优化的参数。

S102、当采集到目标识别图像时，生成所述目标识别图像对应的低分辨率图像，并将所述低分辨率图像输入至小型卷积神经网络，得到滤波器参数。

在本申请实施例中，如图3所示，在相机图像信号处理过程中，其滤波器的超参数通常由经验丰富的工程师通过视觉检查手动调整。然而，这是非常笨拙的，为找到合适的参数，以及适应广泛的场景，本申请使用一个较小的卷积神经网络作为参数预测器来估计超参数。它的目的是通过了解图像的全局内容，如亮度、饱和度和以及光照的程度来预测图像处理模块的参数。下采样图像足以估计这些信息，节省成本。对于任意分辨率的输入图像，使用双线性插值将其采样到256×256的大小。具体而言，当采集到需要进行氢敏胶带识别的目标识别图像时，由于其是高分辨率图像，参数的计算需要消耗大量的计算资源，故首先生成其对应的低分辨率图像，通过低分辨率图像来进行小型卷积神经网络的计算，以此得到滤波器参数。

小型卷积神经网络由五个卷积模块和两个全连接层组成。每个卷积模块包括一个步长为2的3 × 3卷积层和一个leaky Relu层。最后的全连接层输出图像处理模块的超参数。这5个卷积层的输出通道分别为16，32，32，32和32。通过端到端的方式训练，以此来确保小型卷积神经网络能学习到合适的图像处理参数。

在一种可实施方式中，所述当采集到目标识别图像时，生成所述目标识别图像对应的低分辨率图像，并将所述低分辨率图像输入至小型卷积神经网络，得到滤波器参数之前，还包括：

在本申请实施例中，考虑到撬体内管阀件较多，有很多油管、冷却管、防爆挠性管，在这样的环境下，发现管阀件接头处胶带变色并进行变色识别具有挑战性，因而在数据集准备时至少应该具有以下三种数据集：1、暗光环境下包含氢敏胶带的样张（未变色）。2、正常光线环境下包含氢敏胶带的样张（未变色）。以上两种数据集主要为小型卷积神经网络训练参数而准备，为更好的处理暗黑环境下的样张。3、暗光和正常环境下氢敏胶带变色后的样张。该数据集主要作用是让YOLOv3本身具有一定的变色识别能力。在数据集进行标注时，我们至少需要以下标签：1、氢敏胶带（未变色）；2、氢敏胶带（变色）；3、不含氢敏胶带的管道连接处。以此来实现对小型卷积神经网络和YOLOv3目标检测器的训练过程。

S103、基于所述滤波器参数调整各所述可微分滤波器后，将所述目标识别图像输入至所述图像处理模块，得到预处理图像。

在本申请实施例中，通过将低分辨率图像传入小型卷积神经网络进行的图像处理模块的滤波器参数提取后，滤波器参数将传递给图像处理模块，以此对可微分滤波器进行超参数的调整。图像滤波器需符合可微分的原则，这是因为小型卷积神经网络模型的训练过程是基于梯度优化，只有当滤波器是可微分的，通过反向传播来不断优化，在模型的训练过程中，采用一种伴随着Detection Loss的端到端（即深度学习模型在训练过程中，从输入端到输出端会得到一个预测结果，与真实结果相比较会得到一个误差，这个误差会在模型中的每一层传递，每一层的表示都会根据这个误差来做调整，直到模型收敛或达到预期的效果才结束）的混合数据训练方式，即数据集需要有暗光线下的图像以及正常光线下的图像，暗光线图像借助正常光线的图像以一种弱监督的方式进行图像增强。通过上述过程，实现了通过低分辨率的图像来预测图像处理模块的参数，然后对原始的高分辨率图像应用相同的参数滤波。接着，将原来的高分辨率输入图像经由得到参数的图像处理模块过滤，用来消除暗光条件下的图像失真，并且将输出的预处理图像作为目标检测器YOLOv3的输入。

在一种可实施方式中，所述将所述目标识别图像输入至所述图像处理模块，得到预处理图像，包括：

在本申请实施例中，考虑到图像处理模块的处理过程会在图像中引入噪声，且大多数为椒盐噪声，采用中值滤波的方法对引入的噪声进行去除：原理是把数字图像或数字序列中一点的值用该点的一个邻域中各点值的中值代替，让周围的像素值接近的真实值，从而消除孤立的噪声点。

S104、将所述预处理图像输入至YOLOv3目标检测器，得到输出图像，所述输出图像中包含有至少一个定位框以及所述定位框对应的氢敏胶带概率值。

在本申请实施例中，YOLOv3作为One-stage检测器被广泛应用在实际过程中，YOLOv3基于残差网络（Resnet）的思想设计了一个全卷积神经网络Darknet-53，其由连续的3 × 3和1 × 1卷积层组成。通过对多尺度特征图进行预测来实现多尺度训练，从而进一步提高检测精度，尤其是对小目标的检测。YOLOv3的输入是(m,416,416,3)，输出是带有识别类的边界框列表，它由六个参数表示，分别是

。通过将预处理图像输入至YOLOv3目标检测器，便可以检测出氢敏胶带的位置信息，即图像中标识的定位框，用于后续色彩检测。

YOLOv3的具体计算过程为：

（1）grid cell

网络会对图像进行卷积，通过卷积下采样产生13×13×a，26×26×a，52×52×a的特征图，13×13,26×26,52×52就是原本的图像分辨率被下采样后变小了，特征图的每一个像素点缩放后映射到原图像上形成的网格被称为grid cell。其中的a通过（类别+5）×3计算得到，（类别＋5）是指数据集里的种类的概率以及4个确定bbox的参数（分别是框的中心坐标x,y值以及框的长和宽），和一个目标的置信度，×3指每一个特征图的每一个像素点都会产生以该点为中心的三个锚框，每个grid cell在预测时只能识别一个物体，即判断框的中心落在哪个grid cell中，这个物体就归哪个grid cell预测。

（2）先验框

先验框，即通过聚类得到可以覆盖常见目标的宽和高的框。每个grid cell拥有三个不同大小先验框，而每张图会产生三种不同分辨率的特征图，因此就有了9种不同尺度的先验框，其中心点都在grid cell的中心，而每一个先验框都可以对框中是否有目标进行判断，每三个先验框可以用来识别同一个物体，即每个grid cell可以识别一个物体。在预测时，这个先验框会向物体实际存在的地方移动并进行长宽缩放以尽可能地覆盖待预测物体。

（3）聚类

聚类就是把特征相似的数据划分到一起，yolov3的聚类用到了kmeans算法，在预测前需要对数据集做聚类，但是对数据集的质量依赖比较大。

（4）IOU（交并比）

IOU即两个框之间的重合程度，它计算的是

的部分的大小，输出[0,1]，数值越大表示重合度越高。训练时，网络会先选取n个真实框和先验框计算IOU，其中IOU超过阈值的先验框被留下，其余的则被抛弃，这时被留下的先验框将会拿来和ground truth计算位置以及大小偏移量。

（5）偏移量计算

在（4）中留下的先验框是比较靠近物体中心的框，但还要进一步让它向groundtruth靠拢，这时就要对先验框进行一个位置的移动和大小的缩放。

（6）置信度

即当前框有目标的概率乘以bounding box和ground truth的IOU。

（7）Loss的计算

Loss的计算分别包括：1、计算预测框与真实框之间的坐标位置和宽高差别带来的loss；2、要处理的是box中是否包含物体，分别对有目标的框和无目标的情况进行优化，让模型不但能识别有物体的情况，也能分辨没有物体的情况；3、类别loss的计算，仅在框中有物体时，计算该物体属于任何一个类的可能性。

S105、基于预设的自监督模块依次提取各所述定位框对应的框内图片信息的特征值，生成相似度信息，所述相似度信息用以表征所述框内图片信息与氢敏胶带样张图片信息的相似度。

在本申请实施例中，鉴于撬体内管阀件较多，单一的目标检测模块难以区分众多的管道连接处，也就是说，仅通过YOLOv3所标识出来的定位框对应的图像内容不一定真的含有氢敏胶带。因而还将使用自监督学习方法，通过减少类间距离，拉大不同类之间的距离来进一步区分连接处是否含有氢敏胶带。最终通过自监督模块来对框内图片信息生成对应的相似度信息，以此判断框内图片信息是否真的对应为氢敏胶带。

在一种可实施方式中，所述自监督模块包括VGG16卷积神经网络；

步骤S105包括：

在本申请实施例中，如图4所示，自监督模块的具体计算处理过程为：

（1）在经过YOLOv3检测后的图片中依次选择所有框，并事先准备氢敏胶带的样张。

（2）将框内图片信息及样张输入到卷积神经网络，这里选取VGG16，进行特征提取；

VGG16的特点为：

卷积层均采用相同的卷积核参数；

卷积层均表示为conv3-XXX，其中conv3说明该卷积层采用的卷积核的尺寸(kernel size)是3，其它参数（步幅stride=1，填充方式padding=same）；

池化层均采用相同的池化核参数；

池化层的参数均为2×；

模型是由若干卷积层和池化层堆叠的方式构成，比较容易形成较深的网络结构。

（3）提取的特征经过全连接后，再输入到Sigmoid函数将数值变为(0,1)，这个值就可以认为二者的相似度。

（4）自监督模块的训练过程中还通过BCELoss计算损失：

其中

、

分别表示标签与预测值。

S106、基于所述氢敏胶带概率值与相似度信息确定氢敏胶带位置区域图像，基于HSV色彩空间确定所述氢敏胶带位置区域图像中的变色区域，并在所述变色区域占所述氢敏胶带位置区域图像的比例超过预设比例时生成警报信息。

在本申请实施例中，经过YOLOv3和自监督模块的筛选，能够确定好氢敏胶带的位置，即氢敏胶带位置区域图像。为了能够更好的对图像中的氢敏胶带的变色进行确定，将通过HSV色彩空间来确定变色区域。最终，云端服务器将计算变色区域占YOLOv3返回的定位框，即该氢敏胶带位置区域图像的比率，并设置一个阈值，当比率大于该阈值时将发出警报，以此对工作人员进行提醒，告知工作人员出现了氢气的泄漏。

在一种可实施方式中，所述基于所述氢敏胶带概率值与相似度信息确定氢敏胶带位置区域图像，包括：

在本申请实施例中，可以分别为氢敏胶带概率值和相似度信息设置对应的第一预设值和第二预设值，当二者数值均大于对应的预设值时，即认为该处的目标区域图像中确实含有氢敏胶带，进而将其确定为氢敏胶带位置区域图像。此外，为了便于后面的计算，云端服务器将生成感兴趣区域，即将整个被检测图像中除了氢敏胶带位置区域图像外的像素变为0(0像素表示黑色)，以此区分并去除掉其余的图像区域，使后续仅会对氢敏胶带位置区域图像进行变色识别，保证准确度。

在一种可实施方式中，所述基于HSV色彩空间确定所述氢敏胶带位置区域图像中的变色区域，并在所述变色区域占所述氢敏胶带位置区域图像的比例超过预设比例时生成警报信息，包括：

在本申请实施例中，RGB通道并不能很好地反映出物体具体的颜色信息，尤其受光线的影响较大，而相对于RGB空间，HSV空间能够非常直观的表达色彩的明暗，色调，以及鲜艳程度，它的参数为色调（H），饱和度（S），明度（V），方便进行颜色之间的对比。故将图像的RGB通道转换至HSV色彩空间，具体置换过程为：

H的计算：

S的计算：

V的计算：

接着，云端服务器会将检测到的变色区域的像素变为0。

为了避免存在其他客观因素的干扰，将对图像进行灰度处理，图像中的像素的范围为[0,255]，然后将图像中所有大于0的像素变为255，即由灰色变为白色，该流程结束后，图像中黑色的区域即可认为是变色位置。

下面将结合附图5，对本申请实施例提供的基于改进图像自适应YOLO的氢敏胶带变色检测装置进行详细介绍。需要说明的是，附图5所示的基于改进图像自适应YOLO的氢敏胶带变色检测装置，用于执行本申请图1所示实施例的方法，为了便于说明，仅示出了与本申请实施例相关的部分，具体技术细节未揭示的，请参照本申请图1所示的实施例。

请参见图5，图5是本申请实施例提供的一种基于改进图像自适应YOLO的氢敏胶带变色检测装置的结构示意图。如图5所示，所述装置包括：

生成模块501，用于生成图像处理模块的可微分滤波器，所述可微分滤波器包括白平衡滤波器、明亮度滤波器、对比度滤波器和饱和度滤波器；

采集模块502，用于当采集到目标识别图像时，生成所述目标识别图像对应的低分辨率图像，并将所述低分辨率图像输入至小型卷积神经网络，得到滤波器参数；

调整模块503，用于基于所述滤波器参数调整各所述可微分滤波器后，将所述目标识别图像输入至所述图像处理模块，得到预处理图像；

第一筛选模块504，用于将所述预处理图像输入至YOLOv3目标检测器，得到输出图像，所述输出图像中包含有至少一个定位框以及所述定位框对应的氢敏胶带概率值；

第二筛选模块505，用于基于预设的自监督模块依次提取各所述定位框对应的框内图片信息的特征值，生成相似度信息，所述相似度信息用以表征所述框内图片信息与氢敏胶带样张图片信息的相似度；

警报模块506，用于基于所述氢敏胶带概率值与相似度信息确定氢敏胶带位置区域图像，基于HSV色彩空间确定所述氢敏胶带位置区域图像中的变色区域，并在所述变色区域占所述氢敏胶带位置区域图像的比例超过预设比例时生成警报信息。

在一种可实施方式中，采集模块502还包括：

训练集构建单元，用于构建由暗光环境下包含氢敏胶带的未变色样本图像组成的第一训练集、由正常光环境下包含氢敏胶带的未变色样本图像组成的第二训练集、由暗光环境或正常光环境下包含氢敏胶带的变色样本图像组成的第三训练集；

标注单元，用于对所述第一训练集、第二训练集和第三训练集标注标签后，基于所述第一训练集、第二训练集和第三训练集训练小型卷积神经网络和YOLOv3目标检测器，所述标签包括未变色氢敏胶带、变色氢敏胶带和不含氢敏胶带的管道连接处。

在一种可实施方式中，调整模块503包括：

去噪单元，将所述目标识别图像输入至所述图像处理模块，基于各所述可微分滤波器处理所述目标识别图像，并基于中值滤波法对所述目标识别图像去噪，得到预处理图像。

在一种可实施方式中，第二筛选模块505包括：

特征提取单元，用于将各所述定位框对应的框内图片信息依次与预设的氢敏胶带样张图片信息一同输入至预设的自监督模块，基于所述VGG16卷积神经网络提取特征值；

相似度生成单元，用于全连接所述特征值后，将所述特征值输入至Sigmoid函数，生成相似度信息，所述相似度信息用以表征所述框内图片信息与氢敏胶带样张图片信息的相似度。

在一种可实施方式中，警报模块506包括：

判断单元，用于将所述氢敏胶带概率值大于第一预设值且所述相似度信息大于第二预设值的目标区域图像确定为氢敏胶带位置区域图像。

在一种可实施方式中，警报模块506还包括：

转换单元，用于将所述氢敏胶带位置区域图像从RGB通道转换至HSV色彩空间，确定所述氢敏胶带位置区域图像中的变色区域，将所述变色区域的像素值变为0；

灰度处理单元，用于对所述氢敏胶带位置区域图像进行灰度处理，并将像素值大于0的像素对应的像素值变为255，所述氢敏胶带位置区域图像的黑色区域即为所述变色区域；

警报单元，用于在所述黑色区域占所述氢敏胶带位置区域图像的比例超过预设比例时，生成警报信息。

本领域的技术人员可以清楚地了解到本申请实施例的技术方案可借助软件和/或硬件来实现。本说明书中的“单元”和“模块”是指能够独立完成或与其他部件配合完成特定功能的软件和/或硬件，其中硬件例如可以是现场可编程门阵列（Field－ProgrammableGate Array，FPGA）、集成电路（Integrated Circuit，IC）等。

本申请实施例的各处理单元和/或模块，可通过实现本申请实施例所述的功能的模拟电路而实现，也可以通过执行本申请实施例所述的功能的软件而实现。

参见图6，其示出了本申请实施例所涉及的一种电子设备的结构示意图，该电子设备可以用于实施图1所示实施例中的方法。如图6所示，电子设备600可以包括：至少一个中央处理器601，至少一个网络接口604，用户接口603，存储器605，至少一个通信总线602。

其中，通信总线602用于实现这些组件之间的连接通信。

其中，用户接口603可以包括显示屏（Display）、摄像头（Camera），可选用户接口603还可以包括标准的有线接口、无线接口。

其中，网络接口604可选的可以包括标准的有线接口、无线接口（如WI-FI接口）。

其中，中央处理器601可以包括一个或者多个处理核心。中央处理器601利用各种接口和线路连接整个电子设备600内的各个部分，通过运行或执行存储在存储器605内的指令、程序、代码集或指令集，以及调用存储在存储器605内的数据，执行终端600的各种功能和处理数据。可选的，中央处理器601可以采用数字信号处理（Digital SignalProcessing，DSP）、现场可编程门阵列（Field-Programmable Gate Array，FPGA）、可编程逻辑阵列（Programmable Logic Array，PLA）中的至少一种硬件形式来实现。中央处理器601可集成中央中央处理器（Central Processing Unit，CPU）、图像中央处理器（GraphicsProcessing Unit，GPU）和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示屏所需要显示的内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到中央处理器601中，单独通过一块芯片进行实现。

其中，存储器605可以包括随机存储器（Random Access Memory，RAM），也可以包括只读存储器（Read-Only Memory）。可选的，该存储器605包括非瞬时性计算机可读介质（non-transitory computer-readable storage medium）。存储器605可用于存储指令、程序、代码、代码集或指令集。存储器605可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令（比如触控功能、声音播放功能、图像播放功能等）、用于实现上述各个方法实施例的指令等；存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器605可选的还可以是至少一个位于远离前述中央处理器601的存储装置。如图6所示，作为一种计算机存储介质的存储器605中可以包括操作系统、网络通信模块、用户接口模块以及程序指令。

在图6所示的电子设备600中，用户接口603主要用于为用户提供输入的接口，获取用户输入的数据；而中央处理器601可以用于调用存储器605中存储的基于改进图像自适应YOLO的氢敏胶带变色检测应用程序，并具体执行以下操作：

本申请还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述方法的步骤。其中，计算机可读存储介质可以包括但不限于任何类型的盘，包括软盘、光盘、DVD、CD-ROM、微型驱动器以及磁光盘、ROM、RAM、EPROM、EEPROM、DRAM、VRAM、闪速存储器设备、磁卡或光卡、纳米系统（包括分子存储器IC），或适合于存储指令和/或数据的任何类型的媒介或设备。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些服务接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备（可为个人计算机、服务器或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器（Read-Only Memory， ROM）、随机存取存储器（Random Access Memory，RAM）、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通进程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器（Read-Only Memory， ROM）、随机存取器（Random AccessMemory，RAM）、磁盘或光盘等。

以上所述者，仅为本公开的示例性实施例，不能以此限定本公开的范围。即但凡依本公开教导所作的等效变化与修饰，皆仍属本公开涵盖的范围内。本领域技术人员在考虑说明书及实践这里的公开后，将容易想到本公开的其实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未记载的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的范围和精神由权利要求限定。

Claims

1.一种基于改进图像自适应YOLO的氢敏胶带变色检测方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述当采集到目标识别图像时，生成所述目标识别图像对应的低分辨率图像，并将所述低分辨率图像输入至小型卷积神经网络，得到滤波器参数之前，还包括：

3.根据权利要求1所述的方法，其特征在于，所述将所述目标识别图像输入至所述图像处理模块，得到预处理图像，包括：

4.根据权利要求1所述的方法，其特征在于，所述自监督模块包括VGG16卷积神经网络；

5.根据权利要求1所述的方法，其特征在于，所述基于所述氢敏胶带概率值与相似度信息确定氢敏胶带位置区域图像，包括：

6.根据权利要求1所述的方法，其特征在于，所述基于HSV色彩空间确定所述氢敏胶带位置区域图像中的变色区域，并在所述变色区域占所述氢敏胶带位置区域图像的比例超过预设比例时生成警报信息，包括：

7.一种基于改进图像自适应YOLO的氢敏胶带变色检测装置，其特征在于，所述装置包括：

8.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-6任一项所述方法的步骤。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-6任一项所述方法的步骤。