CN113487610B - 疱疹图像识别方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及一种疱疹图像识别方法、装置、计算机设备和存储介质。所述方法包括：获取原始疱疹图像，对其进行模糊过滤、去噪声、预处理，得到训练样本；构建深度差分卷积神经网络，该网络是在YOLOV4网络的基础上将主干网络中卷积替换为差分卷积得到的；利用训练样本对该网络进行训练得到疱疹识别模型；采用该模型进行疱疹图像识别得到疱疹图像识别结果。疱疹真实图像不容易获得，样本量少，差分卷积网络能学习到有限图像中更多的细节信息，减少样本需求量；本方法只用单级网络就可一次性检测出多个物体类别，在提高检测召回率和准确率的基础上减少计算资源损耗。

Description

疱疹图像识别方法、装置、计算机设备和存储介质

技术领域

本申请涉及图像处理技术领域，特别是涉及一种疱疹图像识别方法、装置、计算机设备和存储介质。

背景技术

随着计算机视觉的相关理论与应用研究的快速发展，计算机视觉技术在日常生活中应用的优越性也日益突显出来。用计算机对图像进行识别是计算机从相关的视频或图像序列中提取出相应的特征，从而让计算机“理解”图像的内容，并能正确分类定位的技术。

Yolo(全称为You Only Look Once)是常用的深度学习方法，仅仅使用一个CNN网络直接预测不同目标的类别与位置，YOLO将物体检测作为回归问题求解，基于一个单独的end-to-end网络，完成从原始疱疹图像的输入到物体位置和类别的输出。YOLO的核心思想就是利用整张图作为网络的输入，直接在输出层回归bounding box的位置和bounding box所属的类别。

幼儿园晨检机器人在检测过程中，由于部署环境各不相同，背景复杂且孩童本身活泼好动等原因，摄像头采集到的用于疱疹图像识别的儿童手掌图像和口腔的图片时常会出现模糊失真的情况，背景图片的复杂多样性和检测图片的低质量，增加了目标检测的难度，严重影响了疱疹识别的效率和准确性。

现有的检测方法：一种是直接调用OPENCV的物体识别库，这种库识别率较低，误判率非常高。另一种是采用多个网络级联的模式来进行一步步筛选，一级一级的找到目标，再筛选出相似度高的检测结果，但是三级网络的结构都不简单，其网络搭建结构宠大，功能冗余，计算参数庞大，在精确度和速度上都不能给用户很好的体验。另外，传统的卷积神经网络需要大量的数据才能学习到更多的信息，但是在实际中疱疹真实数据不容易获得，样本量少。

发明内容

基于此，有必要针对上述技术问题，提供一种疱疹图像识别方法、装置、计算机设备和存储介质。

一种疱疹图像识别方法，所述方法包括：

获取图像采集设备采集的原始疱疹图像。

对所述原始疱疹图像进行模糊过滤，去噪声，并进行预处理，得到训练样本。

构建用于疱疹图像识别的深度差分卷积神经网络，通过多层差分卷积层提取预处理后图像的特征图，根据所述特征图进行疱疹图像识别；所述深度差分卷积神经网络是在YOLOV4网络结构的基础上将主干网络中的卷积操作替换为差分卷积得到的；所述差分卷积是指对前一层的特征用两个不同大小的卷积核过滤，将小卷积结果扩展成与大卷积结果同样大小的形状，并将扩展结果与大卷积结果做差分，然后将差分结果和本层产生的特征做堆叠，融合更多的信息。

构造损失函数，并设置优化器。

根据所述训练样本、损失函数以及优化器，采用DropOut前向传播的方式对所述深度差分卷积神经网络进行训练，得到基于深度差分卷积神经网络的疱疹图像识别模型。

获取待测原始疱疹图像，进行模糊过滤和去噪声处理，并进行预处理，得到待测图像。

将所述待测图像输入到所述疱疹图像识别模型，得到疱疹图像识别结果。

一种疱疹图像识别装置，所述装置包括：

训练样本确定模块，用于获取图像采集设备采集的原始疱疹图像；对所述原始疱疹图像进行模糊过滤，去噪声，并进行预处理，得到训练样本。

深度差分卷积神经网络构建模块，用于构建用于疱疹图像识别的深度差分卷积神经网络，通过多层差分卷积层提取预处理后图像的特征图，根据所述特征图进行疱疹图像识别；所述深度差分卷积神经网络是在YOLOV4网络结构的基础上将主干网络中的卷积操作替换为差分卷积得到的；所述差分卷积是指对前一层的特征用两个不同大小的卷积核过滤，将小卷积结果扩展成与大卷积结果同样大小的形状，并将扩展结果与大卷积结果做差分，然后将差分结果和本层产生的特征做堆叠，融合更多的信息。

深度差分卷积神经网络训练模块，用于构造损失函数，并设置优化器；根据所述训练样本、损失函数以及优化器，采用DropOut前向传播的方式对所述深度差分卷积神经网络进行训练，得到基于深度差分卷积神经网络的疱疹图像识别模型。

疱疹图像识别结果确定模块，用于获取待测原始疱疹图像，进行模糊过滤和去噪声处理，并进行预处理，得到待测图像；将所述待测图像输入到所述疱疹图像识别模型，得到疱疹图像识别结果。

上述疱疹图像识别方法、装置、计算机设备和存储介质，所述方法通过获取图像采集设备采集的原始疱疹图像；对原始疱疹图像进行模糊过滤，去噪声，并进行预处理，得到训练样本；构建用于疱疹图像识别的深度差分卷积神经网络，通过多层差分卷积层提取预处理后图像的特征图，根据特征图进行疱疹图像识别；深度差分卷积神经网络是在YOLOV4网络结构的基础上将主干网络中的卷积操作替换为差分卷积得到的；差分卷积是指对前一层的特征用两个不同大小的卷积核过滤，将小卷积结果扩展成与大卷积结果同样大小的形状，并将扩展结果与大卷积结果做差分，然后将差分结果和本层产生的特征做堆叠，融合更多的信息；构建损失函数，并设置优化器；根据训练样本、损失函数以及优化器，采用DropOut前向传播的方式对深度差分卷积神经网络进行训练，得到基于深度差分卷积神经网络的疱疹图像识别模型；获取待测原始疱疹图像，进行模糊过滤和去噪声处理，并进行预处理，得到待测图像；将待测图像输入到基于深度差分卷积神经网络的疱疹图像识别模型，得到疱疹图像识别结果。疱疹真实图像数据不容易获得，样本量少，传统卷积网络结果需要大量的数据才能学习到更多的信息，差分形式的卷积网络可以学习到有限图像中更多的细节信息，减少样本的需求量；本方法只用单级网络就可以一次性检测出多个物体类别，在提高检测召回率和准确率的基础上减少了计算资源的损耗，达到了实时性的前端部署要求。

附图说明

图1为一个实施例中疱疹图像识别方法的流程示意图；

图2为一个实施例中疱疹图像识别装置的结构框图；

图3为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的疱疹图像识别方法，可以应用于幼儿园晨检机器人中，能够快速准确地定位手掌和口腔位置并检测小朋友是否有疑似疱疹。解决了轮廓特征不清晰，无明显特征小目标，在复杂背景干扰下的识别问题。

在一个实施例中，如图1所示，提供了一种疱疹图像识别方法，该方法包括以下步骤：

步骤100：获取图像采集设备采集的原始疱疹图像。

具体的，原始疱疹图像可以通过照相机、摄像机或摄像头采集。

为了保证检结果的准确和真实，原始疱疹图像主要来源于真实的疱疹的图片采集。

步骤102：对原始疱疹图像进行模糊过滤，去噪声，并进行预处理，得到训练样本。

侦测原始疱疹图像的模糊过滤和去噪声模块，可以提高用于输入网络的图片质量，更利于提取有用信息便于目标的检出。

步骤104：构建用于疱疹图像识别的深度差分卷积神经网络，通过多层差分卷积层提取预处理后图像的特征图，根据特征图进行疱疹图像识别。

深度差分卷积神经网络是在YOLOV4网络结构的基础上将主干网络中的卷积操作替换为差分卷积得到的。

差分卷积是指对前一层的特征用两个不同大小的卷积核过滤，将小卷积结果扩展成与大卷积结果同样大小的形状，并将扩展结果与大卷积结果做差分，然后将差分结果和本层产生的特征做堆叠，融合更多的信息。

这样输出端对于高频的细节信息不会那么容易过滤掉，可以提高训练的速度和让网络学习到初始图片中更多的细节信息，并减少样本的需求量。

步骤106：构造损失函数，并设置优化器。

步骤108：根据训练样本、损失函数以及优化器，采用DropOut前向传播的方式对深度差分卷积神经网络进行训练，得到基于深度差分卷积神经网络的疱疹图像识别模型。

步骤110：获取待测原始疱疹图像，进行模糊过滤和去噪声处理，并进行预处理，得到待测图像。

具体的，通过晨检机器人获取摄像头图像采集装置采集检测区域内的画面信息，对采集的图片进行模糊过滤和去噪声处理，将原始图片640*480统一缩放到一个标准的416*416的letterbox尺寸，对填充做一些处理去除信息冗余。对图片信息进行归一化处理pixel_value/255-0.5，再转成张量。以batch的形式输入到疱疹识别模型进行推理计算。

步骤112：将待测图像输入到基于深度差分卷积神经网络的疱疹图像识别模型，得到疱疹图像识别结果。

上述疱疹图像识别方法中，所述方法通过获取图像采集设备采集的原始疱疹图像；对原始疱疹图像进行模糊过滤，去噪声，并进行预处理，得到训练样本；构建用于疱疹图像识别的深度差分卷积神经网络，通过多层差分卷积层提取预处理后图像的特征图，根据特征图进行疱疹图像识别；深度差分卷积神经网络是在YOLOV4网络结构的基础上将主干网络中的卷积操作替换为差分卷积得到的；差分卷积是指对前一层的特征用两个不同大小的卷积核过滤，将小卷积结果扩展成与大卷积结果同样大小的形状，并将扩展结果与大卷积结果做差分，然后将差分结果和本层产生的特征做堆叠，融合更多的信息；构建损失函数，并设置优化器；根据训练样本、损失函数以及优化器，采用DropOut前向传播的方式对深度差分卷积神经网络进行训练，得到基于深度差分卷积神经网络的疱疹图像识别模型；获取待测原始疱疹图像，进行模糊过滤和去噪声处理，并进行预处理，得到待测图像；将待测图像输入到疱疹图像识别模型，得到疱疹图像识别结果。疱疹真实图像数据不容易获得，样本量少，传统卷积网络结果需要大量的数据才能学习到更多的信息，差分形式的卷积网络可以学习到有限图像中更多的细节信息，减少样本的需求量；本方法只用单级网络就可以一次性检测出多个物体类别，在提高检测召回率和准确率的基础上减少了计算资源的损耗，达到了实时性的前端部署要求。

在其中一个实施例中，步骤106包括：采用CIOU损失函数作为深度差分卷积神经网络的损失函数；损失函数的表达式为：

其中：A代表预测框，B代表真实框，

代表预测框与真实框的重叠度；

代表预测框中心点坐标；

代表真实框中心点坐标；

代表预测框中心点与真实框中心点之间的欧式距离；

代表A、B最小包围框的对角线长度；v用来度量长宽比的相似性，

，其中

代表真实框的宽，

代表真实框的高，w代表预测框的宽，h代表预测框的高；

为平衡参数，不参与梯度计算，

。

将余弦退火调度器作为深度差分卷积神经网络的优化器；所述优化器的表达式为：

其中：

代表优化器的学习率；i代表第i次训练；

和

是学习率的最大值和最小值；

代表第i次训练中的总轮数；

代表第i次训练中当前训练执行了多少轮。

具体的，优化器使用余弦退火调度器，较大的学习率会以较慢的速度减小，在学习的途中损失减小速度会变快，而最后学习率的减小速度又会变得很慢。

在其中一个实施例中，深度差分卷积神经网络包括：主干网络、Neck网络以及输出网络；特征图包括三种不同尺度的特征图；步骤108包括：将训练样本输入到深度差分卷积神经网络的主干网络中，得到三种不同尺度的特征图；将三种不同尺度的特征图输入到Neck网络中通过卷积操作、批归一化处理、池化操作、上采样、特征拼接操作，得到融合特征；将融合特征输入到输出网络，得到疱疹检测预测结果；根据训练样本、疱疹检测预测结果以及损失函数，采用DropOut前向传播的方式对深度差分卷积神经网络进行反向训练，得到基于深度差分卷积神经网络的疱疹图像识别模型。

由于预训练权重用显著突出物体样本集，从头到尾训练权重，能加强网络对背景和检测目标相似的物体的检测敏感度，同时采用改进的IOU计算方式，不单只考虑面积重叠，还考虑重叠面积的形状和重叠面积的中心点距离，能有效减少对这种小目标的错误过滤。在训练中采用学习率的幂次衰减和余弦退火函数优化，可以加速网络学习的有效迭代，使网络更容易找到极值点。

在其中一个实施例中，主干网络包括6个DCBM和5个DCSPX模块，DCBM模块包括指的是依次执行差分卷积、批归一化处理和激活操作的运算过程，DCSPX模块包括ResX模块和两个DCBL模块，ResX模块与一个DCBL模块串联再与另外一个DCBL模块并联拼接，DCBL模块指的是依次执行差分卷积、批归一化处理、与DCBM模块不同的另一种激活操作的运算过程；5个CSPX模块的结构为1、2、8、8、4；主干网络依次包括：DCBM模块、DCSP1模块、DCBM模块、DCSP2模块、DCBM模块、DCSP8模块、DCBM模块、DCSP8模块、DCBM模块、DCSP4模块和DCBM模块。

具体的，DCBM中的激活函数采用Mish激活函数，Mish激活函数的表达式为：

DCBL模块中的激活函数采用Leakyrelu激活函数，Leakyrelu激活函数的表达式为：

具体的，张量拼接（Concat），会扩充两个张量的维度，26*26*256和26*26*512两个张量拼接，结果为26*26*768。Concat和cfg文件中的route功能一样。

张量相加（add），张量直接相加，不会扩充维度，104*104*128和104*104*128相加，结果为104*104*128。add和cfg文件中的shortcut功能一样。

在其中一个实施例中，步骤102包括：对原始疱疹图像进行模糊过滤和去噪声处理，并对处理后的结果采用Anaconda自带的Labelme进行手、口腔、疱疹的标注；在多个标注后的图像中选取4张图片随机排布，采用随机缩放的方式进行拼接，并对拼接结果进行随机裁剪，得到训练样本。

因为疱疹样本相对于手口或是整张检测图来说目标小太多，且一张图上可能会存在很多疱疹目标，在训练过程中属于一种难训练样本，即困难样本，常规训练很容易造成正负样本不均衡，为了解决这种问题，采用随机抽取4张图片进行拼接再随机裁剪的方式，就可以提高小目标样本的使用率，使易训练样本和难训练样本在使用比列上保持平衡，提高训练参数的鲁棒性。

具体的，样本标注用Anaconda自带的Labelme进行手、口腔、疱疹的标注，标注用矩形框的形式画出，并给定相应的类别信息。坐标用标注物体框的中心点和宽高4个信息，将每张图像的坐标和类别信息格式化并写入一个txt文件中。将图片处理到网络需要输入的尺寸，样本图片尺寸为640*480，转换成416*416尺寸，采用letterbox模块进行转换，能提高计算速度。letterbox模块的计算步骤：

1）计算缩放比列：416/640=0.65，416/480=0.87。

2）计算缩放后的尺寸：640*0.65=416，480*0.87=362。

3)416-213=104，54/2取模=27。

在其中一个实施例中，疱疹图像识别结果是推理结果张量；步骤112后还包括：将推理结果张量转化成浮点偏移量，并用偏移量进行对应原图的尺寸还原得到目标检测物体在原图上的真实位置；采用DIOU_nms的方式进行非极大值拟制，得到的分类物体及分类物体对应的坐标数据；判断手和口的坐标位置，排除手和口边界框外的分类物体及对应的坐标数据；将最终获得的坐标按照不同的标签进行分类，并按照置信度给出疑似疱疹的相似度百分比，得到图片结果和对应信息。

具体的，非极大值抑制采用DIOU_nms将普通的nms计算方法中的IOU计算改成DIOU计算不但考虑重叠面积，还考虑重叠面积的方向和中心点距离，再排序去重叠框。

应用中增加的逻辑判断模块，如果有疱疹目标只考虑在手和口的坐标范围内的坐标，有效过滤背景中误识别，提高疱疹检出的准确率。

在其中一个实施例中，将最终获得的坐标按照不同的标签进行分类，并按照置信度给出疑似疱疹的相似度百分比，步骤后还包括：将图片结果和对应信息通过云服务通信技术存储；将后台展示信息通过云服务推送到前端和用户APP展示。

应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图2所示，提供了一种疱疹图像识别装置，包括：训练样本确定模块、深度差分卷积神经网络构建模块、深度差分卷积神经网络训练模块和疱疹图像识别结果确定模块，其中：

训练样本确定模块，用于获取图像采集设备采集的原始疱疹图像；对原始疱疹图像进行模糊过滤，去噪声，并进行预处理，得到训练样本；

深度差分卷积神经网络构建模块，用于构建用于疱疹图像识别的深度差分卷积神经网络，通过多层差分卷积层提取预处理后图像的特征图，根据特征图进行疱疹图像识别；深度差分卷积神经网络是在YOLOV4网络结构的基础上将主干网络中的卷积操作替换为差分卷积得到的；差分卷积是指对前一层的特征用两个不同大小的卷积核过滤，将小卷积结果扩展成与大卷积结果同样大小的形状，并将扩展结果与大卷积结果做差分，然后将差分结果和本层产生的特征做堆叠，融合更多的信息；

深度差分卷积神经网络训练模块，用于构造损失函数，并设置优化器；根据训练样本、损失函数以及优化器，采用DropOut前向传播的方式对深度差分卷积神经网络进行训练，得到基于深度差分卷积神经网络的疱疹图像识别模型；

疱疹图像识别结果确定模块，用于获取待测原始疱疹图像，进行模糊过滤和去噪声处理，并进行预处理，得到待测图像；将待测图像输入到基于深度差分卷积神经网络的疱疹图像识别模型，得到疱疹图像识别结果。

在其中一个实施例中，深度差分卷积神经网络构建模块，还用于采用CIOU损失函数作为深度差分卷积神经网络的损失函数；损失函数的表达式为：

其中：A代表预测框，B代表真实框，

代表预测框与真实框的重叠度；

代表预测框中心点坐标，

代表真实框中心点坐标，

代表预测框中心点与真实框中心点之间的欧式距离；

代表A、B最小包围框的对角线长度；v用来度量长宽比的相似性，

，其中

代表是真实框的宽，

代表真实框的高，w代表预测框的宽，h代表预测框的高；

为平衡参数，不参与梯度计算，

。

将余弦退火调度器作为深度差分卷积神经网络的优化器；所述优化器的表达式为：

其中：

代表优化器的学习率；i代表第i次训练；

和

是学习率的最大值和最小值；

代表第i次训练中的总轮数；

代表第i次训练中当前训练执行了多少轮。

在其中一个实施例中，深度差分卷积神经网络包括：主干网络、Neck网络以及输出网络；特征图包括三种不同尺度的特征图；深度差分卷积神经网络训练模块，还用于将训练样本输入到深度差分卷积神经网络的主干网络中，得到三种不同尺度的特征图；将三种不同尺度的特征图输入到Neck网络中通过卷积操作、批归一化处理、池化操作、上采样、特征拼接操作，得到融合特征；将融合特征输入到输出网络，得到疱疹检测预测结果；根据训练样本、疱疹检测预测结果以及损失函数，采用DropOut前向传播的方式对深度差分卷积神经网络进行反向训练，得到基于深度差分卷积神经网络的疱疹图像识别模型。

在其中一个实施例中，主干网络包括6个DCBM和5个DCSPX模块，DCBM模块包括指的是依次执行差分卷积、批归一化处理和激活操作的运算过程，DCSPX模块包括ResX模块和两个DCBL模块，ResX模块与一个DCBL模块串联再与另外一个DCBL模块并联拼接，DCBL模块指的是依次执行差分卷积、批归一化处理、与DCBM模块不同的另一种激活操作的运算过程；5个DCSPX模块的结构为1、2、8、8、4；主干网络依次包括：DCBM模块、DCSP1模块、DCBM模块、DCSP2模块、DCBM模块、DCSP8模块、DCBM模块、DCSP8模块、DCBM模块、DCSP4模块和DCBM模块。

在其中一个实施例中，步骤102包括：对原始疱疹图像进行模糊过滤和去噪声处理，并对处理后的结果采用Anaconda自带的Labelme进行手、口腔、疱疹的标注；在多个标注后的图像中选取4张图片随机排布，采用随机缩放的方式进行拼接，并对拼接结果进行随机裁剪，得到训练样本。

在其中一个实施例中，疱疹图像识别结果是推理结果张量；疱疹图像识别结果确定模块后还包括疑似疱疹位置确定模块，用于将推理结果张量转化成浮点偏移量，并用偏移量进行对应原图的尺寸还原得到目标检测物体在原图上的真实位置；采用DIOU_nms的方式进行非极大值拟制，得到的分类物体及分类物体对应的坐标数据；判断手和口的坐标位置，排除手和口边界框外的分类物体及对应的坐标数据；将最终获得的坐标按照不同的标签进行分类，并按照置信度给出疑似疱疹的相似度百分比，得到图片结果和对应信息。

在其中一个实施例中，疑似疱疹位置确定模块后还包括信息存储显示模块，用于将图片结果和对应信息通过云服务通信技术存储；将后台展示信息通过云服务推送到前端和用户APP展示。

关于疱疹图像识别装置的具体限定可以参见上文中对于疱疹图像识别方法的限定，在此不再赘述。上述疱疹图像识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于设备中的处理器中，也可以以软件形式存储于设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图3所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种疱疹图像识别方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图3中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的设备的限定，具体的设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现以下步骤上述实施例中方法的步骤。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例中方法的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种疱疹图像识别方法，其特征在于，所述方法包括：

获取图像采集设备采集的原始疱疹图像；

对所述原始疱疹图像进行模糊过滤，去噪声，并进行预处理，得到训练样本；

构建用于疱疹图像识别的深度差分卷积神经网络，通过多层差分卷积层提取预处理后图像的特征图，根据所述特征图进行疱疹图像识别；所述深度差分卷积神经网络是在YOLOV4网络结构的基础上将主干网络中的卷积操作替换为差分卷积得到的；所述差分卷积是指对前一层的特征用两个不同大小的卷积核过滤，将小卷积结果扩展成与大卷积结果同样大小的形状，并将扩展结果与大卷积结果做差分，然后将差分结果和本层产生的特征做堆叠，融合更多的信息；

构造损失函数，并设置优化器；

根据所述训练样本、所述损失函数以及所述优化器，采用DropOut前向传播的方式对所述深度差分卷积神经网络进行训练，得到基于深度差分卷积神经网络的疱疹图像识别模型；

获取待测原始疱疹图像，进行模糊过滤和去噪声处理，并进行预处理，得到待测图像；

将所述待测图像输入到所述疱疹图像识别模型，得到疱疹图像识别结果。

2.根据权利要求1所述的方法，其特征在于，构造损失函数，并设置优化器，包括：

采用CIOU损失函数作为深度差分卷积神经网络的损失函数；所述损失函数的表达式为：

其中：A代表预测框，B代表真实框，

代表预测框与真实框的重叠度；

代表预测框中心点坐标；

代表真实框中心点坐标；

代表预测框中心点与真实框中心点之间的欧式距离；

代表A、B最小包围框的对角线长度；v用来度量长宽比的相似性，

，其中

代表真实框的宽，

代表真实框的高，w代表预测框的宽，h代表预测框的高；

为平衡参数，不参与梯度计算，

；

将余弦退火调度器作为深度差分卷积神经网络的优化器；所述优化器的表达式为：

其中：

代表优化器的学习率；i代表第i次训练；

和

是学习率的最大值和最小值；

代表第i次训练中的总轮数；

代表第i次训练中当前训练执行了多少轮。

3.根据权利要求1所述的方法，其特征在于，所述深度差分卷积神经网络包括：主干网络、Neck网络以及输出网络；

所述特征图包括三种不同尺度的特征图；

根据所述训练样本、损失函数以及优化器，采用DropOut前向传播的方式对所述深度差分卷积神经网络进行训练，得到基于深度差分卷积神经网络的疱疹图像识别模型，包括：

将所述训练样本输入到所述深度差分卷积神经网络的主干网络中，得到三种不同尺度的特征图；

将三种不同尺度的特征图输入到所述Neck网络中通过卷积操作、批归一化处理、池化操作、上采样、特征拼接操作，得到融合特征；

将所述融合特征输入到所述输出网络，得到疱疹检测预测结果；

根据所述训练样本、所述疱疹检测预测结果以及损失函数，采用DropOut前向传播的方式对所述深度差分卷积神经网络进行反向训练，得到基于深度差分卷积神经网络的疱疹图像识别模型。

4.根据权利要求1或3所述的方法，其特征在于，所述主干网络包括6个DCBM模块 和5个DCSPX模块，所述DCBM模块包括指的是依次执行差分卷积、批归一化处理和激活操作的运算过程，所述DCSPX模块包括ResX模块和两个DCBL模块，ResX模块与一个DCBL模块串联再与另外一个DCBL模块并联拼接，所述DCBL模块指的是依次执行差分卷积、批归一化处理、与DCBM模块不同的另一种激活操作的运算过程；5个DCSPX模块的结构为1、2、8、8、4；

所述主干网络依次包括：DCBM模块、DCSP1模块、DCBM模块、DCSP2模块、DCBM模块、DCSP8模块、DCBM模块、DCSP8模块、DCBM模块、DCSP4模块和DCBM模块。

5.根据权利要求1所述的方法，其特征在于，对所述原始疱疹图像进行模糊过滤，去噪声，并进行预处理，得到训练样本，包括：

对所述原始疱疹图像进行模糊过滤和去噪声处理，并对处理后的结果采用Anaconda自带的Labelme进行手、口腔、疱疹的标注；

在多个标注后的图像中选取4张图片随机排布，采用随机缩放的方式进行拼接，并对拼接结果进行随机裁剪，得到训练样本。

6.根据权利要求1所述的方法，其特征在于，所述疱疹图像识别结果是推理结果张量；

将所述待测图像输入到所述疱疹图像识别模型，得到疱疹图像识别结果，步骤后还包括：

将所述推理结果张量转化成浮点偏移量，并用偏移量进行对应原图的尺寸还原得到目标检测物体在原图上的真实位置；

采用DIOU_nms的方式进行非极大值拟制，得到的分类物体及所述分类物体对应的坐标数据；

判断手和口的坐标位置，排除手和口边界框外的分类物体及对应的坐标数据；

将最终获得的坐标按照不同的标签进行分类，并按照置信度给出疑似疱疹的相似度百分比，得到图片结果和对应信息。

7.根据权利要求6所述的方法，其特征在于，将最终获得的坐标按照不同的标签进行分类，并按照置信度给出疑似疱疹的相似度百分比，步骤后还包括：

将所述图片结果和对应信息通过云服务通信技术存储；

将后台展示信息通过云服务推送到前端和用户APP展示。

8.一种疱疹图像识别装置，其特征在于，所述装置包括：

训练样本确定模块，用于获取图像采集设备采集的原始疱疹图像；对所述原始疱疹图像进行模糊过滤，去噪声，并进行预处理，得到训练样本；

深度差分卷积神经网络构建模块，用于构建用于疱疹图像识别的深度差分卷积神经网络，通过多层差分卷积层提取预处理后图像的特征图，根据所述特征图进行疱疹图像识别；所述深度差分卷积神经网络是在YOLOV4网络结构的基础上将主干网络中的卷积操作替换为差分卷积得到的；所述差分卷积是指对前一层的特征用两个不同大小的卷积核过滤，将小卷积结果扩展成与大卷积结果同样大小的形状，并将扩展结果与大卷积结果做差分，然后将差分结果和本层产生的特征做堆叠，融合更多的信息；

深度差分卷积神经网络训练模块，用于构造损失函数，并设置优化器；根据所述训练样本、损失函数以及优化器，采用DropOut前向传播的方式对所述深度差分卷积神经网络进行训练，得到基于深度差分卷积神经网络的疱疹图像识别模型；

疱疹图像识别结果确定模块，用于获取待测原始疱疹图像，进行模糊过滤和去噪声处理，并进行预处理，得到待测图像；将所述待测图像输入到所述疱疹图像识别模型，得到疱疹图像识别结果。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

Images