CN110706232A

CN110706232A - 纹理图像分割方法、电子装置及计算机存储介质

Info

Publication number: CN110706232A
Application number: CN201910930664.0A
Authority: CN
Inventors: 曾军英; 朱伯远; 姜晓伟; 吴海峰; 秦传波; 朱京明; 翟懿奎; 甘俊英
Original assignee: Wuyi University
Current assignee: Wuyi University
Priority date: 2019-09-29
Filing date: 2019-09-29
Publication date: 2020-01-17

Abstract

本发明公开了一种纹理图像分割方法、电子装置及计算机存储介质，其中纹理图像分割方法在建立传统U‑Net卷积神经网络的基础上，又建立了MobileNetV2网络结构，并且将U‑Net卷积神经网络的所述压缩路径和所述扩张路径二者的所有标准卷积均替换为Bottleneck处理，MobileNetV2网络结构当中包括了Bottleneck处理，由于所述Bottleneck处理依次包括升维操作、正常卷积以及降维操作，其中Bottleneck处理构成了深度可分离卷积，通过深度可分离卷积将标准卷积分解为深度卷积和点卷积方式进行计算，从而Bottleneck处理的参数量减少，减小了运算量。

Description

纹理图像分割方法、电子装置及计算机存储介质

技术领域

本发明涉及计算机应用技术领域，特别涉及一种纹理图像分割方法、电子装置及计算机存储介质。

背景技术

近年来，随着人们对生物识别系统安全性和准确性的要求越来越高，生物特征识别技术得到越来越多的关注。手指静脉识别作为众多生物特征识别技术中的一种，由于具有非接触式采集、活体检测、不易伪造、成本较低等优点，成为当前研究的热点。而手指静脉图像血管的分割是指静脉识别技术中的一个关键步骤，分割效果的优劣直接影响后续识别的精度和准确度。

指静脉图像中的血管分割属于纹理图像分割，现有技术中，一般使用U型卷积神经网络(U-Net)进行纹理图像的分割。上述的传统U-Net框架已经广泛使用与纹理图像的分割当中，但是由于传统U-Net框架的参数量较大，导致运算量大，不利于将指静脉图像识别技术应用于对实时性要求较高的移动终端上。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种纹理图像分割方法，能够提供减少图像分割的运算量的新型卷积神经网络模型。

本发明还提出一种具有上述图像分割方法的电子装置。

本发明还提出一种具有上述图像分割方法的计算机存储介质。

根据本发明的第一方面实施例的一种纹理图像分割方法，所述方法包括以下步骤：

S1：搭建D-Net卷积神经网络模型，包括：

S11：建立U-Net卷积神经网络，所述U-Net卷积神经网络包括压缩路径和扩张路径，所述压缩路径和所述扩张路径二者均包括有若干标准卷积；

S12：建立MobileNetV2网络结构，所述MobileNetV2网络结构包括Bottleneck处理，所述Bottleneck处理依次包括升维操作、正常卷积以及降维操作，将所述压缩路径和所述扩张路径二者的所有标准卷积均替换为Bottleneck处理；

S2：训练所述D-Net卷积神经网络模型，包括：

S21:获取训练集，所述训练集包括已知纹理图像以及与所述已知纹理图像一一对应的标签；

S22：将所述训练集输入到所述D-Net卷积神经网络模型进行训练；

S3:利用训练好的所述D-Net卷积神经网络模型进行图像分割，包括：

S31:获取测试集，所述测试集包括未知纹理图像；

S32：将所述测试集输入到所述D-Net卷积神经网络模型进行图像分割。

根据本发明实施例的一种纹理图像分割方法，至少具有如下有益效果：在建立传统U-Net卷积神经网络的基础上，又建立了MobileNetV2网络结构，并且将U-Net卷积神经网络的所述压缩路径和所述扩张路径二者的所有标准卷积均替换为Bottleneck处理，MobileNetV2网络结构当中包括了Bottleneck处理，由于所述Bottleneck处理依次包括升维操作、正常卷积以及降维操作，其中整个Bottleneck处理构成深度可分离卷积，通过深度可分离卷积将标准卷积分解为深度卷积和点卷积方式进行计算，从而Bottleneck处理的参数量减少，减小了运算量。并且每一个Bottleneck处理减少的参数量是不定的，除了和卷积核有关还和通道数有关，参数减少量根据具体情况而定。但是，一般情况下，网络层次越深，特征维度越高，该结构减少参数量效果越明显。

根据本发明的一些实施例，还包括以下步骤：S13：建立inception结构模型，将所述Bottleneck处理中的正常卷积替换为所述inception结构模型。由于inception结构模型具有不同尺度的卷积核并联，可以实现对多尺度特征的利用，可以更全面利用图像中隐藏的信息。

根据本发明的一些实施例，还包括以下步骤：S14：建立SE-Net模块，在所述压缩路径和所述扩张路径二者的每个所述Bottleneck处理后连接一个所述SE-Net模块。SE-Net模块通过学习的方式获取到每个特征通道的重要程度，然后依照这个重要程度去提升有用的特征并抑制对当前任务用处不大的特征。

根据本发明的第二方面实施例的一种电子设备，包括存储器、处理器以及存储在所述存储器上并可以在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现上述第一方面实施例任一项所述的纹理图像分割方法，具有上述第一方面实施例的全部有益效果。

根据本发明的第二方面实施例的一种计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现上述第一方面实施例中任一所述的纹理图像分割方法，具有上述第一方面实施例的全部有益效果。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明实施例的一种纹理图像分割方法的所采用的传统U-Net框架结构示意图；

图2为本发明实施例的一种纹理图像分割方法的Bottleneck处理所构成的深度可分离卷积示意图；

图3为本发明实施例的一种纹理图像分割方法的所采用的预处理操作示意图；

图4为本发明实施例的一种纹理图像分割方法的Inception结构模型；

图5为本发明实施例的一种纹理图像分割方法的所采用的SE-Net模块结构示意图；

图6为本发明实施例的一种纹理图像分割方法的所采用的Bottleneck处理过程示意图；

图7为本发明实施例的一种纹理图像分割方法的所采用的D-Net卷积神经网络结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。

本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。

如图7所示，一种纹理图像分割方法以下步骤：

S1：搭建D-Net卷积神经网络模型，包括：

图1示出了传统的U-Net框架结构图，该神经网络结构包括了两个路径，左侧为收缩路径，侧为扩张路径，呈对称状态，像英文字母大写的U，因此，被命名为U-net。在U-net中，左侧的收缩路径用于捕捉图像的内容，右侧的扩张路径用于精准定位。U-net是一个输入端和输出端都为图像的全卷积神经网络结构，但整个网络没有全连接层，整个网络包含了20个标准卷积层、4次下采样、4次上采样。输入到神经网络中的纹理图像数据被称为feature map(特征图像)，特征图像在U-Net卷积神经网络中被3*3的卷积核执行标准卷积操作。

S12：建立MobileNetV2网络结构，所述MobileNetV2网络结构包括Bottleneck处理，如图6所示，所述Bottleneck处理依次包括升维操作、正常卷积以及降维操作，将所述压缩路径和所述扩张路径二者的所有标准卷积均替换为Bottleneck处理，Bottleneck处理的过程构成了深度可分离卷积，从而获得D-Net卷积神经网络模型；

如图2所示，假设输入到神经网络中feature map的尺寸为D_F*D_F*M，其输出的feature map为D_F*D_F*N,卷积核的大小为D_k*D_k*N。对于标准卷积操作的运算量为D_F*D_F*M*N*D_k*D_k。而对于深度可分离卷积，它将卷积核大小分为D_k*D_k*1的深度卷积核1*1*N的点卷积。其中深度卷积的计算量为D_F*D_F*M*D_k*D_k，点卷积的计算量为D_F*D_F*M*N。那么深度可分离卷积的计算量为D_F*D_F*M*D_k*D_k+D_F*D_F*M*N。将深度可分离卷积与标准卷积的参数量进行对比，假设输入和输出都是大小相同的feature map，得到：

其中N的值一般较大，则前一项的大小可以忽略。假设我们设置的D_k卷积核的大小为3*3那么我们相对于标准卷积可以将参数量减小，可以说完成了对模型的剪裁。通过深度可分离卷积的方式，使MobilenetV2实现了模型的缩小和低延时的效果。

S2：训练所述D-Net卷积神经网络模型，包括：

本实施例中，训练集中的已知纹理图像是指将指静脉原图经过预处理后获得的图像，预处理过程包括ROI提取、归一化、对比度受限的自适应直方图均衡和伽马调整等操作，目的在于突出静脉纹路丰富的区域，减少处理时间，增加精度；最后对一整张的指静脉原图进行分块操作，分块操作指的是将一整张的指静脉原图切割为设定数量的已知纹理图像。然后为每张已知纹理图像生成相应的标签，标签指的是，将分块操作后获得的已知纹理图像处理成为理想的状态。例如，通过人工操作将分块操作后获得的已知纹理图像进行二值化操作，使得已知纹理图像变成黑白图像，其中指静脉的血管以黑色像素显示，非指静脉的血管位置以白色像素显示。

如图3所示，这些标签也是图像数据，就是已知纹理图像通过D-Net卷积神经网络需要获得的最终效果，每次已知纹理图像在D-Net卷积神经网络中训练时，都会通过损失函数将训练后的已知纹理图像与相应的标签进行对比。如果对比的结果满足精度要求，则认为该D-Net卷积神经网络对已知纹理图像的分割精度已经达到要求，认为该D-Net卷积神经网络已经训练好，可以用于对测试集的图像进行分割。如果，对比的结果不满意，D-Net卷积神经网络就会调整相应的参数，使最终分割结果与标签相符。

S31:获取测试集，所述测试集包括未知纹理图像；

测试集是不包含在训练集中的图像数据，测试集是将指静脉原图进行预处理操作和分块操作后获得的未知纹理图像。

这些图像进入到D-Net卷积神经网络进行分割，分割的结果就是将未知纹理图像处理为标签格式，即分割后输出的未知纹理图像是二值化的黑白图像，其中指静脉的血管以黑色像素显示，非指静脉的血管位置以白色像素显示。

在建立传统U-Net卷积神经网络的基础上，又建立了MobileNetV2网络结构，MobileNetV2网络结构当中包括了Bottleneck处理，由于所述Bottleneck处理依次包括升维操作、正常卷积以及降维操作，其中Bottleneck处理构成了深度可分离卷积，通过深度可分离卷积将标准卷积分解为深度卷积和点卷积方式进行计算，从而Bottleneck处理的参数量减少的标准卷积参数量，减小了运算量，适合于实时性要求较高的移动终端。

本实施例中，还包括以下步骤：S13：建立inception结构模型，将所述Bottleneck处理中的正常卷积替换为所述inception结构模型。由于inception结构模型具有不同尺度的卷积核并联，可以实现对多尺度特征的利用，可以更全面利用图像中隐藏的信息。

如图4所示，是一个Inception结构模型，2014年该模型首次被Googlenet模型大量使用。Googlenet获得世界公认的图片库挑战竞赛ILSVRC2014中分类领域和检测领域的冠军，与其添加的Inception模型所起的作用是分不开的。正是因为Googlenet网络框架中融入了Inception module的理念及设计，才使得Googlenet在检测和识别中大放异彩，将国际领先水平又提升到一个新的高度。

考虑到统计相关性，一个稀疏网络结构可以重新构建出最优结构。从更底层考虑，现在的硬件在非一致稀疏数据结构上的计算非常不高效，尤其在这些数据上使用已经为密集矩阵优化过的库的时候。近年来都会使用随机稀疏的网络结构来打破对称性，提高学习率，但同时又不断有人重新使用全连接的结构，以图利用密集计算的高效性。所以，现在的问题是有没有一种统一的方法，既能保留网络结构的稀疏性，又能利用密集矩阵的高计算性能。因而Inception Module结构出现了，它就可以实现这种效果。

在网络中增加inception module结构的好处，就是增加网络的宽度，因为不同尺度的卷积核并联，可以实现对多尺度特征的利用，如此就更全面地利用图像中隐藏的信息。但是较大尺度卷积核的使用，会带来网络规模以及计算量的增加，所以最终就采用一种小卷积核和大卷积核级联的方法来压缩模型的参数量，它将上一层的输出作为本层的输入，之后分4条不同的分支，分别做3种不同的卷积和最大池化这4种操作，然后在前者的后3条分支的基础上，又各自增加一个1×1大小的卷积核的级联操作，以此来减小网络参数的厚度，来达到优化网络的目的。最后再将这4种操作后的输出合并在一起，共同进入下一层的操作。

Inception主要的思想就是如何找出最优的局部稀疏结构并将其覆盖为近似的稠密的组件。有人提出一个层与层的结构，在结构的最后一层进行相关性统计，将高相关性的聚集到一起，这些簇构成下一层的单元与上一层的单元连接。假设前面层的每个单元对应输入图像的某些区域，这些单元被滤波器进行分组。接近输入层的低层单元集中在某些局部区域，意味着最终会得到在单个区域的大量群，他们能在下一层通过1×1卷积覆盖，然而也可以通过一个簇覆盖更大的空间来减小簇的数量。为了避免对齐问题，就将滤波器大小限制在1×1，3×3和5×5。在网络设计中Inception模块都堆在其他Inception模块的上面，但是这种不断级联的模块所引发的问题是，即使是一个合适数量的卷积，也会因为大量的滤波而增加大量的参数，再经过池化层输出的合并，最终会导致数量级增大，引起处理效率不高导致计算崩溃。所以最后往往需要在大量计算的地方进行慎重的降维，压缩信息以达到聚合的目的。

本实施例中，还包括以下步骤：S14：建立SE-Net模块，在所述压缩路径和所述扩张路径二者的每个所述Bottleneck处理后连接一个所述SE-Net模块。SE-Net模块通过学习的方式获取到每个特征通道的重要程度，然后依照这个重要程度去提升有用的特征并抑制对当前任务用处不大的特征。

SE-Net模块可以根据训练损失调整特征图的权重，使有效特征图的权重大，无效或效果小的特征图权重小，最终使充分训练的模型达到更好的结果。为了增强模型对特征的选择能力，也将SE-Net模块应用于D-Net网络中。

如图5所示，X是多张特征图组合在一起形成的张量(tensor)，它的大小为c×h×w，c表示通道数，h表示特征图的高度，w表示特征图的宽度。利用全局平均池化(globalaverage pooling)计算张量X中每张特征图的灰度平均值，并且把这c个灰度平均值形成一个c维特征向量，从而实现全局空间信息压缩。全局空间信息被压缩后，有效信息被嵌入到这个c维特征向量，并且可以由L_i层的神经元表示。接下来特征向量在L_i+1层被压缩r倍。然后特征向量在L_i+2层又恢复到c维。再根据L_i+2层的c维特征向量可知，张量X中的每个特征图有不同的权重。又因为同一个特征图内的灰度值共享同一个权重，所以可以计算出加权之后的张量

从而实现特征选择。在实验中，r的取值为16。

上面结合附图对本发明实施例作了详细说明，但是本发明不限于上述实施例，在所述技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims

1.一种纹理图像分割方法，其特征在于，所述方法包括以下步骤：

S1：搭建D-Net卷积神经网络模型，包括：

S2：训练所述D-Net卷积神经网络模型，包括：

S31:获取测试集，所述测试集包括未知纹理图像；

2.根据权利要求1所述的一种纹理图像分割方法，其特征在于，还包括以下步骤：

S13：建立inception结构模型，将所述Bottleneck处理中的正常卷积替换为所述inception结构模型。

3.根据权利要去2所述的一种纹理图像分割方法，其特征在于，还包括以下步骤：

S14：建立SE-Net模块，在所述压缩路径和所述扩张路径二者的每个所述Bottleneck处理后连接一个所述SE-Net模块。

4.一种电子设备，包括存储器、处理器以及存储在所述存储器上并可以在处理器上运行的计算机程序，其特征在于：所述处理器执行所述计算机程序时，实现权利要求1-3中任一项所述的纹理图像分割方法。

5.一种计算机存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时，实现如权利要求1-3任一项所述的纹理图像分割方法。