CN111178229B - 一种基于深度学习的静脉显像方法和装置 - Google Patents

Abstract

本发明提供了一种基于深度学习的静脉显像方法和装置，所述方法包括：从数据库中获取同帧成对的彩色和近红外格式的手臂图像，对于彩色图像进行随机色相饱和度操作；搭建适合于嵌入式设备的深度学习网络，将获得的成对手臂图像送入网络进行训练，经过调整参数后获取效果最好的深度学习模型；将训练好的深度学习模型以及框架部署到嵌入式设备上，并运用基于训练集图像的色差消除方法，可以通过嵌入式设备连接的相机来拍摄手臂彩色图像来进行静脉显像。本发明通过设计适用于嵌入式设备的静脉显像算法，提高静脉显像的准确性和鲁棒性，实现了静脉显像工作的小型化和便携性，具有很大的实用价值。

Description

一种基于深度学习的静脉显像方法和装置

技术领域

本发明属于计算机视觉和图像处理技术领域，尤其涉及一种基于深度学习的静脉显像方法和装置。

背景技术

如今静脉识别技术已经得到了商业化的应用，但是这类产品往往是基于超声波造影或者是利用近红外通道相机来进行拍摄静脉图像从而进行识别操作，但是这些方法往往设备体积较大或是造价昂贵，如何简单、高效且准确地实现静脉显像是目前静脉识别技术接下来面临的挑战。

现有的对于可见光的静脉显像技术主要有两类：基于光学原理的静脉显像方法、基于深度学习的静脉显像方法。

基于光学原理的方法实现了通过可见光图像将隐藏的静脉空间分布显示出来，具有较高的研究价值和实用价值，为研究者们进一步发掘静脉这种生物特征识别技术的巨大潜力提供了较大的便利。但是，该方法存在的主要问题是计算模型是基于单个像素的，因此每个点是孤立的，由映射函数得到的近红外图像噪声比较大，并且不利于嵌入式设备的移植。基于深度学习的方法不需要了解光学原理中复杂的细节，让卷积神经网络通过大量数据的训练从而学习到图像中的特征以及可见光与近红外图像之间的映射关系，这种方法以图像而非单个像素作为模型的输入，可有效降低噪声，但是对于网络模型的构建，参数的选择等方面提出了较高的要求。

发明内容

针对现有技术的不足，本发明提供了一种基于深度学习的静脉显像方法和装置，所述方法包括如下步骤：

步骤1，对包含静脉数据的图像进行数据增强；对于静脉数据进行随机色度和饱和度、随机移位刻度旋转、随机水平旋转、随机顶点旋转等操作，并截取成对的静脉片段；

步骤2，建立深度学习的网络模型，设计训练方案，对网络模型进行训练，得到训练好的模型；

首先构建了基于残差结构的卷积神经网络层作为特征提取器，并使用迁移学习的方法加快模型收敛的速度，随后添加空洞卷积的模块达到所需要的精度而降低网络的深度和参数的复杂度，最后通过转置卷积层作为解码器得到静脉的显像图像并使用Sigmoid激活函数来优化模型。

步骤3，采集测试图像，消除色差后输入到训练好的模型中，得到输出结果。步骤1包括如下步骤：

步骤1-1，从静脉数据库读取到包含静脉数据的RGB图像，通过公式(1)得到图像亮度Y，通过公式(2)、(3)得到色度偏红U和偏紫V：

Y＝0.299*r+0.587*g+0.114*b   (1)

U＝0.1687*r-0.3313*g+0.5*b+128   (2)

V＝0.5*r-0.4187*g-0.0813*b+128   (3)

其中，r表示包含静脉数据的RGB图像的红色通道分量，g表示包含静脉数据的RGB图像的绿色通道分量，b表示包含静脉数据的RGB图像的蓝色通道分量；

由公式(4)通过随机r值达到随机色度和饱和度的效果：

其中r范围为(0，5)；

步骤1-2，对于包含静脉数据的RGB图像，同时进行水平镜像、垂直镜像以及围绕图像中心随机旋转操作，并进行仿射变换；

步骤1-3，将数据库中的所有图像中心处用256*256的矩形框截取图像，获得相应的手臂块图像。

步骤1-2中，通过如下公式得到仿射变换：

其中，center.x、center.y分别为原图像旋转中心的x坐标和y坐标，scale为各向同性比例因子，θ为旋转角度。

步骤2包括：

步骤2-1，使用卷积神经网络来构建特征提取器，特征提取器依次使用了1个7*7的卷积层以及32个3*3的卷积层，从第一个3*3的卷积层开始，将每两个卷积层之间构建一个额外的连接，通过这个结构将输入值与正常卷积操作值做差，在训练中将差值作为训练目标；

步骤2-2，在特征提取器后添加一个空洞卷积模块，空洞卷积模块包括四个空洞卷积层以及四个线性整流函数ReLU(Rectified Linear Unit,ReLU)层作为激活函数，每个空洞卷积层后连接一个ReLU层。

由于本发明方法是为嵌入式设备设计的，而且特征提取器需要提取的是类近红外像素空间到RGB像素空间的映射这种不明显的特征，所以既要控制网络和参数的复杂程度，又要保证特征提取器的精度，所以选择在特征提取器后添加一个空洞卷积模块，通过增大卷积的视野而保证算法所需要的精度而降低网络的深度和参数的复杂度。

步骤2-3，在空洞卷积模块后添加一个转置卷积层，转置卷积作为解码器来输出所需要的图像，并且使用Sigmoid函数作为激活函数来优化模型。

由于最后的输出为显示了静脉信息的图像而不是一个标签，所以最后设置了一个转置卷积作为解码器用来输出图像。

步骤2-3中，所述激活函数Sigmoid为：

其中x为输入矩阵，S(x)为对应的输出矩阵，S′(x)为S(x)的一阶导数。

步骤2-4，训练模型时，使用的是经过步骤1-1和1-2处理后的同帧的N对RGB-NIR手臂图像以及步骤1-3剪切过的N对手臂块图像，随机选取其中80％的图像作为训练集，20％的数据作为测试集；N一般取值为200；

本发明在训练中使用了RBG-NIR数据集，数据集中的所有图像均使用JAI-AD080CL相机采集。该相机可以同时获取彩色RGB图像和红外NIR图像。数据集中包含来自不同条件的200人的同帧RGB以及NIR的前臂图像。

步骤2-5，在训练模型前确定初始的学习率lr，训练的轮数epoch，批大小bitchsize，并设计了随轮数更改的学习率变化函数，其中训练中参数调整方法使用随机权重平均(SWA)方法。

其中所使用的参数调整方法与传统的随机梯度下降(SGD)不同，是一种随机权重平均(SWA)的方法，每一个轮次学习率循环结束将会产生一个局部最小值，而这些值更容易在损失面的边缘区域，SWA方法对于这些边缘区域的值取平均，从而得到一个全局化的、更低损失的通用解，并设定一个周期，对于这个通用解进行周期性的滑动平均，其他的轮次就按照传统的SGD方法进行更新。这样可以更快的拟合模型。

步骤2-5中，学习率的变化函数lr为：

其中，x为初始学习率，y为当前训练轮数，z为训练总轮数。

步骤2-6，设计基于图像梯度融合的均方差损失函数(MSELoss)来衡量模型的效果，从而得到效果最好的模型。

当图像中存在边缘时，会有较大的梯度值，当图像中某部分比较平滑时，灰度值变化较小，则相应的梯度也较小，由于所需要的静脉信息在边缘时会有较大梯度，所以在计算loss时，首先将训练图像分解为横、纵两个方向梯度函数g(x)，g(y)，并在训练中依次计算均方误差损失，最后取平均作为损失函数。

所述损失函数为：

其中，loss为损失函数，l(x)，l(y)分别为在x方向以及y方向梯度函数的均方误差损失。

步骤3包括：

步骤3-1，选取基准图像，将其进行通道分离，分别分离出基于红色，绿色，蓝色的三张单通道图像，并分别进行直方图均衡化，分别得到每个像素z和累积分布T(z)；

由于用来验证的图像是使用嵌入式设备上的摄像头拍摄，为了使图像风格接近于原始的训练集图像，选定一张训练集当中风格较为明显的图像作为基准图，将其进行通道分离，以分离的图像的各个灰度图的直方图规范化结果作为基准，将用来验证的图像做同样的操作，通过使用分离的基准图像与验证图像的差值建立绝对值建立灰度级的映射。

步骤3-2，将用于静脉显像的测试图像进行如步骤3-1同样的操作，得到每个像素s和累积分布G(s)，并分别与基准图像的对应通道的图像做差，然后根据差值的绝对值建立灰度级的映射，对于每一个G(s)，设定其像素值为ss，找到在T(z)中与其差值最小的那个T(z)值，设定对应的像素值为zz，把ss变换为zz；

步骤3-3，将进行过色差消除的图像输入到训练好的模型里，得到输出结果。

本发明还提供了一种基于深度学习的静脉显像装置，所述装置为嵌入式设备，所述嵌入式设备中存储有计算机程序指令，所述计算机程序指令在被所述嵌入式设备运行时使得所述嵌入式设备执行基于深度学习的静脉显像方法。

与现有技术相比，本发明的有益效果在于：

本发明中的静脉显像的算法设计，有益处在于不需要了解光学原理，通过端到端的方式学习到可见光与近红外图像之间的映射关系，得到的图像较为平滑，噪点较少，通过随机饱和度等数据增强方式可以做到更好的鲁棒性，结合现有的嵌入式设备来进行设计，在保证效果的前提下所需要的模型结构和参数做出了相应的简化，加快了算法实现的速度，同时可以做到更好的便携性以及更灵活的使用空间，因而具有非常大的实用价值。

附图说明

下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述或其他方面的优点将会变得更加清楚。

图1为训练样本原图。

图2为随机色度和饱和度后的图像。

图3为数据增强中的垂直镜像操作。

图4为算法的网络模型结构。

图5为未使用残差结构的34层卷积特征提取器与ResNet34特征提取器结构对比图。

图6为可以采取同帧RGB图和NIR图的JAI-AD080CL相机。

图7为ResNet34特征提取器的残差结构。

图8为空洞卷积操作示意图。

图9为转置卷积操作示意图。

图10为Sigmoid激活函数原理图。

图11为训练过程中训练集损失随轮次的变化图。

图12为进行色差消除的训练集基准图。

图13为NVIDIA Jeston TX2开发板。

图14为在嵌入式设备上处理RGB图像后的结果图。

图15为在嵌入式设备上处理RGB图像后的结果图。

图16为在嵌入式设备上处理RGB图像后的结果图。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

本发明提供了一种基于深度学习的静脉显像方法和装置，所述方法包括如下步骤：

(一)数据增强

由于市面上的相机种类很多，拍摄时的角度也会有差别，这都会对最终训练的模型产生影响，为了使模型拥有更好的鲁棒性，对于训练的图像进行了图像增强。

具体的流程如下：

(1)原图像如图1所示，对于训练样本做随机色度和饱和度操作的图像操作如图2所示，这样可以使网络模型学习到针对于不同相机拍出图像的特征。

(2)对于训练样本做随机移位刻度旋转、随机水平旋转、随机顶点旋转以及垂直镜像等操作，如图3所示，并截取成对的静脉片段，增加训练样本的数量并且可以使网络模型学习到针对于不同位置的静脉特征的映射关系。

(二)训练流程

网络模型的结构图如图4示，其中Resnet34是基于残差结构的卷积神经网络，作为我们的特征提取器，Dilated Block是空洞卷积模块，里面分别包含有依次连接的4组空洞卷积以及线性整流函数，Transpose-Conv Decoder是转置卷积层，Sigmoid Activation为S型激活函数

(1)首先构建了基于残差结构的卷积神经网络层作为的特征提取器，图5为未使用残差结构和使用了残差结构的对比图，接着使用成对的数据集RGB-NIR数据集进行训练，该数据集的所有的图像都是用如图6所示JAI-AD080CL相机采集的，它可以同时获得可见光与近红外线同步图像。数据集包含了200人在不同条件下采集的前臂图像，从而提取了静脉的RGB图像与NIR图像对应的映射关系。

由于提取的是类近红外像素空间到RGB像素空间的映射，所以需要较深层的卷积层来提取特征，但是当网络变得越来越深的时候，训练的准确率会趋于平缓，但是训练误差会变大，即出现“退化”现象，这时引用了如图7的残差结构来避免此现象。在参数的调整时由于网络结构较为复杂而且参数较多，本发明使用了迁移学习的方法，将特征提取器的参数的值继承了在ImageNet数据集上面的预训练权重并根据训练样本进行了微调，使得网络能够加速收敛并具有一定的鲁棒性。

(2)在特征提取器后添加一个空洞卷积模块如图8所示，空洞卷积模块分别包括四个空洞卷积层以及四个线性整流函数ReLU层作为激活函数，通过增大卷积的视野而保证算法所需要的精度而降低网络的深度和参数的复杂度，卷积核的步长设置为3。

(3)在空洞卷积模块后是一个如图9所示的转置卷积作为解码器来输出所需要的图像，并且使用如图10所示的Sigmoid作为激活函数来优化模型。

(4)训练中所使用的是经过步骤1-1和1-2扩充后的同帧的200对RGB-NIR手臂图像以及步骤1-3剪切过的200对手臂块图像，随机选取80％的数据作为训练集，20％的数据作为测试集。本文的训练是基于Ubuntu16.04，64位操作系统，采用Pytorch深度学习框架，在Nvidia 1080TI(12G显存)的GPU上实现，共耗时50分钟。

(5)经过多次尝试，网络参数的设置采用2*10-4次方作为初始学习率，81920次迭代，训练了256次epoch，batchsize＝2，学习率随epoch的变化如公式(7)所示，其中我们所使用的参数调整方法与传统的随机梯度下降(SGD)不同，是一种随机权重平均(SWA)的方法，其中训练过程如图11所示。

(6)本发明采用了一种梯度分解的均方差损失函数，首先将图像分解了gx，gy两个梯度，并在训练中依次计算均方误差损失，最后取平均作为我们损失函数。

(三)测试流程

(1)选取图所示图像作为基准图像，将其进行通道分离，分别分离出基于红色，绿色，蓝色的三张单通道图像并分别进行直方图均衡化，分别得到每个像素z和累积分布T(z)。

(2)将用于静脉显像的测试图像进行如步骤3-1同样的操作，得到累积分布G(s)，并分别与基准图像的对应通道的图像做差，然后根据差值的绝对值建立灰度级的映射，对于每一个G(s)(假设其像素值为ss)，找到在T(z)中与其差值最小的那个T(z)值(假设对应的像素值为zz)，把ss变换为zz。

(3)将进行过色差消除的图像输入到训练好的模型里，得到输出结果。

(四)嵌入式设备的实现

嵌入式设备实现包括图像采集赖项、Python库的编译安装以及运行算法程序时需要操作的步骤。本发明所采用的NVIDIA Jetson TX2开发板如图13所示。

(1)在编译OpenCV时修改Cmakelist文件时需要设置CMAKE_BUILD_TYPE＝RELEASE，CMAKE_INSTALL_PREFIX＝/usr/local，ITH CUDA＝ON，CUDA ARCH BIN＝"6.2"，根据嵌入式设备属性将以上几个选项进行修改。

(2)需要将Jeston TX2使用英伟达公司提供的Jetpack4.2.1开发包进行刷机以获取需要的CUDA版本以及CUDNN版本。

(3)将算法移植到Jeston TX2开发板上，选择的基准图像如图12所示，将基准图像与算法中的test.py文件放入同一文件夹，随后通过嵌入式设备中连接的摄像头采集静脉的RGB图像，采集的图像会自动保存在算法的data文件夹，使用Python3运行test.py后即可在result文件夹中获取到对应的类NIR图像。

经过对比多组图像在嵌入式设备上可以得到与在深度学习服务器端同样的结果，在嵌入式设备上实现的算法可以完整实现同样的功能，图14、图15、图16是嵌入式设备上的结果实例，与在服务器端获得的是完全一致的。

本发明提供了一种基于深度学习的静脉显像方法和装置，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (3)

1.一种基于深度学习的静脉显像方法，其特征在于，包括如下步骤：

步骤1，对包含静脉数据的图像进行数据增强；

步骤2，建立深度学习的网络模型，设计训练方案，对网络模型进行训练，得到训练好的模型；

步骤3，采集测试图像，消除色差后输入到训练好的模型中，得到输出结果；

步骤1包括如下步骤：

步骤1-1，从静脉数据库读取到包含静脉数据的RGB图像，通过公式(1)得到图像亮度Y，通过公式(2)、(3)得到色度偏红U和偏紫V：

Y＝0.299*r+0.587*g+0.114*b(1)

U＝0.1687*r-0.3313*g+0.5*b+128(2)

V＝0.5*r-0.4187*g-0.0813*b+128(3)

其中，r表示包含静脉数据的RGB图像的红色通道分量，g表示包含静脉数据的RGB图像的绿色通道分量，b表示包含静脉数据的RGB图像的蓝色通道分量；

由公式(4)通过随机r值达到随机色度和饱和度的效果：

其中r范围为(0，5)；

步骤1-2，对于包含静脉数据的RGB图像，同时进行水平镜像、垂直镜像以及围绕图像中心随机旋转操作，并进行仿射变换；

步骤1-3，将数据库中的所有图像中心处用256*256的矩形框截取图像，获得相应的手臂块图像；

步骤1-2中，通过如下公式得到仿射变换：

其中，

center.x、center.y分别为原图像旋转中心的x坐标和y坐标，scale为各向同性比例因子，θ为旋转角度；

步骤2包括：

步骤2-1，使用卷积神经网络来构建特征提取器，特征提取器依次使用了1个7*7的卷积层以及32个3*3的卷积层，从第一个3*3的卷积层开始，将每两个卷积层之间构建一个额外的连接，通过这个结构将输入值与正常卷积操作值做差，在训练中将差值作为训练目标；

步骤2-2，在特征提取器后添加一个空洞卷积模块，空洞卷积模块包括四个空洞卷积层以及四个线性整流函数ReLU层作为激活函数，每个空洞卷积层后连接一个ReLU层；

步骤2-3，在空洞卷积模块后添加一个转置卷积层，转置卷积作为解码器来输出所需要的图像，并且使用Sigmoid作为激活函数来优化模型；

步骤2-4，训练模型时，使用的是经过步骤1-1和1-2处理后的同帧的N对RGB-NIR手臂图像以及步骤1-3剪切过的N对手臂块图像，随机选取其中80％的图像作为训练集，20％的数据作为测试集；

步骤2-5，在训练模型前确定初始的学习率lr，训练的轮数epoch，批大小bitchsize，并设计随轮数更改的学习率变化函数，其中训练中参数调整方法使用随机权重平均方法；

步骤2-6，设计基于图像梯度融合的均方差损失函数来衡量模型的效果，得到效果最好的模型；

步骤2-3中，所述激活函数sigmoid为：

其中x为输入矩阵，S(x)为对应的输出矩阵，S′(x)为S(x)的一阶导数；

步骤2-5中，学习率的变化函数lr为：

其中，x为初始学习率，y为当前训练轮数，z为训练总轮数；

步骤2-6中，首先将训练图像分解为横、纵两个方向梯度函数g(x)，g(y)，并在训练中依次计算均方误差损失，最后取平均作为损失函数，所述损失函数为：

其中，loss为损失函数，l(x)，l(y)分别为在x方向以及y方向梯度函数的均方误差损失；

步骤3包括：

步骤3-1，选取基准图像，将其进行通道分离，分别分离出基于红色，绿色，蓝色的三张单通道图像，并分别进行直方图均衡化，分别得到每个像素z和累积分布T(z)；

步骤3-2，将用于静脉显像的测试图像进行如步骤3-1同样的操作，得到每个像素s和累积分布G(s)，并分别与基准图像的对应通道的图像做差，然后根据差值的绝对值建立灰度级的映射，对于每一个G(s)，设定其像素值为ss，找到在T(z)中与其差值最小的那个T(z)值，设定对应的像素值为zz，把ss变换为zz；

步骤3-3，将进行过色差消除的图像输入到训练好的模型里，得到输出结果。

2.一种基于深度学习的静脉显像装置，其特征在于，所述装置为嵌入式设备，所述嵌入式设备中存储有计算机程序指令，所述计算机程序指令在被所述嵌入式设备运行时使得所述嵌入式设备执行如权利要求1所述的基于深度学习的静脉显像方法。

3.根据权利要求2所述的一种基于深度学习的静脉显像装置，其特征在于，所述嵌入式设备连接摄像头，并通过摄像头采集待处理的图像。

Images