CN111666813B - 基于非局部信息的三维卷积神经网络的皮下汗腺提取方法 - Google Patents

基于非局部信息的三维卷积神经网络的皮下汗腺提取方法 Download PDF

Info

Publication number
CN111666813B
CN111666813B CN202010356352.6A CN202010356352A CN111666813B CN 111666813 B CN111666813 B CN 111666813B CN 202010356352 A CN202010356352 A CN 202010356352A CN 111666813 B CN111666813 B CN 111666813B
Authority
CN
China
Prior art keywords
size
image
convolution
neural network
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010356352.6A
Other languages
English (en)
Other versions
CN111666813A (zh
Inventor
王海霞
王如欣
刘义鹏
陈朋
梁荣华
张怡龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN202010356352.6A priority Critical patent/CN111666813B/zh
Publication of CN111666813A publication Critical patent/CN111666813A/zh
Application granted granted Critical
Publication of CN111666813B publication Critical patent/CN111666813B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1347—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/60—Rotation of a whole image or part thereof
    • G06T3/604—Rotation of a whole image or part thereof using a CORDIC [COordinate Rotation Digital Compute] device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/14—Vascular patterns
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Abstract

一种基于非局部信息的三维卷积神经网络的皮下汗腺提取方法，包括如下步骤：1)利用归一化算法图像增强后，通过截取局部数据和数据旋转进行数据增广；2)通过添加Non_local模块构建基于非局部信息的三维卷积神经网络模型，损失函数采用Dice损失函数；3)将步骤一获取的训练集输入神经网络进行训练；4)利用汗腺体的大小的一定规律和汗腺体上下端的位置偏差不会太大的特性从初步的三维汗腺体图像中筛选并去除伪汗腺体。本发明充分利用指纹切片之间的像素相关性，利用非局部的信息来增加信息量，增强汗腺体信息，提高了指汗腺体检测的准确率。

Description

基于非局部信息的三维卷积神经网络的皮下汗腺提取方法
技术领域
本发明涉及指纹识别领域，特别涉及一种基于非局部三维卷积神经网络的皮下汗腺提取方法。
背景技术
指纹识别技术作为目前应用最为广泛，技术最为成熟的生物识别技术，提高指纹识别的准确率是具有重大意义的。
汗孔在指纹识别领域具有非常重要的地位，汗孔技能帮助残缺指纹的脊线重建，帮助进行指纹活性检测以及作为三级特征可以进行指纹识别。表皮汗孔在光学采集设备中并不能很好的采集得到，而且很容易受到手指表皮污渍的影响。
光学相干断层扫描(optical coherence tomography，OCT)技术的发展可以获取高分辨率三维指纹图像，包括表皮，以及皮下的真皮信息和汗腺层信息。在生物依据上，表皮汗孔是皮下汗腺体在表皮上的口，而且在采集的过程中不会由于手指表皮有污渍或者表皮损伤而有所影响。因此对于皮下汗腺体的提取是非常有必要的。
皮下汗腺体的提取技术是使用汗腺体进行生物特征识别的关键一步，本专利提出一种基于非局部信息的三维卷积神经网络进行皮下汗腺提取方法。
发明内容
为了确保皮下汗腺提取的准确度，本发明提出了一种基于非局部信息的三维卷积神经网络的提取方法，通过三维全卷积神经网络来学习提取形态大小各异的皮下汗腺体的特征，从而提高皮下汗腺体提取的正确率。
为了实现上述目的，本发明采用的技术方案为：
一种基于非局部信息的三维卷积神经网络的皮下汗腺提取方法，包括如下步骤：
1)获取采集W*H分辨率的OCT指纹切片图，对每张指纹切片图进行汗腺手工标注，将OCT上扫描连续的N张的指纹切片图整合成W*H*N分辨率的三维数据，经过图像增强，数据量增广后作为网络训练数据集；
2)构建基于非局部信息的三维卷积神经网络模型，设定训练参数和损失函数，使用标注好的数据集训练神经网络的模型，得到训练好的三维卷积神经网络模型；
3)通过训练好的三维卷积神经网络预测测试集中的三维OCT指纹，初步得到三维皮下汗腺体图像。
4)利用汗腺体的大小的一定规律和汗腺体只存在于汗腺层，因而汗腺体上下端的位置偏差不会太大的特性从初步的三维汗腺体图像中筛选并去除伪汗腺体。
进一步，所述步骤1)中，指纹数据图像增强和增广过程中包括如下步骤：
(11)图像增强：将三维OCT指纹图像I进行归一化操作，归一化操作形式如下：
Figure SMS_1
其中I代表指纹图像，图像分辨率为W*H*N，I(x,y,z)表示三维数据的坐标为(x,y,z)的像素的灰度值，min(I)和max(I)代表指纹图像矩阵中像素灰度值的最小值和最大值，I*代表归一化后的指纹图像。
(12)从增强后的三维数据中，从(0,0,0)位置开始，步长为50像素，依次截取100*100*100的指纹数据
(13)将100*100*100的指纹图像绕y轴旋转90度，180度，270度得到新的三维指纹图像。
再进一步，所述步骤2)包括如下步骤：
(21)构建一个基于非局部信息的三维卷积神经网络模型，整个神经网络模型的层包括七个部分：
第一部分由三个卷积层组成，前两个卷积层均由16个大小为5*5*5，步长为1的卷积核和RELU激活函数组成，第三个卷积层由16个大小为2*2*2，步长为2的卷积核和RELU激活函数组成。输入特征的大小为100*100*100*1，经过前两个卷积层处理后，输出特征大小为100*100*100*16；经过第三个卷积层处理，输出特征大小为50*50*50*16；
第二部分为了计算像素之间的相似性，获得非局部信息，由softmax函数一个残差层组成，输入特征大小为50*50*50*16，经过reshape处理后变成大小为125000*16，将reshape得到的125000*16的图像与转置后大小为16*125000进行乘运算得到图像大小为125000*125000，然后经过softmax函数处理得到图像大小为125000*125000，将此时得到的图像与reshape得到的图像进行乘运算得到图像大小为125000*16，最后经过reshape处理得到大小为50*50*50*16，与最初输入图像经过残差处理后，输出特征大小为50*50*50*16；非局部处理运算公式如下：
I*＝reshape(softmax(xxT)x)+I (2)
其中I是该层输入的50*50*50*16的特征图，I*是该层输出的50*50*50*16的特征图，x是特征图I经过reshape处理后的125000*16的特征图，softmax(xxT)计算像素点p与特征图中所有像素点q之间的关系值，将每个关系值与所有关系值的和相除作为新的关系值，将关系值作为权值与相应的像素点q的灰度值加权平均作为像素点p处的灰度值。
第三部分由三个卷积层组成，前两个卷积层均由32个大小为5*5*5，步长为1的卷积核和RELU激活函数组成，第三个卷积层由32个大小为2*2*2，步长为2的卷积核和RELU激活函数组成。输入特征的大小为50*50*50*16，经过前两个卷积层处理后，输出特征大小为50*50*50*32；经过第三个卷积层和处理，输出特征大小为25*25*25*32；
第四部分由两个卷积和一个反卷积层组成，前两个卷积层均由64个大小为5*5*5，步长为1的卷积核和RELU激活函数组成，第三个反卷积层由32个大小为2*2*2，步长为2的反卷积核和RELU激活函数组成，输入特征的大小为25*25*25*32，经过前两个卷积层处理后，输出特征大小为25*25*25*64；经过第三个反卷积层处理，输出特征大小为50*50*50*32；
第五部分由两个卷积层和一个反卷积层组成，前两个卷积层均由32个大小为5*5*5，步长为1的卷积核和RELU激活函数组成，第三个反卷积层由16个大小为2*2*2，步长为2的反卷积核和RELU激活函数组成。输入特征的大小为50*50*50*32，经过前两个卷积层处理后，输出特征大小为50*50*32；经过第三个反卷积层处理，输出特征大小为100*100*100*16；
第六部分由两个卷积层，前两个卷积层均由16个大小为5*5*5，步长为1的卷积核和RELU激活函数组成，输入特征的大小为100*100*100*16，经过两个卷积层处理后，输出特征大小为100*100*100*16；
第七部分由一个卷积层和softmax函数组成，卷积层由100个大小为1*1*1，步长为1的卷积核和RELU激活函数组成。输入特征大小为100*100*100*16，，经过卷积层和softmax函数处理后，输出特征大小为100*100*100*1，输出的特征包括2类：汗腺体类和背景类；
(22)确定三维卷积神经网络的参数，将训练集中的图片载入三维卷积神经网络模型进行训练。
所述步骤(22)中，损失函数使用Dice损失函数，Dice损失函数的值越大，则分割准确度越高，Dice损失函数公式如下：
Figure SMS_2
其中：N表示体素块的体素数量；pi表示网络预测结果；gi表示对应体素真实标记。
进一步，所述步骤3)的过程如下：
为了配合训练好的全卷积神经网络的输入图片尺寸，设立一个大小为100*100*100的窗口以步长为50依次截取预测的图像大小为H*W*N的三维图像数据，得到一系列子图片，将子图片输入到训练好的卷积神经网络中，输出汗腺体像素概率图P，其中P中的每一个像素点的取值范围为0～1，代表了该像素点是否为汗腺体像素的概率；将100*100*100大小的预测结果图P重新弄拼接成H*W*N的图像数据；
所述步骤4)的过程如下：
利用连通域方法，获取一个标定数据中所有汗腺体的平均体积(像素个数)V_average，去除汗腺体体积(像素个数)与平均V_average差大于阈值V_thr的汗腺体，以及获取剩下所有汗腺体顶端像素的y坐标的平均y_average，去除y坐标与y_average差大于阈值D_thr的汗腺体，最后剩下的就是真实汗腺体。
与现有技术相比，本发明的有益效果表现在：通过基于非局部信息的三维卷积神经网络，可以在充分利用指纹切片之间的像素相关性，利用全局信息来增加信息量，增强汗腺体信息，提高了指汗腺体检测的准确率。
附图说明
图1是本发明算法的流程图；
图2是本发明中三维卷积神经网络结构图。
具体实施方式
下面结合附图和实施方式对本发明作进一步说明：
参见图1和图2，一种基于全卷积神经网络的指纹汗孔提取方法，包括如下步骤：
1)获取OCT指纹切片图，尺寸为1800*500，对汗腺手工标注，将未标注前的原始数据和标注后的各500张二维数据叠合成三维数据，尺寸为1800*500*500，经过图像增强，数据量增广后作为网络训练数据集；指纹数据图像增强和增广过程中包括如下步骤：
(11)图像增强：将三维OCT指纹图像I进行归一化操作，归一化操作形式如下：
Figure SMS_3
其中代表指纹图像，I(x,y,z)表示三维数据的坐标为(x,y,z)的像素的灰度值，min(I)和max(I)代表指纹图像矩阵中像素灰度值的最小值和最大值，I*代表归一化后的指纹图像；
(12)从增强后的三维数据中，从(0,0,0)位置开始，步长为50像素，依次截取100*100*100的指纹数据；
(13)将100*100*100的指纹图像绕y轴旋转90度，180度，270度得到新的三维指纹图像；
2)参见图2，构建基于非局部信息的三维卷积神经网络模型，设定训练参数和损失函数，使用标注好的数据集训练神经网络的模型，得到训练好的三维卷积神经网络模型；包括如下步骤：
(21)构建一个基于非局部信息的三维卷积神经网络模型，整个神经网络模型的层包括七个部分：
第一部分由三个卷积层组成，前两个卷积层均由16个大小为5*5*5，步长为1的卷积核和RELU激活函数组成，第三个卷积层由16个大小为2*2*2，步长为2的卷积核和RELU激活函数组成。输入特征的大小为100*100*100*1，经过前两个卷积层处理后，输出特征大小为100*100*100*16；经过第三个卷积层处理，输出特征大小为50*50*50*16；
第二部分为了计算像素之间的相似性，获得非局部信息，由softmax函数一个残差层组成，输入特征大小为50*50*50*16，经过reshape处理后变成大小为125000*16，将reshape得到的125000*16的图像与转置后大小为16*125000进行乘运算得到图像大小为125000*125000，然后经过softmax函数处理得到图像大小为125000*125000，将此时得到的图像与reshape得到的图像进行乘运算得到图像大小为125000*16，最后经过reshape处理得到大小为50*50*50*16，与最初输入图像经过残差处理后，输出特征大小为50*50*50*16；非局部处理运算公式如下：
I*＝reshape(softmax(xxT)x)+I (5)
其中I是该层输入的50*50*50*16的特征图，I*是该层输出的50*50*50*16的特征图，x是特征图I经过reshape处理后的125000*16的特征图，softmax(xxT)计算像素点p与特征图中所有像素点q之间的关系值，将每个关系值与所有关系值的和相除作为新的关系值，将关系值作为权值与相应的像素点q的灰度值加权平均作为像素点p处的灰度值。
第三部分由三个卷积层组成，前两个卷积层均由32个大小为5*5*5，步长为1的卷积核和RELU激活函数组成，第三个卷积层由32个大小为2*2*2，步长为2的卷积核和RELU激活函数组成。输入特征的大小为50*50*50*16，经过前两个卷积层处理后，输出特征大小为50*50*50*32；经过第三个卷积层和处理，输出特征大小为25*25*25*32；
第四部分由两个卷积和一个反卷积层组成，前两个卷积层均由64个大小为5*5*5，步长为1的卷积核和RELU激活函数组成，第三个反卷积层由32个大小为2*2*2，步长为2的反卷积核和RELU激活函数组成，输入特征的大小为25*25*25*32，经过前两个卷积层处理后，输出特征大小为25*25*25*64；经过第三个反卷积层处理，输出特征大小为50*50*50*32；
第五部分由两个卷积层和一个反卷积层组成，前两个卷积层均由32个大小为5*5*5，步长为1的卷积核和RELU激活函数组成，第三个反卷积层由16个大小为2*2*2，步长为2的反卷积核和RELU激活函数组成，输入特征的大小为50*50*50*32，经过前两个卷积层处理后，输出特征大小为50*50*32；经过第三个反卷积层处理，输出特征大小为100*100*100*16；
第六部分由两个卷积层，前两个卷积层均由16个大小为5*5*5，步长为1的卷积核和RELU激活函数组成，输入特征的大小为100*100*50*16，经过两个卷积层处理后，输出特征大小为100*100*100*16；
第七部分由一个卷积层和softmax函数组成，卷积层由100个大小为1*1*1，步长为1的卷积核和RELU激活函数组成。输入特征大小为100*100*100*16，，经过卷积层和softmax函数处理后，输出特征大小为100*100*100*1，输出的特征包括2类：汗腺体类和背景类；
(22)确定三维卷积神经网络的参数，将训练集中的图片载入三维卷积神经网络模型进行训练。
所述步骤(22)中，损失函数使用Dice损失函数，Dice损失函数的值越大，则分割准确度越高，Dice损失函数公式如下：
Figure SMS_4
其中：N表示体素块的体素数量；pi表示网络预测结果；gi表示对应体素真实标记；
3)通过训练好的三维卷积神经网络预测测试集中的三维OCT指纹，初步得到三维皮下汗腺体图像；包括如下步骤：
(31)为了配合训练好的全卷积神经网络的输入图片尺寸，设立一个大小为100*100*100的窗口以步长为50依次截取预测的图像大小为1800*500*500的三维图像数据，得到一系列子图片，将子图片输入到训练好的卷积神经网络中，输出汗腺体像素概率图P，其中P中的每一个像素点的取值范围为0～1，代表了该像素点是否为汗腺体像素的概率；将100*100*100大小的预测结果图P重新弄拼接成1800*500*500的图像数据；
4)利用汗腺体的大小的一定规律和汗腺体只存在于汗腺层，因而汗腺体顶端的位置偏差不会太大的特性从初步的三维汗腺体图像中筛选并去除伪汗腺体，过程如下：
利用连通域方法，获取一个标定数据中所有汗腺体的平均体积(像素个数)V_average，去除汗腺体体积(像素个数)与平均V_average差大于阈值V_thr的汗腺体，以及获取剩下所有汗腺体顶端像素的y坐标的平均y_average，去除y坐标与y_average差大于阈值D_thr的汗腺体，最后剩下的就是真实汗腺体。

Claims (4)

1.一种基于非局部信息的三维卷积神经网络的皮下汗腺提取方法，其特征在于，所述方法包括如下步骤：
1)获取采集的分辨率为W*H的OCT指纹切片图，对每张指纹切片图进行汗腺手工标注，将OCT上扫描连续的N张的指纹切片图整合成W*H*N的三维数据，经过图像增强，数据量增广后作为网络训练数据集；
2)构建基于非局部信息的三维卷积神经网络模型，设定训练参数和损失函数，使用标注好的数据集训练神经网络的模型，得到训练好的三维卷积神经网络模型；
3)通过训练好的三维卷积神经网络预测测试集中的三维OCT指纹，初步得到三维皮下汗腺体图像；
4)利用汗腺体的大小的一定规律和汗腺体只存在于汗腺层，因而汗腺体上下端的位置偏差不会太大的特性从初步的三维汗腺体图像中筛选并去除伪汗腺体；
所述步骤2)包括如下步骤：
(21)构建一个基于非局部信息的三维卷积神经网络模型，整个神经网络模型的层包括七个部分：
第一部分由三个卷积层组成，前两个卷积层均由16个大小为5*5*5，步长为1的卷积核和RELU激活函数组成，第三个卷积层由16个大小为2*2*2，步长为2的卷积核和RELU激活函数组成，输入特征的大小为100*100*100*1，经过前两个卷积层处理后，输出特征大小为100*100*100*16；经过第三个卷积层处理，输出特征大小为50*50*50*16；
第二部分为了计算像素之间的相似性，获得非局部信息，由softmax函数一个残差层组成，输入特征大小为50*50*50*16，经过reshape处理后变成大小为125000*16，将reshape得到的125000*16的图像与转置后大小为16*125000进行乘运算得到图像大小为125000*125000，然后经过softmax函数处理得到图像大小为125000*125000，将此时得到的图像与reshape得到的图像进行乘运算得到图像大小为125000*16，最后经过reshape处理得到大小为50*50*50*16，与最初输入图像经过残差处理后，输出特征大小为50*50*50*16；非局部处理运算公式如下：
I*＝reshape(softmax(xxT)x)+I (2)
其中I是该层输入的50*50*50*16的特征图，I*是该层输出的50*50*50*16的特征图，x是特征图I经过reshape处理后的125000*16的特征图，softmax(xxT)计算像素点p与特征图中所有像素点q之间的关系值，将每个关系值与所有关系值的和相除作为新的关系值，将关系值作为权值与相应的像素点q的灰度值加权平均作为像素点p处的灰度值；
第三部分由三个卷积层组成，前两个卷积层均由32个大小为5*5*5，步长为1的卷积核和RELU激活函数组成，第三个卷积层由32个大小为2*2*2，步长为2的卷积核和RELU激活函数组成，输入特征的大小为50*50*50*16，经过前两个卷积层处理后，输出特征大小为50*50*50*32；经过第三个卷积层和处理，输出特征大小为25*25*25*32；
第四部分由两个卷积和一个反卷积层组成，前两个卷积层均由64个大小为5*5*5，步长为1的卷积核和RELU激活函数组成，第三个反卷积层由32个大小为2*2*2，步长为2的反卷积核和RELU激活函数组成，输入特征的大小为25*25*25*32，经过前两个卷积层处理后，输出特征大小为25*25*25*64；经过第三个反卷积层处理，输出特征大小为50*50*50*32；
第五部分由两个卷积层和一个反卷积层组成，前两个卷积层均由32个大小为5*5*5，步长为1的卷积核和RELU激活函数组成，第三个反卷积层由16个大小为2*2*2，步长为2的反卷积核和RELU激活函数组成，输入特征的大小为50*50*50*32，经过前两个卷积层处理后，输出特征大小为50*50*32；经过第三个反卷积层处理，输出特征大小为100*100*100*16；
第六部分由两个卷积层，前两个卷积层均由16个大小为5*5*5，步长为1的卷积核和RELU激活函数组成，输入特征的大小为100*100*50*16，经过两个卷积层处理后，输出特征大小为100*100*100*16；
第七部分由一个卷积层和softmax函数组成，卷积层由100个大小为1*1*1，步长为1的卷积核和RELU激活函数组成，输入特征大小为100*100*100*16，经过卷积层和softmax函数处理后，输出特征大小为100*100*100*1，输出的特征包括2类：汗腺体类和背景类；
(22)确定三维卷积神经网络的参数，将训练集中的图片载入三维卷积神经网络模型进行训练；
所述步骤(22)中，损失函数使用Dice损失函数，Dice损失函数的值越大，则分割准确度越高，Dice损失函数公式如下：
Figure FDA0004131295320000021
其中：N表示体素块的体素数量；pi表示网络预测结果；gi表示对应体素真实标记。
2.如权利要求1所述的一种基于非局部信息的三维卷积神经网络的皮下汗腺提取方法，其特征在于，所述步骤1)中，指纹数据图像增强和增广过程中包括如下步骤：
(11)图像增强：将三维OCT指纹图像I进行归一化操作，归一化操作形式如下：
Figure FDA0004131295320000022
其中I代表指纹图像,图像分辨率为W*H*N，I(x,y,z)表示三维数据的坐标为(x,y,z)的像素的灰度值，min(I)和max(I)代表指纹图像矩阵中像素灰度值的最小值和最大值，I*代表归一化后的指纹图像；
(12)从增强后的三维数据中，从(0,0,0)位置开始，步长为50像素，依次截取100*100*100的指纹数据；
(13)将100*100*100的指纹图像绕y轴旋转90度，180度，270度得到新的三维指纹图像。
3.如权利要求1或2所述的一种基于非局部信息的三维卷积神经网络的皮下汗腺提取方法，其特征在于，所述步骤3)的过程如下：
为了配合训练好的全卷积神经网络的输入图片尺寸，设立一个大小为100*100*100的窗口以步长为50依次截取预测的图像大小为W*H*N的三维图像数据，得到一系列子图片，将子图片输入到训练好的卷积神经网络中，输出汗腺体像素概率图P，其中P中的每一个像素点的取值范围为0～1，代表了该像素点是否为汗腺体像素的概率；将100*100*100大小的预测结果图P重新弄拼接成W*H*N的图像数据。
4.如权利要求1或2所述的一种基于非局部信息的三维卷积神经网络的皮下汗腺提取方法，其特征在于，所述步骤4)的过程如下：
利用连通域方法，获取一个标定数据中所有汗腺体的平均体积(像素个数)V_average，去除汗腺体体积(像素个数)与平均V_average差大于阈值V_thr的汗腺体，以及获取剩下所有汗腺体顶端像素的y坐标的平均y_average，去除y坐标与y_average差大于阈值D_thr的汗腺体，最后剩下的就是真实汗腺体。
CN202010356352.6A 2020-04-29 2020-04-29 基于非局部信息的三维卷积神经网络的皮下汗腺提取方法 Active CN111666813B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010356352.6A CN111666813B (zh) 2020-04-29 2020-04-29 基于非局部信息的三维卷积神经网络的皮下汗腺提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010356352.6A CN111666813B (zh) 2020-04-29 2020-04-29 基于非局部信息的三维卷积神经网络的皮下汗腺提取方法

Publications (2)

Publication Number Publication Date
CN111666813A CN111666813A (zh) 2020-09-15
CN111666813B true CN111666813B (zh) 2023-06-30

Family

ID=72383114

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010356352.6A Active CN111666813B (zh) 2020-04-29 2020-04-29 基于非局部信息的三维卷积神经网络的皮下汗腺提取方法

Country Status (1)

Country Link
CN (1) CN111666813B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112541909B (zh) * 2020-12-22 2022-05-17 南开大学 基于切片感知的三维神经网络的肺结节探测方法及系统
CN113627468A (zh) * 2021-07-01 2021-11-09 浙江安防职业技术学院 基于无监督学习的非局部神经网络图像处理方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107480649A (zh) * 2017-08-24 2017-12-15 浙江工业大学 一种基于全卷积神经网络的指纹汗孔提取方法
CN110298804A (zh) * 2019-07-01 2019-10-01 东北大学 一种基于生成对抗网络和3d残差编码解码的医学图像降噪方法
CN110334566A (zh) * 2019-03-22 2019-10-15 浙江工业大学 一种基于三维全卷积神经网络的oct内外指纹提取方法
CN110826462A (zh) * 2019-10-31 2020-02-21 上海海事大学 一种非局部双流卷积神经网络模型的人体行为识别方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10475165B2 (en) * 2017-04-06 2019-11-12 Disney Enterprises, Inc. Kernel-predicting convolutional neural networks for denoising
US11562243B2 (en) * 2017-11-17 2023-01-24 Meta Platforms, Inc. Machine-learning models based on non-local neural networks

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107480649A (zh) * 2017-08-24 2017-12-15 浙江工业大学 一种基于全卷积神经网络的指纹汗孔提取方法
CN110334566A (zh) * 2019-03-22 2019-10-15 浙江工业大学 一种基于三维全卷积神经网络的oct内外指纹提取方法
CN110298804A (zh) * 2019-07-01 2019-10-01 东北大学 一种基于生成对抗网络和3d残差编码解码的医学图像降噪方法
CN110826462A (zh) * 2019-10-31 2020-02-21 上海海事大学 一种非局部双流卷积神经网络模型的人体行为识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Haixia Wang, Xicheng Yang, Peng Chen, Baojin Ding, Ronghua Liang, Yipeng Liua.Acquisition and extraction of surface and internal fingerprints from optical coherence tomography through 3D fully convolutional network.《OPTIK》.2020,全文. *
王涛 ; 纪则轩 ; 孙权森 ; .结合非局部信息与图割的图像分割算法.计算机辅助设计与图形学学报.2015,(05),全文. *

Also Published As

Publication number Publication date
CN111666813A (zh) 2020-09-15

Similar Documents

Publication Publication Date Title
CN108664996B (zh) 一种基于深度学习的古文字识别方法及系统
Nakamura et al. Scene text eraser
US20220092882A1 (en) Living body detection method based on facial recognition, and electronic device and storage medium
CN110738207A (zh) 一种融合文字图像中文字区域边缘信息的文字检测方法
CN109815850A (zh) 基于深度学习的虹膜图像分割及定位方法、系统、装置
CN105825183B (zh) 基于部分遮挡图像的人脸表情识别方法
CN109035172B (zh) 一种基于深度学习的非局部均值超声图像去噪方法
CN112001302B (zh) 基于人脸感兴趣区域分割的人脸识别方法
CN109299303B (zh) 基于可变形卷积与深度网络的手绘草图检索方法
CN104077742B (zh) 基于Gabor特征的人脸素描合成方法及系统
CN113011253B (zh) 基于ResNeXt网络的人脸表情识别方法、装置、设备及存储介质
CN110334566B (zh) 一种基于三维全卷积神经网络的oct内外指纹提取方法
CN112437926A (zh) 使用前馈卷积神经网络的快速鲁棒摩擦脊印痕细节提取
CN111666813B (zh) 基于非局部信息的三维卷积神经网络的皮下汗腺提取方法
CN113095156B (zh) 一种基于逆灰度方式的双流网络签名鉴定方法及装置
CN113920516B (zh) 一种基于孪生神经网络的书法字骨架匹配方法及系统
CN112001362A (zh) 一种图像分析方法、图像分析装置及图像分析系统
CN111340758A (zh) 一种基于深度神经网络的高效虹膜图像质量评价新方法
CN111951283A (zh) 一种基于深度学习的医学图像识别方法及系统
Zhang Facial expression recognition in VGG network based on LBP feature extraction
CN116798041A (zh) 图像识别方法、装置和电子设备
CN116229528A (zh) 一种活体掌静脉检测方法、装置、设备及存储介质
CN112733670B (zh) 指纹特征提取方法、装置、电子设备及存储介质
CN114445691A (zh) 模型训练方法、装置、电子设备及存储介质
CN113012167A (zh) 一种细胞核与细胞质的联合分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant