CN111178174A - 基于深度卷积神经网络的尿液有形成分图像识别方法 - Google Patents

基于深度卷积神经网络的尿液有形成分图像识别方法 Download PDF

Info

Publication number
CN111178174A
CN111178174A CN201911288549.4A CN201911288549A CN111178174A CN 111178174 A CN111178174 A CN 111178174A CN 201911288549 A CN201911288549 A CN 201911288549A CN 111178174 A CN111178174 A CN 111178174A
Authority
CN
China
Prior art keywords
image
neural network
convolutional neural
deep convolutional
pixel points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911288549.4A
Other languages
English (en)
Other versions
CN111178174B (zh
Inventor
汪晓萍
秦丰
沈继楠
钱榴源
丁春旭
方红英
吴兰
季炜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meikang Shengde Medical Technology Suzhou Co Ltd
Original Assignee
Meikang Shengde Medical Technology Suzhou Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Meikang Shengde Medical Technology Suzhou Co Ltd filed Critical Meikang Shengde Medical Technology Suzhou Co Ltd
Priority to CN201911288549.4A priority Critical patent/CN111178174B/zh
Publication of CN111178174A publication Critical patent/CN111178174A/zh
Application granted granted Critical
Publication of CN111178174B publication Critical patent/CN111178174B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像处理技术领域，提供一种基于深度卷积神经网络的尿液有形成分图像识别方法，包括五个步骤：将图像的大小缩放至64×64像素；将图像中所有像素点的灰度值归一化至0～1之间；计算图像中所有像素点灰度值的平均值；将图像中所有像素点的灰度值减去其平均值；将图像平均换分为16个子图像，每个子图像的大小为16×16像素，将得到的16个子图像视作16个通道，一并作为输入层，输入本发明的深度卷积神经网络模型中进行训练或识别。本发明提出的模型架构大量使用了Depthwise卷积，大大提高模型的并行性，加快了推理速度，而且模型的参数量大，识别准确率高，同时模型的计算量小，所需的内存量较小，运行成本低。

Description

基于深度卷积神经网络的尿液有形成分图像识别方法
技术领域
本发明涉及图像处理技术领域，更确切地说涉及一种基于深度卷积神经网络的尿液有形成分图像识别方法。
背景技术
尿液中的有形成分分为有机成分和无机成分两大类，有机成分具有明确的病理意义，如细胞、管形、寄生虫等具有明确的诊断价值；无机成分为生理性排出的成分，如各种生理性结晶、上皮细胞等，这些成分在某些情况下具有辅助诊断价值。随着计算机视觉技术的进步，已有一些方法可以基于尿液等体液中的有形成分图像对有形成分进行自动识别，这些方法包括两大类：一类是利用人工设计图像特征，如纹理特征、形态特征、颜色特征等，并结合机器学习算法，如神经网络、支持向量机等，实现有形成分图像的自动识别；一类是通过“端到端”的方法实现有形成分图像的识别，如深度卷积神经网络。上述两类方法有各自的优缺点，第一类方法的优点是算法实现较为简单，缺点是人工设计的图像特征可能不会十分适合于所要解决的问题，不具备自适应性，且此类方法使用的识别模型通常为“浅层”模型，模型复杂度较低，无法较好应对种类复杂的有形成分图像。第二类方法属于“端到端”的方法，其优点是模型设计简单，自适应性强，且深度卷积神经网络的拟合能力强，能够较好地应对有形成分图像的复杂性，缺点是模型的计算量通常很高，为提高模型的计算速度，通常需要高性能的硬件支持，这使得此类方法的应用成本较高。
发明内容
本发明要解决的技术问题是，提供一种基于深度卷积神经网络的尿液有形成分图像识别方法，采用“端到端”的方法实现有形成分图像的识别，能根据训练集图像自动提取图像特征，识别准确率较高，模型的计算速度高，且模型的计算量较低，所需的内存量较小，运行成本低。
本发明的技术解决方案是，提供一种基于深度卷积神经网络的尿液有形成分图像识别方法，包括以下步骤：
1)将图像的大小缩放至64×64像素；
2)将图像中所有像素点的灰度值归一化至0～1之间；
3)计算图像中所有像素点灰度值的平均值；
4)将图像中所有像素点的灰度值减去步骤3)中计算得到的均值；
5)将图像平均划分为16个子图像，每个子图像的大小为16×16像素，将得到的16个子图像视作16个通道，一并作为输入层，输入深度卷积神经网络中进行训练或识别；
所述的深度卷积神经网络包括输入层、十层卷积层、二层非卷积层、输出层，具体结构如下：
Figure BDA0002314999260000021
其中，p表示被卷积图像外围0值填充圈数，s表示卷积核移动步幅。
与现有技术相比，本发明的基于深度卷积神经网络的尿液有形成分图像识别方法有以下优点：本发明提出的模型架构大量使用了Depthwise卷积，大大提高模型的并行性，加快了计算速度。
优选的，步骤1)采用最近邻插值法实现图像缩放至64×64像素。
优选的，步骤2)将所有像素点的灰度值除以255，使图像中所有像素点的灰度值归一化至0～1之间。
附图说明
图1为本发明的实施例中步骤5)子图像划分方式示意图。
图2为本发明的实施例中DepthWise卷积操作示意图。
图3为本发明的实施例中Bottleneck卷积操作示意图。
图4为尿液有形成分中被归类为红细胞的显微镜图像。
图5为尿液有形成分中被归类为白细胞的显微镜图像。
图6为尿液有形成分中被归类为鳞状上皮细胞的显微镜图像。
图7为尿液有形成分中被归类为病理管型的显微镜图像。
具体实施方式
为了更好得理解本申请，将参考附图对本申请的各个方面做出更详细的说明。应理解，这些详细说明只是对本申请的示例性实施方式的描述，而非以任何方式限制本申请的范围。
还应理解的是，用语“包含”“包括”、“具有”、“包含”、“包含有”，当在本说明书中使用时表示存在所述的特征、整体、步骤、操作、元件和/或部件，但不排除存在或附加有一个或多个其他特征、整体、步骤、操作、元件、部件和/或它们的组合。
下面以具体的实施例来说明本发明的基于深度卷积神经网络的尿液有形成分图像识别方法的各个步骤，并假设图像总共分为N个类别，则网络输出层将输出一个N维向量，向量中第i个元素的值表示该图像属于第i类的概率。如果图像属于第k类的概率最大，则算法最终将该图像判定为第k类。
本发明的基于深度卷积神经网络的尿液有形成分图像识别方法具体操作如下：
步骤1)采用最近邻插值法实现图像缩放，将图像的大小缩放至64×64像素。
步骤2)将所有像素点的灰度值除以255，使图像中所有像素点的灰度值的取值范围落在[0,1]范围内。令V(x,y)表示像素点(x，y)的灰度值，Vnew(x,y)表示归一化后的像素点(x，y)的灰度值，则有：Vnew(x,y)＝V(x,y)/255 (1)。
步骤3)计算图像中所有像素点的平均值。假设图像大小为m×n像素，所有像素点灰度值平均值为Vmean，则有：
Figure BDA0002314999260000031
步骤4)将图像中所有像素点的灰度值减去步骤3)中计算得到的均值，得到新的灰度值。像素点(x,y)经过步骤4)后得到的新灰度值为V′new(x,y)，则有：V′new(x,y)＝Vnew(x,y)-Vmean (3)。
步骤5)将图像平均换分为16个子图像，每个子图像的大小为16×16像素，将得到的16个子图像视作16个通道，一并作为输入层，输入本发明的深度卷积神经网络中进行训练或识别。子图像划分方式如图1所示。本发明的深度卷积神经网络包括输入层、十层卷积层、二层非卷积层、输出层，具体结构如下：
Figure BDA0002314999260000032
Figure BDA0002314999260000041
其中，p表示被卷积图像外围0值填充圈数，s表示卷积核移动步幅。
在本发明的深度卷积神经网络中，大小为3×3×16的卷积核数组表示卷积核大小为3×3像素，共16个这样的卷积核。此类卷积核用于DepthWise卷积操作中，DepthWise卷积操作如图2所示。在DepthWise卷积中，每个输入图像经过一次卷积后得到一张输出图像，因此，输出图像数量与输入图像数量相同。
在本发明的深度卷积神经网络中，大小为1×1×16×16的卷积核数组表示卷积核大小为1×1像素，共16(输入图像数量)×16(输出图像数量)＝256个卷积核。此类卷积核用于Bottleneck卷积，Bottleneck卷积操作示意图如图3所示。每张输入图像都经过16次(输出图像数量为16)卷积，得到一组输出图像，该组输出图像共包含16个通道，16张输入图像共得到16组输出图像，将所有组的输出图像按照通道ID求和，即将第i个通道的所有图像按点对点的方式加和。16个通道共得到16张加和图像，即16张输出图像。
在本发明的深度卷积神经网络中，16×16×16的输入特征图数组表示特征图大小为16×16，共16张特征图，其它输入特征图数组大小的含义依次类推。BatchNormalization操作指批归一化操作。卷积层的BatchNormalization操作方式如下：
对于第i个通道特征图中位置为(x,y)处的像素点，假设其像素点灰度值为V(x,y)i，经过BatchNormalization操作后的灰度值为Vnew(x,y)i，则有：
Figure BDA0002314999260000051
其中，ChannelMeani表示第i个通道的均值，ChannelVari表示第i个通道的方差，表ChannelBetai示第i个通道的常数项系数，该系数作为待定参数，通过训练确定。eps是一个很小的正数。ChannelMeani的计算方式如下：
Figure BDA0002314999260000052
其中，BatchNum表示算法训练过程中训练批次总数，
Figure BDA00023149992600000511
表示训练过程中，最后一次迭代第k个批次第i个通道的均值。
Figure BDA00023149992600000512
的计算方式如下：
Figure BDA0002314999260000053
其中，Batchsize表示每个批次包含的训练样本数量，m和n表示特征图的行数和列数，
Figure BDA00023149992600000513
表示第k个批次第Batchid个样本第i个通道特征图中位置(x,y)处的像素点灰度值。ChannelVari的计算方式如下：
Figure BDA0002314999260000054
其中，BatchNum表示算法训练过程中训练批次总数，
Figure BDA0002314999260000055
表示训练过程中，最后一次迭代第k个批次第i个通道的方差。
Figure BDA0002314999260000056
的计算方式如下：
Figure BDA0002314999260000057
其中，Batchsize表示每个批次包含的训练样本数量，m和n表示特征图的行数和列数，
Figure BDA0002314999260000058
表示第k个批次第Batchid个样本第i个通道特征图中位置(x,y)处的像素点灰度值。
Figure BDA0002314999260000059
表示训练过程中，最后一次迭代第k个批次第i个通道的均值。
在本发明的深度卷积神经网络中，FC层的BatchNormalization操作方式如下：
假设FC层第i个神经元在增加过偏置值后的结果为X(i)，经过BatchNormalization操作后得到的结果为Xnew(i)，则有：
Figure BDA00023149992600000510
其中，Meani表示第i个神经元对应的均值，Vari表示第i个神经元对应的方差，eps表示一个很小的正数，Betai表示常量系数，该系数作为待定参数，通过训练确定。Meani的计算方式如下：
Figure BDA0002314999260000061
其中，BatchNum表示算法训练过程中训练批次总数，
Figure BDA0002314999260000062
表示训练过程中，最后一次迭代第k个批次第i个通道的方差。
Figure BDA00023149992600000610
的计算方式如下：
Figure BDA0002314999260000063
其中，Batchsize表示每个批次包含的训练样本数量，X(i)Batchid表示第k个批次第Batchid个样本第i个神经元在增加过偏置值后的结果。
Vari的计算方式如下：
Figure BDA0002314999260000064
其中，BatchNum表示算法训练过程中训练批次总数，
Figure BDA0002314999260000065
表示训练过程中，最后一次迭代第k个批次第i个神经元对应的方差。
Figure BDA0002314999260000066
的计算方式如下：
Figure BDA0002314999260000067
其中，Batchsize表示每个批次包含的训练样本数量，X(i)Batchid表示第k个批次第Batchid个样本第i个神经元在增加过偏置后的结果。
在本发明的深度卷积神经网络中，激活函数ReLU表达式为：
Figure BDA0002314999260000068
在本发明的深度卷积神经网络中，Global Average层分别针对Conv1_1×1层16张特征图，Conv2_1×1层16张特征图，Conv3_1×1层16张特征图，Conv4_1×1层16张特征图，Conv5_1×1层16张特征图执行Global Average操作，得到16+16+16+16+16＝80个值，这80个值即Global Average层的80个神经元的输出值。Global Average操作如下：
Figure BDA0002314999260000069
其中，V(x,y)表示某一张特征图中位置(x,y)处的值，m和n表示特征图的行数和列数。Average表示Global Average操作的结果。
在本发明的深度卷积神经网络中，经过Global Average操作得到的80个神经元输出值被输入FC全连接层，经过BatchNormalization操作和ReLU激活函数，将得到500个神经元的输出，将该500个神经元的激活值输入到输出层，并经过Softmax激活函数将得到N维的输出向量。该N维的输出向量的每一维依次表示输入图像属于对应类别的概率。
本发明的基于深度卷积神经网络的尿液有形成分图像识别方法的模型训练采用Adam优化方法，学习速率设置为0.001，训练时，利用相同的训练数据集训练了5个具有上述架构的深度卷积网络模型。为提高模型的识别准确性，采用bagging策略提高模型的准确率，在识别时，将图像分别输入上述的5个模型中，得到5个N维的概率预测向量，记作V1,V2,V3,V4,V5。计算这5个向量的平均向量Vmean＝(V1+V2+V3+V4+V5)/5，并将Vmean作为最终的概率预测向量，图像最终被分类到概率值最高的类别中。图4至图7所示为运用本发明的基于深度卷积神经网络的尿液有形成分图像识别方法的结果分析示例，图4至图7中的图像分别被归类为红细胞、白细胞、鳞状上皮细胞、病理管型，识别结果完全准确。
在计算模型的参数量和计算量时，考虑到本发明的基于深度卷积神经网络的尿液有形成分图像识别方法的模型采用了bagging策略整合了5个并行运行的模型结果，因此，在计算模型的参数量和计算量时均需要乘5；另外，考虑到输出层类别数量会影响模型的参数量和计算量，而不同的分类问题其输出层类别数也不同，因此，在计算时采取保守策略，在计算本发明中的模型的参数量和计算量时暂时先不考虑和输出层有关的计算。本发明中的模型与Alexnet模型关于参数量和计算量的比较结果如下：
模型 参数量/个 浮点数计算量
Alexnet模型 约5600万 约720MFLOPS
本发明中的模型 约42000×5＝21万 约0.3×5＝1.5MFLOPS
由上述比较结果可以明显看出，一方面，本发明中的模型的参数量足有21万，且采用bagging策略整合了5个模型的结果，所以本发明中的模型拟合能力强，能够较好地应对有尿液有形成分图像的复杂性，本发明的基于深度卷积神经网络的尿液有形成分图像识别方法识别准确率高；另一方面，本发明中的模型的参数量和计算量远远小于Alexnet模型的计算量，应用本发明中的模型所需的内存量较小，对硬件的要求低，运行成本较低。

Claims (3)

1.一种基于深度卷积神经网络的尿液有形成分图像识别方法，其特征在于，包括以下步骤：
1)将图像的大小缩放至64×64像素；
2)将图像中所有像素点的灰度值归一化至0～1之间；
3)计算图像中所有像素点灰度值的平均值；
4)将图像中所有像素点的灰度值减去步骤3)中计算得到的均值；
5)将图像平均换分为16个子图像，每个子图像的大小为16×16像素，将得到的16个子图像视作16个通道，一并作为输入层，输入深度卷积神经网络中进行训练或识别；
所述的深度卷积神经网络包括输入层、十层卷积层、二层非卷积层、输出层，具体结构如下：
Figure FDA0002314999250000011
其中，p表示被卷积图像外围0值填充圈数，s表示卷积核移动步幅。
2.根据权利要求1所述的基于深度卷积神经网络的尿液有形成分图像识别方法，其特征在于，步骤1)采用最近邻插值法实现图像缩放至64×64像素。
3.根据权利要求1所述的基于深度卷积神经网络的尿液有形成分图像识别方法，其特征在于，步骤2)将所有像素点的灰度值除以255，使图像中所有像素点的灰度值归一化至0～1之间。
CN201911288549.4A 2019-12-12 2019-12-12 基于深度卷积神经网络的尿液有形成分图像识别方法 Active CN111178174B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911288549.4A CN111178174B (zh) 2019-12-12 2019-12-12 基于深度卷积神经网络的尿液有形成分图像识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911288549.4A CN111178174B (zh) 2019-12-12 2019-12-12 基于深度卷积神经网络的尿液有形成分图像识别方法

Publications (2)

Publication Number Publication Date
CN111178174A true CN111178174A (zh) 2020-05-19
CN111178174B CN111178174B (zh) 2023-10-31

Family

ID=70646321

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911288549.4A Active CN111178174B (zh) 2019-12-12 2019-12-12 基于深度卷积神经网络的尿液有形成分图像识别方法

Country Status (1)

Country Link
CN (1) CN111178174B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112580556A (zh) * 2020-12-25 2021-03-30 北京集创北方科技股份有限公司 一种光学指纹采集方法、装置、电子设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101713776A (zh) * 2009-11-13 2010-05-26 长春迪瑞实业有限公司 一种基于神经网络的尿液中有形成分识别分类方法
CN110473166A (zh) * 2019-07-09 2019-11-19 哈尔滨工程大学 一种基于改进Alexnet模型的尿液有形成分识别方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101713776A (zh) * 2009-11-13 2010-05-26 长春迪瑞实业有限公司 一种基于神经网络的尿液中有形成分识别分类方法
CN110473166A (zh) * 2019-07-09 2019-11-19 哈尔滨工程大学 一种基于改进Alexnet模型的尿液有形成分识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张琦等: "基于深度学习的图像识别技术研究综述" *
高媛等: "基于深度可分离卷积和宽残差网络的医学影像超分辨率重建" *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112580556A (zh) * 2020-12-25 2021-03-30 北京集创北方科技股份有限公司 一种光学指纹采集方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN111178174B (zh) 2023-10-31

Similar Documents

Publication Publication Date Title
CN112132817B (zh) 一种混合注意力机制的眼底图像视网膜血管分割方法
CN108717869B (zh) 基于卷积神经网络的糖尿病视网膜并发症诊断辅助系统
CN110309856A (zh) 图像分类方法、神经网络的训练方法及装置
WO2018052586A1 (en) Method and system for multi-scale cell image segmentation using multiple parallel convolutional neural networks
CN114494195B (zh) 用于眼底图像分类的小样本注意力机制并行孪生方法
CN112862792B (zh) 一种用于小样本图像数据集的小麦白粉病孢子分割方法
CN111860406A (zh) 基于区域混淆机制神经网络的血细胞显微图像分类方法
CN113205537B (zh) 基于深度学习的血管图像分割方法、装置、设备及介质
CN112232407B (zh) 病理图像样本的神经网络模型训练方法、装置
CN112750106A (zh) 一种基于非完备标记的深度学习的核染色细胞计数方法、计算机设备、存储介质
Yan et al. Monocular depth estimation with guidance of surface normal map
CN109767459A (zh) 新型眼底图配准方法
CN112308825B (zh) 一种基于SqueezeNet的农作物叶片病害识别方法
CN110288613B (zh) 一种超高像素的组织病理图像分割方法
CN111582396A (zh) 一种基于改进卷积神经网络的故障诊断方法
CN112348059A (zh) 基于深度学习的多种染色病理图像分类方法及系统
CN110717451A (zh) 一种基于深度学习的药用植物叶部病害图像识别方法
CN110930378A (zh) 基于低数据需求的肺气肿影像处理方法及系统
CN117058676B (zh) 一种基于眼底检查影像的血管分割方法、装置和系统
CN114049935A (zh) 一种基于多卷积神经网络的her2图像分类系统
CN114445356A (zh) 基于多分辨率的全视野病理切片图像肿瘤快速定位方法
CN111178174B (zh) 基于深度卷积神经网络的尿液有形成分图像识别方法
CN116958535B (zh) 一种基于多尺度残差推理的息肉分割系统及方法
CN112863650A (zh) 一种基于卷积与长短期记忆神经网络的心肌病识别系统
CN116884036A (zh) 基于YOLOv5DA的生猪姿态检测方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant