CN113343755A - 红细胞图像中的红细胞分类系统及方法 - Google Patents
红细胞图像中的红细胞分类系统及方法 Download PDFInfo
- Publication number
- CN113343755A CN113343755A CN202110436281.5A CN202110436281A CN113343755A CN 113343755 A CN113343755 A CN 113343755A CN 202110436281 A CN202110436281 A CN 202110436281A CN 113343755 A CN113343755 A CN 113343755A
- Authority
- CN
- China
- Prior art keywords
- red blood
- blood cell
- features
- attention
- classification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000003743 erythrocyte Anatomy 0.000 title claims abstract description 131
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000013528 artificial neural network Methods 0.000 claims abstract description 26
- 230000007246 mechanism Effects 0.000 claims abstract description 23
- 238000000605 extraction Methods 0.000 claims abstract description 14
- 238000012216 screening Methods 0.000 claims abstract description 13
- 238000006243 chemical reaction Methods 0.000 claims abstract description 6
- 238000004364 calculation method Methods 0.000 claims abstract description 5
- 239000000284 extract Substances 0.000 claims abstract description 5
- 238000011176 pooling Methods 0.000 claims description 30
- 238000003860 storage Methods 0.000 claims description 14
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 11
- 230000005284 excitation Effects 0.000 claims description 8
- 230000002401 inhibitory effect Effects 0.000 claims description 8
- 238000001125 extrusion Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 230000009467 reduction Effects 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 5
- 230000002776 aggregation Effects 0.000 claims description 4
- 238000004220 aggregation Methods 0.000 claims description 4
- 230000008901 benefit Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 11
- 210000004027 cell Anatomy 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 238000004590 computer program Methods 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 6
- 238000012549 training Methods 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 238000012512 characterization method Methods 0.000 description 4
- 208000019501 erythrocyte disease Diseases 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 208000024172 Cardiovascular disease Diseases 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 208000026106 cerebrovascular disease Diseases 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000002526 effect on cardiovascular system Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 210000002216 heart Anatomy 0.000 description 1
- 208000014951 hematologic disease Diseases 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000011423 initialization method Methods 0.000 description 1
- 238000012905 input function Methods 0.000 description 1
- 210000003734 kidney Anatomy 0.000 description 1
- 208000017169 kidney disease Diseases 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 208000019423 liver disease Diseases 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000011206 morphological examination Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 210000002381 plasma Anatomy 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000009666 routine test Methods 0.000 description 1
- 230000007371 visceral function Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Abstract
本发明提供一种红细胞图像中的红细胞分类系统及方法，属于计算机视觉技术领域，特征提取模块利用结合了注意力机制的特征金字塔神经网络，提取与类别相关的特征；区域获取模块将提取的与类别相关的特征进行前景目标区域筛选，结合双线性内插方法进行尺寸固定，得到最终感兴趣区域；分类计算模块使用softmax分类器将最终感兴趣区域计算所得类别的分数进行概率转换，最终得到红细胞的分类概率得分。本发明在红细胞图像特征提取时，关注图像通道和空间两维度上的特征，重点关注与类别相关的特征，抑制背景特征；在目标密集的图像中表现出较好泛化能力；可准确提供图像中的红细胞类型，节省了医生大量的精力，提高了医生效率，增加了结果的客观性和准确性。
Description
技术领域
本发明涉及计算机视觉技术领域，具体涉及一种实现了红细胞精确分类的基于深度学习的红细胞图像中的红细胞分类系统及方法。
背景技术
红细胞疾病发病率高，目前全球尚无其发病的确切数据，但其影响面广，在肿瘤、心脑血管以及肝肾疾病、血液疾病中常见，红细胞疾病对患者危害性大，影响其重要脏器功能，包括心、肺、肾及脑等，若情况严重会影响患者生活质量甚至危及生命。
对于红细胞的病变识别分类，首先进行血常规检测筛选异常样本，然后由医生使用显微镜进行镜下观察。显微镜视野下红细胞数量多，不论形态检查或计数都耗时费力，影响医生效率。目前对于检测的需求日益增长，这与有限的检验医师数量相矛盾。人工操作依赖检验医师的主观判断，不同医生可能得出不同结果。差异较小的正常细胞与异常细胞易错分，这会影响检测结果的准确性和可靠性。
针对目前红细胞分类识别技术的研究现状进行分析，目前的红细胞分类在传统算法和深度学习方面都有一定进展，使用传统算法的常用步骤是对红细胞进行分割，然后提取形状、纹理特征进行分类，如文献Maji P,Mandal A, Ganguly M,Saha S.An automatedmethod for counting and characterizing red blood cells using mathematicalmorphology.ICAPR 2015-2015 8th Int Conf Adv Pattern Recognit.Published online2015:6-11，Maji P等人使用数学形态学来自动表征红细胞，能够准确的定位红细胞的位置，但分类类别较少。深度学习的方法主要使用神经网络方法，如文献ElsalamonyHA.Healthy and unhealthy red blood cell detection in human blood smears usingneural networks.Micron. 2016；83:32-41。Elsalamony等人利用圆形霍夫变换和形态学操作与神经网络结合的方法对三类红细胞进行检测，虽然一定程度上提高了精度，但由于分类的细胞类别较少，且神经网络结构简单，仅局限于一部分红细胞的分类，拓展性不是很理想。
发明内容
本发明的目的在于提供一种获得了较高分类精度和较高的鲁棒性、保证了精确的分类的红细胞图像中的红细胞分类系统及方法，以解决上述背景技术中存在的至少一项技术问题。
为了实现上述目的，本发明采取了如下技术方案：
第一方面，本发明提供一种红细胞图像中的红细胞分类系统，包括：
特征提取模块，用于利用结合了注意力机制的特征金字塔神经网络，提取标注的红细胞图像中与类别相关的特征，抑制图像的背景特征；
区域获取模块，用于将提取的与类别相关的特征进行前景目标区域筛选，然后使用池化操作，结合双线性内插方法进行尺寸固定，得到最终感兴趣区域；
分类计算模块，用于使用softmax分类器将最终感兴趣区域计算所得类别的分数进行概率转换，最终得到红细胞的分类概率得分。
优选的，特征提取模块中，使用结合注意力机制的特征金字塔网络，注意力机制学习与类别相关的特征；以残差网络作为基础网络的特征金字塔网络，其中的卷积层自下向上提取特征得到各层特征层，之后经过自顶向下结构对卷积层得到特征上采样，得到与相邻低层卷积层特征大小一致的特征，将卷积层得到的各层特征与经过上采样的特征通过横向连接进行融合得到金字塔层的特征；其中，横向结构由一个1×1卷积和加法器组成。
优选的，所述特征金字塔网络，使用了两种注意力模块与残差网络相结合，分别为通道注意力残差单元模块和通道-空间注意力残差单元。
优选的，以ResNet-50和ResNet-101作为基础网络，适用于这两种结构的残差块结构由三个大小分别为1×1、3×3、1×1的卷积组成，中间添加跳跃连接，不同数量残差块堆叠形成单元。
优选的，通道注意力残差模块为包含挤压模块和激励模块的注意力残差单元模块，挤压模块沿空间维度使用全局平均池化对特征进行压缩，激励模块先将特征进行压缩以降低计算量，之后将其恢复，为每个通道生成权重及参数，学习通道间相关性。
优选的，通道-空间注意力残差单元(CSARU)模块使用通道注意力和空间注意力，特征输入首先进行池化操作，池化后特征输入共享多层感知器，经softmax层生成通道特征，经加权聚合操作后输入空间注意力部分，特征池化后将结果接合进行卷积降维后，经softmax生成空间注意力特征，经过加权得到最终结果。
优选的，区域获取模块中：将得到的特征图进行遍历生成感兴趣区域候选框，并筛选出具有前景特征的候选框，通过回归操作感兴趣区域的位置坐标，选择合适数量感兴趣区域候选框用于后续分类；使用RoI Align池化操作对提取的感兴趣区域尺寸进行统一。
第二方面，本发明提供一种红细胞图像中的红细胞分类方法，包括：
利用结合了注意力机制的特征金字塔神经网络，提取标注的红细胞图像中与类别相关的特征，抑制图像的背景特征；
将提取的与类别相关的特征进行前景目标区域筛选，然后使用池化操作，结合双线性内插方法进行尺寸固定，得到最终感兴趣区域；
使用softmax分类器将最终感兴趣区域计算所得类别的分数进行概率转换，最终得到红细胞的分类概率得分。
第三方面，本发明提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质包括用于执行如上所述的红细胞图像中的红细胞分类方法的指令。
第四方面，本发明提供一种电子设备，包括如上所述的非暂态计算机可读存储介质；以及能够执行所述非暂态计算机可读存储介质的所述指令的一个或多个处理器。
本发明有益效果：通过注意力特征金字塔神经网络充分提取了红细胞显微图像特征，在红细胞图像特征提取时，关注图像通道和空间两维度上的特征，重点关注与红细胞各类别相关的特征，抑制背景特征；在目标密集的图像中也能表现出良好的泛化能力；可以准确提供图像中存在的红细胞类型，作为一种辅助技术节省了医生大量的精力，提高了医生效率，增加了结果的客观性和准确性。
本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例所述的注意力特征金字塔神经网络模型用于红细胞分类的总体框架流程图。
图2为本发明实施例所述的嵌入两种不同的残差注意力模块的特征金字塔网络具体结构框架图。
具体实施方式
下面详细叙述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语 (包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。
还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件和/或它们的组。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
为便于理解本发明，下面结合附图以具体实施例对本发明作进一步解释说明，且具体实施例并不构成对本发明实施例的限定。
本领域技术人员应该理解，附图只是实施例的示意图，附图中的部件并不一定是实施本发明所必须的。
实施例1
对于每个红细胞，不同类别对应的视觉特征不同，每个红细胞的特征都与该细胞周围像素相关。人类观察事物时首先观察重点突出的部分，只需找到区域中特定部分进行重点观察，这样能够合理利用视觉系统处理信息。受此启发，本发明实施例1提供一种红细胞图像中红细胞分类系统，包括：
特征提取模块，用于利用结合了注意力机制的特征金字塔神经网络，提取标注的红细胞图像中与类别相关的特征，抑制图像的背景特征；
区域获取模块，用于将提取的与类别相关的特征进行前景目标区域筛选，然后使用池化操作，结合双线性内插方法进行尺寸固定，得到最终感兴趣区域；
分类计算模块，用于使用softmax分类器将最终感兴趣区域计算所得类别的分数进行概率转换，最终得到红细胞的分类概率得分。
在本实施例1中，特征提取模块中，使用结合注意力机制的特征金字塔网络，注意力机制学习与类别相关的特征；以残差网络作为基础网络的特征金字塔网络，对传统卷积层自下向上提取特征得到多层特征层，自顶层向下进行上采样，得到与卷积层各层特征大小一致的特征，将卷积层各层特征与得到的特征通过横向连接结构结合得到金字塔层的特征；其中，横向结构由一个1×1卷积和加法器组成。
其中，所述特征金字塔网络，使用了两种注意力模块与残差网络相结合，分别为通道注意力的挤压-激励模块和使用通道注意力、空间注意力的卷积块注意模块。
以ResNet-50和ResNet-101作为基础网络，适用于这两种结构的残差块结构由三个大小分别为1×1、3×3、1×1的卷积组成，中间添加跳跃连接，不同数量残差块堆叠形成单元。
通道注意力残差模块为包含挤压模块和激励模块的注意力残差单元模块，挤压模块沿空间维度使用全局平均池化对特征进行压缩，激励模块先将特征进行压缩以降低计算量，之后将其恢复，为每个通道生成权重及参数，学习通道间相关性。
通道-空间注意力残差单元(CSARU)模块使用通道注意力和空间注意力，特征输入首先进行池化操作，池化后特征输入共享多层感知器，经 softmax层生成通道特征，经加权聚合操作后输入空间注意力部分，特征池化后将结果接合进行卷积降维后，经softmax生成空间注意力特征，经过加权得到最终结果。
区域获取模块中：将得到的特征图进行遍历生成感兴趣区域候选框，并筛选出具有前景特征的候选框，通过回归操作感兴趣区域的位置坐标，选择合适数量感兴趣区域候选框用于后续分类；使用RoI Align池化操作对提取的感兴趣区域尺寸进行统一。
在本实施例1中，利用上述的系统实现了红细胞图像中的红细胞分类方法，包括：
利用结合了注意力机制的特征金字塔神经网络，提取标注的红细胞图像中与类别相关的特征，抑制图像的背景特征；
将提取的与类别相关的特征进行前景目标区域筛选，然后使用池化操作，结合双线性内插方法进行尺寸固定，得到最终感兴趣区域；
使用softmax分类器将最终感兴趣区域计算所得类别的分数进行概率转换，最终得到红细胞的分类概率得分。
通过注意力特征金字塔神经网络充分提取红细胞显微图像特征，在红细胞图像特征提取时，关注图像通道和空间两维度上的特征，重点关注与红细胞各类别相关的特征，抑制背景特征。从而构建红细胞分类识别模型，该方法在目标密集的图像中也能表现出良好的泛化能力。该技术可以在红细胞图像分类过程中准确提供图像中存在的红细胞类型，作为一种辅助技术节省了医生大量的精力，提高了医生效率，增加了结果的客观性和准确性。
实施例2
本发明实施例2中，提供了一种基于深度学习的结合注意力机制的红细胞分类方法。通过基于深度学习的红细胞分类方法确保红细胞分类的高效性和结果客观性。通过特征金字塔网络将神经网络中的高语义信息与细节信息充分融合。从而构建适合于红细胞分类的模型。模型包括三个主要部分，带有注意力感知的特征金字塔神经网络模块(特征提取模块)、区域提议网络模块(区域获取模块)和分类器模块(分类计算模块)。对于采集的红细胞显微图像，检测每一个红细胞的位置并对其分类。
本实施例2中，通过特征金字塔神经网络充分提取显微图像红细胞特征，结合红细胞图像特征和卷积神经网络的隐藏特征信息，构建红细胞分类识别模型，图1为基于注意力机制和特征金字塔神经网络红细胞分类方法的总体流程图。图1中输入图像经过采集预处理之后输入到特征提取层进行特征提取，之后将特征进行后处理送入分类层分类；
图2中上半部分为特征提取阶段的注意力特征金字塔网络的结构图， (a)部分为进行特征提取的金字塔网络中嵌入的通道注意力单元(CSAU) 的结构；图2中(b)部分为加入的通道-空间注意力单元(CSARU)在模型中添加的位置及其实现过程，这两种结构都采用级联方式位于每个残差块后。
在本实施例2中，对于采集的红细胞图像，对图像中每个红细胞的位置进行定位并检测其所属类别。正常红细胞反应在图像中大小为21*21，在深度学习领域属于小目标范畴，对此使用特征金字塔网络作为特征提取器。小目标对细节特征表达不充分，不同类型红细胞大小不一，对于每种类型红细胞具有不同的特征，在分类时根据红细胞显微图像的特点关注每个类型特定的特征就能将其分类。受人类视觉系统中观察一件事物只需关注一部分的现象启发，在特征金字塔网络中引入注意力机制。通过注意力机制关注重点特征，提取与类别相关信息，提高信息处理能力，同时抑制背景特征。
之后，提取的特征送入分类网络进行分类，针对小目标检测难问题，分类网络中使用RoI Align操作代替RoI Pooling操作，克服RoI Pooling操作导致的不匹配问题。
特征提取器使用加入注意力机制的特征金字塔网络，注意力机制学习与类别相关特征，提高关键特征的提取。以残差网络作为基础网络的特征金字塔网络，对传统卷积层自下向上提取特征得到{C2,C3,C4,C5}层特征，从C5层特征开始对自顶向下上采样，得到与卷积层各层特征大小一致的特征，将卷积层各层特征与得到的特征通过横向连接结构结合得到金字塔层{P2,P3,P4,P5,P6} 的特征。
特征金字塔层特征比卷积层特征更聚焦于目标本身，增强了特征的细节表达，具有更好的表征能力；加入注意力机制的模型特征图对目标的特征提取更全面，更聚焦于目标本身，与目标高度相关部分突出明显。
本实施例2中，横向结构由一个1×1卷积和加法器组成。使用了两种注意力模块与残差网络相结合，分别为通道注意力的通道注意力模块单元 (CSAU)和使用通道注意力、空间注意力的通道-空间注意力模块单元 (CSARU)。
以ResNet-50和ResNet-101作为基础网络，适用于这两种结构的残差块结构由三个大小分别为1×1、3×3、1×1的卷积组成，中间添加跳跃连接，不同数量残差块堆叠形成单元。将注意力模块嵌入残差网络每个残差块，位置在三个卷积后，其示意图如图2所示。
如图2所示，其中，图2(a)部分表示通道注意力残差单元(CARU)模块的结构，经过全局池化和两个全连接层对空间维度的特征进行最大化表征；图2(b)部分表示通道-空间注意力残差单元(CSARU)加入之后的残差块结构，先经池化与多层感知机生成通道注意力特征，然后输入后续进行池化接合生成空间注意力特征。通过强调两个维度上特征的意义，增强了与类别相关特征，抑制了背景噪声。
如图2(a)部分所示，通道-空间注意力模块单元(CSARU)包含挤压模块和激励模块的注意力残差单元模块，挤压模块沿空间维度使用全局平均池化对特征进行压缩，激励模块先将特征进行压缩以降低计算量，之后将其恢复，为每个通道生成权重及参数，学习通道间相关性。其中ReLU表示ReLU 激活函数，
表示最终生成的通道注意力特征。将特征权重与先前的特征对应相乘，完成对原始特征的加权重标定，突出原始特征中重点的特征。
如图2(b)部分所示，通道-空间注意力残差单元(CSARU)。模块使用通道和空间注意力，特征输入首先进行池化操作，池化后特征输入共享多层感知器，经softmax层生成通道特征，经加权聚合造作后输入空间注意力部分，特征池化后将结果接合进行卷积降维后，经softmax生成空间注意力特征，经过加权得到最终结果。
区域提议网络模块将得到的特征图进行遍历生成感兴趣区域候选框，并筛选出具有前景特征的候选框，通过回归操作感兴趣区域的位置坐标。选择合适数量感兴趣区域候选框用于后续分类。选择的感兴趣区域存在大小不一问题，这个过程使用RoI Align池化操作对提取的感兴趣区域尺寸进行统一。 RoI Align使用双线性内插方法，它取消了取整操作，克服了原有流行方法因取整操作导致的偏差问题。归一化处理之后将特征送入分类模块对特征进行降维，之后输出类别概率和坐标位置。
此外，在训练过程中使用随机初始化方法对权重初始化，偏差设置为0，该方法可以打破对称性，使每个神经元继续学习输入函数。使用动量优化器、自适应学习率优化器两种优化方法寻找模型的最优解，进行模型的优化。交叉熵损失函数用来评估红细胞预测标签与真实的标签之间的误差。除此之外，设置多种学习率对模型的性能进行优化，加速训练过程中模型的收敛、优化模型的性能。结合获取的大量红细胞图像从头训练模型，可实现红细胞各类别的高精确度分类，可实现与红细胞相关疾病的诊断分析。
本实施例2中，通过注意力特征金字塔神经网络充分提取红细胞显微图像特征，在红细胞图像特征提取时，关注图像通道和空间两维度上的特征，重点关注与红细胞各类别相关的特征，抑制背景特征。从而构建红细胞分类识别模型，该方法在目标密集的图像中也能表现出良好的泛化能力。该技术可以在红细胞图像分类过程中准确提供图像中存在的红细胞类型，作为一种辅助技术节省了医生大量的精力，提高了医生效率，增加了结果的客观性和准确性。
本实施例2中，用于红细胞分类的特征金字塔网络结合了两种不同的注意力模块，聚焦于通道特征与空间特征，强调两个维度的特征意义。通过注意力模块可以重点关注与类别相关信息，抑制背景特征，提高特征的表征能力。特征金字塔网络重点强调输入数据的细节特征。区域提议网络和RoI Align池化方法优先选择了高质量的感兴趣区域框，克服了普通池化过程中出现的边界框偏移问题。在建立了分类模型的基础上，利用随机初始化、不同学习率设置以及优化器的选择等训练策略加快模型的收敛，优化模型的性能，提高了模型的准确度。
具体的步骤为：
第一步：对获得的红细胞图像进行预处理，包括高斯去噪，裁剪、翻转、平移等数据扩充方法。之后对图像中每一类红细胞进行标注制成标准的红细胞数据集。
第二步：对标注的红细胞图像输入到结合注意力模块的特征金字塔网络中进行高语义、高细节特征的提取，得到的特征图聚焦于细节特征和高相关特征。
第三步：将提取的特征输入到区域提议网络对特征进行前景目标区域的筛选，选择高质量的前景目标特征。将选择特征的位置与原图位置进行映射，保证坐标统一。
第四步：对前一步得到的感兴趣区域尺寸大小不一的问题，送入池化层对其进行尺寸的统一，该过程使用RoI Align池化操作利用双线性内插方法进行尺寸固定，克服了传统的最近邻插值方法带来的候选框偏移问题。
第五步：将最终选择的感兴趣区域输入到分类层进行分类，该过程使用 softmax分类器将所得类别的分数进行概率转换，最终输出红细胞的概率得分。
第六步：利用递减学习率、弃权技术、batch size的设置以及多种优化器结合使用等方法在模型训练过程中加快模型的收敛，提高网络的精确度和鲁棒性。
第七步：得到红细胞分类的最终细胞类别的细胞位置。
对于每个红细胞，不同类别对应的视觉特征不同，每个红细胞的特征都与该细胞周围像素相关。人类观察事物时首先观察重点突出的部分，只需找到区域中特定部分进行重点观察，这样能够合理利用视觉系统处理信息。受此启发，特征金字塔神经网络引入了注意力机制(称为注意力特征金字塔神经网络)，该方法可以提高特征的表征能力，抑制背景特征。注意力特征金字塔网络关注与红细胞类别相关的特征，区域提议网络和分类器模块构成了分类网络，将提取的特征进行优化筛选出目标忽略背景，并定位目标的位置，进行选定特征区域的尺寸统一，输入分类器确定目标细胞的类别。
利用包括随机初始化，自适应优化器以及动量优化器，不同的学习率以及损失函数等策略来促进训练收敛。提高模型的鲁棒性和准确性。
实施例3
本发明实施例3提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质包括用于执行红细胞图像中的红细胞分类方法的指令，该方法包括：
利用结合了注意力机制的特征金字塔神经网络，提取标注的红细胞图像中与类别相关的特征，抑制图像的背景特征；
将提取的与类别相关的特征进行前景目标区域筛选，然后使用池化操作，结合双线性内插方法进行尺寸固定，得到最终感兴趣区域；
使用softmax分类器将最终感兴趣区域计算所得类别的分数进行概率转换，最终得到红细胞的分类概率得分。
实施例4
本发明实施例4提供一种电子设备，该电子设备包括一种非暂态计算机可读存储介质；以及能够执行所述非暂态计算机可读存储介质的所述指令的一个或多个处理器。所述非暂态计算机可读存储介质包括用于执行红细胞图像中的红细胞分类方法的指令，该方法包括：
利用结合了注意力机制的特征金字塔神经网络，提取标注的红细胞图像中与类别相关的特征，抑制图像的背景特征；
将提取的与类别相关的特征进行前景目标区域筛选，然后使用池化操作，结合双线性内插方法进行尺寸固定，得到最终感兴趣区域；
使用softmax分类器将最终感兴趣区域计算所得类别的分数进行概率转换，最终得到红细胞的分类概率得分。
综上所述，本发明实施例所述的红细胞图像中的红细胞分类识别方法及系统，通过特征金字塔神经网络充分提取显微图像红细胞特征，结合红细胞图像特征和卷积神经网络的隐藏特征信息，构建红细胞分类识别模型，模型包括三个主要部分，带有注意力感知的特征金字塔神经网络模块，区域提议网络模块和分类器模块。对于采集的红细胞显微图像，检测每一个红细胞的位置并对其分类。特征金字塔神经网络引入了注意力机制(称为注意力特征金字塔神经网络)，可以提高特征的表征能力，抑制背景特征。注意力特征金字塔网络关注与红细胞类别相关的特征，区域提议网络和分类器模块构成了分类网络，将提取的特征进行优化筛选出目标忽略背景，并定位目标的位置，进行选定特征与去的尺寸统一，输入分类器确定目标细胞的类别。此外，利用包括随机初始化，自适应优化器以及动量优化器，不同的学习率以及损失函数等策略来促进训练收敛，提高了模型的鲁棒性和准确性。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。
上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本发明公开的技术方案的基础上，本领域技术人员在不需要付出创造性劳动即可做出的各种修改或变形，都应涵盖在本发明的保护范围之内。
Claims (10)
1.一种红细胞图像中的红细胞分类系统，其特征在于，包括：
特征提取模块，用于利用结合了注意力机制的特征金字塔神经网络，提取标注的红细胞图像中与类别相关的特征，抑制图像的背景特征；
区域获取模块，用于将提取的与类别相关的特征进行前景目标区域筛选，然后使用池化操作，结合双线性内插方法进行尺寸固定，得到最终感兴趣区域；
分类计算模块，用于使用softmax分类器将最终感兴趣区域计算所得类别的分数进行概率转换，最终得到红细胞的分类概率得分。
2.根据权利要求1所述的红细胞图像中的红细胞分类系统，其特征在于，特征提取模块中，使用结合注意力机制的特征金字塔网络，注意力机制学习与类别相关的特征；以残差网络作为基础网络的特征金字塔网络，其中的卷积层自下向上提取特征得到各层特征层，之后经过自顶向下结构对卷积层得到特征上采样，得到与相邻低层卷积层特征大小一致的特征，将卷积层得到的各层特征与经过上采样的特征通过横向连接进行融合得到金字塔层的特征；其中，横向结构由一个1×1卷积和加法器组成。
3.根据权利要求2所述的红细胞图像中的红细胞分类系统，其特征在于，所述特征金字塔网络，使用了两种注意力模块与残差网络相结合，分别为通道注意力的通道注意力残差CARU单元和使用通道注意力、空间注意力的通道-空间注意力残差CSARU单元。
4.根据权利要求3所述的红细胞图像中的红细胞分类系统，其特征在于，以ResNet-50和ResNet-101作为基础网络，适用于这两种结构的残差块结构由三个大小分别为1×1、3×3、1×1的卷积组成，中间添加跳跃连接，不同数量残差块堆叠形成单元。
5.根据权利要求4所述的红细胞图像中的红细胞分类系统，其特征在于，通道注意力残差CARU单元包含挤压模块和激励模块，挤压模块沿空间维度使用全局平均池化对特征进行压缩，激励模块先将特征进行压缩以降低计算量，之后将其恢复，为每个通道生成权重及参数，学习通道间相关性。
6.根据权利要求5所述的红细胞图像中的红细胞分类系统，其特征在于，通道-空间注意力残差CSARU单元使用通道注意力和空间注意力，特征输入首先进行池化操作，池化后特征输入共享多层感知器，经softmax层生成通道特征，经加权聚合操作后输入空间注意力部分，特征池化后将结果接合进行卷积降维后，经softmax生成空间注意力特征，经过加权得到最终结果。
7.根据权利要求6所述的红细胞图像中的红细胞分类系统，其特征在于，区域获取模块中：将得到的特征图进行遍历生成感兴趣区域候选框，并筛选出具有前景特征的候选框，通过回归操作感兴趣区域的位置坐标，选择合适数量感兴趣区域候选框用于后续分类；使用RoI Align池化操作对提取的感兴趣区域尺寸进行统一。
8.一种红细胞图像中的红细胞分类方法，其特征在于，包括：
利用结合了注意力机制的特征金字塔神经网络，提取标注的红细胞图像中与类别相关的特征，抑制图像的背景特征；
将提取的与类别相关的特征进行前景目标区域筛选，然后使用池化操作，结合双线性内插方法进行尺寸固定，得到最终感兴趣区域；
使用softmax分类器将最终感兴趣区域计算所得类别的分数进行概率转换，最终得到红细胞的分类概率得分。
9.一种非暂态计算机可读存储介质，其特征在于：所述非暂态计算机可读存储介质包括用于执行如权利要求8所述的红细胞图像中的红细胞分类方法的指令。
10.一种电子设备，包括如权利要求9所述的非暂态计算机可读存储介质；以及能够执行所述非暂态计算机可读存储介质的所述指令的一个或多个处理器。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110436281.5A CN113343755A (zh) | 2021-04-22 | 2021-04-22 | 红细胞图像中的红细胞分类系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110436281.5A CN113343755A (zh) | 2021-04-22 | 2021-04-22 | 红细胞图像中的红细胞分类系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113343755A true CN113343755A (zh) | 2021-09-03 |
Family
ID=77468375
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110436281.5A Pending CN113343755A (zh) | 2021-04-22 | 2021-04-22 | 红细胞图像中的红细胞分类系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113343755A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114037699A (zh) * | 2021-12-07 | 2022-02-11 | 中国医学科学院北京协和医院 | 一种病理图像分类方法、设备、系统及存储介质 |
| CN114419619A (zh) * | 2022-03-29 | 2022-04-29 | 北京小蝇科技有限责任公司 | 红细胞检测分类方法、装置、计算机存储介质及电子设备 |
| CN114664410A (zh) * | 2022-03-11 | 2022-06-24 | 北京医准智能科技有限公司 | 一种基于视频的病灶分类方法、装置、电子设备及介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110084150A (zh) * | 2019-04-09 | 2019-08-02 | 山东师范大学 | 一种基于深度学习的白细胞自动分类方法及系统 |
| CN110533084A (zh) * | 2019-08-12 | 2019-12-03 | 长安大学 | 一种基于自注意力机制的多尺度目标检测方法 |
| CN110532955A (zh) * | 2019-08-30 | 2019-12-03 | 中国科学院宁波材料技术与工程研究所 | 基于特征注意力和子上采样的实例分割方法和装置 |
| CN111401201A (zh) * | 2020-03-10 | 2020-07-10 | 南京信息工程大学 | 一种基于空间金字塔注意力驱动的航拍图像多尺度目标检测方法 |
| CN111797787A (zh) * | 2020-07-09 | 2020-10-20 | 杭州视测科技有限公司 | 一种基于物联网技术的废弃物图像检测分类系统 |
| US20210012146A1 (en) * | 2019-07-12 | 2021-01-14 | Wuyi University | Method and apparatus for multi-scale sar image recognition based on attention mechanism |
| CN112395951A (zh) * | 2020-10-23 | 2021-02-23 | 中国地质大学（武汉） | 一种面向复杂场景的域适应交通目标检测与识别方法 |
-
2021
- 2021-04-22 CN CN202110436281.5A patent/CN113343755A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110084150A (zh) * | 2019-04-09 | 2019-08-02 | 山东师范大学 | 一种基于深度学习的白细胞自动分类方法及系统 |
| US20210012146A1 (en) * | 2019-07-12 | 2021-01-14 | Wuyi University | Method and apparatus for multi-scale sar image recognition based on attention mechanism |
| CN110533084A (zh) * | 2019-08-12 | 2019-12-03 | 长安大学 | 一种基于自注意力机制的多尺度目标检测方法 |
| CN110532955A (zh) * | 2019-08-30 | 2019-12-03 | 中国科学院宁波材料技术与工程研究所 | 基于特征注意力和子上采样的实例分割方法和装置 |
| CN111401201A (zh) * | 2020-03-10 | 2020-07-10 | 南京信息工程大学 | 一种基于空间金字塔注意力驱动的航拍图像多尺度目标检测方法 |
| CN111797787A (zh) * | 2020-07-09 | 2020-10-20 | 杭州视测科技有限公司 | 一种基于物联网技术的废弃物图像检测分类系统 |
| CN112395951A (zh) * | 2020-10-23 | 2021-02-23 | 中国地质大学（武汉） | 一种面向复杂场景的域适应交通目标检测与识别方法 |
Non-Patent Citations (2)
| Title |
|---|
| JIEHU: "《Squeeze-and-Excitation Networks》", 《ARXIV》 * |
| SANGHYUN WOO: "《CBAM: Convolutional Block Attention Module》", 《ARXIV》 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114037699A (zh) * | 2021-12-07 | 2022-02-11 | 中国医学科学院北京协和医院 | 一种病理图像分类方法、设备、系统及存储介质 |
| CN114037699B (zh) * | 2021-12-07 | 2022-08-09 | 中国医学科学院北京协和医院 | 一种病理图像分类方法、设备、系统及存储介质 |
| CN114664410A (zh) * | 2022-03-11 | 2022-06-24 | 北京医准智能科技有限公司 | 一种基于视频的病灶分类方法、装置、电子设备及介质 |
| CN114419619A (zh) * | 2022-03-29 | 2022-04-29 | 北京小蝇科技有限责任公司 | 红细胞检测分类方法、装置、计算机存储介质及电子设备 |
| CN114419619B (zh) * | 2022-03-29 | 2022-06-10 | 北京小蝇科技有限责任公司 | 红细胞检测分类方法、装置、计算机存储介质及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Li et al. | Automatic detection of diabetic retinopathy in retinal fundus photographs based on deep learning algorithm | |
| CN108364006B (zh) | 基于多模式深度学习的医学图像分类装置及其构建方法 | |
| CN108464840B (zh) | 一种乳腺肿块自动检测方法及系统 | |
| CN109858540B (zh) | 一种基于多模态融合的医学图像识别系统及方法 | |
| CN106940816A (zh) | 基于3d全连接卷积神经网络的ct图像肺结节检测系统 | |
| CN113343755A (zh) | 红细胞图像中的红细胞分类系统及方法 | |
| CN112101451B (zh) | 一种基于生成对抗网络筛选图像块的乳腺癌组织病理类型分类方法 | |
| Zhou et al. | A refined equilibrium generative adversarial network for retinal vessel segmentation | |
| Zhang et al. | Automated semantic segmentation of red blood cells for sickle cell disease | |
| CN109949297B (zh) | 基于Reception和Faster R-CNN的肺结节检测方法 | |
| CN111916206B (zh) | 一种基于级联的ct影像辅助诊断系统 | |
| Janik et al. | Interpretability of a deep learning model in the application of cardiac MRI segmentation with an ACDC challenge dataset | |
| Zhang et al. | Feature-transfer network and local background suppression for microaneurysm detection | |
| CN114998651A (zh) | 基于迁移学习的皮肤病变图像分类识别方法、系统及介质 | |
| CN110991254A (zh) | 超声图像视频分类预测方法及系统 | |
| CN108805181B (zh) | 一种基于多分类模型的图像分类装置及分类方法 | |
| Rong et al. | Segmentation of retinal vessels in fundus images based on U-Net with self-calibrated convolutions and spatial attention modules | |
| Vasanthselvakumar et al. | Automatic detection and classification of chronic kidney diseases using CNN architecture | |
| Mukherjee et al. | Application of deep learning approaches for classification of diabetic retinopathy stages from fundus retinal images: a survey | |
| CN111967424A (zh) | 一种基于卷积神经网络的荞麦病害识别方法 | |
| Yao et al. | Pointnu-net: Keypoint-assisted convolutional neural network for simultaneous multi-tissue histology nuclei segmentation and classification | |
| Lakshmi et al. | Rice Classification and Quality Analysis using Deep Neural Network | |
| Wu et al. | Mscan: Multi-scale channel attention for fundus retinal vessel segmentation | |
| Li et al. | Correlation-Guided Network for Fine-Grained Classification of Glomerular lesions in Kidney Histopathology Images | |
| Lei et al. | GNN-fused CapsNet with multi-head prediction for diabetic retinopathy grading |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210903 |