CN115691678A - 基于注意力机制的深度学习染色体自动识别模型及系统 - Google Patents
基于注意力机制的深度学习染色体自动识别模型及系统 Download PDFInfo
- Publication number
- CN115691678A CN115691678A CN202211327800.5A CN202211327800A CN115691678A CN 115691678 A CN115691678 A CN 115691678A CN 202211327800 A CN202211327800 A CN 202211327800A CN 115691678 A CN115691678 A CN 115691678A
- Authority
- CN
- China
- Prior art keywords
- layer
- chromosome
- dense block
- attention
- automatic identification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于注意力机制的深度学习染色体自动识别模型,包括依次串联的:输入端卷积层、池化层、第一稠密块、通道注意力模块、第一过渡层、第二稠密块、第二过渡层、第三稠密块、第三过渡层、第四稠密块以及分类器层。本发明提供的基于注意力机制的深度学习染色体自动识别模型,通过在第一密集块后加入通道注意力模块提取重要信息、抑制冗余信息,能提高整体分类的准确率,解决现有深度学习染色体识别网络容易忽略图像不同区域特征的问题;本发明提供的基于注意力机制的深度学习染色体自动识别系统,可实现染色体的高准确率自动识别,在染色体识别及异常分析中具有很好的应用价值。
Description
技术领域
本发明涉及医学图像处理技术领域,特别涉及一种基于注意力机制的深度学习染色体自动识别模型及系统。
背景技术
染色体畸变综合征是由先天性染色体数目异常或结构畸变引起的疾病[1-3]。染色体异常患者常伴有先天疾病,这将给患者及其家庭带来沉重的精神和经济负担。目前,染色体畸变诊断依赖于核型分析[4-5]。但是,核型分析主要依靠医生手工操作完成,需要专业经验,且耗时费力。因此,研究能够自动对染色体进行配对、编号和分组的分类方法对于诊断染色体疾病,具有重要的临床意义。
近年来,卷积神经网络在医学图像分析特别是染色体图像分析中得到了广泛的应用,比如Alexnet[6]、Lenet[7]、Resnet50[8]。虽然以上研究都是基于卷积神经网络的方法,但问题是网络层数越深,需要设置的参数越多,可能会导致数据过拟合。稠密连接网络(DenseNet)通过集合来连接特征,相比其他网络通过求和来连接特征,具有减少参数数量的优点。另外,由于DenseNet的输入特征信息可以在多个方向前向传输,且梯度可以在多个方向后向传输,使得整个网络更容易训练[9-11]。Sebastian等人应用卷积神经网络方法进行乳腺癌分级分类,结果表明基于DenseNet的多方法融合模型取得更好的分类性能[12]。但是该模型忽略了同一图像不同区域特征在分类任务中的不同贡献,对重要特征的关注可能会得到更好的分类结果,而这也是现有基于深度学习的染色体识别方案中普遍存在的一个问题。
参考文献:
[1]P.K.Agrawala,J.S.Adhikari and N.K.Chaudhury,“:Lymphocytechromosomal aberration assay in radiation biodosimetry,”Journal of PharmacyAnd Bioallied Sciences,vol.2,pp.197,2010.
[2]P.E.Conen,A.G.Bell and N.Aspin,“Chromosomal aberration in aninfant following the use of diagnostic X-rays,”Pediatrics,vol.31,pp.72-79,1963.
[3]M.A.Bender,H.G.Griggs and J.S.Bedford,“Mechanisms of chromosomalaberration production III.Chemicals and ionizing radiation,”MutationResearch/Fundamental and Molecular Mechanisms of Mutagenesis,vol.23,pp.197-212,1974.
[4]T.Schwarzacher,P.Ambros and D.Schweizer,“Application of Giemsabanding to orchid karyotype analysis,”Plant Systematics and Evolution,vol.134,pp.293-297,1980.
[5]F.L.Peruzzi,Y.Yu and X.He,“A tool for the analysis ofchromosomes:KaryoType,”Taxon,vol.65,pp.586-592,2016.
[6]A.Krizhevsky,I.Sutskever,and G.E.Hinton,“Imagenet classificationwith deep convolutional neural networks,”in Proc.Adv.NeuralInf.Process.Syst.,pp.1097–1105,2012.
[7]K.Simonyan and A.Zisserman,“Very deep convolutional networks forlarge-scale image recognition,”arXiv:1409.1556.[Online].Available:https://arxiv.org/abs/1409.1556,2014.
[8]N.Xie,X.Li,K.Li,Y.Yang and H.T.Shen,“Statistical karyotypeanalysis using cnn and geometric optimization,”IEEE Access,vol.7,pp.179445-179453,2019.
[9]G.Huang,Z.Liu,V.Laurens and K.Q.Weinberger,“Densely ConnectedConvolutional Networks,”IEEE Computer Society,pp.4700-4708,2016.
[10]F.Iandola,M.Moskewicz,S.Karayev,R.Girshick and K.Keutzer,“Densenet:Implementing efficient convnet descriptor pyramids,”arXiv preprintarXiv,pp.1404-1869,2014.
[11]Z.Huang,X.Zhu,M.Ding and X.Zhang,“Medical image classificationusing a light-weighted hybrid neural network based on PCANet and DenseNet,”IEEE Access,vol.8,pp.24697-24712,2020.
[12]S.Otálora,M.Atzori,V.Andrearczyk and H.Muller,“Imagemagnification regression using densenet for exploiting histopathology openaccess content,”Springer,pp.148-155,2018.
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足,提供一种基于注意力机制的深度学习染色体自动识别模型及系统。
为解决上述技术问题,本发明采用的技术方案是:一种基于注意力机制的深度学习染色体自动识别模型,包括依次串联的:输入端卷积层、池化层、第一稠密块、通道注意力模块、第一过渡层、第二稠密块、第二过渡层、第三稠密块、第三过渡层、第四稠密块以及分类器层。
优选的是,所述通道注意力模块包括并列的平均池化层和最大池化层、与所述平均池化层和最大池化层均连接的多层感知机共享网络以及与所述多层感知机共享网络依次连接的sum函数和sigmoid函数;
所述多层感知机共享网络包括依次连接的一个系数为W0的降维卷积层、ReLU激活函数层和一个系数为W1增维卷积层。
优选的是,所述分类器层包括一个全局平均池化层和一个串联的全连接softmax层。
优选的是,所述第一稠密块输出的特征图xl通过以下公式(1)表示:
xl=Hl([x0,xl,...,xl-1]) (1);
其中,l、l-1代表层数,xl表示第l层的输出,[x0,xl,...,xl-1]表示0,1,2,...,l-1层生成的特征图的级联;Hl是整流线性单元、池化、卷积或批归一化操作的复合函数。
优选的是,所述通道注意力模块的处理方法为:
其中,δ函数定义为δ(x)=0,x≠0。
优选的是,所述步骤3)中,通道注意力特征图Mc通过以下公式计算得到:
优选的是,该自动识别模型进行图像处理的步骤包括:
S1、输入的图像依次经过输入端卷积层、池化层、第一稠密块后,通过第一稠密块输出特征图xl,并通过通道注意力模块输出通道注意力特征图Mc;
将特征矩阵xtr1作为第一过渡层的输入,之后依次经过所述第二稠密块、第二过渡层、第三稠密块、第三过渡层、第四稠密块;
S3、将第四稠密块生成的特征图作为分类器层的输入,经过分类器层中的卷积核为7×7的全局平均池化层重采样后,由全连接softmax层输出最终分类结果。
本发明还提供一种基于注意力机制的深度学习染色体自动识别系统,该系统包括图像获取模块、图像预处理模块以及如上所述的染色体自动识别模型。
优选的是,该系统进行染色体图像识别的步骤包括:
Ⅰ、通过所述图像获取模块获取染色体图像,并进行人工标注;
Ⅱ、通过所述图像预处理模块对所述图像获取模块的输出图像进行处理,得到训练数据集;
Ⅲ、利用训练数据集对所述染色体自动识别模型进行训练;
Ⅳ、将待处理的染色体图像输出经步骤Ⅲ训练得到的染色体自动识别模型中,得到染色体识别结果。
本发明的有益效果是:
本发明提供的基于注意力机制的深度学习染色体自动识别模型,通过在第一密集块后加入通道注意力模块提取重要信息、抑制冗余信息,能提高整体分类的准确率,解决现有深度学习染色体识别网络容易忽略图像不同区域特征的问题;
现有基于深度学习的染色体识别方法、模型,普遍忽略了同一染色体图像不同区域特征在分类任务中的不同贡献。本发明中提出将注意力机制与深度学习方法联合的方法进行染色体自动识别,能提高染色体分类准确性,具体的:本申请中,将注意力机制模块应用于性能优良的深度学习网络模型,通过注意力机制,让网络在处理不同部分语句时能够聚焦到特定的已经编码的语义向量,通过最大池化和平均池化操作在减少特征参数的同时保证特征不变形,更多的保留背景信息和纹理(边界)信息,从而能更好地识别染色体。
本发明提供的基于注意力机制的深度学习染色体自动识别系统,可实现染色体的高准确率自动识别,在染色体识别及异常分析中具有很好的应用价值。
附图说明
图1为本发明的基于注意力机制的深度学习染色体自动识别模型的结构示意图;
图2为本发明的多层感知机共享网络的结构示意图;
图3为本发明的实施例1的染色体识别结果;
图4为本发明的实施例2中的基于注意力机制的深度学习染色体自动识别系统的工作流程图。
具体实施方式
下面结合实施例对本发明做进一步的详细说明,以令本领域技术人员参照说明书文字能够据以实施。
应当理解,本文所使用的诸如“具有”、“包含”以及“包括”术语并不排除一个或多个其它元件或其组合的存在或添加。
实施例1
参照图1,本实施例提供一种基于注意力机制的深度学习染色体自动识别模型,包括依次串联的:输入端卷积层、池化层、第一稠密块、通道注意力模块、第一过渡层、第二稠密块、第二过渡层、第三稠密块、第三过渡层、第四稠密块以及分类器层。
本实施例中,输入端卷积层的卷积核为7×7,步长为2;池化层的卷积核为3×3,步长为2。四个稠密块:第一稠密块、第二稠密块、第三稠密块、第四稠密块分别含有6、12、48、32对卷积层,每对卷积层由卷积核为1×1和卷积核为3×3的两个卷积层串联。第一过渡层、第二过渡层、第三过渡层均包含有1个卷积核大小为1×1的卷积层和一个卷积核大小为2×2,步长为2的平均池化层。
参照图2,本实施例中,通道注意力模块包括并列的平均池化层和最大池化层、与平均池化层和最大池化层均连接的多层感知机共享网络以及与多层感知机共享网络(shared MLP)依次连接的sum函数和sigmoid函数;
其中,多层感知机共享网络包括依次连接的一个系数为W0的降维卷积层、ReLU激活函数层和一个系数为W1增维卷积层。分类器层包括一个全局平均池化层和一个串联的全连接softmax层;ReLU层作用是稀疏化,抑制部分神经元,使网络复杂度降低。
本实施例中,通过设置通道注意力模块,卷积神经网络可以使用全局信息选择性的强调有效特征并抑制冗余特征,将可用计算资源分配向输入信息中信息量最大的特征区域。通道注意力模块的处理方法为:
1)首先,将第一稠密块输出的特征图xl分别输入到通道注意力模块中的平均池化层和最大池化层,得到平均池化特征和最大池化特征平均池化层的作用主要是对输入特征图的空间维度进行压缩,实现空间信息的聚合;最大池化层的作用更加关注物体的细节特征;
其中,第一稠密块输出的特征图xl通过以下公式(1)表示:
xl=Hl([x0,xl,...,xl-1]) (1);
其中,l、l-1代表层数,xl表示第l层的输出,[x0,xl,...,xl-1]表示0,1,2,...,l-1层生成的特征图的级联;Hl是整流线性单元、池化、卷积或批归一化操作的复合函数。
其中,δ函数定义为δ(x)=0,x≠0。
步骤3)中,通道注意力特征图Mc通过以下公式计算得到:
本实施例中,该自动识别模型进行图像处理的主要步骤包括:
S1、输入的图像依次经过输入端卷积层、池化层、第一稠密块后,通过第一稠密块输出特征图xl,并通过通道注意力模块输出通道注意力特征图Mc;
将特征矩阵xtr1作为第一过渡层的输入,之后依次经过第二稠密块、第二过渡层、第三稠密块、第三过渡层、第四稠密块;
S3、将第四稠密块生成的特征图作为分类器层的输入,经过分类器层中的卷积核为7×7的全局平均池化层重采样后,由全连接softmax层输出最终分类结果。
参照图3为实施例1的染色体自动识别模型的染色体识别结果,下表1为实施例1在公开数据集(https://github.com/Xi-Hu/Chromosome-Images.git)上的与同类方法的染色体识别性能指标比较结果。可以看出,实施例1的染色体自动识别模型能够成功实现染色体的识别,且性能指标优于传统方法。
表1
实施例2
本实施例提供一种基于注意力机制的深度学习染色体自动识别系统,该系统包括图像获取模块、图像预处理模块以及实施例1的染色体自动识别模型;参照图4,该系统进行染色体图像识别的步骤包括:
Ⅰ、通过图像获取模块获取染色体图像(染色体分裂中期显微镜图像),并进行人工标注,得到染色体标签;
Ⅱ、通过图像预处理模块对图像获取模块的输出图像进行处理(如染色体分割、背景填充、图像归一化、数据扩充处理等),得到训练数据集;
Ⅲ、利用训练数据集对染色体自动识别模型进行训练;
Ⅳ、将待处理的染色体图像(测试数据集)输出经步骤Ⅲ训练得到的染色体自动识别模型中,得到染色体识别结果。
尽管本发明的实施方案已公开如上,但其并不仅仅限于说明书和实施方式中所列运用,它完全可以被适用于各种适合本发明的领域,对于熟悉本领域的人员而言,可容易地实现另外的修改,因此在不背离权利要求及等同范围所限定的一般概念下,本发明并不限于特定的细节。
Claims (10)
1.一种基于注意力机制的深度学习染色体自动识别模型,其特征在于,包括依次串联的:输入端卷积层、池化层、第一稠密块、通道注意力模块、第一过渡层、第二稠密块、第二过渡层、第三稠密块、第三过渡层、第四稠密块以及分类器层。
2.根据权利要求1所述的基于注意力机制的深度学习染色体自动识别模型,其特征在于,所述通道注意力模块包括并列的平均池化层和最大池化层、与所述平均池化层和最大池化层均连接的多层感知机共享网络以及与所述多层感知机共享网络依次连接的sum函数和sigmoid函数;
所述多层感知机共享网络包括依次连接的一个系数为W0的降维卷积层、ReLU激活函数层和一个系数为W1增维卷积层。
3.根据权利要求2所述的基于注意力机制的深度学习染色体自动识别模型,其特征在于,所述分类器层包括一个全局平均池化层和一个串联的全连接softmax层。
4.根据权利要求3所述的基于注意力机制的深度学习染色体自动识别模型,其特征在于,所述第一稠密块输出的特征图xl通过以下公式(1)表示:
xl=Hl([x0,xl,...,xl-1]) (1);
其中,l、l-1代表层数,xl表示第l层的输出,[x0,xl,...,xl-1]表示0,1,2,...,l-1层生成的特征图的级联;Hl是整流线性单元、池化、卷积或批归一化操作的复合函数。
8.根据权利要求7所述的基于注意力机制的深度学习染色体自动识别模型,其特征在于,该自动识别模型进行图像处理的步骤包括:
S1、输入的图像依次经过输入端卷积层、池化层、第一稠密块后,通过第一稠密块输出特征图xl,并通过通道注意力模块输出通道注意力特征图Mc;
将特征矩阵xtr1作为第一过渡层的输入,之后依次经过所述第二稠密块、第二过渡层、第三稠密块、第三过渡层、第四稠密块;
S3、将第四稠密块生成的特征图作为分类器层的输入,经过分类器层中的卷积核为7×7的全局平均池化层重采样后,由全连接softmax层输出最终分类结果。
9.一种基于注意力机制的深度学习染色体自动识别系统,其特征在于,该系统包括图像获取模块、图像预处理模块以及如权利要求1-8中任意一项所述的染色体自动识别模型。
10.根据权利要求9所述的基于注意力机制的深度学习染色体自动识别模型,其特征在于,该系统进行染色体图像识别的步骤包括:
Ⅰ、通过所述图像获取模块获取染色体图像,并进行人工标注;
Ⅱ、通过所述图像预处理模块对所述图像获取模块的输出图像进行处理,得到训练数据集;
Ⅲ、利用训练数据集对所述染色体自动识别模型进行训练;
Ⅳ、将待处理的染色体图像输出经步骤Ⅲ训练得到的染色体自动识别模型中,得到染色体识别结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211327800.5A CN115691678A (zh) | 2022-10-27 | 2022-10-27 | 基于注意力机制的深度学习染色体自动识别模型及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211327800.5A CN115691678A (zh) | 2022-10-27 | 2022-10-27 | 基于注意力机制的深度学习染色体自动识别模型及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115691678A true CN115691678A (zh) | 2023-02-03 |
Family
ID=85099437
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211327800.5A Pending CN115691678A (zh) | 2022-10-27 | 2022-10-27 | 基于注意力机制的深度学习染色体自动识别模型及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115691678A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117274294A (zh) * | 2023-09-18 | 2023-12-22 | 笑纳科技(苏州)有限公司 | 一种同源染色体分割方法 |
-
2022
- 2022-10-27 CN CN202211327800.5A patent/CN115691678A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117274294A (zh) * | 2023-09-18 | 2023-12-22 | 笑纳科技(苏州)有限公司 | 一种同源染色体分割方法 |
CN117274294B (zh) * | 2023-09-18 | 2024-06-04 | 笑纳科技(苏州)有限公司 | 一种同源染色体分割方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Jais et al. | Adam optimization algorithm for wide and deep neural network. | |
Sun et al. | Automatic feature learning using multichannel ROI based on deep structured algorithms for computerized lung cancer diagnosis | |
Liu et al. | Multi-task deep model with margin ranking loss for lung nodule analysis | |
WO2020019738A1 (zh) | 磁共振血管壁成像的斑块处理方法、装置和计算设备 | |
Li et al. | MMAN: Multi-modality aggregation network for brain segmentation from MR images | |
Lyu et al. | Using multi-level convolutional neural network for classification of lung nodules on CT images | |
Ahn et al. | Unsupervised deep transfer feature learning for medical image classification | |
Albahli et al. | Identification of thoracic diseases by exploiting deep neural networks | |
Hassanzadeh et al. | 2D to 3D evolutionary deep convolutional neural networks for medical image segmentation | |
CN112420170B (zh) | 一种提高计算机辅助诊断系统图片分类准确度的方法 | |
CN115691678A (zh) | 基于注意力机制的深度学习染色体自动识别模型及系统 | |
Huang et al. | Medical knowledge-based network for patient-oriented visual question answering | |
Sharma et al. | Automatic classification of low-resolution chromosomal images | |
Cao et al. | Supervised contrastive pre-training formammographic triage screening models | |
Asif et al. | BMRI-NET: A deep stacked ensemble model for multi-class brain tumor classification from MRI images | |
Dehkordi et al. | Lightweight local transformer for COVID-19 detection using chest CT scans | |
Cenggoro et al. | Systematic literature review: An intelligent pulmonary TB detection from chest x-rays | |
CN117611925A (zh) | 基于图神经网络与卷积网络的多源遥感图像分类方法 | |
Fu et al. | 3D bi-directional transformer U-Net for medical image segmentation | |
Xing et al. | ZooME: Efficient melanoma detection using zoom-in attention and metadata embedding deep neural network | |
Lou et al. | Aggregated pyramid attention network for mass segmentation in mammograms | |
Duman et al. | A Study on Deep Learning Based Classification of Flower Images | |
Aggarwal et al. | Privacy preserved collaborative transfer learning model with heterogeneous distributed data for brain tumor classification | |
Lang et al. | Brain Tumor identification based on CNN-SVM model | |
Francis et al. | Ensemble learning approach for multi-class classification of Alzheimer’s stages using magnetic resonance imaging |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |