CN113838008B - 一种基于引入注意力机制的异常细胞检测方法 - Google Patents
一种基于引入注意力机制的异常细胞检测方法 Download PDFInfo
- Publication number
- CN113838008B CN113838008B CN202111048528.2A CN202111048528A CN113838008B CN 113838008 B CN113838008 B CN 113838008B CN 202111048528 A CN202111048528 A CN 202111048528A CN 113838008 B CN113838008 B CN 113838008B
- Authority
- CN
- China
- Prior art keywords
- model
- cell
- abnormal
- attention
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 77
- 238000001514 detection method Methods 0.000 title claims abstract description 70
- 230000007246 mechanism Effects 0.000 title claims abstract description 26
- 238000012549 training Methods 0.000 claims abstract description 41
- 230000000007 visual effect Effects 0.000 claims abstract description 20
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 6
- 238000013528 artificial neural network Methods 0.000 claims abstract description 4
- 238000000034 method Methods 0.000 claims description 39
- 238000012360 testing method Methods 0.000 claims description 22
- 238000012216 screening Methods 0.000 claims description 13
- 238000013145 classification model Methods 0.000 claims description 11
- 230000001629 suppression Effects 0.000 claims description 9
- 230000008859 change Effects 0.000 claims description 8
- 238000002372 labelling Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 2
- 230000009466 transformation Effects 0.000 claims description 2
- 230000001413 cellular effect Effects 0.000 claims 1
- 238000012545 processing Methods 0.000 claims 1
- 230000005764 inhibitory process Effects 0.000 abstract description 11
- 238000010586 diagram Methods 0.000 abstract description 7
- 238000004458 analytical method Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 230000001575 pathological effect Effects 0.000 description 3
- 206010028980 Neoplasm Diseases 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 206010008342 Cervix carcinoma Diseases 0.000 description 1
- 208000006105 Uterine Cervical Neoplasms Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 201000010881 cervical cancer Diseases 0.000 description 1
- 238000004195 computer-aided diagnosis Methods 0.000 description 1
- 230000002380 cytological effect Effects 0.000 description 1
- 230000000120 cytopathologic effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
Abstract
本发明揭示了一种基于引入注意力机制的异常细胞检测方法，首先，通过训练RetinaNet网络模型，以可疑细胞检测框的形式输出可疑异常宫颈细胞的检测结果，然后，根据可疑细胞检测框得到小块细胞图像，并进一步的生成掩膜图像；再引入注意力机制利用生成掩膜图像指导小块细胞图像利用MT网络的神经网络卷积层CNN生成的注意力图，设计出分类网络模型；最后利用该分类网络模型对宫颈细胞视野图经RetinaNet生成的可疑异常宫颈细胞进行假阳性抑制，完成异常宫颈细胞检测假阳性抑制。本发明大大提高了异常宫颈细胞检测结果的精准度与可靠性，减轻了医务工作者在异常宫颈细胞复核方面的工作量，提高了工作效率。
Description
【技术领域】
本发明属于细胞检测分类技术领域，特别是涉及一种基于引入注意力机制的异常细胞检测方法。
【背景技术】
宫颈癌是女性最常见的癌症之一，若通过筛查在早期诊断和干预该疾病，则可以治愈该疾病。Thinprep细胞学检测(TCT)可帮助病理学家发现可能转变为癌症的异常宫颈鳞状细胞。通常，在筛选的单个全玻片TCT样本中，有数千个宫颈鳞状细胞。然而对于病理学人员来说在大量细胞病理样本中寻找和评估异常细胞既繁琐又耗时。因此，寻找一种实现可疑异常宫颈细胞的自动检测方法是非常必要的。
随着深度学习在图像检测和图像分类领域的发展，异常宫颈细胞自动检测已经开展了许多尝试。所有检测工作都不可避免地会产生假阳性结果。一些正常宫颈细胞被错误地归类为异常宫颈细胞，因此需要病理学家进行人工检查，以确保最终诊断结果的准确性。如果假阳性高，对病理学家来说是一个负担。
在细胞分类上，现有技术中专利号为CN201510742096.3公开了一种基于模糊积分多分类器融合的宫颈细胞图像识别方法及装置，其采用预训练的卷积神经网络CNN提取特征，并将输出特征发送到SVM分类器进行最终分类，但它的输入仅限于小的单细胞图像，这对于包含数千个细胞的TCT扫描图像来说是不切实际的。
目前所有的目标检测方法应用到异常细胞检测问题上都存在假阳性问题，即检测出的可疑细胞中既有真正异常的细胞也有正常的细胞，这给医生诊断带来了一定的干扰。传统的深度学习分类方法存在着不可解释性问题，并且需要探索其在分类性能上进一步提升的可行性。
因此，有必要研发一种基于引入注意力机制的异常细胞检测方法来解决上述问题。
【发明内容】
本发明的主要目的在于提供一种基于引入注意力机制的异常细胞检测方法，可对TCT扫描图像检测出来的异常细胞进一步的进行更加精准度的分类，抑制假阳性现象，减少医务人员的复核工作量，提高异常宫颈细胞检测复核的工作效率。
本发明通过如下技术方案实现上述目的：一种基于引入注意力机制的异常细胞检测方法，其包括以下步骤：
S1)获取第一样本集：获取宫颈细胞视野图，病理学家在宫颈细胞视野图上采用矩形框形式标注出异常宫颈细胞，得到第一样本集；
S2)异常细胞检测：用第一样本集送入目标检测RetinaNet网络中训练得到可疑细胞自动检测模型；
S3)获取第二样本集：
S31)获取宫颈细胞视野图并将其输入到所述可疑细胞自动检测模型中，输出若干带有可疑细胞框的宫颈细胞图像；
S32)以每个所述可疑细胞框的中心位置向外扩展得到若干小块细胞图像，病理学家对设定比例数量的小块细胞图像中的异常宫颈细胞进行标注，判断其小块细胞图像中包含的目的细胞是否为真正阳性的异常宫颈细胞，得到有标注数据集，剩下的其他小块细胞图像作为无标记数据集，有标注数据集与无标记数据集构成第二样本集；
S4)掩膜生成：在有标注数据集中的小块细胞图像上根据标注的相对位置生成掩膜；
S5)将第二样本集输入到Mean-Teacher网络中，引入注意力机制和掩膜获得假阳性抑制分类模型。
进一步的，所述步骤S1)包括：
S11)获得若干张1024×1024像素大小的宫颈细胞视野图像Xi，i＝0,1,2,3,N1；
S12)病理学家对上述宫颈细胞视野图像中的异常宫颈细胞做标注，得到第一样本集，其中标注形式为矩形框，用(x,y,w,h)表示，x、y、w、h这四个参数分别为标注矩形框的左上顶点坐标、标注矩形框的宽度、标注矩形框的高度。
进一步的，所述步骤S2)异常细胞检测包括：
S21)将所述第一样本集按设定比例划分为第一训练集和第一测试集；
S22)将第一训练集送入目标检测RetinaNet网络中，通过调节模型的初始学习率、损失函数中的α、γ参数使训练过程中的损失值收敛，完成网络训练；
S23)利用第一测试集对步骤S22)中的训练模型做筛选，得到可疑细胞自动检测模型；其中，筛选指标为map。
进一步的，所述步骤S3)获取第二样本集包括：
S311)获取若干张1024×1024像素大小的宫颈细胞视野图像，并将其送入所述可疑细胞自动检测模型中，网络将以可疑细胞框(x,y,w,h)的格式输出预测的可疑异常宫颈细胞的位置信息；
S312)在步骤S311)中的若干张1024×1024像素大小的宫颈细胞视野图上，以可疑细胞框的中心位置为中心向外扩展，得到一批224×224像素大小的小块细胞图像；
S313)按照设定比例提取设定数量的小块细胞图像，让病理学家对小块细胞图像中的异常宫颈细胞做标记，得到有标注的数据集DL＝{(xi,yi)},i＝1,...,M，剩下没有标注的小块细胞图像为未标注的数据集DU＝{(xi)},i＝M+1,...,N，其中xi代表小块细胞图像，yi代表该小块细胞图形所属的类别，为真正异常的宫颈细胞或者假阳性宫颈细胞；
S314)以所述步骤S312)中所获得的所有小块细胞图像为第二样本集，并将所述第二样本集按照设定比例划分为第二训练集与第二测试集，所述第二训练集按照设定的比例包含有标注的数据集和无标注的数据集，所述第二测试集均为有标注的数据集。
进一步的，所述步骤S4)掩膜生成包括将步骤S313)中病理学家标注的异常宫颈细胞作为目标细胞，在224×224像素大小的小块细胞图像中的相对位置生成掩膜，掩膜图像也是224×224像素大小，其中目标细胞区域内的值是1，其余区域的值是0。
进一步的，所述步骤S5)包括：
S51)假阳性抑制分类模型的建立：Mean-Teacher分类网络包括一个教师模型和一个学生模型组成；
S52)Mean-Teacher分类网络的损失计算：
S521)每一个有标注信息的小块细胞图像xi经过学生模型都会有一个输出y′i，采用交叉熵方式计算yi和y′i的误差Lcls：
其中f(xi,θ)指学生模型对于图像xi的输出，θ为学生模型的参数；
S522)用平方差损失来计算两个教师模型和学生模型输出结果的差异Lcon，
其中f(x′i,θ′)为教师模型对于图像x′i的输出，θ′为教师模型的参数；x′i是对xi进行了改变后的图像；
S523)注意力图与掩膜图差异损失计算：提取分类网络全连接层之前的特征图，生成注意力图，将所述注意力图尺寸变换到224×224像素大小并作归一化处理，与步骤S4)中获得的掩膜计算平方差损失Lmask：
其中Maski代表掩膜，S(AMi)代表从分类网络得到的归一化了的224×224大小的特征图；
S524)学生模型与教师模型之间的约束损失Latt：
其中AM(j,k)学生模型注意力图在(j,k)坐标位置处的值，AM′(j,k)教师模型注意力图在(j,k)坐标位置处的值，p、q分别是特征图的长度和宽度，N是所有有标注和没有标注的小块图像的数量；
S524)总损失Ltotal：
Ltotal＝Lcls+Lcon+Lmask+Latt。
S53)网络参数设置和优化：
S531)训练网路：将所述第二样本集划分为第二训练集与第二测试集，将所述第二训练集输入到学生模型与教师模型中，训练分类网络；其中学生模型的参数经梯度的反向传播更新，教师模型的模型参数由学生模型和上一轮训练过程中的教师模型参数通过组合计算得出；
S532)测试集选取最优结果：利用所述第二测试集对训练得到的分类网络做筛选，得到分类结果最好的模型，即为假阳性抑制分类模型；其中筛选指标为衡量检测模型性能最常用的准确率、AUC、精度、F1指标。
进一步的，所述教师模型与所述学生模型均为SE-ResNeXt-50。
进一步的，所述步骤S522)中，所述改变包括色彩亮度变化与垂直水平翻转。
进一步的，所述注意力图由所述小块细胞图像通过MT网络的神经网络卷积层CNN得到。
与现有技术相比，本发明一种基于引入注意力机制的异常细胞检测方法的有益效果在于：首先使用异常细胞检测模型检测出可疑宫颈细胞，在此基础上引入了基于注意力机制的分类网络，实现对异常细胞检测模型检测出样的更精确的分类，完成异常宫颈细胞检测假阳性抑制，使得异常宫颈细胞检测结果更加精准、可靠。具体的，
首先，通过训练RetinaNet网络模型，以可疑细胞检测框的形式输出可疑异常宫颈细胞的检测结果，然后，根据可疑细胞检测框得到小块细胞图像，并进一步的生成掩膜图像；再引入可疑细胞检测框作为掩码指导小块细胞图像利用MT网络的神经网络卷积层CNN生成注意力图，与传统的全分类网络相比，引入注意力机制可以让网络更加关注待分类的目标可疑细胞，从而提升分类性能；最后利用该分类网络模型对宫颈细胞视野图假阳性抑制，进一步的排除假阳性标记，为医务工作者的异常宫颈细胞检测复核工作减少工作量，提高工作效率；本方法在潜在的临床应用中具有重要价值，也可以进一步应用于病理图像计算机辅助诊断中的其他细胞检测任务。
【附图说明】
图1为本发明实施例的框架原理结构图。
【具体实施方式】
实施例：
请参照图1，本实施例一种基于引入注意力机制的异常细胞检测方法，其包括两个主要部分，一是可疑异常细胞的检测；二是引入注意力机制的半监督分类网络。具体包括：
S1)异常细胞检测：
S11)获取第一样本集：
S111)获得若干张1024×1024像素大小的宫颈细胞视野图像Xi，i＝0,1,2,3,N1，在实验中此图像是jpg格式；
S112)病理学家对上述宫颈细胞视野图像中的异常宫颈细胞做标注，得到第一样本集，其中标注形式为矩形框，用(x,y,w,h)表示，x、y、w、h这四个参数分别为标注矩形框的左上顶点坐标、标注矩形框的宽度、标注矩形框的高度。
S12)获得可疑细胞自动检测模型：
S121)将带有异常宫颈细胞标注信息的宫颈细胞视野图像即第一样本集按8：2的比例划分为第一训练集和第一测试集；
S122)将第一训练集送入通用的目标检测RetinaNet网络中，通过调节模型的初始学习率，损失函数中的α、γ参数使训练过程中的损失值收敛，完成网络训练；
S123)利用第一测试集对步骤S122)中的训练模型做筛选，得到异常细胞检测结果最好的模型，即可疑细胞自动检测模型；其中，筛选指标为衡量检测模型性能最常用的map。
S2)获得引入注意力机制的半监督自动分类模型：
由于假阳性在目标检测中是不可避免的，我们在异常细胞检测步骤之后加入了一个分类网络来最大可能地抑制目标检测过程中的假阳性，具体包括：
S21)获取第二样本集：
S211)获取若干张1024×1024像素大小的宫颈细胞视野图像，并将其送入步骤S1)获得的可疑细胞自动检测模型中，网络将以可疑细胞框(x,y,w,h)的格式输出预测的可疑异常宫颈细胞的位置信息；注意这里的1024大小的视野图并不是异常细胞检测步骤中的视野图，他们都是同类型的视野图，但异常细胞检测步骤中的视野图的作用只是训练一个性能优秀的检测网络；
为了区分可疑细胞自动检测模型输出的可疑异常宫颈细胞哪些是真正异常的宫颈细胞，哪些是网络预测错误的宫颈细胞，也就是假阳性的细胞，本实施例以网络输出的可疑异常宫颈细胞为对象来训练一个分类网络；
S212)在步骤S211)中的若干张1024×1024像素大小的宫颈细胞视野图上，以可疑细胞自动检测模型输出的可疑细胞框的中心位置 为中心，按照设定规则向外扩展，得到一批224×224像素大小的小块细胞图像，小块细胞图像的中心是我们要进行分类的可疑异常宫颈细胞；
S213)步骤S212)会得到数量非常庞大的小块细胞图像，按照设定比例提取设定数量的小块细胞图像，让病理学家对小块细胞图像中的异常宫颈细胞做标记，判断其小块细胞图像中包含的目的细胞是否为真正阳性的异常宫颈细胞，得到有标注的数据集DL＝{(xi,yi)},i＝1,...,M，剩下没有标注的小块细胞图像为未标注的数据集DU＝{(xi)},i＝M+1,...,N，其中xi代表小块细胞图像，yi代表该小块细胞图形所属的类别：真正异常的宫颈细胞或者假阳性宫颈细胞；在本实施例中小块细胞图像作为第二样本集，将第二样本集划分为第二训练集与第二测试集，比例为7：3。其中第二训练集有标注的数据集和无标注的数据集的比例为2：8，第二测试集均为有标注图像。
全监督分类网络只能利用有标签信息的图像，给图像打标签就是判断该图像属于哪个类别，而对于病理学图像来说，得到医生对于病理学图像的标注是非常昂贵的，需要耗费大量的时间和精力；因此本实施例采用基于Mean-Teacher的半监督分类网络，半监督网络可以利用少量有标注数据和大量未标注数据提升相对于只用少量有标注数据的分类网络的分类性能。同时本实施例加入了针对小块细胞图像的掩膜，引入注意力机制，进一步提升半监督分类网络的性能。
S22)掩膜的获取：由于小块细胞图像是统一规格的，都是224×224像素大小，将步骤S213)中病理学家标注的异常宫颈细胞作为目标细胞，在224×224像素大小的小块细胞图像中的相对位置生成掩膜，掩膜图像也是224×224像素大小，其中目标细胞区域内的值是1，其余区域的值是0；
S23)假阳性抑制分类模型的建立：
S231)Mean-Teacher分类网络的结构：MT网络结构包括一个教师模型和一个学生模型组成，二者网络结构相同，本实施例中两者都是SE-ResNeXt-50；
S232)Mean-Teacher分类网络的损失计算：
S2321)每一个有标注信息的小块细胞图像xi经过学生模型都会有一个输出y′i，采用交叉熵方式计算yi和y′i的误差：
其中f(xi,θ)指学生模型对于图像xi的输出，θ为学生模型的参数；
S2322)同时因为教师模型和学生模型网络结构相同，因此对于近乎相同的有标注和无标注小块细胞图像的输入，两个网络应该有一致的预测结果，本实施例用平方差损失来计算两个网络输出结果的差异Lcon，
其中f(x′i,θ′)为教师模型对于图像x′i的输出，θ′为教师模型的参数；x′i是对xi进行了改变，本实施例中，所述改变为色彩亮度变化与垂直水平翻转；
S2323)引入注意力机制：为了使分类网络更好地关注224×224像素大小的小块细胞图像中的目标细胞，本实施例加入了掩膜和注意力机制，将分类网络全连接层之前的特征图尺寸变换到224×224像素大小并作归一化处理，与步骤S22)中获得的掩膜计算平方差损失Lmask：
其中Maski代表掩膜，S(AMi)代表从分类网络得到的归一化了的224×224大小的特征图；
S2324)学生模型与教师模型之间的约束Latt：
其中AM(j,k)学生模型注意力图在(j,k)坐标位置处的值，AM′(j,k)教师模型注意力图在(j,k)坐标位置处的值，p、q分别是特征图的长度和宽度，N是所有有标注和没有标注的小块图像的数量；
S2324)总损失Ltotal：
Ltotal＝Lcls+Lcon+Lmask+Latt。
S233)网络参数设置和优化：
S2331)训练网路：将步骤S213)中划分的第二训练集输入到学生模型与教师模型中，训练分类网络；其中学生模型的参数经梯度的反向传播更新，教师模型的模型参数由学生模型和上一轮训练过程中的教师模型参数通过组合计算得出；
S2332)测试集选取最优结果：利用步骤S213)中划分的第二测试集对训练得到的分类网络做筛选，得到分类结果最好的模型，即为假阳性抑制分类模型；其中筛选指标为衡量检测模型性能最常用的准确率、AUC、精度、F1等指标，至此引入注意力机制的半监督自动分类模型已获得。
在实际应用时，获取到病人的宫颈细胞视野图后将其输入到本实施例的可疑细胞自动检测模型中，自动输出若干小块细胞图像，并自动生成掩膜，然后自动输入到假阳性抑制分类模型中，自动输出可疑异常宫颈细胞的标注以及分类结果，大大减少了病理学家标记工作量，提高了异常宫颈细胞检测的精度，有效的抑制了假阳性。
为了验证本方法的有效性，本实施例采用本方法、全监督方法FS和Mean Teacher方法三种方法进行了实验对比分析，其检测结果如表1所示。
表1三种方法结果对比
从表1可知，全监督方法实验的性能随着标记数据数量的增加而提高。使用2组标记数据和8组未标记数据的基本MT方法的性能与使用6组标记数据的全监督分类网络相当。同时，本实施例提出的具有与MT方法相同训练数据的方法可以与使用8组标记数据的全监督分类网络相媲美，这清楚地表明，我们的方法优于MT方法，并且与全监督方法相比，大大降低了标签数据准备的成本。
本实施例利用本方法对宫颈细胞图像进行了实验分析，其实验分析结果如表2所示。
表2使用抑制FP方法对宫颈细胞图像的实验结果
在实验中，我们使用每个图像的假阳性细胞数来表示FP抑制。FP1表示每个正图像的平均假阳性细胞数，FP0是每个阴性图像的平均假阳性细胞数，FPavg表示每张图像的平均假阳性细胞数。
如果预测边界框和注释异常细胞的IoU小于0.5，我们将预测的“异常”细胞定义为假阳性细胞。对于正图像，每张图像的假阳性细胞数为13.95，在我们的FP抑制后数量减少到8.68；对于负图像，数字为7.98和0.39，这证明了FP抑制专门针对负图像的有效性。虽然测试数据的召回率从0.85降低到0.78，但不会影响最终的图像分类性能，因为如果病例被诊断为异常，通常会检测到足够的细胞。由于我们的FP抑制后FP的差异大大扩大，并且在实际临床测试情况下，阴性宫颈细胞图像约占90％，我们的方法可以大大减少检测错误的影响，并有助于最终诊断。
抑制之后的假阳性表2显示了抑制或不抑制后的假阳性结果。本实施例通过改进的半监督分类网络来抑制宫颈异常细胞检测中的误报；在检测到可疑异常细胞后，我们只对置信度得分高于0.1的检测细胞进行分类，因为大量置信度得分低于0.1的细胞对临床诊断价值不大。
以上所述的仅是本发明的一些实施方式。对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。
Claims (6)
1.一种基于引入注意力机制的异常细胞检测方法，其特征在于：其包括以下步骤：
S1）获取第一样本集：获取宫颈细胞视野图，病理学家在宫颈细胞视野图上采用矩形框形式标注出异常宫颈细胞，得到第一样本集；步骤S1）包括：
S11）获得若干张1024×1024像素大小的宫颈细胞视野图像为整数，代表获得的宫颈细胞视野图像总数；
S12）病理学家对上述宫颈细胞视野图像中的异常宫颈细胞做标注，得到第一样本集，其中标注形式为矩形框，用表示，/>为标注矩形框的左上顶点坐标，w为标注矩形框的宽度，h为标注矩形框的高度；
S2）异常细胞检测：将第一样本集送入目标检测RetinaNet网络中训练得到可疑细胞自动检测模型；
S3）获取第二样本集：
S31）获取若干张1024×1024像素大小的宫颈细胞视野图像，并将其送入所述可疑细胞自动检测模型中，所述可疑细胞自动检测模型将以可疑细胞框的格式输出预测的可疑异常宫颈细胞的位置信息；
S32）在步骤S31）中的若干张1024×1024像素大小的宫颈细胞视野图上，以可疑细胞框的中心位置为中心向外扩展，得到一批224×224像素大小的小块细胞图像；
S33）按照设定比例提取设定数量的小块细胞图像，让病理学家对小块细胞图像中的异常宫颈细胞做标记，得到有标注的数据集DL={(xi,yi)},i= 1,...,M，M为整数且代表有标注的数据集DL中的图片数量，剩下没有标注的小块细胞图像为未标注的数据集DU= {(xi)},i=M+1,...,N，N为整数且代表有未标注的数据集DU中的图片数量，其中xi代表小块细胞图像，yi代表该小块细胞图像所属的类别，为真正异常的宫颈细胞或者假阳性宫颈细胞；
S34）以所述步骤S32）中所获得的所有小块细胞图像为第二样本集，并将所述第二样本集按照设定比例划分为第二训练集与第二测试集，所述第二训练集按照设定的比例包含有标注的数据集和无标注的数据集，所述第二测试集均为有标注的数据集；
S4）掩膜生成：在有标注数据集中的小块细胞图像上根据标注的相对位置生成掩膜；
S5）将第二样本集输入到Mean-Teacher网络中，引入注意力机制和掩膜获得假阳性抑制分类模型，其包括：
S51）假阳性抑制分类模型的建立：Mean-Teacher分类网络包括一个教师模型和一个学生模型组成；
S52）Mean-Teacher分类网络的损失计算：
S521）每一个有标注信息的小块细胞图像经过学生模型都会有一个输出/>，采用交叉熵方式计算/>和/>的误差/>：
，
其中指学生模型对于图像/>的输出，/>为学生模型的参数；
S522）用平方差损失来计算两个教师模型和学生模型输出结果的差异，
，
其中为教师模型对于图像/>的输出，/>为教师模型的参数；/>是对/>进行了改变后的图像；
S523）注意力图与掩膜图差异损失计算：提取分类网络全连接层之前的特征图，生成注意力图，将所述注意力图尺寸变换到224×224像素大小并作归一化处理，与步骤S4）中获得的掩膜计算平方差损失：
，
其中代表掩膜，/>代表从分类网络得到的归一化了的224×224大小的特征图；
S524）学生模型与教师模型之间的约束损失：
，
其中为学生模型注意力图在(j,k)坐标位置处的值， />为教师模型注意力图在(j,k)坐标位置处的值，p、q分别是特征图的长度和宽度，N是所有有标注和没有标注的小块图像的数量；
S524）总损失：
；
S53）网络参数设置和优化：
S531）训练网路：将所述第二样本集划分为第二训练集与第二测试集，将所述第二训练集输入到学生模型与教师模型中，训练分类网络；其中学生模型的参数经梯度的反向传播更新，教师模型的模型参数由学生模型和上一轮训练过程中的教师模型参数通过组合计算得出；
S532）测试集选取最优结果：利用所述第二测试集对训练得到的分类网络做筛选，得到分类结果最好的模型，即为假阳性抑制分类模型；其中筛选指标为衡量检测模型性能的准确率、AUC、精度、F1-score指标。
2.如权利要求1所述的基于引入注意力机制的异常细胞检测方法，其特征在于：所述步骤S2）异常细胞检测包括：
S21）将所述第一样本集按设定比例划分为第一训练集和第一测试集；
S22）将第一训练集送入目标检测RetinaNet网络中，通过调节模型的初始学习率、损失函数中的参数使训练过程中的损失值收敛，完成网络训练；
S23）利用第一测试集对步骤S22）中的训练模型做筛选，得到可疑细胞自动检测模型；其中，筛选指标为mAP。
3.如权利要求1所述的基于引入注意力机制的异常细胞检测方法，其特征在于：所述步骤S4）掩膜生成包括将步骤S33）中病理学家标注的异常宫颈细胞作为目标细胞，在224×224像素大小的小块细胞图像中的相对位置生成掩膜，掩膜图像也是224×224像素大小，其中目标细胞区域内的值是1，其余区域的值是0。
4.如权利要求1所述的基于引入注意力机制的异常细胞检测方法，其特征在于：所述教师模型与所述学生模型均为SE-ResNeXt-50。
5.如权利要求1所述的基于引入注意力机制的异常细胞检测方法，其特征在于：所述步骤S522）中，所述改变包括色彩亮度变化与垂直水平翻转。
6.如权利要求1所述的基于引入注意力机制的异常细胞检测方法，其特征在于：所述注意力图由所述小块细胞图像通过Mean-Teacher分类网络的神经网络卷积层CNN得到。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111048528.2A CN113838008B (zh) | 2021-09-08 | 2021-09-08 | 一种基于引入注意力机制的异常细胞检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111048528.2A CN113838008B (zh) | 2021-09-08 | 2021-09-08 | 一种基于引入注意力机制的异常细胞检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113838008A CN113838008A (zh) | 2021-12-24 |
| CN113838008B true CN113838008B (zh) | 2023-10-24 |
Family
ID=78958725
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111048528.2A Active CN113838008B (zh) | 2021-09-08 | 2021-09-08 | 一种基于引入注意力机制的异常细胞检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113838008B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115208645B (zh) * | 2022-07-01 | 2023-10-03 | 西安电子科技大学 | 基于改进gan的入侵检测数据重构方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019240964A1 (en) * | 2018-06-12 | 2019-12-19 | Siemens Aktiengesellschaft | Teacher and student based deep neural network training |
| CN111310611A (zh) * | 2020-01-22 | 2020-06-19 | 上海交通大学 | 细胞视野图的检测方法及存储介质 |
| CN112215117A (zh) * | 2020-09-30 | 2021-01-12 | 北京博雅智康科技有限公司 | 一种基于宫颈细胞学图像的异常细胞识别方法及系统 |
| WO2021023202A1 (zh) * | 2019-08-07 | 2021-02-11 | 交叉信息核心技术研究院(西安)有限公司 | 一种卷积神经网络的自蒸馏训练方法、设备和可伸缩动态预测方法 |
| CN112686856A (zh) * | 2020-12-29 | 2021-04-20 | 杭州优视泰信息技术有限公司 | 一种基于深度学习的实时肠镜息肉检测装置 |
| CN112801212A (zh) * | 2021-03-02 | 2021-05-14 | 东南大学 | 一种基于小样本半监督学习的白细胞分类计数方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11030486B2 (en) * | 2018-04-20 | 2021-06-08 | XNOR.ai, Inc. | Image classification through label progression |
-
2021
- 2021-09-08 CN CN202111048528.2A patent/CN113838008B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019240964A1 (en) * | 2018-06-12 | 2019-12-19 | Siemens Aktiengesellschaft | Teacher and student based deep neural network training |
| WO2021023202A1 (zh) * | 2019-08-07 | 2021-02-11 | 交叉信息核心技术研究院(西安)有限公司 | 一种卷积神经网络的自蒸馏训练方法、设备和可伸缩动态预测方法 |
| CN111310611A (zh) * | 2020-01-22 | 2020-06-19 | 上海交通大学 | 细胞视野图的检测方法及存储介质 |
| CN112215117A (zh) * | 2020-09-30 | 2021-01-12 | 北京博雅智康科技有限公司 | 一种基于宫颈细胞学图像的异常细胞识别方法及系统 |
| CN112686856A (zh) * | 2020-12-29 | 2021-04-20 | 杭州优视泰信息技术有限公司 | 一种基于深度学习的实时肠镜息肉检测装置 |
| CN112801212A (zh) * | 2021-03-02 | 2021-05-14 | 东南大学 | 一种基于小样本半监督学习的白细胞分类计数方法 |
Non-Patent Citations (1)
| Title |
|---|
| 卷积神经网络的宫颈细胞图像分类;赵越;曾立波;吴琼水;;计算机辅助设计与图形学学报(第11期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113838008A (zh) | 2021-12-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113838009B (zh) | 一种基于半监督机制的异常细胞检测假阳性抑制方法 | |
| CN108573490B (zh) | 一种针对肿瘤影像数据的智能读片系统 | |
| CN106056595B (zh) | 基于深度卷积神经网络自动识别甲状腺结节良恶性的辅助诊断系统 | |
| CN109493308B (zh) | 基于条件多判别生成对抗网络的医疗图像合成与分类方法 | |
| CN106570505B (zh) | 对组织病理图像进行分析的方法和系统 | |
| CN109447065A (zh) | 一种乳腺影像识别的方法及装置 | |
| WO2022001571A1 (zh) | 一种基于超像素图像相似度的计算方法 | |
| Pan et al. | Mitosis detection techniques in H&E stained breast cancer pathological images: A comprehensive review | |
| CN110059697A (zh) | 一种基于深度学习的肺结节自动分割方法 | |
| CN110705639B (zh) | 一种基于深度学习的医学精子图像识别系统 | |
| Wang et al. | Combined use of FCN and Harris corner detection for counting wheat ears in field conditions | |
| CN111476754B (zh) | 一种骨髓细胞影像人工智能辅助分级诊断系统及方法 | |
| CN111462102B (zh) | 基于新型冠状病毒肺炎x射线胸片的智能分析系统及方法 | |
| CN114782307A (zh) | 基于深度学习的增强ct影像直肠癌分期辅助诊断系统 | |
| CN111626989B (zh) | 针对缺失标注的病理图像的高精度检测网络训练方法 | |
| CN113838008B (zh) | 一种基于引入注意力机制的异常细胞检测方法 | |
| CN114565572A (zh) | 一种基于图像序列分析的脑出血ct图像分类方法 | |
| CN114864075A (zh) | 一种基于病理图像的胶质瘤级别分析方法及装置 | |
| CN114332858A (zh) | 病灶检测方法及装置、病灶检测模型获取方法 | |
| Imran et al. | Image-Based Automatic Energy Meter Reading Using Deep Learning | |
| CN114548376A (zh) | 一种面向智能交通系统的车辆快速检测网络及方法 | |
| Sparks et al. | Novel morphometric based classification via diffeomorphic based shape representation using manifold learning | |
| CN109359583B (zh) | 一种遥感影像中显著性面状特定目标提取方法 | |
| CN113222887A (zh) | 基于深度学习的纳米铁标记神经干细胞示踪的方法 | |
| CN117392468B (zh) | 基于多示例学习的癌症病理图像分类系统、介质及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |