CN112990118A - 一种基于细粒度的宫颈细胞图像分类方法 - Google Patents
一种基于细粒度的宫颈细胞图像分类方法 Download PDFInfo
- Publication number
- CN112990118A CN112990118A CN202110443854.7A CN202110443854A CN112990118A CN 112990118 A CN112990118 A CN 112990118A CN 202110443854 A CN202110443854 A CN 202110443854A CN 112990118 A CN112990118 A CN 112990118A
- Authority
- CN
- China
- Prior art keywords
- module
- attention
- space
- cervical cell
- cell image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000000605 extraction Methods 0.000 claims abstract description 20
- 230000003416 augmentation Effects 0.000 claims abstract description 16
- 230000003321 amplification Effects 0.000 claims description 17
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 17
- 238000011176 pooling Methods 0.000 claims description 7
- 238000005070 sampling Methods 0.000 claims description 6
- 230000007246 mechanism Effects 0.000 abstract description 7
- 238000013434 data augmentation Methods 0.000 abstract description 6
- 238000005516 engineering process Methods 0.000 abstract description 4
- 239000000284 extract Substances 0.000 abstract description 3
- 210000004027 cell Anatomy 0.000 description 56
- 206010008342 Cervix carcinoma Diseases 0.000 description 12
- 208000006105 Uterine Cervical Neoplasms Diseases 0.000 description 12
- 201000010881 cervical cancer Diseases 0.000 description 12
- 238000012216 screening Methods 0.000 description 9
- 238000012549 training Methods 0.000 description 6
- 238000012360 testing method Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 241000282326 Felis catus Species 0.000 description 2
- 210000003855 cell nucleus Anatomy 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 238000009595 pap smear Methods 0.000 description 2
- 206010006187 Breast cancer Diseases 0.000 description 1
- 208000026310 Breast neoplasm Diseases 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000007790 scraping Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/698—Matching; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Abstract
本发明公开了一种基于细粒度的宫颈细胞图像分类方法，包括图像采集模块、增广模块、特征提取模块、空间与通道注意力模块，所述图像采集模块和增广模块电性连接，所述增广模块与特征提取模块通过电性连接，所述特征提取模块与空间与通道注意力模块单向连接，所述空间与通道注意力模块单向与增广模块连接。该基于细粒度的宫颈细胞图像分类方法提出了基于空间和通道的注意力机制，它能有效地定位细粒度宫颈细胞图像中的主要物体，并提取出高辨别性的细粒度特征。此外，在注意力机制定位主要物体的位置后，使用多样化的注意力数据増广技术对网络模型进行训练，减缓了模型的过拟合现象。
Description
技术领域
本发明涉及细胞图像分类技术领域，具体为一种基于细粒度的宫颈细胞图像分类方法。
背景技术
宫颈癌是我国女性最常见的恶性肿瘤之一，位列女性常见肿瘤的第二位，仅次于乳腺癌，目前宫颈癌发病率呈上升和年轻化趋势，且患者对生活质量有着很高的要求。如果在早期筛查出宫颈癌，并且在早期进行干预治疗的话，治愈率可以达到百分之八十以上。宫颈癌的早期筛查对于宫颈癌的预防和控制尤为重要，所以对于广大女性朋友来说，进行早期宫颈癌筛查是十分有必要的，这样能够大大地提高宫颈癌患者的生存率，对女性的生命健康来说，具有非常重要的意义。女性要养成定期体检的习惯，特别是每年要进行一次TCT检查或者宫颈刮片检查，TCT检查是目前医学上最先进的，也是最有效的一种宫颈癌早期筛查技术，通过进行检查，就能够在早期准确的筛查出宫颈癌。 目前临床上使用的宫颈癌筛查手段有三个，分别是宫颈细胞学检查、hpv检测和应用最为广泛的TCT。
宫颈细胞学检查是最重要的宫颈癌细胞学筛查手段之一，也就是宫颈刮片巴氏涂片检查，这种方法是最经济、最普遍、最简单有效且副作用最小的早期宫颈癌筛查手段，通过在显微镜下检查有无异常细胞，适合于大规模人群的集体体检。细胞涂片是细胞学家或者病理学家通过手动筛选的，因为宫颈细胞学涂片宫颈细胞图像是一种显微宫颈细胞图像，一幅涂片宫颈细胞图像的像素通常在500万像素，一幅涂片宫颈细胞图像上有数以千记甚至更多的细胞，并且细胞涂片的数量巨大，所以手工筛查对细胞学家或病理学家来说是一个高重复性的工作，同时也可能由于手工筛查的时间过长而导致他们出现视觉疲劳，而且要求工作人员要具备全面的医学知识、丰富的临床经验，并且通过人工来判读宫颈细胞种类的可靠性、准确性很容易受到工作人员的主观因素的影响，从而使细胞的分类错误，降低了分类的准确率，提高了假阳性（将正常细胞判读为病变细胞）和假阴性（将病变细胞判读为正常细胞）。采用计算机辅助细胞学检测的方法不仅可以提高筛选效率，也能够有效降低误诊率和假阴性率。因此，其研究发展受到了人们的广泛关注。 经过多年发展，计算机辅助的细胞宫颈细胞图像分类方法已经比较成熟。目前应用于细胞分类的方法主要有两种，分别是基于细胞核特征构建的分类方法和多宫颈细胞图像裁剪分类方法。但这两种方法的应用都存在一定的局限性。基于细胞核特征构建的分类方法缺乏一定的准确率，而宫颈细胞图像裁剪分类则容易造成信息冗余或丢失等。因此，人们需要推动新的细胞分类方法的发展。深度卷积神经网络凭借着自身的特点，在宫颈细胞图像分类中发挥着重要的作用。由于自身发展的限制，目前卷积神经网络的应用存在着一定的问题与缺陷。 传统的宫颈细胞图像分类是判断识别宫颈细胞图像的种类，比如给定一张图片，判断图片中的物体是猫还是狗；而细粒度宫颈细胞图像分类，要在同属于一个类别的中，判断更细的类别，比如，给定一张图片，要判断图片中的物体是什么种类的猫或者是哪一种类的狗。细粒度宫颈细胞图像分类要更加困难，它的主要挑战在于(1)准确判定关键识别区域(2)提取有效的细粒度特征。因此，本文提出一种基于细粒度的宫颈细胞图像分类方法，可大幅度提升分类的准确度和减少需要训练的样本量，基于注意力机制，将识别区域判定与细粒度特征提取结合起来，相互促进。
发明内容
本发明的目的在于提供一种基于细粒度的宫颈细胞图像分类方法，以解决上述背景技术中提出的问题。 为实现上述目的，本发明提供如下技术方案：一种基于细粒度的宫颈细胞图像分类方法，包括图像采集模块、增广模块、特征提取模块、空间与通道注意力模块，所述图像采集模块和增广模块电性连接，所述增广模块与特征提取模块通过电性连接，所述特征提取模块与空间与通道注意力模块单向连接，所述空间与通道注意力模块单向与增广模块连接。 进一步的，所述空间与通道注意力模块包括特征图模块、注意力图模块、空间与通道双线性池化模块和嵌入特征模块。 一种基于细粒度的宫颈细胞图像分类方法，包括以下步骤： （1）先对图像进行采样，采样后对细胞图片进行第一次增广，然后对第一次增广的图像进行特征提取，生成特征图，同时对第一次增广的图像进行多次二次增广，生成多个注意力图，反馈给第一次增广的图像； （2）接着将特征图与多个注意力图通过双线性拟合算法生成新的特征图，将新的特征图输入通道注意力模块从而定位细粒度宫颈细胞图像中的对象位置信息，输出更优的第三特征图； （3）最后将多个第三特征图池化连接，输出最终的特征。 与现有技术相比，本发明的有益效果是：该宫颈细胞图像分类方法提出了基于空间和通道的注意力机制，它能有效地定位细粒度宫颈细胞图像中的主要物体，并提取出高辨别性的细粒度特征。此外，在注意力机制定位主要物体的位置后，使用多样化的注意力数据増广技术对网络模型进行训练，减缓了模型的过拟合现象。在测试阶段，利用注意力裁剪和注意力放大对测试宫颈细胞图像进行重采样，从而进一步地提升了网络模型的测试性能； 局部宫颈细胞图像特征的好坏对后续任务（宫颈细胞图像匹配）的性能起到决定性作用。为此，针对基于深度学习的局部宫颈细胞图像特征提取算法，本发明提出了分段混淆损失函数，在网络模型训练阶段，该函数通过引入适量的混淆噪声，减缓了模型对训练数据的过拟合现象，从而使得模型提取的特征泛化性能变强。
附图说明
图1为本发明整体流程示意图； 图2为本发明空间与通道注意力模块流程示意图；图3为本发明通道注意力模块流程示意图。
具体实施方式
在本发明的描述中，需要说明的是，术语“上”、“下”、“内”、“外”“前端”、“后端”、“两端”、“一端”、“另一端”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。 在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“设置有”、“连接”等，应做广义理解，例如“连接”，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。 请参阅图1-3，本发明提供一种技术方案：一种基于细粒度的宫颈细胞图像分类方法，包括图像采集模块、增广模块、特征提取模块、空间与通道注意力模块，图像采集模块和增广模块电性连接，增广模块与特征提取模块通过电性连接，特征提取模块与空间与通道注意力模块单向连接，空间与通道注意力模块单向与增广模块连接。空间与通道注意力模块包括特征图模块、注意力图模块、空间与通道双线性池化模块和嵌入特征模块。 一种基于细粒度的宫颈细胞图像分类方法，包括以下步骤： （1）先对图像进行采样，采样后对细胞图片进行第一次增广，然后对第一次增广的图像进行特征提取，生成特征图，同时对第一次增广的图像进行多次二次增广，生成多个注意力图，反馈给第一次增广的图像； （2）接着将特征图与多个注意力图通过双线性拟合算法生成新的特征图，将新的特征图输入通道注意力模块从而定位细粒度宫颈细胞图像中的对象位置信息，输出更优的第三特征图； （3）最后将多个第三特征图池化连接，输出最终的特征。 实际中，人类对宫颈细胞图像进行辨别时，通常会寻找宫颈细胞图像中的重点区域进行分析，从而判别宫颈细胞图像的类别。同理，计算机视觉中的注意力模块旨在定位细粒度宫颈细胞图像中的对象位置信息，从而实现更优的宫颈细胞图像特征提取。目前，已有的宫颈细胞图像注意力机制虽然能定位到宫颈细胞图像的重要区域，从而提升网络模型的测试性能。但是，这些方法仍然存在不足，如细粒度特征的可辨别性可以进一步增强。因此，为了获得更好的注意力定位性能和特征提取性能，这里提出了基于空间与通道的注意力机制，它除了能有效地利用卷积特征图中的空间信息，还能充分利用卷积特征图中的通道信息。此外，为了更进一步地提升网络模型在细粒度宫颈细胞图像分类中的测试性能，在网络训练阶段，通过引入多样性的数据増广形式，以减缓模型的过拟合现象。 线性注意力模块能充分地利用空间信息，从而构建更复杂鲁棒的宫颈细胞图像特征。为了让提取的细粒度特征具备更强的辨别性，一个空间与通道双线性池化模块被提出，该模块的细节如附图2。为了让双线性注意力模块提取的特征更鲁棒，针对不同的特征图，都在后面融入了通道注意力模块，如附图３。 数据增广技术通过随机裁剪、翻转等形式增加训练数据的数量，可以有效地减缓网络模型的过拟合现象。它通过利用注意力宫颈细胞图像的响应，在输入宫颈细胞图像中进行重采样，从而有针对性地增加了训练数据和测试数据。本文使用注意力裁剪、注意力剔除和注意力放大对网络模型进行训练，从而更好地减缓模型过拟合现象。 针对细粒度宫颈细胞图像分类任务，本发明提出基于空间与通道注意力的多样性数据增广算法，它由空间与通道注意力模块和多样性数据增广模块两者组成。其中空间与通道注意力模块不仅利用了物体空间的信息，也同时考虑了卷积特征图中不同通道的信息，从而提高了特征的辨别性能。此外，网络模型通过利用多样化注意力数据增广，可以有效地缓解模型过拟合现象，从而进一步地提升了模型的性能。 尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (3)
1.一种基于细粒度的宫颈细胞图像分类方法，包括图像采集模块、增广模块、特征提取模块、空间与通道注意力模块，其特征在于：所述图像采集模块和增广模块电性连接，所述增广模块与特征提取模块通过电性连接，所述特征提取模块与空间与通道注意力模块单向连接，所述空间与通道注意力模块单向与增广模块连接。
2.根据权利要求1所述的一种基于细粒度的宫颈细胞图像分类方法，其特征在于：所述空间与通道注意力模块包括特征图模块、注意力图模块、空间与通道双线性池化模块和嵌入特征模块。
3.一种基于细粒度的宫颈细胞图像分类方法，其特征在于，包括以下步骤： （1）先对图像进行采样，采样后对细胞图片进行第一次增广，然后对第一次增广的图像进行特征提取，生成特征图，同时对第一次增广的图像进行多次二次增广，生成多个注意力图，反馈给第一次增广的图像； （2）接着将特征图与多个注意力图通过双线性拟合算法生成新的特征图，将新的特征图输入通道注意力模块从而定位细粒度宫颈细胞图像中的对象位置信息，输出更优的第三特征图； （3）最后将多个第三特征图池化连接，输出最终的特征。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110443854.7A CN112990118A (zh) | 2021-04-23 | 2021-04-23 | 一种基于细粒度的宫颈细胞图像分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110443854.7A CN112990118A (zh) | 2021-04-23 | 2021-04-23 | 一种基于细粒度的宫颈细胞图像分类方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112990118A true CN112990118A (zh) | 2021-06-18 |
Family
ID=76339996
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110443854.7A Pending CN112990118A (zh) | 2021-04-23 | 2021-04-23 | 一种基于细粒度的宫颈细胞图像分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112990118A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117218443A (zh) * | 2023-09-22 | 2023-12-12 | 东北大学 | 巴氏涂片宫颈细胞图像分类方法及系统 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112215117A (zh) * | 2020-09-30 | 2021-01-12 | 北京博雅智康科技有限公司 | 一种基于宫颈细胞学图像的异常细胞识别方法及系统 |
-
2021
- 2021-04-23 CN CN202110443854.7A patent/CN112990118A/zh active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112215117A (zh) * | 2020-09-30 | 2021-01-12 | 北京博雅智康科技有限公司 | 一种基于宫颈细胞学图像的异常细胞识别方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| JIE HU等: "Squeeze-and-Excitation Networks", 《 IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE 》 * |
| TAO HU等: "See Better Before Looking Closer: Weakly Supervised Data Augmentation Network for Fine-Grained Visual Classification", 《ARXIV:1901.09891V2 [CS.CV]》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117218443A (zh) * | 2023-09-22 | 2023-12-12 | 东北大学 | 巴氏涂片宫颈细胞图像分类方法及系统 |
| CN117218443B (zh) * | 2023-09-22 | 2024-03-05 | 东北大学 | 巴氏涂片宫颈细胞图像分类方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106056595B (zh) | 基于深度卷积神经网络自动识别甲状腺结节良恶性的辅助诊断系统 | |
| CN112101451B (zh) | 一种基于生成对抗网络筛选图像块的乳腺癌组织病理类型分类方法 | |
| CN109858540B (zh) | 一种基于多模态融合的医学图像识别系统及方法 | |
| CN110245657B (zh) | 病理图像相似性检测方法及检测装置 | |
| CN104376147B (zh) | 基于图像的风险分数的图像分析系统 | |
| CN107368670A (zh) | 基于大数据深度学习的胃癌病理诊断支持系统和方法 | |
| CN109740626A (zh) | 基于深度学习的乳腺癌病理切片中癌症区域的检测方法 | |
| CN110097974A (zh) | 一种基于深度学习算法的鼻咽癌远端转移预测系统 | |
| CN101551854B (zh) | 不平衡医学影像处理系统及其处理方法 | |
| CN108038352A (zh) | 结合差异化分析和关联规则挖掘全基因组关键基因的方法 | |
| AU2021349226B2 (en) | Critical component detection using deep learning and attention | |
| CN110232410A (zh) | 多层级的器官组织病理图像分析方法及分析装置 | |
| CN112330616A (zh) | 一种脑脊液细胞图像自动化识别和计数的方法 | |
| CN113011257A (zh) | 一种乳腺癌免疫组化人工智能判读方法 | |
| CN113902669A (zh) | 一种尿脱落细胞液基涂片的阅片方法及系统 | |
| CN114580558A (zh) | 一种子宫内膜癌细胞检测方法、系统、设备及存储介质 | |
| CN112990118A (zh) | 一种基于细粒度的宫颈细胞图像分类方法 | |
| CN113222944B (zh) | 细胞核分割方法及基于病理图像的癌症辅助分析系统、装置 | |
| CN114387596A (zh) | 细胞病理涂片自动判读系统 | |
| CN111554381A (zh) | 一种基于深度学习的肾透明细胞癌人工智能病理诊断方法及其诊断模型 | |
| CN116664932A (zh) | 一种基于主动学习的结直肠癌病理组织图像分类方法 | |
| CN111680553A (zh) | 一种基于深度可分离卷积的病理图像识别方法及系统 | |
| Nithya et al. | Detection of Anaemia using Image Processing Techniques from microscopy blood smear images | |
| Xu et al. | A high-precision classification method of mammary cancer based on improved DenseNet driven by an attention mechanism | |
| CN113222928B (zh) | 一种尿细胞学人工智能尿路上皮癌识别系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210618 |
|
| RJ01 | Rejection of invention patent application after publication |