CN116129426A - 一种宫颈细胞涂片18类别的细粒度分类方法 - Google Patents

一种宫颈细胞涂片18类别的细粒度分类方法 Download PDF

Info

Publication number
CN116129426A
CN116129426A CN202211481602.4A CN202211481602A CN116129426A CN 116129426 A CN116129426 A CN 116129426A CN 202211481602 A CN202211481602 A CN 202211481602A CN 116129426 A CN116129426 A CN 116129426A
Authority
CN
China
Prior art keywords
network
classification
cervical cell
fine
pictures
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211481602.4A
Other languages
English (en)
Inventor
刘贇
陈自强
卢思奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Maizhi Medical Technology Co ltd
Original Assignee
Guangdong Maizhi Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Maizhi Medical Technology Co ltd filed Critical Guangdong Maizhi Medical Technology Co ltd
Priority to CN202211481602.4A priority Critical patent/CN116129426A/zh
Publication of CN116129426A publication Critical patent/CN116129426A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698Matching; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/082Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695Preprocessing, e.g. image segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种宫颈细胞涂片18类别的细粒度分类方法,涉及计算机视觉技术领域,提出了基于区域定位感知与混淆对抗的细粒度神经网络,使其在宫颈细胞涂片上有着较好的表现。具体表现在:1.对于训练图片进行区域打乱重排的操作配合区域定位感知的损失函数,使网络能学习到图像内部不同区域之间的联系与区别。2.添加了混淆对抗分支,使得网络的特征提取器可以得到细粒度的局部特征。在预测阶段,只采用分类的输出,并经过softmax函数的计算后,得出最终的分类结果。本方法可以识别到目前为止最多的18类宫颈细胞。实验结果表明了分类的效果好,平均识别准确率可以达到99.49%,可以很好得满足宫颈健康医疗检测的需要。

Description

一种宫颈细胞涂片18类别的细粒度分类方法
技术领域
本发明属于计算机视觉技术领域,具体涉及一种宫颈细胞涂片18类别的细粒度分类方法。
背景技术
宫颈癌严重威胁女性的健康,因为其发病周期较长,故及时的定期检查对于疾病的发现具有十分非要的意义。随着卷积神经网络的发展以其在图像任务中的有效性,越来越多的卷积神经网络算法应用到宫颈细胞的检测中。
限于医疗数据的采集与标注成本,现有的卷积神经网络的宫颈细胞的分类类别数较少,如SIPaKMeD数据集按照正常,异常分为两大类,共4种亚型。由于不同的亚型的细胞由于其整体结构相似,故通用的分类网络对此任务的效果并不理想。若采取对于不同亚型细胞细粒度特征进行特别的标注,如额外标注mask等信息,又会进一步增加医疗数据集及标签的获取成本。
发明内容
本发明的目的是针对现有的问题,提供了一种宫颈细胞涂片18类别的细粒度分类方法,该方法使得网络可以学习到不同宫颈细胞的细粒度特征,对于18类的宫颈细胞分类识别准确率很高。
本发明是通过以下技术方案实现的:
一种宫颈细胞涂片18类别的细粒度分类方法,包括如下步骤:
S1、将采集来的宫颈细胞图片分为18个类别;
S2、将采集来的图片进行区域打乱重排的操作,并与原始图片一起输入到神经网络进行训练;
S3、输入的训练图片首先经过分类网络与18个类别标签进行损失函数的计算;
S4、将在主干的分类网络得到的特征向量输入到区域对齐网络,与区域打乱重排处的坐标信息进行损失函数的计算;
S5、特征向量同时输入到对抗网络中,并与代表输入训练图片原始与区域打乱重拍后的0或1标签进行损失函数的计算;
S6、在模型推理时,原始图片输入分类网络得到最终结果。
进一步地,步骤S1中所述的将采集来的宫颈细胞图片,按照医学工作者的标注,分为对肿瘤细胞存在9类亚型:非病变细胞;萎缩;妊娠反应;炎症反应;放化疗反应;滴虫;念珠菌;放线菌;细菌性阴道菌。
针对针对病变细胞有8类:ASC-US;ASC-H;HG4/HSIL;LSIL;鳞状细胞癌、AGC-NOS;AGC-FN;腺癌;其他类别。
进一步地,步骤S2具体为:
S21、将采集来的图片均分为7x7个小块;
S22、创建一个与原始图片一样大小的图片,随机选取小块图像,并依次覆盖在创建的图片上;
S23、得到原始图像打乱重排的图像,并与原图像成对输入到网络模型中;
进一步地,步骤S3具体为:
S31、分类网络的特征提取器为残差网络,包含1x1与3x3的卷积操作,与最大值池化操作;
S32、将卷积提取后的特征图经过拉平操作输入到全连接层中;
S33、全连接层的输出与18个类别标签进行交叉熵损失函数的计算。
进一步地,步骤S4具体为:
S41、经过分类网络的卷积层得到的特征向量,经过形状为2048*1的卷积操作,得到通道数为1的特征图;
S42、特征图经过尺寸为2的最大池化操作,后经过tanh激活函数,将其维度变换成二维张量后,对接全连接层进行计算;
S43、将区域对齐网络的输出与打乱处的坐标进行L1LOSS的损失函数计算。
进一步地,步骤S5具体为:
S51、分类网络的特征图输入到另一个全连接层;
S52、对抗网络的输出与0或1的标签进行A-softmax损失函数计算。
进一步地,步骤S6具体为:
S61、推理时采用训练好的网络,输入的图片不再进行打乱操作;
S62、推理时只选取分类模型的输出;
S63、输出需经过softmax函数后得出最终的分类类别标签。
本发明相比现有技术具有以下优点:
1、针对现有技术存在的问题,本发明首先获取了丰富类别的宫颈细胞数据集。细胞并采用一种对训练图片进行区域打乱重排的方式,让其避免不同亚型细胞具有相似全局结构特征的影响,从而能够学习到局部的细粒度特征。并对区域打乱重排的图片所产生的噪声设计相应的区域对齐网络与对抗网络进行处理。最终对于细胞的细粒度分类效果区分度很高,并且不需要额外的标签。
2、针对现有方法能够识别的宫颈细胞类别数不全面的缺点,本发明的宫颈细胞细粒度分类方法,可以针对宫颈细胞的正常与疾病类别下的共18种亚型进行分类。分类的数量更多,更细致。
3、由于每种大类下的亚型特征相似,本发明可以很好地学习到不同亚型的细粒度特征,并且对于不受训练时随机打乱图片产生的噪声影响。对于宫颈细胞的18中分类效果十分理想。
附图说明
图1为本发明中的区域打乱重排后的对比示意图;
图2为本发明中的区域打乱重排后的对比示意图,左侧为原始图片,右侧为区域打乱重拍后的图片;
图3为本发明的整体训练网络算法结构示意图;
图4为本发明的推理网络算法结构示意图。
具体实施方式
一种宫颈细胞涂片18类别的细粒度分类方法,包括如下步骤:
步骤1:将采集的宫颈细胞进行分类,非病变类别包括:萎缩;妊娠反应;炎症反应;放化疗反应;滴虫;念珠菌;放线菌;细菌性阴道菌;病变类别包括:ASC-US;ASC-H;HG4/HSIL;LSIL;鳞状细胞癌、AGC-NOS;AGC-FN;腺癌;其他类别;
步骤2:将训练的原始图片均分为49个小块,并将其随机打乱后,进行重排;如图2,为原始图片与打乱重排后图片的对比;
步骤3:训练图片输入到ResNet的残差网络,原始图像为i,打乱重排的图像为φ(I),分类网络把输入图像映射到概率分布向量C(I,θcls),θcls为分类网络中所有的可学习参数,分类网络最后的损失函数为:
其中是训练集的所有图像;
步骤4:如图3,区域对齐网络的输入是分类网络的一个卷积层的输出特征n代表的就是第n层,通过1×1卷积处理特征,以获得具有两个通道的输出,然后通过Tanh和平均池化处理输出,已得到尺寸为2×N×N的映射,最后的区域对齐网络的输出为:
其中M(I)的两个通道分别对应于行和列的位置坐标,其中h是我们提出的区域对齐网络,θloc是区域对齐网络的参数,在I中预测的Rσ(i,j)和位置Mσ(i,j)(φ(I)),在I中预测的Ri,j的位置为Mi,j(I,i,j),对应的标签为(i,j),区域对齐损失Lloc定义为预测坐标与原始坐标之间的L1距离,为:
步骤5:每一张图片标记为为d∈{0,1}2,表示这个图片是不是被破坏,将2048张特征图输入到对抗网络中:
其中C是分类网络第m层卷积网络输出的特征向量,是分类网络的可学习参数,θadv∈Rd×2是一个线性的映射,判别器的损失Ladv如下:
步骤6:得到三种损失函数之后,分类损失,对抗损失和区域对齐损失整合到一起,进行最小化的优化:
L=αLcls+βLabc+γLloc
步骤7:如图4所示,训练后的模型推理,测试图片使用未打乱的图片,输入分类的模型中,结果进行softmax后,得到最终的输出。

Claims (7)

1.一种宫颈细胞涂片18类别的细粒度分类方法,其特征在于,包括如下步骤:
S1、将采集来的宫颈细胞图片分为18个类别;
S2、将采集来的图片进行区域打乱重排的操作,并与原始图片一起输入到神经网络进行训练;
S3、输入的训练图片首先经过分类网络与18个类别标签进行损失函数的计算;
S4、将在主干的分类网络得到的特征向量输入到区域对齐网络,与区域打乱重排处的坐标信息进行损失函数的计算;
S5、特征向量同时输入到对抗网络中,并与代表输入训练图片原始与区域打乱重拍后的0或1标签进行损失函数的计算;
S6、在模型推理时,原始图片输入分类网络得到最终结果。
2.根据权利要求1所述一种宫颈细胞涂片18类别的细粒度分类方法,其特征在于,步骤S1中所述的将采集来的宫颈细胞图片,按照医学工作者的标注,分为对肿瘤细胞存在9类亚型:非病变细胞;萎缩;妊娠反应;炎症反应;放化疗反应;滴虫;念珠菌;放线菌;细菌性阴道菌。
针对针对病变细胞有8类:ASC-US;ASC-
H;HG4/HSIL;LSIL;鳞状细胞癌、AGC-NOS;AGC-FN;腺癌;其他类别。
3.根据权利要求1所述一种宫颈细胞涂片18类别的细粒度分类方法,其特征在于,步骤S2具体为:
S21、将采集来的图片均分为7x7个小块;
S22、创建一个与原始图片一样大小的图片,随机选取小块图像,并依次覆盖在创建的图片上;
S23、得到原始图像打乱重排的图像,并与原图像成对输入到网络模型中。
4.根据权利要求1所述一种宫颈细胞涂片18类别的细粒度分类方法,其特征在于,步骤S3具体为:
S31、分类网络的特征提取器为残差网络,包含1x1与3x3的卷积操作,与最大值池化操作;
S32、将卷积提取后的特征图经过拉平操作输入到全连接层中;
S33、全连接层的输出与18个类别标签进行交叉熵损失函数的计算。
5.根据权利要求1所述一种宫颈细胞涂片18类别的细粒度分类方法,其特征在于,步骤S4具体为:
S41、经过分类网络的卷积层得到的特征向量,经过形状为2048*1的卷积操作,得到通道数为1的特征图;
S42、特征图经过尺寸为2的最大池化操作,后经过tanh激活函数,将其维度变换成二维张量后,对接全连接层进行计算;
S43、将区域对齐网络的输出与打乱处的坐标进行L1LOSS的损失函数计算。
6.根据权利要求1所述一种宫颈细胞涂片18类别的细粒度分类方法,其特征在于,步骤S5具体为:
S51、分类网络的特征图输入到另一个全连接层;
S52、对抗网络的输出与0或1的标签进行A-softmax损失函数计算。
7.根据权利要求1所述一种宫颈细胞涂片18类别的细粒度分类方法,其特征在于,步骤S6具体为:
S61、推理时采用训练好的网络,输入的图片不再进行打乱操作;
S62、推理时只选取分类模型的输出;
S63、输出需经过softmax函数后得出最终的分类类别标签。
CN202211481602.4A 2022-11-24 2022-11-24 一种宫颈细胞涂片18类别的细粒度分类方法 Pending CN116129426A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211481602.4A CN116129426A (zh) 2022-11-24 2022-11-24 一种宫颈细胞涂片18类别的细粒度分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211481602.4A CN116129426A (zh) 2022-11-24 2022-11-24 一种宫颈细胞涂片18类别的细粒度分类方法

Publications (1)

Publication Number Publication Date
CN116129426A true CN116129426A (zh) 2023-05-16

Family

ID=86301693

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211481602.4A Pending CN116129426A (zh) 2022-11-24 2022-11-24 一种宫颈细胞涂片18类别的细粒度分类方法

Country Status (1)

Country Link
CN (1) CN116129426A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117095240A (zh) * 2023-10-16 2023-11-21 之江实验室 一种基于细粒度特征的叶片分类方法和系统
CN117218443A (zh) * 2023-09-22 2023-12-12 东北大学 巴氏涂片宫颈细胞图像分类方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111612076A (zh) * 2020-05-23 2020-09-01 南京南大智慧城市规划设计股份有限公司 基于DCL和Cascade的图像精细识别方法
CN115359483A (zh) * 2022-08-09 2022-11-18 杭州迪英加科技有限公司 一种针对宫颈液基细胞分类的训练方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111612076A (zh) * 2020-05-23 2020-09-01 南京南大智慧城市规划设计股份有限公司 基于DCL和Cascade的图像精细识别方法
CN115359483A (zh) * 2022-08-09 2022-11-18 杭州迪英加科技有限公司 一种针对宫颈液基细胞分类的训练方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Y. CHEN等: ""Destruction and Construction Learning for Fine-Grained Image Recognition"", 《2019 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》, pages 5152 - 5161 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117218443A (zh) * 2023-09-22 2023-12-12 东北大学 巴氏涂片宫颈细胞图像分类方法及系统
CN117218443B (zh) * 2023-09-22 2024-03-05 东北大学 巴氏涂片宫颈细胞图像分类方法及系统
CN117095240A (zh) * 2023-10-16 2023-11-21 之江实验室 一种基于细粒度特征的叶片分类方法和系统

Similar Documents

Publication Publication Date Title
CN110728200B (zh) 一种基于深度学习的实时行人检测方法及系统
CN110443143B (zh) 多分支卷积神经网络融合的遥感图像场景分类方法
CN109886121B (zh) 一种遮挡鲁棒的人脸关键点定位方法
CN107016357B (zh) 一种基于时间域卷积神经网络的视频行人检测方法
CN116129426A (zh) 一种宫颈细胞涂片18类别的细粒度分类方法
CN112052783A (zh) 一种结合像素语义关联和边界注意的高分影像弱监督建筑物提取方法
CN112036231B (zh) 一种基于车载视频的车道线和路面指示标志检测与识别方法
JP2014041476A (ja) 画像処理装置、画像処理方法及びプログラム
CN111160407A (zh) 一种深度学习目标检测方法及系统
CN111241963B (zh) 基于交互建模的第一人称视角视频交互行为识别方法
CN109145964B (zh) 一种实现图像颜色聚类的方法和系统
CN110766670A (zh) 一种基于深度卷积神经网络的乳腺钼靶图像肿瘤定位算法
CN112419202B (zh) 基于大数据及深度学习的野生动物图像自动识别系统
CN113449806A (zh) 基于层次结构的二阶段林业害虫识别与检测系统及方法
CN112883850A (zh) 一种基于卷积神经网络的多视角空天遥感图像匹配方法
CN115147488B (zh) 一种基于密集预测的工件位姿估计方法与抓取系统
CN113420827A (zh) 语义分割网络训练和图像语义分割方法、装置及设备
CN107423771B (zh) 一种两时相遥感图像变化检测方法
CN112396036A (zh) 一种结合空间变换网络和多尺度特征提取的遮挡行人重识别方法
Zuo et al. A remote sensing image semantic segmentation method by combining deformable convolution with conditional random fields
CN114154563B (zh) 基于混合监督训练的目标检测方法
CN111242028A (zh) 基于U-Net的遥感图像地物分割方法
CN109272522B (zh) 一种基于局部特征的图像细化分割方法
CN114494786A (zh) 一种基于多层协调卷积神经网络的细粒度图像分类方法
CN116486238B (zh) 联合点集表示与图分类的目标细粒度识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20230516

RJ01 Rejection of invention patent application after publication