CN114782948A - 一种对宫颈液基细胞学涂片的全局判读方法及系统 - Google Patents

一种对宫颈液基细胞学涂片的全局判读方法及系统 Download PDF

Info

Publication number
CN114782948A
CN114782948A CN202210498397.6A CN202210498397A CN114782948A CN 114782948 A CN114782948 A CN 114782948A CN 202210498397 A CN202210498397 A CN 202210498397A CN 114782948 A CN114782948 A CN 114782948A
Authority
CN
China
Prior art keywords
cell
globally
image
interpreted
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210498397.6A
Other languages
English (en)
Inventor
杨志明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Deep Thinking Of Artificial Intelligence Technology Shanghai Co ltd
Original Assignee
Deep Thinking Of Artificial Intelligence Technology Shanghai Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Deep Thinking Of Artificial Intelligence Technology Shanghai Co ltd filed Critical Deep Thinking Of Artificial Intelligence Technology Shanghai Co ltd
Priority to CN202210498397.6A priority Critical patent/CN114782948A/zh
Publication of CN114782948A publication Critical patent/CN114782948A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

本申请公开了一种对宫颈液基细胞学涂片的全局判读方法及系统：首先，对宫颈液基细胞学涂片的细胞图像进行采集，将细胞图像切分为多个图像分片；其次，将多个图像分片输入到训练完成的第一神经网络中进行疑似病变区域的识别，及对疑似病变区域进行分级分类，得到分级分类的疑似病变区域；再次，从分级分类的疑似病变区域中，提取细胞特征，并基于提取的细胞特征进行细胞特征补全，得到待全局判读的细胞特征；最后，将待全局判读的细胞特征输入到训练完成的具有Transformer模型的第二神经网络中，进行处理，得到全局判读结果。因此，本申请实施例可以对宫颈液基细胞学涂片进行准确地全局判读，得到准确的全局判读结果。

Description

一种对宫颈液基细胞学涂片的全局判读方法及系统
技术领域
本申请涉及计算机图像处理技术领域，特别涉及一种对宫颈液基细胞学涂片的全局判读方法及系统。
背景技术
宫颈癌是最常见的妇科恶性肿瘤,早期筛查能够密切监测疾病进展，及时干预和治疗，而宫颈液基细胞学涂片检查是一种宫颈细胞病变的筛查方法。近年来，随着人工智能技术的快速发展，使得计算机视觉在生物医学和临床应用中发挥着越来越重要的作用。同时，随着数字化图像处理技术的日趋成熟，宫颈液基细胞学涂片可以便捷地通过计算机系统自动完成扫描与存储。于是，计算机阅片辅助系统辅助宫颈细胞学筛查的应用成为了医疗图像领域的研究热点。
目前，基于卷积神经网络的目标检测技术已经实现了宫颈巴氏涂片的图像分类、目标检测和细胞分割。借助这些技术，计算机阅片辅助系统能够识别疑似的病变区域，给出该病变区域的分类分级，让医生在包含数以万计细胞、微生物和杂质的整张涂片中快速定位这些被检测出的疑似区域，并根据分类分级提示综合进行阴阳诊断，这无疑很大程度上减轻了医生的工作量。但是，对于宫颈液基细胞学涂片的最后且也是最重要的一个检测环节-——整张涂片的阴阳结果诊断依然需要由相关专家阅片完成，然而经验丰富且合格的细胞学专家十分缺乏，同时阅片过程容易受他们的诊断经验、情绪以及疲劳等因素的影响。因此，如何只依靠计算机阅片辅助系统自动对整张涂片进行阴阳判读，成为了宫颈癌早筛过程中亟待解决的问题。
目前，计算机阅片辅助系统基于卷积神经网络，检测宫颈液基细胞学涂片的细胞图像，将从中检测出的疑似区域进行简单计数，或使用带有人为规则的决策树模型进行全局的阴阳判读。由于不同个体，不同制片方式及不同扫描仪得到该涂片的图像差异性较大，基于卷积神经网络的检测、分类以及分割模型容易产生不稳定的结果，从而影响该涂片的全局判读的准确性。更进一步地，上述方法只关注该涂片的单独疑似病变区域的信息，忽略了这些检出的疑似病变区域之间的联系，即假设所有检出的疑似病变区域都是独立且相同概率分布的，显然，这种假设并不完全有效。实际上，细胞学专家在诊断时经常将当前视野下的疑似病变区域与周围区域的不同细胞进行对比，同时考虑不同疑似病变区域之间的相关信息，对该涂片进行全局判读。
可以看出，上述方法在对宫颈液基细胞学涂片进行全局判读时，所得到的全局判读结果不准确。
发明内容
有鉴于此，本申请实施例提供一种对宫颈液基细胞学涂片的全局判读方法，该方法能够对宫颈液基细胞学涂片进行准确地全局判读，得到准确的全局判读结果。
本申请实施例还提供一种对宫颈液基细胞学涂片的全局判读系统，该系统能够对宫颈液基细胞学涂片进行准确地全局判读，得到准确的全局判读结果。
本申请实施例是这样实现的：
一种对宫颈液基细胞学涂片的全局判读方法，所述方法包括：
采集宫颈液基细胞学涂片的细胞图像；
将所述细胞图像切分为多个图像分片；
将所述多个图像分片输入到训练完成的第一神经网络中进行疑似病变区域的识别，及对疑似病变区域中的细胞进行分级分类，得到分级分类的疑似病变区域；
从所述分级分类的疑似病变区域中，采用训练完成的特征提取模型提取细胞特征后，基于提取的细胞特征进行细胞特征补全，得到待全局判读的细胞特征；
将所述待全局判读的细胞特征输入到训练得到的具有Transformer模型的第二神经网络中，进行处理，输出得到阴阳二分类的全局判读结果。
较佳地，所述将所述细胞图像切分为多个图像分片包括：
将所述细胞图像切分为多个1024*1024个像素点的图像分片。
较佳地，将所述多个图像分片输入到训练完成的第一神经网络中进行疑似病变区域的识别，及对疑似病变区域中的细胞进行分级分类包括：
第一神经网络包括目标检测子网络和分类神经子网络，其中，所述目标检测子网络识别细胞图像中的疑似病变区域，所述分类神经子网络对疑似病变区域中的细胞进行分级分类。
较佳地，所述基于提取的细胞特征进行细胞特征补全包括：
对应每个细胞类别设置提取数量阈值；
对所述提取的细胞特征进行细胞类别分类，判断在每个细胞类别下，所述提取的细胞特征的数量是否小于对应细胞类别的数量阈值，如果是，将对应细胞类别下，补充缺失数量的正常细胞特征；如果否，在对应细胞类别下，从所述提取的细胞特征中，根据典型度高低选取数量阈值的细胞特征。
较佳地，所述将所述待全局判读的细胞特征输入到训练得到的具有Transformer模型的第二神经网络中，进行处理包括：
对不同类别的待全局判读的细胞特征根据所设置的对应加权值，进行对应的加权处理后，计算不同类别的待全局判读的细胞特征之间的相关性信息；
所述第二神经网络中还包括全连接分类模型，根据不同类别的待全局判读的细胞特征之间的相关性信息，进行阴阳二分类的全局判读，得到阴阳二分类的全局判读结果。
一种对宫颈液基细胞学涂片的全局判读系统，采集单元、细胞检测单元及全局判读单元，其中，
所述采集单元，用于采集宫颈液基细胞学涂片的细胞图像；
所述细胞检测单元，用于将所述细胞图像切分为多个图像分片；将所述多个图像分片输入到训练完成的第一神经网络中进行疑似病变区域的识别，及对疑似病变区域中的细胞进行分级分类，得到分级分类的疑似病变区域；
所述全局判读单元，用于从所述分级分类的疑似病变区域中，采用训练完成的特征提取模型提取细胞特征后，基于提取的细胞特征进行细胞特征补全，得到待全局判读的细胞特征；将所述待全局判读的细胞特征输入到训练得到的具有Transformer模型的第二神经网络中，进行处理，输出得到阴阳二分类的全局判读结果。
较佳地，所述细胞检测单元，还用于所述第一神经网络包括目标检测子网络和分类神经子网络，其中，所述目标检测子网络识别细胞图像中的疑似病变区域，所述分类神经子网络对疑似病变区域中的细胞进行分级分类。
较佳地，所述全局判读单元，还用于在所述基于提取的细胞特征进行细胞特征补全时包括：对应每个细胞类别设置提取数量阈值；对所述提取的细胞特征进行细胞类别分类，判断在每个细胞类别下，所述提取的细胞特征的数量是否小于对应细胞类别的数量阈值，如果是，将对应细胞类别下，补充缺失数量的正常细胞特征；如果否，在对应细胞类别下，从所述提取的细胞特征中，根据典型度高低选取数量阈值的细胞特征。
较佳地，所述全局判读单元，还用于对不同类别的待全局判读的细胞特征根据所设置的对应加权值，进行对应的加权处理后，计算不同类别的待全局判读的细胞特征之间的相关性信息；所述第二神经网络中还包括全连接分类模型，根据不同类别的待全局判读的细胞特征之间的相关性信息，进行阴阳二分类的全局判读，得到阴阳二分类的全局判读结果。
如上所述，本申请实施例提供的方法中，首先，对宫颈液基细胞学涂片的细胞图像进行采集，将细胞图像切分为多个图像分片；其次，将多个图像分片输入到训练完成的第一神经网络中进行疑似病变区域的识别，及对疑似病变区域进行分级分类，得到分级分类的疑似病变区域；再次，从分级分类的疑似病变区域中，提取细胞特征，并基于提取的细胞特征进行细胞特征补全，得到待全局判读的细胞特征；最后，将待全局判读的细胞特征输入到训练完成的具有Transformer模型的第二神经网络中，进行处理，得到全局判读结果。由于本申请实施例采用了具有Transformer模型的第二神经网络，该网络根据从宫颈液基细胞学涂片的细胞图像中获得的待全局判读的细胞特征的重要性级别进行差异加权，并进行了该不同类别的细胞特征之间的相关性计算，从而在全局判读时考虑了不同疑似病变区域之间的相关性，提高了全局判读的准确性。更进一步地，具有Transformer模型的第二神经网络在进行全局判读之前，还基于所提取的细胞特征进行了细胞特征的补全，使得后续在全局判读时基于的待全局判读的细胞特征更加完整，提高了全局判读的准确性。因此，本申请实施例可以对宫颈液基细胞学涂片进行准确地全局判读，得到准确的全局判读结果。
附图说明
图1为本申请实施例提供的一种对宫颈液基细胞学涂片的全局判读方法流程图；
图2为本申请实施例提供的一种对宫颈液基细胞学涂片的全局判读过程的整体流程图；
图3为本申请实施例提供的一种对宫颈液基细胞学涂片的全局判读系统结构示意图；
图4为本申请实施例提供的一种对宫颈液基细胞学涂片的全局判读采用的神经网络实施架构图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其他步骤或单元。
下面以具体实施例对本申请的技术方案进行详细说明。下面几个具体实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
从背景技术可以看出，现有的方法基于卷积神经网络，检测宫颈液基细胞学涂片的细胞图像，将从中检测出的疑似区域进行简单计数，或使用带有人为规则的决策树模型进行阴阳判读。现有方法无法对细胞图像中的疑似病变区域与周围区域的不同细胞进行对比，无法同时考虑不同疑似病变区域之间的相关性信息。而在对细胞图像进行全局判读时，细胞图像中的不同区域之间的相关性信息，对于准确全局判读是至关重要的。
因此，本申请实施例为了克服上述问题，首先，对宫颈液基细胞学涂片的细胞图像进行采集，将细胞图像切分为多个图像分片；其次，将多个图像分片输入到训练完成的第一神经网络中进行疑似病变区域的识别，及对疑似病变区域进行分级分类，得到分级分类的疑似病变区域；再次，从分级分类的疑似病变区域中，提取细胞特征，并基于提取的细胞特征进行细胞特征补全，得到待全局判读的细胞特征；最后，将待全局判读的细胞特征输入到训练完成的具有Transformer模型的第二神经网络中，进行处理，得到全局判读结果。
由于本申请实施例采用了具有Transformer模型的第二神经网络，该网络根据从宫颈液基细胞学涂片的细胞图像中获得的待全局判读的细胞特征的重要性级别进行差异加权，并进行了该不同类别的细胞特征之间的相关性计算，从而在全局判读时考虑了不同疑似病变区域之间的相关性，提高了全局判读的准确性。
更进一步地，具有Transformer模型的第二神经网络在进行全局判读之前，还基于所提取的细胞特征进行了细胞特征的补全，使得后续在全局判读时基于的待全局判读的细胞特征更加完整，提高了全局判读的准确性。
因此，本申请实施例可以对宫颈液基细胞学涂片进行准确地全局判读，得到准确的全局判读结果。
在本申请实施例中，采用了具有Transformer模型的第二神经网络根据从宫颈液基细胞学涂片的细胞图像中获得的待全局判读的细胞特征，进行全局判读。Transformer模型是一种主要用于自然语言处理(NLP)任务的深度学习模型，它采用自注意力(self-attention)机制，对输入的特征的每个部分的重要性进行差异加权。由于其具有很强的描述特征序列中不同特征片段之间的相关性以及对远距离信息建模的能力，被广泛应用于许多视觉任务中。本申请实施例采用了具有Transformer模型的第二神经网络进行全局判读，来建模不同疑似病变区域之间的相关性，提高宫颈液基细胞学涂片全局判读的敏感性和差异性。
可以看出，本申请实施例采用了基于Transformer模型的深度学习算法，建模不同疑似病变区域之间的相关性，提高全局判读的敏感性和特异性。具体地说，本申请实施例提供了一种自动判读整张宫颈液基细胞学涂片的阴阳结果的算法，利用基于深度神经网络的目标检测子网络、分类神经子网络、匹配子网络和细胞特征的提取子网络从整张超大分辨率的宫颈液基细胞学涂片提取疑似病变区域中的细胞特征。本申请实施例创新性地引入了Transformer模型，对不同疑似病变区域中的细胞特征进行差异加权，探索不同疑似病变区域之间的相关性。
图1为本申请实施例提供的一种对宫颈液基细胞学涂片的全局判读方法流程图，其具体步骤包括：
步骤101、采集宫颈液基细胞学涂片的细胞图像；
步骤102、将所述细胞图像切分为多个图像分片；
步骤103、将所述多个图像分片输入到训练完成的第一神经网络中进行疑似病变区域的识别，及对疑似病变区域中的细胞进行分级分类，得到分级分类的疑似病变区域；
步骤104、从所述分级分类的疑似病变区域中，采用训练完成的特征提取模型提取细胞特征后，基于提取的细胞特征进行细胞特征补全，得到待全局判读的细胞特征；
步骤105、将所述待全局判读的细胞特征输入到训练得到的具有Transformer模型的第二神经网络中，进行处理，输出得到阴阳二分类的全局判读结果。
在该方法中，将所述细胞图像切分为多个图像分片包括：
将所述细胞图像切分为多个1024*1024个像素点的图像分片。
在该方法中，将所述多个图像分片输入到训练完成的第一神经网络中进行疑似病变区域的识别，及对疑似病变区域中的细胞进行分级分类包括：
第一神经网络包括目标检测子网络和分类神经子网络，其中，所述目标检测子网络识别细胞图像中的疑似病变区域，所述分类神经子网络对疑似病变区域中的细胞进行分级分类。
在该方法中，所述基于提取的细胞特征进行细胞特征补全包括：
对应每个细胞类别设置提取数量阈值；
对所述提取的细胞特征进行细胞类别分类，判断在每个细胞类别下，所述提取的细胞特征的数量是否小于对应细胞类别的数量阈值，如果是，将对应细胞类别下，补充缺失数量的正常细胞特征；如果否，在对应细胞类别下，从所述提取的细胞特征中，根据典型度高低选取数量阈值的细胞特征。
在该方法中，所述将所述待全局判读的细胞特征输入到训练得到的具有Transformer模型的第二神经网络中，进行处理包括：
对不同类别的待全局判读的细胞特征根据所设置的对应加权值，进行对应的加权处理后，计算不同类别的待全局判读的细胞特征之间的相关性信息；
所述第二神经网络中还包括全连接分类模型，根据不同类别的待全局判读的细胞特征之间的相关性信息，进行阴阳二分类的全局判读，得到阴阳二分类的全局判读结果。
可以看出，本申请实施例提供的方法实现了对整张宫颈液基细胞学涂片自动进行全局判读，最终得到阴阳二分类的全局判读结果，能够帮助医生做快速诊断，提高人机协同筛查的效率，提高筛查的敏感性和特异性。本申请实施例提供的方法模仿细胞学专家在诊断时经常将疑似病变区域与周围区域的不同细胞特征进行对比的过程，探索不同疑似病变区域中的细胞特征之间的相关性，使得对整张宫颈液基细胞学涂片的全局判读结果更加可靠稳定。
图2为本申请实施例提供的一种对宫颈液基细胞学涂片的全局判读过程的整体流程图。结合图2，对本申请实施例进行详细说明。
第一步骤，细胞图像采集
在本申请实施例中，采用玻片自动扫描仪实现。该玻片自动扫描仪有重叠式的扫描宫颈液基细胞学涂片，得到细胞图像后保存。整个采集过程采用专用的玻片自动扫描仪，根据自定义的扫描方式，进行重叠式的扫描保存宫颈液基细胞学涂片的细胞图像。
第二步骤，细胞检测分类
1)针对扫描后的细胞图像，将其切分成若干个1024*1024个像素大小的图片分片(patch)；
2)采用第一神经网络根据所述多个图像分片，识别细胞图像中的疑似病变区域，对疑似病变区域中的细胞进行分级分类，得到分级分类的疑似病变区域。
在本步骤中，第一神经网络是由目标检测子网络和分类神经子网络组成，其中，目标检测子网络用于识别细胞图像中的疑似病变区域，分类神经子网络对疑似病变区域中的细胞进行分级分类。
第三步骤，全局判读
在本申请实施例中，采用三个子步骤实现。
1)细胞特征提取
为了使得提取到细胞特征具有普遍性且泛化性更好，采用训练好的特征提取模型进行，从所述分级分类的疑似病变区域中，提取细胞特征。
该特征提取模型可以采用卷积神经网络实现，该卷积神经网络使用自行构建的大规模细胞图像数据集做分类任务的训练。使用预训练得到的模型参数初始化该卷积神经网络，作为特征提取模型，从所述分级分类的疑似病变区域中，提取细胞特征。
2)特征补全
基于提取的细胞特征进行细胞特征补全，得到待全局判读的细胞特征。
在本申请实施例中，不同涂片检出的疑似病变区域中的疑似病变细胞的数量存在差异，固定选取每个类别典型度最靠前的8个细胞特征。对于检出不足8个细胞特征的类别，用正常细胞的细胞特征补充，这样对于检出的疑似病变细胞数量不同的涂片也能获取到固定数量的特征。例如只关心4类的疑似细胞，那么一张玻片可以抽取32个的细胞特征。
3)基于transformer模型的全局判读
将所述待全局判读的细胞特征输入到训练得到的具有Transformer模型的第二神经网络中，进行阴阳二分类的全局判读，得到阴阳二分类的全局判读结果。
在本步骤中，Transformer模型根据从宫颈液基细胞学涂片的细胞图像中获得的待全局判读的细胞特征的重要性级别进行差异加权，建模不同细胞特征之间的相关性。不同于现有技术对每个疑似病变区域中的细胞特征单独分析的方式，使用Transformer模型能很大程度上探索不同疑似病变区域之间的联系，类似细胞学专家在诊断时经常与周围区域的不同细胞特征进行对比的过程，最终将Transformer模型输出的处理后的细胞特征输入到全连接分类模型中进行阴阳二分类的全局判读。
图3为本申请实施例提供的一种对宫颈液基细胞学涂片的全局判读系统结构示意图，所述系统包括：采集单元、细胞检测单元及全局判读单元，其中，
采集单元，用于采集宫颈液基细胞学涂片的细胞图像；
细胞检测单元，用于将所述细胞图像切分为多个图像分片；将所述多个图像分片输入到训练完成的第一神经网络中进行疑似病变区域的识别，及对疑似病变区域中的细胞进行分级分类，得到分级分类的疑似病变区域；
全局判读单元，用于从所述分级分类的疑似病变区域中，采用训练完成的特征提取模型提取细胞特征后，基于提取的细胞特征进行细胞特征补全，得到待全局判读的细胞特征；将所述待全局判读的细胞特征输入到训练得到的具有Transformer模型的第二神经网络中，进行处理，输出得到阴阳二分类的全局判读结果。
在该系统中，所述细胞检测单元，还用于所述第一神经网络包括目标检测子网络和分类神经子网络，其中，所述目标检测子网络识别细胞图像中的疑似病变区域，所述分类神经子网络对疑似病变区域中的细胞进行分级分类。
在该系统中，所述全局判读单元，还用于在所述基于提取的细胞特征进行细胞特征补全时包括：对应每个细胞类别设置提取数量阈值；对所述提取的细胞特征进行细胞类别分类，判断在每个细胞类别下，所述提取的细胞特征的数量是否小于对应细胞类别的数量阈值，如果是，将对应细胞类别下，补充缺失数量的正常细胞特征；如果否，在对应细胞类别下，从所述提取的细胞特征中，根据典型度高低选取数量阈值的细胞特征。
在该系统中，所述全局判读单元，还用于对不同类别的待全局判读的细胞特征根据所设置的对应加权值，进行对应的加权处理后，计算不同类别的待全局判读的细胞特征之间的相关性信息；所述第二神经网络中还包括全连接分类模型，根据不同类别的待全局判读的细胞特征之间的相关性信息，进行阴阳二分类的全局判读，得到阴阳二分类的全局判读结果。
举一个具体例子进行说明。
图4为本申请实施例提供的一种对宫颈液基细胞学涂片的全局判读采用的神经网络实施架构图，结合图4，对该具体例子进行详细说明。
第一步骤，细胞图像采集
在该例子中，玻片自动扫描仪，采用40倍目镜放大以及有重叠式的扫描宫颈液基细胞学涂片，得到细胞图像后保存。该玻片自动扫描仪的扫描范围应完全覆盖宫颈液基细胞学涂片所在范围，允许出现细胞区域外的少量空白区域。最终得到一整张分辨率接近2万*2万像素的细胞图像Islide。
第二步骤，细胞检测分类
1)针对扫描得到的一整张细胞图像Islide，将其平均切分成若干个大小为1024*1024个像素大小的patch。具体地说，若细胞图像长宽不能被1024个像素整除，则舍弃边缘处的剩余像素。对切分的每一块patch图像进行色彩矫正、噪声去除、或/和图像归一化等预处理操作后，以消除不同制片方式，不同扫描设备所造成的细胞图像差异。经过上述一系列预处理操作，得到了可供后续进行细胞检测分类的基本图像块单位
Figure BDA0003633786570000091
其具体表达式如下所示：
Figure BDA0003633786570000092
2)使用第一神经网络中的目标检测子网络Det，对patch进行目标检测，定位疑似病变区域，也就是目标检测子网络感兴趣区域(RoI，Region of Interest)，将检出的所有疑似病变区域的细胞图像裁剪出来，其具体表达式如下所示：
Figure BDA0003633786570000093
采用第一神经网络中的分类神经子网络Cls，确定每个疑似病变区域的类别Ci同时使用匹配子网络Mat，将疑似病变区域与自建匹配库中的细胞特征做匹配，确定疑似病变区域的典型度Di，从而对疑似病变区域进行分级分类，其具体表达式如下所示：
Figure BDA0003633786570000094
Figure BDA0003633786570000095
目标检测子网络、分类神经子网络、以及匹配子网络都使用了自行构建的大规模宫颈液基细胞图像数据集进行了预训练。
第三步骤：全局判读
1)细胞特征提取
本申请实施例使用卷积神经网络ResNet50作为特征提取模型，从上述分级分类的疑似病变区域中，提取细胞特征，这些特征将作为具有Transformer模型的第二神经网络的输入。在这里，为了提取到普遍且泛化性好的特征，在本例子中，对卷积神经网络ResNet50使用自行构建的大规模细胞图像数据集做分类任务的预训练。具体地说，首先使用在大型通用视觉分类数据集ImageNet上预训练好的参数对卷积神经网络ResNet50进行初始化，然后在自行构建的大规模细胞图像数据集上做分类任务的训练。这使得卷积神经网络ResNet50既具有识别通用物体边缘轮廓、纹理细节的能力，也能提取宫颈细胞独有的视觉特征信息，提高了特征的泛化性。
在该例子中，使用第一步预训练得到的模型参数WR初始化ResNet5网络，同时冻结该网络的参数，将其作为特征提取模型E，提取分级分类的疑似病变区域
Figure BDA0003633786570000101
的细胞特征fi，如公式(1)所示：
Figure BDA0003633786570000102
这样，最终提取到整张所有疑似细胞图像的细胞特征F＝{f1，f2，…，fl}。
2)特征补全
基于提取的细胞特征进行细胞特征补全，得到待全局判读的细胞特征。以下分步骤进行详细说明。
a)不同涂片检出的疑似细胞特征的数量存在差异，针对这个问题，对于经过分类器Cls识别为CK的那些细胞特征，选取典型度Di最靠前的8个细胞图像的特征
Figure BDA0003633786570000103
CK,Di≥Di+1,fi∈F,i≤8}，对于检出不足8个细胞特征的类别，用正常细胞特征fNorm补充。
这样对于检出的疑似细胞特征数量不同的涂片也能获取到固定数量的细胞特征。例如只关心4类疑似细胞，那么一张涂片最终可以选取32个特征，作为最终输入到具有Transformer模型的第二神经网络的细胞特征序列。
3)基于具有Transformer模型的第二神经网络的全局判读
提取到细胞特征并进行细胞补全之后，该例子采用Transformer模型对这些细胞特征的重要性进行差异加权，建模不同细胞特征之间的相关性。最终将Transformer模型输出的经过处理的细胞特征输入到全连接分类模型进行阴阳二分类的全局判读，得到阴阳二分类的全局判读结果。
在该例子中，使用Transformer模型对来自每一张涂片提取到的固定数量的疑似细胞特征进行关系建模。假设经过第一步共有m个特征序列被选择，每个特征的维度为d，Transformer模型中的自注意力层首先计算不同细胞特征之间归一化的相似度权重，依据该权重对输入特征进行差异加权。具体地说，以第l层的计算为例，将第1层输入特征序列组合成一个特征矩阵
Figure BDA0003633786570000111
然后通过一个线性变换将其映射到另一维度空间，得到查询向量矩阵
Figure BDA0003633786570000112
键向量矩阵
Figure BDA0003633786570000113
和值向量矩阵
Figure BDA0003633786570000114
计算过程如公式(2)所示：
[Ql,Kl,Vl]＝FlWP (2)
其中，
Figure BDA0003633786570000115
为线性层中的可学习参数。
不同于之前对每个疑似病变区域中的细胞特征单独分析的方式，Transformer模型最大的优势在于它通过对Ql、Kl和Vl做自注意力计算，如公式(3)所示：
Figure BDA0003633786570000116
采用公式(3)建模不同细胞特征序列之间的相关性，这就类似细胞学专家在诊断时经常与周围区域的不同细胞特征进行对比的过程。最终将Transformer模型输出的经过处理的细胞特征输入全连接分类模型进行阴阳二分类的全局判读，得到阴阳二分类的全局判读结果。
可以看出，本申请实施例使用各种先进的基于深度神经网络算法，实现了对一整张宫颈细胞学涂片的自动阴阳结果判读，该结果能够辅助医生做快速诊断，提高人机协同筛查的效率。本申请实施例基于大规模数据对该基于深度神经网络算法进行训练后，能够取得稳定及客观的结果，不会受医生们的诊断经验、情绪、疲劳等因素的影响，从而提高筛查的敏感性和特异性。本申请实施例使用Transformer模型来探索不同疑似病变区域之间的相关性，从而模仿细胞学专家在诊断时经常与周围区域的不同细胞进行对比的过程，使得全局判读的结果更加可靠稳定。
更进一步地，本申请实施例所提供的对宫颈液基细胞学涂片的分析处理流程能轻松的迁移到其它医疗全切片图像(WSI，Whole slide images)处理问题上，具有较高的实用价值。
本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，即使这样的组合或结合没有明确记载于本申请中。特别地，在不脱离本申请精神和教导的情况下，本申请的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，所有这些组合和/或结合均落入本申请公开的范围。
本文中应用了具体实施例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思路，并不用于限制本申请。对于本领域的技术人员来说，可以依据本申请的思路、精神和原则，在具体实施方式及应用范围上进行改变，其所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (9)

1.一种对宫颈液基细胞学涂片的全局判读方法，其特征在于，所述方法包括：
采集宫颈液基细胞学涂片的细胞图像；
将所述细胞图像切分为多个图像分片；
将所述多个图像分片输入到训练完成的第一神经网络中进行疑似病变区域的识别，及对疑似病变区域中的细胞进行分级分类，得到分级分类的疑似病变区域；
从所述分级分类的疑似病变区域中，采用训练完成的特征提取模型提取细胞特征后，基于提取的细胞特征进行细胞特征补全，得到待全局判读的细胞特征；
将所述待全局判读的细胞特征输入到训练得到的具有Transformer模型的第二神经网络中，进行处理，输出得到阴阳二分类的全局判读结果。
2.如权利要求1所述的方法，其特征在于，所述将所述细胞图像切分为多个图像分片包括：
将所述细胞图像切分为多个1024*1024个像素点的图像分片。
3.如权利要求1所述的方法，其特征在于，将所述多个图像分片输入到训练完成的第一神经网络中进行疑似病变区域的识别，及对疑似病变区域中的细胞进行分级分类包括：
第一神经网络包括目标检测子网络和分类神经子网络，其中，所述目标检测子网络识别细胞图像中的疑似病变区域，所述分类神经子网络对疑似病变区域中的细胞进行分级分类。
4.如权利要求1所述的方法，其特征在于，所述基于提取的细胞特征进行细胞特征补全包括：
对应每个细胞类别设置提取数量阈值；
对所述提取的细胞特征进行细胞类别分类，判断在每个细胞类别下，所述提取的细胞特征的数量是否小于对应细胞类别的数量阈值，如果是，将对应细胞类别下，补充缺失数量的正常细胞特征；如果否，在对应细胞类别下，从所述提取的细胞特征中，根据典型度高低选取数量阈值的细胞特征。
5.如权利要求1所述的方法，其特征在于，所述将所述待全局判读的细胞特征输入到训练得到的具有Transformer模型的第二神经网络中，进行处理包括：
对不同类别的待全局判读的细胞特征根据所设置的对应加权值，进行对应的加权处理后，计算不同类别的待全局判读的细胞特征之间的相关性信息；
所述第二神经网络中还包括全连接分类模型，根据不同类别的待全局判读的细胞特征之间的相关性信息，进行阴阳二分类的全局判读，得到阴阳二分类的全局判读结果。
6.一种对宫颈液基细胞学涂片的全局判读系统，其特征在于，采集单元、细胞检测单元及全局判读单元，其中，
所述采集单元，用于采集宫颈液基细胞学涂片的细胞图像；
所述细胞检测单元，用于将所述细胞图像切分为多个图像分片；将所述多个图像分片输入到训练完成的第一神经网络中进行疑似病变区域的识别，及对疑似病变区域中的细胞进行分级分类，得到分级分类的疑似病变区域；
所述全局判读单元，用于从所述分级分类的疑似病变区域中，采用训练完成的特征提取模型提取细胞特征后，基于提取的细胞特征进行细胞特征补全，得到待全局判读的细胞特征；将所述待全局判读的细胞特征输入到训练得到的具有Transformer模型的第二神经网络中，进行处理，输出得到阴阳二分类的全局判读结果。
7.如权利要求6所述的系统，其特征在于，所述细胞检测单元，还用于所述第一神经网络包括目标检测子网络和分类神经子网络，其中，所述目标检测子网络识别细胞图像中的疑似病变区域，所述分类神经子网络对疑似病变区域中的细胞进行分级分类。
8.如权利要求6所述的系统，其特征在于，所述全局判读单元，还用于在所述基于提取的细胞特征进行细胞特征补全时包括：对应每个细胞类别设置提取数量阈值；对所述提取的细胞特征进行细胞类别分类，判断在每个细胞类别下，所述提取的细胞特征的数量是否小于对应细胞类别的数量阈值，如果是，将对应细胞类别下，补充缺失数量的正常细胞特征；如果否，在对应细胞类别下，从所述提取的细胞特征中，根据典型度高低选取数量阈值的细胞特征。
9.如权利要求6所述的系统，其特征在于，所述全局判读单元，还用于对不同类别的待全局判读的细胞特征根据所设置的对应加权值，进行对应的加权处理后，计算不同类别的待全局判读的细胞特征之间的相关性信息；所述第二神经网络中还包括全连接分类模型，根据不同类别的待全局判读的细胞特征之间的相关性信息，进行阴阳二分类的全局判读，得到阴阳二分类的全局判读结果。
CN202210498397.6A 2022-05-09 2022-05-09 一种对宫颈液基细胞学涂片的全局判读方法及系统 Pending CN114782948A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210498397.6A CN114782948A (zh) 2022-05-09 2022-05-09 一种对宫颈液基细胞学涂片的全局判读方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210498397.6A CN114782948A (zh) 2022-05-09 2022-05-09 一种对宫颈液基细胞学涂片的全局判读方法及系统

Publications (1)

Publication Number Publication Date
CN114782948A true CN114782948A (zh) 2022-07-22

Family

ID=82437506

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210498397.6A Pending CN114782948A (zh) 2022-05-09 2022-05-09 一种对宫颈液基细胞学涂片的全局判读方法及系统

Country Status (1)

Country Link
CN (1) CN114782948A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115775226A (zh) * 2022-10-08 2023-03-10 广州锟元方青医疗科技有限公司 基于Transformer的医学图像分类方法
CN117612159A (zh) * 2022-11-08 2024-02-27 郑州英视江河生态环境科技有限公司 微观生物图像处理方法、神经网络训练方法、装置及设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115775226A (zh) * 2022-10-08 2023-03-10 广州锟元方青医疗科技有限公司 基于Transformer的医学图像分类方法
CN115775226B (zh) * 2022-10-08 2023-09-26 广州锟元方青医疗科技有限公司 基于Transformer的医学图像分类方法
CN117612159A (zh) * 2022-11-08 2024-02-27 郑州英视江河生态环境科技有限公司 微观生物图像处理方法、神经网络训练方法、装置及设备

Similar Documents

Publication Publication Date Title
Li et al. A comprehensive review of computer-aided whole-slide image analysis: from datasets to feature extraction, segmentation, classification and detection approaches
CN111985536B (zh) 一种基于弱监督学习的胃镜病理图像分类方法
CN107274386B (zh) 一种宫颈细胞液基涂片人工智能辅助阅片系统
CN110490850B (zh) 一种肿块区域检测方法、装置和医学图像处理设备
KR102108050B1 (ko) 증강 컨볼루션 네트워크를 통한 유방암 조직학 이미지 분류 방법 및 그 장치
Kowal et al. Cell nuclei segmentation in cytological images using convolutional neural network and seeded watershed algorithm
George et al. Remote computer-aided breast cancer detection and diagnosis system based on cytological images
Doyle et al. Cascaded discrimination of normal, abnormal, and confounder classes in histopathology: Gleason grading of prostate cancer
CN110472676A (zh) 基于深度神经网络的胃早癌组织学图像分类系统
CN109410238B (zh) 一种基于PointNet++网络的枸杞识别计数方法
Pan et al. Cell detection in pathology and microscopy images with multi-scale fully convolutional neural networks
Wen et al. Gcsba-net: Gabor-based and cascade squeeze bi-attention network for gland segmentation
CN114782948A (zh) 一种对宫颈液基细胞学涂片的全局判读方法及系统
CN110264454B (zh) 基于多隐藏层条件随机场的宫颈癌组织病理图像诊断方法
CN112348059A (zh) 基于深度学习的多种染色病理图像分类方法及系统
CN112990214A (zh) 一种医学图像特征识别预测模型
CN113160185A (zh) 一种利用生成边界位置指导宫颈细胞分割的方法
William et al. A review of applications of image analysis and machine learning techniques in automated diagnosis and classification of cervical cancer from pap-smear images
Huynh et al. Plant identification using new architecture convolutional neural networks combine with replacing the red of color channel image by vein morphology leaf
Ning et al. Multiscale context-cascaded ensemble framework (MsC 2 EF): application to breast histopathological image
Peng et al. Fully convolutional neural networks for tissue histopathology image classification and segmentation
Rathore et al. CBISC: a novel approach for colon biopsy image segmentation and classification
Parraga et al. A review of image-based deep learning algorithms for cervical cancer screening
KR20230063147A (ko) 다단계 특징 분석을 사용한 전립선 조직의 효율적인 경량 cnn과 앙상블 머신 러닝 분류 방법 및 시스템
CN114140830A (zh) 一种基于循环肿瘤细胞图像的重复识别抑制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination