CN114580558A - 一种子宫内膜癌细胞检测方法、系统、设备及存储介质 - Google Patents

一种子宫内膜癌细胞检测方法、系统、设备及存储介质 Download PDF

Info

Publication number
CN114580558A
CN114580558A CN202210240708.9A CN202210240708A CN114580558A CN 114580558 A CN114580558 A CN 114580558A CN 202210240708 A CN202210240708 A CN 202210240708A CN 114580558 A CN114580558 A CN 114580558A
Authority
CN
China
Prior art keywords
image
cnn
wsi
cancer cells
endometrial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210240708.9A
Other languages
English (en)
Inventor
钟德星
李奇灵
谢中林
赵惊涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xi'an Meijiajia Medical Technology Co ltd
Xian Jiaotong University
Original Assignee
Xi'an Meijiajia Medical Technology Co ltd
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xi'an Meijiajia Medical Technology Co ltd, Xian Jiaotong University filed Critical Xi'an Meijiajia Medical Technology Co ltd
Priority to CN202210240708.9A priority Critical patent/CN114580558A/zh
Publication of CN114580558A publication Critical patent/CN114580558A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G06T2207/10061—Microscopic image from scanning electron microscope
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

本发明公开了一种子宫内膜癌细胞检测方法、系统、设备及存储介质，包括：子宫内膜细胞病理切片制备；利用CNN初筛包含阳性细胞的图像；利用改进的Faster R‑CNN目标检测模型进行癌细胞的智能检测；统计各项指标，从WSI生成图块送入网络预测后合并识别结果。在目标的获取部分，数据上利用自适应随机剪裁的方法归一化和扩充数据集；模型上以改进的CNN模型和双阶段的Faster RCNN模型为基础模型，引入医生诊断经验，提取诊断指标共同作用训练出更加准确的模型。本发明子宫内膜癌细胞检测方法准确率比分类方法准确率更高同时可以给出置信度和WSI的位置信息，另外，本发明还提供了一种更有效的子宫内膜细胞病理切片图像数据集的制备方法。本发明应用于医学图像目标检测领域。

Description

一种子宫内膜癌细胞检测方法、系统、设备及存储介质
技术领域
本发明属于AI医学影像技术领域，涉及一种子宫内膜癌细胞检测方法、系统、设备及存储介质。
背景技术
子宫内膜癌是发生于子宫内膜的一组上皮性恶性肿瘤，为女性生殖系统三大恶性肿瘤之一，全球每年有超过37.8万例患者，其发病率在全世界范围内呈上升趋势，并趋于年轻化。此外，研究表明，早期子宫内膜癌经适当治疗的5年生存率超过85％。及早开展子宫内膜癌的癌前病变筛查和早诊断，可以极大地降低其发生率和死亡率。
计算机辅助诊断系统可以帮助医生有效地分析和评估大量的医学图像，它已经被应用于乳腺癌、肺癌和结肠癌等一些常见癌症的放射诊断，显示出了人类疾病分类的专家水平。近年来，随着人工智能技术的发展和计算机计算能力的提高，深度学习在医学分析中的应用被认为是医生的第三只眼睛。基于深度卷积神经网络的深度学习算法已被证明是推进生物医学图像分析的强大推动力。基于深度学习的医学图像计算机辅助诊断系统也越来越多地被引入到医院的临床诊断工作中，它可以减少病理专家的工作量并提供决策协助。因此如何利用临床影像的丰富数据和人工智能的方法来辅助子宫内膜癌诊断就成为了研究人员关注的焦点。
基于人工智能的高科技现代化手段，可以为广大社会妇女群众的健康生活提供保障。使得像子宫内膜癌这样的重大恶性疾病，能够早发现、早诊断、早治疗，减轻广大妇女患者的痛苦及经济压力，具有十分重要的社会效益。提出智能、简便、经济的子宫内膜癌筛查方式能更有效的预防癌症、及时发现和及时采取治疗策略。如果能更广泛的应用现有知识技术，把重点放在高危人群上，势必将加速我们对抗癌症的进展。
通过近几年计算机辅助诊断系统的研究成果可以发现，人工智能在许多癌症筛查方面发挥了出色作用。然而由于子宫内膜具有癌诊断难度大、细胞重叠、黏附性等特点，目前国内外更多依靠病理医师对其进行手工筛查。而病理医师数量少，优秀的病理人才多集中于大城市的医院，基层医院病理医师水平参差不齐，病理人才的匮乏进一步加重了医师的负担，增加了误诊和漏诊概率。人工智能可有效辅助病理医师筛查病理图片，大量减少病理医师的工作负担，在临床诊断方面应用广泛。目前人工智能在病理学诊断中的应用主要有肿瘤细胞学初筛、定性定量分析，在组织病理学诊断中主要应用于辅助肿瘤预后判断、组织学分类以及良恶性鉴别，在肺癌、前列腺癌、宫颈癌方面都取得了一定的进展。研究表明，人工智能将为诊断病理学提供可信的计算机辅助诊断决策，其鲁棒性与客观性，将极大改善病理医师的工作环境，为社会带来有效的经济效益。
发明内容
本发明的目的在于解决现有子宫内膜癌细胞病理图像诊断过程中耗时慢、精度低、主观性强的问题，提供一种子宫内膜癌细胞检测方法、系统、设备及存储介质。
为达到上述目的，本发明采用以下技术方案予以实现：
一种子宫内膜癌细胞检测方法，包括以下步骤：
利用CNN模型对子宫内膜细胞病理标本的WSI图像进行初筛，筛选出包含阳性细胞样本的图像；
利用Faster R-CNN目标检测模型对阳性细胞样本的图像进行识别；
还原识别出的子宫内膜癌细胞对应的WSI图像，得到子宫内膜癌细胞的位置和置信度。
上述方法进一步的改进在于：
所述WSI图像是通过Li-brush子宫内膜细胞采集器采集自内膜细胞标本，并通过数字扫描仪扫仪扫描，得到WSI图像。
所述利用CNN模型对子宫内膜细胞病理标本的WSI图像进行初筛，筛选出包含阳性细胞样本的图像，包括：
首先将WSI图像利用openslide工具进行分割，输入一张完整的细胞病理WSI图像，输出若干1024×1024图像块；将图像块输入CNN网络进行分类筛查，输出初筛的结果。
所述CNN网络为基于Attention和Bag of words的CNN模型；所述CNN模型以VGG网络作为主干网络，在主干网络的两边分别加入了通道注意力和空间注意力模块，最后将三个通道的特征图融合，作为提取的特征，然后将高维特征抽取出来进行k-means均值聚类，聚类中心作为码本，然后用码本的统计向量作为样本的特征，最后输入SVM分类器进行分类，最终模型实现了阳性样本和阴性样本的初筛分类。
所述利用Faster R-CNN目标检测模型对阳性细胞样本的图像进行识别，包括：
利用在线随机剪裁的方法进行处理；随机选择输入阳性细胞样本的图像中的一个目标，围绕目标随机切出边长在256～512像素范围内的子图，然后缩放至边长为512像素后，输入至Faster R-CNN目标检测模型进行识别；若目标的边长超过512像素，则将目标与背景直接切出，再进行缩放。
所述还原识别出的子宫内膜癌细胞对应的WSI图像，得到子宫内膜癌细胞的位置和置信度，包括：
将阳性细胞样本的图像还原到1024×1024像素，按照行号和列号完整还原出子宫内膜细胞病理标本的WSI图像，该WSI图像包含被Faster R-CNN目标检测模型识别出的癌细胞的位置和置信度。
一种子宫内膜癌细胞检测系统，包括：
图像采集模块，用于利用CNN模型对子宫内膜细胞病理标本的WSI图像进行初筛，筛选出包含阳性细胞样本的图像；
识别模块，用于利用Faster R-CNN目标检测模型对阳性细胞样本的图像进行识别；
位置及置信度计算模块，用于还原识别出的子宫内膜癌细胞对应的WSI图像，得到子宫内膜癌细胞的位置和置信度。
一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述方法的步骤。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述方法的步骤。
与现有技术相比，本发明具有以下有益效果：
本发明提出一个基于人工智能的智能化、微创、价格低廉的子宫内膜癌筛查方法，有望将病理科医生从繁冗的子宫内膜切片读片的工作中解放出来，有望减轻疾病对家庭造成的巨大经济负担，同时减轻因疾病造成的劳动力流失，减少社会经济损失。
附图说明
为了更清楚的说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明检测方法的流程图。
图2为本发明检测系统的原理图。
图3为本发明所提供子宫内膜取样标本取样过程示意图。
图4为本发明所提供子宫内膜细胞病理切片图像制作过程示意图。
图5为本发明初筛CNN网络模型。
图6为本发明子宫内膜癌细胞识别网络模型。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
在本发明实施例的描述中，需要说明的是，若出现术语“上”、“下”、“水平”、“内”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
此外，若出现术语“水平”，并不表示要求部件绝对水平，而是可以稍微倾斜。如“水平”仅仅是指其方向相对“竖直”而言更加水平，并不是表示该结构一定要完全水平，而是可以稍微倾斜。
在本发明实施例的描述中，还需要说明的是，除非另有明确的规定和限定，若出现术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
下面结合附图对本发明做进一步详细描述：
参见图1，本发明实施例公开了一种子宫内膜癌细胞检测方法，包括以下步骤：
步骤S1，利用CNN模型对子宫内膜细胞病理标本的WSI图像进行初筛，筛选出包含阳性细胞样本的图像；所述WSI图像是通过Li-brush子宫内膜细胞采集器采集自动内膜细胞标本，并通过数字扫描仪扫仪扫描，得到WSI图像。将WSI图像利用openslide工具进行分割，输入一张完整的细胞病理WSI图像，输出若干1024×1024像素的图像块；将图像块输入CNN网络进行分类筛查，输出初筛的结果。所述CNN网络为基于Attention和Bag of words的CNN模型；所述CNN模型以VGG网络作为主干网络，在主干网络的两边分别加入了通道注意力和空间注意力模块，最后将三个通道的特征图融合，作为提取的特征，然后将高维特征抽取出来进行k-means均值聚类，聚类中心作为码本，然后用码本的统计向量作为样本的特征，最后输入SVM分类器进行分类，最终模型实现了阳性样本和阴性样本的初筛分类。
步骤S2，利用Faster R-CNN目标检测模型对阳性细胞样本的图像进行识别；利用在线随机剪裁的方法进行处理；随机选择输入阳性细胞样本的图像中的一个目标，围绕目标随机切出边长在256～512像素范围内的子图，然后缩放至边长为512像素后，输入至Faster R-CNN目标检测模型进行识别；若目标的边长超过512像素，则将目标与背景直接切出，再进行缩放。
步骤S3，还原识别出的子宫内膜癌细胞对应的WSI图像，得到子宫内膜癌细胞的位置和置信度。将阳性细胞样本的图像还原到1024×1024像素，按照行号和列号完整还原出子宫内膜细胞病理标本的WSI图像，该WSI图像包含被Faster R-CNN目标检测模型识别出的癌细胞的位置和置信度。
如图2所示，本发明实施例还公开了一种子宫内膜癌细胞检测系统，包括：
图像采集模块，用于利用CNN模型对子宫内膜细胞病理标本的WSI图像进行初筛，筛选出包含阳性细胞样本的图像；
识别模块，用于利用Faster R-CNN目标检测模型对阳性细胞样本的图像进行识别；
位置及置信度计算模块，用于还原识别出的子宫内膜癌细胞对应的WSI图像，得到子宫内膜癌细胞的位置和置信度。
实施例：
本发明基于Faster R-CNN的子宫内膜癌细胞智能检测方法，具体识别步骤如下：
步骤1：通过Li-brush子宫内膜细胞采集器临床上采集待检患者的子宫内膜细胞病理标本，将标本通过特有扫描仪扫描制成含有上亿上像素级的WSI。
首先使用者用Li-brush刷取患者的子宫内膜细胞生物检材，然后将准备好的带有细胞样本的载玻片放置在载物台上进行扫描，就能获取到病人的子宫内膜细胞病理全图。
该步骤是是后续步骤的网络训练的基础，一个样本清晰度高，染色均匀的标本对于计算机识别有着重要的意义，因此我们制定了标准化、统一化的采集、制片流程：
样本采集过程：
①患者截石位卧于检查床，常规消毒铺巾，在一次性宫颈钳、探针的帮助下，使用内膜细胞采集器探入宫腔，旋转刷毛采集内膜样本。
②将采样后的取样刷置入内膜细胞保存液，摆动刷头使内膜样本脱落入保存液中保存。
制片、细胞块包埋过程：
①将保存液中样本离心富集后加入制片机中再次离心，95％酒精固定、染色，可得到液基细胞涂片。
②富集后的样本加入稀释液，迅速放入包埋机，待样本稀释液凝固后，取出固态标本稀释液，切去不含细胞层的部分，放入包埋盒包埋。
③包埋后的细胞块于病理科进行切片，获取细胞及微组织切片。
医学病理数据集的制作涉及到患者的个人隐私，患者是于2015年7月至2019年7月在西安交通大学第一附属医院招募。细胞病理学切片收集自接受刮宫或子宫切除术的妇女。本研究经西安交通大学第一附属医院伦理委员会批准，所有患者均签署书面知情同意书。所使用的所有协议都符合《赫尔辛基医学研究宣言》中涉及人体研究对象的伦理原则。
被诊断为疑似怀孕或怀孕、生殖系统急性炎症、宫颈癌、凝血功能障碍疾病的患者除外。每天测量两次体温在37.5℃或以上的女性也被排除在外。下表是被采集患者的医学特征信息统计。
表1病人特征信息统计表
Figure BDA0003541107810000081
步骤2：利用CNN初筛包含阳性细胞的图像。
读取病人步骤1中制备的细胞病理全图，同时调用系统分割工具openslide对WSI进行分割，分割时保证每张子图的命名格式为患者编号_行号_列号.jpg,保存在同一指定文件夹下，读取经过训练的加入了注意力机制的CNN模型，将文件夹下的所有子图放入待分割图片队列中，每次输入到CNN模型的批次为32张子图，应当理解，随着机器性能的改变，批次的大小可以相应增加或减少，网络输出阳性得分率大于阈值的所有子图，将这些子图保存在文件夹1中，剩下的子图保存在文件夹2中，以备将来还原WSI，这里实例阈值选取为0.8，可以根据需要改变阈值。需要说明的是：在训练该CNN模型的时候需要由专业的病理医师给出准确的标签，一般选取两名在临床上经验丰富、从业时间久的专业病理医师对数据集给出标签，医师A给出标签，医师B对医师A给出的结果进行复核，以期达到较为精确的细胞病理子图的标签。
该步骤是为了降低目标检测时输入的假阳性样本数量，所以首先利用CNN网络进行初筛。由于CNN网络入口一般较小，考虑首先将步骤1中获取的患者WSI输入到openslide图像分割工具中进行分割，针对不同患者获得数量不等的1024×1024像素的图像数据集。由于医学图像数据一般存在图像特征难提取的普遍现象，我们将用ImageNet图像数据集预训练好的VGG模型作为主干网络，在网络的两边分别加入了通道注意力和空间注意力模块，最后将三个通道的特征图做融合，作为提取的特征，然后将高维特征抽取出来进行k-means均值聚类，聚类中心作为码本，然后用码本的统计向量作为样本的特征，最后输入SVM分类器进行分类，最终模型实现了高精度的阳性样本和阴性样本的初筛分类。
这里的K-means均值聚类的聚类中心选取我们通过的等间隔的从5到100分别进行实验，实验结果表明分类精度随着聚类中心的增加先上升再下降，当聚类中心选取为20时精度表现最佳，为81.5％。
步骤3：利用改进的Faster R-CNN目标检测模型进行癌细胞的智能检测。
将由步骤2处理过的文件夹1中的所有子图读入计算机，同时读取训练好的改进后的Faster R-CNN模型，对图像进行一次识别，这里使用的样本是单目标识别，只检测阳性目标，网络输出为文件夹1的所有经过识别的子图，保存在文件夹3中。训练的过程同样需要两名病理医师对文件夹1中的样本进行标注，具体的标注过程如下：
①将所有子图读入随机剪裁程序，制成统一的符合规定的数据集
②将子图用label Image工具打开，框选医师认为阳性目标区域
③通过转化程序将标注过的数据转化成COCO数据集备用
训练的过程主要包括超参数的调节，使得网络的的loss降到最低，这里用到了一些训练的trick，主要包括防止过拟合和非极大值抑制。
该步骤是利用步骤3处理过的具有较低假阳性的数据作为识别的样本。在该样本中经过统计发现，目标的尺寸、宽高比等不利于目标检测模型的使用，主要表现在：
①数据集目标尺度差异较大，最大最小可相差将近几十倍，剧烈变化的目标尺度给检测带来了一定困难
②统计目标宽高比。目标宽高比主要集中在0.5～2的区间，但仍存在一定数量的极端目标。尺度和宽高比两点中的极端目标会增加常用anchor-based模型中anchor设计的难度
③目标相对图片面积大小。绝大多数目标相较于图片面积非常小。必须经过特定处理，方可进行训练。
针对样本中存在的以上为题，我们利用在线随机剪裁的方法进行处理，主要步骤如下：
①随机选择输入图片中的一个目标，围绕目标随机切出边长在256～512范围内的子图，然后缩放至边长为512后，再送进网络。
②若目标边长超过了范围，则将目标与少量背景直接切出，再进行缩放。
该步骤选取的模型是两阶段的Faster R-CNN模型，Faster R-CNN模型是从R-CNN、Fast R-CNN演变而来，其由于多变的网络结构被广泛应用于目标检测任务。为了适应子宫内膜癌细胞的检测任务，我们对该模型进行了改进，主要有以下几点改进的地方：
①使用DCN可形变卷积，提升对不规则异常细胞的检测能力。
②使用Global Context增强全局信息，有助于判断细胞病变。
③使用OHEM增强对困难样本的学习。
步骤4：统计各项指标，从WSI生成图块送入网络预测后合并识别结果
将步骤3中处理过的文件夹3和步骤2中的文件夹1里的所有子图加载到同一个文件夹中，将子图的尺寸还原到原有尺寸，按照子图文件名中包含的行号和列号依次有序地还原出原WSI。算法总体流程图，如图6所示。
该步骤是为了完成患者诊断的最后一步，本发明方法针对的是患者的WSI，还需要对因此前面三个步骤的实验样本进行还原，在步骤2中利用openslide工具进行切割WSI时，每张图像的命名都是遵循患者编号_行号_列号命名的，因此我们将经过步骤2和步骤3处理的已识别图像还原到1024×1024尺寸，按照行号和列号就可以完整还原出WSI，改WSI就包含了被网络识别出的癌细胞的位置和置信度，完成了患者的子宫内膜细胞病理图像的智能检测。
选取的检测指标主要包括：
①初筛阶段：准确率、召回率、精度、特异度
②识别阶段：AP、mAP
本发明方法是以病人为单位检测癌细胞，图像分析以病人WSI图像为单位，首先，读取病人经过切割后的全部图像，将经过CNN初筛后的数据集输入到目标检测模型定位出癌细胞的位置并给出置信度。因此判断本发明方法效果的主要指标就是初筛的灵敏度和目标检测的准确度。主要指标的数学公式如下：
初筛阶段：
Figure BDA0003541107810000111
Figure BDA0003541107810000112
Figure BDA0003541107810000113
Figure BDA0003541107810000114
Figure BDA0003541107810000115
识别阶段：
在Precision-Recall曲线基础上，通过计算每个recall值对应的Precision值的平均值，可以获得一个数组形式的评估就是AP：
Figure BDA0003541107810000121
其中r1,r2,…,rn是按升序排列的Precison插值段第一个插值处对应的Recall值。所有类别的AP就是mAP。mAP公式为：
Figure BDA0003541107810000122
本发明一实施例提供的计算机设备。该实施例的计算机设备包括：处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序。所述处理器执行所述计算机程序时实现上述各个方法实施例中的步骤。或者，所述处理器执行所述计算机程序时实现上述各装置实施例中各模块/单元的功能。
所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。
所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可包括，但不仅限于，处理器、存储器。
所述处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述计算机设备的各种功能。
所述计算机设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种子宫内膜癌细胞检测方法，其特征在于，包括以下步骤：
利用CNN模型对子宫内膜细胞病理标本的WSI图像进行初筛，筛选出包含阳性细胞样本的图像；
利用Faster R-CNN目标检测模型对阳性细胞样本的图像进行识别；
还原识别出的子宫内膜癌细胞对应的WSI图像，得到子宫内膜癌细胞的位置和置信度。
2.根据权利要求1所述的子宫内膜癌细胞检测方法，其特征在于，所述WSI图像是通过Li-brush子宫内膜细胞采集器采集自内膜细胞标本，并通过数字扫描仪扫仪扫描，得到WSI图像。
3.根据权利要求1所述的子宫内膜癌细胞检测方法，其特征在于，所述利用CNN模型对子宫内膜细胞病理标本的WSI图像进行初筛，筛选出包含阳性细胞样本的图像，包括：
首先将WSI图像利用openslide工具进行分割，输入一张完整的细胞病理WSI图像，输出若干1024×1024图像块；将图像块输入CNN网络进行分类筛查，输出初筛的结果。
4.根据权利要求3所述的子宫内膜癌细胞检测方法，其特征在于，所述CNN网络为基于Attention和Bag of words的CNN模型；所述CNN模型以VGG网络作为主干网络，在主干网络的两边分别加入了通道注意力和空间注意力模块，最后将三个通道的特征图融合，作为提取的特征，然后将高维特征抽取出来进行k-means均值聚类，聚类中心作为码本，然后用码本的统计向量作为样本的特征，最后输入SVM分类器进行分类，最终模型实现了阳性样本和阴性样本的初筛分类。
5.根据权利要求1所述的子宫内膜癌细胞检测方法，其特征在于，所述利用Faster R-CNN目标检测模型对阳性细胞样本的图像进行识别，包括：
利用在线随机剪裁的方法进行处理；随机选择输入阳性细胞样本的图像中的一个目标，围绕目标随机切出边长在256～512像素范围内的子图，然后缩放至边长为512像素后，输入至Faster R-CNN目标检测模型进行识别；若目标的边长超过512像素，则将目标与背景直接切出，再进行缩放。
6.根据权利要求1所述的子宫内膜癌细胞检测方法，其特征在于，所述还原识别出的子宫内膜癌细胞对应的WSI图像，得到子宫内膜癌细胞的位置和置信度，包括：
将阳性细胞样本的图像还原到1024×1024像素，按照行号和列号完整还原出子宫内膜细胞病理标本的WSI图像，该WSI图像包含被Faster R-CNN目标检测模型识别出的癌细胞的位置和置信度。
7.一种子宫内膜癌细胞检测系统，其特征在于，包括：
图像采集模块，用于利用CNN模型对子宫内膜细胞病理标本的WSI图像进行初筛，筛选出包含阳性细胞样本的图像；
识别模块，用于利用Faster R-CNN目标检测模型对阳性细胞样本的图像进行识别；
位置及置信度计算模块，用于还原识别出的子宫内膜癌细胞对应的WSI图像，得到子宫内膜癌细胞的位置和置信度。
8.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-7任一项所述方法的步骤。
9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7任一项所述方法的步骤。
CN202210240708.9A 2022-03-10 2022-03-10 一种子宫内膜癌细胞检测方法、系统、设备及存储介质 Pending CN114580558A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210240708.9A CN114580558A (zh) 2022-03-10 2022-03-10 一种子宫内膜癌细胞检测方法、系统、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210240708.9A CN114580558A (zh) 2022-03-10 2022-03-10 一种子宫内膜癌细胞检测方法、系统、设备及存储介质

Publications (1)

Publication Number Publication Date
CN114580558A true CN114580558A (zh) 2022-06-03

Family

ID=81780374

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210240708.9A Pending CN114580558A (zh) 2022-03-10 2022-03-10 一种子宫内膜癌细胞检测方法、系统、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114580558A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115239705A (zh) * 2022-09-19 2022-10-25 赛维森(广州)医疗科技服务有限公司 子宫内膜浆细胞数量的统计方法、装置、设备和存储介质
CN115661815A (zh) * 2022-12-07 2023-01-31 赛维森(广州)医疗科技服务有限公司 基于全局特征映射的病理图像分类方法、图像分类装置
CN117368476A (zh) * 2023-09-25 2024-01-09 西安交通大学医学院第一附属医院 七种代谢标志物的检测试剂在制备乳腺癌诊断和预后产品中的应用

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115239705A (zh) * 2022-09-19 2022-10-25 赛维森(广州)医疗科技服务有限公司 子宫内膜浆细胞数量的统计方法、装置、设备和存储介质
CN115661815A (zh) * 2022-12-07 2023-01-31 赛维森(广州)医疗科技服务有限公司 基于全局特征映射的病理图像分类方法、图像分类装置
CN115661815B (zh) * 2022-12-07 2023-09-12 赛维森(广州)医疗科技服务有限公司 基于全局特征映射的病理图像分类方法、图像分类装置
CN117368476A (zh) * 2023-09-25 2024-01-09 西安交通大学医学院第一附属医院 七种代谢标志物的检测试剂在制备乳腺癌诊断和预后产品中的应用
CN117368476B (zh) * 2023-09-25 2024-03-08 西安交通大学医学院第一附属医院 七种代谢标志物的检测试剂在制备乳腺癌诊断和预后产品中的应用

Similar Documents

Publication Publication Date Title
CN111985536B (zh) 一种基于弱监督学习的胃镜病理图像分类方法
CN114580558A (zh) 一种子宫内膜癌细胞检测方法、系统、设备及存储介质
Song et al. A deep learning based framework for accurate segmentation of cervical cytoplasm and nuclei
CN111986150B (zh) 一种数字病理图像的交互式标注精细化方法
US20120283574A1 (en) Diagnosis Support System Providing Guidance to a User by Automated Retrieval of Similar Cancer Images with User Feedback
CN109614869B (zh) 一种基于多尺度压缩奖惩网络的病理图像分类方法
Dov et al. Thyroid cancer malignancy prediction from whole slide cytopathology images
CN112862756B (zh) 识别甲状腺肿瘤病理图像中病变类型及基因突变的方法
Vocaturo et al. Dangerousness of dysplastic nevi: A multiple instance learning solution for early diagnosis
WO2022110525A1 (zh) 一种癌变区域综合检测装置及方法
CN114399634B (zh) 基于弱监督学习的三维图像分类方法、系统、设备及介质
Jing et al. A comprehensive survey of intestine histopathological image analysis using machine vision approaches
CN112085742B (zh) 一种基于上下文注意力的nafld超声视频诊断方法
He et al. SVM classifier of cervical histopathology images based on texture and morphological features
CN110929678B (zh) 外阴阴道假丝酵母菌孢子检测方法
CN111554381A (zh) 一种基于深度学习的肾透明细胞癌人工智能病理诊断方法及其诊断模型
Dey et al. Red-plane asymmetry analysis of breast thermograms for cancer detection
Jeyshri et al. Fusing expert knowledge and deep learning for accurate cervical cancer diagnosis in pap smear images: A multiscale U-net with fuzzy automata
Nahrawi et al. A Novel Nucleus Detection on Pap Smear Image Using Mathematical Morphology Approach
CN113255718B (zh) 一种基于深度学习级联网络方法的宫颈细胞辅助诊断方法
CN113222928B (zh) 一种尿细胞学人工智能尿路上皮癌识别系统
Su et al. Whole slide cervical image classification based on convolutional neural network and random forest
CN117636064B (zh) 一种基于儿童病理切片的神经母细胞瘤智能分类系统
CN113723441B (zh) 一种唇腺病理智能分析系统及方法
Lakshmanan Classification of Cancerous and Non Cancerous Cells in H & E Breast Cancer Images Using Structure Descriptors

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination