CN112380900A - 基于深度学习的子宫颈液基细胞数字图像分类方法及系统 - Google Patents

基于深度学习的子宫颈液基细胞数字图像分类方法及系统 Download PDF

Info

Publication number
CN112380900A
CN112380900A CN202011077036.1A CN202011077036A CN112380900A CN 112380900 A CN112380900 A CN 112380900A CN 202011077036 A CN202011077036 A CN 202011077036A CN 112380900 A CN112380900 A CN 112380900A
Authority
CN
China
Prior art keywords
digital image
cells
cervical fluid
cervical
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011077036.1A
Other languages
English (en)
Inventor
陈浩
胡羽
周南江
陈雁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Imsight Medical Technology Co Ltd
Original Assignee
Shenzhen Imsight Medical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Imsight Medical Technology Co Ltd filed Critical Shenzhen Imsight Medical Technology Co Ltd
Priority to CN202011077036.1A priority Critical patent/CN112380900A/zh
Publication of CN112380900A publication Critical patent/CN112380900A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698Matching; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/693Acquisition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695Preprocessing, e.g. image segmentation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及医疗技术领域,尤其是涉及基于深度学习的子宫颈液基细胞数字图像分类方法及系统,该方法包括:传图模块、检测模块和阅片模块,传图模块用于将待识别的子宫颈液基细胞数字图像传输到检测模块;检测模块用于基于训练得到的Faster‑RCNN模型,实现对子宫颈液基细胞数字图像中各类细胞的检测,得到检测结果;阅片模块用于查阅所述检测结果。本发明基于定制化的深度卷积神经网络的目标检测模型Faster‑RCNN,实现对子宫颈液基细胞数字图像中各类异常细胞进行分类、定位和检测,并且对子宫颈液基细胞数字图像进行异常分级。

Description

基于深度学习的子宫颈液基细胞数字图像分类方法及系统
技术领域
本发明涉及医疗技术领域,尤其是涉及基于深度学习的子宫颈液基细胞数字图像分类方法及系统。
背景技术
在世界范围内,宫颈癌是女性第四常见癌症死因,且呈低龄化趋势。在病症早期及时发现并及时治疗,可以有效地降低发病率和病死率。因此,宫颈癌的早期诊断对女性健康有重要的意义。现代最常用的诊断方式之一是液基涂片检查。
液基涂片检查是一种宫颈细胞学诊断方法,常用于检查宫颈癌等疾病。随着医疗数字化的发展,现代医院逐渐摒弃了在显微镜下直接对液基涂片进行观察和诊断的传统方法,取而代之的是在通过高分辨率数字扫描仪扫描后在计算机上通过检查液基涂片全切片图像进行诊断。数字化的图像具有易于存储管理,易于传输会诊,易于追溯回访且使用成本相对较低的优点。
在计算机上进行诊断的检查步骤如下:
1、首先,取得少量宫颈细胞样品,制作细胞液基涂片;
2、然后,通过高分辨率扫描仪扫描细胞液基涂片,生成宫颈细胞涂片全切片图像;
3、最后,医生及病理专家通过计算机阅图工具观察细胞有无异常(何种异常)并做出诊断。
在诊断过程中,宫颈细胞数量大,分布零散,需要专业医生花费很大的精力与时间去逐一排查,且容易漏诊。因此,自动化的异常细胞识别定位技术对于宫颈疾病的计算机辅助筛查、辅助诊断将会有很大的帮助。
已公开的专利中,涉及辅助诊断宫颈液基细胞学的系统的,记载如下:
专利CN108982500A,提出一种宫颈液基细胞学智能辅助阅片方法和系统,该方法对预选的探查区进行多层面成像,既提供了完整的三维信息,又极大地减小了每张玻片的总成像时间,无需病理阅片医生进行全玻片浏览和找寻病变细胞。专利CN102682305A,提出宫颈液基细胞学自动筛查方法和系统,该系统包括:图像采集、图像分割、目标识别和综合分析。能在减轻细胞病理学家工作负担的同时提高诊断的准确性。
已公开的专利中,针对子宫颈细胞学图像分割技术的,记载如下:
专利CN111274903A,提出一种基于图卷积神经网络的宫颈细胞图像分类方法,其先通过卷积神经网络提取特征表征,构建样本特征关系图,搭建基于图卷积神经网络的深度网络;将样本特征关系图输入基于图卷积神经网络的深度网络进行训练,继而预测目标图像中的宫颈细胞的类型。
专利CN110992303A,提出一种异常细胞筛选方法、装置、电子设备和存储介质,该专利根据像素点的灰度值对宫颈细胞全切片图像进行切分得到子图像,针对子图像训练了多个异常细胞筛选模型(卷积神经网络),根据预设选取策略从所述多个异常细胞筛选模型预测结果中选取多个预测结果作为子图像预测结果,最后将子图像结果整合在显示界面上显示所有异常细胞。
专利CN110648322A,提出一种子宫颈异常细胞检测方法及系统,该专利先将图像进行色彩归一化处理和多尺度变换,分别得到每个分块图像在不同预设尺度下的若干尺度的归一化色彩图像;基于多尺度的标注图像训练检测得到异常细胞检测模型。
专利CN110363188A与专利CN110163102A,采用稠密卷积神经网络进行宫颈细胞图像分类,可以区分11类宫颈细胞图像。
专利CN110376198A,提出了一种宫颈液基细胞切片质量检测系统,包括:利用二值形态学图像处理技术对鳞状细胞数量进行评估;结合二次模糊方法评价图像的模糊程度;采用卷积神经网络训练筛选经血液污染、胶水覆盖以及气泡覆盖的异常图像。
专利CN110689518A,提出宫颈细胞图像筛查方法、装置、计算机设备及存储介质,其采用轻量化卷积神经网络训练宫颈细胞图像筛查模型,预测类型包括预测为宫颈异常细胞图像的正类和预测为非宫颈异常细胞图像的负类。
专利CN110310253A,提出了数字切片分类方法和装置,其采用一种基于注意力机制的特征融合模型——U-Net神经网络模型,作为细胞检测模型,预测并统计输入图像内目标细胞的数量和位置。
专利CN110009050A,提出一种细胞的分类方法及装置,其先对宫颈图像训练样本进行归一化处理,然后将图像输入细胞分类模型,得到所述目标宫颈图像的特征分类矩阵;基于特征分类矩阵和细胞分类模型,确定目标宫颈图像中细胞的类型。
专利CN109272492A,提出一种细胞病理涂片的处理方法及系统,其先通过对抗生成网络对细胞病理涂片中的不均匀染色进行归一化,再对细胞图像进行分级识别。
专利CN107274386A与专利CN107274386B,先对输入图像进行识别区分为单个细胞或细胞团簇;对于单个细胞,采用附加领域知识的双流卷积神经网络和构建的细胞知识图谱对单个细胞分别进行分级识别;对于细胞团簇,采用双流卷积神经网络模型实现不可分细胞团簇的识别。
专利CN109154989A,提出使用掩模来提高卷积神经网络对于癌细胞筛查应用的分类性能,该方案为了在分类模型中引入注意力机制,采用掩模来掩蔽训练图像,以形成经掩蔽的训练图像;用经掩蔽的训练图像来训练卷积神经网络,减少了由于背景无关对象引起的分类干扰。
专利CN109815888A,提出一种新型巴氏染色方法及异常宫颈细胞自动分类方法;其分类方法经过处理与归一化输入卷积神经网络模型进行分类识别。
由于宫颈细胞学全切片图像中的细胞形态十分复杂,有单个细胞,有成团细胞,有易混淆为高级别鳞状上皮病变(HSIL)的核质比很高的化生细胞,和受炎性背景影响核增大易混淆为低级别鳞状上皮病变(LSIL)的正常细胞。
因此上述现有专利中记载的方案,均不能很好的对这些细胞进行区分和标注,并且上述现有专利在模型训练中基于分类模型的方法缺少注意力的机制,导致检测模型容易学习到背景信息作为分类特征;而纯粹基于检测模型又会导致模型聚焦于异常检出,导致假阳偏高造成过度诊断;而基于语义分割模型如U-NET的方法往往更侧重分割定位,对多类型识别区分有一定局限性。
发明内容
针对上述技术问题,本发明实施例提供了一种基于深度学习的子宫颈液基细胞数字图像分类系统,以解决传统分类方法对异常细胞分类不准确,模型预测准确度低的一种或者多种问题。
本发明实施例的第一方面提供一种基于深度学习的子宫颈液基细胞数字图像分类系统,包括:传图模块、检测模块和阅片模块,所述传图模块用于将待识别的子宫颈液基细胞数字图像传输到检测模块;所述检测模块用于基于训练得到的Faster-RCNN模型,实现对所述子宫颈液基细胞数字图像中各类细胞的检测,得到检测结果;所述阅片模块用于查阅所述检测结果。
可选地,所述检测结果包括:所述子宫颈液基细胞数字图像的异常细胞类型和异常细胞位置。
可选地,所述Faster-RCNN模型包括以下两阶段训练:一阶段:将滤除定量的背景区域的所述子宫颈液基细胞数字图像作为输入,所述子宫颈液基细胞数字图像中不同类型的异常细胞和异常细胞位置作为输出进行模型训练,得到初始检测模型;二阶段:对所述初始检测模型进行阴性输入压制假阳二次训练,得到训练好的Faster-RCNN模型。
可选地,所述Faster-RCNN模型在训练过程完成后,采用AP50来验证挑选模型,以确认所述Faster-RCNN模型的超参数。
可选地,对所述子宫颈液基细胞数字图像中不同类型的异常细胞作为输出的标注形式为:用外接矩形框进行标注,并且所述外接矩形标注的轮廓完整覆盖整个细胞。
可选地,所述传图模块使用SMB协议传输;所述传图模块和所述阅片模块使用B/S架构模式工作。
本发明实施例的第二方面提供一种基于深度学习的子宫颈液基细胞数字图像分类方法,该方法包括如下步骤:标注子宫颈液基细胞数字图像中异常细胞的位置和类型;对所述子宫颈液基细胞数字图像进行数据归一化处理;将归一化处理过后的所述子宫颈液基细胞数字图像作为输入,所述子宫颈液基细胞数字图像中异常细胞的位置和类型作为输出进行模型训练,得到训练好的Faster-RCNN模型;将待识别图像输入至训练好的所述Faster-RCNN模型中,输出检测结果。
可选地,所述方法还包括,将所述子宫颈液基细胞数字图像进行亮度增广、镜像和/或添加椒盐噪声操作,实现数据增强。
可选地,所述对所述子宫颈液基细胞数字图像进行数据归一化处理,具体包括:读取每一张所述子宫颈液基细胞数字图像的像素参数,所述像素参数代表每个像素对应的所述子宫颈液基细胞数字图像的实际距离;根据所述像素参数,将所述子宫颈液基细胞数字图像进行放大或缩小以实现物理尺寸的归一化。
可选地,所述Faster-RCNN模型包括以下两阶段训练:一阶段:将滤除定量的背景区域的所述子宫颈液基细胞数字图像作为输入,所述子宫颈液基细胞数字图像中不同类型的异常细胞和异常细胞位置作为输出进行模型训练,得到初始检测模型;二阶段:对所述初始检测模型进行阴性输入压制假阳二次训练,得到训练好的Faster-RCNN模型。
本发明基于定制化的深度卷积神经网络的目标检测模型Faster-RCNN,实现对子宫颈液基细胞数字图像中各类异常细胞进行分类、定位和检测,并且对子宫颈液基细胞数字图像进行异常分级。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明,这些示例性说明并不构成对实施例的限定,附图中具有相同参考数字标号的元件表示为类似的元件,除非有特别申明,附图中的图不构成比例限制。
图1为本发明实施例的宫颈液基细胞检测平台物理拓扑图;
图2是本发明实施例提供的基于深度学习的子宫颈液基细胞数字图像分类系统的结构图;
图3是本发明实施例提供的基于深度学习的子宫颈液基细胞数字图像分类系统的工作原理图;
图4是本发明实施例提供的基于深度学习的子宫颈液基细胞数字图像分类方法的流程图;
图5是本发明实施例提供的本发明实施例提供的子宫颈液基细胞数字图像不同类型的异常细胞进行标注的示意图;
图6是本发明实施例提供的子宫颈液基细胞数字图像作为输入和输出的图示。
具体实施方式
为了便于理解本发明,下面结合附图和具体实施例,对本发明进行更详细的说明。需要说明的是,当元件被表述“固定于”另一个元件,它可以直接在另一个元件上、或者其间可以存在一个或多个居中的元件。当一个元件被表述“连接”另一个元件,它可以是直接连接到另一个元件、或者其间可以存在一个或多个居中的元件。本说明书所使用的术语“上”、“下”、“内”、“外”、“底部”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”“第三”等仅用于描述目的,而不能理解为指示或暗示相对重要性。
除非另有定义,本说明书所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本说明书中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的,不是用于限制本发明。本说明书所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。
深度卷积神经网络近年来在机器视觉领域发展迅速,其工业化落地的有效性在医学影像病灶识别定位上面得到了有效的验证。
本发明基于定制化的深度卷积神经网络的目标检测模型Faster-RCNN,实现对子宫颈液基细胞数字图像中各类异常细胞进行分类、定位和检测。以下对本发明进行详细说明。
本发明首先提供基于卷积神经网络的图像分类的应用场景,请参阅图1,图1是本发明实施例提供的宫颈液基细胞检测平台物理拓扑图,如图1所示,利用卷积神经网络的图像分类系统进行宫颈液基细胞检测的流程如下:
1、液基涂片制作:将需要检测的宫颈液基细胞均匀涂布在载玻片上制作细胞液基涂片。
2、扫描:利用扫描仪将制作的细胞液基涂片进行扫描成像,得到子宫颈液基细胞数字图像。
3、传图:经扫描后的子宫颈液基细胞数字图像存储于扫描仪上,然后通过图源机器传输至AI服务器上进行检测。
4、检测:AI服务器接收到子宫颈液基细胞数字图像后,执行利用大数据和深度卷积神经网络检测算法,即下述的Faster-RCNN模型,对子宫颈液基细胞数字图像中的异常细胞进行分类和位置等标注,并将检测结果返回至阅片电脑。
5、阅片:操作者通过阅片电脑浏览被标注的图像及检测结果。
其中,液基涂片制作和扫描成像可分别由用户和扫描仪(客户端)完成,本发明实施例首先提供基于深度学习的子宫颈液基细胞数字图像分类系统,该分类系统即用于执行上述传图、扫描和阅片功能。
以下对该基于深度学习的子宫颈液基细胞数字图像分类系统进行详细说明。请参阅图2,本发明实施例提供的图像分类系统200包括:传图模块201、检测模块202和阅片模块203。
在图1的应用场景中,传图模块201(图源机器)和阅片模块203(阅片电脑)以电子硬件分别实现,检测模块202(AI服务器)以软件实现,本领域技术人员还可以进一步认识到,硬件和软件的可互换性,即传图模块201、检测模块202和阅片模块203还能够以除去图1以外的方式进行电子硬件、计算机软件或者二者的任意结合来实现。
传图模块201用于将子宫颈液基细胞数字图像传输到检测模块。
请参阅图3的工作原理图,在本发明实施例中,传图模块201使用SMB协议(SMB,Server Message Block),搭建客户端到检测模块202的文件夹映射。从而把子宫颈液基细胞数字图像从客户端传输到检测模块202的图像文件夹。另外,在本发明实施例中,传图模块201包含一个使用C/S架构(服务器-客户机,即Client-Server(C/S)结构,C/S结构通常采取两层结构,服务器负责数据的管理,客户机负责完成与用户的交互任务)的客户端插件,用于在客户端显示上传及检测状态,例如,其可以显示把子宫颈液基细胞数字图像从客户端传输到检测模块202的图像文件夹中的传输进度。
检测模块202用于基于训练得到的Faster-RCNN模型,实现对所述子宫颈液基细胞数字图像中各类细胞的检测,得到检测结果。在本发明实施例中,检测模块202读取图像文件夹中的图像,并基于定制化的深度卷积神经网络的检测模型Faster-RCNN,实现对子宫颈液基细胞数字图像中各类细胞自动检测、定位和异常分类等标注,然后将检测结果存储在数据库中和返回至阅片模块203。
阅片模块203用于查阅检测结果,该检测结果包括:子宫颈液基细胞数字图像的异常细胞类型和异常细胞位置。
在本发明实施例中,阅片模块203使用B/S架构(Browser/Server,浏览器/服务器模式,即采取浏览器请求,服务器响应的工作模式)。用户从浏览器访问服务器上的网页及数据,服务器与浏览器之间通过HTTP协议通信(HTTP,HyperText Transfer Protocol),阅片模块203的数据也储存在数据库中。
由上述可知,基于深度学习的子宫颈液基细胞数字图像分类系统可以用于存储、自动检测、查阅子宫颈液基细胞数字图像。自动检测指的是利用大数据和深度卷积神经网络检测算法,对子宫颈液基细胞数字图像中的9类异常细胞:非典型鳞状上皮内病变(ASC-US)、低级别鳞状上皮内病变(LSIL)、高级别鳞状上皮内病变(HSIL,含不排除高级别非典型鳞状上皮内病变ASC-H、鳞状上皮癌SCC)、意义不明确的非典型腺上皮细胞(AGC)、放线菌(ACTINO)、念珠菌(FUNGI)、滴虫(TV)、疱疹(HSV)以及子宫内膜细胞(EMC)进行自动识别定位,并判断子宫颈液基细胞数字图像异常类型。
检测模块202为利用大数据训练的深度神经网络检测模型Faster-RCNN,可以通过对大量数据所包含的类型和位置信息进行建模和抽象,采用注意力机制,将目标的位置大小坐标信息输入神经网络,使之聚焦于异常细胞区域,从而可以实现通过单个模型对子宫颈液基细胞数字图像的分类与精准检测定位。
其中,Faster-RCNN是基于卷积神经网络的图像检测模型,在本发明实施例中,Faster-RCNN模型由以下几部分组成:
1、特征提取网络。
在训练过程中,需要将子宫颈液基细胞数字图像输入深度卷积神经网络,进行特征提取。特征提取网络为由级联的卷积层、非线性激活层、残差结构组成的神经网络架构,该神经网络架构基于深度学习中的反向传播算法,用大量图像数据和图像所含物体类型标签预训练,总结提取图像抽象特征,输出图像对应的尺寸特征张量(相较原始高尺寸图像)。在本发明实施例中,输入为1200x1200的图像,输出为38x38x2048的高维张量。
本发明的特征提取网络是ResNet-101残差网络,该网络结构可以在网络复杂度与算法速度中取得一个较好的平衡。
2、区域选取网络。
区域选取网络由卷积层和非线性激活层组成,区域选取网络通过在特征提取网络输出的低维特征张量上进行滑窗分类和物体边界框坐标回归,分类结果为判断当前该窗口位置包含异常细胞的类型、对应概率及估计当前窗口检测细胞(细胞团)的大小,当前窗口位置即对应原图像中相应坐标位置。经过区域选取网络,可以对异常细胞的类型、对应概率进行估计。
本发明的区域选取网络采用特征金字塔网络FPN,其能够融合多尺度的信息,对小细胞的检测起到了显著的提升作用,区域选取网络的输入为38x38x2048的高维张量,中间层为256维的特征向量,分类输出层为全连接层,256维向量全连接输出当前区域包含目标的类型。其中,各个类型分别有一个10位的稀疏向量表征(9类异常细胞+背景),矩形框位置回归样同是全连接层,由256维向量全连接输出当前区域包含目标相对于子张量坐标中心的外接矩形框左上角坐标的橫,纵,长,宽的归一化在[0,1]之间的浮点值。
其中,特征提取网络由输入到输出图像尺度缩小了32倍,所以区域选择网络所输出的橫纵长宽需要相应扩大32倍即为细胞或细胞核在原图像中的大小。通过区域选取网络可以得到异常细胞在特征提取网络输出的高维特征张量中对应该异常细胞或细胞核位置对应的特征子张量。
3、分类与定位回归网络。
分类与定位回归网络由级联的全连接层和非线性激活层(ReLU)组成,对区域选取网络输出候选目标框进一步分类回归,同时判断该区域中所包含的目标是何种类型的异常细胞。
本发明实施例构建了一个包含万余全切片的数据集,利用深度学习和有限的标注数据用数值方法获得深度神经网络检测模型Faster-RCNN模型,不需要人工设计特征,对复杂情况有通用性和鲁棒性。
其中,Faster-RCNN模型在训练过程中,具体包括以下两个阶段的训练:
一阶段:将滤除定量的背景区域的所述子宫颈液基细胞数字图像作为输入,子宫颈液基细胞数字图像中不同类型的异常细胞和异常细胞位置作为输出进行模型训练,得到初始检测模型;
二阶段:对初始检测模型进行阴性输入压制假阳二次训练,得到二次训练后的检测模型。
在一阶段利用数据集训练得到初始检测模型后,为了避免部分阴性图片输出阳性结果,可进一步对模型进行阴性输入压制假阳二次训练。即通过用初始模型在阴性全切片中挖掘假阳感兴趣的图片,然后将假阳图片与前述步骤的数据集再同时放入第二阶段的检测模型训练,更新检测模型以得到二次训练后的检测模型。
二次训练后的检测模型极大地平衡了训练过程中正负样本的比例,降低了分类的难度。此外在对该检测模型进行训练过程中,包含做了离线的难例挖掘,对检测模型中出现的假阳起到了有效地抑制作用,显著提高了模型预测的准确度。
在完成上述训练后,可以通过得到的模型在验证集上进行测试。本发明实施例采用AP50来验证挑选模型,AP50由医生标注的金标准结果框与检测模型预测框,两个框的交并比阈值为0.5时的平均精准度的值。经过验证选取最优的超参数,作为训练获得的Faster-RCNN模型最终的参数。
在应用时,将全切片中的所有感兴趣区域输入至检测模型中,得到的检测结果是:包含异常细胞类型、概率和位置大小的预测概率。
在得到目标是包含异常细胞类型、概率和位置大小的预测概率后,可将检测到的各个类型的异常细胞分别统计,选取概率最高的16个加和作为全切片该类型的得分;最后得分超过一定阈值,将按照疾病严重程度从高到低的顺序确定该子宫颈液基细胞数字图像的类型。
本发明的Faster-RCNN模型可以通过对大量数据所包含的类型和位置信息进行建模和抽象,并采用注意力机制,将目标的位置大小坐标信息输入神经网络,使之聚焦于异常细胞区域,从而可以实现通过单个模型对子宫颈液基细胞数字图像的分类与精准检测定位。并且二阶段的检测模型极大地平衡了训练过程中正负样本的比例,降低了分类的难度。此外本发明做了离线的难例挖掘,对检测模型中出现的假阳起到了有效地抑制作用,显著提高了模型预测的准确度。
本发明实施例提供的基于卷积神经网络的宫颈细胞图像分类系统可实现:
1、对子宫颈液基细胞数字图像中的各类异常细胞进行分类、定位和检测;
2、对子宫颈液基细胞数字图像进行异常分级;
3、不限制子宫颈液基细胞数字图像的输入状态,无论是单细胞或者是成团细胞,均可以得到良好的检测结果。
请参阅图4,本发明实施例还提供一种基于深度学习的子宫颈液基细胞数字图像分类方法,如图4所示,该方法包括如下步骤:
401、标注子宫颈液基细胞数字图像中异常细胞的位置和类型;
深度学习是基于大量样本,通过反向传播算法对大量样本进行特征提取和模型参数调整的技术。为了解决细胞及细胞核分割问题,本发明构建了一个包含1.1万张全切片图片的数据集,每张全切片图片中由专业医生选出一些感兴趣区域(ROI),对局部区域中的所有不同类型的异常细胞进行标注,具体如下:
首先,挑选符合临床标准的子宫颈液基细胞数字图像,在20倍镜分辨率下,每张图像选若干个宽和高为1200像素的包含细胞的感兴趣的区域(ROI),并用选取的ROI区域构成数据集。
然后,对ROI区域中的不同类型的异常细胞进行标注(如图5中的51和52),在本发明实施例中,标注形式为多类型外接矩形框,在标注过程中需满足,外接矩形框标注的的轮廓需完整覆盖整个细胞(细胞团),同时标注过程中,对边界较难区分的情况依据细胞边缘纹理形态进行人为推断。
402、对所述子宫颈液基细胞数字图像进行数据归一化处理;
由于步骤401选取的图像均采样于不同的子宫颈液基细胞数字图像,这些数字图像可能由不同的扫描仪扫描成像,因不同扫描仪的硬件属性,软件参数设置的不同,每张图像的像素代表的实际物理尺寸也会有不同,因此,此步骤需要对上述采集的图像进行归一化处理,归一化处理的目的在于尽可能保证数据集中的图像具有相近的物理尺寸。在下述深度卷积神经网络模型在部署和应用场景中,也应该对输入数据进行同样的归一化处理。
本发明实施例可以通过读取图像的附加信息获得该图像的微米每像素(micronper pixel,mpp)参数。mpp作为像素参数,代表了每个像素对应的子宫颈涂片的实际距离,mpp为1代表每个像素代表的实际横或纵距离为1微米。
通过读取mpp,可以将子子宫颈液基细胞数字图像数据集中的图像通过双线性插值法进行放大或缩小从而实现数据物理尺寸上的归一化。
本发明将数据集mpp归一化为0.5。每张图片的目标行(列)像素数由以下公式得出:
目标行(列)像素数=0.5*原行(列)像素数/mpp。
403、将归一化处理过后的所述子宫颈液基细胞数字图像作为输入,所述子宫颈液基细胞数字图像中异常细胞的位置和类型作为输出进行模型训练,得到训练好的Faster-RCNN模型。
需要说明的是,由于制片扫描原因,子宫颈液基细胞数字图像中的很大部分区域为无关的背景信息,为了有效提升算法运行速度,在输入检测算法前,可以先根据自适应的阈值提取算法滤除大部分背景区域,仅将含有细胞的前景感兴趣区域输入算法检测。
请参阅图6,此步骤即将1200*1200像素的子宫颈液基细胞数字图像(ROI)作为输入(输入图像为图6中的61),所有异常细胞的边界框及其分类作为输出(输出图像为图6中的62),训练检测模型,训练的目标为图像的标注。其中,为了利用有限的训练数据使模型的泛化能力更强,可以将训练集中的子子宫颈液基细胞数字图像进行翻转、镜像和/或添加椒盐噪声等操作,实现对数据集的扩充。同时采用重叠采样,添加位移扰动,增强模型分类对平移的鲁棒性,通过数据集扩充可以利用有限的训练数据使模型的泛化能力更强。
其中,Faster-RCNN模型包括以下两阶段训练:
一阶段:将滤除定量的背景区域的所述子宫颈液基细胞数字图像作为输入,子宫颈液基细胞数字图像中不同类型的异常细胞和异常细胞位置作为输出进行模型训练,得到初始检测模型;
二阶段:对所述初始检测模型进行阴性输入压制假阳二次训练,得到训练好的Faster-RCNN模型。
404、将待识别图像输入至训练好的所述Faster-RCNN模型中,输出检测结果。
该检测结果包括子宫颈液基细胞数字图像的异常细胞类型和异常细胞位置。
需要说明的是,该方法所用图像分类原理与上述实施例中的基于深度学习的子宫颈液基细胞数字图像分类系统的分类原理相同,在方法中公开的方案与系统中公开的方案可以相互参照。
本发明实施例提供的基于卷积神经网络的宫颈细胞图像分类方法可实现:
1、对子宫颈液基细胞数字图像中的各类异常细胞进行分类、定位和检测;
2、对子宫颈液基细胞数字图像进行异常分级;
3、不限制子宫颈液基细胞数字图像的输入状态,无论是单细胞或者是成团细胞,均可以得到良好的检测结果。
本领域技术人员应该还可以进一步意识到,结合本文中所公开的实施例描述的示例性的双光图像整合方法的各个步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。
本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。所述的计算机软件可存储于计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体或随机存储记忆体等。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;在本发明的思路下,以上实施例或者不同实施例中的技术特征之间也可以进行组合,步骤可以以任意顺序实现,并存在如上所述的本发明的不同方面的许多其它变化,为了简明,它们没有在细节中提供;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种基于深度学习的子宫颈液基细胞数字图像分类系统,其特征在于,包括:传图模块、检测模块和阅片模块,
所述传图模块用于将待识别的子宫颈液基细胞数字图像传输到检测模块;
所述检测模块用于基于训练得到的Faster-RCNN模型,实现对所述子宫颈液基细胞数字图像中各类细胞的检测,得到检测结果;
所述阅片模块用于查阅所述检测结果。
2.根据权利要求1所述的系统,其特征在于,所述检测结果包括:所述子宫颈液基细胞数字图像的异常细胞类型和异常细胞位置。
3.根据权利要求1所述的系统,其特征在于,所述Faster-RCNN模型包括以下两阶段训练:
一阶段:将滤除定量的背景区域的所述子宫颈液基细胞数字图像作为输入,所述子宫颈液基细胞数字图像中不同类型的异常细胞和异常细胞位置作为输出进行模型训练,得到初始检测模型;
二阶段:对所述初始检测模型进行阴性输入压制假阳二次训练,得到训练好的Faster-RCNN模型。
4.根据权利要求1所述的系统,其特征在于,所述Faster-RCNN模型在训练过程完成后,采用AP50来验证挑选模型,以确认所述Faster-RCNN模型的超参数。
5.根据权利要求3所述的系统,其特征在于,对所述子宫颈液基细胞数字图像中不同类型的异常细胞作为输出的标注形式为:用外接矩形框进行标注,并且所述外接矩形标注的轮廓完整覆盖整个细胞。
6.根据权利要求1-5任一项所述的系统,其特征在于,所述传图模块使用SMB协议传输;
所述传图模块和所述阅片模块使用B/S架构模式工作。
7.一种基于深度学习的子宫颈液基细胞数字图像分类方法,其特征在于,包括如下步骤:
标注子宫颈液基细胞数字图像中异常细胞的位置和类型;
对所述子宫颈液基细胞数字图像进行数据归一化处理;
将归一化处理过后的所述子宫颈液基细胞数字图像作为输入,所述子宫颈液基细胞数字图像中异常细胞的位置和类型作为输出进行模型训练,得到训练好的Faster-RCNN模型;
将待识别图像输入至训练好的所述Faster-RCNN模型中,输出检测结果。
8.根据权利要求7所述的方法,其特征在于,所述方法还包括,
将所述子宫颈液基细胞数字图像进行亮度增广、镜像和/或添加椒盐噪声操作,实现数据增强。
9.根据权利要求8所述的方法,其特征在于,所述对所述子宫颈液基细胞数字图像进行数据归一化处理,具体包括:
读取每一张所述子宫颈液基细胞数字图像的像素参数,所述像素参数代表每个像素对应的所述子宫颈液基细胞数字图像的实际距离;
根据所述像素参数,将所述子宫颈液基细胞数字图像进行放大或缩小以实现物理尺寸的归一化。
10.根据权利要求7所述的方法,其特征在于,所述Faster-RCNN模型包括以下两阶段训练:
一阶段:将滤除定量的背景区域的所述子宫颈液基细胞数字图像作为输入,所述子宫颈液基细胞数字图像中不同类型的异常细胞和异常细胞位置作为输出进行模型训练,得到初始检测模型;
二阶段:对所述初始检测模型进行阴性输入压制假阳二次训练,得到训练好的Faster-RCNN模型。
CN202011077036.1A 2020-10-10 2020-10-10 基于深度学习的子宫颈液基细胞数字图像分类方法及系统 Pending CN112380900A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011077036.1A CN112380900A (zh) 2020-10-10 2020-10-10 基于深度学习的子宫颈液基细胞数字图像分类方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011077036.1A CN112380900A (zh) 2020-10-10 2020-10-10 基于深度学习的子宫颈液基细胞数字图像分类方法及系统

Publications (1)

Publication Number Publication Date
CN112380900A true CN112380900A (zh) 2021-02-19

Family

ID=74581175

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011077036.1A Pending CN112380900A (zh) 2020-10-10 2020-10-10 基于深度学习的子宫颈液基细胞数字图像分类方法及系统

Country Status (1)

Country Link
CN (1) CN112380900A (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112949723A (zh) * 2021-03-08 2021-06-11 西安美佳家医疗科技有限责任公司 一种子宫内膜病理图像分类方法
CN113033417A (zh) * 2021-03-29 2021-06-25 山东仕达思生物产业有限公司 一种妇科微生态中孢子的检测识别方法、设备及存储介质
CN113063778A (zh) * 2021-03-10 2021-07-02 南通大学 一种应用于ai识别的胸水单体癌细胞制备方法
CN113255718A (zh) * 2021-04-01 2021-08-13 透彻影像科技(南京)有限公司 一种基于深度学习级联网络方法的宫颈细胞辅助诊断方法
CN113256628A (zh) * 2021-07-05 2021-08-13 深圳科亚医疗科技有限公司 用于宫颈图像的分析管理的装置和方法、设备及存储介质
CN113450354A (zh) * 2021-08-30 2021-09-28 山东仕达思生物产业有限公司 基于卷积神经网络和摇摆活动特征的滴虫检测方法
CN113724842A (zh) * 2021-09-08 2021-11-30 武汉兰丁智能医学股份有限公司 一种基于注意力机制的宫颈组织病理辅助诊断方法
CN113763315A (zh) * 2021-05-18 2021-12-07 腾讯医疗健康(深圳)有限公司 玻片图像的信息获取方法、装置、设备及介质
CN113887378A (zh) * 2021-09-18 2022-01-04 上海申挚医疗科技有限公司 子宫颈液基细胞数字病理图像检测方法及系统
CN114511523A (zh) * 2022-01-21 2022-05-17 中山大学 基于自监督学习的胃癌分子亚型分类方法及装置
CN116863466A (zh) * 2023-09-04 2023-10-10 南京诺源医疗器械有限公司 一种基于改进UNet网络的重叠细胞核识别方法及系统
CN117218443A (zh) * 2023-09-22 2023-12-12 东北大学 巴氏涂片宫颈细胞图像分类方法及系统
CN117765533A (zh) * 2024-02-22 2024-03-26 天津医科大学第二医院 一种用于口腔黏膜癌预测的图像处理方法及系统
CN114511523B (zh) * 2022-01-21 2024-05-31 中山大学 基于自监督学习的胃癌分子亚型分类方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101489163B1 (ko) * 2013-07-25 2015-02-03 전북대학교산학협력단 자궁 경부암 자동 진단 방법 및 시스템
CN107451615A (zh) * 2017-08-01 2017-12-08 广东工业大学 基于Faster RCNN的甲状腺乳头状癌超声图像识别方法及系统
CN109886179A (zh) * 2019-02-18 2019-06-14 深圳视见医疗科技有限公司 基于Mask-RCNN的子宫颈细胞涂片的图像分割方法和系统
CN110335250A (zh) * 2019-05-31 2019-10-15 上海联影智能医疗科技有限公司 网络训练方法、装置、检测方法、计算机设备和存储介质
CN110648322A (zh) * 2019-09-25 2020-01-03 杭州智团信息技术有限公司 一种子宫颈异常细胞检测方法及系统
CN112257704A (zh) * 2020-09-15 2021-01-22 深圳视见医疗科技有限公司 基于深度学习检测模型子宫颈液基细胞数字图像分类方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101489163B1 (ko) * 2013-07-25 2015-02-03 전북대학교산학협력단 자궁 경부암 자동 진단 방법 및 시스템
CN107451615A (zh) * 2017-08-01 2017-12-08 广东工业大学 基于Faster RCNN的甲状腺乳头状癌超声图像识别方法及系统
CN109886179A (zh) * 2019-02-18 2019-06-14 深圳视见医疗科技有限公司 基于Mask-RCNN的子宫颈细胞涂片的图像分割方法和系统
CN110335250A (zh) * 2019-05-31 2019-10-15 上海联影智能医疗科技有限公司 网络训练方法、装置、检测方法、计算机设备和存储介质
CN110648322A (zh) * 2019-09-25 2020-01-03 杭州智团信息技术有限公司 一种子宫颈异常细胞检测方法及系统
CN112257704A (zh) * 2020-09-15 2021-01-22 深圳视见医疗科技有限公司 基于深度学习检测模型子宫颈液基细胞数字图像分类方法

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112949723A (zh) * 2021-03-08 2021-06-11 西安美佳家医疗科技有限责任公司 一种子宫内膜病理图像分类方法
CN112949723B (zh) * 2021-03-08 2023-02-14 西安交通大学医学院第一附属医院 一种子宫内膜病理图像分类方法
CN113063778A (zh) * 2021-03-10 2021-07-02 南通大学 一种应用于ai识别的胸水单体癌细胞制备方法
CN113033417A (zh) * 2021-03-29 2021-06-25 山东仕达思生物产业有限公司 一种妇科微生态中孢子的检测识别方法、设备及存储介质
CN113255718A (zh) * 2021-04-01 2021-08-13 透彻影像科技(南京)有限公司 一种基于深度学习级联网络方法的宫颈细胞辅助诊断方法
CN113255718B (zh) * 2021-04-01 2022-07-01 透彻影像科技(南京)有限公司 一种基于深度学习级联网络方法的宫颈细胞辅助诊断方法
CN113763315B (zh) * 2021-05-18 2023-04-07 腾讯医疗健康(深圳)有限公司 玻片图像的信息获取方法、装置、设备及介质
CN113763315A (zh) * 2021-05-18 2021-12-07 腾讯医疗健康(深圳)有限公司 玻片图像的信息获取方法、装置、设备及介质
CN113256628A (zh) * 2021-07-05 2021-08-13 深圳科亚医疗科技有限公司 用于宫颈图像的分析管理的装置和方法、设备及存储介质
CN113450354B (zh) * 2021-08-30 2021-11-16 山东仕达思生物产业有限公司 基于卷积神经网络和摇摆活动特征的滴虫检测方法
CN113450354A (zh) * 2021-08-30 2021-09-28 山东仕达思生物产业有限公司 基于卷积神经网络和摇摆活动特征的滴虫检测方法
CN113724842A (zh) * 2021-09-08 2021-11-30 武汉兰丁智能医学股份有限公司 一种基于注意力机制的宫颈组织病理辅助诊断方法
CN113724842B (zh) * 2021-09-08 2022-08-02 武汉兰丁智能医学股份有限公司 一种基于注意力机制的宫颈组织病理辅助诊断方法
CN113887378A (zh) * 2021-09-18 2022-01-04 上海申挚医疗科技有限公司 子宫颈液基细胞数字病理图像检测方法及系统
CN114511523A (zh) * 2022-01-21 2022-05-17 中山大学 基于自监督学习的胃癌分子亚型分类方法及装置
CN114511523B (zh) * 2022-01-21 2024-05-31 中山大学 基于自监督学习的胃癌分子亚型分类方法及装置
CN116863466A (zh) * 2023-09-04 2023-10-10 南京诺源医疗器械有限公司 一种基于改进UNet网络的重叠细胞核识别方法及系统
CN117218443A (zh) * 2023-09-22 2023-12-12 东北大学 巴氏涂片宫颈细胞图像分类方法及系统
CN117218443B (zh) * 2023-09-22 2024-03-05 东北大学 巴氏涂片宫颈细胞图像分类方法及系统
CN117765533A (zh) * 2024-02-22 2024-03-26 天津医科大学第二医院 一种用于口腔黏膜癌预测的图像处理方法及系统
CN117765533B (zh) * 2024-02-22 2024-04-26 天津医科大学第二医院 一种用于口腔黏膜癌预测的图像处理方法及系统

Similar Documents

Publication Publication Date Title
CN112380900A (zh) 基于深度学习的子宫颈液基细胞数字图像分类方法及系统
CN109886179B (zh) 基于Mask-RCNN的子宫颈细胞涂片的图像分割方法和系统
US11468693B2 (en) Digital image classification method for cervical fluid-based cells based on a deep learning detection model
CN107274386B (zh) 一种宫颈细胞液基涂片人工智能辅助阅片系统
CN109325942B (zh) 基于全卷积神经网络的眼底图像结构分割方法
US11636599B2 (en) Image diagnostic system, and methods of operating thereof
CN111028206A (zh) 一种基于深度学习前列腺癌自动检测和分类系统
CN109389129A (zh) 一种图像处理方法、电子设备及存储介质
JP7422235B2 (ja) 腫瘍検出および分析を支援するための非腫瘍セグメンテーション
US20220383661A1 (en) Method and device for retinal image recognition, electronic equipment, and storage medium
CN110796661B (zh) 基于卷积神经网络的真菌显微图像分割检测方法及系统
CN115088022A (zh) 用于训练机器学习算法和维护患者隐私的联邦学习系统
CN112001895B (zh) 一种甲状腺钙化检测装置
CN115909006B (zh) 基于卷积Transformer的乳腺组织图像分类方法及系统
CN112233061A (zh) 一种基于深度学习的皮肤基底细胞癌和鲍温病识别方法
CN113261012B (zh) 处理图像的方法、装置及系统
CN113012129A (zh) 一种脑切片图像的区域定位及标记神经细胞计数系统及装置
CN113160175B (zh) 一种基于级联网络的肿瘤淋巴管浸润检测方法
CN112927215A (zh) 一种消化道活检病理切片自动分析方法
CN116524315A (zh) 一种基于Mask R-CNN的肺癌病理组织切片识别及分割方法
CN116682109B (zh) 一种病理显微图像的分析方法、装置、设备及存储介质
Chen et al. What can machine vision do for lymphatic histopathology image analysis: a comprehensive review
Sreelekshmi et al. SwinCNN: An Integrated Swin Trasformer and CNN for Improved Breast Cancer Grade Classification
Jeyshri et al. Nuclei Localization in Pap Smear Images for Ovarian Cancer Visualization
CN117408954A (zh) 基于深度学习的肾纤维化分级方法、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination