CN113255718B - 一种基于深度学习级联网络方法的宫颈细胞辅助诊断方法 - Google Patents

一种基于深度学习级联网络方法的宫颈细胞辅助诊断方法 Download PDF

Info

Publication number
CN113255718B
CN113255718B CN202110357001.1A CN202110357001A CN113255718B CN 113255718 B CN113255718 B CN 113255718B CN 202110357001 A CN202110357001 A CN 202110357001A CN 113255718 B CN113255718 B CN 113255718B
Authority
CN
China
Prior art keywords
cell
pathological
image
enhanced image
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110357001.1A
Other languages
English (en)
Other versions
CN113255718A (zh
Inventor
刘阳
李鑫奎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tuling Artificial Intelligence Institute Nanjing Co ltd
Thorough Image Technology Nanjing Co ltd
Original Assignee
Tuling Artificial Intelligence Institute Nanjing Co ltd
Thorough Image Technology Nanjing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tuling Artificial Intelligence Institute Nanjing Co ltd, Thorough Image Technology Nanjing Co ltd filed Critical Tuling Artificial Intelligence Institute Nanjing Co ltd
Priority to CN202110357001.1A priority Critical patent/CN113255718B/zh
Publication of CN113255718A publication Critical patent/CN113255718A/zh
Application granted granted Critical
Publication of CN113255718B publication Critical patent/CN113255718B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种基于深度学习级联网络方法的宫颈细胞辅助诊断方法。获取宫颈细胞的细胞病理图像,并进行预处理,生成增强图像;通过检测算法对所述增强图像进行检测,确定所述增强图像的第一病变细胞特征、第一细胞类别和病变区域;将检测后增强图像再次导入基于分类算法的分类器,对所述增强图像进行打分,根据打分分数确定第二病变细胞特征和第二细胞类别;将所述第一病变细胞特征,第一细胞类别、第二病变细胞特征和第二细胞类别和病变区域导入深度学习级联网络进行加权融合,输出融合结果;根据所述融合结果,生成辅助诊断模型。

Description

一种基于深度学习级联网络方法的宫颈细胞辅助诊断方法
技术领域
本发明涉及疾病诊断技术领域,特别涉及一种基于深度学习级联网络方法的宫颈细胞辅助诊断方法。
背景技术
目前,随着科技的快速发展,在生活已经随处可见AI人工智能的产物,他们被应用在各行各业,其中人工智能在医疗行业的应用也很广泛。
人工智能AI是一种很好的工具,能够缓解医生资源紧缺的问题,提高医生工作效率,医院可以利用AI进行范围内居民健康管理。通过人工智能AI模拟医生诊疗过程并给出诊疗建议,比如服用日常药物,或者就近联系医生等,满足常见病咨询需求。这也给患者和医生节省了大量的时间也保证了生命的安全。
人工智能AI目前在医疗临床使用较多的主要有四种:一是智能影像,二是智能语音,三是医学机器人,四是临床智能决策。智能影像和语音是基于图像和语音识别技术发展起来的,由于医学影像资料获取门槛较低且更为标准化,语音数据识别技术成熟,所以智能医学影像目前发展最为成熟,临床接受程度最高,只是仍然不属于医疗最核心领域。
在宫颈细胞的检测方面,现有技术主要包括两类:第一类是采用液基薄层细胞检测系统检测宫颈细胞并人工进行细胞学分类诊断。
第二类是通过人工智能AI,经过大量数字化切片数据学习,在本地完成病理图像的分析,辅助医生做进一步的诊断。
但是现有技术存在以下缺点:第一技术比较依赖病理医生;无病理医生时无法及时的给出诊断;容易出现误诊,漏诊;全国病理医生数量较少,每天每个病理医生需要查阅大量切片,导致病理医生不能时刻以最佳的状态进行阅片,易出现误诊,漏诊现象。只能给出简易诊断;病理医生阅片后,短时间内无法给出具体的病变区域,病变数量,无法有效进行病例研究等。第二类技术精度低;通常采用目标检测类算法,由于目标之间相互竞争,目标形态又千变万化,导致产生敏感性满足但特异性不足的情况。诊断速度慢;虽然专门针对宫颈细胞图像的辅助诊断,但由于全扫描图像的尺寸过大,导致分析时间过长,远远高于病理医生的诊断时间,无法有效提高病理医生的工作效率,难以发挥辅助诊断的真正作用。拓展性较弱;在一种制片方式数据下的模型,只能在某种制片方式下表现出很好的诊断能力;不同制片方式的宫颈图像不能表现出相同的能力。
发明内容
本发明提供种基于深度学习级联网络方法的宫颈细胞辅助诊断方法,用以解决现有技术中依赖病理医生,容易误诊,漏诊,只能给出建议诊断,精度低,诊断速度慢,扩展性弱的问题。
一种基于深度学习级联网络方法的宫颈细胞辅助诊断方法,包括:
获取宫颈细胞的细胞病理图像,并进行预处理,生成增强图像;
通过检测算法对所述增强图像进行检测,确定所述增强图像的第一病变细胞特征、第一细胞类别和病变区域;
将检测后增强图像再次导入基于分类算法的分类器,对所述增强图像进行打分,根据打分分数确定第二病变细胞特征和第二细胞类别;
将所述第一病变细胞特征,第一细胞类别、第二病变细胞特征和第二细胞类别和病变区域导入深度学习级联网络进行加权融合,输出融合结果;
根据所述融合结果,生成辅助诊断模型。
作为本发明的一种实施例:所述获取宫颈细胞的细胞病理图像,并进行预处理,生成增强图像,包括:
预先通过全扫描的数字切片装置扫描患者的宫颈细胞的检测部位,得到检测部位的全扫描数字切片;
根据所述全扫描数字切片,生成细胞病理图像;
将所述细胞病理图像依次进行数据清洗、数据集成、数据归一化、数据变换处理,确定增强图像。
作为本发明的一种实施例:所述通过检测算法对所述增强图像进行检测,包括:
预先设置标注数据训练特征提取器;
将所述增强图像导入所述标注数据训练特征提取器,确定细胞特征;
将所述细胞特征通过深度学习神经网络进行处理,生成区域检测方案;
根据所述区域检测方案,生成细胞分类任务;
根据所述细胞分类任务,基于回归误差函数进行定位回归,确定定位回归结果;
根据所述定位回归结果,确定第一病变细胞特征、第一细胞类别和病变区域。
作为本发明的一种实施例:所述通过检测算法对所述增强图像进行检测,还包括:
将所述增强图像划分为多个Patch区域;
通过所述检测算法对所述多个Patch区域进行一一检测,获取检测结果;
根据所述检测结果,对每个Patch区域进行打分,根据打分的分值确定病变细胞中每个类型的细胞的得分分值;
根据所述得分分值,确定病变细胞的病变区域。
作为本发明的一种实施例:所述将检测后增强图像再次导入基于分类算法的分类器,包括:
获取所述增强图像;
将所述增强图像导入深度神经网络进行学习,确定误差函数;
根据所述误差函数,对分类函数进行训练,获得分类器;
将所述增强图像依次带入所述分类器进行分类。
作为本发明的一种实施例:所述根据打分分数确定第二病变细胞特征和第二细胞类别,包括:
预先设置score组,并将所述分类器作为所述score组的输入;
根据所述第一细胞类别,将所述增强图像上的细胞数据按照类别输入所述分类器,并对每个类别的细胞数据进行打分,根据所述打分确定分值最大的score组,并确定第二病变细胞特征和第二细胞类别。
作为本发明的一种实施例:所述将所述第一病变细胞特征,第一细胞类别、第二病变细胞特征和第二细胞类别和病变区域导入深度学习级联网络进行加权融合,输出融合结果,包括:
将所述第一病变细胞特征和第二病变细胞特征映射到多个子空间中,构建映射矩阵;
分别提取所述第一病变细胞特征第一特征权重,第一细胞类别的第一类别权重,第二病变细胞特征的第二特征权重,第二细胞类别的第二类别权重和病变区域的区域权重;
将所述第一特征权重、第一类别权重、第二特征权重、第二特征权重和区域权重带入所述映射矩阵中进行加权融合生成融合特征;其中,
所述融合特征包括病变细胞特征、细胞类型特征和病变区域特征。
作为本发明的一种实施例:所述将所述第一病变细胞特征,第一细胞类别、第二病变细胞特征和第二细胞类别和病变区域导入深度学习级联网络进行加权融合,输出融合结果,还包括以下步骤:
步骤1:根据所述第一病变细胞特征和第二病变细胞特征,构建所述增强图像的第一特征集合A={a1,a2,a3……ai}和第二特征集合B={b1,b2,b3……bi};其中,
ai表示增强图像中第i张图像的第一病变特征;bi表示增强图像中第i张图像的第二病变特征;i=1,2,3……n;n表示增强图片的总数量;
步骤2:定义映射矩阵
Figure BDA0003003736280000051
其中,yi表示增强图像中第i张图像的对应的中心变量;z1表示表示增强图像中第i张图像的对应的空间映射系数;
步骤3:根据所述定义映射矩阵、第一特征集合和第二特征集合,通过下式确定融合特征:
Figure BDA0003003736280000061
Figure BDA0003003736280000062
Figure BDA0003003736280000063
其中,RHXi表示增强图像中第i张图像病变细胞特征的融合特征;RHLi表示增强图像中第i张图像细胞类型的融合特征;RHQi示增强图像中第i张图像区域的融合特征;μ表示区域权重;σ表示第一病变特征的权重;θ表示第一类别权重;β表示第二病变特征的权重;∈表示第二类别的权重。
作为本发明的一种实施例:所述根据所述融合结果,生成辅助诊断模型,包括:
根据所述融合结果,获取宫颈细胞的病理细胞融合特征,病理细胞类型和病理细胞区域;
预设通用诊断模型,并将所述病理细胞融合特征,病理细胞类型和病理细胞区域带入所述通用诊断模型,生成辅助诊断模型;
根据所述辅助诊断模型,在有患者的细胞病理图像输入所述辅助诊断模型时,输出病理细胞类型、病理细胞区域和病理细胞特征。
本发明的有益效果在于:相对于现有技术本发明能够解决精度低问题;由于出现敏感性满足特异性不足的问题,构建级联网络对通过检测出的病变区域进行再分类,病理医生通过辅助诊断结果给出最终诊断,有效的提高了精度,降低误诊率。本发明还能解决诊断速度慢问题;正常大规模的深度神经网络经过我们合理裁剪、修整,以最少的计算量达到最优的效果,同时构建分布式集群,处理学习分析任务,并利用CPU结合GPU异构并行处理的机制大大加速深度学习的分析过程。本发明解决拓展性较弱问题;通过对数字切片的归一化,将不同制片方式的数据揉合在一起,间接解决了模型拓展性较弱问题。本发明因为是通过两次得到训练得到两个病理细胞特征,两个病理细胞分类,因此可以通过特征融合实现更准确的确定病理信息,这些病理信息通过医生的审查,可以轻易的明确具体的诊断结果。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:
图1为本发明实施例中一种基于深度学习级联网络方法的宫颈细胞辅助诊断方法的方法流程图;
图2为本发明实施例中一种基于深度学习级联网络方法的宫颈细胞辅助诊断方法的流程导图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本发明,并不用于限定本发明。
实施例1:
如附图1和附图2所示,本发明为一种基于深度学习级联网络方法的宫颈细胞辅助诊断方法,包括:
步骤100:获取宫颈细胞的细胞病理图像,并进行预处理,生成增强图像;
步骤101:通过检测算法对所述增强图像进行检测,确定所述增强图像的第一病变细胞特征、第一细胞类别和病变区域;
步骤102:将检测后增强图像再次导入基于分类算法的分类器,对所述增强图像进行打分,根据打分分数确定第二病变细胞特征和第二细胞类别;
步骤103:将所述第一病变细胞特征,第一细胞类别、第二病变细胞特征和第二细胞类别和病变区域导入深度学习级联网络进行加权融合,输出融合结果;
步骤104:根据所述融合结果,生成辅助诊断模型。
本发明的原理在于:本发明的目的是辅助宫颈细胞的检测,在这个过程中,首先需要获取病理图像,并对细胞病理图像的相关预处理;这个过程的目的是将Slide数据进行有效的揉合,然后基于预处理后的数据进行模型训练会得到更好的特征学习,解决模型拓展性较弱问题,达到预期效果。本发明首先通过深度学习检测算法得到:病变细胞及类别、病变区域,这是第一次训练得到的检测结果。本发明还存在第二次训练,基于深度学习分类算法二次处理后得到新的病变细胞及类别;在得到两个不同的病理细胞数据之后,本发明处理前后的病变细胞及类别加权融合出最终病变细胞及类别;根据病变细胞及类别、病变区域,输出最终辅助诊断。
相对于现有技术本发明能够解决精度低问题;由于出现敏感性满足特异性不足的问题,构建级联网络对通过检测出的病变区域进行再分类,病理医生通过辅助诊断结果给出最终诊断,有效的提高了精度,降低误诊率。本发明还能解决诊断速度慢问题;正常大规模的深度神经网络经过我们合理裁剪、修整,以最少的计算量达到最优的效果,同时构建分布式集群,处理学习分析任务,并利用CPU结合GPU异构并行处理的机制大大加速深度学习的分析过程。本发明解决拓展性较弱问题;通过对数字切片的归一化,将不同制片方式的数据揉合在一起,间接解决了模型拓展性较弱问题。本发明因为是通过两次得到训练得到两个病理细胞特征,两个病理细胞分类,因此可以通过特征融合实现更高准确病理信息,这些病理信息通过医生的审查,可以轻易的明确具体的诊断结果。
实施例2:
作为本发明的一种实施例:所述获取宫颈细胞的细胞病理图像,并进行预处理,生成增强图像,包括:
预先通过全扫描的数字切片装置扫描患者的宫颈细胞的检测部位,得到检测部位的全扫描数字切片;
根据所述全扫描数字切片,生成细胞病理图像;
将所述细胞病理图像依次进行数据清洗、数据集成、数据归一化、数据变换处理,确定增强图像。
本发明在进行预处理的时候,首先通过全扫描数字切片技术得到,然后这些切片可以组合成病理图像,因为需要前期对数据进行处理得到更好的特征进行学习,本发明实施预处理。预处理可以删除错误和重复的数据,即,错误和重复的病理图像;将不同数据源获取的数据转换为相同的格式进而实现更好的进行模型训练。
实施例3:
作为本发明的一种实施例:所述通过检测算法对所述增强图像进行检测,包括:
预先设置标注数据训练特征提取器;
将所述增强图像导入所述标注数据训练特征提取器,确定细胞特征;
将所述细胞特征通过深度学习神经网络进行处理,生成区域检测方案;
根据所述区域检测方案,生成细胞分类任务;
根据所述细胞分类任务,基于回归误差函数进行定位回归,确定定位回归结果;
根据所述定位回归结果,确定第一病变细胞特征、第一细胞类别和病变区域。
本发明需要找到病变的每个细胞的位置和类别,而检测算法包括特征提取,基于深度学习网络确定需要进行检测的候选区域,即区域检测方案,然后对病理细胞进行分类,最后基于定位回归算法,进行病变细胞定位,确定病变细胞分类和病变区域。
实施例4:
作为本发明的一种实施例:所述通过检测算法对所述增强图像进行检测,还包括:
将所述增强图像划分为多个Patch区域;
通过所述检测算法对所述多个Patch区域进行一一检测,获取检测结果;
根据所述检测结果,对每个Patch区域进行打分,根据打分的分值确定病变细胞中每个类型的细胞的得分分值;
根据所述得分分值,确定病变细胞的病变区域。
本发明在进行病理图像检测的时候,还会对病理图像进行分区,Patch区域就表示一个分区区域。本发明在通过检测算法进行病变细胞定位,病变细胞分类和病变区域确认时,不仅包括回归算法,还包括对每一个Patch区域进行打分,这个打分也是根据分数来判断病变细胞的病变区域,这个打分包括综合打分和单一打分(单一打分包括类型打分,区域打分)。进而根据分值确定病变细胞的病变区域。
实施例5:
作为本发明的一种实施例:所述将检测后增强图像再次导入基于分类算法的分类器,包括:
获取所述增强图像;
将所述增强图像导入深度神经网络进行训练,确定误差函数;
根据所述误差函数,对分类函数进行训练,获得分类器;
将所述增强图像依次带入所述分类器进行分类。
本发明在进行对增强图像分类的过程中,首先基于深度神经网络进行训练,确定了误差函数,误差函数是为了防止分类错误,因此,在误差函数确定后,通过训练得到分类器,通过分类器对增强图像进行分类。
实施例6:
作为本发明的一种实施例:所述根据打分分数确定第二病变细胞特征和第二细胞类别,包括:
预先设置score组,并将所述分类器作为所述score组的输入;
根据所述第一细胞类别,将所述增强图像上的细胞数据按照类别输入所述分类器,并对每个类别的细胞数据进行打分,根据所述打分确定分值最大的score组,并确定第二病变细胞特征和第二细胞类别。
本发明在通过打分分数确定病变细胞和细胞类别的时候,设置score组,即分数组,将每一个增强图像作为一个分数组,因为已经存在了分类器,所以在进行score组的输入时,输入的都是同一类型的数据,进而能够实现对每个类型的病理图像进行打分,按照病理细胞的类型,确定病理细胞的特征。
实施例7:
作为本发明的一种实施例:所述将所述第一病变细胞特征,第一细胞类别、第二病变细胞特征和第二细胞类别和病变区域导入深度学习级联网络进行加权融合,输出融合结果,包括:
将所述第一病变细胞特征和第二病变细胞特征映射到多个子空间中,构建映射矩阵;
分别提取所述第一病变细胞特征第一特征权重,第一细胞类别的第一类别权重,第二病变细胞特征的第二特征权重,第二细胞类别的第二类别权重和病变区域的区域权重;
将所述第一特征权重、第一类别权重、第二特征权重、第二特征权重和区域权重带入所述映射矩阵中进行加权融合生成融合特征;其中,
所述融合特征包括病变细胞特征、细胞类型特征和病变区域特征。
本发明在进行加权融合的过程中,会在映射空间中进行融合加权,因此,本发明会将第一病变细胞特征和第二病变细胞特征映射到多个子空间中,生成映射矩阵。在这个映射矩阵中,本发明引入第一病变细胞特征第一特征权重,第一细胞类别的第一类别权重,第二病变细胞特征的第二特征权重,第二细胞类别的第二类别权重和病变区域的区域权重,通过进行融合算法计算,得到病变细胞特征、细胞类型特征和病变区域特征三个融合特征。跟据三个融合特征确定病变的具体位置。
实施例8:
作为本发明的一种实施例:所述将所述第一病变细胞特征,第一细胞类别、第二病变细胞特征和第二细胞类别和病变区域导入深度学习级联网络进行加权融合,输出融合结果,还包括以下步骤:
步骤1:根据所述第一病变细胞特征和第二病变细胞特征,构建所述增强图像的第一特征集合A={a1,a2,a3……ai}和第二特征集合B={b1,b2,b3……bi};其中,
ai表示增强图像中第i张图像的第一病变特征;bi表示增强图像中第i张图像的第二病变特征;i=1,2,3……n;n表示增强图片的总数量;
步骤2:定义映射矩阵
Figure BDA0003003736280000131
其中,yi表示增强图像中第i张图像的对应的中心变量;z1表示表示增强图像中第i张图像的对应的空间映射系数;
步骤3:根据所述定义映射矩阵、第一特征集合和第二特征集合,通过下式确定融合特征:
Figure BDA0003003736280000132
Figure BDA0003003736280000141
Figure BDA0003003736280000142
其中,RHXi表示增强图像中第i张图像病变细胞特征的融合特征;RHLi表示增强图像中第i张图像细胞类型的融合特征;RHQi表示增强图像中第i张图像区域的融合特征;μ表示区域权重;σ表示第一病变特征的权重;θ表示第一类别权重;β表示第二病变特征的权重;∈表示第二类别的权重。
本发明在加权融合的过程中,第一特征集合A和第二特征集合B表示所有的增强图像的病理细胞特征。而定义映射矩阵,就是在映射空间中实现加权融合,映射空间的优点在于能够上数据稀疏化和中心化,进而可以得到更加精确的融合结果。而最终得到的融合特征也是三种融合特征包括病变细胞特征的融合特征,细胞类型的融合特征和图像区域的融合特征。
实施例9:
作为本发明的一种实施例:所述根据所述融合结果,生成辅助诊断模型,包括:
根据所述融合结果,获取宫颈细胞的病理细胞融合特征,病理细胞类型和病理细胞区域;
预设通用诊断模型,并将所述病理细胞融合特征,病理细胞类型和病理细胞区域带入所述通用诊断模型,生成辅助诊断模型;
根据所述辅助诊断模型,在有患者的细胞病理图像输入所述辅助诊断模型时,输出病理细胞类型、病理细胞区域和病理细胞特征。
本发明在最后获取辅助诊断结果的步骤中,通过预先设置诊断模型,诊断模型也是通用的诊断模型,但是本发明引入了病理细胞融合特征,病理细胞类型和病理细胞区域,诊断模型就有了确定宫颈细胞中病理细胞的类型、位置和区域的能力,任何的病理图像先经过本发明识别,在通过医生识别,能够极大的降低现有技术中完全靠医生自己进行识别宫颈细胞为病理细胞的难度。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (7)

1.一种基于深度学习级联网络方法的宫颈细胞辅助诊断方法,其特征在于,包括:
获取宫颈细胞的细胞病理图像,并进行预处理,生成增强图像;
通过检测算法对所述增强图像进行检测,确定所述增强图像的第一病变细胞特征、第一细胞类别和病变区域;
将检测后增强图像再次导入基于分类算法的分类器,对所述增强图像进行打分,根据打分分数确定第二病变细胞特征和第二细胞类别;
将所述第一病变细胞特征,第一细胞类别、第二病变细胞特征和第二细胞类别和病变区域导入深度学习级联网络进行加权融合,输出融合结果;
根据所述融合结果,生成辅助诊断模型;
其中,所述将所述第一病变细胞特征,第一细胞类别、第二病变细胞特征和第二细胞类别和病变区域导入深度学习级联网络进行加权融合,输出融合结果,包括:
将所述第一病变细胞特征和第二病变细胞特征映射到多个子空间中,构建映射矩阵;
分别提取所述第一病变细胞特征第一特征权重,第一细胞类别的第一类别权重,第二病变细胞特征的第二特征权重,第二细胞类别的第二类别权重和病变区域的区域权重;
将所述第一特征权重、第一类别权重、第二特征权重、第二特征权重和区域权重带入所述映射矩阵中进行加权融合生成融合特征;其中,
所述融合特征包括病变细胞特征、细胞类型特征和病变区域特征
其中,所述将所述第一病变细胞特征,第一细胞类别、第二病变细胞特征和第二细胞类别和病变区域导入深度学习级联网络进行加权融合,输出融合结果,还包括以下步骤:
步骤1:根据所述第一病变细胞特征和第二病变细胞特征,构建所述增强图像的第一特征集合A={a1,a2,a3……ai}和第二特征集合B={b1,b2,b3……bi};其中,
ai表示增强图像中第i张图像的第一病变特征;bi表示增强图像中第i张图像的第二病变特征;i=1,2,3……n;n表示增强图片的总数量;
步骤2:定义映射矩阵
Figure FDA0003612347050000021
其中,yi表示增强图像中第i张图像的对应的中心变量;z1表示表示增强图像中第i张图像的对应的空间映射系数;
步骤3:根据所述定义映射矩阵、第一特征集合和第二特征集合,通过下式确定融合特征:
Figure FDA0003612347050000022
Figure FDA0003612347050000023
Figure FDA0003612347050000024
其中,RHXi表示增强图像中第i张图像病变细胞特征的融合特征;RHLi表示增强图像中第i张图像细胞类型的融合特征;RHQi示增强图像中第i张图像区域的融合特征;μ表示区域权重;σ表示第一病变特征的权重;
Figure FDA0003612347050000025
表示第一类别权重;β表示第二病变特征的权重;∈表示第二类别的权重。
2.如权利要求1所述的一种基于深度学习级联网络方法的宫颈细胞辅助诊断方法,其特征在于,所述获取宫颈细胞的细胞病理图像,并进行预处理,生成增强图像,包括:
预先通过全扫描的数字切片装置扫描患者的宫颈细胞的检测部位,得到检测部位的全扫描数字切片;
根据所述全扫描数字切片,生成细胞病理图像;
将所述细胞病理图像依次进行数据清洗、数据集成、数据归一化、数据变换处理,确定增强图像。
3.如权利要求1所述的一种基于深度学习级联网络方法的宫颈细胞辅助诊断方法,其特征在于,所述通过检测算法对所述增强图像进行检测,包括:
预先设置标注数据训练特征提取器;
将所述增强图像导入所述标注数据训练特征提取器,确定细胞特征;
将所述细胞特征通过深度学习神经网络进行处理,生成区域检测方案;
根据所述区域检测方案,生成细胞分类任务;
根据所述细胞分类任务,基于回归误差函数进行定位回归,确定定位回归结果;
根据所述定位回归结果,确定第一病变细胞特征、第一细胞类别和病变区域。
4.如权利要求1所述的一种基于深度学习级联网络方法的宫颈细胞辅助诊断方法,其特征在于,所述通过检测算法对所述增强图像进行检测,还包括:
将所述增强图像划分为多个Patch区域;
通过所述检测算法对所述多个Patch区域进行一一检测,获取检测结果;
根据所述检测结果,对每个Patch区域进行打分,根据打分的分值确定病变细胞中每个类型的细胞的得分分值;
根据所述得分分值,确定病变细胞的病变区域。
5.如权利要求1所述的一种基于深度学习级联网络方法的宫颈细胞辅助诊断方法,其特征在于,所述将检测后增强图像再次导入基于分类算法的分类器,包括:
获取所述增强图像;
将所述增强图像导入深度神经网络进行学习,确定误差函数;
根据所述误差函数,对分类函数进行训练,获得分类器;
将所述增强图像依次带入所述分类器进行分类。
6.如权利要求5所述的一种基于深度学习级联网络方法的宫颈细胞辅助诊断方法,其特征在于,所述根据打分分数确定第二病变细胞特征和第二细胞类别,包括:
预先设置score组,并将所述分类器作为所述score组的输入;
根据所述第一细胞类别,将所述增强图像上的细胞数据按照类别输入所述分类器,并对每个类别的细胞数据进行打分,根据所述打分确定分值最大的score组,并确定第二病变细胞特征和第二细胞类别。
7.如权利要求1所述的一种基于深度学习级联网络方法的宫颈细胞辅助诊断方法,其特征在于,所述根据所述融合结果,生成辅助诊断模型,包括:
根据所述融合结果,获取宫颈细胞的病理细胞融合特征,病理细胞类型和病理细胞区域;
预设通用诊断模型,并将所述病理细胞融合特征,病理细胞类型和病理细胞区域带入所述通用诊断模型,生成辅助诊断模型;
根据所述辅助诊断模型,在有患者的细胞病理图像输入所述辅助诊断模型时,输出病理细胞类型、病理细胞区域和病理细胞特征。
CN202110357001.1A 2021-04-01 2021-04-01 一种基于深度学习级联网络方法的宫颈细胞辅助诊断方法 Active CN113255718B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110357001.1A CN113255718B (zh) 2021-04-01 2021-04-01 一种基于深度学习级联网络方法的宫颈细胞辅助诊断方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110357001.1A CN113255718B (zh) 2021-04-01 2021-04-01 一种基于深度学习级联网络方法的宫颈细胞辅助诊断方法

Publications (2)

Publication Number Publication Date
CN113255718A CN113255718A (zh) 2021-08-13
CN113255718B true CN113255718B (zh) 2022-07-01

Family

ID=77220201

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110357001.1A Active CN113255718B (zh) 2021-04-01 2021-04-01 一种基于深度学习级联网络方法的宫颈细胞辅助诊断方法

Country Status (1)

Country Link
CN (1) CN113255718B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115938561A (zh) * 2021-09-23 2023-04-07 中山大学孙逸仙纪念医院 宫颈液基薄层细胞学的辅助筛查系统、应用方法及模型

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108537124A (zh) * 2018-03-13 2018-09-14 哈尔滨理工大学 一种基于级联多分类器融合的宫颈癌细胞识别方法
CN109300121A (zh) * 2018-09-13 2019-02-01 华南理工大学 一种心血管疾病诊断模型的构建方法、系统及该诊断模型
CN110060244A (zh) * 2019-04-15 2019-07-26 深圳市麦迪普科技有限公司 基于深度学习神经网络的细胞检测与分割的系统和方法
CN110334565A (zh) * 2019-03-21 2019-10-15 江苏迪赛特医疗科技有限公司 一种显微镜病理照片的宫颈癌病变细胞分类系统
CN111489324A (zh) * 2020-06-05 2020-08-04 华侨大学 一种融合多模态先验病理深度特征的宫颈癌病变诊断方法
CN111598871A (zh) * 2020-05-15 2020-08-28 安徽医学高等专科学校 多特征融合辅助检测肺部磨玻璃影结节系统及介质
CN112380900A (zh) * 2020-10-10 2021-02-19 深圳视见医疗科技有限公司 基于深度学习的子宫颈液基细胞数字图像分类方法及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102982344B (zh) * 2012-11-12 2015-12-16 浙江大学 基于同时融合多视角特征及多标签信息的支持向量机分类方法
TWI691930B (zh) * 2018-09-19 2020-04-21 財團法人工業技術研究院 基於神經網路的分類方法及其分類裝置
CN110675411B (zh) * 2019-09-26 2023-05-16 重庆大学 基于深度学习的宫颈鳞状上皮内病变识别算法
CN111860591A (zh) * 2020-06-16 2020-10-30 南通大学 基于间隔自适应特征选择融合的宫颈细胞图像分类方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108537124A (zh) * 2018-03-13 2018-09-14 哈尔滨理工大学 一种基于级联多分类器融合的宫颈癌细胞识别方法
CN109300121A (zh) * 2018-09-13 2019-02-01 华南理工大学 一种心血管疾病诊断模型的构建方法、系统及该诊断模型
CN110334565A (zh) * 2019-03-21 2019-10-15 江苏迪赛特医疗科技有限公司 一种显微镜病理照片的宫颈癌病变细胞分类系统
CN110060244A (zh) * 2019-04-15 2019-07-26 深圳市麦迪普科技有限公司 基于深度学习神经网络的细胞检测与分割的系统和方法
CN111598871A (zh) * 2020-05-15 2020-08-28 安徽医学高等专科学校 多特征融合辅助检测肺部磨玻璃影结节系统及介质
CN111489324A (zh) * 2020-06-05 2020-08-04 华侨大学 一种融合多模态先验病理深度特征的宫颈癌病变诊断方法
CN112380900A (zh) * 2020-10-10 2021-02-19 深圳视见医疗科技有限公司 基于深度学习的子宫颈液基细胞数字图像分类方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"基于级联多分类器融合的宫颈癌细胞识别技术的研究";张婕;《中国优秀硕士学位论文全文数据库》;20190815;第2章、第4章、第5章 *
"面向医学影像计算机辅助诊断的细粒度图像分类方法研究";肖立超;《中国优秀硕士学位论文全文数据库》;20210215;摘要、第二章、第三章、第四章 *

Also Published As

Publication number Publication date
CN113255718A (zh) 2021-08-13

Similar Documents

Publication Publication Date Title
Das et al. Computer-aided histopathological image analysis techniques for automated nuclear atypia scoring of breast cancer: a review
CN111985536B (zh) 一种基于弱监督学习的胃镜病理图像分类方法
Dundar et al. Computerized classification of intraductal breast lesions using histopathological images
CN111563891B (zh) 基于颜色认知的疾病预测系统
CN109614869B (zh) 一种基于多尺度压缩奖惩网络的病理图像分类方法
Pan et al. Mitosis detection techniques in H&E stained breast cancer pathological images: A comprehensive review
CN111862075A (zh) 一种基于深度学习的肺部图像分析系统及其分析方法
CN111767952B (zh) 一种可解释的肺结节良恶性分类方法
Al-Areqi et al. Effectiveness evaluation of different feature extraction methods for classification of covid-19 from computed tomography images: A high accuracy classification study
CN111160135A (zh) 基于改进的Faster R-cnn的尿红细胞病变识别与统计方法和系统
Delgado-Font et al. Diagnosis support of sickle cell anemia by classifying red blood cell shape in peripheral blood images
CN112085742B (zh) 一种基于上下文注意力的nafld超声视频诊断方法
CN114580558A (zh) 一种子宫内膜癌细胞检测方法、系统、设备及存储介质
CN117036288A (zh) 一种面向全切片病理图像的肿瘤亚型诊断方法
CN113255718B (zh) 一种基于深度学习级联网络方法的宫颈细胞辅助诊断方法
CN114399634A (zh) 基于弱监督学习的三维图像分类方法、系统、设备及介质
CN112017772B (zh) 一种基于妇女白带的疾病认知模型构建方法及系统
CN110929678B (zh) 外阴阴道假丝酵母菌孢子检测方法
WO2023024524A1 (zh) 基于胎儿超声影像特征组学的染色体异常预测模型的构建方法及诊断设备
Mohapatra et al. Automated invasive cervical cancer disease detection at early stage through deep learning
CN113705318B (zh) 基于图像的识别方法、装置、设备及可读存储介质
CN112633336A (zh) 一种基于多尺度特征融合的肺结节识别分类方法
Yang et al. Automatic Segmentation of Cervical Precancerous Lesions in Colposcopy Image Using Pyramid Scene Parsing Network and Transfer Learning.
Gowri et al. An improved classification of MR images for cervical cancer using convolutional neural networks
Navyashree et al. Application of Deep Learning Techniques for Detection and Classification of Human Disease

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant