CN114004821A - 一种基于级联rcnn的肠神经节细胞辅助识别方法 - Google Patents

一种基于级联rcnn的肠神经节细胞辅助识别方法 Download PDF

Info

Publication number
CN114004821A
CN114004821A CN202111304407.XA CN202111304407A CN114004821A CN 114004821 A CN114004821 A CN 114004821A CN 202111304407 A CN202111304407 A CN 202111304407A CN 114004821 A CN114004821 A CN 114004821A
Authority
CN
China
Prior art keywords
target detection
detection model
intestinal
training
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111304407.XA
Other languages
English (en)
Inventor
曹祯庭
周春雷
苏喜锋
邵虎
吴婷
钱新月
李梦婷
韩传富
沈纬
唐维兵
武海燕
唐杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Nanshu Data Operation Research Institute Co ltd
Nanjing Nanshu Technology Co ltd
Beijing Normal University
China University of Mining and Technology CUMT
Nanjing University
Nanjing Childrens Hospital of Nanjing Medical University
Original Assignee
Nanjing Nanshu Data Operation Research Institute Co ltd
Nanjing Nanshu Technology Co ltd
Beijing Normal University
China University of Mining and Technology CUMT
Nanjing University
Nanjing Childrens Hospital of Nanjing Medical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Nanshu Data Operation Research Institute Co ltd, Nanjing Nanshu Technology Co ltd, Beijing Normal University, China University of Mining and Technology CUMT, Nanjing University, Nanjing Childrens Hospital of Nanjing Medical University filed Critical Nanjing Nanshu Data Operation Research Institute Co ltd
Priority to CN202111304407.XA priority Critical patent/CN114004821A/zh
Publication of CN114004821A publication Critical patent/CN114004821A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30028Colon; Small intestine

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

本发明公开了一种基于级联rcnn的肠神经节细胞辅助识别方法,该方法具体包括以下步骤:S1,采集肠组织切片并对其进行苏木精‑伊红染色,对染色后的图像数据进行预处理,将预处理后的数据作为训练数据集;S2,构建用于目标检测的深度卷积神经网络作为目标检测模型;S3,利用训练数据集对目标检测模型进行训练;S4,利用训练好的目标检测模型对肠组织的染色图像进行检测,识别图像中的肠神经节细胞。通过本发明可以实现快速准确地识别肠组织切片染色图像中的神经节细胞。

Description

一种基于级联rcnn的肠神经节细胞辅助识别方法
技术领域
本发明涉及医学图像识别的技术领域,尤其涉及一种基于级联rcnn的肠神经节细胞辅助识别方法。
背景技术
肠神经系统(enteric nervous system,ENS)是由肠神经元(神经节细胞)和神经胶质细胞组成的集合网络体。人肠壁内的神经节细胞超过1亿个,约与脊髓内所含神经元的总数相近。这些细胞大小不一,形态多样,与神经胶质细胞等一起构成许多胃肠的神经节,又被称为神经丛,主要分布于胃肠道肌间(环形肌和纵行肌之间)和粘膜下。肠神经系统的主要功能为精细调控消化功能,同时在免疫调控等方面也扮演重要的角色。以肠无神经节细胞症为代表的肠神经系统疾病近年来逐渐得到广泛的重视。在这一大类疾病的诊断中,均需借助肠道组织切片染色图像中神经节细胞的病理特征,包括神经节细胞的数量以及发育情况等。国内、外现状,肠神经节细胞症病理检查主要依赖病理医生的认识和经验,由病理医生在显微镜下对肠组织苏木精-伊红(H&E)染色图像进行识别,明确神经丛内是否存在正常的神经节细胞,必要时借助免疫组织化学等方法辅助诊断。
组织学研究结果表明,肠组织全层切片包括四个组织层次,由内而外分别为粘膜层、粘膜下层、肌层和浆膜层,神经节细胞主要位于粘膜下层和肌间(环形肌和纵行肌之间)神经丛内,数量占比很少。同时,婴幼儿肠神经节细胞尚未完全发育成熟,典型的细胞形态,如大的核仁缺乏或不明显、胞质少,在苏木精-伊红染色下特别是冷冻切片时,判断难度较大,较难与周围其他类型细胞相区分。对于不同年龄段的患者,细胞的形态特征存在差异,进一步增加了细胞识别及诊断的难度。诸多因素决定,即使经验丰富的病理医生在肠神经节细胞的识别上也需要耗费大量的时间和精力,长时间在如此高强度的重复工作条件下,医生极易出现阅片疲劳,以及由此可能引起疾病的误诊,给患儿及家庭造成严重不良影响。
近年来,人们也尝试用一些传统方法对医学影像进行处理,对医学影像进行的处理的大多数方法是基于从图像中提取的特征,然后通过机器学习对特征进行建模,实现分类(预后好坏等)。此类方法效果不好,准确度低,适用范围窄。这是因为机器学习算法只适应于有明显特征,背景简单的情形,很多医学图像检测和识别的场景中,往往背景复杂多变,而且待检测和识别的目标复杂多变,特征不明显,很难通过一般的抽象特征完成对目标的检测,因此迫切需要健壮性更高,泛化能力更强,更容易应用于实际场景的深度学习类的算法能够投入到此类医学场景的使用中。
现有技术存在的缺陷包括:对医学影像进行的处理的大多数方法是基于从图像中提取的特征,然后通过机器学习对特征进行建模。效果不好,准确度低,适用范围窄。这是因为机器学习算法只适应于有明显特征,背景简单的情形,很多医学图像检测和识别的场景中,往往背景复杂多变,而且待检测和识别的目标复杂多变,特征不明显,很难通过一般的抽象特征完成对目标的检测和识别。
肠神经系统疾病的病理辅助识别中的先决要素为判断是否存在正常的神经节细胞。由于婴幼儿特别是新生儿肠神经节细胞发育尚未成熟,典型的细胞形态,大的核仁缺乏或不明显、胞质少,导致在苏木精-伊红(H&E)染色下特别是冷冻切片时,人工判断难度较大,基于现有的识别技术手段很难与周围其他类型细胞相区分。
发明内容
发明目的:为了克服现有技术中存在的不足,本发明提供了一种基于cascade-rcnn的肠神经节细胞辅助识别方法,该发明能够精准、快速地对肠道神经节细胞进行识别。
技术方案:为了实现上述发明目的,本发明提出了一种基于级联rcnn的肠神经节细胞辅助识别方法,该方法具体包括以下步骤:
S1,采集肠组织切片并对其进行苏木精-伊红染色,对染色后的图像数据进行预处理,将预处理后的数据作为训练数据集;
S2,构建用于目标检测的深度卷积神经网络作为目标检测模型;
S3,利用训练数据集对目标检测模型进行训练;
S4,利用训练好的目标检测模型对肠组织的染色图像进行检测,识别图像中的肠神经节细胞。
进一步的,在本发明中:所述步骤1中,预处理包括对采集到的图像数据进行清洗、对数据进行类别分析、调整长尾类别权重和对数据进行长宽比分析。
进一步的,在本发明中:所述数据清洗包括删除不清晰图像和重复图像,确保训练数据集的数据质量。
进一步的,在本发明中:所述目标检测模型的输入为肠染色图像及其检测标签,输出为肠染色图像的目标检测标签图像。
进一步的,在本发明中:所述目标检测模型基于cascade-rcnn卷积神经网络构建。
进一步的,在本发明中:所述S3还包括:
S3-1,对训练数据集中的数据进行数据增强;数据增强用于防止训练过拟合。
S3-2,设置目标检测模型的损失函数和学习率;
S3-3,将训练数据集输入构建的目标检测模型中;
S3-4,在训练过程中,调整锚点的比例,针对锚点比例进行分析,统计真值的锚点比例,增加更多的锚点比例进行试验;
S3-5,采用OHEM进行在线难例挖掘,通过每个ROI的loss值,根据loss排序来提高难样本的比例,使目标检测模型花更多精力学习难样本;
S3-6,将待识别的整张图像作为一个RoI,对其进行池化并将得到的特征叠加于每个RoI的特征上,作为辅助信息传入之后的目标检测模型子网络中;
S3-7,计算训练中的损失函数值,当损失函数值不再下降阈值时,结束训练。
有益效果:本发明与现有技术相比,其有益效果是:本发明能够实现精准、快速的肠道神经节细胞识别,在提高诊断精度的同时,减轻病理医生的负担;
本发明利用基于深度学习的目标检测方法提取同一目标丰富的特征,在目前的肠组织神经节细胞辅助识别场景下,采用深度学习的目标检测方法可以总结出欲识别的目标在各种复杂多变情形下的抽象特征,利用经过数据处理,如拉伸、旋转、映射等处理后得到的丰富数据,通过深度学习完成模型的训练,从而得到容错性更高,泛化能力更强的算法模型,从而解决肠组织切片H&E染色图像中神经节细胞的快速识别问题。
附图说明
图1为基于级联RCNN网络的肠神经节细胞辅助识别方法的整体流程示意图;
图2为本发明中级联RCNN网络的结构示意图;
图3为本发明中目标检测模型的结构示意图;
图4为正常神经节细胞的示意图。
具体实施方式
下面结合附图对本发明的技术方案做进一步的详细说明:
本发明可以用许多不同的形式实现,而不应当认为限于这里所述的实施例。相反,提供这些实施例以便使本公开透彻且完整,并且将向本领域技术人员充分表达本发明的范围。
如图1所示,为本发明提供的一种基于级联rcnn的肠神经节细胞辅助识别方法的整体流程示意图,该方法能够对肠组织的神经节细胞进行辅助识别,具体包括以下步骤,
S1,采集肠组织切片并对其进行苏木精-伊红染色,对染色后的图像数据进行预处理,将预处理后的数据作为训练数据集;
其中,本实施例中采集肠组织切片H&E染色图像数量至少为2000张。
预处理包括对采集到的图像数据进行清洗、对数据进行类别分析、调整长尾类别权重和对数据进行长宽比分析。
具体的,数据清洗包括删除不清晰图像和重复图像,确保训练数据集的质量;
调整长尾类别权重,为了避免出现类别之间数量差异较大,长尾分布严重的问题,加大尾部类别分类损失权重。
具体的,分类损失权重取决于具体实现的经过计算的权重,通常权重的趋势为给头部类别更低的权重,给尾部类别更高的权重,从而反向抵消长尾效应。
将预处理后的数据作为训练数据集,用于后续对模型进行训练。
S2,构建用于目标检测的深度卷积神经网络作为目标检测模型;
参照图2的示意,本实施例的目标检测模型为two-stage目标检测模型,具体采用cascade-rcnn卷积神经网络,不同候选区域设置不同的交并比阈值,进行精细化的目标检测。
目标检测模型的输入为肠染色图像及其检测标签,输出为肠染色图像的目标检测标签图像。
本实施例中,基于目标检测模型的检测包括四个阶段,后3个阶段采用可变形卷积,其中每个阶段的骨架采用resnet101,Neck采用多分辨率特征融合的FPN(FeaturePyramid Networks,特征图金字塔网络)模块。
S3,利用训练数据集对目标检测模型进行训练;
具体的,所述S3还包括:
S3-1,对训练数据集中的数据进行数据增强;数据增强用于防止训练过拟合。
S3-2,设置目标检测模型的损失函数和学习率;
S3-3,将训练数据集输入构建的目标检测模型中;
S3-4,在训练过程中,调整锚点(anchor)的比例,针对锚点比例进行分析,统计真值的锚点比例,增加更多的锚点比例进行试验;
其中,锚点为候选区域的中心点,以某一个点作为中心点去提取候选区域,该点即为anchor,接下来均以这个点为中心来提取候选区域;
本实施例中设置的锚点值应该与待检测的目标尺寸以及比例相匹配;锚点比例指图像长边和短边的比例,可选择多个值进行试验,选择输出的评价指标表现更优异的锚点比例。
S3-5,采用在线难例挖掘算法进行困难样本的的挖掘;具体的,为了使训练后的模型在困难样本实现更准确的识别,采用OHEM(online hard example mining,在线难例挖掘)进行在线困难样本的挖掘,其中困难样本指预测时与真值标签误差较大的样本。
由于S1中采集的样本大多为简单样本,容易导致目标检测模型对困难样本的检测准确率降低,因此需要通过在线难例挖掘算法进行在线难例挖掘;在线难例挖掘算法的核心思想是:根据输入样本的损失进行筛选,筛选出难例,表示对分类和检测影响较大的样本,然后将筛选得到的这些样本应用在随机梯度下降中训练;通过每个ROI(感兴趣区)的loss(损失函数)值,根据loss排序来提高难样本的比例,使目标检测模型花更多的精力学习难样本,从而实现更好的检测准确度;
S3-6,为了引入环境特征来增加多类别间的区分性,将待识别的整张图像作为一个RoI(感兴趣区),对其进行RoI Pooling(感兴趣区域的池化)并将得到的feature(特征)叠加于每个RoI(感兴趣区)的feature(特征)上,作为辅助信息传入之后的目标检测模型子网络中;
S3-7,计算训练中的损失函数值,当损失函数值不再下降阈值时,结束训练。
随着训练轮数的增加,loss损失函数会不断下降,当loss不再下降时,应停止训练,防止模型过拟合。
除了上述训练策略外,本发明还可以采用以下训练技巧和测试方法:进行多尺度训练或测试,其中,测试采用多分辨率特征取maxout方式去计算proposal,测试置信度阈值0.05,学习率采用余弦退火的方式进行下降调整。
S4,利用训练好的目标检测模型对经肠组织的染色图像进行检测,识别图像中的肠神经节细胞。
具体的,将待检测的图像输入训练后的目标检测模型中,目标检测模型能够快速识别肠组织染色图像中神经节细胞的有无,作为后续诊断的辅助信息提供给医疗工作者。
其中,染色图像的染色剂可以采用H&E染剂。
应说明的是,以上所述实施例仅表达了本发明的部分实施方式,其描述并不能理解为对本发明专利范围的限制。应当指出的是,对于本技术领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干改进,这些均应落入本发明的保护范围。

Claims (6)

1.一种基于级联rcnn的肠神经节细胞辅助识别方法,其特征在于:包括以下步骤,
S1,采集肠组织切片并对其进行苏木精-伊红染色,对染色后的图像数据进行预处理,将预处理后的数据作为训练数据集;
S2,构建用于目标检测的深度卷积神经网络作为目标检测模型;
S3,利用训练数据集对目标检测模型进行训练;
S4,利用训练好的目标检测模型对肠组织的染色图像进行检测,识别图像中的肠神经节细胞。
2.如权利要求1所述的基于级联rcnn的肠神经节细胞辅助识别方法,其特征在于:所述步骤1中,预处理包括对采集到的图像数据进行清洗、对数据进行类别分析、调整长尾类别权重和对数据进行长宽比分析。
3.如权利要求2所述的基于级联rcnn的肠神经节细胞辅助识别方法,其特征在于:所述数据清洗包括删除不清晰图像和重复图像,确保训练数据集的数据质量。
4.如权利要求2或3所述的基于级联rcnn的肠神经节细胞辅助识别方法,其特征在于:所述目标检测模型的输入为肠染色图像及其检测标签,输出为肠染色图像的目标检测标签图像。
5.如权利要求4所述的基于级联rcnn的肠神经节细胞辅助识别方法,其特征在于:所述目标检测模型基于级联RCNN网络构建。
6.如权利要求5所述的基于级联rcnn的肠神经节细胞辅助识别方法,其特征在于:所述S3还包括:
S3-1,对训练数据集中的数据进行数据增强;数据增强用于防止训练过拟合。
S3-2,设置目标检测模型的损失函数和学习率;
S3-3,将训练数据集输入构建的目标检测模型中;
S3-4,在训练过程中,调整锚点的比例,针对锚点比例进行分析,统计真值的锚点比例,增加更多的锚点比例进行试验;
S3-5,采用OHEM进行在线难例挖掘,通过每个ROI的loss值,根据loss排序来提高难样本的比例,使目标检测模型花更多精力学习难样本;
S3-6,将待识别的整张图像作为一个RoI,对其进行池化并将得到的特征叠加于每个RoI的特征上,作为辅助信息传入之后的目标检测模型子网络中;
S3-7,计算训练中的损失函数值,当损失函数值不再下降阈值时,结束训练。
CN202111304407.XA 2021-11-05 2021-11-05 一种基于级联rcnn的肠神经节细胞辅助识别方法 Pending CN114004821A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111304407.XA CN114004821A (zh) 2021-11-05 2021-11-05 一种基于级联rcnn的肠神经节细胞辅助识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111304407.XA CN114004821A (zh) 2021-11-05 2021-11-05 一种基于级联rcnn的肠神经节细胞辅助识别方法

Publications (1)

Publication Number Publication Date
CN114004821A true CN114004821A (zh) 2022-02-01

Family

ID=79927810

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111304407.XA Pending CN114004821A (zh) 2021-11-05 2021-11-05 一种基于级联rcnn的肠神经节细胞辅助识别方法

Country Status (1)

Country Link
CN (1) CN114004821A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115620075A (zh) * 2022-12-16 2023-01-17 南昌大学 白细胞分类模型用数据集的生成方法、系统及设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115620075A (zh) * 2022-12-16 2023-01-17 南昌大学 白细胞分类模型用数据集的生成方法、系统及设备

Similar Documents

Publication Publication Date Title
CN109543526B (zh) 基于深度差异性特征的真假面瘫识别系统
CN109858540B (zh) 一种基于多模态融合的医学图像识别系统及方法
CN107977671A (zh) 一种基于多任务卷积神经网络的舌象分类方法
CN109670510A (zh) 一种基于深度学习的胃镜活检病理数据筛查系统和方法
CN112070772A (zh) 基于UNet++和ResNet的血液白细胞图像分割方法
CN109523535A (zh) 一种病变图像的预处理方法
CN110796661B (zh) 基于卷积神经网络的真菌显微图像分割检测方法及系统
CN108511055A (zh) 基于分类器融合及诊断规则的室性早搏识别系统及方法
CN107871316A (zh) 一种基于深度神经网络的x光片手骨兴趣区域自动提取方法
CN112465905A (zh) 基于深度学习的磁共振成像数据的特征脑区定位方法
CN110729045A (zh) 一种基于上下文感知残差网络的舌图像分割方法
CN111462082A (zh) 一种病灶图片识别装置、方法、设备及可读存储介质
CN114600155A (zh) 用于细胞检测和分割的弱监督多任务学习
CN114998651A (zh) 基于迁移学习的皮肤病变图像分类识别方法、系统及介质
CN117522861B (zh) 用于动物肩袖损伤的智能监测系统及方法
CN113420793A (zh) 一种基于改进的卷积神经网络ResNeSt50的胃印戒细胞癌分类方法
CN116883330A (zh) 基于DeeplabV3+模型的肿瘤预测系统、方法及其应用
CN114398979A (zh) 一种基于特征解耦的超声图像甲状腺结节分类方法
CN109087702A (zh) 用于中医健康状态分析的四诊表征信息融合方法
Suhendra et al. A novel approach to multi-class atopic dermatitis disease severity scoring using multi-class SVM
CN114004821A (zh) 一种基于级联rcnn的肠神经节细胞辅助识别方法
Wankhede et al. Survey on analyzing tongue images to predict the organ affected
CN112861881A (zh) 一种基于改进MobileNet模型的蜂窝肺识别方法
Dandan et al. A multi-model organ segmentation method based on abdominal ultrasound image
Xiang et al. Application of convolutional neural network algorithm in diagnosis of chronic cough and tongue in children with traditional Chinese medicine

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination