CN113989800B - 一种基于改进渐进式残差网络的肠神经丛辅助识别方法 - Google Patents

一种基于改进渐进式残差网络的肠神经丛辅助识别方法 Download PDF

Info

Publication number
CN113989800B
CN113989800B CN202111631341.5A CN202111631341A CN113989800B CN 113989800 B CN113989800 B CN 113989800B CN 202111631341 A CN202111631341 A CN 202111631341A CN 113989800 B CN113989800 B CN 113989800B
Authority
CN
China
Prior art keywords
plexus
residual error
restoration
network
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111631341.5A
Other languages
English (en)
Other versions
CN113989800A (zh
Inventor
曹祯庭
武海燕
吴婷
李梦婷
钱新月
韩传富
沈纬
唐维兵
周春雷
唐杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Nanshu Technology Co ltd
Nanjing Nanshu Data Operation Research Institute Co ltd
Nanjing University
Nanjing Childrens Hospital of Nanjing Medical University
Original Assignee
Nanjing Nanshu Technology Co ltd
Nanjing Nanshu Data Operation Research Institute Co ltd
Nanjing University
Nanjing Childrens Hospital of Nanjing Medical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Nanshu Technology Co ltd, Nanjing Nanshu Data Operation Research Institute Co ltd, Nanjing University, Nanjing Childrens Hospital of Nanjing Medical University filed Critical Nanjing Nanshu Technology Co ltd
Priority to CN202111631341.5A priority Critical patent/CN113989800B/zh
Publication of CN113989800A publication Critical patent/CN113989800A/zh
Application granted granted Critical
Publication of CN113989800B publication Critical patent/CN113989800B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于改进渐进式残差网络的肠神经丛辅助识别方法，包括以下步骤：步骤1，采集数据并进行预处理，得到训练数据集；步骤2，基于改进的渐进式残差复原网络构建复原模型，并基于训练数据集和MSEloss对复原模型进行训练；步骤3，将原始待测图像输入训练后的复原模型，得到复原结果；步骤4，将复原结果与原始待测图像进行像素级差异比较，得到肠神经丛的位置；步骤5，采用分类模型，对正常与非正常的神经丛进行分类。通过本发明可以实现对神经丛准确、快速的识别，先对正常与非正常的神经丛进行分类，实现对正常与非正常形态的神经丛评估，识别为正常的神经丛后再进行后续神经节细胞的识别，从而大大提高识别效率和准确率。

Description

一种基于改进渐进式残差网络的肠神经丛辅助识别方法
技术领域
本发明涉及图像识别的技术领域，尤其涉及一种基于改进渐进式残差网络的肠神经丛辅助识别方法。
背景技术
肠无神经节细胞症（aganglionosis）是常见的小儿消化道发育畸形之一。肠无神经节细胞症的判断金标准为病理检查。其特征性的组织学病理改变是狭窄段（病变段）肠壁内神经丛和神经节细胞缺如，表现为肌间和粘膜下通常不能见到正常形态的肠神经丛和神经节细胞。反之，外源性胆碱能神经纤维大量增生，数量增多，粗大，紧密交织成束，呈波浪状或旋涡状，出现所谓的“肥大神经丛”。该疾病的常规诊断流程为：肠道组织切片苏木精-伊红（H&E）染色，显微镜下评估是否存在正常形态的肌间神经丛和粘膜下神经丛，以及神经丛内是否存在正常的神经节细胞。因此，从复杂的肠道组织层次中，精准、快速定位和识别神经丛区域是识别该疾病的重要前提。
传统的神经丛识别主要依靠专业医生人工识别，通过了解病变段神经丛、神经节细胞是否存在,实现肠无神经节细胞症的识别和判断。但该方法操作繁杂，对操作人员有较高要求，易受到医生个人经验及状态的影响。针对病理图像，传统的图像特征提取方法结合传统机器学习分类方法对特征进行分类的模型效果往往不佳，因此，人们开展了越来越多的尝试，希望通过深度学习来实现某些医学辅助识别。但目前应用于医疗图像识别的深度学习方法存在的主要的问题是在某些特定的稀少疾病中，难以获得大量数据。由于医院和患者的状况并不总是适合于收集数据，并且具有相同疾病的患者数据也并非总是可用，因此在医学领域经常出现需要收集平衡且足够的数据的难题。
从复杂的肠道组织层次中，精准、快速定位和识别神经丛区域是诊断该疾病的重要前提。病变肠管中会出现“粗大神经丛”，这些异常的神经丛内的无髓性的副交感神经纤维无论在数量上还是粗细上，都较正常为显著，紧密交织成束，代替了正常的神经丛。然后对识别出的神经丛进行正常与非正常的分类，即可快速筛出非正常神经丛。
由于医学领域的敏感性和特殊性，医学数据的注释需要大量专家手动完成，这需要投入大量的人力物力，然而即使在这种情况下，由于病例的复杂性和图像本身模糊等原因，也不能保证标注的完全准确。
发明内容
发明目的：为了克服现有技术中存在的不足，本发明提供一种基于改进渐进式残差网络的肠神经丛辅助识别方法，该发明能够充分挖掘病理图片内在的信息，并通过对数据进行特殊的预处理以解决数据量不够的潜在问题。
技术方案：为了实现上述发明目的，本发明提供了一种基于改进渐进式残差网络的肠神经丛辅助识别方法，包括以下步骤：
步骤1，采集数据并进行预处理，得到训练数据集；
步骤2，基于改进的渐进式残差复原网络构建复原模型，并基于训练数据集和MSEloss对复原模型进行训练；
步骤3，将原始待测图像输入训练后的复原模型，得到复原结果；
步骤4，将复原结果与原始待测图像进行像素级差异比较，得到得到肠神经丛的位置；
步骤5，构建分类模型对正常与非正常的神经丛进行分类。
进一步的，在本发明中：所述采集的数据为经苏木精-伊红染色的肠道组织切片图像数据。
进一步的，在本发明中：所述预处理包括：对采集到的数据进行数据增强得到更多的图像数据，数据增强包括对数据进行翻转、拉伸、色彩变换和切割。
进一步的，在本发明中：复原模型基于改进的渐进式残差复原网络构建，包括输入卷积层、激活函数层、特征提取器和输出卷积层，特征提取器包括ResNet，用于逐步挖掘深层语义纹理信息。
进一步的，在本发明中：所述特征提取器中包括5个ResNet。
进一步的，在本发明中：所述复原模型还包括LSTM层，即在每个阶段数据进入特征提取器前需要先经过LSTM层循环网络，使得在去除神经丛的过程中，每个stage能获取到上个stage的状态。
进一步的，在本发明中：所述复原模型中通过ResBlocks在网络输入时增加边缘信息的连接，使得网络对于边缘的修复更为准确。
进一步的，在本发明中：所述复原模型的输入为合成的包含神经丛的图像，每一层的输入是上一个层的输出结果和原始输入进行通道连接，级联特征的金字塔网络用于对高分辨率图像进行多尺度融合，经过输入卷积层的卷积升维，进入特征提取器，特征提取器提取特征图，最后通过输出卷积层进行卷积降维处理，得到复原结果并输出。
进一步的，在本发明中：所述步骤4中，像素级差异比较采用多信息综合判定，神经丛的像素级差异判断采用像素级融合的方式。
进一步的，在本发明中：所述分类模型基于CNN卷积神经网络构建。
有益效果：本发明与现有技术相比，其有益效果是：本发明提出的基于改进渐进式残差网络的肠神经丛辅助识别方法能够对神经丛实现准确、快速的识别，通过先对正常与非正常的神经丛进行分类，实现对正常与非正常形态的肌间神经丛和粘膜下神经丛的评估，识别为正常的神经丛后再进行后续神经节细胞的识别，从而大大提高识别效率和准确率。
附图说明
图1为本发明所述基于改进渐进式残差网络的肠神经丛辅助识别方法的整体流程示意图；
图2为本发明中构建的复原模型的结构示意图；
图3为无神经丛时的示意图；
图4为正常神经丛的示意图。
具体实施方式
下面结合附图对本发明的技术方案做进一步的详细说明：
本发明可以用许多不同的形式实现，而不应当认为限于这里所述的实施例。相反，提供这些实施例以便使本公开透彻且完整，并且将向本领域技术人员充分表达本发明的范围。
如图1所示，为本发明提出的一种基于改进渐进式残差网络的肠神经丛辅助识别方法的整体流程示意图，该方法具体包括以下步骤：
步骤1，采集数据并进行预处理，得到训练数据集；
其中，采集的数据为经苏木精-伊红染色的肠道组织切片图像数据。
进一步的，由于原始数据量越大，训练出来的模型精度越高，泛化能力越强，因此需要采集大量数据作为训练数据。但对肠无神经节细胞症的图像标注费时费力，采集大量数据需要耗费较高的成本，本实施例中通过预处理对采集到的数据进行数据增强，从而获取更多的数据用于后续训练，进而提高网络的精度和泛化能力。
具体的，预处理包括：对采集到的数据进行数据增强得到更多的图像数据，数据增强包括对数据进行翻转、拉伸、色彩变换和切割。
步骤2，基于改进的渐进式残差复原网络构建复原模型，并基于训练数据集和MSEloss对复原模型进行训练；
其中，复原模型基于改进的渐进式残差复原网络构建，包括输入卷积层、激活函数层、特征提取器和输出卷积层，特征提取器包括ResNet，用于逐步挖掘深层语义纹理信息。
优选地，本实施例中的特征提取器中包括5个ResNet。
具体的，复原模型的输入为合成的包含神经丛的图像，每一层的输入是上一个层的输出结果和原始输入进行通道连接，复原模型的整体结构为级联特征的金字塔网络，级联特征的金字塔网络用于对高分辨率图像进行多尺度融合，经过输入卷积层的卷积升维，进入特征提取器，特征提取器提取特征图，最后通过输出卷积层进行卷积降维处理，得到复原结果并输出。
参照图2的示意，本发明构建的复原模型还包括LSTM层，即在每个阶段数据进入特征提取器前需要先经过LSTM层循环网络，使得在去除神经丛的过程中，每个stage能获取到上个stage的状态。
进一步的，本发明还通过ResBlocks在网络输入时增加边缘信息的连接，使得网络对于边缘的修复更为准确。
对复原模型进行训练还包括：本实施例采用MSEloss（均方损失函数）作为评价指标，设置阈值并计算测量输入x和目标y中每个元素之间的均方误差，对渐进式残差复原网络进行训练，当均方误差小于设定的阈值时，训练结束。
其中，本实施例中的阈值设置为0.0046。
步骤3，将原始待测图像输入训练后的复原模型，得到复原结果；
步骤4，将复原结果与原始待测图像进行像素级差异比较，得到肠神经丛的位置；
具体的，像素级差异比较采用多信息综合判定，神经丛的像素级差异判断采用像素级融合的方式。
复原模型将图像压缩成一维向量再经过解码器恢复成原尺寸图像，在压缩过程中提取图像特征并编码进隐空间中，经过上采样操作恢复，能够复原肠神经丛部分。
步骤5，构建分类模型，对正常与非正常的神经丛进行分类。
具体的，本实施例中采用CNN卷积神经网络构建分类模型并进行训练，得到的分类模型用于实现对正常与非正常形态的肌间神经丛和粘膜下神经丛的评估，识别为正常的神经丛再进行后续神经节细胞的识别。
应说明的是，以上所述实施例仅表达了本发明的部分实施方式，其描述并不能理解为对本发明专利范围的限制。应当指出的是，对于本技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干改进，这些均应落入本发明的保护范围。

Claims (9)

1.一种基于改进渐进式残差网络的肠神经丛辅助识别方法，其特征在于：包括以下步骤：
步骤1，采集数据并进行预处理，得到训练数据集；
步骤2，基于改进的渐进式残差复原网络构建复原模型，并基于训练数据集和MSEloss对复原模型进行训练；
步骤3，将原始待测图像输入训练后的复原模型，得到复原结果；
所述复原模型的输入为合成的包含神经丛的图像，每一层的输入是上一个层的输出结果和原始输入进行通道连接，级联特征的金字塔网络用于对高分辨率图像进行多尺度融合，经过输入卷积层的卷积升维，进入特征提取器，特征提取器提取特征图，最后通过输出卷积层进行卷积降维处理，得到复原结果并输出；
步骤4，将复原结果与原始待测图像进行像素级差异比较，得到肠神经丛的位置；
步骤5，构建分类模型对正常与非正常的神经丛进行分类。
2.如权利要求1所述的基于改进渐进式残差网络的肠神经丛辅助识别方法，其特征在于：所述采集的数据为经苏木精-伊红染色的肠道组织切片图像数据。
3.如权利要求2所述的基于改进渐进式残差网络的肠神经丛辅助识别方法，其特征在于：所述预处理包括：对采集到的数据进行数据增强得到更多的图像数据，数据增强包括对数据进行翻转、拉伸、色彩变换和切割。
4.如权利要求1~3任一所述的基于改进渐进式残差网络的肠神经丛辅助识别方法，其特征在于：复原模型基于改进的渐进式残差复原网络构建，包括输入卷积层、激活函数层、特征提取器和输出卷积层，特征提取器包括ResNet，用于逐步挖掘深层语义纹理信息。
5.如权利要求4所述的基于改进渐进式残差网络的肠神经丛辅助识别方法，其特征在于：所述特征提取器中包括5个ResNet。
6.如权利要求5所述的基于改进渐进式残差网络的肠神经丛辅助识别方法，其特征在于：所述复原模型还包括LSTM层，即在每个阶段数据进入特征提取器前需要先经过LSTM层循环网络，使得在去除神经丛的过程中，每个stage能获取到上个stage的状态。
7.如权利要求6所述的基于改进渐进式残差网络的肠神经丛辅助识别方法，其特征在于：所述复原模型中通过ResBlocks在网络输入时增加边缘信息的连接，使得网络对于边缘的修复更为准确。
8.如权利要求1所述的基于改进渐进式残差网络的肠神经丛辅助识别方法，其特征在于：所述步骤4中，像素级差异比较采用多信息综合判定，神经丛的像素级差异判断采用像素级融合的方式。
9.如权利要求1所述的基于改进渐进式残差网络的肠神经丛辅助识别方法，其特征在于：所述分类模型基于CNN卷积神经网络构建。
CN202111631341.5A 2021-12-29 2021-12-29 一种基于改进渐进式残差网络的肠神经丛辅助识别方法 Active CN113989800B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111631341.5A CN113989800B (zh) 2021-12-29 2021-12-29 一种基于改进渐进式残差网络的肠神经丛辅助识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111631341.5A CN113989800B (zh) 2021-12-29 2021-12-29 一种基于改进渐进式残差网络的肠神经丛辅助识别方法

Publications (2)

Publication Number Publication Date
CN113989800A CN113989800A (zh) 2022-01-28
CN113989800B true CN113989800B (zh) 2022-04-12

Family

ID=79734882

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111631341.5A Active CN113989800B (zh) 2021-12-29 2021-12-29 一种基于改进渐进式残差网络的肠神经丛辅助识别方法

Country Status (1)

Country Link
CN (1) CN113989800B (zh)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110444277B (zh) * 2019-07-19 2023-03-28 重庆邮电大学 一种基于多生成多对抗的多模态脑部mri图像双向转换方法
CN110414405A (zh) * 2019-07-23 2019-11-05 王英伟 基于深度学习的肌间沟臂丛神经的识别方法及其系统
CN110807738B (zh) * 2019-08-21 2022-07-22 杭州电子科技大学 一种基于边缘图块锐化的模糊图像非盲复原方法
CN111402128A (zh) * 2020-02-21 2020-07-10 华南理工大学 一种基于多尺度金字塔网络的图像超分辨率重建方法
CN111968052B (zh) * 2020-08-11 2024-04-30 北京小米松果电子有限公司 图像处理方法、图像处理装置及存储介质
CN112509001A (zh) * 2020-11-24 2021-03-16 河南工业大学 一种多尺度和多特征融合的特征金字塔网络盲复原方法
CN113793286B (zh) * 2021-11-18 2022-05-10 成都索贝数码科技股份有限公司 一种基于多阶注意力神经网络的媒体图像水印移除方法

Also Published As

Publication number Publication date
CN113989800A (zh) 2022-01-28

Similar Documents

Publication Publication Date Title
CN110060774B (zh) 一种基于生成式对抗网络的甲状腺结节识别方法
US20200303062A1 (en) Medical image aided diagnosis method and system combining image recognition and report editing
KR102645120B1 (ko) 신경 네트워크들을 이용하여 단층촬영 이미지 재구축 및 라디오믹스를 통합하기 위한 시스템 및 방법
CN109670510B (zh) 一种基于深度学习的胃镜活检病理数据筛查系统
CN108464840B (zh) 一种乳腺肿块自动检测方法及系统
WO2022063199A1 (zh) 一种肺结节自动检测方法、装置及计算机系统
CN1934589A (zh) 为医学成像提供自动决策支持的系统和方法
CN112101451A (zh) 一种基于生成对抗网络筛选图像块的乳腺癌组织病理类型分类方法
CN110991536A (zh) 原发性肝癌的早期预警模型的训练方法
CN115272647A (zh) 一种肺部图像的识别处理方法及系统
CN116758336A (zh) 一种基于人工智能的医学图像智能分析系统
CN117095815A (zh) 基于磁共振图像和病理全景扫描切片预测带有同源重组缺陷的前列腺癌患者的系统
CN113989800B (zh) 一种基于改进渐进式残差网络的肠神经丛辅助识别方法
CN113033667A (zh) 一种超声图像两阶段深度学习的乳腺肿瘤分类方法和装置
Al-Darabsah et al. Breast cancer diagnosis using machine learning based on statistical and texture features extraction
CN112116559A (zh) 一种基于深度学习的数字病理图像智能分析方法
CN116071373A (zh) 一种基于融合PCA的U-net模型舌体自动分割方法
CN116524315A (zh) 一种基于Mask R-CNN的肺癌病理组织切片识别及分割方法
CN113921116A (zh) 利用计算机芯片评估急性缺血性卒中ct影像数据模型方法
CN113796850A (zh) 甲状旁腺mibi图像分析系统、计算机设备及存储介质
CN115100187B (zh) 一种基于联邦学习的青光眼图像检测方法
Gaikwad et al. Image processing technique for hard exudates detection for diagnosis of diabetic retinopathy
CN114972296B (zh) 一种基于肺图的高分辨ct图像分析方法、设备及系统
CN116188457B (zh) 冠脉造影骨架图的处理方法及处理系统
CN111798428B (zh) 一种皮肤病理图像多种组织自动分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant