CN112884728A - 基于深度学习卷积神经网络的内镜图像病变识别筛查方法 - Google Patents

基于深度学习卷积神经网络的内镜图像病变识别筛查方法 Download PDF

Info

Publication number
CN112884728A
CN112884728A CN202110153299.4A CN202110153299A CN112884728A CN 112884728 A CN112884728 A CN 112884728A CN 202110153299 A CN202110153299 A CN 202110153299A CN 112884728 A CN112884728 A CN 112884728A
Authority
CN
China
Prior art keywords
distance
vector
network
training
convolutional neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110153299.4A
Other languages
English (en)
Inventor
李全林
周平红
诸炎
胡健卫
张丹枫
耿子寒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongshan Hospital Fudan University
Original Assignee
Zhongshan Hospital Fudan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongshan Hospital Fudan University filed Critical Zhongshan Hospital Fudan University
Priority to CN202110153299.4A priority Critical patent/CN112884728A/zh
Publication of CN112884728A publication Critical patent/CN112884728A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24143—Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30092—Stomach; Gastric
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Endoscopes (AREA)

Abstract

本发明涉及一种基于深度学习卷积神经网络的内镜图像病变识别筛查方法，通常基于深度学习卷积神经网络模型分类图像，可达到较好效果，但由于卷积神经网络关注特征区分，并基于损失函数进行优化，且内镜图像所覆盖形态多，噪音大，分布多样，难以达到最佳效果。通过距离中心，并根据预测结果不断迭代中心向量，将同类样本平滑聚集到同一相似分布，这样基于距离中西聚集策略，可构建轻量级病变筛查模型。训练好后的模型内嵌到主机系统中，数据通过采集器从内镜设备传输到此台主机中，进行调用，增强模型的普适性。摒弃以往多模型复杂融合及单一模型精度损失的劣势，基于距离中心聚集策略，构建轻量级病变筛查模型，增强模型的普适性。

Description

基于深度学习卷积神经网络的内镜图像病变识别筛查方法
技术领域
本发明涉及一种图像识别技术，特别涉及一种基于距离中心化聚集深度学习卷积神经网络的内镜图像病变识别筛查方法。
背景技术
目前临床上主要基于在内镜检查过程中发现病灶，并基于病理分析结果综合判断；内镜检查是诊断上消化病变的关键步骤，但由于内镜医师检查具有一定差异性，胃部某些早期病变难以发现且区分，基于AI实时引导内镜检查，及时发现病变区域，辅助医生近距离观察，进行采样用于病理后续检验，是具有显著意义及实际功能需要的。
中国早期胃癌诊断率仍在20％一下，世家大部分地区结果类似，确保内镜下发现病变是后续诊断治疗的重要先决条件。
基于内镜全流程视频，从咽喉开始，经过食道(食管气管分叉，左心房压迹、贲门)，胃部冲洗，胃部粘膜及胃皱襞，胃体下部及胃窦，幽门，十二指肠球部，胃底倒镜及贲门区等。其中包括视频中那些噪音图，如光晕、不清晰、白苔及食物残渣，胃内容物等。因此现在在内镜过程中很难直接凭经验进行判断，或无法避免多种模型融合进行识别带了的误判。
发明内容
本发明是针对内镜图像病变识别重要但困难的问题，提出了一种基于深度学习卷积神经网络的内镜图像病变识别筛查方法，通过距离中心，并根据预测结果不断迭代中心向量，将同类样本平滑聚集到同一相似分布，达到高精度识别。
本发明的技术方案为一种基于深度学习卷积神经网络的内镜图像病变识别筛查方法，具体包括如下步骤：
1)对内镜下采集的图像处理：统一到同一尺寸后，再对图像依次经过归一化、标准化处理；
2)网络设计及训练：
2.1)基于MobileNetV3，设定网络结构；将经过步骤1)处理后图像送入网络进行训练，送入训练的处理后图像包括已经确定类别的病变图和正常图，构成训练样本；网络输出类别与确定类别送入优化器，以Adam为优化器，利用加权交叉熵损失函数loss最小为目标对网络进行优化；
2.2)利用优化后网络，将原训练样本再次送入网络，进行距离中心聚集训练，分别计算预测向量与中心向量的欧式距离和余弦距离，并对两个距离进行加和，使得和最小则同类间距离最小；
2.3)中心向量迭代：
训练初始，随机初始化中心向量，并将当前训练样本预测向量分别进行欧式及余弦中心向量计算距离，最小化同类间距离；在距离计算完成，根据当前所有样本预测向量依据类别相应点位加总取均值，作为本轮迭代完成后新的中心向量，进行下一轮迭代，直到收敛，完成基于距离中心训练；
3)步骤2)训练好后的模型内嵌到主机系统中，数据通过采集器从内镜设备传输到此台主机中，调用模型直接进行病变识别。
所述步骤2.1)利用加权交叉熵损失函数loss最小为目标对网络进行优化，加权交叉熵损失函数loss如下：
Figure BDA0002933304220000021
Figure BDA0002933304220000022
其中αk为每个类别权重；nk为第k类数量；k为第k类；K为总类别量；yk为真实类别；pk为预测类别；以最小化上述损失函数loss为目标进行训练优化直至收敛，获取优化后网络。
所述步骤2.2)欧式距离和余弦距离计算公式如下：
欧式距离
Figure BDA0002933304220000023
Si第i个图像样本预测向量，其中(Si1，Si2)为第i类预测向量；Cj第j类中心向量，其中(Cj1，Cj2)为第j类自定义向量或迭代后新的第j类中心向量；
余弦距离
Figure BDA0002933304220000031
其中n为向量长度。
所述步骤2.3)中最小化同类间距离，将最小化同类中心向量距离的放大乘数设置为100，最大可能回收病变图像，达到快速收敛效果。
本发明的有益效果在于：本发明基于深度学习卷积神经网络的内镜图像病变识别筛查方法，摒弃以往多模型复杂融合及单一模型精度损失的劣势，基于距离中心聚集策略，构建轻量级病变筛查模型，增强模型的普适性。
附图说明
图1为本发明方法实施例所用深度学习卷积神经网络示意图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
通常基于深度学习卷积神经网络模型分类图像，可达到较好效果，但由于卷积神经网络关注特征区分，并基于损失函数进行优化，且内镜图像所覆盖形态多，噪音大，分布多样，难以达到最佳效果。通过距离中心，并根据预测结果不断迭代中心向量，将同类样本平滑聚集到同一相似分布，这样基于距离中西聚集策略，可构建轻量级病变筛查模型。训练好后的模型内嵌到主机系统中，数据通过采集器从内镜设备传输到此台主机中，进行调用，增强模型的普适性。
实施例：筛查病变范围包括胃息肉、黏膜下肿瘤、消化溃疡、黏膜层、SM1、SM2及进展期等七种病变范围，不包括炎症。具体步骤如下：
1、对内镜下采集的图像处理：依次经过归一化、标准化处理。
1.1、重采样到同一尺寸512×512×3；
1.2标准化：
Figure BDA0002933304220000041
其中Imgstandardization为标准化后的图像像素；img为原图像像素值；μ为图像像素均值；σ为图像像素标准差。
1.3归一化：
Figure BDA0002933304220000042
其中Imgnormalize为为归一化后图像像素；min(Imgstandardization)为标准化后图像像素最小值；max(Imgstandardization)为标准化后图像像素最大值。
2、网络设计及训练过程
2.1、基于MobileNetV3，如图1所示，起始部分：1个卷积层，通过3x3的卷积，提取特征；中间部分：多个卷积层，不同Large和Small版本，层数和参数不同；最后部分：通过两个1x1的卷积层，代替全连接，输出类别。
将内镜视频逐帧图像经过处理后得到的512×512×3图像送入网络进行训练，送入训练的处理后图像包括已经确定类别的病变图和正常图，构成训练样本。网络输出类别与确定类别送入优化器，以Adam为Optimizer(优化器)，利用加权交叉熵(weighted crossentropy)损失函数loss最小为目标对网络进行优化。
Figure BDA0002933304220000043
Figure BDA0002933304220000044
αk为每个类别权重；nk为第k类数量；k为第k类；K为总类别量；yk为真实类别；pk为预测类别；以最小化上述损失函数loss为目标进行训练优化直至收敛，获取优化后网络。
2.2、利用优化后网络，将原训练样本再次送入网络，进行距离中心聚集训练，最小化同类中心距离，最大化异类中心距离
距离一：使用欧式距离
Figure BDA0002933304220000051
Si第i个图像样本预测向量，其中(Si1，Si2)为第i类预测向量；Cj第j类中心向量，其中(Cj1，Cj2)为第j类自定义向量或迭代后新的中心向量。
距离二：cosine距离
Figure BDA0002933304220000052
其中n为向量长度。
欧式距离和余弦距离进行加和，使得和最小则同类间距离最小。两种距离是从不同空间去看。
2.3、中心向量迭代
训练初始，随机初始化中心向量，并将当前训练样本预测向量分别进行欧式及余弦中心向量计算距离，最小化同类间距离；在距离计算完成，根据当前所有样本预测向量依据类别相应点位加总取均值，作为本轮迭代完成后新的中心向量，进行下一轮迭代。
3、总体训练过程，由于基于随机初始化中心向量，容易导致模型训练不收敛，故训练过程中首先基于MobileNetV3训练模型，待模型一定程度收敛后，对所有样本预测计算同类分别的欧式中心向量及余弦中心向量。本方法在基于距离中心训练过程中，为最大可能回收病变图像，将最小化同类中心向量距离的放大乘数设置为100，达到快速收敛效果。并最终在内镜病变筛查中AUC达到99％。
本发明采用卷积神经网络与基于距离中西聚集方案相结合，更好地处理内镜图像所覆盖形态多，噪音大，分布多样的问题，实现高精度识别。本行业的技术人员应该了解，本发明不受上述实施例的限制，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。

Claims (4)

1.一种基于深度学习卷积神经网络的内镜图像病变识别筛查方法，其特征在于，具体包括如下步骤：
1)对内镜下采集的图像处理：统一到同一尺寸后，再对图像依次经过归一化、标准化处理；
2)网络设计及训练：
2.1)基于MobileNetV3，设定网络结构；将经过步骤1)处理后图像送入网络进行训练，送入训练的处理后图像包括已经确定类别的病变图和正常图，构成训练样本；网络输出类别与确定类别送入优化器，以Adam为优化器，利用加权交叉熵损失函数loss最小为目标对网络进行优化；
2.2)利用优化后网络，将原训练样本再次送入网络，进行距离中心聚集训练，分别计算预测向量与中心向量的欧式距离和余弦距离，并对两个距离进行加和，使得和最小则同类间距离最小；
2.3)中心向量迭代：
训练初始，随机初始化中心向量，并将当前训练样本预测向量分别进行欧式及余弦中心向量计算距离，最小化同类间距离；在距离计算完成，根据当前所有样本预测向量依据类别相应点位加总取均值，作为本轮迭代完成后新的中心向量，进行下一轮迭代，直到收敛，完成基于距离中心训练；
3)步骤2)训练好后的模型内嵌到主机系统中，数据通过采集器从内镜设备传输到此台主机中，调用模型直接进行病变识别。
2.根据权利要求1所述基于深度学习卷积神经网络的内镜图像病变识别筛查方法，其特征在于，所述步骤2.1)利用加权交叉熵损失函数loss最小为目标对网络进行优化，加权交叉熵损失函数loss如下：
Figure FDA0002933304210000011
Figure FDA0002933304210000012
其中αk为每个类别权重；nk为第k类数量；k为第k类；K为总类别量；yk为真实类别；pk为预测类别；以最小化上述损失函数loss为目标进行训练优化直至收敛，获取优化后网络。
3.根据权利要求1所述基于深度学习卷积神经网络的内镜图像病变识别筛查方法，其特征在于，所述步骤2.2)欧式距离和余弦距离计算公式如下：
欧式距离
Figure FDA0002933304210000021
Si第i个图像样本预测向量，其中(Si1，Si2)为第i类预测向量；Cj第j类中心向量，其中(Cj1，Cj2)为第j类自定义向量或迭代后新的第j类中心向量；
余弦距离
Figure FDA0002933304210000022
其中n为向量长度。
4.根据权利要求1所述基于深度学习卷积神经网络的内镜图像病变识别筛查方法，其特征在于，所述步骤2.3)中最小化同类间距离，将最小化同类中心向量距离的放大乘数设置为100，最大可能回收病变图像，达到快速收敛效果。
CN202110153299.4A 2021-02-04 2021-02-04 基于深度学习卷积神经网络的内镜图像病变识别筛查方法 Pending CN112884728A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110153299.4A CN112884728A (zh) 2021-02-04 2021-02-04 基于深度学习卷积神经网络的内镜图像病变识别筛查方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110153299.4A CN112884728A (zh) 2021-02-04 2021-02-04 基于深度学习卷积神经网络的内镜图像病变识别筛查方法

Publications (1)

Publication Number Publication Date
CN112884728A true CN112884728A (zh) 2021-06-01

Family

ID=76057124

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110153299.4A Pending CN112884728A (zh) 2021-02-04 2021-02-04 基于深度学习卷积神经网络的内镜图像病变识别筛查方法

Country Status (1)

Country Link
CN (1) CN112884728A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114596379A (zh) * 2022-05-07 2022-06-07 中国科学技术大学 基于深度图像先验的图像重建方法、电子设备及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107103281A (zh) * 2017-03-10 2017-08-29 中山大学 基于聚集损失深度度量学习的人脸识别方法
CN108108807A (zh) * 2017-12-29 2018-06-01 北京达佳互联信息技术有限公司 学习型图像处理方法、系统及服务器
CN109118485A (zh) * 2018-08-13 2019-01-01 复旦大学 基于多任务神经网络的消化道内镜图像分类及早癌检测系统
CN109815801A (zh) * 2018-12-18 2019-05-28 北京英索科技发展有限公司 基于深度学习的人脸识别方法及装置
CN111128396A (zh) * 2019-12-20 2020-05-08 山东大学齐鲁医院 一种基于深度学习的消化道疾病辅助诊断系统
CN111242199A (zh) * 2020-01-07 2020-06-05 中国科学院苏州纳米技术与纳米仿生研究所 图像分类模型的训练方法及分类方法
CN111368683A (zh) * 2020-02-27 2020-07-03 南京邮电大学 基于模约束CentreFace的人脸图像特征提取方法及人脸识别方法
CN111462082A (zh) * 2020-03-31 2020-07-28 重庆金山医疗技术研究院有限公司 一种病灶图片识别装置、方法、设备及可读存储介质
CN111814584A (zh) * 2020-06-18 2020-10-23 北京交通大学 基于多中心度量损失的多视角环境下车辆重识别方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107103281A (zh) * 2017-03-10 2017-08-29 中山大学 基于聚集损失深度度量学习的人脸识别方法
CN108108807A (zh) * 2017-12-29 2018-06-01 北京达佳互联信息技术有限公司 学习型图像处理方法、系统及服务器
CN109118485A (zh) * 2018-08-13 2019-01-01 复旦大学 基于多任务神经网络的消化道内镜图像分类及早癌检测系统
CN109815801A (zh) * 2018-12-18 2019-05-28 北京英索科技发展有限公司 基于深度学习的人脸识别方法及装置
CN111128396A (zh) * 2019-12-20 2020-05-08 山东大学齐鲁医院 一种基于深度学习的消化道疾病辅助诊断系统
CN111242199A (zh) * 2020-01-07 2020-06-05 中国科学院苏州纳米技术与纳米仿生研究所 图像分类模型的训练方法及分类方法
CN111368683A (zh) * 2020-02-27 2020-07-03 南京邮电大学 基于模约束CentreFace的人脸图像特征提取方法及人脸识别方法
CN111462082A (zh) * 2020-03-31 2020-07-28 重庆金山医疗技术研究院有限公司 一种病灶图片识别装置、方法、设备及可读存储介质
CN111814584A (zh) * 2020-06-18 2020-10-23 北京交通大学 基于多中心度量损失的多视角环境下车辆重识别方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114596379A (zh) * 2022-05-07 2022-06-07 中国科学技术大学 基于深度图像先验的图像重建方法、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN112435246A (zh) 窄带成像放大胃镜下胃癌的人工智能诊断方法
CN108416360B (zh) 基于乳腺钼靶钙化特征的癌症诊断系统及方法
CN111329445B (zh) 基于组卷积残差网络和长短期记忆网络的房颤识别方法
CN111968091B (zh) 一种临床图像中病变区域的检测和分类方法
CN113192633B (zh) 基于注意力机制的胃癌细粒度分类方法
CN111340094A (zh) 基于深度学习的胶囊内窥镜图像辅助分类系统和分类方法
CN112862808A (zh) 一种基于深度学习的乳腺癌超声图像的可解释性识别方法
CN111653365A (zh) 一种鼻咽癌辅助诊断模型构建和辅助诊断方法及系统
CN114782760B (zh) 一种基于多任务学习的胃部疾病图片分类系统
Khuwaja et al. Bimodal breast cancer classification system
CN113034500A (zh) 基于多通道结构的消化道内窥镜图片病灶识别系统
CN111932541B (zh) 一种用于预测新冠肺炎预后的ct影像图像处理方法
Souaidi et al. A new automated polyp detection network MP-FSSD in WCE and colonoscopy images based fusion single shot multibox detector and transfer learning
CN117274270B (zh) 基于人工智能的消化内镜实时辅助系统及方法
CN114511502A (zh) 一种基于人工智能的胃肠道内窥镜图像息肉检测系统、终端及存储介质
CN112651375A (zh) 基于深度学习模型的幽门螺杆菌胃部图像识别分类系统
CN111428066A (zh) 一种基于卷积神经网络的病变图像的分类和分割方法
CN112884728A (zh) 基于深度学习卷积神经网络的内镜图像病变识别筛查方法
CN113781489A (zh) 一种息肉影像语义分割方法及装置
CN113538435B (zh) 一种基于深度学习的胰腺癌病理图像分类方法及系统
Chitnis et al. Domain-specific pre-training improves confidence in whole slide image classification
CN112017208A (zh) 一种基于深度学习的多细胞球识别与分类方法
CN111476312A (zh) 一种基于卷积神经网络的病变图像的分类方法
CN112419246A (zh) 量化食管粘膜IPCLs血管形态分布的深度检测网络
Zhang et al. T-Net: Hierarchical Pyramid Network for Microaneurysm Detection in Retinal Fundus Image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination