CN112884728A - 基于深度学习卷积神经网络的内镜图像病变识别筛查方法 - Google Patents
基于深度学习卷积神经网络的内镜图像病变识别筛查方法 Download PDFInfo
- Publication number
- CN112884728A CN112884728A CN202110153299.4A CN202110153299A CN112884728A CN 112884728 A CN112884728 A CN 112884728A CN 202110153299 A CN202110153299 A CN 202110153299A CN 112884728 A CN112884728 A CN 112884728A
- Authority
- CN
- China
- Prior art keywords
- distance
- vector
- network
- training
- convolutional neural
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
- G06F18/24143—Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30092—Stomach; Gastric
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Endoscopes (AREA)
Abstract
本发明涉及一种基于深度学习卷积神经网络的内镜图像病变识别筛查方法,通常基于深度学习卷积神经网络模型分类图像,可达到较好效果,但由于卷积神经网络关注特征区分,并基于损失函数进行优化,且内镜图像所覆盖形态多,噪音大,分布多样,难以达到最佳效果。通过距离中心,并根据预测结果不断迭代中心向量,将同类样本平滑聚集到同一相似分布,这样基于距离中西聚集策略,可构建轻量级病变筛查模型。训练好后的模型内嵌到主机系统中,数据通过采集器从内镜设备传输到此台主机中,进行调用,增强模型的普适性。摒弃以往多模型复杂融合及单一模型精度损失的劣势,基于距离中心聚集策略,构建轻量级病变筛查模型,增强模型的普适性。
Description
技术领域
本发明涉及一种图像识别技术,特别涉及一种基于距离中心化聚集深度学习卷积神经网络的内镜图像病变识别筛查方法。
背景技术
目前临床上主要基于在内镜检查过程中发现病灶,并基于病理分析结果综合判断;内镜检查是诊断上消化病变的关键步骤,但由于内镜医师检查具有一定差异性,胃部某些早期病变难以发现且区分,基于AI实时引导内镜检查,及时发现病变区域,辅助医生近距离观察,进行采样用于病理后续检验,是具有显著意义及实际功能需要的。
中国早期胃癌诊断率仍在20%一下,世家大部分地区结果类似,确保内镜下发现病变是后续诊断治疗的重要先决条件。
基于内镜全流程视频,从咽喉开始,经过食道(食管气管分叉,左心房压迹、贲门),胃部冲洗,胃部粘膜及胃皱襞,胃体下部及胃窦,幽门,十二指肠球部,胃底倒镜及贲门区等。其中包括视频中那些噪音图,如光晕、不清晰、白苔及食物残渣,胃内容物等。因此现在在内镜过程中很难直接凭经验进行判断,或无法避免多种模型融合进行识别带了的误判。
发明内容
本发明是针对内镜图像病变识别重要但困难的问题,提出了一种基于深度学习卷积神经网络的内镜图像病变识别筛查方法,通过距离中心,并根据预测结果不断迭代中心向量,将同类样本平滑聚集到同一相似分布,达到高精度识别。
本发明的技术方案为一种基于深度学习卷积神经网络的内镜图像病变识别筛查方法,具体包括如下步骤:
1)对内镜下采集的图像处理:统一到同一尺寸后,再对图像依次经过归一化、标准化处理;
2)网络设计及训练:
2.1)基于MobileNetV3,设定网络结构;将经过步骤1)处理后图像送入网络进行训练,送入训练的处理后图像包括已经确定类别的病变图和正常图,构成训练样本;网络输出类别与确定类别送入优化器,以Adam为优化器,利用加权交叉熵损失函数loss最小为目标对网络进行优化;
2.2)利用优化后网络,将原训练样本再次送入网络,进行距离中心聚集训练,分别计算预测向量与中心向量的欧式距离和余弦距离,并对两个距离进行加和,使得和最小则同类间距离最小;
2.3)中心向量迭代:
训练初始,随机初始化中心向量,并将当前训练样本预测向量分别进行欧式及余弦中心向量计算距离,最小化同类间距离;在距离计算完成,根据当前所有样本预测向量依据类别相应点位加总取均值,作为本轮迭代完成后新的中心向量,进行下一轮迭代,直到收敛,完成基于距离中心训练;
3)步骤2)训练好后的模型内嵌到主机系统中,数据通过采集器从内镜设备传输到此台主机中,调用模型直接进行病变识别。
所述步骤2.1)利用加权交叉熵损失函数loss最小为目标对网络进行优化,加权交叉熵损失函数loss如下:
其中αk为每个类别权重;nk为第k类数量;k为第k类;K为总类别量;yk为真实类别;pk为预测类别;以最小化上述损失函数loss为目标进行训练优化直至收敛,获取优化后网络。
所述步骤2.2)欧式距离和余弦距离计算公式如下:
其中n为向量长度。
所述步骤2.3)中最小化同类间距离,将最小化同类中心向量距离的放大乘数设置为100,最大可能回收病变图像,达到快速收敛效果。
本发明的有益效果在于:本发明基于深度学习卷积神经网络的内镜图像病变识别筛查方法,摒弃以往多模型复杂融合及单一模型精度损失的劣势,基于距离中心聚集策略,构建轻量级病变筛查模型,增强模型的普适性。
附图说明
图1为本发明方法实施例所用深度学习卷积神经网络示意图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施,给出了详细的实施方式和具体的操作过程,但本发明的保护范围不限于下述的实施例。
通常基于深度学习卷积神经网络模型分类图像,可达到较好效果,但由于卷积神经网络关注特征区分,并基于损失函数进行优化,且内镜图像所覆盖形态多,噪音大,分布多样,难以达到最佳效果。通过距离中心,并根据预测结果不断迭代中心向量,将同类样本平滑聚集到同一相似分布,这样基于距离中西聚集策略,可构建轻量级病变筛查模型。训练好后的模型内嵌到主机系统中,数据通过采集器从内镜设备传输到此台主机中,进行调用,增强模型的普适性。
实施例:筛查病变范围包括胃息肉、黏膜下肿瘤、消化溃疡、黏膜层、SM1、SM2及进展期等七种病变范围,不包括炎症。具体步骤如下:
1、对内镜下采集的图像处理:依次经过归一化、标准化处理。
1.1、重采样到同一尺寸512×512×3;
1.3归一化:其中Imgnormalize为为归一化后图像像素;min(Imgstandardization)为标准化后图像像素最小值;max(Imgstandardization)为标准化后图像像素最大值。
2、网络设计及训练过程
2.1、基于MobileNetV3,如图1所示,起始部分:1个卷积层,通过3x3的卷积,提取特征;中间部分:多个卷积层,不同Large和Small版本,层数和参数不同;最后部分:通过两个1x1的卷积层,代替全连接,输出类别。
将内镜视频逐帧图像经过处理后得到的512×512×3图像送入网络进行训练,送入训练的处理后图像包括已经确定类别的病变图和正常图,构成训练样本。网络输出类别与确定类别送入优化器,以Adam为Optimizer(优化器),利用加权交叉熵(weighted crossentropy)损失函数loss最小为目标对网络进行优化。
αk为每个类别权重;nk为第k类数量;k为第k类;K为总类别量;yk为真实类别;pk为预测类别;以最小化上述损失函数loss为目标进行训练优化直至收敛,获取优化后网络。
2.2、利用优化后网络,将原训练样本再次送入网络,进行距离中心聚集训练,最小化同类中心距离,最大化异类中心距离
距离一:使用欧式距离
距离二:cosine距离
其中n为向量长度。
欧式距离和余弦距离进行加和,使得和最小则同类间距离最小。两种距离是从不同空间去看。
2.3、中心向量迭代
训练初始,随机初始化中心向量,并将当前训练样本预测向量分别进行欧式及余弦中心向量计算距离,最小化同类间距离;在距离计算完成,根据当前所有样本预测向量依据类别相应点位加总取均值,作为本轮迭代完成后新的中心向量,进行下一轮迭代。
3、总体训练过程,由于基于随机初始化中心向量,容易导致模型训练不收敛,故训练过程中首先基于MobileNetV3训练模型,待模型一定程度收敛后,对所有样本预测计算同类分别的欧式中心向量及余弦中心向量。本方法在基于距离中心训练过程中,为最大可能回收病变图像,将最小化同类中心向量距离的放大乘数设置为100,达到快速收敛效果。并最终在内镜病变筛查中AUC达到99%。
本发明采用卷积神经网络与基于距离中西聚集方案相结合,更好地处理内镜图像所覆盖形态多,噪音大,分布多样的问题,实现高精度识别。本行业的技术人员应该了解,本发明不受上述实施例的限制,在不脱离本发明精神和范围的前提下,本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明范围内。
Claims (4)
1.一种基于深度学习卷积神经网络的内镜图像病变识别筛查方法,其特征在于,具体包括如下步骤:
1)对内镜下采集的图像处理:统一到同一尺寸后,再对图像依次经过归一化、标准化处理;
2)网络设计及训练:
2.1)基于MobileNetV3,设定网络结构;将经过步骤1)处理后图像送入网络进行训练,送入训练的处理后图像包括已经确定类别的病变图和正常图,构成训练样本;网络输出类别与确定类别送入优化器,以Adam为优化器,利用加权交叉熵损失函数loss最小为目标对网络进行优化;
2.2)利用优化后网络,将原训练样本再次送入网络,进行距离中心聚集训练,分别计算预测向量与中心向量的欧式距离和余弦距离,并对两个距离进行加和,使得和最小则同类间距离最小;
2.3)中心向量迭代:
训练初始,随机初始化中心向量,并将当前训练样本预测向量分别进行欧式及余弦中心向量计算距离,最小化同类间距离;在距离计算完成,根据当前所有样本预测向量依据类别相应点位加总取均值,作为本轮迭代完成后新的中心向量,进行下一轮迭代,直到收敛,完成基于距离中心训练;
3)步骤2)训练好后的模型内嵌到主机系统中,数据通过采集器从内镜设备传输到此台主机中,调用模型直接进行病变识别。
4.根据权利要求1所述基于深度学习卷积神经网络的内镜图像病变识别筛查方法,其特征在于,所述步骤2.3)中最小化同类间距离,将最小化同类中心向量距离的放大乘数设置为100,最大可能回收病变图像,达到快速收敛效果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110153299.4A CN112884728A (zh) | 2021-02-04 | 2021-02-04 | 基于深度学习卷积神经网络的内镜图像病变识别筛查方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110153299.4A CN112884728A (zh) | 2021-02-04 | 2021-02-04 | 基于深度学习卷积神经网络的内镜图像病变识别筛查方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112884728A true CN112884728A (zh) | 2021-06-01 |
Family
ID=76057124
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110153299.4A Pending CN112884728A (zh) | 2021-02-04 | 2021-02-04 | 基于深度学习卷积神经网络的内镜图像病变识别筛查方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112884728A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114596379A (zh) * | 2022-05-07 | 2022-06-07 | 中国科学技术大学 | 基于深度图像先验的图像重建方法、电子设备及存储介质 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107103281A (zh) * | 2017-03-10 | 2017-08-29 | 中山大学 | 基于聚集损失深度度量学习的人脸识别方法 |
CN108108807A (zh) * | 2017-12-29 | 2018-06-01 | 北京达佳互联信息技术有限公司 | 学习型图像处理方法、系统及服务器 |
CN109118485A (zh) * | 2018-08-13 | 2019-01-01 | 复旦大学 | 基于多任务神经网络的消化道内镜图像分类及早癌检测系统 |
CN109815801A (zh) * | 2018-12-18 | 2019-05-28 | 北京英索科技发展有限公司 | 基于深度学习的人脸识别方法及装置 |
CN111128396A (zh) * | 2019-12-20 | 2020-05-08 | 山东大学齐鲁医院 | 一种基于深度学习的消化道疾病辅助诊断系统 |
CN111242199A (zh) * | 2020-01-07 | 2020-06-05 | 中国科学院苏州纳米技术与纳米仿生研究所 | 图像分类模型的训练方法及分类方法 |
CN111368683A (zh) * | 2020-02-27 | 2020-07-03 | 南京邮电大学 | 基于模约束CentreFace的人脸图像特征提取方法及人脸识别方法 |
CN111462082A (zh) * | 2020-03-31 | 2020-07-28 | 重庆金山医疗技术研究院有限公司 | 一种病灶图片识别装置、方法、设备及可读存储介质 |
CN111814584A (zh) * | 2020-06-18 | 2020-10-23 | 北京交通大学 | 基于多中心度量损失的多视角环境下车辆重识别方法 |
-
2021
- 2021-02-04 CN CN202110153299.4A patent/CN112884728A/zh active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107103281A (zh) * | 2017-03-10 | 2017-08-29 | 中山大学 | 基于聚集损失深度度量学习的人脸识别方法 |
CN108108807A (zh) * | 2017-12-29 | 2018-06-01 | 北京达佳互联信息技术有限公司 | 学习型图像处理方法、系统及服务器 |
CN109118485A (zh) * | 2018-08-13 | 2019-01-01 | 复旦大学 | 基于多任务神经网络的消化道内镜图像分类及早癌检测系统 |
CN109815801A (zh) * | 2018-12-18 | 2019-05-28 | 北京英索科技发展有限公司 | 基于深度学习的人脸识别方法及装置 |
CN111128396A (zh) * | 2019-12-20 | 2020-05-08 | 山东大学齐鲁医院 | 一种基于深度学习的消化道疾病辅助诊断系统 |
CN111242199A (zh) * | 2020-01-07 | 2020-06-05 | 中国科学院苏州纳米技术与纳米仿生研究所 | 图像分类模型的训练方法及分类方法 |
CN111368683A (zh) * | 2020-02-27 | 2020-07-03 | 南京邮电大学 | 基于模约束CentreFace的人脸图像特征提取方法及人脸识别方法 |
CN111462082A (zh) * | 2020-03-31 | 2020-07-28 | 重庆金山医疗技术研究院有限公司 | 一种病灶图片识别装置、方法、设备及可读存储介质 |
CN111814584A (zh) * | 2020-06-18 | 2020-10-23 | 北京交通大学 | 基于多中心度量损失的多视角环境下车辆重识别方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114596379A (zh) * | 2022-05-07 | 2022-06-07 | 中国科学技术大学 | 基于深度图像先验的图像重建方法、电子设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Zhu et al. | Lesion detection of endoscopy images based on convolutional neural network features | |
CN112435246A (zh) | 窄带成像放大胃镜下胃癌的人工智能诊断方法 | |
CN111329445B (zh) | 基于组卷积残差网络和长短期记忆网络的房颤识别方法 | |
WO2022037642A1 (zh) | 一种临床图像中病变区域的检测和分类方法 | |
CN113192633B (zh) | 基于注意力机制的胃癌细粒度分类方法 | |
CN111340094A (zh) | 基于深度学习的胶囊内窥镜图像辅助分类系统和分类方法 | |
CN112862808A (zh) | 一种基于深度学习的乳腺癌超声图像的可解释性识别方法 | |
CN111653365A (zh) | 一种鼻咽癌辅助诊断模型构建和辅助诊断方法及系统 | |
CN113538435B (zh) | 一种基于深度学习的胰腺癌病理图像分类方法及系统 | |
CN114782760B (zh) | 一种基于多任务学习的胃部疾病图片分类系统 | |
CN113034500A (zh) | 基于多通道结构的消化道内窥镜图片病灶识别系统 | |
CN111341441A (zh) | 一种肠胃科病模型构建方法及诊断系统 | |
CN112750115A (zh) | 一种基于图神经网络的多模态宫颈癌前病变图像识别方法 | |
CN112651375A (zh) | 基于深度学习模型的幽门螺杆菌胃部图像识别分类系统 | |
CN111428066A (zh) | 一种基于卷积神经网络的病变图像的分类和分割方法 | |
CN112884728A (zh) | 基于深度学习卷积神经网络的内镜图像病变识别筛查方法 | |
CN115471701A (zh) | 基于深度学习和迁移学习的肺腺癌组织学亚型分类方法 | |
Chitnis et al. | Domain-specific pre-training improves confidence in whole slide image classification | |
CN111476312B (zh) | 一种基于卷积神经网络的病变图像的分类方法 | |
CN112017208A (zh) | 一种基于深度学习的多细胞球识别与分类方法 | |
Zhang et al. | Boundary-aware semi-supervised deep learning for breast ultrasound computer-aided diagnosis | |
CN116434920A (zh) | 一种胃肠上皮化生进展风险预测方法与装置 | |
Zhang et al. | T-net: Hierarchical pyramid network for microaneurysm detection in retinal fundus image | |
Hemalatha et al. | Automatic tomato leaf diseases classification and recognition using transfer learning model with image processing techniques | |
CN116468682A (zh) | 基于深度学习的磁控胶囊内镜图像胃部解剖结构辨识方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |