CN114511728A - 一种电子内镜食管病灶智能检测模型建立方法 - Google Patents
一种电子内镜食管病灶智能检测模型建立方法 Download PDFInfo
- Publication number
- CN114511728A CN114511728A CN202111598484.0A CN202111598484A CN114511728A CN 114511728 A CN114511728 A CN 114511728A CN 202111598484 A CN202111598484 A CN 202111598484A CN 114511728 A CN114511728 A CN 114511728A
- Authority
- CN
- China
- Prior art keywords
- network
- esophageal
- lesion
- data set
- classification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 48
- 238000000034 method Methods 0.000 title claims abstract description 30
- 230000003902 lesion Effects 0.000 claims abstract description 87
- 238000012549 training Methods 0.000 claims abstract description 51
- 238000002372 labelling Methods 0.000 claims abstract description 22
- 210000003238 esophagus Anatomy 0.000 claims description 15
- 238000004220 aggregation Methods 0.000 claims description 12
- 238000010586 diagram Methods 0.000 claims description 12
- 230000002776 aggregation Effects 0.000 claims description 11
- 230000004913 activation Effects 0.000 claims description 10
- 238000013507 mapping Methods 0.000 claims description 9
- 238000011176 pooling Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 6
- 238000001839 endoscopy Methods 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 4
- 230000004931 aggregating effect Effects 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000005070 sampling Methods 0.000 claims description 2
- 239000000126 substance Substances 0.000 claims description 2
- 238000006116 polymerization reaction Methods 0.000 claims 1
- 230000007547 defect Effects 0.000 abstract description 5
- 238000013135 deep learning Methods 0.000 description 8
- 230000009466 transformation Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 208000000461 Esophageal Neoplasms Diseases 0.000 description 5
- 206010030155 Oesophageal carcinoma Diseases 0.000 description 5
- 238000003745 diagnosis Methods 0.000 description 5
- 201000004101 esophageal cancer Diseases 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 208000023514 Barrett esophagus Diseases 0.000 description 2
- 208000023665 Barrett oesophagus Diseases 0.000 description 2
- 206010058314 Dysplasia Diseases 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013145 classification model Methods 0.000 description 2
- 238000004195 computer-aided diagnosis Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 206010013563 Diverticulum oesophageal Diseases 0.000 description 1
- 206010030194 Oesophageal stenosis Diseases 0.000 description 1
- 206010030216 Oesophagitis Diseases 0.000 description 1
- 241000227425 Pieris rapae crucivora Species 0.000 description 1
- 201000000621 achalasia Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001684 chronic effect Effects 0.000 description 1
- 238000002052 colonoscopy Methods 0.000 description 1
- 230000001079 digestive effect Effects 0.000 description 1
- 208000006881 esophagitis Diseases 0.000 description 1
- 208000021302 gastroesophageal reflux disease Diseases 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 208000002741 leukoplakia Diseases 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 231100000915 pathological change Toxicity 0.000 description 1
- 230000036285 pathological change Effects 0.000 description 1
- 208000000689 peptic esophagitis Diseases 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Medical Informatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Public Health (AREA)
- Computational Linguistics (AREA)
- Primary Health Care (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Epidemiology (AREA)
- Molecular Biology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Databases & Information Systems (AREA)
- Pathology (AREA)
- Image Analysis (AREA)
- Endoscopes (AREA)
Abstract
本发明公开了一种电子内镜食管病灶智能检测模型建立方法，本发明通过在图像级标注数据集上训练病灶分类教师网络，利用教师网络推断生成无标签数据集的伪标签，最后使用置信度高的伪标签数据集训练图像分类学生网络，然后使用已训练的学生网络替代教师网络，不断迭代，进一步提高伪标签的准确性，最终可以优化病灶分类网络的泛化能力；然后将病灶分类网络学习的特征与目标检测网络融合，最终得到高精度的食管病灶检测网络。本发明利用自训练方法，无需大量标注对象级数据集，弥补了图像级标注数据集与无标注数据缺少监督信息的缺点，充分提升目标检测网络对食管病灶的检测能力。
Description
技术领域
本发明涉及生物医学图像处理与深度学习领域，尤其涉及一种电子内镜食管病灶智能检测模型建立方法。
背景技术
食管癌是世界最常见的恶性肿瘤之一,中国为食管癌发病率及病死率最高的国家.近年来,随着内镜技术的发展,早期食管癌的诊断率大大提高,内窥镜已作为早期食管癌诊断的首选检查。精确的筛查食管癌前疾病和癌前病变，尤为重要。食管癌前疾病指与食管癌相关并有一定癌变率的良性疾病，包括慢性食管炎、Barrett食管、食管白斑症、食管憩室、贲门失弛缓症、反流性食管炎、各种原因导致的食管良性狭窄等。癌前病变指已证实与食管癌发生密切相关的病理变化，包括食管鳞状上皮异型增生Barrett食管相关异型增生等。传统的白光内镜检查得到的食管图像，这种光学诊断需要大量的专业知识和经验，使得医生在进行判断分析时需要花费过多的时间，并且往往带有主观性，易造成误判，这阻碍了它在内镜检查中的普遍使用。
近年来，以深度神经网络为核心的人工智能技术在多个应用领域成绩斐然。深度学习取得的突破性进展为辅助医生进行内窥镜影像分析提供了良好的机会，与时间消耗性强、复现性差、主观性强的人工处理过程相比，基于深度学习的计算机辅助诊断，可以快速、准确、可重现的获得客观的定量数据，从而提高对内窥镜图像的分析效率。在保证准确率的前提下，显著提高观测的复现性、时效性和客观性，可以将基础科学研究者和临床医生从无聊和重复的日常工作中解救出来。近期一些研究成果表明，计算机通过深度神经网络算法，基于大规模数据集训练的人工智能模型可以在许多应用中取得接近甚至超过人类的表现。深度学习网络目前也应用到了消化内镜中，通过对病灶的检测识别来辅助医生检查。现有技术均采用卷积神经网络(CNN)架构对结肠镜检查中的息肉进行检测，但是目前大多数的卷积神经网络(CNN)方法都是建立大量的样本库，从而实现对图像上的病灶进行检测。深度学习样本数据集有一个重要的前提，需要有大规模的数据集来支持深度学习的模型训练，才能防止过拟合，提高准确性和鲁棒性。内窥镜图像数据是具有高度复杂性以及高度异质性的一种医学图像数据，只有经验丰富的医生才能给出准确的标注，标注成本很高，以致难以获取足够有代表性的训练样本，这就给计算机辅助诊断提高普通白光内镜的诊断率提出了一个巨大的难题。因此，以少量优质的影像数据集为基础，使用大量未经过医生标注的原始数据，建立食管病灶智能检测模型就显得格外重要。
发明内容
本发明的目的在于针对现有技术的不足，提供了一种电子内镜食管病灶智能检测模型建立方法，该方法包含图像分类自训练算法，梯度加权类激活映射方法，模型间特征融合方法以及目标检测方法。图像分类自训练算法，通过在图像级标注数据集上训练病灶分类教师网络，利用教师网络推断生成无标签数据集的伪标签，最后使用置信度高的伪标签数据集训练图像分类学生网络，然后使用已训练的学生网络替代教师网络，不断迭代，进一步提高伪标签的准确性，最终可以优化病灶分类网络的泛化能力；基于梯度加权类激活映射方法，将病灶分类网络学习的特征与目标检测网络融合，最终得到高精度的食管病灶检测网络。本方法通过利用自训练方法，无需大量标注对象级数据集，弥补了图像级标注数据集与无标注数据缺少监督信息的缺点，充分提升目标检测网络对食管病灶的检测能力。
本发明的目的是通过以下技术方案来实现的：一种电子内镜食管病灶智能检测模型建立方法，包括如下步骤：
步骤S1：病灶分类网络自训练，得到高泛化能力的病灶分类网络。训练教师网络，收集n张食管内镜图像，对食管内镜图像中的病灶进行类别标注，得到食管病灶类别标注数据集Xc；在数据集Xc上训练食管病灶分类教师网络fc；生成伪标签，无标签数据集
通过教师网络fc推断生成伪标签，得到食管类别伪标签标注数据集
训练学生网络，在食管病灶类别标注数据集Xc、伪标签数据集
上训练学生网络fc noised；迭代训练，使用得到的学生网络fc noised作为新的教师网络替代教师网络fc，设置迭代次数N，重复上述步骤N次，得到强泛化能力的病灶分类网络fc。
步骤S2：求取病灶分类网络fclassification中食管病灶的加权特征热图Agradcam。选取目标检测网络fd，通过空间金字塔池化与梯度加权类激活映射实现fclassification中食管病灶加权特征热图Agradcam的特征聚合，得到病灶检测网络ffusion。
步骤S3：训练融合网络ffusion，得到高精度强泛化能力的食管病灶检测网络ffusion。从食管病灶类别数据集Xc，选取m张图像进行病灶位置信息标注，构建食管病灶对象级标注数据集Xd；在对象级标注数据集Xd上训练病灶检测网络ffusion。
本发明具有以下有益效果：本公开的电子内镜食管病灶智能检测模型建立方法，无需大量标注食管病灶分类数据集，即可得到强泛化能力的食管病灶分类模型；病灶检测使用改进的CenterNet模型，通过梯度加权类激活映射算法得到食管病灶分类模型的梯度加权类激活热图，无缝集成到食管病灶检测模型中，弥补了图像级标注数据集与无标注数据缺少监督信息的缺点，凭借小样本的病灶位置信息数据，便可以训练CenterNet网络，且无须提前预设锚框，将病灶目标描述成一个中心点，目标的其他特性，如尺寸等则通过在特征聚合的特征图中直接得到，方法原理简单，兼容性强，且无需复杂的后处理，实现真正的端到端检测。同时充分提升网络对内镜食管病灶的学习能力。
附图说明
图1是本发明提供的电子内镜食管病灶智能检测模型建立方法的流程图；
图2是本发明中病灶分类网络自训练方法的流程图；
图3是本发明中采用的图像数据增强效果示意图，其中，(a)为原始图片，(b)为图像色彩变换后的图片，(c)为图像仿射变换后的图片，(d)为区域填充后的图片；
图4是本发明中采用的金字塔池化(SPP)网络结构图；
图5是本发明中采用的病灶分类网络fclassification中食管病灶的加权特征热图Agradcam的可视化效果示意图；
图6是本发明中采用的通过特征聚合的CenterNet网络结构图；
图7是本发明中采用的通过特征聚合的CenterNet网络食管病灶检测效果示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本申请实施例提出了一种基于半监督自训练的超声内镜目标检测方法，通过在对象级标注数据集上训练教师网络，利用教师网络在图像级标注与无标签数据集上生成伪标签，最后使用置信度高的伪标签数据集训练学生网络，然后使用已训练的学生网络替代教师网络，不断迭代，进一步提高伪标签的准确性，最终可以优化网络的泛化能力。本方法通过利用自训练方法，无需大量标注对象级数据集，弥补了图像级标注数据集与无标注数据缺少监督信息的缺点，充分提升网络对超声内镜目标的学习能力，该方法具体包括以下步骤：
如图1所示，本发明电子内镜食管病灶智能检测模型建立方法包括如下步骤：
S1病灶分类网络自训练，得到高泛化能力的病灶分类网络。训练教师网络。收集n张食管内镜图像，对食管内镜图像中的病灶进行类别标注，得到食管病灶类别标注数据集Xc；在数据集Xc上训练食管病灶分类教师网络fc；生成伪标签，无标签数据集
通过教师网络fc推断生成伪标签，得到食管类别伪标签标注数据集
训练学生网络，在食管病灶类别标注数据集Xc、伪标签数据集
上训练学生网络fc noised；迭代训练，使用得到的学生网络fc noised作为新的教师网络替代教师网络fc，设置迭代次数N，重复上述步骤N次，得到强泛化能力的病灶分类网络fc。
如图2所示，该步骤包括以下子步骤：
S1-1获取n张食管内镜图像，对食管内镜图像中的病灶进行类别标注，得到食管病灶类别标注数据集Xc。
具体地本实施例中在依据先验知识将采集到的内镜图像进行食管病灶分类标注的过程中可以融合不同医生或者不同专家的先验知识来进行标注，以保证食管病灶分类的准确性。本实施例还需要对内窥镜图像进行预处理，具体包括将内窥镜图像去中心化，使其均值为零，以及图像正则化。本实施例中选取Resnet作为教师网络fc，在数据集Xc上训练食管病灶分类教师网络。
其中，fc为教师网络，θt为教师网络参数,xi为食管病灶类别标注数据集第i张图像,yi为第i张图像的食管病灶类别标签，n为食管病灶类别标注数据集中图像数量。lc为教师网络的损失函数，本实施例中使用交叉熵损失函数。当损失函数符合预设的要求时，得到训练完成的教师网络模型fc。
S1-2获取无标签食管内窥视频，采样得到无标签数据集
在无标签数据集
数据集上生成伪标签：
其中，
为图像级标注数据集的第i个图像，
为第i个图像的伪标签,组建伪标签数据集
S1-3在标签数据集Xc、伪标签数据集
上训练学生网络fc noised。本实施列中，同样使用ResNet作为学生网络。
其中，fnoised为添加了噪声的学生网络，θs为学生网络参数，k为食管病灶类别伪标签数据集中图像数量。噪声包括图像增强，网络随机深度(Stochastic depth)与Dropout。在深度学习领域，图像数据增强为了丰富图像训练集，更好的提取图像特征，泛化模型，防止模型过拟合，本公开采用的图像数据增强包括图像色彩变换(color transformation)、图像几何变换(global geometric transformation)、图像仿射变换(affinetransformation)和区域填充(Cutout)。图像增强效果如图3所示。网络随机深度在训练时使用较浅的深度，在测试时使用较深的深度，较少训练时间，提高训练性能。本实施例中，学生网络是Resnet模型中特征提取模块中引入网络随机深度，设置超参数概率，在训练过程中随机舍弃卷积层。随机深度的结构示意图如图5所示。Dropout是深度学习中的一种正则化技术，用以在人工神经网络中对抗过拟合。通过神经网络中丢弃部分神经元(包括隐藏神经元和可见神经元)，在训练阶段，dropout使得每次只有部分网络结构得到更新，因而是一种高效的神经网络模型平均化的方法。
S1-4迭代训练。使用S3得到的学生网络fc noised作为新的教师网络替代S1-1中的教师网络fc，设置迭代次数N，重复上述步骤N次，得到食管病灶分类网络fclassification
S2选取病灶检测网络fd，通过SPP机制与梯度加权类激活映射融合病灶分类网络fc中的特征，得到融合网络ffusion。
该步骤包括以下子步骤：
S2-1通过梯度加权类激活映射，求取病灶分类网络fclassification中食管病灶的加权特征热图Agradcam。首先，计算取病灶分类网络fclassification模型病灶特征权重系数，
其中，score对应fclassification网络输出的病灶类别的得分，Ak为最后特征提取层最后一层输出的第k个特征图，i，j分别为每个特征图上各个特征点的索引,
是第k个特征图中(i,j)位置处特征点的数值。Z为特征图的特征点个数。然后，求取病灶分类网络fclassification中食管病灶的加权特征热图Agradcam：
其中ReLU函数计算公式为：
加权特征可视化效果示意图如图5所示。
S2-2改进CenterNet网络结构，通过特征聚合，融合病灶分类网络加权特征热图Agradcam与病灶检测网络特征图A，得到融合后CenterNet网络ffusion。该方法通过特征聚合改进CenterNet网络模型结构，改进后网络结构包括：用于特征提取的骨干网络、用于特征聚合的特征聚合网络以及分支预测输出头网络；其中，本实施列中，特征提取骨干网络仍选取ResNet网络；特征聚合网络，将病灶分类网络fclassification中食管病灶的加权特征热图Agradcam与原始CenterNet网络特征图A输入进入空间金字塔池化网络，金字塔池化网络如图4所示。分别对加权特征热图Agradcam与特征图A进行池化，产生固定长度特征图，将两个特征图拼接在一起。本实施列中，所述分支预测输出头网络具体包括三个分支，分别为：热度图预测分支、宽高预测分支，以及目标中心点偏移量预测分支。其中，热度图预测分支输出一个热力图，热力图峰值点即目标中心点，目标中心点偏移量预测分支的输出目标的位置偏移，高宽预测分支的输出为宽高信息；由此得到内窥镜食管图片上病灶的中心点位置和宽高。
S3训练融合网络ffusion，得到高精度强泛化能力的食管病灶检测网络ffusion。从食管病灶类别数据集Xc，选取m张图像进行病灶位置信息标注，构建食管病灶对象级标注数据集；在对象级标注数据集上训练病灶检测网络。
该步骤包括以下子步骤：
S3-1从食管病灶类别数据集Xc中选取张图像进行食管病灶位置信息标注，构建食管病灶对象级标注数据集Xd；
S3-2在对象级标注数据集上训练病灶检测网络改后的CenterNet网络模型，如图6所示，重新训练修改训练融合网络，得到高精度强泛化能力的食管病灶检测网络。
其中，ffusion为聚合了病灶分类网络加权特征热图Agradcam后的病灶检测网络，θd为网络参数,xi为对象级数据集第i张图像,yi为第i张图像的对象级标注标签，包括c,x,y,w,h。其中c为对象目标的类别，x,y为位置框的中心点坐标，w为框的宽度，h为框的高度。m为对象级标注数据集中图像数量。ld为Centernet训练的损失函数，分为三个部分，包含分别是热力图损失Lhm，中心点偏置损失Loff和中心点的宽高损失Lsize。其中热度图预测使用FocalLoss，宽高、中心点偏移L1Loss，对损失进行融合，设置不同的权重进行加权，CenterNet训练的损失函数：
Ldet＝λhmLhm+λsizeLsize+λoffLoff
其中，λhm，λsize，λoff分别为Lhm，Lsize，Loff各自的加权因子，本实施列中各项加权因子分别设为λhm＝1，λsize＝0.5，λoff＝0.8。当损失函数符合预设的要求时，得到训练完成的CenterNet食管病灶检测模型ffusion，其检测效果示意图如图7所示。
以上实施例仅用以说明本发明的技术方案而非对其进行限制，本领域的普通技术人员可以对本发明的技术方案进行修改或者等同替换，本发明的保护范围以权利要求所为准。
Claims (4)
1.一种电子内镜食管病灶智能检测模型建立方法，其特征在于，包括如下步骤：
步骤S1：病灶分类网络自训练，得到高泛化能力的病灶分类网络。训练教师网络，收集n张食管内镜图像，对食管内镜图像中的病灶进行类别标注，得到食管病灶类别标注数据集Xc；在数据集Xc上训练食管病灶分类教师网络fc；生成伪标签，无标签数据集
通过教师网络fc推断生成伪标签，得到食管类别伪标签标注数据集
训练学生网络，在食管病灶类别标注数据集Xc、伪标签数据集
上训练学生网络fc noised；迭代训练，使用得到的学生网络fc noised作为新的教师网络替代教师网络fc，设置迭代次数N，重复上述步骤N次，得到强泛化能力的病灶分类网络fc。
步骤S2：求取病灶分类网络fclassification中食管病灶的加权特征热图Agradcam。选取目标检测网络fd，通过空间金字塔池化与梯度加权类激活映射实现fclassification中食管病灶加权特征热图Agradcam的特征聚合，得到病灶检测网络ffusion。
步骤S3：训练融合网络ffusion，得到高精度强泛化能力的食管病灶检测网络ffusion。从食管病灶类别数据集Xc，选取m张图像进行病灶位置信息标注，构建食管病灶对象级标注数据集Xd；在对象级标注数据集Xd上训练病灶检测网络ffusion。
2.根据权利要求1所述一种基于自训练与梯度加权类激活映射的内窥镜轻量化小样本食管病灶检测方法，其特征在于，步骤S1包括以下子步骤：
S1-1：获取n张食管内镜图像，对食管内镜图像中的病灶进行类别标注，得到食管病灶类别标注数据集Xc；在数据集Xc上训练食管病灶分类教师网络fc。
其中，fc为教师网络，θt为教师网络参数,xi为食管病灶类别数据集第i张图像,yi为第i张图像的食管病灶类别标签，n为食管病灶类别标注数据集中图像数量。lc为教师网络的损失函数。当损失函数符合预设的要求时，得到训练完成的教师网络模型fc。
S1-2：获取无标签食管内窥视频，采样得到无标签食管数据集
在无标签数据集
数据集上生成伪标签：
其中，
为无标签数据集
的第i个图像，
为第i个图像的伪标签,设定阈值Tthreshold，选取置信度大于阈值Tthreshold的伪标签，将筛选后伪标签与相对应的食管内窥图像组建食管病灶伪标签数据集
S1-3：在标签数据集Xc、伪标签数据集
上训练学生网络，学生网络与教师网络结构相同，参数各异：
其中，fc noised为添加了噪声的学生网络，θs为学生网络参数，k为食管病灶类别伪标签数据集中图像数量。
S1-4：迭代训练。使用S1-3得到的学生网络fc noised作为新的教师网络替代S1-1中的教师网络fc，设置迭代次数N，重复上述步骤N次，得到食管病灶分类网络fclassification。
3.根据权利要求1所述一种基于自训练与梯度加权类激活映射的内窥镜轻量化小样本食管病灶检测方法，其特征在于，步骤S2包括以下子步骤：
S2-1：求取病灶分类网络fclassification中食管病灶的加权特征热图Agradcam。通过梯度加权类激活映射，得到病灶分类网络fclassification中食管病灶的加权特征热图Agradcam。在得到的病灶分类网络fclassification模型后，求取病灶特征权重系数：
其中，score对应fclassification网络输出的病灶类别的得分，Ak为最后特征提取层最后一层输出的第k个特征图，i，j分别为每个特征图上各个特征点的索引,
是第k个特征图中(i,j)位置处特征点的数值。Z为特征图的特征点个数。根据病灶特征权重系数求取食管病灶的特征热图Agradcam：
其中，ReLU函数计算公式为：
S2-2：特征聚合。通过空间金字塔池化融合病灶分类网络加权特征热图Agradcam与病灶检测网络特征图A，得到特征聚合后的食管病灶检测网络ffusion。选取CenterNet网络作为原始的目标检测网络fd，改进后的CenterNet网络结构包括：用于特征提取的骨干网络、用于特征聚合的特征聚合网络以及分支预测输出头网络；其中，特征聚合网络，重新定义了热度图的生成依据。将病灶分类网络fclassification中食管病灶的加权特征热图Agradcam与原始CenterNet网络特征图A输入进入空间金字塔池化网络，分别对加权特征热图Agradcam与特征图A进行池化，产生固定长度特征图，将两个特征图拼接在一起。分支预测输出头网络具体包括三个分支，分别为：热度图预测分支、宽高预测分支，以及目标中心点偏移量预测分支。其中，热度图预测分支输出一个热力图，热力图峰值点即目标中心点，目标中心点偏移量预测分支的输出目标的位置偏移，高宽预测分支的输出为宽高信息；由此得到内窥镜食管图片上病灶的中心点位置和宽高。
4.根据权利要求1所述一种电子内镜食管病灶智能检测模型建立方法，其特征在于，步骤S3包括以下子步骤：
S3-1：从食管病灶类别数据集Xc中选取m张图像进行食管病灶位置信息标注，构建食管病灶对象级标注数据集Xd；
S3-2：在对象级标注数据集上训练病灶检测网络改后的CenterNet网络模型，重新训练修改训练融合网络，得到高精度强泛化能力的食管病灶检测网络。
其中，ffusion为聚合了病灶分类网络加权特征热图Agradcam后的CenterNet病灶检测网络，θd为网络参数,xi为对象级数据集第i张图像,yi为第i张图像的对象级标注标签，包括c,x,y,w,h。其中c为对象目标的类别，x,y为位置框的中心点坐标，w为框的宽度，h为框的高度。m为对象级标注数据集中图像数量。ld为改进后网络的损失函数。当损失函数符合预设的要求时，得到训练完成的网络模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111598484.0A CN114511728B (zh) | 2021-12-24 | 2021-12-24 | 一种电子内镜食管病灶智能检测模型建立方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111598484.0A CN114511728B (zh) | 2021-12-24 | 2021-12-24 | 一种电子内镜食管病灶智能检测模型建立方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114511728A true CN114511728A (zh) | 2022-05-17 |
| CN114511728B CN114511728B (zh) | 2024-05-14 |
Family
ID=81547790
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111598484.0A Active CN114511728B (zh) | 2021-12-24 | 2021-12-24 | 一种电子内镜食管病灶智能检测模型建立方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114511728B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114723746A (zh) * | 2022-05-24 | 2022-07-08 | 神州医疗科技股份有限公司 | 基于知识蒸馏的病灶区域深度组学特征提取方法及装置 |
| CN114881992A (zh) * | 2022-05-24 | 2022-08-09 | 北京安德医智科技有限公司 | 颅骨骨折的检测方法、装置及存储介质 |
| CN114882344A (zh) * | 2022-05-23 | 2022-08-09 | 海南大学 | 基于半监督和注意力机制的少样本水下鱼体跟踪方法 |
| CN114926471A (zh) * | 2022-05-24 | 2022-08-19 | 北京医准智能科技有限公司 | 一种图像分割方法、装置、电子设备及存储介质 |
| CN115274099A (zh) * | 2022-09-26 | 2022-11-01 | 之江实验室 | 一种人与智能交互的计算机辅助诊断系统与方法 |
| CN115578385A (zh) * | 2022-12-01 | 2023-01-06 | 武汉楚精灵医疗科技有限公司 | 肠镜下病灶信息获取方法、装置、电子设备及存储介质 |
| CN117218129A (zh) * | 2023-11-09 | 2023-12-12 | 四川大学 | 食道癌图像识别分类方法、系统、设备及介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110674866A (zh) * | 2019-09-23 | 2020-01-10 | 兰州理工大学 | 迁移学习特征金字塔网络对X-ray乳腺病灶图像检测方法 |
| WO2021184817A1 (zh) * | 2020-03-16 | 2021-09-23 | 苏州科技大学 | 一种医学图像中肝脏及其病灶分割的方法 |
-
2021
- 2021-12-24 CN CN202111598484.0A patent/CN114511728B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110674866A (zh) * | 2019-09-23 | 2020-01-10 | 兰州理工大学 | 迁移学习特征金字塔网络对X-ray乳腺病灶图像检测方法 |
| WO2021184817A1 (zh) * | 2020-03-16 | 2021-09-23 | 苏州科技大学 | 一种医学图像中肝脏及其病灶分割的方法 |
Non-Patent Citations (2)
| Title |
|---|
| 王国清, 刘韵源, 郝长青, 赖少清, 王贵齐, 吕宁, 杨玲: "食管黏膜碘染色图像和浅表食管癌及癌前病变组织学的关系", 中华肿瘤杂志, no. 06, 30 June 2004 (2004-06-30) * |
| 贡荣麟;施俊;王骏;: "面向乳腺超声图像分割的混合监督双通道反馈U-Net", 中国图象图形学报, no. 10, 16 October 2020 (2020-10-16) * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114882344A (zh) * | 2022-05-23 | 2022-08-09 | 海南大学 | 基于半监督和注意力机制的少样本水下鱼体跟踪方法 |
| CN114723746A (zh) * | 2022-05-24 | 2022-07-08 | 神州医疗科技股份有限公司 | 基于知识蒸馏的病灶区域深度组学特征提取方法及装置 |
| CN114881992A (zh) * | 2022-05-24 | 2022-08-09 | 北京安德医智科技有限公司 | 颅骨骨折的检测方法、装置及存储介质 |
| CN114926471A (zh) * | 2022-05-24 | 2022-08-19 | 北京医准智能科技有限公司 | 一种图像分割方法、装置、电子设备及存储介质 |
| CN115274099A (zh) * | 2022-09-26 | 2022-11-01 | 之江实验室 | 一种人与智能交互的计算机辅助诊断系统与方法 |
| CN115274099B (zh) * | 2022-09-26 | 2022-12-30 | 之江实验室 | 一种人与智能交互的计算机辅助诊断系统与方法 |
| CN115578385A (zh) * | 2022-12-01 | 2023-01-06 | 武汉楚精灵医疗科技有限公司 | 肠镜下病灶信息获取方法、装置、电子设备及存储介质 |
| CN115578385B (zh) * | 2022-12-01 | 2023-03-14 | 武汉楚精灵医疗科技有限公司 | 肠镜下病灶信息获取方法、装置、电子设备及存储介质 |
| CN117218129A (zh) * | 2023-11-09 | 2023-12-12 | 四川大学 | 食道癌图像识别分类方法、系统、设备及介质 |
| CN117218129B (zh) * | 2023-11-09 | 2024-01-26 | 四川大学 | 食道癌图像识别分类方法、系统、设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114511728B (zh) | 2024-05-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114511728B (zh) | 一种电子内镜食管病灶智能检测模型建立方法 | |
| CN105354548B (zh) | 一种基于ImageNet检索的监控视频行人重识别方法 | |
| CN111915573A (zh) | 一种基于时序特征学习的消化内镜下病灶跟踪方法 | |
| Huang et al. | Development and validation of a deep learning algorithm for the recognition of plant disease | |
| CN112396621B (zh) | 基于深度学习的高分辨率显微内窥镜图像细胞核分割方法 | |
| CN111814661A (zh) | 基于残差-循环神经网络的人体行为识别方法 | |
| CN114331971A (zh) | 一种基于半监督自训练的超声内镜目标检测方法 | |
| CN109920538B (zh) | 一种基于数据增强的零样本学习方法 | |
| CN109063643B (zh) | 一种用于脸部信息部分隐藏条件下的面部表情痛苦度识别方法 | |
| Chen et al. | Esophageal cancer detection based on classification of gastrointestinal CT images using improved Faster RCNN | |
| CN116012721B (zh) | 一种基于深度学习的水稻叶片病斑检测方法 | |
| CN114511502A (zh) | 一种基于人工智能的胃肠道内窥镜图像息肉检测系统、终端及存储介质 | |
| Song et al. | Classifying tongue images using deep transfer learning | |
| Barbed et al. | Superpoint features in endoscopy | |
| CN115169386A (zh) | 一种基于元注意力机制的弱监督增类活动识别方法 | |
| Zhang et al. | TUnet-LBF: Retinal fundus image fine segmentation model based on transformer Unet network and LBF | |
| CN114155249A (zh) | 一种基于深度矢量场回归的三维细胞图像实例分割方法 | |
| Wang et al. | Pedestrian recognition in multi-camera networks based on deep transfer learning and feature visualization | |
| CN113688789B (zh) | 一种基于深度学习的在线学习投入度识别方法及系统 | |
| CN114202565A (zh) | 一种基于学习过程情绪实时分析的智能化学习干预系统 | |
| Gupta et al. | A review on deep learning-based polyp segmentation for efficient colorectal cancer screening | |
| CN114330484A (zh) | 弱监督学习糖尿病视网膜病变分级与病灶识别方法及系统 | |
| CN114947751A (zh) | 基于深度学习的移动端智能舌诊方法 | |
| Zhou et al. | Uncertainty-driven action quality assessment | |
| Afridi et al. | L-CNN: Exploiting labeling latency in a CNN learning framework |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |