CN111862095B - 根据内镜白光图像预测生成nbi图像的卷积神经网络模型及其构建方法和应用 - Google Patents
根据内镜白光图像预测生成nbi图像的卷积神经网络模型及其构建方法和应用 Download PDFInfo
- Publication number
- CN111862095B CN111862095B CN202010864512.8A CN202010864512A CN111862095B CN 111862095 B CN111862095 B CN 111862095B CN 202010864512 A CN202010864512 A CN 202010864512A CN 111862095 B CN111862095 B CN 111862095B
- Authority
- CN
- China
- Prior art keywords
- neural network
- nbi
- white light
- model
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 54
- 238000010276 construction Methods 0.000 title claims abstract description 23
- 230000004927 fusion Effects 0.000 claims abstract description 15
- 238000013528 artificial neural network Methods 0.000 claims abstract description 13
- 230000003902 lesion Effects 0.000 claims abstract description 8
- 238000010191 image analysis Methods 0.000 claims abstract description 6
- 238000013526 transfer learning Methods 0.000 claims abstract description 3
- 238000012549 training Methods 0.000 claims description 26
- 238000000034 method Methods 0.000 claims description 15
- 230000003211 malignant effect Effects 0.000 claims description 12
- 238000011176 pooling Methods 0.000 claims description 11
- 230000000694 effects Effects 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 8
- 238000012360 testing method Methods 0.000 claims description 7
- 238000005516 engineering process Methods 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 claims description 4
- 238000011478 gradient descent method Methods 0.000 claims description 4
- 238000013508 migration Methods 0.000 claims description 4
- 230000005012 migration Effects 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 230000007170 pathology Effects 0.000 claims description 4
- 238000003703 image analysis method Methods 0.000 claims description 3
- 230000002779 inactivation Effects 0.000 claims description 3
- 230000035945 sensitivity Effects 0.000 claims description 3
- 230000000644 propagated effect Effects 0.000 claims 1
- 230000001079 digestive effect Effects 0.000 abstract 1
- 210000001035 gastrointestinal tract Anatomy 0.000 description 8
- 238000012545 processing Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 230000001575 pathological effect Effects 0.000 description 5
- 206010028980 Neoplasm Diseases 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 238000013399 early diagnosis Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000036285 pathological change Effects 0.000 description 3
- 231100000915 pathological change Toxicity 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000001839 endoscopy Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 210000004088 microvessel Anatomy 0.000 description 2
- 210000004400 mucous membrane Anatomy 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000012327 Endoscopic diagnosis Methods 0.000 description 1
- 102000001554 Hemoglobins Human genes 0.000 description 1
- 108010054147 Hemoglobins Proteins 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000029087 digestion Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000008595 infiltration Effects 0.000 description 1
- 238000001764 infiltration Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 201000011591 microinvasive gastric cancer Diseases 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00025—Operational features of endoscopes characterised by power management
- A61B1/00027—Operational features of endoscopes characterised by power management characterised by power supply
- A61B1/00032—Operational features of endoscopes characterised by power management characterised by power supply internally powered
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Artificial Intelligence (AREA)
- Radiology & Medical Imaging (AREA)
- Biophysics (AREA)
- Public Health (AREA)
- Evolutionary Biology (AREA)
- Surgery (AREA)
- Biomedical Technology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Primary Health Care (AREA)
- Veterinary Medicine (AREA)
- Computational Linguistics (AREA)
- Optics & Photonics (AREA)
- Epidemiology (AREA)
- Computing Systems (AREA)
- Quality & Reliability (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Animal Behavior & Ethology (AREA)
- Heart & Thoracic Surgery (AREA)
- Pathology (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种根据内镜白光图像预测生成NBI图像的卷积神经网络模型及其构建方法和应用。本发明的卷积神经网络模型的构建方法，包括：步骤S1：建立包括输入层、编码器、解码器和输出层的神经网络结构；步骤S2：采用融合迁移学习算法对所述神经网络结构进行赋值，获得初始模型；步骤S3：采用包括多对成对的白光图像和NBI图像的数据集对所述初始模型进行训练。本发明的卷积神经网络模型无需借助NBI设备即可根据内镜白光图像预测生成NBI图像并分析病变性质，在保证准确度的前提下达到了实时预测的速度要求，为临床中消化内镜的图像分析提供了新的思路。
Description
技术领域
本发明涉及卷积神经网络技术领域，尤其是涉及一种根据内镜白光图像预测生成NBI图像的卷积神经网络模型及其构建方法和应用。
背景技术
消化道肿瘤的发病率高、危害大，早期诊治尤为重要。然而，消化道肿瘤病变的早期表现多种多样，传统白光内镜识别和诊断存在困难，有时还难以确定边界和浸润深度。
研究表明，与白光成像相比，内镜窄带成像术(Narrow Band Imaging，NBI)联合放大内镜对胃早癌诊断的敏感性、特异性更高。目前，内镜医师多使用NBI对消化道病变进行观察。NBI技术通过利用滤光器过滤掉内镜光源所发出的红蓝绿光波中的宽带光谱，仅留下窄带光谱，即为415nm蓝光和540nm绿光，能够被血红蛋白强吸收，得到微血管的高对比度成像，并且勾勒黏膜表面和表浅的微细结构，可用于观察黏膜微结构和微血管形态，从而更精确地判断病变性质，尤其是对于消化道病变的良恶性进行甄别，并且能够发现微小病灶、确定病变范围，这对消化道肿瘤的早期诊疗和增加生存期至关重要。
然而，基层医院很少配备有NBI设备，此外内镜医生的经验和知识也往往不足，因此难以满足消化道肿瘤诊治的需要。如能不依靠NBI设备，运用图像处理算法，根据患者的内镜白光图像自动预测生成NBI图像，并对病变性质进行初步判断，则能够帮助基层医师方便高效地进行疾病筛查，实现消化道疾病的早诊早治，这对医疗条件欠佳地区患者而言尤为重要，并且能够节省大量的医疗资源，减轻卫生医疗体系的负担。如何不借助NBI设备，根据白光图像预测生成出相对应的NBI图像，是问题的关键。
在处理这类图像问题的时候，传统算法主要依靠人工提取特征的方式，如利用传统的计算机图形学得到几何形状、病变位置大小、边角等的语义特征，或使用边缘检测的canny滤波来得到图像的轮廓特征。随着机器学习的发展，也有研究利用传统方法得到图像特征，然后结合机器学习算法对图像进行分析。然而，这些基于人工提取特征的方法具有很大的局限性，无法有效地得到更抽象的深层次语义信息，从而影响了图像分析的准确性。因此，需要借助更好的图像处理算法来解决这一问题。
鉴于此，特提出本发明。
发明内容
本发明的目的在于提供一种根据内镜白光图像预测生成NBI图像的卷积神经网络模型及其构建方法和应用，该卷积神经网络模型无需借助NBI设备即可对内镜白光图像进行NBI图像的预测生成并分析病变性质。
本发明提供一种根据内镜白光图像预测生成NBI图像的卷积神经网络模型的构建方法，包括：
步骤S2：采用融合迁移学习算法对所述神经网络结构进行赋值，获得初始模型；
步骤S3：采用包括多对成对的白光图像和NBI图像的数据集对所述初始模型进行训练；
步骤S4：采用测试集对训练后的模型进行检测、评估和优化。
卷积神经网络(Convolutional Neural Networks，CNN)是一类包含卷积计算且具有深度结构的前馈神经网络，是深度学习的代表算法之一，具有表征学习能力，能够按其阶层结构对输入信息进行平移不变分类。在图像领域，CNN具有三大任务，分别为分类、目标检测和分割，现有相关研究主要集中在图像分类和检测领域，基于CNN强大的特征提取和表达能力对图像进行分类判断或者目标检测。然而，在本发明中需要通过白光图像预测生成NBI图像，其是一个像素级别的图像分割任务，需要精准预测出每个像素点从白光图像到NBI图像的映射关系；基于此，本发明特提出上述用于预测生成NBI图像的卷积神经网络模型的构建方法。
在上述神经网络结构中，输入层用于输入图像，其在训练时可以输入成对的白光图像和NBI图像、病理图像等，其在应用时可以输入待分析的白光图像；输入层为图像预处理层，包括对图像进行旋转、平移、颜色变换等数据增强操作。
编码器用于提取输入图像中的特征并输出特征图，通过激活函数将上下层函数关系非线性化，通过池化层对特征图进行特征选择并完成特征图的重构，将重构的特征不断地卷积、池化，输入到解码器；编码器由E1、E2、E3、E4四个卷积层组成，层与层之间通过池化层连接，由此对图像进行特征抽取。
解码器通过上采样和反卷积融合不同卷积层得到特征图，其利用反卷积和上采样技术将预训练编码器输出的特征图进行融合，进而得到进行预测和分类的特征图。具体地，解码器由D0、D1、D2、D3、D4组成，D0由卷积层和池化层组合，D1-D4层由反卷积层和卷积层组合。解码器D0对E4的输出进行卷积和池化操作，D1对D0进行反卷积操作得到上采样，然后跟E4进行特征融合，作为D2的输入。D2对D1进行反卷积上采样，然后和E3做特征融合做D3的输入。D3对D2进行反卷积上采样和E2进行特征融合，D1对D2的输出做反卷积长采样和E1进行特征融合，最后输出到输出层。
输出层用于输出预测生成的特征图，其结构包括卷积层和全连接层。输出层由一些卷积层组成，最后一个卷积层的通道数为1，用来输出完整的图像；此外，针对良恶性分类，输出层还可以建立一个单独的预测分支，由卷积层和全连接层组成，用来预测良恶性分类。
在上述构建方法的步骤S1中，采用反卷积和上采样技术使预训练编码器每一层的特征矩阵与解码器对应层的特征矩阵进行特征融合。
在CNN模型结构中，浅层网络能够抽取到图像的边角、形状等几何信息，深层网络能抽取到高阶语义信息；为了充分地利用CNN的这一特性以及解决医学图像“小样本”的问题，本发明使用反卷积以及上采样技术，让编码器每一层的特征矩阵跟解码器对应层进行特征融合(特征矩阵相加)，这样解码器既保留了低阶的几何信息又融合了高阶的语义信息，增强了模型的多尺度处理能力，提高了模型的表达能力和预测能力。
上述构建方法的步骤S2包括：将公开数据集ImageNet上充分预训练的卷积神经网络权重逐层迁移到预训练编码器上作为初始化权重，获得初始模型。
更具体地，在多尺度多任务的CNN模型框架下，可以在百万量级的公开数据集ImageNet(http://www.image-net.org/)上充分预训练的卷积神经网络权重逐层迁移到特征编码器上，作为模型的初始化权重。在迁移过程中，去除全连接层，只保留卷积层；例如，对VGG16而言，只需要迁移前13个卷积层，可以丢掉后面3层卷积层。
上述构建方法的步骤S3包括：向对所述初始模型中输入成对的白光图像和NBI图像、病理结果，通过预训练编码器提取特征并输出特征图，通过激活函数将上下层函数关系非线性化，通过池化层对特征图进行特征选择并完成特征图的重构，将重构的特征不断地卷积、池化后输入到解码器中，解码器通过上采样和反卷积融合不同卷积层得到特征图。
进一步地，步骤S3中，可以采用随机失活算法、批归一化算法和添加正则项来防止过拟合发生；此外，可以采用随机梯度下降法等进行权重更新，通过不断迭代和优化模型参数，获得卷积神经网络模型。
进一步地，步骤S3中，可以利用损失函数对训练结果进行误差反向传播，通过反馈优化调整模型参数并验证模型训练效果。
特别是，步骤步骤S3还可以包括：采用包括多个病理图像的数据集对所述初始模型进行训练。此时，在底层共享的特征图上，可以额外增加一个良恶性分类的头部网络，最后的输出层上分为两个分支，分别预测生成NBI图像和进行良恶性分类，从而赋予模型更多的能力。
在本发明中，成对的白光图像和NBI图像指的是针对同一对象、相互一一对应的白光图像和NBI图像，其中白光图像是通过白光内镜诊断获得的，NBI图像是通过内镜窄带成像术获得的，病理结果指的是同一张图像所对应的病理。通过将正确方式采集到的大量成对的白光图像和NBI图像、病理结果直接输入卷积神经网络模型，可以加快模型的训练速度，提升模型的预测效果。
在步骤S4中，在训练好模型之后，将测试集的数据送入模型进行测试，并验证模型的精确度，以测试的反馈信息来评价和改进模型。其中，以DICE系数(集合相似度度量函数，通常用于计算两个样本的相似度)、MAE(mean absolute error，平均绝对误差)、MSE(meansquare error，均方误差)等多个指标来评估预测生成对应的NBI图像的效果；以ROC(receiver operating characteristic，受试者工作特征)曲线、AUC(ROC曲线下面积)、准确率、特异性、敏感性、阳性预测值(positive predictive value，PPV)、阴性预测值(negative predictive value，NPV)等多个指标来评估图像的良恶性分类效果。
在本发明中，CNN模型搭建与训练所采用的GPU硬件环境可以为NVIDIARTX2080Ti，显存11G，软件环境可以为64位Linux Ubuntu 18.04操作系统，CUDA(ComputeUnified Device Architecture)10.2，可以使用Pytorch开源计算框架，以及Model Zoo中通过ImageNet数据集预训练好的CNN。
本发明的上述构建方法打破了传统方法无法获得图像全面信息这一局限性，同时也免去了预测生成NBI图像时的人工手动打标过程，减少了人工干预的成本，这对需要巨量图像数据训练的深度学习模型尤其重要，意味着通过正确方式采集到的大量图像可以直接输入卷积神经网络模型，从而加快模型的训练速度，提升预测效果。
本发明还提供一种根据内镜白光图像预测生成NBI图像的卷积神经网络模型，按照上述构建方法构建得到。
本发明还提供上述卷积神经网络模型在白光图像分析中的应用。
本发明还提供一种白光图像分析方法，将白光图像输入上述卷积神经网络模型并输出分析结果；其中，所述分析结果包括NBI图像和病变性质中的至少一种。
与现有技术相比，本发明至少具有以下优势：
1、本发明在国内外首次提出运用卷积神经网络模型对白光内镜图像进行NBI图像的预测生成，并优化图像处理算法，在保证准确度的前提下，达到实时预测的速度要求；
2、本发明的卷积神经网络模型能够良好地应用于内镜图像处理，使之在NBI图像预测生成的同时，能够进行NBI图像的良恶性分类，并且模型能够适用于不同倍数、尺度的白光-NBI配对图像；
3、本发明为内镜医生提供了辅助诊断和新的图像分析思路，为临床中消化内镜图像分析提供了新的角度和新的临床应用方法，其贴合临床应用，有利于提高消化道病变的诊治效率，利于推广到基层医院以造福患者。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施方式的神经网络结构的示意图；
图2为本发明一实施方式的卷积神经网络模型的构建及应用示意图；
图3为本发明另一实施方式的神经网络结构的示意图；
图4为本发明另一实施方式的卷积神经网络模型的构建及应用示意图；
图5为本发明试验例利用构建得到的卷积神经网络模型根据内镜白光图像对NBI图像的预测生成结果；其中，A为白光原图；B为中间生成的Mask；C为Mask作用于原图；D为预测生成的NBI图像；E为与A配对的NBI原图。
具体实施方式
应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也包括复数形式，此外，还应当理解的是，当在本说明中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
本实施例的用于预测生成NBI图像的卷积神经网络模型的构建方法，步骤如下：
1.建立神经网络结构
本实施例建立如图1所示的神经网络结构，该网络结构包含四个部分：输入层、预训练编码器、解码器、输出层。
在CNN模型结构中，浅层网络能够抽取到图像的边角、形状等几何信息，深层网络能抽取到高阶语义信息；为了充分的利用CNN的这一特性以及解决医学图像“小样本”的问题，使用反卷积以及上采样技术，让编码器每一层的特征矩阵跟解码器对应层进行特征融合(特征矩阵相加)，这样解码器既保留了低阶的几何信息又融合了高阶的语义信息，增强了模型的多尺度处理能力，提高了模型的表达能力和预测能力。
解码器包含四个CNN模块，通过反卷积和上采样技术将编码器得到的特征图进行融合，得到进行预测和分类的特征图。
2.融合迁移学习算法
在多尺度多任务的CNN模型框架下，把在百万量级的公开数据集ImageNet(http://www.image-net.org/)上充分预训练的卷积神经网络权重逐层迁移到特征编码器上，作为模型的初始化权重。在迁移过程中，去除全连接层，只保留卷积层(例如对VGG16而言，只需要迁移前13个卷积层，丢掉后面3层)。
在模型训练过程中，采用随机失活(Drop-out)算法、批归一化(BatchNormalization)算法、添加正则项防止过拟合发生，采用随机梯度下降法(Stochasticgradient descent，SGD)来更新权重，通过不断迭代和优化，使模型能够不断逼近真实的NBI图像和分类结果。
本实施例中，CNN模型搭建与训练所采用的GPU硬件环境为NVIDIA RTX 2080Ti，显存11G，软件环境为64位Linux Ubuntu 18.04操作系统，CUDA(Compute Unified DeviceArchitecture)10.2，使用Pytorch开源计算框架，以及Model Zoo中通过ImageNet数据集预训练好的CNN。
3.模型训练
A.输入成对的白光图和NBI图，通过预训练的编码器提取特征并输出特征图，通过激活函数将上下层函数关系非线性化，通过池化层对特征图进行特征选择并完成特征图的重构，将重构的特征不断地卷积、池化，输入到解码器中，解码器通过上采样和反卷积融合不同卷积层得到特征图，最后得到输出的预测特征图。分别进行NBI图像预测生成和良恶性分类。
B.模型训练采用随机梯度下降方法等权重更新算法，利用损失函数对学习结果进行误差反向传播，两个不同分支的任务通过反馈同时优化调整模型参数，在模型训练每隔100步的时候会自动验证模型训练效果，完成训练模型-验证模型-调整模型-再训练模型-再验证模型的循环学习过程。
在采用包括2万对成对的白光图像和NBI图像的数据集进行训练后，构建得到用于预测生成NBI图像的卷积神经网络模型。
4.模型应用
如图2所示，将待分析的白光图像输入上述构建得到的卷积神经网络模型中，即可输出对应的NBI图像。
实施例2
如图3所示，本实施例的用于预测生成NBI图像的卷积神经网络模型的构建方法，在实施例1的构建方法的基础下进行如下改进：
步骤1建立神经网络结构中，在底层共享的特征图上，额外增加一个良恶性分类的头部网络，最后的输出层上分为两个分支，分别预测生成NBI图像和进行良恶性分类，从而赋予模型更多的能力。
步骤3模型训练中，还采用包括多个病理结果的数据集对所述初始模型进行训练，构建得到用于预测生成NBI图像和病变图像良恶性分类的卷积神经网络模型。
步骤4模型应用中，如图4所示，将待分析的白光图像输入上述构建得到的卷积神经网络模型中，即可输出对应的NBI图像和病变性质。
试验例1
通过收集的白光-NBI配对图像，进行图像筛选之后，一共配对了112对白光-NBI图像数据，利用计算机图形学的关键点检测等算法对训练数据进行校准配对，把校准对齐后的数据作为输入，使用实施例1构建得到的卷积神经网络模型进行白光-NBI的配对图像预测。训练一共进行了100个epoch，利用最后一个epoch的模型作为最终的预测模型。
预测结果见图5；其中A为白光原图，D为预测生成的NBI图像，E为NBI原图。由图5可以看出，利用构建得到的卷积神经网络模型进行NBI图像的预测时，预测结果和NBI原图较为相似，主体的血管脉络都能准确地预测出来，说明上述模型能够良好地根据内镜白光图像来预测生成NBI图像，预测结果的准确性高。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (11)
1.一种根据内镜白光图像预测生成NBI图像的卷积神经网络模型的构建方法，其特征在于，包括：
步骤S1：建立包括输入层、编码器、解码器和输出层的神经网络结构；
步骤S2：采用融合迁移学习算法对所述神经网络结构进行赋值，获得初始模型；
步骤S3：采用包括多对成对的白光图像和NBI图像的数据集对所述初始模型进行训练；
步骤S4：采用测试集对训练后的模型进行检测、评估和优化；
步骤S1中，采用反卷积和上采样技术使编码器每一层的特征矩阵与解码器对应层的特征矩阵进行特征融合；
步骤S2包括：将公开数据集ImageNet上充分预训练的卷积神经网络权重逐层迁移到编码器上作为初始化权重，获得初始模型；
步骤S3包括：向对所述初始模型中输入成对的白光图像和NBI图像，通过编码器提取特征并输出特征图，通过激活函数将上下层函数关系非线性化，通过池化层对特征图进行特征选择并完成特征图的重构，将重构的特征不断地卷积、池化后输入到解码器中，解码器通过上采样和反卷积融合不同卷积层得到特征图。
2.根据权利要求1所述的构建方法，其特征在于，所述评估包括采用DICE系数、MAE和MSE中的至少一个指标来评估生成NBI图像的效果。
3.根据权利要求1所述的构建方法，其特征在于，步骤S3还包括：采用包括多个病理图像的数据集对所述初始模型进行训练。
4.根据权利要求1所述的构建方法，其特征在于，所述评估还包括采用ROC曲线、AUC、准确率、特异性、敏感性、阳性预测值和阴性预测值中的至少一个指标来评估图像的良恶性分类效果。
5.根据权利要求1所述的构建方法，其特征在于，在迁移过程中，去除全连接层并保留卷积层。
6.根据权利要求1所述的构建方法，其特征在于，步骤S3中，采用随机失活算法、批归一化算法和添加正则项来防止过拟合发生，采用随机梯度下降法进行权重更新，通过不断迭代和优化，获得卷积神经网络模型。
7.根据权利要求1所述的构建方法，其特征在于，步骤S3中，利用损失函数对训练结果进行误差反向传播，通过反馈优化调整模型参数并验证模型训练效果。
8.一种用于预测生成NBI图像的卷积神经网络模型，其特征在于，按照权利要求1-7任一项所述的构建方法构建得到。
9.权利要求8所述的卷积神经网络模型在白光图像分析中的应用。
10.一种白光图像分析方法，其特征在于，将白光图像输入权利要求8所述的卷积神经网络模型并输出分析结果。
11.根据权利要求10所述的白光图像分析方法，其特征在于，所述分析结果包括NBI图像和病变性质中的至少一种。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010864512.8A CN111862095B (zh) | 2020-08-25 | 2020-08-25 | 根据内镜白光图像预测生成nbi图像的卷积神经网络模型及其构建方法和应用 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010864512.8A CN111862095B (zh) | 2020-08-25 | 2020-08-25 | 根据内镜白光图像预测生成nbi图像的卷积神经网络模型及其构建方法和应用 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111862095A CN111862095A (zh) | 2020-10-30 |
| CN111862095B true CN111862095B (zh) | 2024-03-08 |
Family
ID=72967073
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010864512.8A Active CN111862095B (zh) | 2020-08-25 | 2020-08-25 | 根据内镜白光图像预测生成nbi图像的卷积神经网络模型及其构建方法和应用 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111862095B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112884777B (zh) * | 2021-01-22 | 2022-04-12 | 复旦大学 | 基于自采样相似的多模态协作食管癌病变图像分割系统 |
| CN113012140A (zh) * | 2021-03-31 | 2021-06-22 | 武汉楚精灵医疗科技有限公司 | 基于深度学习的消化内镜视频帧有效信息区域提取方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108596902A (zh) * | 2018-05-04 | 2018-09-28 | 北京大学 | 基于选通卷积神经网络的多任务全参考图像质量评价方法 |
| CN109523532A (zh) * | 2018-11-13 | 2019-03-26 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、计算机可读介质及电子设备 |
| KR20190090150A (ko) * | 2018-01-24 | 2019-08-01 | 주식회사 인트로메딕 | 캡슐 내시경 영상의 서술자 생성 방법 및 장치, 서술자 기반 캡슐 내시경 영상 검색 방법 및 캡슐 내시경 모니터링 디바이스 |
-
2020
- 2020-08-25 CN CN202010864512.8A patent/CN111862095B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190090150A (ko) * | 2018-01-24 | 2019-08-01 | 주식회사 인트로메딕 | 캡슐 내시경 영상의 서술자 생성 방법 및 장치, 서술자 기반 캡슐 내시경 영상 검색 방법 및 캡슐 내시경 모니터링 디바이스 |
| CN108596902A (zh) * | 2018-05-04 | 2018-09-28 | 北京大学 | 基于选通卷积神经网络的多任务全参考图像质量评价方法 |
| CN109523532A (zh) * | 2018-11-13 | 2019-03-26 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、计算机可读介质及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111862095A (zh) | 2020-10-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109670510B (zh) | 一种基于深度学习的胃镜活检病理数据筛查系统 | |
| CN112489061B (zh) | 一种基于多尺度信息与并行注意力机制的深度学习肠道息肉分割方法 | |
| Saini et al. | ColpoNet for automated cervical cancer screening using colposcopy images | |
| JP2019193776A (ja) | ディープラーニングに基づいたコンピュータ断層撮影肺結節検出法 | |
| CN112088394A (zh) | 生物组织的计算机分类 | |
| Anand et al. | An automated deep learning models for classification of skin disease using Dermoscopy images: A comprehensive study | |
| CN111862095B (zh) | 根据内镜白光图像预测生成nbi图像的卷积神经网络模型及其构建方法和应用 | |
| Zhang et al. | Adoption value of deep learning and serological indicators in the screening of atrophic gastritis based on artificial intelligence | |
| Wang et al. | Wound image analysis system for diabetics | |
| CN112071418B (zh) | 基于增强ct影像组学的胃癌腹膜转移的预测系统及方法 | |
| CN116579982A (zh) | 一种肺炎ct图像分割方法、装置及设备 | |
| Qiu et al. | Endoscopic image recognition method of gastric cancer based on deep learning model | |
| CN113764101B (zh) | 基于cnn的乳腺癌新辅助化疗多模态超声诊断系统 | |
| Noor et al. | GastroNet: A robust attention‐based deep learning and cosine similarity feature selection framework for gastrointestinal disease classification from endoscopic images | |
| Sundarasekar et al. | Automatic brain tumor detection and classification based on IoT and machine learning techniques | |
| Yan et al. | HLDnet: Novel deep learning based artificial intelligence tool fuses acetic acid and Lugol’s iodine cervicograms for accurate pre-cancer screening | |
| Yang et al. | NAUNet: lightweight retinal vessel segmentation network with nested connections and efficient attention | |
| Liu et al. | A cross-lesion attention network for accurate diabetic retinopathy grading with fundus images | |
| KR102407248B1 (ko) | 데이터 증대 및 이미지 분할을 활용한 딥러닝 기반 위 병변 분류시스템 | |
| CN113538344A (zh) | 区分萎缩性胃炎和胃癌的图像识别系统、设备及介质 | |
| CN116052871A (zh) | 一种阴道镜下宫颈病变的计算机辅助诊断方法及装置 | |
| CN115994999A (zh) | 基于边界梯度注意力网络的杯状细胞语义分割方法及系统 | |
| CN111816308B (zh) | 一种通过面部图片分析预测冠心病发病风险的系统 | |
| Youneszade et al. | A predictive model to detect cervical diseases using convolutional neural network algorithms and digital colposcopy images | |
| Liu et al. | Recognition of cervical precancerous lesions based on probability distribution feature guidance |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |