CN110363751B - 一种基于生成协作网络的大肠内视镜息肉检测方法 - Google Patents
一种基于生成协作网络的大肠内视镜息肉检测方法 Download PDFInfo
- Publication number
- CN110363751B CN110363751B CN201910586253.4A CN201910586253A CN110363751B CN 110363751 B CN110363751 B CN 110363751B CN 201910586253 A CN201910586253 A CN 201910586253A CN 110363751 B CN110363751 B CN 110363751B
- Authority
- CN
- China
- Prior art keywords
- layer
- convolution
- image
- neural network
- size
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 49
- 210000002429 large intestine Anatomy 0.000 title claims abstract description 42
- 208000037062 Polyps Diseases 0.000 title claims abstract description 34
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 43
- 238000012549 training Methods 0.000 claims abstract description 40
- 238000000034 method Methods 0.000 claims abstract description 39
- 238000013528 artificial neural network Methods 0.000 claims abstract description 26
- 239000013067 intermediate product Substances 0.000 claims abstract description 25
- 230000005284 excitation Effects 0.000 claims abstract description 23
- 230000008569 process Effects 0.000 claims abstract description 18
- 210000002569 neuron Anatomy 0.000 claims abstract description 13
- 230000000007 visual effect Effects 0.000 claims abstract description 12
- 238000007781 pre-processing Methods 0.000 claims abstract description 6
- 208000032177 Intestinal Polyps Diseases 0.000 claims abstract description 5
- 238000010606 normalization Methods 0.000 claims description 31
- 238000012545 processing Methods 0.000 claims description 16
- 238000004422 calculation algorithm Methods 0.000 claims description 14
- 239000013598 vector Substances 0.000 claims description 13
- 230000004913 activation Effects 0.000 claims description 6
- 230000006870 function Effects 0.000 description 38
- 206010028980 Neoplasm Diseases 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 238000001839 endoscopy Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000009021 linear effect Effects 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 238000011176 pooling Methods 0.000 description 4
- 241000282414 Homo sapiens Species 0.000 description 3
- 206010051589 Large intestine polyp Diseases 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 208000022131 polyp of large intestine Diseases 0.000 description 3
- 238000003672 processing method Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 208000029742 colonic neoplasm Diseases 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000000265 homogenisation Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000011425 standardization method Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000017105 transposition Effects 0.000 description 2
- 208000001333 Colorectal Neoplasms Diseases 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 210000001072 colon Anatomy 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 231100000915 pathological change Toxicity 0.000 description 1
- 230000036285 pathological change Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 239000002994 raw material Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30028—Colon; Small intestine
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Endoscopes (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于生成协作网络的大肠内视镜息肉检测方法，包括如下步骤：基于分段激励函数构建神经元模型；在特征检测开始之前，将原始彩色大肠内视镜图像进行预处理，将图像调整到统一大小；构建基于卷积神经网络的生成器模型；对所输入的彩色大肠息肉医学图像进行图像特征的提取并转化为数字信号，然后以所述数字信号为训练样本进行神经网络的训练；同时在卷积神经网络的训练过程中，生成器模型产生的中间产物被保存以用于训练网络的权重；构建基于卷积神经网络的协作器模型；该模型将生成器产生的中间产物转换为可视化的黑白灰阶图像数据，最终和原始图像进行结合得到最终的图像标示结果。
Description
技术领域
本发明涉及一种基于生成协作网络的大肠内视镜息肉检测方法，属于机器学习领域和医学图像检测领域。
背景技术
在当前人工智能与机器学习技术发展迅速的今天，机器学习技术已经应用到了人们生产生活的方方面面。癌症一直是当今世界一直难以攻克的疾病难题，同时也是人类死因之首，而大多数的大肠肿瘤都是由大肠息肉病变而成。因此及时的发现并且治愈大肠息肉可以有效的预防肿瘤的发生。随着模式识别与人工智能计算的发展，大肠内息肉的检测技术越来越多地被学者们关注，已经成为了医学图像处理研究的一个重要的方面。
在过去的十年来，有着大量的医学图像检测与图像标注的方法。很多经典的大肠息肉检测方法是以大量训练样本为前提的，但是在实际应用中，往往大量的医学图像样本很难收集完全。因此，在缺乏标记样本的情况下，大量的大肠息肉检测方法受到限制，其检测能力会受到制约。
类似于人脸检测方法，大肠内镜息肉检测主要采用的是线性判别分析法，K近邻算法以及协同表示分类器等机器学习方法。线性判别分析法是一种典型的监督学习算法，该算法实现分类的原理是通过利用标记信息，通过选择一个投影向量使同类的点经投影后尽可能靠近，而不同类的点经投影后尽可能分散。但是该算法对图像噪声十分敏感，在实际应用中往往效率不高。K近邻算法的分类原则是基于距离相似度。尽管该算法可以使得样本局部近邻之间的结构关系得到有效的保持，但是这种分类方法往往容易受到图像噪声等干扰因素的影响，并且过分地依赖于样本之间的欧式距离。
在大肠内镜息肉的检测中，为了减少对噪声对于检测结果的影响，学者们提出了SRC算法。该算法首先利用训练数据去线性稀疏重构测试样本，然后通过比较重构残差得到分类结果。由于受到图像噪声干扰较少，该方法在医学图像检测领域得到了广泛的应用。但是该方法的计算过程需要耗费大量的时间，同时需要大量的计算样本，因此在实际应用中仍然存在很多的问题。
虽然已有上述多种大肠息肉检测方法，但是已有的医学图像目标检测技术往往存在着检测精度低，容易受到噪声干扰等问题，不能够有效地检测出病变部位的所在，因此提出一种高效的大肠息肉检测方法是十分必要的。作为一种通过组合低层特征形成更加抽象的高层表示属性特征，以发现数据的分布式特征表示的方式，深度学习已经引起了学者们的广泛关注，但当前在国内外的前沿研究中，尚未存在深度学习应用于大肠内视镜息肉检测的相关技术。
发明内容
针对传统的基于监督学习内视镜息肉检测方法精度不高，过分依赖于大规模训练样本，使得现有的大肠内视镜息肉检测方法在实际的医学检测应用场景中难以高效的实现工作任务的问题，本发明以深度学习技术为基础，提出了一种基于生成协作网络的大肠内视镜息肉检测方法。
为了实现上述目的，本发明采用的技术方案如下：
一种基于生成协作网络的大肠内视镜息肉检测方法，包括如下步骤：
步骤1，基于分段激励函数构建神经元模型；
步骤2，在特征检测开始之前，将原始彩色大肠内视镜图像进行预处理，将图像调整到统一大小；
步骤3，构建基于卷积神经网络的生成器模型；对所输入的彩色大肠息肉医学图像进行图像特征的提取并转化为数字信号，然后以所述数字信号为训练样本进行神经网络的训练；同时在卷积神经网络的训练过程中，生成器模型产生的中间产物被保存以用于训练网络的权重；
步骤4，构建基于卷积神经网络的协作器模型；该模型将生成器产生的中间产物转换为可视化的黑白灰阶图像数据，最终和原始图像进行结合得到最终的图像标示结果。
进一步地，步骤3包括以下的步骤：
步骤(31)，构建生成器卷积层部分；预处理后的彩色大肠内视镜图输入到生成器的卷积层部分，卷积层部分包含两层卷积神经网络；
步骤(32)，构建带有标准化处理的生成器全连接层部分；包括两层全连接层、和批标准化层，使用批标准化算法对生成器两层全连接层的输出进行标准化，通过全连接层的标准化处理之后得到一维的特征向量；
步骤(33)，构建两层转置卷积神经网络部分；转置卷积神经网络的作用是将特征向量转换为黑白图像的大肠内视镜息肉检测图片，即中间产物。
进一步地，步骤4包括以下的步骤：
步骤(41)，构建协作器卷积层部分，协作器中卷积层部分输入的是生成器输出的中间产物，卷积层部分包含两层卷积神经网络；
步骤(42)，构建带有标准化处理的协作器全连接层部分；包括两层全连接层、和批标准化层，使用批标准化算法对生成器中两层全连接层的输出进行标准化，通过协作器全连接层的标准化处理之后得到一维特征向量；
步骤(43)，构建协作器两层转置卷积神经网络部分；协作器的转置卷积层输出的黑白检测图像与原始图像结合得到最终的大肠内视镜息肉检测结果。
更进一步地，所述的标准化处理，具体为：
其中，x1～xm为卷积神经网络的m个输出，即批标准化层的输入，uB为批标准化层的输入的平均值，
为批标准化层的输入的方差，ε是常数，
为批标准化层的输入的标准化数值，γ,β为批标准化层中的可学习的参数，用来扩大和平移输入的分布；BN(BatchNormalization)为批标注化。其中，ε的设定是按照经验取值的，一般都是设小于1的值；ε>0是一个很小的常数，保证公式中分母大于0。
进一步地，对于卷积层部分，设置第一层卷积层的卷积核的数量为16，大小设定为8*8*3，步长设定为2*2，第二层卷积层的卷积核数量设置为32，大小设定为5*5，步长设置为2*2；卷积层使用的是Leaky relu激励函数；对于转置卷积神经网络部分，设置第一层转置卷积层的卷积核的数量设置为16，大小设定为5*5，步长设置为2*2，第二层转置卷积层的卷积核的数量设置为1，大小设定为8*8，步长设置为2*2，第一层转置卷积层使用的激励函数为Leaky relu函数，而第二层使用的激活函数为sigmoid函数。
进一步地，对于卷积层部分，设置第一层卷积层的卷积核的数量为16，大小设定为8*8*3，步长设定为2*2，第二层卷积层的卷积核数量设置为32，大小设定为5*5，步长设置为2*2，卷积层使用的是Leaky relu激励函数；对于转置卷积神经网络部分，第一层转置卷积层的卷积核的数量设置为16，大小设定为5*5，步长设置为2*2，第二层转置卷积层的卷积核的数量设置为1，大小设定为8*8，步长设置为2*2，第一层转置卷积层使用的激励函数为Leaky relu函数，而第二层使用的激活函数为sigmoid函数。
本发明的技术特点在于：
本发明提出了一种基于生成协作网络的大肠内视镜息肉检测方法，该方法由两个子网络生成器模型和协作器模型所构成。两个子网络模型分别再由卷积神经网络和转置卷积神经网络构成。整个生成协作网络会从训练资料中学习如何萃取肿物的特征，再将其映射回大肠内视镜图，将肿物定位标记出来。其中，生成器模型在监督式学习过程中，需要有输入肠镜图片及其对应的黑白标注图片，满足有问题和答案的监督式学习过程。在后期网络学习将趋于收敛，此时该过程能产生许多带有杂讯的类似输入源肠镜图片所对应的黑白标注图群，进而拟合未曾学习过的图片但类似学习过的黑白标注图。协作器模型对输入的黑白标注图进行去杂讯化处理，使得这些带有杂讯的黑白标注图群的中间产物能成为训练集所需的数据，进而达到数据量自扩充的作用。两个子网络模型的所有可训练权重参数均依照各自的损失函数更新自身数值，互相不会产生干扰。同时，利用一种自定义的标准化处理方法对卷积层部分输出的特征图做标准化处理，将分散的数据处理成统一的格式。
本发明在大肠内视镜息肉检测方法上克服了传统方法容易受图像噪声干扰、特征提取精度不高，高度依赖数据一致性的缺点。使用包含卷积层和全连接层的卷积神经网络不仅避免了卷积池化层会造成特征位置信息的丢失的问题，同时不需要对其输入图片进行人工特征选取，而是由网络自行学习如何提取特征来达成目标。对于人类无法理解的抽象图像提取，本发明通过在卷积神经网络后面添加了转置卷积网络，通过转置卷积神经网络的逆转过程将抽象特征转变为特征向量。在对比训练资料所提供的原始肠镜图和与之对应的参考答案后，可以将该特征转换成可视化的肿物侦测图，以实现检测结果的可视化。
本发明具有以下的优点：
1、通过构建一种包含卷积层和全连接层的卷积神经网络，避免了卷积池化层会造成特征位置信息的丢失的问题，同时不需要对其输入图片进行人工特征选取，节省了构建数据集的时间与人力成本。
2、构建生成器模型和协作器模型的两个子网络模型，通过样本学习的方式萃取肿物的特征，再将其映射回大肠内视镜图，将肿物定位标记出来。该方法有效实现了特征提取结果的可视化处理，方便看到特征提取结果，为医护人员提供有效的医疗决策支持。
3、使用一种自定义的标准化处理方法在全连接层部分对卷积层部分输出的特征图做标准化处理，将分散的数据处理成统一的格式。该方法弥补当前部分同类产品对数据一致性高度依赖的缺陷，使之具有更好的推广价值。
4、通过生成器模型和协作器模型的交互作用，利用生成器产生产生带有杂讯的黑白标注图群，然后对黑白标注图群进行去杂讯处理，得到的中间产物作为训练集所需的数据，可是实现数据的自动扩充。该方法克服了传统的大肠内视镜息肉检测方法对大规模训练样本的依赖，降低了对训练样本的需求量。
附图说明
图1为本发明的执行流程；
图2为本发明设计的生成器模型结构图；
图3为本发明设计的协作器模型结构图。
具体实施方式
下面结合附图与具体实施例对本发明的技术方案做进一步说明。
本发明的一种基于生成协作网络的大肠内视镜息肉检测方法，包括如下步骤：。基于分段激励函数构建神经元模型；在特征检测开始之前，将原始彩色大肠内视镜图像进行预处理，将图像调整到统一大小；构建基于卷积神经网络的生成器模型；对所输入的彩色大肠息肉医学图像进行图像特征的提取并转化为数字信号，然后以所述数字信号为训练样本进行神经网络的训练；同时在卷积神经网络的训练过程中，生成器模型产生的中间产物被保存以用于训练网络的权重；构建基于卷积神经网络的协作器模型；该模型将生成器产生的中间产物转换为可视化的黑白灰阶图像数据，最终和原始图像进行结合得到最终的图像标示结果。
本发明利用分段激励函数的神经元模型，基于卷积神经网络的生成器模型，基于卷积神经网络的协作器模型，与自定义的样本数据标准化处理方法实现了基于生成协作网络的大肠内视镜息肉检测方法。首先，构建使用分段激励函数的神经元模型，神经元通过这种分段激活函数输入映射为神经元输出并且加深神经网络深度及缓解过度拟合的状态。其次，对原始图像进行预处理，调整至统一大小，第三，构建基于卷积神经网络的生成器模型，通过生成器模型将图像特征转换为数字信号，然后将数字信号作为训练样本进行神经网络的训练。同时，在卷积神经网络的训练过程中，生成器模型产生的中间产物被作为辨识学习的原材料来训练网络的权重。中间产物被保存以供下一次训练使用，如此可以达到简化数据需求的目的。第四，构建基于卷积神经网络的协作器模型，该协作器模型可以将中间产物转换为可视化的黑白灰阶图像数据，然后通过与原始的进行结合得到最终的标志结果。此外，由于原始的训练数据存在不同大小、色差、解析度的图像，因此在神经网络的隐含层中会遇到资料分散的问题，本发明提出一种标准化处理的方法，通过对神经网络的输出进行标准化处理降低了传统方法对数据一致性的高度依赖。
一种基于生成协作网络的大肠内视镜息肉检测方法的具体实施例，包括以下步骤：
步骤1.构建基于分段式激励函数的神经元模型。
在神经网络模型中，多个神经元相连接后可以构成多层的神经网络，而每层网络均可通过反向传播来更新其权重参数。本发明设定每一个神经元都有多个输入值x1～xn以及一个输出值y。输入值与输出值之间的数学关系使用输入值的加权乘积和的函数来表示，即：
其中，w1～wn神经元输入的权重，b为偏移量，f()为激励函数。为了使输入和输出脱离线性关系来加深神经网络的深度，本发明使用分段激励函数RELU，通过分段激励函数的线性性质能有效地克服梯度消失的问题,使部分神经元的输出为0让神经网络变得稀疏，加深神经网络深度及缓解过度拟合的状态。
步骤2.输入图像预处理。
在实际应用中，由于数据集中的图像存在不同的大小，为了方便后续的特征检测，本发明对图像进行预处理，将输入的原始的彩色大肠内视镜图处理成大小为128*128的图像。
步骤3.构建基于卷积神经网络的生成器模型。
通过基于卷积神经网络的生成器对输入的数据图像进行特征提取，转化为数字信息并进行数字化特征的学习训练。在卷积神经网络的训练过程中，生成器模型会批量生成带有杂讯、镜像位移等中间产物，利用中间产物进行辨识学习来训练网络的权重。同时，这些所生成的中间产物在网络权重训练完成后会被保存供下一次训练使用，以实现数据量需求的简化。在卷积神经网络的卷积层中，原始图片与特征侦测器进行运算，通过卷积核提取出原始图片中的特征，不同的卷积核提取出的特征不同，然后对应卷积核会产生同等数量的特征图。为了避免丢失特征位置信息，本发明取消设置池化层，即第一层卷积层后面直接连接第二层卷积层。生成器模型从左到右依次包含了三个部分：两层卷积层，两层全连接层与两层转置卷积层。
步骤3.1.构建生成器的卷积层部分。
预处理后的彩色大肠内视镜图输入到生成器的卷积层部分，卷积层部分包含两层卷积神经网络。本发明设置第一层卷积层的卷积核的数量为16，大小设定为8*8*3，步长设定为2*2。第二层卷积层的卷积核数量设置为32，大小设定为5*5，步长设置为2*2。卷积层使用的是Leaky relu激励函数。通过卷积层得到29*29*32的特征图。由于卷积层参数会影响特征图的大小，因此本发明设置卷积层参数的参数如下：
其中，W1与H1代表输入图片的宽度和长度，W2与H2代表经卷积后的特征图的宽度和长度。k代表卷积核的尺寸大小，s表示卷积核移动的步伐数。p代表对原始图片外层进行填补0的行列数量，用于控制特征图的大小。
本实施例定义了基于卷积神经网络的生成器的损失函数，其数学表达式为：
Loss＝||G(Xa)-Xd||+||C(G(Xa))-C(Xd)||
其中，Xa为生成器的输入，即原始的大肠内视镜图。G(Xa)为生成器的输出。Xd为标准的内视镜大肠肿瘤检测图，作为训练的标签数据。C(G(Xa))为输入G(Xa)时协作器的输出，也就是最终的息肉检测结果。C(Xd)为输入为Xd时协作器的输出。
步骤3.2.构建生成器的全连接层部分。
在实际应用中，由于存在不同大小、色差、解析度的图像数据集，因此本发明使用一种自定义的批标准化算法对生成器中两层全连接层的输出进行标准化。使用该标准化算法不仅可以克服传统的方法对高度一致数据集的依赖性，同时可以保证生成器模型在训练过程的收敛稳定性。通过全连接层的标准化处理之后得到1024的特征向量。全连接层使用的是Leaky relu激励函数。
批标准化架构用于将不同大小、色差、解析度的图像进行均一化处理，以便输入卷积神经网络使用。本发明设计的标准化方法如下所示：
其中，x1～xm为卷积神经网络的输出，即批标准化层的输入，uB为批标准化层的输入的平均值，
为批标准化层的输入的方差。ε是为了增加变异量数的稳定性而添加的常数。
为批标准化层的输入的标准化数值。γ,β为批标准化层中的可学习的参数，用来扩大和平移输入的分布。
步骤3.3.构建生成器的转置卷积层部分。
转置卷积神经网络在最开始就先连接全连结层，然后再重塑成的特征图，即卷积神经网络的摊平倒反但不具有池化层。转置卷积神经网络的作用是将特征向量转换为黑白图像的大肠内视镜息肉检测图片。第一层转置卷积层的卷积核的数量设置为16，大小设定为5*5，步长设置为2*2。第二层转置卷积层的卷积核的数量设置为1，大小设定为8*8，步长设置为2*2。第一层转置卷积层使用的激励函数为Leaky relu函数，而第二层使用的激活函数为sigmoid函数。在卷积神经网络的训练过程中，生成器模型批量生成带有杂讯、镜像位移等中间产物，通过中间产物进行特征辨识学习来训练网络的权重。在训练完成后，该生成器模型会将带有杂讯的中间产物保存以供下一次训练使用，以达到简化数据量的作用。
本发明设置转置卷积层参数的参数如下：
W2＝(W1-1)*S-2*P+K
H2＝(H1-1)*S-2*P+K
其中，W1与H1代表输入图片的宽度和长度，W2与H2代表经卷积后的特征图的宽度和长度。K代表卷积核的尺寸大小，S表示卷积核移动的步伐数。P代表对原始图片外层进行填补0的行列数量，用于控制特征图的大小。
步骤4.建立基于卷积神经网络的协作器模型。
该模型将生成器产生的中间产物进行杂讯滤波并将数学矢量数据倒转为可视化的黑白灰阶图像数据，以完成1组数据由图像-数学矢量-图像的转化过程。最终和原始图像进行结合得到最终的图像标示结果。与生成器模型结构类似，协作器从左到右依次包含了三个部分：两层卷积层，两层全连接层与两层转置卷积层。
步骤4.1.构建协作器卷积层部分。
协作器中卷积层部分输入的是生成器输出的中间产物，卷积层部分包含两层卷积神经网络。本发明设置第一层卷积层的卷积核的数量为16，大小设定为8*8*3，步长设定为2*2。第二层卷积层的卷积核数量设置为32，大小设定为5*5，步长设置为2*2。卷积层使用的是Leaky relu激励函数。通过卷积层得到29*29*32的特征图。本发明设置协作器中卷积层参数的参数如下：
其中，W1 x与
代表输入图片的宽度和长度，
与
代表经卷积后的特征图的宽度和长度。Kx代表卷积核的尺寸大小，Sx表示卷积核移动的步伐数。Px代表对原始图片外层进行填补0的行列数量，用于控制特征图的大小。
本实施例定义了基于卷积神经网络的协作器的损失函数，其数学表达式为：
Loss＝α||C(Xd)-Xd||+(1-α)||C(G(Xa))-Xd||
其中，Xa为生成器的输入，即原始的大肠内视镜图。G(Xa)为生成器的输出。Xd为标准的内视镜大肠肿瘤检测图，作为训练的标签数据。C(G(Xa))为输入G(Xa)时协作器的输出，也就是最终的息肉检测结果。C(Xd)为输入为Xd时协作器的输出。
步骤4.2.构建协作器全连接层部分。
通过协作器过全连接层的标准化处理之后得到1024的特征向量。协作器全连接层使用的是Leaky relu激励函数。
批标准化架构用于将不同大小、色差、解析度的图像进行均一化处理，以便输入卷积神经网络使用。本发明设计的标准化方法如下所示：
其中，
为协作器卷积神经网络的输出，即批标准化层的输入，
为批标准化层的输入的平均值，
为批标准化层的输入的方差。ε是为了增加变异量数的稳定性而添加的常数。
为批标准化层的输入的标准化数值。γ,β为批标准化层中的可学习的参数，用来扩大和平移输入的分布。
步骤4.3.构建协作器转置卷积部分。
第一层转置卷积层的卷积核的数量设置为16，大小设定为5*5，步长设置为2*2。第二层转置卷积层的卷积核的数量设置为1，大小设定为8*8，步长设置为2*2。第一层转置卷积层使用的激励函数为Leaky relu函数，而第二层使用的激活函数为sigmoid函数。协作器的转置卷积层输出的黑白检测图像与原始图像结合得到最终的大肠内视镜息肉检测结果。
本发明设置转置卷积层参数的参数如下：
其中，W1 x与
代表输入图片的宽度和长度，
与
代表经卷积后的特征图的宽度和长度。Kx代表卷积核的尺寸大小，Sx表示卷积核移动的步伐数。Px代表对原始图片外层进行填补0的行列数量，用于控制特征图的大小。
Claims (6)
1.一种基于生成协作网络的大肠内视镜息肉检测方法，其特征在于，包括如下步骤：
步骤1，基于分段激励函数构建神经元模型；
步骤2，在特征检测开始之前，将原始彩色大肠内视镜图像进行预处理，将图像调整到统一大小；
步骤3，构建基于卷积神经网络的生成器模型；对所输入的彩色大肠息肉医学图像进行图像特征的提取并转化为数字信号，然后以所述数字信号为训练样本进行神经网络的训练；同时在卷积神经网络的训练过程中，生成器模型产生的中间产物被保存以用于训练网络的权重；
步骤4，构建基于卷积神经网络的协作器模型；该模型将生成器产生的中间产物转换为可视化的黑白灰阶图像数据，最终和原始图像进行结合得到最终的图像标示结果。
2.根据权利要求1所述的基于生成协作网络的大肠内视镜息肉检测方法，其特征在于，步骤3包括以下的步骤：
步骤(31)，构建生成器卷积层部分；预处理后的彩色大肠内视镜图输入到生成器的卷积层部分，卷积层部分包含两层卷积神经网络；
步骤(32)，构建带有标准化处理的生成器全连接层部分；包括两层全连接层、和批标准化层，使用批标准化算法对生成器中两层全连接层的输出进行标准化，通过全连接层的标准化处理之后得到一维的特征向量；
步骤(33)，构建两层转置卷积神经网络部分；转置卷积神经网络的作用是将特征向量转换为黑白图像的大肠内视镜息肉检测图片，即中间产物。
3.根据权利要求1所述的基于生成协作网络的大肠内视镜息肉检测方法，其特征在于，
步骤4包括以下的步骤：
步骤(41)，构建协作器卷积层部分，协作器中卷积层部分输入的是生成器输出的中间产物，卷积层部分包含两层卷积神经网络；
步骤(42)，构建带有标准化处理的协作器全连接层部分；包括两层全连接层、和批标准化层，使用批标准化算法对生成器中两层全连接层的输出进行标准化，通过协作器全连接层的标准化处理之后得到一维特征向量；
步骤(43)，构建协作器两层转置卷积神经网络部分；协作器的转置卷积层输出的黑白检测图像与原始图像结合得到最终的大肠内视镜息肉检测结果。
4.根据权利要求2或3所述的基于生成协作网络的大肠内视镜息肉检测方法，其特征在于，所述的标准化处理，具体为：
其中，x1～xm为卷积神经网络的m个输出，即批标准化层的输入，uB为批标准化层的输入的平均值，
为批标准化层的输入的方差，ε是常数，
为批标准化层的输入的标准化数值，γ,β为批标准化层中的可学习的参数，用来扩大和平移输入的分布；BN为批标注化。
5.根据权利要求2所述的基于生成协作网络的大肠内视镜息肉检测方法，其特征在于，对于卷积层部分，设置第一层卷积层的卷积核的数量为16，大小设定为8*8*3，步长设定为2*2，第二层卷积层的卷积核数量设置为32，大小设定为5*5，步长设置为2*2；卷积层使用的是Leaky relu激励函数；对于转置卷积神经网络部分，设置第一层转置卷积层的卷积核的数量设置为16，大小设定为5*5，步长设置为2*2，第二层转置卷积层的卷积核的数量设置为1，大小设定为8*8，步长设置为2*2，第一层转置卷积层使用的激励函数为Leaky relu函数，而第二层使用的激活函数为sigmoid函数。
6.根据权利要求3所述的基于生成协作网络的大肠内视镜息肉检测方法，其特征在于，对于卷积层部分，设置第一层卷积层的卷积核的数量为16，大小设定为8*8*3，步长设定为2*2，第二层卷积层的卷积核数量设置为32，大小设定为5*5，步长设置为2*2，卷积层使用的是Leaky relu激励函数；对于转置卷积神经网络部分，第一层转置卷积层的卷积核的数量设置为16，大小设定为5*5，步长设置为2*2，第二层转置卷积层的卷积核的数量设置为1，大小设定为8*8，步长设置为2*2，第一层转置卷积层使用的激励函数为Leaky relu函数，而第二层使用的激活函数为sigmoid函数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910586253.4A CN110363751B (zh) | 2019-07-01 | 2019-07-01 | 一种基于生成协作网络的大肠内视镜息肉检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910586253.4A CN110363751B (zh) | 2019-07-01 | 2019-07-01 | 一种基于生成协作网络的大肠内视镜息肉检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110363751A CN110363751A (zh) | 2019-10-22 |
| CN110363751B true CN110363751B (zh) | 2021-08-03 |
Family
ID=68217744
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910586253.4A Active CN110363751B (zh) | 2019-07-01 | 2019-07-01 | 一种基于生成协作网络的大肠内视镜息肉检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110363751B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111340727B (zh) * | 2020-02-26 | 2022-05-17 | 电子科技大学 | 一种基于gbr图像的异常流量检测方法 |
| CN112164026B (zh) * | 2020-09-01 | 2022-10-25 | 上海交通大学 | 一种内窥镜息肉实时检测方法、系统及终端 |
| CN112200795A (zh) * | 2020-10-23 | 2021-01-08 | 苏州慧维智能医疗科技有限公司 | 一种基于深度卷积网络的大肠内窥镜息肉检测方法 |
| CN112465766A (zh) * | 2020-11-25 | 2021-03-09 | 武汉楚精灵医疗科技有限公司 | 扁平、微小息肉图像识别方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107341483A (zh) * | 2017-07-14 | 2017-11-10 | 深圳市唯特视科技有限公司 | 一种基于旋转矫正网络的稳健行人检测方法 |
| CN107402947A (zh) * | 2017-03-29 | 2017-11-28 | 北京粉笔未来科技有限公司 | 图片检索模型建立方法和装置、图片检索方法和装置 |
| CN107680082A (zh) * | 2017-09-11 | 2018-02-09 | 宁夏医科大学 | 基于深度卷积神经网络和全局特征的肺部肿瘤识别方法 |
| CN107871126A (zh) * | 2017-11-22 | 2018-04-03 | 西安翔迅科技有限责任公司 | 基于深层神经网络的车型识别方法和系统 |
| CN108806708A (zh) * | 2018-06-13 | 2018-11-13 | 中国电子科技集团公司第三研究所 | 基于计算听觉场景分析和生成对抗网络模型的语音降噪方法 |
| CN109086765A (zh) * | 2018-08-01 | 2018-12-25 | 北京嘀嘀无限科技发展有限公司 | 车牌识别方法、装置、介质、服务器和行车记录仪 |
| CN109145992A (zh) * | 2018-08-27 | 2019-01-04 | 西安电子科技大学 | 协作生成对抗网络和空谱联合的高光谱图像分类方法 |
| CN109447973A (zh) * | 2018-10-31 | 2019-03-08 | 腾讯科技（深圳）有限公司 | 一种结肠息肉图像的处理方法和装置及系统 |
| CN109460005A (zh) * | 2018-11-01 | 2019-03-12 | 上海理工大学 | 基于gru深度神经网络的动态工业过程故障诊断方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101719842B (zh) * | 2009-11-20 | 2011-09-21 | 中国科学院软件研究所 | 一种基于云计算环境的分布式网络安全预警方法 |
| DE112016007005T5 (de) * | 2016-06-24 | 2019-03-07 | Olympus Corporation | Bildverarbeitungsvorrichtung, Lernvorrichtung, Bildverarbeitungsverfahren, Verfahren zum Erstellen eines Klassifizierungskriteriums, Lernverfahren und Programm |
| CN106782602B (zh) * | 2016-12-01 | 2020-03-17 | 南京邮电大学 | 基于深度神经网络的语音情感识别方法 |
-
2019
- 2019-07-01 CN CN201910586253.4A patent/CN110363751B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107402947A (zh) * | 2017-03-29 | 2017-11-28 | 北京粉笔未来科技有限公司 | 图片检索模型建立方法和装置、图片检索方法和装置 |
| CN107341483A (zh) * | 2017-07-14 | 2017-11-10 | 深圳市唯特视科技有限公司 | 一种基于旋转矫正网络的稳健行人检测方法 |
| CN107680082A (zh) * | 2017-09-11 | 2018-02-09 | 宁夏医科大学 | 基于深度卷积神经网络和全局特征的肺部肿瘤识别方法 |
| CN107871126A (zh) * | 2017-11-22 | 2018-04-03 | 西安翔迅科技有限责任公司 | 基于深层神经网络的车型识别方法和系统 |
| CN108806708A (zh) * | 2018-06-13 | 2018-11-13 | 中国电子科技集团公司第三研究所 | 基于计算听觉场景分析和生成对抗网络模型的语音降噪方法 |
| CN109086765A (zh) * | 2018-08-01 | 2018-12-25 | 北京嘀嘀无限科技发展有限公司 | 车牌识别方法、装置、介质、服务器和行车记录仪 |
| CN109145992A (zh) * | 2018-08-27 | 2019-01-04 | 西安电子科技大学 | 协作生成对抗网络和空谱联合的高光谱图像分类方法 |
| CN109447973A (zh) * | 2018-10-31 | 2019-03-08 | 腾讯科技（深圳）有限公司 | 一种结肠息肉图像的处理方法和装置及系统 |
| CN109460005A (zh) * | 2018-11-01 | 2019-03-12 | 上海理工大学 | 基于gru深度神经网络的动态工业过程故障诊断方法 |
Non-Patent Citations (4)
| Title |
|---|
| Convolutional neural networks for intestinal hemorrhage detection in wireless capsule endoscopy images;Panpeng Li等;《2017 IEEE International Conference on Multimedia and Expo (ICME)》;20170831;第1518-1523页 * |
| Endoscopic Image Classification and Retrieval using Clustered Convolutional Features;Jamil Ahmad等;《IMAGE & SIGNAL PROCESSING》;20171030;第1-12页 * |
| 协作式生成对抗网络;张龙 等;《自动化学报》;20180531;第44卷(第5期);第804-810页 * |
| 基于CA的结肠息肉图像增强与分割算法;卢宇飞;《中国优秀硕士学位论文全文数据库 医药卫生科技辑》;20180415(第4期);E064-45 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110363751A (zh) | 2019-10-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110363751B (zh) | 一种基于生成协作网络的大肠内视镜息肉检测方法 | |
| Liu et al. | Deep depthwise separable convolutional network for change detection in optical aerial images | |
| CN109886121B (zh) | 一种遮挡鲁棒的人脸关键点定位方法 | |
| Shah et al. | ResTS: Residual deep interpretable architecture for plant disease detection | |
| CN107492071B (zh) | 医学图像处理方法及设备 | |
| CN113706526B (zh) | 内窥镜图像特征学习模型、分类模型的训练方法和装置 | |
| Wen et al. | Gcsba-net: Gabor-based and cascade squeeze bi-attention network for gland segmentation | |
| Chen et al. | SEMEDA: Enhancing segmentation precision with semantic edge aware loss | |
| CN114240955B (zh) | 一种半监督的跨领域自适应的图像分割方法 | |
| Xu et al. | Face expression recognition based on convolutional neural network | |
| Ding et al. | Automatic glottis segmentation for laryngeal endoscopic images based on U-Net | |
| Janneh et al. | Multi-level feature re-weighted fusion for the semantic segmentation of crops and weeds | |
| Raut et al. | Gastrointestinal tract disease segmentation and classification in wireless capsule endoscopy using intelligent deep learning model | |
| CN116758397A (zh) | 基于深度学习的单模态诱导的多模态预训练方法及系统 | |
| Deng et al. | Cross-scale multi-instance learning for pathological image diagnosis | |
| CN107590806B (zh) | 一种基于大脑医学成像的检测方法和系统 | |
| Zhu et al. | Learning knowledge representation with meta knowledge distillation for single image super-resolution | |
| CN113011436A (zh) | 一种基于卷积神经网络的中医舌色苔色协同分类方法 | |
| Hwang et al. | An automated detection system for colonoscopy images using a dual encoder-decoder model | |
| CN117274662A (zh) | 一种改进ResNeXt神经网络的轻量级多模态医学图像分类方法 | |
| Zhang et al. | Multi-scale aggregation networks with flexible receptive fields for melanoma segmentation | |
| Hwang et al. | An adaptive regularization approach to colonoscopic polyp detection using a cascaded structure of encoder–decoders | |
| CN113469116A (zh) | 一种结合lbp特征和轻量级神经网络的人脸表情识别方法 | |
| Tlaisun et al. | Efficient deep learning approach for modern skin cancer detection | |
| Liu et al. | Brain image recognition algorithm and high performance computing of internet of medical things based on convolutional neural network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |