CN112580639A - 一种基于进化神经网络模型压缩的早期胃癌图像识别方法 - Google Patents
一种基于进化神经网络模型压缩的早期胃癌图像识别方法 Download PDFInfo
- Publication number
- CN112580639A CN112580639A CN202110223672.9A CN202110223672A CN112580639A CN 112580639 A CN112580639 A CN 112580639A CN 202110223672 A CN202110223672 A CN 202110223672A CN 112580639 A CN112580639 A CN 112580639A
- Authority
- CN
- China
- Prior art keywords
- neural network
- network model
- gastric cancer
- early gastric
- evolutionary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/086—Learning methods using evolutionary algorithms, e.g. genetic algorithms or genetic programming
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30092—Stomach; Gastric
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
- G06V2201/032—Recognition of patterns in medical or anatomical images of protuberances, polyps nodules, etc.
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Physiology (AREA)
- Multimedia (AREA)
- Probability & Statistics with Applications (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明公开一种基于进化神经网络模型压缩的早期胃癌图像识别方法,涉及计算机应用技术领域,解决现有卷积神经网络模型中的参数冗余、早期胃癌识别过程中神经网络模型计算量消耗大而导致的实时性差的问题;包括以下步骤:采集早期胃癌图像数据集;训练神经网络模型;构建二值编码方式来对神经网络模型中的参数进行编码;使用进化算法对训练后的神经网络模型进行压缩;微调压缩后的神经网络模型,并识别新输入的胃镜检查图像上的早期胃癌病变区域;本发明能够根据收集的胃镜检查图像数据压缩用于检测的神经网络模型,从而提高早期胃癌检测任务中神经网络模型的效率,使得深度神经网络方法在早期胃癌检测方面具有好的实时性能。
Description
技术领域
本发明涉及计算机应用技术领域,具体涉及一种基于进化神经网络模型压缩的早期胃癌图像识别方法。
背景技术
胃癌(Gastric cancer, GC)是是世界范围内致死率第三高的恶性疾病。由于早期的症状很轻微,胃癌通常都是在晚期才被诊断出来,其5年生存率低于30%。如果早期识别到胃癌,并且采取了相应的治疗,其5年生存率可以提升到95%以上。因此早期胃癌的识别对于降低胃癌致死率具有极其重要的意义。胃镜检查目前已被广泛用于早期胃癌的诊断,可以为早期的干预和治疗提供指导。由于早期胃癌通常只表现出黏膜上的一些细微变化,因此胃癌识别的敏感性一般相对较低。此外,具有丰富临床经验和熟练操作技巧的医生目前仍然较为缺乏,这一情况在欠发达地区更为严重。近年来,基于神经网络的人工智能方法在胃癌早期诊断中取得了许多成功的应用。虽然神经网络方法取得了较好得效果,但是其计算代价消耗巨大,对高性能计算硬件设备(比如高性能GPU)具有较大的依赖,难以满足胃镜检查场景下的实时性分析的要求。
现有的技术方案主要通过神经网络方法来辅助进行早期胃癌识别。为了减少神经网络对于大量训练数据的依赖,迁移学习被用于早期胃癌的识别。通过先在大量其他图像上进行预训练,可以使得低层的卷积层具备较好的初始化的值,从而避免胃癌内镜图像较少而带来的过拟合问题。早期胃癌肉眼识别主要分为肿瘤状态隆起的“隆起型”,未观察到隆起和凹陷的“表面隆起型”以及轻微凹陷的“表面凹陷型”,为了定位这些胃癌病变的具体位置,有研究者提出在图上随机截取癌症部分和正常部分,然后训练神经网络分类器来实现对整张图像上病变位置的识别。此外,像SSD (Single Shot MultiBox Detector)等通用目标识别方法也被用于早癌胃癌的识别。可以直接从原始图像上学习并预测胃癌病变目标的位置。
以卷积神经网络为代表的人工智能方法,通常需要构建具有大量参数的模型来保证其良好的性能。大模型通常需要消耗大量的计算资源,由此导致了运算速度方面的局限性。在胃镜检查的临床流程中,实时性的辅助提示是非常重要的。已有的技术方法大多采用现有的神经网络模型来对胃镜检查图像进行处理分析,然而这些模型是针对大规模的通用图像场景而设计的,因此存在一定的冗余。特别是目标识别模型,涉及到更加复杂的上采样操作以及多尺度特征融合过程,使得整个模型的运算效率在早期胃癌识别的场景下显得更加局限。此外,胃镜检查图像的数量通常比较有限,现有早期胃癌识别方法中神经网络模型参数的冗余,不仅制约了实际临床应用的实时性能,也增加了模型过拟合的风险。总的来说,深度神经网络方法的网络模型通常包含大量参数,并且存在一定的冗余性,这导致了巨额的计算开销,进而制约了基于深度神经网络的方法在内镜检查图像清晰度高和实时性要求高的场景下的应用。
发明内容
本发明的目的在于:针对现有技术的不足,提供了一种基于进化神经网络模型压缩的早期胃癌图像识别方法,该方法基于进化算法,可高效地自动发现现有卷积神经网络模型中的参数冗余,解决早期胃癌识别过程中神经网络模型计算量消耗大而导致的实时性差的问题。
本发明为了实现上述目的具体采用以下技术方案:
一种基于进化神经网络模型压缩的早期胃癌图像识别方法,包括以下步骤:
(1)采集并标注用于训练神经网络模型的早期胃癌图像数据集;
(2)训练神经网络模型;
(3)构建二值编码方式来对神经网络模型中的参数进行编码;
(4)使用进化算法对训练后的神经网络模型进行压缩;
(5)微调压缩后的神经网络模型,并识别新输入的胃镜检查图像上的早期胃癌病变区域。
进一步地,所述步骤(1)中,采集并标注用于训练神经网络模型的胃镜图像数据集,包括以下步骤:
(11)录制胃镜检查视频流,筛选并裁剪出包含早期胃癌病变以及正常胃部图像的视频片段;
(12)抽取相应包含早期胃癌病变区域的视频帧,并随机抽取正常胃部的视频帧;
(13)使用矩形对病变区域进行标注,并且对病变和正常视频帧分别进行图像级别标注;
(14)将标注后的数据集划分成训练集、验证集、测试集三个部分。
进一步地,所述步骤(2)训练神经网络模型,包括以下步骤:
(21)构建神经网络检测模型,并使用步骤(1)中标注的数据训练早期胃癌检测神经网络模型,网络模型同时输出早期胃癌病变区域位置的矩形框的坐标值;
(22)设置聚类数目,使用K-means算法对所有的早期胃癌标记区域的尺寸进行聚类,K-means算法获得的聚类中心设置为早期胃癌识别神经网络模型的默认anchor的大小;神经网络模型输出的结果用于对默认anchors进行修正,并且和标记的识别方框进行比对,使用交叉熵和欧式距离来计算二者的综合误差,然后使用反向传播算法对模型进行训练。
进一步地,所述神经网络模型包括主干网络和检测头网络;主干网络包括数层卷积层,用于对输入图像进行下采样;检测头网络包括若干层卷积层和数个上采样层,将主干网络的输出图进行上采样处理后产生数个代表不同的尺度信息的检测输出,用于识别不同大小的早期胃癌病变区域;数个不同尺度的检测输出结果通过非极大值抑制产生最后的识别框的预测输出。
进一步地,所述主干网络和检测头网络的所有卷积层后面都使用批归一化和ReLU激活函数。
进一步地,步骤(3)构建二值编码方式对神经网络模型中的参数进行编码,包括以下步骤:
(31)确定编码长度:根据神经网络识别模型中的卷积核的数量,使用一个同样长度的一维向量来表示所有待剪枝的卷积核,其中1代表保留,0代表删除;
(32)确定遗传操作:基于二值编码方式,确定进化算法所需要使用的交叉操作和变异操作,用于进行启发式搜索。
进一步地,所属步骤(4)使用进化算法对训练后的神经网络模型进行压缩,具体包括如下步骤:
(41)确定优化目标函数:目标函数包括网络模型计算代价和识别误差,网络模型计算代价采用浮点运算数量度量,识别误差通过在验证数据集上的目标识别分类误差的交叉熵以及识别框偏差程度的欧式距离进行量化;将网络模型计算代价和识别误差进行加权,加权后的代价函数作为进化算法的适应度函数;
(42)设计种群初始化方法:在开始阶段,将种群中所有的候选解都初始化为1,从而保留所有的参数;随着进化算法的运行,逐渐通过置0来修剪掉部分卷积核,实现模型压缩;
(43)通过构建的目标函数选择较优的解,每一代进化都将当前种群中的解随机进行两两配对,并且通过上一步构造的交叉和变异操作产生新的解,并且淘汰较差的解。
进一步地,所述步骤(5)微调压缩后的神经网络模型,并识别新输入的胃镜检查图像上的早期胃癌病变区域,具体包括以下步骤:
(51)从步骤(43)中进化算法得到的解集中,选择适应度函数最好的解;
(52)将解的二值编码转换为实际的压缩后的神经网络模型,从原网络中继承相应的权重参数,然后继续在早期胃癌图像数据训练集上进行微调;
(53)将微调后的模型用于测试集,评估效果,用于识别新输入的早期胃癌病变的病变区域。
本发明的有益效果如下:
1、本发明能够根据根据收集到的胃镜检查图像自动对现有的目识别卷积神经网络模型进行压缩,其采用的进化算法可根据具体的优化问题,设计候选解表示方法,有效对网络模型压缩问题建模,在保持网络模型准确率的前提下减少冗余参数、提高模型运算效率,进而减小模型过拟合风险;构建基于进化神经网络模型压缩的早期胃癌识别方法,可以实现自动化的网络模型压缩,从而提高早期胃癌识别任务中神经网络模型的效率,提升神经网络模型识别早期胃癌病变的实时分析效率,促进神经网络方法在早期胃癌识别方面的实际临床应用;
2、本发明的方法基于进化算法,可高效地自动发现现有卷积神经网络模型中的参数冗余,能够自动压缩用于早期胃癌识别的神经网络模型,无需人工设置网络模型压缩率。
附图说明
图1是本发明基于进化神经网络模型压缩的早期胃癌识别方法的整体流程示意图;
图2是本发明神经网络模型结构图;
图3是模型压缩中的卷积核剪枝操作示意图;
图4是基于二值编码的交叉操作示意图;
图5是基于二值编码的变异操作示意图;
图6是进化压缩算法流程图;
图7是早期胃癌识别结果示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例1
如图1所示,本实施例提供的基于进化神经网络模型压缩的早期胃癌识别方法,包括以下步骤:
(1)采集并标注用于训练神经网络模型的早期胃癌图像数据集;
(2)训练神经网络模型;
(3)构建二值编码方式来对神经网络模型中的参数进行编码;
(4)使用进化算法对训练后的神经网络模型进行压缩; 在维持网络性能的同时减少模型计算量;
(5)微调压缩后的神经网络模型,并识别新输入的胃镜检查图像上的早期胃癌病变区域。
其中,所述步骤(1)中,采集并标注用于训练神经网络模型的胃镜图像数据集,包括以下步骤:
(11)录制胃镜检查视频流,筛选并裁剪出包含早期胃癌病变以及正常胃部图像的视频片段;
(12)抽取相应包含早期胃癌病变区域的视频帧,并随机抽取正常胃部的视频帧;
(13)使用矩形对病变区域进行标注,并且对病变和正常视频帧分别进行图像级别标注;
(14)将标注后的数据集划分成训练集、验证集、测试集三个部分。
其中,步骤(2)训练神经网络模型,包括以下步骤:
(21)构建神经网络检测模型,并使用步骤(1)中标注的数据训练早期胃癌检测神经网络模型,网络模型同时输出早期胃癌病变区域位置的矩形框的坐标值;
在本实施例中,所述神经网络模型包括主干网络和检测头网络;主干网络包括数层卷积层,用于对输入图像进行下采样;检测头网络包括若干层卷积层和数个上采样层,将主干网络的输出图进行上采样处理后产生数个代表不同的尺度信息的检测输出,用于识别不同大小的早期胃癌病变区域;数个不同尺度的检测输出结果通过非极大值抑制产生最后的识别框的预测输出。
作为本实施例的一个优选实施方式,参照图2,主干网络包括四个卷积层,分别为卷积层Conv1、Conv2、Conv3和Conv4,四个卷积层的步长为2,卷积核数目分别为128、 256、512和1024,卷积核大小均为;检测头网络使用一个包含卷积核的步长为1的卷积层Conv5将主干网络最后一个卷积层Conv4合并后的特征图的总通道数减半,然后通过上采样层Up1进行双线性插值方式的上采样,产生的结果和主干网络中卷积层Conv3的输出在通道级别进行合并;合并后的结果继续使用一个包含卷积核的步长为1的卷积层Conv6来将前一步合并后的特征图的总通道数减半,然后通过上采样层Up2进行双线性插值方式的上采样,Up2层的结果和Conv2层的结果在通道级别上进行合并,并且通过步长为2的卷积层Conv7-1产生第一个检测输出y1,进一步,使用步长为1的卷积层Conv7-2来将特征图的总通道数目翻倍;类似的,使用步长为2的卷积层Conv8-1产生检测输出y2,使用步长为1的卷积层Conv8-2来将特征图的总通道数目翻倍;最后使用步长为2的卷积层Conv9产生检测输出y3。这三个检测输出代表了不同的尺度信息,可以用于检测不同大小的早期胃癌病变区域。
其中主干网络和检测头网络的所有卷积层后面都使用批归一化和ReLU激活函数。
(22)设置聚类数目,使用K-means算法对所有的早期胃癌标记区域的尺寸进行聚类,本实施例中聚类数目设置为9,K-means算法获得的聚类中心设置为早期胃癌识别神经网络模型的默认anchor的大小;神经网络模型输出的结果用于对默认anchors进行修正,并且和标记的识别方框进行比对,使用交叉熵和欧式距离来计算二者的综合误差,然后使用反向传播算法对模型进行训练。
具体的,假设网络中一个分支输出的特征图的大小为SS,对应的可以将输入图像划分为SS的网格。该特征图上的每一个位置的元素包含了五个部分的内容,用于对B个anchor进行变换:分别是预测框的中心点的水平和垂直位置坐标、预测框的高和宽、预测框内包含早期胃癌病变区域的概率。对于第位置所对应的anchor,其中对应原图像区域是否包含已标注的早期胃癌病变标注可以通过来表示,包含则为1,不包含则为0。与此相反,表示不包含病变区域标注。假设使用来表示标注的病变区域的矩形框信息,则网络训练的损失函数可以表示为:
将胃镜检查图像或者视频帧输入到网络中,将网络输出结果和anchor结合,使用非极大值抑制(nms)来产生预测框,并且与标注的病变区域的位置框来进行比较,计算损失函数,进而使用反向传播算法实现网络权值的更新:
参考图3至图5,步骤(3)构建二值编码方式对神经网络模型中的参数进行编码,包括以下步骤:
(31)确定编码长度:根据神经网络识别模型中的卷积核的数量,使用一个同样长度的一维向量来表示所有待剪枝的卷积核,其中1代表保留,0代表删除;
(32)确定遗传操作:基于二值编码方式,确定进化算法所需要使用的交叉操作和变异操作,用于进行启发式搜索。
参考图6,步骤(4)使用进化算法对训练后的神经网络模型进行压缩,具体包括如下步骤:
(41)确定优化目标函数:目标函数包括网络模型计算代价和识别误差,网络模型计算代价采用浮点运算数量(FLOPs)度量,识别误差通过在验证数据集上的目标识别分类误差的交叉熵以及识别框偏差程度的欧式距离进行量化;将网络模型计算代价和识别误差进行加权,此处的设置为0.1,加权后的代价函数作为进化算法的适应度函数;
(42)设计种群初始化方法:在开始阶段,将种群中所有的候选解都初始化为1(1表示保留卷积核,而0表示修剪掉卷积核),每一个候选解都对应着一个不同的压缩后的模型,随着进化算法的运行,每一代都会通过交叉变异的遗传操作将候选解中的1替换为0,实现卷积核修剪,实现模型压缩;
其中,也可以将0替换为1来恢复被修剪掉的卷积核。
(43)通过构建的目标函数选择较优的解(即目标函数值较小的解):每一代进化都将当前种群中的解随机进行两两配对,并且通过上一步构造的交叉和变异操作产生新的解。每一个新产生的解需要解码为对应的剪枝后的网络模型,并且在构建的早期胃癌验证数据集上重新计算误差函数和FLOPs,进而构造一个新的种群,其大小和之前的种群相同。最后,将新的种群和之前的种群合并,然后根据合并后的种群中所有解的目标函数值,淘汰一半数量的较差(目标函数值较大)的解,从而在进化过程维持一个固定大小的种群。
步骤(5)微调压缩后的神经网络模型,并识别新输入的胃镜检查图像上的早期胃癌病变区域,具体包括以下步骤:
(51)从步骤(43)中进化算法得到的解集中,选择适应度函数最好的解;
(52)将解的二值编码转换为实际的压缩后的神经网络模型,从原网络中继承相应的权重参数,然后继续在早期胃癌图像数据训练集上进行微调;
(53)将微调后的模型用于测试集,评估效果,用于识别新输入的早期胃癌病变的病变区域,如图7所示。
Claims (9)
1.一种基于进化神经网络模型压缩的早期胃癌图像识别方法,其特征在于,包括以下步骤:
(1)采集并标注用于训练神经网络模型的早期胃癌图像数据集;
(2)训练神经网络模型;
(3)构建二值编码方式来对神经网络模型中的参数进行编码;
(4)使用进化算法对训练后的神经网络模型进行压缩;
(5)微调压缩后的神经网络模型,并识别新输入的胃镜检查图像上的早期胃癌病变区域。
2.根据权利要求1所述的一种基于进化神经网络模型压缩的早期胃癌图像识别方法,其特征在于,所述步骤(1)中,采集并标注用于训练神经网络模型的胃镜图像数据集,包括以下步骤:
(11)录制胃镜检查视频流,筛选并裁剪出包含早期胃癌病变以及正常胃部图像的视频片段;
(12)抽取相应包含早期胃癌病变区域的视频帧,并随机抽取正常胃部的视频帧;
(13)使用矩形对病变区域进行标注,并且对病变和正常视频帧分别进行图像级别标注;
(14)将标注后的数据集划分成训练集、验证集、测试集三个部分。
3.根据权利要求1所述的一种基于进化神经网络模型压缩的早期胃癌图像识别方法,其特征在于,所述步骤(2)训练神经网络模型,包括以下步骤:
(21)构建神经网络检测模型,并使用步骤(1)中标注的数据训练早期胃癌检测神经网络模型,网络模型同时输出早期胃癌病变区域位置的矩形框的坐标值;
(22)设置聚类数目,使用K-means算法对所有的早期胃癌标记区域的尺寸进行聚类,K-means算法获得的聚类中心设置为早期胃癌识别神经网络模型的默认anchor的大小;神经网络模型输出的结果用于对默认anchors进行修正,并且和标记的识别方框进行比对,使用交叉熵和欧式距离来计算二者的综合误差,然后使用反向传播算法对模型进行训练。
4.根据权利要求3所述的一种基于进化神经网络模型压缩的早期胃癌图像识别方法,其特征在于,所述神经网络模型包括主干网络和检测头网络;主干网络包括数层卷积层,用于对输入图像进行下采样;检测头网络包括若干层卷积层和数个上采样层,将主干网络的输出图进行上采样处理后产生数个代表不同的尺度信息的检测输出,用于识别不同大小的早期胃癌病变区域;数个不同尺度的检测输出结果通过非极大值抑制产生最后的识别框的预测输出。
6.根据权利要求4所述的一种基于进化神经网络模型压缩的早期胃癌图像识别方法,其特征在于,所述主干网络和检测头网络的所有卷积层后面都使用批归一化和ReLU激活函数。
7.根据权利要求1所述的一种基于进化神经网络模型压缩的早期胃癌图像识别方法,其特征在于,步骤(3)构建二值编码方式对神经网络模型中的参数进行编码,包括以下步骤:
(31)确定编码长度:根据神经网络识别模型中的卷积核的数量,使用一个同样长度的一维向量来表示所有待剪枝的卷积核,其中1代表保留,0代表删除;
(32)确定遗传操作:基于二值编码方式,确定进化算法所需要使用的交叉操作和变异操作,用于进行启发式搜索。
8.根据权利要求1所述的一种基于进化神经网络模型压缩的早期胃癌图像识别方法,其特征在于,所述步骤(4)使用进化算法对训练后的神经网络模型进行压缩,具体包括如下步骤:
(41)确定优化目标函数:目标函数包括网络模型计算代价和识别误差,网络模型计算代价采用浮点运算数量度量,识别误差通过在验证数据集上的目标识别分类误差的交叉熵以及识别框偏差程度的欧式距离进行量化;将网络模型计算代价和识别误差进行加权,加权后的代价函数作为进化算法的适应度函数;
(42)设计种群初始化方法:在开始阶段,将种群中所有的候选解都初始化为1,从而保留所有的参数;随着进化算法的运行,逐渐通过置0来修剪掉部分卷积核,实现模型压缩;
(43)通过构建的目标函数选择较优的解,每一代进化都将当前种群中的解随机进行两两配对,并且通过上一步构造的交叉和变异操作产生新的解,并且淘汰较差的解。
9.根据权利要求8所述的一种基于进化神经网络模型压缩的早期胃癌图像识别方法,其特征在于,所述步骤(5)微调压缩后的神经网络模型,并识别新输入的胃镜检查图像上的早期胃癌病变区域,具体包括以下步骤:
(51)从步骤(43)中进化算法得到的解集中,选择适应度函数最好的解;
(52)将解的二值编码转换为实际的压缩后的神经网络模型,从原网络中继承相应的权重参数,然后继续在早期胃癌图像数据训练集上进行微调;
(53)将微调后的模型用于测试集,评估效果,用于识别新输入的早期胃癌病变的病变区域。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110223672.9A CN112580639B (zh) | 2021-03-01 | 2021-03-01 | 一种基于进化神经网络模型压缩的早期胃癌图像识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110223672.9A CN112580639B (zh) | 2021-03-01 | 2021-03-01 | 一种基于进化神经网络模型压缩的早期胃癌图像识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112580639A true CN112580639A (zh) | 2021-03-30 |
CN112580639B CN112580639B (zh) | 2021-08-13 |
Family
ID=75114096
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110223672.9A Active CN112580639B (zh) | 2021-03-01 | 2021-03-01 | 一种基于进化神经网络模型压缩的早期胃癌图像识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112580639B (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113538344A (zh) * | 2021-06-28 | 2021-10-22 | 河北省中医院 | 区分萎缩性胃炎和胃癌的图像识别系统、设备及介质 |
CN114676629A (zh) * | 2022-03-18 | 2022-06-28 | 西安电子科技大学 | 多手段复合的调制类型识别模型轻量化处理方法 |
WO2022213741A1 (zh) * | 2021-04-09 | 2022-10-13 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
CN115240006A (zh) * | 2022-07-29 | 2022-10-25 | 南京航空航天大学 | 目标检测的卷积神经网络优化方法、装置及网络结构 |
CN115938546A (zh) * | 2023-02-21 | 2023-04-07 | 四川大学华西医院 | 一种早期胃癌图像合成方法、系统、设备及存储介质 |
KR20230080303A (ko) * | 2021-11-29 | 2023-06-07 | 주식회사 딥엑스 | 이진화 신경망(bnn)을 위한 신경 프로세싱 유닛 |
CN116258717A (zh) * | 2023-05-15 | 2023-06-13 | 广州思德医疗科技有限公司 | 病灶识别方法、装置、设备和存储介质 |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109272497A (zh) * | 2018-09-05 | 2019-01-25 | 深圳灵图慧视科技有限公司 | 产品表面缺陷检测方法、装置和计算机设备 |
CN111291809A (zh) * | 2020-02-03 | 2020-06-16 | 华为技术有限公司 | 一种处理装置、方法及存储介质 |
CN111353598A (zh) * | 2018-12-20 | 2020-06-30 | 中科寒武纪科技股份有限公司 | 一种神经网络压缩方法、电子设备及计算机可读介质 |
CN111429415A (zh) * | 2020-03-18 | 2020-07-17 | 东华大学 | 基于网络协同剪枝的产品表面缺陷高效模型构建方法 |
CN111667054A (zh) * | 2020-06-05 | 2020-09-15 | 北京百度网讯科技有限公司 | 生成神经网络模型的方法、装置、电子设备以及存储介质 |
CN111709489A (zh) * | 2020-06-24 | 2020-09-25 | 广西师范大学 | 一种基于改进YOLOv4的柑橘识别方法 |
CN111898750A (zh) * | 2020-06-29 | 2020-11-06 | 北京大学 | 基于进化算法的神经网络模型压缩方法及装置 |
CN111985597A (zh) * | 2019-05-22 | 2020-11-24 | 华为技术有限公司 | 模型压缩方法及装置 |
CN112132005A (zh) * | 2020-09-21 | 2020-12-25 | 福州大学 | 一种基于聚类分析与模型压缩的人脸检测方法 |
CN112308200A (zh) * | 2019-07-30 | 2021-02-02 | 华为技术有限公司 | 神经网络的搜索方法及装置 |
CN112329721A (zh) * | 2020-11-26 | 2021-02-05 | 上海电力大学 | 一种模型轻量化设计的遥感小目标检测方法 |
CN112381763A (zh) * | 2020-10-23 | 2021-02-19 | 西安科锐盛创新科技有限公司 | 一种表面缺陷检测方法 |
CN112464579A (zh) * | 2021-02-02 | 2021-03-09 | 四川大学 | 基于进化神经网络结构搜索食管癌病变区域识别建模方法 |
-
2021
- 2021-03-01 CN CN202110223672.9A patent/CN112580639B/zh active Active
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109272497A (zh) * | 2018-09-05 | 2019-01-25 | 深圳灵图慧视科技有限公司 | 产品表面缺陷检测方法、装置和计算机设备 |
CN111353598A (zh) * | 2018-12-20 | 2020-06-30 | 中科寒武纪科技股份有限公司 | 一种神经网络压缩方法、电子设备及计算机可读介质 |
CN111985597A (zh) * | 2019-05-22 | 2020-11-24 | 华为技术有限公司 | 模型压缩方法及装置 |
CN112308200A (zh) * | 2019-07-30 | 2021-02-02 | 华为技术有限公司 | 神经网络的搜索方法及装置 |
CN111291809A (zh) * | 2020-02-03 | 2020-06-16 | 华为技术有限公司 | 一种处理装置、方法及存储介质 |
CN111429415A (zh) * | 2020-03-18 | 2020-07-17 | 东华大学 | 基于网络协同剪枝的产品表面缺陷高效模型构建方法 |
CN111667054A (zh) * | 2020-06-05 | 2020-09-15 | 北京百度网讯科技有限公司 | 生成神经网络模型的方法、装置、电子设备以及存储介质 |
CN111709489A (zh) * | 2020-06-24 | 2020-09-25 | 广西师范大学 | 一种基于改进YOLOv4的柑橘识别方法 |
CN111898750A (zh) * | 2020-06-29 | 2020-11-06 | 北京大学 | 基于进化算法的神经网络模型压缩方法及装置 |
CN112132005A (zh) * | 2020-09-21 | 2020-12-25 | 福州大学 | 一种基于聚类分析与模型压缩的人脸检测方法 |
CN112381763A (zh) * | 2020-10-23 | 2021-02-19 | 西安科锐盛创新科技有限公司 | 一种表面缺陷检测方法 |
CN112329721A (zh) * | 2020-11-26 | 2021-02-05 | 上海电力大学 | 一种模型轻量化设计的遥感小目标检测方法 |
CN112464579A (zh) * | 2021-02-02 | 2021-03-09 | 四川大学 | 基于进化神经网络结构搜索食管癌病变区域识别建模方法 |
Non-Patent Citations (11)
Title |
---|
ANTON LEBEDEV等: "Convolutional Neural Network for Early Detection of Gastric Cancer by Endoscopic Video Analysis", 《ICMV 2019》 * |
DONGSHENG PAN等: "Detection of Early Gastric Cancer Based on Single Shot Detector with Feature Enhancement", 《2020 IEEE INTERNATIONAL CONFERENCE ON BIOINFORMATICS AND BIOMEDICINE (BIBM)》 * |
YAO ZHOU等: "Evolutionary Compression of Deep Neural Networks for Biomedical Image Segmentation", 《IEEE TRANSACTIONS ON NEURAL NETWORKS AND LEARNING SYSTEMS》 * |
任怀胜: "基于遗传算法的深度神经网络模型自动压缩研究及应用", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
林景栋等: "卷积神经网络结构优化综述", 《自动化学报》 * |
梁峰等: "面向轻量化神经网络的模型压缩与结构搜索", 《西安交通大学学报》 * |
胡耀: "基于深度学习的 ME-NBI早期胃癌图像识别系统的设计与实现", 《中国优秀硕士学位论文全文数据库 医药卫生科技辑》 * |
虎泽华: "基于遗传算法的卷积神经网络模型压缩技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
雷杰等: "深度网络模型压缩综述", 《HTTP://KNS.CNKI.NET/KCMS/DETAIL/11.2560.TP.20171204.0857.018.HTML》 * |
马永杰等: "图像分类卷积神经网络的进化设计", 《西北师范大学学报(自然科学版)》 * |
马治楠;等: "基于深层卷积神经网络的剪枝优化", 《电子技术应用》 * |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022213741A1 (zh) * | 2021-04-09 | 2022-10-13 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
CN113538344A (zh) * | 2021-06-28 | 2021-10-22 | 河北省中医院 | 区分萎缩性胃炎和胃癌的图像识别系统、设备及介质 |
KR20230080303A (ko) * | 2021-11-29 | 2023-06-07 | 주식회사 딥엑스 | 이진화 신경망(bnn)을 위한 신경 프로세싱 유닛 |
KR102562322B1 (ko) | 2021-11-29 | 2023-08-02 | 주식회사 딥엑스 | 이진화 신경망(bnn)을 위한 신경 프로세싱 유닛 |
CN114676629A (zh) * | 2022-03-18 | 2022-06-28 | 西安电子科技大学 | 多手段复合的调制类型识别模型轻量化处理方法 |
CN114676629B (zh) * | 2022-03-18 | 2024-09-03 | 西安电子科技大学 | 多手段复合的调制类型识别模型轻量化处理方法 |
CN115240006A (zh) * | 2022-07-29 | 2022-10-25 | 南京航空航天大学 | 目标检测的卷积神经网络优化方法、装置及网络结构 |
CN115240006B (zh) * | 2022-07-29 | 2023-09-19 | 南京航空航天大学 | 目标检测的卷积神经网络优化方法、装置及网络结构 |
CN115938546A (zh) * | 2023-02-21 | 2023-04-07 | 四川大学华西医院 | 一种早期胃癌图像合成方法、系统、设备及存储介质 |
CN116258717A (zh) * | 2023-05-15 | 2023-06-13 | 广州思德医疗科技有限公司 | 病灶识别方法、装置、设备和存储介质 |
CN116258717B (zh) * | 2023-05-15 | 2023-09-08 | 广州思德医疗科技有限公司 | 病灶识别方法、装置、设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN112580639B (zh) | 2021-08-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112580639B (zh) | 一种基于进化神经网络模型压缩的早期胃癌图像识别方法 | |
CN111369565B (zh) | 一种基于图卷积网络的数字病理图像的分割与分类方法 | |
Mao et al. | Feature representation using deep autoencoder for lung nodule image classification | |
US20220262105A1 (en) | Systems, methods, and apparatuses for the generation of source models for transfer learning to application specific models used in the processing of medical imaging | |
CN114846507A (zh) | 用于使用人工智能(ai)模型进行非侵入性基因检测的方法和系统 | |
US11475562B2 (en) | Fissurenet: a deep learning approach for pulmonary fissure detection in CT images | |
US12106484B2 (en) | Three-dimensional medical image segmentation method and system based on short-term and long-term memory self-attention model | |
CN112396605B (zh) | 网络训练方法及装置、图像识别方法和电子设备 | |
CN115019405A (zh) | 一种基于多模态融合的肿瘤分类方法及系统 | |
CN113327258A (zh) | 一种基于深度学习的肺部ct图像识别方法 | |
CN114399510B (zh) | 结合图像和临床元数据的皮肤病灶分割和分类方法及系统 | |
CN113487614B (zh) | 胎儿超声标准切面图像识别网络模型的训练方法和装置 | |
US11587231B2 (en) | Comprehensive detection device and method for cancerous region | |
CN107103334A (zh) | 一种基于卷积神经网络和字典对学习的肺结节分类方法 | |
CN115409815A (zh) | 一种基于三维可变形transformer的肺结节检测方法 | |
CN114140378A (zh) | 扫描图像处理方法、电子设备和可读介质 | |
CN112884788A (zh) | 基于丰富上下文网络的视杯视盘分割方法及成像方法 | |
CN112288749A (zh) | 一种基于深度迭代融合深度学习模型的颅骨图像分割方法 | |
CN111179277B (zh) | 一种无监督自适应乳腺病变分割方法 | |
CN115984555A (zh) | 一种基于深度自编码器构图的冠状动脉狭窄识别方法 | |
Guo et al. | Encoder-decoder contrast for unsupervised anomaly detection in medical images | |
CN116433654A (zh) | 一种改进的U-Net网络实现脊柱整体分割方法 | |
CN114140437A (zh) | 一种基于深度学习的眼底硬渗出物分割方法 | |
CN116563524B (zh) | 一种基于多视觉记忆单元的扫视路径预测方法 | |
CN117710389A (zh) | 两阶段全3d动脉瘤分割方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |