CN112580639B - 一种基于进化神经网络模型压缩的早期胃癌图像识别方法 - Google Patents

一种基于进化神经网络模型压缩的早期胃癌图像识别方法 Download PDF

Info

Publication number
CN112580639B
CN112580639B CN202110223672.9A CN202110223672A CN112580639B CN 112580639 B CN112580639 B CN 112580639B CN 202110223672 A CN202110223672 A CN 202110223672A CN 112580639 B CN112580639 B CN 112580639B
Authority
CN
China
Prior art keywords
neural network
gastric cancer
network model
early gastric
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110223672.9A
Other languages
English (en)
Other versions
CN112580639A (zh
Inventor
胡兵
章毅
张潇之
周尧
刘伟
吴雨
袁湘蕾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN202110223672.9A priority Critical patent/CN112580639B/zh
Publication of CN112580639A publication Critical patent/CN112580639A/zh
Application granted granted Critical
Publication of CN112580639B publication Critical patent/CN112580639B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/086—Learning methods using evolutionary algorithms, e.g. genetic algorithms or genetic programming
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30092—Stomach; Gastric
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/032—Recognition of patterns in medical or anatomical images of protuberances, polyps nodules, etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Physiology (AREA)
  • Multimedia (AREA)
  • Probability & Statistics with Applications (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明公开一种基于进化神经网络模型压缩的早期胃癌图像识别方法，涉及计算机应用技术领域，解决现有卷积神经网络模型中的参数冗余、早期胃癌识别过程中神经网络模型计算量消耗大而导致的实时性差的问题；包括以下步骤：采集早期胃癌图像数据集;训练神经网络模型；构建二值编码方式来对神经网络模型中的参数进行编码;使用进化算法对训练后的神经网络模型进行压缩;微调压缩后的神经网络模型，并识别新输入的胃镜检查图像上的早期胃癌病变区域；本发明能够根据收集的胃镜检查图像数据压缩用于检测的神经网络模型，从而提高早期胃癌检测任务中神经网络模型的效率，使得深度神经网络方法在早期胃癌检测方面具有好的实时性能。

Description

一种基于进化神经网络模型压缩的早期胃癌图像识别方法
技术领域
本发明涉及计算机应用技术领域，具体涉及一种基于进化神经网络模型压缩的早期胃癌图像识别方法。
背景技术
胃癌(Gastric cancer, GC)是是世界范围内致死率第三高的恶性疾病。由于早期的症状很轻微，胃癌通常都是在晚期才被诊断出来，其5年生存率低于30%。如果早期识别到胃癌，并且采取了相应的治疗，其5年生存率可以提升到95%以上。因此早期胃癌的识别对于降低胃癌致死率具有极其重要的意义。胃镜检查目前已被广泛用于早期胃癌的诊断，可以为早期的干预和治疗提供指导。由于早期胃癌通常只表现出黏膜上的一些细微变化，因此胃癌识别的敏感性一般相对较低。此外，具有丰富临床经验和熟练操作技巧的医生目前仍然较为缺乏，这一情况在欠发达地区更为严重。近年来，基于神经网络的人工智能方法在胃癌早期诊断中取得了许多成功的应用。虽然神经网络方法取得了较好得效果，但是其计算代价消耗巨大，对高性能计算硬件设备(比如高性能GPU)具有较大的依赖，难以满足胃镜检查场景下的实时性分析的要求。
现有的技术方案主要通过神经网络方法来辅助进行早期胃癌识别。为了减少神经网络对于大量训练数据的依赖，迁移学习被用于早期胃癌的识别。通过先在大量其他图像上进行预训练，可以使得低层的卷积层具备较好的初始化的值，从而避免胃癌内镜图像较少而带来的过拟合问题。早期胃癌肉眼识别主要分为肿瘤状态隆起的“隆起型”，未观察到隆起和凹陷的“表面隆起型”以及轻微凹陷的“表面凹陷型”，为了定位这些胃癌病变的具体位置，有研究者提出在图上随机截取癌症部分和正常部分，然后训练神经网络分类器来实现对整张图像上病变位置的识别。此外，像SSD (Single Shot MultiBox Detector)等通用目标识别方法也被用于早癌胃癌的识别。可以直接从原始图像上学习并预测胃癌病变目标的位置。
以卷积神经网络为代表的人工智能方法，通常需要构建具有大量参数的模型来保证其良好的性能。大模型通常需要消耗大量的计算资源，由此导致了运算速度方面的局限性。在胃镜检查的临床流程中，实时性的辅助提示是非常重要的。已有的技术方法大多采用现有的神经网络模型来对胃镜检查图像进行处理分析，然而这些模型是针对大规模的通用图像场景而设计的，因此存在一定的冗余。特别是目标识别模型，涉及到更加复杂的上采样操作以及多尺度特征融合过程，使得整个模型的运算效率在早期胃癌识别的场景下显得更加局限。此外，胃镜检查图像的数量通常比较有限，现有早期胃癌识别方法中神经网络模型参数的冗余，不仅制约了实际临床应用的实时性能，也增加了模型过拟合的风险。总的来说，深度神经网络方法的网络模型通常包含大量参数，并且存在一定的冗余性，这导致了巨额的计算开销，进而制约了基于深度神经网络的方法在内镜检查图像清晰度高和实时性要求高的场景下的应用。
发明内容
本发明的目的在于：针对现有技术的不足，提供了一种基于进化神经网络模型压缩的早期胃癌图像识别方法，该方法基于进化算法，可高效地自动发现现有卷积神经网络模型中的参数冗余，解决早期胃癌识别过程中神经网络模型计算量消耗大而导致的实时性差的问题。
本发明为了实现上述目的具体采用以下技术方案：
一种基于进化神经网络模型压缩的早期胃癌图像识别方法，包括以下步骤：
（1）采集并标注用于训练神经网络模型的早期胃癌图像数据集;
（2）训练神经网络模型;
（3）构建二值编码方式来对神经网络模型中的参数进行编码;
（4）使用进化算法对训练后的神经网络模型进行压缩;
（5）微调压缩后的神经网络模型，并识别新输入的胃镜检查图像上的早期胃癌病变区域。
进一步地，所述步骤（1）中，采集并标注用于训练神经网络模型的胃镜图像数据集，包括以下步骤：
（11）录制胃镜检查视频流，筛选并裁剪出包含早期胃癌病变以及正常胃部图像的视频片段；
（12）抽取相应包含早期胃癌病变区域的视频帧，并随机抽取正常胃部的视频帧；
（13）使用矩形对病变区域进行标注，并且对病变和正常视频帧分别进行图像级别标注；
（14）将标注后的数据集划分成训练集、验证集、测试集三个部分。
进一步地，所述步骤（2）训练神经网络模型，包括以下步骤：
（21）构建神经网络检测模型，并使用步骤(1)中标注的数据训练早期胃癌检测神经网络模型，网络模型同时输出早期胃癌病变区域位置的矩形框的坐标值；
（22）设置聚类数目，使用K-means算法对所有的早期胃癌标记区域的尺寸进行聚类，K-means算法获得的聚类中心设置为早期胃癌识别神经网络模型的默认anchor的大小；神经网络模型输出的结果用于对默认anchors进行修正，并且和标记的识别方框进行比对，使用交叉熵和欧式距离来计算二者的综合误差，然后使用反向传播算法对模型进行训练。
进一步地，所述神经网络模型包括主干网络和检测头网络；主干网络包括数层卷积层，用于对输入图像进行下采样；检测头网络包括若干层卷积层和数个上采样层，将主干网络的输出图进行上采样处理后产生数个代表不同的尺度信息的检测输出，用于识别不同大小的早期胃癌病变区域；数个不同尺度的检测输出结果通过非极大值抑制产生最后的识别框的预测输出。
进一步地，所述主干网络包括四个卷积层，四个卷积层的步长为2，卷积核数目分别为128、256、512和1024，卷积核大小均为
Figure 853168DEST_PATH_IMAGE002
；检测头网络的检测输出结果为3个。
进一步地，所述主干网络和检测头网络的所有卷积层后面都使用批归一化和ReLU激活函数。
进一步地，步骤（3）构建二值编码方式对神经网络模型中的参数进行编码，包括以下步骤：
（31）确定编码长度：根据神经网络识别模型中的卷积核的数量，使用一个同样长度的一维向量来表示所有待剪枝的卷积核，其中1代表保留，0代表删除；
（32）确定遗传操作：基于二值编码方式，确定进化算法所需要使用的交叉操作和变异操作，用于进行启发式搜索。
进一步地，所属步骤（4）使用进化算法对训练后的神经网络模型进行压缩，具体包括如下步骤：
（41）确定优化目标函数：目标函数包括网络模型计算代价和识别误差，网络模型计算代价采用浮点运算数量度量，识别误差通过在验证数据集上的目标识别分类误差的交叉熵以及识别框偏差程度的欧式距离进行量化；将网络模型计算代价和识别误差进行加权，加权后的代价函数作为进化算法的适应度函数；
（42）设计种群初始化方法：在开始阶段，将种群中所有的候选解都初始化为1，从而保留所有的参数；随着进化算法的运行，逐渐通过置0来修剪掉部分卷积核，实现模型压缩；
（43）通过构建的目标函数选择较优的解，每一代进化都将当前种群中的解随机进行两两配对，并且通过上一步构造的交叉和变异操作产生新的解，并且淘汰较差的解。
进一步地，所述步骤（5）微调压缩后的神经网络模型，并识别新输入的胃镜检查图像上的早期胃癌病变区域，具体包括以下步骤：
(51)从步骤（43）中进化算法得到的解集中，选择适应度函数最好的解；
(52)将解的二值编码转换为实际的压缩后的神经网络模型，从原网络中继承相应的权重参数，然后继续在早期胃癌图像数据训练集上进行微调；
(53)将微调后的模型用于测试集，评估效果，用于识别新输入的早期胃癌病变的病变区域。
本发明的有益效果如下：
1、本发明能够根据根据收集到的胃镜检查图像自动对现有的目识别卷积神经网络模型进行压缩，其采用的进化算法可根据具体的优化问题，设计候选解表示方法，有效对网络模型压缩问题建模,在保持网络模型准确率的前提下减少冗余参数、提高模型运算效率,进而减小模型过拟合风险;构建基于进化神经网络模型压缩的早期胃癌识别方法，可以实现自动化的网络模型压缩，从而提高早期胃癌识别任务中神经网络模型的效率，提升神经网络模型识别早期胃癌病变的实时分析效率，促进神经网络方法在早期胃癌识别方面的实际临床应用；
2、本发明的方法基于进化算法，可高效地自动发现现有卷积神经网络模型中的参数冗余，能够自动压缩用于早期胃癌识别的神经网络模型，无需人工设置网络模型压缩率。
附图说明
图1是本发明基于进化神经网络模型压缩的早期胃癌识别方法的整体流程示意图；
图2是本发明神经网络模型结构图；
图3是模型压缩中的卷积核剪枝操作示意图；
图4是基于二值编码的交叉操作示意图；
图5是基于二值编码的变异操作示意图；
图6是进化压缩算法流程图；
图7是早期胃癌识别结果示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
如图1所示，本实施例提供的基于进化神经网络模型压缩的早期胃癌识别方法，包括以下步骤：
（1）采集并标注用于训练神经网络模型的早期胃癌图像数据集;
（2）训练神经网络模型;
（3）构建二值编码方式来对神经网络模型中的参数进行编码;
（4）使用进化算法对训练后的神经网络模型进行压缩; 在维持网络性能的同时减少模型计算量；
（5）微调压缩后的神经网络模型，并识别新输入的胃镜检查图像上的早期胃癌病变区域。
其中，所述步骤（1）中，采集并标注用于训练神经网络模型的胃镜图像数据集，包括以下步骤：
（11）录制胃镜检查视频流，筛选并裁剪出包含早期胃癌病变以及正常胃部图像的视频片段；
（12）抽取相应包含早期胃癌病变区域的视频帧，并随机抽取正常胃部的视频帧；
（13）使用矩形对病变区域进行标注，并且对病变和正常视频帧分别进行图像级别标注；
（14）将标注后的数据集划分成训练集、验证集、测试集三个部分。
其中，步骤（2）训练神经网络模型，包括以下步骤：
（21）构建神经网络检测模型，并使用步骤(1)中标注的数据训练早期胃癌检测神经网络模型，网络模型同时输出早期胃癌病变区域位置的矩形框的坐标值；
具体的，对一个
Figure 853485DEST_PATH_IMAGE003
层的神经网络，设其训练样本集合为
Figure 55797DEST_PATH_IMAGE004
,其中m为单个样本的维度，
Figure 698131DEST_PATH_IMAGE005
表示训练样本的个数；那么第
Figure 302287DEST_PATH_IMAGE006
个样本可表示为
Figure 4664DEST_PATH_IMAGE007
,网络第1层的的权值为
Figure 166043DEST_PATH_IMAGE008
，设第1层的激活函数为
Figure 205543DEST_PATH_IMAGE009
,则网络的前向计算过程为：
Figure 398627DEST_PATH_IMAGE010
在本实施例中，所述神经网络模型包括主干网络和检测头网络；主干网络包括数层卷积层，用于对输入图像进行下采样；检测头网络包括若干层卷积层和数个上采样层，将主干网络的输出图进行上采样处理后产生数个代表不同的尺度信息的检测输出，用于识别不同大小的早期胃癌病变区域；数个不同尺度的检测输出结果通过非极大值抑制产生最后的识别框的预测输出。
作为本实施例的一个优选实施方式，参照图2，主干网络包括四个卷积层，分别为卷积层Conv1、Conv2、Conv3和Conv4，四个卷积层的步长为2，卷积核数目分别为128、 256、512和1024，卷积核大小均为
Figure 6326DEST_PATH_IMAGE002
；检测头网络使用一个包含
Figure 183229DEST_PATH_IMAGE002
卷积核的步长为1的卷积层Conv5将主干网络最后一个卷积层Conv4合并后的特征图的总通道数减半，然后通过上采样层Up1进行双线性插值方式的上采样，产生的结果和主干网络中卷积层Conv3的输出在通道级别进行合并；合并后的结果继续使用一个包含
Figure 167366DEST_PATH_IMAGE002
卷积核的步长为1的卷积层Conv6来将前一步合并后的特征图的总通道数减半，然后通过上采样层Up2进行双线性插值方式的上采样，Up2层的结果和Conv2层的结果在通道级别上进行合并，并且通过步长为2的卷积层Conv7-1产生第一个检测输出y1，进一步，使用步长为1的卷积层Conv7-2来将特征图的总通道数目翻倍；类似的，使用步长为2的卷积层Conv8-1产生检测输出y2，使用步长为1的卷积层Conv8-2来将特征图的总通道数目翻倍；最后使用步长为2的卷积层Conv9产生检测输出y3。这三个检测输出代表了不同的尺度信息，可以用于检测不同大小的早期胃癌病变区域。
其中主干网络和检测头网络的所有卷积层后面都使用批归一化和ReLU激活函数。
（22）设置聚类数目，使用K-means算法对所有的早期胃癌标记区域的尺寸进行聚类，本实施例中聚类数目设置为9，K-means算法获得的聚类中心设置为早期胃癌识别神经网络模型的默认anchor的大小；神经网络模型输出的结果用于对默认anchors进行修正，并且和标记的识别方框进行比对，使用交叉熵和欧式距离来计算二者的综合误差，然后使用反向传播算法对模型进行训练。
具体的，假设网络中一个分支输出的特征图的大小为S
Figure 621481DEST_PATH_IMAGE011
S，对应的可以将输入图像划分为S
Figure 321452DEST_PATH_IMAGE011
S的网格。该特征图上的每一个位置的元素包含了五个部分的内容，用于对B个anchor进行变换：分别是预测框的中心点的水平和垂直位置坐标
Figure 985652DEST_PATH_IMAGE012
、预测框的高和宽
Figure 507900DEST_PATH_IMAGE013
、预测框内包含早期胃癌病变区域的概率
Figure 675576DEST_PATH_IMAGE014
。对于第
Figure 625078DEST_PATH_IMAGE015
位置所对应的anchor，其中对应原图像区域是否包含已标注的早期胃癌病变标注可以通过
Figure 531502DEST_PATH_IMAGE016
来表示，包含则为1，不包含则为0。与此相反，
Figure 857441DEST_PATH_IMAGE017
表示不包含病变区域标注。假设使用
Figure 410782DEST_PATH_IMAGE018
来表示标注的病变区域的矩形框信息，则网络训练的损失函数可以表示为：
Figure 531185DEST_PATH_IMAGE019
将胃镜检查图像或者视频帧输入到网络中，将网络输出结果和anchor结合，使用非极大值抑制（nms）来产生预测框，并且与标注的病变区域的位置框来进行比较，计算损失函数，进而使用反向传播算法实现网络权值的更新：
Figure 169977DEST_PATH_IMAGE020
参考图3至图5，步骤（3）构建二值编码方式对神经网络模型中的参数进行编码，包括以下步骤：
（31）确定编码长度：根据神经网络识别模型中的卷积核的数量，使用一个同样长度的一维向量来表示所有待剪枝的卷积核，其中1代表保留，0代表删除；
（32）确定遗传操作：基于二值编码方式，确定进化算法所需要使用的交叉操作和变异操作，用于进行启发式搜索。
参考图6，步骤（4）使用进化算法对训练后的神经网络模型进行压缩，具体包括如下步骤：
（41）确定优化目标函数：目标函数包括网络模型计算代价和识别误差，网络模型计算代价采用浮点运算数量(FLOPs)度量，识别误差通过在验证数据集上的目标识别分类误差的交叉熵以及识别框偏差程度的欧式距离进行量化；将网络模型计算代价和识别误差
Figure 34027DEST_PATH_IMAGE021
进行加权，此处的
Figure 176296DEST_PATH_IMAGE022
设置为0.1，加权后的代价函数作为进化算法的适应度函数；
Figure 733179DEST_PATH_IMAGE023
（42）设计种群初始化方法：在开始阶段，将种群中所有的候选解都初始化为1（1表示保留卷积核，而0表示修剪掉卷积核），每一个候选解都对应着一个不同的压缩后的模型，随着进化算法的运行，每一代都会通过交叉变异的遗传操作将候选解中的1替换为0，实现卷积核修剪，实现模型压缩；
其中，也可以将0替换为1来恢复被修剪掉的卷积核。
（43）通过构建的目标函数选择较优的解（即目标函数值较小的解）：每一代进化都将当前种群中的解随机进行两两配对，并且通过上一步构造的交叉和变异操作产生新的解。每一个新产生的解需要解码为对应的剪枝后的网络模型，并且在构建的早期胃癌验证数据集上重新计算误差函数和FLOPs，进而构造一个新的种群，其大小和之前的种群相同。最后，将新的种群和之前的种群合并，然后根据合并后的种群中所有解的目标函数值，淘汰一半数量的较差（目标函数值较大）的解，从而在进化过程维持一个固定大小的种群。
步骤（5）微调压缩后的神经网络模型，并识别新输入的胃镜检查图像上的早期胃癌病变区域，具体包括以下步骤：
(51)从步骤（43）中进化算法得到的解集中，选择适应度函数最好的解；
(52)将解的二值编码转换为实际的压缩后的神经网络模型，从原网络中继承相应的权重参数，然后继续在早期胃癌图像数据训练集上进行微调；
(53)将微调后的模型用于测试集，评估效果，用于识别新输入的早期胃癌病变的病变区域，如图7所示。

Claims (7)

1.一种基于进化神经网络模型压缩的早期胃癌图像识别方法，其特征在于，包括以下步骤：
步骤1：采集并标注用于训练神经网络模型的早期胃癌图像数据集；
步骤2：构建神经网络检测模型，采用K-means算法对所有的早期胃癌标记区域的尺寸进行聚类，使用步骤(1)中标注的数据和反向传播算法训练早期胃癌检测神经网络模型，网络模型同时输出早期胃癌病变区域位置的矩形框的坐标值，其神经网络的前向计算过程为：
Figure FDA0003060932950000011
其中，设神经网络的层数为L，X∈Rmxn为训练样本集合,xi表示第i个样本,Wl表示网络第l层的权值，f(·)表示第l层的激活函数；
步骤3：构建二值编码方式来对神经网络模型中的参数进行编码,具体包括：
(31)确定编码长度：根据神经网络识别模型中的卷积核的数量，使用一个同样长度的一维向量来表示所有待剪枝的卷积核，其中1代表保留，0代表删除；
(32)确定遗传操作：基于二值编码方式，确定进化算法所需要使用的交叉操作和变异操作，用于进行启发式搜索；
步骤4：使用进化算法对训练后的神经网络模型进行压缩，包括确定优化目标函数、设计种群初始化方法，然后通过构建的目标函数选择较优的解，其中，目标函数包括网络模型计算代价和识别误差，网络模型计算代价采用浮点运算数量(FLOPs)度量，识别误差通过在验证数据集上的目标识别分类误差的交叉熵以及识别框偏差程度的欧式距离进行量化；将网络模型计算代价和识别误差J进行加权，此处的γ设置为0.1，将加权后的代价函数作为进化算法的适应度函数：
O＝J+γ·FLOPs；
设计种群初始化方法具体包括：在开始阶段，将种群中所有的候选解都初始化为1，从而保留所有的参数；随着进化算法的运行，逐渐通过置0来修剪掉部分卷积核，实现模型压缩；
通过构建的目标函数选择较优的解具体包括：每一代进化都将当前种群中的解随机进行两两配对，并且通过上一步构造的交叉和变异操作产生新的解，每一个新产生的解需要解码为对应的剪枝后的网络模型，并且在构建的早期胃癌验证数据集上重新计算误差函数和FLOPs，进而构造一个新的种群，最后，将新的种群和之前的种群合并，根据合并后的种群中所有解的目标函数值，淘汰一半目标函数值较大的解，从而在进化过程维持一个固定大小的种群；
步骤5：微调压缩后的神经网络模型，并识别新输入的胃镜检查图像上的早期胃癌病变区域。
2.根据权利要求1所述的一种基于进化神经网络模型压缩的早期胃癌图像识别方法，其特征在于，所述步骤1中，采集并标注用于训练神经网络模型的胃镜图像数据集，包括以下步骤：
(11)录制胃镜检查视频流，筛选并裁剪出包含早期胃癌病变以及正常胃部图像的视频片段；
(12)抽取相应包含早期胃癌病变区域的视频帧，并随机抽取正常胃部的视频帧；
(13)使用矩形对病变区域进行标注，并且对病变和正常视频帧分别进行图像级别标注；
(14)将标注后的数据集划分成训练集、验证集、测试集三个部分。
3.根据权利要求1所述的一种基于进化神经网络模型压缩的早期胃癌图像识别方法，其特征在于，所述步骤2中采用K-means算法对所有的早期胃癌标记区域的尺寸进行聚类，使用步骤(1)中标注的数据和反向传播算法训练早期胃癌检测神经网络模型的步骤包括：
将K-means算法获得的聚类中心设置为早期胃癌识别神经网络模型的默认anchor的大小；神经网络模型输出的结果用于对默认anchors进行修正，并且和标记的识别方框进行比对，使用交叉熵和欧式距离来计算二者的综合误差，然后使用反向传播算法对模型进行训练，使用
Figure FDA0003060932950000031
表示标注的病变区域的矩形框信息，网络训练的损失函数为：
Figure FDA0003060932950000032
其中，S×S表示网络中一个分支输出的特征图的大小，该特征图上的每一个位置的元素包含预测框的中心点的水平和垂直位置坐标(x,y)、预测框的高和宽(w,h)、预测框内包含早期胃癌病变区域的概率C，用于对B个anchor进行变换；对于第(i,j)位置所对应的anchor，
Figure FDA0003060932950000033
表示对应原图像区域是否包含已标注的早期胃癌病变标注，包含则为1，不包含则为0；与此相反，
Figure FDA0003060932950000034
表示不包含病变区域标注；
将胃镜检查图像或者视频帧输入到神经网络中，将神经网络输出结果和anchor结合，使用nms产生预测框，并且与标注的病变区域的位置框来进行比较，计算损失函数，进而使用反向传播算法实现网络权值的更新：
Figure FDA0003060932950000035
4.根据权利要求3所述的一种基于进化神经网络模型压缩的早期胃癌图像识别方法，其特征在于，所述神经网络模型包括主干网络和检测头网络；主干网络包括数层卷积层，用于对输入图像进行下采样；检测头网络包括若干层卷积层和数个上采样层，将主干网络的输出图进行上采样处理后产生数个代表不同的尺度信息的检测输出，用于识别不同大小的早期胃癌病变区域；数个不同尺度的检测输出结果通过非极大值抑制产生最后的识别框的预测输出。
5.根据权利要求4所述的一种基于进化神经网络模型压缩的早期胃癌图像识别方法，其特征在于，所述主干网络包括四个卷积层，四个卷积层的步长为2，卷积核数目分别为128、256、512和1024，卷积核大小均为3×33；检测头网络的检测输出结果为3个。
6.根据权利要求4所述的一种基于进化神经网络模型压缩的早期胃癌图像识别方法，其特征在于，所述主干网络和检测头网络的所有卷积层后面都使用批归一化和ReLU激活函数。
7.根据权利要求1所述的一种基于进化神经网络模型压缩的早期胃癌图像识别方法，其特征在于，所述步骤5微调压缩后的神经网络模型，并识别新输入的胃镜检查图像上的早期胃癌病变区域，具体包括以下步骤：
(51)从通过构建的目标函数选择较优的解集中，选择适应度函数最好的解；
(52)将解的二值编码转换为实际的压缩后的神经网络模型，从原网络中继承相应的权重参数，然后继续在早期胃癌图像数据训练集上进行微调；
(53)将微调后的模型用于测试集，评估效果，用于识别新输入的早期胃癌病变的病变区域。
CN202110223672.9A 2021-03-01 2021-03-01 一种基于进化神经网络模型压缩的早期胃癌图像识别方法 Active CN112580639B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110223672.9A CN112580639B (zh) 2021-03-01 2021-03-01 一种基于进化神经网络模型压缩的早期胃癌图像识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110223672.9A CN112580639B (zh) 2021-03-01 2021-03-01 一种基于进化神经网络模型压缩的早期胃癌图像识别方法

Publications (2)

Publication Number Publication Date
CN112580639A CN112580639A (zh) 2021-03-30
CN112580639B true CN112580639B (zh) 2021-08-13

Family

ID=75114096

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110223672.9A Active CN112580639B (zh) 2021-03-01 2021-03-01 一种基于进化神经网络模型压缩的早期胃癌图像识别方法

Country Status (1)

Country Link
CN (1) CN112580639B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115205170A (zh) * 2021-04-09 2022-10-18 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN113538344A (zh) * 2021-06-28 2021-10-22 河北省中医院 区分萎缩性胃炎和胃癌的图像识别系统、设备及介质
KR102562322B1 (ko) * 2021-11-29 2023-08-02 주식회사 딥엑스 이진화 신경망(bnn)을 위한 신경 프로세싱 유닛
CN115240006B (zh) * 2022-07-29 2023-09-19 南京航空航天大学 目标检测的卷积神经网络优化方法、装置及网络结构
CN115938546B (zh) * 2023-02-21 2023-07-14 四川大学华西医院 一种早期胃癌图像合成方法、系统、设备及存储介质
CN116258717B (zh) * 2023-05-15 2023-09-08 广州思德医疗科技有限公司 病灶识别方法、装置、设备和存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109272497A (zh) * 2018-09-05 2019-01-25 深圳灵图慧视科技有限公司 产品表面缺陷检测方法、装置和计算机设备
CN111291809A (zh) * 2020-02-03 2020-06-16 华为技术有限公司 一种处理装置、方法及存储介质
CN111709489A (zh) * 2020-06-24 2020-09-25 广西师范大学 一种基于改进YOLOv4的柑橘识别方法
CN111898750A (zh) * 2020-06-29 2020-11-06 北京大学 基于进化算法的神经网络模型压缩方法及装置
CN111985597A (zh) * 2019-05-22 2020-11-24 华为技术有限公司 模型压缩方法及装置
CN112132005A (zh) * 2020-09-21 2020-12-25 福州大学 一种基于聚类分析与模型压缩的人脸检测方法
CN112308200A (zh) * 2019-07-30 2021-02-02 华为技术有限公司 神经网络的搜索方法及装置
CN112329721A (zh) * 2020-11-26 2021-02-05 上海电力大学 一种模型轻量化设计的遥感小目标检测方法
CN112381763A (zh) * 2020-10-23 2021-02-19 西安科锐盛创新科技有限公司 一种表面缺陷检测方法
CN112464579A (zh) * 2021-02-02 2021-03-09 四川大学 基于进化神经网络结构搜索食管癌病变区域识别建模方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111353591A (zh) * 2018-12-20 2020-06-30 中科寒武纪科技股份有限公司 一种计算装置及相关产品
CN111429415B (zh) * 2020-03-18 2020-12-08 东华大学 基于网络协同剪枝的产品表面缺陷高效检测模型构建方法
CN111667054B (zh) * 2020-06-05 2023-09-01 北京百度网讯科技有限公司 生成神经网络模型的方法、装置、电子设备以及存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109272497A (zh) * 2018-09-05 2019-01-25 深圳灵图慧视科技有限公司 产品表面缺陷检测方法、装置和计算机设备
CN111985597A (zh) * 2019-05-22 2020-11-24 华为技术有限公司 模型压缩方法及装置
CN112308200A (zh) * 2019-07-30 2021-02-02 华为技术有限公司 神经网络的搜索方法及装置
CN111291809A (zh) * 2020-02-03 2020-06-16 华为技术有限公司 一种处理装置、方法及存储介质
CN111709489A (zh) * 2020-06-24 2020-09-25 广西师范大学 一种基于改进YOLOv4的柑橘识别方法
CN111898750A (zh) * 2020-06-29 2020-11-06 北京大学 基于进化算法的神经网络模型压缩方法及装置
CN112132005A (zh) * 2020-09-21 2020-12-25 福州大学 一种基于聚类分析与模型压缩的人脸检测方法
CN112381763A (zh) * 2020-10-23 2021-02-19 西安科锐盛创新科技有限公司 一种表面缺陷检测方法
CN112329721A (zh) * 2020-11-26 2021-02-05 上海电力大学 一种模型轻量化设计的遥感小目标检测方法
CN112464579A (zh) * 2021-02-02 2021-03-09 四川大学 基于进化神经网络结构搜索食管癌病变区域识别建模方法

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
Convolutional Neural Network for Early Detection of Gastric Cancer by Endoscopic Video Analysis;Anton Lebedev等;《ICMV 2019》;20200131;1-7 *
Detection of Early Gastric Cancer Based on Single Shot Detector with Feature Enhancement;Dongsheng Pan等;《2020 IEEE International Conference on Bioinformatics and Biomedicine (BIBM)》;20210113;1091-1095 *
Evolutionary Compression of Deep Neural Networks for Biomedical Image Segmentation;Yao Zhou等;《IEEE TRANSACTIONS ON NEURAL NETWORKS AND LEARNING SYSTEMS》;20200830;第31卷(第8期);正文第II-IV节 *
基于深度学习的 ME-NBI早期胃癌图像识别系统的设计与实现;胡耀;《中国优秀硕士学位论文全文数据库 医药卫生科技辑》;20210115(第01期);E072-511 *
基于遗传算法的卷积神经网络模型压缩技术研究;虎泽华;《中国优秀硕士学位论文全文数据库 信息科技辑》;20210215(第02期);I140-184 *
基于遗传算法的深度神经网络模型自动压缩研究及应用;任怀胜;《中国优秀硕士学位论文全文数据库 信息科技辑》;20190915(第09期);正文第二、三章 *
深度网络模型压缩综述;雷杰等;《http://kns.cnki.net/kcms/detail/11.2560.TP.20171204.0857.018.html》;20171201;1-16 *
面向轻量化神经网络的模型压缩与结构搜索;梁峰等;《西安交通大学学报》;20201130;第54卷(第11期);106-112 *

Also Published As

Publication number Publication date
CN112580639A (zh) 2021-03-30

Similar Documents

Publication Publication Date Title
CN112580639B (zh) 一种基于进化神经网络模型压缩的早期胃癌图像识别方法
CN111369565B (zh) 一种基于图卷积网络的数字病理图像的分割与分类方法
CN111882560B (zh) 一种基于加权全卷积神经网络的肺实质ct图像分割方法
CN114846507A (zh) 用于使用人工智能（ai）模型进行非侵入性基因检测的方法和系统
Mao et al. Feature representation using deep autoencoder for lung nodule image classification
US11475562B2 (en) Fissurenet: a deep learning approach for pulmonary fissure detection in CT images
CN113487614B (zh) 胎儿超声标准切面图像识别网络模型的训练方法和装置
CN113327258A (zh) 一种基于深度学习的肺部ct图像识别方法
US11587231B2 (en) Comprehensive detection device and method for cancerous region
CN112884788B (zh) 基于丰富上下文网络的视杯视盘分割方法及成像方法
CN115019405A (zh) 一种基于多模态融合的肿瘤分类方法及系统
CN112396605A (zh) 网络训练方法及装置、图像识别方法和电子设备
CN112348800A (zh) 融合多尺度特征的密集神经网络肺部肿瘤图像识别方法
CN115409815A (zh) 一种基于三维可变形transformer的肺结节检测方法
CN112288749A (zh) 一种基于深度迭代融合深度学习模型的颅骨图像分割方法
CN111179277B (zh) 一种无监督自适应乳腺病变分割方法
CN115984555A (zh) 一种基于深度自编码器构图的冠状动脉狭窄识别方法
CN114140437A (zh) 一种基于深度学习的眼底硬渗出物分割方法
Guo et al. Encoder-decoder contrast for unsupervised anomaly detection in medical images
CN117576383A (zh) 一种基于注意力解码的可信息肉分割方法及系统
CN116228759A (zh) 肾细胞癌类型的计算机辅助诊断系统及设备
CN116433654A (zh) 一种改进的U-Net网络实现脊柱整体分割方法
CN114445426B (zh) 内窥镜图像中息肉区域的分割方法、装置及相关组件
CN116091446A (zh) 食管内窥镜图像的异常检测方法、系统、介质及设备
CN114418949A (zh) 基于三维u型网络与通道注意力的肺结节检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant