CN111428734A - 一种基于残差对抗推理学习的图像特征提取方法、装置和计算机可读存储介质 - Google Patents

一种基于残差对抗推理学习的图像特征提取方法、装置和计算机可读存储介质 Download PDF

Info

Publication number
CN111428734A
CN111428734A CN202010186583.7A CN202010186583A CN111428734A CN 111428734 A CN111428734 A CN 111428734A CN 202010186583 A CN202010186583 A CN 202010186583A CN 111428734 A CN111428734 A CN 111428734A
Authority
CN
China
Prior art keywords
data
countermeasure
residual
network
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010186583.7A
Other languages
English (en)
Other versions
CN111428734B (zh
Inventor
吴强
崔晓萌
刘琚
孙双
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN202010186583.7A priority Critical patent/CN111428734B/zh
Publication of CN111428734A publication Critical patent/CN111428734A/zh
Application granted granted Critical
Publication of CN111428734B publication Critical patent/CN111428734B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明公开了一种基于残差对抗推理学习网络的图像特征提取方法，用于对磁共振图像进行分析，利用提取到的特征对每个对象的磁共振影像进行长期、中期、短期的分类。该方法首先，对磁共振影像数据进行预处理，提取具有目标对象的大部分区域即感兴趣区域，如肿瘤所在的大部分区域；其次，对预处理好的数据进行训练集、验证集的划分；再次，利用训练集数据训练残差对抗推理学习模型并将其中的编码器部分参数保存下来，提取验证集数据的深层特征；最后，将提取到的特征送入SVM里进行分类，获取最终结果。我们利用BraTS2019数据集进行验证，与传统的特征提取方法相比，基于残差对抗推理学习的具有相对较好的结果。

Description

一种基于残差对抗推理学习的图像特征提取方法、装置和计 算机可读存储介质
技术领域
本发明涉及了一种基于残差对抗推理学习网络Res-ALI的图像特征提取方法、装置和计算机可读存储介质，属于图像处理与分析技术领域。
背景技术
图像的分类是计算机视觉中重要的基本问题之一，其目标是根据图像的像素特征及其他特征对图像所属类别进行非人为的区分，以利于后续人为对图像的分析。图像分类在自然语言处理、信息检索、手写体辨识、智能医疗等领域得到广泛利用。近年来，计算机硬件设备及计算能力的发展，为机器学习的发展带来了新的前景，以神经网络为基础的深度学习技术得以发展和应用，进一步推动了图像分类的发展。
随着医学图像在临床诊断、医学研究等领域的广泛应用，利用机器学习等分析方法对医学图像进行分析处理成为研究的热点。通过对图像的分类，可以对图像进行定量分析从而实现诊断辅助与预后评估，为后续的诊断以及治疗方案的选择提供了一定的帮助。
传统的分类方法一般先利用方差(Variance，VAR)、互信息(Mutual Information，MI)或者主成分分析(Principal Component Analysis，PCA)进行像素级别的特征提取，再利用支持向量机(Support Vector Machine，SVM)等分类器进行分类。深度学习的发展，将特征提取与图像分类融合为了一个模型。基于像素级别的特征虽然可以对图像分类有一定的意义，但是缺少了对图像深层特征的分析与利用，基于神经网络的深度学习则通过将图像映射到高维度，可以提取图像深层次的特征。自编码器(Auto-Encoder，AE)可以通过将图像映射到隐空间中拟合隐变量分布从而提取隐空间中图像的深层特征，但是随着对编码器部分卷积层数的增加，会产生网络退化等问题，因此需要对该问题进行解决。
发明内容
传统的自编码器仅有推理机制，而缺少对抗机制。并且，随着编码器部分卷积层数的增加，会发生网络退化的问题。针对以上问题，本发明提出了一种基于残差对抗推理学习的模型方法，通过增加对抗机制及残差映射，增强图像隐空间深层特征的提取，从而提高图像分类的准确率。
本发明的技术方案：
一种基于残差对抗推理学习的图像特征提取方法，利用残差对抗推理机制对图像隐空间进行分析提取深层特征，具体步骤包括：
(一)数据预处理：首先，对每个分类对象进行标签的标记，其次，对每个磁共振图像的T1、T2、Flair、T1c四个模态提取感兴趣区域，再次，将提取到的图像数据进行归一化处理如下式所述
Figure BDA0002414413760000011
X为磁共振图像某一模态数据，μ为输入数据的均值，σ为输入数据的方差，X′为归一化处理后的数据，最后，将四个模态在通道维度进行融合，形成多模态数据；
(二)对抗推理学习网络：将自编码器部分的推理机制与生成对抗网络的对抗机制进行结合，即将自编码器作为生成对抗网络的生成器部分，利用生成对抗网络的判别器对编码器与解码器进行判别，由此得到对抗推理学习网络，使得网络可以对数据与数据隐变量的联合分布进行学习；
(三)残差对抗推理网络：为解决对抗推理学习网络中网络模型过大和编码器部分层数过多导致的网络退化问题，对编码器部分加入残差映射如下所示：
y＝g(f(x,{Wi})+Wsx)
y是卷积层的输出，g(·)表示激活函数，f(x,{Wi})表示残差映射需要学习的部分，x是残差映射的输入，{Wi}表示对残差映射所需的参数，Wsx是恒等映射；
(四)特征提取器：利用步骤(三)得到的残差对抗推理网络中的编码器对步骤(一)得到的多模态数据进行分析，得到多模态图像隐空间中的深层特征，同时，保存最终的训练网络；
(五)分类：根据步骤(四)提取到的深层特征放入支持向量机中进行分类。
在对模型训练中，需要对多模态数据进行顺序的打乱，将所有数据平均分成k份，取其中的一份作为验证集，剩下的k-1份作为训练集进行k折交叉验证，获得最终结果。
本发明还包括一种图像处理装置，该装置包括数据预处理部件、存储器和处理器，
其中，所述数据预处理部件是对数据集进行数据标签的标记、感兴趣区域的提取、归一化处理、多模态数据融合；数据为多模态时，在通道维度进行融合形成多模态数据；
所述存储器存储有相关计算机程序，程序被处理器执行时能够实现如前所述方法的步骤(二)至步骤(五)。
本发明还包括一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被执行时实现上述方法的步骤。
附图说明
图1是本发明基于残差对抗推理学习特征提取的图像分类示意框图；
图2是本发明数据预处理感兴趣区域提取示意图；
图3是本发明图像处理装置示意图。
具体实施方式
下面结合附图对本发明技术进行具体说明。
如图1所示，本发明基于残差对抗推理学习特征提取的图像分类示意框图如下文所述：
(一)数据预处理模块：首先，对每个分类对象进行标签的标记，按照MICCAI竞赛的叙述进行标记。例如，如果是进行生存周期分类，则可以将短期(生存周期少于300天)标为0，中期(生存周期在300至450天)标记为1，长期(生存周期大于450天)标记为2；其次，对每个对象的磁共振图像T1、T2、Flair、T1c四个模态提取感兴趣区域(下文具体介绍附图2的步骤)，此处每个模态图像选择的数据大小为100×150×150×1，其中100表示每个3D数据的层数，150×150表示每一层图像的大小，1表示数据的通道数；再次，对提取目标大部分区域的数据进行归一化处理；最后，对多模态数据在通道数处进行多模态数据融合，此处一个数据大小即为100×150×150×4，一共有210个数据，因此所有数据最终大小为210×100×150×150×4；
(二)训练集、验证集划分：对210个数据进行顺序上的打乱，平均分为k份，其中将1份作为验证集，k-1份作为训练集。
(三)特征提取器：构建残差对抗推理学习Res-ALI模型，首先，将训练集放入Res-ALI中对网络进行训练，Res-ALI有三部分组成，包括编码器部分、解码器部分以及判别器部分，其中编码器部分共有12层卷积构成，最后两层是替代全连接层的全连接卷积层，其中有3个组(block)包括两个3D卷积层以及一个残差映射，与普通神经网络不同，采用的第二个卷积层步长为2替代大部分神经网络的池化层，为防止梯度弥散，每个卷积层后都增加了批归一化层，编码器部分采用了重参数化(reparametrization)技巧z＝μ+σε，
Figure BDA0002414413760000031
其中
Figure BDA0002414413760000032
解码器部分与编码器部分进行一一对应，有12层3D反卷积层组成，最后两层是替代全连接层的全连接卷积层；判别器部分用于对数据真实分布与隐空间分布的联合分布进行判别；将编码器部分作为隐空间深层特征提取器，在进行特征提取时，保持训练的编码器参数不变，将数据送入该特征提取器中进行特征提取；
(四)将步骤(三)提取到的特征按照步骤(二)划分的训练集验证集放入SVM里面进行分类，并与步骤(一)标记的标签进行对比，获取最终的分类准确率
如图2所示，本发明数据预处理感兴趣区域提取示意图具体步骤如下所述：
(一)将图像的感兴趣区域进行提取，根据具体应用，感兴趣区域可能是肿瘤的大部分区域所在处，或者目标对象大部分区域所在处，根据分割标签(Ground Truth)提取出所有患者肿瘤区域的像素位置，并根据这些像素位置选出最大的像素位置点，以方便每个对象的每个模态图像都能包含目标对象的大部分区域。
(二)为了解决最大像素位置点的特异性，选择折中的方案，使大部分对象的多模态图像能包含有目标的大部分区域，选取的肿瘤部分由肿瘤所在区域的中间坐标位置，向两侧分别提取相同的层数，最终提取数据大小100×150×150×1
图3包括三个主要部件，数据预处理部件、处理器及存储器，其中数据预处理部件能够实现上述图2的所有步骤；处理器可用于执行所述图1中的步骤(一)至步骤(四)；存储器部分用于存储所有步骤中用到的计算机程序、处理后的数据、并且可以存储最终的训练模型。
本发明的效果可以通过实验结果进一步说明。
实验用的数据集为BraTS2019，共有210个对象的多模态数据，将数据平均分为5份，其中1份作为验证集共有验证集数据42个，剩下的164个数据作为训练集，利用Res-ALI特征提取器进行隐空间深层特征的提取，并利用SVM进行分类，表1通过与传统特征提取方法VAR、PCA、MI及深度学习特征提取方法AE、ALI进行分类准确率与标准差的对比。
表1
实验方法 平均分类准确率±标准差
VAR 0.3619±0.1183
PCA 0.3667±0.0213
MI 0.3905±0.0686
AE 0.4572±0.0409
ALI 0.5048±0.0280
Res-ALI 0.5428±0.0276

Claims (3)

1.一种基于残差对抗推理学习的图像特征提取方法，利用残差对抗推理机制对图像隐空间进行分析提取深层特征，具体步骤包括：
(一)数据预处理：首先，对每个分类对象进行标签的标记，其次，对每个磁共振图像的T1、T2、Flair、T1c四个模态提取感兴趣区域，再次，将提取到的图像数据进行归一化处理如下式所述
Figure FDA0002414413750000011
X为磁共振图像某一模态数据，μ为输入数据的均值，σ为输入数据的方差，X′为归一化处理后的数据，最后，将四个模态在通道维度进行融合，形成多模态数据；
(二)对抗推理学习网络：将自编码器部分的推理机制与生成对抗网络的对抗机制进行结合，即将自编码器作为生成对抗网络的生成器部分，利用生成对抗网络的判别器对编码器与解码器进行判别，由此得到对抗推理学习网络，使得网络可以对数据与数据隐变量的联合分布进行学习；
(三)残差对抗推理网络：为解决对抗推理学习网络中网络模型过大和编码器部分层数过多导致的网络退化问题，对编码器部分加入残差映射如下所示：
y＝g(f(x,{Wi})+Wsx)
y是卷积层的输出，g(·)表示激活函数，f(x,{Wi})表示残差映射需要学习的部分，x是残差映射的输入，{Wi}表示对残差映射所需的参数，Wsx是恒等映射；
(四)特征提取器：利用步骤(三)得到的残差对抗推理网络中的编码器对步骤(一)得到的多模态数据进行分析，得到多模态图像隐空间中的深层特征，同时，保存最终的训练网络；
(五)分类：根据步骤(四)提取到的深层特征放入支持向量机中进行分类。
2.一种图像处理装置，该装置包括数据预处理部件、存储器和处理器，其中，
所述数据预处理部件是对数据集进行数据标签的标记、感兴趣区域的提取、归一化处理、多模态数据融合；数据为多模态时，在通道维度进行融合形成多模态数据；
所述存储器存储有相关计算机程序，程序被处理器执行时能够实现如权利要求1所述方法的步骤(二)至步骤(五)。
3.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被执行时实现权利要求1所述方法的步骤。
CN202010186583.7A 2020-03-17 2020-03-17 一种基于残差对抗推理学习的图像特征提取方法、装置和计算机可读存储介质 Active CN111428734B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010186583.7A CN111428734B (zh) 2020-03-17 2020-03-17 一种基于残差对抗推理学习的图像特征提取方法、装置和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010186583.7A CN111428734B (zh) 2020-03-17 2020-03-17 一种基于残差对抗推理学习的图像特征提取方法、装置和计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN111428734A true CN111428734A (zh) 2020-07-17
CN111428734B CN111428734B (zh) 2022-08-09

Family

ID=71546382

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010186583.7A Active CN111428734B (zh) 2020-03-17 2020-03-17 一种基于残差对抗推理学习的图像特征提取方法、装置和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN111428734B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116309662A (zh) * 2022-12-16 2023-06-23 北京医准智能科技有限公司 图像处理方法、装置、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109523463A (zh) * 2018-11-20 2019-03-26 中山大学 一种基于条件生成对抗网络的人脸老化方法
CN109543745A (zh) * 2018-11-20 2019-03-29 江南大学 基于条件对抗自编码网络的特征学习方法及图像识别方法
US20190147320A1 (en) * 2017-11-15 2019-05-16 Uber Technologies, Inc. "Matching Adversarial Networks"
CN110084766A (zh) * 2019-05-08 2019-08-02 北京市商汤科技开发有限公司 一种图像处理方法、装置和电子设备
CN110322416A (zh) * 2019-07-09 2019-10-11 腾讯科技（深圳）有限公司 图像数据处理方法、装置以及计算机可读存储介质
CN110516747A (zh) * 2019-08-29 2019-11-29 电子科技大学 基于对抗生成网络和自编码结合的肺结节良恶性分类方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190147320A1 (en) * 2017-11-15 2019-05-16 Uber Technologies, Inc. "Matching Adversarial Networks"
CN109523463A (zh) * 2018-11-20 2019-03-26 中山大学 一种基于条件生成对抗网络的人脸老化方法
CN109543745A (zh) * 2018-11-20 2019-03-29 江南大学 基于条件对抗自编码网络的特征学习方法及图像识别方法
CN110084766A (zh) * 2019-05-08 2019-08-02 北京市商汤科技开发有限公司 一种图像处理方法、装置和电子设备
CN110322416A (zh) * 2019-07-09 2019-10-11 腾讯科技（深圳）有限公司 图像数据处理方法、装置以及计算机可读存储介质
CN110516747A (zh) * 2019-08-29 2019-11-29 电子科技大学 基于对抗生成网络和自编码结合的肺结节良恶性分类方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
姚哲维 等: "改进型循环生成对抗网络的血管内超声图像增强", 《计算机科学》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116309662A (zh) * 2022-12-16 2023-06-23 北京医准智能科技有限公司 图像处理方法、装置、设备及存储介质
CN116309662B (zh) * 2022-12-16 2023-12-15 浙江医准智能科技有限公司 图像处理方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN111428734B (zh) 2022-08-09

Similar Documents

Publication Publication Date Title
CN113378632B (zh) 一种基于伪标签优化的无监督域适应行人重识别方法
US11195051B2 (en) Method for person re-identification based on deep model with multi-loss fusion training strategy
Zhang et al. Detection of co-salient objects by looking deep and wide
CN110532900B (zh) 基于U-Net和LS-CNN的人脸表情识别方法
CN109671102B (zh) 一种基于深度特征融合卷积神经网络的综合式目标跟踪方法
CN109101938B (zh) 一种基于卷积神经网络的多标签年龄估计方法
CN112784763A (zh) 基于局部与整体特征自适应融合的表情识别方法及系统
CN104281572B (zh) 一种基于互信息的目标匹配方法及其系统
Liu et al. Finger vein recognition with superpixel-based features
CN106408037A (zh) 图像识别方法及装置
CN110675421B (zh) 基于少量标注框的深度图像协同分割方法
CN110992351A (zh) 基于多输入卷积神经网络的sMRI图像分类方法和装置
CN110837777A (zh) 基于改进VGG-Net的部分遮挡的人脸表情识别方法
CN112949740A (zh) 一种基于多级度量的小样本图像分类方法
CN105956570A (zh) 基于唇部特征和深度学习的笑脸识别方法
CN113705596A (zh) 图像识别方法、装置、计算机设备和存储介质
Sun et al. 3d segmentation of pulmonary nodules based on multi-view and semi-supervised
Yu et al. Exemplar-based recursive instance segmentation with application to plant image analysis
CN110737788B (zh) 快速的三维模型索引建立及检索方法
CN115984930A (zh) 微表情识别方法、装置、微表情识别模型的训练方法
CN111428734B (zh) 一种基于残差对抗推理学习的图像特征提取方法、装置和计算机可读存储介质
CN114372926A (zh) 一种基于图像修复与卷积神经网络的中医舌质老嫩识别方法
CN107729863B (zh) 人体指静脉识别方法
Budhi et al. Acne segmentation and classification using region growing and self-organizing map
CN110909678B (zh) 一种基于宽度学习网络特征提取的人脸识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant