CN110993094A - 一种基于医学图像的智能辅助诊断方法及终端 - Google Patents

一种基于医学图像的智能辅助诊断方法及终端 Download PDF

Info

Publication number
CN110993094A
CN110993094A CN201911137014.7A CN201911137014A CN110993094A CN 110993094 A CN110993094 A CN 110993094A CN 201911137014 A CN201911137014 A CN 201911137014A CN 110993094 A CN110993094 A CN 110993094A
Authority
CN
China
Prior art keywords
image
preset
model
classification
feature map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911137014.7A
Other languages
English (en)
Other versions
CN110993094B (zh
Inventor
王书强
余雯
申妍燕
陈卓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN201911137014.7A priority Critical patent/CN110993094B/zh
Publication of CN110993094A publication Critical patent/CN110993094A/zh
Application granted granted Critical
Publication of CN110993094B publication Critical patent/CN110993094B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Pathology (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请适用于计算机技术领域，提供了一种基于医学图像的智能辅助诊断方法及终端，包括：获取待分类医学图像；对待分类医学图像进行预处理，得到预处理图像；将预处理图像输入已训练的分类模型进行分类处理，得到预处理图像对应的分类类别；其中，该分类模型包含经过张量化后的网络层以及二阶池化模块。上述方式，终端获取待分类医学图像；对待分类医学图像进行预处理，得到预处理图像；基于已训练的分类模型对预处理图像进行分类处理，得到对应的分类诊断结果。由于已训练的分类模型中包含经过张量分解后的网络层以及二阶池化模块，基于该分类模型对图像处理时，能提取与病变相关的更有判别性的特征，进而提升医学图像分类的准确率。

Description

一种基于医学图像的智能辅助诊断方法及终端
技术领域
本申请属于计算机技术领域，尤其涉及一种基于医学图像的智能辅助诊断方法及终端。
背景技术
目前，随着社会的发展，基于深度网络模型对医学图像分类进行智能辅助诊断的应用越来越广泛。然而，传统的深度网络模型对医学图像处理时，丢失了组织结构的内部信息和不同区域之间的相关性信息，这种空间结构信息的丢失最终将导致分类结果不准确，严重影响疾病智能辅助诊断模型的性能。
发明内容
有鉴于此，本申请实施例提供了一种基于医学图像的智能辅助诊断方法及终端，以解决传统的深度网络模型对医学图像处理时，丢失了大量图像的内部结构信息和内部相关性信息，导致分类结果不准确的问题。
本申请实施例的第一方面提供了一种基于医学图像的智能辅助诊断方法，包括：
获取待分类医学图像；
对所述待分类医学图像进行预处理，得到预处理图像；
将所述预处理图像输入已训练的分类模型进行分类处理，得到所述预处理图像对应的分类类别；其中，所述分类模型包含经过张量化后的网络层以及二阶池化模块；所述分类模型是基于预设生成器模型、预设判别器模型以及预设分类器模型，对样本图像以及样本图像对应的分类类别进行训练得到的三元生成对抗网络。
进一步地，为了使提取到的全局高阶特征图保留更多的重要特征信息，进而提高分类模型分类的准确率，将所述预处理图像输入已训练的分类模型进行分类处理，得到所述预处理图像对应的分类类别包括：采用所述分类器模型对所述预处理图像进行归一化处理，得到目标图像；
采用所述分类器模型提取所述目标图像中的关键特征，得到全局高阶特征图；
采用所述分类器模型获取所述全局高阶特征图对应的所述分类类别。
进一步地，为了提取到包含更多特征信息的全局高阶特征图，采用所述分类器模型提取所述目标图像中的关键特征，得到全局高阶特征图包括：通过所述分类器模型中的所述张量化后的网络层提取所述目标图像中的特征，得到第一特征图；
通过所述分类器模型中的所述二阶池化模块对所述第一特征图进行通道降维，得到降维后的第二特征图；
计算所述第二特征图对应的权重向量；
基于所述权重向量对所述第一特征图进行加权，得到所述全局高阶特征图。
进一步地，为了提高图像分类的准确率，本申请还包括：
基于预设生成器模型、预设判别器模型以及预设分类器模型，对样本图像以及样本图像对应的分类类别进行训练得到三元生成对抗网络；
从所述三元生成对抗网络中获取所述已训练的分类器模型。
进一步地，为了提高图像分类的准确率以及分类的速度，基于预设生成器模型、预设判别器模型以及预设分类器模型，对样本图像以及样本图像对应的分类类别进行训练得到三元生成对抗网络包括：基于预设分类标注、一维高斯随机向量以及所述预设生成器模型，生成合成图像标注对；
基于所述样本图像以及所述预设分类器模型，预测所述样本图像对应的样本图像标注对；
将所述样本图像标注对、预设真实图像标注对以及所述合成图像标注对输入所述预设判别器模型进行判别处理，得到所述样本图像标注对所对应的第一判别结果、所述预设真实图像标注对所对应的第二判别结果以及所述合成图像标注对所对应的第三判别结果；
基于所述第一判别结果、所述第二判别结果以及所述第三判别结果，计算所述预设生成器模型对应的第一损失函数、所述预设判别器模型对应的第二损失函数以及所述预设分类器模型对应的第三损失函数；
基于所述第一损失函数、所述第二损失函数以及所述第三损失函数通过反向传播算法梯度下降分别更新所述预设生成器模型、所述预设判别器模型以及所述预设分类器模型各自对应的网络参数；
当所述第一损失函数、所述第二损失函数以及所述第三损失函数均收敛时，停止训练，得到所述三元生成对抗网络。
进一步地，为了减少训练网络模型过程中对医学图像的需求，可以通过预设生成器模型生成带有分类标注的合成图像，基于预设分类标注、一维高斯随机向量以及所述预设生成器模型，生成合成图像标注对包括：将所述预设分类标注级联至所述张量化后的网络层，并基于所述一维高斯随机向量生成目标特征图；
基于所述张量化后的网络层将所述目标特征图逐层放大，生成目标合成图像；
基于所述目标合成图像以及所述预设分类标注，生成所述带有分类标注的合成图像。
进一步地，为了提高分类模型的分类性能，进而提高图像分类的准确率，将所述样本图像标注对、预设真实图像标注对以及所述合成图像标注对输入所述预设判别器模型进行判别处理，得到所述样本图像标注对所对应的第一判别结果、所述预设真实图像标注对所对应的第二判别结果以及所述合成图像标注对所对应的第三判别结果包括：
基于所述张量化后的密集型卷积神经网络提取所述样本图像标注对的特征信息，得到所述样本图像标注对所对应的样本特征图；
基于所述张量化后的密集型卷积神经网络提取所述预设真实图像标注对的特征信息，得到所述预设真实样本图像标注对所对应的真实特征图；
基于所述张量化后的密集型卷积神经网络提取所述合成图像标注对中的特征信息，得到所述合成图像标注对所对应的合成特征图；
基于所述预设判别器模型对所述样本特征图、所述真实特征图以及所述合成特征图分别进行判别处理，得到所述第一判别结果、所述第二判别结果以及所述第三判别结果。
本发明实施例的第二方面提供了一种基于医学图像的智能辅助诊断终端，该终端包括：
获取单元，用于获取待分类医学图像；
预处理单元，用于对所述待分类医学图像进行预处理，得到预处理图像；
分类单元，用于将所述预处理图像输入已训练的分类模型进行分类处理，得到所述预处理图像对应的分类类别；其中，所述分类模型包含经过张量化后的网络层以及二阶池化模块；所述分类模型是基于预设生成器模型、预设判别器模型以及预设分类器模型，对样本图像以及样本图像对应的分类类别进行训练得到的三元生成对抗网络。
本发明实施例的第三方面提供了另一种终端，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，其中，所述存储器用于存储支持终端执行上述方法的计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行以下步骤：
获取待分类医学图像；
对所述待分类医学图像进行预处理，得到预处理图像；
将所述预处理图像输入已训练的分类模型进行分类处理，得到所述预处理图像对应的分类类别；其中，所述分类模型包含经过张量化后的网络层以及二阶池化模块；所述分类模型是基于预设生成器模型、预设判别器模型以及预设分类器模型，对样本图像以及样本图像对应的分类类别进行训练得到的三元生成对抗网络。
本发明实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取待分类医学图像；
对所述待分类医学图像进行预处理，得到预处理图像；
将所述预处理图像输入已训练的分类模型进行分类处理，得到所述预处理图像对应的分类类别；其中，所述分类模型包含经过张量化后的网络层以及二阶池化模块；所述分类模型是基于预设生成器模型、预设判别器模型以及预设分类器模型，对样本图像以及样本图像对应的分类类别进行训练得到的三元生成对抗网络。
本申请实施例提供的一种基于医学图像的智能辅助诊断方法及终端具有以下有益效果：
本申请实施例，通过终端获取待分类医学图像；对待分类医学图像进行预处理，得到预处理图像；基于已训练的分类模型对预处理图像进行分类处理，得到对应的分类结果。由于该已训练的分类模型中包含经过张量分解后的网络层以及二阶池化模块，基于该分类模型对医学图像处理时，保留了医学图像的内部结构信息和内部相关性，二阶池化模块通过医学图像不同区域的依赖关系和高阶特征不同通道间的相关性信息，在自注意力机制的作用下，使重要的特征通道权重大，不重要的通道权重小，从而提取与病变相关的更有判别性的特征，提高疾病智能辅助诊断的准确率。进一步地，本申请中基于三元生成对抗网络对图像进行分类，在传统二元生成对抗网络的生成器和判别器的基础上加入了分类器网络模型，通过设计兼容性的损失函数缓解传统二元生成对抗网络训练不稳定的问题，解决了二元生成对抗网络判别器同时完成分类和判别真假两个任务目标收敛点不一致的问题，使生成器模型和分类器模型通过协作训练的方式替代传统二元生成对抗网络的生成对抗的训练方式，从而使生成器模型和分类器模型能够同时达到最优，加快收敛，使生成对抗网络更容易达到纳什均衡。本申请中对医学图像进行分类时，通过张量化方法替代传统的向量化方法压缩三元生成对抗网络中的每个网络层，在减少参数的同时对网络模型起到正则化效果，解决了高分辨率图像在分类和识别时参数量过大、过拟合的问题；且通过张量化方法能够保持内部空间结构信息和不同体素之间的内部相关性，解决了向量化网络层的内部结构信息损失问题；本申请中通过二阶池化替代传统的一阶池化(最大池化或者平均池化)，充分利用整体图像的二阶信息在自注意力机制的作用下自动提取更有判别性的特征，提高分类器模型分类的准确率；本申请中的三元生成对抗网络通过预设生成器模型、预设判别器模型和预设分类器模型采用半监督学习方式共同配合训练，减弱了网络模型对图像标注信息的需求，充分利用无标注数据，进而实现具有高精度、高鲁棒性的智能网络模型；且减少了参数数量，提高了计算效率，有助于降低对终端的性能要求，从而加快患者的疾病诊断过程。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一实施例提供的一种基于医学图像的智能辅助诊断方法的实现流程图；
图2是本申请提供的已训练的分类器模型的结构示意图；
图3是本申请提供的二阶池化模块的结构示意图；
图4是本申请另一实施例提供的一种基于医学图像的智能辅助诊断方法的实现流程图；
图5是本申请提供的三元生成对抗网络的结构示意图；
图6是本申请一实施例提供的一种基于医学图像的智能辅助诊断终端的示意图；
图7是本申请另一实施例提供的一种终端的示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例提供了一种基于医学图像的智能辅助诊断方法，可应用于对医学图像进行分类。本发明能够高效处理高维输入数据的同时保证最优的分类性能，具有较强的实用性和推广性。适用于所有能用医学图像进行诊断的疾病分类任务，为方便描述，本专利以阿尔茨海默症为例。可通过该方法对脑部核磁共振成像(Magnetic Resonance Imaging，MRI)进行分类，根据分类结果如正常老人、轻度认知障碍和阿尔茨海默症，对阿尔茨海默症(Alzheimer’s disease，AD)进行智能辅助诊断。具体地，基于预设生成器模型、预设判别器模型以及预设分类器模型，对样本图像以及样本图像对应的分类类别进行训练得到三元生成对抗网络，训练好的三元生成对抗网络中包含已训练的生成器模型、已训练的判别器模型、已训练的分类器模型，基于已训练的分类器模型对MRI图像进行分类，得到对应的分类结果。其中，训练好的三元生成对抗网络中包含经过张量分解后的网络层以及二阶池化模块。
本申请中基于三元生成对抗网络对图像进行分类，相比传统的二元生成对抗网络来说，缓解了传统生成对抗网络训练不稳定的问题，解决了传统二元生成对抗网络中判别器同时判别真假和分类两个目标任务的收敛点不一致的问题；本申请中对图像进行分类时，通过张量化方法替代传统的向量化方法压缩三元生成对抗网络中的每个网络层，在减少参数的同时对网络模型起到正则化效果，解决了高分辨率图像在分类和识别时参数量过大、过拟合的问题；且通过张量化方法能够保持内部空间结构信息和不同体素之间的内部相关性，解决了向量化网络层的内部结构损失问题。本申请中通过二阶池化替代传统的一阶池化(最大池化或者平均池化)，充分利用整体图像的二阶信息在自注意力机制的作用下自动提取更有判别性的特征，提高分类器分类的准确率。本申请中的三元生成对抗网络将预设生成器模型、预设判别器模型、预设分类器模型采用半监督学习方式共同配合训练，减弱了网络模型对图像标注信息的需求，充分利用无标注数据，进而实现具有高精度、高鲁棒性的智能网络模型；且减少了参数数量，提高了计算效率，有助于降低对终端的性能要求，加快了医学图像分类的速度，提高疾病诊断效率。
请参见图1，图1是本申请实施例提供的一种基于医学图像的智能辅助诊断方法的示意流程图。本实施例中智能辅助诊断方法的执行主体为终端，终端包括但不限于智能手机、平板电脑、个人数字助理(Personal Digital Assistant，PDA)等移动终端，还可以包括台式电脑等终端。如图1所示的智能辅助诊断方法可包括：
S101：获取待分类医学图像。
终端在检测到医学图像分类指令时，获取待分类医学图像。医学图像分类指令是用于指示终端进行医学图像分类的指令。图像分类指令可以由用户触发，如医生点击终端中的图像分类选项。获取待分类医学图像可以是用户上传至终端的待分类医学图像，也可以是终端根据图像分类指令中包含的文件标识，获取该文件标识对应的文本文件，并提取文本文件中的待分类医学图像。
S102：对所述待分类医学图像进行预处理，得到预处理图像。
终端对待分类医学图像进行预处理，得到预处理图像。具体地，终端将待分类医学图像处理为单颜色通道图像，将单颜色通道图像进行拼接，得到预处理图像。单颜色通道图像为由一种颜色元素的信息组成的颜色通道图像。保存图像颜色信息的通道称为颜色通道,每个颜色通道都存放着图像中颜色元素的信息。例如，在RGB色彩模式(RGB colormode，RGB)中，R表示一个红色通道，G表示一个绿色通道，B表示一个蓝色通道。终端可以通过调用预设函数将待分类医学图像的通道模式转换为多个单颜色通道图像；通过调用的预设函数将多个单颜色通道图像拼接，得到预处理图像。
S103：将所述预处理图像输入已训练的分类模型进行分类处理，得到所述预处理图像对应的分类类别；其中，所述分类模型包含经过张量化后的网络层以及二阶池化模块；所述分类模型是基于预设生成器模型、预设判别器模型以及预设分类器模型，对样本图像以及样本图像对应的分类类别进行训练得到的三元生成对抗网络。
终端将预处理图像输入已训练的分类模型进行分类处理，得到与预处理图像对应的分类类别。其中，已训练的分类模型是基于预设生成器模型、预设判别器模型以及预设分类器模型，对样本图像以及样本图像对应的分类类别进行训练得到的三元生成对抗网络；该已训练的分类模型中包含经过张量分解后的网络层以及二阶池化模块。
在训练过程中，预设生成器模型、预设判别器模型以及预设分类器模型三者相互配合、共同协作对训练数据进行训练，得到训练好的三元生成对抗网络。其中，训练数据可以包括样本图像、样本图像对应的分类类别(即预设真实图像标注)和无标注的样本图像；具体地，终端基于预设分类标注、一维高斯随机向量以及预设生成器模型，生成带有分类标注的合成图像，最终生成合成图像标注对；基于样本图像以及预设分类器模型，预测得到样本图像对应的样本图像标注对；将样本图像标注对、预设真实图像标注对以及合成图像标注对输入预设判别器模型进行判别处理，得到样本图像标注对所对应的第一判别结果、预设真实图像标注对所对应的第二判别结果以及合成图像标注对所对应的第三判别结果；基于第一判别结果、第二判别结果以及第三判别结果，计算预设生成器模型对应的第一损失函数、预设判别器模型对应的第二损失函数以及预设分类器模型对应的第三损失函数；基于第一损失函数、第二损失函数以及第三损失函数分别通过反向传播算法梯度下降更新预设生成器模型、预设判别器模型以及预设分类器模型各自对应的网络参数；当第一损失函数、第二损失函数以及第三损失函数均收敛时，停止训练，得到三元生成对抗网络，即得到已训练的分类模型；已训练的分类模型中包含已训练的生成器模型、已训练的判别器模型和已训练的分类器模型。将预处理图像输入已训练的分类器模型，已训练的分类器模型对预处理图像进行归一化处理，得到目标图像；采用已训练的分类器模型提取目标图像中的关键特征，得到全局高阶特征图；已训练的分类器模型获取全局高阶特征图对应的分类类别并输出该分类类别，即得到预处理图像对应的分类类别。
进一步地，为了使提取到的全局高阶特征图保留更多的重要特征信息，进而提高分类模型分类的准确率，S103可以包括S1031-S1033，具体如下：
S1031：采用所述分类器模型对所述预处理图像进行归一化处理，得到目标图像。
已训练的分类模型中包含已训练的生成器模型、已训练的判别器模型和已训练的分类器模型，可通过已训练的分类器模型对预处理图像进行分类处理。具体地，将预处理图像输入已训练的分类器模型中，对预处理图像进行归一化处理，得到目标图像。例如，获取预处理图像对应的数据，对该数据进行线性变化，使得预处理图像对应的体素值在[-1，1]之间。
S1032：采用所述分类器模型提取所述目标图像中的关键特征，得到全局高阶特征图。
终端采用已训练的分类器模型提取目标图像中的关键特征，得到全局高阶特征图；已训练的分类器模型中包含经过张量分解后的网络层以及二阶池化模块。请参阅图2，图2是本申请提供的已训练的分类器模型的结构示意图，如图2所示，已训练的分类器模型中包含3D卷积层、3D平均池化层、3D密集连接块1、二阶池化模块1、过渡层1、3D密集连接块2、二阶池化模块2、过渡层2、3D密集连接块3、二阶池化模块3、全连接层。
具体地，在训练分类模型的过程中，对预设生成器模型、预设判别器模型以及预设分类器模型中的每个网络层进行张量化。以分类器模型为例，在训练过程中，对预设分类器模型中3D卷积层、3D平均池化层、全连接层等网络层进行张量化。终端基于张量分解后的网络层以及已训练的分类器模型中二阶池化模块提取目标图像中的关键特征，得到全局高阶特征图。
本实施例中，对分类器模型中的每个网络层都进行张量化，通过张量化方法替代传统的向量化方法压缩分类器模型中的每个网络层，在减少参数的同时对网络模型起到正则化效果，解决了高分辨率图像在分类和识别时参数量过大、过拟合的问题；本实施例中，通过二阶池化替代传统的一阶池化，充分利用输入的预处理图像的二阶信息，在自注意力机制的作用下自动提取与病变相关的更有判别性的特征，进而提高分类器分类的准确率；且分类器模型采用3D卷积层替代2D卷积层，使得输入的图像可以不做任何降维以张量的形式做为输入，保留了图像的空间信息，减少了2D网络层造成的空间信息损失。
进一步地，为了提取到包含更多特征信息的全局高阶特征图，S1032可以包括S10321-S10324，具体如下：
S10321：通过所述分类器模型中的所述张量化后的网络层提取所述目标图像中的特征，得到第一特征图。
终端通过已训练的分类器模型中的张量化后的网络层提取目标图像中的特征，得到第一特征图。例如，通过已训练的分类器模型中的3D卷积层、3D平均池化层等提取目标图像中的特征，得到第一特征图。
S10322：通过所述分类器模型中的所述二阶池化模块对所述第一特征图进行通道降维，得到降维后的第二特征图。
终端通过已训练的分类器模型中的二阶池化模块对第一特征图进行通道降维，得到降维后的第二特征图。请参阅图3，图3是本申请提供的二阶池化模块的结构示意图，二阶池化模块包含预缩模块以及校准模块。具体地，通过1×1×1卷积对输入的4维特征图(即第一特征图)进行通道降维，得到降维后的第二特征图。
S10323：计算所述第二特征图对应的权重向量。
终端通过已训练的分类器模型计算第二特征图对应的权重向量。请参阅图3，具体地，计算降维后的第二特征图中不同通道之间两两通道的协方差信息，得到协方差矩阵；根据协方差矩阵通过分组卷积和1×1×1卷积得到与4维特征图通道数相同的权重向量。
S10324：基于所述权重向量对所述第一特征图进行加权，得到所述全局高阶特征图。
终端基于计算得到的权重向量对第一特征图进行加权，使第一特征图中重要的通道权重大，不重要的通道权重小，得到更有代表性的全局高阶特征图。具体地，已训练的分类器模型通过反向传播算法使第一特征图中重要的通道权重大，不重要的通道权重小，以此提取更有代表性的特征信息，得到全局高阶特征图。
S1033：采用所述分类器模型获取所述全局高阶特征图对应的所述分类类别。
已训练的分类器模型获取全局高阶特征图对应的分类类别并输出该分类类别，即得到预处理图像对应的分类类别。进一步地，该分类类别可用于辅助疾病诊断本申请实施例，通过终端获取待分类医学图像；对待分类医学图像进行预处理，得到预处理图像；基于已训练的分类模型对预处理图像进行分类处理，得到对应的分类结果。由于该已训练的分类模型中包含经过张量分解后的网络层以及二阶池化模块，基于该分类模型对医学图像处理时，保留了医学图像的内部结构信息和内部相关性，二阶池化模块通过医学图像不同区域的依赖关系和高阶特征不同通道间的相关性信息，在自注意力机制的作用下，使重要的特征通道权重大，不重要的通道权重小，从而提取与病变相关的更有判别性的特征，提高疾病智能辅助诊断的准确率。进一步地，本申请中基于三元生成对抗网络对图像进行分类，在传统二元生成对抗网络的生成器和判别器的基础上加入了分类器网络模型，通过设计兼容性的损失函数缓解传统二元生成对抗网络训练不稳定的问题，解决了二元生成对抗网络判别器同时完成分类和判别真假两个任务目标收敛点不一致的问题，使生成器模型和分类器模型通过协作训练的方式替代传统二元生成对抗网络的生成对抗的训练方式，从而使生成器模型和分类器模型能够同时达到最优，加快收敛，使生成对抗网络更容易达到纳什均衡。本申请中对医学图像进行分类时，通过张量化方法替代传统的向量化方法压缩三元生成对抗网络中的每个网络层，在减少参数的同时对网络模型起到正则化效果，解决了高分辨率图像在分类和识别时参数量过大、过拟合的问题；且通过张量化方法能够保持内部空间结构信息和不同体素之间的内部相关性，解决了向量化网络层的内部结构损失问题；本申请中通过二阶池化替代传统的一阶池化(最大池化或者平均池化)，充分利用整体图像的二阶信息在自注意力机制的作用下自动提取更有判别性的特征，提高分类器模型分类的准确率；本申请中的三元生成对抗网络通过预设生成器模型、预设判别器模型和预设分类器模型采用半监督学习方式共同配合训练，减弱了网络模型对图像标注信息的需求，充分利用无标注数据，进而实现具有高精度、高鲁棒性的智能网络模型；且减少了参数数量，提高了计算效率，有助于降低对终端的性能要求，从而加快辅助诊断流程。
请参见图4，图4是本申请另一实施例提供的一种基于医学图像的智能辅助诊断方法的示意流程图。本实施例中智能辅助诊断方法的执行主体为终端，终端包括但不限于智能手机、平板电脑、个人数字助理等移动终端，还可以包括台式电脑等终端。
本实施例在上一实施例的基础上增加了分类器模型的训练步骤S201-S202。本实施例中S203-S205与上一实施例中的S101-S103完全相同，具体请参阅上一实施例中S101-S103的相关描述，此处不赘述。如图4所示的智能辅助诊断方法，为了提高图像分类的准确率，S201-S202，具体如下：
S201：基于预设生成器模型、预设判别器模型以及预设分类器模型，对样本图像以及样本图像对应的分类类别进行训练得到三元生成对抗网络。
请参考图5，图5为本申请提供的三元生成对抗网络的结构示意图，现以阿尔茨海默症这一应用场景为例结合图5中的三元生成对抗网络的结构，说明训练得到三元生成对抗网络的过程。在训练过程中，图5中的生成器指预设生成器模型，当训练完成后生成对应的已训练的生成器模型；在训练过程中，图5中的判别器指预设判别器模型，当训练完成后生成对应的已训练的判别器模型；在训练过程中，图5中的阿尔茨海默症分类器指预设分类器模型，当训练完成后生成对应的已训练的分类器模型。预设生成器模型中主要包括3D反卷积层；预设判别器模型中主要包括3D卷积层、3D密集连接块、过渡层、全连接层等；预设分类器模型中主要包括3D卷积层、3D密集连接块、二阶池化模块等。值得说明的是，此处仅是以阿尔茨海默症为例，训练得到可用于分类MRI图像的阿尔兹海默症智能辅助诊断模型；可通过该方法训练得到用于其它医学图像的分类模型，对此不做限定。
在训练过程中，对预设生成器模型、预设判别器模型以及预设分类器模型中的每个网络层进行张量化。具体地，预设判别器模型和预设分类器模型中3D卷积层和全连接层，以及预设生成器模型中的3D反卷积层通过张量分解方法进行参数压缩；全连接层的权重矩阵、反卷积层的卷积核张量、卷积层的卷积核张量均可以表示为对应的张量形式：
W((i1,j1),...,(id,jd))＝G1[i1,j1]G2[i2,j2]...Gd[id,jd]
将全连接层的权重张量W按照上述公式进行张量分解，得到全连接层的张量化表示如下：
Y(i1,...,j1)＝∑j1,...,jdG1[i1,j1]G2[i2,j2]...Gd[id,jd]χ(j1,...,jd)+B(i1,...,id)
3D卷积层和反卷积层的张量分解步骤如下：
网络输入层：
Figure BDA0002279848370000121
网络输出层：
Figure BDA0002279848370000122
卷积核：
Figure BDA0002279848370000123
3D卷积层张量化后得到：
Figure BDA0002279848370000131
其中，
Figure BDA0002279848370000132
在训练过程中，基于预设分类标注、一维高斯随机向量以及预设生成器模型，生成带有分类标注的合成图像，最终生成合成图像标注对；基于训练数据中的样本图像以及预设分类器模型，确定该样本图像对应的样本图像标注对；将样本图像标注对、预设真实图像标注对以及生成的合成图像标注对输入预设判别器模型进行判别处理，得到样本图像标注对所对应的第一判别结果、预设真实图像标注对所对应的第二判别结果以及合成图像标注对所对应的第三判别结果；基于第一判别结果、第二判别结果以及第三判别结果，计算预设生成器模型对应的第一损失函数、预设判别器模型对应的第二损失函数以及预设分类器模型对应的第三损失函数；基于第一损失函数、第二损失函数以及第三损失函数分别通过反向传播算法梯度下降更新预设生成器模型、预设判别器模型以及预设分类器模型各自对应的网络参数；当第一损失函数、第二损失函数以及第三损失函数均收敛时，停止训练，得到三元生成对抗网络，即得到已训练的分类模型。其中，已训练的分类模型中包含已训练的生成器模型、已训练的判别器模型和已训练的分类器模型。
S202：从所述三元生成对抗网络中获取所述已训练的分类器模型。
从三元生成对抗网络中获取已训练的分类器模型。具体地，训练得到的三元生成对抗网络即为已训练的分类模型，已训练的分类模型中包含已训练的生成器模型、已训练的判别器模型和已训练的分类器模型，终端从已训练的分类模型中获取已训练的分类器模型。
进一步地，为了提高图像分类的准确率以及分类的速度，在另一实施方式中，S201可包括S2011-S2016，具体如下：
S2011：基于预设分类标注、一维高斯随机向量以及所述预设生成器模型，生成合成图像标注对。
具体地，将一维高斯随机向量以及预设分类标注作为输入，输入至预设生成器模型中；输入的预设分类标注经过独热编码(One-Hot Encoding)级联至每个张量化后的网络层，并基于一维高斯随机向量生成目标特征图；基于张量化后的网络层将目标特征图逐层放大，最终生成目标合成图像；基于目标合成图像以及预设分类标注，最终生成合成图像标注对。
进一步地，为了减少网络模型对医学图像的需求，将半监督学习方法引入到疾病分类任务中，能高效全面地利用无标注的医学图像信息，同时通过预设生成器模型生成带有分类标注的合成图像，起到数据增强的作用，在较小样本情况下也能训练高精度的辅助诊断模型。减小了对标注训练样本的需求量，缩减了传统算法中对训练数据繁杂的标注工作的工作量，进一步地缩短了疾病诊断的工作周期，加快了疾病诊断的速度，提升了疾病识别的整体效率。S2011包括S20111-S20113，具体如下：
S20111：将所述预设分类标注级联至所述张量化后的网络层，并基于所述一维高斯随机向量生成目标特征图。
预设生成器模型中包含张量化后的网络层。例如，预设生成器模型中包含张量化后的反卷积层。输入的预设分类标注经过独热编码级联至每个张量化后的反卷积层；基于张量化后的反卷积层以及一维高斯随机向量生成目标特征图。其中，反卷积层激活函数采用线性整流函数(Rectified Linear Unit，ReLU)、批量标准化(Batch Normalization，BN)。在阿尔茨海默症的辅助诊断识别中，目标特征图为脑部解剖特征图。
S20112：基于所述张量化后的网络层将所述目标特征图逐层放大，生成目标合成图像。
经过多层反卷积后，张量化后的网络层将目标特征图逐层放大，得到的图像为目标合成图像。例如，将脑部解剖特征图逐层放大，生成与真实MRI图像尺寸大小相同的合成图像。其中，预设生成器模型的最后一层采用双曲函数tanh激活函数。
S20113：基于所述目标合成图像以及所述预设分类标注，生成所述合成图像标注对。
终端基于目标合成图像以及预设分类标注，生成合成图像标注对。例如，终端基于合成图像以及预设分类标注生成带有分类标注的MRI图像。也可将带有分类标注的MRI图像称为MRI图像标注对。
S2012：基于所述样本图像以及所述预设分类器模型，预测所述样本图像对应的样本图像标注对。
终端基于训练数据中的样本图像以及预设分类器模型，预测该样本图像的相应类别，基于样本图像以及相应类别确定样本图像对应的样本图像标注。具体地，将样本图像输入至预设分类器模型，该预设分类器模型预测样本图像对应的标注信息，基于样本图像以及标注信息生成样本图像对应的样本图像标注对。以阿尔茨海默症为例，样本图像即为真实无标注的MRI图像，将真实无标注的MRI图像输入预设分类器模型，该预设分类器模型预测真实无标注的MRI图像对应的标注信息，基于真实无标注的MRI图像以及预测的标注信息生成MRI图像标注对。
S2013：将所述样本图像标注对、预设真实图像标注对以及所述合成图像标注对输入所述预设判别器模型进行判别处理，得到所述样本图像标注对所对应的第一判别结果、所述预设真实图像标注对所对应的第二判别结果以及所述合成图像标注对所对应的第三判别结果。
具体地，将样本图像标注对输入预设判别器模型进行判别处理，
预设判别器模型提取样本图像标注对的特征信息，得到样本图像标注对所对应的样本特征图，基于预设判别器模型对样本特征图进行判别处理，得到第一判别结果。将训练数据中的预设真实图像标注对输入预设判别器模型进行判别处理，预设判别器模型提取预设真实图像标注对的特征信息，得到预设真实图像标注对所对应的真实特征图，基于预设判别器模型对真实特征图进行判别处理，得到第二判别结果。将合成图像标注对输入预设判别器模型进行判别处理，预设判别器模型提取合成图像标注对的特征信息，得到合成图像标注对所对应的合成特征图，基于预设判别器模型对合成特征图进行判别处理，得到第三判别结果。
进一步地，为了提高分类模型的分类性能，进而提高图像分类的准确率，S2013可以包括S20131-S20134，具体如下：
S20131：基于所述张量化后的密集型卷积神经网络提取所述样本图像标注对的特征信息，得到所述样本图像标注对所对应的样本特征图。
预设判别器模型中包含张量化后的密集型卷积神经网络。样本图像标注对所对应的样本图像以三阶张量的形式输入至预设判别器模型中，样本图像标注对中的分类标注经过独热编码作为条件变量级联至预设判别器模型中的每个网络层中。具体地，张量化后的密集型卷积神经网络提取样本图像标注对的特征信息，得到保留空间信息的特征图，即得到样本图像标注对所对应的样本特征图。其中，卷积层激活函数采用ReLU以及BatchNormalization。
S20132：基于所述张量化后的密集型卷积神经网络提取所述预设真实图像标注对的特征信息，得到所述预设真实样本图像标注对所对应的真实特征图。
真实图像标注对所对应的图像以三阶张量的形式输入至预设判别器模型中，真实图像标注对中的分类标注经过独热编码作为条件变量级联至预设判别器模型中的每个网络层中。具体地，张量化后的密集型卷积神经网络提取真实图像标注对的特征信息，得到保留空间信息的特征图，即得到真实图像标注对所对应的真实特征图。其中，卷积层激活函数采用ReLU以及Batch Normalization。
S20133：基于所述张量化后的密集型卷积神经网络提取所述合成图像标注对中的特征信息，得到所述合成图像标注对所对应的合成特征图。
合成图像以三阶张量的形式输入至预设判别器模型中，合成图像对应的分类标注经过独热编码作为条件变量级联至预设判别器模型中的每个网络层中。具体地，张量化后的密集型卷积神经网络提取合成图像标注对中的特征信息，得到保留空间信息的特征图，即得到合成图像标注对所对应的合成特征图。其中，卷积层激活函数采用ReLU以及BatchNormalization。
S20134：基于所述预设判别器模型对所述样本特征图、所述真实特征图以及所述合成特征图分别进行判别处理，得到所述第一判别结果、所述第二判别结果以及所述第三判别结果。
具体地，预设判别器模型包含张量化后的全连接层，基于该层的sigmoid函数进行判断，得到与样本特征图对应的第一判别结果、与真实特征图对应的第二判别结果、合成特征图对应的第三判别结果。
S2014：基于所述第一判别结果、所述第二判别结果以及所述第三判别结果，计算所述预设生成器模型对应的第一损失函数、所述预设判别器模型对应的第二损失函数以及所述预设分类器模型对应的第三损失函数。
具体地，在对预设生成器模型训练的过程中，在反向传播过程中根据预设生成器模型的损失函数G-loss梯度下降，更新预设生成器模型中网络层张量分解的核矩阵Gk[ik,jk]参数。预设生成器模型的目标是通过模拟真实的图像，生成能够欺骗预设判别器模型的图像。例如，预设生成器模型通过模拟真实的MRI脑部解剖结构特征，生成能够欺骗预设判别器模型的接近真实的MRI图像。因此，预设生成器模型其损失包含两部分，一部分为欺骗预设判别器模型，使其判别预设生成器模型生成的MRI图像标注对为真；另一部分为真实MRI图像与生成的MRI图像之间的重建损失；可表示为：
Figure BDA0002279848370000171
在对预设判别器模型训练的过程中，在反向传播过程中根据预设判别器模型的损失函数G-loss梯度下降，更新预设判别器模型中网络层张量分解的核矩阵Gk[ik,jk]参数。预设判别器模型的目标是判定真实的图像标注对为真，判定由预设生成器模型生成的带有分类标注的合成图像标注对以及预设分类器模型预测得到的图像标注对为假。例如，预设判别器模型的目标是判定真实的MRI图像标注对为真，判定由预设生成器模型生成的MRI图像标注对以及预设分类器模型预测得到的MRI图像标注对为假。因此，预设判别器模型的损失包含三部分，具体如下：
Figure BDA0002279848370000172
在对预设分类器模型训练的过程中，在反向传播过程中根据预设分类器模型的损失函数G-loss梯度下降，更新预设分类器模型中网络层张量分解的核矩阵Gk[ik,jk]参数。预设分类器模型的目标是自动提取预处理图像中的特征信息并进行分类；例如，自动提取MRI脑部解剖结构特征进行分类，将MRI图像分为3个类别：正常、阿尔茨海默症和轻度认知障碍。因此，预设分类器模型的损失包含两部分，一部分为有监督的损失，即真实图像和生成图像进行分类任务的交叉熵；另一部分为无监督的损失，即欺骗预设判别器模型使其判别预设分类器模型对无标注的MRI图像生成的MRI图像标注对为真。具体可表示为：
Figure BDA0002279848370000173
Lsupervised＝RL+αpRp
Figure BDA0002279848370000174
Figure BDA0002279848370000175
Figure BDA0002279848370000181
对真实MRI图像标注对计算RL，等价于计算预设分类器模型学到的分布Pc(x,y)与真实数据分布Preal(x,y)之间的KL散度。预设生成器模型生成接近于真实分布的MRI图像标注对，可提高分类器模型的分类性能，因而引入Rp计算生成MRI图像标注对的交叉熵；最小化Rp等价于最小化KL散度DKL(Pg(x,y)||Pc(x,y))；由于DKL(Pg(x,y)||Pc(x,y))无法直接计算，故KL散度DKL(Pg(x,y)||Pc(x,y))也无法直接计算，预设分类器模型通过间接最小化Rp达到最小化KL散度DKL(Pg(x,y)||Pc(x,y))的目的。
S2015：基于所述第一损失函数、所述第二损失函数以及所述第三损失函数通过反向传播算法梯度下降分别更新所述预设生成器模型、所述预设判别器模型以及所述预设分类器模型各自对应的网络参数。
终端根据计算得到的第一损失函数、第二损失函数以及第三损失函数通过反向传播算法梯度下降分别更新预设生成器模型、预设判别器模型以及预设分类器模型各自对应的网络参数。例如，根据第一损失函数、第二损失函数以及第三损失函数更新预设生成器模型、预设判别器模型以及预设分类器模型各个模型中每一个网络层的权重值等。然后基于更新参数后的预设生成器模型、预设判别器模型以及预设分类器模型继续训练。即基于更新参数后的各个模型继续对样本图像以及样本图像对应的分类类别进行训练。
S2016：当所述第一损失函数、所述第二损失函数以及所述第三损失函数均收敛时，停止训练，得到所述三元生成对抗网络。
预设生成器模型、预设判别器模型以及预设分类器模型三者合作训练，如反复以“生成-判别-分类”合作模式训练。当终端检测到第一损失函数、第二损失函数以及第三损失函数在反复“生成-判别-分类”合作模式训练过程中均收敛时，停止训练，此时得到训练好的三元生成对抗网络，即已训练的分类模型。也可以是预先设置迭代次数，当执行该迭代次数的训练后，认为训练完成，此时得到训练好的三元生成对抗网络。
本申请实施例，通过终端获取待分类医学图像；对待分类医学图像进行预处理，得到预处理图像；基于已训练的分类模型对预处理图像进行分类处理，得到对应的分类结果。由于已训练的分类模型中包含经过张量分解后的网络层以及二阶池化模块，基于该分类模型对医学图像处理时，保留了医学图像的内部结构信息和内部相关性，二阶池化模块通过医学图像不同区域的依赖关系和高阶特征不同通道间的相关性信息，在自注意力机制的作用下，使重要的特征通道权重大，不重要的通道权重小，从而提取与病变相关的更有判别性的特征，提高疾病智能辅助诊断的准确率。进一步地，本申请中基于三元生成对抗网络对图像进行分类，在传统二元生成对抗网络的生成器和判别器的基础上加入了分类器网络模型，通过设计兼容性的损失函数缓解传统二元生成对抗网络训练不稳定的问题，解决了二元生成对抗网络判别器同时完成分类和判别真假两个任务目标收敛点不一致的问题，使生成器模型和分类器模型通过协作训练的方式替代传统二元生成对抗网络的生成对抗的训练方式，从而使生成器模型和分类器模型能够同时达到最优，加快收敛，使生成的对抗网络更容易达到纳什均衡。本申请中对医学图像进行分类时，通过张量化方法替代传统的向量化方法压缩三元生成对抗网络中的每个网络层，在减少参数的同时对网络模型起到正则化效果，解决了高分辨率图像在分类和识别时参数量过大、过拟合的问题；且通过张量化方法能够保持图像内部空间结构信息和不同体素之间的内部相关性，解决了向量化网络层的图像内部结构损失问题；本申请中通过二阶池化替代传统的一阶池化(最大池化或者平均池化)，充分利用整体图像的二阶信息在自注意力机制的作用下自动提取更有判别性的特征，提高分类器模型分类的准确率；本申请中的三元生成对抗网络通过预设生成器模型、预设判别器模型和预设分类器模型采用半监督学习方式共同配合训练，减弱了网络模型对图像标注信息的需求，充分利用无标注数据，进而实现具有高精度、高鲁棒性的智能网络模型；且减少了参数数量，提高了计算效率，有助于降低对终端的性能要求，从而提高智能辅助诊断效率。
请参见图6，图6是本申请一实施例提供的一种基于医学图像的智能辅助诊断终端的示意图。该终端包括的各单元用于执行图1、图4对应的实施例中的各步骤。具体请参阅图1、图4各自对应的实施例中的相关描述。为了便于说明，仅示出了与本实施例相关的部分。
参见图6，包括：
获取单元310，用于获取待分类医学图像；
预处理单元320，用于对所述待分类医学图像进行预处理，得到预处理图像；
分类单元330，用于将所述预处理图像输入已训练的分类模型进行分类处理，得到所述预处理图像对应的分类类别；其中，所述分类模型包含经过张量化后的网络层以及二阶池化模块；所述分类模型是基于预设生成器模型、预设判别器模型以及预设分类器模型，对样本图像以及样本图像对应的分类类别进行训练得到的三元生成对抗网络。
所述已训练的分类模型包含已训练的分类器模型。
进一步地，所述分类单元330包括：
处理单元，用于采用所述分类器模型对所述预处理图像进行归一化处理，得到目标图像；
提取单元，用于采用所述分类器模型提取所述目标图像中的关键特征，得到全局高阶特征图；
分类类别获取单元，用于采用所述分类器模型获取所述全局高阶特征图对应的所述分类类别。
进一步地，所述提取单元具体用于：
通过所述分类器模型中的所述张量化后的网络层提取所述目标图像中的特征，得到第一特征图；
通过所述分类器模型中的所述二阶池化模块对所述第一特征图进行通道降维，得到降维后的第二特征图；
计算所述第二特征图对应的权重向量；
基于所述权重向量对所述第一特征图进行加权，得到所述全局高阶特征图。
进一步地，终端还包括：
训练单元，用于基于预设生成器模型、预设判别器模型以及预设分类器模型，对样本图像以及样本图像对应的分类类别进行训练得到三元生成对抗网络；
模型获取单元，用于从所述三元生成对抗网络中获取所述已训练的分类器模型。
进一步地，所述训练单元包括：
生成单元，用于基于预设分类标注、一维高斯随机向量以及所述预设生成器模型，生成合成图像标注对；
确定单元，用于基于所述样本图像以及所述预设分类器模型，预测所述样本图像对应的样本图像标注对；
判别单元，用于将所述样本图像标注对、预设真实图像标注对以及所述合成图像标注对输入所述预设判别器模型进行判别处理，得到所述样本图像标注对所对应的第一判别结果、所述预设真实图像标注对所对应的第二判别结果以及所述合成图像标注对所对应的第三判别结果；
计算单元，用于基于所述第一判别结果、所述第二判别结果以及所述第三判别结果，计算所述预设生成器模型对应的第一损失函数、所述预设判别器模型对应的第二损失函数以及所述预设分类器模型对应的第三损失函数；
更新单元，用于基于所述第一损失函数、所述第二损失函数以及所述第三损失函数通过反向传播算法梯度下降分别更新所述预设生成器模型、所述预设判别器模型以及所述预设分类器模型各自对应的网络参数；
网络生成单元，用于当所述第一损失函数、所述第二损失函数以及所述第三损失函数均收敛时，停止训练，得到所述三元生成对抗网络。
所述预设生成器模型包含所述张量化后的网络层。
进一步地，所述生成单元具体用于：将所述预设分类标注级联至所述张量化后的网络层，并基于所述一维高斯随机向量生成目标特征图；基于所述张量化后的网络层将所述目标特征图逐层放大，生成目标合成图像；基于所述目标合成图像以及所述预设分类标注，生成所述合成图像标注对。
所述预设判别器模型包含张量化后的密集型卷积神经网络。
进一步地，所述判别单元具体用于：
基于所述张量化后的密集型卷积神经网络提取所述样本图像标注对的特征信息，得到所述样本图像标注对所对应的样本特征图；
基于所述张量化后的密集型卷积神经网络提取所述预设真实图像标注对的特征信息，得到所述预设真实样本图像标注对所对应的真实特征图；
基于所述张量化后的密集型卷积神经网络提取所述合成图像标注对中的特征信息，得到所述合成图像标注对所对应的合成特征图；
基于所述预设判别器模型对所述样本特征图、所述真实特征图以及所述合成特征图分别进行判别处理，得到所述第一判别结果、所述第二判别结果以及所述第三判别结果。
请参见图7，图7是本申请另一实施例提供的一种基于医学图像的智能辅助诊断终端的示意图。如图7所示，该实施例的终端4包括：处理器40、存储器41以及存储在所述存储器41中并可在所述处理器40上运行的计算机可读指令42。所述处理器40执行所述计算机可读指令42时实现上述各个终端在基于医学图像的智能辅助诊断方法实施例中的步骤，例如图1所示的S101至S103。或者，所述处理器40执行所述计算机可读指令42时实现上述各实施例中各单元的功能，例如图6所示单元310至330功能。
示例性的，所述计算机可读指令42可以被分割成一个或多个单元，一个或者多个单元被存储在所述存储器41中，并由所述处理器40执行，以完成本申请。所述一个或多个单元可以是能够完成特定功能的一系列计算机可读指令段，该指令段用于描述所述计算机可读指令42在所述终端4中的执行过程。例如，所述计算机可读指令42可以被获取单元、预处理单元以及分类单元，各单元具体功能如上所述。
终端可包括，但不仅限于，处理器40、存储器41。本领域技术人员可以理解，图7仅仅是终端4的示例，并不构成对终端4的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端还可以包括输入输出终端、网络接入终端、总线等。
处理器40可以是中央处理单，还可是其他通用处理器、数字信号处理器、专用集成电路、现成可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器41可以是终端4的内部存储单元，例如终端4的硬盘或内存。存储器41也可以是终端4的外部存储终端，如终端4上配备的插接式硬盘，智能存储卡，安全数字卡，闪存卡等。进一步地，存储器41还可包括终端4的内部存储单元也包括外部存储终端。存储器41用于存储计算机可读指令以及终端所需的其他程序和数据。存储器41还可以用于暂时地存储已经输出或者将要输出的数据。以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可对前述各实施例记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改、替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种基于医学图像的智能辅助诊断方法，其特征在于，包括：
获取待分类医学图像；
对所述待分类医学图像进行预处理，得到预处理图像；
将所述预处理图像输入已训练的分类模型进行分类处理，得到所述预处理图像对应的分类类别；其中，所述分类模型包含经过张量化后的网络层以及二阶池化模块；所述分类模型是基于预设生成器模型、预设判别器模型以及预设分类器模型，对样本图像以及样本图像对应的分类类别进行训练得到的三元生成对抗网络。
2.如权利要求1所述的智能辅助诊断方法，其特征在于，所述已训练的分类模型包含已训练的分类器模型，所述将所述预处理图像输入已训练的分类模型进行分类处理，得到所述预处理图像对应的分类类别包括：
采用所述分类器模型对所述预处理图像进行归一化处理，得到目标图像；
采用所述分类器模型提取所述目标图像中的关键特征，得到全局高阶特征图；
采用所述分类器模型获取所述全局高阶特征图对应的所述分类类别。
3.如权利要求2所述的智能辅助诊断方法，其特征在于，所述采用所述分类器模型提取所述目标图像中的关键特征，得到全局高阶特征图包括：
通过所述分类器模型中的所述张量化后的网络层提取所述目标图像中的特征，得到第一特征图；
通过所述分类器模型中的所述二阶池化模块对所述第一特征图进行通道降维，得到降维后的第二特征图；
计算所述第二特征图对应的权重向量；
基于所述权重向量对所述第一特征图进行加权，得到所述全局高阶特征图。
4.如权利要求1至3任一项所述的智能辅助诊断方法，其特征在于，所述获取待分类医学图像之前，还包括：
基于预设生成器模型、预设判别器模型以及预设分类器模型，对样本图像以及样本图像对应的分类类别进行训练得到三元生成对抗网络；
从所述三元生成对抗网络中获取所述已训练的分类器模型。
5.如权利要求4所述的智能辅助诊断方法，其特征在于，所述基于预设生成器模型、预设判别器模型以及预设分类器模型，对样本图像以及样本图像对应的分类类别进行训练得到三元生成对抗网络包括：
基于预设分类标注、一维高斯随机向量以及所述预设生成器模型，生成合成图像标注对；
基于所述样本图像以及所述预设分类器模型，预测所述样本图像对应的样本图像标注对；
将所述样本图像标注对、预设真实图像标注对以及所述合成图像标注对输入所述预设判别器模型进行判别处理，得到所述样本图像标注对所对应的第一判别结果、所述预设真实图像标注对所对应的第二判别结果以及所述合成图像标注对所对应的第三判别结果；
基于所述第一判别结果、所述第二判别结果以及所述第三判别结果，计算所述预设生成器模型对应的第一损失函数、所述预设判别器模型对应的第二损失函数以及所述预设分类器模型对应的第三损失函数；
基于所述第一损失函数、所述第二损失函数以及所述第三损失函数分别通过反向传播算法梯度下降更新所述预设生成器模型、所述预设判别器模型以及所述预设分类器模型各自对应的网络参数；
当所述第一损失函数、所述第二损失函数以及所述第三损失函数均收敛时，停止训练，得到所述三元生成对抗网络。
6.如权利要求5所述的智能辅助诊断方法，其特征在于，所述预设生成器模型包含所述张量化后的网络层；所述基于预设分类标注、一维高斯随机向量以及所述预设生成器模型，生成合成图像标注对包括：
将所述预设分类标注级联至所述张量化后的网络层，并基于所述一维高斯随机向量生成目标特征图；
基于所述张量化后的网络层将所述目标特征图逐层放大，生成目标合成图像；
基于所述目标合成图像以及所述预设分类标注，生成所述合成图像标注对。
7.如权利要求5所述的智能辅助诊断方法，其特征在于，所述预设判别器模型包含张量化后的密集型卷积神经网络；
所述将所述样本图像标注对、预设真实图像标注对以及所述合成图像标注对输入所述预设判别器模型进行判别处理，得到所述样本图像标注对所对应的第一判别结果、所述预设真实图像标注对所对应的第二判别结果以及所述合成图像标注对所对应的第三判别结果包括：
基于所述张量化后的密集型卷积神经网络提取所述样本图像标注对的特征信息，得到所述样本图像标注对所对应的样本特征图；
基于所述张量化后的密集型卷积神经网络提取所述预设真实图像标注对的特征信息，得到所述预设真实样本图像标注对所对应的真实特征图；
基于所述张量化后的密集型卷积神经网络提取所述合成图像标注对中的特征信息，得到所述合成图像标注对所对应的合成特征图；
基于所述预设判别器模型对所述样本特征图、所述真实特征图以及所述合成特征图分别进行判别处理，得到所述第一判别结果、所述第二判别结果以及所述第三判别结果。
8.一种基于医学图像的智能辅助诊断终端，其特征在于，包括：
获取单元，用于获取待分类医学图像；
预处理单元，用于对所述待分类医学图像进行预处理，得到预处理图像；
分类单元，用于将所述预处理图像输入已训练的分类模型进行分类处理，得到所述预处理图像对应的分类类别；其中，所述分类模型包含经过张量化后的网络层以及二阶池化模块；所述分类模型是基于预设生成器模型、预设判别器模型以及预设分类器模型，对样本图像以及样本图像对应的分类类别进行训练得到的三元生成对抗网络。
9.一种终端，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，其特征在于，所述处理器执行所述计算机可读指令时实现如权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的方法。
CN201911137014.7A 2019-11-19 2019-11-19 一种基于医学图像的智能辅助诊断方法及终端 Active CN110993094B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911137014.7A CN110993094B (zh) 2019-11-19 2019-11-19 一种基于医学图像的智能辅助诊断方法及终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911137014.7A CN110993094B (zh) 2019-11-19 2019-11-19 一种基于医学图像的智能辅助诊断方法及终端

Publications (2)

Publication Number Publication Date
CN110993094A true CN110993094A (zh) 2020-04-10
CN110993094B CN110993094B (zh) 2023-05-23

Family

ID=70085345

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911137014.7A Active CN110993094B (zh) 2019-11-19 2019-11-19 一种基于医学图像的智能辅助诊断方法及终端

Country Status (1)

Country Link
CN (1) CN110993094B (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111739635A (zh) * 2020-06-10 2020-10-02 四川大学华西医院 一种用于急性缺血性卒中的诊断辅助模型及图像处理方法
CN111833359A (zh) * 2020-07-13 2020-10-27 中国海洋大学 基于生成对抗网络的脑瘤分割数据增强方法
CN111834004A (zh) * 2020-05-25 2020-10-27 杭州深睿博联科技有限公司 一种基于中心化空间学习的未知疾病类别识别方法及装置
CN112288032A (zh) * 2020-11-18 2021-01-29 上海依图网络科技有限公司 一种基于生成对抗网络的量化模型训练的方法及装置
CN112289447A (zh) * 2020-10-30 2021-01-29 四川大学华西医院 一种手术切口愈合等级判别系统
CN112329844A (zh) * 2020-11-03 2021-02-05 上海商汤智能科技有限公司 图像目标分类方法及相关装置、设备、存储介质
CN112561892A (zh) * 2020-12-22 2021-03-26 东华大学 一种印花与提花面料的疵点检测方法
CN112786160A (zh) * 2021-02-03 2021-05-11 紫东信息科技(苏州)有限公司 基于图神经网络的多图片输入的多标签胃镜图片分类方法
CN112837317A (zh) * 2020-12-31 2021-05-25 无锡祥生医疗科技股份有限公司 基于乳腺超声图像增强的病灶分类方法、装置及存储介质
CN113223730A (zh) * 2021-03-30 2021-08-06 武汉市疾病预防控制中心 基于人工智能的疟疾分类方法及设备
CN113642341A (zh) * 2021-06-30 2021-11-12 深译信息科技(横琴)有限公司 一种解决医学文本数据稀缺性的深度对抗生成方法
CN115082747A (zh) * 2022-08-23 2022-09-20 紫东信息科技(苏州)有限公司 基于组块对抗的零样本胃溃疡分类系统
CN112101438B (zh) * 2020-09-08 2024-04-16 南方科技大学 一种左右眼分类方法、装置、服务器和存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104361318A (zh) * 2014-11-10 2015-02-18 中国科学院深圳先进技术研究院 一种基于弥散张量成像技术的疾病诊断辅助系统及方法
CN107330267A (zh) * 2017-06-28 2017-11-07 首都医科大学宣武医院 利用弥散张量成像医学影像的白质纤维脑图谱构建方法
CN107480206A (zh) * 2017-07-25 2017-12-15 杭州电子科技大学 一种基于多模态低秩双线性池化的图像内容问答方法
CN107492099A (zh) * 2017-08-28 2017-12-19 京东方科技集团股份有限公司 医学图像分析方法、医学图像分析系统以及存储介质
CN108171700A (zh) * 2018-01-12 2018-06-15 西安电子科技大学 基于对抗网络的医学图像肺结节检测方法
CN108231194A (zh) * 2018-04-04 2018-06-29 苏州医云健康管理有限公司 一种疾病诊断系统
US20180260621A1 (en) * 2017-03-10 2018-09-13 Baidu Online Network Technology (Beijing) Co., Ltd. Picture recognition method and apparatus, computer device and computer- readable medium
CN109165699A (zh) * 2018-10-17 2019-01-08 中国科学技术大学 细粒度图像分类方法
CN109711426A (zh) * 2018-11-16 2019-05-03 中山大学 一种基于gan和迁移学习的病理图片分类装置及方法
CN110097103A (zh) * 2019-04-22 2019-08-06 西安电子科技大学 基于生成对抗网络的半监督图像分类方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104361318A (zh) * 2014-11-10 2015-02-18 中国科学院深圳先进技术研究院 一种基于弥散张量成像技术的疾病诊断辅助系统及方法
US20180260621A1 (en) * 2017-03-10 2018-09-13 Baidu Online Network Technology (Beijing) Co., Ltd. Picture recognition method and apparatus, computer device and computer- readable medium
CN107330267A (zh) * 2017-06-28 2017-11-07 首都医科大学宣武医院 利用弥散张量成像医学影像的白质纤维脑图谱构建方法
CN107480206A (zh) * 2017-07-25 2017-12-15 杭州电子科技大学 一种基于多模态低秩双线性池化的图像内容问答方法
CN107492099A (zh) * 2017-08-28 2017-12-19 京东方科技集团股份有限公司 医学图像分析方法、医学图像分析系统以及存储介质
CN108171700A (zh) * 2018-01-12 2018-06-15 西安电子科技大学 基于对抗网络的医学图像肺结节检测方法
CN108231194A (zh) * 2018-04-04 2018-06-29 苏州医云健康管理有限公司 一种疾病诊断系统
CN109165699A (zh) * 2018-10-17 2019-01-08 中国科学技术大学 细粒度图像分类方法
CN109711426A (zh) * 2018-11-16 2019-05-03 中山大学 一种基于gan和迁移学习的病理图片分类装置及方法
CN110097103A (zh) * 2019-04-22 2019-08-06 西安电子科技大学 基于生成对抗网络的半监督图像分类方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘海东;杨小渝;朱林忠;: "基于生成对抗网络的乳腺癌病理图像可疑区域标记" *
刘海东;杨小渝;朱林忠;: "基于生成对抗网络的乳腺癌病理图像可疑区域标记", 科研信息化技术与应用 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111834004A (zh) * 2020-05-25 2020-10-27 杭州深睿博联科技有限公司 一种基于中心化空间学习的未知疾病类别识别方法及装置
CN111739635A (zh) * 2020-06-10 2020-10-02 四川大学华西医院 一种用于急性缺血性卒中的诊断辅助模型及图像处理方法
CN111833359A (zh) * 2020-07-13 2020-10-27 中国海洋大学 基于生成对抗网络的脑瘤分割数据增强方法
CN111833359B (zh) * 2020-07-13 2022-07-12 中国海洋大学 基于生成对抗网络的脑瘤分割数据增强方法
CN112101438B (zh) * 2020-09-08 2024-04-16 南方科技大学 一种左右眼分类方法、装置、服务器和存储介质
CN112289447B (zh) * 2020-10-30 2022-03-08 四川大学华西医院 一种手术切口愈合等级判别系统
CN112289447A (zh) * 2020-10-30 2021-01-29 四川大学华西医院 一种手术切口愈合等级判别系统
CN112329844A (zh) * 2020-11-03 2021-02-05 上海商汤智能科技有限公司 图像目标分类方法及相关装置、设备、存储介质
CN112288032A (zh) * 2020-11-18 2021-01-29 上海依图网络科技有限公司 一种基于生成对抗网络的量化模型训练的方法及装置
CN112561892A (zh) * 2020-12-22 2021-03-26 东华大学 一种印花与提花面料的疵点检测方法
CN112837317A (zh) * 2020-12-31 2021-05-25 无锡祥生医疗科技股份有限公司 基于乳腺超声图像增强的病灶分类方法、装置及存储介质
CN112786160A (zh) * 2021-02-03 2021-05-11 紫东信息科技(苏州)有限公司 基于图神经网络的多图片输入的多标签胃镜图片分类方法
CN113223730A (zh) * 2021-03-30 2021-08-06 武汉市疾病预防控制中心 基于人工智能的疟疾分类方法及设备
CN113642341A (zh) * 2021-06-30 2021-11-12 深译信息科技(横琴)有限公司 一种解决医学文本数据稀缺性的深度对抗生成方法
CN115082747A (zh) * 2022-08-23 2022-09-20 紫东信息科技(苏州)有限公司 基于组块对抗的零样本胃溃疡分类系统

Also Published As

Publication number Publication date
CN110993094B (zh) 2023-05-23

Similar Documents

Publication Publication Date Title
CN110993094B (zh) 一种基于医学图像的智能辅助诊断方法及终端
Jain et al. Convolutional neural network based Alzheimer’s disease classification from magnetic resonance brain images
CN109949255B (zh) 图像重建方法及设备
WO2021097675A1 (zh) 一种基于医学图像的智能辅助诊断方法及终端
Springenberg et al. Improving deep neural networks with probabilistic maxout units
CN111738363B (zh) 基于改进的3d cnn网络的阿尔茨海默病分类方法
Bai et al. Nhl pathological image classification based on hierarchical local information and googlenet-based representations
CN110838108A (zh) 基于医疗图像的预测模型构建方法、预测方法及装置
CN110929836B (zh) 神经网络训练及图像处理方法和装置、电子设备、介质
CN111428761A (zh) 图像特征可视化方法、图像特征可视化装置及电子设备
CN113128671B (zh) 一种基于多模态机器学习的服务需求动态预测方法及系统
Pei et al. Multi-scale attention-based pseudo-3D convolution neural network for Alzheimer’s disease diagnosis using structural MRI
Tripathy et al. Brain MRI segmentation techniques based on CNN and its variants
WO2021179189A1 (zh) 大脑成瘾性状评估的可视化方法、装置及介质
US11972604B2 (en) Image feature visualization method, image feature visualization apparatus, and electronic device
CN112863650A (zh) 一种基于卷积与长短期记忆神经网络的心肌病识别系统
CN112884640B (zh) 模型训练方法及相关装置、可读存储介质
Lin et al. Accelerating local binary pattern networks with software-programmable FPGAs
CN113705480A (zh) 基于姿态识别神经网络的姿态识别方法、设备和介质
EP4032028A1 (en) Efficient inferencing with fast pointwise convolution
Mehta et al. Scaling recurrent models via orthogonal approximations in tensor trains
Strezoski et al. MATTE: multi-task multi-scale attention
Ng et al. Medical Image Recognition: An Explanation and Hands-On Example of Convolutional Networks
Suganthe et al. Performance Evaluation of Transfer Learning Based Models On Skin Disease Classification
AV et al. CNN-MOBILENETV2-DEEP LEARNING-BASED ALZHEIMER’S DISEASE PREDICTION AND CLASSIFICATION

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant