CN116128876B - 一种基于异构域的医学图像分类方法和系统 - Google Patents

一种基于异构域的医学图像分类方法和系统 Download PDF

Info

Publication number
CN116128876B
CN116128876B CN202310353365.1A CN202310353365A CN116128876B CN 116128876 B CN116128876 B CN 116128876B CN 202310353365 A CN202310353365 A CN 202310353365A CN 116128876 B CN116128876 B CN 116128876B
Authority
CN
China
Prior art keywords
image
images
features
medical image
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310353365.1A
Other languages
English (en)
Other versions
CN116128876A (zh
Inventor
唐艳
熊星
林立新
张昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central South University
Original Assignee
Central South University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central South University filed Critical Central South University
Priority to CN202310353365.1A priority Critical patent/CN116128876B/zh
Publication of CN116128876A publication Critical patent/CN116128876A/zh
Application granted granted Critical
Publication of CN116128876B publication Critical patent/CN116128876B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供了一种基于异构域的医学图像分类方法和系统，本方法首先由特征提取器提取每一个模态图像中与病理性相关的图像特征，然后根据最大均值差异法学习属于同一种模态的图像特征之间的共有信息，然后根据域鉴别器学习不同模态的特征之间的一致性属性，最后利用分类器基于学习到的共有信息和一致性信息，得到分类器对脑科医学图像的病理性分类结果。本方法不仅充分学习了同模态图像之间关于病理信息的共有特征，而且还充分的学习了不同模态图像之间关于病理信息的一致性特征，充分利用不同模态图像中的这两类特征信息实现图像病理性分类，不仅能提高分类效率，而且也能提高图像病理性分类准确度。

Description

一种基于异构域的医学图像分类方法和系统
技术领域
本申请实施例涉及医学图像分类处理技术领域，尤其涉及一种基于异构域的医学图像分类方法和系统。
背景技术
过去，由于成像成本、患者自身等因素，大部分脑疾病的患者数据仅有其中的一种模态的图像（如CT、sMRI或PET），于是仅构建一个辅助分类模型就能实现基于该模态图像中的病理特征的分类，进而辅助医生进行疾病的判断。但随着目前科技发展，脑疾病的患者在检查后，通常会留下多种不同异构模态的图像（如CT、sMRI和PET等），对于拥有不同异构模态的图像患者则需要不同的辅助分类模型来进行病理特征的辅助分类，这样不仅增加了计算的复杂度，而且在同一患者的不同异构模态的图像中，包含着模态特有信息，如：sMRI中包含的是人脑内部的结构信息，而PET包含的是人脑中代谢的功能信息，现有技术难同时考虑模态特有信息和跨模态共享信息。
发明内容
以下是对本文详细描述的主题的概述。本概述并非是为了限制保护范围。
本公开实施例的主要目的在于提出一种基于异构域的医学图像分类方法和系统，能够提高分类效率，也能提高图像的病理特征分类准确度。
为实现上述目的，本公开实施例的第一方面提出了一种基于异构域的医学图像分类方法，所述基于异构域的医学图像分类方法包括：
获取每一个受试者对应的一组已标注的医学图像数据，一组所述医学图像数据包含多张不同模态的脑科医学图像，任意两组所述医学图像数据中的图像数量和图像模态种类相同；
将每一组所述医学图像数据输入预设的特征提取器中，得到所述特征提取器输出每张所述脑科医学图像中的图像特征；
通过最大均值差异法学习相同模态的所述图像特征之间的共有属性信息，并通过域鉴别器学习不同模态图像的所述图像特征之间的一致性属性信息，并基于所述相同模态的所述图像特征之间的共有属性信息和所述不同模态图像的所述图像特征之间的一致性属性信息，将所述图像特征输入分类器中，得到所述分类器对所述脑科医学图像的病理性分类结果。
在一些实施例中，所述特征提取器通过如下方式提取每张所述脑科医学图像中图像特征：
将所述脑科医学图像输入至第一金字塔卷积网络中进行多尺度特征提取并进行多尺度特征拼接，得到所述第一金字塔卷积网络输出的第一中间特征；其中，所述第一金字塔卷积网络包括7×7×7、5×5×5和3×3×3的三个3D卷积核；
通过第一通道注意力机制对所述第一中间特征进行自适应加权，将所述第一金字塔卷积网络中每一个卷积输出的特征作为一个通道，对每个通道分别进行全局最大池化和全局平均池化，通过两层全连接得到权重系数，将两个权重系数相加并通过Softmax函数得到每个通道权重，将每个通道权重与每个通道对应的特征相乘得到携带有权重的第一中间特征；
将所述携带有权重的第一中间特征输入至第二金字塔卷积网络中进行多尺度特征提取并进行多尺度特征拼接，得到所述第二金字塔卷积网络输出的第二中间特征；其中，所述第二金字塔卷积网络包括5×5×5和3×3×3的两个3D卷积核；
通过第二通道注意力机制对所述第二中间特征进行自适应加权，将所述第二金字塔卷积网络中每一个卷积输出的特征作为一个通道，对每个通道分别进行全局最大池化和全局平均池化，通过两层全连接得到权重系数，将两个权重系数相加并通过Softmax函数得到每个通道权重，将每个通道权重与每个通道对应的特征相乘得到携带有权重的第二中间特征；
通过3×3×3的3D卷积核和最大池化对所述携带有权重的第二中间特征进行特征提取和下采样，得到第三中间特征；
通过自注意力机制对所述第三中间特征进行全局相关性信息的学习，得到所述脑科医学图像中的病理特征。
在一些实施例中，在所述通过3×3×3的3D卷积核和最大池化对所述携带有权重的第二中间特征进行特征提取和下采样之后，所述基于异构域的医学图像分类方法还包括：
使用一个3×3×3的3D卷积核和残差连接来增强所述第三中间特征的特征表示。
在一些实施例中，所述分类器采用全连接层和Softmax激活函数进行分类。
在一些实施例中，同一种模态的所述脑科医学图像的所述图像特征之间的损失函数包括：
Figure SMS_1
Figure SMS_2
其中，
Figure SMS_5
分别表示同一种模态中的第/>
Figure SMS_8
张和第/>
Figure SMS_11
张所述脑科医学图像，
Figure SMS_4
分别表示同一种模态中的第/>
Figure SMS_6
张和第/>
Figure SMS_10
张所述脑科医学图像对应的所述图像特征，/>
Figure SMS_13
表示同一种模态的所述脑科医学图像的数量，/>
Figure SMS_3
表示特征，/>
Figure SMS_7
表示计量单位，/>
Figure SMS_9
表示特征数量，/>
Figure SMS_12
表示希尔伯特空间H的特征空间映射函数。
在一些实施例中，所述一组医学图像数据包括图像数量相同的sMRI图像和PET图像，所述域鉴别器的损失函数包括：
Figure SMS_14
Figure SMS_15
Figure SMS_16
Figure SMS_17
其中，
Figure SMS_19
表示鉴别sMRI图像的损失，/>
Figure SMS_21
表示鉴别PET图像的损失，/>
Figure SMS_26
表示sMRI图像和PET图像的数量，/>
Figure SMS_20
和/>
Figure SMS_22
为域标签，/>
Figure SMS_25
表示域鉴别器，/>
Figure SMS_27
分别表示第/>
Figure SMS_18
张sMRI图像和第/>
Figure SMS_23
张PET图像对应的所述图像特征，/>
Figure SMS_24
为交叉熵损失。
在一些实施例中，所述分类器的损失函数包括：
Figure SMS_28
其中，
Figure SMS_29
表示分类器，/>
Figure SMS_30
表示所述图像特征的病理性标签。
为实现上述目的，本公开实施例的第二方面提出了一种基于异构域的医学图像分类系统，所述基于异构域的医学图像分类系统包括：
图像获取单元，用于获取每一个受试者对应的一组已标注的医学图像数据，一组所述医学图像数据包含多张不同模态的脑科医学图像，任意两组所述医学图像数据中的图像数量和图像模态种类相同；
特征提取单元，用于将每一组所述医学图像数据输入预设的特征提取器中，得到所述特征提取器输出每张所述脑科医学图像中的图像特征；
图像分类单元，用于通过最大均值差异法学习相同模态的所述图像特征之间的共有属性信息，并通过域鉴别器学习不同模态图像的所述图像特征之间的一致性属性信息，并基于所述相同模态的所述图像特征之间的共有属性信息和所述不同模态图像的所述图像特征之间的一致性属性信息，将所述图像特征输入分类器中，得到所述分类器对所述脑科医学图像的病理性分类结果。
为实现上述目的，本公开实施例的第三方面提出了一种电子设备，包括至少一个存储器；
至少一个处理器；
至少一个计算机程序；
所述计算机程序被存储在所述存储器中，处理器执行所述至少一个计算机程序以实现：
如第一方面实施例任一项所述的基于异构域的医学图像分类方法。
为实现上述目的，本公开实施例的第四方面还提出一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行：
如第一方面实施例任一项所述的一种基于异构域的医学图像分类方法。
本申请实施例第一方面提供了一种基于异构域的医学图像分类方法，本方法首先由特征提取器提取每一个模态图像中与病理性相关的图像特征，然后对于属于同一种模态的图像特征间的共有信息，根据最大均值差异法进行学习，然后对于属于不同模态图像内的一致性信息，根据域鉴别器学习不同模态的特征之间的一致性属性，最后利用分类器基于学习的同一种模态的图像特征之间的共有属性和属于不同模态的图像特征之间的一致性属性，得到分类器对脑科医学图像的病理性分类结果。本方法不仅充分学习了同模态图像之间关于病理信息的共有特征，而且还充分的学习了不同模态图像之间关于病理信息的一致性特征，充分利用不同模态图像中的这两类特征信息实现图像病理性分类，不仅能提高分类效率，而且也能提高图像病理性分类准确度。
可以理解的是，上述第二方面至第四方面与相关技术相比存在的有益效果与上述第一方面与相关技术相比存在的有益效果相同，可以参见上述第一方面中的相关描述，在此不再赘述。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请实施例的一些实施例，对于本领域普通技术人员来说，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一个实施例提供的基于异构域的医学图像分类方法的流程示意图；
图2是图1中步骤S102的流程示意图；
图3是本申请一个实施例提供的一种基于异构域自适应的深度学习模型框图；
图4是本申请一个实施例提供的特征提取器框图；
图5是本申请一个实施例提供的通道注意力框图；
图6是本申请一个实施例提供的自注意力机制框图；
图7是本申请一个实施例提供的电子设备的结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
需要说明的是，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
在介绍本申请实施例之前，先对本申请的相关技术概念进行介绍：
结构磁共振成像（Structural Magnetic Resonance Imaging，sMRI）就是传统医学上的核磁共振成像（MRI）的一种，它通过强外磁场内人体的氢原子在特定射频脉冲作用下产生磁共振成像。sMRI 数据分辨率高，对比度丰富，图像清晰，可为疾病诊断提供相应的生物学标记，已被研究者们广泛应用。
正电子发射计算机断层成像（Positron Emission Tomography，PET）通过病人的代谢、功能等与正常人不同机制，提供病灶区域详细的代谢与功能的分子信息，从而反映出病人低代谢水平的特征。PET成像是提高疾病诊断准确性的有力工具。
域自适应（Domain Adaptation）是指一个数据分布（源域）推广到另一个数据分布（目标域）的技术。在实际应用中，由于不同数据集的数据分布可能存在较大的差异，直接将源域的模型应用到目标域上可能会导致性能下降。域自适应技术旨在通过利用源域和目标域之间的相似性，使模型更好地适应目标域。异构域自适应是用于源域和目标域的数据类型不同的域自适应。它可用于不同模态之间的特征对齐。
金字塔卷积（Pyramid convolution）是一种基于多尺度的卷积神经网络结构，其目的是在不同尺度下对输入进行特征提取和池化。与单一尺度的卷积神经网络相比，金字塔卷积具有更强的多尺度适应性和更高的识别精度。金字塔卷积网络通常由多个卷积层组成，每个卷积层都在不同的尺度下进行卷积和池化操作，从而提取出不同尺度下的特征信息。这些特征信息会在后续的卷积层中进行融合，最终生成具有更高语义信息的特征表示。
通道注意力机制（Channel Attention）是一种用于深度学习模型的注意力机制，旨在增强模型对于不同通道的特征的关注度。通道注意力机制的主要思想是在模型中加入一个注意力模块，它可以自适应地学习每个通道的权重系数，以加强对重要通道的特征的关注，同时抑制不重要通道的特征。
自注意力机制（Self-Attention）是一种用于深度学习模型的注意力机制，它的基本思路是通过对输入特征图的不同位置进行注意力权重计算，得到不同位置的特征权重，然后将这些特征加权求和，生成最终的特征表示。自注意力机制可以提高模型对输入特征的关注度和理解能力，从而提高模型的性能。
过去，由于成像成本、患者自身等因素，大部分脑疾病的患者数据仅有其中的一种模态的图像（如CT、sMRI或PET），于是仅构建一个辅助分类模型就能实现基于该模态图像中的病理特征的分类，进而辅助医生进行疾病的判断。但随着目前科技发展，脑疾病的患者在检查后，通常会留下多种不同异构模态的图像（如CT、sMRI和PET等），对于拥有不同异构模态的图像患者则需要不同的辅助分类模型来进行病理特征的辅助分类，这样不仅增加了计算的复杂度，而且在同一患者的不同异构模态的图像中，包含着模态特有信息，如：sMRI中包含的是人脑内部的结构信息，而PET包含的是人脑中代谢的功能信息，现有技术难同时考虑模态特有信息和跨模态共享信息
请参照图1，图1是本申请一个实施例提供的一种基于异构域的医学图像分类方法，应理解，本申请实施例的基于异构域的医学图像分类方法包括但不限于步骤S101、S102、S103、S104和S105，以下结合图1对步骤S101至S105进行详细介绍：
步骤S101、获取每一个受试者对应的一组已标注的医学图像数据，一组医学图像数据包含多张不同模态的脑科医学图像，任意两组医学图像数据中的图像数量和图像模态种类相同。
在医学研究中，相同模态脑科医学图像（如图像均是CT、或图像均是sMRI图像）通常具有相似的特征和结构，因此它们之间具备部分共性特征。不同模态（如CT和MRI、sMRI和PET）所显示的图像具有截然不同的物理信息和成像特征，因此它们之间不存在共有性，相反不同模态之间的医学图像可能存在一致性信息，即它们所描述的人体解剖结构或病理情况在不同模态下应保持一致。以sMRI和PET这两种医学图像为例，sMRI和PET属于两种异构化（不同模态的图像）的数据，sMRI包含脑内结构信息，PET含有脑内功能信息，sMRI和PET都可以提供脑部组织的分布信息和形态特征，如：用sMRI可以生成的PET并完成病理特征分类任务，这预示着二者之间存在着与疾病相关的一致性信息。需要注意的是，这里标注是指给医学图像中划分病理性标签，这里属于训练之前的预处理，此处不再赘述。
本实施例不仅只对相同模态脑科医学图像的共性信息进行分析，还特别针对了不同模态之间的一致性信息进行分析，通过结合两种特征实现对图像的准确和高效的病理性分类，分类结果可用于辅助医生进行疾病的判断。
以sMRI和PET为例，假设有两组医学图像数据，第一组医学图像数据包含受试者1的一张sMRI和一张PET图像，第二组医学图像数据包含受试者2的一张sMRI和一张PET图像。
步骤S102、将每一组医学图像数据输入预设的特征提取器中，得到特征提取器输出每张脑科医学图像中的图像特征。
在步骤S102中，根据图像模态的数量构建相同数量的特征提取器，这些特征提取器的网络结构相同但不共享其权重，通过每一个特征提取器提取对应相同模态图像中的和疾病相关的病理特征。
假设有两组医学图像数据，第一组医学图像数据包含受试者1的一张sMRI和一张PET图像，第二组医学图像数据包含受试者2的一张sMRI和一张PET图像，需要构建两个结构相同的特征提取器分别提取两位受试者的sMRI图像内的特征和两位受试者的PET图像中的特征，其中每一张图像产生对应一个图像特征，在特征提取器的训练中，对训练的样本进行标注，设置病理性特征标签，那么在分类器的作用下，特征提取器就能够提取图像中与病理相关的图像特征。需要注意的是，提取出的图像特征具体如下三特性：1)与疾病相关；2)同模态图像是共有的；3)不同模态图像是一致的，在本实施例后续步骤中，1)部分通过分类器学到，2)部分通过同模态间使用最大均值差异学习，3)部分通过使用域鉴别器学习。
参照图2，步骤S102的所述特征提取器通过如下方式提取每张脑科医学图像中图像特征：
步骤S1021、将脑科医学图像输入至第一金字塔卷积网络中进行多尺度特征提取并进行多尺度特征拼接，得到第一金字塔卷积网络输出的第一中间特征；其中，第一金字塔卷积网络包括7×7×7、5×5×5和3×3×3的三个3D卷积核；
步骤S1022、通过第一通道注意力机制对第一中间特征进行自适应加权，将第一金字塔卷积网络中每一个卷积输出的特征作为一个通道，对每个通道分别进行全局最大池化和全局平均池化，通过两层全连接得到权重系数，将两个权重系数相加并通过Softmax函数得到每个通道权重，将每个通道权重与每个通道对应的特征相乘得到携带有权重的第一中间特征；
步骤S1023、将携带有权重的第一中间特征输入至第二金字塔卷积网络中进行多尺度特征提取并进行多尺度特征拼接，得到第二金字塔卷积网络输出的第二中间特征；其中，第二金字塔卷积网络包括5×5×5和3×3×3的两个3D卷积核；
步骤S1024、通过第二通道注意力机制对第二中间特征进行自适应加权，将第二金字塔卷积网络中每一个卷积输出的特征作为一个通道，对每个通道分别进行全局最大池化和全局平均池化，通过两层全连接得到权重系数，将两个权重系数相加并通过Softmax函数得到每个通道权重，将每个通道权重与每个通道对应的特征相乘得到携带有权重的第二中间特征；
步骤S1025、通过3×3×3的3D卷积核和最大池化对携带有权重的第二中间特征进行特征提取和下采样，得到第三中间特征；
步骤S1026、通过自注意力机制对第三中间特征进行全局相关性信息的学习，得到脑科医学图像中的病理特征。
在步骤S1021至S1026中，特征提取器由金字塔卷积、通道注意力机制和自注意力机制组成。普通CNN只能通过不同大小的卷积核来提取不同的特征，特征表达能力受限。因此，本实施例采用金字塔卷积通过不同尺度的卷积核来提取更丰富的特征。为了避免金字塔卷积的信息冗余问题，本实施例引入通道注意力机制来对不同通道的重要性进行自适应加权，以提高特征的表达能力。同时，通过使用自注意力机制来缓解CNN难以建立特征间长距离依赖的问题，充分利用特征间的全局关系。
步骤S103、通过最大均值差异法学习相同模态的图像特征之间的共有属性信息，并通过域鉴别器学习不同模态图像的图像特征之间的一致性属性信息，并基于相同模态的图像特征之间的共有属性信息和不同模态图像的图像特征之间的一致性属性信息，将图像特征输入分类器中，得到分类器对脑科医学图像的病理性分类结果。
在本实施例中，对于相同一种模态（如两张sMRI）的图像，它们与病理标签相关的特征是一致的，它们的差异可通过特征间的损失来衡量，于是采用最大均值差异（MMD）来缩小同模态特征间的差异，通过最大均值差异法最小化两个概率分布之间的距离来找到特征间的相似性。对于不同模态的图像（如sMRI和PET）有一致性信息，这种信息在本实施例中通过域鉴别器来挖掘，域鉴别器的作用是进行域分类，从而促进多个不同域图像之间的特征对齐。分类器利用不同模态图像的特征之间的一致性信息和相同模态图像的特征之间共有信息，实现对图像进行统一且准确的分类。因此，分类器则能指导特征提取器提取出特征。本实施例分类器采用全连接层和Softmax激活函数来对特征进行分类。需要注意的是，分类器能够将多张不同模态的图像进行病理分类，分类结果仅能辅助医生进行疾病的判断，不能直接作用于疾病的诊断。
在医学领域中，不同模态的脑图像内含有图像信息。于是本实施例充分学习不同模态的脑科医学图像之间具有一致性且特征信息，首先由特征提取器提取每一个模态图像中与病理性相关的图像特征，然后根据最大均值差异法学习属于同一种模态的图像特征之间的共有信息，然后根据域鉴别器学习不同模态的特征之间的一致性属性，最后利用分类器基于学习到的共有信息和一致性信息，得到分类器对脑科医学图像的病理性分类结果。本方法不仅充分学习了同模态图像之间关于病理信息的共有特征，而且还充分的学习了不同模态图像之间关于病理信息的一致性特征，充分利用不同模态图像中的这两类特征信息实现图像病理性分类，不仅能提高分类效率，而且也能提高图像病理性分类准确度。
如图3至图6所示，为了便于理解，以下提供一组实施例，以sMRI和PET为例，通过一个基于异构域自适应的深度学习模型，通过该模型实现基于异构域的医学图像的特征分类方法，方法包括如下：
该模型主要由特征提取器、域鉴别器和分类器三部分组成，其输入为两组受试者的sMRI和PET数据（
Figure SMS_31
，/>
Figure SMS_32
），/>
Figure SMS_33
表示sMRI数据，/>
Figure SMS_34
表示PET数据，/>
Figure SMS_35
为与病理相关的标签。
步骤S201、将不同组的sMRI数据输入至第一特征提取器中提取特征，将不同组的PET数据输入至第二特征提取器中提取特征，得到每一张图像对应的一个图像特征。第一特征提取器和第二特征提取器由金字塔卷积、通道注意力机制和自注意力机制组成。包括如下部分：
第一部分：如图4所示，使用大小为7×7×7、5×5×5和3×3×3的3D卷积核对输入的图像进行多尺度特征提取，并将得到的多尺度特征进行拼接。金字塔卷积公式如下所示：
Figure SMS_36
Figure SMS_37
其中，
Figure SMS_38
表示输入图像，/>
Figure SMS_39
表示3D卷积，/>
Figure SMS_40
表示第/>
Figure SMS_41
个卷积核大小，/>
Figure SMS_42
为卷积核个数，通过卷积操作得到特征/>
Figure SMS_43
，将所有特征拼接得到最终的特征/>
Figure SMS_44
。然后，使用通道注意力机制对得到的特征进行自适应加权，将不同卷积获得的特征视为不同的通道，然后对各通道分别进行全局最大池化和全局平均池化，并通过两层全连接得到权重系数；最后将两个权重系数相加并通过Softmax函数得到最终的各通道权重，将它们与各自的特征相乘得到带权重的特征。通道注意力计算公式如下所示：
Figure SMS_45
其中，
Figure SMS_46
表示输入特征，/>
Figure SMS_47
和/>
Figure SMS_48
分别表示全局平均池化和全局最大池化，/>
Figure SMS_49
至/>
Figure SMS_50
均表示全连接层，/>
Figure SMS_51
表示ReLU激活函数，/>
Figure SMS_52
表示Sigmoid激活函数，A为所求通道注意力权重。
第二部分：第二部分的金字塔卷积由两个大小为5×5×5和3×3×3的3D卷积核对输入特征进行进一步特征提取，其计算过程与上一层类似。
第三部分：使用单独的3×3×3卷积核和最大池化进行特征提取和下采样，并使用额外一个3×3×3卷积核和残差连接来增强特征表示。
第四部分：使用自注意力机制来学习底层特征之间的全局相关性信息，最终得到具有多尺度局部细节和全局信息的图像特征。
需要注意的是，特征提取器在图3中用英文PCS（Pyramid+Channel-Attention+Self-Attention）表示。
步骤S202、通过MMD来缩小sMRI图像中的图像特征间的差异，以及缩小PET图像中的图像特征间的差异。MMD公式定义为：
Figure SMS_53
其中，
Figure SMS_54
、/>
Figure SMS_55
为特征，/>
Figure SMS_56
、/>
Figure SMS_57
为它们的特征数量，/>
Figure SMS_58
为一个希尔伯特空间H的特征空间映射函数。因此，同一模态的特征间损失定义为：
Figure SMS_59
Figure SMS_60
Figure SMS_61
为特征提取器。
对于相同域的图像，它们与疾病标签相关的特征是一致的，它们的差异可通过特征间的损失来衡量，使用最大均值差异来缩小同模态特征间的差异，用于比较同一模态的图像的分布差异，并通过最小化两个概率分布之间的距离来找到它们之间的相似性。
步骤S203、通过域鉴别器对sMRI图像中的图像特征与PET数据集中的图像特征间进行对抗性学习，从而促进sMRI域和PET域之间的特征对齐，得到两种图像之间的一致性信息。
这里，域鉴别器通过对来自sMRI图像中和PET图像中的数据（
Figure SMS_62
）的对抗性学习，来指导不同的特征提取器提取出不同模态之间的一致性信息。因此，为来自sMRI图像和PET图像分别加上0和1的标签l以标识它们来自哪个域。域鉴别器使用全连接层和Softmax激活函数来对特征进行域的鉴别，并使用交叉熵损失作为损失函数。公式如下所示：
Figure SMS_63
Figure SMS_64
Figure SMS_65
其中，
Figure SMS_66
为交叉熵损失，D为鉴别器，/>
Figure SMS_67
为鉴别sMRI图像数据的损失，
Figure SMS_68
为鉴别PET图像的损失，/>
Figure SMS_69
和/>
Figure SMS_70
为域标签。为促使特征提取器更加注重sMRI域和PET域之间的区别、增强模型的泛化能力，在域鉴别器进行反向传播时需要进行梯度翻转（乘-1）。
步骤S204、通过分类器利用sMRI域和PET域之间的共享信息，实现对sMRI域/PET上的图像数据进行准确分类。分类器则能指导特征提取器提取出与疾病相关的病理性特征。分类器采用全连接层和Softmax激活函数来对特征进行分类。其公式定义为：
Figure SMS_71
其中，C为分类器；
因此，该模型的总损失为：
Figure SMS_72
Figure SMS_73
为超参数。
本方法首先由特征提取器提取每一个模态图像中与病理性相关的图像特征，然后根据最大均值差异法学习属于同一种模态的图像特征之间的共有信息，然后根据域鉴别器学习不同模态的特征之间的一致性属性，最后利用分类器基于学习到的共有信息和一致性信息，得到分类器对脑科医学图像的病理性分类结果。本方法不仅充分学习了同模态图像之间关于病理信息的共有特征，而且还充分的学习了不同模态图像之间关于病理信息的一致性特征，充分利用不同模态图像中的这两类特征信息实现图像病理性分类，不仅能提高分类效率，而且也能提高图像病理性分类准确度
特征提取器由金字塔卷积、通道注意力机制和自注意力机制组成。普通CNN只能通过不同大小的卷积核来提取不同的特征，特征表达能力受限。因此，本实施例采用金字塔卷积通过不同尺度的卷积核来提取更丰富的特征。为了避免金字塔卷积的信息冗余问题，本实施例引入通道注意力机制来对不同通道的重要性进行自适应加权，以提高特征的表达能力。同时，通过使用自注意力机制来缓解CNN难以建立特征间长距离依赖的问题，充分利用特征间的全局关系。
本申请的一个实施例，提供了一种基于异构域的医学图像分类系统，基于异构域的医学图像分类系统包括：图像获取单元1100、特征提取单元1200和图像分类单元1300：
图像获取单元1100用于获取每一个受试者对应的一组已标注的医学图像数据，一组医学图像数据包含多张不同模态的脑科医学图像，任意两组医学图像数据中的图像数量和图像模态种类相同。
特征提取单元1200用于将每一组医学图像数据分别输入预设的特征提取器中，得到特征提取器输出每张脑科医学图像中的图像特征。
图像分类单元1300用于通过最大均值差异法学习相同模态的图像特征之间的共有属性信息，并通过域鉴别器学习不同模态图像的图像特征之间的一致性属性信息，并基于相同模态的图像特征之间的共有属性信息和不同模态图像的图像特征之间的一致性属性信息，将图像特征输入分类器中，得到分类器对脑科医学图像的病理性分类结果。
需要注意的是，本实施例与上述方法实施例是基于相同的发明构思，因此上述的方法实施例的相关内容同样适应于本系统实施例，此处不再赘述。
本系统首先由特征提取器提取每一个模态图像中与病理性相关的图像特征，然后根据最大均值差异法学习属于同一种模态的图像特征之间的共有信息，然后根据域鉴别器学习不同模态的特征之间的一致性属性，最后利用分类器基于学习到的共有信息和一致性信息，得到分类器对脑科医学图像的病理性分类结果。本系统不仅充分学习了同模态图像之间关于病理信息的共有特征，而且还充分的学习了不同模态图像之间关于病理信息的一致性特征，充分利用不同模态图像中的这两类特征信息实现图像病理性分类，不仅能提高分类效率，而且也能提高图像病理性分类准确度。
本申请实施例还提供了一种电子设备，本电子设备包括：
至少一个存储器；
至少一个处理器；
至少一个程序；
程序被存储在存储器中，处理器执行至少一个程序以实现本公开实施上述的基于异构域的医学图像分类方法。
该电子设备可以为包括手机、平板电脑、个人数字助理（Personal DigitalAssistant，PDA）、车载电脑等任意智能终端。
本申请实施例的电子设备，用于执行上述基于异构域的医学图像分类方法，本方法首先由特征提取器提取每一个模态图像中与病理性相关的图像特征，然后根据最大均值差异法学习属于同一种模态的图像特征之间的共有信息，然后根据域鉴别器学习不同模态的特征之间的一致性属性，最后利用分类器基于学习到的共有信息和一致性信息，得到分类器对脑科医学图像的病理性分类结果。本方法不仅充分学习了同模态图像之间关于病理信息的共有特征，而且还充分的学习了不同模态图像之间关于病理信息的一致性特征，充分利用不同模态图像中的这两类特征信息实现图像病理性分类，不仅能提高分类效率，而且也能提高图像病理性分类准确度。
下面结合图7对本申请实施例的电子设备进行详细介绍。
如图7，图7示意了另一实施例的电子设备的硬件结构，电子设备包括：
处理器1600，可以采用通用的中央处理器(Central Processing Unit，CPU)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本公开实施例所提供的技术方案；
存储器1700，可以采用只读存储器（Read Only Memory，ROM）、静态存储设备、动态存储设备或者随机存取存储器(Random Access Memory，RAM)等形式实现。存储器1700可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器1700中，并由处理器1600来调用执行本公开实施例的基于异构域的医学图像分类方法。
输入/输出接口1800，用于实现信息输入及输出；
通信接口1900，用于实现本设备与其他设备的通信交互，可以通过有线方式（例如USB、网线等）实现通信，也可以通过无线方式（例如移动网络、WIFI、蓝牙等）实现通信；
总线2000，在设备的各个组件（例如处理器1600、存储器1700、输入/输出接口1800和通信接口1900）之间传输信息；
其中处理器1600、存储器1700、输入/输出接口1800和通信接口1900通过总线2000实现彼此之间在设备内部的通信连接。
本公开实施例还提供了一种存储介质，该存储介质是计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令用于使计算机执行上述基于异构域的医学图像分类方法。
本申请实施例的存储介质，用于执行上述基于异构域的医学图像分类方法，本方法首先由特征提取器提取每一个模态图像中与病理性相关的图像特征，然后根据最大均值差异法学习属于同一种模态的图像特征之间的共有信息，然后根据域鉴别器学习不同模态的特征之间的一致性属性，最后利用分类器基于学习到的共有信息和一致性信息，得到分类器对脑科医学图像的病理性分类结果。本方法不仅充分学习了同模态图像之间关于病理信息的共有特征，而且还充分的学习了不同模态图像之间关于病理信息的一致性特征，充分利用不同模态图像中的这两类特征信息实现图像病理性分类，不仅能提高分类效率，而且也能提高图像病理性分类准确度。
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
本公开实施例描述的实施例是为了更加清楚的说明本公开实施例的技术方案，并不构成对于本公开实施例提供的技术方案的限定，本领域技术人员可知，随着技术的演变和新应用场景的出现，本公开实施例提供的技术方案对于类似的技术问题，同样适用。
本领域技术人员可以理解的是，图中示出的技术方案并不构成对本公开实施例的限定，可以包括比图示更多或更少的步骤，或者组合某些步骤，或者不同的步骤。
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、设备中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。
本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括多指令用以使得一台电子设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory， ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序的介质
以上是对本申请实施例的较佳实施进行了具体说明，但本申请实施例并不局限于上述实施方式，熟悉本领域的技术人员在不违背本申请实施例精神的前提下还可作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请实施例权利要求所限定的范围内。

Claims (8)

1.一种基于异构域的医学图像分类方法，其特征在于，所述基于异构域的医学图像分类方法包括：
获取每一个受试者对应的一组已标注的医学图像数据，一组所述医学图像数据包含多张不同模态的脑科医学图像，任意两组所述医学图像数据中的图像数量和图像模态种类相同，一组所述医学图像数据包含的图像模态种类为两种；
将每一组所述医学图像数据输入预设的特征提取器中，得到所述特征提取器输出每张所述脑科医学图像中的图像特征；
通过最大均值差异法学习相同模态的所述图像特征之间的共有属性信息，并通过域鉴别器学习不同模态图像的所述图像特征之间的一致性属性信息，并基于所述相同模态的所述图像特征之间的共有属性信息和所述不同模态图像的所述图像特征之间的一致性属性信息，将所述图像特征输入分类器中，得到所述分类器对所述脑科医学图像的病理性分类结果；
其中，学习共有属性信息是指：通过最大均值差异法来缩小相同模态图像的所述图像特征之间的差异，用于比较相同模态图像的分布差异，并通过最小化两个概率分布之间的距离来找到相同模态图像之间的相似性；最大均值差异法公式定义为：
Figure QLYQS_1
在最大均值差异法公式中，
Figure QLYQS_2
表示特征，/>
Figure QLYQS_3
表示计量单位，/>
Figure QLYQS_4
表示特征数量，/>
Figure QLYQS_5
表示希尔伯特空间H的特征空间映射函数；
同一种模态图像的所述图像特征之间的损失函数包括：
Figure QLYQS_6
在同一种模态图像的所述图像特征之间的损失函数中，
Figure QLYQS_7
分别表示同一种模态中的第/>
Figure QLYQS_8
张和第/>
Figure QLYQS_9
张所述脑科医学图像，/>
Figure QLYQS_10
分别表示同一种模态中的第/>
Figure QLYQS_11
张和第/>
Figure QLYQS_12
张所述脑科医学图像对应的所述图像特征；
学习一致性属性信息是指：通过域鉴别器对不同模态图像的所述图像特征之间进行对抗性学习，从而促进不同模态图像的所述图像特征之间特征对齐，得到不同模态图像之间的一致性属性信息；所述域鉴别器的损失函数包括：
Figure QLYQS_13
Figure QLYQS_14
Figure QLYQS_15
Figure QLYQS_16
在所述域鉴别器的损失函数中，
Figure QLYQS_18
表示鉴别第一种模态图像的损失，/>
Figure QLYQS_20
表示鉴别第二种模态图像的损失，/>
Figure QLYQS_24
表示第一种模态图像或第二种模态图像的数量，/>
Figure QLYQS_19
和/>
Figure QLYQS_22
为域标签，/>
Figure QLYQS_25
表示域鉴别器，/>
Figure QLYQS_26
分别表示第/>
Figure QLYQS_17
张第一种模态图像和第/>
Figure QLYQS_21
张第二种模态图像对应的所述图像特征，/>
Figure QLYQS_23
为交叉熵损失；
所述分类器的损失函数的公式包括：
Figure QLYQS_27
在分类器的损失函数的公式中，
Figure QLYQS_28
表示分类器，/>
Figure QLYQS_29
表示所述图像特征的病理性标签；
所述分类器与所述特征提取器和所述域鉴别器共同训练。
2.根据权利要求1所述的基于异构域的医学图像分类方法，其特征在于，所述特征提取器通过如下方式提取每张所述脑科医学图像中图像特征：
将所述脑科医学图像输入至第一金字塔卷积网络中进行多尺度特征提取并进行多尺度特征拼接，得到所述第一金字塔卷积网络输出的第一中间特征；其中，所述第一金字塔卷积网络包括7×7×7、5×5×5和3×3×3的三个3D卷积核；
通过第一通道注意力机制对所述第一中间特征进行自适应加权，将所述第一金字塔卷积网络中每一个卷积输出的特征作为一个通道，对每个通道分别进行全局最大池化和全局平均池化，通过两层全连接得到权重系数，将两个权重系数相加并通过Softmax函数得到每个通道权重，将每个通道权重与每个通道对应的特征相乘得到携带有权重的第一中间特征；
将所述携带有权重的第一中间特征输入至第二金字塔卷积网络中进行多尺度特征提取并进行多尺度特征拼接，得到所述第二金字塔卷积网络输出的第二中间特征；其中，所述第二金字塔卷积网络包括5×5×5和3×3×3的两个3D卷积核；
通过第二通道注意力机制对所述第二中间特征进行自适应加权，将所述第二金字塔卷积网络中每一个卷积输出的特征作为一个通道，对每个通道分别进行全局最大池化和全局平均池化，通过两层全连接得到权重系数，将两个权重系数相加并通过Softmax函数得到每个通道权重，将每个通道权重与每个通道对应的特征相乘得到携带有权重的第二中间特征；
通过3×3×3的3D卷积核和最大池化对所述携带有权重的第二中间特征进行特征提取和下采样，得到第三中间特征；
通过自注意力机制对所述第三中间特征进行全局相关性信息的学习，得到所述脑科医学图像中的病理特征。
3.根据权利要求2所述的基于异构域的医学图像分类方法，其特征在于，在所述通过3×3×3的3D卷积核和最大池化对所述携带有权重的第二中间特征进行特征提取和下采样之后，所述基于异构域的医学图像分类方法还包括：
使用一个3×3×3的3D卷积核和残差连接来增强所述第三中间特征的特征表示。
4.根据权利要求1所述的基于异构域的医学图像分类方法，其特征在于，所述分类器采用全连接层和Softmax激活函数进行分类。
5.根据权利要求1所述的基于异构域的医学图像分类方法，其特征在于，一组所述医学图像数据包括图像数量相同的sMRI图像和PET图像。
6.一种基于异构域的医学图像分类系统，其特征在于，所述基于异构域的医学图像分类系统包括：
图像获取单元，用于获取每一个受试者对应的一组已标注的医学图像数据，一组所述医学图像数据包含多张不同模态的脑科医学图像，任意两组所述医学图像数据中的图像数量和图像模态种类相同，一组所述医学图像数据包含的图像模态种类为两种；
特征提取单元，用于将每一组所述医学图像数据输入预设的特征提取器中，得到所述特征提取器输出每张所述脑科医学图像中的图像特征；
图像分类单元，用于通过最大均值差异法学习相同模态的所述图像特征之间的共有属性信息，并通过域鉴别器学习不同模态图像的所述图像特征之间的一致性属性信息，并基于所述相同模态的所述图像特征之间的共有属性信息和所述不同模态图像的所述图像特征之间的一致性属性信息，将所述图像特征输入分类器中，得到所述分类器对所述脑科医学图像的病理性分类结果；
其中，学习共有属性信息是指：通过最大均值差异法来缩小相同模态图像的所述图像特征之间的差异，用于比较相同模态图像的分布差异，并通过最小化两个概率分布之间的距离来找到相同模态图像之间的相似性；最大均值差异法公式定义为：
Figure QLYQS_30
在最大均值差异法公式中，
Figure QLYQS_31
表示特征，/>
Figure QLYQS_32
表示计量单位，/>
Figure QLYQS_33
表示特征数量，/>
Figure QLYQS_34
表示希尔伯特空间H的特征空间映射函数；
同一种模态图像的所述图像特征之间的损失函数包括：
Figure QLYQS_35
在同一种模态图像的所述图像特征之间的损失函数中，
Figure QLYQS_36
分别表示同一种模态中的第/>
Figure QLYQS_37
张和第/>
Figure QLYQS_38
张所述脑科医学图像，/>
Figure QLYQS_39
分别表示同一种模态中的第/>
Figure QLYQS_40
张和第/>
Figure QLYQS_41
张所述脑科医学图像对应的所述图像特征；
学习一致性属性信息是指：通过域鉴别器对不同模态图像的所述图像特征之间进行对抗性学习，从而促进不同模态图像的所述图像特征之间特征对齐，得到不同模态图像之间的一致性属性信息；所述域鉴别器的损失函数包括：
Figure QLYQS_42
Figure QLYQS_43
Figure QLYQS_44
Figure QLYQS_45
在所述域鉴别器的损失函数中，
Figure QLYQS_47
表示鉴别第一种模态图像的损失，/>
Figure QLYQS_49
表示鉴别第二种模态图像的损失，/>
Figure QLYQS_52
表示第一种模态图像或第二种模态图像的数量，/>
Figure QLYQS_48
和/>
Figure QLYQS_51
为域标签，/>
Figure QLYQS_54
表示域鉴别器，/>
Figure QLYQS_55
分别表示第/>
Figure QLYQS_46
张第一种模态图像和第/>
Figure QLYQS_50
张第二种模态图像对应的所述图像特征，/>
Figure QLYQS_53
为交叉熵损失；
所述分类器的损失函数的公式包括：
Figure QLYQS_56
在分类器的损失函数的公式中，
Figure QLYQS_57
表示分类器，/>
Figure QLYQS_58
表示所述图像特征的病理性标签；
所述分类器与所述特征提取器和所述域鉴别器共同训练。
7.一种电子设备，其特征在于，包括：
至少一个存储器；
至少一个处理器；
至少一个计算机程序；
所述计算机程序被存储在所述存储器中，处理器执行所述至少一个计算机程序以实现：
如权利要求1至5任一项所述的基于异构域的医学图像分类方法。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行：
如执行权利要求1至5任一项所述的基于异构域的医学图像分类方法。
CN202310353365.1A 2023-04-04 2023-04-04 一种基于异构域的医学图像分类方法和系统 Active CN116128876B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310353365.1A CN116128876B (zh) 2023-04-04 2023-04-04 一种基于异构域的医学图像分类方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310353365.1A CN116128876B (zh) 2023-04-04 2023-04-04 一种基于异构域的医学图像分类方法和系统

Publications (2)

Publication Number Publication Date
CN116128876A CN116128876A (zh) 2023-05-16
CN116128876B true CN116128876B (zh) 2023-07-07

Family

ID=86299372

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310353365.1A Active CN116128876B (zh) 2023-04-04 2023-04-04 一种基于异构域的医学图像分类方法和系统

Country Status (1)

Country Link
CN (1) CN116128876B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117593594B (zh) * 2024-01-18 2024-04-23 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 基于一致性对齐的脑部mri图像分类方法、设备和介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108875787A (zh) * 2018-05-23 2018-11-23 北京市商汤科技开发有限公司 一种图像识别方法及装置、计算机设备和存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3002100A1 (en) * 2018-04-18 2019-10-18 Element Ai Inc. Unsupervised domain adaptation with similarity learning for images
US20220076074A1 (en) * 2020-09-09 2022-03-10 Beijing Didi Infinity Technology And Development Co., Ltd. Multi-source domain adaptation with mutual learning
CN114266924A (zh) * 2021-12-23 2022-04-01 深圳大学 一种基于多模态的胺区肿瘤图像分类方法及终端设备
CN114332090B (zh) * 2022-03-16 2022-05-10 中南大学 多源域自适应脑网络分类方法、系统、设备及存储介质
CN115456927A (zh) * 2022-10-19 2022-12-09 云南大学 一种脑部医学图像合成方法、系统、电子设备及存储介质
CN115830163A (zh) * 2022-11-22 2023-03-21 之江实验室 基于深度学习的确定性引导的渐进式医学图像跨模态生成方法和装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108875787A (zh) * 2018-05-23 2018-11-23 北京市商汤科技开发有限公司 一种图像识别方法及装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN116128876A (zh) 2023-05-16

Similar Documents

Publication Publication Date Title
Bernal et al. Deep convolutional neural networks for brain image analysis on magnetic resonance imaging: a review
Poudel et al. Recurrent fully convolutional neural networks for multi-slice MRI cardiac segmentation
CN107492071B (zh) 医学图像处理方法及设备
CN109345575B (zh) 一种基于深度学习的图像配准方法及装置
Wolterink et al. Automatic segmentation and disease classification using cardiac cine MR images
CN110807495B (zh) 多标签分类方法、装置、电子设备及存储介质
WO2020260936A1 (en) Medical image segmentation using an integrated edge guidance module and object segmentation network
Belharbi et al. Spotting L3 slice in CT scans using deep convolutional network and transfer learning
CN110838125B (zh) 医学图像的目标检测方法、装置、设备、存储介质
Cui et al. Multiscale attention guided U-Net architecture for cardiac segmentation in short-axis MRI images
Lei et al. Magnetic resonance imaging-based pseudo computed tomography using anatomic signature and joint dictionary learning
US20090092299A1 (en) System and Method for Joint Classification Using Feature Space Cluster Labels
Abedini et al. A generalized framework for medical image classification and recognition
US20220254022A1 (en) Method and system for automatic multiple lesion annotation of medical images
Morales et al. DeepStrain: a deep learning workflow for the automated characterization of cardiac mechanics
Vesal et al. Automated multi-sequence cardiac MRI segmentation using supervised domain adaptation
Mahapatra et al. Weakly supervised semantic segmentation of Crohn's disease tissues from abdominal MRI
Popescu et al. Anatomically informed deep learning on contrast-enhanced cardiac magnetic resonance imaging for scar segmentation and clinical feature extraction
CN116128876B (zh) 一种基于异构域的医学图像分类方法和系统
CN111462146A (zh) 一种基于时空智能体的医学图像多模态配准方法
CN111091010A (zh) 相似度确定、网络训练、查找方法及装置和存储介质
Zhuang et al. Tumor classification in automated breast ultrasound (ABUS) based on a modified extracting feature network
Liu et al. An automatic cardiac segmentation framework based on multi-sequence MR image
CN110570394A (zh) 医学图像分割方法、装置、设备及存储介质
Lin et al. A data augmentation approach to train fully convolutional networks for left ventricle segmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant