CN104281856B - 用于脑部医学图像分类的图像预处理方法和系统 - Google Patents

用于脑部医学图像分类的图像预处理方法和系统 Download PDF

Info

Publication number
CN104281856B
CN104281856B CN201410542799.7A CN201410542799A CN104281856B CN 104281856 B CN104281856 B CN 104281856B CN 201410542799 A CN201410542799 A CN 201410542799A CN 104281856 B CN104281856 B CN 104281856B
Authority
CN
China
Prior art keywords
image
pair
similarity
sample
individual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410542799.7A
Other languages
English (en)
Other versions
CN104281856A (zh
Inventor
隆晓菁
张丽娟
姜春香
刘新
郑海荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN201410542799.7A priority Critical patent/CN104281856B/zh
Publication of CN104281856A publication Critical patent/CN104281856A/zh
Application granted granted Critical
Publication of CN104281856B publication Critical patent/CN104281856B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G06F18/21355—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis nonlinear criteria, e.g. embedding a manifold in a Euclidean space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种用于脑部医学图像分类的图像预处理方法和系统，其方法包括：基于多个样本个体相应的结构磁共振图像，利用微分同胚配准方法获取每对结构磁共振图像的配准形变场；利用所述每对结构磁共振图像的配准形变场，计算所述每对结构磁共振图像的非相似度，形成第一特征提取信息；将所述正电子发射计算机断层扫描图像线性配准到相应样本个体的结构磁共振图像上，基于每对结构磁共振图像间的配准形变场对相应两幅正电子发射计算机断层扫描图像进行空间匹配后计算两幅正电子发射计算机断层扫描图像之间的非相似度。本发明不会受到模板空间的选择和建立的影响、同时也不会受到图像噪声等的影响，相比现有技术，图像预处理的结果更加稳定和精确。

Description

用于脑部医学图像分类的图像预处理方法和系统
技术领域
本发明涉及医用脑部医学图像的分类技术，特别是涉及一种用于脑部医学图像分类的图像预处理方法和系统。
背景技术
目前，对脑部医学图像进行病理图像筛选或分类时，通常是基于MRI(磁共振图像)和PET(正电子发射计算机断层扫描图像)图像，MRI和PET图像分别从结构和功能方面提供了神经病理信息，将MRI和PET进行信息融合能使计算机辅助诊断得到进一步的提高。基于MRI和PET图像进行分类的预处理方法，通常包括以下两种：
其中一种方法，其首先对MRI和PET图像分别进行预处理：将MRI图像分割为灰质、白质和脑脊液并配准到一个模板空间(也称为标准空间)，接着计算MRI图像的组织密度图谱；将PET图像配准到相同的模板空间。然后利用基于体素的形态学分析法找出脑部的显著区域，从MRI图像的显著区域中提取组织密度值，从PET图像对应区域中提取体素值，把两类信息结合起来作为图像特征，输入支持向量机(SVM)，从而实现分类。
另一种方法，同样先对MRI和PET图像各自进行了预处理，把所有MRI和PET图像配准到一个共同的模板空间，然后从MRI和PET图像的整个脑部区域取得灰度值和体素值，用多核学习方法将两组信息结合同时实现分类。另外，还有其他方法也使用了多核学习方法进行信息融合，其算法与前一算法的不同之处在于该方法利用了张量分解算法进行特征提取。
以上方法的共同之处有两点，一是均使用了模板(或标准)空间，可把这类方法称为基于模板的方法，二是在对MRI进行特征提取时，均用到像素灰度值或标准化后的灰度值(如组织密度值)。基于模板的方法往往会使结果受到模板空间选择和建立好坏的影响，增加了结果的不稳定性；像素灰度特征也容易受图像噪声、个体差异及配准方法选择的影响，从而影响分类结果。
可见现有技术中还存在一定的问题，有待进一步提高。
发明内容
基于此，有必要针对医用脑部医学图像进行分类前的预处理问题，提供一种用于脑部医学图像分类的图像预处理方法和系统，其即不采用模板空间，也不采用像素灰度特征对图像特征进行评价，因此本发明方法和系统的处理过程不会受到模板空间的选择和建立的影响、同时也不会受到图像噪声、个体差异等的影响，相比现有技术，图像预处理的结果更加稳定和精确。
一种用于脑部医学图像分类的图像预处理方法，其包括：
获取多个样本个体分别对应的结构磁共振图像和正电子发射计算机断层扫描图像；
基于多个样本个体相应的结构磁共振图像，利用微分同胚配准方法获取每对结构磁共振图像的配准形变场；
利用所述每对结构磁共振图像的配准形变场，计算所述每对结构磁共振图像的非相似度，形成第一特征提取信息；
将所述正电子发射计算机断层扫描图像线性配准到相应样本个体的结构磁共振图像上，基于所述每对结构磁共振图像的配准形变场将所述每对结构磁共振图像对应的两幅正电子发射计算机断层扫描图像进行空间匹配，针对空间匹配后的图像计算所述两幅正电子发射计算机断层扫描图像之间的非相似度，形成第二特征提取信息；
融合所述第一特征提取信息和第二特征提取信息，获得所有样本个体中每对样本个体图像之间的非相似度，形成第三特征提取信息；
基于所述第三特征提取信息，提取每个样本个体对应图像的多维特征向量，并将所述多维特征向量映射到k维欧几里得空间。
在其中一个实施例中，所述利用微分同胚配准方法获取每对结构磁共振图像的配准形变场的步骤包括：
从每对结构磁共振图像中的第一个图像翘曲形变到所述每对结构磁共振图像中的第二个图像，获得第一配准形变场；和
从所述第二个图像翘曲形变到所述第一个图像，获得第二配准形变场。
在其中一个实施例中，在所述方法中，基于所述配准形变场计算所述每对结构磁共振图像之间的黎曼距离用以表示所述每对结构磁共振图像的非相似度。
在其中一个实施例中，所述方法中针对正电子发射计算机断层扫描图像进行线性配准和空间匹配的过程包括以下步骤：
将所述正电子发射计算机断层扫描图像线性配准到相应样本个体的结构磁共振图像上；
根据所述第一配准形变场或第二配准形变场，对所述每对结构磁共振图像对应的正电子发射计算机断层扫描图像进行翘曲实现空间匹配。
在其中一个实施例中，所述融合所述第一特征提取信息和第二特征提取信息获得所有样本个体中每对样本个体图像之间的非相似度、形成第三特征提取信息的步骤包括：
对所有结构磁共振图像对的非相似度和所有正电子发射计算机断层扫描图像对的非相似度分别进行归一化处理，设定权值，获得每对样本个体图像之间的非相似度；
集合所有样本个体中每对样本个体图像之间的非相似度，获得非相似度矩阵，用以形成所述第三特征提取信息。
在其中一个实施例中，所述基于所述第三特征提取信息、提取每个样本个体对应图像的多维特征向量的步骤包括：
将所述非相似度矩阵进行正则化处理；
对正则化处理之后的矩阵数据进行特征分解，获得每个样本个体对应图像的多维特征向量。
在其中一个实施例中，所述第一特征提取信息和第二特征提取信息均采用维特征向量表示。
在其中一个实施例中，所述每对结构磁共振图像对应的两幅正电子发射计算机断层扫描图像之间的非相似度为：所述每对结构磁共振图像对应的两幅正电子发射计算机断层扫描图像之间相减后取L2范数。
在其中一个实施例中，所有样本个体中每对样本个体图像之间的非相似度表示为下述公式：
dist(Si,Sj)＝ω·dist(Mi,Mj)+(1-ω)dist(Pi,Pj)
其中，dist(Si,Sj)表示为每对样本个体{Si,Sj}图像之间的非相似度，ω表示为设定的权值，dist(Mi,Mj)表示为所述每对结构磁共振图像{Mi,Mj}的非相似度，dist(Pi,Pj)表示所述两幅正电子发射计算机断层扫描图像{Pi,Pj}的非相似度。
本发明还提供了一种用于脑部医学图像分类的图像预处理系统，其包括：
图像提取模块，用于获取多个样本个体分别对应的结构磁共振图像和正电子发射计算机断层扫描图像；
配准模块，用于基于多个样本个体相应的结构磁共振图像，利用微分同胚配准方法获取每对结构磁共振图像的配准形变场；
第一特征提取模块，用于利用所述每对结构磁共振图像的配准形变场，计算所述每对结构磁共振图像的非相似度，形成第一特征提取信息；
第二特征提取模块，用于将所述正电子发射计算机断层扫描图像线性配准到相应样本个体的结构磁共振图像上，基于所述每对结构磁共振图像的配准形变场将所述每对结构磁共振图像对应的两幅正电子发射计算机断层扫描图像进行空间匹配，针对空间匹配后的图像计算所述两幅正电子发射计算机断层扫描图像之间的非相似度，形成第二特征提取信息；
第三特征提取模块，用于融合所述第一特征提取信息和第二特征提取信息，获得所有样本个体中每对样本个体图像之间的非相似度，形成第三特征提取信息；
光谱投影模块，用于基于所述第三特征提取信息，提取每个样本个体对应图像的多维特征向量，并将所述多维特征向量映射到k维欧几里得空间。
在其中一个实施例中，所述配准模块包括：
第一翘曲单元，用于执行从每对结构磁共振图像中的第一个图像翘曲形变到所述每对结构磁共振图像中的第二个图像获得第一配准形变场的步骤；和
第二翘曲单元，用于执行从所述第二个图像翘曲形变到所述第一个图像获得第二配准形变场的步骤。
在其中一个实施例中，所述第二特征提取模块包括：
配准单元，用于执行将上述正电子发射计算机断层扫描图像线性配准到相应样本个体的结构磁共振图像上的步骤；和
空间匹配单元，用于根据所述第一配准形变场或第二配准形变场对所述每对结构磁共振图像对应的正电子发射计算机断层扫描图像进行翘曲实现空间匹配。
在其中一个实施例中，所述第三特征提取模块包括：
归一化单元，用于对所有结构磁共振图像对的非相似度和所有正电子发射计算机断层扫描图像对的非相似度分别进行归一化处理、设定权值，获得每对样本个体图像之间的非相似度；
集合单元，用于集合所有样本个体中每对样本个体图像之间的非相似度，获得非相似度矩阵，用以形成所述第三特征提取信息。
在其中一个实施例中，所述光谱投影模块包括：
映射单元，将所述非相似度矩阵进行正则化处理；
特征提取单元，用于对正则化处理之后的矩阵数据进行特征分解，获得每个样本个体对应图像的多维特征向量。
在其中一个实施例中，所述第一特征提取模块还包括：
黎曼距离计算单元，用于利用所述每对结构磁共振图像的配准形变场，计算黎曼距离以获得所述每对结构磁共振图像的非相似度，用以形成所述第一特征提取信息。
在其中一个实施例中，所述第二特征提取模块还包括：
计算单元，用于针对配准后的图像，将所述每对结构磁共振图像对应的两幅正电子发射计算机断层扫描图像之间相减后取L2范数来获得两幅正电子发射计算机断层扫描图像之间的非相似度，用以形成第二特征提取信息。
在其中一个实施例中，所述光谱投影模块还包括：
降维单元，用于对所述多维特征向量进行降维处理，映射到k维欧几里得空间。
本发明的图像预处理方法和系统以微分同胚配准形变场为基础来计算图像间的非相似度，并且采用两两图像间的遍历式来提取非相似度信息，其可不易受到图像噪声、扫描机器不同、参数设置差异等方面的影响；可以避免了使用模板空间，以及最大程度地采集了图像间的相似程度信息。利用本发明的图像预处理方法和系统可以从图像中获得更多、更准确的结构与功能特征信息，便于更加准确地对图像进行特征提取，从而提高对特定图像识别分类的正确率。
附图说明
图1为本发明图像预处理方法一实施例的流程示意图；
图2为本发明图像预处理方法一优化实施例的流程示意图；
图3为本发明图像预处理方法另一实施例的流程示意图；
图4为本发明图像预处理系统一实施例的结构示意图；
图5为本发明图像预处理系统一优化实施例的结构示意图；
图6为本发明图像预处理系统另一实施例的结构示意图。
具体实施方式
针对医用脑部医学图像分类技术中对图像的预处理，本发明提供了一种用于脑部医学图像分类的图像预处理方法和系统，其充分结合MRI和PET图像的信息特点，在MRI图像特征采集上，既不计算组织密度，也不直接使用灰度值，而是利用了图像间配准的形变场，使对解剖结构差异的描述更直观更准确；在PET图像特征的采集上，直接提取体素值信息，相比现有技术，本发明不采用固有的模板空间，而转用两两比较的遍历式方式，因而得到的特征不是一个一维向量，而是多维向量，利用相关数学模型对多维向量进行量化，分别建立MRI和PET的相似度矩阵，用于描述每两幅图像之间的非相似程度。然后再将MRI和PET的非相似度矩阵进行信息融合并利用投影算法将每个个体映射到统一的低维欧几里得空间，用以最后通过模式分类方法对预处理后的图像进行分类。以下结合附图说明本发明的具体实施例。
如图1所示，本实施例提供的用于脑部医学图像分类的图像预处理方法，其包括：
步骤100，获取多个样本个体分别对应的结构磁共振图像和正电子发射计算机断层扫描图像；
步骤200，基于多个样本个体相应的结构磁共振图像，利用微分同胚配准方法获取每对结构磁共振图像的配准形变场。图像配准是一个将两幅或多幅图像进行空间匹配的过程，配准所得的形变场对解剖结构差异的描述更直观更准确。这里的微分同胚配准方法可以选用现有的任意微分同胚配准方法。
步骤300，利用上述每对结构磁共振图像的配准形变场，计算上述每对结构磁共振图像的非相似度，形成第一特征提取信息；这里的每对结构磁共振图像的非相似度优选通过计算上述每对结构磁共振图像之间的黎曼距离获得，但本发明的非相似度不限于这一种定义方式。
步骤400，将上述正电子发射计算机断层扫描图像线性配准到相应样本个体的结构磁共振图像上，基于所述每对结构磁共振图像的配准形变场将上述每对结构磁共振图像对应的两幅正电子发射计算机断层扫描图像进行空间匹配，针对空间匹配后的图像计算两幅正电子发射计算机断层扫描图像之间的非相似度，形成第二特征提取信息；
步骤500，融合上述第一特征提取信息和第二特征提取信息，获得所有样本个体中每对样本个体图像之间的非相似度，形成第三特征提取信息；
步骤600，基于上述第三特征提取信息，提取每个样本个体对应图像的多维特征向量，并将上述多维特征向量映射到k维欧几里得空间，用以进行脑部医学图像分类。
基于上述实施例，如图2所示，上述步骤200中利用微分同胚配准方法获取每对结构磁共振图像的配准形变场的步骤包括：
步骤201，从每对结构磁共振图像中的第一个图像翘曲形变到上述每对结构磁共振图像中的第二个图像，获得第一配准形变场；和
步骤202，从上述第二个图像翘曲形变到上述第一个图像，获得第二配准形变场。本实施例中的步骤201和202的顺序可以置换，在此不对两个步骤的前后顺序进行限制。
本实施例中，上述步骤100中，n个样本个体的集合为S＝{S1,S2,...,Sn}，此n个样本个体对应的结构磁共振图像集合为M＝{M1,M2,...,Mn}，此n个样本个体对应的正电子发射计算机断层扫描图像集合表示为P＝{P1,P2,...,Pn}，其中Mi与Pi(i∈1,...,n)分别为同一样本个体i的结构磁共振图像(以下简称sMRI图像)和正电子发射计算机断层扫描图像(以下简称PET图像)。在利用微分同胚配准方法对每一对sMRI图像{Mi,Mj}，i,j∈1,...,n，进行微分同胚配准(diffeomorphic registration)，即图像间的空间映射为光滑可逆且其逆映射也是光滑的，其优点在于图像的拓扑结构在配准前后不会发生改变。针对每对sMRI图像{Mi,Mj}的微分同胚配准包括正向和逆向两个翘曲过程，其一是，从每对sMRI图像{Mi,Mj}中的第一个图像Mi翘曲形变到第二个图像Mj而获得的第一配准形变场φij，即Mj＝Miοφij，其中运算“ο”定义为根据第一配准形变场φij对第一个图像Mi进行翘曲(warping)，其二是，从上述第二个图像Mj翘曲形变到上述第一个图像Mi，而获得第二配准形变场φji，即Mi＝Mjοφji，其中运算“ο”定义为根据第二配准形变场φji对第二个图像Mj进行翘曲(warping)。由于配准算法为微分同胚的，则第一配准形变场φij和第二配准形变场φji均为微分同胚体(diffeomorphism)。所有微分同胚体的集合即构成李群，因此第一配准形变场φij和第二配准形变场φji即为李群中的元素。
如图2所示，本实施例的步骤300中，基于上述配准形变场计算每对结构磁共振图像之间的黎曼距离用以表示每对结构磁共振图像的非相似度，具体参见下述说明。如果用每对sMRI图像{Mi,Mj}之间的黎曼距离定义每对sMRI图像的非相似度，即如下述公式(1)所示。
公式(1)
其中，dist(Mi,Mj)表示为每对结构磁共振图像中第一图像Mi和第二个图像Mj之间的非相似度，d(Mi,Mj)和d(Mj,Mi)表示第一图像Mi和第二个图像Mj之间的黎曼距离。
那么基于上述步骤200获得的每对sMRI图像{Mi,Mj}之间的第一配准形变场φij和第二配准形变场φji，则上述步骤300中每对sMRI图像的非相似度可以用以下公式(2)计算：
公式(2)
其中，dist(Mi,Mj)表示为每对结构磁共振图像中第一图像Mi和第二个图像Mj之间的非相似度，φij表示上述第一配准形变场，φji表示上述第二配准形变场，N为预设的正整数，一般选取N≥3。但是本发明不限于只采用上述一种方式来定义每对sMRI图像{Mi,Mj}的非相似度，也可以采用其他方式来定义，并最终都将用上述步骤200获得的每对sMRI图像{Mi,Mj}之间的第一配准形变场φij和第二配准形变场φji来表示每对sMRI图像{Mi,Mj}的非相似度。
上述步骤300中通过公式(2)可以获得每对sMRI图像{Mi,Mj}的非相似度，那么汇总所有sMRI图像中每对sMRI图像{Mi,Mj}的非相似度，用多维特征向量表示提取的特征信息，则可形成上述第一特征提取信息。
基于上述实施例，如图2所示，本实施例中，上述步骤400中，首先执行步骤401将上述正电子发射计算机断层扫描图像线性配准到相应样本个体的结构磁共振图像上，即将PET图像Pi(i∈1,...,n)配准到sMRI图像Mi，配准后的PET图像标记为Pi′；将PET图像Pj(j∈1,...,n)配准到sMRI图像Mj，配准后的PET图像标记为Pj′。
然后，基于每对结构磁共振图像的配准形变场将每对结构磁共振图像对应的两幅正电子发射计算机断层扫描图像进行空间匹配，该空间匹配的过程选择以下两个步骤中的一个进行执行：
步骤402，根据上述第一配准形变场φij，对上述每对结构磁共振图像{Mi,Mj}中的第一个图像Mi对应的正电子发射计算机断层扫描图像Pi进行翘曲，即P″j＝P′iοφij；
步骤403，根据上述第二配准形变场φji，对上述每对结构磁共振图像{Mi,Mj}中的第二个图像Mj对应的正电子发射计算机断层扫描图像Pj进行翘曲，即P″i＝P′jοφji。上述P′j和P′i表示为与每对结构磁共振图像{Mi,Mj}配准后对应的两幅PET图像。
本实施例中的步骤402和403择一选择。本实施例中，将PET图像线性配准到相应样本个体的sMRI图像上，即将Pi，i∈1,...,n，配准到Mi。对每一对PET图像{Pi,Pj}，i,j∈1,...,n，利用{Mi,Mj}间的第一配准形变场φij或第二配准形变场φji，可将每对sMRI图像{Mi,Mj}对应的PET图像{Pi,Pj}进行空间匹配。
如图2所示，基于上述步骤402或步骤403的空间匹配之后，上述步骤400还包括：步骤404，即针对配准后的图像通过L2范数计算上述每对磁共振图像对应的两幅正电子发射计算机断层扫描图像之间的非相似度，形成第二特征提取信息。
如图2所示，本实施例的上述每对结构磁共振图像对应的两幅正电子发射计算机断层扫描图像之间的非相似度优选采用L2范数来定义(参见步骤404)，即上述每对结构磁共振图像对应的两幅正电子发射计算机断层扫描图像之间的非相似度为：上述每对结构磁共振图像对应的两幅正电子发射计算机断层扫描图像之间相减后取L2范数，具体如下述公式(3)所示。
公式(3)
其中，dist(Pi,Pj)表示每对PET图像{Pi,Pj}之间的非相似度，上述Pi φ和Pj φ表示为经过上述步骤401和步骤402或403之后获得与每对结构磁共振图像{Mi,Mj}对应的两幅PET图像(比如Pi φ＝P″i和或者Pi φ＝P′i和)，‖‖2表示取L2范数。本发明不限于采用这一种方式来定以两幅PET图像之间的相似度，当然也可以采用其他方式，但最终都将采用根据上述第一配准形变场φij和第二配准形变场φji进行空间匹配后的PET图像来计算两幅PET图像之间的相似度。
上述步骤400中通过公式(3)可以获得每对PET图像{Pi,Pj}的非相似度，那么汇总所有PET图像中每对PET图像{Pi,Pj}的非相似度，用多维特征向量表示提取的特征信息，则可形成上述第二特征提取信息。
基于上述实施例，如图2所示，本实施例的上述步骤500中融合上述第一特征提取信息和第二特征提取信息获得所有样本个体中每对样本个体图像之间的非相似度、形成第三特征提取信息的步骤可以包括以下两个步骤501和步骤502。
步骤501，对所有结构磁共振图像对{Mi,Mj}的非相似度和所有正电子发射计算机断层扫描图像对{Pi,Pj}的非相似度分别进行归一化处理，设定权值，获得每对样本个体图像之间的非相似度，具体可以如下述公式(4)所示。
dist(Si,Sj)＝ω·dist(Mi,Mj)+(1-ω)dist(Pi,Pj) 公式(4)
其中，dist(Si,Sj)表示为每对样本个体{Si,Sj}图像之间的非相似度，ω表示为设定的权值，dist(Mi,Mj)表示为上述步骤300计算得到的每对结构磁共振图像{Mi,Mj}的非相似度，dist(Pi,Pj)表示为上述步骤400计算得到的两幅PET图像{Pi,Pj}的非相似度。
步骤502，集合所有样本个体中每对样本个体图像之间的非相似度，获得非相似度矩阵，形成上述第三特征提取信息。在这里优选通过矩阵的形式表示第三特征提取信息，具体参见下述公式(5)。
公式(5)
其中，D表示集合所有样本个体中每对样本个体图像之间的非相似度获得的非相似度矩阵，Dij表示根据步骤501融合获得的每对样本个体{Si,Sj}图像之间的非相似度，优选采用上述公式(4)计算获得的dist(Si,Sj)值。
基于上述实施例，如图2所示，本实施例中，上述步骤600中优选基于上述第三特征提取信息、利用光谱投影方法提取每个样本个体对应图像的多维特征向量，其具体过程包括：
步骤601，将上述非相似度矩阵进行正则化处理；
步骤602，对正则化处理之后的矩阵数据进行特征分解，获得每个样本个体对应图像的多维特征向量，用以进行脑部医学图像分类。
基于上述实施例，如图2所示，本实施例中，上述步骤600还包括：
步骤603，即对上述多维特征向量进行降维处理，映射到k维欧几里得空间。
上述步骤600的具体原理如下所示。
利用光谱投影方法将非相似度矩阵D进行正则化得到，再进行特征分解，具体如下述公式(6)所示：
其中，Λ为特征值矩阵，λ1,λ2,...,λn为特征值，V为特征向量矩阵，为特征向量。选取合适的k，k≥2值，则为样本个体Si在k维欧几里得空间的投影坐标，即每个样本个体Si对应图像的多维特征向量。在k维欧几里得空间，使用任意模式分类方法，即可将n个样本个体{S1,S2,...,Sn}根据其sMRI图像和PET图像中所需要的区别属性进行分类，甄别出特定的图像。这里的区别属性包括病症的脑组织形态信息、生理信息。
基于上述各个实施例，如图3所示，本实施例中还包括在执行利用微分同胚配准方法获取每对结构磁共振图像的配准形变场的步骤200之前，执行对所有上述结构磁共振图像进行预处理的步骤101。这里的预处理包括位置纠正、偏移场纠正等。本发明的图像前期处理，如位置纠正、偏移场纠正等，可根据临床应用的不同或数据的不同由使用者自行选择相应的预处理方法。
基于上述用于脑部医学图像分类的图像预处理方法，如图4所示，本实施例还提供了一种用于脑部医学图像分类的图像预处理系统700，其包括：
图像提取模块701，用于获取多个样本个体分别对应的结构磁共振图像和正电子发射计算机断层扫描图像；
配准模块702，用于基于多个样本个体相应的结构磁共振图像，利用微分同胚配准方法获取每对结构磁共振图像的配准形变场；
第一特征提取模块703，用于利用上述每对结构磁共振图像的配准形变场，计算上述每对结构磁共振图像的非相似度，形成第一特征提取信息；
第二特征提取模块704，用于将上述正电子发射计算机断层扫描图像线性配准到相应样本个体的结构磁共振图像上，基于所述每对结构磁共振图像的配准形变场将每对结构磁共振图像对应的两幅正电子发射计算机断层扫描图像进行空间匹配，针对空间匹配后的图像计算两幅正电子发射计算机断层扫描图像之间的非相似度，形成第二特征提取信息；
第三特征提取模块705，用于融合上述第一特征提取信息和第二特征提取信息，获得所有样本个体中每对样本个体图像之间的非相似度，形成第三特征提取信息；
光谱投影模块706，用于基于上述第三特征提取信息，提取每个样本个体对应图像的多维特征向量，并将上述多维特征向量映射到k维欧几里得空间。
上述第一特征提取模块703在计算上述每对结构磁共振图像的非相似度时优选参见上述关于步骤300和上述公式(1)、公式(2)的相关说明，在此不作累述。
基于上述实施例，如图6所示，上述配准模块702可以包括：
第一翘曲单元712，用于执行从每对结构磁共振图像中的第一个图像翘曲形变到上述每对结构磁共振图像中的第二个图像获得第一配准形变场的步骤；和
第二翘曲单元722，用于执行从上述第二个图像翘曲形变到上述第一个图像获得第二配准形变场的步骤。关于第一翘曲单元712和第二翘曲单元722的具体执行可参见上述关于步骤200的相关说明，在此不作累述。
基于上述实施例，上述第一特征提取模块703还包括：
黎曼距离计算单元713，用于利用每对结构磁共振图像的配准形变场，计算黎曼距离以获得每对结构磁共振图像的非相似度，用以形成第一特征提取信息。黎曼距离的计算方法具体参见上述公式(1)和公式(2)的相关说明。
基于上述实施例，如图6所示，上述第二特征提取模块704可以包括：
配准单元744，用于执行将上述正电子发射计算机断层扫描图像线性配准到相应样本个体的结构磁共振图像上的步骤；和
空间匹配单元754，用于根据所述第一配准形变场或第二配准形变场对所述每对结构磁共振图像对应的正电子发射计算机断层扫描图像进行翘曲实现空间匹配。
这里的空间匹配单元754包括以下两个单元之一：
第一空间匹配单元714，用于根据上述第一配准形变场对上述每对结构磁共振图像中的第一个图像对应的正电子发射计算机断层扫描图像进行翘曲；
第二空间匹配单元724，用于根据上述第二配准形变场，对上述每对结构磁共振图像中的第二个图像对应的正电子发射计算机断层扫描图像进行翘曲。
上述实施例中的第一空间匹配单元714和第二空间匹配单元724的具体实现方式参见上述有关步骤400的相关说明，在此不作累述。
基于上述实施例，如图6所示，上述第二特征提取模块704还包括：
计算单元734，用于针对配准后的图像计算上述每对结构磁共振图像对应的两幅正电子发射计算机断层扫描图像之间的非相似度，用以形成第二特征提取信息。这里的两幅正电子发射计算机断层扫描图像之间的非相似度采用L2范数来定义，即将每对结构磁共振图像对应的两幅正电子发射计算机断层扫描图像之间相减后取L2范数来获得两幅正电子发射计算机断层扫描图像之间的非相似度。具体参见上述公式(3)的相关说明，在此不作累述。
基于上述实施例，如图6所示，上述第三特征提取模块705包括：
归一化单元715，用于对所有结构磁共振图像对的非相似度和所有正电子发射计算机断层扫描图像对的非相似度分别进行归一化处理、设定权值，获得每对样本个体图像之间的非相似度；
集合单元725，用于集合所有样本个体中每对样本个体图像之间的非相似度，获得非相似度矩阵，用以形成上述第三特征提取信息。
上述实施例中的归一化单元715和集合单元725参见上述步骤501和步骤502的相关说明，在此不作累述。
基于上述实施例，如图6所示，上述光谱投影模块706优选基于上述第三特征提取信息、利用光谱投影方法提取每个样本个体对应图像的多维特征向量，具体可以包括：
映射单元716，用于将上述非相似度矩阵进行正则化处理；
特征提取单元726，用于对正则化处理之后的矩阵数据进行特征分解，获得每个样本个体对应图像的多维特征向量。
基于上述实施例，如图6所示，上述光谱投影模块706还包括：
降维单元736，用于对上述多维特征向量进行降维处理，映射到k维欧几里得空间。k维欧几里得空间表示低维度空间。
上述实施例中映射单元716、特征提取单元726和降维单元736的相关工作原理参见上述有关步骤600的相关说明，在此不作累述。
基于上述各个实施例，如图5所示，本实施例中还包括：预处理模块707，用于对所有上述结构磁共振图像进行预处理。这里的预处理包括位置纠正、偏移场纠正等。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述各个实施例的方法和系统可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个非易失性计算机可读存储介质(如ROM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的系统结构和方法。
基于上述各个实施可见，本发明以微分同胚配准形变场为基础来计算图像间的非相似度，并且采用两两图像间的遍历式来提取非相似度信息，因此本发明的方法不易受到图像噪声、扫描机器不同、参数设置差异等方面的影响；在特征提取过程中，不以模板空间为基准，而采用两两比较的遍历式方式，可以避免了使用模板空间，以及最大程度地采集了图像间的相似程度信息，本发明的目的在于从图像中获得更多、更准确的结构与功能特征信息，便于更加准确的对图像进行特征提取的预处理，从而提高对特定图像识别分类的正确率。
以上上述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (16)

1.一种用于脑部医学图像分类的图像预处理方法，其包括：
获取多个样本个体分别对应的结构磁共振图像和正电子发射计算机断层扫描图像；
基于多个样本个体相应的结构磁共振图像，利用微分同胚配准方法获取每对结构磁共振图像的配准形变场；
利用所述每对结构磁共振图像的配准形变场，计算所述每对结构磁共振图像的非相似度，形成第一特征提取信息；
将所述正电子发射计算机断层扫描图像线性配准到相应样本个体的结构磁共振图像上，基于所述每对结构磁共振图像的配准形变场将所述每对结构磁共振图像对应的两幅正电子发射计算机断层扫描图像进行空间匹配，针对空间匹配后的图像计算所述两幅正电子发射计算机断层扫描图像之间的非相似度，形成第二特征提取信息；
融合所述第一特征提取信息和第二特征提取信息，获得所有样本个体中每对样本个体图像之间的非相似度，形成第三特征提取信息；
基于所述第三特征提取信息，提取每个样本个体对应图像的多维特征向量，并将所述多维特征向量映射到k维欧几里得空间，用以进行脑部医学图像分类。
2.根据权利要求1所述的用于脑部医学图像分类的图像预处理方法，其特征在于，所述利用微分同胚配准方法获取每对结构磁共振图像的配准形变场的步骤包括：
从每对结构磁共振图像中的第一个图像翘曲形变到所述每对结构磁共振图像中的第二个图像，获得第一配准形变场；和
从所述第二个图像翘曲形变到所述第一个图像，获得第二配准形变场。
3.根据权利要求1所述的用于脑部医学图像分类的图像预处理方法，其特征在于，所述方法中，基于所述配准形变场计算所述每对结构磁共振图像之间的黎曼距离用以表示所述每对结构磁共振图像的非相似度。
4.根据权利要求2所述的用于脑部医学图像分类的图像预处理方法，其特征在于，所述方法中针对正电子发射计算机断层扫描图像进行线性配准和空间匹配的过程包括以下步骤：
将所述正电子发射计算机断层扫描图像线性配准到相应样本个体的结构磁共振图像上；
根据所述第一配准形变场或第二配准形变场，对所述每对结构磁共振图像对应的正电子发射计算机断层扫描图像进行翘曲实现空间匹配。
5.根据权利要求1所述的用于脑部医学图像分类的图像预处理方法，其特征在于，所述融合所述第一特征提取信息和第二特征提取信息获得所有样本个体中每对样本个体图像之间的非相似度、形成第三特征提取信息的步骤包括：
对所有结构磁共振图像对的非相似度和所有正电子发射计算机断层扫描图像对的非相似度分别进行归一化处理，设定权值，获得每对样本个体图像之间的非相似度；
集合所有样本个体中每对样本个体图像之间的非相似度，获得非相似度矩阵，用以形成所述第三特征提取信息。
6.根据权利要求5所述的用于脑部医学图像分类的图像预处理方法，其特征在于，所述基于所述第三特征提取信息、提取每个样本个体对应图像的多维特征向量的步骤包括：
利用光谱投影方法将所述非相似度矩阵进行正则化处理；
对正则化处理之后的矩阵数据进行特征分解，获得每个样本个体对应图像的多维特征向量。
7.根据权利要求1所述的用于脑部医学图像分类的图像预处理方法，其特征在于，所述每对结构磁共振图像对应的两幅正电子发射计算机断层扫描图像之间的非相似度为：所述每对结构磁共振图像对应的两幅正电子发射计算机断层扫描图像之间相减后取L2范数。
8.根据权利要求1所述的用于脑部医学图像分类的图像预处理方法，其特征在于，所有样本个体中每对样本个体图像之间的非相似度表示为下述公式：
dist(Si,Sj)＝ω·dist(Mi,Mj)+(1-ω)dist(Pi,Pj)
其中，dist(Si,Sj)表示为每对样本个体{Si,Sj}图像之间的非相似度，ω表示为设定的权值，dist(Mi,Mj)表示为所述每对结构磁共振图像{Mi,Mj}的非相似度，dist(Pi,Pj)表示所述两幅正电子发射计算机断层扫描图像{Pi,Pj}的非相似度。
9.一种用于脑部医学图像分类的图像预处理系统，其特征在于，所述系统包括：
图像提取模块，用于获取多个样本个体分别对应的结构磁共振图像和正电子发射计算机断层扫描图像；
配准模块，用于基于多个样本个体相应的结构磁共振图像，利用微分同胚配准方法获取每对结构磁共振图像的配准形变场；
第一特征提取模块，用于利用所述每对结构磁共振图像的配准形变场，计算所述每对结构磁共振图像的非相似度，形成第一特征提取信息；
第二特征提取模块，用于将所述正电子发射计算机断层扫描图像线性配准到相应样本个体的结构磁共振图像上，基于所述每对结构磁共振图像的配准形变场将所述每对结构磁共振图像对应的两幅正电子发射计算机断层扫描图像进行空间匹配，针对空间匹配后的图像计算所述两幅正电子发射计算机断层扫描图像之间的非相似度，形成第二特征提取信息；
第三特征提取模块，用于融合所述第一特征提取信息和第二特征提取信息，获得所有样本个体中每对样本个体图像之间的非相似度，形成第三特征提取信息；
光谱投影模块，用于基于所述第三特征提取信息，提取每个样本个体对应图像的多维特征向量，并将所述多维特征向量映射到k维欧几里得空间，用以进行脑部医学图像分类。
10.根据权利要求9所述的用于脑部医学图像分类的图像预处理系统，其特征在于，所述配准模块包括：
第一翘曲单元，用于执行从每对结构磁共振图像中的第一个图像翘曲形变到所述每对结构磁共振图像中的第二个图像获得第一配准形变场的步骤；和
第二翘曲单元，用于执行从所述第二个图像翘曲形变到所述第一个图像获得第二配准形变场的步骤。
11.根据权利要求10所述的用于脑部医学图像分类的图像预处理系统，其特征在于，所述第二特征提取模块包括：
配准单元，用于执行将上述正电子发射计算机断层扫描图像线性配准到相应样本个体的结构磁共振图像上的步骤；和
空间匹配单元，用于根据所述第一配准形变场或第二配准形变场对所述每对结构磁共振图像对应的正电子发射计算机断层扫描图像进行翘曲实现空间匹配。
12.根据权利要求9所述的用于脑部医学图像分类的图像预处理系统，其特征在于，所述第一特征提取模块还包括：
黎曼距离计算单元，用于利用所述每对结构磁共振图像的配准形变场，计算黎曼距离以获得所述每对结构磁共振图像的非相似度，用以形成所述第一特征提取信息。
13.根据权利要求11所述的用于脑部医学图像分类的图像预处理系统，其特征在于，所述第二特征提取模块还包括：
计算单元，用于针对配准后的图像，将所述每对结构磁共振图像对应的两幅正电子发射计算机断层扫描图像之间相减后取L2范数来获得两幅正电子发射计算机断层扫描图像之间的非相似度，用以形成第二特征提取信息。
14.根据权利要求9所述的用于脑部医学图像分类的图像预处理系统，其特征在于，所述第三特征提取模块包括：
归一化单元，用于对所有结构磁共振图像对的非相似度和所有正电子发射计算机断层扫描图像对的非相似度分别进行归一化处理、设定权值，获得每对样本个体图像之间的非相似度；
集合单元，用于集合所有样本个体中每对样本个体图像之间的非相似度，获得非相似度矩阵，用以形成所述第三特征提取信息。
15.根据权利要求14所述的用于脑部医学图像分类的图像预处理系统，其特征在于，所述光谱投影模块包括：
映射单元，用于将所述非相似度矩阵进行正则化处理；
特征提取单元，用于对正则化处理之后的矩阵数据进行特征分解，获得每个样本个体对应图像的多维特征向量。
16.根据权利要求14所述的用于脑部医学图像分类的图像预处理系统，其特征在于，所述光谱投影模块还包括：
降维单元，用于对所述多维特征向量进行降维处理，映射到k维欧几里得空间。
CN201410542799.7A 2014-10-14 2014-10-14 用于脑部医学图像分类的图像预处理方法和系统 Active CN104281856B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410542799.7A CN104281856B (zh) 2014-10-14 2014-10-14 用于脑部医学图像分类的图像预处理方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410542799.7A CN104281856B (zh) 2014-10-14 2014-10-14 用于脑部医学图像分类的图像预处理方法和系统

Publications (2)

Publication Number Publication Date
CN104281856A CN104281856A (zh) 2015-01-14
CN104281856B true CN104281856B (zh) 2017-06-16

Family

ID=52256716

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410542799.7A Active CN104281856B (zh) 2014-10-14 2014-10-14 用于脑部医学图像分类的图像预处理方法和系统

Country Status (1)

Country Link
CN (1) CN104281856B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105701499B (zh) * 2015-12-31 2019-06-18 中国科学院深圳先进技术研究院 一种用于脑部mri图像分类的图像处理方法
CN107590517B (zh) * 2017-09-19 2020-07-10 安徽大学 一种基于形状信息的图像相似度度量方法及图像配准方法
CN108053428A (zh) * 2017-12-28 2018-05-18 上海联影医疗科技有限公司 一种医学图像的配准方法、装置及设备
CN108197629B (zh) * 2017-12-30 2021-12-31 北京工业大学 一种基于标签相关性约束张量分解的多模态医学影像特征提取方法
CN109658472B (zh) * 2018-12-21 2022-11-29 上海联影医疗科技股份有限公司 处理正电子发射计算机断层扫描图像数据的系统和方法
CN110533636B (zh) * 2019-07-31 2023-08-04 平安科技（深圳）有限公司 一种图像分析装置
CN110969204B (zh) * 2019-11-29 2023-05-12 中国科学院自动化研究所 基于磁共振图像与数字病理图像融合的样本分类系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103417234A (zh) * 2012-05-22 2013-12-04 通用电气公司 用于运动校正医疗图像的方法和设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110064289A1 (en) * 2009-09-14 2011-03-17 Siemens Medical Solutions Usa, Inc. Systems and Methods for Multilevel Nodule Attachment Classification in 3D CT Lung Images

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103417234A (zh) * 2012-05-22 2013-12-04 通用电气公司 用于运动校正医疗图像的方法和设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Registration of Image With Varying Topology Using Embedded Maps;Xiaoxing Li et al.;《IEEE TRANSACTIONS ON MEDICAL IMAGING》;20120331;第31卷(第3期);第749-765页 *
基于MR和PET成像的轻度阿尔茨海默病分类方法;朱旭艳等;《电子测量与仪器学报》;20130930;第27卷(第9期);第850-858页 *

Also Published As

Publication number Publication date
CN104281856A (zh) 2015-01-14

Similar Documents

Publication Publication Date Title
CN104281856B (zh) 用于脑部医学图像分类的图像预处理方法和系统
Iqbal et al. Deep learning model integrating features and novel classifiers fusion for brain tumor segmentation
Lopes et al. Pre-trained convolutional neural networks as feature extractors for tuberculosis detection
Liu et al. Multi-view multi-scale CNNs for lung nodule type classification from CT images
Mughal et al. A novel classification scheme to decline the mortality rate among women due to breast tumor
Kong et al. A generalized Laplacian of Gaussian filter for blob detection and its applications
Zhang et al. Semi-supervised assessment of incomplete LV coverage in cardiac MRI using generative adversarial nets
Wang et al. Breast mass detection in digital mammogram based on gestalt psychology
Palma et al. Detection of masses and architectural distortions in digital breast tomosynthesis images using fuzzy and a contrario approaches
Li et al. Texton analysis for mass classification in mammograms
Bhattacharjee et al. Review on histopathological slide analysis using digital microscopy
Rakesh et al. Image segmentation and detection of tumor objects in MR brain images using fuzzy C-means (FCM) algorithm
Casanova et al. Texture analysis using fractal descriptors estimated by the mutual interference of color channels
Park et al. Dimensionality reduced cortical features and their use in the classification of Alzheimer's disease and mild cognitive impairment
Duan et al. A novel GA-based optimized approach for regional multimodal medical image fusion with superpixel segmentation
Feng et al. Supervoxel based weakly-supervised multi-level 3D CNNs for lung nodule detection and segmentation
Xu et al. Mammographic mass segmentation using multichannel and multiscale fully convolutional networks
Sreeja et al. Image fusion through deep convolutional neural network
Rajamani et al. Attention-augmented U-Net (AA-U-Net) for semantic segmentation
Alvén et al. Überatlas: fast and robust registration for multi-atlas segmentation
Chauhan et al. Medical image fusion methods: Review and application in cardiac diagnosis
Rama et al. Image pre-processing: enhance the performance of medical image classification using various data augmentation technique
Mehmood et al. A non-uniform quantization scheme for visualization of CT images
CN110837844A (zh) 基于ct图像不相似性特征的胰腺囊性肿瘤良恶性分类方法
Yosifov Extraction and quantification of features in XCT datasets of fibre reinforced polymers using machine learning techniques

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant