CN101706876B - 基于混合子空间学习选择性集成的微钙化簇检测方法 - Google Patents

Abstract

本发明公开了一种基于混合子空间学习选择性集成的微钙化簇检测方法，它属于图像处理技术领域。其检测过程包括学习得到子空间方法集合所对应的特征投影矩阵集；在特征子空间中训练基学习器并得到其训练权重；将子空间投影矩阵集和基学习器模型及其权重保存起来；选择最优子空间学习方法集及基学习器模型存储到检测模型库；计算待检测图像在检测模型库中的各子空间的投影向量，并输入到相应基学习器模型得到测试结果集；最后计算测试结果集的加权平均值，作为微钙化簇检测的最后结果。本发明在噪声环境下能很好地进行子空间特征的提取和微钙化簇的检测，提高了微钙化簇检测系统检测性能和稳定性，可用于乳腺癌辅助诊断系统。

Description

基于混合子空间学习选择性集成的微钙化簇检测方法

技术领域

本发明属于图像处理技术领域，涉及混合多子空间学习和集成学习方法，主要用于乳腺癌辅助诊断系统。

背景技术

模式识别的发展面临许多问题和挑战，其中尤为突出的就是数据的“维数灾难”问题。医学影像数据、金融市场交易数据、消费市场数据、语音数据以及人脸图像数据等，其表象均是高维的。这种维数的膨胀，给数据分析带来了较大的挑战，使计算机实现机器学习算法处理时存在着很大的困难。因此，模式识别中的数据降维技术应运而生。通过学习或优化的方法，降维技术可以找到数据的内在结构和联系，去除冗余信息，提取到有利于数据表达或数据分类的判别信息，从而达到降低计算量、提高分类速度和精度的目的。

目前降维技术的常用方法是子空间学习的方法。子空间学习一般分为线性和非线性的方法。传统的线性子空间学习方法中主要有主成分分析、线性判别分析、因子分析、投影追踪等。另一类是基于全局的非线性子空间学习方法，主要包括MDS(Multitidimensional Scaling)、SPE(Stochastic Proximity Embedding)、Isomap、FastMVU(Fast Maximum Variance Unfolding)、Kernel PCA、GDA(GeneralizedDiscriminant Analysis)、DM(Diffusion maps)、SNE(Stochastic Neighbor Embedding)、Multilayer autoencoders等；另外一类是基于局部的非线性子空间学习方法，主要有LLE(Local Linear Embedding)、Laplacian Eigenmaps、Hessian LLE、LTSA(LocalTangent Space Analysis)、CCA(Conformal Eigenmaps)、MVU(Maximum VarianceUnfolding)、LPP(Linearity Preserving Projection)、NPE(Neigborhood PreservingEmbedding)、LLTSA(Linear LTSA)等；基于全局的线性模型排列的方法主要有LLC(Locallly Linear Coordination)、Manifold charting、CFA(Coordinated Factor Analysis)等。

这些方法在解决某些问题上已经取得了较好的效果，然而有些子空间学习方法对数据中的噪声却较为敏感，噪声的出现导致参数设置困难，会极大地影响子空间学习的效果。另外，目前单个特征子空间中还没有一种特征提取方法在任何情况下进行分类都能优于其它算法，而多子空间的方法则可以通过对多个特征子空间中的模式进行融合或集成，来克服单特征子空间中的限制，以实现高于单特征子空间方法的模式识别率。

目前，研究者已经提出了基于集成学习的微钙化点检测方法。如Li等在“Li M，Zhou Z-H.Improve Computer-Aided Diagnosis With Machine Learning Techniques UsingUndiagnosed Samples[J].IEEE Trans Syst，Man，Cybern A，2007，37(6)：1088-98.”一文中提出了基于Co-Forest集成学习的微钙化点检测方法。该方法先将乳腺图像分割成若干个100×100的图像块并提取5个特征：Average Density，Density Variance，EnergyVariance，Block Activity，Spectral Entropy；然后采用半监督学习的方法利用标注和未标注过的样本训练得到一个集成基学习器；最后对每一个图像块进行分类检测。该方法能在有限标注样本的情况下取得较好的检测效果。Massimo D S等在“De Santo M，Molinara M，Tortorella F，et al.Automatic classification of clustered microcalcifications bya multiple expert system[J].Pattern Recognition，2003，36(7)：1467-77.”一文提出了多专家信息融合的微钙化簇检测算法。单一种类的图像特征可能不能很好的提高微钙化簇的检测效果，为了提高系统的性能，作者设计了一种基于多专家系统知识融合的微钙化簇检测方法。该方法法由多个专家分类系统组成，每一个专家对应某一领域知识，如钙化点领域专家、钙化点簇领域专家，对每一领域的专家分别提取相对应的特征，然后将多个专家的知识融合到一起并做出最后的决策。

以上这些方法通过不同的集成学习取得了一定的效果，但这些方法基本上是基于某些固定的特征或领域知识来进行分类检测，没有考虑噪声数据的影响以及如何动态地获取这些特征或领域知识。当这些方法在遇到数据噪声或所提取的特征判别能力不强的时候，使得其检测性能大大降低，且稳定性较差。

发明内容

本发明的目的是针对现有的微钙化簇检测技术存在的问题，利用机器学习中的子空间学习和选择性集成方法及装置，提供一种基于混合子空间学习选择性集成的微钙化簇检测方法及装置，以实现微钙化簇检测的特征自动选择与集成，提高检测的性能和稳定性。

实现本发明的技术思路是：通过混合子空间学习将样本分别映射到特征子空间，然后根据特征子空间表示目标样本判别信息的能力，有选择性的将其作为候选子空间；对训练样本在候选子空间分别提取特征并对基学习器进行训练，分别得到相应子空间所对应的训练后的基学习器模型。对于测试样本，对每一个候选子空间及其基学习器模型进行分类测试；将所有的测试结果进行加权平均以得到最后的预测值以确定该样本是否含有微钙化簇。

本发明的微钙化簇检测装置，包括：

子空间学习模块，用于根据训练样本集对子空间学习方法集中的每一个子空间进行训练学习，得到相应的子空间投影矩阵集，并将子空间投影矩阵集输入到基学习器训练模块；

基学习器训练模块，用于根据子空间投影矩阵集将训练样本集映射到子空间学习方法集中的每一个子空间，并选取用户设定比例的样本对每一个子空间相对应的基学习器模型进行训练，用剩余的样本进行测试得到测试结果，得到基学习器模型集合，并将基学习器模型集和子空间投影矩阵集输入到选择模块；

选择模块，用于根据基学习器模型集和子空间投影矩阵集选择最优子空间及与子空间相对应的基学习器模型，若子空间学习方法所对应的基学习器模型的测试结果准确度大于用户设定的阈值则选取，否则返回，并将选择的结果输入到保存模块；

保存模块，用于将选择模块已选择的子空间学习方法和基学习器模型，及基学习器模型对应的训练测试结果作为权重一并保存到检测模型库中；

测试模块，用于调用检测模型库中的模型，将原始图像块通过候选子空间中的投影矩阵集合投影到特征子空间，并调用与子空间学习方法对应的基学习器模型进行测试得到测试结果集，并将测试结果集输入到决策集成模块；

决策集成模块，用于计算测试结果集的最终检测结果，并将检测结果交给检测判决模块；

检测判决模块，用于根据最终检测结果值判断该图像块中是否含有微钙化簇，并输出检测结果。

本发明的钙化簇检测方法，包括步骤如下：

(1)对微钙化簇检测模型库中的检测模型进行查询，若检测模型不存在，则执行步骤(2)，否则转到步骤(9)；

(2)从训练样本数据库获得用于子空间学习的训练样本集；

(3)以子空间学习样本集为训练数据，在子空间学习方法集合中通过对每一个子空间学习得到子空间所对应的特征投影矩阵；

(4)从训练样本数据库获得用于基学习器训练的训练样本集；

(5)将基学习器训练样本集投影到子空间学习集中的每一个特征子空间，得到子空间特征向量集；

(6)用每一个特征子空间所对应特征数据集训练基学习器模型，并用该数据集测试基学习器模型得到测试结果，并将其作为基学习器的权重；

(7)将训练好的子空间投影矩阵和基学习器模型保存起来，得到子空间学习和基学习器模型集合；

(8)根据基学习器模型的测试结果，选择出识别能力大于用户设定阈值的子空间学习模型及其对应的基学习器模型，存储到检测模型库中；

(9)输入待检测的图像，并生成待检测图像在最优子空间学习集合所对应的各子空间中的投影向量；

(10)根据每一个最优子空间学习得到的投影向量及与其相对应的基学习器模型计算最优基学习器模型的预测值；

(11)根据每个基学习器的权重计算所有最优基学习器预测值的加权平均值，若该加权平均值大于用户设定的阈值，则判断该待检测图像中含有微钙化簇，否则没有。

本发明与现有技术相比具有以下优点：

1)本发明由于使用多子空间学习方法来提取特征，避免了将特征提取固定于某一个特征子空间，提高了方法的自适应水平；

2)本发明由于选择性的选择子空间，并对最后的检测结果进行集成，这样大大提高了方法的检测准确度和稳定性；

3)仿真结果表明，本发明给出的微钙化簇检测方法的ROC曲线下面积达到了0.9674，且稳定性较好。

本发明的技术过程和效果可结合以下附图详细说明。

附图说明

图1是微钙化簇检测装置示意图；

图2是本发明的微钙化簇检测过程图；

图3是本发明的ROC曲线评价示意图；

图4是本发明的稳定性测试图。

具体实施方式

下面结合附图对本发明的内容和效果作进一步详细描述。

参照图1，本发明的基于混合子空间学习选择性集成的微钙化簇检测方法的虚拟装置，主要由模型库训练单元、模型库生成单元、测试模块、决策集成模块和检测判决模块组成。

模型库训练单元，用于微钙化簇检测模型库的训练，它包括子空间学习模块和基学习器训练模块。该单元的输入为训练样本数据库，子空间学习方法集合和基学习器，输出为子空间投影矩阵集合和基学习器模型。其中子空间学习模块输入为子空间训练样本集和子空间学习方法集，该模块根据训练样本集对子空间学习方法集中的每一个子空间进行训子空间学习方法集中的每一个子空间进行训练学习，得到相应的子空间投影矩阵集，并将子空间投影矩阵集输入到基学习器训练模块。该基学习器训练模块的输入为基学习器训练样本集和子空间投影矩阵集，该模块根据子空间投影矩阵集将训练样本集映射到子空间学习方法集中的每一个子空间，并选取用户设定比例的样本对每一个子空间相对应的基学习器模型进行训练，用剩余的样本进行测试得到测试结果，得到基学习器模型集合，并将基学习器模型集和子空间投影矩阵集输入到模型库生成单元。

模型库生成单元，用于微钙化簇检测模型库的生成，它包括选择模块和保存模块。该单元的输入为基学习器模型集和子空间投影矩阵集，输出为微钙化簇检测模型库。其中选择模块输入为基学习器模型集和子空间投影矩阵集，输出为标记过的基学习器模型和子空间投影矩阵。该模块根据基学习器模型集和子空间投影矩阵集选择最优子空间及与子空间相对应的基学习器模型，若子空间学习方法所对应的基学习器模型的测试结果准确度大于用户设定的阈值则选取，否则返回，并将选择的结果输入到保存模块。该保存模块输入为标记过的基学习器模型和子空间投影矩阵，用于将选择模块已选择的子空间学习方法和基学习器模型，及基学习器模型对应的训练测试结果作为权重一并保存到检测模型库中。

测试模块，用于微钙化簇检测的测试，该模块的输入为检测模型库和待检测图像块，输出为测试结果集。该模块调用检测模型库中的模型，将待检测图像块通过候选子空间中的投影矩阵集投影到特征子空间，并调用与子空间学习方法对应的基学习器模型进行测试得到测试结果集，然后将测试结果集输入到决策集成装置。

决策集成模块，用于测试结果的集成，该模块的输入为测试结果集，输出为最终检测结果。该模块根据测试结果集，对所有测试结果进行集成得到最终测试结果，并将最终测试结果输入到检测判决模块。

检测判决模块，用于检测结果的判断，该模块的输入为最终测试结果集，输出为微钙化簇检测结果。该模块根据最终测试结果值判断该图像块中是否含有微钙化簇，并输出检测结果。

参照图2，本发明的微钙化簇检测方法按如下步骤进行。

步骤1，初始化操作，用于打开模型库。

步骤2，判断微钙化簇检测模型库是否已经训练好，如果是则执行步骤12，否则执行步骤3。

步骤3，判断子空间学习方法是否已经训练好，如果是则执行步骤6，否则执行步骤4。

步骤4，从训练样本数据库中获取用于子空间学习的训练数据集，该数据集包括正样本，含有微钙化簇和负样本(正常乳腺区域)，二者的比例可以由用户自行设定。

步骤5，根据训练数据集对子空间学习方法集中的所有子空间学习方法进行训练并得到相应的投影矩阵集，这里的子空间学习方法集合包括任意多个子空间学习算法，例如选择m个子空间学习方法作为子空间学习方法集。

步骤6，从训练样本数据库获得基学习器训练数据集，该数据集包括正样本(含有微钙化簇)和负样本(含有正常乳腺区域)，二者的比例由用户指定。

步骤7，将基学习器训练数据集分别投影到相应的子空间，从而得到特征子空间数据集。

步骤8，将基学习器在特征子空间数据集上进行训练，得到训练后的分类模型，并利用该数据集测试训练后的基学习器得到测试结果作为该基基学习器的权重。该步骤中由用户采用有监督的基学习器，例如选择支持向量机作为基学习器。

步骤9，将训练好的子空间投影矩阵和基学习器模型保存起来，得到子空间学习方法和基学习器模型集合。

步骤10，用于选择子空间及其所对应的基学习器模型是否作为候选对像，若子空间学习算法所对应的基学习器模型的测试结果准确度大于用户指定的阈值，若标记该子空间学习方法和基学习器模型为可选取。

步骤11，将已经选择的子空间学习方法及训练好的基学习器模型作为候选子空间及候选基学习器模型，同时将其所对应的准确率作为基学习器的权重一并保存到检测模型库中。

步骤12，接收待检测图像块，并将该图像块投影到相应的子空间得到的最优子空间特征集合中。

步骤13，由最优子空间所对应的基学习器模型测试空间特征集合，得到测试结果集。

步骤14，将测试结果集进行集成得到最后检测结果，该步骤中的集成方法采用常用的集成策略，如加权平均法，按如下的公式进行：

$h^{*}=\underset{j=1}{\overset{L}{\mathrm{\Σ}}}{\mathrm{\τ}}_j^{\′}{h}_j$

式中，h^*是最终决策结果，τ′_j是候选最优特征子空间所对应的归一化后的权重，h_j是候选特征子空间所对应分类模型的测试输出结果。

步骤15，判断最终决策结果是否大于用户设定的阈值，若大于该阈值则判断该待检测图像中含有微钙化簇，否则没有。

步骤16，标示出该图像块含有微钙化簇检测区域。

以下通过仿真实验验证本发明方法的有效性和稳定性。

仿真实验内容：

实验1，评价本发明与基于单个子空间学习方法的性能差别，实验中根据每个子空间学习算法进行空间映射后的判别能力将识别率大于68％的子空间学习方法作为最优子空间集合。如表1所示。表1中给出了四个指标来评价基于单个子空间和基于混合子空间选择集成算法的性能：准确率、灵敏度、特异度和ROC曲线下面积。由图1可知，基于混合子空间学习选择性集成的微钙化簇检测方法从四个指标来看都优于基于单个的子空间学习的微钙化簇检测方法。

表1单个子空间法与混合多子空间选择集成的微钙化簇检测法性能评价

实验2，ROC曲线分析，测试本发明的整体检测性能。图3给出了基于混合子空间学习选择性集成的方法进行微钙化簇检测的ROC曲线。由图3实验结果可知，与文献中提出的方法相比，本发明在提高检出率的同时降低了假阳性率且ROC曲线下面积达到了0.9674。

实验3，验证算法的稳定性。本实验分别重复训练并测试本发明给出的方法10轮，每轮训练算法N＝10i，i＝1，..，10次。每轮实验中从样本数据库中随机选择50％的样本作为训练样本集，余下的50％作为测试样本集。图4给出了该实验得到的各评价指标所对应的统计分析箱图，其中图4a对应准确率，图4b对应灵敏度，图4c对应特异度，图4d对应ROC曲线下面积。从图4实验结果的各评价指标可看出该发明提出的方法无论在稳定性还是在检测性能上都取得了较好的效果。

本发明方法并不是利用单一的子空间学习方法，而是将多个子空间学习方法结合起来进行微钙化簇的检测。在最优子空间学习方法选择过程中，基于机器学习中的选择性集成的思想，主要考虑到以下几点：(1)数据噪声对子空间学习算法性能的影响；(2)单一子空间学习方法所对应的表达判别信息识别能力；(3)某子空间学习方法纠正其他子空间学习方法误识能力。这样就使得最终选择出来的子空间学习方法集合既有较高的判别能力又有较强的互补性和稳定性，从而保证了将该集合中的子空间特征及其所对应的基学习器模型结合起来能够获得较好的检测效果。

本发明充分考虑噪声数据对子空间学习的影响，尽量选择能表征出原图像判别信息的子空间映射方法，某种程度上解决了单一子空间学习方法不稳定的问题，另外通过将选择后的子空间特征数据的判决结果进行集成，大大的提高了最终检测结果的效率和准确度，进而实现了高效检测微钙化簇的目的，仿真结果也表明该方法在稳定性和检测效率方面比文献中给出的检测方法具有更好的效果。

本发明说明书中未作详细描述的内容属于本领域专业技术人员周知的现有公开技术。

以上实施方式仅用于说明本发明，而并非对本发明的限制。尽管为说明目的公开了本发明的最佳实施例和附图，但是本领域的技术人员可以理解；在不脱离本发明及所附的权利要求的精神和范围内，各种替换、变化、修改都是可能的。因此，所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定，而不应局限于最佳实施例和附图所公开的内容。

Claims (2)

1.一种基于混合子空间学习选择性集成的微钙化簇检测装置，包括：

子空间学习模块，用于根据训练样本集对子空间学习方法集中的每一个子空间进行训练学习，得到相应的子空间投影矩阵集，并将子空间投影矩阵集输入到基学习器训练模块；

基学习器训练模块，用于根据子空间投影矩阵集将训练样本集映射到子空间学习方法集中的每一个子空间，并选取用户设定比例的样本对每一个子空间相对应的基学习器模型进行训练，用剩余的样本进行测试得到测试结果，得到基学习器模型集，并将基学习器模型集和子空间投影矩阵集输入到选择模块；

选择模块，用于根据基学习器模型集和子空间投影矩阵集选择最优子空间及与子空间相对应的基学习器模型，若子空间学习方法所对应的基学习器模型的测试结果准确度大于用户设定的阈值则选取，否则返回，并将选择的结果输入到保存模块；

保存模块，用于将选择模块已选择的子空间学习方法和基学习器模型，及基学习器模型对应的训练测试结果作为权重一并保存到检测模型库中；

测试模块，用于调用检测模型库中的模型，将原始图像块通过候选子空间中的投影矩阵集合投影到特征子空间，并调用与子空间学习方法对应的基学习器模型进行测试得到测试结果集，并将测试结果集输入到决策集成模块；

决策集成模块，用于计算测试结果集的最终检测结果，并将检测结果交给检测判决模块；

检测判决模块，用于根据最终检测结果值判断该图像块中是否含有微钙化簇，并输出检测结果。

2.一种基于混合子空间学习选择性集成的微钙化簇检测方法，包括如下步骤：

(1)对微钙化簇检测模型库中的检测模型进行查询，若检测模型不存在，则执行步骤(2)，否则转到步骤(9)；

(2)从训练样本数据库获得用于子空间学习的训练样本集；

(3)以子空间学习的训练样本集为训练数据，在子空间学习方法集合中通过对每一个子空间学习得到子空间所对应的特征投影矩阵；

(4)从训练样本数据库获得用于基学习器训练的训练样本集；

(5)将基学习器训练样本集投影到子空间学习集中的每一个特征子空间，得到子空间特征数据集；

(6)用每一个特征子空间所对应特征数据集训练基学习器模型，并用该数据集测试基学习器模型得到测试结果，并将其作为基学习器的权重；

(7)将训练好的子空间投影矩阵和基学习器模型保存起来，得到子空间学习和基学习器模型集合；

(8)根据基学习器模型的测试结果，选择出识别能力大于用户设定阈值的子空间学习模型及其对应的基学习器模型，存储到检测模型库中；

(9)输入待检测的图像，并生成待检测图像在最优子空间学习集合所对应的各子空间中的投影向量；

(10)根据每一个最优子空间学习得到的投影向量及与其相对应的基学习器模型计算最优基学习器模型的预测值；

(11)根据每个基学习器的权重计算所有最优基学习器预测值的加权平均值，若该加权平均值大于用户设定的阈值，则判断该待检测图像中含有微钙化簇，否则没有。

Images