CN106203488B - 一种基于受限玻尔兹曼机的乳腺图像特征融合方法 - Google Patents

Abstract

本发明涉及一种基于受限玻尔兹曼机的乳腺图像特征融合方法，首先通过堆叠自编码器深度学习分别获取乳腺钼靶、乳腺B超的高层语义特征，然后利用受限玻尔兹曼机模型提取乳腺B超、钼靶的不同模态图像的共享特征表示。本发明所提出的一种基于受限玻尔兹曼机的乳腺图像特征融合方法，以无监督的训练方式获取乳腺B超、钼靶的不同模态统计属性之间的联合分布，可以充分利用大量的无标签数据，弥补了目前好多特征融合方法过度依赖于样本类标签的缺陷，具有较强的实用性。

Description

一种基于受限玻尔兹曼机的乳腺图像特征融合方法

技术领域

本发明涉及特征工程技术领域，特别是一种基于受限玻尔兹曼机的乳腺图像特征融合方法。

背景技术

乳腺癌是发生在妇女群体中最普遍的恶性肿瘤之一。近年来我国调查研究显示，乳腺癌的发生比率在逐年递增。因此提高乳腺癌的早期诊断精度变得越来越有意义。

目前，乳腺癌诊断采用的主要方法是通过乳腺钼靶、B超图像等影像检查，诊断者通过钙化或肿块等影像特征来对病情进行分析。但由于乳腺组织中的腺体、血管、脂肪等软组织的密度与病灶区的密度都很接近，加上诊断者视觉疲劳等因素，使得早期乳腺癌的误诊和漏诊仍时常发生。随着医学影像技术和计算机技术的不断发展，利用计算机进行辅助诊断成为可能。

从计算机辅助诊断乳腺癌的应用现状来看，计算机辅助诊断的准确度很大程度取决于提取到乳腺图像病理相关特征是否有效。目前，一张特定的医学图像对应一个单一的视角，只能捕捉到该视角下的局部信息，辅助诊断通常需要综合考虑不同视角的情况。例如对于乳腺钼靶图像而言，就可分为LCC、LMLO、RCC、RMLO四个不同的视角。其中LCC、LMLO是针对左乳腺的影像，而RCC、RMLO是针对右乳腺的影像。CC、MLO代表不同视角，分别表示轴位和侧位。不同视角下图像特征的融合有助于提供更为全面的病理描述。其次，医学成像技术发展至今，有各种模态的医学图像，如超声、核磁共振成像、乳腺钼靶图像、核医学图像、计算机断层摄影、红外线、荧光造影等。由于采用不同的成像技术，每种模态的医学图像在辅助诊断中具有各自的特点。就乳腺癌诊断而言，钙化和肿块是两个非常重要的诊断依据。乳腺钼靶对微小钙化敏感度高，但对肿块受致密性影响很大；乳腺B超图像肿块检测性能良好，不受致密性影响，但是对微小钙化敏感性差。显然，乳腺X射线和B超图像在辅助诊断上存在很强的互补性，两种模态下各自的图像特征亟需有效融合。因此，最好的解决机制是提供一种可以根据以往乳腺癌钼靶图像自动学习出与病理有关且可用于辅助诊断的钼靶图像高层语义特征的方法。

医学图像特征融合是隶属于医学图像融合的一个子问题。目前研究最多也最为成熟的是像素级图像融合技术，包含两个阶段：图像配准和像素信息融合。但是像素级融合是最低层次的融合，在尽可能多的保留原始图像信息的同时也带来了计算繁杂的缺陷。决策级融合发生在决策阶段，主要是通过集成不同分类器来实现，以此达到提高单一分类器性能的目的。作为最高层次的融合，决策级融合处理简单但是损失细节信息过多。特征级融合介于像素级和决策级之间，在保留足够数量的有效信息的基础上，对信息进行了一定的压缩，减少信息处理的繁杂度。无论是信息饱和度还是处理效用度的角度来考察，特征级融合都是医学图像融合中更为合理有效的机制。

目前特征级融合主要有级(串)联融合、并联融合、加权融合、基于主成分分析的融合和基于典型相关分析融合等。例如王之琼等人首先提取乳腺乳腺钼靶图像的特征，然后将左侧乳腺、右侧乳腺以及双侧乳腺对比特征进行级联融合。Dong-Jun Yu,Jun Hu等人对蛋白质的多视角特征利用复数空间进行融合，然后在利用广义的主成分分析进行分类。魏旭等人先提取了包括分形特征、局域灰度概率特征等多种特征，通过基于PCA的特征融合算法对其进行融合，对目标进行了匹配识别。医学图像含有异构性、成分复杂、噪声显著、生理相关性等特性，使得到目前为止的医学图像特征级融合的效果不尽人意。

受限玻尔兹曼机作为一种多隐层的人工神经网络深度学习模型，具有很强的特征学习能力，可以从数据中学习得到更抽象更本质的特征；而多层人工神经网络很难进行有效训练的问题也可以通过逐层无监督训练加以克服。

因此，本申请基于上述方法，从乳腺钼靶、B超图像预处理获取的手工浅层特征中经由堆叠自编码学习抽取效用度更好的高层病理特征，进一步经由单模态多视角下图像病理特征融合和多模态图像病理特征融合等阶段，从而为临床诊断提供更有价值的“参考意见”，提高乳腺癌诊断的准确率和效率。

发明内容

本发明的目的在于提供一种基于受限玻尔兹曼机的乳腺图像特征融合方法，以克服现有技术中存在的缺陷。

为实现上述目的，本发明的技术方案是：一种基于受限玻尔兹曼机的乳腺图像特征融合方法，包括以下步骤：

步骤S1：针对乳腺钼靶图像，从不同视角提取的手工浅层特征，并经过深度学习，得到不同视角的高层语义特征；

步骤S2：针对乳腺B超图像，从不同视角提取的手工浅层特征，并经过深度学习，得到不同视角的高层语义特征；

步骤S3：将所述步骤S1中获取的乳腺钼靶图像不同视角的高层语义特征级联，得到乳腺钼靶多视角融合后的高层语义特征；

步骤S4：将所述步骤S2中获取的乳腺B超图像不同视角的高层语义特征级联，得到乳腺B超多视角融合后的高层语义特征；

步骤S5：将所述步骤S3及所述步骤S4得到的乳腺钼靶多视角融合后的高层语义特征、乳腺B超多视角融合后的高层语义特征作为训练样本，利用CD算法训练整个多模态乳腺图像特征融合模型，也即FUSION_RBM模型；

步骤S6：所述FUSION_RBM模型训练完成后，给定一待测样本(f_mod¹，f_mod²)，根据以下公式获得融合特征表示：

其中，h_j为隐层h第j个单元，f_mod^t _i为模态t图像特征第i个单元，w^t _ij为模态t图像特征输入层第i个单元与隐层h第j个单元之间的连接权值，b^h _j为隐层h中第j个单元的偏置，b^t _i为模态t图像特征输入层第i个单元的偏置，σ表示sigmoid函数。

进一步的，在本发明一实施例中，在所述步骤S1中，从每一张视角为CC位，也即view1，的钼靶ROI图像中提取手工浅层特征，经过堆叠自编码器深度学习，得到钼靶的高层语义特征SAE-F2-view1；从每一张视角为MLO位，也即view2，的钼靶ROI图像中提取手工浅层特征，经过堆叠自编码器深度学习，得到钼靶高层语义特征SAE-F2-view2。

进一步的，在本发明一实施例中，在所述步骤S2中，从每一张视角为切面1，也即view1，的B超ROI图像中提取手工浅层特征，经过堆叠自编码器深度学习，得到B超的高层语义特征BSAE-F2-view1；从每一张视角为切面2，也即view2，的B超ROI图像中提取手工浅层特征，经过堆叠自编码器深度学习，得到B超的高层语义特征BSAE-F2-view2。

进一步的，在本发明一实施例中，在所述步骤S3中，将所述步骤S1得到的乳腺钼靶两个视角的图像特征SAE-F2-view1和SAE-F2-view2，串联成一个高维特征向量SAE-F2-fusion，以保留所有视角的信息。

进一步的，在本发明一实施例中，在所述步骤S4中，将所述步骤S2中得到的乳腺B超两个视角的图像特征BSAE-F2-view1和BSAE-F2-view2，串联成一个高维特征向量BSAE-F2-fusion，以保留所有视角的信息。

进一步的，在本发明一实施例中，在所述步骤S5中，将所述步骤S3及所述步骤S4得到的乳腺钼靶多视角融合后的高层语义特征、乳腺B超多视角融合后的高层语义特征作为训练样本，利用CD算法训练整个多模态乳腺图像特征融合模型，也即FUSION_RBM模型，具体包括以下步骤：

步骤S51：初始化，α表示学习率，size表示训练集样本个数，num_epoch表示设置的循环次数；

步骤S52：外重循环for t＝1:num_epoch；

内重循环for s＝1:size；

步骤S521：输入层采样；将训练样本转化为二进制单元，具体为：即，当特征大于一个0至1之间的随机数时，赋值为1，否则为0；其中，f_mod¹＝BSAE-F2-fusion，f_mod²＝SAE-F2-fusion，v_i表示模态i的特征维数；rand(1,v₁+v₂)表示产生1行v₁+v₂列的(0,1)区间的随机数；

步骤S522：计算正向概率隐层

步骤S523：正向隐层采样。将概率隐层转化为二进制隐层：

步骤S524：反向重构输入层：

步骤S525：反向输入层采样：

步骤S526：计算反向概率隐层

步骤S527：计算梯度：

步骤S528：更新权值和偏置：

w^t _ij＝w^t _ij+α*dw^t _ij,t＝1,2

b^h _j＝b^h _j+α*db^h _j

b^t _i＝b^t _i+α*db^t _i,t＝1,2；

其中，h_j为隐层h第j个单元，f_mod^t _i为模态t图像特征第i个单元，w^t _ij为模态t图像特征输入层第i个单元与隐层h第j个单元之间的连接权值，b^h _j为隐层h中第j个单元的偏置，b^t _i为模态t图像特征输入层第i个单元的偏置，σ表示sigmoid函数。

相较于现有技术，本发明具有以下有益效果：本发明所提出的一种基于受限玻尔兹曼机的乳腺图像特征融合方法，将单一模态多视角的乳腺医学图像病理特征进行级联融合，然后进一步地引入受限玻尔兹曼机，计算不同模态医学图像的病理特征的概率联合分布模型，获取其隐层特征作为多模态乳腺医学影像病理特征融合后的特征，在一定程度上完善不同模态乳腺医学图像之间的信息互补。为临床诊断提供更有价值的“参考意见”，具有较强的实用性。

附图说明

图1为本发明中基于受限玻尔兹曼机的乳腺图像特征融合方法图像特征融合流程图。

图2为本发明中基于受限玻尔兹曼机的乳腺图像特征融合方法中多模态乳腺图像特征融合模型(FUSION_RBM)。

具体实施方式

下面结合附图，对本发明的技术方案进行具体说明。

本发明一种基于受限玻尔兹曼机的乳腺图像特征融合方法，如图1所示，具体包括以下步骤：

步骤S1：针对乳腺钼靶图像，从不同视角提取的手工浅层特征经过深度学习后，可得到不同视角的高层语义特征；

步骤S2：针对乳腺B超图像，从不同视角提取的手工浅层特征经过深度学习后，可得到不同视角的高层语义特征；

步骤S3：将乳腺钼靶图像不同视角的高层语义特征级联后，得到乳腺钼靶多视角融合后的高层语义特征；

步骤S4：将乳腺B超图像不同视角的高层语义特征级联后得到乳腺B超多视角融合后的高层语义特征；

步骤S5：将步骤S3及步骤S4得到的乳腺钼靶多视角融合后的高层语义特征、乳腺B超多视角融合后的高层语义特征作为训练样本，利用CD算法，训练整个多模态乳腺图像特征融合模型FUSION_RBM，如图2所示。

步骤S6：FUSION_RBM模型训练完成后，给定任一待测样本(f_mod¹，f_mod²)，根据公以下式即可以获得融合特征表示：

其中，h_j为隐层h第j个单元，f_mod^t _i为模态t图像特征第i个单元，w^t _ij为模态t图像特征输入层第i个单元与隐层h第j个单元之间的连接权值，b^h _j为隐层h中第j个单元的偏置，b^t _i为模态t图像特征输入层第i个单元的偏置，σ表示sigmoid函数。

进一步的，在本实施例中，给出198个带标签的乳腺B超、198个带标签的乳腺钼靶ROI图像，这些图像同属于99个乳腺实例对象。取53个实例对象用于训练多模态特征融合模型，46个实例对象(良性21个，恶性25个)作为测试样本。

进一步地，在本实施例中，在步骤S1中，从每一张视角为CC位，也即view1的钼靶ROI图像中提取提取手工浅层特征，得到样本集m_set_view1，具体地，

m_set_view1＝{(x_view1 ⁽¹⁾,y⁽¹⁾),(x_view1 ⁽²⁾,y⁽²⁾),…,(x_view1 ⁽⁵³⁾,y⁽⁵³⁾)}，

其中，x_view1 ⁽ⁱ⁾∈[0,1]⁹⁴,y⁽ⁱ⁾∈{-1,1},i＝1,2,…,53，经过堆叠自编码器深度学习后得到钼靶的高层语义特征SAE-F2-view1，具体地，SAE-F2-view1∈[0,1]⁷⁰；从每一张视角为MLO位，也即view2的钼靶ROI图像中提取手工浅层特征，得到样本集m_set_view2，具体地，

m_set_view2＝{(x_view2 ⁽¹⁾,y⁽¹⁾),(x_view2 ⁽²⁾,y⁽²⁾),…,(x_view2 ⁽⁵³⁾,y⁽⁵³⁾)}，

其中，x_view2 ⁽ⁱ⁾∈[0,1]⁹⁴,y⁽ⁱ⁾∈{-1,1},i＝1,2,…,53，经过堆叠自编码器深度学习后得到钼靶高层语义特征SAE-F2-view2，具体地，SAE-F2-view2∈[0,1]⁷⁰。

进一步地，在本实施例中，在步骤S2中，从每一张视角为切面1，也即view1的B超ROI图像中提取提取手工浅层特征，得到样本集b_set_view1，具体地，

b_set_view1＝{(x_view1 ⁽¹⁾,y⁽¹⁾),(x_view1 ⁽²⁾,y⁽²⁾),…,(x_view1 ⁽⁹⁹⁾,y⁽⁵³⁾)}，

其中，x_view1 ⁽ⁱ⁾∈[0,1]³⁹⁹,y⁽ⁱ⁾∈{-1,1},i＝1,2,…,53，经过堆叠自编码器深度学习后得到B超的高层语义特征BSAE-F2-view1，具体地，BSAE-F2-view1∈[0,1]²⁰⁰；从每一张视角为切面2，也即view2的B超ROI图像中提取手工浅层特征，得到样本集b_set_view2，具体地，

b_set_view2＝{(x_view2 ⁽¹⁾,y⁽¹⁾),(x_view2 ⁽²⁾,y⁽²⁾),…,(x_view2 ⁽⁵³⁾,y⁽⁵³⁾)}，

其中，x_view2 ⁽ⁱ⁾∈[0,1]³⁹⁹,y⁽ⁱ⁾∈{-1,1},i＝1,2,…,53，经过堆叠自编码器深度学习后得到B超的高层语义特征BSAE-F2-view2，具体地，BSAE-F2-view2∈[0,1]²⁰⁰。

进一步地，在本实施例中，在步骤S3中，对步骤S1得到的乳腺钼靶两个视角的图像特征SAE-F2-view1和SAE-F2-view2，串联成一个高维特征向量SAE-F2-fusion，SAE-F2-fusion∈[0,1]¹⁴⁰，这样尽可能地保留了所有视角的信息。

进一步地，在本实施例中，在步骤S4中，对步骤S2得到的乳腺B超两个视角的图像特征BSAE-F2-view1和BSAE-F2-view2，串联成一个高维特征向量BSAE-F2-fusion，BSAE-F2-fusion∈[0,1]⁴⁰⁰，这样尽可能地保留了所有视角的信息。

进一步地，在本实施例中，在步骤S5中，利用CD算法，训练一个多模态乳腺图像特征融合模型FUSION_RBM，如图2所示，其中h_j为隐层h第j个单元，f_mod^t _i为模态t图像特征第i个单元，w^t _ij为模态t图像特征输入层第i个单元与隐层h第j个单元之间的连接权值，b^h _j为隐层h中第j个单元的偏置，b^t _i为模态t图像特征输入层第i个单元的偏置，σ表示sigmoid函数。

具体包括以下步骤：

步骤S51：初始化：α表示学习率，在本实施例中，该α设置为0.01，size表示训练集样本个数，在本实施例中，该size取值为53，num_epoch表示设置的循环次数，在本实施例中，该num_epoch设置为10；

步骤S52：外重循环for t＝1:num_epoch；

内重循环for s＝1:size；

步骤S521：输入层采样。将训练样本转化为二进制单元，具体为：即，当特征大于一个0至1之间的随机数时，赋值为1，否则为0；其中，f_mod¹＝BSAE-F2-fusion，f_mod²＝SAE-F2-fusion，v_i表示模态i的特征维数，在本实施例中，v₁＝400，v₂＝140，rand(1,v₁+v₂)表示产生1行v₁+v₂列的(0,1)区间的随机数；

步骤S522：计算正向概率隐层

步骤S523：正向隐层采样。将概率隐层转化为二进制隐层：

步骤S524：反向重构输入层：

步骤S525：反向输入层采样：具体为：当特征大于一个0至1之间的随机数时，赋值为1，否则为0，即：

步骤S526：计算反向概率隐层

步骤S527：计算梯度：

步骤S528：更新权值和偏置：

w^t _ij＝w^t _ij+α*dw^t _ij,t＝1,2

b^h _j＝b^h _j+α*db^h _j

b^t _i＝b^t _i+α*db^t _i,t＝1,2。

进一步的，在本实施例中，为了验证融合后特征的表达能力，在多模态多视角融合特征上，采用基于RBF和线性核的SVM分类器对样本进行分类。将46个实例对象(良性21个，恶性25个)作为测试样本，将同一样本的乳腺钼靶多视角融合后的高层语义特征SAE-F2-fusion以及乳腺B超多视角融合后的高层语义特征BSAE-F2-fusion作为FUSION-RBM的输入；F-b-m作为FUSION-RBM的输出，即乳腺B超BSAE-F2-fusion和乳腺钼靶SAE-F2-fusion融合后的特征。在RBF核及线性核下，采用网格搜索及留一交叉验证法进行参数择优，并在各自最优参数条件下，采用留一法来评估融合后特征的分类能力，如表1所示。

表1多模态多视角融合后的特征的分类结果

以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

Claims (6)

1.一种基于受限玻尔兹曼机的乳腺图像特征融合方法，其特征在于：包括以下步骤：

步骤S1：针对乳腺钼靶图像，从不同视角提取的手工浅层特征，并经过深度学习，得到不同视角的高层语义特征；

步骤S2：针对乳腺B超图像，从不同视角提取的手工浅层特征，并经过深度学习，得到不同视角的高层语义特征；

步骤S3：将所述步骤S1中获取的乳腺钼靶图像不同视角的高层语义特征级联，得到乳腺钼靶多视角融合后的高层语义特征；

步骤S4：将所述步骤S2中获取的乳腺B超图像不同视角的高层语义特征级联，得到乳腺B超多视角融合后的高层语义特征；

步骤S5：将所述步骤S3及所述步骤S4得到的乳腺钼靶多视角融合后的高层语义特征、乳腺B超多视角融合后的高层语义特征作为训练样本，利用CD算法训练整个多模态乳腺图像特征融合模型，也即FUSION_RBM模型；

步骤S6：所述FUSION_RBM模型训练完成后，给定一待测样本(f_mod¹，f_mod²)，根据以下公式获得融合特征表示：

其中，h_j为隐层h第j个单元，f_mod^t _i为模态t图像特征第i个单元，w^t _ij为模态t图像特征输入层第i个单元与隐层h第j个单元之间的连接权值，b^h _j为隐层h中第j个单元的偏置，σ表示sigmoid函数。

2.根据权利要求1所述的一种基于受限玻尔兹曼机的乳腺图像特征融合方法，其特征在于，在所述步骤S1中，从每一张视角为CC位，也即view1，的钼靶ROI图像中提取手工浅层特征，经过堆叠自编码器深度学习，得到钼靶的高层语义特征SAE-F2-view1；从每一张视角为MLO位，也即view2，的钼靶ROI图像中提取手工浅层特征，经过堆叠自编码器深度学习，得到钼靶高层语义特征SAE-F2-view2。

3.根据权利要求1所述的一种基于受限玻尔兹曼机的乳腺图像特征融合方法，其特征在于，在所述步骤S2中，从每一张视角为切面1，也即view1，的B超ROI图像中提取手工浅层特征，经过堆叠自编码器深度学习，得到B超的高层语义特征BSAE-F2-view1；从每一张视角为切面2，也即view2，的B超ROI图像中提取手工浅层特征，经过堆叠自编码器深度学习，得到B超的高层语义特征BSAE-F2-view2。

4.根据权利要求2所述的一种基于受限玻尔兹曼机的乳腺图像特征融合方法，其特征在于，在所述步骤S3中，将所述步骤S1得到的乳腺钼靶两个视角的图像特征SAE-F2-view1和SAE-F2-view2，串联成一个高维特征向量SAE-F2-fusion，以保留所有视角的信息。

5.根据权利要求3所述的一种基于受限玻尔兹曼机的乳腺图像特征融合方法，其特征在于，在所述步骤S4中，将所述步骤S2中得到的乳腺B超两个视角的图像特征BSAE-F2-view1和BSAE-F2-view2，串联成一个高维特征向量BSAE-F2-fusion，以保留所有视角的信息。

6.根据权利要求1所述的一种基于受限玻尔兹曼机的乳腺图像特征融合方法，其特征在于，在所述步骤S5中，将所述步骤S3及所述步骤S4得到的乳腺钼靶多视角融合后的高层语义特征、乳腺B超多视角融合后的高层语义特征作为训练样本，利用CD算法训练整个多模态乳腺图像特征融合模型，也即FUSION_RBM模型，具体包括以下步骤：

步骤S51：初始化，α表示学习率，size表示训练集样本个数，num_epoch表示设置的循环次数；

步骤S52：外重循环for t＝1:num_epoch；

内重循环for s＝1:size；

步骤S521：输入层采样；将训练样本转化为二进制单元，具体为：即，当特征大于一个0至1之间的随机数时，赋值为1，否则为0；其中，f_mod¹＝BSAE-F2-fusion，f_mod²＝SAE-F2-fusion，v_i表示模态i的特征维数；rand(1,v₁+v₂)表示产生1行v₁+v₂列的(0,1)区间的随机数；

步骤S522：计算正向概率隐层

步骤S523：正向隐层采样；将概率隐层转化为二进制隐层：

步骤S524：反向重构输入层：

步骤S525：反向输入层采样：

步骤S526：计算反向概率隐层

步骤S527：计算梯度：

步骤S528：更新权值和偏置：

w^t _ij＝w^t _ij+α*dw^t _ij,t＝1,2

b^h _j＝b^h _j+α*db^h _j

b^t _i＝b^t _i+α*db^t _i,t＝1,2；

其中，h_j为隐层h第j个单元，f_mod^t _i为模态t图像特征第i个单元，w^t _ij为模态t图像特征输入层第i个单元与隐层h第j个单元之间的连接权值，b^h _j为隐层h中第j个单元的偏置，b^t _i为模态t图像特征输入层第i个单元的偏置，σ表示sigmoid函数。