CN104933446A - 一种用于计算机辅助诊断乳腺b超特征有效性验证的方法 - Google Patents

Abstract

本发明涉及一种用于计算机辅助诊断乳腺B超特征有效性验证的方法，先将乳腺B超病灶区域图像集分为训练集和验证集，且所有B超病灶区域图像均给定图像特征和文本特征；接着对训练集和验证集中所有样本图像的文本特征进行二进制编码；然后基于训练集完成面向乳腺B超特征验证的VALIDATION_RBM的训练；最后将该训练好的VALIDATION_RBM即作为特征有效性验证的工具。本发明即便在没有类标签信息的情况下，仍然可以充分利用乳腺B超影像分析文本和图像特征之间的映射关系来验证图像特征的有效性。

Description

一种用于计算机辅助诊断乳腺B超特征有效性验证的方法

技术领域

本发明涉及特征工程技术领域，特别是一种用于计算机辅助诊断乳腺B超特征有效性验证的方法。

背景技术

乳腺癌是发生在妇女群体中最普遍的恶性肿瘤之一。近年来我国反癌协会调查研究显示，乳腺癌的发生比率在逐年递增。因此提高乳腺癌的早期诊断精度变得越来越有意义。

目前，乳腺癌诊断采用的主要方法是通过乳腺x射线、B超图像等影像检查，诊断者通过钙化或肿块等影像特征来对病情进行分析。但由于乳腺组织中的腺体、血管、脂肪等软组织的密度与病灶区的密度都很接近，加上诊断者视觉疲劳等因素，使得早期乳腺癌的误诊和漏诊仍时常发生。随着医学影像技术和计算机技术的不断发展，利用计算机进行辅助诊断成为可能；比如利用数字图像处理技术，提取乳腺B超图像中病理相关的的特征、运用SVM等机器学习方法根据这些特征对乳腺肿块良恶性进行分类识别等。

大部分研究工作者提取完乳腺B超图像特征后，直接应用于模式识别，却省去了特征有效性验证的步骤。然而特征有效性验证是相当必要的，一个特征是否有效直接影响乳腺癌诊断的精确度。目前，用于特征有效性验证的方法有：通过计算特征的分类精度、信息熵等来验证特征的有效性。但是上述方法有以下不足：过分依赖于样本的类标签信息来判定特征的有效性。但实际上，有很多图像并没有类标签信息，只有一些文本描述信息；比如对乳腺B超图像而言，并非所有B超图像都通过对病人做病理检查来获得图像类标签，但是大部分乳腺B超图像都有影像分析文本。因此，最好的解决机制是提供一种可以根据现有的乳腺B超影像分析文本和对应的有效性待验证图像特征自动学习出一个可用于特征有效性验证的模型的方法。

Nitish Srivastava等人发表的”Multimodal Learning with DeepBoltzmann Machines”的文章中，作者利用自然图像和对应文本特征学习出多模深度玻尔兹曼机Multi_DBM，该Multi_DBM可以在图像缺失的情况下根据文本特征采样出对应的图像。该实验结果表明Multi_DBM可用于学习图像和文本特征的一个映射关系。

Multi_DBM是基于RBM生成的，由此，本专利提出了基于受限玻尔兹曼机的特征验证方法。

发明内容

有鉴于此，本发明的目的是提出一种用于计算机辅助诊断乳腺B超特征有效性验证的方法，即便在没有类标签信息的情况下，仍然可以充分利用乳腺B超影像分析文本和图像特征之间的映射关系来验证图像特征的有效性。

本发明采用以下方案实现：一种用于计算机辅助诊断乳腺B超特征有效性验证的方法，具体包括以下步骤：

步骤S1：给定一个中等规模以上的乳腺B超病灶区域图像集，其中中等规模表示该图像集至少含有250幅以上的乳腺B超病灶区域图像；

步骤S2：将步骤S1中乳腺B超病灶区域图像集分为训练集和验证集，且所有乳腺B超病灶区域图像均给定图像特征v^img和文本特征v^text；其中所述图像特征v^img为从乳腺B超病灶区域图像提取出的特征，其有效性待验证，所述文本特征v^text由B超影像分析得出；其中，所述训练集至少包括200幅乳腺B超病灶区域图像作为其样本，所述的验证集至少包括50幅乳腺B超病灶区域图像作为其样本；

步骤S3：对训练集和验证集中所有乳腺B超病灶区域图像的文本特征v^text进行二进制编码；

步骤S4：将训练集中样本的图像特征及其诊断文本特征编码共同作为输入，采用CD算法训练用于特征有效性验证的VALIDATION_RBM；

步骤S5：将验证集中样本的图像特征v^img输入步骤S4已训练好的用于特征有效性验证的VALIDATION_RBM，进行50次吉布斯采样后输出得到VALIDATION_RBM文本特征v^text50，将VALIDATION_RBM文本特征v^text50和验证集中样本给定的文本特征v^text进行比对，如果匹配度大于0.6，说明待验证的病理相关图像特征v^img有效，否则，说明待验证的病理相关图像特征v^img无效。

进一步的，所述步骤S3具体为：根据乳腺B超的特点，选取5维对乳腺癌诊断具有重要意义的文本特征，其中5维文本特征分别为内部回声特征、形态特征、边界特征、钙化特征以及血流特征；对于内部回声特征，若内部回声均匀则编码为1，否则为0；对于形态特征，若形态规则则编码为1，否则为0；对于边界特征，若边界清楚则编码为1，否则为0；对于钙化特征，无钙化或少量粗大钙化则编码为1，否则为0；对于血流特征，无血流信号则编码为1，否则为0。

进一步的，所述步骤S4中的VALIDATION_RBM包含图像特征输入层、文本特征输入层和隐层h；将图像特征输入层和隐层h之间进行无向二部图连接，由此构成RBM_IMG；将文本特征输入层和隐层h层之间进行无向二部图连接，由此构成RBM_TEXT。

进一步的，步骤S5中所述的吉布斯采样具体包括以下步骤：

步骤S51：由图像特征输入层输入的验证集中样本的图像特征v^img近似推理学习得到初始的隐层特征h⁰；

步骤S52：由隐层特征h⁰推理学习得到初始的VALIDATION_RBM文本特征v^text0；

步骤S53：由图像特征输入层输入的验证集中样本的图像特征v^img和

步骤S52中的v^text0推理学习得到第一次更新的隐层h¹；

步骤S54：由h¹推理学习得到第一次更新的VALIDAT ION_RBM文本特征v^text1，进而完成一次吉布斯采样。

进一步的，所述步骤S5中匹配度的具体设置为匹配度当匹配度matching>0.6时表示图像特征有效，且matching值越大表示特征越有效，其中5表示文本特征维度，num表示验证集样本个数，x_i表示验证集中第i个样本的VALIDATION_RBM文本特征v^text50和该样本的给定文本特征v^text匹配的维度，其中0≤x_i≤5。

进一步的，所述RBM_IMG和RBM_TEXT共享一个隐层h，其中所述RBM_IMG的输入层为归一化到0-1之间的图像特征，节点数为100，其有效性待验证；其中所述RBM_TEXT的输入层为二进制编码的文本特征，节点数为5；所述隐层h为二进制单元层，节点数为200；

当给定图像特征v^img和文本特征v^text，则隐层h的条件概率为：

$P(h_j=1|v^{img},v^{text})=\mathrm{\σ}(\underset{i=1}{\overset{100}{\Σ}}{w^{img}}_{ij}{v^{img}}_i+\underset{k=1}{\overset{5}{\Σ}}{w^{text}}_{kj}{v^{text}}_k+{b^h}_j);$

当给定隐层h，v^img和v^text的条件概率分别为：

$P({v^{img}}_i=1|h)=\mathrm{\σ}(\underset{j=1}{\overset{200}{\Σ}}{w^{img}}_{ij}{h}_j+{b^{img}}_i),$

$P({v^{text}}_k=1|h)=\mathrm{\σ}(\underset{j=1}{\overset{200}{\Σ}}{w^{text}}_{kj}{h}_j+{b^{text}}_k);$

其中h_j为隐层h第j个单元，v^img _i为图像特征第i个单元，v^text _k为文本特征第k个单元，w^img _ij为图像特征输入层第i个单元与隐层h第j个单元之间的连接权值，w^text _kj为文本特征输入层第k个单元与隐层h第j个单元之间的连接权值，b^h _j为隐层h中第j个单元的偏置，b^img _i为图像特征输入层第i个单元的偏置，b^text _k为文本特征输入层第k个单元的偏置，σ表示sigmoid函数。

较佳地，所述的CD算法训练过程具体如下:

步骤S41：对于任意给定的一个训练样本(包含图像特征v^img和文本特征v^text)。将图像特征转化为二进制单元，具体为：当图像特征大于一个0-1之间的随机数时，赋值为1，否则为0。对应的matlab语句为：v^img＝v^img>rand(1，100)。此处文本特征v^text为二进制编码因此无需转化；

S42:按照条件概率分布：

$P(pos\_h\_{\mathrm{pro}}_j=1|v^{img},v^{text})=\mathrm{\σ}(\underset{i=1}{\overset{100}{\Σ}}{w^{img}}_{ij}{v^{img}}_i+\underset{k=1}{\overset{5}{\Σ}}{w^{text}}_{kj}{v^{text}}_{kj}{v^{text}}_k+{b^h}_j)$ 计算得到概率隐层pos_h_pro(200维的向量)；

S43：将概率隐层转化为二进制隐层，具体为：当隐层单元大于一个0-1之间的随机数时，赋值为1，否则为0。对应的matlab语句为：pos_h_state＝pos_h_pro>rand(1，200)；

S44：按照条件概率分布：

$P(neg\_{v^{img}}_i=1|pos\_h\_state)=\mathrm{\σ}(\underset{j=1}{\overset{200}{\Σ}}{w^{img}}_{ij}pos\_h\_{\mathrm{state}}_j+{b^{img}}_i),$

$P(neg\_{v^{text}}_k=1|pos\_h\_state)=\mathrm{\σ}(\underset{j=1}{\overset{200}{\Σ}}{w^{text}}_{kj}pos\_h\_{\mathrm{state}}_j+{b^{text}}_k),$ 由二进制隐层pos_h_state分别得到采样后的图像特征neg_v^img和文本特征neg_v^text(neg_v^img、neg_v^text各个单元均为概率值)；

S45：类似S43中的操作，将neg_v^img和neg_v^text分别转为二进制输入层neg_state_v^img和neg_state_v^text；

S46：按照条件概率分布：

$P(neg\_h\_{\mathrm{pro}}_j=1|neg\_state\_v^{img},neg\_state\_v^{text})=\mathrm{\σ}(\underset{i=1}{\overset{100}{\Σ}}{w^{img}}_{ij}neg\_state\_{v^{img}}_i+\underset{k=1}{\overset{5}{\Σ}}{w^{text}}_{kj}neg\_state\_{v^{text}}_k+{b^h}_j),$

由neg_state_v^img、neg_state_v^text得到采样后的概率隐层neg_h_pro；

S47：计算梯度：

dw^img _ij＝v^img _i*pos_h_pro_j-neg_v^img _i*neg_h_pro_j，

dw^text _kj＝v^text _k*pos_h_pro_j-neg_v^text _k*neg_h_pro_j，

db^h _j＝pos_h_pro_j-neg_h_pro_j，

db^img _i＝v^img _i-neg_v^img _i，

db^text _k＝v^text _k-neg_v^text _k；

S48:更新权值和偏置：

w^img _ij＝w^img _ij+α*dw^img _ij，

w^text _kj＝w^text _kj+α*dw^text _kj，

b^h _j＝b^h _j+α*db^h _j，

b^img _i＝b^img _i+α*db^img _i，

b^text _k＝b^text _k+α*db^text _k；

其中α表示学习率，本发明中设置为0.01。其余符号部分说明参照上一个发明实例。

与现有技术相比，本发明利用受限玻尔兹曼机对乳腺B超图像特征进行验证,即便在没有类标签信息的情况下，仍然可以充分利用乳腺B超影像分析文本和图像特征之间的映射关系来验证图像特征的有效性。该方法实现灵活，具有较强的实用性。

附图说明

图1为本发明中训练模型时的VALIDATION_RBM结构图。

图2为本发明中应用于验证特征有效性时的VALIDATION_RBM结构图

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

如图1以及图2所示，本实施例提供了一种用于计算机辅助诊断乳腺B超特征有效性验证的方法，具体包括以下步骤：

步骤S1：给定一个中等规模以上的乳腺B超病灶区域图像集，其中中等规模表示该图像集至少含有250幅以上的乳腺B超病灶区域图像；

步骤S2：将步骤S1中乳腺B超病灶区域图像集分为训练集和验证集，且所有乳腺B超病灶区域图像均给定图像特征v^img和文本特征v^text；其中所述图像特征v^img为从乳腺B超病灶区域图像提取出的特征，其有效性待验证，所述文本特征v^text由B超影像分析得出；其中，所述训练集至少包括200幅乳腺B超病灶区域图像作为其样本，所述的验证集至少包括50幅乳腺B超病灶区域图像作为其样本；

步骤S3：对训练集和验证集中所有乳腺B超病灶区域图像的文本特征v^text进行二进制编码；

步骤S4：将训练集中样本的图像特征及其诊断文本特征编码共同作为输入，采用CD算法训练用于特征有效性验证的VALIDATION_RBM；

步骤S5：如图2所示，将验证集中样本的图像特征v^img输入步骤S4已训练好的用于特征有效性验证的VALIDATION_RBM，进行50次吉布斯采样后输出得到VALIDATION_RBM文本特征v^text50，将VALIDATION_RBM文本特征v^text50和验证集中样本给定的文本特征v^text进行比对，如果匹配度大于0.6，说明待验证的病理相关图像特征v^img有效，否则，说明待验证的病理相关图像特征v^img无效。

在本实施例中，所述步骤S3具体为：根据乳腺B超的特点，选取5维对乳腺癌诊断具有重要意义的文本特征，其中5维文本特征分别为内部回声特征、形态特征、边界特征、钙化特征以及血流特征；对于内部回声特征，若内部回声均匀则编码为1，否则为0；对于形态特征，若形态规则则编码为1，否则为0；对于边界特征，若边界清楚则编码为1，否则为0；对于钙化特征，无钙化或少量粗大钙化则编码为1，否则为0；对于血流特征，无血流信号则编码为1，否则为0。

在本实施例中，如图1所示所述步骤S4中的VALIDATION_RBM包含图像特征输入层、文本特征输入层和隐层h；将图像特征输入层和隐层h之间进行无向二部图连接，由此构成RBM_IMG；将文本特征输入层和隐层h层之间进行无向二部图连接，由此构成RBM_TEXT。

在本实施例中，，步骤S5中所述的吉布斯采样具体包括以下步骤：

步骤S51：由图像特征输入层输入的验证集中样本的图像特征v^img近似推理学习得到初始的隐层特征h⁰；

步骤S52：由隐层特征h⁰推理学习得到初始的VALIDATION_RBM文本特征v^text0；

步骤S53：由图像特征输入层输入的验证集中样本的图像特征v^img和

步骤S52中的v^text0推理学习得到第一次更新的隐层h¹；

步骤S54：由h¹推理学习得到第一次更新的VALIDATION_RBM文本特征v^text1，进而完成一次吉布斯采样。

在本实施例中，所述步骤S5中匹配度的具体设置为匹配度当匹配度matching>0.6时表示图像特征有效，且matching值越大表示特征越有效，其中5表示文本特征维度，num表示验证集样本个数，x_i表示验证集中第i个样本的VALIDATION_RBM文本特征v^text50和该样本的给定文本特征v^text匹配的维度，其中0≤x_i≤5。

在本实施例中，所述RBM_IMG和RBM_TEXT共享一个隐层h，其中所述RBM_IMG的输入层为归一化到0-1之间的图像特征，节点数为100，其有效性待验证；其中所述RBM_TEXT的输入层为二进制编码的文本特征，节点数为5；所述隐层h为二进制单元层，节点数为200；当给定图像特征v^img和文本特征v^text，则隐层h的条件概率为：

$P(h_j=1|v^{img},v^{text})=\mathrm{\σ}(\underset{i=1}{\overset{100}{\Σ}}{w^{img}}_{ij}{v^{img}}_i+\underset{k=1}{\overset{5}{\Σ}}{w^{text}}_{kj}{v^{text}}_k+{b^h}_j);$

当给定隐层h，v^img和v^text的条件概率分别为：

$P({v^{img}}_i=1|h)=\mathrm{\σ}(\underset{j=1}{\overset{200}{\Σ}}{w^{img}}_{ij}{h}_j+{b^{img}}_i),$

$P({v^{text}}_k=1|h)=\mathrm{\σ}(\underset{j=1}{\overset{200}{\Σ}}{w^{text}}_{kj}{h}_j+{b^{text}}_k);$

其中h_j为隐层h第j个单元，v^img _i为图像特征第i个单元，v^text _k为文本特征第k个单元，w^img _ij为图像特征输入层第i个单元与隐层h第j个单元之间的连接权值，w^text _kj为文本特征输入层第k个单元与隐层h第j个单元之间的连接权值，b^h _j为隐层h中第j个单元的偏置，b^img _i为图像特征输入层第i个单元的偏置，b^text _k为文本特征输入层第k个单元的偏置，σ表示sigmoid函数。

较佳地，在本实施例中，所述的CD算法训练过程具体如下:

步骤S41：对于任意给定的一个训练样本(包含图像特征v^img和文本特征v^text)。将图像特征转化为二进制单元，具体为：当图像特征大于一个0-1之间的随机数时，赋值为1，否则为0。对应的matlab语句为：v^img＝v^img>rand(1，100)。此处文本特征v^text为二进制编码因此无需转化；

S42:按照条件概率分布：

$P(pos\_h\_{\mathrm{pro}}_j=1|v^{img},v^{text})=\mathrm{\σ}(\underset{i=1}{\overset{100}{\Σ}}{w^{img}}_{ij}{v^{img}}_i+\underset{k=1}{\overset{5}{\Σ}}{w^{text}}_{kj}{v^{text}}_k+{b^h}_j)$ 计算得到概率隐层pos_h_pro(200维的向量)；

S43：将概率隐层转化为二进制隐层，具体为：当隐层单元大于一个0-1之间的随机数时，赋值为1，否则为0。对应的matlab语句为：pos_h_state＝pos_h_pro>rand(1，200)；

S44：按照条件概率分布：

$P(neg\_{v^{img}}_i=1|pos\_h\_state)=\mathrm{\σ}(\underset{j=1}{\overset{200}{\Σ}}{w^{img}}_{ij}pos\_h\_{\mathrm{state}}_j+{b^{img}}_i),$

$P(neg\_{v^{text}}_k=1|pos\_h\_state)=\mathrm{\σ}(\underset{j=1}{\overset{200}{\Σ}}{w^{text}}_{kj}pos\_h\_{\mathrm{state}}_j+{b^{text}}_k),$ 由二进制隐层pos_h_state分别得到采样后的图像特征neg_v^img和文本特征neg_v^text(neg_v^img、neg_v^text各个单元均为概率值)；

S45：类似S43中的操作，将neg_v^img和neg_v^text分别转为二进制输入层neg_state_v^img和neg_state_v^text；

S46：按照条件概率分布：

$P(neg\_h\_{\mathrm{pro}}_j=1|neg\_state\_v^{img},neg\_state\_v^{text})=\mathrm{\σ}(\underset{i=1}{\overset{100}{\Σ}}{w^{img}}_{ij}neg\_state\_{v^{img}}_i+\underset{k=1}{\overset{5}{\Σ}}{w^{text}}_{kj}neg\_state\_{v^{text}}_k+{b^h}_j),$

由neg_state_v^img、neg_state_v^text得到采样后的概率隐层neg_h_pro；

S47：计算梯度：

dw^img _ij＝v^img _i*pos_h_pro_j-neg_v^img _i*neg_h_pro_j，

dw^text _kj＝v^text _k*pos_h_pro_j-neg_v^text _k*neg_h_pro_j，

db^h _j＝pos_h_pro_j-neg_h_pro_j，

db^img _i＝v^img _i-neg_v^img _i，

db^text _k＝v^text _k-neg_v^text _k；

S48:更新权值和偏置：

w^img _ij＝w^img _ij+α*dw^img _ij，

w^text _kj＝w^text _kj+α*dw^text _kj，

b^h _j＝b^h _j+α*db^h _j，

b^img _i＝b^img _i+α*db^img _i，

b^text _k＝b^text _k+α*db^text _k；

其中α表示学习率，本发明中设置为0.01。其余符号部分说明参照上一个发明实例。

以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (6)

1.一种用于计算机辅助诊断乳腺B超特征有效性验证的方法，其特征在于包括以下步骤：

步骤S1：给定一个中等规模以上的乳腺B超病灶区域图像集，其中中等规模表示该图像集至少含有250幅以上的乳腺B超病灶区域图像；

步骤S2：将步骤S1中乳腺B超病灶区域图像集分为训练集和验证集，且所有乳腺B超病灶区域图像均给定图像特征v^img和文本特征v^text；其中所述图像特征v^img为从乳腺B超病灶区域图像提取出的特征，其有效性待验证，所述文本特征v^text由B超影像分析得出；其中，所述训练集至少包括200幅乳腺B超病灶区域图像作为其样本，所述的验证集至少包括50幅乳腺B超病灶区域图像作为其样本；

步骤S3：对训练集和验证集中所有乳腺B超病灶区域图像的文本特征v^text进行二进制编码；

步骤S4：将训练集中样本的图像特征及其诊断文本特征编码共同作为输入，采用CD算法训练用于特征有效性验证的VALIDATION_RBM；

步骤S5：将验证集中样本的图像特征v^img输入步骤S4已训练好的用于特征有效性验证的VALIDATION_RBM，进行50次吉布斯采样后输出得到VALIDATION_RBM文本特征v^text50，将VALIDATION_RBM文本特征v^text50和验证集中样本给定的文本特征v^text进行比对，如果匹配度大于0.6，说明待验证的病理相关图像特征v^img有效，否则，说明待验证的病理相关图像特征v^img无效。

2.根据权利要求1所述的一种用于计算机辅助诊断乳腺B超特征有效性验证的方法，其特征在于：所述步骤S3具体为：根据乳腺B超的特点，选取5维对乳腺癌诊断具有重要意义的文本特征，其中5维文本特征分别为内部回声特征、形态特征、边界特征、钙化特征以及血流特征；对于内部回声特征，若内部回声均匀则编码为1，否则为0；对于形态特征，若形态规则则编码为1，否则为0；对于边界特征，若边界清楚则编码为1，否则为0；对于钙化特征，无钙化或少量粗大钙化则编码为1，否则为0；对于血流特征，无血流信号则编码为1，否则为0。

3.根据权利要求1所述的一种用于计算机辅助诊断乳腺B超特征有效性验证的方法，其特征在于：所述步骤S4中的VALIDATION_RBM包含图像特征输入层、文本特征输入层和隐层h；将图像特征输入层和隐层h之间进行无向二部图连接，由此构成RBM_IMG；将文本特征输入层和隐层h层之间进行无向二部图连接，由此构成RBM_TEXT。

4.根据权利要求1所述的一种用于计算机辅助诊断乳腺B超特征有效性验证的方法，其特征在于：步骤S5中所述的吉布斯采样具体包括以下步骤：

步骤S51：由图像特征输入层输入的验证集中样本的图像特征v^img近似推理学习得到初始的隐层特征h⁰；

步骤S52：由隐层特征h⁰推理学习得到初始的VALIDATION_RBM文本特征v^text0；

步骤S53：由图像特征输入层输入的验证集中样本的图像特征v^img和步骤S52中的v^text0推理学习得到第一次更新的隐层h¹；

步骤S54：由h¹推理学习得到第一次更新的VALIDATION_RBM文本特征v^text1，进而完成一次吉布斯采样。

5.根据权利要求1所述的一种用于计算机辅助诊断乳腺B超特征有效性验证的方法，其特征在于：所述步骤S5中匹配度的具体设置为匹配度当匹配度matching>0.6时表示图像特征有效，且matching值越大表示特征越有效，其中5表示文本特征维度，num表示验证集样本个数，x_i表示验证集中第i个样本的VALIDATION_RBM文本特征v^text50和该样本的给定文本特征v^text匹配的维度，其中0≤x_i≤5。

6.根据权利要求3所述的一种用于计算机辅助诊断乳腺B超特征有效性验证的方法，其特征在于：所述RBM_IMG和RBM_TEXT共享一个隐层h，其中所述RBM_IMG的输入层为归一化到0-1之间的图像特征，节点数为100，其有效性待验证；其中所述RBM_TEXT的输入层为二进制编码的文本特征，节点数为5；所述隐层h为二进制单元层，节点数为200；

当给定图像特征v^img和文本特征v^text，则隐层h的条件概率为：

$P(h_j=1|v^{img},v^{text})=\mathrm{\σ}(\underset{i=1}{\overset{100}{\Σ}}{w^{img}}_{ij}{v^{img}}_i+\underset{k=1}{\overset{5}{\Σ}}{w^{text}}_{kj}{v^{text}}_k+{b^h}_j);$

当给定隐层h，v^img和v^text的条件概率分别为：

$P({v^{img}}_i=1|h)=\mathrm{\σ}(\underset{j=1}{\overset{200}{\Σ}}{w^{img}}_{ij}{h}_j+{b^{img}}_i),$

$P({v^{text}}_k=1|h)=\mathrm{\σ}(\underset{j=1}{\overset{200}{\Σ}}{w^{text}}_{kj}{h}_j+{b^{text}}_k);$

其中h_j为隐层h第j个单元，v^img _i为图像特征第i个单元，v^text _k为文本特征第k个单元，w^img _ij为图像特征输入层第i个单元与隐层h第j个单元之间的连接权值，w^text _kj为文本特征输入层第k个单元与隐层h第j个单元之间的连接权值，b^h _j为隐层h中第j个单元的偏置，b^img _i为图像特征输入层第i个单元的偏置，b^text _k为文本特征输入层第k个单元的偏置，σ表示sigmoid函数。