CN108038080A - 一种利用适应性相似结构规则化进行局部多模态稀疏编码补全的方法 - Google Patents

一种利用适应性相似结构规则化进行局部多模态稀疏编码补全的方法 Download PDF

Info

Publication number
CN108038080A
CN108038080A CN201711230589.4A CN201711230589A CN108038080A CN 108038080 A CN108038080 A CN 108038080A CN 201711230589 A CN201711230589 A CN 201711230589A CN 108038080 A CN108038080 A CN 108038080A
Authority
CN
China
Prior art keywords
mrow
msubsup
msup
alpha
mover
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201711230589.4A
Other languages
English (en)
Inventor
赵洲
孟令涛
高天祥
蔡登�
何晓飞
庄越挺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201711230589.4A priority Critical patent/CN108038080A/zh
Publication of CN108038080A publication Critical patent/CN108038080A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/15—Correlation function computation including computation of convolution operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computational Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Medicines Containing Antibodies Or Antigens For Use As Internal Diagnostic Agents (AREA)

Abstract

本发明公开了一种利用适应性相似结构规则化进行局部多模态稀疏编码补全的方法。主要包括如下步骤：1)针对于已有的局部多模态数据结合概率邻居矩阵的方法得到利用适应性相似结构规则化进行局部多模态稀疏编码补全的最终目标函数。2)针对于获得的目标函数，利用相应的优化算法学习概率邻居P、统一稀疏编码α与多模态基向量词典D，从而获得最终的稀疏编码。相比于一般的稀疏编码解决方案，本发明能够合理利用局部多模态数据，并产生更加符合相似性要求的稀疏编码。本发明在稀疏编码问题中所取得的效果相比于传统的方法更好。

Description

一种利用适应性相似结构规则化进行局部多模态稀疏编码补 全的方法
技术领域
本发明涉及稀疏编码补全，尤其涉及一种利用适应性相似结构规则化进行局部多模态稀疏编码补全的方法。
背景技术
随着互联网的发展，许多互联网应用开始包含多模态的数据，例如同时包含网页图片与相关文本的数据。于是针对于多模态数据的多模态稀疏编码技术便成为了一种重要的技术。稀疏编码技术的目的是针对于多模态数据仅利用较少的编码系数来表示。
现有的技术主要是通过利用带有l1惩罚项的稀疏编码规则化的方法来进行多模态数据的重建从而完成稀疏编码并且通过多模态数据映射函数学习的方法来保留模型相关性。但是，在实际情况下，一般许多模态下的数据是不完整的，从而导致局部多模态数据的问题。
本发明将采用一种利用适应性相似结构规则化来进行局部多模态稀疏编码补全的方法，本方法将同时进行部分多模态相似结构学习与统一稀疏编码。本方法将通过学习出一个相似推断概率邻居，在其中将会把不同模态下数据的相似性计算出来。
发明内容
本发明的目的在于解决现有技术中的问题，为了克服现有技术中对于局部多模态数据缺乏特别关注的问题，本发明提供一种利用适应性相似结构规则化进行局部多模态稀疏编码补全的方法。本发明所采用的具体技术方案是：
利用适应性相似结构规则化进行局部多模态稀疏编码补全，包含如下步骤：
1、利用当前已有的局部多模态的数据，构建稀疏编码的基本目标函数。
2、引入概率邻居矩阵的方法同时学习出数据相似性矩阵与稀疏编码。结合构建的稀疏编码基本目标函数构建利用适应性相似结构规则化进行局部多模态稀疏编码补全的最终目标函数。
3、利用优化算法学习概率邻居P、统一稀疏编码α与多模态基向量词典D。
上述步骤可具体采用如下实现方式：
1、对于所给出的含有N个双模型样本集合其中为模态A下的第i个样本，为模态B下的第i个样本，da为表示模态A样本的向量维度，db为表示模态B样本的向量维度。在目前的局部多模态数据集的设置中，将数据的表达形式设置为X＝{C,A,B}，其中代表同时含有A、B两种模态表示的通用样本，代表仅由A模态表示的样本，代表仅由B模态表示的样本，c代表同时含有A、B两种模态表示的通用样本的数目，na代表仅由A模态表示的样本的数目，nb代表仅由B模态表示的样本的数目。同时由模态A与模态B表示的通用数据样本在A与B模态下的表达分别记为与所有在A模态下的样本的表达记为所有在B模态下的样本的表达记为
则对于所给定的局部多模态的数据，所需要学习出的基本目标函数为：
其中，α(c)为通用数据样本的统一编码，α(a)为局部A模态下数据样本的编码，α(b)为局部B模态下数据样本的编码，则稀疏编码α＝{α(c),α(a),α(b)}保证了从不同模态下生成的编码的一致性。D(a)与D(b)分别代表A、B模态下的基向量。
2、使用概率邻居矩阵的方法来同时学习数据相似性矩阵与稀疏编码。概率邻居矩阵是通过对于样本指定对应的适应优化邻居概率实现的，具体指定方法为，对于在相同A模态下的样本指定为其中i,j∈A并且对于在不同的A、B两模块下的样本指定为其中i∈A并且j'∈B，对于一组在模态A与B即C中展现的共同样本，模态间概率定义为其中概率与概率是分别在相同的A、B模态中学习得到的。则适应的相似结构学习目标函数为
其中为一个概率组成的向量，其中第j个元素为γ与ν为权衡系数。并且可以看出若较小，则应指定一个较大的概率若较大，则应指定一个较小的概率值
将适应的相似结构学习目标函数与步骤1中得到的基本目标函数相结合，得到利用适应性相似结构规则化进行局部多模态稀疏编码补全的完整目标函数:
其中，β、λ、γ及ν均为权重参数。
3、对于概率邻居P，采用如下方法进行求解：
当统一稀疏编码α与多模态基向量字典D固定时，对于模态A下的数据样本xi的概率邻居的更新按照如下公式进行：
其中，为1个na*1大小的向量，其中每个元素值为1。
令为一个矩阵，且其元素满足：
则对于模态A下的数据样本xi的概率邻居的更新公式重写为：
于是，该更新问题便看作不等式约束二次方程问题，由以下算法利用KKT条件得出结果。
输入qi∈Rn，将qi排序成为h，其中，h1≥h2≥,...,hn，寻找
定义返回pi，且满足pij＝max{qj+λ,0},j＝1,...,n
对于模态B下的数据样本的概率邻居更新与的更新方法相同。
4、对于统一稀疏编码α的求解，包括对于所有模态下样本的统一稀疏编码α(c)，及仅在唯一的模态下样本的统一稀疏编码α(a)与α(b)，采用如下方法进行求解：
由于在相同模态下的概率邻居矩阵可以被看作是含有N个数据点的图的相似矩阵，则可以证明得到下式
其中，在图论中叫做拉普拉斯矩阵，度数矩阵为一个对角矩阵，其中第i个对角元素为通过同样的计算方法可以得到在B模态下的拉普拉斯矩阵L(b)。
适应的规则化项被重写为：
其中，为的第i项，为的第j项，对于每一个模态的重构错误被重写为
将上面两个式子结合，可得固定其余稀疏编码{αj}j≠i的前提下，获取稀疏编码的目标函数，如下：
其中，
通过步骤3，可以获得关于的潜在非零系数与相关标志构成的活动集，记为之后，将上述目标函数减少为非约束的二次方程问题。
利用如下方法更新
其中，为矩阵L(a)的第i行第i列项，为矩阵L(b)的第i行第i列项，I为单位矩阵，为所获得的关于的潜在非零系数与相关标志构成的活动集。
则将针对于的目标函数重写为：
其中
采用如下方法更新
其中为的相关符号。
5、对于多模态基向量字典D的求解，采用如下方法来更新：
6、通过步骤3、步骤4、步骤5的方法，可以得到最终符合要求能够反映不同模态下相似数据的表达相似性的稀疏编码。
附图说明
图1是本发明所使用的局部多模态相似性学习的整体示意图。
具体实施方式
下面结合附图和具体实施方式对本发明做进一步阐述和说明。
如图1所示，本发明一种利用适应性相似结构规则化进行局部多模态稀疏编码补全的方法包括如下步骤：
1)利用当前已有的局部多模态的数据，构建稀疏编码的基本目标函数；
2)引入概率邻居矩阵的方法同时学习出数据相似性矩阵与稀疏编码；结合构建的稀疏编码基本目标函数构建利用适应性相似结构规则化进行局部多模态稀疏编码补全的最终目标函数；
3)利用优化算法学习概率邻居P，统一稀疏编码α与多模态基向量词典D。
所述的步骤1)利用当前已有的局部多模态的数据，构建稀疏编码的基本目标函数,其具体步骤为:
对于所给出的含有N个双模型样本集合其中为模态A下的第i个样本，为模态B下的第i个样本，da为表示模态A样本的向量维度，db为表示模态B样本的向量维度；在目前的局部多模态数据集的设置中，将数据的表达形式设置为X＝{C,A,B}，其中代表同时含有A、B两种模态表示的通用样本，代表仅由A模态表示的样本，代表仅由B模态表示的样本，c代表同时含有A、B两种模态表示的通用样本的数目，na代表仅由A模态表示的样本的数目，nb代表仅由B模态表示的样本的数目；同时由模态A与模态B表示的通用数据样本在A与B模态下的表达分别记为与所有在A模态下的样本的表达记为所有在B模态下的样本的表达记为
则对于所给定的局部多模态的数据，所需要学习出的基本目标函数为：
其中，α(c)为通用数据样本的统一编码，α(a)为局部A模态下数据样本的编码，α(b)为局部B模态下数据样本的编码，则稀疏编码α＝{α(c),α(a),α(b)}保证了从不同模态下生成的编码的一致性；D(a)与D(b)分别代表A、B模态下的基向量。
所述的步骤2)引入概率邻居矩阵的方法来实现同时学习出数据相似性矩阵与稀疏编码，并且结合构建的稀疏编码基本目标函数构建利用适应性相似结构规则化进行局部多模态稀疏编码补全的最终目标函数，其具体步骤为：
使用概率邻居矩阵的方法来同时学习数据相似性矩阵与稀疏编码；概率邻居矩阵是通过对于样本指定对应的适应优化邻居概率实现的，具体指定方法为，对于在相同A模态下的样本指定为其中i,j∈A并且对于在不同的A、B两模块下的样本指定为其中i∈A并且j'∈B，对于一组在模态A与B即C中展现的共同样本，模态间概率定义为其中概率与概率是分别在相同的A、B模态中学习得到的；则适应的相似结构学习目标函数为
其中为一个概率组成的向量，其中第j个元素为γ与ν为权衡系数；并且可以看出若较小，则应指定一个较大的概率若较大，则应指定一个较小的概率值
将适应的相似结构学习目标函数与步骤1中得到的基本目标函数相结合，得到利用适应性相似结构规则化进行局部多模态稀疏编码补全的完整目标函数:
其中，β、λ、γ及ν均为权重参数。
所述的步骤3)利用相应的优化算法学习概率邻居P、统一稀疏编码α与多模态基向量词典D，其具体步骤为：
3.1)当统一稀疏编码α与多模态基向量字典D固定时，对于模态A下的数据样本xi的概率邻居的更新按照如下公式进行：
其中，为1个na*1大小的向量，其中每个元素值为1；
令为一个矩阵，且其元素满足：
则对于模态A下的数据样本xi的概率邻居的更新公式重写为：
于是，该更新问题便看作不等式约束二次方程问题，由以下算法利用KKT条件得出结果；
输入qi∈Rn，将qi排序成为h，其中，h1≥h2≥,...,hn，寻找
定义返回pi，且满足pij＝max{qj+λ,0},j＝1,...,n
对于模态B下的数据样本的概率邻居更新与的更新方法相同；
3.2)对于统一稀疏编码α的求解，包括对于所有模态下样本的统一稀疏编码α(c)，及仅在唯一的模态下样本的统一稀疏编码α(a)与α(b)，采用如下方法进行求解：
由于在相同模态下的概率邻居矩阵可以被看作是含有N个数据点的图的相似矩阵，则可以证明得到下式
其中，在图论中叫做拉普拉斯矩阵，度数矩阵为一个对角矩阵，其中第i个对角元素为通过同样的计算方法可以得到在B模态下的拉普拉斯矩阵L(b)；
适应的规则化项被重写为：
其中，为的第i项，为的第j项，对于每一个模态的重构错误被重写为
将上面两个式子结合，可得固定其余稀疏编码{αj}j≠i的前提下，获取稀疏编码的目标函数，如下：
其中，
通过步骤3.1)，可以获得关于的潜在非零系数与相关标志构成的活动集，记为之后，将上述目标函数减少为非约束的二次方程问题；
利用如下方法更新
其中，为矩阵L(a)的第i行第i列项，为矩阵L(b)的第i行第i列项，I为单位矩阵，为所获得的关于的潜在非零系数与相关标志构成的活动集；
则将针对于的目标函数重写为：
其中
采用如下方法更新
其中为的相关符号；
3.3)对于多模态基向量字典D的求解，采用如下方法来更新：
则通过步骤3.1)、3.2)、3.3)可以得到最终的符合要求能够反映不同模态下相似数据的表达相似性的稀疏编码。
下面将上述方法应用于下列实施例中，以体现本发明的技术效果，实施例中具体步骤不再赘述。
实施例
本发明在Wiki Text-Image及NUS-WIDE两个数据集上面进行实验验证。WikiText-Image数据集包含2866个从属于不同种类的文本图片对，NUS-WIDE数据集包含12072个从属于31个不同种类的文本图片对。本发明使用基于SIFT的视觉词袋提取每张图片的500维特征，使用词袋提取每段文本的100维特征。
为了客观地评价本发明的算法的性能，本发明在所选出的测试集中，使用了NMI,AC来对于本发明的效果进行评价。按照具体实施方式中描述的步骤，针对于Wiki Text-Image及NUS-WIDE数据集在NMI,AC标准上所得的实验结果如表1所示，结果显示，在进行局部多模态稀疏编码补全任务方面，本发明所采用的方法能够取得更好的效果：
表1本发明针对于不同数据集所得到的测试结果。

Claims (4)

1.一种利用适应性相似结构规则化进行局部多模态稀疏编码补全的方法，其特征在于包括如下步骤：
1)利用当前已有的局部多模态的数据，构建稀疏编码的基本目标函数；
2)引入概率邻居矩阵的方法同时学习出数据相似性矩阵与稀疏编码；结合构建的稀疏编码基本目标函数构建利用适应性相似结构规则化进行局部多模态稀疏编码补全的最终目标函数；
3)利用优化算法学习概率邻居P，统一稀疏编码α与多模态基向量词典D。
2.根据权利要求1所述利用适应性相似结构规则化进行局部多模态稀疏编码补全的方法，其特征在于所述的步骤1)具体步骤为:
对于所给出的含有N个双模型样本集合其中为模态A下的第i个样本，为模态B下的第i个样本，da为表示模态A样本的向量维度，db为表示模态B样本的向量维度；在目前的局部多模态数据集的设置中，将数据的表达形式设置为X＝{C,A,B}，其中代表同时含有A、B两种模态表示的通用样本，代表仅由A模态表示的样本，代表仅由B模态表示的样本，c代表同时含有A、B两种模态表示的通用样本的数目，na代表仅由A模态表示的样本的数目，nb代表仅由B模态表示的样本的数目；同时由模态A与模态B表示的通用数据样本在A与B模态下的表达分别记为与所有在A模态下的样本的表达记为所有在B模态下的样本的表达记为
则对于所给定的局部多模态的数据，所需要学习出的基本目标函数为：
<mrow> <msub> <mi>min</mi> <mrow> <mi>&amp;alpha;</mi> <mo>,</mo> <mi>D</mi> </mrow> </msub> <munder> <mo>&amp;Sigma;</mo> <mrow> <mi>m</mi> <mo>&amp;Element;</mo> <mo>{</mo> <mi>a</mi> <mo>,</mo> <mi>b</mi> <mo>}</mo> </mrow> </munder> <mo>|</mo> <mo>|</mo> <msup> <mover> <mi>X</mi> <mo>^</mo> </mover> <mrow> <mo>(</mo> <mi>m</mi> <mo>)</mo> </mrow> </msup> <mo>-</mo> <msup> <mi>D</mi> <mrow> <mo>(</mo> <mi>m</mi> <mo>)</mo> </mrow> </msup> <msup> <mover> <mi>&amp;alpha;</mi> <mo>^</mo> </mover> <mrow> <mo>(</mo> <mi>m</mi> <mo>)</mo> </mrow> </msup> <mo>|</mo> <msubsup> <mo>|</mo> <mi>F</mi> <mn>2</mn> </msubsup> <mo>+</mo> <mi>&amp;lambda;</mi> <mo>|</mo> <mo>|</mo> <msup> <mover> <mi>&amp;alpha;</mi> <mo>^</mo> </mover> <mrow> <mo>(</mo> <mi>m</mi> <mo>)</mo> </mrow> </msup> <mo>|</mo> <msub> <mo>|</mo> <mn>1</mn> </msub> </mrow>
<mfenced open = "" close = ""> <mtable> <mtr> <mtd> <mrow> <mi>s</mi> <mo>.</mo> <mi>t</mi> <mo>.</mo> </mrow> </mtd> <mtd> <mrow> <msup> <mover> <mi>X</mi> <mo>^</mo> </mover> <mrow> <mo>(</mo> <mi>a</mi> <mo>)</mo> </mrow> </msup> <mo>=</mo> <mfenced open = "(" close = ")"> <mtable> <mtr> <mtd> <msubsup> <mi>X</mi> <mi>c</mi> <mrow> <mo>(</mo> <mi>a</mi> <mo>)</mo> </mrow> </msubsup> </mtd> </mtr> <mtr> <mtd> <msup> <mi>X</mi> <mrow> <mo>(</mo> <mi>a</mi> <mo>)</mo> </mrow> </msup> </mtd> </mtr> </mtable> </mfenced> <mo>,</mo> <msup> <mover> <mi>X</mi> <mo>^</mo> </mover> <mrow> <mo>(</mo> <mi>b</mi> <mo>)</mo> </mrow> </msup> <mo>=</mo> <mfenced open = "(" close = ")"> <mtable> <mtr> <mtd> <msubsup> <mi>X</mi> <mi>c</mi> <mrow> <mo>(</mo> <mi>b</mi> <mo>)</mo> </mrow> </msubsup> </mtd> </mtr> <mtr> <mtd> <msup> <mi>X</mi> <mrow> <mo>(</mo> <mi>b</mi> <mo>)</mo> </mrow> </msup> </mtd> </mtr> </mtable> </mfenced> </mrow> </mtd> </mtr> </mtable> </mfenced>
<mrow> <msup> <mover> <mi>&amp;alpha;</mi> <mo>^</mo> </mover> <mrow> <mo>(</mo> <mi>a</mi> <mo>)</mo> </mrow> </msup> <mo>=</mo> <mfenced open = "(" close = ")"> <mtable> <mtr> <mtd> <msup> <mi>&amp;alpha;</mi> <mrow> <mo>(</mo> <mi>c</mi> <mo>)</mo> </mrow> </msup> </mtd> </mtr> <mtr> <mtd> <msup> <mi>&amp;alpha;</mi> <mrow> <mo>(</mo> <mi>a</mi> <mo>)</mo> </mrow> </msup> </mtd> </mtr> </mtable> </mfenced> <mo>,</mo> <msup> <mover> <mi>&amp;alpha;</mi> <mo>^</mo> </mover> <mrow> <mo>(</mo> <mi>b</mi> <mo>)</mo> </mrow> </msup> <mo>=</mo> <mfenced open = "(" close = ")"> <mtable> <mtr> <mtd> <msup> <mi>&amp;alpha;</mi> <mrow> <mo>(</mo> <mi>c</mi> <mo>)</mo> </mrow> </msup> </mtd> </mtr> <mtr> <mtd> <msup> <mi>&amp;alpha;</mi> <mrow> <mo>(</mo> <mi>b</mi> <mo>)</mo> </mrow> </msup> </mtd> </mtr> </mtable> </mfenced> </mrow>
<mrow> <mo>|</mo> <mo>|</mo> <msubsup> <mi>d</mi> <mi>k</mi> <mrow> <mo>(</mo> <mi>m</mi> <mo>)</mo> </mrow> </msubsup> <mo>|</mo> <mo>|</mo> <mo>&amp;le;</mo> <mi>l</mi> <mo>,</mo> <mi>m</mi> <mo>&amp;Element;</mo> <mo>{</mo> <mi>a</mi> <mo>,</mo> <mi>b</mi> <mo>}</mo> <mo>,</mo> <mo>&amp;ForAll;</mo> <mi>k</mi> </mrow>
其中，α(c)为通用数据样本的统一编码，α(a)为局部A模态下数据样本的编码，α(b)为局部B模态下数据样本的编码，则稀疏编码α＝{α(c),α(a),α(b)}保证了从不同模态下生成的编码的一致性；D(a)与D(b)分别代表A、B模态下的基向量。
3.根据权利要求1所述利用适应性相似结构规则化进行局部多模态稀疏编码补全的方法，其特征在于所述的步骤2)具体步骤为：
使用概率邻居矩阵的方法来同时学习数据相似性矩阵与稀疏编码；概率邻居矩阵是通过对于样本指定对应的适应优化邻居概率实现的，具体指定方法为，对于在相同A模态下的样本指定为其中i,j∈A并且对于在不同的A、B两模块下的样本指定为其中i∈A并且j'∈B，对于一组在模态A与B即C中展现的共同样本，模态间概率定义为其中概率与概率是分别在相同的A、B模态中学习得到的；则适应的相似结构学习目标函数为
<mrow> <msub> <mi>min</mi> <mi>p</mi> </msub> <munder> <mo>&amp;Sigma;</mo> <mrow> <mi>m</mi> <mo>&amp;Element;</mo> <mo>{</mo> <mi>a</mi> <mo>,</mo> <mi>b</mi> <mo>}</mo> <mo>,</mo> <mi>M</mi> <mo>&amp;Element;</mo> <mo>{</mo> <mi>A</mi> <mo>,</mo> <mi>B</mi> <mo>}</mo> </mrow> </munder> <munder> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>&amp;Element;</mo> <mi>M</mi> <mo>&amp;cup;</mo> <mi>C</mi> </mrow> </munder> <mo>|</mo> <mo>|</mo> <msubsup> <mover> <mi>&amp;alpha;</mi> <mo>^</mo> </mover> <mi>i</mi> <mrow> <mo>(</mo> <mi>m</mi> <mo>)</mo> </mrow> </msubsup> <mo>-</mo> <msubsup> <mover> <mi>&amp;alpha;</mi> <mo>^</mo> </mover> <mi>j</mi> <mrow> <mo>(</mo> <mi>m</mi> <mo>)</mo> </mrow> </msubsup> <mo>|</mo> <msubsup> <mo>|</mo> <mn>2</mn> <mn>2</mn> </msubsup> <msubsup> <mi>p</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> <mrow> <mo>(</mo> <mi>m</mi> <mo>)</mo> </mrow> </msubsup> <mo>+</mo> <mi>&amp;gamma;</mi> <munder> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>&amp;Element;</mo> <mi>A</mi> <mo>,</mo> <mi>j</mi> <mo>&amp;Element;</mo> <mi>B</mi> </mrow> </munder> <mo>|</mo> <mo>|</mo> <msubsup> <mi>&amp;alpha;</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>a</mi> <mo>)</mo> </mrow> </msubsup> <mo>-</mo> <msubsup> <mi>&amp;alpha;</mi> <mi>j</mi> <mrow> <mo>(</mo> <mi>b</mi> <mo>)</mo> </mrow> </msubsup> <mo>|</mo> <msubsup> <mo>|</mo> <mn>2</mn> <mn>2</mn> </msubsup> <msubsup> <mi>p</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> <mrow> <mo>(</mo> <mi>a</mi> <mo>,</mo> <mi>b</mi> <mo>)</mo> </mrow> </msubsup> <mo>+</mo> <mi>v</mi> <mrow> <mo>(</mo> <mo>|</mo> <mo>|</mo> <msup> <mi>P</mi> <mrow> <mo>(</mo> <mi>a</mi> <mo>)</mo> </mrow> </msup> <mo>|</mo> <msubsup> <mo>|</mo> <mn>2</mn> <mn>2</mn> </msubsup> <mo>+</mo> <mo>|</mo> <mo>|</mo> <msup> <mi>P</mi> <mrow> <mo>(</mo> <mi>b</mi> <mo>)</mo> </mrow> </msup> <mo>|</mo> <msubsup> <mo>|</mo> <mn>2</mn> <mn>2</mn> </msubsup> <mo>)</mo> </mrow> </mrow>
<mfenced open = "" close = ""> <mtable> <mtr> <mtd> <mrow> <mi>s</mi> <mo>.</mo> <mi>t</mi> <mo>.</mo> </mrow> </mtd> <mtd> <mrow> <msubsup> <mi>p</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>m</mi> <mo>)</mo> </mrow> </msubsup> <msub> <mn>1</mn> <msub> <mi>n</mi> <mi>m</mi> </msub> </msub> <mo>=</mo> <mn>1</mn> <mo>,</mo> <msubsup> <mi>p</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>m</mi> <mo>)</mo> </mrow> </msubsup> <mo>&amp;GreaterEqual;</mo> <mn>0</mn> <mo>,</mo> <mi>m</mi> <mo>&amp;Element;</mo> <mo>{</mo> <mi>a</mi> <mo>,</mo> <mi>b</mi> <mo>}</mo> <mo>,</mo> <mo>&amp;ForAll;</mo> <mi>i</mi> </mrow> </mtd> </mtr> </mtable> </mfenced>
其中为一个概率组成的向量，其中第j个元素为γ与ν为权衡系数；将适应的相似结构学习目标函数与步骤1中得到的基本目标函数相结合，得到利用适应性相似结构规则化进行局部多模态稀疏编码补全的完整目标函数:
<mfenced open = "" close = ""> <mtable> <mtr> <mtd> <mrow> <msub> <mi>min</mi> <mrow> <mi>&amp;alpha;</mi> <mo>,</mo> <mi>D</mi> <mo>,</mo> <mi>P</mi> </mrow> </msub> <munder> <mi>&amp;Sigma;</mi> <mrow> <mi>m</mi> <mo>&amp;Element;</mo> <mo>{</mo> <mi>a</mi> <mo>,</mo> <mi>b</mi> <mo>}</mo> <mo>,</mo> <mi>M</mi> <mo>&amp;Element;</mo> <mo>{</mo> <mi>A</mi> <mo>,</mo> <mi>B</mi> <mo>}</mo> </mrow> </munder> <mo>{</mo> <mo>|</mo> <mo>|</mo> <msup> <mover> <mi>X</mi> <mo>^</mo> </mover> <mrow> <mo>(</mo> <mi>m</mi> <mo>)</mo> </mrow> </msup> <mo>-</mo> <msup> <mi>D</mi> <mrow> <mo>(</mo> <mi>m</mi> <mo>)</mo> </mrow> </msup> <msup> <mover> <mi>&amp;alpha;</mi> <mo>^</mo> </mover> <mrow> <mo>(</mo> <mi>m</mi> <mo>)</mo> </mrow> </msup> <mo>|</mo> <msubsup> <mo>|</mo> <mi>F</mi> <mn>2</mn> </msubsup> <mo>+</mo> <mi>&amp;beta;</mi> <munder> <mi>&amp;Sigma;</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>&amp;Element;</mo> <mi>M</mi> <mo>&amp;cup;</mo> <mi>C</mi> </mrow> </munder> <mo>|</mo> <mo>|</mo> <msubsup> <mover> <mi>&amp;alpha;</mi> <mo>^</mo> </mover> <mi>i</mi> <mrow> <mo>(</mo> <mi>m</mi> <mo>)</mo> </mrow> </msubsup> <mo>-</mo> <msubsup> <mover> <mi>&amp;alpha;</mi> <mo>^</mo> </mover> <mi>j</mi> <mrow> <mo>(</mo> <mi>m</mi> <mo>)</mo> </mrow> </msubsup> <mo>|</mo> <msubsup> <mo>|</mo> <mn>2</mn> <mn>2</mn> </msubsup> <msubsup> <mi>p</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> <mrow> <mo>(</mo> <mi>m</mi> <mo>)</mo> </mrow> </msubsup> <mo>+</mo> <mi>&amp;lambda;</mi> <mo>|</mo> <mo>|</mo> <msup> <mover> <mi>&amp;alpha;</mi> <mo>^</mo> </mover> <mrow> <mo>(</mo> <mi>m</mi> <mo>)</mo> </mrow> </msup> <mo>|</mo> <msub> <mo>|</mo> <mn>1</mn> </msub> <mo>}</mo> <mo>+</mo> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>&amp;gamma;</mi> <munder> <mi>&amp;Sigma;</mi> <mrow> <mi>i</mi> <mo>&amp;Element;</mo> <mi>A</mi> <mo>,</mo> <mi>j</mi> <mo>&amp;Element;</mo> <mi>B</mi> </mrow> </munder> <mo>|</mo> <mo>|</mo> <msubsup> <mi>&amp;alpha;</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>a</mi> <mo>)</mo> </mrow> </msubsup> <mo>-</mo> <msubsup> <mi>&amp;alpha;</mi> <mi>j</mi> <mrow> <mo>(</mo> <mi>b</mi> <mo>)</mo> </mrow> </msubsup> <mo>|</mo> <msubsup> <mo>|</mo> <mn>2</mn> <mn>2</mn> </msubsup> <msubsup> <mi>p</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> <mrow> <mo>(</mo> <mi>a</mi> <mo>,</mo> <mi>b</mi> <mo>)</mo> </mrow> </msubsup> <mo>+</mo> <mi>v</mi> <mrow> <mo>(</mo> <mo>|</mo> <mo>|</mo> <msup> <mi>P</mi> <mrow> <mo>(</mo> <mi>a</mi> <mo>)</mo> </mrow> </msup> <mo>|</mo> <msubsup> <mo>|</mo> <mn>2</mn> <mn>2</mn> </msubsup> <mo>+</mo> <mo>|</mo> <mo>|</mo> <msup> <mi>P</mi> <mrow> <mo>(</mo> <mi>b</mi> <mo>)</mo> </mrow> </msup> <mo>|</mo> <msubsup> <mo>|</mo> <mn>2</mn> <mn>2</mn> </msubsup> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> </mtable> </mfenced>
<mrow> <mo>|</mo> <mo>|</mo> <msubsup> <mi>d</mi> <mi>k</mi> <mrow> <mo>(</mo> <mi>m</mi> <mo>)</mo> </mrow> </msubsup> <mo>|</mo> <mo>|</mo> <mo>&amp;le;</mo> <mi>l</mi> <mo>,</mo> <mi>m</mi> <mo>&amp;Element;</mo> <mo>{</mo> <mi>a</mi> <mo>,</mo> <mi>b</mi> <mo>}</mo> <mo>,</mo> <mo>&amp;ForAll;</mo> <mi>k</mi> </mrow>
其中，β、λ、γ及ν均为权重参数。
4.根据权利要求1所述利用适应性相似结构规则化进行局部多模态稀疏编码补全的方法，其特征在于所述的步骤3)具体步骤为：
4.1)当统一稀疏编码α与多模态基向量字典D固定时，对于模态A下的数据样本xi的概率邻居的更新按照如下公式进行：
<mrow> <msub> <mi>min</mi> <msubsup> <mi>p</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>a</mi> <mo>)</mo> </mrow> </msubsup> </msub> <munder> <mo>&amp;Sigma;</mo> <mrow> <mi>j</mi> <mo>&amp;Element;</mo> <mi>A</mi> </mrow> </munder> <msup> <mrow> <mo>(</mo> <msub> <mi>&amp;alpha;</mi> <mi>i</mi> </msub> <mo>-</mo> <msub> <mi>&amp;alpha;</mi> <mi>j</mi> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> <msubsup> <mi>p</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> <mrow> <mo>(</mo> <mi>a</mi> <mo>)</mo> </mrow> </msubsup> <mo>+</mo> <mi>v</mi> <mo>|</mo> <mo>|</mo> <msubsup> <mi>p</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>a</mi> <mo>)</mo> </mrow> </msubsup> <mo>|</mo> <msubsup> <mo>|</mo> <mn>2</mn> <mn>2</mn> </msubsup> <mo>+</mo> <mi>&amp;gamma;</mi> <munder> <mo>&amp;Sigma;</mo> <mrow> <msup> <mi>j</mi> <mo>&amp;prime;</mo> </msup> <mo>&amp;Element;</mo> <mi>B</mi> <mo>,</mo> <mi>k</mi> <mo>&amp;Element;</mo> <mi>C</mi> </mrow> </munder> <msup> <mrow> <mo>(</mo> <msub> <mi>&amp;alpha;</mi> <mi>i</mi> </msub> <mo>-</mo> <msub> <mi>&amp;alpha;</mi> <mi>j</mi> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> <msubsup> <mi>p</mi> <mrow> <mi>i</mi> <mi>k</mi> </mrow> <mrow> <mo>(</mo> <mi>a</mi> <mo>)</mo> </mrow> </msubsup> <msubsup> <mi>p</mi> <mrow> <msup> <mi>kj</mi> <mo>&amp;prime;</mo> </msup> </mrow> <mrow> <mo>(</mo> <mi>b</mi> <mo>)</mo> </mrow> </msubsup> </mrow>
<mfenced open = "" close = ""> <mtable> <mtr> <mtd> <mrow> <mi>s</mi> <mo>.</mo> <mi>t</mi> <mo>.</mo> </mrow> </mtd> <mtd> <mrow> <msubsup> <mi>p</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>a</mi> <mo>)</mo> </mrow> </msubsup> <msub> <mn>1</mn> <msub> <mi>n</mi> <mi>a</mi> </msub> </msub> <mo>=</mo> <mn>1</mn> <mo>,</mo> <msub> <mi>p</mi> <mi>i</mi> </msub> <mo>&amp;GreaterEqual;</mo> <mn>0</mn> </mrow> </mtd> </mtr> </mtable> </mfenced>
其中，为1个na*1大小的向量，其中每个元素值为1；
令为一个矩阵，且其元素满足：则对于模态A下的数据样本xi的概率邻居的更新公式重写为：
于是，该更新问题便看作不等式约束二次方程问题，由以下算法利用KKT条件得出结果；
输入qi∈Rn，将qi排序成为h，其中，h1≥h2≥,...,hn，寻找
<mrow> <mi>&amp;rho;</mi> <mo>=</mo> <mi>m</mi> <mi>a</mi> <mi>x</mi> <mo>{</mo> <mn>1</mn> <mo>&amp;le;</mo> <mi>j</mi> <mo>&amp;le;</mo> <mi>n</mi> <mo>:</mo> <msub> <mi>h</mi> <mi>j</mi> </msub> <mo>+</mo> <mfrac> <mn>1</mn> <mi>j</mi> </mfrac> <mrow> <mo>(</mo> <mn>1</mn> <mo>-</mo> <msubsup> <mi>&amp;Sigma;</mi> <mrow> <mi>k</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>j</mi> </msubsup> <msub> <mi>h</mi> <mi>k</mi> </msub> <mo>)</mo> </mrow> <mo>&gt;</mo> <mn>0</mn> <mo>}</mo> </mrow>
定义返回pi，且满足pij＝max{qj+λ,0},j＝1,...,n对于模态B下的数据样本的概率邻居更新与的更新方法相同；
4.2)对于统一稀疏编码α的求解，包括对于所有模态下样本的统一稀疏编码α(c)，及仅在唯一的模态下样本的统一稀疏编码α(a)与α(b)，采用如下方法进行求解：
由于在相同模态下的概率邻居矩阵可以被看作是含有N个数据点的图的相似矩阵，则可以证明得到下式
<mrow> <munder> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>&amp;Element;</mo> <mi>A</mi> <mo>,</mo> <mi>m</mi> <mo>&amp;Element;</mo> <mo>{</mo> <mi>a</mi> <mo>,</mo> <mi>b</mi> <mo>}</mo> </mrow> </munder> <mo>|</mo> <mo>|</mo> <msubsup> <mi>&amp;alpha;</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>m</mi> <mo>)</mo> </mrow> </msubsup> <mo>-</mo> <msubsup> <mi>&amp;alpha;</mi> <mi>j</mi> <mrow> <mo>(</mo> <mi>m</mi> <mo>)</mo> </mrow> </msubsup> <mo>|</mo> <msup> <mo>|</mo> <mn>2</mn> </msup> <msubsup> <mi>p</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> <mrow> <mo>(</mo> <mi>a</mi> <mo>)</mo> </mrow> </msubsup> <mo>=</mo> <mn>2</mn> <mi>t</mi> <mi>r</mi> <mrow> <mo>(</mo> <msup> <mrow> <mo>(</mo> <msup> <mover> <mi>&amp;alpha;</mi> <mo>^</mo> </mover> <mrow> <mo>(</mo> <mi>a</mi> <mo>)</mo> </mrow> </msup> <mo>)</mo> </mrow> <mi>T</mi> </msup> <msup> <mi>L</mi> <mrow> <mo>(</mo> <mi>a</mi> <mo>)</mo> </mrow> </msup> <msup> <mover> <mi>&amp;alpha;</mi> <mo>^</mo> </mover> <mrow> <mo>(</mo> <mi>a</mi> <mo>)</mo> </mrow> </msup> <mo>)</mo> </mrow> </mrow>
其中，在图论中叫做拉普拉斯矩阵，度数矩阵为一个对角矩阵，其中第i个对角元素为通过同样的计算方法可以得到在B模态下的拉普拉斯矩阵L(b)；
适应的规则化项被重写为：
<mrow> <mi>t</mi> <mi>r</mi> <mrow> <mo>(</mo> <msup> <mrow> <mo>(</mo> <msup> <mover> <mi>&amp;alpha;</mi> <mo>^</mo> </mover> <mrow> <mo>(</mo> <mi>a</mi> <mo>)</mo> </mrow> </msup> <mo>)</mo> </mrow> <mi>T</mi> </msup> <msup> <mi>L</mi> <mrow> <mo>(</mo> <mi>a</mi> <mo>)</mo> </mrow> </msup> <msup> <mover> <mi>&amp;alpha;</mi> <mo>^</mo> </mover> <mrow> <mo>(</mo> <mi>a</mi> <mo>)</mo> </mrow> </msup> <mo>)</mo> </mrow> <mo>=</mo> <mi>t</mi> <mi>r</mi> <mrow> <mo>(</mo> <munder> <mi>&amp;Sigma;</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>&amp;Element;</mo> <mi>A</mi> </mrow> </munder> <msubsup> <mi>L</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> <mrow> <mo>(</mo> <mi>a</mi> <mo>)</mo> </mrow> </msubsup> <msubsup> <mover> <mi>&amp;alpha;</mi> <mo>^</mo> </mover> <mi>i</mi> <mrow> <mo>(</mo> <mi>a</mi> <mo>)</mo> </mrow> </msubsup> <msup> <mrow> <mo>(</mo> <msubsup> <mover> <mi>&amp;alpha;</mi> <mo>^</mo> </mover> <mi>j</mi> <mrow> <mo>(</mo> <mi>a</mi> <mo>)</mo> </mrow> </msubsup> <mo>)</mo> </mrow> <mi>T</mi> </msup> <mo>)</mo> </mrow> <mo>=</mo> <munder> <mi>&amp;Sigma;</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>&amp;Element;</mo> <mi>A</mi> </mrow> </munder> <msubsup> <mi>L</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> <mrow> <mo>(</mo> <mi>a</mi> <mo>)</mo> </mrow> </msubsup> <msubsup> <mover> <mi>&amp;alpha;</mi> <mo>^</mo> </mover> <mi>i</mi> <mrow> <mo>(</mo> <mi>a</mi> <mo>)</mo> </mrow> </msubsup> <msup> <mrow> <mo>(</mo> <msubsup> <mover> <mi>&amp;alpha;</mi> <mo>^</mo> </mover> <mi>j</mi> <mrow> <mo>(</mo> <mi>a</mi> <mo>)</mo> </mrow> </msubsup> <mo>)</mo> </mrow> <mi>T</mi> </msup> </mrow>
其中，为的第i项，为的第j项，对于每一个模态的重构错误被重写为
将上面两个式子结合，可得固定其余稀疏编码{αj}j≠i的前提下，获取稀疏编码的目标函数，如下：
<mfenced open = "" close = ""> <mtable> <mtr> <mtd> <mrow> <msub> <mi>min</mi> <msubsup> <mi>&amp;alpha;</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>c</mi> <mo>)</mo> </mrow> </msubsup> </msub> <mo>|</mo> <mo>|</mo> <mo>&amp;lsqb;</mo> <msubsup> <mi>x</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>a</mi> <mo>)</mo> </mrow> </msubsup> <msubsup> <mi>x</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>b</mi> <mo>)</mo> </mrow> </msubsup> <mo>&amp;rsqb;</mo> <mo>-</mo> <mo>&amp;lsqb;</mo> <msup> <mi>D</mi> <mrow> <mo>(</mo> <mi>a</mi> <mo>)</mo> </mrow> </msup> <msup> <mi>D</mi> <mrow> <mo>(</mo> <mi>b</mi> <mo>)</mo> </mrow> </msup> <mo>&amp;rsqb;</mo> <msubsup> <mi>&amp;alpha;</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>c</mi> <mo>)</mo> </mrow> </msubsup> <mo>|</mo> <msubsup> <mo>|</mo> <mi>F</mi> <mn>2</mn> </msubsup> <mo>+</mo> <mn>2</mn> <mi>&amp;lambda;</mi> <mo>|</mo> <mo>|</mo> <msubsup> <mi>&amp;alpha;</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>c</mi> <mo>)</mo> </mrow> </msubsup> <mo>|</mo> <msubsup> <mo>|</mo> <mi>F</mi> <mn>2</mn> </msubsup> <mo>+</mo> <mn>2</mn> <mi>&amp;lambda;</mi> <mo>|</mo> <mo>|</mo> <msubsup> <mi>&amp;alpha;</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>c</mi> <mo>)</mo> </mrow> </msubsup> <mo>|</mo> <msub> <mo>|</mo> <mn>1</mn> </msub> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>+</mo> <mi>&amp;beta;</mi> <mrow> <mo>(</mo> <msubsup> <mi>L</mi> <mrow> <mi>i</mi> <mi>i</mi> </mrow> <mrow> <mo>(</mo> <mi>a</mi> <mo>)</mo> </mrow> </msubsup> <mo>+</mo> <msubsup> <mi>L</mi> <mrow> <mi>i</mi> <mi>i</mi> </mrow> <mrow> <mo>(</mo> <mi>b</mi> <mo>)</mo> </mrow> </msubsup> <mo>)</mo> </mrow> <msubsup> <mi>&amp;alpha;</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>c</mi> <mo>)</mo> </mrow> </msubsup> <msup> <mrow> <mo>(</mo> <msubsup> <mi>&amp;alpha;</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>c</mi> <mo>)</mo> </mrow> </msubsup> <mo>)</mo> </mrow> <mi>T</mi> </msup> <mo>+</mo> <mn>2</mn> <msup> <mrow> <mo>(</mo> <msubsup> <mi>&amp;alpha;</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>c</mi> <mo>)</mo> </mrow> </msubsup> <mo>)</mo> </mrow> <mi>T</mi> </msup> <msubsup> <mi>h</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>c</mi> <mo>)</mo> </mrow> </msubsup> </mrow> </mtd> </mtr> </mtable> </mfenced>
其中，
通过步骤4.1)，可以获得关于的潜在非零系数与相关标志构成的活动集，记为之后，将上述目标函数减少为非约束的二次方程问题；
利用如下方法更新
<mrow> <msubsup> <mi>&amp;alpha;</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>c</mi> <mo>)</mo> </mrow> </msubsup> <mo>&amp;LeftArrow;</mo> <msup> <mrow> <mo>(</mo> <munder> <mi>&amp;Sigma;</mi> <mrow> <mi>m</mi> <mo>&amp;Element;</mo> <mo>{</mo> <mi>a</mi> <mo>,</mo> <mi>b</mi> <mo>}</mo> </mrow> </munder> <msup> <mrow> <mo>(</mo> <msup> <mi>D</mi> <mrow> <mo>(</mo> <mi>m</mi> <mo>)</mo> </mrow> </msup> <mo>)</mo> </mrow> <mi>T</mi> </msup> <msup> <mi>D</mi> <mrow> <mo>(</mo> <mi>m</mi> <mo>)</mo> </mrow> </msup> <mo>+</mo> <mi>&amp;beta;</mi> <mo>(</mo> <mrow> <msubsup> <mi>L</mi> <mrow> <mi>i</mi> <mi>i</mi> </mrow> <mrow> <mo>(</mo> <mi>a</mi> <mo>)</mo> </mrow> </msubsup> <mo>+</mo> <msubsup> <mi>L</mi> <mrow> <mi>i</mi> <mi>i</mi> </mrow> <mrow> <mo>(</mo> <mi>b</mi> <mo>)</mo> </mrow> </msubsup> </mrow> <mo>)</mo> <mi>I</mi> <mo>)</mo> </mrow> <mrow> <mo>-</mo> <mn>1</mn> </mrow> </msup> <mo>&amp;times;</mo> <mrow> <mo>(</mo> <munder> <mi>&amp;Sigma;</mi> <mrow> <mi>m</mi> <mo>&amp;Element;</mo> <mo>{</mo> <mi>a</mi> <mo>,</mo> <mi>b</mi> <mo>}</mo> </mrow> </munder> <msup> <mrow> <mo>(</mo> <msup> <mi>D</mi> <mrow> <mo>(</mo> <mi>m</mi> <mo>)</mo> </mrow> </msup> <mo>)</mo> </mrow> <mi>T</mi> </msup> <msubsup> <mi>x</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>m</mi> <mo>)</mo> </mrow> </msubsup> <mo>-</mo> <mi>&amp;lambda;</mi> <mo>(</mo> <mrow> <msubsup> <mi>&amp;theta;</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>c</mi> <mo>)</mo> </mrow> </msubsup> <mo>+</mo> <msubsup> <mi>h</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>c</mi> <mo>)</mo> </mrow> </msubsup> </mrow> <mo>)</mo> <mo>)</mo> </mrow> </mrow>
其中，为矩阵L(a)的第i行第i列项，为矩阵L(b)的第i行第i列项，I为单位矩阵，为所获得的关于的潜在非零系数与相关标志构成的活动集；
则将针对于的目标函数重写为：
<mrow> <msub> <mi>min</mi> <msubsup> <mi>&amp;alpha;</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>a</mi> <mo>)</mo> </mrow> </msubsup> </msub> <mo>|</mo> <mo>|</mo> <msubsup> <mi>x</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>a</mi> <mo>)</mo> </mrow> </msubsup> <mo>-</mo> <msup> <mi>D</mi> <mrow> <mo>(</mo> <mi>a</mi> <mo>)</mo> </mrow> </msup> <msubsup> <mi>&amp;alpha;</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>a</mi> <mo>)</mo> </mrow> </msubsup> <mo>|</mo> <msubsup> <mo>|</mo> <mi>F</mi> <mn>2</mn> </msubsup> <mo>+</mo> <mi>&amp;lambda;</mi> <mo>|</mo> <mo>|</mo> <msubsup> <mi>&amp;alpha;</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>a</mi> <mo>)</mo> </mrow> </msubsup> <mo>|</mo> <msub> <mo>|</mo> <mn>1</mn> </msub> <mo>+</mo> <msubsup> <mi>&amp;beta;L</mi> <mrow> <mi>i</mi> <mi>i</mi> </mrow> <mrow> <mo>(</mo> <mi>a</mi> <mo>)</mo> </mrow> </msubsup> <msubsup> <mi>&amp;alpha;</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>a</mi> <mo>)</mo> </mrow> </msubsup> <msup> <mrow> <mo>(</mo> <msubsup> <mi>&amp;alpha;</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>a</mi> <mo>)</mo> </mrow> </msubsup> <mo>)</mo> </mrow> <mi>T</mi> </msup> <mo>+</mo> <msup> <mrow> <mo>(</mo> <msubsup> <mi>&amp;alpha;</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>a</mi> <mo>)</mo> </mrow> </msubsup> <mo>)</mo> </mrow> <mi>T</mi> </msup> <msubsup> <mi>g</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>a</mi> <mo>)</mo> </mrow> </msubsup> </mrow>
其中
采用如下方法更新
<mrow> <msubsup> <mi>&amp;alpha;</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>a</mi> <mo>)</mo> </mrow> </msubsup> <mo>&amp;LeftArrow;</mo> <msup> <mrow> <mo>(</mo> <msup> <mrow> <mo>(</mo> <msup> <mi>D</mi> <mrow> <mo>(</mo> <mi>a</mi> <mo>)</mo> </mrow> </msup> <mo>)</mo> </mrow> <mi>T</mi> </msup> <msup> <mi>D</mi> <mrow> <mo>(</mo> <mi>a</mi> <mo>)</mo> </mrow> </msup> <mo>+</mo> <mo>(</mo> <mrow> <msubsup> <mi>&amp;beta;L</mi> <mrow> <mi>i</mi> <mi>i</mi> </mrow> <mrow> <mo>(</mo> <mi>a</mi> <mo>)</mo> </mrow> </msubsup> <mo>+</mo> <mi>&amp;gamma;</mi> </mrow> <mo>)</mo> <mi>I</mi> <mo>)</mo> </mrow> <mrow> <mo>-</mo> <mn>1</mn> </mrow> </msup> <mo>&amp;times;</mo> <mrow> <mo>(</mo> <msup> <mrow> <mo>(</mo> <msup> <mi>D</mi> <mrow> <mo>(</mo> <mi>a</mi> <mo>)</mo> </mrow> </msup> <mo>)</mo> </mrow> <mi>T</mi> </msup> <msubsup> <mi>x</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>a</mi> <mo>)</mo> </mrow> </msubsup> <mo>-</mo> <mfrac> <mrow> <msubsup> <mi>&amp;lambda;&amp;theta;</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>a</mi> <mo>)</mo> </mrow> </msubsup> <mo>+</mo> <msubsup> <mi>g</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>a</mi> <mo>)</mo> </mrow> </msubsup> </mrow> <mn>2</mn> </mfrac> <mo>)</mo> </mrow> </mrow>
其中为的相关符号；
4.3)对于多模态基向量字典D的求解，采用如下方法来更新：
<mfenced open = "" close = ""> <mtable> <mtr> <mtd> <mrow> <msub> <mi>min</mi> <mi>D</mi> </msub> <munder> <mo>&amp;Sigma;</mo> <mrow> <mi>m</mi> <mo>&amp;Element;</mo> <mo>{</mo> <mi>a</mi> <mo>,</mo> <mi>b</mi> <mo>}</mo> </mrow> </munder> <mo>|</mo> <mo>|</mo> <msup> <mover> <mi>X</mi> <mo>^</mo> </mover> <mrow> <mo>(</mo> <mi>m</mi> <mo>)</mo> </mrow> </msup> <mo>-</mo> <msup> <mi>D</mi> <mrow> <mo>(</mo> <mi>m</mi> <mo>)</mo> </mrow> </msup> <msup> <mover> <mi>&amp;alpha;</mi> <mo>^</mo> </mover> <mrow> <mo>(</mo> <mi>m</mi> <mo>)</mo> </mrow> </msup> <mo>|</mo> <msubsup> <mo>|</mo> <mi>F</mi> <mn>2</mn> </msubsup> </mrow> </mtd> <mtd> <mrow> <mi>s</mi> <mo>.</mo> <mi>t</mi> <mo>.</mo> <mo>|</mo> <mo>|</mo> <msubsup> <mi>d</mi> <mi>k</mi> <mrow> <mo>(</mo> <mi>m</mi> <mo>)</mo> </mrow> </msubsup> <mo>|</mo> <mo>|</mo> <mo>&amp;le;</mo> <mi>l</mi> <mo>,</mo> <mi>m</mi> <mo>&amp;Element;</mo> <mo>{</mo> <mi>a</mi> <mo>,</mo> <mi>b</mi> <mo>}</mo> <mo>,</mo> <mo>&amp;ForAll;</mo> <mi>k</mi> </mrow> </mtd> </mtr> </mtable> </mfenced>
则通过步骤3.1)、3.2)、3.3)可以得到最终的符合要求能够反映不同模态下相似数据的表达相似性的稀疏编码。
CN201711230589.4A 2017-11-29 2017-11-29 一种利用适应性相似结构规则化进行局部多模态稀疏编码补全的方法 Withdrawn CN108038080A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711230589.4A CN108038080A (zh) 2017-11-29 2017-11-29 一种利用适应性相似结构规则化进行局部多模态稀疏编码补全的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711230589.4A CN108038080A (zh) 2017-11-29 2017-11-29 一种利用适应性相似结构规则化进行局部多模态稀疏编码补全的方法

Publications (1)

Publication Number Publication Date
CN108038080A true CN108038080A (zh) 2018-05-15

Family

ID=62094533

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711230589.4A Withdrawn CN108038080A (zh) 2017-11-29 2017-11-29 一种利用适应性相似结构规则化进行局部多模态稀疏编码补全的方法

Country Status (1)

Country Link
CN (1) CN108038080A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109948502A (zh) * 2018-11-07 2019-06-28 厦门森科艾图智能科技有限公司 多视角局部敏感稀疏检索的三维图像人体姿态恢复方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103473307A (zh) * 2013-09-10 2013-12-25 浙江大学 跨媒体稀疏哈希索引方法
CN103488713A (zh) * 2013-09-10 2014-01-01 浙江大学 一种可直接度量不同模态数据间相似性的跨模态检索方法
CN104765878A (zh) * 2015-04-27 2015-07-08 合肥工业大学 一种适用于多模态信息的稀疏编码算法及其应用
US9582916B2 (en) * 2014-11-10 2017-02-28 Siemens Healthcare Gmbh Method and system for unsupervised cross-modal medical image synthesis

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103473307A (zh) * 2013-09-10 2013-12-25 浙江大学 跨媒体稀疏哈希索引方法
CN103488713A (zh) * 2013-09-10 2014-01-01 浙江大学 一种可直接度量不同模态数据间相似性的跨模态检索方法
US9582916B2 (en) * 2014-11-10 2017-02-28 Siemens Healthcare Gmbh Method and system for unsupervised cross-modal medical image synthesis
CN104765878A (zh) * 2015-04-27 2015-07-08 合肥工业大学 一种适用于多模态信息的稀疏编码算法及其应用

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
QIAN LI等: "SINGLE IMAGE SUPER-RESOLUTION BASED ON NONLOCAL SIMILARITY AND SPARSE REPRESENTATION", 《2015 IEEE CHINA SUMMIT AND INTERNATIONAL CONFERENCE ON SIGNAL AND INFORMATION PROCESSING (CHINASIP)》 *
SHENGHUA GAO等: "Laplacian Sparse Coding, Hypergraph Laplacian Sparse Coding, and Applications", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 *
ZHOU ZHAO等: "Partial Multi-Modal Sparse Coding via Adaptive Similarity Structure Regularization", 《PROCEEDINGS OF THE 24TH ACM INTERNATIONAL CONFERENCE ON MULTIMEDIA》 *
刘菲 等: "基于稀疏编码的多模态信息交叉检索", 《中国图象图形学报》 *
贺兵: "基于稀疏编码哈希的跨模多媒体检索", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109948502A (zh) * 2018-11-07 2019-06-28 厦门森科艾图智能科技有限公司 多视角局部敏感稀疏检索的三维图像人体姿态恢复方法

Similar Documents

Publication Publication Date Title
WO2023000574A1 (zh) 一种模型训练方法、装置、设备及可读存储介质
Liang et al. Symbolic graph reasoning meets convolutions
CN111310707B (zh) 基于骨骼的图注意力网络动作识别方法及系统
CN107729497B (zh) 一种基于知识图谱的词嵌入深度学习方法
CN109509056B (zh) 基于对抗网络的商品推荐方法、电子装置及存储介质
CN109389151B (zh) 一种基于半监督嵌入表示模型的知识图谱处理方法和装置
CN111191526B (zh) 行人属性识别网络训练方法、系统、介质及终端
CN111797589B (zh) 一种文本处理网络、神经网络训练的方法以及相关设备
CN112561064B (zh) 基于owkbc模型的知识库补全方法
CN109492666A (zh) 图像识别模型训练方法、装置及存储介质
CN111566646B (zh) 用于对数据进行混淆和解码的电子装置以及用于控制该电子装置的方法
CN110378208B (zh) 一种基于深度残差网络的行为识别方法
AU2020200338B2 (en) Image searching apparatus, classifier training method, and program
CN108171261A (zh) 鲁棒的自适应半监督图像分类方法、装置、设备及介质
CN106503659A (zh) 基于稀疏编码张量分解的动作识别方法
CN113378938B (zh) 一种基于边Transformer图神经网络的小样本图像分类方法及系统
CN112699215B (zh) 基于胶囊网络与交互注意力机制的评级预测方法及系统
CN113051399A (zh) 一种基于关系型图卷积网络的小样本细粒度实体分类方法
CN113255798A (zh) 一种分类模型训练方法、装置、设备及介质
CN103646256A (zh) 一种基于图像特征稀疏重构的图像分类方法
CN115618098B (zh) 基于知识增强与空洞卷积的冷链物流推荐方法及装置
CN116682541B (zh) 医疗就诊的推荐系统及其方法
CN106169095A (zh) 主动学习大数据标注方法和系统
CN116502181A (zh) 基于通道扩展与融合的循环胶囊网络多模态情感识别方法
CN113436224B (zh) 一种基于显式构图规则建模的智能图像裁剪方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20180515