CN112149053A - 一种基于低秩关联分析的多视图图像表征方法 - Google Patents

一种基于低秩关联分析的多视图图像表征方法 Download PDF

Info

Publication number
CN112149053A
CN112149053A CN202010835262.5A CN202010835262A CN112149053A CN 112149053 A CN112149053 A CN 112149053A CN 202010835262 A CN202010835262 A CN 202010835262A CN 112149053 A CN112149053 A CN 112149053A
Authority
CN
China
Prior art keywords
low
function
rank
norm
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010835262.5A
Other languages
English (en)
Inventor
沈项军
周京慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu University
Original Assignee
Jiangsu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu University filed Critical Jiangsu University
Priority to CN202010835262.5A priority Critical patent/CN112149053A/zh
Publication of CN112149053A publication Critical patent/CN112149053A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/14—Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Algebra (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于低秩关联分析的多视图图像表征方法，通过典型关联分析来探索多视图图像变量的关联结构；通过因子分解获得多视图图像的共同部分及其在样本空间的投影向量；通过低秩表示来对数据进行降维与降噪，从而抑制离群值的影响。本发明的优点在于在噪声密度较高的情况下，通过矩阵因子分解提取多视图图像中的关联信息，根据提取出的共同部分，进一步通过低秩对齐得到更好的低秩结构，达到更好地降噪效果。

Description

一种基于低秩关联分析的多视图图像表征方法
技术领域
本发明属于图像处理技术领域，尤其是一种基于低秩关联分析的多视图图像表征方法。
背景技术
随着信息采集技术的不断发展，机器学习、计算机视觉等许多领域的数据不但具有高纬度低价值密度的特征，而且根据不同的视角还具有多视图的特性。对于多视图数据，其合理的数据表示一直是机器学习的重点和难点之一，其学习效果往往受数据表示方法的影响；实际生活中，多视图数据经常会出现存在噪声或缺失的情况。这一情形给图像信息的分析和处理带来了极大的不便。为有效的处理这一问题，低秩模型被提出并广泛应用于计算机视觉问题中图形、外貌或运动的表示，子空间分割、子空间聚类和图像分类等实际应用中。
在各种实际应用中，低秩表示对有噪声或缺失的数据具有较好的鲁棒性，这使得低秩表示成为一种非常有竞争力的技术。低秩表示能够在多重子空间的情形下，通过施加一个线性地跨越数据空间的字典获得潜在的数据结构的表示。因此，许多计算机视觉的任务可以被表示为低维线性模型。本发明涉及到的低秩表示方法有：低秩矩阵因子分解(LRMF)。
然而，对于多视图数据仅通过低秩模型虽然很大程度上可以抑制噪声、离群值的影响，但多视图数据间的关联信息没有得到很好地保存。近年来，典型关联分析、主成分分析等方法被相继提出，他们通过计算协方差或相关系数等方法来衡量样本间关系密切程度进而找到相似与差异的各部分。其中也存在一些局限性：当观察数据不充分或存在严重噪声时，样本的聚类或分类精度会急剧下降。
发明内容
针对现有技术中存在的不足，本发明提出了一种基于低秩关联分析的多视图图像表征方法，通过低秩约束得到多视图图像共同部分的最低秩表示，从而达到较好的降噪效果。
本发明所采用的技术方案如下：
步骤1，采集多视图数据集{X,Y}，X、Y分别为两个视图对应数据集的数据矩阵，同时初始化循环次数；
步骤2，通过因子分解将数据矩阵X、Y分解为X＝UP,Y＝VQ；其中，U、V分别为数据矩阵X和Y经过因子分解得到的自有特征部分，P、Q分别为数据矩阵X和Y经过因子分解后得到的共同部分，对共同部分P、Q施加低秩约束得到
Figure BDA0002639452630000021
和
Figure BDA0002639452630000022
得到关于
Figure BDA0002639452630000023
和
Figure BDA0002639452630000024
的目标函数；
步骤3，使用拉格朗日函数对目标函数进行处理，并对各变量进行更新求解；
步骤4，设置迭代更新的结束判定条件，若符合以上判定条件，则跳出循环并输出最优解P和Q；否则继续执行循环；
步骤5，根据得到的优解低秩矩阵P和Q，最终得到降噪后的多视图关联数据的低维表征。
进一步，步骤2中，对共同部分P、Q通过核范数来约束矩阵低秩得到
Figure BDA0002639452630000025
和
Figure BDA0002639452630000026
进而得到目标函数，表示为：
Figure BDA0002639452630000027
其中，
Figure BDA0002639452630000028
和
Figure BDA0002639452630000029
分别是共同部分P、Q被施加低秩约束得到的，E为残差项，λ＝0.1是损失函数和L2，1范数的平衡参数，||·||*表示核范数，||·||2，1表示L2，1范数。
进一步，步骤3中，对目标函数进行拉格朗日变换得到：
Figure BDA00026394526300000210
其中，L为拉格朗日函数，E为残差项，λ＝0.1是损失函数和L2，1范数的平衡参数，
Figure BDA00026394526300000211
和
Figure BDA00026394526300000212
分别是被施加低秩约束的共同部分P、Q，μ是惩罚参数μ＞0，||·||*表示核范数，||·||F表示F范数，tr(*)表示矩阵的迹；M1、M2、M3、M4和M5分别为拉格朗日乘子。
进一步，基于拉格朗日函数，对各变量进行更新求解的过程为：
Step1：根据拉格朗日函数，
Figure BDA00026394526300000213
可以通过优化求解如下公式得出：
Figure BDA00026394526300000214
Figure BDA0002639452630000031
Step2：通过对拉格朗日函数求P和Q的偏导数并令其为0，计算可得：
Figure BDA0002639452630000032
Figure BDA0002639452630000033
Step3：通过对拉格朗日函数求U和V的偏导并令其为0，计算可得：
Figure BDA0002639452630000034
Figure BDA0002639452630000035
Step4：根据上述步骤计算得出的P和Q，残差项E可以通过下式的优化求解得出：
Figure BDA0002639452630000036
其中，I表示单位矩阵，UT、VT分别为U、V的转置。
进一步，所述结束判定条件为：当前迭代次的整体误差小于阈值或迭代次数大于Maxiter次，Maxiter为最大迭代次数。
进一步，整体误差表示为：stopC＝sqrt(sum(diag(leq′*leq)))；其中，leq为误差项，表示为leq＝P-Q-E，leq′为leq转置后的表示，diag(*)表示提取矩阵的对角元素，sum(*)为求和函数，sqrt(*)为非负实数的平方根函数。
本发明的有益效果：
1、本发明通过典型关联分析衡量多视图数据间的相关程度，并通过矩阵的因子分解来提取多视图数据间的关联信息。矩阵因子分解可以提取出每个视图背后的丰富信息，提供更好的、更深层次的特征表示。
2、通过对多视图数据集因子分解后的共同部分施加低秩约束来进一步抑制噪声对多视图数据关联信息的影响，从而得到更好的低秩结构。
3、利用矩阵因子分解的方法，降低计算难度从而提高计算速度减少时间复杂度。
附图说明
图1为本发明方法的流程图；
图2为不同程度噪声下的数据集图像；
图3为本发明的方法与其他对比方法的精度折线图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用于解释本发明，并不用于限定本发明。
如图1所示的一种基于低秩关联分析的多视图图像表征方法，包括以下步骤：
步骤1，采集多视图数据集{X，Y}＝{(x1，y1)，(x2，y2)，...，(xn，yn)}作为所需数据集，X，Y分别为两个视图对应数据集的数据矩阵，xi，yi分别是数据集X和Y中第i个样本，xi，yi∈Rdxn，d和n分别表示图像的维度和数量。并初始化循环次数iter＝0。
步骤2，通过因子分解将数据矩阵X和Y分解为X＝UP，Y＝VQ，其中，U、V分别为数据矩阵X和Y经过因子分解得到的自有特征部分，P、Q分别为数据矩阵X和Y经过因子分解后得到的共同部分，同时对共同部分P、Q施加低秩约束得到
Figure BDA0002639452630000041
和
Figure BDA0002639452630000042
具体过程为：
对共同部分P、Q通过核范数来约束矩阵低秩得到
Figure BDA0002639452630000043
和
Figure BDA0002639452630000044
得到目标函数表示为：
Figure BDA0002639452630000045
其中，
Figure BDA0002639452630000046
和
Figure BDA0002639452630000047
分别是共同部分P、Q被施加低秩约束得到的，E为残差项，λ＝0.1是损失函数和L2，1范数的平衡参数，||·||*表示核范数，||·||2，1表示L2，1范数。
步骤3，使用拉格朗日函数对目标函数进行处理，表示为：
Figure BDA0002639452630000048
其中，L为拉格朗日函数，E为残差项，λ＝0.1是损失函数和L2，1范数的平衡参数，
Figure BDA0002639452630000049
和
Figure BDA00026394526300000410
分别是被施加低秩约束的共同部分P、Q，μ是惩罚参数μ＞0，||·||*表示核范数，||·||F表示F范数，tr(*)表示矩阵的迹；M1、M2、M3、M4和M5分别为拉格朗日乘子。
基于拉格朗日函数，对各变量进行更新求解，具体方法如下：
Step1：根据拉格朗日函数，
Figure BDA00026394526300000411
可以通过优化求解如下公式得出：
Figure BDA0002639452630000051
Figure BDA0002639452630000052
Step2：通过对拉格朗日函数求P和Q的偏导数并令其为0，计算可得：
Figure BDA0002639452630000053
Figure BDA0002639452630000054
其中，I表示单位矩阵，UT、VT分别为U、V的转置。
Step3：通过对拉格朗日函数求U和V的偏导并令其为0，计算可得：
Figure BDA0002639452630000055
Figure BDA0002639452630000056
Step4：根据上述步骤计算得出的P和Q，残差项E可以通过下式的优化求解得出：
Figure BDA0002639452630000057
步骤4，设置迭代更新的结束判定条件，若符合以上判定条件，则跳出循环；否则继续执行循环，即循环迭代步骤2对各个变量更新求解的过程。当循环退出，则代表已经找出最优解P和Q。结束判定条件为：直到整体误差小于阈值或迭代次数大于Maxiter次，Maxiter＝200为最大迭代次数。计算整体误差：stopC＝sqrt(sum(diag(leq′*leq)))
其中，leq＝P-Q-E为误差项，leq′为leq转置后的表示，diag(*)表示提取矩阵的对角元素，sum(*)为求和函数，sqrt(*)为非负实数的平方根函数。
步骤5，根据得到的优解低秩矩阵P和Q，最终得到降噪后的多视图关联数据的低维表征。
在本实施实例中，选取CMU人脸数据集作为多视图数据集{X，Y}。该数据集包含68个人在13种不同姿势、42种光照条件、4种表情下的不同视图，其中数据集{X，Y}是进行加噪处理过的如图2所示。
本发明通过典型关联分析衡量多视图数据间的相关程度，并通过矩阵因子分解来提取多视图数据间的关联信息；同时，在噪声密度较高的情况下，通过施加低秩约束可以很好地抑制噪声对多视图数据关联信息的影响，从而得到更低秩的矩阵达到更好的降噪效果。为了更清楚的说明本发明的效果，如图2对多视图数据集图像施加不同程度噪声，并将带有不同程度噪声的多视图数据集图像都输入本发明方案、非凸矩阵低秩分解(LRSC)、多视图非负矩阵分解(MultiNMF)、鲁棒多视图双重低秩分解(RMSL)、多视图低秩稀疏分解(MLRSSC)进行处理，分别计算图像的聚类精度。结合附图3，可以看出不同程度的噪声情况下，利用本发明提出的方法处理的聚类精度一直高于其他对比算法。
以上实施例仅用于说明本发明的设计思想和特点，其目的在于使本领域内的技术人员能够了解本发明的内容并据以实施，本发明的保护范围不限于上述实施例。所以，凡依据本发明所揭示的原理、设计思路所作的等同变化或修饰，均在本发明的保护范围之内。

Claims (6)

1.一种基于低秩关联分析的多视图图像表征方法，其特征在于，包括以下步骤：
步骤1，采集多视图数据集{X,Y}，X、Y分别为两个视图对应数据集的数据矩阵，同时初始化循环次数；
步骤2，通过因子分解将数据矩阵X、Y分解为X＝UP,Y＝VQ；其中，U、V分别为数据矩阵X和Y经过因子分解得到的自有特征部分，P、Q分别为数据矩阵X和Y经过因子分解后得到的共同部分，对共同部分P、Q施加低秩约束得到
Figure FDA0002639452620000011
和
Figure FDA0002639452620000012
得到关于
Figure FDA0002639452620000013
和的目标函数；
步骤3，使用拉格朗日函数对目标函数进行处理，并对各变量进行更新求解；
步骤4，设置迭代更新的结束判定条件，若符合以上判定条件，则跳出循环并输出最优解P和Q；否则继续执行循环；
步骤5，根据得到的优解低秩矩阵P和Q，最终得到降噪后的多视图关联数据的低维表征。
2.根据权利要求1所述的一种基于低秩关联分析的多视图图像表征方法，其特征在于，步骤2中，对共同部分P、Q通过核范数来约束矩阵低秩得到
Figure FDA0002639452620000015
和
Figure FDA0002639452620000016
进而得到目标函数，表示为：
Figure FDA0002639452620000017
s.t.P＝Q+E,X＝UP，Y＝VQ,
Figure FDA0002639452620000018
其中,
Figure FDA0002639452620000019
和
Figure FDA00026394526200000110
分别是共同部分P、Q被施加低秩约束得到的，E为残差项，λ＝0.1是损失函数和L2,1范数的平衡参数，||·||*表示核范数，||·||2,1表示L2,1范数。
3.根据权利要求2所述的一种基于低秩关联分析的多视图图像表征方法，其特征在于，步骤3中，对目标函数进行拉格朗日变换得到：
Figure FDA00026394526200000111
其中，L为拉格朗日函数，E为残差项，λ＝0.1是损失函数和L2,1范数的平衡参数，
Figure FDA0002639452620000021
和
Figure FDA0002639452620000022
分别是被施加低秩约束的共同部分P、Q，μ是惩罚参数μ＞0，||·||*表示核范数，||·||F表示F范数，tr(*)表示矩阵的迹；M1、M2、M3、M4和M5分别为拉格朗日乘子。
4.根据权利要求3所述的一种基于低秩关联分析的多视图图像表征方法，其特征在于，基于拉格朗日函数，对各变量进行更新求解的过程为：
Step1：根据拉格朗日函数，
Figure FDA0002639452620000023
可以通过优化求解如下公式得出：
Figure FDA0002639452620000024
Figure FDA0002639452620000025
Step2：通过对拉格朗日函数求P和Q的偏导数并令其为0，计算可得：
Figure FDA0002639452620000026
Figure FDA0002639452620000027
Step3：通过对拉格朗日函数求U和V的偏导并令其为0，计算可得：
Figure FDA0002639452620000028
Figure FDA0002639452620000029
Step4：根据上述步骤计算得出的P和Q，残差项E可以通过下式的优化求解得出：
Figure FDA00026394526200000210
其中，I表示单位矩阵，UT、VT分别为U、V的转置。
5.根据权利要求1、2、3或4所述的一种基于低秩关联分析的多视图图像表征方法，其特征在于，所述结束判定条件为：当前迭代次的整体误差小于阈值或迭代次数大于Maxiter次，Maxiter为最大迭代次数。
6.根据权利要求4所述的一种基于低秩关联分析的多视图图像表征方法，其特征在于，整体误差表示为：stopC＝sqrt(sum(diag(leq′*leq)))；其中，leq为误差项，表示为leq＝P-Q-E，leq′为leq转置后的表示，diag(*)表示提取矩阵的对角元素，sum(*)为求和函数，sqrt(*)为非负实数的平方根函数。
CN202010835262.5A 2020-08-19 2020-08-19 一种基于低秩关联分析的多视图图像表征方法 Pending CN112149053A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010835262.5A CN112149053A (zh) 2020-08-19 2020-08-19 一种基于低秩关联分析的多视图图像表征方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010835262.5A CN112149053A (zh) 2020-08-19 2020-08-19 一种基于低秩关联分析的多视图图像表征方法

Publications (1)

Publication Number Publication Date
CN112149053A true CN112149053A (zh) 2020-12-29

Family

ID=73888078

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010835262.5A Pending CN112149053A (zh) 2020-08-19 2020-08-19 一种基于低秩关联分析的多视图图像表征方法

Country Status (1)

Country Link
CN (1) CN112149053A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113936196A (zh) * 2021-09-29 2022-01-14 江苏大学 一种基于低秩拉普拉斯图学习的鲁棒数据降维方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108256486A (zh) * 2018-01-18 2018-07-06 河南科技大学 一种基于非负低秩和半监督学习的图像识别方法及装置
CN108460412A (zh) * 2018-02-11 2018-08-28 北京盛安同力科技开发有限公司 一种基于子空间联合稀疏低秩结构学习的图像分类方法
CN109064412A (zh) * 2018-06-20 2018-12-21 南京邮电大学 一种低秩图像的去噪方法
CN110363713A (zh) * 2019-06-17 2019-10-22 江苏大学 基于递归样本缩放和双线性因子分解的高光谱图像降噪方法
CN110633732A (zh) * 2019-08-15 2019-12-31 电子科技大学 一种基于低秩和联合稀疏的多模态图像识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108256486A (zh) * 2018-01-18 2018-07-06 河南科技大学 一种基于非负低秩和半监督学习的图像识别方法及装置
CN108460412A (zh) * 2018-02-11 2018-08-28 北京盛安同力科技开发有限公司 一种基于子空间联合稀疏低秩结构学习的图像分类方法
CN109064412A (zh) * 2018-06-20 2018-12-21 南京邮电大学 一种低秩图像的去噪方法
CN110363713A (zh) * 2019-06-17 2019-10-22 江苏大学 基于递归样本缩放和双线性因子分解的高光谱图像降噪方法
CN110633732A (zh) * 2019-08-15 2019-12-31 电子科技大学 一种基于低秩和联合稀疏的多模态图像识别方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113936196A (zh) * 2021-09-29 2022-01-14 江苏大学 一种基于低秩拉普拉斯图学习的鲁棒数据降维方法
CN113936196B (zh) * 2021-09-29 2024-05-14 江苏大学 一种基于低秩拉普拉斯图学习的鲁棒数据降维方法

Similar Documents

Publication Publication Date Title
Zhang et al. Robust visual tracking using structurally random projection and weighted least squares
CN103049892B (zh) 基于相似块矩阵秩最小化的非局部图像去噪方法
Zheng et al. Prompt vision transformer for domain generalization
CN107578007A (zh) 一种基于多特征融合的深度学习人脸识别方法
CN110223324A (zh) 一种基于鲁棒特征表示的孪生匹配网络的目标跟踪方法
CN110120064B (zh) 一种基于互强化与多注意机制学习的深度相关目标跟踪算法
CN109949255A (zh) 图像重建方法及设备
CN111080675A (zh) 一种基于时空约束相关滤波的目标跟踪方法
CN110503113B (zh) 一种基于低秩矩阵恢复的图像显著性目标检测方法
CN107169117B (zh) 一种基于自动编码器和dtw的手绘图人体运动检索方法
CN110060286B (zh) 一种单目深度估计方法
CN108875655A (zh) 一种基于多特征的实时目标视频跟踪方法及系统
CN110097575A (zh) 一种基于局部特征及尺度池的目标跟踪方法
CN109858454B (zh) 一种基于双模型自适应核相关滤波追踪方法
CN110889865A (zh) 一种基于局部加权稀疏特征选择的视频目标跟踪方法
CN112329784A (zh) 一种基于时空感知及多峰响应的相关滤波跟踪方法
CN111402303A (zh) 一种基于kfstrcf的目标跟踪架构
CN110363713B (zh) 基于递归样本缩放和双线性因子分解的高光谱图像降噪方法
CN108985375A (zh) 考虑粒子权值空间分布的多特征融合跟踪方法
CN112149053A (zh) 一种基于低秩关联分析的多视图图像表征方法
CN108121964B (zh) 基于矩阵的联合稀疏局部保持投影人脸识别方法
CN107330912B (zh) 一种基于多特征融合的稀疏表示的目标追踪方法
Cao Face recognition robot system based on intelligent machine vision image recognition
CN113469209A (zh) 一种基于噪声抑制的无监督数据降维方法
CN110136164B (zh) 基于在线透射变换、低秩稀疏矩阵分解去除动态背景的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination