CN112465713A - 基于流形优化的张量低秩模型非平滑三维图像补全方法 - Google Patents

基于流形优化的张量低秩模型非平滑三维图像补全方法 Download PDF

Info

Publication number
CN112465713A
CN112465713A CN202011326845.1A CN202011326845A CN112465713A CN 112465713 A CN112465713 A CN 112465713A CN 202011326845 A CN202011326845 A CN 202011326845A CN 112465713 A CN112465713 A CN 112465713A
Authority
CN
China
Prior art keywords
smooth
tensor
dimensional image
rank
low
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011326845.1A
Other languages
English (en)
Other versions
CN112465713B (zh
Inventor
林宙辰
孔浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University
Original Assignee
Peking University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University filed Critical Peking University
Priority to CN202011326845.1A priority Critical patent/CN112465713B/zh
Publication of CN112465713A publication Critical patent/CN112465713A/zh
Application granted granted Critical
Publication of CN112465713B publication Critical patent/CN112465713B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公布了一种基于流形优化的张量低秩模型非平滑三维图像补全方法，利用流形优化将低秩补全非平滑三维图像中的张量Q‑核范数TQN与正交投影基设置为可学习的图像依赖型优化变量，并更新数据依赖的正交投影基，输入为非平滑三维图像在投影算子
Figure DDA0002794566790000011
作用下的受限观测图像样本，输出为待恢复的非平滑的低秩三维图像，从而高效实现非平滑三维图像的低秩恢复。本发明用于低秩图像恢复，提高图像补全的适用性，提升非平滑三维图像低秩补全效果。

Description

基于流形优化的张量低秩模型非平滑三维图像补全方法
技术领域
本发明属于模式识别、机器学习、人工智能与图像处理技术领域，涉及图像数据低秩补全方法，具体涉及一种基于流形优化的张量低秩模型的非平滑三维图像补全方法。
背景技术
随着数据科学的飞速发展，高维的数据受到了广泛应用，与之对应的存储数据的高维矩阵(也即张量)的结构信息也越来越复杂，这使得在处理数据恢复等任务中，现有的低秩张量恢复模型面临了更多挑战。一般比较常用的数据恢复方法是基于原始张量数据
Figure BDA0002794566770000014
的低秩特征从而根据一些受限的观测样本
Figure BDA0002794566770000015
来恢复出原始数据，对应模型如下所示：
Figure BDA0002794566770000011
其中张量
Figure BDA0002794566770000016
是由原始的低秩张量数据
Figure BDA0002794566770000017
经过一个线性算子Ψ(·)作用之后得到的受限观测样本，在张量补全任务中，算子Ψ(·)被选为投影算子
Figure BDA0002794566770000012
其作用是选出指标集Ω所对应位置的元素，将指标集的补集ΩC所对应位置的元素置为0。张量数据的低秩特征通常用其替代函数——张量核范数的极小化来描述，对应张量补全模型如下：
Figure BDA0002794566770000013
现有的常用三阶张量恢复算法根据张量秩和张量核范数的不同定义有很多分支，但是他们在数据恢复任务中都存在一些各自的局限性。Friedland等人基于CP分解提出的张量核范数cTNN(Tensor Nuclear Norm based on CP composition)的极小化模型是矩阵情况的直接推广，但是cTNN的求解是NP完全问题，求解CP分解具有极高的复杂度使得此方法较难实施。Liu等人基于Tucker分解提出了另一种张量核范数SNN(Sum of tensorNuclear Norm)的极小化模型，该模型将高维张量沿着各个维度展开成二阶矩阵，从而用每个展开矩阵的核范数之和作为张量核范数，其计算的便捷性使得此类方法得到了较多应用。但是Paredes等人指出范数SNN不是张量秩的最优凸包络，并且简单的将三阶张量沿着各个维度展开成为二阶矩阵的操作严重破坏了数据之间的连续性，这使得此方法在处理一些复杂视频数据时恢复效果不佳。
为了避免数据信息损坏，Kilmer等人基于t-SVD和离散傅里叶变换FFT(DiscreteFourier Transform)提出了新的张量核范数TNN(Tensor Nuclear Norm)，傅里叶变换对数据的特征采样较为准确使得TNN极小化模型受到了广泛的研究与应用。Zhang，Lu和Yin等人对这类方法做了较为详尽的研究工作，然而目前对TNN恢复模型的主流研究中多采用平滑三维图像进行验证实验，当处理非平滑的三维图像数据时，使用离散傅里叶矩阵作为正交投影基进行特征投影就遇到了较大问题。(我们用通常的直观含义来定义平滑和非平滑数据，如一段连续的视频数据的各帧组成的张量是沿时间维度平滑的，但是如果将帧面打乱顺序，或者组合来自不同视频数据的帧面得到的三阶张量，那么沿着时间维度就是不平滑的。)在TNN极小化方法对不平滑的图像数据(例如背景变化较大的短视频)进行低秩恢复中，高频特征会变得更显著，使得低秩结构遭到破坏，从而难以得到较好的可行解。图1展示了在一个非平滑的三维图像数据下，TNN的奇异值分布所构造的数据低秩性明显差于我们的方法构造出的低秩性。
对于此局限性，Kernfeld等人希望通过将t-SVD中的离散傅里叶矩阵变为任意可逆的线性算子来提取非平滑方向的信号特征，从这个观点出发，Kernfeld和Lu等人提出了用一个固定的可逆矩阵来替代傅里叶矩阵的方向，Kernfeld等人利用Toeplitz-plus-Hankel矩阵可被离散余弦矩阵对角化的性质提出了TNN-C(Cosine)极小化模型，但是离散余弦矩阵仍然基于三角函数，对于非平滑图像仍然存在特征不显著问题；Song等人用多贝西小波变换矩阵来替换傅里叶矩阵提出了TTNN(Wavelet)极小化模型，小波基矩阵考虑了空间结构信息，但是对于严重无序的图像排列仍然存在适应性差的问题；Jiang等人参考了图像处理中的Framelet变换矩阵并提出了F-TNN(Framelet)极小化模型，他们指出冗余的投影基能更好的获取原始图像的特征，但是这会严重增大计算复杂度。综合来说，以上三个模型旨在解决非平滑三维图像的恢复问题，但是对于非平滑三维图像的恢复中替代TNN中离散傅里叶矩阵的各个投影基都缺乏科学合理的先验解释，并且手动设置投影基的方法使得应用场景非常受限，现有技术用于非平滑三维图像补全具有较大的局限性。
发明内容
为了克服上述现有技术在非平滑三维图像补全任务下的局限性，本发明提供一种基于流形优化的张量低秩模型的非平滑三维图像补全方法，可用于低秩图像恢复，提高图像补全的适用性，提升非平滑三维图像低秩补全效果。
三维图像恢复任务的低秩特征通常用其替代函数——张量核范数的极小化来描述，或者可以用奇异值的分布情况来衡量，在平方和一定的情况下，具有越少的大奇异值(远大于0)和越多的小奇异值(接近于0)可以使三维图像的低秩性越显著，如图1两条曲线所示。现有技术中固定的正交投影基在三维图像补全任务中不具有自适应性，所以在处理非平滑图像数据的低秩图像恢复任务中(如TNN模型在非平滑三维图像的低秩补全问题)上有恢复性能下降的局限性。根据现有技术，公式(1)定义了在给定正交投影基Q的作用下的新的张量Q-核范数TQN(Tensor Q-Nuclear Norm)：
Figure BDA0002794566770000031
其中，
Figure BDA0002794566770000032
是三维图像张量，
Figure BDA0002794566770000033
是正交投影基矩阵，
Figure BDA0002794566770000039
与
Figure BDA0002794566770000038
分别代表变量
Figure BDA0002794566770000037
和Q在多维度实数空间的对应方向的尺寸大小；“×3”运算符是基于Tucker分解的mode-3乘法，其定义为
Figure BDA0002794566770000034
矩阵G(i)代表张量
Figure BDA0002794566770000035
的第i个前切面
Figure BDA0002794566770000036
图2展示了在正交投影基Q的作用下张量Q-核范数TQN的概要计算过程。
本发明提供的基于流形优化的张量低秩模型非平滑三维图像补全方法将式(1)中固定的正交投影基矩阵Q拓展为图像数据依赖的可学习变量，利用流形优化算法设计并求解每个三维图像最优的正交投影基矩阵Q(而不采用现有的离散傅里叶矩阵等手动设置的投影基)，本发明方法称为MOTQN(Manifold Optimization Tensor Q-Nuclear Norm)，用于高效的进行非平滑三维图像的低秩补全任务。
本发明针对非平滑三维图像数据的低秩补全任务中的张量Q-核范数TQN与正交投影基，从预先指定的投影矩阵设置为可学习的图像依赖型优化变量，并运用流形优化的方法对张量Q-核范数TQN与正交投影基进行更新，此方法的输入为来自非平滑三维图像在投影算子
Figure BDA0002794566770000041
作用下的受限观测图像样本，输出为待恢复的非平滑的低秩三维图像。
本发明提供的技术方案是：
一种基于流形优化的张量低秩模型MOTQN的非平滑三维图像补全方法，利用流形优化将低秩补全非平滑三维图像中的张量Q-核范数TQN与正交投影基设置为可学习的图像依赖型优化变量，并更新数据依赖的正交投影基，输入为非平滑三维图像在投影算子
Figure BDA0002794566770000042
作用下的受限观测图像样本，输出为待恢复的非平滑的低秩三维图像，从而高效地实现非平滑三维图像的低秩恢复；包括以下步骤：
1)选取受限的观测样本
Figure BDA0002794566770000043
受限的观测样本是由待恢复的非平滑三维图像数据
Figure BDA0002794566770000044
经过一个投影算子
Figure BDA0002794566770000045
在指标集Ω的作用所得：
Figure BDA0002794566770000046
2)引入图像依赖的正交投影矩阵
Figure BDA0002794566770000047
根据式(1)的定义，构造低秩张量恢复的双层优化模型，表示为式(2)：
Figure BDA0002794566770000048
为了便于求解原始图像，增加辅助变量
Figure BDA0002794566770000049
得到如下双层优化模型：
Figure BDA00027945667700000410
其中，
Figure BDA00027945667700000411
是待求三维图像张量，
Figure BDA00027945667700000412
是待求正交投影基矩阵，
Figure BDA00027945667700000413
是投影辅助变量，Ω是元素位置指标集，
Figure BDA00027945667700000414
是投影算子，其作用是将输入张量向指标集Ω进行投影，
Figure BDA00027945667700000415
是图像在投影算子
Figure BDA00027945667700000416
用下的受限观测图像样本，
Figure BDA00027945667700000417
是元素全为0的张量。
3)运用交替方向乘子法(Alternating Direction Method of Multipliers)框架的迭代算法对模型(3)进行求解，引入增广拉格朗日函数：
Figure BDA00027945667700000418
其中，
Figure BDA00027945667700000419
为增广拉格朗日函数；
Figure BDA00027945667700000420
是待更新的拉格朗日乘子，
Figure BDA00027945667700000421
是惩罚参数。
设算法当前点为
Figure BDA00027945667700000516
其中变量逐个按下面步骤更新。
4)更新图像依赖的投影矩阵Qk+1。可以看到关于Q的优化部分
Figure BDA0002794566770000051
是典型的Stiefel流形优化问题，本发明采用构造梯度方向辅助曲线的方法来进行更新。包括如下操作：
4-1)对于步骤2)中式(3)下层约束中关于Q的目标函数
Figure BDA0002794566770000052
设
Figure BDA0002794566770000053
相关定义如式(1)所示；令
Figure BDA0002794566770000054
根据图2，对
Figure BDA0002794566770000055
的每个前切面G(i)进行SVD(SingularValue Decomposition)运算得到
Figure BDA00027945667700000531
引入辅助张量
Figure BDA0002794566770000056
令其每个前切面矩阵
Figure BDA00027945667700000532
最后取辅助变量
Figure BDA0002794566770000057
为函数f(Q)在Qk处的梯度，其中
Figure BDA0002794566770000058
分别为三阶张量
Figure BDA00027945667700000518
和
Figure BDA00027945667700000517
沿着第三维度展开所得。
4-2)借助辅助矩阵A，构造一个Stiefel流形上沿梯度方向的测地曲线如下：
Figure BDA0002794566770000059
在式(5)中，τ是待定步长参数，τ的最优步长τ*应使f(Q(τ*))极小化，也即：
Figure BDA00027945667700000510
在式(6)中，g(τ)＝f(Q(τ))是关于τ的函数，且ε是一个给定参数来保证τ*的选取足够小从而使
Figure BDA00027945667700000511
成立，然后此处可以用
Figure BDA00027945667700000512
来化简g(τ)＝f(Q(τ))如下：
Figure BDA00027945667700000513
4-3)考虑到步长τ足够小，将g(τ)在τ＝0处做泰勒展开得到如下：
Figure BDA00027945667700000514
需要注意的是，g″(0)的符号正负不确定，但Wen等人指出
Figure BDA00027945667700000515
恒成立，综上得到最优步长τ*的选取表示如下：
Figure BDA0002794566770000061
4-4)根据式(7)以及一阶、二阶微分的定义，可以求得g′(0)和g″(0)如下：
Figure BDA0002794566770000062
其中，
Figure BDA0002794566770000063
的定义如步骤4-1)中所示，
Figure BDA0002794566770000064
的定义如步骤4-2)中所示。把式(9)求得的最优步长τ*代入式(5)，得到Qk+1＝Q(τ*)。
5)更新待恢复图像数据
Figure BDA00027945667700000610
根据交替方向乘子法(Alternating Direction Method of Multipliers)的求解框架，对于
Figure BDA0002794566770000069
的更新有如下公式：
Figure BDA0002794566770000065
其中，Prox算子的定义为
Figure BDA0002794566770000066
根据本发明中
Figure BDA00027945667700000616
的定义，式(11)中Prox算子的求解步骤如下：
5-1)令辅助张量
Figure BDA0002794566770000067
对于张量
Figure BDA00027945667700000613
的每个前切面B(i)，进行SVD分解得到：
Figure BDA00027945667700000622
5-2)对于S(i)的每个对角线元素
Figure BDA00027945667700000614
更新其为
Figure BDA00027945667700000615
5-3)令辅助张量
Figure BDA00027945667700000619
的每个前切面C(i)为
Figure BDA00027945667700000623
其中S(i)的对角线元素为经过步骤5-2)更新之后所得。
5-4)取
Figure BDA00027945667700000617
作为Prox算子的解。
6)更新辅助变量εk+1。考虑到约束
Figure BDA00027945667700000618
此步骤用投影法更新如下：
Figure BDA0002794566770000068
其中ΩC是指标集Ω的补集，
Figure BDA00027945667700000620
的作用为将指标集Ω处的元素置为0，其余位置保持不变。
7)更新拉格朗日乘子
Figure BDA00027945667700000621
对于交替方向乘子法(Alternating DirectionMethod of Multipliers)框架的乘子，采用对偶更新如下：
Figure BDA0002794566770000071
8)更新惩罚参数μk+1。根据Lin等人的工作，选取一个较大的惩罚参数上界μmax和膨胀系数ρ＞1，更新公式如下：
μk+1＝min{ρμk，μmax}. (15)
9)重复迭代步骤4)-步骤8)直至算法收敛，输出待恢复的非平滑三维低秩图像
Figure BDA0002794566770000072
通过上述步骤，实现基于流形优化的张量低秩模型MOTQN的非平滑三维图像补全。
本发明的有益效果是：
本发明提供了一种基于流形优化的张量低秩模型MOTQN的非平滑三维图像补全方法，我们利用流形优化方法设计并更新了数据依赖的正交投影基矩阵。在具体实施中，我们可以将任意三维图像数据采用本发明设计的流形优化方法得到自适应的正交投影基矩阵，进而得到对应的三维低秩图像恢复模型，最后用该模型进行三维图像补全等图像处理任务。
本发明提出的自适应的图像依赖正交投影基矩阵不仅具有更好的可解释性，同时本发明的适用范围相比于现有技术大大增加。在非平滑三维图像补全任务中(如背景变换较大的三维视频图像数据的缺失补全任务)，本发明与现有的三维低秩图像恢复技术如基于TNN，TNN-C，TTNN以及F-TNN的三维低秩图像恢复技术相比都有更好的补全效果。
附图说明
图1是在非平滑的三维视频图像数据下，基于t-SVD的张量核范数TNN与本发明方法MOTQN的数据低秩性对比；
其中，(a)为非平滑的三维视频图像数据示意图；(b)为基于t-SVD的张量核范数TNN与本发明方法MOTQN的数据低秩性对比。
图2是本发明的TQN在给定正交投影基下的计算过程示意图；
其中，
Figure BDA0002794566770000073
是待求三维图像张量，Q是待求正交投影基矩阵，
Figure BDA0002794566770000074
为图像张量经投影后得到的张量，G(i)是投影后张量的第i个前切面矩阵，令每个G(i)的奇异值分解为G(i)＝U(i)S(i)V(i)，其因子矩阵分别对应图中的矩阵U(i)，S(i)，V(i)。
图3是本发明方法与现方法在处理COIL-20上三维图像补全处理结果的可视化展示。
图4是本发明方法具体实施实现基于流形优化的张量低秩模型的非平滑三维图像补全的流程框图。
具体实施方式
下面结合附图，通过实施例进一步描述本发明，但不以任何方式限制本发明的范围。
本发明提供一种基于流形优化的张量低秩模型MOTQN的非平滑三维图像补全方法，利用流形优化更新数据依赖的正交投影基，用于高效的进行非平滑三维图像的低秩补全任务，图4所示是本发明方法实现基于流形优化的张量低秩模型的非平滑三维图像补全的具体实施流程，包括以下步骤：
步骤1：选取受限的三维图像观测样本
Figure BDA0002794566770000087
假设其是由待恢复的原始非平滑三维图像
Figure BDA0002794566770000089
经过一个投影算子
Figure BDA0002794566770000088
在指标集Ω的作用所得。本实施例所用数据集为COIL-20，此数据集包含来自20个不同物体的1440张大小为128x128的图片数据，每个物体包含72张图片，分别为旋转360°且每隔5°拍摄所得。将数据集按序排列得到一个三维图像数据张量
Figure BDA00027945667700000810
选取指标集Ω＝{(i，j，k)}，其元素个数对应采样率p为：
Figure BDA0002794566770000081
运用投影算子
Figure BDA0002794566770000082
得到作为输入的受限的三维图片观测样本
Figure BDA0002794566770000083
步骤2：引入数据依赖的正交投影矩阵
Figure BDA0002794566770000084
根据式(1)的定义，构造三维图像恢复的双层优化模型表示为如下式(3)：
Figure BDA0002794566770000085
步骤3：运用交替方向乘子法(Alternating Direction Method of Multipliers)框架的迭代算法对式(3)表示的模型进行求解，引入增广拉格朗日函数：
Figure BDA0002794566770000086
其中，
Figure BDA0002794566770000099
是增广拉格朗日函数，
Figure BDA00027945667700000910
是待更新的拉格朗日乘子，
Figure BDA00027945667700000911
是惩罚参数。将各变量初始化为
Figure BDA00027945667700000912
其中Q0选为
Figure BDA00027945667700000913
的右奇异值矩阵，Y(3)为
Figure BDA00027945667700000914
的沿第三维度展开矩阵；
Figure BDA00027945667700000915
选为
Figure BDA00027945667700000916
ε0和
Figure BDA00027945667700000918
都选为全0张量
Figure BDA00027945667700000917
μ0选为10-5，μmax选为105，且膨胀系数ρ设置为1.1。下面逐个更新各个变量，设置更新上限次数K＝103。
步骤4：更新图像数据依赖的投影矩阵Qk+1。
步骤4-1：设
Figure BDA00027945667700000919
相关定义如式(1)所示；令
Figure BDA00027945667700000920
根据图2，对
Figure BDA00027945667700000921
的每个前切面G(i)进行SVD运算得到
Figure BDA00027945667700000933
引入辅助张量
Figure BDA0002794566770000091
令其每个前切面矩阵
Figure BDA00027945667700000934
最后取辅助变量
Figure BDA0002794566770000092
为函数f(Q)在Qk处的梯度，其中
Figure BDA00027945667700000922
分别为三阶张量
Figure BDA00027945667700000923
和
Figure BDA00027945667700000924
沿着第三维度展开所得。
步骤4-2：借助辅助矩阵A，构造一个Stiefel流形上沿梯度方向的测地曲线如下：
Figure BDA0002794566770000093
在式(5)中τ是待定步长参数，其最优步长τ*应使f(Q(τ*))极小化，也即：
Figure BDA0002794566770000094
在式(6)中，g(τ)＝f(Q(τ))是关于τ的函数。令
Figure BDA0002794566770000095
并将式(5)代入进行化简如下：
Figure BDA0002794566770000096
步骤4-3：将g(τ)在τ＝0处进行泰勒展开得到如下：
Figure BDA0002794566770000097
通过极小化式(8)，我们得到最优步长τ*的选取规则如下：
Figure BDA0002794566770000098
步骤4-4：根据式(7)以及一阶、二阶微分的定义，可以求得g′(0)和g″(0)如下：
Figure BDA0002794566770000101
其中，
Figure BDA0002794566770000102
的定义如步骤4-1中所示，
Figure BDA0002794566770000103
的定义如步骤4-2中所示。把式(9)求得的最优步长τ*代入式(5)，取Qk+1＝Q(τ*)完成此步更新。
步骤5：更新待恢复三维图像数据
Figure BDA00027945667700001017
通过如下公式：
Figure BDA0002794566770000104
步骤5-1：设辅助张量
Figure BDA0002794566770000105
以及
Figure BDA0002794566770000106
对于张量
Figure BDA0002794566770000107
的每个前切面
Figure BDA0002794566770000108
进行SVD分解得到
Figure BDA00027945667700001025
步骤5-2：对于
Figure BDA0002794566770000109
的对角线元素
Figure BDA00027945667700001010
更新其为
Figure BDA00027945667700001011
步骤5-3：令辅助张量
Figure BDA00027945667700001018
的每个前切面C(i)为
Figure BDA00027945667700001026
其中S(i)的对角线元素为经过步骤5-2更新之后所得。
步骤5-4：取
Figure BDA00027945667700001019
完成此步更新，得到待恢复三维图像数据
Figure BDA00027945667700001020
步骤6：更新辅助变量εk+1通过如下公式：
Figure BDA00027945667700001012
其中，ΩC是指标集Ω的补集，
Figure BDA00027945667700001013
的作用为将指标集Ω处的元素置为0，其余位置不变。
步骤7：更新拉格朗日乘子
Figure BDA00027945667700001021
通过如下公式：
Figure BDA00027945667700001014
步骤8：更新惩罚参数μk+1，惩罚因子膨胀系数为ρ＝1.1。
μk+1＝min{ρμk，μmax}. (15)
步骤9：重复迭代步骤4至步骤8至多1000次或算法各变量收敛到稳定点，收敛标准设置为
Figure BDA00027945667700001022
||εk+1-εk||∞≤10-6，以及
Figure BDA00027945667700001023
全部满足。输出
Figure BDA00027945667700001024
作为非平滑三维图像数据补全任务结果。
步骤10：此实例输入为受限的三维图像观测样本
Figure BDA0002794566770000112
将步骤9中的收敛点
Figure BDA0002794566770000113
作为待求的非平滑的三维低秩图像。
实施例模型在COIL-20数据集上采用带惩罚因子的ADMM框架进行迭代求解，模型最多迭代1000次，处理的三维图像大小为1440张128x128的图片。利用流形优化方法设置并更新自适应正交投影基矩阵的方式为本发明步骤4和步骤5。
在实施例中，本发明将正交投影基矩阵设置为一个可学习的图像依赖变量
Figure BDA0002794566770000114
并进行了流形上的曲线构造进行优化。相比于现有技术的选取固定投影基的做法，本发明具有更好的可解释性和适用范围，鲁棒性更强。
表1给出了本发明模型MOTQN和其他主流模型在COIL-20数据集上的非平滑三维图像补全任务的峰值信噪比(PSNR：Peak Signal to Noise Ratio)比较，其定义为：
Figure BDA0002794566770000111
其中，
Figure BDA0002794566770000115
是未经投影处理的真实原始三维图像，
Figure BDA0002794566770000116
是根据本方法步骤输出的待恢复的非平滑的低秩三维图像。
表1本方法和现有模型在COIL-20数据集上的非平滑三维图像补全的峰值信噪比
采样率p 0.1 0.2 0.3 0.4 0.5 0.6
MOTQN(本发明方法) 21.91 25.41 27.86 30.13 31.79 33.64
TNN(Fourier) 19.20 22.08 24.45 26.61 28.72 30.91
TNN-C(cosine) 19.02 22.11 24.23 37.04 28.95 30.97
TTNN(wavelet) 18.15 21.42 24.47 26.93 29.11 31.10
F-TNN(framelet) 17.62 20.58 22.87 24.67 27.41 29.90
SiLRTC 18.87 21.80 23.89 25.67 27.37 29.14
Latent Trace Norm 19.09 22.98 25.75 28.11 30.40 32.42
表中比较的同类现有技术方法选自Lu等人的TNN，Kernfeld和Xu等人的TNN-C，Song等人的TTNN，Jiang等人的F-TNN，Liu等人的SiLRTC，以及Tomioka等人的LTN方法。从表中可以看出，本发明的方法在解决COIL-20的非平滑图像补全任务上相比于目前主流方法有较显著的优势。本发明在各个采样率下都有较大性能提升，并且在采样率较低的环境下，本发明方法有着更明显的性能提升优势。此外，图3给出了在采样率p＝0.2的情况下实验结果的可视化展示，可以看出，本发明对应的方法在视觉效果上显著好于其他方法，尤其是在单张图像边缘细节的恢复上，本发明的恢复结果具有更好的区分度。
需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。

Claims (5)

1.一种基于流形优化的张量低秩模型MOTQN的非平滑三维图像补全方法，利用流形优化将低秩补全非平滑三维图像中的张量Q-核范数TQN与正交投影基设置为可学习的图像依赖型优化变量，并更新数据依赖的正交投影基，输入为非平滑三维图像在投影算子
Figure FDA0002794566760000011
作用下的受限观测图像样本，输出为待恢复的非平滑的低秩三维图像，从而高效实现非平滑三维图像的低秩恢复；包括以下步骤：
1)选取受限的观测样本
Figure FDA0002794566760000012
受限的观测样本由待恢复的非平滑三维图像
Figure FDA0002794566760000013
经过一个投影算子
Figure FDA0002794566760000014
在指标集Ω的作用所得：
Figure FDA0002794566760000015
其中n1、n2与n3分别代表变量
Figure FDA0002794566760000016
和Q在多维度实数空间的对应方向的尺寸大小；
2)引入图像依赖的正交投影矩阵
Figure FDA0002794566760000017
构造低秩张量恢复的双层优化模型，表示为式(1)和(2)：
Figure FDA0002794566760000018
Figure FDA0002794566760000019
其中，
Figure FDA00027945667600000110
是非平滑三维图像张量，
Figure FDA00027945667600000111
是正交投影基矩阵；“×3”运算符是基于Tucker分解的mode-3乘法，其定义为
Figure FDA00027945667600000112
矩阵G(i)代表张量
Figure FDA00027945667600000113
的第i个前切面
Figure FDA00027945667600000114
再增加辅助变量
Figure FDA00027945667600000115
得到式(3)所示的双层优化模型：
Figure FDA00027945667600000116
其中，
Figure FDA00027945667600000117
是待求三维图像张量；
Figure FDA00027945667600000118
是待求正交投影基矩阵；
Figure FDA00027945667600000119
是投影辅助变量；Ω是元素位置指标集；
Figure FDA00027945667600000120
是投影算子，用于将输入张量向指标集Ω进行投影；
Figure FDA00027945667600000121
是图像在投影算子
Figure FDA00027945667600000122
作用下的受限观测图像样本；
Figure FDA00027945667600000123
是元素全为0的张量；
3)运用交替方向乘子法的迭代算法对式(3)进行求解，引入增广拉格朗日函数，表示为式(4)：
Figure FDA0002794566760000021
其中，
Figure FDA0002794566760000022
为增广拉格朗日函数；
Figure FDA0002794566760000023
是待更新的拉格朗日乘子，
Figure FDA0002794566760000024
是惩罚参数；
设算法当前点为
Figure FDA0002794566760000025
按以下步骤4)-8)更新变量；
4)更新图像依赖的投影矩阵Ωk+1；
采用构造梯度方向辅助曲线的方法更新关于Q的优化部分
Figure FDA0002794566760000026
5)更新待恢复图像数据
Figure FDA0002794566760000027
根据交替方向乘子法，通过式(11)更新
Figure FDA0002794566760000028
Figure FDA0002794566760000029
其中，Prox算子的定义为
Figure FDA00027945667600000210
6)更新辅助变量εk+1；
考虑到约束
Figure FDA00027945667600000211
采用投影法进行更新，表示为式(13)：
Figure FDA00027945667600000212
其中，ΩC是指标集Ω的补集，
Figure FDA00027945667600000213
为将指标集Ω处的元素置为0，其余位置保持不变；
7)采用对偶更新拉格朗日乘子
Figure FDA00027945667600000214
表示为式(14)；
Figure FDA00027945667600000215
8)更新惩罚参数μk+1；
选取一个惩罚参数上界μmax和膨胀系数ρ＞1，更新惩罚参数μk+1如下：
μk+1＝min{ρμk，μmax}. (8)
9)重复迭代步骤4)-步骤8)，直至算法收敛，输出待恢复的非平滑三维低秩图像χ∞；
通过上述步骤，实现基于流形优化的张量低秩模型MOTQN的非平滑三维图像补全。
2.如权利要求1所述基于流形优化的张量低秩模型MOTQN的非平滑三维图像补全方法，其特征是，步骤4)更新图像依赖的投影矩阵Qk+1,采用构造梯度方向辅助曲线的方法更新关于Q的优化部分
Figure RE-FDA0002913735320000031
包括如下操作：
4-1)对于关于Q的目标函数
Figure RE-FDA0002913735320000032
设
Figure RE-FDA0002913735320000033
令
Figure RE-FDA0002913735320000034
对
Figure RE-FDA0002913735320000035
的每个前切面G(i)进行SVD运算，得到
Figure RE-FDA00029137353200000319
引入辅助张量
Figure RE-FDA0002913735320000036
令其每个前切面矩阵
Figure RE-FDA00029137353200000320
取辅助变量
Figure RE-FDA0002913735320000037
为函数f(Q)在Qk处的梯度，其中X(3)，
Figure RE-FDA0002913735320000038
分别为三阶张量
Figure RE-FDA0002913735320000039
和
Figure RE-FDA00029137353200000310
沿着第三维度展开所得；
4-2)借助辅助矩阵A，构造一个Stiefel流形上沿梯度方向的测地曲线为式(5)：
Figure RE-FDA00029137353200000311
在式(5)中，τ是待定步长参数，τ的最优步长τ*应使f(Q(τ*))极小化，表示为式(6)：
Figure RE-FDA00029137353200000312
在式(6)中，g(τ)＝f(Q(τ))是关于τ的函数；ε是一用于保证τ*的选取足够小的给定参数，使得
Figure RE-FDA00029137353200000313
成立；
用
Figure RE-FDA00029137353200000314
化简g(τ)＝f(Q(τ))，表示为式(7)：
Figure RE-FDA00029137353200000315
4-3)将g(τ)在τ＝0处做泰勒展开，得到式(8)：
Figure RE-FDA00029137353200000316
Figure RE-FDA00029137353200000317
恒成立，得到最优步长τ*的选取，表示为式(9)：
Figure RE-FDA00029137353200000318
4-4)根据式(9)及一阶、二阶微分的定义，求得g′(0)和g″(0)，表示为式(10)：
Figure RE-FDA0002913735320000041
把式(9)求得的最优步长τ*代入式(5)，得到Qk+1＝Q(τ*)。
3.如权利要求1所述基于流形优化的张量低秩模型MOTQN的非平滑三维图像补全方法，其特征是，步骤5)式(5)中Prox算子的求解步骤如下：
5-1)令辅助张量
Figure FDA0002794566760000042
进行SVD分解得到张量
Figure FDA0002794566760000043
的每个前切面B(i)：
B(i)＝U(i)S(i)V(i)T. (15)
5-2)对于S(i)的每个对角线元素
Figure FDA0002794566760000044
更新为
Figure FDA0002794566760000045
5-3)令辅助张量
Figure FDA0002794566760000046
的每个前切面C(i)为C(i)＝U(i)S(i)V(i)T，其中S(i)的对角线元素为经过步骤5-2)更新之后所得；
5-4)取
Figure FDA0002794566760000047
作为Prox算子的解。
4.如权利要求1所述基于流形优化的张量低秩模型MOTQN的非平滑三维图像补全方法，其特征是，步骤1)具体将数据集按序排列为三维图像数据张量
Figure FDA0002794566760000048
选取指标集Ω＝{(i，j，k)}，元素个数对应采样率p表示为式(16)：
Figure FDA0002794566760000049
运用投影算子
Figure FDA00027945667600000410
得到作为输入的受限的三维图片观测样本
Figure FDA00027945667600000411
5.如权利要求1所述基于流形优化的张量低秩模型MOTQN的非平滑三维图像补全方法，其特征是，具体将正交投影基矩阵
Figure FDA00027945667600000412
设置为一个可学习的图像依赖变量
Figure FDA00027945667600000413
并采用流形上的曲线构造进行优化。
CN202011326845.1A 2020-11-24 2020-11-24 基于流形优化的张量低秩模型非平滑三维图像补全方法 Active CN112465713B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011326845.1A CN112465713B (zh) 2020-11-24 2020-11-24 基于流形优化的张量低秩模型非平滑三维图像补全方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011326845.1A CN112465713B (zh) 2020-11-24 2020-11-24 基于流形优化的张量低秩模型非平滑三维图像补全方法

Publications (2)

Publication Number Publication Date
CN112465713A true CN112465713A (zh) 2021-03-09
CN112465713B CN112465713B (zh) 2022-07-01

Family

ID=74799095

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011326845.1A Active CN112465713B (zh) 2020-11-24 2020-11-24 基于流形优化的张量低秩模型非平滑三维图像补全方法

Country Status (1)

Country Link
CN (1) CN112465713B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113985853A (zh) * 2021-11-01 2022-01-28 浙江大学 一种基于数据依赖核判别分析的工业过程可视化监控方法
CN114742720A (zh) * 2022-03-16 2022-07-12 哈尔滨工业大学（深圳） 一种张量补全的方法、张量补全的装置、设备及存储介质
CN116450636A (zh) * 2023-06-20 2023-07-18 石家庄学院 基于低秩张量分解的物联网数据补全方法、设备及介质
CN118070407A (zh) * 2024-04-22 2024-05-24 江苏省建筑工程质量检测中心有限公司 基于图像处理的防火风管耐火极限模拟和优化设计方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105260995A (zh) * 2015-12-01 2016-01-20 苏州大学 一种图像修复与去噪方法及系统
CN110287819A (zh) * 2019-06-05 2019-09-27 大连大学 动态背景下基于低秩及稀疏分解的动目标检测方法
CN111598798A (zh) * 2020-04-27 2020-08-28 浙江工业大学 一种基于低秩张量链分解的图像修复方法
WO2020185383A1 (en) * 2019-03-14 2020-09-17 Interdigital Vc Holdings, Inc. A method and apparatus for encoding and rendering a 3d scene with inpainting patches

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105260995A (zh) * 2015-12-01 2016-01-20 苏州大学 一种图像修复与去噪方法及系统
WO2020185383A1 (en) * 2019-03-14 2020-09-17 Interdigital Vc Holdings, Inc. A method and apparatus for encoding and rendering a 3d scene with inpainting patches
CN110287819A (zh) * 2019-06-05 2019-09-27 大连大学 动态背景下基于低秩及稀疏分解的动目标检测方法
CN111598798A (zh) * 2020-04-27 2020-08-28 浙江工业大学 一种基于低秩张量链分解的图像修复方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HAO KONG等: "Tensor Q-Rank: A New Data Dependent Tensor Rank", 《ARXIV》 *
潘少华等: "低秩稀疏矩阵优化问题的模型与算法", 《运筹学学报》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113985853A (zh) * 2021-11-01 2022-01-28 浙江大学 一种基于数据依赖核判别分析的工业过程可视化监控方法
CN113985853B (zh) * 2021-11-01 2024-04-26 浙江大学 一种基于数据依赖核判别分析的工业过程可视化监控方法
CN114742720A (zh) * 2022-03-16 2022-07-12 哈尔滨工业大学（深圳） 一种张量补全的方法、张量补全的装置、设备及存储介质
CN114742720B (zh) * 2022-03-16 2023-03-14 哈尔滨工业大学（深圳） 一种张量补全的方法、张量补全的装置、设备及存储介质
CN116450636A (zh) * 2023-06-20 2023-07-18 石家庄学院 基于低秩张量分解的物联网数据补全方法、设备及介质
CN116450636B (zh) * 2023-06-20 2023-08-18 石家庄学院 基于低秩张量分解的物联网数据补全方法、设备及介质
CN118070407A (zh) * 2024-04-22 2024-05-24 江苏省建筑工程质量检测中心有限公司 基于图像处理的防火风管耐火极限模拟和优化设计方法

Also Published As

Publication number Publication date
CN112465713B (zh) 2022-07-01

Similar Documents

Publication Publication Date Title
CN112465713B (zh) 基于流形优化的张量低秩模型非平滑三维图像补全方法
Min et al. Fast global image smoothing based on weighted least squares
Duan et al. 3D point cloud denoising via deep neural network based local surface estimation
Rabin et al. Wasserstein regularization of imaging problem
CN103337060B (zh) 一种基于分数阶偏微分方程的纹理图像高精度去噪滤波器
Zuo et al. Residual dense network for intensity-guided depth map enhancement
CN113240596A (zh) 一种基于高阶张量奇异值分解的彩色视频恢复方法及系统
Greisen et al. Evaluation and FPGA implementation of sparse linear solvers for video processing applications
Zuo et al. Frequency-dependent depth map enhancement via iterative depth-guided affine transformation and intensity-guided refinement
Hauenstein et al. Adaptive strategies for solving parameterized systems using homotopy continuation
CN111325697B (zh) 一种基于张量本征变换的彩色图像修复方法
CN103427789A (zh) 一种基于分数阶计算方程的图书馆图文信息去噪滤波器
Wang et al. Joint depth map super-resolution method via deep hybrid-cross guidance filter
Jiang et al. Robust low tubal rank tensor completion via factor tensor norm minimization
Wei et al. A-ESRGAN: Training real-world blind super-resolution with attention U-Net Discriminators
CN112184547A (zh) 红外图像的超分辨率方法及计算机可读存储介质
Zhang et al. Tensor recovery based on a novel non-convex function minimax logarithmic concave penalty function
Zhou et al. Applications of fractional partial differential equations in image processing
Xu et al. Nonlocal B-spline representation of tensor decomposition for hyperspectral image inpainting
Wang et al. A tensor-based low-rank model for single-image rain streaks removal
CN112862684A (zh) 一种深度图超分辨率重建和去噪神经网络的数据处理方法
Xu et al. Depth map super-resolution via joint local gradient and nonlocal structural regularizations
Charina et al. Tight wavelet frames via semi-definite programming
CN116797456A (zh) 图像超分辨率重建方法、系统、设备和存储介质
Ghassab et al. Plug-and-play video super-resolution using edge-preserving filtering

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant