CN112991195A - 针对破损视频的α阶全变分约束的低秩张量补全方法 - Google Patents

针对破损视频的α阶全变分约束的低秩张量补全方法 Download PDF

Info

Publication number
CN112991195A
CN112991195A CN202110126123.XA CN202110126123A CN112991195A CN 112991195 A CN112991195 A CN 112991195A CN 202110126123 A CN202110126123 A CN 202110126123A CN 112991195 A CN112991195 A CN 112991195A
Authority
CN
China
Prior art keywords
tensor
dimensional
video
alpha
target functional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110126123.XA
Other languages
English (en)
Other versions
CN112991195B (zh
Inventor
杨秀红
薛怡
许�鹏
石程
金海燕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Technology
Original Assignee
Xian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Technology filed Critical Xian University of Technology
Priority to CN202110126123.XA priority Critical patent/CN112991195B/zh
Publication of CN112991195A publication Critical patent/CN112991195A/zh
Application granted granted Critical
Publication of CN112991195B publication Critical patent/CN112991195B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Generation (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了针对破损视频的α阶全变分约束的低秩张量补全方法，按照以下步骤实施：利用MATLAB将高丢失率的破损视频文件读入，将其处理为三维张量
Figure DDA0002923596860000011
将三维张量
Figure DDA0002923596860000012
沿着每一个模展开为二维矩阵，并对这些矩阵的边界进行正则化处理，得到零Dirichlit边界条件的二维矩阵；定义关于破损视频的张量补全的目标泛函,包括α阶全变分正则约束项和低秩约束项，这两项并不互相独立；为边界正则化的二维矩阵引入三个辅助矩阵，通过增广拉格朗日公式对目标泛函进行解耦、优化，并求解优化的目标泛函，通过不断迭代最终获得补全的三维视频张量；把在分数阶有界变分空间中的分数阶TV正则化项与低秩约束相结合进行张量修复，既能恢复全局信息，也能够恢复丢失的精细细节。

Description

针对破损视频的α阶全变分约束的低秩张量补全方法
技术领域
本发明属于数字图像处理技术领域，涉及针对破损视频的α阶全变分约 束的低秩张量补全方法。
背景技术
数字图像修复是指以不易察觉的方式重建图像中完全丢失/破损的部分 或去除不想要的目标物体的技术。近年来，随着数据采集技术的飞速发展， 社会生产生活中的许多领域采集到了大量的多通道视觉数据集，例如：RGB 图像、数字视频、多光谱以及高光谱图像等，其中，视频数据集的规模与数 量与日俱增，特别在日常生活中，数字视频占据着相当重要的位置。但是， 由于传输或者压缩等原因的影响，视频数据经常出现部分信息丢失或破损的 情况，当丢失率较高时严重影响其观看效果或是降低后续处理操作的精度， 例如：降低后续视频目标跟踪或目标分割的准确性。如何修复这些受损的多 通道视频数据成为当下亟需解决的问题，尤其是当丢失比率较高时，更是对 修复方法提出了更高的挑战。
视频数据拥有两个空间维度和一个时间维度，可将这种多通道数据看作 一个三维张量，采用张量分析的方法来处理受损的多维视频数据。张量是一 种二维矩阵的延伸，它提供了一种高效的表示多通道数据的数学方法。因此， 可以采用“张量补全”的方法来修复丢失的视频数据。
近年来，人们对这个问题进行了深入研究以解决多通道数据恢复问题。 在这些研究中，假设要修复的矩阵或张量是低秩的，在修复缺失的信息时， 设计合适的泛函模型并试图使张量数据的秩最小化。在已有的方法中，确定 矩阵秩已经被扩展并利用到低秩张量修复方法(Low-Rank Tensor Completion, LRTC)中，主要有两种方式：一是组建沿每个模式的展开矩阵秩的凸性组 合；二是使用CANDECOMP/PARAFAC(CP)分解或Tucker分解，同时试图 使分解后的因子是低秩的。
全变分(Total Variation,TV)范数，因其可以保留图像中的分段平滑特性 而成功地应用于许多图像处理领域。近些年来，TV约束已经被应用到矩阵 修复或张量补全问题中，并被用作低秩约束的补充性约束，以局部的分段光 滑特性为先验条件。为简单起见，将这类方法称为Low-Rank Tensor Completion with Total Variation(简写为：LRTV)。
大量的研究表明，与整数阶相比，分数阶微积分是一种更强大的数学方 法，它的拮抗特性产生了一种特殊的仿生视觉感受野模型，可以最大限度地 保留平滑区域的低频轮廓特征，同时在高变化的灰度区域非线性地保持高频 边缘特征，在灰度级差异不明显的区域，它还可以增强纹理细节。
已有的LRTV不足以利用张量的非局部和细粒度的结构信息来修复图 像，这将会导致在结构复杂和细粒度纹理区域出现边缘模糊和仿射细节丢失 等问题。
发明内容
本发明的目的是提供针对破损视频的α阶全变分约束的低秩张量补全方 法，能够利用张量补全的方式来完成高丢失率的破损视频修复。
本发明所采用的技术方案是，针对破损视频的α阶全变分约束的低秩张 量补全方法，具体按照以下步骤实施：
步骤1、利用MATLAB将高丢失率的破损视频文件读入，将其处理为 三维张量
Figure BDA0002923596840000031
将三维张量
Figure BDA0002923596840000032
沿着每一个模展开为二维矩阵；
步骤2、定义关于破损视频的张量补全的目标泛函，目标泛函包括α阶 全变分正则约束项和低秩约束项；
并对二维矩阵的边界进行正则化处理，得到零Dirichlit边界条件的二维 矩阵；
步骤3、为零Dirichlit边界条件的二维矩阵引入三个辅助矩阵作为目标 泛函变量，通过增广拉格朗日公式对目标泛函进行解耦、优化，并求解优化 的目标泛函，通过不断迭代最终获得补全的三维视频张量。
步骤2中定义关于破损视频的张量补全的目标泛函具体过程为：
定义关于破损视频的张量补全的目标泛函：
Figure BDA0002923596840000033
Figure BDA0002923596840000034
式(1)中，第一部分为α阶全变分正则化约束项，包括施加到张量
Figure BDA0002923596840000035
沿 着第一模和第二模展开的矩阵，即TVα约束，第二部分为低秩约束项，两项 不相互独立，其中参数βn的取值为0或1，表明是否在张量
Figure BDA0002923596840000036
的第n个模的展 开矩阵上施加TVα约束。
步骤2中对二维矩阵的边界进行正则化处理具体过程为：取α阶全变分 正则化约束项中第n模展开矩阵，展开矩阵的图像域为Ξn，以及张量
Figure BDA0002923596840000041
沿着 第n个模展开的二维矩阵Z(n)的亮度函数为
Figure BDA0002923596840000042
对亮度函数为
Figure BDA0002923596840000043
进行边界 正则化得到亮度函数
Figure BDA0002923596840000044
通过亮度函数
Figure BDA0002923596840000045
获得零Dirichlit边界 条件的二维矩阵。
对亮度函数为
Figure BDA0002923596840000046
进行边界正则化得到亮度函数
Figure BDA0002923596840000047
具体过程为：
通过图像域Ξn的内点(x，y)处亮度函数
Figure BDA0002923596840000048
得到四个角点的亮度
Figure BDA0002923596840000049
以及四个边缘亮度
Figure BDA00029235968400000410
Figure BDA00029235968400000411
引入两个辅助函数e1(x，y)和e2(x，y)来构造一个新的Dirichlet边界条件 为零的亮度函数
Figure BDA00029235968400000412
Figure BDA00029235968400000413
Figure BDA00029235968400000414
根据式(5)和式(6)可得式(7)和式(8)，
e1(x，y)＝a+(c-a)x+(b-a)y+(a+d-b-c)xy (7)
Figure BDA00029235968400000415
其中
Figure BDA0002923596840000051
同理可以计算出
Figure BDA0002923596840000052
和
Figure BDA0002923596840000053
根据式(6)可得边界调整后的亮度函数
Figure BDA0002923596840000054
步骤3具体过程为：
步骤3.1、为零Dirichlit边界条件的二维矩阵引入三个辅助矩阵
Figure BDA0002923596840000055
作为目标泛函变量，则目标泛函表示为：
Figure BDA0002923596840000056
Figure BDA0002923596840000057
Figure BDA0002923596840000058
其中，N表示三维张量的展开总模数，λ表示调整参数，Z(n)表示第n模 展开的二维矩阵，
Figure BDA0002923596840000059
表示初始的三维视频张量，初始时
Figure BDA00029235968400000510
步骤3.2、利用增广拉格朗日公式对目标泛函进行解耦，引入三个拉格 朗日乘子
Figure BDA00029235968400000511
和
Figure BDA00029235968400000515
以及增加收敛速度的调整参数
Figure BDA00029235968400000512
则混合目标泛函表示为：
Figure BDA00029235968400000513
Figure BDA00029235968400000514
初始化式(4)中
Figure BDA0002923596840000061
三个拉格朗日乘子以及三个辅助矩阵；
步骤3.3、定义图像域Ξn内点(xk，yl)沿着水平方向的α阶微分为：
Figure BDA0002923596840000062
式(9)中，取函数f的Dirichlet边界条件为零，k＝1,2,…X；l＝1,2…Y；
步骤3.4、根据式(9)计算α阶微分离散化的近似矩阵，计算公式为：
Figure BDA0002923596840000063
其中
Figure BDA0002923596840000064
即
Figure BDA0002923596840000065
Figure BDA0002923596840000066
且
Figure BDA0002923596840000067
通过式(10)对α阶微分进行有限差分离散化处理，同时根据Gerschgorin circle定理求解离散化形式
Figure BDA0002923596840000068
步骤3.5、分别计算更新
Figure BDA0002923596840000071
并计算补全 三维破损张量，取计算补全三维破损张量次数为k＝1；
步骤3.6、计算更新拉格朗日乘子
Figure BDA0002923596840000072
和
Figure BDA0002923596840000073
以及ρ1， ρ2和ρ3，令k＝k+1；
步骤3.7、返回步骤3.4，设定张量补全次数阈值为K，判断k是否等于 K或者连续两次补全张量
Figure BDA0002923596840000074
的相对误差是否小于给定的值ε，若k＝K或连续 两次补全张量的相对误差小于给定的值ε，则停止迭代，输出补全后的三维 视频张量。
步骤3.5具体过程为：
令
Figure BDA0002923596840000075
根据公式(11)和公式(12)求解更新
Figure BDA0002923596840000076
Figure BDA0002923596840000077
Figure BDA0002923596840000078
通过公式(4)和公式(13)求解更新
Figure BDA0002923596840000079
Figure BDA00029235968400000710
根据公式(4)和公式(14)计算更新
Figure BDA00029235968400000711
Figure BDA00029235968400000712
Figure BDA0002923596840000081
根据公式(4)求解
Figure BDA0002923596840000082
同时根据公式(15)获得单次补全三维 视频张量
Figure BDA0002923596840000083
其中fold(·)为对张量
Figure BDA0002923596840000084
按模展开的逆运算；
Figure BDA0002923596840000085
同时，取计算补全三维破损张量次数为k＝1。
步骤3.6具体过程为：公式(16)和公式(17)计算更新拉格朗日乘子
Figure BDA0002923596840000086
和ρ1：
Figure BDA0002923596840000087
(ρ1)k+1＝μ(ρ1)k (17)
同理更新
Figure BDA0002923596840000088
ρ2和ρ3，同时更新已经迭代计算的次数， 令k＝k+1。
本发明针对破损视频的α阶全变分约束的低秩张量补全方法有益效果 是：
1)提出了一种具有非局部扩散性的分数阶空间正则方案，把在分数阶 有界变分空间中的分数阶TV正则化项与低秩约束相结合进行张量修复，既 能恢复全局信息，也因分数阶空间正则而能够恢复丢失的精细细节；
2)在修复损毁的张量数据前，将张量在各模下展开矩阵的非零Dirichlet 边界条件变为零，以此克服边界处的振荡现象；
3)采用了增强拉格朗日公式来优化求解所提出的混合目标泛函问题， 对于分数阶空间正则化的优化子问题，推导出非局部分数阶导数的近似矩阵 并应用于前两个模的展开矩阵中，从而能够高效求解所提出的凸泛函。
4)通过不断迭代求解所提混合模型的目标泛函来完成高丢失率破损视 频的修复工作。
附图说明
图1是本发明的全局流程图；
图2是本发明的求解目标泛函具体流程图；
图3(a)是本发明实施例中采用的原始suzie视频的第1帧图像；
图3(b)是本发明实施例中数据丢失率为95％的suzie视频第1帧图像；
图3(c)是本发明实施例中数据丢失率为95％的suzie视频第1帧图像 的修复结果图；
图4(a)是本发明实施例中采用的原始hall_qcif视频的第20帧图像；
图4(b)是本发明实施例中数据丢失率为75％的hall_qcif视频第20帧 图像；
图4(c)是本发明实施例中数据丢失率为75％的hall_qcif视频第20帧 图像的修复结果图。
具体实施方式
下面结合具体实施方式对本发明进行详细说明。
本发明针对破损视频的α阶全变分约束的低秩张量补全方法，如图1所 示，具体按照以下步骤实施：
步骤1、利用MATLAB将高丢失率的破损视频文件读入，将其处理为 三维张量
Figure BDA0002923596840000101
将三维张量
Figure BDA0002923596840000102
沿着每一个模展开为二维矩阵；
步骤2、定义关于破损视频的张量补全的目标泛函，目标泛函包括α阶 全变分正则约束项和低秩约束项；具体为：
定义关于破损视频的张量补全的目标泛函：
Figure BDA0002923596840000103
Figure BDA0002923596840000104
式(1)中，第一部分为α阶全变分正则化约束项，即TVα约束，两项不 相互独立，其中参数βn的取值为0或1，表明是否在张量
Figure BDA0002923596840000105
的第n模的展开矩 阵上施加TVα约束；第二部分为低秩约束项，矩阵的秩是通过该矩阵的核范 数来实现最优凸近似的；调整参数λ，它平衡了分数阶TV和低秩约束的权 重，这里λ＞0。
α阶全变分正则化约束项包括施加到张量
Figure BDA0002923596840000106
沿着第一模和第二模展开的 矩阵，因此，β1＝β2＝1，β3＝0，并且它们在每一个模下是相互独立的； 定义TVα约束表示为：
Figure BDA0002923596840000107
其中，
Figure BDA0002923596840000111
为α阶微分，Ξn∈R2是第n模展开矩阵的图像域，
Figure BDA0002923596840000112
为张量
Figure BDA0002923596840000113
沿着第n个模展开的二维矩阵Z(n)的亮度函数，设置n＝1，2是为了在前两个 模的展开矩阵中施加TVα约束。
取α阶全变分正则化约束项中第n模展开矩阵，展开矩阵的图像域为Ξn， 以及张量
Figure BDA0002923596840000114
沿着第n个模展开的二维矩阵Z(n)的亮度函数为
Figure BDA0002923596840000115
对亮度函数 为
Figure BDA0002923596840000116
进行边界正则化得到亮度函数
Figure BDA0002923596840000117
通过亮度函数
Figure BDA0002923596840000118
获得 零Dirichlit边界条件的二维矩阵。
对亮度函数为
Figure BDA0002923596840000119
进行边界正则化得到亮度函数
Figure BDA00029235968400001110
具体过程为：
通过图像域Ξn的内点(x，y)处亮度函数
Figure BDA00029235968400001111
得到四个角点的亮度
Figure BDA00029235968400001112
以及四个边缘亮度
Figure BDA00029235968400001113
Figure BDA00029235968400001114
引入两个辅助函数e1(x，y)和e2(x，y)来构造一个新的Dirichlet边界条件 为零的亮度函数
Figure BDA00029235968400001115
Figure BDA00029235968400001116
Figure BDA0002923596840000121
根据式(5)和式(6)可得式(7)和式(8)，
e1(x，y)＝a+(c-a)x+(b-a)y+(a+d-b-c)xy (7)
Figure BDA0002923596840000122
其中
Figure BDA0002923596840000123
同理可以计算出
Figure BDA0002923596840000124
和
Figure BDA0002923596840000125
根据式(6)可得边界调整后的亮度函数
Figure BDA0002923596840000126
该亮度函数
Figure BDA0002923596840000127
是为了防止在对第n模展开矩阵
Figure BDA0002923596840000128
施加TVα约束时产生边界振荡效应。
步骤3、具体过程为：
步骤3.1、为零Dirichlit边界条件的二维矩阵引入三个辅助矩阵
Figure BDA0002923596840000129
作为目标泛函变量，则目标泛函表示为：
Figure BDA00029235968400001210
Figure BDA00029235968400001211
Figure BDA00029235968400001212
其中，N表示三维张量的展开总模数，λ表示调整参数，Z(n)表示第n模 展开的二维矩阵，
Figure BDA00029235968400001213
表示初始的三维视频张量，初始时
Figure BDA00029235968400001214
步骤3.2、利用增广拉格朗日公式对目标泛函进行解耦，同时引入三个 拉格朗日乘子
Figure BDA0002923596840000131
和
Figure BDA0002923596840000132
以及增加收敛速度的调整参数
Figure BDA0002923596840000133
则混合目标泛函表示为：
Figure BDA0002923596840000134
Figure BDA0002923596840000135
初始化式(4)中
Figure BDA0002923596840000136
三个拉格朗日乘子以及三个辅助矩阵；
步骤3.3、定义图像域Ξn内点(xk，yl)沿着水平方向的α阶微分为：
Figure BDA0002923596840000137
式(9)中，取函数f的Dirichlet边界条件为零，k＝1,2,…X；l＝1,2…Y；
步骤3.4、根据式(9)计算α阶微分离散化的近似矩阵，计算公式为：
Figure BDA0002923596840000138
Figure BDA0002923596840000141
其中
Figure BDA0002923596840000142
即
Figure BDA0002923596840000143
Figure BDA0002923596840000144
且
Figure BDA0002923596840000145
通过式(10)对α阶微分进行有限差分离散化处理，同时根据Gerschgorin circle定理求解离散化形式
Figure BDA0002923596840000146
步骤3.5、分别计算更新
Figure BDA0002923596840000147
并计算补全 三维破损张量，取计算补全三维破损张量次数为k＝1；具体过程为：
令
Figure BDA0002923596840000148
根据公式(11)和公式(12)求解更新
Figure BDA0002923596840000149
Figure BDA00029235968400001410
Figure BDA00029235968400001411
通过公式(4)和公式(13)求解更新
Figure BDA00029235968400001412
Figure BDA00029235968400001413
根据公式(4)和公式(14)计算更新
Figure BDA00029235968400001414
Figure BDA00029235968400001415
Figure BDA0002923596840000151
根据公式(4)求解
Figure BDA0002923596840000152
同时根据公式(15)获得单次补全三维 视频张量
Figure BDA0002923596840000153
其中fold(·)为对张量
Figure BDA00029235968400001511
按模展开的逆运算；
Figure BDA0002923596840000154
同时，取计算补全三维破损张量次数为k＝1。
步骤3.6、计算更新拉格朗日乘子
Figure BDA0002923596840000155
和
Figure BDA0002923596840000156
以及ρ1， ρ2和ρ3，令k＝k+1；步骤3.6具体过程为：公式(16)和公式(17)计算更 新拉格朗日乘子
Figure BDA0002923596840000157
和ρ1：
Figure BDA0002923596840000158
(ρ1)k+1＝μ(ρ1)k (17)
同理更新
Figure BDA0002923596840000159
ρ2和ρ3，同时更新已经迭代计算的次数， 令k＝k+1。
步骤3.7、返回步骤3.4，设定张量补全次数阈值为K，判断k是否等于 K或者连续两次补全张量
Figure BDA00029235968400001510
的相对误差是否小于给定的值ε，若k＝K或连续 两次补全张量的相对误差小于给定的值ε，则停止迭代，输出补全后的三维 视频张量。
实施例
下面将利用YUV视频数据来说明本发明针对破损视频的α阶全变分约 束的低秩张量补全方法来进一步说明其效果：
本次实验数据来源于YUV视频序列，视频数据分别为suzie和hall_qcif。 将实验视频数据读入MATLAB中，采用了一些常用的4:2:0YUV格式的视 频测试序列，并选择前100帧作为实验数据，因此数据大小为176×144×100， 它们可以被视为一个三维张量。通过在实验视频数据的所有通道内随机屏蔽 掉一部分原始张量数据，利用剩余的像素点构成破损的三维张量
Figure BDA0002923596840000161
来补全 张量
Figure BDA0002923596840000162
其中实验视频的数据丢失率为95％和75％。同时将三维张量
Figure BDA0002923596840000163
沿着 每一个模展开为二维展开矩阵
Figure BDA0002923596840000164
这里N＝3，三个二维展开矩阵大 小分别为176×14400，144×17600以及100×25344。如图3(a)所示，是suzie 原始视频数据的第1帧图像，图3(b)是丢失率为95％的suzie视频第1帧 图像。针对图3(b)中视频图像设置必要的参数，令K＝2000，λ＝0.05， α＝1.8，以及μ＝1.5，ρ1＝ρ2＝ρ3＝1.25，相对误差ε＝10-6。同时初始 化三个拉格朗日乘子
Figure BDA0002923596840000165
和
Figure BDA0002923596840000166
求解出新的Dirichlet 边界条件为零的亮度函数
Figure BDA0002923596840000167
计算离散化的α阶微分
Figure BDA0002923596840000168
即
Figure BDA0002923596840000169
计算更新
Figure BDA00029235968400001610
和补全张量
Figure BDA00029235968400001611
计算更新
Figure BDA00029235968400001612
Figure BDA00029235968400001613
和
Figure BDA00029235968400001614
以及ρ1，ρ2和ρ3，令k＝k+1；当张量补全次数达到2000 次，或者连续两次张量补全的结果
Figure BDA0002923596840000171
时则张量补全结束，输出已 经修复的张量
Figure BDA0002923596840000172
结果如图3(c)所示。根据如图3(c)的图像与修复前或 者原始视频帧图像进行对比可知，视频修复前suzie帧1图像的峰值信噪比 为6.6465dB，而修复后该帧图像的峰值信噪比提高为23.8795dB，同时恢复 出了图像中丢失的主要信息，通过对比修复前后的视频帧能够证明本方法可 以有效修复高丢失率的破损视频，甚至在高达95％的丢失率下仍能恢复出丢 失的主要信息。
对数据丢失率为75％的hall_qcif破损视频进行修复，原始视频的第20 帧图像如图4(a)所示，数据丢失后的帧图像如图4(b)所示，经过上述 方法进行视频补全后，修复后的帧图像如图4(c)所示。根据图4(c)的 图像与修复前或者原始视频帧图像进行对比可知，修复前hall_qcif帧20图 像的峰值信噪比为4.6077dB，而修复后该帧图像的峰值信噪比提高为 31.4035dB，修复后的图像边缘结构和纹理细节都比较清晰，视觉效果得到 了很大的改善。综上所述，本方法对破损视频有很好的修复效果，细节和结 构的重建效果也非常优越。
通过上述方式，本发明针对破损视频的α阶全变分约束的低秩张量补全 方法，1、提出了一种具有非局部扩散性的分数阶空间正则方案，把在分数 阶有界变分空间中的分数阶TV正则化项与低秩约束相结合进行张量修复， 既能恢复全局信息，也因分数阶空间正则而能够恢复丢失的精细细节。因此， 本发明方法能够修复丢失比率较高的破损视频，甚至在95％的丢失比率下仍 能取得较好的修复性能。2、张量在不同的模下展开成为二维矩阵后，在计 算其分数阶导数时，不准确的边界条件将不可避免地导致边界附近的振荡假象。因此，设计适当的方案，在修复损毁的张量数据前，将张量在各模下展 开矩阵的非零Dirichlet边界条件变为零，以此克服边界处的振荡现象。3、 采用了增强拉格朗日公式来优化求解所提出的混合目标泛函问题，对于分数 阶空间正则化的优化子问题，推导出非局部分数阶导数的近似矩阵并应用于 前两个模的展开矩阵中，从而能够高效求解所提出的凸泛函。最后，通过不 断迭代求解所提混合模型的目标泛函来完成高丢失率破损视频的修复工作。

Claims (7)

1.针对破损视频的α阶全变分约束的低秩张量补全方法，其特征在于，具体按照以下步骤实施：
步骤1、利用MATLAB将高丢失率的破损视频文件读入，将其处理为三维张量
Figure FDA0002923596830000011
将三维张量
Figure FDA0002923596830000012
沿着每一个模展开为二维矩阵；
步骤2、定义关于破损视频的张量补全的目标泛函，目标泛函包括α阶全变分正则约束项和低秩约束项；
并对二维矩阵的边界进行正则化处理，得到零Dirichlit边界条件的二维矩阵；
步骤3、为零Dirichlit边界条件的二维矩阵引入三个辅助矩阵作为目标泛函变量，通过增广拉格朗日公式对目标泛函进行解耦、优化，并求解优化的目标泛函，通过不断迭代最终获得补全的三维视频张量。
2.根据权利要求1所述针对破损视频的α阶全变分约束的低秩张量补全方法，其特征在于，步骤2中所述定义关于破损视频的张量补全的目标泛函具体过程为：
定义关于破损视频的张量补全的目标泛函：
Figure FDA0002923596830000013
Figure FDA0002923596830000014
式(1)中，第一部分为α阶全变分正则化约束项，包括施加到张量
Figure FDA0002923596830000015
沿着第一模和第二模展开的矩阵，即TVα约束，第二部分为低秩约束项，两项不相互独立，其中参数βn的取值为0或1，表明是否在张量
Figure FDA0002923596830000021
的第n个模的展开矩阵上施加TVα约束。
3.根据权利要求1所述针对破损视频的α阶全变分约束的低秩张量补全方法，其特征在于，步骤2中所述对二维矩阵的边界进行正则化处理具体过程为：取α阶全变分正则化约束项中第n模展开矩阵，展开矩阵的图像域为Ξn，以及张量
Figure FDA0002923596830000022
沿着第n个模展开的二维矩阵Z(n)的亮度函数为z(n)，对亮度函数为z(n)进行边界正则化得到亮度函数
Figure FDA0002923596830000023
通过亮度函数
Figure FDA0002923596830000024
获得零Dirichlit边界条件的二维矩阵。
4.根据权利要求3所述针对破损视频的α阶全变分约束的低秩张量补全方法，其特征在于，所述对亮度函数为z(n)进行边界正则化得到亮度函数
Figure FDA0002923596830000025
具体过程为：
通过图像域Ξn的内点(x，y)处亮度函数z(n)得到四个角点的亮度z(n)(0，0)＝a，z(n)(0，1)＝b，z(n)(1，0)＝c，z(n)(1，1)＝d以及四个边缘亮度z(n)(0，y)＝a1(y)，z(n)(1，y)＝a2(y)，z(n)(x，0)＝b1(y)，z(n)(x，1)＝b2(y)；
引入两个辅助函数e1(x，y)和e2(x，y)来构造一个新的Dirichlet边界条件为零的亮度函数
Figure FDA0002923596830000031
Figure FDA0002923596830000032
Figure FDA0002923596830000033
根据式(5)和式(6)可得式(7)和式(8)，
e1(x，y)＝a+(c-a)x+(b-a)y+(a+d-b-c)xy (7)
Figure FDA0002923596830000034
其中
Figure FDA0002923596830000035
同理可以计算出
Figure FDA0002923596830000036
和
Figure FDA0002923596830000037
根据式(6)可得边界调整后的亮度函数
Figure FDA0002923596830000038
5.根据权利要求2所述针对破损视频的α阶全变分约束的低秩张量补全方法，其特征在于，步骤3具体过程为：
步骤3.1、为零Dirichlit边界条件的二维矩阵引入三个辅助矩阵
Figure FDA0002923596830000039
作为目标泛函变量，则目标泛函表示为：
Figure FDA00029235968300000310
Figure FDA00029235968300000311
Figure FDA00029235968300000312
其中，N表示三维张量的展开总模数，λ表示调整参数，Z(n)表示第n模展开的二维矩阵，
Figure FDA0002923596830000049
表示初始的三维视频张量，初始时
Figure FDA0002923596830000041
步骤3.2、利用增广拉格朗日公式对目标泛函进行解耦，同时引入三个拉格朗日乘子
Figure FDA0002923596830000042
和
Figure FDA0002923596830000043
以及增加收敛速度的调整参数
Figure FDA0002923596830000044
则混合目标泛函表示为：
Figure FDA0002923596830000045
Figure FDA0002923596830000046
初始化式(4)中
Figure FDA0002923596830000047
三个拉格朗日乘子以及三个辅助矩阵；
步骤3.3、定义图像域Ξn内点(xk，yl)沿着水平方向的α阶微分为：
Figure FDA0002923596830000048
式(9)中，取函数f的Dirichlet边界条件为零，k＝1，2，...X；l＝1，2...Y；
步骤3.4、根据式(9)计算α阶微分离散化的近似矩阵，计算公式为：
Figure FDA0002923596830000051
其中
Figure FDA0002923596830000052
即
Figure FDA0002923596830000053
Figure FDA0002923596830000054
且
Figure FDA0002923596830000055
通过式(10)对α阶微分进行有限差分离散化处理，同时根据Gerschgorin circle定理求解离散化形式
Figure FDA0002923596830000056
步骤3.5、分别计算更新
Figure FDA0002923596830000057
并计算补全三维破损张量，取计算补全三维破损张量次数为k＝1；
步骤3.6、计算更新拉格朗日乘子
Figure FDA0002923596830000058
和
Figure FDA0002923596830000059
以及ρ1，ρ2和ρ3，令k＝k+1；
步骤3.7、返回步骤3.4，设定张量补全次数阈值为K，判断k是否等于K或者连续两次补全张量
Figure FDA00029235968300000510
的相对误差是否小于给定的值ε，若k＝K或连续两次补全张量的相对误差小于给定的值ε，则停止迭代，输出补全后的三维视频张量。
6.根据权利要求4所述针对破损视频的α阶全变分约束的低秩张量补全方法，其特征在于，步骤3.5具体过程为：
令
Figure FDA0002923596830000061
根据公式(11)和公式(12)求解更新
Figure FDA0002923596830000062
Figure FDA0002923596830000063
Figure FDA0002923596830000064
通过公式(4)和公式(13)求解更新
Figure FDA0002923596830000065
Figure FDA0002923596830000066
根据公式(4)和公式(14)计算更新
Figure FDA0002923596830000067
Figure FDA0002923596830000068
根据公式(4)求解
Figure FDA0002923596830000069
同时根据公式(15)获得单次补全三维视频张量
Figure FDA00029235968300000611
其中fold(·)为对张量
Figure FDA00029235968300000612
按模展开的逆运算；
Figure FDA00029235968300000610
同时，取计算补全三维破损张量次数为k＝1。
7.根据权利要求3所述针对破损视频的α阶全变分约束的低秩张量补全方法，其特征在于，步骤3.6具体过程为：公式(16)和公式(17)计算更新拉格朗日乘子
Figure FDA0002923596830000071
和ρ1：
Figure FDA0002923596830000072
(ρ1)k+1＝μ(ρ1)k (17)
同理更新
Figure FDA0002923596830000073
ρ2和ρ3，同时更新已经迭代计算的次数，令k＝k+1。
CN202110126123.XA 2021-01-29 2021-01-29 针对破损视频的α阶全变分约束的低秩张量补全方法 Active CN112991195B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110126123.XA CN112991195B (zh) 2021-01-29 2021-01-29 针对破损视频的α阶全变分约束的低秩张量补全方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110126123.XA CN112991195B (zh) 2021-01-29 2021-01-29 针对破损视频的α阶全变分约束的低秩张量补全方法

Publications (2)

Publication Number Publication Date
CN112991195A true CN112991195A (zh) 2021-06-18
CN112991195B CN112991195B (zh) 2024-02-02

Family

ID=76345820

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110126123.XA Active CN112991195B (zh) 2021-01-29 2021-01-29 针对破损视频的α阶全变分约束的低秩张量补全方法

Country Status (1)

Country Link
CN (1) CN112991195B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113870130A (zh) * 2021-09-16 2021-12-31 西安理工大学 基于三维全变分和Tucker分解的低秩张量补全方法
CN114119426A (zh) * 2022-01-26 2022-03-01 之江实验室 非局部低秩转换域与全连接张量分解图像重构方法及装置
CN116912107A (zh) * 2023-06-13 2023-10-20 重庆市荣冠科技有限公司 一种基于dct的加权自适应张量数据补全方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130191425A1 (en) * 2012-01-20 2013-07-25 Fatih Porikli Method for Recovering Low-Rank Matrices and Subspaces from Data in High-Dimensional Matrices
CN109241491A (zh) * 2018-07-28 2019-01-18 天津大学 基于联合低秩和稀疏表示的张量结构性缺失填充方法
CN110298798A (zh) * 2019-06-20 2019-10-01 浙江工业大学 一种基于低秩张量补全与离散全变分的图像修复方法
CN111274525A (zh) * 2020-01-19 2020-06-12 东南大学 一种基于多线性增广拉格朗日乘子法的张量数据恢复方法
CN112069919A (zh) * 2020-08-17 2020-12-11 浙江工业大学 基于非凸低秩矩阵逼近和全变分正则化的高光谱图像去噪方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130191425A1 (en) * 2012-01-20 2013-07-25 Fatih Porikli Method for Recovering Low-Rank Matrices and Subspaces from Data in High-Dimensional Matrices
CN109241491A (zh) * 2018-07-28 2019-01-18 天津大学 基于联合低秩和稀疏表示的张量结构性缺失填充方法
CN110298798A (zh) * 2019-06-20 2019-10-01 浙江工业大学 一种基于低秩张量补全与离散全变分的图像修复方法
CN111274525A (zh) * 2020-01-19 2020-06-12 东南大学 一种基于多线性增广拉格朗日乘子法的张量数据恢复方法
CN112069919A (zh) * 2020-08-17 2020-12-11 浙江工业大学 基于非凸低秩矩阵逼近和全变分正则化的高光谱图像去噪方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘小花;唐贵进;: "基于张量低秩和TV正则化的图像超分辨率重建", 软件导刊, no. 12 *
陈代斌;杨晓梅;: "基于低秩张量恢复的视频块效应处理", 计算机科学, no. 09 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113870130A (zh) * 2021-09-16 2021-12-31 西安理工大学 基于三维全变分和Tucker分解的低秩张量补全方法
CN113870130B (zh) * 2021-09-16 2024-02-06 西安理工大学 基于三维全变分和Tucker分解的低秩张量补全方法
CN114119426A (zh) * 2022-01-26 2022-03-01 之江实验室 非局部低秩转换域与全连接张量分解图像重构方法及装置
CN116912107A (zh) * 2023-06-13 2023-10-20 重庆市荣冠科技有限公司 一种基于dct的加权自适应张量数据补全方法
CN116912107B (zh) * 2023-06-13 2024-04-16 万基泰科工集团数字城市科技有限公司 一种基于dct的加权自适应张量数据补全方法

Also Published As

Publication number Publication date
CN112991195B (zh) 2024-02-02

Similar Documents

Publication Publication Date Title
Zhuang et al. Bayesian retinex underwater image enhancement
CN112991195A (zh) 针对破损视频的α阶全变分约束的低秩张量补全方法
CN102326379B (zh) 从图像中去除模糊的方法
CN111028177A (zh) 一种基于边缘的深度学习图像去运动模糊方法
Yao et al. Occlusion-aware video temporal consistency
Liu et al. Single nighttime image dehazing based on unified variational decomposition model and multi-scale contrast enhancement
Shen et al. Convolutional neural pyramid for image processing
Al-Hashim et al. Retinex-Based Multiphase Algorithm for Low-Light Image Enhancement.
CN105787892A (zh) 一种基于机器学习的蒙特卡洛噪声去除方法
CN108460723B (zh) 基于邻域相似性的双边全变分图像超分辨率重建方法
Tsutsui et al. Halo artifacts reduction method for variational based realtime retinex image enhancement
Liu et al. Retinex based on exponent-type total variation scheme
Tan et al. High dynamic range imaging for dynamic scenes with large-scale motions and severe saturation
Xu et al. Degradation-aware dynamic fourier-based network for spectral compressive imaging
Liu et al. Joint dehazing and denoising for single nighttime image via multi-scale decomposition
Benalia et al. A nonlocal method for image shadow removal
Han et al. MPDNet: An underwater image deblurring framework with stepwise feature refinement module
Zhou et al. Supervised-unsupervised combined transformer for spectral compressive imaging reconstruction
Schirrmacher et al. Adaptive quantile sparse image (aquasi) prior for inverse imaging problems
Hesabi et al. A modified patch propagation-based image inpainting using patch sparsity
Takeda et al. Locally adaptive kernel regression for space-time super-resolution
Shirai et al. Adjoint Bilateral Filter and Its Application to Optimization-based Image Processing
Balla et al. A 4-channelled hazy image input generation and deep learning-based single image dehazing
He et al. Multi-scale fusion for image enhancement in shield tunneling: a combined MSRCR and CLAHE approach
Liu et al. Nonblind image deblurring based on bi-composition decomposition by local smoothness and nonlocal self-similarity priors

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant