CN111147863B - 基于张量的视频快照压缩成像恢复方法 - Google Patents

基于张量的视频快照压缩成像恢复方法 Download PDF

Info

Publication number
CN111147863B
CN111147863B CN201911389380.1A CN201911389380A CN111147863B CN 111147863 B CN111147863 B CN 111147863B CN 201911389380 A CN201911389380 A CN 201911389380A CN 111147863 B CN111147863 B CN 111147863B
Authority
CN
China
Prior art keywords
tensor
matrix
order
representing
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911389380.1A
Other languages
English (en)
Other versions
CN111147863A (zh
Inventor
孙岳
王军军
鲁卫军
李颖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201911389380.1A priority Critical patent/CN111147863B/zh
Publication of CN111147863A publication Critical patent/CN111147863A/zh
Application granted granted Critical
Publication of CN111147863B publication Critical patent/CN111147863B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/19—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/36—Scalability techniques involving formatting the layers as a function of picture distortion after decoding, e.g. signal-to-noise [SNR] scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/97—Matching pursuit coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种基于张量的视频快照压缩成像恢复方法，主要解决现有技术解码恢复视频质量差且耗时长的问题。其实现方案是：1)输入压缩数据帧和掩码张量；2)利用输入压缩数据帧，自适应计算压缩数据帧对应的噪声方差；3)根据1)和2)的结果，以非中心相似块张量的加权张量核范数作为约束，通过交替方向乘子法初步得到要恢复的目标图像；4)以非中心相似块矩阵的加权矩阵核范数作为约束，通过交替方向乘子法对初步得到的目标图像进行细节补全，最终获得要恢复的目标图像。本发明与现有技术相比，减少了运行时间，提高了图像恢复的精度，可用于高速压缩视频和高光谱压缩图像的解码。

Description

基于张量的视频快照压缩成像恢复方法
技术领域
本发明属于图像处理技术领域，更进一步涉及一种视频快照压缩成像恢复方法，可用于高速压缩视频和高光谱压缩图像的解码。
背景技术
视频快照压缩成像SCI是计算机视觉中的一个基本问题。压缩感知是一种从少量低维测量数据中获取和重建高维信号的强大技术。在压缩感知的启发下，各种计算成像系统应运而生。作为计算成像的一个重要分支,快照压缩成像成为今年来的研究热点。快照压缩成像SCI是一种利用现有的低维传感器捕获高维信号的技术，其中最主要的特点是多个图像帧被映射到单个测量帧中，然后使用一种解码器算法来重构所需的信号。
然而，现有的大多数解码方法重建的图像质量较差，限制了快照压缩成像的广泛应用。快照压缩感知是具有挑战性的问题，主要有以下原因：1)目前所有的解码方法将视频看作一系列矩阵，视频数据中的空-时关系没有被利用；2)目前较好的解码方法并不是对所有的视频恢复效果都好，不具备普适性；3)解码方法中的冗余块提取和矩阵奇异值分解耗费了大量的内存和运行时间。
现有的主流快照压缩成像恢复方法主要是利用视频的先验知识来恢复目标图像，如高斯混合模型GMM，全差分方法TV等，这些方法都是基于矩阵的方法来恢复目标图像的，不能很好的利用视频数据中的空-时关系，导致恢复的效果译码性能差或者无法解码出目标帧。其中Xin Yuan等人在文章Rank Minimization for Snapshot Compressive Imaging(IEEE Transactions on Pattern Analysis and Machine Intelligence(TPAMI)，2018.)中针对快照压缩成像恢复问题提出了一种有效的解压缩恢复方法，该方法将SCI压缩采样模型与视频非局部相似块的加权核范数结合，提出了SCI图像重建的联合模型，使用交替方向乘子法ADMM对SCI图像模型迭代优化得到目标图像，是目前处理SCI恢复图像最好的方法。然而，该方法并不能对所有的快照压缩数据都恢复出较为满意的结果，部分视频数据细节恢复效果较差，且冗余的块匹配和矩阵奇异值分解都会耗费较大的计算机内存和较长的运行时间。
发明内容
本发明的目的在于针对上述现有技术存在的不足，提出一种基于张量的两阶段自适应视频快照压缩成像恢复方法，以更好地恢复出目标图像的细节，并且缩短运行时间，快速有效地解码出目标视频帧。
为实现上述目的，本发明基于张量的视频快照压缩成像恢复方法，其技术步骤包括如下：
(1)输入压缩数据帧Y和掩码张量
Figure GDA00030235276600000216
其中，压缩数据帧
Figure GDA0003023527660000021
掩码张量
Figure GDA0003023527660000022
压缩数据帧
Figure GDA0003023527660000023
为F个连续视频帧的第f帧，1≤f≤F，作为三阶张量视频数据
Figure GDA0003023527660000024
的第f个正面切面，
Figure GDA0003023527660000025
为与第f帧视频
Figure GDA00030235276600000217
相对应的掩码矩阵，其为0和1构成的稀疏矩阵，作为三阶掩码张量
Figure GDA00030235276600000218
的第f个正面切面，n1和n2分别表示每一帧视频帧的长和宽，⊙表示基于元素的矩阵乘积，
Figure GDA0003023527660000026
为噪声；
(2)利用压缩数据帧Y和掩码张量
Figure GDA00030235276600000219
自适应计算压缩数据帧Y对应的噪声方差
Figure GDA0003023527660000027
(3)基于(1)中的压缩数据帧Y和掩码张量
Figure GDA00030235276600000220
以及(2)得到的噪声方差
Figure GDA0003023527660000028
利用非局部相似块张量恢复方法，计算三阶目标张量
Figure GDA00030235276600000221
的初步估计张量
Figure GDA0003023527660000029
3.1)利用非局部相似块张量，以加权张量核范数作为约束，得到交替方向乘子法框架下的增广拉格朗日目标函数
Figure GDA00030235276600000210
其中
Figure GDA00030235276600000222
为待恢复的目标张量，
Figure GDA00030235276600000224
为辅助张量，
Figure GDA00030235276600000223
为拉格朗日乘子张量；
3.2)初始化目标函数中的平衡参数η和惩罚因子ρ，初始化目标图像
Figure GDA00030235276600000211
辅助变量
Figure GDA00030235276600000212
和拉格朗日乘子张量
Figure GDA00030235276600000213
均为全零三阶张量，其中，全零三阶张量定义为张量元素均为0的三阶张量；
3.3)采用交替最小化方法对目标函数
Figure GDA00030235276600000214
中的辅助变量
Figure GDA00030235276600000226
目标张量
Figure GDA00030235276600000225
和拉格朗日乘子张量
Figure GDA00030235276600000227
进行交替迭代求解，得到对三阶目标张量视频数据
Figure GDA00030235276600000228
的初步估计张量
Figure GDA00030235276600000215
(4)基于视频数据
Figure GDA00030235276600000229
的初步估计
Figure GDA00030235276600000230
和掩码张量
Figure GDA00030235276600000231
利用非局部相似块矩阵恢复方法，得到对三阶目标张量视频数据
Figure GDA00030235276600000233
的细节补全后的最终估计张量
Figure GDA00030235276600000232
：
4.1)利用非局部相似块矩阵，以加权矩阵核范数作为约束，得到交替方向乘子法框架下的增广拉格朗日目标函数
Figure GDA0003023527660000031
其中
Figure GDA0003023527660000035
为待恢复的目标张量，
Figure GDA0003023527660000034
为辅助张量，
Figure GDA0003023527660000033
为拉格朗日乘子张量；
4.2)采用交替最小化方法对目标函数
Figure GDA0003023527660000032
中的辅助张量
Figure GDA0003023527660000037
目标张量
Figure GDA0003023527660000036
和拉格朗日乘子张量
Figure GDA00030235276600000310
进行交替迭代求解，得到对三阶目标张量视频数据
Figure GDA0003023527660000039
的最终估计张量
Figure GDA0003023527660000038
最终得到快照压缩恢复的图像。
本发明与现有技术相比具有以下优点：
第一，由于本发明在解决视频快照压缩成像恢复问题时采用块匹配的方法，将非局部相似块构建成一个三阶张量，可以有效的获得视频数据的空-时结构信息，即一个视频内以及跨视频帧间的结构信息，提高了视频快照压缩成像恢复的恢复精度。
第二，由于本发明利用非局部相似块构建成的三阶张量，以加权张量核范数作为约束，在张量的变换域进行迭代求解，来恢复被压缩的视频，在变换域进行处理使得我们的迭代求解具有更快的收敛性，提高了视频快照压缩成像恢复的处理速度。
第三，由于本发明在解决视频快照压缩成像恢复问题时采用两阶段的迭代译码求解过程，第一阶段以非局部相似块张量的加权张量核范数作为约束，通过交替方向乘子法初步得到要恢复的目标图像，第二阶段以非局部相似块矩阵的加权矩阵核范数作为约束，通过交替方向乘子法对初步得到的目标图像进行细节补全，从而使得本方法具有更快的收敛性和更高的恢复精度。
第四，由于本发明在解决视频快照压缩成像恢复问题时采用的是自适应计算输入压缩帧的噪声方差参数的方法，克服了现有技术必须多次手动设置噪声方差参数，并通过实验验证来寻找最优噪声方差的缺点，提高了算法实现的自适应性。
附图说明
图1是本发明的实现流程图；
图2是不同恢复方法在科比数据集上的视觉恢复效果图；
图3是不同恢复方法在交通数据集上的视觉恢复效果图；
图4是不同恢复方法在调制盘数据集上的视觉恢复效果图；
图5是不同恢复方法在三维球数据集上的视觉恢复效果图；
图6是不同恢复方法在锤子数据集上的视觉恢复效果图。
具体实施方式
下面结合附图对本发明的实施例和效果作详细描述。
本发明是一种基于张量的两阶段的自适应视频快照压缩成像恢复方法，通过两阶段的迭代译码过程实现快照压缩感知图像的恢复，第一阶段以非局部相似块张量的加权张量核范数作为约束，通过交替方向乘子法初步得到要恢复的目标图像，第二阶段以非局部相似块矩阵的加权矩阵核范数作为约束，通过交替方向乘子法对初步得到的目标图像进行细节补全，最终得到要恢复的视频数据。
参照图1，本实例的实现步骤如下。
步骤1，输入压缩数据帧Y和掩码张量
Figure GDA00030235276600000415
输入的掩码张量
Figure GDA0003023527660000041
为元素0和1组成的三阶稀疏张量，输入的压缩数据帧
Figure GDA0003023527660000042
表示为：
Figure GDA0003023527660000043
其中，
Figure GDA0003023527660000044
为F个连续视频帧的第f帧，1≤f≤F，
Figure GDA0003023527660000045
是由0和1构成的稀疏矩阵，定义为掩码张量
Figure GDA00030235276600000416
的第f个正面切面，n1和n2分别表示每一帧视频帧的长和宽，⊙表示基于元素的矩阵乘积，
Figure GDA0003023527660000046
为噪声。
步骤2，利用压缩数据帧Y和掩码张量
Figure GDA00030235276600000417
自适应计算压缩数据帧Y对应的初始噪声方差
Figure GDA00030235276600000418
2.1)判断在处理压缩数据帧Y之前是否已处理过同类大小压缩数据帧
Figure GDA0003023527660000047
并已获得Y0的最优初始噪声方差
Figure GDA0003023527660000048
若是，则执行步骤2.2)，否则，执行步骤2.3)；
2.2)通过Y0的最优初始噪声方差
Figure GDA0003023527660000049
计算压缩数据帧Y对应的初始噪声方差
Figure GDA00030235276600000410
为：
Figure GDA00030235276600000411
其中，
Figure GDA00030235276600000412
Yij表示压缩数据帧
Figure GDA00030235276600000413
中第i行第j列的元素，Y0ij表示压缩数据帧
Figure GDA00030235276600000414
中第i行第j列的元素，1≤i≤n1，1≤j≤n2，n1和n2分别表示每一数据帧的长和宽，B＝αF，α表示三阶掩码张量
Figure GDA0003023527660000051
中元素1所占的百分比，0＜α＜1，F表示被压缩的视频帧数，
Figure GDA0003023527660000052
为已处理过的压缩数据帧Y0对应的最优初始噪声方差；
2.3)利用压缩数据帧Y，对其噪声方差
Figure GDA0003023527660000053
参数采用多次赋值测试，选择性能最好的赋值作为压缩数据帧Y的初始噪声方差
Figure GDA0003023527660000054
步骤3，基于压缩数据帧Y、掩码张量
Figure GDA00030235276600000521
和噪声方差
Figure GDA0003023527660000055
利用非局部相似块张量恢复方法，计算三阶目标张量视频数据
Figure GDA00030235276600000522
的初步估计张量
Figure GDA0003023527660000056
3.1)利用非局部相似块张量，以加权张量核范数作为约束，得到交替方向乘子法框架下的增广拉格朗日目标函数
Figure GDA0003023527660000057
为：
Figure GDA0003023527660000058
其中，
Figure GDA0003023527660000059
为目标张量，
Figure GDA00030235276600000510
为辅助张量，
Figure GDA00030235276600000511
为拉格朗日乘子张量，
Figure GDA00030235276600000512
表示由三阶张量
Figure GDA00030235276600000513
得到的N1个非局部相似块张量的第i个张量，1≤i≤N1，
Figure GDA00030235276600000514
表示从辅助张量
Figure GDA00030235276600000515
到尺寸为n1×n2的压缩帧的压缩映射操作，
Figure GDA00030235276600000516
为三阶辅助张量
Figure GDA00030235276600000523
的第f个正面切面，
Figure GDA00030235276600000517
为三阶掩码张量
Figure GDA00030235276600000518
的第f个掩码矩阵，其元素为0和1构成的稀疏矩阵，1≤f≤F，n1和n2分别表示每一视频帧的长和宽，F表示被压缩的视频帧数，⊙表示基于元素的矩阵乘积，||·||wt,*表示三阶张量的加权核范数，||·||F表示三阶张量的Frobenius范数，η为平衡目标函数函数
Figure GDA00030235276600000519
的第一项和第二项的参数，ρ为惩罚因子；
所述由三阶张量
Figure GDA00030235276600000520
得到的N1个非局部相似块张量的第i个三阶张量
Figure GDA00030235276600000524
1≤i≤N1，其求解步骤如下：
第一步，将三阶张量
Figure GDA00030235276600000525
划分为N1个重叠的中心块矩阵Bi，1≤i≤N1，每个中心块矩阵Bi的大小为d1×d2；
第二步，以每个中心块矩阵Bi，1≤i≤N1，为中心建立一个尺寸为L1×L2×T1的搜索窗，这里L1和L2表示一个视频帧内的空间上窗口的大小，T1表示跨视频帧时间上的窗口大小；
第三步，在搜索窗内找出每个中心块矩阵Bi的M1-1个非局部相似块矩阵，将每个中心块矩阵和其M1-1个非局部相似块矩阵按照正面切面排列得到三阶张量
Figure GDA0003023527660000061
1≤i≤N1，其中，三阶张量
Figure GDA00030235276600000626
的第一个正面切面
Figure GDA0003023527660000062
为其中心块矩阵Bi；
3.2)初始化目标函数中的平衡参数η和惩罚因子ρ，初始化目标图像
Figure GDA0003023527660000063
辅助变量
Figure GDA0003023527660000064
和拉格朗日乘子张量
Figure GDA0003023527660000065
均为全零三阶张量，其中，全零三阶张量定义为张量元素均为0的三阶张量；
3.3)采用交替最小化方法对目标函数
Figure GDA0003023527660000066
中的辅助张量
Figure GDA0003023527660000067
目标张量
Figure GDA0003023527660000068
和拉格朗日乘子张量
Figure GDA0003023527660000069
进行交替迭代求解，得到对三阶目标张量视频数据
Figure GDA00030235276600000627
的初步估计张量
Figure GDA00030235276600000610
具体实现如下：
3.3.1)固定目标张量
Figure GDA00030235276600000628
为
Figure GDA00030235276600000611
拉格朗日乘子张量
Figure GDA00030235276600000629
为
Figure GDA00030235276600000612
将步骤3.1)中的目标函数变为以下关于辅助变量
Figure GDA00030235276600000630
的目标函数
Figure GDA00030235276600000613
Figure GDA00030235276600000614
其中，
Figure GDA00030235276600000631
为第k-1轮迭代求解得到的目标张量
Figure GDA00030235276600000633
第k-1轮迭代求解得到的拉格朗日乘子张量
Figure GDA00030235276600000616
1≤k≤K1，K1为得到三阶目标张量视频数据
Figure GDA00030235276600000632
的初步估计张量
Figure GDA00030235276600000617
所需的最大迭代次数；
3.3.2)按照目标目标函数
Figure GDA00030235276600000618
最小原则求辅助变量
Figure GDA00030235276600000634
得到第k轮迭代的辅助变量
Figure GDA00030235276600000619
Figure GDA00030235276600000620
具体求解方法参见“Rank Minimization for Snapshot Compressive Imaging”(Yang Liu,Xin Yuan，IEEE Transactions on Pattern Analysis and MachineIntelligence(TPAMI)，2018.)；
3.3.3)根据3.3.2)得到的辅助变量
Figure GDA00030235276600000621
第k-1轮迭代得到的拉格朗日乘子张量
Figure GDA00030235276600000635
和步骤3.1中的目标函数
Figure GDA00030235276600000622
求解目标张量
Figure GDA00030235276600000637
为第k轮迭代需要求解的目标张量
Figure GDA00030235276600000636
其求解过程为固定辅助变量
Figure GDA00030235276600000638
为
Figure GDA00030235276600000623
拉格朗日乘子张量
Figure GDA00030235276600000639
为
Figure GDA00030235276600000624
由目标函数求解目标张量
Figure GDA00030235276600000625
转化为以下最小化问题：
Figure GDA0003023527660000071
其中，
Figure GDA0003023527660000072
表示由三阶目标张量
Figure GDA00030235276600000724
得到的N1个非局部相似块张量的第i个张量，1≤i≤N1，
Figure GDA00030235276600000725
的构造方法见步骤3.1)，
Figure GDA0003023527660000073
表示由三阶张量
Figure GDA0003023527660000074
得到的N1个非局部相似块张量的第i个张量，1≤i≤N1，由三阶张量
Figure GDA0003023527660000075
构造相似块张量
Figure GDA00030235276600000726
的方法与构造相似块三阶张量
Figure GDA00030235276600000727
的方法相同；
3.3.4)对每个相似块张量
Figure GDA00030235276600000728
1≤i≤N1，进行张量奇异值分解
Figure GDA0003023527660000076
其中，张量
Figure GDA0003023527660000077
其中为相似块张量
Figure GDA00030235276600000729
的奇异值对角张量，
Figure GDA0003023527660000078
和
Figure GDA0003023527660000079
为两个正交张量，
Figure GDA00030235276600000710
表示
Figure GDA00030235276600000730
的共轭转置，·表示两个张量的t-积，对于任意两个三阶张量
Figure GDA00030235276600000711
和
Figure GDA00030235276600000712
其t-积为：
Figure GDA00030235276600000713
定义三阶张量
Figure GDA00030235276600000731
第q行第w列的元素为：
Figure GDA00030235276600000714
其中，
Figure GDA00030235276600000715
表示管向量
Figure GDA00030235276600000732
和
Figure GDA00030235276600000733
的循环卷积；
3.3.5)将每个相似块张量
Figure GDA00030235276600000734
的奇异值对角张量
Figure GDA00030235276600000735
1≤i≤N1，沿着其第三维进行傅里叶变换，并对傅里叶变换后的张量进行块对角化操作，得到奇异值对角张量
Figure GDA00030235276600000736
的频域块对角化矩阵
Figure GDA00030235276600000716
3.3.6)将每个奇异值对角张量
Figure GDA00030235276600000717
的频域块对角化矩阵
Figure GDA00030235276600000718
向量化为向量形式
Figure GDA00030235276600000719
1≤i≤N1，对向量ei进行软判决操作，得到估计向量
Figure GDA00030235276600000720
估计向量
Figure GDA00030235276600000738
的第p个元素为
Figure GDA00030235276600000737
为：
Figure GDA00030235276600000721
其中，
Figure GDA00030235276600000722
表示软判决函数，其数学表达式为：
Figure GDA00030235276600000723
其中，eip表示向量ei的第p个元素，1≤p≤d1M1d2M1，
Figure GDA0003023527660000081
为与eip对应的阈值，常量ε＝10-6，
Figure GDA00030235276600000822
为步骤2所求噪声方差，d1、d2和M1分别为3.1)所述非局部相似块矩阵的行、列和个数；
3.3.7)将每个估计向量
Figure GDA0003023527660000082
依次进行反对角化和反傅里叶变换，得到估计张量
Figure GDA0003023527660000083
为：
Figure GDA0003023527660000084
其中，
Figure GDA0003023527660000085
和
Figure GDA0003023527660000086
是3.3.4)所述相似块张量
Figure GDA0003023527660000087
进行张量奇异值分解得到的两个正交张量，
Figure GDA0003023527660000088
为估计向量
Figure GDA0003023527660000089
依次进行反对角化和反傅里叶变换得到的估计张量；
3.3.8)利用N1个相似块估计张量
Figure GDA00030235276600000810
进行重构得到第k轮迭代的目标张量
Figure GDA00030235276600000811
3.3.9)更新辅助变量
Figure GDA00030235276600000812
Figure GDA00030235276600000813
其中，
Figure GDA00030235276600000823
为第k轮迭代求解得到的目标张量
Figure GDA00030235276600000814
为第k轮迭代求解得到的辅助变量
Figure GDA00030235276600000815
为第k-1轮迭代求解得到的拉格朗日乘子张量
Figure GDA00030235276600000824
；
3.3.10)令k＝k+1，迭代执行上述步骤3.3.1)-3.3.9)，直到迭代次数k等于得到初步估计所需的最大迭代次数，即k＝K1，将
Figure GDA00030235276600000825
作为三阶张量视频数据
Figure GDA00030235276600000826
的初步估计
Figure GDA00030235276600000816
步骤4，基于视频数据
Figure GDA00030235276600000827
的初步估计张量
Figure GDA00030235276600000817
和掩码张量
Figure GDA00030235276600000828
，利用非局部相似块矩阵恢复方法，得到对三阶目标张量视频数据
Figure GDA00030235276600000830
的最终估计张量
Figure GDA00030235276600000829
。
4.1)利用非局部相似块矩阵，以加权矩阵核范数作为约束，得到交替方向乘子法框架下的增广拉格朗日目标函数为：
Figure GDA00030235276600000818
其中,
Figure GDA00030235276600000819
为目标张量，
Figure GDA00030235276600000820
为拉格朗日乘子张量，
Figure GDA00030235276600000821
为辅助变量，η为平衡目标函数
Figure GDA0003023527660000091
的第一项和第二项的参数，ρ为惩罚项因子，||·||w,*表示矩阵的加权核范数，||·||F表示三阶张量的Frobenius范数，Ah表示由三阶张量
Figure GDA0003023527660000092
构成的第h个非局部相似块矩阵，1≤h≤N2，
Figure GDA0003023527660000093
表示从三阶张量
Figure GDA0003023527660000094
到尺寸为n1×n2的压缩帧的压缩映射操作，
Figure GDA0003023527660000095
为三阶张量
Figure GDA0003023527660000096
的第f个正面切面，
Figure GDA0003023527660000097
为三阶掩码张量
Figure GDA0003023527660000098
的第f个掩码矩阵，其元素为0和1构成的稀疏矩阵，1≤f≤F，n1和n2分别表示每一视频帧的长和宽，F表示被压缩的连续视频帧数，⊙表示基于元素的矩阵乘积；
所述由三阶目标张量
Figure GDA0003023527660000099
得到的N2个非局部相似块矩阵的第h个矩阵Ah，通过如下步骤求解：
第一步，将三阶张量
Figure GDA00030235276600000910
分为N2个重叠的大小为d3×d4中心块，每个中心块用列向量ah∈d3d4表示，1≤h≤N2；
第二步，以每个中心块向量ah，1≤h≤N2，为中心建立一个尺寸为L3×L4×T2的搜索窗，其中，L3×L4表示一个视频帧内的空间上的窗口大小，T2表示跨视频帧时间上的窗口大小；
第三步，在搜索窗内找出每个中心块向量ah的M2-1个非局部相似块，将每个中心块向量和其M2-1个非局部相似块按列排列得到相似块矩阵
Figure GDA00030235276600000911
1≤h≤N2，其中，相似块矩阵Ah的第一列为其中心块向量ah。
4.2)采用交替最小化方法对目标函数
Figure GDA00030235276600000912
中的辅助张量
Figure GDA00030235276600000913
目标张量
Figure GDA00030235276600000919
和拉格朗日乘子张量
Figure GDA00030235276600000921
进行交替迭代求解，得到对三阶目标张量
Figure GDA00030235276600000920
的最终估计张量
Figure GDA00030235276600000914
具体实现如下：
4.2.1)固定目标张量
Figure GDA00030235276600000923
为
Figure GDA00030235276600000915
拉格朗日乘子张量
Figure GDA00030235276600000922
为
Figure GDA00030235276600000916
将步骤4.1)中的目标函数变为以下关于辅助变量
Figure GDA00030235276600000924
的目标函数
Figure GDA00030235276600000917
Figure GDA00030235276600000918
其中，
Figure GDA0003023527660000101
为第k-1次迭代求解得到的目标张量
Figure GDA0003023527660000102
为第k-1轮迭代求解得到的拉格朗日乘子张量
Figure GDA00030235276600001031
K1+1≤k≤K2，K1为初步估计所需的最大迭代次数，K2为总的最大迭代次数；
4.2.2)按照目标函数
Figure GDA0003023527660000103
最小原则求辅助变量
Figure GDA0003023527660000104
得到第k轮迭代的辅助变量
Figure GDA0003023527660000105
Figure GDA0003023527660000106
具体求解方法参见“Rank Minimization for Snapshot Compressive Imaging”(Yang Liu,Xin Yuan，IEEE Transactions on Pattern Analysis and MachineIntelligence(TPAMI)，2018.)；
4.2.3)根据4.2.2)得到的辅助变量
Figure GDA0003023527660000107
第k-1轮得到的拉格朗日乘子张量
Figure GDA0003023527660000108
和4.1)中的目标函数
Figure GDA0003023527660000109
求解目标张量
Figure GDA00030235276600001010
为第k轮迭代需要求解的目标张量
Figure GDA00030235276600001011
其求解过程为固定辅助变量
Figure GDA00030235276600001012
为
Figure GDA00030235276600001013
拉格朗日乘子张量
Figure GDA00030235276600001014
为
Figure GDA00030235276600001015
由目标函数求解目标张量
Figure GDA00030235276600001016
转化为以下最小化问题：
Figure GDA00030235276600001017
4.2.4)由三阶张量
Figure GDA00030235276600001018
构造N2个非局部相似块矩阵
Figure GDA00030235276600001019
1≤h≤N2，由
Figure GDA00030235276600001020
构造非局部相似块矩阵Rh的方法与目标张量
Figure GDA00030235276600001021
构造相似块矩阵Ah的方法相同，见步骤4.1)；
4.2.5)对每个相似块矩阵Rh，1≤h≤N2，进行矩阵奇异值分解Rh＝UhΣhVh T，得到相似块矩阵Rh的奇异值对角矩阵
Figure GDA00030235276600001022
其中，
Figure GDA00030235276600001023
和
Figure GDA00030235276600001024
为两个正交矩阵，
Figure GDA00030235276600001025
表示Vh的共轭转置；
4.2.6)对每个相似块矩阵Rh的奇异值对角矩阵Σh，1≤h≤N2，进行软判决操作得到与相似块矩阵对应的估计矩阵
Figure GDA00030235276600001026
Figure GDA00030235276600001027
其中，
Figure GDA00030235276600001028
和
Figure GDA00030235276600001029
为4.2.5)所述矩阵Rh奇异值分解得到的两个正交矩阵，
Figure GDA00030235276600001030
表示对奇异值对角矩阵Σh进行软判决得到的矩阵，其第j个主对角元素为Sw(Σh)jj：
Sw(Σh)jj＝max(Σhjj-wj,0)，1≤j≤min(d3d4,M2)，
其中，Σhjj表示奇异值对角矩阵
Figure GDA0003023527660000111
的第j个主对角元素，
Figure GDA0003023527660000112
为第j个阈值，σj(Ah)为相似块矩阵Ah的第j个奇异值，0≤j≤min(d3d4,M2)，常量ε为10-6，M2为相似块矩阵的个数；
4.2.7)利用N2个估计矩阵
Figure GDA0003023527660000113
1≤h≤N2，进行重构得到第k轮迭代的目标张量
Figure GDA0003023527660000114
4.2.8)更新辅助变量
Figure GDA0003023527660000115
Figure GDA0003023527660000116
其中，
Figure GDA0003023527660000117
为第k轮迭代求解得到的目标张量
Figure GDA0003023527660000118
为第k轮迭代求解得到的辅助变量
Figure GDA0003023527660000119
为第k-1轮迭代求解得到的拉格朗日乘子张量
Figure GDA00030235276600001110
4.2.9)令k＝k+1，迭代执行上述步骤4.2.1)-4.2.8)，直到迭代次数k达到总的最大迭代次数K2，即k＝K2，得到目标张量视频数据
Figure GDA00030235276600001111
的最终估计
Figure GDA00030235276600001112
最终得到快照压缩恢复的图像。
本发明的效果可通过以下仿真结果进一步说明：
一.仿真条件
本发明仿真使用的数据分为合成数据集和真实数据集，其中：
合成数据集，包括科比数据集、交通数据集、奔跑者数据集和水滴数据集。
真实数据集，是采用专用设备拍摄的高速视频数据，其包括调制盘数据集、三维球数据集、锤子数据集，由于是真实数据集，所以这三组视频数据没有真实的原始图像。
本实验所使用的合成数据集的尺寸n1×n2×F为256×256×8，所使用的调制盘数据集的尺寸为256×256×14，三维球数据集和锤子数据集尺寸为512×512×22，步骤3.1)非局部相似块个数设置为M1＝40，搜索窗尺寸参数L1×L2×T1设置为20×20×8，步骤4.1)非局部相似块个数设置为M2＝40，搜索窗尺寸参数L3×L4×T2设置为20×20×8，平衡参数η设置为1，惩罚因子ρ设置为10-6，步骤3中初步估计张量时的最大迭代次数K1设置为60，步骤4中总的最大迭代次数K2设置为180。
仿真中使用的现有的视频快照压缩成像恢复方法，包括基于高斯混合模型的两种解码方法GMM-TP和MMLE-GMM、基于全差分的解码方法GAP-TV、基于低秩矩阵的解码方法DeSCI。
本方法与上述现有的GMM-TP、MMLE-GMM、GAP-TV、DeSCI恢复方法进行了性能对比。
二.仿真内容与结果分析
仿真1，用本发明和上述现有的GMM-TP、MMLE-GMM、GAP-TV、DeSCI恢复方法在科比数据集上进行的视觉恢复仿真，结果如图2，其中：
图2(a)是未压缩的原始数据集，
图2(b)是用GMM-TP方法恢复的视觉效果图，
图2(c)是用MMLE-MFA方法恢复的视觉效果图，
图2(d)是用GAP-TV方法恢复的视觉效果图，
图2(e)是用DeSCI方法恢复的视觉效果图，
图2(f)为本发明方法恢复的视觉效果图，
从图2中可以看出，本发明方法恢复视觉效果均比其他几种方法好，且结果最为准确。
仿真2，用本发明和上述现有的GMM-TP、MMLE-GMM、GAP-TV、DeSCI恢复方法在交通数据集上进行的视觉恢复仿真，结果如图3，其中：
图3(a)是未压缩的原始数据集，
图3(b)是用GMM-TV方法恢复的视觉效果图，
图3(c)是用MMLE-MFA方法恢复的视觉效果图，
图3(d)是用GAP-TV方法恢复的视觉效果图，
图3(e)是用DeSCI方法恢复的视觉效果图，
图3(f)为用本发明恢复的视觉效果图，
从图3可以看出，本发明恢复的视觉效果更好。
仿真3，用本发明和上述现有的GAP-TV、DeSCI恢复方法在调制盘数据集上进行的视觉恢复仿真，结果如图4，其中：
图4(a)是用GAP-TV方法恢复的视觉效果图，
图4(b)是用DeSCI方法恢复的视觉效果图，
图4(c)为本发明恢复的视觉效果图，
从图4可以看出，本发明的方法与其他两种恢复方法相比恢复图像更加清晰，效果更好。
仿真4，用本发明和上述现有的GAP-TV、DeSCI恢复方法在三维球数据集上进行的视觉恢复仿真，结果如图5，其中：
图5(a)是用GAP-TV方法恢复的视觉效果图，
图5(b)是用DeSCI方法恢复的视觉效果图，
图5(c)为本发明恢复的视觉效果图，
从图5可以看出，本发明法与其他两种恢复方法相比，恢复图像更加清晰，效果更好。
仿真5，用本发明和上述现有的GAP-TV、DeSCI恢复方法在锤子数据集上进行的视觉恢复仿真，结果如图6，其中：
图6(a)是用GAP-TV方法恢复的视觉效果图，
图6(b)是用DeSCI方法恢复的视觉效果图，
图6(c)为本发明恢复的视觉效果图，
从图6仿真结果可以看出，本发明的恢复效果最好。
将本发明与上述现有的GMM-TP、MMLE-GMM、GAP-TV、DeSCI恢复方法恢复的四个合成数据集的峰值信噪比PSNR和结构相似性SSIM值进行比较，结果见表1。
表1
Figure GDA0003023527660000131
从表1可以看出，本发明方法在合成数据集上的恢复结果与其他恢复方法定量比较，恢复效果更好，与目前最好的DeSCI方法相比，平均PSNR值提高了1.3dB，平均SSIM值提高了0.013，并且针对交通数据集上的恢复，本发明是唯一PSNR值超过30dB的方法，其中，针对每个数据集最好的恢复结果用黑体标明。
将本发明与上述现有的DeSCI恢复方法恢复的四个合成数据集的运行时间进行比较，单位为秒，结果见表2。
表2
科比数据集 交通数据集 奔跑者数据集 水滴数据集
DeSCI 15486 18037 19160 19195
本发明 3401 3535 3424 3467
从表2可以看出，本发明方法与DeSCI方法相比，运行速度提高了5倍，由此可以看出本发明方法可以更加有效地恢复出目标视频，实现更好的效果。
综上所述，本发明解决了之前方法都是基于矩阵模型，恢复的图像质量差，且浪费运行内存和时间的问题，可以有效地利用视频各帧之间的空-时关系，恢复结果精度更高，且运行时间更短。

Claims (2)

1.一种基于张量的视频快照压缩成像恢复方法，其特征在于，包括如下：
(1)输入压缩数据帧Y和掩码张量
Figure FDA0003023527650000011
其中，压缩数据帧
Figure FDA0003023527650000012
掩码张量
Figure FDA0003023527650000013
压缩数据帧
Figure FDA0003023527650000014
为F个连续视频帧的第f帧，1≤f≤F，作为三阶张量视频数据
Figure FDA0003023527650000015
的第f个正面切面，
Figure FDA0003023527650000016
为与第f帧视频
Figure FDA0003023527650000017
相对应的掩码矩阵，其为0和1构成的稀疏矩阵，作为三阶掩码张量
Figure FDA0003023527650000018
的第f个正面切面，n1和n2分别表示每一帧视频帧的长和宽，⊙表示基于元素的矩阵乘积，
Figure FDA0003023527650000019
为噪声；
(2)利用压缩数据帧Y和掩码张量
Figure FDA00030235276500000110
自适应计算压缩数据帧Y对应的噪声方差
Figure FDA00030235276500000111
(3)基于(1)中的压缩数据帧Y和掩码张量c以及(2)得到的噪声方差
Figure FDA00030235276500000112
利用非局部相似块张量恢复方法，计算三阶目标张量
Figure FDA00030235276500000113
的初步估计张量
Figure FDA00030235276500000114
3a)利用非局部相似块张量，以加权张量核范数作为约束，得到交替方向乘子法框架下的增广拉格朗日目标函数
Figure FDA00030235276500000115
其中
Figure FDA00030235276500000116
为待恢复的目标张量，
Figure FDA00030235276500000117
为辅助张量，
Figure FDA00030235276500000118
为拉格朗日乘子张量；增广拉格朗日目标函数
Figure FDA00030235276500000119
表示如下：
Figure FDA00030235276500000120
其中，
Figure FDA00030235276500000121
为目标张量，
Figure FDA00030235276500000122
为辅助张量，
Figure FDA00030235276500000123
为拉格朗日乘子张量，
Figure FDA00030235276500000124
表示由三阶张量
Figure FDA00030235276500000125
得到的N1个非局部相似块张量的第i个张量，1≤i≤N1，
Figure FDA00030235276500000126
表示从辅助张量
Figure FDA00030235276500000127
到尺寸为n1×n2的压缩帧的压缩映射操作，
Figure FDA00030235276500000128
为三阶辅助张量
Figure FDA00030235276500000129
的第f个正面切面，
Figure FDA00030235276500000130
为三阶掩码张量
Figure FDA00030235276500000131
的第f个掩码矩阵，其元素为0和1构成的稀疏矩阵，1≤f≤F，n1和n2分别表示每一视频帧的长和宽，F表示被压缩的视频帧数，⊙表示基于元素的矩阵乘积，||·||wt,*表示三阶张量的加权核范数，||·||F表示三阶张量的Frobenius范数，η为平衡目标函数函数
Figure FDA0003023527650000021
的第一项和第二项的参数，ρ为惩罚因子；
由三阶张量
Figure FDA0003023527650000022
得到的N1个非局部相似块张量的第i个三阶张量
Figure FDA0003023527650000023
通过如下步骤求解：
第一步，将三阶张量χ划分为N1个重叠的中心块矩阵Bi，1≤i≤N1，每个中心块矩阵Bi的大小为d1×d2；
第二步，以每个中心块矩阵Bi，1≤i≤N1，为中心建立一个尺寸为L1×L2×T1的搜索窗，这里L1和L2表示一个视频帧内的空间上窗口的大小，T1表示跨视频帧时间上的窗口大小；
第三步，在搜索窗内找出每个中心块矩阵Bi的M1-1个非局部相似块矩阵，将每个中心块矩阵和其M1-1个非局部相似块矩阵按照正面切面排列得到三阶张量
Figure FDA0003023527650000024
1≤i≤N1，其中，三阶张量
Figure FDA0003023527650000025
的第一个正面切面
Figure FDA0003023527650000026
为其中心块矩阵Bi；
3b)初始化目标函数中的平衡参数η和惩罚因子ρ，初始化目标图像
Figure FDA0003023527650000027
辅助变量
Figure FDA0003023527650000028
和拉格朗日乘子张量
Figure FDA0003023527650000029
均为全零三阶张量，其中，全零三阶张量定义为张量元素均为0的三阶张量；
3c)采用交替最小化方法对目标函数
Figure FDA00030235276500000210
中的辅助变量
Figure FDA00030235276500000211
目标张量
Figure FDA00030235276500000212
和拉格朗日乘子张量
Figure FDA00030235276500000213
进行交替迭代求解，得到对三阶目标张量视频数据
Figure FDA00030235276500000214
的初步估计张量
Figure FDA00030235276500000215
具体实现如下：
3c1)固定目标张量
Figure FDA00030235276500000216
为
Figure FDA00030235276500000217
拉格朗日乘子张量
Figure FDA00030235276500000218
为
Figure FDA00030235276500000219
将步骤3a)中的目标函数变为以下关于辅助变量
Figure FDA00030235276500000220
的目标函数
Figure FDA00030235276500000221
Figure FDA00030235276500000222
其中，
Figure FDA00030235276500000223
为第k-1轮迭代求解得到的目标张量
Figure FDA00030235276500000224
Figure FDA00030235276500000230
第k-1轮迭代求解得到的拉格朗日乘子张量
Figure FDA00030235276500000225
K1为得到三阶目标张量视频数据
Figure FDA00030235276500000226
的初步估计张量
Figure FDA00030235276500000227
所需的最大迭代次数，
Figure FDA00030235276500000228
表示从辅助张量
Figure FDA00030235276500000229
到尺寸为n1×n2的压缩帧的压缩映射操作，n1和n2分别表示每一帧视频帧的长和宽，||·||F表示三阶张量的Frobenius范数，ρ为惩罚因子；
3c2)按照目标目标函数
Figure FDA0003023527650000031
最小原则求辅助变量
Figure FDA0003023527650000032
得到第k轮迭代的辅助变量
Figure FDA0003023527650000033
Figure FDA0003023527650000034
3c3)固定辅助变量
Figure FDA0003023527650000035
为3c2)得到的
Figure FDA0003023527650000036
拉格朗日乘子张量
Figure FDA0003023527650000037
为第k-1轮迭代得到的
Figure FDA0003023527650000038
将步骤3a)中的目标函数求解目标张量
Figure FDA0003023527650000039
转化为以下最小化问题：
Figure FDA00030235276500000310
其中，
Figure FDA00030235276500000311
表示由三阶目标张量
Figure FDA00030235276500000312
得到的N1个非局部相似块张量的第i个张量，1≤i≤N1，
Figure FDA00030235276500000313
表示由三阶张量
Figure FDA00030235276500000314
得到的N1个非局部相似块张量的第i个张量，1≤i≤N1，由三阶张量
Figure FDA00030235276500000315
构造相似块张量
Figure FDA00030235276500000316
的方法与构造相似块三阶张量
Figure FDA00030235276500000317
的方法相同，||·||wt,*表示三阶张量的加权核范数；
3c4)对每个相似块张量
Figure FDA00030235276500000318
进行张量奇异值分解
Figure FDA00030235276500000319
其中，张量
Figure FDA00030235276500000320
其中为相似块张量
Figure FDA00030235276500000321
的奇异值对角张量，
Figure FDA00030235276500000322
和
Figure FDA00030235276500000323
为两个正交张量，
Figure FDA00030235276500000324
表示
Figure FDA00030235276500000325
的共轭转置，·表示两个张量的t-积，对于任意两个三阶张量
Figure FDA00030235276500000326
和
Figure FDA00030235276500000327
其t-积为：
Figure FDA00030235276500000328
定义三阶张量
Figure FDA00030235276500000329
第q行第w列的元素为：
Figure FDA00030235276500000330
其中，
Figure FDA00030235276500000331
表示管向量
Figure FDA00030235276500000332
和
Figure FDA00030235276500000333
的循环卷积；
3c5)将相似块张量
Figure FDA00030235276500000334
的奇异值对角张量
Figure FDA00030235276500000335
沿着其第三维进行傅里叶变换，并对傅里叶变换后的张量进行块对角化操作，得到奇异值对角张量
Figure FDA00030235276500000336
的频域块对角化矩阵
Figure FDA00030235276500000337
3c6)将每个奇异值对角张量
Figure FDA00030235276500000338
的频域块对角化矩阵
Figure FDA00030235276500000339
向量化为向量形式
Figure FDA00030235276500000340
Figure FDA00030235276500000341
对向量ei进行软判决操作，得到估计向量
Figure FDA00030235276500000342
估计向量
Figure FDA00030235276500000343
的第p个元素为
Figure FDA00030235276500000344
为：
Figure FDA0003023527650000041
其中，
Figure FDA0003023527650000042
表示软判决函数，其数学表达式为：
Figure FDA0003023527650000043
其中，eip表示向量ei的第p个元素，1≤p≤d1M1d2M1，
Figure FDA0003023527650000044
为与eip对应的阈值，常量ε＝10-6，
Figure FDA0003023527650000045
为步骤2所求噪声方差，d1、d2和M1分别为非局部相似块矩阵的行、列和个数；
3c7)将每个估计向量
Figure FDA0003023527650000046
依次进行反对角化和反傅里叶变换，得到估计张量
Figure FDA0003023527650000047
为：
Figure FDA0003023527650000048
其中，
Figure FDA0003023527650000049
和
Figure FDA00030235276500000410
是相似块张量
Figure FDA00030235276500000411
进行张量奇异值分解得到的两个正交张量，
Figure FDA00030235276500000412
为估计向量
Figure FDA00030235276500000413
依次进行反对角化和反傅里叶变换得到的估计张量；
3c8)利用N1个相似块估计张量
Figure FDA00030235276500000414
进行重构得到第k轮迭代的目标张量
Figure FDA00030235276500000415
3c9)更新辅助变量
Figure FDA00030235276500000416
Figure FDA00030235276500000417
其中，
Figure FDA00030235276500000418
第k轮迭代求解得到的目标张量
Figure FDA00030235276500000419
Figure FDA00030235276500000436
为第k轮迭代求解得到的辅助变量
Figure FDA00030235276500000420
Figure FDA00030235276500000421
为第k-1轮迭代求解得到的拉格朗日乘子张量
Figure FDA00030235276500000422
3c10)令k＝k+1，迭代执行上述步骤3c1)-3c9)，直到迭代次数k等于得到初步估计所需的最大迭代次数，即k＝K1，将
Figure FDA00030235276500000423
作为三阶张量视频数据
Figure FDA00030235276500000424
的初步估计
Figure FDA00030235276500000425
(4)基于视频数据
Figure FDA00030235276500000426
的初步估计
Figure FDA00030235276500000427
和掩码张量
Figure FDA00030235276500000428
利用非局部相似块矩阵恢复方法，得到对三阶目标张量视频数据
Figure FDA00030235276500000429
的细节补全后的最终估计张量
Figure FDA00030235276500000430
4a)利用非局部相似块矩阵，以加权矩阵核范数作为约束，得到交替方向乘子法框架下的增广拉格朗日目标函数
Figure FDA00030235276500000431
其中
Figure FDA00030235276500000432
为待恢复的目标张量，
Figure FDA00030235276500000433
为辅助张量，
Figure FDA00030235276500000434
为拉格朗日乘子张量；增广拉格朗日目标函数
Figure FDA00030235276500000435
表示如下：
Figure FDA0003023527650000051
其中,
Figure FDA0003023527650000052
为目标张量，
Figure FDA0003023527650000053
为拉格朗日乘子张量，
Figure FDA0003023527650000054
为辅助变量，η为平衡目标函数
Figure FDA0003023527650000055
的第一项和第二项的参数，ρ为惩罚项因子，||·||w,*表示矩阵的加权核范数，||·||F表示三阶张量的Frobenius范数，Ah表示由三阶张量
Figure FDA0003023527650000056
构成的第h个非局部相似块矩阵，1≤h≤N2，
Figure FDA0003023527650000057
表示从三阶张量
Figure FDA0003023527650000058
到尺寸为n1×n2的压缩帧的压缩映射操作，
Figure FDA0003023527650000059
为三阶张量
Figure FDA00030235276500000510
的第f个正面切面，
Figure FDA00030235276500000511
为三阶掩码张量
Figure FDA00030235276500000512
的第f个掩码矩阵，其元素为0和1构成的稀疏矩阵，1≤f≤F，n1和n2分别表示每一视频帧的长和宽，F表示被压缩的连续视频帧数，⊙表示基于元素的矩阵乘积；由三阶目标张量
Figure FDA00030235276500000513
得到的N2个非局部相似块矩阵的第h个矩阵Ah，通过如下步骤求解：
第一步，将三阶张量
Figure FDA00030235276500000514
分为N2个重叠的大小为d3×d4中心块，每个中心块用列向量ah∈d3d4表示，1≤h≤N2；
第二步，以每个中心块向量ah，1≤h≤N2，为中心建立一个尺寸为L3×L4×T2的搜索窗，其中，L3×L4表示一个视频帧内的空间上窗口大小，T2表示跨视频帧时间上的窗口大小；
第三步，在搜索窗内找出每个中心块向量ah的M2-1个非局部相似块，将每个中心块向量和其M2-1个非局部相似块按列排列得到相似块矩阵
Figure FDA00030235276500000515
其中，相似块矩阵Ah的第一列为其中心块向量ah；
4b)采用交替最小化方法对目标函数
Figure FDA00030235276500000516
中的辅助张量
Figure FDA00030235276500000517
目标张量
Figure FDA00030235276500000518
和拉格朗日乘子张量
Figure FDA00030235276500000519
进行交替迭代求解，得到对三阶目标张量视频数据
Figure FDA00030235276500000520
的最终估计张量
Figure FDA00030235276500000521
最终得到快照压缩恢复的图像，具体实现如下：
4b1)固定目标张量
Figure FDA00030235276500000522
为
Figure FDA00030235276500000523
拉格朗日乘子张量
Figure FDA00030235276500000524
为
Figure FDA00030235276500000525
将步骤4a)中的目标函数变为以下关于辅助变量
Figure FDA00030235276500000526
的目标函数
Figure FDA00030235276500000527
Figure FDA0003023527650000061
其中，
Figure FDA0003023527650000062
为第k-1次迭代求解得到的目标张量
Figure FDA0003023527650000063
Figure FDA0003023527650000064
为第k-1轮迭代求解得到的拉格朗日乘子张量
Figure FDA0003023527650000065
K1+1≤k≤K2，K1为初步估计所需的最大迭代次数，K2为总的最大迭代次数，ρ为惩罚项因子，||·||F表示三阶张量的Frobenius范数，
Figure FDA0003023527650000066
表示从三阶张量
Figure FDA0003023527650000067
到尺寸为n1×n2的压缩帧的压缩映射操作，n1和n2分别表示每一视频帧的长和宽；
4b2)按照目标函数
Figure FDA0003023527650000068
最小原则求辅助变量
Figure FDA0003023527650000069
得到第k轮迭代的辅助变量
Figure FDA00030235276500000610
Figure FDA00030235276500000611
4b3)根据4b2)得到的辅助变量
Figure FDA00030235276500000612
第k-1轮得到的拉格朗日乘子张量
Figure FDA00030235276500000613
和4a)中的目标函数
Figure FDA00030235276500000614
求解目标张量
Figure FDA00030235276500000615
Figure FDA00030235276500000616
为第k轮迭代需要求解的目标张量
Figure FDA00030235276500000617
其求解过程为固定辅助变量
Figure FDA00030235276500000618
为
Figure FDA00030235276500000619
拉格朗日乘子张量
Figure FDA00030235276500000620
为
Figure FDA00030235276500000621
由目标函数求解目标张量
Figure FDA00030235276500000622
转化为以下最小化问题：
Figure FDA00030235276500000623
其中，
Figure FDA00030235276500000624
表示矩阵的加权核范数，η为平衡参数；
4b4)由三阶张量
Figure FDA00030235276500000625
构造N2个非局部相似块矩阵
Figure FDA00030235276500000626
由
Figure FDA00030235276500000627
构造非局部相似块矩阵Rh的方法与目标张量
Figure FDA00030235276500000628
构造相似块矩阵Ah的方法相同；
4b5)对每个相似块矩阵Rh，1≤h≤N2，进行矩阵奇异值分解
Figure FDA00030235276500000635
得到相似块矩阵Rh的奇异值对角矩阵
Figure FDA00030235276500000629
其中，
Figure FDA00030235276500000630
和
Figure FDA00030235276500000631
为两个正交矩阵，
Figure FDA00030235276500000632
表示Vh的共轭转置；
4b6)对每个相似块矩阵Rh的奇异值对角矩阵Σh，1≤h≤N2，进行软判决操作得到与相似块矩阵对应的估计矩阵
Figure FDA00030235276500000633
Figure FDA00030235276500000634
其中，
Figure FDA0003023527650000071
和
Figure FDA0003023527650000072
为4b5)所述矩阵Rh奇异值分解得到的两个正交矩阵，
Figure FDA0003023527650000073
表示对奇异值对角矩阵Σh进行软判决得到的矩阵，其第j个主对角元素为Sw(Σh)jj：
Sw(Σh)jj＝max(Σhjj-wj,0)，1≤j≤min(d3d4,M2)，
其中，Σhjj表示奇异值对角矩阵
Figure FDA0003023527650000074
的第j个主对角元素，
Figure FDA0003023527650000075
为第j个阈值，σj(Ah)为相似块矩阵Ah的第j个奇异值，0≤j≤min(d3d4,M2)，常量ε为10-6，M2为相似块矩阵的个数；
4b7)利用N2个估计矩阵
Figure FDA0003023527650000076
进行重构得到第k轮迭代的目标张量
Figure FDA0003023527650000077
4b8)更新辅助变量
Figure FDA0003023527650000078
Figure FDA0003023527650000079
其中，
Figure FDA00030235276500000710
第k轮迭代求解得到的目标张量
Figure FDA00030235276500000711
Figure FDA00030235276500000712
为第k轮迭代求解得到的辅助变量
Figure FDA00030235276500000713
Figure FDA00030235276500000714
为第k-1轮迭代求解得到的拉格朗日乘子张量
Figure FDA00030235276500000715
4b9)令k＝k+1，迭代执行上述步骤4b1)-4b8)，直到迭代次数k达到总的最大迭代次数K2，即k＝K2，得到目标张量视频数据
Figure FDA00030235276500000716
的最终估计
Figure FDA00030235276500000717
最终得到快照压缩恢复的图像。
2.根据权利要求1所述的方法，其特征在于，(2)中利用压缩数据帧Y和掩码张量
Figure FDA00030235276500000718
自适应计算压缩数据帧Y对应的噪声方差
Figure FDA00030235276500000719
具体实现如下：
第一步，判断在处理压缩数据帧Y之前是否已处理过同类大小压缩数据帧
Figure FDA00030235276500000720
并已获得Y0的最优初始噪声方差
Figure FDA00030235276500000721
若是，执行第二步，否则，执行第三步；
第二步，通过Y0的最优初始噪声方差
Figure FDA00030235276500000722
计算压缩数据帧Y对应的初始噪声方差
Figure FDA00030235276500000723
为：
Figure FDA00030235276500000724
其中，
Figure FDA00030235276500000725
Yij表示压缩数据帧
Figure FDA0003023527650000081
中第i行第j列的元素，Y0ij表示压缩数据帧
Figure FDA0003023527650000082
中第i行第j列的元素，1≤i≤n1，1≤j≤n2，n1和n2分别表示每一数据帧的长和宽，B＝αF，α表示三阶掩码张量
Figure FDA0003023527650000083
中元素1所占的百分比，0＜α＜1，F表示被压缩的视频帧数，
Figure FDA0003023527650000084
为已处理过的压缩数据帧Y0对应的最优初始噪声方差；
第三步，利用压缩数据帧Y，对其噪声方差
Figure FDA0003023527650000085
参数采用多次赋值测试，选择性能最好的赋值作为压缩数据帧Y的初始噪声方差
Figure FDA0003023527650000086
CN201911389380.1A 2019-12-30 2019-12-30 基于张量的视频快照压缩成像恢复方法 Active CN111147863B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911389380.1A CN111147863B (zh) 2019-12-30 2019-12-30 基于张量的视频快照压缩成像恢复方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911389380.1A CN111147863B (zh) 2019-12-30 2019-12-30 基于张量的视频快照压缩成像恢复方法

Publications (2)

Publication Number Publication Date
CN111147863A CN111147863A (zh) 2020-05-12
CN111147863B true CN111147863B (zh) 2021-06-08

Family

ID=70521544

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911389380.1A Active CN111147863B (zh) 2019-12-30 2019-12-30 基于张量的视频快照压缩成像恢复方法

Country Status (1)

Country Link
CN (1) CN111147863B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115791628A (zh) * 2021-09-10 2023-03-14 北京与光科技有限公司 光谱恢复方法、光谱恢复装置和电子设备
CN114302150B (zh) * 2021-12-30 2024-02-27 北京超维景生物科技有限公司 视频编码方法及装置、视频解码方法及装置、电子设备
CN117273287B (zh) * 2023-11-23 2024-03-08 山东科技大学 一种基于张量-矩阵耦合的地铁客流量预测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104063852A (zh) * 2014-07-07 2014-09-24 温州大学 一种基于指数化核范数与混合奇异值截断的张量恢复方法
CN108876884A (zh) * 2018-06-21 2018-11-23 汕头大学 一种基于非局部的张量低秩正则化的高光谱图像重建方法
CN110139046A (zh) * 2019-05-05 2019-08-16 西安电子科技大学 一种基于张量的视频帧合成方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7902825B2 (en) * 2008-05-19 2011-03-08 The Board Of Trustees Of The Leland Stanford Junior University Motion corrected tensor magnetic resonance imaging
WO2015042873A1 (en) * 2013-09-27 2015-04-02 Google Inc. Decomposition techniques for multi-dimensional data

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104063852A (zh) * 2014-07-07 2014-09-24 温州大学 一种基于指数化核范数与混合奇异值截断的张量恢复方法
CN108876884A (zh) * 2018-06-21 2018-11-23 汕头大学 一种基于非局部的张量低秩正则化的高光谱图像重建方法
CN110139046A (zh) * 2019-05-05 2019-08-16 西安电子科技大学 一种基于张量的视频帧合成方法

Also Published As

Publication number Publication date
CN111147863A (zh) 2020-05-12

Similar Documents

Publication Publication Date Title
CN111147863B (zh) 基于张量的视频快照压缩成像恢复方法
CN113177882B (zh) 一种基于扩散模型的单帧图像超分辨处理方法
CN111626245B (zh) 一种基于视频关键帧的人体行为识别方法
CN106952317B (zh) 基于结构稀疏的高光谱图像重建方法
CN109671029B (zh) 基于伽马范数最小化的图像去噪方法
CN110751612A (zh) 多通道多尺度卷积神经网络的单幅图像去雨方法
CN111598786B (zh) 一种基于深度去噪自编码网络的高光谱图像解混方法
CN104732566B (zh) 基于非分离稀疏先验的高光谱图像压缩感知方法
CN114998167B (zh) 一种基于空间-光谱联合低秩的高光谱与多光谱图像融合方法
CN106504204A (zh) 一种基于稀疏表示的单幅图像去雨方法
CN107292855B (zh) 一种结合自适应非局部样本和低秩的图像去噪方法
Zou et al. A nonlocal low-rank regularization method for fractal image coding
CN110097499B (zh) 基于谱混合核高斯过程回归的单帧图像超分辨率重建方法
Huang et al. Deep gaussian scale mixture prior for image reconstruction
CN112967210B (zh) 一种基于全卷积孪生网络的无人机图像去噪方法
CN106960225B (zh) 一种基于低秩监督的稀疏图像分类方法
CN112784747A (zh) 高光谱遥感图像多尺度本征分解方法
CN117291850A (zh) 一种基于可学习低秩表示的红外偏振图像融合增强方法
CN108596831B (zh) 一种基于AdaBoost实例回归的超分辨率重建方法
Seghouane et al. RBDL: Robust block-Structured dictionary learning for block sparse representation
Zhang et al. Kronecker component with robust low-rank dictionary for image denoising
CN110266318B (zh) 一种在压缩感知信号重建中基于梯度投影算法的测量矩阵优化方法
Liu et al. Image Inpainting Algorithm Based on KSVD and Improved CDD
CN117095208B (zh) 一种面向光电吊舱侦察图像的轻量化场景分类方法
Cai et al. Image restoration with group sparse representation and low‐rank group residual learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant