CN110650340A - 一种时空复用的压缩视频成像方法 - Google Patents

一种时空复用的压缩视频成像方法 Download PDF

Info

Publication number
CN110650340A
CN110650340A CN201910336500.5A CN201910336500A CN110650340A CN 110650340 A CN110650340 A CN 110650340A CN 201910336500 A CN201910336500 A CN 201910336500A CN 110650340 A CN110650340 A CN 110650340A
Authority
CN
China
Prior art keywords
matrix
dimensional
video
image
dictionary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910336500.5A
Other languages
English (en)
Other versions
CN110650340B (zh
Inventor
宋云
章登勇
汤强
邓泽林
熊闽
傅闻京
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changsha University of Science and Technology
Original Assignee
Changsha University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changsha University of Science and Technology filed Critical Changsha University of Science and Technology
Priority to CN201910336500.5A priority Critical patent/CN110650340B/zh
Publication of CN110650340A publication Critical patent/CN110650340A/zh
Application granted granted Critical
Publication of CN110650340B publication Critical patent/CN110650340B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/28Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/19Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/513Sparse representations

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明涉及一种时空复用的压缩视频成像方法,在成像系统中采用空间和时间复用压缩感知模块先后对光学信号进行调制,实现三维随机线性投影。从输入的三维信号的三个切面对信号进行解析表示,获得信号与系数沿各个维度的拉伸矩阵,通过三维张量的解析字典学习的共稀疏优化模型,对解析字典进行学习,得到图像帧的解析稀疏表示字典和视频信号的时间稀疏表示特征。通过时空复用的压缩视频成像方法,重建视频信号。根据视频重建的优化模型,重建一个初始视频估计,然后应用增广拉格朗日方法和应用变量替换将多约束的优化问题分解为多个子问题,最终采用交替方向方法求解,完成图像的重建。由于融合视频信号时空非局部相似性和其它结构化特性,构建视频信号互独立的多先验约束重建优化目标函数,降低解的自由度,引导优化问题的解趋向视频信号的固有特性。

Description

一种时空复用的压缩视频成像方法
技术领域
本发明涉及一种时空复用的压缩视频成像方法。
背景技术
压缩感知(Compressed Sensing,CS)是近些年出现的一种信号采样新理论。它提出:当信号具有稀疏性或者可压缩性时,可以用远低于Nyquist采样定理要求的频率获取信号的全部信息。压缩成像(Compressed Imaging,CI)是一种基于压缩感知理论的计算成像技术。它通过在成像系统中集成压缩感知模块,对原始信号进行欠采样成像,并利用图像信号的稀疏特性,采用计算技术从很少的采样测量离线重构原始图像。压缩成像将数据压缩结合到信号采样过程,从根本上降低了成像光电系统所需获取的数据量,有效地压缩了带宽,缓解了数据的存储和传输压力。同时,它的信号采样过程通过空间或者时间维度的随机线性投影实现了采样测量的空间复用(Spatial Multiplexing)或者时间复用(TemporalMultiplexing)。空间复用和时间复用压缩成像分别将高维图像投影到少量测量或者将曝光时间内的多帧图像投影到一帧编码图像,使得成像分辨率不再完全与图像传感器数量和快门速率对应,突破了硬件对成像分辨率的限制。相同的硬件配置条件下,压缩成像系统可以比传统成像系统获取更高空、时分辨率的图像。
然而,当前的压缩成像系统都采用空间或者时间复用的压缩采样技术,只在空间或者时间单一维度上消除信息冗余,另一个维度并不进行采样压缩,成像分辨率仍然受到光电器件的制约。并且传统成像系统采用“先采样再压缩”的数据处理模式,在信息采集阶段为了提升图像的质量,去尽力获得更多的样本,然而在数据存储与传输时为了节省空间又需要丢弃尽量多的采样冗余,这样导致了资源的大量浪费。
压缩成像将数据压缩结合到信号采样过程,在信号采集阶段同时完成数据的压缩,从根本上降低了成像系统所需获取的数据量,缩成像的信号采样过程通过空间或者时间维度的随机线性投影,实现采样测量的空间复用(Spatial Multiplexing)或者时间复用(Temporal Multiplexing)。通过将高维图像投影到少量测量或者将曝光时间内的多帧图像投影到一帧编码图像,采样效率远高于传统成像系统,使得成像分辨率不再完全与图像传感器数量和快门速率对应,从而打破了光电元器件对成像分辨率的严格限制。
当前已提出的各种压缩成像方法都限于采用单一的空间或者时间复用的压缩采样技术,只在空间或者时间一个维度上消除信息冗余,另一个维度并没有进行采样压缩,成像分辨率仍然在一定程度上受到光电器件的制约。针对是否可以采用一种更为高效的方法,实现三维投影的时空复用压缩视频成像并进行高质量的信号恢复,从而在空间与时间两个维度上同时消除信息冗余,进一步突破硬件对成像分辨率的限制,通过在一次曝光时间内压缩采样多帧场景信号成像到一帧低维编码测量,实现在时、空两个维度上同步消除采样冗余,节省更多的传感器和存储资源。
发明内容
本发明提出一种时空复用的压缩视频成像方法,通过时空复用的三维线性投影,将曝光时间内的多帧高维图像压缩投影到一帧低维编码图像,在空间和时间两个维度上同时消除信息冗余,从而提高采样效率,突破光电器件对成像空、时分辨率的制约。
本发明解决上述技术问题的技术方案如下:一种时空复用的压缩视频成像方法,其特征在于:在成像设备中,采用空间和时间复用两个压缩感知模块顺序对进入系统的场景光学信号进行三维压缩采样,在一次曝光时间内获取多帧空间上压缩的场景图像。其中,空间复用压缩采样模块在模拟域对光学信号进行压缩采样,时间复用压缩采样模块利用编码曝光技术,在一次曝光时间内获取空间复用压缩采样的图像,累加存储到CCD图像传感器。具体地:
设计图1所示的标定系统,在该标定系统中打开激光光束产生器,则激光光束通过一个扩束镜扩散为一束均匀光柱,通过一个中间开口的矩形掩板入射到DMD二值振幅空间光调制器,DMD每一个微镜通过一个随机矩阵的控制调整到不同角度,从而构成成像系统的一个二值的输入矩阵,输入矩阵的通过读取光束阻拦器的光束获取,光束入射到成像系统代表1,入射到光束拦阻器表示0。
固定时间复用压缩感知调制模块,使其掩码为全通,即保持其掩码矩阵所有元素项的值均为1;然后通过随机矩阵的控制,调整DMD微镜的角度,进行多次测量。
设第i次DMD对应的向量为
Figure BDA0002039315720000021
(N为DMD微镜数量,对应空间分辨率),设对应散斑图样测量的模向量为
Figure BDA0002039315720000022
(CCD图像传感器采样值的平方根,M<N为采样测量数)。
采用一个复数矩阵A∈CM×N拟合多重散射传递函数。对于第i次测量,有yi=Axi。根据输入的随机矩阵操作DMD,调整每个微镜的角度,经过K次测量,得到一组输入输出,矩阵表示为即Y=AX,进行共轭转置:
YT=XTAT (1)
项目采用三维张量积(Tensor Product)的方式构建视频三维数据立方体的解析字典表示模型。信号从三个切面分别与字典D(1),D(2),D(3)作用,得到三维解析系数如式(2)所示:
S=X×1D(1)×2D(2)×3D(3) (2)
通过三维张量与矩阵在某一个维度上的模积表示矩阵与三维张量与这个维度上所有切面矩阵的积,将三维张量沿某一个维度拉伸到二维矩阵。
利用对数平滑平方函数作为三维张量解析模型字典学习中的共稀疏度量,采用对数平方在样本稀疏度的方差和期望最小化之间取得平衡,限定字典必须为均匀归一化紧标架。
其中,×1,×2和×3分别表示三维张量在x-y,x-t和y-t维度上与字典D(1),D(2),D(3)的模积(Mode Product),
Figure BDA0002039315720000031
表示一个视频三维数据立方体样本,
Figure BDA0002039315720000032
表示三维解析系数,
Figure BDA0002039315720000033
表示不同维度上的二维字典。D(1)相当于传统空间x-y二维字典,而D(2),D(3)则分别表示信号空间两个维度在时间切面上x-t和y-t的二维表示字典。
构建基于三维张量的解析字典学习的共稀疏(Cosparse)优化模型(3):
Figure BDA0002039315720000034
其中Xi表示训练集,g(·)代表解析系数的共稀疏度量函数。
将时空复用压缩视频成像系统得到的一帧低维编码图像,通过基于三维张量解析模型的视频信号重建优化模型完成图像的重建恢复。
本发明的有益效果是:提出利用复合介质的多重散射可并行投影特性,在模拟域对输入信号进行实时压缩感知,并结合编码曝光技术,解决瞬时光学信号的三维投影难题,探索构建一种时空复用的压缩视频成像新方法。区别于现有的二维投影压缩成像系统只在空间或时间单一维度进行压缩采样,研究的三维投影模式在空间和时间两个维度上消除采样冗余,可望进一步突破成像元器件对时、空成像分辨率的限制。针对二维表示模型不能有效描述视频信号三维稀疏特征的缺陷,采用基于三维张量的解析字典稀疏信号表示方法,以充分挖掘视频序列的时空稀疏特性,建立更有效的视频三维数据体稀疏表示模型;同时,针对时空复用三维投影的压缩视频成像重建反问题的高度欠定性,融合视频信号时空非局部相似性和其它结构化特性,构建视频信号互独立的多先验约束重建优化目标函数,降低解的自由度,引导优化问题的解趋向视频信号的固有特性。
在上述技术方案的基础上,本发明还可以做如下改进。
进一步,通过基于三维张量解析模型的视频信号重建优化模型。具体步骤如下:
1)在一次曝光内编码孔径操作K次,对K个子帧图像进行测量,第k个子帧的原始场景图像向量表示为fk∈RN,这里N为视频帧像素总数,即图像空间分辨率。考察空间复用模块,氧化锌涂层一旦确定,其物理特性就是确定的,设其散射传递矩阵为A∈CM×N,则第k个子帧图像经空间复用压缩感知模块调制产生的散斑干涉图样表示为Pk=Afk
2)设该时刻的编码孔径掩码
Figure BDA0002039315720000035
则时空复用测量向量Ik=HkAfk,一次曝光生成的编码测量Y为K个干涉图样子帧的线性组合:
Figure BDA0002039315720000041
采用矩阵表示,H=[H1 H2 …Hn],
Figure BDA0002039315720000042
则:
Y=HΛF=ΦF(5)这里,F是视频三维数据立方体的一维向量表示,Φ=HΛ是时空复用压缩成像的感知矩阵,Λ和H都是随机观测矩阵,因而,Φ是F的随机投影感知矩阵,大概率地为系统提供了普适的非相干性观测。
3)根据三维张量解析模型进行稀疏表示和字典学习,设视频信号的张量表示为FT,构建基于三维张量解析模型稀疏字典表示的压缩视频成像重建基本模型如下:
Figure BDA0002039315720000043
采用数值矩阵逼近氧化锌涂层的传递函数,存在估计误差,实际的测量矩阵等于估计的传递矩阵加估计误差,即
Figure BDA0002039315720000044
4)因此,每一帧图像经空间复用压缩感知模块调制产生的散斑干涉图样应为:P=(A+e)f=Af+ef,可以简化为P=Af+e′。则经过时间复用模块测量的编码图像为I=H(AF+e′)。可以采用基于去噪的重建优化模型,在视频重构中对传递矩阵进行补偿:
Figure BDA0002039315720000045
5)设Si为视频图像中第i个样本块及其非局部相似块构成的矩阵,Rank(Si)为矩阵的秩,则可以利用图像的非局部相似特性,构建所有相似块矩阵低秩正则项
Figure BDA0002039315720000046
作为重建优化目标函数的一个约束。
这里,Si∈V,V表示所有相似块量化矩阵集合,K是相似块聚类数。
6)在光流估计过程可以加入一致性检验,基于光流估计构造一个亮度不变矩阵,它的每一行对应一个亮度不变等式。由此,整个单次曝光内成像的各子帧间的亮度不变等式可以表示为:Ωx=0。从而可以构造一个亮度不变约束正则项
Figure BDA0002039315720000047
加入到重建目标函数,引导问题的解在下一次迭代中更趋向原始图像。
7)结合非局部相似性和光流估计的像素亮度不变约束,视频重建的优化模型可以构建为:
Figure BDA0002039315720000048
可以先采用式(7)重建一个初始视频估计,然后,应用增广拉格朗日方法(Augmented Lagrangian Method,ALM)将式(8)转化为无约束的优化问题,再应用变量替换将多约束的优化问题分解为多个子问题,采用交替方向方法(Alternating DirectionMethod)求解。其中,低秩约束子问题涉及到非凸问题的求解,也可以应用近年提出的加权核范数最小化算法等方法通过奇异值阈值(Singular Value Thresholding,SVT)操作获得其近似最优解。
附图说明
图1为本发明涉及的时空复用压缩视频成像系统投影过程总流程图;
图2为本发明涉及的基于三维张量解析模型的视频信号重建优化模型构建图;
步骤流程图
图3为本发明涉及的时空复用压缩视频成像及信号重建过程流程图;
具体实施方式
以下结合附图,并根据时空复用的压缩视频成像方法流程,对本发明的原理和特征进行描述,所举实例只用于解释本发明,并非用于限定本发明的范围。
图1为本发明涉及的时空复用压缩视频成像系统投影过程总流程图;图2为本发明涉及的基于三维张量解析模型的视频信号重建优化模型构建图;图3为本发明涉及的时空复用压缩视频成像及信号重建过程流程图;如图1、2、3所示,一种时空复用的压缩视频成像方法的具体步骤如下:
由用户提供待测试视频。
步骤一:设计图1所示的标定系统,在该标定系统中打开激光光束产生器,激光光束通过一个扩束镜扩散为一束均匀光柱,继续通过一个中间开口的矩形掩板入射到DMD二值振幅空间光调制器,DMD每一个微镜通过一个随机矩阵的控制调整到不同角度,从而构成成像系统的一个二值的输入矩阵,输入矩阵的通过读取光束阻拦器的光束获取,光束入射到成像系统代表1,入射到光束拦阻器表示0;
步骤二:固定时间复用压缩感知调制模块,使其掩码为全通,即保持其掩码矩阵所有元素项的值均为1;然后通过随机矩阵的控制,调整DMD微镜的角度,进行多次测量。设第i次DMD对应的向量为(N为DMD微镜数量,对应空间分辨率),设对应散斑图样测量的模向量为
Figure BDA0002039315720000052
(CCD图像传感器采样值的平方根,M<N为采样测量数)。
步骤三:采用一个复数矩阵A∈CM×N拟合多重散射传递函数。对于第i次测量,存在yi=Axi。根据输入的随机矩阵操作DMD,调整每个微镜的角度,重复测量。经过K次测量,可以得到一组输入输出,矩阵表示为
Figure BDA0002039315720000053
即Y=AX,进行共轭转置:
YT=XTAT (4)
步骤四:项目拟采用三维张量积(Tensor Product)的方式构建视频三维数据立方体的解析字典表示模型。信号从三个切面分别与字典D(1),D(2),D(3)作用,得到三维解析系数:
S=X×1D(1)×2D(2)×3D(3) (5)
其中,×1,×2和×3×3分别表示三维张量在x-y,x-t和y-t维度上与字典D(1),D(2),D(3)的模积(Mode Product),
Figure BDA0002039315720000061
表示一个视频三维数据立方体样本,
Figure BDA0002039315720000062
表示三维解析系数,
Figure BDA0002039315720000063
表示不同维度上的二维字典。D(1)相当于传统空间x-y二维字典,而D(2),D(3)则分别表示信号空间两个维度在时间切面上x-t和y-t的二维表示字典。
步骤五:构建基于三维张量的解析字典学习的共稀疏(Cosparse)优化模型:
Figure BDA0002039315720000064
其中Xi表示训练集,g(·)代表解析系数的共稀疏度量函数。
步骤六:将时空复用压缩视频成像系统得到的一帧低维编码图像,通过基于三维张量解析模型的视频信号重建优化模型完成图像的重建恢复。在视频信号重建的过程中,采取三维张量解析模型的视频信号重建优化模型,具体步骤如下:
1)在一次曝光内编码孔径操作K次,测量K个子帧图像,第k个子帧的原始场景图像向量表示为fk∈RN,这里N为视频帧像素总数,即图像空间分辨率。考察空间复用模块,氧化锌涂层一旦确定,其物理特性就是确定的,设其散射传递矩阵为A∈CM×N,则第k个子帧图像经空间复用压缩感知模块调制产生的散斑干涉图样可以表示为Pk=Afk
2)设该时刻的编码孔径掩码
Figure BDA0002039315720000065
则时空复用测量向量Ik=HkAfk,一次曝光生成的编码测量Y为K个干涉图样子帧的线性组合:
Figure BDA0002039315720000066
采用矩阵表示,H=[H1 H2 …Hn],
Figure BDA0002039315720000067
则:
Y=HΛF=ΦF (11)
这里,F是视频三维数据立方体的一维向量表示,Φ=HΛ是时空复用压缩成像的感知矩阵,Λ和H都是随机观测矩阵,因而,Φ也是F的随机投影感知矩阵,大概率地为系统提供了普适的非相干性观测。
3)根据三维张量解析模型进行稀疏表示和字典学习,设视频信号的张量表示为FT,构建基于三维张量解析模型稀疏字典表示的压缩视频成像重建基本模型如下:
Figure BDA0002039315720000068
采用数值矩阵逼近氧化锌涂层的传递函数,存在估计误差,实际的测量矩阵等于估计的传递矩阵加估计误差,即
Figure BDA0002039315720000071
4)因此,每一帧图像经空间复用压缩感知模块调制产生的散斑干涉图样应为:P=(A+e)f=Af+ef,可以简化为P=Af+e′。则经过时间复用模块测量的编码图像为I=H(AF+e′)。可以采用基于去噪的重建优化模型,在视频重构中对传递矩阵进行补偿:
Figure BDA0002039315720000073
5)设Si为视频图像中第i个样本块及其非局部相似块构成的矩阵,Rank(Si)为矩阵的秩,则可以利用图像的非局部相似特性,构建所有相似块矩阵低秩正则项作为重建优化目标函数的一个约束,这里Si∈V,V表示所有相似块量化矩阵集合,K是相似块聚类数。
6)在光流估计过程可以加入一致性检验,基于光流估计构造一个亮度不变矩阵,它的每一行对应一个亮度不变等式。由此,整个单次曝光内成像的各子帧间的亮度不变等式可以表示为:Ωx=0。从而可以构造一个亮度不变约束正则项
Figure BDA0002039315720000075
加入到重建目标函数,引导问题的解在下一次迭代中更趋向原始图像。
7)结合非局部相似性和光流估计的像素亮度不变约束,视频重建的优化模型可以构建为:
Figure BDA0002039315720000076
可以采用式(11)重建一个初始视频估计,然后,应用增广拉格朗日方法(Augmented Lagrangian Method,ALM)将式(12)转化为无约束的优化问题,再应用变量替换将多约束的优化问题分解为多个子问题,采用交替方向方法(Alternating DirectionMethod)求解。其中,低秩约束子问题涉及到非凸问题的求解,也可以应用近年提出的加权核范数最小化算法等方法通过奇异值阈值(Singular Value Thresholding,SVT)操作获得其近似最优解。
以上所述仅为本发明的较佳实施例子,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (4)

1.一种时空复用的压缩视频成像方法,其特征在于:在成像设备中,采用空间复用和时间复用对两个压缩感知模块顺序对进入系统的场景光学信号进行三维压缩采样,在一次曝光时间内获取多帧空间上压缩的场景图像。其中,空间复用压缩采样模块在模拟域对光学信号进行压缩采样,时间复用压缩采样模块利用编码曝光技术,在一次曝光时间内获取空间复用压缩采样的图像,累加存储到CCD图像传感器,具体步骤如下:
通过设计标定系统,在该标定系统中打开激光光束产生器,激光光束通过一个扩束镜扩散为一束均匀光柱,并通过一个中间开口的矩形掩板入射到DMD二值振幅空间光调制器,DMD每一个微镜通过一个随机矩阵的控制调整到不同角度,从而构成成像系统的一个二值的输入矩阵,输入矩阵的通过读取光束阻拦器的光束获取,光束入射到成像系统代表1,入射到光束拦阻器表示0。
固定时间复用压缩感知调制模块,使其掩码为全通,保持其掩码矩阵所有元素项的值均为1;后通过随机矩阵的控制,整DMD微镜的角度,行多次测量。设第i次DMD对应的向量为
Figure FDA0002039315710000011
(N为DMD微镜数量,对应空间分辨率),设对应散斑图样测量的模向量为(CCD图像传感器采样值的平方根,M<N为采样测量数)。
采用一个复数矩阵A∈CM×N拟合多重散射传递函数,于第i次测量,有yi=Axi。根据输入的随机矩阵操作DMD,调整每个微镜的角度,重复测量。经过K次测量,得到一组输入输出,矩阵表示为即Y=AX,进行共轭转置:
YT=XTAT (4)
项目采用三维张量积的方式构建视频三维数据立方体的解析字典表示模型。信号从三个切面分别与字典D(1),D(2),D(3)作用,得到三维解析系数:
S=X×1D(1)×2D(2)×3D(3) (5)
其中,×1,×2和×3分别表示三维张量在x-y,x-t和y-t维度上与字典D(1),D(2),D(3)的模积(Mode Product),
Figure FDA0002039315710000014
表示一个视频三维数据立方体样本,
Figure FDA0002039315710000015
表示三维解析系数,表示不同维度上的二维字典。D(1)相当于传统空间x-y二维字典,而D(2),D(3)则分别表示信号空间两个维度在时间切面上x-t和y-t的二维表示字典。
构建基于三维张量的解析字典学习的共稀疏(Cosparse)优化模型:
Figure FDA0002039315710000017
其中Xi表示训练集,g(·)代表解析系数的共稀疏度量函数。
将时空复用压缩视频成像系统得到的一帧低维编码图像,通过基于三维张量解析模型的视频信号重建优化模型完成图像的重建恢复。在视频信号重建的过程中,采取三维张量解析模型的视频信号重建优化模型,具体步骤如下:
1)在一次曝光内编码孔径操作K次,测量K个子帧图像,第k个子帧的原始场景图像向量表示为fk∈RN,这里N为视频帧像素总数,即图像空间分辨率。考察空间复用模块,氧化锌涂层一旦确定,其物理特性就是确定的,设其散射传递矩阵为A∈CM×N,则第k个子帧图像经空间复用压缩感知模块调制产生的散斑干涉图样可以表示为Pk=Afk
2)设该时刻的编码孔径掩码
Figure FDA0002039315710000021
则时空复用测量向量Ik=HkAfk,一次曝光生成的编码测量Y为K个干涉图样子帧的线性组合:
Figure FDA0002039315710000022
采用矩阵表示,H=[H1 H2 … Hn],
Figure FDA0002039315710000023
则:
Y=HΛF=ΦF (8)
这里,F是视频三维数据立方体的一维向量表示,Φ=HΛ是时空复用压缩成像的感知矩阵,Λ和H都是随机观测矩阵,因而,Φ也是F的随机投影感知矩阵,大概率地为系统提供了普适的非相干性观测。
3)根据三维张量解析模型进行稀疏表示和字典学习,设视频信号的张量表示为FT,构建基于三维张量解析模型稀疏字典表示的压缩视频成像重建基本模型如下:
由于采用数值矩阵逼近氧化锌涂层的传递函数,存在估计误差,实际的测量矩阵等于估计的传递矩阵加估计误差,即
Figure FDA0002039315710000025
4)因此,每一帧图像经空间复用压缩感知模块调制产生的散斑干涉图样应为:P=(A+e)f=Af+ef,可以简化为P=Af+e′。则经过时间复用模块测量的编码图像为I=H(AF+e′)。采用基于去噪的重建优化模型,在视频重构中对传递矩阵进行补偿:
Figure FDA0002039315710000026
5)设Si为视频图像中第i个样本块及其非局部相似块构成的矩阵,Rank(Si)为矩阵的秩,则可以利用图像的非局部相似特性,构建所有相似块矩阵低秩正则项
Figure FDA0002039315710000027
作为重建优化目标函数的一个约束,这里Si∈V,V表示所有相似块量化矩阵集合,K是相似块聚类数。
6)在光流估计过程加入一致性检验,基于光流估计构造一个亮度不变矩阵,它的每一行对应一个亮度不变等式。由此,整个单次曝光内成像的各子帧间的亮度不变等式可以表示为:Ωx=0。从而可以构造一个亮度不变约束正则项
Figure FDA0002039315710000031
加入到重建目标函数,引导问题的解在下一次迭代中更趋向原始图像。
7)结合非局部相似性和光流估计的像素亮度不变约束,构建视频重建的优化模型如下:
可以先采用式(11)重建一个初始视频估计,然后,应用增广拉格朗日方法(AugmentedLagrangian Method,ALM)将式(12)转化为无约束的优化问题,再应用变量替换将多约束的优化问题分解为多个子问题,采用交替方向方法(Alternating Direction Method)求解。
2.根据权利要求1所述一种时空复用的压缩视频成像方法,其特征在于,采用的空间复用压缩感知模块利用了复合介质的多重散射特性,光学信号通过复合介质经过相位变换,输出场景光学信号多重散射后的连续散斑干涉图样信号,物理上相当于光波通过了一个半透明的光学透镜,数学上相当于对输入信号进行了一个全局随机投影,一种光学集成的实时空间复用压缩感知方法。
3.根据权利要求1和权利要求2所述一种时空复用的压缩视频成像方法,其特征在于,在空间复用压缩感知模块后采用一个像素级二值编码曝光时间复用压缩感知模块对空间复用压缩感知模块输出的连续信号在一个曝光时间内采样多个图像帧进行二值编码投影,其具体过程如下:空间压缩感知模块在光学域对信号进行实时随机采样后生成散斑干涉图样,时间复用感知模块并依次对进入的每帧瞬时散斑图样光学信号随机调制,调制信号在图像传感器上转换为电子学信号后存储,逐帧累加得到线性组合的编码测量。
4.根据权利要求1和权利要求2所述一种时空复用的压缩视频成像方法,其特征在于,采用三维张量积的方式构建视频三维数据立方体的解析字典表示模型,从三维信号的三个切面对信号进行解析表示,得到三维解析系数,通过三维张量与矩阵在某一个维度上的模积表示矩阵与三维张量与这个维度上所有切面矩阵的积,把三维张量沿某一个维度拉伸到二维矩阵。利用对数平滑平方函数作为三维张量解析模型字典学习中的共稀疏度量,采用对数平方在样本稀疏度的方差和期望最小化之间取得平衡,限定字典必须为均匀归一化紧标架。
CN201910336500.5A 2019-04-25 2019-04-25 一种时空复用的压缩视频成像方法 Expired - Fee Related CN110650340B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910336500.5A CN110650340B (zh) 2019-04-25 2019-04-25 一种时空复用的压缩视频成像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910336500.5A CN110650340B (zh) 2019-04-25 2019-04-25 一种时空复用的压缩视频成像方法

Publications (2)

Publication Number Publication Date
CN110650340A true CN110650340A (zh) 2020-01-03
CN110650340B CN110650340B (zh) 2022-01-14

Family

ID=68989408

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910336500.5A Expired - Fee Related CN110650340B (zh) 2019-04-25 2019-04-25 一种时空复用的压缩视频成像方法

Country Status (1)

Country Link
CN (1) CN110650340B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111273050A (zh) * 2020-02-12 2020-06-12 清华大学 信号采集处理方法及装置
CN113220936A (zh) * 2021-06-04 2021-08-06 黑龙江广播电视台 基于随机矩阵编码和简化卷积网络的视频智能推荐方法、装置及存储介质
CN114095640A (zh) * 2022-01-18 2022-02-25 清华大学 千万像素快照压缩成像系统及方法
CN116538949A (zh) * 2023-07-03 2023-08-04 湖南大学 一种基于时域超分辨的高速动态过程dic测量装置与方法
CN117319655A (zh) * 2023-11-28 2023-12-29 苏州元脑智能科技有限公司 一种图像压缩处理方法、系统、装置及介质
CN117970660A (zh) * 2024-04-02 2024-05-03 华东师范大学 一种时域压缩超分辨高速成像装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105740833A (zh) * 2016-02-03 2016-07-06 北京工业大学 一种基于深度序列的人体行为识别方法
US20170024855A1 (en) * 2015-07-26 2017-01-26 Macau University Of Science And Technology Single Image Super-Resolution Method Using Transform-Invariant Directional Total Variation with S1/2+L1/2-norm
CN109584319A (zh) * 2018-12-05 2019-04-05 重庆邮电大学 一种基于非局部低秩和全变分的图像压缩感知重构算法
CN109636722A (zh) * 2018-12-05 2019-04-16 中国矿业大学 一种基于稀疏表示的在线字典学习超分辨率重建的方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170024855A1 (en) * 2015-07-26 2017-01-26 Macau University Of Science And Technology Single Image Super-Resolution Method Using Transform-Invariant Directional Total Variation with S1/2+L1/2-norm
CN105740833A (zh) * 2016-02-03 2016-07-06 北京工业大学 一种基于深度序列的人体行为识别方法
CN109584319A (zh) * 2018-12-05 2019-04-05 重庆邮电大学 一种基于非局部低秩和全变分的图像压缩感知重构算法
CN109636722A (zh) * 2018-12-05 2019-04-16 中国矿业大学 一种基于稀疏表示的在线字典学习超分辨率重建的方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111273050A (zh) * 2020-02-12 2020-06-12 清华大学 信号采集处理方法及装置
CN113220936A (zh) * 2021-06-04 2021-08-06 黑龙江广播电视台 基于随机矩阵编码和简化卷积网络的视频智能推荐方法、装置及存储介质
CN113220936B (zh) * 2021-06-04 2023-08-15 黑龙江广播电视台 基于随机矩阵编码和简化卷积网络的视频智能推荐方法、装置及存储介质
CN114095640A (zh) * 2022-01-18 2022-02-25 清华大学 千万像素快照压缩成像系统及方法
CN116538949A (zh) * 2023-07-03 2023-08-04 湖南大学 一种基于时域超分辨的高速动态过程dic测量装置与方法
CN116538949B (zh) * 2023-07-03 2023-09-15 湖南大学 一种基于时域超分辨的高速动态过程dic测量装置与方法
CN117319655A (zh) * 2023-11-28 2023-12-29 苏州元脑智能科技有限公司 一种图像压缩处理方法、系统、装置及介质
CN117319655B (zh) * 2023-11-28 2024-02-23 苏州元脑智能科技有限公司 一种图像压缩处理方法、系统、装置及介质
CN117970660A (zh) * 2024-04-02 2024-05-03 华东师范大学 一种时域压缩超分辨高速成像装置

Also Published As

Publication number Publication date
CN110650340B (zh) 2022-01-14

Similar Documents

Publication Publication Date Title
CN110650340B (zh) 一种时空复用的压缩视频成像方法
Yuan et al. Snapshot compressive imaging: Theory, algorithms, and applications
Li et al. Underwater scene prior inspired deep underwater image and video enhancement
Anwar et al. Deep underwater image enhancement
Iliadis et al. Deepbinarymask: Learning a binary mask for video compressive sensing
CN110646810B (zh) 一种散斑优化压缩感知鬼成像方法及系统
Wu et al. Dense deep unfolding network with 3D-CNN prior for snapshot compressive imaging
CN110545379B (zh) 一种采用dmd的并行时空域联合压缩成像方法及装置
US11368608B2 (en) Compressed sensing based object imaging system and imaging method therefor
CN109741407A (zh) 一种基于卷积神经网络的光谱成像系统的高质量重构方法
CN111833265A (zh) 一种基于组稀疏循环调制的鬼成像图像恢复方案
Rego et al. Robust lensless image reconstruction via psf estimation
CN110378981A (zh) 基于神经网络的傅里叶叠层显微镜光瞳恢复方法
CN112802145A (zh) 一种基于深度学习的彩色计算鬼成像方法
Bao et al. Coherence retrieval using trace regularization
Zhou et al. Real-time physical compression computational ghost imaging based on array spatial light field modulation and deep learning
KR20230118938A (ko) 광학적 방법
CN112113661B (zh) 一种深度学习型快照式光谱成像装置及其探测方法
CN111640069B (zh) 基于光感知网络和相位补偿的压缩成像方法、系统和装置
CN112950750A (zh) 基于编码掩模与Learned-TSVD算法的无镜头相机图像重建方法
CN116128743A (zh) 基于深度卷积混合神经网络计算关联成像重建算法
Cai et al. DMDC: Dynamic-mask-based dual camera design for snapshot Hyperspectral Imaging
Ertan et al. Enhancement of underwater images with artificial intelligence
CN116528058B (zh) 一种基于压缩重构的高动态成像方法和系统
Ma LED-based snapshot compressive 4D spectral temporal imaging

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220114