CN105894485B - 一种基于信号相关性的自适应视频重建方法 - Google Patents
一种基于信号相关性的自适应视频重建方法 Download PDFInfo
- Publication number
- CN105894485B CN105894485B CN201610248728.5A CN201610248728A CN105894485B CN 105894485 B CN105894485 B CN 105894485B CN 201610248728 A CN201610248728 A CN 201610248728A CN 105894485 B CN105894485 B CN 105894485B
- Authority
- CN
- China
- Prior art keywords
- video
- dictionary
- sample
- block
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 230000003044 adaptive effect Effects 0.000 title claims abstract description 11
- 230000000694 effects Effects 0.000 claims abstract description 11
- 238000005070 sampling Methods 0.000 claims description 7
- 230000003287 optical effect Effects 0.000 claims description 4
- 230000011218 segmentation Effects 0.000 claims description 3
- 230000000875 corresponding effect Effects 0.000 abstract description 9
- 230000008929 regeneration Effects 0.000 abstract 1
- 238000011069 regeneration method Methods 0.000 abstract 1
- 238000012876 topography Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 4
- 230000002123 temporal effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于信号相关性的自适应视频重建方法。在基于压缩感知的高时间分辨率视频重建过程中,考虑到视频图像中各运动物体运动速度不一致的情况,针对匹配追踪等基于字典(稀疏域)的重建方法,首先在构建字典时将训练样本根据运动量的不同分为多个样本集并分别进行训练,从而得到对应不同运动量的字典;在视频重建阶段,先将需要重建的观测图像进行不叠加的分块重建,然后计算各帧图像块之间的相关系数,通过相关系数大小确定局部图像运动量,最后根据运动量的大小有针对地选择字典并重建图像。本发明方法能在重建视频信号的同时区分视频中各物体的运动量,并根据运动信息针对性地重建图像,在提高重建视频效果的同时降低了重建时间。
Description
技术领域
本发明属于图像处理领域,尤其涉及一种基于信号相关性的自适应高时间分辨率视频重建方法。
背景技术
基于压缩感知的高时间分辨率视频重建技术,是通过对像素进行单像素曝光编码得到经过编码的观测图像,再利用重建算法对观测图像重建获得一系列视频序列图像,即由二维图像获取三维视频的时间分辨率拓展技术。由于压缩感知是对低于奈奎斯特采样率的采样信号进行恢复重建,因此重建信号的精确程度以及重建速度是人们关注的重点。重建算法一般可分为基于l1范数最小化法、迭代阈值法、匹配追踪法、凸规化法、基于贝叶斯理论的重建方法等,其中匹配追踪法以及部分迭代阈值法认为待恢复的信号在某字典或稀疏域下的表示系数是稀疏的,从而通过估计稀疏系数来重建信号,字典通常使用DCT基、小波基等,为了得到更好的重建效果,也可利用已知的视频信号对字典进行训练。
实际的视频中往往有多个不同运动速度的物体,同一区域不同帧间的图像信号间有着相似性,如果该区域无运动,那么各帧信号相关性等于1,即完全相同,如果运动越大,信号相关稀疏就越小。在一些特定的编码方式下(如各像素曝光时间相同),观测图像中静止背景部分是清晰的,不需要重建或不需要使用训练的字典。与此同时,大多数情况人们更关心的是视频中的运动区域,因此如果对图像全部区域按照相同方式进行重建,不仅浪费时间,而且无法获得物体的运动信息。传统的自适应重建方法一般是针对基于贝叶斯理论的重建方法或是对特定编码的观测图像进行区域搜索。
发明内容
本发明的目的是在基于压缩感知的高时间分辨率视频重建过程中,自适应地估算视频中各物体的运动量大小,并根据运动信息针对性地重建图像,从而在提高重建视频效果的同时降低重建时间。
本发明的目的是通过以下技术方案来实现的:一种基于信号相关性的自适应视频重建方法,该方法包括以下步骤:
(1)样本分类,具体是:
(1.1)利用光流法计算样本视频中相邻帧图像的运动矢量图;
(1.2)对样本视频进行随机采样,样本块大小为8×8×T,T为视频帧数;
(1.3)根据(1.1)中的运动矢量图计算各个样本块的平均运动量,并依据运动量将样本块分类,得到不同运动量的样本集,其中l为样本集个数,N为样本个数。
(2)字典训练,具体是:
(2.1)利用K-SVD算法对不同运动量的样本集分别进行训练,得到对应于不同运动量的完备字典Ψl;
(2.2)将(2.1)中训练的字典合并为一个字典Ψ,Ψ=[Ψ1,Ψ2,…]。
(3)初步分块重建,具体是;
(3.1)将观测图像分为不叠加的图像块,图像块大小为8×8;
(3.2)构建三维完备字典Ψ0,其中空间维为64×64的二维余弦基,时间维为T×T的一维小波基;
(3.3)利用OMP算法以及字典Ψ0对各图像块重建,得到重建视频块。
(4)运动区域分类,具体是:
(4.1)计算初步重建的视频块中各帧图像块间的相关系数;
(4.2)将相关系数取均值后作为对应图像块区域的相关系数,从而得到整幅图像的相关系数图;
(4.3)按照阈值分割相关系数图,得到运动分布图。
(5)视频信号重建,具体是:
(5.1)计算重建时图像块在(4.3)所得运动分布图中对应区域内各元素的个数,并分别乘上权重系数,根据个数值选择训练字典Ψ的不同区域用于重建;
(5.2)利用OMP算法以及(5.1)中选择的字典区域对信号块进行有叠加的块重建,每次移动1个像素。
进一步地,步骤1.3中,所述样本个数N=40000。
进一步地,步骤1.3中,所述不同运动量为[0,0.1],[0.1,1.5],[1.5,3]三个区域。
进一步地,步骤4.3中,所述经验阈值为0.85和0.95,并根据阈值将图像像素值分割为0、0.5和1。
进一步地,步骤5.1中,所述权重系数分别为2、2、1。
进一步地,步骤5.1中,所述选择规则为,区域内元素1个数最多则选择Ψ1,元素0.5个数最多则选择Ψ2,元素0个数最多则选择Ψ3。
本发明的有益效果:在基于压缩感知的高时间分辨率视频重建过程中,考虑到视频图像中各运动物体运动速度不一致的情况,首先通过样本分类训练的方式,得到对应不同运动速度的字典,使字典更具针对性;其次,在视频信号重建时,利用初步重建视频信号的相关性判断所重建区域的运动量,进而获得运动分布图,由于初步重建为非叠加的块重建,并且使用的是简单的完备字典,因此初步重建时间仅为使用过完备字典完整重建时的百分之一;根据判断结果选择字典区域更有针对性地重建视频,能在提高重建质量的同时降低重建时间。
附图说明
图1为本发明方法示意图。
图2(a)为示例样本视频。
图2(b)为示例样本视频由光流法计算得到的帧间运动矢量图。
图3为初步分块重建示意图。
图4为高时间分辨率视频重建过程示意图。
图5为相关系数图。
图6运动分布图。
图7为根据运动分布图自适应选择字典示意图。
图8(a)为等长曝光模式时的观测图像。
图8(b)为图8(a)所示观测图像由OMP算法、使用普通完备字典重建视频(8帧)中的第5帧。
图8(c)为图8(a)所示观测图像由本发明方法重建视频(8帧)中的第5帧。
具体实施方式
以下结合附图对本发明作进一步说明。
本发明提供的一种基于信号相关性的自适应重建方法,主要包括样本分类、字典训练、初步分块重建、运动量估计和视频重建等几个步骤,如图1所示。
步骤1.样本分类
1-1利用光流法计算样本视频中相邻帧图像的运动矢量图,如附图2所示,对于T帧的视频,则有T-1张矢量图,运动矢量图中各点的运动量大小为该点矢量的模,这里取T=8;
1-2对样本视频进行随机采样,样本块大小为8×8×T;
1-3根据1-1中的运动矢量图计算各个样本块的平均运动量:
其中Bi∈R1×64为第i张运动矢量图中对应采样区域(8×8)内的运动量值按照递减顺序排列得到的向量,这里取Bi前32项的均值作为采样区域在第i张矢量图上的运动量。依据运动量将样本块分类,得到对应不同运动量的样本集其中l=1,2,3为样本集个数,N为样本个数。在对大量视频进行分类后发现,绝大多数视频中,运动物体的帧间运动量在3个像素以内,因此这里将运动量分为[0,0.1],[0.1,1.5],[1.5,3]三个区域,样本个数为40000。
步骤2.字典训练
2-1利用K-SVD算法对不同运动量的样本集分别进行训练,得到对应于不同运动量的完备字典Ψl;
信号稀疏分解理论的数学模型是:给定一个集合Ψ={ψk,k=1,2,…,K},其中Ψ为字典,Ψ中的每一个元素ψk称为字典原子。对于任意给定的信号X,可以将其分解为字典下各个原子的线性组合形式:
其中α为稀疏表示系数。
字典训练的目的是选择尽可能逼近样本数据的基函数作为字典的原子。KSVD字典学习算法是一种迭代算法,通过简单而有效地逐列更新的方式,实现字典的整体更新。定义码集C=[c1,c2,…,cK],当C给定时,样本信号Y={y1,y2,…,yN}可用其最近的码字表示,即yi=Cαij,其中αij为一稀疏基中的向量,该向量仅在第j项为1,其余项全为0。j由式(3)得到:
这可以看作稀疏表示的一种极限情况:稀疏系数仅有一项,且必须为1。整体误差可以表示为:
通过求解式(5)在最近邻域中找到最佳的编码集来表示训练样本:
求解主要包括两个过程,首先利用K-means聚类将训练样本Y以接近的程度为依据,分为K组
然后对C(J-1)中的每一列按照式(7)更新,并令J=J+1。重复上述步骤直到收敛。
最终得到训练后的字典Ψ={ψk,k=1,2,…,K},
步骤3.初步分块重建
3-1将观测图像分为不叠加的图像块,图像块大小为8×8;
3-2构建三维完备字典Ψ0∈R512×512,其中空间维为64×64的二维余弦基,时间维为8×8的一维小波基:
其中Ψdwt,Ψdct分别为一维小波基和一维余弦基,为克罗内克积。由于Ψ0为完备(非冗余)基,且图像为非叠加重建,因此这一重建过程的时间很短,只有完整重建时间的1/100左右。
3-3利用OMP算法以及字典Ψ0对各图像块重建,得到重建视频块,如附图3所示。高时间分辨率视频重建过程如附图4所示,设视频信号为三维数据体E(x,y,t),S(x,y,t)为每个像素在全部曝光时间上的采样函数(S(x,y,t)∈{0,1}),那么获得的观测图像I(x,y)表示为:
其中S(x,y,t)已知。式(12)可写作矩阵形式I=SE,其中I(观测信号)和E(视频信号)分别为E(x,y,t)和S(x,y,t)的向量形式。由于观测信号要远少于视频信号,因此该方程为一欠定方程。根据压缩感知理论,视频信号的重构问题可表示为:
其中E又可以写成某一字典Ψ的稀疏表示,即E=Ψθ,其中θ为稀疏系数,可由重建算法求解。
步骤4.运动区域分类,具体是:
4-1计算初步重建的视频块中各帧图像块间的相关系数:
其中Xn=[xn1,…,xn64]T为第n帧重建图像块信号,相关系数绝对值越接近1越相关,越接近0则不相关。
4-2将视频块各帧间相关系数的绝对值取均值后作为对应区域的相关系数,从而得到整幅图像的相关系数图,如附图5所示;
4-3按照经验阈值分割相关系数图,得到运动分布图,如附图6所示,这里对应步骤1-3中分类区间的经验阈值为0.85和0.95,令小于0.85的元素为0,[0.85,0.95]间的元素为0.5,大于0.95的元素为1。
步骤5.视频信号重建:
5-1根据图像块在步骤4-3所得运动区域分布图,选择训练字典Ψ的不同区域用于重建:计算重建图像块在4-3所得运动区域分布图中对应区域内的0、0.5和1的个数,并分别乘上权重系数,区域内元素1个数最多则选择Ψ1,元素0.5个数最多则选择Ψ2,元素0个数最多则选择Ψ3。如附图7所示,重建块在运动分布图上覆盖区域内0、0.5、1的个数分别为20、12、32,由于更关心运动区域(即0、1对应区域),可以给0和1的个数更大权重,这里使用权重为2,因此最终个数分别为40、24和32,该图像块重建时选择字典Ψ3。
5-2利用OMP算法以及训练字典Ψ对信号块进行有叠加的块重建,每次移动1个像素。
本发明方法能使重建时间降低一半以上,同时提高重建图像质量,如附图8所示,从图中可以看出,本发明方法能更好地重建出运动区域。
Claims (4)
1.一种基于信号相关性的自适应视频重建方法,其特征在于,该方法包括以下步骤:
(1)样本分类,具体是:
(1.1)利用光流法计算样本视频中相邻帧图像的运动矢量图;
(1.2)对样本视频进行随机采样,样本块大小为8×8×T,T为视频帧数;
(1.3)根据(1.1)中的运动矢量图计算各个样本块的平均运动量,并依据运动量将样本块分类,得到不同运动量的样本集其中l为样本集个数,N为样本个数,di为样本集D中第i个样本;所述不同运动量为[0,0.1],[0.1,1.5],[1.5,3]三个区域;
(2)字典训练,具体是:
(2.1)利用K-SVD算法对不同运动量的样本集分别进行训练,得到对应于不同运动量的完备字典Ψl;
(2.2)将(2.1)中训练的字典合并为一个字典Ψ,Ψ=[Ψ1,Ψ2,…];
(3)初步分块重建,具体是;
(3.1)将观测图像分为不叠加的图像块,图像块大小为8×8;
(3.2)构建三维完备字典Ψ0,其中空间维为64×64的二维余弦基,时间维为T×T的一维小波基;
(3.3)利用OMP算法以及字典Ψ0对各图像块重建,得到重建视频块;
(4)运动区域分类,具体是:
(4.1)计算初步重建的视频块中各帧图像块间的相关系数;
(4.2)将相关系数取均值后作为对应图像块区域的相关系数,从而得到整幅图像的相关系数图;
(4.3)按照阈值分割相关系数图,得到运动分布图;所述阈值为0.85和0.95,通过阈值将像素值分割为0、0.5和1;
(5)视频信号重建,具体是:
(5.1)计算重建时图像块在(4.3)所得运动分布图中对应区域内各元素的个数,并分别乘上权重系数,根据个数值选择训练字典Ψ的不同区域用于重建;
(5.2)利用OMP算法以及(5.1)中选择的字典区域对图像块进行有叠加的块重建,每次移动1个像素。
2.根据权利要求1所述一种自适应视频重建方法,其特征在于,步骤(1.3)中,所述样本个数N=40000。
3.根据权利要求1所述一种自适应视频重建方法,其特征在于,步骤(5.1)中,所述权重分别为2、2、1。
4.根据权利要求1所述一种自适应视频重建方法,其特征在于,步骤(5.1)中,所述选择规则为,区域内元素1个数最多则选择Ψ1,元素0.5个数最多则选择Ψ2,元素0个数最多则选择Ψ3。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610248728.5A CN105894485B (zh) | 2016-04-20 | 2016-04-20 | 一种基于信号相关性的自适应视频重建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610248728.5A CN105894485B (zh) | 2016-04-20 | 2016-04-20 | 一种基于信号相关性的自适应视频重建方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105894485A CN105894485A (zh) | 2016-08-24 |
CN105894485B true CN105894485B (zh) | 2018-08-21 |
Family
ID=56705174
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610248728.5A Expired - Fee Related CN105894485B (zh) | 2016-04-20 | 2016-04-20 | 一种基于信号相关性的自适应视频重建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105894485B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106600533B (zh) * | 2016-12-08 | 2019-09-17 | 浙江工业大学 | 单图像超分辨率重建方法 |
CN109905590B (zh) * | 2017-12-08 | 2021-04-27 | 腾讯科技(深圳)有限公司 | 一种视频图像处理方法及装置 |
CN108182694B (zh) * | 2017-12-29 | 2020-06-16 | 浙江大学 | 一种基于插值的运动估计与自适应视频重建方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102427527A (zh) * | 2011-09-27 | 2012-04-25 | 西安电子科技大学 | 基于分布式视频压缩感知系统非关键帧的重构方法 |
CN104243837A (zh) * | 2014-08-28 | 2014-12-24 | 浙江大学 | 基于单次曝光视频重建的颤振探测和遥感图像恢复方法 |
CN104320592A (zh) * | 2014-10-30 | 2015-01-28 | 浙江大学 | 一种单幅编码图像的自适应视频重建方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100142620A1 (en) * | 2008-12-04 | 2010-06-10 | Electronics And Telecommunications Research | Method of generating side information by correcting motion field error in distributed video coding and dvc decoder using the same |
-
2016
- 2016-04-20 CN CN201610248728.5A patent/CN105894485B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102427527A (zh) * | 2011-09-27 | 2012-04-25 | 西安电子科技大学 | 基于分布式视频压缩感知系统非关键帧的重构方法 |
CN104243837A (zh) * | 2014-08-28 | 2014-12-24 | 浙江大学 | 基于单次曝光视频重建的颤振探测和遥感图像恢复方法 |
CN104320592A (zh) * | 2014-10-30 | 2015-01-28 | 浙江大学 | 一种单幅编码图像的自适应视频重建方法 |
Also Published As
Publication number | Publication date |
---|---|
CN105894485A (zh) | 2016-08-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106845478B (zh) | 一种字符置信度的二次车牌识别方法及装置 | |
CN107492121B (zh) | 一种单目深度视频的二维人体骨骼点定位方法 | |
CN103854262B (zh) | 基于结构聚类与稀疏字典学习的医学图像降噪方法 | |
CN106548153B (zh) | 基于多尺度变换下图结构的视频异常检测方法 | |
CN113177882B (zh) | 一种基于扩散模型的单帧图像超分辨处理方法 | |
CN104199627B (zh) | 基于多尺度在线字典学习的可分级视频编码系统 | |
CN108182694B (zh) | 一种基于插值的运动估计与自适应视频重建方法 | |
CN107730482B (zh) | 一种基于区域能量和方差的稀疏融合方法 | |
CN102609904A (zh) | 双变量非局部平均滤波x射线图像消噪方法 | |
CN102542542A (zh) | 基于非局部稀疏模型的图像去噪方法 | |
CN104091350B (zh) | 一种利用运动模糊信息的物体跟踪方法 | |
CN105894485B (zh) | 一种基于信号相关性的自适应视频重建方法 | |
CN104243837B (zh) | 基于单次曝光视频重建的颤振探测和遥感图像恢复方法 | |
CN106503659B (zh) | 基于稀疏编码张量分解的动作识别方法 | |
CN104751493A (zh) | 基于梯度纹理特征的稀疏跟踪方法 | |
CN104866905B (zh) | 一种基于beta过程的非参数稀疏张量字典的学习方法 | |
Zhao et al. | Deep equilibrium models for video snapshot compressive imaging | |
CN105590296B (zh) | 一种基于双字典学习的单帧图像超分辨率复原方法 | |
CN113132727B (zh) | 可伸缩机器视觉编码方法和运动引导图像生成网络的训练方法 | |
CN112766165A (zh) | 基于深度神经网络与全景分割的跌倒预判方法 | |
Zhao et al. | Symmetrical lattice generative adversarial network for remote sensing images compression | |
CN104200439B (zh) | 基于自适应滤波和正则约束的图像超分辨方法 | |
Zhao et al. | Deep equilibrium models for snapshot compressive imaging | |
Wang et al. | Multi-feature fusion tracking algorithm based on generative compression network | |
CN104537694B (zh) | 一种基于关键帧的在线学习的离线视频跟踪方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20180821 Termination date: 20200420 |
|
CF01 | Termination of patent right due to non-payment of annual fee |