CN104320592B - 一种单幅编码图像的自适应视频重建方法 - Google Patents

Abstract

本发明公开了一种单幅编码图像的自适应视频重建方法。在单次曝光视频重建的过程中，针对通过像素等时长曝光编码方法获得的观测图像，引入自适应搜索运动区域的概念。利用图像中运动物体呈现出的散粒特性，自适应地搜索并重建运动区域，从而节省了重建非运动区域所需的时间，降低了视频重建的时间复杂度，同时避免了重建静态背景时引入的重建误差，增大了重建图像精度。

Description

一种单幅编码图像的自适应视频重建方法

技术领域

本发明涉及一种单幅编码图像的自适应视频重建方法。

背景技术

作为压缩感知(Compressive Sensing)理论的一种新应用，视频压缩感知技术可以用于提高相机时间分辨率，即从低速相机获取高速视频。这类方法首先在时间维度上对每个像素进行曝光编码，通过对像素的曝光时间调制得到经过编码的观测图像，再利用各种重建算法对观测图像重建，获得一系列视频图像，从而增大了相机的时间分辨率。重建算法方面，主要分为基追踪(Basis Pursuit，BP)算法和匹配追踪(Matching Pursuit，MP)算法。前者主要有TwIST、GAP等算法，该类方法采用更易处理的稀疏度量函数(如l₁范数)来代替非凸的l₀范数，通过最小化l₁范数将信号稀疏表示问题定义为一类有约束的极值问题，进而转化为线性规划问题进行求解。匹配追踪算法中使用最广泛的的为OMP算法，主要思想是在基函数(或字典)中找到一个其标记看上去与数据相关的原子，在数据中去除这个标记的所有印记，不断重复直到能用原子标记“解释”所有的数据。对于OMP算法，由于算法需要利用到字典，因此可以通过改进字典来提高算法重建精度，通常使用KSVD算法对所用的字典进行训练。单从结果上来看，基于KSVD字典训练的OMP算法无疑有着更高的重建精度，但MP类算法重建所需的时间往往是BP类算法的几倍甚至几十倍以上，过高的时间复杂度严重制约了该算法的应用。

在单幅观测图像的视频重建中，像素曝光编码有着各种方式，这里针对各像素曝光时长相等的编码方式。此种编码方式的特点在于，由于各像素曝光时长相同，因此静态背景区域清晰，而运动区域呈现散点装特性。这种散点特性可用于自适应地搜索运动区域，达到降低计算时间，提高重建精度的目的。

发明内容

本发明的目的是在单次曝光视频重建的过程中，针对通过像素等时长曝光编码方法获得的观测图像，利用图像中运动物体呈现出的散粒特性，自适应地搜索并重建运动区域，从而节省了重建非运动区域所需的时间，降低了视频重建的时间复杂度，同时避免了重建静态背景时引入的重建误差，增大了重建图像精度。

本发明的目的是通过以下技术方案来实现的：一种单幅编码图像的自适应视频重建方法，包括以下步骤：

步骤1.像素编码曝光，具体是：

1-1将相机总曝光时间T平均分为N个时间片段，每一个时间片持续的时间为T/N。

1-2在相机曝光时，控制探测器的各像素，按照保证每个像素的曝光时间相同、曝光片段连续、曝光起始时间随机的原则进行曝光编码，编码的生成还需满足条件：

其中，采样函数S(x,y,t)∈{0,1}，即每个像素只有曝光“1”和关闭“0”状态，P为探测器上任意a×a小块，a应满足：

其中，k为像素曝光长度；最终得到调制后的图像I(x,y)。

步骤2.自适应运动区域搜索，具体是：

2-1计算步骤1-2获得的调制图像I(x,y)的8领域梯度图G(x,y)。

2-2对8领域梯度图G(x,y)进行二值化分割，使用开操作去除毛刺与噪声，根据各区域中心距离与区域大小，合并邻近区域，从而确定运动区域R＝{r₁,r₂,…,r_n}，其中r_n为第n个区域。

2-3扩大2-2中的运动区域，扩大倍率为从而得到扩大后的运动区域R′＝{r₁′,r₂′,…,r_n′}，其中r_n′为扩大后的第n个区域。

步骤3.区域视频重建，具体是：

3-1使用重建算法对步骤2-3得到的运动区域R＇进行视频重建，得到各运动区域的重建视频，E_i＝{e_i1,e_i2,…,e_iN}，其中N为重建视频帧数或时间分段数，E_i为区域i的重建视频，e_ij为区域i重建视频的第j帧。

3-2去掉重建视频图像中边缘处的m-1行和列，其中m为重建时重建图像块边长，从而去除因重建带来的黑边。

3-3将步骤3-2中得到的视频图像放回静态背景中。

进一步地，所述重建算法为OMP算法，所述OMP算法以m×m的图像块进行重建，图像块每次移动一行或列，重建出的整体图像为各重建图像块的叠加。

本发明的有益效果：针对单次曝光视频重建方法的高时间复杂度的问题，本发明利用观测图像中由于像素等时长曝光编码而产生的运动区域散粒特性，自适应地搜索运动区域，从而仅需要对运动区域进行重建，节省了重建非运动区域所需的时间，大大降低了视频重建的时间复杂度。同时，由于不需要重建非运动区域，本发明也避免了重建清晰静态背景时引入的重建误差，增大了重建图像精度。

附图说明

图1为本发明方法流程示意图。

图2为像素曝光编码示意图。

图3为编码采样函数示意图。

图4为观测图像。

图5为像素8领域梯度示意图。

图6为图像8领域梯度图。

图7为运动区域搜索结果。

图8为视频重建过程。

图9(a)为区域观测图像，(b)为区域重建视频第1帧，(c)为区域重建视频第5帧，(d)为区域重建视频第12帧。

图10(a)为整体重建结果第5帧，(b)为自适应区域重建结果第5帧，(c)为整体重建结果第12帧，(d)为自适应区域重建结果第12帧。

图11(a)为整体重建结果背景，(b)为自适应区域重建背景。

具体实施方式

以下结合附图对本发明作进一步说明。

本发明在单次曝光视频重建的过程中，针对通过像素等时长曝光编码方法获得的观测图像，利用图像中运动物体呈现出的散粒特性，自适应地搜索并重建运动区域，从而节省了重建非运动区域所需的时间。本发明的流程如附图1所示，主要包括像素编码曝光、自适应运动区域搜索和运动区域视频重建等几个步骤。

步骤1.像素编码曝光

1-1将总曝光时间T平均分为N个时间片段，每一个时间片持续的时间为T/N。

1-2控制相机探测器的各像素，在时域上对每一个像素进行曝光编码。像素编码按照所有像素曝光时长相同、曝光起始时间随机和曝光时间片段连续的原则，从而获得静态背景清晰的观测图像，如附图2所示。单个像素曝光时间控制在总曝光时间的1/9到1/4之间。同时，为保证重建图像质量，采样函数S还需满足约束：

其中，采样函数S(x,y,t)∈{0,1}，即每个像素只有曝光“1”和关闭“0”状态，P为探测器上任意a×a小块，如附图3所示。a应满足：

其中，k为像素曝光长度，N为时间段个数，这里取a＝3。也就是说，对于探测器上任意a×a区域的像素，在每段曝光时间内，至少有一个像素处于曝光状态。

步骤2.自适应运动区域搜索

2-1由于曝光采样函数S遵循各像素曝光时长相同的原则，因此在观测图像中，非运动的静止区域为清晰区域，与正常曝光时相同。而运动区域则呈现散点状，如附图4所示。利用其散点特性，搜索运动区域。这里使用8领域梯度的方法，对观测图像中所有像素点，计算其8方向上的灰度梯度，如附图5所示。

其中，N₈(i,j)为像素点(i,j)的8领域。附图6为8领域梯度图像。

2-2对梯度图像根据灰度值进行分割，通过图像开操作去除噪声影响，最后合并邻近区域，从而确定运动区域R＝{r₁,r₂,…,r_n}，其中r_n为第n个区域。附图7为搜索得到的运动区域。

2-3使用OMP算法对运动区域重建。OMP算法是以m×m的图像块进行重建，图像块每次移动一行或列，重建出的整体图像为各重建图像块的叠加，因此重建图像边缘处的m-1行和列，会因叠加次数少于中间区域而产生黑边。为了去除因重建带来的黑边影响，需要扩大步骤2-2中的运动区域，使搜索区域至少增大2(m-1)行和列，这里使用的扩大倍率为。得到扩大后的运动区域R′＝{r₁′,r₂′,…,r_n′}，其中r_n′为扩大后的第n个区域。

步骤3.运动区域视频重建

3-1利用重建算法和采样函数，对步骤2-3中获得的运动区域进行视频重建。

视频信号可以看作空间和时间的体数据，定义E(x,y,t)为M×M像素的未知视频信号数据体，则数据体E的大小为M×M×N，其中N为视频帧数。S(x,y,t)为每个像素在全部曝光时间上的采样函数(S(x,y,t)∈{0,1})，那么获得的观测图像I(x,y)表示为：

如附图8所示。通过二维的观测图像I可重建出三维视频信号

式6可写作矩阵形式I＝SE，其中I(观测信号)和E(视频信号)分别为包含M×M和M×M×N个元素的向量。由于观测信号要远少于视频信号，因此该方程为一欠定方程。根据压缩感知理论，视频信号的重构问题可表示为：

其中E又可以写成某一字典Ψ的稀疏表示，即E＝Ψθ。那么求解问题变为：

其中ε为重建精度。最后利用重建算法对式8求解。

为了得到更清晰的重建图像，这里使用KSVD方法对重建字典进行训练。KSVD字典学习算法是一种迭代算法，通过简单而有效地逐列更新的方式，实现字典的整体更新。该算法主要包括两个过程，分别是稀疏编码过程和字典更新过程。1)在稀疏编码过程，利用任意一种匹配追踪算法计算信号的稀疏表示系数；2)在字典的更新过程，固定字典中的其他原子，利用奇异值分解(SVD)算法更新当前的字典原子，算法每次只更新当前原子和其相应的稀疏系数。

重建后的区域视频为,E_i＝{e_i1,e_i2,…,e_iN}，其中N为重建视频帧数。附图9为运动区域重建结果。

3-2去掉重建视频图像中边缘处的m-1行和列，其中m为重建时重建图像块大小，从而去除因重建导致的黑框。

3-2将区域重建图像放回静态清晰背景中，附图10为最终结果。由于重建会不可避免的引入额外噪声，因此仅对运动区域重建的本发明方法有着更高的背景清晰度。附图11为整体重建和区域重建的背景比较，从图中可以看到重建引入的噪声。

表1为两种方法的PSNR和SSIM比较。时间方面，对于示例所用图像，整体重建所需时间约为3000s，而区域重建方法所需时间约为500s，仅为整体重建方法的1/6，且随非运动区域在整幅图像中的比例增大而进一步减小。

表1 复原图像PSNR和SSIM比较

	整体重建	自适应区域重建
			PSNR/dB	24.652	29.073
SSIM	0.886	0.900

Claims (2)

1.一种单幅编码图像的自适应视频重建方法，其特征在于，该方法包括以下步骤：

(1)像素编码曝光，具体是：

(1.1)将相机总曝光时间T平均分为N个时间片段，每一个时间片持续的时间为T/N；

(1.2)在相机曝光时，控制探测器的各像素，按照保证每个像素的曝光时间相同、曝光片段连续、曝光起始时间随机的原则进行曝光编码，编码的生成还需满足条件：

其中，采样函数S(x,y,t)∈{0,1}，即每个像素只有曝光“1”和关闭“0”状态，P为探测器上任意a×a小块，a应满足：

其中，k为像素曝光长度；曝光编码后的图像即为调制图像I(x,y)，I(x,y)表示为：

其中，E(x,y,t)为M×M像素的未知视频信号数据体，数据体的大小为M×M×N；

(2)自适应运动区域搜索，具体是：

(2.1)计算步骤(1.2)获得的调制图像I(x,y)的8邻域梯度图G(x,y)；像素8邻域计算公式为：

其中N₈(i,j)为像素点(i,j)的8邻域；

(2.2)对步骤(2.1)得到的8邻域梯度图G(x,y)进行二值化分割，使用开操作去除毛刺与噪声，最后根据各区域中心距离与区域大小，合并邻近区域，确定运动区域R＝{r₁,r₂,…,r_n}，其中r_n为第n个区域；

(2.3)扩大步骤(2.2)中的运动区域，扩大倍率为得到扩大后的运动区域R′＝{r₁′,r₂′,…,r_n′}，其中r_n′为扩大后的第n个区域；

(3)区域视频重建，具体是：

(3.1)使用重建算法和采样函数对步骤(2.3)得到的运动区域R＇进行视频重建，得到各运动区域的重建视频E_i＝{e_i1,e_i2,…,e_iN}，E_i为区域i的重建视频，e_ij为区域i重建视频的第j帧；

(3.2)去掉重建视频图像中边缘处的m-1行和列，其中m为重建时重建图像块边长，从而去除因重建带来的黑边；

(3.3)将步骤(3.2)中得到的视频图像放回静态背景中。

2.根据权利要求1所述一种单幅编码图像的自适应视频重建方法，其特征在于，所述步骤（3.1）中，所述重建算法为OMP算法，所述OMP算法以m×m的图像块进行重建，图像块每次移动一行或列，重建出的整体图像为各重建图像块的叠加。