CN104822030A - 一种基于图像变形的不规则视频矩形化矫正方法 - Google Patents

Abstract

本发明涉及一种视频矫正方法，特别涉及一种基于图像变形的视频矩形化矫正方法，属于视频处理领域。本发明首先对所有视频帧进行局部变形；在变形后矩形视频帧上设置网格，再依据坐标映射关系，将网格放置在原不规则视频帧上，对所有帧网格对应坐标取均值，即初始网格；对初始网格做时域空域约束建立稀疏线性方程组，并求解得到校正后的视频各帧网格点；根据每一视频帧矫正前后网格进行双线性插值得到矫正后的视频帧。该方法在已有图像矫正方法的基础上，增加时域约束条件，实现了视频的矩形化矫正。

Description

一种基于图像变形的不规则视频矩形化矫正方法

技术领域

本发明涉及一种视频矫正方法，特别涉及一种基于图像变形的视频矩形化矫正方法，属于视频处理领域。

背景技术

随着互联网技术的发展和数码摄像设备的大范围使用，视频数据的采集非常容易，广泛存在于生活中的各个方面。随着图像和视频拼接技术的发展，人们越来越不满足于普通摄像机得到的有限视角的视频，期望获得更宽视角的视频以获得更好的视觉效果。然后由于采集的视频数据的视角差异或者普通数码摄像机的随意移动，都会造成拼接后视频的边界不规则。

本方法所用已有技术包括seam carving的图像缩放技术(Avidan,S.,Shamir,A.2007.Seam carving for content-aware image resizing.In SIGGRAPH 2007.)在本方法中利用seam carving技术填充的所有不规则视频帧得到初步的矩形视频帧，进行网格的设置，再进行后续操作。

再者是已有的不规则全景图像矫正技术(He,K.,Chang,H.,Sun,J.2013.Rectangling Panoramic Images via Warping.In SIGGRAPH 2013),本方法是对该方法的一个扩展，增加了时域上的连续性约束，得到视觉上合理的矩形规则视频。

发明内容

本发明的目的是针对拼接后不规则的视频数据，提出的一种视频矫正方法，使用户获得较舒适的观看感受。

本发明技术方案的思想是首先对所有视频帧进行局部变形；在变形后矩形视频帧上设置网格，再依据坐标映射关系，将网格放置在原不规则视频帧上，对所有帧网格对应坐标取均值，即初始网格；对初始网格做时域空域约束建立稀疏线性方程组，并求解得到校正后的视频各帧网格点；根据每一视频帧矫正前后网格进行双线性插值得到矫正后的视频帧。该方法在已有图像矫正方法的基础上，增加时域约束条件，实现了视频的矩形化矫正。

本发明的目的是通过下述技术方案实现的。

一种基于图像变形的不规则视频矩形化矫正方法，包括以下步骤：

步骤一、对视频每一帧进行局部变形

对于视频中不规则边界的每一帧，利用seam carving算法，通过不断插入长短不一的seam的方式，填充缺失像素，得到规则矩形边界的视频帧，插入的同时记录插入后每个像素点所在原图的位置坐标；

步骤二、设置网格，并将网格变形回原图

对步骤一中得到的每一规则视频帧，将其均匀划分为若干矩形区域，并获得网格角点的坐标，然后利用步骤一中记录的位置信息，获得每个网格角点所在原图的位置坐标，即可将每帧网格变形回原图；

步骤三、网格归一化

对得到的所有覆盖视频帧不规则有效区域的网格，对应位置坐标取均值，得到归一化网格,即是每帧初始网格；

步骤四、计算能量函数中的保形项E_s

为了获得与原视频帧尽可能相近的图像，尽可能减少其形状失真，因此在原视频帧网格和矫正后的视频帧对应网格之间应保持一个相似变换，保形能量函数定义为：

       $E_s\left(V_q^t\right)=\frac{1}{N^t}\underset{q}{\mathrm{\Σ}}{\left|\right|({A_q}^t{\left({\left({A_q}^t\right)}^T{A_q}^t\right)}^{-1}{\left({A_q}^t\right)}^T-I)V_q^t\left|\right|}^2$

       ${A_q}^t=\left[\begin{array}{cccc}{{\hat{x}}_0}^t& {{-\hat{y}}_0}^t& 1& 0\\ {{\hat{y}}_0}^t& {{\hat{x}}_0}^t& 0& 1\\ .& .& .& .\\ .& .& .& .\\ .& .& .& .\\ {{\hat{x}}_3}^t& {{-\hat{y}}_3}^t& 1& 0\\ {{\hat{y}}_3}^t& {{\hat{x}}_3}^t& 0& 1\end{array}\right],{V_q}^t=\left[\begin{array}{c}{x_0}^t\\ {y_0}^t\\ .\\ .\\ .\\ {x_3}^t\\ {y_3}^t\end{array}\right]$

其中上标t为视频帧索引，下标q是每帧网格的方格索引，N是网格的方格数，A_q为8*4的矩阵，V_q为8*1的矩阵，为网格变形前一个方格四个顶点对应四对坐标，而(x₀,y₀),…,(x₃,y₃)为相应的变形后对应四对坐标；

步骤五、计算能量函数中的直线保持项E_l

首先对视频中每帧进行预处理，过程为先对每帧进行直线检测，并对检测得到的所有直线依据网格对其进行分割，使得每个子线段只在一个方格中，然后对所有线段按其倾斜角分为m组，使得同组的线段倾斜角基本相同；预处理后为减少直线的失真，保持视频矫正前后直线的平行性和共线性，使得倾斜角相似(同组)的线段矫正过程中旋转角尽可能一致，其能量函数定义为：

       $E_l(V^t,\{{{\mathrm{\θ}}_m}^t\left\}\right)=\frac{1}{{N_L}^t}\underset{j}{\mathrm{\Σ}}{\left|\right|{C_j}^t\left({{\mathrm{\θ}}_{m\left(j\right)}}^t\right){e_{q\left(j\right)}}^t\left|\right|}^2$

       $C=R\hat{e}{\left({\hat{e}}^T\hat{e}\right)}^{-1}{\hat{e}}^T{R}^T-I,R=\left[\begin{array}{cc}\cos {\mathrm{\θ}}_m& -\sin {\mathrm{\θ}}_m\\ \sin {\mathrm{\θ}}_m& \cos {\mathrm{\θ}}_m\end{array}\right]$

其中，R是旋转矩阵，{θ_m ^t}是m组线段的旋转角集合，是方格中线段对应向量，表示变形前线段，是V_q的线性函数，而e表示变形后线段，N_L是线段总数，j是线段索引，q(j)表示线段所在方格索引，m(j)表示线段所在组号；

步骤六、计算能量函数中的边界约束项E_b

为使得变形后视频每帧边界严格为矩形，约束其变形后网格四个边界上的点在图像边界上，其能量函数定义如下：

       $E_b\left(V^t\right)=\underset{v_i\∈L}{\mathrm{\Σ}}{x}_i^2+\underset{v_i\∈R}{\mathrm{\Σ}}{(x_i-w)}^2+\underset{v_i\∈T}{\mathrm{\Σ}}{y}_i^2+\underset{v_i\∈B}{\mathrm{\Σ}}{(y_i-h)}^2$

其中L/R/T/B分别表示左、右、上、下；

步骤七、计算能量函数中的特征点位移约束项E_p

首先对当前帧的前一帧提取特征点，并利用光流法得到当前帧中特征点的对应匹配点位置；然后为保持变形后视频的时域上的连续性，减少抖动等失真现象，保持特征点在变形前后的相对位移尽可能不变，该约束项定义为：

       $E_p=\frac{1}{N_p}\underset{P}{\mathrm{\Σ}}{\left|\right|(P_t^{\′}-P_{t-1}^{\′})-(P_t-P_{t-1})\left|\right|}^2$

其中N_p是检测得到特征点的个数，P_t分别表示第t帧变形前后特征点坐标，P′_t-1,P_t-1则分别表示第t-1帧的相应点；

步骤八、计算能量函数中的网格点位置约束项E_v

为增强时域连续性约束效果，进一步减少不连续的失真，相邻帧对应网格点变形后坐标应保持时域上连续，即尽可能一致，该约束项定义为：

       $E_v=\underset{v}{\mathrm{\Σ}}{\left|\right|{\stackrel{\′}{v}}_t-v_{t-1}^{\′}\left|\right|}^2$

其中，v′_t-1分别表示变形后第t帧和第t-1帧的网格位置坐标；

步骤九、能量函数优化求解

将上述约束条件分别赋予权重，建立用于求解矫正后网格角点位置的能量函数,形式化表示为：

E(V^t,{θ_m ^t})＝w₁E_s+w₂E_l+w₃E_p+w₄E_v+w₅E_b

由于函数中每帧计算只需前一帧的相关信息，故逐帧使用迭代求解稀疏线性方程组的方法求解该能量函数最小化问题即可，得到矫正后的网格点坐标V^t,其中，w₅需足够大严格约束其边界为矩形；

步骤十、图像变形

对每帧根据矫正前的网格和矫正后的网格进行插值，即可获得矫正后的每个视频帧。

有益效果：

(1)对于视频拼接过程中产生的不规则视频，本发明提出了一种切实有效可行的视频矫正方案，方案中采用了内容感知的方法进行视频帧变形，在保持视频内容的情况下实现了不规则视频的矫正。

(2)对于时域连续性保持，本发明提出了两个有效的能量约束项，基于光流的特征点位移约束和保持网格坐标连续约束，有效的保持了矫正后视频时域上平滑连续的视觉效果。

附图说明

图1为本发明基于图像变形的不规则视频矩形化矫正方法的流程图。

具体实施方式

下面结合附图对本发明方法的实施方式做详细说明。

如图1所示，一种基于图像变形的不规则视频矩形化矫正方法，具体实现步骤如下：

步骤一、对视频每帧进行局部变形

局部变形主要基于Seam carving算法，即对于视频中不规则边界的每一帧，利用seam carving算法，通过不断插入长短不一的seam的方式，填充缺失像素，得到规则矩形边界的视频帧，插入的同时记录插入后每个像素点所在原图的位置坐标；

步骤二、设置网格，并将网格变形回原图

对步骤一中得到的每一规则视频帧，将其均匀划分为若干矩形区域，并获得网格角点的坐标，然后利用步骤一中记录的位置信息，获得每个网格角点所在原图的位置坐标，即可将每帧网格变形回原图；

步骤三、网格归一化

对得到的所有覆盖视频帧不规则有效区域的网格，对应位置坐标取均值，得到归一化网格,即是每帧初始网格；

步骤四、计算能量函数中的保形项E_s

为了获得与原视频帧尽可能相近的图像，尽可能减少其形状失真，因此在原视频帧网格和矫正后的视频帧对应网格之间应保持一个相似变换，保形能量函数定义为：

       $E_s\left(V_q^t\right)=\frac{1}{N^t}\underset{q}{\mathrm{\Σ}}{\left|\right|({A_q}^t{\left({\left({A_q}^t\right)}^T{A_q}^t\right)}^{-1}{\left({A_q}^t\right)}^T-I)V_q^t\left|\right|}^2$

       ${A_q}^t=\left[\begin{array}{cccc}{{\hat{x}}_0}^t& {{-\hat{y}}_0}^t& 1& 0\\ {{\hat{y}}_0}^t& {{\hat{x}}_0}^t& 0& 1\\ .& .& .& .\\ .& .& .& .\\ .& .& .& .\\ {{\hat{x}}_3}^t& {{-\hat{y}}_3}^t& 1& 0\\ {{\hat{y}}_3}^t& {{\hat{x}}_3}^t& 0& 1\end{array}\right],{V_q}^t=\left[\begin{array}{c}{x_0}^t\\ {y_0}^t\\ .\\ .\\ .\\ {x_3}^t\\ {y_3}^t\end{array}\right]$

其中上标t为视频帧索引，下标q是每帧网格的方格索引，N是网格的方格数，A_q为8*4的矩阵，V_q为8*1的矩阵，为网格变形前一个方格四个顶点对应四对坐标，而(x₀,y₀),…,(x₃,y₃)为相应的变形后对应四对坐标；

步骤五、计算能量函数中的直线保持项E_l

首先对视频中每帧进行预处理，过程为先对每帧进行直线检测，并对检测得到的所有直线依据网格对其进行分割，使得每个子线段只在一个方格中，然后对所有线段按其倾斜角分为m组，使得同组的线段倾斜角基本相同；预处理后为减少直线的失真，保持视频矫正前后直线的平行性和共线性，使得倾斜角相似(同组)的线段矫正过程中旋转角尽可能一致，其能量函数定义为：

       $E_l(V^t,\{{{\mathrm{\θ}}_m}^t\left\}\right)=\frac{1}{{N_L}^t}\underset{j}{\mathrm{\Σ}}{\left|\right|{C_j}^t\left({{\mathrm{\θ}}_{m\left(j\right)}}^t\right){e_{q\left(j\right)}}^t\left|\right|}^2$

       $C=R\hat{e}{\left({\hat{e}}^T\hat{e}\right)}^{-1}{\hat{e}}^T{R}^T-I,R=\left[\begin{array}{cc}\cos {\mathrm{\θ}}_m& -\sin {\mathrm{\θ}}_m\\ \sin {\mathrm{\θ}}_m& \cos {\mathrm{\θ}}_m\end{array}\right]$

其中，R是旋转矩阵，{θ_m ^t}是m组线段的旋转角集合,该实施例m取值为50，是方格中线段对应向量，表示变形前线段，是V_q的线性函数，而e表示变形后线段，N_L是线段总数，j是线段索引，q(j)表示线段所在方格索引，m(j)表示线段所在组号；

步骤六、计算能量函数中的边界约束项E_b

为使得变形后视频每帧边界严格为矩形，约束其变形后网格四个边界上的点在图像边界上，其能量函数定义如下：

       $E_b\left(V^t\right)=\underset{v_i\∈L}{\mathrm{\Σ}}{x}_i^2+\underset{v_i\∈R}{\mathrm{\Σ}}{(x_i-w)}^2+\underset{v_i\∈T}{\mathrm{\Σ}}{y}_i^2+\underset{v_i\∈B}{\mathrm{\Σ}}{(y_i-h)}^2$

其中L/R/T/B分别表示左、右、上、下；

步骤七、计算能量函数中的特征点位移约束项E_p

首先对当前帧的前一帧提取特征点，并利用光流法得到当前帧中特征点的对应匹配点位置；然后为保持变形后视频的时域上的连续性，减少抖动等失真现象，保持特征点在变形前后的相对位移尽可能不变，该约束项定义为：

       $E_p=\frac{1}{N_p}\underset{P}{\mathrm{\Σ}}{\left|\right|(P_t^{\′}-P_{t-1}^{\′})-(P_t-P_{t-1})\left|\right|}^2$

其中N_p是检测得到特征点的个数，P_t分别表示第t帧变形前后特征点坐标，P′_t-1,P_t-1则分别表示第t-1帧的相应点；

步骤八、计算能量函数中的网格点位置约束项E_v

为增强时域连续性约束效果，进一步减少不连续的失真，相邻帧对应网格点变形后坐标应保持时域上连续，即尽可能一致，该约束项定义为：

       $E_v=\underset{v}{\mathrm{\Σ}}{\left|\right|{\stackrel{\′}{v}}_t-v_{t-1}^{\′}\left|\right|}^2$

其中，v′_t-1分别表示变形后第t帧和第t-1帧的网格位置坐标；

步骤九、能量函数优化求解

将上述约束条件分别赋予权重，建立用于求解矫正后网格角点位置的能量函数,形式化表示为：

E(V^t,{θ_m ^t})＝w₁E_s+w₂E_l+w₃E_p+w₄E_v+w₅E_b

由于函数中每帧计算只需前一帧的相关信息，故逐帧使用迭代求解稀疏线性方程组的方法求解该能量函数最小化问题即可，得到矫正后的网格点坐标V^t；

其中，w₅需足够大严格约束其边界为矩形，该实施例中各权重设置为w₁＝1，w₂＝100,w₃＝30,w₄＝1,w₅＝100000000.0；

步骤十、图像变形

对每帧根据矫正前的网格和矫正后的网格进行插值，该实施例中使用的是双线性插值的方法，即可获得矫正后的每个视频帧。

为了说明本发明的内容及实施方法，本说明书给出了一个具体实施例。在实施例中引入细节的目的不是限制权利要求书的范围，而是帮助理解本发明所述方法。本领域的技术人员应理解：在不脱离本发明及其所附权利要求的精神和范围内，对最佳实施例步骤的各种修改、变化或替换都是可能的。因此，本发明不应局限于最佳实施例及附图所公开的内容。

Claims (1)

1.一种基于图像变形的不规则视频矩形化矫正方法，其特征在于，包括以下步骤：

步骤一、对视频每一帧进行局部变形

对于视频中不规则边界的每一帧，利用seam carving算法，通过不断插入长短不一的seam的方式，填充缺失像素，得到规则矩形边界的视频帧，插入的同时记录插入后每个像素点所在原图的位置坐标；

步骤二、设置网格，并将网格变形回原图

对步骤一中得到的每一规则视频帧，将其均匀划分为若干矩形区域，并获得网格角点的坐标，然后利用步骤一中记录的位置信息，获得每个网格角点所在原图的位置坐标，即可将每帧网格变形回原图；

步骤三、网格归一化

对得到的所有覆盖视频帧不规则有效区域的网格，对应位置坐标取均值，得到归一化网格,即是每帧初始网格；

步骤四、计算能量函数中的保形项E_s

为了获得与原视频帧尽可能相近的图像，尽可能减少其形状失真，因此在原视频帧网格和矫正后的视频帧对应网格之间应保持一个相似变换，保形能量函数定义为：

$E_s\left(V_q^t\right)=\frac{1}{N^t}\underset{q}{\mathrm{\Σ}}{\left|\right|({A_q}^t{\left({\left({A_q}^t\right)}^T{A_q}^t\right)}^{-1}{\left({A_q}^t\right)}^T-I)V_q^t\left|\right|}^2$

${A_q}^t=\left[\begin{array}{cccc}{{\hat{x}}_0}^t& -{{\hat{y}}_0}^t& 1& 0\\ {{\hat{y}}_0}^t& {{\hat{x}}_0}^t& 0& 1\\ .& .& .& .\\ .& .& .& .\\ .& .& .& .\\ {{\hat{x}}_3}^t& -{{\hat{y}}_3}^t& 1& 0\\ {{\hat{y}}_3}^t& {{\hat{x}}_3}^t& 0& 1\end{array}\right],{V_q}^t=\left[\begin{array}{c}{x_0}^t\\ {y_0}^t\\ .\\ .\\ .\\ {x_3}^t\\ {y_3}^t\end{array}\right]$

其中上标t为视频帧索引，下标q是每帧网格的方格索引，N是网格的方格数，A_q为8*4的矩阵，V_q为8*1的矩阵，为网格变形前一个方格四个顶点对应四对坐标，而(x₀,y₀),…,(x₃,y₃)为相应的变形后对应四对坐标；

步骤五、计算能量函数中的直线保持项E_l

首先对视频中每帧进行预处理，过程为先对每帧进行直线检测，并对检测得到的所有直线依据网格对其进行分割，使得每个子线段只在一个方格中，然后对所有线段按其倾斜角分为m组，使得同组的线段倾斜角基本相同；预处理后为减少直线的失真，保持视频矫正前后直线的平行性和共线性，使得倾斜角相似(同组)的线段矫正过程中旋转角尽可能一致，其能量函数定义为：

$E_l(V^t,\{{{\mathrm{\θ}}_m}^t\left\}\right)=\frac{1}{{N_L}^t}\underset{j}{\mathrm{\Σ}}{\left|\right|{C_j}^t\left({{\mathrm{\θ}}_{m\left(j\right)}}^t\right){e_{q\left(j\right)}}^t\left|\right|}^2$

$C=R\hat{e}{\left({\hat{e}}^T\hat{e}\right)}^{-1}{\hat{e}}^T{R}^T-I,R=\left[\begin{array}{cc}\cos {\mathrm{\θ}}_m& -\sin {\mathrm{\θ}}_m\\ \mathrm{sim}{\mathrm{\θ}}_m& \cos {\mathrm{\θ}}_m\end{array}\right]$

其中，R是旋转矩阵，{θ_m ^t}是m组线段的旋转角集合，是方格中线段对应向量，表示变形前线段，是V_q的线性函数，而e表示变形后线段，N_L是线段总数，j是线段索引，q(j)表示线段所在方格索引，m(j)表示线段所在组号；

步骤六、计算能量函数中的边界约束项E_b

为使得变形后视频每帧边界严格为矩形，约束其变形后网格四个边界上的点在图像边界上，其能量函数定义如下：

$E_b\left(V^t\right)=\underset{v_i\∈L}{\mathrm{\Σ}}{x}_i^2+\underset{v_i\∈R}{\mathrm{\Σ}}{(x_i-w)}^2+\underset{v_i\∈T}{\mathrm{\Σ}}{y}_i^2+\underset{v_i\∈B}{\mathrm{\Σ}}{(y_i-h)}^2$

其中L/R/T/B分别表示左、右、上、下；

步骤七、计算能量函数中的特征点位移约束项E_p

首先对当前帧的前一帧提取特征点，并利用光流法得到当前帧中特征点的对应匹配点位置；然后为保持变形后视频的时域上的连续性，减少抖动等失真现象，保持特征点在变形前后的相对位移尽可能不变，该约束项定义为：

$E_p=\frac{1}{N_p}\underset{P}{\mathrm{\Σ}}{\left|\right|(P_t^{\′}-P_{t-1}^{\′})-(P_t-P_{t-1})\left|\right|}^2$

其中N_p是检测得到特征点的个数，P_t分别表示第t帧变形前后特征点坐标，P′_t-1,P_t-1则分别表示第t-1帧的相应点；

步骤八、计算能量函数中的网格点位置约束项E_v

为增强时域连续性约束效果，进一步减少不连续的失真，相邻帧对应网格点变形后坐标应保持时域上连续，即尽可能一致，该约束项定义为：

$E_v=\underset{v}{\mathrm{\Σ}}{\left|\right|{\stackrel{\′}{v}}_t-v_{t-1}^{\′}\left|\right|}^2$

其中，v′_t-1分别表示变形后第t帧和第t-1帧的网格位置坐标；

步骤九、能量函数优化求解

将上述约束条件分别赋予权重，建立用于求解矫正后网格角点位置的能量函数,形式化表示为：

E(V^t，{θ_m ^t})＝w₁E_s+w₂E_l+w₃E_p+w₄E_v+w₅E_b

由于函数中每帧计算只需前一帧的相关信息，故逐帧使用迭代求解稀疏线性方程组的方法求解该能量函数最小化问题即可，得到矫正后的网格点坐标V^t；

步骤十、图像变形

对每帧根据矫正前的网格和矫正后的网格进行插值，即可获得矫正后的每个视频帧。