CN106954044A - 一种视频全景化处理的方法及系统 - Google Patents

Abstract

本发明公开了一种视频全景化处理方法及系统，方法包括以下步骤：（1）将摄像机编号，并根据编号排列摄像机；（2）每台摄像机采集视频中的静态图像；（3）对相邻摄像机采集的同一时刻的静态图像进行图像匹配；（4）采用步骤（3）中的方法对所有摄像机采集的静态图像进行图像匹配，完成静态图像的全景化处理，对每一时刻的静态图像进行上述处理，完成视频的全景化处理；本发明可以大大提升监控体验和效率，减少传统监控方式在全范围观察时的遗漏，为实时指挥调度提供迅捷、准确的决策辅助。

Description

一种视频全景化处理的方法及系统

技术领域

本发明属于安防领域，尤其适用于三维立体平台下的视频监控领域。

背景技术

视频监控系统是运用摄像、存储设备在相关点位进行监视，以达到保护、防范等作用的系统。传统的视频监控系统是通过电视墙将不同地点的视频图像分屏显示，但由于分离图像相互独立，无法做好空间上无缝的衔接，在发生紧急情况是，多个镜头画面的切换与观察，会大大降低监控人员的反应速度与决策速度。

随着云计算、大数据以及智能化终端的兴起，视频监控行业正在全方面的高速发展，全景视频技术对安防行业有着至关重要的作用。运用全景成像技术来改进现有的平面监控系统，可以有效解决常规监控的瓶颈，基于全景成像的监控系统使管理人员进行360度视角范围内同步全景观察，大大提升了监控体验和效率，减少传统监控方式在全范围观察时的遗漏，为实时指挥调度提供迅捷、准确的决策辅助。因此，基于全景成像的监控技术亟待改进。

发明内容

为了解决现有技术的不足，本发明提供了一种视频全景化处理的方法，通过本发明，可以大大提升监控体验和效率，减少传统监控方式在全范围观察时的遗漏，为实时指挥调度提供迅捷、准确的决策辅助。

本发明的技术方案为：

一种视频全景化处理方法，包括以下步骤：

(1)将摄像机编号，并根据编号排列摄像机；

(2)每台摄像机采集视频中的静态图像；

(3)对相邻摄像机采集的同一时刻的静态图像进行图像匹配；

(4)采用步骤(3)中的方法对所有摄像机采集的静态图像进行图像匹配，完成静态图像的全景化处理，对每一时刻的静态图像进行上述处理，完成视频的全景化处理。

进一步的，在步骤(3)中进行图像匹配的方法采用：首先对相邻摄像机采集的同一时刻的静态图像进行旋转度分析，得到图像旋转参数；然后根据图像旋转参数对所述静态图像进行修正；将修正后的图像进行图像匹配。

进一步的，所述旋转度分析的方法为：将相邻两幅静态图像视为原图像和移位后图像，利用相邻两幅静态图像具有相同的互功率谱函数的原理，得到位移后图像相对于原图像的位移改变量；根据所述位移改变量，得到位移后图像相对于原图像的旋转角度。

进一步的，设原图像为f[x,y]，位移后的图像g[x,y]为：

g[x,y]＝f[x+x₀,y+y₀]

根据傅里叶变换的位移不变性，图像g[x,y]的频域函数可以表示为：

将互功率谱函数进行逆傅里叶变换可以得到(x+x₀,y+y₀)处的脉冲函数m[x,y]：

m[x,y]＝δ[x+x₀,y+y₀]

根据上式可以计算出原图像f[x,y]和位移后图像g[x,y]间的位移参数为(x₀,y₀)。

设图像g[x,y]是图像f[x,y]经过旋转θ₀后的图像，即

g[x,y]＝f[xcosθ₀+ysinθ₀,xcosθ₀-ysinθ₀]

则在极坐标系下，图像g[x,y]和图像f[x,y]间的关系可表示为：

g[x,y]＝g[ρ,θ]＝f[ρ,θ+θ₀]

则极坐标下图像g[x,y]的离散傅里叶变换为：

由此可以得出图像g[x,y]和图像f[x,y]的旋转角度为θ₀。

进一步的，所述匹配方法具体为：构建尺度空间，在尺度空间中确定关键点，采用直方图统计法确定关键点的主方向，根据关键点的主方向旋转静态图像，用以保证匹配后图像的旋转不变形，在具有旋转不变性的图像中，为所述关键点生成特征描述子，然后采用相似度检测函数通过所述特征描述子检验关键点的相似度，完成静态图像间的匹配。

进一步的，构建尺度空间的方法为：采用基于高斯算子的高斯差值算子构建尺度空间。

进一步的,高斯算子为：

高斯差分算子为:

D(x,y,σ)＝(G(x,y,Kσ)-G(x,y,σ))*P(x,y)

其中，P(x,y)为图像中的像素点；*为卷积运算；σ为尺度因子，σ的值决定图像的平滑程度，通过上述操作构建出M组高斯金字塔，每组高斯金字塔S层。

进一步的，在尺度空间中确定关键点的方法为：在尺度空间中，将每一层尺度空间中除第一层和最后一层外的其他所有层中的像素点与周围的X个像素点比较，当该点的值比周围的所有X个点的值都大或者都小时即认为该点为关键点。

进一步的，在确定关键点后，剔除对噪声不敏感的关键点以及稳定性不符合设定要求的关键点。

进一步的，采用拟和三维二次方程法剔除对噪声不敏感的关键点；基于关键点处的Hessian矩阵，剔除稳定性不符合设定要求的关键点。

进一步的,所述拟和三维二次方程法剔除对噪声不敏感的关键点具体为:将极值点X处的尺度空间函数D(X)的泰勒展开式求导，D(X)的泰勒展开式可表示为：

当D(X)的导数为零时得到局部极值点

将代入D(X)中得到关键点处的尺度空间函数值

的值可以表示该极值点的对比度，剔除的极值点。

进一步的,对稳定性不符合设定要求的关键点的筛选具体为：利用关键点X处的Hessian矩阵H求解该极值点处主曲率的方式进行剔除。Hessian矩阵H可表示为：

设H的特征值为α、β，且α＝mβ，则H矩阵的秩Tr(H)的行列式Det(H)可表示为：

Tr(H)＝D_xx+D_yy＝α+β

Det(H)＝D_xxD_yy-(D_xy)²＝αβ

则

将上式的值和预设阈值m进行比较可以间接剔除掉稳定性不符合设定要求的关键点。

进一步的，采用直方图统计法确定关键点的主方向的方法为：统计区域为以关键点为圆心，1.5σ为半径的圆形区域，将统计区域中每10度划分为一个单元，共36个单元；每个邻域点对关键点的方向的贡献以与关键点的距离为参数呈高斯递减，直方图的峰值即为该关键点的主方向。

进一步的，将直方图中统计值大于主方向统计值80％的方向作为该关键点的辅方向，用于增加图像配准的稳健性。

进一步的，为所述关键点生成特征描述子的方法为：以关键点为中心选取一个M²*M²的邻域窗口，并将该邻域窗口划分为M²个M×M的子区域，在每个子区域中每W度划分一个方向，将360度划分为360/W个方向；然后以与关键点的距离为参数以高斯递减的方式进行直方图统计，统计出每个区域中各个方向的权重；在完成对M²个子区域的方向统计后，以各个子区域与关键的距离为参数再次以高斯递减的方式进行直方图统计，至此得到关键点的N维向量作为该关键点的特征描述子。

本发明还提供了一种视频全景化处理系统，包括根据编号排列的各个摄像机；每台摄像机的输出与一处理器相连接，处理器获取各个摄像机采集的视频流中的静态图像，并进行图像匹配，将匹配后的图像返回至各个摄像机，对每一时刻的静态图像进行上述处理，完成视频的全景化处理。

进一步的，所述图像匹配过程包括：对相邻摄像机采集的同一时刻的静态图像进行旋转度分析，得到图像旋转参数；然后根据图像旋转参数对视频进行修正，完成全景化处理。

与现有技术相比，本发明的有益效果是：

通过本发明，可以大大提升监控体验和效率，减少传统监控方式在全范围观察时的遗漏，为实时指挥调度提供迅捷、准确的决策辅助。

附图说明

构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。

图1为本发明的方法流程图。

具体实施方式

应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

实施例1：一种视频全景化处理方法：包括以下步骤：

步骤1：摄像机按照顺序进行排列并标记序号；

步骤2：采集静态视频图像；

步骤3：对采集到的相邻视频图像进行旋转度分析；

步骤4：记录步骤3获得的图像旋转参数并对旋转图像作出修正；

步骤5：对修正后的图像进行匹配；

步骤6：完成全景视频拼接。

计算旋转度：

图像经过离散傅里叶变换由时域变换到频域，利用两幅图相同的互功率谱函数在频域中求解图像旋转参数。假设原图像为f[x,y]，位移后的图像g[x,y]为：

g[x,y]＝f[x+x₀,y+y₀] (1)

根据傅里叶变换的位移不变性，图像g[x,y]的频域函数可以表示为：

将互功率谱函数进行逆傅里叶变换可以得到(x+x₀,y+y₀)处的脉冲函数m[x,y]：

m[x,y]＝δ[x+x₀,y+y₀] (3)

据此可以计算出原图像f[x,y]和位移后图像g[x,y]间的位移参数为(x₀,y₀)。

假设图像g[x,y]是图像f[x,y]经过旋转θ₀后的图像，即

g[x,y]＝f[xcosθ₀+ysinθ₀,xcosθ₀-ysinθ₀ (4)

则在极坐标系下，图像g[x,y]和图像f[x,y]间的关系可表示为：

g[x,y]＝g[ρ,θ]＝f[ρ,θ+θ₀] (5)

则极坐标下图像g[x,y]的离散傅里叶变换为：

由此可以得出图像g[x,y]和图像f[x,y]的旋转角度为θ₀。

匹配采用高斯算子G(x,y,σ)的高斯差值算子DOG算子D(x,y,σ)构建尺度空间。高斯算子可表示为：

则高斯差分算子可表示为

D(x,y,σ)＝(G(x,y,Kσ)-G(x,y,σ))*P(x,y) (8)

其中，P(x,y)为图像中的像素点；*为卷积运算；σ为尺度因子，σ的值决定图像的平滑程度，σ的值越大越能显示图像的整体特性和概貌性特征，σ的值越小显示的图像的细节性特征越多。通过上述操作可以构建出M组高斯金字塔，每组高斯金字塔S层。

在尺度空间构建完成后，将每一层尺度空间中除第一层和最后一层外的其他所有层中的像素点与周围的26个像素点比较。当该点的值比周围的所有26个点的值都大或者都小时即认为该点为关键点。

在各个尺度空间的关键点求解完成后，剔除对噪声敏感的低对比度点和不稳定的关键点并定位关键点。剔除对噪声敏感的低对比度点的方法是采用拟和三维二次方程法对关键点进行筛选。拟和三维二次方程法将极值点X处的尺度空间函数D(X)的泰勒展开式求导，D(X)的泰勒展开式可表示为：

当D(X)的导数为零时得到局部极值点

将代入D(X)中得到关键点处的尺度空间函数值

的值可以表示该极值点的对比度，通常剔除的极值点。对不稳定的关键点的筛选采用利用关键点X处的Hessian矩阵H求解该极值点处主曲率的方式进行剔除。Hessian矩阵H可表示为：

设H的特征值为α、β，且α＝mβ，则H矩阵的秩Tr(H)的行列式Det(H)可表示为：

Tr(H)＝D_xx+D_yy＝α+β (13)

Det(H)＝D_xxD_yy-(D_xy)²＝αβ (14)

则

由式15可知，矩阵H的两个特征值α和β的比值m越大，式15的值越大。在不稳定的关键点处矩阵H的两个特征值与真值差距较大，因此，将式15的值和预设阈值进行比较可以间接剔除掉一些不稳定的关键点，本实施例预设阈值m为10。

为了实现图像旋转的不变性，基于图像的局部属性为每一个关键点分配一主个方向，对关键点的描述转化为对其主方向的描述。为了提高配准精度，本算法采用直方图统计法计算关键点的主方向，统计区域为以关键点为圆心，1.5σ为半径的圆形区域。本方法将统计区域中每10度划分为一个单元，共36个单元；每个邻域点对关键点的方向的贡献以与关键点的距离为参数呈高斯递减，直方图的峰值即为该关键点的主方向。为了增加图像配准的稳健性，将直方图中统计值大于主方向统计值80％的方向作为该关键点的辅方向。

在关键点的主方向确定后，为筛选后的每个关键点生成特征描述子。

为保证旋转不变性，将坐标轴旋转到关键点的同一主方向，然后以关键点为中心选取一个16×16的邻域窗口，并将该邻域窗口划分为16个4×4的子区域。在每个子区域中每45度划分一个方向，将360度划分为8个方向；然后以与关键点的距离为参数以高斯递减的方式进行直方图统计，统计出每个区域中各个方向的权重。在完成对16个子区域的方向统计后，以各个子区域与关键的距离为参数再次以高斯递减的方式进行直方图统计，至此得到关键点的128维向量。在对每幅图像中的关键点完成生成128维向量后，通过相似度检测函数检测图像间的相似度，完成图像间的匹配。

实施例2：本发明的另一实施例是，在实施例1的基础上，应用在监狱、看守所或拘留所等需要重点监控的地方，将上述生成特征描述子的方法改变为采用SIFT或SURF特征描述子检验图像之间的相似度。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种视频全景化处理方法，其特征在于：包括以下步骤：

(1)将摄像机编号，并根据编号排列摄像机；

(2)每台摄像机采集视频中的静态图像；

(3)对相邻摄像机采集的同一时刻的静态图像进行图像匹配；

(4)采用步骤(3)中的方法对所有摄像机采集的静态图像进行图像匹配，完成静态图像的全景化处理，对每一时刻的静态图像进行上述处理，完成视频的全景化处理。

2.根据权利要求1所述方法，其特征在于：在步骤(3)中进行图像匹配的方法采用：首先对相邻摄像机采集的同一时刻的静态图像进行旋转度分析，得到图像旋转参数；然后根据图像旋转参数对所述静态图像进行修正；将修正后的图像进行图像匹配。

3.根据权利要求2所述方法，其特征在于：所述旋转度分析的方法为：将相邻两幅静态图像视为原图像和移位后图像，利用相邻两幅静态图像具有相同的互功率谱函数的原理，得到位移后图像相对于原图像的位移改变量；根据所述位移改变量，得到位移后图像相对于原图像的旋转角度。

4.根据权利要求2所述方法，其特征在于：所述匹配方法具体为：构建尺度空间，在尺度空间中确定关键点，采用直方图统计法确定关键点的主方向，根据关键点的主方向旋转静态图像，用以保证匹配后图像的旋转不变形，在具有旋转不变性的图像中，为所述关键点生成特征描述子，然后采用相似度检测函数通过所述特征描述子检验关键点的相似度，完成静态图像间的匹配。

5.根据权利要求4所述方法，其特征在于：构建尺度空间的方法为：采用基于高斯算子的高斯差值算子构建尺度空间。

6.根据权利要求4所述方法，其特征在于：在尺度空间中确定关键点的方法为：在尺度空间中，将每一层尺度空间中除第一层和最后一层外的其他所有层中的像素点与周围的26个像素点比较，当该点的值比周围的所有26个点的值都大或者都小时即认为该点为关键点。

7.根据权利要求4所述方法，其特征在于：在确定关键点后，剔除对噪声不敏感的关键点以及稳定性不符合设定要求的关键点。

8.根据权利要求4所述方法，其特征在于：采用拟和三维二次方程法剔除对噪声不敏感的关键点；基于关键点处的Hessian矩阵，剔除稳定性不符合设定要求的关键点。

9.根据权利要求4所述方法，其特征在于：为所述关键点生成特征描述子的方法为：以关键点为中心选取一个M²*M²的邻域窗口，并将该邻域窗口划分为M²个M×M的子区域，在每个子区域中每W度划分一个方向，将360度划分为360/W个方向；然后以与关键点的距离为参数以高斯递减的方式进行直方图统计，统计出每个区域中各个方向的权重；在完成对M²个子区域的方向统计后，以各个子区域与关键的距离为参数再次以高斯递减的方式进行直方图统计，至此得到关键点的N维向量作为该关键点的特征描述子。

10.一种基于权利要求1的视频全景化处理系统，其特征在于：包括根据编号排列的各个摄像机；每台摄像机的输出与一处理器相连接，处理器获取各个摄像机采集的视频流中的静态图像，并进行图像匹配，并将匹配后的图像返回至各个摄像机，对每一时刻的静态图像进行上述处理，完成视频的全景化处理。