CN103020941A

CN103020941A - 基于全景拼接的旋转摄像头背景建立法及运动物体检测法

Info

Publication number: CN103020941A
Application number: CN201210584011XA
Authority: CN
Inventors: 韩光; 李晓飞; 孙宁; 陈德印; 王鹏; 赵栖平
Original assignee: Kunshan Industrial Technology Research Institute Co Ltd
Current assignee: Kunshan Industrial Technology Research Institute Co Ltd
Priority date: 2012-12-28
Filing date: 2012-12-28
Publication date: 2013-04-03

Abstract

本发明公开了一种基于全景拼接的旋转摄像头背景建立法以及采用该背景建立方法的运动物体检测法，本发明的背景建立方法包括特征点提取、特征点匹配、图片拼接及图像融合，本发明是基于特征点匹配的图像拼接方法，是一个对变化背景的运动物体识别解决方案，在实际的视频监控、行为分析、电子警察的领域有广阔的应用，与现有技术相比，使用本发明的方法，用户可以很好的解决当前运动物体识别中背景变化的难题；并且是基于稳定特征点的匹配拼接，目标物体可以精确识别；只需用一个旋转摄像头就可进行区域内360度全景检测，所以本发明减少了显示器的耗费，同时自动视频检测可以使视频监控的效率更高。

Description

基于全景拼接的旋转摄像头背景建立法及运动物体检测法

技术领域

本发明属于视屏监控和图像识别技术领域，具体地说是一种基于全景拼接的运动物体检测方法。

背景技术

随着经济发展和生活水平的提高，安防产品已经渗透到各行各业，安防应用已经对人们的日常生活产生了息息相关的影响。视频分析可以大大提高监控效率，还能从复杂的数据中辨认行为和类型，甚至可以提供操作命令、数据和信息。视频监控系统不仅仅被认为是事后搜寻犯罪嫌疑人的手段，而且是一种阻止犯罪发生的辅助手段。近年来，旋转摄像头在小区、银行、交通路口都随处可见，但是现在算法只能针对静止摄像头的背景进行前景提取，在很多视野开阔的区域很难进行24小时人工检测，以前的方法很难对现在情况进行处理，之前的大多数方法都是基于静止背景处理，而现在的旋转摄像头背景在不断变化，通过帧差法进行前景提取在这样的情况下是没法实现的。需要获得完整的全景图片就得全景拼接，现在这方面的需要已经越来越急迫。视频监控系统很大程度取决于智能分析系统的成功与否，监控系统由目视解释转变为自动解释是视频监控技术的飞跃，是安防技术发展的必然。

一般视频大屏幕都是通过小屏幕拼接起来的，这样可以做到大范围内的覆盖，但无法做到360度的无缝连接，同时追踪运动目标还不能实现自动追踪。现有技术比较浪费资源，耗费大量的人力成本。

发明内容

为了克服上述缺陷，本发明提供了一种基于全景拼接的旋转摄像头背景建立方法以及基于该背景建立方法的运动物体检测方法，本发明的基于全景拼接的旋转摄像头背景建立方法以及运动物体检测方法可以有效地建立可靠的全景图像背景及前景，不需要多摄像头对各个区域进行检测，只需用一个旋转摄像头就可进行区域内360度全景检测，所以本发明减少了显示器的耗费，同时自动视频检测可以使视频监控的效率更高。

本发明为了解决其技术问题所采用的技术方案是：

一种基于全景拼接的旋转摄像头背景建立方法，包括以下步骤：

1）特征点提取：首先在尺度空间进行特征检测，并确定关键点的位置和关键点所处的尺度，然后使用关键点邻域梯度的主方向作为该点的方向特征，以实现算子对尺度和方向的无关性；

2）特征点匹配：从多幅待匹配图像中提取出对尺度缩放旋转亮度变化无关的特征向量并进行匹配，采用RANSAC算法进行匹配点对提纯，最后采用L-M算法优化计算透视矩阵；

3）图片拼接：根据图像间透视矩阵，对相应的图像进行交换以确定图像间的重叠区域，并将待融合的图像注册到一幅新的空白图像中形成拼接图；

4）图像融合：旋转摄像头在拍摄照片时自动选择曝光参数，从而使图像间存在光度差异，导致拼接后的图像缝合线两端出现明显的明暗变化，采用多分辨率纹理解决拼接缝问题。

进一步地说，在进行步骤1）特征点提取之前，还需要对旋转摄像头采集到的实时图片进行柱面投影。

所述柱面投影的算法是：

\begin{matrix} \{\begin{matrix} x^{'} = r \cdot \sin (θ / 2) - r \cdot \sin α & x < = W / 2 \\ x^{'} = r \cdot \sin (θ / 2) + r \cdot \sin α & x > W / 2 \\ \tan α = \frac{(W / 2 - x)}{r} & x < = W / 2 \\ \tan α = \frac{(x - W / 2)}{r} & x > W / 2 \end{matrix} \\ \{\begin{matrix} y^{'} = \frac{H}{2} - \frac{r \cdot (H / 2 - y)}{k} & y < = H / 2 \\ y^{'} = \frac{H}{2} + \frac{r \cdot (H / 2 - y)}{k} & y > H / 2 \\ \tan β = \frac{H / 2 - y}{k} & y < = H / 2 \\ \tan β = \frac{H / 2 + y}{k} & y > H / 2 \end{matrix} \end{matrix}

由上述两组公式可以得到投影公式：

\{\begin{matrix} r = \frac{W}{2 \cdot \tan (θ / 2)} \\ k = \sqrt{r^{2} + {(W / 2 - x)}^{2}} \end{matrix}

\{\begin{matrix} x = \frac{W}{2} + r \cdot \tan (\arcsin (x^{'} - r \cdot \sin (θ / 2))) \\ y = \frac{H}{2} + \frac{k \cdot (y^{'} - H / 2)}{2} \end{matrix}

其中(x,y)为源图像的任一点坐标，(x＇,y＇)是其在柱面上的投影坐标点，摄像头的焦距为f等于投影柱面的半径r，投影角为θ，假设原图像的宽度为w，高度为H。

为了得到更精确的（x＇,y＇）的颜色值，需要考虑到该点周围16个相邻点的颜色值对它的影响，利用三差值卷积来完成此步骤：

S (x) = \{\begin{matrix} 1 - (λ + 3) \cdot {| x |}^{2} + (λ + 2) \cdot {| x |}^{3} (| x | < 1) \\ - (4 \cdot λ) + (8 \cdot λ) \cdot | x | - (5 - λ) \cdot x^{2} + λ \cdot {| x |}^{3} (1 \leq | x | \leq 2) \\ 0 (| x | &GreaterEqual; 2) \end{matrix}

其中λ取-1，-2或-0.5来调节锐化和模糊程度。一般λ取-1。

进一步地说，步骤1）特征点提取的具体方法是：检测尺度空间极值初步确定关键点位置和所在尺度，通过拟合三维二次函数以精确确定关键点的位置和尺度，同时去除低对比度的关键点和不稳定的边缘相应点，利用关键点邻域像素的梯度方向分布特性为每个关键点指定方向参数，生成本地特征点描述符。

进一步地说，步骤2）特征点匹配的具体方法是：

当两幅图像的特征向量生成后，采用关键点特征向量的欧氏距离作为两幅图中关键点的相似性判定度量，取图像a中的某个关键点，并找出其与图像b中“欧氏距离”最近的前两个关键点，在这两个关键点中，如果最近的距离除以次近的距离少于某个比例阈值，则接受这一对匹配点；

使用能够迭代求精具有鲁棒性的估算算法对粗略匹配点对进行提纯，提出伪匹配点，给定N个数据点组成的数据集合P，假设它们中的绝大多数是由一个参数未知的特定模型产生，将下述过程运行K次：

①将P中随机选择n个数据点的子集S1；

②由选取的这n个数据点计算出一个模型M；

③对数据集合中其与的N-n个数据点，计算出它们与模型M之间的距离，记录在Ml的某个误差允许范围内的P中数据点的个数count。

重复步骤①~③K次获得最大count值得模型即为所求模型；

为了去除匹配的特征点集中的误匹配点对，采用RANSAC（Random Sample Consensus）算法（即随机采样一致算法）：

①从匹配的特征点对集中随机选取4个特征点对；

②判断4个特征点对是否存在任意3点共线的情况，如果3点共线则执行①，否则执行③；

③将选取的4个特征点对计算出坐标变换矩阵H；

④配准误差Dis：对匹配的特征点对集中的其它匹配特征点对，计算出它们与模型H之间的距离dis；

⑤设定一个距离阈值T，如果dis<=T，则认为特征点匹配对为内点；

重复①~⑤K次之后，内点数最多，同时配准误差Dis最小的坐标变换矩阵H即为所求的坐标变换矩阵，

其中配准误差公式为：

Dis = \sqrt{\frac{Σ_{i = 1}^{n} dis {(X_{i}^{'}, {HX}_{i})}^{2}}{n}}

dis {(X^{'}, HX)}^{2} = \sqrt{{(x^{'} - x_{c})}^{2} + {(y^{'} - y_{c})}^{2}}

K = \frac{\log (1 - p)}{\log (1 - {(1 - ϵ)}^{s})}

最后采用L-M算法优化计算透视矩阵。

进一步地说，步骤4）图像融合的具体方法是：先将图像分解为一组带通图像；然后在每一频率带内使用不同的加权函数和拼接区域宽度将分解的带通图像拼接合成对应的带通图，在每一个频率带内，加权函数的系数和拼接区域宽度是由两幅图像在该频率带的差异决定的。

一种基于全景拼接的运动物体检测方法，按下述步骤进行：

1）旋转摄像头的背景建立：采用上述的基于全景拼接的旋转摄像头背景建立方法；

2）运动目标检测识别。

进一步地说，步骤2）运动目标检测识别的具体方法是：首先把当前帧的灰度图像与背景做绝对值减法，可以得到一幅差值图像，使用自适应阈值T对得到的差值图像做二值化处理，对二值图像做一系列的处理，消除噪声和背景扰动带来的影响，此时得到图像前景块，对此前景块进行检测，以判断是否是目标，其中自适应阈值T的公式为：

T = \arg \max_{0 \leq t \leq m} {| w_{0} (t) {(μ_{0} (t) - μ (t))}^{2} + w_{1} (t) {(μ_{1} (t) - μ (t))}^{2} | (1 - p (t))}

。

本发明的有益效果是：本发明是基于特征点匹配的图像拼接方法，是一个对变化背景的运动物体识别解决方案，在实际的视频监控、行为分析、电子警察的领域有广阔的应用，与现有技术相比，使用本发明的方法，用户可以很好的解决当前运动物体识别中背景变化的难题；并且是基于稳定特征点的匹配拼接，目标物体可以精确识别。

附图说明

图1为本发明的特征点提取原理框图。

具体实施方式

实施例1：一种基于全景拼接的旋转摄像头背景建立方法，按下述步骤进行：

首先，首先从旋转摄像头获得场景的实时图片。对获取的图片进行预处理，本发明的预处理是对图片首先进行柱面投影。

柱面投影的具体算法是：

\begin{matrix} \{\begin{matrix} x^{'} = r \cdot \sin (θ / 2) - r \cdot \sin α & x < = W / 2 \\ x^{'} = r \cdot \sin (θ / 2) + r \cdot \sin α & x > W / 2 \\ \tan α = \frac{(W / 2 - x)}{r} & x < = W / 2 \\ \tan α = \frac{(x - W / 2)}{r} & x > W / 2 \end{matrix} \\ \{\begin{matrix} y^{'} = \frac{H}{2} - \frac{r \cdot (H / 2 - y)}{k} & y < = H / 2 \\ y^{'} = \frac{H}{2} + \frac{r \cdot (H / 2 - y)}{k} & y > H / 2 \\ \tan β = \frac{H / 2 - y}{k} & y < = H / 2 \\ \tan β = \frac{H / 2 + y}{k} & y > H / 2 \end{matrix} \end{matrix}

由上述两组公式得到投影公式：

\{\begin{matrix} r = \frac{W}{2 \cdot \tan (θ / 2)} \\ k = \sqrt{r^{2} + {(W / 2 - x)}^{2}} \end{matrix}

\{\begin{matrix} x = \frac{W}{2} + r \cdot \tan (\arcsin (x^{'} - r \cdot \sin (θ / 2))) \\ y = \frac{H}{2} + \frac{k \cdot (y^{'} - H / 2)}{2} \end{matrix}

在对进行柱面投影的实际计算中，变换后的点坐标不是整数坐标，假如只是对坐标进行取证运算，就会造成投影之后的图像可能出现由于几个像素挤在一起造成的几何失真或者视图空洞。为了避免这一现象就需要采用图像插值技术。

S (x) = \{\begin{matrix} 1 - (λ + 3) \cdot {| x |}^{2} + (λ + 2) \cdot {| x |}^{3} (| x | < 1) \\ - (4 \cdot λ) + (8 \cdot λ) \cdot | x | - (5 - λ) \cdot x^{2} + λ \cdot {| x |}^{3} (1 \leq | x | \leq 2) \\ 0 (| x | &GreaterEqual; 2) \end{matrix}

其中λ取-1，-2或-0.5等来调节锐化和模糊程度。一般λ取-1。

如果使用水平的摄像头进行旋转采集完成相似的360度全景拼接，此时就不需要进行图像的锐化处理了，直接拼接即可。

然后，检测尺度空间极值初步确定关键点位置和所在尺度，通过拟合三维二次函数以精确确定关键点的位置和尺度，同时去除低对比度的关键点和不稳定的边缘相应点，利用关键点邻域像素的梯度方向分布特性为每个关键点指定方向参数，生成本地特征点描述符。具体如图1原理框图所示。

接着，进行特征点匹配：当两幅图像的特征向量生成后，采用关键点特征向量的欧氏距离作为两幅图中关键点的相似性判定度量，取图像a中的某个关键点，并找出其与图像b中“欧氏距离”最近的前两个关键点，在这两个关键点中，如果最近的距离除以次近的距离少于某个比例阈值，则接受这一对匹配点；

①将P中随机选择n个数据点的子集S1；

②由选取的这n个数据点计算出一个模型M；

重复步骤①~③K次获得最大count值得模型即为所求模型；

①从匹配的特征点对集中随机选取4个特征点对；

③将选取的4个特征点对计算出坐标变换矩阵H；

其中配准误差公式为：

Dis = \sqrt{\frac{Σ_{i = 1}^{n} dis {(X_{i}^{'}, {HX}_{i})}^{2}}{n}}

dis {(X^{'}, HX)}^{2} = \sqrt{{(x^{'} - x_{c})}^{2} + {(y^{'} - y_{c})}^{2}}

T=1

K = \frac{\log (1 - p)}{\log (1 - {(1 - ϵ)}^{s})}

s=4 , P=0.95

最后采用L-M算法优化计算透视矩阵。

接着，进行图片拼接：根据图像间透视矩阵，对相应的图像进行交换以确定图像间的重叠区域，并将待融合的图像注册到一幅新的空白图像中形成拼接图。

图像拼接的最后一步，也是图像拼接的另一关键技术便是图像融合。图像融合的具体方法是：先将图像分解为一组带通图像；然后在每一频率带内使用不同的加权函数和拼接区域宽度将分解的带通图像拼接合成对应的带通图，在每一个频率带内，加权函数的系数和拼接区域宽度是由两幅图像在该频率带的差异决定的。

实施例2：一种基于全景拼接的运动物体检测方法，首先采实施例1的基于全景拼接的旋转摄像头背景建立方法建立背景；然后进行运动目标检测识别。

其中，运动目标检测识别的具体方法是：首先把当前帧的灰度图像与背景做绝对值减法，可以得到一幅差值图像，使用自适应阈值T对得到的差值图像做二值化处理，对二值图像做一系列的处理，消除噪声和背景扰动带来的影响，此时得到图像前景块，对此前景块进行检测，以判断是否是目标，其中自适应阈值T的公式为：

T = \arg \max_{0 \leq t \leq m} {| w_{0} (t) {(μ_{0} (t) - μ (t))}^{2} + w_{1} (t) {(μ_{1} (t) - μ (t))}^{2} | (1 - p (t))}

。

Claims

1.一种基于全景拼接的旋转摄像头背景建立方法，其特征在于：包括以下步骤：

2.如权利要求1所述的基于全景拼接的旋转摄像头背景建立方法，其特征在于：在进行步骤1）特征点提取之前，还需要对旋转摄像头采集到的实时图片进行柱面投影。

3.如权利要求2所述的基于全景拼接的旋转摄像头背景建立方法，其特征在于：所述柱面投影的算法是：

\begin{matrix} \{\begin{matrix} x^{'} = r \cdot \sin (θ / 2) - r \cdot \sin α & x < = W / 2 \\ x^{'} = r \cdot \sin (θ / 2) + r \cdot \sin α & x > W / 2 \\ \tan α = \frac{(W / 2 - x)}{r} & x < = W / 2 \\ \tan α = \frac{(x - W / 2)}{r} & x > W / 2 \end{matrix} \\ \{\begin{matrix} y^{'} = \frac{H}{2} - \frac{r \cdot (H / 2 - y)}{k} & y < = H / 2 \\ y^{'} = \frac{H}{2} + \frac{r \cdot (H / 2 - y)}{k} & y > H / 2 \\ \tan β = \frac{H / 2 - y}{k} & y < = H / 2 \\ \tan β = \frac{H / 2 + y}{k} & y > H / 2 \end{matrix} \end{matrix}

由上述两组公式得到投影公式：

\{\begin{matrix} r = \frac{W}{2 \cdot \tan (θ / 2)} \\ k = \sqrt{r^{2} + {(W / 2 - x)}^{2}} \end{matrix}

\{\begin{matrix} x = \frac{W}{2} + r \cdot \tan (\arcsin (x^{'} - r \cdot \sin (θ / 2))) \\ y = \frac{H}{2} + \frac{k \cdot (y^{'} - H / 2)}{2} \end{matrix}

4.如权利要求3所述的基于全景拼接的旋转摄像头背景建立方法，其特征在于：为了得到更精确的（x＇,y＇）的颜色值，需要考虑到该点周围16个相邻点的颜色值对它的影响，利用三差值卷积来完成此步骤：

S (x) = \{\begin{matrix} 1 - (λ + 3) \cdot {| x |}^{2} + (λ + 2) \cdot {| x |}^{3} (| x | < 1) \\ - (4 \cdot λ) + (8 \cdot λ) \cdot | x | - (5 - λ) \cdot x^{2} + λ \cdot {| x |}^{3} (1 \leq | x | \leq 2) \\ 0 (| x | &GreaterEqual; 2) \end{matrix}

其中λ取-1，-2或-0.5来调节锐化和模糊程度。

5.如权利要求1所述的基于全景拼接的旋转摄像头背景建立方法，其特征在于：步骤1）特征点提取的具体方法是：检测尺度空间极值初步确定关键点位置和所在尺度，通过拟合三维二次函数以精确确定关键点的位置和尺度，同时去除低对比度的关键点和不稳定的边缘相应点，利用关键点邻域像素的梯度方向分布特性为每个关键点指定方向参数，生成本地特征点描述符。

6.如权利要求1所述的基于全景拼接的旋转摄像头背景建立方法，其特征在于：步骤2）特征点匹配的具体方法是：

①将P中随机选择n个数据点的子集S1；

②由选取的这n个数据点计算出一个模型M；

③对数据集合中其与的N-n个数据点，计算出它们与模型M之间的距离，记录在Ml的某个误差允许范围内的P中数据点的个数count；

重复步骤①~③K次获得最大count值得模型即为所求模型；

为了去除匹配的特征点集中的误匹配点对，采用RANSAC算法：

①从匹配的特征点对集中随机选取4个特征点对；

③将选取的4个特征点对计算出坐标变换矩阵H；

其中配准误差公式为：

Dis = \sqrt{\frac{Σ_{i = 1}^{n} dis {(X_{i}^{'}, {HX}_{i})}^{2}}{n}}

dis {(X^{'}, HX)}^{2} = \sqrt{{(x^{'} - x_{c})}^{2} + {(y^{'} - y_{c})}^{2}}

K = \frac{\log (1 - p)}{\log (1 - {(1 - ϵ)}^{s})}

最后采用L-M算法优化计算透视矩阵。

7.如权利要求1所述的基于全景拼接的旋转摄像头背景建立方法，其特征在于：步骤4）图像融合的具体方法是：先将图像分解为一组带通图像；然后在每一频率带内使用不同的加权函数和拼接区域宽度将分解的带通图像拼接合成对应的带通图，在每一个频率带内，加权函数的系数和拼接区域宽度是由两幅图像在该频率带的差异决定的。

8.一种基于全景拼接的运动物体检测方法，其特征在于：按下述步骤进行：

1）旋转摄像头的背景建立：采用权利要求1至7中任一项所述的基于全景拼接的旋转摄像头背景建立方法；

2）运动目标检测识别。

9.如权利要求8所述的基于全景拼接的运动物体检测方法，其特征在于：步骤2）运动目标检测识别的具体方法是：首先把当前帧的灰度图像与背景做绝对值减法，可以得到一幅差值图像，使用自适应阈值T对得到的差值图像做二值化处理，对二值图像做一系列的处理，消除噪声和背景扰动带来的影响，此时得到图像前景块，对此前景块进行检测，以判断是否是目标，其中自适应阈值T的公式为：

T = \arg \max_{0 \leq t \leq m} {| w_{0} (t) {(μ_{0} (t) - μ (t))}^{2} + w_{1} (t) {(μ_{1} (t) - μ (t))}^{2} | (1 - p (t))}

。