CN104036522A - 一种基于视频中运动目标识别的流水速度监测方法 - Google Patents

Abstract

基于视频中运动目标识别的流水速度监测方法，采用基于视频的运动目标检测与跟踪、摄像机定标、求解流水速度的步骤来测量洪水的流速，其特点是减少了工作人员参与，使得设备简单，测验历时短，同时大大的提高了安全性，并保证不会漏测洪峰，使得自动化程度更高，降低成本，实际应用性强。

Description

一种基于视频中运动目标识别的流水速度监测方法

技术领域

本发明是关于一种流水速度监测系统，特别是关于一种基于视频中运动目标识别的流水速度监测系统。

背景技术

实际应用当中经常使用到的流速测量方法有以下几种：运用声学多普勒原理测量流速的方法，还有在《河流流量测验规范》当中规定的一些流速仪法、比降一面积法以及传统浮标法这三种测量流速方式。但是这些传统的方法往往存在一些重要的缺陷。声学多普勒流速测量法虽然精度高，但是成本高，安全性低，特别是在高洪期间船测法的危险系数高；流速仪测速法测量范围窄，安全性低，且洪水来临之时，假若洪水的水位没过了正常情况下的布设位置，将导致测量结果不可靠。基于运动目标识别的流速测量方法是通过视频记录洪水中运动的浮标，使用运动目标检测和识别的方法识别出每一帧图像中的运动目标，得到浮标在视场中移动距离以及所需要的时间，根据浮标与摄像头的相对位置关系，参照预设的标定物参数，基于特定的投影规则，得到图像坐标与实际水面物理坐标间的一种特定的映射关系，进而完成对摄像头的标定，从而推断出洪水的流速。

发明内容

本发明为解决公知技术中的问题而提供一种基于视频中运动目标识别的流水速度监测方法。

本发明为解决公知技术中的问题所采用的技术方案是：

(1)、基于视频的运动目标检测与跟踪

通过帧间差分法来检测出运动目标，通过对视频图像序列中相邻的两幅或三幅图像进行差分运算来获得运动物体的轮廓，在帧差法的实现过程中，令I_k-1(x，y)，I_k(x，y)，分别表示视频图像序列中的第k-1，k帧，可得到相邻两帧的差为：

在基于视频的洪水流速测量实验过程中，由于在 很短的时间范围内，环境变化亮度不大，相邻居两帧之间像素强度的相差小于10，则认为是背景中的像素造成的，如果像素区域强度变化大于100，则可以认为是由运动造成的；

(2)、摄像机定标，摄像机定标具体分为求解摄像机内部参数和外部参数；

(a)、外部参数求解：图像上像素值(u，v)与坐标(x，y)之间的关系是u＝x/dx+u0，v＝y/dy+v0用齐次坐标与矩阵表示为：

摄像机坐标系与世界坐标系之间的关系可用旋转矩阵R与平移向量t来描述，空中一点P的位置在摄像机坐标系下可表示为 $\left[\begin{array}{c}\mathrm{Xc}\\ \mathrm{Yc}\\ \mathrm{Zc}\end{array}\right]=R\left[\begin{array}{c}\mathrm{Xw}\\ \mathrm{Yw}\\ \mathrm{Zw}\end{array}\right]+T$

其中R是3*3正交旋转矩阵，T是3*1平移矩阵：

$R=\left[\begin{array}{ccc}r\mathrm{1,1}& r\mathrm{1,2}& r\mathrm{1,3}\\ r\mathrm{2,1}& r\mathrm{2,2}& r\mathrm{2,3}\\ r\mathrm{3,1}& r\mathrm{3,2}& r\mathrm{3,3}\end{array}\right],T=\left[\begin{array}{c}\mathrm{Tx}\\ \mathrm{Ty}\\ \mathrm{Tz}\end{array}\right]$

其中r1，1-r3，3是9个实数参数为摄像机外参数；

(b)、内部参数求解：空间中任意一点P在图像上的成像位置可用针孔模型近似表示，即任何点P在图像上的投影位置P，为光心O与P点的连线OP与图像平面的交点，这种关系称为中心投影或透视投影，比例关系如下式：

$\left\{\begin{array}{c}x=\frac{\mathrm{fXc}}{\mathrm{Zc}}\\ y=\frac{\mathrm{fYc}}{\mathrm{Zc}}\end{array}\right.$

其中，(x，y)为点P的图像坐标；(Xc，Yc，Zc)为空间点P在摄像机坐标系下的坐标；用其次坐标与矩阵表示这种投影的关系，有如下式：

$\mathrm{Zc}*\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}f& 0& 0\\ 0& f& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}\mathrm{Xc}\\ \mathrm{Yc}\\ \mathrm{Zc}\\ 1\end{array}\right]$

将上面两式代入上式，得到由世界坐标系表示的P点坐标与投影点P点坐标(u，v)的关系：

$\mathrm{Zc}*\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}\mathrm{fx}& 0& \mathrm{cx}\\ 0& \mathrm{fy}& \mathrm{cy}\\ 0& 0& 1\end{array}\right]*\left[\begin{array}{cc}R& T\end{array}\right]*\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]$

令： $A=\left[\begin{array}{ccc}\mathrm{fx}& 0& \mathrm{cx}\\ 0& \mathrm{fy}& \mathrm{cy}\\ 0& 0& 1\end{array}\right],$ A是内部参数矩阵，内部参数包括镜头焦距，镜头畸变参

数，坐标扭曲因子，图像坐标原点，D＝[R T]为外部参数矩阵；

(3)、求解流水速度

摄像机标定得到摄像机内外参数，目标跟踪可以得到浮标在每一帧图像中的图像坐标，根据摄像机标定的参数以及图像坐标与世界坐标系中点的转换公式，可以得到点在世界坐标系中的坐标(x_n，y_n)，根据下式可以得出浮标在世界坐标系中移动的实际距离为：

$s=\sqrt{{(x_n-x_1)}^2+{(y_n-y_1)}^2}$

其中，(x₁，y₁)表示物体在监控视场内运动的起始位置坐标；(x_n，y_n)表示物体离开监控视场的终止像素坐标，根据公式求得河流的表面水流速度V等于：

$v=\frac{S}{1/F}$

其中，F为视频的帧速率。

本发明具有的优点和积极效果是：本发明是图像处理，计算机视觉，水文学等多个学科的有机结合体，形成了一种利用视频监控技术，针对河流河面的浮标或者漂浮物进行成像，并从图像实时的自动检测目标，识别目标，跟踪目标，获取目标位置信息，进而自动计算出河流流速的新技术。本发明采用的方法减少了工作人员参与，使得设备简单，测验历时短，同时大大的提高了安全性，并保证不会漏测洪峰。

具体实施方式

下面结合实施例对本发明进行详细的描述。该技术用视频监控技术将河流中断面的水流实时形成序列图像，对序列图像中水面浮标进行自动检测与跟踪，利用立体几何和摄影测量学原理，建立图像与实际水面坐标的转换模型，得到漂浮物在视场中运动的时间和移动距离，通过计算得到洪水的流速。在河流中放置悬浮物作为浮标，选择好摄像机的视场，并固定摆放摄像机并进行录制。本发明的现实主要包括以下几个方面：基于视频的运动目标检测与跟踪、摄像机标定的方法以及通过前面步骤得到的参数求解流水速度。

1.基于视频的运动目标检测与跟踪

运动目标检测的基本任务是从序列图像中检测出运动目标，并获得运动目标的特征信息，如颜色、形状、轮廓等。提取运动目标的过程与图像分割存在很大的相似性， 但是图像分割一般具有先验知识，运动物体只有在连续的图像序列中寻找差异，并把由于物体运动而表现出来的差异提取出来。本次试验的工作主要是通过帧间差分法来检测出运动目标。

帧间差分法是一种基于像素的运动检测方法，它通过对视频图像序列中相邻的两幅或三幅图像进行差分运算来获得运动物体的轮廓。帧差法的优点是只对运动物体敏感，而且因为两幅图像的时间间隔较短，差分图像受环境光线变化影响较小，检测有效而稳定。

在基于视频的洪水流速测量实验过程中，由于在很短的时间范围内，环境变化亮度不大，相邻居两帧之间像素强度的相差很小，则认为其为背景中的像素，如果像素区域强度变化很大，则可以认为是由运动造成的。这种方法是运动目标检测中使用最多的一类算法，特点是实现简单，运算速度快，实时性好，在大多数情况下检测效果好，适用于动态变化的环境。

帧差法的实现过程：令I_k-1(x，y)，I_k(x，y)，分别表示视频图像序列中的第k-1，k帧，可得到相邻两帧的差为：

2.摄像机标定

摄像机标定来源于摄影测量学。摄影测量学中所使用的方法是数学解析方法，在标定过程中通常要利用数学方法对从图像中所得的数据进行处理。通过数学处理手段，摄像机标定提供了非测量摄像机与专业摄像机之间的联系。而所谓非测量摄像机是指这样一类摄像机，其内部参数完全未知，部分未知或者原则上不确定。摄像机内部参数指的是摄像机成像基本参数，如主点(图像中心)、焦距，镜头畸变等参数。本新型发明使用传统的摄像机标定方法，求解出摄像机内参数和外参数。求解过程如下：

图像上像素值(u，v)与坐标(x，y)之间的关系是u＝x/dx+u0，v＝y/dy+v0用齐次坐标与矩阵表示为

$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left(\begin{array}{ccc}1/\mathrm{dx}& 0& u0\\ 0& 1/\mathrm{dy}& v0\\ 0& 0& 1\end{array}\right)\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]$

世界坐标系是用来描述摄像机安放在现实世界的位置的坐标系，并且它可以用来描述世界环境中任何物体的位置。他由基准观测原点和X_wY_wZ_w轴组成。摄像机坐标系与世界坐标系之间的关系可用旋转矩阵R与平移向量t来描述。因此，空中一点p的位置在摄像机坐标系下可表示为

$\left[\begin{array}{c}\mathrm{Xc}\\ \mathrm{Yc}\\ \mathrm{Zc}\end{array}\right]=R\left[\begin{array}{c}\mathrm{Xw}\\ \mathrm{Yw}\\ \mathrm{Zw}\end{array}\right]+T$

其中R是3*3正交旋转矩阵，T是3*1平移矩阵：

$R=\left[\begin{array}{ccc}r\mathrm{1,1}& r\mathrm{1,2}& r\mathrm{1,3}\\ r\mathrm{2,1}& r\mathrm{2,2}& r\mathrm{2,3}\\ r\mathrm{3,1}& r\mathrm{3,2}& r\mathrm{3,3}\end{array}\right],T=\left[\begin{array}{c}\mathrm{Tx}\\ \mathrm{Ty}\\ \mathrm{Tz}\end{array}\right]$

其中r1，1-r3，3是9个实数参数是摄像机外参数。

摄像机模型主要分为线性模型和非线性模型。标定中使用线性的针孔模型。在此模型中，想象着光线是从场景或很远的物体发射过来，但仅仅是来自某一点的一条光线。在实际针孔摄像机中，该点被“投影”到成像表面。其结果是在图像表面上，图像被聚焦。因此与远处物体相关的图像大小只用一个摄像机参数来描述：焦距。空间中任意一点P在图像上的成像位置可用针孔模型近似表示，即任何点P在图像上的投影位置p，为光心O与P点的连线OP与图像平面的交点，这种关系也称为中心投影或透视投影。比例关系如下式：

$\left\{\begin{array}{c}x=\frac{\mathrm{fXc}}{\mathrm{Zc}}\\ y=\frac{\mathrm{fYc}}{\mathrm{Zc}}\end{array}\right.$

其中，(x，y)为p点的图像坐标；(Xc，Yc，Zc)为空间点P在摄像机坐标系下的坐标。用其次坐标与矩阵表示这种透视投影的关系，有如下式：

$\mathrm{Zc}*\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}f& 0& 0\\ 0& f& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}\mathrm{Xc}\\ \mathrm{Yc}\\ \mathrm{Zc}\\ 1\end{array}\right]$

将上面两式代入上式，得到由世界坐标系表示的P点坐标与投影点p点坐标(u，v)的关系：

$\mathrm{Zc}*\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}\mathrm{fx}& 0& \mathrm{cx}\\ 0& \mathrm{fy}& \mathrm{cy}\\ 0& 0& 1\end{array}\right]*\left[\begin{array}{cc}R& T\end{array}\right]*\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]$

令： $A=\left[\begin{array}{ccc}\mathrm{fx}& 0& \mathrm{cx}\\ 0& \mathrm{fy}& \mathrm{cy}\\ 0& 0& 1\end{array}\right],$ A是内部参数矩阵，内部参数包括镜头焦距，镜头畸变参

数，坐标扭曲因子，图像坐标原点等。

D＝[R T]为外部参数矩阵。

3.求解流水速度

综合摄像机标定和目标跟踪的结果。摄像机标定得到摄像机内外参数，目标跟踪可以得到浮标在每一帧图像中的图像坐标，根据摄像机标定的参数以及图像坐标与世界坐标系中点的转换公式，可以得到点在世界坐标系中的坐标(xn，yn)。根据下式可以 得出浮标在世界坐标系中移动的实际距离为

$s=\sqrt{{(x_n-x_1)}^2+{(y_n-y_1)}^2}$

其中，(x1，y1)表示物体在监控视场内运动的起始位置坐标；(xn，yn)表示物体离开监控视场的终止像素坐标。根据公式求得河流的表面水流速度V等于：

$v=\frac{S}{1/F}$

其中，F为视频的帧速率。

Claims (1)

1.一种基于视频中运动目标识别的流水速度监测方法，特征在于包括如下步骤：

(1)、基于视频的运动目标检测与跟踪

通过帧间差分法来检测出运动目标，通过对视频图像序列中相邻的两幅或三幅图像进行差分运算来获得运动物体的轮廓，在帧差法的实现过程中，令I_k-1(x，y)，I_k(x，y)，分别表示视频图像序列中的第k-1，k帧，可得到相邻两帧的差为：

在基于视频的洪水流速测量实验过程中，由于在很短的时间范围内，环境变化亮度不大，相邻居两帧之间像素强度的相差小于10，则认为是背景中的像素造成的，如果像素区域强度变化大于100，则可以认为是由运动造成的；

(2)、摄像机定标，摄像机定标具体分为求解摄像机内部参数和外部参数；

(a)、外部参数求解：图像上像素值(u，v)与坐标(x，y)之间的关系是u＝x/dx+u0，v＝v/dy+v0用齐次坐标与矩阵表示为：

摄像机坐标系与世界坐标系之间的关系可用旋转矩阵R与平移向量t来描述，空中一点P的位置在摄像机坐标系下可表示为

其中R是3*3正交旋转矩阵，T是3*1平移矩阵：

其中r1，1-r3，3是9个实数参数为摄像机外参数；

(b)、内部参数求解：空间中任意一点P在图像上的成像位置可用针孔模型近似表示，即任何点P在图像上的投影位置P，为光心O与P点的连线OP与图像平面的交点，这种关系称为中心投影或透视投影，比例关系如下式：

其中，(x，y)为点P的图像坐标；(Xc，Yc，Zc)为空间点P在摄像机坐标系下的坐标；用其次坐标与矩阵表示这种投影的关系，有如下式：

将上面两式代入上式，得到由世界坐标系表示的P点坐标与投影点P点坐标(u，v)的关系：

令：A是内部参数矩阵，内部参数包括镜头焦距，镜头畸变参数，坐标扭曲因子，图像坐标原点，D＝[R T]为外部参数矩阵；

(3)、求解流水速度

摄像机标定得到摄像机内外参数，目标跟踪可以得到浮标在每一帧图像中的图像坐标，根据摄像机标定的参数以及图像坐标与世界坐标系中点的转换公式，可以得到点在世界坐标系中的坐标(x_n，y_n)，根据下式可以得出浮标在世界坐标系中移动的实际距离为：

其中，(x₁，y₁)表示物体在监控视场内运动的起始位置坐标；(x_n，y_n)表示物体离开监控视场的终止像素坐标，根据公式求得河流的表面水流速度V等于：

其中，F为视频的帧速率。