CN102359780A - 一种应用于视频监控系统中的定位地面目标的方法 - Google Patents

Abstract

本发明提供一种应用于视频监控系统中的定位地面目标的方法，该方法利用地平面约束，将监控网络划分为规模较小的子网络，对子网络建立局部参考坐标系，设置地面参考点，利用各摄像机节点和地平面的投影关系，由目标图像位置的观测值计算出地面坐标。该方法无需精确测量摄像头的角度、位置等参数；只依赖局部地平面约束，可用于大部分使用固定摄像头的监控系统，尤其是广场、街道等常见应用场景。

Description

一种应用于视频监控系统中的定位地面目标的方法

技术领域

本发明属于视频监控技术领域，特别涉及一种应用于视频监控系统中的定位地面目标的方法。

背景技术

在视频监控研究领域中，运动目标在地面上的实时位置是异常行为检测、摄像机协同等高层应用的有效辅助信息；由摄像机阵列捕获到的目标图像确定对应的目标地面位置是一项重要研究内容。到目前，大部分已投入实用的视频监控系统采用单个固定摄像机监视模式，此条件下，现有的一类基于摄像机测量的定位方法，要求在安装时精确测量出每台摄像机的位置、角度等参数，根据图像上目标相对光轴的偏移量定位目标。对装备了大量摄像机的监控网络，该方法在实际测量操作上有一定局限性，不仅测量不方便且难以进行精确测量。另一类定位方法使用激光或红外测距传感器主动测量深度信息辅助定位，成本较高，难以大规模实用。

许多应用场景，如广场、街道，在一定范围内的地面较平整，形状近似为平面；目标位于地面上，具有目标约束在地平面的内在、不变的结构化特征；而地平面和摄像机之间存在投影关系。利用此特点，可通过对摄像机网络进行网络划分，使同一子网络区域的摄像机对应同一定位地平面，测量区域基准点地理坐标以初步定位子网络；对每个子区域的各摄像机，通过在地面设置多个参考点，测量出摄像机坐标系和地面坐标系的投影关系矩阵，进而将目标图像坐标转换为地面坐标，确定目标的地面位置。

发明内容

本发明的目的在于：提供一种简便有效的应用于视频监控系统中的定位地面目标的方法；利用场景中目标位于地平面上的外在约束，将摄像机监控网络划分为规模较小的子网络，建立子网络局部地面坐标系，设置地面参考点，在子网络内进行局部直接定位；利用各摄像机节点和地平面的投影关系，由目标图像位置的观测值计算出局部地面坐标，最后用子网络的地理坐标和区域内的局部地面坐标表示目标的真实地面位置。

为实现此目的，本发明提出的技术方案为：一种应用于视频监控系统中的定位地面目标的方法，该方法通过划分监控网络和结合基于参考点的单摄像机定位方法实现地面目标定位，其步骤为：

步骤(1)将监控网络划分成具有统一地平面约束的子网络；

步骤(2)设置定位子网络的位置基准点，测量出其地理坐标；

步骤(3)建立局部地面坐标系，设置地面参考点，测量摄像机坐标系与地面坐标系之间的转换关系；

步骤(4)根据步骤(3)的转换关系，将单摄像机摄像头图像上的目标观测位置转换得到目标的局部地面坐标，使用区域地理坐标和局部地面坐标表示目标的真实地面位置；

其中，所述的基于参考点的单摄像机定位方法，是通过在监控场景地面上设定参考点，利用测量到的参考点地面坐标和图像坐标，计算出单摄像机坐标系与地面坐标系之间的转换关系矩阵；之后，将观测到的目标图像坐标转换为地面坐标；当单摄像机固定时，投影变换矩阵是不变、唯一的，其参数可用不少于4个的一组参考点测量得到。

所述步骤(1)中，观测摄像头节点监视区域地面形状分布，将位于同一地平面的节点划分到同一子网络中；

所述步骤(2)中，对每个子网络，在其区域地面上选择一点作为子网络的位置基准点，利用卫星定位工具测量出其地理坐标，并作为局部地面坐标系下的定位参考点；

所述步骤(3)中，以子网络的区域地平面为x-y平面建立局部地面坐标系，步骤(2)的定位参考点为局部地面坐标系原点，地面参考点的图像坐标和地面坐标分别为(x，y)和(X，Y)，两者满足投影变换关系，表达式如公式(1)，其中转换矩阵如公式(2)。对N个地面参考点，得到一组测量方程，表达式如公式(3)，求解此方程得到转换矩阵。

$\left\{\begin{array}{c}{C}_{11}X+C_{12}Y+C_{13}-C_{31}\mathrm{Xx}-C_{31}\mathrm{Yx}=C_{33}x\\ C_{21}X+C_{22}Y+C_{23}-C_{31}{X}_y-C_{32}\mathrm{Yy}=C_{33}y\end{array}\right.---\left(1\right)$

$C=\left(\begin{array}{ccc}{C}_{11}& C_{12}& C_{13}\\ C_{21}& C_{22}& C_{23}\\ C_{31}& C_{32}& C_{33}\end{array}\right)---\left(2\right)$

$\left(\begin{array}{cccccccc}{X}_1& Y_1& 1& 0& 0& 0& -X_1{x}_1& -Y_1{x}_1\\ 0& 0& 0& X_1& Y_1& 1& -X_1{y}_1& -Y_1{y}_1\\ .& .& .& .& .& .& .& .\\ .& .& .& .& .& .& .& .\\ X_N& Y_N& 1& 0& 0& 0& -X_N{x}_N& {-Y}_N{x}_N\\ 0& 0& 0& X_N& Y_N& 1& -X_N{y}_N& -Y_N{y}_N\end{array}\right)\left(\begin{array}{c}{C}_{11}\\ C_{12}\\ .\\ .\\ C_{31}\\ C_{32}\end{array}\right)=\left(\begin{array}{c}{C}_{33}{x}_1\\ C_{33}{y}_1\\ .\\ .\\ C_{33}{x}_N\\ C_{33}{y}_N\end{array}\right)---\left(3\right)$

式中，C_i，j为转换矩阵元素值；C₃₃设为常数。

所述步骤(4)中，观测的目标图像位置为目标与地面结合处的中心点的观测值，受地面约束；由步骤(3)转换矩阵和目标图像位置观测值计算目标地面坐标，表达式如公式(4)。用步骤(2)子网络的地理坐标和计算出的目标局部地面坐标联合表示目标的地面位置。

$\left[\begin{array}{cc}{C}_{31}x-C_{11}& C_{32}x-C_{12}\\ C_{31}y-C_{21}& C_{32}y-C_{22}\end{array}\right]\left[\begin{array}{c}X\\ Y\end{array}\right]=\left[\begin{array}{c}{C}_{13}-C_{33}x\\ C_{23}-C_{33}y\end{array}\right]---\left(4\right)$

上式中，(x，y)为图像坐标，(X，Y)为局部地面坐标，C_i，j为转换矩阵元素值。

本发明的原理在于：

利用地平面约束，把监控网络划分为可直接局部定位的子网络，设置定位子网络区域的位置基准点并测量出地理坐标；对出现在子网络摄像机节点中的目标，使用基于地面参考点的单摄像机定位方法获得目标的局部地面坐标；用子网络地理坐标和目标局部地面坐标联合表示目标的真实地面位置。

本发明的优点和积极效果：

(1)简单灵活。对摄像头部署要求较低，无需精确测量出摄像头的角度、位置等参数，只需对每个摄像头设置一组地面参考点并测量出其地面坐标和图像坐标；

(2)主要依赖局部地平面约束，可用于大部分使用固定摄像头的监控系统，尤其是广场、街道等常见应用场景。

附图说明

图1是实施例中目标定位流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚，以下参考附图对本发明进行进一步详细说明。

本发明的基本思想是：在一定范围内，监控场景地面近似为平面，当摄像头静止不动时，地面坐标系和摄像机坐标系之间的转换关系可用一个常值矩阵表示，且可用多个地面参考点标定该转换矩阵元素值，再由目标图像坐标观测值计算出局部地面坐标系下的坐标；那么，对包含众多摄像机节点的较大规模监控网络，通过划分出受地平面约束的结构化子网络和开展子网络内局部区域定位，可实现大范围、长时连续定位等监控系统中普遍存在的定位要求。

图1为本发明具体实施例中目标定位的流程图，显示了目标定位涉及的关键步骤和执行顺序。首先，从监控网络中划分出结构化子网络W⁽ⁱ⁾，i为子网络编号；在每个子网络的地平面上建立局部地面坐标系O⁽ⁱ⁾-XY，并选择一地面点，如坐标系原点，作为位置基准点标记子网络，测量出其地理坐标

然后，对子网络中的各摄像机节点，设置一组地面参考点，标定出摄像机坐标系o-xy和地面坐标系O-XY之间的转换矩阵C；对摄像机图像上的监视目标，利用转换矩阵将目标的图像坐标观测值(x，y)转换为局部地面坐标系下的地面坐标(X，Y)；最后，用目标所在区域子网络的地理坐标

和局部地面坐标(X，Y)联合表示目标的真实地面位置。本发明一种应用于视频监控系统中的定位地面目标的方法，该方法通过划分监控网络和结合基于参考点的单摄像机定位方法实现地面目标定位，其中，所述的基于参考点的单摄像机定位方法，是通过在监控场景地面上设定参考点，利用测量到的参考点地面坐标和图像坐标，计算出单摄像机坐标系与地面坐标系之间的转换关系矩阵；之后，将观测到的目标图像坐标转换为地面坐标；当单摄像机固定时，投影变换矩阵是不变、唯一的，其参数可用不少于4个的一组参考点测量得到，其步骤为：

步骤(1)将监控网络划分成具有统一地平面约束的子网络；具体的：实地勘测监控场景，将相邻、近似位于同一地平面的摄像机划分到同一子网络中，确定其区域范围，在当前时刻目标所在子网络的监视区域内进行局部定位；

步骤(2)设置定位子网络的位置基准点，测量出其地理坐标；具体的：对划分出的子网络，在其地平面建立地面坐标系。根据实际情况，以经纬线切线为坐标轴，方向自定，在更易于测量的原则下，灵活选取原点位置；使用GPS或北斗卫星定位系统测量出原点的地理坐标，用于标记子网络；

步骤(3)建立局部地面坐标系，设置地面参考点，测量摄像机坐标系与地面坐标系之间的转换关系；具体的：对每个摄像机节点，在其视场地面上设置不少于4个且不在直线上、散布比较开的一组参考点，可使用简易制作的黑白标靶的中心模拟地面参考点，实地测量参考点在子网络局部坐标系下的地面坐标，人工标出或通过图像特征点检测方法获得参考点图像坐标，计算出摄像机坐标系和地面坐标系转换关系矩阵；其中，

步骤(3)中，以子网络的区域地平面为x-y平面建立局部地面坐标系，步骤(2)的定位参考点为局部地面坐标系原点，地面参考点的图像坐标和地面坐标分别为(x，y)和(X，Y)，两者满足投影变换关系，表达式如公式(1)，其中转换矩阵如公式(2)。对N个地面参考点，得到一组测量方程，表达式如公式(3)，求解此方程得到转换矩阵。

$\left\{\begin{array}{c}{C}_{11}X+C_{12}Y+C_{13}-C_{31}\mathrm{Xx}-C_{31}\mathrm{Yx}=C_{33}x\\ C_{21}X+C_{22}Y+C_{23}-C_{31}{X}_y-C_{32}\mathrm{Yy}=C_{33}y\end{array}\right.---\left(1\right)$

$C=\left(\begin{array}{ccc}{C}_{11}& C_{12}& C_{13}\\ C_{21}& C_{22}& C_{23}\\ C_{31}& C_{32}& C_{33}\end{array}\right)---\left(2\right)$

$\left(\begin{array}{cccccccc}{X}_1& Y_1& 1& 0& 0& 0& -X_1{x}_1& -Y_1{x}_1\\ 0& 0& 0& X_1& Y_1& 1& -X_1{y}_1& -Y_1{y}_1\\ .& .& .& .& .& .& .& .\\ .& .& .& .& .& .& .& .\\ X_N& Y_N& 1& 0& 0& 0& -X_N{x}_N& {-Y}_N{x}_N\\ 0& 0& 0& X_N& Y_N& 1& -X_N{y}_N& -Y_N{y}_N\end{array}\right)\left(\begin{array}{c}{C}_{11}\\ C_{12}\\ .\\ .\\ C_{31}\\ C_{32}\end{array}\right)=\left(\begin{array}{c}{C}_{33}{x}_1\\ C_{33}{y}_1\\ .\\ .\\ C_{33}{x}_N\\ C_{33}{y}_N\end{array}\right)---\left(3\right)$

式中，C_i，j为转换矩阵元素值；C₃₃设为常数。

步骤(4)根据步骤(3)的转换关系，将单摄像机摄像头图像上的目标观测位置转换得到目标的局部地面坐标，使用区域地理坐标和局部地面坐标表示目标的真实地面位置；具体的：对摄像机观测到的目标图像坐标，利用转换矩阵将其投影到地面坐标系，获得在当前子网络的局部地面坐标，并联合子网络的地理坐标，表示当前时刻的目标真实地面位置。其中，

步骤(4)中，观测的目标图像位置为目标与地面结合处的中心点的观测值，受地面约束；由步骤(3)转换矩阵和目标图像位置观测值计算目标地面坐标，表达式如公式(4)。用步骤(2)子网络的地理坐标和计算出的目标局部地面坐标联合表示目标的地面位置。

$\left[\begin{array}{cc}{C}_{31}x-C_{11}& C_{32}x-C_{12}\\ C_{31}y-C_{21}& C_{32}y-C_{22}\end{array}\right]\left[\begin{array}{c}X\\ Y\end{array}\right]=\left[\begin{array}{c}{C}_{13}-C_{33}x\\ C_{23}-C_{33}y\end{array}\right]---\left(4\right)$

上式中，(x，y)为图像坐标，(X，Y)为局部地面坐标，C_i，j为转换矩阵元素值。本发明未详细阐述的部分属于本领域公知技术。

Claims (5)

1.一种应用于视频监控系统中的定位地面目标的方法，该方法通过划分监控网络和结合基于参考点的单摄像机定位方法实现地面目标定位，其特征在于：其步骤为：

步骤(1)将监控网络划分成具有统一地平面约束的子网络；

步骤(2)设置定位子网络的位置基准点，测量出其地理坐标；

步骤(3)建立局部地面坐标系，设置地面参考点，测量单摄像机坐标系与地面坐标系之间的转换关系；

步骤(4)根据步骤(3)的转换关系，将单摄像机图像上的目标观测位置转换得到目标的局部地面坐标，使用区域地理坐标和局部地面坐标表示目标的真实地面位置；

其中，所述的基于参考点的单摄像机定位方法，是通过在监控场景地面上设定参考点，利用测量到的参考点地面坐标和图像坐标，计算出单摄像机坐标系与地面坐标系之间的转换关系矩阵；之后，将观测到的目标图像坐标转换为地面坐标；当单摄像机固定时，投影变换矩阵是不变、唯一的，其参数可用不少于4个的一组参考点测量得到。

2.根据权利要求1所述的一种应用于视频监控系统中的定位地面目标的方法，其特征在于：所述步骤(1)中，观测摄像头节点监视区域地面形状分布，将位于同一地平面的节点划分到同一子网络中。

3.根据权利要求1所述的一种应用于视频监控系统中的定位地面目标的方法，其特征在于：所述步骤(2)中，对每个子网络，在其区域地面上选择一点作为子网络的位置基准点，利用卫星定位工具测量出其地理坐标，并作为局部地面坐标系下的定位参考点。

4.根据权利要求1所述的一种应用于视频监控系统中的定位地面目标的方法，其特征在于：所述步骤(3)中，以子网络的区域地平面为XY平面建立局部地面坐标系O-XY，步骤(2)的定位参考点为局部地面坐标系原点O，地面参考点的图像坐标和地面坐标分别为(x，y)和(X，Y)；设定世界坐标系O_w-X_wY_wZ_w的X_wY_w平面与地面坐标系相同，地面参考点的世界坐标为(X，Y，0)，根据摄像机透视变换原理，可获得图像坐标(x，y)和地面坐标(X，Y)之间的投影变换关系，表达式如公式(1)，其中的各参数组成变换矩阵，如公式(2)；对N个地面参考点，得到一组测量方程，表达式如公式(3)，求解此方程得到转换矩阵，确定转换关系；

$\left\{\begin{array}{c}{C}_{11}X+C_{12}Y+C_{13}-C_{31}\mathrm{Xx}-C_{31}\mathrm{Yx}=C_{33}x\\ C_{21}X+C_{22}Y+C_{23}-C_{31}{X}_y-C_{32}\mathrm{Yy}=C_{33}y\end{array}\right.---\left(1\right)$

$C=\left(\begin{array}{ccc}{C}_{11}& C_{12}& C_{13}\\ C_{21}& C_{22}& C_{23}\\ C_{31}& C_{32}& C_{33}\end{array}\right)---\left(2\right)$

$\left(\begin{array}{cccccccc}{X}_1& Y_1& 1& 0& 0& 0& -X_1{x}_1& -Y_1{x}_1\\ 0& 0& 0& X_1& Y_1& 1& -X_1{y}_1& -Y_1{y}_1\\ .& .& .& .& .& .& .& .\\ .& .& .& .& .& .& .& .\\ X_N& Y_N& 1& 0& 0& 0& -X_N{x}_N& {-Y}_N{x}_N\\ 0& 0& 0& X_N& Y_N& 1& -X_N{y}_N& -Y_N{y}_N\end{array}\right)\left(\begin{array}{c}{C}_{11}\\ C_{12}\\ .\\ .\\ C_{31}\\ C_{32}\end{array}\right)=\left(\begin{array}{c}{C}_{33}{x}_1\\ C_{33}{y}_1\\ .\\ .\\ C_{33}{x}_N\\ C_{33}{y}_N\end{array}\right)---\left(3\right)$

式中，C_i，j为转换矩阵元素值；C₃₃设为常数。

5.根据权利要求1所述的一种应用于视频监控系统中的定位地面目标的方法，其特征在于：所述步骤(4)中，观测的目标图像位置为目标与地面结合处的中心点的观测值，受地平面约束；由步骤(3)转换矩阵C和目标图像位置观测值(x，y)计算目标地面坐标(X，Y)，表达式如公式(4)；用步骤(2)子网络的地理坐标和计算出的目标局部地面坐标联合表示目标的地面位置；

$\left[\begin{array}{cc}{C}_{31}x-C_{11}& C_{32}x-C_{12}\\ C_{31}y-C_{21}& C_{32}y-C_{22}\end{array}\right]\left[\begin{array}{c}X\\ Y\end{array}\right]=\left[\begin{array}{c}{C}_{13}-C_{33}x\\ C_{23}-C_{33}y\end{array}\right]---\left(4\right)$

上式由公式(1)转换得到，(x，y)为图像坐标，(X，Y)为局部地面坐标，C_i，j为转换矩阵元素值。

Images