CN101876535A

CN101876535A - 一种高度测量方法、装置及监控系统

Info

Publication number: CN101876535A
Application number: CN2009102383801A
Authority: CN
Inventors: 王磊; 谢东海; 黄英
Original assignee: Vimicro Corp
Current assignee: Mid Star Technology Ltd By Share Ltd
Priority date: 2009-12-02
Filing date: 2009-12-02
Publication date: 2010-11-03
Anticipated expiration: 2029-12-02
Also published as: CN101876535B

Abstract

本发明提供一种高度测量方法、装置及监控系统，该方法包括获取图像拍摄装置拍摄的第一图像，所述第一图像中包括出现在所述图像拍摄装置的摄像区域内的待测目标；所述图像拍摄装置的拍摄参数固定；确定所述待测目标的最高点和最低点在所述第一图像内的坐标；根据获取的所述待测目标的最高点和最低点在所述第一图像内的坐标以及一图像参数计算所述待测目标的实际高度。本发明避开了配准问题，实现简单，运算效率高，能进行实时分析处理，而且只需要一个图像拍摄装置，因此降低了基于图像的高度测量的实现成本。

Description

一种高度测量方法、装置及监控系统

技术领域

本发明涉及计算机技术领域，特别是一种高度测量方法、装置及监控系统。

背景技术

智能视频监控是基于计算机视觉技术对监控场景内的视频图像进行分析，提取场景中的关键信息，并形成相应事件和告警的监控方式，在公共安全保护、交通管理等方面有着极其广泛的应用。

基于视频的物体姿态估计是指由图像拍摄装置获取的物体运动图像序列来确定人在三维空间中的姿态，它是视频分析的一项基本任务，其中，物体高度测量是实现物体姿态估计的一项重要技术，它在各方面都有着广阔的应用前景，如通过监控车辆高度判断是否符合要求、在刑事犯罪现场测量人体实际身高等。

常用的物体高度测量方法是立体视觉方法，其即通过两幅或多幅图像先对场景进行三维重建，然后再对场景中的物体进行测量，然而这种方法需要进行配准，而由于无法精确的配准导致这一方案无法得到广泛应用。同时利用这种方法需要同时使用多台图像拍摄装置，大大增加了硬件成本。

发明内容

本发明实施例的目的是提供一种高度测量方法、装置及监控系统，降低基于图像进行高度测量的实现难度和实现成本。

为了实现上述目的，本发明实施例提供了一种高度测量方法，包括：

获取图像拍摄装置拍摄的第一图像，所述第一图像中包括出现在所述图像拍摄装置的摄像区域内的待测目标；所述图像拍摄装置的拍摄参数固定；

确定所述待测目标的最高点和最低点在所述第一图像内的坐标；

根据获取的所述待测目标的最高点和最低点在所述第一图像内的坐标以及一图像参数计算所述待测目标的实际高度。

上述的高度测量方法，其中，所述图像参数包括所述图像拍摄装置所拍摄的图像的灭线方程、灭点坐标以及比例系数α。

上述的高度测量方法，其中，所述待测目标的最高点和最低点的坐标根据如下方式确定：

获取所述图像拍摄装置拍摄的至少一张不包括所述待测目标的图像作为背景图像；

使用背景差分法分析第一图像和所述背景图像，确定所述待测目标在所述第一图像中的像素点集合；

将矩形框的顶部中点的坐标作为待测目标最高点的坐标，并将矩形框的底部中点的坐标作为待测目标最低点的坐标，所述矩形框包围所述像素点集合构成的区域。

上述的高度测量方法，其中，所述图像参数通过如下方式获取：

获取所述图像拍摄装置拍摄的在图像拍摄装置的摄像区域内运动的第一参考物体的至少3个第二图像；

确定所述第一参考物体的最高点和最低点在每一个第二图像中的坐标；

根据所述第一参考物体的最高点和最低点在每一个第二图像中的坐标计算所述图像拍摄装置所拍摄的图像的灭线方程和灭点坐标；

根据所述第一参考物体的实际高度、灭线方程、灭点坐标、以及任意一个第二图像中参考物体的最高点和最低点的坐标计算α。

获取所述图像拍摄装置拍摄的第三图像，所述第三图像中包括位于摄像区域内的不同位置的至少3个相同的第二参考物体；

确定所述至少3个相同的第二参考物体中的每一个所述第二参考物体的最高点和最低点在所述第三图像中的坐标；

根据所述第二参考物体的最高点和最低点在所述第三图像中的坐标计算所述图像拍摄装置所拍摄的图像的灭线方程和灭点坐标；

根据所述至少3个相同的第三参考物体的实际高度、灭线方程、灭点坐标、以及任意一个所述第三参考物体的最高点和最低点在所述第三图像中的坐标计算比例系数α。

为了实现上述目的，本发明实施例还提供了一种高度测量装置，包括：

第一获取模块，用于获取图像拍摄装置拍摄的第一图像，所述第一图像中包括出现在所述图像拍摄装置的摄像区域内的待测目标；所述图像拍摄装置的拍摄参数固定；

第一坐标确定模块，用于确定所述待测目标的最高点和最低点在所述第一图像内的坐标；

高度计算模块，用于根据获取的所述待测目标的最高点和最低点在所述第一图像内的坐标以及一图像参数计算所述待测目标的实际高度。

上述的高度测量装置，其中，所述图像参数包括所述图像拍摄装置所拍摄的图像的灭线方程、灭点坐标以及比例系数α。

上述的高度测量装置，其中，所述第一坐标确定模块包括：

背景图象提取单元，用于获取所述图像拍摄装置拍摄的至少一张不包括所述待测目标的图像作为背景图像；

像素点集合获取单元，用于使用背景差分法分析第一图像和所述背景图像，确定所述待测目标在所述第一图像中的像素点集合；

坐标确定单元，用于将矩形框的顶部中点的坐标作为待测目标最高点的坐标，并将矩形框的底部中点的坐标作为待测目标最低点的坐标，所述矩形框包围所述像素点集合构成的区域。

上述的高度测量装置，其中，还包括：

第二获取模块，用于获取所述图像拍摄装置拍摄的在图像拍摄装置的摄像区域内运动的参考物体的至少3个第二图像；

第二坐标确定模块，用于确定所述参考物体的最高点和最低点在每一个第二图像中的坐标；

第一图像参数计算模块，用于根据所述参考物体的最高点和最低点在每一个第二图像中的坐标计算所述图像拍摄装置所拍摄的图像的灭线方程和灭点坐标，并根据所述参考物体的实际高度、灭线方程、灭点坐标、以及任意一个第二图像中参考物体的最高点和最低点的坐标计算比例系数α。

上述的高度测量装置，其中，还包括：

第三获取模块，用于获取所述图像拍摄装置拍摄的第三图像，所述第三图像中包括位于摄像区域内的不同位置的至少3个相同的第二参考物体；

第三坐标确定模块，用于确定所述至少3个相同的第二参考物体中的每一个所述第二参考物体的最高点和最低点在所述第三图像中的坐标；

第二图像参数计算模块，用于根据所述第二参考物体的最高点和最低点在所述第三图像中的坐标计算所述图像拍摄装置所拍摄的图像的灭线方程和灭点坐标，并根据所述第三参考物体的实际高度、灭线方程、灭点坐标、以及任意一个所述第三参考物体的最高点和最低点在所述第三图像中的坐标计算α。

为了实现上述目的，本发明实施例还提供了一种监控系统，包括：

拍摄参数固定的图像拍摄装置；

第一获取模块，用于获取所述图像拍摄装置拍摄的第一图像，所述第一图像中包括出现在图像拍摄装置的摄像区域内的待测目标；

高度计算模块，用于根据图像参数以及所述待测目标的最高点和最低点在所述第一图像内的坐标计算所述待测目标的实际高度；所述图像参数包括所述图像拍摄装置所拍摄的图像的灭线方程、灭点坐标以及比例系数α；

事件输出模块，用于在所述待测目标的实际高度超出预设门限时，输出一待测目标的实际高度超出预设门限的事件。

上述的监控系统，其中，所述图像参数包括所述图像拍摄装置所拍摄的图像的灭线方程、灭点坐标以及比例系数α。

本发明实施例具有以下有益效果：

本发明实施例的高度测量方法、装置及监控系统中，仅需要如下两部分的内容即可计算待测目标的实际高度：待测目标的最高点和最低点在图像内的坐标，以及图像参数，而待测目标的最高点和最低点在图像内的坐标能够通过简单运算得到，而图像参数可以预先得到，因此在实际使用过程中，避开了配准问题，实现简单，运算效率高，能进行实时分析处理；

而且本发明实施例中，只需要一个图像拍摄装置，因此降低了基于图像的高度测量的实现成本。

附图说明

图1、2和3为同一物体在同一摄像区域内的不同位置被图像拍摄装置拍摄到的图像中的大小及位置示意图；

图4为同一物体在同一摄像区域内的不同位置被图像拍摄装置拍摄到的图像的相对位置关系示意图；

图5为本发明实施例的装置的结构示意图；

图6为本发明实施例的方法的流程示意图；

图7为本发明实施例获取灭线方程、灭点坐标以及参数α的流程示意图。

具体实施方式

在对本发明实施例进行详细说明之前，先对本发明实施例涉及到的概念进行详细说明，以便于更好的理解本发明实施例。

现实生活中的景物，由于观察距离及方位不同在视觉上会引起不同的反映，这种现象就是透视现象，而图像拍摄装置拍摄得到的视频中的每一帧图像都回具有上述的现象。

同时，现有的图像拍摄装置的成像原理符合中心射影变换，也就是说位于空间中的平行直线在图片中的像一定交于一点，这一交点称为该组平行线组的灭点(Vanishing Point)。

而灭线(Vanishing Line)，表示的是图像平面和平行于参考平面的某个平面的交线；

如图1、2和3所示，其中A1B1、A2B2和A3B3表示同一物体在同一摄像区域内的不同位置被图像拍摄装置拍摄到的图像中的大小及位置示意图。

根据A1、B1、A2、B2、A3和B3在图像中的坐标信息将其放置到同一他中时，如图4所示，得到图4所示的相对位置关系示意图，其中，根据投影几何的原理可知，在理想状态下，该A1B1、A2B2和A3B3的延长线必定交于一点P1，该点P1即为空间中的A1B1、A2B2和A3B3的灭点，同时，任意两条线段的对应端点的连线的交点位于同一直线上，该直线即为图像平面的灭线，其中A1与A2的连线以及B1与B2的连线的交点为P4，A1与A3的连线以及B1与B3的连线的交点为P3，A2与A3的连线以及B3与B3的连线的交点为P2。

下面对上述的灭点和灭线方程的计算进行进一步详细说明。

假设A1、B1、A2、B2、A3和B3的以向量形式表示的坐标分别为：

f_A1，f_B1，f_A2，f_B2，f_A3，f_B3

则根据投影几何的理论可以知道，P2、P3和P4的坐标分别为：

(f_A2×f_A3)×(f_B2×f_B3)；

(f_A1×f_A3)×(f_B1×f_B3)；及

(f_A1×f_A2)×(f_B1×f_B2)

而A1B1、A2B2和A3B3所在的直线方程分别为：

(f_A1×f_B1)；

(f_A2×f_B2)；和

(f_A3×f_B3)。

其中，×表示向量的外积。

为了便于讨论，由于P2、P3和P4在同一个平面，假定其与Z轴垂直的平面，则将P2、P3和P4的坐标可以表示如下：

(A_x，A_y)；

(B_x，B_y)；和

(C_x，C_y)。

并将A1B1、A2B2和A3B3所在的直线方程表示为：

A₁x+B₁y+C₁＝0；

A₂x+B₂y+C₂＝0；

A₃x+B₃y+C₃＝0。

上述直线方程利用矩阵形式表示如下：

[\begin{matrix} A_{1} & B_{1} \\ A_{2} & B_{2} \\ A_{3} & B_{3} \end{matrix}] [\begin{matrix} x \\ y \end{matrix}] = [\begin{matrix} - C_{1} \\ - C_{2} \\ - C_{3} \end{matrix}]

三条直线的公共交点，即灭点的坐标如下：

[\begin{matrix} x \\ y \end{matrix}] = {(M^{T} M)}^{- 1} M^{T} [\begin{matrix} - C_{1} \\ - C_{2} \\ - C_{3} \end{matrix}]

其中：

M = [\begin{matrix} A_{1} & B_{1} \\ A_{2} & B_{2} \\ A_{3} & B_{3} \end{matrix}] .

然后采用最小二乘法拟合出通过这三个点的直线，即可得到灭线方程如下：

\frac{Y = \overset{&OverBar;}{y}}{X - \overset{&OverBar;}{x}} = \frac{l_{xy}}{l_{xx}}

其中：

\overset{&OverBar;}{x} = (A_{x} + B_{x} + C_{x}) / 3;

\overset{&OverBar;}{y} = (A_{y} + B_{y} + C_{y}) / 3;

l_{xx} = {(A_{x} - \overset{&OverBar;}{x})}^{2} + {(B_{x} - \overset{&OverBar;}{x})}^{2} + {(C_{x} - \overset{&OverBar;}{x})}^{2};

l_{xy} = (A_{x} - \overset{&OverBar;}{x}) (A_{y} - \overset{&OverBar;}{y}) + (B_{x} - \overset{&OverBar;}{x}) (B_{y} - \overset{&OverBar;}{y}) + (C_{x} - \overset{&OverBar;}{x}) (C_{y} - \overset{&OverBar;}{y}) .

在确定灭线和灭点之后，即可根据下述公式计算待测物体的实际高度h_x，如下：

h_{x} = \frac{- | | b_{x} \times t_{x} | |}{α (\hat{l} \cdot b_{x}) | | v_{x} \times t_{x} | |}

其中：

·表示计算向量的内积；

×表示计算向量的外积；

||·||表示向量的范数；

是灭线(Vanishing Line)方程；

v_x是灭点(Vanishing Point)的坐标；

b_x是待测物体的下最低点坐标；

t_x是待测物体的最高点坐标；

对任意一个固定的图像拍摄装置而言，比例系数α为一常数。

从以上描述可以发现，如果想要计算得到h_x，需要首先得到如下的参数：

v_x、b_x、t_x以及α。

如图5所示，本发明实施例的高度测量方法包括：

步骤51，获取图像拍摄装置拍摄的第一图像，所述图像中包括出现在图像拍摄装置的摄像区域内的待测目标；所述图像拍摄装置的拍摄参数固定；

步骤52，确定所述待测目标的最高点和最低点在所述第一图像内的坐标；

步骤53，根据获取的所述待测目标的最高点和最低点在所述第一图像内的坐标以及一图像参数计算所述待测目标的实际高度。

所述图像参数包括所述图像拍摄装置所拍摄的图像的灭线方程、灭点坐标以及比例系数α。

如图6所示，本发明实施例的高度测量装置包括：

第一获取模块，用于获取图像拍摄装置拍摄的第一图像，所述第一图像中包括出现在图像拍摄装置的摄像区域内的待测目标；所述图像拍摄装置的拍摄参数固定；

高度计算模块，用于根据图像参数以及所述待测目标的最高点和最低点在所述第一图像内的坐标计算所述待测目标的实际高度；

所述图像参数包括所述图像拍摄装置所拍摄的图像的灭线方程、灭点坐标以及参数α。

下面对如何获取图像的灭线方程、灭点坐标以及比例系数α进行详细说明。

在前面已经提到，如果能够得到同一物体在图像拍摄装置的拍摄区域中的至少3个不同位置的图像，并分别得到该至少3个图像中物体的最高点和最低点在每一个图像中的坐标即可计算灭线方程以及灭点坐标。

所以如图7所示，本发明实施例中通过如下步骤获取灭线方程、灭点坐标以及参数α：

步骤71，获取图像拍摄装置拍摄的在图像拍摄装置的摄像区域内运动的参考物体的至少3个第二图像；所述图像拍摄装置的拍摄参数固定；

步骤72，确定每一个第二图像中参考物体的最高点和最低点的坐标；

步骤73，根据每一个第二图像中参考物体的最高点和最低点的坐标计算所述图像拍摄装置所拍摄的图像的灭线方程和灭点坐标；

步骤74，根据参考物体的实际高度、灭线方程、灭点坐标、以及任意一个第二图像中参考物体的最高点和最低点的坐标计算比例系数α。

也就是，本发明实施例的高度测量装置还包括：

在得到灭线方程以及灭点坐标后，由于该物体的高度已知，则可以根据该物体的最高点和最低点在任意一幅图像中的坐标计算比例系数α，如下：

α = \frac{- | | b \times t | |}{h (\hat{l} \cdot b) | | v \times t | |}

其中：

·表示计算向量的内积；

×表示计算向量的外积；

||·||表示向量的范数；

是灭线(Vanishing Line)方程；

v是灭点(Vanishing Point)的坐标；

b是待测物体的下最低点坐标；

t是待测物体的最高点坐标。

而具体如何根据6个点的坐标来确定灭点和灭线已经在前面进行了详细的说明，在此不再重复描述。

当然，本发明实施例中还可以通过如下步骤获取灭线方程、灭点坐标以及比例系数α：

步骤81，第三获取模块获取所述图像拍摄装置拍摄的第三图像，所述第三图像中包括位于摄像区域内的不同位置的至少3个相同的第二参考物体；

步骤82，第三坐标确定模块确定至少所述至少3个相同的第二参考物体中的每一个所述第二参考物体的最高点和最低点在所述第三图像中的坐标；

步骤83，第二图像参数计算模块根据所述至少3个相同的第二参考物体的最高点和最低点在所述第三图像中的坐标计算所述图像拍摄装置所拍摄的图像的灭线方程和灭点坐标；

步骤84，第二图像参数计算模块根据所述第三参考物体的实际高度、灭线方程、灭点坐标、以及任意一个所述第三参考物体的最高点和最低点在所述第三图像中的坐标计算比例系数α。

在此，该第三参考物体可以是同一型号的车辆，具有相同高度的人等。

在本发明的具体实施例中，该图像拍摄装置可以是拍摄静态图片的数码相机，也可以是拍摄动态图像的摄像机，对于摄像机而言，将其拍摄的视频中的视频帧提取出来即可得到上述的第一图像和第二图像。

在后续的说明中，均以图像拍摄装置为摄像机为例进行说明。

在本发明的具体实施例中，不管是确定图像参数还是最后计算实际高度，都需要用到物体的最低点坐标和最高点坐标，其可以使用手动标注的方式获取，当然也可以通过其他方式来获取，以获取待测目标的最低点坐标和最高点坐标为例说明如下，包括如下步骤：

背景图象提取单元获取所述图像拍摄装置拍摄的至少一张不包括所述待测目标的图像作为背景图像；

像素点集合获取单元使用背景差分法分析第一图像和所述背景图像，确定所述待测目标在所述第一图像中的像素点集合；

坐标确定单元将矩形框的顶部中点的坐标作为待测目标最高点的坐标，并将矩形框的底部中点的坐标作为待测目标最低点的坐标，所述矩形框包围所述像素点集合构成的区域。

当然，在待测物体为人体时，可以基于人体检测技术来实现，如基于方向直方图和Adaboost的检测方法(Qiang Zhu，Shai Avidan，Mei-chen Yeh，Kwang-Ting Cheng，Fast human detection using a cascade of Histograms ofOriented Gradients.IEEE Computer Vision and Pattern Recognition 2006)来检测人体。

本发明实施例还提供了一种监控系统，包括：

拍摄参数固定的图像拍摄装置；

所述图像参数包括所述图像拍摄装置所拍摄的图像的灭线方程、灭点坐标以及比例系数α；

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims

1.一种高度测量方法，其特征在于，包括：

2.根据权利要求1所述的高度测量方法，其特征在于，所述图像参数包括所述图像拍摄装置所拍摄的图像的灭线方程、灭点坐标以及比例系数α。

3.根据权利要求2所述的高度测量方法，其特征在于，所述待测目标的实际高度h_x如下：

h_{x} = \frac{- | | b_{x} \times t_{x} | |}{α (\hat{l} \cdot b_{x}) | | v_{x} \times t_{x} | |}

其中：

·表示计算向量的内积；

×表示计算向量的外积；

||·||表示向量的范数；

是所述灭线方程；

v_x是所述灭点坐标；

b_x是所述待测目标的最低点坐标；

t_x是所述待测目标的最高点坐标。

4.根据权利要求2或3所述的高度测量方法，其特征在于，所述待测目标的最高点和最低点的坐标根据如下方式确定：

将一矩形框的顶部中点的坐标作为待测目标最高点的坐标，并将矩形框的底部中点的坐标作为待测目标最低点的坐标，所述矩形框包围所述像素点集合构成的区域。

5.根据权利要求2或3所述的高度测量方法，其特征在于，所述图像参数通过如下方式获取：

6.根据权利要求2或3所述的高度测量方法，其特征在于，所述图像参数通过如下方式获取：

根据所述至少3个相同的第二参考物体的最高点和最低点在所述第三图像中的坐标计算所述图像拍摄装置所拍摄的图像的灭线方程和灭点坐标；

根据所述第三参考物体的实际高度、灭线方程、灭点坐标、以及任意一个所述第三参考物体的最高点和最低点在所述第三图像中的坐标计算比例系数α。

7.一种高度测量装置，其特征在于，包括：

8.根据权利要求7所述的高度测量装置，其特征在于，所述图像参数包括所述图像拍摄装置所拍摄的图像的灭线方程、灭点坐标以及比例系数α。

9.根据权利要求8所述的高度测量装置，其特征在于，所述待测目标的实际高度h_x如下：

h_{x} = \frac{- | | b_{x} \times t_{x} | |}{α (\hat{l} \cdot b_{x}) | | v_{x} \times t_{x} | |}

其中：

·表示计算向量的内积；

×表示计算向量的外积；

||·||表示向量的范数；

是所述灭线方程；

v_x是所述灭点坐标；

b_x是所述待测目标的最低点坐标；

t_x是所述待测目标的最高点坐标。

10.根据权利要求8或9所述的高度测量装置，其特征在于，所述第一坐标确定模块包括：

坐标确定单元，用于将一矩形框的顶部中点的坐标作为待测目标最高点的坐标，并将矩形框的底部中点的坐标作为待测目标最低点的坐标，所述矩形框包围所述像素点集合构成的区域。

11.根据权利要求8或9所述的高度测量装置，其特征在于，还包括：

12.根据权利要求8或9所述的高度测量装置，其特征在于，还包括：

13.一种监控系统，其特征在于，包括：

拍摄参数固定的图像拍摄装置；

14.根据权利要求13所述的监控系统，其特征在于，所述图像参数包括所述图像拍摄装置所拍摄的图像的灭线方程、灭点坐标以及比例系数α。