CN101604448A - 一种运动目标的测速方法和系统 - Google Patents

Abstract

本发明提供了一种运动目标的测速方法和系统，以解决现有的测速方法存在响应速度慢等问题。所述方法利用投影几何学的基本原理，通过摄像机标定技术确定出图像中的像素坐标与该像素在真实空间中的坐标映射关系，并利用所述映射关系对摄像机采集到的序列帧图像，计算图像中的运动目标在真实空间中的坐标，并经过目标跟踪得到运动目标在真实空间中的运动轨迹，从而估算运动目标的速度。这种基于摄像机标定的测速方法，响应速度快，检测的信息量大，可以实时对监控范围内的所有车辆进行速度估计。而且，利用摄像头就可以实现车辆测速，容易实现，降低了成本，易于推广应用。

Description

一种运动目标的测速方法和系统

技术领域

本发明涉及图像处理技术领域，特别是涉及一种运动目标的测速方法和系统。

背景技术

在交通监控管理中，统计和分析车辆的速度对于高速公路的载荷控制和管理起着至关重要的作用，是科学管理高速公路的基础。目前，高速公路上对车辆的测速方法，常见的有雷达检测、环形线圈检测、激光/红外线检测、超声波/微波检测等。其中，比较常用的是雷达检测和环形线圈检测方法。

雷达测速的原理是：道路旁装有雷达发射器，向道路来车方向发射雷达波束，再接收汽车的反射的回波，通过回波分析测定汽车车速，如车速超过设定值，则指令相机拍摄，晚间同时触发闪光灯。雷达测速的主要缺点是响应速度慢，需要一定时间才能完成对车辆的测速，而且当路面上车辆很多时难以完成测速任务，并且成本较高，难以广泛应用。

环形线圈检测是目前车辆检测系统大都使用的方法，该方法的原理是：线圈车辆检测器与埋在道路中间的线圈连接，车辆经过线圈后使线圈电感应量发生变化，车辆的通过状态将被检测到，同时状态信号传输给车辆检测器，由其进行采集和计算。这种方法造价较低、检测精度较高，但安装时对路面有破坏，施工和安装过程中会干扰交通，其安装和拆除都不方便，而且线圈易损坏。

综上所述，现有的几种车辆测速方法都存在缺点，因此需要提供一种新的车辆测速方法来解决上述问题。

发明内容

本发明所要解决的技术问题是提供一种运动目标的测速方法和系统，以解决现有的测速方法存在响应速度慢等问题。

为了解决上述问题，本发明公开了一种运动目标的测速方法，包括：

预先确定视频帧图像中的像素坐标与该像素在真实空间中的坐标映射关系；

对序列帧图像进行运动目标检测，从序列帧图像中提取出运动目标的图像；

对所述检测到的运动目标进行跟踪，得到运动目标在图像平面上的运动轨迹；

根据所述映射关系，利用所述运动目标在图像平面上的运动轨迹，计算运动目标在真实空间中的运动轨迹；

根据所述运动目标在真实空间中的运动轨迹以及运动时间，估算运动目标的速度。

优选的，所述预先确定视频帧图像中的像素坐标与该像素在真实空间中的坐标映射关系，具体包括：在运动目标上选择标定物，利用所述标定物计算视频帧图像中的像素坐标与该像素在真实空间中的坐标映射参数，并根据所述映射参数确定所述映射关系。

其中，所述映射参数包括六个参数，分别表示为l₁，l₂，l₃，s，α，β；则所述利用标定物计算参数l₁，l₂，l₃，具体包括：在运动目标上选择至少三个高度相同、相互平行的线段作为标定物，则所有标定物经过投影后在图像上的交点构成一条直线；利用所述标定物的图像坐标拟合所述直线的方程，该方程表示为l₁x+l₂y+l₃＝0，则l₁，l₂，l₃分别为该方程的系数。

其中，所述利用标定物计算参数s，α，β，具体包括：在运动目标上选择两条已知夹角的线段作为标定物，所述夹角为所述两条线段在真实空间中的夹角；分别计算所述两条线段所在直线的方程，并根据计算得到的两个直线方程以及所述夹角构造两个圆，则α，β为所述两个圆的交点坐标；在所述两条线段中选择任意一条线段，则s为所选择的线段在真实空间中的长度与该线段在图像中的长度之比。

其中，所述视频帧图像为交通监控图像，所述运动目标为车辆。

本发明还提供了一种运动目标的测速系统，包括：

数据标定单元，用于预先确定视频帧图像中的像素坐标与该像素在真实空间中的坐标映射关系；

目标检测单元，用于对序列帧图像进行运动目标检测，从序列帧图像中提取出运动目标的图像；

目标跟踪单元，用于对所述检测到的运动目标进行跟踪，得到运动目标在图像平面上的运动轨迹；

速度估计单元，用于根据所述映射关系，利用所述运动目标在图像平面上的运动轨迹，计算运动目标在真实空间中的运动轨迹；根据所述运动目标在真实空间中的运动轨迹以及运动时间，估算运动目标的速度。

优选的，所述数据标定单元包括：标定物选择子单元，用于在运动目标上选择标定物；计算子单元，用于利用所述标定物计算视频帧图像中的像素坐标与该像素在真实空间中的坐标映射参数，并根据所述映射参数确定所述映射关系。

其中，所述映射参数包括六个参数，分别表示为l₁，l₂，l₃，s，α，β；则所述计算子单元包括：l₁，l₂，l₃参数计算模块，用于调用所述标定物选择子单元在运动目标上选择至少三个高度相同、相互平行的线段作为标定物，则所有标定物经过投影后在图像上的交点构成一条直线；所述l₁，l₂，l₃参数计算模块利用所述标定物的图像坐标拟合所述直线的方程，该方程表示为l₁x+l₂y+l₃＝0，则l₁，l₂，l₃分别为该方程的系数。

其中，所述计算子单元还包括：s，α，β参数计算模块，用于调用所述标定物选择子单元在运动目标上选择两条已知夹角的线段作为标定物，所述夹角为所述两条线段在真实空间中的夹角；所述s，α，β参数计算模块分别计算所述两条线段所在直线的方程，并根据计算得到的两个直线方程以及所述夹角构造两个圆，则α，β为所述两个圆的交点坐标；在所述两条线段中选择任意一条线段，则s为所选择的线段在真实空间中的长度与该线段在图像中的长度之比。

优选的，所述目标跟踪单元包括：目标匹配子单元，用于针对{A_i}_i＝1 ^M中的每个运动目标，利用特征信息分别与{B_j}_j＝1 ^N中的运动目标进行相似度计算，并将相似度最大的两个运动目标作为相匹配的目标；其中，{A_i}_i＝1 ^M表示当前输入图像中提取出的运动目标的特征信息，{B_j}_j＝1 ^N表示之前的帧图像中提取出的运动目标的特征信息，其中M和N均表示运动目标的个数；目标跟踪结果子单元，用于根据匹配结果得到如下目标跟踪结果：如果M＝N且{A_i}_i＝1 ^M和{B_j}_j＝1 ^N都分别匹配上，则所有目标都在监控范围内运动；如果M≠N且{A_i}_i＝1 ^M中有运动目标没有匹配上，则监控范围内出现新的运动目标；如果M≠N且{B_j}_j＝1 ^N中有运动目标没有匹配上，则有运动目标离开了监控范围。

本发明还提供了一种运动目标的测速系统，包括：

目标检测单元，用于对序列帧图像进行运动目标检测，从序列帧图像中提取出运动目标的图像；

目标跟踪单元，用于对所述检测到的运动目标进行跟踪，得到运动目标在图像平面上的运动轨迹；

速度估计单元，用于根据预先确定的视频帧图像中的像素坐标与该像素在真实空间中的坐标映射关系，利用所述运动目标在图像平面上的运动轨迹，计算运动目标在真实空间中的运动轨迹；根据所述运动目标在真实空间中的运动轨迹以及运动时间，估算运动目标的速度。

优选的，所述速度估计单元包括：数据标定子单元，用于预先确定视频帧图像中的像素坐标与该像素在真实空间中的坐标映射关系；速度计算子单元，用于根据所述映射关系，重复进行速度估计，具体包括：利用所述运动目标在图像平面上的运动轨迹，计算运动目标在真实空间中的运动轨迹；根据所述运动目标在真实空间中的运动轨迹以及运动时间，估算运动目标的速度。

优选的，所述数据标定子单元包括：标定物选择模块，用于在运动目标上选择标定物；参数计算模块，用于利用所述标定物计算视频帧图像中的像素坐标与该像素在真实空间中的坐标映射参数，并根据所述映射参数确定所述映射关系。

与现有技术相比，本发明具有以下优点：

首先，本发明利用投影几何学的基本原理，通过摄像机标定技术确定出图像中的像素坐标与该像素在真实空间中的坐标映射关系，并利用所述映射关系对摄像机采集到的序列帧图像，计算图像中的运动目标在真实空间中的坐标，并经过目标跟踪得到运动目标在真实空间中的运动轨迹，从而估算运动目标的速度。

这种基于摄像机标定的测速方法，响应速度快，检测的信息量大，可以实时对监控范围内的所有车辆进行速度估计。而且，利用摄像头就可以实现车辆测速，容易实现，降低了成本，易于推广应用。并且，无需破坏路面，不会影响交通，易于安装调试，维护容易。

其次，本发明在利用摄像机标定技术时，将标定物选择在运动目标上，就可以直接计算出映射参数，因此应用到交通监控中对车辆进行测速十分方便，易于推广应用。

附图说明

图1是本发明实施例所述一种运动目标的测速方法流程图；

图2是本发明实施例所述的图像中连通区域的外接矩形示意图；

图3是本发明实施例中的灭线示意图；

图4是本发明实施例中计算参数s，α，β的示意图；

图5是本发明实施例所述一种运动目标的测速系统结构图；

图6是图5中数据标定单元U51的结构图；

图7是本发明另一实施例所述一种运动目标的测速系统结构图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

本发明利用投影几何学的基本原理，通过摄像机标定技术确定出图像中的像素坐标与该像素在真实空间中的坐标映射关系，并利用所述映射关系对摄像机采集到的序列帧图像，计算图像中的运动目标在真实空间中的坐标，并经过目标跟踪得到运动目标在真实空间中的运动轨迹，从而估算运动目标的速度。其中，所述运动目标是对监控范围内运动的物体的概称，如交通监控中的车辆、行人等都可称为运动目标。

下面通过实施例进行详细说明。

参照图1，是实施例所述一种运动目标的测速方法流程图。

在下面的处理步骤中，步骤S101是一个初始化的步骤，当初始化工作完成之后，才开始真正的测速流程。测速流程是重复对采集到的视频帧图像进行运动目标检测、跟踪和速度估计，即对输入的序列帧图像重复执行S102-S105。详细的处理流程如下：

S101，预先确定视频帧图像中的像素坐标与该像素在真实空间中的坐标映射关系；

所述映射关系是利用投影几何学的基本原理，通过摄像机标定技术确定出。在投影几何学中，真实空间中的物体投影到二维平面上形成图像，该图像中任意一点的像素坐标与该像素在真实空间中的坐标之间存在一定的映射关系。本实施例就是利用这种映射关系，首先获取运动目标在投影图像中的坐标位置，然后根据所述映射关系计算出运动目标在真实空间中的位置信息，进而估算运动目标的速度。

本实施例是利用摄像机，通过拍摄运动目标的运动过程来获得视频帧图像，该视频帧图像中的任意一个像素点(u，v)，都是真实世界中的一个点(X，Y，Z)在摄像机上经过投影形成的，因此(u，v)与(X，Y，Z)之间满足所述映射关系。

由于所述映射关系是由摄像机成像的几何模型决定，这些几何模型参数称为映射参数，因此需要确定所述映射参数才能确定所述映射关系。在大多数条件下，这些映射参数需要通过实验与计算才能得到，这个过程被称为摄像机标定。目前，对于摄像机标定问题已提出了很多方法，摄像机标定的理论问题已得到较好的解决，因此针对摄像机标定的研究，当前应该集中在如何针对具体的实际应用问题，采用特定的简便、实用、快速、准确的标定方法。

针对运动目标的摄像机标定，本实施例采用的一种较好的方法是：在运动目标上选择标定物，然后利用所述标定物来计算映射参数，从而最终确定视频帧图像中的像素坐标与该像素在真实空间中的坐标映射关系。这种摄像机标定方法的优点是：对于如交通环境下车来车往等比较复杂的场景，对该场景中的运动目标的标定通常比较困难，因为首先要标定的目标是运动的，其次运动目标又处于一个复杂的环境中，因此通常的或理论上成立的标定方法都不适用于这种复杂场景；而本实施例将标定物选择在运动目标上，不会受目标的运动情况、运动场景变换等情况的影响，因此可以方便、快速、准确地计算出运动目标与其对应的视频帧图像之间的映射参数，这种方法更具有实用性。具体的参数计算方法在后面的实施例中进行详细说明。

综上所述，计算出运动目标与其对应的视频帧图像之间的映射参数，就可以确定视频帧图像中的像素坐标与该像素在真实空间中的坐标映射关系。

确定所述映射关系之后，可以对采集到的视频帧图像重复进行以下处理(包括步骤S102-S105)：

S102，对序列帧图像进行运动目标检测，从序列帧图像中提取出运动目标的图像；

运动目标检测的主要目的就是从摄像机拍摄的帧图像中获取运动目标在该图像中的位置，目前的检测方法有很多种，本实施例在此不作限定。举例说明，一种较简单的检测方法是：首先，从输入视频中提取一些视频帧作为背景图像，使用背景差分法获取图像中的运动像素点，然后使用区域分析的方法处理上述运动像素点，获得图像中的运动区域，将这些区域作为运动目标检测的结果。其中，所述背景差分法和区域分析都属于现有技术，在此不再详述。

S103，对所述检测到的运动目标进行跟踪，得到运动目标在图像平面上的运动轨迹；

运动目标跟踪的目的就是获取运动目标的一系列运动情况，同样，目前的跟踪方法也有很多种，本实施例在此不作限定。

本实施例提供一种较好的跟踪方法，如下：

首先，在融合后的图像中确定出运动目标图像；

具体为：对经过检测的二值图像进行边界跟踪(Bound Tracking)或者边缘点连接(Edge Point Linking)，得到图像中每个连通区域的边界，用一个外接矩形框表示一个独立的连通区域，如图2所示，每个矩形中的连通区域即表示一个运动目标。

然后，将当前输入图像中提取出的运动目标图像与之前的帧图像中提取出的运动目标图像进行匹配；

具体为：构造一个用以描述运动目标信息的数据结构str_TrkInfo，负责记录所有已经存在的运动目标的位置、大小、运动方向、瞬时速度、运动轨迹等特征信息(可以根据实际需要适当的设置需要记录的信息)，并将这些特征信息表示成{B_j}_j＝1 ^N，其中N表示已经存在的运动目标的数目。设当前输入图像上检测到的运动目标有M个，提取其特征信息表示成{A_i}_i＝1 ^M。

匹配的目的就是从{A_i}_i＝1 ^M找到与{B_j}_j＝1 ^N中对应的运动目标，从而将不同帧图像中的同一运动目标关联起来，并不断更新str_TrkInfo中保存的已经存在的运动目标的位置信息，最后得到各个运动目标完整的运动轨迹。

匹配过程是：分别计算A_i与B_j的相似度，即将{A_i}_i＝1 ^M中的每个运动目标分别与{B_j}_j＝1 ^N中的每个运动目标进行相似度计算。本实施例采用的相似度计算方法是分别计算A_i与B_j之间的相似性距离：d(A_i，B_j)，i＝1，2，L M，j＝1，2，L N。

相似性距离的具体定义可以有多种选择，例如一种最简单的方法就是将其定义为A_i与B_j所在的外接矩形的重合程度，计算公式如下：

$d(A_i,B_j)=\frac{S\left(A_i\right)\∩S\left(B_j\right)}{\min (S\left(A_i\right),S\left(B_j\right))};$

其中S(A_i)，S(B_j)分别表示A_i和B_j的面积。

如两者无重叠部分，则认为A_i与B_j的相似度为零；如有重叠部分，重叠区域越大，相似度越大。

上述相似度计算是利用运动目标的特征信息中的位置信息来进行计算，因此算法简单，运行速度快，能够满足实时处理的需求。当然，相似度的计算也可以使用其他特征信息，本实施例不作限定。

对每一组A_i和B_j计算相似度之后，根据计算结果确定匹配结果。具体为：针对{A_i}_i＝1 ^M中的每一个运动目标，求出{B_j}_j＝1 ^N中与该运动目标的相似性距离最大的一个运动目标，作为与该运动目标相匹配的结果。例如，{A_i}_i＝1 ^M中有三个运动目标A₁、A₂和A₃，{B_j}_j＝1 ^N也有三个运动目标B₁、B₂和B₃，当A₁分别与B₁、B₂和B₃计算时，如果B₁与A₁的相似度最大，则B₁与A₁相匹配。这样，就可以同时处理多个运动目标的跟踪问题。

最后，根据匹配结果得到如下目标跟踪结果：

(1)如果M＝N且{A_i}_i＝1 ^M和{B_j}_j＝1 ^N都分别匹配上，则所有目标都在监控范围内运动，用{A_i}_i＝1 ^M中的运动目标信息更新{B_j}_j＝1 ^N；

(2)如果M≠N且{A_i}_i＝1 ^M中有运动目标没有匹配上，则监控范围内出现新的运动目标，需要将这些未匹配上的运动目标作为新的运动目标添加到str_TrkInfo中；

(3)如果M≠N且{B_j}_j＝1 ^N中有运动目标没有匹配上，则有运动目标离开了监控范围，需要将这些未匹配上的运动目标从str_TrkInfo中删除。

优选的，在实际情况下，由于误差和噪声的存在，对于当前没有匹配的运动目标，可以先暂时保留其相关信息，并在以后连续几帧图像中进行匹配，如果一直都没有匹配，就认为是新的运动目标出现(情况(2))或者现有运动目标离开监控范围(情况(3))。

目标跟踪完成之后，将str_TrkInfo中所有的运动目标的信息{B_j}_j＝1 ^N输出，就完成了运动目标检测与跟踪的任务。

S104，根据所述映射关系，利用所述运动目标在图像平面上的运动轨迹，计算运动目标在真实空间中的运动轨迹；

根据目标跟踪的结果，将其中的运动目标的位置信息提取出来，连续帧图像中运动目标的位置信息即形成运动轨迹。而对于运动轨迹中的每个位置信息，根据所述视频帧图像中的像素坐标与该像素在真实空间中的坐标映射关系，可以计算出对应到真实空间中的位置信息，从而得到运动目标在真实空间中的运动轨迹。

S105，根据所述运动目标在真实空间中的运动轨迹以及运动时间，估算运动目标的速度。

得到运动目标在真实空间中的运动轨迹之后，提取一小段时间T内的轨迹，可以计算出这段轨迹的距离，然后除以时间T，就可以估算出运动目标的运动速度。

将上述运动目标检测方法应用到交通监控中对车辆进行测速，首先需要将监控摄像机架设在路边，对路面上的车辆进行跟踪拍摄；然后利用图1所述的方法先对拍摄到的视频帧图像进行映射参数计算，从而确定映射关系，再利用所述映射关系重复以下处理：对视频帧图像中的所有车辆进行检测，对检测到的所有车辆进行跟踪，利用所述映射关系对跟踪到的每一个车辆进行速度估计。

下面将以交通监控中的车辆测速为例，详细说明上述步骤S101中如何利用摄像机标定技术，确定视频帧图像中的像素坐标与该像素在真实空间中的坐标映射关系。

将视频帧图像中的像素坐标表示为(u，v)，将像素在真实空间中的坐标表示为(X，Y，Z)，则(u，v)与(X，Y，Z)满足如下映射关系：

$\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]=\left[\begin{array}{ccc}\frac{s}{\mathrm{\β}}& \frac{\mathrm{s\α}}{\mathrm{\β}}& 0\\ 0& s& 0\\ l_1& l_2& l_3\end{array}\right]\left[\begin{array}{c}u\\ v\\ l\end{array}\right];$

其中，l₁，l₂，l₃，s，α，β表示映射参数。

这样，只要确定了矩阵 $\left[\begin{array}{ccc}\frac{s}{\mathrm{\β}}& \frac{\mathrm{s\α}}{\mathrm{\β}}& 0\\ 0& s& 0\\ l_1& l_2& l_3\end{array}\right],$ 即确定了其中的六个映射参数l₁，l₂，l₃，s，α，β，就可以获得像素点(u，v)在真实世界的坐标(X，Y，Z)，这就是标定工作的最终目的。其中，所述坐标变换公式可以进行变形，即其中的参数表达可能不同，但不会改变(u，v)与(X，Y，Z)之间的映射关系，因此都属于本发明保护范围。

针对车辆测速，可以将真实世界中的车辆以一个坐标点(X，Y，Z)表示，车辆在摄像机上经过投影，对应到图像平面上的点以(u，v)表示，则(u，v)与(X，Y，Z)之间满足上述公式。因此，对车辆的测速，可以利用上述公式进行计算。

如前所述，上述映射参数l₁，l₂，l₃，s，α，β需要通过标定物计算得出。一种优选的方式是将标定物选择在车辆上，下面分别详细说明如何利用标定物计算映射参数l₁，l₂，l₃和s，α，β。

1、计算映射参数l₁，l₂，l₃

l₁，l₂，l₃是利用灭线(vanishing line)方程计算得出。灭线是指真实世界中的所有平行线经过投影之后在图像上的交点构成的直线。参照图3所示，人工选定若干个(至少三个)高度相同、相互平行的物体作为标定物，以三个为例，分别用P1、P2、P3表示，P1、P2、P3的底端不共线。由于透视变换的作用，P1、P2在图像上的投影直线必然相交，其交点为C，同理，可以得到另外两个交点A和B。所述三个交点共线，共线的直线称为灭线，因此根据这三点的坐标拟合出的直线方程即为灭线方程。所述灭线方程是一个二元一次方程，表示为l₁x+l₂y+l₃＝0，灭线方程的系数即为l₁，l₂，l₃。灭线方程的拟合方法有很多，如最常用的最小二乘的方法等，在此不再详述。

车辆测速过程中，在车辆上选择至少三个高度相同、相互平行的线段作为标定物，对应到视频帧图像中，即选择至少三个不共线的位置点。然后，利用这些标定物的同一端在视频帧图像中的坐标(即所述图像中不共线的位置点)，可以获得这些标定物经过投影之后在图像上的交点坐标；再利用所述交点坐标可以拟合出灭线方程，l₁，l₂，l₃即为该灭线方程的系数。此外，选择标定物时也可以选择相同型号的多辆车辆，比如三辆出租车，在图像上标出他们的高度。

2、计算映射参数s，α，β

计算原理是：在真实世界中找到两条已知夹角的线段作为标定物，就可以计算出s，α，β。其中，所述夹角为所述两条线段在真实空间中的夹角。针对车辆测速，具体计算方法是：

首先，在交通场景中找到任意一辆汽车(此时不区分汽车的类型)，在汽车的侧面和尾部各标记两个点，要求尽量使得这四个点共面(尽可能与地平面平行)。如图4所示，在汽车的尾部选择点A、B，在汽车的侧面选择点C、D，则线段AB和线段CD作为标定物，其在真实世界中的夹角θ以及长度可以获知。通常AB和CD的夹角近似垂直，AB和CD的长度分别对应小汽车的宽度和长度。

然后，设A点的图像坐标为(x₁₁，y₁₁)，B点的图像坐标为(x₁₂，y₁₂)，C点的图像坐标为(x₂₁，y₂₁)，D点的图像坐标为(x₁₂，y₁₂)。利用所述四个点的图像坐标可以得到线段AB所在直线的方程和线段CD所在直线的方程。构造两个圆，第一个圆的中心点为：

半径为

其中，a和b分别表示AB和CD的斜率，可以根据所述直线方程获得，θ是AB和CD在真实世界中的夹角；第二个圆的中心点为：

半径为

其中，Δx_n＝x_n1-x_n2，Δy_n＝y_n1-y_n2，n＝1，2。构造上述两个圆的详细过程可参见文献“Micah K.Johnson and Hany Farid.MetricRectification for Perspective Images ofPlanes.”，在此不再详述。

计算出这两个圆的交点，则α，β为所述两个圆的交点坐标。标定出汽车的真实宽度w，即A、B两点在真实空间中的距离，A、B两点在图像上的像素点之间的像素距离表示为d，计算参数 $s=\frac{w}{d}.$ 当然，也可以选择C、D两点在真实空间中的距离与在图像上的距离之比。

利用上述方法计算出映射参数l₁，l₂，l₃，s，α，β之后，将车辆在图像平面上的轨迹坐标带入(u，v)，利用上述映射公式即可计算出车辆在真实空间中的轨迹坐标(X，Y，Z)。例如，针对一小段时间T  内的轨迹：(x_t，y_t)，(x_t+1，y_t+1)，L，(x_t+T，y_t+T)，将(x_t，y_t)，(x_t+1，y_t+1)，L，(x_t+T，y_t+T)分别与矩阵 $\left[\begin{array}{ccc}\frac{s}{\mathrm{\β}}& \frac{\mathrm{s\α}}{\mathrm{\β}}& 0\\ 0& s& 0\\ l_1& l_2& l_3\end{array}\right]$ 相乘，得到对应的真实世界空间中的运动轨迹(X_t，Y_t，Z_t)，(X_t+1，Y_t+1，Z_t+1)，L，(X_t+T，Y_t+T，Z_t+T)。

最后估计车辆的速度，如下：

$v=\frac{{\mathrm{\Σ}}_{i=t}^{t+T}\sqrt{{(X_{i+1}-X_i)}^2+{(Y_{i+1}-Y_i)}^2}}{\mathrm{Tf}};$

其中，f表示视频图像的帧率。

上述基于摄像机标定的车辆测速方法，响应速度快，检测的信息量大，可以实时对监控范围内的所有车辆进行速度估计。而且，利用摄像头就可以实现车辆测速，容易实现，降低了成本，易于推广应用。所述方法与现有的环形线圈检测方法相比，无需破坏路面，不会影响交通，易于安装调试，维护容易。

此外，在利用摄像机标定技术时，将标定物选择在运动目标上，就可以直接计算出映射参数，因此应用到交通监控中对车辆进行测速十分方便，易于推广应用。

针对上述方法实施例，本发明还提供了相应的系统实施例。

参照图5，是本发明实施例所述一种运动目标的测速系统结构图。所述系统主要包括：

数据标定单元U51，用于预先确定视频帧图像中的像素坐标与该像素在真实空间中的坐标映射关系；

目标检测单元U52，用于对序列帧图像进行运动目标检测，从序列帧图像中提取出运动目标的图像；可以采用多种检测方式；

目标跟踪单元U53，用于对所述检测到的运动目标进行跟踪，得到运动目标在图像平面上的运动轨迹；可以采用多种跟踪方式；

速度估计单元U54，用于根据所述映射关系，利用所述运动目标在图像平面上的运动轨迹，计算运动目标在真实空间中的运动轨迹；根据所述运动目标在真实空间中的运动轨迹以及运动时间，估算运动目标的速度。

所述测速系统的工作过程是：

数据标定单元U51预先确定出所述映射关系，然后，针对输入的序列帧图像，目标检测单元U52、目标跟踪单元U53和速度估计单元U54重复进行运动目标的检测、跟踪和速度估计处理。

本实施例优选的，参照图6所示，所述数据标定单元U51可以包括：

标定物选择子单元U511，用于在运动目标上选择标定物；

计算子单元U512，用于利用所述标定物计算视频帧图像中的像素坐标与该像素在真实空间中的坐标映射参数，并根据所述映射参数确定所述映射关系。

其中，所述视频帧图像中的像素坐标与该像素在真实空间中的坐标映射关系满足如下关系式：

$\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]=\left[\begin{array}{ccc}\frac{s}{\mathrm{\β}}& \frac{\mathrm{s\α}}{\mathrm{\β}}& 0\\ 0& s& 0\\ l_1& l_2& l_3\end{array}\right]\left[\begin{array}{c}u\\ v\\ l\end{array}\right];$

其中，(u，v)表示视频帧图像中的像素坐标，(X，Y，Z)表示像素在真实空间中的坐标，l₁，l₂，l₃，s，α，β表示映射参数。

则所述计算子单元U512将利用在运动目标上选择的标定物计算l₁，l₂，l₃，s，α，β，从而确定所述映射关系。所述速度估计单元U54将运动目标在图像平面上的轨迹坐标带入(u，v)，利用上述公式计算运动目标在真实空间中的轨迹坐标(X，Y，Z)；连续的轨迹坐标形成运动轨迹。

优选的，所述计算子单元U512可以包括：

l₁，l₂，l₃参数计算模块U512a，用于调用所述标定物选择子单元U511在运动目标上选择至少三个高度相同、相互平行的线段作为标定物，则所有标定物经过投影后在图像上的交点构成一条直线；所述l₁，l₂，l₃参数计算模块U512a利用所述标定物的图像坐标拟合所述直线的方程，该方程表示为l₁x+l₂y+l₃＝0，则l₁，l₂，l₃分别为该方程的系数；

s，α，β参数计算模块U512b，用于调用所述标定物选择子单元U511在运动目标上选择两条已知夹角的线段作为标定物，所述夹角为所述两条线段在真实空间中的夹角；分别计算所述两条线段所在直线的方程，并根据计算得到的两个直线方程以及所述夹角构造两个圆，则α，β为所述两个圆的交点坐标；在所述两条线段中选择任意一条线段，则s为所选择的线段在真实空间中的长度与该线段在图像中的长度之比。

优选的，所述目标跟踪单元U53可以包括：

目标匹配子单元，用于针对{A_i}_i＝1 ^M中的每个运动目标，利用特征信息分别与{B_j}_j＝1 ^N中的运动目标进行相似度计算，并将相似度最大的两个运动目标作为相匹配的目标；

其中，{A_i}_i＝1 ^M表示当前输入图像中提取出的运动目标的特征信息，{B_j}_j＝1 ^N表示之前的帧图像中提取出的运动目标的特征信息，其中M和N均表示运动目标的个数；

目标跟踪结果子单元，用于根据匹配结果得到如下目标跟踪结果：

如果M＝N且{A_i}_i＝1 ^M和{B_j}_j＝1 ^N都分别匹配上，则所有目标都在监控范围内运动；

如果M≠N且{A_i}_i＝1 ^M中有运动目标没有匹配上，则监控范围内出现新的运动目标；

如果M≠N且{B_j}_j＝1 ^N中有运动目标没有匹配上，则有运动目标离开了监控范围。需要说明的是，所述测速系统可以包括数据采集单元，如摄像装置，用于采集视频帧图像，也可以不包括数据采集单元，而直接利用其他装置或系统采集到的视频帧图像进行速度估计。

上述测速系统响应速度快，检测的信息量大，可以实时对监控范围内的所有车辆进行速度估计。而且，利用摄像头就可以实现车辆测速，因此系统容易实现，降低了成本。并且，无需破坏路面，不会影响交通，易于安装调试，维护容易。

此外，本发明实施例还提供了另一种结构的测速系统。

参照图7，是本发明另一实施例所述一种运动目标的测速系统结构图。所述系统主要包括：

目标检测单元U71，用于对序列帧图像进行运动目标检测，从序列帧图像中提取出运动目标的图像；

目标跟踪单元U72，用于对所述检测到的运动目标进行跟踪，得到运动目标在图像平面上的运动轨迹；

速度估计单元U73，用于根据预先确定的视频帧图像中的像素坐标与该像素在真实空间中的坐标映射关系，利用所述运动目标在图像平面上的运动轨迹，计算运动目标在真实空间中的运动轨迹；根据所述运动目标在真实空间中的运动轨迹以及运动时间，估算运动目标的速度。

其中，所述速度估计单元U73可以包括：

数据标定子单元U731，用于预先确定视频帧图像中的像素坐标与该像素在真实空间中的坐标映射关系；

速度计算子单元U732，用于根据所述映射关系，重复进行速度估计，具体包括：利用所述运动目标在图像平面上的运动轨迹，计算运动目标在真实空间中的运动轨迹；根据所述运动目标在真实空间中的运动轨迹以及运动时间，估算运动目标的速度。

其中，所述数据标定子单元U731预先确定所述映射关系之后，所述速度计算子单元U732在每次计算速度时，调用所述映射关系即可。

优选的，所述数据标定子单元U731可以包括：

标定物选择模块，用于在运动目标上选择标定物；

参数计算模块，用于利用所述标定物计算视频帧图像中的像素坐标与该像素在真实空间中的坐标映射参数，并根据所述映射参数确定所述映射关系。根据上述映射关系的计算公式，所述参数计算模块需要计算l₁，l₂，l₃，s，α，β六个参数。

同样，所述测速系统可以包括数据采集单元，如摄像装置，用于采集视频帧图像，也可以不包括数据采集单元，而直接利用其他装置或系统采集到的视频帧图像进行速度估计。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于系统实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上对本发明所提供的一种运动目标的测速方法和系统，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (13)

1、一种运动目标的测速方法，其特征在于，包括：

预先确定视频帧图像中的像素坐标与该像素在真实空间中的坐标映射关系；

对序列帧图像进行运动目标检测，从序列帧图像中提取出运动目标的图像；

对所述检测到的运动目标进行跟踪，得到运动目标在图像平面上的运动轨迹；

根据所述映射关系，利用所述运动目标在图像平面上的运动轨迹，计算运动目标在真实空间中的运动轨迹；

根据所述运动目标在真实空间中的运动轨迹以及运动时间，估算运动目标的速度。

2、根据权利要求1所述的方法，其特征在于，所述预先确定视频帧图像中的像素坐标与该像素在真实空间中的坐标映射关系，具体包括：

在运动目标上选择标定物，利用所述标定物计算视频帧图像中的像素坐标与该像素在真实空间中的坐标映射参数，并根据所述映射参数确定所述映射关系。

3、根据权利要求2所述的方法，其特征在于：

所述映射参数包括六个参数，分别表示为l₁，l₂，l₃，s，α，β；

则所述利用标定物计算参数l₁，l₂，l₃，具体包括：

在运动目标上选择至少三个高度相同、相互平行的线段作为标定物，则所有标定物经过投影后在图像上的交点构成一条直线；

利用所述标定物的图像坐标拟合所述直线的方程，该方程表示为l₁x+l₂y+l₃＝0，则l₁，l₂，l₃分别为该方程的系数。

4、根据权利要求3所述的方法，其特征在于，所述利用标定物计算参数s，α，β，具体包括：

在运动目标上选择两条已知夹角的线段作为标定物，所述夹角为所述两条线段在真实空间中的夹角；

分别计算所述两条线段所在直线的方程，并根据计算得到的两个直线方程以及所述夹角构造两个圆，则α，β为所述两个圆的交点坐标；

在所述两条线段中选择任意一条线段，则s为所选择的线段在真实空间中的长度与该线段在图像中的长度之比。

5、根据权利要求1所述的方法，其特征在于：

所述视频帧图像为交通监控图像，所述运动目标为车辆。

6、一种运动目标的测速系统，其特征在于，包括：

数据标定单元，用于预先确定视频帧图像中的像素坐标与该像素在真实空间中的坐标映射关系；

目标检测单元，用于对序列帧图像进行运动目标检测，从序列帧图像中提取出运动目标的图像；

目标跟踪单元，用于对所述检测到的运动目标进行跟踪，得到运动目标在图像平面上的运动轨迹；

速度估计单元，用于根据所述映射关系，利用所述运动目标在图像平面上的运动轨迹，计算运动目标在真实空间中的运动轨迹；根据所述运动目标在真实空间中的运动轨迹以及运动时间，估算运动目标的速度。

7、根据权利要求6所述的系统，其特征在于，所述数据标定单元包括：

标定物选择子单元，用于在运动目标上选择标定物；

计算子单元，用于利用所述标定物计算视频帧图像中的像素坐标与该像素在真实空间中的坐标映射参数，并根据所述映射参数确定所述映射关系。

8、根据权利要求7所述的系统，其特征在于：

所述映射参数包括六个参数，分别表示为l₁，l₂，l₃，s，α，β；

则所述计算子单元包括：

l₁，l₂，l₃参数计算模块，用于调用所述标定物选择子单元在运动目标上选择至少三个高度相同、相互平行的线段作为标定物，则所有标定物经过投影后在图像上的交点构成一条直线；所述l₁，l₂，l₃参数计算模块利用所述标定物的图像坐标拟合所述直线的方程，该方程表示为l₁x+l₂y+l₃＝0，则l₁，l₂，l₃分别为该方程的系数。

9、根据权利要求8所述的系统，其特征在于，所述计算子单元还包括：

s，α，β参数计算模块，用于调用所述标定物选择子单元在运动目标上选择两条已知夹角的线段作为标定物，所述夹角为所述两条线段在真实空间中的夹角；所述s，α，β参数计算模块分别计算所述两条线段所在直线的方程，并根据计算得到的两个直线方程以及所述夹角构造两个圆，则α，β为所述两个圆的交点坐标；在所述两条线段中选择任意一条线段，则s为所选择的线段在真实空间中的长度与该线段在图像中的长度之比。

10、根据权利要求6所述的系统，其特征在于，所述目标跟踪单元包括：

目标匹配子单元，用于针对{A_i}_i＝1 ^M中的每个运动目标，利用特征信息分别与{B_j}_j＝1 ^N中的运动目标进行相似度计算，并将相似度最大的两个运动目标作为相匹配的目标；

其中，{A_i}_i＝1 ^M表示当前输入图像中提取出的运动目标的特征信息，{B_j}_j＝1 ^N表示之前的帧图像中提取出的运动目标的特征信息，其中M和N均表示运动目标的个数；

目标跟踪结果子单元，用于根据匹配结果得到如下目标跟踪结果：

如果M＝N且{A_i}_i＝1 ^M和{B_j}_j＝1 ^N都分别匹配上，则所有目标都在监控范围内运动；

如果M≠N且{A_i}_i＝1 ^M中有运动目标没有匹配上，则监控范围内出现新的运动目标；

如果M≠N且{B_j}_j＝1 ^N中有运动目标没有匹配上，则有运动目标离开了监控范围。

11、一种运动目标的测速系统，其特征在于，包括：

目标检测单元，用于对序列帧图像进行运动目标检测，从序列帧图像中提取出运动目标的图像；

目标跟踪单元，用于对所述检测到的运动目标进行跟踪，得到运动目标在图像平面上的运动轨迹；

速度估计单元，用于根据预先确定的视频帧图像中的像素坐标与该像素在真实空间中的坐标映射关系，利用所述运动目标在图像平面上的运动轨迹，计算运动目标在真实空间中的运动轨迹；根据所述运动目标在真实空间中的运动轨迹以及运动时间，估算运动目标的速度。

12、根据权利要求11所述的系统，其特征在于，所述速度估计单元包括：

数据标定子单元，用于预先确定视频帧图像中的像素坐标与该像素在真实空间中的坐标映射关系；

速度计算子单元，用于根据所述映射关系，重复进行速度估计，具体包括：利用所述运动目标在图像平面上的运动轨迹，计算运动目标在真实空间中的运动轨迹；根据所述运动目标在真实空间中的运动轨迹以及运动时间，估算运动目标的速度。

13、根据权利要求12所述的系统，其特征在于，所述数据标定子单元包括：

标定物选择模块，用于在运动目标上选择标定物；

参数计算模块，用于利用所述标定物计算视频帧图像中的像素坐标与该像素在真实空间中的坐标映射参数，并根据所述映射参数确定所述映射关系。

Images