CN102722886B - 一种基于三维标定和特征点匹配的视频测速方法 - Google Patents

Abstract

本发明涉及一种基于三维标定和特征点匹配的视频测速方法。现有的视频测速方法计算出的车速往往有着较大的误差，不能很好的反应事故时的真实状况。本发明是按照如下方法进行测速，首先在测量场景建立三维坐标系，选择至少6个空间中的点，并记录每个点的三维坐标，同时在二维场景图像中，对记录了三维坐标的点进行手动标注，并录入每个对应点的三维坐标，通过算法得到摄像机的三维透视模型，再对交互模式进行选择，交互模式包括两种：a.在视频的任意两帧中手动选择同一车辆的同一个点，进行速度测量；b.选择视频中某一帧运动车辆上的某一个点，进行车辆的运动速度测量。本发明可以直接测量，无须额外的硬件设备，只需要在现场进行场景的标注，即可完成场景中车辆的测速，还可重复测量以得到更加精确的测量速度。<!--1-->

Description

一种基于三维标定和特征点匹配的视频测速方法

技术领域

本发明属于视频监控技术领域，尤其是一种基于三维标定和特征点匹配的视频测速方法。

背景技术

车辆的运行速度测量是视频监控领域和智能交通领域的应用热点之一，它不仅涉及道路交通的管理、统计，还牵扯到事故后的责任认定问题。在即时测速方面，目前的测速方法主要采用硬件装置，如地感线圈测速，在间隔一定距离的路面下埋设地感线圈，利用已知距离和车辆经过的时间计算车速；又如激光雷达测速，利用激光反射的时间差计算目标距离，再通过距离差来计算其运动速度。无论是雷达还是地感线圈，由于其测速原理的限制，监控的往往只是一个相对固定且范围较小的区域。又由于硬件设施的价格较高，实际中这些设施也往往只安装在主要路口、高速卡口等重点位置。然而，对于绵延广阔的交通网络来讲，这显然是不够的。

另外，在以责任认定为目的的事后测速方面，目前主要利用车辆的质量、被撞击物体的质量和撞击后被抛出的距离，根据物理学公式来计算车辆的速度，再利用刹车痕迹的距离计算出车辆刹车前的初始速度。这种方法受到诸如撞击角度、刹车力度、路面状况等因素的干扰，计算出的车速往往有着较大的误差，不能很好的反应事故时的真实状况。

由于现有上述方案的不足，“视频测速”的概念被提出。所谓视频测速是指以监控视频为信息源进行视频中运行车辆的速度测量。相比于上述方案，视频测速具有很大的优势，如监控范围广、无需另外配置硬件、维护简单、结果精度高等。例如基于图像透视投影变换的车辆道路交通视频测速方法(申请号：201110087473.6，申请人：上海交通大学)需要对非线性畸变的视频进行预先校正，并且在同一个点的精确匹配问题上中采用检测视频中的角点方法，使得测速的精度非常依赖于角点检测的质量。

发明内容

本发明针对现有技术存在的缺陷，提供一种基于三维标定和特征点匹配的视频测速方法，无须校正输入视频，可以直接测量，无须额外的硬件设备，只需要在现场进行场景的标注，即可完成场景中车辆的测速，还可重复测量以得到更加精确的测量速度。

为此，本发明采取如下技术方案：一种基于三维标定和特征点匹配的视频测速方法，其特征在于是按照如下方法进行测速，首先在测量场景建立三维坐标系，选择至少6个空间中的点，并记录每个点的三维坐标，同时在二维场景图像中，对记录了三维坐标的点进行手动标注，并录入每个对应点的三维坐标，通过算法得到摄像机的三维透视模型，再对交互模式进行选择，交互模式包括两种：a.在视频的任意两帧中手动选择同一车辆的同一个点，进行速度测量；b.选择视频中某一帧运动车辆上的某一个点，进行车辆的运动速度测量。

本发明采用对场景三维坐标测量和二维图像对应点标注的方法，得到摄像机的三维透视模型，无须对测量视频进行校正。交互模式a是根据运动车辆的同一个点在视频中不同帧(对应不同时刻)的三维场景坐标，可以计算运动车辆的位移；再根据视频的固有帧率，得到运动的时间，就可以得到汽车运动的速度，速度v＝车辆的位移d÷位移的时间差t。交互模式b根据每帧测出的瞬时速度进行平均，有效地克服了测量误差，得到更加精确的测量速度。

所述的摄像机三维透视模型是通过以下算法得出，图像上的某个像素与其三维关系符合如下公式： $z_i\left[\begin{array}{c}{u}_i\\ v_i\\ 1\end{array}\right]=\left[\begin{array}{cccc}{m}_{11}& m_{12}& m_{13}& m_{14}\\ m_{21}& m_{22}& m_{23}& m_{24}\\ m_{31}& m_{32}& m_{33}& m_{34}\end{array}\right]\left[\begin{array}{c}{X}_i\\ Y_i\\ Z_i\\ 1\end{array}\right]$

(1)

其中，(X_i，Y_i，Z_i)为空间第i个点的坐标，(u_i，v_i)为第i个点的图像坐标，m_ij为投影矩阵M的第i行j列元素，在式(1)中又包含三个方程：

z_iu_i＝m₁₁X_i+m₁₂Y_i+m₁₃Z_i+m₁₄(2)

z_iv_i＝m₂₁X_i+m₂₂Y_i+m₂₃Z_i+m₂₄(3)

z_i＝m₃₁X_i+m₃₂Y_i+m₃₃Z_i+m₃₄(4)

式(2)除以式(4)，式(3)除以式(4)，即可消去z_i，可得到如下两个关于m_ij的线性方程：

X_im₁₁+Y_im₁₂+Z_im₁₃+m₁₄-u_iX_im₃₁-u_iY_im₃₂-u_iZ_im₃₃＝u_im₃₄(5)

X_im₂₁+Y_im₂₂+Z_im₂₃+m₂₄-v_iX_im₃₁-v_iY_im₃₂-v_iZ_im₃₃＝v_im₃₄(6)

已知n个点的空间坐标(X_i，Y_i，Z_i)以及其相对应的图像点坐标(u_i，v_i)，(i＝1,2,……n)，则有2n个关于M矩阵元素的线性方程，用矩阵形式表示如下：

$\left[\begin{array}{ccccccccccc}{X}_1& Y_1& Z_1& 1& 0& 0& 0& 0& -u_1{X}_1& -u_1{Y}_1& -u_1{Z}_1\\ 0& 0& 0& 0& X1& Y1& Z1& 1& -v_1{X}_1& -v_1{Y}_1& -v_1{Z}_1\\ & & & ...& & & & ...& & & \\ & & & ...& & & & ...& & & \\ X_n& Y_n& Z_n& 1& 0& 0& 0& 0& -u_n{X}_n& -u_n{Y}_n& -u_n{Z}_n\\ 0& 0& 0& 0& X_n& Y_n& Z_n& 1& -v_n{X}_n& -v_n{Y}_n& -v_n{Z}_n\end{array}\right]\left[\begin{array}{c}{m}_{11}\\ m_{12}\\ m_{13}\\ m_{14}\\ m_{21}\\ m_{22}\\ m_{23}\\ m_{24}\\ m_{31}\\ m_{32}\\ m_{33}\end{array}\right]=\left[\begin{array}{c}{u}_1{m}_{34}\\ v_1{m}_{34}\\ ...\\ ...\\ u_n{m}_{34}\\ v_n{m}_{34}\end{array}\right]---\left(7\right)$

由式(1)可知，M矩阵乘以任意不为零的常数并不影响(X，Y，Z)与(u，v)的关系，因此，在式(7)中可指定m₃₄＝1，从而得到关于M矩阵中其他元素的2n个线性方程，可将式(7)简写为：

Km＝U(8)

其中，K为式(7)中左端的2n×11矩阵，m为未知的11维向量，U为式(7)右端的2n维向量，且K为已知矩阵，U为已知向量。

当2n>11时，用最小二乘法可求出上述线性方程的解为：

m＝(K^TK)^-1K^TU(9)

根据式(5)、(6)整理可得如下矩阵方程：

$\left[\begin{array}{cc}{m}_{11}-m_{31}u& m_{12}-m_{32}u\\ m_{21}-m_{31}v& m_{22}-m_{32}v\end{array}\right]\left[\begin{array}{c}X\\ Y\end{array}\right]=\left[\begin{array}{c}{m}_{34}u-m_{14}+(m_{33}u-m_{13})Z\\ m_{34}v-m_{24}+(m_{33}v-m_{23})Z\end{array}\right]---\left(10\right)$

$\left[\begin{array}{cc}{m}_{11}-m_{31}u& m_{13}-m_{33}u\\ m_{21}-m_{31}v& m_{23}-m_{33}v\end{array}\right]\left[\begin{array}{c}X\\ Z\end{array}\right]=\left[\begin{array}{c}{m}_{34}u-m_{14}+(m_{32}u-m_{12})Y\\ m_{34}v-m_{24}+(m_{32}v-m_{22})Y\end{array}\right]---\left(11\right)$

$\left[\begin{array}{cc}{m}_{12}-m_{32}u& m_{13}-m_{33}u\\ m_{22}-m_{32}v& m_{23}-m_{33}v\end{array}\right]\left[\begin{array}{c}Y\\ Z\end{array}\right]=\left[\begin{array}{c}{m}_{34}u-m_{14}+(m_{31}u-m_{11})X\\ m_{34}v-m_{24}+(m_{31}v-m_{21})X\end{array}\right]---\left(12\right)$

以上方程均可写成AX＝b的矩阵方程形式，根据线性代数知识，可求得

X＝A^-1b(13)

在已知目标物体的图像位置条件下即能求解出目标物体在实际场景中的位置。

在交互模式a中，根据视频中某一帧的运动车辆上的某一个点，在另一帧中搜索同一车辆的同一个点，并可对改点进行修正，修正的步骤：a)生成目标点的sift特征向量vb)根据上一帧的搜索结果得到当前搜索帧的预测点；c)在以预测点为中心的搜索域中多尺度的计算搜索图像每个点sift特征向量其中m为生成的搜索邻域的sift特征向量的总数；d)计算每一个与的欧式距离，寻找距离最小的sift向量 所对应的图像上的点就是与目标点最匹配的搜索点。采用改进的sift特征向量，进行目标点与待选点之间的匹配，寻找目标点的最优匹配点。k＝1,2，…m

本发明具有如下优点：

1.采用多点标注的方法获得测量场景摄像机的参数模型该方法具有可重复标注，可以自检标注精度，及重复性强的优点，对于以事故认定为目的的事后速度测量具有非常好的应用价值；

2.基于多尺度sift特征向量的目标点匹配，该方法在原有的sift算法上改进而来，并放弃了特征点检测的思想。采用直接计算目标点的sift特征向量，同时在搜索图像上多尺度的检测预测点邻域的sift特征向量，并于目标点进行匹配，准确得到目标点的匹配点，并以该点作为下一帧视频目标点的预测点。其优点是计算速度快(不用检测所有的sift特征点)，匹配精度高。

3.多种的测速交互方式，用户可以选择标注同一段视频中两帧图像上同一车辆同一个点的方式得到该车辆在这个视频段中的平均速度；也可以选择标注一帧图像上运动车辆某一个(几个)点的方式，得到之后车辆的平均运动速度。前者的优点是根据用户标注的精度可以比较精确的测量车辆的速度，同时可以根据用户选择是否自动校正标注点；后者的优点在于根据每帧测出的瞬时速度进行平均，有效地克服了测量误差，得到更加精确的测量速度。

附图说明

图1为本发明的流程示意图。

具体实施方式

下面通过实施例，对本发明的技术方案作进一步具体的说明。

1.场景中多点三维坐标测量：

在图1中场景中建立三维坐标系，图2中选择了场景中的10个点，并在此坐标系下，对场景中的已选10个点的三维坐标进行测量。得到如下数据(单位：米)。

10个点的三维坐标＝{0,0,0.055,

0,0,1.440,

0,0.752,1.440,

4.868,0.752,0.055,

4.868,0.752,1.428,

4.868,0,1.428,

0,0,0.750,

0,0.752,0.750,

4.868,0,0.750,

4.868,0.752,0.750}；

2.通过算法获得场景中标注点的二维图像坐标：

通过对图2中选择的10个点进行标注，获得这些点在图像中的二维坐标如下(单位：像素)：

10个点的二维图像坐标＝{507.33333333333331,229.33333333333334,

486.00000000000000,172.00000000000000,

500.66666666666669,167.33333333333334,

394.66666666666669,364.66666666666669,

368.00000000000000,304.00000000000000,

355.33333333333331,304.00000000000000,

496.66666666666669,201.33333333333334,

512.00000000000000,197.33333333333334,

369.33333333333331,334.66666666666669,

381.33333333333331,334.66666666666669}；

3.计算摄像机的三维透视模型：

根据选择的标注点的(上例的10个点)三维世界坐标和二维图像坐标，可以得到摄像机的三维透视模型，为个3x4的矩阵表示，如下：

3*4的透视模型矩阵＝{-717.528,6.620,-521.9941112616.250,

454.872,-270.490,-973.578507454.094,

-0.408,-0.830,-0.3812189.600}

4.在选择手动指定运动车辆同一个点的模式下，测量上述场景中车辆的运动速度：如图3和图4所示，用户可以在待测视频中手动指定时间连续两帧的车辆上同一个点，并指定该点在三维坐标中某一维的坐标，来进行运动速度的测量。

图3中根据用户标记的车前窗点的二维图像坐标(x＝240,y＝296)，在指定其三维坐标中z坐标z＝1.33的前提下，可以得到当前点的三维坐标为(x＝3.81,y＝-14.25,z＝1.33)。

同样，在图4的中，根据用户标记的车前窗对应点的二维图像坐标(x＝413,y＝268)，在指定其三维坐标中z坐标z＝1.33的前提下，可以得到当前点的三维坐标为(x＝3.54,y＝1.05,z＝1.33)。注意：上述图像坐标单位为像素，三维坐标单位为米。

根据两个标记点的三维坐标距离之差可以算出车辆的运动距离distance＝15.30米。再根据帧率fps＝25，及两图的帧差diff＝36，可以计算出两帧的时间差time＝1.4399秒。由此可以计算出车辆在标记两帧中的平均速度为v＝38.27公里/小时。

5.在手动选择运动车辆一个点的模式下，测量上述场景中车辆的运动速度：

如图5所示，用户可以在待测视频中手动指定其中一帧的车辆上的某一个点，并指定该点在三维坐标中某一维的坐标，来进行运动速度的测量。

根据用户标记的车前窗点的二维图像坐标(x＝235,y＝298)，在指定其三维坐标中z坐标z＝1.33的前提下，可以得到当前点的三维坐标为(x＝3.91,y＝-1.47,z＝1.33)。

在后续的帧中，算法依次跟踪每一帧中的对应点，并计算其三维坐标，从而得到视频中车辆在后续帧中的平均速度如下：37.884公里/小时，36.683公里/小时，36.688公里/小时，37.320公里/小时，38.962公里/小时，等等。最终计算得到的平均速度为：37.43公里/小时。

如图6所示，本发明的测速流程简化来说即首先在测量场景建立三维坐标系，选择至少6个空间中的点，并记录每个点的三维坐标，同时在二维场景图像中，对记录了三维坐标的点进行手动标注，并录入每个对应点的三维坐标，通过算法得到摄像机的三维透视模型；再对交互模式进行选择，交互模式包括两种：a.在视频的任意两帧中手动选择同一车辆的同一个点，进行速度测量；b.选择视频中某一帧运动车辆上的某一个点，进行车辆的运动速度测量。

选择a模式后并选定标注点后还可根据需求选择是否对标注点进行校正，最后根据运动车辆的同一个点在视频中不同帧的三维场景坐标，可以计算运动车辆的位移，再根据视频的固有帧率，得到运动的时间，速度v＝车辆的位移d÷位移的时间差t。

b模式下，直接选择视频中某一帧运动车辆上的某一个点，在后续的帧中，利用算法依次跟踪每一帧中的对应点，并计算其三维坐标，从而得到视频中车辆在后续帧中的平均速度。

需要特别指出的是，上述实施例的方式仅限于描述实施例，但本发明不止局限于上述方式，且本领域的技术人员据此可在不脱离本发明的范围内方便的进行修饰，因此本发明的范围应当包括本发明所揭示的原理和新特征的最大范围。

Claims (2)

1.一种基于三维标定和特征点匹配的视频测速方法，其特征在于是按照如下方法进行测速，首先在测量场景建立三维坐标系，选择至少6个空间中的点，并记录每个点的三维坐标，同时在二维场景图像中，对记录了三维坐标的点进行手动标注，并录入每个对应点的三维坐标，通过建立三维透视模型的算法得到摄像机的三维透视模型；

再对交互模式进行选择，交互模式包括两种：a.在视频的任意两帧中手动选择同一车辆的同一个点，进行速度测量；b.选择视频中某一帧运动车辆上的某一个点，进行车辆的运动速度测量；其中a定义为手动交互模式，b定义为自动交互模式；

采用手动交互模式，则在视频的任意两帧中手动选择同一车辆的同一个点，根据运动车辆的同一个点在视频中不同帧的三维场景坐标，计算运动车辆的位移，再根据视频的固有帧率，得到运动的时间，速度v＝车辆的位移d÷位移的时间差t；则根据视频中某一帧的运动车辆上的某一个点，在另一帧中搜索同一车辆的同一个点，并可对该点进行修正，修正的步骤：(1)生成目标点的sift特征向量(2)根据上一帧的搜索结果得到当前搜索帧的预测点；(3)在以预测点为中心的搜索域中多尺度的计算搜索图像每个点sift特征向量其中m为生成的搜索邻域的sift特征向量的总数；(4)计算每一个与的欧式距离，寻找距离最小的sift向量所对应的图像上的点就是与目标点最匹配的搜索点；步骤(3)和步骤(4)中

建立三维透视模型后，通过自动交互模式进行速度测量，直接选择视频中某一帧运动车辆上的某一个点，在后续的帧中，通过目标点的跟踪算法依次跟踪每一帧中的对应点，并计算其三维坐标，从而得到视频中车辆在后续帧中的平均速度。

2.根据权利要求1所述的一种基于三维标定和特征点匹配的视频测速方法，其特征在于所述的摄像机三维透视模型是通过以下算法得出，图像上的某个像素与其三维关系符合如下公式： $z_i\left[\begin{array}{c}{u}_i\\ v_i\\ 1\end{array}\right]=\left[\begin{array}{cccc}{m}_{11}& m_{12}& m_{13}& m_{14}\\ m_{21}& m_{22}& m_{23}& m_{24}\\ m_{31}& m_{32}& m_{33}& m_{34}\end{array}\right]\left[\begin{array}{c}{X}_i\\ Y_i\\ Z_i\\ 1\end{array}\right]$ $\left(1\right)$

其中，(X_i，Y_i，Z_i)为空间第i个点的坐标，(u_i，v_i)为第i个点的图像坐标，m_pq为投影矩阵M的第p行q列元素，在式(1)中又包含三个方程：

z_iu_i＝m₁₁X_i+m₁₂Y_i+m₁₃Z_i+m₁₄(2)

z_iv_i＝m₂₁X_i+m₂₂Y_i+m₂₃Z_i+m₂₄(3)

z_i＝m₃₁X_i+m₃₂Y_i+m₃₃Z_i+m₃₄(4)

式(2)除以式(4)，式(3)除以式(4)，消去z_i，得到如下两个关于m_ij的线性方程：

X_im₁₁+Y_im₁₂+Z_im₁₃+m₁₄-u_iX_im₃₁-u_iY_im₃₂-u_iZ_im₃₃＝u_im₃₄(5)

X_im₂₁+Y_im₂₂+Z_im₂₃+m₂₄-v_iX_im₃₁-v_iY_im₃₂-v_iZ_im₃₃＝v_im₃₄(6)

已知n个点的空间坐标(X_i，Y_i，Z_i)以及其相对应的图像点坐标(u_i，v_i)，i＝1,2,……n，则有2n个关于M矩阵元素的线性方程，用矩阵形式表示如下：

$\left[\begin{array}{ccccccccccc}{X}_1& Y_1& Z_1& 1& 0& 0& 0& 0& -u_1{X}_1& -u_1{Y}_1& -u_1{Z}_1\\ 0& 0& 0& 0& X1& Y1& Z1& 1& -v_1{X}_1& -u_1{Y}_1& -v_1{Z}_1\\ & & & ...& & & & ...& & & \\ & & & ...& & & & ...& & & \\ X_n& Y_n& Z_n& 1& 0& 0& 0& 0& -u_n{X}_n& -u_n{Y}_n& -u_n{Z}_n\\ 0& 0& 0& 0& X_n& Y_n& Z_n& 1& -v_n{X}_n& -v_n{Y}_n& -u_n{Z}_n\end{array}\right]\left[\begin{array}{c}{m}_{11}\\ m_{12}\\ m_{13}\\ m_{14}\\ m_{\mathrm{21}}\\ m_{\mathrm{22}}\\ m_{\mathrm{23}}\\ m_{\mathrm{24}}\\ m_{31}\\ m_{32}\\ m_{33}\end{array}\right]=\left[\begin{array}{c}{u}_1{m}_{34}\\ v_1{m}_{34}\\ \mathrm{...}\\ \mathrm{...}\\ u_n{m}_{34}\\ v_n{m}_{34}\end{array}\right]---\left(7\right)$

由式(1)可知，M矩阵乘以任意不为零的常数并不影响(X，Y，Z)与(u，v)的关系，因此，在式(7)中可指定m₃₄＝1，从而得到关于M矩阵中其他元素的2n个线性方程，将式(7)简写为：

Km＝U(8)

其中，K为式(7)中左端的2n×11矩阵，m为未知的11维向量，U为式(7)右端的2n维向量，且K为已知矩阵，U为已知向量；

当2n>11时，用最小二乘法求出上述线性方程(7)的解为：

m＝(K^TK)^-1K^TU(9)

根据式(5)、(6)整理可得如下矩阵方程：

$\left[\begin{array}{cc}{m}_{11}-m_{31}u& m_{12}-m_{32}u\\ m_{21}-m_{31}v& m_{22}-m_{32}v\end{array}\right]\left[\begin{array}{c}X\\ Y\end{array}\right]=\left[\begin{array}{c}{m}_{34}u-m_{14}+(m_{33}u-m_{13})Z\\ m_{34}v-m_{24}+(m_{33}v-m_{23})Z\end{array}\right]---\left(10\right)$

$\left[\begin{array}{cc}{m}_{11}-m_{31}u& m_{13}-m_{33}u\\ m_{21}-m_{31}v& m_{23}-m_{33}v\end{array}\right]\left[\begin{array}{c}X\\ Y\end{array}\right]=\left[\begin{array}{c}{m}_{34}u-m_{14}+(m_{32}u-m_{12})Y\\ m_{34}v-m_{24}+(m_{32}v-m_{22})Y\end{array}\right]---\left(11\right)$

$\left[\begin{array}{cc}{m}_{12}-m_{32}u& m_{13}-m_{33}u\\ m_{22}-m_{32}v& m_{23}-m_{33}v\end{array}\right]\left[\begin{array}{c}X\\ Z\end{array}\right]=\left[\begin{array}{c}{m}_{34}u-m_{14}+(m_{31}u-m_{11})X\\ m_{34}v-m_{24}+(m_{31}v-m_{21})X\end{array}\right]---\left(12\right)$

以上方程均可写成AX＝b的矩阵方程形式，根据线性代数知识，可求得

X＝A^-1b(13)

在已知目标物体的图像位置条件下求解出目标物体在实际场景中的位置。