CN104459183B - 一种基于物联网的单相机车辆测速系统及方法 - Google Patents

Abstract

本发明公开了一种基于物联网的单相机车辆测速系统及方法，仅利用1台数字相机即可完成车辆速度测量、车牌拍照和识别；仅提取原始图像的有效图像区域数据，通过网络上传至云端服务器进行处理；仅利用车辆轮胎的外形数据进行测量；形成“车辆预跟踪区”，并在此基础上设定区域检测等级，仅通过图像数据决定是否开启速度测试，实现了设备的全自动化；并且将车辆存在检测功能放置于设备本地端，有效降低了图像数据的传输量，从整体上降低了图像采样、处理的频率；采用矩形结构光投影计算路面方程，不用在路面设置定标物，简化了设备安装调试流程；且在相机位置改变时，通过远程控制相机重新进行标定即可，具有较高的实用性和可靠性。

Description

一种基于物联网的单相机车辆测速系统及方法

技术领域

本发明涉及机器视觉测量技术领域，特别是涉及一种基于物联网的单相机车辆测速系统及方法。

背景技术

现在的非接触式测量手段及设备有三坐标测量机测距、激光测距、工具显微镜测距、水准仪测距、经纬仪测距、卫星定位测距和基于数字图像的测距等。

其中，工具显微镜测距和三坐标测量机测距的方法不适合空间大尺寸的测量；激光测距定位系统是通过测量从设备发射激光到此激光由被测物反射，并折回到设备的时间间隙来计算被测物与测距定位系统间的距离，该系统存在对微小时间间隔测量的局限，因此一般存在10米左右的测量盲区，同时，由于涉及到光的反射，该系统对被测物体的反射面有一定的要求；水准仪同样是一种采用光学原理进行距离测量的设备，测距之前需要对设备进行调平，需要设置标杆于被测点，此仪器使用较为复杂；经纬仪是一种基于光学、非接触式测量方式的测量装备，其优点有测量范围较大(2m至几十米)、测量精度比较高，其缺点有需要逐点测量、手动照准目标、操作复杂、测量速度慢、自动化程度不高；目前，国内的卫星定位服务几乎都依赖于美国，测量精度受到限制，必须在被测物体上设置信号接收装置，信号终端价格昂贵；基于数字图像的测距方法能够从原理上很好的解决上述问题，但目前的理论研究不够深入，实际应用上还没有适合空间大尺寸测量的成熟可靠的产品和方法。

发明内容

为了克服现有技术的上述缺点，本发明提供了一种基于物联网的单相机车辆测速系统及方法，克服了“定标物标定法”和“相机自定标法”的缺点，较好地解决了定标物设置困难、被测物体需要具有丰富的纹理几何特征以及摄像机运动复杂的问题，通过设置简单的标准定标物实现相机定标，发展了相机定标的理论。本发明测量空间测距的试验模型简单、制造成本低，有利于测量仪器的工业化生产。数学模型为线性方程组，收敛性好，计算精度高。建立相机定标和空间尺寸测量的数学模型，实现空间大尺寸物体的距离测量。本发明克服了传统上基于数字图像测量方法的定标不方便的缺点，减少了硬件设备的花销，具有工程上的可行性和实用性，可广泛应用于工程测量、水利建设、地质勘探、城市规划、矿山开发等工程领域。

本发明解决其技术问题所采用的技术方案是：一种基于物联网的单相机车辆测速系统，包括分别与处理器连接的数字相机、无线通讯模块和矩形结构光模块；所述数字相机用于拍摄照片，所述处理器用于对照片进行判断和处理、改变相机的拍摄频率、利用无线通讯模块将数字相机拍摄的照片传输至云端服务器，所述矩形结构光模块用于测量运动平面方程。

本发明还提供了一种基于物联网的单相机车辆测速方法，包括如下步骤：

步骤一、确定数字相机内部参数矩阵K；

步骤二、确定路面参数：开启矩形结构光模块并投射至路面上；由数字相机拍摄一张投射光图像；根据投射光图像获得路面参数方程；

步骤三、数字相机以5-20张/分钟的频率拍摄图像，处理器判断是否有车辆驶入预追踪区：如没无，则自循环执行此步骤；如果有，则进入步骤四；

步骤四、数字相机以30-60张/分钟的频率拍摄图像，处理器判断是否有车辆驶入测量区：如果无，则返回步骤三；如果有，则进入步骤五；

步骤五、以10-20张/秒的频率拍摄至少两张图像作为测速图像，在测速图像上均拍摄有车辆同一车轮的图像；处理器将测速图像通过无线通讯模块上传至服务器；同时数字相机拍摄车辆牌照图像；

步骤六、服务器利用测速图像计算车辆速度；

步骤七、判断车辆速度是否超过设定值：若是，则将步骤五拍摄的车辆牌照图像上传至服务器，并由服务器进行牌照识别；若否，则删去步骤五拍摄的车辆牌照图像，然后进入步骤三。

与现有技术相比，本发明的积极效果是：克服了传统上基于数字图像测量方法的定标不方便的缺点，减少了硬件设备的花销，具有工程上的可行性和实用性，具体表现如下：

(1)本发明仅利用1台数字相机即可完成车辆速度测量、车牌拍照和识别，简化了传统的测量方法；

(2)本发明仅提取原始图像的有效图像区域数据，通过网络上传至云端服务器进行处理，不仅降低了图像数据量，也极大简化了仪器端的硬件成本；

(3)本发明仅利用车辆轮胎的外形数据进行测量，在图像处理算法上，仅需进行圆/椭圆图像的识别和提取，无需进行复杂的图像识别，简化了算法复杂度，降低了硬件成本；

(4)相机拍照位假设距离地面较近，有助于拍摄清晰车辆牌照；

(5)因相机架设位置的特点，形成了“车辆预跟踪区”，并在此基础上，设定区域检测等级，提出了一种仅通过图像数据，决定是否开启速度测试的方法，实现了设备的全自动化；并且将车辆存在检测功能放置于设备本地端，有效降低了图像数据的传输量，从整体上降低了图像采样、处理的频率；

(6)采用矩形结构光投影计算路面方程，较传统方法，不用在路面设置定标物，简化了设备安装调试流程；且在相机位置改变时，通过远程控制相机重新进行标定即可，使此设备具有较高的实用性和可靠性。

附图说明

本发明将通过例子并参照附图的方式说明，其中：

图1是本系统的结构示意图；

图2是本系统的工作原理图；

图3是轮胎与地面接触变形情况的示意图；

图4为车辆预跟踪原理图；

图5为平面参数测量示意图。

具体实施方式

一种基于物联网的单相机车辆测速系统，如图1和图2所示，包括：数字相机1、无线通讯模块2、矩形结构光模块3和双十字形状激光投射器4等，系统内置电池、处理器，其中：所述处理器分别与数字相机1、无线通讯模块2和矩形结构光模块3连接；所述数字相机1用于拍摄照片，所述处理器用于对照片进行判断和处理、改变相机的拍摄频率、利用无线通讯模块2将数字相机1拍摄的照片传输至云端服务器进行处理，矩形结构光模块3用于测量运动平面方程，该模块包括两个位于矩形对角顶点上的“十”字形状激光投影器，即可形成矩形结构光投影。

本发明仅提取原始图像的有效图像区域数据，通过网络上传(加密传输)至云端服务器进行处理，不仅降低了图像数据量，也极大简化了仪器端的硬件成本。因相机架设位置的特点，形成了“车辆预跟踪区”，并在此基础上，设定区域检测等级，提出了一种仅通过图像数据，决定是否开启速度测试的方法，实现了设备的全自动化；并且将车辆存在检测功能放置于设备本地端，有效降低了图像数据的传输量，从整体上降低了图像采样、处理的频率。具体的测速方法包括如下步骤：

步骤一、确定数字相机内部参数矩阵K：

(1)进行仪器上相机的近场景内部参数定标，获得相机近场内部参数K₁；

(2)将仪器放置于测量现场，进行相机现场参数定标，获得相机现场内部参数K：

数字相机内部参数K可表示为：

其中a_x、a_y为与相机焦距参数相关的量；u₀、v₀与相机焦距参数无关。使用成熟的相机定标方法，在室内环境中可获得一个相机内部参数的解，即K₁。K₁中的参数分别表示为：a_x1、a_y1、u₀₁、v₀₁。

因a_x1、a_y1是相机焦距相关量，但其比值是焦距无关量，即下式中C值为已知的常数：

u₀₁、v₀₁参数不随相机焦距变化而变化。因此，当仪器架设在现场，焦距发生变化时，其内部参数为：

其中仅a_x参数为未知量。

如现场有矩形路牌，或设置类似的定标物并用仪器相机对其进行1次拍摄，则可根据矩形的图像确定2个灭点(矩形2对平行边图像的交点)，其在图像上的坐标分别设为[u_∞1v_∞1]、[u_∞2 v_∞2]，且形成这2个灭点的矩形边也分别具有2个方向，分别设为V₁、V₂，则由相机成像方程，可得以下方程：

其中a₁、a₂为成像方程中涉及的未知非零参数，求解中可直接消去，因此仅K矩阵中的a_x为唯一的未知数，可以求解。

步骤二、确定路面参数：

开启仪器上的矩形结构光模块并投射至路面上；数字相机拍摄一张投射光图像；根据投射光束的像获得路面参数方程。

路面参数即指所在平面法线向量和平面上一点坐标，由以下方法求解：

如图5所示，在长为L、高为H的矩形顶点P₁、P₃设置“十”字形激光投射器。其投射至路面上，设路面为平面п，法线为v_p；平面п上形成顶点为Ps₁、Ps₂、Ps₃、Ps₄的平行四边形；用设备上相机拍摄一张投射光的图像，各顶点像分别设为P’s₁、P’s₂、P’s₃、P’s₄，且各像点的图像坐标为[u_i，v_i]i＝1,2,3,4；投射光形成的平行四边形各边像的方程皆由直线检测、拟合算法获得。

由平行四边形2组平行边像的方程，可解出2个交点，即为此方向上的灭点，其图像坐标设为[u_v1，v_v1]、[u_v2，v_v2]；形成这2个灭点的方向向量设为V_i＝[v_xiv_yiv_zi]i＝1,2，则其值可由下式可以分别求解：

求解出V₁、V₂后，可由V_p＝V₁×V₂求解出路面法线V_p；其方向上的灭点为P_v∞。

又因矩形结构光的尺寸已知，即其4个顶点空间坐标可表示为：

其中e₁、e₂为矩形结构光2条正交边的单位方向向量，e₃为同时正交于e₁、e₂的单位方向向量；它们皆为未知参数。

将式(3)、已知的P’s₁、P’s₂、P’s₃、P’s₄图像坐标，分别代入相机成像方程，并增加以下约束方程：e₁、e₂、e₃单位正交、V_p为已知的路面法线方向向量，即可以联立求解出P₁坐标、e₃及线段P₁P_s1的长度，进而由P_s1＝P₁+|P₁P_s1|·e₃可获得Ps₁空间坐标，其就是路面上1个点的空间坐标。至此获得了路面全部参数。

步骤三、数字相机以5-20张/分钟的频率拍摄图像，处理器判断是否有车辆驶入所拍摄图像上设定的预追踪区：如没无，则自循环执行此步骤；如果有，则进入步骤四；

判断是否有车辆驶入预追踪区可由以下2种方法进行：

a.在图4所示的预追踪区内，设置光电等硬件触发设备。车辆经过时自动触发测速仪器，开始测速拍照；

b.用纯图像方法实现。即将当前拍摄图像与最近一次拍摄图像，进行图像减运算；再计算超出给定阈值的像素点数量，其中阈值的值预先设定或由相关公式实时计算获得；如果超出给定阈值的像素大于某一数量(由人工设定)，则认为有车辆经过，开始进行测速拍照；如果误判，即没有车辆经过，则在测速图像处理过程中，自动舍弃图像数据并终止测速。

步骤四、提高相机拍摄频率，以30-60张/分钟的频率拍摄图像，处理器判断是否有车辆驶入所拍摄图像上设定的测量区：如果无，则自循环执行此步骤；如果有，则进入步骤五；

步骤五、以10-20张/秒的频率拍摄至少两张图像；两张图像上须拍摄有车辆同一车轮的图像，此为测速用图像；并将两张测速图像通过无线通讯模块上传至服务器；同时拍摄车辆牌照图像(可为一张或若干连续图像)；

步骤六、服务器端相关软件利用步骤五拍摄的两张测速图像计算车辆速度：

(1)拟合轮胎内、外轮廓的方程：

在拍摄到的两张图像上，识别、提取车辆轮胎图像，并拟合轮胎内、外轮廓的方程。

(2)计算轮胎与地面接触点的图像坐标：

在拍摄的两张图像上，根据轮胎内外轮廓方程、地面参数，获取轮胎与地面接触点的图像坐标；由以下方法实现，如图3(b)所示：

轮胎内轮廓是轮毂的轮廓，其在承重时变形微小，即认为近似为圆形物体。其在相机内的像一般为椭圆形，且认为车轮垂直于地面。

因轮毂上的若干结构，如轮缘、轮辐、胎圈座等，其旋转时会在图像上形成一系列的椭圆图像，根据圆的成像方程，可确定出轮毂的圆心图像坐标。设t1时刻，某轮毂的圆心图像为O′_t1，则在已知路面法向灭点P_v∞时，由O′_t1、P_v∞构成的直线与轮胎外轮廓的1个交点，即为轮胎与路面接触点的图像。

(3)求解车辆速度：

将第(2)步获取的轮胎-地面接触点坐标、相机内部参数矩阵K、路面参数、两张图像的拍摄时间间隔代入本发明提出的测速公式中，获得车辆速度：

车辆速度获取方法，由以下方法实现：

由已经测量获得的路面参数，可将路面平面方程写为Ax+By+Cz+D＝0，其中A、B、C、D皆为已知。

设t1、t2时刻(t2>t1)，同一个轮毂与地面的接触点图像坐标为[u_t1v_t1]、[u_t2v_t2]，其空间坐标分别为[x_t1y_t1z_t1]、[x_t2y_t2z_t2]，则可由成像方程得：

又因其在路面上，即有以下关系：

A·x_ti+B·y_ti+C·z_ti+D＝0 i＝1,2 (5)

则可以联立方程(4)、(5)，解出[x_t1y_t1z_t1]、[x_t2y_t2z_t2]。因此车速v可由下式获得：

步骤七、判断车辆速度是否超过设定值，若是，则将步骤五拍摄的车辆牌照图像上传至服务器，并由服务器进行牌照识别；若否，则删去步骤五拍摄的车辆牌照图像，然后进入步骤四，开始下一个测速。

本发明的原理是：为解决定标物设置困难、被测物体需要具有丰富的纹理几何特征以及摄像机运动复杂的问题，本专利提出了一种基于物联网的单相机车辆测速方法。首先，根据近距离定标、远距离测量原理，确定相机参数；其次，本发明的被测物体上选定的特征点必须在平面上，因此需确定运动平面上的点；然后，由平面位置的矩形结构光测量方法，测量平面位置参数，确定运动平面方程；最后，根据测速原理，完成车辆速度测量。

Claims (4)

1.一种基于物联网的单相机车辆测速方法，其特征在于：包括如下步骤：

步骤一、确定数字相机内部参数矩阵K；

步骤二、确定路面参数：开启矩形结构光模块并投射至路面上；由数字相机拍摄一张投射光图像；根据投射光图像获得路面参数方程；

步骤三、数字相机以5-20张/分钟的频率拍摄图像，处理器判断是否有车辆驶入预追踪区：如果无，则自循环执行此步骤；如果有，则进入步骤四；

步骤四、数字相机以30-60张/分钟的频率拍摄图像，处理器判断是否有车辆驶入测量区：如果无，则返回步骤三；如果有，则进入步骤五；

步骤五、以10-20张/秒的频率拍摄至少两张图像作为测速图像，在测速图像上均拍摄有车辆同一车轮的图像；处理器将测速图像通过无线通讯模块上传至服务器；同时数字相机拍摄车辆牌照图像；

步骤六、服务器利用测速图像计算车辆速度；

步骤七、判断车辆速度是否超过设定值：若是，则将步骤五拍摄的车辆牌照图像上传至服务器，并由服务器进行牌照识别；若否，则删去步骤五拍摄的车辆牌照图像，然后进入步骤三。

2.根据权利要求1所述的一种基于物联网的单相机车辆测速方法，其特征在于：步骤一所述数字相机内部参数矩阵K的确定方法为：

(1)利用相机标定方法获得相机近场内部参数K₁：

$K1=\left[\begin{array}{ccc}{a}_{x1}& 0& u_{01}\\ 0& a_{y1}& v_{01}\\ 0& 0& 1\end{array}\right]$

(2)将相机放置于测量现场，进行相机现场参数定标，获得相机现场内部参数K：

$K=\left[\begin{array}{ccc}{a}_x& 0& u_0\\ 0& a_y& v_0\\ 0& 0& 1\end{array}\right]$

令则：

$K=\left[\begin{array}{ccc}{a}_x& 0& u_{01}\\ 0& C\·a_x& v_{01}\\ 0& 0& 1\end{array}\right]$

根据现场矩形的图像确定两个灭点的坐标，分别设为[u_∞1 v_∞1]、[u_∞2 v_∞2]，形成两个灭点的矩形边分别具有两个方向，分别设为V₁、V₂，则由相机成像方程得到以下方程：

$V_1^T\·V_2=0\⇒a_1\·a_2\·\left[\begin{array}{ccc}{u}_{\mathrm{\∞}1}& v_{\mathrm{\∞}1}& 1\end{array}\right]\·K^{-T}\·K^{-1}.\left[\begin{array}{c}{u}_{\mathrm{\∞}2}\\ v_{\mathrm{\∞}2}\\ 1\end{array}\right]=0\⇒\left[\begin{array}{ccc}{u}_{\mathrm{\∞}1}& v_{\mathrm{\∞}1}& 1\end{array}\right]\·K^{-T}\·K^{-1}\·\left[\begin{array}{c}{u}_{\mathrm{\∞}2}\\ v_{\mathrm{\∞}2}\\ 1\end{array}\right]=0$

其中a₁、a₂为成像方程中涉及的未知非零参数，求解中直接消去后，对K矩阵中唯一的未知数a_x求解。

3.根据权利要求1所述的一种基于物联网的单相机车辆测速方法，其特征在于：步骤二所述的路面参数是指路面所在平面法线向量和平面上一个点的空间坐标，路面参数的确定方法如下：

在长为L、高为H的矩形顶点P₁、P₃上分别设置“十”字形激光投射器，并投射光至路面上，设路面为平面п，法线为v_p；平面п上形成顶点为Ps₁、Ps₂、Ps₃、Ps₄的平行四边形；用数字相机拍摄一张投射光的图像，各顶点像分别设为P’s₁、P’s₂、P’s₃、P’s₄，图像坐标为[u_i，v_i]，i＝1,2,3,4；投射光形成的平行四边形各边像的方程由直线检测、拟合算法获得；

由平行四边形两组平行边像的方程，求解出两个交点，其图像坐标分别设为[u_v1，v_v1]、[u_v2，v_v2]；形成这两个交点的方向向量设为V_i＝[v_xi v_yi v_zi]，i＝1,2，按下式分别求解：

$\left\{\begin{array}{c}\left[\begin{array}{c}{v}_{xi}\\ v_{yi}\\ v_{zi}\end{array}\right]=v_{zi}\·K^{-1}\·\left[\begin{array}{c}{u}_{vi}\\ v_{vi}\\ 1\end{array}\right]\\ v_{xi}^2+v_{yi}^2+v_{zi}^2=1\end{array}\right.,i=1,2$

求解出V₁、V₂后，再由V_p＝V₁×V₂求解出路面法线V_p；其方向上的灭点为P_v∞；

设矩形结构光四个顶点的空间坐标分别为：

$\begin{array}{cccc}{P}_1=\left[\begin{array}{c}{x}_1\\ y_1\\ z_1\end{array}\right]& P_2=\left[\begin{array}{c}{x}_1\\ y_1\\ z_1\end{array}\right]+H\·e_2& P_3=\left[\begin{array}{c}{x}_1\\ y_1\\ z_1\end{array}\right]+H\·e_2+L\·e_1& P_4=\left[\begin{array}{c}{x}_1\\ y_1\\ z_1\end{array}\right]+L\·e_1\end{array}$

其中e₁、e₂为矩形结构光两条正交边的单位方向向量，e₃为同时正交于e₁、e₂的单位方向向量；它们皆为未知参数；

将四个顶点的空间坐标、P’s₁、P’s₂、P’s₃、P’s₄的图像坐标，分别代入相机成像方程，并增加以下约束方程：e₁、e₂、e₃单位正交、V_p为已知的路面法线方向向量；联立求解出P₁坐标、e₃及线段P₁P_s1的长度，进而由P_s1＝P₁+|P₁P_s1|·e₃获得路面上一个点Ps₁的空间坐标。

4.根据权利要求1所述的一种基于物联网的单相机车辆测速方法，其特征在于：步骤六所述利用测速图像计算车辆速度的方法为：

(1)在测速图像上识别、提取车辆轮胎图像，并拟合轮胎内、外轮廓的方程；

(2)计算轮胎与地面接触点的图像坐标：

在测速图像上，根据轮胎内外轮廓方程、地面参数，获取轮胎与地面接触点的图像坐标；

(3)利用轮胎与地面接触点的图像坐标、相机内部参数矩阵K、路面参数、测速图像的拍摄时间间隔求解车辆速度：

利用已经测量获得的路面参数得到路面平面方程Ax+By+Cz+D＝0，其中A、B、C、D皆为已知；

设在拍摄时间间隔t1、t2时刻，同一个轮毂与地面的接触点图像坐标分别为[u_t1 v_t1]、[u_t2 v_t2]，空间坐标分别为[x_t1 y_t1 z_t1]、[x_t2 y_t2 z_t2]，则由成像方程得到：

$z_{ti}\·\left[\begin{array}{c}{u}_{ti}\\ v_{ti}\\ 1\end{array}\right]=K\·\left[\begin{array}{c}{x}_{ti}\\ y_{ti}\\ z_{ti}\end{array}\right],i=1,2$

同时有：

A·x_ti+B·y_ti+C·z_ti+D＝0 i＝1,2

联立方程求解出[x_t1 y_t1 z_t1]、[x_t2 y_t2 z_t2]，进一步得到车速v：

$v=\frac{\sqrt{{(x_{t2}-x_{t1})}^2+{(y_{t2}-y_{t1})}^2+{(z_{t2}-z_{t1})}^2}}{t2-t1}.$