CN105157608A - 一种超限车辆的检测方法、装置及系统 - Google Patents

Abstract

本发明实施例公开了一种超限车辆的检测方法、装置及系统，涉及智能交通领域，用以在简化硬件复杂度的基础上，提高了超限车辆检测的准确度。在本发明实施例中，当识别出当前视图中存在车辆车牌时，触发双目相机的两拍摄装置对同一待检测车辆进行同步拍摄，并获取同步拍摄得到的两图像帧；识别待检测车辆在两图像帧中的轮廓，根据识别出的轮廓以及双目相机的两拍摄装置之间的相对位姿，构建待检测车辆在世界坐标系下的三维轮廓模型；统计三维轮廓模型中的各像素点在世界坐标系下的分布情况，根据统计出的分布情况，确定待检测车辆的大小；并在大小超过预设阈值时，将该待检测车辆确定为超限车辆；从而解决了上述问题。

Description

一种超限车辆的检测方法、装置及系统

技术领域

本发明涉及智能交通领域，尤其涉及一种超限车辆的检测方法、装置及系统。

背景技术

超限车辆是指车货总重以及所载货物的长、宽、高超过国家规定限值的运输车辆(国家规定的限值可详见《超限车辆行驶公路管理规定》(交通部2000年2号令)及相关规定)。在实际应用中，相比于超重问题，超长、超宽、超高问题容易被忽视，但后三种超限车辆在行驶时同样会增加交通事故发生的概率，带来极大的危险性，尤其会对公路上的桥梁、标志标牌和收费亭等设施造成严重危害。因此，检测车辆长、宽、高的超限问题具有非常重大的现实意义。

现有技术中的车辆超限检测装置通常采用激光测距的方式对超限车辆进行检测，该方法一般需要安装多组激光测距装置和雷达测距装置，图1示出了现有技术中的一种超限车辆检测装置的结构示意图，如图1所示，该装置中至少包括龙门架1(龙门架1中包含有横梁4和竖梁5(一组))、龙门架2(一组)、以及若干个雷达测距探头3、前红外测长装置6、后红外测长装置7，其中，雷达测距探头3均匀分布在龙门架1的横梁4与竖梁5上，横梁上的雷达测距探头3探头方向朝下，竖梁上的雷达测距探头3探头方向朝向被检测车辆的侧面；前红外测长装置6包括至少两只红外发射管与相对应的至少两只红外接收管，前红外测长装置6的红外发射管安装在一龙门架2的横梁上，前红外测长装置6的红外接收管安装在另一龙门架2的横梁上；后红外测长装置7包括至少两只红外发射管与相对应的至少两只红外接收管，后红外测长装置7的红外发射管安装在龙门架1的一竖梁5上，后红外测长装置7的红外接收管安装在龙门架1的另一竖梁5上。上述第一龙门架1还包括有竖梁固定座8，竖梁固定座8分别设于第一龙门架1的两根竖梁5的正下方，两根竖梁5的下端分别插入到竖梁固定座8内，上述竖梁固定座8为固定于地面上的套筒，即两根竖梁5的下端插入到套筒内；在竖梁固定座8上由上到下设有一排通孔，固定销10插入到竖梁5与竖梁固定座8的通孔内将两者固定。当车辆9经过该车辆超限检测装置时，由雷达测距探头3、前红外测长装置6、后红外测长装置7分别对车辆的长度、宽度和高度进行检测，从而确定该车辆9是否为超限车辆。

在现有技术中，由于激光束的测量点位较单一，一般需要在多个位置安装多组激光测距装置，才能完成车辆长宽高的测量；由于激光测距装置的安装点是固定的，为了提高检测的准确度，需要在横梁、竖梁和龙门架上的各个位置上安装更多的激光测距装置；可见，现有技术中采用激光测距的方式具有安装复杂度高、硬件成本高、测量精准度较低的缺陷，因此，很难应用到交通繁忙的公路中。

发明内容

本发明实施例提供种超限车辆的检测方法、装置及系统，用以在简化硬件复杂度的基础上，提高了超限车辆检测的准确度。

本发明实施例提供一种超限车辆的检测方法，该方法包括：

当识别出当前视图中存在车辆车牌时，触发双目相机的两拍摄装置对同一待检测车辆进行同步拍摄，并获取同步拍摄得到的两图像帧；

识别所述待检测车辆在所述两图像帧中的轮廓，根据识别出的轮廓以及双目相机的两拍摄装置之间的相对位姿，构建所述待检测车辆在世界坐标系下的三维轮廓模型；

统计所述三维轮廓模型中的各像素点在世界坐标系下的分布情况，根据统计出的分布情况，确定所述待检测车辆的大小；并在所述大小超过预设阈值时，将该待检测车辆确定为超限车辆。

本发明实施例还提供一种超限车辆的检测装置，该装置包括：

获取单元，用于当识别出当前视图中存在车辆车牌时，触发双目相机的两拍摄装置对同一待检测车辆进行同步拍摄，并获取同步拍摄得到的两图像帧；

三维重构单元，用于识别所述待检测车辆在所述两图像帧中的轮廓，根据识别出的轮廓以及双目相机的两拍摄装置之间的相对位姿，构建所述待检测车辆在世界坐标系下的三维轮廓模型；

统计识别单元，用于统计所述三维轮廓模型中的各像素点在世界坐标系下的分布情况，根据统计出的分布情况，确定所述待检测车辆的大小；并在所述大小超过预设阈值时，将该待检测车辆确定为超限车辆。

本发明实施例还提供一种超限车辆的检测系统，该系统包括：

双目相机，具有两拍摄装置，用于在接收到处理器的触发信号时，由所述两拍摄装置对当前视图中的待检测车辆进行同步拍摄；

所述处理器，用于在识别出当前视图中存在车辆车牌时，触发所述双目相机的两拍摄装置对同一待检测车辆进行同步拍摄，并获取同步拍摄得到的两图像帧；识别所述待检测车辆在所述两图像帧中的轮廓，根据识别出的轮廓以及双目相机的两拍摄装置之间的相对位姿，构建所述待检测车辆在世界坐标系下的三维轮廓模型；统计所述三维轮廓模型中的各像素点在世界坐标系下的分布情况，根据统计出的分布情况，确定所述待检测车辆的大小；并在所述大小超过预设阈值时，将该待检测车辆确定为超限车辆。

从上述技术方案可以看出，本发明实施例可以实时的识别出当前视图中的车辆车牌，并可以触发双目相机的两拍摄装置对同一待检测车辆进行同步拍摄；进一步的，本发明能够根据同步拍摄得到的两图像帧，利用双目相机两拍摄装置之间的位姿差异，统计并计算出车辆三维信息，从而重构出待检测车辆的三维轮廓模型，本发明实施例仅对车辆的轮廓进行立体匹配，降低了计算代价，降低了内存占用率，从而保证了处理的实时性；另外，本发明实施例还可以根据三维轮廓模型中的各像素点在世界坐标系下的分布情况和离散情况，统计出待检测车辆的外轮廓大小，进而判断该待检测车辆是否超限；可见，本发明实施例提供的检测方法无需安装大量的激光测距装置，而是仅利用双目相机对拍摄到的两图像帧进行立体视觉还原，即可准确、实时的计算出待检测车辆的外轮廓大小，最终判断待检测车辆是否为超限车辆。这样，本发明实施例能够在简化硬件复杂度的基础上，提升了超限车辆检测的准确性和实时性。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为现有技术中的一种超限车辆检测装置的结构示意图；

图2为本发明实施例中的采用水平放置方式的双目相机的示意图；

图3(a)为本发明实施例中的一种采用垂直放置方式的双目相机的示意图；

图3(b)为本发明实施例中的另一种采用垂直放置方式的双目相机的结构示意图；

图4为本发明实施例提供的一种在双目相机水平放置情况下的超限车辆检测方法的流程示意图；

图5(a)为本发明实施例中的外极线校正后的左图像；

图5(b)为本发明实施例中的外极线校正后的右图像；

图6(a)为本发明实施例中的三维点云投影统计直方图及车辆长度边界的示意图；

图6(b)为本发明实施例中的三维点云投影统计直方图及车辆宽度边界的示意图；

图6(c)为本发明实施例中的三维点云投影统计直方图及车辆高度边界的示意图；

图7为本发明实施例中的待测量车辆的大小测量结果的示意图；

图8为本发明实施例提供的一种超限车辆检测装置的结构示意图；

图9为本发明实施例提供的一种超限车辆检测系统的结构示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

本发明实施例应用于智能交通领域，具体采用双目相机和处理器实现；双目相机安装在龙门架上。其中，双目相机包括两个拍摄装置；两拍摄装置可以组装在一起形成一个独立的双目相机；也可以分别安装，经过校准后形成一个双目摄像系统。处理器可以在独立的双目相机的内部，可以是在双目摄像系统的某一个拍摄装置的内部，还可以独立于两摄像装置存在。为方便描述本发明，以下将独立的双目相机和双目摄像系统均称之为双目相机。

在本发明实施例中，双目相机的两拍摄装置可以采用多种放置方式。

图2示出了本发明实施例中采用水平放置方式的双目相机的示意图，其中，水平放置是指：两拍摄装置处于同一平面、光轴互相平行，并且两拍摄装置是左右放置的。具体实施时，两拍摄装置光心连线(以下简称基线)可被设置为与路面所处的水平线平行，两拍摄装置的光轴平行指向待监测区域。

图3(a)示出了本发明实施例中一种采用垂直放置方式的双目相机的示意图，图3(b)示出了本发明实施例中另一种采用垂直放置方式的双目相机的示意图。其中，垂直放置是指：两拍摄装置处于同一平面、光轴互相平行，并且两拍摄装置是上下放置的。具体实施时，基线可被设置为与路面所处的水平线垂直。当然，还可以包括其他的不同角度的垂直放置方式(即基线不与路面所处的水平线垂直)，此处不再赘述。

下面对本发明实施例进行详细描述。

图4示出了本发明实施例提供的一种当双目相机的两拍摄装置水平放置情况下的超限车辆检测方法的流程示意图。为方便描述，将位于右侧的拍摄装置获取的图像称之为右图像(以下也称之为第一图像帧)；将位于左侧的拍摄装置获取的图像称之为左图像(以下也称之为第二图像帧)。实际中，第一图像帧与第二图像帧还可以有其他的设定方式。该流程包括：

步骤401：双目相机初始化，获取标定参数。

具体实现时，首先，对双目相机进行系统初始化；在双目相机初始化后，本发明实施例可以通过立体视觉标定的方式得到双目相机的内外参数，该内外参数具体包括：双目相机的焦距f、图像中心点(u₀,v₀)、基线长度B、距地面高度h_c、俯仰角θ等参数。在本发明实施例中，可以以焦距f＝5594、左图像中心点(u_0l,v_0l)＝(1223.814，282.181)、右图像中心点(u_0r,v_0r)＝(1223.814，282.181)、基线长度B＝0.5026、距地面高度h_c＝7.5694、俯仰角θ＝0.1257为例进行具体说明。

进一步的，在获取标定参数之后，可以将双目相机的同步触发信号S设置为FALSE(即，S＝FALSE)。

步骤402：对当前视图进行实时监测，并进行车牌识别。

具体实现时，本发明实施例可以由双目相机中的任意一个拍摄装置对待监测区域进行实时监测，也可以由双目相机中的两拍摄装置同时对待监测区域进行实时监测。双目相机将实时监测拍摄到的视频图像送给处理器，由处理器采用车牌检测算法进行车牌识别。

步骤403：判断当前视图中是否存在车辆车牌，如果不存在，则执行步骤404；如果存在，则执行步骤406。

步骤404：由双目相机继续对当前视图进行实时监测，并将拍摄到的视频图像发送给处理器。

步骤405：由处理器对视频图像进行背景模型更新。

在执行上述步骤405之后，跳回执行步骤402。

步骤406：当识别出当前视图中存在车辆车牌时，触发双目相机的两拍摄装置对同一待检测车辆进行同步拍摄，并获取同步拍摄得到的两图像帧。

此处的两图像帧是指：双目相机的两拍摄装置在同一时刻、针对同一待检测车辆所拍摄到的相对应的两帧图像。具体到本实施例中，即左图像(第一图像帧)和与其对应的右图像(第二图像帧)。

具体实现时，可以将双目相机的同步触发信号S设置为TURE(即，S＝TURE)，以触发双目相机的两拍摄装置同步拍摄。

进一步的，本发明实施例还可以首先对两图像帧进行校正，具体校正的方式可以为：使用预先标定得到的双目相机内外参数，对双目图像进行外极线校正，得到校正后的两图像帧。图5(a)和图5(b)分别示出了本发明实施例中的外极线校正后的两图像帧，即图5(a)示出了本发明实施例中的外极线校正后的左图像、图5(b)分别示出了本发明实施例中的外极线校正后的右图像。参见图5(a)和图5(b)，本发明实施例中的外极线校正处理，可以使同一三维环境点在立体图对(即两图像帧)中的投影点p_l(u_l,v_l)与p_r(u_r,v_r)满足条件v_l＝v_r。同理，当双目相机处于垂直放置方式时，本发明实施例中的外极线校正处理，可以使同一三维环境点在立体图对中的投影点p_l(u_l,v_l)与p_r(u_r,v_r)满足条件u_l＝u_r。

步骤407：识别待检测车辆在两图像帧中的轮廓，根据识别出的轮廓以及双目相机的两拍摄装置之间的相对位姿，构建待检测车辆在世界坐标系下的三维轮廓模型。

具体实现时，首先，对于右图像，确定右图像中的动态前景，将确定出的动态前景作为右图像中的包含目标车辆图像区域I_v(即待检测车辆区域)。

具体实现时，本发明实施例可以利用各种方式确定出右图像中的动态前景，并将确定出的动态前景作为右图像中的包含目标车辆图像区域I_v。较佳的，本发明实施例可以采用运动检测算法，确定出右图像中静态背景和动态前景。需要说明的是，本发明实施例仅以采用运动检测算法确定出右图像中动态前景为例进行举例说明，而上述运动检测算法可包括现有技术中的各种能够确定图像中动态前景的方式，举例来说，可以采用背景建模、光流法等方式确定出右图像中动态前景，因此，本发明实施例中包括但不限于通过上述方式区分图像帧中的动态前景，这里不再一一赘述。

之后，根据待检测车辆区域I_v中的每个像素点，确定待检测车辆在右图像中的轮廓。

具体实现时，本发明实施例可以采用边缘提取算法，逐一对待检测车辆区域I_v中的每个像素点p(u,v)进行边缘拟合，计算出各像素点的边缘响应值；进一步判断计算出的边缘响应值是否大于预设阈值，将边缘响应值大于预设阈值的所有像素点p_r(u_r,v_r)所构成的边界，确定为待检测车辆在右图像中的轮廓。需要说明的是，本发明实施例仅以采用边缘提取算法确定待检测车辆在右图像中的轮廓为例进行举例说明，举例来说，本发明实施例还可以采用基于纹理特征的目标检测算法、采用基于颜色特征的目标检测算法、基于图像分割的轮廓检测方法确定待检测车辆在图像帧中的轮廓等等，本发明实施例中包括但不限于通过上述从不同角度寻找边缘，并以某种模型将边缘连接成轮廓的方式确定目标物体(即待检测车辆)在图像帧中的轮廓，这里不再一一赘述。

进一步的，由于双目相机的两拍摄装置之间具有一定的相对位姿差异，其中，两拍摄装置之间的“相对位姿差异”(可表示为两拍摄装置之间的相对位置和相对姿势的差异)是同一三维点在两图像帧中投影存在“视差”的硬件基础。(假设两台同样的相机以相同位置、相同姿态对同一目标进行观测，则任意三维点对应的视差为0)，那么，对于本发明实施例中的采用水平放置方式的双目相机来说，由于两拍摄装置之间的这种位姿差异，造成了在拍摄同一目标物体时，拍摄得到的任一像素点p在右图像中的投影点p_r与在左图像中的投影点p_l之间的横坐标上的差异。因此对于构成待检测车辆在右图像中的轮廓的各像素点，利用右图像和左图像之间的视差，分别确定出构成待检测车辆在右图像中的轮廓的各像素点在左图像中的匹配像素点；将确定出的所有匹配像素点所构成的边界，确定为待检测车辆在左图像中的匹配轮廓。

在双目相机中，视差为同一三维点在左右(两拍摄装置水平放置)或上下(两拍摄装置垂直放置)两图像帧中投影的坐标差值；与放置方式相应的，坐标差值可以为横坐标方向的差值，也可以为纵坐标方向的差值。

在本发明实施例中，可以利用待检测车辆在右图像中的轮廓，对左图像进行立体匹配。具体的，对右图像中的轮廓中的像素p_r(u_r,v_r)，计算其与左图像中视差为d处的像素p_l(u_r+d,v_r)的匹配代价c(u_l,v_l,d)，其中，u_l＝u_r+d，v_l＝v_r。利用匹配代价函数统计该点邻域窗口内所有像素的相似性度量，记W为匹配窗口大小的一半，则像素p_l(u_r+d,v_r)的匹配代价c(u_l,v_l,d)为：

$c(u_l,v_l,d)=\underset{j=v_l-W}{\overset{v_l+W}{\Σ}}\underset{i=u_l-W}{\overset{u_l+W}{\Σ}}|p_r(i-d,j)-p_l(i,j)|$

之后，先搜索像素p_r(u_r,v_r)在左图像中的最优匹配点p_l(u_r+d^*,v_r)，其中，满足： $d^{*}=\underset{d}{\arg \min }c(u_r+d,v_r,d)$

同理，再搜索得到像素p_r(u_r,v_r)的次优匹配点p_l(u_r+d₂ ^*,v_r)

若则认为本次匹配可能存在误配，并重新搜索最优匹配点和次优匹配点；否则，则认为该匹配点为正确匹配点；即像素p_r(u_r,v_r)的最优匹配点为p_l(u_r+d^*,v_r)。

然后，将由左图像中的所有最优匹配点构成边界，确定为待检测车辆在左图像中的匹配轮廓。

需要说明的是，本发明实施例中仅以双目相机水平放置为例进行描述，同理，当双目相机垂直放置时(参照图3(a)和图3(b))，实质上只是改变了坐标方向。也就是说，当双目相机的两拍摄装置处于水平放置时，则根据左图像与右图像之间的横坐标上的视差，确定出构成待检测车辆在右图像中的轮廓的各像素点在左图像中的匹配像素点；如果双目相机的两拍摄装置处于垂直放置，则根据左图像与右图像之间的纵坐标上的视差，确定出构成待检测车辆在右图像中的轮廓的各像素点在左图像中的匹配像素点。

举例来说，当双目相机如图3(a)所示的方式进行垂直放置时，则像素p_l(u_r+d,v_r)的匹配代价c(u_l,v_l,d)为：

$c(u_l,v_l,d)=\underset{j=v_l-W}{\overset{v_l+W}{\Σ}}\underset{i=u_l-W}{\overset{u_l+W}{\Σ}}|p_r(i,j-d)-p_l(i,j)|$

再举例来说，当双目相机如图3(b)所示的方式进行垂直放置时，则像素p_l(u_r+d,v_r)的匹配代价c(u_l,v_l,d)为：

$c(u_l,v_l,d)=\underset{j=v_l-W}{\overset{v_l+W}{\Σ}}\underset{i=u_l-W}{\overset{u_l+W}{\Σ}}|p_r(i-d,j)-p_l(i,j)|$

本发明实施例的如下步骤仍以双目相机的两拍摄装置水平放置为例进行描述。但在实际应用中，基于相同的原理，当双目相机的两拍摄装置垂直放置时，仅需要改变坐标即可，这里不再赘述。

最后，根据识别出的轮廓，构建待检测车辆在世界坐标系下的三维轮廓模型。

具体实现时，根据待检测车辆在右图像中的轮廓和在左图像中的匹配轮廓，构建待检测车辆在相机坐标系下的三维轮廓模型；利用双目相机的高度值和俯仰角度，将待检测车辆在相机坐标系下的三维轮廓模型转换为待检测车辆在世界坐标系下的三维轮廓模型。

具体的，对最优匹配点p_l(u_r+d^*,v_r)进行精确定位，得到亚像素精度的匹配点位置p_l(u_r+d^s,v_r)；重建像素p在相机坐标系下的三维坐标(x_cp,y_cp,z_cp)：

$x_{cp}=\frac{B(u-u_{0l})}{d^s}$

$y_{cp}=\frac{B(v-v_{0l})}{d^s}$

$z_{cp}=\frac{Bf}{d^s}$

最后，通过相机的高度h_c和俯仰角θ，将x_cp、y_cp和z_cp转换到世界坐标系下(x_wp,y_wp,z_wp)：

x_wp＝x_cp

y_wp＝cosθ×y_cp+sinθ×z_cp-h_c

z_wp＝-sinθ×y_cp+cosθ×z_cp

步骤408：统计三维轮廓模型中的各像素点在世界坐标系下的分布情况，根据统计出的分布情况，确定待检测车辆的大小。

具体实现时，本发明实施例可以利用直方图统计待检测车辆在世界坐标系下的三维轮廓模型在世界坐标系的各方向上的点云分布，根据点云分布的离散分布情况，确定出待检测车辆的长度值、高度值和宽度值。需要说明的是，本发明实施例仅以利用直方图统计的方式确定待检测车辆的长度值、高度值和宽度值为例进行举例说明，举例来说，本发明实施例还可以对三维点云进行曲线拟合的方式确定目标物体的长度或高度或宽度，或采用基于种子点的区域生长方法确定目标物体的长度或高度或宽度等等，本发明实施例中包括但不限于通过上述方式统计目标物体(即待检测车辆)在图像帧中长度或高度或宽度，这里不再一一赘述。

具体的，若能够重建得到N个车辆轮廓的三维点，根据三维点的坐标值，使用直方图统计(x_wp,y_wp,z_wp)世界坐标系下三个方向的点云分布。以z_wp方向为例，每ΔS_z距离划为一个bin，共有M_z个bin，每个bin记为B_k，其中点云数量记为n_k，k∈[0,M_z)。对直方图按照如下公式进行预处理，去除绝对点数、点数比例较小的噪声：

$\left\{{\stackrel{\·}{B}}_k\right\}=\left\{B_k\right|n_k>t_{nz},\frac{n_k}{N}>{\mathrm{th}}_{nrz}\}$

其中，th_nz是绝对阈值，th_nrz是相对阈值，并且th_nz和th_nrz均为预先设定的阈值。

较佳的，th_nz∈[20×ΔS_z，200×ΔS_z]

较佳的，th_nrz∈[0.05×ΔS_z，0.3×ΔS_z]

其中，ΔS_z的单位是米。

进一步的，确定待测量车辆的长度值、宽度值、高度值的测量结果。

图6(a)～图6(c)分别示出了本发明实施例中的三维点云投影统计直方图及车辆边界的示意图，其中，图6(a)～图6(c)中的边框即为车辆边界；其中，图6(a)示出了本发明实施例中的三维点云投影统计直方图及车辆长度边界的示意图，其中边框为车辆长度边界；图6(b)示出了本发明实施例中的三维点云投影统计直方图及车辆宽度边界的示意图，其中边框为车辆宽度边界；图6(c)示出了本发明实施例中的三维点云投影统计直方图及车辆高度边界的示意图，其中边框为车辆高度边界。图7示出了本发明实施例中的待测量车辆的大小测量结果的示意图，其中，图7中的方框框出了统计后的待测量车辆的外轮廓边界。

具体实现时，记属于车体的bin的集合记为初始元素为车牌所在的bin，以之为基准向两侧扩展，若某个bin到的最小距离小于阈值th_Bz，则将该bin添加入中(即认为该bin属于车体的集合)，这样，可去除与车体不连续的外点，并得到最终的车体bin集合，记k的最大值为记k的最小值为则待测量车辆的长度L_v的测量结果可以为：

同理，待测量车辆的宽度W_v的测量结果可以为：

同理，待测量车辆的高度H_v的测量结果可以为：

步骤409：将测量得到的车辆长宽高信息与车辆超限标准值(预设阈值)进行比较，判断是否超限，若超限，则执行步骤410；否则，跳回执行步骤402。

具体实现时，分别判断待检测车辆的长度值、高度值和宽度值是否超过预设长度阈值、高度阈值和宽度阈值，若存在至少一个超过预设阈值，则将该待检测车辆确定为超限车辆。

步骤410：结合车牌信息向控制台发送报警。

需要说明的是，虽然本实施例描述的是以双目相机的两拍摄装置水平放置的方式；但是双目相机的两拍摄装置垂直放置的方式也在本发明的保护范围。垂直放置时的处理步骤与水平放置时相同，区别点已在上文中具体给出。并且，虽然本实施例描述的是以第一图像帧为右图像、并以第二图像帧为左图像的方式，在实际中，也可将左图像作为第一图像帧、并将右图像作为第二图像帧，其处理步骤与上述处理步骤相同，区别点也已在上文中具体给出，这里不再一一赘述。

可见，本发明实施例可以使用安装在龙门架上的双目相机，基于立体视觉原理，实时重建车辆轮廓的三维点云，通过统计和分析点云数据在三维空间中的分布，获得车辆的长宽高信息，以检测车辆是否超限，并结合车牌信息向控制台报警。这样，本发明实施例提供的基于立体视觉的方案具有安装简单、成本低的优势；较佳的，使用基于车牌识别和运动目标检测的算法，可以准确地把相邻车辆分割开，提高了长宽高测量的准确度；然后，使用双目立体视觉方法，通过分析重建的三维点云在三维方向上的投影直方图，计算得到目标车辆的长宽高信息；并且，使用边缘提取算法进一步提取车辆的轮廓信息，一方面去除由于车辆表面常见的弱纹理区域可能带来的误配，一方面只对车辆轮廓区域进行立体匹配，降低了计算代价；而且，使用运动检测方法获得视频中车辆的大致区域，可以有效对连续车流进行分割，且对车辆区域分割更加准确、鲁棒。而且，本发明实施例只需要两台智能交通相机就可以完成全部功能，不需要其他传感器的辅助。这样，本发明实施例能够在简化硬件复杂度的基础上，提升了超限车辆检测的准确性和实时性。

基于相同的技术构思，本发明实施例还提供一种超限车辆的检测装置，图8示出了本发明实施例提供的一种超限车辆的检测装置的结构示意图，如图8所示，该检测装置包括：

获取单元81，用于当识别出当前视图中存在车辆车牌时，触发双目相机的两拍摄装置对同一待检测车辆进行同步拍摄，并获取同步拍摄得到的两图像帧；

三维重构单元82，用于识别所述待检测车辆在所述两图像帧中的轮廓，根据识别出的轮廓以及双目相机的两拍摄装置之间的相对位姿，构建所述待检测车辆在世界坐标系下的三维轮廓模型；

统计识别单元83，用于统计所述三维轮廓模型中的各像素点在世界坐标系下的分布情况，根据统计出的分布情况，确定所述待检测车辆的大小；并在所述大小超过预设阈值时，将该待检测车辆确定为超限车辆。

可选的，所述三维重构单元82具体用于：对于所述两图像帧中的第一图像帧，确定所述第一图像帧中的动态前景，将确定出的动态前景作为所述第一图像帧中的待检测车辆区域；根据所述待检测车辆区域中的每个像素点，确定所述待检测车辆在所述第一图像帧中的轮廓；对于构成所述待检测车辆在所述第一图像帧中的轮廓的各像素点，利用所述两图像帧之间的视差，分别确定出构成所述待检测车辆在所述第一图像帧中的轮廓的各像素点在所述两图像帧中的第二图像帧中的匹配像素点；将确定出的所有匹配像素点所构成的边界，确定为所述待检测车辆在所述第二图像帧中的匹配轮廓。

可选的，所述三维重构单元82具体用于：采用边缘提取算法，逐一对所述待检测车辆区域中的每个像素点进行边缘拟合，计算出各像素点的边缘响应值，将边缘响应值大于预设阈值的所有像素点所构成的边界，确定为所述待检测车辆在所述第一图像帧中的轮廓。

可选的，所述三维重构单元82具体用于：当所述双目相机的两拍摄装置处于水平放置时，根据所述两图像帧之间的横坐标上的视差，确定出构成所述待检测车辆在所述第一图像帧中的轮廓的各像素点在所述两图像帧中的第二图像帧中的匹配像素点；当所述双目相机的两拍摄装置处于垂直放置时，根据所述两图像帧之间的纵坐标上的视差，确定出构成所述待检测车辆在所述第一图像帧中的轮廓的各像素点在所述两图像帧中的第二图像帧中的匹配像素点。

可选的，所述三维重构单元82具体用于：根据所述待检测车辆在所述第一图像帧中的轮廓和在所述第二图像帧的匹配轮廓，构建所述待检测车辆在相机坐标系下的三维轮廓模型；利用所述双目相机的高度值和俯仰角度，将所述待检测车辆在相机坐标系下的三维轮廓模型转换为所述待检测车辆在世界坐标系下的三维轮廓模型。

可选的，所述统计识别单元83具体用于：统计所述待检测车辆在世界坐标系下的三维轮廓模型在世界坐标系的各方向上的点云分布，根据所述点云分布的离散分布情况，确定出所述待检测车辆的长度值、高度值和宽度值。

可选的，所述统计识别单元83具体用于：分别判断所述待检测车辆的长度值、高度值和宽度值是否超过预设长度阈值、高度阈值和宽度阈值，若存在至少一个超过预设阈值，则将该待检测车辆确定为超限车辆。

基于相同的技术构思，本发明实施例还提供一种超限车辆的检测系统，图9示出了本发明实施例提供的一种超限车辆的检测系统的结构示意图，如图9所示，该系统包括：

双目相机91，具有两拍摄装置，用于在接收到处理器92的触发信号时，由所述两拍摄装置对当前视图中的待检测车辆进行同步拍摄；

所述处理器92，用于在识别出当前视图中存在车辆车牌时，触发所述双目相机91的两拍摄装置对同一待检测车辆进行同步拍摄，并获取同步拍摄得到的两图像帧；识别所述待检测车辆在所述两图像帧中的轮廓，根据识别出的轮廓以及双目相机的两拍摄装置之间的相对位姿，构建所述待检测车辆在世界坐标系下的三维轮廓模型；统计所述三维轮廓模型中的各像素点在世界坐标系下的分布情况，根据统计出的分布情况，确定所述待检测车辆的大小；并在所述大小超过预设阈值时，将该待检测车辆确定为超限车辆。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器，使得通过该计算机或其他可编程数据处理设备的处理器执行的指令可实现流程图中的一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图的一个流程或多个流程和/或方框图的一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (15)

1.一种超限车辆的检测方法，其特征在于，该检测方法包括：

当识别出当前视图中存在车辆车牌时，触发双目相机的两拍摄装置对同一待检测车辆进行同步拍摄，并获取同步拍摄得到的两图像帧；

识别所述待检测车辆在所述两图像帧中的轮廓，根据识别出的轮廓以及所述双目相机的两拍摄装置之间的相对位姿，构建所述待检测车辆在世界坐标系下的三维轮廓模型；

统计所述三维轮廓模型中的各像素点在世界坐标系下的分布情况，根据统计出的分布情况，确定所述待检测车辆的大小；并在所述大小超过预设阈值时，将该待检测车辆确定为超限车辆。

2.如权利要求1所述的检测方法，其特征在于，所述识别所述待检测车辆在所述两图像帧中的轮廓，具体包括：

对于所述两图像帧中的第一图像帧，确定所述第一图像帧中的动态前景，将确定出的动态前景作为所述第一图像帧中的待检测车辆区域；根据所述待检测车辆区域中的每个像素点，确定所述待检测车辆在所述第一图像帧中的轮廓；

对于构成所述待检测车辆在所述第一图像帧中的轮廓的各像素点，利用所述两图像帧之间的视差，分别确定出构成所述待检测车辆在所述第一图像帧中的轮廓的各像素点在所述两图像帧中的第二图像帧中的匹配像素点；将确定出的所有匹配像素点所构成的边界，确定为所述待检测车辆在所述第二图像帧中的匹配轮廓。

3.如权利要求2所述的检测方法，其特征在于，所述根据所述待检测车辆区域中的每个像素点，确定所述待检测车辆在所述第一图像帧中的轮廓，具体包括：

采用边缘提取算法，逐一对所述待检测车辆区域中的每个像素点进行边缘拟合，计算出各像素点的边缘响应值，将边缘响应值大于预设阈值的所有像素点所构成的边界，确定为所述待检测车辆在所述第一图像帧中的轮廓。

4.如权利要求2所述的检测方法，其特征在于，所述确定出构成所述待检测车辆在所述第一图像帧中的轮廓的各像素点在所述两图像帧中的第二图像帧中的匹配像素点，具体包括：

如果所述双目相机的两拍摄装置处于水平放置，则根据所述两图像帧之间的横坐标上的视差，确定出构成所述待检测车辆在所述第一图像帧中的轮廓的各像素点在所述两图像帧中的第二图像帧中的匹配像素点；

如果所述双目相机的两拍摄装置处于垂直放置，则根据所述两图像帧之间的纵坐标上的视差，确定出构成所述待检测车辆在所述第一图像帧中的轮廓的各像素点在所述两图像帧中的第二图像帧中的匹配像素点。

5.如权利要求2所述的检测方法，其特征在于，所述构建所述待检测车辆在世界坐标系下的三维轮廓模型，具体包括：

根据所述待检测车辆在所述第一图像帧中的轮廓和在所述第二图像帧的匹配轮廓，构建所述待检测车辆在相机坐标系下的三维轮廓模型；

利用所述双目相机的高度值和俯仰角度，将所述待检测车辆在相机坐标系下的三维轮廓模型转换为所述待检测车辆在世界坐标系下的三维轮廓模型。

6.如权利要求1所述的检测方法，其特征在于，所述确定所述待检测车辆的大小，具体包括：

统计所述待检测车辆在世界坐标系下的三维轮廓模型在世界坐标系的各方向上的点云分布，根据所述点云分布的离散分布情况，确定出所述待检测车辆的长度值、高度值和宽度值。

7.如权利要求6所述的检测方法，其特征在于，分别判断所述待检测车辆的长度值、高度值和宽度值是否超过预设长度阈值、高度阈值和宽度阈值，若存在至少一个超过预设阈值，则将该待检测车辆确定为超限车辆。

8.一种超限车辆的检测装置，其特征在于，该检测装置包括：

获取单元，用于当识别出当前视图中存在车辆车牌时，触发双目相机的两拍摄装置对同一待检测车辆进行同步拍摄，并获取同步拍摄得到的两图像帧；

三维重构单元，用于识别所述待检测车辆在所述两图像帧中的轮廓，根据识别出的轮廓以及所述双目相机的两拍摄装置之间的相对位姿，构建所述待检测车辆在世界坐标系下的三维轮廓模型；

统计识别单元，用于统计所述三维轮廓模型中的各像素点在世界坐标系下的分布情况，根据统计出的分布情况，确定所述待检测车辆的大小；并在所述大小超过预设阈值时，将该待检测车辆确定为超限车辆。

9.如权利要求8所述的检测装置，其特征在于，所述三维重构单元具体用于：

对于所述两图像帧中的第一图像帧，确定所述第一图像帧中的动态前景，将确定出的动态前景作为所述第一图像帧中的待检测车辆区域；根据所述待检测车辆区域中的每个像素点，确定所述待检测车辆在所述第一图像帧中的轮廓；

对于构成所述待检测车辆在所述第一图像帧中的轮廓的各像素点，利用所述两图像帧之间的视差，分别确定出构成所述待检测车辆在所述第一图像帧中的轮廓的各像素点在所述两图像帧中的第二图像帧中的匹配像素点；将确定出的所有匹配像素点所构成的边界，确定为所述待检测车辆在所述第二图像帧中的匹配轮廓。

10.如权利要求9所述的检测装置，其特征在于，所述三维重构单元具体用于：

采用边缘提取算法，逐一对所述待检测车辆区域中的每个像素点进行边缘拟合，计算出各像素点的边缘响应值，将边缘响应值大于预设阈值的所有像素点所构成的边界，确定为所述待检测车辆在所述第一图像帧中的轮廓。

11.如权利要求9所述的检测装置，其特征在于，所述三维重构单元具体用于：

当所述双目相机的两拍摄装置处于水平放置时，根据所述两图像帧之间的横坐标上的视差，确定出构成所述待检测车辆在所述第一图像帧中的轮廓的各像素点在所述两图像帧中的第二图像帧中的匹配像素点；当所述双目相机的两拍摄装置处于垂直放置时，根据所述两图像帧之间的纵坐标上的视差，确定出构成所述待检测车辆在所述第一图像帧中的轮廓的各像素点在所述两图像帧中的第二图像帧中的匹配像素点。

12.如权利要求9所述的检测装置，其特征在于，所述三维重构单元具体用于：

根据所述待检测车辆在所述第一图像帧中的轮廓和在所述第二图像帧的匹配轮廓，构建所述待检测车辆在相机坐标系下的三维轮廓模型；利用所述双目相机的高度值和俯仰角度，将所述待检测车辆在相机坐标系下的三维轮廓模型转换为所述待检测车辆在世界坐标系下的三维轮廓模型。

13.如权利要求8所述的检测装置，其特征在于，所述统计识别单元具体用于：

统计所述待检测车辆在世界坐标系下的三维轮廓模型在世界坐标系的各方向上的点云分布，根据所述点云分布的离散分布情况，确定出所述待检测车辆的长度值、高度值和宽度值。

14.如权利要求13所述的检测装置，其特征在于，所述统计识别单元具体用于：

分别判断所述待检测车辆的长度值、高度值和宽度值是否超过预设长度阈值、高度阈值和宽度阈值，若存在至少一个超过预设阈值，则将该待检测车辆确定为超限车辆。

15.一种超限车辆的检测系统，其特征在于，该系统包括：

双目相机，具有两拍摄装置，用于在接收到处理器的触发信号时，由所述两拍摄装置对当前视图中的待检测车辆进行同步拍摄；

所述处理器，用于在识别出当前视图中存在车辆车牌时，触发所述双目相机的两拍摄装置对同一待检测车辆进行同步拍摄，并获取同步拍摄得到的两图像帧；识别所述待检测车辆在所述两图像帧中的轮廓，根据识别出的轮廓以及所述双目相机的两拍摄装置之间的相对位姿，构建所述待检测车辆在世界坐标系下的三维轮廓模型；统计所述三维轮廓模型中的各像素点在世界坐标系下的分布情况，根据统计出的分布情况，确定所述待检测车辆的大小；并在所述大小超过预设阈值时，将该待检测车辆确定为超限车辆。