CN110285793B - 一种基于双目立体视觉系统的车辆智能测轨迹方法 - Google Patents

Abstract

本发明提出了一种基于双目立体视觉系统的车辆智能测轨迹方法，其步骤为：将数据集输入SSD神经网络得到车牌识别模型；对双目立体视觉系统进行标定，拍摄运动的目标车辆的视频；利用车牌识别模型对视频帧进行车牌检测；利用基于特征的匹配算法对同一相机的前后帧和左右路对应视频帧图像中车牌位置进行立体匹配，通过单应性矩阵过滤后保留正确的匹配点；对保留的匹配点对进行筛选和剔除，保留位置最接近车牌中心的匹配点作为当前帧中目标车辆所处的位置；对筛选后的匹配点对进行立体测量，获取视频帧中车辆空间坐标下的位置，按时间顺序生成车辆的运行轨迹。本发明易于安装调试，可以实现多车道、多目标、多方向车辆的同时测量。

Description

一种基于双目立体视觉系统的车辆智能测轨迹方法

技术领域

本发明涉及双目立体视觉的技术领域，尤其涉及一种基于双目立体视觉系统的车辆智能测轨迹方法。

背景技术

传统的交通监控系统通常是通过安装在道路上方或者侧面的摄像设备对道路进行拍摄，进而配合预埋线圈或者雷达、激光雷达等方式检测超速行为并拍照取证，需要多个系统配合工作才可以完成测速、车牌识别、取证并记录的工作，安装铺设和调试工作相对复杂。而对于其他违规驾驶行为，诸如驾驶过程中接听电话、未系安全带等行为通常还需要人为查看视频或图像记录进行检测。而面对越来越多的车辆，人工检测违规行为的方式显然将无法满足未来道路监控发展的需求。智能交通的建设迫在眉睫。

双目立体视觉系统是机器视觉领域的一个十分经典的视觉体系，它利用两部摄像机获取一对存在一定视差的视频图像，通过对两幅图像中差异进行计算即可获取物体在现实三维空间中的一些状态。常用的雷达、激光等测速方法，需破坏道路埋设线圈且不能测量视野内所有车辆目标，不能够在起伏路段及转向路段完成车辆运行轨迹、变道情况、转向状态等的测量，适用范围小。

发明内容

针对现有车辆测轨迹方法需要破坏道路，适用范围小的技术问题，本发明提出一种基于双目立体视觉系统的车辆智能测速方法，利用双目立体视觉系统测速具有探测隐秘性，无需破坏道路埋设线圈且可以同时测量视野内所有车辆目标，能够在起伏路段及转向路段完成车辆运行轨迹、变道情况、转向状态等的测量。

为了达到上述目的，本发明的技术方案是这样实现的：一种基于双目立体视觉系统的车辆智能测轨迹方法，其步骤如下：

步骤一：将带有车牌的图像组成的数据集输入SSD神经网络，车牌作为检测特征对SSD神经网络进行训练得到车牌识别模型；

步骤二：将双目立体视觉系统架设在车道右侧、中间或上方，对双目立体视觉系统进行标定获取两部相机的自身参数和外部参数；利用标定后的双目立体视觉系统拍摄运动的目标车辆的视频；

步骤三：利用步骤一训练好的车牌识别模型对步骤二获取的视频帧进行车牌检测，定位出目标车辆的车牌位置；

步骤四：利用基于特征的匹配算法对同一相机的前后帧图像中车牌位置进行特征点提取和立体匹配，通过单应性矩阵过滤后保留正确的匹配点；利用基于特征的匹配算法对双目立体视觉系统左右路对应视频帧中的对应车牌进行特征点提取和立体匹配，利用单应性矩阵过滤后将正确的匹配点进行保留；

步骤五：对步骤四保留的匹配点对进行筛选，然后利用双目立体视觉系统测距的方法对筛选后的匹配点进行剔除，保留位置最接近车牌中心的匹配点的坐标作为当前帧中目标车辆所处的位置；

步骤六：利用双目立体视觉系统对筛选后的匹配点对进行立体测量，获取视频帧中车辆空间坐标下的位置，按时间顺序生成车辆的运行轨迹。

所述步骤一中的SSD神经网络时在经典SSD神经网络的基础上，去除了卷积层conv11_2，采用conv4_3、conv7、conv8_2、conv9_2和conv10_2特征，将卷积层conv4_3、conv7、conv8_2、conv9_2和conv10_2提取的不同尺度的特征信息进行融合并输入到分类器中，以卷积层输出的特征图预测车牌的位置。

所述步骤一中的数据集包括北京理工大学提供的BIT-Vehicle数据集、广东省智能交通系统重点实验室主持的OpenITS研究计划提供的车牌公开数据库以及自行拍摄的1000张车辆车牌图像，共计11000幅图像。

所述双目立体视觉系统包括两部相机和上位机，两部相机均采用flea2工业摄像机，两部相机分别为左目相机和右目相机，左目相机和右目相机均与上位机相连接。

所述步骤二中对双目立体视觉系统进行标定的方法是：利用张正友标定法对两部相机进行标定，获取两部相机各自的光心坐标、焦距、尺度因子和/或镜头畸变的参数；获取两部相机自身参数后再利用张正友标定法对双目立体视觉系统进行标定，以左目相机为基准，通过标定获取右目相机相对左目相机的位移以及旋转角度。

所述双目立体视觉系统的三维测量原理为：以左目相机为主相机，经过张正友标定法标定操作获取右目相机的相对平移向量T1＝(l,m,n)^T、相对旋转向量V＝(α,β,γ)^T的外参数及两部相机自身的焦距、光轴角度、畸变的内参数；l,m,n分别表示右目相机相对于左目相机在x、y、z三个方向上的平移距离，α,β,γ分别表示右目相机相对于左目相机绕x、y、z三个轴的旋转角度；

相机外参数及双目立体视觉系统的会聚点为：

其中，B为两目相机的基线长度，ε表示两部相机光轴之间的夹角；

建立目标夹角的变换模型，同一空间点在两部相机内的成像点分别称为左对应点和右对应点，左对应点和右对应点分别为左目相机、右目相机的光轴与各自图像平面的交点；a’、b’分别为左对应点、右对应点和会聚点在图像坐标系的u方向上像素的差值，且：若左对应点或右对应点在会聚点左边，则差值<0，反之差值>0；

光轴垂直于各自的图像平面，光心到目标点的连线称为对应周，对应周与光轴的夹角a、b的计算公式为：

其中，f_l、f_r分贝表示左目相机和右目相机的焦距；

当目标处于区域I中时，目标夹角c表示为：

设目标点P位于区域I的世界坐标为(x，y，z)，建立目标点P的深度计算模型，则：

联立可得

通过目标点P的深度计算模型计算x的世界坐标：

同理可得z的世界坐标：

根据左对应点和右对应点在图像坐标系的关系及图像坐标系与世界坐标系的关系可以得到y的世界坐标；得到目标点P的世界坐标为：

其中，v′表示目标点在图像坐标系的纵向上到图像中心点的像素差值，f_l则是左目相机的焦距；同理，可得到目标点处于区域II、区域III和区域IV的世界坐标。

所述基于特征的匹配算法为SURF特征提取和匹配算法，利用SURF描述子对视频图像的局部特征进行描述；所述单应性矩阵过滤描述针对同一事物在不同的视角下拍摄的两幅图像之间的关系：假设两幅图像之间是透视变换，则单应性矩阵H为：

则有

其中，x′、y′、1及x、y、1分别表示透视变换前后两个对应点的坐标，h_11-32则为需要求得的变换参数；

要计算出单应性矩阵H中的8个变换参数h_11-32，需要至少4对匹配点，过程如下：

每次从所有的匹配点中选出4对，计算单应性矩阵H，然后选出准确匹配点个数最多的作为最为准确的单应性矩阵H；为了校验H矩阵的准确性，计算对应匹配点之间的欧式距离：

其中，x′_i1、y′_i1、1及x_i1、y_i1、1分别表示透视变换前后匹配点的坐标，t为欧氏距离阈值，i1＝1,2,3,4；欧氏距离越小表明两个对应匹配点的匹配准确度越高。

所述步骤五中筛选的方法为：在左目相机的视频帧中的车牌区域中取一个以该区域的中心点为圆心、以区域高度为直径的圆，而在对应的右目相机的视频对应帧中以匹配区域中心为圆心取等大的圆形区域，将不同时包含在这两个圆内的匹配点剔除。

所述步骤五中双目立体视觉系统测距的方法为：分别计算所有N个匹配点的距离d_i、平均值μ和标准差σ，并计算出每个匹配点的Z分数Z_i：

将Z分数Z_i绝对值大于1的m1个匹配点剔除，并将余下的N-m1个的匹配点中位置最接近车牌中心的匹配点i的坐标作为当前帧中目标车辆所处位置P_i。

所述步骤六中利用双目立体视觉系统对筛选后的匹配点对进行立体测量，获得时间t₁时目标车辆的位置为P₁＝(x₁,y₁,z₁)，时间t₂时目标车辆的位置为P₂＝(x₂,y₂,z₂)，以此类推；根据时间顺序即可获得车辆运行的轨迹及转向信息；根据两点坐标的差值计算出两点间车辆运动的方向向量：

将车辆运行3D轨迹投影到XOY平面，得到向量关系：

其中，ε1表示车辆转向的角度，ε1＝0表示车辆在两端运行过程中没有转向，ε1>0表示车辆向左转向，ε1<0则表示车辆向右转向。

本发明的有益效果：利用双目立体视觉系统作为车辆视频获取设备，利用经过训练的SSD神经网络自动识别和定位车辆位置，通过图像匹配算法对双目立体视频中的相同目标进行追踪和立体匹配，最后利用双目立体视觉系统检测出车辆的空间位置，按时间顺序生成运行轨迹。双目立体视觉系统安装调试简易、可以同时自动识别经过训练的多种特征，能够更好地满足未来智能交通网络及物联网的发展需求。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的流程图。

图2为SSD神经网络的结构图。

图3为会聚型双目立体视觉系统结构示意图。

图4为目标夹角的变换模型示意图。

图5为目标点的深度计算模型示意图。

图6为y值的计算方法示意图，其中，(a)在像平面上目标点相对于中心点的位置，(b)表示实际空间中目标点与相机光轴的相对位置。

图7为SURF特征提取和匹配算法的流程图。

图8为单目视频帧特征点匹配与双目立体匹配的流程图。

图9为单路视频中车牌追踪效果图，其中，(a)为前一帧图像，(b)为前帧中白色车牌与后帧图像匹配结果，(c)为(b)利用单应性矩阵过滤后的匹配效果。

图10为匹配点进一步筛选的示意图。

图11为车辆轨迹投射到XOY平面示意图

图12为第一组实验三维目标车辆位于15米处SSD提取的车牌目标，其中，(a)为左目视频图像，(b)为右目视频图像。

图13为第一组实验的目标车辆位于1米处SSD提取的车牌目标，其中，(a)为左目视频图像，(b)为右目视频图像。

图14为第一组实验对左右目对应视频帧车牌区域匹配的示意图，(a)为左目视频图像，(b)为右目视频图像。

图15为第一组试验车辆运行轨迹，其中，(a)为第一组实验车辆三维轨迹，(b)第一组实验车辆轨迹在XOY平面的二维投影。

图16为第二组转向实验左右目视频部分对应截图(每3帧取1帧)及车牌检测结果，其中，(a1)为左目视频图像1，(a2)为左目视频图像2，(a3)为左目视频图像3，(b1)为右目视频图像1，(b2)为右目视频图像2，(b3)为右目视频图像3。

图17为第二组转向实验车辆轨迹，其中，(a)为车辆三维轨迹，(b)为车辆轨迹在XOY平面的二维投影。

图18为本发明测量轨迹与GPS轨迹对比，其中(a)为利用本发明系统所测轨迹，(b)为本发明所测轨迹与GPS轨迹比较。

图19为两车相向行驶测速实验拍摄视频截图及车牌检测结果图，其中，(a)为左目视频图像1，(b)为右目视频图像1，(c)为左目视频图像2，(d)为右目视频图像2。

图20为两车相向行驶实验所测轨迹图，其中，(a)两车三维轨迹，(b)两车在XOY平面的投影轨迹。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，一种基于双目立体视觉系统的车辆智能测轨迹方法，其步骤如下：

步骤一：将公开的交通监控视频中带有车牌的图像输入SSD神经网络，车牌作为检测特征对SSD神经网络进行训练得到车牌识别模型。

在双目立体视觉系统拍摄的交通视频中检测车辆运动状态，首先要实现对车辆位置的准确检测。为了适应智能交通网络的发展需求以及越来越大的交通视频数据量带来的压力，针对交通视频监控这一类特殊场景，选择基于精度较好且检测速度快的SSD神经网络来实现视频中车辆目标的自动检测及定位。训练一个基于SSD神经网络算法的车牌识别模型备用。在这里，将国内燃油车辆的车牌作为检测的目标，因为其具有标准样式、尺寸统一、纹理较为丰富、外形规则平坦且目标相对较小，有助于提高位置检测的准确性，便于在之后更好的获取匹配点的位置进行三维信息测量。不同于传统基于图像处理的车牌检测方法，不仅可以将车牌作为目标车辆的一个检测特征，还可以加入车标、车轮、车窗、倒车镜等特征，进一步提高车牌目标检测的精确度，且可以在后续应用中用于对违章车辆进行目标识别。

根据道路监控视野及拍摄画面中目标尺寸分布情况，本发明所用检测网络在经典SSD神经网络的基础上，去除了卷积层conv11_2，采用conv4_3、conv7、conv8_2、conv9_2和conv10_2，将各卷积层提取的不同尺度的特征信息进行融合并输入到分类器中，以这些层输出的征图来预测车牌的位置。

本发明利用多个数据集对神经网络进行训练，对于神经网络训练及检测所采用的数据集包括利用北京理工大学提供的BIT-Vehicle数据集，广东省智能交通系统重点实验室主持的OpenITS研究计划提供的车牌公开数据库(http://www.openits.cn/)以及本发明团队自行拍摄的1000张车辆车牌图片，共计11000幅图像训练SSD神经网络，对交通监控视频中的车牌目标进行自动识别和定位。通过SSD神经网络训练的车牌识别模型可以对视频中每帧图像的车牌进行准确识别。

步骤二：将双目立体视觉系统架设在车道右侧、中间或上方，利用对双目立体视觉系统进行标定获取两部相机的自身参数和外部参数；利用标定后的双目立体视觉系统拍摄运动的目标车辆的视频。

使用了两部POINT GRAY公司的flea2工业摄像机以及一台笔记本电脑搭建双目立体视觉系统，作为测量平台，两部摄像机同步拍摄测量区域，使用USB数据线与笔记本电脑进行通信。使用的笔记本电脑搭载酷睿i7 CPU、8G内存、英伟达Geforce 830M独立显卡以及固态硬盘。将双目立体视觉系统架设在车道右侧、车道中间或车道上方，确保两部相机均能拍摄到车辆车牌(前后车牌均可)。之后，对双目立体视觉系统的两目相机进行标定，获取两目相机的内外参数。本发明利用张正友标定法对两目相机进行标定，以获取两部相机各自的光心坐标、焦距、尺度因子、镜头畸变等参数。在获取相机自身参数后再利用张正友标定法对双目立体视觉系统进行标定，在本实验中，以左目相机为基准，通过标定获取右目相机相对左目相机的位移以及旋转。

在实际测量中，每次改变相机位置后都要对相机系统进行标定操作，以保证测量的准确性。在获取相机系统内部和外部参数之后，将利用这套双目立体视觉系统进行测距、测轨迹等的工作。利用标定的双目立体视觉系统拍摄运动车辆，左右目相机视频画面拍摄区域存在一定差异，且拍摄角度略有不同，两幅图像存在一定的视差。利用双目立体视觉系统三维测量原理进行处理，双目立体视觉系统三维测量原理以左目相机为主相机，经过张正友标定法标定操作，便可以获取双目立体视觉系统中右目相机的相对平移向量T1＝(l,m,n)^T、相对旋转向量V＝(α,β,γ)^T等外参数以及两部相机自身诸如焦距、光轴角度、畸变等内参数，l,m,n分别表示右目相机相对于左目相机在x、y、z轴三个方向上的平移距离，α,β,γ分别表示右目相机相对于左目相机绕x、y、z三个轴的旋转角度。进而可以获取基线长度B即两目相机的之间间距以及两目相机之间的光轴夹角ε，相机外参及双目立体视觉系统的会聚点，如图3所示。

相机外参及双目立体视觉系统的会聚点为：

在获取到基线长度和变换角度之后，即可计算目标夹角c以及目标物体的深度信息。目标夹角的变换模型如图4所示。同一空间点在两部摄像机内的成像点被分别称为左对应点LCP和右对应点RCP。而LPP和RPP分别为左、右目相机的光轴与各自图像平面的交点。a’、b’分别为对应点和主点(会聚点)在u方向上像素的差值，并规定：如对应点在主点左边，则差值<0，反之差值>0。当目标位于区域1中时，a’、b’都小于0。光轴垂直于各自的图像平面，光心到目标点的连线称为对应周，其与光轴的夹角a、b可由以下公式计算：

其中，f_l、f_r表示两部摄像机的焦距。当目标处于区域1中时，目标夹角c表示为：

而在另外三个区域中可以得到类似的目标夹角推导，在区域II中a’<0、b’>0，在区域III中a’>0、b’>0，在区域IV中a’>0、b’<0。目标点P的深度计算模型如图5所示，设目标点P位于区域I，目标点P的世界坐标为(x，y，z)，则：

图5中a为负值

联立公式可得

如上可以计算得到x的世界坐标。目标待测点通过映射关系在左摄像机里面的投影点叫做左对应点LCP，左主点LPP是左摄像机光轴和二维成像面的交汇点。如图6所示，在左图像坐标系内，左对应点LCP与左主点LPP处于v方向(图像坐标系的纵向)上的像素差值是v'，f_l则是左摄像机的焦距，所以有：

综上所述，可以得到目标点P的世界坐标为：

同理，可得到目标点处于区域II、区域III和区域IV的世界坐标，具体参看发明专利CN 107705331 A一种基于多视点摄像机的车辆视频测速方法。进一步计算

即可得到目标点距离相机(即左相机传感器中心)的距离。

步骤三：利用步骤一训练好的车牌识别模型对标定好的双目立体视觉系统获取的视频帧进行车牌检测，定位出目标车辆的车牌位置。

使用SSD神经网络算法进行车牌目标提取，标记出具有规则轮廓的目标框，且在保证检测准确度的同时提供了较快的处理速度，能够满足在视频中快速检测、定位目标的需求。利用步骤一中训练好的模型，对步骤二中标定好的相机获取的视频帧进行目标检测，从而进行车牌目标定位。理论上，在测量区域内无须对每一帧的图像都进行准确的目标检测，只需要有超过两对准确检测的图像帧即可完成车辆轨迹及转向状态的检测。

步骤四：利用基于特征的匹配算法对同一相机的前后帧图像中车牌位置进行特征点提取和匹配，通过单应性矩阵过滤以保证车辆追踪正确；利用基于特征的匹配算法对双目立体视觉系统左右路对应视频帧中的对应车牌进行特征点提取和立体匹配，利用单应性矩阵过滤后将正确的匹配点进行保留用以立体测量。

为了保证在接下来的双目视频检测过程中获得准确的三维信息，需要对左右两目相机所获取的对应视频图像进行特征点的提取和匹配。需要注意的是，视频中会有多个目标同时存在的情况，也需要确定对每个目标的追踪正确，因而对于同一路视频各帧中的相同目标也需要进行匹配，而后再对同时刻左右相机拍摄视频对应帧的匹配点进行三维信息检测。

本发明使用的二维图像匹配算法是基于特征的匹配算法，根据图像的特征，主要可以分为点、线(边缘)、面等特征，生成特征描述子，最后比较描述子的相似程度，从而实现两幅视频图像相应特征之间的匹配。面特征提取比较麻烦，计算量大而耗时，本发明中使用了SURF特征进行视频图像特征提取及匹配。SURF描述子对视频图像的局部特征进行描述，当视频图像发生旋转、平移、尺度缩放等情况时，SURF特征提取和匹配算法都具有很好的稳定性。

如图7所示，SURF特征提取和匹配算法分为以下几个部分：1、提取关键点，尽量选取不受光线变化影响的点，例如角点、边缘点、暗区域的亮点以及亮区域的暗点；2、对这些关键点提取详细的局部特征向量；3、对模板图像和目标图像的特征向量进行两两比较，找到相互匹配度最好的匹配点对，从而实现两幅图像的匹配。

如图8所示，利用SURF算法在单路视频中对检测到的车牌进行匹配以实现对多个目标的独立追踪，再对左右路视频中对应的视频帧进行匹配提取对应的特征点，用以立体测量。例如，以图9中的(a)中白色车辆车牌作为追踪目标，利用SURF特征提取和匹配算法与第二张图像进行匹配，准确定位了相同车牌所在的位置，如图9中的(b)中虚线框所示。

然而，不管是SIFT、SURF还是其他一些特征点提取的算法，其匹配的结果都不会是百分之百的准确，如果图像不够清晰或者存在不同于匹配模板的区域，就会出现产生错误匹配点。如果有错误的匹配点存在，会对车辆追踪的正确性以及立体测量的结果产生很大的影响。因而，对于匹配的结果，还需要对其中错误的匹配点进行消除。

利用单应性矩阵描述针对同一事物，在不同的视角下拍摄的两幅图像之间的关系。假设这两幅图像之间是透视变换，则单应性矩阵也就是透视变换矩阵H定义如下：

则有

其中，x′、y′、1及x、y、1分别表示透视变换前后两个对应点的坐标，h_11-32则为需要求得的变换参数；

要计算出单应性矩阵H中的8个变换参数h_11-32，需要至少4对匹配点，过程如下：

每次从所有的匹配点中选出4对，计算单应性矩阵H，然后选出内点(即准确匹配点)个数最多时的单应性矩阵H作为正确结果；为了校验单应性矩阵H的准确性，计算经过透视变换后对应匹配点之间欧氏距离的方法如下：

其中，x′_i1、y′_i1、1及x_i1、y_i1、1分别表示变换前后匹配点的坐标，t为欧氏距离阈值，i1＝1,2,3,4。当该距离越小则表明两个匹配点的匹配准确度越高。如图9中的(c)所示，利用SURF特征提取和匹配算法提取了匹配点，在经过单应性矩阵过滤之后，正确的匹配点得以保留。

接下来，在再利用SURF特征提取和匹配算法对左右目相机对应视频帧中的对应车牌进行特征点提取和立体匹配，同样利用单应性矩阵过滤，将正确的结果即匹配点进行保留。同时，为了减少计算量，仅对步骤三中识别的车牌区域进行特征点提取，再进一步筛选之后将保留的特征点作为车辆当前位置进行立体测量。

步骤五：对步骤四保留的匹配点对进行进一步筛选，然后利用双目立体视觉系统测距的方法对筛选的匹配点进行剔除，保留位置最接近车牌中心的匹配点的坐标作为当前帧中目标车辆所处的位置。

为了提高匹配准确率并减少计算量，对保留的匹配点对进行进一步筛选。在左目相机视频帧中的车牌区域中取一个以该区域的中心点为圆心，以区域高度为直径的圆，而在对应的另一路视频对应帧中则以匹配区域中心为圆心取等大的圆形区域，将不同时包含在这两个圆内的匹配点剔除。如图10所示，其中实线连线的两对匹配点分别在圆形区域范围之内且正确匹配，将其保留，而虚线连接的匹配点在右侧车牌中并未在相应的圆形区域之中，因而将其剔除。最后再选取最靠近车牌中心点实线表示的匹配点作为立体检测的目标位置。

经过了对不在目标范围内的特征点对的消除，为了进一步消除由于图像特征点提取和匹配过程存在的匹配不准确而引起的立体测量计算误差。在这里，利用双目立体视觉系统测距，分别计算所有N个匹配位置的距离d_i，平均值μ和标准差σ，并计算出每个点的Z分数Z_i:

将Z分数Z_i绝对值大于1的m1个点(即不准确的匹配点)剔除，并将余下的N-m1个的点中位置最接近车牌中心的一点i的坐标作为当前帧中目标车辆所处位置P_i。

步骤六：利用双目立体视觉系统对筛选后的匹配点对进行立体测量，获取空间坐标下车辆在每一帧中的位置，按照时间顺序即可获取车辆运行的轨迹。

假设时间t₁时车辆位置为P₁＝(x₁,y₁,z₁)，时间t₂时车辆位置为P₂＝(x₂,y₂,z₂)，时间t₃时车辆位置为P₃＝(x₃,y₃,z₃)等，根据时间先后顺序即可获得车辆的三维运行轨迹。再根据两点坐标的差值即可计算出两点间车辆运动的方向向量：

为了便于观测和计算车辆在水平面的转向情况，将车辆运行3D轨迹投影到XOY平面，即去掉垂直坐标，如图11所示，其中α'，β'分别表示车辆从第1点运行到第2点以及从第2点运行到第3点的方向向量在XOY平面上的投影。由向量关系可知：

其中，ε1表示车辆转向的角度，当ε1＝0时，表示车辆在两端运行过程中没有转向，当ε1>0时，表示车辆向左转向，当ε1<0时，则表示车辆向右转向。

仿真实验

在实地实验中，设计了三种车辆运动条件用以检测本发明的有效性，分别是：直线运动、转弯运动和多车辆同时通过测量区域，一共进行了4组实验：1.一辆车由远及近匀速直线行驶。2、一辆车由远及近匀速转向行驶。3、两车从不同的方向相向而行，各自匀速行驶。以车辆自身的车速表为参考进行驾驶，同时，使用了P-Gear P-510卫星测速仪的测轨迹结果作为车辆轨迹真实值进行对比。该设备利用GPS+GLONASS双卫星定位系统的数据进行测速，通过蓝牙4.0芯片与手机通信，10HZ高频GPS数据交换以保证测量精度，其测量误差为2％。设备通过手机app显示实时数据并记录每次测试的运行轨迹。

第一组实验：

车辆以匀速沿直线行驶。双目立体视觉系统设备架设在车道右侧，与车道保持约20度的夹角。在拍摄期间，车辆保持直线运动，拍摄设备位置和角度保持不变。拍摄视频分辨率为1288×964，帧率为30f/s。对两路视频进行车牌目标检测。

由图12可见，当目标车辆位于15米距离时，车牌目标较小，而当车辆位于1米距离时如图13所示，由于车速较快出现了车牌模糊的现象，但是在两种情况下SSD神经网络都很好地完成了车牌检测、定位的工作，实验证明双目立体视觉在1-15米范围内可以实现100％的车牌检测，因而在后面的各组实验中都主要在这一区间内进行测轨迹的实验。接下来对左目相机采集图像中车牌进行各自匹配，同时对左右目对应帧车牌进行匹配，提取匹配点。图14是对左右目对应视频帧车牌区域匹配的示意图，(a)为左目视频图像，(b)为右目视频图像。利用步骤五中方法进行匹配点筛选之后，以每3帧为一个时间节点计算车辆转弯状态，即每秒测量10次，并绘制转向表如表1所示。

表1：匀速直线实验转向角度测量结果

编号	1	2	3	4	5
						角度	-0.43	1.16	-1.24	1.15	-1.04
编号	6	7	8	9	10
						角度	1.75	0.44	-0.89	-0.89	-0.62

图15中(a)为车辆运行轨迹的三维重建，(b)为XOY平面上的轨迹投影，由这两张图可知车辆在测量过程中保持了直线行驶。而由表1可见，由于在实际行驶中存在路面不平坦等实际问题，车辆出现轻微的转向，测量最大转向角度只有1.75度，但整体运行保持了直线行驶。由上述实验可见本发明在车辆匀速直线运动的情况下有较好的测轨迹能力。

第二组实验：

以车辆速度表为参照，驾驶车辆从停止状态逐步加速至30km/h的速度，之后保持匀速运行。当车辆到达起点位置(距离双目立体视觉系统20米)时开始拍摄。同时，车辆按逆时针绕行环岛，从起步时开始向左侧转向，之后保持直行然后再向右转。该组实验从车辆起步时开始使用双目立体视觉系统进行拍摄，直到车辆离开拍摄区域为止。双目立体视觉系统架设在环岛南侧出口的车道右侧，面向北方偏东方向，以使其视野覆盖环岛西侧路段。拍摄期间设备位置和角度保持不变。部分拍摄画面截图及检测结果如图16所示，每3帧取1帧，经过对车牌的检测以及对特征点的提取和匹配，并绘制轨迹图表如图17所示。

经过对车牌的检测以及对特征点的提取和匹配，进行车辆运行轨迹测量。图18中的(a)所示是由卫星测速设备记录的车辆运行轨迹图，其中以上方为北侧，线条表示车辆运行轨迹，点表示相机架设位置。线条上方点为起点，下方点为终点，线条位于相机架设点以南的位置已经离开设备拍摄范围。其中用五角星代表当前帧中车牌中心点的三维空间位置，其中左上角的点是起点，右下角为终点。由图18中的(b)可见，车辆运行轨迹与卫星记录轨迹基本吻合。

表2：转向角度测量结果

编号	1	2	3	4	5	6
							角度	4.301	2.937	0.881	1.285	0.567	0.201
编号	7	8	9	10	11	12
							角度	1.574	0.525	-1.581	-0.239	-6.405	-5.099

表2为车辆转向角度测量结果。当ε＝0表示车辆在两端运行过程中没有转向，当ε＞0，表示车辆向左转向，当ε＜0，则表示车辆向右转向。由图18和表2可见，车辆首先向左方向转向4.2度，随后继续左转但角度逐渐变小，直至直行，而后向右转向，最大转向处为向右侧转向6.2度，并保持右转直至离开拍摄视野。与卫星轨迹记录相比较可见，本发明测转向效果稳定可靠。

第三组实验：

两辆车相向行驶，双目立体视觉系统架设在两车道中间，左侧车辆由远及近，右侧车辆由近及远。以车辆速度表为参照，驾驶两辆车各自以最高30km/h的速度直线行驶，如图19所示。两辆车中各自架设一部卫星测速设备，利用其结果作为对比。之后对车辆运行轨迹进行重建，其结果如图20所示。由图20可知两车相向行驶，基本保持直线行驶且相互平行，符合实验设计中的路线情况。

由上述仿真实验可以验证，双目立体视觉系统在实际车轨迹测量应用中有较好的稳定性和可靠性。相比于传统测轨迹方式，双目立体视觉系统具有智能化程度高、可扩展能力强，可以独立完成视频采集、车辆识别、轨迹检测等功能，无需其它设备的辅助；双目立体测距技术属于被动型测距，即双目立体视觉系统不主动辐射任何信号或射线，更加的安全、低能耗且不会影响人体健康或对其他电子设备产生干扰；无需限制安放角度，无需垂直或者平行于目标物体的运行方向，易于安装调试；可以实现多车道、多目标、多方向车辆的同时测量。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于双目立体视觉系统的车辆智能测轨迹方法，其特征在于，其步骤如下：

步骤一：将带有车牌的图像组成的数据集输入SSD神经网络，车牌作为检测特征对SSD神经网络进行训练得到车牌识别模型；

步骤二：将双目立体视觉系统架设在车道右侧、中间或上方，对双目立体视觉系统进行标定获取两部相机的自身参数和外部参数；利用标定后的双目立体视觉系统拍摄运动的目标车辆的视频；

步骤三：利用步骤一训练好的车牌识别模型对步骤二获取的视频帧进行车牌检测，定位出目标车辆的车牌位置；

步骤四：利用基于特征的匹配算法对同一相机的前后帧图像中车牌位置进行特征点提取和立体匹配，通过单应性矩阵过滤后保留正确的匹配点；利用基于特征的匹配算法对双目立体视觉系统左右路对应视频帧中的对应车牌进行特征点提取和立体匹配，利用单应性矩阵过滤后将正确的匹配点进行保留；

步骤五：利用双目立体视觉系统测距的方法对步骤四过滤后的匹配点进行进一步筛选，保留位置最接近车牌中心的匹配点的坐标作为当前帧中目标车辆所处的位置；

步骤六：利用双目立体视觉系统对筛选后的匹配点对进行立体测量，获取视频帧中车辆空间坐标下的位置，按时间顺序生成车辆的运行轨迹；

所述步骤二中对双目立体视觉系统进行标定的方法是：利用张正友标定法对两部相机进行标定，获取两部相机各自的光心坐标、焦距、尺度因子和/或镜头畸变的参数；获取两部相机自身参数后再利用张正友标定法对双目立体视觉系统进行标定，以左目相机为基准，通过标定获取右目相机相对左目相机的位移以及旋转角度；

利用张正友标定法对双目立体视觉系统进行标定的方法为：以左目相机为主相机，经过张正友标定法标定操作获取右目相机的相对平移向量T1＝(l,m,n)^T、相对旋转向量V＝(α,β,γ)^T的外参数及两部相机自身的焦距、光轴角度、畸变的内参数；l,m,n分别表示右目相机相对于左目相机在x、y、z三个方向上的平移距离，α,β,γ分别表示右目相机相对于左目相机绕x、y、z三个轴的旋转角度；

相机外参数及双目立体视觉系统的会聚点为：

其中，B为两目相机的基线长度，ε表示两部相机光轴之间的夹角；

建立目标夹角的变换模型，同一空间点在两部相机内的成像点分别称为左对应点和右对应点，左对应点和右对应点分别为左目相机、右目相机的光轴与各自图像平面的交点；a’、b’分别为左对应点、右对应点和会聚点在图像坐标系的u方向上像素的差值，且：若左对应点或右对应点在会聚点左边，则差值<0，反之差值>0；

光轴垂直于各自的图像平面，光心到目标点的连线称为对应周，对应周与光轴的夹角a、b的计算公式为：

其中，f_l、f_r分别表示左目相机和右目相机的焦距；

当目标处于区域I中时，目标夹角c表示为：

设目标点P位于区域I的世界坐标为(x，y，z)，建立目标点P的深度计算模型，则：

联立可得

通过目标点P的深度计算模型计算x的世界坐标：

同理可得z的世界坐标：

根据左对应点和右对应点在图像坐标系的关系及图像坐标系与世界坐标系的关系可以得到y的世界坐标；得到目标点P的世界坐标为：

其中，v′表示目标点在图像坐标系的纵向上到图像中心点的像素差值，f_l则是左目相机的焦距；同理，可得到目标点处于区域II、区域III和区域IV的世界坐标。

2.根据权利要求1所述的基于双目立体视觉系统的车辆智能测轨迹方法，其特征在于，所述步骤一中的SSD神经网络是在经典SSD神经网络的基础上，去除了卷积层conv11_2，采用conv4_3、conv7、conv8_2、conv9_2和conv10_2，将卷积层conv4_3、conv7、conv8_2、conv9_2和conv10_2提取的不同尺度的特征信息进行融合并输入到分类器中，以卷积层输出的特征图预测车牌的位置。

3.根据权利要求1或2所述的基于双目立体视觉系统的车辆智能测轨迹方法，其特征在于，所述步骤一中包括自行拍摄的1000张车辆车牌图像，并结合北京理工大学提供的BIT-Vehicle数据集、广东省智能交通系统重点实验室主持的OpenITS研究计划提供的车牌公开数据库形成11000幅图像的数据集。

4.根据权利要求1所述的基于双目立体视觉系统的车辆智能测轨迹方法，其特征在于，所述双目立体视觉系统包括两部相机和上位机，两部相机均采用flea2工业摄像机，两部相机分别为左目相机和右目相机，左目相机和右目相机均与上位机相连接。

5.根据权利要求1所述的基于双目立体视觉系统的车辆智能测轨迹方法，其特征在于，所述基于特征的匹配算法为SURF特征提取和匹配算法，利用SURF描述子对视频图像的局部特征进行描述；所述单应性矩阵过滤描述针对同一事物在不同的视角下拍摄的两幅图像之间的关系：假设两幅图像之间是透视变换，则单应性矩阵H为：

则有

其中，x′、y′、1及x、y、1分别表示透视变换前后两个对应点的坐标，h_11-32则为需要求得的变换参数；

要计算出单应性矩阵H中的8个变换参数h_11-32，需要至少4对匹配点，过程如下：

每次从所有的匹配点中选出4对，计算单应性矩阵H，然后选出准确匹配点个数最多的作为最为准确的单应性矩阵H；为了校验H矩阵的准确性，计算对应匹配点之间的欧式距离：

其中，x′_i1、y′_i1、1及x_i1、y_i1、1分别表示透视变换前后匹配点的坐标，t为欧氏距离阈值，i1＝1,2,3,4；欧氏距离越小表明两个对应匹配点的匹配准确度越高。

6.根据权利要求1或5所述的基于双目立体视觉系统的车辆智能测轨迹方法，其特征在于，所述步骤五中筛选的方法为：在左目相机的视频帧中的车牌区域中取一个以该区域的中心点为圆心、以区域高度为直径的圆，而在对应的右目相机的视频对应帧中以匹配区域中心为圆心取等大的圆形区域，将不同时包含在这两个圆内的匹配点剔除。

7.根据权利要求1或5所述的基于双目立体视觉系统的车辆智能测轨迹方法，其特征在于，所述步骤五中双目立体视觉系统测距的方法为：分别计算所有N个匹配点的距离d_i、平均值μ和标准差σ，并计算出每个匹配点的Z分数Z_i：

将Z分数Z_i绝对值大于1的m1个匹配点剔除，并将余下的N-m1个的匹配点中位置最接近车牌中心的匹配点i的坐标作为当前帧中目标车辆所处位置P_i。

8.根据权利要求6所述的基于双目立体视觉系统的车辆智能测轨迹方法，其特征在于，所述步骤六中利用双目立体视觉系统对筛选后的匹配点对进行立体测量，获得时间t₁时目标车辆的位置为P₁＝(x₁,y₁,z₁)，时间t₂时目标车辆的位置为P₂＝(x₂,y₂,z₂)，时间t₃时车辆位置为P₃＝(x₃,y₃,z₃)，以此类推；根据时间顺序即可获得车辆运行的轨迹及转向信息；根据两点坐标的差值计算出两点间车辆运动的方向向量：

α1＝((x₂-x₁),(y₂-y₁),(z₂-z₁))

β1＝((x₃-x₂),(y₃-y₂),(z₃-z₂))；

将车辆运行3D轨迹投影到XOY平面，得到向量关系：

其中，ε1表示车辆转向的角度，ε1＝0表示车辆在两端运行过程中没有转向，ε1>0表示车辆向左转向，ε1<0则表示车辆向右转向。

Images