CN108877269A - 一种交叉路口车辆状态检测及v2x广播方法 - Google Patents

Abstract

本发明涉及一种交叉路口车辆状态检测及V2X广播方法，属于智能交通技术领域。包括：搭建系统平台后对系统进行初始化及图像标定；然后，通过车牌号识别和跟踪相结合的方法，分别对各个摄像机采集的图像进行处理，得到单摄像机图像中车辆的车牌号、坐标、速度、时间；接着，在交叉路口车辆全局信息列表中，更新摄像机n第i帧的信息，同时采用卡尔曼滤波算法估计并更新其它摄像机中车辆的状态，从而得到交叉路口所有车辆在同一时刻的车牌号、坐标、速度、时间；最后，通过V2X路侧设备，将车辆全局信息广播给交叉路口范围内的车辆。本发明实现了可视条件下的交叉路口车辆状态检测及V2X广播，为交叉路口智能车辆的通行决策提供数据支撑。

Description

一种交叉路口车辆状态检测及V2X广播方法

技术领域

本发明属于智能交通技术领域，特别涉及一种交叉路口车辆状态检测及V2X广播方法。

背景技术

V2X(Vehicle-to-Everything)是指车辆与外界的信息交换，包括V2V(Vehicle-to-Vehicle，车车通讯)、V2I(Vehicle-to-Instruction，车路通讯)、V2P(Vehicle-to-Pedestrian，车行人通讯)等。

自动驾驶汽车已成为当前汽车产业的发展趋势，现有的自动驾驶汽车环境感知技术只能实现一定场景下的环境感知，例如高速公路、封闭园区等。但是对于复杂交通场景，特别是城市交叉路口，目前仅仅依靠自动驾驶汽车自身的环境感知系统还无法准确感知交叉路口范围内所有车辆的状态，从而降低交叉路口通行效率，甚至造成交通事故。所以，十分需要一种能够在路侧对交叉路口范围内的车辆进行检测，并将检测结果通过V2X设备广播给交叉路口车辆的方法。

以上需求主要包括基于视觉的交叉路口车辆状态检测、交叉路口多摄像机信息拼接、交叉路口车辆状态广播及应用等三个部分，下面分别介绍这三个部分的现状。

在已有的基于视觉的交叉路口车辆状态检测方法中，有的方法专注于提高车辆状态检测的准确率，采用了相对复杂的图像识别算法，但是在提高检测正确率的同时降低了检测的实时性；有的方法对每帧图像均采用车牌识别方法，计算量大且实时性不高；有的方法跟踪车辆轨迹，虽然计算效率较高，但是未将车辆跟踪和车辆识别进行有机结合，从而缺少车牌号和车辆轨迹的一一对应；而有的方法仅采用单个摄像机检测车辆状态，从而无法检测交叉路口范围内的全局车辆状态。

在已有的交叉路口多摄像机信息拼接方法中，有的方法在将多个摄像机计算结果拼接时，没有考虑因各个摄像机的采集时间不同步导致的车辆状态检测误差；有的车辆检测方法采用定制的摄像机环视产品，虽然可避免图像的拼接问题，但是价格较为昂贵。

在已有的基于交叉路口车辆状态广播及应用中，有的将交叉路口车辆状态应用于通行预警，但是有的方法在对不同摄像机的信息拼接时，没有采用轨迹预测的方法解决不同摄像机之间的时间不同步问题；有的只是在路侧进行预警，没有通过V2X设备将车辆状态和预警结果广播给相应车辆或车辆上的驾驶员。

综上所述，目前已有的方法各有优点和缺点，但是没有一种方法同时具备以下五个特点：(1)较低成本；(2)较好实时性；(3)较高准确率；(4)检测交叉路口全局车辆状态；(5)通过V2X将全局车辆状态广播给交叉路口车辆或车辆驾驶员。所以十分需要一种交叉路口车辆状态检测及V2X广播方法能够同时具备以上五个特点，从而为交叉路口的自动驾驶车辆或车辆驾驶员的通行决策提供数据支撑。

发明内容

本发明的目的是针对上述需求，提出一种交叉路口车辆状态检测及V2X广播方法，以期为交叉路口的车辆决策提供数据支撑。

为了实现上述目的，本发明采用如下技术方案：

一种交叉路口车辆状态检测及V2X广播方法，其特征在于，包括交叉路口车辆状态检测和V2X广播两部分；

1)交叉路口车辆状态检测，包括以下步骤：

1-1)系统平台搭建，包括摄像机安装、路侧服务器安装和V2X设备安装三个部分：

1-1-1)摄像机安装

在交叉路口每个车道上方的来车方向安装一台摄相机，即摄像机个数N为车道个数；保证所有摄像机覆盖包含交叉路口的所有区域；

1-1-2)路侧服务器安装

在交叉路口的路侧安装一台与各摄像机连接的服务器，该服务器用于接收所有摄像机采集的图像、处理包含图像在内的所有数据并最终得到交叉路口车辆全局列表；

1-1-3)V2X设备安装

在交叉路口的路侧安装V2X路侧设备，用于发送由路侧服务器得到的交叉路口全局车辆状态列表；同时在车上安装接收终端，用于接收交叉路口全局车辆状态列表；

1-2)初始化及图像标定：

1-2-1)分别生成初始单摄像机车辆状态列表、单摄像机车辆状态列表和交叉路口全局车辆状态列表各一个，各列表中均包含每帧图像所对应的各车辆的车牌号、车辆坐标、车辆速度以及图像采集时间；初始化各列表，初始值均为0；

1-2-2)图像标定：初始化开始之前在各摄像机n视野范围内放置一块标定板，初始化结束后撤走标定板，n＝1,2,…,N；路侧服务器控制各摄像机分别采集一张图像，通过鱼眼图像校正算法将各摄像机采集到的存在畸变的图像校正为符合人们视觉习惯的无畸变图像；对各摄像机视野范围内标定板的实际尺寸与矫正后图像中标定板图像的像素个数进行比较，得到相邻两个像素点距离和标定板尺寸的比例关系k_n；将以无畸变图像中标定板的左上角为原点的笛卡尔直角坐标系记为摄像机坐标系，以像素点个数乘以比例关系k_n得到无畸变图像中每个像素点在摄像机坐标系的坐标；

1-3)路侧服务器以频率f₁触发摄像机图像采集指令，各摄像机n在接收到摄像机图像采集指令后独立执行步骤1-4)～步骤1-13)：

1-4)图像采集：摄像机n以频率f₁采集当前帧交叉路口相应车道上的图像，并将采集后的包含当前帧图像时间n_t_i的当前帧图像信息传输至路侧服务器；

1-5)图像校正：路侧服务器通过鱼眼图像校正算法将摄像机n采集到的存在畸变的图像校正为符合人们视觉习惯的无畸变图像；

1-6)图像可用性判断：设定图像可用性判断阈值；从摄像机n采集到的第2帧图像开始，判断校正后的当前帧与上一帧图像在摄像机坐标系的图像重复率，如果图像重复率大于设定的图像可用性判断阈值，则图像可用，执行步骤1-7)；如果图像重复率小于等于设定的图像可用性判断阈值，则图像不可用，返回步骤1-3)，等待路侧服务器发送下一个图像采集指令；

1-7)图像帧数判断：设定图像帧数阈值m；如果摄像机n采集到的当前帧图像的帧数i小于设定的图像帧数阈值m，则执行步骤1-8)；如果摄像机n采集到的当前帧图像的帧数i大于等于设定的图像帧数阈值m，则执行步骤1-9)；

1-8)车辆识别，包括如下步骤：

1-8-1)通过常规车牌识别算法进行车牌识别，得到当前第i帧图像中每个车辆的车牌号n_p_i以及车辆在摄像机坐标系上的车辆坐标n_x_py_p_i，p表示当前帧图像中的车辆序号，p＝0,1,2,…,q；

1-8-2)采用当前帧与上一帧图像上该坐标的差值除以当前帧与上一帧图像采集时间的差值得到各车辆在当前帧图像的车辆速度n_v_p_i；

1-8-3)根据步骤1-8-1)得到的车牌号n_p_i和车辆坐标n_x_py_p_i、步骤1-8-2)得到的车辆速度1_v_p_i、以及步骤1-4)采集的图像时间n_t_i，生成一个当前帧图像i识别初始单摄像机车辆状态列表，该列表包含每帧图像所对应的各车辆的车牌号、车辆坐标、车辆速度以及图像采集时间；执行步骤1-11)；

1-9)图像匹配的判断：

1-9-1)根据第i-4帧到第i-1帧图像中每个车辆在摄像机坐标系上的坐标和车辆速度，采用卡尔曼滤波方法预测第i帧图像中每个车辆在摄像机坐标系上的坐标，记为预测坐标，统计预测坐标个数，即为车辆数；

1-9-2)对第i帧图像进行二值化后，采用高斯混合模型对图像中的背景建模并提取出图像前景，采用中值滤波去掉图像噪声，采用闭运算和开运算对去掉噪声的图像进行空洞填充，令每个空洞代表一个车辆，并将各个车辆几何中心在摄像机坐标系上的坐标记为跟踪坐标，统计跟踪坐标个数，即为车辆数；

1-9-3)车辆数匹配判断：如果跟踪坐标中的车辆数与预测坐标中的车辆个数不相等，则记为不匹配，执行步骤1-8)；如果跟踪坐标中的车辆数与预测坐标中的车辆个数相等，则进行预测坐标和跟踪坐标的进一步比较，如果任何一个预测坐标和跟踪坐标的最小距离大于2个空洞的长度，则记为不匹配，执行步骤1-8)；如果任何一个预测坐标和相应跟踪坐标的最小距离误差小于等于2个空洞的长度，则记为匹配，执行步骤1-10)；

1-10)车辆跟踪，包括如下步骤：

1-10-1)将步骤1-9-2)生成的跟踪坐标记为车辆在摄像机坐标系上的车辆坐标n_x_py_p_i，p表示每帧图像中的车辆序号，p＝0,1,2,…,q；

1-10-2)将上一帧图像确定的车牌号n_p_i-1作为当前帧图像的车牌号n_p_i；采用当前帧与上一帧图像上车辆坐标的差值除以当前帧与上一帧图像采集时间的差值得到各车辆在当前帧图像的车辆速度n_v_p_i；

1-10-3)根据步骤1-10-1)得到的车辆坐标n_x_py_p_i、步骤1-10-2)得到的车牌号1_p_i和车辆速度n_v_p_i、以及步骤1-4)采集的图像时间n_t_i，生成一个当前帧图像i跟踪初始单摄像机车辆状态列表；执行步骤1-11)；

1-11)采用步骤1-8-3)生成的识别初始单摄像机车辆状态列表，或步骤1-10-3)生成的跟踪初始单摄像机车辆状态列表更新初始单摄像机车辆状态列表；

1-12)坐标校正与坐标转换：采用透视变换的方法校正步骤1-11)中摄像机n第i帧图像的初始单摄像机车辆状态列表中的车辆坐标因车辆高度和摄像机视角导致的坐标误差；将以交叉路口中心为0点、北方为y轴的笛卡尔直角坐标系记为交叉路口坐标系，采用坐标转换的方法，将初始单摄像机车辆状态列表中经校正后的车辆坐标从摄像机坐标系转换到交叉路口坐标系，采用车辆坐标更新后的列表更新摄像机n第i帧图像的单摄像机车辆状态列表；

1-13)交叉路口全局车辆状态列表更新，包括如下步骤：

1-13-1)采用步骤1-12)得到的单摄像机车辆状态列表更新交叉路口全局车辆状态列表；

1-13-2)当图像帧数i>＝4时，从服务器存储的交叉路口全局车辆状态列表中得到其它摄像机前4帧图像中的车牌号、车辆坐标、车辆速度、采集时间，然后分别采用卡尔曼滤波预测其它各摄像机在交叉路口坐标系上的每个车牌号对应的车辆坐标、车辆车速，并采用步骤1-13-1)中的采集时间，生成一个其它摄像机在第i帧图像的车牌号、车辆坐标、车辆速度、采集时间；当图像帧数i<4时，不生成其它摄像机在第i帧图像的车牌号、车辆坐标、车辆速度、采集时间；

1-13-3)采用步骤1-13-2)得到的车牌号、车辆坐标、车辆速度、采集时间更新交叉路口全局车辆状态列表，进入步骤1-14)；

1-14)令i＝i+1，重复步骤1-4)～步骤1-13)，执行新一轮图像采集并更新交叉路口全局车辆状态列表；

2)V2X广播，包括如下步骤：

2-1)路侧服务器以频率f₂触发V2X路侧设备广播信号；

2-2)将收到V2X路侧设备广播信号之前最后一次更新的交叉路口全局车辆状态列表通过V2X路侧设备进行广播；

2-3)交叉路口范围内的车辆通过所安装的LTE-V、DSRC终端设备、或在驾驶员携带的智能移动终端接收交叉路口全局车辆状态列表，从而获知交叉路口范围内的车辆情况。

本发明特点及有益效果：一种交叉路口车辆状态检测及V2X广播方法同时具备以下五个特点：

(1)较低成本：由于系统所需硬件设备仅涉及单目摄像机、路侧服务器、V2X路侧设备，故系统的成本较低。

(2)较好实时性：由于采用了图像识别和图像跟踪相互结合的方法进行车辆状态检测，故系统具有较好的实时性；

(3)较高准确率：由于在不同摄像机结果拼接时采用轨迹预测的方法解决不同摄像机时间不同步的问题，故提高了交叉路口所有车辆状态检测的准确率；

(4)检测交叉路口全局车辆状态：可检测同一时刻交叉路口范围内的所有车辆状态，测量范围更广；

(5)通过V2X将全局车辆状态广播给交叉路口车辆或车辆驾驶员，能够在可视条件下为交叉路口的自动驾驶车辆或车辆驾驶员的通行决策提供数据支撑，从而提高交叉路口通行效率、降低交叉路口交通事故发生概率。

附图说明

图1是本发明实施例的一种交叉路口车辆状态检测及V2X广播方法所涉及的系统组成示意图。

图2是本发明实施例的一种交叉路口车辆状态检测及V2X广播方法的流程示意图。

具体实施方式

下面结合附图对本发明进一步说明。

本发明实施例的一种交叉路口车辆状态检测及V2X广播方法，包括交叉路口车辆状态检测和V2X广播两部分；

1)交叉路口车辆状态检测

参见图1，为本发明实施例的交叉路口车辆状态检测及V2X广播方法所涉及的系统组成示意图，以2台摄像机为例，本部分具体包括如下步骤：

1-1)系统平台搭建，包括摄像机安装、路侧服务器安装和V2X设备安装三个部分：

1-1-1)摄像机安装

在交叉路口每个车道上方的来车方向安装一台摄相机，即摄像机个数N(本实施例N＝2)为车道个数；各摄像机用于采集相应车道上的图像，相邻车道上摄相机采集的图像存在交集，保证所有摄像机覆盖包含交叉路口的所有区域。

1-1-2)路侧服务器安装

在交叉路口的路侧安装一台通过数据线与各摄像机连接的服务器，该服务器用于接收所有摄像机采集的图像、处理包含图像在内的所有数据并最终得到交叉路口车辆全局列表。

1-1-3)V2X设备安装

在交叉路口的路侧安装V2X路侧设备，用于发送由路侧服务器得到的交叉路口全局车辆状态列表；在车上安装V2X接收终端，用于接收交叉路口全局车辆状态列表，其中V2X路侧设备和接收终端可以根据实际情况选择安装LTE-V(Long Term Evolution–Vehicle，是指基于长期演进通信技术的一种专门针对车间通讯的协议，为现有技术)或DSRC(Dedicated Short Range Communications，即专用短程通信技术，是一种高效的无线通信技术，为现有技术)设备，或驾驶员在智能移动终端(如智能手机等)安装用于接收交叉路口全局车辆状态列表的第三方应用程序。

1-2)初始化及图像标定：

1-2-1)分别生成初始单摄像机车辆状态列表、单摄像机车辆状态列表和交叉路口全局车辆状态列表各一个，各列表中每列的值分别是车牌号、车辆坐标、车辆速度、采集时间，每行分别为各帧图像中的一个车辆与上述列对应的值；初始化各列表，初始值均为0；

1-2-2)图像标定：初始化开始之前在每个摄像机n视野范围内放置一块标定板，初始化结束后撤走标定板，n＝1,2,…,N。路侧服务器控制各摄像机分别采集一张图像，通过基于OpenCV(Open Source Computer Vision Library，是现有的一个基于开源发行的跨平台计算机视觉库)的鱼眼图像校正算法将各摄像机采集到的存在畸变的图像校正为符合人们视觉习惯的无畸变图像；对各摄像机视野范围内标定板的实际尺寸与矫正后图像中标定板图像的像素个数进行比较，得到相邻两个像素点距离和标定板尺寸(实际距离)的比例关系k_n(例如k_1表示摄像机1的比例关系)。将以无畸变图像中标定板的左上角为原点的笛卡尔直角坐标系记为摄像机坐标系，以像素点个数乘以比例关系k_n得到无畸变图像中每个像素点在摄像机坐标系的坐标。

1-3)路侧服务器以频率f₁(本实施例设定时钟频率f₁＝20Hz)触发摄像机图像采集指令，各摄像机n(本实施例为摄像机1和摄像机2)在接收到摄像机图像采集指令后独立按照图2(本图中仅示意除了含有两台摄像机的情况，对于其他个数摄像机的情况，可以此类推。图中所示“与”表示输出是所有输入的和；图中所示“或”表示输出是所有输入中的任意一个)所示工作流程执行步骤1-4)～步骤1-13)：

1-4)图像采集：摄像机n以频率f₁采集当前帧交叉路口相应车道上的图像(每帧图像内可包含多辆车辆)，并将采集后的包含当前帧图像时间n_t_i的当前帧图像信息通过数据线传输至路侧服务器。

1-5)图像校正：路侧服务器通过基于OpenCV的鱼眼图像校正算法将摄像机n采集到的存在畸变的图像校正为符合人们视觉习惯的无畸变图像。

1-6)图像可用性判断：设定图像可用性判断阈值；从摄像机n采集到的第2帧图像开始，判断校正后的当前帧与上一帧图像在摄像机坐标系的图像重复率，如果图像重复率大于设定的图像可用性判断阈值(本实施例该阈值为80％，大于阈值可以认为前后两帧图像是连续的)，则图像可用，执行步骤1-7)；如果图像重复率小于等于设定的图像可用性判断阈值，则图像不可用，返回步骤1-3)，等待路侧服务器发送下一个图像采集指令。

1-7)图像帧数判断：设定图像帧数阈值m(m为大于等于5且小于等于10的正整数)；如果摄像机n采集到的当前帧图像的帧数i小于设定的图像帧数阈值m，则执行步骤1-8)；如果摄像机n采集到的当前帧图像的帧数i大于等于设定的图像帧数阈值m，则执行步骤1-9)。

1-8)车辆识别：用于识别图像中每辆汽车的车牌号、坐标、速度、采集时间，步骤如下：

1-8-1)路侧服务器用基于OpenCV的车牌识别算法进行车牌识别，得到当前第i帧图像中每个车辆的车牌号n_p_i以及车辆(几何中心)在摄像机坐标系上的车辆坐标n_x_py_p_i，p表示当前帧图像中的车辆序号，p＝0,1,2,…,q；

1-8-2)采用当前帧与上一帧图像上该坐标的差值除以当前帧与上一帧图像采集时间的差值得到各车辆在当前帧图像的车辆速度n_v_p_i；

1-8-3)根据步骤1-8-1)得到的车牌号n_p_i和车辆坐标n_x_py_p_i、步骤1-8-2)得到的车辆速度1_v_p_i、以及步骤1-4)采集的图像时间n_t_i，生成一个当前帧图像i识别初始单摄像机车辆状态列表，其中每列的值分别是车牌号、车辆坐标、车辆速度、采集时间，每行分别为每帧图像中的一个车辆对应的值；执行步骤1-11)。

1-9)图像匹配的判断：

1-9-1)根据第i-4帧到第i-1帧图像中每个车辆在摄像机坐标系上的坐标和车辆速度，采用卡尔曼滤波方法预测第i帧图像中每个车辆在摄像机坐标系上的坐标，记为预测坐标，统计预测坐标个数，即为车辆数；

1-9-2)对第i帧图像进行二值化后，采用高斯混合模型对图像中的背景建模并提取出图像前景，采用中值滤波去掉图像噪声，采用闭运算和开运算对去掉噪声的图像进行空洞(Blob)填充，令每个空洞(Blob)代表一个车辆，即每个Blob的长度代表相应车辆的车身距离，并将各个车辆几何中心在摄像机坐标系上的坐标记为跟踪坐标，统计跟踪坐标个数，即为车辆数。

1-9-3)车辆数匹配判断：如果跟踪坐标中的车辆数与预测坐标中的车辆个数不相等，则记为不匹配，执行步骤1-8)。如果跟踪坐标中的车辆数与预测坐标中的车辆个数相等，则进行预测坐标和跟踪坐标的进一步比较，如果任何一个预测坐标和跟踪坐标的最小距离大于2个Blob的长度，则记为不匹配，执行步骤1-8)；如果任何一个预测坐标和相应跟踪坐标的最小距离误差小于等于2个Blob的长度，则记为匹配，执行步骤1-10)。

1-10)车辆跟踪：用于跟踪图像中每辆汽车的车牌号、车辆坐标、车辆速度、采集时间，步骤如下：

1-10-1)将步骤1-9-2)生成的跟踪坐标记为车辆在摄像机坐标系上的车辆坐标n_x_py_p_i，p表示每帧图像中的车辆序号，p＝0,1,2,…,q；

1-10-2)将上一帧图像确定的车牌号n_p_i-1作为当前帧图像的车牌号n_p_i；采用当前帧与上一帧图像上车辆坐标的差值除以当前帧与上一帧图像采集时间的差值得到各车辆在当前帧图像的车辆速度n_v_p_i；

1-10-3)根据步骤1-10-1)得到的车辆坐标n_x_py_p_i、步骤1-10-2)得到的车牌号1_p_i和车辆速度n_v_p_i、以及步骤1-4)采集的图像时间n_t_i，生成一个当前帧图像i跟踪初始单摄像机车辆状态列表，其中每列的值分别是车牌号、车辆坐标、车辆速度、采集时间，每行分别为每帧图像中的一个车辆对应的值；执行步骤1-11)。

1-11)采用步骤1-8-3)生成的识别初始单摄像机车辆状态列表，或步骤1-10-3)生成的跟踪初始单摄像机车辆状态列表更新初始单摄像机车辆状态列表。

1-12)坐标校正与坐标转换：采用透视变换的方法校正步骤1-11)中摄像机n第i帧图像的初始单摄像机车辆状态列表中的车辆坐标因车辆高度和摄像机视角导致的坐标误差。将以交叉路口中心为0点、北方为y轴的笛卡尔直角坐标系记为交叉路口坐标系，采用坐标转换的方法，将初始单摄像机车辆状态列表中经校正后的车辆坐标从摄像机坐标系转换到交叉路口坐标系，采用车辆坐标更新后的列表更新摄像机n第i帧图像的单摄像机车辆状态列表。

1-13)交叉路口全局车辆状态列表更新：结合卡尔曼滤波预测除自身摄像机之外的其余摄像机的单摄像机车辆状态列表；将步骤1-8-3)得到的识别初始单摄像机车辆状态列表或步骤1-10-3)得到的跟踪初始单摄像机车辆状态列表更新交叉路口全局车辆状态列表，从而得到摄像机n的交叉路口范围内车辆的车牌号、车辆坐标、车辆速度、采集时间，具体包括以下步骤：

1-13-1)采用步骤1-12)得到的单摄像机车辆状态列表更新交叉路口全局车辆状态列表。

1-13-2)当图像帧数i>＝4时，从服务器存储的交叉路口全局车辆状态列表中得到其它摄像机前4帧图像中的车牌号、车辆坐标、车辆速度、采集时间，然后分别采用卡尔曼滤波预测其它各摄像机在交叉路口坐标系上的每个车牌号对应的车辆坐标、车辆车速，并采用步骤1-13-1)中的采集时间，生成一个其它摄像机在第i帧图像的车牌号、车辆坐标、车辆速度、采集时间；当图像帧数i<4时，不生成其它摄像机在第i帧图像的车牌号、车辆坐标、车辆速度、采集时间；

1-13-3)采用步骤1-13-2)得到的车牌号、车辆坐标、车辆速度、采集时间更新交叉路口全局车辆状态列表，进入步骤1-14)。

1-14)令i＝i+1，重复步骤1-4)～步骤1-13)，执行新一轮图像采集并更新交叉路口全局车辆状态列表。

2)V2X广播，具体步骤如下：

2-1)路侧服务器以频率f₂(本实施例设定时钟频率f₂＝20Hz)触发V2X路侧设备广播信号(V2X路侧设备广播触发频率f₂与摄像机图像采集触发频率f₁可以同步或不同步，两者相互独立)；

2-2)将收到V2X路侧设备广播信号之前最后一次更新的交叉路口全局车辆状态列表(即通过步骤1-13-3)更新的交叉路口全局车辆状态列表)通过V2X路侧设备进行广播；

2-3)交叉路口范围内的车辆通过所安装的LTE-V设备、DSRC设备、或在驾驶员携带的智能移动终端上安装的用于接收交叉路口全局车辆状态列表的第三方应用程序接收交叉路口全局车辆状态列表，从而获知交叉路口范围内的车辆情况，为交叉路口车辆通行决策提供数据支撑。

以上所述方案例只是对本发明的优先实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的变形和改进，均应落入本发明的权利要求书确定的保护范围内。

Claims (1)

1.一种交叉路口车辆状态检测及V2X广播方法，其特征在于，包括交叉路口车辆状态检测和V2X广播两部分；

1)交叉路口车辆状态检测，包括以下步骤：

1-1)系统平台搭建，包括摄像机安装、路侧服务器安装和V2X设备安装三个部分：

1-1-1)摄像机安装

在交叉路口每个车道上方的来车方向安装一台摄相机，即摄像机个数N为车道个数；保证所有摄像机覆盖包含交叉路口的所有区域；

1-1-2)路侧服务器安装

在交叉路口的路侧安装一台与各摄像机连接的服务器，该服务器用于接收所有摄像机采集的图像、处理包含图像在内的所有数据并最终得到交叉路口车辆全局列表；

1-1-3)V2X设备安装

在交叉路口的路侧安装V2X路侧设备，用于发送由路侧服务器得到的交叉路口全局车辆状态列表；同时在车上安装接收终端，用于接收交叉路口全局车辆状态列表；

1-2)初始化及图像标定：

1-2-1)分别生成初始单摄像机车辆状态列表、单摄像机车辆状态列表和交叉路口全局车辆状态列表各一个，各列表中均包含每帧图像所对应的各车辆的车牌号、车辆坐标、车辆速度以及图像采集时间；初始化各列表，初始值均为0；

1-2-2)图像标定：初始化开始之前在各摄像机n视野范围内放置一块标定板，初始化结束后撤走标定板，n＝1,2,…,N；路侧服务器控制各摄像机分别采集一张图像，通过鱼眼图像校正算法将各摄像机采集到的存在畸变的图像校正为符合人们视觉习惯的无畸变图像；对各摄像机视野范围内标定板的实际尺寸与矫正后图像中标定板图像的像素个数进行比较，得到相邻两个像素点距离和标定板尺寸的比例关系k_n；将以无畸变图像中标定板的左上角为原点的笛卡尔直角坐标系记为摄像机坐标系，以像素点个数乘以比例关系k_n得到无畸变图像中每个像素点在摄像机坐标系的坐标；

1-3)路侧服务器以频率f₁触发摄像机图像采集指令，各摄像机n在接收到摄像机图像采集指令后独立执行步骤1-4)～步骤1-13)：

1-4)图像采集：摄像机n以频率f₁采集当前帧交叉路口相应车道上的图像，并将采集后的包含当前帧图像时间n_t_i的当前帧图像信息传输至路侧服务器；

1-5)图像校正：路侧服务器通过鱼眼图像校正算法将摄像机n采集到的存在畸变的图像校正为符合人们视觉习惯的无畸变图像；

1-6)图像可用性判断：设定图像可用性判断阈值；从摄像机n采集到的第2帧图像开始，判断校正后的当前帧与上一帧图像在摄像机坐标系的图像重复率，如果图像重复率大于设定的图像可用性判断阈值，则图像可用，执行步骤1-7)；如果图像重复率小于等于设定的图像可用性判断阈值，则图像不可用，返回步骤1-3)，等待路侧服务器发送下一个图像采集指令；

1-7)图像帧数判断：设定图像帧数阈值m；如果摄像机n采集到的当前帧图像的帧数i小于设定的图像帧数阈值m，则执行步骤1-8)；如果摄像机n采集到的当前帧图像的帧数i大于等于设定的图像帧数阈值m，则执行步骤1-9)；

1-8)车辆识别，包括如下步骤：

1-8-1)通过常规车牌识别算法进行车牌识别，得到当前第i帧图像中每个车辆的车牌号n_p_i以及车辆在摄像机坐标系上的车辆坐标n_x_py_p_i，p表示当前帧图像中的车辆序号，p＝0,1,2,…,q；

1-8-2)采用当前帧与上一帧图像上该坐标的差值除以当前帧与上一帧图像采集时间的差值得到各车辆在当前帧图像的车辆速度n_v_p_i；

1-8-3)根据步骤1-8-1)得到的车牌号n_p_i和车辆坐标n_x_py_p_i、步骤1-8-2)得到的车辆速度1_v_p_i、以及步骤1-4)采集的图像时间n_t_i，生成一个当前帧图像i识别初始单摄像机车辆状态列表，该列表包含每帧图像所对应的各车辆的车牌号、车辆坐标、车辆速度以及图像采集时间；执行步骤1-11)；

1-9)图像匹配的判断：

1-9-1)根据第i-4帧到第i-1帧图像中每个车辆在摄像机坐标系上的坐标和车辆速度，采用卡尔曼滤波方法预测第i帧图像中每个车辆在摄像机坐标系上的坐标，记为预测坐标，统计预测坐标个数，即为车辆数；

1-9-2)对第i帧图像进行二值化后，采用高斯混合模型对图像中的背景建模并提取出图像前景，采用中值滤波去掉图像噪声，采用闭运算和开运算对去掉噪声的图像进行空洞填充，令每个空洞代表一个车辆，并将各个车辆几何中心在摄像机坐标系上的坐标记为跟踪坐标，统计跟踪坐标个数，即为车辆数；

1-9-3)车辆数匹配判断：如果跟踪坐标中的车辆数与预测坐标中的车辆个数不相等，则记为不匹配，执行步骤1-8)；如果跟踪坐标中的车辆数与预测坐标中的车辆个数相等，则进行预测坐标和跟踪坐标的进一步比较，如果任何一个预测坐标和跟踪坐标的最小距离大于2个空洞的长度，则记为不匹配，执行步骤1-8)；如果任何一个预测坐标和相应跟踪坐标的最小距离误差小于等于2个空洞的长度，则记为匹配，执行步骤1-10)；

1-10)车辆跟踪，包括如下步骤：

1-10-1)将步骤1-9-2)生成的跟踪坐标记为车辆在摄像机坐标系上的车辆坐标n_x_py_p_i，p表示每帧图像中的车辆序号，p＝0,1,2,…,q；

1-10-2)将上一帧图像确定的车牌号n_p_i-1作为当前帧图像的车牌号n_p_i；采用当前帧与上一帧图像上车辆坐标的差值除以当前帧与上一帧图像采集时间的差值得到各车辆在当前帧图像的车辆速度n_v_p_i；

1-10-3)根据步骤1-10-1)得到的车辆坐标n_x_py_p_i、步骤1-10-2)得到的车牌号1_p_i和车辆速度n_v_p_i、以及步骤1-4)采集的图像时间n_t_i，生成一个当前帧图像i跟踪初始单摄像机车辆状态列表；执行步骤1-11)；

1-11)采用步骤1-8-3)生成的识别初始单摄像机车辆状态列表，或步骤1-10-3)生成的跟踪初始单摄像机车辆状态列表更新初始单摄像机车辆状态列表；

1-12)坐标校正与坐标转换：采用透视变换的方法校正步骤1-11)中摄像机n第i帧图像的初始单摄像机车辆状态列表中的车辆坐标因车辆高度和摄像机视角导致的坐标误差；将以交叉路口中心为0点、北方为y轴的笛卡尔直角坐标系记为交叉路口坐标系，采用坐标转换的方法，将初始单摄像机车辆状态列表中经校正后的车辆坐标从摄像机坐标系转换到交叉路口坐标系，采用车辆坐标更新后的列表更新摄像机n第i帧图像的单摄像机车辆状态列表；

1-13)交叉路口全局车辆状态列表更新，包括如下步骤：

1-13-1)采用步骤1-12)得到的单摄像机车辆状态列表更新交叉路口全局车辆状态列表；

1-13-2)当图像帧数i>＝4时，从服务器存储的交叉路口全局车辆状态列表中得到其它摄像机前4帧图像中的车牌号、车辆坐标、车辆速度、采集时间，然后分别采用卡尔曼滤波预测其它各摄像机在交叉路口坐标系上的每个车牌号对应的车辆坐标、车辆车速，并采用步骤1-13-1)中的采集时间，生成一个其它摄像机在第i帧图像的车牌号、车辆坐标、车辆速度、采集时间；当图像帧数i<4时，不生成其它摄像机在第i帧图像的车牌号、车辆坐标、车辆速度、采集时间；

1-13-3)采用步骤1-13-2)得到的车牌号、车辆坐标、车辆速度、采集时间更新交叉路口全局车辆状态列表，进入步骤1-14)；

1-14)令i＝i+1，重复步骤1-4)～步骤1-13)，执行新一轮图像采集并更新交叉路口全局车辆状态列表；

2)V2X广播，包括如下步骤：

2-1)路侧服务器以频率f₂触发V2X路侧设备广播信号；

2-2)将收到V2X路侧设备广播信号之前最后一次更新的交叉路口全局车辆状态列表通过V2X路侧设备进行广播；

2-3)交叉路口范围内的车辆通过所安装的LTE-V、DSRC终端设备、或在驾驶员携带的智能移动终端接收交叉路口全局车辆状态列表，从而获知交叉路口范围内的车辆情况。