CN113012469A - 一种基于目标识别的智能交通预警系统 - Google Patents

Abstract

本发明公开了一种基于目标识别的智能交通预警系统。包括感知模块、目标识别及目标融合模块、控制模块、执行模块；安装在红绿灯立杆上或者斑马线路边的立杆上的感知模块获取红绿灯或斑马线区域附近的环境信息及交通参与者的信息，并发送给目标识别及目标融合模块，识别精确的目标交通参与者并计算目标及其相对速度、相对距离、相对位置、运动趋势，并发送给控制模块后，控制模块计算各目标交通参与者的防碰撞预警时间及预测其运动趋势，预警操作控制模块根据上述信息计算出不同模式的预警控制，并将预警控制传递给执行模块，执行预警。本发明提高了智能交通预警系统的控制精确度，减少了或避免了交通事故，保障了交通参与者的人身和财产安全。

Description

一种基于目标识别的智能交通预警系统

技术领域

本发明涉及软件、计算机技术、机械电子技术、通讯技术、嵌入式系统技术和信号灯控制技术领域的一种交通预测控制系统，具体涉及到一种基于目标识别的智能交通预警系统。

背景技术

近年来，随着汽车行业的迅速发展，汽车的销售量及保有量逐年增长，汽车已经成为广大群众主要出行工具。但目前公共道路的汽车主要由驾驶员驾驶，当驾驶员在驾驶过程中注意力不集中或者因为视野不够宽阔导致未能注意到突然出现的横向交通参与者，经常导致碰撞等交通事故的发生，尤其是在人行横道区域内发生行人或电瓶车被撞事故。这一类交通事故也是导致多数人类非正常死亡的主要原因之一。

目前，已有不少研究机构针对红绿灯或斑马线区域的交通提醒装置进行研究，目前已经投入使用的有红绿灯提醒装置，用于红灯、绿灯切换后通过语音提醒行人是否可通过斑马线，此外还有类似于斑马线两边树立行人闪烁的行人提醒装置，主要用于提醒前进车辆注意本车左右两边行进的行人，此类是通过视觉的形式进行提醒。据统计，上述类型的提醒装置都是单一方式的进行交通预警，无法真正根据实际交通情况针对性的对交通参与者进行防碰撞预警，虽能在一定程度上起到预警作用，但对于突然出现的交通参与者无法及时防碰撞预警，而引起严重交通事故的往往是突然出现的行人或机动车交通参与者导致的，使交通预警系统具备目标识别及防碰撞预警的能力，既可以保障横穿行人、斜穿非机动车的交通安全，也能保障前进方向车辆的行车安全性，降低碰撞事故的发生率，减少人员财产的损失。

发明内容

针对目前交通预警系统方式过于简单、没有结合目标识别技术、不具备防碰撞预警策略计算能力等一系列技术问题，本发明提供了一种基于目标识别的智能交通预警系统。

本发明采用的技术方案是：

本发明包括感知模块、目标识别及目标融合模块、控制模块、执行模块构成，具体地：

感知模块，包括视觉感知单元和雷达感知单元；

视觉感知单元包括全景摄像头，全景摄像头安装在红绿灯立杆上或者斑马线路边的立杆上，通过全景摄像头获取红绿灯或斑马线附近区域的视频图像数据，对视频图像数据依次进行畸变矫正、图像坐标系转换成世界坐标系、滤波、降噪等数据处理后获取各类交通参与者的图像信息数据；

雷达感知单元包括激光雷达，激光雷达安装在红绿灯立杆上或者斑马线路边的立杆上，通过激光雷达感知单元获取红绿灯或斑马线附近区域的交通环境点云数据；

本发明以交通参与者作为目标。

目标识别及目标融合模块，

目标识别根据视觉感知单元获取的图像信息数据和激光雷达感知单元获取的交通环境点云数据进行多方面的目标识别处理，得到目标及其属性、相对速度、相对距离、相对位置等信息；

融合模块根据已识别出的多类目标结合图像转换的世界坐标系与激光雷达的点云数据坐标系进行目标融合，筛选出高置信度的目标交通参与者，并将目标交通参与者的属性、相对速度、相对距离、相对位置等信息发送传递给控制模块；

大于等于0.5的置信度为高置信度，才被筛选为目标，随着置信度越大，目标的可信度越高。

控制模块包括防撞预警时间(TTC)计算模块、预警操作控制模块；

防撞预警时间计算模块根据目标识别及融合模块模块发送过来的目标交通参与者的相对速度、相对距离实时计算每两个目标交通参与者之间的防撞预警时间(TTC₁、TTC₂、...、TTC_n)，再根据防撞预警时间作为防碰撞预警的边界条件筛选出危险目标交通参与者及其运动趋势；

边界条件是指TTC的报警阈值，小于TTC的报警阈值的是危险目标交通参与者。例如，设TTC的报警阈值为2.4s，那么TTC时间小于2.4s的目标就是危险目标交通参与者。

纵向运动趋势的获得是根据目标物相对另一目标的纵向相对速度、纵向相对加速度、纵向相对距离来判断，纵向相对速度变小、纵向相对加速度变小、纵向相对距离变小，说明本目标正在逐渐靠近这个目标，反之，就是远离；同理，横向运动趋势的获得是根据目标物相对另一目标的横向相对速度、横向相对加速度、横向相对距离来判断。

预警操作控制模块根据筛选出的危险目标交通参与者的属性及运动趋势进行不同模式的预警操作，并将预警操作发送传递给执行模块；

属性指危险目标交通参与者的类别：行人、骑车人(摩托车、电瓶车人)、小车、卡车等。

执行模块包括预警信息显示模块和预警信息声光模块；预警信息显示模块和预警信息声光模块均根据控制模块发送传递的控制信息，启动进行预警分别进行屏幕信息显示和扬声器声音提醒，实现针对不同交通参与者的智能交通预警。

所述的视觉感知单元中的全景摄像头采用激光红外摄像头、红外夜视摄像头、LED摄像头及微光摄像头中的一个或多个。

所述的激光雷达感知单元中的激光雷达采用固态激光雷达或者机械旋转激光雷达中的一个或多个。

所述的目标识别及目标融合模块中，目标识别处理是基于机器视觉目标识别、深度学习视觉目标识别、激光雷达点云数据目标识别。

所述的目标识别及目标融合模块中，目标融合是在感知模块中多传感器建立的世界坐标系中将图像目标、雷达目标进行目标聚类、目标深度融合，获取到精确目标及目标精确的相对速度、相对距离、相对位置、运动趋势等信息；

所述的预警操作的控制计算是根据防撞预警时间筛选出的危险目标交通参与者的目标属性及其运动趋势进行；

所述执行模块根据控制模块传递的控制结果调用预警模块。

所述的感知模块、目标识别及目标融合模块、控制模块、执行模块相互之间的通信采用总线连接方式进行，总线连接方式采用串口通讯、四芯电话通讯以及TCP/IP协议的网络通讯中的其中的一种或组合方式。

本发明系统通过目标识别技术及防碰撞预警策略计算不但可以及时准确的向前进方向车辆驾驶员提供横向交通参与者的防碰撞预警信息(一般通过交通显示屏进行画面及语音提示)，还可以向横穿行人或非机动车提供前进方向的车辆信息(一般通过语音提示)，能较大限度的降低因突然出现的横穿行人或非机动车导致前进方向车辆驾驶员来不及做判断控制而出现的交通事故，减少人员财产的损失。

本发明通过感知模块获取周边环境的行人、非机动车、车辆等交通参与者的图像信息、点云信息，通过目标识别及目标融合模块识别交通参与者，将已识别的目标根据其在图像及激光点云结合的坐标系中进行目标融合，聚类重复目标，降低目标的误检及漏检，在控制模块中通过计算得到的目标相对距离、相对速度、相对位置，进行针对不同目标的预警控制的计算，即针对不同的交通参与者做出不同的预警控制然后将预警控制发送给执行模块，通过执行模块实现针对不同交通参与者的预警。

本发明涉及智能交通预警、激光雷达、全景摄像头、软件、图像处理、模式识别、目标信息融合、嵌入式计算机、通讯等相关领域；通过将全景摄像头、激光雷达传感器获取的路况信息进行目标识别后进行信息融合，得到周围的准确路况信息，通过防碰撞预警控制计算模块预测交通参与者之间的行为，从而实现针对不同交通参与者的防碰撞预警控制。防碰撞预警控制计算基于多传感器的目标识别及目标融合，提高了智能交通预警系统的控制精确度，减少了或避免了交通事故，在一定程度上保障了交通参与者的人身和财产安全。

本发明的有益效果是：

本发明利用机器视觉传感器和激光雷达传感器多维方向的目标数据融合技术，提高了所获取的目标信息的准确度，减少防碰撞预警的误报率和漏报率；

本发明利用目标行为预测算法技术为交通参与者赢得了珍贵的反应时间，加强了对突发状况的反应能力；

本发明利用基于目标识别的预警策略技术，可以有效的预防碰撞事故的发生。

综合基于摄像头和激光雷达的多维方向的目标数据融合技术、预测算法技术、针对不同交通参与者的分预警等级的预警策略技术，可以有效减少交通事故的发生率，提高通行的安全性。

附图说明

图1为本发明智能交通预警系统的流程示意图；

图2为本发明智能交通预警系统的结构示意图；

图3为本发明智能交通预警系统的具体流程示意图；

图4为机器视觉识别图；

图5为机器视觉识别图；

图6为感知单元采样周期示意参考图；

图7为目标物的重合区域区分参考图。

具体实施方式

下面结合附图及具体实施例对本发明作进一步详细说明。

参照图1中，本系统包括感知模块、目标识别及目标融合模块、控制模块、执行模块。感知模块包括视觉感知单元、激光雷达感知单元；目标识别及目标融合模块包括目标识别模块、目标融合模块；控制模块包括防撞预警时间(TTC)计算模块、预警操作控制模块；执行模块包括预警信息显示模块、预警信息声光模块。在系统运行过程中，执行模块根据控制模块传递的预警信息启动相应的模块，实现针对不同交通参与者的智能交通预警。

参照图2，本系统采用的技术方案为：

通过感知模块实时获取各类交通参与者的图像信息、点云信息，通过目标识别及目标融合模块对获取得到的图像信息、点云信息进行目标识别，然后将已识别的目标根据其在图像及激光点云结合的坐标系中的位置、目标属性等特征进行目标融合，聚类重复目标，以提高目标的准确度，并计算目标间的相对距离、相对速度、相对位置、运动趋势、目标物属性等信息参数，并将这些参数传递给控制模块，控制模块根据上述信息计算危险目标之间的防撞预警时间TTC，预警操作控制模块根据TTC及目标属性进行预警操作控制的区分，然后将预计将预警信息传递给执行模块，执行模块会根据预警信息进行针对不同交通参与者的预警。

参照图3中，本发明的工作过程为：

安装在红绿灯立杆上或者斑马线路边的立杆上的摄像头及雷达等传感器采集四周交通环境及目标等信息，这些信息经过数据处理后传递给目标识别及目标融合模块，计算后得到准确的机动车、非机动车、行人等交通参与者目标、及其目标间的相对位置信息、相对速度、相对距离等参数，将上述参数传递给控制模块，实时计算目标间的防撞预警时间，根据防撞预警时间筛选出危险目标，根据危险目标进行预警操作的控制，并将预警操作通过总线传输给执行模块；执行模块接收到预警信息后，据控预警操作的要求，实现针对不同交通参与者防碰撞交通预警如声光预警、显示屏画面预警等功能，提醒交通参与者在过斑马线或红绿灯的过程中注意周边交通环境，保持合适的行驶速度及适当的安全距离，避免相互之间碰撞事故的发生。

其具体控制过程如下：

(1)通过感知单元获取的目标及环境信息，在目标识别及目标融合模块中计算得到准确的机动车、非机动车、行人等交通参与者目标、及其目标间的相对位置信息、相对速度、相对距离、运动趋势等参数；

(2)控制模块通过上述参数计算非机动车、行人目标与机动车目标之间的TTCn_C、非机动车目标与行人目标之间的TTCn_P(n≥1，且为整数)碰撞时间，TTCn指存在多对目标间的碰撞时间；

(3)控制模块根据TTC_n碰撞时间来控制预警操作的选择，设a₁为TTCn_C的碰撞预警时间阈值，设b₁为TTCn_P的碰撞预警时间阈值：

(3.1)如果TTCn_C＞a₁且TTCn_P＞b₁则此时判断各目标之间不存在碰撞危险，无需进行预警；

(3.2)如果TTCn_C＞a₁且TTCn_P＜b₁，则此时判断非机动车与行人目标之间存在碰撞危险，选择第一预警操作1；

(3.3)如果TTCn_C＜a₁且TTCn_P＞b₁，则此时判断非机动车、行人目标与机动车目标之间存在碰撞危险，选择第二预警操作2；

(3.4)如果TTCn_C＜a₁且TTCn_P＜b₁，则此时判断非机动车、行人目标与机动车目标之间存在碰撞危险，同时非机动车与行人目标之间也存在碰撞危险，则启动第三预警操作3。

(4)执行模块接收到控制模块发送的预警操作信号后，根据不同的预警操作进行不同紧急程度的报警，

第一预警操作1，第二预警操作2，第三预警操作3，为三个等级的预警，严重度及紧急度逐渐提高，第三预警操作3的严重度及紧急度最高，第三预警操作3的严重度及紧急度最低，预警以声光预警为主，显示屏画面为辅。

由此实施可见，通过本发明系统能够提高智能交通预警系统的控制精确度，减少了或避免了交通事故，用于保障了交通参与者的人身和财产安全。

具体实施中，本发明在目标识别及目标融合模块中进行感知单元的时空统一处理，具体如下：

1.1激光雷达与摄像头在空间上的统一(坐标系统一)

将激光雷达的坐标系、摄像头的图像坐标系统转换到同一世界坐标系，以共同世界坐标系为基础，设f为摄像头的焦距，dz、dx为单位像素在z轴和x轴上的成像平面上的物理尺寸，(x₀,y₀)为光轴与成像平面的交点，将共同世界坐标系的原点设在(x₀,y₀)处，则图像的某一点A(x,y)在世界坐标系中的位置(x_w,y_w,z_w)表达如下式1：

其中，R_t为3*3的单位矩阵，(x,y,1)^T为图像某一点A的图像像素坐标系坐标；T_t为摄像头的位置矩阵(0,0,h)^T，h为摄像头离地面高度，M计算为式2：

从式1反推可知，已知世界坐标系中某一点的位置(x_w,y_w,z_w)，在图像中的位置关系计算如下式3：

2.2、激光雷达与摄像头在时间上的统一

针对使用多线程同步时间轴方式进行以下处理：

若激光雷达的采样频率大于等于摄像头的采样频率，则对激光雷达的目标数据进行缓存到缓存区，待同一时刻获取到图像的目标数据时从缓存区获取同时刻的激光雷达目标数据进行图像的目标数据进行比对融合；

反之若激光雷达的采样频率小于摄像头的采样频率，则对图像的目标数据进行缓存到缓存区，待同一时刻获取到激光雷达的目标数据时从缓存区获取同时刻的图像的目标数据进行激光雷达的目标数据进行比对融合。

具体实施中，如图6所示，激光雷达的采样频率是(1000/(m2-m1))Hz，摄像头的采样频率是(1000/(n2-n1))Hz，m2、m1分别表示激光雷达的采样时刻，n2、n1分别表示摄像头的采样时刻，一般情况下摄像头的采样频率与激光雷达采样频率差是固定的，且传感单元安装位置为固定静止的。

2、目标识别

本发明基于机器视觉目标识别、深度学习视觉目标识别、激光雷达目标识别进行目标物的识别。

2.1、基于机器视觉目标识别

采用机器视觉目标识别方法如图4所示，对每一类目标的图像信息数据和交通环境点云数据组建大量训练正样本和训练负样本，对训练正样本和训练负样本提取特征，特征包括梯度特征、亮度特征、运动矢量特征，将提取的特征输入到SVM分类器进行训练得到表征这一类目标的识别字典dic_n，n代表第n类。

训练正样本是指需要识别的目标，训练负样本是指除去需要识别的目标外的任何物体，这里正负通俗的意思是目标、非目标。

当目标识别及目标融合模块获取到已预处理完成的图像后，进行划窗特定大小的区域的特征提取，提取后的特征与识别字典dic_1、dic_2、...、dic_n在SVM分类器中进行目标识别分类。字典其实就是强化训练后代表某一类目标的特征集。

2.2、深度学习视觉目标识别

如图5所示采用深度学习视觉目标识别方法，目标识别及目标融合模块获取到预处理完后的图像，进行卷积网络的训练和运行，运行完成后根据预设的置信度处理获取目标最终分类。

训练及运行网络的时候，设置一个阈值(也就是文中的置信度)，高于阈值的认为是目标，低于阈值的就会被认为为非目标，被过滤掉。不同的目标类执行相同的过程。

2.3、激光雷达点云数据目标识别

根据激光雷达点云数据特点，采用基于距离的方法对点云数据进行聚类分割，对点与点之间的密集程度通过距离阈值进行判断划分，点云划分为多个独立的子集后，每个子集表示一个独立存在的目标。

距离聚类方法可包含欧式距离、巴式距离、马式距离。

3、目标融合

采用基于目标在世界坐标系中重合区域进行目标物的融合，如图7所示，

对于机器视觉目标识别结果的感知目标、深度学习视觉目标识别结果的感知目标和激光雷达点云数据目标识别结果的感知目标进行融合处理，先将其中两个的识别结果融合，再和剩余的一个识别结果进行融合。

3.1、感知目标的重合区域按照以下方式判断，分为：

每两个感知目标组成目标组，将在世界坐标系中的重合度小于预设的第一重合阈值i％的目标组，不进行融合；

将在世界坐标系中的重合度大于预设的第一重合阈值i％的目标组，且在世界坐标系中的重合度小于预设的第二重合阈值j％的目标组进行融合；

将在世界坐标系中的重合度大于预设的第二重合阈值j％的目标组进行融合；

注：i<j，i∈[0,100]，j∈[0,100]。

目标组中两个感知目标的重合度是指两个感知目标在图像中的重合区域面积和两个感知目标在图像中的总面积的比值，或者两个感知目标在点云空间中的重合区域体积和两个感知目标在点云空间中的总体积的比值。

3.2、对于满足重合度筛选进入进行目标融合的目标组的融合处理如下：

1、对于其中两个感知目标与感知单元的传感器之间的平均距离<d1的目标组，目标组融合成为一个目标，设置置信度等级为3；

2、对于其中两个感知目标与感知单元的传感器之间的平均距离>d1但其中两个感知目标与感知单元的传感器之间的平均距离<d2的的目标组，若重合度>第二重合阈值j％，将目标组融合成为一个目标，设置置信度等级为3；若重合度>第一重合阈值i％但<第二重合阈值j％，将目标组融合成为一个目标，设置置信度等级为2；

3、对于两个感知目标与感知单元的传感器之间的平均距离>d2的目标组，若重合度>第二重合阈值j％，将目标组融合成为一个目标，设置置信度等级为2；若重合度>第一重合阈值i％但<第二重合阈值j％，将目标组融合成为一个目标，设置置信度等级为1；

注：设融合目标置信度等级为三档，等级1为置信度最低，等级3为置信度最高。

目标融合完毕后再对目标进行k-means聚类。

聚类完成后进行目标物的顺序排列(即ID排序)，就完成了目标识别及融合工作。

Claims (5)

1.一种基于目标识别的智能交通预警系统，其特征在于，包括感知模块、目标识别及目标融合模块、控制模块、执行模块构成，具体地：

感知模块，包括视觉感知单元和雷达感知单元；

视觉感知单元包括全景摄像头，全景摄像头安装在红绿灯立杆上或者斑马线路边的立杆上，通过全景摄像头获取红绿灯或斑马线附近区域的视频图像数据，对视频图像数据依次进行畸变矫正、图像坐标系转换、滤波、降噪等数据处理后获取交通参与者的图像信息数据；

雷达感知单元包括激光雷达，激光雷达安装在红绿灯立杆上或者斑马线路边的立杆上，通过激光雷达感知单元获取红绿灯或斑马线附近区域的交通环境点云数据；

目标识别及目标融合模块，目标识别根据视觉感知单元获取的图像信息数据和激光雷达感知单元获取的交通环境点云数据进行多方面的目标识别处理，得到目标及其属性、相对速度、相对距离、相对位置等信息；

融合模块根据已识别出的多类目标结合世界坐标系与激光雷达的坐标系进行目标融合，筛选目标交通参与者，并将目标交通参与者的属性、相对速度、相对距离、相对位置等信息发送传递给控制模块；

控制模块包括防撞预警时间(TTC)计算模块、预警操作控制模块；

防撞预警时间计算模块根据目标识别及融合模块模块发送过来的目标交通参与者的相对速度、相对距离实时计算每两个目标交通参与者之间的防撞预警时间，再根据防撞预警时间作为防碰撞预警的边界条件筛选出危险目标交通参与者；

预警操作控制模块根据筛选出的危险目标交通参与者的属性及运动趋势进行不同模式的预警操作，并将预警操作发送传递给执行模块；

执行模块包括预警信息显示模块和预警信息声光模块；预警信息显示模块和预警信息声光模块均根据控制模块发送传递的控制信息，启动进行预警，实现针对不同交通参与者的智能交通预警。

2.根据权利要求1所述的一种基于目标识别的智能交通预警系统，其特征在于，所述的视觉感知单元中的全景摄像头采用激光红外摄像头、红外夜视摄像头、LED摄像头及微光摄像头中的一个或多个。

3.根据权利要求1所述的一种基于目标识别的智能交通预警系统，其特征在于，所述的激光雷达感知单元中的激光雷达采用固态激光雷达或者机械旋转激光雷达中的一个或多个。

4.根据权利要求1所述的一种基于目标识别的智能交通预警系统，其特征在于，所述的目标识别及目标融合模块中，目标识别处理是基于机器视觉目标识别、深度学习视觉目标识别、激光雷达点云数据目标识别。

5.根据权利要求1所述的一种基于目标识别的智能交通预警系统，其特征在于，所述的感知模块、目标识别及目标融合模块、控制模块、执行模块相互之间的通信采用总线连接方式进行，总线连接方式采用串口通讯、四芯电话通讯以及TCP/IP协议的网络通讯中的其中的一种或组合方式。

Images