CN115206091A - 基于多摄像头和毫米波雷达的路况及事件监测系统及方法 - Google Patents

Abstract

本发明涉及一种基于多摄像头和毫米波雷达的路况及事件监测系统及方法，系统包括：数据获取模块，用于获取待监测道路上的车辆轨迹数据、不同距离的多张原始图像以及车辆事件检测结果；图像拼接模块，用于对待监测道路上检测到车辆事件的同一时刻的多张原始图像进行拼接融合，得到拼接图像；数据存储处理模块，用于存储车辆轨迹数据、事件检测结果、原始图像和拼接图像，绑定同一车辆的车辆轨迹数据和车辆信息，并生成车辆事件的编号，车辆信息包括车型、颜色、车牌号、车速。本发明用拼接图像做交通事件取证，对比单摄像头获取的图像，拼接图像整体清晰度更高，解决交通事件出现在单摄像头视野模糊区域导致无法清晰取证的问题。

Description

基于多摄像头和毫米波雷达的路况及事件监测系统及方法

技术领域

本发明属于智能交通技术领域，涉及一种基于多摄像头和毫米波雷达的路况及事件监测系统及方法。

背景技术

随着社会经济和科学技术持续快速的发展，机动和电动车辆迅速增加，交通流量大幅提高。面对日益复杂的道路交通系统，提高交通管理水平和交通运行效率，保证交通安全稳定尤为重要。因此，对于道路上交通车辆的准确识别，并对其颜色、车型、车牌、速度、轨迹以及事故现场取证的记录显得尤为重要。而这些信息的记录离不开相机对拍摄图像的处理和识别，若结合雷达全天候、全天时的优点，则可以全天候全天时提取出车辆的多种信息，并为交通事件进行取证。而准确的车辆信息数据就是对车辆进行交通事件判别并进行信息管理的基础。

然而传统道路抓拍使用单摄像头，拍摄一般只有一个焦点，普通摄像头往往只能拍摄到一段距离内的清晰图像，存在交通事件发生在摄像头视野模糊区域导致现场无法清晰取证的问题，且单摄像头视野较小。并且在恶劣天气或是光线不足的情况下，摄像头的可靠性降低，无法清晰获取车辆的轨迹数据，对于交通事件的发生无法做到精确判断。

发明内容

为了解决现有技术中存在的上述问题，本发明提供了一种基于多摄像头和毫米波雷达的路况及事件监测系统及方法。本发明要解决的技术问题通过以下技术方案实现：

本发明实施例提供了一种基于多摄像头和毫米波雷达的路况及事件监测系统，所述路况及事件监测系统包括：

数据获取模块，用于获取待监测道路上的车辆轨迹数据、不同距离的多张原始图像以及车辆事件检测结果，所述车辆事件检测结果包括通过雷达检测到的第一事件检测结果和通过多个摄像头传感器检测到的第二事件检测结果；

图像拼接模块，用于对所述待监测道路上检测到车辆事件的同一时刻的多张原始图像进行拼接融合，得到拼接图像；

数据存储处理模块，用于存储所述车辆轨迹数据、所述事件检测结果、所述原始图像和所述拼接图像，绑定同一车辆的车辆轨迹数据和车辆信息，并生成车辆事件的编号，所述车辆信息包括车型、颜色、车牌号、车速。

在本发明的一个实施例中，所述数据获取模块包括：

雷达数据获取单元，用于对所述待监测道路上的车辆进行监测，以实时获得车辆轨迹数据和第一事件检测结果；

摄像头数据获取单元，用于获取所述待监测道路上不同距离的多张原始图像和第二事件检测结果。

在本发明的一个实施例中，所述雷达数据获取单元包括：

雷达传感器，用于获取所述待监测道路上的车辆的位置和速度，以通过不同时间的同一所述车辆的位置得到车辆轨迹数据；

第一事件检测处理器，用于根据所述雷达传感器获取的车辆的位置和速度得到所述第一事件检测结果。

在本发明的一个实施例中，所述摄像头数据获取单元包括：

多个摄像头传感器，用于获取所述待监测道路上不同距离的多张原始图像；

第二事件检测处理器，用于识别所述原始图像中经过触发线的车辆、车辆中的驾驶员、车道线以及车辆信息，以得到第二事件检测结果。

在本发明的一个实施例中，所述图像拼接模块包括：

特征点提取匹配单元，用于通过SURF算法提取所述原始图像的特征点，以得到所述特征点的特征描述子，依据特征描述子，由FLANN算法对相邻两张所述原始图像进行特征点匹配，以得到匹配点对，再由RANSAC 算法对所述匹配点对进行提纯得到包括有效匹配点对的内点集，并去除内误匹配点；

图像融合单元，用于基于有效匹配点对对应的矩阵，将多张原始图像投影到同一个投影平面得到多张投影图像，后将每张所述投影图像进行曝光补偿和缝合线估计处理，基于缝合线，通过渐入渐出融合算法对曝光补偿后的图像按照顺序进行融合拼接，得到所述拼接图像。

在本发明的一个实施例中，依据特征描述子，由FLANN算法对相邻两个所述原始图像进行特征点匹配，以得到匹配点对，包括：

由FLANN算法在相邻两个所述原始图像中寻找有相同特征描述子的特征点，相邻两张所述原始图像中有相同特征描述子的特征点为所述匹配点对。

在本发明的一个实施例中，由RANSAC算法对所述匹配点对进行提纯得到内点集，并去除误匹配点，包括：

根据所述匹配点对得到单应性矩阵Q，利用相邻两张所述原始图像中的一张原始图像一个特征点的第一齐次坐标和所述单应性矩阵Q得到第二齐次坐标，计算所述第二齐次坐标与另一张原始图像中对应匹配点的第三齐次坐标的误差，若误差小于误差阈值，则将所述第一齐次坐标和所述第三齐次坐标对应的特征点加入内点集，重复上述操作若干次，选取匹配点数量最多的内点集作为有效匹配点对，其余的匹配点则为误匹配点，去除误匹配点。

在本发明的一个实施例中，所述数据存储处理模块包括：

信息存储单元31，用于接收和存储车辆的位置、速度、所述车辆轨迹数据、所述原始图像、所述车辆事件检测结果、所述拼接图像、所述原始图像中经过触发线的车辆、车辆中的驾驶员、车道线以及车辆的颜色、车型和车牌号；

信息处理单元32，用于将所述原始图像中发生事件的车辆、车辆的颜色、车型和车牌号与同一坐标的车辆轨迹数据进行绑定，得到携带有车辆信息的轨迹信息，其中，若所述原始图像不是由所述待监测道路上第一条触发线获得的，则对已绑定车辆信息的轨迹信息进行验证校准，若轨迹信息携带的车辆信息有缺漏，则进行补充，若检测到交通事件，则记录该交通事件，生成事件编号。

本发明一个实施例还提供一种基于多摄像头和毫米波雷达的路况及事件监测方法，利用上述实施例任一项所述的路况及事件监测系统执行路况及事件监测方法，所述路况及事件监测方法包括：

获取待监测道路上的车辆轨迹数据、不同距离的多张原始图像以及车辆事件检测结果，所述车辆事件检测结果包括通过雷达检测到的第一事件检测结果和通过多个摄像头传感器检测到的第二事件检测结果；

对所述待监测道路上同一时刻的多张原始图像进行拼接融合，以完成对同一时刻多张原始图像的拼接，得到拼接图像；

存储所述车辆轨迹数据、所述事件检测结果、所述原始图像和所述拼接图像，绑定同一车辆的车辆轨迹数据和车辆信息，并生成车辆事件的编号，所述车辆信息包括车型、颜色、车牌号、车速。

与现有技术相比，本发明的有益效果：

1、本发明使用多摄像头，实现长距离道路的图像抓拍，能够提供更大更清晰的视野范围，在发生交通事件时能够更好地对现场进行取证，与传统单摄像头道路抓拍相比，能够提供更长道路的视野。

2、本发明用拼接图像做交通事件取证，对比单摄像头获取的图像，拼接图像整体清晰度更高，解决交通事件出现在单摄像头视野模糊区域导致无法清晰取证的问题。

3、本发明结合雷达进行检测，可达到全天候全天时道路车辆轨迹的检测，与摄像头协同工作，能够更精准地判断交通事件。与传统单摄像头抓拍相比，能够有效改善在恶劣天气或黑夜时摄像头无法精确判断并记录交通事件的问题。

通过以下参考附图的详细说明，本发明的其它方面和特征变得明显。但是应当知道，该附图仅仅为解释的目的设计，而不是作为本发明的范围的限定，这是因为其应当参考附加的权利要求。还应当知道，除非另外指出，不必要依比例绘制附图，它们仅仅力图概念地说明此处描述的结构和流程。

附图说明

图1为本发明实施例提供的一种基于多摄像头和毫米波雷达的路况及事件监测系统的模块示意图；

图2为本发明实施例提供的一种基于多摄像头和毫米波雷达的路况及事件监测系统的结构示意图；

图3为本发明实施例提供的一种基于多摄像头和毫米波雷达的路况及事件监测方法的流程示意图。

具体实施方式

下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。

实施例一

请参见图1，图1为本发明实施例提供的一种基于多摄像头和毫米波雷达的路况及事件监测系统的模块示意图，本发明提供一种基于多摄像头和毫米波雷达的路况及事件监测系统，该路况及事件监测系统可以实现全天候全天时对同一道路上车辆的信息进行跟踪，并在交通事件发生时进行抓拍取证，该路况及事件监测系统包括：

数据获取模块，用于获取待监测道路上的车辆轨迹数据、不同距离的多张原始图像以及车辆事件检测结果，车辆事件检测结果包括通过雷达检测到的第一事件检测结果和通过多个摄像头传感器检测到的第二事件检测结果；

图像拼接模块，用于对待监测道路上检测到车辆事件的同一时刻的多张原始图像进行拼接融合，得到拼接图像；

数据存储处理模块，用于存储车辆轨迹数据、事件检测结果、原始图像和拼接图像，绑定同一车辆的车辆轨迹数据和车辆信息，并生成车辆事件的编号，所述车辆信息包括车型、颜色、车牌号、车速。

在一个具体实施例中，请参见图2，数据获取模块包括：

雷达数据获取单元，用于对待监测道路上的车辆进行监测，以实时获得车辆轨迹数据和第一事件检测结果，检测范围为百米级别；

摄像头数据获取单元，用于获取待监测道路上不同距离的多张原始图像和第二事件检测结果。

具体地，雷达数据获取单元包括：

雷达传感器，用于获取待监测道路上的车辆的位置和速度，以通过不同时间的同一车辆的位置得到车辆轨迹数据；

第一事件检测处理器，用于根据雷达传感器获取的车辆的位置和速度得到第一事件检测结果，第一事件检测结果对应的车辆事件包括但不限于车辆超速、逆行、停车、变道、车祸等违章违法或突发事件。当有车辆事件发生时，将车辆数据及其引发的车辆事件记录至数据存储处理模块并生成事件编号，触发摄像头数据获取单元的所有摄像头传感器同时获取图像，图像由事件编号标记后传输至图像拼接模块。

在本实施例中，雷达传感器可发出毫米波，遇到车辆反射后雷达传感器接收反射波，由反射波到达时间、频率变化和相位差等计算得到车辆位置和速度。通过多个时间的位置信息，可连成车辆的轨迹，得到每辆车辆的车辆轨迹数据。第一事件检测处理器由车辆的位置和速度的变化推导出车辆状态，进而得到部分交通事件检测结果。例如，在非路口车道，设定 60km/h为待监测道路上的超速阈值，3.5m为车道宽度，前进方向速度为正，停车时间设定为2s；当检测到车辆速度超过阈值时，定为超速事件；当前进速度为负时，定为逆行事件；当前进速度为0且停车时间超过2s时，定为停车事件；当车辆水平位置坐标变化超过3.5m时，定为变道事件；当车速骤减后发生停车事件，且停车事件超过30s或两车轨迹相汇时，定为车祸预警事件。

具体地，摄像头数据获取单元包括：

多个摄像头传感器，用于获取待监测道路上不同距离的多张原始图像；

第二事件检测处理器，用于识别原始图像中经过触发线的车辆、车辆中的驾驶员、车道线以及车辆信息，以得到第二事件检测结果。

在本实施例中，多个摄像头传感器设置在同一待监测道路上的不同位置，摄像头传感器可安装于天桥、道路门架或其他位于道路上空的地方。摄像头数据获取单元可得到多张道路原始图像和第二事件检测结果，第二事件检测结果对应的车辆事件包括但不限于车辆逆行、无车牌、未系安全带、停车等违章违法或突发事件。当有车辆事件发生时，将此时雷达数据获取单元的车辆轨迹数据及摄像头数据获取单元检测到的事件记录至数据存储处理模块并生成事件编号，触发摄像头数据获取单元的所有摄像头传感器同时获取图像，图像由事件编号标记后传输至图像拼接模块。

进一步地，第二事件检测处理器基于图像分割和图像识别算法，识别原始图像中的车辆、车辆中的驾驶员和车道线，得到车辆的颜色、车型、车牌号等信息，并对车辆进行编号，以图像整体建立坐标系得到车辆坐标位置，设定车辆正常行驶方向。当相邻两帧图像中同一车辆位置变化方向与正常行驶方向相反时，定为逆行事件；当识别不到车牌信息时，定为无车牌事件；当2s内多帧图像中同一车辆位置无变化时，定为停车事件；当由图像分割无法分割得到安全带时，定为未系安全带事件。

在一个具体实施例中，请参见图2，图像拼接模块包括：

特征点提取匹配单元，用于通过SURF(Speeded Up Robust Features，加速稳健特征)算法提取原始图像的特征点，以得到特征点的特征描述子，依据特征描述子，由FLANN(Fast Library for Approximate Nearest Neighbors，快速最近邻搜索包)算法对相邻两张原始图像进行特征点匹配，以得到匹配点对，再由RANSAC(Random sample consensus，随机抽样一致算法)算法对所述匹配点对进行提纯得到包括有效匹配点对的内点集，并去除误匹配点，误匹配点为匹配过程中没有位置上与外观上相似的关系，但因为符合 FLANN算法而将那些特征点匹配在一起的特征点，其中，相邻两张原始图像为相邻两个摄像头同一时刻拍的图像；

图像融合单元，用于基于有效匹配点对对应的单应性矩阵，将多张原始图像投影到同一个投影平面得到多张投影图像，后将每张投影图像进行曝光补偿和缝合线估计处理，基于缝合线，通过渐入渐出融合算法对曝光补偿后的图像按照顺序进行融合拼接，得到所述拼接图像。

具体地，依据特征描述子，由FLANN算法对相邻两个原始图像进行特征点匹配，以得到匹配点对，包括：

由FLANN算法在相邻两个原始图像中寻找有相同特征描述子的特征点，相邻两张原始图像中有相同特征描述子的特征点为所述匹配点对。

具体地，由RANSAC算法对匹配点对进行提纯得到内点集，并去除误匹配点，包括：

根据匹配点对得到匹配矩阵Q，利用相邻两张原始图像中的一张原始图像中一个特征点的第一齐次坐标和匹配矩阵Q得到第二齐次坐标，计算第二齐次坐标与另一张原始图像中对应匹配点的第三齐次坐标的误差，若误差小于误差阈值，则将第一齐次坐标和第三齐次坐标对应的特征点加入内点集，重复上述操作若干次，选取匹配点数量最多的内点集作为有效匹配点对，其余的匹配点则为误匹配点，去除误匹配点。

也就是说，假设相邻两张原始图像为图像A和图像B，第一步，由SURF 算法分别计算图像A和图像B各自的特征点和特征描述子；第二步，FLANN 匹配，根据图像A的特征描述子，在图像B中寻找有相同特征描述子的特征点，图像A和图像B有相同特征描述子的两个特征点形成匹配点对(匹配点对的两个特征点分属图像A和图像B)；第三步，RANSAC提纯，由第二步得到的匹配点对，例如随机取4对匹配点对做样本，代公式计算矩阵Q，如，假设图像A某个特征点的齐次坐标为矩阵M，与之匹配的图像B的齐次坐标为矩阵N，则MQ＝N，由此可以得到矩阵Q；将图像A中其余的未匹配的齐次坐标的矩阵M带入MQ，得到矩阵N’，计算矩阵N’与图像B 中匹配的齐次坐标的矩阵N的误差(即求取差值)，误差小于提前设定的误差阈值，则将图像A和图像B对应的特征点加入内点集P。假设重复上述操作K次，如10次，便可以十个内点集和对应的十个矩阵，比较哪次计算中内点集的匹配点数量最多，最多的内点集就是有效匹配点对，其余的匹配点对视为误匹配。之后，例如图像A和图像B相邻，图像B和图像C相邻，则将图像A的所有坐标乘以图像A和图像B对应的单应性矩阵，便可以将图像A投影到图像B的平面，同理的，可以将投影至图像B的图像A和图像B投影至图像C的平面，由此，将同一时刻的多张原始图像投影到同一个投影平面得到多张投影图像，后将每张图像进行曝光补偿和利用最大流检测法进行缝合线估计，曝光补偿可以减少亮度差异，最后按摄像头在道路上的焦点顺序拼接图像，可通过调节羽化锐度参数来调整拼接图像重叠区域的平滑过渡，使重叠区域更加自然。

在一个具体实施例中，请参见图2，数据存储处理模块包括：

信息存储单元31，用于接收和存储车辆的位置、速度、车辆轨迹数据、原始图像、车辆事件检测结果、拼接图像、原始图像中经过触发线的车辆、车辆中的驾驶员、车道线以及车辆的颜色、车型和车牌号；

信息处理单元32，用于将原始图像中经过发生事件的车辆、车辆的颜色、车型和车牌号与同一坐标的车辆轨迹数据进行绑定，得到携带有车辆信息的轨迹信息，其中，若原始图像不是由待监测道路上第一条触发线获得的，则对已绑定车辆信息的轨迹信息进行验证校准，若轨迹信息携带的车辆信息有缺漏，则进行补充，若检测到车辆事件，则记录该车辆事件，生成事件编号。车辆事件包括但不限于车辆超速、逆行、无车牌、未系安全带、违规停车、违规变道、车距过近、车祸等违章违法或突发事件。以便后续对道路上车辆信息的解析、与轨迹的绑定、事件分析以及事故绑定等信息处理操作。本实施例将多幅图像进行拼接后记录，实现相关事件取证，事件包括但不限于车辆超速、逆行、无车牌、未系安全带、违规停车、违规变道、车距过近、车祸等违章违法或突发事件，以图像建立坐标系，触发线为该坐标系中连续的坐标点。

可选的，各个模块之间，可用有线或无线的方式进行数据通信。

本发明实施例中，各个摄像头传感器之间应存在重叠区域，以便后续对拍摄到的图像进行拼接，且各摄像头传感器的焦点位置不宜距离太远，使得所有摄像头的拼接图像能够清晰覆盖整条道路。

本发明使用多摄像头传感器，实现长距离道路的图像抓拍，能够提供更大更清晰的视野范围，在发生交通事件时能够更好地对现场进行取证，与传统单摄像头道路抓拍相比，能够提供更长道路的视野。

本发明用拼接图像做交通事件取证，对比单摄像头获取的图像，拼接图像整体清晰度更高，解决交通事件出现在单摄像头视野模糊区域导致无法清晰取证的问题。

本发明结合雷达进行检测，可达到全天候全天时道路车辆轨迹的检测，与摄像头协同工作，能够更精准地判断交通事件。与传统单摄像头抓拍相比，能够有效改善在恶劣天气或黑夜时摄像头无法精确判断并记录交通事件的问题。

当有交通事件发生时，本发明用多种算法对多幅原始图像进行图像拼接融合，包括：通过加速稳健特征算法、快速最近邻搜索算法、随机抽样一致性算法处理，后进行柱面投影、曝光补偿，再用最大流检测法以及渐入渐出融合算法实现对图像的拼接融合，得到长距离且高清晰度的拼接图像，拼接图像可以作为良好的事件现场证据。

实施例二

请参见图3，图3为本发明实施例提供的一种基于多摄像头和毫米波雷达的路况及事件监测方法的流程示意图。本发明在上述实施例的基础上还提供一种基于多摄像头和毫米波雷达的路况及事件监测方法，该路况及事件监测方法利用实施例一所述的路况及事件监测系统进行记录，该路况及事件监测方法包括：

S1、获取待监测道路上的车辆轨迹数据、不同距离的多张原始图像以及车辆事件检测结果，车辆事件检测结果包括通过雷达检测到的第一事件检测结果和通过多个摄像头传感器检测到的第二事件检测结果；

S2、对所述待监测道路上同一时刻的多张原始图像进行拼接融合，以完成对同一时刻多张原始图像的拼接，得到拼接图像；

S3、存储车辆轨迹数据、事件检测结果、原始图像和拼接图像，绑定同一车辆的车辆轨迹数据和车辆信息，并生成车辆事件的编号，车辆信息包括车型、颜色、车牌号、车速。

本实施例所提供的路况及事件监测方法的实现原理和有益效果与实施例一的路况及事件监测系统相同，在此不再赘述。

本发明通过借助多摄像头以及雷达的数据信息以及事件检测结果，利用摄像头与雷达的优点进行互补，使得不论在白天黑夜或是天气恶劣的情况下，都能清晰获取车辆轨迹和雷达事件检测结果，结合摄像头的图像信息，能将图像中的车辆信息与轨迹绑定，并在发生交通事件时，通过拼接算法，能够得到全道路的清晰图像，为交通管理提供有效的证据。

在发明的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特征数据点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特征数据点可以在任何的一个或多个实施例或示例中以合适的方式结合。此外，本领域的技术人员可以将本说明书中描述的不同实施例或示例进行接合和组合。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (9)

1.一种基于多摄像头和毫米波雷达的路况及事件监测系统，其特征在于，所述路况及事件监测系统包括：

数据获取模块，用于获取待监测道路上的车辆轨迹数据、不同距离的多张原始图像以及车辆事件检测结果，所述车辆事件检测结果包括通过雷达检测到的第一事件检测结果和通过多个摄像头传感器检测到的第二事件检测结果；

图像拼接模块，用于对所述待监测道路上检测到车辆事件的同一时刻的多张原始图像进行拼接融合，得到拼接图像；

数据存储处理模块，用于存储所述车辆轨迹数据、所述事件检测结果、所述原始图像和所述拼接图像，绑定同一车辆的车辆轨迹数据和车辆信息，并生成车辆事件的编号，所述车辆信息包括车型、颜色、车牌号、车速。

2.根据权利要求1所述的基于多摄像头和毫米波雷达的路况及事件监测系统，其特征在于，所述数据获取模块包括：

雷达数据获取单元，用于对所述待监测道路上的车辆进行监测，以实时获得车辆轨迹数据和第一事件检测结果；

摄像头数据获取单元，用于获取所述待监测道路上不同距离的多张原始图像和第二事件检测结果。

3.根据权利要求2所述的基于多摄像头和毫米波雷达的路况及事件监测系统，其特征在于，所述雷达数据获取单元包括：

雷达传感器，用于获取所述待监测道路上的车辆的位置和速度，以通过不同时间的同一所述车辆的位置得到车辆轨迹数据；

第一事件检测处理器，用于根据所述雷达传感器获取的车辆的位置和速度得到所述第一事件检测结果。

4.根据权利要求3所述的基于多摄像头和毫米波雷达的路况及事件监测系统，其特征在于，所述摄像头数据获取单元包括：

多个摄像头传感器，用于获取所述待监测道路上不同距离的多张原始图像；

第二事件检测处理器，用于识别所述原始图像中经过触发线的车辆、车辆中的驾驶员、车道线以及车辆信息，以得到第二事件检测结果。

5.根据权利要求1所述的基于多摄像头和毫米波雷达的路况及事件监测系统，其特征在于，所述图像拼接模块包括：

特征点提取匹配单元，用于通过SURF算法提取所述原始图像的特征点，以得到所述特征点的特征描述子，依据特征描述子，由FLANN算法对相邻两张所述原始图像进行特征点匹配，以得到匹配点对，再由RANSAC算法对所述匹配点对进行提纯得到包括有效匹配点对的内点集，并去除内误匹配点；

图像融合单元，用于基于有效匹配点对对应的单应性矩阵，将多张原始图像投影到同一个投影平面得到多张投影图像，后将每张所述投影图像进行曝光补偿和缝合线估计处理，基于缝合线，通过渐入渐出融合算法对曝光补偿后的图像按照顺序进行融合拼接，得到所述拼接图像。

6.根据权利要求5所述的基于多摄像头和毫米波雷达的路况及事件监测系统，其特征在于，依据特征描述子，由FLANN算法对相邻两个所述原始图像进行特征点匹配，以得到匹配点对，包括：

由FLANN算法在相邻两个所述原始图像中寻找有相同特征描述子的特征点，相邻两张所述原始图像中有相同特征描述子的特征点为所述匹配点对。

7.根据权利要求5所述的基于多摄像头和毫米波雷达的路况及事件监测系统，其特征在于，由RANSAC算法对所述匹配点对进行提纯得到内点集，并去除误匹配点，包括：

根据所述匹配点对得到单应性矩阵Q，利用相邻两张所述原始图像中的一张原始图像的一个特征点的第一齐次坐标和所述单应性矩阵Q得到第二齐次坐标，计算所述第二齐次坐标与另一张原始图像中对应匹配点的第三齐次坐标的误差，若误差小于误差阈值，则将所述第一齐次坐标和所述第三齐次坐标对应的特征点加入内点集，重复上述操作若干次，选取匹配点数量最多的内点集作为有效匹配点对，其余的匹配点则为误匹配点，去除误匹配点。

8.根据权利要求4所述的基于多摄像头和毫米波雷达的路况及事件监测系统，其特征在于，所述数据存储处理模块包括：

信息存储单元31，用于接收和存储车辆的位置、速度、所述车辆轨迹数据、所述原始图像、所述车辆事件检测结果、所述拼接图像、所述原始图像中经过触发线的车辆、车辆中的驾驶员、车道线以及车辆的颜色、车型和车牌号；

信息处理单元32，用于将所述原始图像中发生事件的车辆、车辆的颜色、车型和车牌号与同一坐标的车辆轨迹数据进行绑定，得到携带有车辆信息的轨迹信息，其中，若所述原始图像不是由所述待监测道路上第一条触发线获得的，则对已绑定车辆信息的轨迹信息进行验证校准，若轨迹信息携带的车辆信息有缺漏，则进行补充，若检测到交通事件，则记录该交通事件，生成事件编号。

9.一种基于多摄像头和毫米波雷达的路况及事件监测方法，其特征在于，利用权利要求1至9任一项所述的路况及事件监测系统执行路况及事件监测方法，所述路况及事件监测方法包括：

获取待监测道路上的车辆轨迹数据、不同距离的多张原始图像以及车辆事件检测结果，所述车辆事件检测结果包括通过雷达检测到的第一事件检测结果和通过多个摄像头传感器检测到的第二事件检测结果；

对所述待监测道路上同一时刻的多张原始图像进行拼接融合，以完成对同一时刻多张原始图像的拼接，得到拼接图像；

存储所述车辆轨迹数据、所述事件检测结果、所述原始图像和所述拼接图像，绑定同一车辆的车辆轨迹数据和车辆信息，并生成车辆事件的编号，所述车辆信息包括车型、颜色、车牌号、车速。

Images