CN110738846A - 基于雷达与视频组群的车辆行为监测系统及其实现方法 - Google Patents

Abstract

本发明涉及一种基于雷达与视频组群的车辆行为监测系统及其实现方法，系统包括多套监控终端设备、多套数据通信设备、数据存储设备、后台数据处理服务器、车辆行驶状态显示模块等，其中监控终端设备由毫米波雷达、高清摄像机、前端数据处理单元模块以及电源控制模块构成。与现有技术相比，本发明系统通过深度融合毫米波雷达数据与高清视频图像数据，实现二者在交通数据采集上的优势互补，使得检测的数据类型更加全面，准确率、可靠性与鲁棒性进一步提升，从而有利于为交通管控、安全预警等方面提供技术支持。

Description

基于雷达与视频组群的车辆行为监测系统及其实现方法

技术领域

本发明属于道路交通数据采集技术领域，尤其是涉及一种基于雷达与视频组群的车辆行为监测系统及其实现方法。

背景技术

目前在道路交通数据采集技术领域，道路交通数据采集手段主要有视频数据采集方法和雷达数据采集方法，采用视频数据采集的优点在于其具有可视化效果，可辨识车辆的外观属性信息。然而其受环境(天气、光照)影响大，对车辆的空间位置和运动信息探测的准确性、可靠性较差。

雷达数据采集的优点与劣势：不受天气、光照等环境条件影响，可实时探测车辆的空间运动和位置信息，检测精度准确可靠，但由于不具有可视化效果，无法捕捉车辆的外观属性信息。

上述方法普遍存在可靠性不高、对环境依赖性强、抗干扰能力差、覆盖范围较小无法捕捉大范围下的行为过程、维护不便等缺陷，而对于当下道路交通管控领域，采集车辆在通过某一较大范围时(通常是路况复杂、易发生交通事故的较长路段范围)的连续行驶状态下的过程特征信息，已成为实施深化管理措施的前提条件，单点或单截面数据已不能满足目前不断发展的基础研究及应用要求，因此，迫切需要一种新的道路交通数据采集方式，以适应新的时代背景下道路交通管控技术不断发展和道路交通安全研究不断深入的需要。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于雷达与视频组群的车辆行为监测系统及其实现方法，该系统及其实现方法可实现雷达数据采集与视频数据采集在交通数据采集上的优势互补，使得检测的数据类型更加全面，准确率、可靠性与鲁棒性进一步提升，从而有利于为交通管控、安全预警等方面提供技术支持。

本发明的目的可以通过以下技术方案来实现：

基于雷达与视频组群的车辆行为监测系统，包括：

监控终端设备：用于采集指定区域的车辆目标的行驶状态数据和高清视频图像；多套监控终端设备设置在道路路侧上，每一套监控终端设备设有用以同步采集行驶状态数据和视频图像的毫米波雷达设备和高清摄像机，以及用以为毫米波雷达设备和高清摄像机进行供电的电源控制模块。

前端数据处理模块：用于对监控终端设备采集的数据进行处理，该模块包括毫米波雷达数据处理单元、高清视频图像处理单元以及雷达-视频数据匹配与融合单元，前端数据处理模块由电源控制模块供电。其中，所述的毫米波雷达数据处理单元对接收到的雷达数据进行噪声处理和信息提取，并将空间位置坐标转换至统一的道路坐标系中；所述的高清视频图像处理单元对接收到的视频数据进行图像处理，采用背景差分提取车辆前景目标，采用模式识别算法提取出车辆类型、车辆号牌、号牌颜色等车辆信息；所述的雷达-视频数据匹配与融合单元将雷达采集的车辆位置信息与视频图像上车辆位置进行匹配与融合，将雷达采集的车辆空间位置、行车速度与车辆类型、车辆号牌等信息进行关联。

数据通信设备：用于将监控终端设备的数据按统一格式传送至数据存储设备，每一套监控终端设备对应独立的数据通信设备。

数据存储设备：用于将数据通信设备传输的数据存入存储设备中指定的数据库，数据存储设备存在多个数据输入端接口，每一套监控终端设备对应一个输入端接口，每一套监控终端设备均独立接入数据存储设备。

后台数据处理服务器：用于读取存储于数据存储设备中的数据，进行单组监控终端设备内部的数据关联处理，实现对同一车辆在某一子监测区域下的轨迹跟踪与提取；并进行监控终端设备组群之间的数据融合处理，实现监测区域之间的车辆轨迹匹配衔接，获取车辆通过整个监测区域的轨迹与速度、加速度运行特征等完整行车特征，并对典型的驾驶行为进行分析与特殊标记。

车辆行驶状态显示模块：用于对车辆在监测区域内的行驶过程在计算机上的可视化显示包括完整的运动轨迹显示、运动速度和加速度显示以及包含车辆类型、车牌号码、车牌颜色在内的车辆信息显示，若后台数据服务器对典型的驾驶行为进行分析的结果为出现违法违规驾驶行为，则采用红颜色予以突出标识。

基于雷达与视频组群数据融合的车辆行为监测系统的实现方法，包括以下步骤：

S1、确定毫米波雷达设备、高清摄像机在道路路侧的安装位置，将其安装并组网，并使毫米波雷达设备、高清摄像机与监测路段三者编码关联。

S2、对毫米波雷达-高清摄像机空间坐标系进行组内标定与组间标定；具体包括以下步骤：

21)对毫米波雷达设备间的相对距离通过全站仪进行采集；

22)将毫米波雷达间方向按照当前雷达径向正对下一个雷达进行调整；

23)利用毫米波雷达本身的车流数据对自身方向角进行矫正，具体包括：

a)软矫正，通过对毫米雷达的雷达伺服器的参数进行调整达到正对效果；

b)硬矫正，对于较大偏差的毫米波雷达进行现场重新安装；

24)以某一毫米波雷达的检测路段为起始点，利用全站仪标定所有的高清摄像机的摄像头的坐标方向；

25)标定摄像头的检测路段。

S3、利用毫米波雷达设备、高清摄像机采集道路交通数据，利用前端数据处理模块对采集的数据进行处理。具体包括以下步骤：

31)前端数据处理模块对毫米波雷达返回的目标信息进行聚类分析，剔除产生的非法噪点，对信号进行滤波，并对大型车辆的密集聚类点进行再聚类；

32)前端数据处理模块对高清摄像机的摄像头内的车流信息进行车道识别，对摄像头内的移动目标进行车辆识别，并按照车道信息标注位置；

33)在毫米波雷达坐标系内寻找摄像头检测路段的目标信息，按照高清摄像机的摄像头中的车道信息以及位置信息，在雷达路段内寻找匹配目标，并将目标信息返回给摄像头进行标注。

S4、将处理后的数据进行数据传输与数据存储。其中，数据传输步骤包括：

a)雷达信息通过时序数据库由中央服务器发送给所有请求的客户端；

b)视频信息通过视频服务器经过本地处理与雷达信息融合；

数据存储步骤为将毫米波雷达数据存储于云端，其中，将近期数据完全保存，远期数据将采样后保存。

S5、对车辆目标的实时行驶状态进行显示。

S6、对毫米波雷达-视频单组内车辆离散行驶状态进行数据关联，提取车辆行驶轨迹。车辆行驶轨迹通过对毫米波雷达数据进行聚类分析获取，车辆轨迹通过在二维平面内进行展示。

S7、将毫米波雷达-视频组群间数据进行融合，对相邻监测区域的同一车辆进行行驶轨迹衔接与跟踪。具体内容为：

将相邻检测区域的毫米波雷达数据进行融合；对于已经融合的毫米波雷达数据标定视频组检测区域内的相对位置。

S8、对全路段车辆驾驶行为进行分析与过程重建。

S9、对全路段车辆驾驶行为过程进行可视化显示。

与现有技术相比，本发明具有以下优点：

1、本发明将雷达数据采集与视频数据采集的优点相结合，克服了单一采用视频数据采集方法受环境影响大，对车辆的空间位置和运动信息探测的准确性、可靠性较差的问题，且克服了单点或单截面数据不能满足目前不断发展的基础研究及应用要求的问题，有利于采集车辆在通过某一较大范围时(通常是路况复杂、易发生交通事故的较长路段范围)的连续行驶状态下的过程特征信息；

2、本发明将雷达数据采集与视频数据采集的优点相结合，能够重构车辆途径指定区域的整个行驶过程，并在计算上进行可视化显示，克服了单一采用雷达数据采集方法由于不具有可视化效果，无法捕捉车辆的外观属性信息的问题；

3、本发明通过深度融合毫米波雷达数据与高清视频图像数据，实现二者在交通数据采集上的优势互补，使得检测的数据类型更加全面，准确率、可靠性与鲁棒性进一步提升，从而有利于为交通管控、安全预警等方面提供技术支持；

4、本发明利用雷达与视频组群构建一套长路段大范围内连续不间断的车辆行驶行为过程信息采集系统，本质上是一种道路交通数据采集手段，除了能够监测异常的违规驾驶行为，本系统的主要目的是采集车辆连续行驶状态下的特征信息，通过该信息能事后还原车辆经过指定范围的行车全过程，包括位置、行车轨迹、速度等，因此该系统可以兼顾交通监控管理与车辆驾驶行为研究两方面。

附图说明

图1为本发明基于雷达与视频组群的车辆行为监测系统的物理构成框架示意图；

图2为基于雷达与视频组群的车辆行为监测系统的实现方法的逻辑框架图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。

如图1所示，本发明涉及一种基于雷达与视频组群的车辆行为监测系统，该系统包括：多套监控终端设备、多个数据通信设备、数据存储设备、后台数据处理服务器以及车辆行驶状态显示模块，其中，监控终端设备由毫米波雷达、高清摄像机、前端数据处理模块以及电源控制模块构成。

毫米波雷达：监控终端设备的组成部分之一，负责探测指定区域内的车辆目标，采集车辆目标某一时刻的行驶状态数据，包括车辆的空间位置坐标和行车速度。雷达设备输出端与前端数据处理模块输入端相连。

高清摄像机：监控终端设备的组成部分之一，采集指定区域内的视频图像，指定区域与同一监控终端设备的毫米波雷达探测区域一致。高清摄像机设备输出端与前端数据处理模块输入端相连。

前端数据处理模块：监控终端设备的组成部分之一，具体又包括毫米波雷达数据处理单元、高清视频图像处理单元、雷达-视频数据匹配与融合单元三部分。毫米波雷达数据处理单元对接收到的雷达数据进行噪声处理和信息提取，并将空间位置坐标转换至统一的道路坐标系中；高清视频图像处理单元对接收到的视频数据进行图像处理，采用背景差分提取车辆前景目标，采用模式识别算法提取出车辆类型、车辆号牌、号牌颜色等车辆信息；雷达-视频数据匹配与融合单元将雷达采集的车辆位置信息与视频图像上车辆位置进行匹配与融合，将雷达采集的车辆空间位置、行车速度与车辆类型、车辆号牌等信息进行关联。前端数据处理模块的输入端分别与雷达设备的输出端、高清摄像机设备的输出端相连，前端数据处理模块的输出端与数据通信设备的输入端相连。

电源控制模块：监控终端设备的组成部分之一，负责对毫米波雷达设备和高清摄像机以及前端处理单元供电。

数据通信设备：负责将监控终端设备的数据(包括毫米波雷达、高清摄像机采集的原始数据，前端数据处理模块的处理数据)按统一的格式传送至数据存储设备。每一套监控终端设备对应独立的数据通信设备，并均独立接入数据存储设备。数据通信设备的输入端与对应监控终端设备的输出端相连，数据通信设备的输出端与数据存储设备的输入端相连。

数据存储设备：负责将数据通信设备传输来的数据存入存储设备中指定的数据库。数据存储设备存在多个数据输入端接口，每一套监控终端设备对应一个输入端接口。数据存储设备的输出端与后台数据处理服务器的输入端相连。

后台数据处理服务器：负责读取存储于数据存储设备中的数据，进行单组监控终端设备内部的数据关联处理，实现对同一车辆在某一子监测区域下的轨迹跟踪与提取；并进行监控终端设备组群之间的数据融合处理，实现监测区域之间的车辆轨迹匹配衔接，获取车辆通过整个监测区域的完整行车轨迹与速度、加速度运行特征，并对典型的驾驶行为如超速、变道、紧急刹车、随意停车等进行分析与特殊标记。其输入端与数据存储设备的输出端相连，输出端与车辆行驶状态显示模块相连。

车辆行驶状态显示模块：负责车辆在监测区域内的行驶过程在计算机上的可视化显示，包括显示完整的运动轨迹、运动速度和加速度，以及车辆类型、车牌号码、车牌颜色等车辆信息。若出现违法违规驾驶行为，采用红颜色予以突出标识。车辆行驶状态显示模块的输入端与后台数据处理服务器的输出端相连。

如图2所示，基于雷达与视频组群的车辆行为监测系统的实现方法包括如下步骤：

步骤一：毫米波雷达-高清摄像机设备位置确定与安装并组网，包括：

(1)雷达设备与高清摄像机设备安装；

(2)雷达设备、高清摄像机设备与监测路段三者编码关联。

步骤二：毫米波雷达-高清摄像机空间坐标系组内标定与组间标定。

首先确定雷达坐标系、高清摄像机坐标系与道路空间坐标系之间的转换参数，具体步骤为：

1、对雷达间相对距离通过全站仪进行采集；

2、将雷达间方向按照“当前雷达径向正对下一个雷达”进行调整；

3、利用雷达本身的车流数据对自身方向角进行矫正。(车流末端必须处于雷达径向轴线)包括：

a.软矫正，通过对雷达伺服器的参数进行调整达到正对效果；

b.硬矫正，对较大偏差进行现场重新安装；

4、以某一雷达的检测路段为起始点，利用全站仪标定所有的摄像头的坐标方向；

5、标定摄像头的检测路段。

步骤三：道路交通数据采集与前端数据处理，具体包括：

(1)毫米波雷达数据采集与数据处理：

a.对雷达返回的目标信息进行聚类分析；

b.剔除产生的非法噪点，对信号进行滤波；

c.对大型车辆的密集聚类点进行再聚类；

(2)高清视频数据采集与视频图像处理：

a.对高清摄像机的摄像头内的车流信息进行车道识别；

b.对摄像头内的移动目标进行车辆识别；

c.按照车道信息标注大致的位置；

(3)雷达-视频数据匹配与融合：

a.在雷达坐标系内寻找摄像头检测路段的目标信息；

b.按照摄像头中的车道信息以及位置信息，在雷达路段内寻找匹配目标；

c.将目标信息返回给摄像头进行标注。

步骤四：数据传输与数据存储，具体包括：

(1)数据传输

a.雷达信息通过时序数据库由中央服务器发送给所有请求的客户端；

b.视频信息通过视频服务器经过本地处理与雷达信息融合；

(2)数据存储

a.雷达数据存储于云端，近期数据完全保存，远期数据将采样后保存。

步骤五：车辆目标的实时行驶状态显示。

将车辆信息(车辆类型、车辆号牌、号牌颜色)及车辆行驶状态信息(位置坐标、速度、加速度)数据叠加于视频图像中实时显示。

步骤六：雷达-视频单组内车辆离散行驶状态数据关联——车辆行驶轨迹提取。具体地：车辆行驶轨迹通过对雷达数据进行聚类分析得到；车辆轨迹通过在二维平面内展示。

步骤七：雷达-视频组群间数据融合——相邻监测区域同一车辆行驶轨迹衔接与跟踪，主要内容为：将相邻检测区域融合依托于雷达数据；对于已经融合的雷达数据标定视频组检测区域内相对位置。

步骤八：全路段车辆驾驶行为分析与过程重建。

步骤九：全路段车辆驾驶行为过程可视化显示，包括：

·雷达数据可视化，对于全部路段对融合后的数据进行可视化；

·视频雷达可视化，选择某一摄像头，对摄像头内的车辆进行可视化标注。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的工作人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.基于雷达与视频组群的车辆行为监测系统，其特征在于，该系统包括：

监控终端设备：用于采集指定区域的车辆目标的行驶状态数据和高清视频图像；多套监控终端设备设置在道路路侧上，每一套监控终端设备设有用以同步采集行驶状态数据和视频图像的毫米波雷达设备和高清摄像机，以及用以为毫米波雷达设备和高清摄像机进行供电的电源控制模块；

前端数据处理模块：用于对监控终端设备采集的数据进行处理，该模块包括毫米波雷达数据处理单元、高清视频图像处理单元以及雷达-视频数据匹配与融合单元，前端数据处理模块由电源控制模块供电；

数据通信设备：用于将监控终端设备的数据按统一格式传送至数据存储设备，每一套监控终端设备对应独立的数据通信设备；

数据存储设备：用于将数据通信设备传输的数据存入存储设备中指定的数据库，数据存储设备存在多个数据输入端接口，每一套监控终端设备对应一个输入端接口，每一套监控终端设备均独立接入数据存储设备；

后台数据处理服务器：用于读取存储于数据存储设备中的数据，进行单组监控终端设备内部的数据关联处理，实现对同一车辆在某一子监测区域下的轨迹跟踪与提取；并进行监控终端设备组群之间的数据融合处理，实现监测区域之间的车辆轨迹匹配衔接，获取车辆通过整个监测区域的完整行车特征，并对典型的驾驶行为进行分析与特殊标记；

车辆行驶状态显示模块：用于对车辆在监测区域内的行驶过程在计算机上进行可视化显示。

2.根据权利要求1所述的基于雷达与视频组群的车辆行为监测系统，其特征在于，所述的毫米波雷达数据处理单元对接收到的雷达数据进行噪声处理和信息提取，并将空间位置坐标转换至统一的道路坐标系中；所述的高清视频图像处理单元对接收到的视频数据进行图像处理，采用背景差分提取车辆前景目标，采用模式识别算法提取出车辆类型、车辆号牌、号牌颜色等车辆信息；所述的雷达-视频数据匹配与融合单元将雷达采集的车辆位置信息与视频图像上车辆位置进行匹配与融合，将雷达采集的车辆空间位置、行车速度与车辆类型、车辆号牌等信息进行关联。

3.根据权利要求1所述的基于雷达与视频组群的车辆行为监测系统，其特征在于，所述的后台数据处理服务器获取车辆通过整个监测区域的完整行车特征包括轨迹与速度、加速度运行特征。

4.根据权利要求3所述的基于雷达与视频组群的车辆行为监测系统，其特征在于，所述的车辆行驶状态显示模块对车辆在监测区域内的行驶过程在计算机上的可视化显示包括完整的运动轨迹显示、运动速度和加速度显示以及包含车辆类型、车牌号码、车牌颜色在内的车辆信息显示，若后台数据服务器对典型的驾驶行为进行分析的结果为出现违法违规驾驶行为，则采用红颜色予以突出标识。

5.一种实现如权利要求1-4任一项所述的基于雷达与视频组群的车辆行为监测系统的方法，其特征在于，该方法包括如下步骤：

1)确定毫米波雷达设备、高清摄像机在道路路侧的安装位置，将其安装并组网，并使毫米波雷达设备、高清摄像机与监测路段三者编码关联；

2)对毫米波雷达-高清摄像机空间坐标系进行组内标定与组间标定；

3)利用毫米波雷达设备、高清摄像机采集道路交通数据，利用前端数据处理模块对采集的数据进行处理；

4)将处理后的数据进行数据传输与数据存储；

5)对车辆目标的实时行驶状态进行显示；

6)对毫米波雷达-视频单组内车辆离散行驶状态进行数据关联，提取车辆行驶轨迹；

7)将毫米波雷达-视频组群间数据进行融合，对相邻监测区域的同一车辆进行行驶轨迹衔接与跟踪；

8)对全路段车辆驾驶行为进行分析与过程重建；

9)对全路段车辆驾驶行为过程进行可视化显示。

6.根据权利要求5所述的基于雷达与视频组群的车辆行为监测系统的实现方法，其特征在于，步骤2)具体包括以下步骤：

21)对毫米波雷达设备间的相对距离通过全站仪进行采集；

22)将毫米波雷达间方向按照当前雷达径向正对下一个雷达进行调整；

23)利用毫米波雷达本身的车流数据对自身方向角进行矫正，具体包括：

a)软矫正，通过对毫米雷达的雷达伺服器的参数进行调整达到正对效果；

b)硬矫正，对于较大偏差的毫米波雷达进行现场重新安装；

24)以某一毫米波雷达的检测路段为起始点，利用全站仪标定所有的高清摄像机的摄像头的坐标方向；

25)标定摄像头的检测路段。

7.根据权利要求5所述的基于雷达与视频组群的车辆行为监测系统的实现方法，其特征在于，步骤3)具体包括以下步骤：

31)前端数据处理模块对毫米波雷达返回的目标信息进行聚类分析，剔除产生的非法噪点，对信号进行滤波，并对大型车辆的密集聚类点进行再聚类；

32)前端数据处理模块对高清摄像机的摄像头内的车流信息进行车道识别，对摄像头内的移动目标进行车辆识别，并按照车道信息标注位置；

33)在毫米波雷达坐标系内寻找摄像头检测路段的目标信息，按照高清摄像机的摄像头中的车道信息以及位置信息，在雷达路段内寻找匹配目标，并将目标信息返回给摄像头进行标注。

8.根据权利要求5所述的基于雷达与视频组群的车辆行为监测系统的实现方法，其特征在于，步骤4)中，数据传输步骤包括：

a)雷达信息通过时序数据库由中央服务器发送给所有请求的客户端；

b)视频信息通过视频服务器经过本地处理与雷达信息融合；

数据存储步骤为将毫米波雷达数据存储于云端，其中，将近期数据完全保存，远期数据将采样后保存。

9.根据权利要求5所述的基于雷达与视频组群的车辆行为监测系统的实现方法，其特征在于，步骤6)中，车辆行驶轨迹通过对毫米波雷达数据进行聚类分析获取，车辆轨迹通过在二维平面内进行展示。

10.根据权利要求5所述的基于雷达与视频组群的车辆行为监测系统的实现方法，其特征在于，步骤7)的具体内容为：

将相邻检测区域的毫米波雷达数据进行融合；对于已经融合的毫米波雷达数据标定视频组检测区域内的相对位置。

Images