CN106408940B - 基于微波和视频数据融合的交通检测方法及装置 - Google Patents

Abstract

本发明公开了一种基于微波和视频数据融合的交通检测装置，包括视频传感器、微波传感器、A/D转换模块、处理器模块、网络通信模块、交通流参数数据融合模块、交通流管理平台、目标跟踪模块、交通事件与信息管理平台；公开了一种基于微波和视频数据融合的交通检测方法，该方法用装置实现信息互补、数据融合。本发明的装置能够提高系统可靠性、可以给出对目标位置的精确估计，得到更为精确地数据，为有关部门提供强有力的参数；本发明提出基于微波与视频数据的融合方法，微波传感器检测到数据库中录入的某些交通行为后，控制视频传感器进行拍照，再进行分析与数据库是否匹配，进行报警，降低了虚警率，减少人力物力，真正做到智能化检测。

Description

基于微波和视频数据融合的交通检测方法及装置

技术领域

本发明属于智能交通领域，更具体而言，本发明涉及一种基于微波和视频数据融合的交通检测方法及装置。

背景技术

数据融合主要有数据级、特征级和决策级融合三种方式。数据级融合是指在融合算法中，要求进行融合的传感器数据具有精确到一个像素的匹配精度的任何信息的融合；特征级融合是指从各个传感器提供的原始数据中进行特征提取，然后融合这些特征；决策级融合是指在融合之前，各传感器数据源都经过变换并获得独立的身份估计。

数据融合过程包括多传感器的目标检测、数据关联、跟踪与识别、情况估计与合并。数据融合是对多个传感器和信息源所提供的关于某一环境特征的不完整信息加以综合，以形成相对完整、一致的感知描述，从而实现更加准确的识别判断功能。通过融合得到比单独的各个输入数据更多的信息，由于更多传感器的共同作用，使系统的有效性得以增强。

多传感器系统设备的设计和生产力提高，使得传感器性能大大提高，如何处理数量庞大，种类繁多的信息成为多传感器系统首先要考虑的问题。特别是在信息具有不确定性的情况下，相对于单传感器数据处理只是对单一传感器所获得数据或信息进行的处理，可能存在部分不完整或者不可靠的信息，多传感器数据融合能有效地综合利用多传感器信息，从而可以在很大程度上获得被探测目标和环境的更加精确、完整的信息和一致性的描述或理解。

微波传感器是一种用于全天候监测交通状况的雷达装置。它可以测量微波覆盖区域内目标的距离，方位角，速度，大小等，能提供目标完整的位置信息和多普勒信息，通过这些测量来实现对多车道的车辆和行人的检测。在进行检测时，微波传感器接收到反射的回波信号，对回波信号进行背景抑制，提取有用的信号，能够检测出交通流信息，在目标探测和跟踪方面发挥了重要作用。缺点是不能像视频那样可以直观的看到目标的运动状态，及车辆的车牌号、颜色等信息的判断。

视频车辆传感器是采用摄像机作为视频传感器，是一种基于视频图像分析和计算机视觉技术对路面运行车辆进行检测分析的集成系统，利用图像工程学的方法实时监测分析输入的交通图像，能够检测交通动态行为和各种交通数据，包括交通流量、车型分类、占有率、车速、排队长度、车牌号、车身颜色等。缺点是受现场照明条件限制，目前图像处理的实时性较差，检测精度受到整个系统软硬件的限制。

发明内容

本发明公开了一种基于微波和视频数据融合的交通检测方法及装置，该方法和装置能够更准确地监测交通行为状态和统计交通流信息，从而实现了大交通系统的动态化优化运行，有效地满足了公众不断扩大的交通需求。

本发明所采用的技术方案是：

一种基于微波和视频数据融合的交通检测装置，所述装置包括视频传感器、微波传感器、A/D转换模块、处理器模块、网络通信模块、交通流参数数据融合模块、交通流管理平台、目标跟踪模块、交通事件与信息管理平台；

所述视频传感器和所述微波传感器分别与所述A/D转换模块相连接，视频传感器和微波传感器输出的不同特征的非电量信号，然后经过所述A/D转换模块将它们转换为能由计算机处理的数字量；所述A/D转换模块与所述处理器模块连接，所述处理器模块与所述网络通信模块连接，所述处理器模块对经由所述A/D转换模块处理转换成数字量的数据进行处理，滤除一些异常数据以便得到有用信号，有用信号再由所述网络通信模块进行传输；

所述网络通信模块分别与所述交通流参数数据融合模块、所述目标跟踪模块相连接，所述网络通信模块将有用信号传输给所述交通流参数数据融合模块、所述目标跟踪模块；

所述交通流参数数据融合模块和所述交通流管理平台连接，所述交通流参数数据融合模块对有用信号进行时空统一、特征提取，并按一定的规则对特征量进行数据融合计算，最后将融合结果输出给所述交通流管理平台；

所述目标跟踪模块和交通事件与信息管理平台连接，所述目标跟踪模块对有用信号进行时空统一、特征提取，并按一定的规则对特征量进行数据融合计算，最后将融合结果输出给所述信息管理平台。

一种基于微波和视频数据融合的交通检测方法，包含以下步骤：

第一步：检测，两组传感器检测区域内分别进行背景噪声抑制，输出交通流量、平均速度、占有率、排队长度及其他即时信息；

第二步：原始数据预处理，对输入的多组传感器数据进行标准化并进行预处理，满足后续估计及处理器模块对计算量和计算顺序的要求；

对于异常数据预处理方法采用格拉布斯统计方法；

第三步：时空校准，校准统一各传感器的时间和空间参考点，在时间上对齐到同一时间基准、在空间上转换到同一坐标系，建立坐标对应关系，使得处理后的结果好像是数据融合处理中心站所采集的一样；若各传感器在时间和空间上是独立地异步工作，则必须进行时间搬移和坐标变换，以形成融合所需的统一的时间和空间参考点；通过对单个传感器获得的位置与身份类别的估计信息进行融合，获得更加准确的目标位置、状态与身份类别的估计；

第四步：基础动态交通参数融合，把来自视频传感器和微波传感器能够同时检测路段上的交通流量、平均速度、占有率、排队长度等基础交通参数进行融合处理，得出更准确可靠的交通流参数；同时这一层次的融合结果是下一个融合系统的输入；

第五步：数据关联，判别不同时间空间的数据是否来自同一目标，雷达与视频目标进行匹配，能成功匹配确定为真实的目标，按设定方式处理，不能匹配的目标，认为不能确定的目标，不能排除可能性；以目标的距离、方位、相对速度作为参数，计算雷达目标与视频目标的关联度值，当关联度值大于设定的阈值时，认为匹配；对同一传感器相继测报的相关数据进行综合及状态估计，并参照其他信息源的测报对数据进行修改验证把各个传感器传送来的点迹进行关联，保持对目标进行连续跟踪；

第六步：目标识别与跟踪；根据不同传感器测得的某一目标特征形成一个N维的特征向量，每一维代表目标的一个独立特征，与一致的特征进行比较，从而确定目标的类别。每次扫描结束就将新数据集与原有的数据进行融合，根据传感器的观测值估计目标参数，并用这些估计预测下一次扫描中目标的位置；

第七步：交通行为估计；雷达检测到目标，输出三维坐标，控制视频监控输出图像，根据视频坐标模型以及雷达与视频的位置关系，以A、B两点最小距离值d作为匹配条件，使得两个传感器探测到的同一目标物的信息对应，以从同步图像中匹配识别出为同一目标。将所有目标的数据集与先前确定的可能态势的行为模式相比较，以确定哪种行为模式与监视区域内所有目标的状态最匹配，将这些信息同一保存到交通信息平台。

优选地，在所述第二步中，所述对于异常数据预处理方法用格拉布斯统计方法具体如下：

计算输出的各检测数据Z_i的均值

计算标准差

计算格拉布斯统计量

给定根据数据量n，显著水平a＝0.05，通过查表法找出格拉布斯统计量的临界值T(n，a)，与T进行比较；按照P[T≥T(n，a)]＝a为小概率事件，舍弃T≥T(n，a)的数据。

优选地，在所述第三步中，坐标对应关系的建立步骤如下：

首先，利用标定技术计算视频传感器的内部参数，建立视频传感器坐标模型；

其次，根据视频传感器坐标模型、以及微波传感器与视频传感器之间的位置关系，建立世界坐标系下微波传感器所监测到的目标在视频传感器所采集的图像平面中的坐标对应关系；

最后，根据坐标对应关系就可以实现微波传感器的信息与视频信息进行融合，实现微波传感器探测的3D世界坐标转换成视频图像中对应的2D图像坐标p′(u′，v′)，以充分利用微波传感器监测到的位置信息对应至视频图像中。

优选地，在所述第四步中，对于同一观测对象，不同传感器输出的结果会有所不同，在没有先验知识的情况下，采取以下方法来进行数据融合：

采用自适应最优加权融合模型，设两个传感器的交通流数据方差分别为σ₁、σ₂，所要估计的真值为X，各个传感器的测量值分别为X₁、X₂，他们彼此互相独立，并且是X的无偏估计；各个传感器的加权因子分别为W₁、W₂，则融合后的测量值

为：

其中

该方法可以不需要知道这两个检测测量数据的任何先验知识，只是应用多传感器提供的检测数据，就可以融合出均值误差最小的数据融合值。

优选地，所述第七步中采用模糊综合决策模型构造一个交通事件识别算法，步骤如下：

A1、交通行为估计，建立模型库，对通常出现的交通异常状态建模，便于将测得的行为模式与数据库中的模式匹配；

A2、实时监控路面状态，通过微波传感器2和视频传感器1进行实时监控；

A3、通过雷达在监测范围内发生事件情况的判断，若为否，则返回A2继续进行实时监控路面状态，若为是，则进入下一步骤；

A4、输出事件目标的三维坐标，视频采集当前的同步图像；雷达和视频信息融合，将三维坐标映射到同步图像中的雷达探测坐标，发出预警信息，并通过视频传感器1进行视频采集当前的同步图像；

A5、雷达和视频信息融合，将三维坐标映射得到同步图像中的雷达探测坐标；

A6、在世界坐标系中，建立雷达探测坐标与图像检测目标的匹配关系，从同步图像中识别出事件信息；

A7、输出交通事件类型及事件车辆的图片、车牌号等信息至交通事件与信息管理管理平台。

采用上述技术方案后，本发明中视频和雷达组合使用构成雷达-视频多传感器系统，利用信息互补，通过数据融合技术，成为相互独立又彼此补充的探测跟踪手段，能够提高系统可靠性可以给出对目标位置的精确估计；通过各个传感器检测的交通流信息进行融合处理，得到更为精确地数据，为有关部门提供强有力的参数；通过以雷达检测为主视频取证为辅，对交通行为状态进行估计，对发生的事件信息进行告警抓拍取证；本发明提出基于微波与视频数据的融合方法，通过对这两种传感器的原始数据进行预处理之后，经过时空统一，得出标准化的特征信息；在数据融合模块，通过使用基于权值的决策级数据融合方法，输出更为精确的交通流信息；微波传感器检测到数据库中录入的某些交通行为后，控制视频传感器进行拍照，再进行分析与数据库是否匹配，进行报警，降低了虚警率，减少人力物力，真正做到智能化检测。

附图说明

图1是本发明基于微波和视频数据融合的交通检测装置的示意框图；

图2是微波和视频数据融合方法的示意框图；

图3是数据预处理方法的示意框图；

图4是基于微波与视频数据融合的交通行为估计方法的示框意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

一种基于微波和视频数据融合的交通检测装置，如图1所示，所述装置包括视频传感器1、微波传感器2、A/D转换模块3、处理器模块4、网络通信模块5、交通流参数数据融合模块6、交通流管理平台7、目标跟踪模块8、交通事件与信息管理平台9，视频传感器1和微波传感器2分别与A/D转换模块3相连接，视频传感器1和微波传感器2输出的不同特征的非电量信号，然后经过A/D转换模块3将它们转换为能由计算机处理的数字量；A/D转换模块3与处理器模块4连接，处理器模块4与网络通信模块5连接，处理器模块4对经由A/D转换模块3处理转换成数字量的数据进行处理，滤除一些异常数据以便得到有用信号，有用信号再由网络通信模块5进行传输；网络通信模块5分别与交通流参数数据融合模块6、目标跟踪模块8相连接，网络通信模块5将有用信号传输给交通流参数数据融合模块6、目标跟踪模块8；交通流参数数据融合模块6和交通流管理平台7连接，交通流参数数据融合模块6对有用信号进行时空统一、特征提取，并按一定的规则对特征量进行数据融合计算，最后将融合结果输出给交通流管理平台7；目标跟踪模块8和交通事件与信息管理平台9连接，目标跟踪模块8对有用信号进行时空统一、特征提取，并按一定的规则对特征量进行数据融合计算，最后将融合结果输出给信息管理平台。

如图2图4所示，下面对基于微波和视频数据融合的交通检测方法进行说明，一种基于微波和视频数据融合的交通检测方法包括如图2所示的流程，如下：

第一步：检测，两组传感器检测区域内分别进行背景噪声抑制，输出交通流量、平均速度、占有率、排队长度及其他即时信息；

第二步：原始数据预处理，对输入的多组传感器数据进行标准化并进行预处理，满足后续估计及处理器模块4对计算量和计算顺序的要求；

对于异常数据预处理方法用格拉布斯统计方法；

具体计算方法如下：

计算输出的各检测数据Z_i的均值

计算标准差

计算格拉布斯统计量

给定根据数据量n，显著水平a＝0.05，通过查表法找出格拉布斯统计量的临界值T(n，a)，与T进行比较；按照P[T≥T(n，a)]＝a为小概率事件，舍弃T≥T(n，a)的数据；

第三步：时空校准，校准统一各传感器的时间和空间参考点，在时间上对齐到同一时间基准、在空间上转换到同一坐标系，建立坐标对应关系，使得处理后的结果好像是数据融合处理中心站所采集的一样；若各传感器在时间和空间上是独立地异步工作，则必须进行时间搬移和坐标变换，以形成融合所需的统一的时间和空间参考点；通过对单个传感器获得的位置与身份类别的估计信息进行融合，获得更加准确的目标位置、状态与身份类别的估计；

坐标对应关系的建立步骤为：利用标定技术计算视频传感器1的内部参数，建立视频传感器1坐标模型；根据视频传感器1坐标模型、以及微波传感器2与视频传感器1之间的位置关系，建立世界坐标系下微波传感器2所监测到的目标在视频传感器1所采集的图像平面中的坐标对应关系；最后根据坐标对应关系就可以实现微波传感器2的信息与视频信息进行融合，实现微波传感器2探测的3D世界坐标转换成视频图像中对应的2D图像坐标p′(u′，v′)，以充分利用微波传感器2监测到的位置信息对应至视频图像中；

第四步：基础动态交通参数融合，把来自视频传感器1和微波传感器2能够同时检测路段上的交通流量、平均速度、占有率、排队长度等基础交通参数进行融合处理，得出更准确可靠的交通流参数。同时这一层次的融合结果是下一个融合系统的输入，这种多层次的融合系统结构设计，有利于实现多主体协同信息处理，可以分散各处理中心的处理负担，有利于提高系统效率。

对于同一观测对象，不同传感器输出的结果会有所不同，在没有先验知识的情况下，采取以下方法来进行数据融合，使得提供的检测数据能够均值误差最小；

采用自适应最优加权融合模型，设两个传感器的交通流数据方差分别为σ₁、σ₂，所要估计的真值为X，各个传感器的测量值分别为X₁、X2，他们彼此互相独立，并且是X的无偏估计；各个传感器的加权因子分别为W₁、W₂，则融合后的测量值

为：

其中

该方法可以不需要知道这两个检测测量数据的任何先验知识，只是应用多传感器提供的检测数据，就可以融合出均值误差最小的数据融合值；

第五步：数据关联，判别不同时间空间的数据是否来自同一目标，雷达与视频目标进行匹配，能成功匹配确定为真实的目标，按设定方式处理，不能匹配的目标，认为不能确定的目标，不能排除可能性；以目标的距离、方位、相对速度作为参数，计算雷达目标与视频目标的关联度值，当关联度值大于设定的阈值时，认为匹配；对同一传感器相继测报的相关数据进行综合及状态估计，并参照其他信息源的测报对数据进行修改验证把各个传感器传送来的点迹进行关联，保持对目标进行连续跟踪；

第六步：目标识别与跟踪；根据不同传感器测得的某一目标特征形成一个N维的特征向量，每一维代表目标的一个独立特征，与一致的特征进行比较，从而确定目标的类别。每次扫描结束就将新数据集与原有的数据进行融合，根据传感器的观测值估计目标参数，并用这些估计预测下一次扫描中目标的位置；

第七步：交通行为估计；雷达检测到目标，输出三维坐标，控制视频监控输出图像，根据视频坐标模型以及雷达与视频的位置关系，以A、B两点最小距离值d作为匹配条件，使得两个传感器探测到的同一目标物的信息对应，以从同步图像中匹配识别出为同一目标，将所有目标的数据集与先前确定的可能态势的行为模式相比较，以确定哪种行为模式与监视区域内所有目标的状态最匹配，将这些信息同一保存到交通信息平台；

交通事件是指道路上偶发性事件如车辆交通事故、故障停车、交通堵塞等，这些事件发生时将会引起交通被阻断，该处将变得相对拥挤，由第四步可以得出基础的交通参数信息，当占有率增加，速度降低，密度变大时需要判定是否存在事件，需要及时处理。本步骤是在前期分析融合后的交通流参数，进行论证是否存在异常交通事件；

在第七步中，采用模糊综合决策模型构造了一个交通行为识别方法，步骤如下：

A1、交通行为估计，建立模型库，对通常出现的交通异常状态建模，便于将测得的行为模式与数据库中的模式匹配；

A2、实时监控路面状态，通过微波传感器2和视频传感器1进行实时监控；

A3、通过雷达在监测范围内发生事件情况的判断，若为否，则返回A2继续进行实时监控路面状态，若为是，则进入下一步骤；

A4、输出事件目标的三维坐标，视频采集当前的同步图像；雷达和视频信息融合，将三维坐标映射到同步图像中的雷达探测坐标，发出预警信息，并通过视频传感器1进行视频采集当前的同步图像；

A5、雷达和视频信息融合，将三维坐标映射得到同步图像中的雷达探测坐标；

A6、在世界坐标系中，建立雷达探测坐标与图像检测目标的匹配关系，从同步图像中识别出事件信息；

A7、输出交通事件类型及事件车辆的图片、车牌号等信息至交通事件与信息管理管理平台9。

信息融合的优越性可以说是运算的稳健性，扩大空间和时间的覆盖范围，增加估计的可信度，改善检测性能，改善空间分辩能力，充分利用多传感器的资源和调度系统，最大限度发挥资源的利用率并提高多传感器系统的生存能力。

本发明运用分层融合算法，在系统的预处理环节对异常数据进行剔除，在交通参数采集环节及交通行为估计分别进行数据融合，提高了系统的鲁棒性。该技术融合了精确的多维信息，特别是在信息具有不确定性的情况下，相对于单传感器数据处理只是对单一传感器所获得数据或信息进行的处理，可能存在部分不完整或者不可靠的信息，多传感器数据融合能有效地综合利用多传感器信息，从而可以在很大程度上获得被探测目标和环境的更加精确、完整的信息和一致性的描述或理解。

本发明中视频和雷达组合使用构成雷达视频多传感器系统，利用信息互补，通过数据融合技术，成为相互独立又彼此补充的探测跟踪手段，能够提高系统可靠性可以给出对目标位置的精确估计；通过各个传感器检测的交通流信息进行融合处理，得到更为精确地数据，为有关部门提供强有力的参数；通过以雷达检测为主视频取证为辅，对交通行为状态进行估计，对发生的事件信息进行告警抓拍取证；

本发明提出基于微波与视频数据的融合方法，通过对这两种传感器的原始数据进行预处理之后，经过时空统一，得出标准化的特征信息；在数据融合模块，通过使用基于权值的决策级数据融合方法，输出更为精确的交通流信息；微波传感器2检测到数据库中录入的某些交通行为后，控制视频传感器1进行拍照，再进行分析与数据库是否匹配，进行报警，降低了虚警率，减少人力物力，真正做到智能化检测。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种基于微波和视频数据融合的交通检测方法，其特征在于，包含以下步骤：

第一步：检测，两组传感器检测区域内分别进行背景噪声抑制，输出交通流量、平均速度、占有率、排队长度及其他即时信息；

第二步：原始数据预处理，对输入的多组传感器数据进行标准化并进行预处理，满足后续估计及处理器模块对计算量和计算顺序的要求；

对于异常数据预处理方法采用格拉布斯统计方法；

第三步：时空校准，校准统一各传感器的时间和空间参考点，在时间上对齐到同一时间基准、在空间上转换到同一坐标系，建立坐标对应关系；若各传感器在时间和空间上是独立地异步工作，则必须进行时间搬移和坐标变换，以形成融合所需的统一的时间和空间参考点；通过对单个传感器获得的位置与身份类别的估计信息进行融合，获得目标位置、状态与身份类别的估计；

第四步：基础动态交通参数融合，把来自视频传感器和微波传感器能够同时检测路段上的交通流量、平均速度、占有率、排队长度进行融合处理，得出交通流参数；同时这一层次的融合结果是下一个融合系统的输入；

第五步：数据关联，将微波目标与视频目标进行匹配，能成功匹配确定为真实的目标，按设定方式融合；以目标的距离、方位、相对速度作为参数，计算微波目标与视频目标的关联度值，当关联度值大于设定的阈值时，认为匹配包括：对同一传感器相继测报的相关数据进行综合及状态估计，并参照其他信息源的测报对数据进行修改验证把各个传感器传送来的点迹进行关联，保持对目标进行连续跟踪；

第六步：目标识别与跟踪；根据不同传感器测得的某一目标特征形成一个N维的特征向量，每一维代表目标的一个独立特征，与一致的特征进行比较，从而确定目标的类别，每次扫描结束就将新数据集与原有的数据进行融合，根据传感器的观测值估计目标参数，并用目标参数预测下一次扫描中目标的位置；

第七步：交通行为估计；

A1、交通行为估计，建立模型库，对通常出现的交通异常状态建模，便于将测得的行为模式与数据库中的模式匹配；

A2、实时监控路面状态，通过微波传感器和视频传感器进行实时监控；

A3、通过微波传感器在监测范围内对是否发生异常行为进行判断，若为否，则返回A2继续进行实时监控路面状态，若为是，则进入A4；

A4、输出异常行为目标的三维坐标，视频传感器采集当前的同步图像；微波传感器和视频传感器采集的信息融合，将三维坐标映射到同步图像中，从同步图像中识别出异常行为信息，发出预警信息；

A5、输出交通事件类型及事件车辆的图片、车牌号至交通事件与信息管理平台。

2.根据权利要求1所述的一种基于微波和视频数据融合的交通检测方法，其特征在于：在所述第二步中，所述对于异常数据预处理方法用格拉布斯统计方法具体如下：

计算输出的各传感器数据Zi的均值

计算标准差

计算格拉布斯统计量；

给定根据数据量n，显著水平a＝0.05，通过查表法找出格拉布斯统计量的临界值T(n，a)，与T进行比较；按照P[T≥T(n，a)]＝a为小概率事件，舍弃T≥T(n，a)的数据。

3.根据权利要求1所述的一种基于微波和视频数据融合的交通检测方法，其特征在于：在所述第三步中，坐标对应关系的建立步骤如下：

首先，利用标定技术计算视频传感器的内部参数，建立视频传感器坐标模型；

其次，根据视频传感器坐标模型、以及微波传感器与视频传感器之间的位置关系，建立世界坐标系下微波传感器所监测到的目标在视频传感器所采集的图像平面中的坐标对应关系；

最后，根据坐标对应关系实现微波传感器采集的信息与视频传感器采集的信息进行融合，实现微波传感器探测的3D世界坐标转换成视频图像中对应的2D图像坐标p′(u′，v′) 。

Images