CN114298163A - 一种基于多源信息融合的在线路况检测系统及方法 - Google Patents

Abstract

本发明公开了一种基于多源信息融合的在线路况检测系统及方法，系统包括雷达传感模块，用于测量待测目标的位置、速度信息和采样周期；视频传感模块，用于获取各种场景的图像数据；数据处理模块，用于对所述雷达传感模块和视频传感模块的信息进行融合处理，以及对交通流信息进行计算；参数配置模块，用于进行车道配置、雷达标定以及相机标定这些参数的配置；可视化显示模块，用于实现各模块数据结果以及信息的输出与存储显示。本发明克服了单一信息方法及系统带来的信息不准确性及易受环境干扰的问题，并且通过多源信息融合增加了路况检测信息的全面性。

Description

一种基于多源信息融合的在线路况检测系统及方法

技术领域

本发明属于智能交通技术领域，特别是一种基于多种传感器信息融合的在线路况检测系统及方法。

背景技术

在国家政策的大力推动下，“智慧城市”的建设已占据着引领城市发展的核心战略地位，随着交通监控方法及系统应用越来越广泛，实际需求与问题也日益增加。现有路况检测方法及系统主要有两种类型：基于视频传感的路况检测方法及系统和基于雷达传感的路况检测方法及系统。

基于视频传感的路况检测方法及系统通过对监测区域的道路视频进行图像处理和分析，得到车辆在图片上的有无及位置信息，并根据图片位置的变化，可粗略估算车辆的距离和速度。视频型路况检测器能提供路面的影像情况，对图像区域的大车，密集的小车均有优异的检测性能；在不同车辆车型和行人的识别效果上也具有一定优势。但视频型检测方法及系统受到光亮情况、气候条件影响很大，同时检测距离也有限，一般不超过100米。基于雷达传感的路况检测方法及系统通过对检测区域进行调制连续波的发射和接收，依据点云数据的分析可快速计算出目标精确的位置和速度信息，但雷达型检测方法及系统受气候条件及昼夜变换影响较小。但雷达型车辆检测器无法给出道路现场的影像信息，无法检测停止目标，对大车的检测效果不佳，无法有效区分大车、小车、非机动车和行人。

现今的智慧交通领域，雷达数据与视频数据的融合，可以分为早期融合、中期融合、跟踪结果融合。早期融合指在目标跟踪前，结合目标检测框的概率值，对雷达数据与目标检测框进行逻辑运算，该方式会造成大量的漏检。中期融合，值在目标跟踪的过程中，使用雷达数据验证视频数据，或是使用视频检测框验证雷达数据，这种方式的精度相比早期融合要好，但过于依赖雷达点自身的信号或是基于视觉目标检测的精度。跟踪结果的融合，指的是在将基于视觉的跟踪与基于雷达的跟踪在时序多帧范围内进行合并，这种方式同样也依赖于二者之一的精度。为此，提出一种高效的融合方式是十分必要的。近几年，随着深度学习技术的发展，基于各种传感器数据的算法大面积得到应用。因此，从深度学习技术在其他领域的出色表现，将深度学习技术应用到雷达数据与视频数据的融合方面是必然的。近几年，同样出现了一些相关的出色工作，但在现实的复杂场景应用中缺乏鲁棒性和精确性，为此针对项目落地，在数据融合方面仍存在很大的提升空间。

发明内容

本发明的目的在于针对上述单一传感器在线路况检测方法及系统的缺点，提出了一种基于多源信息融合的在线路况检测方法及系统，实现了行人、机动车、非机动车等路况目标交通流信息的精准测量。

实现本发明目的的技术解决方案为：一种基于多种传感器信息融合的在线路况检测系统，所述系统包括雷达传感模块、视频传感模块、数据处理模块、参数配置模块及可视化显示模块；

所述雷达传感模块，用于测量待测目标的位置、速度信息和采样周期；

所述视频传感模块，用于获取各种场景的图像数据；

这里，所述雷达传感模块和所述视频传感模块针对同一检测区域进行信息采集；

所述数据处理模块，用于对所述雷达传感模块和视频传感模块的信息进行融合处理，以及对交通流信息进行计算；

所述参数配置模块，用于进行车道配置、雷达标定以及相机标定这些参数的配置；

所述可视化显示模块，用于实现各模块数据结果以及信息的输出与存储显示。

优选地，所述数据处理模块中目标检测基于深度学习模型，并提取目标在图像坐标系的中心位置、目标在图像坐标系中的高和宽、目标的ReID类别特征。

优选地，所述数据处理模块根据雷视目标信息回归出雷达坐标系到图像坐标系的透视变换模型，以此达到智能配准的功能。

优选地，所述数据处理模块使用了一种多源信息融合后提取的多目标ReID特征用于多目标跟踪中的目标比对，基于融合后的特征分别进行浅层特征提取与深层特征提取，可同时输出透视变换信息以及目标检测信息，涵盖了目标点的空间距离以及速度信息，同时克服了传感器噪声引入的误差。

优选地，所述数据处理模块中的深度神经网络使用了端到端训练方式，同时训练浅层透视变换矩阵拟合模块、深层目标检测与ReID特征提取模块。

优选地，所述数据处理模块中训练浅层透视变换矩阵拟合模块所使用的样本标签生成方式，除使用人工标定对应点的方式计算透视变换矩阵外，考虑了对图像进行变换，再根据对应点计算新的透视变换矩阵，以达到数据增广的效果；为了达到场景内车辆位置的多样性，考虑每个相机点位计算多帧雷达点与像素点的对应关系，用作训练过程中的真实值。

优选地，所述数据处理模块中训练深层目标检测及ReID特征提取模块所使用的样本标签生成方式，使用人工标定的方式，跨越多场景下多目标的跟踪ID标定，在ID标签标注的过程中进行跳帧标注，同时需要满足不同的车辆标注不同ID的需求；在训练样本的采集与标注中，使用了跨场景、跨天气、跨时间的不同样本进行标注。

优选地，所述数据处理模块，通过多目标跟踪的ID来统计该时段的车流量，通过计算目标在图像中与车道线的相对位置，判断车辆是否存在越线的行为，从信号机处获取该路段的交通灯信息，结合目标在图像中与车道线的相对位置，判断是否存在闯红灯的行为。

优选地，所述参数配置模块对车道线进行配置，限定雷达信息的位置范围，设置雷达数据标定参数以及相机数据标定参数；当所述目标脱离车道范围时，进行跟踪目标的信息删除设置，所述雷达标定和相机标定参数随着雷达和相机位置的变化而变化。

优选地，所述可视化显示模块包括:实时画面显示、实时检测结果显示、交通流实时信息显示、违法行为统计显示、信息的输出与存储。所述画面显示为视频传感模块采集显示，所述实时检测结果包括单雷达检测跟踪结果、视频目标检测结果以及二者的融合跟踪结果；所述交通流信息包括：行人、机动车和非机动车的位置以及运动状态信息；所述违法行为包括：越车道线信息以及闯红灯信息。

进一步地，所述数据处理模块包括：

场景识别子模块，用于基于深度神经网络对场景中视频质量进行评定；

目标检测及ReID特征提取子模块，用于对雷达数据与视频数据进行融合，生成目标检测框和该目标的ReID特征以进行目标跟踪处理；

后处理子模块，用于根据跟踪结果获取交通流信息和违法行为，并更新参数配置模块。

进一步地，所述场景识别子模块包括：

预处理子模块，用于对视频帧图像进行预处理，该预处理包括：首先变换图像大小至64x64，而后减去图像数据集的均值和除以图像数据集的方差，得到归一化后的分布；

识别子模块，用于将预处理后的图像依次经过ResNet-9深度神经网络的四个阶段和线性层，输出视频质量为正常/非正常类别的概率值，若正常的概率值大于等于0.5，则执行目标检测及ReID特征提取子模块。

进一步地，所述目标检测及ReID特征提取子模块，包括：

多源输入信息采集子模块，用于采集多时刻的雷达数据与单帧的图像数据，采样集合如下式所示：

S＝{F_n R_n-1 R_n R_n+1}

其中，F_n为T_n时刻的视频帧，R_n-1、R_n、R_n+1分别为T_n-1、T_n、T_n+1三个时刻的雷达数据；

第一浅层特征提取子模块，用于提取多时刻雷达数据的浅层特征R_s；

第二浅层特征提取子模块，用于提取单帧图像数据的浅层特征F_s；

多源特征融合子模块，用于对多时刻雷达数据浅层特征R_s与单帧视频浅层特征F_s进行融合；

第三浅层特征提取子模块，用于提取所述多源特征融合子模块融合后特征的浅层特征，获得透视变换矩阵回归值，回归出雷达坐标系到图像坐标系的透视变换矩阵模型；

深层特征提取子模块，用于提取所述多源特征融合子模块融合后特征的深层特征，回归出目标在图像坐标系的中心位置、目标在图像坐标系中的高和宽、目标的ReID特征。

进一步地，所述第一浅层特征提取子模块提取多时刻雷达数据的浅层特征R_s，具体过程包括：

单时刻的雷达数据包含4个属性值

其中X表示雷达坐标系下的横坐标，Y表示雷达坐标系下的纵坐标，V_x表示横坐标方向的速度，V_y表示纵坐标方向的速度；

(1)将单时刻的雷达数据分为2个通道，通道1表示X方向的速度，通道2表示Y方向的速度；

(2)通道维度上将三个时刻的雷达数据叠加，得到6通道的多时刻雷达数据R_input；

(3)将雷达坐标系的平面变换为224x224大小，再寻找最大值进行归一化处理；

(4)输入到卷积核大小为7x7，步长大小为2的卷积层中，之后将输出的结果进行批标准化BatchNormalization处理并经过ReLu处理，最终得到通道数为64的多时刻雷达数据浅层特征R_s，计算公式为：

R_s＝relu(bn(Conv(R_input)))。

进一步地，所述第二浅层特征提取子模块提取单帧图像数据的浅层特征F_s，具体过程包括：

单帧视频数据包括3个通道，记作F_input；

(1)将图像数据变换到224x224大小，各个通道除以255得到归一化后的分布；

(2)输入到卷积核大小为7x7，步长大小为2的卷积层中，将输出结果进行BatchNormalization处理并经过ReLu处理，最终得到通道数为64的单帧视频浅层特征F_s，计算公式为：

F_s＝relu(bn(Conv(F_input)))。

进一步地，所述第三浅层特征提取子模块，用于提取所述多源特征融合子模块融合后特征的浅层特征，获得透视变换矩阵回归值，回归出雷达坐标系到图像坐标系的透视变换矩阵模型，具体过程包括：

将融合后的特征经过3层卷积操作和BatchNormalization操作，3层卷积操作的卷积核大小都为1x1，输出的通道数分别为32、16、9，最后在空间维度取均值，输出透视变换矩阵的9个回归值。

进一步地，所述深层特征提取子模块，用于提取所述多源特征融合子模块融合后特征的深层特征，回归出目标在图像坐标系的中心位置、目标在图像坐标系中的高和宽、目标的ReID特征，具体过程包括：

(1)将融合后的特征分别经过ResNet-18深度神经网络的第二阶段、第三阶段和第四阶段，得到深层特征；

(2)将深层特征分别输入到目标中心点子分支heads_center、目标大小回归子分支heads_wh、目标中心点误差子分支heads_offset、ReID子分支heads_reid，经过解码操作，得到预测的目标检测框S_bbox以及该目标中心点处的特征Feature_reid；上述子分支的网络结构为CenterNet形式；

记检测框中心点输出为Center_bbox、检测框宽度和高度输出为WH_bbox、检测框中心点误差为Offset_bbox，计算为：

Center_bbox＝heads_center(Stage₄(Stage₃(Stage₂(a×F_s+b×R_s))))

WH_bbox＝heads_wh(Stage₄(Stage₃(Stage₂(a×F_s+b×R_s))))

Offset_bbox＝heads_offset(Stage₄(Stage₃(Stage₂(a×F_s+b×R_s))))

Feature_reid＝heads_reid(Stage₄(Stage₃(Stage₂(a×F_s+b×R_s))))

S_bbox＝decode(Center_bbox,WH_bbox,Offset_bbox)。

进一步地，所述目标检测及ReID特征提取子模块根据生成的目标检测框和该目标的ReID特征进行目标跟踪处理，具体包括：

(1)所述目标检测框和ReID特征，分别与跟踪序列维护的历史特征、卡尔曼滤波预测的检测框进行距离代价矩阵计算；其中，ReID特征同各个ID的历史特征使用余弦距离进行度量，目标检测框与卡尔曼滤波预测的检测框使用1-IoU进行度量；

(2)对两个距离代价矩阵加权求和得到总体的距离代价矩阵；

(3)根据所述总体的距离代价矩阵进行匈牙利匹配，得到当前帧各个目标的跟踪ID；

(4)对跟踪到ID的历史特征和跟踪序列进行更新。

进一步地，所述交通流信息包括行人、机动车和非机动车的位置和运动状态信息，以及交通量信息；所述违法行为包括越车道线以及闯红灯；所述更新参数配置模块，包括将解算出的透视变换矩阵更新到参数配置模块中。

一种基于多种传感器信息融合的在线路况检测方法，所述方法包括以下步骤：

步骤1，通过参数配置模块对场景和传感器进行配置；所述传感器包括雷达传感器和视频传感器；

步骤2，获取道路的雷达数据和视频数据；

步骤3，利用数据处理模块对传感器数据进行融合处理，生成目标检测框和该目标的ReID特征以进行目标跟踪处理；

步骤4，根据跟踪结果利用数据处理模块获取交通流信息和违法行为，并更新参数配置模块；

步骤5，将所需信息反馈至可视化显示模块。

本发明与现有技术相比，其显著优点为：

1)融合雷达传感器、视频传感器二者的信息，并进行轨迹追踪，既保证了足够大的检测区域、足够精确的数据、气候条件影响的忽略，又能提供现场影像信息，完成静止目标、大车检测和区分各种车型类别，实现了路况目标的精准测量，同时统计出违法行为车辆的信息。

2)基于融合后的特征分别进行浅层特征提取与深层特征提取，可同时输出透视变换信息以及目标检测信息，涵盖了目标点的空间距离以及速度信息，同时克服了传感器噪声引入的误差；

3)克服了单一信息方法及系统带来的信息不准确性及易受环境干扰的问题，并且通过多源信息融合增加了路况检测信息的全面性。

下面结合附图对本发明作进一步详细描述。

附图说明

图1为一个实施例中基于多源信息融合的在线路况检测系统框架示意图。

图2为一个实施例中基于多源信息融合的在线路况检测方法流程示意图。

图3为一个实施例中基于多源信息融合的在线路况检测系统及方法应用场景示意图。

图4为一个实施例中数据处理模块流程示意图。

图5为一个实施例中数据处理模块中场景识别子模块流程示意图。

图6为一个实施例中数据处理模块中目标检测及ReID特征提取子模块流程示意图。

图7为一个实施例中数据处理模块中目标检测及ReID特征提取子模块的多源信息采样过程示意图。

图8为一个实施例中数据处理模块中目标检测及ReID特征提取子模块的多时刻雷达数据浅层特征提取过程示意图。

图9为一个实施例中数据处理模块中目标检测及ReID特征提取子模块的视频帧浅层特征提取过程示意图。

图10为一个实施例中数据处理模块中目标检测及ReID特征提取子模块的多源特征融合过程示意图。

图11为一个实施例中数据处理模块中目标检测及ReID特征提取子模块的浅层特征提取过程示意图。

图12为一个实施例中数据处理模块中目标检测及ReID特征提取子模块的深层特征提取过程示意图。

图13为一个实施例中数据处理模块中场景识别子模块的训练过程示意图。

图14为一个实施例中数据处理模块中目标检测及ReID特征提取子模块的训练过程示意图。

图15为一个实施例中数据处理模块中目标跟踪流程示意图。

图16为一个实施例中基于多源信息融合的在线路况检测方法及系统跟踪效果示意图。

具体实施方式

下面将结合附图和具体实施方式，对本发明的技术方案作详细说明，应理解这些实施方法仅用于说明本发明而不用于限制本发明的范围，在阅读本发明之后，本领域技术人员对发明的各种等价形式的修改均落入本发明所附权利要求所限定的范围内。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施方式的目的，不是旨在于限制本发明。

参考图1，为本发明一个实施例提供的一种基于多源信息融合的在线路况检测系统的框架图，可以看出，主要包括：雷达传感模块、机器视觉传感模块、数据处理模块、参数配置模块及可视化显示模块。其中，雷达传感器用于目标物三维位置、速度信息，机器视觉传感器用于视频数据的获取，数据处理模块用于进行雷达信号、视频信号、雷视数据融合及交通流统计信息的计算处理，参数配置模块进行车道配置、相机标定和雷达标定，可视化显示模块用于实时视频画面、实时检测结果、交通流信息的显本及信息输出及存储。

本发明克服了单一信息方法及系统带来的信息不准确性及易受环境干扰的问题，并且通过多源信息融合增加了路况检测信息的全面性。

参考图2，为本发明一个实施例提供的一种基于多源信息融合的在线路况检测方法整体流程图，启动本发明方法及系统后，首先进行参数的配置，配置完成后通过雷达传感器和视频传感器获取雷达数据和视频数据，而后使用数据处理模块对雷达数据和视频数据进行处理，而后对输出的结果进行后处理，用于反馈到可视化模块。接下来按照步骤详尽说明各个环节。

步骤1:参数配置模块对场景和传感器进行配置

在参数配置模块主要包括场景中车道线的配置、雷达传感器的初步标定以及相机的标定。这几个部分的标定都需要人工的参与进行，其中车道线的配置，包括显示场景中各个车道间的划线标定。

相机的标定的目的是获取摄像机的内参和外参矩阵，内参和外参系数可以对之后相机拍摄的图像进行矫正，得到畸变相对很小的图像。本发明中相机的标定使用标定板进行，首先对标定图片提取角点信息，而后对每一张标定图片进一步提取亚像素角点信息，进行相机的标定。

本发明中雷达传感器的标定主要内容是获取雷达传感器和相机之间的外参，在该环节雷达传感器的标定是粗略的初始标定，将雷达坐标转换到笛卡尔坐标系，同样地，采用人工找到雷达笛卡尔坐标系与图像坐标系中的对应点，找到的点对需要大于4对，而后计算两个坐标系间的透视变换矩阵，至此，完成了雷达数据的初步标定。

除此之外，本发明进行了视频数据和雷达数据的同步处理，二者的同步频率为N帧/秒，具体地，所述同步数据通过一下公式进行互相运算：

其中T_雷达是雷达更新时间，N为二者同步的频率，INT表示取整操作。本发明中T_雷达值为70，经过计算得到N值为14。

将以上信息存储到方法及系统中，并可视化到图像坐标系。

步骤2：雷达数据和视频数据的获取

本发明的应用场景参考图3，雷达传感器与视频传感器放置于交通卡口，对道路的数据进行实时获取。

本发明使用一个毫米波雷达进行数据的采集，用于获取相对地面的道路目标位置坐标数据，简称目标地面坐标，并将数据传输到数据处理模块中。本发明使用一个单目摄像头采集道路场景中的数据，并将数据传输到数据处理模块中。

本发明中的数据获取模块和数据处理模块之间可以通过CSI、USB、以太网接口的数据进行传输。所述的毫米波雷达采用77Ghz毫米波雷达，支持24Ghz毫米波雷达。所述的数据获取模块和数据处理模块之间，支持RS485、RS232、SPI、UART、CAN、太网接口的数据传输。所述的数据处理模块对外接口，支持RS485、RS232、SPI、UART、CAN、太网接口的数据传输。

步骤3：数据处理模块对传感器数据进行融合处理

本发明中，所述的数据处理模块采用一款型号为JETSON TX2的边缘计算模块，通过不断获取对视频、雷达的数据，并将数据同步。

数据处理模块为本发明创新的重点模块，参考图4，数据处理模块对传感器数据的融合处理主要包含以下模块：场景识别子模块、目标检测及ReID特征提取子模块。下面详尽地说明各个流程的具体子模块和子过程。

本发明中的场景识别子模块，主要目的是对场景中视频质量进行评定，如果视频质量正常，则进入后续的逻辑，如果视频质量不正常，则直接反馈给可视化模块并记录故障点位以方便施工人员进行维护。参考图5，场景识别子模块基于深度神经网络实现；具体地，首先对视频帧进行预处理，该预处理过程首先变换图像大小至64x64，而后减去ImageNet数据集的均值和除以ImageNet数据集的方差，如此得到归一化后的分布；本发明中的场景识别子模块基于ResNet-9实现，该深度神经网络包含4个阶段，最终通过线性层，输出正常/非正常类别的概率值。在实际部署中，如果正常的概率值大于等于0.5，则进行下一步目标检测及ReID特征提取子模块处理。

本发明中的目标检测及ReID特征提取子模块，参考图6，该模块的主要功能是将雷达数据与视频数据进行融合，生成目标检测框和该目标的ReID特征以进行目标跟踪处理。相比以往仅通过图像信息提取目标的ReID特征，融合雷达数据生成的ReID特征具有更加丰富的语义，在单幅图像场景中，难以通过静态的纹理获取目标在现实世界中的深度以及目标实际的速度，而目标在现实世界中的深度以及目标实际的速度是十分有区分度的，因此，使用融合雷达数据生成的ReID特征能够得到更精准的匹配，提升多目标跟踪的精度。基于视觉的目标检测，往往会存在很多的漏检和误检，当获取了目标的实际深度和速度后，能很大程度避免这个状况的发生，因此通过融合雷达数据，也能够间接提升目标检测的精度。

本发明经过实验对比与数据论证，发现单时刻的雷达数据往往存在误差，因此本发明使用了多时刻的雷达数据与单帧的图像数据进行融合。参考图7，经过传感器数据的同步，可以在时间维度将二者数据对齐，考虑有三个时刻T_n-1、T_n、T_n+1三个时刻，本发明使用T_n时刻的视频帧与T_n-1、T_n、T_n+1三个时刻的雷达数据作为融合的输入，如此缓解了雷达数据的噪声问题，同时考虑了多时刻的雷达数据可以增加目标的辨识度。采样集合如下式所示：

S＝{F_n R_n-1 R_n R_n+1}

本发明中采集到的雷达原始数据为雷达坐标系下的极坐标值，为了和视频数据在空间上进行匹配，本发明首先将极坐标转换为了笛卡尔坐标，但二者不在同一个坐标系下，还需要一个透视变换模型将雷达数据标定到图像坐标系下，因而不能够直接将二者进行融合。本发明中分别对多时刻的雷达数据和单帧视频数据提取了浅层特征R_s和F_s。

对多时刻雷达数据提取浅层特征R_s的过程，参考图8，单时刻的雷达数据包含4个属性值

其中X表示雷达坐标系下的横坐标，Y表示雷达坐标系下的纵坐标，V_x表示横坐标方向的速度，V_y表示纵坐标方向的速度。因此，可以将单时刻的雷达数据分为2个通道，通道1表示X方向的速度，通道2表示Y方向的速度。在通道维度上将三个时刻的雷达数据进行叠加，得到了6通道的多时刻雷达数据R_input。首先将雷达坐标系的平面变换为224x224大小，再寻找最大值进行归一化处理；接着输入到卷积核大小为7x7，步长大小为2的卷积层中，将输出的结果进行BatchNormalization处理并经过ReLu处理，最终得到通道数为64的多时刻雷达数据浅层特征R_s，计算过程如下式：

R_s＝relu(bn(Conv(R_input)))

对单帧视频数据提取浅层特征F_s的过程，参考图9，单帧视频数据包括3个通道，记作F_input。同样地，本发明首先将图像数据变换到224x224大小，各个通道除以255得到归一化后的分布；而后，输入到卷积核大小为7x7，步长大小为2的卷积层中，将输出结果进行BatchNormalization处理并经过ReLu处理，最终得到通道数为64的单帧视频浅层特征F_s，计算过程如下式：

F_s＝relu(bn(Conv(F_input)))

而后，将多时刻雷达数据浅层特征R_s与单帧视频浅层特征F_s进行融合，参考图10，本发明将多时刻雷达数据浅层特征R_s与单帧视频浅层特征F_s加权求和进行融合。此处必须考虑二者坐标对齐的因素，如此便引出了下一个问题。

本发明对融合的特征进行了先验处理，为使得网络自主学习到两个坐标系间的透视变换模型，参考图11，本发明将融合后的特征经过了3层卷积操作和BatchNormalization操作，3层卷积操作的卷积核大小都为1x1，输出的通道数分别为32、16、9，最后在空间取均值，输出透视变换矩阵的9个回归值。本发明通过引入先验，同时训练透视变换矩阵的回归值，确保了网络能够自发的对齐多时刻雷达浅层特征R_s与单帧视频浅层特征F_s。

融合多时刻雷达数据特征与单帧视频特征后，参考图12，本发明基于ResNet-18，将融合后的特征分别经过ResNet-18的第二阶段、第三阶段和第四阶段，得到深层特征；再将深层特征分别输入到目标中心点子分支heads_center、目标大小回归子分支heads_wh、目标中心点误差子分支heads_offset、ReID子分支heads_reid，本发明中这几个分支的网络结构参照CenterNet的形式进行实现。经过解码操作decode，可以得到预测的目标检测框S_bbox以及该目标中心点出的特征Feature_reid，本发明经过验证，发现特征维度为128时，跟踪的效果较好，记检测框中心点输出为Center_bbox、检测框宽度和高度输出为WH_bbox、检测框中心点误差为Offset_bbox，计算过程如下式:

Center_bbox＝heads_center(Stage₄(Stage₃(Stage₂(a×F_s+b×R_s))))

WH_bbox＝heads_wh(Stage₄(Stage₃(Stage₂(a×F_s+b×R_s))))

Offset_bbox＝heads_offset(Stage₄(Stage₃(Stage₂(a×F_s+b×R_s))))

Feature_reid＝heads_reid(Stage₄(Stage₃(Stage₂(a×F_s+b×R_s))))

S_bbox＝decode(Center_bbox,WH_bbox,Offset_bbox)

本发明的多目标跟踪流程参考图15。具体地，输出的目标检测框和ReID特征，分别同跟踪序列维护的历史特征以及卡尔曼滤波预测的bbox进行代价矩阵计算；其中ReID特征同各个ID的历史特征使用余弦距离进行度量，输出的目标检测框与卡尔曼滤波预测的bbox使用1-IoU进行度量；最终将两个距离代价矩阵加权求和得到总体的代价矩阵，根据该距离代价矩阵进行匈牙利匹配，可以得到当前帧各个目标的跟踪ID；同时，对跟踪到ID的历史特征进行更新。

对于场景识别子模块的训练过程，参考图13，将准备好的训练样本中的图像数据经过预处理后输入到模型中，得到的结果与样本的真实分类标签计算MSE损失值，本发明使用Adam优化器对深度网络的参数进行优化，当达到迭代轮数后，停止训练。本发明中，训练轮数设置为25，初始学习率设置为0.01，使用退火策略，每经过10轮，学习率乘以0.1。

对于目标检测及ReID特征提取子模块的训练过程，参考图14，训练样本中包含两个标签值，一个是雷达数据与视频数据的透视变换矩阵，一个是目标检测及ID标签的标注；需要注意的地方是，本发明中目标检测包含多个类别，但是跟踪的ID仅标注了车辆类别，因此在训练的过程中需要使用掩膜对ReID分支Loss进行过滤；若目标检测的类别信息不是车辆类别，则其ReID特征为不可信；本发明将样本中的单帧视频数据与多时刻雷达数据输入到模型中，经过各个子分支计算总体的损失值，而后使用SGD优化器进行优化。本发明中，训练轮数设置为了50，初始学习率设置为0.01，使用余弦下降的学习策略进行训练。

步骤4：数据处理模块输出结果的后处理

本发明通过统计跟踪的总体ID数据量，可估计出特定时段的交通量情况，而后将交通量情况同步到信号机，可以根据实际情况对路口的信号灯相位进行调节。同时在本发明的实现中，也获取了信号机该路口的信息，若为红灯，则需要判定目标检测输出结果与车道线标定结果的相对位置，如果超出车道线，则为越线和闯红灯行为，并将这些违法行为的车辆抓拍存储到存储单元中。

同时，将解算出的透视变换矩阵更新到参数配置模块中。

步骤5：后处理模块反馈到可视化模块

参考图16，为本发明跟踪的可视化结果，可根据实际需求，将相应的信息反馈到可视化模块中。本发明可视化模块中的雷达数据坐标变换到图像坐标所使用的透视变换矩阵从参数配置模块中调取。

以上显示和描述了本发明的基本原理、主要特征及优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (10)

1.一种基于多种传感器信息融合的在线路况检测系统，其特征在于，所述系统包括雷达传感模块、视频传感模块、数据处理模块、参数配置模块及可视化显示模块；

所述雷达传感模块，用于测量待测目标的位置、速度信息和采样周期；

所述视频传感模块，用于获取各种场景的图像数据；

所述数据处理模块，用于对所述雷达传感模块和视频传感模块的信息进行融合处理，以及对交通流信息进行计算；

所述参数配置模块，用于进行车道配置、雷达标定以及相机标定这些参数的配置；

所述可视化显示模块，用于实现各模块数据结果以及信息的输出与存储显示。

2.根据权利要求1所述的基于多种传感器信息融合的在线路况检测系统，其特征在于，所述数据处理模块包括：

场景识别子模块，用于基于深度神经网络对场景中视频质量进行评定；

目标检测及ReID特征提取子模块，用于对雷达数据与视频数据进行融合，生成目标检测框和该目标的ReID特征以进行目标跟踪处理；

后处理子模块，用于根据跟踪结果获取交通流信息和违法行为，并更新参数配置模块。

3.根据权利要求2所述的基于多种传感器信息融合的在线路况检测系统，其特征在于，所述场景识别子模块，包括：

预处理子模块，用于对视频帧图像进行预处理，该预处理包括：首先变换图像大小至64x64，而后减去图像数据集的均值和除以图像数据集的方差，得到归一化后的分布；

识别子模块，用于将预处理后的图像依次经过ResNet-9深度神经网络的四个阶段和线性层，输出视频质量为正常/非正常类别的概率值，若正常的概率值大于等于0.5，则执行目标检测及ReID特征提取子模块。

4.根据权利要求3所述的基于多种传感器信息融合的在线路况检测系统，其特征在于，所述目标检测及ReID特征提取子模块，包括：

多源输入信息采集子模块，用于采集多时刻的雷达数据与单帧的图像数据，采样集合如下式所示：

S＝{F_n R_n-1 R_n R_n+1}

其中，F_n为T_n时刻的视频帧，R_n-1、R_n、R_n+1分别为T_n-1、T_n、T_n+1三个时刻的雷达数据；

第一浅层特征提取子模块，用于提取多时刻雷达数据的浅层特征R_s；

第二浅层特征提取子模块，用于提取单帧图像数据的浅层特征F_s；

多源特征融合子模块，用于对多时刻雷达数据浅层特征R_s与单帧视频浅层特征F_s进行融合；

第三浅层特征提取子模块，用于提取所述多源特征融合子模块融合后特征的浅层特征，获得透视变换矩阵回归值，回归出雷达坐标系到图像坐标系的透视变换矩阵模型；

深层特征提取子模块，用于提取所述多源特征融合子模块融合后特征的深层特征，回归出目标在图像坐标系的中心位置、目标在图像坐标系中的高和宽、目标的ReID特征。

5.根据权利要求4所述的基于多种传感器信息融合的在线路况检测系统，其特征在于，所述第一浅层特征提取子模块提取多时刻雷达数据的浅层特征R_s，具体过程包括：

单时刻的雷达数据包含4个属性值[X Y V_x V_y]，其中X表示雷达坐标系下的横坐标，Y表示雷达坐标系下的纵坐标，V_x表示横坐标方向的速度，V_y表示纵坐标方向的速度；

(1)将单时刻的雷达数据分为2个通道，通道1表示X方向的速度，通道2表示Y方向的速度；

(2)通道维度上将三个时刻的雷达数据叠加，得到6通道的多时刻雷达数据R_input；

(3)将雷达坐标系的平面变换为224x224大小，再寻找最大值进行归一化处理；

(4)输入到卷积核大小为7x7，步长大小为2的卷积层中，之后将输出的结果进行批标准化BatchNormalization处理并经过ReLu处理，最终得到通道数为64的多时刻雷达数据浅层特征R_s，计算公式为：

R_s＝relu(bn(Conv(R_input)))；

所述第二浅层特征提取子模块提取单帧图像数据的浅层特征F_s，具体过程包括：

单帧视频数据包括3个通道，记作F_input；

(1)将图像数据变换到224x224大小，各个通道除以255得到归一化后的分布；

(2)输入到卷积核大小为7x7，步长大小为2的卷积层中，将输出结果进行BatchNormalization处理并经过ReLu处理，最终得到通道数为64的单帧视频浅层特征F_s，计算公式为：

F_s＝relu(bn(Conv(F_input)))。

6.根据权利要求4所述的基于多种传感器信息融合的在线路况检测系统，其特征在于，所述第三浅层特征提取子模块，用于提取所述多源特征融合子模块融合后特征的浅层特征，获得透视变换矩阵回归值，回归出雷达坐标系到图像坐标系的透视变换矩阵模型，具体过程包括：

将融合后的特征经过3层卷积操作和BatchNormalization操作，3层卷积操作的卷积核大小都为1x1，输出的通道数分别为32、16、9，最后在空间维度取均值，输出透视变换矩阵的9个回归值。

7.根据权利要求4所述的基于多种传感器信息融合的在线路况检测系统，其特征在于，所述深层特征提取子模块，用于提取所述多源特征融合子模块融合后特征的深层特征，回归出目标在图像坐标系的中心位置、目标在图像坐标系中的高和宽、目标的ReID特征，具体过程包括：

(1)将融合后的特征分别经过ResNet-18深度神经网络的第二阶段、第三阶段和第四阶段，得到深层特征；

(2)将深层特征分别输入到目标中心点子分支heads_center、目标大小回归子分支heads_wh、目标中心点误差子分支heads_offset、ReID子分支heads_reid，经过解码操作，得到预测的目标检测框S_bbox以及该目标中心点处的特征Feature_reid；上述子分支的网络结构为CenterNet形式；

记检测框中心点输出为Center_bbox、检测框宽度和高度输出为WH_bbox、检测框中心点误差为Offset_bbox，计算为：

Center_bbox＝heads_center(Stage₄(Stage₃(Stage₂(a×F_s+b×R_s))))

WH_bbox＝heads_wh(Stage₄(Stage₃(Stage₂(a×F_s+b×R_s))))

Offset_bbox＝heads_offset(Stage₄(Stage₃(Stage₂(a×F_s+b×R_s))))

Feature_reid＝heads_reid(Stage₄(Stage₃(Stage₂(a×F_s+b×R_s))))

S_bbox＝decode(Center_bbox,WH_bbox,Offset_bbox)

式中，a和b分别是拟合训练得到的浅层特征R_s和F_s相对应的权重系数。

8.根据权利要求2所述的基于多种传感器信息融合的在线路况检测系统，其特征在于，所述目标检测及ReID特征提取子模块根据生成的目标检测框和该目标的ReID特征进行目标跟踪处理，具体包括：

(1)所述目标检测框和ReID特征，分别与跟踪序列维护的历史特征、卡尔曼滤波预测的检测框进行距离代价矩阵计算；其中，ReID特征同各个ID的历史特征使用余弦距离进行度量，目标检测框与卡尔曼滤波预测的检测框使用1-IoU进行度量；

(2)对两个距离代价矩阵加权求和得到总体的距离代价矩阵；

(3)根据所述总体的距离代价矩阵进行匈牙利匹配，得到当前帧各个目标的跟踪ID；

(4)对跟踪到ID的历史特征和跟踪序列进行更新。

9.根据权利要求8所述的基于多种传感器信息融合的在线路况检测系统，其特征在于，所述交通流信息包括行人、机动车和非机动车的位置和运动状态信息，以及交通量信息；所述违法行为包括越车道线以及闯红灯；所述更新参数配置模块，包括将解算出的透视变换矩阵更新到参数配置模块中。

10.一种基于多种传感器信息融合的在线路况检测方法，其特征在于，所述方法包括以下步骤：

步骤1，通过参数配置模块对场景和传感器进行配置；所述传感器包括雷达传感器和视频传感器；

步骤2，获取道路的雷达数据和视频数据；

步骤3，利用数据处理模块对传感器数据进行融合处理，生成目标检测框和该目标的ReID特征以进行目标跟踪处理；

步骤4，根据跟踪结果利用数据处理模块获取交通流信息和违法行为，并更新参数配置模块；

步骤5，将所需信息反馈至可视化显示模块。

Images