CN115690713A - 一种基于双目相机的雷视融合事件检测方法 - Google Patents

Abstract

本发明提供一种基于双目相机的雷视融合事件检测方法，包括如下步骤：目标检测，利用双目相机与一台雷达采集道路目标信息；数据预处理，将双目相机根据标定的坐标系测量值映射到雷达坐标系中；航迹预测，获得目标未来时刻的位置和运动状态，形成目标航迹；目标关联，将一定时间差内，满足门限、车道号条件的雷达与双目相机目标进行配对；航迹更新，重复数据预处理、航迹预测、目标关联步骤对航迹进行实时更新；航迹起始，基于筛选得到的点迹生成新航迹，完成航迹初始化；属性计算，进一步处理得到平滑、稳定、安全航迹；航迹输出，输出处理后的航迹和特征信息结果，从而实现目标车辆动态跟踪查询和可视化；为行车轨迹和车辆特征信息可视化提供更快捷的数据支撑，实现高速公路路面目标车辆实时跟踪和信息查询服务高效化。

Description

一种基于双目相机的雷视融合事件检测方法

技术领域

本发明属于智能环境感知技术领域，具体涉及一种基于双目相机的雷视融合事件检测方法。

背景技术

交通监控系统是智能交通系统中最重要的部分之一，负责为智能交通系统交通流统计、交通流检测、事故检测、速度测量、车辆信息查询与定位等功能提供数据支撑。智能路侧设备作为交通监控系统的基本组成模块，对交通监控系统的检测精度、效率与稳定性有举足轻重的作用。

在高速公路道路车辆监测场景中，仅使用单个传感器进行环境感知的可靠性较差，并且受传感器自身特性的限制，在复杂场景下的应用不能达到预期的检测精度。路侧设备中相机可以将路面信息可视化并对目标进行分类，但容易受到目标遮挡和天气等外部环境干扰，摄像头分辨率、视角、有效识别距离等性能指标已成为制约其发展的瓶颈。毫米波雷达在应用时不易受天气和光照影响，却难以捕捉车辆的特征信息。路侧设备若同时安装监控摄像头、雷达、微波车检器等不同的感知设备，安装成本高，维护困难，数据孤岛化严重。

现如今，利用多传感器融合技术，实现不同传感器之前的性能互补，已成为提高道路车辆目标检测和跟踪性能的常用解决方案。其中，毫米波雷达用于目标检测、车流量统计、车速检测，相机用于获取车辆的车牌、型号、车身颜色，通过两者采集信息进行融合，为车辆进行全天候、超视域、多维度实时监测提供稳定高效的数据支撑。

大多数雷视融合检测方法在拥堵、交通流量统计、占有率、车辆位置等方面的检测效果较好，但在交通事件等其他方面的检测效果并不理想。提高交通事件的检测效果要求路侧设备具有更高的精度和高效的数据处理方法，然而目前在硬件方面，传统单目相机存在无法确定目标真实大小，拥有尺度不确定性；需要庞大的样本特征数据库，否则会导致无法对车型、物体、障碍物进行准确识别；对于动态变化目标的测距能力较弱；在镜头污损的情况下无法收集数据，鲁棒性较差，后期维护成本高；单目相机检测范围无法与雷达检测范围匹配等问题。在数据处理方面，大多数检测方法将相机和雷达的数据进行分别处理，集中显示，仅仅只达到了数据“结合”的效果，导致车辆信息查询与事件检测效率低、精度较差。

如公开号为CN114463303A的中国发明专利申请公开了一种基于双目相机和激光雷达融合的道路目标检测方法，利用左右两台相机与一台激光雷达采集前方道路目标信息；通过双目立体匹配算法获取双目视差；利用基于单目视觉的神经网络，获取图像目标类别与二维位置信息；结合双目视差与单目视觉检测信息，获取前方目标视觉三维检测结果；该方法可以输出补充修正后的道路目标信息，但无法通过航迹预测、目标关联、航迹更新、航迹起始、属性计算和航迹输出来实现目标车辆动态跟踪查询和可视化。

发明内容

本发明的目的在于提供一种基于双目相机的雷视融合事件检测方法，采用双目相机使视觉的检测范围和雷达的匹配，改善雷视一体机的动态目标测距能力，将雷达采集的车辆动态运动信息与相机采集的车辆特征信息完成目标级融合，实现高速公路路面车辆动态跟踪与信息查询。

为实现上述技术目的，达到上述技术效果，本发明通过以下技术方案实现：

本发明提供了一种基于双目相机的雷视融合事件检测方法，包括如下步骤：

步骤S1：目标检测,利用双目相机与一台雷达采集道路目标信息，通过双目立体匹配算法获取三维坐标的值，即为深度信息；利用视觉目标检测神经网络获取左图像中目标的类别与二维位置信息，作为左相机视觉检测信息；结合深度信息与左相机视觉检测信息，获取目标三维视觉检测结果；雷达获取车辆位置坐标和运动状态信息；

步骤S2：数据预处理，将双目相机根据标定的内参K、旋转矩阵R和平移矩阵t通过转化模型将采集目标的坐标系测量值映射到雷达坐标系中，实现空间同步；在同一时间片内对双目相机和雷达采集的目标观测数据按照测量精度进行增量排序，将高精度观测时间上的数据分别向最低精度时间点，按照运动状态进行内插、外推，实现双目相机雷达时间上的时间同步；按照雷达相邻采集周期内目标运动状态变化一定范围极限原则，进行有效目标一致性检验，消除假目标和空目标的干扰；转化模型如下式：

式中，K为内参、R为旋转矩阵，t为平移矩阵；

步骤S3：航迹预测，根据雷达采集的车辆历史轨迹数据，基于滤波模块恒定加速度模型，以历史时刻的x/y坐标、x/y方向速度、x/y方向加速度值计算出下一时刻对应特征预测值；基于滤波模块恒定转弯率和速度模型，以历史时刻的速度、偏航角和角速度计算出下一时刻对应特征预测值；统计预测值，获得目标未来时刻的位置和运动状态，形成目标航迹；

步骤S4：目标关联，按照测量目标纵向距离的不同进行匹配门限的设定，根据雷达航迹中包含的时间与车道号信息与双目相机中的进行匹配，将一定时间差内，满足门限、车道号条件的雷达与双目相机目标进行配对；

步骤S5：航迹更新，根据目标关联结果，将轨迹坐标与运动状态预测值更新至对应的车辆上，针对车辆的航迹进一步处理，并根据下一时间片的雷达以及双目相机采集信息重复数据预处理、航迹预测、目标关联步骤对航迹进行实时更新；

步骤S6：航迹起始，根据出现和所有航迹均不相关的点迹，基于已确立的相关波门，判断该点迹是否满足航迹的时空约束，对生成的量测点迹进行筛选，过滤其他目标的真实量测点和噪声杂波，通过DBSCAN聚类算法，基于筛选得到的点迹生成新航迹，完成航迹初始化；

步骤S7：属性计算，根据航迹初始化结果和目标航迹，生成起始和未来时刻参考点，通过优先级计算、MotionStatus、Smooth与Confidence模块进行计算优化进一步处理得到平滑、稳定、安全航迹；

步骤S8：航迹输出，基于双目相机数据进行感兴趣区域计算，根据候选区域选择对应目标，输出处理后的航迹和特征信息结果，从而实现目标车辆动态跟踪查询和可视化。

作为本发明的进一步改进，步骤S6中所述航迹起始还包括约束规则，当最大速度和最小速度满足v_max≥v_min≥0，而测量或者通过计算得到的速度介于最大速度和最小速度之间，即对于一个航迹起始，约束条件为：

式中r_k为第k个扫描目标周期的位置向量，t_k为采样时间；

加速度小于最大加速度a_max，当有超过一个以上的回波满足加速度约束，具有最小加速度的回波用于形成目标航迹，约束条件为：

式中r_k为第k个扫描目标周期的位置向量，t_k为采样时间。

作为本发明的进一步改进，步骤S7中所述属性计算还包括参考线计算模块，参考线代价函数分为与原路径点相似代价、平滑代价和紧凑代价，设有3个点迹，第i个点p_i(x_i,y_i)为未知点，p_ir(x_ir,y_ir)为已知点，相似代价函数为：

平滑代价函数为：f₂＝[(x₁+x₃-2x₂)²+(y₁+y₃-2y₂)²]；

紧凑代价函数为：

总代价函数为：f＝w₁f₁+w₂f₂+w₃f₃，其中w_i为不同子函数的权值。

作为本发明的进一步改进，还包括航迹管理步骤，所述航迹管理步骤包括传感器数据表建立、传感器数据表终止、传感器数据表更新、融合航迹表建立、融合航迹表终止、关联关系建立、关联关系解除和ID池管理。

本发明的优点：

1.本发明提供的基于双目相机的雷视融合事件检测方法，基于双目相机采集视频数据，使得视觉的检测范围和雷达的匹配，其对动态目标检测精度较高，响应更快，能够高效收集高速公路路面车辆特征信息，具有直观、简易、快捷、准确等优点。

2.本发明提供了的基于双目相机的雷视融合事件检测方法，对雷达和相机采集的路面车辆信息进行数据融合，为行车轨迹和车辆特征信息可视化提供更快捷的数据支撑，实现高速公路路面目标车辆实时跟踪和信息查询服务高效化。

3.本发明对雷达数据监测点和滤波模块车辆运动预测值进行筛选，剔除雷达检测中的杂波干扰，并对待输出轨迹进行平滑处理、属性计算，使最终的航迹显示结果精度更高、可靠性更强。

4.本发明具备航迹管理模块，存储了传感器数据、融合航迹、关联关系等关键信息，为管理人员提供数据查询服务，方便后期维护，提高了数据管理效率。

附图说明

图1为本发明所述的基于双目相机的雷视融合事件检测方法的流程框图；

图2为本发明所述的目标检测步骤的流程框图；

图3为本发明所述的目标关联步骤的示意图；

图4为本发明的航迹管理功能模块示意图。

具体实施方式

为了使本发明的目的，技术方案及优点更加清楚明白，以下结合附图通过具体实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本发明的实施例中提供了一种基于双目相机的雷视融合事件检测方法，如图1所示，包括如下步骤：

步骤S1：目标检测,如图2所示，利用双目相机与一台雷达采集道路目标信息，通过双目立体匹配算法获取三维坐标的值，即为深度信息；利用视觉目标检测神经网络获取左图像中目标的类别与二维位置信息，作为左相机视觉检测信息；结合深度信息与左相机视觉检测信息，获取目标三维视觉检测结果；雷达获取车辆位置坐标和运动状态信息；

步骤S2：数据预处理，将双目相机根据标定的内参K、旋转矩阵R和平移矩阵t通过转化模型将采集目标的坐标系测量值映射到雷达坐标系中，实现空间同步；在同一时间片内对双目相机和雷达采集的目标观测数据按照测量精度进行增量排序，将高精度观测时间上的数据分别向最低精度时间点，按照运动状态进行内插、外推，实现双目相机雷达时间上的时间同步；按照雷达相邻采集周期内目标运动状态变化一定范围极限原则，进行有效目标一致性检验，消除假目标和空目标的干扰；转化模型如下式：

式中，K为内参、R为旋转矩阵，t为平移矩阵；

步骤S3：航迹预测，根据雷达采集的车辆历史轨迹数据，基于滤波模块恒定加速度(Constant Acceleration,CA)模型，以历史时刻的x/y坐标、x/y方向速度、x/y方向加速度值计算出下一时刻对应特征预测值；基于滤波模块恒定转弯率和速度(Constant TurningRate and Velocity,CTRV)模型，以历史时刻的速度、偏航角和角速度计算出下一时刻对应特征预测值；统计预测值，获得目标未来时刻的位置和运动状态，形成目标航迹。

步骤S4：目标关联，按照测量目标纵向距离的不同进行匹配门限的设定，根据雷达航迹中包含的时间与车道号信息与相机中的进行匹配，将一定时间差内，满足门限、车道号条件的雷达与相机目标进行配对，根据配对结果关联相匹配的目标。示例性的：如图3所示，使用余弦相似度计算雷达目标和相机目标的关联性，假设测得的雷达目标个数为M,每个雷达目标有p种属性，相机测得的目标个数为N,每个相机测得的目标有q种属性，则需要进行M*N次匹配，每次匹配,进行一次p维向量和q维向量的余弦相似度计算，得到相似度cos(theta)，相似度越接近1，两个目标的关联性越大，当关联参数超过设定阈值(如0.9995)，则认为目标匹配。

步骤S5：航迹更新，根据目标关联结果，将轨迹坐标与运动状态预测值更新至对应的车辆上，针对车辆的航迹进一步处理，并根据下一时间片的雷达相机采集信息重复S1～S3步骤对航迹进行实时更新。

步骤S6：航迹起始，若出现和所有航迹均不相关的点迹，根据已确立的相关波门，判断该点迹是否满足航迹的时空约束，对生成的量测点迹进行筛选，过滤其他目标的真实量测点和噪声杂波；通过DBSCAN聚类算法，基于筛选得到的点迹生成新航迹，完成航迹初始化。

具体地，航迹起始约束规则：①当最大速度和最小速度满足v_max≥v_min≥0，而测量或者通过计算得到的速度介于最大速度和最小速度之间，即对于一个航迹起始，约束为

其中r_k为第k个扫描目标周期的位置向量，t_k为采样时间。②加速度应小于最大加速度a_max，若有超过一个以上的回波满足加速度约束，具有最小加速度的回波用于形成目标航迹，约束为

步骤S7：属性计算，根据航迹初始化结果和目标航迹，生成起始和未来时刻参考点，通过优先级计算、MotionStatus、Smooth与Confidence模块进行计算优化进一步处理得到平滑、稳定、安全航迹；

具体地，参考线代价函数分为与原路径点相似代价、平滑代价和紧凑代价，设有3个点迹，第i个点p_i(x_i,y_i)为未知点，p_ir(x_ir,y_ir)为已知点，相似代价函数为

平滑代价函数为f₂＝[(x₁+x₃-2x₂)²+(y₁+y₃-2y₂)²]，紧凑代价函数为

总代价函数为f＝w₁f₁+w₂f₂+w₃f₃，其中w_i为不同子函数的权值。

步骤S8：航迹输出，基于相机数据进行感兴趣区域(Region of Interest,ROI)计算，根据候选区域选择对应目标，输出处理后的航迹和特征信息结果，从而实现目标车辆动态跟踪查询和可视化。

在一个实施例中，步骤S6中所述航迹起始还包括约束规则，当最大速度和最小速度满足v_max≥v_min≥0，而测量或者通过计算得到的速度介于最大速度和最小速度之间，即对于一个航迹起始，约束条件为：

式中r_k为第k个扫描目标周期的位置向量，t_k为采样时间；

加速度小于最大加速度a_max，当有超过一个以上的回波满足加速度约束，具有最小加速度的回波用于形成目标航迹，约束条件为：

式中r_k为第k个扫描目标周期的位置向量，t_k为采样时间。

在一个实施例中，步骤S7中所述属性计算还包括参考线计算模块，参考线代价函数分为与原路径点相似代价、平滑代价和紧凑代价，设有3个点迹，第i个点p_i(x_i,y_i)为未知点，p_ir(x_ir,y_ir)为已知点，相似代价函数为：

平滑代价函数为：f₂＝[(x₁+x₃-2x₂)²+(y₁+y₃-2y₂)²]；

紧凑代价函数为：

总代价函数为：f＝w₁f₁+w₂f₂+w₃f₃，其中w_i为不同子函数的权值。

在一个实施例中，如图4所示，还包括航迹管理模块，所述航迹管理模块包括传感器数据表建立、传感器数据表终止、传感器数据表更新、融合航迹表建立、融合航迹表终止、关联关系建立、关联关系解除和ID池管理。

由此描述了本发明的至少一个实施例的几个方面，可以理解，对本领域技术人员来说容易地进行各种改变、修改和改进。这种改变、修改和改进意于在本发明的精神和范围内。

Claims (4)

1.一种基于双目相机的雷视融合事件检测方法，其特征在于，包括如下步骤：

步骤S1：目标检测,利用双目相机与一台雷达采集道路目标信息，通过双目立体匹配算法获取三维坐标的值，即为深度信息；利用视觉目标检测神经网络获取左图像中目标的类别与二维位置信息，作为左相机视觉检测信息；结合深度信息与左相机视觉检测信息，获取目标三维视觉检测结果；雷达获取车辆位置坐标和运动状态信息；

步骤S2：数据预处理，将双目相机根据标定的内参K、旋转矩阵R和平移矩阵t通过转化模型将采集目标的坐标系测量值映射到雷达坐标系中，实现空间同步；在同一时间片内对双目相机和雷达采集的目标观测数据按照测量精度进行增量排序，将高精度观测时间上的数据分别向最低精度时间点，按照运动状态进行内插、外推，实现双目相机雷达时间上的时间同步；按照雷达相邻采集周期内目标运动状态变化一定范围极限原则，进行有效目标一致性检验，消除假目标和空目标的干扰；转化模型如下式：

式中，K为内参、R为旋转矩阵，t为平移矩阵；

步骤S3：航迹预测，根据雷达采集的车辆历史轨迹数据，基于滤波模块恒定加速度模型，以历史时刻的x/y坐标、x/y方向速度、x/y方向加速度值计算出下一时刻对应特征预测值；基于滤波模块恒定转弯率和速度模型，以历史时刻的速度、偏航角和角速度计算出下一时刻对应特征预测值；统计预测值，获得目标未来时刻的位置和运动状态，形成目标航迹；

步骤S4：目标关联，按照测量目标纵向距离的不同进行匹配门限的设定，根据雷达航迹中包含的时间与车道号信息与双目相机中的进行匹配，将一定时间差内，满足门限、车道号条件的雷达与双目相机目标进行配对；

步骤S5：航迹更新，根据目标关联结果，将轨迹坐标与运动状态预测值更新至对应的车辆上，针对车辆的航迹进一步处理，并根据下一时间片的雷达以及双目相机采集信息重复数据预处理、航迹预测、目标关联步骤对航迹进行实时更新；

步骤S6：航迹起始，根据出现的与所有航迹均不相关的点迹，基于已确立的相关波门，判断该点迹是否满足航迹的时空约束，对生成的量测点迹进行筛选，过滤其他目标的真实量测点和噪声杂波，通过DBSCAN聚类算法，基于筛选得到的点迹生成新航迹，完成航迹初始化；

步骤S7：属性计算，根据航迹初始化结果和目标航迹，生成起始和未来时刻参考点，通过计算优化进一步处理得到平滑、稳定、安全航迹；

步骤S8：航迹输出，基于双目相机数据进行感兴趣区域计算，根据候选区域选择对应目标，输出处理后的航迹和特征信息结果，从而实现目标车辆动态跟踪查询和可视化。

2.如权利要求1所述的基于双目相机的雷视融合事件检测方法，其特征在于：步骤S6中所述航迹起始还包括约束规则，当最大速度和最小速度满足v_max≥v_min≥0，而测量或者通过计算得到的速度介于最大速度和最小速度之间，即对于一个航迹起始，约束条件为：

式中r_k为第k个扫描目标周期的位置向量，t_k为采样时间；

加速度小于最大加速度a_max，当有超过一个以上的回波满足加速度约束，具有最小加速度的回波用于形成目标航迹，约束条件为：

式中r_k为第k个扫描目标周期的位置向量，t_k为采样时间。

3.如权利要求1所述的基于双目相机的雷视融合事件检测方法，其特征在于：步骤S7中所述属性计算还包括参考线计算模块，参考线代价函数分为与原路径点相似代价、平滑代价和紧凑代价，设有3个点迹，第i个点p_i(x_i,y_i)为未知点，p_ir(x_ir,y_ir)为已知点，相似代价函数为：

平滑代价函数为：f₂＝[(x₁+x₃-2x₂)²+(y₁+y₃-2y₂)²]；

紧凑代价函数为：

总代价函数为：f＝w₁f₁+w₂f₂+w₃f₃，其中w_i为不同子函数的权值。

4.如权利要求1所述的基于双目相机的雷视融合事件检测方法，其特征在于：还包括航迹管理步骤，所述航迹管理步骤包括传感器数据表建立、传感器数据表终止、传感器数据表更新、融合航迹表建立、融合航迹表终止、关联关系建立、关联关系解除和ID池管理。

Images