CN116109986A - 一种基于激光雷达和视频技术互补的车辆轨迹提取方法 - Google Patents

一种基于激光雷达和视频技术互补的车辆轨迹提取方法 Download PDF

Info

Publication number
CN116109986A
CN116109986A CN202310198057.6A CN202310198057A CN116109986A CN 116109986 A CN116109986 A CN 116109986A CN 202310198057 A CN202310198057 A CN 202310198057A CN 116109986 A CN116109986 A CN 116109986A
Authority
CN
China
Prior art keywords
data
vehicle
video
information
radar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310198057.6A
Other languages
English (en)
Inventor
傅挺
王俊骅
邵依然
徐文翔
谢舒珂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tongji University
Original Assignee
Tongji University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tongji University filed Critical Tongji University
Priority to CN202310198057.6A priority Critical patent/CN116109986A/zh
Publication of CN116109986A publication Critical patent/CN116109986A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供了一种基于激光雷达和视频技术互补的车辆轨迹提取方法，包括：构建雷达一体化设备；根据高清视频设备采集的视频采集数据标识关键目标，通过图像优化以及数据筛选，构建基础图像信息数据库；基于激光雷达采集设备将雷达数据转化为可读的道路及车辆信息，构建识别目标的对象及行为数据库；融合对象及行为数据库和基础图像信息数据库，并构建驾驶行为检测数据集，实现道路要素标定，车辆要素标定以及行为参数标定；对标定的对象进行识别与跟踪，从而输出轨迹数据库。本发明能够为道路交通运行及风险识别提供数据基础，为交通管理部门评价和管理驾道路交通提供科学的依据。

Description

一种基于激光雷达和视频技术互补的车辆轨迹提取方法
技术领域
本发明涉及道路交通检测领域，特别是涉及一种基于激光雷达和视频技术互补的车辆轨迹提取方法。
背景技术
道路交通数据的采集一直是研究道路交通运营以及安全的数据基础，以往的数据多采用模拟数据或者自然驾驶数据等方法对道路交通数据进行采集，由于采集范围受限，数据真实性不高等原因，导致无法获得高精度、多维度及时空状态连续的全时全要素数据。随着雷达技术、图像分析技术以及传感技术的更新迭代，为获取更好精度，实时全要素的道路交通数据提供了可能，但现阶段雷达和视频对于数据采集各有侧重点，通过融合雷达及视频数据，为雷达提供对象编码，为视频提供精确的距离与位置数据，能有效提升道路交通数据采集的精确性以及连续性，构建实时连续的全时全要素道路交通研究数据库，为研究道路交通运营及安全提供良好的数据基础与技术支撑。
目前我国在采用雷达或者数据对道路交通数据进行采集仍存在不少问题，主要表现为：数据预处理常通过云端计算器进行，无法实现道路交通状态的实时判断以及决策，延误了处置时间；单纯用雷达进行道路交通状态识别容易造成识别对象不清晰，且无法获取关键的车牌等异质性参数；单纯使用视频对道路交通数据进行采集受到天气等状态的影响，无法实现对象的精准捕捉与识别；雷达与视频数据的融合并没有固定且先进的算法支撑，难以构建完整的虚拟对象与实际对象的映射比例，导致识别效果不佳。近年随着我国经济实力不断增强，特别是信息技术的飞速发展，带动了大量的行业变革，机器学习和人工智能技术迅猛突破，以激光雷达以及高清摄像头为代表的数据采集手段不断更新，且针对于雷达与视频的融合技术也在不断积淀，边缘计算技术不断优化，已经基本可以实现激光雷达与视频的映射与数据融合，因此有必要针对道路交通运行状态，基于激光雷达和视频数据实现车辆轨迹提取，服务于道路交通状态识别与处置，以提升事故的防范和处置能力。
发明内容
为了克服现有技术的不足，本发明的目的是提供一种基于激光雷达和视频数据的车辆轨迹提取方法，解决因为雷达与视频各自的技术短板导致的识别效果不佳的现状，提升道路交通数据采集效果，提出实现实时连续的全时全要素道路交通轨迹数据库构建的方法。
为实现上述目的，本发明提供了如下方案：
一种基于激光雷达和视频技术互补的车辆轨迹提取方法，包括：
构建雷达一体化设备；所述雷达一体化设备包括高清视频设备和激光雷达采集设备；
根据所述高清视频设备采集的视频采集数据标识关键目标，通过图像优化以及数据筛选，构建基础图像信息数据库；
基于所述激光雷达采集设备，规定数据采集频率，抽取关键雷达数据信息，将雷达数据转化为可读的道路及车辆信息，构建识别目标的对象及行为数据库；
融合所述对象及行为数据库和所述基础图像信息数据库，并构建驾驶行为检测数据集，实现道路要素标定，车辆要素标定以及行为参数标定；
对标定的对象进行识别与跟踪，通过比例测算，实现虚拟对象与实际对象的等比关系映射，测算目标对象坐标变化与速度类指标，实现车辆基础数据采集，并通过数据筛选与融合，刻画驾驶行为轨迹，输出轨迹数据库。
优选地，所述雷达一体化设备采用边缘计算设备，所述雷达一体化设备用于实时获取雷达点云数据以及视频数据，并计算出当前环境、天气以及道路信息，实现车辆实时位置、车速、加速度等信息采集，监测车辆行驶路线、行驶状态，对车辆停留点、场外行驶点、超速行驶、急加速、急减速判定。
优选地，根据所述高清视频设备采集的视频采集数据标识关键目标，通过图像优化以及数据筛选，构建基础图像信息数据库，包括：
设定关键帧，并定义读取速率为24Hz，采用OpenCV算法中的VideoCapture函数，进行视频关键帧提取；
将读取的关键帧以图像方式保存在后台数据库，基于cvtColor函数，将RGB的图像转换成灰度图；
采用卡尔曼滤波函数对图像噪声进行过滤；
采用OpenCV中Canny边缘检测函数，过滤得到图像中的边缘；
采用fillConvexPoly函数生成梯形梯形掩模区域，然后与原图进行bitwise_and操作，得到感兴趣区域内的边缘检测图，以标记车道线信息以及车辆环境要素信息；
基于车道线信息，使用OpenCV中HoughLines函数，通过像素点找到图中的直线；
根据图中的直线识别边界，并对图像内各要素进行标记，通过DBSCEAN聚类算法实现车辆、道路环境信息聚类，以构建基础图像信息数据库。
优选地，基于所述激光雷达采集设备，规定数据采集频率，抽取关键雷达数据信息，将雷达数据转化为可读的道路及车辆信息，构建识别目标的对象及行为数据库，包括：
获取所述关键雷达数据信息；
根据所述关键雷达数据信息标记关键帧，基于当前时间点关键帧匹配激光雷达时间戳，在各时间点生成激光雷达检测自带的PCD格式的点云数据；
根据点云数据通过fit函数拟合生成数据观测平面；所述观测平面包括各帧对象反馈距离以及位置信息；
采用3D点云目标检测模型PointNet，提取当前帧点云数据对象的关键轮廓点，通过高斯混合聚类模型对各点云进行聚类，并根据聚类结果划分对象；
根据聚类结果对危险驾驶行为进行识别及定义，最终通过点云聚类获取目标对象包括道路环境、车道、车辆及视野范围特征，以实现所述识别目标的对象及行为数据库的构建。
优选地，融合所述对象及行为数据库和所述基础图像信息数据库，并构建驾驶行为检测数据集，实现道路要素标定，车辆要素标定以及行为参数标定，包括：
据点云获取的特征，结合视频数据确定各要素所在具体点位，并通过为视频对象赋予位置以及距离参量，获取点云数据和视频数据获取的目标比例关系，抽取视频中目标物体关键点坐标；
根据目标物体的关键点坐标与点云坐标真实距离进行多项式关系式的拟合，以实现视频目标物体的坐标生成真实距离的映射坐标；
根据所述映射坐标的映射关系对各关键帧的道路路面长度距离、车辆及路面宽度进行计算，获取各类对象在实际场景中的实际参数；
根据点云特征，结合雷达和视频对象数据，进行车辆位置识别与标定，最终形成具备比例关系，且实时计算的道路交通要素数据库。
优选地，对标定的对象进行识别与跟踪，通过比例测算，实现虚拟对象与实际对象的等比关系映射，测算目标对象坐标变化与速度类指标，实现车辆基础数据采集，并通过数据筛选与融合，刻画驾驶行为轨迹，输出轨迹数据库，包括：
基于YOLOv5目标检测算法分析每一个输入帧，并识别属于特定类别的对象，给出分类和坐标；
采用深度学习deepsort方法提取表观特征，运动或者交互特征，且使用轨迹预测器预测该目标的下一个位置；
根据目标物体的表观特征和运动特征，计算两个目标之间的相似性；
使用计算得到的相似性作为依据，将属于同一目标的检测对象和轨迹关联起来，并给检测对象分配和轨迹相同的ID；
使用卡尔曼滤波类跟踪的估计状态和估计的方差，用于预测目标轨迹；
使用dist_thresh距离阈值确实跟踪范围，当超过阈值时，轨道将被删除，并创建新的轨道；
计算车辆速度，根据关联的车辆信息，计算当前车辆上一帧位置信息，根据两者的偏差距离，计算速度，并从而获取加速度等基础参数；
根据车道线边缘，获取边缘外侧的坐标集合，根据当前车辆坐标与车道线外坐标进行对比，过滤道路外侧非当前道路的车辆；
采用对象跟踪算法，对设备检测的对象进行识别与跟踪生成轨迹，并将车辆在视频中的位置信息、速度信息和其他基本信息输出，保存在一个Excel文件中。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明提供了一种基于激光雷达和视频技术互补的车辆轨迹提取方法，包括：构建雷达一体化设备；所述雷达一体化设备包括高清视频设备和激光雷达采集设备；根据所述高清视频设备采集的视频采集数据标识关键目标，通过图像优化以及数据筛选，构建基础图像信息数据库；基于所述激光雷达采集设备，规定数据采集频率，抽取关键雷达数据信息，将雷达数据转化为可读的道路及车辆信息，构建识别目标的对象及行为数据库；融合所述对象及行为数据库和所述基础图像信息数据库，并构建驾驶行为检测数据集，实现道路要素标定，车辆要素标定以及行为参数标定；对标定的对象进行识别与跟踪，通过比例测算，实现虚拟对象与实际对象的等比关系映射，测算目标对象坐标变化与速度类指标，实现车辆基础数据采集，并通过数据筛选与融合，刻画驾驶行为轨迹，输出轨迹数据库。本发明能够结合激光雷达以及高清视频数据构建边缘计算设备，实现自轨迹数据中提取道路环境要素、车辆运行要素以及其他要素，实现道路交通数据的采集、匹配及数据库构建，为道路交通运行及风险识别提供数据基础，为交通管理部门评价和管理驾道路交通提供科学的依据。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的方法流程图；
图2为本发明实施例提供的视频识别要素结果示意图；
图3为本发明实施例提供的激光雷达识别点云示意图
图4为本发明实施例提供的车辆目标检测结果示意图；
图5为本发明实施例提供的道路车辆轨迹数据结果示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
本申请的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤、过程、方法等没有限定于已列出的步骤，而是可选地还包括没有列出的步骤，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤元。
本发明的目的是提供一种基于激光雷达和视频技术互补的车辆轨迹提取方法，能够结合激光雷达以及高清视频数据构建边缘计算设备，实现自轨迹数据中提取道路环境要素、车辆运行要素以及其他要素，实现道路交通数据的采集、匹配及数据库构建，为道路交通运行及风险识别提供数据基础，为交通管理部门评价和管理驾道路交通提供科学的依据。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明实施例提供的方法流程图，如图1所示，本发明提供了一种基于激光雷达和视频技术互补的车辆轨迹提取方法，包括：
步骤100：构建雷达一体化设备；所述雷达一体化设备包括高清视频设备和激光雷达采集设备；
步骤200：根据所述高清视频设备采集的视频采集数据标识关键目标，通过图像优化以及数据筛选，构建基础图像信息数据库；
步骤300：基于所述激光雷达采集设备，规定数据采集频率，抽取关键雷达数据信息，将雷达数据转化为可读的道路及车辆信息，构建识别目标的对象及行为数据库；
步骤400：融合所述对象及行为数据库和所述基础图像信息数据库，并构建驾驶行为检测数据集，实现道路要素标定，车辆要素标定以及行为参数标定；
步骤500：对标定的对象进行识别与跟踪，通过比例测算，实现虚拟对象与实际对象的等比关系映射，测算目标对象坐标变化与速度类指标，实现车辆基础数据采集，并通过数据筛选与融合，刻画驾驶行为轨迹，输出轨迹数据库。
本发明是一种基于激光雷达和视频技术互补的车辆轨迹提取方法，基于安装激光雷达以及高清视频装备，开发道路及车辆环境检测装备，构建车辆轨迹数据采集平台。首先，基于视频采集数据，标识关键目标，通过图像优化以及数据筛选，构建基础图像信息数据库，从而通过要素检测设备标记不同的道路及车辆要素。其次，基于激光雷达采集设备，规定数据采集频率，抽取关键雷达数据信息，将雷达数据转化为可读的道路及车辆信息，构建识别目标的对象及行为数据库。再次，融合视频与激光雷达标记数据库，优化基础要素及行为数据库，构建驾驶行为检测数据集，实现道路要素标定，车辆要素标定以及行为参数标定。然后，对标定对象进行识别与跟踪，通过比例测算，实现虚拟对象与实际对象的等比关系映射，测算目标对象坐标变化与速度类指标，实现车辆基础数据采集，通过数据筛选与融合，刻画驾驶行为轨迹，输出轨迹数据库。与现有技术相比，本发明具有克服现阶段轨迹数据采集困难，标定不清晰，识别难度大以及识别精度低等现状，可提高驾驶行为识别与预测的可靠性等优点。
第一步是基于安装激光雷达以及高清视频装备，开发道路及车辆环境检测装备，构建车辆轨迹数据采集平台。通过自主研发的高精度激光雷达及高清视频检测设备(时间精度为24Hz)，该设备采用边缘计算设备，融合激光雷达与视频采集设备，可实时获取雷达点云数据以及视频数据，且计算出当前环境、天气以及道路信息，实现车辆实时位置、车速、加速度等信息采集，监测车辆行驶路线、行驶状态，对车辆停留点、场外行驶点、超速行驶、急加速、急减速判定。设备采用边缘计算装备，采集并实时计算激光雷达以及视频数据，完成道路交通等数据的边缘融合与存储。目前已在北京市南四环花乡桥东立交桥进行安装与测试，并通过边缘计算实现了激光雷达与视频数据的融合，实现了全时全要素道路交通轨迹数据的采集与处理，构建了基础数据库。
第二步是基于视频采集数据，标识关键目标，通过图像优化以及数据筛选，构建基础图像信息数据库，从而通过要素检测设备标记不同的道路及车辆要素。图像识别算法首先设定关键帧，并定义读取速率为24Hz，采用OpenCV算法中的VideoCapture函数，参数设置为常规mp4数据，从而进行视频关键帧提取，其次将读取的关键帧以图像方式保存在后台数据库，基于cvtColor函数，将RGB的图像转换成灰度图。为了对图像进行优化，采用卡尔曼滤波函数对图像噪声进行过滤，卡尔曼滤波具有不需要占用大量存储空间、计算步骤清晰、适合计算机处理等优势并符合本研究对数据进行噪声处理的需求，故被选为过滤方法进行应用，主要步骤如下：
首先，卡尔曼滤波包括估计系统及观测系统，此两系统可以分别以状态方程和观测方程进行描述：
xk＝Axk-1+Buk-1+qk-1
yk＝Hxk+rk
其中：
xk——k时刻的系统状态向量；
uk——k时刻的驱动输入向量；
qk——符合高斯分布的状态噪声，其协方差为Q；
yk——k时刻系统的观测值；
rk——符合高斯分布的观测噪声，其协方差为R；
A、B——分别为状态转移矩阵和控制输入增益矩阵，单输入单输出时为常数；
H——观测矩阵，单输入单输出时为常数。
以上两个方程主要由五大状态更新方程计算所得，主要分为时间更新和状态更新，其中①和②为时间更新，根据前次迭代结果对先验状态估计值和先验估计协方差进行更新；③、④、⑤为状态更新，通过计算卡尔曼增益衡量估计误差占总误差的权重，用于对和进行修正并得出最优估计值。
①状态先验估计：
Figure BDA0004107928750000091
②方差先验估计：
Figure BDA0004107928750000092
③卡尔曼增益矩阵：
Figure BDA0004107928750000093
④状态估计校正：
Figure BDA0004107928750000094
⑤方差估计校正：
Figure BDA0004107928750000095
式中：
Figure BDA0004107928750000096
——k时刻的先验状态估计值；
Figure BDA0004107928750000097
——k时刻的后验状态估计值，亦即对应时刻的Kalman最优估计值；
Figure BDA0004107928750000098
——k时刻的先验估计协方差；
Figure BDA0004107928750000099
——k时刻的后验估计协方差，为滤波结果之一。
uk取0，初始协方差P0值可预设为非零常量，其值将在迭代过程中快速收敛。
接下来采用OpenCV中Canny边缘检测函数，过滤得到图像中的边缘。然而整理后的图片中包含较多环境信息，这些信息容易造成后期识别车辆与道路环境的失误，故而需要对冗余信息进行删除，突出兴趣点，采用fillConvexPoly函数，参数设置为常规参数，从而生成梯形梯形掩模区域，然后与原图进行bitwise_and操作，得到感兴趣区域内的边缘检测图，进而获取车道线信息以及车辆环境要素信息。基于车道线信息，使用OpenCV中HoughLines函数，参数设置为常规参数，从而通过像素点找到图中的直线，为了解决虚线之间不连续的问题，需要对霍夫变换得到的线段进行处理，根据霍夫直线计算斜率和截距，然后直接利用平均后的参数可以直接画出一条完整的直线。最终，确定完识别边界之后，对图像内各要素进行标记，通过DBSCEAN聚类算法实现车辆、道路环境信息聚类，构建基础视频数据集，通过视频验证及比对，识别准确率达到96％，误差小于0.03，该结果表明通过该技术路线能实现道路交通要素的准确识别，识别效果见图2。
第三步是基于激光雷达采集设备，规定数据采集频率，抽取关键雷达数据信息，将雷达数据转化为可读的道路及车辆信息，构建识别目标的对象及行为数据库。选取对应的5分钟视频，内部7200帧中的5200个数据标记关键帧，基于该关键帧匹配激光雷达时间戳，在各点生成激光雷达检测自带的PCD格式的点云数据，并根据点云信息通过fit函数拟合生成数据观测平面，获取各帧对象反馈距离以及位置信息。采用3D点云目标检测模型PointNet，参数设置为：lovasz-softmax损失函数权重1，perception-aware损失函数权重0.5，置信度阈值0.7，epochs：100，lr:0.001，warmup_epochs:1，momentum:0.9，weight_decay:0.00001，从而提取当前帧点云数据对象的关键轮廓点，通过高斯混合聚类模型对各点云进行聚类，并根据聚类结果划分对象。采用对角协方差矩阵和高斯分量之间的独立参数构建高斯混合模型结构，估计混合分量的数量(K)与聚类的数量。在算法中，具有K个分量的高斯聚类模型可以表示为以下等式：
Figure BDA0004107928750000101
β＝{wi,μi,∑i)}
Figure BDA0004107928750000102
式中x是m维向量的集合，β＝{wi,μi,∑i)}是高斯混合模型参数，K是高斯混合模型中的分类数，wi(i＝1,…,k)是满足约束条件
Figure BDA0004107928750000103
的协方差矩阵，μi是均值向量，∑i是高斯混合模型的协方差矩阵，g(x|μi,∑i)是分量的高斯密度，每个分量的密度是符合平均向量μi和协方差矩阵∑i的m维高斯密度函数，它描述了属于一个簇的向量的概率密度。
高斯混合聚类模型的参数β是使用期望最大化(EM)算法获得的。该算法从初始模型开始，通过不断迭代，以最大期望为目标创建新模型，重复该过程，直到期望改进不再显著停止训练。本研究使用1x 10-6作为目标函数值的终止容差(ε)，当误差小于该值，停止模型训练。一般情况下，高斯混合聚类将会同时测试几个不同的聚类值，并根据Akaike信息准则(AIC)选择最佳分类值，进而确认分类中心以及间距。根据AIC选择最合理的分类数，当AIC＝1120时，获得最优的模型，并标识4个聚类对象，分别定义为道路环境类、交通流类、车道标线类以及车辆轨迹类。激光雷达识别点云效果见图3。
第四步是融合视频与激光雷达标记数据库，优化基础要素及行为数据库，构建驾驶行为检测数据集，实现道路要素标定，车辆要素标定以及行为参数标定。通过第二步与第三步构建的关键帧，结合视频与雷达数据确定各要素所在具体点位，并通过为视频对象赋予位置以及距离参量，获取了点云数据和视频数据获取的目标与实际目标的比例关系为1:325。根据目标物体的关键点坐标与点云坐标真实距离，使用np.poly1d(np.polyfit(x,y,n_order))函数，参数设置为：点坐标集合和多项式指数，从而拟合实际对象与虚拟对象的多项式关系式为：
F(X)＝-0.00002150023889154337*x*x+0.04679885332059244*x+4.535117056856188
通过拟合效果分析，该关系式R2＝0.85，具备良好的拟合效果。根据该映射关系，结合雷达和视频对象数据，进行车辆位置识别与标定，最终形成了具备比例关系，且实时计算的道路交通要素数据库。
第五步是对标定对象进行识别与跟踪，通过比例测算，实现虚拟对象与实际对象的等比关系映射，测算目标对象坐标变化与速度类指标，实现车辆基础数据采集，通过数据筛选与融合，刻画驾驶行为轨迹，输出轨迹数据库。基于要素数据库，采用YOLO模型对车辆进行识别检测及跟踪。首先，基于YOLOv5目标检测算法分析每一个输入帧，并识别属于特定类别的对象，给出分类和坐标。其次，采用深度学习deepsort方法，参数设置为：最大距离0.2，最小置信度0.5，最大重叠度0.5，初始值3，最大连续错过次数70，修正样本数量100，从而提取表观特征，运动或者交互特征，此外，使用轨迹预测器预测该目标的下一个位置。同时，根据目标物体的表观特征和运动特征，以欧式距离为标准，计算两个目标之间的相似性，并将相似性大于0.85的目标设定为同一目标。使用计算得到的相似性作为依据，将属于同一目标的检测对象和轨迹关联起来，并给检测对象分配和轨迹相同的ID。进一步使用卡尔曼滤波类跟踪的估计状态和估计的方差，用于预测目标轨迹，使用dist_thresh函数，参数设置为常规参数，从而以20为阈值确实跟踪范围，当超过阈值时，轨道将被删除，并创建新的轨道。基于标记的车辆，计算车辆速度，根据关联的车辆信息，计算当前车辆上一帧位置信息，根据两者的偏差距离，计算速度，并从而获取加速度等基础参数。根据车道线边缘，获取边缘外侧的坐标集合，根据当前车辆坐标与车道线外坐标进行对比，过滤道路外侧非当前道路的车辆。同时，视频的近端和远端，存在较大误差波动，因此在过滤过程中，需要将目标物体变化长宽比例大于2倍的目标进行过滤。最终采用对象跟踪算法，对设备检测的对象进行识别与跟踪生成轨迹，轨迹跟踪效果见图4。并将车辆在视频中的位置信息、速度信息和其他基本信息输出，保存在一个Excel文件中，最终数据库示例见图5。
本发明的有益效果如下：
1)本发明通过自主研发的道路交通数据检测设备，结合激光雷达以及高清视频数据构建边缘计算设备，实现自轨迹数据中提取道路环境要素、车辆运行要素以及其他要素，实现道路交通数据的采集、匹配及数据库构建，为道路交通运行及风险识别提供数据基础，为交通管理部门评价和管理驾道路交通提供科学的依据；
2)本发明采用高斯混合聚类模型对激光雷达点云数据进行聚类，融合视频数据标定了不同道路交通运行要素对象，通过视频解决了激光雷达对象标定的弱点，于此同时，根据雷达测算的精确距离以及位置数据，优化了视频识别中的数据鲁棒性，采用YOLOv5目标检测算法实现了车辆运行轨迹识别与跟踪，最终构建的数据库不仅包含道路交通各要素静态数据，还包括车辆运行等动态数据，该数据通过虚拟映射方法，能有效匹配实际场景下的交通状态，为进一步研究道路交通运行与安全识别与预测提供了基础方法，为管控道路风险提供了数据与技术支撑。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (6)

1.一种基于激光雷达和视频技术互补的车辆轨迹提取方法，其特征在于，包括：
构建雷达一体化设备；所述雷达一体化设备包括高清视频设备和激光雷达采集设备；
根据所述高清视频设备采集的视频采集数据标识关键目标，通过图像优化以及数据筛选，构建基础图像信息数据库；
基于所述激光雷达采集设备，规定数据采集频率，抽取关键雷达数据信息，将雷达数据转化为可读的道路及车辆信息，构建识别目标的对象及行为数据库；
融合所述对象及行为数据库和所述基础图像信息数据库，并构建驾驶行为检测数据集，实现道路要素标定，车辆要素标定以及行为参数标定；
对标定的对象进行识别与跟踪，通过比例测算，实现虚拟对象与实际对象的等比关系映射，测算目标对象坐标变化与速度类指标，实现车辆基础数据采集，并通过数据筛选与融合，刻画驾驶行为轨迹，输出轨迹数据库。
2.根据权利要求1所述的基于激光雷达和视频技术互补的车辆轨迹提取方法，其特征在于，所述雷达一体化设备采用边缘计算设备，所述雷达一体化设备用于实时获取雷达点云数据以及视频数据，并计算出当前环境、天气以及道路信息，实现车辆实时位置、车速、加速度等信息采集，监测车辆行驶路线、行驶状态，对车辆停留点、场外行驶点、超速行驶、急加速、急减速判定。
3.根据权利要求1所述的基于激光雷达和视频技术互补的车辆轨迹提取方法，其特征在于，根据所述高清视频设备采集的视频采集数据标识关键目标，通过图像优化以及数据筛选，构建基础图像信息数据库，包括：
设定关键帧，并定义读取速率为24Hz，采用OpenCV算法中的VideoCapture函数，进行视频关键帧提取；
将读取的关键帧以图像方式保存在后台数据库，基于cvtColor函数，将RGB的图像转换成灰度图；
采用卡尔曼滤波函数对图像噪声进行过滤；
采用OpenCV中Canny边缘检测函数，过滤得到图像中的边缘；
采用fillConvexPoly函数生成梯形梯形掩模区域，然后与原图进行bitwise_and操作，得到感兴趣区域内的边缘检测图，以标记车道线信息以及车辆环境要素信息；
基于车道线信息，使用OpenCV中HoughLines函数，通过像素点找到图中的直线；
根据图中的直线识别边界，并对图像内各要素进行标记，通过DBSCEAN聚类算法实现车辆、道路环境信息聚类，以构建基础图像信息数据库。
4.根据权利要求1所述的基于激光雷达和视频技术互补的车辆轨迹提取方法，其特征在于，基于所述激光雷达采集设备，规定数据采集频率，抽取关键雷达数据信息，将雷达数据转化为可读的道路及车辆信息，构建识别目标的对象及行为数据库，包括：
获取所述关键雷达数据信息；
根据所述关键雷达数据信息标记关键帧，基于当前时间点关键帧匹配激光雷达时间戳，在各时间点生成激光雷达检测自带的PCD格式的点云数据；
根据点云数据通过fit函数拟合生成数据观测平面；所述观测平面包括各帧对象反馈距离以及位置信息；
采用3D点云目标检测模型PointNet，提取当前帧点云数据对象的关键轮廓点，通过高斯混合聚类模型对各点云进行聚类，并根据聚类结果划分对象；
根据聚类结果对危险驾驶行为进行识别及定义，最终通过点云聚类获取目标对象包括道路环境、车道、车辆及视野范围特征，以实现所述识别目标的对象及行为数据库的构建。
5.根据权利要求1所述的基于激光雷达和视频技术互补的车辆轨迹提取方法，其特征在于，融合所述对象及行为数据库和所述基础图像信息数据库，并构建驾驶行为检测数据集，实现道路要素标定，车辆要素标定以及行为参数标定，包括：
据点云获取的特征，结合视频数据确定各要素所在具体点位，并通过为视频对象赋予位置以及距离参量，获取点云数据和视频数据获取的目标比例关系，抽取视频中目标物体关键点坐标；
根据目标物体的关键点坐标与点云坐标真实距离进行多项式关系式的拟合，以实现视频目标物体的坐标生成真实距离的映射坐标；
根据所述映射坐标的映射关系对各关键帧的道路路面长度距离、车辆及路面宽度进行计算，获取各类对象在实际场景中的实际参数；
根据点云特征，结合雷达和视频对象数据，进行车辆位置识别与标定，最终形成具备比例关系，且实时计算的道路交通要素数据库。
6.根据权利要求1所述的基于激光雷达和视频技术互补的车辆轨迹提取方法，其特征在于，对标定的对象进行识别与跟踪，通过比例测算，实现虚拟对象与实际对象的等比关系映射，测算目标对象坐标变化与速度类指标，实现车辆基础数据采集，并通过数据筛选与融合，刻画驾驶行为轨迹，输出轨迹数据库，包括：
基于YOLOv5目标检测算法分析每一个输入帧，并识别属于特定类别的对象，给出分类和坐标；
采用深度学习deepsort方法提取表观特征，运动或者交互特征，且使用轨迹预测器预测该目标的下一个位置；
根据目标物体的表观特征和运动特征，计算两个目标之间的相似性；
使用计算得到的相似性作为依据，将属于同一目标的检测对象和轨迹关联起来，并给检测对象分配和轨迹相同的ID；
使用卡尔曼滤波类跟踪的估计状态和估计的方差，用于预测目标轨迹；
使用dist_thresh距离阈值确实跟踪范围，当超过阈值时，轨道将被删除，并创建新的轨道；
计算车辆速度，根据关联的车辆信息，计算当前车辆上一帧位置信息，根据两者的偏差距离，计算速度，并从而获取加速度等基础参数；
根据车道线边缘，获取边缘外侧的坐标集合，根据当前车辆坐标与车道线外坐标进行对比，过滤道路外侧非当前道路的车辆；
采用对象跟踪算法，对设备检测的对象进行识别与跟踪生成轨迹，并将车辆在视频中的位置信息、速度信息和其他基本信息输出，保存在一个Excel文件中。
CN202310198057.6A 2023-03-03 2023-03-03 一种基于激光雷达和视频技术互补的车辆轨迹提取方法 Pending CN116109986A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310198057.6A CN116109986A (zh) 2023-03-03 2023-03-03 一种基于激光雷达和视频技术互补的车辆轨迹提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310198057.6A CN116109986A (zh) 2023-03-03 2023-03-03 一种基于激光雷达和视频技术互补的车辆轨迹提取方法

Publications (1)

Publication Number Publication Date
CN116109986A true CN116109986A (zh) 2023-05-12

Family

ID=86267362

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310198057.6A Pending CN116109986A (zh) 2023-03-03 2023-03-03 一种基于激光雷达和视频技术互补的车辆轨迹提取方法

Country Status (1)

Country Link
CN (1) CN116109986A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116309686A (zh) * 2023-05-19 2023-06-23 北京航天时代光电科技有限公司 游泳运动员视频定位测速方法、装置、设备及存储介质
CN116645810A (zh) * 2023-05-22 2023-08-25 南京理工大学 基于视频识别的移动式交通感知边缘计算装置、交通流量统计系统及方法
CN116645810B (zh) * 2023-05-22 2024-06-07 南京理工大学 基于视频识别的移动式交通感知边缘计算装置、交通流量统计系统及方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116309686A (zh) * 2023-05-19 2023-06-23 北京航天时代光电科技有限公司 游泳运动员视频定位测速方法、装置、设备及存储介质
CN116645810A (zh) * 2023-05-22 2023-08-25 南京理工大学 基于视频识别的移动式交通感知边缘计算装置、交通流量统计系统及方法
CN116645810B (zh) * 2023-05-22 2024-06-07 南京理工大学 基于视频识别的移动式交通感知边缘计算装置、交通流量统计系统及方法

Similar Documents

Publication Publication Date Title
CN112700470B (zh) 一种基于交通视频流的目标检测和轨迹提取方法
CN103605362B (zh) 基于车辆轨迹多特征的运动模式学习及异常检测方法
CN112380317B (zh) 高精地图更新方法、装置、电子设备和存储介质
Yang et al. Image-based visibility estimation algorithm for intelligent transportation systems
Zhangyu et al. A camera and LiDAR data fusion method for railway object detection
CN106682586A (zh) 一种复杂光照条件下基于视觉的实时车道线检测的方法
EP3014598A1 (de) Verfahren zum verarbeiten von messdaten eines fahrzeugs zur bestimmung des beginns einer parkplatzsuche
CN107730889B (zh) 一种基于交通视频的目标车辆检索方法
CN115171377B (zh) 一种基于深度学习的交通流参数检测分析方法和装置
Pan et al. A novel vision-based framework for identifying dynamic vehicle loads on long-span bridges: A case study of Jiangyin Bridge, China
CN116109986A (zh) 一种基于激光雷达和视频技术互补的车辆轨迹提取方法
CN116964588A (zh) 一种目标检测方法、目标检测模型训练方法及装置
CN112017213B (zh) 一种目标对象的位置更新方法及系统
CN112085101A (zh) 一种高性能高可靠的环境融合感知方法及系统
CN116611603A (zh) 一种车辆路径调度方法、装置、计算机及存储介质
Sharma et al. Deep Learning-Based Object Detection and Classification for Autonomous Vehicles in Different Weather Scenarios of Quebec, Canada
CN110765900A (zh) 一种基于dssd的自动检测违章建筑方法及系统
CN114742975A (zh) 一种车载图像铁轨曲线建模方法
CN114581863A (zh) 车辆危险状态识别方法及系统
Drost et al. Siamese networks for online map validation in autonomous driving
Shaweddy et al. Vehicle counting framework for intelligent traffic monitoring system
CN116630900B (zh) 基于机器学习的客运站旅客流线识别方法、系统及设备
CN117456482B (zh) 一种面向交通监控场景的异常事件识别方法及系统
CN117274862B (zh) 基于卷积神经网络的机场地勤车辆状态检测方法和系统
CN113870565B (zh) 基于迁移学习模型的城市路网未知流量估计方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination