CN114913399B - 一种车辆轨迹优化方法及智能交通系统 - Google Patents

一种车辆轨迹优化方法及智能交通系统 Download PDF

Info

Publication number
CN114913399B
CN114913399B CN202210515606.3A CN202210515606A CN114913399B CN 114913399 B CN114913399 B CN 114913399B CN 202210515606 A CN202210515606 A CN 202210515606A CN 114913399 B CN114913399 B CN 114913399B
Authority
CN
China
Prior art keywords
vehicle
camera
laser radar
target
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210515606.3A
Other languages
English (en)
Other versions
CN114913399A (zh
Inventor
王翔
王祎
郑建颖
张哲源
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou University
Original Assignee
Suzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou University filed Critical Suzhou University
Priority to CN202210515606.3A priority Critical patent/CN114913399B/zh
Publication of CN114913399A publication Critical patent/CN114913399A/zh
Application granted granted Critical
Publication of CN114913399B publication Critical patent/CN114913399B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/467—Encoded features or binary features, e.g. local binary patterns [LBP]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种车辆轨迹优化方法及智能交通系统。本发明通过融合激光雷达和相机两种传感器获取的车辆信息，采用激光雷达下的目标车辆轨迹点优化相机下的目标车辆轨迹点，以得到精确的具有车辆语义信息的优化轨迹，利用从激光雷达点云数据中得到车辆轨迹点空间坐标，弥补相机不能得到目标深度信息的劣势，同时利用相机获取车辆的语义信息，进一步避免了点云数据中非车辆目标的干扰，并采用激光雷达下的目标车辆轨迹点优化相机下的目标车辆轨迹点，解决拍摄距离和天气对相机下的目标轨迹点准确性的影响，实现在复杂环境下采集到完整精确的车辆轨迹。

Description

一种车辆轨迹优化方法及智能交通系统
技术领域
本发明涉及智能交通技术领域，特别是涉及一种车辆轨迹优化方法、路侧感知装置及智能交通系统。
背景技术
智能交通已经成为我国和其它汽车强国发展的战路方向和必然趋势。在智能网联环境下车辆轨迹数据是主动交通安全保障与车辆轨迹规划的重要数据。根据不同类型车辆(公交车、私家车、出租车)行驶的历史轨迹数据，可以知道驾驶员的驾驶行为、车辆进出区域的历史统计和车辆经常行驶路段。同时对车辆轨迹进行分析和挖掘能发现交通事故的高发路段，可以对道路车辆进行实时提醒，对不同类型车辆行驶进行合理规划。但是，目前的很多技术手段和设备，对轨迹的采集并不是很完整和精确，所以对轨迹数据进行分析挖掘时，往往得不到准确的结果，无法体现轨迹数据蕴含的价值。
现有技术中输出车辆轨迹主要有两种方式，一是利用部署在道路旁的雷达设备采集到的点云数据，对车辆目标实现探测、识别、跟踪，以生成车辆轨迹数据，雷达设备不论远近都可以达到较高的检测精度，但是采集到的点云数据无法识别车辆类型、颜色等车辆语义信息。二是利用安置在道路口的相机拍摄的视频或图片，基于车辆在不同时刻下的位置生成车辆轨迹，可以实现不同车辆的准确分类，获取车辆语义信息，但由于距离对拍摄的影响，图像在远距离处会存在图像畸变，同时摄像机拍摄质量也受制于天气的好坏，这些因素都影响轨迹的准确性。
基于现有技术中，采用相机拍摄数据获取的具有语义信息的车辆轨迹精度，受制于拍摄距离、拍摄天气的影响，因此为了根据不同车辆的行驶轨迹数据来分析并挖掘影响交通的因素，需要获取准确的包含车辆语义信息的轨迹数据，提供更高精度的道路交通动态信息，这是目前有待解决的问题。
发明内容
本发明的目的是提供一种车辆轨迹优化方法及智能交通系统，以解决现有利用相机得到的具有语义信息的车辆轨迹精度不高的问题。
为解决上述技术问题，本发明提供一种车辆轨迹优化方法，包括以下步骤：
目标识别：利用激光雷达获取的点云数据提取目标车辆的空间坐标，利用相机获取的图像数据提取目标车辆的像素坐标和语义信息；
时空融合：对目标识别后的点云数据和图像数据进行时间对齐和空间对齐，得到同一时空下同一目标车辆信息，所述目标车辆信息包括目标车辆的空间坐标、像素坐标和语义信息；
目标跟踪：对同一目标车辆，在同一时空下的点云数据和图片数据中进行目标跟踪，得到同一目标车辆在激光雷达坐标系下的车辆轨迹点和相机坐标系下的车辆轨迹点；
车辆轨迹优化：将所述相机坐标系下的车辆轨迹点转换至激光雷达坐标系下，得到激光雷达坐标系下的相机车辆轨迹点和激光雷达车辆轨迹点；在每个目标车辆的各个激光雷达车辆轨迹点的预设范围内，根据相机车辆轨迹点至激光雷达车辆轨迹点的距离，计算所述预设范围内每个相机车辆轨迹点的回归权重值，利用所述回归权重值及相机车辆轨迹点坐标计算每个激光雷达车辆轨迹点处的优化轨迹点的坐标，得到每个目标车辆在各个激光雷达轨迹点处的优化轨迹点的坐标；根据每个目标车辆的所有优化轨迹点的坐标生成每个带有语义信息的目标车辆的优化轨迹。
优选地，所述车辆轨迹优化包括：
将相机坐标系C下的每一个车辆轨迹点像素坐标(XC,YC)转换至激光雷达坐标系L下，得到激光雷达坐标系L下相机车辆轨迹点的空间坐标(XC-L,YC-L)；
以激光雷达坐标系下的每一个激光雷达车辆轨迹点(XL,YL)为中心，计算在距离(XL,YL)半径为1范围内的所有相机车辆轨迹点(XC-L,YC-L)的回归权重值
根据所述相机车辆轨迹点(XC-L,YC-L)的回归权重值对相机车辆轨迹点坐标进行加权线性回归拟合，确定每个激光雷达车辆轨迹点处的拟合坐标值，作为每个目标车辆在各个激光雷达轨迹点处的优化轨迹点的坐标，利用每个目标车辆的所有优化轨迹点的坐标生成每个目标车辆的LOWESS曲线，即为每个目标车辆的优化轨迹。
优选地，所述根据所述相机车辆轨迹点(XC-L,YC-L)的回归权重值对相机车辆轨迹点坐标进行加权线性回归拟合包括：
确定加权线性回归拟合常数(a,b)：根据加权线性回归拟合公式J(a,b)分别对a、b求偏微分，将使得J(a,b)对a、b偏微分结果同时为0的(a,b)确定为加权线性回归拟合常数：
式中，N代表在每个激光雷达车辆轨迹点的预设范围内的相机车辆轨迹点总数，所述预设范围为距激光雷达车辆轨迹点半径为1的范围，ωi为每个激光雷达车辆轨迹点的预设范围内的第i个相机车辆轨迹点的回归权重值；(xi,yi)为每个激光雷达车辆轨迹点的预设范围内的第i个相机车辆轨迹点在激光雷达坐标系下的空间坐标；
确定拟合坐标值：根据所述加权线性回归拟合常数(a,b)确定每个激光雷达车辆轨迹点处的拟合坐标值，即为目标车辆的优化轨迹点的坐标。
优选地，所述目标跟踪的步骤包括：
将预备的车辆外观特征添加至预设的目标跟踪算法的样本训练集中进行训练；
对激光雷达点云数据和相机图像数据进行特征提取，将提取出的特征输入训练后的目标跟踪算法中，得到每个目标车辆在激光雷达坐标系下和相机坐标系下的车辆轨迹点。
优选地，所述目标识别前包括：
获取激光雷达点云数据并对激光雷达点云数据进行预处理，所述激光雷达点云数据的预处理包括点云下采样、点云滤波、点云聚类；
利用体素下采样方法对激光雷达点云数据进行下采样，对下采样后的激光雷达点云数据通过栅格滤波法或极坐标滤波法滤除地面点云，对滤除地面点云后的激光雷达点云数据利用半径随点云距离自适应变化的DBSCAN算法进行点云聚类，输出不同聚类的点云数据。
优选地，所述目标识别前包括：将提取的图像特征输入预先完成训练的机器学习模型实现目标车辆识别，所述机器学习模型为深度学习模型、随机森林模型、神经网络模型、决策树模型、回归模型中的任一种或多种组合。
优选地，所述空间对齐是利用激光雷达和相机的相对安装位置，通过标定物实现激光雷达坐标系和相机坐标系的转换；所述时间对齐是利用激光雷达和相机的时间戳信息实现激光雷达和相机获取数据的时间同步。
本发明还提供了一种智能交通系统，包括：
路侧感知装置，所述路侧感知装置包括：
相机：用于获取道路上的车辆图像数据，所述相机安置在道路任一侧；
激光雷达：用于获取道路上的车辆点云数据，所述激光雷达安置在相机设定范围内的任意位置处；
所述激光雷达和所述相机连接有传输模块，所述传输模块用于上传激光雷达和相机获取的数据；
主机：用于接收所述传输模块上传的数据，并根据接收的数据执行如上所述的车辆轨迹优化方法的步骤；
所述主机布设在所述路侧感知装置边缘端或布设在远程端。
优选地，所述主机连接显示装置，所述显示装置用于实现所述主机执行的数据预处理、目标识别、数据融合、目标跟踪、车辆轨迹优化的结果展示。
本发明所提供的车辆轨迹优化方法及智能交通系统，相比于现有技术，优点在于：
本发明利用激光雷达采集到的点云数据得到目标车辆在激光雷达坐标系下的车辆轨迹点，利用相机采集到的图像数据得到目标车辆在相机坐标系下的车辆轨迹点，将相机坐标系下的车辆轨迹点转换到激光雷达坐标系下，利用激光雷达坐标系下相机车辆轨迹点的回归权重，加权拟合得到每个目标车辆的各个激光雷达车辆轨迹点处的优化轨迹点，通过融合激光雷达和相机获取的目标车辆信息，得到每个具有语义信息的目标车辆的优化轨迹。本发明有效整合了激光雷达高精度的扫描能力和相机丰富的图像信息，利用激光雷达车辆轨迹点空间坐标，弥补相机不能得到目标深度信息的劣势，同时利用相机采集的图像信息获取车辆的语义信息，进一步避免了点云数据中非车辆目标的干扰，并采用激光雷达车辆轨迹点优化相机车辆轨迹点，解决相机拍摄距离或拍摄环境对相机下车辆轨迹点准确性的影响，保证在不同环境影响下仍能得到完整精确的车辆轨迹。
附图说明
为了更清楚的说明本发明实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明所提供的车辆轨迹优化方法的一种具体实施例的流程图；
图2是本发明所提供的标定物的一种具体实施例的示意图；
图3是本发明所提供的车辆轨迹优化方法的一种轨迹优化结果示例图；
图4是本发明所提供的一种相机与激光雷达的相对安置位置的具体实施例的展示图。
具体实施方式
本发明的核心是提供一种车辆轨迹优化方法及智能交通系统。通过本发明可以获取精确的车辆轨迹信息，为城市规划、交通规划者做交通路网规划时提供数据依据，科学合理的规划交通路网，从而缓解交通拥堵，提高道路通行效率，提升整个交通的总体运行效率和服务质量。并且可以提供全要素交通信息，如车辆的位置、速度、轨迹和种类等等，从而为交通管理与规划决策提供可靠有效的基础数据，改善城市道路车辆拥堵情况。
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参考图1，图1为本发明所提供的车辆轨迹优化方法的具体实施例的流程图，具体操作步骤如下：
步骤S1：数据获取及预处理；
对利用路侧感知装置采集到的点云数据和图像数据进行预处理。路侧感知装置包括安置在道路上的激光雷达和相机，其中，图像数据是利用安置在道路上的相机(摄像头)获取的(视频数据)，点云数据是利用安置在道路上的激光雷达获取的；在本实施例中，采用的是道路上(红绿灯杆)已经有的监控摄像头来拍摄道路上的图像数据，激光雷达安置在相机拍摄范围内，充分利用现有拍摄设备，无需重新穿管走线，对道路和交通几乎没有影响。激光雷达具有高精度的扫描能力，相机可以获取丰富的图像信息。
对激光雷达点云数据的预处理，包括点云下采样、点云滤波、点云聚类，具体过程如下：
首先，对点云数据进行下采样，利用体素下采样算法能够在保留点云结构的同时降低点云密度，以降低后续处理的复杂程度，同时节省时间，提高效率；
然后，对不需要关心的地面点云利用栅格滤波法或极坐标滤波法进行识别和去除，其中，针对高大建筑物的垂直表面会对拟合平面产生干扰的问题，利用水平面的角度特性引入了平面法向量的约束，提高了地平面拟合的精度；通过剔除掉这些地面点云数据，进一步降低后续处理的数据量，提高效率；
最后，根据激光雷达的物理属性，利用一种半径随点云距离自适应变化的DBSCAN算法对障碍物点云进行聚类，实现同一物体的点云聚类，DBSCAN算法有效克服了聚类参数的敏感性，提高了不同位置处障碍物点云的聚类精度。作为其他实施方式，点云聚类也可以采用K-means聚类方法、Mean Shift聚类方法、GMM聚类方法等。
对相机图像数据的预处理，具体过程如下：
首先对相机的图像数据进行重采样，利用重采样方法，例如最近邻法、三次卷积法等，对图像数据重采样，在保证图像中目标特征的前提下，降低图像的分辨率，这样可以提高后续运算效率；
然后，对重采样后图像进行特征提取，例如HOG特征，LBP特征，Haar特征等。
步骤S2：目标识别；
点云数据中的目标识别：根据点云聚类结果，将聚类后点云的中心位置作为该聚类目标的空间坐标，可以确定不同目标车辆的三维空间坐标。
图像数据的目标识别：采用机器视觉的方法进行图像中车辆的识别。本实施例中采用Yolov5算法对预先准备的训练集进行训练，生成识别车辆目标所需要的权重文件，然后调用训练好的Yolov5算法和权重文件对相机图像中的车辆目标进行识别；该算法网络结构小，可在路段监控相机(摄像头)端以较低的硬件配置进行部署，能够同时保证车辆目标识别的实时性和精度。可以确定目标的像素坐标和语义信息，以目标中心点的像素坐标作为目标车辆的像素坐标，同时提取每个目标的语义信息，例如车辆类型(公交车、私家车、出租车)等。作为其他实施方式，也可以采用其他机器学习模型进行目标识别，例如深度学习模型、随机森林模型、神经网络模型、决策树模型、回归模型、KNN、SVM等中的任一种或多种组合。
步骤S3：数据融合；
对预处理后点云数据和图像数据进行时间对齐和空间对齐；对时间和空间对齐的目标车辆数据进行信息融合，可以得到在同一时间下、同一目标车辆的语义信息和空间坐标信息。
根据激光雷达和相机的相对安装位置，通过道路上设置的标定物，对二者的坐标系进行联合标定，实现相机坐标系和激光雷达坐标系的转换，使得利用激光雷达和相机获取的数据在同一坐标系下，本实施中，将相机坐标系转换至激光雷达坐标系。
其中，标定物可以是安置在道路两侧的具有不重复性的物体，同时该标定物至少需要在相机拍摄下可以达到一定像元数，例如50个像元，或者在激光雷达采集下能达到一定点云数，例如100个点云，该标定物可以是任意形状，不重复性的目的是为了能够在激光雷达和相机数据下准确找到该标定物。
在本实施例中，为完成激光雷达与相机坐标的转换，需要选定特征点并匹配两个传感器中特征点的位置信息用于标定，使用专业的激光雷达漫反射标定板来获取特征点信息。漫反射标定板的如图2所示，其中每块黑白格的宽高均为0.4m，底座高度为0.2m。白色部分对于激光雷达的所发射的激光反射率高达90％，黑色部分反射率为10％。通过黑白相间的方式，可以获取更多的特征点信息来进行激光雷达与相机坐标的转换标定。白色部分在激光雷达中采集到3D点云数据呈现为高强度的黄色，黑色部分呈现低强度的蓝色，通过筛选点云数据可以获取到特征点在激光雷达坐标系中的坐标位置，而在图像中则可以直接获取到特征点在像素坐标系中的坐标位置。选取6个及以上对应的特征点，利用坐标转换即可求出像素坐标转换到激光雷达坐标方程。
利用时间戳信息保证两种传感器信息的时间同步性，以此保证实现两种不同的传感器在同一坐标系下对同一目标的识别。
本实施例中根据相机和激光雷达的相对安装位置，通过标定物对二者的坐标系进行联合标定，标定完成后，便可以取走标定物和激光雷达，实现一次标定后永久融合的效果，可以节约一定设备成本，且使得两种传感器在同一坐标系下对同一目标进行识别，然后利用时间戳信息保证两种传感器信息的时间同步性。信息融合完成后，获得车辆目标的语义信息和空间坐标等信息。
步骤S4：目标跟踪；
对激光雷达的目标车辆数据进行跟踪，确定同一目标在不同时间下的空间坐标点，得到激光雷达坐标系下的车辆轨迹点；
对相机的目标车辆数据进行跟踪，确定同一目标在不同时间下的像素坐标点，得到相机坐标系下的车辆轨迹点；
本实施例利用了DeepSORT算法对识别到的目标车辆进行跟踪。DeepSORT算法是SORT算法的升级版，SORT是一种更为简单的框架，该框架使用匈牙利算法和可测量边界框重叠的关联度量，在图像空间中执行卡尔曼滤波和逐帧数据关联。这种简单的方法可以在高帧速率下实现良好的性能，尽管在跟踪精度和准确性方面总体上获得了良好的性能，但SORT返回了大量的身份交换机，主要因为仅采用运动关联度量，因此，SORT在跟踪遮挡方面存在缺陷，因为遮挡通常会出现在前视摄像头场景中。
所以本实施例采用了DeepSORT算法，在SORT基础上加入了外观度量信息。将车辆外观特征添加到DeepSORT算法的样本训练集中，其中，车辆外观特征是根据现有的车辆数据进行提取的，利用现有的车辆图片数据将不同类型的车辆外观特征提取出来，利用现有的车辆点云数据将不同类型的车辆外观特征提取出来，车辆外观特征可以是车辆的长、宽、高的比例；利用加入外观特征的样本训练集对DeepSORT算法进行训练，利用训练后的DeepSORT算法，实现不同车辆的目标跟踪，其中DeepSORT算法采用卷积神经网络，以区分不同类型的车辆与行人，使DeepSORT算法能够更好地处理遮挡问题，增加网络对目标遗失和遮挡的鲁棒性，更好地跟踪车辆目标获取车辆行驶轨迹。
作为其他实施方式，目标跟踪还可以采用卡尔曼滤波、深度学习、KCF核相关滤波等算法。
步骤S5：轨迹优化；
根据相机得到的车辆轨迹点可以生成带有语义信息的车辆轨迹，但是通过相机数据获取的车辆轨迹具有有风天气下相机晃动、信息融合等步骤带来的误差累计，车辆轨迹在时间上未必是连续的，可能会呈现一定程度上的锯齿形状，也可能会存在少量轨迹跳跃的情况。因此，为了反应车辆的真实运动情况，通过雷达获取的车辆轨迹点对相机获取的车辆轨迹点进行优化。
本实施例采用改进的局部加权回归(LOWESS)平滑算法对车辆轨迹进行优化。具体过程如下：
1)将相机坐标系C下的每一个车辆轨迹点像素坐标(XC,YC)转换至激光雷达坐标系L下，得到激光雷达坐标系L下相机车辆轨迹点的空间坐标(XC-L,YC-L)；
以激光雷达下的每一个车辆轨迹点(XL,YL)为中心，计算距离(XL,YL)小于等于1的所有相机下的车辆轨迹点(XC-L,YC-L)的回归权重值
离中心点越近的相机采集到的车辆轨迹点的权重越大，对于轨迹拟合的影响也越大，反之就会越小；如果计算出的权重为0，对拟合毫无影响。也可理解为，权重越大的轨迹点距离中心点越近，轨迹拟合时越应该保留该点；权重越小的轨迹点距离中心点越远，当权重为0时，为保证拟合精度则需要剔除该点。
2)根据相机的车辆轨迹点(XC-L,YC-L)的回归权重值对相机的车辆轨迹点进行加权线性回归拟合，使用一次多项式进行加权线性最小二乘回归；对范围内的轨迹数据点进行加权线性回归进行拟合，之所以采取加权线性回归而不是普通的线性回归，是因为考虑到对拟合点附近的点的取值对拟合线的影响应该更大，远一点的点影响更小，所以定义损失函数的时候，应该优先降低附近的点与拟合直线的误差，实际上就是加权最小二乘法，计算公式如下：
其中a，b为分别将J(a,b)对a，b求偏微分，使这两个偏微分同时为0的(a,b)，即为最优解；式中，N代表在每个激光雷达车辆轨迹点的预设范围内的相机车辆轨迹点总数，所述预设范围为距激光雷达车辆轨迹点半径为1的范围，ωi为每个激光雷达车辆轨迹点的预设范围内的第i个相机车辆轨迹点的回归权重值；(xi,yi)为每个激光雷达车辆轨迹点的预设范围内的第i个相机车辆轨迹点在激光雷达坐标系下的空间坐标。
利用每个目标车辆的各个激光雷达车辆轨迹点处优化轨迹点坐标生成LOWESS曲线，即为每个目标车辆的优化轨迹；并添加每个目标车辆的语义信息，得到带有语义信息的目标车辆的优化轨迹，即可以得到不同类型车辆的优化轨迹。
请参考图3，图3为车辆轨迹优化结果示例图，图中黑色散点为转换到激光雷达坐标系下的相机的车辆轨迹点，其中，横轴代表在激光雷达坐标下的x轴(单位为m)，纵轴代表在激光雷达坐标下的y轴(单位为m)；在每一个以激光雷达车辆轨迹点A0半径为1m的范围内的所有相机的车辆轨迹点Ai，根据相机轨迹点距离激光雷达车辆轨迹点的距离计算每个相机轨迹点的权重值，再根据每个轨迹点的权重值回归拟合生成新的坐标值，该坐标值即为优化后的车辆轨迹点A1，将所有优化后的车辆轨迹点生成曲线；最终经过权重计算和回归拟合后生成如图2中曲线所示的车辆轨迹，即为目标车辆的优化轨迹。
本发明还提供了一种智能交通系统，包括路侧感知装置和主机；
其中，路侧感知装置包括相机、激光雷达和传输模块；相机用于获取道路上的车辆图像数据，相机安置在车道正前方；激光雷达用于获取道路上的车辆点云数据，激光雷达安置在相机设定范围内的路侧任意位置处，设定范围是指相机能够拍摄到的范围；激光雷达和相机还连接有传输模块，该传输模块用于上传激光雷达和相机获取的数据；相机可以利用已经安置在道路上的监控摄像头，将激光雷达安置在相机附近，利用相机的供电线路给激光雷达供电，不需要重装线路，节省时间与成本；请参考图4，图4展示了本实施例中路侧感知装置中相机与激光雷达的相对安装位置，本实施例中，采用已经安装在道路上方的摄像头进行拍摄，激光雷达安置在摄像头能够拍摄到的范围内道路的一侧，标定物安置在道路另一侧，在实际应用过程中，安装位置可以根据实际情况确定。
其中，主机用于接收传输模块上传的数据，并根据接收的数据执行如上所述的车辆轨迹优化方法的步骤；该主机可以布设在路侧感知装置的边缘端，也可布设在远程端；
该主机还连接有显示装置，该显示装置可以对主机执行的数据预处理、目标识别、数据融合、目标跟踪、轨迹优化的结果进行展示。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (8)

1.一种车辆轨迹优化方法，其特征在于，包括以下步骤：
目标识别：利用激光雷达获取的点云数据提取目标车辆的空间坐标，利用相机获取的图像数据提取目标车辆的像素坐标和语义信息；
时空融合：对目标识别后的点云数据和图像数据进行时间对齐和空间对齐，得到同一时空下同一目标车辆信息，所述目标车辆信息包括目标车辆的空间坐标、像素坐标和语义信息；
目标跟踪：对同一目标车辆，在同一时空下的点云数据和图片数据中进行目标跟踪，得到同一目标车辆在激光雷达坐标系下的车辆轨迹点和相机坐标系下的车辆轨迹点；
车辆轨迹优化：将所述相机坐标系下的车辆轨迹点转换至激光雷达坐标系下，得到激光雷达坐标系下的相机车辆轨迹点和激光雷达车辆轨迹点；在每个目标车辆的各个激光雷达车辆轨迹点的预设范围内，根据相机车辆轨迹点至激光雷达车辆轨迹点的距离，计算所述预设范围内每个相机车辆轨迹点的回归权重值，利用所述回归权重值及相机车辆轨迹点坐标计算每个激光雷达车辆轨迹点处的优化轨迹点的坐标，得到每个目标车辆在各个激光雷达轨迹点处的优化轨迹点的坐标；根据每个目标车辆的所有优化轨迹点的坐标生成每个带有语义信息的目标车辆的优化轨迹；
其中，所述车辆轨迹优化包括：
将相机坐标系C下的每一个车辆轨迹点像素坐标(XC,YC)转换至激光雷达坐标系L下，得到激光雷达坐标系L下相机车辆轨迹点的空间坐标(XC-L,YC-L)；
以激光雷达坐标系下的每一个激光雷达车辆轨迹点(XL,YL)为中心，计算在距离(XL,YL)半径为1范围内的所有相机车辆轨迹点(XC-L,YC-L)的回归权重值
根据所述相机车辆轨迹点(XC-L,YC-L)的回归权重值对相机车辆轨迹点坐标进行加权线性回归拟合，确定每个激光雷达车辆轨迹点处的拟合坐标值，作为每个目标车辆在各个激光雷达轨迹点处的优化轨迹点的坐标，利用每个目标车辆的所有优化轨迹点的坐标生成每个目标车辆的LOWESS曲线，即为每个目标车辆的优化轨迹；
所述根据所述相机车辆轨迹点(XC-L,YC-L)的回归权重值对相机车辆轨迹点坐标进行加权线性回归拟合包括：
确定加权线性回归拟合常数(a,b)：根据加权线性回归拟合公式J(a,b)分别对a、b求偏微分，将使得J(a,b)对a、b偏微分结果同时为0的(a,b)确定为加权线性回归拟合常数：
式中，N代表在每个激光雷达车辆轨迹点的预设范围内的相机车辆轨迹点总数，所述预设范围为距激光雷达车辆轨迹点半径为1的范围，ωi为每个激光雷达车辆轨迹点的预设范围内的第i个相机车辆轨迹点的回归权重值；(xi,yi)为每个激光雷达车辆轨迹点的预设范围内的第i个相机车辆轨迹点在激光雷达坐标系下的空间坐标；
确定拟合坐标值：根据所述加权线性回归拟合常数(a,b)确定每个激光雷达车辆轨迹点处的拟合坐标值，即为目标车辆的优化轨迹点的坐标。
2.根据权利要求1所述的车辆轨迹优化方法，其特征在于，所述目标跟踪的步骤包括：
将预备的车辆外观特征添加至预设的目标跟踪算法的样本训练集中进行训练；
对激光雷达点云数据和相机图像数据进行特征提取，将提取出的特征输入训练后的目标跟踪算法中，得到每个目标车辆在激光雷达坐标系下和相机坐标系下的车辆轨迹点。
3.根据权利要求1所述的车辆轨迹优化方法，其特征在于，所述目标识别前包括：
获取激光雷达点云数据并对激光雷达点云数据进行预处理，所述激光雷达点云数据的预处理包括点云下采样、点云滤波、点云聚类；
利用体素下采样方法对激光雷达点云数据进行下采样，对下采样后的激光雷达点云数据通过栅格滤波法或极坐标滤波法滤除地面点云，对滤除地面点云后的激光雷达点云数据利用半径随点云距离自适应变化的DBSCAN算法进行点云聚类，输出不同聚类的点云数据。
4.根据权利要求1所述的车辆轨迹优化方法，其特征在于，所述目标识别前包括：
获取相机图像数据并对所述相机图像数据进行预处理，所述相机图像数据的预处理包括图像重采样和图像特征提取；利用重采样方法对图像进行降采样，对降采样后的图像进行特征提取。
5.根据权利要求1所述的车辆轨迹优化方法，其特征在于，所述目标识别包括：将提取的图像特征输入预先完成训练的机器学习模型实现目标车辆识别，所述机器学习模型为深度学习模型、随机森林模型、神经网络模型、决策树模型、回归模型中的任一种或多种组合。
6.根据权利要求1所述的车辆轨迹优化方法，其特征在于，所述空间对齐是利用激光雷达和相机的相对安装位置，通过标定物实现激光雷达坐标系和相机坐标系的转换；所述时间对齐是利用激光雷达和相机的时间戳信息实现激光雷达和相机获取数据的时间同步。
7.一种智能交通系统，其特征在于，包括：
路侧感知装置，所述路侧感知装置包括：
相机：用于获取道路上的车辆图像数据，所述相机安置在道路任一侧；
激光雷达：用于获取道路上的车辆点云数据，所述激光雷达安置在相机设定范围内的任意位置处；
所述激光雷达和所述相机连接有传输模块，所述传输模块用于上传激光雷达和相机获取的数据；
主机：用于接收所述传输模块上传的数据，并根据接收的数据执行如权利要求1-6任一项所述的车辆轨迹优化方法的步骤；
所述主机布设在所述路侧感知装置边缘端或布设在远程端。
8.根据权利要求7所述的智能交通系统，其特征在于，所述主机连接显示装置，所述显示装置用于实现所述主机执行的数据预处理、目标识别、数据融合、目标跟踪、车辆轨迹优化的结果展示。
CN202210515606.3A 2022-05-12 2022-05-12 一种车辆轨迹优化方法及智能交通系统 Active CN114913399B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210515606.3A CN114913399B (zh) 2022-05-12 2022-05-12 一种车辆轨迹优化方法及智能交通系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210515606.3A CN114913399B (zh) 2022-05-12 2022-05-12 一种车辆轨迹优化方法及智能交通系统

Publications (2)

Publication Number Publication Date
CN114913399A CN114913399A (zh) 2022-08-16
CN114913399B true CN114913399B (zh) 2024-07-26

Family

ID=82765993

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210515606.3A Active CN114913399B (zh) 2022-05-12 2022-05-12 一种车辆轨迹优化方法及智能交通系统

Country Status (1)

Country Link
CN (1) CN114913399B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115561772B (zh) * 2022-08-26 2023-08-29 东莞理工学院 一种基于视觉区域导向性的激光雷达驾驶环境认知系统
CN116071571B (zh) * 2023-03-03 2023-07-14 北京理工大学深圳汽车研究院(电动车辆国家工程实验室深圳研究院) 一种鲁棒快速的车用单线激光雷达点云聚类方法
CN115964545B (zh) * 2023-03-16 2023-05-30 四川国蓝中天环境科技集团有限公司 一种基于运渣车轨迹点推断污染点位的方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111077506A (zh) * 2019-12-12 2020-04-28 苏州智加科技有限公司 对毫米波雷达进行标定的方法、装置及系统
CN112762957A (zh) * 2020-12-29 2021-05-07 西北工业大学 一种基于多传感器融合的环境建模及路径规划方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112101092A (zh) * 2020-07-31 2020-12-18 北京智行者科技有限公司 自动驾驶环境感知方法及系统
CN112509333A (zh) * 2020-10-20 2021-03-16 智慧互通科技股份有限公司 一种基于多传感器感知的路侧停车车辆轨迹识别方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111077506A (zh) * 2019-12-12 2020-04-28 苏州智加科技有限公司 对毫米波雷达进行标定的方法、装置及系统
CN112762957A (zh) * 2020-12-29 2021-05-07 西北工业大学 一种基于多传感器融合的环境建模及路径规划方法

Also Published As

Publication number Publication date
CN114913399A (zh) 2022-08-16

Similar Documents

Publication Publication Date Title
CN114913399B (zh) 一种车辆轨迹优化方法及智能交通系统
US11380105B2 (en) Identification and classification of traffic conflicts
CN104778444B (zh) 道路场景下车辆图像的表观特征分析方法
CN102819764B (zh) 一种适用于交通路口复杂场景下的多视角人流量统计方法
US20140028842A1 (en) Calibration device and method for use in a surveillance system for event detection
CN110660222B (zh) 一种智能环保道路黑烟车辆电子抓拍系统
KR102122859B1 (ko) 교통 영상감시시스템의 멀티 표적 추적 방법
CN111694010A (zh) 一种基于视觉与激光雷达融合的路侧车辆识别方法
CN108983219A (zh) 一种交通场景的图像信息和雷达信息的融合方法及系统
CN103093249B (zh) 一种基于高清视频的出租车识别方法及系统
CN110298300B (zh) 一种检测车辆违章压线的方法
CN104951775A (zh) 基于视频技术的铁路道口防护区域安全智能识别方法
CN114898296B (zh) 基于毫米波雷达与视觉融合的公交车道占用检测方法
CN112966582A (zh) 车型三维识别方法、装置、系统、电子设备及存储介质
CN102867417A (zh) 一种出租车防伪系统及方法
CN107256636A (zh) 一种融合激光扫描与视频技术的交通流获取方法
CN113111707B (zh) 一种基于卷积神经网络的前车检测与测距方法
JP6678552B2 (ja) 車種判別装置および車種判別方法
US20230368537A1 (en) Automatic configuration of camera settings using radar
CN117197019A (zh) 一种车辆三维点云图像融合方法及系统
CN116913081A (zh) 一种基于路侧激光雷达的车辆排队长度检测方法
CN114252859A (zh) 目标区域的确定方法、装置、计算机设备和存储介质
CN114863695B (zh) 一种基于车载激光和摄像机的超标车辆检测系统和方法
CN202887450U (zh) 一种出租车防伪系统
Yu et al. MPP: A novel algorithm for estimating vehicle space headways from a single image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant