CN114201890B - 一种高速公路异常事件场景库构建方法 - Google Patents

一种高速公路异常事件场景库构建方法 Download PDF

Info

Publication number
CN114201890B
CN114201890B CN202210140548.0A CN202210140548A CN114201890B CN 114201890 B CN114201890 B CN 114201890B CN 202210140548 A CN202210140548 A CN 202210140548A CN 114201890 B CN114201890 B CN 114201890B
Authority
CN
China
Prior art keywords
vehicle
coordinate system
abnormal
camera
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210140548.0A
Other languages
English (en)
Other versions
CN114201890A (zh
Inventor
宣帆
徐璀
肖通
叶嘉骏
史云阳
顾子渊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Boyuxin Transportation Technology Co ltd
Original Assignee
Suzhou Boyuxin Transportation Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Boyuxin Transportation Technology Co ltd filed Critical Suzhou Boyuxin Transportation Technology Co ltd
Priority to CN202210140548.0A priority Critical patent/CN114201890B/zh
Publication of CN114201890A publication Critical patent/CN114201890A/zh
Application granted granted Critical
Publication of CN114201890B publication Critical patent/CN114201890B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

一种高速公路异常事件场景库构建方法,通过利用yolo神经网络、卡尔曼滤波等算法获取车辆轨迹数据，利用TraCI接口重现车辆轨迹，获取仿真车辆轨迹数据，通过SUMO仿真环境和CARLA三维仿真环境的联合仿真构建异常事件场景库，为测试自动驾驶等车辆算法提供真实的测试环境，且该构建方法兼容性高，可以构建多类别的异常事件场景库，测试车辆算法对于异常路况的鲁棒性，提高仿真测试效率。

Description

一种高速公路异常事件场景库构建方法
技术领域
本发明涉及一种高速公路异常事件场景库构建方法。
背景技术
近年来，我国交通的智能化水平不断提升，交通与互联网融合应用的步伐不断加快，智能交通已经成为我国智慧城市建设中的重要一环。为了节约测试的时间与成本，规避道路实测的危险性，提高测试和优化的效率，数字孪生被广泛应用到智能交通领域，以数字孪生为核心的交通仿真也得以迅猛发展。
同时，随着大数据技术在交通领域的逐步融合深化，新兴的数据驱动方法（如机器学习、强化学习等）通过对道路视频数据的信息处理与提取，为重现车辆运行轨迹提供了更好的思路。
在现有技术中，用于算法测试的异常交通事件场景库往往仅由人工设置，且难以真实地描绘受异常事件影响的交通流运行情况，较为简单且容易失真。
发明内容
本发明要解决的技术问题是提供一种高速公路异常事件场景库构建方法。
为了解决上述技术问题，本发明采用的技术方案是：一种高速公路异常事件场景库构建方法,包括以下具体步骤：S1、获取高速公路视频数据，提取高速公路交通异常事件所在路段与时段的异常视频数据，采用像素级处理得到二维区域信息，通过所述二维区域信息导入异常视频数据得到车辆位置判定异常视频数据，通过相机的内外参数标定，将真实世界中点的世界坐标转化为在所述车辆位置判定异常视频数据内的像素坐标，利用yolo系列的深度神经网算法对所述二维区域内的车辆进行目标检测，结合卡尔曼滤波采用级联匹配对所述二维区域中所有车辆实现检测追踪，通过车辆的所述像素坐标计算其在真实世界中的世界坐标，并提取位置点并记录，形成轨迹，获取车辆轨迹数据；S2、搭建SUMO仿真环境，自动生成仿真坐标系，设定视频坐标系，匹配所述仿真坐标系和所述视频坐标系，根据步骤S1中的所述车辆轨迹数据，利用TraCI接口重现车辆轨迹，获取仿真车辆轨迹数据；S3、基于所述仿真车辆轨迹数据，利用CARLA搭建三维仿真环境，联合所述SUMO仿真环境和所述三维仿真环境，构建异常事件场景库。
在某些实施方式中，步骤S2中所述仿真车辆轨迹数据包括车辆类型、检测起止时间、x坐标、y坐标、转向值、速度。
在某些实施方式中，步骤S1中所述高速公路交通异常事件为临时交通管制造成的交通瓶颈、异常天气、路面条件、车辆故障、物品散落造成的交通拥堵或交通事故。
在某些实施方式中，步骤S1中通过相机的内外参数标定，具体包括：S11，相机外部参数标定，选取路面多个点，根据世界坐标系下的实际坐标与其在图像中的像素坐标，获取世界坐标系三维点到相机坐标系三维点之间的刚体变换关系；S12，相机内部参数标定，选取路面多个点，根据世界坐标系下的实际坐标与其在图像中的像素坐标，获取相机坐标系三维点到图像坐标系二维点之间的透视投影变换关系，包括透视投影矩阵；S13、将所述刚体变换关系和所述透视投影变换关系结合在一起构成投影矩阵使得相机内外部参数同时实现标定。
在某些实施方式中，步骤S2中利用TraCI接口重现车辆轨迹具体包括：S31，根据车辆类型生成对应车辆，利用TraCI接口基于起止时间生成与移除车辆；S32，读取x坐标、y坐标、转向值，利用TraCI接口控制车辆运行的起始位置，重现车辆轨迹。
本发明的范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的（但不限于）具有类似功能的技术特征进行互相替换而形成的技术方案等。
由于上述技术方案运用，本发明与现有技术相比具有下列优点：本发明提供一种高速公路异常事件场景库构建方法, 通过利用yolo神经网络、卡尔曼滤波等算法获取车辆轨迹数据，利用TraCI接口重现车辆轨迹，获取仿真车辆轨迹数据，通过SUMO仿真环境和CARLA三维仿真环境的联合仿真构建异常事件场景库，为测试自动驾驶等车辆算法提供真实的测试环境，且该构建方法兼容性高，可以构建多类别的异常事件场景库，测试车辆算法对于异常路况的鲁棒性，提高仿真测试效率。
附图说明
附图1为高速公路异常事件场景库构建方法的流程示意图；
附图2为相机标定结果示意图；
附图3为车辆轨迹数据提取效果图；
附图4为三维仿真环境搭建流程图；
附图5为障碍物场景演示图（左为SUMO，右为CARLA）。
具体实施方式
以下结合实施例和说明书附图，详细说明本发明的实施过程。
如各附图所示的一种高速公路异常事件场景库构建方法，该方法包括如下步骤：
步骤S1、获取高速公路视频数据，对高速公路交通异常事件进行识别，常见的高速公路交通异常事件包括：临时交通管制造成的交通瓶颈、异常天气、路面条件、车辆故障、物品散落等原因造成的交通拥堵或交通事故，依托于智慧公路建设对高速公路异常事件的精准检测，可以提取出异常路段在异常时段的异常视频数据，根据异常事件所处路段的实际情况，确定路段范围边界，在视频画面中直接进行像素级处理划定区域，将二维区域信息写入视频每一帧中用于车辆位置判定，得到车辆位置判定异常视频数据，通过相机的内外参数标定，将真实世界中点的世界坐标转化为在所述车辆位置判定异常视频数据内的像素坐标。
相机外部参数标定：选取路面多个点，根据世界坐标系下的实际坐标与其在图像中的像素坐标，获取世界坐标系三维点到相机坐标系三维点之间的刚体变换关系，包括旋转矩阵和平移向量。结果可与相机内部参数一起构成投影矩阵同时实现标定。
相机内部参数标定：选取路面多个点，根据世界坐标系下的实际坐标与其在图像中的像素坐标，获取相机坐标系三维点到图像坐标系二维点之间的透视投影变换关系，包括透视投影矩阵。根据透视变换条件是否符合理想的针孔模型，考虑加入可能涉及的径向和切向畸变参数。结果可与相机外部参数一起构成投影矩阵同时实现标定。相机标定结果如图2所示。
对于已驶入划定区域的车辆，利用yolo系列的深度神经网算法进行目标检测。
基于当前帧中车辆检测框的位置，结合卡尔曼滤波预测所得车辆在相邻视频帧中的追踪框位置实现运动信息关联，并通过目标车辆外观的特征向量实现目标外观信息关联，采用级联匹配对不同时刻出现的车辆赋予不同的追踪信息匹配优先级，对区域中所有车辆实现检测追踪；对于检测追踪到的车辆，根据监控方向与路面所成夹角，结合汽车动力学模型选取像素点作为辆重心位置，以此尽可能减小相机存在的透视误差；利用相机标定所得结果，通过车辆在画面中的像素坐标计算其在真实世界中的坐标，并按照一定的视频帧数提取位置点并记录，形成轨迹，获取车辆轨迹数据，同时根据视频帧的时间间隔计算得到车速。采用平滑处理，进一步优化轨迹质量，改善车辆位置和速度数据，方便轨迹重构。具体轨迹提取效果如图3所示。
步骤S2，通过开源地图数据库截取异常事件发生的路段导入SUMO，利用SUMO的netedit软件根据实际道路情况进行修改，从而搭建SUMO仿真环境，由于仿真坐标系中的原点基于截取路段自动生成，而视频坐标系中的原点是人为设定的，因此两原点位置不同，需要基于若干基准点的坐标对视频（或仿真）坐标系中的坐标轴进行平移与旋转，以匹配坐标系，匹配所述仿真坐标系和所述视频坐标系，根据步骤S1中的所述车辆轨迹数据，所述车辆轨迹数据包括车辆类型、检测起止时间、x坐标、y坐标、转向值、速度，根据不同车辆类型（小汽车、客车、货车）生成对应车辆，利用TraCI接口基于起止时间生成与移除车辆，读取每个仿真步长内的x坐标、y坐标、转向值，利用TraCI接口控制每个步长内车辆运行的起始位置，以重现车辆轨迹，获取仿真车辆轨迹数据。
所述车辆轨迹数据具体如表1所示。
表1
Figure DEST_PATH_IMAGE001
步骤S3、基于所述仿真车辆轨迹数据，利用CARLA搭建三维仿真环境，如图4所示，输出SUMO中修改好的.net.xml二维路网文件；利用SUMO提供的格式转换工具netconvert，将.net.xml转换为OpenDRIVE格式的.xdor路网文件；将.xdor路网文件输入三维路网编辑软件RoadRunner，调整道路高度，设置地形，添加路肩、栏杆、交通标志标线等要素；输出修改后的OpenDRIVE格式地图(.xodr)以及FilmBox三维网格文件(.fbx);将上步输出文件输入CARLA，批量化添加树木、建筑物等高精度背景物，完成三维仿真环境的搭建。
联合所述SUMO仿真环境和所述三维仿真环境，RoadRunner在为二维路网添加高度信息的同时，也可能对其二维位置进行修改，因此需要对SUMO中的二维路网进行更新。同样利用格式转换工具netconvert，将调整后的RoadRunner路网文件(.xdor)转换为SUMO的路网文件(.net.xml)；CARLA提供了与SUMO联合仿真的同步运行工具run_synchronization，通过桥接器实现二者的格式转换与信息对应。在SUMO中生成的车辆可以在CARLA中产生对应的映射，并实时同步运行轨迹，构建异常事件场景库。
本实施例以高速公路意外抛洒物场景为例，首先需要将抛洒物模板在SUMO和CARLA中进行对应，如图5所示，基于步骤S2中在SUMO端还原的车辆轨迹数据，通过联合仿真，可以在CARLA的三维环境中真实地重现道路抛洒物对交通流产生的影响，从而为自动驾驶等车辆算法提供异常事件下真实地测试环境。
上述实施例只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人士能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明精神实质所作的等效变化或修饰，都应涵盖在本发明的保护范围之内。

Claims (4)

1.一种高速公路异常事件场景库构建方法,其特征在于：包括以下具体步骤：
S1、获取高速公路视频数据，提取高速公路交通异常事件所在路段与时段的异常视频数据，采用像素级处理得到二维区域信息，通过所述二维区域信息导入异常视频数据得到车辆位置判定异常视频数据，通过相机的内外参数标定，将真实世界中点的世界坐标转化为在所述车辆位置判定异常视频数据内的像素坐标，利用yolo系列的深度神经网算法对所述二维区域内的车辆进行目标检测，基于当前帧中车辆检测框的位置，结合卡尔曼滤波预测所得车辆在相邻视频帧中的追踪框位置实现运动信息关联，并通过目标车辆外观的特征向量实现目标外观信息关联，采用级联匹配对不同时刻出现的车辆赋予不同的追踪信息匹配优先级，对区域中所有车辆实现检测追踪；对于检测追踪到的车辆，根据监控方向与路面所成夹角，结合汽车动力学模型选取像素点作为辆重心位置，以此减小相机存在的透视误差；利用相机标定所得结果，通过车辆在画面中的像素坐标计算其在真实世界中的坐标，并按照一定的视频帧数提取位置点并记录，形成轨迹，获取车辆轨迹数据；
S2、通过开源地图数据库截取异常事件发生的路段导入SUMO，利用SUMO的netedit软件进行修改，从而搭建SUMO仿真环境，自动生成仿真坐标系，设定视频坐标系，基于若干基准点的坐标对所述视频坐标系或所述仿真坐标系中的坐标轴进行平移与旋转，匹配所述仿真坐标系和所述视频坐标系，根据步骤S1中的所述车辆轨迹数据和不同车辆类型生成对应车辆，利用TraCI接口基于起止时间生成与移除车辆，读取每个仿真步长内的x坐标、y坐标、转向值，利用TraCI接口控制每个步长内车辆运行的起始位置，以重现车辆轨迹，获取仿真车辆轨迹数据；
S3、基于所述仿真车辆轨迹数据，利用CARLA搭建三维仿真环境，联合所述SUMO仿真环境和所述三维仿真环境，构建异常事件场景库。
2.根据权利要求1所述的高速公路异常事件场景库构建方法，其特征在于：步骤S2中所述仿真车辆轨迹数据包括车辆类型、检测起止时间、x坐标、y坐标、转向值和速度。
3.根据权利要求1所述的高速公路异常事件场景库构建方法，其特征在于：步骤S1中所述高速公路交通异常事件为临时交通管制造成的交通瓶颈、异常天气、路面条件、车辆故障、物品散落造成的交通拥堵或交通事故。
4.根据权利要求1所述的高速公路异常事件场景库构建方法，其特征在于：步骤S1中通过相机的内外参数标定，具体包括：S11，相机外部参数标定，选取路面多个点，根据世界坐标系下的实际坐标与其在图像中的像素坐标，获取世界坐标系三维点到相机坐标系三维点之间的刚体变换关系；S12，相机内部参数标定，选取路面多个点，根据世界坐标系下的实际坐标与其在图像中的像素坐标，获取相机坐标系三维点到图像坐标系二维点之间的透视投影变换关系，包括透视投影矩阵；S13、将所述刚体变换关系和所述透视投影变换关系结合在一起构成投影矩阵使得相机内外部参数同时实现标定。
CN202210140548.0A 2022-02-16 2022-02-16 一种高速公路异常事件场景库构建方法 Active CN114201890B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210140548.0A CN114201890B (zh) 2022-02-16 2022-02-16 一种高速公路异常事件场景库构建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210140548.0A CN114201890B (zh) 2022-02-16 2022-02-16 一种高速公路异常事件场景库构建方法

Publications (2)

Publication Number Publication Date
CN114201890A CN114201890A (zh) 2022-03-18
CN114201890B true CN114201890B (zh) 2022-05-24

Family

ID=80659021

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210140548.0A Active CN114201890B (zh) 2022-02-16 2022-02-16 一种高速公路异常事件场景库构建方法

Country Status (1)

Country Link
CN (1) CN114201890B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114925747A (zh) * 2022-04-19 2022-08-19 五邑大学 车辆异常行驶检测方法、电子设备、存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112703457A (zh) * 2018-05-07 2021-04-23 强力物联网投资组合2016有限公司 用于使用工业物联网进行数据收集、学习和机器信号流传输实现分析和维护的方法和系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108875600A (zh) * 2018-05-31 2018-11-23 银江股份有限公司 一种基于yolo的车辆信息检测和跟踪方法、装置及计算机存储介质
US11961241B2 (en) * 2020-07-07 2024-04-16 Lyft, Inc. Systems and methods for deriving an agent trajectory based on tracking points within images
CN112668153B (zh) * 2020-12-11 2024-03-22 国汽(北京)智能网联汽车研究院有限公司 一种自动驾驶仿真场景生成的方法、装置及设备
CN112596500B (zh) * 2020-12-16 2022-01-28 清华大学苏州汽车研究院（相城） 一种用于自动驾驶车辆误/漏识别的预期功能安全分析方法
CN113689699B (zh) * 2021-08-25 2023-04-18 浙江数智交院科技股份有限公司 一种交通流的预测方法、装置、电子设备及存储介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112703457A (zh) * 2018-05-07 2021-04-23 强力物联网投资组合2016有限公司 用于使用工业物联网进行数据收集、学习和机器信号流传输实现分析和维护的方法和系统

Also Published As

Publication number Publication date
CN114201890A (zh) 2022-03-18

Similar Documents

Publication Publication Date Title
CN109059954B (zh) 支持高精度地图车道线实时融合更新的方法和系统
EP3877740B1 (en) Method and system for modifying a control unit of an autonomous car
US9357208B2 (en) Method and system for dynamically calibrating vehicular cameras
CN113269837B (zh) 一种适用于复杂三维环境的定位导航方法
CN110031829B (zh) 一种基于单目视觉的目标精准测距方法
CN104766292A (zh) 多台立体相机标定方法和系统
CN114067062A (zh) 一种真实驾驶场景仿真方法、系统、电子设备和存储介质
CN113640822B (zh) 一种基于非地图元素过滤的高精度地图构建方法
CN113096003B (zh) 针对多视频帧的标注方法、装置、设备和存储介质
CN111402414A (zh) 一种点云地图构建方法、装置、设备和存储介质
CN109544635B (zh) 一种基于枚举试探的相机自动标定方法
CN114201890B (zh) 一种高速公路异常事件场景库构建方法
CN116778288A (zh) 一种多模态融合目标检测系统及方法
Wang et al. A synthetic dataset for Visual SLAM evaluation
Liu et al. Software-defined active lidars for autonomous driving: A parallel intelligence-based adaptive model
WO2020199057A1 (zh) 一种自动驾驶模拟系统、方法、设备及存储介质
CN100416466C (zh) 单目视觉半实物仿真系统及方法
CN112348941A (zh) 一种基于点云与图像数据的实时融合方法及装置
CN111862236A (zh) 定焦双目相机自标定方法及系统
CN116804553A (zh) 基于事件相机/imu/自然路标的里程计系统及方法
CN113327192B (zh) 一种通过三维测量技术测算汽车行驶速度的方法
CN108592789A (zh) 一种基于bim和机器视觉技术的钢结构工厂预拼装方法
Dai et al. Roadside Edge Sensed and Fused Three-dimensional Localization using Camera and LiDAR
CN115035251B (zh) 一种基于领域增强合成数据集的桥面车辆实时追踪方法
CN112668497B (zh) 一种车辆精准定位与识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant