CN114926729A - 一种基于行车视频的高风险路段鉴别系统及方法 - Google Patents

一种基于行车视频的高风险路段鉴别系统及方法 Download PDF

Info

Publication number
CN114926729A
CN114926729A CN202210261786.7A CN202210261786A CN114926729A CN 114926729 A CN114926729 A CN 114926729A CN 202210261786 A CN202210261786 A CN 202210261786A CN 114926729 A CN114926729 A CN 114926729A
Authority
CN
China
Prior art keywords
vehicle
section
speed
lane line
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210261786.7A
Other languages
English (en)
Inventor
张驰
唐忠泽
富志鹏
白浩晨
王韩
黄泽滨
刘锴
张敏
王博
王雪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CCCC First Highway Consultants Co Ltd
Changan University
Original Assignee
CCCC First Highway Consultants Co Ltd
Changan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CCCC First Highway Consultants Co Ltd, Changan University filed Critical CCCC First Highway Consultants Co Ltd
Priority to CN202210261786.7A priority Critical patent/CN114926729A/zh
Publication of CN114926729A publication Critical patent/CN114926729A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种基于行车视频的高风险路段鉴别系统及方法,属于交通安全技术领域,该方法包括:利用无人机获取行车视频;根据获取的行车视频,对晃动的帧画面进行配准处理;根据经配准后的行车视频,对车辆进行标记与连续跟踪,得到车辆与时间对应的连续速度与行驶轨迹数据;对车道线进行标定,并根据所述车辆的车速与行驶轨迹数据,提取车道线各桩号的断面数据;根据所述断面数据,得到包括车辆与车道线横向距离、连续加速度、横向加速度以及断面车速梯度的车辆行驶特征;根据所述车辆行驶特征对高风险路段进行鉴别,完成基于行车视频的高风险路段鉴别。本发明解决了现有技术中难以实现稳定、连续、高精度的提取车辆与意向车道线距离的问题。

Description

一种基于行车视频的高风险路段鉴别系统及方法
技术领域
本发明属于交通安全技术领域,尤其涉及一种基于行车视频的高风险路段鉴别系统及方法。
背景技术
现阶段对道路安全性评价主要基于预测运行速度,该方法指标过于单一,且预测运行速度难以表征真实的行驶情况。科学研究中,根据数据来源不同,主要分为驾驶仿真、公路断面数据提取、实验员实车驾驶获取数据等几个方法,这些方法所获得的数据均有其局限性,无法得到真实环境下自然流多车辆连续的速度与轨迹数据,从而导致此类数据所反映出的科学现象也有很大的局限性,难以对真实道路情况进行准确描述。同时,还有部分研究运用NGSIM、HighD等自然流数据集,该类数据集道路环境过于单一,且非我国道路环境,无法表征我国实际的驾驶情况。此类数据常应用于跟驰模型、换道模型以及宏观交通流研究方面,在道路安全分析方面实用性不强。
(1)已存在较为成熟的机器视觉技术,可基于视频识别视频中的车辆。本专利第一阶段采用基于Yolov5的车辆识别技术,实现车辆检测目标。然后采用Deepsort技术实现车辆连续跟踪,此亦为较成熟技术。但该技术现阶段仅可实现车辆速度与像素坐标提取,无法实现与车道线横侧距的实时提取,基于车道线的语义分割识别技术,一是难度较大,二是对于车道线存在遮挡、断线、多线重合等情况时,难以精准的实现车辆与欲判断车道线连续精准的距离计算。本技术在基于深度学习提取航拍视频中车辆速度与坐标的基础上,原创的采用纬地软件实现车道线标注,再运用python编程进行数据处理,可实现任意意向车道线与每辆车连续的距离与速度精准计算,并不受车道线遮挡、连续、重叠等影响。
(2)目前对公路高风险路段鉴别,大多基于纯线形、标志等道路条件判断、或基于驾驶模拟数据进行研究、或人为安排车辆实地驾驶,采集单辆或少量车连续的实际驾驶速度轨迹数据、或在道路固定断面采集多辆自然驾驶车辆行车视频;几乎没有基于自然流交通状况下多车辆连续高精度行车视频进行交通安全研究的。同时,现阶段道路高风险路段鉴别所采用的速度、轨迹数据为路段平均车速或大致轨迹,本方法通过连续高精度的速度与轨迹数据建立一套新的高风险路段鉴别指标与鉴别方法。
发明内容
针对现有技术中的上述不足,本发明提供的一种基于行车视频的高风险路段鉴别系统及方法,解决了现有技术中难以实现稳定、连续、高精度的提取车辆与意向车道线距离的问题。
为了达到上述发明目的,本发明采用的技术方案为:一种基于行车视频的高风险路段鉴别方法,包括以下步骤:
S1、利用无人机获取行车视频;
S2、以行车视频首帧为基准,对晃动的帧画面进行配准处理;
S3、根据经配准后的行车视频,对车辆进行标记与跟踪,得到车辆与时间对应的连续速度与行驶轨迹数据;
S4、对车道线进行标定,并根据所述车辆的连续速度与行驶轨迹数据,提取车道线各桩号包括断面车速、加速度、车道线与车辆横侧距以及横向速度的断面数据;
S5、根据所述断面数据,得到包括车辆与车道线横向距离、连续加速度、横向加速度以及断面车速梯度的车辆行驶特征;
S6、根据所述车辆行驶特征对高风险路段进行鉴别,完成基于行车视频的高风险路段鉴别。
本发明的有益效果是:本发明提供的高风险路段鉴别方法,包括无人机获取抖动较小的视频数据;基于SIFT算法的图像配准为晃动的帧画面配准,保证了视频的主要部分像素坐标不会改变,车辆与车道线的相对位置不会随镜头晃动而改变,且配准对后续数据采集不产生影响。相对于目前未配准方法,配准后,轨迹误差可由3m提升至20cm左右;基于深度学习的车辆数据提取,使用Yolov5对车辆进行标记然后基于Deepsort算法对车辆实现连续跟踪,得到车辆的行驶轨迹数据。基于深度学习的方法,可稳定实现车辆100%检测与连续跟踪,精度显著优于帧间差分法、光流法等传统光学技术下的车辆检测方法;然后对车道线进行标定,该方法可有效稳定对车道线进行标定,解决了目前基于图像的车道线识别算法中,识别精度严重依赖于车道线状态、误差大、算法复杂等问题;然后根据标定的车道线实现断面车速和车道线与车辆横侧距提取;根据数据分析并通过指标:与车道线横向距离分布特征、连续加速度、横向加速度、断面车速的梯度鉴别高风险路段能更有效精确的提取自然流状态下多车辆连续车速与轨迹数据的提取;相对目前基于断面测速、单车行驶获取的数据与经验判断等方法能更科学的对道路高风险路段进行鉴别。
进一步地,所述步骤S3包括以下步骤:
S301、根据经配准后的行车视频,对车辆进行标记,并从经配准后的行车视频中提取训练集、验证集以及测试集用于训练车辆检测模型;
S302、根据实际道路已知长度的标线,对像素距离与实际距离进行标定;
S303、利用车辆检测模型对标记车辆进行检测;
S304、利用多目标跟踪算法Deepsort对所检测的车辆进行连续跟踪;
S305、基于跟踪结果,得到车辆行驶轨迹,并根据实际距离与像素距离的标定值,通过对时间间隔进行计算,得到车辆与时间对应的连续速度。
上述进一步方案的有益效果是:本发明通过对航拍视频进行配准维稳,显著提高了车辆轨迹精度。采用深度学习技术对车辆进行标记以及对车辆实现连续跟踪,从而提取高精度的车辆车速与行驶轨迹数据,数据精度与全面性优于传统光学方法与传统断面测速、单车驾驶等车辆数据获取方式。
再进一步地,所述步骤S4中得到标定的车道线,包括以下步骤:
A1、从配准后的行车视频中提取一张图片,以左上角位于坐标原点导入cad软件,并通过比例缩放,令该图片长度和宽度的坐标值与图片像素长度相同,即图片中任意点的cad坐标与图片像素坐标在数值上X轴坐标相同,Y轴坐标相反;
A2、设计与图片中车道线相同的设计线,并每间隔实际道路上10cm输出所述设计线的逐桩坐标表;
A3、将所述逐桩坐标表的Y轴坐标值取为负值,使车道线cad坐标表与车道线的像素坐标相同;
A4、根据车道线像素的坐标标定文件,得到车道线的标定坐标数据,完成对车道线进行标定,其中,对车道线的标定与步骤S3中车辆检测的坐标为同一坐标系。
上述进一步方案的有益效果是:得到欲研究车道线的标定文件,避免了基于图像视觉的车道线识别对车道线状态依赖性高的问题。
再进一步地,所述步骤S4中得到断面车速,包括以下步骤:
B1、遍历所有车辆的编号,得到每辆车在视频中的连续像素坐标与速度值;
B2、遍历标定车道线的每个提取断面桩号,并利用每个断面桩号与连续像素坐标进行距离计算,得到车辆与断面距离最小的两个坐标点,所述两个坐标号为车辆在断面前后两个的采集点;
B3、根据所述最小的两个坐标号,计算得到车辆在断面前后两个采集点的距离;
B4、取车辆在断面前后两个采集点距离的最小两个值,所述最小两个值为第i辆车在第k个断面的前后两个位置;
B5、基于所述速度值,根据断面的前后两个位置的车速以及断面在两点间的距离差,计算得到第i辆车在第k个断面的车速;
B6、判断是否遍历完每辆车在每个断面的车速,若是,则根据第i辆车在第k个断面的速度,计算得到每个断面所有车的车速,否则,返回步骤B1。
上述进一步方案的有益效果是:通过对断面车速的计算,得到了所标定车道线每个桩号位置处每辆车经过时的车速值。
再进一步地,所述步骤B5中第i辆车在第k个断面的车速的表达式如下:
Figure BDA0003550398630000051
Figure BDA0003550398630000052
其中,vik表示第i辆车在第k个断面的速度,v1表示断面后采集点的车速,v2表示断面前采集点的车速,I1表示断面点与断面前采集点的水平距离,I'1表示断面点与断面前采集点的垂直距离,I表示断面前后采集点之间的水平距离,I'表示断面前后采集点之间的垂直距离。
再进一步地,所述步骤S4中得到车道线与车辆横侧距,包括以下步骤:
C1、根据车辆在断面前后两个采集点和断面k,形成三角形;
C2、将三角形断面k的高作为车辆在断面k处的车道线与车辆横侧距。
再进一步地,所述步骤C1中形成三角形的表达式如下:
Figure BDA0003550398630000061
其中,lk表示第k个断面与第i辆车第j个采集点的距离,
Figure BDA0003550398630000062
表示车道线第k个断面的X坐标,carxij表示第i辆车第j个采集点的X坐标,
Figure BDA0003550398630000063
表示车道线第k个断面的Y坐标,caryij表示第i辆车第j个采集点的Y坐标。
本发明还提供了一种基于行车视频的高风险路段鉴别系统,包括:
航拍视频获取模块,用于利用无人机获取行车视频;
图像配准模块,用于以行车视频首帧为基准,对晃动的帧画面进行配准处理;
车辆数据提取模块,用于根据经配准后的行车视频,对车辆进行标记与跟踪,得到车辆与时间对应的连续速度与行驶轨迹数据;
断面行车视频提取模块,用于对车道线进行标定,并根据所述车辆的连续速度与行驶轨迹数据,提取车道线各桩号包括断面车速、加速度、车道线与车辆横侧距以及横向速度的断面数据;
数据处理模块,用于根据所述断面数据,得到包括车辆与车道线横向距离、连续加速度、横向加速度以及断面车速梯度的车辆行驶特征;
分析鉴别模块,用于根据所述车辆行驶特征对高风险路段进行鉴别,完成基于行车视频的高风险路段鉴别。
本发明的有益效果是:利用无人机获取行车视频;根据获取的行车视频,对晃动的帧画面进行配准处理;根据经配准后的行车视频,用深度学习技术对车辆进行标记与连续跟踪,得到车辆与时间对应的连续速度与行驶轨迹数据;对车道线进行标定,并根据所述车辆的车速与行驶轨迹数据,提取车道线各桩号的断面数据;根据所述断面数据,得到包括车辆与车道线横向距离、连续加速度、横向加速度以及断面车速梯度的车辆行驶特征;根据所述车辆行驶特征对高风险路段进行鉴别,完成基于行车视频的高风险路段鉴别。本发明解决了现有技术中难以实现稳定、连续、高精度的提取车辆与意向车道线距离的问题,提高了自然流状态下实车数据提取的精度与全面性,增加了高风险路段鉴别的。科学性与可靠性。
附图说明
图1为本发明的方法流程图。
图2为本发明采集视频的偏移对比示意图。
图3为本发明采集视频偏移处理效果示意图。
图4为本发明车辆训练框选示意图。
图5为本发明车辆标记检查结果示意图。
图6为本发明车辆跟踪与车速提取流程图。
图7为本发明采用的笛卡尔坐标系与Frenet坐标系转换示意图。
图8为本发明对视频中车道线标注示意图。
图9为本发明车辆横净距提取示意图。
图10为实验路段车辆相对车道线的车速与横向距离数据提取结果展示图。
图11为本实施例中转向避障示意图。
图12为本实施例中路段车速离散度为里程内实测真实车速与平均车速所围成的面积示意图。
图13为本发明的系统结构示意图。
具体实施方式
下面对本发明的具体实施方式进行描述,以便于本技术领域的技术人员理解本发明,但应该清楚,本发明不限于具体实施方式的范围,对本技术领域的普通技术人员来讲,只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内,这些变化是显而易见的,一切利用本发明构思的发明创造均在保护之列。
实施例1
如图1所示,本发明提供了一种基于行车视频的高风险路段鉴别方法,其实现方法如下:
S1、利用无人机获取行车视频;
本实施例中,如图2所示,选用大疆专业无人机在高度200~250m间进行无人机定点垂直俯拍,以采集视频。保证拍摄到足够长度的道路范围,且减小车辆对无人机拍摄视角的遮挡;另一方面,又不可由于高度太高导致拍摄范围过大,车辆过小,特征消失,影响后期机器视觉处理时对车辆的识别准确度。
S2、以行车视频首帧为基准,对晃动的帧画面进行配准处理;
本实施例中,如图2所示,由于无人机航拍采集视频,受风的影响,会导致无人机产生轻微晃动,镜头画面存在水平范围内的偏移,导致轨迹的提取存在不可忽视的误差。采取SIFT算法,通过Python编程进行仿射变换,对原视频进行处理。其中基准视频为f(x,y),待配准图像为g(x,y)。另基准图像上的点
Figure BDA0003550398630000081
在待配准图像中为(x,y),k为尺度参数,θ为旋转角度,Δx和Δy分别为两坐标轴的平移量。如图3所示,根据SIFT算法,道路可根据大于4个的特征点匹配纠正为和第一帧相同的位置,由于图像配准,图片产生了一点黑边,使图像和第一帧保持一致,保证了视频的主要部分像素坐标不会改变,车辆与车道线的相对位置不会随镜头晃动而改变。镜头晃动幅度是非常小的,配准产生的黑边是能接受的,对后续数据采集不产生影响。
S3、根据经配准后的行车视频,对车辆进行标记与跟踪,得到车辆与时间对应的连续速度与行驶轨迹数据,其实现方法如下:
S301、根据经配准后的行车视频,对车辆进行标记,并从经配准后的行车视频中提取训练集、验证集以及测试集用于训练车辆检测模型;
S302、根据实际道路已知长度的标线,对像素距离与实际距离进行标定;
S303、利用车辆检测模型对标记车辆进行检测;
S304、利用多目标跟踪算法Deepsort对所检测的车辆进行连续跟踪;
S305、基于跟踪结果,得到车辆行驶轨迹,并根据实际距离与像素距离的标定值,通过对时间间隔进行计算,得到车辆与时间对应的连续速度。
本实施例中,如图4所示,运用车辆标记程序,对用于训练及拟分析视频的大量图片进行车辆框选标定。以训练集:验证集:测试集=0.7:0.2:0.1的比例进行模型训练,总共进行100轮训练,取测试效果最好的模型用于车辆检测。如图5所示,车辆检测效果可达到100%,且检测框稳定,不受阴影的影响。
本实施例中,对检测车辆的连续追踪,基于Deepsort算法,可确定像素距离与实际距离的标定值,根据时间间隔得到速度与加速度等信息的收集。如图6所示,经过对检测目标的级联匹配、IOU匹配后得到行车轨迹,通过对时间间隔进行计算,得到车辆位移、速度、加速度等信息,从而得到车辆的跟踪与车速提取。
本实施例中,为保证航拍视频数据提取的精确度,需对程序提取的车速进行准确性检验。随机分散挑选大小车各9辆,通过逐帧播放,分别记录其通过道路上虚线的时间,因为道路虚线划线实际长度已知为6m,即可通过公式
Figure BDA0003550398630000091
计算得到该车此处实际车速。从速度实际值与检测值数据准确性对比得出,存在检测值误差为0的数据,对误差的极大值与整体准确度进行分析可知,采用机器视觉技术提取的车速数据大车精度在95%以上,小车精度在98%以上,满足实际工程要求。
S4、对车道线进行标定,并根据所述车辆的连续速度与行驶轨迹数据,提取车道线各桩号包括断面车速、加速度、车道线与车辆横侧距以及横向速度的断面数据;
所述步骤S4中对车道线进行标定,包括以下步骤:
A1、从配准后的行车视频中提取一张图片,以左上角位于坐标原点导入cad软件,并通过比例缩放,令该图片长度和宽度的坐标值与图片像素长度相同,即图片中任意点的cad坐标与图片像素坐标在数值上X轴坐标相同,Y轴坐标相反;
A2、设计与图片中车道线相同的设计线,并每间隔实际道路上10cm输出所述设计线的逐桩坐标表;
A3、将所述逐桩坐标表的Y轴坐标值取为负值,使车道线cad坐标表与车道线的像素坐标相同;
A4、根据车道线像素的坐标标定文件,得到车道线的标定坐标数据,完成对车道线进行标定,其中,对车道线的标定与步骤S3中车辆检测的坐标为同一坐标系;
所述步骤S4中得到断面车速,包括以下步骤:
B1、遍历所有车辆的编号,得到每辆车在视频中的连续像素坐标与速度值;
B2、遍历标定车道线的每个提取断面桩号,并利用每个断面桩号与连续像素坐标进行距离计算,得到车辆与断面距离最小的两个坐标点,所述两个坐标号为车辆在断面前后两个的采集点;
B3、根据所述最小的两个坐标号,计算得到车辆在断面前后两个采集点的距离;
B4、取车辆在断面前后两个采集点距离的最小两个值,所述最小两个值为第i辆车在第k个断面的前后两个位置;
B5、基于所述速度值,根据断面的前后两个位置的车速以及断面在两点间的距离差,计算得到第i辆车在第k个断面的车速;
B6、判断是否遍历完每辆车在每个断面的车速,若是,则根据第i辆车在第k个断面的速度,计算得到每个断面所有车的车速,否则,返回步骤B1;
所述步骤S4中得到车道线与车辆横侧距,包括以下步骤:
C1、根据车辆在断面前后两个采集点和断面k,形成三角形;
C2、将三角形断面k的高作为车辆在断面k处的车道线与车辆横侧距。
本实施例中,根据获得的车辆数据,进行如下处理获得标定的车道线、断面车速和车道线与车辆横侧距用以评价事故高风险路段,具体内容如下:
获取标定的车道线方法如下:使用笛卡尔坐标系描述物体位置,并不是描述车辆位置的最佳选择,如图7所示,将笛卡尔坐标系转换为Frenet坐标系,以更好的描述道路中车道线与车辆的状态。为得到车辆与车道线的横侧距,除了需要转换坐标系,还需对车道线进行标注针对线形不断变化的道路,得到了车辆位置(x,y)以外,还需要车辆与车道线的位置关系。如图7所示,建立Frenet坐标系,s代表沿道路的距离为纵坐标,d表示与纵向线的为宜称为横坐标(图7中没有参数d),以实现对车辆在行车道上位置的具体描述。已知车辆连续的坐标位置,需要对车道线进行标注,以得到车辆与车道线的距离从每个定点航拍视频中取一图片,因为无人机为定点航拍,可认为视频帧间除车辆外的背景无变化,此图片即代表了此航拍视频的道路位置。将图片按左上角位于坐标原点导入cad软件中,通过比例缩放,令图片长度与宽度的坐标值与像素长度相等,横向长为1920,纵向长为1080。则此条件下,该图中任意一点在cad软件中的坐标与图像的像素坐标相对应,与所提取的车辆X坐标相同,Y坐标为相反数。如图8所示,再通过纬地软件的平面设计功能,设计出与图片中车道线相同的设计线,该项目中可每次间隔实际道路上10cm输出该设计线的逐桩坐标,将逐桩坐标表的Y轴坐标值取负值,即为车道线的像素坐标标定文件,其坐标与所检测的车辆坐标为同一坐标系。
获取车道线各个断面的车速方法如下:根据每个车辆的连续采集坐标与对应的速度值,以及车道线的标定文件,得到每辆车的信息,使用Python语言编程处理进行断面车速的提取工作,总共进行三层循环,首先遍历所有车辆的编号,得到每辆车在视频中的连续像素坐标与速度值;再遍历所标定车道线的每个欲提取的断面桩号,本文匝道总长度为2.5km,每隔1m采集一次断面,用每个断面桩号与上一层所提取编号车辆的所有坐标进行距离计算,找到车辆与断面距离最小的两个坐标点,即该车在此断面前后两次的采集点,取lk的最小两个值,即为第i辆车在第k个断面的前后两个位置,因为车辆采集时间很短,可认为车辆在这两个采集点间为匀变速运动,根据前后两处的车速以及断面在两点间的距离差得到第i辆车在第k个断面的速度vik
Figure BDA0003550398630000121
Figure BDA0003550398630000122
其中,vik表示第i辆车在第k个断面的速度,v1表示断面后采集点的车速,v2表示断面前采集点的车速,I1表示断面点与断面前采集点的水平距离,I'1表示断面点与断面前采集点的垂直距离,I表示断面前后采集点之间的水平距离,I'表示断面前后采集点之间的垂直距离。
本实施例中,以水平距离计算,若不在水平距离之间,那么就以垂直距离之间的距离进行计算。
通过此方法遍历每一辆车与每一个断面,即可得到每辆车在每个断面的车速。同样,也可得到每个断面所有车的车速。
获取车道线与车辆横侧距方法如下:在由两个采集点和断面k形成三角形中,已知三点坐标,即可得三角形三边长。此三角形断面k做出的高h即为该车在断面k处的车道线与车辆横侧距。要得到得到每辆车在每个断面处距车道线的垂直距离h,可应用海伦公式。通过在每个车道线断面运用此方法,即可求得车道线每个断面与每辆车的横侧距,即为车辆的偏移量。
形成三角形的表达式如下:
Figure BDA0003550398630000131
其中,lk表示第k个断面与第i辆车第j个采集点的距离,
Figure BDA0003550398630000132
表示车道线第k个断面的X坐标,carxij表示第i辆车第j个采集点的X坐标,
Figure BDA0003550398630000133
表示车道线第k个断面的Y坐标,caryij表示第i辆车第j个采集点的Y坐标。
如图9所示,提取横侧距数据的过程中,已知三点坐标,可得到三角形三边长,此三角形断面k做出的高h即为该车在断面k处的车道线与车辆横侧距。要得到得到每辆车在每个断面处距车道线的垂直距离h,可应用海伦公式,本实例所建立已知三角形,其高h可由公式
Figure BDA0003550398630000134
表示。通过每个车道线断面运用此方法,可求得车道线每个断面与车辆的横侧距,即为车辆的偏移量。
S5、如图10所示,根据所述标定的车道线、断面车速以及车道线与车辆横侧距,得到车辆相对车道线连续的速度与横侧距分布,从而分析得到与车道线横向距离分布特征、连续加速度、横向加速度以及断面车速的梯度;
S6、根据与车道线横向距离分布特征、连续加速度、横向加速度以及断面车速的梯度,对高风险路段进行鉴别,完成基于行车视频的高风险路段鉴别。
本实施例中,通过处理获得的分析得到与车道线横向距离分布特征、连续加速度、横向加速度以及断面车速的梯度,根据与车道线横向距离分布特征、连续加速度、横向加速度以及断面车速的梯度,对高风险路段进行鉴别,完成基于行车视频的高风险路段鉴别,其评价指标和方法如下:
1、与护栏横向距离,即与车道线横向距离分布特征
车辆在制动过程中,有时向两侧偏驶,出现制动跑偏现象,导致车辆失去控制,偏离原来的行驶方向。若前轮先抱死,则车辆失去转向能力,出现甩尾现象;若后轮先抱死,则车辆偏离原车道,驶入邻近车道或碰撞护栏。特别是在转弯处行驶,四轮上均存在纵向力,制动加剧改变车辆载荷,从而影响转弯稳定性。
根据车辆制动跑偏量和行驶速度,当车速为50km/h时,横向安全距离为1m;;当车速为120km/h时,横向安全距离为1.4m。故确定高速公路车辆与护栏的横向安全车距为1.0~1.4m。
2、车辆连续加速度
在高速公路车速正常行驶过程中,车辆速度及加速度是不断波动的,当速度在110km/h上下浮动时,加速度波动的范围为[-1.5,1.5]。车辆在紧急制动过程中减速度变化剧烈,若紧急停车,减速度可快速达到-6m/s2。紧急制动时车辆减速度大于正常行驶过程种驾驶员采用的一般减速度,会使驾驶员和乘客产生不舒适感。故以减速度的大小作为判断驾驶员行驶安全状态是否异常的依据是十分重要的。
3、车辆横向加速度
如图11所示,车辆横向加速度(ay)往往反映了车辆转向时产生的垂直于车辆前进轨迹的加速度,转向时间过小,会引起车辆打滑或者侧翻,车辆稳定性变差,因此对于横向加速度给出横向加速度的分级评价标准,如表1所示,表1为横向加速度分级评价标准。
表1
级别 定义 取值范围
正常级 较低的横向加速度 0≤a<sub>y</sub>&lt;0.02g
较强级 中等的横向加速度 0.02g≤a<sub>y</sub>&lt;0.22g
限制级 较高的横向加速度 0.22g≤a<sub>y</sub>&lt;0.5g
最大级 非常高的横向加速度 0.5g≤a<sub>y</sub>&lt;0.64g
表中,ay为车辆横向加速度,g为重力加速度取g=9.8m/s2,将分析得到的横向加速度与表中对比得出横向加速等分级。对于限制级和最大级的横向加速度需要单独筛选出来,并检查该横向加速度对应的路段可能为高风险路段的潜在对象。
4、车速差异,即断面车速的梯度
高速公路上小型车车速较高,大型车车速较低。大型车由于体积、质量相对较大,其动力性能上远不如小型车,因此,大型车的运行速度过慢不仅会导致后续车辆视距的不足,也会对超车的小型车的运行安全性产生影响。大型车与小型车车速的差值定义为大小车型车速差,通过断面车速的调研,得到断面车速的大小车型车速差,即断面大小车型车速差=小型车V85-大型车V85,这样就得到路段内各断面的大小车型车速差。通过提取路段各断面大小车型车速差的极大值以及平均值,分析其与路段事故率的相关关系。其中,路段大小车型车速差极差比的计算方法为:
Figure BDA0003550398630000151
其中,mb表示路段大小车型车速极差比,
Figure BDA0003550398630000152
表示段各断面大小车型车速差均值,km/h,mi表示路段各断面大小车型车速差值,km/h。
如表2所示,表2为大小车型车速差极差比指标评价标准。
表2
Figure BDA0003550398630000161
路段车速离散度描述了路段范围内车速相对于整条公路平均车速的离散程度,由于这种离散程度与路段各项线形指标存在一定的关系,因此车速离散程度与路段的划分密切相关。
速度梯度定义为断面特征速度或路段代表速度与公路平均车速差值ΔV,计算式如下:
Figure BDA0003550398630000162
其中,V85表示第85分位速度,
Figure BDA0003550398630000163
表示公路平均速度。
路段车速离散度为里程内第位车速与平均车速所围成的面积S,如图12所示,计算公式如下:
Figure BDA0003550398630000164
其中,ΔVi表示单位长度内的速度梯度,m/s,li+1表示第i+1个几何元素对应的起点桩号里程,m,li表示第i个几何元素对应的终点桩号里程,m,L表示里程长度,m,n表示里程长度内几何元素的总个数,dl表示积分符号。
本发明通过以上设计,能更有效精确的提取自然流状态下多车辆连续车速与轨迹数据的提取;能更科学的对道路高风险路段进行鉴别。
实施例2
如图13所示,本发明提供了一种基于行车视频的高风险路段鉴别系统,包括:
航拍视频获取模块,用于利用无人机获取行车视频;
图像配准模块,用于根据获取的行车视频,对晃动的帧画面进行配准处理;
车辆数据提取模块,用于根据经配准后的行车视频,对车辆进行标记与跟踪,得到车辆与时间对应的连续速度与行驶轨迹数据;
断面行车视频提取模块,用于对车道线进行标定,并根据所述车辆的连续速度与行驶轨迹数据,提取车道线各桩号包括断面车速、加速度、车道线与车辆横侧距以及横向速度的断面数据;
数据处理模块,用于根据所述断面数据,得到包括车辆与车道线横向距离、连续加速度、横向加速度以及断面车速梯度的车辆行驶特征;
分析鉴别模块,用于根据所述车辆行驶特征对高风险路段进行鉴别,完成基于行车视频的高风险路段鉴别。
如图13所示实施例提供的点云配准系统可以执行上述方法实施例基于行车视频的高风险路段鉴别方法所示的技术方案,其实现原理与有益效果类似,此处不再赘述。
本发明实施例中,本申请可以根据点基于行车视频的高风险路段鉴别方法进行功能单元的划分,例如可以将各个功能划分为各个功能单元,也可以将两个或两个以上的功能集成在一个处理单元中。上述集成单元即可以采用硬件的形式来实现,也可以采用软件功能单元的形式来实现。需要说明的是,本发明中对单元的划分是示意性的,仅仅为一种逻辑划分,实际实现时可以有另外的划分方式。
本发明实施例中,基于行车视频的高风险路段鉴别系统为了实现基于行车视频的高风险路段鉴别方法的原理与有益效果,其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到,结合本发明所公开的实施例描述的各示意单元及算法步骤,本发明能够以硬件和/或硬件和计算机软件结合的形式来实现,某个功能以硬件还是计算机软件驱动的方式来执行,取决于技术方案的特定应用和设计约束条件,可以对每个特定的应用来使用不同的方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
本实施例中,本发明利用无人机获取行车视频;利用图像配准对晃动的帧画面进行配准处理;对车辆进行标记与跟踪,得到车辆的行驶轨迹数据;提取断面行车视频,分别得到标定的车道线、断面车速以及车道线与车辆横侧距;分析得到与车道线横向距离分布特征、连续加速度、横向加速度以及断面车速的梯度,并对高风险路段进行鉴别,完成基于行车视频的高风险路段鉴别。本发明解决了现有技术中难以实现稳定、连续、高精度的提取车辆与意向车道线距离的问题。
以上所述实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。

Claims (8)

1.一种基于行车视频的高风险路段鉴别方法,其特征在于,包括以下步骤:
S1、利用无人机获取行车视频;
S2、以行车视频首帧为基准,对晃动的帧画面进行配准处理;
S3、根据经配准后的行车视频,对车辆进行标记与跟踪,得到车辆与时间对应的连续速度与行驶轨迹数据;
S4、对车道线进行标定,并根据所述车辆的连续速度与行驶轨迹数据,提取车道线各桩号包括断面车速、加速度、车道线与车辆横侧距以及横向速度的断面数据;
S5、根据所述断面数据,得到包括车辆与车道线横向距离、连续加速度、横向加速度以及断面车速梯度的车辆行驶特征;
S6、根据所述车辆行驶特征对高风险路段进行鉴别,完成基于行车视频的高风险路段鉴别。
2.根据权利要求1所述的基于行车视频的高风险路段鉴别方法,其特征在于,所述步骤S3包括以下步骤:
S301、根据经配准后的行车视频,对车辆进行标记,并从经配准后的行车视频中提取训练集、验证集以及测试集用于训练车辆检测模型;
S302、根据实际道路已知长度的标线,对像素距离与实际距离进行标定;
S303、利用车辆检测模型对标记车辆进行检测;
S304、利用多目标跟踪算法Deepsort对所检测的车辆进行连续跟踪;
S305、基于跟踪结果,得到车辆行驶轨迹,并根据实际距离与像素距离的标定值,通过对时间间隔进行计算,得到车辆与时间对应的连续速度。
3.根据权利要求1所述的基于行车视频的高风险路段鉴别方法,其特征在于,所述步骤S4中对车道线进行标定,包括以下步骤:
A1、从配准后的行车视频中提取一张图片,以左上角位于坐标原点导入cad软件,并通过比例缩放,令该图片长度和宽度的坐标值与图片像素长度相同,即图片中任意点的cad坐标与图片像素坐标在数值上X轴坐标相同,Y轴坐标相反;
A2、设计与图片中车道线相同的设计线,并每间隔实际道路上10cm输出所述设计线的逐桩坐标表;
A3、将所述逐桩坐标表的Y轴坐标值取为负值,使车道线cad坐标表与车道线的像素坐标相同;
A4、根据车道线像素的坐标标定文件,得到车道线的标定坐标数据,完成对车道线进行标定,其中,对车道线的标定与步骤S3中车辆检测的坐标为同一坐标系。
4.根据权利要求3所述的基于行车视频的高风险路段鉴别方法,其特征在于,所述步骤S4中得到断面车速,包括以下步骤:
B1、遍历所有车辆的编号,得到每辆车在视频中的连续像素坐标与速度值;
B2、遍历标定车道线的每个提取断面桩号,并利用每个断面桩号与连续像素坐标进行距离计算,得到车辆与断面距离最小的两个坐标点,所述两个坐标号为车辆在断面前后两个的采集点;
B3、根据所述最小的两个坐标号,计算得到车辆在断面前后两个采集点的距离;
B4、取车辆在断面前后两个采集点距离的最小两个值,所述最小两个值为第i辆车在第k个断面的前后两个位置;
B5、基于所述速度值,根据断面的前后两个位置的车速以及断面在两点间的距离差,计算得到第i辆车在第k个断面的车速;
B6、判断是否遍历完每辆车在每个断面的车速,若是,则根据第i辆车在第k个断面的速度,计算得到每个断面所有车的车速,否则,返回步骤B1。
5.根据权利要求4所述的基于行车视频的高风险路段鉴别方法,其特征在于,所述步骤B5中第i辆车在第k个断面的车速的表达式如下:
Figure FDA0003550398620000031
Figure FDA0003550398620000032
其中,vik表示第i辆车在第k个断面的速度,v1表示断面后采集点的车速,v2表示断面前采集点的车速,I1表示断面点与断面前采集点的水平距离,I'1表示断面点与断面前采集点的垂直距离,I表示断面前后采集点之间的水平距离,I'表示断面前后采集点之间的垂直距离。
6.根据权利要求1所述的基于行车视频的高风险路段鉴别方法,其特征在于,所述步骤S4中得到车道线与车辆横侧距,包括以下步骤:
C1、根据车辆在断面前后两个采集点和断面k,形成三角形;
C2、将三角形断面k的高作为车辆在断面k处的车道线与车辆横侧距。
7.根据权利要求1所述的基于行车视频的高风险路段鉴别方法,其特征在于,所述步骤C1中形成三角形的表达式如下:
Figure FDA0003550398620000033
其中,lk表示第k个断面与第i辆车第j个采集点的距离,
Figure FDA0003550398620000034
表示车道线第k个断面的X坐标,carxij表示第i辆车第j个采集点的X坐标,
Figure FDA0003550398620000035
表示车道线第k个断面的Y坐标,caryij表示第i辆车第j个采集点的Y坐标。
8.一种基于行车视频的高风险路段鉴别系统,其特征在于,包括:
航拍视频获取模块,用于利用无人机获取行车视频;
图像配准模块,用于以行车视频首帧为基准,对晃动的帧画面进行配准处理;
车辆数据提取模块,用于根据经配准后的行车视频,对车辆进行标记与跟踪,得到车辆与时间对应的连续速度与行驶轨迹数据;
断面行车视频提取模块,用于对车道线进行标定,并根据所述车辆的连续速度与行驶轨迹数据,提取车道线各桩号包括断面车速、加速度、车道线与车辆横侧距以及横向速度的断面数据;
数据处理模块,用于根据所述断面数据,得到包括车辆与车道线横向距离、连续加速度、横向加速度以及断面车速梯度的车辆行驶特征;
分析鉴别模块,用于根据所述车辆行驶特征对高风险路段进行鉴别,完成基于行车视频的高风险路段鉴别。
CN202210261786.7A 2022-03-16 2022-03-16 一种基于行车视频的高风险路段鉴别系统及方法 Pending CN114926729A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210261786.7A CN114926729A (zh) 2022-03-16 2022-03-16 一种基于行车视频的高风险路段鉴别系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210261786.7A CN114926729A (zh) 2022-03-16 2022-03-16 一种基于行车视频的高风险路段鉴别系统及方法

Publications (1)

Publication Number Publication Date
CN114926729A true CN114926729A (zh) 2022-08-19

Family

ID=82805310

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210261786.7A Pending CN114926729A (zh) 2022-03-16 2022-03-16 一种基于行车视频的高风险路段鉴别系统及方法

Country Status (1)

Country Link
CN (1) CN114926729A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117711185A (zh) * 2024-02-05 2024-03-15 中国水利水电第九工程局有限公司 一种基于多源数据的公路施工用预警监控系统及方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117711185A (zh) * 2024-02-05 2024-03-15 中国水利水电第九工程局有限公司 一种基于多源数据的公路施工用预警监控系统及方法
CN117711185B (zh) * 2024-02-05 2024-04-09 中国水利水电第九工程局有限公司 一种基于多源数据的公路施工用预警监控系统及方法

Similar Documents

Publication Publication Date Title
CN112700470B (zh) 一种基于交通视频流的目标检测和轨迹提取方法
WO2022206942A1 (zh) 一种基于行车安全风险场的激光雷达点云动态分割及融合方法
CN104573646B (zh) 基于激光雷达和双目相机的车前行人检测方法及系统
US10424081B2 (en) Method and apparatus for calibrating a camera system of a motor vehicle
CN102208013B (zh) 风景匹配参考数据生成系统和位置测量系统
CN102222236B (zh) 图像处理系统及位置测量系统
DE102020112314A1 (de) Verifizierung von fahrzeugbildern
Guo et al. A multimodal ADAS system for unmarked urban scenarios based on road context understanding
CN104021541A (zh) 车至车距离计算装置和方法
CN107796373A (zh) 一种基于车道平面几何模型驱动的前方车辆单目视觉的测距方法
CN111967360A (zh) 基于车轮的目标车辆姿态检测方法
CN112464889A (zh) 道路车辆姿态和运动信息检测方法
US20190180121A1 (en) Detection of Objects from Images of a Camera
CN108961313B (zh) 二维世界坐标系的俯视行人风险量化方法
CN114419874A (zh) 基于路侧感知设备数据融合的目标行车安全风险预警方法
WO2018149539A1 (en) A method and apparatus for estimating a range of a moving object
CN115544888A (zh) 一种基于物理机理与机器学习混杂理论的动态场景边界评估方法
CN115273005A (zh) 一种基于改进yolo算法的视觉导航车环境感知方法
CN114926729A (zh) 一种基于行车视频的高风险路段鉴别系统及方法
Kolla et al. Simulation-based reconstruction of traffic incidents from moving vehicle mono-camera
CN117115690A (zh) 一种基于深度学习和浅层特征增强的无人机交通目标检测方法及系统
CN109059863B (zh) 将平视行人轨迹点向量映射至二维世界坐标系的方法
Philipp et al. Automated 3d object reference generation for the evaluation of autonomous vehicle perception
CN116311136A (zh) 用于辅助驾驶的车道线参数计算方法
Xu et al. Roadside estimation of a vehicle’s center of gravity height based on an improved single-stage detection algorithm and regression prediction technology

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination