CN113421289A - 一种克服无人机拍摄扰动的高精度车辆轨迹数据提取方法 - Google Patents

一种克服无人机拍摄扰动的高精度车辆轨迹数据提取方法 Download PDF

Info

Publication number
CN113421289A
CN113421289A CN202110536545.4A CN202110536545A CN113421289A CN 113421289 A CN113421289 A CN 113421289A CN 202110536545 A CN202110536545 A CN 202110536545A CN 113421289 A CN113421289 A CN 113421289A
Authority
CN
China
Prior art keywords
vehicle
image
coordinate
unmanned aerial
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110536545.4A
Other languages
English (en)
Other versions
CN113421289B (zh
Inventor
张方方
刘硕
王俊骅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tongji University
Original Assignee
Tongji University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tongji University filed Critical Tongji University
Priority to CN202110536545.4A priority Critical patent/CN113421289B/zh
Publication of CN113421289A publication Critical patent/CN113421289A/zh
Application granted granted Critical
Publication of CN113421289B publication Critical patent/CN113421289B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/015—Detecting movement of traffic to be counted or controlled with provision for distinguishing between two or more types of vehicles, e.g. between motor-cars and cycles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种克服无人机拍摄扰动的高精度车辆轨迹数据提取方法，1)获取无人机交通流视频数据，从中随机抽取一定数量的图片进行图像标注，实施基于深度学习的模型训练，获取YOLOv4模型文件；2)对每一帧图像进行目标检测与跟踪，获取车辆目标的图像坐标、车辆类别等信息；3)对每一帧图像进行锚点检测与跟踪，获取各帧中锚点图像坐标；4)采用单应性变换模型，计算图像坐标系与地面坐标系之间的坐标转换参数；5)计算车辆目标的地面坐标；6)对车辆轨迹的地面坐标进行平滑处理；7)计算微观交通参数。与现有技术相比，本发明具有有效克服相机扰动影响、人工工作量小、显著提高车辆轨迹数据的精度和可靠性等优点。

Description

一种克服无人机拍摄扰动的高精度车辆轨迹数据提取方法
技术领域
本发明涉及道路交通数据采集技术领域，尤其是涉及一种克服无人机拍摄扰动的高精度车辆轨迹数据提取方法。
背景技术
近年来，随着无人机设备性能的不断提升，以及计算机图像处理技术的快速发展，无人机以其独特的便捷性与灵活性，逐渐成为道路交通数据采集的热门工具，为道路交通工程技术人员深入开展科学研究和应用开发提供了有效的实验手段。相比于其它数据采集方式如感应线圈、视频监控、雷达、浮动车、自然驾驶实验车等，无人机航拍视频具有数据采集便捷、内容信息丰富、采集范围开阔以及成本低廉、不影响既有交通等诸多优势。基于无人机视频提取的车辆轨迹数据不仅可以用于驾驶行为建模、交通流特性分析、设施安全评估等方面，还能用于自动驾驶深度学习、微观交通仿真模型标定、模拟驾驶软件研发等领域，作为其重要的基础数据来源之一，因此受到广大技术研究人员的欢迎。
众所周知，无人机交通流视频一般采用高空悬停拍摄，相机位置较高(一般在100～400m)，拍摄视角垂直向下，视野开阔无遮挡，基本不受车辆相互遮挡的影响。但该方式也存在一些缺陷，其中比较典型的问题之一为由于受到气流、电机震动等内外多种因素影响，视频拍摄过程中相机会发生随机性扰动，具体表现为不同程度的旋转与抖动。尽管目前的无人机广泛采用了先进的飞行稳定及基于万向节的相机稳定技术，并且即使选择在无风或者微风的良好天气条件下进行拍摄，这种轻微的扰动也难以消除。
视频图像帧与帧之间所拍摄范围的不稳定性为高精度车辆轨迹数据的提取增加了困难，表现在：一方面，视频图像随时间发生旋转与偏移导致采集到的车辆位置实际上叠加了两方面的位移信息：一是车辆自身运动发生的“真实位移”，二是图像旋转与偏移导致的“虚假位移”。若不将“虚假位移”予以剔除，则可能导致依靠位置坐标无法判断车辆的真实行为，如无法判断车辆是否真正发生过换道行为，因为既可能是车辆自身运动产生，也可能由图像偏移产生；另一方面，由于视频图像中车辆目标很小，相机扰动对车辆轨迹数据的精度很容易达到不可忽视的影响程度。因此，如何有效克服相机的扰动问题，已成为高精度车辆轨迹数据提取过程中需要解决的重要问题之一。
发明专利CN 110751099 A(申请日2019.10.22)公开了一种基于深度学习的无人机航拍视频车辆轨迹高精度提取方法。该专利针对无人机视频图像中目标数量多、尺寸小、特征不明显导致的车辆位置坐标提取不准确问题，尝试将YOLOv3和R-CNN两种不同的目标检测算法加以融合，发挥二者各自的优势，对车辆目标检测的效率与准确性做出综合改进。该方法虽有助于提高目标检测的准确性，但仅局限于解决单帧图像内车辆目标定位精度问题，未考虑视频图像随时间发生的旋转与偏移对车辆轨迹坐标带来的负面影响。
发明专利CN 111341097 A(申请日2020.02.13)公开了一种基于无人机视频的交通数据采集方法。该方法试图通过图像匹配的过程来降低相机扰动的影响。首先将视频中的每一帧图像转换至与参考帧相同的相机拍摄视角，再逐帧实施目标检测与跟踪。但关键问题在于，用于图像匹配的旋转位移矩阵W的获取十分困难，每一帧图像对应的旋转位移矩阵W均不同，该专利所述方法中并未具体明确该如何获取每一帧图像对应的旋转位移矩阵W，若采用人工标定的方式则工作量极大，极为耗时；另外，该专利方法要求通过实地测量的方式获取特征点的实际地面(世界)坐标，这一方式往往不具备现实条件，因为航拍的道路交通场景多在高速公路、城市高架快速路、主干路等繁忙的主干道上，实地测量地面坐标影响既有交通的运行，并且存在较大的安全风险，也相对费时费力，大大降低了实践操作的可行性；最后，实施图像匹配后再由YOLOv3算法进行车辆目标检测，有可能降低YOLOv3算法对车辆目标的“视认性”，从而降低目标检测的精度，因为图像匹配实质上是对初始图像进行一定的扭曲变换。
发明专利CN 107516300 B(公告日2020.05.22)公开了一种针对无人机视频采集的混合抖动纠正方法。该方法尝试构建卡尔曼动态运动模型来描述相机抖动造成的视频帧与帧之间的运动规律，其关键步骤为将图像的四个边角点或图像内较大的固定参照物的角点作为特征点，观察特征点的变化趋势确定每相邻两帧图像之间的旋转角度θ和平移量(TX，TY)，以此计算卡尔曼滤波器的系统状态转换矩阵A。同样，该专利所述方法中并未明确该如何具体操作捕获特征点，如何获取每相邻两帧图像之间的旋转角度θ和平移量(TX，TY)，若采用人工标定特征点的方式则工作量极大且极为耗时，并且精度有限，令该方法的实用性大大下降。
发明专利CN 108364466 A(申请日2018.02.11)公开了一种基于无人机交通视频的车流量统计方法。该方法通过跟踪预先指定的与周边环境有显著差异的参照物，计算参照物随时间发生的相对偏移量，来对划定的用于统计车流量的标志线的位置不断进行修正，一定程度上减轻了视频图像平移变化的影响，但无法解决图像旋转产生的影响。该方法适用于采集车流量，但无法满足提取车辆轨迹数据的精度要求。
综上可以看出，基于无人机视频采集交通数据的研究与开发尚处于不断探索的发展过程。高精度车辆轨迹数据的提取作为其中最重要的任务之一，目前尚未有相关研究或发明提出能够有效解决无人机相机扰动的办法。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种可操作性强的克服无人机拍摄扰动的高精度车辆轨迹数据提取方法，该方法通过采用OpenCV库中既有的图像处理函数完成锚点图像坐标的自动检测与跟踪，应用单应性变换模型动态构建图像坐标系与固定的地面坐标系之间的转换关系，再将每帧图像中车辆目标的图像坐标映射至统一的地面坐标系，并采用RTS平滑算法完成地面坐标序列数据的平滑处理，最终获得高精度的车辆轨迹数据。
本发明的目的可以通过以下技术方案来实现：
一种克服无人机拍摄扰动的高精度车辆轨迹数据提取方法，该方法包括如下步骤：
S1：获取无人机交通流视频数据，根据交通流视频中的典型车辆型式，将车辆目标划分成不同类别；从无人机交通流视频数据中随机抽取一定数量以上的图片，按照划分的目标类别进行图像标注，即在每一张图像中框选出车辆目标所在位置，并指定其所属类别名称；标注后将所有图像按比例划分为训练集、校验集及测试集，并基于darknet的深度学习框架进行YOLOv4模型训练，获得YOLOv4.weights模型文件。
S2：对无人机交通流视频数据中每一帧图像进行目标检测与跟踪，获取车辆目标的图像坐标。
进一步地，采用的图像处理算法为基于YOLOv4的目标检测算法与基于Deepsort的目标跟踪算法；获取的数据还包括车辆类别信息、车身尺寸信息和车辆编号信息，获取的各信息按每一帧的先后顺序保存至.txt文件。
S3：对无人机交通流视频数据中的每一帧图像进行锚点检测与跟踪，获取各帧图像中锚点的图像坐标。具体步骤包括：
S301：在无人机视频拍摄范围内挑选一组轮廓清晰的地物特征点，将其定义为锚点，每一个锚点指定唯一的数字编号；
S302：在视频文件的开头位置处挑选一张图像，该图像上所有锚点均未被车辆遮挡，由人工在该图像上指定各个锚点的初始搜索范围，即划定一个包含锚点的矩形框，该矩形框内除锚点外不包括其他角点；
S303：在初始搜索范围内检测锚点图像坐标，并以此坐标为中心重新生成一个相同大小的矩形框，作为下一帧图像中锚点的新的搜索范围，进而完成对同一个锚点的跟踪；若当前帧下的某个锚点被经过的车辆所遮挡或覆盖，则在当前帧下舍弃该锚点，继续下一个锚点的搜索；
作为优选方式，通过调用OpenCV库中既有的角点检测功能函数goodFeaturesToTrack在初始搜索范围内检测锚点图像坐标。
S304：将每一帧图像中检测到的锚点的图像坐标及锚点对应的编号存入txt文本文件。
S4：基于锚点的图像坐标与实际地面坐标，采用单应性变换模型，计算每一帧图像的图像坐标系与唯一地面坐标系之间的坐标转换参数。具体地：
S401：将S302中挑选出来的图片导入绘图软件中，以实际路面参照物作为标准，对图片进行尺度缩放，使其尺度与地面实际尺度一致，然后从中量取出一套完整的锚点对应位置的坐标，作为锚点的地面坐标使用；
S402：将锚点作为坐标转换的控制点，将视频拍摄范围内的道路路面视为一个平面，采用单应性变换模型，求解图像坐标系与地面坐标系之间的坐标转换参数，坐标转换参数计算过程中采用最大残差淘汰策略对参与计算的锚点加以甄别；
S403：将每一帧图像对应的坐标转换参数计算结果按视频图像帧号顺序存入txt文本文件。
进一步地，上述S402的具体内容为：
假设锚点地面坐标(x,y)对应的齐次坐标为(x1',x'2,x'3)，锚点图像坐标(u,v)对应的齐次坐标为(x1,x2,x3)，则两齐次坐标之间的单应性变换关系为：
Figure BDA0003070066640000051
其中，H为3×3坐标转换矩阵，hij(i、j＝1,2,3)为矩阵H中的元素，将与锚点图像坐标(u,v)对应的齐次坐标(u,v,1)代入上式，并由齐次坐标(x1',x'2,x'3)可得二维地面坐标(x,y)为：
Figure BDA0003070066640000052
且h33≠0
上式可进一步转化为：
Figure BDA0003070066640000053
其中a,b,c,d,e,f,m,n为坐标转换参数；
设定每帧图像中用于坐标转换参数计算的最小有效锚点数量，通过最小二乘法则寻求最优计算结果。
作为优选方式，以锚点的图像坐标和地面坐标作为输入参数，通过调用OpenCV库中既有的功能函数findHomography获得基于最小二乘法则的坐标转换参数计算结果。
坐标转换参数计算过程中采用最大残差淘汰策略对参与计算的锚点加以甄别，具体为：首先将全部锚点纳入计算，然后对每一锚点的残差进行大小比较，从中找出最大残差，若该最大残差大于设定阈值，则将其对应的锚点予以剔除，然后利用剩余锚点重新计算，以此循环，直至最大残差小于设定的阈值为止。
S5：利用S4得到的坐标转换参数及S2得到的车辆目标的图像坐标，计算车辆目标对应的地面坐标。
S6：对构成车辆运动轨迹的地面坐标序列数据进行平滑处理。
进一步地，采用RTS平滑算法对车辆轨迹地面坐标序列数据进行平滑处理。RTS平滑算法采用的系统状态进化模型为加速度常量模型，其对应的系统状态转移方程和系统观测方程分别为：
Figure BDA0003070066640000061
Figure BDA0003070066640000062
式中，(xk,yk,vxk,vyk,axk,ayk)T和(xk-1,yk-1,vxk-1,vyk-1,axk-1,ayk-1)T分别为车辆在k时刻和k-1时刻的状态向量，(zxk,zyk)T为车辆在k时刻的观测向量，A为状态转移矩阵，M为观测矩阵，wk、vk为呈高斯分布的随机误差项，wk～N(0,Qk)，vk～N(0,Rk)，Qk为系统状态随机误差项的协方差，Rk为观测随机误差项的协方差，状态向量包括六个分量，分别为X、Y两个方向上的坐标分量x和y、速度分量vx和vy、加速度分量ax和ay，观测向量包括两个分量，分别为X、Y两个方向上的坐标观测值zx和zy，Δt为相邻两帧之间的时间间隔，大小为视频帧率的倒数，单位为秒。
S7：基于车辆轨迹数据计算微观交通参数。
基于车辆轨迹数据计算的微观交通参数包括车辆速度、加速度、车道位置、横向距离、横向速度、横向加速度、车头时距、Gap和TTC。
其中对车辆所在车道位置进行判定的具体步骤包括：
71)在步骤41)采集锚点地面坐标的同时，采集路面车道边线和车道分界线上若干点的地面坐标，确保每条标线上采集的点不少于五个；
72)采用直线或圆弧对步骤71)采集的点坐标加以拟合，拟合出的直线方程或圆弧方程分别对应每条车道边线和车道分界线所在的平面位置；
73)将车道由内侧向外侧按顺序1，2，3，…予以编号；
74)将车辆视为质点，通过判断车辆位置坐标与拟合的直线或圆弧之间的平面位置关系，判定出车辆所在车道。
对车辆横向距离、横向速度和横向加速度的计算的具体步骤包括：
75)将车辆所在车道的左侧边线定义为横向位置的基准，车辆中心位置至该横向基准的距离定义为横向距离；
76)利用步骤72)中拟合得到的直线方程或圆弧方程，采用点到直线的距离或点到圆弧的距离计算方法，计算出车辆横向距离的大小；
77)由相邻帧之间的横向距离差异和相邻帧之间的时间间隔，计算得到横向速度的大小；进一步，由相邻帧之间的横向速度差异和相邻帧之间的时间间隔，计算得到横向加速度大小。
本发明提供的克服无人机拍摄扰动的高精度车辆轨迹数据提取方法，相较于现有技术至少包括如下有益效果：
1)本发明通过采用OpenCV既有的图像处理函数完成锚点图像坐标的自动检测与跟踪，应用单应性变换模型动态构建图像坐标系与固定的地面坐标系之间的转换关系，使车辆位置坐标能够摆脱相机扰动造成的外部系统性误差影响；另外，通过采用卡尔曼平滑算法——RTS平滑器对车辆轨迹地面坐标实施平滑处理，进一步减小了系统内部各种随机误差的影响。本发明成功克服了无人机高空悬停拍摄过程中相机扰动对车辆位置定位带来的负面影响，对提升车辆轨迹数据的精度和可靠性具有显著的积极作用。
2)与现有技术的其它方法相比，本发明方法的可操作性强，实现流程清晰，基本上依靠程序系统的自动检测与跟踪实现，人工工作量小，易于推广使用。
3)本发明方法一方面有助于构建具有我国驾驶人典型行为特征的底层数据集或数据库，服务于各种潜在的应用和学术研究，另一方面，有利于推动基于无人机视频的车辆轨迹数据的进一步研究与应用，可为微观驾驶行为研究、道路设施运营安全评估、交通流特性分析及微观交通仿真、自动驾驶等研究领域提供宝贵的数据支撑，具有良好的工程应用前景。
附图说明
图1为实施例中克服无人机拍摄扰动的高精度车辆轨迹数据提取方法的原理流程示意图；
图2为实施例中基于darknet深度学习框架的YOLOv4模型训练结果；
图3为实施例中稳定交通流状态下的车辆目标检测与跟踪效果图；
图4为实施例中饱和交通流状态下的车辆目标检测与跟踪效果图；
图5为实施例中人工设置的锚点初始搜索范围；
图6为实施例中锚点自动检测与跟踪的程序实现流程示意图；
图7为实施例中第60帧图像中锚点检测结果；
图8为实施例中第180帧图像中锚点检测结果；
图9为实施例中基于最大残差淘汰策略的坐标转换参数计算流程示意图；
图10为实施例中采用RTS平滑算法对车辆轨迹地面坐标数据实施平滑后的效果；
图11为实施例中车辆横向距离示意图；
图12为实施例中车辆发生向左换道行为时的横向速度与横向加速度参数计算结果；
图13为实施例中车辆发生向右换道行为时的横向速度与横向加速度参数计算结果。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。
实施例
本发明涉及一种克服无人机拍摄扰动的高精度车辆轨迹数据提取方法，其总体思路为：首先，采用基于YOLOv4的目标检测算法和基于Deepsort的目标跟踪算法对无人机视频实施车辆目标检测与跟踪，获得车辆目标的初始图像坐标；然后，在无人机视频拍摄范围内选择一组清晰可辨的地物特征点作为控制点，定义为锚点，采用OpenCV库中既有的角点检测算法自动检测出每一帧图像上锚点的图像坐标，利用锚点的图像坐标和唯一的地面坐标，采用单应性变换模型动态建立每一帧图像的图像坐标系与唯一地面坐标系的转换关系，求取每一帧图像的坐标转换参数。最后，将每帧图像中车辆目标的初始图像坐标通过坐标转换参数映射至统一的地面坐标系，并采用RTS平滑算法(Rauch-Tung-Striebelsmoother)最终完成车辆地面坐标序列数据的平滑处理，从而实现对图像动态旋转和抖动的纠偏，获得高精度的车辆轨迹数据。
如图1所示，本发明克服无人机拍摄扰动的高精度车辆轨迹数据提取方法具体包括以下步骤：
步骤一、基于深度学习的模型训练，获得YOLOv4模型文件。
(1)车辆目标类别划分：观察无人机交通流视频中的典型交通组成，结合自身研究需要将车辆目标划分成不同类别，如小汽车(car)，大巴车(bus)，大货车(truck)等。
(2)图像标注：从无人机交通流视频中随机抽取1000～1200张典型图片，按照划分的目标类别进行图像标注，即在图片中框选出目标所在位置，并指定其所属类别名称。作为优选方案，可采用从网络下载共享程序labelImg实施图像标注。
(3)制作数据集：将标注好的1000～1200张图像按比例划分为训练集、校验集及测试集，划分比例可优先分别取92％、5％、3％。
(4)模型训练：darknet是专门为YOLO算法设计的轻量级深度学习框架，选择基于darknet的深度学习框架进行模型训练。设定总训练次数15000～20000次，训练完成后获得YOLOv4.weights模型文件。本实施例基于darknet深度学习框架的YOLOv4模型训练结果如图2所示，当训练次数达到16000次时开始进入收敛区间，平均准确率(mAP)达到99％以上，平均损失(average loss)在1.6以下且不再下降。
步骤二、目标检测与跟踪，获取车辆位置、类别信息。
采用基于YOLOv4的目标检测算法与基于Deepsort的目标跟踪算法，对视频中每一帧图像进行目标检测与跟踪，获得每一帧图像中车辆目标的图像坐标、车辆类别、车身尺寸、车辆编号等信息，按每一帧的先后顺序保存至.txt文件。.txt文件保存格式如下：
Frame_ID，Veh_ID，Center_X，Center_Y，Box_Width，Box_Height，Vehicle_Class
7,1,163.05,935.68,78.50,33.42,car
7,2,3182.12,877.02,71.18,34.03,car
7,3,1947.20,901.63,81.53,34.67,car
7,4,1026.38,847.68,169.89,40.65,bus
……
以上为自定义的文件保存格式，文件首行列出了所保存的7条信息的名称，其中Frame_ID为视频图像的帧号，Veh_ID为车辆编号，Center_X、Center_Y分别为车辆中心点对应的图像横坐标和图像纵坐标，Box_Width、Box_Height分别为车辆目标在图像中的长度和宽度，以像素为单位。Vehicle_Class为车辆类别。首行以下的每一行分别记录了以上7条信息，每一行代表一条独立的数据记录。
稳定交通流和饱和交通流状态下的车辆目标检测与跟踪效果分别如图3和图4所示。
步骤三、锚点检测与跟踪，获取各帧中锚点的图像坐标。
(1)锚点的选择：
在无人机视频拍摄范围内选择一组清晰可辨的地物特征点，定义为锚点，一般应为道路路面上容易被辨识的地物的角点，如交通标线线段的端点，导向箭头的角点等，容易被OpenCV库中的角点检测算法捕捉到。锚点的数量一般在20～30之间，且尽量均匀分布于图像画面。
(2)设置锚点初始搜索范围：
在视频文件开头位置附近挑选一张图片，尽量确保所有锚点在该图片上没有被行经的车辆遮挡；由人工在该图像上指定各个锚点的初始搜索范围，具体做法为划定一个包含锚点的小型矩形框，该矩形框内除锚点外无其它明显的角点，矩形尺寸大小约40*24个像素；角点检测算法在该矩形框范围内启动锚点搜索。如图5所示，矩形框代表人工指定的锚点初始搜索范围，数字为对应锚点的编号。
(3)锚点图像坐标的获取：
锚点图像坐标的获得通过调用OpenCV库中既有的图像处理函数goodFeaturesToTrack实现。具体调用格式如下：
Detected_corners＝cv2.goodFeaturesToTrack(detect_area,maxCorners,qualityLevel,minDistance)
其中detect_area、maxCorners、qualityLevel及minDistance为输入参数，分别对应角点检测范围(对应上述步骤(2)中的矩形框范围)，角点最大检测数量(可取1)，可信度水平(可取0.85)，以及角点之间的最小间距(可取10)。Detected_corners为输出参数，返回检测到的角点的图像坐标。
在初始搜索范围内检测到锚点图像坐标后，以此坐标为中心重新生成一个相同大小的矩形框，作为下一帧图像中锚点新的搜索范围，从而完成对同一个锚点的跟踪；如果当前帧下某锚点被经过的车辆所遮挡或覆盖，则在当前帧下舍弃该锚点，继续下一个锚点的搜索。
由于每帧图像中受车辆遮挡的情况不同，每帧图像中检测到的锚点及锚点数量也会不同。锚点自动检测的程序具体实现流程如图6所示。锚点检测效果如图7和图8所示，图7、图8中十字中心代表程序检测到的锚点位置。
(4)锚点图像坐标的保存：
将每一帧图像中检测到的锚点的图像坐标及锚点对应的编号存入txt文本文件。
步骤四、采用单应性变换模型，计算坐标转换参数。
(1)量取锚点的地面(世界)坐标：
从视频中截取出一张包含所有锚点的图片(可直接采用上述步骤三(2)中挑选的图片)，将该图片导入AUTOCAD等绘图软件中，以车道宽度、标线长度等参照物作为标准，对图片进行尺度缩放，使其尺度与地面实际尺度尽量一致，再从中量取出一套完整的锚点对应位置的坐标，作为地面坐标使用。
(2)采用单应性变换模型，计算坐标转换参数：
将锚点作为坐标转换的控制点，将视频拍摄范围内的道路路面近似视为一个平面，采用单应性变换模型求解图像坐标系与地面坐标系之间的坐标转换矩阵。图像坐标系与地面坐标系的转换实为两个处于不同平面的二维坐标系之间的转换，图像坐标系是随每一帧动态变化的，地面坐标系是固定不变的。
设锚点地面坐标(x,y)对应的齐次坐标为(x1',x'2,x'3)，锚点图像坐标(u,v)对应的齐次坐标为(x1,x2,x3)，则两齐次坐标之间的单应性变换关系为：
Figure BDA0003070066640000111
其中，H为3×3坐标转换矩阵，hij(i、j＝1,2,3)为矩阵H中的元素。将与图像坐标(u,v)对应的齐次坐标(u,v,1)代入上式(1)，并由齐次坐标(x1',x'2,x'3)可得二维地面坐标(x,y)：
Figure BDA0003070066640000112
上式可进一步转化为：
Figure BDA0003070066640000121
其中a,b,c,d,e,f,m,n为坐标转换参数。选取4个控制点即能求解出坐标转换矩阵。为增强参数计算结果的准确性和可靠性，本发明方法设定每帧图像中用于计算的有效锚点数量不能少于9个，通过最小二乘法则寻求最优计算结果。
坐标转换参数的具体计算过程通过调用OpenCV库中既有的功能函数findHomography实现。具体调用格式如下：
Hom_mat＝cv2.findHomography(srcPoints,dstPoints,method)
其中srcPoints、dstPoints及method为输入参数，分别对应锚点的图像坐标、锚点的地面坐标及采用的计算方法，计算方法采用最小二乘法。Hom_mat为计算结果，返回一个3×3的坐标转换矩阵。
(3)参与坐标转换参数计算的锚点选择策略：
为避免携带过大随机误差的锚点参与坐标转换参数的计算，采用最大残差淘汰策略对参与计算的锚点加以甄别。最大残差淘汰策略即：坐标转换参数计算过程中先将全部锚点纳入计算，然后对每一锚点的残差进行大小比较，从中找出最大残差，若该最大残差大于设定的阈值，则将其对应的锚点予以剔除，然后利用剩余锚点重新计算，以此循环，直至最大残差小于设定的阈值为止。具体的基于最大残差淘汰策略的坐标转换参数计算的流程如图9所示。即首先读取新一帧图像帧号，读取对应帧下各锚点图像坐标(以像素为单位)，并读取对应帧下各锚点地面坐标(以米为单位)；然后判断当前锚点数量是否足够坐标转换计算，在本实施例中即判断当前锚点数量n是否大于等于9，若不是，则将当前帧直接赋值上一帧的计算结果，重新读取新一帧图像的帧号。若是，则将对应锚点全部纳入坐标转换参数的计算中，具体采用OpenCV库中的功能函数findHomography实现，计算后对参与计算的所有锚点逐一进行残差评估，找出最大残差值，判断最大残差是否小于或等于设定的阈值，若是，保存坐标转换参数后读取下一帧图像；否则，将最大残差对应的锚点从当前锚点集中剔除，再循环判断当前锚点数量n是否大于等于9，直至最后找出的最大残差小于设定的阈值为止。
(4)坐标转换参数计算结果的保存：
将每一帧图像对应的坐标转换参数计算结果按视频图像帧号顺序存入txt文本文件。
步骤五、计算车辆目标的地面(世界)坐标。
利用步骤四得到的坐标转换参数计算结果，以及步骤二得到的车辆目标的图像坐标，计算车辆目标对应的地面(世界)坐标，并按图像帧号顺序存入txt文本文件。
步骤六：车辆轨迹平滑处理。
采用一种卡尔曼平滑算法——RTS平滑器(Rauch-Tung-Striebel smoother)对车辆轨迹地面坐标实施平滑处理。RTS平滑算法采用的系统状态进化模型为加速度常量模型，其对应的系统状态转移方程和系统观测方程分别为：
Figure BDA0003070066640000131
Figure BDA0003070066640000132
其中(xk,yk,vxk,vyk,axk,ayk)T和(xk-1,yk-1,vxk-1,vyk-1,axk-1,ayk-1)T分别为车辆在k时刻和k-1时刻的状态向量，(zxk,zyk)T为车辆在k时刻的观测向量。A为状态转移矩阵，M为观测矩阵。wk、vk为呈高斯分布的随机误差项，wk～N(0,Qk)，vk～N(0,Rk)，Qk为系统状态随机误差项的协方差，Rk为观测随机误差项的协方差。状态向量包括六个分量，分别为X、Y两个方向上的坐标分量x和y、速度分量vx和vy、加速度分量ax和ay，观测向量包括两个分量，分别为X、Y两个方向上的坐标观测值zx和zy。Δt为相邻两帧之间的时间间隔，大小为视频帧率的倒数，单位为秒。
RTS平滑在全部观测完成后对k时刻进行状态估计，它不仅用到了当前k时刻及之前时刻的观测值，还用到了k时刻之后的观测值，因此RTS平滑估计的结果比卡尔曼滤波更为准确。RTS平滑估计的结果公式如下：
Figure BDA0003070066640000141
Pk+1|k＝APk|kAT+Qk (7)
Figure BDA0003070066640000142
Figure BDA0003070066640000143
Figure BDA0003070066640000144
其中，A为系统状态转移矩阵，
Figure BDA0003070066640000145
为获得当前k时刻的观测值后采用卡尔曼滤波对当前k时刻的状态估计，Pk|k为其对应的协方差；
Figure BDA0003070066640000146
为获得所有n个时刻的观测值后对k时刻的系统状态估计，Pk|n为其对应的协方差；
Figure BDA0003070066640000147
为依据k时刻的估计值
Figure BDA0003070066640000148
对k+1时刻进行的预测，Pk+1|k为其对应的预测协方差；Qk为系统状态随机误差项的协方差，Gk为平滑增益。车辆轨迹地面坐标实施RTS平滑处理后的效果如图10所示，其中直线表示RTS平滑处理后的效果，星线表示平滑处理前的效果。
步骤七：基于车辆轨迹数据计算微观交通参数。
(1)速度、加速度的计算：
由平滑处理后的轨迹数据，按公式(11)、(12)计算车辆的速度与加速度参数。
Figure BDA0003070066640000149
Figure BDA00030700666400001410
其中：vk为第k帧时车辆的瞬时运动速度，dk为车辆在第k-i帧至第k+i帧时间间隔内行驶的距离，Δtk为第k-i帧至第k+i帧的时间间隔，ak为第k帧时车辆的运动加(减)速度，(xk+i,yk+i)和(xk-i,yk-i)分别表示第k+i帧和第k-i帧时车辆的地面坐标；vk+i和vk-i分别表示第k+i帧和第k-i帧时车辆的瞬时运动速度，i用于控制时间间隔的大小，可取4，f为视频帧率。
(2)车辆所在车道、横向距离、横向速度及横向加速度的计算：
a.按照采集锚点地面坐标的方法，采集路面上车道边线、车道分界线上若干点的地面坐标，每条标线上采集的点不少于5个，将其拟合为直线、圆弧或其组合；将车道由内向外按顺序1，2，3…编号；通过判断车辆中心点位置坐标与拟合的直线或圆弧的空间几何位置关系，判定出车辆所在车道。
b.将车辆所在车道的左侧边线定义为横向位置的基准，车辆(中心)位置至该横向基准的距离定义为横向距离，如图11所示；利用常规的点到直线的距离或点到圆弧的距离计算方法，计算出横向距离大小；计算并保存每一帧中车辆的横向距离值，通过分析横向距离序列数据的变化特征判断车辆在行驶过程中是否发生换道行为。
c.获得横向距离后，进一步，按照类似公式(11)、(12)的计算方法，可计算得到横向速度与横向加速度参数。如图12、图13所示。
(3)包含时间信息的其它微观交通参数的计算：
根据车辆所在车道位置及车辆的地面坐标，计算出前后车辆之间的空间距离，再结合车辆速度、横向速度等参数，进一步计算车头时距、车间净时距(Gap)、碰撞冲突时间(TTC)等包含时间信息的其它微观交通参数。
经验证，通过本发明方法提取的车辆轨迹数据精度水平总体上能够达到10cm级；车辆瞬时速度的绝对误差在±3km·h-1以内，平均速度的相对误差在±1.0％以内；车辆所在车道的准确识别率达到近100％。本发明提出的方法的有益效果表现在：一方面，本发明方法成功克服了无人机高空悬停拍摄过程中相机扰动对车辆位置定位带来的负面影响，对提升车辆轨迹数据的精度和可靠性具有显著的积极作用；另一方面，与其它方法相比，本发明方法的可操作性强，实现流程清晰，基本上依靠程序系统的自动检测与跟踪实现，人工工作量小，易于推广使用。本发明将有利于推动基于无人机视频的车辆轨迹数据的进一步研究与应用，可为微观驾驶行为研究、道路设施运营安全评估、交通流特性分析及微观交通仿真、自动驾驶等研究领域提供宝贵的数据支撑，具有良好的工程应用前景。
另外，更重要的是，本发明方法的提出有助于构建具有我国驾驶人典型行为特征的底层数据集或数据库。通过拍摄大量典型场景下的道路交通流视频，从中提取出详实、准确、全面、海量的车辆轨迹数据，并通过数据开放共享服务于各种潜在的应用和学术研究。此举对推动关于我国驾驶人的驾驶行为特征研究和符合我国国情的道路交通系统本质安全的理论研究，将大有裨益。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的工作人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (14)

1.一种克服无人机拍摄扰动的高精度车辆轨迹数据提取方法，其特征在于，包括下列步骤：
1)获取无人机交通流视频数据，从中随机抽取不少于一定数量的图片进行图像标注，进行基于深度学习的模型训练，获取YOLOv4模型文件；
2)对无人机交通流视频数据中每一帧图像进行目标检测与跟踪，获取车辆目标的图像坐标；
3)对无人机交通流视频数据中的每一帧图像进行锚点检测与跟踪，获取各帧图像中锚点的图像坐标；
4)基于锚点的图像坐标与实际地面坐标，采用单应性变换模型，计算每一帧图像的图像坐标系与唯一地面坐标系之间的坐标转换参数；
5)利用步骤4)得到的坐标转换参数及步骤2)得到的车辆目标的图像坐标，计算车辆目标对应的地面坐标；
6)对构成车辆运动轨迹的地面坐标序列数据进行平滑处理；
7)基于车辆轨迹数据计算微观交通参数。
2.根据权利要求1所述的克服无人机拍摄扰动的高精度车辆轨迹数据提取方法，其特征在于，步骤1)具体包括下列步骤：
11)获取无人机交通流视频数据，根据交通流视频中的典型车辆型式，将车辆目标划分成不同类别；
12)从无人机交通流视频数据中随机抽取一定数量以上的图片，按照划分的目标类别进行图像标注，即在每一张图像中框选出车辆目标所在位置，并指定其所属类别名称；
13)将标注好的所有图像按比例划分为训练集、校验集及测试集；
14)基于darknet的深度学习框架进行YOLOv4模型训练，训练完成后获得YOLOv4.weights模型文件。
3.根据权利要求1所述的克服无人机拍摄扰动的高精度车辆轨迹数据提取方法，其特征在于，步骤2)中，对无人机交通流视频数据中的每一帧图像进行目标检测与跟踪，采用的图像处理算法为基于YOLOv4的目标检测算法与基于Deepsort的目标跟踪算法；获取的数据还包括车辆类别信息、车身尺寸信息和车辆编号信息，获取的各信息按每一帧的先后顺序保存至.txt文件。
4.根据权利要求1所述的克服无人机拍摄扰动的高精度车辆轨迹数据提取方法，其特征在于，步骤3)具体包括下列步骤：
31)在无人机视频拍摄范围内挑选一组轮廓清晰的地物特征点，将其定义为锚点，每一个锚点指定唯一的数字编号；
32)在视频文件的开头位置处挑选一张图像，该图像上所有锚点均未被车辆遮挡，由人工在该图像上指定各个锚点的初始搜索范围，即划定一个包含锚点的矩形框，该矩形框内除锚点外不包括其他角点；
33)在初始搜索范围内检测锚点图像坐标，并以此坐标为中心重新生成一个相同大小的矩形框，作为下一帧图像中锚点的新的搜索范围，进而完成对同一个锚点的跟踪；若当前帧下的某个锚点被经过的车辆所遮挡或覆盖，则在当前帧下舍弃该锚点，继续下一个锚点的搜索；
34)将每一帧图像中检测到的锚点的图像坐标及锚点对应的编号存入txt文本文件。
5.根据权利要求4所述的克服无人机拍摄扰动的高精度车辆轨迹数据提取方法，其特征在于，步骤33)中，通过调用OpenCV库中既有的角点检测功能函数goodFeaturesToTrack在初始搜索范围内检测锚点图像坐标。
6.根据权利要求4所述的克服无人机拍摄扰动的高精度车辆轨迹数据提取方法，其特征在于，步骤4)具体包括下列步骤：
41)将步骤32)中挑选出来的图片导入绘图软件中，以实际路面参照物作为标准，对图片进行尺度缩放，使其尺度与地面实际尺度一致，然后从中量取出一套完整的锚点对应位置的坐标，作为锚点的地面坐标使用；
42)将锚点作为坐标转换的控制点，将视频拍摄范围内的道路路面视为一个平面，采用单应性变换模型，求解图像坐标系与地面坐标系之间的坐标转换参数，坐标转换参数计算过程中采用最大残差淘汰策略对参与计算的锚点加以甄别；
43)将每一帧图像对应的坐标转换参数计算结果按视频图像帧号顺序存入txt文本文件。
7.根据权利要求6所述的克服无人机拍摄扰动的高精度车辆轨迹数据提取方法，其特征在于，步骤42)的具体内容为：
假设锚点地面坐标(x,y)对应的齐次坐标为(x′1，x′2,x′3)，锚点图像坐标(u,v)对应的齐次坐标为(x1,x2,x3)，则两齐次坐标之间的单应性变换关系为：
Figure FDA0003070066630000031
其中，H为3×3坐标转换矩阵，hij(i、j＝1,2,3)为矩阵H中的元素，将与锚点图像坐标(u,v)对应的齐次坐标(u,v,1)代入上式，并由齐次坐标(x′1,x′2,x′3)得二维地面坐标(x,y)为：
Figure FDA0003070066630000032
且h33≠0
上式进一步转化为：
Figure FDA0003070066630000033
其中a,b,c,d,e,f,m,n为坐标转换参数；
设定每帧图像中用于坐标转换参数计算的最小有效锚点数量，通过最小二乘法则寻求最优计算结果。
8.根据权利要求7所述的克服无人机拍摄扰动的高精度车辆轨迹数据提取方法，其特征在于，以锚点的图像坐标和地面坐标作为输入参数，通过调用OpenCV库中既有的功能函数findHomography获得基于最小二乘法则的坐标转换参数计算结果。
9.根据权利要求6所述的克服无人机拍摄扰动的高精度车辆轨迹数据提取方法，其特征在于，坐标转换参数计算过程中采用最大残差淘汰策略对参与计算的锚点加以甄别，具体为：首先将全部锚点纳入计算，然后对每一锚点的残差进行大小比较，从中找出最大残差，若该最大残差大于设定阈值，则将其对应的锚点予以剔除，然后利用剩余锚点重新计算，以此循环，直至最大残差小于设定的阈值为止。
10.根据权利要求1所述的克服无人机拍摄扰动的高精度车辆轨迹数据提取方法，其特征在于，步骤6)中，采用RTS平滑算法对车辆轨迹地面坐标序列数据进行平滑处理。
11.根据权利要求10所述的克服无人机拍摄扰动的高精度车辆轨迹数据提取方法，其特征在于，RTS平滑算法采用的系统状态进化模型为加速度常量模型，其对应的系统状态转移方程和系统观测方程分别为：
Figure FDA0003070066630000041
Figure FDA0003070066630000042
式中，(xk,yk,vxk,vyk,axk,ayk)T和(xk-1,yk-1,vxk-1,vyk-1,axk-1,ayk-1)T分别为车辆在k时刻和k-1时刻的状态向量，(zxk,zyk)T为车辆在k时刻的观测向量，A为状态转移矩阵，M为观测矩阵，wk、vk为呈高斯分布的随机误差项，wk～N(0,Qk)，vk～N(0,Rk)，Qk为系统状态随机误差项的协方差，Rk为观测随机误差项的协方差，状态向量包括六个分量，分别为X、Y两个方向上的坐标分量x和y、速度分量vx和vy、加速度分量ax和ay，观测向量包括两个分量，分别为X、Y两个方向上的坐标观测值zx和zy，Δt为相邻两帧之间的时间间隔，大小为视频帧率的倒数，单位为秒。
12.根据权利要求6所述的克服无人机拍摄扰动的高精度车辆轨迹数据提取方法，其特征在于，步骤7)中，基于车辆轨迹数据计算的微观交通参数包括车辆速度、加速度、车道位置、横向距离、横向速度、横向加速度、车头时距、Gap和TTC。
13.根据权利要求12所述的克服无人机拍摄扰动的高精度车辆轨迹数据提取方法，其特征在于，步骤7)中，对车辆所在车道位置进行判定的具体步骤包括：
71)在步骤41)采集锚点地面坐标的同时，采集路面车道边线和车道分界线上若干点的地面坐标，确保每条标线上采集的点不少于五个；
72)采用直线或圆弧对步骤71)采集的点坐标加以拟合，拟合出的直线方程或圆弧方程分别对应每条车道边线和车道分界线所在的平面位置；
73)将车道由内侧向外侧按顺序1，2，3，…予以编号；
74)将车辆视为质点，通过判断车辆位置坐标与拟合的直线或圆弧之间的平面位置关系，判定出车辆所在车道。
14.根据权利要求13所述的克服无人机拍摄扰动的高精度车辆轨迹数据提取方法，其特征在于，对车辆横向距离、横向速度和横向加速度的计算的具体步骤包括：
75)将车辆所在车道的左侧边线定义为横向位置的基准，车辆中心位置至该横向基准的距离定义为横向距离；
76)利用步骤72)中拟合得到的直线方程或圆弧方程，采用点到直线的距离或点到圆弧的距离计算方法，计算出车辆横向距离的大小；
77)由相邻帧之间的横向距离差异和相邻帧之间的时间间隔，计算得到横向速度的大小；进一步，由相邻帧之间的横向速度差异和相邻帧之间的时间间隔，计算得到横向加速度大小。
CN202110536545.4A 2021-05-17 2021-05-17 一种克服无人机拍摄扰动的高精度车辆轨迹数据提取方法 Active CN113421289B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110536545.4A CN113421289B (zh) 2021-05-17 2021-05-17 一种克服无人机拍摄扰动的高精度车辆轨迹数据提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110536545.4A CN113421289B (zh) 2021-05-17 2021-05-17 一种克服无人机拍摄扰动的高精度车辆轨迹数据提取方法

Publications (2)

Publication Number Publication Date
CN113421289A true CN113421289A (zh) 2021-09-21
CN113421289B CN113421289B (zh) 2022-09-20

Family

ID=77712456

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110536545.4A Active CN113421289B (zh) 2021-05-17 2021-05-17 一种克服无人机拍摄扰动的高精度车辆轨迹数据提取方法

Country Status (1)

Country Link
CN (1) CN113421289B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113920731A (zh) * 2021-10-12 2022-01-11 长安大学 一种基于无人机的交通运行风险实时识别方法
CN114724104A (zh) * 2022-05-24 2022-07-08 交通运输部公路科学研究所 一种视认距离检测的方法、装置、电子设备、系统及介质
CN114863706A (zh) * 2022-04-26 2022-08-05 山东高速集团有限公司 一种面向高速公路的车路协同自动驾驶仿真测试系统及方法
CN114926984A (zh) * 2022-05-17 2022-08-19 华南理工大学 一种实时交通冲突收集与道路安全评价方法
CN115620518A (zh) * 2022-10-11 2023-01-17 东南大学 基于深度学习的交叉口交通冲突判别方法
CN116883610A (zh) * 2023-09-07 2023-10-13 园测信息科技股份有限公司 基于车辆识别与轨迹映射的数字孪生路口构建方法和系统
CN117528065A (zh) * 2023-12-28 2024-02-06 深圳市城市公共安全技术研究院有限公司 相机扰动效果评估及消除方法、装置、设备及存储介质
CN117636270A (zh) * 2024-01-23 2024-03-01 南京理工大学 基于单目摄像头的车辆抢道事件识别方法及设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109541533A (zh) * 2018-11-26 2019-03-29 东南大学 一种基于无迹卡尔曼滤波的rfid标签室内跟踪方法及设备
CN111145545A (zh) * 2019-12-25 2020-05-12 西安交通大学 基于深度学习的道路交通行为无人机监测系统及方法
CN111341097A (zh) * 2020-02-13 2020-06-26 中交第一公路勘察设计研究院有限公司 一种基于无人机视频的交通数据采集方法
CN111914664A (zh) * 2020-07-06 2020-11-10 同济大学 基于重识别的车辆多目标检测和轨迹跟踪方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109541533A (zh) * 2018-11-26 2019-03-29 东南大学 一种基于无迹卡尔曼滤波的rfid标签室内跟踪方法及设备
CN111145545A (zh) * 2019-12-25 2020-05-12 西安交通大学 基于深度学习的道路交通行为无人机监测系统及方法
CN111341097A (zh) * 2020-02-13 2020-06-26 中交第一公路勘察设计研究院有限公司 一种基于无人机视频的交通数据采集方法
CN111914664A (zh) * 2020-07-06 2020-11-10 同济大学 基于重识别的车辆多目标检测和轨迹跟踪方法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113920731A (zh) * 2021-10-12 2022-01-11 长安大学 一种基于无人机的交通运行风险实时识别方法
CN114863706B (zh) * 2022-04-26 2023-05-19 山东高速集团有限公司 一种面向高速公路的车路协同自动驾驶仿真测试系统及方法
CN114863706A (zh) * 2022-04-26 2022-08-05 山东高速集团有限公司 一种面向高速公路的车路协同自动驾驶仿真测试系统及方法
CN114926984A (zh) * 2022-05-17 2022-08-19 华南理工大学 一种实时交通冲突收集与道路安全评价方法
CN114724104B (zh) * 2022-05-24 2022-09-09 交通运输部公路科学研究所 一种视认距离检测的方法、装置、电子设备、系统及介质
CN114724104A (zh) * 2022-05-24 2022-07-08 交通运输部公路科学研究所 一种视认距离检测的方法、装置、电子设备、系统及介质
CN115620518A (zh) * 2022-10-11 2023-01-17 东南大学 基于深度学习的交叉口交通冲突判别方法
CN115620518B (zh) * 2022-10-11 2023-10-13 东南大学 基于深度学习的交叉口交通冲突判别方法
CN116883610A (zh) * 2023-09-07 2023-10-13 园测信息科技股份有限公司 基于车辆识别与轨迹映射的数字孪生路口构建方法和系统
CN117528065A (zh) * 2023-12-28 2024-02-06 深圳市城市公共安全技术研究院有限公司 相机扰动效果评估及消除方法、装置、设备及存储介质
CN117528065B (zh) * 2023-12-28 2024-04-26 深圳市城市公共安全技术研究院有限公司 相机扰动效果评估及消除方法、装置、设备及存储介质
CN117636270A (zh) * 2024-01-23 2024-03-01 南京理工大学 基于单目摄像头的车辆抢道事件识别方法及设备
CN117636270B (zh) * 2024-01-23 2024-04-09 南京理工大学 基于单目摄像头的车辆抢道事件识别方法及设备

Also Published As

Publication number Publication date
CN113421289B (zh) 2022-09-20

Similar Documents

Publication Publication Date Title
CN113421289B (zh) 一种克服无人机拍摄扰动的高精度车辆轨迹数据提取方法
CN110221603B (zh) 一种基于激光雷达多帧点云融合的远距离障碍物检测方法
CN104282020B (zh) 一种基于目标运动轨迹的车辆速度检测方法
CN104766058B (zh) 一种获取车道线的方法和装置
EP2372611A2 (en) Scene matching reference data generation system and position measurement system
EP2372607A2 (en) Scene matching reference data generation system and position measurement system
CN110348332B (zh) 一种交通视频场景下机非人多目标实时轨迹提取方法
CN110673107B (zh) 基于多线激光雷达的路沿检测方法及装置
DE102011117585A1 (de) Systeme und Verfahren zum Verfolgen von Objekten
CN108009494A (zh) 一种基于无人机的道路交叉口车辆跟踪方法
CN111967360A (zh) 基于车轮的目标车辆姿态检测方法
CN108416798B (zh) 一种基于光流的车辆距离估计方法
CN112368756A (zh) 计算对象和车辆碰撞时间的方法、计算设备及车辆
CN111915883A (zh) 一种基于车载摄像的道路交通状况检测方法
CN106558051A (zh) 一种改进的从单幅图像检测道路的方法
CN109791607A (zh) 借助单应矩阵从摄像机的一系列图像中探测和验证对象
CN112172797B (zh) 泊车控制方法、装置、设备和存储介质
CN107808524A (zh) 一种基于无人机的道路交叉口车辆检测方法
CN113221648A (zh) 一种基于移动测量系统的融合点云序列影像路牌检测方法
CN113281782A (zh) 一种基于无人驾驶车的激光雷达雪点滤除方法
CN112489106A (zh) 基于视频的车辆尺寸测量方法、装置、终端及存储介质
CN107506753B (zh) 一种面向动态视频监控的多车辆跟踪方法
CN114639085A (zh) 交通信号灯识别方法、装置、计算机设备和存储介质
CN113255444A (zh) 图像识别模型的训练方法、图像识别方法和装置
CN110210324B (zh) 一种道路目标快速检测预警方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant