CN116343095A - 一种基于视频拼接的车辆轨迹提取方法及相关设备 - Google Patents

一种基于视频拼接的车辆轨迹提取方法及相关设备 Download PDF

Info

Publication number
CN116343095A
CN116343095A CN202310352006.4A CN202310352006A CN116343095A CN 116343095 A CN116343095 A CN 116343095A CN 202310352006 A CN202310352006 A CN 202310352006A CN 116343095 A CN116343095 A CN 116343095A
Authority
CN
China
Prior art keywords
track
section
video
traffic
traffic video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310352006.4A
Other languages
English (en)
Inventor
唐进君
罗望
黄合来
李烨
薛红丽
周波
陈吉光
戴剑军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Communications Research Institute Co ltd
Hunan Newfox Technology Co ltd
Central South University
Original Assignee
Hunan Communications Research Institute Co ltd
Hunan Newfox Technology Co ltd
Central South University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Communications Research Institute Co ltd, Hunan Newfox Technology Co ltd, Central South University filed Critical Hunan Communications Research Institute Co ltd
Priority to CN202310352006.4A priority Critical patent/CN116343095A/zh
Publication of CN116343095A publication Critical patent/CN116343095A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供了一种基于视频拼接的车辆轨迹提取方法及相关设备，包括：步骤1，在目标交通区域内采集多段交通视频；步骤2，分别对每段交通视频进行目标车辆检测，得到多个检测结果，并分别对每个检测结果进行目标跟踪，得到目标车辆在每段交通视频中的轨迹坐标；步骤3，根据在每段交通视频中的轨迹坐标对目标车辆的轨迹进行提取，得到目标车辆在每段交通视频中的行驶轨迹；步骤4，分别针对每段交通视频中的行驶轨迹，将当前段交通视频中的行驶轨迹与当前段视频中的行驶轨迹进行匹配并拼接，得到目标车辆在行驶过程中的轨迹拼接结果；相较于现有技术来说，提高了轨迹提取的精度和稳定性，同时具有良好的拓展性。

Description

一种基于视频拼接的车辆轨迹提取方法及相关设备
技术领域
本发明涉及车辆轨迹提取技术领域，特别涉及一种基于视频拼接的车辆轨迹提取方法及相关设备。
背景技术
智能网联汽车是未来汽车行业的重点发展方向。今年来国家主管部门统筹规划，包括工信部、交通运输部、公安部、国家标准化管理委员会等多个部门联合指定智能网联汽车产业政策，加快推动智能网联汽车行业发展及相关基础设施的建设落地。同时随着5G技术的成熟，智能汽车传输大容量数据的速度大大加快，能保障车载导航信息的实时更新；区块链去中心化分布、不可篡改、透明化等特性应用于智能驾驶时代车辆大数据处理全流程中，能有效增强智能网联汽车整体网络安全性；先进的传感器技术驱动ADAS发展。总之，5G、区块链以及传感器技术的快速进步为智能网联汽车发展提供了坚实的技术基础以及国家政策的支持。因此，我国的智能网联汽车市场规模及前景将十分可观。
尽管智能网联汽车在解决交通问题方面具有非常广阔的前景，但在当前发展落地阶段仍面临着诸多关键问题亟待解决，其中最为核心的是智能网联汽车自身的运行安全问题。当前智能网联汽车运行安全评估方法主要包括两大类，一类是基于真实车辆实验的安全评估，另一类是基于仿真环境的智能网联汽车控制器模型评估。基于真实车辆试验的评估更加接近交通流环境，其结果更加可信，当爱方法成本过高，效率过低，且测评过程中存在测试安全隐患。基于仿真环境的评估方法拥有安全、高效、成本低的优点，可以作为真实车辆试验的有效补充，其结果的可靠性取决于仿真中车辆运行背景环境的真实性与典型性，目前已有的仿真研究大多提供计算机模拟的背景交通环境，进而通过数值仿真实现对智能网联汽车运行安全的分析评估，其测试结果往往不够令人信服。为此，研究人员通过胶筒视频采集与处理获取人工驾驶车辆轨迹数据，应用复杂交通场景自动判别划分，为待评估智能网联汽车控制器构建较为真实的运行背景环境，进而对智能网联汽车的运行状态进行安全评估。由于用于智能网联汽车安全评估的自然车辆轨迹数据存在时空范围较小的特点，轨迹数据有时难以反映车辆的交通运行规律，这会对网联汽车的安全评估测试结果造成一定影响。
发明内容
本发明提供了一种基于视频拼接的车辆轨迹提取方法及相关设备，其目的是为了提高轨迹提取的精度和稳定性。
为了达到上述目的，本发明提供了一种基于视频拼接的车辆轨迹提取方法，包括：
步骤1，在目标交通区域内采集多段交通视频；
步骤2，分别对每段交通视频进行目标车辆检测，得到多个检测结果，并分别对每个检测结果进行目标跟踪，得到目标车辆在每段交通视频中的轨迹坐标；
步骤3，根据在每段交通视频中的轨迹坐标对目标车辆的轨迹进行提取，得到目标车辆在每段交通视频中的行驶轨迹；
步骤4，分别针对每段交通视频中的行驶轨迹，将当前段交通视频中的行驶轨迹与相邻段视频中的行驶轨迹进行匹配并拼接，得到目标车辆在行驶过程中的轨迹拼接结果。
进一步来说，在步骤2之前还包括：
分别针对每段交通视频，将交通视频分解成多帧图像；
对每一帧图像进行预处理；
将预处理后的每一帧图像进行合成，得到多段预处理后的交通视频；
对多段预处理后的交通视频进行目标车辆检测。
进一步来说，步骤2包括：
将多段预处理后的交通视频分别输入至YOLO4模型进行目标检测，得到多个检测结果；
基于Deep SORT算法对每个检测结果进行级联匹配，得到多个第一匹配结果；
对每个第一匹配结果进行IOU匹配，得到多个第二匹配结果；
将多个第一匹配结果、多个第二匹配结果均输入卡尔曼更新方程进行更正；
将更正后的多个第一匹配结果和更正后的多个第二匹配结果输入卡尔曼预测方程进行预测，得到目标车辆在每段交通视频中的轨迹坐标。
进一步来说，步骤3包括：
目标车辆包括多个；
分别针对每个目标车辆，将目标车辆在每段交通视频中的轨迹坐标转换至世界坐标系，得到世界坐标系下的轨迹坐标；
根据世界坐标系下的轨迹坐标对目标车辆的轨迹进行提取，得到每个目标车辆在每段交通视频中的行驶轨迹。
进一步来说，步骤4包括：
分别针对每段交通视频中所有目标车辆的行驶轨迹，以第一段交通视频为当前段交通视频，从当前段交通视频中，统计所有目标车辆的行驶轨迹中每条行驶轨迹的最后时间帧对应的纵向距离；
从最后时间帧对应的纵向距离中筛选出目标车辆驶出图像区域的纵向距离，并对目标车辆驶出图像区域的纵向距离进行计算，得到第一平均值；
分别针对每段交通视频中所有目标车辆的行驶轨迹，从与当前段交通视频相邻的下一段交通视频中，统计所有目标车辆的行驶轨迹中每条行驶轨迹的起始时间帧对应的纵向距离；
从起始时间帧对应的纵向距离中筛选出目标车辆驶入图像区域的纵向距离，并对目标车辆驶入图像区域的纵向距离进行计算，得到第二平均值；
根据第一平均值和第二平均值，得到当前段交通视频与下一段交通视频的轨迹重叠区间；
筛选出每个目标车辆的行驶轨迹在轨迹重叠区间中的时间帧向量，并求解出时间帧向量关于轨迹重叠区间的平均值；
给每个目标车辆的行驶轨迹添加一个用于轨迹匹配的时间帧属性，构成当前段交通视频的第一匹配元组和下一段交通视频的第二匹配元组；
采用马氏距离对第一匹配元组和第二匹配元组进行计算，得到费用矩阵；
基于费用矩阵，采用匈牙利算法对轨迹进行匹配，得到匹配后的轨迹；
将匹配后的轨迹进行拼接，得到所有目标车辆在行驶过程中的轨迹拼接结果。
进一步来说，当前段交通视频的第一匹配元组为：
match_object_pre＝(mean_x_pre,mean_y_pre,mean_v_pre,match_frame_pre)
其中，match_frame_pre表示当前段交通视频中轨迹的匹配时间帧属性值，mean_x_pre,mean_y_pre,mean_v_pre表示当前段交通视频中轨迹重叠区间的平均值。
进一步来说，下一段交通视频的第二匹配元组为：
match_object_last＝(mean_x_last,mean_y_last,mean_v_last,match_frame_last)
其中，match_frame_last表示下一段交通视频中轨迹的匹配时间帧属性值，mean_x_last,mean_y_last,mean_v_last表示下一段交通视频中轨迹重叠区间的平均值。
本发明还提供了一种基于视频拼接的车辆轨迹提取装置，包括：
采集模块，用于在目标交通区域内采集多段交通视频；
检测与跟踪模块，用于分别对每段交通视频进行目标车辆检测，得到多个检测结果，并分别对每个检测结果进行目标跟踪，得到目标车辆在每段交通视频中的轨迹坐标；
轨迹提取模块，用于根据在每段交通视频中的轨迹坐标对目标车辆的轨迹进行提取，得到目标车辆在每段交通视频中的行驶轨迹；
匹配与拼接模块，用于分别针对每段交通视频中的行驶轨迹，将当前段交通视频中的行驶轨迹与相邻段视频中的行驶轨迹进行匹配并拼接，得到目标车辆在行驶过程中的轨迹拼接结果。
本发明还提供了一种计算机可读存储介质，用于存储计算机程序，通过执行计算机程序，用于实现基于视频拼接的车辆轨迹提取方法。
本发明还提供了一种终端设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现基于视频拼接的车辆轨迹提取方法。
本发明的上述方案有如下的有益效果：
本发明通过在目标交通区域内采集多段交通视频；分别对每段交通视频进行目标车辆检测，得到多个检测结果，并分别对每个检测结果进行目标跟踪，得到目标车辆在每段交通视频中的轨迹坐标；根据在每段交通视频中的轨迹坐标对目标车辆的轨迹进行提取，得到目标车辆在每段交通视频中的行驶轨迹；分别针对每段交通视频中的行驶轨迹，将当前段交通视频中的行驶轨迹与相邻段视频中的行驶轨迹进行匹配并拼接，得到目标车辆在行驶过程中的轨迹拼接结果；相较于现有技术来说，提高了轨迹提取的精度和稳定性，同时具有良好的拓展性，通过从多段视频中提取出目标车辆的轨迹并进行拼接，拼接后的车辆轨迹具有更广的空间覆盖范围，更长的车辆轨迹能有效反映车辆的交通运行规律，使其在交通流理论研究及智能网联汽车安全评估上具有重要的数据支撑意义。
本发明的其它有益效果将在随后的具体实施方式部分予以详细说明。
附图说明
图1为本发明实施例的流程示意图；
图2为本发明实施例中卡尔曼滤波算法的流程图；
图3为本发明实施例在轨迹提取时的流程示意图；
图4为本发明实施例在轨迹匹配时的流程示意图；
图5为本发明实施例的轨迹拼接示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是锁定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
本发明针对现有的问题，提供了一种基于视频拼接的车辆轨迹提取方法及相关设备。
如图1所示，本发明的实施例提供了一种基于视频拼接的车辆轨迹提取方法，包括：
步骤1，在目标交通区域内采集多段交通视频；
步骤2，分别对每段交通视频进行目标车辆检测，得到多个检测结果，并分别对每个检测结果进行目标跟踪，得到目标车辆在每段交通视频中的轨迹坐标；
步骤3，根据在每段交通视频中的轨迹坐标对目标车辆的轨迹进行提取，得到目标车辆在每段交通视频中的行驶轨迹；
步骤4，分别针对每段交通视频中的行驶轨迹，将当前段交通视频中的行驶轨迹与相邻段视频中的行驶轨迹进行匹配并拼接，得到目标车辆在行驶过程中的轨迹拼接结果。
在本发明实施例中，步骤1具体包括：
首先确定将要进行数据采集的目标交通区域，准备多个型号为DJI Mavic2的无人机，视频采集人员还需到视频拍摄现场测量具有明显特征的标志点的真实坐标用于后续像素坐标转换到真实坐标的转换，在拍摄过程中，需要由多人同时操作无人机飞行至目标交通区域上空一定高度并保证，每个无人机拍摄的区域存在重叠部分，最后拍摄视频时需保持各个无人机在时间上同步；按以上操作就可以采集到在时间上同步的多段交通视频。
具体来说，在步骤2之前还包括：
分别针对每段交通视频，将交通视频分解成多帧图像；
对每一帧图像进行预处理；
将预处理后的每一帧图像进行合成，得到多段预处理后的交通视频；
对多段预处理后的交通视频进行目标车辆检测。
本发明实施例通过无人机上安装的摄像机采集交通视频，虽然没有鱼眼相机拍摄的图像畸变严重，但畸变也确实存在，只是人眼难以察觉，如若用存在畸变的图像做目标检测和跟踪时，检测和跟踪的精度会收到较大的影响，因此对视频预处理的第一步就是去畸变。
首先需要对摄像机进行参数标定，目前常用的标定方法是采用张正友标定法，摄像机从不同角度拍摄棋盘标定板并获得多幅图像(通常是20张左右)，随后使用OpenCV的函数cv2.calibrateCamera(*)获得相机的畸变系数，最后将畸变系数传入函数cv2.undistort(*)并对无人机图像进行畸变修正处理。这样便能得到经过畸变修正处理后的无人机视频。经过畸变处理后的视频还需进行直方图均衡化处理来进一步提高视频的质量，得到多段预处理后的交通视频。
具体来说，步骤2包括：
将多段预处理后的交通视频分别输入至YOLO4模型进行目标检测，得到多个检测结果；
基于Deep SORT(Deep Simple Online andRealtime Tracking)实时跟踪算法对每个检测结果进行级联匹配，得到多个第一匹配结果；
对每个第一匹配结果进行IOU(Intersection ofUnion)交并比匹配，得到多个第二匹配结果；
将多个第一匹配结果、多个第二匹配结果均输入卡尔曼更新方程进行更正；
将更正后的多个第一匹配结果和更正后的多个第二匹配结果输入卡尔曼预测方程进行预测，得到目标车辆在每段交通视频中的轨迹坐标。
在本发明实施例中，目标检测定义是从图像中识别出目标对象的类型并同时给出目标对象的位置，是计算机视觉领域的热点问题，目标检测在深度学习方面主要是分为两种类型，分别为单阶段模型和两阶段模型，单阶段模型主要是有SSD(Single ShotMultiBoxDetector)、YOLO(You Only Look Once)系列模型；两阶段模型主要代表就是RCNN(Region-based Convolutional Neural Networks)基于区域的卷积神经网络系列的目标检测模型。由于YOLO系列模型是端到端的模型并且训练简单、检测速度快、检测准确率高等优点，因此本发明实施例采用YOLOv4模型用于对无人机视频进行目标检测。YOLOv4模型主要由三部分组成，分别为用于特征提取的Backbone主干网络、用于收集不同阶段中特征图的Neck网络层和用于预测目标的种类和位置的Head检测头；其中Backbone主干网络采用CSPDarknet53，其主要是由五层残差网络堆叠的残差单元resblock_body组成，其输入的图像像素是608*608，其中堆叠的残差单元resblock_body有专门的卷积操作来降低分辨率，每一层的resblock_body将像素逐渐降低一倍，其主要功能是提取图像数据的特征信息；Neck颈部网络层主要是由SPP(Spatial Pyramid Pooling，空间金字塔池化层)(左下部分Conv×3到Concat+Conv×3)和PANet(Path Aggregation Network)路径聚合网络组成；SPP主要功能是增加感受野作用，PANet主要功能是将提取的特征信息转换为坐标、类别等信息，其主要是由上采样和下采样组成；Head检测头继续沿袭yolov3的检测头，其三个检测头主要功能是：得到输出之后，与真实数据标注相比较，计算出损失函数(其损失函数主要是由三部分组成：①定位损失②置信度损失③分类损失)，然后根据需要对数据格式进行重塑，同时对原始格点坐标做相应的激活。
具体来说，将多段预处理后的交通视频分别输入至YOLO4模型的Backbone主干网络进行特征提取，然后提取结果输入至Neck网络层进行特征融合，将融合后的特征输入至Head检测头预测目标的种类和位置，得到多个检测结果。
本发明实施例中YOLOv4模型对交通视频进行目标检测，得到检测结果后还需要对目标进行跟踪，本发明实施例采用Deep SORT算法对每个检测结果进行跟踪；Deep SORT算法是在SORT(Simple Online and Realtime Tracking)算法的基础上改进得到的，DeepSORT算法相对于SORT算法来说，除了拥有核心的卡尔曼滤波算法和匈牙利算法还采用了特征重识别的技术用于减少目标跟踪过程的ID交换次数。Deep SORT算法相较于SORT算法增加了级联匹配和新轨迹确认，由于这部分内容的增加，Deep SORT算法在被遮挡物体的检测有着较好的效果。Deep SORT算法的主要核心为卡尔曼滤波，卡尔曼滤波算法的流程如图2所示，因此本发明对卡尔曼滤波算法进行简要介绍，如下：
卡尔曼时间更新方程为：
Figure BDA0004161871100000091
Figure BDA0004161871100000092
卡尔曼状态更新方程为：
Figure BDA0004161871100000093
Figure BDA0004161871100000094
Figure BDA0004161871100000095
在应用卡尔曼滤波算法时，首先对每个检测结果和轨迹进行级联匹配，得到多个第一匹配结果，多个匹配结果分别为匹配且确认的轨迹、未匹配的轨迹和检测对象；对每个第一匹配结果进行IOU匹配，得到多个第二匹配结果，多个第二匹配结果分别为匹配但未确认的轨迹、未匹配但确认且未匹配次数小于70的轨迹以及未匹配次数大于70的轨迹；将匹配且确定的轨迹、匹配但未确认的轨迹均输入卡尔曼更新方程进行更正，再将更正后的匹配且确定的轨迹、更正后的匹配但未确认的轨迹、未匹配但确认且未匹配次数小于70的轨迹输入卡尔曼预测方程进行预测，得到预测轨迹；重复上述过程并最终输出所有的轨迹，得到目标车辆在每段交通视频中的轨迹坐标。
具体来说，步骤3包括：
目标车辆包括多个；
分别针对每个目标车辆，将目标车辆在每段交通视频中的轨迹坐标转换至世界坐标系，得到世界坐标系下的轨迹坐标；
根据世界坐标系下的轨迹坐标对目标车辆的轨迹进行提取，得到每个目标车辆在每段交通视频中的行驶轨迹。
在本发明实施例中通过目标检测和跟踪从视频中获取的轨迹坐标为像素坐标，但为了反映现实世界中真实物体的运动，需要将像素坐标转换为现实世界的坐标。摄像机校准是关键环节之一，它决定了机器视觉系统是否能有效地定位和计算目标对象。相机标定结伴上可以分为两种，第一种是相机的自我标定；第二种是依靠标定基准的标定方法。前者是相机对周围物体进行拍照，通过数字图像处理和相关几何计算的方法获得相机参数，但这种方法的标定结果误差较大，不适用于高精度场景。后一种方法是对参考物体进行标定，由相机进行成像，通过数字图像处理方法和后期的空间算术运算来计算相机的内外参数，这种方法具有较高的标定精度，适用于需要高精度的应用，本文采用的是第二种校准方法。
摄像机坐标系(光学中心坐标系)C＝[xC,yC,zC]T是以摄像机光学中心OC为原点，其轴线与光轴重合，水平方向为轴线xC，轴线yC垂直于XC，OC，ZC平面，焦距f为光学中心到像面的距离。
机身坐标系B＝[xx,yB,zB]T是无人机机身中心的坐标。
相机坐标系与机身坐标系之间存在安装误差，用E表示：
Figure BDA0004161871100000101
其中，[α,β,γ]T是安装误差角，[xe,ye,ze]T是相机到机身坐标原点的空间距离。
摄像机坐标系和机体坐标系之间的关系如下：
C＝EB
世界坐标系是客观三维世界的绝对坐标系，也叫客观坐标系。对于空间中任意一个点PE＝(xE,yE,zE)，其对应的相机坐标系的坐标(xC,yC,zC)与相机的姿态角和它所在的位置有关，在无人机的飞行过程中，其姿态角信息
Figure BDA0004161871100000102
可由IMU(inertial measurementunit)惯性测量单元实时获取，用于相机姿态校正。
图像像素坐标系[u,v]，没有物理单位,像素坐标系中的坐标点(u1,v1)代表图像在存储阵列中的行和列位置，存储阵列中存储着图像的颜色或灰度信息。
图像的物理坐标系是I＝[x1,y1]，其中的x1和y1轴分别与xC和yC轴平行。物理坐标系中的坐标点以毫米为单位，如果一个像素在x1和y1方向上分别对应于物理尺寸dx和dy，焦距为f。
像素坐标(u1,v1)和物理坐标(x1,y1)的关系如下：
Figure BDA0004161871100000111
假设相机坐标系中的一个点P＝(xC,yC,zC)，连接物理坐标系中的光学中心OC，并在物理坐标系的投影为PI1＝(x1,y1)，那么这两个点之间的坐标变换关系如下：
Figure BDA0004161871100000112
根据世界坐标系下的轨迹坐标对目标车辆的轨迹进行提取，得到每个目标车辆在每段交通视频中的行驶轨迹，行驶轨迹包括曲率、加速度、速度、位置坐标和时间帧，如图3所示。
由于单架无人机获取的视频数据覆盖范围的限制有时不能满足研究者对轨迹数据的需求，因此将多个无人机视频轨迹拼接成更长的轨迹具有一定的理论意义和现实意义。
本发明实施例中用于轨迹拼接的交通视频具有以下特征：
(1)无人机视频需要多架无人机同时拍摄并确保时间同步；
(2)每架无人机悬停在上空拍摄视频时抖动应尽可能小；
(3)各个视频中存在一定的重叠区域。
具体来说，如图4所示，步骤4包括：
分别针对每段交通视频中所有目标车辆的行驶轨迹，以第一段交通视频为当前段交通视频，从当前段交通视频中，统计所有目标车辆的行驶轨迹中每条行驶轨迹的最后时间帧对应的纵向距离yend_frame(i)；
从最后时间帧对应的纵向距离yend_frame(i)中筛选出目标车辆驶出图像区域的纵向距离y'end_frame(i)，并对目标车辆驶出图像区域的纵向距离y'end_frame(i)进行计算，得到第一平均值y'end_frame(mean)；
分别针对每段交通视频中所有目标车辆的行驶轨迹，从与当前段交通视频相邻的下一段交通视频中，统计所有目标车辆的行驶轨迹中每条行驶轨迹的起始时间帧对应的纵向距离ystart_frame(i)；
从起始时间帧对应的纵向距离ystart_frame(i)中筛选出目标车辆驶入图像区域的纵向距离y'start_frame(i)，并对目标车辆驶入图像区域的纵向距离y'start_frame(i)进行计算，得到第二平均值y'start_frame(mean)；
根据第一平均值y'end_frame(mean)和第二平均值y'start_frame(mean)，得到当前段交通视频与下一段交通视频的轨迹重叠区间[y_frame(mean),y′end_frame(mean)]；
筛选出每个目标车辆的行驶轨迹在当前段交通视频与下一段交通视频的轨迹重叠区间[y_frame(mean),y'end_frame(mean)\中的x、y、v，x、y、v是关于时间帧的向量，并求解出x，y，v关于轨迹重叠区间y_frame(mean)\,y'end_frame(maych)]的平均值mean_x、mean_y和mean_v；
给每个目标车辆的行驶轨迹添加一个用于轨迹匹配的时间帧属性，构成当前段交通视频的第一匹配元组和下一段交通视频的第二匹配元组；
当前段交通视频的第一匹配元组为：
match_object_pre＝(mean_x_pre,mean_y_pre,mean_v_pre,match_frame_pre)
其中，match_frame_pre表示当前段交通视频中轨迹的匹配时间帧属性值，maych_frame_pre＝end_frame-len(y)/2，mean_x_pre、mean_y_pre和mean_v_pre表示当前段交通视频中轨迹重叠区间的平均值；
下一段交通视频的第二匹配元组为：
match_object_last＝(mean_x_last,mean_y_last,mean_v_last,match_frame_last)
其中，match_frame_last表示下一段交通视频中轨迹的匹配时间帧属性值，match_frame_last＝start_frame+len(y)/2，mean_x_last、mean_y_last和mean_v_last表示下一段交通视频中轨迹重叠区间的平均值；
采用马氏距离对第一匹配元组match_object_pre和第二匹配元组maych_object_last进行计算，得到费用矩阵cost_matrix；
基于费用矩阵，采用匈牙利算法对轨迹进行匹配，得到匹配后的轨迹；
将匹配后的轨迹进行拼接，得到所有目标车辆在行驶过程中的轨迹拼接结果，如图5所示。
如果要拼接的轨迹视频数量大于2，那么将步骤4中的前几个步骤得到的轨迹作为第一段要拼接的轨迹，并回步骤4中的第一步继续执行，否则就停止。
本发明实施例通过在目标交通区域内采集多段交通视频；分别对每段交通视频进行目标车辆检测，得到多个检测结果，并分别对每个检测结果进行目标跟踪，得到目标车辆在每段交通视频中的轨迹坐标；根据在每段交通视频中的轨迹坐标对目标车辆的轨迹进行提取，得到目标车辆在每段交通视频中的行驶轨迹；分别针对每段交通视频中的行驶轨迹，将当前段交通视频中的行驶轨迹与相邻段视频中的行驶轨迹进行匹配并拼接，得到目标车辆在行驶过程中的轨迹拼接结果；相较于现有技术来说，具有良好的拓展性，高精度，高稳定性，通过从多段视频中提取出目标车辆的轨迹并进行拼接，拼接后的车辆轨迹具有更广的空间覆盖范围，更长的车辆轨迹能有效反映车辆的交通运行规律，使其在交通流理论研究及智能网联汽车安全评估上具有重要的数据支撑意义。
本发明实施例还提供了一种基于视频拼接的车辆轨迹提取装置，包括：
采集模块，用于在目标交通区域内采集多段交通视频；
检测与跟踪模块，用于分别对每段交通视频进行目标车辆检测，得到多个检测结果，并分别对每个检测结果进行目标跟踪，得到目标车辆在每段交通视频中的轨迹坐标；
轨迹提取模块，用于根据在每段交通视频中的轨迹坐标对目标车辆的轨迹进行提取，得到目标车辆在每段交通视频中的行驶轨迹；
匹配与拼接模块，用于分别针对每段交通视频中的行驶轨迹，将当前段交通视频中的行驶轨迹与相邻段视频中的行驶轨迹进行匹配并拼接，得到目标车辆在行驶过程中的轨迹拼接结果。
需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本发明实施例方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本发明实施例的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本发明实施例该提供了一种计算机可读存储介质，用于存储计算机程序，通过执行计算机程序，用于实现上述的基于视频拼接的车辆轨迹提取方法。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到构建装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。
本发明实施例还提供了一种终端设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现基于视频拼接的车辆轨迹提取方法。
需要说明的是，终端设备可以是手机、平板电脑、笔记本电脑、超级移动个人计算机(UMPC，Ultra-mobile Personal Computer)、上网本、个人数字助理(PDA，PersonalDigital Assistant)等终端设备上，例如，终端设备可以是WLAN中的站点(ST，STAION)，可以是蜂窝电话、无绳电话、会话启动协议(SIP，Session Initiation Protocol)电话、无线本地环路(WLL，Wireless Local Loop)站、个人数字处理(PDA，Personal DigitalAssistant)设备、具有无线通信功能的手持设备、计算设备或连接到无线调制解调器的其它处理设备、电脑、膝上型计算机、手持式通信设备、手持式计算设备、卫星无线设备等。本发明实施例实施例对终端设备的具体类型不作任何限制。
所称处理器可以是中央处理单元(CPU，Central Processing Unit)，该处理器还可以是其他通用处理器、数字信号处理器(DSP，Digital Signal Processor)、专用集成电路(ASIC，Application Specific Integrated Circuit)、现成可编程门阵列(FPGA，Field-Programmable Gate Array)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器在一些实施例中可以是所述终端设备的内部存储单元，例如终端设备的硬盘或内存。所述存储器在另一些实施例中也可以是所述终端设备的外部存储设备，例如所述终端设备上配备的插接式硬盘，智能存储卡(SMC，Smart Media Card)，安全数字(SD，Secure Digital)卡，闪存卡(Flash Card)等。进一步地，所述存储器还可以既包括所述终端设备的内部存储单元也包括外部存储设备。所述存储器用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器还可以用于暂时地存储已经输出或者将要输出的数据。
需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本发明实施例方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种基于视频拼接的车辆轨迹提取方法，其特征在于，包括：
步骤1，在目标交通区域内采集多段交通视频；
步骤2，分别对每段交通视频进行目标车辆检测，得到多个检测结果，并分别对每个所述检测结果进行目标跟踪，得到目标车辆在每段交通视频中的轨迹坐标；
步骤3，根据在每段交通视频中的轨迹坐标对所述目标车辆的轨迹进行提取，得到所述目标车辆在每段交通视频中的行驶轨迹；
步骤4，分别针对每段交通视频中的行驶轨迹，将当前段交通视频中的行驶轨迹与相邻段视频中的行驶轨迹进行匹配并拼接，得到所述目标车辆在行驶过程中的轨迹拼接结果。
2.根据权利要求1所述的基于视频拼接的车辆轨迹提取方法，其特征在于，在步骤2之前还包括：
分别针对每段交通视频，将所述交通视频分解成多帧图像；
对每一帧图像进行预处理；
将预处理后的每一帧图像进行合成，得到多段预处理后的交通视频；
对多段预处理后的交通视频进行目标车辆检测。
3.根据权利要求2所述的基于视频拼接的车辆轨迹提取方法，其特征在于，步骤2具体包括：
将多段所述预处理后的交通视频分别输入至YOLO4模型进行目标检测，得到多个检测结果；
基于Deep SORT算法对每个所述检测结果进行级联匹配，得到多个第一匹配结果；
对每个所述第一匹配结果进行IOU匹配，得到多个第二匹配结果；
将多个所述第一匹配结果、多个所述第二匹配结果均输入卡尔曼更新方程进行更正；
将更正后的多个第一匹配结果和更正后的多个第二匹配结果输入卡尔曼预测方程进行预测，得到所述目标车辆在每段交通视频中的轨迹坐标。
4.根据权利要求3所述的基于视频拼接的车辆轨迹提取方法，其特征在于，步骤3具体包括：
在每段交通视频中的目标车辆包括多个；
分别针对每个目标车辆，将所述目标车辆在每段交通视频中的轨迹坐标转换至世界坐标系，得到世界坐标系下的轨迹坐标；
根据世界坐标系下的轨迹坐标对每个目标车辆的轨迹进行提取，得到每个所述目标车辆在每段交通视频中的行驶轨迹。
5.根据权利要求4所述的基于视频拼接的车辆轨迹提取方法，其特征在于，步骤4具体包括：
分别针对每段交通视频中所有目标车辆的行驶轨迹，以第一段交通视频为当前段交通视频，从当前段交通视频中，统计所有目标车辆的行驶轨迹中每条行驶轨迹的最后时间帧对应的纵向距离；
从最后时间帧对应的纵向距离中筛选出所述目标车辆驶出图像区域的纵向距离，并对所述目标车辆驶出图像区域的纵向距离进行计算，得到第一平均值；
分别针对每段交通视频中所有目标车辆的行驶轨迹，从与当前段交通视频相邻的下一段交通视频中，统计所有目标车辆的行驶轨迹中每条行驶轨迹的起始时间帧对应的纵向距离；
从起始时间帧对应的纵向距离中筛选出所述目标车辆驶入图像区域的纵向距离，并对所述目标车辆驶入图像区域的纵向距离进行计算，得到第二平均值；
根据所述第一平均值和所述第二平均值，得到当前段交通视频与下一段交通视频的轨迹重叠区间；
筛选出每个目标车辆的行驶轨迹在所述轨迹重叠区间中的时间帧向量，并求解出时间帧向量关于所述轨迹重叠区间的平均值；
给每个目标车辆的行驶轨迹添加一个用于轨迹匹配的时间帧属性，构成当前段交通视频的第一匹配元组和下一段交通视频的第二匹配元组；
采用马氏距离对所述第一匹配元组和所述第二匹配元组进行计算，得到费用矩阵；
基于所述费用矩阵，采用匈牙利算法对轨迹进行匹配，得到匹配后的轨迹；
将匹配后的轨迹进行拼接，得到所有目标车辆在行驶过程中的轨迹拼接结果。
6.根据权利要求5所述的基于视频拼接的车辆轨迹提取方法，其特征在于，所述当前段交通视频的第一匹配元组为：
match_object_pre＝(mean_x_pre,mean_y_pre,mean_v_pre,match_frame_pre)
其中，match_frame_pre表示当前段交通视频中轨迹的匹配时间帧属性值，mean_x_pre,mean_y_pre,mean_v_pre表示当前段交通视频中轨迹重叠区间的平均值。
7.根据权利要求5所述的基于视频拼接的车辆轨迹提取方法，其特征在于，所述下一段交通视频的第二匹配元组为：
match_object_last＝(mean_x_last,mean_y_last,mean_v_last,match_frame_last)
其中，match_frame_last表示下一段交通视频中轨迹的匹配时间帧属性值，mean_x_last,mean_y_last,mean_v_last表示下一段交通视频中轨迹重叠区间的平均值。
8.一种基于视频拼接的车辆轨迹提取装置，其特征在于，包括：
采集模块，用于在目标交通区域内采集多段交通视频；
检测与跟踪模块，用于分别对每段交通视频进行目标车辆检测，得到多个检测结果，并分别对每个所述检测结果进行目标跟踪，得到所述目标车辆在每段交通视频中的轨迹坐标；
轨迹提取模块，用于根据在每段交通视频中的轨迹坐标对所述目标车辆的轨迹进行提取，得到所述目标车辆在每段交通视频中的行驶轨迹；
匹配与拼接模块，用于分别针对每段交通视频中的行驶轨迹，将当前段交通视频中的行驶轨迹与相邻段视频中的行驶轨迹进行匹配并拼接，得到所述目标车辆在行驶过程中的轨迹拼接结果。
9.一种计算机可读存储介质，用于存储计算机程序，其特征在于，通过执行所述计算机程序，用于实现上述权利要求1至7中任意一项所述的基于视频拼接的车辆轨迹提取方法。
10.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的基于视频拼接的车辆轨迹提取方法。
CN202310352006.4A 2023-04-04 2023-04-04 一种基于视频拼接的车辆轨迹提取方法及相关设备 Pending CN116343095A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310352006.4A CN116343095A (zh) 2023-04-04 2023-04-04 一种基于视频拼接的车辆轨迹提取方法及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310352006.4A CN116343095A (zh) 2023-04-04 2023-04-04 一种基于视频拼接的车辆轨迹提取方法及相关设备

Publications (1)

Publication Number Publication Date
CN116343095A true CN116343095A (zh) 2023-06-27

Family

ID=86889298

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310352006.4A Pending CN116343095A (zh) 2023-04-04 2023-04-04 一种基于视频拼接的车辆轨迹提取方法及相关设备

Country Status (1)

Country Link
CN (1) CN116343095A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117593708A (zh) * 2024-01-16 2024-02-23 苏州映赛智能科技有限公司 包含车辆身份信息的交通数字孪生方法、设备及存储介质
CN117710204A (zh) * 2023-12-14 2024-03-15 武汉微创光电股份有限公司 一种鱼眼相机所摄车辆图像的拼接方法及系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117710204A (zh) * 2023-12-14 2024-03-15 武汉微创光电股份有限公司 一种鱼眼相机所摄车辆图像的拼接方法及系统
CN117593708A (zh) * 2024-01-16 2024-02-23 苏州映赛智能科技有限公司 包含车辆身份信息的交通数字孪生方法、设备及存储介质
CN117593708B (zh) * 2024-01-16 2024-04-16 苏州映赛智能科技有限公司 包含车辆身份信息的交通数字孪生方法、设备及存储介质

Similar Documents

Publication Publication Date Title
CN108960211B (zh) 一种多目标人体姿态检测方法以及系统
CN116343095A (zh) 一种基于视频拼接的车辆轨迹提取方法及相关设备
CN108681707A (zh) 基于全局和局部特征融合的大角度车型识别方法和系统
WO2024037408A1 (zh) 一种基于图像融合和特征增强的煤矿井下行人检测方法
CN111860352B (zh) 一种多镜头车辆轨迹全跟踪系统及方法
CN111709416A (zh) 车牌定位方法、装置、系统及存储介质
CN106548451A (zh) 一种客车客流拥挤度计算方法和装置
CN111612841A (zh) 目标定位方法及装置、移动机器人及可读存储介质
CN108288047A (zh) 一种行人/车辆检测方法
CN104102909B (zh) 基于多重视觉信息的车辆特征定位及匹配方法
CN116052026B (zh) 一种无人机航拍图像目标检测方法、系统及存储介质
CN110287798B (zh) 基于特征模块化和上下文融合的矢量网络行人检测方法
CN115376109B (zh) 障碍物检测方法、障碍物检测装置以及存储介质
CN112946679B (zh) 一种基于人工智能的无人机测绘果冻效应检测方法及系统
CN111444916A (zh) 面向无约束条件下的车牌定位及识别方法、系统
CN114898353B (zh) 一种基于视频序列图像特征与信息的车牌识别方法
CN113793413A (zh) 三维重建方法、装置、电子设备及存储介质
CN114648669A (zh) 一种域自适应双目视差计算的动车组故障检测方法及系统
CN114937233A (zh) 一种基于多光谱数据深度学习的识别方法和识别装置
CN112907972B (zh) 基于无人机的道路车流量检测方法、系统及计算机可读存储介质
CN112069997B (zh) 一种基于DenseHR-Net的无人机自主着陆目标提取方法及装置
CN111833384B (zh) 一种可见光和红外图像快速配准方法及装置
CN112115737B (zh) 一种车辆朝向的确定方法、装置及车载终端
CN116385994A (zh) 一种三维道路线提取方法及相关设备
CN114155415B (zh) 一种多数据融合的车辆检测方法、系统、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination