CN117078717A - 基于无人机单目相机的道路车辆轨迹提取方法 - Google Patents

基于无人机单目相机的道路车辆轨迹提取方法 Download PDF

Info

Publication number
CN117078717A
CN117078717A CN202310940455.0A CN202310940455A CN117078717A CN 117078717 A CN117078717 A CN 117078717A CN 202310940455 A CN202310940455 A CN 202310940455A CN 117078717 A CN117078717 A CN 117078717A
Authority
CN
China
Prior art keywords
unmanned aerial
road
aerial vehicle
vehicle
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310940455.0A
Other languages
English (en)
Inventor
陈韬
李跃
秦唐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN202310940455.0A priority Critical patent/CN117078717A/zh
Publication of CN117078717A publication Critical patent/CN117078717A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Remote Sensing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于无人机单目相机的道路车辆轨迹提取方法，包括：基于无人机拍的含标志物的视频流对无人机单目相机标定，获取相机内参；基于无人机悬停拍摄的含标志物的视频流，获取无人机位姿并调整无人机姿态，使无人机与道路平面平行度符合要求后计算无人机位姿，得到无人机相对道路平面的高度；基于无人机拍摄的道路车辆视频流，获取车辆中心点像素坐标与道路两侧边缘像素坐标；以无人机悬停位置为基点建立世界坐标系，基于相机内参、无人机相对道路平面的高度及相机坐标系与像素坐标系的转换关系，将车辆中心点像素坐标、道路两侧边缘像素坐标转化为世界坐标；按先后顺序排列世界坐标，获得车辆轨迹图。本发明能够获取高清晰度的车辆轨迹。

Description

基于无人机单目相机的道路车辆轨迹提取方法
技术领域
本发明涉及车辆轨迹提取装技术领域，特别是涉及一种基于无人机单目相机的道路车辆轨迹提取方法。
背景技术
山区公路急弯多，圆曲线半径小的路段比较多，临河临崖路段多，交通安全防护措施较少，车辆行车视距较差，驾驶风险严重，易发生交通事故，山区公路的交通安全面临着极大的安全问题，交通安全形势不容乐观。因此，必须采取针对性的提升措施，辅助驾驶员安全驾驶，以减少交通事故的发生。传统卫星定位技术在部分山区路段存在信号质量差的局限性，提取的车辆轨迹与实际轨迹偏差较大，不能提供有效的车辆行驶信息。因此，设计一种可以为山区道路行驶的车辆提供有效车辆行驶信息的系统，以提高山区道路的驾驶安全系数，减少交通事故的发生率，很有必要。
发明内容
本发明的目的是针对现有技术中的问题，而提供一种基于无人机单目相机的道路车辆轨迹提取方法，通过无人机单目相机拍摄山区道路上车辆的行驶视频数据，使用计算机视觉方法对车辆轨迹进行提取，能获取高清晰度的车辆轨迹，可为驾驶员提供有效的车辆行驶信息。
本发明是这样实现的，一种基于无人机单目相机的道路车辆轨迹提取方法，包括步骤：
S1.基于无人机拍的含标志物的视频流对无人机单目相机标定，获取相机内参；
S2.基于无人机悬停拍摄的含标志物的视频流，获取无人机位姿并调整无人机姿态，使无人机与道路平面平行度符合要求后计算无人机位姿，得到无人机相对道路平面的高度；
S3.基于无人机拍摄的道路车辆视频流，获取车辆中心点像素坐标与道路两侧边缘像素坐标；
S4.以无人机悬停位置为基点建立第一世界坐标系，基于相机内参、无人机相对道路平面的高度及相机坐标系与像素坐标系的转换关系，将车辆中心点像素坐标、道路两侧边缘像素坐标转化为世界坐标；
S5.按先后顺序排列所述世界坐标，获得车辆轨迹图。
步骤S1中，所述基于无人机拍的含标志物的视频流对无人机单目相机标定，获取相机内参，包括步骤：
对所述无人机在交通场景中拍摄的包含所述标志物的标定视频流进行抽帧，获取多张包含所述标志物的图片；
对所述图片中所述标志物的角点进行检测，获取所述标志物的角点的像素坐标值；
根据标志物的尺寸和以标志物的中心点为原点建立的第二世界坐标系，获取标志物的角点的物理坐标值；
基于单目相机的像素坐标值和物理坐标值的对应关系，求得无人机的单目相机的相机内参矩阵；
多次重复前述相机内参矩阵的获取步骤，获取多个相机内参矩阵的标定结果，选取一个相机内参矩阵的标定结果作为所述相机内参。
步骤S2中，所述的基于无人机悬停拍摄的含标志物的视频流，获取无人机位姿，基于位姿估计算法实现，包括步骤：
检测视频流中标志物的预设信息，判断标志物是否为预设标志物；若是，获取标志视频流中单帧图像上预设标志物的角点在图像坐标系下的坐标值；
基于标志物的中心点为原点建立的第三世界坐标系，根据标志物尺寸获取所述标志物的角点在第三世界坐标系中的物理坐标值；
获取所述标志物的角点在图像坐标系下的坐标值与在第三世界坐标系中的物理坐标值之间映射关系对应的单应矩阵；
根据所述相机内参，结合所述单应矩阵以及相机外参中旋转向量单位正交关系，计算所述单目相机的相机外参，获得无人机相对于目标道路平面的位姿信息。
步骤S3中，所述基于无人机拍摄的道路车辆视频流，获取车辆中心点像素坐标，基于目标检测算法实现，包括步骤：
提取所述道路车辆视频流的视频每一帧图片进行裁剪与缩放，对图片中目标车辆进行标注，制作车辆目标检测网络模型的数据集；通过旋转、缩放、裁剪的方法增强数据集；
利用所述数据集的训练集对车辆目标检测网络模型训练，利用所述数据集的验证集进行验证，获取最优权重参数；
将所述最优权重参数导入车辆目标检测网络模型，检测所述无人机的所述单目相机拍摄的道路车辆视频流，记录目标检测框四角的像素坐标，对所述目标检测框四角的像素坐标求均值，初步获得所述目标检测框中心像素坐标，从初步获得的所述目标检测框中心像素坐标中剔除误识别中心像素坐标，获得最终的目标检测框中心像素坐标，作为目标车辆中心点像素坐标。
其中，所述的从初步获得的所述目标检测框中心像素坐标中剔除误识别中心像素坐标，获得最终的目标检测框中心像素坐标，包括：
对初步获得所述目标检测框中心像素坐标进行类的划分，得到多个类别/区域；
利用密度/距离的聚类方法，对多个所述类别/区域相对应的初步获得的所述目标检测框中心像素坐标进行分类；
从分类的结果中提取目标车辆的车辆中心像素坐标所属的类别/区域，剔除误识别的像素坐标，获得最终的目标检测框中心像素坐标。
优选的，所述车辆目标检测神经网络模型采用YOLOv5算法作为目标检测算法。
步骤S3中，所述基于无人机拍摄的道路车辆视频流，获取道路两侧边缘像素坐标，基于边缘检测算法实现，包括：
提取所述道路车辆视频流的视频每一帧图片，对提取的图片进行裁剪和缩放，对目标道路所在区域进行标注，制作道路检测神经网络模型的训练数据集；
基于训练数据集对道路检测神经网络模型进行训练，获取最优道路检测神经网络模型；
利用所述最优道路检测神经网络模型检测所述的无人机的所述单目相机拍摄的道路车辆视频流，获取道路提取结果的灰度图像序列；
基于边缘检测算法检测获取所述灰度图像序列中道路边缘在所述单目相机的像素坐标系下的像素坐标作为道路两侧边缘像素坐标。
优选的，所述道路检测神经网络模型选用U-Net作为道路检测神经网络。
步骤S4中，所述的以无人机悬停位置为基点建立第一世界坐标系，基于相机内参、无人机相对道路平面的高度及相机坐标系与像素坐标系的转换关系，将车辆中心点像素坐标、道路两侧边缘像素坐标转化为世界坐标，采用以下表达式进行：
其中，A为所述无人机的所述单目相机的相机内参，Tz为所述无人机相对于目标道路平面的高度，(u,v)为中心点像素坐标或是道路两侧边缘像素坐标，(U,V,Tz)为中心点像素坐标或是道路两侧边缘像素坐标对应的第一世界坐标系下的世界坐标，dX,dY分别表示X，Y方向上的一个像素在单目相机感光板上的物理长度，f为像距，u0,v0分别表示单目相机感光板中心在像素坐标系下的坐标，α表示单目相机感光板的横边和纵边之间的角度。
其中，所述标志物包括棋盘格和/或嵌套式二维码图片，所述嵌套式二维码图片由两个大小不同的二维码标识组成，在面积较大的二维码标识的内部空白区预定位置放置面积较小的二维码标识形成所述嵌套式二维码图片，作为标志物铺设于道路两侧
本发明以悬停于空中的无人机拍摄的交通场景中的道路车辆视频流作为数据来源，使用计算机视觉方法对车辆轨迹进行提取，可以避免卫星定位技术在山区道路信号不稳定的问题，能够获取高清晰度的车辆轨迹；通过获取的车辆轨迹可用以分析各个时间点的行车轨迹的安全度，能够有效提高驾驶安全系数，减少交通事故发生率。
附图说明
图1为本发明实施例的基于无人机单目相机的道路车辆轨迹提取方法的流程示意图。
图2为本发明实施例的嵌套式的二维码标志物示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。
本发明实施例以悬停于空中的无人机拍摄的交通场景中的道路车辆视频流作为数据来源，使用计算机视觉方法对道路中车辆轨迹进行提取，可以获取高清晰度的车辆轨迹，可用以分析各个时间点的行车轨迹的安全度，能够有效提高驾驶安全系数，降低交通事故发生率。
如图1所示，基于无人机单目相机的道路车辆轨迹提取方法，包括步骤：
S1：基于无人机单目相机在交通场景中拍摄的包含标志物的标定视频流，对所述无人机的单目相机标定，获取所述单目相机的相机内参：
步骤S1中，包括以下子步骤：
S11，利用无人机的单目相机从不同高度和不同角度采集含标志物的标定视频流，无人机飞行高度不应超过1.5米，对获得的标定视频流进行抽帧，获取多张含有标志物的图片。其中，所述的标志物的形状和尺寸信息应已知，并且至少有四个已知的角点(特征点)；
所述标志物可以是包括二维码图标、H形地标、棋盘格图标等，且目标道路的路面已存在有相应标志信息，如车道标线、车道标志和其他交通设施等。
S12，对所述图片中所述标志物的角点进行检测，获取所述标志物的角点的像素坐标值；如可以利用计算机视觉算法，如Harris算法或者SIFT算法对标志物图片中特征点，如标志物角点进行检测，获取标志物角点的像素坐标值；
以棋盘格图标作为标志物为例，对棋盘格图标标志物进行检测时，可以基于张正友相机标定法，对无人机单目相机进行标定。
S13，根据已知的标志物实际尺寸和基于标志物的中心点为原点建立的一个世界坐标系，获取标志物角点的物理坐标值；
S14，基于单目相机的像素坐标值和物理坐标值的对应关系，求得无人机的单目相机的相机内参矩阵；
具体的，首先是基于相机光学成像原理，求取像素坐标值和物理坐标值之间映射关系对应的单应矩阵，方法如下：
相机成像系统中，包括世界坐标系、相机坐标系、图像坐标系和像素坐标系四个坐标系。本发明实施例中，将世界坐标系固定于标志物图片上，以标志物中心点为原点建立一个世界坐标系，则在该世界坐标下标志物图片上任意一点的物理坐标(U,V,W)中W＝0，本步骤建立的世界坐标系到像素坐标系转换关系如下所示：
其中，A为相机的内参或称为内参矩阵，(U,V,W)为在本步骤建立的世界坐标系下一点的物理坐标，其中W＝0，(u,v)为该点对应的在像素坐标系下的像素坐标，Z为尺度因子，f为像距，dX,dY分别表示X，Y方向上的一个像素在相机感光板上物理长度，u0,v0分别表示相机感光板中心在像素坐标系下的坐标，α表示相机感光板的横边和纵边之间的角度，R1，R2表示相机坐标系和本步骤建立的世界坐标系相对位置关系的旋转矩阵R的前两列向量，T表示相机坐标系和本步骤建立的世界坐标系相对位置关系的平移矢量。
将A(R1 R2 T)记为G，G为像素坐标值和物理坐标值之间映射关系对应的单应矩阵，将G表示为(G1,G2,G3),则有：
上式对同一标志物图片上的角点均成立，将同一标志物图片上的角点的像素坐标值(u,v)和物理坐标值(U，V)代入上式，则得到该标志物图片对应的单应矩阵G；进一步，分别将其它的标志物图片的角点的像素坐标值和世界坐标值代入上式，将得到多个不同的单应矩阵。
因为相机内参矩阵仅与相机内部结构参数有关，利用求得的多个单应矩阵，再结合相机外参中旋转向量单位正交关系，如下式所示，采用最小二乘法回归，即可求得无人机单目相机的内参矩阵A。
G＝A(R1 R2 T)
R1 TR2＝0
R1 TR1＝R2 TR2＝1
多次重复以上步骤，获取多个内参矩阵的标定结果，选取其中一个稳定的结果作为最终使用的相机内参或相机内参矩阵。
S2：基于无人机悬停拍摄的含标志物的视频流，获取无人机位姿并整无人机姿态，使无人机与道路平面平行度符合要求后计算无人机位姿，得到无人机相对道路平面的高度；
具体为，在获取计算无人机相对于目标道路平面的高度时，所述无人机悬停于空中，拍摄包含标志物的标志视频流，然后基于该标志视频流中标志物信息以及所述相机内参，计算获取所述无人机相对于目标道路平面的位姿信息；然后根据所述位姿信息调整所述无人机飞行姿态，使所述无人机与目标道路平面的平行度符合平行度阈值，再计算姿态调整后所述无人机位姿信息，这样基于姿态调整后无人机位姿信息，就可得到所述无人机相对于目标道路平面的高度。
所述的步骤S2中，获取所述无人机相对于目标道路平面的位姿信息时，基于位姿估计算法实现，可以是包括以下子步骤：
S21、获取所述标志视频流中单帧图像上所述标志物的角点在图像坐标系下的坐标值；
作为一个实施例，优选的，本发明中，计算无人机高度时，采用的标志物为一种嵌套式二维码图片，如图2所示，该图片由两个大小差异明显的二维码组成，通过在大二维码的中间空白部分插入小的二维码形成嵌套式二维码图片，将该图片作为标志物铺设于道路两侧，可以适应远近不同的相机视角的二维码识别任务，以图2所示的嵌套式二维码图片作为标志物为例，采用基于AprilTag的位姿估计算法获取无人机位姿信息，具体计算过程如下：
以图2所示的标志物为例，首先利用计算机视觉算法计算视频流的每一帧图像上所有像素上的梯度的强度和方向，然后对梯度的强度和方向进行聚类，使用加权最小二乘法拟合直线的方程，检测图像中的线段；检测到所有线段后，提取与上一条线段的末端距离阈值符合要求的足够近的线段和服从逆时针方向的线段，检测出矩形信息；根据获取的标志物角点、线段和矩形信息，判断该标志物是否为正确的标志物，防止其他形状信息的干扰；获取判断为正确的标志物的角点在图像坐标系下的坐标或是坐标值，作来后续计算处理用的所述标志物的角点在图像坐标系下的坐标值；
S22、以该标志物的中心点为一个世界坐标系的原点，根据已知的标志物尺寸获取标志物角点的物理坐标值；
S23、基于相机的光学成像原理，获取标志物角点在图像坐标系下的坐标值与物理坐标值之间映射关系对应的单应矩阵；
S24、根据步骤S1求取的单目相机内参，结合求得的单应矩阵，再结合相机外参中旋转向量单位正交关系，获取相机的外参，最终获得无人机相对于目标道路平面的位姿信息。
计算方法如下：
其中，H为单应矩阵，B为本步骤建立的世界坐标系到相机坐标系的变换矩阵，f为像距，dX,dY分别表示X，Y方向上的一个像素在相机感光板上物理长度，R1，R2表示相机坐标系和本步骤建立的世界坐标系相对位置关系的旋转矩阵R的前两列向量，T表示相机坐标系和本步骤建立的世界坐标系相对位置关系的平移矢量。s为比例因子，单应矩阵H为齐次矩阵，故需要添加比例因子s。
将式H＝sB(R1 R2 T)展开可得：
根据矩阵B与步骤1求取的单目相机内参A之间对应关系，可知，可近似认为单目相机内参A中θ＝90°，故/>
因为已知，且R1,R2均为单位向量，且存在正交关系，则由上式即可计算出R1,R2,T，其中Tz的绝对值即是相对于目标道路平面的高度。
又因为R1,R2满足以下等式关系
其中，θ，φ为本步骤建立的世界坐标系转变到相机坐标系分别绕x,y,z轴的旋转角度，则根据上式可以求出/>θ，φ，进而获取无人机相对于地标的姿态信息，即无人机相对于地面的姿态信息，即无人机相对于目标道路平面的姿态信息。
S3：基于姿态调整后无人机单目相机拍摄的道路车辆视频流，获取目标车辆的车辆中心点像素坐标以及道路两侧边缘像素坐标；
其中，依据无姿态调整后人机单目相机拍摄的道路车辆视频流，获取视频流中车辆中心点的像素坐标，基于目标检测算法，包括以下子步骤：
S31、基于无人机单目相机拍摄道路车流，提取视频每一帧图片，采用数据集标注工具对图片中车辆进行标注，制作目标检测网络模型的数据集；
通过旋转、缩放、裁剪方法增强数据集，保证图片本身效果，提高网络模型的泛化能力。
S32、选用YOLOv5算法作为目标检测算法，将数据集划分为训练集、验证集两部分，使用训练集和验证集对目标检测网络模型进行训练，获取最优权重参数。
S33、将最优权重参数导入目标检测网络模型的测试算法，检测无人机单目相机拍摄的道路车流，记录目标检测框四角的像素坐标，对检测框四角的像素坐标求均值，获得检测框中心像素坐标，该坐标即看作为车辆中心点像素坐标。
S34、剔除目标检测算法输出的误识别中心像素坐标，获得最终的目标检测框中心像素坐标，作为目标车辆中心点像素坐标。
其中，所述步骤S34中，采用基于密度或距离的聚类算法，剔除目标检测算法输出的误识别中心像素坐标，通过采用基于密度的聚类方法，设置合适的密度阈值，或者采用基于距离的聚类方法，设置合适的类的数量，对获得的中心像素坐标分类实现。以基于密度的聚类算法为例说明，包括以下子步骤：
对步骤S33中目标检测算法输出的中心像素坐标数据进行类的划分，得到多个类别(即多个区域)。采用基于密度的聚类算法中如，选用DNSCAN算法，该DNSCAN算法首先要设定两个超参数，分别为搜索半径eps和搜索半径内数据的个数minPts；根据这两个参数，搜索分别在搜索半径eps内的所有数据，如果数据的个数大于minPts，则认为是一类，否则不是，继续遍历下一个点,直至遍历全部的点，完成对中心像素坐标数据的分类；在分类结果中，提取目标车辆的车辆中心像素坐标所属的类别，剔除误识别的像素坐标，从而获得最终的目标检测框中心像素坐标。
其中，依据无人机单目相机拍摄的道路车辆视频流，获取视频流中道路两侧边缘线的像素坐标，基于道路检测算法，包括以下子步骤：
S35、基于无人机单目相机拍摄道路车流，提取视频每一帧图片，对图片进行裁剪和缩放，如使得图像大小为1024*1024像素，利用标注软件标注道路所在的区域，将标记过的道路区域像素值设为255，其余区域像素值均为0，完成道路检测神经网络的训练数据集制作。
S35、选用U-Net作为道路检测神经网络(当然也不限于U-Net网络，也可以是其它网络)，基于训练数据集对U-Net进行训练，获取最优U-Net模型，利用该模型检测无人机单目相机拍摄的道路车流，获取道路提取结果的灰度图像序列。
S35、基于Sobel算子检测灰度图像序列的灰度图中的道路边缘，获得梯度较大点的像素坐标，即道路边缘线的像素坐标。
S4.以无人机的悬停位置为基点一个建立世界坐标系，基于所述相机内参、所述无人机相对于目标道路平面的高度，根据相机坐标系与像素坐标系的转换关系，将所述车辆中心点像素坐标以及道路两侧边缘像素坐标转化为本步骤所建立的世界坐标系下的世界坐标，从而获取得到目标车辆在本步骤所建立的世界坐标系中的世界坐标：
基于步骤S1中获取的单目相机内参和步骤S2中获取的无人机相对于HHSF道路平面的高度，以无人机悬停位置为基点建立一个世界坐标系，根据相机坐标系与像素坐标系的转换关系，将步骤S4中输出的车辆中心像素坐标与道路边缘线像素坐标转换为世界坐标，取目标车辆在本步骤中所建立的世界坐标系中的世界坐标；；
计算方法如下：
其中，A为步骤1获取的无人机单目相机内参矩阵，Tz为步骤2中获取的无人机相对于道路平面的高度，(u,v)为聚类算法或道路检测算法输出的像素坐标，(U,V,Tz)为该点在本步骤建立的世界坐标系下的世界坐标。
S5.按先后顺序排列所述世界坐标，获得车辆轨迹图；
即按照所述道路车辆视频流的视频序列的先后顺序依次排列获取的目标车辆在所述世界坐标系中的世界坐标，进而获得道路车辆视频流中目标车辆的轨迹图信息。
本发明实施例以无人机拍摄的视频作为数据来源，使用计算机视觉方法对车辆轨迹进行提取，能够获取高清晰度的车辆轨迹，为驾驶员提供可靠的车辆行驶信息，可以用于分析各个时间点的行车轨迹的安全度，能够有效提高驾驶安全系数，减少交通事故发生率。
以上所述仅是本发明的优选实施方式，应当指出的是，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.基于无人机单目相机的道路车辆轨迹提取方法，其特征在于，包括步骤：
S1.基于无人机拍的含标志物的视频流对无人机单目相机标定，获取相机内参；
S2.基于无人机悬停拍摄的含标志物的视频流，获取无人机位姿并调整无人机姿态，使无人机与道路平面平行度符合要求后计算无人机位姿，得到无人机相对道路平面的高度；
S3.基于无人机拍摄的道路车辆视频流，获取车辆中心点像素坐标与道路两侧边缘像素坐标；
S4.以无人机悬停位置为基点建立第一世界坐标系，基于相机内参、无人机相对道路平面的高度及相机坐标系与像素坐标系的转换关系，将车辆中心点像素坐标、道路两侧边缘像素坐标转化为世界坐标；
S5.按先后顺序排列所述世界坐标，获得车辆轨迹图。
2.根据权利要求1所述基于无人机单目相机的道路车辆轨迹提取方法，其特征在于，步骤S1中，所述基于无人机拍的含标志物的视频流对无人机单目相机标定，获取相机内参，包括步骤：
对所述无人机在交通场景中拍摄的包含所述标志物的标定视频流进行抽帧，获取多张包含所述标志物的图片；
对所述图片中所述标志物的角点进行检测，获取所述标志物的角点的像素坐标值；
根据标志物的尺寸和以标志物中心点为原点建立的第二世界坐标系，获取标志物的角点的物理坐标值；
基于单目相机的像素坐标值和物理坐标值的对应关系，求得无人机的单目相机的相机内参矩阵；
多次重复前述相机内参矩阵的获取步骤，获取多个相机内参矩阵的标定结果，选取一个相机内参矩阵的标定结果作为所述相机内参。
3.根据权利要求1所述基于无人机单目相机的道路车辆轨迹提取方法，其特征在于，步骤S2中，所述的基于无人机悬停拍摄的含标志物的视频流，获取无人机位姿，基于位姿估计算法实现，包括步骤：
检测视频流中标志物的预设信息，判断标志物是否为预设标志物；若是，获取标志视频流中单帧图像上预设标志物的角点在图像坐标系下的坐标值；
基于标志物的中心点为原点建立的第三世界坐标系，根据标志物尺寸获取所述标志物的角点在第三世界坐标系中的物理坐标值；
获取所述标志物的角点在图像坐标系下的坐标值与在第三世界坐标系中的物理坐标值之间映射关系对应的单应矩阵；
根据所述相机内参，结合所述单应矩阵以及相机外参中旋转向量单位正交关系，计算所述单目相机的相机外参，获得无人机相对目标道路平面的位姿信息。
4.根据权利要求1所述基于无人机单目相机的道路车辆轨迹提取方法，其特征在于，步骤S3中，所述基于无人机拍摄的道路车辆视频流，获取车辆中心点像素坐标，基于目标检测算法实现，包括步骤：
提取所述道路车辆视频流的视频每一帧图片进行裁剪与缩放，对图片中目标车辆进行标注，制作车辆目标检测网络模型的数据集；通过旋转、缩放、裁剪的方法增强数据集；
利用所述数据集的训练集对车辆目标检测网络模型训练，利用所述数据集的验证集进行验证，获取最优权重参数；
将所述最优权重参数导入车辆目标检测网络模型，检测所述无人机的所述单目相机拍摄的道路车辆视频流，记录目标检测框四角的像素坐标，对所述目标检测框四角的像素坐标求均值，初步获得所述目标检测框中心像素坐标，从初步获得的所述目标检测框中心像素坐标中剔除误识别中心像素坐标，获得最终的目标检测框中心像素坐标，作为目标车辆中心点像素坐标。
5.根据权利要求4所述基于无人机单目相机的道路车辆轨迹提取方法，其特征在于，所述的从初步获得的所述目标检测框中心像素坐标中剔除误识别中心像素坐标，获得最终的目标检测框中心像素坐标，包括：
对初步获得所述目标检测框中心像素坐标进行类的划分，得到多个类别/区域；
利用密度/距离的聚类方法，对多个所述类别/区域相对应的初步获得的所述目标检测框中心像素坐标进行分类；
从分类的结果中提取目标车辆的车辆中心像素坐标所属的类别/区域，剔除误识别的像素坐标，获得最终的目标检测框中心像素坐标。
6.根据权利要求所述基于无人机单目相机的道路车辆轨迹提取方法，其特征在于，所述车辆目标检测神经网络模型采用YOLOv5算法作为目标检测算法。
7.根据权利要求6所述基于无人机单目相机的道路车辆轨迹提取方法，其特征在于，步骤S3中，所述基于无人机拍摄的道路车辆视频流，获取道路两侧边缘像素坐标，基于边缘检测算法实现，包括：
提取所述道路车辆视频流的视频每一帧图片，对提取的图片进行裁剪和缩放，对目标道路所在区域进行标注，制作道路检测神经网络模型的训练数据集；
基于训练数据集对道路检测神经网络模型进行训练，获取最优道路检测神经网络模型；
利用所述最优道路检测神经网络模型检测所述的无人机的所述单目相机拍摄的道路车辆视频流，获取道路提取结果的灰度图像序列；
基于边缘检测算法检测获取所述灰度图像序列中道路边缘在所述单目相机的像素坐标系下的像素坐标作为道路两侧边缘像素坐标。
8.根据权利要求7所述基于无人机单目相机的道路车辆轨迹提取方法，其特征在于，所述道路检测神经网络模型选用U-Net作为道路检测神经网络。
9.根据权利要求1所述基于无人机单目相机的道路车辆轨迹提取方法，其特征在于，步骤S4中，所述的以无人机悬停位置为基点建立第一世界坐标系，基于相机内参、无人机相对道路平面的高度及相机坐标系与像素坐标系的转换关系，将车辆中心点像素坐标、道路两侧边缘像素坐标转化为世界坐标，采用以下表达式进行：
其中，A为所述无人机的所述单目相机的相机内参，Tz为所述无人机相对于目标道路平面的高度，(u,v)为中心点像素坐标或是道路两侧边缘像素坐标，(U,V,Tz)为中心点像素坐标或是道路两侧边缘像素坐标对应的第一世界坐标系下的世界坐标，dX,dY分别表示X，Y方向上的一个像素在单目相机感光板上的物理长度，f为像距，u0,v0分别表示单目相机感光板中心在像素坐标系下的坐标，α表示单目相机感光板的横边和纵边之间的角度。
10.根据权利要求1所述基于无人机单目相机的道路车辆轨迹提取方法，其特征在于，所述标志物包括棋盘格和/或嵌套式二维码图片；所述嵌套式二维码图片由两个大小不同的二维码标识组成，在面积较大的二维码标识的内部空白区预定位置放置面积较小的二维码标识形成所述嵌套式二维码图片，作为标志物铺设于道路两侧。
CN202310940455.0A 2023-07-28 2023-07-28 基于无人机单目相机的道路车辆轨迹提取方法 Pending CN117078717A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310940455.0A CN117078717A (zh) 2023-07-28 2023-07-28 基于无人机单目相机的道路车辆轨迹提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310940455.0A CN117078717A (zh) 2023-07-28 2023-07-28 基于无人机单目相机的道路车辆轨迹提取方法

Publications (1)

Publication Number Publication Date
CN117078717A true CN117078717A (zh) 2023-11-17

Family

ID=88707062

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310940455.0A Pending CN117078717A (zh) 2023-07-28 2023-07-28 基于无人机单目相机的道路车辆轨迹提取方法

Country Status (1)

Country Link
CN (1) CN117078717A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117519256A (zh) * 2023-12-25 2024-02-06 南京理工大学 一种无人机平台单目轨迹重构方法
CN117934600A (zh) * 2024-03-25 2024-04-26 南京信息工程大学 基于无人机对于远距离标志物快速识别与三维位置解算方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117519256A (zh) * 2023-12-25 2024-02-06 南京理工大学 一种无人机平台单目轨迹重构方法
CN117519256B (zh) * 2023-12-25 2024-06-07 南京理工大学 一种无人机平台单目轨迹重构方法
CN117934600A (zh) * 2024-03-25 2024-04-26 南京信息工程大学 基于无人机对于远距离标志物快速识别与三维位置解算方法

Similar Documents

Publication Publication Date Title
CN108960183B (zh) 一种基于多传感器融合的弯道目标识别系统及方法
CN109034047B (zh) 一种车道线检测方法及装置
CN110569704B (zh) 一种基于立体视觉的多策略自适应车道线检测方法
US11270131B2 (en) Map points-of-change detection device
US10025997B2 (en) Device and method for recognizing obstacle and parking slot to support unmanned autonomous parking function
KR101569919B1 (ko) 차량의 위치 추정 장치 및 방법
JP4363295B2 (ja) ステレオ画像による平面推定方法
CN117078717A (zh) 基于无人机单目相机的道路车辆轨迹提取方法
CN107590438A (zh) 一种智能辅助驾驶方法及系统
CN111241988B (zh) 一种结合定位信息的大场景内运动目标检测识别方法
KR101261409B1 (ko) 영상 내 노면표시 인식시스템
Youjin et al. A robust lane detection method based on vanishing point estimation
CN109815831B (zh) 一种车辆朝向获取方法及相关装置
CN109828267A (zh) 基于实例分割和深度摄像头的变电站巡检机器人障碍物检测和测距方法
CN110569861A (zh) 一种基于点特征和轮廓特征融合的图像匹配定位方法
CN111738033B (zh) 基于平面分割的车辆行驶信息确定方法及装置、车载终端
CN110770741B (zh) 一种车道线识别方法和装置、车辆
JP4344860B2 (ja) ステレオ画像を用いた道路平面領域並びに障害物検出方法
CN107944350B (zh) 一种基于外观和几何信息融合的单目视觉道路识别方法
CN112017238A (zh) 一种线状物体的空间位置信息确定方法及装置
CN107220632B (zh) 一种基于法向特征的路面图像分割方法
JP2010170488A (ja) 車線認識装置、及び車線認識方法
JP3589293B2 (ja) 道路の白線検出方法
CN111881878B (zh) 一种环视复用的车道线识别方法
CN113762134A (zh) 基于视觉的汽车泊车中周围障碍物的检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination