CN112735164B - 测试数据构建方法及测试方法 - Google Patents

测试数据构建方法及测试方法 Download PDF

Info

Publication number
CN112735164B
CN112735164B CN202011567294.8A CN202011567294A CN112735164B CN 112735164 B CN112735164 B CN 112735164B CN 202011567294 A CN202011567294 A CN 202011567294A CN 112735164 B CN112735164 B CN 112735164B
Authority
CN
China
Prior art keywords
information
tracking object
test data
video frame
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011567294.8A
Other languages
English (en)
Other versions
CN112735164A (zh
Inventor
陆志敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Innovation Center For Mobility Intelligent Bicmi Co ltd
Original Assignee
Beijing Innovation Center For Mobility Intelligent Bicmi Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Innovation Center For Mobility Intelligent Bicmi Co ltd filed Critical Beijing Innovation Center For Mobility Intelligent Bicmi Co ltd
Priority to CN202011567294.8A priority Critical patent/CN112735164B/zh
Publication of CN112735164A publication Critical patent/CN112735164A/zh
Application granted granted Critical
Publication of CN112735164B publication Critical patent/CN112735164B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096725—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information generates an automatic action on the vehicle control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/207—Analysis of motion for motion estimation over a hierarchy of resolutions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Atmospheric Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了测试数据构建方法，包括：利用无人机在预定区域上方采集视频信号；对所述视频信号执行抽帧，获得多个视频帧图像；依次识别多个所述视频帧图像内的预定跟踪对象，确定所述预定跟踪对象的交通数据；将所述交通数据转换为测试数据。本发明还提供了自动驾驶车辆的测试方法。本发明能够完整地还原自然驾驶场景，真实性、完整性、准确性较高。

Description

测试数据构建方法及测试方法
技术领域
本发明涉及自动驾驶相关技术领域。更具体地说，本发明涉及一种测试数据构建方法及测试方法。
背景技术
自动驾驶汽车的研发与推广发展迅速，自动驾驶技术正在兑现更多场景应用。在正式推向试场前，我们需要对自动驾驶车辆的感知、性能、安全、驾驶状态等进行全方位的测试，以满足在复杂交通环境中驾驶需求。目前国内自然驾驶轨迹数据集来源依靠道路摄像头或者依靠车辆自身传感器进行采集。然而，依靠道路摄像头采集的轨迹文件存在车辆轨迹分析误差大，如果同时前后有两辆机动车在行驶，且前面车辆高度大于后方车辆高度，导致后方车辆被遮挡将无法采集后方车辆的轨迹数据，从而不能完整地还原自然驾驶轨迹数据集。依靠车辆自身传感器数据信息可以保证自身的轨迹数据，但是需要车辆安装特定的设备，采集的数据只能对机动车进行轨迹分析，而不能进行完整的场景分析，且数据的精度受限于传感器。即，上述两种现有技术都会直接影响自然驾驶轨迹数据集的完整性和真实性。因此，亟需设计能够一定程度克服上述缺陷的技术方案。
发明内容
本发明的一个目的是提供一种测试数据构建方法及测试方法，能够完整地还原自然驾驶场景，真实性、完整性、准确性较高，能够用于自动驾驶车辆测试。
为了实现根据本发明的这些目的和其它优点，根据本发明的一个方面，本发明提供了测试数据构建方法，包括：
利用无人机在预定区域上方采集视频信号；
对所述视频信号执行抽帧，获得多个视频帧图像；
依次识别多个所述视频帧图像内的预定跟踪对象，确定所述预定跟踪对象的交通数据；
将所述交通数据转换为测试数据。
进一步地，所述的测试数据构建方法，无人机停留在所述预定区域正上方100～300米处采集所述视频信号。
进一步地，所述的测试数据构建方法，在执行抽帧之前，对视频信号执行稳像处理、畸变矫正处理。
进一步地，所述的测试数据构建方法，所述预定区域包括各类交通路口。
进一步地，所述的测试数据构建方法，所述预定跟踪对象包括各类交通工具、自然物、人造物。
进一步地，所述的测试数据构建方法，所述交通数据包括所述预定跟踪对象的速度、加速度、移动方向、尺寸以及坐标。
进一步地，所述的测试数据构建方法，所述视频信号的抽帧率为5～12.5帧/秒。
进一步地，所述的测试数据构建方法，将所述交通数据转换为预定格式，作为测试数据。
进一步地，所述的测试数据构建方法，还包括：
获取无人机的位置信息；
采集无人机停留位置的温度信息、湿度信息、风向信息和风速信息；
以上一视频帧图像中的位置信息、温度信息、湿度信息、风向信息、风速信息以及预定跟踪对象的速度、加速度、移动方向、尺寸、坐标作为输入，输入神经网络预测模型，输出下一视频帧图像中预定跟踪对象的速度、加速度、移动方向、尺寸、坐标；
将输出的下一视频帧图像中预定跟踪对象的速度、加速度、移动方向、尺寸、坐标与实际计算值进行比较，若误差大于设定阈值，则舍弃该下一视频帧图像得到的交通数据。
根据本发明的另一个方面，本发明提供了自动驾驶车辆的测试方法，使用得到的测试数据测试自动驾驶车辆。
本发明至少包括以下有益效果：
本发明从预订区域上方利用无人机采集视频信号，对视频信号执行抽帧，以及识别视频帧图像内的预定跟踪对象，进而获取交通数据，相比于现有技术，能够进行完整地场景分析，得到交通工具、自然物和人造物的相关数据，真实性和准确性高。
本发明的其它优点、目标和特征将部分通过下面的说明体现，部分还将通过对本发明的研究和实践而为本领域的技术人员所理解。
附图说明
图1为本发明的结构示意图；
图2为本发明的预处理前后的视频信号；
图3为本发明的流程图。
具体实施方式
下面结合附图对本发明做进一步的详细说明，以令本领域技术人员参照说明书文字能够据以实施。
应当理解，本文所使用的诸如“具有”、“包含”以及“包括”术语并不排除一个或多个其它元件或其组合的存在或添加。
如图1～3所示，本申请实施例提供了测试数据轨迹构建方法，包括：S1、利用无人机在预定区域上方采集视频信号；S2、对所述视频信号执行抽帧，获得多个视频帧图像；S3、依次识别多个所述视频帧图像内的预定跟踪对象，确定所述预定跟踪对象的交通数据；S4、将所述交通数据转换为测试数据。
在上述实施例中，无人机上配置有摄像头，优选能够采集分辨率为3840*2160和4096*2160的视频信号，摄像头在预定区域上方采集视频信号，预定区域优选为各类有代表性的交通路口。对得到的视频信号执行抽帧操作，获得多个视频帧图像。对视频帧图像内的预定跟踪对象进行识别，获取交通数据，预定跟踪对象可以是各类车辆，交通数据可以是车辆的位置和速度。将交通数据转换为能够表达预定跟踪对象属性、运动参数和轨迹的形式，即得到测试数据。本实施例从预订区域上方利用无人机采集视频信号，能够进行完整地场景分析，得到预定跟踪对象的相关数据，真实性和准确性高。
在另一些实施例中，无人机停留在所述预定区域正上方100～300米处采集所述视频信号，如图1所示，在一路段上方可以采集长度约500米的区域，对预定跟踪对象相关数据的采集更加全面。
在另一些实施例中，在执行抽帧之前，对视频信号执行稳像处理、畸变矫正处理，即对视频信号进行预处理，因无人机在捕获视频信号过程中有可能会受到风力影响，导致捕获后的视频帧有部分不对齐，需要进行视频稳像和畸变矫正处理，参考图2。
在另一些实施例中，所述预定区域包括各类交通路口，如十字路口、T型路口。
在另一些实施例中，所述预定跟踪对象包括各类交通工具、自然物、人造物，如汽车、电动车、货车、树木、行人、路灯，表1示出了若干跟踪对象的一些具体种类。
表1跟踪对象类型定义
Figure BDA0002860996260000041
在另一些实施例中，所述交通数据包括所述预定跟踪对象的速度、加速度、移动方向、尺寸以及坐标，优选地，采用跟踪识别算子，利用深度学习旋转目标检测和多目标跟踪算法实现对无人机悬停俯拍视频的智能分析，实现约定目标的检测、分类、跟踪和目标属性的计算(像素级的目标长度、宽度、车头车尾坐标和目标速度)。
在另一些实施例中，所述视频信号的抽帧率为5～12.5帧/秒，使得得到的交通数据更精确。
在另一些实施例中，将所述交通数据转换为预定格式，作为测试数据，表2示出了优选的格式。
表2预定格式的交通数据
字段 说明
trackId 跟踪对象ID，且唯一
frameId 跟踪对象所出现的帧数
type 跟踪对象类型，见表1
reliability 跟踪对象置信度
width 跟踪对象目标框宽度
height 跟踪对象目标框高度
point1X 目标框左上角坐标x
point1Y 目标框左上角坐标y
point2X 目标框右上角坐标x
point2Y 目标框右上角坐标y
point3X 目标框右下角坐标x
point3Y 目标框右下角坐标y
point4X 目标框左下角坐标x
point4Y 目标框左下角坐标y
headX 车头中心点x坐标
headY 车头中心点y坐标
tailX 车尾中心点x坐标
tailY 车尾中心点y坐标
angle 跟踪对象的前进方向，图像任取一点，垂直向上为参考0度，顺时针旋转角度增大
speed 跟踪对象运行速度，单位px/s
speedX 跟踪对象在x轴方向运行速度，单位px/s
speedY 跟踪对象在y轴方向运行速度，单位px/s
accel 跟踪对象加速度，单位px/s<sup>2</sup>
在另一些实施例中，还包括：获取无人机的位置信息；采集无人机停留位置的温度信息、湿度信息、风向信息和风速信息；以上一视频帧图像中的位置信息、温度信息、湿度信息、风向信息、风速信息以及预定跟踪对象的速度、加速度、移动方向、尺寸、坐标作为输入，输入神经网络预测模型，输出下一视频帧图像中预定跟踪对象的速度、加速度、移动方向、尺寸、坐标；将输出的下一视频帧图像中预定跟踪对象的速度、加速度、移动方向、尺寸、坐标与实际计算值进行比较，若误差大于设定阈值，则舍弃该下一视频帧图像得到的交通数据。在这些实施例中，为了减少误差，对交通数据进行筛选。由于各视频帧图像的交通数据相互关联，故以上一视频帧图像的位置信息、温度信息、湿度信息、风向信息、风速信息以及预定跟踪对象的速度、加速度、移动方向、尺寸、坐标作为输入，以下一视频帧图像中预定跟踪对象的速度、加速度、移动方向、尺寸、坐标为输出，并计算输出值与实际计算值的误差，当误差超过设定阈值，比如30％，表明出现了异常情况，如剧烈抖动等，则舍弃该下一视频帧图像。无人机的位置信息包括无人机的高度和GPS坐标，温度信息、湿度信息、风向信息和风速信息可使用无人机上的传感器获得。神经网络预测模型可在测试场景采集训练集和测试集，训练获得神经网络预测模型，并用测试集进行测试，误差满足条件，则神经网络预测模型可进行应用。
本申请的实施例还提供了自动驾驶车辆的测试方法，使用得到的测试数据测试自动驾驶车辆，例如，可将测试数据输入自动驾驶车辆，观察自动驾驶车辆对测试数据的反应，完成测试。
这里说明的设备数量和处理规模是用来简化本发明的说明的。对本发明测试数据轨迹构建方法的应用、修改和变化对本领域的技术人员来说是显而易见的。
尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节和这里示出与描述的图例。

Claims (2)

1.测试数据构建方法，其特征在于，包括：
利用无人机在预定区域上方采集视频信号；
对所述视频信号执行抽帧，获得多个视频帧图像；
依次识别多个所述视频帧图像内的预定跟踪对象，确定所述预定跟踪对象的交通数据；
将所述交通数据转换为测试数据；
无人机停留在所述预定区域正上方100～300米处采集所述视频信号；
所述交通数据包括所述预定跟踪对象的速度、加速度、移动方向、尺寸以及坐标；
获取无人机的位置信息；
采集无人机停留位置的温度信息、湿度信息、风向信息和风速信息；
以上一视频帧图像中的位置信息、温度信息、湿度信息、风向信息、风速信息以及预定跟踪对象的速度、加速度、移动方向、尺寸、坐标作为输入，输入神经网络预测模型，输出下一视频帧图像中预定跟踪对象的速度、加速度、移动方向、尺寸、坐标；
将输出的下一视频帧图像中预定跟踪对象的速度、加速度、移动方向、尺寸、坐标与实际计算值进行比较，若误差大于设定阈值，则舍弃该下一视频帧图像得到的交通数据；
在执行抽帧之前，对视频信号执行稳像处理、畸变矫正处理；
所述预定区域包括各类交通路口；
所述预定跟踪对象包括各类交通工具、自然物、人造物；
所述视频信号的抽帧率为5～12.5帧/秒；
将所述交通数据转换为预定格式，作为测试数据。
2.自动驾驶车辆的测试方法，其特征在于，使用权利要求1得到的测试数据测试自动驾驶车辆。
CN202011567294.8A 2020-12-25 2020-12-25 测试数据构建方法及测试方法 Active CN112735164B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011567294.8A CN112735164B (zh) 2020-12-25 2020-12-25 测试数据构建方法及测试方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011567294.8A CN112735164B (zh) 2020-12-25 2020-12-25 测试数据构建方法及测试方法

Publications (2)

Publication Number Publication Date
CN112735164A CN112735164A (zh) 2021-04-30
CN112735164B true CN112735164B (zh) 2022-08-05

Family

ID=75616589

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011567294.8A Active CN112735164B (zh) 2020-12-25 2020-12-25 测试数据构建方法及测试方法

Country Status (1)

Country Link
CN (1) CN112735164B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116802581A (zh) * 2021-05-28 2023-09-22 深圳市大疆创新科技有限公司 基于航测数据的自动驾驶感知系统测试方法、系统及存储介质
CN113532888B (zh) * 2021-09-17 2022-03-18 北京智能车联产业创新中心有限公司 纯视觉自动驾驶车辆测试方法及装置
CN117911931B (zh) * 2024-03-19 2024-07-09 北京智能车联产业创新中心有限公司 基于高空影像构建自动驾驶场景数据方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006129622A1 (ja) * 2005-06-01 2006-12-07 Nec Corporation 特徴量の予測誤差に基づいて動画像のカット点を検出する装置
CN105182350A (zh) * 2015-09-26 2015-12-23 哈尔滨工程大学 一种应用特征跟踪的多波束声呐目标探测方法
WO2020064543A1 (en) * 2018-09-24 2020-04-02 Veoneer Sweden Ab Vision system and method for a motor vehicle

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103413444B (zh) * 2013-08-26 2015-08-19 深圳市川大智胜科技发展有限公司 一种基于无人机高清视频的交通流调查处理方法
US10097765B2 (en) * 2016-04-20 2018-10-09 Samsung Electronics Co., Ltd. Methodology and apparatus for generating high fidelity zoom for mobile video
CN105956268B (zh) * 2016-04-29 2018-01-02 百度在线网络技术（北京）有限公司 应用于无人驾驶汽车的测试场景构建方法和装置
US9952594B1 (en) * 2017-04-07 2018-04-24 TuSimple System and method for traffic data collection using unmanned aerial vehicles (UAVs)
CN109658688A (zh) * 2017-10-11 2019-04-19 深圳市哈工大交通电子技术有限公司 基于深度学习的路口交通流的检测方法及装置
CN107920257B (zh) * 2017-12-01 2020-07-24 北京奇虎科技有限公司 视频关键点实时处理方法、装置及计算设备
CN108320510B (zh) * 2018-04-03 2020-12-04 深圳市智绘科技有限公司 一种基于无人机航拍视频交通信息统计方法及系统
CN110348332B (zh) * 2019-06-24 2023-03-28 长沙理工大学 一种交通视频场景下机非人多目标实时轨迹提取方法
CN110533692B (zh) * 2019-08-21 2022-11-11 深圳新视达视讯工程有限公司 一种面向无人机航拍视频中移动目标的自动跟踪方法
CN111145545B (zh) * 2019-12-25 2021-05-28 西安交通大学 基于深度学习的道路交通行为无人机监测系统及方法
CN111341097B (zh) * 2020-02-13 2022-05-20 中交第一公路勘察设计研究院有限公司 一种基于无人机视频的交通数据采集方法
CN111833598B (zh) * 2020-05-14 2022-07-05 山东科技大学 一种高速公路无人机交通事件自动监测方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006129622A1 (ja) * 2005-06-01 2006-12-07 Nec Corporation 特徴量の予測誤差に基づいて動画像のカット点を検出する装置
CN105182350A (zh) * 2015-09-26 2015-12-23 哈尔滨工程大学 一种应用特征跟踪的多波束声呐目标探测方法
WO2020064543A1 (en) * 2018-09-24 2020-04-02 Veoneer Sweden Ab Vision system and method for a motor vehicle

Also Published As

Publication number Publication date
CN112735164A (zh) 2021-04-30

Similar Documents

Publication Publication Date Title
CN112735164B (zh) 测试数据构建方法及测试方法
CN104766058B (zh) 一种获取车道线的方法和装置
CN111145545A (zh) 基于深度学习的道路交通行为无人机监测系统及方法
CN101633356B (zh) 检测行人的系统及方法
CN110298300B (zh) 一种检测车辆违章压线的方法
CN114170580B (zh) 一种面向高速公路的异常事件检测方法
CN105957345B (zh) 车辆行驶数据处理方法
CN110222667B (zh) 一种基于计算机视觉的开放道路交通参与者数据采集方法
CN102759347B (zh) 一种高铁接触网在线巡检装置、巡检方法以及其检测系统
CN107796373B (zh) 一种基于车道平面几何模型驱动的前方车辆单目视觉的测距方法
CN109509223A (zh) 基于深度学习的前方车辆测距方法
CN108364476B (zh) 获取车联网信息方法及其装置
CN112598743B (zh) 一种单目视觉图像的位姿估算方法及相关装置
CN111626170A (zh) 一种铁路边坡落石侵限检测的图像识别方法
CN110033621A (zh) 一种危险车辆检测方法、装置及系统
CN106803262A (zh) 利用双目视觉自主解算汽车速度的方法
CN111597992B (zh) 一种基于视频监控的场景物体异常的识别方法
CN212009589U (zh) 一种基于深度学习的视频识别行车车轨迹获取装置
CN115657002A (zh) 基于交通毫米波雷达的车辆运动状态估计方法
CN113256731A (zh) 基于单目视觉的目标检测方法及装置
CN110111018B (zh) 评估车辆感测能力的方法、装置、电子设备及存储介质
CN110263836A (zh) 一种基于多特征卷积神经网络的不良驾驶状态识别方法
CN116665188B (zh) 一种大客车图像系统数据分析方法
CN112466121A (zh) 一种基于视频的测速方法
CN111539278A (zh) 一种用于目标车辆的检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant