CN107895501B - 基于海量驾驶视频数据训练的无人汽车驾驶决策方法 - Google Patents

基于海量驾驶视频数据训练的无人汽车驾驶决策方法 Download PDF

Info

Publication number
CN107895501B
CN107895501B CN201710909246.4A CN201710909246A CN107895501B CN 107895501 B CN107895501 B CN 107895501B CN 201710909246 A CN201710909246 A CN 201710909246A CN 107895501 B CN107895501 B CN 107895501B
Authority
CN
China
Prior art keywords
decision
video data
unmanned
data
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710909246.4A
Other languages
English (en)
Other versions
CN107895501A (zh
Inventor
郭继舜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dasheng Technology Co ltd
Original Assignee
Dasheng Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dasheng Technology Co ltd filed Critical Dasheng Technology Co ltd
Priority to CN201710909246.4A priority Critical patent/CN107895501B/zh
Publication of CN107895501A publication Critical patent/CN107895501A/zh
Application granted granted Critical
Publication of CN107895501B publication Critical patent/CN107895501B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096725—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information generates an automatic action on the vehicle control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841—Registering performance data
    • G07C5/085—Registering performance data using electronic data carriers
    • G07C5/0866—Registering performance data using electronic data carriers the electronic data carrier being a digital video recorder in combination with video camera
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Atmospheric Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种基于海量驾驶视频数据训练的无人汽车驾驶决策方法，涉及无人汽车技术领域。所述方法包括：使用决策装置，运行无人驾驶程序，将无人驾驶决策的结果与所述上传到云端的视频数据中的驾驶员实际驾驶结果进行比较，如果驾驶员操纵结果与机器决策的结果相同，则只进行相关驾驶数据的结构化信息记录后，存储在本地，不将视频数据进行上传；当算法预测的驾驶决策与驾驶员的实际决策不一致的时候，系统将用于算法决策的视频、用于决策判断的深度学习模型特征、算法决策相关参数、人类驾驶员的实际操作参数进行上传，使其他决策装置进行训练学习，并根据决策的结果驱动汽车进行驾驶。所述方法具有成本低、数据计算量小、反应速度快的优点。

Description

基于海量驾驶视频数据训练的无人汽车驾驶决策方法
技术领域
本发明涉及汽车无人驾驶方法技术领域，尤其涉及一种基于海量驾驶视频数据训练的无人汽车驾驶决策方法。
背景技术
无人驾驶汽车是现在非常火热的一项技术，有很多国内外知名的主机厂和互联网公司都投入大量人力物力来从事相关的研究工作。相较于人类专业驾驶员每70000公里出现一次事故的统计指标，现在最先进的Google无人驾驶汽车也只能做到平均每8000公里出现一次交通事故，无人驾驶汽车在智能性和安全性上，还有一段很长的路要走。其中，最制约无人驾驶汽车发展的技术瓶颈是，无人驾驶汽车为了应对各种复杂路况以及复杂交通场景，需要大量的先验数据作为训练数据，只有经过大量的先验数据的训练，无人驾驶汽车才能变得越来越智能化，但即使Google公司通过大量的无人驾驶汽车里程积累，4-5年时间共积累了数百万公里的数据，但对于训练安全性稳定性能够达到商用要求的无人驾驶汽车来说，依然是杯水车薪。在无人驾驶系统进行训练的过程中，如果将大量的视频数据进行上传，由于视频等非结构化数据体积非常大，通常1080P视频数据100分钟视频文件大小超过2G，所以使用移动流量将所有视频数据上传到云端是成本非常高的解决方案。
发明内容
本发明所要解决的技术问题是如何提供一种成本低、数据计算量小、反应速度快的基于海量驾驶视频数据训练的无人汽车驾驶决策方法。
为解决上述技术问题，本发明所采取的技术方案是：一种基于海量驾驶视频数据训练的无人汽车驾驶决策方法，其特征在于包括如下步骤：
经过授权在汽车上安装可以将视频信息上传到云端的装置，通过众多车辆进行相关交通视频数据的收集；
使用决策装置，运行无人驾驶程序，将无人驾驶决策的结果与所述上传到云端的视频数据中的驾驶员实际驾驶结果进行比较，如果驾驶员操纵结果与机器决策的结果相同，则只进行相关驾驶数据的结构化信息记录后，存储在本地，不将视频数据进行上传；当算法预测的驾驶决策与驾驶员的实际决策不一致的时候，系统将用于算法决策的视频、用于决策判断的深度学习模型特征、算法决策相关参数、人类驾驶员的实际操作参数进行上传，使其他决策装置进行训练学习，并根据决策的结果驱动汽车进行驾驶。
优选的，所述可将视频信息上传到云端的装置为具有上传功能的行车记录仪。
优选的，在现有有人驾驶汽车的行车记录仪进行相关视频数据进行采集的同时，通过汽车电脑总线采集时间轴同步的车辆传感器信息。
优选的，所述车辆传感信息包括方向盘角度、油门、刹车、变速箱、转向灯、转速表和时速表信息。
优选的，所述决策装置为DRIVE PX 2计算平台。
进一步的技术方案在于：在根据上传的数据进行训练学习时，剔除驾驶员与驾驶无关的动作。
进一步的技术方案在于：当无人驾驶系统给出的决策与驾驶员的实际决策一致时，则仅标记决策一致的次数，如果决策不一致，则将行车记录仪视频、驾驶实际速度、方向盘角度、无人驾驶系统决策速度和方向盘角度信息进行上传，并进行在线学习。
采用上述技术方案所产生的有益效果在于：所述方法中如果驾驶员操纵结果与机器决策的结果相同，则只进行相关驾驶数据的结构化信息记录后，存储在本地，不将视频数据进行上传；当算法预测的驾驶决策与驾驶员的实际决策不一致的时候，系统将用于算法决策的视频、用于决策判断的深度学习模型特征、算法决策相关参数、人类驾驶员的实际操作参数进行上传，使其他决策装置进行训练学习，并根据决策的结果驱动汽车进行驾驶。所述方法大大降低了数据上传的大小，从而降低了成本，且所述方法只根据很少的数据进行决策，极大的减少了运算量，提高了训练的速度以及反映的速度。
附图说明
下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1是本发明实施例所述方法的主流程图。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
如图1所述，本发明实施例公开了一种基于海量驾驶视频数据训练的无人汽车驾驶决策方法，包括如下步骤：
S101:经过授权在汽车上安装可以将视频信息上传到云端的装置，通过众多车辆进行相关交通视频数据的收集；
S102:使用决策装置，运行无人驾驶程序，将无人驾驶决策的结果与所述上传到云端的视频数据中的驾驶员实际驾驶结果进行比较，如果驾驶员操纵结果与机器决策的结果相同，则只进行相关驾驶数据的结构化信息记录后，存储在本地，不将视频数据进行上传；当算法预测的驾驶决策与驾驶员的实际决策不一致的时候，系统将用于算法决策的视频、用于决策判断的深度学习模型特征、算法决策相关参数、人类驾驶员的实际操作参数进行上传，使其他决策装置进行训练学习，并根据决策的结果驱动汽车进行驾驶。
具体的，本实施例包括如下步骤：
训练无人驾驶模型需要大量的视频数据，该数据可以使用专用车辆进行采集，但效率低且成本高。本方法采用众包的方法，即：在汽车上经过车主同意，安装可以将视频信息上传到云端的行车记录仪。通过众多车主进行相关交通视频数据的收集，效率大大提高，相同时间花费下，本专利收集合格视频的效率是Google等科技公司采用专用收集车收集效率的500倍；
由于视频等非结构化数据体积非常大，通常1080P视频数据100分钟视频文件大小超过2G，所以使用移动流量将所有视频数据上传到云端是成本非常高的解决方案。本专利提出了新的数据学习方法：在汽车前端使用英伟达公司出产的Drive PX 2运行现有的基于深度学习的无人驾驶程序，将决策结果与驾驶员的实际结果进行比较，如果驾驶员操纵结果与机器决策的结果相同，则只进行相关驾驶数据的结构化信息记录(即：文本信息、结构化操作流程记录等)
众多数据的在线学习，需要大量的运算资源，所述方法仅仅将与现实驾驶员决策不同的数据进行在线学习，极大地减少了运算量。
进一步的，所述方法如下：
在现有有人驾驶汽车的行车记录仪视频数据进行采集，同时采集时间轴同步的车辆传感器信息，包括：方向盘角度、油门、刹车、变速箱、转向灯、转速表、时速表等，以上信息通过汽车电脑的总线进行采集。
建立一个通用的自动驾驶预测系统：将通过卷积神经网络提前训练好的无人驾驶汽车初步决策机制及判决算法拷入PX2计算平台，并将行车记录仪的视频数据以及汽车电脑总线数据接入PX2计算平台。
NVIDIA的DRIVE PX 2是一个硬件计算平台，确切来说，它是开放式人工智能车辆计算平台，对于车厂和一级供应商来说，可以根据这个平台做快速的、自主定制化的自动驾驶车辆研发。它提供三个功能递进的平台，分别是AUTOCRUISE、AUTOCHAUFFEUR和FULLYAUTONOMOUS DRIVING(全自动驾驶)。此前ZF与NVIDIA合作推出的Pro AI就是基于Drive PX2Autocruise平台研发的，采用一个Parker SoC，专为打造从汽车和卡车到叉车以及物料搬运车辆等自动驾驶汽车的公司而设计。
针对行车记录仪的视频数据，PX2基于现有的无人驾驶决策机制进行驾驶行为的预测，并与时间轴同步的汽车电脑的总线信号做对比。换句话说，针对于同样的视频反映的路况信息，系统算法进行驾驶行为的预测及决策判断，并且与实际的人类驾驶员的判断做对比，以上的运算都依赖PX2计算平台强大的运算能力在汽车前端本地完成，不需要上传到云端运算。
当算法预测的驾驶决策与驾驶员的实际决策一致的时候，系统将相关结构化信息记录后，存储在本地，必要时候可以选择上传到服务器进行统计分析；当算法预测的驾驶决策与驾驶员的实际决策不一致的时候，系统将用于算法决策的视频、用于决策判断的深度学习模型特征、算法决策相关参数、人类驾驶员的实际操作参数。
在进行训练的过程中，有很多驾驶人员的动作为虚景，即：驾驶员的很多动作可能是无关驾驶的无意义动作，比如摸脸、摸头等，所述方法建立了驾驶员有意义动作的数据库，能够在连续动作中识别出有意义动作，并予以记录。

Claims (7)

1.一种基于海量驾驶视频数据训练的无人汽车驾驶决策方法，其特征在于包括如下步骤：
经过授权在汽车上安装可以将视频信息上传到云端的装置，通过众多车辆进行相关交通视频数据的收集；
使用决策装置，运行无人驾驶程序，将无人驾驶决策的结果与所述上传到云端的视频数据中的驾驶员实际驾驶结果进行比较，如果驾驶员操纵结果与机器决策的结果相同，则只进行相关驾驶数据的结构化信息记录后，存储在本地，不将视频数据进行上传；当算法预测的驾驶决策与驾驶员的实际决策不一致的时候，系统将用于算法决策的视频、用于决策判断的深度学习模型特征、算法决策相关参数、人类驾驶员的实际操作参数进行上传，使其他决策装置进行训练学习，并根据决策的结果驱动汽车进行驾驶。
2.如权利要求1所述的基于海量驾驶视频数据训练的无人汽车驾驶决策方法，其特征在于：
所述可将视频信息上传到云端的装置为具有上传功能的行车记录仪。
3.如权利要求2所述的基于海量驾驶视频数据训练的无人汽车驾驶决策方法，其特征在于：
在现有有人驾驶汽车的行车记录仪进行相关视频数据进行采集的同时，通过汽车电脑总线采集时间轴同步的车辆传感器信息。
4.如权利要求3所述的基于海量驾驶视频数据训练的无人汽车驾驶决策方法，其特征在于：
所述车辆传感器信息包括方向盘角度、油门、刹车、变速箱、转向灯、转速表和时速表信息。
5.如权利要求1所述的基于海量驾驶视频数据训练的无人汽车驾驶决策方法，其特征在于：所述决策装置为DRIVE PX 2计算平台。
6.如权利要求1所述的基于海量驾驶视频数据训练的无人汽车驾驶决策方法，其特征在于：
在根据上传的数据进行训练学习时，剔除驾驶员与驾驶无关的动作。
7.如权利要求1所述的基于海量驾驶视频数据训练的无人汽车驾驶决策方法，其特征在于：
当无人驾驶系统给出的决策与驾驶员的实际决策一致时，则仅标记决策一致的次数，如果决策不一致，则将行车记录仪视频、驾驶实际速度、方向盘角度、无人驾驶系统决策速度和方向盘角度信息进行上传，并进行在线学习。
CN201710909246.4A 2017-09-29 2017-09-29 基于海量驾驶视频数据训练的无人汽车驾驶决策方法 Active CN107895501B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710909246.4A CN107895501B (zh) 2017-09-29 2017-09-29 基于海量驾驶视频数据训练的无人汽车驾驶决策方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710909246.4A CN107895501B (zh) 2017-09-29 2017-09-29 基于海量驾驶视频数据训练的无人汽车驾驶决策方法

Publications (2)

Publication Number Publication Date
CN107895501A CN107895501A (zh) 2018-04-10
CN107895501B true CN107895501B (zh) 2019-11-29

Family

ID=61802442

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710909246.4A Active CN107895501B (zh) 2017-09-29 2017-09-29 基于海量驾驶视频数据训练的无人汽车驾驶决策方法

Country Status (1)

Country Link
CN (1) CN107895501B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110390398B (zh) * 2018-04-13 2021-09-10 北京智行者科技有限公司 在线学习方法
CN108960432A (zh) * 2018-06-22 2018-12-07 深圳市易成自动驾驶技术有限公司 决策规划方法、装置及计算机可读存储介质
CN110264586A (zh) * 2019-05-28 2019-09-20 浙江零跑科技有限公司 L3级自动驾驶系统道路驾驶数据采集、分析及上传方法
CN113496335A (zh) * 2020-04-07 2021-10-12 厦门邑通软件科技有限公司 一种记录决策行为的方法、系统和设备
CN113022702B (zh) * 2021-04-29 2022-02-18 吉林大学 基于线控转向和博弈结果的智能网联汽车自适应避障系统
CN113903102B (zh) * 2021-10-29 2023-11-17 广汽埃安新能源汽车有限公司 调整信息获取方法、调整方法、装置、电子设备及介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102350990A (zh) * 2011-06-29 2012-02-15 北京理工大学 有人驾驶与无人驾驶车辆避障行为的对照模型
CN106153352A (zh) * 2016-07-04 2016-11-23 江苏大学 一种无人驾驶车辆测试验证平台及其测试方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7042345B2 (en) * 1996-09-25 2006-05-09 Christ G Ellis Intelligent vehicle apparatus and method for using the apparatus

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102350990A (zh) * 2011-06-29 2012-02-15 北京理工大学 有人驾驶与无人驾驶车辆避障行为的对照模型
CN106153352A (zh) * 2016-07-04 2016-11-23 江苏大学 一种无人驾驶车辆测试验证平台及其测试方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于人类驾驶行为的无人驾驶车辆行为决策与运动规划方法研究;杜明博;《中国博士学位论文全文数据库 工程科技Ⅱ辑》;20160831(第8期);C035-15 *

Also Published As

Publication number Publication date
CN107895501A (zh) 2018-04-10

Similar Documents

Publication Publication Date Title
CN107895501B (zh) 基于海量驾驶视频数据训练的无人汽车驾驶决策方法
CN107169567B (zh) 一种用于车辆自动驾驶的决策网络模型的生成方法及装置
US10346888B2 (en) Systems and methods to obtain passenger feedback in response to autonomous vehicle driving events
US9361795B2 (en) Regional driving trend modification using autonomous vehicles
CN110264586A (zh) L3级自动驾驶系统道路驾驶数据采集、分析及上传方法
CN107368069B (zh) 基于车联网的自动驾驶控制策略的生成方法与生成装置
CN110471411A (zh) 自动驾驶方法和自动驾驶装置
CN111428960B (zh) 一种融合多源车载传感器信息的智能车辆驾驶性自动化评价方法
CN109901574A (zh) 自动驾驶方法及装置
CN107346565B (zh) 一种交通工具数据处理方法、装置和终端设备
WO2021212379A1 (zh) 车道线检测方法及装置
CN105590466A (zh) 一种云平台下的驾驶员危险操作行为监测系统及方法
CN110532846B (zh) 自动换道方法、装置及存储介质
EP3849867A1 (en) Assessing ride quality for autonomous vehicles
WO2022142839A1 (zh) 一种图像处理方法、装置以及智能汽车
CN113722835B (zh) 拟人化随机换道驾驶行为建模方法
CN110304068A (zh) 汽车行驶环境信息的采集方法、装置、设备和存储介质
CN111047047A (zh) 驾驶模型的训练方法和装置、电子设备、计算机存储介质
Chu et al. A review of driving style recognition methods from short-term and long-term perspectives
CN113968242B (zh) 自动驾驶场景生成方法、装置及系统
CN105719359B (zh) 车辆信息的获取方法和装置
CN110126815B (zh) 用于协助交通工具的驾驶控制的方法、装置、设备和介质
CN107545616A (zh) 数据记录方法及装置
WO2022146722A1 (en) Systems and methods related to controlling autonomous vehicle(s)
Jain et al. Review of computational techniques for modelling eco-safe driving behavior

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant