CN115279643A - 用于训练自动驾驶车辆的感知网络的车载主动学习方法和设备 - Google Patents

用于训练自动驾驶车辆的感知网络的车载主动学习方法和设备 Download PDF

Info

Publication number
CN115279643A
CN115279643A CN202180020419.1A CN202180020419A CN115279643A CN 115279643 A CN115279643 A CN 115279643A CN 202180020419 A CN202180020419 A CN 202180020419A CN 115279643 A CN115279643 A CN 115279643A
Authority
CN
China
Prior art keywords
frame
scene
code
vehicle
frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180020419.1A
Other languages
English (en)
Inventor
诸泓模
康凤男
金镕重
权成颜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stradvision Inc
Original Assignee
Stradvision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stradvision Inc filed Critical Stradvision Inc
Publication of CN115279643A publication Critical patent/CN115279643A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B60W2050/005—Sampling
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2400/00—Indexing codes relating to detected, measured or calculated conditions or factors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/08—Predicting or avoiding probable or impending collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/30—Sensors
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Image Processing (AREA)

Abstract

提供一种车载主动学习方法，其用于训练自动驾驶车辆的感知网络。该方法包括：(a)获取到来自自动驾驶车辆的镜头和传感器的行驶视频和感测信息后，将所述行驶视频中的帧和所述感测信息输入到场景代码生成模块中，从而生成场景代码，所述场景代码包括关于所述帧中的场景和关于行驶事件的信息；以及(b)利用每一个所述帧的所述场景代码和对象检测信息，将所述对象检测信息满足预设条件的帧选为特定帧，或者利用所述场景代码和所述对象检测信息，将与学习策略匹配的帧选为所述特定帧，并将所述特定帧和特定场景代码存储到所述帧存储单元。

Description

用于训练自动驾驶车辆的感知网络的车载主动学习方法和 设备
相关申请交叉引用
本申请要求2020年4月24日递交的、申请号为第63/014,877号的美国专利申请与2021年3月17日递交的、申请号为第17/204,287号的美国专利申请的优先权，其公开内容通过引用全部结合在本申请中。
技术领域
本发明涉及一种用于训练自动驾驶车辆的感知网络的车载主动学习方法和设备，更具体地，涉及一种从自动驾驶车辆的实时数据中选择用于训练感知网络的学习用数据，并利用已选的学习用数据训练感知网络的车载主动学习方法和设备。
背景技术
近年来，正在进行针对利用机器学习来执行物体识别等方法的研究。
深度学习(deep learning)是一种利用输入层和输出层之间具有多个隐藏层的神经网络的机器学习，其具有很高的识别性能。
另外，使用深度学习的神经网络(neural network)通常通过使用损失的反向传播(backpropagation)来进行学习。
为了训练这种深度学习网络，现有技术根据数据收集策略收集原始数据，人类标注者对收集的原始数据进行标注以生成新的训练数据。之后，使用新的训练数据和原训练数据来训练深度学习网络，然后人类工程师参考性能分析结果修改和改进用于训练深度学习网络的学习算法。另外，参考分析结果更改数据采集策略并重新检查是否有错误的标注，并进行相应修改。
但是，在这样的现有方法中，随着深度学习网络性能的提高，对训练有用的困难样本变得稀少，因此使用新的训练数据来提高深度学习网络性能的效果降低，并且经人类标注者的数据标注投资回报下降。
另一方面，自动驾驶车辆在没有驾驶员任何动作的情况下，对应车辆的运行信息和行驶环境而行驶，其使用基于深度学习的感知(perception)网络以检测行驶环境，例如，车辆周边的对象、车道线、交通信号等。
这种自动驾驶车辆需要在线学习，即，在安装有感知网络的状态下学习，以更新感知网络。但是，由于车辆嵌入式(embedded)系统的存储容量有限，需要对存储有学习用数据的数据库(例如，云)执行数据采样，以获取训练感知网络所需的学习用数据。
为了数据采样，现有技术使用随机采样方法、元数据(metadata)采样方法以及人工管理(manual curation)采样方法等，但是这种现有采样方式不适用于车载学习。
因此，现有技术具有在线下将所有数据存储于数据库(例如，云)后进行主动学习的缺点。
发明内容
技术问题
本发明的目的在于解决上述的所有问题。
本发明的另一个目的在于提供一种能够在线执行主动学习的方法。
本发明的另一目的在于提高利用新训练数据的感知网络学习效果。
本发明的又一目的在于提供一种针对自动驾驶车辆的感知网络执行车载学习的方法。
技术方案
为了实现上述本发明的目的并实现后述的本发明的特征效果，本发明的特征结构如下。
根据本发明的一个方面，提供一种车载主动学习方法，其用于训练自动驾驶车辆的感知网络，其中，包括：(a)在自动驾驶车辆行驶过程中，获取到来自镜头的行驶视频和来自车辆传感器的感测信息后，车载主动学习设备将所述行驶视频中连续的帧和所述感测信息输入到场景代码生成模块中，以使所述场景代码生成模块参考所述帧和所述感测信息生成场景代码，所述场景代码包括关于每一个所述帧的场景的信息和关于行驶事件的信息；以及(b)所述车载主动学习设备执行以下过程中的至少一个：(i)利用每一个所述帧的所述场景代码以及通过对象检测器检测的每一个所述帧中的对象检测信息，将所述帧中在所述行驶事件的所述对象检测信息满足预设条件的帧选为用于训练所述自动驾驶车辆的感知网络的特定帧，并对所述特定帧及与其对应的特定场景代码进行匹配后存储到帧存储单元的过程、以及(ii)利用所述场景代码和所述对象检测信息，将与所述自动驾驶车辆的所述感知网络的学习策略匹配的帧选为特定帧，并对所述特定帧及与其对应的所述特定场景代码进行匹配后存储到所述帧存储单元的过程。
所述车载主动学习方法可进一步包括(c)所述车载主动学习设备(c1)通过所述特定场景代码对存储于所述帧存储单元的所述特定帧进行采样以生成学习数据，(c2)并利用所述学习数据车载训练所述自动驾驶车辆的所述感知网络。
所述(c)中，所述车载主动学习设备执行以下过程中的至少一个：(i)在所述步骤(c1)中，当采样所述特定帧时，参考所述场景代码仅选择多数类别中的一部分且对于少数类别利用尽可能多的数据进行欠采样，或者进行生成与多数类别的数量相同的少数类别的副本的数据的过采样以生成所述学习数据并训练所述感知网络的过程，(ii)在所述步骤(c2)中，当利用所述学习数据训练所述感知网络时，(ii-1)通过权重均衡生成关于对应于所述场景代码的所述学习数据的权重均衡损失，并(ii-2)通过利用所述权重均衡损失的反向传播训练所述感知网络的过程。
所述(a)中，所述车载主动学习设备使所述场景代码生成模块(i)通过基于深度学习的场景分类器对每一个所述帧进行学习运算以将每一个所述帧的场景分类为行驶环境和行驶道路的类别，以此生成每一个所述帧的场景类别代码，(ii)使通过行驶事件检测模块从所述帧和每一个所述帧的所述感测信息检测所述自动驾驶车辆行驶的过程中发生的行驶事件生成行驶事件代码，(iii)利用每一个所述帧的所述场景类别代码和所述行驶事件代码生成对应于每一个所述帧的场景代码。
所述车载主动学习设备使所述场景代码生成模块(i)通过所述行驶事件检测模块检测所述帧中的场景变化生成基于帧的事件代码，并(ii)通过检测所述感测信息中的所述自动驾驶车辆的操作状态生成基于车辆的事件代码，以此生成所述行驶事件代码。
所述(b)中，所述车载主动学习设备参考所述场景代码将在事故事件未从碰撞区域中检测出对象的帧选为所述特定帧，其中，所述碰撞区域是所述自动驾驶车辆与对象碰撞或预测到会发生碰撞时，所述帧中被预测对象所在的区域。
所述(b)中，所述车载主动学习设备参考所述场景代码将在正常事件从碰撞区域中检测出对象的帧选为所述特定帧，其中，所述碰撞区域是所述自动驾驶车辆与对象碰撞或预测到会发生碰撞时，所述帧中被预测对象所在的区域。
所述(b)中，所述车载主动学习设备将存在所述对象检测信息中关于对象的置信度分数低于或等于预设值的对象的帧选为所述特定帧。
所述(b)中，所述车载主动学习设备参考所述场景代码，将在稀有行驶环境中检测出行人的帧选为所述特定帧。
根据本发明的另一个方面,提供一种车载主动学习设备，其用于训练自动驾驶车辆的感知网络，其中，包括：存储器，其中存储指令，所述指令用于针对从自动驾驶车辆获取的视频中连续的帧执行车载主动学习；以及处理器，其根据存储于所述存储器中的指令执行车载主动学习操作，所述处理器执行以下过程中的至少一个，(I)在自动驾驶车辆行驶过程中，获取到来自镜头的行驶视频和来自车辆传感器的感测信息后，将所述行驶视频中连续的帧和所述感测信息输入到场景代码生成模块中，以使所述场景代码生成模块参考所述帧和所述感测信息生成场景代码，所述场景代码包括关于每一个所述帧的场景的信息和关于行驶事件的信息；以及(II)(i)利用每一个所述帧的所述场景代码以及通过对象检测器检测的每一个所述帧中的对象检测信息，将所述帧中在所述行驶事件的所述对象检测信息满足预设条件的帧选为用于训练所述自动驾驶车辆的感知网络的特定帧，并对所述特定帧及与其对应的特定场景代码进行匹配后存储到帧存储单元；以及(ii)利用所述场景代码和所述对象检测信息，将与所述自动驾驶车辆的所述感知网络的学习策略匹配的帧选为特定帧，并对所述特定帧及与其对应的所述特定场景代码进行匹配后存储到所述帧存储单元。
所述处理器可进一步执行(III)所述处理器进一步执行以下过程，(III-1)通过所述特定场景代码对存储于所述帧存储单元的所述特定帧进行采样以生成学习数据，并(III-2)利用所述学习数据车载训练所述自动驾驶车辆的所述感知网络。
所述过程(III)中，所述处理器执行以下过程中的至少一个，(i)在所述过程(III-1)中，当对所述特定帧进行采样时，参考所述场景代码仅选择多数类别中的一部分并利用少数类别中尽可能多的数据进行欠采样，或者进行将少数类别的副本生成数据至与多数类别的数量相同的过采样，从而生成所述学习数据并训练所述感知网络；(ii)并在所述过程(III-1)中,在利用所述学习数据训练所述感知网络时，(ii-1)通过权重均衡生成对应于所述场景代码的所述学习数据的所述权重均衡损失，并(ii-2)通过利用所述权重均衡损失的反向传播训练所述感知网络。
所述过程(I)中，所述处理器使所述场景代码生成模块(i)通过基于深度学习的场景分类器对每一个所述帧进行学习运算以将每一个所述帧的场景分类为行驶环境和行驶道路的类别，以此生成每一个所述帧的场景类别代码；(ii)使所述场景代码生成模块通过所述驾驶事件检测模块，从所述帧和每一个所述帧的所述感测信息检测所述自动驾驶车辆行驶过程中发生的行驶事件，从而生成行驶事件代码；(iii)使所述场景代码生成模块利用每一个所述帧的所述场景类别代码和所述行驶事件代码生成对应每一个所述帧的场景代码。
所述处理器(i)使所述场景代码生成模块通过所述驾驶事件检测模块检测所述帧中的场景变化，以生成基于帧的事件代码，并且(ii)使所述场景代码生成模块通过所述行驶事件检测所述感测信息中的所述自动驾驶车辆的操作状态，以生成基于车辆的事件代码，从而生成所述行驶事件代码。
所述过程(II)中，所述处理器参考所述场景代码将在事故事件未从碰撞区域中检测出对象的帧选为所述特定帧，其中，所述碰撞区域是所述自动驾驶车辆与对象碰撞或预测到会发生碰撞时，所述帧中被预测对象所在的区域。
所述过程(II)中，所述处理器参考所述场景代码将在正常事件从碰撞区域中检测出对象的帧选为所述特定帧，其中，所述碰撞区域是所述自动驾驶车辆与对象碰撞或预测到会发生碰撞时，所述帧中被预测对象所在的区域。
所述过程(II)中，所述处理器将存在所述对象检测信息中关于对象的置信度分数低于或等于预设值的对象的帧选为所述特定帧。
所述过程(II)中，所述处理器参考所述场景代码将在稀有行驶环境中检测出行人的帧选为所述特定帧。
除此之外，本发明还提供一种计算机可读记录介质，其用于记录用于执行本发明方法的计算机程序。
有益效果
本发明根据车载输入的视频图像赋予场景代码并判断是否有助于学习，进而存储到车辆的存储单元，从而可以通过训练数据提高感知网络的学习效果。
另外，本发明将用于学习的训练数据根据场景代码进行采样均衡，从而能够在线(即，车辆本身)执行主动学习。
另外，本发明将用于学习的训练数据根据场景代码进行采样均衡，从而能够对自动驾驶车辆的感知网络进行车载训练。
附图说明
用于说明本发明实施例的以下附图仅仅是本发明实施例的一部分，本发明所属领域技术人员(以下简称“技术人员”)可以在不做出创造性工作的情况下，基于以下附图获得其它附图。
图1是示意性示出根据本发明一实施例的用于车载主动学习的车载主动学习设备的图，所述车载主动学习用于训练自动驾驶车辆的感知网络。
图2是示意性示出根据本发明一实施例的用于训练自动驾驶车辆感知网络的车载主动学习方法的图。
图3是示意性示出根据本发明一实施例的用于训练自动驾驶车辆感知网络的车载主动学习中生成场景代码的方法的图。
图4是示意性示出根据本发明一实施例的用于训练自动驾驶车辆感知网络的车载主动学习中确定有助于学习的数据的方法的图。
图5是示意性示出根据本发明一实施例的用于训练自动驾驶车辆感知网络的车载主动学习中确定有助于学习的数据的另一种方法的图。
具体实施方式
以下，参考附图详细描述本发明的目的、技术方案以及优点，附图示例性示出能够实施本发明的特定实施例。对这些实施例进行了充分详细的描述，以使技术人员能够实施本发明。
另外，在本发明的发明内容和权利要求中，术语“包括”及其变换并不旨在排除其它技术特征、附加件、组件或步骤。对于技术人员来说，本发明的其它目的、优点以及特性的一部分将通过本说明书，另一部分则通过本发明的实施例变得显而易见。以下示例和附图作为示例性实施例而提供，其并不旨在限制本发明。
另外，本发明涵盖本说明书中实施例的所有组合。应当理解，本发明的各种实施例虽然不同，但无需相互排斥。例如，本说明书中描述的特定形状、结构以及特性可以针对一实施例，在不脱离本发明的技术构思和范围的情况下通过其它实施例实现。另外，应当理解，在不脱离本发明技术构思和范围的情况下，可以变更每个公开实施例的各个组件的位置或配置。因此，以下的详细描述并不具有限制性意义，如果进行适当描述，本发明的范围仅由权利要求所述内容与其等同的所有范围以及权利要求所限定。附图中相似的参考编号在多个方面指代相同或相似的功能。
以下将参考附图详细描述本发明的优选实施例，以使本发明所属领域技术人员能够容易地实施本发明。
图1是示意性示出根据本发明一实施例的用于车载主动学习的车载主动学习设备的图，所述车载主动学习用于训练自动驾驶车辆的感知网络。参考图1，车载主动学习设备1000可以包括存储器1001和处理器1002，指令存储于存储器1001，所述指令用于针对从自动驾驶车辆获取的视频中连续的帧执行车载主动学习，处理器1002根据存储于存储器1001中的指令执行车载主动学习操作。
具体地，学习设备1000可以通常利用计算设备和计算机软件(即，能够使计算设备以特定方式发挥功能的指令)的组合来实现所需的系统性能，例如，所述计算设备可以是包括计算机处理器、内存、存储器、输入设备和输出设备以及其它现有计算设备组件的设备；路由器、交换机等电子通信设备；网络附属存储(NAS)和存储区域网络(SAN)等电子信息存储系统。
另外，计算设备的处理器可以包括MPU(Micro Processing Unit)或CPU(CentralProcessing Unit)，高速缓存(Cache Memory)、数据总线(Data Bus)等硬件配置。另外，计算设备可以进一步包括操作系统以及执行特定目的的应用程序的软件配置。
但是，并不排除计算设备不包括用于实施本发明的介质、处理器以及存储器集成的形式，即，集成处理器。
以下，参考图2描述根据本发明一实施例的利用车载主动学习设备1000执行车载主动学习的方法，所述车载主动学习设备1000用于车载主动学习，以训练自动驾驶车辆感知网络。
首先，在自动驾驶车辆运行过程中，从镜头(例如，图像传感器)的行驶视频和车辆传感器获取感测信息后，车载主动学习设备1000将行驶视频中连续的帧和感测信息输入到场景代码(scene code)生成模块1200中，以使场景代码生成模块1200参考帧和感测信息生成场景代码，所述场景代码包括针对每一帧场景的信息和针对行驶事件(event)的信息。
此时，场景代码可以通过编码针对每个场景的信息和针对行驶事件的信息而获取。
例如，参考图3，场景代码生成模块1200可以通过基于深度学习的场景分类器(scene classifier)1210对每一帧进行学习运算以将每一帧的场景分类为行驶环境和行驶道路的类别，以此生成每一帧的场景类别代码。另外，场景分类器1210可以通过提取每一帧的特征，并将提取的特征分类到对应预设行驶环境和行驶道路的类别中，从而生成每一帧的场景类别代码。
此时，行驶环境可以包括自动驾驶车辆行驶区域的气象信息和时间段信息，但不限于此，其可以包括自动驾驶车辆行驶区域或地区的各种气象信息。另外，气象信息可以包括晴、雨、雪以及雾等，时间段信息可以包括白天、夜晚等。另外，行驶道路可以包括自动驾驶车辆行驶的道路类型，例如，高速公路、城市道路、隧道区间等，但不限于此，其可以包括自动驾驶车辆行驶的各种道路环境。
另外，场景代码生成模块1200可以通过驾驶事件检测模块1220从帧和每一帧的感测信息检测自动驾驶车辆行驶过程中发生的行驶事件，从而生成行驶事件代码。
此时，行驶事件代码可以包括利用连续的帧检测出的基于帧的事件代码以及利用感测信息检测出的基于车辆的事件代码。
例如，场景代码生成模块1200可以通过将连续的帧输入到驾驶事件检测模块1220的场景变化检测器中，以使场景变化检测器检测每一帧的场景是否变化，并根据场景变化与否生成对应于每一帧的基于帧的事件代码。此时，基于帧的事件代码可以包括根据场景变化与否的统一样本(uniform sample)、场景改变(scene change)等的代码。另外，场景代码生成模块1200可以利用感测信息检测自动驾驶车辆的操作状态，以检测车辆运行过程中发生的事件，从而生成基于车辆的事件代码。此时，基于车辆的事件代码可以包括快速转向(rapid steering)、猛踩刹车(slam on the braking)、正常动作(normal action)、AEB激活(AEB activated)等。另外，场景代码生成模块1200可以利用每一帧的场景类别代码和行驶事件代码生成对应每一帧的场景代码。
此时，对应每一帧的场景代码可以如下表所示。
Figure BDA0003841419250000091
另一方面，上述的场景代码具有示例性，本发明不限定于此，与行驶视频中每一连续的帧对应的场景代码能够以各种形式生成。
另一方面，重新参考图2，行驶视频和感测信息可以输入到自动驾驶车辆的行驶视频与运行信息分析模块1110。
然后，行驶视频与运行信息分析模块1110可以通过感知网络对行驶视频中连续的帧进行学习操作以检测自动驾驶车辆的周边环境信息，例如，车辆、行人等对象，行驶道路的车道线，交通信号等，并参考感测信息检测自动驾驶车辆的运行状态信息。另外，自动驾驶车辆的周边环境信息和运行状态信息可以传送到自动驾驶控制单元1500，自动驾驶控制单元1500可以利用环境信息和运行状态信息控制自动驾驶车辆的驾驶操作。
例如，行驶视频与运行信息分析模块1110通过基于深度学习(例如，CNN(convolutional neural network))的对象检测器(object detector)，对行驶视频的帧进行物体检测以生成每一帧的对象检测信息，或者通过基于深度学习的分段网络(segmentation network)，对行驶视频的帧进行分段以生成每一帧的车道线信息。另外，行驶视频与运行信息分析模块1110可以参考感测信息输出车辆的运行状态信息，即，自动驾驶车辆的加速、减速状态，方向盘操作状态，自动紧急制动系统(AEB，autonomousemergency braking)操作与否等。
然后，车载主动学习设备1000可以利用每一帧的场景代码以及通过对象检测器检测的每一帧的对象检测信息，使帧选择模块1300选择有助于学习数据的帧，并将被选为学习数据的帧存储到帧存储单元1400，其中，所述学习数据用于训练自动驾驶车辆的感知网络。
即，车载主动学习设备1000可以使帧选择模块1300在通过行驶视频获取的连续的帧中选择有助于训练感知网络的帧，即，图像，其中，所述感知网络基于自动驾驶车辆的深度学习。
此时，帧选择模块1300可以通过各种方法选择有助于训练感知网络的帧。
即，车载主动学习设备1000可以执行以下过程，利用每一帧的场景代码以及通过对象检测器检测的每一帧的对象检测信息，使帧选择模块1300将帧中的行驶事件的对象检测信息满足预设条件的帧选为用于训练自动驾驶车辆的感知网络的特定帧，并对特定帧及与其对应的特定场景代码进行匹配后存储到帧存储单元1400，即，自动驾驶车辆上安装的存储量有限的存储器。
另外，车载主动学习设备1000可以执行以下过程，利用每一帧的场景代码和对象检测信息使帧选择模块1300将与自动驾驶车辆感知网络的学习策略匹配的帧选为特定帧，并对特定帧及与其对应的特定场景代码进行匹配后存储到帧存储单元1400。
例如，车载主动学习设备1000可以参考场景代码将事故事件(accident event)的碰撞区域中未检测出对象的帧选为有助于感知网络学习的特定帧。此时，事故事件可以是在诸如急刹车、向左急转弯、向右急转弯等自动驾驶车辆的驾驶状态处于碰撞状况或预测到碰撞的状况下执行的行驶事件。另外，碰撞区域可以是自动驾驶车辆与对象碰撞或预测到碰撞的帧中被预测对象所在的区域。
即，当自动驾驶车辆的事件代码为急转弯、向左急转弯、向右急转弯等时应在碰撞区域检测出对象，但在行驶视频的帧中碰撞区域未检测出对象时疑似为错误排除(falsenegative)，因此能够将相应帧选为有助于感知网络学习的帧。
例如，车载主动学习设备1000可以参考场景代码将正常事件(normal event)的碰撞区域中检测出对象的帧选为有助于感知网络学习的特定帧。
即，在未发生事故等正常驾驶情况下，自动驾驶车辆运行时的碰撞区域中不应检测出对象，但在行驶视频的帧中碰撞区域检测出对象时疑似为功能虚警(function falsealarm)，因此能够将相应帧选为有助于感知网络学习的帧。
另外，车载主动学习设备1000可以将存在对象检测信息中关于对象的置信度分数低于或等于预设值(即，阈值)的对象的帧选为有助于感知网络学习的特定帧。
另外，对于除上述特别情况以外的帧，感知网络都会做出准确的判断，可以判断其是无助于感知网络学习的帧，从而丢弃相应帧。
另一方面，车载主动学习设备1000可以根据感知网络的学习策略，参考场景代码将在稀有行驶环境中检测出行人的帧选为有助于感知网络学习的特定帧。
例如，在场景代码为雨夜时，可以判断未检测出行人的帧是有助于感知网络学习的困难案例(hard case)，从而判断相应帧有助于感知网络的学习，而当场景代码为白天/晴天时，有可能判断感知网络已充分学习，为了防止过度拟合overfitting)可以判断相应帧无助于感知网络的学习。
但是，上述判断行驶视频中的帧是否有助于感知网络学习的方法具有示例性，本发明不限于此，可以根据设置条件以各种方法判断帧是否有助于感知网络的学习。
另一方面，帧选择模块1300可以通过已训练网络(即，已训练深度学习网络)判断驶视频中的帧是否有助于感知网络的学习。
例如，参考图4，帧选择模块1300可以将帧分别输入到自动标注网络1310和已训练深度学习网络1320，并对从自动标注网络1310输出的输出信息以及从已训练深度学习网络1320输出的输出信息进行比较，当自动标注网络1310的输出信息和已训练深度学习网络1320的输出信息相同或相似时，判断相应帧无助于感知网络的学习，而两者之间的差异大于或等于预设阈值时判断为困难样本(hard example)，从而判断相应帧有助于感知网络的学习。
再例如，参考图5，帧选择模块1300可以通过多种办法修改帧，从而生成多个已修改帧。此时，修改可以通过对帧进行大小调整、改变纵横比或色调等各种方法执行。然后，将多个已修改帧的每一个输入到已训练深度学习网络1320，并计算与每个从已训练深度学习网络1320输出的多个已修改帧对应的输出值的方差，当计算的方差小于或等于预设阈值时判断相应帧无助于感知网络的学习，而当计算的方差大于预设阈值时判断为困难样本，从而判断相应帧有助于感知网络的学习。
然后，车载主动学习设备1000可以通过特定场景代码对存储于帧存储单元1400的特定帧进行采样以生成学习数据，并利用学习数据车载训练自动驾驶车辆的感知网络。
此时，车载主动学习设备1000可以执行以下过程，当对存储于帧存储单元1400的特定帧进行采样时，参考场景代码仅选择多数类别中的一部分且对于少数类别利用尽可能多的数据进行欠采样(under sampling)，或者进行生成与多数类别的数量相同的少数类别的副本的数据的过采样(over sampling)，以生成学习数据并利用已采样学习数据训练感知网络。
另外，车载主动学习设备1000可以执行以下过程，在利用存储于帧存储单元1400的特定帧训练感知网络时，通过权重均衡(weight balancing)生成关于场景代码的学习数据的权重均衡损失，并通过利用权重均衡损失的反向传播训练感知网络。
另外，如上所述的根据本发明的实施例能够以由各种计算机组件执行的程序命令形式实现并记录到计算机可读记录介质。所述计算机可读记录介质可以单独或组合包括程序命令、数据文件、数据结构等。记录到所述计算机可读记录介质的程序命令可以是专门为本发明设计或配置，或者是被计算机软件所属领域的技术人员已知并使用的程序命令。计算机可读记录介质的示例包括硬盘、软盘以及磁带等磁介质，CD-ROM、DVD等光记录介质，光软盘(floptical disk)等磁光介质，ROM、RAM、闪存等为存储和执行程序命令而专门配置的硬件设备。程序命令的示例不仅包括诸如由编译器生成的机器语言代码，还包括计算机使用解释器等可执行的高级语言代码。所述硬件设备可以被配置为作为一个或多个软件模块来操作以执行根据本发明的处理，反之亦然。
以上，通过具体组件等特定事项、限定的实施例以及附图描述了本发明，但这些是为了有助于对本发明更全面的理解，本发明并不限于所述实施例，本发明所属领域技术人员可以根据这些描述来尝试各种修改和变化。
因此，本发明的技术构思不应局限于如上所述的实施例，本发明的权利要求及其相等或等同变换的所有内容都属于本发明的技术构思。

Claims (18)

1.一种车载主动学习方法，其用于训练自动驾驶车辆的感知网络，其中，包括：
(a)在自动驾驶车辆行驶过程中，获取到来自镜头的行驶视频和来自车辆传感器的感测信息后，车载主动学习设备将所述行驶视频中连续的帧和所述感测信息输入到场景代码生成模块中，以使所述场景代码生成模块参考所述帧和所述感测信息生成场景代码，所述场景代码包括关于每一个所述帧的场景的信息和关于行驶事件的信息；以及
(b)所述车载主动学习设备执行以下过程中的至少一个：(i)利用每一个所述帧的所述场景代码以及通过对象检测器检测的每一个所述帧中的对象检测信息，将所述帧中在所述行驶事件的所述对象检测信息满足预设条件的帧选为用于训练所述自动驾驶车辆的感知网络的特定帧，并对所述特定帧及与其对应的特定场景代码进行匹配后存储到帧存储单元的过程、以及(ii)利用所述场景代码和所述对象检测信息，将与所述自动驾驶车辆的所述感知网络的学习策略匹配的帧选为特定帧，并对所述特定帧及与其对应的所述特定场景代码进行匹配后存储到所述帧存储单元的过程。
2.根据权利要求1所述的方法，其中，进一步包括：
(c)所述车载主动学习设备(c1)通过所述特定场景代码对存储于所述帧存储单元的所述特定帧进行采样以生成学习数据，(c2)并利用所述学习数据车载训练所述自动驾驶车辆的所述感知网络。
3.根据权利要求2所述的方法，其中，在所述(c)中：
所述车载主动学习设备执行以下过程中的至少一个：(i)在所述步骤(c1)中，当采样所述特定帧时，参考所述场景代码仅选择多数类别中的一部分且对于少数类别利用尽可能多的数据进行欠采样，或者进行生成与多数类别的数量相同的少数类别的副本的数据的过采样以生成所述学习数据并训练所述感知网络的过程，(ii)在所述步骤(c2)中，当利用所述学习数据训练所述感知网络时，(ii-1)通过权重均衡生成关于对应于所述场景代码的所述学习数据的权重均衡损失，并(ii-2)通过利用所述权重均衡损失的反向传播训练所述感知网络的过程。
4.根据权利要求1所述的方法，其中，在所述(a)中：
所述车载主动学习设备使所述场景代码生成模块(i)通过基于深度学习的场景分类器对每一个所述帧进行学习运算以将每一个所述帧的场景分类为行驶环境和行驶道路的类别，以此生成每一个所述帧的场景类别代码，(ii)使通过行驶事件检测模块从所述帧和每一个所述帧的所述感测信息检测所述自动驾驶车辆行驶的过程中发生的行驶事件生成行驶事件代码，(iii)利用每一个所述帧的所述场景类别代码和所述行驶事件代码生成对应于每一个所述帧的场景代码。
5.根据权利要求4所述的方法，其中：
所述车载主动学习设备使所述场景代码生成模块(i)通过所述行驶事件检测模块检测所述帧中的场景变化生成基于帧的事件代码，并(ii)通过检测所述感测信息中的所述自动驾驶车辆的操作状态生成基于车辆的事件代码，以此生成所述行驶事件代码。
6.根据权利要求1所述的方法，其中，在所述(b)中：
所述车载主动学习设备参考所述场景代码将在事故事件未从碰撞区域中检测出对象的帧选为所述特定帧，其中，所述碰撞区域是所述自动驾驶车辆与对象碰撞或预测到会发生碰撞时，所述帧中被预测对象所在的区域。
7.根据权利要求1所述的方法，其中，在所述(b)中：
所述车载主动学习设备参考所述场景代码将在正常事件从碰撞区域中检测出对象的帧选为所述特定帧，其中，所述碰撞区域是所述自动驾驶车辆与对象碰撞或预测到会发生碰撞时，所述帧中被预测对象所在的区域。
8.根据权利要求1所述的方法，其中，在所述(b)中：
所述车载主动学习设备将存在所述对象检测信息中关于对象的置信度分数低于或等于预设值的对象的帧选为所述特定帧。
9.根据权利要求1所述的方法，其中，在所述(b)中：
所述车载主动学习设备参考所述场景代码，将在稀有行驶环境中检测出行人的帧选为所述特定帧。
10.一种车载主动学习设备，其用于训练自动驾驶车辆的感知网络，其中，包括：
存储器，其中存储指令，所述指令用于针对从自动驾驶车辆获取的视频中连续的帧执行车载主动学习；以及
处理器，其根据存储于所述存储器中的指令执行车载主动学习操作，
所述处理器执行以下过程中的至少一个，(I)在自动驾驶车辆行驶过程中，获取到来自镜头的行驶视频和来自车辆传感器的感测信息后，将所述行驶视频中连续的帧和所述感测信息输入到场景代码生成模块中，以使所述场景代码生成模块参考所述帧和所述感测信息生成场景代码，所述场景代码包括关于每一个所述帧的场景的信息和关于行驶事件的信息；以及(II)(i)利用每一个所述帧的所述场景代码以及通过对象检测器检测的每一个所述帧中的对象检测信息，将所述帧中在所述行驶事件的所述对象检测信息满足预设条件的帧选为用于训练所述自动驾驶车辆的感知网络的特定帧，并对所述特定帧及与其对应的特定场景代码进行匹配后存储到帧存储单元；以及(ii)利用所述场景代码和所述对象检测信息，将与所述自动驾驶车辆的所述感知网络的学习策略匹配的帧选为特定帧，并对所述特定帧及与其对应的所述特定场景代码进行匹配后存储到所述帧存储单元。
11.根据权利要求10所述的车载主动学习设备的所述处理器进一步执行，(III)所述处理器进一步执行以下过程，(III-1)通过所述特定场景代码对存储于所述帧存储单元的所述特定帧进行采样以生成学习数据，并(III-2)利用所述学习数据车载训练所述自动驾驶车辆的所述感知网络。
12.根据权利要求11所述的车载主动学习设备，其中，在所述过程(III)中：
所述处理器执行以下过程中的至少一个，(i)在所述过程(III-1)中，当对所述特定帧进行采样时，参考所述场景代码仅选择多数类别中的一部分并利用少数类别中尽可能多的数据进行欠采样，或者进行将少数类别的副本生成数据至与多数类别的数量相同的过采样，从而生成所述学习数据并训练所述感知网络；(ii)并在所述过程(III-1)中,在利用所述学习数据训练所述感知网络时，(ii-1)通过权重均衡生成对应于所述场景代码的所述学习数据的所述权重均衡损失，并(ii-2)通过利用所述权重均衡损失的反向传播训练所述感知网络。
13.根据权利要求10所述的车载主动学习设备，其中：
在所述过程(I)中，所述处理器使所述场景代码生成模块(i)通过基于深度学习的场景分类器对每一个所述帧进行学习运算以将每一个所述帧的场景分类为行驶环境和行驶道路的类别，以此生成每一个所述帧的场景类别代码；(ii)使所述场景代码生成模块通过所述驾驶事件检测模块，从所述帧和每一个所述帧的所述感测信息检测所述自动驾驶车辆行驶过程中发生的行驶事件，从而生成行驶事件代码；(iii)使所述场景代码生成模块利用每一个所述帧的所述场景类别代码和所述行驶事件代码生成对应每一个所述帧的场景代码。
14.根据权利要求13所述的车载主动学习设备，其中：
所述处理器(i)使所述场景代码生成模块通过所述驾驶事件检测模块检测所述帧中的场景变化，以生成基于帧的事件代码，并且(ii)使所述场景代码生成模块通过所述行驶事件检测所述感测信息中的所述自动驾驶车辆的操作状态，以生成基于车辆的事件代码，从而生成所述行驶事件代码。
15.根据权利要求10所述的车载主动学习设备，其中：
在所述过程(II)中，所述处理器参考所述场景代码将在事故事件未从碰撞区域中检测出对象的帧选为所述特定帧，其中，所述碰撞区域是所述自动驾驶车辆与对象碰撞或预测到会发生碰撞时，所述帧中被预测对象所在的区域。
16.根据权利要求10所述的车载主动学习设备，其中：
在所述过程(II)中，所述处理器参考所述场景代码将在正常事件从碰撞区域中检测出对象的帧选为所述特定帧，其中，所述碰撞区域是所述自动驾驶车辆与对象碰撞或预测到会发生碰撞时，所述帧中被预测对象所在的区域。
17.根据权利要求10所述的车载主动学习设备，其中：
在所述过程(II)中，所述处理器将存在所述对象检测信息中关于对象的置信度分数低于或等于预设值的对象的帧选为所述特定帧。
18.根据权利要求10所述的车载主动学习设备，其中：
在所述过程(II)中，所述处理器参考所述场景代码将在稀有行驶环境中检测出行人的帧选为所述特定帧。
CN202180020419.1A 2020-04-24 2021-04-14 用于训练自动驾驶车辆的感知网络的车载主动学习方法和设备 Pending CN115279643A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202063014877P 2020-04-24 2020-04-24
US63/014,877 2020-04-24
US17/204,287 2021-03-17
US17/204,287 US11157813B1 (en) 2020-04-24 2021-03-17 Method and device for on-vehicle active learning to be used for training perception network of autonomous vehicle
PCT/KR2021/004714 WO2021215740A1 (en) 2020-04-24 2021-04-14 Method and device for on-vehicle active learning to be used for training perception network of autonomous vehicle

Publications (1)

Publication Number Publication Date
CN115279643A true CN115279643A (zh) 2022-11-01

Family

ID=75529884

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180020419.1A Pending CN115279643A (zh) 2020-04-24 2021-04-14 用于训练自动驾驶车辆的感知网络的车载主动学习方法和设备

Country Status (6)

Country Link
US (1) US11157813B1 (zh)
EP (1) EP3901822B1 (zh)
JP (1) JP7181654B2 (zh)
KR (1) KR102589764B1 (zh)
CN (1) CN115279643A (zh)
WO (1) WO2021215740A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11475628B2 (en) * 2021-01-12 2022-10-18 Toyota Research Institute, Inc. Monocular 3D vehicle modeling and auto-labeling using semantic keypoints
GB202208488D0 (en) * 2022-06-09 2022-07-27 Aptiv Tech Ltd Computer-implemented method of training a neural network to select objects, and a vehicle, cloud server, and traffic infrastructure unit

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8111923B2 (en) * 2008-08-14 2012-02-07 Xerox Corporation System and method for object class localization and semantic class based image segmentation
JP2014010633A (ja) * 2012-06-29 2014-01-20 Honda Elesys Co Ltd 画像認識装置、画像認識方法、及び画像認識プログラム
US20140005907A1 (en) * 2012-06-29 2014-01-02 Magna Electronics Inc. Vision-based adaptive cruise control system
KR102190484B1 (ko) * 2013-11-11 2020-12-11 삼성전자주식회사 인식기 학습 방법 및 장치, 데이터 인식 방법 및 장치
KR102147361B1 (ko) * 2015-09-18 2020-08-24 삼성전자주식회사 객체 인식 장치 및 방법, 객체 인식 모델 학습 장치 및 방법
US10530991B2 (en) 2017-01-28 2020-01-07 Microsoft Technology Licensing, Llc Real-time semantic-aware camera exposure control
KR102060662B1 (ko) * 2017-05-16 2019-12-30 삼성전자주식회사 차량의 주행 이벤트를 검출하는 전자 장치 및 방법
GB2560393B (en) * 2017-07-31 2019-01-30 Matthew Russell Iain Unmanned aerial vehicles
US10452920B2 (en) 2017-10-31 2019-10-22 Google Llc Systems and methods for generating a summary storyboard from a plurality of image frames
US10473788B2 (en) * 2017-12-13 2019-11-12 Luminar Technologies, Inc. Adjusting area of focus of vehicle sensors by controlling spatial distributions of scan lines
CN108133484B (zh) 2017-12-22 2022-01-28 北京奇虎科技有限公司 基于场景分割的自动驾驶处理方法及装置、计算设备
US11941719B2 (en) * 2018-01-23 2024-03-26 Nvidia Corporation Learning robotic tasks using one or more neural networks
EP3796189A4 (en) * 2018-05-18 2022-03-02 Cambricon Technologies Corporation Limited VIDEO RECOVERY METHOD, AND METHOD AND APPARATUS FOR GENERATING A VIDEO RECOVERY MAPPING RELATION
US10845818B2 (en) * 2018-07-30 2020-11-24 Toyota Research Institute, Inc. System and method for 3D scene reconstruction of agent operation sequences using low-level/high-level reasoning and parametric models
US10318842B1 (en) * 2018-09-05 2019-06-11 StradVision, Inc. Learning method, learning device for optimizing parameters of CNN by using multiple video frames and testing method, testing device using the same
CN109460016A (zh) * 2018-09-06 2019-03-12 百度在线网络技术（北京）有限公司 自动驾驶协助方法、驾驶设备、协助设备及可读存储介质
US11960984B2 (en) * 2018-09-24 2024-04-16 Schlumberger Technology Corporation Active learning framework for machine-assisted tasks
US10504027B1 (en) * 2018-10-26 2019-12-10 StradVision, Inc. CNN-based learning method, learning device for selecting useful training data and test method, test device using the same
CN109257622A (zh) 2018-11-01 2019-01-22 广州市百果园信息技术有限公司 一种音视频处理方法、装置、设备及介质
CN109993082B (zh) * 2019-03-20 2021-11-05 上海理工大学 卷积神经网络道路场景分类与道路分割方法
JP2020166758A (ja) * 2019-03-29 2020-10-08 株式会社デンソーテン 画像処理装置および画像処理方法
US10853953B2 (en) * 2019-04-12 2020-12-01 Logitech Europe S.A. Video content activity context and regions
KR20210002959A (ko) * 2019-07-01 2021-01-11 현대자동차주식회사 자율주행차량의 차선변경 제어 장치 및 그 방법
US11250296B2 (en) * 2019-07-24 2022-02-15 Nvidia Corporation Automatic generation of ground truth data for training or retraining machine learning models
US11615266B2 (en) * 2019-11-02 2023-03-28 Perceptive Automata, Inc. Adaptive sampling of stimuli for training of machine learning based models for predicting hidden context of traffic entities for navigating autonomous vehicles
US20210142168A1 (en) * 2019-11-07 2021-05-13 Nokia Technologies Oy Methods and apparatuses for training neural networks

Also Published As

Publication number Publication date
KR20210152025A (ko) 2021-12-14
WO2021215740A1 (en) 2021-10-28
EP3901822C0 (en) 2024-02-14
EP3901822A1 (en) 2021-10-27
US11157813B1 (en) 2021-10-26
JP2022539697A (ja) 2022-09-13
EP3901822B1 (en) 2024-02-14
JP7181654B2 (ja) 2022-12-01
KR102589764B1 (ko) 2023-10-17
US20210334652A1 (en) 2021-10-28

Similar Documents

Publication Publication Date Title
CN110077398B (zh) 一种用于智能驾驶的危险处理方法
CN111311914B (zh) 车辆行驶事故监控方法、装置和车辆
CN112793576B (zh) 一种基于规则与机器学习融合的换道决策方法及系统
Op den Camp et al. Cyclist target and test setup for evaluation of cyclist-autonomous emergency braking
CN115279643A (zh) 用于训练自动驾驶车辆的感知网络的车载主动学习方法和设备
KR20210052031A (ko) 딥러닝 기반 교통 흐름 분석 방법 및 시스템
CN112026761A (zh) 一种基于数据共享的汽车辅助驾驶方法
JP2022532941A (ja) 車両信号を処理して挙動危険性の測度を計算するための装置及び方法
Abdelrahman et al. Driver behavior classification in crash and near-crash events using 100-CAR naturalistic data set
Camlica et al. Feature abstraction for driver behaviour detection with stacked sparse auto-encoders
CN111310696A (zh) 基于泊车异常行为分析的泊车事故识别方法、装置和车辆
CN112124074B (zh) 基于车辆周边情况实现自动控制车速方法
KR102570295B1 (ko) 차량 및 그 제어 방법
Juyal et al. Anomalous Activity Detection Using Deep Learning Techniques in Autonomous Vehicles
CN115527076A (zh) 一种营运车辆异常驾驶行为识别模型的构建方法及系统
CN118072553B (zh) 一种交通安全智能管控系统
CN112277958B (zh) 一种驾驶员制动行为分析方法
Zan et al. Lane Change Intention Recognition for Human Driving Vehicles under Moving Bottleneck on Freeway
CN112785863B (zh) 基于K-Means和熵加权的并道决策分类预警方法
CN116311952B (zh) 基于gps定位分析的摩托车事故预测系统
Ahmad et al. Driving analytics–Data science approach based on smartphone vehicle telematic data
US20230045706A1 (en) System for displaying attention to nearby vehicles and method for providing an alarm using the same
Sun et al. Predicting Traffic Hazardous Events Based on Naturalistic Driving Data
KR20240011067A (ko) 자율주행 자동차의 객체 인식률 개선 방법 및 그 장치
Zeng et al. Research on cut-in scenario identification algorithm based on risk assessment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination