CN111507157A - 基于强化学习而在自动驾驶时优化资源分配的方法及装置 - Google Patents

基于强化学习而在自动驾驶时优化资源分配的方法及装置 Download PDF

Info

Publication number
CN111507157A
CN111507157A CN202010059382.0A CN202010059382A CN111507157A CN 111507157 A CN111507157 A CN 111507157A CN 202010059382 A CN202010059382 A CN 202010059382A CN 111507157 A CN111507157 A CN 111507157A
Authority
CN
China
Prior art keywords
attention
autonomous vehicle
data
vehicle
computing device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010059382.0A
Other languages
English (en)
Other versions
CN111507157B (zh
Inventor
金桂贤
金镕重
金寅洙
金鹤京
南云铉
夫硕焄
成明哲
吕东勋
柳宇宙
张泰雄
郑景中
诸泓模
赵浩辰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stradvision Inc
Original Assignee
Stradvision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stradvision Inc filed Critical Stradvision Inc
Publication of CN111507157A publication Critical patent/CN111507157A/zh
Application granted granted Critical
Publication of CN111507157B publication Critical patent/CN111507157B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0248—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means in combination with a laser
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/329—Power saving characterised by the action undertaken by task scheduling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5094—Allocation of resources, e.g. of the central processing unit [CPU] where the allocation takes into account power or heat criteria
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/08—Predicting or avoiding probable or impending collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/14—Cruise control
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9318—Controlling the steering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Mechanical Engineering (AREA)
  • Electromagnetism (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Transportation (AREA)
  • Optics & Photonics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

本发明是基于强化学习而在自动驾驶时优化资源分配的方法及装置。本发明涉及用于自动驾驶车辆的优化资源分配所需的方法及装置。更详细而言，其特征在于，包括：(a)步骤，计算装置获得至少一个注意力传感器数据后，使注意力网络计算一个以上的注意力分值；(b)步骤，所述计算装置使探测网络至少一个视频数据，并参照所述视频数据，生成至少一个自动驾驶用判断数据；(c)步骤，所述计算装置使驱动网络获得表示行驶中的所述自动驾驶车辆周边情况变化的至少一个情况数据，并参照所述情况数据，生成至少一个奖励；(d)步骤，所述计算装置使所述注意力网络，以所述奖励为参照，调整所述神经网络运算中使用的一个以上参数的至少一部分。

Description

基于强化学习而在自动驾驶时优化资源分配的方法及装置
技术领域
本发明涉及用于自动驾驶车辆的方法及装置。更详细而言，涉及一种在基于强化学习的、自动驾驶时执行高效资源分配的方法。
背景技术
自动驾驶系统由于耗电大，因而节省电力是重要的。作为构成自动驾驶系统的构成要素之一的照相机，其电力消耗大，在特定情况下，即，在冷清的高速公路上行驶，周边不存在障碍物时，或在特定方向上不存在障碍物时，可以只需要较少数量的照相机。在这种情况下，如果使所有照相机运转，则存在浪费大量电力的大问题。
因此，需要一种能够减小这种电力浪费、高效分配诸如电力的资源的技术，如要以CNN(Convolutional Neural Network，卷积神经网络)来体现这种技术，则由于无法轻松定义这种情况的GT(Grand Truth，地面真值)，因而难以明确地定义损失，因而造成学习困难。因此，可以利用不需要GT的作为深度学习方法之一的强化学习。但是，如要通过强化学习来学习这种功能，则需在模块的实际运转中进行学习。例如，在自动驾驶的情况下，为了执行强化学习，车辆需要实际行驶。但是，在车辆实际行驶并学习的情况下，发生车辆事故的可能性高。
发明内容
本发明的目的在于解决上述问题。
本发明目的在于，在基于强化学习的自动驾驶时，执行高效资源分配，减小自动驾驶车辆的电力消耗。
本发明目的在于，提供自动驾驶车辆借助于强化学习而优化资源分配的虚拟空间，从而减小学习过程中的潜在的危险要素。
本发明的目的是通过以下技术方案实现的：
根据本发明的一个方面，提供一种借助于强化学习而在自动驾驶时执行高效资源分配的方法，其特征在于，包括：(a)步骤，计算装置获得至少一个注意力传感器数据后，使注意力网络参照所述注意力传感器数据，执行至少一个神经网络运算，从而计算一个以上的注意力分值；(b)步骤，所述计算装置使探测网络参照所述注意力分值，借助于自动驾驶车辆上安装的一个以上照相机中至少一部分而获得至少一个视频数据，并参照所述视频数据，生成至少一个自动驾驶用判断数据；(c)步骤，所述计算装置使驱动网络参照所述判断数据，使所述自动驾驶车辆行驶，获得表不行驶中的所述自动驾驶车辆周边情况变化的至少一个情况数据，并参照所述情况数据，生成至少一个奖励；(d)步骤，所述计算装置使所述注意力网络参照所述奖励，调整所述神经网络运算中使用的一个以上参数的至少一部分。
一个实施例，提供一种方法，其特征在于，在所述(a)步骤中，所述神经网络运算包括供所述注意力传感器数据输入的至少一个卷积层、至少一个池化层、至少一个全连接FC层及输出所述注意力分值的至少一个柔性最大值传输函数SoftMax层的运算，对于所述自动驾驶车辆附近空间包括的各角度范围，均决定至少一个行驶危险等级。
一个实施例，提供一种方法，其特征在于，在所述(b)步骤中，
所述计算装置使所述探测网络获得与具有第一临界值以上的所述注意力分值的特定角度范围对应的、所述自动驾驶车辆上安装的特定照相机的特定视频数据。
一个实施例，提供一种方法，其特征在于，在所述(b)步骤中，所述计算装置使所述探测网络使用至少一个区域被设置为至少一个关注区域ROI的所述视频数据，生成所述判断数据，且所述区域是与具有第一临界值以上的注意力分值的特定角度范围对应的区域。
一个实施例，提供一种方法，其特征在于，在所述(c)步骤中，所述情况数据包括(i)关于距所述自动驾驶车辆既定距离内至少一个相邻的周边车辆的至少一个车辆喇叭是否为使用中的信息、(ii)所述至少一个相邻的周边车辆的速度变化信息、(iii)所述自动驾驶车辆与所述相邻的周边车辆的至少一个事故信息中至少一部分。
一个实施例，提供一种方法，其特征在于，在所述(a)步骤中，所述注意力传感器数据使用雷达获得，或使用激光雷达获得，或使用两者获得，在使用所述激光雷达或使用所述雷达及所述激光雷达两者而获得所述注意力传感器数据的情况下，所述计算装置使所述注意力网络参照所述注意力传感器数据所包含的三维坐标，生成至少一个稀疏深度图像，对所述稀疏深度图像应用至少一个平滑运算，生成至少一个高密度深度图像，并参照所述高密度深度图像，执行所述神经网络运算，从而计算所述注意力分值。
一个实施例，提供一种方法，其特征在于，所述自动驾驶车辆在虚拟空间中体现，通过所述自动驾驶车辆在所述虚拟空间行驶的过程，调整所述参数的至少一部分。
一个实施例，提供一种方法，其特征在于，参照在所述虚拟空间中位于距所述自动驾驶车辆既定距离以内的一个以上虚拟客体间关系的相关信息，对所述注意力传感器数据、所述视频数据、所述情况数据的变形进行编程，从而获得所述注意力传感器数据、所述视频数据、所述情况数据。
一个实施例，提供一种方法，其特征在于，对所述虚拟空间进行编程，使得(i)使得如果检测到存在距所述自动驾驶车辆既定距离以内的周边车辆在第一临界时间内与所述自动驾驶车辆碰撞的可能性，则使所述虚拟空间中的至少一个所述周边车辆鸣响喇叭，(ii)如果检测到存在所述周边车辆在第二临界时间内与所述自动驾驶车辆碰撞的可能性，则减小所述周边车辆的速度；所述第一临界时间大于或等于所述第二临界时间。
根据本发明的另一个方面，提供一种借助于强化学习而在自动驾驶时执行高效资源分配的计算装置，其特征在于，包括：存储指令的至少一个存储器；及至少一个处理器，所述至少一个处理器构成为运行用于执行如下流程的所述指令：(I)使注意力网络参照至少一个注意力传感器数据，执行至少一个神经网络运算，从而计算一个以上的注意力分值；(II)使探测网络参照所述注意力分值，借助于自动驾驶车辆上安装的一个以上照相机中至少一部分而获得至少一个视频数据，并参照所述视频数据，生成至少一个自动驾驶用判断数据；(III)使驱动网络参照所述判断数据，使所述自动驾驶车辆行驶，获得表示行驶中的所述自动驾驶车辆周边情况变化的至少一个情况数据，并参照所述情况数据，生成至少一个奖励；(IV)使所述注意力网络参照所述奖励，调整所述神经网络运算所使用的一个以上的参数的至少一部分。
一个实施例，提供一种计算装置，其特征在于，在所述(I)流程中，所述神经网络运算包括供所述注意力传感器数据输入的至少一个卷积层、至少一个池化层、至少一个FC层及输出所述注意力分值的至少一个SoftMax层的运算，对于所述自动驾驶车辆附近空间包括的各角度范围，均决定至少一个行驶危险等级。
一个实施例，提供一种计算装置，其特征在于，在所述(II)流程中，所述处理器使所述探测网络获得与具有第一临界值以上的所述注意力分值的特定角度范围对应的、所述自动驾驶车辆上安装的特定照相机的特定视频数据。
一个实施例，提供一种计算装置，其特征在于，在所述(II)流程中，
所述处理器使所述探测网络使用至少一个区域被设置为至少一个ROI的所述视频数据，生成所述判断数据，且所述区域是与具有第一临界值以上的注意力分值的特定角度范围对应的区域。
一个实施例，提供一种计算装置，其特征在于，在所述(III)流程中，所述情况数据包括(i)关于距所述自动驾驶车辆既定距离内至少一个相邻的周边车辆的至少一个车辆喇叭是否为使用中的信息、(ii)所述至少一个相邻的周边车辆的速度变化信息、(iii)所述自动驾驶车辆与所述相邻的周边车辆的至少一个事故信息中至少一部分。
一个实施例，提供一种计算装置，其特征在于，在所述(I)流程中，所述注意力传感器数据使用雷达获得，或使用激光雷达获得，或使用两者获得，在使用所述激光雷达或使用所述雷达及所述激光雷达两者而获得所述注意力传感器数据的情况下，所述处理器使所述注意力网络参照所述注意力传感器数据所包含的三维坐标，生成至少一个稀疏深度图像，对所述稀疏深度图像应用至少一个平滑运算，生成至少一个高密度深度图像，并参照所述高密度深度图像，执行所述神经网络运算，从而计算所述注意力分值。
一个实施例，提供一种计算装置，其特征在于，所述自动驾驶车辆在虚拟空间中体现，通过所述自动驾驶车辆在所述虚拟空间行驶的过程，调整所述参数的至少一部分。
一个实施例，提供一种计算装置，其特征在于，参照在所述虚拟空间中位于距所述自动驾驶车辆既定距离以内的一个以上的虚拟客体间关系的相关信息，对所述注意力传感器数据、所述视频数据、所述情况数据的变形进行编程，从而获得所述注意力传感器数据、所述视频数据、所述情况数据。
一个实施例，提供一种计算装置，其特征在于，对所述虚拟空间进行编程，使得(i)如果检测到存在距所述自动驾驶车辆既定距离以内的周边车辆在第一临界时间内与所述自动驾驶车辆碰撞的可能性，则使所述虚拟空间中的至少一个所述周边车辆鸣响喇叭，(ii)如果检测到存在所述周边车辆在第二临界时间内与所述自动驾驶车辆碰撞的可能性，则减小所述周边车辆的速度；所述第一临界时间大于或等于所述第二临界时间。
与现有技术相比，本发明的优点在于：
本发明提供借助于强化学习而在自动驾驶时执行高效资源分配的方法，从而具有可以减小自动驾驶车辆的电力消耗的效果。
本发明提供自动驾驶车辆借助于强化学习而优化资源分配的虚拟空间，从而具有可以减小学习过程中的潜在危险要素的效果。
附图说明
为了用于说明本发明实施例而附带的下面的图，只是本发明实施例中的一部分，本发明所属技术领域的普通技术人员(以下称为“普通技术人员”)可以不进行发明性作业，基于这些图获得其他图。
图1是根据本发明一个实施例概略地示出执行基于强化学习的自动驾驶时高效资源分配的计算装置的构成的图。
图2是根据本发明一个实施例概略地示出执行基于强化学习的自动驾驶时高效资源分配的过程的图。
图3是出示本发明一个实施例的为了高效资源分配而执行的神经网络运算的一个示例的图。
图4是示出本发明一个实施例的为了高效资源分配而计算的注意力分值(Score)的一个示例的图。
具体实施方式
后述有关本发明的详细说明，参照作为示例而图示本发明可实施的特定实施例的附图。对这些实施例进行了详细说明，以便从业人员足以实施本发明。本发明的多样实施例虽然互不相同，但应理解为不需要相互排他。例如，在此记载的特定形状、结构及特性，可以与一个实施例相关联，在不超出本发明的精神及范围的前提下体现为其他实施例。另外，各个公开的实施例内的个别构成要素的位置及配置，应理解为在不超出本发明的精神及范围的前提下可以进行变更。因此，后述的详细说明并非出于限定之意，本发明的范围，如能适当说明，则仅由与其权利要求所主张的内容等同的所有范围和所附权利要求所限定。在附图中，类似的附图标记指称在多个方面相同或类似的功能。
另外，在本发明的详细说明及权利要求中，“包括”字样的术语及其变形，并非要将其他技术特征、附加物、构成要素或步骤排除在外。对于普通技术人员而言，本发明的其他目的、优点及特性，一部分从本说明书，而一部分则从本发明的实施中显现出来。以下的示例及附图是作为实例而提供的，并非意图限定本发明。
本发明中提及的各种图像可以包括铺装或非铺装道路相关图像，是可以假定此时会在道路环境中出现的物体(例如汽车、人、动物、植物、物品、建筑物、诸如飞机或无人机的飞行体、其他障碍物)的图像，但并非必须限定于此，本发明中提及的各种图像也可以是与道路无关的图像(例如与非铺设道路、小胡同、空地、海、湖、河、山、树林、沙漠、天空、室内相关的图像)，是可以推断此时会在非铺设道路、小胡同、空地、海、湖、河、山、树林、沙漠、天空、室内环境中出现的物体(例如汽车、人、动物、植物、物品、建筑物、诸如飞机或无人机的飞行体、其他障碍物)的图像，但并非必须限定于此。
下面为了让本发明所属技术领域的普通技术人员能够容易地实施本发明，参照附图，就本发明优选实施例进行详细说明。
图1是根据本发明一个实施例概略地示出执行基于强化学习的、自动驾驶时高效资源分配的计算装置的构成的图。
参照图1，计算装置100包括注意力网络130、探测网络140及驱动网络150。注意力网络130、探测网络140及驱动网络150的输入输出及运算过程可以分别借助于通信部110及处理器120而实现。不过，在图1中，省略了通信部110及处理器120的具体连接关系。此时，存储器115可以为存储了后述指令的状态，处理器120设置成执行存储器115中存储的指令，且处理器120执行稍后说明的流程，从而执行本发明。如上所述描述了学习装置100，学习装置100并非排除包括为了实施本发明所需的处理器、存储器、介质(medium)或任意其他计算组件的任意组合的统合装置。
计算装置100的构成如上所述，下面以图2为参照，概括地考查以下各个构成是如何联动、运转的。
图2是概略地示出根据本发明一个实施例执行基于强化学习的、自动驾驶时高效资源分配的过程的图。
参照图2，注意力网络130获得或支持其他装置获得稍后将详细说明的至少一个注意力传感器数据。注意力网络130利用注意力传感器数据计算或支持其他装置计算一个以上的注意力分值，探测网络140执行或支持其他装置执行如下流程：参照注意力分值，借助于自动驾驶车辆上安装的一个以上照相机中的至少一部分获得至少一个视频数据；参照获得的视频数据，生成至少一个自动驾驶用判断数据。然后，驱动网络150执行或支持其他装置执行如下流程：参照自动驾驶用判断数据，使自动驾驶车辆行驶；获得表示行驶中的自动驾驶车辆的周边情况变化的至少一个情况数据。而且，驱动网络150参照情况数据，生成或支持其他装置生成强化学习所使用的至少一个奖励。而且，注意力网络130参照奖励，调整或支持其他装置调整神经网络运算中一个以上参数的至少一部分。
以上通过图2，考查了本发明概括性的流程，下面更详细地考查本发明的具体执行方式。
首先，获得注意力传感器数据后，计算装置100可以使注意力网络130，参照注意力传感器数据，执行神经网络运算。
其中，所谓注意力传感器数据，是从自动驾驶车辆上安装的传感器获得的数据，其可以使用雷达获得，或使用激光雷达(Lidar)获得，或使用雷达及激光雷达两者而获得。在不使用激光雷达而只使用雷达来获得注意力传感器数据的情况下，注意力网络130可以直接以此为参照，执行神经网络运算。但是，在使用激光雷达的情况下，即，在使用激光雷达和雷达两者来而获得注意力传感器数据的情况下，或不使用雷达而使用激光雷达而获得注意力传感器数据的情况下，由于数据不是面向执行神经网络运算而优化的状态，因而需要对此进行预处理的过程，下面对预处理过程进行考查。
借助于激光雷达而获得的注意力传感器数据，是沿着激光扫描线测量至激光反射地点的距离而获得的，包括以自动驾驶车辆为中心排列成同心圆形态的三维坐标。预处理包括利用这种三维坐标而进行三维坐标的投影(projection)及平滑(smoothing)的过程。具体而言，如果将三维坐标投影于虚拟的平面上，则生成包含关于各像素的各个距离的信息的稀疏深度图像。然后，为了填充稀疏深度图像中间各处空白的部分，对稀疏深度图像应用至少一个平滑运算，从而可以生成高密度深度图像。注意力网络130可以参照这种高密度深度图像而执行神经网络运算。
可以通过图3确认借助于注意力网络130而实现的神经网络运算。
图3是示出本发明一个实施例的为了高效资源分配而执行的神经网络运算的一个示例的图。
参照图3，神经网络运算包括：一个以上的卷积层，输入注意力传感器数据或对其进行了预处理的高密度深度图像；对卷积层的结果应用至少一个池化运算的至少一个池化层；对池化层的结果应用一个以上FC(Fully Connected，全连接)运算的一个以上FC层；及输出所述注意力分值的至少一个柔性最大值传输函数(SoftMax)层。当然，图3所示的构成是一个示例，各个层也可以用一个以上其他层替代，或在本构成中追加至少一个其他层，或删除特定层。
这种神经网络运算针对以自动驾驶车辆为中心的既定空间，按各个角度范围将行驶时的危险度转换成点数并进行判断，是用于输出注意力分值的运算。参照图4对危险度进行具体说明。
图4是示出本发明一个实施例的为了高效资源分配而计算的注意力分值的一个示例的图。
参照图4可知，在显示出自动驾驶车辆200的周边的全景图像220上，与客体较多的一部分特定方向对应的注意力分值210中的一部分测量值较高。全景图像220是为了帮助理解而配置的，实际上不是利用这种全景图像220，而是利用从高密度深度图像或从雷达获得的注意力传感器数据，生成注意力分值。图4的示例性注意力分值210，与作为一部分特定方向的222方向和223方向对应的注意力分值中的一部分图示得较高。即，当在特定方向检测到大量客体时，一个以上的客体朝向自动驾驶车辆200移动，或存在由此导致的潜在性危险升高的可能性，因此，相应方向的行驶危险等级决定为较高，与该方向对应的相应角度范围的注意力分值计算得较高。这种注意力分值210由探测网络140计算后是否发生某种效果，稍后将重新参照图4再次说明。
如此计算注意力分值后，计算装置100可以使探测网络140参照注意力分值，借助于自动驾驶车辆200上安装的一个以上照相机中的至少一部分而获得至少一个视频数据，参照视频数据，生成至少一个自动驾驶用判断数据。
即，选择自动驾驶车辆上安装的照相机中的至少一部分，利用由相应照相机的至少一部分所拍摄的视频来执行计算，从而与使用所有照相机相比，可以使照相机使用的电力消耗实现最小化。此时，利用与因存在潜在危险性而需对此进行应对的一部分方向对应的照相机的至少一部分的视频，这对提高安全性有帮助，而为此使用了注意力分值。
即，再次参照图4，222及223方向的注意力分值高，因而获得拍摄自动驾驶车辆200的222及223方向的照相机的视频数据。作为选择照相机的基准的注意力分值可以根据其值是否大于第一临界值而决定。即，探测网络140可以获得与注意力分值为第一临界值以上的特定角度范围对应的自动驾驶车辆200上安装的特定照相机所生成的特定视频数据。
或者，注意力分值可以用于决定至少一个ROI，即，关注区域(Region-of-Interest)。再次以图4为例，视频数据本身通过全部照相机获得，而决定实际应用运算的ROI时，如ROI全景图像230所示，判断为行驶危险等级高的方向的图像可以决定为用于一个以上ROI所需的基础(Source)。即，探测网络140可以在将与注意力分值为第一临界值以上的特定角度范围对应的一个以上区域设置为ROI的状态下，执行之后的流程。
本发明如上所述选择照相机的至少一部分的视频数据或设置图像的ROI，从而具有可以减小探测网络140及驱动网络150的运算量的效果。如上所述经过用于减少运算量的流程后，探测网络140可以参照借助于照相机中至少一部分而获得的视频数据，生成自动驾驶用判断数据，或参照视频数据中至少一部分中设置的ROI，生成自动驾驶用判断数据。
探测网络140可以探测视频数据包含的图像上的客体，计算发挥自动驾驶用判断数据功能的所述客体的距离及/或位置后，以此为基础，决定自动驾驶车辆200将行进的至少一个路径。探测网络140可以生成这种自动驾驶用判断数据，本发明以用于高效资源分配所需的强化学习方法为其着眼点，因而省略对自动驾驶用判断数据具体生成方法的说明。
生成了自动驾驶用判断数据后，计算装置100可以使驱动网络150，参照自动驾驶用判断数据，使自动驾驶车辆200行驶，获得表示行驶中自动驾驶车辆200周边情况变化的至少一个情况数据，并参照情况数据，生成作为强化学习的结果的至少一个奖励。
驱动网络150可以根据自动驾驶用判断数据包括的、自动驾驶车辆200将行进的至少一个路径，使自动驾驶车辆200行驶。驱动网络150操纵自动驾驶车辆200的部分也一样，由于是不同于本发明着眼点的部分，因而省略对其具体说明。
自动驾驶车辆200可以在行驶的同时，获得表示其周边情况变化的情况数据。情况数据可以包括(i)关于距所述自动驾驶车辆既定距离内至少一个相邻的周边车辆的至少一个车辆的喇叭是否为使用中的信息、(ii)所述至少一个相邻的周边车辆的速度变化信息、(iii)所述自动驾驶车辆与所述相邻的周边车辆的至少一个事故信息中至少一部分。驱动网络150可以参照情况数据来生成奖励，奖励涉及到调整神经网络运算所使用的参数，因而意味着参照如上所述的信息来调整参数。
喇叭使用与否信息、速度变化信息及事故信息可以成为判断自动驾驶车辆200是否正在安全行驶的基准。这是因为，如果自动驾驶车辆200正在安全地行驶，则周边车辆不会操纵喇叭，不会降低速度，不会与自动驾驶车辆200碰撞。如果喇叭被操纵、速度降低、发生碰撞等事故，则驱动网络150降低奖励，从而使得自动驾驶车辆200更安全地行驶。下面将对此更具体说明。
计算装置100可以使注意力网络130，参照奖励来调整神经网络运算所使用的参数。注意力网络130根据奖励来决定参数的变化方向，作为一个示例，如果奖励低，则注意力网络130可以使用更多照相机的视频数据，将ROI设置得更宽，从而探测网络140针对更广阔范围的区域进行检查，可以更安全地行驶。作为又一示例，可以调整参数而使得注意力分值整体导出得较高。通过这种强化学习的算法执行方式，能够在高效使用照相机的同时安全地实现自动驾驶。
如上所述的本发明具有几个优点，但这种方式的学习过程需在实际道路行驶中实现，需与单纯输入准备好的训练图像的CNN普通学习过程相反地执行。即，在本发明的所述示例的情况下，如果未充分执行学习过程，则在实际道路行驶过程中，事故几率会非常高。因此，作为用于解决该问题的方案，本发明提出在虚拟空间(Virtual Space)中的学习。具体事项如下。
自动驾驶车辆200及距自动驾驶车辆200既定距离以内的至少一个周边车辆，可以编程使得存在于虚拟空间。此时，自动驾驶车辆200可以获得的注意力传感器数据、视频数据及情况数据，可以编程使得利用在虚拟空间中位于自动驾驶车辆200周边的虚拟客体间关系的相关信息而获得。就注意力传感器数据而言，由于可以容易地计算虚拟空间上的自动驾驶车辆200与其周边虚拟客体间的距离，因而可以与借助于雷达或激光雷达而生成的数据格式类似地生成注意力传感器数据，视频数据也一样，根据虚拟空间内部的视点而生成图像，从而可以使其与实际数据类似。情况数据也可以类似地生成，但为此需要对虚拟周边车辆追加逻辑，因而下面对此进行考查。
为了获得情况数据，虚拟周边车辆鸣响喇叭、减小速度的逻辑需已事先编程。具体而言，虚拟空间可以编程使得(i)如果检测到存在距所述自动驾驶车辆200既定距离以内的周边车辆在第一临界时间内与所述自动驾驶车辆碰撞的可能性，则所述虚拟空间中的至少一个所述周边车辆鸣响喇叭，(ii)如果检测到存在所述周边车辆在第二临界时间内与所述自动驾驶车辆200碰撞的可能性，则减小所述周边车辆的速度。其中，所述第一临界时间可以大于或等于所述第二临界时间，这是因为，鸣响喇叭往往是驾驶员讨厌减小自身速度才鸣响的。当然，这只是一个实施例，第一临界时间与第二临界时间的大小关系可以任意设置。
在如上所述体现了虚拟周边车辆的逻辑的情况下，也可以获得与真实世界(real-world)类似的情况数据。自动驾驶车辆200可以如上所述在虚拟空间体现，可以在其中行驶的过程中，调整神经网络运算所使用的参数，从而进行学习。如此体现学习过程，可以通过虚拟空间，体现与实际类似的空间，因而具有的优点是可以在虚拟空间上，针对各种情况，即，针对车辆多的拥堵情况、在拐弯多的路上行驶的情况、在丘陵曲折路上行驶的情况等，无事故地安全地进行学习。
以上说明的本发明的实施例可以体现为可通过多样计算机构成要素而执行的程序命令的形态，记录于计算机可读记录介质。所述计算机可读记录介质可以单独或组合包括程序命令、数据文件、数据结构等。所述计算机可读记录介质中记录的程序命令可以是为本发明而特别设计、构成的，或者也可以是计算机软件领域从业人员公知并可使用的。在计算机可读记录介质的示例中，包括诸如硬盘、软盘及磁带的磁介质，诸如CD-ROM(只读光盘驱动器)、DVD(数字化视频光盘)的光记录介质，诸如软式光盘(floptical disk)的磁-光介质(magneto-optical media)，及诸如只读存储器(ROM)、随机存储器(RAM)、快闪存储器等的为了存储及执行程序命令而特殊构成的硬件装置。在程序命令的示例中，不仅有借助于编译程序而制成的机器语言代码，还包括使用解释器等而能够借助于计算机运行的高级语言代码。所述硬件装置为了执行本发明的处理，可以构成为一个以上的软件模块而运转，反之亦然。
以上根据诸如具体构成要素等的特定事项和限定的实施例及附图，对本发明进行了说明，但这只是为了帮助更全面理解本发明而提供的，并非本发明限定于所述实施例，只要是本发明所属技术领域的技术人员，便可以从这种记载导出多样的修订及变形。
因此，本发明的思想不局限于所述说明的实施例而确定，后述权利要求书以及与该权利要求书等同地或等效地变形的所有内容均属于本发明的思想范畴。

Claims (18)

1.一种借助于强化学习而在自动驾驶时执行高效资源分配的方法，其特征在于，包括：
(a)步骤，计算装置获得至少一个注意力传感器数据后，使注意力网络参照所述注意力传感器数据，执行至少一个神经网络运算，从而计算一个以上的注意力分值；
(b)步骤，所述计算装置使探测网络参照所述注意力分值，借助于自动驾驶车辆上安装的一个以上照相机中至少一部分而获得至少一个视频数据，并参照所述视频数据，生成至少一个自动驾驶用判断数据；
(c)步骤，所述计算装置使驱动网络参照所述判断数据，使所述自动驾驶车辆行驶，获得表不行驶中的所述自动驾驶车辆周边情况变化的至少一个情况数据，并参照所述情况数据，生成至少一个奖励；
(d)步骤，所述计算装置使所述注意力网络参照所述奖励，调整所述神经网络运算中使用的一个以上参数的至少一部分。
2.根据权利要求1所述的方法，其特征在于，
在所述(a)步骤中，
所述神经网络运算包括供所述注意力传感器数据输入的至少一个卷积层、至少一个池化层、至少一个全连接FC层及输出所述注意力分值的至少一个柔性最大值传输函数SoftMax层的运算，对于所述自动驾驶车辆附近空间包括的各角度范围，均决定至少一个行驶危险等级。
3.根据权利要求1所述的方法，其特征在于，
在所述(b)步骤中，
所述计算装置使所述探测网络获得与具有第一临界值以上的所述注意力分值的特定角度范围对应的、所述自动驾驶车辆上安装的特定照相机的特定视频数据。
4.根据权利要求1所述的方法，其特征在于，
在所述(b)步骤中，
所述计算装置使所述探测网络使用至少一个区域被设置为至少一个关注区域ROI的所述视频数据，生成所述判断数据，且所述区域是与具有第一临界值以上的注意力分值的特定角度范围对应的区域。
5.根据权利要求1所述的方法，其特征在于，
在所述(c)步骤中，
所述情况数据包括(i)关于距所述自动驾驶车辆既定距离内至少一个相邻的周边车辆的至少一个车辆喇叭是否为使用中的信息、(ii)所述至少一个相邻的周边车辆的速度变化信息、(iii)所述自动驾驶车辆与所述相邻的周边车辆的至少一个事故信息中至少一部分。
6.根据权利要求1所述的方法，其特征在于，
在所述(a)步骤中，
所述注意力传感器数据使用雷达获得，或使用激光雷达获得，或使用两者获得，
在使用所述激光雷达或使用所述雷达及所述激光雷达两者而获得所述注意力传感器数据的情况下，所述计算装置使所述注意力网络参照所述注意力传感器数据所包含的三维坐标，生成至少一个稀疏深度图像，对所述稀疏深度图像应用至少一个平滑运算，生成至少一个高密度深度图像，并参照所述高密度深度图像，执行所述神经网络运算，从而计算所述注意力分值。
7.根据权利要求1所述的方法，其特征在于，
所述自动驾驶车辆在虚拟空间中体现，通过所述自动驾驶车辆在所述虚拟空间行驶的过程，调整所述参数的至少一部分。
8.根据权利要求7所述的方法，其特征在于，
参照在所述虚拟空间中位于距所述自动驾驶车辆既定距离以内的一个以上虚拟客体间关系的相关信息，对所述注意力传感器数据、所述视频数据、所述情况数据的变形进行编程，从而获得所述注意力传感器数据、所述视频数据、所述情况数据。
9.根据权利要求7所述的方法，其特征在于，
对所述虚拟空间进行编程，使得(i)使得如果检测到存在距所述自动驾驶车辆既定距离以内的周边车辆在第一临界时间内与所述自动驾驶车辆碰撞的可能性，则使所述虚拟空间中的至少一个所述周边车辆鸣响喇叭，(ii)如果检测到存在所述周边车辆在第二临界时间内与所述自动驾驶车辆碰撞的可能性，则减小所述周边车辆的速度；所述第一临界时间大于或等于所述第二临界时间。
10.一种借助于强化学习而在自动驾驶时执行高效资源分配的计算装置，其特征在于，包括：
存储指令的至少一个存储器；及
至少一个处理器，所述至少一个处理器构成为运行用于执行如下流程的所述指令：(I)使注意力网络参照至少一个注意力传感器数据，执行至少一个神经网络运算，从而计算一个以上的注意力分值；(II)使探测网络参照所述注意力分值，借助于自动驾驶车辆上安装的一个以上照相机中至少一部分而获得至少一个视频数据，并参照所述视频数据，生成至少一个自动驾驶用判断数据；(III)使驱动网络参照所述判断数据，使所述自动驾驶车辆行驶，获得表示行驶中的所述自动驾驶车辆周边情况变化的至少一个情况数据，并参照所述情况数据，生成至少一个奖励；(IV)使所述注意力网络参照所述奖励，调整所述神经网络运算所使用的一个以上的参数的至少一部分。
11.根据权利要求10所述的计算装置，其特征在于，
在所述(I)流程中，
所述神经网络运算包括供所述注意力传感器数据输入的至少一个卷积层、至少一个池化层、至少一个FC层及输出所述注意力分值的至少一个SoftMax层的运算，对于所述自动驾驶车辆附近空间包括的各角度范围，均决定至少一个行驶危险等级。
12.根据权利要求10所述的计算装置，其特征在于，
在所述(II)流程中，
所述处理器使所述探测网络获得与具有第一临界值以上的所述注意力分值的特定角度范围对应的、所述自动驾驶车辆上安装的特定照相机的特定视频数据。
13.根据权利要求10所述的计算装置，其特征在于，
在所述(II)流程中，
所述处理器使所述探测网络使用至少一个区域被设置为至少一个ROI的所述视频数据，生成所述判断数据，且所述区域是与具有第一临界值以上的注意力分值的特定角度范围对应的区域。
14.根据权利要求10所述的计算装置，其特征在于，
在所述(III)流程中，
所述情况数据包括(i)关于距所述自动驾驶车辆既定距离内至少一个相邻的周边车辆的至少一个车辆喇叭是否为使用中的信息、(ii)所述至少一个相邻的周边车辆的速度变化信息、(iii)所述自动驾驶车辆与所述相邻的周边车辆的至少一个事故信息中至少一部分。
15.根据权利要求10所述的计算装置，其特征在于，
在所述(I)流程中，
所述注意力传感器数据使用雷达获得，或使用激光雷达获得，或使用两者获得，
在使用所述激光雷达或使用所述雷达及所述激光雷达两者而获得所述注意力传感器数据的情况下，所述处理器使所述注意力网络参照所述注意力传感器数据所包含的三维坐标，生成至少一个稀疏深度图像，对所述稀疏深度图像应用至少一个平滑运算，生成至少一个高密度深度图像，并参照所述高密度深度图像，执行所述神经网络运算，从而计算所述注意力分值。
16.根据权利要求10所述的计算装置，其特征在于，
所述自动驾驶车辆在虚拟空间中体现，通过所述自动驾驶车辆在所述虚拟空间行驶的过程，调整所述参数的至少一部分。
17.根据权利要求16所述的计算装置，其特征在于，
参照在所述虚拟空间中位于距所述自动驾驶车辆既定距离以内的一个以上的虚拟客体间关系的相关信息，对所述注意力传感器数据、所述视频数据、所述情况数据的变形进行编程，从而获得所述注意力传感器数据、所述视频数据、所述情况数据。
18.根据权利要求16所述的计算装置，其特征在于，
对所述虚拟空间进行编程，使得(i)如果检测到存在距所述自动驾驶车辆既定距离以内的周边车辆在第一临界时间内与所述自动驾驶车辆碰撞的可能性，则使所述虚拟空间中的至少一个所述周边车辆鸣响喇叭，(ii)如果检测到存在所述周边车辆在第二临界时间内与所述自动驾驶车辆碰撞的可能性，则减小所述周边车辆的速度；所述第一临界时间大于或等于所述第二临界时间。
CN202010059382.0A 2019-01-31 2020-01-19 基于强化学习而在自动驾驶时优化资源分配的方法及装置 Active CN111507157B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/263,511 US10503174B1 (en) 2019-01-31 2019-01-31 Method and device for optimized resource allocation in autonomous driving on the basis of reinforcement learning using data from lidar, radar, and camera sensor
US16/263511 2019-01-31

Publications (2)

Publication Number Publication Date
CN111507157A true CN111507157A (zh) 2020-08-07
CN111507157B CN111507157B (zh) 2023-07-21

Family

ID=68766170

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010059382.0A Active CN111507157B (zh) 2019-01-31 2020-01-19 基于强化学习而在自动驾驶时优化资源分配的方法及装置

Country Status (5)

Country Link
US (1) US10503174B1 (zh)
EP (1) EP3690708A1 (zh)
JP (1) JP6982897B2 (zh)
KR (1) KR102277531B1 (zh)
CN (1) CN111507157B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112052776A (zh) * 2020-09-01 2020-12-08 中国人民解放军国防科技大学 无人车自主驾驶行为优化方法、装置和计算机设备

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11927668B2 (en) 2018-11-30 2024-03-12 Qualcomm Incorporated Radar deep learning
US10728461B1 (en) * 2019-01-31 2020-07-28 StradVision, Inc. Method for correcting misalignment of camera by selectively using information generated by itself and information generated by other entities and device using the same
US11276189B2 (en) * 2019-03-06 2022-03-15 Qualcomm Incorporated Radar-aided single image three-dimensional depth reconstruction
US11556000B1 (en) 2019-08-22 2023-01-17 Red Creamery Llc Distally-actuated scanning mirror
EP3851962A1 (en) * 2020-01-15 2021-07-21 Bayerische Motoren Werke Aktiengesellschaft Method, computer program and apparatus for assigning sensory resources of an autonomously operated system
CN111260937B (zh) * 2020-02-24 2021-09-14 武汉大学深圳研究院 一种基于强化学习的十字路口交通信号灯控制方法
WO2022011722A1 (zh) * 2020-07-17 2022-01-20 华为技术有限公司 数据处理方法、装置及智能车辆
EP4186696A4 (en) 2020-07-22 2024-01-24 Panasonic Intellectual Property Management Co., Ltd. COMPOSITE ELEMENT
US20230294729A1 (en) * 2020-08-18 2023-09-21 Foresight Automotive Ltd. Method and system for assessment of sensor performance
CN111882878B (zh) * 2020-09-02 2021-07-02 烟台大学 一种基于交通流预测的最大化关键道路通行能力的方法
US20230244931A1 (en) 2020-09-09 2023-08-03 Nippon Telegraph And Telephone Corporation Controlled target device selection apparatus, controlled target device selection method and program
CN112198506B (zh) * 2020-09-14 2022-11-04 桂林电子科技大学 一种超宽带穿墙雷达学习成像的方法、装置、系统和可读存储介质
CN112485781B (zh) * 2020-11-18 2022-10-28 济南和普威视光电技术有限公司 一种基于深度学习的反无人机无人值守系统及方法
CN112616131B (zh) * 2020-12-11 2022-05-13 北京邮电大学 一种基于视频内容优先级的车联网资源分配方法
KR102433577B1 (ko) 2020-12-18 2022-08-18 연세대학교 산학협력단 차량 네트워크의 자원 재할당 제어 방법 및 장치
US11884296B2 (en) 2020-12-21 2024-01-30 Qualcomm Incorporated Allocating processing resources to concurrently-executing neural networks
CN113253249B (zh) * 2021-04-19 2023-04-28 中国电子科技集团公司第二十九研究所 一种基于深度强化学习的mimo雷达功率分配设计方法
CN113435253B (zh) * 2021-05-31 2022-12-02 西安电子科技大学 一种多源影像联合城区地表覆盖分类方法
DE102021003567A1 (de) 2021-07-12 2021-08-26 Daimler Ag Verfahren zur Erkennung von Objektbeziehungen und Attributierungen aus Sensordaten
CN113867332B (zh) * 2021-08-18 2024-05-14 中国科学院自动化研究所 一种无人车自学习控制方法、装置、设备及可读存储介质
US11851068B2 (en) 2021-10-25 2023-12-26 Ford Global Technologies, Llc Enhanced target detection
KR20230071437A (ko) 2021-11-16 2023-05-23 에스케이하이닉스 주식회사 자율 주행 장치
CN114358128A (zh) * 2021-12-06 2022-04-15 深圳先进技术研究院 一种训练端到端的自动驾驶策略的方法
CN114919581B (zh) * 2022-05-11 2024-04-26 中南大学 智能车辆无序交叉路口的行为决策方法、计算机装置
KR102538104B1 (ko) * 2022-06-17 2023-05-31 한국건설기술연구원 라이다 검지형 도로 시설물
CN116343513B (zh) * 2023-03-07 2023-10-24 江苏纬信工程咨询有限公司 农村公路超视距风险点安全监测预警方法及其系统
CN116661465B (zh) * 2023-07-04 2023-10-31 无锡八英里电子科技有限公司 一种基于时序分析与多传感器融合的机器人自动行驶方法
CN116678506B (zh) * 2023-08-02 2023-10-10 国检测试控股集团南京国材检测有限公司 一种无线传输热损检测装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160087049A (ko) * 2015-01-12 2016-07-21 한국기술교육대학교 산학협력단 레이더센서가 구비된 차량용 블랙박스 및 그 제어 방법
CN108196535A (zh) * 2017-12-12 2018-06-22 清华大学苏州汽车研究院（吴江） 基于增强学习和多传感器融合的自动驾驶系统
US10019011B1 (en) * 2017-10-09 2018-07-10 Uber Technologies, Inc. Autonomous vehicles featuring machine-learned yield model
US10176596B1 (en) * 2017-07-06 2019-01-08 GM Global Technology Operations LLC Calibration verification methods for autonomous vehicle operations
US20190026918A1 (en) * 2016-02-22 2019-01-24 Hitachi Automotive Systems ,Ltd. Information Processing Apparatus

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4218670B2 (ja) * 2005-09-27 2009-02-04 オムロン株式会社 前方撮影装置
JP2011039864A (ja) * 2009-08-13 2011-02-24 Suzuki Motor Corp ドライブレコーダ装置
JP2015221648A (ja) * 2014-05-23 2015-12-10 三菱電機株式会社 サスペンション制御装置
KR102137213B1 (ko) * 2015-11-16 2020-08-13 삼성전자 주식회사 자율 주행을 위한 모델 학습 장치 및 방법과 자율 주행 장치
CN108431549B (zh) * 2016-01-05 2020-09-04 御眼视觉技术有限公司 具有施加的约束的经训练的系统
US9802599B2 (en) * 2016-03-08 2017-10-31 Ford Global Technologies, Llc Vehicle lane placement
US10061316B2 (en) * 2016-07-08 2018-08-28 Toyota Motor Engineering & Manufacturing North America, Inc. Control policy learning and vehicle control method based on reinforcement learning without active exploration
US10176388B1 (en) * 2016-11-14 2019-01-08 Zoox, Inc. Spatial and temporal information for semantic segmentation
KR20180094725A (ko) * 2017-02-16 2018-08-24 삼성전자주식회사 자율 주행을 위한 차량 제어 방법, 차량 제어 장치 및 자율 주행을 위한 학습 방법
JP6840363B2 (ja) * 2017-05-24 2021-03-10 日本電信電話株式会社 ネットワーク学習装置、行動決定装置、ネットワーク学習方法、及びプログラム
US11836611B2 (en) * 2017-07-25 2023-12-05 University Of Massachusetts Method for meta-level continual learning
US10816984B2 (en) * 2018-04-13 2020-10-27 Baidu Usa Llc Automatic data labelling for autonomous driving vehicles
WO2020241922A1 (ko) * 2019-05-29 2020-12-03 엘지전자 주식회사 차량 제어 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160087049A (ko) * 2015-01-12 2016-07-21 한국기술교육대학교 산학협력단 레이더센서가 구비된 차량용 블랙박스 및 그 제어 방법
US20190026918A1 (en) * 2016-02-22 2019-01-24 Hitachi Automotive Systems ,Ltd. Information Processing Apparatus
US10176596B1 (en) * 2017-07-06 2019-01-08 GM Global Technology Operations LLC Calibration verification methods for autonomous vehicle operations
US10019011B1 (en) * 2017-10-09 2018-07-10 Uber Technologies, Inc. Autonomous vehicles featuring machine-learned yield model
CN108196535A (zh) * 2017-12-12 2018-06-22 清华大学苏州汽车研究院（吴江） 基于增强学习和多传感器融合的自动驾驶系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112052776A (zh) * 2020-09-01 2020-12-08 中国人民解放军国防科技大学 无人车自主驾驶行为优化方法、装置和计算机设备

Also Published As

Publication number Publication date
JP6982897B2 (ja) 2021-12-17
KR20200096096A (ko) 2020-08-11
US10503174B1 (en) 2019-12-10
JP2020125102A (ja) 2020-08-20
EP3690708A1 (en) 2020-08-05
KR102277531B1 (ko) 2021-07-15
CN111507157B (zh) 2023-07-21

Similar Documents

Publication Publication Date Title
CN111507157B (zh) 基于强化学习而在自动驾驶时优化资源分配的方法及装置
KR102328732B1 (ko) 다양한 소스로부터 획득되는 정보의 퓨전을 통해 주변 객체의 모션을 예측함으로써, 사고 위험을 회피하여 안전한 자율 주행을 지원하는 학습 방법, 그리고 이를 이용한 학습 장치, 테스트 방법, 및 테스트 장치
CN113366486B (zh) 使用区域外上下文的对象分类
JP2022502306A (ja) レーダ空間推定
US10948907B2 (en) Self-driving mobile robots using human-robot interactions
WO2020247207A1 (en) Apparatus, methods and articles to facilitate motion planning in environments having dynamic obstacles
KR102396274B1 (ko) 강화 학습 및 v2x 통신을 사용하는 어텐션-드리븐 리소스 할당을 통해 자율 주행의 안전성을 제공하기 위한 방법 및 장치
EP3822852A2 (en) Method, apparatus, computer storage medium and program for training a trajectory planning model
JP2021089724A (ja) 構造的制約及び物理的制約を伴う３ｄ自動ラベル付け
CN114341950A (zh) 占据预测神经网络
CN115315709A (zh) 自主系统中用于行为预测的基于模型的增强学习及应用
JP6979228B2 (ja) Ｖ２ｖ通信によって取得された、他の自律走行車両の空間探知結果を自身の自律走行車両の空間探知結果と統合する学習方法及び学習装置、そしてこれを利用したテスト方法及びテスト装置｛ｌｅａｒｎｉｎｇ ｍｅｔｈｏｄ ａｎｄ ｌｅａｒｎｉｎｇ ｄｅｖｉｃｅ ｆｏｒ ｉｎｔｅｇｒａｔｉｎｇ ｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎ ｉｎｆｏｒｍａｔｉｏｎ ａｃｑｕｉｒｅｄ ｔｈｒｏｕｇｈ ｖ２ｖ ｃｏｍｍｕｎｉｃａｔｉｏｎ ｆｒｏｍ ｏｔｈｅｒ ａｕｔｏｎｏｍｏｕｓ ｖｅｈｉｃｌｅ ｗｉｔｈ ｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎ ｉｎｆｏｒｍａｔｉｏｎ ｇｅｎｅｒａｔｅｄ ｂｙ ｐｒｅｓｅｎｔ ａｕｔｏｎｏｍｏｕｓ ｖｅｈｉｃｌｅ， ａｎｄ ｔｅｓｔｉｎｇ ｍｅｔｈｏｄ ａｎｄ ｔｅｓｔｉｎｇ ｄｅｖｉｃｅ ｕｓｉｎｇ ｔｈｅ ｓａｍｅ｝
KR102321004B1 (ko) 온 디바이스 독립형 예측에 기반하여 자율 주행 차량의 모드를 전환함으로써 자율 주행의 안전성을 도모하는 학습 방법 및 학습 장치, 그리고 이를 이용한 테스팅 방법 및 테스팅 장치
RU2750243C2 (ru) Способ и система для формирования траектории для беспилотного автомобиля (sdc)
CN112298168B (zh) 一种车位检测方法及装置、自动泊车方法及装置
US20210394749A1 (en) Arithmetic operation device for vehicle
CN113984080B (zh) 一种适用于大型复杂场景下的分层局部路径规划方法
CN111505690A (zh) 实时检测应急车辆并规划行驶路径的方法及装置
KR102372687B1 (ko) 비최대값 억제를 학습하는 병합 네트워크를 이용한 이종 센서 융합을 위한 학습 방법 및 학습 장치
US20220309794A1 (en) Methods and electronic devices for detecting objects in surroundings of a self-driving car
US11899101B2 (en) Predicting the course of a road on the basis of radar data
CN116310743A (zh) 确定膨胀策略的方法、装置、移动装置及存储介质
WO2023158706A1 (en) End-to-end processing in automated driving systems
JP2021196632A (ja) 予測装置、予測方法、プログラムおよび車両制御システム
KR102613160B1 (ko) 3차원 시맨틱 세그멘테이션 방법 및 이를 실행하기위하여 기록매체에 기록된 컴퓨터 프로그램

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant