CN111507172A - 通过预测周围物体移动支持安全的自动驾驶的方法和装置 - Google Patents

通过预测周围物体移动支持安全的自动驾驶的方法和装置 Download PDF

Info

Publication number
CN111507172A
CN111507172A CN202010075597.1A CN202010075597A CN111507172A CN 111507172 A CN111507172 A CN 111507172A CN 202010075597 A CN202010075597 A CN 202010075597A CN 111507172 A CN111507172 A CN 111507172A
Authority
CN
China
Prior art keywords
test
learning
communication
feature map
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010075597.1A
Other languages
English (en)
Other versions
CN111507172B (zh
Inventor
金桂贤
金镕重
金鹤京
南云铉
夫硕焄
成明哲
申东洙
吕东勋
柳宇宙
李明春
李炯树
张泰雄
郑景中
诸泓模
赵浩辰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stradvision Inc
Original Assignee
Stradvision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stradvision Inc filed Critical Stradvision Inc
Publication of CN111507172A publication Critical patent/CN111507172A/zh
Application granted granted Critical
Publication of CN111507172B publication Critical patent/CN111507172B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • B60W30/16—Control of distance between vehicles, e.g. keeping a distance to preceding vehicle
    • B60W30/165—Automatically following the path of a preceding lead vehicle, e.g. "electronic tow-bar"
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B60W2050/0075—Automatic parameter input, automatic initialising or calibrating means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4046—Behavior, e.g. aggressive or erratic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/35—Data fusion
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Automation & Control Theory (AREA)
  • General Health & Medical Sciences (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Medical Informatics (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Databases & Information Systems (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Electromagnetism (AREA)
  • Train Traffic Observation, Control, And Security (AREA)

Abstract

本发明提供一种通过图像和通信获取的信息的融合来支持执行安全的自动驾驶的学习方法，其包括：步骤(a)，学习装置，使第一卷积网络和第二卷积网络，使用情况图像和情况通信信息，生成基于图像的特征图和基于通信的特征图；步骤(b)，所述学习装置，使第三卷积网络，对所述基于图像的特征图和所述基于通信的特征图应用第三卷积网络运算，生成集成特征图；步骤(c)，所述学习装置，使第四卷积网络，对所述集成特征图应用第四卷积网络运算，生成预测周围移动信息；以及步骤(d)，所述学习装置，使第一损失层，学习所述第一卷积网络至所述第四卷积网络的参数。

Description

通过预测周围物体移动支持安全的自动驾驶的方法和装置
技术领域
本发明涉及一种用于自动驾驶车辆的方法和装置；更具体地，涉及一种学习方法和利用其的学习装置以及测试方法和测试装置，其通过从各种来源(source)获取的信息的融合(fusion)来预测周围物体的移动，从而避免事故危险以支持执行安全的自动驾驶。
背景技术
近年来，汽车安全支持系统和自动驾驶系统快速发展，进而提出了作为智能汽车服务技术的协作驾驶技术。
以往的协作驾驶技术根据汽车之间的协作水平大致分为三种技术，一种是以单一车辆为中心的自动驾驶技术，另一种是护航(convoy)技术，又一种是列队驾驶(platooning)技术。
护航(convoy)技术是一种，通过保持车辆的移动方式和队形来执行的技术，其特征为驾驶员在没有前导车辆的情况下驾驶车辆。同样，列队驾驶(platooning)技术是一种，通过保持车辆的移动方式和队形来执行。然而，列队驾驶技术包括至少一个前导车辆和至少一个跟随车辆。其中，所述跟随车辆根据所述前导车辆的操作来控制，而无需驾驶员的控制。
即在列队驾驶期间，自动驾驶车辆可以借助于至少一个能够控制跟随车辆的方向盘、油门和制动器等的前导车辆来实现安全驾驶并保持车辆之间的距离。
列队驾驶具有很多优点。例如，车辆可以以较低的空气阻力提高燃料效率，从而减少废气排放。并且，许多车辆车辆可以遵守交通法规，从而可以提高道路管理的效率。
另一方面，自动驾驶车辆可以与道路上的其他自动驾驶车辆和/或非自动驾驶车辆一起行驶。即，自动驾驶车辆可根据道路状况、驾驶员状况等多种变数，将其模式更改为半自动驾驶模式、自动驾驶模式和手动驾驶模式。
因此，在传统的列队驾驶技术中具有如下问题，在自动驾驶车辆行驶的道路上发生交通事故的情况下，如果自动驾驶车辆不能做出适当地反应，则可能引起二次事故。
发明内容
本发明的目的在于解决所有上述问题。
本发明另一目的在于，使自动驾驶车辆，车辆列队驾驶(platooning)期间发生至少一个事故时能适当地作出反应。
并且本发明的又一目的在于，使所述自动驾驶车辆，避免具有高事故危险的一个以上的周围物体。
为了达到如上所述的本发明的目的，并且实现后述的本发明的特定效果的，本发明的特定结构如下。
根据本发明的一个方面，提供一种学习方法，其使用通过图像和通信获取的各信息的融合来预测一个以上的周围物体的一个以上的移动(motion)，从而避免事故危险以支持进行安全的自动驾驶，其特征在于，包括：步骤(a)，学习装置执行，当通过安装于目标车辆的至少一个相机获取至少一个情况图像时，使第一卷积网络，对所述情况图像应用至少一个第一卷积网络运算，生成与所述情况图像相对应的、至少一个基于图像的特征图的过程，以及当通过安装于所述目标车辆的至少一个通信模块获取情况通信信息时，使第二卷积网络，对所述情况通信信息应用至少一个第二卷积网络运算，生成与所述情况通信信息相对应的基于通信的特征图的过程；步骤(b)，所述学习装置，使第三卷积网络，对所述基于图像的特征图和所述基于通信的特征图应用至少一个第三卷积网络运算，生成集成特征图；
步骤(c)，所述学习装置，使第四卷积网络，对所述集成特征图应用至少一个第四卷积网络运算，生成预测周围移动信息，所述预测周围移动信息为特定时间范围内的所述周围物体的移动预测结果；以及步骤(d)，所述学习装置，使第一损失层，参考所述预测周围移动信息和与所述预测周围移动信息相对应的真值(Ground Truth，GT)周围移动信息，生成至少一个移动损失，并使用所述移动损失执行反向传播(back propagation)，从而学习所述第一卷积网络至所述第四卷积网络的参数中的至少一个。
一实施例中，在所述步骤(a)中，所述学习装置，(i)使包括在所述第二卷积网络中的至少一个第二全连接(Fully-Connected，FC)层，对所述情况通信信息应用至少一个第二FC运算，生成与每个基于通信的元数据矢量相对应的基于通信的元特征矢量，其中，所述情况通信信息包括对每个周围物体的基于通信的元数据，并将每个基于通信的元数据作为每个基于通信的元数据矢量，所述每个周围物体与所述目标车辆的距离小于阈值，(ii)使包括在所述第二卷积网络中的至少一个第二池化层，对所述基于通信的元特征矢量应用至少一个第二池化运算，生成所述基于通信的特征图。
一实施例中，在所述步骤(c)中，所述学习装置，使所述第四卷积网络，对(i)与通过所述相机和所述通信模块而获取的全局信息相对应的所述集成特征图；以及(ii)包括一个以上的基于通信的元特征矢量的元特征图；应用所述第四卷积网络运算，生成所述预测周围移动信息，其中，所述元特征图与每个所述周围物体的局部信息相对应，所述一个以上的基于通信的元特征矢量用于生成所述基于通信的特征图的过程。
一实施例中，在所述步骤(c)中，所述学习装置，参考与通过所述相机而获取的所述周围物体的基于图像的元数据相对应的一个以上的基于图像的元特征矢量和所述基于通信的元特征矢量，生成所述元特征图。
一实施例中，在所述步骤(b)中，所述学习装置，对所述基于通信的特征图和所述基于图像的特征图，进行信道下级联(channel-wise concatenating)，生成临时特征图，使以循环神经网络的方式实现的所述第三卷积网络，使用与提前输入于所述第三卷积网络的信息对应的状态矢量，对所述临时特征图应用所述第三卷积网络运算，从而生成所述集成特征图。
一实施例中，所述第三卷积网络，被实现为作为所述循环神经网络的一种的长短期记忆(Long-Short Term Memory，LSTM)网络。
一实施例中，所述学习装置，使所述第一损失层，参考(i)当所述情况图像和所述情况通信信息对应于规定的第T时间点时，参考在作为所述第T时间点之后的时间点的第(T+1)时间点处的所述周围物体的位置信息和速度信息而获取的所述GT周围移动信息；以及(ii)所述预测周围移动信息；生成所述移动损失。
一实施例中，还包括：步骤(e)，所述学习装置，在完成所述第一卷积网络至所述第四卷积网络的学习的状态下，使第五卷积网络，对已完成学习的所述第四卷积网络输出的预测周围移动信息应用至少一个第五卷积网络运算，生成包括事故发生概率信息的预测危险信息，所述事故发生概率在所述特定时间范围内与所述目标车辆的关联度为阈值以上；以及
步骤(f)，所述学习装置，使第二损失层，参考所述预测危险信息和与所述预测危险信息对应的GT危险信息生成至少一个危险损失，使用所述危险损失执行反向传播，从而学习所述第五卷积网络的参数中的至少一个。
一实施例中，提供一种在所述步骤(a)中，所述学习装置，使包括在所述第一卷积网络的第一卷积层对所述情况图像应用至少一个第一卷积运算，生成至少一个第一特征图，使包括在所述第一卷积网络的第一池化层对所述第一特征图应用至少一个第一池化运算生成至少一个第一已池化特征图，并且使包括在所述第一卷积网络的第一FC层对所述第一已池化特征图应用至少一个第一FC运算生成所述基于图像的特征图。
根据本发明的另一个方面，提供一种测试方法，其使用通过图像和通信获取的各信息的融合，预测一个以上的测试用周围物体的一个以上的移动，从而避免事故危险以支持执行安全的自动驾驶，其特征在于，包括：步骤(a)，(1)学习装置执行，当通过安装于学习用目标车辆的至少一个学习用相机获取至少一个学习用情况图像时，使第一卷积网络，对所述学习用情况图像应用至少一个第一卷积网络运算，生成与所述学习用情况图像相对应的至少一个学习用基于图像的特征图的过程，以及当通过安装于所述学习用目标车辆的至少一个学习用通信模块，获取学习用情况通信信息时，使第二卷积网络，对所述学习用情况通信信息应用至少一个第二卷积网络运算，生成与对所述学习用情况通信信息相对应的学习用基于通信的特征图的过程，(2)所述学习装置，使第三卷积网络，对所述学习用基于图像的特征图和所述学习用基于通信的特征图应用至少一个第三卷积网络运算，生成学习用集成特征图，(3)所述学习装置，使第四卷积网络，对所述学习用集成特征图应用至少一个第四卷积网络运算，生成作为特定时间范围内的学习用周围物体的移动预测结果的学习用预测周围移动信息，(4)所述学习装置执行，使第一损失层，参考所述学习用预测周围移动信息和与所述学习用预测周围移动信息相对应的GT周围移动信息，生成至少一个移动损失，并使用所述移动损失执行反向传播，从而在学习所述第一卷积网络至所述第四卷积网络的参数中的至少一个的状态下，测试装置，通过安装于测试用目标车辆的至少一个测试用相机，获取至少一个测试用情况图像时，使所述第一卷积网络，对所述测试用情况图像应用所述第一卷积网络运算，生成与所述测试用情况图像相对应的至少一个测试用基于图像的特征图的过程，以及当通过安装于所述测试用目标车辆的至少一个测试用通信模块，获取测试用情况通信信息时，使所述第二卷积网络，对所述测试用情况通信信息应用所述第二卷积网络运算，生成与所述测试用情况通信信息相对应的至少一个测试用基于通信的特征图的过程；步骤(b)，所述测试装置，使所述第三卷积网络，对所述测试用基于图像的特征图和所述测试用基于通信的特征图应用所述第三卷积网络运算，生成测试用集成特征图；以及步骤(c)，所述测试装置，使所述第四卷积网络，对所述测试用集成特征图应用所述第四卷积网络运算，生成作为所述特定时间范围内的所述测试用周围物体的移动预测结果的测试用预测周围移动信息。
一实施例中，还包括：步骤(d)，所述测试装置，使用所述第一卷积网络至所述第四卷积网络，使已完成学习的第五卷积网络，对所述测试用预测周围移动信息应用至少一个第五卷积网络运算，生成包括关于事故发生概率的信息的测试用预测危险信息，所述事故发生概率在所述特定时间范围内与所述测试用目标车辆的关联度为阈值以上。
一实施例中，还包括：步骤(e)，所述测试装置，当所述测试用目标车辆通过列队驾驶(platooning)执行所述自动驾驶时，参考所述测试用预测危险信息调整列队驾驶参数。
一实施例中，所述测试装置，当检测到与所述测试用目标车辆的所述关联度为所述阈值以上的特定事故实际发生时，与所述测试用周围物体共享关于所述特定事故的信息，使所述测试用目标车辆，参考驾驶策略以支持执行所述自动驾驶，所述驾驶策略用于避免所述特定事故可导致的危险情况。
一实施例中，在所述步骤(c)中，所述测试装置，使所述第四卷积网络，对(i)与通过所述测试用相机和所述测试用通信模块获取的测试用全局信息相对应的所述测试用集成特征图，以及(ii)包括一个以上的测试用基于通信的元特征矢量的测试用元特征图，应用所述第四卷积网络运算生成所述测试用预测周围移动信息，所述元特征图与关于每个所述测试用周围物体的测试用局部信息相对应，所述一个以上的测试用基于通信的元特征矢量用于生成所述测试用基于通信的特征图的过程。
一实施例中，在所述步骤(c)中，所述测试装置，参考与关于通过所述测试用相机获取的所述测试用周围物体的测试用基于图像的元数据相对应的一个以上的测试用基于图像的元特征矢量和所述测试用基于通信的元特征矢量，生成所述测试用元特征图。
根据本发明的另一个方面，一种学习装置，其使用通过图像和通信获取的各信息的融合预测一个以上的周围物体的一个以上的移动(motion)，从而避免事故危险以支持执行安全的自动驾驶，其特征在于，包括：至少一个存储器，存储一个以上的指令；以及至少一个处理器，被配置执行所述指令，所述指令用于执行以下过程(I)、(II)、(III)以及(IV)，其中，过程(I)，当通过安装于目标车辆的至少一个相机获取至少一个情况图像时，使第一卷积网络，对所述情况图像应用至少一个第一卷积网络运算，生成与所述情况图像相对应的、至少一个基于图像的特征图，当通过安装于所述目标车辆的至少一个通信模块获取情况通信信息时，使第二卷积网络，对所述情况通信信息应用至少一个第二卷积网络运算，生成与所述情况通信信息相对应的基于通信的特征图，过程(II)，使第三卷积网络，对所述基于图像的特征图和所述基于通信的特征图应用至少一个第三卷积网络运算，生成集成特征图，过程(III)，使第四卷积网络，对所述集成特征图应用至少一个第四卷积网络运算，生成预测周围移动信息，所述预测周围移动信息为特定时间范围内的所述周围物体的移动预测结果，以及过程(IV)，使第一损失层，参考所述预测周围移动信息和与所述预测周围移动信息相对应的真值(Ground Truth，GT)周围移动信息，生成至少一个移动损失，并使用所述移动损失执行反向传播(back propagation)，从而学习所述第一卷积网络至所述第四卷积网络的参数中的至少一个。
一实施例中，在所述过程(I)中，所述处理器，(i)使包括在所述第二卷积网络中的至少一个第二全连接(Fully-Connected，FC)层，对所述情况通信信息应用至少一个第二FC运算，生成与每个基于通信的元数据矢量相对应的基于通信的元特征矢量，其中，所述情况通信信息包括对每个周围物体的基于通信的元数据，并将每个基于通信的元数据作为每个基于通信的元数据矢量，所述每个周围物体与所述目标车辆的距离小于阈值，(ii)使包括在所述第二卷积网络中的至少一个第二池化层，对所述基于通信的元特征矢量应用至少一个第二池化运算，生成所述基于通信的特征图。
一实施例中，在所述过程(III)中，所述处理器，使所述第四卷积网络，对(i)与通过所述相机和所述通信模块而获取的全局信息相对应的所述集成特征图；以及(ii)对包括一个以上的基于通信的元特征矢量的元特征图；应用所述第四卷积网络运算，生成所述预测周围移动信息，其中，所述元特征图与每个所述周围物体的局部信息相对应，所述一个以上的基于通信的元特征矢量用于生成所述基于通信的特征图的过程。
一实施例中，在所述过程(III)中，所述处理器，参考与通过所述相机而获取的所述周围物体的基于图像的元数据相对应的一个以上的基于图像的元特征矢量和所述基于通信的元特征矢量，生成所述元特征图。
一实施例中，在所述过程(II)中，所述处理器，对所述基于通信的特征图和所述基于图像的特征图，进行信道下级联(channel-wise concatenating)，生成临时特征图，使以循环神经网络的方式实现的所述第三卷积网络，使用与提前输入于所述第三卷积网络的信息对应的状态矢量，对所述临时特征图应用所述第三卷积网络运算，从而生成所述集成特征图。
一实施例中，所述第三卷积网络，被实现为作为所述循环神经网络的一种的长短期记忆(Long-Short Term Memory，LSTM)网络。
一实施例中，所述处理器，使所述第一损失层，参考(i)当所述情况图像和所述情况通信信息对应于规定的第T时间点时，参考在作为所述第T时间点之后的时间点的第(T+1)时间点处的所述周围物体的位置信息和速度信息而获取的所述GT周围移动信息；以及(ii)所述预测周围移动信息；生成所述移动损失。
一实施例中，所述处理器还执行，过程(V)，在完成所述第一卷积网络至所述第四卷积网络的学习的状态下，使第五卷积网络，对已完成学习的所述第四卷积网络输出的预测周围移动信息应用至少一个第五卷积网络运算，生成包括事故发生概率信息的预测危险信息，所述事故发生概率在所述特定时间范围内与所述目标车辆的关联度为阈值以上，以及过程(VI)，使第二损失层，参考所述预测危险信息和与所述预测危险信息对应的GT危险信息生成至少一个危险损失，使用所述危险损失执行反向传播，从而学习所述第五卷积网络的参数中的至少一个。
一实施例中，在所述过程(I)中，所述处理器，使包括在所述第一卷积网络的第一卷积层对所述情况图像应用至少一个第一卷积运算，生成至少一个第一特征图，使包括在所述第一卷积网络的第一池化层对所述第一特征图应用至少一个第一池化运算生成至少一个第一已池化特征图，并且使包括在所述第一卷积网络的第一FC层对所述第一已池化特征图应用至少一个第一FC运算生成所述基于图像的特征图。
根据本发明的另一个方面，提供一种测试装置，其使用通过图像和通信获取的各信息的融合，预测一个以上的测试用周围物体的一个以上的移动，从而避免事故危险以支持执行安全的自动驾驶，其特征在于，包括：至少一个存储器，存储一个以上的指令；以及至少一个处理器，被配置执行所述指令，所述指令用于执行以下过程(I)、(II)以及(III)，其中，过程(I)，(1)学习装置执行，当通过安装于学习用目标车辆的至少一个学习用相机获取至少一个学习用情况图像时，使第一卷积网络，对所述学习用情况图像应用至少一个第一卷积网络运算，生成与所述学习用情况图像相对应的至少一个学习用基于图像的特征图的过程，以及当通过安装于所述学习用目标车辆的至少一个学习用通信模块，获取学习用情况通信信息时，使第二卷积网络，对所述学习用情况通信信息应用至少一个第二卷积网络运算，生成与对所述学习用情况通信信息相对应的学习用基于通信的特征图的过程，(2)所述学习装置，使第三卷积网络，对所述学习用基于图像的特征图和所述学习用基于通信的特征图应用至少一个第三卷积网络运算，生成学习用集成特征图，(3)所述学习装置，使第四卷积网络，对所述学习用集成特征图应用至少一个第四卷积网络运算，生成作为特定时间范围内的学习用周围物体的移动预测结果的学习用预测周围移动信息，(4)所述学习装置，使第一损失层，参考所述学习用预测周围移动信息和与所述学习用预测周围移动信息相对应的GT周围移动信息，生成至少一个移动损失，并使用所述移动损失执行反向传播，从而在学习所述第一卷积网络至所述第四卷积网络的参数中的至少一个的状态下，通过安装于测试用目标车辆的至少一个测试用相机，获取至少一个测试用情况图像时，使所述第一卷积网络，对所述测试用情况图像应用所述第一卷积网络运算，与所述测试用情况图像相对应的至少一个测试用基于图像的特征图，当通过安装于所述测试用目标车辆的至少一个测试用通信模块，获取测试用情况通信信息时，使所述第二卷积网络，对所述测试用情况通信信息应用所述第二卷积网络运算，生成与所述测试用情况通信信息相对应的至少一个测试用基于通信的特征图，过程(II)，使所述第三卷积网络，对所述测试用基于图像的特征图和所述测试用基于通信的特征图应用所述第三卷积网络运算，生成测试用集成特征图，以及过程(III)，使所述第四卷积网络，对所述测试用集成特征图应用所述第四卷积网络运算，生成作为所述特定时间范围内的所述测试用周围物体的移动预测结果的测试用预测周围移动信息。
一实施例中，所述处理器还执行，过程(IV)，使用所述第一卷积网络至所述第四卷积网络，使已完成学习的第五卷积网络，对所述测试用预测周围移动信息应用至少一个第五卷积网络运算，生成包括关于事故发生概率的信息的测试用预测危险信息，所述事故发生概率在所述特定时间范围内与所述测试用目标车辆的关联度为阈值以上。
一实施例中，所述处理器还执行，过程(V)，当所述测试用目标车辆通过列队驾驶(platooning)执行所述自动驾驶时，参考所述测试用预测危险信息调整列队驾驶参数。
一实施例中，所述处理器，当检测到与所述测试用目标车辆的所述关联度为所述阈值以上的特定事故实际发生时，与所述测试用周围物体共享关于所述特定事故的信息，使所述测试用目标车辆，参考驾驶策略以支持执行所述自动驾驶，所述驾驶策略用于避免所述特定事故可导致的危险情况。
一实施例中，在所述过程(III)中，所述处理器，使所述第四卷积网络，对(i)与通过所述测试用相机和所述测试用通信模块获取的测试用全局信息相对应的所述测试用集成特征图，以及(ii)包括一个以上的测试用基于通信的元特征矢量的测试用元特征图，应用所述第四卷积网络运算生成所述测试用预测周围移动信息，所述元特征图与关于每个所述测试用周围物体的测试用局部信息相对应，所述一个以上的测试用基于通信的元特征矢量用于生成所述测试用基于通信的特征图的过程。
一实施例中，在所述过程(III)中，所述处理器，参考与关于通过所述测试用相机获取的所述测试用周围物体的测试用基于图像的元数据相对应的一个以上的测试用基于图像的元特征矢量和所述测试用基于通信的元特征矢量，生成所述测试用元特征图。
另外，还提供了一种用于存储计算机程序的计算机可读介质，所述计算机程序用于执行本发明的方法。
根据本发明，具有使自动驾驶车辆，车辆列队驾驶(platooning)期间发生至少一个事故时能做出适当地反应的效果。
并且，具有根据本发明，使所述自动驾驶车辆，避免具有高事故危险的一个以上的周围物体的效果。
附图说明
通过结合以下附图给出的优选实施例，可以明确理解本发明的上述和其他目的和特征。
以下用于描述本发明的实施例的附图仅是本发明的实施例中的一部分，并且本领域技术人员(下面称”普通技术人员”)无需进行创造性劳动即可基于这些附图获得其他附图。
图1为示意性示出根据本发明一实施例的用于执行学习方法的学习装置的配置，该学习方法通过从各种来源(source)获取的信息的融合(fushion)来预测周围物体的移动，从而避免事故危险以支持执行安全的自动驾驶的图。
图2a和图2b为示意性示出根据本发明一实施例的通过从所述各种来源获取的信息的融合预测所述周围物体的所述移动，从而避免所述事故危险以支持执行所述安全的自动驾驶的所述学习方法的流程图。
图3示意性示出了根据本发明一实施例的关于如何生成集成特征图的一例的图，其中，所述集成特征图用于执行通过从所述各种来源获取的信息的融合预测所述周围物体的所述移动，从而避免所述事故危险以支持执行所述安全的自动驾驶的所述学习方法。
图4为示意性示出了根据本发明一实施例的关于如何学习第一卷积网络至第五卷积网络的一例的图，其中，所述第一卷积网络至第五卷积网络用于执行通过从所述各种来源获取的信息的融合预测所述周围物体的所述移动，从而避免所述事故危险以支持执行所述安全的自动驾驶的所述学习方法。
图5为示意性示出根据本发明一实施例的通过从所述各种来源获取的信息的融合预测所述周围物体的所述移动，从而避免所述事故危险以支持执行所述安全的自动驾驶的测试方法的流程图。
具体实施方式
对于后述的本发明的详细描述，为使本发明的目的、技术方案、以及优点清楚，可以将实施本发明的特定实施例作为示例而参考示出的附图。对于这些实施例，以使本领域技术人员能够充分实施本发明的方式进行了说明。
另外，在本发明的详细描述以及权利要求中，术语“包括”及其变形并不意旨在排除其他技术特征、添加物、元件或步骤。对于本领域普通技术人员来说，本发明的其他目的、优点以及特征中一部分从本说明书中、一部分从本发明的实施中揭示。以下示例和附图将作为示例提供，但并不意旨限制本发明。
尤其，本发明涵盖了本说明书中指示的实施例的所有可能的组合。应理解，本发明的各种实施例尽管不同，但不一定是相互排斥的。例如，在不脱离与一实施例有关的本发明的精神和范围的情况下，可在其他实施例中实现本文中所记载的特定形状、配置或特性。并且，应理解，在不脱离本发明的精神和范围的情况下，可以修改每个公开的实施例内的各个元件的位置和配置。因此，以下详细描述不应被理解为限制性的，并且本发明的范围在适当地解释的情况下，仅由所附权利要求以及权利要求所赋予的等同物的全部范围来限定。附图中相似的附图标记是指经过多方面考虑后具有相同或相似的功能。
本发明所涉及的各种图像可包括铺设或未铺设的道路有关的图像，在这种情况下，可以假设可能会出现在道路环境中的物体(例如，汽车、人、动物、植物、物体、建筑物、诸如飞机或无人机的飞行器、其他障碍物)，但不限于此，本发明中涉及的各种图像可以是与道路无关的图像(例如，土路、小巷、空地、海、湖泊、河流、山脉、森林、沙漠、天空、室内)，在这种情况下，可以推断土路、小巷、空地、海、湖泊、河流、山脉、森林、沙漠、天空、室内环境中可能出现的物体(例如，汽车、人、动物、植物、物体、建筑物、诸如飞机或无人机的飞行器、其他障碍物等)，但不限于此。
以下，为便于本发明所属的技术领域的普通技术人员实施本发明，将参考附图详细描述本发明的优选实施例。
图1为示出根据本发明一实施例的用于执行学习方法的学习装置的配置，该学习方法通过从各种来源(source)获取的信息的融合来预测周围物体的移动，从而避免事故危险以支持执行安全的自动驾驶的图。
参考图1，所述学习装置100可以包括，第一卷积网络130至第五卷积网络170和第一损失层180至第二损失层190，这些元件将在以下内容中说明。所述第一卷积网络130至所述第五卷积网络170和所述第一损失层180至所述第二损失层190的输入/输出和运算过程可以分别由至少一个通信部110和至少一个处理器120实现。然而，在图1中，省略了所述通信部110和所述处理器120的具体连接关系。此时，存储器115可以是已经存储了后述的各种指令的状态，所述处理器120，可以执行存储在所述存储器115的所述指令，并且可以通过执行将要说明的所述指令，来执行本发明的过程。像这样，即使描述了所述学习装置100，但是所述学习装置100并不排除包括用于实施本发明的集成了处理器、存储器、介质(medium)或其他计算要素的形式的集成处理器的情况。
其中，所述第一损失层180与所述第二损失层190可以是相同的个体，但是为了便于说明，以下将两者区分开。
以上，描述了根据本发明一实施例的所述学习装置100的所述配置，以下，将更详细描述所述学习方法。为了描述所述学习方法的流程，参考图2a和图2b。
图2a和图2b为示意性示出根据本发明一实施例的通过从所述各种来源获取的信息的融合预测所述周围物体的所述移动，从而避免所述事故危险以支持执行所述安全的自动驾驶的所述学习方法的流程图。
参考图2a，所述学习装置100，使所述第一卷积网络130，对至少一个情况图像应用至少一个第一卷积网络运算，生成与所述情况图像相对应的，至少一个基于图像的特征图的过程(S01-1)。并且，所述学习装置100，使所述第二卷积网络140，对情况通信信息应用至少一个第二卷积网络运算，生成与所述情况通信信息相对应的至少一个基于通信的特征图(S01-2)。
此后，所述学习装置100，使所述第三卷积网络150，对所述基于图像的特征图和所述基于通信的特征图应用至少一个第三卷积网络运算，生成集成特征图(S02)。并且，所述学习装置100，使所述第四卷积网络160，对所述集成特征图应用至少一个第四卷积网络运算，生成预测周围移动信息(S03)。其中，所述预测周围移动信息可以是，预测特定时间范围内的所述周围物体的移动的结果。然后，所述学习装置100，使所述第一损失层180，参考所述预测周围移动信息和与所述预测周围移动信息相对应的真值(Ground Truth，GT)周围移动信息，生成至少一个移动损失，并使用所述移动损失执行反向传播(back propagation)，从而能够学习所述第一卷积网络130至所述第四卷积网络160的参数中的至少一个(S04)。图2a的末端和图2b的前端的“A”仅是用于示出，图2a的过程与图2b的过程是连续的单纯性标记，而不是特定的过程。
在通过重复图2a的所述步骤S01至所述步骤S04，来学习所述第一卷积网络130至所述第四卷积网络160的参数中至少一个之后，参考图2b，作为附加过程，所述学习装置100，可以使所述第五卷积网络170，对从已完成学习的所述第四卷积网络160输出的所述预测周围移动信息应用至少一个第五卷积网络运算，生成预测危险信息(S05)。此后，所述学习装置100，使所述第二损失层190，参考所述预测危险信息和与所述预测危险信息对应的GT危险信息生成至少一个危险损失，使用所述危险损失执行反向传播，从而可以学习所述第五卷积网络170的参数中的至少一个(S06)。
以上，示意性描述了本发明的所述学习方法的流程，下面将对其进行更加详细描述。
首先，所述学习装置100，可以通过所述安装于目标车辆的至少一个相机获取所述至少一个情况图像，并通过安装于所述目标车辆的至少一个通信模块获取所述情况通信信息。其中，所述情况图像可以是，利用所述相机来拍摄所述目标车辆的周围的结果，所述情况通信信息可以是，包括所述周围物体的元数据的，从所述周围物体发送的信息。其中，所述周围物体，通过V2X(vehicle-to-everything)通信，与所述目标车辆连接，其与所述目标车辆的距离小于第一阈值。
像这样，当获取所述情况图像和所述情况通信信息时，所述学习装置100，可以使所述第一卷积网络130和第二卷积网络140，对所述情况图像和所述情况通信信息分别进行处理，生成所述基于图像的特征图和，所述基于通信的特征图。
在所述第一卷积网络130的情况下，可以包括至少一个第一卷积层、至少一个第一池化层以及至少一个第一全连接(Fully-Connected，FC)层。即所述学习装置100，可以使所述第一卷积层对所述情况图像应用至少一个第一卷积运算，生成至少一个第一特征图，使所述第一池化层对所述第一特征图应用至少一个第一池化运算生成至少一个第一已池化特征图，使所述第一FC层对所述第一已池化特征图应用至少一个第一FC运算生成所述基于图像的特征图。如上所述的所述第一卷积网络130的配置不是必须的，并且可以将任何配置都能用于所述第一卷积网络130，只要可以从输入给自身的图像中提取特征图即可。
相反，所述第二卷积网络140可以包括至少一个第二FC层和至少一个第二池化层。即所述学习装置100，使第二FC层，对情况通信信息应用至少一个第二FC运算，生成对应于每个所述基于通信的元数据矢量的基于通信的元数据特征矢量，其中所述情况通信信息包括基于通信的元数据作为每个基于通信的元数据矢量，所述元数据为对距所述目标车辆第一阈值以下的每个所述周围物体的数据。此后，所述学习装置100，使所述第二池化层，对所述基于通信的元特征矢量应用至少一个第二池化运算，生成所述基于通信的特征图。
其中，当将对所述目标车辆的周围全部场景的一般信息称为“全局信息”，将对每个包括在所述周围全部场景中的所述周围物体的细分的信息称为“局部信息”时，所述基于图像的特征图和所述基于通信的特征图，可以视为包括所述全局信息。这是因为，所述基于图像的特征图是，通过对包括所述周围全部场景的所述情况图像进行处理而生成的，并且所述基于通信的特征图是，通过对每个所述周围物体的所述基于通信的元数据矢量进行池化来生成的。与此相比，前述的基于通信的元数据矢量可以视为，包括所述局部信息。下面会描述，如上所述的两种信息，即通过一同使用所述全局信息与所述局部信息，使所述目标车辆，可以支持预测其周围的移动。然而，也可以使用仅使用所述全局信息的实施例。下面通过集成，(i)包括通过所述V2X通信来获取的所述全局信息中的一部分的所述基于通信的特征图，与(ii)包括通过所述相机而获取的所述全局信息中的另一部分的所述基于图像的特征图，说明生成反映更加丰富的全局信息的所述集成特征图的方法。
即所述学习装置100，可以使所述第三卷积网络150，对所述基于图像的特征图和所述基于通信的特征图应用所述第三卷积网络运算，生成所述集成特征图。其中，所述第三卷积网络150能够以循环神经网络(Recurrent Neural Network，RNN)的形式实现。进一步，所述第三卷积网络可能会以，作为所述循环神经网络的一种的长短期记忆(Long-ShortTerm Memory，LSTM)网络的形式实现。参考图3来更加详细描述如何生成所述集成特征图。
图3示意性示出了根据本发明一实施例的关于如何生成集成特征图的一例的图，其中，所述集成特征图用于执行通过从所述各种来源获取的信息的融合预测所述周围物体的所述移动，从而避免所述事故危险以支持执行所述安全的自动驾驶的所述学习方法。
参考图3，所述学习装置100，对大小为1×M2的所述基于图像的特征图和大小为1×M2的所述基于通信的特征图，进行信道下级联(channel-wise concatenating)，生成临时特征图，使以所述LSTM网络来实现的所述第三卷积网络150，使用与提前输入到所述第三卷积网络150的信息相对应的状态矢量，对所述临时特征图应用所述第三卷积网络运算，从而可以生成所述集成特征图。在图3中，用实现表示的一部分表示，在当前时间点，即第T时间点生成的，基于图像的特征图、基于通信的特征图、临时特征图和集成特征图，用虚线表示的其余部分表示，在之前的时间点，即第(T-2)时间点和第(T-1)时间点生成的，基于图像的特征图、基于通信的特征图、临时特征图以及集成特征图。所述第三卷积网络150，处理在每个时间点输入的临时特征图，生成所述集成特征图，同时更新所述状态矢量。像这样，在过去的所述第(T-2)时间点和所述第(T-1)时间点更新的所述状态矢量，在处理在当前所述第T时间点的临时特征图的过程中使用，可以视为过去的信息反映在生成所述集成特征图的过程中。使用所述状态矢量的这种用法对于本领域技术人员是公知的，因此将省略对其的详细描述。
在图3中，示出从所述第二卷积网络140输出的，大小为N×M2的输出矩阵。在生成所述基于图像的特征图的过程中，所述输出矩阵包括，包括在后述的大小为N×M1的输入矩阵的、与所述情况通信信息相对应的N个基于图像的元特征矢量。以下会说明基于图像的元特征矢量。
当生成所述集成特征图，所述学习装置100，可以使所述第四卷积网络160，对与通过所述相机和所述通信模块而获取的全局信息相对应的所述集成特征图，应用所述第四卷积网络运算，生成所述预测周围移动信息。所述第四卷积网络可以包括卷积层、池化层以及FC层中的至少一个，所述第四卷积网络运算可以是，使用这些层中的至少一个的运算。
下面，与仅使用所述全局信息的上述实施例不同，将描述一同使用所述全局信息和所述局部信息的其他实施例。
即所述学习装置100，使所述第四卷积网络160，对(i)与通过所述相机和所述通信模块而获取的所述全局信息相对应的所述集成特征图，以及(ii)可以对包括将与关于每个所述周围物体的所述局部信息相对应的，在生成所述基于通信的特征图的过程中使用的一个以上的基于通信的元特征矢量作为列(column)矢量的元特征图，应用所述第四卷积网络运算，生成所述预测周围移动信息。具体地，可以是(i)收集所述基于通信的元特征矢量(ii)使用所述被收集的基于通信的元特征矢量来生成一个矩阵，从而生成所述元特征图的状态。在这种实施例的情况下，可以视为，在所述元特征图中仅反映了通过所述V2X通信来获取的所述局部信息的一部分。
与上述实施例不同，与所述局部信息的所述一部分一起，从所述相机获取的所述局部信息的另外一部分，也可以存在在所述元特征图中反映的其他实施例。即所述学习装置100，对所述情况图像物体应用检测运算，从而生成对所述周围物体的基于图像的元数据，并且可以通过进一步使用通过处理其来生成的所述一个以上的基于图像的元特征矢量，来生成元特征图。作为一例，所述基于图像的元特征矢量可以包括，每个所述基于图像的元数据作为元件。或者，可以通过处理包括每个所述周围物体的每个单独图像而不是所述情况图像来生成所述基于图像的元特征矢量，可以所述基于图像的元特征矢量可用于生成所述元特征图。
当使用所述实施例中至少一个来生成所述预测周围移动信息时，所述学习装置100可以利用其来学习所述第一卷积网络130至所述第五卷积网络170。其中，因为有很多关于所述第一卷积网络130至所述第五卷积网络170的学习过程的实施例，将其划分并详细描述。
首先，如上所述，所述第一卷积网络130至所述第三卷积网络150被配置用于生成反映所述全局信息的所述集成特征图，所述第四卷积网络160被配置用于，通过利用所述集成特征图来生成所述预测周围移动信息。与这种卷积网络相比，所述第五卷积网络170，被配置为参考所述预测周围移动信息来生成所述预测危险信息。基于此，根据一实施例，所述学习装置100通过利用所述第一损失层180，学习所述第一卷积网络130至所述第四卷积网络160的参数中的至少一个。通过重复如上所述的过程，完成所述第一卷积网络130至所述第四卷积网络160的参数的学习，在学习所述第五卷积网络170时，可以使用所述第一卷积网络130至第四卷积网络160。将参考图4来描述这样的实施例。
图4示意性示出了根据本发明一实施例的关于如何学习第一卷积网络至第五卷积网络的一例的图，其中，所述第一卷积网络至第五卷积网络用于执行通过从所述各种来源获取的信息的融合预测所述周围物体的所述移动，从而避免所述事故危险以支持执行所述安全的自动驾驶的所述学习方法。
参考图4，当获取所述预测周围移动信息时，所述学习装置100，使所述第一损失层180，参考所述预测周围移动信息和与所述预测周围移动信息相对应的GT周围移动信息，生成所述移动损失，并使用所述移动损失执行反向传播，从而可以学习所述第一卷积网络130至所述第四卷积网络160的参数中的至少一个。其中，所述GT周围移动信息可以是，当所述情况图像和所述情况通信信息对应于规定的第T时间点时，参考在作为所述第T时间点之后的时间点的第(T+1)时间点上的所述周围物体的位置信息和速度信息而生成的。
在完成所述第一卷积网络130至所述第四卷积网络160的参数中完成所述至少一个学习的状态下，所述学习装置100，使所述第五卷积网络170，对所述第四卷积网络160输出的所述预测周围移动信息，应用所述第五卷积网络运算，生成包括关于事故发生概率的信息的预测危险信息，所述事故发生概率在所述特定时间范围内与所述目标车辆的关联度为第二阈值以上。例如，所述关联度可以利用，所述事故发生的位置与当时的所述目标车辆的位置之间的距离来计算出，但不限于此。
并且，所述学习装置100，使所述第二损失层190，参考所述预测危险信息和与所述预测危险信息对应的GT危险信息来生成所述危险损失，并且参考所述危险损失来执行反向传播，从而可以学习所述第五卷积网络170的参数中的至少一个。其中，所述GT危险信息可以是，当所述情况图像和所述情况通信信息与所述第T时间点对应时，在作为所述第T时间点之后的时间点的所述第(T+1)时间点参考所述目标车辆或其周围是否发生事故的信息来生成的。
作为与前述的实施例不同的实施例，由于存在一次性学习所述第一卷积网络130至所述第五卷积网络170的实施例，因此对此进行描述。即所述学习装置100，当获取由未学习的所述第四卷积网络生成的所述预测周围移动信息时，可以使所述第五卷积网络170，对所述预测周围移动信息应用所述第五卷积网络运算，生成所述预测危险信息。换句话说，在本实施例中使用的所述预测周围移动信息，不是在完成所述第一卷积网络130至所述第四卷积网络160的学习之后生成的，也可以是在学习过程中生成的。此后，所述学习装置100，使一个损失层，参考所述预测危险信息和与所述预测危险信息对应的GT危险信息而来成损失，并使用所述损失来执行反向传播，从而可以学习所述第五卷积网络170的参数中的至少一个。
当学习所述第一卷积网络130至所述第五卷积网络170时，可以用于执行本发明的测试方法。下面将参考图5对此进行描述。
图5为示意性示出根据本发明一实施例的通过从所述各种来源获取的信息的融合预测所述周围物体的所述移动，从而避免所述事故危险以支持执行所述安全的自动驾驶的测试方法的流程图。
参考图5，首先，(1)所述学习装置100执行，当通过安装于学习用目标车辆的至少一个学习用相机获取至少一个学习用情况图像时，使所述第一卷积网络130，对所述学习用情况图像应用所述第一卷积网络运算，生成与所述学习用情况图像相对应的至少一个学习用基于图像的特征图的过程，以及当通过安装于所述学习用目标车辆的至少一个学习用通信模块，获取学习用情况通信信息时，使所述第二卷积网络140，对所述学习用情况通信信息应用所述第二卷积网络运算，生成与对所述学习用情况通信信息相对应的学习用基于通信的特征图的过程，(2)所述学习装置100，使所述第三卷积网络150，对所述学习用基于图像的特征图和所述学习用基于通信的特征图应用所述第三卷积网络运算，生成学习用集成特征图，(3)所述学习装置，使所述第四卷积网络160，对所述学习用集成特征图应用所述第四卷积网络运算，预测特定时间范围内的学习用周围物体的移动的结果，生成学习用预测周围移动信息，(4)所述学习装置可以执行，使所述第一损失层180，在参考所述学习用预测周围移动信息和与所述学习用预测周围移动信息相对应的GT周围移动信息，生成至少一个移动损失，并使用所述移动损失执行反向传播，从而学习所述第一卷积网络130至所述第四卷积网络160的参数中的至少一个的状态下；测试装置，当通过安装于测试用目标车辆的至少一个测试用相机，获取至少一个测试用情况图像时，使所述第一卷积网络130，对所述测试用情况图像应用所述第一卷积网络运算，生成与所述测试用情况图像相对应的至少一个测试用基于图像的特征图的过程，以及当通过安装于所述测试用目标车辆的至少一个测试用通信模块，获取测试用情况通信信息时，使所述第二卷积网络140，对所述测试用情况通信信息应用所述第二卷积网络运算，生成与所述测试用情况通信信息相对应的至少一个测试用基于通信的特征图的过程。
并且，所述测试装置，可以使所述第三卷积网络150，对所述测试用基于图像的特征图和所述测试用基于通信的特征图，应用所述第三卷积网络运算，生成测试用集成特征图。
之后，所述测试装置，可以使所述第四卷积网络160，对所述测试用集成特征图应用所述第四卷积网络运算，生成作为所述特定时间范围内的一个以上的测试用周围物体的移动预测结果的测试用预测周围移动信息。
此后，所述测试装置，使用所述第一卷积网络130至所述第四卷积网络160，使已完成学习的所述第五卷积网络170，对所述测试用预测周围移动信息应用所述第五卷积网络运算，可以生成包括在所述特定时间范围内与所述测试用目标车辆的关联度为所述第二阈值以上的事故发生概率信息的测试用预测危险信息。
当生成所述测试用预测危险信息时，所述测试装置，在所述测试用目标车辆通过列队驾驶(platooning)执行所述自动驾驶的情况下，可以参考所述测试用预测危险信息调整列队驾驶参数。例如，当所述测试用预测危险信息，表示在所述测试用目标车辆的周围事故发生概率大于第3阈值时，为防范所述事故，可以调整所述列队驾驶参数以减少列队的整体速度。或者，当所述测试用预测危险信息，表示所述测试用目标车辆的周围所述事故发生概率低于所述第三阈值时，为了效率，可以调整所述列队驾驶参数以提高列队的整体速度或以速度为主来变更列队的队形。
除了以上过程之外，所述测试装置，检测周围的事故，可以与所述测试用周围物体共享对其的信息。具体地，所述测试装置，在检测到与所述测试用目标车辆的关联度为所述第二阈值以上的特定事故的实际发生情况下，与所述测试用周围物体共享关于所述特定事故的信息，可以使所述测试用目标车辆，参考驾驶策略以支持执行所述自动驾驶，所述驾驶策略用于避免所述特定事故可导致的危险情况。作为一例，当所述测试用目标车辆执行所述列队驾驶时，所述测试装置，可以暂停所述列队驾驶，并解散所述列队，支持所述测试用目标车辆避免所述特定事故，在前方发生事故时，降低所述测试用目标车辆的速度，在后方发生事故时，提高所述测试用目标车辆的速度，从而避免所述特定事故。
以上描述的根据本发明的实施例可以通过各种计算机部件可执行的程序指令的形式来实现并存储在计算机可读存储介质。所述计算机可读存储介质可以单独或组合包括程序指令、数据文件、数据结构等。存储在所述计算机可读存储介质的程序指令，可以是为本发明专门设计并组成的，或者可以是计算机软件领域的技术人员已知并可使用的。计算机可读存储介质的示例包括，如硬盘、软盘和磁带的磁性介质、如CD-ROM、DVD的光学记录介质、如软盘的磁光介质以及专门配置用于存储并执行如ROM、RAM、闪存等程序指令的硬件装置。程序指令的示例不仅包括如由编译器产生的机器代码，还包括可以由计算机使用解释器等执行的高级语言代码。所述硬件装置，可配置为一个或多个软件模块来操作，以执行根据本发明的过程，反之亦然。
以上，虽然本发明根据具体的部件等特定实施方案和有限的实施例及附图进行了说明，这只是为了帮助更全面地理解本发明而提供的，本发明并不限于上述实施例，在本发明所属的技术领域中，普通技术人员可以从这些记载中进行各种修改和变化。
因此，本发明的思想不能限于上述说明的实施例而定，不仅是后述的权利范围，以及与该权利范围均等或等价变形的一切，都属于本发明的思想范畴。

Claims (30)

1.一种学习方法，其使用通过图像和通信获取的各信息的融合来预测一个以上的周围物体的一个以上的移动，从而避免事故危险以支持进行安全的自动驾驶，其特征在于，包括：
步骤(a)，学习装置执行，当通过安装于目标车辆的至少一个相机获取至少一个情况图像时，使第一卷积网络，对所述情况图像应用至少一个第一卷积网络运算，生成与所述情况图像相对应的、至少一个基于图像的特征图的过程，以及当通过安装于所述目标车辆的至少一个通信模块获取情况通信信息时，使第二卷积网络，对所述情况通信信息应用至少一个第二卷积网络运算，生成与所述情况通信信息相对应的基于通信的特征图的过程；
步骤(b)，所述学习装置，使第三卷积网络，对所述基于图像的特征图和所述基于通信的特征图应用至少一个第三卷积网络运算，生成集成特征图；
步骤(c)，所述学习装置，使第四卷积网络，对所述集成特征图应用至少一个第四卷积网络运算，生成预测周围移动信息，所述预测周围移动信息为特定时间范围内的所述周围物体的移动预测结果；以及
步骤(d)，所述学习装置，使第一损失层，参考所述预测周围移动信息和与所述预测周围移动信息相对应的真值周围移动信息，生成至少一个移动损失，并使用所述移动损失执行反向传播，从而学习所述第一卷积网络至所述第四卷积网络的参数中的至少一个。
2.根据权利要求1所述的学习方法，其特征在于，
在所述步骤(a)中，
所述学习装置，(i)使包括在所述第二卷积网络中的至少一个第二全连接层，对所述情况通信信息应用至少一个第二全连接运算，生成与每个基于通信的元数据矢量相对应的基于通信的元特征矢量，其中，所述情况通信信息包括对每个周围物体的基于通信的元数据，并将每个基于通信的元数据作为每个基于通信的元数据矢量，所述每个周围物体与所述目标车辆的距离小于阈值，(ii)使包括在所述第二卷积网络中的至少一个第二池化层，对所述基于通信的元特征矢量应用至少一个第二池化运算，生成所述基于通信的特征图。
3.根据权利要求1所述的学习方法，其特征在于，
在所述步骤(c)中，
所述学习装置，使所述第四卷积网络，对(i)与通过所述相机和所述通信模块而获取的全局信息相对应的所述集成特征图；以及(ii)包括一个以上的基于通信的元特征矢量的元特征图；应用所述第四卷积网络运算，生成所述预测周围移动信息，其中，所述元特征图与每个所述周围物体的局部信息相对应，所述一个以上的基于通信的元特征矢量用于生成所述基于通信的特征图的过程。
4.根据权利要求3所述的学习方法，其特征在于，
在所述步骤(c)中，
所述学习装置，参考与通过所述相机而获取的所述周围物体的基于图像的元数据相对应的一个以上的基于图像的元特征矢量和所述基于通信的元特征矢量，生成所述元特征图。
5.根据权利要求1所述的学习方法，其特征在于，
在所述步骤(b)中，
所述学习装置，对所述基于通信的特征图和所述基于图像的特征图，进行信道下级联，生成临时特征图，使以循环神经网络的方式实现的所述第三卷积网络，使用与提前输入于所述第三卷积网络的信息对应的状态矢量，对所述临时特征图应用所述第三卷积网络运算，从而生成所述集成特征图。
6.根据权利要求5所述的学习方法，其特征在于，
所述第三卷积网络，以长短期记忆网络的方式实现，所述长短期记忆网络为所述循环神经网络的一种。
7.根据权利要求1所述的学习方法，其特征在于，
所述学习装置，使所述第一损失层，参考(i)当所述情况图像和所述情况通信信息对应于规定的第T时间点时，参考在作为所述第T时间点之后的时间点的第(T+1)时间点处的所述周围物体的位置信息和速度信息而获取的所述真值周围移动信息；以及(ii)所述预测周围移动信息；生成所述移动损失。
8.根据权利要求1所述的学习方法，其特征在于，还包括：
步骤(e)，所述学习装置，在完成所述第一卷积网络至所述第四卷积网络的学习的状态下，使第五卷积网络，对已完成学习的所述第四卷积网络输出的预测周围移动信息应用至少一个第五卷积网络运算，生成包括事故发生概率信息的预测危险信息，所述事故发生概率在所述特定时间范围内与所述目标车辆的关联度为阈值以上；以及
步骤(f)，所述学习装置，使第二损失层，参考所述预测危险信息和与所述预测危险信息对应的真值危险信息生成至少一个危险损失，使用所述危险损失执行反向传播，从而学习所述第五卷积网络的参数中的至少一个。
9.根据权利要求1所述的学习方法，其特征在于，
在所述步骤(a)中，
所述学习装置，使包括在所述第一卷积网络的第一卷积层对所述情况图像应用至少一个第一卷积运算，生成至少一个第一特征图，使包括在所述第一卷积网络的第一池化层对所述第一特征图应用至少一个第一池化运算生成至少一个第一已池化特征图，并且使包括在所述第一卷积网络的第一全连接层对所述第一已池化特征图应用至少一个第一全连接运算生成所述基于图像的特征图。
10.一种测试方法，其使用通过图像和通信获取的各信息的融合，预测一个以上的测试用周围物体的一个以上的移动，从而避免事故危险以支持执行安全的自动驾驶，其特征在于，包括：
步骤(a)，(1)学习装置执行，当通过安装于学习用目标车辆的至少一个学习用相机获取至少一个学习用情况图像时，使第一卷积网络，对所述学习用情况图像应用至少一个第一卷积网络运算，生成与所述学习用情况图像相对应的至少一个学习用基于图像的特征图的过程，以及当通过安装于所述学习用目标车辆的至少一个学习用通信模块，获取学习用情况通信信息时，使第二卷积网络，对所述学习用情况通信信息应用至少一个第二卷积网络运算，生成与对所述学习用情况通信信息相对应的学习用基于通信的特征图的过程，(2)所述学习装置，使第三卷积网络，对所述学习用基于图像的特征图和所述学习用基于通信的特征图应用至少一个第三卷积网络运算，生成学习用集成特征图，(3)所述学习装置，使第四卷积网络，对所述学习用集成特征图应用至少一个第四卷积网络运算，生成作为特定时间范围内的学习用周围物体的移动预测结果的学习用预测周围移动信息，(4)所述学习装置执行，使第一损失层，参考所述学习用预测周围移动信息和与所述学习用预测周围移动信息相对应的真值周围移动信息，生成至少一个移动损失，并使用所述移动损失执行反向传播，从而在学习所述第一卷积网络至所述第四卷积网络的参数中的至少一个的状态下，测试装置，通过安装于测试用目标车辆的至少一个测试用相机，获取至少一个测试用情况图像时，使所述第一卷积网络，对所述测试用情况图像应用所述第一卷积网络运算，生成与所述测试用情况图像相对应的至少一个测试用基于图像的特征图的过程，以及当通过安装于所述测试用目标车辆的至少一个测试用通信模块，获取测试用情况通信信息时，使所述第二卷积网络，对所述测试用情况通信信息应用所述第二卷积网络运算，生成与所述测试用情况通信信息相对应的至少一个测试用基于通信的特征图的过程；
步骤(b)，所述测试装置，使所述第三卷积网络，对所述测试用基于图像的特征图和所述测试用基于通信的特征图应用所述第三卷积网络运算，生成测试用集成特征图；以及
步骤(c)，所述测试装置，使所述第四卷积网络，对所述测试用集成特征图应用所述第四卷积网络运算，生成作为所述特定时间范围内的所述测试用周围物体的移动预测结果的测试用预测周围移动信息。
11.根据权利要求10所述的测试方法，其特征在于，还包括：
步骤(d)，所述测试装置，使用所述第一卷积网络至所述第四卷积网络，使已完成学习的第五卷积网络，对所述测试用预测周围移动信息应用至少一个第五卷积网络运算，生成包括关于事故发生概率的信息的测试用预测危险信息，所述事故发生概率在所述特定时间范围内与所述测试用目标车辆的关联度为阈值以上。
12.根据权利要求11所述的测试方法，其特征在于，还包括：
步骤(e)，所述测试装置，当所述测试用目标车辆通过列队驾驶执行所述自动驾驶时，参考所述测试用预测危险信息调整列队驾驶参数。
13.根据权利要求12所述的测试方法，其特征在于，
所述测试装置，当检测到与所述测试用目标车辆的所述关联度为所述阈值以上的特定事故实际发生时，与所述测试用周围物体共享关于所述特定事故的信息，使所述测试用目标车辆，参考驾驶策略以支持执行所述自动驾驶，所述驾驶策略用于避免所述特定事故可导致的危险情况。
14.根据权利要求10所述的测试方法，其特征在于，
在所述步骤(c)中，
所述测试装置，使所述第四卷积网络，对(i)与通过所述测试用相机和所述测试用通信模块获取的测试用全局信息相对应的所述测试用集成特征图，以及(ii)包括一个以上的测试用基于通信的元特征矢量的测试用元特征图，应用所述第四卷积网络运算生成所述测试用预测周围移动信息，所述元特征图与关于每个所述测试用周围物体的测试用局部信息相对应，所述一个以上的测试用基于通信的元特征矢量用于生成所述测试用基于通信的特征图的过程。
15.根据权利要求14所述的测试方法，其特征在于，
在所述步骤(c)中，
所述测试装置，参考与关于通过所述测试用相机获取的所述测试用周围物体的测试用基于图像的元数据相对应的一个以上的测试用基于图像的元特征矢量和所述测试用基于通信的元特征矢量，生成所述测试用元特征图。
16.一种学习装置，其使用通过图像和通信获取的各信息的融合，预测一个以上的周围物体的一个以上的移动，从而避免事故危险以支持执行安全的自动驾驶，其特征在于，包括：
至少一个存储器，存储一个以上的指令；以及
至少一个处理器，被配置执行所述指令，所述指令用于执行过程(I)、(II)、(III)以及(IV)，其中，过程(I)，当通过安装于目标车辆的至少一个相机获取至少一个情况图像时，使第一卷积网络，对所述情况图像应用至少一个第一卷积网络运算，生成与所述情况图像相对应的、至少一个基于图像的特征图，当通过安装于所述目标车辆的至少一个通信模块获取情况通信信息时，使第二卷积网络，对所述情况通信信息应用至少一个第二卷积网络运算，生成与所述情况通信信息相对应的基于通信的特征图，过程(II)，使第三卷积网络，对所述基于图像的特征图和所述基于通信的特征图应用至少一个第三卷积网络运算，生成集成特征图，过程(III)，使第四卷积网络，对所述集成特征图应用至少一个第四卷积网络运算，生成预测周围移动信息，所述预测周围移动信息为特定时间范围内的所述周围物体的移动预测结果，以及过程(IV)，使第一损失层，参考所述预测周围移动信息和与所述预测周围移动信息相对应的真值周围移动信息，生成至少一个移动损失，并使用所述移动损失执行反向传播，从而学习所述第一卷积网络至所述第四卷积网络的参数中的至少一个。
17.根据权利要求16所述的学习装置，其特征在于，
在所述过程(I)中，
所述处理器，(i)使包括在所述第二卷积网络中的至少一个第二全连接层，对所述情况通信信息应用至少一个第二全连接运算，生成与每个基于通信的元数据矢量相对应的基于通信的元特征矢量，其中，所述情况通信信息包括对每个周围物体的基于通信的元数据，并将每个基于通信的元数据作为每个基于通信的元数据矢量，所述每个周围物体与所述目标车辆的距离小于阈值，(ii)使包括在所述第二卷积网络中的至少一个第二池化层，对所述基于通信的元特征矢量应用至少一个第二池化运算，生成所述基于通信的特征图。
18.根据权利要求16所述的学习装置，其特征在于，
在所述过程(III)中，
所述处理器，使所述第四卷积网络，对(i)与通过所述相机和所述通信模块而获取的全局信息相对应的所述集成特征图；以及(ii)包括一个以上的基于通信的元特征矢量的元特征图；应用所述第四卷积网络运算，生成所述预测周围移动信息，其中，所述元特征图与每个所述周围物体的局部信息相对应，所述一个以上的基于通信的元特征矢量用于生成所述基于通信的特征图的过程。
19.根据权利要求18所述的学习装置，其特征在于，
在所述过程(III)中，
所述处理器，参考与通过所述相机而获取的所述周围物体的基于图像的元数据相对应的一个以上的基于图像的元特征矢量和所述基于通信的元特征矢量，生成所述元特征图。
20.根据权利要求16所述的学习装置，其特征在于，
在所述过程(II)中，
所述处理器，对所述基于通信的特征图和所述基于图像的特征图，进行信道下级联，生成临时特征图，使以循环神经网络的方式实现的所述第三卷积网络，使用与提前输入于所述第三卷积网络的信息对应的状态矢量，对所述临时特征图应用所述第三卷积网络运算，从而生成所述集成特征图。
21.根据权利要求20所述的学习装置，其特征在于，
所述第三卷积网络，以长短期记忆网络的方式实现，所述长短期记忆网络为所述循环神经网络的一种。
22.根据权利要求16所述的学习装置，其特征在于，
所述处理器，使所述第一损失层，参考(i)当所述情况图像和所述情况通信信息对应于规定的第T时间点时，参考在作为所述第T时间点之后的时间点的第(T+1)时间点处的所述周围物体的位置信息和速度信息而获取的所述真值周围移动信息；以及(ii)所述预测周围移动信息；生成所述移动损失。
23.根据权利要求16所述的学习装置，其特征在于，
所述处理器还执行，过程(V)，在完成所述第一卷积网络至所述第四卷积网络的学习的状态下，使第五卷积网络，对已完成学习的所述第四卷积网络输出的预测周围移动信息应用至少一个第五卷积网络运算，生成包括事故发生概率信息的预测危险信息，所述事故发生概率在所述特定时间范围内与所述目标车辆的关联度为阈值以上，以及过程(VI)，使第二损失层，参考所述预测危险信息和与所述预测危险信息对应的真值危险信息生成至少一个危险损失，使用所述危险损失执行反向传播，从而学习所述第五卷积网络的参数中的至少一个。
24.根据权利要求16所述的学习装置，其特征在于，
在所述过程(I)中，
所述处理器，使包括在所述第一卷积网络的第一卷积层对所述情况图像应用至少一个第一卷积运算，生成至少一个第一特征图，使包括在所述第一卷积网络的第一池化层对所述第一特征图应用至少一个第一池化运算生成至少一个第一已池化特征图，并且使包括在所述第一卷积网络的第一全连接层对所述第一已池化特征图应用至少一个第一全连接运算生成所述基于图像的特征图。
25.一种测试装置，其使用通过图像和通信获取的各信息的融合，预测一个以上的测试用周围物体的一个以上的移动，从而避免事故危险以支持执行安全的自动驾驶，其特征在于，包括：
至少一个存储器，存储一个以上的指令；以及
至少一个处理器，被配置执行所述指令，所述指令用于执行过程(I)、(II)以及(III)，其中，过程(I)，(1)学习装置执行，当通过安装于学习用目标车辆的至少一个学习用相机获取至少一个学习用情况图像时，使第一卷积网络，对所述学习用情况图像应用至少一个第一卷积网络运算，生成与所述学习用情况图像相对应的至少一个学习用基于图像的特征图的过程，以及当通过安装于所述学习用目标车辆的至少一个学习用通信模块，获取学习用情况通信信息时，使第二卷积网络，对所述学习用情况通信信息应用至少一个第二卷积网络运算，生成与对所述学习用情况通信信息相对应的学习用基于通信的特征图的过程，(2)所述学习装置，使第三卷积网络，对所述学习用基于图像的特征图和所述学习用基于通信的特征图应用至少一个第三卷积网络运算，生成学习用集成特征图，(3)所述学习装置，使第四卷积网络，对所述学习用集成特征图应用至少一个第四卷积网络运算，生成作为特定时间范围内的学习用周围物体的移动预测结果的学习用预测周围移动信息，(4)所述学习装置，使第一损失层，参考所述学习用预测周围移动信息和与所述学习用预测周围移动信息相对应的真值周围移动信息，生成至少一个移动损失，并使用所述移动损失执行反向传播，从而在学习所述第一卷积网络至所述第四卷积网络的参数中的至少一个的状态下，通过安装于测试用目标车辆的至少一个测试用相机，获取至少一个测试用情况图像时，使所述第一卷积网络，对所述测试用情况图像应用所述第一卷积网络运算，与所述测试用情况图像相对应的至少一个测试用基于图像的特征图，当通过安装于所述测试用目标车辆的至少一个测试用通信模块，获取测试用情况通信信息时，使所述第二卷积网络，对所述测试用情况通信信息应用所述第二卷积网络运算，生成与所述测试用情况通信信息相对应的至少一个测试用基于通信的特征图，过程(II)，使所述第三卷积网络，对所述测试用基于图像的特征图和所述测试用基于通信的特征图应用所述第三卷积网络运算，生成测试用集成特征图，以及过程(III)，使所述第四卷积网络，对所述测试用集成特征图应用所述第四卷积网络运算，生成作为所述特定时间范围内的所述测试用周围物体的移动预测结果的测试用预测周围移动信息。
26.根据权利要求25所述的测试装置，其特征在于，
所述处理器还执行，过程(IV)，使用所述第一卷积网络至所述第四卷积网络，使已完成学习的第五卷积网络，对所述测试用预测周围移动信息应用至少一个第五卷积网络运算，生成包括关于事故发生概率的信息的测试用预测危险信息，所述事故发生概率在所述特定时间范围内与所述测试用目标车辆的关联度为阈值以上。
27.根据权利要求26所述的测试装置，其特征在于，
所述处理器还执行，过程(V)，当所述测试用目标车辆通过列队驾驶执行所述自动驾驶时，参考所述测试用预测危险信息调整列队驾驶参数。
28.根据权利要求27所述的测试装置，其特征在于，
所述处理器，当检测到与所述测试用目标车辆的所述关联度为所述阈值以上的特定事故实际发生时，与所述测试用周围物体共享关于所述特定事故的信息，使所述测试用目标车辆，参考驾驶策略以支持执行所述自动驾驶，所述驾驶策略用于避免所述特定事故可导致的危险情况。
29.根据权利要求25所述的测试装置，其特征在于，
在所述过程(III)中，
所述处理器，使所述第四卷积网络，对(i)与通过所述测试用相机和所述测试用通信模块获取的测试用全局信息相对应的所述测试用集成特征图，以及(ii)包括一个以上的测试用基于通信的元特征矢量的测试用元特征图，应用所述第四卷积网络运算生成所述测试用预测周围移动信息，所述元特征图与关于每个所述测试用周围物体的测试用局部信息相对应，所述一个以上的测试用基于通信的元特征矢量用于生成所述测试用基于通信的特征图的过程。
30.根据权利要求29所述的测试装置，其特征在于，
在所述过程(III)中，
所述处理器，参考与关于通过所述测试用相机获取的所述测试用周围物体的测试用基于图像的元数据相对应的一个以上的测试用基于图像的元特征矢量和所述测试用基于通信的元特征矢量，生成所述测试用元特征图。
CN202010075597.1A 2019-01-31 2020-01-22 通过预测周围物体移动支持安全的自动驾驶的方法和装置 Active CN111507172B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962799315P 2019-01-31 2019-01-31
US62/799,315 2019-01-31
US16/738,680 2020-01-09
US16/738,680 US10824947B2 (en) 2019-01-31 2020-01-09 Learning method for supporting safer autonomous driving without danger of accident by estimating motions of surrounding objects through fusion of information from multiple sources, learning device, testing method and testing device using the same

Publications (2)

Publication Number Publication Date
CN111507172A true CN111507172A (zh) 2020-08-07
CN111507172B CN111507172B (zh) 2023-08-18

Family

ID=69191929

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010075597.1A Active CN111507172B (zh) 2019-01-31 2020-01-22 通过预测周围物体移动支持安全的自动驾驶的方法和装置

Country Status (5)

Country Link
US (1) US10824947B2 (zh)
EP (1) EP3690730A3 (zh)
JP (1) JP6857371B2 (zh)
KR (1) KR102328732B1 (zh)
CN (1) CN111507172B (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018176000A1 (en) 2017-03-23 2018-09-27 DeepScale, Inc. Data synthesis for autonomous control systems
US11409692B2 (en) 2017-07-24 2022-08-09 Tesla, Inc. Vector computational unit
US11157441B2 (en) 2017-07-24 2021-10-26 Tesla, Inc. Computational array microprocessor system using non-consecutive data formatting
US10671349B2 (en) 2017-07-24 2020-06-02 Tesla, Inc. Accelerated mathematical engine
US11893393B2 (en) 2017-07-24 2024-02-06 Tesla, Inc. Computational array microprocessor system with hardware arbiter managing memory requests
US11561791B2 (en) 2018-02-01 2023-01-24 Tesla, Inc. Vector computational unit receiving data elements in parallel from a last row of a computational array
US11215999B2 (en) 2018-06-20 2022-01-04 Tesla, Inc. Data pipeline and deep learning system for autonomous driving
US11361457B2 (en) 2018-07-20 2022-06-14 Tesla, Inc. Annotation cross-labeling for autonomous control systems
US11636333B2 (en) 2018-07-26 2023-04-25 Tesla, Inc. Optimizing neural network structures for embedded systems
US11562231B2 (en) 2018-09-03 2023-01-24 Tesla, Inc. Neural networks for embedded devices
KR20210072048A (ko) 2018-10-11 2021-06-16 테슬라, 인크. 증강 데이터로 기계 모델을 훈련하기 위한 시스템 및 방법
US11196678B2 (en) 2018-10-25 2021-12-07 Tesla, Inc. QOS manager for system on a chip communications
US11816585B2 (en) 2018-12-03 2023-11-14 Tesla, Inc. Machine learning models operating at different frequencies for autonomous vehicles
US11537811B2 (en) 2018-12-04 2022-12-27 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
US11610117B2 (en) 2018-12-27 2023-03-21 Tesla, Inc. System and method for adapting a neural network model on a hardware platform
US10997461B2 (en) 2019-02-01 2021-05-04 Tesla, Inc. Generating ground truth for machine learning from time series elements
US11567514B2 (en) 2019-02-11 2023-01-31 Tesla, Inc. Autonomous and user controlled vehicle summon to a target
US10956755B2 (en) 2019-02-19 2021-03-23 Tesla, Inc. Estimating object properties using visual image data
KR102590622B1 (ko) * 2021-04-02 2023-10-17 세종대학교산학협력단 멀티레이블 학습을 이용한 멀티스펙트럴 도메인에서의 객체 인식 방법 및 장치
CN114093171B (zh) * 2022-01-21 2022-05-06 杭州海康威视数字技术股份有限公司 基于多源数据融合的交通运行状态监测方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170262995A1 (en) * 2016-03-11 2017-09-14 Qualcomm Incorporated Video analysis with convolutional attention recurrent neural networks
JP2017162438A (ja) * 2016-03-11 2017-09-14 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 危険予測方法
JP2018097766A (ja) * 2016-12-16 2018-06-21 クラリオン株式会社 画像処理装置、外界認識装置
CN108229455A (zh) * 2017-02-23 2018-06-29 北京市商汤科技开发有限公司 物体检测方法、神经网络的训练方法、装置和电子设备
WO2018145308A1 (en) * 2017-02-13 2018-08-16 Nokia Technologies Oy Filter reusing mechanism for constructing robust deep convolutional neural network
US10106153B1 (en) * 2018-03-23 2018-10-23 Chongqing Jinkang New Energy Vehicle Co., Ltd. Multi-network-based path generation for vehicle parking
US10169679B1 (en) * 2017-10-13 2019-01-01 StradVision, Inc. Learning method and learning device for adjusting parameters of CNN by using loss augmentation and testing method and testing device using the same

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3606853B2 (ja) * 2001-09-07 2005-01-05 松下電器産業株式会社 車両周囲状況表示装置
WO2018066712A1 (ja) * 2016-10-07 2018-04-12 アイシン・エィ・ダブリュ株式会社 走行支援装置及びコンピュータプログラム
CN109906608B (zh) * 2016-11-01 2021-03-12 松下电器（美国）知识产权公司 显示方法以及显示装置
US10551842B2 (en) * 2017-06-19 2020-02-04 Hitachi, Ltd. Real-time vehicle state trajectory prediction for vehicle energy management and autonomous drive

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170262995A1 (en) * 2016-03-11 2017-09-14 Qualcomm Incorporated Video analysis with convolutional attention recurrent neural networks
JP2017162438A (ja) * 2016-03-11 2017-09-14 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 危険予測方法
JP2018097766A (ja) * 2016-12-16 2018-06-21 クラリオン株式会社 画像処理装置、外界認識装置
WO2018145308A1 (en) * 2017-02-13 2018-08-16 Nokia Technologies Oy Filter reusing mechanism for constructing robust deep convolutional neural network
CN108229455A (zh) * 2017-02-23 2018-06-29 北京市商汤科技开发有限公司 物体检测方法、神经网络的训练方法、装置和电子设备
US20190156144A1 (en) * 2017-02-23 2019-05-23 Beijing Sensetime Technology Development Co., Ltd Method and apparatus for detecting object, method and apparatus for training neural network, and electronic device
US10169679B1 (en) * 2017-10-13 2019-01-01 StradVision, Inc. Learning method and learning device for adjusting parameters of CNN by using loss augmentation and testing method and testing device using the same
US10106153B1 (en) * 2018-03-23 2018-10-23 Chongqing Jinkang New Energy Vehicle Co., Ltd. Multi-network-based path generation for vehicle parking

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
XIE H，ET AL.: "Context-aware pedestrian detection especially for small-sized instances with Deconvolution Integrated Faster RCNN (DIF R-CNN)" *

Also Published As

Publication number Publication date
EP3690730A3 (en) 2020-11-04
KR20200096131A (ko) 2020-08-11
KR102328732B1 (ko) 2021-11-23
JP2020126639A (ja) 2020-08-20
US20200250541A1 (en) 2020-08-06
US10824947B2 (en) 2020-11-03
CN111507172B (zh) 2023-08-18
EP3690730A2 (en) 2020-08-05
JP6857371B2 (ja) 2021-04-14

Similar Documents

Publication Publication Date Title
CN111507172B (zh) 通过预测周围物体移动支持安全的自动驾驶的方法和装置
US10503174B1 (en) Method and device for optimized resource allocation in autonomous driving on the basis of reinforcement learning using data from lidar, radar, and camera sensor
CN110244701B (zh) 用于基于自动生成的课程序列的自主车辆的强化学习的方法和装置
US11087175B2 (en) Learning method and learning device of recurrent neural network for autonomous driving safety check for changing driving mode between autonomous driving mode and manual driving mode, and testing method and testing device using them
JP6913969B2 (ja) 強化学習に基づいて協同走行で多重エージェントセンサフュージョンを遂行する方法及び装置
CN111506058B (zh) 通过信息融合来计划自动驾驶的短期路径的方法及装置
US10845815B2 (en) Systems, methods and controllers for an autonomous vehicle that implement autonomous driver agents and driving policy learners for generating and improving policies based on collective driving experiences of the autonomous driver agents
CN108073170B (zh) 用于自主车辆的自动化协同驾驶控制
US20200033869A1 (en) Systems, methods and controllers that implement autonomous driver agents and a policy server for serving policies to autonomous driver agents for controlling an autonomous vehicle
CN110356412B (zh) 用于自主驾驶的自动规则学习的方法和设备
US10919543B2 (en) Learning method and learning device for determining whether to switch mode of vehicle from manual driving mode to autonomous driving mode by performing trajectory-based behavior analysis on recent driving route
CN111507373B (zh) 执行无缝参数变更的方法及装置
US10678245B2 (en) Systems and methods for predicting entity behavior
KR102301631B1 (ko) 협업 주행을 수행하는 자동차들로부터 획득된 주행 이미지들을 통합하는 방법 및 이를 이용한 주행 이미지 통합 장치
US10796571B2 (en) Method and device for detecting emergency vehicles in real time and planning driving routes to cope with situations to be expected to be occurred by the emergency vehicles
KR102321004B1 (ko) 온 디바이스 독립형 예측에 기반하여 자율 주행 차량의 모드를 전환함으로써 자율 주행의 안전성을 도모하는 학습 방법 및 학습 장치, 그리고 이를 이용한 테스팅 방법 및 테스팅 장치
CN111508253B (zh) 提供自动行驶服务平台的方法及利用其的服务器
CN113734193A (zh) 用于估计接管时间的系统和方法
Naik et al. Autonomous Car

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant