CN111507159B - 提供自动驾驶安全性的方法和装置 - Google Patents

提供自动驾驶安全性的方法和装置 Download PDF

Info

Publication number
CN111507159B
CN111507159B CN202010069505.9A CN202010069505A CN111507159B CN 111507159 B CN111507159 B CN 111507159B CN 202010069505 A CN202010069505 A CN 202010069505A CN 111507159 B CN111507159 B CN 111507159B
Authority
CN
China
Prior art keywords
cnn
confidence
rpn
predicted
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010069505.9A
Other languages
English (en)
Other versions
CN111507159A (zh
Inventor
金桂贤
金镕重
金鹤京
南云铉
夫硕焄
成明哲
申东洙
吕东勋
柳宇宙
李明春
李炯树
张泰雄
郑景中
诸泓模
赵浩辰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stradvision Inc
Original Assignee
Stradvision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stradvision Inc filed Critical Stradvision Inc
Publication of CN111507159A publication Critical patent/CN111507159A/zh
Application granted granted Critical
Publication of CN111507159B publication Critical patent/CN111507159B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/44—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for communication between vehicles and infrastructures, e.g. vehicle-to-cloud [V2C] or vehicle-to-home [V2H]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供通过利用置信度分数来既节省计算能力又实现更好的自动驾驶性能的方法和装置，该置信度分数与对象检测处理并行地生成并表示对象检测的可信度，该方法的特征在于，包括：步骤(a)，计算装置通过设置于目标车辆的至少一个图像传感器，获取与所述目标车辆的周边有关的至少一个环境图像；步骤(b)，所述计算装置使CNN对所述环境图像适用至少一次CNN运算，而生成与所述环境图像有关的初始对象信息及初始置信度信息；以及步骤(c)，所述计算装置通过与周边对象中至少一部之间的V2X通信及强化学习智能体的支援，参照所述初始对象信息及所述初始置信度信息，生成与所述环境图像有关的最终对象信息。

Description

提供自动驾驶安全性的方法和装置
技术领域
本发明涉及用于自动驾驶车辆的方法和装置，更详细地，涉及通过使用强化学习及V2X(vehicle-to-everything；车对外界的信息交换)通信的专注驾驶(attention-driven)资源分配来提供安全的自动驾驶的方法及利用该方法的装置。
背景技术
最近随着自动驾驶技术的研究深入，已发展到无需驾驶员介入自动驾驶车辆也能够准确行驶的程度。但是，如上所述的自动驾驶技术无法得到商用化。自动驾驶技术之所以无法得到普及有多种理由，其中之一是用于自动驾驶的运算消耗太多的计算能力。
尽管为了减少执行自动驾驶用的运算时所消耗的计算能力做出了很多努力，但在此情况下出现的问题是若减少所消耗的计算能力，则自动驾驶的性能会下降。若自动驾驶的性能下降，则会产生很多错误，并威胁到驾驶员及周边行人的生命。因此，需要一种既节省计算能力又能够维持一定程度自动驾驶性能，但事实上对如上所述的方法的研究并不多。
发明内容
本发明的目的在于，解决所述问题。
本发明的另一目的在于，提供通过使用强化学习及V2X通信的专注驾驶资源分配来提供安全的自动驾驶的方法。
并且，本发明的又一目的在于，提供与对象检测处理并行地生成置信度分数(Confidence Score)的方法，该置信度分数为表示对象检测的可信度的参数。
并且，本发明的还有一目的在于，提供通过从其他对象获取与置信度分数小于临界值的区域有关的附加补充信息来更准确地执行对象检测的方法。
解决问题的方案
为达到如上所述的目的，并实现后述的本发明的特征性效果，本发明的特征性构成如下。
根据本发明一实施方式，提供一种通过利用置信度分数来既节省计算能力又实现更好的自动驾驶性能的方法，该置信度分数与对象检测处理并行地生成并表示对象检测的可信度(Credibility)，该方法的特征在于，包括如下步骤：步骤(a)，计算装置通过设置于目标车辆的至少一个图像传感器，获取与所述目标车辆的周边有关的至少一个环境图像(Circumstance Image)；步骤(b)，所述计算装置使CNN(卷积神经网络，ConvolutionalNeural Network)对所述环境图像适用至少一次CNN运算而生成与所述环境图像有关的初始对象信息及初始置信度信息；以及步骤(c)，所述计算装置通过与离所述目标车辆的距离在临界值以下的周边对象中的至少一部分之间的V2X通信及强化学习智能体(Reinforcement Learning agent)的支援，参照所述初始对象信息及所述初始置信度信息，生成与所述环境图像有关的最终对象信息。
在一实施例中，在所述步骤(c)中，所述计算装置使所述强化学习智能体(i)参照所述初始置信度信息、所述周边对象的基本元信息及所述图像传感器的传感器信息，在所述周边对象中选择一个以上的特定周边对象，该一个以上的特定周边对象与要适用补充运算的所述环境图像中的一个以上的特定目标区域对应，(ii)通过与所述特定周边对象之间的所述V2X通信，获取补充信息，(iii)利用所述补充信息来调整所述初始对象信息，由此生成所述最终对象信息。
在一实施例中，若向所述强化学习智能体输入所述初始置信度信息、所述基本元信息及所述传感器信息，则所述强化学习智能体(i)利用自身的参数选择所述一个以上的特定周边对象，(ii)参照所述补充信息生成至少一个奖赏值(reward)，(iii)参照所述奖赏值学习所述参数的至少一部分。
在一实施例中，所述计算装置使所述强化学习智能体利用(i)所述基本元信息中包括的所述周边车辆的相对位置信息及预定路线信息，(ii)所述传感器信息中包括的视场(FOV，Field-Of-View)信息、内部参数信息、外部参数信息及失真信息，以及(iii)所述初始置信度信息中的至少一部分，来决定是否选择所述一个以上的特定周边对象。
在一实施例中，所述计算装置参照补充信息及所述特定周边对象的特定元数据来调整所述初始对象信息，由此生成所述最终对象信息，该补充信息包括由所述特定周边对象生成的参照对象信息及参照置信度信息中的至少一部分，所述特定周边对象执行与自身的周边对象有关的对象检测而生成所述参照对象信息及所述参照置信度信息。
在一实施例中，还包括步骤(d)，所述计算装置向自动驾驶模块传送所述最终对象信息，由此使所述自动驾驶模块利用所述最终对象信息执行所述目标车辆的自动驾驶。
在一实施例中，在所述步骤(a)之前还包括如下步骤：步骤(a1)，若获取训练图像，则学习装置使所述CNN中包括的至少一个卷积层对所述训练图像适用至少一次卷积运算，而生成至少一个卷积特征图；步骤(a2)，所述学习装置对所述卷积特征图适用至少一次锚点(Anchor)运算，由此执行生成所述训练图像中的预测ROI(Region Of Interest，感兴趣区域)的处理，同时使RPN(区域建议网络，Region Proposal Network)中包括的至少一个锚点层(anchor layer)按照所述卷积特征图的各个像素分别生成各个至少一个RPN置信度分数，该各个至少一个RPN置信度分数分别表示所述预测ROI与GT(真值，Ground Truth)ROI相同的至少一个概率，由此生成包括所述RPN置信度分数的RPN置信度图；步骤(a3)，若获取至少一个ROI池化的特征图，该至少一个ROI池化的特征图通过所述CNN中包括的ROI池化层并利用所述卷积特征图及所述预测ROI而生成，则所述学习装置执行利用所述ROI池化的特征图生成预测对象检测结果的处理，同时使所述CNN中包括的FC层(全连接层，FullyConnected Layer)按照各个所述预测ROI分别生成各个CNN置信度分数，该各个CNN置信度分数分别表示预测所述预测对象检测结果中包括的各个至少一个预测CNN分类结果和各个至少一个预测CNN回归结果与GT对象检测结果中包括的各个至少一个GT CNN分类结果和各个至少一个GT CNN回归结果相同的至少一个概率，由此生成包括所述CNN置信度分数的CNN置信度图；以及步骤(a4)，所述学习装置使损失层参照所述RPN置信度图、所述CNN置信度图、所述预测对象检测结果及所述GT对象检测结果生成至少一个RPN损失及至少一个CNN损失，并利用所述RPN损失及所述CNN损失执行反向传播，由此学习所述CNN及所述RPN中包括的参数的至少一部分。
在一实施例中，在所述步骤(a4)中，所述学习装置使所述损失层根据以下公式生成所述RPN损失，
Nreg为与执行锚点运算而生成的所述卷积特征图的大小对应的常数，Ncls为与所述训练图像对应的常数，ci为在所述RPN置信度分数中与所述卷积特征图的第i像素对应的第i RPN置信度分数，pi为与所述第i像素对应的第i预测RPN分类结果，为与所述第i像素对应的第i GT RPN分类结果，ti为所述第i像素对应的第i预测RPN回归结果，/>为与所述第i像素对应的第i GT RPN回归结果，所述第i GT RPN分类结果及所述第i GT RPN回归结果与所述GT对象检测结果对应。
在一实施例中，在所述步骤(a4)中，所述学习装置使所述损失层根据以下公式生成所述CNN损失，
Nreg及Ncls为所述预测ROI的数量，ci为在所述CNN置信度分数中与选自所述预测ROI的第i预测ROI对应的第i CNN置信度分数，pi为与所述第i预测ROI对应的第i预测CNN分类结果，为与所述第i像素对应的第i GT CNN分类结果，ti为与所述第i预测ROI对应的第i预测CNN回归结果，/>为与所述第i像素对应的第i GT CNN回归结果，所述第i预测CNN分类结果及所述第i预测CNN回归结果与所述预测对象检测结果对应。
在一实施例中，在所述步骤(a3)之后，所述学习装置使置信度层参照所述RPN置信度图及所述CNN置信度图生成综合置信度图，该综合置信度图包括按照所述训练图像中的各个像素的与各个综合置信度分数有关的信息。
在一实施例中，所述学习装置使所述置信度层执行如下处理：(i-1)从所述CNN获取与所述预测ROI有关的NMS(非极大值抑制，Non-Maximum Suppression)结果，该NMS结果是执行生成所述预测对象检测结果的处理的过程中生成的；(i-2)对所述RPN置信度图适用至少一次缩放(Resize)运算而生成缩放的RPN置信度图；以及(ii)参照所述NMS结果及所述缩放的RPN置信度图而生成所述综合置信度图。
在一实施例中，所述学习装置使所述置信度层根据以下公式生成所述综合置信度分数中与所述训练图像中的坐标(x，y)对应的第X_Y综合置信度分数，
c′xy为所述第X_Y综合置信度分数，cxy为所述缩放的RPN置信度图中与所述坐标(x，y)对应的第X_Y缩放的RPN置信度分数，cri为在所述NMS结果中决定的、包括所述坐标(x，y)并以ri表示的与第i预测ROI有关的第iCNN置信度分数。
在一实施例中，所述步骤(b)还包括如下步骤：步骤(b1)，若获取所述环境图像，则所述计算装置使所述CNN中包括的至少一个卷积层对所述环境图像适用至少一次卷积运算而生成至少一个卷积特征图；步骤(b2)，所述计算装置对所述卷积特征图适用至少一次锚点运算，由此执行用于生成所述环境图像中的预测ROI的处理，同时使RPN中包括的至少一个锚点层按照所述卷积特征图的各个像素分别生成各个至少一个RPN置信度分数，该各个至少一个RPN置信度分数分别表示所述预测ROI与GT ROI相同的至少一个概率，由此生成包括所述RPN置信度分数的RPN置信度图；步骤(b3)，若获取至少一个ROI池化的特征图，该至少一个ROI池化的特征图通过所述CNN中包括的ROI池化层并利用所述卷积特征图及所述预测ROI而生成，则所述学习装置执行利用所述ROI池化的特征图生成预测对象检测结果的处理，同时使所述CNN中包括的FC层按照各个所述预测ROI分别生成各个CNN置信度分数，该各个CNN置信度分数分别表示预测所述预测对象检测结果中包括的各个至少一个预测CNN分类结果及各个至少一个预测CNN回归结果与GT对象检测结果中包括的各个至少一个GT CNN分类结果及各个至少一个GT CNN回归结果相同的至少一个概率，由此生成包括所述CNN置信度分数的CNN置信度图；以及步骤(b4)，所述计算装置使与所述CNN联动操作的置信度层参照所述RPN置信度图及所述CNN置信度图生成综合置信度图，所述计算装置使所述CNN输出包括所述预测对象检测结果的所述初始对象信息及包括所述综合置信度图的所述初始置信度信息。
根据本发明的另一实施方式，提供一种通过利用置信度分数(Confidence Score)来既节省计算能力又实现更好的自动驾驶性能的计算装置，该置信度分数与对象检测处理并行地生成并表示对象检测的可信度(Credibility)，该装置的特征在于，包括：至少一个存储器，其用于存储指令；以及至少一个处理器，其构成为能够实施所述指令，该指令用于执行如下处理：处理(I)，通过设置于目标车辆的至少一个图像传感器，获取与所述目标车辆的周边有关的至少一个环境图像(Circumstance Image)；处理(II)，使CNN(卷积神经网络，Convolutional Neural Network)对所述环境图像适用至少一次CNN运算而生成与所述环境图像有关的初始对象信息及初始置信度信息，以及处理(III)，通过与离所述目标车辆的距离在临界值以下的周边对象中的至少一部分之间的V2X通信及强化学习智能体的支援，参照所述初始对象信息及所述初始置信度信息，生成与所述环境图像有关的最终对象信息。
在一实施例中，在所述处理(III)中，所述处理器使所述强化学习智能体(i)参照所述初始置信度信息、所述周边对象的基本元信息及所述图像传感器的传感器信息，在所述周边对象中选择一个以上的特定周边对象，该一个以上的特定周边对象与要适用补充运算的所述环境图像中的一个以上的特定目标区域对应，(ii)通过与所述特定周边对象之间的所述V2X通信，获取补充信息，(iii)利用所述补充信息来调整所述初始对象信息，由此生成所述最终对象信息。
在一实施例中，若向所述强化学习智能体输入所述初始置信度信息、所述基本元信息及所述传感器信息，则所述强化学习智能体(i)利用自身的参数选择所述一个以上的特定周边对象，(ii)参照所述补充信息生成至少一个奖赏值(reward)，(iii)参照所述奖赏值学习所述参数的至少一部分。
在一实施例中，所述处理器使所述强化学习智能体利用(i)所述基本元信息中包括的所述周边车辆的相对位置信息及预定路线信息，(ii)所述传感器信息中包括的视场(FOV，Field-Of-View)信息、内部参数信息、外部参数信息及失真信息，以及(iii)所述初始置信度信息中的至少一部分，来决定是否选择所述一个以上的特定周边对象。
在一实施例中，所述处理器参照补充信息及所述特定周边对象的特定元数据来调整所述初始对象信息，由此生成所述最终对象信息，该补充信息包括由所述特定周边对象生成的参照对象信息及参照置信度信息中的至少一部分，所述特定周边对象执行与自身的周边对象有关的对象检测而生成所述参照对象信息及所述参照置信度信息。
在一实施例中，所述处理器还执行处理(IV)，向自动驾驶模块传送所述最终对象信息，由此使所述自动驾驶模块利用所述最终对象信息执行所述目标车辆的自动驾驶。
在一实施例中，在所述处理(I)之前还包括：处理(I1)，若获取训练图像，则学习装置使所述CNN中包括的至少一个卷积层对所述训练图像适用至少一次卷积运算，而生成至少一个卷积特征图；处理(I2)，所述学习装置对所述卷积特征图适用至少一次锚点(Anchor)运算，由此执行生成所述训练图像中的预测ROI(Region Of Interest)的处理，同时使RPN(Region Proposal Network)中包括的至少一个锚点层按照所述卷积特征图的各个像素分别生成各个至少一个RPN置信度分数，该各个至少一个RPN置信度分数分别表示所述预测ROI与GT(Ground Truth)ROI相同的至少一个概率，由此生成包括所述RPN置信度分数的RPN置信度图；处理(I3)，若获取至少一个ROI池化的特征图，该至少一个ROI池化的特征图通过所述CNN中包括的ROI池化层并利用所述卷积特征图及所述预测ROI而生成，则所述学习装置执行利用所述ROI池化的特征图生成预测对象检测结果的处理，同时使所述CNN中包括的FC层按照各个所述预测ROI分别生成各个CNN置信度分数，该各个CNN置信度分数分别表示预测所述预测对象检测结果中包括的各个至少一个预测CNN分类结果及各个至少一个预测CNN回归结果与GT对象检测结果中包括的各个至少一个GT CNN分类结果及各个至少一个GT CNN回归结果相同的至少一个概率，由此生成包括所述CNN置信度分数的CNN置信度图；以及处理(I4)，所述学习装置使损失层参照所述RPN置信度图、所述CNN置信度图、所述预测对象检测结果及所述GT对象检测结果生成至少一个RPN损失及至少一个CNN损失，并利用所述RPN损失及所述CNN损失执行反向传播，由此学习所述CNN及所述RPN中包括的参数的至少一部分。
在一实施例中，在所述处理(I4)中，所述学习装置使所述损失层根据以下公式生成所述RPN损失，
Nreg为与执行锚点运算而生成的所述卷积特征图的大小对应的常数，Ncls为与所述训练图像对应的常数，ci为在所述RPN置信度分数中与所述卷积特征图的第i像素对应的第i RPN置信度分数，pi为与所述第i像素对应的第i预测RPN分类结果，为与所述第i像素对应的第i GT RPN分类结果，ti为所述第i像素对应的第i预测RPN回归结果，/>为与所述第i像素对应的第i GT RPN回归结果，所述第i GT RPN分类结果及所述第i GT RPN回归结果与所述GT对象检测结果对应。
在一实施例中，在所述处理(I4)中，所述学习装置使所述损失层根据以下公式生成所述CNN损失，
Nreg及Ncls为所述预测ROI的数量，ci为在所述CNN置信度分数中与选自所述预测ROI的第i预测ROI对应的第i CNN置信度分数，pi为与所述第i预测ROI对应的第i预测CNN分类结果，为与所述第i像素对应的第i GT CNN分类结果，ti为与所述第i预测ROI对应的第i预测CNN回归结果，/>为与所述第i像素对应的第i GT CNN回归结果，所述第i预测CNN分类结果及所述第i预测CNN回归结果与所述预测对象检测结果对应。
在一实施例中，在所述处理(I3)之后，所述学习装置使置信度层参照所述RPN置信度图及所述CNN置信度图生成综合置信度图，该综合置信度图包括按照所述训练图像中的各个像素的与各个综合置信度分数有关的信息。
在一实施例中，所述学习装置使所述置信度层执行如下处理：(i-1)从所述CNN获取与所述预测ROI有关的NMS(非极大值抑制，Non-Maximum Suppression)结果，该NMS结果是执行生成所述预测对象检测结果的处理的过程中生成的；(i-2)对所述RPN置信度图适用至少一次缩放(Resize)运算而生成缩放的RPN置信度图；以及(ii)参照所述NMS结果及所述缩放的RPN置信度图而生成所述综合置信度图。
在一实施例中，所述学习装置使所述置信度层根据以下公式生成所述综合置信度分数中与所述训练图像中的坐标(x，y)对应的第X_Y综合置信度分数，
c′xy为所述第X_Y综合置信度分数，cxy为所述缩放的RPN置信度图中与所述坐标(x，y)对应的第X_Y缩放的RPN置信度分数，为在所述NMS结果中决定的、包括所述坐标(x，y)并以ri表示的与第i预测ROI有关的第i CNN置信度分数。
在一实施例中，所述处理(II)还包括如下处理：处理(II1)，若获取所述环境图像，则使所述CNN中包括的至少一个卷积层对所述环境图像适用至少一次卷积运算而生成至少一个卷积特征图；处理(II2)，对所述卷积特征图适用至少一次锚点运算，由此执行用于生成所述环境图像中的预测ROI的处理，同时使RPN中包括的至少一个锚点层按照所述卷积特征图的各个像素分别生成各个至少一个RPN置信度分数，该各个至少一个RPN置信度分数分别表示所述预测ROI与GT ROI相同的至少一个概率，由此生成包括所述RPN置信度分数的RPN置信度图；处理(II3)，若获取至少一个ROI池化的特征图，该至少一个ROI池化的特征图通过所述CNN中包括的ROI池化层并利用所述卷积特征图及所述预测ROI而生成，则执行利用所述ROI池化的特征图生成预测对象检测结果的处理，同时使所述CNN中包括的FC层按照各个所述预测ROI分别生成各个CNN置信度分数，该各个CNN置信度分数分别表示预测所述预测对象检测结果中包括的各个至少一个预测CNN分类结果及各个至少一个预测CNN回归结果与GT对象检测结果中包括的各个至少一个GTCNN分类结果及各个至少一个GT CNN回归结果相同的至少一个概率，由此生成包括所述CNN置信度分数的CNN置信度图；以及处理(II4)，使与所述CNN联动操作的置信度层参照所述RPN置信度图及所述CNN置信度图生成综合置信度图，
所述处理器使所述CNN输出包括所述预测对象检测结果的所述初始对象信息及包括所述综合置信度图的所述初始置信度信息。
此外，本发明还提供计算机可读取记录介质，所述计算机可读取记录介质用于记录执行本发明的方法的计算机程序。
发明的效果
本发明的目的在于，解决所述问题。
并且，根据本发明，具有如下效果，即能够提供通过使用强化学习及V2X通信的专注驾驶资源分配来提供自动驾驶安全性的方法。
并且，根据本发明，具有如下效果，即能够提供与对象检测处理并行地生成置信度分数的方法，该置信度分数为表示对象检测的可信度的参数。
并且，根据本发明，具有如下效果，即能够提供通过从其他对象获取与置信度分数小于临界值的区域有关的附加补充信息来更准确地执行对象检测的方法。
附图说明
本发明的上述及其他目的和特征通过以下附图和优选实施例的说明会变得清晰。
用于本发明实施例的说明中的以下附图，仅仅是本发明实施例中的一部分，对于本发明所属领域中具有通常知识的人员(以下，称为“本领域技术人员”)而言，在不需要付出创造性劳动的情况下，能够基于以下附图获得其他附图。
图1为简要示出根据本发明一实施例执行通过使用强化学习及V2X通信的专注驾驶资源分配来提供安全的自动驾驶的方法的计算装置的结构的图。
图2为简要示出根据本发明一实施例通过使用强化学习及V2X通信的专注驾驶资源分配来提供安全的自动驾驶的方法的流程图。
图3为简要示出根据本发明一实施例用于执行通过使用强化学习及V2X通信的专注驾驶资源分配来提供安全的自动驾驶的方法的、从特定周边对象获取补充信息的一例的图。
图4为简要示出根据本发明一实施例用于执行通过使用强化学习及V2X通信的专注驾驶资源分配来提供安全的自动驾驶的方法的、CNN的学习处理的的流程图。
图5为简要示出根据本发明一实施例用于执行通过使用强化学习及V2X通信的专注驾驶资源分配来提供安全的自动驾驶的方法的、包括CNN、RPN、损失层及置信度(confidence)层的学习装置的结构的图。
具体实施方式
后述的关于本发明的详细说明是，为了明确本发明的目的、技术上的理解及优点，而作为能够实施本发明的特定实施例举出的例子，可以参照附图。对这些实施例进行详细说明，以便能够使本领域技术人员能够实施本发明。
此外，本发明的实施方式及权利要求书中，“包括”的用语及它们的变形不能解释为排除其他技术特征、附加特征、构成要素或步骤。对于本领域技术人员来讲，本发明的其他目的、优点及特征的一部分能够从本说明书中得知，而另一部分能够从本发明的实施过程中得知。以下的例示及附图仅作为实施例提供，并不用于限定本发明。
进而，本发明包括本说明书中所公开的实施例的所有可能的组合。应当理解的是，尽管本发明的各种实施例相互不同，但没有相互排斥的必要。例如，在此记载的特定形状、结构及特征，与一实施例相关，在不脱离本发明的精神及范围的情况下，能够以另一实施例实现。并且，应理解为，各个揭示的实施例中的个别结构要素的位置或配置在不脱离本发明精神及范围的情况下能够进行变更。因此，后述的详细说明并不具有限定的含义，而关于本发明的保护范围，更准确地说，应当仅由所附的权利要求及与其主张的范围均等的所有范围和所附的权利要求来限定。在附图中类似的附图标记表示在各方面相同或类似的功能。
本发明中所提及的各种图像可以包括铺装或非铺装道路相关的图像，该情况下，可以设想在道路环境下能够出现的物体(例如，车辆、人、动物、植物、物件、建筑物、如飞机或无人机的飞行物体、其他障碍物)，但是不限定于此，本发明中所提及的各种图像也可以是与道路无关的图像(例如，与非铺装道路、小路、空地、海洋、湖水、江河、大山、树林、沙漠、天空、室内相关的图像)，该情况下，可以设想在非铺装道路、胡同、空地、海洋、湖水、江河、大山、树林、沙漠、天空、室内环境下能够出现的物体(例如，车辆、人、动物、植物、物件、建筑物、如飞机或无人机的飞行物体、其他障碍物)，但是不限定于此。
以下，为了使本领域技术人员能够容易实施本发明，参照附图详细说明本发明的优选实施例。
图1为简要示出根据本发明一实施例执行通过使用强化学习及V2X通信的专注驾驶资源分配来提供安全自动驾驶的方法的计算机结构的图。
参照图1，计算装置(100)包括后面详细说明的结构要素CNN(ConvolutionalNeural Network，卷积神经网络)130、RPN(Region Proposal Network，区域建议网络)140、置信度层150及强化学习智能体160。在此情况下，通过各个通信部110及处理器120来实现CNN130、RPN140、置信度层150及强化学习智能体160的输入输出及通信过程。只是在图1中省略了通信部110及处理器120的具体连接关系。在此情况下，存储器115处于存储后述的多个指令(Instruction)的状态，处理器120被设定为执行存储于存储器115的指令，而处理器120通过实施后面说明的指令来执行本发明的处理。即使如上描述了计算装置100，但是并不排除计算装置100包括用于实施本发明的处理器、媒介、存储器或其他计算要素为组合形态的集成处理器(Integrated Processor)的情况。
所述计算装置100与目标车辆联动操作，并通过设置于目标车辆的至少一个图像传感器获取所拍摄的图像。这些图像传感器以摄像机的形式实现，或者以雷达或激光雷达(Lidar)等深度传感器(Depth Sensor)的形式实现。
以上，说明了根据本发明一实施例执行通过使用强化学习及V2X通信的所述专注驾驶资源分配来提供安全的自动驾驶的方法的计算装置100的结构的图。以下参照图2，说明所述方法本身。
图2为简要示出根据本发明一实施例通过使用强化学习及V2X通信的专注驾驶资源分配来提供安全的自动驾驶的方法的流程图。
参照图2，计算装置100通过目标车辆所搭载的图像传感器，获取与所述目标车辆的周边有关的至少一个环境图像(S100)。之后，计算装置100使CNN130对环境图像适用至少一次CNN运算，而生成与环境图像有关的初始对象信息及初始置信度信息(S200)。之后，计算装置100通过与所述目标车辆的距离在临界值以下的周边对象中的至少一部分之间的V2X通信及所述强化学习智能体(160)的支援，参照所述初始对象信息及所述初始置信度信息，生成与所述环境图像有关的最终对象信息(S300)。
概括性的流程如上所述，以下对此进行更详细地说明。首先，说明环境图像单一的一实施例。
若通过图像传感器获取环境图像，计算装置100使CNN130对环境图像适用CNN运算。其中，若环境图像是通过以摄像机的形式设置的第1图像传感器来获取的，则计算装置100使第1CNN对环境图像适用至少一次第1CNN运算，由此适用CNN运算，该第1CNN对3通道图像最优化且具有3个以上的输入节点(Input Node)。或者，若环境图像是通过以深度传感器(Depth Sensor)形式设置的第2图像传感器来获取的，则计算装置100使第2CNN对环境图像适用至少一次第2CNN运算，由此适用CNN运算，该第2CNN对深度图像最优化且具有一个以上的输入节点。在此情况下，“第1CNN”和“第2CNN”的记号为如上述的特定情况那样用于区分发挥CNN130功能的CNN。同样地，“第1图像传感器”和“第2图像传感器”的记号为如上述的特定情况那样用于区分发挥图像传感器功能的图像传感器。
若通过如上所述的CNN运算获取初始对象信息及初始置信度信息，则计算装置100执行如下的补充运算，由此生成最终对象信息。
即，所述计算装置100使所述强化学习智能体160参照所述初始置信度信息、所述周边对象的基本元信息及所述图像传感器的传感器信息，在所述周边对象中选择一个以上的特定周边对象，该一个以上的特定周边对象与要适用补充运算的所述环境图像中的一个以上的特定目标区域对应。在此情况下，所述强化学习智能体160有可能不选择任何特定周边对象。这样的情况相当于所述强化学习智能体160判断为不存在通过执行所述补充运算来提高置信度分数的特定目标区域的情况。为了执行这样的功能，所述强化学习智能体160进行如下学习。
即，若输入所述初始置信度信息、所述基本元信息及所述传感器信息，则所述强化学习智能体160利用自身的参数选择所述一个以上的特定周边对象。之后，所述强化学习智能体160参照由此获取的所述补充信息生成至少一个奖赏值(reward)。在此情况下，所述奖赏值可以与通过利用所述补充信息来获取对象信息的所述特定目标区域中的至少一部分区域的宽度成比例。作为一例，在所述宽度为预设的临界值以下的情况下，将所述奖赏值计算为0。所述强化学习智能体160使选择所述特定周边对象的各个迭代(iteration)学习所述自身的参数，随着时间的推移，在相应的迭代中更准确地选择所述特定周边对象。这些强化学习智能体160具有与在强化学习理论领域中通常使用的神经网络类似的结构。即，可以是在多层的各个层包括多个虚拟神经元的形态。
以下，说明向所述强化学习智能体160输入的所述基本元信息及所述传感器信息。所述基本元信息包括所述周边车辆的相对位置信息及预定路线信息中的至少一部分。所述相对位置信息通过使相对简单的神经网络对所述环境图像进行处理而检测所述周边对象的大致位置来获取，或者通过执行与所述周边对象之间的V2X通信来获取。并且，所述预定路线信息通过利用所述简单的神经网络来获取，或者通过执行与所述周边对象之间的V2X通信来获取。另一方面，在所述图像传感器为所述摄像机的情况下，所述传感器信息包括视场(FOV，Field-Of-View)信息、内部参数信息、外部参数信息及失真信息中的至少一部分，这些信息可以是预先被输入的。
在此，为了说明所述特定周边对象被选择并与所述计算装置100进行通信的过程，参照图3。
图3为简要示出根据本发明一实施例用于执行通过使用强化学习及V2X通信的专注驾驶资源分配来提供安全的自动驾驶的方法的、从特定周边对象获取补充信息的一例的图。
参照图3，可确认所述目标车辆200、在置信度分数相对低的第1特定目标区域210中包括的示例车辆211、及对第2特定目标区域220进行拍摄的CCTV(闭路电视监控系统)221。所述强化学习智能体160在充分学习的状态下，为了通过所述V2X通信获取与所述第1特定目标区域210及所述第2特定目标区域220有关的附加信息，选择所述示例车辆211作为第1特定周边对象，并选择所述CCTV221作为第2特定周边对象。作为一例，利用从所述示例车辆211获取的、以下说明的特定元数据，也可以利用从所述CCTV221获取的、参照对象信息及参照置信度信息。
即，所述补充信息包括由特定周边对象生成的所述特定元数据、所述参照对象信息及所述参照置信度信息。在此情况下，所述特定元数据包括与所述特定周边对象的位置及速度有关的信息。并且，所述参照对象信息及所述参照置信度信息通过基于图像或雷达/激光雷达执行周边对象检测的所述特定周边对象来生成。如上所述，所述特定周边对象与所述特定目标区域对应。具体地是指，所述特定周边对象的一部分包括在所述特定目标区域中，或者所述特定周边对象的一部分检测的信息，即所述参照对象信息包括与所述特定目标区域内对象有关的信息。因此，所述计算装置100利用所述补充信息补充所述环境图像中可信度低(unconfident)的区域、即所述特定目标区域，由此生成所述最终对象信息。
在生成所述最终对象信息之后，所述计算装置100向自动驾驶模块传送所述最终对象信息，由此支援所述自动驾驶模块，以使其利用所述最终对象信息执行所述目标车辆的自动驾驶。
以上对本发明全面的实施例进行了说明。以下说明用于执行上述实施例而使用的学习CNN130的方法。为此参照图4。
图4为简要示出根据本发明一实施例用于执行通过使用强化学习及V2X通信的专注驾驶资源分配来提供安全的自动驾驶的方法的、CNN的学习处理的流程图。
参照图4，概括性地看出执行对象检测处理的同时，生成表示对象检测可信度的参数即各个置信度分数的学习方法。
作为参考，为了避免混淆，在以下说明中，对与前面说明的学习处理有关的术语追加语句“学习用”，对与测试处理有关的术语追加语句“测试用”。
首先，若获取训练图像，学习装置使CNN130中包括的卷积层对训练图像适用至少一次卷积运算而生成至少一个卷积特征图(S10)。在此情况下，训练图像的几何学的大小为H×W，由于训练图像的格式为RGB图像，所以若训练图像的通道尺寸为3，则训练图像的大小为H×W×3。由于卷积运算使输出的特征图的几何学的大小小于输入的图像，且使输出的特征图的通道数量大于输入的图像的通道数量，所以若卷积特征图的尺寸为h×w×c，则表示卷积特征图的几何学的大小的h和w分别小于H和W，且表示卷积特征图的通道数量的c大于3。
之后，学习装置使RPN140中的锚点层对卷积特征图中包括的值适用锚点运算，而输出被预测为包括训练图像中的对象的区域，即预测ROI(Region-Of-Interest，感兴趣区域)(S20)。具体地说，RPN140对数据大小为h×w×c的卷积特征图适用锚点运算，而生成具有h×w×(5A+1)数据大小的锚点特征图，以便用于生成训练图像中的预测ROI。根据现有技术，锚点特征图的数据尺寸应当生成为h×w×5A的大小，但在本发明的锚点特征图中还包括后面说明的包括RPN置信度分数的一个通道。更详细地说明如下。
学习装置使RPN140锚点层对卷积特征图适用锚点运算而生成数据尺寸为h×w×5A的锚点特征图，该锚点运算为使用与各个锚点集对应的各个滑动窗口(Sliding-Window)的方式。在此情况下，所谓锚点为用于选择与对象对应的卷积特征图的值的一种网格(Grid)，前面说明的A用于表示锚点特征图的数据尺寸，并表示由RPN140使用的锚点的数量。通过执行该处理，使卷积特征图中包括的各个值与对象对应或未决定，该处理的结果，即可将与预测ROI有关的信息存储于锚点特征图。锚点运算是众所周知的，因此省略对其的详细说明。
在执行生成锚点特征图的处理的期间，学习装置使RPN140按照卷积层特征图中包括的各个像素分别生成各个RPN置信度分数，该各个RPN置信度分数分别表示使预测ROI与GT(Ground-Truth)ROI相同的至少一个概率。简而言之，RPN置信度分数为表示由RPN140执行的处理结果的可信度，即表示预测ROI可信度的参数。
为了便于说明，分开表述了决定预测ROI的处理和生成RPN置信度分数的处理，但也可以同时执行两个处理。即，若在RPN140输入卷积特征图，则RPN140中的各个RPN神经元通过执行自身的运算将自身运算的值传送至下一个RPN神经元，由此在最后的层中输出锚点特征图。因此，两个处理相互影响，并以从属的方式执行。但是，两个处理也可以不同时执行。例如，先执行决定预测ROI的处理。
在生成锚点特征图之后，学习装置向CNN130传送包括与预测ROI有关的信息的、锚点特征图中5A个通道值，并向后面说明的置信度层150传送锚点特征图中剩余的一个通道值。首先，如下说明如何处理向CNN130传送的5A个通道值。
在传送所述5A个通道值之后，学习装置使CNN130中的ROI池化层参照与预测ROI有关的信息，对卷积特征图中适用至少一次ROI池化运算，由此生成ROI-池化的特征图(ROI-Pooled Feature Map)(S30)，并使CNN130中的FC层对ROI-池化的特征图中适用至少一次FC运算，由此生成初始对象检测结果及CNN置信度分数。
其中，初始对象检测结果包括各个初始预测CNN回归结果和各个初始预测CNN分类结果，该各个初始预测CNN回归结果与包括各个对象的各个边界框(bounding box)的各个预测坐标有关，该各个初始预测CNN分类结果表示各个类别中包括各个对象的各个概率，且与各个对象的各个类别分数有关。像这样的初始对象检测结果的生成处理与现有技术相同。
此外，CNN置信度分数包括后面说明的与预测对象检测结果和GT对象检测结果相同的程度有关的信息。在此情况下，预测对象检测结果是对初始对象检测结果适用NMS运算生成的。详细地说，各个CNN置信度分数分别表示预测对象检测结果中包括的各个至少一个预测CNN分类结果及各个至少一个预测CNN回归结果与GT对象检测结果中包括的各个至少一个GT CNN分类结果及各个至少一个GT CNN回归结果相同的至少一个概率。简而言之，CNN置信度分数表示由CNN130的FC层生成的结果的可信度。
同时使用RPN置信度分数和CNN置信度分数的原因是，因为由CNN130来处理由RPN140初期决定的预测ROI，由此生成预测对象检测结果。由于两个网络都牵涉生成预测对象检测结果的处理，因此对两个网络应有不同评价。
作为一例，在由RPN140错误地决定特定预测ROI的情况下，CNN130的FC层筛除定错的特定预测ROI。并且，在由RPN140正确地预测特定预测ROI的情况下，CNN130的FC层也可能做出特定预测ROI不包括任何对象的错误决定。在这种情况下，由于RPN140和CNN130可能会错误或正确地执行，因此在评价对象检测处理时，也应考虑此类情况。
与RPN140一样，为方便起见，分开说明了(i)生成初始对象检测结果和与此对应的预测对象检测结果的处理及(ii)生成CNN置信度图的处理，但是两个处理也是同样相互从属的，也可以在FC层中同时执行两个处理。但是也可以独立地执行两个处理。
在生成与预测ROI有关的CNN置信度分数之后，生成包括CNN置信度分数的CNN置信度图。
之后，学习装置使CNN130对初始对象检测结果适用NMS，合并与重复的预测ROI对应的边界框，由此生成预测对象检测结果。随着合并重复的预测ROI，选择与其他预测ROI不重复的与特定预测ROI对应的特定CNN置信度分数。其中，NMS的使用方式是众所周知的，因此省略进一步说明。
另一方面，学习装置使置信度层150获取与RPN置信度图对应的锚点特征图中的一个通道值，通过利用RPN140置信度图，生成具有与训练图像相同的几何学大小H×W的缩放的RPN置信度图。为了生成缩放的RPN置信度图，对于RPN置信度图适用最邻近缩放(NearestNeighbor Size)、双线性缩放(Bilinear Resize)、双立方缩放(Bicubic Resize)及双三次缩放(Lanczos Resize)等缩放运算中的任何运算，以使训练图像中的各个像素与各个RPN置信度分数配对(Pairing)。
获取预测对象检测结果及缩放的RPN置信度图之后，学习装置使置信度层150参照所述预测对象检测结果及所述缩放的RPN置信度图生成综合置信度图。其中，根据以下公式算出综合置信度图中包括的综合置信度分数。
其中，c′xy可表示第X_Y综合置信度分数，cxy可表示与缩放的RPN置信度图中的坐标(x，y)对应的第X_Y缩放的RPN置信度分数。并且，cri可表示在NMS结果中决定的、包括坐标(x，y)且以ri表示的与第i预测ROI有关的第i CNN置信度分数。学习装置使置信度层150利用如上所述地生成的综合置信度分数来生成综合置信度图。
但是，若要准确地生成综合置信度图，则需要学习CNN130及RPN140。以下说明将如何学习这两个网络。
即，学习装置使损失层参照RPN置信度图、CNN置信度图、预测对象检测结果及GT对象检测结果生成至少一个RPN损失及至少一个CNN损失(S40)，并利用RPN损失及CNN损失执行反向传播，由此学习CNN130及RPN140中包括的参数中的至少一部分。以下，对RPN损失及CNN损失进行详细说明。
首先，根据以下公式，生成RPN损失。
其中，Nreg可以是与执行锚点运算而生成的卷积特征图的尺寸对应的常数，Ncls可以是与练图像对应的常数。并且，ci可以表示在RPN置信度分数中与卷积特征图的第i像素对应的第i RPN置信度分数，pi为与所述第i像素对应的第i预测RPN分类结果，可表示与所述第i像素对应的第i GT RPN分类结果。ti为与所述第i像素对应的第i预测RPN回归结果，/>可表示与所述第i像素对应的第i GT RPN回归结果。第i GT RPN分类结果及第i GTRPN回归结果与GT对象检测结果对应。并且，通过利用如平滑-L1损失(Smooth-L1 Loss)等用于生成损失的现有技术中的任何技术来执行Lcls及Lreg。
在上述公式中，公式的第一项表示分类损失，第二项表示回归损失。回归损失项，即第二项为众所周知的现有技术，因此省略对此的说明。以下说明分类损失项，即第一项。
分类损失项包括如上所述的括号内的3个子项。在第一个子项中，条件表示与由RPN140决定的锚点特征图的第i像素对应的第i预测RPN分类结果和第i GT RPN分类结果相同的情况。简而言之，这是RPN140准确地分析卷积特征图的第i像素的情况。为方便起见，在RPN140判断为第i预测RPN分类结果与第i GT RPN分类结果相同的概率超过临界概率时，这里是超过0.5时，认定为RPN140对第i像素“准确”分析的情况。在第一项中，在RPN140准确分析第i像素的情况下，(1.1-ci)使RPN140的参数调整为小于RPN损失，并使第i RPN置信度分数变大。详细地说，如上所示生成的包括第一子项的分类损失项生成梯度(Gradient)，以便调整RPN140的参数，并为了使未来的RPN损失变小而适用。因此，若利用包括第一子项的分类损失项，则在RPN140准确分析RPN置信度特征图的值的情况下，可以生成更大的RPN分数。
在分类损失项的第二项中，条件表示RPN140未准确分析第i像素的情况。在第二子项中，在RPN140未准确分析第i像素的情况下，(0.1+ci)使第i RPN置信度分数变得更小。学习处理的原理与第一子项中前述的其机制相同。
在第三子项中，cilogci使RPN置信度分数的分布与阶梯函数(Step Function)接近。若分类损失项只包括第一子项和第二子项，则最终使RPN置信度分数过拟合(Overfitting)而只包括分布接近于0或1的极端的值。其中，当ci为0.5时，使得cilogci最小化。因而，根据本发明的RPN置信度分数具有包括0和1之间的各种值的分布。能够利用如上所述的包括各种值的RPN置信度分数来处理各种情况，因此需要这样的项。
以上了解了本发明的生成RPN损失的方法，以下了解本发明的生成CNN损失的方法。
Nreg及Ncls为所述预测ROI的数量，ci为与预测ROI中第i预测ROI对应的CNN置信度分数中第i CNN置信度分数。并且，pi为与第i预测ROI对应的第i预测CNN分类结果，为与第i像素对应的第i GT CNN分类结果。此外，ti为与第i预测ROI对应的第i预测CNN回归结果，/>为第i像素对应的第i GT CNN回归结果。第i预测CNN分类结果及第i预测CNN回归结果与预测对象检测结果对应。本公式中的记号与表示RPN损失的记号相同，但如上所述其含义也可以不同。
在如上所述的公式中的CNN损失具有与前述的RPN损失大同小异的结构，但西格玛函数条件是例外。在此情况下，RPN损失并不是pi>0.5，而是满足条件pi＝类别分数中的最大分数(largestscoreamongclassscores)。这是表示pi为与特定类别有关的第i预测CNN分类结果相关的，该特定类别在第i预测ROI内包括特定对象的概率最大。与RPN损失一样，CNN损失中的分类损失项的第一子项表示CNN130准确分析第i预测ROI的情况，第二子项表示CNN130未准确分析第i预测ROI的情况。由于CNN损失和RPN损失相互类似，因此省略以后的说明。
像这样生成CNN损失及RPN损失之后，学习装置使损失层对CNN损失及RPN损失分别进行反向传播，由此学习CNN130及RPN140中包括的参数中的至少一部分。之后，CNN130及RPN140执行用于检测所输入的图像中包括的对象的处理，并更准确地生成与所输入的所述图像对应的CNN置信度分数及RPN置信度分数。
在结束像这样的学习过程之后，学习装置向计算装置100传送CNN130。并且，RPN140及置信度层150从属于CNN130，因此一同传送至计算装置100。CNN130、RPN140及置信度层150利用已完成学习的参数来执行与在学习过程中执行的运算类似的运算。即，若CNN130获取环境图像，则CNN130、RPN140及置信度层150以在学习过程中生成综合置信度图的方式相同方式，与初始对象信息一同生成初始置信度信息。
其中，作为参考说明，参照图5说明CNN130、RPN140、损失层150及置信度层160如何相互联动操作而在对象检测的途中生成置信度分数。
图5为简要示出根据本发明一实施例用于执行通过使用强化学习及V2X通信的专注驾驶资源分配来提供安全的自动驾驶的方法的、包括CNN、RPN、损失层及置信度层的学习装置的结构的图。
参照图5，可确认如下结构，即向CNN130中包括的卷积层131输入学习图像，从卷积层131生成大小为h×w×c的卷积特征图。之后，由RPN140运算卷积特征图，由此RPN140输出大小为h×w×(5A+1)的特征图，该特征图包括ROI的位置(dx，dy，dw，dh)及其RPN置信度分数。像这样的ROI传送至CNN130中包括的ROI池化层(未图示)，由此根据传送的ROI池化卷积特征图。之后，CNN130中包括的FC层132对大小为R×d的ROI池化的特征图进行运算，而生成大小为R×(5C+1)的初始对象检测结果，该初始对象检测结果包括对象的推定位置(x1，y1，x2，y2)、各个类中包括对象的概率及与各个对象对应的像素的CNN置信度分数。最后，CNN130对初始对象检测结果施加NMS运算，由此生成大小为R′×6的预测对象检测结果，该预测对象检测结果包括对象的推定位置(x1，y1，x2，y2)、对象的推定类及与各个类中包括对象的概率相关的信息。其中，R′可表示根据NMS运算而合并的ROI，即对象的位置。此外，与预测对象检测结果一同输出的CNN置信度图与由大小为h×w×1的RPN置信度图生成的缩放的RPN置信度图合并，由此生成大小为H×W×1的综合置信度图。上述过程与前述的学习过程一致。
像这样通过对可信度降低的部分再次适用对象检测，并利用获取的附加信息来支援自动驾驶，从而能够实现更安全的自动驾驶。
以上说明的根据本发明的实施例能够以可通过各种计算机构成要素执行的程序指令的形态体现，并记录于计算机可读取记录介质。所述计算机可读取记录介质能够单独或组合包括程序指令、数据文件、数据结构等。所述计算机可读取记录介质中记录的程序指令可以是为本发明而特别设计的，或者也可以是计算机软件领域的技术人员公知使用的。作为计算机可读取记录介质的例，包括如硬盘、软盘、磁带的磁体介质；如CD-ROM、DVD的光记录介质；如光磁软盘(floptical disk)的磁光介质(magneto-optical media)；及如ROM、RAM、闪存等的用于存储并执行程序指令而特别构成的硬件装置。作为程序指令的例子，不仅包括通过编译而成的机器语言代码，还包括利用解释器的计算机可执行的高级语言代码。所述硬件装置为了执行根据本发明的处理，以一个以上的软件模块运行的方式构成，反之亦然。
以上，通过具体结构要素等特定事项和限定的实施例及附图来说明了本发明，但这仅仅是为了有助于全面地理解本发明而提供的，本发明并不限定于所述实施例，只要是本领域技术人员均能够基于所述记载进行各种修改及变形。
因此，本发明的思想并不限定于如上所述的实施例，后述的权利要求书及与该权利要求书等同或均等变形的所有形态均应包括在本发明的思想范围内。

Claims (22)

1.一种通过利用置信度分数来实现自动驾驶性能的方法，该置信度分数与对象检测处理并行地生成并表示对象检测的可信度，该方法的特征在于，包括如下步骤：
步骤(a)，计算装置通过设置于目标车辆的至少一个图像传感器，获取与所述目标车辆的周边有关的至少一个环境图像；
步骤(b)，所述计算装置使CNN对所述环境图像适用至少一次CNN运算而生成与所述环境图像有关的初始对象信息及初始置信度信息；以及
步骤(c)，所述计算装置通过与离所述目标车辆的距离在临界值以下的周边对象中的至少一部分之间的V2X通信及强化学习智能体的支援，参照所述初始对象信息及所述初始置信度信息，生成与所述环境图像有关的最终对象信息；
在所述步骤(a)之前还包括如下步骤：
步骤(a1)，若获取训练图像，则学习装置使所述CNN中包括的至少一个卷积层对所述训练图像适用至少一次卷积运算，而生成至少一个卷积特征图；
步骤(a2)，所述学习装置对所述卷积特征图适用至少一次锚点运算，由此执行生成所述训练图像中的至少一个预测ROI的处理，同时使RPN中包括的至少一个锚点层按照所述卷积特征图的各个像素分别生成各个RPN置信度分数，该各个RPN置信度分数分别表示所述预测ROI与GT ROI相同的至少一个概率，由此生成包括所述RPN置信度分数的RPN置信度图；
步骤(a3)，若获取至少一个ROI池化的特征图，该至少一个ROI池化的特征图通过所述CNN中包括的ROI池化层并利用所述卷积特征图及所述预测ROI而生成，则所述学习装置执行利用所述ROI池化的特征图生成预测对象检测结果的处理，同时使所述CNN中包括的FC层按照各个所述预测ROI分别生成各个CNN置信度分数，该各个CNN置信度分数分别表示预测所述预测对象检测结果中包括的各个预测CNN分类结果及各个预测CNN回归结果与GT对象检测结果中包括的各个GT CNN分类结果和各个GT CNN回归结果相同的至少一个概率，由此生成包括所述CNN置信度分数的CNN置信度图；以及
步骤(a4)，所述学习装置使损失层参照所述RPN置信度图、所述CNN置信度图、所述预测对象检测结果及所述GT对象检测结果生成至少一个RPN损失及至少一个CNN损失，并利用所述RPN损失及所述CNN损失执行反向传播，由此学习所述CNN及所述RPN中包括的参数的至少一部分；
在所述步骤(a4)中，所述学习装置使所述损失层根据以下公式生成所述RPN损失，
Nreg为与执行锚点运算而生成的所述卷积特征图的大小对应的常数，Ncls为与所述训练图像对应的常数，ci为在所述RPN置信度分数中与所述卷积特征图的第i像素对应的第iRPN置信度分数，pi为与所述第i像素对应的第i预测RPN分类结果，为与所述第i像素对应的第i GT RPN分类结果，ti为所述第i像素对应的第i预测RPN回归结果，/>为与所述第i像素对应的第i GT RPN回归结果，
所述第i GT RPN分类结果及所述第i GT RPN回归结果与所述GT对象检测结果对应。
2.根据权利要求1所述的方法，其特征在于，在所述步骤(c)中，所述计算装置使所述强化学习智能体(i)参照所述初始置信度信息、所述周边对象的基本元信息及所述图像传感器的传感器信息，在所述周边对象中选择一个以上的特定周边对象，该一个以上的特定周边对象与要适用补充运算的所述环境图像中的一个以上的特定目标区域对应，(ii)通过与所述特定周边对象之间的所述V2X通信，获取补充信息，(iii)利用所述补充信息来调整所述初始对象信息，由此生成所述最终对象信息。
3.根据权利要求2所述的方法，其特征在于，若向所述强化学习智能体输入所述初始置信度信息、所述基本元信息及所述传感器信息，则所述强化学习智能体(i)利用自身的参数选择所述一个以上的特定周边对象，(ii)参照所述补充信息生成至少一个奖赏值，(iii)参照所述奖赏值学习所述参数的至少一部分。
4.根据权利要求2所述的方法，其特征在于，所述计算装置使所述强化学习智能体利用(i)所述基本元信息中包括的周边车辆的相对位置信息及预定路线信息，(ii)所述传感器信息中包括的视场信息、内部参数信息、外部参数信息及失真信息，以及(iii)所述初始置信度信息中的至少一部分，来决定是否选择所述一个以上的特定周边对象。
5.根据权利要求2所述的方法，其特征在于，所述计算装置参照补充信息及所述特定周边对象的特定元数据来调整所述初始对象信息，由此生成所述最终对象信息，该补充信息包括由所述特定周边对象生成的参照对象信息及参照置信度信息中的至少一部分，所述特定周边对象执行与自身的周边对象有关的对象检测而生成所述参照对象信息及所述参照置信度信息。
6.根据权利要求1所述的方法，其特征在于，还包括步骤(d)，所述计算装置向自动驾驶模块传送所述最终对象信息，由此使所述自动驾驶模块利用所述最终对象信息执行所述目标车辆的自动驾驶。
7.一种通过利用置信度分数来实现自动驾驶性能的方法，该置信度分数与对象检测处理并行地生成并表示对象检测的可信度，该方法的特征在于，包括如下步骤：
步骤(a)，计算装置通过设置于目标车辆的至少一个图像传感器，获取与所述目标车辆的周边有关的至少一个环境图像；
步骤(b)，所述计算装置使CNN对所述环境图像适用至少一次CNN运算而生成与所述环境图像有关的初始对象信息及初始置信度信息；以及
步骤(c)，所述计算装置通过与离所述目标车辆的距离在临界值以下的周边对象中的至少一部分之间的V2X通信及强化学习智能体的支援，参照所述初始对象信息及所述初始置信度信息，生成与所述环境图像有关的最终对象信息；
在所述步骤(a)之前还包括如下步骤：
步骤(a1)，若获取训练图像，则学习装置使所述CNN中包括的至少一个卷积层对所述训练图像适用至少一次卷积运算，而生成至少一个卷积特征图；
步骤(a2)，所述学习装置对所述卷积特征图适用至少一次锚点运算，由此执行生成所述训练图像中的至少一个预测ROI的处理，同时使RPN中包括的至少一个锚点层按照所述卷积特征图的各个像素分别生成各个RPN置信度分数，该各个RPN置信度分数分别表示所述预测ROI与GT ROI相同的至少一个概率，由此生成包括所述RPN置信度分数的RPN置信度图；
步骤(a3)，若获取至少一个ROI池化的特征图，该至少一个ROI池化的特征图通过所述CNN中包括的ROI池化层并利用所述卷积特征图及所述预测ROI而生成，则所述学习装置执行利用所述ROI池化的特征图生成预测对象检测结果的处理，同时使所述CNN中包括的FC层按照各个所述预测ROI分别生成各个CNN置信度分数，该各个CNN置信度分数分别表示预测所述预测对象检测结果中包括的各个预测CNN分类结果及各个预测CNN回归结果与GT对象检测结果中包括的各个GT CNN分类结果和各个GT CNN回归结果相同的至少一个概率，由此生成包括所述CNN置信度分数的CNN置信度图；以及
步骤(a4)，所述学习装置使损失层参照所述RPN置信度图、所述CNN置信度图、所述预测对象检测结果及所述GT对象检测结果生成至少一个RPN损失及至少一个CNN损失，并利用所述RPN损失及所述CNN损失执行反向传播，由此学习所述CNN及所述RPN中包括的参数的至少一部分；
在所述步骤(a4)中，所述学习装置使所述损失层根据以下公式生成所述CNN损失，
Nreg及Ncls为所述预测ROI的数量，ci为在所述CNN置信度分数中与选自所述预测ROI的第i预测ROI对应的第i CNN置信度分数，pi为与所述第i预测ROI对应的第i预测CNN分类结果，为与所述第i像素对应的第i GT CNN分类结果，ti为与所述第i预测ROI对应的第i预测CNN回归结果，/>为与所述第i像素对应的第i GT CNN回归结果，
所述第i预测CNN分类结果及所述第i预测CNN回归结果与所述预测对象检测结果对应。
8.一种通过利用置信度分数来实现自动驾驶性能的方法，该置信度分数与对象检测处理并行地生成并表示对象检测的可信度，该方法的特征在于，包括如下步骤：
步骤(a)，计算装置通过设置于目标车辆的至少一个图像传感器，获取与所述目标车辆的周边有关的至少一个环境图像；
步骤(b)，所述计算装置使CNN对所述环境图像适用至少一次CNN运算而生成与所述环境图像有关的初始对象信息及初始置信度信息；以及
步骤(c)，所述计算装置通过与离所述目标车辆的距离在临界值以下的周边对象中的至少一部分之间的V2X通信及强化学习智能体的支援，参照所述初始对象信息及所述初始置信度信息，生成与所述环境图像有关的最终对象信息；
在所述步骤(a)之前还包括如下步骤：
步骤(a1)，若获取训练图像，则学习装置使所述CNN中包括的至少一个卷积层对所述训练图像适用至少一次卷积运算，而生成至少一个卷积特征图；
步骤(a2)，所述学习装置对所述卷积特征图适用至少一次锚点运算，由此执行生成所述训练图像中的至少一个预测ROI的处理，同时使RPN中包括的至少一个锚点层按照所述卷积特征图的各个像素分别生成各个RPN置信度分数，该各个RPN置信度分数分别表示所述预测ROI与GT ROI相同的至少一个概率，由此生成包括所述RPN置信度分数的RPN置信度图；
步骤(a3)，若获取至少一个ROI池化的特征图，该至少一个ROI池化的特征图通过所述CNN中包括的ROI池化层并利用所述卷积特征图及所述预测ROI而生成，则所述学习装置执行利用所述ROI池化的特征图生成预测对象检测结果的处理，同时使所述CNN中包括的FC层按照各个所述预测ROI分别生成各个CNN置信度分数，该各个CNN置信度分数分别表示预测所述预测对象检测结果中包括的各个预测CNN分类结果及各个预测CNN回归结果与GT对象检测结果中包括的各个GT CNN分类结果和各个GT CNN回归结果相同的至少一个概率，由此生成包括所述CNN置信度分数的CNN置信度图；以及
步骤(a4)，所述学习装置使损失层参照所述RPN置信度图、所述CNN置信度图、所述预测对象检测结果及所述GT对象检测结果生成至少一个RPN损失及至少一个CNN损失，并利用所述RPN损失及所述CNN损失执行反向传播，由此学习所述CNN及所述RPN中包括的参数的至少一部分；
在所述步骤(a3)之后，所述学习装置使置信度层参照所述RPN置信度图及所述CNN置信度图生成综合置信度图，该综合置信度图包括按照所述训练图像中的各个像素的与各个综合置信度分数有关的信息。
9.根据权利要求8所述的方法，其特征在于，所述学习装置使所述置信度层执行如下处理：
(i-1)从所述CNN获取与所述预测ROI有关的NMS结果，该NMS结果是执行生成所述预测对象检测结果的处理的过程中生成的；
(i-2)对所述RPN置信度图适用至少一次缩放运算而生成缩放的RPN置信度图；以及
(ii)参照所述NMS结果及所述缩放的RPN置信度图而生成所述综合置信度图。
10.根据权利要求9所述的方法，其特征在于，所述学习装置使所述置信度层根据以下公式生成在所述综合置信度分数中与所述训练图像中的坐标(x，y)对应的第X_Y综合置信度分数，
c′xy为所述第X_Y综合置信度分数，cxy为所述缩放的RPN置信度图中与所述坐标(x，y)对应的第X_Y缩放的RPN置信度分数，为在所述NMS结果中决定的、包括所述坐标(x，y)并以ri表示的与第i预测ROI有关的第i CNN置信度分数。
11.一种通过利用置信度分数来实现自动驾驶性能的方法，该置信度分数与对象检测处理并行地生成并表示对象检测的可信度，该方法的特征在于，包括如下步骤：
步骤(a)，计算装置通过设置于目标车辆的至少一个图像传感器，获取与所述目标车辆的周边有关的至少一个环境图像；
步骤(b)，所述计算装置使CNN对所述环境图像适用至少一次CNN运算而生成与所述环境图像有关的初始对象信息及初始置信度信息；以及
步骤(c)，所述计算装置通过与离所述目标车辆的距离在临界值以下的周边对象中的至少一部分之间的V2X通信及强化学习智能体的支援，参照所述初始对象信息及所述初始置信度信息，生成与所述环境图像有关的最终对象信息；
所述步骤(b)还包括如下步骤：
步骤(b1)，若获取所述环境图像，则所述计算装置使所述CNN中包括的至少一个卷积层对所述环境图像适用至少一次卷积运算而生成至少一个卷积特征图；
步骤(b2)，所述计算装置对所述卷积特征图适用至少一次锚点运算，由此执行用于生成所述环境图像中的至少一个预测ROI的处理，同时使RPN中包括的至少一个锚点层根据所述卷积特征图的各个像素分别生成各自的RPN置信度分数，所述各自的RPN置信度分数表示使所述预测ROI与GTROI相同的各自的概率，由此生成包括所述RPN置信度分数的RPN置信度图；
步骤(b3)，若获取至少一个ROI池化的特征图，该至少一个ROI池化的特征图通过所述CNN中包括的ROI池化层并利用所述卷积特征图及所述预测ROI而生成，则所述计算装置执行利用所述ROI池化的特征图生成预测对象检测结果的处理，同时使所述CNN中包括的FC层按照各个所述预测ROI分别生成各个CNN置信度分数，该各个CNN置信度分数分别表示预测所述预测对象检测结果中包括的各个预测CNN分类结果及各个预测CNN回归结果与GT对象检测结果中包括的各个GT CNN分类结果及各个GT CNN回归结果相同的概率，由此生成包括所述CNN置信度分数的CNN置信度图；以及
步骤(b4)，所述计算装置使与所述CNN联动操作的置信度层参照所述RPN置信度图及所述CNN置信度图生成综合置信度图，
所述计算装置使所述CNN输出包括所述预测对象检测结果的所述初始对象信息及包括所述综合置信度图的所述初始置信度信息。
12.一种通过利用置信度分数来实现自动驾驶性能的计算装置，所述置信度分数与对象检测处理并列地生成，并表示对象检测的可信度，其特征在于，包括：
至少一个存储器，其用于存储指令；以及
至少一个处理器，其构成能够实施所述指令，该指令用于执行如下处理：处理(I)，通过设置于目标车辆的至少一个图像传感器，获取与所述目标车辆的周边有关的至少一个环境图像；处理(II)，使CNN对所述环境图像适用至少一次CNN运算而生成与所述环境图像有关的初始对象信息及初始置信度信息，以及处理(III)，通过与离所述目标车辆的距离在临界值以下的周边对象中的至少一部分之间的V2X通信及强化学习智能体的支援，参照所述初始对象信息及所述初始置信度信息，生成与所述环境图像有关的最终对象信息；
在所述处理(I)之前还包括执行如下处理来学习所述CNN：
处理(I1)，若获取训练图像，则学习装置使所述CNN中包括的至少一个卷积层对所述训练图像适用至少一次卷积运算，而生成至少一个卷积特征图；
处理(I2)，所述学习装置对所述卷积特征图适用至少一次锚点运算，由此执行生成所述训练图像中的预测ROI的处理，同时使RPN中包括的至少一个锚点层按照所述卷积特征图的各个像素分别生成各个RPN置信度分数，该各个RPN置信度分数分别表示所述预测ROI与GT ROI相同的至少一个概率，由此生成包括所述RPN置信度分数的RPN置信度图；
处理(I3)，若获取至少一个ROI池化的特征图，该至少一个ROI池化的特征图通过所述CNN中包括的ROI池化层并利用所述卷积特征图及所述预测ROI而生成，则所述学习装置执行利用所述ROI池化的特征图执行生成预测对象检测结果的处理，同时使所述CNN中包括的FC层按照各个所述预测ROI分别生成各个CNN置信度分数，该各个CNN置信度分数分别表示预测所述预测对象检测结果中包括的各个预测CNN分类结果及各个CNN回归结果与GT对象检测结果中包括的各个GTCNN分类结果及各个GTCNN回归结果相同的至少一个概率，由此生成包括所述CNN置信度分数的CNN置信度图；以及
处理(I4)，所述学习装置使损失层参照所述RPN置信度图、所述CNN置信度图、所述预测对象检测结果及所述GT对象检测结果生成至少一个RPN损失及至少一个CNN损失，并利用所述RPN损失及所述CNN损失执行反向传播，由此学习所述CNN及所述RPN中包括的参数的至少一部分；
在所述处理(I4)中，所述学习装置使所述损失层根据以下公式生成所述RPN损失，
Nreg为与执行锚点运算而生成的所述卷积特征图的大小对应的常数，Ncls为与所述训练图像对应的常数，ci为在所述RPN置信度分数中，与所述卷积特征图的第i像素对应的第iRPN置信度分数，pi为与所述第i像素对应的第i预测RPN分类结果，为与所述第i像素对应的第i GT RPN分类结果，ti为所述第i像素对应的第i预测RPN回归结果，/>为与所述第i像素对应的第i GT RPN回归结果，
所述第i GT RPN分类结果及所述第i GT RPN回归结果与所述GT对象检测结果对应。
13.根据权利要求12所述的装置，其特征在于，在所述处理(III)中，所述处理器使所述强化学习智能体(i)参照所述初始置信度信息、所述周边对象的基本元信息及所述图像传感器的传感器信息，在所述周边对象中选择一个以上的特定周边对象，该一个以上的特定周边对象与要适用补充运算的所述环境图像中的一个以上的特定目标区域对应，(ii)通过与所述特定周边对象之间的所述V2X通信，获取补充信息，(iii)利用所述补充信息来调整所述初始对象信息，由此生成所述最终对象信息。
14.根据权利要求13所述的装置，其特征在于，若向所述强化学习智能体输入所述初始置信度信息、所述基本元信息及所述传感器信息，则所述强化学习智能体(i)利用自身的参数选择所述一个以上的特定周边对象，(ii)参照所述补充信息生成至少一个奖赏值，(iii)参照所述奖赏值学习所述参数的至少一部分。
15.根据权利要求13所述的装置，其特征在于，所述处理器使所述强化学习智能体利用(i)所述基本元信息中包括的周边车辆的相对位置信息及预定路线信息，(ii)所述传感器信息中包括的视场信息、内部参数信息、外部参数信息及失真信息，以及(iii)所述初始置信度信息中的至少一部分，来决定是否选择所述一个以上的特定周边对象。
16.根据权利要求13所述的装置，其特征在于，所述处理器参照补充信息及所述特定周边对象的特定元数据来调整所述初始对象信息，由此生成所述最终对象信息，该补充信息包括由所述特定周边对象生成的参照对象信息及参照置信度信息中的至少一部分，所述特定周边对象执行与自身的周边对象有关的对象检测而生成所述参照对象信息及所述参照置信度信息。
17.根据权利要求12所述的装置，其特征在于，所述处理器还执行处理(IV)，向自动驾驶模块传送所述最终对象信息，由此使所述自动驾驶模块利用所述最终对象信息执行所述目标车辆的自动驾驶。
18.一种通过利用置信度分数来实现自动驾驶性能的计算装置，所述置信度分数与对象检测处理并列地生成，并表示对象检测的可信度，其特征在于，包括：
至少一个存储器，其用于存储指令；以及
至少一个处理器，其构成能够实施所述指令，该指令用于执行如下处理：处理(I)，通过设置于目标车辆的至少一个图像传感器，获取与所述目标车辆的周边有关的至少一个环境图像；处理(II)，使CNN对所述环境图像适用至少一次CNN运算而生成与所述环境图像有关的初始对象信息及初始置信度信息，以及处理(III)，通过与离所述目标车辆的距离在临界值以下的周边对象中的至少一部分之间的V2X通信及强化学习智能体的支援，参照所述初始对象信息及所述初始置信度信息，生成与所述环境图像有关的最终对象信息；
在所述处理(I)之前还包括执行如下处理来学习所述CNN：
处理(I1)，若获取训练图像，则学习装置使所述CNN中包括的至少一个卷积层对所述训练图像适用至少一次卷积运算，而生成至少一个卷积特征图；
处理(I2)，所述学习装置对所述卷积特征图适用至少一次锚点运算，由此执行生成所述训练图像中的至少一个预测ROI的处理，同时使RPN中包括的至少一个锚点层按照所述卷积特征图的各个像素分别生成各个RPN置信度分数，该各个RPN置信度分数分别表示所述预测ROI与GT ROI相同的至少一个概率，由此生成包括所述RPN置信度分数的RPN置信度图；
处理(I3)，若获取至少一个ROI池化的特征图，该至少一个ROI池化的特征图通过所述CNN中包括的ROI池化层并利用所述卷积特征图及所述预测ROI而生成，则所述学习装置执行利用所述ROI池化的特征图执行生成预测对象检测结果的处理，同时使所述CNN中包括的FC层按照各个所述预测ROI分别生成各个CNN置信度分数，该各个CNN置信度分数分别表示预测所述预测对象检测结果中包括的各个预测CNN分类结果及各个预测CNN回归结果与GT对象检测结果中包括的各个GTCNN分类结果及各个GTCNN回归结果相同的至少一个概率，由此生成包括所述CNN置信度分数的CNN置信度图；以及
处理(I4)，所述学习装置使损失层参照所述RPN置信度图、所述CNN置信度图、所述预测对象检测结果及所述GT对象检测结果生成至少一个RPN损失及至少一个CNN损失，并利用所述RPN损失及所述CNN损失执行反向传播，由此学习所述CNN及所述RPN中包括的参数的至少一部分；
在所述处理(I4)中，所述学习装置使所述损失层根据以下公式生成所述CNN损失，
Nreg及Ncls为所述预测ROI的数量，ci为在所述CNN置信度分数中与选自所述预测ROI的第i预测ROI对应的第i CNN置信度分数，pi为与所述第i预测ROI对应的第i预测CNN分类结果，为与所述第i像素对应的第i GT CNN分类结果，ti为与所述第i预测ROI对应的第i预测CNN回归结果，/>为与所述第i像素对应的第i GT CNN回归结果，
所述第i预测CNN分类结果及所述第i预测CNN回归结果与所述预测对象检测结果对应。
19.一种通过利用置信度分数来实现自动驾驶性能的计算装置，所述置信度分数与对象检测处理并列地生成，并表示对象检测的可信度，其特征在于，包括：
至少一个存储器，其用于存储指令；以及
至少一个处理器，其构成能够实施所述指令，该指令用于执行如下处理：处理(I)，通过设置于目标车辆的至少一个图像传感器，获取与所述目标车辆的周边有关的至少一个环境图像；处理(II)，使CNN对所述环境图像适用至少一次CNN运算而生成与所述环境图像有关的初始对象信息及初始置信度信息，以及处理(III)，通过与离所述目标车辆的距离在临界值以下的周边对象中的至少一部分之间的V2X通信及强化学习智能体的支援，参照所述初始对象信息及所述初始置信度信息，生成与所述环境图像有关的最终对象信息；
在所述处理(I)之前还包括执行如下处理来学习所述CNN：
处理(I1)，若获取训练图像，则学习装置使所述CNN中包括的至少一个卷积层对所述训练图像适用至少一次卷积运算，而生成至少一个卷积特征图；
处理(I2)，所述学习装置对所述卷积特征图适用至少一次锚点运算，由此执行生成所述训练图像中的至少一个预测ROI的处理，同时使RPN中包括的至少一个锚点层按照所述卷积特征图的各个像素分别生成各个RPN置信度分数，该各个RPN置信度分数分别表示所述预测ROI与GT ROI相同的至少一个概率，由此生成包括所述RPN置信度分数的RPN置信度图；
处理(I3)，若获取至少一个ROI池化的特征图，该至少一个ROI池化的特征图通过所述CNN中包括的ROI池化层并利用所述卷积特征图及所述预测ROI而生成，则所述学习装置执行利用所述ROI池化的特征图执行生成预测对象检测结果的处理，同时使所述CNN中包括的FC层按照各个所述预测ROI分别生成各个CNN置信度分数，该各个CNN置信度分数分别表示预测所述预测对象检测结果中包括的各个预测CNN分类结果及各个预测CNN回归结果与GT对象检测结果中包括的各个GTCNN分类结果及各个GTCNN回归结果相同的至少一个概率，由此生成包括所述CNN置信度分数的CNN置信度图；以及
处理(I4)，所述学习装置使损失层参照所述RPN置信度图、所述CNN置信度图、所述预测对象检测结果及所述GT对象检测结果生成至少一个RPN损失及至少一个CNN损失，并利用所述RPN损失及所述CNN损失执行反向传播，由此学习所述CNN及所述RPN中包括的参数的至少一部分；
在所述处理(I3)之后，所述学习装置使置信度层参照所述RPN置信度图及所述CNN置信度图生成综合置信度图，该综合置信度图包括按照所述训练图像中的各个像素的与各个综合置信度分数有关的信息。
20.根据权利要求19所述的装置，其特征在于，所述学习装置使所述置信度层执行如下处理：
(i-1)从所述CNN获取与所述预测ROI有关的NMS结果，该NMS结果是执行生成所述预测对象检测结果的处理的过程中生成的；
(i-2)对所述RPN置信度图适用至少一次缩放运算而生成缩放的RPN置信度图；以及
(ii)参照所述NMS结果及所述缩放的RPN置信度图而生成所述综合置信度图。
21.根据权利要求20所述的装置，其特征在于，所述学习装置使所述置信度层根据以下公式生成所述综合置信度分数中与所述训练图像中的坐标(x，y)对应的第X_Y综合置信度分数，
c′xy为所述第X_Y综合置信度分数，cxy为与所述缩放的RPN置信度图中的所述坐标(x，y)对应的第X_Y缩放的RPN置信度分数，为在所述NMS结果中决定的、包括所述坐标(x，y)并以ri表示的与第i预测ROI有关的第i CNN置信度分数。
22.一种通过利用置信度分数来实现自动驾驶性能的计算装置，所述置信度分数与对象检测处理并列地生成，并表示对象检测的可信度，其特征在于，包括：
至少一个存储器，其用于存储指令；以及
至少一个处理器，其构成能够实施所述指令，该指令用于执行如下处理：处理(I)，通过设置于目标车辆的至少一个图像传感器，获取与所述目标车辆的周边有关的至少一个环境图像；处理(II)，使CNN对所述环境图像适用至少一次CNN运算而生成与所述环境图像有关的初始对象信息及初始置信度信息，以及处理(III)，通过与离所述目标车辆的距离在临界值以下的周边对象中的至少一部分之间的V2X通信及强化学习智能体的支援，参照所述初始对象信息及所述初始置信度信息，生成与所述环境图像有关的最终对象信息；
所述处理(II)还包括如下处理：
处理(II1)，若获取所述环境图像，则使所述CNN中包括的至少一个卷积层对所述环境图像适用至少一次卷积运算而生成至少一个卷积特征图；
处理(II2)，对所述卷积特征图适用至少一次锚点运算，由此执行用于生成所述环境图像中的至少一个预测ROI的处理，同时使RPN中包括的至少一个锚点层按照所述卷积特征图的各个像素分别生成各个RPN置信度分数，该各个RPN置信度分数分别表示使所述预测ROI与GTROI相同的至少一个概率，由此生成包括所述RPN置信度分数的RPN置信度图；
处理(II3)，若获取至少一个ROI池化的特征图，该至少一个ROI池化的特征图通过所述CNN中包括的ROI池化层并利用所述卷积特征图及所述预测ROI而生成，则执行利用所述ROI池化的特征图生成预测对象检测结果的处理，同时使所述CNN中包括的FC层按照各个所述预测ROI分别生成各个CNN置信度分数，该各个CNN置信度分数分别表示预测所述预测对象检测结果中包括的各个预测CNN分类结果及各个预测CNN回归结果与GT对象检测结果中包括的各个GT CNN分类结果及各个GT CNN回归结果相同的至少一个概率，由此生成包括所述CNN置信度分数的CNN置信度图；以及
处理(II4)，使与所述CNN联动操作的置信度层参照所述RPN置信度图及所述CNN置信度图生成综合置信度图，
所述处理器使所述CNN输出包括所述预测对象检测结果的所述初始对象信息及包括所述综合置信度图的所述初始置信度信息。
CN202010069505.9A 2019-01-31 2020-01-21 提供自动驾驶安全性的方法和装置 Active CN111507159B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962799332P 2019-01-31 2019-01-31
US62/799,332 2019-01-31
US16/738,749 2020-01-09
US16/738,749 US11010668B2 (en) 2019-01-31 2020-01-09 Method and device for attention-driven resource allocation by using reinforcement learning and V2X communication to thereby achieve safety of autonomous driving

Publications (2)

Publication Number Publication Date
CN111507159A CN111507159A (zh) 2020-08-07
CN111507159B true CN111507159B (zh) 2023-12-01

Family

ID=69191989

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010069505.9A Active CN111507159B (zh) 2019-01-31 2020-01-21 提供自动驾驶安全性的方法和装置

Country Status (5)

Country Link
US (1) US11010668B2 (zh)
EP (1) EP3690731A3 (zh)
JP (1) JP6941386B2 (zh)
KR (1) KR102396274B1 (zh)
CN (1) CN111507159B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3805986A1 (en) * 2019-10-07 2021-04-14 Robert Bosch GmbH Method for measuring the boundary performance of a semantic segmentation network
WO2022039319A1 (ko) * 2020-08-21 2022-02-24 (주)와토시스 개인정보 비식별화 처리 방법, 검증 방법 및 시스템
KR20230066018A (ko) * 2020-10-06 2023-05-12 엘지전자 주식회사 자율 주행 시스템에서 v2x 통신 장치의 강화 학습 수행 방법
JP2023550776A (ja) * 2020-11-30 2023-12-05 エヌイーシー ラボラトリーズ アメリカ インク 自己最適化ビデオ分析パイプライン
CN112616131B (zh) * 2020-12-11 2022-05-13 北京邮电大学 一种基于视频内容优先级的车联网资源分配方法
KR102574540B1 (ko) * 2022-11-22 2023-09-07 (주)와토시스 영상 내 개인정보 영역 검출 방법 및 시스템
CN116030438B (zh) * 2023-03-30 2023-06-23 斯润天朗（北京）科技有限公司 基于时间同步的协作式感知方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2940545A1 (en) * 2014-04-30 2015-11-04 HERE Global B.V. Mode transition for an autonomous vehicle
CN106945669A (zh) * 2016-01-06 2017-07-14 通用汽车环球科技运作有限责任公司 在交通十字路口处确定驾驶员意图以避免汽车碰撞
CN107730904A (zh) * 2017-06-13 2018-02-23 银江股份有限公司 基于深度卷积神经网络的多任务车辆逆向行驶视觉检测系统
US9946960B1 (en) * 2017-10-13 2018-04-17 StradVision, Inc. Method for acquiring bounding box corresponding to an object in an image by using convolutional neural network including tracking network and computing device using the same
CN108830188A (zh) * 2018-05-30 2018-11-16 西安理工大学 基于深度学习的车辆检测方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2574958B1 (en) * 2011-09-28 2017-02-22 Honda Research Institute Europe GmbH Road-terrain detection method and system for driver assistance systems
US9965719B2 (en) * 2015-11-04 2018-05-08 Nec Corporation Subcategory-aware convolutional neural networks for object detection
US9858496B2 (en) * 2016-01-20 2018-01-02 Microsoft Technology Licensing, Llc Object detection and classification in images
US20180053102A1 (en) * 2016-08-16 2018-02-22 Toyota Jidosha Kabushiki Kaisha Individualized Adaptation of Driver Action Prediction Models
US11120353B2 (en) * 2016-08-16 2021-09-14 Toyota Jidosha Kabushiki Kaisha Efficient driver action prediction system based on temporal fusion of sensor data using deep (bidirectional) recurrent neural network
US10209718B2 (en) * 2017-03-14 2019-02-19 Starsky Robotics, Inc. Vehicle sensor system and method of use
JP7005933B2 (ja) * 2017-05-09 2022-01-24 オムロン株式会社 運転者監視装置、及び運転者監視方法
CN109241982B (zh) 2018-09-06 2021-01-29 广西师范大学 基于深浅层卷积神经网络的目标检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2940545A1 (en) * 2014-04-30 2015-11-04 HERE Global B.V. Mode transition for an autonomous vehicle
CN106945669A (zh) * 2016-01-06 2017-07-14 通用汽车环球科技运作有限责任公司 在交通十字路口处确定驾驶员意图以避免汽车碰撞
CN107730904A (zh) * 2017-06-13 2018-02-23 银江股份有限公司 基于深度卷积神经网络的多任务车辆逆向行驶视觉检测系统
US9946960B1 (en) * 2017-10-13 2018-04-17 StradVision, Inc. Method for acquiring bounding box corresponding to an object in an image by using convolutional neural network including tracking network and computing device using the same
CN108830188A (zh) * 2018-05-30 2018-11-16 西安理工大学 基于深度学习的车辆检测方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Nima Tajbakhsh，等.Convolutional Neural Networks for Medical Image Analysis: Full Training or Fine Tuning?.《IEEE Transactions on Medical Imaging》.2016,第35卷(第35期),第1301、1306、1307页，图8. *
Shaoqing Ren，等.Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks.IEEE Transactions on Pattern Analysis and Machine Intelligence》.2016,第39卷(第39期),第1138-1140页. *
Varuna De Silva，等.An Agent-Based Modelling Framework for Driving Policy Learning in Connected and Autonomous Vehicles.《Proceedings of SAI Intelligent Systems Conference ，IntelliSys 2018: Intelligent Systems and Applications》.2018,第1-3页、图1. *
Vipin Kumar Kukkala，等.Advanced Driver-Assistance Systems: A Path Toward Autonomous Vehicles.《 IEEE Consumer Electronics Magazine》.2018,第7卷(第7期),第19、22-24页、图1、4、5. *
高速公路车路协同智能交互体系自动驾驶技术探究;童星;;中国交通信息化(第07期);第83-85页 *

Also Published As

Publication number Publication date
EP3690731A2 (en) 2020-08-05
KR102396274B1 (ko) 2022-05-11
US11010668B2 (en) 2021-05-18
KR20200096132A (ko) 2020-08-11
CN111507159A (zh) 2020-08-07
EP3690731A3 (en) 2020-10-28
JP6941386B2 (ja) 2021-09-29
US20200250526A1 (en) 2020-08-06
JP2020126640A (ja) 2020-08-20

Similar Documents

Publication Publication Date Title
CN111507159B (zh) 提供自动驾驶安全性的方法和装置
CN111507167B (zh) 以avm与强化学习实现注意力驱动资源分配的方法和装置
CN111507166B (zh) 通过一起使用照相机和雷达来学习cnn的方法及装置
CN111507157B (zh) 基于强化学习而在自动驾驶时优化资源分配的方法及装置
KR20190026116A (ko) 객체 인식 방법 및 장치
US11010622B2 (en) Infrastructure-free NLoS obstacle detection for autonomous cars
CN111507152B (zh) 基于内置独立型预测来转换自动驾驶模式的方法及装置
EP3686837B1 (en) Learning method and learning device for reducing distortion occurred in warped image generated in process of stabilizing jittered image by using gan to enhance fault tolerance and fluctuation robustness in extreme situations
US10402686B1 (en) Learning method and learning device for object detector to be used for surveillance based on convolutional neural network capable of converting modes according to scales of objects, and testing method and testing device using the same
CN111507169B (zh) 以avm实现注意力驱动资源分配的方法及装置
US10373004B1 (en) Method and device for detecting lane elements to plan the drive path of autonomous vehicle by using a horizontal filter mask, wherein the lane elements are unit regions including pixels of lanes in an input image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant