CN115136149A - 信息处理装置、车载控制装置 - Google Patents

信息处理装置、车载控制装置 Download PDF

Info

Publication number
CN115136149A
CN115136149A CN202180014851.XA CN202180014851A CN115136149A CN 115136149 A CN115136149 A CN 115136149A CN 202180014851 A CN202180014851 A CN 202180014851A CN 115136149 A CN115136149 A CN 115136149A
Authority
CN
China
Prior art keywords
unit
feature map
arithmetic
region
calculation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180014851.XA
Other languages
English (en)
Inventor
平井理宇
伊藤浩朗
内田洋生
小野豪一
岸本真
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Astemo Ltd
Original Assignee
Hitachi Astemo Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Astemo Ltd filed Critical Hitachi Astemo Ltd
Publication of CN115136149A publication Critical patent/CN115136149A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Neurology (AREA)
  • Image Analysis (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

本发明的信息处理装置是一种执行由多个层构成的神经网络下的DNN运算的信息处理装置，其针对输入至所述神经网络的特征图中的第1区域和不同于所述第1区域的第2区域的各自，执行与所述神经网络的规定层相对应的运算处理，并将针对所述第1区域的所述运算处理的结果与针对所述第2区域的所述运算处理的结果进行统合而作为针对所述特征图的所述运算处理的结果输出。

Description

信息处理装置、车载控制装置
技术领域
本发明涉及一种信息处理装置和使用它的车载控制装置。
背景技术
以往，利用摄像机的摄影图像和各种传感器的信息来识别车辆的周围状况而根据该识别结果来进行各种驾驶辅助的技术得到了广泛利用。在这样的车辆的驾驶辅助技术中，近年来为了针对复杂的周围状况而获得高精度的识别结果，提出了进行利用神经网络的运算这一做法，所述神经网络是将人的大脑中的神经细胞的功能模型化而成。
通常而言，要在车辆中搭载的信息处理装置(ECU：Electronic Control Unit,电子控制单元)中进行利用神经网络的运算，由于ECU使用来自车载电池的供给电力进行驱动这一制约条件，从而需要低耗电。因此大多使用例如像小规模FPGA(Field ProgrammableGate Array,现场可编程门阵列)那样内部存储器容量相对较小的运算电路。
在内部存储器容量小的运算电路中，存在内部存储器中存放不下运算中途产生的中间数据这一情况。在这样的情况下，须至少将中间数据的一部分存放在设置于运算电路之外的外部存储装置中，接着在运算电路需要时从外部存储装置中读出。然而，运算电路与外部存储装置之间的数据传输速度通常比内部存储器的数据传输速度慢。因此产生处理速度降低这一问题。
作为解决上述问题的技术，已知有专利文献1。专利文献1中揭示了一种神经网络中的卷积计算方法，包含以下步骤：根据从DRAM读出的输入特征图、depthwise卷积核、pointwise卷积核来执行depthwise卷积计算及pointwise卷积计算，在所有pointwise卷积输出通道上获取第1规定数p个点的输出特征值；以及，重复上述运算而在所有pointwise卷积输出通道上获取所有点的输出特征值。并且有如下记载：由此能减少用于存储中间结果的存储区域。
现有技术文献
专利文献
专利文献1：日本专利特开2019-109895号公报
发明内容
发明要解决的问题
在专利文献1的技术中，将神经网络中的卷积计算分为depthwise卷积计算及pointwise卷积计算这2个卷积计算来执行。因此存在以下问题，即，在这些卷积计算之间交接中间结果时，信息的一部分丢失，从而引发识别精度的劣化。
解决问题的技术手段
本发明的一形态的信息处理装置是一种执行由多个层构成的神经网络下的DNN运算的信息处理装置，其针对输入至所述神经网络的特征图中的第1区域和不同于所述第1区域的第2区域的各自，执行与所述神经网络的规定层相对应的运算处理，并将针对所述第1区域的所述运算处理的结果与针对所述第2区域的所述运算处理的结果进行统合而作为针对所述特征图的所述运算处理的结果输出。
本发明的另一形态的信息处理装置是一种执行由多个层构成的神经网络下的DNN运算的信息处理装置，其具备：特征图分割部，其以分割后的各区域各自包含相互重复的冗余部的方式将输入至所述神经网络的特征图分割为多个区域；NN运算部，其对应于所述神经网络的各层而设置，针对所述多个区域的各自，执行规定的运算处理；内部存储部，其存放所述NN运算部所执行的所述运算处理的结果；以及特征图统合部，其将与所述神经网络的规定层相对应的所述NN运算部针对所述多个区域而分别执行的所述运算处理的结果进行统合并存放至设置于所述信息处理装置外部的外部存储装置,所述冗余部的大小是根据所述运算处理中使用的滤波器的大小及步幅来决定，所述特征图分割部对所述特征图的分割数和所述特征图统合部对所述运算处理的结果进行统合之前所述NN运算部执行所述运算处理的所述神经网络的层数是根据所述内部存储部的存储容量、所述NN运算部进行的所述运算处理的合计运算量、所述信息处理装置与所述外部存储装置之间的数据传输频带、以及所述NN运算部进行的所述运算处理前后的数据大小的变化量中的至少某一个来决定。
本发明的车载控制装置具备上述信息处理装置和制定车辆的行动计划的行动计划制定部，所述信息处理装置根据与所述车辆的周围状况相关的传感器信息来执行所述运算处理，所述行动计划制定部根据从所述信息处理装置输出的所述运算处理的结果来制定所述车辆的行动计划。
发明的效果
根据本发明，在进行利用神经网络的运算的信息处理装置中能够谋求处理速度的高速化而不会发生识别精度的劣化。
附图说明
图1为表示本发明的一实施方式的车载控制装置的构成的图。
图2为表示本发明的一实施方式的DNN运算装置的构成的图。
图3为本发明的一实施方式的运算处理部的各NN运算部的功能框图。
图4为表示本发明的一实施方式的DNN运算装置所进行的运算处理的概要的图。
图5为说明特征图分割部中的冗余部的设定方法的图。
图6为表示决定特征图的分割数以及中间数据的存放地的处理的一例的流程图。
具体实施方式
图1为表示本发明的一实施方式的车载控制装置的构成的图。图1所示的车载控制装置1是搭载于车辆中使用，与作为用于检测车辆周围状况的传感器而分别发挥功能的摄像机2、LiDAR(Light Detection and Ranging,激光雷达)3以及雷达4连接在一起。摄像机2所获取到的车辆周围的摄影图像和LiDAR 3及雷达4分别获取到的车辆到周围物体的距离信息输入至车载控制装置1。再者，摄像机2、LiDAR 3以及雷达4也可在车辆中各搭载有多个，这多个传感器分别获取到的摄影图像和距离信息输入至车载控制装置1。
车载控制装置1具有DNN运算装置10、传感器融合部11、特征图存放部12、外部存储装置13以及行动计划制定部15这各个功能块。DNN运算装置10、传感器融合部11以及行动计划制定部15例如是使用CPU(Central Processing Unit,中央处理单元)、GPU(GraphicsProcessing Unit,图形处理单元)、FPGA(Field Programmable Gate Array,现场可编程逻辑门阵列)、ASIC(Application Specific Integrated Circuit,专用集成电路)等运算处理电路和与它们组合利用的各种程序来分别构成。此外，特征图存放部12及外部存储装置13是使用RAM(Random Access Memory,随机存取存储器)、HDD(Hard Disk Drive,硬盘驱动器)、闪存等存储装置来分别构成。再者，DNN运算装置10进行用于通过执行由多个层构成的神经网络下的DNN运算来识别车辆的周围状况的信息处理，相当于本发明的一实施方式的信息处理装置。
从摄像机2、LiDAR 3以及雷达4分别输入的摄影图像和距离信息以利用二维平面上的各像素值来表现车辆的周围状况相关的特征的特征图的形式存放至特征图存放部12。再者，从LiDAR 3及雷达4分别输入的距离信息是通过借助传感器融合部11的传感器融合处理进行统合而转换为特征图来存放至特征图存放部12。但并非必须实施传感器融合处理。此外，也可进而将基于来自其他传感器的信息的特征图存放至特征图存放部12，也可仅将摄影图像和距离信息中的一方以特征图的形式存放至特征图存放部12。
DNN运算装置10从特征图存放部12中读出特征图(摄影图像或距离信息)，对读出的特征图执行DNN(Deep Neural Network,深度神经网络)运算。该DNN运算装置10所进行的所谓DNN运算，是相当于人工智能的一种形态的运算处理，通过运算处理来实现了由多个层构成的神经网络的功能。在执行DNN运算时，DNN运算装置10从外部存储装置13获取所需的权重信息。外部存储装置13中存放有由未图示的服务器预先计算并根据DNN运算装置10到现在为止所实施的DNN运算的学习结果进行更新后的权重信息作为已学习模型。再者，DNN运算装置10的详情于后文进行说明。
行动计划制定部15根据DNN运算装置10给出的DNN运算结果来制定车辆的行动计划并输出行动计划信息。例如输出对车辆的驾驶员所进行的制动操作和方向盘操作进行辅助用的信息、车辆进行自动驾驶用的信息作为行动计划信息。从行动计划制定部15输出的行动计划信息的内容显示到车辆内设置的显示器上，或者输入至车辆中搭载的各种ECU(Electronic Control Unit,电子控制单元)而用于各种车辆控制。再者，也可将行动计划信息发送至服务器或其他车辆。
接着，对DNN运算装置10进行说明。图2为表示本发明的一实施方式的DNN运算装置10的构成的图。如图2所示，DNN运算装置10是具备特征图分割部101、运算处理部102、特征图统合部103以及内部存储部104而构成。
特征图分割部101将从特征图存放部12读出并输入至DNN运算装置10的特征图分割为多个区域。再者，特征图分割部101对特征图的分割方法的详情于后文叙述。
运算处理部102对由特征图分割部101从特征图分割而成的各区域依序执行前文所述的DNN运算。运算处理部102中呈层状排列有从第1层NN运算部102-1起到第N层NN运算部102-N为止N个NN运算部(其中，N为3以上的自然数)。即，运算处理部102中形成有由第1层NN运算部102-1、第2层NN运算部102-2、···、第k层NN运算部102-k、···、第N层NN运算部102-N构成的N层神经网络。运算处理部102针对与神经网络的各层相对应地设置的这些NN运算部而分别设定权重来执行DNN运算，由此，利用特征图的各区域来算出表示车辆的周围状况的识别结果的运算结果。再者，图2所示的N层的各NN运算部当中，最初的第1层NN运算部102-1相当于输入层，最后的第N层NN运算部102-N相当于输出层。
运算处理部102中的各层NN运算部给出的运算结果作为中间数据存放至内部存储部104或外部存储装置13，交给下一层NN运算部。即，输入层除外的各层NN运算部从内部存储部104或外部存储装置13中读出表示上一层NN运算部给出的运算结果的中间数据，使用该运算结果来执行与神经网络的规定层相对应的运算处理。
特征图统合部103对通过由运算处理部102针对各区域依序执行DNN运算得到的各区域的运算结果进行统合而作为DNN运算装置10的运算结果输出，并且存放至外部存储装置13。由此，获得针对输入到DNN运算装置10的特征图的DNN运算结果，可以在行动计划制定部15中用于车辆的行动计划的制定。
图3为本发明的一实施方式的运算处理部102的各NN运算部的功能框图。再者，在运算处理部102中，第1层NN运算部102-1～第N层NN运算部102-N均具有同样的功能构成，所以图3中是以代表它们的方式来展示第k层NN运算部102-k的功能块。下面，通过对该第k层NN运算部102-k的功能块进行说明来进行对构成本实施方式的运算处理部102的所有NN运算部的说明。
第k层NN运算部102-k具有卷积处理部121、活化处理部122以及池化处理部123。
针对第k层NN运算部102-k的来自上一层(第k－1层)的输入数据输入至卷积处理部121及池化处理部123。再者，在第1层NN运算部102-1的情况下，从特征图存放部12读出并由特征图分割部101分割而成的特征图的各区域作为来自上一层的输入数据输入至卷积处理部121及池化处理部123。
卷积处理部121根据作为已学习模型而存放在外部存储装置13中的权重信息来进行与神经网络的第k层相对应的卷积运算。卷积处理部121中进行的所谓卷积运算，为如下运算处理：对于使根据权重信息而设定的规定大小的滤波器(核)在输入数据上按每一规定间隔进行移动时的滤波器的各位置而将处于滤波器范围内的输入数据的各像素与对应的各滤波器要素的积进行合计。再者，此时的滤波器的移动间隔称为步幅。
活化处理部122实施用于使卷积处理部121的运算结果活化的活化运算。此处，例如使用称为ReLU(Rectified Linear Unit,线性修正单元)函数的活化函数来进行活化运算。所谓ReLU函数，是对于不到0的输入值则输出0、对于0以上的值则将输入值直接输出的函数。再者，也可使用ReLU函数以外来进行活化运算。通过该活化处理部122所进行的活化运算，卷积处理部121的运算结果中的各数据值当中对下一层(第k+1层)中的运算产生的影响小的数据值被转换为0。
池化处理部123进行与神经网络的第k层相对应的池化运算。池化处理部123中进行的所谓池化运算，为如下运算处理：对于使规定大小的滤波器在输入数据上按每一规定间隔进行移动时的滤波器的各位置而提取处于滤波器范围内的输入数据的各像素的特征。例如，提取滤波器范围内的各像素的平均值的平均池化、提取滤波器范围内的各像素的最大值的最大池化等池化运算为人所知。再者，此时的滤波器的移动间隔与卷积处理部121一样也称为步幅。
通过卷积处理部121所进行的卷积运算而算出并在其后由活化处理部122进行活化运算得到的各数据值或者通过池化处理部123所进行的池化运算而算出的各数据值从第k层NN运算部102-k输出，成为下一层的输入数据。此处，各层NN运算部中通常进行卷积运算或池化运算中的某一个。在运算处理部102的神经网络中，配置有进行卷积运算的NN运算部的层也称为“卷积层”，配置有进行池化运算的NN运算部的层也称为“池化层”。再者，卷积层NN运算部中也可不设置池化处理部123，池化层NN运算部中也可不设置卷积处理部121和活化处理部122。或者，也可设为各层NN运算部具备图3的构成、由此能任意切换卷积层与池化层。
接着，对本实施方式的DNN运算装置10的特征进行说明。运算处理部102与外部存储装置13之间的数据传输频带的带宽通常比DNN运算装置10中内置的内部存储部104窄。即，运算处理部102与外部存储装置13之间的数据传输速度比内部存储部104慢。因而，为了使DNN运算装置10所进行的DNN运算高速化，优选将由各层NN运算部运算出的中间数据尽量存放在内部存储部104中而不存放在外部存储装置13中。然而，由于对DNN运算装置10的硬件上的制约等，能以内部存储部104的形式来确保的存储器容量相对较小，因此，根据特征图的数据大小的不同，有时无法将各层NN运算部中得到的中间数据全部存放在内部存储部104中。
因此，在本实施方式的DNN运算装置10中，借助特征图分割部101将特征图分割为多个区域，运算处理部102的各层NN运算部针对分割而成的各区域来依序进行运算处理。由此，与不分割特征图而直接输入到运算处理部102的情况相比，减小从各层NN运算部输出的中间数据的数据大小，从而能存放到内部存储部104中。继而，将从最后的输出层输出的各区域的运算结果在特征图统合部103中进行统合，由此获得针对特征图的DNN运算结果。由此，即便内部存储部104的存储器容量小，也能使DNN运算装置10所进行的DNN运算高速化而不会发生基于特征图的识别精度的劣化。
图4为表示本发明的一实施方式的DNN运算装置10所进行的运算处理的概要的图。
输入到DNN运算装置10的特征图30首先在特征图分割部101中被分割为多个区域31～34。再者，图4中展示的是与R、G、B的各图像数据相对应的3种特征图30各自被四分割、由此针对各特征图30而生成4个区域31～34的例子，但特征图的数量及分割数并不限定于此。此处，M为用于识别各区域的ID，对区域31～34依序设定M＝1到M＝4的ID值。
从特征图30分割而成的区域31～34内各自包含冗余部41～44。冗余部41～44中，邻接区域彼此在分割前的特征图30中对应于相同部分。例如，区域31内包含的冗余部41中的右侧的部分与区域32内包含的冗余部42中的左侧的部分在分割前的特征图30中对应于相同部分，互为同一内容。此外，区域31内包含的冗余部41中的下侧的部分与区域33内包含的冗余部43中的上侧的部分在分割前的特征图30中对应于相同部分，互为同一内容。即，特征图分割部101以在邻接区域彼此内包含相互重复的冗余部41～44的方式将特征图30分割为区域31～34。
再者，特征图分割部101中设定的冗余部41～44的大小是根据运算处理部102中NN运算部102-1～102-N各自执行的卷积运算和池化运算中使用的滤波器的大小及步幅来决定。这一点将在后文中参考图5来进行说明。
由特征图分割部101从特征图30分割而成的区域31～34输入至运算处理部102。在运算处理部102中，对各区域31～34依序进行使用与神经网络的各层相对应的NN运算部102-1～102-N的运算处理，由此，按特征图30分割而成的每一区域来执行DNN运算。即，当对区域31(M＝1)执行DNN运算并获取到表示其运算结果的输出数据51时，对下一区域32(M＝2)执行DNN运算并获取表示其运算结果的输出数据52。通过对区域31～34依序进行这样的处理，能针对各区域31～34而获取与DNN运算结果相应的输出数据51～54。
再者，在运算处理部102中的DNN运算的执行中，各层NN运算部中求出的中间数据暂时存储在内部存储部104中，并用作下一层NN运算部的输入数据。此时存放至内部存储部104的数据按进行运算处理的神经网络的每一层来重写。此外，正在对区域31执行DNN运算时存放至内部存储部104的中间数据与正在对下一区域32执行DNN运算时存放至内部存储部104的中间数据为互不相同的内容。区域33、34也一样。即，各层NN运算部针对区域31～34而执行的运算处理的结果分别在不同时刻存放至内部存储部104。
当运算处理部102中的DNN运算全部完成时，针对区域31～34而得到的来自输出层的输出数据51～54输入至特征图统合部103。在特征图统合部103中将输出数据51～54进行统合，由此生成表示针对分割前的特征图30的DNN运算结果的统合数据50。具体而言，例如可以像图4所示那样根据从特征图30分割出区域31～34时的位置来分别排列配置基于区域31～34的输出数据51～54而将它们合成，由此来生成统合数据50。特征图统合部103中生成的统合数据50存放至外部存储装置13。
再者，特征图统合部103也可不仅统合从运算处理部102的输出层输出的各区域的运算结果，还统合从设置于输入层与输出层之间的各中间层中的任意中间层输出的各区域的运算结果。即，特征图统合部103可以统合与神经网络的第k+α层(α为任意自然数)相对应的NN运算部102-(k+α)针对各区域而执行的运算处理的结果。进而，此时也可将外部存储装置13中存放的中间层中的运算结果输入至特征图分割部101，在特征图分割部101中与特征图同样地分割成多个区域，之后输入至下一层NN运算部来进行运算处理。在该情况下，由特征图统合部103统合后的中间层中的运算结果暂时存放在外部存储装置13中，并从外部存储装置13输入至下一层NN运算部也就是与神经网络的第k+α+1层相对应的NN运算部102-(k+α+1)而用于该层中的运算处理。
接着，对特征图分割部101中的冗余部的设定方法进行说明。在特征图分割部101中，在将输入的特征图分割为多个区域时，对各区域设定前文所述那样的冗余部。该冗余部是为了在运算处理部102中NN运算部102-1～102-N能够准确地执行各自的卷积运算和池化运算，也就是获得与针对分割前的特征图来执行的情况相同的结果。具体而言，根据各NN运算部中使用的滤波器的大小及步幅而像以下那样设定冗余部。
图5为说明特征图分割部101中的冗余部的设定方法的图。图5的(a)展示了输入层中的运算处理中使用的滤波器的大小为3×3、步幅为1、中间层中的运算处理中使用的滤波器的大小为1×1、步幅为1的情况下的冗余部的设定例。图5的(b)展示了输入层中的运算处理中使用的滤波器的大小为3×3、步幅为1、中间层中的运算处理中使用的滤波器的大小为3×3、步幅为2的情况下的冗余部的设定例。再者，图5的(a)、图5的(b)中，为了简化说明，分别展示的是输入层与输出层之间仅具有1个中间层的DNN运算中的冗余部的设定例。在具有2个以上的中间层的情况下，也能通过同样的方法来进行冗余部的设定。
为了做到能对特征图被分割后的各区域准确地执行输入层的运算处理，在对分割后的各区域的交界部分运用滤波器时须获得与分割前相同的运算结果。处于输入层与输出层之间的各中间层也一样。因此，在特征图分割部101中，以针对输入层和各中间层而全部满足这样的条件的方式来决定将特征图分割为多个区域时的冗余部的大小。
在图5的(a)的例子中，输入层的运算处理中的滤波器的大小为3×3、步幅为1，所以，对于输入层的运算处理须设定2像素量的冗余部。另一方面，中间层的运算处理中的滤波器的大小为1×1、步幅为1，所以，对于中间层的运算处理无须设定冗余部。因而得知，在图5的(a)的输入层中像影线所示那样以2像素量的宽度对特征图被分割后的各区域的交界部分设定冗余部即可。再者，图5的(a)中省略了纵向的冗余部的图示，而在沿纵向进行分割的情况下也一样，以2像素量的宽度来设定冗余部即可。
在图5的(b)的例子中，输入层的运算处理中的滤波器的大小为3×3、步幅为1，所以与图5的(a)一样，对于输入层的运算处理须设定2像素量的冗余部。此外，中间层的运算处理中的滤波器的大小为3×3、步幅为2，所以，对于中间层的运算处理须设定1像素量的冗余部。因而得知，在图5的(b)的输入层中像影线所示那样以输入层与中间层合在一起的3像素量的宽度对特征图被分割后的各区域的交界部分设定冗余部即可。再者，图5的(b)中省略了纵向的冗余部的图示，而在沿纵向进行分割的情况下也一样，以3像素量的宽度来设定冗余部即可。
如以上所说明，在特征图分割部101中，在对输入至运算处理部102的特征图进行分割时，将输出数据统合前的运算处理部102的各层中进行的运算处理所需的冗余部的像素数进行累积来决定针对分割后的各区域的冗余部的大小。具体而言，例如可以通过下式(1)来决定对特征图进行分割时的冗余部的宽度W。式(1)中，Ak表示第k层的滤波器大小，Sk表示第k层的步幅。此外，N表示构成运算处理部102的神经网络的层数也就是NN运算部的个数。
[数式1]
Figure BDA0003799547830000111
接着，对特征图的分割数以及中间数据的存放地的决定方法进行说明。如前文所述，运算处理部102中的各层NN运算部给出的运算结果作为中间数据存放至内部存储部104或外部存储装置13。要使本实施方式的DNN运算装置10所进行的DNN运算高速化，须以能将由构成运算处理部102的各层NN运算部运算出的中间数据尽量存放在内部存储部104中的方式来考虑并设定内部存储部104的存储器容量。其中，在中间层的运算处理中使用的滤波器的步幅数为2以上的情况下，运算后的数据大小被削减。因此，对于内部存储部104而言，要抑制所需的存储器容量，优选将到此前的层为止得到的输出数据进行统合。特征图分割部101中的特征图的分割数和将内部存储部104与外部存储装置13中的哪一个作为中间数据的存放地须考虑这些条件来决定。
图6为表示决定特征图的分割数以及中间数据的存放地的处理的一例的流程图。再者，图6的流程图所示的处理可在DNN运算装置10中实施，也可在车载控制装置1内的其他部分中实施。或者，也可使用通用电脑等来事先实施图6的流程图所示的处理，由此预先决定好DNN运算装置10中的特征图的分割数以及中间数据的存放地，根据该结果来决定DNN运算装置10的规格。
在步骤S10中，对作为处理对象的NN运算部102-k设定初始值k＝1。
在步骤S20中，判定处于正选作当前处理对象的NN运算部102-k的下一层即第k+1层的NN运算部102-(k+1)的步幅是否为2以上。在第k+1层的步幅为2以上的情况下，即，在NN运算部102-(k+1)的运算处理中使用的滤波器的移动间隔为2像素以上的情况下，前进至步骤S50，否则前进至步骤S30。
在步骤S30中，判定来自作为当前处理对象而选择中的NN运算部102-k的输出数据大小是否为内部存储部104的存储器容量以下。在来自NN运算部102-k的输出数据大小为内部存储部104的存储器容量以下的情况下，前进至步骤S60，若不是这样的情况下，即，在来自NN运算部102-k的输出数据大小超过了内部存储部104的存储器容量的情况下，前进至步骤S40。再者，在已在将到上一层NN运算部102-(k－1)为止作为处理对象来执行的后文叙述的步骤S40的处理中设定了特征图的分割数的情况下，使用分割后的特征图所决定的来自NN运算部102-k的输出数据大小来进行步骤S30的判定。
在步骤S40中，决定在特征图分割部101中将特征图对半分割。当执行了步骤S40时，根据特征图被分割后的各区域的数据大小来算出来自NN运算部102-k的输出数据大小，并返回至步骤S30。由此，使特征图的分割数的设定值增加直至特征图被分割成多个区域时的来自NN运算部102-k的输出数据大小变为内部存储部104的存储器容量以下为止。
在从步骤S20前进到步骤S50的情况下，在步骤S50中，将来自作为当前处理对象而选择中的NN运算部102-k的输出数据的存放地决定为外部存储装置13。当执行了步骤S50的处理时，前进至步骤S70。
在从步骤S30前进到步骤S60的情况下，在步骤S60中，将来自作为当前处理对象而选择中的NN运算部102-k的输出数据的存放地决定为内部存储部104。当执行了步骤S60的处理时，前进至步骤S70。
在步骤S70中，判定是否k＝N－1。在k＝N－1的情况下，即，在作为当前处理对象而选择中的NN运算部102-k为紧靠输出层之前的中间层的情况(为中间层的末段的情况)下，结束图6的流程图所示的处理。另一方面，在不是k＝N－1的情况下，前进至步骤S80。
在步骤S80中，对k的值加1，由此将作为处理对象的NN运算部102-k推进至下一层。当执行了步骤S80的处理时，返回至步骤S20，重复前文所述的处理。由此，构成运算处理部102的各层NN运算部从第1层NN运算部102-1起依序被选作处理对象来决定特征图的分割数以及中间数据的存放地。
再者，以上说明过的图6的处理下的特征图的分割数以及中间数据的存放地的决定方法只是一例。也可通过这以外的方法来决定特征图的分割数和中间数据的存放地。例如，可以根据以下各条件中的至少一个来分别决定特征图的分割数和特征图统合部103对各区域的运算处理的结果进行统合之前各层NN运算部执行运算处理的神经网络的层数也就是将中间数据存放至内部存储部104的运算处理部102的NN运算部的层数。
(条件1)内部存储部104的存储容量
(条件2)各层NN运算部进行的运算处理的合计运算量
(条件3)DNN运算装置10与外部存储装置13之间的数据传输频带
(条件4)各层NN运算部进行的运算处理前后的数据大小的变化量
根据以上说明过的本发明的一实施方式，取得以下作用效果。
(1)DNN运算装置10是执行由多个层构成的神经网络下的DNN运算的信息处理装置。DNN运算装置10针对输入至神经网络的特征图30中的第1区域(例如区域31)和不同于第1区域的第2区域(例如区域32)的各自，执行与神经网络的规定层相对应的运算处理(运算处理部102的NN运算部102-1～102-N)。继而，将针对第1区域的运算处理的结果与针对第2区域的运算处理的结果进行统合，作为针对特征图30的运算处理的结果而输出(特征图统合部103)。因此，在进行利用神经网络的运算的信息处理装置中能够谋求处理速度的高速化而不会发生识别精度的劣化。
(2)DNN运算装置10具备将特征图30分割为第1区域和第2区域的特征图分割部101。因此，能对输入的特征图恰当地进行分割。
(3)特征图分割部101以第1区域与第2区域各自包含相互重复的冗余部(例如区域31、32的冗余部41、42)的方式将特征图30分割为第1区域和第2区域。因此，运算处理部102的各NN运算部102-1～102-N能针对分割后的各区域而准确地执行各自的运算处理。
(4)冗余部的大小是根据运算处理部102的各NN运算部102-1～102-N所进行的运算处理中使用的滤波器的大小及步幅来决定。因此，在对分割后的各区域的交界部分运用滤波器时，能够获得与针对分割前的特征图来执行的情况相同的结果。
(5)DNN运算装置10具备NN运算部102-1～102-N、内部存储部104以及特征图统合部103，所述NN运算部102-1～102-N对应于神经网络的各层而设置，针对第1区域及第2区域的各自，执行运算处理。内部存储部104在不同时刻分别存放与神经网络的第k层相对应的NN运算部102-k针对第1区域而执行的运算处理的结果和与第k层相对应的NN运算部102-k针对第2区域而执行的运算处理的结果。特征图统合部103能将与神经网络的第k+α层相对应的NN运算部102-(k+α)针对第1区域而执行的运算处理的结果以及与第k+α层相对应的NN运算部102-(k+α)针对第2区域而执行的运算处理的结果进行统合。如此一来，能将从运算处理部102中设置于输入层与输出层之间的各中间层中的任意中间层输出的各区域的运算结果进行统合来进行DNN运算。
(6)由特征图统合部103统合后的运算处理的结果存放至设置于DNN运算装置10外部的外部存储装置13。可对与神经网络的第k+α+1层相对应的NN运算部102-(k+α+1)输入外部存储装置13中存放的运算处理的结果。如此一来，可以使用统合后的中间数据来执行剩下的层的运算处理，所以能继续DNN运算装置10整体上的DNN运算。
(7)与第k+α+1层相对应的NN运算部102-(k+α+1)可执行步幅为2以上的卷积处理或池化处理。如此一来，在存放至内部存储部104的情况下，对于内部存储部104而言能够抑制所需的存储器容量，此外，在存放至外部存储装置13的情况下，对于DNN运算装置10与外部存储装置13之间的数据传输频带而言能够抑制数据传输容量。
(8)DNN运算装置10具备：特征图分割部101，其将特征图30分割为至少包含第1区域及第2区域的多个区域31～34；NN运算部102-1～102-N，其对应于神经网络的各层而设置，针对各区域31～34而执行运算处理；内部存储部104，其存放NN运算部102-1～102-N所执行的运算处理的结果；以及特征图统合部103，其对与神经网络的规定层相对应的NN运算部102-k针对区域31～34而分别执行的运算处理的结果进行统合并存放至设置于DNN运算装置10外部的外部存储装置13。特征图分割部101对特征图30的分割数和特征图统合部103对运算处理的结果进行统合之前NN运算部102-1～102-k执行运算处理的神经网络的层数是根据(条件1)内部存储部104的存储容量、(条件2)各层NN运算部进行的运算处理的合计运算量、(条件3)DNN运算装置10与外部存储装置13之间的数据传输频带、以及(条件4)各层NN运算部进行的运算处理前后的数据大小的变化量中的至少任一个来决定。因此，能分别恰当地决定特征图分割部101中的特征图的分割数和将中间数据存放至内部存储部104的运算处理部102的NN运算部的层数。
(9)车载控制装置1具备DNN运算装置10和制定车辆的行动计划的行动计划制定部15。DNN运算装置10根据表示车辆的周围状况相关的传感器信息的特征图来执行DNN运算。行动计划制定部15根据从DNN运算装置10输出的DNN运算的结果来制定车辆的行动计划。因此，可以利用DNN运算装置10所进行的DNN运算的结果来恰当地制定车辆的行动计划。
再者，在以上说明过的实施方式中，以根据车辆的周围状况相关的传感器信息来执行DNN运算而进行车辆的周围状况的识别的装置为例对车辆中搭载的车载控制装置1中包含的DNN运算装置10进行了说明，但本发明并不限定于此。只要是执行由多个层构成的神经网络下的DNN运算的信息处理装置，便能对各种信息处理装置运用本发明。
以上说明过的实施方式和各种变形例只是一例，只要不损害发明的特征，本发明便不限定于这些内容。此外，各实施方式和各种变形例可单独采用，也可任意组合。进而，上文中对各种实施方式和变形例进行了说明，但本发明并不限定于这些内容。在本发明的技术思想的范围内思索的其他形态也包含在本发明的范围内。
符号说明
1…车载控制装置、2…摄像机、3…LiDAR、4…雷达、10…DNN运算装置、11…传感器融合部、12…特征图存放部、13…外部存储装置、15…行动计划制定部、101…特征图分割部、102…运算处理部、103…特征图统合部、104…内部存储部、121…卷积处理部、122…活化处理部、123…池化处理部。

Claims (10)

1.一种信息处理装置，其执行由多个层构成的神经网络下的DNN运算，其特征在于，
针对输入至所述神经网络的特征图中的第1区域和不同于所述第1区域的第2区域的各自，执行与所述神经网络的规定层相对应的运算处理，
将针对所述第1区域的所述运算处理的结果与针对所述第2区域的所述运算处理的结果进行统合，作为针对所述特征图的所述运算处理的结果输出。
2.根据权利要求1所述的信息处理装置，其特征在于，
具备将所述特征图分割为所述第1区域和所述第2区域的特征图分割部。
3.根据权利要求2所述的信息处理装置，其特征在于，
所述特征图分割部以所述第1区域与所述第2区域各自包含相互重复的冗余部的方式将所述特征图分割为所述第1区域和所述第2区域。
4.根据权利要求3所述的信息处理装置，其特征在于，
所述冗余部的大小是根据所述运算处理中使用的滤波器的大小及步幅而决定。
5.根据权利要求1所述的信息处理装置，其特征在于，具备：
NN运算部，其对应于所述神经网络的各层而设置，针对所述第1区域及所述第2区域的各自，执行所述运算处理；
内部存储部，其在不同时刻分别存放与所述神经网络的第k层相对应的所述NN运算部针对所述第1区域而执行的所述运算处理的结果和与所述第k层相对应的所述NN运算部针对所述第2区域而执行的所述运算处理的结果；以及
特征图统合部，其将与所述神经网络的第k+α层相对应的所述NN运算部针对所述第1区域而执行的所述运算处理的结果以及与所述第k+α层相对应的所述NN运算部针对所述第2区域而执行的所述运算处理的结果进行统合。
6.根据权利要求5所述的信息处理装置，其特征在于，
由所述特征图统合部统合后的所述运算处理的结果存放至设置于所述信息处理装置外部的外部存储装置，
对与所述神经网络的第k+α+1层相对应的所述NN运算部输入所述外部存储装置中存放的所述运算处理的结果。
7.根据权利要求5所述的信息处理装置，其特征在于，
与所述第k+α+1层相对应的所述NN运算部执行步幅为2以上的卷积处理或池化处理。
8.根据权利要求1所述的信息处理装置，其特征在于，具备：
特征图分割部，其将所述特征图分割为至少包含所述第1区域及所述第2区域的多个区域；
NN运算部，其对应于所述神经网络的各层而设置，针对所述多个区域的各自，执行所述运算处理；
内部存储部，其存放所述NN运算部所执行的所述运算处理的结果；以及
特征图统合部，其将与所述神经网络的规定层相对应的所述NN运算部针对所述多个区域而分别执行的所述运算处理的结果进行统合，并存放至设置于所述信息处理装置外部的外部存储装置，
所述特征图分割部对所述特征图的分割数和所述特征图统合部对所述运算处理的结果进行统合之前所述NN运算部执行所述运算处理的所述神经网络的层数是根据
所述内部存储部的存储容量、
所述NN运算部进行的所述运算处理的合计运算量、
所述信息处理装置与所述外部存储装置之间的数据传输频带、以及
所述NN运算部进行的所述运算处理前后的数据大小的变化量中的至少任一个而决定。
9.一种信息处理装置，其执行由多个层构成的神经网络下的DNN运算，其特征在于，具备：
特征图分割部，其以分割后的各区域各自包含相互重复的冗余部的方式将输入至所述神经网络的特征图分割为多个区域；
NN运算部，其对应于所述神经网络的各层而设置，针对所述多个区域的各自，执行规定的运算处理；
内部存储部，其存放所述NN运算部所执行的所述运算处理的结果；以及
特征图统合部，其将与所述神经网络的规定层相对应的所述NN运算部针对所述多个区域而分别执行的所述运算处理的结果进行统合，并存放至设置于所述信息处理装置外部的外部存储装置，
所述冗余部的大小是根据所述运算处理中使用的滤波器的大小及步幅而决定，
所述特征图分割部对所述特征图的分割数和所述特征图统合部对所述运算处理的结果进行统合之前所述NN运算部执行所述运算处理的所述神经网络的层数是根据
所述内部存储部的存储容量、
所述NN运算部进行的所述运算处理的合计运算量、
所述信息处理装置与所述外部存储装置之间的数据传输频带、以及
所述NN运算部进行的所述运算处理前后的数据大小的变化量中的至少任一个而决定。
10.一种车载控制装置，其特征在于，具备：
根据权利要求1至9中的任一项所述的信息处理装置；以及
行动计划制定部，其制定车辆的行动计划，
所述信息处理装置根据所述车辆的周围状况相关的传感器信息来执行所述运算处理，
所述行动计划制定部根据从所述信息处理装置输出的所述运算处理的结果来制定所述车辆的行动计划。
CN202180014851.XA 2020-03-25 2021-03-12 信息处理装置、车载控制装置 Pending CN115136149A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020-053749 2020-03-25
JP2020053749A JP7337741B2 (ja) 2020-03-25 2020-03-25 情報処理装置、車載制御装置
PCT/JP2021/010005 WO2021193134A1 (ja) 2020-03-25 2021-03-12 情報処理装置、車載制御装置

Publications (1)

Publication Number Publication Date
CN115136149A true CN115136149A (zh) 2022-09-30

Family

ID=77891983

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180014851.XA Pending CN115136149A (zh) 2020-03-25 2021-03-12 信息处理装置、车载控制装置

Country Status (4)

Country Link
US (1) US20230097594A1 (zh)
JP (1) JP7337741B2 (zh)
CN (1) CN115136149A (zh)
WO (1) WO2021193134A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114419605B (zh) * 2022-03-29 2022-07-19 之江实验室 基于多网联车空间对齐特征融合的视觉增强方法及系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004289631A (ja) * 2003-03-24 2004-10-14 Fuji Photo Film Co Ltd デジタルカメラ
JP5708303B2 (ja) * 2011-06-29 2015-04-30 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
CN107977641A (zh) * 2017-12-14 2018-05-01 东软集团股份有限公司 一种智能识别地形的方法、装置、车载终端及车辆
JP6972294B2 (ja) * 2018-02-26 2021-11-24 本田技研工業株式会社 車両制御システム、車両制御方法、およびプログラム
JP2019200657A (ja) * 2018-05-17 2019-11-21 東芝メモリ株式会社 演算装置及び演算装置の制御方法

Also Published As

Publication number Publication date
WO2021193134A1 (ja) 2021-09-30
JP7337741B2 (ja) 2023-09-04
US20230097594A1 (en) 2023-03-30
JP2021157207A (ja) 2021-10-07

Similar Documents

Publication Publication Date Title
US11734918B2 (en) Object identification apparatus, moving body system, object identification method, object identification model learning method, and object identification model learning apparatus
CN110136222B (zh) 虚拟车道线生成方法、装置及系统
EP2564049B1 (de) STEUERGERÄT UND VERFAHREN ZUR BERECHNUNG EINER AUSGANGSGRÖßE FÜR EINE STEUERUNG
DE102017120112A1 (de) Tiefenkartenschätzung mit stereobildern
DE102016107938A1 (de) Vorausschauende Echtzeit-Geschwindigkeitsregelung
KR20200066952A (ko) 확장 컨벌루션 연산을 수행하는 장치 및 방법
CN110659548B (zh) 车辆及其目标检测方法、装置
DE102020102823A1 (de) Fahrzeugkapselnetzwerke
CN115136149A (zh) 信息处理装置、车载控制装置
DE102022114048A1 (de) Bildentzerrung
CN112534446A (zh) 电子控制装置、神经网络更新系统
CN110858398A (zh) 基于深度学习的舌体分割装置、方法及存储介质
CN117314968A (zh) 运动信息估计方法、装置、设备、存储介质和程序产品
CN116168362A (zh) 车辆感知模型的预训练方法、装置、电子设备及车辆
CN113269812B (zh) 图像预测模型的训练及应用方法、装置、设备、存储介质
DE102021120968A1 (de) Fahrzeugsensorbetrieb
DE102021103919A1 (de) Rccc-rgb-domain-übersetzung mit tiefen neuronalen netzen
CN114450720A (zh) 一种目标检测的方法、装置和车载雷达
CN111414909A (zh) 一种目标检测方法和装置
EP4332875A1 (en) Method and apparatus for processing image data
US12020486B2 (en) Information processing device, in-vehicle control device, and vehicle control system
CN115984739B (zh) 一种用于视频预测的基于全局注意力指导的特征融合方法
CN116363631B (zh) 三维目标检测方法、装置及车辆
WO2022102221A1 (ja) Ｄｎｎ縮約装置及び車載演算装置
CN111474927B (zh) 距离变换的预处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination