CN113168574A - 信息处理装置、车载控制装置、车辆控制系统 - Google Patents

信息处理装置、车载控制装置、车辆控制系统 Download PDF

Info

Publication number
CN113168574A
CN113168574A CN201980079673.1A CN201980079673A CN113168574A CN 113168574 A CN113168574 A CN 113168574A CN 201980079673 A CN201980079673 A CN 201980079673A CN 113168574 A CN113168574 A CN 113168574A
Authority
CN
China
Prior art keywords
unit
data
dnn
calculation
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980079673.1A
Other languages
English (en)
Inventor
平井理宇
小野豪一
伊藤浩朗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Showa Corp
Hitachi Astemo Ltd
Original Assignee
Hitachi Astemo Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Astemo Ltd filed Critical Hitachi Astemo Ltd
Publication of CN113168574A publication Critical patent/CN113168574A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/955—Hardware or software architectures specially adapted for image or video understanding using specific electronic processors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/96—Management of image or video recognition tasks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

信息处理装置具备：DNN运算部，其执行基于由多个层构成的神经网络的DNN运算；以及权重存储部，其存储在所述DNN运算中使用的权重，所述DNN运算部将输入到所述神经网络的预定层的数据中的具有比预定的阈值大的值的数据确定为运算对象数据，从所述权重存储部取得与所述运算对象数据对应的权重，基于所述运算对象数据和从所述权重存储部取得的权重，执行所述预定层的运算。

Description

信息处理装置、车载控制装置、车辆控制系统
技术领域
本发明涉及信息处理装置、使用该信息处理装置的车载控制装置以及车辆控制系统。
背景技术
以往广泛利用以下技术：根据照相机的拍摄图像和各种传感器的信息来识别车辆的周围状况，基于该识别结果来进行各种驾驶辅助。在这样的车辆的驾驶辅助技术中，近年来为了针对复杂的周围状况得到高精度的识别结果，提出了利用将人大脑中的神经细胞的活动模型化的神经网络来进行运算。
一般，为了利用神经网络得到高精度的识别结果，需要大量的运算处理。例如，已知对1张拍摄图像进行1000亿次至1兆次左右的运算。然而，在搭载在车辆来使用的装置中如此进行大量的运算处理从装置尺寸、消耗电力的观点来看是不现实的。因此，需求一种即使是较少的运算量也能够利用神经网络得到高精度的识别结果的技术。
作为本发明的背景技术，已知专利文献1。在专利文献1中公开了如下技术：在通过使用了将检测层和整合层交替配置而构成的分层型神经网络的计算处理来检测输入图像中的预定图案的信息处理装置中，仅将检测层内的各神经元的输出值为预定值以上的神经元的输出值的数据存储到存储器中，对于未存储到存储器中的神经元的输出值作为替代使用预定值来进行运算，其中，所述检测层从来自前一级的层的输出中检测1个以上的特征量并输出，所述整合层将来自该检测层的输出进行整合后输出。
现有技术文献
专利文献
专利文献1：日本特开2005-346472号公报
发明内容
发明要解决的课题
在专利文献1的技术中，若输入图像发生变化，则各神经元的输出值也相应地变化，因此将哪个神经元的输出值存储在存储器并不是固定的。因此，为了适当地处理各种输入图像，需要与假定的最大运算量对应地构成信息处理装置，无法简化硬件。
用于解决课题的手段
本发明的信息处理装置具备：DNN运算部，其执行基于由多个层构成的神经网络的DNN运算；以及权重存储部，其存储在所述DNN运算中使用的权重，所述DNN运算部将输入到所述神经网络的预定层的数据中的、具有比预定的阈值大的值的数据确定为运算对象数据，从所述权重存储部取得与所述运算对象数据对应的权重，基于所述运算对象数据和从所述权重存储部取得的权重执行所述预定的层的运算。
本发明的车载控制装置具备：所述信息处理装置；以及行动计划制定部，其制定车辆的行动计划，所述信息处理装置搭载在所述车辆，所述DNN运算部基于与所述车辆的周围状况相关的传感器信息来执行所述DNN运算，所述行动计划制定部基于所述DNN运算部的运算结果来制定所述车辆的行动计划。
本发明的车辆控制系统具备：所述车载控制装置；以及服务器装置，其能够与所述车载控制装置进行通信，所述服务器装置决定所述阈值，所述车载控制装置基于所述服务器装置决定的所述阈值来决定所述DNN运算部的资源分配。
发明效果
根据本发明，在执行利用了神经网络的运算的信息处理装置中，能够实现硬件的简化。
附图说明
图1表示本发明的一个实施方式的车载控制装置的结构。
图2是DNN运算部的概要图。
图3是本发明的第一实施方式的DNN运算部的各运算部的功能框图。
图4说明DNN运算部中的各运算部的具体的运算处理。
图5是本发明的第二实施方式的DNN运算部的各运算部的功能框图。
图6说明本发明的第二实施方式的运算对象数据的概要。
图7是本发明的第三实施方式的DNN运算部的各运算部的功能框图。
图8说明本发明的第三实施方式的数据输出限制的概要。
图9说明本发明的第三实施方式的数据输出限制的效果。
图10是本发明的第四实施方式的DNN运算部的各运算部的功能框图。
图11表示本发明的第五实施方式的车辆控制系统的结构。
具体实施方式
(第一实施方式)
图1表示本发明的一个实施方式的车载控制装置的结构。图1所示的车载控制装置1搭载在车辆来使用，与分别作为检测车辆的周围状况的传感器而发挥功能的照相机2、LiDAR(Light Detection and Ranging：激光探测与测量)3以及雷达4连接。向车载控制装置1输入照相机2取得的车辆周围的拍摄图像以及Li DAR3和雷达4分别取得的从车辆到周围的物体的距离信息。照相机2、Li DAR3以及雷达4也可以在车辆上各搭载多个，这些多个传感器分别取得的拍摄图像、距离信息被输入到车载控制装置1。
车载控制装置1具有传感器融合部11、传感器信息存储部12、权重存储部13、DNN运算部14以及行动计划制定部15的各功能块。传感器融合部11、DNN运算部14以及行动计划制定部15例如分别使用CPU(Central Processing Unit：中央处理单元)、GPU(GraphicsProcessing Unit：图形处理单元)、FPGA(Field Programmable Gate Array：现场可编程门阵列)、ASIC(Application Specific Integrated Circuit：专用集成电路)等运算处理电路以及与它们组合使用的各种程序而构成。另外，传感器信息存储部12以及权重存储部13分别使用RAM(Random Access Memory：随机存取存储器)、HDD(Hard Disk Drive：硬盘驱动器)、闪存等存储装置而构成。由权重存储部13以及DNN运算部14构成进行信息处理的信息处理装置10，该信息处理用于识别车辆的周围状况。
将从照相机2、Li DAR3以及雷达4分别输入的拍摄图像、距离信息作为与车辆的周围状况相关的传感器信息而存储到传感器信息存储部12。从Li DAR3以及雷达4分别输入的距离信息在通过传感器融合部11的传感器融合处理进行整合之后，存储到传感器信息存储部12。但是，并非必须执行传感器融合处理。另外，除了传感器信息以外还可以将来自其他传感器的信息存储到传感器信息存储部12，也可以仅将拍摄图像和距离信息中的一个作为传感器信息存储到传感器信息存储部12。
DNN运算部14从传感器信息存储部12读出传感器信息(拍摄图像或距离信息)，并对读出的传感器信息执行DNN(Deep Neural Network：深度神经网络)运算。该DNN运算部14进行的DNN运算是相当于人工智能的一个方式的运算处理，实现由信息处理装置10承担的信息处理。在执行DNN运算时，DNN运算部14从权重存储部13取得需要的权重信息。在权重存储部13中作为已学习模型，存储有由未图示的服务器预先计算出并基于DNN运算部14至此为止执行的DNN运算的学习结果而更新后的权重信息。关于DNN运算部14的详细内容，在后面进行说明。
行动计划制定部15基于DNN运算部14的DNN运算结果来制定车辆的行动计划，并输出行动计划信息。例如，作为行动计划信息，输出用于对车辆的驾驶员进行的制动操作或方向盘操作进行辅助的信息、用于车辆进行自动驾驶的信息。从行动计划制定部15输出的行动计划信息的内容被显示在在车辆内设置的显示器上，或者被输入到搭载在车辆中的各种ECU(Electronic Control Unit：电子控制单元)来用于各种车辆控制。也可以将行动计划信息发送至服务器或其他车辆。
接着，对DNN运算部14进行说明。图2是DNN运算部14的概要图。如图2所示，在DNN运算部14中，从第一层运算部14-1到第N层运算部14-N，层状地排列了N个运算部(其中，N为3以上的自然数)。即，在DNN运算部14中形成了由第一层运算部14-1、第二层运算部14-2、……、第k层运算部14-k、……、第N层运算部14-N构成的N层神经网络。DNN运算部14对这些运算部分别设定权重来执行DNN运算，由此根据输入数据(传感器信息)计算出用于表示车辆的周围状况的识别结果的运算结果并输出。在图2所示的N层的各运算部中，最初的第一层运算部14-1相当于输入层，最后的第N层运算部14-N相当于输出层。
图3是本发明的第一实施方式的DNN运算部14的各运算部的功能框图。在DNN运算部14中，第一层运算部14-1～第N层运算部14-N均具有同样的功能结构，因此在图3中代表它们而示出了第k层运算部14-k的功能块。以下，通过说明该第k层运算部14-k的功能块，对构成本实施方式的DNN运算部14的所有运算部进行说明。
第k层运算部14-k具有非零值确定部141、矩阵乘积重构部142、卷积运算部143、激活运算部144。
将来自第k层运算部14-k的前一层(第k-1层)的输入数据输入到非零值确定部141。在该输入数据中包含表示前一层的运算部的运算结果的多个数据值，其中几个数据值通过在前一层的运算部中进行的后述的激活运算而被设为0。在第一层运算部14-1的情况下，将从传感器信息存储部12读出的传感器信息作为来自前一层的输入数据输入到非零值确定部141。
非零值确定部141在输入数据所包含的多个数据值中，确定具有非零值，即0以外的值的数据值的位置。然后，将所确定的输入数据中的非零值的位置通知给权重存储部13，并且从输入数据中废弃为0的数据值。由此，仅将输入数据中的非零值作为以后的运算对象数据，从非零值确定部141输出到矩阵乘积重构部142。换言之，非零值确定部141将针对输入数据的阈值设为0，将具有比该阈值(＝0)大的值的数据确定为以后的运算对象数据。
在权重存储部13中存储有针对输入数据的各数据值的权重。当从非零值确定部141接收到非零值的位置的通知时，与此对应地，权重存储部13提取所存储的权重中与非零值的位置对应的权重并输出。由此，从权重存储部13输出与被非零值确定部141确定为运算对象数据的非零值对应的权重，在矩阵乘积重构部142中取得该权重。
矩阵乘积重构部142基于从非零值确定部141输出的运算对象数据和从权重存储部13取得的权重，重构用于执行DNN运算部14中的N层神经网络中第k层的运算的矩阵乘积。在此，将从非零值确定部141输出的运算对象数据的各数据值与从权重存储部13取得的权重的积和运算式重构为第k层的矩阵乘积。
卷积运算部143进行卷积运算，该卷积运算用于运算由矩阵乘积重构部142重构的矩阵乘积。通过该卷积运算部143进行的卷积运算，执行第k层运算部14-k的第k层的运算。
激活运算部144执行用于将卷积运算部143的运算结果激活的激活运算。在此，例如使用被称为ReLU(Rectified Linear Unit：放大线性单元)函数的激活函数来进行激活运算。ReLU函数是对小于0的输入值输出0，对0以上的值直接输出输入值的函数。也可以使用ReLU函数以外的函数来进行激活运算。通过该激活运算部144进行的激活运算，卷积运算部143的运算结果中的各数据值中的对下一层(第k+1层)的运算造成的影响小的数据值被转换为0。
由激活运算部144进行了激活运算后的各数据值从第k层运算部14-k输出，成为下一层的输入数据。如上所述，在该下一层的输入数据中包含通过激活运算而被设为0的数据值。
接着，以下参照图4对DNN运算部14中的各运算部的具体的运算处理进行说明。此外，在图4中也与图3同样地，将图2的第一层运算部14-1～第N层运算部14-N中的第k层运算部14-k的具体的运算处理作为代表例而示出。
作为来自第k层运算部14-k的前一层的输入数据，例如，如图4所示，设为按顺序输入了9个数据值。这些数据值中包含具有0以外的值的a、b、c、d、e的各数据值和4个零值。在该情况下，在非零值确定部141中，将a、b、c、d、e的各数据值确定为非零值，将它们的位置通知给权重存储部13，并且将这些数据值作为以后的运算对象数据按顺序输出到矩阵乘积重构部142。即，非零值确定部141废弃输入数据中包含的9个数据值中的4个零值，仅将剩余的5个非零值作为运算对象数据输出到矩阵乘积重构部142。
在权重存储部13中，与输入数据中的9个数据值分别对应地存储有9个权重w1～w9。当从非零值确定部141接收到非零值的位置的通知时，权重存储部13提取与通知的a、b、c、d、e的各数据值对应的权重w1、w2、w4、w7、w8，并输出到矩阵乘积重构部142。
矩阵乘积重构部142将从非零值确定部141作为运算对象数据而输出的a、b、c、d、e的各数据值与从权重存储部13取得的权重w1、w2、w4、w7、w8的积和运算式重构为第k层的矩阵乘积，并输出到卷积运算部143。卷积运算部143通过从矩阵乘积重构部142输出的积和运算式，进行a、b、c、d、e的各数据值与权重w1、w2、w4、w7、w8的积和运算，执行第k层的运算。
在现有的DNN运算中，将输入数据中包含的全部数据值作为运算对象来执行各层的积和运算，因此在如上述那样输入数据包含9个数据值的情况下，在各层的积和运算中需要进行9次乘法运算。因此，如果为了高速化而要通过并行处理来执行这些乘法运算，则需要9个乘法器。
另一方面，在本实施方式的DNN运算部14的DNN运算中，仅将非零值作为运算对象来执行各层的积和运算，因此与以往相比能够减少各层的积和运算的乘法运算次数。例如，如上所述，在输入数据中包含9个数据值，其中4个数据值为0的情况下，能够将乘法运算次数从9次降低到5次。因此，仅通过5个乘法器就能够实现并行处理，与以往相比能够减少乘法器的数量。
已知在将ReLU函数用于激活函数的DNN运算中，一般具有激活运算后的数据值的大致一半为0的特征。因此，在本实施方式的DNN运算部14中，能够根据各层的输入数据中包含的数据值的数量，预先决定向各层的运算分配的乘法器的数量。由此，能够抑制识别精度的劣化，并且简化硬件。
根据以上说明的本发明的第一实施方式，起到以下的作用效果。
(1)信息处理装置10具备：DNN运算部14，其执行基于由多个层构成的神经网络的DNN运算；以及权重存储部13，其存储在DNN运算中使用的权重。DNN运算部14将输入到神经网络的预定层的数据中的具有比预定的阈值(零)大的值的数据确定为运算对象数据(非零值确定部141)，从权重存储部13取得与该运算对象数据对应的权重(矩阵乘积重构部142)。然后，基于所确定的运算对象数据和从权重存储部13取得的权重，执行预定层的运算(卷积运算部143)。由此，在进行采用了神经网络的运算的信息处理装置10中，能够实现硬件的简化。
(2)车载控制装置1具备信息处理装置10和制定车辆的行动计划的行动计划制定部15。信息处理装置10搭载在车辆中，DNN运算部14基于与车辆的周围状况相关的传感器信息来执行DNN运算。行动计划制定部15基于DNN运算部14的运算结果来制定车辆的行动计划。由此，能够利用DNN运算部14的运算结果来适当地制定车辆的行动计划。
(第二实施方式)
接着，对本发明的第二实施方式进行说明。在本实施方式中，对在DNN运算部14中将零值附近的数据从运算对象数据中排除的例子进行说明。本实施方式中的车载控制装置1的结构、信息处理装置10的结构以及N个运算部层状排列的DNN运算部14的结构与在第一实施方式中在图1、2中分别说明的结构相同。因此，以下省略这些说明。
图5是本发明的第二实施方式的DNN运算部14的各运算部的功能框图。另外，在本实施方式中也与第一实施方式同样地，在DNN运算部14中，第一层运算部14-1～第N层运算部14-N均具有同样的功能结构，因此在图5中代表它们而示出了第k层运算部14-k的功能块。以下，通过说明该第k层运算部14-k的功能块，对构成本实施方式的DNN运算部14的所有运算部进行说明。
在本实施方式中，第k层运算部14-k除了具有在第一实施方式中说明的非零值确定部141、矩阵乘积重构部142、卷积运算部143以及激活运算部144之外，还具有阈值设定部145、反向偏置设定部146以及偏置设定部147。
阈值设定部145设定针对输入数据的阈值，并通知给反向偏置设定部146和偏置设定部147。反向偏置设定部146通过从输入数据中包含的各数据值减去由阈值设定部145设定的阈值，对输入数据施加反向偏置。通过反向偏置设定部146施加了反向偏置的输入数据被输入到非零值确定部141。
与第一实施方式同样地，非零值确定部141在施加了反向偏置的输入数据中确定非零值的位置，并通知给权重存储部13，并且从输入数据中废弃0的数据值。此时，将0以下的数据值全部视为零值而废弃。然后，将未被废弃而剩余的数据值确定为以后的运算对象数据，输出到偏置设定部147。
偏置设定部147通过对从非零值确定部141输出的各数据值加上由阈值设定部145设定的阈值来施加偏置。结果，通过反向偏置设定部146施加的反向偏置被消除，返回到原来的输入数据的值。但是，对于被非零值确定部141废弃的输入数据，不复原，不设为以后的运算对象数据。将通过偏置设定部147返回到原来的数据值的运算对象数据输入到矩阵乘积重构部142。由此，将具有比阈值大的值的输入数据确定为运算对象数据，执行与在第一实施方式中说明的运算处理同样的运算处理。
图6说明本发明的第二实施方式的运算对象数据的概要。例如，设为向图5所示的第k层运算部14-k输入了具有图6的(a)所示那样的数据分布的各数据值来作为输入数据。在图6的(a)中，横轴表示数据值的大小，纵轴表示数据的个数。此时，如图6的(b)所示，反向偏置设定部146以阈值设定部145设定的阈值的量对输入数据施加反向偏置，由此使图6的(a)的数据分布向负方向移动。
对于图6的(b)的数据分布，非零值确定部141将0以下的数据值全部视为零值而废弃。由此，如图6的(c)所示，形成去除了0以下的部分的数据分布。
如图6的(d)所示，偏置设定部147以阈值设定部145设定的阈值的量对通过非零值确定部141废弃了零值的数据施加偏置，由此使图6的(c)的数据分布向正方向移动。如果将该图6的(d)的数据分布与原来的图6的(a)的数据分布进行比较，则阈值以下的数据被全部去除，仅包含具有比阈值大的值的数据。由此可知，在具有图6的(d)的数据分布的运算对象数据中，能够去除对识别影响小的零值附近的数据。
在此，在阈值设定部145中能够设定任意的阈值。例如，在将照相机2以预定的帧率取得的拍摄图像的各像素值设为向DNN运算部14的输入数据的情况下，各帧的拍摄图像在前后的帧之间相互类似。因此，能够基于DNN运算部14针对前一帧的拍摄图像，即过去的输入数据的运算结果，设定针对当前帧的拍摄图像，即当前的数据的阈值。另外，也可以针对输入数据中包含的每个数据值设定不同的阈值。例如，根据能够设定为运算对象数据的剩余的数据数，即乘法器的剩余数来阶段性地提高阈值，由此能够从对运算结果的影响小的数据值开始按顺序废弃。除此以外，也能够以任意的方法设定阈值，将具有比该阈值大的值的数据确定为DNN运算部14的各运算部中的运算对象数据。此外，也可以针对DNN运算的每一层，即针对构成DNN运算部14的每个运算部使阈值变化。
根据以上说明的本发明的第二实施方式，除了起到在第一实施方式中说明的效果外，还起到以下的作用效果。
(3)信息处理装置10还具备设定阈值的阈值设定部145。DNN运算部14将输入到神经网络的预定层的数据中的具有比阈值设定部145设定的阈值大的值的数据确定为运算对象数据。由此，能够实现硬件的简化，并且能够实现处理性能的进一步提高以及识别精度劣化的抑制。
(4)阈值设定部145能够基于DNN运算部14针对过去的数据的运算结果来设定针对当前的数据的阈值。这样，如以预定的帧率取得的车辆周围的拍摄图像那样，能够容易地对以时间序列输入的数据设定适当的阈值。
(第三实施方式)
接着，对本发明的第三实施方式进行说明。在本实施方式中，对将DNN运算部14的运算时间设为一定时间内的例子进行说明。与第二实施方式同样地，在本实施方式中，车载控制装置1的结构、信息处理装置10的结构以及将N个运算部层状排列的DNN运算部14的结构与在第一实施方式中在图1、2中分别说明的结构相同。因此，以下省略它们的说明。
图7是本发明的第三实施方式的DNN运算部14的各运算部的功能框图。与第一、第二实施方式同样地，在本实施方式中，在DNN运算部14中，第一层运算部14-1～第N层运算部14-N均具有同样的功能结构，因此在图7中代表它们而示出了第k层运算部14-k的功能块。以下，通过说明该第k层运算部14-k的功能块，对构成本实施方式的DNN运算部14的所有运算部进行说明。
在本实施方式中，第k层运算部14-k除了具有在第一实施方式中说明的非零值确定部141、矩阵乘积重构部142、卷积运算部143以及激活运算部144之外，还具有数据输出限制部148。
数据输出限制部148基于预先设定的限制设定值，针对由激活运算部144进行激活运算后的各数据值执行输出限制。例如，对激活运算后的数据值中的非零值的个数进行计数，在该计数值超过了限制设定值的情况下，将剩余的数据值全部置换为0。由此，执行数据的输出限制，使得下一层的输入数据中包含的数据值中的非零值的个数成为限制设定值以下。
图8说明本发明的第三实施方式的数据输出限制的概要。通常，在DNN运算部14的各运算部中的数据输出数与下一层的运算时间之间，图8所示的比例关系成立。即，下一层的输入数据中的非零值的数据的个数越多，则下一层的运算所需的乘法运算次数越增加，因此下一层的运算时间变长。这样的各运算部中的运算时间的变化对整个DNN运算部14中的DNN运算的执行时间产生影响，因此对于每个数据产生DNN运算时间的偏差。这导致车辆控制的不稳定性，因此不作为优选。
因此，在本实施方式中，使用数据输出限制部148执行如上所述的数据的输出限制。此时，对数据输出限制部148设定与下一层的运算被要求的运算时间相对应的限制设定值。由此，如图8所示，若激活运算后的数据中的非零值的计数值超过限制设定值，则将数据值置换为0从而停止以后的数据输出。因此，能够限制数据的输出数，使得下一层中的运算时间不超过所要求的运算时间。
图9说明本发明的第三实施方式的数据输出限制的效果。图9的(a)示出了以往不执行数据输出限制时的DNN运算时间与车辆控制定时的关系。在该情况下，对于输入的每个图像信息，DNN运算时间的长度变化，因此得到DNN运算结果的定时也按照每个图像信息发生变化。结果，基于DNN运算结果进行的车辆控制的间隔变得不定，这导致车辆控制的不稳定性。
图9的(b)示出了执行了本实施方式的数据输出限制时的DNN运算时间与车辆控制定时的关系。在该情况下，针对所输入的每个图像信息，DNN运算时间的长度是恒定的，因此得到DNN运算结果的定时也是恒定的。结果是，基于DNN运算结果进行的车辆控制的间隔恒定，能够稳定地进行车辆控制。
此外，在数据输出限制部148中，能够根据各种基准来选择作为输出限制对象的数据。例如，根据各数据的运算顺序依次对非零值的个数进行计数，如果该计数值超过限制设定值，则能够将以后的运算顺序的数据设为输出限制对象。另外，也可以根据各数据的绝对值、与各数据对应的权重的大小等，选择设为输出限制对象的数据。例如，在将各数据按照绝对值或所对应的权重的大小顺序进行了排列时，能够将其顺序超过限制设定值的数据设为输出限制对象。并且，可以将它们组合来选择设为输出限制对象的数据，也可以使用其他基准来选择设为输出限制对象的数据。在激活运算后的数据中作为非零值的数据的个数超过了限制设定值时，只要能够将从数据输出限制部148输出的数据数限制为限制设定值以下，则以怎样的基准选择设为输出限制对象的数据都可以。
另外，也可以针对DNN运算的每一层，即针对构成DNN运算部14的每个运算部，使对数据输出限制部148设定的限制设定值变化。例如，预先决定整个DNN运算部14的DNN运算的执行时间，根据各层中的运算负荷来设定分配给各层的运算时间，由此能够决定各运算部的数据输出限制部148的限制设定值。此时，可以根据输入数据使各运算部的限制设定值动态地变化。
并且，也可以在数据输出限制部148中不对数据数进行计数，而直接测定各运算部的运算时间，在测定出的运算时间超过了限制设定值时，限制来自该运算部的数据输出。例如，通过对各运算部中的运算处理的循环数进行计数，能够直接测定运算时间。
根据以上说明的本发明的第三实施方式，除了起到在第一实施方式中说明的效果外，还起到以下的作用效果。
(5)信息处理装置10还具备数据输出限制部148，在神经网络的预定层的运算结果中的数据数超过了预定的限制设定值的情况下，数据输出限制部148限制预定层的运算结果的输出。由此，能够使运算结果的输出间隔恒定，实现控制的稳定性。
(6)数据输出限制部148能够基于神经网络的预定层的运算结果中的各数据的运算顺序、各数据的绝对值、与各数据对应的权重的大小中的至少任意一个，选择设为输出限制对象的数据。这样，能够考虑对DNN运算造成的影响度来将适当的数据设为输出限制对象。
(第四实施方式)
接着，对本发明的第四实施方式进行说明。在本实施方式中，说明在DNN运算部14中考虑权重的大小来缩减运算对象数据的例子。此外，与第二、第三实施方式同样地，在本实施方式中，车载控制装置1的结构、信息处理装置10的结构、以及将N个运算部层状排列的DNN运算部14的结构也与在第一实施方式中在图1、2中分别说明的结构相同。因此，以下省略这些说明。
图10是本发明的第四实施方式的DNN运算部14的各运算部的功能框图。在本实施方式中，与第一～第三实施方式同样地，在DNN运算部14中，第一层运算部14-1～第N层运算部14-N均具有同样的功能结构，因此在图10中代表它们而示出了第k层运算部14-k的功能块。以下，通过说明该第k层运算部14-k的功能块，对构成本实施方式的DNN运算部14的所有运算部进行说明。
在本实施方式中，第k层运算部14-k除了具有在第一实施方式中说明的非零值确定部141、矩阵乘积重构部142、卷积运算部143以及激活运算部144之外，还具有权重限制部149。
权重限制部149将从权重存储部13取得的各运算对象数据的权重与预先设定的权重阈值进行比较，在小于权重阈值的情况下，不将该权重输出到矩阵乘积重构部142而废弃。在矩阵乘积重构部142中，对于从非零值确定部141输出的运算对象数据中的由权重限制部149废弃了权重的运算对象数据，不进行矩阵乘积的重构。由此，在卷积运算部143中，省略了基于小于阈值的权重的第k层的卷积运算。
在此，能够对权重限制部149设定任意的权重阈值。可以针对DNN运算的每一层，即针对构成DNN运算部14的每个运算部，使对权重限制部149设定的权重阈值发生变化。另外，也可以根据输入数据使各运算部的权重阈值动态地变化。
根据以上说明的本发明的第四实施方式，除了起到在第一实施方式中说明的效果外，还起到以下的作用效果。
(7)DNN运算部14在从权重存储部13取得的权重小于预定的权重阈值的情况下，省略基于该权重的预定层的运算。这样，能够实现硬件的简化，并且能够实现处理性能的进一步提高和识别精度劣化的抑制。
(第五实施方式)
接着，对本发明的第五实施方式进行说明。在本实施方式中，对从外部的服务器装置取得在DNN运算部14中使用的已学习模型和各种设定值的例子进行说明。
图11表示本发明的第五实施方式的车辆控制系统的结构。图11所示的车辆控制系统100具有车载控制装置1A和服务器装置5。与在第一实施方式中说明的车载控制装置1同样地，车载控制装置1A搭载在车辆中来使用，与作为传感器的照相机2、Li DAR3以及雷达4连接。另外，车载控制装置1A除了具备在第一实施方式中说明的传感器融合部11、传感器信息存储部12、权重存储部13、DNN运算部14以及行动计划制定部15的各功能块之外，还具备服务器信息取得部16。
服务器装置5设置在搭载有车载控制装置1A的车辆的外部，能够经由通信网络6与车载控制装置1A进行通信。服务器装置5决定已学习模型、针对输入数据和权重的阈值、与运算时间对应的限制设定值等来作为在车载控制装置1A中使用的信息，并将这些信息发送到车载控制装置1A。通信网络6例如能够使用便携电话用通信网络、无线LAN等。
服务器信息取得部16取得从服务器装置5发送的信息，并输出到权重存储部13、DNN运算部14。例如向权重存储部13输出已学习模型，并存储在权重存储部13中。由此，DNN运算部14能够使用在服务器装置5中生成的已学习模型来进行DNN运算。另外，向DNN运算部14输出在第二实施方式中说明的针对输入数据的阈值、在第三实施方式中说明的限制设定值、在第四实施方式中说明的权重阈值等。基于这些信息，DNN运算部14能够进行在第二～第四实施方式中分别说明的处理。
并且，也可以基于服务器信息取得部16从服务器装置5取得的针对输入数据的阈值来决定DNN运算部14的资源分配。例如，在将DNN运算部14所具有的多个乘法器分别分配给各层的运算部时，根据服务器装置5所决定的阈值的大小，使分配的乘法器的数量发生变化。具体而言，设定了大阈值的层，运算对象数据少，因此减少对该层的运算部分配的乘法器的数量。相反，设定了小阈值的层，运算对象数据多，因此增加对该层的运算部分配的乘法器的数量。这样，对于构成DNN运算部14的各层的运算部能够进行最佳的资源分配。
根据以上说明的本发明的第五实施方式，起到以下的作用效果。
(8)车辆控制系统100具备车载控制装置1A和能够与车载控制装置1A通信的服务器装置5。服务器装置5决定针对向神经网络的预定层输入的数据的阈值。车载控制装置1A能够基于由服务器装置5决定的阈值来决定DNN运算部14的资源分配。这样，能够容易地对DNN运算部14设定任意的阈值，并且能够根据该阈值使DNN运算部14为适当的资源分配。
在以上说明的各实施方式中，关于车辆中搭载的车载控制装置1、1A中包含的信息处理装置10，以基于与车辆的周围状况相关的传感器信息来执行DNN运算，从而进行车辆的周围状况的识别的情况为例进行了说明，但本发明并不限于此。只要是通过由多个层构成的神经网络进行DNN运算的装置，则能够将本发明应用于各种信息处理装置。
以上说明的各实施方式、各种变形例只不过是一例，只要不损害发明的特征，本发明不限于这些内容。另外，各实施方式、各种变形例可以单独采用，也可以任意进行组合。并且，在上述中说明了各种实施方式、变形例，但本发明并不限于这些内容。在本发明的技术思想的范围内考虑到的其他方式也包含在本发明的范围内。
在此，作为引用文本并入以下的优先权基础申请的公开内容。
日本专利申请2018-232687(2018年12月12日申请)
符号说明
1、1A：车载控制装置；2：照相机；3：Li DAR；4：雷达；5：服务器装置；6：通信网络；10：信息处理装置；11：传感器融合部；12：传感器信息存储部；13：权重存储部；14：DNN运算部；15：行动计划制定部；16：服务器信息取得部；141：非零值确定部；142：矩阵乘积重构部；143：卷积运算部；144：激活运算部；145：阈值设定部；146：反向偏置设定部；147：偏置设定部；148：数据输出限制部；149：权重限制部。

Claims (9)

1.一种信息处理装置，其特征在于，具备：
DNN运算部，其执行基于由多个层构成的神经网络的DNN运算；以及
权重存储部，其存储在所述DNN运算中使用的权重，
所述DNN运算部将输入到所述神经网络的预定层的数据中的具有比预定的阈值大的值的数据确定为运算对象数据，
从所述权重存储部取得与所述运算对象数据对应的权重，基于所述运算对象数据和从所述权重存储部取得的权重执行所述预定层的运算。
2.根据权利要求1所述的信息处理装置，其特征在于，
所述阈值为0。
3.根据权利要求1所述的信息处理装置，其特征在于，
所述信息处理装置还具备设定所述阈值的阈值设定部，
所述DNN运算部将输入到所述预定层的数据中的具有比所述阈值设定部设定的所述阈值大的值的数据确定为所述运算对象数据。
4.根据权利要求3所述的信息处理装置，其特征在于，
所述阈值设定部基于所述DNN运算部对过去的数据的运算结果，设定针对当前的数据的所述阈值。
5.根据权利要求1所述的信息处理装置，其特征在于，
所述信息处理装置还具备数据输出限制部，该数据输出限制部在所述预定层的运算结果中的数据数超过了预定的限制设定值的情况下，限制所述预定层的运算结果的输出。
6.根据权利要求5所述的信息处理装置，其特征在于，
所述数据输出限制部基于所述预定层的运算结果中的各数据的运算顺序、各数据的绝对值、与各数据对应的权重的大小中的至少任意一个，选择设为输出限制对象的数据。
7.根据权利要求1所述的信息处理装置，其特征在于，
所述DNN运算部在从所述权重存储部取得的权重小于预定的权重阈值的情况下，省略基于该权重的所述预定层的运算。
8.一种车载控制装置，其特征在于，具备：
权利要求1至7中的任意一项所述的信息处理装置；以及
行动计划制定部，其制定车辆的行动计划，
所述信息处理装置搭载在所述车辆，
所述DNN运算部基于与所述车辆的周围状况相关的传感器信息来执行所述DNN运算，
所述行动计划制定部基于所述DNN运算部的运算结果来制定所述车辆的行动计划。
9.一种车辆控制系统，其特征在于，具备：
权利要求8所述的车载控制装置；以及
服务器装置，其能够与所述车载控制装置进行通信，
所述服务器装置决定所述阈值，
所述车载控制装置基于所述服务器装置决定的所述阈值来决定所述DNN运算部的资源分配。
CN201980079673.1A 2018-12-12 2019-12-10 信息处理装置、车载控制装置、车辆控制系统 Pending CN113168574A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018232687A JP7189000B2 (ja) 2018-12-12 2018-12-12 情報処理装置、車載制御装置、車両制御システム
JP2018-232687 2018-12-12
PCT/JP2019/048288 WO2020122067A1 (ja) 2018-12-12 2019-12-10 情報処理装置、車載制御装置、車両制御システム

Publications (1)

Publication Number Publication Date
CN113168574A true CN113168574A (zh) 2021-07-23

Family

ID=71077311

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980079673.1A Pending CN113168574A (zh) 2018-12-12 2019-12-10 信息处理装置、车载控制装置、车辆控制系统

Country Status (4)

Country Link
US (1) US20220051030A1 (zh)
JP (1) JP7189000B2 (zh)
CN (1) CN113168574A (zh)
WO (1) WO2020122067A1 (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03189858A (ja) * 1989-12-20 1991-08-19 Fujitsu Ltd ネットワーク構成データ処理装置
US5333239A (en) * 1988-09-12 1994-07-26 Fujitsu Limited Learning process system for use with a neural network structure data processing apparatus
JPH06266868A (ja) * 1992-12-24 1994-09-22 Olympus Optical Co Ltd ニューロン素子
KR101458004B1 (ko) * 2013-12-26 2014-11-04 주식회사 코스콤 인공 신경망 모형을 이용한 주가 등락 예측 시스템 및 주가 등락 예측 방법
US20160322042A1 (en) * 2015-04-29 2016-11-03 Nuance Communications, Inc. Fast deep neural network feature transformation via optimized memory bandwidth utilization
US9710265B1 (en) * 2016-10-27 2017-07-18 Google Inc. Neural network compute tile
WO2017149722A1 (ja) * 2016-03-03 2017-09-08 三菱電機株式会社 演算装置および演算方法
CN107622305A (zh) * 2017-08-24 2018-01-23 中国科学院计算技术研究所 用于神经网络的处理器和处理方法
JP2018060268A (ja) * 2016-10-03 2018-04-12 株式会社日立製作所 認識装置および学習システム
CN108009626A (zh) * 2016-10-27 2018-05-08 谷歌公司 利用神经网络计算单元中的输入数据稀疏
CN108171323A (zh) * 2016-12-28 2018-06-15 上海寒武纪信息科技有限公司 一种人工神经网络计算装置和方法
US20180330235A1 (en) * 2017-05-15 2018-11-15 National Taiwan University Apparatus and Method of Using Dual Indexing in Input Neurons and Corresponding Weights of Sparse Neural Network

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6567381B2 (ja) * 2015-09-30 2019-08-28 株式会社東芝 演算装置、方法及びプログラム
KR102415506B1 (ko) * 2016-10-26 2022-07-01 삼성전자주식회사 뉴럴 네트워크 간소화 방법 및 장치
US20180253636A1 (en) * 2017-03-06 2018-09-06 Samsung Electronics Co., Ltd. Neural network apparatus, neural network processor, and method of operating neural network processor
US10635978B2 (en) * 2017-10-26 2020-04-28 SparkCognition, Inc. Ensembling of neural network models
US11221413B2 (en) * 2018-03-14 2022-01-11 Uatc, Llc Three-dimensional object detection
US11663001B2 (en) * 2018-11-19 2023-05-30 Advanced Micro Devices, Inc. Family of lossy sparse load SIMD instructions
US20200160185A1 (en) * 2018-11-21 2020-05-21 Nvidia Corporation Pruning neural networks that include element-wise operations

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5333239A (en) * 1988-09-12 1994-07-26 Fujitsu Limited Learning process system for use with a neural network structure data processing apparatus
JPH03189858A (ja) * 1989-12-20 1991-08-19 Fujitsu Ltd ネットワーク構成データ処理装置
JPH06266868A (ja) * 1992-12-24 1994-09-22 Olympus Optical Co Ltd ニューロン素子
KR101458004B1 (ko) * 2013-12-26 2014-11-04 주식회사 코스콤 인공 신경망 모형을 이용한 주가 등락 예측 시스템 및 주가 등락 예측 방법
US20160322042A1 (en) * 2015-04-29 2016-11-03 Nuance Communications, Inc. Fast deep neural network feature transformation via optimized memory bandwidth utilization
WO2017149722A1 (ja) * 2016-03-03 2017-09-08 三菱電機株式会社 演算装置および演算方法
JP2018060268A (ja) * 2016-10-03 2018-04-12 株式会社日立製作所 認識装置および学習システム
US9710265B1 (en) * 2016-10-27 2017-07-18 Google Inc. Neural network compute tile
CN108009626A (zh) * 2016-10-27 2018-05-08 谷歌公司 利用神经网络计算单元中的输入数据稀疏
CN108171323A (zh) * 2016-12-28 2018-06-15 上海寒武纪信息科技有限公司 一种人工神经网络计算装置和方法
US20180330235A1 (en) * 2017-05-15 2018-11-15 National Taiwan University Apparatus and Method of Using Dual Indexing in Input Neurons and Corresponding Weights of Sparse Neural Network
CN107622305A (zh) * 2017-08-24 2018-01-23 中国科学院计算技术研究所 用于神经网络的处理器和处理方法

Also Published As

Publication number Publication date
US20220051030A1 (en) 2022-02-17
JP7189000B2 (ja) 2022-12-13
WO2020122067A1 (ja) 2020-06-18
JP2020095463A (ja) 2020-06-18

Similar Documents

Publication Publication Date Title
CN109754066B (zh) 用于生成定点型神经网络的方法和装置
CN106716439B (zh) 基于事件的下采样方法、设备、装置及介质
US11429838B2 (en) Neural network device for neural network operation, method of operating neural network device, and application processor including the neural network device
JP6914699B2 (ja) 情報処理装置、情報処理方法及びプログラム
US20200005074A1 (en) Semantic image segmentation using gated dense pyramid blocks
CN111914997B (zh) 训练神经网络的方法、图像处理方法及装置
CN111105017A (zh) 神经网络量化方法、装置及电子设备
CN113191318A (zh) 目标检测方法、装置、电子设备及存储介质
CN111797970A (zh) 训练神经网络的方法和装置
CN112215334A (zh) 一种面向事件相机的神经网络模型压缩方法
US20210064955A1 (en) Methods, apparatuses, and computer program products using a repeated convolution-based attention module for improved neural network implementations
CN113168574A (zh) 信息处理装置、车载控制装置、车辆控制系统
EP3660747A1 (en) Bit interpretation for convolutional neural network input layer
WO2021193134A1 (ja) 情報処理装置、車載制御装置
CN112532251A (zh) 一种数据处理的方法及设备
EP3293682A1 (en) Method and device for analyzing sensor data
Schennings Deep convolutional neural networks for real-time single frame monocular depth estimation
US20210086753A1 (en) Device and method for generating a compressed network from a trained neural network
EP4002270A1 (en) Image recognition evaluation program, image recognition evaluation method, evaluation device, and evaluation system
CN114494682A (zh) 一种物体位置预测方法、装置、设备及存储介质
EP3702959A2 (en) Information processing apparatus, arithmetic processing device, and method of controlling information processing apparatus
CN113112525A (zh) 目标跟踪方法、网络模型及其训练方法、设备和介质
US11823043B2 (en) Machine learning with input data domain transformation
WO2022255418A1 (ja) 画像処理装置、画像処理システム、画像処理方法及びプログラム
CN115019278B (zh) 一种车道线拟合方法、装置、电子设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination