JP2020095463A - 情報処理装置、車載制御装置、車両制御システム - Google Patents
情報処理装置、車載制御装置、車両制御システム Download PDFInfo
- Publication number
- JP2020095463A JP2020095463A JP2018232687A JP2018232687A JP2020095463A JP 2020095463 A JP2020095463 A JP 2020095463A JP 2018232687 A JP2018232687 A JP 2018232687A JP 2018232687 A JP2018232687 A JP 2018232687A JP 2020095463 A JP2020095463 A JP 2020095463A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- data
- calculation
- dnn
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/94—Hardware or software architectures specially adapted for image or video understanding
- G06V10/955—Hardware or software architectures specially adapted for image or video understanding using specific electronic processors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/96—Management of image or video recognition tasks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明による車載制御装置は、上記の情報処理装置と、車両の行動計画を策定する行動計画策定部と、を備え、前記情報処理装置は前記車両に搭載されており、前記DNN演算部は、前記車両の周囲状況に関するセンサ情報に基づいて前記DNN演算を実行し、前記行動計画策定部は、前記DNN演算部の演算結果に基づいて前記車両の行動計画を策定する。
本発明による車両制御システムは、上記の車載制御装置と、前記車載制御装置と通信可能なサーバ装置と、を備え、前記サーバ装置は、前記閾値を決定し、前記車載制御装置は、前記サーバ装置により決定された前記閾値に基づいて、前記DNN演算部のリソース配分を決定する。
図1は、本発明の一実施形態に係る車載制御装置の構成を示す図である。図1に示す車載制御装置1は、車両に搭載されて使用され、車両の周囲状況を検出するためのセンサとしてそれぞれ機能するカメラ2、LiDAR(Light Detection and Ranging)3およびレーダ4と接続されている。車載制御装置1には、カメラ2が取得した車両周囲の撮影画像と、LiDAR3およびレーダ4がそれぞれ取得した車両から周囲の物体までの距離情報とが入力される。なお、カメラ2、LiDAR3およびレーダ4は、車両に複数ずつ搭載されており、これら複数のセンサがそれぞれ取得した撮影画像や距離情報が車載制御装置1に入力されるようにしてもよい。
次に、本発明の第2の実施形態について説明する。本実施形態では、DNN演算部14において、ゼロ値付近のデータを演算対象データから除外する例を説明する。なお、本実施形態における車載制御装置1の構成、情報処理装置10の構成、およびN個の演算部が層状に並べられたDNN演算部14の構成は、第1の実施形態において図1、2でそれぞれ説明したものと同様である。そのため、以下ではこれらの説明を省略する。
次に、本発明の第3の実施形態について説明する。本実施形態では、DNN演算部14の演算時間を一定時間内とする例を説明する。なお、第2の実施形態と同じく、本実施形態においても、車載制御装置1の構成、情報処理装置10の構成、およびN個の演算部が層状に並べられたDNN演算部14の構成は、第1の実施形態において図1、2でそれぞれ説明したものと同様である。そのため、以下ではこれらの説明を省略する。
次に、本発明の第4の実施形態について説明する。本実施形態では、DNN演算部14において重みの大きさを考慮して、演算対象データを絞り込む例を説明する。なお、第2、第3の実施形態と同じく、本実施形態においても、車載制御装置1の構成、情報処理装置10の構成、およびN個の演算部が層状に並べられたDNN演算部14の構成は、第1の実施形態において図1、2でそれぞれ説明したものと同様である。そのため、以下ではこれらの説明を省略する。
次に、本発明の第5の実施形態について説明する。本実施形態では、DNN演算部14において用いられる学習済みモデルや各種設定値を、外部のサーバ装置から取得する例を説明する。
Claims (9)
- 複数の層からなるニューラルネットワークによるDNN演算を実行するDNN演算部と、
前記DNN演算において用いられる重みを格納する重み格納部と、を備え、
前記DNN演算部は、
前記ニューラルネットワークの所定の層に入力されたデータのうち、所定の閾値よりも大きい値を有するデータを演算対象データとして特定し、
前記演算対象データに対応する重みを前記重み格納部から取得し、
前記演算対象データと、前記重み格納部から取得した重みとに基づき、前記所定の層の演算を実行する、情報処理装置。 - 請求項1に記載の情報処理装置において、
前記閾値は0である、情報処理装置。 - 請求項1に記載の情報処理装置において、
前記閾値を設定する閾値設定部をさらに備え、
前記DNN演算部は、前記所定の層に入力されたデータのうち、前記閾値設定部により設定された前記閾値よりも大きい値を有するデータを前記演算対象データとして特定する、情報処理装置。 - 請求項3に記載の情報処理装置において、
前記閾値設定部は、過去のデータに対する前記DNN演算部の演算結果に基づいて、現在のデータに対する前記閾値を設定する、情報処理装置。 - 請求項1に記載の情報処理装置において、
前記所定の層の演算結果におけるデータ数が所定の制限設定値を超過した場合、前記所定の層の演算結果の出力を制限するデータ出力制限部をさらに備える、情報処理装置。 - 請求項5に記載の情報処理装置において、
前記データ出力制限部は、前記所定の層の演算結果における各データの演算順序、各データの絶対値、各データに対応する重みの大きさの少なくともいずれか一つに基づいて、出力制限対象とするデータを選択する、情報処理装置。 - 請求項1に記載の情報処理装置において、
前記DNN演算部は、前記重み格納部から取得した重みが所定の重み閾値未満である場合、当該重みに基づく前記所定の層の演算を省略する、情報処理装置。 - 請求項1から請求項7のいずれか一項に記載の情報処理装置と、
車両の行動計画を策定する行動計画策定部と、を備え、
前記情報処理装置は前記車両に搭載されており、
前記DNN演算部は、前記車両の周囲状況に関するセンサ情報に基づいて前記DNN演算を実行し、
前記行動計画策定部は、前記DNN演算部の演算結果に基づいて前記車両の行動計画を策定する、車載制御装置。 - 請求項8に記載の車載制御装置と、
前記車載制御装置と通信可能なサーバ装置と、を備え、
前記サーバ装置は、前記閾値を決定し、
前記車載制御装置は、前記サーバ装置により決定された前記閾値に基づいて、前記DNN演算部のリソース配分を決定する、車両制御システム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018232687A JP7189000B2 (ja) | 2018-12-12 | 2018-12-12 | 情報処理装置、車載制御装置、車両制御システム |
PCT/JP2019/048288 WO2020122067A1 (ja) | 2018-12-12 | 2019-12-10 | 情報処理装置、車載制御装置、車両制御システム |
CN201980079673.1A CN113168574B (zh) | 2018-12-12 | 2019-12-10 | 信息处理装置、车载控制装置、车辆控制系统 |
US17/413,264 US12020486B2 (en) | 2018-12-12 | 2019-12-10 | Information processing device, in-vehicle control device, and vehicle control system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018232687A JP7189000B2 (ja) | 2018-12-12 | 2018-12-12 | 情報処理装置、車載制御装置、車両制御システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020095463A true JP2020095463A (ja) | 2020-06-18 |
JP7189000B2 JP7189000B2 (ja) | 2022-12-13 |
Family
ID=71077311
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018232687A Active JP7189000B2 (ja) | 2018-12-12 | 2018-12-12 | 情報処理装置、車載制御装置、車両制御システム |
Country Status (4)
Country | Link |
---|---|
US (1) | US12020486B2 (ja) |
JP (1) | JP7189000B2 (ja) |
CN (1) | CN113168574B (ja) |
WO (1) | WO2020122067A1 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018060268A (ja) * | 2016-10-03 | 2018-04-12 | 株式会社日立製作所 | 認識装置および学習システム |
WO2018080624A1 (en) * | 2016-10-27 | 2018-05-03 | Google Llc | Exploiting input data sparsity in neural network compute units |
US20180330235A1 (en) * | 2017-05-15 | 2018-11-15 | National Taiwan University | Apparatus and Method of Using Dual Indexing in Input Neurons and Corresponding Weights of Sparse Neural Network |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5333239A (en) * | 1988-09-12 | 1994-07-26 | Fujitsu Limited | Learning process system for use with a neural network structure data processing apparatus |
JP3168204B2 (ja) * | 1989-12-20 | 2001-05-21 | 富士通株式会社 | ネットワーク構成データ処理装置 |
JPH06266868A (ja) * | 1992-12-24 | 1994-09-22 | Olympus Optical Co Ltd | ニューロン素子 |
JP4546157B2 (ja) | 2004-06-03 | 2010-09-15 | キヤノン株式会社 | 情報処理方法、情報処理装置、撮像装置 |
KR101458004B1 (ko) * | 2013-12-26 | 2014-11-04 | 주식회사 코스콤 | 인공 신경망 모형을 이용한 주가 등락 예측 시스템 및 주가 등락 예측 방법 |
US10013652B2 (en) * | 2015-04-29 | 2018-07-03 | Nuance Communications, Inc. | Fast deep neural network feature transformation via optimized memory bandwidth utilization |
JP6567381B2 (ja) | 2015-09-30 | 2019-08-28 | 株式会社東芝 | 演算装置、方法及びプログラム |
WO2017149722A1 (ja) * | 2016-03-03 | 2017-09-08 | 三菱電機株式会社 | 演算装置および演算方法 |
KR102415506B1 (ko) * | 2016-10-26 | 2022-07-01 | 삼성전자주식회사 | 뉴럴 네트워크 간소화 방법 및 장치 |
US10175980B2 (en) * | 2016-10-27 | 2019-01-08 | Google Llc | Neural network compute tile |
EP3564866A4 (en) * | 2016-12-28 | 2020-03-25 | Shanghai Cambricon Information Technology Co., Ltd | CALCULATION PROCEDURE |
US20180253636A1 (en) * | 2017-03-06 | 2018-09-06 | Samsung Electronics Co., Ltd. | Neural network apparatus, neural network processor, and method of operating neural network processor |
CN107622305A (zh) * | 2017-08-24 | 2018-01-23 | 中国科学院计算技术研究所 | 用于神经网络的处理器和处理方法 |
US10635978B2 (en) * | 2017-10-26 | 2020-04-28 | SparkCognition, Inc. | Ensembling of neural network models |
US11500099B2 (en) * | 2018-03-14 | 2022-11-15 | Uatc, Llc | Three-dimensional object detection |
US11663001B2 (en) * | 2018-11-19 | 2023-05-30 | Advanced Micro Devices, Inc. | Family of lossy sparse load SIMD instructions |
US20200160185A1 (en) * | 2018-11-21 | 2020-05-21 | Nvidia Corporation | Pruning neural networks that include element-wise operations |
-
2018
- 2018-12-12 JP JP2018232687A patent/JP7189000B2/ja active Active
-
2019
- 2019-12-10 US US17/413,264 patent/US12020486B2/en active Active
- 2019-12-10 WO PCT/JP2019/048288 patent/WO2020122067A1/ja active Application Filing
- 2019-12-10 CN CN201980079673.1A patent/CN113168574B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018060268A (ja) * | 2016-10-03 | 2018-04-12 | 株式会社日立製作所 | 認識装置および学習システム |
WO2018080624A1 (en) * | 2016-10-27 | 2018-05-03 | Google Llc | Exploiting input data sparsity in neural network compute units |
US20180330235A1 (en) * | 2017-05-15 | 2018-11-15 | National Taiwan University | Apparatus and Method of Using Dual Indexing in Input Neurons and Corresponding Weights of Sparse Neural Network |
Non-Patent Citations (2)
Title |
---|
HAN, SONG ET AL.: "Deep Compression: Compressing Deep Neural Networks with Pruning, Trained Quantization and Huffman Co", ARXIV:1510.00149V5, JPN6022027952, February 2016 (2016-02-01), pages 1 - 14, ISSN: 0004817344 * |
島田 直希, CHAINERで学ぶディープラーニング入門 初版, vol. 初版, JPN6022027949, 27 September 2017 (2017-09-27), pages 2 - 4, ISSN: 0004817343 * |
Also Published As
Publication number | Publication date |
---|---|
US12020486B2 (en) | 2024-06-25 |
JP7189000B2 (ja) | 2022-12-13 |
WO2020122067A1 (ja) | 2020-06-18 |
US20220051030A1 (en) | 2022-02-17 |
CN113168574B (zh) | 2024-06-14 |
CN113168574A (zh) | 2021-07-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109754066B (zh) | 用于生成定点型神经网络的方法和装置 | |
US20220261615A1 (en) | Neural network devices and methods of operating the same | |
US20210004663A1 (en) | Neural network device and method of quantizing parameters of neural network | |
WO2022083536A1 (zh) | 一种神经网络构建方法以及装置 | |
US20200302289A1 (en) | Using quantization in training an artificial intelligence model in a semiconductor solution | |
US11429838B2 (en) | Neural network device for neural network operation, method of operating neural network device, and application processor including the neural network device | |
US20190212981A1 (en) | Neural network processing unit including approximate multiplier and system on chip including the same | |
US12026611B2 (en) | Method and apparatus for quantizing parameters of neural network | |
US20190095212A1 (en) | Neural network system and operating method of neural network system | |
CN112258512B (zh) | 点云分割方法、装置、设备和存储介质 | |
US20200005074A1 (en) | Semantic image segmentation using gated dense pyramid blocks | |
US11663451B2 (en) | Two-dimensional array-based neuromorphic processor and implementing method | |
CN111105017A (zh) | 神经网络量化方法、装置及电子设备 | |
US20190050370A1 (en) | Hardware accelerator for online estimation | |
WO2020122067A1 (ja) | 情報処理装置、車載制御装置、車両制御システム | |
CN112532251A (zh) | 一种数据处理的方法及设备 | |
KR20200094534A (ko) | 뉴럴 네트워크 장치 및 뉴럴 네트워크 장치에서 멀티-비트 연산을 처리하는 방법 | |
WO2021193134A1 (ja) | 情報処理装置、車載制御装置 | |
US11335045B2 (en) | Combining feature maps in an artificial intelligence semiconductor solution | |
US11756289B2 (en) | Information processing apparatus, arithmetic processing device, and method of controlling information processing apparatus | |
Le Blevec et al. | Pipelined Architecture for a Semantic Segmentation Neural Network on FPGA | |
US20240256827A1 (en) | Activation buffer architecture for data-reuse in a neural network accelerator | |
CN116151350A (zh) | 神经网络模型的训练方法和训练系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210419 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220705 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220831 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221122 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221201 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7189000 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |