JP2022178465A - 演算装置、認識装置および制御装置 - Google Patents

演算装置、認識装置および制御装置 Download PDF

Info

Publication number
JP2022178465A
JP2022178465A JP2021085284A JP2021085284A JP2022178465A JP 2022178465 A JP2022178465 A JP 2022178465A JP 2021085284 A JP2021085284 A JP 2021085284A JP 2021085284 A JP2021085284 A JP 2021085284A JP 2022178465 A JP2022178465 A JP 2022178465A
Authority
JP
Japan
Prior art keywords
unit
information
filter
computation
deletion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021085284A
Other languages
English (en)
Inventor
真 岸本
Makoto Kishimoto
晃 北山
Akira Kitayama
理宇 平井
Riu Hirai
浩朗 伊藤
Hiroaki Ito
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Astemo Ltd
Original Assignee
Hitachi Astemo Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Astemo Ltd filed Critical Hitachi Astemo Ltd
Priority to JP2021085284A priority Critical patent/JP2022178465A/ja
Priority to PCT/JP2022/004491 priority patent/WO2022244331A1/ja
Priority to DE112022001612.4T priority patent/DE112022001612T5/de
Publication of JP2022178465A publication Critical patent/JP2022178465A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/76—Architectures of general purpose stored program computers
    • G06F15/80—Architectures of general purpose stored program computers comprising an array of processing units with common control, e.g. single instruction multiple data processors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Hardware Design (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Neurology (AREA)
  • Image Analysis (AREA)
  • Complex Calculations (AREA)

Abstract

【課題】本発明は、演算器の演算効率を向上させることを課題とする。【解決手段】上記の課題を解決するための本発明の構成は、入力データをもとにCNN演算を行う演算装置において、モデルを用いて、複数の畳み込み層毎に畳み込み演算を実行することで、前記CNN演算を行うCNN演算部と、前記CNN演算に必要となる重み情報と演算の組み合わせを割り当て、前記CNN演算部へ送信する演算割り当て部と、CNN演算部の最大演算可能数、前記CNN演算の実行順、前記CNN演算部の各層のチャネル情報および重み情報および複数の畳み込み層ごとのフィルタ情報に基づき、前記畳み込み演算に使用するフィルタ情報の一部を削除する削除インデックス決定部を有する演算装置である。【選択図】図１

Description

本発明は、入力データに基づく演算を実行する演算装置およびその演算方法に関する。また、本発明は、当該演算装置を用いて、入力データを認識する認識装置や入力データに応じた制御を行う制御装置にも関する。これらの中でも特に、カメラやLIDAR(Light Detection and Ranging)などセンサを用いて外界情報を収集し、その情報から物体の種類や存在する座標を検出する技術に関する。
近年は、交通事故が社会問題となっており、車両による移動時の安全性に対する要求が高まっている。その要求に対応するため、様々な自動運転や運転支援向けの技術が提案されている。それらの技術の中で特にDNN(Deep Neural Network)のひとつであるCNN(Convolutional Neural Network)を用いた物体認識手法や行動予測手法は高い認識性能を有することが知られており、自動運転への適用が進展している。
CNNは、外界情報である画像データを入力とし、複数の畳み込み層から構成され、縦続的に接続されているニューラルネットワークである。ここで畳み込み層とは積和演算と活性化関数演算により構成され、入力データ内の画素と対応する重みパラメータの乗算を行い、その結果を一定回数累積加算して出力データを作成し、その後活性化関数演算を行い、その結果を出力する一連の演算のことである。
画像データに対して畳み込み層の演算を行うことで、入力された画像データ内の特定の物体の種類や存在する座標を出力する。まず具体的な構成を説明する。本特許で述べる認識装置では、第1層は入力された画像データと第1層の畳み込み演算の重みパラメータを積和演算することで、畳み込み演算結果を出力する。複数のニューラルネットワークの第ｊ番目の畳み込み層を第ｊ層と呼び、その第ｊ層(1≦j≦Lを満たす整数)は第j-1層の出力データと、第j層の畳み込み演算の重みパラメータから、第j層の畳み込み層の演算結果を出力する。最終層をL層とすると第L層の前段の第L-1層の出力データと第L層目の畳み込み演算の重みパラメータとを入力とし、物体の種類と存在する座標を出力する。それぞれの畳み込み層は、入力データと重みパラメータを用いて畳み込み演算を行った後、活性化関数演算を、その行い結果を出力する。
ここで、CNNのような積和演算を主体とする演算量が多い処理を、車載用ECU(Electronic Control Unit)に実装する場合には、外界情報取得装置の処理速度と同等のスループットと、車両制御周期以下のレイテンシを満たす必要がある。従来、CNNを実装する際には、エッジデバイス向けに設計されたGPU(Graphic Processing Unit)やFPGA(Field Programmable Logic Array)などを用いるのが一般的である。しかし車載用途のデバイスは、使用条件、実装コスト、搭載可能なデバイスサイズの制限から、限られた演算性能しか持たず、要求される演算性能を満たせない課題が発生する。そこで、要求演算性能を満たすためにデバイス自体の改良やCNN演算に特化した演算器を利用することで目標処理速度を満たすことが一般的である。
次に、CNNを演算装置としてハードウェアに実装した場合の従来技術について述べる。外部からの入力はカメラやLIDARなどの外界情報取得装置を用いて取得する。取得した情報はメモリに格納される。演算装置は、メモリ、モデル保存部、パラメータ格納部、複数の畳み込み演算部で構成され、物体の種類や存在する座標などの認識結果を出力するものである。
ここで、メモリに格納された外界情報は、畳み込み演算部に送信される。またモデル保存部は事前に学習を行ったデータを保管し、その学習済みデータをパラメータ格納部へ保存する。パラメータ格納部は受け取った学習済みデータから、層ごとの重みパラメータ、層ごとのチャネル数、層ごとのフィルタ数を選択し、1層目からL層目までの畳み込み演算部に送信する。畳み込み演算部は、1層目はメモリからの入力データと、1層目の重みパラメータ、1層目のチャネル数、1層目のフィルタ数を入力として2層目に演算結果を出力する。また、畳み込み演算部は、続接続される。そして、そのｊ番目の層である第ｊ層の畳み込み演算部では、第j-1層の畳み込み演算部の出力と、第j層の重みパラメータと、第j層のチャネル数と、第j層のフィルタ数を入力とし、第j+1層に演算結果を出力する。
また、畳み込み演算部は、メモリから送信された入力データと、パラメータ格納部から送信された重みパラメータとチャネル数とフィルタ数をもとに畳み込み演算を行った後、活性化関数演算を行い、演算結果を次層に出力する働きを行う。
しかしながら、演算器の演算性能が限られる車載用演算デバイスでは、演算デバイスの演算単位と、畳み込み演算に使用するフィルタやチャネルの数の不整合により、演算デバイスを十分活用できず、処理速度が低下するという課題があった。
そこで、CNNに関する演算で、限られた演算性能の中でCNN演算を効率的に実行できる手法及び装置として、特許文献1の方式が提案されている。特許文献1の構成を示す。まず、特許文献1に記載の演算装置は、分割器、演算器、生成器から構成される。次に、特許文献1の接続関係を示す。
演算器には、分割器からの出力が入力される。演算器は生成器へ出力を行い、生成器は演算器からの入力を受け付ける。
次に、特許文献1提案の演算装置の動作を示す。まず、分割器で、畳み込みニューラルネットワークの選択された層の重みパラメータを深さ方向の次元及びカーネル数の次元の少なくとも一方において分割する。そして、複数の演算パラメータを含む演算パラメータ配列を得る。次に、演算パラメータ配列の中の各演算パラメータを使用し、選択された層の演算を演算部で実行することで、部分演算結果配列を得る。最後に、生成器で部分演算結果配列をもとに層の出力を生成する。これにより、分割器で演算器の演算単位に合わせて分割してから、演算器へ重みパラメータを送信する。このことで、演算器の動作効率または利用率を改善し、パラメータのサイズによってハードウェアが限定されることを回避している。
特開2019-82996号公報
特許文献1では、事前に演算器へ入力される重みパラメータをCNNの演算の深さ方向もしくはカーネル数の次元の少なくとも一方向に関して分割し、分割したデータを分割器から演算器に転送して畳み込み演算を行う。そして、この演算結果により限られた大きさの演算器に対し、演算器で演算可能なサイズに分割した重みパラメータを用いて畳み込み演算を行う。
しかし、特許文献1では、事前に演算器外の分割器で重みパラメータの部分配列を得るための分割演算、及び、分割した重みパラメータの部分配列演算を再度結合するための生成器での演算が必要である。さらに、畳み込み演算では、分割前後での演算の整合性を保つ必要がある。このため、重みパラメータの分割方法や、分割後の重みパラメータのサイズに制約があり、演算器を十全に活用することができない課題がある。
上記の課題を解決するために、本発明では、畳み込み演算における感度および演算方向（実行順）に基づいてフィルタ情報の削除を行う。
より具体的には、入力データをもとにCNN演算を行う演算装置において、前記CNN演算に用いるモデルを保存するモデル保存部と、前記モデルを用いて、複数の畳み込み層毎に畳み込み演算を実行することで、前記CNN演算を行うCNN演算部と、前記モデル保存部から、前記畳み込み演算に用いる畳み込みフィルタの重みパラメータを取得する重みパラメータ取得部と、前記モデル保存部に保存された前記モデルから、前記複数の畳み込み層ごとのチャネル情報を取得するチャネル情報取得部と、前記モデル保存部から、前記複数の畳み込み層ごとのフィルタ情報を取得するフィルタ情報取得部と、前記CNN演算に必要となる重み情報と演算の組み合わせを割り当て、前記CNN演算部へ送信する演算割り当て部と、前記CNN演算部の最大演算可能数、前記CNN演算の実行順、前記チャネル情報取得部から取得した前記CNN演算部の畳み込み層ごとのチャネル情報および前記重みパラメータ取得部から取得した重み情報および前記フィルタ情報取得部から取得した前記複数の畳み込み層ごとのフィルタ情報に基づき、前記畳み込み演算に使用するフィルタ情報の一部を削除する削除インデックス決定部を有する演算装置である。
本発明の代表的な実施によれば、演算器の活用率を向上できる。なお、前述した以外の課題、構成及び効果は、以下の実施例の説明により明らかにされる。
実施例１における演算装置である認識装置の機能ブロック図である。 実施例１における削除チャネルインデックス情報を説明するための説明図である。 実施例１における削除フィルタインデックス情報を説明するための説明図である。 実施例１におけるCNN演算部の内部構成を示す図である。 実施例１における削除インデックス決定部の内部構成を示す図である。 実施例１における畳み込み演算部の内部構成を示す図である。 実施例１における削除フィルタ決定部の処理フローを示すフローチャートである。 実施例１における削除チャネル決定部の処理フローを示すフローチャートである。 実施例１における演算割り当て部の処理フローを示すフローチャートである。 実施例１におけるストライドおよび削除可能なフィルタの例を説明するための図である。 実施例１における削除フィルタの様子を例示した説明図である 実施例２における演算装置である認識装置の機能ブロック図である。 実施例２における削除インデックス決定部の内部構成を示す図である。 実施例２における演算器で演算する際のフィルタの格納の様子を示す説明図である。 実施例３における制御装置の機能ブロック図である。
図１は、実施例１における認識装置１０００の機能ブロック図である。認識装置１０００は、演算装置の一種であり、カメラやLIDARからの外界情報を用いて、外界の状況を認識する装置である。
図１の認識装置１０００は、外界情報取得装置１０１と接続する。そして、CNN演算部１０２と、モデル保存部１０４と、チャネル情報取得部１０５と、重みパラメータ取得部１０６と、フィルタ情報取得部１０７と削除インデックス決定部１０８と、演算割り当て部１０９から構成される。この結果、認識装置１０００は、認識結果１０３を出力する。
ここで、各構成要素について説明する。まず、外界情報取得装置１０１は、外界情報を取得し、これをCNN演算部１０２に取得情報を送信する。この外界情報取得装置１０１は、カメラやLIDARといったセンサで実現できる。また、チャネル情報取得部１０５は、モデル保存部１０４からの出力であるモデル情報１１０を受け取る。また、重みパラメータ取得部１０６は、モデル保存部１０４からの出力であるモデル情報１１０を受け取る。
また、フィルタ情報取得部１０７は、モデル保存部１０４からの出力であるモデル情報１１０を受け取る。また、削除インデックス決定部１０８は、チャネル情報取得部１０５から、各層のチャネル数を示すチャネル情報１１１と受け取る。さらに、削除インデックス決定部１０８は、重みパラメータ取得部１０６の出力である各層の重みパラメータを示す重みパラメータ情報１１２を受け取る。またさらに、削除インデックス決定部１０８は、フィルタ情報取得部１０７の出力である各層のフィルタ数を示すフィルタ情報１１３を受け取る。
また、演算割り当て部１０９は、モデル保存部１０４の出力であるモデル情報１１０を受け取る。さらに、演算割り当て部１０９は、削除インデックス決定部の出力である各層の削除フィルタインデックス情報１１４を受け取る。またさらに、演算割り当て部１０９は、各層の削除チャネルインデックス情報１１６を受け取る。
また、CNN演算部１０２は、外界情報取得装置１０１の外界情報である入力データ１１７と、演算割り当て部１０９の出力であるCNN演算制御信号１１５と、チャネル情報１１１およびフィルタ情報１１３を受け取る。そして、CNN演算部１０２は、これらを用いて認識結果１０３を出力する。
次に、認識装置１０００の動作および信号の流れを説明する。まず、外界情報取得装置１０１からCNN演算部１０２へ、外界情報を送信する。次に、CNN演算部１０２は、モデル保存部１０４のモデル情報１１０および演算割り当て部１０９のCNN演算制御信号１１５、チャネル情報１１１およびフィルタ情報１１３をもとに演算を行う。なお、図１では、入力されるチャネル情報１１１およびフィルタ情報１１３を示す矢印は省略する。そして、CNN演算部１０２は、これらを用いて、認識結果１０３を算出し出力する。
次に、チャネル情報取得部１０５は、モデル保存部１０４のモデル情報から各層のチャネル数を抽出し、チャネル情報１１１を削除インデックス決定部１０８に出力する。また、重みパラメータ取得部１０６は、モデル保存部１０４から受け取ったモデル情報１１０から各層の重みパラメータを抽出し、重みパラメータ情報１１２を削除インデックス決定部１０８に出力する。
また、フィルタ情報取得部１０７は、モデル保存部１０４のモデル情報１１０から各層のフィルタ数を取得し、これを含む各層のフィルタ情報１１３を削除インデックス決定部１０８に出力する。
また、削除インデックス決定部１０８は、チャネル情報１１１、重みパラメータ情報１１２およびフィルタ情報１１３から演算を削除するフィルタ及びチャネルのインデックスを算出する。そして、削除インデックス決定部１０８は、これらインデックスを含む削除フィルタインデックス情報１１４及び削除チャネルインデックス情報１１６を、演算割り当て部１０９に出力する。
また、演算割り当て部１０９では、削除フィルタインデックス情報１１４と各層ごとの削除チャネルインデックス情報１１６とモデル情報１１０をもとに、演算順の決定とモデルから削除するフィルタやチャネルを特定する。ここで、演算割り当て部１０９は、削除の対象として、フィルタおよびチャネルの少なくとも一方を特定すればよい。特に、削除の対象を、フィルタとすることが望ましい。そして、演算割り当て部１０９は、CNN演算部１０２に、特定されたフィルタやチャネルを含むCNN演算制御信号１１５を送信する。
ここで、削除チャネルインデックス情報１１６ついては、図２を用いて説明する。また、削除フィルタインデックス情報１１４については図３を用いて説明する。さらに、削除インデックス決定部１０８の動作の詳細については、図５を用いて説明する。なお、本実施例の認識装置は、いわゆるコンピュータでも実現できる。この場合、各部の機能をプログラムに従ってＣＰＵのような処理装置で実行することになる。また、このプログラムは記憶媒体に格納される。また、各部は、ＦＰＧＡ（Field Programmable Gate Array）のような専用ハードウェアや専用回路でも実現できる。
図２は、削除チャネルインデックス情報１１６を説明するための説明図である。まず、本実施例のCNNの層はL層存在して、それぞれ1層目からＬ層目まで従属接続されている。また、各層ごとにチャネル２５１が存在しており、ある1層のチャネル２５１は次の層のすべてのチャネル２５１に対して接続されている。ここで、各層ごとにチャネルに対してそれぞれ異なるインデックスをあたえ、削除チャネルインデックス情報１１６では、各層ごとに削除するべきチャネルインデックスを指定する。この指定されたインデックス番号を、以下、削除チャネルインデックスと呼ぶ。
次に、図３は、削除フィルタインデックス情報１１４を説明するための説明図である。まず、CNNでは１層目からL層目までそれぞれフィルタ３５１が存在している。図３において、あるj層（１≦j≦L）については、図３では３×３のフィルタを例示している。なお、フィルタの数については、あくまでも一例であり、これに限定されるものではない。
ここで、本実施例では、各層ごとに一つの層のすべてのフィルタに同じインデックス番号３５２を与える。この削除フィルタインデックス情報１１４では、各層ごとに削除するべきフィルタインデックス３５２を指定する。この指定されたインデックス番号を以下で削除フィルタインデックスと呼ぶ。
図４は、CNN演算部１０２の内部構成を示す図である。図４において、CNN演算部１０２は、メモリ２０１、パラメータ格納部２０２、畳み込み演算部２０３を有する。また、CNN演算部１０２は、入力データ１１７、CNN演算制御信号１１５、モデル情報１１０、１層のCNN演算制御信号２０４、全層の重みパラメータ２０５、全層のフィルタ数２０６、全層のチャネル数２０７、１層、つまり、各層の重みパラメータである個別重みパラメータ２０８、各層の個別フィルタ数２０９および各層の個別チャネル数２１０を扱う。そして、CNN演算部１０２は、これらお用いて、認識結果１０３を出力する。
次に、図４に示すCNN演算部１０２の接続関係を説明する。メモリ２０１には、入力データ１１７が入力される。この入力データ１１７は、上述の外界情報である。また、パラメータ格納部２０２は、モデル情報１１０が保持される。
また、１層目の畳み込み演算部２０３－１には、以下の信号ないし情報が入力される。
CNN演算制御信号１１５から分岐した個別、つまり、１層のCNN演算制御信号２０４－１
メモリ２０１に保存される保存データ２１１（入力データ１１７）
パラメータ格納部２０２から出力される重みパラメータ２０５から分岐した個別重みパラメータ２０８－１
パラメータ格納部２０２から出力されるフィルタ数２０６から分岐した個別フィルタ数２０９－１
パラメータ格納部２０２から出力されるチャネル数から分岐した個別チャネル数２１０－１
以降、２層目以降の畳み込み演算部、つまり、j層目の畳み込み演算部２０３－jについては、以下の信号ないし情報が入力される。
CNN演算制御信号１１５から分岐した個別の、つまり、ｊ層のCNN演算制御信号２０４－j
j-1層の畳み込み演算部の出力データ２１２－ｊ
パラメータ格納部２０２から出力される重みパラメータ２０５から分岐した個別重みパラメータ２０８－ｊ
パラメータ格納部２０２から出力されるフィルタ数２０６から分岐した個別フィルタ数２０９－ｊ
パラメータ格納部２０２から出力されるチャネル数から分岐した個別チャネル数２１０－ｊ
また、最終層の第Ｌ層目の畳み込み演算部２０３－Ｌには、以下の信号ないし情報が入力される。
CNN演算制御信号１１５から分岐した個別のCNN演算制御信号２０４－Ｌ
L-1層目の畳み込み演算部２０３―ｊの出力データ２１２－Ｌ
パラメータ格納部２０２から出力される重みパラメータ２０５から分岐した個別重みパラメータ２０８－Ｌ
パラメータ格納部２０２から出力されるフィルタ数２０６から分岐した個別フィルタ数２０９－Ｌ
パラメータ格納部２０２から出力されるチャネル数から分岐した個別チャネル数２１０－Ｌ
そして、第Ｌ層目の畳み込み演算部２０３－Ｌは、これらを用いて認識した認識結果１０３を出力する。
次に、CNN演算部１０２の動作の詳細を説明する。まず、CNN演算部１０２では、入力データ１１７およびモデル情報１１０をもとに畳み込み演算を行い、その認識結果１０３を出力する。この際、各畳み込み演算部２０３は、CNN演算制御信号１１５から分岐した各層それぞれに対するCNN演算制御信号２０４を受信し、一部のフィルタ及びチャネルの演算をスキップする。この演算のスキップが、本願の削除の一例である。ここで、本願の削除には、演算の省略、無視といった受動的な処理も含まれる。ここで、削除、つまり、スキップされるフィルタおよびチャネルは外部からのモデル更新に伴い、モデル情報１１０が変更されるまで同じものである。なお、上述のように、スキップされる対象は、フィルタおよびチャネルの一方であってもよい。この結果、本実施例では、言い換えると、本願では、畳み込みに使用するフィルタ情報とチャネル情報の少なくとも一方を削除することになる。
また、メモリ２０１は、入力データ１１７を格納する。そして、畳み込み演算部２０３へ入力データ１１７である保存データ２１１が出力される。次に、畳み込み演算部２０３は、入力された保存データ２１１（出力データ２１２）と個別重みパラメータ２０８をもとに畳み込み演算を行う。この畳み込み演算の結果、演算順やデータ読み込みを制御するための信号であるCNN演算制御信号２０４と、個別フィルタ数２０９と個別チャネル数２１０により演算回数や出力データ数、演算器へのデータの割り当てが決定される。畳み込み演算部２０３は、このように決定された演算結果である出力データ２１２を出力する。これを第１層から第Ｌ層まで繰り返す。
また、パラメータ格納部２０２での受け取ったモデル情報１１０から各層の重みパラメータ２０５、各層のフィルタ数２０６、各層のチャネル数２０７を分割し畳み込み演算部２０３へ出力される。
以上で、CNN演算部１０２の説明を終わり、次に、削除インデックス決定部１０８について、説明する。図５は、削除インデックス決定部１０８の内部構成を示す図である。
図５において、削除インデックス決定部１０８は、チャネル情報１１１と、重みパラメータ情報１１２と、フィルタ情報１１３を入力として受け取る。そして、削除インデックス決定部１０８は、これらの入力に基づいて、削除チャネルインデックス情報１１６および削除フィルタインデックス情報１１４を出力する。このために、削除インデックス決定部１０８は、目標処理速度格納部３０１と、最大演算数保存部３０２と、演算速度解析部３０３と、感度情報解析部３０４と、削除チャネル決定部３０５と、削除フィルタ決定部３０６と、削除チャネルインデックス出力部３０７と、削除フィルタインデックス出力部を有する。
次に、図５を用いて、削除インデックス決定部１０８の接続関係を示す。演算速度解析部３０３は、目標処理速度格納部３０１の出力である目標処理速度３１０と最大演算数保存部３０２の出力である演算器当たりの最大演算可能な演算数３１５と、チャネル情報１１１と、フィルタ情報１１３を入力として受け取る。
また、感度情報解析部３０４は、チャネル情報１１１と、重みパラメータ情報１１２と、フィルタ情報１１３を入力として受け取る。また、削除チャネル決定部３０５は、演算速度解析部３０３の結果である削除チャネル数３１１と感度情報解析部３０４の結果である感度情報３１３を入力として受け取る。
また、削除フィルタ決定部３０６は、演算速度解析部３０３の出力である削除フィルタ数３１２と感度情報解析部３０４の出力である感度情報３１６を入力として受け取る。また、削除チャネルインデックス出力部３０７は、削除チャネル決定部３０５の出力である優先度情報３１７と、最大演算数保存部３０２の出力である演算数３１５を入力として受け取り、各層ごとの削除チャネルインデックス情報１１６を出力する。
またさらに、削除フィルタインデックス出力部３０８は、削除フィルタ決定部３０６の出力３１８と、最大演算数保存部３０２の出力である演算数３１５を入力として受け取り、各層の削除フィルタインデックス情報１１４を出力する。
次に、図５を用いて、削除インデックス決定部１０８の動作について説明する。まず、演算速度解析部３０３は、入力されたチャネル情報１１１と、フィルタ情報１１３と、演算器１つ当たりの最大演算可能な演算数３１５をもとに、各層ごとに畳み込み演算にかかる時間と目標処理速度と畳み込み演算にかかる時間の差分を試算する。
また、感度情報解析部３０４は、チャネル情報１１１と、重みパラメータ情報１１２と、フィルタ情報１１３から、各層のチャネル全ての認識精度に対する感度情報と、各層のフィルタすべての認識精度に対する感度情報を見積もる。
また、削除チャネル決定部３０５は、演算速度解析部３０３から入力された各層の演算速度及び目標処理速度との差分情報と、感度情報解析部３０４から出力された各層ごとの認識精度への感度情報３１３と、層内のチャネルの感度情報３１３を受け付ける。そして、削除チャネル決定部３０５は、これらに基づいて、認識精度への感度が低いチャネルから順に目標処理速度との差分が０となるように、削除するチャネルの優先度を設定する。なお、削除チャネル決定部３０５での動作の詳細は、図８を用いて、後述する。
また、削除フィルタ決定部３０６では、演算速度解析部３０３からの各層の処理速度と目標処理速度との差分情報と、フィルタの感度情報３１６をもとに各層ごとに削除を行うフィルタの順位付けを行う。
また、削除チャネルインデックス出力部３０７では、削除チャネル決定部３０５で決められた各層の削除を行うチャネルの優先度情報３１７と、最大演算数保存部３０２から出力される演算器の最大演算可能数の情報を受け付ける。そして、削除チャネルインデックス出力部３０７では、これらに基づいて、残るチャネルの数が、演算器の最大演算可能な演算数の倍数もしくは1以外の約数となるようにインデックス番号を設定し、これを出力する。
ここで、削除チャネルインデックス出力部３０７は、チャネルの最大演算可能数をＭc、あるj層（1≦j≦L）のチャネル数をＣ、j層の削除するチャネル数をＣｄとしたとき、以下の（数１）に従った処理を行う。つまり、削除チャネルインデックス出力部３０７は、（数１）を満たすＣｄを設定し、優先度情報が低いものから順番にＣｄ個のチャネルの演算順をｊ層の削除チャネルインデックス情報１１６に設定する。
Figure 2022178465000002
また、削除フィルタインデックス出力部３０８は、削除フィルタ決定部３０６で設定した削除を行うフィルタの優先順位をもとに、残るフィルタの数が、演算器の最大演算可能な演算数の倍数もしくは1以外の約数となるようにインデックス情報を設定する。そして、削除フィルタインデックス出力部３０８は、これを出力する。なお、削除フィルタ決定部３０６でのフィルタの優先順位の特定については、図７を用いて後述する。
ここで、削除フィルタインデックス出力部３０８は、フィルタの最大演算可能数をMf、あるj層のフィルタ数をF、j層の削除するフィルタ数をFdとしたとき、以下の（数２）に従った処理を行う。つまり、削除フィルタインデックス出力部３０８は、（数２）を満たすFdを設定し、優先度情報が低いものから順番にFd個のフィルタの演算順に対してｊ層の削除フィルタインデックス情報１１４を設定する。
Figure 2022178465000003
次に、畳み込み演算部２０３について、説明する。図６は、本実施例における畳み込み演算部２０３の内部構成を示す図である。
まず、畳み込み演算部２０３の構成について、説明する。ここでは、第ｊ層を例に挙げて説明する。畳み込み演算部２０３は、CNN演算制御信号２０４、個別チャネル数２１０、個別フィルタ数２０９、前層の出力データ２１２－ｊ、個別重みパラメータ２０８を入力として受け取る。そして、畳み込み演算部２０３は、これらを用いて、演算結果である出力データ２１２－ｊを出力する。このために、演算制御部４０１、入力データ一時保存部４０２、演算部４０３、出力データ一時格納部４０４を有する。
次に、畳み込み演算部２０３の内部構成の接続関係を示す。演算制御部４０１は、CNN演算制御信号２０４と個別チャネル数２１０と個別フィルタ数２０９を入力として受け取る。また、入力データ一時保存部４０２は、前層の出力データ２１２－ｊと個別重みパラメータ２０８と、演算制御部４０１から出力される、保存されたデータの出力順及び出力タイミングを制御する制御信号４１０を入力として受け取る。
また、演算部４０３は、演算順及び演算開始、演算停止の演算停止制御信号４１２と演算に必要となる入力データ４１１を入力として受け取る。また、出力データ一時格納部４０４は、演算部４０３の演算結果４１３と格納データの出力タイミングを制御する制御信号４１４を入力として受け取り、演算結果である出力データ２１２－ｊ+1を出力する。
以下で、畳み込み演算部２０３の動作を説明する。まず、入力データ一時保存部４０２に、前層の出力データ２１２－ｊと個別重みパラメータ２０８を格納する。そして、演算制御部４０１は、CNN演算制御信号２０４、個別チャネル数２１０、個別フィルタ数２０９の情報をもとに、演算を実行させる順番に合わせ、データ出力タイミング、出力をスキップするチャネル及びフィルタの情報を出力する。また、演算制御部４０１は、演算部４０３に対しては演算回数、演算開始タイミング、終了タイミングを制御する演算停止制御信号４１２を出力する。
そして、出力データ一時格納部４０４では、演算後のデータを出力するタイミングを制御する制御信号４１４を保持し、他の部位で利用することを可能とする。また、演算部４０３では、入力されたデータから、畳み込み演算と活性化関数処理を行い、出力データ一時格納部４０４へ演算結果４１３を出力する。出力データ一時格納部４０４では、演算制御部４０１からの制御信号４１４に合わせて演算結果である出力データ２１２－ｊ＋１を順次出力する。CNN演算制御信号２０４、個別チャネル数２１０、個別フィルタ数２０９については、モデル情報１１０が更新されない限り、演算制御部４０１でデータを保持し続ける。
次に、削除フィルタ決定部３０６の動作の詳細について、説明する。図７は、削除フィルタ決定部３０６での削除するフィルタの優先度を設定する動作についてのフローチャートである。
まず、削除フィルタ決定部３０６は、演算速度解析部３０３の出力である削除チャネル数３１１と感度情報解析部３０４の出力である感度情報３１３が入力されると、動作を開始する(ステップS1001)。
次に、削除フィルタ決定部３０６は、演算速度解析部３０３の出力をもとに目標処理速度以下の処理速度の層をｎ層分(nはn>=0を満たす整数)抽出する。そして、削除フィルタ決定部３０６は、処理速度が遅い順に並べる(ステップS1002)。
次に、削除フィルタ決定部３０６は、処理速度以下の層を並べた場合に、現在対象にしている層を表すパラメータとしてiを設定し、i=nと設定する(ステップS1003)。
次に、削除フィルタ決定部３０６は、i=0かどうか判定する(ステップS1004)。この結果、i=0の場合はステップS1006に進む。iが0ではない場合はステップS1005に進む。
また、削除フィルタ決定部３０６は、認識精度への感度情報をもとにフィルタの大きさごとに、感度が低いものから順に削除優先度を設定する(ステップS1005)。例えば、３×３＝９個の重みパラメータで構成されるフィルタの場合には、９個の重みパラメータの内、削除されたときに認識精度の劣化量が小さいものから順番に優先度が設定される。なお、フィルタの数については、この例に限定されない。また、削除の基準は、劣化量に限定されず、所定規則を満たすものであればよい。また、認識精度の劣化以外にも、演算精度の劣化量を用いてもよい。
また、削除フィルタ決定部３０６は、iを一つ減らしてステップS1004へ戻る(ステップS1007)。
そして、最終的に削除フィルタ決定部３０６は、n層分個別に算出したフィルタの削除優先度情報を出力する(ステップS1006)。
以上で、削除フィルタ決定部３０６での削除するフィルタの優先度を設定する動作についての説明を終わる。
次に、削除チャネル決定部３０５の動作について説明する。図８は、削除チャネル決定部３０５の動作を示すフローチャートである。
まず、削除チャネル決定部３０５は、演算速度解析部３０３の出力である削除チャネル数３１１と感度情報解析部３０４の出力である感度情報３１３が入力されると、動作を開始する(ステップS2001)。
次に、削除チャネル決定部３０５は、演算速度解析部の出力である削除チャネル数３１１をもとに処理速度が目標以下の層をｎ層分(nはn>=0を満たす整数)抽出し処理速度が遅い順に並べる(ステップS2002)。
次に、削除チャネル決定部３０５は、処理速度以下の層を並べた場合に現在対象にしている層を表すパラメータとしてiを設定し、i=nと設定する(ステップS2003)。
次に、削除チャネル決定部３０５は、i=0かどうか判定する(ステップS2004)。この結果、i=0の場合は、ステップS2006に進む。iが0でない場合は、ステップS2005に進む。
また、削除チャネル決定部３０５は、i層のチャネルについて感度情報解析部３０４の出力である感度情報３１３と演算速度解析部３０３の出力である削除チャネル数３１１の情報をもとに、削除が必要なチャネル数を算出する。算出される削除に必要なチャネル数は、i層の処理速度が目標処理速度を上回るまで算出することが望ましい。そして、削除チャネル決定部３０５は、認識精度への感度が小さい順に削除優先度設定を行う(ステップS2005)。
最後に、削除チャネル決定部３０５は、n層分個別に算出したチャネルの削除優先度情報を出力する(ステップS2006)。
次に、演算割り当て部１０９での動作について説明する。図９は、演算割り当て部１０９での動作についてのフローチャートである。以下処理フローについて説明する。
まず、演算割り当て部１０９は、削除インデックス決定部１０８からの削除チャネルインデックス情報１１６と削除フィルタインデックス情報１１４が入力されると、動作を開始する(ステップS3001)。次に、演算割り当て部１０９は、入力された削除チャネルインデックス情報を格納する(ステップS3002)。
次に、演算割り当て部１０９は、削除フィルタインデックス情報および削除優先度を格納する(ステップS3002)。次に、演算割り当て部１０９は、削除を行うフィルタが削除フィルタインデックス情報のストライド方向から見て両端にあるかどうか判定する(ステップS3004)。なお、ストライド方向や両端に関しては、図１０を用いて後述する。両端にあると判定された場合には、ステップS3007へ進む。両端でないと判定された場合には、ステップS3005へ進む。
また、演算割り当て部１０９は、ストライド方向の変更が実装上可能かどうか判定する(ステップS3005)。このために、演算割り当て部１０９は、実装上の制約条件に基づいて判定することが望ましい。この判定の結果、変更可能な場合はステップS3009へ進む。変更不可能な場合はステップS3006へ進む。
次に、演算割り当て部１０９は、削除フィルタインデックスの優先度を両端の次点で優先度が高いものに変更する(ステップS3006)。次に、演算割り当て部１０９は、
削除チャネルインデックス情報を出力する(ステップS3007)。
そして、演算割り当て部１０９は、削除フィルタインデックス情報及びストライドの方向を出力する(ステップS3008)。
また、演算割り当て部１０９は、ステップS3006において不可能と判定された場合に、ストライドの方向を９０度変更させる(ステップS3009)。そして、ステップS3007に進む。
次に、ストライドおよび削除可能なフィルタについて説明する。図１０は、ストライドおよび削除可能なフィルタの例を説明するための図である。畳み込み演算では、図１０（ａ）（ｂ）の中間データ８０１上を、畳み込みフィルタ８０３およびフィルタ８０５がストライド方向８０２及び８０４の方向へ移動しながら当該畳み込み演算がされる。ここではフィルタを３×３としているが、フィルタの大きさはこれに限定されない。
フィルタの両端とは、図１０（ａ）の畳み込みフィルタ８０３及び図１０（ｂ）のフィルタ８０５において灰色で示すフィルタのことである。ここで、畳み込みフィルタ８０３はストライド方向８０２が左右のため、両端のフィルタは左右となる。また、フィルタ８０５はストライド方向８０４が上下のため、両端のフィルタは上下となる。
次に、図１１に、３×３のフィルタについて削除を行った例を示す。ここでは、最大演算可能数が８とした場合における実際に削除した例を示す。最大演算数は、ここでは例として８としているが、これに限定されず２ｎ（ｎ≧１）であればよい。このように、最大演算可能数が８の場合には、削除するフィルタの数は１つとなる。そのため、図１１に示した灰色の領域の内1つのフィルタを削除する。削除済みのフィルタ９１３が、横方向のストライド９１２で削除を行った後のフィルタである。また、削除済みのフィルタ９１４が、縦方向のストライド９１５で削除を行った後のフィルタである。以上で、実施例１の説明を終わる。
次に、実施例２について説明する。実施例２は、実施例１の認識装置１０００を、車両の走行の際における外界の認識に適用した例である。このため、実施例２では、速度無制限道路走行の際と、通常の高速道走行の際や市街地走行の際など、走行する速度及び演算処理に要求される速度に応じて畳み込み演算の処理速度を変更する。
ここで、通常の高速道路走行の際や市街地走行の際と、速度無制限道路走行の際では、ECUで必要とされる処理速度が異なる。また、走行する路面の幅や周辺状況も異なる。そこで、本実施例では走行速度の変化を観測し、一つの演算器で複数の演算を行う演算数を増やすことで、要求処理速度の増加に対応させている例を示す。
また、実施例２では、走行速度情報を取得し、単位時間当たりの平均時速Vがあらかじめ設計時に定めた走行速度上限値Xを上回ったときに、目標処理速度を変更し、削除インデックスの数を増加させる。このことで、演算数を増加させ処理速度を向上させるための実施例である。なお実施例１と共通部分については図に同一符号を付し、その説明を省略する。
図１２は、実施例２における演算装置である認識装置１０００の機能ブロック図である。ここで、図１２を用いて、実施例１との差異について説明する。実施例２の認識装置１０００では、走行速度取得部９０１が、追加されている。また、本実施例では、実施例１とは異なる構成である削除インデックス決定部９０３を有する。つづいて、本実施例２の認識装置１０００の接続関係について説明する。まず、走行速度取得部９０１は、削除インデックス決定部９０３へ走行速度を出力する。削除インデックス決定部１０８は、走行速度取得部９０１、チャネル情報取得部１０５、重みパラメータ取得部１０６、フィルタ情報取得部１０７の出力を受け取る。
次に、実施例２の認識装置１０００の動作のうち、実施例１との差分について説明する。まず、走行速度取得部９０１で車両走行速度を監視しており、現在の走行速度を継続的に削除インデックス決定部１０８へ出力する。
なお、本実施例の認識装置１０００も、いわゆるコンピュータでも実現できる。この場合、各部の機能をプログラムに従ってＣＰＵのような処理装置で実行することになる。また、このプログラムは記憶媒体に格納される。また、各部は、ＦＰＧＡ（Field Programmable Gate Array）のような専用ハードウェアや専用回路でも実現できる。
図１３は、実施例２における削除インデックス決定部９０３の内部構成を示す図である。ここで、図１３を用いて、削除インデックス決定部９０３の構成について、削除インデックス決定部１０８との差分について説明する。
削除インデックス決定部９０３は、実施例１の削除インデックス決定部１０８に加えて、目標処理速度判定部９０２と演算速度解析部９０５をさらに有する。ここで、目標処理速度判定部９０２は、走行速度取得部９０１から出力された走行速度情報を追加の入力とする。また、演算速度解析部９０５は、最大演算数保存部３０２からの出力９１６と目標処理速度判定部からの出力である目標処理速度３１０を追加の入力とし、最大演算数９０６を出力する。
次に、実施例２における削除インデックス決定部９０３の接続関係について、説明する。まず、目標処理速度判定部９０２に、走行速度情報が入力される。また、演算速度解析部９０５に、最大演算数保存部３０２の出力９１６と、目標処理速度判定部９０２の出力である目標処理速度３１０と、チャネル情報１１１とフィルタ情報１１３が入力される。そして、演算速度解析部９０５は、削除チャネル数３１１と削除フィルタ数３１２と変更された最大演算数９０６を出力する。また、変更された最大演算数９０６は、削除チャネルインデックス出力部３０７と削除フィルタインデックス出力部３０８に入力される。
以下、実施例２における削除インデックス決定部９０３の動作について説明する。目標処理速度判定部９０２では、入力された走行速度情報から単位時間当たりの走行速度Vを算出する。ここで、V<Xを満たす場合には、目標処理速度判定部９０２は、既存の目標処理速度Gを維持する。一方、目標処理速度判定部９０２は、V>Xを満たす場合には目標処理速度Gを２Gに変更して、変更された目標処理速度を演算速度解析部９０５へ送信する。
また、目標処理速度判定部９０２は、演算速度解析部９０５では目標処理速度が増加したときに、最大演算可能数２nを２n-1へと変更する。また、目標処理速度判定部９０２は、減少したときには２ｎへ戻す。次に、目標処理速度判定部９０２は、変更した最大演算可能数をもとに削除フィルタチャネル数を求める。そして、目標処理速度判定部９０２は、変更した最大演算数９０６を削除チャネルインデックス出力部３０７と削除フィルタインデックス出力部３０８に送信する。それ以外の動作については、図５と同様ため省略する。
次に、図１４は、演算器で演算する際のフィルタの格納の様子についての説明図である。図１４（ａ）が、最大演算数を減少させる前の例を表し、図１４（ｂ）が最大演算数を減少させた後の例を示す。また、これらは、演算器１５１、重みパラメータ１５２をもとに構成される。
ここで、最大演算数が８(n=3)、フィルタサイズが９の場合について、図１４（ａ）を用いて、説明する。最大演算数が８の場合、フィルタから１つインデックスを削除し、演算器１５１に重みパラメータ１５２をセットして演算する。また、走行速度が上昇し、最大演算数が４となったときの例について、図１４（ｂ）を用いて説明する。最大演算数が４のときには、フィルタから５削除して演算器１５１にセットする。この場合に、図１４（ａ）と比較すると倍の重みパラメータ１５２を演算器１５１に入れることができることになる。以上で、実施例２についての説明を終わる。
実施例３は、実施例１および実施例２の認識装置１０００を、制御装置２０００に適用した実施例である。図１５は、実施例３における制御装置２０００の機能ブロック図である。この制御装置２０００は、例えば、ECUとして実装される。
図３において、制御装置２０００は、認識装置１０００、制御信号生成部２００１を有する。そして、実施例１や２の処理を実行する認識装置１０００から出力される認識結果１０３を、制御信号生成部２００１に送信する。次に、制御信号生成部２００１では、認識結果に応じて、制御信号２００２を生成し、これに基づいて制御対象３０００の制御を行う。
ここで、制御装置２０００がECUで実行される場合、制御対象３０００は車両となる。この場合、各実施例に記載した処理に基づいて、車両の自動運転や運転支援を実現できる。
以上で、各実施例の説明を終わるが、各実施例には様々な変形例や適用例が想定される。例えば、各実施例では、認識装置１０００を例に説明したが、認識に限定しない演算を行う演算装置も各実施例の範疇に含まれる。
また、各実施例によれば、一般的な画像データを用いて演算を行った場合に、演算器の活用率は50%程度であり、本発明による演算の削除機構を用いることで、演算器の活用率を約100%近くまで向上させることが期待できる。つまり、活用率を向上できる。
さらに、本実施例では、畳み込みニューラルネットワークでの演算の際に、畳み込み演算で使用するフィルタ及びチャネルの一部を削除する。このため、層ごとに異なるフィルタ、チャネルの位置、もしくは順番を示す番号である削除インデックス情報を演算制御部へ与える。このことで、演算器の演算単位に合わせて、畳み込み演算の入力データの一部、および重みパラメータの一部の読み込みをスキップし、畳み込み演算の一部を削除する。これにより限られた演算性能を持つデバイスで演算器を効率よく使用することができる。
１０１ 外界情報取得装置
１０２ CNN演算部
１０４ モデル保存部
１０５ チャネル情報取得部
１０６ 重みパラメータ取得部
１０７ フィルタ情報取得部
１０８ 削除インデックス決定部
１０９ 演算割り当て部
１１１ チャネル情報
１１２ 重みパラメータ情報
１１３ フィルタ情報
１１４ 削除フィルタインデックス情報
１１５ CNN演算制御信号
１１６ 削除チャネルインデックス情報
１１７ 入力データ
２０２ パラメータ格納部
２０３ 畳み込み演算部
２０４ 分岐したCNN演算制御信号
２０８ 個別重みパラメータ
２０９ 個別フィルタ数
２１０ 個別チャネル数
２１１ 保存データ
３０１ 目標処理速度格納部
３０２ 最大演算数保存部
３０３ 演算速度解析部
３０４ 感度情報解析部
３０５ 削除チャネル決定部
３０６ 削除フィルタ決定部
４０１ 演算制御部
４１２ 演算停止制御信号
８０１ 中間データ
８０２ ストライド方向
８０３ 畳み込みフィルタ
９０１ 走行速度取得部
９０２ 目標処理速度判定部

Claims (10)

  1. 入力データをもとにCNN演算を行う演算装置において、
    前記CNN演算に用いるモデルを保存するモデル保存部と、
    前記モデルを用いて、複数の畳み込み層毎に畳み込み演算を実行することで、前記CNN演算を行うCNN演算部と、
    前記モデル保存部から、前記畳み込み演算に用いる畳み込みフィルタの重みパラメータを取得する重みパラメータ取得部と、
    前記モデル保存部に保存された前記モデルから、前記複数の畳み込み層ごとのチャネル情報を取得するチャネル情報取得部と、
    前記モデル保存部から、前記複数の畳み込み層ごとのフィルタ情報を取得するフィルタ情報取得部と、
    前記CNN演算に必要となる重み情報と演算の組み合わせを割り当て、前記CNN演算部へ送信する演算割り当て部と、
    前記CNN演算部の最大演算可能数、前記CNN演算の実行順、前記チャネル情報取得部から取得した前記CNN演算部の畳み込み層ごとのチャネル情報および前記重みパラメータ取得部から取得した重み情報および前記フィルタ情報取得部から取得した前記複数の畳み込み層ごとのフィルタ情報に基づき、前記畳み込み演算に使用するフィルタ情報の一部を削除する削除インデックス決定部を有する演算装置。
  2. 請求項１に記載の演算装置において、
    前記削除インデックス決定部は、さらに、前記畳み込み演算に使用するチャネル情報の一部を削除する演算装置。
  3. 請求項１に記載の演算装置において、
    前記削除インデックス決定部は、削除するフィルタ情報を、前記重み情報の変更に応じて決定する演算装置。
  4. 請求項２に記載の演算装置において、
    前記削除インデックス決定部は、削除するチャネル情報を、前記重み情報の変更に応じて決定する演算装置。
  5. 請求項１に記載の演算装置において、
    前記フィルタ情報が示すフィルタは、複数の重みパラメータで構成され、
    前記削除インデックス決定部は、前記複数のパラメータのうち、所定規則を満たす重みパラメータを決定する演算装置。
  6. 請求項５に記載の演算装置において、
    前記削除インデックス決定部は、前記所定規則として、演算精度の劣化量に基づいて、削除する重みパラメータを決定する演算装置。
  7. 請求項１に記載の演算装置において、
    前記削除インデックス決定部は、処理速度に応じて、削除するフィルタ情報を決定する演算装置。
  8. 請求項７に記載の演算装置において、
    前記削除インデックス決定部は、さらに、前記複数の畳み込み層の感度を示す感度情報および前記フィルタの大きさに基づいて、削除するフィルタ情報を決定する演算装置。
  9. 請求項１乃至８のいずれかに記載の演算装置により、
    前記入力データとして、外界取得装置から取得される外界情報を用い、
    前記外界情報を用いて、外界の状況を認識することを特徴とする認識装置。
  10. 請求項９に記載の認識装置を有し、
    前記認識された外界の状況に応じて、前記認識装置での演算の結果を、対象に対する制御信号として出力することを特徴とする制御装置。
JP2021085284A 2021-05-20 2021-05-20 演算装置、認識装置および制御装置 Pending JP2022178465A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021085284A JP2022178465A (ja) 2021-05-20 2021-05-20 演算装置、認識装置および制御装置
PCT/JP2022/004491 WO2022244331A1 (ja) 2021-05-20 2022-02-04 演算装置、認識装置および制御装置
DE112022001612.4T DE112022001612T5 (de) 2021-05-20 2022-02-04 Rechenvorrichtung, erkennungsvorrichtung und steuervorrichtung

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021085284A JP2022178465A (ja) 2021-05-20 2021-05-20 演算装置、認識装置および制御装置

Publications (1)

Publication Number Publication Date
JP2022178465A true JP2022178465A (ja) 2022-12-02

Family

ID=84140179

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021085284A Pending JP2022178465A (ja) 2021-05-20 2021-05-20 演算装置、認識装置および制御装置

Country Status (3)

Country Link
JP (1) JP2022178465A (ja)
DE (1) DE112022001612T5 (ja)
WO (1) WO2022244331A1 (ja)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005096634A1 (ja) * 2004-03-30 2005-10-13 Kanazawa University Technolgy Licensing Organization Ltd. マルチタスク処理システム、及び、マルチタスク処理方法
JP6756661B2 (ja) * 2017-04-28 2020-09-16 日立オートモティブシステムズ株式会社 車両電子制御装置
CN107832839B (zh) 2017-10-31 2020-02-14 南京地平线机器人技术有限公司 执行卷积神经网络中的运算的方法和装置

Also Published As

Publication number Publication date
WO2022244331A1 (ja) 2022-11-24
DE112022001612T5 (de) 2024-01-18

Similar Documents

Publication Publication Date Title
Lv et al. Lc-rnn: A deep learning model for traffic speed prediction.
KR102216898B1 (ko) 심층 신경망을 사용한 서열분석 결과의 품질 예측
CN108352074A (zh) 准参数光学流估计
US20190361620A1 (en) Semiconductor device and memory access setup method
CN113468967A (zh) 基于注意力机制的车道线检测方法、装置、设备及介质
CN112581522B (zh) 图像中目标物位置检测方法、装置、电子设备及存储介质
CN112651441B (zh) 细粒度非机动车特征检测方法、存储介质及计算机设备
CN112884193A (zh) 预测装置、预测方法及记录介质
CN114529081B (zh) 一种时空联合的交通流量预测方法及装置
CN112287912A (zh) 基于深度学习的车道线检测方法以及装置
CN111027539A (zh) 一种基于空间位置信息的车牌字符分割方法
CN114550449B (zh) 车辆轨迹补全方法、装置、计算机可读介质及电子设备
CN111223296B (zh) 信号灯的控制方法、装置、计算机设备和存储介质
CN111047606A (zh) 一种基于级联思想的病理全切片图像分割算法
WO2022244331A1 (ja) 演算装置、認識装置および制御装置
JP2021532449A (ja) 車線属性検出
Savino et al. Civil infrastructure defect assessment using pixel-wise segmentation based on deep learning
JP7331185B2 (ja) 道路勾配を含む自動車走行テストモードの開発装置及び開発方法
CN115661771A (zh) 一种基于不均匀锚的车道线边沿实时检测方法和系统
CN115136149A (zh) 信息处理装置、车载控制装置
CN109615187B (zh) 一种od矩阵的评估方法、公交负载模拟方法及装置
JP6583111B2 (ja) 演算装置
CN113658228B (zh) 一种基于卷积神经网络的行人轨迹预测系统和方法
Belean et al. FPGA technology and parallel computing towards automatic microarray image processing
CN116071220B (zh) 一种图像窗口数据处理方法、装置、设备及介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240208