JP2022022876A5 - - Google Patents

Description

本発明の目的を達成するために、本発明の一実施形態に係る処理装置は以下の構成を備える。すなわち、
複数の階層を有する畳み込みニューラルネットワークにおける演算を行う処理装置であって、
前記複数の階層のうちのそれぞれを処理対象階層として順次選択する制御手段と、
前記処理対象階層における複数のチャネルのデータの少なくとも一部を保持するデータ保持手段と、
それぞれが、前記処理対象階層の１つのチャネルのデータと、前記処理対象階層に対応する係数と、を用いた積和演算を並列に行う、複数の演算手段と、
前記処理対象階層における処理を特定する情報に基づいて、前記データ保持手段に格納された前記処理対象階層における１つのチャネルそれぞれのデータを、前記複数の演算手段のうちの対応する１つの演算手段に並列に入力する第１の処理を行うか、前記データ保持手段に格納された前記処理対象階層における前記複数のチャネルのデータを順次読み出し、前記処理対象階層における１つのチャネルそれぞれのデータを前記複数の演算手段のそれぞれに並列に入力する第２の処理を行うか、を選択する選択手段と、
を備えることを特徴とする。

Claims (18)

1. 複数の階層を有する畳み込みニューラルネットワークにおける演算を行う処理装置であって、
   前記複数の階層のうちのそれぞれを処理対象階層として順次選択する制御手段と、
   前記処理対象階層における複数のチャネルのデータの少なくとも一部を保持するデータ保持手段と、
   それぞれが、前記処理対象階層の１つのチャネルのデータと、前記処理対象階層に対応する係数と、を用いた積和演算を並列に行う、複数の演算手段と、
   前記処理対象階層における処理を特定する情報に基づいて、前記データ保持手段に格納された前記処理対象階層における１つのチャネルそれぞれのデータを、前記複数の演算手段のうちの対応する１つの演算手段に並列に入力する第１の処理を行うか、前記データ保持手段に格納された前記処理対象階層における前記複数のチャネルのデータを順次読み出し、前記処理対象階層における１つのチャネルそれぞれのデータを前記複数の演算手段のそれぞれに並列に入力する第２の処理を行うか、を選択する選択手段と、
   を備えることを特徴とする処理装置。
2. 前記第２の処理では、前記処理対象階層における前記複数のチャネルのそれぞれ１つについて、該１つのチャネルのデータを前記データ保持手段から前記複数の演算手段に並列に入力することを繰り返すことを特徴とする、請求項１に記載の処理装置。
3. 前記第２の処理において、前記複数の演算手段のそれぞれは、順次入力された前記処理対象階層におけるそれぞれのチャネルのデータを用いて、前記処理対象階層の次の階層における１つのチャネルに対応する演算結果を出力することを特徴とする、請求項２に記載の処理装置。
4. 複数のデータ格納手段をさらに備え、
   前記第１の処理において、前記複数のデータ格納手段のそれぞれは、前記複数の演算手段のうちの対応する１つの演算手段に、前記処理対象階層における対応する１つのチャネルのデータを供給し、前記複数のデータ格納手段のそれぞれは前記複数の演算手段のうちの異なる１つの演算手段に対応し、
   前記第２の処理において、前記複数のデータ格納手段のうちの１つのデータ格納手段は、前記複数の演算手段のそれぞれに、前記処理対象階層における共通の前記１つのチャネルのデータを供給する
   ことを特徴とする、請求項１から３のいずれか１項に記載の処理装置。
5. 複数の階層を有する畳み込みニューラルネットワークにおける演算を行う処理装置であって、
   前記複数の階層のうちのそれぞれを処理対象階層として順次選択する制御手段と、
   前記処理対象階層における複数のチャネルのデータの少なくとも一部を保持するデータ保持手段と、
   それぞれが、前記処理対象階層の１つのチャネルのデータと、前記処理対象階層に対応する係数と、を用いた積和演算を並列に行う、複数の演算手段と、
   前記複数の演算手段のそれぞれによる演算結果を累積する累積手段と、
   前記処理対象階層における処理を特定する情報に基づいて、前記複数の演算手段のうちの１つの演算手段それぞれによる演算結果を前記処理対象階層の次の階層における対応する１つのチャネルの入力データとして出力する第１の処理を行うか、前記累積手段により得られた累積された演算結果を前記次の階層における１つのチャネルの入力データとして出力する第２の処理を行うか、を選択する選択手段と、
   を備えることを特徴とする処理装置。
6. 前記第２の処理では、１つのチャネルのデータが対応する１つの前記演算手段に入力されるように、前記データ保持手段に格納された前記処理対象階層における複数のチャネルのデータが前記複数の演算手段に並列に入力される、請求項５に記載の処理装置。
7. それぞれが前記複数の演算手段のうちの１つに対応する、複数の結果格納手段をさらに備え、
   前記第１の処理において、前記複数の演算手段のそれぞれは、対応する前記結果格納手段に前記演算結果を出力し、
   前記第２の処理において、前記複数の演算手段のそれぞれは、前記累積手段に前記演算結果を出力し、前記累積手段は、前記累積の結果を前記複数の結果格納手段のうちの１つに出力する
   ことを特徴とする、請求項５又は６に記載の処理装置。
8. 前記第１の処理では、１つのチャネルのデータが対応する１つの前記演算手段に入力されるように、前記データ保持手段に格納された前記処理対象階層における複数のチャネルのデータが前記複数の演算手段に並列に入力される、請求項１から７のいずれか１項に記載の処理装置。
9. 前記第１の処理において、前記複数の演算手段のそれぞれは、前記処理対象階層における１つのチャネルのデータを用いて、前記処理対象階層の次の階層における１つのチャネルに対応する演算結果を出力することを特徴とする、請求項１から８のいずれか１項に記載の処理装置。
10. 前記処理対象階層における積和演算に用いる係数の少なくとも一部を保持する係数保持手段と、
    前記データ保持手段及び前記係数保持手段から前記複数の演算手段へのデータ供給を制御する供給制御手段と、をさらに備え、
    前記複数の演算手段のそれぞれは、入力された１つの前記データと１つの前記係数との積を算出し、算出された積を累計することにより、前記積和演算を行う
    ことを特徴とする、請求項１から９のいずれか１項に記載の処理装置。
11. 前記処理対象階層における積和演算で用いられる前記データ及び前記係数が複数のグループに分類されており、
    前記選択手段は、積和演算に用いる前記データ及び前記係数の前記グループに基づいて、前記第１の処理を行うか、前記第２の処理を行うか、を選択することを特徴とする、請求項１から１０のいずれか１項に記載の処理装置。
12. 前記係数は畳み込み処理に用いるフィルタの重み係数であり、前記フィルタのサイズは前記階層ごとに設定可能であることを特徴とする、請求項１から１１のいずれか１項に記載の処理装置。
13. 前記係数は拡張畳み込み処理に用いるフィルタの重み係数であることを特徴とする、請求項１から１１のいずれか１項に記載の処理装置。
14. 前記データ保持手段はメモリであり、
    前記演算手段は乗算器と加算器とを備える演算コアを備え、
    前記メモリと前記演算コアとが設けられたチップを備えることを特徴とする、請求項１から１１のいずれか１項に記載の処理装置。
15. 前記選択手段は、
    前記演算コアへと入力されるデータの前記メモリ内のアドレスを指定する、前記チップに設けられたアドレス発行部を備える
    ことを特徴とする、請求項１４に記載の処理装置。
16. 前記選択手段は、
    前記演算コアへの入力を複数のソースから選択する、若しくは複数の前記演算コアからの出力のうち１つの出力を選択する、前記チップに設けられたマルチプレクサを備える
    ことを特徴とする、請求項１４に記載の処理装置。
17. 前記畳み込みニューラルネットワークに従う演算は処理対象画像に対して行われ、
    前記処理対象階層におけるデータは、前記畳み込みニューラルネットワークに従う演算の過程で得られる特徴画像である
    ことを特徴とする、請求項１から１６のいずれか１項に記載の処理装置。
18. 前記処理対象画像に対して前記畳み込みニューラルネットワークに従う演算を行うように、前記複数の演算手段を制御する制御手段と、
    前記処理対象画像に対して前記畳み込みニューラルネットワークに従う演算を行うことにより得られた処理結果に基づいて、前記処理対象画像に対する画像処理を行う画像処理手段と、
    をさらに備えることを特徴とする、請求項１７に記載の処理装置。