JP2002342738A - 畳み込みネットワーク挙動のシミュレーション方法 - Google Patents
畳み込みネットワーク挙動のシミュレーション方法Info
- Publication number
- JP2002342738A JP2002342738A JP2002069912A JP2002069912A JP2002342738A JP 2002342738 A JP2002342738 A JP 2002342738A JP 2002069912 A JP2002069912 A JP 2002069912A JP 2002069912 A JP2002069912 A JP 2002069912A JP 2002342738 A JP2002342738 A JP 2002342738A
- Authority
- JP
- Japan
- Prior art keywords
- layer
- source
- filter
- encoding
- decoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/10—Interfaces, programming languages or software development kits, e.g. for simulating neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biodiversity & Conservation Biology (AREA)
- Complex Calculations (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】 畳み込みネットワークのシミュレーションの
コストを削減し、直観的な視覚化可能性を含めたネット
ワークの活性度を理解するための手段を提供する。 【解決手段】 畳み込みネットワークは、それぞれニュ
ーロンの二次元格子から構成される一組の層によって定
義される。ネットワークの最後の層以外の各層は、それ
ぞれ後続のターゲット層についてソース層を表す。部分
ソース領域と呼ばれるソース層の複数のニューロンは、
同一の結合重み行列（畳み込みネットワークの重み共有
技法）を共有する。結合重み行列は、符号化フィルタと
復号化フィルタのスカラー積によって表すことができ、
これによって、ソース層（ソース層の活性度）からそれ
ぞれのソース層への駆動信号の通信を、符号化フィルタ
ステップと復号化フィルタステップに分解することがで
きる。
コストを削減し、直観的な視覚化可能性を含めたネット
ワークの活性度を理解するための手段を提供する。 【解決手段】 畳み込みネットワークは、それぞれニュ
ーロンの二次元格子から構成される一組の層によって定
義される。ネットワークの最後の層以外の各層は、それ
ぞれ後続のターゲット層についてソース層を表す。部分
ソース領域と呼ばれるソース層の複数のニューロンは、
同一の結合重み行列（畳み込みネットワークの重み共有
技法）を共有する。結合重み行列は、符号化フィルタと
復号化フィルタのスカラー積によって表すことができ、
これによって、ソース層（ソース層の活性度）からそれ
ぞれのソース層への駆動信号の通信を、符号化フィルタ
ステップと復号化フィルタステップに分解することがで
きる。
Description
【０００１】
【発明の属する技術分野】本発明は畳み込みネットワー
ク（convolutional network）挙動のシミュレーション
方法に関し、ネットワークの内部状態の視覚化に関し、
また、パターン認識等の方法を実施するコンピュータ・
ソフトウェア・プログラムに関する。
ク（convolutional network）挙動のシミュレーション
方法に関し、ネットワークの内部状態の視覚化に関し、
また、パターン認識等の方法を実施するコンピュータ・
ソフトウェア・プログラムに関する。
【０００２】
【従来の技術】生物学上現実的なコネクショニスト・ネ
ットワークを取扱うときは、通常、複数の問題に遭遇す
る。第１に、結合が統計学的に学習されない場合、結合
を高次元ニューロン特徴空間における２つの点を結ぶも
のとして、機能的に定義しなければならないが、これは
ほとんど不可能な作業である。第２に、高次元であるた
めに、シミュレーションの間に、ネットワークの内部状
態を解釈して視覚化することは困難である。さらに、こ
のようなネットワークの（メモリ及び性能の）シミュレ
ーションは、主に結合の数によって決定される。
ットワークを取扱うときは、通常、複数の問題に遭遇す
る。第１に、結合が統計学的に学習されない場合、結合
を高次元ニューロン特徴空間における２つの点を結ぶも
のとして、機能的に定義しなければならないが、これは
ほとんど不可能な作業である。第２に、高次元であるた
めに、シミュレーションの間に、ネットワークの内部状
態を解釈して視覚化することは困難である。さらに、こ
のようなネットワークの（メモリ及び性能の）シミュレ
ーションは、主に結合の数によって決定される。
【０００３】本発明は、畳み込みネットワーク、すなわ
ち、部分領域（sub-area）を有する層を持つネットワー
クを特に対象とする。このようなネットワークでは、ネ
ットワークの層の部分領域のニューロンは、共通の結合
重み行列を共有する。畳み込みネットワークが遭遇する
主な問題は、共有結合を使用しているダイナミクスの大
規模な計算、結合パターンの非直観的な設計、及びその
結果の処理の困難さである。局所的なダイナミック正規
化手順は、計算のオーバーヘッドをさらに増加させる。
最後に、ネットワーク状態（すなわち、その活性度）の
視覚化は、多次元空間で発生する。
ち、部分領域（sub-area）を有する層を持つネットワー
クを特に対象とする。このようなネットワークでは、ネ
ットワークの層の部分領域のニューロンは、共通の結合
重み行列を共有する。畳み込みネットワークが遭遇する
主な問題は、共有結合を使用しているダイナミクスの大
規模な計算、結合パターンの非直観的な設計、及びその
結果の処理の困難さである。局所的なダイナミック正規
化手順は、計算のオーバーヘッドをさらに増加させる。
最後に、ネットワーク状態（すなわち、その活性度）の
視覚化は、多次元空間で発生する。
【０００４】
【発明が解決しようとする課題】畳み込みネットワーク
が遭遇する上述の問題に鑑みて、本発明は、シミュレー
ションのコストを削減し、直観的な視覚化可能性を含め
たネットワークの活性度を理解するためのより良い手段
を提供することを目的とする。
が遭遇する上述の問題に鑑みて、本発明は、シミュレー
ションのコストを削減し、直観的な視覚化可能性を含め
たネットワークの活性度を理解するためのより良い手段
を提供することを目的とする。
【０００５】
【課題を解決するための手段】本発明の第１の態様によ
ると、畳み込みネットワーク挙動のシミュレーション方
法が提案される。畳み込みネットワークは、それぞれニ
ューロンの二次元格子から構成される一組の層によって
定義される。ネットワークの最後の層以外の各層は、そ
れぞれ後続のターゲット層（target layer）のためのソ
ース層（sourcelayer）を表す。部分ソース領域と呼ば
れるソース層の複数のニューロンは、同一の結合重み行
列（畳み込みネットワークの重み共有技法）を共有す
る。結合重み行列は、符号化フィルタと復号化フィルタ
とのスカラー積によって表すことができ、これによっ
て、ソース層（ソース層の活性度）からそれぞれのター
ゲット層への駆動信号の通信を、符号化フィルタステッ
プと復号化フィルタステップに分解することができる。
ると、畳み込みネットワーク挙動のシミュレーション方
法が提案される。畳み込みネットワークは、それぞれニ
ューロンの二次元格子から構成される一組の層によって
定義される。ネットワークの最後の層以外の各層は、そ
れぞれ後続のターゲット層（target layer）のためのソ
ース層（sourcelayer）を表す。部分ソース領域と呼ば
れるソース層の複数のニューロンは、同一の結合重み行
列（畳み込みネットワークの重み共有技法）を共有す
る。結合重み行列は、符号化フィルタと復号化フィルタ
とのスカラー積によって表すことができ、これによっ
て、ソース層（ソース層の活性度）からそれぞれのター
ゲット層への駆動信号の通信を、符号化フィルタステッ
プと復号化フィルタステップに分解することができる。
【０００６】符号化フィルタステップは、符号化フィル
タとソース層の活性度に基づいて、再構成ソースイメー
ジ（source reconstruction image）を算出するステッ
プを含むことができる。復号化フィルタステップは、再
構成ソースイメージと復号化フィルタの畳込み演算によ
ってターゲット層への入力を算出するステップを含むこ
とができる 再構成ソースイメージは、各部分ソース領域と対応する
符号化フィルタのスカラー積を求め、全ての部分ソース
領域のスカラー積の結果を結合することによって算出す
ることができる。
タとソース層の活性度に基づいて、再構成ソースイメー
ジ（source reconstruction image）を算出するステッ
プを含むことができる。復号化フィルタステップは、再
構成ソースイメージと復号化フィルタの畳込み演算によ
ってターゲット層への入力を算出するステップを含むこ
とができる 再構成ソースイメージは、各部分ソース領域と対応する
符号化フィルタのスカラー積を求め、全ての部分ソース
領域のスカラー積の結果を結合することによって算出す
ることができる。
【０００７】符号化フィルタ及び／又は復号化フィルタ
は、予め設定することも、あるいは学習過程によって生
成することもできる。
は、予め設定することも、あるいは学習過程によって生
成することもできる。
【０００８】有利なことに、符号化フィルタステップ及
び／又は復号化フィルタステップは、高速フーリエ変換
（ＦＦＴ）によって実行することができる。
び／又は復号化フィルタステップは、高速フーリエ変換
（ＦＦＴ）によって実行することができる。
【０００９】符号化フィルタ及び復号化フィルタは、そ
れぞれ、対応する結合重み行列が並進不変性を示す軸に
沿って、伸張することができる。
れぞれ、対応する結合重み行列が並進不変性を示す軸に
沿って、伸張することができる。
【００１０】本発明のさらなる態様は、上述の方法を用
いてネットワークの内部状態を視覚化する方法に関す
る。ネットワークの内部状態は、ソース層と後続するタ
ーゲット層間の各結合についての再構成ソースイメージ
によって視覚化される。各再構成イメージは、符号化フ
ィルタ及び対応するソース層の活性度に基づいて算出さ
れる。
いてネットワークの内部状態を視覚化する方法に関す
る。ネットワークの内部状態は、ソース層と後続するタ
ーゲット層間の各結合についての再構成ソースイメージ
によって視覚化される。各再構成イメージは、符号化フ
ィルタ及び対応するソース層の活性度に基づいて算出さ
れる。
【００１１】各再構成ソースイメージは、ソース層の各
部分ソース領域と対応する符号化フィルタとのスカラー
積をとった後に、全ての部分領域について、得られたス
カラー積を結合することによって、算出される。
部分ソース領域と対応する符号化フィルタとのスカラー
積をとった後に、全ての部分領域について、得られたス
カラー積を結合することによって、算出される。
【００１２】本発明のさらなる態様によると、畳み込み
ネットワーク挙動のシミュレーションのための別の方法
が提案される。畳み込みネットワークは、一組の層によ
って定義される。各層は、ニューロンの二次元格子から
構成される。最後の層を除いた各層は、それぞれに後続
するターゲット層のついてのソース層を表す。部分ソー
ス領域と呼ばれるソース層の複数のニューロンは、それ
ぞれ同一の結合重み行列を共有する。本発明によれば、
各結合重み行列は、符号化フィルタと復号化フィルタの
とスカラー積によって表される。各ソース層について、
対応する符号化フィルタと対応する部分ソース領域の活
性度に基づいて、再構成ソースイメージが算出される。
各結合重み行列、各部分ターゲット領域、及び各ターゲ
ット層について、ターゲット層の入力は、先行するソー
ス層の再構成ソースイメージと復号化フィルタの畳み込
みとして算出される。最後に、各ターゲット層につい
て、ターゲット層のニューロンの応答関数及びターゲッ
ト層の計算された入力を使用して、ターゲット層の活性
度が算出される。
ネットワーク挙動のシミュレーションのための別の方法
が提案される。畳み込みネットワークは、一組の層によ
って定義される。各層は、ニューロンの二次元格子から
構成される。最後の層を除いた各層は、それぞれに後続
するターゲット層のついてのソース層を表す。部分ソー
ス領域と呼ばれるソース層の複数のニューロンは、それ
ぞれ同一の結合重み行列を共有する。本発明によれば、
各結合重み行列は、符号化フィルタと復号化フィルタの
とスカラー積によって表される。各ソース層について、
対応する符号化フィルタと対応する部分ソース領域の活
性度に基づいて、再構成ソースイメージが算出される。
各結合重み行列、各部分ターゲット領域、及び各ターゲ
ット層について、ターゲット層の入力は、先行するソー
ス層の再構成ソースイメージと復号化フィルタの畳み込
みとして算出される。最後に、各ターゲット層につい
て、ターゲット層のニューロンの応答関数及びターゲッ
ト層の計算された入力を使用して、ターゲット層の活性
度が算出される。
【００１３】各再構成ソースイメージは、ソース層の各
部分ソース領域と対応する符号化フィルタとのスカラー
積をとった後に、全ての部分領域について、得られたス
カラー積を結合することによって、算出される。
部分ソース領域と対応する符号化フィルタとのスカラー
積をとった後に、全ての部分領域について、得られたス
カラー積を結合することによって、算出される。
【００１４】本発明のさらに別の態様によると、データ
処理デバイス上で実行されるときに上記方法を実現する
コンピュータ・ソフトウェア・プログラムが提案され
る。
処理デバイス上で実行されるときに上記方法を実現する
コンピュータ・ソフトウェア・プログラムが提案され
る。
【００１５】最後に、パターン認識方法の使用（ロボッ
ト等）が提案される。
ト等）が提案される。
【００１６】
【発明の実施の形態】本発明の第１の理論上の背景を、
図１〜図３を参照して説明する。
図１〜図３を参照して説明する。
【００１７】複数の層１，２，３から構成される大抵の
ニューラルネットワーク１２で共通であるのは、ニュー
ロン４の活性度Ａi(ｔ)の評価のある部分において、す
べてのソース（source）ニューロンｊからターゲット
（target）ニューロンｉ（図１参照）へ到来する信号の
寄与度Ａj(ｔ)は、重み行列Ｊi;jを使用して線形に加算
され、単一のスカラーｈi(ｔ)になる。
ニューラルネットワーク１２で共通であるのは、ニュー
ロン４の活性度Ａi(ｔ)の評価のある部分において、す
べてのソース（source）ニューロンｊからターゲット
（target）ニューロンｉ（図１参照）へ到来する信号の
寄与度Ａj(ｔ)は、重み行列Ｊi;jを使用して線形に加算
され、単一のスカラーｈi(ｔ)になる。
【００１８】
【数１】
【００１９】ニューロンのインデックスｉ、ｊは、全て
のニューロンを一意に番号付ける。例えば、空間の局所
部分を用いて入力空間（以下、「特徴空間」とも呼ぶ）
を離散的にサンプリングするとき、インデックスは、ニ
ューロンがどの部分に反応しているかを一意に指示する
ことができる。同様に、高次元特徴空間において、ｉ及
びｊは、単一のインデックスではなく、それぞれがいく
つかのサブインデックスで構成されていると考えること
ができる。
のニューロンを一意に番号付ける。例えば、空間の局所
部分を用いて入力空間（以下、「特徴空間」とも呼ぶ）
を離散的にサンプリングするとき、インデックスは、ニ
ューロンがどの部分に反応しているかを一意に指示する
ことができる。同様に、高次元特徴空間において、ｉ及
びｊは、単一のインデックスではなく、それぞれがいく
つかのサブインデックスで構成されていると考えること
ができる。
【００２０】ニューロンのインデックスは、ソースタイ
プインデックスｋとターゲットタイプインデックスｌ、
及び、タイプ従属のニューロンインデックスｉ、ｊに分
けることができる。つまり、所定のタイプmのすべての
ニューロンの集合をＴmで表すとすると、ｉ∈Ｔk、ｊ∈
Ｔlとなる。対応するソースニューロンタイプ及びター
ゲットニューロンタイプの組ｋ、ｌによって結合タイプ
が一意に決定され、従って式(１)の合計を同一タイプの
結合グループに分割することができる。
プインデックスｋとターゲットタイプインデックスｌ、
及び、タイプ従属のニューロンインデックスｉ、ｊに分
けることができる。つまり、所定のタイプmのすべての
ニューロンの集合をＴmで表すとすると、ｉ∈Ｔk、ｊ∈
Ｔlとなる。対応するソースニューロンタイプ及びター
ゲットニューロンタイプの組ｋ、ｌによって結合タイプ
が一意に決定され、従って式(１)の合計を同一タイプの
結合グループに分割することができる。
【００２１】
【数２】
【００２２】
【数３】
【００２３】
【００２４】
【数４】
【００２５】事実、「畳み込みネットワーク（図１の１
２）」又は「重み共有ネットワーク」と呼ぶことができ
る多数のニューラルネットワークは、この特定の特性を
利用する。重みを共有することによって、独立のパラメ
ータの数が削減され、またこのようなネットワークが扱
い易くなる。さらに、別個のニューロンｉ、ｊ（但し、
タイプｋ、ｌは固定）に対して同一の重み行列を繰り返
し用いることは、固定されたタイプのすべてのニューロ
ン（すべて同一の重み行列を有する）について学習が事
実上同時に起こることを意味する。
２）」又は「重み共有ネットワーク」と呼ぶことができ
る多数のニューラルネットワークは、この特定の特性を
利用する。重みを共有することによって、独立のパラメ
ータの数が削減され、またこのようなネットワークが扱
い易くなる。さらに、別個のニューロンｉ、ｊ（但し、
タイプｋ、ｌは固定）に対して同一の重み行列を繰り返
し用いることは、固定されたタイプのすべてのニューロ
ン（すべて同一の重み行列を有する）について学習が事
実上同時に起こることを意味する。
【００２６】
【００２７】
【００２８】大量のフィルタに対しての本発明による解
決策は、フィルタを分解することである。式(２)から開
始する。
決策は、フィルタを分解することである。式(２)から開
始する。
【００２９】
【数５】
【００３０】
【００３１】一般の結合カーネルは、前述のように並進
不変であり、また、インデックスを比較可能とするため
に、換算関数ｉ→ｊ、ｊ＝Ｌ(ｉ)が２つのインデックス
ｉ、ｊの間の「インタフェース」として動作すると仮定
する。これは、並進不変性の条件に、異なるサイズのｎ
i、及びｎi＝Ｌ(ｎj)の、ｉ及びｊステップの増加を含
めることができることを意味する。従って以下の関係が
成り立つ。
不変であり、また、インデックスを比較可能とするため
に、換算関数ｉ→ｊ、ｊ＝Ｌ(ｉ)が２つのインデックス
ｉ、ｊの間の「インタフェース」として動作すると仮定
する。これは、並進不変性の条件に、異なるサイズのｎ
i、及びｎi＝Ｌ(ｎj)の、ｉ及びｊステップの増加を含
めることができることを意味する。従って以下の関係が
成り立つ。
【００３２】
【数６】
【００３３】もちろん、Ｌには目的に合った関数が選ば
れるべきであり、例えば、インデックスｉ、ｊの自然数
を使用する場合、Ｌは同じく自然数を返すべきである。
れるべきであり、例えば、インデックスｉ、ｊの自然数
を使用する場合、Ｌは同じく自然数を返すべきである。
【００３４】
【００３５】
【数７】
【００３６】インデックスｉ及びｊに対して必要な並進
不変性を達成するために、線形関数ｊ→ｘ、ｘ＝Ｍ(ｊ)
が存在すると仮定すると、以下の式が成り立つ。
不変性を達成するために、線形関数ｊ→ｘ、ｘ＝Ｍ(ｊ)
が存在すると仮定すると、以下の式が成り立つ。
【００３７】
【数８】
【００３８】従って、以下の式が成り立つ。
【００３９】
【数９】
【００４０】これは、結合カーネルが、共通の空間ｘに
おけるニューロン依存の位置ｘi:＝Ｍ[Ｌ(ｉ)] 及び
ｘj:＝Ｍ(ｊ)を中心とする２つのフィルタのスカラー積
によって与えられる（生成される）ことを意味する。
おけるニューロン依存の位置ｘi:＝Ｍ[Ｌ(ｉ)] 及び
ｘj:＝Ｍ(ｊ)を中心とする２つのフィルタのスカラー積
によって与えられる（生成される）ことを意味する。
【００４１】並進不変性は、以下のようにして検査する
ことができる。
ことができる。
【００４２】
【数１０】
【００４３】
【００４４】この考え方の利点は以下に挙げるように明
白である。
白である。
【００４５】・ｎ”×ｎ’個のフィルタの代わりにｎ”
＋ｎ’個のフィルタを記憶し処理すれば良いので、畳み
込みネットワークの組み合わせ問題を回避できる。
＋ｎ’個のフィルタを記憶し処理すれば良いので、畳み
込みネットワークの組み合わせ問題を回避できる。
【００４６】・ある結合のタイプによって渡されるソー
スデータを、再構成イメージＲ(ｘ;ｔ)を用いて視覚化
し変換できる。
スデータを、再構成イメージＲ(ｘ;ｔ)を用いて視覚化
し変換できる。
【００４７】・フィルタと再構成イメージが同一空間で
作用するので、フィルタを分析し、かつフィルタがソー
スデータにどのように作用するのかを理解することがで
きる。
作用するので、フィルタを分析し、かつフィルタがソー
スデータにどのように作用するのかを理解することがで
きる。
【００４８】本発明の考え方は、ソースニューロンの全
体グループ（同一タイプ）からターゲットニューロンの
全体グループ（同一タイプ）に渡されるメッセージを、
それらの間の再構成イメージ（視覚化のために使用でき
る）とともに、符号化/複合化のプロセスとして理解す
ることができることを意味している。このことを、図３
を参照して説明する。
体グループ（同一タイプ）からターゲットニューロンの
全体グループ（同一タイプ）に渡されるメッセージを、
それらの間の再構成イメージ（視覚化のために使用でき
る）とともに、符号化/複合化のプロセスとして理解す
ることができることを意味している。このことを、図３
を参照して説明する。
【００４９】
【００５０】
【００５１】・ターゲット層８のニューロンｉ（図２の
４）の全シナプス入力場（他の結合からの多くの寄与度
を含むことができる）が算出（図２の５）された後、局
所ニューロンダイナミクスの非線形処理ステップ（図２
の６）を適用する。
４）の全シナプス入力場（他の結合からの多くの寄与度
を含むことができる）が算出（図２の５）された後、局
所ニューロンダイナミクスの非線形処理ステップ（図２
の６）を適用する。
【００５２】・ネットワーク内で識別可能なあらゆる可
能性のある結合タイプについて、上記３つのステップを
繰り返す。
能性のある結合タイプについて、上記３つのステップを
繰り返す。
【００５３】シナプス場の算出は畳み込みを利用するだ
けなので、フーリエ畳み込み定理を使用して計算を簡単
にすることができる。特に、ＦＦＴ手法を使用すること
ができる。並進不変の結合構造の場合とは逆に、フーリ
エ技法は提案された技法について意味を持つが、それ
は、ｋ及びｌのあらゆる組み合わせについて畳み込みカ
ーネルがあるからでなく、すべてのｋ及びすべてのｌに
ついてのみ記憶する必要があるからである。これは、領
域間のシナプス場の算出について、ｎ”×ｎ’個のフィ
ルタを使用する代わりに、ｎ”＋ｎ’個のみが必要であ
ることを意味する。
けなので、フーリエ畳み込み定理を使用して計算を簡単
にすることができる。特に、ＦＦＴ手法を使用すること
ができる。並進不変の結合構造の場合とは逆に、フーリ
エ技法は提案された技法について意味を持つが、それ
は、ｋ及びｌのあらゆる組み合わせについて畳み込みカ
ーネルがあるからでなく、すべてのｋ及びすべてのｌに
ついてのみ記憶する必要があるからである。これは、領
域間のシナプス場の算出について、ｎ”×ｎ’個のフィ
ルタを使用する代わりに、ｎ”＋ｎ’個のみが必要であ
ることを意味する。
【００５４】標準的な畳み込みネットワークで生じるそ
の他の計算は、以下に示すように、Ｘ空間における畳み
込み及び成分の線形結合を用いて記述することができ
る。再構成イメージは、式8を使用して以下のように記
述することができる。
の他の計算は、以下に示すように、Ｘ空間における畳み
込み及び成分の線形結合を用いて記述することができ
る。再構成イメージは、式8を使用して以下のように記
述することができる。
【００５５】
【数１１】 但し、ソースニューロンｌの各タイプについて、部分再
構成ソースイメージは以下の通りである。
構成ソースイメージは以下の通りである。
【００５６】
【数１２】 また、部分活性度イメージは以下の通りである。
【００５７】
【数１３】
【００５８】
【００５９】
【数１４】 そして、ターゲットユニット位置ｘiでの畳み込みを評
価する。
価する。
【００６０】
【数１５】
【００６１】本発明の実施例について、図４を参照して
説明する。
説明する。
【００６２】ステップＳ１で処理を開始した後、ステッ
プＳ２でネットワーク結合構造が定義される。この定義
ステップＳ２とともに、結合を分解する符号化/復号化
フィルタを見つけなくてはならない。このステップＳ３
の後、シミュレーション・ループＳ４が開始する。各結
合タイプ及び各ソース領域/部分領域について、初め
に、符号化フィルタとソース層の活性度を使用して、再
構成ソースイメージが算出される。従って、このステッ
プＳ５において、処理領域（部分領域）のソース層の活
性度とともに符号化フィルタが使用され、再構成ソース
イメージが得られる。このイメージはターゲット領域へ
渡されるが、通信帯域幅の要求は低い。ステップＳ６
で、ターゲット層の入力は、単に復号化フィルタを再構
成ソースイメージに適用することによって算出される。
これらの２つのステップＳ５及びＳ６は、互いに独立に
実行することができるので、容易に並列化することがで
きる。加えて、計算は行列要素演算と離散フーリエ変換
を含むだけなので、システムのハードウェア実現が容易
である。ネットワークのダイナミクスがＣＡＤ実行であ
るべき時間の間、シミュレーション・ループが繰り返さ
れる。ステップＳ７のこの時間の間に、処理がまだ完了
しないことが決定され、従って、手続きはステップＳ８
でシミュレーション開始ステップＳ４に戻る。そうでな
い場合は、ステップＳ９で処理が停止される。
プＳ２でネットワーク結合構造が定義される。この定義
ステップＳ２とともに、結合を分解する符号化/復号化
フィルタを見つけなくてはならない。このステップＳ３
の後、シミュレーション・ループＳ４が開始する。各結
合タイプ及び各ソース領域/部分領域について、初め
に、符号化フィルタとソース層の活性度を使用して、再
構成ソースイメージが算出される。従って、このステッ
プＳ５において、処理領域（部分領域）のソース層の活
性度とともに符号化フィルタが使用され、再構成ソース
イメージが得られる。このイメージはターゲット領域へ
渡されるが、通信帯域幅の要求は低い。ステップＳ６
で、ターゲット層の入力は、単に復号化フィルタを再構
成ソースイメージに適用することによって算出される。
これらの２つのステップＳ５及びＳ６は、互いに独立に
実行することができるので、容易に並列化することがで
きる。加えて、計算は行列要素演算と離散フーリエ変換
を含むだけなので、システムのハードウェア実現が容易
である。ネットワークのダイナミクスがＣＡＤ実行であ
るべき時間の間、シミュレーション・ループが繰り返さ
れる。ステップＳ７のこの時間の間に、処理がまだ完了
しないことが決定され、従って、手続きはステップＳ８
でシミュレーション開始ステップＳ４に戻る。そうでな
い場合は、ステップＳ９で処理が停止される。
【００６３】再構成ソースイメージは、ソース領域から
ターゲットが受け取る情報を最も圧縮した形態で含んで
いる。従って、符号化フィルタ及び復号化フィルタが直
観的な空間（例えば、視覚処理のための二次元空間）で
選択されると、再構成ソースイメージをステップＳ１０
で使用して、ネットワークに沿った通信を視覚化するこ
とができる。
ターゲットが受け取る情報を最も圧縮した形態で含んで
いる。従って、符号化フィルタ及び復号化フィルタが直
観的な空間（例えば、視覚処理のための二次元空間）で
選択されると、再構成ソースイメージをステップＳ１０
で使用して、ネットワークに沿った通信を視覚化するこ
とができる。
【００６４】
【００６５】
【００６６】本発明を要約すると、畳み込みネットワー
クの２つの層間の結合を記述する重み行列は、付加空間
で伸張する２つのフィルタのスカラー積として記述され
る。付加空間は、通常重み行列がその並進不変性を示す
空間となるように選択される。駆動入力に対する分解及
び線形性の仮定から、１つの層（ソース層）から、次の
層（ターゲット層）まで駆動信号を通信するプロセスを
符号化ステップと復号化ステップに分解することができ
るという結果になる。
クの２つの層間の結合を記述する重み行列は、付加空間
で伸張する２つのフィルタのスカラー積として記述され
る。付加空間は、通常重み行列がその並進不変性を示す
空間となるように選択される。駆動入力に対する分解及
び線形性の仮定から、１つの層（ソース層）から、次の
層（ターゲット層）まで駆動信号を通信するプロセスを
符号化ステップと復号化ステップに分解することができ
るという結果になる。
【００６７】本発明の典型的な応用形態は、パターン認
識（例えば、音響又は視覚）であり、例えばロボットに
使用できる。
識（例えば、音響又は視覚）であり、例えばロボットに
使用できる。
【００６８】本発明の利点は、以下のように要約するこ
とができる。
とができる。
【００６９】・ネットワーク・ダイナミクス全体の計算
を通してのフーリエ変換の使用により、シミュレーショ
ン計算について最適化された環境及びハードウェアの使
用が可能になる。
を通してのフーリエ変換の使用により、シミュレーショ
ン計算について最適化された環境及びハードウェアの使
用が可能になる。
【００７０】・ネットワークの異なる層間の通信オーバ
ーヘッドの削減により、ネットワーク・ダイナミクス演
算の並列化が可能になる。
ーヘッドの削減により、ネットワーク・ダイナミクス演
算の並列化が可能になる。
【００７１】・高次層間の結合を、共通の作業空間（視
覚処理について、通常は二次元網膜座標ｘ、ｙ）上の符
号化フィルタ及び復号化フィルタとして直感的に設計す
ることができる。
覚処理について、通常は二次元網膜座標ｘ、ｙ）上の符
号化フィルタ及び復号化フィルタとして直感的に設計す
ることができる。
【図１】並進不変の畳み込みネットワークを図式的に示
す図である。
す図である。
【図２】ネットワーク挙動を計算するときの非線形ステ
ップと線形ステップの区切りを示す図である。
ップと線形ステップの区切りを示す図である。
【図３】符号化フィルタ、再構成ソースイメージ及び復
号化フィルタによりソース層とターゲット層の間の結合
の分解を説明する図である。
号化フィルタによりソース層とターゲット層の間の結合
の分解を説明する図である。
【図４】本発明によって提案された処理を表すフローチ
ャートである。
ャートである。
【図５】ネットワークの活性度に基づいた、再構成イメ
ージの計算（符号化ステップ）を示す図である。
ージの計算（符号化ステップ）を示す図である。
【図６】再構成イメージに基づいた、ネットワークの活
性度の計算（復号化ステップ）を示す図である。
性度の計算（復号化ステップ）を示す図である。
１、２、３ 層 ４ ニューロン ７ ソース層 ８ ターゲット層 ９ 再構成ソースイメージ １０ 符号化フィルタ １１ 復号化フィルタ １２ 畳み込みネットワーク
───────────────────────────────────────────────────── フロントページの続き (71)出願人 501442529 Ｃａｒｌ−Ｌｅｇｉｅｎ Ｓｔｒａｓｓｅ 30 63073 Ｏｆｆｅｎｂａｃｈ／Ｍａ ｉｎ， Ｇｅｒｍａｎｙ (72)発明者 ジュリアン・エゲルト ドイツ連邦共和国 63073 オッフェンバ ッハアムマイン市 カール・レギエン・シ ュトラーセ 30 ホンダ アールアンドデ ー ヨーロッパ（ドイッチェラント）ゲー エムベーハー フューチャー・テクノロジ ー・リサーチ内 (72)発明者 ビー・バウム ドイツ連邦共和国 82230 ヴェッセリン グ ドイッチェス ツェントルム フュー ア ルフト ウント ラウムファート デ ィエルアール内 Ｆターム(参考） 5B056 BB13 BB26 BB31
Claims (12)
- 【請求項１】 各層がニューロン(４)の二次元格子によ
って構成され、 最後の層(３)を除いた各層(１,２,３)がそれぞれ後続の
ターゲット層(８)についてソース層(７)を表し、 部分ソース領域と呼ばれるソース層(７)の複数のニュー
ロン(４)が同一の結合重み行列を共有する、一組の層
(１,２,３)で定義された畳み込みネットワーク(１２)の
挙動のシミュレーション方法であって、 各結合重み行列を符号化フィルタ(１０)と復号化フィル
タ(１１)とのスカラー積で表して、ソース層(７)からそ
れぞれのターゲット層(８)への駆動信号の通信を符号化
フィルタステップと復号化フィルタステップに分解する
ことを特徴とする、シミュレーション方法。 - 【請求項２】 前記符号化フィルタステップは、符号化
フィルタ(１０)及びソース層(７)の活性度に基づいて再
構成ソースイメージを計算するステップを含み、 前記復号化フィルタステップは、前記再構成ソースイメ
ージ(９)と前記復号化フィルタ(１１)の畳み込みで、前
記ターゲット層(８)の入力を計算するステップを含むこ
とを特徴とする、請求項１に記載のシミュレーション方
法。 - 【請求項３】 各部分ソース領域と対応する符号化フィ
ルタ(１０)のスカラー積を求め、全ての部分ソース領域
のスカラー積の結果を結合することによって前記再構成
ソースイメージを計算することを特徴とする、請求項２
に記載のシミュレーション方法。 - 【請求項４】 前記符号化フィルタ(１０)と前記復号化
フィルタ(１１)が予め設定されているか又は学習過程に
よって生成されることを特徴とする、請求項２又は３に
記載のシミュレーション方法。 - 【請求項５】 前記符号化フィルタステップ及び前記復
号化フィルタステップがそれぞれ高速フーリエ変換を用
いて実行されることを特徴とする、請求項１乃至４のい
ずれか１項に記載のシミュレーション方法。 - 【請求項６】 前記符号化フィルタ(１０)及び前記復号
化フィルタ(１１)は、それぞれ対応する結合重み行列が
並進不変性を示す軸に沿って伸びることを特徴とする、
請求項５に記載のシミュレーション方法。 - 【請求項７】 請求項１乃至６のいずれか１項に記載の
方法を使用してネットワークの内部状態を視覚化する方
法であって、 ネットワーク(１２)の内部状態が、ソース層と後続する
ターゲット層の間の各結合に対する１つの再構成ソース
イメージ(９)によって視覚化され、該再構成イメージ
(９)は前記符号化フィルタ(１０)と対応するソース層
(７)の活性度に基づいてそれぞれ計算されることを特徴
とする、視覚化方法。 - 【請求項８】 前記ソース層(７)の各部分ソース領域と
対応する符号化フィルタ(１０)のスカラー積を求めるス
テップと、 全ての部分ソース領域のスカラー積の結果を結合するス
テップと、によって各再構成ソースイメージ(９)が計算
されることを特徴とする、請求項７に記載の方法。 - 【請求項９】 各層がニューロン(４)の二次元格子によ
って構成され、 最後の層(３)を除いた各層(１,２,３)がそれぞれ後続の
ターゲット層(８)についてソース層(７)を表し、 部分ソース領域と呼ばれるソース層(７)の複数のニュー
ロン(４)が同一の結合重み行列を共有する、一組の層
(１,２,３)で定義された畳み込みネットワーク(１２)の
挙動のシミュレーション方法であって、 符号化フィルタ(１０)と復号化フィルタ(１１)のスカラ
ー積によって各結合重み行列を表すステップ(Ｓ３)と、 各ソース層(７)について、対応する符号化フィルタ(１
０)と対応する部分ソース領域の活性度に基づいて、再
構成ソースイメージ(９)を計算するステップ(Ｓ５)と、 各結合重み行列、各部分ターゲット領域、及び各ターゲ
ット層について、前記再構成ソースイメージ(９)と前記
復号化フィルタの畳み込みで前記ターゲット層(８)の入
力を計算するステップ(Ｓ６)と、 各ターゲット層(８)について、前記ターゲット層(８)の
ニューロン(４)の応答関数と前記ターゲット層(８)の計
算された入力を使用して、前記ソース層(７)の活性度に
応答して前記ターゲット層(８)の活性度を計算するステ
ップと、 を含むことを特徴とする、シミュレーション方法。 - 【請求項１０】対応するソース層(７)の各部分ソース領
域と対応する符号化フィルタ(１０)のスカラー積を求め
るステップと、 全ての部分ソース領域のスカラー積の結果を結合するス
テップによって各再構成ソースイメージ(９)が計算され
ることを特徴とする、請求項９に記載のシミュレーショ
ン方法。 - 【請求項１１】データ処理デバイスで実現されるとき
に、請求項１乃至１０の何れか１項に記載の方法を実現
することを特徴とする、コンピュータソフトウェアプロ
グラム。 - 【請求項１２】パターン認識のために請求項８に記載の
方法を使用する方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP01106567A EP1241619B1 (en) | 2001-03-15 | 2001-03-15 | Simulation of convolutional network behavior and visualizing internal states of a network |
| EP01106567.9 | 2001-03-15 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002342738A true JP2002342738A (ja) | 2002-11-29 |
| JP4132892B2 JP4132892B2 (ja) | 2008-08-13 |
Family
ID=8176804
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002069912A Expired - Fee Related JP4132892B2 (ja) | 2001-03-15 | 2002-03-14 | 畳み込みネットワーク挙動のシミュレーション方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US7236961B2 (ja) |
| EP (1) | EP1241619B1 (ja) |
| JP (1) | JP4132892B2 (ja) |
| DE (1) | DE60140654D1 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016197389A (ja) * | 2015-04-03 | 2016-11-24 | 株式会社デンソーアイティーラボラトリ | 学習システム、学習プログラムおよび学習方法 |
| JP2017534956A (ja) * | 2015-05-21 | 2017-11-24 | バイドゥ ユーエスエイ エルエルシーＢａｉｄｕ ＵＳＡ ＬＬＣ | 多言語画像質問応答 |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7073151B1 (en) * | 2002-06-04 | 2006-07-04 | Cadence Design Systems, Inc. | Method and apparatus for identifying a path between a set of source states and a set of target states in a triangulated space |
| US7549111B2 (en) * | 2005-09-21 | 2009-06-16 | International Business Machines Corporation | Apparatus, system, and method for converting between serial data and encoded holographic data |
| CN106599773B (zh) * | 2016-10-31 | 2019-12-24 | 清华大学 | 用于智能驾驶的深度学习图像识别方法、系统及终端设备 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6122403A (en) * | 1995-07-27 | 2000-09-19 | Digimarc Corporation | Computer system linked by using information in data objects |
| WO1996002895A1 (en) * | 1994-07-14 | 1996-02-01 | Johnson Grace Company | Method and apparatus for compressing images |
-
2001
- 2001-03-15 EP EP01106567A patent/EP1241619B1/en not_active Expired - Lifetime
- 2001-03-15 DE DE60140654T patent/DE60140654D1/de not_active Expired - Lifetime
-
2002
- 2002-03-12 US US10/099,364 patent/US7236961B2/en not_active Expired - Fee Related
- 2002-03-14 JP JP2002069912A patent/JP4132892B2/ja not_active Expired - Fee Related
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016197389A (ja) * | 2015-04-03 | 2016-11-24 | 株式会社デンソーアイティーラボラトリ | 学習システム、学習プログラムおよび学習方法 |
| JP2017534956A (ja) * | 2015-05-21 | 2017-11-24 | バイドゥ ユーエスエイ エルエルシーＢａｉｄｕ ＵＳＡ ＬＬＣ | 多言語画像質問応答 |
| US10909329B2 (en) | 2015-05-21 | 2021-02-02 | Baidu Usa Llc | Multilingual image question answering |
Also Published As
| Publication number | Publication date |
|---|---|
| DE60140654D1 (de) | 2010-01-14 |
| US7236961B2 (en) | 2007-06-26 |
| EP1241619B1 (en) | 2009-12-02 |
| JP4132892B2 (ja) | 2008-08-13 |
| US20030028359A1 (en) | 2003-02-06 |
| EP1241619A1 (en) | 2002-09-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Lin et al. | FFT-based deep learning deployment in embedded systems | |
| Croall et al. | Industrial applications of neural networks: project ANNIE handbook | |
| US5442569A (en) | Method and apparatus for system characterization and analysis using finite element methods | |
| US6898583B1 (en) | Method and apparatus of creating application-specific, non-uniform wavelet transforms | |
| CN105512723A (zh) | 一种用于稀疏连接的人工神经网络计算装置和方法 | |
| Ravichandar et al. | Learning position and orientation dynamics from demonstrations via contraction analysis | |
| US6976012B1 (en) | Method and apparatus of using a neural network to train a neural network | |
| Goebel | The mathematics of mental rotations | |
| CN111178545B (zh) | 一种动态强化学习决策训练系统 | |
| CN114939870B (zh) | 模型训练方法和装置、策略优化方法、设备及介质 | |
| CN115546888A (zh) | 一种基于身体部位分组的对称语义图卷积姿态估计方法 | |
| JP2002342738A (ja) | 畳み込みネットワーク挙動のシミュレーション方法 | |
| US6876779B2 (en) | Method and apparatus of reconstructing audio/video/image data from higher moment data | |
| CN114897130A (zh) | 一种深度学习模型的转换和推断方法及系统 | |
| Sommer | 10 The Global Algebraic Frame of the Perception-Action Cycle | |
| CN112907450A (zh) | 三维时序图像处理方法、装置、计算机设备和存储介质 | |
| Uhr | Parallel, hierarchical software/hardware pyramid architectures | |
| Chen | Divisible nonlinear load distribution on complete b-Ary trees | |
| Hamdi | Parallel architectures for wavelet transforms | |
| Little et al. | Computational architectures for responsive vision: the vision engine | |
| WO2023231559A1 (zh) | 一种神经网络加速器、加速方法以及装置 | |
| Gauthier et al. | On certain hyperelliptic signals that are natural controls for nonholonomic motion planning | |
| Ahalt et al. | The neural shell: a neural network simulation tool | |
| Zin | Using auto-associative neural networks to compress and visualize multidimensional data | |
| Shapiro | Programming parallel vision algorithms: a dataflow language approach |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050128 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070918 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20071214 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20071219 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080318 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080507 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080602 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110606 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120606 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |