JP2004157755A - 信号処理回路 - Google Patents
信号処理回路 Download PDFInfo
- Publication number
- JP2004157755A JP2004157755A JP2002322717A JP2002322717A JP2004157755A JP 2004157755 A JP2004157755 A JP 2004157755A JP 2002322717 A JP2002322717 A JP 2002322717A JP 2002322717 A JP2002322717 A JP 2002322717A JP 2004157755 A JP2004157755 A JP 2004157755A
- Authority
- JP
- Japan
- Prior art keywords
- signal
- circuit
- processing
- analog
- blocks
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
【課題】小規模な回路構成で大規模な並列階層処理回路を低消費電力で実現する。
【解決手段】記憶手段から読み出される回路構成情報に基づいて演算処理回路に所定の制御信号を出力する信号処理回路において、前記演算処理回路に、入力信号に対して所定の信号変調を行う複数のアナログ処理ブロックＡＢＩ、ＡＢＳと、複数のアナログ処理ブロックＡＢＩからの出力を一時的に保持する複数の処理結果保持メモリブロックＭＢと、複数のアナログ処理ブロックＡＢＳの演算特性を制御するためのデータを格納する複数の演算制御データメモリブロックＷＢと、複数の処理結果保持メモリブロックＭＢまたは複数のアナログ処理ブロックＡＢＩ間を結ぶ複数の信号線とを備え、演算制御データメモリブロックＷＢからのデータ読み出しを制御することにより、演算処理回路に異なる複数の信号処理機能を実行させる。
【選択図】 図１
【解決手段】記憶手段から読み出される回路構成情報に基づいて演算処理回路に所定の制御信号を出力する信号処理回路において、前記演算処理回路に、入力信号に対して所定の信号変調を行う複数のアナログ処理ブロックＡＢＩ、ＡＢＳと、複数のアナログ処理ブロックＡＢＩからの出力を一時的に保持する複数の処理結果保持メモリブロックＭＢと、複数のアナログ処理ブロックＡＢＳの演算特性を制御するためのデータを格納する複数の演算制御データメモリブロックＷＢと、複数の処理結果保持メモリブロックＭＢまたは複数のアナログ処理ブロックＡＢＩ間を結ぶ複数の信号線とを備え、演算制御データメモリブロックＷＢからのデータ読み出しを制御することにより、演算処理回路に異なる複数の信号処理機能を実行させる。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、処理内容に応じて回路構成を変えることができるアナログ／デジタル混載型の信号処理回路に関する。
【０００２】
【従来の技術】
ＦＰＧＡを応用し、アナログ処理素子を再構成可能に結線する方法として、特開平１１−１６８１８５号公報、特開２０００−３３１１１３号公報に開示されるような構成が知られる。前者は、積層基板上の一方にＦＰＧＡを形成し、他方にアナログ処理回路を形成し、両者を連結する入出力端子とインターフェース回路とを有している。また、後者は、第一及び第二のアナログ信号をそれぞれパルス幅変調（ＰＷＭ）信号に変換した後、ＦＰＧＡ回路に両信号を入力し、ＦＰＧＡ回路で２つのＰＷＭ信号の論理演算を行わせることにより、再構成可能としたものである。
【０００３】
また、特許２６７９７３０号公報に開示される階層構造ニューラルネットでは、単層のハードウェアを時分割多重化使用して多層化することを可能とする階層構造ニューラルネットのアーキテクチャに関し、単層のハードウェアを時分割多重化使用して等価的に多層化することを可能とすることを目的とし、複数のニューロンモデルを相互に接続することにより形成されるニューラルネットにおいて、時分割多重化アナログ信号を外部からのデジタル重みデータとの積を生成し、かつその積を時分割的にコンデンサを介して加えることにより積分し、非線形出力関数を通した電圧を時分割的に出力することを可能とするニューロンモデルのユニットを複数設置して単層のユニット集合を形成する単層ユニット集合手段と、前記単層ユニット集合手段の出力を同じ単層ユニット集合の入力部に帰還する帰還手段と、前記単層ユニット集合手段から出力される各ユニットからのアナログ信号を時分割多重化し、さらに前記帰還手段を介して前記単層ユニット集合手段を時分割多重使用するための制御を実行する制御手段とを有し、単層構造のユニット集合手段を時分割多重使用することにより等価的に階層構造のニューラルネットを形成するように構成する。
【０００４】
ＵＳＰ５９５９８７１に係るＦＰＡＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ａｎａｌｏｇ Ａｒｒａｙ）回路では、マルチプレクサ、デマルチプレクサと制御回路及びアナログ処理要素を含むプログラマブルなアナログ処理セルを信号線を介して並列的に配列し、プログラマブルなアナログ処理演算を行う。
【０００５】
【発明が解決しようとする課題】
これらの技術に対して、演算素子の数が増すと入出力端子の数が指数関数的に増え、扱いが困難になること、そのために任意の配線構造を設定することが原理的に困難であることなどの問題を解決することが望まれていた。また、小規模な回路構成で大規模な並列階層処理回路を低消費電力で実現するという問題は未だ完全に解決されていない。
【０００６】
【課題を解決するための手段】
本発明のある態様によれば、演算処理回路と、回路構成情報を記憶する回路構成情報記憶手段と、前記回路構成情報記憶手段から読み出される回路構成情報に基づき前記演算処理回路に所定の制御信号を出力する回路構成制御手段とを有し、前記演算処理回路は、入力信号に対して所定の信号変調を行う複数のアナログ処理ブロックと、前記複数のアナログ処理ブロックからの出力を一時的に保持する複数の処理結果保持メモリブロックと、前記複数のアナログ処理ブロックの演算特性を制御するためのデータを格納する複数の演算制御データメモリブロックと、前記複数の処理結果保持メモリブロックまたは前記複数のアナログ処理ブロック間を結ぶ複数の信号線とを備え、前記回路構成制御手段が前記演算制御データメモリブロックからのデータ読み出しを制御することにより、前記演算処理回路に異なる複数の信号処理機能を実行させることを特徴とする。
【０００７】
【発明の実施の形態】
＜第一の実施形態＞
全体構成と各部の概要
以下、図面を参照して本発明の第一の実施形態を詳細に説明する。図１は、本実施形態での再構成可能な処理回路の要部構成図を示す。この回路は、図９に示すように、全体としては回路構成情報記憶手段１、および回路構成制御手段２とともに再構成処理回路３として信号処理回路を構成する。
【０００８】
図１に示すように再構成処理回路３は、２種類のアナログ処理ブロック（ＡＢＩとＡＢＳ）の３タイプの処理要素ブロック、後で説明するニューロン素子としてのアナログ処理ブロック（ＡＢＩ，ＡＢＩ＋１など）の処理結果を一時的に保持するための処理結果保持メモリブロックＭＢ、及びアナログ処理ブロックの演算特性制御データ保持メモリブロックＷＢとがそれぞれ複数格子状に配列されている。
【０００９】
メモリブロックＭＢを構成する記憶素子としては、アナログメモリとしてのキャパシタ、特に強誘電体材料若しくは高誘電率材料を用いたメモリなどが用いられる。その他、デジタルメモリとしてのＳＲＡＭ、ＦｅＲＡＭなどを用いてもよい。メモリブロックＷＢとしては、不揮発性のメモリ例えば、ＦｅＲＡＭなどが用いられるが、ＳＲＡＭなどであってもよい。
【００１０】
処理結果保持メモリブロックＭＢはアナログ処理ブロック（ＡＢＩ，ＡＢＩ＋１など）に隣接して分散配置され、演算特性制御データ保持メモリブロックＷＢもアナログ処理ブロックＡＢＳに隣接して分散配置されている。なお、図１において各ブロック間は、不図示の多入力多出力が可能な複数のスイッチブロックＳＷ、および信号制御線で結合されている。
【００１１】
信号制御線の種類としては、各ブロック間の信号の伝達、スイッチブロックＳＷのＯＮ／ＯＦＦパターン制御を行うためのスイッチブロック制御線（図２参照、図１では不図示）、アナログ処理ブロックの信号変調パラメータを制御するためのアナログ処理ブロック制御線（図２参照、図１では不図示）がある。各制御線には、クロック信号線が含まれ、所定のクロックタイミングでデジタル的に制御信号を所定のブロックに伝達する。
【００１２】
アナログ処理ブロックＡＢＩは、階層レベルＩのニューロン素子を表し、アナログ処理ブロックＡＢＳは、以下に説明するシナプス素子を表す。スイッチブロックは、所定のクロック信号を入力し、デジタル的に制御される回路ブロックである。また、アナログ処理ブロック（ＡＢＩとＡＢＳ）は、アナログ的な処理を行うためのものであるが、必ずしもキャパシタや抵抗等のアナログ回路要素のみから構成されるわけではなく、デジタル回路要素を内部に含んでいても良い。
【００１３】
図１においてＩ＋１層のニューロン素子ＡＢＩ＋１ ３が入力を受ける信号の伝達経路は、ＡＢＩ ４→ＭＢ→ＡＢＳ４→ＡＢＩ＋１ ３、ＡＢＩ ３→ＭＢ→ＡＢＳ３→ＡＢＩ＋１ ３、及び、ＡＢＩ ２→ＭＢ→ＡＢＳ２→ＡＢＩ＋１ ３の３経路である。一方、Ｉ＋１層のニューロン素子ＡＢＩ＋１ ２が入力を受ける信号の伝達経路は、ＡＢＩ ３→ＭＢ→ＡＢＳ３→ＡＢＩ＋１ ２、ＡＢＩ ２→ＭＢ→ＡＢＳ２→ＡＢＩ＋１ ２、及び、ＡＢＩ １→ＭＢ→ＡＢＳ１→ＡＢＩ＋１ ２の３経路である。これら２つの経路は部分的に重複しているが、重複部分にあるシナプス素子が施すアナログ変調量は信号経路によって一般的に異なり、シナプス素子では経路（入力信号）により異なる変調が与えられるように図３に示すような構成をとっている（詳細は後で説明）。
【００１４】
アナログ処理ブロックＡＢＩ＋１に付随する処理結果保持メモリＭＢに格納されたデータは、回路構成制御手段２により読み出され、次の階層レベルＩ＋２を実現する際に、図１に示すアナログ処理ブロックＡＢＩがアナログ処理ブロックＡＢＩ＋２になりアナログ処理ブロックＡＢＩ＋２にアナログ処理ブロックＡＢＩ＋１の出力データがメモリブロックＭＢからフィードバック結合線（不図示）を介してフィードバックされる。
【００１５】
このように、階層数が増していっても２層または１層分の回路要素により構成される再構成処理回路３で階層レベルが上がるごとに必要な回路構成情報が回路構成情報記憶手段１から読み出され、それが各演算特性制御データ保持メモリブロックＷＢにローディングされることにより処理が進行していく。中間的な処理結果をこのように分さして配置されたメモリに格納することにより、配線問題の影響を受け難くすることができ、より集積度が向上する。
【００１６】
図９の回路構成制御手段２は、図２のスイッチブロック制御線およびアナログ処理ブロック制御線とに制御信号を出力する。前者に対応する制御信号は、図５〜７に例示する各スイッチブロックＳＷ内部のスイッチ素子のオン、オフ制御情報を、後者に対応する制御信号は、シナプス素子での信号変調特性（例えば、パルス位相変調量など）またはニューロン素子での時間窓重み付き積分の時間窓幅、重み関数などの特性を制御する。
【００１７】
以下に説明する各アナログ処理ブロックＡＢ（ＡＢＩ、ＡＢＳのいずれも）は、周囲をスイッチブロックＳＷで取り囲まれるようにして配列している。また、ニューロン素子としてのアナログ処理ブロックＡＢＩ等には、処理結果を保持するメモリブロックＭＢが付随し（隣接して配置され）ている。
【００１８】
図２において各ブロックでの信号の入出力方向がＳＷ２の周囲に付してある番号で示す通り（１）〜（６）の６方向（スイッチブロックＳＷからの一般的な信号の可逆伝達方向を表す）ある事に対応して、正六角形をなすように表示されているが、他の形状であってその辺の数に応じた入出力数を有するものであってもよい。
【００１９】
各ブロック間の結線状態の例を図２に示す。その伝達方向において実線はスイッチブロックＳＷを介してブロック間（スイッチブロック間またはスイッチブロックとアナログ処理ブロック間）における配線が信号の伝達可能な状態を表し、破線は信号伝達が不可能な配線の状態を表している。
【００２０】
各スイッチブロックＳＷは、図２において水平方向に走るスイッチブロック制御線を介して信号の入出力方向（図では６方向）別にＯＮ／ＯＦＦ動作が設定される。スイッチブロックＳＷごとのＯＮ／ＯＦＦパターンのデータは、複数種類が予め所定の回路構成情報記憶手段１内部のメモリ（ＳＲＡＭ、ＤＲＡＭ、ＦＲＡＭ、ＭＲＡＭなど）に記憶され、処理内容に応じて更新（切り替え）することが可能である。
【００２１】
図５（１）にスイッチブロックＳＷの構成を示す。ここでは、各方向別に計６個のデジタル回路要素であるスイッチ素子ＳＷＤｊ（ｊ＝１，２，…，６）が配置され、それぞれのＯＮ／ＯＦＦパターン（ＯＮ状態は黒丸、ＯＦＦ状態は白丸で表示）により、図５（２）に示すような信号の出力方向の制御機能、および図６（１）に示すように複数の入力信号を統合して所定の方向に出力する機能を実現することができる。
【００２２】
また、図６（２）或いは図７に示すように信号線を各方向に複数個独立して設定してもよい。図６（２）では、同一方向に走る複数信号線について１個のスイッチ素子を割り当てている。図７では、同一方向に走る複数の信号線それぞれについてスイッチ素子ＳＷＤを設けている。このようにすることにより、複数のパルス信号の流れを同一スイッチブロックＳＷで別個独立に制御することができる。スイッチブロック内のスイッチ素子の状態制御はスイッチブロック制御線を介して所定のクロックタイミングで行われる。
【００２３】
図１および図２において特に、信号線１、信号線２と示されているのは、ニューロン素子ＡＢＩにシナプス素子ＡＢＳでアナログ変調された信号を伝達するための線である。これは、図６（２）に示す構成をスイッチブロックＳＷにおいて用いた場合に相当する。図１において信号線１は、ニューロン素子ＡＢＩ＋１ ３に、信号線２はニューロン素子ＡＢＩ＋１ ４に信号を伝達する。これら信号線は後述する局所的な共通バスラインとして用いられ、所定のパルス変調信号が伝播する。
【００２４】
図２では便宜上、以上説明したような信号線は２本のみ表示したが、実際にはさらに多くの信号線を配しても良い。ただし、信号線の本数が多くなると配線部分の面積の回路全体に占める割合が大きくなりすぎ、集積度が上がらなくなるなどの問題が生じるので、その本数には一定の制限を設ける。
【００２５】
しかしながら、その限度を超えた数の信号線が必要となる場合がある。例えば、ｎ個のＩ＋１層のニューロン素子が、ｍ個（ｎ＞ｍ）の信号線を用いて互いに部分的に重複するＩ層のｓ個のニューロン素子からの出力信号についてそれぞれ異なるアナログ変調をシナプス素子で行った後入力する場合である。
【００２６】
このような場合には、時分割でニューロン素子ＡＢＩブロックに接続するスイッチブロックＳＷのＯＮ／ＯＦＦパターンを切り替えて処理する。その際には、シナプス素子としてのアナログ処理ブロックＡＢＳ内のアナログ変調回路（後述）の変調量も回路構成制御手段２からの制御信号がアナログブロック制御線（図２）を介して更新される。
【００２７】
次に、本実施形態の信号処理回路における各ブロックの機能について説明する。スイッチブロックＳＷは、それと接続するアナログ処理ブロック（ＡＢＩ、ＡＢＳ）からの信号の流れを制御することにより、上位の階層レベルのニューロン素子が入力を受ける下位階層のニューロン素子の範囲（以下、「受容野」という）を決定する。この受容野によって与えられる結合構造は複数配列されるスイッチブロックＳＷのＯＮ／ＯＦＦパターンにより任意に設定することができる。
【００２８】
さらに受容野内のシナプス結合荷重の分布構造のデータは、演算特性制御データメモリブロックＷＢに格納され、後述するアナログ処理ブロック内の複数ある変調回路の個々のパラメータを設定することにより任意に与えることができる。
【００２９】
これらの結果として、デジタルメモリ素子にシナプス荷重情報或いは配線情報を格納して、メモリアクセスを頻繁に行うような構成をとる必要が無くなることにより、高速並列処理の特性が確保されると同時に、処理内容（抽出する特徴の種類）に応じた回路構成の変更といった柔軟性、拡張性がもたらされる。
【００３０】
アナログ処理ブロックＡＢＳは、信号の変調量を複数のシナプス荷重値に応じて個々に設定可能な多入力多出力素子であり、典型的には入力信号にシナプス荷重値を積算した信号を出力する（後述する実施形態では入力パルス信号の位相変調信号を出力する）。図３に示すように、複数シナプス荷重値に対応するアナログ変調手段を内部に複数有する。
【００３１】
一つのアナログ処理ブロックＡＢＳは、一定範囲内で出力側Ｉと入力側Ｊの各ニューロンの範囲を設定可能であり、内部に出力側ニューロン素子アドレスと入力側ニューロン素子アドレスによって決まるシナプス荷重値に相当する変調を与える複数のアナログ変調手段を有する。図３にその構造を示す。
【００３２】
図３（１）では、本発明で用いるシナプス素子の構成を示し、内部に出力線（入力線）の数と同数のアナログ変調手段を有する。図３では、表示を簡略化するためにアナログブロック制御線は示していないが、各アナログ変調手段は、当該制御線を介して変調量（本実施形態ではパルス位相（遅延量）またはパルス幅の変調）が設定または更新される。
【００３３】
図３（２）では、多入力一出力のシナプス素子の構成を示す。この素子は、上位層の複数のニューロン素子が重複する下位層ニューロンからの信号出力を時分割的に受ける場合に、各信号について上位層ニューロンに応じて異なるアナログ変調がシナプス素子で行われる場合に用いられる。
【００３４】
例えば、図１において、Ｉ層のニューロン素子ＡＢＩ ３からＩ＋１層のニューロン素子ＡＢＩ＋１ ３へ至る信号伝達経路（点線の矢印）とニューロン素子ＡＢＩ ３からニューロン素子ＡＢＩ＋１ ２へ至る信号伝達経路（実線の矢印）は、いずれもシナプス素子ＡＢＳ３を通る。
【００３５】
シナプス素子ＡＢＳ３においては、それぞれの伝達経路（または上位層ニューロンのアドレス）によって異なる変調量（パルス位相変調、パルス幅変調など）が得られるように内部にある複数の変調手段の各パラメータが設定されている。
【００３６】
このように構成することにより、近接するニューロン素子の間で互いに重複する受容野構造がある場合においても同一アナログ処理ブロックＡＢＳを経由する複数の異なる信号伝達経路を設定することが可能となる。その結果、神経回路網を構成する回路要素間の配線問題の軽減、回路要素数の低減がもたらされる。
【００３７】
アナログ変調量は以下に説明するパルス位相変調においては、シナプス回路を構成する要素であるキャパシタに与える電荷量などによって与えることができ、アナログ処理ブロックＡＢＳ内の各変調手段にある浮遊ゲート素子またはキャパシタにアナログ処理ブロック制御線（図２（１）に示す）を介して所定電荷量が与えられる。
【００３８】
ここで、図９に示す回路構成制御手段２は、回路構成情報記憶手段１に格納されたシナプス荷重値データ（所定の蓄積電荷量を与える印加電圧など）を読み出すと、浮遊ゲート素子またはキャパシ）において、シナプス荷重値相当の電荷が蓄積（電圧が発生）するまで電流を注入する。その後、受容野構造を構成する要素となる各シナプス回路要素ＡＢＳｋ（ｋ＝１，２，・・・）を時系列的にアクセスし、電圧印加して電荷を注入することによりシナプス荷重の分布構造（受容野構造）を設定する。なお、高速に荷重値相当のデータを書き換え可能で、かつ所定時間そのデータを保持することができるメモリ素子（ＭＲＡＭ、ＦｅＲＡＭなど）が利用可能であれば、そのようなメモリ素子を用いても良い。
【００３９】
次に、図１に示す構成を用いて、並列階層処理により画像認識を行う神経回路網を形成した場合について説明する。はじめに図８を参照して神経回路網の処理内容を詳細に説明する。この神経回路網は、入力データ中の局所領域において、対象または幾何学的特徴などの認識（検出）に関与する情報を階層的に扱うものであり、その基本構造はいわゆるＣｏｎｖｏｌｕｔｉｏｎａｌネットワーク構造（ＬｅＣｕｎ，Ｙ．ａｎｄ Ｂｅｎｇｉｏ，Ｙ．，１９９５，“Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ ｆｏｒ Ｉｍａｇｅｓ Ｓｐｅｅｃｈ，ａｎｄ Ｔｉｍｅ Ｓｅｒｉｅｓ”ｉｎ Ｈａｎｄｂｏｏｋ ｏｆ Ｂｒａｉｎ Ｔｈｅｏｒｙ ａｎｄ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ（Ｍ．Ａｒｂｉｂ，Ｅｄ．），ＭＩＴ Ｐｒｅｓｓ，ｐｐ．２５５−２５８）である。最終層（最上位層）からの出力は認識結果としての認識された対象のカテゴリとその入力データ上の位置情報である。
【００４０】
データ入力層１０１は、ＣＭＯＳセンサ、或いはＣＣＤ素子等の光電変換素子からの局所領域データを走査手段１の指示の下に入力する層である。最初の特徴検出層（１，０）は、データ入力層１０１より入力された画像パターンの局所的な低次の特徴（特定方向成分、特定空間周波数成分などの幾何学的特徴のほか色成分特徴を含んでもよい）を全画面の各位置を中心として局所領域（或いは、全画面にわたる所定のサンプリング点の各点を中心とする局所領域）において同一箇所で複数のスケールレベル又は解像度で複数の特徴カテゴリの数だけ検出する。そのために、特徴の種類（例えば、幾何学的特徴として所定方向の線分を抽出する場合にはその幾何学的構造である線分の傾き）に応じた受容野構造を有し、その程度に応じたパルス列を発生するニューロン素子から構成される。
【００４１】
特徴統合層１０３（２，０）は、所定の受容野構造（以下、受容野とは直前の層の出力素子との結合範囲を、受容野構造とはその結合荷重の分布を意味する）を有し、パルス列を発生するニューロン素子からなり、特徴検出層１０２（１，０）からの同一受容野内にある複数のニューロン素子出力の統合（局所平均化、最大出力検出等によるサブサンプリングなどの演算）を行う。また、特徴統合層内のニューロンの各受容野は同一層内のニューロン間で共通の構造を有している。
【００４２】
後続の層である各特徴検出層１０２（（１，１）、（１，２）、・・・、（１，Ｍ））及び各特徴統合層１０３（（２，１）、（２，２）、・・・、（２，Ｍ））は、それぞれ所定の受容野構造を持ち、上述した各層と同様に前者（（１，１）、・・・）は、各特徴検出モジュールにおいて複数の異なる特徴の検出を行い、後者（（２，１）、・・・）は、前段の特徴検出層からの複数特徴に関する検出結果の統合を行う。但し、前者の特徴検出層は同一チャネルに属する前段の特徴統合層の細胞素子出力を受けるように結合（配線）されている。特徴統合層で行う処理であるサブサンプリングは、同一特徴カテゴリの特徴検出細胞集団からの局所的な領域（当該特徴統合層ニューロンの局所受容野）からの出力についての平均化などを行うものである。
【００４３】
以上に説明した並列階層構造を図１に示す構成で実現した場合は、シナプスはアナログ処理ブロックＡＢＳを構成し、Ｉ層のニューロン素子は、アナログ処理ブロックＡＢＩを構成するものである。
【００４４】
図４では、ある特徴検出（統合）細胞に対する受容野を形成する特徴統合（検出）細胞のニューロン群（ｎｉ）からの出力（当該細胞から見ると入力）に関与する結合手段の構成を示している。信号伝達手段として太線で示している部分は局所的な共通バスラインを構成し、この信号伝達ライン上に複数のニューロンからのパルス信号が時系列に並んで伝達される。
【００４５】
いわゆる、興奮性結合はシナプス結合手段Ｓにおいて、パルス信号の増幅を行い、抑制性結合は逆に減衰を与えるものである。パルス信号により情報の伝達を行う場合、増幅及び減衰はパルス信号の振幅変調、パルス幅変調、位相変調、周波数変調のいずれによっても実現することができる。本実施形態においては、シナプス結合手段Ｓは、主にパルスの位相変調素子として用い、信号の増幅は、特徴に固有な量としてのパルス到着時間の実質的な進み、減衰は実質的な遅れとして変換される。即ち、シナプス結合は、出力先のニューロンにおいて、個々の特徴に固有な時間軸上の到着位置（位相）を与え、定性的には興奮性結合はある基準位相に対する到着パルスの位相の進みを、抑制性結合では同様に遅れを与えるものである。
【００４６】
図４の（Ａ）において、各ニューロン素子ｎｊは、パルス信号（スパイクトレイン）を出力し、いわゆるｉｎｔｅｇｒａｔｅ−ａｎｄ−ｆｉｒｅ型の入出力処理を行う。次にアナログ処理ブロックＡＢＩを構成するニューロン回路について説明する。各ニューロン素子は、いわゆるｉｎｔｅｇｒａｔｅ−ａｎｄ−ｆｉｒｅニューロンを基本として拡張モデル化したもので、入力信号（アクションポテンシャルに相当するパルス列）を時空間的に線形加算した結果が閾値を越したら発火し、パルス状信号を出力する点では、いわゆるｉｎｔｅｇｒａｔｅ−ａｎｄ−ｆｉｒｅニューロンと同じである。
【００４７】
図４の（Ｂ）はニューロン素子としてのパルス発生回路（ＣＭＯＳ回路）の動作原理を表す基本構成の一例を示し、公知の回路（ＩＥＥＥ Ｔｒａｎｓ．ｏｎＮｅｕｒａｌ Ｎｅｔｗｏｒｋｓ Ｖｏｌ．１０，ｐｐ．５４０）を拡張し、所定の時間窓内での入力パルス信号の重み付き積分を実行可能としている（時間窓重み付き積分による高次の特徴検出法については本出願人による特願２０００−１８１４８７号を参照）。ここでは、入力信号として興奮性と抑制性の入力を受けるものとして構成されている。
【００４８】
なお、各ニューロン素子のパルス発火タイミングの動作制御機構等に関しては、本願の主眼とするところではないので説明を省略する。
【００４９】
パルス信号によるニューロン間の信号の伝達はいわゆるＡＥＲ（Ａｄｄｒｅｓｓ Ｅｖｅｎｔ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）の手法（Ｌａｚｚａｒｏ，ｅｔ ａｌ．１９９３，Ｓｉｌｉｃｏｎ Ａｕｄｉｔｏｒｙ Ｐｒｏｃｅｓｓｏｒｓ ａｓ Ｃｏｍｐｕｔｅｒ Ｐｅｒｉｐｈｅｒａｌｓ，Ｉｎ Ｔｏｕｒｅｓｔｚｋｙ，Ｄ．（ｅｄ），Ａｄｖａｎｃｅｓ ｉｎ Ｎｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍｓ ５．Ｓａｎ Ｍａｔｅｏ，ＣＡ：Ｍｏｒｇａｎ Ｋａｕｆｍａｎｎ Ｐｕｂｌｉｓｈｅｒｓ）を用いても良いし、本出願人による特願２０００−１８１４８７号に開示されるような方法などによればよい。これらは、図４に示したように局所的な共通バスを介して複数ニューロンからのパルス信号を伝達するのに好適な方法である。
【００５０】
上述したパターン認識装置をカメラその他の画像入力手段、或いはプリンタ及びディスプレイその他の画像出力手段に搭載することができる。その結果、低消費電力で小規模な回路構成により、特定被写体の認識または検出を行って所定の動作、例えば画像入力手段については、特定被写体を中心とするフォーカシング、露出補正、ズーミング、或いは色補正などの処理を行うことができる。画像出力手段についても特定被写体に関する最適色補正などの処理を自動的に行うことができる。
【００５１】
次に、本実施形態の構成に係るパターン検出（認識）装置を撮像装置に搭載させることにより、特定被写体へのフォーカシングや特定被写体の色補正、露出制御を行う場合について、図１０を参照して説明する。図１０は、実施形態に係るパターン検出（認識）装置を撮像装置に用いた例の構成を示す図である。
【００５２】
図１０の撮像装置１１０１は、撮影レンズおよびズーム撮影用駆動制御機構を含む結像光学系１１０２、ＣＣＤ又はＣＭＯＳイメージセンサー１１０３、撮像パラメータの計測部１１０４、映像信号処理回路１１０５、記憶部１１０６、撮像動作の制御、撮像条件の制御などの制御用信号を発生する制御信号発生部１１０７、ＥＶＦなどファインダーを兼ねた表示ディスプレイ１１０８、ストロボ発光部１１０９、記録媒体１１１０などを具備し、更に上述した時分割多重化処理を行うパターン認識装置を被写体検出（認識）装置１１１１として備える。
【００５３】
この撮像装置１１０１は、例えば撮影された映像中から予め登録された人物の顔画像の検出（存在位置、サイズの検出）を被写体検出（認識）装置１１１１により行う。そして、その人物の位置、サイズ情報が被写体検出（認識）装置１１１１から制御信号発生部１１０７に入力されると、同制御信号発生部１１０７は、撮像パラメータ計測部１１０４からの出力に基づき、その人物に対するピント制御、露出条件制御、ホワイトバランス制御などを最適に行う制御信号を発生する。
【００５４】
上述したパターン検出（認識）装置を、このように撮像装置に用いた結果、小型・低消費電力な回路で、高速（リアルタイム）に人物検出とそれに基づく撮影の最適制御を行うことができるようになる。
【００５５】
＜第二の実施形態＞
図１１に再構成可能なアナログデジタル混載回路として実現される神経回路網の他の構成例を示す。本実施形態に係る再構成可能な信号処理回路は、図８に示すようなパターン認識のための階層的神経回路網を実現する他の実施形態であり、パルス信号を検出カテゴリに応じてシナプス回路（アナログ処理ブロック）において位相変調することにより、階層的に低次特徴から高次特徴まで検出する点では第一の実施形態と同じである。
【００５６】
本信号処理回路は、シナプス素子としてのアナログ処理ブロックＡＢＳ、パルス信号の位相遅延を与えるデジタル処理ブロックＤＢ、受容野構造（ニューロン間の局所的結合構造）を可変とするためのスイッチブロックＳＷ、及びアナログ処理ブロックＡＢＳｋ（ｋ＝１，２，…）からの出力に基づき所定の信号出力を行う論理処理ブロックＬＢ（ニューロン素子の一部）、論理処理ブロックの出力を保持する処理結果保持メモリブロックＭＢ、およびデジタル処理ブロックＤＢでの演算特性制御データを格納する演算特性制御データ保持メモリＷＢとから構成される。
【００５７】
各処理結果保持メモリブロックＭＢは論理処理ブロックＬＢごとに隣接して配置され、また各演算特性制御データ保持メモリＷＢはデジタル処理ブロックＤＢごとに隣接して配置される。図１４に示すようにメモリブロックＭＢから読み出されたデータは、論理処理ブロックＬＢにフィードバック結合線１０を介して入力され、次の階層レベルでの処理が進行する。
【００５８】
このとき、回路構成制御手段２から演算特性制御データ保持メモリＷＢに次の階層レベルでの処理に対応するシナプス結合荷重データが入力されるか、またはメモリＷＢ内の読み出しアドレス制御信号が入力され、次の階層レベルでの処理に対応した結合荷重データがＷＢから読み出される。回路構成情報記憶手段１、回路構成制御手段２を含めた全体の構成は第一の実施形態と同様、図９に示すとおりである。
【００５９】
このように、論理処理要素その他のデジタル回路要素をアナログ回路要素と同様に分布、混在化させる構成により、大規模集積化してもアナログ処理要素の動作特性ばらつきの影響を受け難くし、安定動作可能とすることができる。デジタル回路要素においてアナログ処理要素の変動要因を吸収することができるからである。
【００６０】
なお、第１実施形態と同様、メモリブロックＭＢを構成する記憶素子としては、アナログメモリとしてのキャパシタ、特に強誘電体材料若しくは高誘電率材料を用いたメモリなどが用いられる。その他、デジタルメモリとしてのＳＲＡＭ、ＦｅＲＡＭなどを用いてもよい。メモリブロックＷＢとしては、不揮発性のメモリ例えば、ＦｅＲＡＭなどが用いられるが、ＳＲＡＭなどであってもよい。
【００６１】
図１１においてＪ層のニューロン素子ＬＢＪ ３が、Ｉ層（Ｊ＞Ｉ、一般的にＪ＝Ｉ−１）のニューロン素子から入力を受ける信号の伝達経路は、
ＬＢＩ ４→ＡＢＳ４→ＳＷ→ＤＢ３→ＬＢＪ ３、
ＬＢＩ ３→ＡＢＳ３→ＤＢ３→ＬＢＪ ３、
ＬＢＩ ２→ＡＢＳ２→ＳＷ→ＤＢ３→ＬＢＪ ３
の３経路である。
【００６２】
一方、Ｊ層のニューロン素子ＬＢＪ ２がＩ層のニューロン素子から入力を受ける信号の伝達経路は、
ＬＢＩ ３→ＡＢＳ３→ＳＷ→ＤＢ２→ＬＢＪ ２、
ＬＢＩ ２→ＡＢＳ２→ＤＢ２→ＬＢＪ ２、
ＬＢＩ １→ＡＢＳ１→ＳＷ→ＤＢ２→ＬＢＪ ２
の３経路である。
【００６３】
これら３経路からなる２種類の経路はシナプス素子ＡＢＳで部分的に重複しているが、第一の実施形態と同様、重複部分にあるシナプス素子が施すアナログ変調量は信号経路によって一般的に異なる。また、シナプス素子ＡＢＳは、複数の経路（信号線）からの入力信号についての変調機能のほかに、適切な経路（方向）への分岐出力機能も有している。このために、本実施形態で用いるシナプス素子用アナログ処理ブロックＡＢＳは、図１２に示すような構成をとる。ここに、アナログ処理ブロックＡＢＳは、３つの入力信号を別個独立に受け、内部に３つのアナログ変調手段と１個のスイッチ素子を有している。アナログ変調手段からの各出力は、スイッチ素子から５方向に任意に出力可能となっている。
【００６４】
また、本実施形態で用いるデジタル処理ブロックＤＢの構成例を図１３に示す。ここに、デジタル処理ブロックＤＢは、３つの遅延素子と１つのスイッチブロックを内部に有している。スイッチブロックは、特に時間的に出力方向を分岐するスイッチ素子から構成される点が図３に示すスイッチブロックＳＷと異なる。３つの遅延素子からの出力は統合されて１つの信号線に出力される。
【００６５】
シナプス用アナログ処理ブロックＡＢＳでは、第一の実施形態と同様にパルス信号を入力し、所定のパルス位相変調（または時間遅れ）を与えて出力する。この変調量（または遅延量）は、付随する演算特性制御データ保持メモリＷＢから与えられる。また、時間遅延を与えるデジタル処理ブロックＤＢの遅延特性も演算特性制御データ保持メモリＷＢにより与えられる。
【００６６】
本実施形態では、ニューロン素子による複数下位カテゴリの検出信号を統合する機能は、論理処理ブロックＬＢを用いて構成され、ニューロン素子回路の一部は上記論理処理ブロックＬＢを構成し、その論理処理ブロックは、予めリスト又は辞書形式で記述された組み合わせリスト構造データを参照して認識カテゴリに該当する組み合わせの入力信号があったか否かを判定する一種の組み合わせ論理回路および所定の認識（検出）信号の出力回路（Ｆｌｉｐ−Ｆｌｏｐ回路及び論理回路）等から構成される。
【００６７】
最も単純な論理回路の形態としては、第一の実施形態に示したようにシナプス回路で位相変調を受け、それぞれが異なる特徴カテゴリを表す複数のパルス信号列を論理処理ブロックが入力し、それらのＡＮＤをとる回路である。本実施形態では、論理処理ブロックＬＢによりＡＮＤをとる前に、デジタル処理ブロックＤＢにおいて遅延素子（デジタル回路素子）により各入力パルスに所定の遅延を与え、時間軸上でパルス到着時刻がほぼ同一になるようにする。
【００６８】
例えば、ある特徴カテゴリの検出を表すパルス信号について、基準時刻に対するそのパルス到着の時間をｔｎとすると、遅延素子ではＴ−ｔｎの遅延（Ｔ＞ｔｎ）をそのパルス信号に対して与える。なお、遅延量はデジタル的に与えられるため、遅延素子からの出力パルスが互いに時間軸上で厳密に一致しない場合が生じえるが、その不一致の大きさは最大でもパルス幅の半分以下の程度となるように遅延量の精度が与えられているものとする。
【００６９】
第一の実施形態に示すようにシナプス回路素子での変調を受けたパルス信号を共通バス経由で論理処理ブロックが入力する場合には、上述した遅延素子は遅延量を入力パルスに応じて切り替える（変調する）。さらにマルチプレクサ回路を経由して多入力一出力のＡＮＤ素子に入力する。
【００７０】
以上のようにすることにより、低次特徴のリスト構造で与えられる高次特徴データの検出は単純なＡＮＤ処理により実現することができる。ただし、単純なＡＮＤ処理では構成要素である全ての低次特徴データが検出されない限り、高次特徴の検出が行われることはない。そこで検出される構成要素の割合が一定値以上であれば該当する高次特徴が検出されたことになるように論理回路を構成してもよい。例えば、Ｍ個の低次特徴要素から構成される高次特徴の検出がＮ個の低次特徴要素の所定空間配置での検出が行われることによりなされるとすると、ＭＣＮ（＝Ｍ！／（Ｍ−Ｎ）！Ｎ！）個（但し、ｍ！＝ｍ（ｍ−１）・・・２・１）の夫々異なる組み合わせのパルス信号を入力するＮ入力１出力ＡＮＤ素子を設定し、それぞれの出力のＯＲをとるように構成すればよい。
【００７１】
次に、上記リスト構造データについて説明する。図９に示すように、高次パターンを構成する中次（低次）パターンの互いに連結するリスト構造として与えられる。
【００７２】
このデータ構造の例を図１５９に示す。ここに高次パターンのカテゴリを「顔」とし、これに対応して検出される予定の中次パターンのカテゴリは「目」、「鼻」、「口」のように与えられる。各中次パターンについても同様にそれを構成する低次パターンリスト構造（木構造）データとして与えられる。
【００７３】
このデータ構造には構成要素となる各中次パターンの空間配置情報が記述されていないが、これは、図８の階層的神経回路網を用いた構成において、各特徴検出層ニューロンがその前の層の特徴統合層に対して予め学習された空間配置を満たす複数の局所的特徴要素が存在することを検出できるようにシナプス結合していることを前提としているからである（特願２０００−１８１４８７号参照）。即ち、予定された空間配置関係を満たすような局所的特徴要素が存在すれば、それぞれの検出信号（パルス信号）が予め設定された時間間隔で特徴検出層ニューロンに入力されるため、特徴検出層ニューロン素子内では、特徴要素間の空間配置関係を記述するデータを参照しなくても良いからである。
【００７４】
図９において中次特徴が黒丸で表示されているのは、「顔」としての検出に必要な中耳特徴の検出の状態を表し、白丸として与えられているのは未検出の状態を示す。図９は、明らかに少なくとも３つの中次特徴の検出が必要であることを表している。
【００７５】
＜第三の実施形態＞
要部構成を図１６に示す。本実施形態においては、演算特性制御データとしての結合荷重データを保持する演算特性制御データメモリ４０を一つ再構成処理回路３とは別個に設定し、再構成回路３内部には演算特性制御データ保持メモリを用いない。但し、中間出力データのフィードバックは、第１、第２の実施形態と同様に分散配置された処理結果保持メモリブロックＭＢを介して行う。例えば、図１６においてアナログ処理ブロックＡＢＤｋの出力は隣接するメモリブロックＭＢＤに保持され、その後読み出されたフィードバック結合線１０によりアナログ処理ブロックＡＢＩｋに入力される。前実施形態と同様に回路構成の更新制御は、階層レベルを上げるごとに行い、実質的に２層で図８に示す並列階層処理回路の実現を行っている。メモリ４０は、ＳＲＡＭ、ＦｅＲＡＭなどで構成され、後者としてはデジタル、アナログいずれのメモリであってもよい。なお、各メモリブロックＭＢは、前実施形態と同様に構成される。
【００７６】
ここに、ある時刻で各特徴検出層内において検出する特徴の種別（特徴のカテゴリまたはサイズ）は一つであり、その種別は時系列的に回路構成制御手段２により更新されるようにしてもよい。
【００７７】
パターン認識を行う再構成処理回路３は、入力データ上の各サンプリング点において、時系列的に異なるカテゴリのパターン検出に関する中間処理結果を処理結果保持メモリＭＢに保持しながら階層的に行う。回路構成制御手段２は、処理結果保持ＭＢから読み出される各特徴検出層１０２での検出結果（ニューロン素子ＡＢＤ）を特徴統合層１０３の各ニューロン素子（ＡＢＩ）に出力するとともに、回路構成情報記憶手段１から読み出される回路構成情報に基づいてスイッチブロックＳＷのＯＮ／ＯＦＦパターン、およびアナログ処理ブロックＡＢのパラメータの設定を行う。
【００７８】
再構成処理回路３においては、第一の実施形態と同様、カスケード的に交互に配列された特徴検出層１０２と特徴統合層１０３が、低次から高次パターン検出までを階層的に行う（図８）が、本実施形態では、処理の階層構成を仮想的に実現するために、それを時系列的に行う。このようにすることにより、全体的な回路規模を大幅に小さくすることができる。
【００７９】
各特徴検出層１０２からの出力は、後段の特徴統合層１０３において前実施形態と同様のサブサンプリング処理が行われた後、一時的にメモリブロックＭＢに格納される。更に、特徴検出層１０２は、以下に示すようにシナプス荷重分布（局所受容野構造）が更新されると同時に、メモリブロックＭＢから時系列的に特徴種別ごとの検出結果を入力する。
【００８０】
例えば、目に相当するパターン（中次パターン）の検出を行う特徴検出層１０２の局所受容野構造は、当該中次パターンを構成する低次パターンＰ１，Ｐ２，・・・Ｐｎのそれぞれに固有な局所受容野構造として、パターンＰｋ（ｋ＝１，・・・，ｎ）ごとの特徴検出層出力を処理結果保持メモリＭＢから入力するたびに更新（または設定）される。なお、特徴検出層の各ニューロンの受容野構造は特徴種別に応じて更新されるが、特徴統合層各ニューロンの受容野構造は特徴種別のうち受容野サイズが同一であれば更新しない。
【００８１】
この局所受容野構造は、入力されるべき特徴の種別ごとに回路構成情報記憶手段１にデジタルデータとして保持され、当該記憶手段１から読み出され、回路構成制御手段２からの制御信号により更新される。
【００８２】
例えば、ある時刻で目に相当するパターンの検出を行っていた特徴検出層１０２（中次特徴検出を行う層）のニューロンの受容野構造は、別の時刻では、鼻又は口に相当するパターンの検出を行うように、回路構成制御手段２からの制御信号に従って所定の順序で更新される。
【００８３】
このように入力データについて、一つの再構成処理回路３で異なる特徴検出（認識）を時間的にずらして行う多重化処理を行うことにより、入力データ上のサンプリング位置での複数の特徴検出を別個独立に同時並列的に行う回路構成と比べて、大幅な回路規模の縮小がもたされる。
【００８４】
時間的に制御される受容野の構造は、動的に再構成可能なアナログデジタル回路要素を混載する回路構成情報データを格納する不図示のＳＲＡＭ（またはＭＲＡＭ、ＦＲＡＭ等）などから構成される回路構成情報記憶手段１と回路構成制御手段２とにより与えられる。
【００８５】
図８に示すような局所受容野構造を有するニューロンからなる階層的神経回路網を実現する際には、各層ごとに回路構成情報を更新するための記憶手段と回路構成制御手段が一般的に必要となるが、本実施形態では、以下に示すように、階層構造の層数が幾つであっても一セットの回路構成情報記憶手段１、及び回路構成制御手段２があれば足りる。
【００８６】
例えば、ある時刻で特徴検出層１０２が入力データ上の各サンプリング点で検出すべき特徴の種別（例えば、特徴カテゴリとサイズ）が一つであるとすると、特徴検出層ニューロンの各局所的受容野の構造も同一となる。その結果、受容野構造を与える回路構成情報記憶手段１及び回路構成制御手段２を共有化して時系列的に各スイッチブロックＳＢとアナログ処理ブロックＡＢＳに回路構成情報を与えることができる。
【００８７】
受容野構造を反映した結合ごとの重み係数の更新及び設定は、メモリ手段４０から供給される重み係数データに従ってアナログ処理ブロックＡＢＳのシナプス回路の荷重データが更新されることにより実現される。
【００８８】
例えば、シナプス荷重値はアナログ処理ブロックＡＢＳ内の浮遊ゲート素子に蓄えられる注入電荷量により与えられるとすると、シナプス荷重の設定などは、メモリ手段４０に格納された重み係数データに相当するシナプスごとの荷重値に相当する電荷の注入が図２に示すＡＢＳ制御線を介してなされることにより行われる。
【００８９】
以下、上記実施形態に係わる本発明の特徴を整理する。
【００９０】
特徴１．
演算処理回路と、
回路構成情報を記憶する回路構成情報記憶手段と、
前記回路構成情報記憶手段から読み出される回路構成情報に基づき前記演算処理回路に所定の制御信号を出力する回路構成制御手段とを有し、
前記演算処理回路は、
入力信号に対して所定の信号変調を行う複数のアナログ処理ブロックと、
前記複数のアナログ処理ブロックからの出力を一時的に保持する複数の処理結果保持メモリブロックと、
前記複数のアナログ処理ブロックの演算特性を制御するためのデータを格納する複数の演算制御データメモリブロックと、
前記複数の処理結果保持メモリブロックまたは前記複数のアナログ処理ブロック間を結ぶ複数の信号線とを備え、
前記回路構成制御手段が前記演算制御データメモリブロックからのデータ読み出しを制御することにより、前記演算処理回路に異なる複数の信号処理機能を実行させることを特徴とする信号処理回路。
【００９１】
特徴２．
演算処理回路と、
前記演算処理回路の回路構成情報および演算特性制御用データを格納する回路構成情報記憶手段と、
前記回路構成情報記憶手段から読み出される回路構成情報および演算特性制御用データに基づき前記演算処理回路に所定の制御信号を出力する回路構成制御手段とを有し、
前記演算処理回路は、複数のスイッチブロックと、それぞれ複数の第一及び第二のタイプのアナログ処理ブロックと、前記第二のアナログ処理ブロックの出力を保持する処理結果保持メモリブロックとが所定の信号線により所定のパターンで結線され、
前記第一のタイプのアナログ処理ブロックは、前記第二のタイプのアナログ処理ブロックからの信号に所定の変調を与え、
前記第二のタイプのアナログ処理ブロックは、前記第一のタイプの複数アナログ処理ブロック手段からの信号を統合することにより所定の信号を出力し、
前記スイッチブロックは、複数のスイッチ素子と複数の信号線とを有し、
前記回路構成制御手段が当該複数のスイッチ素子動作のオン、オフパターンまたは前記アナログ処理ブロックの信号変調パラメータを制御することにより、前記演算処理回路に異なる複数の信号処理機能を実行させることを特徴とする信号処理回路。
【００９２】
特徴３．
演算処理回路と、
回路構成情報および演算特性制御用データを記憶する回路構成情報記憶手段と、
前記回路構成情報記憶手段から読み出される回路構成情報および演算特性制御用データに基づき前記演算処理回路に所定の制御信号を出力する回路構成制御手段とを有し、
前記演算処理回路は、
複数のスイッチ素子と複数の信号線とを含む複数のスイッチブロックと、複数の論理処理ブロックと、入力信号に対して所定の変調を行う複数のアナログ処理ブロックと、前記論理処理ブロック手段または前記アナログ処理ブロックからの出力を保持する複数の処理結果保持メモリブロックとが所定の信号線により結線され、
前記回路構成制御手段が、前記複数のスイッチ素子動作のオン、オフパターンまたは前記アナログ処理ブロックの信号変調量を制御することにより、前記演算処理回路に異なる複数の信号処理機能を実行させることを特徴とする信号処理回路。
【００９３】
特徴４．
前記スイッチブロックは、所定の信号線を介して前記複数のアナログ処理ブロックからの信号を入力することを特徴とする特徴１乃至３に記載の信号処理回路。
【００９４】
特徴５．
前記アナログ処理ブロックは、入力信号変調手段と出力信号の分岐回路とを有することを特徴とする特徴１乃至３に記載の信号処理回路。
【００９５】
特徴６．
前記アナログ処理ブロックは、入力信号に対して時間的に異なる所定の重み付き加算処理または重み付き積分処理を行うことを特徴とする特徴１乃至３に記載の信号処理回路。
【００９６】
特徴７．
前記アナログ処理ブロックは、異なる変調度を設定可能な複数の入力信号変調回路を有することを特徴とする特徴１乃至３に記載の信号処理回路。
【００９７】
特徴８．
前記入力信号変調回路は、パルス信号の遅延または位相を変調する回路であることを特徴とする特徴７に記載の信号処理回路。
【００９８】
特徴９．
前記スイッチブロックは、複数の入出力用信号線と、複数のスイッチ素子とを有し、所定の前記信号線から入力された信号を他の前記信号線に出力することを特徴とする特徴１乃至３に記載の信号処理回路。
【００９９】
特徴１０．
前記論理処理ブロックは、複数の入力信号についての少なくとも一つの論理積回路を有することを特徴とする特徴３に記載の信号処理回路。
【０１００】
特徴１１．
前記第一のタイプのアナログ処理ブロックは、入力信号の変調手段を有し、前記第二のタイプのアナログ処理ブロックは、入力信号の重み付き時間積分を行うことを特徴とする特徴２に記載の信号処理回路。
【０１０１】
特徴１２．
前記スイッチブロックは、所定の制御線からの制御信号により前記複数のスイッチ素子のオンまたはオフ動作が設定されることを特徴とする特徴９に記載の信号処理回路。
【０１０２】
特徴１３．
前記スイッチブロックは、同一方向に複数の信号線を配してなることを特徴とする特徴９に記載の信号処理回路。
【０１０３】
特徴１４．
前記処理結果保持メモリブロックを構成するメモリは、強誘電体材料を用いてなることを特徴とする特徴１乃至１３に記載の信号処理回路。
【０１０４】
特徴１５．
前記処理結果保持メモリブロックを構成するメモリは、高誘電率材料を用いてなることを特徴とする特徴１乃至特徴１３に記載の信号処理回路。
【０１０５】
特徴１６．
パターンデータを入力する入力手段と、
演算処理回路と、
回路構成情報を記憶する回路構成情報記憶手段と、
前記回路構成情報記憶手段から読み出される回路構成情報に基づき前記演算処理回路に所定の制御信号を出力する回路構成制御手段とを有し、
前記演算処理回路は、それぞれ複数のスイッチと、複数のアナログ処理ブロックと、前記アナログ処理ブロックからの出力データを保持する複数の処理結果保持メモリブロックと、前記スイッチ手段またはアナログ処理ブロック間を結ぶ複数の信号線とを少なくとも備え、
前記回路構成情報記憶手段は、前記複数のスイッチ手段オン、オフパターン情報と前記複数のアナログ処理ブロックの信号変調用データとをそれぞれ少なくとも一種類記憶し、
前記回路構成制御手段は、前記回路構成情報記憶手段から読み出された回路構成情報に基づき、前記複数のスイッチのオン、オフパターン制御信号と、前記複数のアナログ処理ブロックに所定の演算特性制御用データを与えることにより、当該入力パターンの一部または全部について、所定の複数位置で所定の複数の特徴カテゴリを検出して、所定の認識結果を出力する出力手段とを有することを特徴とするパターン認識装置。
【０１０６】
特徴１７．
前記処理結果保持メモリブロックを構成するメモリは、強誘電体材料を用いてなることを特徴とする特徴１６に記載のパターン認識装置。
【０１０７】
特徴１８．
前記処理結果保持メモリブロックを構成するメモリは、高誘電率材料を用いてなることを特徴とする特徴１６に記載のパターン認識装置。
【０１０８】
【発明の効果】
以上説明したように、本発明によれば、アナログ処理要素を複数含む並列処理回路構成において、複数の回路構成を少数の基本回路構成で多様に構成することができ、回路要素数の増減なく大規模な並列処理アナログ処理回路を小規模な回路構成で実現することができる。
【図面の簡単な説明】
【図１】演算処理回路の要部構成図である。
【図２】再構成可能な信号処理回路の基本要素ブロック間の結線図である。
【図３】シナプス用アナログ処理ブロックの構成図である。
【図４】シナプス部とニューロン素子の構成を示す図である。
【図５】スイッチブロック手段の構成図である。
【図６】スイッチブロック手段の構成図である。
【図７】スイッチブロック手段の構成図である。
【図８】階層的神経回路網の構成図である。
【図９】再構成可能な信号処理回路の全体構成図である。
【図１０】パターン認識装置を撮影装置に搭載した応用例の要部構成図である。
【図１１】演算処理回路の要部構成図である。
【図１２】シナプス用アナログ処理ブロックの構成図である。
【図１３】本発明の第二の実施形態に係るデジタル処理ブロックの構成図である。
【図１４】再構成可能な信号処理回路の基本要素ブロック間の結線図である。
【図１５】中次特徴の配置関係を表すリスト構造データの例を示す図である。
【図１６】演算処理回路の要部構成図である。
【発明の属する技術分野】
本発明は、処理内容に応じて回路構成を変えることができるアナログ／デジタル混載型の信号処理回路に関する。
【０００２】
【従来の技術】
ＦＰＧＡを応用し、アナログ処理素子を再構成可能に結線する方法として、特開平１１−１６８１８５号公報、特開２０００−３３１１１３号公報に開示されるような構成が知られる。前者は、積層基板上の一方にＦＰＧＡを形成し、他方にアナログ処理回路を形成し、両者を連結する入出力端子とインターフェース回路とを有している。また、後者は、第一及び第二のアナログ信号をそれぞれパルス幅変調（ＰＷＭ）信号に変換した後、ＦＰＧＡ回路に両信号を入力し、ＦＰＧＡ回路で２つのＰＷＭ信号の論理演算を行わせることにより、再構成可能としたものである。
【０００３】
また、特許２６７９７３０号公報に開示される階層構造ニューラルネットでは、単層のハードウェアを時分割多重化使用して多層化することを可能とする階層構造ニューラルネットのアーキテクチャに関し、単層のハードウェアを時分割多重化使用して等価的に多層化することを可能とすることを目的とし、複数のニューロンモデルを相互に接続することにより形成されるニューラルネットにおいて、時分割多重化アナログ信号を外部からのデジタル重みデータとの積を生成し、かつその積を時分割的にコンデンサを介して加えることにより積分し、非線形出力関数を通した電圧を時分割的に出力することを可能とするニューロンモデルのユニットを複数設置して単層のユニット集合を形成する単層ユニット集合手段と、前記単層ユニット集合手段の出力を同じ単層ユニット集合の入力部に帰還する帰還手段と、前記単層ユニット集合手段から出力される各ユニットからのアナログ信号を時分割多重化し、さらに前記帰還手段を介して前記単層ユニット集合手段を時分割多重使用するための制御を実行する制御手段とを有し、単層構造のユニット集合手段を時分割多重使用することにより等価的に階層構造のニューラルネットを形成するように構成する。
【０００４】
ＵＳＰ５９５９８７１に係るＦＰＡＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ａｎａｌｏｇ Ａｒｒａｙ）回路では、マルチプレクサ、デマルチプレクサと制御回路及びアナログ処理要素を含むプログラマブルなアナログ処理セルを信号線を介して並列的に配列し、プログラマブルなアナログ処理演算を行う。
【０００５】
【発明が解決しようとする課題】
これらの技術に対して、演算素子の数が増すと入出力端子の数が指数関数的に増え、扱いが困難になること、そのために任意の配線構造を設定することが原理的に困難であることなどの問題を解決することが望まれていた。また、小規模な回路構成で大規模な並列階層処理回路を低消費電力で実現するという問題は未だ完全に解決されていない。
【０００６】
【課題を解決するための手段】
本発明のある態様によれば、演算処理回路と、回路構成情報を記憶する回路構成情報記憶手段と、前記回路構成情報記憶手段から読み出される回路構成情報に基づき前記演算処理回路に所定の制御信号を出力する回路構成制御手段とを有し、前記演算処理回路は、入力信号に対して所定の信号変調を行う複数のアナログ処理ブロックと、前記複数のアナログ処理ブロックからの出力を一時的に保持する複数の処理結果保持メモリブロックと、前記複数のアナログ処理ブロックの演算特性を制御するためのデータを格納する複数の演算制御データメモリブロックと、前記複数の処理結果保持メモリブロックまたは前記複数のアナログ処理ブロック間を結ぶ複数の信号線とを備え、前記回路構成制御手段が前記演算制御データメモリブロックからのデータ読み出しを制御することにより、前記演算処理回路に異なる複数の信号処理機能を実行させることを特徴とする。
【０００７】
【発明の実施の形態】
＜第一の実施形態＞
全体構成と各部の概要
以下、図面を参照して本発明の第一の実施形態を詳細に説明する。図１は、本実施形態での再構成可能な処理回路の要部構成図を示す。この回路は、図９に示すように、全体としては回路構成情報記憶手段１、および回路構成制御手段２とともに再構成処理回路３として信号処理回路を構成する。
【０００８】
図１に示すように再構成処理回路３は、２種類のアナログ処理ブロック（ＡＢＩとＡＢＳ）の３タイプの処理要素ブロック、後で説明するニューロン素子としてのアナログ処理ブロック（ＡＢＩ，ＡＢＩ＋１など）の処理結果を一時的に保持するための処理結果保持メモリブロックＭＢ、及びアナログ処理ブロックの演算特性制御データ保持メモリブロックＷＢとがそれぞれ複数格子状に配列されている。
【０００９】
メモリブロックＭＢを構成する記憶素子としては、アナログメモリとしてのキャパシタ、特に強誘電体材料若しくは高誘電率材料を用いたメモリなどが用いられる。その他、デジタルメモリとしてのＳＲＡＭ、ＦｅＲＡＭなどを用いてもよい。メモリブロックＷＢとしては、不揮発性のメモリ例えば、ＦｅＲＡＭなどが用いられるが、ＳＲＡＭなどであってもよい。
【００１０】
処理結果保持メモリブロックＭＢはアナログ処理ブロック（ＡＢＩ，ＡＢＩ＋１など）に隣接して分散配置され、演算特性制御データ保持メモリブロックＷＢもアナログ処理ブロックＡＢＳに隣接して分散配置されている。なお、図１において各ブロック間は、不図示の多入力多出力が可能な複数のスイッチブロックＳＷ、および信号制御線で結合されている。
【００１１】
信号制御線の種類としては、各ブロック間の信号の伝達、スイッチブロックＳＷのＯＮ／ＯＦＦパターン制御を行うためのスイッチブロック制御線（図２参照、図１では不図示）、アナログ処理ブロックの信号変調パラメータを制御するためのアナログ処理ブロック制御線（図２参照、図１では不図示）がある。各制御線には、クロック信号線が含まれ、所定のクロックタイミングでデジタル的に制御信号を所定のブロックに伝達する。
【００１２】
アナログ処理ブロックＡＢＩは、階層レベルＩのニューロン素子を表し、アナログ処理ブロックＡＢＳは、以下に説明するシナプス素子を表す。スイッチブロックは、所定のクロック信号を入力し、デジタル的に制御される回路ブロックである。また、アナログ処理ブロック（ＡＢＩとＡＢＳ）は、アナログ的な処理を行うためのものであるが、必ずしもキャパシタや抵抗等のアナログ回路要素のみから構成されるわけではなく、デジタル回路要素を内部に含んでいても良い。
【００１３】
図１においてＩ＋１層のニューロン素子ＡＢＩ＋１ ３が入力を受ける信号の伝達経路は、ＡＢＩ ４→ＭＢ→ＡＢＳ４→ＡＢＩ＋１ ３、ＡＢＩ ３→ＭＢ→ＡＢＳ３→ＡＢＩ＋１ ３、及び、ＡＢＩ ２→ＭＢ→ＡＢＳ２→ＡＢＩ＋１ ３の３経路である。一方、Ｉ＋１層のニューロン素子ＡＢＩ＋１ ２が入力を受ける信号の伝達経路は、ＡＢＩ ３→ＭＢ→ＡＢＳ３→ＡＢＩ＋１ ２、ＡＢＩ ２→ＭＢ→ＡＢＳ２→ＡＢＩ＋１ ２、及び、ＡＢＩ １→ＭＢ→ＡＢＳ１→ＡＢＩ＋１ ２の３経路である。これら２つの経路は部分的に重複しているが、重複部分にあるシナプス素子が施すアナログ変調量は信号経路によって一般的に異なり、シナプス素子では経路（入力信号）により異なる変調が与えられるように図３に示すような構成をとっている（詳細は後で説明）。
【００１４】
アナログ処理ブロックＡＢＩ＋１に付随する処理結果保持メモリＭＢに格納されたデータは、回路構成制御手段２により読み出され、次の階層レベルＩ＋２を実現する際に、図１に示すアナログ処理ブロックＡＢＩがアナログ処理ブロックＡＢＩ＋２になりアナログ処理ブロックＡＢＩ＋２にアナログ処理ブロックＡＢＩ＋１の出力データがメモリブロックＭＢからフィードバック結合線（不図示）を介してフィードバックされる。
【００１５】
このように、階層数が増していっても２層または１層分の回路要素により構成される再構成処理回路３で階層レベルが上がるごとに必要な回路構成情報が回路構成情報記憶手段１から読み出され、それが各演算特性制御データ保持メモリブロックＷＢにローディングされることにより処理が進行していく。中間的な処理結果をこのように分さして配置されたメモリに格納することにより、配線問題の影響を受け難くすることができ、より集積度が向上する。
【００１６】
図９の回路構成制御手段２は、図２のスイッチブロック制御線およびアナログ処理ブロック制御線とに制御信号を出力する。前者に対応する制御信号は、図５〜７に例示する各スイッチブロックＳＷ内部のスイッチ素子のオン、オフ制御情報を、後者に対応する制御信号は、シナプス素子での信号変調特性（例えば、パルス位相変調量など）またはニューロン素子での時間窓重み付き積分の時間窓幅、重み関数などの特性を制御する。
【００１７】
以下に説明する各アナログ処理ブロックＡＢ（ＡＢＩ、ＡＢＳのいずれも）は、周囲をスイッチブロックＳＷで取り囲まれるようにして配列している。また、ニューロン素子としてのアナログ処理ブロックＡＢＩ等には、処理結果を保持するメモリブロックＭＢが付随し（隣接して配置され）ている。
【００１８】
図２において各ブロックでの信号の入出力方向がＳＷ２の周囲に付してある番号で示す通り（１）〜（６）の６方向（スイッチブロックＳＷからの一般的な信号の可逆伝達方向を表す）ある事に対応して、正六角形をなすように表示されているが、他の形状であってその辺の数に応じた入出力数を有するものであってもよい。
【００１９】
各ブロック間の結線状態の例を図２に示す。その伝達方向において実線はスイッチブロックＳＷを介してブロック間（スイッチブロック間またはスイッチブロックとアナログ処理ブロック間）における配線が信号の伝達可能な状態を表し、破線は信号伝達が不可能な配線の状態を表している。
【００２０】
各スイッチブロックＳＷは、図２において水平方向に走るスイッチブロック制御線を介して信号の入出力方向（図では６方向）別にＯＮ／ＯＦＦ動作が設定される。スイッチブロックＳＷごとのＯＮ／ＯＦＦパターンのデータは、複数種類が予め所定の回路構成情報記憶手段１内部のメモリ（ＳＲＡＭ、ＤＲＡＭ、ＦＲＡＭ、ＭＲＡＭなど）に記憶され、処理内容に応じて更新（切り替え）することが可能である。
【００２１】
図５（１）にスイッチブロックＳＷの構成を示す。ここでは、各方向別に計６個のデジタル回路要素であるスイッチ素子ＳＷＤｊ（ｊ＝１，２，…，６）が配置され、それぞれのＯＮ／ＯＦＦパターン（ＯＮ状態は黒丸、ＯＦＦ状態は白丸で表示）により、図５（２）に示すような信号の出力方向の制御機能、および図６（１）に示すように複数の入力信号を統合して所定の方向に出力する機能を実現することができる。
【００２２】
また、図６（２）或いは図７に示すように信号線を各方向に複数個独立して設定してもよい。図６（２）では、同一方向に走る複数信号線について１個のスイッチ素子を割り当てている。図７では、同一方向に走る複数の信号線それぞれについてスイッチ素子ＳＷＤを設けている。このようにすることにより、複数のパルス信号の流れを同一スイッチブロックＳＷで別個独立に制御することができる。スイッチブロック内のスイッチ素子の状態制御はスイッチブロック制御線を介して所定のクロックタイミングで行われる。
【００２３】
図１および図２において特に、信号線１、信号線２と示されているのは、ニューロン素子ＡＢＩにシナプス素子ＡＢＳでアナログ変調された信号を伝達するための線である。これは、図６（２）に示す構成をスイッチブロックＳＷにおいて用いた場合に相当する。図１において信号線１は、ニューロン素子ＡＢＩ＋１ ３に、信号線２はニューロン素子ＡＢＩ＋１ ４に信号を伝達する。これら信号線は後述する局所的な共通バスラインとして用いられ、所定のパルス変調信号が伝播する。
【００２４】
図２では便宜上、以上説明したような信号線は２本のみ表示したが、実際にはさらに多くの信号線を配しても良い。ただし、信号線の本数が多くなると配線部分の面積の回路全体に占める割合が大きくなりすぎ、集積度が上がらなくなるなどの問題が生じるので、その本数には一定の制限を設ける。
【００２５】
しかしながら、その限度を超えた数の信号線が必要となる場合がある。例えば、ｎ個のＩ＋１層のニューロン素子が、ｍ個（ｎ＞ｍ）の信号線を用いて互いに部分的に重複するＩ層のｓ個のニューロン素子からの出力信号についてそれぞれ異なるアナログ変調をシナプス素子で行った後入力する場合である。
【００２６】
このような場合には、時分割でニューロン素子ＡＢＩブロックに接続するスイッチブロックＳＷのＯＮ／ＯＦＦパターンを切り替えて処理する。その際には、シナプス素子としてのアナログ処理ブロックＡＢＳ内のアナログ変調回路（後述）の変調量も回路構成制御手段２からの制御信号がアナログブロック制御線（図２）を介して更新される。
【００２７】
次に、本実施形態の信号処理回路における各ブロックの機能について説明する。スイッチブロックＳＷは、それと接続するアナログ処理ブロック（ＡＢＩ、ＡＢＳ）からの信号の流れを制御することにより、上位の階層レベルのニューロン素子が入力を受ける下位階層のニューロン素子の範囲（以下、「受容野」という）を決定する。この受容野によって与えられる結合構造は複数配列されるスイッチブロックＳＷのＯＮ／ＯＦＦパターンにより任意に設定することができる。
【００２８】
さらに受容野内のシナプス結合荷重の分布構造のデータは、演算特性制御データメモリブロックＷＢに格納され、後述するアナログ処理ブロック内の複数ある変調回路の個々のパラメータを設定することにより任意に与えることができる。
【００２９】
これらの結果として、デジタルメモリ素子にシナプス荷重情報或いは配線情報を格納して、メモリアクセスを頻繁に行うような構成をとる必要が無くなることにより、高速並列処理の特性が確保されると同時に、処理内容（抽出する特徴の種類）に応じた回路構成の変更といった柔軟性、拡張性がもたらされる。
【００３０】
アナログ処理ブロックＡＢＳは、信号の変調量を複数のシナプス荷重値に応じて個々に設定可能な多入力多出力素子であり、典型的には入力信号にシナプス荷重値を積算した信号を出力する（後述する実施形態では入力パルス信号の位相変調信号を出力する）。図３に示すように、複数シナプス荷重値に対応するアナログ変調手段を内部に複数有する。
【００３１】
一つのアナログ処理ブロックＡＢＳは、一定範囲内で出力側Ｉと入力側Ｊの各ニューロンの範囲を設定可能であり、内部に出力側ニューロン素子アドレスと入力側ニューロン素子アドレスによって決まるシナプス荷重値に相当する変調を与える複数のアナログ変調手段を有する。図３にその構造を示す。
【００３２】
図３（１）では、本発明で用いるシナプス素子の構成を示し、内部に出力線（入力線）の数と同数のアナログ変調手段を有する。図３では、表示を簡略化するためにアナログブロック制御線は示していないが、各アナログ変調手段は、当該制御線を介して変調量（本実施形態ではパルス位相（遅延量）またはパルス幅の変調）が設定または更新される。
【００３３】
図３（２）では、多入力一出力のシナプス素子の構成を示す。この素子は、上位層の複数のニューロン素子が重複する下位層ニューロンからの信号出力を時分割的に受ける場合に、各信号について上位層ニューロンに応じて異なるアナログ変調がシナプス素子で行われる場合に用いられる。
【００３４】
例えば、図１において、Ｉ層のニューロン素子ＡＢＩ ３からＩ＋１層のニューロン素子ＡＢＩ＋１ ３へ至る信号伝達経路（点線の矢印）とニューロン素子ＡＢＩ ３からニューロン素子ＡＢＩ＋１ ２へ至る信号伝達経路（実線の矢印）は、いずれもシナプス素子ＡＢＳ３を通る。
【００３５】
シナプス素子ＡＢＳ３においては、それぞれの伝達経路（または上位層ニューロンのアドレス）によって異なる変調量（パルス位相変調、パルス幅変調など）が得られるように内部にある複数の変調手段の各パラメータが設定されている。
【００３６】
このように構成することにより、近接するニューロン素子の間で互いに重複する受容野構造がある場合においても同一アナログ処理ブロックＡＢＳを経由する複数の異なる信号伝達経路を設定することが可能となる。その結果、神経回路網を構成する回路要素間の配線問題の軽減、回路要素数の低減がもたらされる。
【００３７】
アナログ変調量は以下に説明するパルス位相変調においては、シナプス回路を構成する要素であるキャパシタに与える電荷量などによって与えることができ、アナログ処理ブロックＡＢＳ内の各変調手段にある浮遊ゲート素子またはキャパシタにアナログ処理ブロック制御線（図２（１）に示す）を介して所定電荷量が与えられる。
【００３８】
ここで、図９に示す回路構成制御手段２は、回路構成情報記憶手段１に格納されたシナプス荷重値データ（所定の蓄積電荷量を与える印加電圧など）を読み出すと、浮遊ゲート素子またはキャパシ）において、シナプス荷重値相当の電荷が蓄積（電圧が発生）するまで電流を注入する。その後、受容野構造を構成する要素となる各シナプス回路要素ＡＢＳｋ（ｋ＝１，２，・・・）を時系列的にアクセスし、電圧印加して電荷を注入することによりシナプス荷重の分布構造（受容野構造）を設定する。なお、高速に荷重値相当のデータを書き換え可能で、かつ所定時間そのデータを保持することができるメモリ素子（ＭＲＡＭ、ＦｅＲＡＭなど）が利用可能であれば、そのようなメモリ素子を用いても良い。
【００３９】
次に、図１に示す構成を用いて、並列階層処理により画像認識を行う神経回路網を形成した場合について説明する。はじめに図８を参照して神経回路網の処理内容を詳細に説明する。この神経回路網は、入力データ中の局所領域において、対象または幾何学的特徴などの認識（検出）に関与する情報を階層的に扱うものであり、その基本構造はいわゆるＣｏｎｖｏｌｕｔｉｏｎａｌネットワーク構造（ＬｅＣｕｎ，Ｙ．ａｎｄ Ｂｅｎｇｉｏ，Ｙ．，１９９５，“Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ ｆｏｒ Ｉｍａｇｅｓ Ｓｐｅｅｃｈ，ａｎｄ Ｔｉｍｅ Ｓｅｒｉｅｓ”ｉｎ Ｈａｎｄｂｏｏｋ ｏｆ Ｂｒａｉｎ Ｔｈｅｏｒｙ ａｎｄ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ（Ｍ．Ａｒｂｉｂ，Ｅｄ．），ＭＩＴ Ｐｒｅｓｓ，ｐｐ．２５５−２５８）である。最終層（最上位層）からの出力は認識結果としての認識された対象のカテゴリとその入力データ上の位置情報である。
【００４０】
データ入力層１０１は、ＣＭＯＳセンサ、或いはＣＣＤ素子等の光電変換素子からの局所領域データを走査手段１の指示の下に入力する層である。最初の特徴検出層（１，０）は、データ入力層１０１より入力された画像パターンの局所的な低次の特徴（特定方向成分、特定空間周波数成分などの幾何学的特徴のほか色成分特徴を含んでもよい）を全画面の各位置を中心として局所領域（或いは、全画面にわたる所定のサンプリング点の各点を中心とする局所領域）において同一箇所で複数のスケールレベル又は解像度で複数の特徴カテゴリの数だけ検出する。そのために、特徴の種類（例えば、幾何学的特徴として所定方向の線分を抽出する場合にはその幾何学的構造である線分の傾き）に応じた受容野構造を有し、その程度に応じたパルス列を発生するニューロン素子から構成される。
【００４１】
特徴統合層１０３（２，０）は、所定の受容野構造（以下、受容野とは直前の層の出力素子との結合範囲を、受容野構造とはその結合荷重の分布を意味する）を有し、パルス列を発生するニューロン素子からなり、特徴検出層１０２（１，０）からの同一受容野内にある複数のニューロン素子出力の統合（局所平均化、最大出力検出等によるサブサンプリングなどの演算）を行う。また、特徴統合層内のニューロンの各受容野は同一層内のニューロン間で共通の構造を有している。
【００４２】
後続の層である各特徴検出層１０２（（１，１）、（１，２）、・・・、（１，Ｍ））及び各特徴統合層１０３（（２，１）、（２，２）、・・・、（２，Ｍ））は、それぞれ所定の受容野構造を持ち、上述した各層と同様に前者（（１，１）、・・・）は、各特徴検出モジュールにおいて複数の異なる特徴の検出を行い、後者（（２，１）、・・・）は、前段の特徴検出層からの複数特徴に関する検出結果の統合を行う。但し、前者の特徴検出層は同一チャネルに属する前段の特徴統合層の細胞素子出力を受けるように結合（配線）されている。特徴統合層で行う処理であるサブサンプリングは、同一特徴カテゴリの特徴検出細胞集団からの局所的な領域（当該特徴統合層ニューロンの局所受容野）からの出力についての平均化などを行うものである。
【００４３】
以上に説明した並列階層構造を図１に示す構成で実現した場合は、シナプスはアナログ処理ブロックＡＢＳを構成し、Ｉ層のニューロン素子は、アナログ処理ブロックＡＢＩを構成するものである。
【００４４】
図４では、ある特徴検出（統合）細胞に対する受容野を形成する特徴統合（検出）細胞のニューロン群（ｎｉ）からの出力（当該細胞から見ると入力）に関与する結合手段の構成を示している。信号伝達手段として太線で示している部分は局所的な共通バスラインを構成し、この信号伝達ライン上に複数のニューロンからのパルス信号が時系列に並んで伝達される。
【００４５】
いわゆる、興奮性結合はシナプス結合手段Ｓにおいて、パルス信号の増幅を行い、抑制性結合は逆に減衰を与えるものである。パルス信号により情報の伝達を行う場合、増幅及び減衰はパルス信号の振幅変調、パルス幅変調、位相変調、周波数変調のいずれによっても実現することができる。本実施形態においては、シナプス結合手段Ｓは、主にパルスの位相変調素子として用い、信号の増幅は、特徴に固有な量としてのパルス到着時間の実質的な進み、減衰は実質的な遅れとして変換される。即ち、シナプス結合は、出力先のニューロンにおいて、個々の特徴に固有な時間軸上の到着位置（位相）を与え、定性的には興奮性結合はある基準位相に対する到着パルスの位相の進みを、抑制性結合では同様に遅れを与えるものである。
【００４６】
図４の（Ａ）において、各ニューロン素子ｎｊは、パルス信号（スパイクトレイン）を出力し、いわゆるｉｎｔｅｇｒａｔｅ−ａｎｄ−ｆｉｒｅ型の入出力処理を行う。次にアナログ処理ブロックＡＢＩを構成するニューロン回路について説明する。各ニューロン素子は、いわゆるｉｎｔｅｇｒａｔｅ−ａｎｄ−ｆｉｒｅニューロンを基本として拡張モデル化したもので、入力信号（アクションポテンシャルに相当するパルス列）を時空間的に線形加算した結果が閾値を越したら発火し、パルス状信号を出力する点では、いわゆるｉｎｔｅｇｒａｔｅ−ａｎｄ−ｆｉｒｅニューロンと同じである。
【００４７】
図４の（Ｂ）はニューロン素子としてのパルス発生回路（ＣＭＯＳ回路）の動作原理を表す基本構成の一例を示し、公知の回路（ＩＥＥＥ Ｔｒａｎｓ．ｏｎＮｅｕｒａｌ Ｎｅｔｗｏｒｋｓ Ｖｏｌ．１０，ｐｐ．５４０）を拡張し、所定の時間窓内での入力パルス信号の重み付き積分を実行可能としている（時間窓重み付き積分による高次の特徴検出法については本出願人による特願２０００−１８１４８７号を参照）。ここでは、入力信号として興奮性と抑制性の入力を受けるものとして構成されている。
【００４８】
なお、各ニューロン素子のパルス発火タイミングの動作制御機構等に関しては、本願の主眼とするところではないので説明を省略する。
【００４９】
パルス信号によるニューロン間の信号の伝達はいわゆるＡＥＲ（Ａｄｄｒｅｓｓ Ｅｖｅｎｔ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）の手法（Ｌａｚｚａｒｏ，ｅｔ ａｌ．１９９３，Ｓｉｌｉｃｏｎ Ａｕｄｉｔｏｒｙ Ｐｒｏｃｅｓｓｏｒｓ ａｓ Ｃｏｍｐｕｔｅｒ Ｐｅｒｉｐｈｅｒａｌｓ，Ｉｎ Ｔｏｕｒｅｓｔｚｋｙ，Ｄ．（ｅｄ），Ａｄｖａｎｃｅｓ ｉｎ Ｎｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍｓ ５．Ｓａｎ Ｍａｔｅｏ，ＣＡ：Ｍｏｒｇａｎ Ｋａｕｆｍａｎｎ Ｐｕｂｌｉｓｈｅｒｓ）を用いても良いし、本出願人による特願２０００−１８１４８７号に開示されるような方法などによればよい。これらは、図４に示したように局所的な共通バスを介して複数ニューロンからのパルス信号を伝達するのに好適な方法である。
【００５０】
上述したパターン認識装置をカメラその他の画像入力手段、或いはプリンタ及びディスプレイその他の画像出力手段に搭載することができる。その結果、低消費電力で小規模な回路構成により、特定被写体の認識または検出を行って所定の動作、例えば画像入力手段については、特定被写体を中心とするフォーカシング、露出補正、ズーミング、或いは色補正などの処理を行うことができる。画像出力手段についても特定被写体に関する最適色補正などの処理を自動的に行うことができる。
【００５１】
次に、本実施形態の構成に係るパターン検出（認識）装置を撮像装置に搭載させることにより、特定被写体へのフォーカシングや特定被写体の色補正、露出制御を行う場合について、図１０を参照して説明する。図１０は、実施形態に係るパターン検出（認識）装置を撮像装置に用いた例の構成を示す図である。
【００５２】
図１０の撮像装置１１０１は、撮影レンズおよびズーム撮影用駆動制御機構を含む結像光学系１１０２、ＣＣＤ又はＣＭＯＳイメージセンサー１１０３、撮像パラメータの計測部１１０４、映像信号処理回路１１０５、記憶部１１０６、撮像動作の制御、撮像条件の制御などの制御用信号を発生する制御信号発生部１１０７、ＥＶＦなどファインダーを兼ねた表示ディスプレイ１１０８、ストロボ発光部１１０９、記録媒体１１１０などを具備し、更に上述した時分割多重化処理を行うパターン認識装置を被写体検出（認識）装置１１１１として備える。
【００５３】
この撮像装置１１０１は、例えば撮影された映像中から予め登録された人物の顔画像の検出（存在位置、サイズの検出）を被写体検出（認識）装置１１１１により行う。そして、その人物の位置、サイズ情報が被写体検出（認識）装置１１１１から制御信号発生部１１０７に入力されると、同制御信号発生部１１０７は、撮像パラメータ計測部１１０４からの出力に基づき、その人物に対するピント制御、露出条件制御、ホワイトバランス制御などを最適に行う制御信号を発生する。
【００５４】
上述したパターン検出（認識）装置を、このように撮像装置に用いた結果、小型・低消費電力な回路で、高速（リアルタイム）に人物検出とそれに基づく撮影の最適制御を行うことができるようになる。
【００５５】
＜第二の実施形態＞
図１１に再構成可能なアナログデジタル混載回路として実現される神経回路網の他の構成例を示す。本実施形態に係る再構成可能な信号処理回路は、図８に示すようなパターン認識のための階層的神経回路網を実現する他の実施形態であり、パルス信号を検出カテゴリに応じてシナプス回路（アナログ処理ブロック）において位相変調することにより、階層的に低次特徴から高次特徴まで検出する点では第一の実施形態と同じである。
【００５６】
本信号処理回路は、シナプス素子としてのアナログ処理ブロックＡＢＳ、パルス信号の位相遅延を与えるデジタル処理ブロックＤＢ、受容野構造（ニューロン間の局所的結合構造）を可変とするためのスイッチブロックＳＷ、及びアナログ処理ブロックＡＢＳｋ（ｋ＝１，２，…）からの出力に基づき所定の信号出力を行う論理処理ブロックＬＢ（ニューロン素子の一部）、論理処理ブロックの出力を保持する処理結果保持メモリブロックＭＢ、およびデジタル処理ブロックＤＢでの演算特性制御データを格納する演算特性制御データ保持メモリＷＢとから構成される。
【００５７】
各処理結果保持メモリブロックＭＢは論理処理ブロックＬＢごとに隣接して配置され、また各演算特性制御データ保持メモリＷＢはデジタル処理ブロックＤＢごとに隣接して配置される。図１４に示すようにメモリブロックＭＢから読み出されたデータは、論理処理ブロックＬＢにフィードバック結合線１０を介して入力され、次の階層レベルでの処理が進行する。
【００５８】
このとき、回路構成制御手段２から演算特性制御データ保持メモリＷＢに次の階層レベルでの処理に対応するシナプス結合荷重データが入力されるか、またはメモリＷＢ内の読み出しアドレス制御信号が入力され、次の階層レベルでの処理に対応した結合荷重データがＷＢから読み出される。回路構成情報記憶手段１、回路構成制御手段２を含めた全体の構成は第一の実施形態と同様、図９に示すとおりである。
【００５９】
このように、論理処理要素その他のデジタル回路要素をアナログ回路要素と同様に分布、混在化させる構成により、大規模集積化してもアナログ処理要素の動作特性ばらつきの影響を受け難くし、安定動作可能とすることができる。デジタル回路要素においてアナログ処理要素の変動要因を吸収することができるからである。
【００６０】
なお、第１実施形態と同様、メモリブロックＭＢを構成する記憶素子としては、アナログメモリとしてのキャパシタ、特に強誘電体材料若しくは高誘電率材料を用いたメモリなどが用いられる。その他、デジタルメモリとしてのＳＲＡＭ、ＦｅＲＡＭなどを用いてもよい。メモリブロックＷＢとしては、不揮発性のメモリ例えば、ＦｅＲＡＭなどが用いられるが、ＳＲＡＭなどであってもよい。
【００６１】
図１１においてＪ層のニューロン素子ＬＢＪ ３が、Ｉ層（Ｊ＞Ｉ、一般的にＪ＝Ｉ−１）のニューロン素子から入力を受ける信号の伝達経路は、
ＬＢＩ ４→ＡＢＳ４→ＳＷ→ＤＢ３→ＬＢＪ ３、
ＬＢＩ ３→ＡＢＳ３→ＤＢ３→ＬＢＪ ３、
ＬＢＩ ２→ＡＢＳ２→ＳＷ→ＤＢ３→ＬＢＪ ３
の３経路である。
【００６２】
一方、Ｊ層のニューロン素子ＬＢＪ ２がＩ層のニューロン素子から入力を受ける信号の伝達経路は、
ＬＢＩ ３→ＡＢＳ３→ＳＷ→ＤＢ２→ＬＢＪ ２、
ＬＢＩ ２→ＡＢＳ２→ＤＢ２→ＬＢＪ ２、
ＬＢＩ １→ＡＢＳ１→ＳＷ→ＤＢ２→ＬＢＪ ２
の３経路である。
【００６３】
これら３経路からなる２種類の経路はシナプス素子ＡＢＳで部分的に重複しているが、第一の実施形態と同様、重複部分にあるシナプス素子が施すアナログ変調量は信号経路によって一般的に異なる。また、シナプス素子ＡＢＳは、複数の経路（信号線）からの入力信号についての変調機能のほかに、適切な経路（方向）への分岐出力機能も有している。このために、本実施形態で用いるシナプス素子用アナログ処理ブロックＡＢＳは、図１２に示すような構成をとる。ここに、アナログ処理ブロックＡＢＳは、３つの入力信号を別個独立に受け、内部に３つのアナログ変調手段と１個のスイッチ素子を有している。アナログ変調手段からの各出力は、スイッチ素子から５方向に任意に出力可能となっている。
【００６４】
また、本実施形態で用いるデジタル処理ブロックＤＢの構成例を図１３に示す。ここに、デジタル処理ブロックＤＢは、３つの遅延素子と１つのスイッチブロックを内部に有している。スイッチブロックは、特に時間的に出力方向を分岐するスイッチ素子から構成される点が図３に示すスイッチブロックＳＷと異なる。３つの遅延素子からの出力は統合されて１つの信号線に出力される。
【００６５】
シナプス用アナログ処理ブロックＡＢＳでは、第一の実施形態と同様にパルス信号を入力し、所定のパルス位相変調（または時間遅れ）を与えて出力する。この変調量（または遅延量）は、付随する演算特性制御データ保持メモリＷＢから与えられる。また、時間遅延を与えるデジタル処理ブロックＤＢの遅延特性も演算特性制御データ保持メモリＷＢにより与えられる。
【００６６】
本実施形態では、ニューロン素子による複数下位カテゴリの検出信号を統合する機能は、論理処理ブロックＬＢを用いて構成され、ニューロン素子回路の一部は上記論理処理ブロックＬＢを構成し、その論理処理ブロックは、予めリスト又は辞書形式で記述された組み合わせリスト構造データを参照して認識カテゴリに該当する組み合わせの入力信号があったか否かを判定する一種の組み合わせ論理回路および所定の認識（検出）信号の出力回路（Ｆｌｉｐ−Ｆｌｏｐ回路及び論理回路）等から構成される。
【００６７】
最も単純な論理回路の形態としては、第一の実施形態に示したようにシナプス回路で位相変調を受け、それぞれが異なる特徴カテゴリを表す複数のパルス信号列を論理処理ブロックが入力し、それらのＡＮＤをとる回路である。本実施形態では、論理処理ブロックＬＢによりＡＮＤをとる前に、デジタル処理ブロックＤＢにおいて遅延素子（デジタル回路素子）により各入力パルスに所定の遅延を与え、時間軸上でパルス到着時刻がほぼ同一になるようにする。
【００６８】
例えば、ある特徴カテゴリの検出を表すパルス信号について、基準時刻に対するそのパルス到着の時間をｔｎとすると、遅延素子ではＴ−ｔｎの遅延（Ｔ＞ｔｎ）をそのパルス信号に対して与える。なお、遅延量はデジタル的に与えられるため、遅延素子からの出力パルスが互いに時間軸上で厳密に一致しない場合が生じえるが、その不一致の大きさは最大でもパルス幅の半分以下の程度となるように遅延量の精度が与えられているものとする。
【００６９】
第一の実施形態に示すようにシナプス回路素子での変調を受けたパルス信号を共通バス経由で論理処理ブロックが入力する場合には、上述した遅延素子は遅延量を入力パルスに応じて切り替える（変調する）。さらにマルチプレクサ回路を経由して多入力一出力のＡＮＤ素子に入力する。
【００７０】
以上のようにすることにより、低次特徴のリスト構造で与えられる高次特徴データの検出は単純なＡＮＤ処理により実現することができる。ただし、単純なＡＮＤ処理では構成要素である全ての低次特徴データが検出されない限り、高次特徴の検出が行われることはない。そこで検出される構成要素の割合が一定値以上であれば該当する高次特徴が検出されたことになるように論理回路を構成してもよい。例えば、Ｍ個の低次特徴要素から構成される高次特徴の検出がＮ個の低次特徴要素の所定空間配置での検出が行われることによりなされるとすると、ＭＣＮ（＝Ｍ！／（Ｍ−Ｎ）！Ｎ！）個（但し、ｍ！＝ｍ（ｍ−１）・・・２・１）の夫々異なる組み合わせのパルス信号を入力するＮ入力１出力ＡＮＤ素子を設定し、それぞれの出力のＯＲをとるように構成すればよい。
【００７１】
次に、上記リスト構造データについて説明する。図９に示すように、高次パターンを構成する中次（低次）パターンの互いに連結するリスト構造として与えられる。
【００７２】
このデータ構造の例を図１５９に示す。ここに高次パターンのカテゴリを「顔」とし、これに対応して検出される予定の中次パターンのカテゴリは「目」、「鼻」、「口」のように与えられる。各中次パターンについても同様にそれを構成する低次パターンリスト構造（木構造）データとして与えられる。
【００７３】
このデータ構造には構成要素となる各中次パターンの空間配置情報が記述されていないが、これは、図８の階層的神経回路網を用いた構成において、各特徴検出層ニューロンがその前の層の特徴統合層に対して予め学習された空間配置を満たす複数の局所的特徴要素が存在することを検出できるようにシナプス結合していることを前提としているからである（特願２０００−１８１４８７号参照）。即ち、予定された空間配置関係を満たすような局所的特徴要素が存在すれば、それぞれの検出信号（パルス信号）が予め設定された時間間隔で特徴検出層ニューロンに入力されるため、特徴検出層ニューロン素子内では、特徴要素間の空間配置関係を記述するデータを参照しなくても良いからである。
【００７４】
図９において中次特徴が黒丸で表示されているのは、「顔」としての検出に必要な中耳特徴の検出の状態を表し、白丸として与えられているのは未検出の状態を示す。図９は、明らかに少なくとも３つの中次特徴の検出が必要であることを表している。
【００７５】
＜第三の実施形態＞
要部構成を図１６に示す。本実施形態においては、演算特性制御データとしての結合荷重データを保持する演算特性制御データメモリ４０を一つ再構成処理回路３とは別個に設定し、再構成回路３内部には演算特性制御データ保持メモリを用いない。但し、中間出力データのフィードバックは、第１、第２の実施形態と同様に分散配置された処理結果保持メモリブロックＭＢを介して行う。例えば、図１６においてアナログ処理ブロックＡＢＤｋの出力は隣接するメモリブロックＭＢＤに保持され、その後読み出されたフィードバック結合線１０によりアナログ処理ブロックＡＢＩｋに入力される。前実施形態と同様に回路構成の更新制御は、階層レベルを上げるごとに行い、実質的に２層で図８に示す並列階層処理回路の実現を行っている。メモリ４０は、ＳＲＡＭ、ＦｅＲＡＭなどで構成され、後者としてはデジタル、アナログいずれのメモリであってもよい。なお、各メモリブロックＭＢは、前実施形態と同様に構成される。
【００７６】
ここに、ある時刻で各特徴検出層内において検出する特徴の種別（特徴のカテゴリまたはサイズ）は一つであり、その種別は時系列的に回路構成制御手段２により更新されるようにしてもよい。
【００７７】
パターン認識を行う再構成処理回路３は、入力データ上の各サンプリング点において、時系列的に異なるカテゴリのパターン検出に関する中間処理結果を処理結果保持メモリＭＢに保持しながら階層的に行う。回路構成制御手段２は、処理結果保持ＭＢから読み出される各特徴検出層１０２での検出結果（ニューロン素子ＡＢＤ）を特徴統合層１０３の各ニューロン素子（ＡＢＩ）に出力するとともに、回路構成情報記憶手段１から読み出される回路構成情報に基づいてスイッチブロックＳＷのＯＮ／ＯＦＦパターン、およびアナログ処理ブロックＡＢのパラメータの設定を行う。
【００７８】
再構成処理回路３においては、第一の実施形態と同様、カスケード的に交互に配列された特徴検出層１０２と特徴統合層１０３が、低次から高次パターン検出までを階層的に行う（図８）が、本実施形態では、処理の階層構成を仮想的に実現するために、それを時系列的に行う。このようにすることにより、全体的な回路規模を大幅に小さくすることができる。
【００７９】
各特徴検出層１０２からの出力は、後段の特徴統合層１０３において前実施形態と同様のサブサンプリング処理が行われた後、一時的にメモリブロックＭＢに格納される。更に、特徴検出層１０２は、以下に示すようにシナプス荷重分布（局所受容野構造）が更新されると同時に、メモリブロックＭＢから時系列的に特徴種別ごとの検出結果を入力する。
【００８０】
例えば、目に相当するパターン（中次パターン）の検出を行う特徴検出層１０２の局所受容野構造は、当該中次パターンを構成する低次パターンＰ１，Ｐ２，・・・Ｐｎのそれぞれに固有な局所受容野構造として、パターンＰｋ（ｋ＝１，・・・，ｎ）ごとの特徴検出層出力を処理結果保持メモリＭＢから入力するたびに更新（または設定）される。なお、特徴検出層の各ニューロンの受容野構造は特徴種別に応じて更新されるが、特徴統合層各ニューロンの受容野構造は特徴種別のうち受容野サイズが同一であれば更新しない。
【００８１】
この局所受容野構造は、入力されるべき特徴の種別ごとに回路構成情報記憶手段１にデジタルデータとして保持され、当該記憶手段１から読み出され、回路構成制御手段２からの制御信号により更新される。
【００８２】
例えば、ある時刻で目に相当するパターンの検出を行っていた特徴検出層１０２（中次特徴検出を行う層）のニューロンの受容野構造は、別の時刻では、鼻又は口に相当するパターンの検出を行うように、回路構成制御手段２からの制御信号に従って所定の順序で更新される。
【００８３】
このように入力データについて、一つの再構成処理回路３で異なる特徴検出（認識）を時間的にずらして行う多重化処理を行うことにより、入力データ上のサンプリング位置での複数の特徴検出を別個独立に同時並列的に行う回路構成と比べて、大幅な回路規模の縮小がもたされる。
【００８４】
時間的に制御される受容野の構造は、動的に再構成可能なアナログデジタル回路要素を混載する回路構成情報データを格納する不図示のＳＲＡＭ（またはＭＲＡＭ、ＦＲＡＭ等）などから構成される回路構成情報記憶手段１と回路構成制御手段２とにより与えられる。
【００８５】
図８に示すような局所受容野構造を有するニューロンからなる階層的神経回路網を実現する際には、各層ごとに回路構成情報を更新するための記憶手段と回路構成制御手段が一般的に必要となるが、本実施形態では、以下に示すように、階層構造の層数が幾つであっても一セットの回路構成情報記憶手段１、及び回路構成制御手段２があれば足りる。
【００８６】
例えば、ある時刻で特徴検出層１０２が入力データ上の各サンプリング点で検出すべき特徴の種別（例えば、特徴カテゴリとサイズ）が一つであるとすると、特徴検出層ニューロンの各局所的受容野の構造も同一となる。その結果、受容野構造を与える回路構成情報記憶手段１及び回路構成制御手段２を共有化して時系列的に各スイッチブロックＳＢとアナログ処理ブロックＡＢＳに回路構成情報を与えることができる。
【００８７】
受容野構造を反映した結合ごとの重み係数の更新及び設定は、メモリ手段４０から供給される重み係数データに従ってアナログ処理ブロックＡＢＳのシナプス回路の荷重データが更新されることにより実現される。
【００８８】
例えば、シナプス荷重値はアナログ処理ブロックＡＢＳ内の浮遊ゲート素子に蓄えられる注入電荷量により与えられるとすると、シナプス荷重の設定などは、メモリ手段４０に格納された重み係数データに相当するシナプスごとの荷重値に相当する電荷の注入が図２に示すＡＢＳ制御線を介してなされることにより行われる。
【００８９】
以下、上記実施形態に係わる本発明の特徴を整理する。
【００９０】
特徴１．
演算処理回路と、
回路構成情報を記憶する回路構成情報記憶手段と、
前記回路構成情報記憶手段から読み出される回路構成情報に基づき前記演算処理回路に所定の制御信号を出力する回路構成制御手段とを有し、
前記演算処理回路は、
入力信号に対して所定の信号変調を行う複数のアナログ処理ブロックと、
前記複数のアナログ処理ブロックからの出力を一時的に保持する複数の処理結果保持メモリブロックと、
前記複数のアナログ処理ブロックの演算特性を制御するためのデータを格納する複数の演算制御データメモリブロックと、
前記複数の処理結果保持メモリブロックまたは前記複数のアナログ処理ブロック間を結ぶ複数の信号線とを備え、
前記回路構成制御手段が前記演算制御データメモリブロックからのデータ読み出しを制御することにより、前記演算処理回路に異なる複数の信号処理機能を実行させることを特徴とする信号処理回路。
【００９１】
特徴２．
演算処理回路と、
前記演算処理回路の回路構成情報および演算特性制御用データを格納する回路構成情報記憶手段と、
前記回路構成情報記憶手段から読み出される回路構成情報および演算特性制御用データに基づき前記演算処理回路に所定の制御信号を出力する回路構成制御手段とを有し、
前記演算処理回路は、複数のスイッチブロックと、それぞれ複数の第一及び第二のタイプのアナログ処理ブロックと、前記第二のアナログ処理ブロックの出力を保持する処理結果保持メモリブロックとが所定の信号線により所定のパターンで結線され、
前記第一のタイプのアナログ処理ブロックは、前記第二のタイプのアナログ処理ブロックからの信号に所定の変調を与え、
前記第二のタイプのアナログ処理ブロックは、前記第一のタイプの複数アナログ処理ブロック手段からの信号を統合することにより所定の信号を出力し、
前記スイッチブロックは、複数のスイッチ素子と複数の信号線とを有し、
前記回路構成制御手段が当該複数のスイッチ素子動作のオン、オフパターンまたは前記アナログ処理ブロックの信号変調パラメータを制御することにより、前記演算処理回路に異なる複数の信号処理機能を実行させることを特徴とする信号処理回路。
【００９２】
特徴３．
演算処理回路と、
回路構成情報および演算特性制御用データを記憶する回路構成情報記憶手段と、
前記回路構成情報記憶手段から読み出される回路構成情報および演算特性制御用データに基づき前記演算処理回路に所定の制御信号を出力する回路構成制御手段とを有し、
前記演算処理回路は、
複数のスイッチ素子と複数の信号線とを含む複数のスイッチブロックと、複数の論理処理ブロックと、入力信号に対して所定の変調を行う複数のアナログ処理ブロックと、前記論理処理ブロック手段または前記アナログ処理ブロックからの出力を保持する複数の処理結果保持メモリブロックとが所定の信号線により結線され、
前記回路構成制御手段が、前記複数のスイッチ素子動作のオン、オフパターンまたは前記アナログ処理ブロックの信号変調量を制御することにより、前記演算処理回路に異なる複数の信号処理機能を実行させることを特徴とする信号処理回路。
【００９３】
特徴４．
前記スイッチブロックは、所定の信号線を介して前記複数のアナログ処理ブロックからの信号を入力することを特徴とする特徴１乃至３に記載の信号処理回路。
【００９４】
特徴５．
前記アナログ処理ブロックは、入力信号変調手段と出力信号の分岐回路とを有することを特徴とする特徴１乃至３に記載の信号処理回路。
【００９５】
特徴６．
前記アナログ処理ブロックは、入力信号に対して時間的に異なる所定の重み付き加算処理または重み付き積分処理を行うことを特徴とする特徴１乃至３に記載の信号処理回路。
【００９６】
特徴７．
前記アナログ処理ブロックは、異なる変調度を設定可能な複数の入力信号変調回路を有することを特徴とする特徴１乃至３に記載の信号処理回路。
【００９７】
特徴８．
前記入力信号変調回路は、パルス信号の遅延または位相を変調する回路であることを特徴とする特徴７に記載の信号処理回路。
【００９８】
特徴９．
前記スイッチブロックは、複数の入出力用信号線と、複数のスイッチ素子とを有し、所定の前記信号線から入力された信号を他の前記信号線に出力することを特徴とする特徴１乃至３に記載の信号処理回路。
【００９９】
特徴１０．
前記論理処理ブロックは、複数の入力信号についての少なくとも一つの論理積回路を有することを特徴とする特徴３に記載の信号処理回路。
【０１００】
特徴１１．
前記第一のタイプのアナログ処理ブロックは、入力信号の変調手段を有し、前記第二のタイプのアナログ処理ブロックは、入力信号の重み付き時間積分を行うことを特徴とする特徴２に記載の信号処理回路。
【０１０１】
特徴１２．
前記スイッチブロックは、所定の制御線からの制御信号により前記複数のスイッチ素子のオンまたはオフ動作が設定されることを特徴とする特徴９に記載の信号処理回路。
【０１０２】
特徴１３．
前記スイッチブロックは、同一方向に複数の信号線を配してなることを特徴とする特徴９に記載の信号処理回路。
【０１０３】
特徴１４．
前記処理結果保持メモリブロックを構成するメモリは、強誘電体材料を用いてなることを特徴とする特徴１乃至１３に記載の信号処理回路。
【０１０４】
特徴１５．
前記処理結果保持メモリブロックを構成するメモリは、高誘電率材料を用いてなることを特徴とする特徴１乃至特徴１３に記載の信号処理回路。
【０１０５】
特徴１６．
パターンデータを入力する入力手段と、
演算処理回路と、
回路構成情報を記憶する回路構成情報記憶手段と、
前記回路構成情報記憶手段から読み出される回路構成情報に基づき前記演算処理回路に所定の制御信号を出力する回路構成制御手段とを有し、
前記演算処理回路は、それぞれ複数のスイッチと、複数のアナログ処理ブロックと、前記アナログ処理ブロックからの出力データを保持する複数の処理結果保持メモリブロックと、前記スイッチ手段またはアナログ処理ブロック間を結ぶ複数の信号線とを少なくとも備え、
前記回路構成情報記憶手段は、前記複数のスイッチ手段オン、オフパターン情報と前記複数のアナログ処理ブロックの信号変調用データとをそれぞれ少なくとも一種類記憶し、
前記回路構成制御手段は、前記回路構成情報記憶手段から読み出された回路構成情報に基づき、前記複数のスイッチのオン、オフパターン制御信号と、前記複数のアナログ処理ブロックに所定の演算特性制御用データを与えることにより、当該入力パターンの一部または全部について、所定の複数位置で所定の複数の特徴カテゴリを検出して、所定の認識結果を出力する出力手段とを有することを特徴とするパターン認識装置。
【０１０６】
特徴１７．
前記処理結果保持メモリブロックを構成するメモリは、強誘電体材料を用いてなることを特徴とする特徴１６に記載のパターン認識装置。
【０１０７】
特徴１８．
前記処理結果保持メモリブロックを構成するメモリは、高誘電率材料を用いてなることを特徴とする特徴１６に記載のパターン認識装置。
【０１０８】
【発明の効果】
以上説明したように、本発明によれば、アナログ処理要素を複数含む並列処理回路構成において、複数の回路構成を少数の基本回路構成で多様に構成することができ、回路要素数の増減なく大規模な並列処理アナログ処理回路を小規模な回路構成で実現することができる。
【図面の簡単な説明】
【図１】演算処理回路の要部構成図である。
【図２】再構成可能な信号処理回路の基本要素ブロック間の結線図である。
【図３】シナプス用アナログ処理ブロックの構成図である。
【図４】シナプス部とニューロン素子の構成を示す図である。
【図５】スイッチブロック手段の構成図である。
【図６】スイッチブロック手段の構成図である。
【図７】スイッチブロック手段の構成図である。
【図８】階層的神経回路網の構成図である。
【図９】再構成可能な信号処理回路の全体構成図である。
【図１０】パターン認識装置を撮影装置に搭載した応用例の要部構成図である。
【図１１】演算処理回路の要部構成図である。
【図１２】シナプス用アナログ処理ブロックの構成図である。
【図１３】本発明の第二の実施形態に係るデジタル処理ブロックの構成図である。
【図１４】再構成可能な信号処理回路の基本要素ブロック間の結線図である。
【図１５】中次特徴の配置関係を表すリスト構造データの例を示す図である。
【図１６】演算処理回路の要部構成図である。
Claims (1)
- 演算処理回路と、
回路構成情報を記憶する回路構成情報記憶手段と、
前記回路構成情報記憶手段から読み出される回路構成情報に基づき前記演算処理回路に所定の制御信号を出力する回路構成制御手段とを有し、
前記演算処理回路は、
入力信号に対して所定の信号変調を行う複数のアナログ処理ブロックと、
前記複数のアナログ処理ブロックからの出力を一時的に保持する複数の処理結果保持メモリブロックと、
前記複数のアナログ処理ブロックの演算特性を制御するためのデータを格納する複数の演算制御データメモリブロックと、
前記複数の処理結果保持メモリブロックまたは前記複数のアナログ処理ブロック間を結ぶ複数の信号線とを備え、
前記回路構成制御手段が前記演算制御データメモリブロックからのデータ読み出しを制御することにより、前記演算処理回路に異なる複数の信号処理機能を実行させることを特徴とする信号処理回路。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002322717A JP4174297B2 (ja) | 2002-11-06 | 2002-11-06 | 信号処理回路 |
| US10/702,171 US7028271B2 (en) | 2002-11-06 | 2003-11-04 | Hierarchical processing apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002322717A JP4174297B2 (ja) | 2002-11-06 | 2002-11-06 | 信号処理回路 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2004157755A true JP2004157755A (ja) | 2004-06-03 |
| JP2004157755A5 JP2004157755A5 (ja) | 2005-12-22 |
| JP4174297B2 JP4174297B2 (ja) | 2008-10-29 |
Family
ID=32802823
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002322717A Expired - Fee Related JP4174297B2 (ja) | 2002-11-06 | 2002-11-06 | 信号処理回路 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4174297B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2022517810A (ja) * | 2019-01-18 | 2022-03-10 | シリコン ストーリッジ テクノロージー インコーポレイテッド | 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリ用の電力管理 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019008997A1 (ja) | 2017-07-05 | 2019-01-10 | 日立ジョンソンコントロールズ空調株式会社 | 空気調和機の室外熱交換器及びこれを備える空気調和機 |
-
2002
- 2002-11-06 JP JP2002322717A patent/JP4174297B2/ja not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2022517810A (ja) * | 2019-01-18 | 2022-03-10 | シリコン ストーリッジ テクノロージー インコーポレイテッド | 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリ用の電力管理 |
| JP7340612B2 (ja) | 2019-01-18 | 2023-09-07 | シリコン ストーリッジ テクノロージー インコーポレイテッド | 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリ用の電力管理 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4174297B2 (ja) | 2008-10-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7707128B2 (en) | Parallel pulse signal processing apparatus with pulse signal pulse counting gate, pattern recognition apparatus, and image input apparatus | |
| US7085749B2 (en) | Pulse signal circuit, parallel processing circuit, pattern recognition system, and image input system | |
| US7028271B2 (en) | Hierarchical processing apparatus | |
| US7512271B2 (en) | Dynamically reconfigurable signal processing circuit, pattern recognition apparatus, and image processing apparatus | |
| US8515885B2 (en) | Neuromorphic and synaptronic spiking neural network with synaptic weights learned using simulation | |
| CN103282919A (zh) | 强化学习的电子突触 | |
| GB2251328A (en) | Multi-layer neural network employing multiplexed output neurons | |
| JP2002008032A (ja) | パターン検出装置及び方法、画像入力装置及び方法、ニューラルネットワーク回路 | |
| CN111386538A (zh) | 光子神经网络系统 | |
| WO1993000653A1 (en) | Neural network architecture | |
| JPH07222202A (ja) | 立体ビジョンカメラ | |
| JP4750313B2 (ja) | 信号処理回路 | |
| JP2004157755A (ja) | 信号処理回路 | |
| RU2057363C1 (ru) | Гибридная ячейка оптоэлектронного нейропроцессора | |
| JP4314017B2 (ja) | 階層処理装置 | |
| JP2003085560A (ja) | 信号処理回路及びパターン認識装置 | |
| JP2003087112A (ja) | 信号処理回路及びパターン認識装置 | |
| Eslaminia et al. | Toward large scale all-optical spiking neural networks | |
| Jutten et al. | Simulation machine and integrated implementation of neural networks: A review of methods, problems and realizations | |
| JP4845350B2 (ja) | 並列処理装置 | |
| JPH056356A (ja) | 信号処理方法及びその装置 | |
| JP2002358502A (ja) | 並列パルス信号処理装置、パルス出力素子、及びパターン認識装置 | |
| JP3130913B2 (ja) | 信号処理装置 | |
| JP3142287B2 (ja) | ニューラルネットワーク | |
| JPH03257658A (ja) | ニューラルネットワークの動的システムモデル化方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051107 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051107 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080507 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080707 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080729 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080818 |
|
| R150 | Certificate of patent (=grant) or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110822 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120822 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120822 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130822 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |