JP2002358502A - 並列パルス信号処理装置、パルス出力素子、及びパターン認識装置 - Google Patents

Abstract

(57)【要約】 【課題】 同一回路構成を用いての多機能化、回路規模
の縮小化、異種センサ情報の統合処理の容易化、高速化
を実現する。 【解決手段】 並列パルス信号処理装置に、複数のパル
ス出力演算素子と、当該演算素子のうち所定の演算素子
間を並列結合する結合素子とを有し、前記演算素子は、
複数の時系列パルス信号の入力手段と、当該入力された
複数の時系列パルス信号に時間積分あるいは閾値処理を
行う変調処理手段と、前記変調処理結果に固有な所定の
時系列パルス信号出力を行うパルス出力手段とを備え、
前記変調処理手段における時間積分の開始タイミングあ
るいは閾値が、前記入力された複数の時系列パルス信号
の少なくとも１つにより更新を受けるようにする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、パターン認識機能
を有する並列パルス信号処理回路または神経回路網に関
する。これを用いた応用形態として音声入力機能とパタ
ーン認識機能を具備して追尾、注視などの動作可能な撮
像機器若しくはビデオカメラ、及びロボットに搭載可能
な視覚ヘッドなどがある。

【０００２】

【従来の技術】従来、大規模な神経回路網を小規模の回
路で実現するための方式として、特公平５−４７８７０
号公報、特許第２６７９７３０号公報などに開示される
ようなパルス信号を発生するニューロンモデルを用い、
時分割多重処理を行う構成が知られる。また、特公平６
−９３２４９号公報に係る構成においてもパルス列を出
力する素子と一次記憶手段を用いてニューロン素子を構
成することにより、配線問題の軽減が可能な構成を開示
している。

【０００３】一方、被写体の自動追尾を行う撮影装置と
して、特願平４−１０３８０２号や特許第２８３３４２
５号公報に開示されるように画像情報(特定色)のみから
対象を検出し、追尾動作を行うものと、音声も検出して
追尾撮影機能を実現するものなどさまざまな撮像装置が
提案されている。

【０００４】後者の例として、超広角レンズと可変指向
性マイクロフォンを搭載し、音声から音源位置を推定
し、音源位置方向の画像切り出しを行って人物などの追
尾を行うテレビカメラ装置（特開平１１−３３１８２７
号公報）がある。

【０００５】また、突発音認識部を備え、監視対象に変
化が発生したときだけ音源定位（特開昭６３−１７７０
８７号公報、特開平４−２３６３８５号公報、特開平１
１−３０４９０６号公報など参照）を行って音源位置に
対応する画像データ部分及びその周辺の部分画像データ
と原画像データとの比較を行う監視対象撮影用の撮像装
置（特開２０００−３２４３４号公報）、所定形状の三
角形の３頂点位置にマイクロフォンを配置して、同一音
源からの音の到達時間差に基づき音源位置を推定し、カ
メラが音源を所定の大きさに捉えられるようにカメラの
向きとズーム量を制御する装置（特開平１０−２２７８
４９号公報）などがある。

【０００６】一方、画像認識の分野においては、特定の
認識対象に特化した認識処理アルゴリズムを生体の情報
処理機構にヒントを得た神経回路網モデルにより実現す
るパターン認識方法（階層的テンプレートマッチングを
行う方法）が提案されている（特公昭60-712、Fukushim
a & Miyake, 1982 Neocognitron: A new algorithm for
pattern recognition tolerant of deformation and s
hifts in position, Pattern Recognition, vol.15, p
p.455-469）。

【０００７】また、生体の神経回路網による情報処理機
構をより忠実に取り入れようとする試みとして、アクシ
ョンポテンシャルに相当するパルス列による情報の伝達
表現を行う神経回路網モデル回路が提案されている(Mur
ray et al., 1991 Pulse-Stream VLSI Neural Networks
Mixing Analog and Digital Techniques, IEEE Trans.
on Neural Networks, vol.2, pp.193-204.；特開平7-2
62157号公報、特開平7-334478号公報、特開平8-153148
号公報、特許２８７９６７０号公報など)。

【０００８】パルス列生成ニューロンからなる神経回路
網により特定対象の認識、検出を行う方法としては、結
合入力(linking inputs)と供給入力(feeding inputs)を
前提としたEckhornらによる高次（２次以上）のモデル
（Eckhorn, et al. 1990, Feature linking via synchr
onization among distributed assemblies: Simulation
of results from cat cortex, Neural Computation, V
ol.2, pp.293-307)、即ち、パルス結合神経回路網(以
下、ＰＣＮＮと略す) を用いた方式がある（ＵＳＰ５６
６４０６５、及び、Broussard, et al. 1999, Physiolo
gically Motivated Image Fusion for Object Detectio
n using a Pulse Coupled Neural Network, IEEE Tran
s. on Neural Networks, vol. 10, pp.554-563、な
ど）。

【０００９】

【発明が解決しようとする課題】上記従来例において
は、いずれもカテゴリの異なる情報（例えば、視覚情報
(画像情報)と音声情報などのような異種センサ情報）を
中間処理段階において統合して処理することを行ってい
なかった。このため、いずれか一つのセンサ情報に基づ
いて行った処理結果に基づいて他のセンサ情報の処理を
行うことになり、その結果として例えば音声及び画像入
力を行う撮像手段などにおいて、これら異種センサ情報
に基づいて注視（または検出）すべき対象を効率よく、
かつ高速に探索（または検出）することが困難であっ
た。

【００１０】また、神経回路網モデルとしては、複数の
異なるカテゴリの信号入力を同一のニューロンにおいて
統合して扱うことの出来るものが存在しなかった。

【００１１】

【課題を解決するための手段】本発明は、パルス信号入
力を行うニューロン素子において、入力信号のパルス間
隔パターンのクラス（例えば、音声情報か画像情報かの
種別、或いは画像情報における異なるパターンの種別）
に応じて応答特性若しくは処理特性の異なるパルス信号
出力を行うように構成し、そのニューロン素子を並列
（階層）的に配列したことにより、同一回路構成を用い
ての多機能化、回路規模の縮小化、異種センサ情報の統
合処理の容易化、高速化を実現することを目的とする。

【００１２】ここにパルス間隔パターンのクラスとは、
所定幅の時間分解能において互いに異なることを要件と
し、異なるクラスは、異なる情報カテゴリを表すものと
する。特に、所定種別の入力パルス信号により、ニュー
ロン素子の動的入出力特性が更新されることにより、上
記異種センサ情報の統合を可能とした。

【００１３】本発明のある態様によれば、並列パルス信
号処理装置に、複数のパルス出力演算素子と、当該演算
素子のうち所定の演算素子間を並列結合する結合素子と
を有し、前記演算素子は、複数の時系列パルス信号の入
力手段と、当該入力された複数の時系列パルス信号に所
定の変調処理を行う変調処理手段と、前記変調処理結果
に固有な所定の時系列パルス信号出力を行うパルス出力
手段とを備え、前記変調処理手段における変調処理特性
が、前記入力された複数の時系列パルス信号の少なくと
も１つにより、所定の更新を受けることを特徴とする。

【００１４】例えば、演算素子における処理特性そのも
のが、あるセンサからの入力信号により更新を受けると
いう形式で、異種情報の統合処理が行われる。その結
果、音声情報と画像情報の双方に基づいて被写体を検出
するような機能をこのような演算素子を用いて実現する
ことができる。

【００１５】また、本発明の他の態様によれば、並列パ
ルス信号処理装置に、複数かつ有限個の所定クラスのパ
ルス信号を入力する入力手段を有し、当該入力手段より
時系列パルス信号パターンを入力し、当該入力される信
号のうち少なくとも１つのパルス間隔パターンの属する
クラスに固有のパルス信号出力を行う演算素子を複数個
並列に配置し、前記複数個の演算素子のうち所定の演算
素子間を所定の結合素子で結合し、前記演算素子は、前
記入力信号のパルス間隔パターンを所定の時間窓で重み
付き積分を行うことを特徴とする。

【００１６】このように、パルス間隔パターンの種別に
より複数のクラス（カテゴリ）の情報を表す入力信号に
対して所定の重み付き時間積分を行うことにより、例え
ば、異なるパターンの検出を同じ結合配線構造をもつニ
ューロン素子で行うことができる。その結果、従来例で
は検出カテゴリごとに異なる回路構成を用いていたのに
対し、同一構成で異種パターン情報の検出を行うことの
できる多機能回路が実現され、小回路規模化が図られ
る。

【００１７】本発明の他の態様によれば、並列パルス信
号処理装置は、所定次元のデータ入力手段と、複数のデ
ータ処理モジュールと、パターン検出結果の出力手段と
を有し、データ処理モジュールは、所定の結合手段によ
り並列して結合される複数の演算素子を含み、データ処
理モジュール内の演算素子は、所定の演算素子からの入
力信号により、その応答特性が変調されるとともに、所
定時間窓内で入力される所定の複数の演算素子からの複
数パルスの到着時間パターンに基づいて所定カテゴリの
パターンの検出結果を表すパルス状の信号列を出力し、
出力手段は、演算素子からの出力に基づき、データ中の
所定パターンの検出結果を出力することを特徴とする。

【００１８】例えば、演算素子における処理特性そのも
のが、あるセンサからの入力信号により更新を受けると
いう形式で、異種センサ情報の統合処理が行われる。そ
の結果、音声情報と画像情報の双方に基づいて被写体を
検出するような機能をこのような演算素子を用いて実現
することができる。

【００１９】本発明の他の態様によれば、並列パルス信
号処理装置は、所定次元のデータ入力手段と、複数のデ
ータ処理モジュールと、パターン検出結果の出力手段と
を有し、前記データ処理モジュールは、所定の結合手段
により並列して結合される複数の演算素子を含み、前記
データ処理モジュール内の演算素子は、時系列パルス信
号を入力し、複数クラスの当該時系列パルス信号パター
ンの識別を行い、所定時間窓内で入力される所定の複数
の演算素子からの複数パルスの到着時間パターンのクラ
スに固有なパルス状の信号列を出力し、前記出力手段
は、前記演算素子からの出力に基づき、前記データ中の
所定パターンの検出結果を出力することを特徴とする。

【００２０】このように、パルス間隔パターンの種別に
より複数のクラス（カテゴリ）の情報を表す入力信号に
対して所定の重み付き時間積分を行うことにより、例え
ば、異なるパターンの検出を同じ結合配線構造をもつニ
ューロン素子で行うことができる。その結果、従来例で
は検出カテゴリごとに異なる回路構成を用いていたのに
対し、同一構成で異種パターン情報の検出を行うことの
できる多機能回路が実現され、小回路規模化が図られ
る。

【００２１】本発明の他の態様によれば、パルス出力素
子に、所定の時系列パルス信号の入力手段と、当該信号
のパルス間隔パターンのクラスを識別する処理手段と、
当該クラスに固有な所定の時系列パルス出力を行う出力
手段とを備える。

【００２２】このようなパルス出力素子を演算素子とし
て並列階層的に構成することにより、上述したような異
種センサ情報を統合的に扱う機能、或いは異なるカテゴ
リを表す時系列パターン情報の検出機能を実現すること
ができる。

【００２３】また、本発明の他の態様によれば、パター
ン認識装置は、画像入力手段と、音声入力手段と、画像
特徴検出手段と、音声特徴検出手段と、出力手段とを有
し、画像特徴検出モジュールは、複数のニューロン素子
を並列階層的に結合してなり、ニューロン素子は、音声
特徴検出手段からの制御信号により、その応答特性が変
調され、画像認識手段は、複数の特徴クラスに関する複
数の画像特徴検出手段からの出力に基づき、所定カテゴ
リの画像認識結果を出力することを特徴とする。

【００２４】

【発明の実施の形態】（第１の実施形態）全体構成概要 図１は本発明のパターン認識装置のネットワーク回路網
全体構成図を示す。本ネットワークは、画像として与え
られる対象（またはその幾何学的特徴など）の認識及び
検出に必要な情報を主として扱うものであり、その基本
構造は階層構造を有するいわゆるConvolutionalネット
ワーク構造(LeCun, Y. and Bengio, Y.,1995, “Convol
utional Networks for Images Speech, and Time Serie
s” in Handbook of Brain Theory and Neural Network
s (M. Arbib, Ed.), MIT Press,pp.255-258)である。但
しここでは、入力データとして画像センサからの出力信
号及びマイクロフォンからの音声信号を用いている点、
及び層間結合は局所的に相互結合をなし得る点(後述)、
及び音声信号の特徴抽出に関しては、後述する特徴統合
処理を行わない点が従来の基本構造と異なる。このネッ
トワークの最終出力（最上位層出力）は認識結果、即ち
検出された対象のカテゴリ及びその入力データ上での位
置情報である。以下各要素について概要を説明する。

【００２５】データ入力層１は、画像センサ手段の場合
はＣＭＯＳセンサ或いはＣＣＤ素子等の光電変換素子、
及び少なくとも２つのマイクロフォンからなる音声入力
センサから構成される。ここでは、左右２つの方向にそ
れぞれ指向性を有する２個のマイクロフォンを用いる。

【００２６】特徴検出層(１,０)は、画像データから、
低次特徴検出を行う画像特徴検出部と音声信号から音声
特徴を検出する音声特徴検出部とから構成される。

【００２７】画像特徴検出部は、Gabor wavelet変換そ
の他による多重解像度処理により、画像パターンの局所
的な低次の特徴（幾何学的特徴のほか色成分特徴を含ん
でもよい）を全画面の各位置(或いは、全画面にわたる
所定のサンプリング点の各点)において同一箇所で複数
のスケールレベル又は解像度で複数の特徴カテゴリの数
だけ検出する。画像特徴検出部の各ニューロン素子は、
特徴量の種類（例えば、幾何学的特徴として所定方向の
線分を抽出する場合にはその幾何学的構造である線分の
傾き）に応じた受容野構造を有し、その程度に応じたパ
ルス列を発生する。

【００２８】特徴検出層(１,０)の音声特徴検出部は、
異なる周波数に中心感度を有する一対のフィルタアレイ
（それぞれが特徴検出素子）からなり、それぞれ左右一
対のマイクロフォンからの音声信号を入力する。各フィ
ルタは、バンドパスフィルタをなし、そのフィルタ特性
は例えば、いわゆるガンマトーンフィルタ関数で与えら
れる。ここでは、３００Hzから８０００Hzの間で中心周
波数が対数軸上に等間隔に分布する１０個のフィルタを
用いる。特定範囲の周波数成分の検出結果（特定周波数
帯域の検出レベル）をスパイク列信号の周波数または位
相として出力する。本実施形態では、音声特徴検出部
は、特徴検出層(1,0)及び(1,1)にのみ存在するものとす
る。

【００２９】特徴検出層(1,k)の各画像特徴検出部は、
全体として複数の解像度（又はスケールレベル）での処
理チャネルを形成する（但し k≧0）。即ち、Gabor wav
elet変換を特徴検出層（１,０）で行う場合を例にとる
と、スケールレベルが同一で方向選択性の異なるGabor
フィルタカーネルを受容野構造に持つ特徴検出細胞のセ
ットは、特徴検出層（１,０）において同一の処理チャ
ネルを形成し、後続の層(1,１) においても、それら特
徴検出細胞からの出力を受ける特徴検出細胞（より高次
の特徴を検出する）は、当該処理チャネルと同一のチャ
ネルに属する。

【００３０】更に後続の層（１,ｋ）(但しｋ＞１)にお
いても、同様に（2,ｋ―１）層において同一チャネルを
形成する複数の特徴統合細胞からの出力を受ける特徴検
出細胞は、当該チャネルに属するように構成される。各
処理チャネルは、同一スケールレベル（又は解像度）で
の処理が進行していくものであり、階層的並列処理によ
り低次特徴から高次特徴までの検出及び認識を行う。

【００３１】異なる処理チャネル間では、同じ階層レベ
ル(検出される特徴の複雑さが同レベル)であれば、検出
される特徴の違いは、同一カテゴリであるが、互いに異
なるスケールで検出されたものであることにある。例え
ば、中次の特徴として顔の中の「目」のパターンを考え
たとき、サイズの異なる「目」の検出がそれぞれのチャ
ネルで行われる。即ち、画像中の与えられたサイズの
「目」に対してスケールレベル選択性の異なる複数の処
理チャネルにおいて検出が試みられる。

【００３２】一方、特徴検出層（１，１）の音声特徴検
出部は、後述する特徴統合層（２，０）の音声特徴部ニ
ューロンからの出力を受け、左右一対のマイクロフォン
からの音声信号の到着時間差及びレベル差を音声特徴と
して抽出する機能を有する。より具体的には図１３に示
すように、特徴統合層（２，０）の音声特徴部出力であ
る信号線上の時間遅延回路要素（後述）のある位置にお
いて信号線間において信号の積をとるような回路(積算
回路)をカテゴリ（バンドパスフィルタの中心周波数）
ごとに設定する構成になっている。

【００３３】このパルス信号の積算回路は、いわゆるCo
incidence-detectionにより容易に実現することができ
る。例えば、２つの信号線から入力を受けるIntegrate-
and-fireニューロンの発火閾値を適切に設定することに
より、２つのパルス信号が所定時間幅内で同時に到着し
たときだけ発火するようにする。ただしこの積算回路の
出力レベルは、電流の振幅で表されるような回路構成に
なっているものとする。

【００３４】上述した逆方向に伝播する信号間の積算回
路からの出力信号の位置は、左右のマイクロフォンに到
達する音声の時間差を表しており、これを用いて水平面
内での音源の存在方向を推定する処理、即ち音源定位処
理が行われる。この回路としては、いわゆるWTA回路（W
inner-Take-All回路）が用いられ、各フィルタ出力につ
いて行う前述した積算回路出力のうち、最大値出力の位
置（検出された時間差）に対応するニューロンだけが発
火する。図１３においてWTA回路内の音声時間差検出ニ
ューロンSD_jは、遅延時間差がｊ(Δｔを単位)となる状
態を検出し、各SD_jは、WTA回路内の抑制性ニューロン
（GI）と相互結合を行い、GIは音声時間差検出ニューロ
ンSD_jからの入力の総和に関する出力を各SD_jにフィード
バックする。

【００３５】WTA回路内のネットワークダイナミクスに
より、SDjのうち最終的に最大出力値ニューロンのみが
発火し、そのニューロンの位置は、推定される音源方向
(ただし水平面内)に対応する。この最大値出力ニューロ
ンは、その水平面内での位置に応じて、所定範囲の特徴
検出層内(画像特徴検出部)ニューロンの発火閾値を選択
的に低減させる信号(図１３の実線矢印で示したS_cd)を
出力することにより、画像ベースでの特徴検出感度を上
げる作用をもたらす。

【００３６】ここで、所定範囲とは、視野内に音源位置
の方向が推定される場合には、その推定された方向を中
心とする視野角の約５〜１０％幅程度の音源方向推定面
内（水平方向）領域での特徴検出を行うニューロン群の
存在範囲をいい、図１３では該当する範囲の特徴検出層
（１、ｋ）ニューロン群のみが（実線矢印で示した）信
号S_cdを受けることを模式的に示している。また、音声
特徴検出部の最大値出力ニューロンは、該当する範囲の
特徴検出層ニューロンに付随するペースメーカニューロ
ン群にも後述するように同期クラスタ形成を促進する信
号を出力する。同期クラスタの形成過程については後で
説明する。

【００３７】一方、本実施形態のように２本のマイクロ
フォンを用いた場合では、マイクロフォン前方の全体的
な指向性の範囲外となる後方への音源定位は、後述する
ような音声の到達時間差のみから求める処理方式では困
難であり、注視すべき対象がこのような視野外に音源と
して存在する場合には、音源定位による推定は著しい誤
差を生じる。このような場合には、推定方向に光軸制御
を行っても、主被写体が検出されないことになるが、光
軸制御を行い、推定方向に主被写体が検出されないこと
を検出した後、１８０度反転した方向に光軸制御を行っ
ても良い。ただし、視野外であってもマイクロフォンの
指向性範囲内にある場合には、推定された音源方向に光
軸の制御を行う。

【００３８】視野外への光軸制御を行う場合には、いず
れの画像特徴検出部ニューロンにもこのような検出促進
用の信号出力を行わず、音源定位推定結果に基づく光軸
制御量の設定が行われる。

【００３９】一方、視野内に音源方向の推定結果が得ら
れる場合には、後述するようにペーメーカニューロンへ
の入力をも行うことにより、推定された音源方向の領域
を扱う特徴検出層（画像特徴検出部）及び統合層ニュー
ロン間での同期クラスタの形成を促進する効果がもたら
される。

【００４０】このように、音源推定方向（またはその近
傍）にある特徴検出層(画像特徴検出部)ニューロンの入
出力特性についての選択的な制御を行う異種センサ情報
（音声特徴と画像特徴）の統合処理により特定対象の検
出を行うので、その信頼度及び検出効率を上げることが
できる。また、前述したような光軸制御手順によれば、
視野外にある主被写体の検出動作も音声特徴に基づいて
確実に行うことができる。

【００４１】次に特徴統合層について説明する。

【００４２】特徴統合層(２,０)は、画像特徴部及び音
声特徴部からなる。ただし、音声特徴部は、後続の特徴
統合層（２，１）,（２，２）・・・には存在せず、これら
の層には（２，０）層におけるのと同様な画像特徴部の
みがある。各ニューロン素子は、特徴検出層（１，０）
の画像特徴検出部からの入力を受け、前述したサブサン
プリングのための所定の受容野構造(以下、受容野とは
直前の層の出力素子との結合範囲を、受容野構造とはそ
の結合荷重の分布を意味する)を有する。即ち、特徴検
出層(１,０)からの同一受容野内の複数ニューロン素子
出力を統合することにより、局所平均化、或いは、局所
的な領域内での最大値検出等によるサブサンプリング、
即ち代表値抽出などの演算を行う。

【００４３】音声特徴部では、第一のマイクロフォンか
らの音声信号について特徴検出層（１，１）の各ニュー
ロンが属するカテゴリ（周波数）の特徴(いわゆるバン
ドパスフィルタ出力である周波数特徴)に相当するパル
ス信号(以下、音声特徴信号という)に対して第一のマイ
クロフォンに対応する信号線上に直列した複数の遅延素
子（それぞれがΔｔの遅延量を与える）により所定の時
間遅延を与えて時間軸上に並べる。また、他方(第二)の
マイクロフォンからの音声信号についての音声特徴信号
についても同様に複数の遅延素子を用いて時間軸上に並
べるが、回路上は各時系列パルス信号が第二のマイクロ
フォンからの音声信号に関する信号線上を逆方向に伝播
するようにする。これら２つの信号線上の遅延素子が存
在する各位置から一方の信号線についての遅延素子出力
と他方の信号線からの出力の２つが特徴統合層（２，
０）の音声特徴部出力として得られ、後続の特徴検出層
（１，１）の音声特徴検出部に送られる。

【００４４】特徴統合層内の画像特徴部ニューロンの各
受容野は同一層内のニューロン間で共通の構造を有して
いる。各特徴検出層（１,１）、(１,２)、・・・、(１,N)
及び各特徴統合層(２,１)、(２,２)、・・・、(２,N)は、
それぞれ所定の受容野構造を持ち、上述した各層と同様
に前者（(１,１)、・・・）は、各特徴検出モジュールにお
いて複数の異なる特徴の検出を行い、後者（(２,１)、・
・・）は、前段の特徴検出層からの複数特徴に関する検出
結果の統合を行う。但し、前者の特徴検出層は同一チャ
ネルに属する前段の特徴統合層の細胞素子出力を受ける
ように結合（配線）されている。

【００４５】次にシナプス回路について説明する。

【００４６】各層間のニューロン間を結合する手段（シ
ナプス回路）は、図２（Ａ）に示すように、神経細胞の
軸索または樹状突起に相当する信号伝達部３（配線また
は遅延線）、及びシナプス回路Ｓ202である。図２
（Ａ）では、ある特徴検出（統合）細胞に対する受容野
を形成する特徴統合(検出)細胞のニューロン群（n_i）か
らの出力（当該細胞から見ると入力）に関与する結合手
段の構成を示している。信号伝達手段として太線で示し
ている部分は共通バスラインを構成し、この信号伝達ラ
イン上に複数のニューロンからのパルス信号が時系列に
並んで伝達される。出力先の細胞からの入力を受ける場
合も同様の構成がとられる。この場合には、全く同じ構
成において時間軸上で入力信号と出力信号とを分割して
処理してもよいし、或いは入力用(樹状突起側)と出力用
（軸索側）の２系統で図２（Ａ）と同様の構成を与えて
処理してもよい。

【００４７】シナプス回路Ｓ202としては、層間結合
（特徴検出層上のニューロンと特徴統合層上のニューロ
ン間の結合であって、各層ごとにその後続の層及び前段
の層への結合が存在しうる）に関与するものと、同一層
内ニューロン間結合に関与するものとがある。後者は必
要に応じて、主に後述するペースメーカニューロンと特
徴検出または特徴統合ニューロンとの結合に用いられ
る。

【００４８】いわゆる、興奮性結合はシナプス回路Ｓ20
2において、パルス信号の増幅を行い、抑制性結合は逆
に減衰を与えるものである。パルス信号により情報の伝
達を行う場合、増幅及び減衰はパルス信号の振幅変調、
パルス幅変調、位相変調、周波数変調のいずれによって
も実現することができる。本実施形態においては、シナ
プス結合手段Ｓは、主にパルスの位相変調素子として用
い、信号の増幅は、特徴に固有な量としてのパルス到着
時間の実質的な進み、減衰は実質的な遅れとして変換さ
れる。即ち、シナプス結合は後述するように出力先のニ
ューロンでの特徴に固有な時間軸上の到着位置(位相)を
与え、定性的には興奮性結合は、ある基準位相に対する
到着パルスの位相の進みを、抑制性結合では同様に遅れ
を与えるものである。

【００４９】図２（Ａ）において、各ニューロン素子n_j
は、パルス信号（スパイクトレイン）を出力し、後述す
る様ないわゆるintegrate-and-fire型のニューロン素子
を用いている。なお、図２（C）に示すように、シナプ
ス結合手段とニューロン素子とを、それぞれまとめて回
路ブロックを構成してもよい。

【００５０】ニューロン素子 先ず、各特徴検出層を構成するニューロン素子について
説明する。各ニューロン素子はいわゆるintegrate-and-
fireニューロンを基本として拡張モデル化したもので、
入力信号（アクションポテンシャルに相当するパルス
列）を時空間的に線形加算した結果が閾値を越したら発
火し、パルス状信号を出力する点ではいわゆるintegrat
e-and-fireニューロンと同じである。特徴検出層（１、
ｋ＋１）の画像特徴部ニューロン素子は、入力として、
特徴統合層（２、ｋ）のニューロン素子からの出力及び
前段の特徴検出層（１、ｋ）の音声特徴部ニューロンか
らの出力の双方を受ける。後者は、特徴検出層の画像特
徴部ニューロン素子の動特性に関与するもので、ここで
は、時間窓積分における時間窓発生タイミングを与え、
また、ニューロン素子の発火閾値を調節する。

【００５１】一方、特徴統合層のニューロン素子として
は、以下に示すような時間窓関数による積分特性を有し
ないタイプ、即ち従来のIntegrate-and-fireニューロン
を用いればよい。

【００５２】図２（Ｂ）は、ニューロン素子に用いられ
るパルス発生回路（Integrate-and-fire回路）の動作原
理を表す基本構成の一例を示し、公知の回路(IEEE Tran
s. on Neural Networks Vol. 10, pp.540)を拡張したも
のである。ここでは、３種類の入力、即ち、画像特徴部
からの興奮性入力、抑制性の入力、及び、ペースメーカ
ニューロン若しくは音源定位検出ニューロンからの入力
を受けるものとして構成されている。３番目の入力信号
は後述する時間窓の発生及び重み付き積分特性を制御す
るためのものである。

【００５３】以下、CMOS回路であるIntegrate-and-fire
回路の動作原理について説明する。興奮性入力側のキャ
パシタC₁及び抵抗Ｒ_１回路の時定数は、キャパシタＣ_２
及び抵抗Ｒ_２回路の時定数より小さく、定常状態では、
トランジスタT₁,T₂,T₃は遮断されている。なお、抵抗は
実際には、能動負荷たるトランジスタで構成される。

【００５４】キャパシタC₁の電位が増加し、キャパシタ
C₂のそれよりトランジスタＴ_１の閾値だけ上回ると、Ｔ
_１はアクティブになり、更にトランジスタＴ_２，Ｔ_３を
アクティブにする。トランジスタＴ_２，Ｔ_３は、電流ミ
ラー回路を構成し、図２（Ｂ）の回路の出力は、不図示
の出力回路によりキャパシタC₁側から出力される。キャ
パシタＣ_２の電荷蓄積量が最大となるとトランジスタＴ
_１は遮断され、その結果としてトランジスタＴ_２及びＴ
_３も遮断され、上記正のフィードバックは０となる様に
構成されている。

【００５５】いわゆる不応期には、キャパシタＣ_２は放
電し、Ｃ_１の電位がＣ_２の電位よりＴ_１の閾値分より大
とならない限り、ニューロンは応答しない。キャパシタ
C₁,C ₂の交互充放電の繰り返しにより周期的なパルスが
出力され、その周波数は一般的には興奮性入力のレベル
に対応してきまる。但し、不応期が存在することによ
り、最大値で制限されるようにすることもできるし、一
定周波数を出力するようにもできる。

【００５６】ニューロン素子でのパルス信号積分特性を
制御する役割をもつのが、時間窓重み関数発生回路であ
る。この回路によりキャパシタの電位（及び電荷蓄積
量）は時間的に制御される。この制御特性を反映するの
が、入力パルスに対する後述の時間窓内での重み付き加
算である（図７参照）。この基準電圧制御回路は、特徴
検出層の音声特徴検出部のニューロンからのパルス信号
出力、及び後述するペースメーカニューロンからの入力
タイミング（又は、後続層のニューロンとの相互結合入
力）に基づき、基準電圧信号（図７（Ｂ）の重み関数に
相当）を発生する。

【００５７】抑制性の入力は本実施形態においては必ず
しも要しない場合があるが、後述するペースメーカニュ
ーロンから特徴検出層ニューロンへの入力を抑制性とす
ることにより、出力の発散（飽和）を防ぐことができ
る。

【００５８】一般的に、入力信号の上記総和と出力レベ
ル（パルス位相、パルス周波数、パルス幅など）の関係
は、そのニューロンの感度特性によって変化し、また、
その感度特性は上位層からのトップダウンの入力により
変化させることができる。以下では、説明の便宜上、入
力信号総和値に応じたパルス出力の周波数は急峻に立ち
上がるように回路パラメータが設定されているものとし
（従って周波数ドメインでは殆ど２値）、パルス位相変
調により、出力レベル（位相変調を与えたタイミングな
ど）が変動するものとする。また、パルス位相の変調手
段としては、後述する図５に示すような回路を付加して
用いてもよい。

【００５９】特徴統合層内の画像特徴部及び音声特徴部
ニューロンからの出力により、時間窓内の重み関数で上
記基準電圧が制御される結果、特徴検出層ニューロンか
らの出力特性（例えばパルス出力の位相）が変化する。
位相変調がなされる場合には、この位相をニューロンの
出力レベルとして用いることができる。

【００６０】シナプス結合でパルス位相変調を受けたパ
ルスについての時間的積分特性（受信感度特性）を与え
る図７（Ｂ）に示すような重み関数の極大値に相当する
時刻τ_w1は、一般的にシナプス結合で与えられる特徴に
固有なパルスの到着予定時刻τ_siより時間的に早く設定
される。その結果、到着予定時刻より一定範囲で早く
（図７（Ｂ）の例では、早すぎて到着するパルスは減衰
される）到着するパルスは、それを受け取るニューロン
では、高い出力レベルを持ったパルス信号として時間的
に積分される。重み関数の形状はガウシアン等の対称形
に限らず、非対称形状であってもよい。

【００６１】また、ニューロン出力（シナプス前）の位
相は、後述するように時間窓の始期を基準とし、その基
準時からの遅れ（位相）は基準パルス（ペースメーカ出
力その他による）を受けた時の電荷蓄積量により決まる
ような出力特性を有する。このような出力特性を与える
回路構成の詳細については、本発明の主眼とする所では
ないので省略する。シナプス後のパルス位相は当該シナ
プスにより与えられる固有の位相変調量にシナプス前の
位相を加算したものとする場合、シナプス荷重に相当す
る量をシナプス前の信号に乗算するような演算は、後述
する時間窓重み関数によって与えられる。

【００６２】なお、窓関数などを用いることにより得ら
れる入力の総和値が閾値を越えたときに、所定タイミン
グ遅れて発振出力を出すような公知回路構成を用いても
よい。

【００６３】ニューロン素子の構成としては、特徴検出
層または特徴統合層に属するニューロンであって、後述
するペースメーカニューロン出力タイミングに基づき発
火パターンが制御される場合には、ペースメーカニュー
ロンからのパルス出力を受けた後、当該特徴検出ニュー
ロンが前段の層の局所受容野から受ける入力レベル（上
記の入力総和値）に応じた位相遅れをもってパルス出力
するような回路構成であればよい。この場合、ペースメ
ーカニューロンからのパルス信号を入力する前では、入
力レベルに応じて各ニューロンは互いにランダムな位相
でパルス出力する過渡的な遷移状態が存在する。

【００６４】一般的には隣接する特徴検出層ニューロン
は、その前段の層（特徴統合層など）に対する各受容野
が重複し、その場合には後述するように特徴検出層ニュ
ーロンに付随するペースメーカニューロンはその特徴検
出層ニューロンと同一の受容野を有するので、隣接する
ペースメーカニューロン間の直前の層に対する受容野構
造も互いに重複する。従って、所定の特徴検出層ニュー
ロンのある受容野に属する特徴統合層ニューロンは同時
に複数の特徴検出層ニューロンの受容野に属するという
ことがおこる。後述するように特徴統合層ニューロンは
後段の層のペースメーカニューロンからのタイミング信
号も受けるので、この場合には複数のペースメーカニュ
ーロンからのタイミング制御信号を受けることになる。

【００６５】後述する特徴検出層ニューロンでの時間窓
内でのパルス信号の積分が正しく行われるようにするた
めに、複数のタイミング制御信号を受ける場合にも特徴
統合層ニューロンから特徴検出層ニューロンへのパルス
信号の流れが適正に行われるように時間窓発生のタイミ
ングが設定される。

【００６６】このために、前段の特徴検出層の音声特徴
部ニューロンからのパルス信号出力及びペースメーカニ
ューロンからのタイミング制御信号出力を基準とし、こ
れに所定の時間幅内で位相同期するように出力パルスの
発火タイミングの制御がなされるような回路構成を用い
ている（詳しくはパターン検出の動作原理の説明箇所を
参照のこと）。

【００６７】特徴検出層のニューロンは前述したように
特徴カテゴリに応じた受容野構造を有し、前段の層（入
力層または特徴統合層）のニューロンからの入力パルス
信号（電流値または電位）の時間窓関数による荷重総和
値(後述)が閾値以上となったとき、その総和値に応じ
て、例えばシグモイド関数等の一定レベルに漸近的に飽
和するような非減少かつ非線形な関数、即ちいわゆるsq
uashing関数値をとるような出力（ここでは位相変化で
与える；周波数、振幅、パルス幅基準での変化となる構
成でもよい）でパルス出力を行う。

【００６８】シナプス回路等 図４は、シナプス回路手段S_iにおいてニューロンn_iの結
合先である各ニューロンn'_jへのシナプス結合強度（位
相遅延等に関する変調の大きさを意味する）を与える各
小回路がマトリクス的に配置されていることを示す。

【００６９】ネットワークが結合荷重の共有結合形式
（１の重み係数分布で異なるニューロンのシナプス結合
荷重分布を同一に表す場合）になるような構成をとる場
合には、各シナプスでの遅延量（下記のＰ_ij）を図３の
場合と違って同一受容野内で一様とすることができる場
合がある。例えば、特徴検出層から特徴統合層への結合
は、特徴統合層がその前段の層である特徴検出層出力の
局所平均化（ただし、一様重み付けとする）によるサブ
サンプリングを行う場合には、検出対象によらず（即
ち、課題によらず）このように構成することができる。

【００７０】この場合、図４の（Ａ）の各小回路401
は、図４の（Ｃ）のように、単一の回路S_k,iで済み、特
に経済的な回路構成となる。一方、特徴統合層（または
センサ入力層）から特徴検出層への結合がこのようにな
っている場合、特徴検出ニューロンが検出するのは、複
数の異なる特徴要素を表すパルスの同時到着(或いは、
略同時到着)という、イベントである。

【００７１】図４の（Ｂ）に示すように各シナプス結合
小回路401は、学習回路402と位相遅延回路403とからな
る。学習回路402は、位相遅延回路403の特性を変化させ
ることにより、上記遅延量を調整し、また、その特性値
（或いはその制御値）を浮遊ゲート素子、或いは浮遊ゲ
ート素子と結合したキャパシタ上に記憶するものであ
る。位相遅延回路403はパルス位相変調回路であり、例
えば、図５（Ａ）に示すような単安定マルチバイブレー
タ506、507及び、抵抗501、504、キャパシタ503、505、
トランジスター502を用いた構成がある。図５（Ｂ）は
単安定マルチバイブレータ506へ入力された方形波P₁(図
５（Ｂ）[1])、単安定マルチバイブレータ506から出力
される方形波P₂(同[2])、単安定マルチバイブレータ507
から出力される方形波P₃(同[3])の各タイミングを表し
ている。

【００７２】位相遅延回路403の動作機構の詳細につい
ては説明を省略するが、Ｐ１のパルス幅は、充電電流に
よるキャパシタ503の電圧が予め定められた閾値に達す
るまでの時間で決まり、Ｐ_２の幅は抵抗504とキャパシ
タ505による時定数で決まる。Ｐ_２のパルス幅が（図５
の（Ｂ）の点線方形波のように）広がって、その立ち下
がり時点が後にずれるとＰ_３の立ち上がり時点も同じ量
ずれるが、Ｐ_３のパルス幅は変わらないので、結果的に
入力パルスの位相だけが変調されて出力されたことにな
る。

【００７３】制御電圧Ecを基準電圧のリフレッシュ回路
509と結合荷重を与えるキャパシタ508への電荷蓄積量制
御を行う学習回路402で変化させることにより、パルス
位相（遅延量）を制御することができる。この結合荷重
の長期保持のためには、学習動作後に図５の（Ａ）の回
路の外側に付加される浮遊ゲート素子（図示せず）のチ
ャージとして、或いはデジタルメモリへの書き込み等を
行って結合荷重を格納してもよい。その他回路規模を小
さくなるように工夫した構成（例えば、特開平５−３７
３１７号公報、特開平１０−３２７０５４号公報参照）
など周知の回路構成を用いることができる。

【００７４】パルスの同時到着、或いは所定の位相変調
量を実現するシナプスでの学習回路の例としては、図５
の（Ｃ）に示すような回路要素を有するものを用いれば
よい。即ち、学習回路402をパルス伝播時間計測回路510
（ここで、伝播時間とは、ある層のニューロンの前シナ
プスでのパルス出力時刻と次の層上にある出力先ニュー
ロンでの当該パルスの到着時刻との時間差をさす）、時
間窓発生回路511、及び伝播時間が一定値となるように
シナプス部でのパルス位相変調量を調整するパルス位相
変調量調整回路512から構成できる。

【００７５】伝播時間計測回路510としては、後述する
ような同一局所受容野を形成するペースメーカーニュー
ロンからのクロックパルスを入力し、所定の時間幅（時
間窓：図３の（Ｂ）参照）において、そのクロックパル
スのカウンター回路からの出力に基づき伝播時間を求め
るような構成などが用いられる。なお、時間窓は出力先
ニューロンの発火時点を基準として設定することによ
り、以下に示すような拡張されたHebbの学習則が適用さ
れる。

【００７６】特徴検出層(1,0)画像特徴検出部での処理 特徴検出層(１,０)には、局所的な、ある大きさの領域
で所定の空間周波数を持ち、方向成分が垂直であるよう
なパターンの構造（低次特徴）を検出するのニューロン
があるとすると、データ入力層１上のN1の受容野内に該
当する構造が存在すれば、そのコントラストに応じた位
相でパルス出力する。このような機能はGabor filterに
より実現することができる。以下、特徴検出層(１,０)
の各ニューロンが行う特徴検出フィルタ機能について説
明する。

【００７７】特徴検出層(１,０)では、多重スケール、
多重方向成分のフィルタセットで表されるGaborウエー
ブレット変換を行うものとし、層内の各ニューロン（ま
たは複数ニューロンからなる各グループ）は、所定の G
aborフィルタ機能を有する。特徴検出層では、スケール
レベル（解像度）が一定で方向選択性の異なる複数のGa
bor関数の畳み込み演算カーネルに対応する受容野構造
を有するニューロンからなる複数のニューロン集団を一
まとめにして一つのチャネルを形成する。

【００７８】なお、Gabor wavelet変換を神経回路網で
行う方法の詳細については、Daugman(1988)による文献
（IEEE Trans. on Acoustics, Speech, and Signal Pro
cessing, vol.36, pp.1169-1179）を参照されたい。

【００７９】特徴検出層１０の各ニューロンは、g_mnに
対応する受容野構造を有する。同じスケールインデック
スｍを有するg_mnは同じサイズの受容野を有し、演算上
は対応するカーネルg_mnサイズもスケールインデックス
に応じた大きさを有するようにしてある。ここでは、最
も粗いスケールから順に入力画像上の３０ｘ３０、１５
ｘ１５、７ｘ７のサイズとした。各ニューロンは、分布
重み係数と画像データとの積和入力を行って得られるウ
エーブレット変換係数値の非線型squashing関数となる
出力レベル（ここでは位相基準とする；但し、周波数、
振幅、パルス幅基準となる構成でもよい）でパルス出力
を行う。この結果、この層（１,０）全体の出力とし
て、Gabor wavelet変換が行われたことになる。

【００８０】特徴検出層での処理（中次、高次特徴抽
出） 後続の特徴検出層（(１,１)、(１,２)、・・・）の画像特
徴検出部では、中次から高次の画像特徴を入力画像上の
所定サンプリング位置で検出する。各ニューロンは、上
記特徴検出層(1,0)とは異なり、検出すべき特徴パター
ンに固有の受容野構造をいわゆるHebb学習則等により形
成する。後の層ほど特徴検出を行う局所的な領域のサイ
ズが認識対象全体のサイズに段階的に近くなり、幾何学
的には中次または高次の特徴を検出する。例えば、顔の
検出認識を行う場合には中次（または高次）の特徴とは
顔を構成する目、鼻、口等の図形要素のレベルでの特徴
を表す。なお、特徴検出層ニューロンは一般的に(低
次、高次特徴抽出に依らず)、出力の安定化のために抑
制性(分流型抑制：shunting inhibition)の結合を前段
の層出力に基づいて受けるような機構を有してもよい。

【００８１】特徴統合層（画像特徴部）での処理 特徴統合層（(２,０)、(２,１)、・・・）のニューロンに
ついて説明する。図１に示すごとく特徴検出層（例えば
(１,０)）から特徴統合層(例えば(２,０))への結合は、
当該特徴統合ニューロンの受容野内にある前段の特徴検
出層の同一特徴要素（タイプ）のニューロンから興奮性
結合の入力及び後述するペースメーカニューロン出力(P
N_out1)をともに図２（Ｂ）の興奮性入力側で受けるよう
に構成され、統合層のニューロンの機能は前述したごと
く、特徴カテゴリごとの局所平均化、最大値検出その他
のサブサンプリング等である。

【００８２】前者によれば、複数の同一種類の特徴に関
するパルスを入力し、それらを局所的な領域（受容野）
で統合して平均化する（或いは、受容野内での最大値等
の代表値を算出する）ことにより、その特徴の位置のゆ
らぎ、変形に対しても確実に検出することができる。こ
のため、特徴統合層ニューロンの受容野構造は、特徴カ
テゴリによらず一様（例えば、いずれも所定サイズの矩
形領域であって、かつ感度または重み係数がその中で一
様分布するなど）となるように構成してよい。

【００８３】特徴統合層(画像特徴部)でのパルス信号処
理 このように本実施形態では、特徴統合細胞は、その前の
層番号(1,k)の特徴検出層上のペースメーカニューロン
からのタイミング制御は受けるようには、構成していな
い。なぜならば、特徴統合細胞においては、入力パルス
の到着時間パターンではなく、むしろ一定の時間範囲で
の入力レベル（入力パルスの時間的総和値など）によっ
て決まる位相（周波数、パルス幅、振幅のいずれかが依
存してもよいが、本実施形態では位相とした）でのパル
ス出力をするため、時間窓の発生タイミングは余り重要
ではないからである。なお、このことは、特徴統合細胞
が前段の特徴検出層のペースメーカニューロンからのタ
イミング制御を受ける構成を排除する趣旨ではなく、そ
のような構成も可能であることはいうまでもない。

【００８４】パターン検出の動作原理 次に、２次元図形パターンのパルス符号化と検出方法
（注視対象及び注視方向の検出）について説明する。図
３は、特徴統合層から特徴検出層への（例えば、図１の
層(２,０)から層(１,１)への）パルス信号の伝播の様子
を模式的に示したものである。特徴統合層側の各ニュー
ロンn_iは、それぞれ異なる特徴量（或いは特徴要素）に
対応し、特徴検出層側のニューロンn'_jは、同一受容野
内の各特徴を組み合わせて得られる、より高次の特徴
（図形要素）の検出に関与する。

【００８５】各ニューロン間結合には、パルスの伝播時
間とニューロンn_iからニューロンn' _jへのシナプス結合
（Ｓ_j,i）での時間遅れ等による固有（特徴に固有）の
遅延が生じ、その結果としてニューロンn'_jに到着する
パルス列P_iは、特徴統合層の各ニューロンからパルス出
力がなされる限り、学習によって決まるシナプス結合で
の遅延量により、所定の順序（及び間隔）になっている
(図３（Ａ）では、P₄,P₃,P₂,P₁の順に到着するように示
されている)。

【００８６】図３（Ｂ）は、後述するペースメーカニュ
ーロン及び特徴検出層（１，１）の音声特徴部ニューロ
ンからのタイミング信号を用いて時間窓の同期制御を行
う場合において、タイミング信号と特徴統合層ニューロ
ン出力の間の位相同期がとれた後についての層番号（2,
k）上の特徴統合細胞n_１、n_２、n_３（それぞれ異なる種
類の特徴を表す）から、層番号（1,k+1）上のある特徴
検出細胞(n'_j)（より上位の特徴検出を行う）へのパル
ス伝播のタイミング等を示す。

【００８７】図６においてペースメーカニューロンn
_pは、同一の受容野を形成し、かつ異なる種類の特徴を
検出する特徴検出ニューロン（n_j,n_k等）に付随し、そ
れらと同一の受容野を形成して、特徴統合層（または入
力層）からの興奮性結合を受ける。また、ペースメーカ
ニューロンからの出力はかかる特徴統合層ニューロンの
興奮性入力へも出力されるため、特徴統合層ニューロン
群とペースメーカニューロン間での（ループ状の）相互
結合が存在する。また、ペースメーカニューロンは音源
定位検出ニューロンからの入力を受けることにより後述
するタイミングパルス信号の出力タイミングが変調され
る。

【００８８】ペースメーカニューロンは、その入力の総
和値（或いは受容野全体の活動度レベル平均値など、受
容野全体に固有の活動特性を表す状態に依存するように
制御するため）によって決まる所定のタイミングで入力
パルス信号に位相同期するようにパルス出力を行う。こ
のためには図１２（Ａ）に示すように、ペースメーカニ
ューロン回路としては、前述したニューロン素子回路
（図２（Ｂ））においてペースメーカ入力を位相同期検
出窓信号入力とし、抑制性入力を一定時間範囲で特徴統
合ニューロンからのパルス入力がある限り入力される定
常入力としたもの（図１２（Ｂ））に位相同期検出及び
制御回路７が付加されている。

【００８９】位相同期検出及び制御回路７は、ニューロ
ン素子回路（図１２（Ｂ））からの出力パルス（図１２
（Ａ）のPN_out2,pre）と前段の層である特徴統合層ニュ
ーロンからの複数のパルスを入力し、後述する位相同期
検出窓の開始時刻を基準とする特徴統合層ニューロンか
らのパルス信号の各位相（以下、Ｐ_Ｉと記載する）に応
じたパルス信号出力（図１４のPN_2,out1、及び図１２
（Ａ）のPN_out1）、即ち、複数の特徴統合層ニューロン
からの入力パルスについての位相Ｐ_Ｉのアンサンブル平
均値に関する時間的変動幅（ペースメーカ出力間隔でき
まる所定時間幅（図１４のＴ）について）が基準値以下
となり所定値に収束するように、ペースメーカニューロ
ン出力（PN_out1）の位相を調節して特徴統合層ニューロ
ンに出力する。以下その詳細を説明する。

【００９０】図１２（Ａ）の位相同期検出及び制御回路
1302は、図１２（Ｃ）に示すように位相同期検出窓信号
発生回路1304及びパルス信号（PN_out1）発生回路1303、
及び制御回路1305とから構成され、位相同期検出窓信号
発生回路1304からは所定幅のパルス信号がニューロン素
子回路1301に対して出力される。ニューロン素子回路で
は、このパルス信号がＯＮのときだけ特徴統合層ニュー
ロン等からの入力パルス信号の時間的積分が行われ、所
定閾値以上のときにパルス信号（図１２（Ａ）のPN
_out2,pre）を出力する。

【００９１】制御回路1305中の同期検出信号誘起回路13
06は、このパルス信号PN_out2,preの入力が所定時間幅内
にあれば、PN_out2発生回路1308に出力を促す信号Ｓ_ｐを
出力し続け、同PN_out2発生回路1308からは同期検出信号
パルス（以下の説明のPN_{2,ou t2}）が特徴検出層ニューロ
ンに出力される。

【００９２】PN_out2発生回路1308としては、このPN_out2
信号とパルス信号（PN_out1）とが（同期確立後は）ほぼ
同位相となるように閾値処理回路からの出力に応じてス
イッチＯＮ／ＯＦＦを行うスイッチ回路、或いはパルス
信号（PN_out1）に一定の遅延を与える遅延回路などによ
り構成される。また、収束判定回路1307は、以下に説明
するPN_out1の出力タイミング制御を行う際の収束判定を
行う回路である。

【００９３】次に、PN_2,out1を受けた後の特徴統合層ニ
ューロンの動作について説明する。ペースメーカニュー
ロンに同期する前の特徴統合層ニューロンの出力は、特
徴統合層でのパルス信号処理につき、前述した通りであ
り、ペースメーカニューロンからの出力パルス（PN
_2,out1）を受けない限り、前段の特徴検出層からのパル
ス信号の積分値が所定基準値（閾値）を越えた時にパル
ス出力を行う一方、（複数の）PN_out1を受けた後は統合
層ニューロンからの出力タイミングは、前回のパルス出
力から所定時間幅内において、ペースメーカニューロン
からの入力パルスを加えた積分値が閾値を越す時間がそ
の出力タイミングとなる。なお、特徴統合層ニューロン
から特徴検出層ニューロンへの出力は後述するように図
１５のシナプス結合回路を介して行われる。

【００９４】図１３は、前述したようにペースメーカニ
ューロン（PN）および音源定位検出ニューロン（SD）を
介した前後の特徴統合層ニューロンと特徴検出層ニュー
ロンとの結合の関係を模式的に表したものである。ここ
に、ペースメーカニューロンＰＮ₂は特徴検出層ニュー
ロンＮ'_２Ｄに付随し、直接の入力を受ける特徴統合層
に対してＮ'_２Ｄと同じ受容野に属する特徴統合層ニュ
ーロン(N_1I, ・・・,N_4I)からの入力を受ける。同様にして
ペースメーカニューロンＰＮ₃は特徴検出層ニューロン
Ｎ'_3Ｄに付随し、直接の入力を受ける特徴統合層に対し
てＮ'_3Ｄと同じ受容野に属する特徴統合層ニューロン(N
_3I, ・・・,N_6I)からの入力を受ける。

【００９５】Ｎ_１Ｉへの入力は無く、N_2IからN_4Iへの入
力は強く、また、N_5I,N_6Iへの入力は弱いものとする。
ペースメーカニューロンと特徴統合層ニューロン間は相
互結合を、また後続の特徴検出層ニューロンに対しては
ペースメーカニューロンからの一方向に信号が流れる結
合をなしている。

【００９６】また、ペースメーカニューロン（どの特徴
検出層に属するかを問わず）は、特徴検出層（１，１）
の音源定位検出ニューロンからの信号（後述する同期ク
ラスタの生成促進のため、パルス幅が位相同期検出窓の
生成周期Tよりも小さく、かつ位相同期検出窓の時間幅
より充分大きいものとする）も受ける。

【００９７】特徴統合層ニューロンから特徴検出層ニュ
ーロンへの結合は図１（Ｃ１）では、点線で示してある
（シナプス結合は省略）。また、かかる結合によりパル
ス信号が伝達するためには、ペースメーカニューロンか
らの所定のパルス出力（以下のPN_2,out2）があったとき
のみとするために、該当するパルス出力があったときだ
け開くゲート回路（またはスイッチ回路）をシナプス結
合回路の出力側に設定してある。図１５にこの構成の概
要を示す。なお、PN_2,out1とPN_2,out2は、ともに位相同
期検出回路からのパルス出力である。

【００９８】ペースメーカニューロン（ＰＮ）に特徴統
合層ニューロン（Ｎ_ｊＩ）からのパルス信号を入力する
際に、特徴統合層ニューロンからの少なくとも一つのパ
ルス入力、又は、音源定位検出ニューロン（SD）からの
パルス入力があった後、所定の周期（Ｔ）でごく短い時
間幅の時間窓（図１４の位相同期検出窓）信号を位相同
期検出及び制御回路７から発生し、ペースメーカニュー
ロン素子回路はその時間窓においてのみパルス信号（特
徴統合層ニューロン出力及び音源定位検出ニューロン出
力）を入力するように構成する。

【００９９】このようにして、画像特徴検出部の特徴検
出ニューロンに固有の所定特徴の存在すると推定される
局所領域のみならず音声特徴から得られる音源方向(位
置)と推定される局所領域での(画像)特徴の検出に関与
するペースメーカニューロンの活動が開始され、また該
当する局所領域での特徴検出ニューロンの発火閾値が減
少する結果、検出予定の被写体の存在領域を高速に絞り
込むように階層構造をもった神経回路網の局所部分での
活動度が高まる。また、このとき、位相同期検出及び制
御回路７からPN_2,out1のパルス出力が以下に説明するタ
イミング制御方式に従って特徴統合層ニューロンに対し
てなされる。

【０１００】この位相同期検出窓での入力パルス信号の
時間的積分値が、所定の閾値より高く、かつPN_out2,pre
の位相が前述したように所定時間幅内にあれば、パルス
信号出力（PN_2,out2の出力パルス）が位相同期検出及び
制御回路７から特徴統合層ニューロン及び特徴検出層ニ
ューロンに対してあり、このパルス信号（PN_2,out2）入
力があったときに、特徴統合層ニューロンからの出力パ
ルス信号は、シナプス結合回路で位相変調などの変調処
理を受けて次の特徴検出層に伝播し、特徴検出層ニュー
ロンでは特徴統合層ニューロンからのシナプス結合を経
由したパルス信号の時間的積分が図１４に示す時間軸積
分窓の範囲内で行われる。なお、同期検出後のPN_2,out1
とPN_2,out2とのタイミングは固定であり、ここでは図３
（Ｂ）との整合をとるために遅延なしとする。

【０１０１】図１４は、図１３に対応する各ニューロン
のパルス出力タイミングを表す。ペースメーカニューロ
ンは、そのパルス出力（PN_out1）タイミングをその位相
同期検出窓の開始時刻を基準として以下に示す変調規則
に従ってタイミングパルス（PN_2,out1）の出力位相（２
πＴ_ｐi／Ｔ）を変調する。ここに、T_piのインデクスi
は、i番めの変調に係るパルス出力タイミングであるこ
とを表す。図１（Ｄ）では画像の呈示後、最初のペース
メーカニューロン出力（PN_2,out1）があった後からT_p1+
T_p2の時間（遷移時間）経過後に同期確立が位相同期検
出窓内でのパルス積分値が所定値以上となったことによ
り検出され、第２の出力（PN_2,out2）がなされる。な
お、最初のPN_2,out1は、位相同期検出窓と同じタイミン
グで出力され、また、T'は最初の同期検出後にタイミン
グ信号（PN_2,out1）が発生するまでの時間で固定値と
し、最初の同期検出後の位相同期した定常状態ではT'は
存在しないようにPN_2,out2出力は制御されるものとす
る。

【０１０２】ここで時間窓の発生周期により正規化され
るペースメーカニューロンの出力位相をＰ_ｐ（＝２πＴ
_ｐ／Ｔ）で表し、また、時刻ｔ（時間窓発生周期Ｔを単
位とする離散時間）での複数の特徴統合層ニューロンか
らのパルス信号の位相Ｐ_Ｉのアンサンブル平均を<Ｐ_Ｉ>
_ｔ（例えば、統合層ニューロンn_Iからの出力パルスの時
刻ｔでの位相をP_I(t)とすると、

【外１】

【０１０３】となる。ここにＮは入力を行う特徴統合層
ニューロン数である）とする。その所定時間幅あたりの
時刻ｔでの変動幅をΔ＜Ｐ_Ｉ＞_ｔとおき、αを１未満の
正定数とすると、ペースメーカニューロン（ＰＮ）から
出力されるタイミングパルスの位相変調量ΔＰ_ｐは、例
えば以下のように表される。

【０１０４】ΔＰ_ｐ（ｔ＋１） ＝ -αＰ_ｐ（ｔ）[Δ＜
Ｐ_Ｉ＞_ｔ／ΔＰ_ｐ（ｔ）] 他の位相変調方式としては、 ΔＰ_ｐ（ｔ＋１） ＝ −α（Ｐ_ｐ（ｔ）− ＜Ｐ
_Ｉ＞_ｔ） ここに、時刻ｔ＋１は便宜上離散時間で表したものであ
り、特徴検出層ニューロンからの少なくとも一つパルス
入力があった時刻ｔから単位離散時間経過後の時刻を示
す。 この式によれば、直前の位相制御量の単位変化量
に対応するΔ＜Ｐ_Ｉ＞に比例する因子で逆向きにＰ_ｐを
制御している。

【０１０５】このような変調を行ってPN_out1の位相が変
わることにより、統合層ニューロン出力のタイミングが
変わり、位相同期検出窓内に入る統合層ニューロン出力
が所定値以上になるように作用する。

【０１０６】なお、統合層ニューロンからのパルス位相
の変動が小さくなるようにペースメーカニューロンから
の出力パルスの位相を変調するものであれば他の変調方
式を用いてもよいことは言うまでもない。収束の判定
は、特徴統合層ニューロンからのパルス信号の位相のバ
ラツキ（例えば、分散）がペースメーカューロンの発生
する時間窓（位相同期検出窓）の時間幅相当以下となっ
たか否かに基づき位相同期検出及び制御回路７の収束判
定回路1307（図１２（Ｃ））において行い、収束判定さ
れたらPN_out1出力回路1308に位相変調を停止させる信号
を送る。

【０１０７】このような調整を各ペースメーカニューロ
ンにおいて行うことにより、一つのペースメーカニュー
ロンと前層特徴統合層ニューロンとの位相同期ばかりで
なく、ペースメーカニューロン群と特徴統合層ニューロ
ン群の同期クラスタが形成される。即ち、重複受容野部
分にあたる統合層ニューロンには、このように互いに同
期したペースメーカニューロン群からのタイミング信号
が入力される。

【０１０８】その前提条件として、特徴統合層ニューロ
ンへのペースメーカニューロンからのパルス出力レベル
（例えばパルス幅）は、以下に示す同期確立の検出まで
は、他の入力成分である特徴検出層ニューロンからのパ
ルスの出力レベル（同様に例えばパルス幅）よりも大き
く、従って各特徴統合（検出）層ニューロンでのパルス
信号の時間的積分値（電流ベース）への相対的寄与が大
きいとする。

【０１０９】なお、上述した同期確立状態においては、
音源定位検出ニューロンとペースメーカニューロンと
は、音源定位検出ニューロンからの出力のパルス幅(充
分大きいものとする)の範囲で概ね同期がとれている。

【０１１０】次にペースメーカニューロン群内での同期
確立過程について説明する。同期確立までの間は、例え
ば異なる特徴統合層ニューロンからのパルス信号の位相
のバラツキ（アンサンブル平均の変動量）Δ＜Ｐ_Ｉ＞が
大きくなるような変化に対しては、各特徴統合層ニュー
ロンからのパルス出力の位相差が小さくなるようにペー
スメーカニューロン出力（PN_out1）の各位相をそれぞれ
ΔＰ_ｐの変調式により更新する。

【０１１１】例えば、時刻ｔでのペースメーカニューロ
ンＰＮ１，ＰＮ２の各出力（PN_out1）の位相をＰ
_ｐ１（ｔ）、Ｐ_ｐ２（ｔ）とすると、変調後の各出力の
位相差δＰ(t)（＝Ｐ_ｐ2（ｔ）―Ｐ_ｐ1（ｔ））は、 δＰ（ｔ＋１）＝δＰ（ｔ）［１― αΔ＜Ｐ_Ｉ＞ｔ／
ΔＰ_ｐ（ｔ）］ 或いは、前述した他の変調方式では、 δＰ_ｐ（ｔ＋１）＝−α（Ｐ_ｐ（ｔ）−＜Ｐ_Ｉ＞_ｔ） のように表される。従って前者の位相差では、αΔ＜Ｐ
_Ｉ＞ｔ／ΔＰ_ｐ（ｔ）が１未満の正数となるようにΔＰ
_ｐ（ｔ）を位相同期検出及び制御回路７が変調すればペ
ースメーカニューロン間出力の位相差はゼロに収束す
る。以上で局所タイミング信号の制御についての説明を
終わる。

【０１１２】再び図３において、特徴検出ニューロンで
は、ペースメーカニューロンからの入力がある前は後述
する時間窓積分は行われず、ペースメーカニューロンか
らのパルス入力をトリガーとして、同積分が行われる。

【０１１３】ここに、時間窓（図１４に示す位相同期検
出窓である前記ペースメーカニューロンの時間窓とは異
なる）は特徴検出細胞(n'_i)ごとに定められ、当該細胞
に関して同一受容野を形成する特徴統合層内の各ニュー
ロンおよび、ペースメーカニューロンに対して共通であ
り、時間窓積分の時間範囲を与える。

【０１１４】層番号(1,k)にあるペースメーカニューロ
ンは（ｋは自然数）、パルス出力を層番号(2,k-1)の各
特徴統合細胞、及びそのペースメーカニューロンが属す
る特徴検出細胞（層番号(1,k)）に出力することによ
り、特徴検出細胞が時間的に入力を加算する際の時間窓
発生のタイミング信号を与えている。この時間窓の開始
時刻が各特徴統合細胞から出力されるパルスの到着時間
を図る基準時となる。即ち、ペースメーカニューロンは
特徴統合細胞からのパルス出力時刻、及び特徴検出細胞
での時間窓積分の基準パルスを与える。

【０１１５】各パルスは、シナプス回路を通過すると所
定量の位相遅延が与えられ、更に共通バスなどの信号伝
達線を通って特徴検出細胞に到着する。パルスの時間軸
上の並びを、特徴検出細胞の時間軸上において点線で表
したパルス（Ｐ_１，Ｐ_２，Ｐ _３）により示す。

【０１１６】特徴検出細胞において各パルス（Ｐ_１，Ｐ
_２，Ｐ_３）の時間窓積分(通常、一回の積分とする；但
し、多数回に渡る時間窓積分による電荷蓄積、または多
数回に渡る時間窓積分の平均化処理を行ってもよい)の
結果、閾値より大となった場合には、時間窓の終了時刻
を基準としてパルス出力（Ｐ_ｄ）がなされる。なお、同
図に示した学習時の時間窓とは、後で説明する学習則を
実行する際に参照されるものである。

【０１１７】パルス出力の時空間的統合及びネットワー
ク特性 次に入力パルスの時空間的重み付き総和（荷重和）の演
算について説明する。図７（B）に示すごとく、各ニュ
ーロンでは、上記サブ時間窓(タイムスロット)毎に所定
の重み関数（例えばGaussian）で入力パルスの荷重和が
とられ、各荷重和の総和が閾値と比較される。τ_jはサ
ブ時間窓ｊの重み関数の中心位置を表し、時間窓の開始
時刻基準（開始時間からの経過時間）で表す。重み関数
は一般に所定の中心位置（検出予定の特徴が検出された
場合のパルス到着時間を表す）からの距離(時間軸上で
のずれ)の関数になる。シナプスで特徴の種類に応じた
位相変調が行われる一方、ここでは前段の層でのニュー
ロン出力レベルにシナプス荷重に応じた乗算を時間軸上
のこの重み関数値を参照して行ってもよい。

【０１１８】各サブ時間窓内での重み関数形状が対称形
をなしている場合、従って、ニューロンの各サブ時間窓
(タイムスロット）の重み関数の中心位置τが、ニュー
ロン間の学習後の時間遅れとすると、入力パルスの時空
間的重み付き総和（荷重和）を行う神経回路網は一種の
時間軸ドメインの動径基底関数ネットワーク（RadialBa
sis Function Network；以下ＲＢＦと略す）とみなすこ
とができる。Gaussian関数の重み関数を用いたニューロ
ンn_iの時間窓F_Tiは、各サブ時間窓毎の広がりをσ、係
数因子をb_ijで表すと、

【外２】 ・・・（１） なお、重み関数としては、負の値をとるものであっても
よい。例えば、ある特徴検出層のニューロンが三角形を
最終的に検出することが予定されている場合に、その図
形パターンの構成要素でないことが明らかな特徴（Ｆ
_{ｆａｕｌｓｅ}）が検出された場合には、他の特徴要素か
らの寄与が大きくても三角形の検出出力が最終的になさ
れないように、入力の総和値算出処理において、当該特
徴（Ｆ_{ｆａ ｕｌｓｅ}）に対応するパルスからは、負の寄
与を与えるような重み関数及び特徴検出(統合)細胞から
の結合を与えておくことができる。

【０１１９】特徴検出層のニューロンn_iへの入力信号の
時空間和X_i(t)は、

【外３】 ・・・（２） ここに、ε_jは、ニューロンn_jからの出力パルスの初期
位相であり、ニューロンn_iとの同期発火により、０に収
束するか、又はペースメーカニューロンからのタイミン
グパルス入力により、時間窓の位相を０に強制同期する
場合には、ε_jは常に０としてよい。図７（Ａ）のパル
ス入力と同（Ｂ）に示す重み関数による荷重和を実行す
ると、図７（Ｅ）に示すような荷重和値の時間的遷移が
得られる。特徴検出ニューロンは、この荷重和値が閾値
(Vt)に達するとパルス出力を行う。ニューロンn_iからの
出力パルス信号は、前述したように、入力信号の時空間
和（いわゆる総入力和）のsquashing非線形関数となる
出力レベルと学習により与えられた時間遅れ（位相）を
もって上位層のニューロンに出力される（パルス出力は
固定周波数(２値)とし、学習によって決まる固定遅延量
に相当する位相に入力信号の時空間和についてのsquash
ing非線形関数となる位相変調量を加えて出力され
る）。

【０１２０】特徴検出層処理 以下、特徴検出層で主に行われる処理(学習時、認識時)
について説明する。各特徴検出層においては、前述した
ようにスケールレベルごとに設定される処理チャネル内
において同一受容野からの複数の異なる特徴に関するパ
ルス信号を入力し、時空間的重み付き総和（荷重和）演
算と閾値処理を行う。各特徴量に対応するパルスは予め
学習により定められた遅延量(位相) により、所定の時
間間隔で到着する。このパルス到着時間パターンの学習
制御は、本発明の主眼ではないので詳しくは説明しない
が、例えば、ある図形パターンを構成する特徴要素がそ
の図形の検出に最も寄与する特徴であるほど先に到着
し、そのままでは、パルス到着時間がほぼ等しくなる特
徴要素間では、互いに一定量だけ時間的に離れて到着す
るような競争学習を導入する。或いは、予め決められた
特徴要素(認識対象を構成する特徴要素であって、特に
重要と考えられるもの：例えば、平均曲率の大きい特
徴、直線性の高い特徴など)間で異なる時間間隔で到着
する様に設計してもよい。

【０１２１】本実施形態では、前段の層である特徴統合
層上の同一受容野内の各低次特徴要素に相当するニュー
ロンは、それぞれ所定の位相で同期発火（パルス出力）
することになる。一般的に特徴統合層のニューロンであ
って位置が異なるが同一の高次の特徴を検出する特徴検
出ニューロンへの結合が存在する（この場合、受容野は
異なるが、高次の同じ特徴を構成する結合を有する）。
この時、これら特徴検出ニューロンとの間でも同期発火
することはいうまでもない。但し、その出力レベル（こ
こでは位相基準とする；但し、周波数、振幅、パルス幅
基準となる構成でもよい）は特徴検出ニューロンの受容
野ごとに与えられる複数ペースメーカニューロンからの
寄与の総和（或いは平均など）によって決まる。

【０１２２】また、特徴検出層上の各ニューロンにおい
ては入力パルスの時空間的重み付き総和（荷重和）の演
算は、ニューロンに到着したパルス列について所定幅の
時間窓においてのみ行われる。時間窓内の重み付き加算
を実現する手段は、図２に示したニューロン素子回路に
限らず、他の方法で実現してもよいことは言うまでもな
い。

【０１２３】この時間窓は、実際のニューロンの不応期
(refractory period)以外の時間帯にある程度対応して
いる。即ち、不応期(時間窓以外の時間範囲)にはどのよ
うな入力を受けてもニューロンからの出力はないが、そ
の時間範囲以外の時間窓では入力レベルに応じた発火を
行うという点が実際のニューロンと類似している。図３
（Ｂ）に示す不応期は、特徴検出細胞の発火直後から次
の時間窓開始時刻までの時間帯である。不応期の長さと
時間窓の幅は任意に設定可能であることはいうまでもな
く、同図に示したように時間窓に比べて不応期を短くと
らなくてもよい。

【０１２４】本実施形態では、特徴検出層ニューロンご
とに、その同一受容野からの入力を受けるようなペース
メーカニューロン（固定周波数でパルス出力）によるタ
イミング情報（クロックパルス）を入力し、また、特徴
検出層（１，１）の音源定位検出ニューロンからのパル
ス信号を入力することにより、上述した開始時期の共通
化をもたらすようにした。

【０１２５】このように構成した場合には、時間窓の同
期制御は（仮に必要であったとしても）ネットワーク全
体にわたって行う必要が無く、また、上記したようなク
ロックパルスの揺らぎ、変動があっても、局所的な同一
受容野からの出力に対して一様にその影響を受ける（窓
関数の時間軸上での位置の揺らぎは同一受容野を形成す
るニューロン間で同一となる）ので、特徴検出の信頼性
は劣化することはない。

【０１２６】更には、音源定位により推定される方向に
該当する画像特徴検出部の特徴検出ニューロンの活性度
を上げる（発火閾値を減少させるなど感度を上げる）こ
とにより、実質的な探索範囲を高精度にかつ高速に絞り
込むことができる。また、検出すべき対象が視野範囲
(或いは注視範囲)の外にあっても、すばやく対象の存在
する方向に光軸制御を行うことができる。このような局
所的な回路制御により信頼度の高い同期動作を可能にす
るため、回路素子パラメータに関するばらつきの許容度
も高くなり、低消費電力化をもたらすことができる。

【０１２７】以下、簡単のために三角形を特徴として検
出する特徴検出ニューロンについて説明する。その前段
の特徴統合層は、図７（Ｃ）に示すような各種向きを持
ったL字パターン(f₁₁, f₁₂, ・・・, )、Ｌ字パターンとの
連続性（連結性）を有する線分の組み合わせパターン(f
₂₁,f₂₂,・・・)、三角形を構成する２辺の一部の組み合わ
せ(f₃₁,・・・)、などのような図形的特徴(特徴要素)に反
応するものとする。

【０１２８】また、同図のf₄₁,f₄₂,f₄₃は向きの異なる
三角形を構成する特徴であって、f₁₁,f₁₂,f₁₃に対応す
る特徴を示している。学習により層間結合をなすニュー
ロン間に固有の遅延量が設定された結果、三角形の特徴
検出ニューロンにおいては、時間窓を分割して得られる
各サブ時間窓(タイムスロット）(w₁,w₂,・・・)において、
三角形を構成する主要かつ異なる特徴に対応するパルス
が到着するように予め設定がなされる。

【０１２９】例えば、時間窓をｎ分割した後のw₁, w₂,
・・・、w_nには図７（Ａ）に示すごとく、全体として三角
形を構成するような特徴のセットの組み合わせに対応す
るパルスが初めに到着する。ここに、Ｌ字パターン
(f₁₁, f₁₂, f₁₃)は、それぞれw₁,w₂,w₃内に到着し、特
徴要素(f₂₁,f₂₂,f₂₃)に対応するパルスは、それぞれw₁,
w₂, w₃内に到着するように学習により遅延量が設定さ
れている。

【０１３０】特徴要素(f₃₁,f₃₂,f₃₃)対応のパルスも同
様の順序で到着する。図７（Ａ）の場合、一つのサブ時
間窓(タイムスロット）にそれぞれ一つの特徴要素に対
応するパルスが到着する。

【０１３１】重要な特徴ほど早いサブ時間窓にパルスが
到着するように予め設定されているとすると、当該サブ
時間窓での重み関数値が他のサブ時間窓での値より大き
くすることにより、重要度の高い特徴ほど検出されやす
くすることができる。この重要度（特徴間の検出優先
度）は学習により獲得されるか、予め定義しておくこと
もできる。

【０１３２】サブ時間窓(タイムスロット）への分割
数、各サブ時間窓(タイムスロット）の幅および特徴の
クラスおよび特徴に対応するパルスの時間間隔の割り当
てなどは上述した説明に限らず、変更可能であることは
いうまでもない。

【０１３３】撮像装置、ロボット視覚ヘッドなどへ搭載
した応用例 本実施形態の構成に係る並列パルス信号処理手段をパタ
ーン認識(検出)装置としてロボット視覚ヘッド、或いは
光軸方向制御機構を有する撮像装置に搭載させることに
より、視野内の特定被写体を高速に検出し、最適撮影
（自動フォーカシングや特定被写体の色補正、露出等）
制御を行うことができる。この場合の構成について、図
１１を参照して説明する。

【０１３４】図１１の撮像装置９は、左右一対のマイク
ロフォン９１L及び９１R、撮影レンズおよびズーム撮影
及び光軸方向制御用の駆動制御機構を含む結像光学系９
２、CCD又はＣＭＯＳイメージセンサー９３、撮像パラ
メータの計測手段９４、映像信号処理回路９５、記憶手
段９６、撮像動作の制御、撮像条件の制御などの制御用
信号を発生する制御信号発生手段９７、EVFなどファイ
ンダーを兼ねた表示ディスプレイ９８、ストロボ発光手
段９９、記録媒体９１０、そして注視認識処理手段９１
１（上述した本実施形態での階層構造を持った並列パル
ス信号処理回路からなるパターン認識装置）などを具備
する。

【０１３５】この撮像装置は、例えば複数マイクロフォ
ンから入力される音声信号及び撮像手段内の映像センサ
から入力される画像信号から予め登録された人物の存在
する方向を推定し、当該方向へ撮像光学系の光軸制御を
行って顔画像の検出(存在位置、サイズの検出)を注視認
識処理手段９１１により行う。その人物の位置（存在方
向）、サイズ情報は制御信号発生手段に９７に入力され
ると、同制御信号発生手段９７は、撮像パラメータ計測
手段９４からの出力に基づき、その人物に対するピント
制御、露出条件制御、ホワイトバランス制御などを最適
に行う制御信号を発生する。

【０１３６】上述した実施形態に係る並列パルス信号処
理装置をこのように音声と画像からパターン検出(認識)
を行う撮像装置に用いることにより、当該被写体の検出
(認識)機能を確実に、低消費電力で、かつ高速（リアル
タイム）に実現して、人物等の検出とそれに基づく撮影
の最適制御（ＡＦ、ＡＥなど）を行うことができる。

【０１３７】（第２の実施形態）ここでは画像センサか
らの入力のみを行い、被写体の検出又は認識を行う。本
実施形態で用いられる並列パルス信号処理装置(神経回
路網)の要部構成図を図に示す。基本的なネットワーク
構造は第１の実施形態と同様、いわゆるConvolutional
Network構造であり、ニューロン素子においてもいわゆI
ntegrate-and-fireニューロンモデルを基本としたもの
である。また、第１の実施形態と同様にペースメーカニ
ューロンを介した分散局所タイミング制御を行う。

【０１３８】本実施形態では特に、特徴検出層ニューロ
ン素子は、異なる特徴カテゴリを表す時系列パルス信号
に対して、そのカテゴリのクラスに固有な時系列パルス
信号出力を行う。

【０１３９】図８に示すように、特徴検出層（１、ｋ＋
１）の画像特徴検出部ニューロン素子の入力配線構造
（受容野構造）は、第１の実施形態と異なり、より高次
な図形的特徴が複数検出されるように構成されている。
即ち、特徴検出層ニューロンが入力を受ける前段の特徴
統合層の特徴カテゴリ数は、第１の実施形態の場合より
多くなる（図８では説明の便宜上、２つの高次カテゴリ
を低次カテゴリ１〜４より入力する様子を模式的に示し
ている）。低次の図形的特徴を表す複数個のパルス信号
が時間軸上に所定の間隔で配列した（高次の図形的パタ
ーンを表す）パルス信号列が入力される点は第１実施形
態と同様である。

【０１４０】パルス信号列のパターンの種別を識別し
て、その種別に応じて異なるパルス信号出力を行う（第
１の実施形態では、特徴検出層ニューロンが検出すべき
高次のカテゴリが一つだけ対応していた）ようにするた
めに、特徴検出層ニューロン素子は、ペースメーカニュ
ーロンから入力されるタイミングパルス信号の入力時刻
を基準とする時間窓積分値を量子化して得られる値に応
じて、（ペースメーカニューロンからのタイミング信号
を基準としたときの）出力パルスの位相が異なるように
構成されている。ここでは、それぞれのサブ時間窓の幅
を単位としてパルス間隔パターン識別を行う。即ち、重
み付き積分の重みの値は、サブ時間窓ごとに設定され
る。

【０１４１】また、特徴検出層ニューロンの受容野構造
は、該当する複数の高次カテゴリを構成する低次カテゴ
リについての特徴統合層ニューロンからの出力を受ける
ように形成されている。

【０１４２】このように複数の高次カテゴリを表す信号
を同一ニューロンで入力し、識別することが出来るよう
に構成することにより、第１の実施形態と比べて特徴検
出層のニューロン数を大幅に減少させることが出来る。
仮に特徴検出層で検出されるべき全ての特徴カテゴリの
数だけ異なるパターンのパルス列信号を入力可能なよう
に受容野構造が形成されているとすると、その特徴検出
層に存在するニューロン数は、第１の実施形態での対応
する特徴検出層において、一つの特徴カテゴリについて
存在するニューロン数と同じになることはいうまでもな
い。

【０１４３】特徴検出層から出力される複数の異なる特
徴カテゴリの検出を表すパルス信号列を後段の特徴統合
層においてそれぞれ異なるカテゴリを受け持つニューロ
ン群に入力するためには、図９に示すような分岐手段
（デマルチプレクサなどの信号分岐手段とスイッチング
アレイ及びその制御回路から構成される）を用いる。

【０１４４】この場合、特徴検出層ニューロンからのパ
ルス信号出力は、前述したようにその検出カテゴリに応
じて異なる初期位相(ペースメーカニューロンからのタ
イミング信号基準)を有するものとする。このとき信号
分岐手段での制御について以下に説明する。

【０１４５】いま、N個の検出カテゴリが特徴検出層ニ
ューロンにあるものとし、初期状態では、全てのスイッ
チがOFFである(図９に示す状態)。特徴検出層ニューロ
ンが出力を行う際、基準時刻（ペースメーカニューロン
からのタイミング信号入力時）からの経過時間に応じて
ON状態のスイッチ（ただ一つある）が順次切り替わるこ
とにより、所定の位相を有する信号が対応するスイッチ
を経由して所定の分岐出力を受ける。このようにペース
メーカニューロンからの基準タイミングパルス信号が入
力されると、その時刻から一定時間ごとにON状態のスイ
ッチが順次切り替わることにより、後段の特徴統合層の
各特徴カテゴリを受け持つニューロン群への分岐出力が
なされる。

【０１４６】（第３の実施形態）本実施形態の特徴統合
層と特徴検出層との間の結合及び各層内の構成を図１０
に示す。基本的なネットワーク構成は第１の実施形態と
同様とし、特徴検出層の画像特徴検出部ニューロンは、
特徴統合層ニューロンからの出力、及び同じ特徴検出層
内の音声特徴検出ニューロン（以下、SFとして略記）か
らのパルス信号の入力を受ける。

【０１４７】第１の実施形態と主として異なる点は、音
声特徴検出ニューロンSDからの出力は、特徴統合層ニュ
ーロンからのパルス列信号とともに、一つの信号線（局
所バス）上に時系列化して画像特徴検出部ニューロンに
送られること、及び、図１０に示すように、特徴検出層
の画像特徴検出部ニューロンは、このような異種センサ
からの情報である時系列パルスパターンを音声特徴検出
ニューロンからのタイミング信号を基準とする時間窓に
おいて重み付き積分を行うことにある。本実施形態では
このように、第１の実施形態に示した様な特徴検出ニュ
ーロンに付随するペースメーカニューロンは用いない。

【０１４８】ここでは、異種センサに由来する複数のパ
ルスが音声特徴検出ニューロンからのタイミング信号に
より発生する時間窓に到着して加算される。例えば、図
７（Ｄ）に示すように、音声ベースの特徴に対応するパ
ルス信号ｆ_ｓの入力の後、サブ時間窓(点線の枠で示す)
が時系列的に発生し、一つのサブ時間窓(タイムスロッ
ト)に複数の画像ベース特徴要素に対応するパルスが入
力される。この場合、図７（Ｄ）では、初めのサブ時間
窓では、三角形の頂角部分ｆ_１１の検出を支持する他の
特徴要素ｆ_２１、ｆ_２３に対応するパルスが到着し、同
様に２番目のサブ時間窓には頂角部分ｆ_１２の検出を支
持するような他の特徴要素ｆ_２２、ｆ_{３ １}のパルスが到
着している。

【０１４９】音声特徴検出ニューロンは、単にマイクロ
フォンからの音声信号を第１の実施形態におけるように
音源定位処理して音源の存在する方向を推定するのでは
なく、予め登録された音声特徴（スペクトログラム、周
波数分析により得られる音声特徴ベクトル列など）を有
する音声信号のみを選択的に処理して音源定位を行う。
このために特徴検出層（１，０）の音声特徴検出部のフ
ィルタアレイの一部のみからの出力を選択的に抽出する
か、或いは、一部のフィルタ感度を上げるようにフィル
タの特性を制御してもよい。

【０１５０】以上のように構成することにより、音声信
号をトリガーとするタイミング制御信号を局所的に発生
するのでペースメーカニューロンを各特徴検出層ニュー
ロンに付随して設定する必要が無くなり、小回路規模化
される。また、パルス間隔パターンで表された異種セン
サ情報を特徴検出層ニューロンで統合して処理すること
ができる。

【０１５１】

【発明の効果】以上説明したように本発明によれば、異
なるカテゴリの情報を表す複数のパルス信号を入力し、
そのいずれかにより、入出力特性が制御されるようなニ
ューロン素子を用いることにより、異種センサ情報の統
合による認識処理のロバスト化、高効率化をもたらすこ
とができた。また、異なるカテゴリの情報を表す複数の
時系列パルスパターンを入力し、その時系列パターンの
表すカテゴリ(クラス)の違いに応じて異なる応答特性を
示すニューロン素子を用いることにより、異なるカテゴ
リの情報を一つのニューロン素子で統合して扱うことが
でき、ネットワークの多機能化と小規模化（低消費電力
化）をもたらすことができた。

【図面の簡単な説明】

【図１】ネットワーク全体構成を示す図である。

【図２】シナプス部とニューロン素子部の構成図、及び
ニューロン素子の回路構成図である。

【図３】実施形態１において特徴統合層（または入力
層）からの特徴検出層ニューロンへの複数パルス伝播の
様子を示す図である。

【図４】シナプス回路の構成を示す図である。

【図５】シナプス結合小回路の構成、及びパルス位相遅
延回路の構成を示す図である。

【図６】特徴検出層ニューロンにペースメーカニューロ
ンからの入力がある場合のネットワーク構成を示す図で
ある。

【図７】特徴検出ニューロンに入力される異なる特徴要
素に対応する複数パルスを処理する際の時間窓の構成、
重み関数分布の例、特徴要素の例を示す図である。

【図８】第２の実施形態における特徴統合層(画像特徴
部)から特徴検出層(画像特徴検出部)への配線を模式的
に示す図である。

【図９】第２の実施形態における特徴検出層から特徴統
合層への分岐出力を行う回路構成を示す図である。

【図１０】第３の実施形態における特徴統合層と特徴検
出層間及び特徴検出層内の結合構造の模式図である。

【図１１】パターン認識装置を搭載した撮影装置の構成
例を示す図である。

【図１２】局所タイミング信号発生を行うペースメーカ
ニューロン回路の構成ブロックを示す図である。

【図１３】ペースメーカニューロン及び音源定位検出回
路を介した特徴統合層と特徴検出層間及び特徴検出層内
の結合構造の模式図である。

【図１４】各ニューロンのパルス発火タイミングを示す
図である。

【図１５】シナプス結合を介した特徴統合層と特徴検出
層間の結合例の模式図である。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｇ１０Ｌ 15/24 Ｇ１０Ｌ 3/00 ５７１Ｑ 21/02

Claims (14)

【特許請求の範囲】
1. 【請求項１】 複数のパルス出力演算素子と、当該演算
   素子のうち所定の演算素子間を並列結合する結合素子と
   を有し、 前記演算素子は、複数の時系列パルス信号の入力手段
   と、当該入力された複数の時系列パルス信号に所定の変
   調処理を行う変調処理手段と、前記変調処理結果に固有
   な所定の時系列パルス信号出力を行うパルス出力手段と
   を備え、 前記変調処理手段における変調処理特性が、前記入力さ
   れた複数の時系列パルス信号の少なくとも１つにより、
   所定の更新を受けることを特徴とする並列パルス信号処
   理装置。
2. 【請求項２】 複数かつ有限個の所定クラスのパルス信
   号を入力する入力手段を有し、当該入力手段より時系列
   パルス信号パターンを入力し、当該入力される信号のう
   ち少なくとも１つのパルス間隔パターンの属するクラス
   に固有のパルス信号出力を行う演算素子を複数個並列に
   配置し、 前記複数個の演算素子のうち所定の演算素子間を所定の
   結合素子で結合し、 前記演算素子は、前記入力信号のパルス間隔パターンを
   所定の時間窓で重み付き積分を行うことを特徴とする並
   列パルス信号処理装置。
3. 【請求項３】 前記変調処理手段は、入力パルス信号の
   時間積分手段と複数個の閾値による閾値処理手段とを有
   し、前記複数の入力パルス信号のうち所定パルス信号に
   より前記時間積分の開始タイミングを更新し、前記閾値
   の少なくとも１つを更新することを特徴とする請求項１
   に記載の並列パルス信号処理装置。
4. 【請求項４】 前記演算素子は、前記複数の入力パルス
   信号間の相関値に固有なパルス列信号を出力することを
   特徴とする請求項１に記載の並列パルス信号処理装置。
5. 【請求項５】 前記複数の入力パルス信号列は、それぞ
   れ所定の異なるセンサ出力を符号化したものであること
   を特徴とする請求項１または２に記載の並列パルス信号
   処理装置。
6. 【請求項６】 前記演算素子は、所定の時間窓において
   入力パルス信号列を積分し、当該積分値に応じた位相ま
   たは周波数でパルス信号出力を行うことを特徴とする請
   求項１または請求項２に記載の並列パルス信号処理装
   置。
7. 【請求項７】 前記入力手段は、それぞれ異なる周波数
   フィルタ機能を備えてなることを特徴とする請求項１ま
   たは２に記載の並列パルス信号処理装置。
8. 【請求項８】 所定次元のデータ入力手段と、複数のデ
   ータ処理モジュールと、パターン検出結果の出力手段と
   を有し、 前記データ処理モジュールは、所定の結合手段により並
   列して結合される複数の演算素子を含み、 前記データ処理モジュール内の演算素子は、所定の演算
   素子からの入力信号により、その応答特性が変調される
   とともに、所定時間窓内で入力される所定の複数の演算
   素子からの複数パルスの到着時間パターンに基づいて所
   定カテゴリのパターンの検出結果を表すパルス状の信号
   列を出力し、 前記出力手段は、前記演算素子からの出力に基づき、前
   記データ中の所定パターンの検出結果を出力することを
   特徴とする並列パルス信号処理装置。
9. 【請求項９】 所定次元のデータ入力手段と、複数のデ
   ータ処理モジュールと、パターン検出結果の出力手段と
   を有し、 前記データ処理モジュールは、所定の結合手段により並
   列して結合される複数の演算素子を含み、 前記データ処理モジュール内の演算素子は、時系列パル
   ス信号を入力し、複数クラスの当該時系列パルス信号パ
   ターンの識別を行い、所定時間窓内で入力される所定の
   複数の演算素子からの複数パルスの到着時間パターンの
   クラスに固有なパルス状の信号列を出力し、 前記出力手段は、前記演算素子からの出力に基づき、前
   記データ中の所定パターンの検出結果を出力することを
   特徴とする並列パルス信号処理装置。
10. 【請求項１０】 前記演算素子は、入力される時系列パ
    ルス信号について所定の時間窓での重み付き積分を行
    い、その積分値を所定の方法により量子化して得られる
    値に基づいて所定のパルス信号出力を行うことを特徴と
    する請求項９に記載の並列パルス信号処理装置。
11. 【請求項１１】 所定の時系列パルス信号の入力手段
    と、 当該信号のパルス間隔パターンのクラスを識別する処理
    手段と、 当該クラスに固有な所定の時系列パルス出力を行う出力
    手段とを有することを特徴とするパルス出力素子。
12. 【請求項１２】 請求項１１に記載のパルス出力素子を
    並列に結合してなることを特徴とする並列信号処理回
    路。
13. 【請求項１３】 画像入力手段と、音声入力手段と、画
    像特徴検出手段と、音声特徴検出手段と、画像認識手段
    とを有し、 前記画像特徴検出手段は、複数のニューロン素子を並列
    階層的に結合して備えており、前記ニューロン素子は、
    前記音声特徴検出手段からの制御信号により、その応答
    特性が変調され、 前記画像認識手段は、複数の特徴クラスに関する複数の
    前記画像特徴検出手段からの出力に基づき、所定カテゴ
    リの画像認識結果を出力することを特徴とするパターン
    認識装置。
14. 【請求項１４】 前記制御信号は、前記ニューロン素子
    の入力信号に対する感度を変調することを特徴とする請
    求項１３に記載のパターン認識装置。