JP2005267407A - パターン識別方法及びパターン識別装置 - Google Patents

Abstract

【課題】 特徴検出ニューロンを有する階層型ニューラルネットワークを用いたパターン識別において、ネットワークの小規模化による計算コストの低減を、処理精度を低下させずに実現することができるパターン識別方法及びパターン識別装置を提供する。
【解決手段】 初期処理部Ｄ２２で検出された画像の特徴に基づいて、部分特徴検出部Ｄ２３はニューラルネットワークの入力ユニットを取得する。また、特性判別処理部Ｄ２６、識別対象となるパターン候補を画像の中央から抽出する。そして、結合数減少処理部Ｄ２７は、所定の入力ユニットを１つにまとめることにより、入力ユニットと出力ユニットとの結合数を減少させる。また、顔画像識別部Ｄ２８は、結合数を減少させた入力ユニットを用いて、画像中のパターンの有無を識別する。
【選択図】 図２

Description

本発明は、階層型ニューラルネットワークを用いて入力信号から特定パターンを識別するパターン識別方法及びパターン識別装置に関する。

従来から、階層型ニューラルネットワークを用いて多次元ベクトルの入力信号を並列階層処理し、入力ベクトルのパターンを識別する技術が知られている。しかし、この方法は、パターン識別のための並列階層処理において非常に大きな計算コストを必要とする。そのため、計算機上においてソフトウェアによってニューラルネットワークを実現した場合には、処理時間が長くなってしまう。また、ニューラルネットワークを専用のハードウェアで実現する場合であっても、高い集積度を必要とするためその実現は困難である。

このような問題に対して、これまでにいくつかの提案がなされている。例えば、ニューラルネットワークにおける中間層と出力層の結合経路のうち、重要度の高い結合経路を判定し、判定結果に基づいて重要な結合経路を選択し、選択された結合経路のみの演算を行うことで、計算コストを減少させるニューラルネットワーク回路が提案されている（例えば、特許文献１参照）。同様に、ニューラルネットワークにおける結合係数の有効なアドレスのみを出力し、結合係数が有効なネットワークに対してのみ演算を実行することで計算コストを減少させるニューラルネットワーク回路が提案されている（例えば、特許文献２参照）。

また、イメージから特徴を抽出し、かつ、イメージをアンダーサンプリングすることで、ニューロン数を減少するというネットワークも考案されている（例えば、特許文献３参照）。さらに、ニューラルネットワークの入力層を複数の部分入力層に分割し、初期状態として部分入力と同数の中間層ユニットを持ち、各中間層ユニットが１つの部分入力層内のユニットのみと結合することでニューロン数を低減させる階層型ニューラルネットワークが提案されている（例えば、特許文献４参照）。さらにまた、同時に発火して活動するニューロン数を所定数以下に制御することで、計算に用いるニューロン数を減少させ、計算コストを低減することができる発火数分散制御型ニューラルネットワークが提案されている（例えば、特許文献５参照）。
特開平６−４５０４号公報 特許第３１７２２７８号公報 特公平６−６４６３０号公報 特開平１１−１２０１５８号公報 特開２００１−３４４５８９号公報

しかしながら、上述したいずれのニューラルネットワークを用いた場合であっても、ネットワークの小規模化による計算コストの低減を図ると、精度の低下を防止できず、実際には、精度を維持するためにネットワークの規模を小さくすることができずに計算コストが低減できない場合や、小規模化により必要な情報が欠落して精度が低下する場合が生じるという問題があった。

本発明は、このような事情を考慮してなされたものであり、特徴検出ニューロンを有する階層型ニューラルネットワークを用いたパターン識別において、ネットワークの小規模化による計算コストの低減を、処理精度を低下させずに実現することができるパターン識別方法及びパターン識別装置を提供することを目的とする。

上記課題を解決するために、本発明は、階層型ニューラルネットワークを用いて、画像中の所定パターンの有無を識別するパターン識別方法であって、
前記画像の特徴を上位ユニットにより検出する検出工程と、
前記特徴に基づいて前記画像の特性を判別する判別工程と、
前記判別工程により判別された画像の特性に基づいて、前記上位ユニットと下位ユニットとの結合数を減少させる減少工程と、
前記減少工程によって前記結合数を減少させた前記下位ユニットを用いて、前記画像中の前記パターンの有無を識別する識別工程と
を有することを特徴とする。

また、本発明は、階層型ニューラルネットワークを用いて、画像中の所定パターンの有無を識別するパターン識別装置であって、
前記画像の特徴を上位ユニットにより検出する検出手段と、
前記特徴に基づいて前記画像の特性を判別する判別手段と、
前記判別手段により判別された画像の特性に基づいて、前記上位ユニットと下位ユニットとの結合数を減少させる減少手段と、
前記減少手段によって前記結合数を減少させた前記下位ユニットを用いて、前記画像中の前記パターンの有無を識別する識別手段と
を備えることを特徴とする。

本発明によれば、特徴検出ニューロンを有する階層型ニューラルネットワークを用いたパターン識別において、ネットワークの小規模化による計算コストの低減、及び精度の低下防止を同時に実現することができる。

以下、図面を参照して、本発明の好適な実施形態について説明する。

＜第１の実施形態＞
まず、第１の実施形態では、識別対象を顔画像として、入力画像内に顔が存在するかどうかを識別するための手順について説明する。

図１は、本発明の第１の実施形態におけるパーセプトロンを用いた結合数減少処理及び入力信号識別処理を説明するための概要図である。また、図２は、本発明の第１の実施形態に係るパターン識別処理を行うパターン識別装置の構成を示すブロック図である。さらに、図１５は、第１の実施形態に係るパターン識別装置によるパターン識別処理手順を説明するためのフローチャートである。

図２に示されるパターン識別装置において、画像入力部Ｄ２１は、識別対象画像となる入力画像を入力する（ステップＳ１）。以下では、画像入力部Ｄ２１から入力される入力画像のうち、顔が入力画像のほぼ中央に存在する画像を「顔存在画像」と呼び、それ以外の画像を「顔不在画像」と呼ぶ。そして、以下で説明する方法によって、当該入力画像が顔存在画像であるか顔不在画像であるかを識別する。また、初期処理部Ｄ２２は、画像入力部Ｄ２１から入力された入力画像のグレースケール化や、エッジ抽出等の初期処理を行う（ステップＳ２）。さらに、部分特徴検出部Ｄ２３は、初期処理部Ｄ２２において初期処理が行われた画像に対して、識別対象である顔内の部分である目、口、鼻等を部分特徴として検出する（ステップＳ３）。

一方、特性判別処理部Ｄ２６は、画像入力部Ｄ２１から入力された入力画像の特性判別を行う（ステップＳ４）。本実施形態では、特性判別処理部Ｄ２６は、入力画像から顔画像候補領域の抽出を行う顔画像領域判別部Ｄ２４と、顔画像領域判別部Ｄ２４の処理結果から顔画像候補のサイズを判別する顔画像サイズ判別部Ｄ２５とから構成される。尚、ステップＳ２、Ｓ３の処理よりも前に、或いは同時にステップＳ４の処理を行うようにしてもよい。

さらに、結合数減少処理部Ｄ２７は、特性判別処理部Ｄ２６からの顔画像サイズ判別結果に応じて、部分特徴検出部Ｄ２３による部分特徴結果として出力される信号数を所定の方法で減少させ、パーセプトロンにおける入力ユニットと出力ユニットとの結合数を減少させる（ステップＳ５）。また、顔画像識別部Ｄ２８は、結合数減少処理部Ｄ２７の処理により減少された信号を受け、入力画像の中心に顔が存在するかどうかの識別を行う（ステップＳ６）。さらに、識別結果出力部Ｄ２９は、顔画像識別部Ｄ２８での結果に応じて、入力画像が顔存在画像であるか顔不在画像であるかの結果を出力する。尚、図１で示されたパーセプトロンを用いた処理は、図２の結合数減少処理部Ｄ２７及び顔画像識別部Ｄ２８における処理に対応する。

次に、初期処理部Ｄ２２による処理及びそれ以降に処理を行う各処理部での詳細な処理について説明する。

図３は、第１の実施形態に係るパターン識別装置の初期処理部Ｄ２２での処理手順を説明するためのフローチャートである。図３に示すように、初期処理部Ｄ２２では、画像入力部Ｄ２１から入力された入力画像がカラー画像であるかどうかを判定する（ステップＳ３１）。その結果、入力画像がカラー画像の場合（Ｙｅｓ）、グレースケール化処理が行われる（ステップＳ３２）。一方、入力画像がグレースケール画像の場合（Ｎｏ）、ステップＳ３２のグレースケール化処理をすることなく、エッジ抽出処理を行う（ステップＳ３３）。

ステップＳ３２のグレースケール化処理では、例えば入力画像がＲＧＢ画像であれば、ＲＧＢ−ＹＣｂＣｒ変換やＲＧＢ−Ｌａｂ変換したときの輝度値を用いて生成されたグレースケール画像を出力する。また、その他にも、ＲＧＢ−ＣＹＭＫ変換したＫの値、各画素のＲＧＢ平均値、ＲＧＢ最大値等を用いてグレースケール化処理を行ってもかまわない。そして、グレースケール化処理（ステップＳ３２）の後、ステップＳ３３のエッジ抽出処理を行う。

ステップＳ３３のエッジ抽出処理では、グレースケール画像の各点において垂直及び水平等の２方向成分のエッジを強調するような各方向別微分フィルタ処理を行った後、各方向のエッジの値の算出を行う。算出されるエッジの値としては、所定の隣接画素（例えば、８近傍や４近傍の隣接画素等）の輝度値の差分値等を用いる。この処理によって２種類のエッジ抽出結果が得られる。通常の微分フィルタ処理では、エッジの濃度変化方向の違いよってエッジの値が正負の値をとるが、本実施形態では、エッジの値の絶対値を用いてもかまわない。また、方向別微分処理ではなく、ラプラシアンフィルタ等を用いたエッジの強調処理を行った後に抽出するようにしてもよい。また、本実施形態では、水平及び垂直の２方向に対する方向別エッジ抽出を行うが、特に２方向のみに限定するものではなく、斜め方向に強調するような微分フィルタを用いてもよい。

次に、本実施形態に係るパターン識別装置における部分特徴検出部Ｄ２３における処理について説明する。部分特徴検出部Ｄ２３では、複数個の単層のパーセプトロンによる特徴検出処理が行われる。この部分特徴検出部Ｄ２３では、初期処理部Ｄ２２における２種類のエッジ抽出結果（例えば、水平方向成分を強調したエッジの抽出結果と垂直方向成分を強調したエッジの抽出結果）から、パーセプトロンを用いて目、口、鼻といった顔の部分特徴を検出する。以下、本実施形態では、部分特徴の例として目と口の２種類の検出を行うものとするが、これ以外の部分特徴を用いた場合であっても同様にして行うことができる。

図４は、第１の実施形態に係るパターン識別装置の部分特徴検出部Ｄ２３における処理の概要を説明するための概要図である。図４において、Ｌ４１及びＬ４２は、それぞれ初期処理部Ｄ２２の初期処理により抽出された初期処理結果面であり、本実施形態ではそれぞれ水平及び垂直方向成分のエッジが抽出された画像を用いる。また、Ｌ４３及びＬ４４は、それぞれ特徴検出ニューロンを有する特徴検出細胞面（すなわち、パターンの部分特徴ごとに検出された部分特徴画像）である。本実施形態において、Ｌ４３は目検出細胞面であり、特徴検出ニューロンであるｎ個の目検出ニューロンＮ４３−１、Ｎ４３−２、・・・Ｎ４３−ｊ・・・Ｎ４３−ｋ・・・Ｎ４３−ｎからなる。尚、図４では目検出ニューロンＮ４３−ｊ、Ｎ４３−ｋの２つのみを図示している。

一方、Ｌ４４は口検出細胞面であり、目検出細胞面Ｌ４３と同様に、特徴検出ニューロンであるｎ個の口検出ニューロンＮ４４−１、Ｎ４４−２、・・・Ｎ４４−ｋ・・・Ｎ４３−ｎからなる。尚、図４では口検出ニューロンＮ４４−ｋのみを図示している。また、上記特徴検出ニューロンを示す各符号では、「−」以下の番号がそのニューロンの細胞面内での位置を表している。さらに、ｎ個の目検出ニューロン及び口検出ニューロンは、それぞれ入力画像の各画素の位置に対応しており、例えば、目検出ニューロンＮ４３−ｋは、入力画像のｋの位置に目が存在する時に発火する。また、口検出ニューロンＮ４４−ｋも同様に、入力画像のｋの位置に口が存在した場合に発火する。

また、図４において、Ｃ４１３ｋによって囲まれている領域は、目検出ニューロンＮ４３−ｋから初期処理結果面Ｌ４１である水平エッジ抽出結果画像への結合範囲を示している。尚、ここでいう結合とは、結合先を示す結合アドレス、若しくは特徴検出ニューロンの入力先を意味するものであり、以下では全て「結合」と称す。同様に、図４において、Ｃ４２３ｋによって囲まれている領域も、目検出ニューロンＮ４３−ｋから初期処理結果面Ｌ４２である垂直エッジ抽出結果画像への結合範囲である。また、Ｃ４１３ｊ及びＣ４２３ｊによって囲まれている領域は、目検出ニューロンＮ４３−ｊの結合範囲である。また、Ｃ４１４ｋ及びＣ４２４ｋによって囲まれている領域は、口検出ニューロンＮ４４−ｋの結合範囲を示している。

図４に示すように、各特徴検出ニューロンは、初期処理結果面に対して局所的な結合をする。尚、結合する範囲の形状や大きさは、特徴検出細胞が検出する特徴に応じて決まるものである。すなわち、特徴検出ニューロンは、まず、その結合範囲内に存在する全ての結合先の出力値を要素とする入力ベクトルと、その入力ベクトルと同じ要素数の重みベクトルとの内積を算出する。このようにして算出された入力ベクトルと重みベクトルとの内積演算結果を、その特徴検出ニューロンの「内部状態値」という。そして、算出された内部状態値に対して所定の変換をすることにより、特徴検出ニューロンの出力値とする。

本実施形態では、上記入力ベクトルの各要素となる結合範囲内の結合先の出力値は、初期処理部Ｄ２２で算出したエッジの値となる。そこで、部分特徴検出部Ｄ２３は、その結合範囲内のエッジの値を、例えば左上から右下までラスタスキャン順に並べて入力ベクトルとする。

上記内積演算を行う重みベクトルは、特徴検出ニューロンによって検出する対象の特徴に応じて決まる。本実施形態では、この重みベクトルの各要素値として、最初にいくつかのトレーニングデータを与えておき、教師ありの学習をすることによって検出された特徴がその位置に存在するときに当該特徴検出ニューロンの内部状態値が高くなるように設定する。教師ありの学習の例としては、最小平均二乗アルゴリズムによる学習等が挙げられるが、ここでは特に限定されるものではない。尚、本実施形態では、目検出ニューロンＮ４３−ｊとＮ４３−ｋは同一の重みベクトルであり、その結合先がそれぞれのニューロンの位置により変化する。

本実施形態では、上記内積演算により算出された内部状態値の変換方法として、例えば、式（１）に示す双曲線正接関数による非線形変換を用いる。

この場合、内部状態値が比較的大きいとき出力値が１に近づく。このような状態をニューロンが発火したという。また、その他の変換方法としては、式（２）に示すロジスティック関数による変換や、式（３）に示すように、バイアスｂを内部状態に付加させた閾値を有する変換方法であってもよい。

上記の処理によって本実施形態では、特徴検出細胞面Ｌ４３が目検出結果の出力となり、入力画像に目の候補が存在する位置で出力が１に近い値をとり、目の候補が存在しない位置では出力が−１に近づく。同様に、特徴検出細胞面Ｌ４４は口検出結果の出力となる。
次に、特性判別処理部Ｄ２６内の顔画像領域判別部Ｄ２４は、画像入力部Ｄ２１から入力された入力画像の中心位置に顔が存在すると仮定し、所定の処理によって顔画像候補の領域を抽出する。本実施形態における当該抽出処理では、入力画像がカラー画像である場合とグレースケール画像である場合とで異なる処理を行う。

まず、入力画像がカラー画像の場合は、式（４）に示すような入力画像の中心部の７×７画素のＲＧＢベクトルの平均ベクトルを求める。

式（４）において、Ｃは画像中心７×７画素の範囲を示す。次に、入力画像全体において、入力画像の各画素のＲＧＢベクトルと平均ベクトルとを比較し、当該平均ベクトルとなす角が閾値以内であるＲＧＢベクトルの画素のみを抽出する。そして、画像中心付近の連結領域の抽出を行うことで、顔が入力画像の中心付近にある場合、顔画像の肌色に類似した色領域のうち、画像中心付近で連結した領域の抽出が行われる。また、中心付近に顔がない場合は、中心付近の色に類似した色領域の内、画像中心付近で連結した領域が抽出される。
一方、入力画像がグレースケール画像である場合は、上述したカラー画像のようにＲＧＢベクトルの方向を用いないで、輝度値を利用して顔画像領域の抽出を行う。まず、入力画像の中心部の７×７画素の平均輝度値ｕを求める。次に、入力画像全体において、入力画像の各画素の輝度値と平均輝度値ｕを比較し、ｕとの輝度値の差が閾値以内である画素のみを抽出する。この処理により、顔が入力画像の中心付近にある場合は、顔画像の肌の部分の輝度値の抽出が行われる。そして、抽出された領域を顔画像候補の領域とする。一方、中心付近に顔がない場合は、中心付近に存在する顔以外の識別対象となる物体の輝度値が抽出されることになる。

尚、本実施形態では、上記平均ベクトル及び平均輝度値ｕを求めるために画像の中心部の７×７画素の範囲を利用して求めたが、この範囲は識別対象に応じて適切に設定すればよく、特に上記範囲だけに限定されるものではない。また、平均の算出方法についても全データを用いるのではなく、例えば、ある範囲内のデータのみを利用して平均を算出するようにしてもよく、指定された範囲内の平均的データが算出できるものであれば他の方法であってもよい。

次に、特性判別処理部Ｄ２６内の顔画像サイズ判別部Ｄ２５は、顔画像領域判別部Ｄ２４で抽出された顔画像候補の領域の抽出結果から、顔画像候補領域決定処理を行い、その領域の大きさを算出して出力する。本実施形態における顔画像候補領域決定処理では、まず、画像の中心に楕円又は円、若しくは矩形等を設定し、設定された当該領域内における顔画像領域判別部Ｄ２４で抽出された顔画像候補の領域の比率を算出する。尚、上記候補領域としては、楕円や円等の他にも、例えば、代表的な口や目等の形状モデルを用いるようにしてもよい。その結果、設定された処理領域面積に対する当該領域内の抽出された領域の面積の比率が閾値以上であれば、当該領域を拡大していき、その都度抽出された領域の比率を算出して閾値との比較を行う。そして、抽出された領域の比率が閾値以下になったところで、その時の領域を顔画像候補領域として決定する。そして、顔画像サイズ判別部Ｄ２５は、抽出した領域の大きさを、楕円又は矩形であれば水平、垂直方向の長さとして出力し、円であればその直径を顔画像サイズとして出力する。

尚、顔画像サイズ判別部Ｄ２５による顔画像候補領域決定処理において最初に設定される領域は、想定している最小の顔画像サイズ程度でよい。そして、領域の拡大の方法は、例えば領域の形状が楕円又は矩形であれば、水平及び垂直方向に適宜拡大していき、領域の形状が円であれば直径を徐々に拡大するというように行う。このような処理方法によって、顔が入力画像の中心付近に存在する場合は、顔の存在するおおよその領域を抽出することができる。

上述したように、本実施形態では、顔画像領域判別部Ｄ２４及び顔画像サイズ判別部Ｄ２５により特性判別処理部Ｄ２６を構成し、肌色領域や所定の輝度領域抽出から、識別対象である顔画像の大きさを識別し、そのサイズを出力するようにしているが、特性判別処理は、サイズを出力するという上記処理に限定されるものではない。すなわち、特性判別処理部Ｄ２６における特性判別処理は、次の処理部である結合数減少処理部Ｄ２７における処理に必要とされる検出すべき特徴の固有の特性を判別できるものであれば、その他の方法であってもかまわない。例えば、本実施形態では、検出すべき特徴の固有の特性として顔画像の大きさを用いているが、第２の実施形態において後述するように、特徴の分布等を特性として用いてもよい。

本実施形態に係るパターン識別装置における結合数減少処理部Ｄ２７及び顔画像識別部Ｄ２８での処理は、特性判別処理部Ｄ２６の出力結果に応じた結合数減少処理と、結合数減少処理部Ｄ２７の結合数減少処理によって減少された入力信号を、図１に示すように階層型ニューラルネットワークであるパーセプトロンを用いて識別する処理である。ここで、結合数減少処理部Ｄ２７と顔画像識別部Ｄ２８におけるそれぞれの処理の概要を図１を用いて説明する。

まず、結合数減少処理部Ｄ２７における結合数減少処理を図１（ａ）を用いて説明する。図１（ａ）におけるＬ１１１、Ｌ１１２は、それぞれ図４の特徴検出細胞面Ｌ４３、Ｌ４４に対応する。すなわち、本実施形態では、Ｌ１１１は目検出細胞面であり、Ｌ１１２は口検出細胞面である。尚、本実施形態では、Ｌ１１１、Ｌ１１２に示すような結合先を特徴検出細胞面としているが、特にこれに限るものでなく、結合先として、初期処理結果面や入力画像を用いるようにしてもよい。

また、図１（ａ）において、Ｕ１２１及びＵ１２２は結合数減少ユニットであり、このユニットにより目検出細胞面Ｌ１１１、口検出細胞面Ｌ１１２を実質的な結合先とする顔画像識別ニューロンＮ１３からの結合数を減少させる。結合数減少ユニットＵ１２１、Ｕ１２２は、それぞれ図１（ａ）に示すサンプリングニューロンＳＮ１２１−１、ＳＮ１２１−２、・・・、ＳＮ１２１−ｋ、・・・、ＳＮ１２１−ｎと、ＳＮ１２２−１、・・・、ＳＮ１２２−ｋ、・・・、ＳＮ１２２−ｍをそれぞれ有し、それぞれのサンプリングニューロンは、顔画像識別ニューロンの結合先である目検出細胞面Ｌ１１１、口検出細胞面Ｌ１１２に結合する。本実施形態では、結合数減少ユニットＵ１２１は目検出細胞面Ｌ１１１に結合し、結合数減少ユニットＵ１２２は口検出細胞面Ｌ１１２に結合するものとする。

本実施形態では、各結合数減少ユニットが有するサンプリングニューロンの個数は、できる限り少ないほうがよいので、顔画像が識別可能である最小の個数に予め設定するようにする。但し、このサンプリングニューロンの個数が少なすぎると、必要な情報の欠落が起こり、結果として精度が低下してしまうことがあるので、一定数以上は必要である。

また、第１の実施形態においては、それぞれの結合数減少ユニットが有する各サンプリングニューロンの結合範囲は、それぞれの特徴検出細胞面に対して一定周期の間隔で並んでいるものとする。尚、このサンプリングニューロンの結合範囲を決める周期は、サンプリングニューロンの個数と特性判別処理部Ｄ２６での顔画像サイズ判別結果に基づいて可変であるようにする。例えば、水平方向のサンプリングニューロンの個数がＫ個であり、特性判別処理部Ｄ２６の処理によって、水平方向の顔画像サイズがＷ画素（Ｗ＞Ｋ）であると出力された場合、各サンプリングニューロンの水平方向の結合範囲を決定する周期ＴはＷ／Ｋとなるようにする。

また、各結合数減少ユニットの結合位置は、ユニットの中心に位置するサンプリングニューロンが、入力画像の中心に対応する位置に配置する。すなわち、特性判別処理部Ｄ２６における処理結果によって、例えば、図１（ａ）に示すような結合範囲から図１（ｂ）に示すような結合範囲に変化する。上述したように、本実施形態では、一定周期の範囲でサンプリングニューロンが特徴検出細胞面に結合することとしているが、目や口の特徴検出結果の分布（例えば、目検出細胞面の出力分布）に応じたサンプリングニューロンごとに特定の範囲で結合するようにしてもかまわない。尚、特定の範囲で結合させる処理の詳細については、第２の実施形態において説明する。

また、本実施形態では、顔画像サイズに応じて結合数減少ユニットから特徴検出細胞面への結合範囲を決定する周期を可変としているが、識別すべき顔画像サイズが同程度（例えば、２倍程度のサイズ差まで）であれば、特性判別処理部Ｄ２６は必要がなく、結合数減少ユニットから特徴検出細胞面への結合範囲を決定する周期をある一定値で固定するようにしてもよい。この場合、結合数減少ニューロンが有するサンプリングニューロンの個数ｎは、識別すべき顔画像のうち、想定される最小サイズの顔画像が識別可能である程度の最小個数に予め定めておく必要がある。

また、結合数減少ユニットの結合位置についても、入力画像の中心に位置するように限定する必要はなく、例えば図１（ａ）に示す結合数減少ユニットＵ１２１の場合は、ユニットの中心に位置するサンプリングニューロンを、特性判別処理部Ｄ２６の処理により想定される顔の眉間の位置に対応する位置に配置してもよい。上述したような結合範囲で結合した各サンプリングニューロンは、本実施形態では、その結合範囲内の結合先の出力値の平均値を算出し、その平均値を出力値とする。

尚、このサンプリングニューロンの動作に関しては、これに限るものではない。例えば、結合範囲内の結合先の出力値の最大値を出力値としたり、若しくは結合範囲内の結合先の出力値の絶対値の最大値を出力値としてもよい。または、単純に、結合範囲内の結合先の任意の１つの結合先、例えば中心位置である結合先の出力値を出力するようにしてもよい。また、上述したように、結合範囲の周期がある一定値で固定されている場合には、単純に結合範囲内の結合先の出力値の総和を出力するようにしてもよい。さらに単純には、部分特徴検出細胞面の部分特徴検出ニューロンを、結合数減少ユニットのサンプリングニューロンに対して１つとなるように、予めまばらに配置するようにしてもよい。尚、これについては図１１（ｂ）を用いて後述する。

次に、結合数減少処理部Ｄ２７の結合数減少処理によって減少された入力信号をパーセプトロンを用いて識別する顔画像識別部Ｄ２８処理について説明する。図１におけるＮ１３は顔画像識別ニューロンであり、前述の特徴検出ニューロンと同様の動作をする。また、顔画像識別ニューロンＮ１３は、結合数減少ユニットＵ１２１、Ｕ１２２の各ユニットの全サンプリングニューロンに接続されており、サンプリングニューロンからの出力を受けて前述の特徴検出ニューロンと同様の演算をし、顔が入力画像の中心付近に存在するときに発火する。

演算に用いる重みベクトルは、前述の特徴検出ニューロンと同様に、いくつかのトレーニングデータを与え、教師ありの学習をすることにより、顔が入力画像の中心付近に存在するときに内部状態値が高くなるように設定する。この処理により、顔が入力画像の中心付近にある場合は、顔画像識別ニューロンＮ１３が出力値１に近づき、逆に顔がない場合は出力値−１に近づく。

ここで、結合数減少ユニットが有するサンプリングニューロンの個数が水平方向にＫ個、垂直方向にＬ個であって、顔画像サイズが水平方向Ｗ画素（＞Ｋ）、垂直方向Ｈ画素（＞Ｌ）であるとする。この場合、上記結合数減少ユニットにおける処理により、顔画像識別ニューロンＮ１３の結合数は、結合数減少ユニットを利用しない場合と比較して（Ｋ×Ｌ）／（Ｗ×Ｈ）倍に減少することができる。

尚、顔画像が比較的小さい場合は、結合数を減少させることによって必要な情報の欠落が起こりやすくなる。しかし、本実施形態に係るパターン識別装置では、顔画像が小さい場合は上記Ｗ、Ｈの値がそれぞれＫ、Ｌの値に近くなるので、顔画像識別ニューロンからの結合が高解像度で部分特徴検出細胞面に結合することとなる。従って、従来から問題とされていた、結合数を減少させることによって起こる情報の欠落が少なく、パターン識別における精度の低下を防ぐことができる。また、上述した結合範囲の周期が一定値で固定である場合であっても、想定される最小サイズの顔画像が識別可能である程度の最小個数に予め定めているため、情報の欠落による精度の低下を防ぐことができる。

そして、パターン識別装置の最後の処理を行う識別結果出力部Ｄ２９は、顔画像識別部Ｄ２８での処理による顔画像識別ニューロンＮ１３の出力値に対して閾値処理を行う。その結果、識別結果出力部Ｄ２９は、顔画像識別ニューロンＮ１３の出力値が所定の閾値以上である場合は、入力画像を顔存在画像であると判定して例えば１を出力し、閾値以下である場合には顔不在画像と判定して、例えば０を出力する。

上述したように、本実施形態に係るパターン識別装置では、識別対象となるパターン候補（例えば、上述したような楕円や矩形等の顔画像の候補）を入力画像の所定位置（上述した例では、画像の中央）から抽出した。そして、抽出したパターン候補の特徴（例えば、大きさ）に基づいて、当該パターン候補が所定パターン（すなわち、顔）であるか否かを識別することによって、入力画像に所定パターン（すなわち、顔）が存在するかどうかを識別することができる。

このように、本実施形態に係る構成を備えるパターン認識装置を用いることによって、入力画像の中心に顔画像が存在するか否かの好適な識別が可能になる。また、入力画像、各初期処理結果面及び各部分特徴検出細胞面を、少しずつ位置をずらしながら互いに重なり合うように並列に構成することで、入力画像のどの位置に顔があるかを検出する顔画像検出器として上述したパターン識別装置を適用することも可能である。尚、これについては図１０を用いて後述する。さらに、識別すべき顔画像サイズがほぼ同程度である場合、上述したように結合数減少ユニットからの結合範囲の周期を一定値で固定してもよい。そのため、結合数減少ユニットについても、少しずつ位置をずらし互いに重なり合いながら共有することができる。尚、この実施形態については図１１を用いて後述する。

以上説明したように、第１の実施形態では、入力画像内に顔があるかどうかを階層的ニューラルネットワークを用いて識別し、その際に識別対象である顔画像の大きさに応じて結合数を減少させることで、精度の低下を防ぎつつ、計算コスト（演算量）を低減するパターン識別装置及びその方法について説明した。

＜第２の実施形態＞
本発明の第２の実施形態では、上記第１の実施形態におけるパターン識別装置の変形例として、二次元画像中の顔の位置を検出する顔画像検出装置について説明する。

図５は、本発明の第２の実施形態に係る顔画像検出装置の構成を示すブロック図である。図５において、画像入力部Ｄ５１は、顔検出対象画像となる入力画像を入力する処理部である。本実施形態では、カラー情報は特に必要はないので、グレースケール画像を入力画像に用いる。尚、カラー画像が入力された場合は、第１の実施形態で説明したような処理を行ってグレースケール画像に変換すればよい。

次に、初期特徴検出部Ｄ５２は、局所特徴検出部Ｄ５３で検出する局所特徴の検出にとって必要な初期特徴を画像入力部Ｄ５１から入力された入力画像から検出する処理部である。また、局所特徴検出部Ｄ５３は、初期特徴検出部Ｄ５２で検出された初期特徴検出結果から、分布依存型結合数減少処理部Ｄ５４及び部分特徴検出部Ｄ５５で検出する部分特徴の局所的な特徴を検出する処理部である。尚、本実施形態では、局所特徴として、部分特徴である目、口等を構成する目尻、目頭等の局所的な特徴が検出されるものとする。

さらに、図５に示す分布依存型結合数減少処理部Ｄ５４は、検出対象である部分特徴における局所特徴の分布に応じて、局所特徴検出部Ｄ５３による局所特徴検出結果出力の信号数を所定の方法で減少する処理部である。また、部分特徴検出部Ｄ５５は、分布依存型結合数減少処理部Ｄ５４の処理により減少された信号を受け、目、口等の部分特徴を検出する処理部である。さらに、サイズ依存型結合数減少処理部Ｄ５６は、第１の実施形態におけるパターン識別装置の結合数減少処理部Ｄ２７と同様の機能を有し、検出対象である顔のサイズに応じて、部分特徴検出部Ｄ５５による部分特徴検出の結果出力される信号数を所定の方法で減少する処理部である。

さらにまた、顔画像検出部Ｄ５７は、サイズ依存型結合数減少処理部Ｄ５６の処理により減少された信号を受け、顔を検出する処理部である。そして、検出結果出力部Ｄ５８では、顔画像検出部Ｄ５７の検出結果から、入力画像のどの位置に顔が存在するのかを出力する。

次に、上述した構成の顔画像検出装置の詳細な処理内容について説明する。図６は、第２の実施形態における顔画像検出装置の各処理部の処理によって顔画像が検出されるまでを説明するための図である。図６において、Ｌ６１は入力画像面であり、入力画像の各画素の値が出力される。また、図６のＢ６２は、初期特徴検出細胞層であり、本実施形態では、Ｌ６２１からＬ６２８までの計８種類の初期特徴検出細胞面を有する。尚、上記入力画像面Ｌ６１から初期特徴検出細胞層Ｂ６２への処理が、初期特徴検出部Ｄ５２での処理に対応する。

また、図６において、Ｂ６３は局所特徴検出細胞層であり、本実施形態では、Ｌ６３１からＬ６３４までの計４種類の局所特徴検出細胞面を有する。尚、上記初期特徴検出細胞層Ｂ６２から局所特徴検出細胞面Ｂ６３への処理が、局所特徴検出部Ｄ５３での処理に対応する。さらに、Ｂ６４は部分特徴検出細胞層であり、本実施形態ではＬ６４１とＬ６４２の計２種類の部分特徴である目及び口を検出する部分特徴検出細胞面を有する。すなわち、Ｌ６４１が目検出細胞面であり、Ｌ６４２が口検出細胞面である。尚、それ以外の部分特徴をさらに用いる場合は、当該検出細胞面がさらに増加することになる。

局所特徴検出細胞層Ｂ６３から部分特徴検出細胞層Ｂ６４への処理が、分布依存型結合数減少処理部Ｄ５４及び部分特徴検出部Ｄ５５での処理に対応する。また、図６においてＬ６５は顔検出細胞面であり、部分特徴検出細胞層Ｂ６４から顔検出細胞面Ｌ６５への処理が、サイズ依存型結合数減少処理部Ｄ５６及び顔画像検出部Ｄ５７での処理に対応する。

尚、図６において、実線矢印は、上記第１の実施形態で説明した目検出ニューロン及び口検出ニューロンと同様な前段階層への局所的な結合を示している。また、一点鎖線矢印６Ａ、すなわち、部分特徴検出細胞層Ｂ６４から局所特徴検出細胞層Ｂ６３への矢印は、分布依存型結合数減少処理部Ｄ５４における処理である検出すべき特徴の前段階層での特徴検出結果の分布に応じて結合を変更する処理を行う結合数減少ユニットを介した前段階層への結合を示している。

また、太線点線矢印６Ｂ、すなわち、顔画像検出細胞面Ｌ６５から部分特徴検出細胞層Ｂ６４への矢印は、サイズ依存型結合数減少処理部Ｄ５６における処理である、上記第１の実施形態で説明した、検出すべき特徴の大きさに応じて結合を変更する処理を行う結合数減少ユニットを介した結合を示している。尚、図６で示されるそれぞれの矢印は、上位階層から下位階層への結合を表しており、実際の信号の向きは、矢印の示す方向とは逆方向である。

初期特徴検出部Ｄ５２での処理は、図６の入力画像面Ｌ６１から初期特徴検細胞層Ｂ６２への処理に対応し、上記第１の実施形態における初期処理部Ｄ２２でのエッジ抽出処理と類似している。初期特徴検出細胞層Ｂ６２の各初期特徴検出細胞面は、第１の実施形態で説明した特徴検出ニューロンを、それぞれ入力画像の各画素に対応した位置に有し、それぞれのその位置に応じて入力画像面Ｌ６１の局所的領域に結合している。この特徴検出細胞の重みベクトルも、他の特徴検出細胞面と同様に、初期特徴検出細胞面ごとに同一である。

尚、本実施形態では、この重みベクトルの各要素値は、第１の実施形態で説明した重みベクトルの学習とは異なり、後段階層である局所特徴検出細胞層６３での教師あり学習に伴い、誤差逆伝播法（バックプロパゲーション）を用いて学習する。この方法を用いることにより、各初期特徴検出細胞面の特徴検出ニューロンを局所特徴検出部Ｄ５３での局所特徴の検出にとって必要な初期特徴を検出する特徴検出ニューロンとして学習することができる。

また、本実施形態においては、誤差逆伝播法を用いて学習をしているが、いくつかの任意の画像を与え、自己組織化的に重みベクトルを設定し、最適な初期特徴検出ニューロンとして構成したり、第１の実施形態と同様に何らかの初期特徴をトレーニングデータとして与えて教師ありの学習をしたり、予めエッジに代表されるような初期特徴を検出するための重みベクトルを用いたりするようにしてもよい。

一方、局所特徴検出部Ｄ５３での処理は、図６の初期特徴検出細胞層Ｂ６２から局所特徴検細胞層Ｂ６３への処理に対応し、上述した第１の実施形態における部分特徴検出部Ｄ２３と同様である。ここで、第１の実施形態では、水平及び垂直方向の２方向のエッジ抽出結果である図４に示す初期処理結果面Ｌ４１、Ｌ４２に局所的に結合した特徴検出ニューロンが、部分特徴である目、口の検出を行った。これに対して本実施形態では、８種類の初期特徴検出結果である初期特徴検出細胞面Ｌ６２１〜Ｌ６２８までに局所的に結合した特徴検出ニューロンが、局所特徴を検出する。尚、局所特徴としては、局所特徴検出細胞層Ｂ６３の後段階層である部分特徴検出細胞層Ｂ６４で検出する部分特徴の一部、例えば部分特徴が目であれば、目尻、目頭等を用いる。この部分特徴の一部としては、直線部分、角部分等、大きさの変動によって変化しにくいものを利用することが好ましい。

また、上述したように局所特徴を各部分特徴ごとに設定してもよいが、各部分特徴に共通で利用できるものを局所特徴として利用してもよい。本実施形態では、そのようなものの例として、図７の矩形範囲で示した４種類の特徴を局所特徴て利用する。すなわち、図７は、第２の実施形態で利用される局所特徴の例を示す図である。図７において、Ｒ７１は右目の目尻であり、Ｒ７２は右目の目頭である。また、Ｒ７３は目の上の線であり、Ｒ７４は目の下の線である。

ここで、Ｒ７１〜Ｒ７４は、すべて右目に対応させて示しているが、それぞれの局所特徴は、その他の部分特徴の局所特徴としても用いられる。例えば、Ｒ７１に示す局所特徴は、右目の目尻であると同時に、左目の目頭、口の右端としても用いられる。同様に、Ｒ７２は、左目の目尻、及び口の左端であり、Ｒ７３は上唇の上端、Ｒ７４は下唇の下端としてそれぞれ用いることができる。

局所特徴検出部Ｄ５３では、第１の実施形態の部分特徴検出部Ｄ２３と同様に、上記４種類の局所特徴を検出するための重みベクトルを学習により設定し、第１の実施形態の部分特徴検出部Ｄ２３と同様の演算を行って、４種類の局所特徴を検出する。

また、分布依存型結合数減少処理部Ｄ５４及び部分特徴検出部Ｄ５５での処理は、図６の局所特徴検出細胞層Ｂ６３から部分特徴検細胞層Ｂ６４への処理に対応している。ここでの処理の構成は、第１の実施形態の結合数減少処理部Ｄ２７及び顔画像識別部Ｄ２８の処理の構成と類似しており、ここで目、口の検出が行われる。上述した第１の実施形態の結合数減少処理部Ｄ２７、及び顔画像識別部Ｄ２８では、結合数減少ユニットが顔画像サイズに基づいて可変であったが、ここでは検出すべき部分特徴の前段階層の特徴検出結果の分布、すなわち局所特徴の分布に応じた特定の範囲で結合をする。

図８は、第２の実施形態における分布依存型結合数減少処理部Ｄ５４及び部分特徴検出部Ｄ５５での処理の概要を説明するための図である。まず、分布依存型結合数減少処理部Ｄ５４の処理について説明する。

図８において、Ｌ８１１、・・・、Ｌ８１ｘは局所特徴検出細胞面を示しており、本実施形態においてはｘ＝４である。尚、これらは、図６の局所特徴検出細胞面Ｌ６３１〜Ｌ６３４に相当する細胞面であり、局所特徴検出部Ｄ５３での処理結果に対応するものである。また、図８のＵ８２１、・・・、Ｕ８２ｘは結合数減少ユニットであり、第１の実施形態の結合数減少ユニットＵ１２１等と同様に、複数個のサンプリングニューロンＳＮ８２１−１、・・・、ＳＮ８２１−ｎ、・・・、ＳＮ８２ｘ−１、・・・、ＳＮ８２ｘ−ｍを有する。

図８に示すように、第２の実施形態では、各サンプリングニューロンは、それぞれ異なる大きさの範囲で局所特徴検出細胞面に結合する。この範囲は、部分特徴検出ニューロンＮ８３が検出する特徴と、どの局所特徴検出細胞面に結合するのかに依存している。この結合範囲について、図９を用いて説明する。図９は、第２の実施形態におけるサンプリングニューロンが局所特徴検出細胞面に結合する範囲について説明するための図である。図９において、９Ａはある入力画像の一部の右目の画像を示すものである。また、９Ｂは、９Ａに示される右目の画像に対して、初期特徴検出部Ｄ５２及び局所特徴検出部Ｄ５３の処理により、図７のＲ７１に示した右目の目尻に対応する局所特徴の検出結果を局所特徴検出ニューロンの出力値を輝度に変換して画像化したものである。

９Ｂにおいて画像中で高輝度部分（白い部分）は、図７のＲ７１に示した右目の目尻に対応する局所特徴検出ニューロンが発火、すなわち右目の目尻に対応する局所特徴が検出された箇所である。さらに、９Ｃにおいて、Ｇ９１は、目検出ニューロンから右目の目尻に対応する局所特徴検出細胞面、すなわち９Ｂへの結合における結合数減少ユニットの各サンプリングニューロンからの結合範囲を示したものである。このグリッドＧ９１の全体が、目検出ニューロンから局所特徴である右目の目尻検出細胞面に対する実質的結合範囲であり、各矩形範囲がサンプリングニューロン１つの結合範囲に対応する。

また、９Ｃに示すように、Ｃ９２の点線円内付近は、サンプリングニューロンの結合範囲が小さくなる。すなわち、この部分の結合範囲は高解像度になる。逆に、Ｇ９１の右上下端付近は、結合範囲が低解像度になる。このように、Ｃ９２は、検出すべき特徴である目において、前段階層で検出する局所特徴である右目の目尻の検出結果が密である部分を表している。このような部分の結合を高解像度にすることによって、計算コストを減少させながら、しかも必要な部分の情報の欠落が少ない検出が可能になる。

尚、上述したサンプリングニューロンの結合範囲は、その局所特徴の分布の特性が既知であれば、その分布に応じて予め定めるようにしてもよい。また、部分特徴検出ニューロンの重みベクトルを学習する時に、以下に説明する方法によって同時に学習して決定するようにしてもかまわない。すなわち、当該学習の方法としては、上記第１の実施形態で示した最小二乗アルゴリズム等の学習とともに、結合先である局所特徴検出細胞面の発火状態に応じてサンプリングニューロンの結合範囲の幅を変化させればよい。例えば、あるサンプリングニューロンの結合範囲内に発火したニューロンが比較的多く存在した場合、その発火したニューロンの個数に応じてその範囲を徐々に縮小し、発火したニューロンが比較的少ない、もしくは存在しなければ、それに応じてその範囲を広げていくようにする。当然、サンプリングニューロンの最小の範囲は、１つのサンプリングニューロンに付き、１つの特徴検出ニューロンの出力である。

次に、部分特徴検出部Ｄ５５での処理について説明する。部分特徴検出ニューロンＮ８３は、上述したように設定された結合数減少ユニットのサンプリングニューロンに結合し、第１の実施形態で説明した特徴検出細胞と同様の演算により、部分特徴の検出を行う。このような構成を、図１０に示すように並列に並べることで、部分特徴検出面を形成する。

すなわち、図１０は、結合数減少ユニットを有する特徴検出細胞による特徴検出細胞面の構成を示す図である。図１０において、Ｌ１０１１、Ｌ１０１ｘは、部分特徴検出ニューロン・・・、Ｎ１０３−ｋ−１、Ｎ１０３−ｋ、Ｎ１０３−ｋ＋１、・・・の結合先である局所特徴検出細胞面である。また、部分特徴検出ニューロン・・・、Ｎ１０３−ｋ−１、Ｎ１０３−ｋ、Ｎ１０３−ｋ＋１、・・・は、図８の部分特徴検出ニューロンＮ８３と同様のものである。これらの各部分特徴検出ニューロンを、図１０に示すように並列に並べることによって、部分特徴検出細胞面となる。

図１０において、同一の部分特徴細胞面内では、重みベクトルは上記第１の実施形態で説明したように同一のものであり、ここでは各部分特徴検出ニューロンが有する結合数減少ユニット・・・、Ｕ１０２１−ｋ−１、・・・、Ｕ１０２１−ｋ、・・・、Ｕ１０２ｘ−ｋ、・・・、Ｕ１０２ｘ−ｋ＋１、・・・の構造も、結合する局所特徴検出細胞ごとに同一のものである。すなわち、同じ検出細胞面に結合している結合数減少ユニットＵ１０２１−ｋ−１と、Ｕ１０２１−ｋでは結合する位置は異なるが、それぞれのサンプリングニューロンの結合範囲の幅は同一である。本実施形態では、図１０の部分特徴検出ニューロンＮ１０３−ｋを含む面が２つ並列に存在し、それぞれが目検出細胞面、口検出細胞面となり、上記方法によって入力画像から目、口の検出が行われる。

次に、サイズ依存型結合数減少処理部Ｄ５６及び顔画像検出部Ｄ５７における処理は、図６の部分特徴検出細胞層Ｂ６４から顔画像検細胞面Ｌ６５への処理に対応し、第１の実施形態の結合数減少処理部Ｄ２７及び顔画像識別部Ｄ２８の処理と同様のものである。すなわち、図１に示す構成を並列に配置することで、目、口の検出結果から顔の検出を行う。

図１１は、第２の実施形態におけるサイズ依存型結合数減少処理部Ｄ５６及び顔画像検出部Ｄ５７での処理の概要を説明するための図である。まず、図１１（ａ）を用いて、サイズ依存型結合数減少処理部Ｄ５６の処理について説明する。図１１（ａ）においてＬ１１１１は目検出細胞面、Ｌ１１１２は口検出細胞面である。本実施形態では、検出する顔画像はほぼ同程度のサイズであるとし、結合数減少ユニットＵ１１２１、Ｕ１１２２のサンプリングニューロンの結合範囲は、一定の周期で固定であるとする。この場合、上記部分特徴検出部Ｄ５５での処理とは異なり、結合数減少ユニットの共有が可能になる。

また、図１１（ａ）に示すように、顔検出ニューロン・・・、Ｎ１１３−ｋ−１、Ｎ１１３−ｋ、Ｎ１１３−ｋ＋１、・・・は、個別の結合数減少ユニットを持つ必要がなく、結合数減少ユニットへの結合位置を顔検出ニューロンの位置に応じてずらすことで、複数の顔検出ニューロン・・・、Ｎ１１３−ｋ−１、Ｎ１１３−ｋ、Ｎ１１３−ｋ＋１、・・・間で多重共有を行う。上記の方法により、さらに計算コストの減少をすることができる。

さらに、図１１（ｂ）に示すように、前段階層である目検出細胞面、口検出細胞面のＮ１１１１−ｙやＮ１１１２−ｚのような各特徴検出ニューロンを、サンプリングニューロン１つに対し１つであるように予めまばらに配置しておくことで、計算コストをさらに低減することができる。この場合、サンプリングニューロンは特に演算を必要としないので、単なるバイパスとなり、構造上は特に存在する必要はなくなる。

次に、顔画像検出部Ｄ５７での処理について説明する。顔検出ニューロン・・・、Ｎ１１３−ｋ−１、Ｎ１１３−ｋ、Ｎ１１３−ｋ＋１、・・・は、図１の顔画像識別ニューロンＮ１３と同様に、対応する位置付近を中心とする顔画像が存在した場合、発火するように重みベクトルを学習により設定する。

また、最後の処理である検出結果出力部Ｄ５８は、顔画像検出部Ｄ５７での処理による顔検出ニューロン・・・、Ｎ１１３−ｋ−１、Ｎ１１３−ｋ、Ｎ１１３−ｋ＋１、・・・の出力値に単純な閾値処理をし、その顔検出ニューロンの出力値が所定の閾値以上であるものを、その顔検出ニューロンに対応した位置付近を中心とする顔が存在すると判定し、その顔検出ニューロンの位置を出力する。上記方法により、入力画像中のどの位置に顔が存在するかの検出が可能となる。

以上説明したように、第２の実施形態では、第１の実施形態におけるパターン識別装置の変形例として、二次元画像中の顔を好適に検出する顔画像検出装置及びその方法について説明した。

＜第３の実施形態＞
第３の実施形態では、上記第１の実施形態におけるパターン識別装置の変形例として、特性判別ニューロンを利用した顔の識別を行う顔画像識別装置及びその方法について説明する。

図１２は、本発明の第３の実施形態に係る顔画像識別装置の構成を示すブロック図である。第１の実施形態に係るパターン識別装置では、入力画像の色情報等を利用して顔画像のサイズを判別したが、本実施形態に係る顔画像識別装置では特性判別ニューロンを用いて、顔画像のサイズを判別する。図１２における画像入力部Ｄ１２１、初期処理部Ｄ１２２、及び部分特徴検出部Ｄ１２３は、それぞれ上記第１の実施形態におけるパターン識別装置の画像入力部Ｄ２１、初期処理部Ｄ２２、及び部分特徴検出部Ｄ２３と同様のものである。

また、図１２に示す特性判別処理部Ｄ１２４は、部分特徴検出部Ｄ１２３での部分特徴特徴検出結果から、後段階層で検出すべき顔画像のサイズに対応するものとして両目間の距離を判別し、それを結合数減少処理部Ｄ１２５に出力する。結合数減少処理部Ｄ１２５では、特性判別処理部Ｄ１２４からの出力を受けて、第１の実施形態の結合数減少処理部Ｄ２７での処理と同様に、部分特徴検出結果出力の信号数を所定の方法で減少させる。

さらに、顔画像識別部Ｄ１２６では、結合数減少処理部Ｄ１２５の処理により減少された信号を受け、顔画像が入力画像の中心付近にあるかどうかの識別を行う。そして、識別結果出力部Ｄ１２７は、第１の実施形態における識別結果出力部Ｄ２９と同様の処理部である。

次に、特性判別処理部Ｄ１２４での詳細な処理について図１３を用いて説明する。図１３は、第３の実施形態に係る特性判別処理部Ｄ１２４、結合数減少処理部Ｄ１２５及び顔画像識別部Ｄ１２６の処理内容を説明するための図である。図１３のＬ１３１１及びＬ１３１２は、上記第１の実施形態で説明した図１の部分特徴検出細胞面Ｌ１１１、Ｌ１１２と同様のものであり、それぞれＬ１３１１は目検出結果、Ｌ１３１２は口検出結果に対応する。

また、Ｕ１３２１及びＵ１３２２は、同様に、第１の実施形態において説明した一定の周期で前段階層に結合する結合数減少ユニットであり、顔画像識別ニューロンＮ１３３への結合数を減少させる。さらに、顔画像識別ニューロンＮ１３３も第１の実施形態の顔画像識別ニューロンＮ１３と同様であり、その他の特徴検出ニューロンと同様の演算を行う。

ここで、第１の実施形態では、図２の顔画像領域判別部Ｄ２４により色情報等から顔画像領域を抽出し、顔画像サイズ判別部Ｄ２５からの出力を受け、結合数減少ユニットの前段階層への結合間隔の周期を変更した。一方、本実施形態では、目検出細胞面Ｌ１３１１に結合した特性判別ニューロンＤＮ１３４からの出力を受けて、結合数減少ユニットの前段階層への結合の周期を変更する。ここで、特性判別ニューロンＤＮ１３４は、前述した特徴検出ニューロンやサンプリングニューロンとはまた異なる動作をするニューロンである。

すなわち、前述の特徴検出ニューロンは、その特徴検出ニューロンの対応した位置にある特徴が存在するかどうかを出力し、サンプリングニューロンは、結合範囲内の平均的情報を出力した。これに対し、特性判別ニューロンＤＮ１３４は、ある特徴のもつ特性を出力する。本実施形態では、目検出細胞面からの出力を受けて、目検出位置間の距離情報を出力するものとする。

図１４は、第３の実施形態における目検出結果と特性判別ニューロンの出力例を示す図である。図１４（ａ）、（ｂ）において上部に示した画像は、目検出細胞面の出力値を輝度に変換して画像化したものである。この画像において、高輝度の部分（白くなっている部分）は、目検出ニューロンが発火している、すなわち目が検出された部分である。一方、図１４（ａ）、（ｂ）の下部に示されるグラフは、上部の画像中のＸ−Ｙで示した線上に位置する特性判別ニューロンの出力値をプロットしたものである。

図１４の各グラフが示すように、本実施形態での特性判別ニューロンの出力値は、検出された２つの目の中点位置において、その２つの目の間隔に比例した出力値となり、その他の部分ではほぼ０になっている。この出力値に応じて、図１３の図中に示される白抜き矢印１３１のように、結合数減少ユニットの結合範囲が変化する。本実施形態では、特性判別ニューロンは目検出細胞面のみに結合しており、結合範囲は想定しうる最大サイズの顔の両目が範囲内に入る程度である。

また、特性判別ニューロンでの演算は、特徴検出ニューロンとほぼ同様であり、結合範囲の結合先を入力ベクトルとし、ある重みベクトルとの内積演算を行って内部状態値を算出し、その出力値に所定の変換を行うことによって出力値とする。本実施形態では、前記所定の変換として式（５）に示すような単純な線形変換を用いた。

特性判別ニューロンでの演算に用いられる重みベクトルは、上記第１の実施形態の特徴検出ニューロンの重みベクトルの学習と同様に、あるトレーニングデータを与え、所定の出力値を得られるように学習すればよい。
尚、特性判別ニューロンの判別する特性としては、本実施形態ではある特徴の大きさに比例する特性を検出したが、ある特徴の前段階層の特徴の分布を判別し、結合数減少ユニットの結合範囲を変化させたり、ある特徴の主方向、若しくは面内回転角度成分を判別し、それに応じて結合数減少ユニットを回転させたりするというように利用してもよい。後者の結合数減少ユニットを回転させる方法の場合は、ある特徴検出における回転対応の効果もあり、必ずしも上記のように結合数を減少させる必要はない。

また、特性判別ニューロンの結合範囲に関しても、本実施形態では単一の特徴検出細胞面のみに結合していたが、複数の細胞面に結合、例えば目検出細胞面と口検出細胞面に結合し、眉間と口の間の距離を出力するようにしてもよい。また、上述したような特性判別ニューロンを各特徴検出ニューロンに複数個備えて、水平、垂直サイズ、回転角等の情報を同時に扱ってもよい。また、本実施形態では、特性判別ニューロンから特徴検出細胞面への結合間に結合数減少ユニットは用いていないが、計算コスト低減のために、特性判別ニューロンと特徴検出細胞面間に結合数減少ユニットを挿入するようにしてもよい。

さらに、特性判別ニューロンでの所定の変換として、本実施形態では線形変換を用いたが、特徴検出ニューロンでの非線形変換を利用してもよい。但し、この場合、出力値がある範囲に限定されるため、特徴の特性をあらわすために適当に正規化する必要がある。上述したように、本実施形態に係る顔画像識別装置を用いることによって、検出すべき特徴の特性を判別し、結合数減少ユニットの結合範囲を変化さることによって、顔画像識別ニューロンＮ１３３を用いて、その顔画像識別ニューロンに対応する位置に顔画像が存在するかどうかの好適な識別が可能になる。

以上説明したように、第３の実施形態では、上記第１の実施形態におけるパターン識別装置の変形例として、特性判別ニューロンを利用した顔の識別方法の例について説明した。

＜その他の実施形態＞
上述した実施形態では、階層型ニューラルネットワークの一例としてパーセプトロンを用いてパターン識別処理を行っているが、フィードバック処理を含むその他の階層型ニューラルネットワークや層内結合したニューラルネットワーク、或いは相互結合型ニューラルネットワークを用いた場合であっても、入力ユニット数を減少することができるという効果上、同様に適用することが可能である。

以上、実施形態例を詳述したが、本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体等としての実施態様をとることが可能であり、具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

尚、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図に示すフローチャートに対応したプログラム）を、システムあるいは装置に直接あるいは遠隔から供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であっても良い。

プログラムを供給するための記録媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などがある。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。

本発明の第１の実施形態におけるパーセプトロンを用いた結合数減少処理及び入力信号識別処理を説明するための概要図である。 本発明の第１の実施形態に係るパターン識別処理を行うパターン識別装置の構成を示すブロック図である。 第１の実施形態に係るパターン識別装置の初期処理部Ｄ２２での処理手順を説明するためのフローチャートである。 第１の実施形態に係るパターン識別装置の部分特徴検出部Ｄ２３における処理の概要を説明するための概要図である。 本発明の第２の実施形態に係る顔画像検出装置の構成を示すブロック図である。 第２の実施形態における顔画像検出装置の各処理部の処理によって顔画像が検出されるまでを説明するための図である。 第２の実施形態で利用される局所特徴の例を示す図である。 第２の実施形態における分布依存型結合数減少処理部Ｄ５４及び部分特徴検出部Ｄ５５での処理の概要を説明するための図である。 第２の実施形態におけるサンプリングニューロンが局所特徴検出細胞面に結合する範囲について説明するための図である。 結合数減少ユニットを有する特徴検出細胞による特徴検出細胞面の構成を示す図である。 第２の実施形態におけるサイズ依存型結合数減少処理部Ｄ５６及び顔画像検出部Ｄ５７での処理の概要を説明するための図である。 本発明の第３の実施形態に係る顔画像識別装置の構成を示すブロック図である。 第３の実施形態における目検出結果と特性判別ニューロンの出力例を示す図である。 第３の実施形態における目検出結果と特性判別ニューロンの出力例を示す図である。 第１の実施形態に係るパターン識別装置によるパターン識別処理手順を説明するためのフローチャートである。

符号の説明

Ｄ２１、Ｄ５１、Ｄ１２１ 画像入力部
Ｄ２２、Ｄ１２２ 初期処理部
Ｄ２３、Ｄ５５、Ｄ１２３ 部分特徴検出部
Ｄ２４ 顔画像領域判別部
Ｄ２５ 顔画像サイズ判別部
Ｄ２６、Ｄ１２４ 特性判別処理部
Ｄ２７、Ｄ１２５ 結合数減少処理部
Ｄ２８、Ｄ１２６ 顔画像識別部
Ｄ２９、Ｄ１２７ 識別結果出力部
Ｄ５２ 初期特徴検出部
Ｄ５３ 局所特徴検出部
Ｄ５４ 分布依存型結合数減少処理部
Ｄ５６ サイズ依存型結合数減少処理部
Ｄ５７ 顔画像検出部
Ｄ５８ 検出結果出力部

Claims (20)

1. 階層型ニューラルネットワークを用いて、画像中の所定パターンの有無を識別するパターン識別方法であって、
   前記画像の特徴を上位ユニットにより検出する検出工程と、
   前記特徴に基づいて前記画像の特性を判別する判別工程と、
   前記判別工程により判別された画像の特性に基づいて、前記上位ユニットと下位ユニットとの結合数を減少させる減少工程と、
   前記減少工程によって前記結合数を減少させた前記下位ユニットを用いて、前記画像中の前記パターンの有無を識別する識別工程と
   を有することを特徴とするパターン識別方法。
2. 識別対象となるパターン候補を前記画像の所定位置から抽出する抽出工程をさらに有し、
   前記識別工程が、前記パターン候補の特徴に基づいて、該パターン候補が前記所定パターンであるか否かを識別することによって、前記画像中の該所定パターンの有無を識別することを特徴とする請求項１に記載のパターン識別方法。
3. 前記パターン候補の特徴が、前記画像中における該パターン候補の大きさであって、
   前記減少工程が、前記パターン候補の大きさに基づいて、前記上位ユニットと前記下位ユニットとの結合範囲を制限することを特徴とする請求項１又は２に記載のパターン識別方法。
4. 前記検出工程が、
   前記画像のエッジ成分を複数方向に強調した複数の特徴検出画像を生成する第１の工程と、
   前記特徴検出画像の各画素を入力ベクトルとして階層型ニューラルネットワークを用いて前記パターンの部分特徴ごとの部分特徴画像を生成する第２の工程と、
   前記部分特徴画像の各画素を出力する第３の工程と
   を有することを特徴とする請求項１から３までのいずれか１項に記載のパターン識別方法。
5. 前記減少工程が、所定周期ごとに前記上位ユニットを区分して、区分されたそれぞれの周期に属する上位ユニットに関する結合を１つにまとめることを特徴とする請求項１から４までのいずれか１項に記載のパターン識別方法。
6. 前記減少工程が、区分された周期ごとの上位ユニットの出力値の平均値を算出して、該平均値に基づいて前記結合を１つにまとめることを特徴とする請求項５に記載のパターン識別方法。
7. 前記減少工程が、区分された周期ごとの上位ユニットの出力値の最大値を算出して、該最大値に基づいて前記結合を１つにまとめることを特徴とする請求項５に記載のパターン識別方法。
8. 前記減少工程が、区分された周期ごとの上位ユニットの出力値の絶対値の最大値を算出して、該最大値に基づいて前記結合を１つにまとめることを特徴とする請求項５に記載のパターン識別方法。
9. 前記減少工程が、区分された周期ごとの上位ユニットのうち所定の上位ユニットの出力値に基づいて前記結合を１つにまとめることを特徴とする請求項５に記載のパターン識別方法。
10. 前記部分特徴画像ごとに前記上位ユニットと前記下位ユニットとの結合係数が異なり、それぞれの前記部分特徴画像内の前記結合係数が同一であることを特徴とする請求項３に記載のパターン識別方法。
11. 前記検出工程が、
    前記画像に関する局所特徴を局所特徴検出層により検出する第１の工程と、
    前記局所特徴の分布に基づいて、前記局所特徴検出層と部分特徴検出層とのユニットの結合を減少させる第２の工程と、
    前記第２の工程により前記局所特徴検出層とのユニットの結合数を減少させた前記部分特徴検出層を用いて、前記パターンの部分特徴を検出する第３の工程と
    を有することを特徴とする請求項１から３までのいずれか１項に記載のパターン識別方法。
12. 前記第２の工程が、前記局所特徴の分布に基づいて、前記局所特徴検出層の所定ユニットに関する結合を１つにまとめることを特徴とする請求項１１に記載のパターン識別方法。
13. 前記入力画像の各画素に対して前記識別工程による前記パターンの有無の識別を行い、前記下位ユニットの出力値が所定値以上の前記画像中の位置を該パターンの位置として判定する判定工程をさらに有することを特徴とする請求項１１又は１２に記載のパターン識別方法。
14. 前記第２の工程は、
    前記局所特徴の分布が密である部分については、前記局所特徴検出層と前記部分特徴検出層とのユニットの結合数を多くし、
    前記局所特徴の分布が疎である部分については、前記局所特徴検出層と前記部分特徴検出層とのユニットとをの結合数を多くし、前記局所特徴検出層と前記部分特徴検出層とのユニットの結合数を少なくする
    ことを特徴とする請求項１１に記載のパターン識別方法。
15. 前記パターンの特徴が、前記画像中における該パターンの所定部分特徴間の距離情報であって、
    前記減少工程が、前記所定部分特徴間の距離情報に基づいて、前記所定の上位ユニットに関する結合を１つにまとめることを特徴とする請求項１に記載のパターン識別方法。
16. 前記減少工程が、前記下位ユニットの結合先の所定の上位ユニットの出力を１つにまとめることを特徴とする請求項１から１５までのいずれか１項に記載のパターン識別方法。
17. 前記減少工程が、前記所定の上位ユニットの結合先アドレスを制限することを特徴とする請求項１から１５までのいずれか１項に記載のパターン識別方法。
18. 階層型ニューラルネットワークを用いて、画像中の所定パターンの有無を識別するパターン識別装置であって、
    前記画像の特徴を上位ユニットにより検出する検出手段と、
    前記特徴に基づいて前記画像の特性を判別する判別手段と、
    前記判別手段により判別された画像の特性に基づいて、前記上位ユニットと下位ユニットとの結合数を減少させる減少手段と、
    前記減少手段によって前記結合数を減少させた前記下位ユニットを用いて、前記画像中の前記パターンの有無を識別する識別手段と
    を備えることを特徴とするパターン識別装置。
19. 階層型ニューラルネットワークを用いて、画像中の所定パターンの有無を識別するコンピュータに、
    前記画像の特徴を上位ユニットにより検出する検出手順と、
    前記特徴に基づいて前記画像の特性を判別する判別手順と、
    前記判別手順により判別された画像の特性に基づいて、前記上位ユニットと下位ユニットとの結合数を減少させる減少手順と、
    前記減少手順によって前記結合数を減少させた前記下位ユニットを用いて、前記画像中の前記パターンの有無を識別する識別手順と
    を実行させるためのプログラム。
20. 請求項１９に記載のプログラムを格納したことを特徴とするコンピュータ読み取り可能な記録媒体。

Images