JP2014041486A - 信号処理方法及び信号処理装置 - Google Patents

Abstract

【課題】 空間フィルタ処理結果を符号化して得られる特徴量を、低次元でかつパターン識別に好ましく表現する。
【解決手段】 画像データ等の多次元データに対して空間フィルタ処理を実行して空間フィルタ処理結果データを生成し、空間フィルタ処理結果データのうち注目画素における値と、該注目画素に対して予め定められた相対位置にある参照画素における値とを用いて符号化することにより、符号化結果データを出力する信号処理方法であって、空間フィルタ処理に使用する空間フィルタの特性に応じて、符号化に使用する参照画素の相対位置を切り替えることを特徴とする。
【選択図】 図１

Description

本発明は、信号処理方法及び信号処理装置に関し、特に、画像データ等の多次元データからパターン識別に好適な特徴量を抽出する技術に関する。

顔認証等のパターン識別に有効な特徴量として、非特許文献１に記載のＬＧＢＰ（Ｌｏｃａｌ Ｇａｂｏｒ Ｂｉｎａｒｙ Ｐａｔｔｅｒｎ）が提案されている。ＬＧＢＰとは、入力画像データに対して数十枚のＧａｂｏｒ Ｗａｖｅｌｅｔフィルタ処理を施し、フィルタ処理後の画像データから非特許文献２に記載のＬＢＰ（Ｌｏｃａｌ Ｂｉｎａｒｙ Ｐａｔｔｅｒｎ）を抽出することにより得られる特徴量のことである。

ＬＢＰを抽出するための処理の概要を図１４に示す。ＬＢＰは、式（１）に示すように、注目画素（ｘ、ｙ）と、該注目画素に隣接する８画素（参照画素（ｘ＋ｘ_ｎ、ｙ＋ｙ_ｎ）と称す）に基づいて計算される８ｂｉｔの特徴量である。

なお、図１４の例では、閾値ｔｈ＝０としている。また、相対位置（ｘ_ｎ、ｙ_ｎ）は、注目画素の真上の画素を（ｘ_０，ｙ_０）＝（０，１）として、そこから注目画素を時計まわりに囲うように（ｘ_１，ｙ_１）＝（１，１）、（ｘ_２，ｙ_２）＝（１，０）、・・・、（ｘ_７、ｙ_７）＝（−１，１）としている。

一方、ＬＢＰと類似した特徴量として非特許文献３に記載の増分符号が挙げられる。増分符号化処理の概要を図１５に示す。座標（ｘ、ｙ）における増分符号は式（３）により計算される。

ここで、式（１）と式（３）とを比較すると、増分符号は、ｎ＝０の参照画素のみを使用したＬＢＰであることが分かる。なお、公知の増分符号化処理では、すべての入力画像データに対して同じ相対位置の画素を参照画素として使用する。図１５に示した例では、注目画素に対する相対位置が（ｘ_０、ｙ_０）＝（０、１）である画素を参照画素として使用している。

更に、特許文献１では、参照画素の相対位置を予め固定するのではなく、注目画素との画素値の差に基づき（つまり、入力画像データの内容に応じて）参照画素の相対位置を動的に決定する方法が提案されている。特許文献１に記載の手法の概要を図１６に示す。図１６では、探索方向を上方向、閾値ｔｈ＝１０とした場合の例を示している。

特許文献１に記載の手法では、注目画素から予め定められた方向に沿って、注目画素に近い画素から順に注目画素との画素値の差が閾値よりも大きい画素を探索していき、その条件を満たす最初に出現した画素を参照画素としている。さらに、参照画素と注目画素との画素値の差を式（３）同様の処理により符号化して特徴量としている。このように、特許文献１に記載の手法の場合、注目画素と参照画素との相対位置が、入力画像データの内容に応じて決定されるため、参照画素の注目画素に対する相対位置も入力画像データから抽出される特徴量の一部と解釈することができる。

特許第３８３１２３２号公報

W. Zhang，S. Shan，W. Gao，X. Chen，H. Zhang1，"Local Gabor Binary Pattern Histogram Sequence (LGBPHS): A Novel Non-Statistical Model for Face Representation and Recognition"，Proc. IEEE International Conference on Computer Vision，pp. 768-791，2005. T. Ojala，M. Pietikainen，D. Harwood，"A Comparative Study of Texture Measures with Classification Based on Featured Distributions"，Pattern Recognition，Vol. 29，51-59，1996. 村瀬一郎，金子俊一，五十嵐悟，"増分符号相関によるロバスト画像照合"，電子情報通信学会論文誌 D-II，Vol. J83-D-II，No. 5，pp. 1323-1331，2000.

上述したように、ＬＧＢＰは、パターン識別に有効な特徴量として顔認証等に広く利用されているが、高い識別精度を得るためには数十枚のＧａｂｏｒＷａｖｅｌｅｔフィルタを使用する必要がある。例えば、４０枚のＧａｂｏｒＷａｖｅｌｅｔフィルタを使用した場合、その結果生成されるＬＧＢＰのデータ量は、「出力データサイズ×４０枚×８ｂｉｔ」となる。一例として、出力データサイズが６４×６４として計算すると、上記ＬＧＢＰのデータ量は約１．３Ｍｂｉｔとなる。つまり、ＬＧＢＰの場合、特にパターン識別をハードウェアとして実装する場合において、装置全体のコストが増加するという課題がある。

これに対して、ＬＧＢＰのデータ量を削減するために、ＧａｂｏｒＷａｖｅｌｅｔフィルタ処理後の画像データからＬＢＰを抽出する代わりに、増分符号化処理を用いることが考えられる。増分符号の場合、ＬＢＰのデータ量と比較して、データ量を１／８に削減することができるからである。

しかしながら、増分符号の場合、ＬＢＰと比較してデータ量が少なくなるため、パターン識別の識別精度が低下することが考えられる。

これに対して、上記特許文献１のように、注目画素に対する参照画素の相対位置を入力画像データの内容に応じて決定し、決定した参照画素と注目画素とを用いて増分符号化処理を行う手法が考えられる。

しかしながら、顔認証の場合、照合に用いる登録データ毎に、かつ、各抽出すべき顔の特徴点ごとに参照画素の相対位置が異なってくる。このため、登録データごとに、すべての顔の特徴点ついて参照画素の注目画素に対する相対位置を示す情報を保持しておく必要があり、各登録データのデータ量が大きくなってしまうという課題がある。また、個々の登録データとの照合の際に用いるデータ量も、相対位置を示す情報の分だけ大きくなってしまう。このことは、特に顔認証をハードウェアで実現する場合において、処理時間の増大や回路規模の増加といった不利益をもたらす。

本発明は、上記課題に鑑みてなされたものであり、多次元データからパターン識別に好適な特徴量を抽出するにあたり、パターン識別の識別精度の向上とデータ量の削減とを両立させることを目的とする。

上記の目的を達成するために、本発明に係る信号処理方法は、例えば、以下のような構成を備える。即ち、
多次元のデータに対して空間フィルタ処理を実行することで空間フィルタ処理結果データを生成し、
前記空間フィルタ処理結果データを、前記空間フィルタ処理結果データのうちの注目画素における値と、該注目画素に対して予め定められた相対位置にある参照画素における値とを用いて符号化することにより、符号化結果データを出力する信号処理方法であって、
前記参照画素の相対位置は、前記空間フィルタ処理に使用する空間フィルタの特性に応じて予め定められていることを特徴とする。

本発明によれば、多次元データからパターン識別に好適な特徴量を抽出するにあたり、パターン識別の識別精度の向上とデータ量の削減とを両立させることが可能となる。

より具体的には、入力画像データに対してＧａｂｏｒＷａｖｅｌｅｔフィルタのような周波数特性に偏りのある空間フィルタを適用した後に符号化処理することにより得られる特徴量を、従来よりも低次元でかつ好ましく表現することが可能となる。

第１の実施形態に係る信号処理装置の構成例を示すブロック図である。 信号処理装置におけるパターン識別処理を示すフローチャートである。 顔認証の結果画像の一例を示す図である。 特徴量抽出処理を示すフローチャートである。 ＧａｂｏｒＷａｖｅｌｅｔフィルタの周波数特性を示す図である。 空間フィルタのメモリへの格納方法を説明する図である。 空間フィルタ処理の概要を示す図である。 空間フィルタ番号と参照画素の注目画素に対する相対位置との対応テーブルの一例を示す図である。 空間フィルタと参照画素の注目画素に対する相対位置との関係を説明する図である。 符号化方式の入出力関係の変形例を示す図である。 登録データ作成処理を示すフローチャートである。 第３の実施形態に係る信号処理装置の構成例を示すブロック図である。 第４の実施形態に係る信号処理装置の構成例を示すブロック図である。 入力画素値からＬＢＰを抽出する処理を説明する図である。 入力画素値から増分符号を抽出する処理を説明する図である。 入力画素値を特許文献１に記載の手法により符号化する処理を説明する図である。

以下、本発明の各実施形態を、図面を参照しながら詳細に説明する。なお、以下の各実施形態では、本発明に係る信号処理方法を、パターン識別における特徴量抽出処理に適用する例について説明する。また、以下の各実施形態では、多次元のデータの例として２次元の画像データを用いる場合について説明する。

［第１の実施形態］
＜１．信号処理装置の構成例＞
図１は、本発明の第１の実施形態に係る信号処理方法を実現可能な信号処理装置１００の一構成例を示すブロック図である。

データ保存部１０２は、画像データを保持する機能を有する。なお、データ保存部１０２には、画像データの他、プログラムやその他のデータを保存することも可能である。

データ保存部１０２は、通常は、ハードディスク、フレキシブルディスク、ＣＤ−ＲＯＭ、ＣＤ−ＲやＤＶＤ、メモリーカード、ＣＦカード、スマートメディア、ＳＤカード、メモリスティック、ｘＤピクチャーカード、ＵＳＢメモリ等で構成される。なお、後述するＲＡＭ１０６の一部をデータ保存部１０２として用いるようにしてもよい。あるいは、後述する通信部１０３により接続した外部の機器の記憶装置を、データ保存部１０２として、通信部１０３を介して利用するようにしてもよい。

表示部１０７は、パターン識別処理前、または、パターン識別処理後の画像データを表示、あるいはＧＵＩ等の画像データを表示する装置であり、一般的にはＣＲＴや液晶ディスプレイなどが用いられる。なお、ケーブル等を介して接続された外部のディスプレイ装置を表示部１０７として利用するようにしてもよい。

入力部１０１は、ユーザからの指示や、各種データを入力する装置で、キーボードやポインティング装置を含む。なお、ポインティング装置としては、マウス、トラックボール、トラックパッド、タブレット等が挙げられる。あるいは、信号処理装置１００を、公知のデジタルカメラやプリンタなどの装置に適用する場合にあっては、ボタンやダイヤル等により構成してもよい。また、キーボードをソフトウェアで構成（ソフトウェアキーボードで構成）し、ボタンやダイヤル、あるいは先に挙げたポインティングデバイスを操作して文字を入力する構成であってもよい。

また、公知のタッチスクリーン装置のように、表示部１０７と入力部１０１とが同一装置として構成されていてもよい。その場合、タッチスクリーン装置を介しての入力を入力部１０１の入力として扱う。

ＣＰＵ１０４は、本実施形態に係る信号処理方法を実現するためのプログラムを実行すると共に信号処理装置１００全体の動作を制御する。ＲＯＭ１０５とＲＡＭ１０６は、本実施形態に係る信号処理方法を実現するためのプログラム、データ、作業領域などをＣＰＵ１０４に提供する。当該プログラムがデータ保存部１０２やＲＯＭ１０５等に格納されている場合、当該プログラムは、一旦、ＲＡＭ１０６に読み込まれてから実行される。また、外部の機器から通信部１０３を経由して信号処理装置１００がプログラムを受信する場合には、一旦、データ保存部１０２に記録した後に、ＲＡＭ１０６に読み込まれるか、直接、通信部１０３からＲＡＭ１０６に読み込まれてから実行される。

ＣＰＵ１０４により処理されたパターン識別結果は、ＲＡＭ１０６に保存されるか、あるいは通信部１０３を介して外部の機器に送信される。

なお、図１の例では、ＣＰＵが１つ（ＣＰＵ１０４）の場合について示しているが、本発明はこれに限定されず、ＣＰＵは複数であってもよい。

通信部１０３は、外部の機器との通信を行うためのＩ／Ｆである。これは例えば、公知のローカルエリアネットワーク、ＵＳＢ、ＩＥＥＥ１２８４、ＩＥＥＥ１３９４、電話回線などの有線通信方式であってもよい。あるいは赤外線（ＩｒＤＡ）、ＩＥＥＥ８０２．１１ａ、ＩＥＥＥ８０２．１１ｂ、ＩＥＥＥ８０２．１１ｇ、ＩＥＥＥ８０２．１１ｎ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＵＷＢ（Ｕｌｔｒａ ｗｉｄｅ Ｂａｎｄ）等の無線通信方式であってもよい。

なお、図１では入力部１０１、データ保存部１０２、表示部１０７が全て１つの装置内に収容される構成となっているが、本発明はこれに限定されない。各部が公知の通信方式による通信路で接続され、全体として上記のような構成を有するのであれば、１つの装置内に収容されている必要はない。

システム構成については、上記以外にも様々な構成要素が存在するが、本発明の主眼ではないので、ここでは、その説明は省略する。

＜２．パターン識別処理の概要＞
次に、パターン識別処理について図２を用いて説明する。図２は、ＣＰＵ１０４により処理される、本実施形態に係る信号処理方法を含むパターン識別処理全体の流れを示すフローチャートである。本実施形態では、パターン識別処理として顔認証処理を例に挙げて説明する。ここで、顔認証処理とは、入力された顔画像データから抽出された特徴量と、予め作成しておいた登録データとを比較することにより個人を特定する処理をいう。本実施形態では、顔認証処理における特徴量抽出処理において、本実施形態に係る信号処理方法を適用する例について説明するが、本実施形態に係る信号処理方法は他のパターン識別処理における特徴量抽出処理に対しても適用可能である。

なお、使用する顔画像データは、顔認証処理に先立って、以下の手順に従って作成され、ＲＡＭ１０６に保存されているものとする。まず、データ保存部１０２に保存されている画像データをＲＡＭ１０６に格納する。次に、ＲＡＭ１０６に格納した画像データを８ｂｉｔ符号なし輝度画像データに変換する。そして、公知の顔検出手法により顔領域を検出し、予め定めたサイズにリサイズすることで顔画像データを生成し、ＲＡＭ１０６に保存する。このとき、顔認証処理の結果を表示するための情報として、検出された顔領域の元の画像データにおける位置及びサイズ情報を、生成した顔画像データに関連付けてＲＡＭ１０６に保存する。なお、顔画像データの作成手順はこれに限定されず、外部の機器により実行された結果を通信部１０３を介してＲＡＭ１０６に格納するようにしてもよい。

ステップＳ２０１では、ＲＡＭ１０６に格納された顔画像データに対して前処理を実行する。具体的には、公知のＡｃｔｉｖｅ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌ、Ａｃｔｉｖｅ Ｓｈａｐｅ Ｍｏｄｅｌ等を用いて目や鼻、口といった顔の器官位置を検出する。更に、検出した器官位置に基づいて両目が水平に並び、かつ予め定められたサイズとなるように顔画像データを変換（正規化）する。

ステップＳ２０２では、前処理された顔画像データから、顔認証に有効な特徴量を抽出する。なお、ステップＳ２０２の特徴量抽出処理の詳細は後述する。

ステップＳ２０３では、特徴量の次元を削減する。これは、特徴量から顔認証に効果的な情報のみを抽出するよう次元を削減することにより、後段の処理における計算量を少なくするためである。次元削減処理は、公知のＰｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ ＡｎａｌｙｓｉｓやＬｏｃａｌｉｔｙ Ｐｒｅｓｅｒｖｉｎｇ Ｐｒｏｊｅｃｉｔｉｏｎ等を用い、予め学習により決定した変換行列を用いて実行する。ここで、変換行列とは、次元削減処理後の特徴ベクトル空間を規定する基底ベクトルを並べたものである。当該変換行列を用いて、特徴量を一列に並べた特徴ベクトルを、元の特徴ベクトル空間から基底ベクトルが規定する特徴ベクトル空間へと射影する。なお、変換行列は、ＲＯＭ１０５やデータ保存部１０２にデータあるいはプログラムの一部として格納されており、顔認証処理に先だってＲＡＭ１０６に読み込まれているものとする。ＣＰＵ１０４では、ＲＡＭ１０６に読み込まれた変換行列を参照しながら次元削減処理を実行する。

ここで、顔認証処理等のパターン識別処理においては、照明条件の変化や識別対象の姿勢変化などにより顔画像データの画素パターンが変動した場合、識別精度が低下する。例えば、顔認証処理では、登録されている顔画像データと入力された顔画像データとで、顔の向きに差がある場合、あるいは、表情に変化がある場合などには識別精度が低下する。この場合、顔の向き等の変化に対して変動の小さい顔の部分領域のみを顔認証に使用することにより、識別精度の低下が軽減されることが分かっている。本実施形態では、そのような顔の部分領域のことを「局所領域」と呼ぶこととする。局所領域は、通常、上述した器官検出の結果に基づいて位置と大きさが決定される領域であり、顔認証処理においては、通常、数十〜数百の局所領域が使用される。なお、局所領域の特徴ベクトルを作成する方法として次の２通りの方法が考えられる。

１つ目は、顔画像データから必要な局所領域を順に切り出し、局所領域毎に特徴量を抽出する方法である。しかし、一般に、局所領域同士は重なりがある場合が多く、この方法では同じ領域の特徴量を複数回計算してしまうこととなり、処理時間が増大するといった問題がある。

２つ目は、一旦、顔画像データ全体に対する特徴量を計算し、計算した特徴量から必要な局所領域を切り出す方法である。１つ目の方法とは異なり、同じ領域の特徴量を複数回計算することがなくなり、処理時間が短縮される。しかしながら、この方法を実現するためには、計算した全ての特徴量のうち、少なくとも局所領域が含まれるすべての領域の特徴量をメモリに保存しておく必要があるため、必要なメモリ量が増加するといった問題がある。

しかしながら、一般的には、処理時間の短縮に対する要求が高い場合が多いことから、顔認証処理等のパターン識別処理においては、上述した２つの方法のうち、２つ目の方法を使用することが望ましい。一方で、この方法を使用した場合、上述したように特徴量を保存するために一定数の特徴量をメモリに保存することが必要となる。このため、信号処理装置１００のコストを抑えるためには、個々の特徴量のデータ量を、できるだけ小さくすることが望ましい。このような理由により、ステップＳ２０３では、ベクトルデータである特徴量の次元削減処理が実行される。

ステップＳ２０４は、ステップＳ２０３で求めた次元削減処理後の特徴量を用いて識別処理を実行する。本実施形態では、次元削減処理後の特徴ベクトルのことを射影ベクトルと呼ぶこととする。射影ベクトルは、局所領域の数だけ生成される。ステップＳ２０４では、顔画像データの各局所領域の射影ベクトルと、登録データの各局所領域の射影ベクトルとを照合する。

登録データとは、登録ベクトルと、登録ベクトルに対応する人物ＩＤとから成るデータのことをいう。ここで、人物ＩＤとは、登録ベクトルに対応する人物を識別するための識別子であり、例えば、整数値で表わされる。具体的には、登録された順に０、１、２という値が人物ＩＤとして設定される。なお、人物ＩＤには、名前やニックネーム等の文字列データが関連付けられてもよい。登録データはデータ保存部１０２に格納されており、顔認証処理に先立ってＲＡＭ１０６に読み込まれる。なお、登録データの作成処理については後述する。

ステップＳ２０４の識別処理では、射影ベクトルと登録ベクトルとの類似度と、予め指定した閾値とに基づいて、入力された顔画像データの人物ＩＤを決定する。ここで、類似度は、次元削減処理後の特徴ベクトル空間における特徴ベクトル間のユークリッド距離として説明する。この場合、距離が小さいほど射影ベクトルと登録ベクトルとは似たベクトルであると解釈できるので、距離が小さい登録ベクトル（の基となった顔画像データ）ほど入力された顔画像データに類似しているといえる。このため、ステップＳ２０４の識別処理は、以下の手順により実行される。

まず、射影ベクトルとすべての登録ベクトルとの距離を計算し、距離が小さい順に登録ベクトルをソートする。次に、射影ベクトルとソート後に先頭にある登録ベクトルとの距離（最小距離）と、予め設定した閾値とを比較する。最小距離が閾値以下である場合、入力された顔画像データの人物は、ソート後に先頭にある登録ベクトルのＩＤが指す人物が写っているとし、入力された顔画像データとその登録ベクトルのＩＤを関連付けて記憶する。一方、最小距離が閾値よりも大きい場合、入力された顔画像データの人物は登録されていないと判定される。この場合、例えば予め信号処理装置１００で定めておいた非登録人物に対応するＩＤ値を入力された顔画像データと関連付けて記憶する。

なお、同じ人物について複数の顔画像データのそれぞれを用いて登録ベクトルを作成し、それらの登録ベクトルと射影ベクトルとの類似度を統合した結果を用いて識別するようにしてもよい。例えば、登録時に、同じ人物についての複数の顔画像データに対してそれぞれ登録ベクトルを作成するとともに、その（同一人物に対する）各登録ベクトルに対して同じ人物ＩＤを割り当てておく。識別時には、射影ベクトルと登録ベクトルとの距離に基づいて登録ベクトルをソートした後、距離が閾値以下である登録ベクトルを全て抽出し、抽出した人物ＩＤの中で、最多の人物ＩＤを入力された顔画像データの人物ＩＤとする。あるいは、抽出した人物ＩＤ別に距離の平均値を求め、最小の距離平均値を持つ人物ＩＤを入力された顔画像データの人物ＩＤとする。

ステップＳ２０５は、ステップＳ２０４により得られた人物ＩＤをＲＡＭ１０６に保存されている顔画像データに関連付けて保存する。

以上の顔認証処理を入力画像データから検出されたすべての顔画像データに対して１枚ずつ実行する。すべての顔画像データに対する顔認証処理が完了した場合、認証結果を出力する。認証結果出力の一例としては、例えば、ＲＡＭ１０６に保存されている登録データ、顔画像データの位置及びサイズ情報、顔画像データの人物ＩＤを基に顔認証結果画像を作成し、表示部１０７に表示することが考えられる。顔認証結果画像の一例を図３に示す。図３の例では、各顔領域を矩形の枠で表示し、さらにその上部にその顔領域の人物ＩＤまたは関連付けた文字列を表示している。

なお、他の出力方法として、顔画像データの位置及びサイズ情報、顔画像データの人物ＩＤなどを登録データと関連付けてデータ保存部１０２に保存する方法も考えられる。あるいは、データ保存部１０２に保存するのではなく、通信部１０３を通じて不図示の外部の機器に送信するように構成してもよい。

なお、ここでは全ての顔画像データについて処理が終了した時に出力することとしたが、顔画像データ１枚に対する顔認証処理が完了するたびに上記出力処理を実行するように構成してもよい。

なお、本実施形態では、ステップＳ２０１において、顔画像データ中の両目が水平に並び、かつ予め定められたサイズとなるように顔画像データを変換することとした。識別精度を高めるためには、このように顔画像データを変換することが好ましいが、システムの要件などによって、例えば、識別精度は多少低下してもよいが、処理速度の向上やリソース削減を図る必要がある場合もある。したがって、ステップＳ２０１の顔画像データを変換する処理は省略してもよい。

＜３．特徴量抽出処理の概要＞
ステップＳ２０２の特徴量抽出処理の流れを示すフローチャートを図４に示す。以下、図４を用いて特徴量抽出処理の流れを説明する。

本実施形態における特徴量抽出処理では、まず、顔画像データに対して周波数特性に偏りのある空間フィルタを用いて空間フィルタ処理を施す。次に空間フィルタ処理結果データを符号化して符号化結果データを生成する。本実施形態では、Ｎ（Ｎ≧１）個の空間フィルタ係数がＲＡＭ１０６に保存されており、顔画像データに対してこれらを順次適用するものとする。あるいは、空間フィルタ係数はデータ保存部１０２や、ＲＯＭ１０５に格納されていてもよい。この場合、空間フィルタ係数は、一旦、ＲＡＭ１０６に読み込まれてから実行される。

また、本実施形態では、周波数特性に偏りのある空間フィルタの例として、ＧａｂｏｒＷａｖｅｌｅｔフィルタを使用する。ＧａｂｏｒＷａｖｅｌｅｔフィルタとは、画像データに含まれる特定の周波数成分を抽出することができる空間フィルタである。ＧａｂｏｒＷａｖｅｌｅｔフィルタの例と、各ＧａｂｏｒＷａｖｅｌｅｔフィルタの周波数特性を図５に示す。５０１〜５０４に示したＧａｂｏｒＷａｖｅｌｅｔフィルタの係数は、白く示した部分が正の値、黒く示した部分が負の値である。図５に示すように、ＧａｂｏｒＷａｖｅｌｅｔフィルタはその形状に応じて異なる方向の周波数成分を抽出することができる。本実施形態では、この特性を利用して、各ＧａｂｏｒＷａｖｅｌｅｔフィルタが抽出する周波数成分の方向に応じて、後段の符号化に使用する参照画素の注目画素に対する相対位置を変更する。なお、本実施形態では、周波数特性に偏りのある空間フィルタの例として、ＧａｂｏｒＷａｖｅｌｅｔフィルタを使用することとするが、周波数特性に偏りのある空間フィルタであればどのような空間フィルタを使用してもよい。周波数特性に偏りのある空間フィルタの他の例としては、Ｓｔｅｅｒａｂｌｅフィルタや、Ｓｏｂｅｌフィルタ等が挙げられる。

ステップＳ４０１では、インデックスｋをｋ＝０に初期化する。ここで、インデックスｋは、ステップＳ４０３においてＲＡＭ１０６から読み込む空間フィルタを選択するために使用する。

ステップＳ４０２では、顔画像データに対して、すべての空間フィルタ処理が完了したかどうかを判定する。本実施形態では、ｋ＜Ｎが成立するか否かに基づいて判定する。成立しない場合には、すべての空間フィルタ処理が完了したと判定し、図４のフローチャートによる処理を終了する。一方、成立した場合は、未使用の空間フィルタが存在すると判定し、ステップＳ４０３〜Ｓ４０７に進む。

ステップＳ４０３では、ＲＡＭ１０６からステップＳ４０４において使用するｋ番目の空間フィルタを読み込む。空間フィルタのＲＡＭ１０６への格納方法を図６に示す。本実施形態では、Ｎ個の空間フィルタの大きさと係数とを、ｋ＝０番目から順に１次元配列としてＲＡＭ１０６に格納している。また、ｋ番目の空間フィルタの係数の先頭アドレスを順にＮ個並べた１次元配列をＲＡＭ１０６に格納している。ここで、本実施形態では、使用する空間フィルタは予め定められているものとする。そのため、Ｎは予め定められた定数である。なお、好ましくは空間フィルタは周波数特性の異なるものを複数使用する。

ｋ番目の空間フィルタは次のようにＲＡＭ１０６から読み込む。まず、先頭アドレスｋの位置から順に格納されている空間フィルタの幅（ｗｉｄｔｈ）、高さ（ｈｅｉｇｈｔ）を読み込む。次に、ｗｉｄｔｈ、ｈｅｉｇｈｔの値に基づいて、ｈｅｉｇｈｔの次の位置から順に空間フィルタ係数を読み込むことにより、ｗｉｄｔｈ×ｈｅｉｇｈｔの大きさの２次元の空間フィルタを作成する。

なお、空間フィルタのＲＡＭ１０６への格納方法は図６に示した格納方法に限られず、ＣＰＵ１０４が各空間フィルタの大きさ及び係数を識別可能な形式であれば、任意のものであってもよい。

ステップＳ４０４では、ステップＳ４０３において設定された空間フィルタを用いて空間フィルタ処理を実行する。座標（ｘ、ｙ）における空間フィルタ処理は次式で表わされる。

なお、顔画像データの左上の点を原点とし、水平方向をｘ座標、垂直方向をｙ座標とする。

顔画像データに対して空間フィルタ処理を実行する場合の処理の概要について図７に示す。図７に示すように、顔画像データ全体に対してｘ、ｙ方向に１ずつずらしながら各座標において式（４）の計算を実行することにより、顔画像データ全体に対する空間フィルタ処理結果データが得られる。

ステップＳ４０５は、ステップＳ４０６において使用する参照画素の注目画素に対する相対位置を指定する。

先に述べたように、符号化処理にＬＢＰを適用すると、生成される符号化結果データのデータ量が大きくなる。その結果、特徴量の保存に必要な内部メモリ容量が増大し、信号処理装置のコストが高くなるという課題が生じる。また、符号化処理に増分符号を適用すると、生成される符号化結果データのデータ量はＬＢＰの場合と比較して１／８となるが、前述したようにＬＢＰよりもパターン識別性能が低下するという課題が生じる。

このようなことから、参照画素の数を限定した上でパターン識別の識別精度の低下を防ぐためには、パターン識別に有効な情報を抽出可能な参照画素を使用する必要がある。特に、ＧａｂｏｒＷａｖｅｌｅｔフィルタのように特定の周波数成分を抽出することができる空間フィルタを適用した後の画像データを増分符号化する場合、有効な情報を抽出可能な参照画素は、空間フィルタの周波数特性により異なると考えられる。

そこで、本実施形態における符号化処理では、空間フィルタの周波数特性に応じて増分符号の計算に使用する参照画素の注目画素に対する相対位置を切り替える。これにより、固定位置の参照画素を使用する従来の増分符号と比較して、パターン識別の識別精度を向上させることが可能になると期待できる。

空間フィルタに応じて異なる参照画素を用いて符号化処理を実行するために、本実施形態では、予め空間フィルタ番号と参照画素との対応関係をテーブルとしてＲＡＭ１０６に保存しておく。あるいは、データ保存部１０２や、ＲＯＭ１０５に格納しておき、一旦、ＲＡＭ１０６に読み込んでから実行する。空間フィルタ番号と参照画素との対応関係を示す対応テーブルを図８に示す。ステップＳ４０５における処理では、インデックスｋが示す空間フィルタの番号に基づいて決定される、参照画素の注目画素に対する相対位置（ｘ_ｋ、ｙ_ｋ）をＲＡＭ１０６から読み込む。

本実施形態では、ＧａｂｏｒＷａｖｅｌｅｔフィルタの周波数特性に応じて参照画素の注目画素に対する相対位置（ｘ_ｋ、ｙ_ｋ）を変更する。特に、ＧａｂｏｒＷａｖｅｌｅｔフィルタの周波数特性の偏りに基づき、周波数特性の主成分方向の画素を参照画素とする。どの画素を参照画素とするかは、適用するＧａｂｏｒＷａｖｅｌｅｔフィルタ毎に予め定めておけばよい。図９は、ＧａｂｏｒＷａｖｅｌｅｔフィルタの周波数特性の主成分方向と参照画素の注目画素に対する相対位置との関係の一例を示す図である。図９において、ＧａｂｏｒＷａｖｅｌｅｔフィルタ上にある矢印は、そのＧａｂｏｒＷａｖｅｌｅｔフィルタにより抽出される周波数成分の主成分方向を表わしている。

ステップＳ４０６では、ステップＳ４０５において読み込んだ相対位置の参照画素を用いて空間フィルタ処理結果データに対して符号化処理を実行する。
本実施形態における符号化処理を次式に示す。

ここで、ｓ（ｕ）は式（２）に示した関数である。

増分符号の計算に使用する参照画素の相対位置を、空間フィルタの周波数特性に応じて切り替えることにより、固定位置の参照画素を使用する従来の増分符号よりも識別に有効な情報を抽出できる。このため、顔認証等のパターン識別に有効な特徴量となることが期待できる。実際、本実施形態の信号処理方法により顔認証の実験をしたところ、従来の増分符号を用いた場合と比較して１０％程度識別精度が向上することが確認できた。

ステップＳ４０７では、次の空間フィルタを使用するために、インデックスｋをインクリメントしてステップＳ４０２に戻る。

なお、本実施形態では、Ｎ個の空間フィルタを１つずつ切り替えながら特徴量抽出処理を実行するとしたが、すべてあるいは一部の空間フィルタに対する処理を並列に実行するように構成しても構わない。

また、本実施形態では、１つの注目画素と１つの参照画素の大小関係を基に２値に符号化する符号化処理について説明したが、本発明はこれに限定されず、例えば、以下の（ａ）〜（ｅ）のように符号化処理を行うようにしてもよい。

（ａ）空間フィルタが抽出する周波数成分の第１主成分方向に近い順にＰ（Ｐ≧１）個の参照画素を用いて符号化する符号化処理
第ｊ主成分方向とは、空間フィルタが抽出する周波数成分の主成分方向の中で、ｊ番目に多くの周波数成分を含む方向のことである。Ｐ個の参照画素に対する増分符号を計算し、重み係数を掛けて足し合わせる。重み係数は使用した参照画素と注目画素との位置関係が第１主成分方向に近い符号ほど大きな値とする。

（ｂ）空間フィルタが抽出する周波数成分の第１〜第Ｑ主成分方向（Ｑ≧１）について、主成分方向に最も近い参照画素を用いて符号化する符号化処理
Ｑ個の参照画素に対する増分符号を計算し、重み係数を掛けて足し合わせる。重み係数は使用した参照画素と注目画素との位置関係が第１主成分方向に最も近い符号、第２主成分方向に最も近い符号、・・・の順に大きな値とする。

（ｃ）ｎ×ｎ領域内の画素値の平均値を用いて符号化する符号化処理
１画素の画素値の代わりにｎ×ｎ領域内の画素値の平均値を使用する。注目画素の中心位置と参照画素の中心位置の関係が空間フィルタによって抽出される周波数成分の主成分方向に最も近い参照画素を使用する。

（ｄ）注目画素の画素値と参照画素の画素値の差の絶対値を用いて符号化する符号化処理
大小関係の代わりに、画素値の差の絶対値を用いて符号化する。式（２）における関数ｓ（ｕ）を次式に示す関数ｓａｂｓ（ｕ）に置き換えればよい。

（ｅ）３値以上に符号化する符号化処理
複数の閾値を用いて３値以上に符号化する。例えば、３値に符号化する場合には、式（２）における関数ｓ（ｕ）を次式に示すように、２つの閾値を用いる関数ｓ３（ｕ）に置き換えればよい。

式（２）、（６）、（７）に示した関数のグラフを図１０（ａ）、図１０（ｂ）、図１０（ｃ）に示す。これらの他に、注目画素の画素値と参照画素の画素値との比を基に符号化してもよい。また、以上の手法を複数組み合わせて符号化してもよい。一例としては、画素値の代わりにｎ×ｎ領域内の画素の平均値を用いて式（７）により３値に符号化するといった処理が考えられる。

＜４．登録データ作成処理の概要＞
次に登録データ作成処理について説明する。登録データとは、登録ベクトルと、登録ベクトルに対応する人物ＩＤとから成るデータのことである。図１１は、登録データ作成処理の流れを示すフローチャートである。なお、図１１に示す各工程のうち、図２と同じ工程については図２と同じ参照番号を付与することとし、ここでは説明を省略する。

ステップＳ１１０１は、登録データの作成に使用する顔画像データを選択する。まず、データ保存部１０２に保存されている画像データをＲＡＭ１０６に格納する。次に、ＲＡＭ１０６に格納された画像データから、公知の顔検出手法により顔領域を検出し、検出された顔領域を矩形の枠で示した画像データを表示部１０７に表示する。ユーザは、それらの顔領域の中から登録したい顔領域を入力部１０１を介して選択する。選択された顔領域の画像データは、予め定めたサイズにリサイズし、ＲＡＭ１０６に顔画像データとして保存される。登録したい顔領域が存在しなければ、次の画像データを表示する旨の指示を入力する。

ステップＳ２０１〜Ｓ２０３を通して、選択された顔画像データから次元削減処理後の特徴量を生成する。これを登録ベクトルとしてＲＡＭ１０６に保存する。

ステップＳ１１０５では、登録ベクトルと人物ＩＤとを関連付け、データ保存部１０２に格納する。なお、登録ベクトルと人物ＩＤとを関連付ける手順は以下のとおりである。

まず、既に、データ保存部１０２に格納されている人物ＩＤもしくは人物ＩＤに関連付けられた文字列データを表示部１０７に表示する。次に、その中でステップＳ１１０１において選択した顔画像データに該当すると思われる人物ＩＤもしくは文字列データを、ユーザが入力部１０１を介して指定する。そして、指定された人物ＩＤを登録ベクトルに関連付けてデータ保存部１０２に保存する。一方、該当する人物ＩＤもしくは文字列データが存在しない場合には、その旨を入力部１０１を介して入力する。この場合、登録ベクトルに新たな人物ＩＤを関連付け、データ保存部１０２に保存する。

なお、ここでは人物ＩＤもしくは文字列データを表示部１０７に表示する場合について説明したが、本発明はこれに限定されない。例えば、データ保存部１０２に登録データと合わせて顔画像データを保存しておき、表示部１０７には人物ＩＤもしくは文字列データとともに顔画像データを表示するように構成してもよい。

なお、図２で説明したパターン識別処理が必要とするのは、図１１で説明した登録データ作成処理が出力する登録ベクトルだけである。したがって、パターン識別処理に先だって登録データ作成処理を行って登録ベクトルを得ておくだけでよく、必ずしもパターン識別処理と登録データ作成処理とを同一の装置で実行する必要はない。

以上の説明から明らかなように、本実施形態に係る信号処理方法では、顔認証処理において入力される顔画像データに対し、周波数特性に偏りがある空間フィルタを複数種適用する。そして、空間フィルタを適用した顔画像データに対し、注目画素の画素値と参照画素の画素値との比較結果に基づく符号化処理を行い、特徴量を抽出する。その際、適用した空間フィルタが抽出する周波数成分の主成分方向に応じて、参照画素の相対位置を切り替えながら符号化する。これにより、公知のＬＢＰによる符号化よりもデータ量が少なくすることが可能になるとともに、公知の増分符号化に比べてパターン識別の識別精度が高い特徴量を抽出することが可能となる。

このことは、本実施形態において抽出された特徴量を格納するためのメモリ量を効率よく削減できるという効果ももたらす。更には、例えば、本実施形態における符号化処理を所定の装置内で実施する場合には、当該装置のコストを削減することが可能になるという効果ももたらす。

［第２の実施形態］
次に、本発明の第２の実施形態について、第１の実施形態と異なる部分を中心に説明する。

上記第１の実施形態では、空間フィルタが抽出する周波数成分の主成分方向に応じて、使用する参照画素の注目画素に対する相対位置を切り替えながら符号化することとした。これに対して、本実施形態では、符号化に使用する参照画素の注目画素に対する相対位置を機械学習により決定する構成について説明する。

機械学習により参照画素の注目画素に対する相対位置を決定するためには、予め学習データを用意しておく必要がある。本実施形態では、学習データとして、正しい人物ＩＤが既に設定された顔画像データを用意する。この顔画像データは、ステップＳ２０１と同様の処理により、両目が水平に並び、かつ予め定められたサイズとなるように変換されたものであることが好ましい。また、過学習を防ぐために、顔画像データは、パン・チルト方向の顔向き、表情、照明条件などについて様々な画素パターンの変動を含むことが望ましい。用意した学習データは、登録データの作成に使用するグループと、入力画像データとして使用するグループとに分けておく。

本実施形態では、予め参照画素の相対位置の候補を複数用意しておき、学習データに対するパターン識別の識別精度が高くなるように、各空間フィルタに対して複数の候補の中から参照画素の相対位置を決定する。相対位置の候補とは、例えば、注目画素に隣接する８画素などである。ここで、各空間フィルタについて参照画素の相対位置を決定する手順について以下に説明する。

まず、１番目の空間フィルタ及び参照画素の相対位置の第１候補を使用してパターン識別を行った場合の識別精度を求める。そのために、まずは、ステップＳ２０３の次元削減処理において使用する変換行列を作成する。変換行列は、すべての学習データについて１番目の空間フィルタ及び参照画素の相対位置の第１候補を使用して抽出した特徴量に対して作成する。具体的には、公知のＰｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ ＡｎａｌｙｓｉｓやＬｏｃａｌｉｔｙ Ｐｒｅｓｅｒｖｉｎｇ Ｐｒｏｊｅｃｔｉｏｎ等を適用することで作成する。作成された変換行列を用いて、図１１に示す手順に従って登録データを作成し、パターン識別処理を実行することにより、識別精度を求める。

次に、参照画素の相対位置を第２候補に変更し、同じ手順に従ってパターン識別の識別精度を求める。同様にすべての候補についてパターン識別の識別精度を求め、パターン識別の識別精度が最高であった候補を、１番目の空間フィルタに対する参照画素の注目画素に対する相対位置とする。

続いて、２番目の空間フィルタを追加し、２枚の空間フィルタを用いてパターン識別を行った場合の識別精度が最高となるように、上記と同じ手順に従って２番目の空間フィルタに対する参照画素の注目画素に対する相対位置を決定する。

以上の手順をすべての空間フィルタを追加し終えるまで繰り返すことにより、各空間フィルタについて、符号化に使用する参照画素の相対位置を決定する。

以上の手順により、すべての学習データを使用して各空間フィルタに対する参照画素の注目画素に対する相対位置を決定する。なお、このような手順とは別に、以下に説明するようなＢｏｏｓｔｉｎｇ（特開平８−３２９０３１号公報参照）の考え方に基づき、新たな空間フィルタに対する参照画素の注目画素に対する相対位置を決定するようにしてもよい。具体的には、それまでに誤識別されていた学習データを正しく識別できる候補を、参照画素の注目画素に対する相対位置とするようにしてもよい。

ここで、Ｂｏｏｓｔｉｎｇとは、識別精度があまり高くない識別器を１つずつ追加していき、最終的に識別精度が高い識別器を作成する手法である。学習データに重みを設定し、識別器を追加する際には、重みに基づいて確率的に選択された、学習データに対する識別精度が最も高い識別器を追加することが特徴である。重みは識別器を追加するたびに更新される。つまり、誤識別された学習データは重みが増し、正しく識別された学習データは重みが減る。重みの大きい学習データを選択して学習することにより、新たに追加される識別器はそれまでの識別器が誤識別していた学習データを正しく識別できるものが選択されやすくなる。なお、重みの初期値はすべての学習データに対して同じ値を設定する。

当該手法では、まず、１番目の空間フィルタについて、前述した手順と同様に、すべての学習データに対して１番目の空間フィルタと各候補を使用してパターン識別を行う。そして、パターン識別の識別精度を求め、識別精度が最も高かった候補を１番目の空間フィルタに対する参照画素の注目画素に対する相対位置とする。そして、誤識別された学習データの重みを増し、正しく識別された学習データの重みを減らす。

次に、更新後の学習データの重みに基づいて、２番目の空間フィルタに対する参照画素の相対位置を決定するために使用する学習データを選択する。そして、選択された学習データに対して２番目の空間フィルタと各候補を使用してパターン識別を行う。そして、パターン識別の識別精度を求め、識別精度が最も高かった候補を２番目の空間フィルタに対する参照画素の注目画素に対する相対位置とする。この場合、１番目の空間フィルタを使用した際に誤識別された学習データが多く選択されているため、これらを正しく識別しやすい候補が２番目の空間フィルタに対する参照画素の注目画素に対する相対位置となる。

以上の手順をすべての空間フィルタを追加し終えるまで繰り返すことにより、各空間フィルタについて、符号化に使用する参照画素の注目画素に対する相対位置を決定する。

以上のいずれかの手順により決定した参照画素の注目画素に対する相対位置と空間フィルタとの対応関係は、図８に示す形式の対応テーブルとして、図１に示した信号処理装置１００の設計時にデータ保存部１０２あるいはＲＯＭ１０５に保存する。そして、上記第１の実施形態における登録データ作成時、及び、パターン識別時にはデータ保存部１０２あるいはＲＯＭ１０５からＲＡＭ１０６に読み込んだ当該対応テーブルを用いて符号化処理を実行する。

なお、本実施形態では、各空間フィルタに対して符号化に使用する参照画素の注目画素に対する相対位置を予め用意した候補の中から１つだけ選択するとしたが、本発明はこれに限定されず、候補の中から複数選択するように構成してもよい。この場合、例えばパターン識別処理の識別精度が高い順にＲ（Ｒ≧１）個の候補を選択する。

以上の説明から明らかなように、本実施形態に係る信号処理方法では、機械学習により空間フィルタ毎に符号化に使用する参照画素の注目画素に対する相対位置を決定する。つまり、上記第１の実施形態では、空間フィルタの周波数特性に基づいて決定したのに対し、本実施形態では機械学習により自動的に決定する構成とした。

この結果、本実施形態によれば、特徴量抽出処理に用いる空間フィルタの形状、順序を決定し、それに対してパターン識別の識別精度が最高となるように、機械学習により各空間フィルタに対する参照画素の相対位置を最適化することができる。つまり、ＧａｂｏｒＷａｖｅｌｅｔフィルタのような、周波数特性に基づいて適切な参照画素の相対位置を決定できる空間フィルタ以外の空間フィルタに対しても適用することが可能となる。なお、このような空間フィルタには、例えば、機械学習によって形状が決定された空間フィルタなどがある。

［第３の実施形態］
次に、第３の実施形態について、上記第１の実施形態との相違点を中心に説明する。上記第１の実施形態では、図１に示す構成により信号処理装置を実現することとしたが、本発明はこれに限定されず、他の構成により実現してもよい。

図１２は、本実施形態に係る信号処理装置１２００の構成を示すブロック図である。図１２において、空間フィルタ記憶部１２０１は、空間フィルタ演算部１２０６が使用する空間フィルタを格納するメモリであり、公知のＲＯＭ、ＲＡＭ、レジスタなどにより構成される。空間フィルタ記憶部１２０１には、例えば、第１の実施形態の図６で説明した形式によりＮ（Ｎ≧１）個の空間フィルタが格納されているものとする。

参照画素記憶部１２０４は、符号化演算部１２０７が使用する参照画素の注目画素に対する相対位置を格納するメモリであり、公知のＲＯＭ、ＲＡＭ、レジスタなどにより構成される。参照画素記憶部１２０４には、例えば、第１の実施形態の図８と同じ形式により空間フィルタの数と同じＮ個の参照画素の相対位置が格納されているものとする。

本実施形態では、空間フィルタ毎に予め定められた相対位置の注目画素に対する参照画素を用いて符合化処理を実行するために、空間フィルタ記憶部１２０１に格納されている空間フィルタに対して識別子を設定する。また、参照画素記憶部１２０４に格納されている参照画素の注目画素に対する相対位置に対して識別子を設定する。なお、本実施形態では、空間フィルタには空間フィルタ記憶部１２０１に格納された順に０〜Ｎ−１の整数値を識別子として設定する。また、参照画素の注目画素に対する相対位置には、対応する空間フィルタと同じ識別子を設定する。

制御部１２０９は、信号処理装置１２００の動作を制御する。制御部１２０９は、０〜Ｎ−１の順に繰り返しカウントするカウンタを内部に保持しており、以下に説明する処理を繰り返す。

まず、現在のカウント番号を空間フィルタ供給部１２０２および参照画素指定部１２０３に送信する。次に、空間フィルタ供給部１２０２および参照画素指定部１２０３からそれぞれ空間フィルタ及び参照画素の注目画素に対する相対位置の読み込みが完了したことを示す信号を受信すると、画像入力部１２０５に入力画像データの入力を指示する信号を送信する。なお、カウントが０以外の場合は前回と同じ入力画像データを入力し、カウントが０の場合にのみ次の入力画像データを入力するように指示する。これは、同じ入力画像データに対してＮ個の異なる空間フィルタを使用して空間フィルタ処理を実行するためである。画像入力部１２０５から入力画像データの入力が完了したことを示す信号を受信すると、カウンタを更新し、更新後のカウント番号を空間フィルタ供給部１２０２および参照画素指定部１２０３に送信する。

画像入力部１２０５は、制御部１２０９から入力画像データの入力を指示する信号を受信すると入力画像データの入力を開始する。例えば、信号処理装置１２００を顔認証に適用する場合は、顔画像データを入力する。この顔画像データは、上記第１の実施形態と同様に、８ｂｉｔ符号なし輝度画像から公知の顔検出手法により顔領域を検出し、かつ、検出した顔領域を、両目が水平に並び、かつ予め定められたサイズに変換した画像データである。顔画像データは、例えば、信号処理装置１２００と接続した不図示のＲＡＭに保存しておき、画像入力部１２０５はそのＲＡＭから顔画像データを読み込むよう構成する。顔画像データの入力が完了すると、入力が完了したことを示す信号を制御部１２０９に送信する。

１２１１は空間フィルタ処理部であり、本実施形態では空間フィルタ供給部１２０２と空間フィルタ演算部１２０６とから構成される。

空間フィルタ供給部１２０２は、制御部１２０９から受信したカウント番号と同じ識別子が設定された空間フィルタを空間フィルタ記憶部１２０１から読み込み、空間フィルタ演算部１２０６に送信する。空間フィルタの送信が完了すると、完了したことを示す信号を制御部１２０９に送信する。

ここで、空間フィルタの送信とは、空間フィルタの係数とサイズの情報を送信することを意味する。例えば、本実施形態の場合、図６に例示するように空間フィルタの係数とともに、空間フィルタの幅（ｗｉｄｔｈ）、空間フィルタの高さ（ｈｅｉｇｈｔ）の情報をサイズ情報として送信する。

空間フィルタ演算部１２０６は、空間フィルタ供給部１２０２から入力された空間フィルタを用いて、画像入力部１２０５から入力された顔画像データに対して、空間フィルタ処理を実行し、処理結果の顔画像データを符号化演算部１２０７に出力する。空間フィルタ演算部１２０６の動作について具体的に以下に説明する。

本実施形態の場合、先に述べたように入力画像データは予め定められたサイズに変換された顔画像データである。したがって、入力画像データのサイズは一定なので、入力画像データのサイズに関する情報を予め不図示のレジスタ等に設定しておく。

空間フィルタ供給部１２０２から空間フィルタの係数とサイズ情報とを受信するまで待機し、空間フィルタを受信すると次の処理を開始する。まず、受信した空間フィルタをレジスタ等に保存する。次に、入力画像データのサイズと空間フィルタのサイズとに基づいて、空間フィルタ処理の処理結果の画像データのサイズを計算し、結果を符号化演算部１２０７に送信する。そして、画像入力部１２０５から受信した入力画像データに対して空間フィルタ処理を実行する。ここで行う空間フィルタ処理は、第１の実施形態の図４のステップＳ４０４で説明した処理と同様であるため、ここでは説明を省略する。レジスタ等に保存したサイズの入力画像データに対する空間フィルタ処理が完了すると、次の空間フィルタを受け取るため、空間フィルタ供給部１２０２からの受信待ち状態となる。

１２１２は符号化処理部であり、本実施形態では参照画素指定部１２０３と符号化演算部１２０７とから構成される。

参照画素指定部１２０３は、制御部１２０９から受信したカウント番号と同じ識別子が設定された、参照画素の注目画素に対する相対位置を、参照画素記憶部１２０４から読み込み、当該相対位置を符号化演算部１２０７に送信する。送信が完了すると、完了したことを示す信号を制御部１２０９に送信する。

符号化演算部１２０７は、参照画素指定部１２０３から入力された相対位置の画素を参照画素として使用して、空間フィルタ処理の処理結果の画像データに対して符号化処理を実行し、符号化結果データを出力部１２０８に送信する。符号化演算部１２０７の動作について具体的に以下に説明する。

参照画素指定部１２０３および空間フィルタ演算部１２０６から、それぞれ参照画素の注目画素に対する相対位置、及び、空間フィルタ処理結果データのサイズを受信するまで待機し、両者を受信すると次の処理を開始する。まず、参照画素の注目画素に対する相対位置と空間フィルタ処理結果データのサイズをレジスタ等に保存する。そして、空間フィルタ演算部１２０６から受信した画像データに対してレジスタ等に保存した位置の参照画素を用いて符号化処理を実行する。符号化処理は、第１の実施形態の図４のステップＳ４０６で説明した処理と同様であるため、ここでは説明を省略する。レジスタ等に保存した空間フィルタ処理結果データに対する符号化処理が完了すると、次の参照画素の注目画素に対する相対位置、及び、空間フィルタ処理結果データのサイズを受信するまで待機する。

出力部１２０８は、符号化結果データを出力する。符号化結果データは、例えば、本実施形態に係る信号処理装置１２００と接続した不図示のＲＡＭまたは、不図示の他の信号処理装置に出力する。

なお、信号処理装置１２００を顔認証処理に適用する場合は、信号処理装置１２００が出力した符号化結果データを特徴量として、さらに後段に次元削減処理、識別処理を実行する回路を接続する構成とする。

以上の説明から明らかなように、本実施形態に係る信号処理装置１２００では、同じ入力画像データに対して０〜Ｎ−１番の順にＮ個の異なる空間フィルタを切り替えながら空間フィルタ処理を実行する。また、空間フィルタの切り替えに合わせて参照画素の相対位置を０〜Ｎ−１番の順に切り替え、空間フィルタ処理結果データに対して符号化処理を実行する。空間フィルタと対応する参照画素の注目画素に対する相対位置に対して同じ識別子を設定することにより、空間フィルタ毎に予め定められた相対位置の参照画素を用いて符合化処理を行うことが可能となる。

なお、本実施形態では、制御部１２０９が０〜Ｎ−１の順に繰り返しカウントするカウンタを内部に保持し、現在のカウント番号を送信する構成としたが、予め指定した順に繰り返し番号を送信するのであれば、どのような構成であっても構わない。

［第４の実施形態］
次に、第４の実施形態について説明する。図１３は、本実施形態に係る信号処理装置１３００の構成を示すブロック図である。以下、図１３の構成例について、図１２に示した構成例との相違点を中心に説明する。

図１３に示した構成例では、制御部１２０９が、空間フィルタ供給部１２０２にのみカウント番号を送信する。

空間フィルタ供給部１２０２では、制御部１２０９から受信したカウント番号と同じ識別子が設定された空間フィルタを空間フィルタ記憶部１２０１から読み込み、読み込んだ空間フィルタの識別子を参照画素指定部１２０３に送信する。

参照画素指定部１２０３では、空間フィルタ供給部１２０２から受信した識別子の相対位置を参照画素記憶部１２０４から読み込む。読み込んだ相対位置を符号化演算部１２０７に送信完了するとともに、送信が完了したことを示す信号を空間フィルタ供給部１２０２に送信する。

なお、図１３に示した構成例では、制御部１２０９と空間フィルタ供給部１２０２とを別々の処理ブロックとしたが、本発明はこれに限定されない。例えば、空間フィルタ供給部１２０２と空間フィルタ演算部１２０６とは、統合して１つの処理ブロックで構成するようにしてもよい。

また、図１２および図１３では、空間フィルタ記憶部１２０１、参照画素記憶部１２０４が全て１つの信号処理装置１２００または１３００内に含まれる構成としたが、本発明はこれに限定されない。例えば、信号処理装置１２００または１３００と接続した外部のＲＡＭ等を、空間フィルタ記憶部１２０１または参照画素記憶部１２０４として利用する構成としてもよい。

また、上記第１の実施形態では、図１を用いて、主に汎用的なＣＰＵを用いたソフトウェアで処理する場合に好適な構成例を示したのに対し、図１２または図１３では、専用ハードウェアにより信号処理する場合に好適な構成例を示した。このように、専用ハードウェアにより信号処理を行う構成とすることで、各処理ブロックを同時に動作させることが可能となり、第１の実施形態に示した構成例よりも高速に信号処理することが可能になる。

［第５の実施形態］
上記第１乃至第４の実施形態では、多次元のデータとして２次元の画像データについて本発明に係る信号処理方法を適用する場合について説明したが、３次元以上のデータに対しても本発明に係る信号処理方法を適用することが可能である。Ｄ（Ｄ≧３）次元のデータに適用する場合、Ｄ次元の空間フィルタを用意し、Ｄ次元の空間フィルタ処理を実行する。そして、Ｄ次元の空間フィルタ処理結果データに対して、空間フィルタ毎に予め設定したＤ次元の相対位置にある参照画素を使用して符号化処理を実行する。参照画素の注目画素に対する相対位置は、上記第１の実施形態において示したように、Ｄ次元の空間フィルタの周波数特性に応じて決定するか、あるいは上記第２の実施形態において示したように機械学習により決定する。

３次元以上のデータの一例として、３次元の画像データに適用する場合について以下に説明する。

３次元画像データは、３次元の座標（ｘ、ｙ、ｚ）を持つ画素の集合である。３次元の空間フィルタを適用して得られた３次元の空間フィルタ処理結果データに対する符号化は、次式で表わされる。

以上、Ｄ＝３の場合について説明したが、Ｄ≧４の場合についても本発明を適用できることは自明である。

なお、本実施形態では、空間フィルタ処理結果データを符号化する場合について説明したが、本発明はこれに限定されない。空間フィルタ処理に限らず、符号化処理の前段の処理の特性に合わせて参照画素の注目画素に対する相対位置を予め決定しておき、その参照画素を用いて符号化処理を実行するように構成してもよい。

［他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (16)

1. 多次元のデータに対して空間フィルタ処理を実行することで空間フィルタ処理結果データを生成し、
   前記空間フィルタ処理結果データを、前記空間フィルタ処理結果データのうちの注目画素における値と、該注目画素に対して予め定められた相対位置にある参照画素における値とを用いて符号化することにより、符号化結果データを出力する信号処理方法であって、
   前記参照画素の相対位置は、前記空間フィルタ処理に使用する空間フィルタの特性に応じて予め定められていることを特徴とする信号処理方法。
2. 前記空間フィルタは複数あり、前記空間フィルタ処理結果データは、前記多次元のデータに対して該複数の空間フィルタをそれぞれ適用することにより生成され、
   前記空間フィルタ処理結果データの符号化において用いる前記参照画素の相対位置は、前記空間フィルタ処理結果データを生成するのに用いられた前記空間フィルタの特性に応じて予め定められた相対位置であることを特徴とする請求項１に記載の信号処理方法。
3. 前記空間フィルタは周波数特性に偏りがある空間フィルタであることを特徴とする請求項１または２に記載の信号処理方法。
4. 前記参照画素の相対位置は、前記空間フィルタにより抽出される周波数成分の第１主成分方向に近い順に選択されたＰ（Ｐ≧１）個の相対位置であることを特徴とする請求項３に記載の信号処理方法。
5. 前記参照画素の相対位置は、前記空間フィルタにより抽出される周波数成分の第１主成分方向に最も近い参照画素から、第Ｑ主成分方向に最も近い領域までのＱ（Ｑ≧１）個の参照画素の相対位置であることを特徴とする請求項３に記載の信号処理方法。
6. 前記参照画素の相対位置は、前記多次元のデータに対するパターン識別の識別精度が高くなるよう学習により選択された相対位置であることを特徴とする請求項１または２に記載の信号処理方法。
7. 前記学習では、複数の候補の中から１つずつ選択した候補を前記参照画素とした場合に出力された前記符号化結果データを用いて、前記多次元のデータに対するパターン識別処理を行った場合の識別精度を求め、識別精度が高い順に選択されたＲ（Ｒ≧１）個の候補の相対位置を前記空間フィルタに対する前記参照画素の相対位置とすることを特徴とする請求項６に記載の信号処理方法。
8. 前記空間フィルタは複数あり、前記学習では、該複数の空間フィルタに対して、順次、前記参照画素の相対位置を決定し、
   新たな空間フィルタに対する前記参照画素の相対位置を決定するにあたっては、該複数の空間フィルタのうち、すでに前記参照画素の相対位置を決定した空間フィルタを用いて出力した前記符号化結果データと組み合わせた場合の、パターン識別処理の識別精度が高い順に選択されたＲ（Ｒ≧１）個の候補の相対位置を、当該空間フィルタに対する前記参照画素の相対位置とすることを特徴とする請求項７に記載の信号処理方法。
9. 前記相対位置とは、前記注目画素の中心位置と前記参照画素の中心位置との位置関係であることを特徴とする請求項１乃至８のいずれか１項に記載の信号処理方法。
10. 前記空間フィルタ処理結果データを、前記注目画素における値と前記参照画素における値との大小関係に基づいて符号化することを特徴とする請求項１乃至９のいずれか１項に記載の信号処理方法。
11. 前記空間フィルタ処理結果データを、前記注目画素における値と前記参照画素における値との差の絶対値に基づいて符号化することを特徴とする請求項１乃至９のいずれか１項に記載の信号処理方法。
12. 前記空間フィルタ処理結果データを、前記注目画素における値と前記参照画素における値との比に基づいて符号化することを特徴とする請求項１乃至９のいずれか１項に記載の信号処理方法。
13. 前記注目画素における値及び前記参照画素における値とは、それぞれ注目画素に含まれるデータの平均値及び参照画素に含まれるデータの平均値であることを特徴とする請求項１乃至１２のいずれか１項に記載の信号処理方法。
14. データを入力する入力手段と、
    前記入力手段により入力された多次元のデータに対して空間フィルタ処理を実行することで、空間フィルタ処理結果データを出力する空間フィルタ処理手段と、
    前記空間フィルタ処理結果データを、前記空間フィルタ処理結果データのうちの注目画素における値と、前記注目画素に対して予め定められた相対位置にある参照画素における値とを用いて符号化することにより、符号化結果データを出力する符号化処理手段と、を有する信号処理装置であって、
    前記参照画素の相対位置は、前記空間フィルタ処理手段が使用する空間フィルタの特性に応じて予め定められていることを特徴とする信号処理装置。
15. 複数の空間フィルタに関する情報を保持する空間フィルタ記憶手段と、
    複数の参照画素の相対位置を記憶する参照画素記憶手段と、を更に有し、
    前記空間フィルタ処理手段は、前記空間フィルタ記憶手段から空間フィルタに関する情報を読み込み、
    前記符号化処理手段は、前記参照画素記憶手段から前記空間フィルタ処理手段が読み込む空間フィルタに対応する前記参照画素の相対位置を読み込み、
    前記空間フィルタ処理手段が読み込んだ空間フィルタを適用して出力した前記空間フィルタ処理結果データに対し、前記符号化処理手段は、前記読み込んだ参照画素の相対位置を用いて符号化を行うことを特徴とする請求項１４に記載の信号処理装置。
16. 前記符号化処理手段は、前記空間フィルタとそれに対応する前記参照画素の相対位置に対して同一の識別子を設定するとともに、前記空間フィルタ処理手段と前記符号化処理手段に同一の前記識別子を送信し、
    前記空間フィルタ処理手段は、前記空間フィルタ記憶手段から該識別子に対応した空間フィルタに関する情報を読み込み、
    前記符号化処理手段は、前記参照画素記憶手段から該識別子に対応した前記参照画素の相対位置を読み込むことを特徴とする請求項１５に記載の信号処理装置。