JP2005209137A - 対象物認識方法及び対象物認識装置、並びに顔方向識別装置 - Google Patents

Abstract

【課題】 エッジを検出するためのフィルタ数を少なくして、しかも精度よく対象物の認識を行うことができるようにする。
【解決手段】 フィルタ処理装置１３は入力画像を走査して複数の処理対象領域を抽出し、処理対象領域に複数のフィルタ演算領域を規定して、互いに異なる第１及び第２のフィルタ処理機能でフィルタ演算領域をフィルタ処理して第１及び第２のフィルタ出力を得る。スコア演算装置１４は、予め対象物と第１及び第２のフィルタ処理機能の出力との関係が定義された座標関数に応じて、第１及び第２のフィルタ出力からスコア値を求め、処理対象領域についてスコア値を加算して加算値を得る。そして、結果判定装置１６では、加算値と予め定められた閾値とを比較してその比較結果に応じて処理対象領域に対象物があるか否かを判定する。
【選択図】 図１

Description

本発明は、撮像した画像中の所定の対象物（例えば、顔）を認識するための対象物認識方法及び対象物認識装置、並びに顔方向識別装置に関する。

一般に、各種ロボットにおいては、カメラを備えてロボットの周囲を撮像して、撮像した画像中において所定の対象物（オブジェクト）を認識して、その認識結果に応じて動作を行うようにしている。例えば、人の行動を認識する際に、画像中の人の顔の位置が、正面、左向き、右向き、上向き、下向きのいずれの位置にあるかによって、人の現在の状態及び次の行動を認識することが可能である。つまり、人の行動を認識する際には、オブジェクトとして例えば顔の位置が、正面、左向き、右向き、上向き、下向きのいずれの位置にあるかを認識する必要がある。

ところで、画像中から顔等の対象物を認識する手法は、セキュリティー分野において用いられることが多く、このため高精度に顔の認識を行っており、例えば、固有ベクトル、Ｇａｂｏｒウェーブレット、又はテンプレートマッチング等を用いた手法が知られている。ところが、一般的に、上述のような手法においては、極めて演算量が多く、更には、浮動小数点演算を行う必要があり、低価格なロボット（例えば、家庭用のロボット）のように、リアルタイムで認識処理を行い、かつ処理装置（ＣＰＵ）の価格を安価にしようとすると、上述のような認識手法を用いることは困難であった。

一方、高速に対象画像を認識する手法として、所謂エッジ検出フィルタを用いて顔を認識する手法が知られており、ここでは、デジタル画像中のオブジェクトを検出するため、画像積算器及びオブジェクト検出器を備えて、このオブジェクト検出器が分類器及び画像スキャナを有している。そして、画像積算器では入力画像を受けると、入力画像の積分画像表現を計算して、画像スキャナは、一定サイズのサブウインドウで画像を走査し、同種の構造の分類関数又は分類器を順次用いて、そのサブウインドウの中にオブジェクトの特徴項（例えば、鼻、目、口、耳、眉毛、髪等）が存在する確からしさ（尤度）を算出し、各分類器は、各サブウインドウにおいてオブジェクトの存在の確からしさを示す少なくとも一つの特徴の有無を評価するようにしている（特許文献１参照）。

従来のオブジェクト認識手法において、分類器として４種類のエッジ検出フィルタを用い、これらのエッジ検出フィルタを夫々対応する部位に対して１つ当てはめて、そのエッジ検出に用いている。
例えば図２５（ａ）を参照すると、矩形状体５４Ａ（鉛直エッジ検出フィルタ）は、二つの矩形５４Ａ−１及び５４Ａ−２が左右に振り分けられた鉛直エッジ検出フィルタであり、該矩形状体５４Ａ（鉛直エッジ検出フィルタ）の評価関数では、矩形ウインドウ５４Ａ−２内の画素合計数から矩形ウインドウ５４Ａ−１内の画素合計数を減算してその値が＋側か−側かに分別し、二つの矩形５４Ａ−１が（＋１）若しくは（−１）、及び５４Ａ−２が（−１）若しくは（＋１）として、その＋１と−１との対比で矩形状体５４Ａ（鉛直エッジ検出フィルタ）の値が左右いずれの濃度が高い鉛直エッジフィルタかを決定し、これにより、例えば鼻等のように鉛直エッジに対応する部分を抽出している。

同様にして、図２５（ｂ）においては、矩形状体５４Ｂ（水平エッジ検出フィルタ）が、矩形サブウインドウ５４Ｂ−１及び５４Ｂ−２を備えており、該矩形状体５４Ｂ（水平エッジ検出フィルタ）においても、前記矩形状体５４Ａ（鉛直エッジ検出フィルタ）と同様にしてその評価関数では、矩形ウインドウ５４Ｂ−２内の画素合計数から矩形ウインドウ５４Ｂ−１内の画素合計数を減算してその値が＋側か−側かに分別し、二つの矩形５４Ｂ−１が（＋１）若しくは（−１）、及び５４Ｂ−２が（−１）若しくは（＋１）として、その＋１と−１との対比で矩形状体５４Ｂ（水平エッジ検出フィルタ）の値が上下いずれの濃度が高い水平エッジ検出フィルタかを決定している。このように矩形状体５４Ｂ（水平エッジ検出フィルタ）の値を求めて、例えば睫毛や眉毛、口等ように、水平エッジ部分の検出に用いている。

そして、図２５（ｃ）においては、矩形状体５４Ｃ（中目検出フィルタ）が三つの矩形サブウインドウ５４Ｃ−１〜５４Ｃ−３を有しており、矩形状体５４Ｃ（中目検出フィルタ）の評価関数では、二つの外側に位置する矩形サブウインドウ５４Ｃ−１及び５４Ｃ−３内の画素合計数を求めて、中央に位置する矩形サブウインドウ５４Ｃ−２内の画素合計数から減算して、矩形状体５４Ｃ（中目検出フィルタ）のエッジ状態の数値＋１．−１．＋１の値を取得し、例えば瞳等のような部位の検出に用いている。
更に、図２５（ｄ）においては、矩形状体５４Ｄ（角隅部ライン検出フィルタ）が四つの升目状矩形サブウインドウ５４Ｄ−１〜５４Ｄ−４を有しており、矩形サブウインドウ５４Ｄ−２及び５４Ｄ−４内の画素合計数から、矩形サブウインドウ５４Ｄ−１及び５４Ｄ−３内の画素合計数を減算して、矩形状体５４Ｄ（角隅部ライン検出フィルタ）の値を求め角隅部ライン（段差）のエッジ検出を行い、例えば鼻孔等のような段差エッジ部位の検出を行っている。
そして、従来のオブジェクト認識手法では、画像を一定サイズのサブウインドウで走査し、サブウインドウ内部において短形状特徴５４Ａ〜５４Ｄを少なくとも１つ用いて、オブジェクト（例えば、顔）であるか否かの認識を行っている。

米国公開公報２００２／０１０２０２４Ａ１（第３頁〜第８頁、第１図〜第７図）

従来のオブジェクト認識手法においては、前記鉛直、水平、中目、角隅部の４種類のエッジ検出フィルタを夫々単独で用いて特徴を抽出して、顔画像の各特定部位等のようなオブジェクトの認識を行っているため、その演算量が少なく、高速に該オブジェクトの認識を行えるものの、各エッジ検出フィルタ毎に画像中の夫々の部位に類似する特徴を抽出しており、つまり、各エッジ検出フィルタを用いて特徴点の演算を行う際、４種類のエッジ検出フィルタのうち１つのエッジ検出フィルタを夫々対応する特定部位に位置づけて対応する部位の特徴点の演算を行っている結果、夫々のエッジ検出フィルタで表現できる特徴点が限定されてしまい、他の特徴点の抽出が行えないという課題がある。

つまり、従来のオブジェクト認識手法では、４種類の鉛直、水平、中目、角隅部のエッジ検出フィルタで抽出できない（識別できない）特徴点が画像中に含まれていても、その特徴点を有効に用いて夫々の部位のオブジェクトを認識できないという課題がある。例えば、従来のオブジェクト認識手法では、水平エッジ線（例えば、図２５（ｂ）に示すサブウインドウ５４Ｂ−１とサブウインドウ５４Ｂ−２との境界線）又は鉛直エッジ線（例えば、図２５（ａ）に示すサブウインドウ５４Ａ−１とサブウインドウ５４Ａ−２との境界線）を用いて特徴点を認識しているから、顔等のオブジェクトにおいて、あご等の斜め方向に延びるエッジ線を検出して、オブジェクトの認識に用いることができず、その結果、認識精度が劣ってしまうのみならず、顔を認識する際には、顔の位置が、正面、左向き、右向き、上向き、下向きのいずれの位置にあるかを認識することが困難であるという課題がある。

本発明の目的は、前記エッジ検出フィルタを複数種組み合わせて、しかも精度よくオブジェクトの認識、特に顔の特定部位の認識を容易にして、例えば顔の姿勢が、正面、左向き、右向き、上向き、下向きのいずれの位置にあるかを認識することも可能とした、対象物認識方法及び対象物認識装置、並びに顔方向識別装置を提供することにある。

上記の課題を解決するため、本発明の対象物認識方法は、画素情報として撮像された画像中の所定の対象物を認識するための対象物認識方法であって、
前記画像を走査して、複数の処理対象領域を抽出する対象領域抽出ステップと、
前記処理対象領域に複数のフィルタ演算領域を規定して、互いにエッジ検出方向の異なる複数のフィルタ処理機能で前記フィルタ演算領域をフィルタ処理して、エッジ検出方向の異なる複数のフィルタ出力を得るフィルタ処理ステップと、
予め前記対象物と前記複数のフィルタ処理機能の出力との関係が定義された座標関数に応じて前記複数のフィルタ出力からスコア値を求めるスコア値算出ステップと、
前記処理対象領域について前記スコア値を加算して加算値を求めて、該加算値と予め定められた閾値とを比較して、その比較結果に応じて前記処理対象領域に前記対象物があるか否かを若しくはその向きを判定する判定ステップとを有することを特徴とする。

本発明では、例えば、前記加算値が前記閾値を越えた場合、前記処理対象領域に前記対象物がある、若しくは対応する識別器に基づいて設定された対象物の向きであると判定するようにしたことを特徴し、又第１のフィルタ処理機能はフィルタ演算領域で所定の方向に延びるエッジを検出しており、第２のフィルタ処理機能はフィルタ演算領域で前記所定の方向に直交するエッジを検出する。例えば、所定の方向はフィルタ演算領域を規定する平面内で鉛直方向に延びる方向である。

また、本発明では、前記複数のフィルタ処理機能は鉛直軸方向と水平軸方向のように直交するエッジを検出する第１及び第２のフィルタ処理機能であって、該第１及び該第２のフィルタ出力が規定される直交座標において予め規定された領域に前記第１及び前記第２のフィルタ出力をプロットして前記第１及び前記第２のフィルタ出力について、前記エッジの強度と方向に応じて量子化を行う量子化ステップが、前記フィルタ処理ステップと前記スコア値算出ステップの間に存在するようにしてもよい。

加えて、本発明では、撮像された画像がカラー画像である場合に、対象物に近似する色（例えば顔の場合に肌色）を含む領域を有する画像を色領域画像として抽出する前処理ステップを有し、色領域画像について対象領域抽出ステップを行うようにしてもよく、この際には、前処理ステップでは色領域画像をカラー画像からモノクロ画像に変換する。

本発明では、撮像画像に対して輝度変換処理を行って、画像における輝度分布を変更してその輝度差を強調する輝度変換ステップを有し、輝度変換処理後の画像について対象領域抽出ステップを行うようにしてもよい。

本発明によれば、画素情報として撮像された画像中の所定の対象物を認識するための対象物認識装置であって、
前記画像を走査して複数の処理対象領域を抽出する対象領域抽出手段と、
前記処理対象領域に複数のフィルタ演算領域を規定して、互いにエッジ検出方向の異なる複数のフィルタ処理機能で前記フィルタ演算領域をフィルタ処理してエッジ検出方向の異なる複数のフィルタ出力を得るフィルタ処理手段と、
予め前記対象物と前記複数のフィルタ処理機能の出力との関係が定義された座標関数に応じて前記複数のフィルタ出力からスコア値を求めるスコア値算出手段と、
前記処理対象領域について前記スコア値を加算して加算値を求めて、該加算値と予め定められた閾値とを比較してその比較結果に応じて前記処理対象領域に前記対象物があるか否か、若しくはその向きを判定する判定手段とを有することを特徴とする対象物認識装置が得られる。

前記複数のフィルタ処理機能は鉛直軸方向と水平軸方向のように直交するエッジを検出する第１及び第２のフィルタ処理機能であって、該第１及び該第２のフィルタ出力が規定される直交座標において予め規定された領域に前記第１及び前記第２のフィルタ出力をプロットして前記第１及び前記第２のフィルタ出力について、前記エッジの強度と方向に応じて量子化を行う量子化手段を設けたことを特徴とする。

そして本発明は、画素情報として撮像された画像中の顔の向きを識別するための顔方向識別装置であって、
予め用意された顔方向毎の識別器と、
前記画像を走査して、複数の処理対象領域を抽出する対象領域抽出手段と、
前記処理対象領域に複数のフィルタ演算領域を規定して、互いにエッジ検出方向の異なる複数のフィルタ処理機能で前記フィルタ演算領域をフィルタ処理してエッジ検出方向の異なる複数のフィルタ出力を得るフィルタ処理手段と、
前記複数のフィルタ処理機能は鉛直軸方向と水平軸方向のように直交するエッジを検出する第１及び第２のフィルタ処理機能であって、該第１及び該第２のフィルタ出力が規定される直交座標において予め規定された領域に前記第１及び前記第２のフィルタ出力をプロットして前記第１及び前記第２のフィルタ出力について、前記エッジの強度と方向に応じて量子化を行う量子化手段とを設け、
前記夫々の各顔方向識別器にて抽出された複数の処理対象領域毎にフィルタ処理してエッジの強度と方向に応じて量子化を行い、前記量子化された数値に基づいて、スコア値を求めそのスコア計算により、類似度の高い識別器を判別して、顔方向を判定することを特徴とする。
この場合に、前記顔画像がカラー画像である際、前記肌色を有する領域を有する画像を色領域画像として抽出する前処理手段を有し、該色領域画像について前記対象領域抽出を行うようにするのがよい。

以上のように、本発明では、画像を走査して複数の処理対象領域を抽出して、処理対象領域に複数のフィルタ演算領域を規定した後、互いに異なる第１及び第２のフィルタ処理機能で前記フィルタ演算領域をフィルタ処理して第１及び第２のフィルタ出力を取得し、座標関数に応じて、第１及び第２のフィルタ出力からスコア値を求めて、処理対象領域についてスコア値を加算して加算値を取得し、加算値と予め定められた閾値とを比較してその比較結果に応じて処理対象領域に対象物があるか否かを判定するようにしたため、対象物の斜め方向のエッジも検出できるようになり、少ない種類のフィルタ処理機能でより精度よく、対象物の検出が行えるという効果がある。

本発明では、エッジ方向成分の異なる第１及び第２のフィルタ出力について、第１及び第２のフィルタ出力が規定される直交座標において、予め規定された領域に位置する第１及び第２のフィルタ出力を原点対象移動するようにしたため、座標関数の定義域を削減でき、その結果、座標関数のメモリ容量を低減できるという効果がある。

本発明では、前記第１及び第２のフィルタ出力について、エッジの強度に応じて量子化を行うようにしたため、輝度の微妙な変化に対して安定してエッジの認識を行うことができるという効果がある。また、本発明では、第１及び第２のフィルタ出力について、エッジの方向に応じて量子化を行うようにしたため、エッジ検出方向の微妙な変化に対して安定してエッジの認識を行うことができるという効果がある。

本発明では、撮像画像（例えば顔）がカラー画像である場合に、対象物に近似する色（例えば肌色）を有する領域を有する画像を色領域画像として抽出するようにしたため、フィルタ処理を行うべき領域や画素数が減少し、対象物認識の際の処理速度を向上させることができるという効果がある。

本発明では、撮像画像に対して輝度変換処理を行って、画像における輝度分布を変更してその輝度差を強調するようにしたため、フィルタ処理によってエッジ検出を容易に行うことができるという効果がある。

そして本発明では、主に高齢者、身障者若しくは独身者をターゲットとした生活支援型ロボットに適用させるのが有効である。生活支援型ロボットは、場所、時間、ユーザーの日常生活パターンから行動を推定し、行動内容に応じたコミュニケーションを行う機能や、人の動作に応じて適切なタイミングで適切な内容の会話を行う機能が搭載されている。
このための主要技術として、画像による顔方向(正面・上・下・左・右)と頭部の動き(うなずく・振り向く等)を高精度に認識することができる。
具体的には、図１７に示すように様々な方向を向いた顔画像を多数集め、これらを顔の方向毎に分類した上で、顔方向毎に登録された画像データベースを有する識別器を用い、又顔の特徴量抽出フィルタについては、本発明に用いる前記フィルタが４分割サブウインドウを有する升目状フィルタを用い、夫々のサブウインドウの上下若しくは左右の対比するウインドウ内の画素合計数を減算してその値が＋側か−側かに分別し、上下若しくは左右のサブウインドウの＋１と−１との対比で、水平若しくは鉛直エッジフィルタとして機能させることにより、エッジ勾配角度の分解能を８方向に増やすことができ、顔の輪郭の細かな変動に対応可能とすることができる。尚、前記顔方向識別器は、正面/右向き/左向き/上向き/下向き」の5つの識別器に加えて、顔の向きの程度に応じて２段階の識別器を持つ（やや右向き・右向き等）ようにしてもよい、

以下、本発明の実施の形態について図面を参照して説明する。但し、この実施の形態に記載されている構成部品の寸法、材質、形状、その相対配置などは特に特定的な記載がない限り、この発明の範囲をそれのみに限定する趣旨ではなく、単なる説明例にすぎない。
本実施例では、対象物（オブジェクト）として人間の顔を認識する場合について説明するが、人間の他の部位、又は他のオブジェクトを認識する場合にも、同様にして本実施例を適用できる。

まず、図１を参照して、本実施例に係る対象物認識装置の概略を説明する。図に示されるように、対象物認識装置１０は、ＣＣＤカメラ等の画像入力装置１１、フィルタ処理装置１３、スコア演算装置１４、記憶装置１５、スコア演算装置１４の演算結果判定装置１６、及び判定結果出力装置１７を備えており、記憶装置１５には後述するフィルタ位置・大きさ及び対象物らしさを出力する関数（以下単に座標関数と呼ぶ）が予め記憶されている。尚、フィルタ処理装置１３の前段には必要に応じて、破線ブロックで示す前処理装置１２が配置される。

ここでは、まず、前処理装置１２を備えていない対象物認識装置１０について説明する。図２及び図３も参照して、画像入力装置１１は、例えばＣＣＤカメラ等の撮像装置（図示せず）を備えており、撮像装置で撮像された画像（モノクロ画像）はビデオデータからなるデジタル画像として、画像入力装置１１からフィルタ処理装置１３に入力される（Ｓ１）。フィルタ処理装置１３では入力画像（対象画像）２１に処理領域２２を設定して（Ｓ２）、図３に実線矢印で示すように、処理領域２２をスキャン（走査）して、順次処理対象領域に対応するサイズの処理対象画像２３を抽出する（Ｓ３）。尚、一回目の走査が終了すると、少なくとも更に一回若しくは複数回、処理領域２２の大きさを順次変化させて、繰り返し走査を行い、処理対象画像２３を抽出する。

いま、対象画像２１の画像サイズを（Ｎ，Ｍ）とすると、（Ｎ及びＭはそれぞれ水平方向（ｘ）及び鉛直方向（ｙ）のピクセル（画素）数である）、対象画像２１中の画像データＩは、Ｉ（ｘ，ｙ│０≦ｘ＜Ｎ，０≦ｙ＜Ｎ）で表される。

図３において、処理対象画像２３の二次元座標（ｘ、ｙ）左上座標を（ｘｓ，ｙｓ）、その画像サイズを（ｗ，ｈ）とすると、（ｗ及びｈはそれぞれ水平方向及び鉛直方向のピクセル数である）、処理対象画像２３中の画像データＩ’は、Ｉ’（ｕ，ｖ）＝Ｉ（ｘｓ＋ｕ，ｙｓ＋ｖ│０≦ｕ＜ｗ，０≦ｖ＜ｈ）で表される。上述のようにして、複数の処理対象画像２３を抽出した後、フィルタ処理装置１３では、処理対象画像２３の拡大若しくは縮小処理（正規化処理）を行う（Ｓ４）。拡大・縮小処理（正規化処理）に当っては、例えば、ニアレストネイバー法、バイリニア法、又はバイキュービック法等の拡大・縮小処理法が用いられる。

拡大・縮小処理に用いられる関数をＧ（Ｉ）として、既定の画像サイズ（つまり、正規化後の画像サイズ）を（Ｎ_Ｎ，Ｍ_Ｎ）すると、拡大・縮小処理後（正規化後）の画像Ｉ”は、Ｉ”（ｘ，ｙ│０≦ｘ＜Ｎ_Ｎ，０≦ｙ＜Ｍ_Ｎ）となる。そして、このようにして、正規化された画像データ（つまり、正規化後の処理対象画像２３）は、後述するようにしてフィルタ処理される。

図４を参照すると、フィルタ処理に当って、フィルタ処理装置１３では、図４（ａ）に示すように、正規化処理対象画像２３について、複数の升目状のフィルタ演算領域２４を設定する。フィルタ演算領域２４の位置（複数の升目状の位置）及び大きさは、前述した記憶装置１５に予めフィルタ位置及び大きさ設定値として設定されており、フィルタ処理装置１３では、記憶装置１５からフィルタ位置及び大きさ設定値を読み込み（Ｓ５）、フィルタ演算領域２４を正規化処理対象画像２３に設定した後、フィルタ処理を行う（Ｓ６）。
例えば顔画像をフィルタ処理する場合、図１２に示すように、撮像した抽出画像を記憶された顔画像３１に対応して大・縮小処理後（正規化後）、例えば、目、口、あご、鼻、もみあげ等の座標部位に対応するフィルタ演算領域３２を正規化処理対象画像３３に設定した後、フィルタ処理を行う（Ｓ６）。

フィルタ処理に当っては、各フィルタ演算領域２４ついて、鉛直エッジ検出フィルタ２５及び水平エッジ検出フィルタ２６を用いてフィルタ処理が行われる。図４（ｂ）に示すように、鉛直エッジ検出フィルタ２５はフィルタ演算領域２４と同一の面積を有しており、鉛直エッジ検出フィルタ２５には左側フィルタ部２５ａと右側フィルタ部２５ｂと左右２つのサブウインドウを有しており、鉛直エッジ検出フィルタ２５がフィルタ演算領域２４に位置付けられて、左側フィルタ部２５ａの合計画素数（グレースケール）が、明るい領域を示す右側フィルタ部２５ｂの合計画素数よりも暗い領域を示すことになり、明るい領域を示す右側フィルタ部２５ｂの合計画素数（グレースケール）から左側フィルタ部２５ａの合計画素数を減算して、鉛直エッジ検出フィルタ２５の出力を得る。尚、前記フィルタ演算領域には複数のフィルタが対応するようにしても良い。
そして、鉛直エッジ検出フィルタ２５の出力は鉛直フィルタ出力としてスコア演算装置１４に与えられる。

同様にして、図４（ｃ）に示すように、水平エッジ検出フィルタ２６はフィルタ演算領域２４と同一の面積を有しており、水平エッジ検出フィルタ２６には上側フィルタ部２６ａと下側フィルタ部２６ｂとを有しており、水平エッジ検出フィルタ２６がフィルタ演算領域２４に位置づけられて、上側フィルタ部２６ａの合計画素数が、明るい領域を示す下側フィルタ部２６ｂの合計画素数よりも暗い領域を示すことになり、水平エッジ検出フィルタ２６の出力は水平フィルタ出力としてスコア演算装置１４に与えられることになる。このようにして、鉛直エッジ検出フィルタ２５及び水平エッジ検出フィルタ２６を用いて、交互にフィルタ演算領域２４にフィルタ処理を行い、それぞれ鉛直フィルタ出力及び水平フィルタ出力を得る。

いま、全フィルタ演算領域（つまり、全フィルタ数）をＮｆ、フィルタ演算領域番号（つまり、フィルタ番号）をｋとし（つまり、図５に示すように、正規化処理対象画像２３に対して第１番目から第ｋ番目（ｋは２以上の整数）のフィルタ演算領域２４が設定され、各フィルタ演算領域２４に対して鉛直フィルタ出力及び水平フィルタ出力を得ることになる）、図４（ａ）において、フィルタ演算領域２４の左上座標を（ｘｆｓ（ｋ），ｙｆｓ（ｋ））、フィルタ演算領域２４のサイズを（ｗｆ（ｋ），ｈｆ（ｋ））として、鉛直エッジ検出フィルタ２５の出力（鉛直フィルタ出力）をＦｖ（ｘ，ｙ，ｋ）、水平エッジ検出フィルタ２６の出力（水平フィルタ出力）をＦｈ（ｘ，ｙ，ｋ）で表すと、Ｆｖ（ｘ，ｙ，ｋ）は数１で表され、Ｆｈ（ｘ，ｙ，ｋ）は数２で表される。

〔数１〕
Ｆｖ（ｘ，ｙ，ｋ）＝−１：ｘｆｓ（ｋ）≦ｘ＜ｘｆｓ（ｋ）＋ｗｆ（ｋ）／２，ｙｆｓ（ｋ）≦ｙ＜ｙｆｓ（ｋ）＋ｈｆ（ｋ）
Ｆｖ（ｘ，ｙ，ｋ）＝＋１：ｘｆｓ（ｋ）＋ｗｆ（ｋ）／２≦ｘ＜ｘｆｓ（ｋ）＋ｗｆ（ｋ），ｙｆｓ（ｋ）≦ｙ＜ｙｆｓ（ｋ）＋ｈｆ（ｋ）
Ｆｖ（ｘ，ｙ，ｋ）＝０（それ以外）

〔数２〕
Ｆｈ（ｘ，ｙ，ｋ）＝−１：ｘｆｓ（ｋ）≦ｘ＜ｘｆｓ（ｋ）＋ｗｆ（ｋ），ｙｆｓ（ｋ）≦ｙ＜ｙｆｓ（ｋ）＋ｈｆ（ｋ）／２
Ｆｖ（ｘ，ｙ，ｋ）＝＋１：ｘｆｓ（ｋ）≦ｘ＜ｘｆｓ＋ｗｆ（ｋ），，ｙｆｓ（ｋ）＋ｈｆ（ｋ）／２≦ｙ＜ｙｆｓ（ｋ）＋ｈｆ（ｋ）
Ｆｖ（ｘ，ｙ，ｋ）＝０（それ以外）

スコア演算装置１４では、鉛直フィルタ出力及び水平フィルタ出力を受けると、記憶装置１５に予め設定された対象物らしさ（例えば、顔らしさ）を出力する関数（座標関数）を読み込み（Ｓ７）、鉛直フィルタ出力及び水平フィルタ出力をこの座標関数に代入して、出力結果をスコア値として得る（Ｓ８）。

いま、鉛直フィルタ出力をＥｖ（ｋ）、水平フィルタ出力をＥｈ（ｋ）とすると、座標関数は、Ｓｏｂｊ（Ｅｖ（ｋ），Ｅｈ（ｋ））で表され、図６に示す三次元座標系において、Ｓｏｂｊ（対象物らしさ）、Ｅｖ（ｋ）、及びＥｈ（ｋ）が図示のように規定され、鉛直フィルタ出力Ｅｖ（ｋ）及び水平フィルタ出力Ｅｈ（ｋ）が定まると、図６に×印で示す座標関数値（対象物らしさ：スコア値）が求まる。尚、原点から×印（スコア値）を結ぶベクトルの大きさは輝度を表している。

そして、スコア演算装置１４では、全ての鉛直フィルタ出力及び水平フィルタ出力の対について、そのスコア値を求めると（Ｓ９）、これらスコア値を加算して加算結果を得る（Ｓ１０）。この加算結果ＳはＳ＝ΣＳｏｂｊ（Ｅｖ（ｋ），Ｅｈ（ｋ））（ｋは１からＮｆまで）で表される。

上記の加算結果は、結果判定装置１６に与えられて、結果判定装置１６では、加算結果が予め規定された閾値よりも大きいか否かを判定し（Ｓ１１）、加算結果が予め規定された閾値よりも大きいと、結果判定装置１６は、処理対象領域が対象物（例えば、顔）であると判定する（Ｓ１２）。一方、結果判定装置１６は、加算結果が予め規定された閾値以下であると、処理対象領域が非対象物であると判定する（Ｓ１３）。

上述のようにして、全ての処理対象画像について処理を行って、結果出力装置１７から処理結果を出力する（Ｓ１４）。このようにして、鉛直及び水平エッジ検出フィルタ２５及び２６という二種類のエッジ検出フィルタを用い、同一の処理対象画像を二種類のエッジ検出フィルタで処理するようにしたため、例えば、顔の輪郭のように斜め方向のエッジも検出できることになり、少ない種類のエッジ検出フィルタでより精度よく顔の検出が行えることになる。

ところで、撮像装置で得られた画像は、その撮影環境によって微妙に変化する。例えば、逆光等の撮影環境においては、画像の明暗が逆転することになって、対象物と背景との明暗が逆転する。このため、フィルタ演算装置１３では、例えば、画像の明暗が逆転する撮影環境下においては、鉛直フィルタ出力Ｅｖ（ｋ）及び水平フィルタ出力Ｅｈ（ｋ）を原点に対して対象移動した後、鉛直フィルタ出力Ｅｖ（ｋ）及び水平フィルタ出力Ｅｈ（ｋ）をスコア演算装置１４に出力する。

図７を参照すると、フィルタ演算装置１３では、図２で説明したフィルタ処理（Ｓ６）を行った後、鉛直フィルタ出力Ｅｖ（ｋ）及び水平フィルタ出力Ｅｈ（ｋ）の出力変換処理を行い（Ｓ１５）、鉛直フィルタ出力Ｅｖ（ｋ）及び水平フィルタ出力Ｅｈ（ｋ）をスコア演算装置１４に出力する。そして、スコア演算装置１４は図２に示す対象物関数読み込み処理（Ｓ７）以降を行うことになる。この際には、図８に示すように、例えば、鉛直フィルタ出力軸よりも下側に位置するスコア値Ｓｏｂｊ（図８において斜線で示す部分に位置するスコア値Ｓｏｂｊ）は、原点に対して対象移動した位置に現れる。この結果、全てのスコア値Ｓｏｂｊが鉛直フィルタ出力軸よりも上側に位置することになって、座標関数の定義域を１／２にすることができ、記憶装置１５の容量を低減できる。

また、上述の出力変換処理（Ｓ１５）においては、鉛直フィルタ出力Ｅｖ（ｋ）及び水平フィルタ出力Ｅｈ（ｋ）が検出されたエッジの強度に応じて量子化して、鉛直フィルタ量子化出力及び水平フィルタ量子化出力を得て、スコア演算装置１４では、鉛直フィルタ量子化出力及び水平フィルタ量子化出力から座標関数を参照してスコア値を求めるようにしてもよい。このようにしてエッジ強度に応じて量子化を行えば、輝度の微妙な変化に対して安定し、例えば、照明の変化等によって画像の輝度が変化しても、安定してエッジの認識を行うことができる。

例えば図１２に示すように、顔画像３１の特定部位の画像３２を抽出して（図１２（Ａ）参照）その抽出画像３２を正規化処理して、その正規化処理した抽出画像３３を升目状に分割してフィルタ演算領域を設定した（図１２（Ｂ）参照）。鉛直エッジ検出フィルタ２５と水平エッジ検出フィルタ２６夫々のエッジの強度に応じて量子化して、鉛直フィルタ量子化出力及び水平フィルタ量子化出力を得て、前記スコア演算装置１４では、鉛直フィルタ量子化出力及び水平フィルタ量子化出力から座標関数を参照してスコア値を求め、これを座標軸上で表したものが図１２（Ｃ）のエッジ評価図である。

このようにしてエッジ強度に応じて量子化した鉛直エッジ検出フィルタ２５と水平エッジ検出フィルタ２６夫々のエッジの強度を二次元座標上にプロットし、例えば３０°刻みの６方向とその強度に合わせて数段階の範囲を設定して量子化することにより、輝度の微妙な変化に対して安定し、例えば、照明の変化等によって画像の輝度が変化しても、安定してエッジの認識を行うことができる。
即ち鉛直エッジ検出フィルタ２５と水平エッジ検出フィルタ２６を利用して、エッジ検出フィルタ強度を算出し、二次元座標にプロットすることによりNo.２〜No.２５の夫々の座標区域にプロットすることができ、その区域のNo.２〜No.２５のNo.を示すだけで、エッジ方向、強度を簡単に判定し、量子化が可能となる。
尚、No.１の場合は、エッジ強度、即ち鉛直エッジ検出フィルタ２５と水平エッジ検出フィルタ２６のスコア値がいずれもが小さい場合で、これは例えば照明の変化等によって画像の輝度が変化してできた抽出画像であり、この座標区域No.１の場合は、エッジ方向の判断をしない。

具体的に説明すると、例えば図１３の（Ａ）は照明の変化等によって画像の輝度が変化してできたような抽出画像３２ａで、一見して両目のように錯覚するが、鉛直エッジ検出フィルタ２５と水平エッジ検出フィルタ２６のスコア値（Ｘ印）がいずれも小さい領域３４ａに存在し、この場合はエッジ方向の検出判断をしない。
また、図１３（Ｂ）は実際の両目の抽出画像３２ｂで、鉛直エッジ検出フィルタ２５と水平エッジ検出フィルタ２６のスコア値（○印）がいずれも大きい領域３４ｂで、これを回帰分析等で重み付けをすることにより座標区域の選択が容易となる。

更に、図１４（Ａ）に示すように、フィルタ部（サブウインドウ）が上下若しくは左右の２分割エッジ検出フィルタ２５、２６の場合は斜め方向のエッジ検出が高精度に出ず、このような２分割エッジ検出フィルタを用いた場合は、例えば３０〜４５°（図１４（Ｂ）では３６°分割）の４〜５方向のエッジ検出しかできないが、図１５（Ａ）に示すように、フィルタ部（サブウインドウ）が上下及び左右の４分割エッジ検出フィルタ２７Ａ、２７Ｂ、２８Ａ、２８Ｂを用い、図１６に示すように、下２つのサブウインドウが−1（＋１）で、上２つのサブウインドウが＋1（−１）を水平エッジ検出フィルタ２７Ａ（２７Ｂ）とし、左２つのサブウインドウが−1（＋１）で、右２つのサブウインドウが＋1（−１）を鉛直エッジ検出フィルタ２８Ａ（２８Ｂ）とした場合に、水平エッジ検出フィルタ２７Ａと鉛直エッジ検出フィルタ２８Ａにより斜め左方向のエッジが検出でき、鉛直エッジ検出フィルタ２８Ｂと水平エッジ検出フィルタ２７Ａにより斜め右方向のエッジが検出でき、結果として４５°を基本単位として、更にその２分割の、例えば２０〜３０°（図１５（Ｂ）では２２．５°分割）の８方向のエッジ検出が可能となる。

元に戻り、上述の出力変換処理（Ｓ１５）において、鉛直フィルタ出力Ｅｖ（ｋ）及び水平フィルタ出力Ｅｈ（ｋ）を検出されたエッジの方向に応じて量子化して、鉛直フィルタ量子化出力及び水平フィルタ量子化出力を得て、スコア演算装置１４では、鉛直フィルタ量子化出力及び水平フィルタ量子化出力から座標関数を参照してスコア値を求めるようにしてもよい。このようにしてエッジ方向に応じて量子化を行えば、エッジ方向の微妙な変化に対して安定し、例えば、認識対象物（顔）の傾き又は位置ずれに対しても、安定してエッジの認識を行うことができる。

尚、上述の出力変換処理（Ｓ１５）において、鉛直フィルタ出力Ｅｖ（ｋ）及び水平フィルタ出力Ｅｈ（ｋ）を検出されたエッジの強度及び方向に応じて量子化して、鉛直フィルタ量子化出力及び水平フィルタ量子化出力を得て、スコア演算装置１４では、鉛直フィルタ量子化出力及び水平フィルタ量子化出力から座標関数を参照してスコア値を求めるようにしてもよい。

再び、図１を参照して、ここでは、画像入力装置１１から入力された画像を、前処理装置１２で処理した後、フィルタ処理装置１３に与える例について説明する。図９を参照して、いま、画像入力装置１１から前処理装置１２に与えられる画像がカラー画像であるとする。前処理装置１２には、予め認識対象物に近似する色を有する領域（以下色領域と呼ぶ）を抽出するフィルタ処理機能が備えられており、前処理装置１２では、カラー画像から該当する色領域を抽出する（Ｓ１６）。そして、前処理装置１２は抽出した色領域を有する画像をモノクロ画像に変換して（Ｓ１７）、フィルタ処理装置１３に渡す。フィルタ処理装置１３は、色領域（つまり、モノクロ画像）について、図２で説明した処理領域設定処理（Ｓ２）を実行することになる。

このようにして、認識対象物に近似する色を有する色領域のみをカラー画像から抽出した後、この色領域を有する画像を輝度情報のみを有するモノクロ画像に変換して、対象物の認識を行うようにすれば、フィルタ処理を行うべき領域が減少し、対象物認識の際の処理速度を向上させることができる。

尚、上述のフィルタ処理機能は、ハードウェア又はソフトウェアで構成することができ、更には、画像入力装置１１に、認識対象物に近似する色のみを通過させるフィルタを設けて、画像入力装置１１から前処理装置１２に色領域を有する画像を与えて、前処理装置１２ではこの画像をモノクロ画像に変換するようにしてもよい。更には、認識対象物の色に近似する照明を認識対象物に照射して、色領域を抽出するようにしてもよい。

図１０を参照して、ここでは、前処理装置１２には、画像入力装置１１からモノクロ画像が与えられているものとする。前処理装置１２はモノクロ画像に対して輝度変換処理を行って（Ｓ１８）、輝度変換処理後の画像をフィルタ処理装置１３に渡す。フィルタ処理装置１３では、輝度変換処理後の画像について図２で説明した処理領域設定処理（Ｓ２）を実行することになる。

図１１を参照すると、画像入力装置１１から入力された画像における輝度は、照明等の撮影環境に起因して、図１１（ａ）に示すように、その輝度分布が一方側（図１１（ａ）に示す例では、暗い方）に偏ることがある。このような画像から対象物を認識しようとすると、画像中の輝度差が小さいため、対象物（つまり、エッジ）の検出が困難となることがある。このため、前述のように、例えば、ヒストグラム均等化手法等の輝度変換処理を行って、輝度分布を図１１（ｂ）に示すように均一化する。

いま、目標とする平均輝度をｍ_０、目標とする輝度分散をσ_０、画像の平均輝度をｍ_ｉ、画像の輝度分散をσ_ｉとすると、前処理装置１２では数３に応じて輝度変換処理を行い、輝度変換処理後の画像をフィルタ処理装置１３に渡す。

〔数３〕
ｙ＝（σ_０／σ_ｉ）（ｘ−ｍ_ｉ）＋ｍ_０

上述のようにして、画像入力装置１１から入力された画像を輝度変換処理することによって、画像中の輝度差が強調される結果、フィルタ処理によってエッジ検出を容易に行うことができる。

次に、前記実施例を利用した顔方向推定ロジックを図１７〜図１８に基づいて説明する。
図１８の（Ａ）は顔方向識別器４０で、正面識別器４１、右向き識別器４２、左向き識別器４３、上向き識別器４４、下向き識別器４５の５種類の識別器を具備している。
このような識別器４０を実シーンに適用する際には誤検知を最小限に抑える必要がある。例えば実際の家庭内では多様な外乱要因が存在するため、主に顔以外の箇所を誤検知してしまう場合がある。
しかしながら例えば図１８（Ｂ）に示すように、顔形状の特徴は、例えば正面顔４６が長方形、右向き顔４７はホームベース形状が右向き、左向き顔４８はホームベース形状が左向き、上向き顔４９はホームベース形状が上向き、下向き顔５０はホームベース形状が下向き等のように、顔の特徴自体は比較的単純であり、この原則に踏まえて、方向間の細かい違いを精度良く捉えられる識別器４０とすることにより、誤検知、誤認識を最小限に抑えることができる。
このとき、顔の特定部位の画像を抽出する際に、図１７に示すように各顔方向に対する特定抽出領域１、２、３、４、５、…、ｎを各識別器ごとに定めておけばよい。

更に前記識別器４０の顔画像のデータベースの背景部分に実シーンで取得した背景画像をインポーズし、実際の環境変動を模擬した。また、識別時の細かな位置ずれ・回転ずれ・大きさ変動に対応するために、これら変動を加味した顔画像を学習に用い、更に背景画像として、顔パターンに間違え易いとされる木漏れ日画像をはじめ、屋内・屋外の様々なシーンを撮影した背景画像を学習に用いるのがよい。
更にまた、一度学習した顔方向識別器４０に対して、ランダムに抽出した背景画像を識別させ、誤って顔と識別した画像について再度背景として学習させることにより、誤検知低減を図ることが好ましい。
次に図１８（Ａ）の概略図に基づいて、顔方向推定ロジックを簡単に説明する。
顔方向識別器４０は５つ（正面/右向き/左向き/上向き/下向き）の識別器を用いて、撮像した画像から周知の画像切り出し手法により画像を切り出し、該切り出した画像に対して各方向識別器４１〜４５による識別スコアを求め。最もスコアの高い識別器を選択して順次各顔方向識別器にて類似度スコア計算する。次に類似度スコア最大の識別器の向きにて顔方向を確定するものである。

図１９を参照して本実施例に係る顔及び顔方向識別アルゴリズムにつき説明する。
図に示すように、まず、カメラ等の撮像装置により取得した画像を顔方向識別器４０に入力する（Ｓ２０）。このとき、識別器側の顔サイズは固定であるため、想定顔サイズに合わせて入力画像の画面全体を拡大、縮小して画像サイズを正規化する（Ｓ２１）。
そして、画面の全探索領域の各位置において、識別器４０による評価値（スコア）を計算する（Ｓ２２）。さらに、想定する顔サイズ数分だけ上記した入力画像の拡大、縮小処理（Ｓ２１）とスコア計算（Ｓ２２）をループ（Ｓ２３）させ、さらにこれを各顔方向識別器数分だけループ（Ｓ２４）する。前記想定する顔サイズ数分のループにおいて、同じ識別器ではサイズのループでの最大値を評価値とし、最大値を得たサイズを記憶しておく。また、前各顔方向識別器のループでは、正面識別器４１、右向き識別器４２、左向き識別器４３、上向き識別器４４、下向き識別器４５の数だけループする。

次に、入力画像中に顔画像が存在するか否かの検知を行なう（Ｓ２５）。これは、探索した各位置で、各識別器による評価スコアが閾値以上のものがあったか否かを判別し、閾値以上のものが存在する場合には、各検知位置毎に得られた評価値中で最も評価値の高い識別器の方向を顔方向と判断する（Ｓ２６）。例えば、前記閾値が100であり、所定位置における顔検知結果が、Ａ．正面識別器評価値120，サイズ10、Ｂ．左向き識別器評価値130，サイズ10、Ｃ．右向き識別器評価値70，サイズ15の夫々のスコア値が得られた場合、入力画像はサイズ10の左向きの顔有り、の判定がなされる。また、他の所定位置における顔検知結果が、Ａ．正面識別器評価値80，サイズ10、左向き識別器評価値60，サイズ15、右向き識別器評価値70，サイズ20の夫々のスコア値が得られた場合、入力画像中の前記所定位置には顔無し、の判定がなされる。
このようにして、入力画像中の顔の存在の有無及び顔方向が認識される。

図２０に、頭部の動き認識アルゴリズムを示す。このアルゴリズムでは、前記図１９の手順にて既に顔の位置が検知されているものとする。
まず、前記顔方向識別器４０に画像を入力し（Ｓ３０）、顔検知位置にて顔識別処理を実行し、顔類似度計算を行なう（Ｓ３１）。さらに、この処理を各顔方向識別器数分だけループし（Ｓ３２）、得られた結果の中で最も評価値の高い方向を選択し、顔方向を決定する（Ｓ３３）。そして、顔方向識別結果を記憶しておき（Ｓ３４）、上記Ｓ３０〜Ｓ３１までの各処理を連続的に行ない、得られた顔方向識別結果を時系列で並べることにより、頭部の動きを認識する。例えば、得られた顔方向を時系列的に並べた時に、左向き→左向き→正面→正面→正面→右向き→右向き→右向き、となった場合、首を横に振っていると判断することができる。このように、識別結果により得られる時系列の顔方向情報から、頭部のシンボリックな動き情報を抽出することができる。

また、図２１に、図２０に示した動き認識アルゴリズムを発展させた処理を示す。これは、図２０と同様に、前記顔方向識別器４０に画像入力（Ｓ４０）した後、顔検知位置にて顔識別処理を実行し、顔類似度計算を行ない（Ｓ４１）、この処理を各顔方向識別器数分だけループし（Ｓ４２）、得られた結果の中で最も評価値の高い方向を選択し、顔方向を決定する（Ｓ４３）。これにより得られた顔方向識別結果（Ｓ４４）を、時系列的に並べたものにより顔の動きを判別するとともに、以下の処理も並行して行なう。
前記入力された画像と、１つ前のフレームの画像との相関処理演算を行い（Ｓ４５）、相関処理結果に基づき、顔の動き方向・動き量を検出する（Ｓ４６）。これにより顔方向識別結果を取得する（Ｓ４７）。
このように、顔の向き情報のみでなく、動き情報（フレーム間の運動ベクトル）を同時に捉えることにより、より正確に頭部の動きを認識することができる。

図２２は、図２０に示した動き認識アルゴリズムに前処理を加えた処理である。
本実施例では、カラーカメラ等の色情報を取得可能な撮像手段を用い、得られたカラー画像を入力し（Ｓ５０）、肌色検知処理により前記画像中の顔領域を限定する（Ｓ５１）。そして、肌色検知領域に対して、顔識別処理を実行し、顔類似度を計算する（Ｓ５２）。さらに、各顔方向識別器数分のループ（Ｓ５３）により複数の計算結果を取得し、各検知位置毎に得られた結果の中で最も評価値の高い方向を選択し、顔方向を決定して（Ｓ５４）、顔方向識別結果を得る（Ｓ５５）。
このように、肌色情報を用いることにより、顔検知処理を行なう領域と識別処理に用いる方向識別器とを制限することができるため、顔検知処理が安定し、また処理速度を向上させることができる。

図２３は、図２２に示した前処理を発展させた処理であり、図２２と同様に、画像入力（Ｓ６０）したカラー画像から、肌色検知処理により顔領域を限定する（Ｓ６１）。さらに、１つ前のフレームの肌色検知結果と比較して、肌色検知領域の面積変化率及び縦横比変化率を計算する（Ｓ６２）。前記計算した面積変化率・縦横比変化率から、評価する顔方向識別器を選択し（Ｓ６３）、肌色検知領域に対して、顔識別処理を実行し、顔類似度計算を行なう（Ｓ６４）。該顔類似度計算を、各顔方向識別器数分だけループし（Ｓ６５）、各検知位置毎に、得られた結果の中で最も評価値の高い方向を選択し、顔方向を決定して（Ｓ６６）、顔方向識別結果を取得する（Ｓ６７）。
このように、肌色部分の面積の変化、或いは縦横比の変化から概略の顔の向きを推定することにより、簡単にかつ精度良く顔方向識別結果を得ることができるようになる。

前記図２２及び図２３において、肌色領域を検出する処理の一例を図２４に示す。図２４に示すように、まず肌色である物体のＵ、Ｖ値を取得する（Ｓ７０）。そして、前記取得したＵ、Ｖ値をＵ、Ｖテーブルに投票し（Ｓ７１）、各Ｕ、Ｖテーブル要素の肌色らしさの確率を計算する（Ｓ７２）。このとき、肌色らしさ確率は、（要素の投票数）／（全肌色投票数）で与えられる。
また、同様にして、肌色でない物体のＵ、Ｖ値を取得し（Ｓ７３）、Ｕ、Ｖテーブルに投票し（Ｓ７４）、各Ｕ、Ｖテーブル要素の肌色でない確率を計算する（Ｓ７５）。このとき、肌色でないらしさ確率は、（要素の投票数）／（全肌色でない投票数）で与えられる。そして、前記各要素の肌色度を計算して（Ｓ７６）、肌色領域を検出する。尚、肌色度は、（肌色らしさ確率）／（肌色でないらしさ確率）で与えられる。
このように、事前に撮像される場所での肌色物体と肌色でない物体の色登録から作成した、肌色らしさテーブルと比較して、肌色度の高いところを肌色領域とする。本実施例のごとく、肌色情報の利用において予め登録した画像を用いることにより、精度良い肌色領域の検出を達成できる。また、前記肌色らしさテーブルを、実際の運用場所の背景の中にある、肌色でない物体を追加登録することが好適であり、これにより、様々な運用場所において適用可能となり、肌色検出のロバスト性を高めることができる。

以上記載したごとく本発明によれば、対象物が顔の場合ばかりでなく、輪郭を有する各種対象物の認識に適用できる。
特に生活支援型ロボットでは、場所・時間・ユーザーの日常生活パターンから行動を推定し、行動内容に応じたコミュニケーションを行う機能や、人の動作に応じて適切なタイミングで適切な内容の会話を行う機能が搭載されているので、その主要技術として画像による顔方向(正面・左向き・右向き・上向き・下向き)と頭部の動き(うなずく・振り向く等)を高精度に求める技術を提供することができる。

本発明による対象物認識装置の一例を示すブロック図である。 図１に示す対象物認識装置における認識手法の一例を説明するためのフローチャートである。 処理領域（画像）から処理対象領域に対応するサイズの処理対象画像を抽出する例を示す図である。 処理対象画像のフィルタ処理を説明するための図である。 処理対象画像に対するフィルタ演算領域の設定の例を示す図である。 フィルタ出力とスコア値との関係を三次元座標系で示す図である。 図１に示すフィルタ処理装置における他の処理を示すフローチャートである。 フィルタ出力の原点対象移動を説明するための図である。 図１に示す前処理装置における処理の一例を示すフローチャートである。 図１に示す前処理装置における処理の他の例を示すフローチャートである。 図１に示す前処理装置における画像の輝度変換処理の一例を説明する図である。 顔画像のフィルタ演算領域を示す図（Ａ）、正規化したフィルタ演算領域におけるフィルタ処理を説明する図（Ｂ）、エッジ評価図（Ｃ）である。 顔画像のエッジ検出処理を説明する図で、輝度変化部位の画像におけるフィルタ出力分布を示す図（Ａ）、両目部位の画像におけるフィルタ出力分布を示す図（Ｂ）である。 ２分割エッジ検出フィルタを示す図（Ａ）、２分割エッジ検出フィルタを用いた場合のエッジ評価図（Ｂ）である。 ４分割エッジ検出フィルタを示す図（Ａ）、４分割エッジ検出フィルタを用いた場合のエッジ評価図（Ｂ）である。 ４分割エッジ検出フィルタにより検出可能なエッジを示す図である。 各顔方向画像における特定抽出領域を示す図である。 顔方向識別器の概略構成図（Ａ）、各顔方向画像における特徴形状を表す図（Ｂ）である。 本実施例における顔方向識別アルゴリズムを示す図である。 本実施例における頭部の動き認識アルゴリズムを示す図である。 図２０の別の実施例における頭部の動き認識アルゴリズムを示す図である。 肌色検知処理を備えた動き認識アルゴリズムを示す図である。 図２２の別の実施例における肌色検知処理を備えた動き認識アルゴリズムを示す図である。 本実施例における肌色領域検出アルゴリズムを示す図である。 従来の対象物認識手法を説明するための図である。

符号の説明

１０ 対象物認識装置
１１ 画像入力装置
１２ 前処理装置
１３ フィルタ処理装置
１４ スコア演算装置
１５ 記憶装置
１６ 結果判定装置
１７ 結果出力装置
２１ 入力画像
２２ 処理領域
２３ 処理対象画像
２４ フィルタ演算領域
２５ ２分割鉛直エッジ検出フィルタ
２６ ２分割水平エッジ検出フィルタ
２７Ａ、２７Ｂ ４分割水平エッジ検出フィルタ
２８Ａ、２８Ｂ ４分割鉛直エッジ検出フィルタ
４０ 顔方向識別器
４１ 正面識別器
４２ 右向き識別器
４３ 左向き識別器
４４ 上向き識別器
４５ 下向き識別器

Claims (10)

1. 画素情報として撮像された画像中の所定の対象物を認識するための対象物認識方法であって、
   前記画像を走査して、複数の処理対象領域を抽出する対象領域抽出ステップと、
   前記処理対象領域に複数のフィルタ演算領域を規定して、互いにエッジ検出方向の異なる複数のフィルタ処理機能で前記フィルタ演算領域をフィルタ処理して、エッジ検出方向の異なる複数のフィルタ出力を得るフィルタ処理ステップと、
   予め前記対象物と前記複数のフィルタ処理機能の出力との関係が定義された座標関数に応じて前記複数のフィルタ出力からスコア値を求めるスコア値算出ステップと、
   前記処理対象領域について前記スコア値を加算して加算値を求めて、該加算値と予め定められた閾値とを比較して、その比較結果に応じて前記処理対象領域に前記対象物があるか否かを若しくはその向きを判定する判定ステップとを有することを特徴とする対象物認識方法。
2. 前記判定ステップでは、前記加算値が前記閾値を越えると前記処理対象領域に前記対象物がある、若しくは対応する識別器に基づいて設定された対象物の向きであると判定するようにしたことを特徴とする請求項１記載の対象物認識方法。
3. 前記複数のフィルタ処理機能は鉛直軸方向と水平軸方向のように直交するエッジを検出する第１及び第２のフィルタ処理機能であって、該第１及び該第２のフィルタ出力が規定される直交座標において予め規定された領域に前記第１及び前記第２のフィルタ出力をプロットして前記第１及び前記第２のフィルタ出力について、前記エッジの強度と方向に応じて量子化を行う量子化ステップが、前記フィルタ処理ステップと前記スコア値算出ステップの間に存在することを特徴とする請求項１記載の対象物認識方法。
4. 前記画像がカラー画像である際に、前記対象物に近似する色を含む領域を有する画像を色領域画像として抽出する前処理ステップを有し、
   該色領域画像について前記対象領域抽出ステップを行うようにしたことを特徴とする請求項１記載の対象物認識方法。
5. 前記画像に対して輝度変換処理を行って、前記画像における輝度分布を変更してその輝度差を強調する輝度変換ステップを有し、
   前記輝度変換処理後の画像について前記対象領域抽出ステップを行うようにしたことを特徴とする請求項１記載の対象物認識方法。
6. 画素情報として撮像された画像中の所定の対象物を認識するための対象物認識装置であって、
   前記画像を走査して、複数の処理対象領域を抽出する対象領域抽出手段と、
   前記処理対象領域に複数のフィルタ演算領域を規定して、互いにエッジ検出方向の異なる複数のフィルタ処理機能で前記フィルタ演算領域をフィルタ処理して、エッジ検出方向の異なる複数のフィルタ出力を得るフィルタ処理手段と、
   予め前記対象物と前記複数のフィルタ処理機能の出力との関係が定義された座標関数に応じて前記前記複数のフィルタ出力からスコア値を求めるスコア値算出手段と、
   前記処理対象領域について前記スコア値を加算して加算値を求めて、該加算値と予め定められた閾値とを比較して、その比較結果に応じて前記処理対象領域に前記対象物があるか否か若しくはその向きを判定する判定手段とを有することを特徴とする対象物認識装置。
7. 前記複数のフィルタ処理機能は鉛直軸方向と水平軸方向のように直交するエッジを検出する第１及び第２のフィルタ処理機能であって、該第１及び該第２のフィルタ出力が規定される直交座標において予め規定された領域に前記第１及び前記第２のフィルタ出力をプロットして前記第１及び前記第２のフィルタ出力について、前記エッジの強度と方向に応じて量子化を行う量子化手段を設けたことを特徴とする請求項６記載の対象物認識装置。
8. 画素情報として撮像された画像中の顔の向きを識別するための顔方向識別装置であって、
   予め用意された顔方向毎の識別器と、
   前記画像を走査して、複数の処理対象領域を抽出する対象領域抽出手段と、
   前記処理対象領域に複数のフィルタ演算領域を規定して、互いにエッジ検出方向の異なる複数のフィルタ処理機能で前記フィルタ演算領域をフィルタ処理して、エッジ検出方向の異なる複数のフィルタ出力を得るフィルタ処理手段と、
   前記複数のフィルタ処理機能は鉛直軸方向と水平軸方向のように直交するエッジを検出する第１及び第２のフィルタ処理機能であって、該第１及び該第２のフィルタ出力が規定される直交座標において予め規定された領域に前記第１及び前記第２のフィルタ出力をプロットして前記第１及び前記第２のフィルタ出力について、前記エッジの強度と方向に応じて量子化を行う量子化手段とを設け、
   前記夫々の顔方向識別器にて抽出された複数の処理対象領域毎にフィルタ処理してエッジの強度と方向に応じて量子化を行い、前記量子化された数値に基づいてスコア値を求め、そのスコア値により類似度の高い識別器を判別して、顔方向を判定することを特徴とする顔方向識別装置。
9. 前記顔画像がカラー画像である際に、肌色を含む領域を有する画像を色領域画像として抽出する前処理手段を有し、該色領域画像について前記対象領域抽出を行うようにしたことを特徴とする請求項８記載の顔方向識別装置。
10. 前記フィルタ処理に用いるフィルタが４分割サブウインドウを有する升目状フィルタであり、夫々のサブウインドウの上下若しくは左右の対比するウインドウ内の画素合計数を減算してその値が＋側か−側かに分別し、上下若しくは左右のサブウインドウの＋１と−１との対比で、水平若しくは鉛直エッジ検出フィルタとして機能させることを特徴とする請求項８若しくは９記載の顔方向識別装置。

Images