JP2010165156A - 画像処理装置、方法及びプログラム - Google Patents

Abstract

【課題】単眼候補数が多い時にペアリングの組合せを低減することで高速な顔検出を実現する。
【解決手段】画像入力手段と、片目領域検出手段と、両目ペアリング手段と、パターン切出し手段と、パターン判定手段と、出力部とを備える。両目ペアリング手段は、第１の目と組み合わせる第２の目を決定する際、第１の目を中心とする対数極座標系に変換されたフラグマップを参照して、重複した領域からの組合せを抑制する。
【選択図】図１

Description

本発明は、画像や動画像からこの画像中に含まれる顔を検出する画像処理装置等に関する。

画像から顔パターンを自動的に検出する画像処理方法は非常に有用である。このような方法は通信会議、マン・マシン・インタフェース、セキュリティ、人間の顔を追跡するためのモニタ・システム、画像圧縮などの多くの分野で使用することができる。このような画像中から顔を検出する技術としては、例えば、非特許文献１にはＹａｎｇらの報告に各種方式が挙げられている。その中では、いくつかの顕著な特徴（２つの目、口、鼻など）とその特徴間の固有の幾何学的位置関係とを利用して人間の顔を検出する方式が示されている。

また、人間の顔の対称的特徴、人間の顔色の特徴、テンプレート・マッチング、ニューラル・ネットワークなどを利用することによって人間の顔を検出する方式が示されている。例えば、非特許文献２にはＲｏｗｌｅｙらの報告で提案されている。この方式は、ニューラル・ネットワークにより画像中の顔パターンを検出する方法である。以下、非特許文献２による顔検出の方法について簡単に説明する。

先ず、顔の検出を対象とする画像データをメモリに読み込み、顔と照合する所定の領域を読み込んだ画像中から切り出す。そして、切り出した領域の画素値の分布を入力としてニューラル・ネットワークによる演算で一つの出力を得る。このときニューラル・ネットワークの重み、閾値が膨大な顔画像パターンと非顔画像パターンにより予め学習されておいる。例えば、ニューラル・ネットワークの出力が０以上なら顔、それ以外は非顔であると判別する。そして、ニューラル・ネットワークの入力である顔と照合する画像パターンの切出し位置を、例えば図３に示すように画像全域から縦横順次に走査していくことにより、画像中から顔を検出する。

また、様々な大きさの顔の検出に対応するため、図３に示すように読み込んだ画像を所定の割合で順次縮小し、それに対して前述した顔検出の走査を行うようにしている。しかしながら、非特許文献２による方法では一枚の画像に対して膨大な回数のニューラル・ネットワークによる顔判別の処理を行う必要があり、処理速度に問題があった。

処理の高速化に着目した例としては、非特許文献３においてＶｉｏｌａとＪｏｎｅｓの報告がある。この報告の中ではＡｄａＢｏｏｓｔを使って多くの弱判別器を有効に組み合せて顔判別の精度を向上させる。また、夫々の弱判別器をＨａａｒタイプの矩形特徴量で構成し、しかも矩形特徴量の算出を、積分画像を利用して高速に行っている。

また、ＡｄａＢｏｏｓｔ学習によって得た判別器を直列に繋ぎ、カスケード型の顔検出器を構成するようにしている。このカスケード型の顔検出器は先ず、前段の単純な判別器を使って明らかに顔でないパターンの候補をその場で除去する。それ以外の候補に対してのみ、より高い識別性能を持つ後段の複雑な判別器を使って顔かどうかの判定を行っており、すべての候補に対して複雑な判定を行う必要がないので高速である。

特許文献２及び特許文献３は、画像を回転角度や縮小率を変えてラスタスキャンする、いわば総当り的な手法である。画像の回転及び解像度を変え、それぞれの画像に対して総当りで顔パターン判定をしていたため、回転、縮小率、縦位置、横位置の４次元探索であり、処理コストが高かった。それに対して、目や鼻穴などの顔の器官を高速に検出して顔領域を絞り込む手法がある。例えば、特許文献１にあるような目領域の検出方法が公開されている。これは、各画素の輝度に基づき各列を複数の間隔にセグメント化し、各間隔に谷領域、中間領域又は山領域のラベルを付け、各列の谷領域とその隣接列の谷領域とをマージすることで目候補領域を生成するものである。２つの目候補領域でペアを組んで顔領域を仮定して、顔パターン判定を行うことで、判定回数を抑えることができた。

特開２００２−１８３７３１号公報 IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE， VOL．24，NO.1，JANUARY 2002 "Detecting Faces in Images：A Survey" IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE， VOL．20，NO.１，JANUARY 1998 "Neural network‐based face detection" Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition （CVPR'01） "Rapid Object Detection using Boosted Cascade of Simple Features"

しかしながら、単眼同士をペアリングする方法は、ペアリングの組合せ数が検出された単眼候補数の２乗になる。そのため特に単眼候補数が多い時に顔判定パターンの切出しのための処理コストが高いという問題点があった。

本発明はこのような問題点に鑑みてなされた。即ち、類似した顔パターンを形成する両目のペアを抑制することで、単眼候補数が多い時にペアリングの組合せを低減することで高速な顔検出を実現することを目的とする。

本発明は上記目的を達成するために、画像から顔パターンの検出を行う画像処理装置であって、識別対象の画像の入力を受け付ける画像入力手段と、前記画像入力手段により入力された画像から片目候補領域を検出する片目領域検出手段と、前記片目領域検出手段により出力された片目領域から両方の目を組み合わせる両目ペアリング手段と、ペアリングされた両目位置に基づいて顔パターンを切り出すパターン切出し手段と、前記切り出されたパターンが顔であるか否かを判定するパターン判定手段と、前記パターン判定部で顔と判定されたパターンを出力する出力部とを備え、前記両目ペアリング手段は、第１の目と組み合わせる第２の目を決定する際、前記第１の目を中心とする対数極座標系に変換されたフラグマップを参照して、重複した領域からの組合せを抑制することを特徴とする画像処理装置等を提供する。

本発明により、類似した顔パターンを形成する両目のペアを抑制することで、単眼候補数が多い時にペアリングの組合せを低減することで高速な顔検出を実現することができる効果がある。

図２は、本発明の第一実施形態における画像処理装置の構成を示すブロック図である。画像処理装置は、ＲＯＭ２０２やＲＡＭ２０３に格納されたプログラムに従って命令を実行するＣＰＵ２０１、本発明のプログラムやその他の制御に必要なプログラムやデータを格納したＲＯＭ２０２である。また、一時的なデータを格納するＲＡＭ２０３、ＩＤＥやＳＣＳＩなどの外部記憶装置とのインターフェースを実現するドライブＩ／Ｆ２０４、画像やパターン抽出などのプログラムを有する。

また、顔、非顔のサンプルパターンなどを記憶するＨＤＤ２０５、デジタルカメラなどの装置から識別対象の画像を入力する画像入力装置２０６、キーボード等、オペレータからの入力を行う入力装置２０８を有する。また、ブラウン管や液晶ディスプレイなどの表示装置２０９、インターネットやイントラネットなどのネットワークと接続を行うモデムやＬＡＮなどのネットワークＩ／Ｆ２１０を有する。また、これらを接続するバス２１１を介して相互にデータの入出力を行う。本画像処理装置は、オペレーティングとしてマイクロソフト社のＷＩＮＤＯＷＳ（登録商標）ＸＰがインストールされ、その上で動作するアプリケーションとして実装されている。

［全体フロー］
図１は、本発明の全体フローを示した図である。
画像入力部１０１から画像が入力されると、片目領域検出部１０２によって片目候補領域が抽出される。片目領域の検出は特許文献１などの従来技術によって開示されている。
次に、両目ペアリング部によって、片目領域から第１の目と第２の目との両方の目を組み合せる両目ペアリングを行う。その際、片方の目には多解像度フラグマップ管理部によって重複を抑制し、ペアリングするもう片方の目には対数極座標系フラグマップ管理部によって重複を抑制する。両目ペアリング部からはペアリングされた両目の２点の両目位置（座標リスト）が出力される。

次に、目の座標を基準にして次に顔候補（パターン）のパターン切出し部によって、所定のサイズのテンプレートにアフィン変換を行ってペアリングされた両目位置に基づいて顔パターンを切り出す。顔パターンは、本実施形態では２０＊２０画素の輝度画像である。このパターン上に左目が上から、５画素目、左から５画素目、また右目が上から５画素目、右から５画素目に配置されるようにアフィン変換を行う。

次に、パターン判定部によってテンプレート中の輝度画像が顔か否か判定される。これは非特許文献２や非特許文献３などの従来技術によってパターン判定を行う。出力部では、パターン判定部によって顔と判定された入力画像中の領域がＨＤＤ２０５に記録、又は表示装置２０９に表示される。

［両目ペアリング］
次に、両目ペアリング部の処理の詳細について、図３のフローチャートを用いて詳細に説明する。ここでは、顔画像に向かって左側の目を左目、右側の目を右目として説明する。これは左右逆に読み替えても、なんら本発明の主旨を変えるものではない。

両目ペアリング部には、入力された画像とともに、図４に示すような前段の片目領域検出部で検出された目候補の中心座標のリストが入力される。両目ペアリング手段は、第１の目と組み合せる第２の目を決定する際、第１の目を中心とする対数極座標系に変換されたフラグマップを参照して、重複した領域からの組合せを抑制する。目候補の中心座標のリストには、右目か左目かを区別する情報や、目領域の大きさなどがあってもよいが、ここではないものとして説明する。

両目ペアリング部の処理を開始すると、先ずステップＳ３０１において多解像度フラグマップの領域を確保し、全てのフラグをＯＦＦに初期化する。多解像度フラグマップについては、後に詳細な説明を行う。

次に、ステップＳ３０２においてリストから左目を１つ着目する。
次に、ステップＳ３０３において、対数極座標系フラグマップの領域を確保し、全てのフラグをＯＦＦに初期化する。対数極座標系は次の式によって座標系を変換するものである。

ここで、ｘ０、ｙ０は着目中の左目の座標である。α、βは、対数極座標系の解像度を適切に設定するための係数である。また、γは検出対象とする最小の顔の目間距離である。具体的な数値例を挙げて説明すると、下記数値である。

これを直交系で示すと、着目している左目を中心とする同心円状となる。本実施形態では、２０画素を最小とし、そこから１．１倍ごと、即ち２０， ２２， ２４．２， ２６．６， …という間隔で、また、角度が６度ごとに区切られた領域が対数極座標系の１画素に対応する。対数極座標系フラグマップは、対数極座標系の１画素に対して１つのフラグが対応したものである。

対数極座標系フラグマップの例を図６に示し、ペアリングを抑制する様子を説明する。
６０１は着目している左目を示し、６０２、６０３などの黒点は他の目候補である。６０２及び６０３は同一の領域に存在するため、６０２のみが左目とペアリングされる。６０３はペアリングされないことを示している。

次に、ステップＳ３０４においてリストから左目とペアリングするための右目を１つ着目する。次に、ステップＳ３０５において左右の目中心間の距離を求める。次にステップＳ３０６において、目中心間の距離に基づき、対応する多解像度フラグマップの解像度を選択する。解像度の境目では前後の解像度で目中心間の距離が重複して設定することもでき、その場合は複数の解像度が選択されてもよい。

次に、ステップＳ３０７において、多解像度の選択された解像度のフラグマップ上の左目座標に対応するフラグを評価する。これがＯＮであれば、現在着目している左目の付近に、既にペアリングを行った左目があるということなので、ペアリングは行わずにステップＳ３１２に飛ぶ。複数の解像度が選択されていた場合には、全ての解像度での目座標に対応するフラグがＯＮである場合にペアリングは行わずにステップＳ３１２に飛ぶ。

次に、ステップＳ３０８において、ステップＳ３０７で評価したフラグをＯＮにする。次に、ステップＳ３０９において、対数極座標系フラグマップ上の右目座標に対応するフラグを評価する。これがＯＮであれば、現在着目している右目の付近に、現在着目している左目とすでにペアリングを行った右目があるということなので、ペアリングは行わずにステップＳ３１２に飛ぶ。そうでなければステップＳ３１０に進み、ステップＳ３０９で評価したフラグをＯＮにする。

次に、ステップＳ３１１に進み、両目ペアリストに着目している右目と左目の座標を追加する。ステップＳ３１２では着目している左目に対して全ての右目を処理したか判定し、全て処理するまで、ステップＳ３０４に戻るループを構成する。次に、ステップＳ３１３に進み、全ての左目に対して処理したか判定し、全て処理するまで、ステップＳ３０２に戻るループを構成する。すべての左目を処理したら、両目ペアリングの処理は終了である。

［多解像度フラグマップ］
多解像度フラグマップの一例を図５に示し、多解像度フラグマップによりペアリングが抑制される様子を説明する。説明のため、解像度のバリエーションを２種類にして簡略化しているが、実際には更に多くの解像度でフラグマップが存在する。
多解像度フラグマップは入力画像画素を所定の複数の解像度に落とし、各解像度の各画素に１つのフラグが対応したものである。また、各解像度ごとに対応する目間距離が定義されており、解像度が低いほど長い距離の目間距離が設定されている。解像度が変り目の目間距離における判別精度劣化を避けるため、目間距離は前後の解像度で重複していてもよい。重複したところでは複数の解像度のフラグマップが参照される。

図中、５０１は入力画像と同じ解像度の画像に抽出された目候補の中心座標をプロットしたものであり、５０２〜５０５は抽出された目の候補の例を示している。また、５０６〜５０７は複数の解像度のフラグマップである。白いブロック領域はフラグがＯＦＦの状態であり、黒いブロック領域はフラグがＯＮの状態である。両目ペアリング部の処理が終わったとき、各解像度で目候補に相当するブロックでフラグがＯＮの状態になっていることを示している。

５０６の高解像度フラグマップでは短距離の目間候補をサポートし(５０２と５０４)、(５０２と５０４)及び（５０４と５０５）がペアリングされる。また、５０７の低解像度のフラグマップでは長距離の目間候補をサポートする。この解像度では５０２と５０３は同一の領域であるため、（５０２と５０５）のみがペアリングされ、（５０３と５０５）のペアリングは抑制される。

本実施形態ではフラグマップを格子状の領域としたが、円に近い方が精度上は理想的であり、各領域を六角形にして蜂の巣状のマップにしてもよい。また、本実施形態では、各領域で最初に処理した目の座標を用いていたが、各領域内の全目候補の平均座標を用いても、また、領域の中心座標を用いてもよい。

［プログラム］
図７は、本発明の第二実施形態における画像処理装置の構成を示すブロック図である。第一実施形態と共通する部分には同じ番号を付与している。ブロック構成としては本発明のプログラムを記録したＤＶＤ又はＣＤのような光ディスク２１２を追加し、ドライブインターフェース２０４にＣＤ／ＤＶＤドライブなどの外部記憶読書装置２１３が接続されている。本発明のプログラムを記録した光ディスク２１２を、外部記憶読書装置２１３に挿入するとＣＰＵ２０１は記録媒体からプログラムを読み取る。そして、ＲＡＭ２０３に展開することで、第一実施形態と同様の処理を実現することができる。

［プログラム記憶媒体］
プログラムコードを供給するための記憶媒体としては、例えばフレキシブルディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ、ＤＶＤ，磁気テープ，不揮発性のメモリカード，ＲＯＭなどを用いることができる。

［システム構成］
また、プログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳなどが実際の処理の一部又は全部を行ない、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

本発明の画像処理装置の構成を示すブロック図である。 第一実施形態のハードウェア構成を示す図である。 本発明の第一実施形態における両目ペアリング部の処理の流れを示すフローチャートである。 本発明の第一実施形態の片目領域検出部から出力され両目ペアリング部に入力される片目領域中心座標リストの例を示す図である。 本発明の第一実施形態における多解像度フラグマップを示す図である。 本発明の第一実施形態に対数極座標系フラグマップを示す図である。 本発明の第二実施形態のハードウェア構成を示す図である。

２０１ ＣＰＵ
２０２ ＲＯＭ
２０３ ＲＡＭ
２０４ ドライブＩ／Ｆ
２０５ ＨＤＤ
２０６ 画像入力装置
２０８ 入力装置
２０９ 表示装置
２１０ ネットワークＩ／Ｆ
２１１ バス

Claims (5)

1. 画像から顔パターンの検出を行う画像処理装置であって、
   識別対象の画像の入力を受け付ける画像入力手段と、
   前記画像入力手段により入力された画像から片目候補領域を検出する片目領域検出手段と、
   前記片目領域検出手段により出力された片目領域から両方の目を組み合わせる両目ペアリング手段と、
   ペアリングされた両目位置に基づいて顔パターンを切り出すパターン切出し手段と、
   前記切り出されたパターンが顔であるか否かを判定するパターン判定手段と、
   前記パターン判定部で顔と判定されたパターンを出力する出力部とを備え、
   前記両目ペアリング手段は、第１の目と組み合わせる第２の目を決定する際、前記第１の目を中心とする対数極座標系に変換されたフラグマップを参照して、重複した領域からの組合せを抑制することを特徴とする画像処理装置。
2. 前記フラグマップの各領域は、格子状であることを特徴とする請求項１記載の画像処理装置。
3. 前記フラグマップの各領域は、蜂の巣状であることを特徴とする請求項１記載の画像処理装置。
4. 画像から顔パターンの検出を行う画像処理方法であって、
   識別対象の画像の入力を受け付ける画像入力工程と、
   前記画像入力工程により入力された画像から片目候補領域を検出する片目領域検出工程と、
   前記片目領域検出工程により出力された片目領域から両方の目を組み合わせる両目ペアリング工程と、
   ペアリングされた両目位置に基づいて顔パターンを切り出すパターン切出し工程と、
   前記切り出されたパターンが顔であるか否かを判定するパターン判定工程と、
   前記パターン判定工程で顔と判定されたパターンを出力する出力工程とを備え、
   前記両目ペアリング工程において、第１の目と組み合わせる第２の目を決定する際、前記第１の目を中心とする対数極座標系に変換されたフラグマップを参照して、重複した領域からの組合せを抑制することを特徴とする画像処理方法。
5. 請求項４記載の画像処理方法の各工程をコンピュータにて実施させるプログラム。

Images