JP2007264860A - 顔領域抽出装置 - Google Patents

Abstract

【課題】監視カメラによる撮像画像データから顔画像データのみを抽出して保存する監視システムにおいて、テンプレートマッチング法等の形状に着目する手法と共に肌色情報を用いる場合に、照明条件により肌色情報が変化して顔画像の抽出精度が低下することを防止する。
【解決手段】フレームメモリに格納した撮像画像データ全体についての彩度の平均値を算出し（S3）、テーブルを用いて彩度に応じた肌色の色相範囲の幅を算出する（S4）。色相環における肌色の基準角度を中心に前記幅で規定される色相範囲で肌色領域を検索し（S5）、検出された肌色領域に対してテンプレートマッチング法を適用することで検出された顔領域の画像データを抽出する（S6〜S9）。前記肌色の色相範囲の幅は、彩度が低い場合には広く設定し、彩度が高い場合には狭く設定する。
【選択図】図４

Description

本発明は、監視システム等に適用される顔領域抽出装置に係り、特に、人物が撮像されている画像データから照明条件の変化に影響されることなく顔領域だけを抽出する技術に関する。

近年、セキュリティ監視分野においてビデオカメラを用いた監視システムの普及が目覚しく、各種産業施設やビル管理等だけでなく、家庭にも導入されるようになっているが、監視システムでは監視場所の映像を長時間に亘り撮影することが多いため、全ての映像を記録して残すには大容量の記憶媒体が必要になり、また全ての映像を確認するにも膨大な時間と労力を要する。

そのため、監視場所の状態を如何に少ない情報量で効率良く且つ正確に確認できるようにするかが問題となるが、一般に、監視カメラで撮像した映像において着目対象は人物であることが多く、侵入者等の行為の確認と共に、その者の顔領域の画像を抽出して保存・表示する機能が求められている。

従来から、顔領域の画像の抽出に関しては、顔の各パーツや輪郭等の特徴点を解析して抽出する方法や、顔領域の事前学習によるパターン認識により抽出する方法等のように形状情報に着目して判断する方法があり、更に最近では、肌や唇等の色情報を用いた画像領域の検出方法を併用して顔領域の抽出速度と抽出精度の向上が図られている。この色情報の利用については、下記非特許文献１において「人の肌色は人種・民族によらず、ほぼ一定の色相の範囲に群集する傾向がある」とされているように、顔領域の抽出に肌色情報を補助的に用いることは極めて有効である。

しかし、天候（太陽光の時間による色変化や日照条件）や照明光の種類による照明条件の変化や、カメラ自体のレンズや撮像素子や信号処理回路の特性によって、同一人物の肌色であっても異なった色相のデータとして取り込まれてしまう。これに対して、下記特許文献１では、肌色情報を用いる顔領域抽出方法として、取り込んだ画像データ全体の色情報から撮影光源を判断し、その撮影光源の特性と被写体輝度によって光源判定の確度を向上させるようにし、光源種別情報と被写体輝度に基づいて最適な肌色検出用の肌色テーブルを自動選択し、選択した肌色を有する領域を検出して、その肌色領域から顔の形状認識を行うことで顔領域を抽出する方法を提案している。
特開２００４−１９２１２９号公報 Yogesh. Raja, Stephen J. McKenna and Shaogang Gong、Tacking and segmenting people in varying lighting conditions using colour、In IEEE International Conference on Face & Gesture Recognition、1998、pages 228-233

一定の照明条件の下では、監視カメラによる撮像画像の肌色部分の彩度と色相分布が一定範囲にあるため、前記のように予めテーブル等に記憶させた肌色情報を利用して顔領域の抽出精度を向上させることができる。しかし、監視システムでは照明条件が変化する場所を長時間に亘って連続的に撮影する場合が多く、例えば、屋外や屋外光が差し込む場所を対象として昼夜を問わず撮影すると、天候や時間によって徐々に照明条件が変化する。また、屋内の場合においても、店舗の営業時間内と時間外や夜間での照明条件は大きく変化し、照明のＯＮ／ＯＦＦによっても当然に照明条件が異なる。

そして、そのように様々に変化する照明条件において、監視カメラの撮像画像がグレースケールに近い状態となって彩度が低下すると、画像データ全体の色相の分解能が低下することになり、必然的に肌色情報の検出精度が悪化する。また、一般的に、ビデオカメラにおける撮像画像の色バランスの調整はホワイトバランス調整機能により実行されるが、これは白色を基準色として撮影条件によって被写体の色が不均衡な状態にならないようにする機能であり、各撮像時点での画像全体又はその一部の色を補正基準として画像全体の色バランスを調整する。従って、個別の色はそれ以外の色の画像全体の色バランスに左右され、必ずしも肌色が顔領域の抽出のために最適な色になるとは限らない。前記特許文献１の顔領域抽出方法では、照明条件を考慮しているが、人物を含む多様な物体が存在する画像上では同一の照明であっても色分布が変化する場合があり、撮影光源の判断を誤ってしまうと、肌色テーブルの選択も誤ることになり、結果的に肌色領域の検出精度が悪化する。尤も、その顔領域抽出方法はスチルカメラを対象としたものであるために、前記誤りがあってもシャッタ操作毎の１枚の撮像画像に影響するだけであるが、監視カメラ等のビデオカメラでは長時間の画像における肌色情報の検出に影響が生じることになる。

換言すれば、監視カメラ等における撮像画像の彩度や色分布は時間的に多様な変化を呈する照明条件により影響を受けることが多く、肌色領域の検出精度が悪くなり、ひいては顔領域を正確に抽出できなくなる。そこで、本発明は、監視カメラ等のビデオカメラから得られる撮像画像に含まれている肌色情報の検出条件を直前の画像データに基づいて適応的に設定し、肌色情報を常に高い精度で検出して、撮影画像中の顔領域を正確に抽出できるようにすることを目的として創作された。

第１の発明は、入力されるフレームデータの画像データから肌色領域を検出し、検出された前記肌色領域を対象として顔領域であるか否かを解析して顔画像データを抽出する顔領域抽出装置において、入力される前記フレームデータを記憶するフレーム記憶手段と、前記フレーム記憶手段が記憶したフレームデータ全体の彩度の平均値を求める彩度演算手段と、前記彩度演算手段が求めた彩度の平均値に基づいて、前記肌色領域を検出する際に適用する色相範囲を設定する色相範囲設定手段と、前記色相範囲設定手段が設定した色相範囲に基づいて、前記フレーム記憶手段が記憶したフレームデータから肌色領域を検出する肌色領域検出手段とを具備したことを特徴とする顔領域抽出装置に係る。

この発明では、フレーム全体の彩度の平均値を求め、その値によって肌色領域を検出するための色相範囲を可変設定して、そのフレームデータから肌色領域を検出する。照明条件等の変化によって画像データの彩度が変化しても、肌色検出用の色相範囲を適応的に制御することにより肌色領域を高い精度で検出でき、その前提により顔領域を正確に抽出できる。特に、彩度と色相の分解能との関係を考慮すると、前記色相範囲設定手段を、前記彩度演算手段が求めた彩度の平均値が低くなるにつれて前記肌色領域を検出するための色相範囲の幅を広く設定する手段とすることが望ましい。

第２の発明は、入力されるフレームデータの画像データから肌色領域を検出し、検出された前記肌色領域を対象として顔領域であるか否かを解析して顔画像データを抽出する顔領域抽出装置において、入力される前記フレームデータを記憶するフレーム記憶手段と、後記肌色情報設定手段が設定した検出用肌色情報を適用して、前記フレーム記憶手段が今回記憶したフレームデータから肌色領域を検出する肌色領域検出手段と、前記肌色領域検出手段が検出した肌色領域を対象として、顔領域が存在するか否かを判定し、顔領域が存在した場合にその顔画像データを抽出する顔画像抽出手段と、前記顔画像抽出手段が抽出した顔画像データの色相を解析して肌色情報を算出する肌色情報算出手段と、前記肌色情報算出手段が今回算出した肌色情報と前記肌色領域検出手段が直近の所定回数分のフレームデータにそれぞれ適用した各検出用肌色情報とを記憶する肌色情報記憶手段と、前記肌色情報記憶手段が記憶している今回算出された肌色情報と直前に適用した検出用肌色情報との間に一定以上の近似関係があるか否かを判定する判定手段と、初回のフレームデータに対しては標準的肌色情報を適用し、前記判定手段により前記近似関係があると判定された場合には、前記肌色情報記憶手段が記憶している今回算出された肌色情報と各検出用肌色情報とに時間重み付けを施して作成した肌色情報を、前記判定手段により前記近似関係がないと判定された場合には、直前に適用した検出用肌色情報又は標準的肌色情報を、それぞれ次に適用する検出用肌色情報として設定する肌色情報設定手段とを具備したことを特徴とする顔領域抽出装置に係る。

この発明では、初回のフレームデータに対しては標準的肌色情報を適用して肌色領域を検出するが、それ以降においては、次のようにして検出用肌色情報を設定する。先ず、今回のフレームデータに検出用肌色情報を適用して肌色領域を検出し、その肌色領域の内で顔領域である領域の色相を解析して肌色情報を求める。そして、その肌色情報と直前に適用した検出用肌色情報とが一定以上の近似関係がある場合には、その肌色情報と直近の所定回数分のフレームデータに適用された各検出用肌色情報とに時間重み付けを施して作成した肌色情報を次に適用する検出用肌色情報とし、逆に一定以上の近似関係がない場合には、直前に適用した検出用肌色情報を再度次に適用する検出用肌色情報とするか、又は標準的肌色情報を次に適用する検出用肌色情報とする。即ち、時間経過の中で、抽出された顔領域の肌色情報に大きな変化がない場合には、微調整した検出用肌色情報で照明条件の緩やかな変化に適応してゆくようにし、突発的に大きな変化があった場合には、如何なる照明条件の変化であるかが不確定であるため、最も信頼できる肌色情報として直前に適用した検出用肌色情報又は標準的肌色情報を適用するようにしている。尚、この発明において、フレームデータ中にある顔領域が単数であるとは限らず、当然に複数の場合もあるが、その場合には、肌色情報算出手段が算出する肌色情報は各顔画像データの色相を解析した結果の平均値とする。

第３の発明は、フレームデータの画像データから形状情報を用いた解析により顔画像データを抽出した後、肌色情報を用いて前記顔画像データが真に顔画像に係るデータであるか否かを検証し、顔画像に係るデータであると確認できた場合のみを確定した顔画像データとする顔領域抽出装置において、前記形状情報を用いた解析によりフレームデータ単位で抽出された１又は２以上の顔画像データを記憶する顔画像記憶手段と、前記顔画像記憶手段が今回記憶した各顔画像データから個別に肌色情報を算出する肌色情報算出手段と、後記肌色情報設定手段が設定した検出用肌色情報と前記肌色情報算出手段が算出した各肌色情報とを比較する比較手段と、前記肌色情報算出手段が算出した各肌色情報の内で、前記比較手段により前記検出用肌色情報に対して一定の近似範囲にあると判定された各肌色情報、及び後記肌色情報設定手段が直近に設定した所定数分の検出用肌色情報を記憶する肌色情報記憶手段と、前記顔画像記憶手段の各顔画像データの内で、前記肌色情報記憶手段に記憶させた前記比較判定に基づく各肌色情報に対応する各顔画像データを前記確定した顔画像データとして抽出する顔画像抽出手段と、前記肌色情報記憶手段に記憶させた前記比較判定に基づく各肌色情報の平均値を算出する平均値算出手段と、前記比較手段が適用する検出用肌色情報として、前記顔画像記憶手段が初回に記憶した各顔画像データに対しては標準的肌色情報を設定し、２回目以降に記憶した各顔画像データに対しては前記平均値算出手段が算出した各肌色情報の平均値と前記肌色情報記憶手段の各検出用肌色情報とに時間重み付けを施して作成した肌色情報を設定する肌色情報設定手段と を具備したことを特徴とする顔領域抽出装置に係る。

この発明は、前記第２の発明が画像データから肌色情報を用いて肌色領域を検出した後に形状情報を用いて顔画像データを抽出する顔領域抽出装置であるのに対して、逆の手法、即ち、形状情報を用いて顔画像データを抽出した後に肌色情報を用いて抽出した顔画像データが真に顔画像に係るものであるか否かを検証する顔領域抽出装置であるが、この発明においても、照明条件の変化に対応させて検出用肌色情報を適応的に変化させてゆく必要がある。先ず、基本機能として、フレームデータ単位で抽出された１又は２以上の顔画像データから個別に肌色情報を算出し、それら肌色情報の内で検出用肌色情報と比較して一定の範囲内あるものに対応した顔画像データのみを確定した顔画像データとして抽出する。そして、検出用肌色情報については、フレームデータ単位で抽出される初回の顔画像データの各肌色情報に対しては標準的肌色情報を検出用肌色情報として設定し、それ以降に抽出される顔画像データの各肌色情報に対しては、今回の各顔画像データから個別に算出された各肌色情報の平均値と直近に設定した所定数分の検出用肌色情報とに重み付けを施して作成した肌色情報を検出用肌色情報として設定し、第２の発明の場合と同様に照明条件の変化に適応させている。

本発明は、以上の構成を有していることにより、次のような効果を奏する。第１の発明は、入力されるフレームデータから肌色領域を検出し、その肌色領域が顔領域であるか否かを解析して顔画像データを抽出する顔領域抽出装置において、照明条件等の変化による彩度の変化に応じて画像データから肌色情報を検出するために適用する色相範囲を最適な状態に可変設定するため、顔画像データを高精度に抽出することを可能にする。第２の発明は、前記第１の発明と同様に肌色領域の検出した後に顔領域か否かを解析する顔領域抽出装置において、照明条件の突発的変化に影響されることなく、常に照明条件に適応した検出用肌色情報を設定して、高精度で安定した顔画像データの抽出を可能にする。第３の発明は、先にフレームデータに対する形状情報を用いた解析により顔画像データを抽出した後にその顔画像データが真に顔画像に係るものであるか否かを検証する顔領域抽出装置において、高精度で安定した検証を可能にし、顔画像データの正確な抽出を実現する。

以下、本発明の顔領域抽出装置の実施形態を図面に基づいて詳細に説明する。
[実施形態１]
先ず、図１は監視システムのブロック図であり、１は監視場所を撮像する監視カメラ、２は中央監視室側に設けられた画像記録再生装置、３はＬＡＮ（Local Area Network）を示し、本発明は画像記録再生装置２に適用されている。

同図において、監視カメラ１は、対物レンズを含んだ光学系１１と、光学系駆動部１１aと、ＣＣＤで構成された撮像素子１２と、撮像素子１２からの撮像信号をアナログ画像信号に変換してノイズ削減やゲイン調整等を行うアナログ信号処理回１３と、アナログ信号処理回路１３で処理された画像信号をデジタル信号へ変換するＡ/Ｄ変換部１４と、Ａ/Ｄ変換後のデジタル信号を符号化するエンコーダ１５と、ネットワーク３を介して画像記録再生装置２と通信を行って符号化後の画像データを画像記録再生装置２へ伝送する通信制御部１６と、システム全体を制御するカメラ制御部１７とからなる。

一方、画像記録再生装置２は、ネットワーク３を介して監視カメラ１と通信を行って画像データを受信する通信制御部２１と、通信制御部２１で受信した画像信号を復号するデコーダ２２と、復号後のデジタル画像信号を処理するデジタル信号処理部２３と、デジタル信号処理部２３が使用するフレームメモリであるＲＡＭ２４と、データ処理用に使用するメモリであるＲＡＭ２５と、信号処理された画像データをアナログ信号に変換するＤ/Ａ変換部２６と、Ｄ/Ａ変換後の画像信号を表示用信号に変換する表示制御部２７と、監視画像を表示するモニタ２８と、デジタル信号処理部２３で抽出された顔画像データを蓄積するハードディスク装置２９と、各種動作の指示入力を行う操作部３０と、モード設定状態等を表示する液晶表示部３１と、システム全体を制御するシステム制御部３２とからなり、監視カメラ１で撮像された監視場所の画像中に人物の顔が含まれている場合に、その顔画像を抽出してハードディスク装置２９に蓄積すると共に、モニタ２８に監視場所のリアルタイムな画像又はハードディスク装置２９に蓄積された顔画像の一覧を表示させる。

この実施形態では、図２に示すように監視カメラ１が室の出入口付近を監視領域として撮影しており、入室する人物４０a,４０b,４０c・・・を図３に示すような監視画像として得る。そして、画像記録再生装置２においては、肌色領域の検出処理とテンプレートマッチング法を併用して監視画像から顔画像データを抽出し、その顔画像データをハードディスク装置２９に蓄積させる機能を有しているが、この実施形態の主たる特徴は、肌色領域の検出処理の前提となる肌色情報の設定の仕方にある。

以下、画像記録再生装置２における顔画像データの抽出手順を図４のフローチャートを参照しながら説明する。先ず、通信制御部２１で受信した監視画像データがデコーダ２２で復号され、フレームＦ(i)の画像データがデジタル信号処理部２３に入力されると、その画像データは一旦ＲＡＭ２４に格納され、その状態で画像データ全体についての彩度の平均値が算出される（S1〜S3）。具体的には、フレームＦ(i)の各画素毎に彩度を求め、その彩度の合計を全画素数で除して前記平均値を求める。

そして、データ処理用メモリであるＲＡＭ２５に予め格納させてあるテーブルを用いて、今回のフレームＦ(i)の画像データに対して適用すべき肌色の色相範囲の幅を求める（S4）。一般に、色相としての肌色は、図５に示すように、色相環における０°〜３０°の基準範囲で示されるが、照明条件の変化等を考慮すると、３０°分ずつ外側へ拡大して３３０°〜０°〜６０°を最大範囲として捉えることができる。この実施形態では、画像の彩度に対して設定されるべき肌色の色相範囲の幅を、図６に示すような関係で前記テーブルに構成しており、前記ステップS1からステップS3の手順で画像データから彩度の平均値が算出されると、直ちに肌色の色相範囲の幅を求めることができるようになっている。ここに、テーブルは、彩度の０〜２５５（２５６段階）に肌色の色相範囲の幅３０°〜９０°が対応させてあり、例えば、彩度が１００のレベルであった場合には肌色の色相範囲の幅が５８°になる。従って、その場合の肌色の色相範囲は、図７に示すように、肌色の基準範囲の中心である１５°の両側にそれぞれ２９°分をとって、３４６°〜０°〜４４°の色相範囲となり、前記基準範囲０°〜３０°より拡大した範囲になっている。

次に、デジタル信号処理部２３では、このようにして算出された肌色の色相範囲を検出用肌色情報としてＲＡＭ２４のフレームＦ(i)の画像データを検索し、各画素の内で前記色相範囲に含まれる肌色領域が有るか否かを確認する（S5,S6）。この場合、フレームＦ(i)の画像中に人物が含まれていれば、顔や手の部分が肌色領域として検出されるが、照明条件の変化によって画像の彩度が低下していても、前記のようにその彩度の低下に対応して検出すべき肌色の色相範囲を自動的に拡大させるようになっているため、人物の肌色領域が検出対象から外れてしまうことを防止できる。

前記手順で肌色領域が検出されると、その画像データ中の肌色領域を対象としてテンプレートマッチング法による顔領域の検索を行う（S6,S7）。ここに、テンプレートマッチング法とは、一般的に、画像データ上でテンプレートデータと等しい大きさの領域を画素単位で走査し、それぞれの領域について画像データとテンプレートデータとの一致性を示すマッチング値（例えば、正規化相関係数）を求め、その最大値が得られた領域に基づき所望の対象画像領域を特定するものであるが、この実施形態では前記のように検出した肌色領域だけを対象としてマッチング値を求めるため、顔領域の検索を正確且つ迅速に行うことができる。

そして、デジタル信号処理部２３は、顔領域が存在すれば、その顔領域の画像データ（以下、「顔画像データ」という）を抽出し、既にハードディスク装置に格納されている顔画像データと比較して一定以上の相関が有るか否かを判断する（S8〜S11）。その結果、一定以上の相関が無いと判断された場合には、抽出した顔画像データをハードディスク装置２９に保存させて、次のフレームＦ(i+1)の処理へ移行する（S11,S12→S13→S1）。尚、ステップS6において肌色領域が存在しなかった場合、及びステップS8で顔領域が存在しなかった場合には、直ちに次のフレームＦ(i+1)の処理へ移行し、また、ステップS11において一定以上の相関を有していた場合（既にハードディスク装置に同一の顔画像データが保存されているとみなせる場合）には、抽出した顔画像データを保存させることなく、次のフレームＦ(i+1)の処理へ移行する（S6→S13→S1，S8→S13→S1，S11→S13→S1）。

このようにして、図４のステップS1〜S12の手順が繰り返されると、フレームの画像に新たな顔画像が現れる度に、ハードディスク装置２９にその顔画像データが登録されることになる。即ち、図２に示したように、入室してきた人物４０a,４０b,４０cの顔画像が既にハードディスク装置２９に保存されていなければ、それら人物４０a,４０b,４０cの顔画像データがハードディスク装置２９に登録される。

ところで、この実施形態の画像記録再生装置２は操作部３０から通常モード（監視エリア表示モード）と顔画像表示モードのいずれかを選択指定できるようになっている。そして、モニタ２８に対する画像表示手順に関しては図８のフローチャートに示され、システム制御部３２は、フレーム周期で現在選択されている表示モードを確認し（S21）、通常モードが選択されている場合には、デジタル信号処理部２３おいて一連の処理を施した後のフレーム画像中の顔画像領域を枠線で囲んだ画像データを加工・生成させて表示制御部２７でモニタ２８に表示させ（S22→S23）、顔画面表示モードが選択されている場合には、表示制御部２７でハードディスク装置２９に登録されている各顔画像データを読み出させて、モニタ２８に一覧形式で表示させる（S22→S24）。

従って、例えば、監視カメラ１が図２に示すような監視エリアを撮像している場合において、通常モードが選択指定されていれば、図３に示すような画像が表示され、顔画面表示モードが選択指定されていれば、図９に示すような顔画像の一覧が表示されることになる。尚、図９において各顔画像の表示領域の下側に表示されている数字は番号と日時データであり、システム制御部３２が顔画像データをハードディスク装置２９に書き込む際に付加記録した日時データが用いられる。また、画面下方の２つの矢印は表示内容をスクロールさせる際に用いるアイコンであり、多数の顔画像を効率良く確認することができるようになっている。

[実施形態２]
前記実施形態１では、撮像画像から肌色領域を検出する際に用いる肌色情報をフレームの全画素から彩度の平均値を求め、予め設けたテーブルに基づいて適用する肌色の色相範囲を決定しているが、この実施形態では、照明条件の変化に追従するように、直前までのフレームで得られている顔画像データの肌色情報の特徴値を用いて次に適用する検出用肌色情報を適応的に作成することにより、肌色領域の検出精度を向上させる。従って、図１に示した監視システムにおける画像記録再生装置２の構成をそのまま適用することができ、デジタル信号処理部２３でのデータ処理手順が異なるだけである。

以下、この実施形態における顔画像データの抽出手順を図１０のフローチャートを参照しながら説明する。先ず、監視カメラ１側からネットワーク３を介して伝送された符号化画像データを通信制御部２１で受信し、デコーダ２２で復号された最初のフレームＦ(i)［ｉ＝０］の画像データがデジタル信号処理部２３に入力されると、その画像データをフレームメモリであるＲＡＭ２４に格納させる（S31〜S33）。そして、デジタル信号処理部２３では、予めデータ処理用メモリであるＲＡＭ２５に格納されている標準肌色情報を用いてＲＡＭ２４の画像データ全体を検索し、肌色情報があるか否かを確認する（S31〜S35）。但し、ここでの標準肌色情報としては、太陽光や蛍光灯等による一般的な照明条件における肌色情報や、監視カメラ１の実際の設置箇所における照明環境下でサンプルの顔領域から求めた肌色情報等の様々な肌色情報を採用できるが、図５で示した色相環での肌色の基準範囲０°〜３０°に相当する色相情報を用いてもよい。

前記肌色領域の確認の結果、肌色領域が有る場合には、実施形態１の場合と同様に、その肌色領域を対象としてテンプレートマッチング法により顔領域を検索し、顔領域があればその顔画像データを抽出してハードディスク装置２９に保存する（S35〜S40）。この場合において、顔領域は単数とは限らず、当然に複数存在することもあるが、それら顔領域の画像データも全て抽出して保存する。尚、ステップS35で肌色領域が無かった場合や、ステップS37で顔領域が無かった場合には、次フレームＦ(i+1)の処理に移行し、ステップS32からステップS37までを繰り返し実行することになる。

次に、前記ステップS39,S40で顔領域データが抽出されると、その画像データを解析して実際の顔領域の肌色情報を算出する（S41）。その肌色情報の算出手順は図１１のフローチャートに示される。先ず、ステップS39で抽出した顔画像データから肌色領域を検出する（S61）。この場合の肌色領域の検出に際しては、顔領域の抽出時に取得した顔の各パーツ部分の位置座標に基づいて目や眉や口等の肌色以外の部分を予めマスキングする方法が適用できる。また、テンプレートマッチングでは演算量を減じるために顔領域の中での顔面位置が正規化されているため、予め肌色領域以外の領域をマスキングするマスクデータを用意しておき、それを利用して肌色とみなされる領域を切り出す方法も適用できる。具体的には、例えば、図１３（Ａ）のような顔領域が抽出されている場合に、同図（Ｂ）のようなマスキング状態で肌色領域を検出し、また、図１３（Ｃ）のように、明らかに肌色と予測される頬や鼻の部分のみを切り出すためのマスクデータを用いる。

前記のようにして肌色領域が検出されると、その肌色領域についての色相ヒストグラムを作成する（S62）。この色相ヒストグラムは、図１４（Ａ）に示すように、色相環における０°〜３６０°の色相を数値０〜２５５（２５６段階）に対応させ、各色相についての頻度情報を与えるものであるが、肌色領域は自然画像から検出されたものであるため、頻度情報は肌色の標準的色相範囲０〜２１.５（色相環で０°〜３０°）の付近でほぼ正規分布に近似した態様で現れる。そこで、図１４（Ｂ）に示すように、前記色相ヒストグラムの頻度情報を包絡する正規化分布曲線で近似し、その分布曲線から色相に係る特徴値としての平均値Ｃavと分散Ｓを求め（S63）、更に、肌色情報として、それら特徴値を用いて平均値Ｃavを中心とする色相範囲ｄ(0)：（Ｃav−Ｋ＊√Ｓ）〜（Ｃav＋Ｋ＊√Ｓ）［但し、Ｋは、例えば頻度情報の９０％を含むように色相範囲ｄ(0)を設定する値］を算出する（S64）。尚、特徴値としては、必要であれば図１５に示すように中央値や最頻値等を求め、それらも加味して肌色情報を算出してもよい。

図１０に戻って、前記手順（図１１）で算出した肌色情報ｄ(0)を次フレームでの検出用肌色情報Ｄ(0)としてそのままＲＡＭ２５にセーブする（S42）。そして、次フレームＦ(x)の画像データがデジタル信号処理部２３に入力されてＲＡＭ２４に格納されると、ＲＡＭ２５にセーブした検出用肌色情報Ｄ(0)を用いて画像データ全体の画素を検索し、色相範囲ｄ(0)に含まれる画素で構成された肌色領域が有った場合に、その肌色領域を対象としてテンプレートマッチング法により顔領域の検索を行うことは前記処理手順（S35〜S37）と同様である（S43〜S47）。

また、テンプレートマッチング法による検索の結果、顔領域が有ることが確認された場合に、その顔領域の画像データを抽出することも前記処理手順（S37,S38）と同様である（S48,S49）。但し、この段階ではハードディスク装置２９に既に顔領域の画像データが保存されているため、重複保存を避けるために抽出した顔領域の画像データとハードディスク装置２９側の各顔画像データとを比較し、同一性を認め得る程度の一定以上の相関がない場合に限り、抽出した顔画像データをハードディスク装置２９へ転送して保存する（S50〜S52）。尚、今回のフレームＦ(x)についても、ステップS46で肌色領域が無かった場合や、ステップS48で顔領域が無かった場合には、次フレームＦ(x+1)の処理へ移行し、また、ステップS51において、抽出した顔領域の画像データと一定以上の相関がある顔画像データが既にハードディスク装置２９に存在している場合にも、顔画像データの保存を行うことなく次フレームＦ(x+1)の処理へ移行する（S46→S55→S43,S48→S55→S43,S51→S55→S43）。

前記ステップS52でフレームＦ(x)に係る顔画像データの保存があると、その顔画像データを用いた肌色情報を算出すると共に（S53）、そのフレームＦ(x)の顔画像データに係る肌色情報と直前までに算出されてＲＡＭ２５にセーブしてある検出用肌色情報とを用いて、次フレームＦ(x+1)で肌色領域の検索に適用する新たな検出用肌色情報を作成し、それをＲＡＭ２５にセーブする（S54）。この場合の肌色情報の算出については、前記ステップS41（図１１；S61〜S64）で説明した手順と同様である。しかし、新たな検出用肌色情報の作成手順（S54）については、前記ステップS41で求めた肌色情報を前記ステップS42でそのまま検出用肌色情報としたのと異なり、照明条件の経時的変化を考慮して常に適応的な検出用肌色情報が得られるように工夫されている。

次に、その検出用肌色情報の作成手順（S54）を図１２のフローチャートを参照しながら具体的に説明する。但し、ここでは、ステップS43からステップS54までの手順が何回か繰り返されて、ステップS54で検出用肌色情報が既に複数回求められている状態も含めて説明することとし、検出用肌色情報をＤ(n)［初回の場合はｎ＝0，それ以降はｎ＝1,2,3,・・・］として表す。先ず、ステップS53で算出した肌色情報（色相範囲）ｄ(n)をＲＡＭ２５にセーブし、その肌色情報ｄ(n)と前回算出した検出用肌色情報Ｄ(n-1)とを比較する（S71,S72）。この場合の比較は、色相範囲同士の比較であり、肌色情報ｄ(n)の検出用肌色情報Ｄ(n-1)との共通範囲が所定割合（例えば、９０％）以上か否かを判断する。

そして、前記比較の結果、共通範囲が所定割合以上であった場合には、今回、ステップS53で算出した肌色情報ｄ(n)と、前回までにステップS54で算出してＲＡＭ２５にセーブした検出用肌色情報Ｄ(n-1),Ｄ(n-2),・・・,Ｄ(n-z)とに重み付け処理を施して最新の検出用肌色情報Ｄ(n)を求める（S73→S75）。その場合、検出用肌色情報Ｄ(n-1),Ｄ(n-2),・・・,Ｄ(n-z)を求めてＲＡＭ２５にセーブされる際には時刻情報も対応させるようにしており、今回の肌色情報ｄ(n)を求めた時点を基準に、各検出用肌色情報Ｄ(n-1),Ｄ(n-2),・・・,Ｄ(n-z)のセーブ時刻までの遡及時間の大きさに応じて重み付け係数が小さくなるように設定して検出用肌色情報Ｄ(n)を求めるようにする。また、肌色情報ｄ(n)と検出用肌色情報Ｄ(n-1),Ｄ(n-2),・・・,Ｄ(n-z)は色相範囲として与えられているため、重み付け処理の方法としては、色相範囲の中心値とその範囲の幅に関して前記重み付け係数を適用して検出用肌色情報Ｄ(n)を求める算出方法が採用される。

このように、時間的に遡及した検出用肌色情報Ｄ(n-1),Ｄ(n-2),・・・,Ｄ(n-z)を用いて重み付け処理を施した検出用肌色情報Ｄ(n)を求めるようにしたのは、監視カメラ１が撮影する監視場所の照明条件の時間的変化に追従して常に適正な検出用肌色情報を得るためである。

新たな検出用肌色情報Ｄ(n)が求まると、それがＲＡＭ２５にセーブされ、最も古い時刻にセーブされた検出用肌色情報Ｄ(n-z)が消去される（S75,S76）。即ち、ＲＡＭ２５にセーブしておく検出用肌色情報は常に直近のｚ個分だけに制限しており、この個数ｚは監視場所の照明条件や検出用肌色情報Ｄ(n)を求めるための演算条件等を考慮して設定される。尚、演算処理速度を優先させるような場合においては、肌色情報ｄ(n)と前回の検出用肌色情報Ｄ(n-1)だけを用いて検出用肌色情報Ｄ(n)を算出するようにしてもよく、その場合にはＲＡＭ２５には前回の検出用肌色情報Ｄ(n-1)だけをセーブさせておけばよい。また、予め前記重み付け処理を行うための演算用テーブルを設けておいて、演算の高速化を図ってもよい。

一方、ステップS73において、肌色情報ｄ(n)における検出用肌色情報Ｄ(n-1)との共通範囲が所定割合に満たない場合には、前回求められた検出用肌色情報Ｄ(n-1)をそのまま最新の検出用肌色情報Ｄ(n)としてＲＡＭ２５にセーブし、前記と同様に検出用肌色情報Ｄ(n-z)を消去する（S73→S77→S76）。これは、突然外部から光が差し込んだり、蛍光灯が点灯／消灯されたりするような突発的な不確定要素も多く、そのような場合の特異的な肌色情報を検出用肌色情報に組み込むと以降に適正な肌色領域の検出ができなくなるためであり、前回の検出用肌色情報Ｄ(n-1)をそのまま生かすようにする。尤も、この場合の不確定性を考慮すると、前回の検出用肌色情報Ｄ(n-1)の代わりに標準的肌色情報（例えば、色相環における０°〜３０°）を用いるようにしてもよい。

図１０に戻って、ステップS54（図１２の処理手順）により最新の検出用肌色情報Ｄ(n)を算出してＲＡＭ２５にセーブさせると、次フレームＦ(x+1)の処理へ移行し（S54,S55→S43）、以降、同様にステップS43からステップS55までの手順を繰り返し実行する（S43〜S54→S55→S43）。そして、その繰り返し手順において、ステップS45で用いる最新の検出用肌色情報にはステップS53,S54で求めたものが適用されるため、画像データから肌色領域を高精度に検出することができ、ひいては顔領域を正確に抽出することが可能になる。

[実施形態３]
この実施形態では、監視システムが図１６に示すような構成になっており、監視カメラ５１側で肌色情報とは無関係にテンプレートマッチング法で抽出した顔画像データを画像記録再生装置６１へ伝送し、画像記録再生装置６１側において受信した顔画像データについて肌色情報を用いた検証を行うことにより、監視カメラ５１側で誤って検出された顔画像データを除去して真の顔画像だけを保存させる。

同図に示すように、監視カメラ５１側の構成において、図１の監視カメラ１と異なる点は、Ａ/Ｄ変換部１４とエンコーダ１５の間にデジタル信号処理部５２が設けられ、そのデジタル信号処理部５２がフレーメモリであるＲＡＭ５３とデータ処理用メモリであるＲＡＭ５４とを用いて顔画像データを検出すると共に、カメラ制御部１７とデジタル信号処理部５２とエンコーダ１５と通信制御部１６の各動作を管理してシステム全体を制御するシステム制御部５５が設けられている点にある。従って、この監視カメラ５１の特徴は、撮像した画像データからデジタル信号処理部５２で顔領域データを抽出して画像記録再生装置６１側へ伝送する動作にあり、以下、図１７のフローチャートを参照しながらその動作手順を説明する。

先ず、フレームＦ(i)［ｉ＝1,2,3,・・・］のデータ入力があると、その画像データをＲＡＭ５３に格納する（S81〜S83）。そして、格納されたフレームの画像データについて、テンプレートマッチング法を用いて顔画像データを検索し、顔領域とみなせる領域があれば、それを顔画像データＧm(i)［ｍ＝1,2,3,・・・］として抽出してＲＡＭ５４にセーブする（S84〜S86）。但し、ｍは検索により得られた各顔領域を示す数である。

前記手順によりフレームＦ(i)についての全ての顔画像データＧm(i)の抽出とセーブがなされると、それらをＲＡＭ５４からエンコーダ１５へ読み出して符号化し、通信制御部１６がフレーム単位での顔画像データＧm(i)としてネットワーク３を介して画像記録再生装置６１へ送信する（S86,S87）。尚、ステップS85で顔領域が存在しない場合にはそのまま次フレームＦ(i+1)の処理へ移行する（S85→S88→S82）。そして、監視カメラ５１は、デジタル信号処理部５２が前記手順（S82〜S88）を繰り返し実行することにより撮像した監視場所の画像データに含まれている顔画像データＧm(i)をフレーム単位で抽出することができ、それをエンコーダ１５によって符号化して画像記録再生装置６１へ送信し続けることができる（S82〜S88）。

一方、画像記録再生装置６１の基本的構成は実施形態１の画像記録再生装置２と同一であるが、デジタル信号処理部６２とシステム制御部６５による主たる処理が顔画像データＧm(i)［ｍ＝1,2,3,・・・］についての肌色情報の検証にある点、及びＲＡＭ６３がフレームメモリである必要は無く、幾つかの顔画像データＧm(i)を格納できるバッファメモリであれば足りる点で相違している。尤も、ＲＡＭ６３には、最大数の顔画像データＧm(i)を格納できるように、フレームメモリと同等程度の容量を持たせておくことが望ましい。

画像記録再生装置６１では、受信データをデコーダ２２で復号し、デジタル信号処理部２３へ取り込んで顔画像データの検証を行うが、その手順は図１８のフローチャートに示される。先ず、復号されたフレーム単位での顔画像データＧm(j)はバッファメモリであるＲＡＭ６３に格納されるが、各顔画像データＧm(j)［ｍ＝1,2,3・・・］からそれぞれ個別に肌色情報を算出する（S91〜S94）。但し、この肌色情報は、実施形態２の場合と同様に図１１に示した手順で実行され、特徴値に基づいた色相範囲として算出される。

そして、ＲＡＭ２５には予め標準肌色情報（例えば、図５で示した色相環での肌色の基準範囲０°〜３０°）が格納されており、各顔画像データＧm(j)［ｍ＝1,2,3・・・］から算出した各肌色情報と前記標準肌色情報とを比較し、標準肌色情報に対して一定の近似範囲内にある肌色情報のみをＲＡＭ２５にセーブする（S95,S96）。また、ＲＡＭ２５にセーブした肌色情報に対応する顔画像データのみをハードディスク装置２９に保存すると共に、セーブした肌色情報の平均値を求め、その平均値を次に適用する検出用肌色情報としてＲＡＭ２５にセーブする（S97,S98）。

次に、再び監視カメラ５１側から顔画像データＧm(j+1)［ｍ＝1,2,3・・・］の入力があってバッファメモリ６３に格納されると、顔画像データＧm(j+1)［ｍ＝1,2,3・・・］から個別に肌色情報が算出され、更にその算出した各肌色情報と「前回求めた検出用肌色情報」とを比較することになるが（S99〜S102）、ステップS99以降は繰り返し手順になるため、ここでの「前回求めた検出用肌色情報」とは、ステップS98と後述のステップS108で求めたものを区別せずに用いている。即ち、ステップS98では最初に伝送された顔画像データＧm(0)［ｍ＝1,2,3・・・］から検出した各肌色情報の平均値として求められているが、ステップS108では前回までの検出用肌色情報も考慮した重み付け処理によって求められるものである。

前記ステップ102での比較に基づいて、顔画像データＧm(j+1)［ｍ＝1,2,3・・・］から個別に算出した肌色情報の内で、検出用肌色情報に対して一定の近似範囲にある肌色情報のみをＲＡＭ25にセーブし、そのセーブした肌色情報に対応する顔画像データのみを保存候補として選択する（S103,S104）。そして、保存候補とされた顔画像データとハードディスク装置２９に既に保存されている顔画像データとを比較し、その比較結果の相関が一定以下である保存候補の顔画像データだけを新たにハードディスク装置２９に保存する（S105,S106）。

そして、前記ステップS103でＲＡＭ２５にセーブされている各肌色情報の平均値を算出し、その平均値として求めた肌色情報と前回までの各検出用肌色情報とに重み付け処理を施して次に適用する検出用肌色情報を算出する（S107,S108）。この重み付け処理は、重み付け係数の設定に関しては実施形態２において説明した手法と同様であり、今回、平均値として肌色情報を求めた時点を基準にして、各検出用肌色情報のセーブ時刻までの遡及時間の大きさに応じて重み付け係数が小さくなるように設定される。

また、算出した検出用肌色情報をＲＡＭ２５にセーブして、次に入力される各顔画像データから肌色情報を検出して、各顔画像データの検証を行う際に用いることになるが、この時点で今回の各顔画像データから算出した個別の肌色情報は不要になるために消去する（S109）。更に、実施形態２の場合と同様に、ＲＡＭ２５にセーブさせる検出用肌色情報はｚ個に制限されており、新たな検出用肌色情報がｚ個以上になる場合には、最先にセーブされたものが消去される（S109）。

以上のステップS99からステップS109までの手順は、監視カメラ５１側からフレーム単位で得られた各顔画像データが伝送されてくる度に繰り返し実行され（S99〜S109→S110→S99）、ステップS104からステップS106の手順により、受信した各顔画像データ中に既にハードディスク装置２９に保存されているものが存在しなければ、新たな顔画像データとして保存されることになる。

この実施形態によれば、監視カメラ５１側から伝送される各顔画像データはテンプレートマッチング法だけで抽出されたものであるために、真に顔画像を含むものだけを抽出しているか否かに不確かさが残るが、画像記録再生装置６１側においては、常に最新に求めた肌色情報と過去の複数回に亘って求めた検出用肌色情報とを用いて作成した検出用肌色情報を用いて各顔画像データの確認を行うようにしており、各時点でより確かな検出用肌色情報による各顔画像データの検証を行うことができる。

本発明の顔領域抽出装置は、フレームデータから顔画像データだけを抽出して保存する機能を備えた監視システムの画像記録再生装置等に適用できる。

本発明の顔領域抽出装置を適用した実施形態１及び２の監視システムのブロック図である。 監視カメラの撮影状態を示す図である。 監視カメラの撮影画像（監視画像）を示す図である。 画像記録再生装置における顔画像データの抽出手順を示すフローチャートである。 色相環において肌色の基準範囲と最大範囲を示す図である。 テーブルで規定されている画像の彩度と設定されるべき肌色の色相範囲の幅との関係を示すグラフである。 彩度が１００であった場合における肌色の色相範囲を色相環で表した図である。 画像記録再生装置における画像表示手順を示すフローチャートである。 顔画像表示モードでの表示状態を示す図である。 実施形態２における顔画像データの抽出手順を示すフローチャートである。 顔領域データから肌色情報を算出する手順（図１０のステップS53）を示すフローチャートである。 検出用肌色情報の作成手順（図１０のステップS54）を示すフローチャートである。 顔領域（Ａ）と、その顔領域から肌色領域を検出する際のマスキング手法を示す図（Ｂ）,（Ｃ）である。 肌色領域についての色相ヒストグラム（Ａ）と、その色相ヒストグラムの頻度情報を包絡する正規化分布曲線で近似した図（Ｂ）である。 図１４（Ｂ）の正規化分布曲線に基づいて求められた特徴値を示す表である。 本発明の顔領域抽出装置を適用した実施形態３の監視システムのブロック図である。 監視カメラの動作手順を示すフローチャートである。 画像記録再生装置の動作手順を示すフローチャートである。

符号の説明

１,５１…監視カメラ、２,６１…画像記録再生装置、３…ネットワーク、１１…対物レンズを含んだ光学系、１１a…光学系駆動部、１２…撮像素子、１３…アナログ信号処理部、１４…Ａ／Ｄ変換部、１５…エンコーダ、１６,２１…通信制御部、１７…カメラ制御部、２２…デコーダ、２３,５２,６２…デジタル信号処理部、２４,２５,５３,５４,６３…ＲＡＭ、２６…Ｄ／Ａ変換部、２７…表示制御部、２８…モニタ、２９…ハードディスク装置、３０…操作部、３１…液晶表示部、３２,５５,６２,６５…システム制御部、４０a,４０b,４０c…人物。

Claims (4)

1. 入力されるフレームデータの画像データから肌色領域を検出し、検出された前記肌色領域を対象として顔領域であるか否かを解析して顔画像データを抽出する顔領域抽出装置において、
   入力される前記フレームデータを記憶するフレーム記憶手段と、
   前記フレーム記憶手段が記憶したフレームデータ全体の彩度の平均値を求める彩度演算手段と、
   前記彩度演算手段が求めた彩度の平均値に基づいて、前記肌色領域を検出する際に適用する色相範囲を設定する色相範囲設定手段と、
   前記色相範囲設定手段が設定した色相範囲に基づいて、前記フレーム記憶手段が記憶したフレームデータから肌色領域を検出する肌色領域検出手段と
   を具備したことを特徴とする顔領域抽出装置。
2. 前記色相範囲設定手段が、前記彩度演算手段が求めた彩度の平均値が低くなるにつれて前記肌色領域を検出するための色相範囲の幅を広く設定することを特徴とする請求項１に記載の顔領域抽出装置。
3. 入力されるフレームデータの画像データから肌色領域を検出し、検出された前記肌色領域を対象として顔領域であるか否かを解析して顔画像データを抽出する顔領域抽出装置において、
   入力される前記フレームデータを記憶するフレーム記憶手段と、
   後記肌色情報設定手段が設定した検出用肌色情報を適用して、前記フレーム記憶手段が今回記憶したフレームデータから肌色領域を検出する肌色領域検出手段と、
   前記肌色領域検出手段が検出した肌色領域を対象として、顔領域が存在するか否かを判定し、顔領域が存在した場合にその顔画像データを抽出する顔画像抽出手段と、
   前記顔画像抽出手段が抽出した顔画像データの色相を解析して肌色情報を算出する肌色情報算出手段と、
   前記肌色情報算出手段が今回算出した肌色情報と前記肌色領域検出手段が直近の所定回数分のフレームデータにそれぞれ適用した各検出用肌色情報とを記憶する肌色情報記憶手段と、
   前記肌色情報記憶手段が記憶している今回算出された肌色情報と直前に適用した検出用肌色情報との間に一定以上の近似関係があるか否かを判定する判定手段と、
   初回のフレームデータに対しては標準的肌色情報を適用し、前記判定手段により前記近似関係があると判定された場合には、前記肌色情報記憶手段が記憶している今回算出された肌色情報と各検出用肌色情報とに時間重み付けを施して作成した肌色情報を、前記判定手段により前記近似関係がないと判定された場合には、直前に適用した検出用肌色情報又は標準的肌色情報を、それぞれ次に適用する検出用肌色情報として設定する肌色情報設定手段と
   を具備したことを特徴とする顔領域抽出装置。
4. フレームデータの画像データから形状情報を用いた解析により顔画像データを抽出した後、肌色情報を用いて前記顔画像データが真に顔画像に係るデータであるか否かを検証し、顔画像に係るデータであると確認できた場合のみを確定した顔画像データとする顔領域抽出装置において、
   前記形状情報を用いた解析によりフレームデータ単位で抽出された１又は２以上の顔画像データを記憶する顔画像記憶手段と、
   前記顔画像記憶手段が今回記憶した各顔画像データから個別に肌色情報を算出する肌色情報算出手段と、
   後記肌色情報設定手段が設定した検出用肌色情報と前記肌色情報算出手段が算出した各肌色情報とを比較する比較手段と、
   前記肌色情報算出手段が算出した各肌色情報の内で、前記比較手段により前記検出用肌色情報に対して一定の近似範囲にあると判定された各肌色情報、及び後記肌色情報設定手段が直近に設定した所定数分の検出用肌色情報を記憶する肌色情報記憶手段と、
   前記顔画像記憶手段の各顔画像データの内で、前記肌色情報記憶手段に記憶させた前記比較判定に基づく各肌色情報に対応する各顔画像データを前記確定した顔画像データとして抽出する顔画像抽出手段と、
   前記肌色情報記憶手段に記憶させた前記比較判定に基づく各肌色情報の平均値を算出する平均値算出手段と、
   前記比較手段が適用する検出用肌色情報として、前記顔画像記憶手段が初回に記憶した各顔画像データに対しては標準的肌色情報を設定し、２回目以降に記憶した各顔画像データに対しては前記平均値算出手段が算出した各肌色情報の平均値と前記肌色情報記憶手段の各検出用肌色情報とに時間重み付けを施して作成した肌色情報を設定する肌色情報設定手段と
   を具備したことを特徴とする顔領域抽出装置。
   

Images