JP2008250444A - 顔検出装置、顔検出方法及び顔検出プログラム - Google Patents

Abstract

【課題】簡易な構成で、高精度な顔検出処理を実行するための技術を提供する。
【解決手段】判定基準記憶部１７は、顔候補検出部１３で検出された顔候補が顔であるか非顔であるかを判定するための判定基準を記憶し、当該判定基準は撮像部１１で撮影された画像内の位置座標ごとに異ならせることが可能である。非顔判定部１４は、顔候補検出部１３で検出された顔候補が顔であるか非顔であるかを該顔候補の検出位置に対応する判定基準を用いて判定する。
【選択図】図３

Description

本発明は、画像から顔を検出する顔検出装置に関する。

画像から顔を検出する顔検出装置は、顔を精度よく検出することが望まれている。

このような課題に鑑みた従来技術として、入力画像から算出した顔との想定距離と距離センサにより測定した測定距離とを比較して顔か非顔かの判定を行う対象物検出装置がある（特許文献１参照）。

しかし、この装置は顔検出部の他に距離センサを必要とするため、装置構成が大掛かりになり、装置コストも増加する。

一方、２台のカメラで撮影された画像を三次元復元する画像処理装置がある（特許文献２参照）。この装置は、前記画像の三次元情報を用いて顔を検出する。

しかし、この装置は２台のカメラを必要とするため、装置構成が大掛かりになり、装置コストも増加する。
特開２００５−７８３７６号公報 特開２００５−３０１８３３号公報

本発明は上記実情に鑑みてなされたものであって、その目的とするところは、簡易な構成で、高精度な顔検出処理を実行するための技術を提供することにある。

上記目的を達成するために本発明では、以下の構成を採用する。

本発明にかかる顔検出装置は、撮像手段と、前記撮像手段で撮影された画像から顔候補を検出する顔候補検出手段と、前記画像内の位置座標ごとに異ならせることが可能な判定基準であって、前記顔候補が顔であるか非顔であるかを判定するための前記判定基準を記憶する判定基準記憶手段と、前記顔候補が顔であるか非顔であるかを該顔候補の検出位置に対応する判定基準を用いて判定し、非顔を除いた顔候補を顔として出力する非顔排除手段と、を備える。

本発明で予め設定される判定基準は、前記画像内の位置座標ごとに異ならせることが可能である。本発明の非顔排除手段は、位置座標ごとに適した判定基準を用いて顔候補が顔であるか非顔であるかを判定することができるので、画像全体を同一基準で行う顔検出処理よりも精度の向上が図れる。また、従来技術は距離センサや２台目のカメラが必要であったのに対し、本発明は付加機器を必要としないため、簡易な構成である。

前記判定基準は、顔と判定すべき顔サイズの範囲を規定するための情報を含み、前記非顔排除手段は、前記判定基準と前記顔候補の顔サイズとを比較することによって、前記顔候補が顔であるか非顔であるかを判定するとよい。これにより、位置座標ごとに適切な顔サイズの顔候補のみが顔として検出されるため、誤検出の低減及び精度の向上が図れる。

前記顔候補検出手段は、異なる顔向きに対応する複数の顔検出器を有しており、前記顔検出器は、顔候補と共に、該顔候補の顔らしさを表すスコアを出力し、前記判定基準は、顔向きごとに顔と判定すべきスコアの範囲を規定するための情報を含み、前記非顔排除手段は、前記顔候補の顔向きに対応する判定基準と前記顔候補のスコアとを比較することによって、前記顔候補が顔であるか非顔であるかを判定するとよい。これにより、位置座標ごとに適切な向きの顔候補のみが顔として検出されるため、誤検出の低減及び精度の向上が図れる。

前記判定基準記憶手段は、前記撮像手段で撮影された画像を複数の部分領域に区分するための部分領域情報と前記部分領域ごとの照明情報とを更に記憶し、前記顔候補検出手段は、前記画像から顔候補を検出する前に、部分領域ごとに前記照明情報に基づいて照明補正を施すとよい。これにより、部分領域ごとに照明環境が異なっている場合でも、前処理として上記照明補正を施すことにより、画像全体の照明環境をそろえることができるので、誤検出の低減及び精度の向上が図れる。

前記判定基準記憶手段は、時間帯ごとに異なる照明情報を記憶可能であり、前記顔候補検出手段は、前記画像の撮影時刻に基づいて照明補正に用いる照明情報を決定するとよい。これにより、時間帯ごとの照明環境の変化に対応できるため、誤検出の低減及び精度の向上が図れる。

また、本発明は、上記手段の少なくとも一部を有する顔検出装置として捉えてもよいし、上記処理の少なくとも一部を含む顔検出方法、または、かかる方法を実現するための顔検出プログラムやそのプログラムを記憶した記憶媒体として捉えることもできる。なお、上記手段及び処理の各々は可能な限り互いに組み合わせて本発明を構成することができる。

本発明によれば、顔検出処理を実行する際に、画像内の位置座標ごとに異ならせることが可能な判定基準を予め設定することができ、付加機器を必要としないため、簡易な構成で、高精度な顔検出処理を実行することが可能である。

以下に図面を参照して、この発明の好適な実施の形態を例示的に詳しく説明する。

＜第１の実施形態＞
第１の実施形態では、本発明を通行人や侵入者などを監視するための監視装置に適用した例を挙げる。この種の監視装置では図１のように撮像部１１が人の頭より高い位置の天井や壁などに固定されており、監視エリアを俯瞰するような撮影画像を得ることが多い。この状況下で、撮像部１１が撮影する画像は図２のように画像上部の顔は小さく写り、画像下部の顔は大きく写る傾向にある。このような傾向に着目し、本実施形態では、顔と判定すべき顔サイズの範囲を画像内の位置に応じて変える。なお、本発明は本実施形態の監視装置のような固定カメラに好ましく適用することができるが、本発明は固定カメラに限らず、あらゆる撮影装置に適用することが可能である。

＜装置構成＞
図３は本発明の実施形態に係る顔検出装置の機能構成を示すブロック図である。顔検出装置は、概略、撮像部１１、画像記憶部１２、顔候補検出部１３、非顔判定部１４、表示部１５、結果記憶部１６、判定基準記憶部１７を備えている。本実施形態では、これらの機能要素は、コンピュータの演算処理装置がソフトウエア（プログラム）を実行し、必要に応じてカメラ、メモリ、ディスプレイなどのハードウエア資源を制御することで実現さ
れる。ただし、これらの機能要素を専用のチップで構成しても構わない。

撮像部１１としては、光学系と撮像素子（ＣＣＤ、ＣＭＯＳセンサなど）を備えるデジタルカメラを好ましく適用できる。

画像記憶部１２は、処理対象となる画像を一時的に記憶する記憶装置である。この記憶装置としては、揮発性メモリや不揮発性メモリなど、どのような具体的技術が適用されてもよい。

顔候補検出部１３は、画像処理によって画像から顔候補を検出する機能である。また、顔候補検出部１３は、検出結果として、顔候補の顔サイズ（顔幅）及び画像内の位置座標のデータを出力する。顔候補検出部１３による顔候補検出処理は、既存の顔検出処理のどのような技術が適用されてもよい。一例を挙げると、顔全体の輪郭に対応した基準テンプレートを用いたテンプレートマッチングによって顔を検出する手法、顔の器官（目、鼻、耳など）に基づくテンプレートマッチングによって顔を検出する手法、クロマキー処理によって頭部などの頂点を検出し、この頂点に基づいて顔を検出する手法、肌の色に近い領域を検出し、その領域を顔として検出する手法、ニューラルネットワークを使って教師信号による学習を行い、顔らしい領域を顔として検出する手法、などがある。

非顔判定部１４は、顔候補検出部１３で検出された顔候補が顔であるか非顔であるかを該顔候補の検出位置に対応する判定基準を用いて判定し、非顔を除いた顔候補を顔として出力する機能である。

表示部１５としては、液晶ディスプレイなど、どのような具体的技術が適用されてもよい。

結果記憶部１６は、非顔判定部１４から顔として出力された結果を記憶する記憶装置である。この記憶装置としては、不揮発性メモリやハードディスクなど、どのような具体的技術が適用されてもよい。

判定基準記憶部１７は、判定基準を記憶する記憶装置である。この記憶装置としては、不揮発性メモリやハードディスクなど、どのような具体的技術が適用されてもよい。

判定基準とは、顔候補検出部１３で検出された顔候補が顔であるか非顔であるかを判定するためのものである。また、本実施形態における判定基準は画像内の位置座標ごとに異ならせることができる。

本実施形態における判定基準の一例を図４に示す。上述したように、本実施形態の撮像部１１で撮影される画像は図２のように画像上部の顔は小さく写り、画像下部の顔は大きく写る傾向にある。そこで、図４の例では、画像内の位置座標に関する情報として、画像全体を「画像上部」、「画像中部」、「画像下部」という３つの部分領域２１〜２３に区分するための部分領域情報を設定する。ここでは四角形の部分領域を設定しており、部分領域は四角形の対角に位置する頂点の始点座標と終点座標の２つの座標で定義される。なお、部分領域の形は四角形でなく、多角形や円形などでもよい。部分領域情報は、部分領域の形状・位置・大きさを定義できれば、どのような形式でもよい。また、判定基準として、顔と判定すべき顔サイズの範囲を規定するための情報を設定する。図４の例では、画像上部の部分領域２１に「５〜２０」、画像中部の部分領域２２に「２０〜３５」、画像下部の部分領域２３に「３５〜５０」という顔サイズの範囲が設定されている。なお、顔サイズの範囲は、顔サイズに対応する数値（顔サイズの上限に対応する数値と下限に対応する数値など）ではなく、「大」、「中」、「小」のような属性で規定されてもよい。

＜顔検出機能＞
図５及び図６のフローチャートに沿って、本実施形態の顔検出装置の機能及び処理の流れを説明する。

本実施形態の顔検出装置は一定の時間間隔で顔検出機能を実行する。顔検出機能が起動すると、撮像部１１で撮影された画像が、顔検出処理に用いるために取り込まれる（ステップＳ１１）。入力された画像は画像記憶部１２に撮影時刻情報と共に格納される。なお、必要に応じて、ユーザは、顔検出処理用の画像を表示部１５で確認することができる。

次に、顔候補検出部１３が顔候補の検出を行う（ステップＳ１２）。本実施形態では図２に示す顔候補２４ａ〜２４ｆの６つが検出された場合について述べる。ここで、顔候補２４ａ及び２４ｂの検出位置は部分領域２１に属し、顔候補２４ｃ及び２４ｄの検出位置は部分領域２２に属し、顔候補２４ｅ及び２４ｆの検出位置は部分領域２３に属する。また、顔候補２４ａの顔サイズは「４４」であり、顔候補２４ｂの顔サイズは「１２」であり、顔候補２４ｃは「２５」であり、顔候補２４ｄは「４５」であり、顔候補２４ｅは「７」であり、顔候補２４ｆは「４８」である。また、顔候補２４ｂ、２４ｃ、２４ｆは顔であるが、顔候補２４ａ、２４ｄ、２４ｅは非顔（誤検出）である。

そして、非顔判定部１４が判定基準記憶部１７から部分領域情報と部分領域ごとに予め設定された判定基準とを読み込み（ステップＳ１３）、顔候補が顔であるか非顔であるかを該顔候補の検出位置に対応する判定基準を用いて判定し、非顔を除いた顔候補を顔として出力する（ステップＳ１４）。図２の例では、画像の傾向から夫々の位置座標において顔候補２４ａ、２４ｄ、２４ｅのようなサイズの顔はあり得ない。このようなあり得ないサイズの顔候補をステップＳ１４の処理で排除することにより、本実施形態では誤検出の低減、ひいては、高精度な顔検出処理が図れる。

図６は、ステップＳ１４の処理の一具体例を示している。

まず、非顔判定部１４がステップＳ１２の結果（本実施形態では、顔候補の位置座標データ及び顔サイズデータ）を取り込む（ステップＳ２１）。本実施形態における顔サイズデータは顔サイズを表すデータであり、大きい顔ほど大きな値となる。

次に、非顔判定部１４がステップＳ１２で検出された顔候補のうち一つを選択し（ステップＳ２２）、顔候補の位置座標データから顔候補の検出位置が属する部分領域を特定する（ステップＳ２３）。

そして、部分領域ごとに設定されている判定基準と顔候補の顔サイズとを比較することによって当該顔候補が顔であるか非顔であるかを判定する（ステップＳ２４）。具体的には、非顔判定部１４は顔候補の顔サイズが顔候補の属する部分領域内に設定された判定基準内にある場合、該顔候補を顔とし、それ以外を非顔とする。例えば、顔候補２４ａの検出位置は部分領域２１に属し、顔サイズは「４４」である。しかし、判定基準では部分領域２１に「５〜２０」と設定されており、２４ａの顔サイズ「４４」は、判定基準の範囲外であるため非顔とされる（２４ｄ、２４ｅも同様の理由から非顔とされる）。一方、２４ｃの検出位置は部分領域２２に属し、顔サイズは「２５」である。また、判定基準では部分領域２２に「２０〜３５」と設定されており、２４ｃの顔サイズ「２５」は、判定基準の範囲内であるため顔とされる（２４ｂ、２４ｆも同様の理由から顔とされる）。

顔候補が顔とされた場合（ステップＳ２４；ＹＥＳ）、ステップＳ２６に進み、非顔とされた場合（ステップＳ２４；ＮＯ）、該顔候補をステップＳ１２で検出された顔候補か
ら排除し（ステップＳ２５）、ステップＳ２６に進む。

ステップＳ２６では、非顔判定部１４がステップＳ１２で検出された顔候補のうち、顔であるか非顔であるかの判定に用いられていない顔候補があるかどうかを判断する。他の顔候補があるとされた場合（ステップＳ２６；ＹＥＳ）、その顔候補を選択し、該顔候補が顔であるか非顔であるかを判定する（ステップＳ２２〜Ｓ２４）。ステップＳ１２で検出された全ての顔候補について顔であるか非顔であるかの判定が行われたら、ステップＳ１４の処理を終了し、ステップＳ１５に進む。

ステップＳ１５では、非顔判定部１４の判定結果が顔検出処理結果として結果記憶部１６に格納される。結果記憶部１６に格納される顔検出処理結果の情報は、顔検出処理に用いた画像及びその撮影時刻と、検出された顔の数とその検出位置の情報が好ましい。ユーザは、目的に応じた撮影時刻と顔検出処理結果の表示方法とを入力することで、顔検出処理結果を表示部１５で確認することができる。前記表示方法は入力された撮影時刻の総顔検出数であってもよいし、前記撮影時刻に撮影された画像を表示し、前記検出位置に印を付けるなどであってもよい。

以上述べたように、本実施形態ではまず、顔候補検出部１３が画像から顔候補を検出し、非顔判定部１４が顔であるか非顔であるかの判定を行う。また、本実施形態の判定基準として、顔候補のうち画像上部では小さい顔サイズの顔候補を顔として判定し、画像下部では大きい顔サイズの顔候補を顔として判定するような判定基準が設定されている。これにより、画像内の部分領域ごとに適切な顔サイズの顔候補のみが顔として検出されるため、同一基準で非顔判定を行うよりも、高精度な顔検出処理が実行できる。

なお、本実施形態では顔サイズとして顔の幅を用いているが、顔の長さ、面積、もしくはそれらを組み合わせることで得られる別のパラメータを用いてもよい。

なお、本実施形態では判定基準記憶部１７に部分領域情報と部分領域ごとの判定基準が設定されている場合について述べたが、図７のように関数によって判定基準を設定するなど、様々な手法が適用できる。図７において、縦軸は画像の縦方向の位置座標に対応し、横軸は顔サイズに対応する。例えば、顔候補が位置座標Ｙ１１で検出された場合、顔候補は顔サイズが、
Ｚ１１≦顔サイズ＜Ｚ１２
のときに顔として判定される。

＜第２の実施形態＞
第２の実施形態では、Ｔ字型の通路の交差位置に撮像部１１があり、撮像部１１の前方向と左右方向には通路があるという状況下での顔検出装置について述べる（図８）。この状況下で、撮像部１１が撮影する画像は、第１の実施形態と同様に画像下部ほど大きい顔が写る傾向にある。更に、画像上部では前方の通路を通る人が写るため、正面向きの顔が多く写り、画像中部では前方の通路と左右の通路との交差位置付近を通る人が写るため、左右斜め向きの顔が多く写り、画像下部では左右の通路を通る人が写るため、左右向きの顔が多く写る傾向にある（図９）。このような傾向に着目し、本実施形態では、顔と判定すべき顔サイズの範囲と顔向きを画像内の位置に応じて変える。

以下、第１の実施形態と異なる構成及び処理を中心に説明する。

＜装置構成＞
本実施形態の顔候補検出部１３は異なる顔向きに対応する複数の顔検出器（例えば、正面、左、右、左斜め、右斜めの５つ）を有する。また、顔候補検出部１３は、１つの位置
座標で全ての顔検出器を用いて顔候補検出処理を行い、夫々の顔検出器は顔候補を検出した際に、顔候補と共に、該顔候補のスコアを出力する。本実施形態におけるスコアとは、顔らしさを表す値であり、より顔らしい顔候補ほど高い値となる。

次に、本実施形態における判定基準の一例を図１０に示す。上述したように、本実施形態の撮像部１１で撮影される画像は図９のように画像下部ほど大きい顔が写る傾向にあり、更に、画像上部では前方の通路を通る人が写るため、正面向きの顔が多く写り、画像中部では前方の通路と左右の通路との交差位置付近を通る人が写るため、左右斜め向きの顔が多く写り、画像下部では左右の通路を通る人が写るため、左右向きの顔が多く写る傾向にある。そこで、図１０の例では、画像内の位置座標に関する情報として、判定基準記憶部１７に画像全体を「画像上部」、「画像中部」、「画像下部」という３つの部分領域３１〜３３に区分するための部分領域情報を設定する（ここでの部分領域の定義は第１の実施形態と同様である）。また、判定基準として、顔サイズの範囲と、顔向きごとの顔と判定すべきスコアの範囲と、を規定するための情報を設定する。図１０の例では、画像上部の部分領域３１に「５〜２０」と「正面；６０、左右斜め；８０、左右；１００」、画像中部の部分領域３２に「２０〜３５」と「正面；８０、左右斜め；６０、左右；８０」、画像下部の部分領域３３に「３５〜５０」と「正面；１００、左右斜め；８０、左右；６０」という顔サイズの範囲と顔向きごとの閾値が設定されている。非顔判定部１４は、顔検出器から出力されたスコアが、予め設定されている閾値より大きいときに該顔候補を顔と判定する。そのため、部分領域３１では、正面顔の閾値が低いので、正面顔が顔として判定され易い。同様に、部分領域３２では、左右斜め顔が顔として判定され易く、部分領域３３では、左右顔が顔として判定され易い。なお、顔向きは、「正面」、「左右斜め」、「左右」のような属性ではなく、顔の向きに対応する数値や、顔検出器の識別子で規定されてもよい。

＜顔検出機能＞
本実施形態の顔検出装置の機能はステップＳ１４の処理を除いて第１の実施形態と同様であるため、その記述を省略し、ここでは図６のフローチャートに沿って、本実施形態におけるステップＳ１４の処理について詳しく説明する。なお、本実施形態ではステップＳ１２によって図９に示す顔候補３４ａ〜３４ｃの３つが検出された場合について述べる。ここで、顔候補３４ａ及び３４ｃは顔であるが、顔候補３４ｂは非顔（誤検出）である。

まず、非顔判定部１４がステップＳ１２の結果（本実施形態では、顔候補の位置座標データ、顔サイズデータ、顔候補の顔向き及びそのスコア）を取り込む（ステップＳ２１）。

次に、非顔判定部１４がステップＳ１２で検出された顔候補のうち一つを選択し（ステップＳ２２）、顔候補の位置座標データから顔候補の検出位置が属する部分領域を特定する（ステップＳ２３）。図９の例では、顔候補３４ａの検出位置は部分領域３１に属し、顔候補３４ｂの検出位置は部分領域３２に属し、顔候補３４ｃの検出位置は部分領域３３に属する。

そして、部分領域ごとに設定されている判定基準と顔候補の顔サイズ、顔向き及びそのスコアとから顔候補が顔であるか非顔であるかを判定する（ステップＳ２４）。例えば、顔候補３４ａの顔向き及びそのスコアは「正面；９０、左斜め；７０、右斜め；４０、左；−、右；−」であり、顔候補３４ｂは「正面；４０、左斜め；５０、右斜め；３０、左；７０、右；３０」であり、顔候補３４ｃは「正面；−、左斜め；−、右斜め；−、左；１００、右；−」である（ここで、「−」は顔候補として検出されなかったことを意味する。）。ステップＳ２４において、顔候補３４ａの検出位置は部分領域３１に属するので、「正面；６０、左右斜め；８０、左右；１００」と比較され、「正面」のスコアが閾値
を上回っているので「顔」とされる（同様に、３４ｂは「非顔」とされ、３４ｃは「顔」とされる。）。顔候補３４ａ〜３４ｃの顔サイズは夫々の属する部分領域に設定された顔サイズの範囲内であるため、顔サイズの範囲のみの判定基準（第１の実施形態）では顔候補３４ｂを非顔と判定することはできない。しかし、本実施形態では、判定基準として顔向きごとの閾値を設定することで、顔候補３４ｂを非顔と判定することができる。

顔候補が顔とされた場合（ステップＳ２４；ＹＥＳ）、ステップＳ２６に進み、非顔とされた場合（ステップＳ２４；ＮＯ）、該顔候補を複数の顔候補から排除し（ステップＳ２５）、ステップＳ２６に進む。

ステップＳ２６では、非顔判定部１４がステップＳ１２で検出された複数の顔候補のうち、判定に用いられていない顔候補があるかどうかを判断する。他の顔候補があるとされた場合（ステップＳ２６；ＹＥＳ）、その顔候補を選択し、該顔候補が顔であるか非顔であるかを判定する（ステップＳ２２〜Ｓ２４）。ステップＳ１２で検出された全ての顔候補について顔であるか非顔であるかの判定が行われたら、ステップＳ１４の処理を終了し、ステップＳ１５に進む。

ステップＳ１５では、非顔判定部１４の判定結果が顔検出処理結果として結果記憶部１６に格納される。結果記憶部１６に格納される顔検出処理結果の情報は、顔検出処理に用いた画像及びその撮影時刻と、検出された顔の数とその検出位置の情報が好ましい。ユーザは、目的に応じた撮影時刻と顔検出処理結果の表示方法とを入力することで、顔検出処理結果を表示部１５で確認することができる。前記表示方法は入力された撮影時刻の総顔検出数であってもよいし、前記撮影時刻に撮影された画像を表示し、前記検出位置に印を付けるなどであってもよい。

以上述べたように、本実施形態ではまず、顔候補検出部１３が画像から顔候補を検出し、非顔判定部１４が顔であるか非顔であるかの判定を行う。また、本実施形態の判定基準として、顔候補のうち画像上部では小さい顔サイズ且つ正面向きの顔候補を顔と判定し易くし、画像下部では大きい顔サイズ且つ左右向きの顔候補を顔と判定し易くするような判定基準が設定されている。これにより、画像内の部分領域ごとに適切な顔サイズ及び顔向きの顔候補のみが顔として検出されるため、同一基準で非顔判定を行うよりも、高精度な顔検出処理が実行できる。

なお、本実施形態では判定基準記憶部１７に部分領域情報と部分領域ごとの判定基準が設定されている場合について述べたが、図７及び図１１のような関数によって判定基準を設定するなど、様々な手法が適用できる。図１１において、縦軸は画像の縦方向の位置に対応し、横軸は閾値に対応する。また、顔検出器ごとに関数が設定される。そして、図１１は、位置座標Ｙ２１で顔候補が検出された場合、正面顔の閾値はＺ２２となり、左右斜め顔の閾値はＺ２１となり、左右顔の閾値はＺ２３となることを意味する。また、本実施形態では同じ部分領域に顔サイズの範囲を規定する情報と顔向きごとの顔と判定すべきスコアの範囲を規定する情報とを設定しているが、種々の情報ごとに部分領域を設定してもよい。

なお、本実施形態ではステップＳ１２で顔候補であるか否かを判定するための手法について具体的に述べていないが、ステップＳ１２でもステップＳ１４のスコアと同じ定義のスコアを用いてもよい。その場合、顔候補であるか否かの判定に用いられる閾値は顔であるか否かの判定に用いられる閾値より低く設定しておくとよい。これにより、顔の検出漏れを防ぐことができる。

＜第３の実施形態＞
第３の実施形態では、撮像部１１が屋内から屋外を向くように設置してあり、撮像部１１で撮影される画像には屋内と屋外の両方が写るという状況下での顔検出装置について述べる（図１２）。この状況下で、撮像部１１が撮影する画像は、第１の実施形態と同様に画像下部ほど大きい顔が写る傾向にある。更に、図１３のように、屋内にある顔と屋外にある顔とで照明環境が異なる傾向にある（例えば、屋外が屋内より明るい場合、屋外の顔は明るく写り、屋内の顔は逆光により暗く写るなど）。このような照明環境の違いは顔検出処理に悪影響を及ぼす。このような傾向に着目し、本実施形態では、顔と判定すべき顔サイズの範囲を画像内の位置に応じて変える。更に、画像全体を複数の部分領域に区分し、顔候補検出処理の前処理として画像全体の照明環境をそろえるために部分領域ごとに照明補正をする。

以下、第１の実施形態と異なる構成及び処理を中心に説明する。

本実施形態における顔候補検出部１３は、画像処理によって画像から顔候補を検出する機能のほかに、前処理として照明補正を施す機能を有する。

本実施形態における判定基準記憶部１７は、判定基準のほかに、画像を複数の部分領域に区分するための部分領域情報と部分領域ごとの照明情報とを更に記憶する記憶装置である。

次に、本実施形態における判定基準、部分領域情報及び部分領域ごとの照明情報の一例を図１４に示す。上述したように、本実施形態の撮像部１１で撮影される画像は図１３のように画像下部ほど大きい顔が写る傾向にあり、更に、屋内にある顔と屋外にある顔とで照明環境が異なる傾向にある。そこで、図１４の例では、部分領域情報として、判定基準記憶部１７に画像全体を「画像上部」、「画像中部」、「画像下部」という３つの部分領域４１〜４３に区分するための情報を設定する（ここでの部分領域の定義は第１の実施形態と同様である）。また、判定基準（顔サイズの範囲を規定するための情報）及び照明情報として、画像上部の部分領域４１に「５〜２０」と「朝；明るい、昼；明るい、夜；暗い」、画像中部の部分領域４２に「２０〜３５」と「朝；暗い、昼；暗い、夜；明るい」、画像下部の部分領域４３に「３５〜５０」と「朝；暗い、昼；暗い、夜；明るい」とが設定されている。なお、照明情報は、「明るい」、「暗い」のような属性ではなく、照明環境に対応する数値や、照明補正に用いられるパラメータで規定されてもよい。

＜顔検出機能＞
図１５のフローチャートに沿って、本実施形態の顔検出装置の機能及び処理の流れを説明する。

本実施形態の顔検出装置は一定の時間間隔で顔検出機能を実行する。顔検出機能が起動すると、撮像部１１で撮影された画像が、顔検出処理に用いるために取り込まれる（ステップＳ３１）。入力された画像は画像記憶部１２に撮影時刻情報と共に格納される。なお、必要に応じて、ユーザは、顔検出処理用の画像を表示部１５で確認することができる。

次に、顔候補検出部１３が判定基準記憶部１７から部分領域情報と部分領域ごとに予め設定された照明情報とを読み込み（ステップＳ３２）、部分領域ごとに照明情報に基づいて照明補正を施す（ステップＳ３３）。ここで、顔候補検出部１３は、照明情報として「暗い」と設定されている場合、画像を明るくするように明るさやコントラストなどを調節し、「明るい」と設定されている場合、画像を暗くするように明るさやコントラストなどを調節して画像全体を同程度の明るさにする。つまり、顔候補検出部１３が部分領域ごとに照明補正を施すことにより、図１３の画像は、図１６のような画像になる。

そして、顔候補検出部１３は照明補正が施された画像から顔候補の検出を行う（ステップＳ３４）。

次に、非顔判定部１４が判定基準記憶部１７から部分領域情報と部分領域ごとに予め設定された判定基準とを読み込み（ステップＳ３５）、顔候補が顔であるか非顔であるかを該顔候補の検出位置に対応する判定基準を用いて判定し、非顔を除いた顔候補を顔として出力する（ステップＳ３６）。

そして、ステップＳ３７では、非顔判定部１４の判定結果が顔検出処理結果として結果記憶部１６に格納される。結果記憶部１６に格納される顔検出処理結果の情報は、顔検出処理に用いた画像及びその撮影時刻と、検出された顔の数とその検出位置の情報が好ましい。ユーザは、目的に応じた撮影時刻と顔検出処理結果の表示方法とを入力することで、顔検出処理結果を表示部１５で確認することができる。前記表示方法は入力された撮影時刻の総顔検出数であってもよいし、前記撮影時刻に撮影された画像を表示し、前記検出位置に印を付けるなどであってもよい。

以上述べたように、本実施形態では、顔候補検出部１３が画像から顔候補を検出する前に、部分領域ごとに照明補正を施す。これにより、画像全体の照明環境をそろえることができるので、照明補正を施さない顔検出処理よりも、高精度な顔検出処理が実行できる。

なお、本実施形態では同じ部分領域に顔サイズの範囲を規定するための情報と照明情報を設定しているが、種々の情報ごとに部分領域を設定してもよい。顔サイズの範囲を規定するための情報は、第１の実施形態で述べたように関数でもよい。

なお、当該照明情報はユーザが設定してもよいし、インターネットなどを介して自動的に照明情報（天気情報など）を取得・設定するなどしてもよい。例えば、本実施形態では、部分領域ごとに時間帯ごとの照明情報が設定してある。しかし、天気などによって時間帯ごとの照明状態が変化する場合には（例えば、晴れの日は屋外が明るいが、曇りの日は暗いなど）、そのつど照明情報の設定が必要になる。そのような場合に、インターネットなどを介して自動的に照明情報（天気情報）を取得し、それに応じて画像の明るさ補正を行うことによって、そのつど照明情報の設定をしなくても時間帯ごとに適切な照明情報を設定することができる。

なお、第１〜３の実施形態は、夫々、画像の部分領域ごとに予め検出される顔の大きさが決まっている場合、予め検出される顔の向きが決まっている場合、予め検出される顔の照明環境が決まっている場合に好ましく適用できる。例えば、第３の実施形態では屋内と屋外の照明環境の違いを想定した例を挙げているが、画像の一部が照明で照らされている場合などにも好ましく適用できる。

図１は、第１の実施形態における撮像部の設置様態を示す図である。 図２は、第１の実施形態における撮像部で撮影された画像の一例を示す図である。 図３は、顔検出装置の機能構成を示すブロック図である。 図４は、第１の実施形態における判定基準の一例を示す図である。 図５は、第１の実施形態及び第２の実施形態における顔検出装置の処理の流れを示すフローチャートである。 図６は、ステップＳ１４の処理の流れを示すフローチャートである。 図７は、判定基準の一例を示す図である。 図８は、第２の実施形態における撮像部の設置様態を示す図である。 図９は、第２の実施形態における撮像部で撮影された画像の一例を示す図である。 図１０は、第２の実施形態における判定基準の一例を示す図である。 図１１は、判定基準の一例を示す図である。 図１２は、第３の実施形態における撮像部の設置様態を示す図である。 図１３は、第３の実施形態における撮像部で撮影された画像の一例を示す図である。 図１４は、第３の実施形態における部分領域情報、判定基準及び照明情報の一例を示す図である。 図１５は、第３の実施形態における顔検出装置の処理の流れを示すフローチャートである。 図１６は、照明補正後の画像の一例を示す図である。

符号の説明

１１ 撮像部
１２ 画像記憶部
１３ 顔候補検出部
１４ 非顔判定部
１５ 表示部
１６ 結果記憶部
１７ 判定基準記憶部
２１〜２３，３１〜３３，４１〜４３ 部分領域
２４ａ〜２４ｆ，３４ａ〜３４ｃ 顔候補

Claims (7)

1. 撮像手段と、
   前記撮像手段で撮影された画像から顔候補を検出する顔候補検出手段と、
   前記画像内の位置座標ごとに異ならせることが可能な判定基準であって、前記顔候補が顔であるか非顔であるかを判定するための前記判定基準を記憶する判定基準記憶手段と、
   前記顔候補が顔であるか非顔であるかを該顔候補の検出位置に対応する判定基準を用いて判定し、非顔を除いた顔候補を顔として出力する非顔排除手段と、
   を備える顔検出装置。
2. 前記判定基準は、顔と判定すべき顔サイズの範囲を規定するための情報を含み、
   前記非顔排除手段は、前記判定基準と前記顔候補の顔サイズとを比較することによって、前記顔候補が顔であるか非顔であるかを判定する
   請求項１に記載の顔検出装置。
3. 前記顔候補検出手段は、異なる顔向きに対応する複数の顔検出器を有しており、
   前記顔検出器は、顔候補と共に、該顔候補の顔らしさを表すスコアを出力し、
   前記判定基準は、顔向きごとに顔と判定すべきスコアの範囲を規定するための情報を含み、
   前記非顔排除手段は、前記顔候補の顔向きに対応する判定基準と前記顔候補のスコアとを比較することによって、前記顔候補が顔であるか非顔であるかを判定する
   請求項１〜請求項２のいずれかに記載の顔検出装置。
4. 前記判定基準記憶手段は、前記撮像手段で撮影された画像を複数の部分領域に区分するための部分領域情報と前記部分領域ごとの照明情報とを更に記憶し、
   前記顔候補検出手段は、前記画像から顔候補を検出する前に、部分領域ごとに前記照明情報に基づいて照明補正を施す
   請求項１〜請求項３のいずれかに記載の顔検出装置。
5. 前記判定基準記憶手段は、時間帯ごとに異なる照明情報を記憶可能であり、
   前記顔候補検出手段は、前記画像の撮影時刻に基づいて照明補正に用いる照明情報を決定する
   請求項４に記載の顔検出装置。
6. 撮像手段で撮影された画像から顔を検出する顔検出処理を行うコンピュータが、
   前記撮像手段で撮影された画像から顔候補を検出し、
   前記画像内の位置座標ごとに異ならせることが可能な判定基準であって、前記顔候補が顔であるか非顔であるかを判定するための前記判定基準を記憶しており、
   前記顔候補が顔であるか非顔であるかを該顔候補の検出位置に対応する判定基準を用いて判定し、非顔を除いた顔候補を顔として出力する
   顔検出方法。
7. 撮像手段で撮影された画像から顔を検出する顔検出処理を行うコンピュータに、
   前記撮像手段で撮影された画像から顔候補を検出するステップと、
   前記画像内の位置座標ごとに異ならせることが可能な判定基準であって、前記顔候補が顔であるか非顔であるかを判定するための前記判定基準を記憶するステップと、
   前記顔候補が顔であるか非顔であるかを該顔候補の検出位置に対応する判定基準を用いて判定し、非顔を除いた顔候補を顔として出力するステップと、
   を実行させるための顔検出プログラム。

Images