JP2005165983A - 人物顔のあご検出方法及びあご検出システム並びにあご検出プログラム - Google Patents

Abstract

【課題】 人物顔のあごの下底部を自動的に的確且つ高速に検出できる新規な人物顔のあご検出方法及びあご検出システム並びにあご検出プログラムの提供。
【解決手段】人物顔を検出して当該部分の下部にあご検出窓を設定した後、当該あご検出窓内のエッジの強度分布を求め、当該エッジ強度の分布から閾値以上のエッジ強度を持つ画素を検出し、検出した各画素の分布に最も合うように近似曲線を求め、当該近似曲線の最も下底部を前記人物顔のあごの下底部とする。これによって、人物顔のあごの下底部を自動的に的確且つ高速に検出できる。
【選択図】 図１

Description

本発明は、パターン認識（Ｐａｔｔｅｒｎ ｒｅｃｏｇｎｉｔｉｏｎ）やオブジェクト認識技術に係り、特に人物の顔が写っている顔画像の中から当該人物顔のあごの位置を的確に検出するためのあご検出方法及びあご検出システム並びにあご検出プログラムに関するものである。

近年のパターン認識技術やコンピュータ等の情報処理装置の高性能化に伴って文字や音声の認識精度は飛躍的に向上してきているが、人物や物体・景色等が映っている画像、例えば、ディジタルスチルカメラ等によって取り込まれた画像のパターン認識のうち、特にその画像中に人の顔が映っているか否かを正確且つ高速に識別するといった点に関しては未だに極めて困難な作業であることが知られている。

しかしながら、このように画像中に人の顔が映っているか否か、さらにはその人物が誰であるのかをコンピュータ等によって自動的に正確に識別することは、生体認識技術の確立やセキュリティの向上、犯罪捜査の迅速化、画像データの整理・検索作業の高速化等を実現する上で極めて重要なテーマとなってきており、このようなテーマに関しては従来から多くの提案がなされている。

例えば、以下の特許文献１等では、ある入力画像について、先ず、人物肌色領域の有無を判定し、人物肌色領域に対して自動的にモザイクサイズを決定し、候補領域をモザイク化し、人物顔辞書との距離を計算することにより人物顔の有無を判定し、人物顔の切り出しを行うことによって、背景等の影響による誤抽出を減らし、効率的に画像中から人間の顔を自動的に見つけるようにしている。

また、以下の特許文献２等では、各個人やグループ（例えば、人種グループ）を区別するために用いる顔画像の特徴点抽出を所定のアルゴリズムを利用することで自動的に高速且つ簡便に実施するようにしている。
特開平９−５０５２８号公報 特開平８−７７３３４号公報

ところで、パスポートや身分証明書等に不可欠な人物の顔写真（顔画像）は、そのサイズや人物の顔の向きや大きさ、位置等が細かく設定されている場合が多い。
例えば、無背景で、且つ帽子等のアクセサリーを身に付けないといった条件はいうまでもなく、写っている人物の顔が正面を向いていることや、人物顔が写真の中央にあること、写っている顔のあごの位置が写真の下の枠から一定の範囲にあること、…等が事細かく規定されており、原則としてその規格から外れる写真（顔画像）は採用されない。

しかしながら、人物顔が正面を向いていなかったり、帽子等のアクセサリーを身に付けている等といった理由であればともかく、単に写っている顔の大きさや位置が多少ずれているといった理由だけで、再度撮影し直さなければならないのは不合理であり、利用者に対して著しい労力やコストを強いるといった問題点がある。
そのため、近年発達が著しい技術分野であるディジタル画像処理技術を利用して、前記のような問題点を解決する方法が検討されている。

例えば、必要とする人物の顔画像を、ＣＣＤやＣＭＯＳ等の電子撮像素子を用いたディジタルスチルカメラ等によって直接ディジタル画像データとして取得、あるいは予め人物顔が撮影されたアナログ写真（銀塩写真）をスキャナ等の電子光学画像読取装置を利用してディジタル画像データとして取得し、このディジタル画像データをＰＣ等の汎用のコンピュータと汎用のソフトウェアからなる画像処理システムを利用してその人物本来の顔の特徴を損なうことなく、適宜、その顔画像を拡大、縮小、移動等の簡単な画像処理を施すことで前記問題を解決することが考えられている。

一方、このような処理対象となる画像の数が少なければ、その処理操作は、マウスやキーボード、モニタ等の汎用の入出力装置を用いて人間が直接実施することも可能であるが、その数が膨大な場合には、前記のような従来技術を利用してその処理を自動的に行う必要が生じてくる。
しかしながら、このように人物顔の画像処理の自動化を実現するためには、顔の輪郭、特に人物顔のあごの輪郭を正確に認識する必要があるが、人物顔のあごの輪郭は、その撮影時の照明条件や個人の顔の造作、その他の条件によって従来のエッジ検出フィルタ等のみでは明確に読み取れないことが多い。

例えば、散乱光や照明の方向によってはあごの輪郭は不鮮明となったり、顔の造作によっては、唇とあごの下底部との間に比較的強いエッジが検出されたり、また着用している服によってもその襟と首の境目に強いエッジが検出される。また、年齢や体型によってはあごの輪郭よりも首の皺の方に強いエッジが発生することも多く、これらをあごの輪郭と誤検出してしまうことがある。

そこで、本発明はこのような課題を有効に解決するために案出されたものであり、その目的は、前記のようにあごの輪郭の検出が困難な顔画像であっても、その部分を的確、且つ高速に検出してロバスト（頑健）なあご下底部の検出を行うことができる新規なあご検出方法及びあご検出システム並びにあご検出プログラムを提供するものである。

〔発明１〕
上記課題を解決するために発明１の人物顔のあご検出方法は、
人物顔が含まれる画像中から当該人物顔のあごの下底部を検出する方法であって、前記人物顔の両目、唇を含み、あごを含まない範囲の顔画像を検出して、検出した当該顔画像の下部に前記人物顔のあごが含まれる大きさのあご検出窓を設定した後、当該あご検出窓内のエッジの強度分布を求め、当該エッジ強度の分布から閾値以上のエッジ強度を持つ画素を検出し、その後、検出した各画素の分布に最も合うように近似曲線を求め、当該近似曲線の最も下底部を前記人物顔のあごの下底部とするようにしたことを特徴とするものである。

このように本発明は、先ず、人物顔のあごが含まれる可能性が極めて高い部分を選択し、その部分にあご検出窓を設定した後、このあご検出窓内のエッジの強度分布を求める。すなわち、あごの下底部を含む輪郭はその周囲に比べて濃淡が急激に変化してエッジの強度が高くなっていることが一般的である。そのため、そのあご検出窓内のエッジの強度分布を求めることでそのあご検出窓内に含まれている筈のあごの下底部を含む輪郭となる候補領域を容易且つ確実に選択することができる。

次に、このようにしてエッジの強度分布を求めたならば、この分布から閾値以上のエッジ強度を持つ画素を検出する。すなわち、一般にあごの下底部を含む輪郭は、エッジの強度が高いのが一般的であることから、ある閾値以上のエッジ強度を持つ画素を選択し、それ以外の画素を排除することで、あごの下底部を含む輪郭に相当する可能性の高い画素のみを選択することができる。

そして、最後に、このようにして検出した各画素の分布に最も合うように近似曲線を求め、その近似曲線の最も下底部を前記人物顔のあごの下底部と擬制してこれを検出することになる。
これによって、人物顔のあごの輪郭の検出が困難な顔画像であっても、その部分を的確、且つ高速に検出してロバスト（頑健）なあご下底部の検出を行うことができる。

〔発明２〕
発明２の人物顔のあご検出方法は、
人物顔が含まれる画像中から当該人物顔のあごの下底部を検出する方法であって、前記人物顔の両目、唇を含み、あごを含まない範囲の顔画像を検出して、検出した当該顔画像の下部に前記人物顔のあごが含まれる大きさのあご検出窓を設定した後、当該あご検出窓内の一次微分型のエッジの強度分布を求め、当該エッジ強度の分布から閾値を求め、当該閾値以上のエッジ強度を持つ画素を検出し、その後、当該画素の中から二次微分型のエッジの符号反転を利用して使用する画素の絞り込みを行い、しかる後、絞り込んだ画素の分布に最も合うように最小自乗法を用いて近似曲線を求め、当該近似曲線の最も下底部を前記人物顔のあごの下底部とするようにしたことを特徴とするものである。

すなわち、本発明は前記発明１の方法のうち、エッジの強度分布を算出方法（一次微分型）、画素選択方法（二次微分型）、近似曲線の算出方法（最小自乗法）をより具体的に限定したものであり、これによって発明１よりもさらに人物顔のあごの下底部の検出を的確、且つ高速に行うことができる。
〔発明３〕
発明３の人物顔のあご検出方法は、
発明１又は２に記載の顔画像中のあご検出方法において、前記あご検出窓としては、横長の矩形状であって、その幅が前記人物顔の顔幅よりも幅広でかつその高さが前記幅よりも狭いものを用いるようにしたことを特徴とするものである。

これによって、検出対象となる当該人物顔のあごの下底部をあご検出窓内に確実に捉えることができるため、あごの下底部の検出をより的確に行うことができる。
〔発明４〕
発明４の人物顔のあご検出方法は、
発明２又は３に記載のあご検出方法において、前記一次微分型のエッジの強度分布は、Ｓｏｂｅｌのエッジ検出オペレータを用いるようにしたことを特徴とするものである。

すなわち、画像中の急激な濃淡変化を検出する最も代表的な方法は濃淡に関する微分を求めることである。そして、デジタル画像の微分は差分で代用されることから前記あご検出窓内の原画像を一次微分することによって当該画像中の濃淡が急激に変化しているエッジ部分を効果的に検出することができる。
本発明はこの一次微分型のエッジ検出オペレータ（フィルタ）として、検出性能に優れている公知のＳｏｂｅｌのエッジ検出オペレータを用いるようにしたものであり、これによって、前記あご検出窓内のエッジ部分を確実に検出することができる。

〔発明５〕
発明５の人物顔のあご検出方法は、
発明２〜４のいずれかに記載のあご検出方法において、前記二次微分型のエッジは、ラプラスのエッジ検出オペレータを用いるようにしたことを特徴とするものである。
これによって、前記二次微分型のエッジを的確に検出することができる。

〔発明６〕
発明６の人物顔のあご検出方法は、
発明１〜５のいずれかに記載のあご検出方法において、前記近似曲線は、二次関数による最小自乗法を用いるようにしたことを特徴とするものである。
すなわち、前記人物顔のあごの輪郭として擬制することができる前記あご検出窓内の近似曲線を求める方法として、本発明は二次関数による最小自乗法を利用したものであり、これによって、前記あご検出窓内の人物顔のあごの輪郭を高速に求めることができる。

ここで本発明で採用する「最小自乗法（最小二乗法ともいう）」とは、一般的に理解されているように、複数のサンプリングの集合に対し、フィッティングしようとした関数からの誤差の自乗和を最小にするような係数をみつける方法であり、例えば、実験データに対し、それが二次式の振る舞いをするような現象であれば二次式を使えば良いし、指数関数的な振る舞いが予想されていれば対数を取って計算することができる。尚、この最小自乗法による近似曲線の算出は、既に多くの関数電卓や表計算ソフトに組み込まれて利用されているようなソフトウェア（プログラム）をそのまま利用することで容易に実現することができる。

〔発明７〕
発明７の人物顔のあご検出システムは、
人物顔が含まれる画像中から当該人物顔のあごの下底部を検出するシステムであって、前記人物顔が含まれる画像を読み取る画像読取手段と、当該画像読取手段で読み取った画像中から前記人物顔の両目、唇を含み、あごを含まない範囲を検出して、検出した範囲に顔検出枠を設定する顔検出手段と、当該検出枠の下部に前記人物顔のあごが含まれる大きさのあご検出窓を設定するあご検出窓設定手段と、当該あご検出窓内のエッジの強度分布を求めるエッジ算出手段と、当該エッジ算出手段で得られたエッジ強度の分布から閾値以上のエッジ強度を持つ画素を選択する画素選択手段と、当該画素選択手段で選択した各画素の分布に最も合うように近似曲線を求める曲線近似手段と、当該曲線近似手段で得られた近似曲線の最も下底部を前記人物顔のあごの下底部として検出するあご検出手段と、を備えたことを特徴とするものである。

これによって、発明１と同様に人物顔のあごの輪郭の検出が困難な顔画像であっても、その部分を的確、且つ高速に検出してロバスト（頑健）なあご下底部の検出を行うことができる。
また、これら各手段を専用のハードウェアやコンピュータシステムを利用して実現することでこれらの作用・効果を自動的に発揮することが可能となる。

〔発明８〕
発明８の人物顔のあご検出システムは、
発明７に記載の人物顔のあご検出システムにおいて、前記画素選択手段は、前記エッジ算出手段で算出された一次微分型のエッジ強度の分布から閾値を求め、当該閾値以上のエッジ強度を持つ画素を検出し、当該画素の中から二次微分型のエッジの符号反転を利用して使用する画素を選択するようになっていることを特徴とするものである。

これによって、発明２、７と同様にさらに人物顔のあごの下底部の検出を的確、且つ高速に行うことができると共にこれら各手段を専用のハードウェアやコンピュータシステムを利用して実現することでこれらの作用・効果を自動的に発揮することが可能となる。
〔発明９〕
発明９の人物顔のあご検出プログラムは、
人物顔が含まれる画像中から当該人物顔のあごの下底部を検出するプログラムであって、前記人物顔が含まれる画像を読み取る画像読取手段と、当該画像読取手段で読み取った画像中から前記人物顔の両目、唇を含み、あごを含まない範囲を検出して、検出した範囲に顔検出枠を設定する顔検出手段と、当該検出枠の下部に前記人物顔のあごが含まれる大きさのあご検出窓を設定するあご検出窓設定手段と、当該あご検出窓内のエッジの強度分布を求めるエッジ算出手段と、当該エッジ算出手段で得られたエッジ強度の分布から閾値以上のエッジ強度を持つ画素を選択する画素選択手段と、当該画素選択手段で選択した各画素の分布に最も合うように近似曲線を求める曲線近似手段と、当該曲線近似手段で得られた近似曲線の最も下底部を前記人物顔のあごの下底部として検出するあご検出手段と、をコンピュータに実現させることを特徴とするものである。

これによって、発明１及び７と同様な効果を得られると共に、パソコン（ＰＣ）等の汎用のコンピュータ（ハードウェア）を用いてソフトウェア上でその機能を実現することが可能となるため、専用の装置を作成して実現する場合に比べて経済的且つ容易に実現することができる。また、多くの場合プログラムの書き換えだけでその機能の変更、改良等のバージョンアップを容易に達成することができる。

〔発明１０〕
発明１０の人物顔のあご検出プログラムは、
請求項９に記載の人物顔のあご検出プログラムにおいて、前記画素選択手段は、前記エッジ算出手段で算出された一次微分型のエッジ強度の分布から閾値を求め、当該閾値以上のエッジ強度を持つ画素を検出し、当該画素の中から二次微分型のエッジの符号反転を利用して使用する画素を選択するようになっていることを特徴とするものである。

これによって、発明２及び８と同様な効果が得られると共に、発明９と同様にソフトウェア上でその機能を実現することが可能となるため、経済的かつ容易に実現することができ、また、容易にその機能の変更、改良等のバージョンアップを達成することができる。

以下、本発明を実施するための最良の形態を添付図面を参照しながら詳述する。
図１は、本発明に係る人物顔のあご検出システム１００の実施の一形態を示したものである。
図示するように、このあご検出システム１００は、人物の顔が含まれる顔画像Ｇを読み取る画像読取手段１０と、この画像読取手段１０で読み取った顔画像Ｇ中から人物顔を検出して当該人物顔の顔検出枠Ｆを設定する顔検出手段１２と、この顔検出枠Ｆの下部に前記人物顔のあごが含まれる大きさのあご検出窓Ｗを設定するあご検出窓設定手段１４と、このあご検出窓Ｗ内のエッジの強度分布を求めるエッジ算出手段１６と、このエッジ算出手段１６で得られたエッジ強度の分布から閾値以上のエッジ強度を持つ画素を選択する画素選択手段１８と、この画素選択手段１８で選択した各画素の分布に最も合うように近似曲線を求める曲線近似手段２０と、この曲線近似手段２０で得られた近似曲線の最も下底部を前記人物顔のあごの下底部として検出するあご検出手段２２とから主に構成されている。

先ず、画像読取手段１０は、パスポートや運転免許証等の公的な身分証明書、あるいは、社員証や学生証、会員証等の私文書的な身分証明書等に添付される視覚的人物特定用の証明用顔写真、すなわち、その人物の正面向きの顔が唯一大きく含まれる無背景の顔画像Ｇを、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ：電荷結合素子）や、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の撮像センサを利用して、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のそれぞれの画素データからなるディジタル画像データとして取得する機能を提供するようになっている。

具体的には、ディジタルスチルカメラやディジタルビデオカメラ等のＣＣＤ、ＣＭＯＳカメラやビジコンカメラ、イメージスキャナ、ドラムスキャナ等であり、前記撮像センサ光学的に読み込んだ顔画像ＧをＡ／Ｄ変換してそのディジタル画像データを顔検出手段２０へ順次送る機能を提供するようになっている。
尚、この画像読取手段１０にはデータ保存機能が備えられており、読み込んだ顔画像データをハードディスクドライブ装置（ＨＤＤ）等の記憶装置やＤＶＤ−ＲＯＭ等の記憶媒体等に適宜保存可能となっている。また、ネットワークや記憶媒体等を介して顔画像がディジタル画像データとして供給される場合には、この画像読取手段１０は不要となるか、あるいは通信手段やインターフェース（Ｉ／Ｆ）等として機能することになる。

次に、顔検出手段１２は、この画像読取手段１０で読み取った顔画像Ｇ中から人物顔を検出して当該部分に顔検出枠Ｆを設定するようになっている。
この顔検出枠Ｆは、後述するように、人物顔の鼻を中心に両目と唇部分を含み、当該人物顔のあごの部分は含まない大きさ（領域）となっている。
尚、このような顔検出手段１２による人物顔の検出アルゴリズムは、特に限定するものではないが、例えば、以下の文献等に示すような従来の手法をそのまま利用することができる。

Ｈ．Ａ．Ｒｏｗｌｅｙ、Ｓ．Ｂａｌｕｊａ，ａｎｄ Ｔ．Ｋａｎａｄｅ、
“Ｎｅｕｒａｌ ｎｅｔｗｏｒｋ−ｂａｓｅｄ ｆａｃｅ ｄｅｔｅｃｔｉｏｎ”
ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ
ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ、
ｖｏｌ．２０、ｎｏ．１、ｐｐ．２３−３８、１９９８
この技術によれば、人物顔の両目、唇を含み、あごを含まない領域の顔画像を作成し、この画像を用いてニューラルネットを訓練し、訓練したニューラルネットを用いて人物顔を検出する。開示されているこの技術によれば両目から唇までの領域を顔画像領域として検出するようになっている。

また、この顔検出枠Ｆの大きさは不変的なものではなく、対象とする顔画像の大きさによって適宜増減するようになっている。
あご検出窓設定手段１４は、この顔検出手段２０で設定された顔検出枠Ｆの下部に前記人物顔のあごが含まれる大きさのあご検出窓Ｗを設定する機能を提供するようになっている。すなわち、人物顔のあごの下底部を含む輪郭を以後の手段で正確に検出するための対象領域をこのあご検出窓Ｗを用いて前記顔画像Ｇ中から選択するようになっている。

エッジ算出手段１６は、このあご検出窓Ｗ内の画像のエッジの強度分布を求める機能を提供するものであり、例えば、後述するように、Ｓｏｂｅｌのエッジ検出オペレータ等を用いて一次微分型のエッジの強度分布を算出するようになっている。
画素選択手段１８は、このエッジ算出手段１６で得られたエッジ強度の分布から閾値以上のエッジ強度を持つ画素を選択する機能を提供するものであり、後述するように、二次微分フィルタ（ラプラシアン（Ｌａｐｌａｃｉａｎ）フィルタ）等を用いて前記Ｓｏｂｅｌのエッジ検出オペレータ等で得られた候補画素を、エッジの符号反転を検出することによって絞り込むようになっている。

曲線近似手段２０は、この画素選択手段１８で選択した各画素の分布に最も合うように近似曲線を求める機能を提供するものであり、具体的には後述するように、以下の式に示すような二次関数による最小自乗法を用いて当該人物顔のあごの輪郭部分を曲線的に求めるようになっている。

ここで、ｙ：垂直方向の座標
ｘ：水平方向の座標
ｘ_０：あご検出窓の水平方向の中心
この式を用いて最小自乗法により「ａ」と「ｂ」を求めると、「ｂ」があご下底部を表すことになる（但し、ａ＜０である）。

あご検出手段２２は、この曲線近似手段２０で得られた近似曲線の最も下底部を前記人物顔のあごの下底部として検出する機能を提供するようになっており、図９に示すように検出したあごの下底部に目立ちやすいマーカＭ等を付与して明示的に示すようにしても良い。
尚、このあご検出システム１００を構成する各手段１０〜２２等は、実際には、ＣＰＵやＲＡＭ等からなるハードウェアと、図３に示すような専用のコンピュータプログラム（ソフトウェア）とからなるパソコン（ＰＣ）等のコンピュータシステムによって実現されるようになっている。

すなわち、このあご検出システム１００を実現するためのハードウェアは、例えば図２に示すように、各種制御や演算処理を担う中央演算処理装置であるＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）４０と、主記憶装置（Ｍａｉｎ Ｓｔｏｒａｇｅ）に用いられるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）４１と、読み出し専用の記憶装置であるＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）４２と、ハードディスクドライブ装置（ＨＤＤ）や半導体メモリ等の補助記憶装置（Ｓｅｃｏｎｄａｒｙ Ｓｔｏｒａｇｅ）４３、及びモニタ（ＬＣＤ（液晶ディスプレイ）やＣＲＴ（陰極線管））等からなる出力装置４４、イメージスキャナやキーボード、マウス、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の撮像センサ等からなる入力装置４５と、これらの入出力インターフェース（Ｉ／Ｆ）４６等との間を、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ）バスやＩＳＡ（Ｉｎｄｕｓｔｒｉａｌ Ｓｔａｎｄａｒｄ Ａｒｃｈｉｔｅｃｔｕｒｅ；アイサ）バス等からなるプロセッサバス、メモリバス、システムバス、入出力バス等の各種内外バス４７によってバス接続したものである。

そして、例えば、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）等の記憶媒体、あるいは通信ネットワーク（ＬＡＮ、ＷＡＮ、インターネット等）Ｎを介して供給される各種制御用プログラムやデータを補助記憶装置４３等にインストールすると共にそのプログラムやデータを必要に応じて主記憶装置９４にロードし、その主記憶装置９１にロードされたプログラムに従ってＣＰＵ４０が各種リソースを駆使して所定の制御及び演算処理を行い、その処理結果（処理データ）をバス４７を介して出力装置４４に出力して表示すると共に、そのデータを必要に応じて補助記憶装置４３によって形成されるデータベースに適宜記憶、保存（更新）処理するようにしたものである。

次に、このような構成をしたあご検出システム１００を用いたあご検出方法の一例を図３〜図１３を用いて説明する。
図３は、実際に検出対象となる顔画像Ｇに対するあご検出方法の一例を示すフローチャートである。
先ず、ステップＳ１０１に示すように、前述した顔検出手段１２によって予め画像読取手段１０で読み取ったあご検出対象となる顔画像Ｇからその顔画像Ｇに含まれる顔の検出を行ってから検出した人物顔を特定する顔検出枠Ｆを設定する。

例えば、本発明のあご検出対象となる画像は、図６に示すように、一人の人物顔が写っているものに限定されることから、先ず、顔検出手段１２によってその人物顔の位置を特定し、その後、図７に示すようにその人物顔上に矩形状の顔検出枠Ｆを設定する。
尚、ここで図示した顔検出枠Ｆの場合は、人物顔の鼻を中心に両目と唇部分を含み、当該人物顔のあごの部分は含まない大きさ（領域）としたものであるが、この顔検出枠Ｆは、当該人物顔のあごの部分を含まないものであれば、必ずしも例示するような大きさ、形状にこだわる必要はない。また、図６〜図９（ａ）までの各顔画像Ｇは、写っている人物顔の大きさ及び表示枠Ｙの左右方向の位置は規格内であるが、そのあごの位置が低すぎて規格の位置に達していない状態を示したものである。

次に、このようにして顔検出枠Ｆを設定したならば、ステップＳ１０３に移行して図８に示すようにあご検出窓設定手段１４によってその顔検出枠Ｆの下部に横長矩形状のあご検出窓Ｗを設定してその人物顔のあごの位置を特定する。
ここでこのあご検出窓Ｗの大きさや形状としては厳密なものでなく、当該人物顔の下唇より下方で、必ずあごの下底部が含まれる大きさ・形状であれば、特に限定されるものではないが、あまりに大きすぎるとあごの影や首の皺、シャツの襟等といったあごの輪郭と紛らわしい線があご検出窓Ｗ内に多く出現して後のエッジの検出等に多くの時間がかかってしまい、反対に小さすぎると個人差によって検出対象となるあごの下底部が含まれなくなってしまうことがある。

従って、例えば、同図に示すように横長の矩形状であってその幅が前記人物顔の顔幅よりも幅広で、且つその高さが前記幅よりも狭いものを用いれば、シャツの襟等といった紛らわしい部分を排除しつつ、あごの下底部を含めたあごの輪郭を確実に捕捉することができるものと考えられる。尚、図８の例では顔検出枠Ｆの下辺部に密着させてあご検出窓Ｗを設定したものであるが、このあご検出窓Ｗは必ずしも顔検出枠Ｆに密着させる必要はなく、要は顔検出枠Ｆに対してあご検出窓Ｗが所定の位置関係を保っていれば良い。

次に、このようにして対象画像に対してあご検出窓Ｗを設定したならば、次のステップＳ１０５に移行して当該あご検出窓Ｗ内の各画素の輝度（Ｙ）を算出し、その輝度値を基に「Ｓｏｂｅｌのエッジ検出オペレータ」等に代表される一次微分型（差分型）のエッジ検出オペレータを用いて当該あご検出窓Ｗ内の一次微分型のエッジ強度分布を求める。
尚、図１２（ａ）、（ｂ）は、この「Ｓｏｂｅｌのエッジ検出オペレータ」を示したものであり、同図（ａ）に示すオペレータ（フィルタ）は、注目画素を囲む８つの画素値のうち、左列及び右列に位置するそれぞれ３つの画素値を調整することで横方向のエッジを強調し、同図（ｂ）に示すオペレータは、注目画素を囲む８つの画素値のうち、上行及び下列に位置するそれぞれ３つの画素値を調整して縦方向のエッジを強調することで縦横のエッジを検出するものである。

そして、このようなオペレータで生成した結果を二乗和した後、平方根をとることでエッジの強度を求めることができるようになっている。尚、前述したように、この「Ｓｏｂｅｌのオペレータ」の代えて「Ｒｏｂｅｒｔｓ」や「Ｐｒｅｗｉｔｔ」等の他の一次微分型のエッジ検出オペレータ等を適用することも可能である。
図４は、その顔画像Ｇの輝度（縦軸）と画素位置（横軸）との関係を示したものであり、あごの輪郭部分等といった画像中のエッジ部分は輝度が大きく変化するため、この輝度が大きく変化する部分を「Ｓｏｂｅｌのエッジ検出オペレータ」のような一次微分型（差分型）のエッジ検出オペレータを用いて検出することで、図５（ａ）に示すような放物線状の近似曲線として算出することができる。

次に、このようにしてあご検出窓Ｗのエッジ強度の分布を求めたならば、次のステップＳ１０７に移行してそのエッジ強度の分布から閾値を求める。すなわち、前述したようにエッジの強度は撮影条件（照明条件）等により大きく左右されるために、他の領域を含めたエッジ強度からあごの輪郭に相当するエッジを決定することは難しいからである。
ここで、画素を決定する閾値としては、特に限定されるものではないが、例えば、あご検出窓Ｗ内で検出された最大のエッジ強度の１／１０を閾値と設定し、この閾値よりも強いエッジを持つ画素をあご下底部を求めるための候補画素として選択する。

次に、このようにして画素値を取捨選択するための閾値が決定したならばステップＳ１１１に移行して図１０に示すようにあご検出窓Ｗの上辺を構成する全画素を基点として垂直方向に走査しながら閾値を超えたエッジ強度を持つ画素のみを選択し、閾値に満たない画素を排除する。
図１０は、このようにして選択された（閾値超えた）画素分布を分かりやすく表示したものであり、あご検出窓Ｗの左上からあご検出窓Ｗ内をＸ方向にスキャンして順次Ｙ方向に移動させるといったノンインターレス状に各行の画素を走査して閾値以上のエッジ強度を持つ画素を識別して表示したものである。

このようにあご検出窓Ｗの左上から探索するのは、Ｙ方向に最も早く現れた閾値以上の候補画素をあご下底部の有力候補とするためであり、これによって効率的にあごの輪郭に相当する画素を検出することが可能となる。すなわち、あごの輪郭と紛らわしいエッジは、実際のあごの輪郭の上方よりも、その下方の首の皺やシャツの襟の方がエッジが強く現れることから、それらのエッジの優先度を低くするためである。

次に、このようにして閾値を超えたエッジ強度を持つ画素を選択したならば、ステップＳ１１３に移行して、選択された各画素のうち各画素列（Ｙ方向）毎に最大のエッジ強度を持つ画素を絞り込むために、各列毎に二次微分型エッジの符号反転を検出する。
すなわち、候補画素を絞り込む場合、どの程度シャープな輝度変化を示すかを考慮する必要があるが、図４に示すように穏やかな輝度変化を示す場合、一次微分型のＳｏｂｅｌのエッジ強度は、図５（ａ）に示すようにやや緩やか変化し、閾値以上になる幅が広く（候補画素が多く）なり、あご下底部を決定する場合の誤差になるからである。

そのため、図１３に示すような二次微分型のエッジ検出フィルタ（ラプラシアンフィルタ）を用いてエッジの符号反転を検出することにより、図１０に示すように各列毎に複数ある候補画素のうち、一つを決定することになる（図１１）。
例えば、図１０に示すように閾値以上エッジ強度を有する画素を探索した結果、「ａ」〜「ｇ」までの各行毎に複数の画素が選択されたとすると、二次微分型のエッジの符号反転を検出した結果、図１１では、「ａ」、「ｂ」、「ｄ」、「ｆ」、「ｇ」列では、それぞれ最も上方の画素があごの輪郭を構成する候補画素として選択され、「ｃ」、「ｅ」列では最も下方の画素が同じく候補画素として選択されたことを示している。

その後、このようにして閾値を超えた多数の画素のうち、最終的に選択した候補画素を絞ったならばステップＳ１１５に移行して探索した画素の分布に前述したような近似曲線を図１１に当てはめてあごの下底部を求めることになる。
そして、このようにしてあご下底部が検出されたならば、図９（ａ）、（ｂ）に示すように、そのあご下底部にマーカＭを施し、このマーカＭの位置が規定のあご下底部位置と同じ高さとなるように、人物顔全体を移動させる。

図９（ａ）は、人物顔のあご下底部がかなり低い位置にあるため、図９（ｂ）に示すようにそのまま人物顔を垂直上方に移動させることでそのあご下底部を規定の位置に一致させることができる。尚、図９（ａ）等では人物の首から下側の画像が切れているが、実際にはその隠れた部分の画像もそのまま存在しているものとする。
このように、本発明は公知の人物顔検出方法を用いてあご検出窓を設定した後、そのあご検出窓内のエッジの強度分布に基づいて人物顔の下底部を検出するようにしたことから、あごの輪郭の検出が困難な顔画像であっても、その部分を的確、且つ高速に検出してロバスト（頑健）なあご下底部の検出を行うことが可能となる。

本発明に係るあご検出システムの実施の一形態を示すブロック図である。 あご検出システムを構成するハードウェアを示す構成図である。 本発明に係るあご検出方法の実施の一形態を示すフローチャート図である。 顔画像中の輝度と画素位置との関係を示すグラフ図である。 顔画像中のエッジの強度と画素位置との関係を示すグラフ図である。 あご検出対象となる顔画像の一例を示す図である。 顔画像に顔検出枠を設定した状態を示す図である。 顔検出枠の下部にあご検出窓を設定した状態を示す図である。 あごの下底部を検出してその位置を修正する状態を示す図である。 閾値以上のエッジ強度を持つ画素のみを表示したあご検出窓を示す図である。 符号反転の結果、選択された画素のみを表示したあご検出窓を示す図である。 Ｓｏｂｅｌのエッジ検出フィルタを示す図である。 ラプラシアンフィルタを示す図である。

符号の説明

１０…画像読取手段、１２…顔検出手段、１４…あご検出窓設定手段、１６…エッジ算出手段、１８…画素選択手段、２０…曲線近似手段、２２…あご下底部検出手段、１００…あご検出システム、４０…ＣＰＵ、４１…ＲＡＭ、４２…ＲＯＭ、４３…補助記憶装置、４４…出力装置、４５…入力装置、４６…入出力インターフェース（Ｉ／Ｆ）、４７…バス、Ｆ…顔検出枠、Ｇ…顔画像、Ｙ…表示枠、Ｗ…あご検出窓。

Claims (10)

1. 人物顔が含まれる画像中から当該人物顔のあごの下底部を検出する方法であって、
   前記人物顔の両目、唇を含み、あごを含まない範囲の顔画像を検出して、検出した当該顔画像の下部に前記人物顔のあごが含まれる大きさのあご検出窓を設定した後、
   当該あご検出窓内のエッジの強度分布を求め、当該エッジ強度の分布から閾値以上のエッジ強度を持つ画素を検出し、
   その後、検出した各画素の分布に最も合うように近似曲線を求め、当該近似曲線の最も下底部を前記人物顔のあごの下底部とするようにしたことを特徴とするあご検出方法。
2. 人物顔が含まれる画像中から当該人物顔のあごの下底部を検出する方法であって、
   前記人物顔の両目、唇を含み、あごを含まない範囲の顔画像を検出して、検出した当該顔画像の下部に前記人物顔のあごが含まれる大きさのあご検出窓を設定した後、
   当該あご検出窓内の一次微分型のエッジの強度分布を求め、当該エッジ強度の分布から閾値を求め、当該閾値以上のエッジ強度を持つ画素を検出し、
   その後、当該画素の中から二次微分型のエッジの符号反転を利用して使用する画素の絞り込みを行い、
   しかる後、絞り込んだ画素の分布に最も合うように最小自乗法を用いて近似曲線を求め、当該近似曲線の最も下底部を前記人物顔のあごの下底部とするようにしたことを特徴とするあご検出方法。
3. 請求項１又は２に記載のあご検出方法において、
   前記あご検出窓としては、横長の矩形状であって、その幅が前記人物顔の顔幅よりも幅広でかつその高さが前記幅よりも狭いものを用いるようにしたことを特徴とするあご検出方法。
4. 請求項２又は３に記載のあご検出方法において、
   前記一次微分型のエッジの強度分布は、Ｓｏｂｅｌのエッジ検出オペレータを用いるようにしたことを特徴とするあご検出方法。
5. 請求項２〜４のいずれかに記載のあご検出方法において、
   前記二次微分型のエッジは、ラプラスのエッジ検出オペレータを用いるようにしたことを特徴とするあご検出方法。
6. 請求項１〜５のいずれかに記載のあご検出方法において、
   前記近似曲線は、二次関数による最小自乗法を用いるようにしたことを特徴とするあご検出方法。
7. 人物顔が含まれる画像中から当該人物顔のあごの下底部を検出するシステムであって、
   前記人物顔が含まれる画像を読み取る画像読取手段と、
   当該画像読取手段で読み取った画像中から前記人物顔の両目、唇を含み、あごを含まない範囲を検出して、検出した範囲に顔検出枠を設定する顔検出手段と、
   当該検出枠の下部に前記人物顔のあごが含まれる大きさのあご検出窓を設定するあご検出窓設定手段と、
   当該あご検出窓内のエッジの強度分布を求めるエッジ算出手段と、
   当該エッジ算出手段で得られたエッジ強度の分布から閾値以上のエッジ強度を持つ画素を選択する画素選択手段と、
   当該画素選択手段で選択した各画素の分布に最も合うように近似曲線を求める曲線近似手段と、
   当該曲線近似手段で得られた近似曲線の最も下底部を前記人物顔のあごの下底部として検出するあご検出手段と、を備えたことを特徴とするあご検出システム。
8. 請求項７に記載のあご検出システムにおいて、
   前記画素選択手段は、前記エッジ算出手段で算出された一次微分型のエッジ強度の分布から閾値を求め、当該閾値以上のエッジ強度を持つ画素を検出し、当該画素の中から二次微分型のエッジの符号反転を利用して使用する画素を選択するようになっていることを特徴とするあご検出システム。
9. 人物顔が含まれる画像中から当該人物顔のあごの下底部を検出するプログラムであって、
   前記人物顔が含まれる画像を読み取る画像読取手段と、
   当該画像読取手段で読み取った画像中から前記人物顔の両目、唇を含み、あごを含まない範囲を検出して、検出した範囲に顔検出枠を設定する顔検出手段と、
   当該検出枠の下部に前記人物顔のあごが含まれる大きさのあご検出窓を設定するあご検出窓設定手段と、
   当該あご検出窓内のエッジの強度分布を求めるエッジ算出手段と、
   当該エッジ算出手段で得られたエッジ強度の分布から閾値以上のエッジ強度を持つ画素を選択する画素選択手段と、
   当該画素選択手段で選択した各画素の分布に最も合うように近似曲線を求める曲線近似手段と、
   当該曲線近似手段で得られた近似曲線の最も下底部を前記人物顔のあごの下底部として検出するあご検出手段と、をコンピュータに実現させることを特徴とするあご検出プログラム。
10. 請求項９に記載の人物顔のあご検出プログラムにおいて、
    前記画素選択手段は、前記エッジ算出手段で算出された一次微分型のエッジ強度の分布から閾値を求め、当該閾値以上のエッジ強度を持つ画素を検出し、当該画素の中から二次微分型のエッジの符号反転を利用して使用する画素を選択するようになっていることを特徴とするあご検出プログラム。

Images