JP2004318205A

JP2004318205A - 画像処理装置、画像処理方法及び撮影装置

Info

Publication number: JP2004318205A
Application number: JP2003107048A
Authority: JP
Inventors: Toshiaki Nakanishi; 俊明中西; Kyoko Sugizaki; 京子杉崎
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2003-04-10
Filing date: 2003-04-10
Publication date: 2004-11-11

Abstract

【課題】撮影された人物画像を人物の目を補正し、目がぱっちりとして見える写真を自動的に仕上げる。
【解決手段】被写体検出部３００により検出された人物の顔の特徴点の情報に基づいて、目領域検出部４１１により目領域Ａ１，Ａ２を検出し、瞳検出手部４１２により瞳を検出し、開き度合い判定部４１３により目の開き度合を判定し、開き度合補正部４１４により画像を伸張及び圧縮することで目の開き度合を補正し、瞳補正部４１５により瞳の形状を略円形状に補正し、キャッチアイ補正部４１６によりキャッチアイを付加し、白目補正部４１７により白目の白色度を補正する。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明は、証明写真等に映し出された人物の瞳の画像補正を行う画像処理装置及び画像処理方法並びにこのような画像処理装置を備える撮影装置に関する。
【０００２】
【従来の技術】
従来、写真スタジオ等では、肖像写真や証明写真のように被写体として人物を撮影する場合、被写体を照明するための照明機材を配置する位置や、撮影装置であるカメラ機材により被写体を撮影する方向等を調整することで、被写体の見栄えが良くなるように撮影を行っている。このような調整は、それぞれの写真スタジオにおいて培われた技術やノウハウに基づき行われる。このため、このような調整には、それぞれの写真スタジオ毎の特徴がある。そして、上述したような写真スタジオにおいて撮影された写真は、引き伸ばし機等により印画紙に印刷されて肖像写真や証明写真となる。
【０００３】
上述したような写真スタジオにおいて被写体となる人物の多くは、見栄え良く写真に写りたいと望んでおり、他人が気づかないほどの僅かな違いも気にするものである。そこで、上述した写真スタジオでは、ネガフィルムやプリント紙に部分的な処理、いわゆるスポッティング処理を行うことで、目のクマや、眉毛、ほくろ、しわ、傷跡等を手直しすることで、それらを目立たなくし、見栄えのよい写真を提供している。
【０００４】
ところで、上述したようなノウハウに頼らずに写真の見栄えを良くするために、撮影した写真を印画紙に直接印刷せずに、コンピュータ等により画像処理を行うことで、特に目をぱっちりと開かせて写真の見栄えをよくしようとしたものがある（例えば特許文献１参照。）。
【０００５】
【特許文献１】
特開２０００−２３１６３９号公報
【０００６】
【発明が解決しようとする課題】
しかしながら、特許文献１に記載の発明では、被写体となる人物の顔の画像に対して、任意の点を指定しなければならず、誰でも簡単に目がぱっちりと見えるような画像を得るといった要望を満たすものではなかった。
【０００７】
本発明は、このような従来の実情に鑑みて提案されたものであり、その目的は、撮影された人物画像を補正し、被写体となる人物の目がぱっちりとした出来栄えのよい写真に仕上げることができる画像処理装置及び画像処理方法を提供することにある。
【０００８】
また、本発明の他の目的は、このような画像処理装置を備える撮影装置を提供することにある。
【０００９】
【課題を解決するための手段】
上述した目的を達成するために、本発明に係る画像処理装置は、人物の画像から顔領域を抽出する顔領域抽出手段と、顔領域抽出手段により抽出された顔領域から人物の目領域を検出する目領域検出手段と、目領域検出手段により検出された目領域から目の開き度合を検出する開き度合検出手段と、開き度合検出手段により検出された目の開き度合に基づいて、目の開き度合が所定の値となるように画像を部分的に伸張及び圧縮する画像補正手段とを備える。
【００１０】
また、上述した目的を達成するために、本発明に係る画像処理方法は、人物の画像から顔領域を抽出する顔領域抽出ステップと、抽出された顔領域から人物の目領域を検出する目領域検出ステップと、検出された目領域から目の開き度合を検出する開き度合検出ステップと、検出された目の開き度合に基づいて、目の開き度合が所定の値となるように画像を部分的に伸張及び圧縮する画像補正ステップとを有する。
【００１１】
更に、上述した目的を達成するために、本発明に係る撮影装置は、人物を撮影する撮影手段と、撮影手段により撮影されて出力された人物の画像から顔領域を抽出する顔領域抽出手段と、顔領域抽出手段により抽出された顔領域から人物の目領域を検出する目領域検出手段と、目領域検出手段により検出された目領域から目の開き度合を検出する開き度合検出手段と、開き度合検出手段により検出された目の開き度合に基づいて、目の開き度合が所定の値となるように画像を部分的に伸張及び圧縮する画像補正手段とを備える。
【００１２】
本発明においては、入力された人物画像に基づいて人物の目領域を検出し、目の開き度合が小さすぎる場合に、画像を伸張及び圧縮して目がぱっちりと開いたように画像補正を行うことで、自動的に人物の目をぱっちりさせて見栄えのよい写真を得ることができる。
【００１３】
【発明の実施の形態】
以下、本発明を適用した画像処理装置について、図面を参照しながら詳細に説明する。この画像処理装置は、撮影された人物画像から人物の目を検出して目の開き度合を検出し、検出された目の開き度合に基づいて人物画像における目の開き度合の補正を行うものである。
【００１４】
本発明を適用した画像処理装置は、図１に示すように、入力された人物画像データ４２０から被写体となる人物４２１の顔のうち、画像補正を行う目領域Ａ１及び補正領域Ａ２を特定し、図２に示すように、目がぱっちりと開いていない状態である場合に、図３に示すように、目が開く方向に画像を伸張させ、図４に示すように、瞳を略円形に補正することで目をぱっちりと開かせ、人物画像データ４２０の見栄えを良くするものである。
【００１５】
ここで、本画像処理装置は、例えば証明写真装置等の写真ブースにおいて、画像処理により人物の目の開き度合の補正を行う際に使用される。なお、以下では、下記に示す順に本発明について説明する。
Ａ．写真ブース
Ｂ．画像処理装置
（１）肌色領域抽出部
（１−１）色変換工程
（１−２）ヒストグラム生成工程
（１−３）初期クラスタ生成工程
（１−４）初期領域抽出工程
（１−５）クラスタ統合工程
（１−６）領域分割工程
（１−７）領域抽出工程
（２）被写体検出部
（２−１）人物の頭頂部を検出
（２−２）人物の口を検出
（２−３）人物の目を検出
（２−４）人物の顔の中心線を検出
（２−５）長方形領域の修正
（２−６）顔判定
（３）目補正部
（３−１）目領域を検出
（３−２）瞳を検出
（３−３）目の開き度合を判定
（３−４）目の開き度合を補正
（３−５）瞳の形状を補正
（３−６）キャッチアイを補正
（３−７）白目の白色度を補正
先ず、本発明を適用した画像処理装置が設けられる写真ブースについて説明する。
【００１６】
Ａ．写真ブース
図５乃至図７に示すように、撮影装置１は、証明写真等を撮影するために用いられる写真ブースを構成するものであり、本体部を構成する筐体１１を有する。
この筐体１１は、背面部１２に相対向して設けられる側壁１３，１４と、側壁１３，１４間を閉塞し天井を構成する天板１５とを有し、背面部１２と一対の側壁１３，１４と天板１５とで構成される空間部に撮影室１６が設けられている。
【００１７】
被写体となる人物が撮影室１６に入ったときに対向する背面部１２には、その内部に、被写体となる人物を撮影するための撮影部１７、撮影部１７が撮影した画像を印刷する第１のプリンタ１８及び第２のプリンタ１９、撮影部１７の出力である画像信号をアナログ信号からディジタル信号に変換する等の画像処理を行う画像処理回路、全体の動作を制御する制御回路等の様々な電気回路が組み込まれたメイン基板２１等が内蔵されている。撮影部１７は、ＣＣＤ（Ｃｈａｒｇｅ−ＣｏｕｐｌｅｄＤｅｖｉｃｅ）やＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌ−ＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒｄｅｖｉｃｅ）等の撮影素子を有する撮影装置１７ａと、撮影室１６の被写体となる人物と向き合う面に設けられるハーフミラー１７ｂと、ハーフミラー１７ｂを透過した光を反射する反射板１７ｃとを有する。ハーフミラー１７ｂは、被写体となる人物を撮影するとき、ハーフミラー１７ｂで被写体となる人物からの光を所定量反射させることで被写体となる人物が自分の顔を見ることができるようにすると共に、残りの光を透過し、撮影装置１７ａに被写体となる人物からの光を取り込むことができるようにする。ハーフミラー１７ｂを透過した光は、反射板１７ｃで反射されて撮影装置１７ａへと導かれ、これによって、撮影装置１７ａは、被写体となる人物を撮影する。撮影装置１７ａからの出力は、メイン基板２１の画像処理回路に出力され、ディジタル処理がなされ、これを第１のプリンタ１８若しくは第２のプリンタ１９に出力する。
【００１８】
第１のプリンタ１８は、通常使用するメインプリンタであり、第２のプリンタ１９は、第１のプリンタ１８が故障したとき等に使用される補助プリンタである。ディジタル信号に変換された画像データは、第１のプリンタ１８若しくは第２のプリンタ１９に出力され、第１のプリンタ１８若しくは第２のプリンタ１９で印画紙に印刷される。その他に、筐体１１を構成する背面部１２には、電源スイッチ２０ａ、金庫２０ｂ等が内蔵されている。
【００１９】
側壁１３，１４は、このような背面部１２と一体的に、互いに略平行となすように設けられている。背面部１２を構成する外壁と共に側壁１３，１４は、鉄板等比較的比重の重い材料で形成することで、筐体１１の下側を重くし、安定して設置面２に設置できるように形成されている。一方の側壁１３は、他方の側壁１４より短くなるように形成されている。筐体１１は、長い側となる他方の側壁１４が、壁に沿うように設置される。短い側となる一方の側壁１３には、設置面２と接続する転動防止部材２２が取り付けられる。転倒防止部材２２は、設置面２、一方の側壁１３のそれぞれをねじ止め等することで、筐体１１が一方の側壁１３側から押されたときにも倒れないようにしている。そして、他方の側壁１４は、一方の側壁１３より長く形成することで、一方の側壁１３側から力が加えられたときにも、筐体１１を十分支持できるように形成されている。
【００２０】
側壁１３，１４間に取り付けられる天板１５は、撮影室１６の天井を構成するものであり、長手方向の長さが長い側となる他方の側壁１４と略同じ若しくは他方の側壁１４よりやや長く形成されている。ここで、天板１５は、ポリプロピレン等の樹脂材料で形成されている。すなわち、天板１５は、側壁１３，１４に比べて比重の軽い材料で形成されている。筐体１１は、側壁１３，１４を含む周面を鉄板等の比較的比重の重い材料で形成し、上方に位置する天板１５を比重の比較的軽い材料で形成し、下側が重くなるように形成することで、安定して設置面２に設置できる。
【００２１】
撮影室１６は、以上のような背面部１２と一体的に形成される一対の側壁１３，１４と天板１５とで構成され、一方の側壁１３の端部と他方の側壁１４の端部との間が撮影室１６の入り口２３とされている。すなわち、被写体となる人物は、筐体１１の前面側からと一方の側壁１３側から撮影室１６に入ることができるようになっている。筐体１１は、底板が設けられておらず、従って、撮影室１６の床は、設置面２となっており、撮影室の床は、設置面２と面一になっている。
【００２２】
ここで撮影室１６の詳細を説明すると、撮影室１６には、長い側の他方の側壁１４に回動支持された椅子２４が設けられている。なお、椅子２４の隣には、物置台２５が設けられおり、被写体となる人物が鞄等を置くことができる。
【００２３】
椅子２４に座った人物と対向する第１の面１６ａは、撮影部１７を構成する撮影装置１７ａの光軸と垂直となるように形成されており、この面の被写体となる人物の顔と対向する位置には、撮影部１７を構成する略矩形のハーフミラー１７ｂが設けられている。このハーフミラー１７ｂは、椅子２４に座った人物がハーフミラー１７ｂで自分の顔を見ながら撮影を行うことができるようにしている。
【００２４】
このハーフミラー１７ｂが設けられた第１の面１６ａと左右に隣り合う第２及び第３の面１６ｂ，１６ｃは、互いに向き合う方向に、第１の面１６ａに対して傾斜するように設けられている。これら第２及び第３の面１６ｂ，１６ｃには、被写体となる人物を照らす照明器具２６，２７が設けられている。照明器具２６，２７は、発光体が内蔵されており、撮影時に点灯されることで、フラッシュ撮影を行うことができるようになっている。
【００２５】
なお、更に、この撮影室１６には、照明器具２６，２７の他に、被写体を下側から照射する照明器具２８が設けられている。この照明器具２８は、第１の面１６ａであってハーフミラー１７ｂの下側に撮影室１６側に突出して形成された突出部２８ａの上側の面２８ｂに設けられ、照射方向が斜め上方となるように設けられている。
【００２６】
また、撮影室１６には、被写体となる人物の正面側であって、一方の側壁１３側に操作部を構成する料金投入部２９が設けられている。料金投入部２９は、コインを投球するコイン投入部２９ａと紙幣を投入する紙幣投入部２９ｂとからなり、これら投入部２９ａ，２９ｂは、人が椅子２４座ったとき、手で料金を投入し易い高さに設けられている。なお、ここでは、操作部として、料金投入部２９が設けられているのみであるが、その他に、撮影を開始する撮影開始ボタン、撮影した画像を第１のプリンタ１８若しくは第２のプリンタ１９で印刷する前に確認する確認ボタン等を設けるようにしてもよく、この場合、これらのボタンも、被写体となる人物の正面側であって、一方の側壁１３側に設けられる。
【００２７】
また、撮影室１６には、被写体となる人物が撮影室１６に入ったかどうかを検出する被写体検出部３２が設けられている。被写体検出部３２は、天板１５の椅子２４の上に設けられ、被写体となる人物が撮影位置に居ることを検出することができるようになっている。被写体検出部３２は、被写体となる人物を検出すると、この検出信号を、メイン基板２１の制御回路に出力し、待機モードから写真撮影モードに切り換える。
【００２８】
天板１５の入り口２３となる領域には、図示しないカーテンレールやフックが設けられており、このカーテンレールやフックには、遮光部材となるカーテン３３が垂下されており、入り口２３を開閉できるようになっている。このカーテン３３は、遮光性のものであり、撮影時に外光が撮影室１６内に入らないようにしている。このカーテン３３は、図８に示すように、撮影室１６へ出入りするときには簡単に移動させて容易に入ることができる。カーテン３３をフックに固定したときには、正面入口のカーテン３３にスリット３３ａを設けることにより入りやすくなる。カーテン３３の撮影室１６側の面であって、被写体の背後となる領域は、写真の背景となる領域である。このため、スリット３３ａは、写真の背景となる領域を除く領域に設けられている。
【００２９】
なお、短い側の一方の側壁１３には、外面側に、第１のプリンタ１８若しくは第２のプリンタ１９で印刷された写真が排出される写真排出口３８が設けられている。
【００３０】
次に、背面部１２に内蔵されたメイン基板２１等に組み込まれた制御回路について図９を参照して説明すると、この制御回路７０は、装置の動作に必要なプログラムが記憶されるＲＯＭ（Ｒｅａｄ−ＯｎｌｙＭｅｍｏｒｙ）７１と、装置の動作に必要なアプリケーションプログラム及び後述する画像抽出処理を行うプログラム等が記憶されるハードディスクドライブ等からなるプログラム記憶部７２と、ＲＯＭ７１やプログラム記憶部７２に保存されているプログラムがロードされるＲＡＭ（Ｒａｎｄｏｍ−ＡｃｃｅｓｓＭｅｍｏｒｙ）７３と、料金投入部２９より投入された金額等を判断し課金処理を行う課金処理部７４と、音声を出力する音声出力部７５と、音声データを可聴音として出力するスピーカ７６と、外部記憶装置が装着されるドライブ７７と、全体の動作を制御するＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）７８とを備え、これらは、バス７９を介して接続されている。また、このバス７９には、撮影部１７を構成する撮影装置１７ａ、照明器具２６，２７，２８、撮影室１６に被写体となる人物が入ったかどうかを検出する被写体検出部３２、椅子２４が待機位置にあることを検出する検出部５９等が接続されている。
【００３１】
ドライブ７７には、記録可能な追記型若しくは書換え型の光ディスク、光磁気ディスク、磁気ディスク、ＩＣカード等のリムーバル記録媒体８０を装着することができる。これら、リムーバル記録媒体８０には、例えば撮影部１７で撮影した被写体となる人物の画像データが保存される。この画像データは、リムーバル記録媒体８０を用いるほか、ＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）等のネットワークに接続された送受信部を介して上記他の情報処理装置に送信するようにしてもよい。更に、このドライブ７７は、ＲＯＭ型の光ディスク等のリムーバル記録媒体８０を装着し、本装置１を動作させるのに必要なアプリケーションプログラムをプログラム記憶部７２にインストールするのに用いるようにしてもよい。勿論、プログラム記憶部７２等にインストールするプログラムは、上記送受信部を介してダウンロードしてインストールするようにしてもよい。
【００３２】
以上のように構成された撮影装置１では、被写体となる人物を撮影し、撮影して得られた人物画像データを後述する画像処理部１００により自動的に処理した後、印画紙に印刷することで写真を得ることができる。
【００３３】
Ｂ．画像処理
次に、上述の撮影装置１に設けられる画像処理装置について説明する。本発明を適用した画像処理装置は、上述したように撮影装置１に備えられるものであり、撮影されて出力された人物の画像データ（以下では、人物画像データという。
）から人物の目領域を検出して目の開き度合を判断し、目の開き度合が小さい場合には、目の開き度合がぱっちりと大きく見えるように画像補正を行い、補正後の人物画像データを出力するものである。具体的に、この画像処理装置は、上述の制御回路７０内のプログラム記憶部７２に記憶されたプログラムによって、入力された人物画像データから人物の顔の特徴点を検出して補正領域を検出し、検出された補正領域における人物画像データの補正を行う処理を実行するものである。なお、本発明は、プログラムの他ハードウェアで実現するようにしてもよい。
【００３４】
図１０に示すように、画像処理装置１００は、上述の撮影部１７により人物が撮影されて出力されたカラーの人物画像データ（以下では、カラー画像データという。）が入力され、デジタルデータとして出力する画像入力部１０１と、カラー画像データが入力されて肌色領域を検出する肌色領域抽出部２００と、検出された肌色領域から被写体の顔の特徴点を検出する被写体検出部３００と、検出された特徴点の情報に基づき目の開き度合の補正を行う目補正部４００とを備える。
【００３５】
肌色領域抽出部２００は、図１１に示すように、画像入力部１０１から入力されたカラー画像データの各画素値を色空間上の座標値に変換する色変換部である表色系変換部２１２と、この色空間上に変換された座標値の出現頻度を表すヒストグラムを生成するヒストグラム生成部２１３と、このヒストグラムにおける出現頻度の極大点及びその近傍の画素を初期クラスタとして抽出する初期クラスタ抽出部２１４と、初期クラスタ抽出部２１４にて抽出された初期クラスタ及び画像入力部１０１から供給される。カラー画像データから上記初期クラスタを含む閉領域を抽出する初期領域抽出部２１５と、この初期領域内に複数の初期クラスタが抽出されている場合に初期クラスタを１つのクラスタとして統合するクラスタ統合部２１６と、この初期領域内の画素の分布状態に応じてこの初期領域を複数の領域に分割する領域分割部２１７と、人間の肌の色に対応するクラスタに属する画素が含まれる領域を抽出する領域抽出部２１８とを備え、抽出した肌色領域のデータを被写体検出部３００に供給する。
【００３６】
被写体検出部３００は、図１２に示すように、画像入力部１０１及び肌色領域抽出部２００からカラー画像データ及び肌色領域のデータが入力され、人物の頭頂部の位置を検出する頭頂部検出部３１１と、カラー画像データ及び肌色領域が入力され、人物の口の位置を検出する口検出部３１２と、カラー画像データ、肌色領域、頭頂部及び口のデータが入力され、人物の目の位置を検出する目検出部３１３と、カラー画像データ、口及び目のデータが入力され、人物の顔の中心線を検出する中心線検出部３１４と、頭頂部、目、口及び顔の中心線のデータが入力され、顔領域を修正する領域修正部３１５と、カラー画像データ、肌色領域、目、口及び顔の中心線のデータと領域修正部３１５から修正データとが入力され、抽出された肌色領域Ｖが人物の顔であるか否かを判定する判定部３１６とを備え、顔と判定された肌色領域のデータと目及び顔の中心線のデータとを目補正部４００に供給する。
【００３７】
目補正部４００は、図１３に示すように、画像入力部１０１からカラー画像データが入力され、被写体検出部３００から肌色領域と目及び顔の中心線のデータとが入力され、補正対象となる目を含む領域（以下では、目領域という。）を検出する目領域検出部４１１と、目領域内から瞳を検出する瞳検出部４１２と、目の開き度合を判定する開き度合判定部４１３と、目の開き度合を補正する開き度合補正部４１４と、瞳の形状を補正する瞳補正部４１５と、瞳の内部に光の点、いわゆるキャッチアイを付加するキャッチアイ補正部４１６と、白目の白色度を補正する白目補正部４１７とを備え、各部において人物の目を補正してカラー画像データを出力する。
【００３８】
以下、本発明を適用した画像処理装置の各部位について詳細に説明する。
【００３９】
（１）肌色領域抽出部
肌色領域抽出部２００においては、先ず、入力されたカラー画像データの表色系を変換して色空間上の座標値に変換する（色変換工程）。次に、この色空間上の座標値の出現頻度を示すヒストグラムを生成する（ヒストグラム生成工程）。
そして、このヒストグラムにおける出現頻度の極大点及びその極大点近傍の画素を初期クラスタとして抽出し、この初期クラスタの色空間上の分布を示すクラスタマップＣを生成する（初期クラスタ抽出工程）。各初期クラスタには、これらを識別するクラスタ番号ｎが設定される。次いで、クラスタマップＣ上の各初期クラスタを再び、元のカラー画像データ上の座標値に変換した領域マップＲを形成する。領域マップＲ上の各画素は、座標値と共にクラスタ番号ｎを有する。この領域マップＲ上で同一の初期クラスタに属する画素、すなわち、同一のクラスタ番号ｎを有する画素の密度分布が所定の閾値以上である長方形の閉領域を初期領域として抽出する（初期領域抽出工程）。次に、任意の２つの初期クラスタを選択し、この２つの初期クラスタが、クラスタマップＣ上において近接し、且つ領域マップＲ上において近接する長方形領域に属するものである場合、この２つの初期クラスタを統合する（クラスタ統合工程）。初期クラスタを統合した統合クラスタに基づいて領域マップＲを更新し、この更新した領域マップに基づいて長方形領域も再設定する。次に、再設定した長方形領域内における同一のクラスタ番号ｎを有する画素の密度分布を算出し、この密度分布に基づいて必要に応じて長方形領域を分割する（領域分割工程）。このようにして、入力カラー画像データにおいて、同一の色を有する複数の長方形領域が設定される。これらの長方形領域から、特定の色、すなわち、本例では、肌色を有する長方形領域を抽出する。以下、各工程について説明する。
【００４０】
（１−１）色変換工程
色変換工程では、表色系変換部２１２により、画像入力部１０１で得られたカラー画像データを所望の領域を抽出するために適した表色系に変換する。過検出を極力軽減するためには、変換後の表色系は、その表色系による色空間において、抽出すべき領域の色ができるだけ狭い範囲に分布するようなものを選択することが好ましい。これは、抽出すべき領域の性質に依存するが、例えば人物の顔の領域を抽出対象とする場合に効果的な表色系の１つとして、下記式（１）に示すｒ−ｇ表色系が知られている。
【００４１】
【数１】

【００４２】
ここで、Ｒ、Ｇ、Ｂはｒ−ｇ表色系の各座標値を表している。従って、画像入力部１０１の出力画像がＲＧＢ表色系で表されている場合、表色系変換部２１２では各画素毎に上記式（１）の演算が行なわれ、座標値（ｒ，ｇ）の値が算出される。こうして表色系が変換された変換データは、ヒストグラム生成部２１３に供給される。
【００４３】
なお、以下の説明では、このｒ−ｇ表色系を領域抽出に用いる場合を例に説明を行う。また、特に入力カラー画像データ上の位置（座標）（ｘ，ｙ）における値を表す場合には、｛ｒ（ｘ，ｙ），ｇ（ｘ，ｙ）｝と表現する。
【００４４】
（１−２）ヒストグラム生成工程
ヒストグラム生成工程では、ヒストグラム生成部２１３により、表色系変換部２１２によって表色系が変換された変換データ｛ｒ（ｘ，ｙ），ｇ（ｘ，ｙ）｝の色空間上における出現頻度を示す２次元ヒストグラムを生成する。ヒストグラムの生成は、抽出すべき領域の色が十分に含まれる色の範囲に対してのみ行なわれる。このような色の範囲は、例えば、ｒ及びｇの各値に対する下限値及び上限値を定めることで下記式（２）のように表すことができる。
【００４５】
【数２】

【００４６】
ここで、ｒｍｉｎ及びｒｍａｘは、それぞれｒの下限値及び上限値、ｇｍｉｎ及びｇｍａｘは、それぞれｇの下限値及び上限値を示す。
【００４７】
画像上の位置（ｘ，ｙ）における｛ｒ（ｘ，ｙ），ｇ（ｘ，ｙ）｝が上記式（２）の条件を満足する場合、先ず、これらの値が下記式（３）によって量子化され、ヒストグラム上の座標（ｉｒ，ｉｇ）に変換される。
【００４８】
【数３】

【００４９】
ここで、ｒｓｔｅｐ及びｇｓｔｅｐは、それぞれｒ及びｇに対する量子化ステップであり、ｉｎｔは括弧内の数値の小数点以下を切り捨てる演算を示す。
【００５０】
次に、算出された座標値に対応するヒストグラムの値を下記式（４）によってインクリメントすることで、座標値の出現頻度を示す２次元ヒストグラムＨが生成される。
【００５１】
【数４】

【００５２】
図１４は、簡単のため、本来２次元であるヒストグラムを１次元としたヒストグラムと抽出された初期クラスタとの関係を模式的に示すものである。図１４に示すように、出現頻度は、カラー画像データ上の例えば肌色等の各色領域の大きさに応じて大きさが異なる複数個の極大値を有する。
【００５３】
そして、生成されたヒストグラムＨは、例えばノイズを除去し、誤検出を防止するために必要に応じてローパスフィルタによって平滑化された後、初期クラスタ抽出部２１４に供給される。
【００５４】
なお、上述した表色系変換部２１２では、ｒ−ｇ表色系に変換するようにしたが、これに限定されるものではなく、例えば、Ｌ^＊ａ^＊ｂ^＊表色系に変換するようにしてもよい。Ｌ^＊ａ^＊ｂ^＊表色系では、図１５に示すように、肌色領域が、ａ^＊ｂ^＊平面内においてθ≒５０度、ａ^＊が５〜２５、ｂ^＊が５〜２５の範囲に肌色領域が分布する。ここで、Ｌ^＊ａ^＊ｂ^＊表色系では、Ｌ^＊が明度を表し、ａ^＊ｂ^＊が色の方向を示し、＋ａ^＊は赤、−ａ^＊は緑、＋ｂ^＊は黄、−ｂ^＊は青の方向を示している。
【００５５】
（１−３）初期クラスタ生成工程
初期クラスタ生成工程では、初期クラスタ抽出部２１４により、ヒストグラム生成部２１３によって生成された各座標値の出現頻度を示す２次元ヒストグラムＨから、分布が集中している色の座標の集合を初期クラスタとして抽出する。具体的には、上述したｒ−ｇ表色系の座標値における出現頻度の極大値及びその近傍に存在する画素群を１つの初期クラスタとして抽出する。すなわち、各極大点を、構成要素が１つの初期クラスタと見なし、これらを始点として、隣接する座標を併合することで初期クラスタの成長を行う。初期クラスタの成長は、既に生成されているクラスタマップをＣとすると、このクラスタマップＣ上の各座標を走査し、新たに併合すべき座標を検出することにより行われる。
【００５６】
例えば、図１４においては、極大点１乃至３に対し、この極大点１乃至３を始点としてこの極大点１乃至３近傍の座標の画素群が併合され、それぞれ初期クラスタ２７１_１乃至２７１_３として抽出される。ここで、図１４に示すヒストグラムにおける出現頻度Ｈ（ｉｒ，ｉｇ）の極大値を始点とし、この始点に隣接する座標の画素から、出現頻度Ｈ（ｉｒ，ｉｇ）が閾値Ｔに至る座標（閾値Ｔ以下になる前の座標）の画素まで順次併合するが、その際、座標（ｉｒ，ｉｇ）がいずれのクラスタにも併合されておらず、その出現頻度が閾値Ｔよりも大きく、更にその隣接座標（ｉｒ＋ｄｒ，ｉｇ＋ｄｇ）のいずれかにおいて、既にいずれかの初期クラスタに併合されたものがあり、その隣接座標における出現頻度が、自らの出現頻度よりも大きい場合に、座標（ｉｒ，ｉｇ）を既に併合されている隣接座標と同一の初期クラスタに併合すべき座標として検出する。このように、出現頻度の閾値Ｔを設けることにより、出現頻度が小さい座標領域における座標を有する画素の抽出を防止する。初期クラスタは、２次元ヒストグラムＨの極大点の個数に応じて１つ以上の初期クラスタが抽出されるが、各初期クラスタには固有の番号が割り当てられ、識別される。こうして抽出された複数の初期クラスタは２次元配列であるクラスタマップＣ（ｉｒ，ｉｇ）上に多値画像として下記式（５）のように示される。
【００５７】
【数５】

【００５８】
すなわち、上記式（５）は、色の座標（ｉｒ，ｉｇ）が初期クラスタｎに含まれていることを示す。図１６（ａ）及び（ｂ）は、それぞれ入力画像及びクラスタマップＣを示す模式図である。図１６（ａ）に示すように、入力カラー画像データ２０１における例えば（ｘ１，ｙ１）、（ｘ２，ｙ２）等の各画素値は、表色系変換部２１２にて色座標（ｉｒ１，ｉｇ１）、（ｉｒ２，ｉｇ２）に変換され、その出現頻度から２次元ヒストグラムが生成されて、この２次元ヒストグラムに基づいて抽出された初期クラスタが図１６（ｂ）に示す横軸にｉｒ、縦軸にｉｇを取った２次元配列であるクラスタマップＣ上に初期クラスタ２７２，２７３として示される。抽出された初期クラスタは図１６（ｂ）に示すクラスタマップＣとして、初期領域抽出部２１５及びクラスタ統合部２１６に供給される。
【００５９】
（１−４）初期領域抽出工程
初期領域抽出部２１５では、初期クラスタ抽出部２１４において得られた、例えば図１６（ｂ）に示す初期クラスタ２７２，２７３等の初期クラスタに含まれる色を有する画素のうち、同一初期クラスタに属する画素がカラー画像データ上で集中する長方形の領域を初期領域として抽出する。図１６（ｃ）は、領域マップＲを示す模式図である。初期クラスタ抽出部２１４で成長され生成された各初期クラスタから抽出された画素は、図１６（ｃ）に示す２次元配列である領域マップＲ（ｘ，ｙ）上にクラスタを識別するｎを有する多値画像として表現される。ここで、図１６（ａ）に示す入力カラー画像データの位置（ｘ１，ｙ１），（ｘ２，ｙ２）における画素が、図１６（ｂ）に示すそれぞれ初期クラスタ２７２，２７３に含まれるものであり、初期クラスタ２７２，２７３のクラスタ番号ｎを１，２としたとき、領域マップＲにおける座標（ｘ１，ｙ１），（ｘ２，ｙ２）は、そのクラスタ番号１，２を有するものとなる。すなわち、画像上の位置（ｘ，ｙ）の画素の色がクラスタｎに含まれている場合、下記式（６）のように示される。
【００６０】
【数６】

【００６１】
そして、図１７に示す領域マップＲにおいて、抽出画素２７６の分布が集中する領域を囲む長方形領域２７７を算出する。各初期クラスタに対応して得られた長方形領域は、図１８に示すように、１つの対角線上で相対する２頂点の座標（ｓｒｘ，ｓｔｙ）、（ｅｄｘ，ｅｄｙ）で表現され、１次元配列である頂点リストＶ１に格納される。すなわち、クラスタｎに対応して得られた長方形領域２７７の２つの頂点座標が（ｓｔｘ，ｓｔｙ）、（ｅｄｘ，ｅｄｙ）である場合、これらの座標は頂点座標Ｖ１（ｎ）に下記式（７）のように格納されるものとする。
【００６２】
【数７】

【００６３】
各初期クラスタに対応して得られた抽出画素及び長方形領域のデータは、それぞれ領域マップＲ及び頂点リストＶ１としてクラスタ統合部２１６に供給される。
【００６４】
（１−５）クラスタ統合工程
クラスタ統合工程では、クラスタ統合部２１６により、初期クラスタ抽出部２１４で得られたクラスタマップＣ並びに初期領域抽出部２１５で得られた領域マップＲ及び頂点リストＶ１を使用して、本来１つの領域に含まれる色でありながら異なる初期クラスタとして抽出された複数の初期クラスタを統合する。
【００６５】
すなわち、クラスタ統合部２１６は、初期クラスタ抽出部２１４で生成されたクラスタマップＣが入力されると、先ず、任意の２つの初期クラスタｍ及び初期クラスタｎの組み合わせを発生させる。そして、発生させた初期クラスタｍ，ｎとクラスタマップＣとから初期クラスタｍと初期クラスタｎとの色差が算出される。また、初期クラスタｍ，ｎ並びに初期領域抽出部２１５で生成された領域マップＲ及び頂点リストＶ１から、初期クラスタｍと初期クラスタｎとの重なり度が算出される。そして、初期クラスタｍ，ｎ、領域マップＲ及び頂点リストＶ１、色差、並びに重なり度から、初期クラスタｍ，ｎを統合するか否かの判定が行われ、色差が小さく、初期クラスタｍ，ｎが画像上で大きく重なり合って分布している場合にこれらのクラスタを統合する。
【００６６】
そして、初期クラスタの統合に応じて、領域マップＲ及び頂点リストＶ１が修正され、それぞれ領域マップＲ２及び頂点リストＶ２として領域分割部２１７に供給される。また修正された領域マップＲ２は領域抽出部２１８にも供給される。
【００６７】
（１−６）領域分割工程
領域分割工程では、領域分割部２１７により、クラスタ統合部２１６において修正された領域マップＲ２及び頂点リストＶ２を用いて、同一のクラスタ、すなわち、初期クラスタ又は初期クラスタが統合された統合クラスタ（以下、単にクラスタという。）によって抽出された抽出画素の分布に応じて、頂点リストＶ２に格納されている頂点座標Ｖ２（ｎ）が示す長方形領域を分割する。すなわち、クラスタ統合部２１６によって得られた新たな領域マップＲ２及び頂点リストＶ２（ｎ）が入力されると、頂点リストＶ２（ｎ）が示す長方形領域を水平又は垂直に２分割する主分割点が検出され、長方形領域が垂直に２分割された場合は、領域マップＲ２及び分割された２つの垂直分割長方形領域の頂点リストを使用して、各垂直分割長方形領域が水平に分割される。また、長方形領域が水平に２分割された場合は、領域マップＲ２及び分割された２つの水平分割長方形領域の頂点リストを使用して、各水平分割長方形領域が垂直に分割される。領域の分割には、例えば頂点リストＶ２で表される長方形領域内において、クラスタｎによって抽出された画素の数を水平方向及び垂直方向に累積したそれぞれヒストグラムＨＨ及びＨＶ使用し、このヒストグラムの最小点となる点を検出し、これが予め設定された閾値よりも小さい場合に分割する。そして、領域マップＲ２及びこのように分割された長方形領域の頂点リストを使用して、長方形領域を修正する。
【００６８】
例えば、図１９に示すように、画像上で同一のクラスタによって抽出された抽出画素が、このクラスタに対応して得られた長方形領域２９５において複数の領域２９６ａ，２９６ｂを構成している場合、各領域２９６ａ，２９６ｂを異なる領域とみなし、長方形領域２９５の分割を行う。この結果、１つの初期クラスタに属する長方形領域２９５内に、例えば領域２９６ａ，２９６ｂ等の複数の画素の領域が対応することになり、各画素の領域２９６ａ，２９６ｂを取り囲む分割長方形領域２９７ａ，２９７ｂを算出することができる。
【００６９】
分割長方形領域２９７ａ，２９７ｂは初期領域抽出部２１５と同様、図１８に示すように１つの対角線上で相対する２つの頂点座標で表され、新たな頂点リストＶ３（ｎ，ｍ）に格納される。すなわち、クラスタｎに対応するｍ番目の長方形領域が｛（Ｖ３（ｎ，ｍ）．ｓｔｘ，Ｖ３（ｎ，ｍ）．ｓｔｙ），（Ｖ３（ｎ，ｍ）．ｅｄｘ，Ｖ３（ｎ，ｍ）．ｅｄｙ）｝で表される場合、これらの座標は新たな頂点リストＶ３（ｎ，ｍ）に下記式（８）のように格納されるものとする。新たな頂点リストＶ３（ｎ，ｍ）は、領域抽出部２１８に供給される。
【００７０】
【数８】

【００７１】
（１−７）領域抽出工程
領域抽出部２１８では、クラスタ統合部２１６において修正された領域マップＲ２と、領域分割部２１７において得られた新たな頂点リストＶ３を用いて、下記式（９）の条件を満たす画素の集合Ｓｎｍを抽出する。
【００７２】
【数９】

【００７３】
すなわち、同一のクラスタから抽出された画素であっても、領域分割部２１７にて長方形領域が分割された場合、例えば図１９に示す長方形領域２９７ａ，２９７ｂ等のような分割された長方形領域を１つの集合と見なして抽出する。ここで抽出された複数の領域は図示せぬ判別処理部に送られ、所望の領域か否かの判別が行なわれる。
【００７４】
このように肌色領域抽出部２００では、クラスタ統合部２１６により、１つの物体に対応する領域が類似した複数の色から構成されている場合、それらの色を統合して、１つの領域として扱うことができ、また、領域分割部２１７により、同一の色を持つ物体が複数存在する場合、それらを分離して扱うことが可能となる。また、クラスタを抽出し、これを統合し、更に画素密度分布によって抽出領域を分割することにより、肌色領域を極めて正確に抽出することができる。
【００７５】
（２）被写体検出部
被写体検出部３００では、肌色領域抽出部２００によって抽出された各肌色領域を顔領域と仮定し、この肌色領域に対応する頂点座標Ｖ３（ｎ）が示す長方形領域から、各検出部により特徴点が検出される。被写体検出部３００は、図１２に示すように、頭頂部検出部３１１により人物の頭頂部の位置を検出し、口検出部３１２により肌色領域内の赤みの強さに基づいて人物の口の位置を検出し、目検出部３１３により頭頂部及び口の位置に基づいて検索範囲を設定して目を検出し、中心線検出部３１４により、口領域の赤み強度に基づいて顔の中心線を検出し、領域修正部３１５により、頭頂部、口、目及び顔中心線の位置から、肌色領域抽出部２００にて算出された頂点座標Ｖ３（ｎ）を修正し、判定部３１６により、抽出された肌色領域Ｖが人物の顔であるか否かを判定する。以下、各検出部について更に詳細に説明する。
【００７６】
（２−１）人物の頭頂部を検出
頭頂部検出部３１１は、肌色領域を顔として、人物の頭頂部を検出する。頭頂部の検出は、例えば人物以外の背景領域は単一色であること及び人物の上方、すなわち、垂直座標が小さい側には背景領域のみが存在し得ることを仮定し、背景色とは異なる色を有する画素の中で垂直座標が最も小さい位置を検出する。以下、頭頂部の位置における垂直方向の座標を頭頂部の高さという。
【００７７】
具体的には、図２０に示すように、画像入力部１０１から供給される。入力カラー画像データ３６０において、注目する肌色領域３６１に対応する長方形領域３６２の図中上方の領域、すなわち、長方形領域３６２よりも垂直座標が小さい領域であって、Ｖ３（ｎ，ｍ）．ｓｔｘ≦水平座標（ｘ座標）≦Ｖ３（ｎ）．ｅｄｘの範囲に設定した頭頂部探索範囲３６３を図中上方から走査し、各画素の値と背景領域３６４の背景色との差ｄを下記式（１０）によって算出する。
【００７８】
【数１０】

【００７９】
ここで、Ｒ（ｘ，ｙ）、Ｇ（ｘ，ｙ）、Ｂ（ｘ，ｙ）はカラー画像データ上の座標（ｘ，ｙ）における画素のＲ、Ｇ、Ｂの値であり、Ｒｂｇ、Ｇｂｇ、Ｂｂｇは背景色のＲ、Ｇ、Ｂの値である。この背景色としては、現在の注目画素よりも上方、すなわち、垂直座標（ｙ座標）が小さい領域における画素の平均値、例えばカラー画像データ３６０の最上端３６０ａから１０ライン目までの平均値を使用することができる。
【００８０】
そして、上記式（１０）の色の差ｄを算出し、この値が所定の閾値Ｔよりも大きい画素が出現した時点で、その垂直座標ｙを頭頂部の高さＴＯＨとする。検出された頭頂部の高さＴＯＨは目検出部３１３及び領域修正部３１５に供給される。
【００８１】
なお、頭頂部の位置ＴＯＨは、人物の髪の上端としてもよいし、肌色領域の上端としてもよい。
【００８２】
（２−２）人物の口を検出
次に、口検出部３１２は、肌色領域抽出部２００により抽出された各肌色領域に対し、口の高さを検出する。先ず、頂点リストＶ３（ｎ）によって表される長方形領域内において、肌色領域としては抽出されていない各画素（ｘ，ｙ）に対して、赤みの強さを示す下記式（１１）の値ｒｄｓｈ（ｘ，ｙ）を算出する。
【００８３】
【数１１】

【００８４】
算出された値ｒｄｓｈ（ｘ，ｙ）は、図２１に示すように水平方向（ｘ軸方向）に累積されて、下記式（１２）に示すヒストグラムＨｒｄｓｈ（ｙ）が生成される。
【００８５】
【数１２】

【００８６】
ここで、Ｖ３（ｎ）及びＲ（ｘ，ｙ）は、いずれも肌色領域抽出部２００から送られたデータであって、それぞれ肌色領域ｎに対応する長方形領域の頂点座標、及び領域マップを示す。
【００８７】
次に、ヒストグラムＨｒｄｓｈ（ｙ）は、ノイズ等を除去するため、必要に応じて１次元ローパスフィルタによって平滑化された後、ヒストグラムＨｒｄｓｈ（ｙ）の最大値における垂直座標ｙが口の高さＨＯＭとして検出される。検出された口の高さＨＯＭは、目検出部３１３、中心線検出部３１４、領域修正部３１５及び判定部３１６に供給される。
【００８８】
（２−３）人物の目を検出
次に、目検出部３１３は、肌色領域抽出部２００で抽出された各肌色領域に対して目の高さを検出する。先ず、頭頂部検出部３１１によって検出された頭頂部の高さＴＯＨと口検出部３１２によって検出された口の高さＨＯＭとから、垂直方向（ｙ軸方向）の目の探索範囲を例えば下記式（１３）により算出する。
【００８９】
【数１３】

【００９０】
ここで、ｅ１及びｅ２は予め設定された係数である。ｅｔｏｐ及びｅｂｔｍは、それぞれ検索範囲の垂直座標における下限値及び上限値である。そして、これら垂直座標における下限値及び上限値に挟まれ、且つ注目する肌色領域に対応する長方形領域内に存在する画素に対して水平方向のエッジ（以下、水平エッジという。）の強度ｅｄｇｅ（ｘ，ｙ）を検出する。
【００９１】
入力カラー画像データの各座標において算出された水平エッジの強度ｅｄｇｅ（ｘ，ｙ）は、水平方向（ｘ軸方向）に累積されて、長方形領域内における垂直方向の水平エッジを示すヒストグラムＨｅｄｇｅ（ｙ）が下記式（１４）により算出される。
【００９２】
【数１４】

【００９３】
ここで、Ｖ３（ｎ）は肌色領域抽出部２００で得られた肌色領域ｎに対応する長方形領域の頂点座標である。図２２は、生成されたヒストグラムＨｅｄｇｅ（ｙ）を示す模式図である。ヒストグラムＨｅｄｇｅ（ｙ）は、ノイズ等を除去するため、必要に応じて１次元ローパスフィルタによって平滑化された後、その最大値に対応する垂直座標ｙが目の高さＨＯＥとして検出される。
【００９４】
また、上記式（１３）によって算出されるｅｂｔｍが、肌色領域を囲む長方形領域の頂点座標のＶ３（ｎ）．ｓｔｙより小さい場合、頭頂部の高さＴＯＨ又は口の高さＨＯＭの検出が適切に行なわれていない可能性が高い。そこで、このような場合には、対応する長方形領域の頂点座標Ｖ３（ｎ）に位置座標としては無効な値である例えば−１を格納して頂点リストＶを修正することができる。
【００９５】
検出された目の高さＨＯＥは、中心線検出部３１４、領域修正部３１５及び判定部３１６に供給される。また、修正された頂点リストＶは、中心線検出部３１４、領域修正部３１５及び判定部３１６に供給される。
【００９６】
（２−４）人物の顔の中心線を検出
次に、顔の中心線検出部３１４は、目検出部３１３において修正された頂点リストＶ３に無効ではない頂点座標を有する各肌色領域に対して、顔を左右に分割する中心線の位置を検出する。
【００９７】
ここでは、はじめに口検出部３１２で検出された口の高さＨＯＭを中心として垂直方向の座標における口探索範囲を設定する。この探索範囲は、図２３に示すように、例えば対応する長方形領域の垂直方向における幅から下記式（１５）により算出することができる。
【００９８】
【数１５】

【００９９】
ここで、ｍは予め設定された係数であり、Ｖ３（ｎ）は肌色領域ｎに対応する長方形領域の頂点座標である。上記式（１５）により算出されたそれぞれｍｔｏｐ及びｍｂｔｍを、探索範囲のｙ座標のそれぞれ下限値及び上限値とする。また、水平方向の探索範囲は、長方形領域の水平方向の幅とすることができる。すなわち、ｘ座標の上限及び下限は、長方形領域のそれぞれ左端Ｖ３（ｎ）．ｓｔｘ及び右端Ｖ３（ｎ）．ｅｄｘとすることができる。図２３は、肌色領域３９１に対応する長方形領域３９２における口の高さＨＯＭ及び検索範囲ｍｔｏｐ、ｍｂｔｍを示す模式図である。
【０１００】
次に、設定された探索範囲に存在し、かつ肌色領域に含まれない画素に対して上記式（１１）により赤みの強さを算出し、赤みの強さの値が閾値よりも大きくなる画素の水平座標の平均値を中心線の水平座標位置ＣＯＨとして検出する。赤みの強さを算出する際に、肌色領域に属する画素を除くことにより、肌色領域に属する画素の影響を排除することができ、極めて高精度に顔の中心線を検出することができる。かくして、検出された顔中心線の位置ＣＯＨは領域修正部３１５及び判定部３１６に供給される。
【０１０１】
また、顔の中心線は、肌色領域における肌色画素の分布の平均位置を検出し、これを通る直線を顔の中心線とすることもできる。
【０１０２】
（２−５）長方形領域の修正
次に、領域修正部３１５は、目検出部３１３において修正された頂点リストＶ３に無効ではない頂点座標を有する各肌色領域に対して、長方形領域を改めて算出し、頂点リストＶの修正を行う。例えば、頭頂部検出部３１１で得られた頭頂部の高さＴＯＨ及び中心線検出で得られた中心線の位置ＣＯＨを使用して、図２４に示すように、長方形領域３９３を設定することができる。すなわち、修正後の長方形領域３９３を示す２つの頂点座標｛（ｓｔｘ、ｓｔｙ），（ｅｄｘ、ｅｄｙ）｝は下記式（１６）により算出することができる。
【０１０３】
【数１６】

【０１０４】
ここで、ａｓｐは人物の顔の幅に対する高さの比、すなわちアスペクト比を示す係数、適当な値が予め設定されているものとする。
【０１０５】
肌色領域ｎに対して新たに算出された頂点座標は、頂点リストＶに上書きされ判定部３１６に供給される。
【０１０６】
（２−６）顔判定
判定部３１６は、領域修正部３１５において修正された頂点リストＶ３に無効ではない頂点座標を有する各肌色領域に対して、その肌色領域が顔領域であるか否かの判定を行う。顔領域の判定は、例えば人物の顔領域では目の部分及び口の部分に水平エッジが多く分布すること、また唇の色が他の部分に比べて赤みが強いことを利用し、これらの条件が口検出部３１３で検出された口の高さＨＯＭ、及び目検出部３１４で検出された目の高さＨＯＥにおいて成立しているか否かを検証することにより行うことができる。判定結果は、顔領域であるか否かを表す２値のフラグｆａｃｅｆｌａｇとして出力される。また、判定部３１６は、各検出部により検出された顔の特徴点の情報を目補正部４００に特徴点情報として出力する。
【０１０７】
このように、被写体検出部３００においては、抽出された肌色領域に対して、頭頂部及び口の位置を検出し、これらの位置から目の検索範囲を設定して目の位置を検出するため、極めて高精度に目の位置を検出することができる。また、顔の中心線は、口の赤みの強さに基づき検出されるため、極めて高精度に顔中心線を検出することができる。更に、判定部３１６において、目のパターンらしさ及び口のパターンらしさ等を判定し、この判定結果に基づき顔であるか否かの総合判定をするため、複数の顔が含まれている場合であっても、顔であるか否かの判定結果の信頼性が高い。
【０１０８】
また、被写体検出部３００においては、判定部３１６により顔と判定される肌色領域が複数存在する場合に、複数の顔領域から、例えばその顔領域の位置に基づき１つの顔領域を選択する選択部（図示せず）を設けることもできる。これにより、例えば、複数の顔領域が存在する画像から１つの顔領域を抽出して、例えばトリミング処理を施すことができる。なお、複数の顔領域があると判定された場合には、判定部３１６に、顔領域を選択する機能をもたせるようにしてもよい。
【０１０９】
（３）目補正部
目補正部４００では、被写体検出部３００によって検出された特徴点情報に基づき、補正を行う目領域の特定し、目の開き度合をぱっちりと見えるように補正する。目補正部４００は、図１３に示すように、目領域検出部４１１により目領域を検出し、瞳検出部４１２により目領域内から瞳を検出し、開き度合判定部４１３により目の開き度合を判定し、開き度合補正部４１４により目の開き度合を補正し、瞳補正部４１５により瞳の形状を補正し、キャッチアイ補正部４１６により瞳の内部にキャッチアイを付加し、白目補正部４１７により白目の白色度を補正することで、被写体となる人物にとって目がぱっちりとして出来栄えのよい証明写真を得ることができる。以下、目補正部４００の各部について更に詳細に説明する。
【０１１０】
（３−１）目領域を検出
目領域検出部４１１は、被写体検出部３００によって検出された目の位置ＨＯＥに基づき所定の範囲の領域を目領域Ａ１，Ａ２として検出する。具体的に、目領域検出部４１１は、図２５に示すように、顔の水平方向のラインに沿った明度の変化を検出し、明度の低い部分が連続しているラインを眉毛の位置Ｉ、この眉毛の位置Ｉの下部で明度の低い領域を瞳の位置Ｈ、位置Ｉと位置Ｈとの間の距離をｘとして、位置Ｈを中心に位置Ｉに対して反対側に距離ｘだけ離れたところを位置Ｊと判断する。そして、目領域検出部４１１は、高さ方向に位置Ｉ及び位置Ｊの間の範囲で、且つ水平方向に眉毛及び目じりを含む範囲を目領域Ａ１，Ａ２として検出し、目領域Ａ１，Ａ２を各部に出力する。なお、図２５において、眉毛の位置Ｉは、眉毛の上端部を図示しているが、この位置に限定されるものではなく、眉毛の内部の中心位置を取るようにしてもよいし、眉毛の内側の下端部を取るようにしてもよい。
【０１１１】
（３−２）瞳を検出
瞳検出部４１２は、図２５に示すように、目領域検出部４１１により検出された目領域Ａ１，Ａ２内の位置Ｈ付近にある明度の低い領域を瞳であると判断し、露出している瞳の曲率Ｒ又はこの領域の重心から瞳の中心位置Ｇを算出する。なお、瞳の左右には、白目Ｗが存在するため、白色の領域を元に瞳を検出するようにしてもよい。
【０１１２】
（３−３）目の開き度合を判定
開き度合判定部４１３は、図２６に示すように、目領域検出部４１１により検出された目領域Ａ１，Ａ２内から、目の縦横の長さの比率を算出し、目の開き度合として判定する。具体的には、目の高さ方向の長さをａ、目の水平方向の長さをｂ、目の開き度合をａ／ｂとして求めている。
【０１１３】
開き度合判定部４１３は、目の開き度合の値が０．３以下である場合に、目の開き度合が少ないと判定する。一般的に目の開き度合の値は、０．４〜０．５程度であれば目がぱっちりしているように見える。
【０１１４】
（３−４）目の開き度合を補正
開き度合補正部４１４は、図２に示すように、目の開き度合が０．３以下であるような場合、すなわち目を閉じかけた状態である場合に、図３に示すように、画像を顔の高さ方向に部分的に伸張及び圧縮することで、目の開き度合を０．４〜０．５程度となるように画像補正を行う。
【０１１５】
具体的には、図２５及び図２７に示すように、瞳の位置Ｈ付近の画像を顔の高さ方向に伸張するとともに位置Ｈからそれぞれｘ／２離れた付近の画像を圧縮することで、目を開かせるとともに、瞼を狭めて違和感がないように画像補正を行う。
【０１１６】
開き度合補正部４１４は、図２７に示すように、位置Ｈ付近における画像の伸張率を＋２０％、位置Ｈから±ｘ／２の位置付近における画像の圧縮率を−２０％とすることで、伸張率及び圧縮率のバランスをとり、眉毛の位置がほぼ不動の状態で画像補正を行うことができる。このように、開き度合補正部４１４は、違和感のない画像補正を行うことができる。
【０１１７】
なお、開き度合補正部４１４における画像の伸張率及び圧縮率は、±２０％程度であることが好ましいが、目の開き度合に応じて、＋１０〜＋３０％、−１０〜―３０％程度の範囲を設定するようにしてもよい。
【０１１８】
（３−５）瞳の形状を補正
上述した開き度合補正部４１４では、図３に示すように、補正した画像において、単純に画像を伸張しているので、瞳の形状が円形から略方形となるため、不自然な瞳となってしまう。そこで、瞳補正部４１５は、図３に示す画像から、瞳の最大幅をｅとして検出し、この値ｅを瞳の直径であると判断し、図４に示すように、中心位置Ｇ、直径ｅの黒目と入れ替える処理を行う。このとき、瞳補正部４１５は、元の瞳の黒味をもとに同様の配色となるように直径ｅの瞳を作成し、作成した瞳と図３に示す瞳とを入れ替える画像補正を行う。
【０１１９】
（３−６）キャッチアイを補正
キャッチアイ補正部４１６は、図４に示すように、瞳の形状が補正された目において、キャッチアイが無い場合や、キャッチアイが小さい場合に、図２８に示すように、キャッチアイを付加する画像補正を行う。
【０１２０】
具体的に、キャッチアイ補正部４１６は、瞳の内部の白色領域を検出し、キャッチアイが無い若しくはキャッチアイが小さいと判断した場合に、瞳の中心位置Ｇに瞳の直径ｅの１０〜２０％程度の略円形状のキャッチアイを付加する画像補正を行う。このように、キャッチアイ補正部４１６は、キャッチアイを付加することで、人物の顔の表情が豊かにさせて、見る人にとって魅力的な印象を与えることができる画像を得ることができる。
【０１２１】
なお、キャッチアイ補正部４１６では、略円形状のキャッチアイを付加するだけでなく、略矩形状のキャッチアイを付加してもよいし、特にその形状に限定されるものではない。また、キャッチアイ補正部４１６では、キャッチアイを付加する位置を瞳の中心位置Ｇに限定するものではなく、人物の顔の向きや、視線に応じて適宜変化するようにしてもよい。
【０１２２】
（３−７）白目を補正
ここで、人物の白目は、個人差はあるが、グレー、黄、赤みを帯びていることがあり、この場合に目がすっきりとせずに表情がくすんで見えてしまう。人物の白目は、日本工業規格（ＪＩＳＰ８１２３）準拠の白色度で８５％以上の白さであると、すっきりとして表情が明るく見える。
【０１２３】
そこで、白目補正部４１７は、図２９に示すように、白目Ｗの白色度を所定の白色度となるように画像補正を行う。
【０１２４】
具体的に、白目補正部４１７は、白色領域を白目Ｗとして検出し、日本工業規格（ＪＩＳＰ８１２３）準拠の白色度を判定する。そして、白目補正部４１７は、白色度が８５〜９０％程度である場合に、白色度が１割程度高くなるように色補正を行い、白色度が８５％以下である場合に、白色度が８５％となるように色補正を行う。このように、白目補正部４１７は、白目Ｗの白色度を高めることで、人物の目をすっきりさせて、見る人にとって魅力的な印象を与えることができる画像を得ることができる。
【０１２５】
このように目補正部４００は、目領域検出部４１１検出された目領域において、目がぱっちりと開いて見えるように開き度合補正部４１４により画像補正を行い、瞳補正部４１５により瞳の形状を整えることで、人物の目がぱっちりとした見栄えのよいカラー画像データを出力することができる。
【０１２６】
ここで、以下では、目補正部４００における画像補正の流れを、図３０に示すフローチャートに基づき明する。
【０１２７】
まず、ステップＳ２１において、被写体検出部３００は、カラー画像データから人物の顔を検出する。被写体検出部３００では、顔の検出ができない場合に、ステップ２１を繰り返し、顔の検出が成功した場合にステップＳ２２に進む。
【０１２８】
ステップＳ２２において、開き度合判定部４１３は、目の開き度合を判定し、目の開き度合が０．３よりも少なければ処理をステップＳ２３に進み、目の開き度合が０．３以上である場合、ステップＳ２４に進む。ステップＳ２３において、開き度合補正部４１４は、目の開き度合を大きくする画像補正を行い、ステップＳ２２に戻る。
【０１２９】
ステップＳ２４において、瞳検出部４１２は、瞳を検出し、瞳の中心位置を算出する。ステップＳ２５において、瞳検出部４１２は、瞳の形状が略円形状で無いと判定した場合に、ステップＳ２６において、瞳部分の画像を抽出し、ステップＳ２７において、瞳の形状が略円形状となるように画像補正を行い、ステップＳ２８に進む。また、ステップＳ２５において、瞳検出部４１２は、瞳の形状が略円形状であると判定した場合、ステップＳ２８に進む。
【０１３０】
ステップＳ２８において、キャッチアイ補正部４１６は、瞳の内部にキャッチアイがあるかどうかを判断し、キャッチアイがあると判断した場合、ステップＳ３０に進み、キャッチアイが無い若しくはキャッチアイが小さいと判断した場合、ステップＳ２９に進み、キャッチアイを付加する画像補正を行いステップＳ３０に進む。
【０１３１】
ステップＳ３０において、白目補正部４１７は、白目の白色度を判断し、白色度が９０％より大きい場合に処理を終了させ、白色度が８５％以下、及び８５〜９０％である場合に処理をステップＳ３１に進め、白色度が８５％以下である場合に白色度を８５％、白色度が８５〜９０％である場合に白色度を１割増とする色補正を行い処理を終了する。
【０１３２】
このような流れに沿って、目補正部４００は、人物の目がぱっちりと開いて見えるように画像補正を行うことができる。
【０１３３】
以上のように構成された画像処理装置１００は、撮影して出力された人物画像データから人物の目がぱっちりと見えるように画像補整を行い、被写体となる人物にとって見栄えのよい人物画像データを得ることができる。画像処理装置１００は、目補正部４００から出力されたカラー画像データを第１のプリンタ１８又は第２のプリンタ１９に出力する。
【０１３４】
撮影装置１は、撮影された人物画像データを、目領域を検出して、目がぱっちりと見えるように画像補整を行うことで、被写体となる人物にとって見栄えのよい写真を得ることができる。特に、撮影装置１は、被写体となる人物が女性である場合、写真の見栄えが気になる目の開き度合をぱっちりと見えるように補正することができるため、被写体となる人物にとって満足できる写真を得ることができる。また、撮影装置１は、撮影時に目を閉じかけた状態で撮影を行ってしまった場合、出力される写真が無駄になってしまうことが無くなり、必ず良好な写りの写真を得ることができる。
【０１３５】
また、撮影装置１は、補正後の目の開き度合を極端な値に設定することで極端な画像補正を行うことができるため、アミューズメント用途にも用いることができる。
【０１３６】
以上のように、街角等に設置される証明写真用の写真ブースを例にとり説明したが、本発明は、これに限定されるものではなく、例えば図３２及び図３３に示すような、簡易なプリントシステムや、プリンタ装置にも適用することもできる。この場合には、図示しない携帯型の撮像装置、いわゆるデジタルカメラ等により被写体を撮像し、撮像した画像をＩＣ（ｉｎｔｅｇｒａｔｅｄｃｉｒｃｕｉｔ）カード等の半導体記録媒体に記録することとなる。
【０１３７】
ここで、図３１に示すプリントシステム６００は、デジタルカメラ等により被写体を撮像し、撮像した画像が記録されたＩＣカード６１２が挿入され、印刷の制御を行うコントローラ６０１と、画像を印刷するプリンタ装置６１３とから構成されており、コントローラ６０１の表示画面６１１に表示された画像を確認しながら印刷の制御を行うことができる。このプリントシステム６００は、ＩＣカード６１２等を挿入し、表示画面６１１に表示された画像を選択するだけで、コントローラ６０１内において上述のような画像補正を施すことができるようにされており、プリンタ装置６０２の排紙口６１３から見栄えのよい人物写真を出力することができる。
【０１３８】
次に、図３２に示すプリンタ装置７００は、デジタルカメラ等により被写体を撮像し、撮像した画像が記録されたＩＣカード７１２が挿入され、この画像を印刷することができる。このプリンタ装置７００は、ＩＣカード７１２等を挿入し、表示画面７１１に表示された画像を選択するだけで、内部において上述のような画像補正を施すことができるようにされており、排紙口７１３から見栄えのよい人物写真を出力することができる。なお、このようなプリンタ装置７００は、図示しないデジタルカメラと、所定の規格のケーブルにより接続したり、無線電波や、赤外線を用いた無線通信により画像データが入力されるように設計されていてもよい。
【０１３９】
また、本発明は、上述した図示しないデジタルカメラや、デジタルカメラが備えつけられた携帯型の無線電話装置やＰＤＡ（ＰｅｒｓｏｎａｌＤｉｇｉｔａｌＡｓｓｉｓｔａｎｔ）装置にも適用することができる。この場合には、上述したような画像処理を行う画像処理装置１００を各機器に内蔵するように構成すれば実現が容易である。
【０１４０】
なお、以上の例では、画像処理装置１００についてハードウェアの構成として説明したが、これに限定されるものではなく、任意の処理を、ＣＰＵ７８にコンピュータプログラムを実行させることにより実現することも可能である。この場合、コンピュータプログラムは、記録媒体に記録して提供することも可能であり、また、インターネットその他の伝送媒体を介して伝送することにより提供することも可能である。
【０１４１】
【発明の効果】
上述したように本発明によれば、被写体となる人物の画像データを目がぱっちりと開いて見えるように画像補正を行うことで、人物の目がぱっちりと開いた印象をあたえる人物の画像データを自動的に作成し、効果的に見栄えのよい写真を常に得ることができる。
【図面の簡単な説明】
【図１】証明写真における人物の配置を示す模式図である。
【図２】証明写真における人物の目の開き度合が小さい場合を説明するための模式図である。
【図３】証明写真における人物の目の開き度合を補正した状態を説明するための模式図である。
【図４】証明写真における人物の目の開き度合を補正し、瞳の形状を略円形に補正した状態を説明するための模式図である。
【図５】撮影装置を正面側から見た斜視図である。
【図６】上記撮影装置を背面側から見た斜視図である。
【図７】上記撮影装置の透視平面図である。
【図８】上記撮影装置を正面側から見た図であって、カーテンを閉めた状態を説明する図である。
【図９】上記撮影装置の制御回路を説明するブロック図である。
【図１０】本発明の実施の形態に係る画像処理装置を示すブロック図である。
【図１１】本発明を適用した画像処理装置における肌色領域抽出部を示すブロック図である。
【図１２】本発明を適用した画像処理装置における被写体検出部を示すブロック図である。
【図１３】本発明を適用した画像処理装置における目補正部を示すブロック図である。
【図１４】横軸に座標をとり、縦軸に出現頻度をとって、出現頻度を示すヒストグラムとクラスタとの関係を模式的に示す図である。
【図１５】Ｌ^＊ａ^＊ｂ^＊表色系における肌色領域の分布を説明するための色度図である。
【図１６】（ａ）乃至（ｃ）は、それぞれ入力画像、クラスタマップＣ及び領域マップＲを示す模式図である。
【図１７】肌色領域抽出部において作成された領域マップＲを示す模式図である。
【図１８】肌色領域抽出部において抽出される長方形領域を示す模式図である。
【図１９】肌色領域抽出部の領域分割部にて分割される長方形領域を示す模式図である。
【図２０】カラー画像における人物の頭頂部を検索する際の検索範囲を示す模式図である。
【図２１】長方形領域の水平方向の赤み強度が累積されて生成されたヒストグラムＨｒｄｓｈと長方形領域との関係を示す模式図である。
【図２２】人物の目、口及び顎の位置の関係を示す模式図である。
【図２３】肌色領域に対応する長方形領域における口の高さＨＯＭ及び検索範囲ｍｔｏｐ、ｍｂｔｍを示す模式図である。
【図２４】修正後の長方形領域の頂点座標｛（ｓｔｘ、ｓｔｙ），（ｅｄｘ、ｅｄｙ）｝を示す模式図である。
【図２５】証明写真における人物の目領域を示す模式図である。
【図２６】証明写真における人物の目の開き度合を示す模式図である。
【図２７】開き度合補正部において、目の開き度合を補正する際に、画像を伸張及び圧縮する範囲を説明するための図である。
【図２８】証明写真における人物の目にキャッチアイを付加した状態を説明するための模式図である。
【図２９】証明写真における人物の目の白目の白色度を補正する状態を説明するための模式図である。
【図３０】目の開き度合補正、キャッチアイ補正、白目補正等の、画像補正の手順を説明するフローチャートである。
【図３１】本発明を適用した他の実施例として、コントローラ及びプリンタ装置からなるプリントシステムを説明するための図である。
【図３２】本発明を適用した他の実施例として、プリンタ装置を説明するための図である。
【符号の説明】
１撮影装置、２設置面、１１筐体、１２背面部、１３一方の側壁、１４他方の側壁、１５天板、１６撮影室、１６ａ第１の面、１６ｂ第２の面、１６ｃ第３の面、１７撮影部、１７ａ撮影装置、１７ｂハーフミラー、１７ｃ反射板、１８第１のプリンタ、１９第２のプリンタ、２２転動防止部材、２３入口、２４椅子、２４ａ取っ手、２９料金投入部、３１位置決め凹部、３２被写体検出部３２カーテン、３３ａスリット、３４第１の手摺り、３５第２の手摺り、３６第３の手摺り、４０回動支持機構、４１椅子取付部材、４２回動支持部、４４椅子支持部材、４６リンク部材、４８ガイド孔、４９係合突起、５１ダンパ、５４保持機構、５６保持部材、５８係止突部、５９検出部、６０押圧部、７０制御回路、１００画像抽出装置、１０１画像入力部、２００肌色領域抽出部、２１２表色系変換部、２１３ヒストグラム生成部、２１４初期クラスタ抽出部、２１５初期領域抽出部、２１６クラスタ統合部、２１７領域分割部、２１８領域抽出部、３００被写体検出部、３１１頭頂部検出部、３１２口検出部、３１３目検出部、３１４中心線検出部、３１５領域修正部、３１６判定部、４００目補正部、４１１目領域検出部、４１２瞳検出部、４１３開き度合判定部、４１４開き度合補正部、４１５瞳補正部、４１６キャッチアイ補正部、４１６白目補正部、４２０証明写真、４２１人物、４３０顔領域、６００プリントシステム、６０１コントローラ、６０２プリンタ装置、６１１表示画面、６１２ＩＣカード、６１３排紙口、７００プリンタ装置、７０１本体部、７１１表示画面、７１２ＩＣカード、７１３排紙口

Claims

人物の画像から顔領域を抽出する顔領域抽出手段と、
上記顔領域抽出手段により抽出された顔領域から上記人物の目領域を検出する目領域検出手段と、
上記目領域検出手段により検出された目領域から目の開き度合を検出する開き度合検出手段と、
上記開き度合検出手段により検出された目の開き度合に基づいて、目の開き度合が所定の値となるように画像を部分的に伸張及び圧縮する画像補正手段とを備える画像処理装置。
更に、上記画像補正手段により目の開き度合が補正された画像の、瞳の形状を略円形状に画像補正する瞳形状補正手段を備える請求項１記載の画像処理装置。
更に、上記画像補正手段により目の開き度合が補正された画像の、瞳の内部に光の点を付加する画像補正を行う光点補正手段を備える請求項１記載の画像処理装置。
更に、上記画像補正手段により目の開き度合が補正された画像の、瞳の内部の白目領域を所定の白色度に補正する白目補正手段を備える請求項１記載の画像処理装置。
人物の画像から顔領域を抽出する顔領域抽出ステップと、
抽出された顔領域から上記人物の目領域を検出する目領域検出ステップと、
検出された目領域から目の開き度合を検出する開き度合検出ステップと、
検出された目の開き度合に基づいて、目の開き度合が所定の値となるように画像を部分的に伸張及び圧縮する画像補正ステップとを有する画像処理方法。
更に、目の開き度合が補正された画像の瞳の形状を略円形状に画像補正する瞳形状補正ステップを有する請求項４記載の画像処理方法。
更に、目の開き度合が補正された画像の瞳の内部に光の点を付加する画像補正を行う光点補正ステップを有する請求項４記載の画像処理方法。
更に、目の開き度合が補正された画像の瞳の内部の白目領域を所定の白色度に補正する白目補正ステップを有する請求項４記載の画像処理方法。
人物を撮影する撮影手段と、
上記撮影手段により撮影されて出力された上記人物の画像から顔領域を抽出する顔領域抽出手段と、
上記顔領域抽出手段により抽出された顔領域から上記人物の目領域を検出する目領域検出手段と、
上記目領域検出手段により検出された目領域から目の開き度合を検出する開き度合検出手段と、
上記開き度合検出手段により検出された目の開き度合に基づいて、目の開き度合が所定の値となるように画像を部分的に伸張及び圧縮する画像補正手段とを備える撮影装置。
更に、上記画像補正手段により目の開き度合が補正された画像の瞳の形状を略円形状に画像補正する瞳形状補正手段を備える請求項９記載の撮影装置。
更に、上記画像補正手段により目の開き度合が補正された画像の、瞳の内部に光の点を付加する画像補正を行う光点補正手段を備える請求項９記載の撮影装置。
更に、上記画像補正手段により目の開き度合が補正された画像の、瞳の内部の白目領域を所定の白色度に補正する白目補正手段を備える請求項９記載の撮影装置。
更に、上記画像補正手段により画像補正された上記人物の画像を印刷する印刷手段を備える請求項９記載の撮影装置。