JP2004318204A

JP2004318204A - 画像処理装置、画像処理方法及び撮影装置

Info

Publication number: JP2004318204A
Application number: JP2003107047A
Authority: JP
Inventors: Toshiaki Nakanishi; 俊明中西; Kyoko Sugizaki; 京子杉崎
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2003-04-10
Filing date: 2003-04-10
Publication date: 2004-11-11

Abstract

【課題】撮影された人物画像を人物の頬を補正し、頬が細く見える写真を自動的に仕上げる。
【解決手段】補正領域設定部４００が、被写体検出部３００により検出された人物の顔の特徴点の情報に基づいて、人物の顔の輪郭を補正する補正領域Ａ１，Ａ２の位置や、補正度合いを設定し、顔補正部５００が、設定された補正領域Ａ１，Ａ２内で、画像補正を行う。補正領域設定部４００は、内部を補正度合いが異なる複数の小領域に分割したパターンの補正領域Ａ１，Ａ２を設定する。
【選択図】図２

Description

【０００１】
【発明の属する技術分野】
本発明は、証明写真等の人物が撮影された画像に対して顔がほっそりするように画像補正を行う画像処理装置及び画像処理方法並びにこの画像処理装置を備える撮影装置に関する。
【０００２】
【従来の技術】
従来、写真スタジオ等では、肖像写真や証明写真のように被写体として人物を撮影する場合、被写体を照明するための照明機材を配置する位置や、撮影装置であるカメラ機材により被写体を撮影する方向等を調整することで、被写体の見栄えが良くなるように撮影を行っている。このような調整は、それぞれの写真スタジオにおいて培われた技術やノウハウに基づき行われる。このため、このような調整には、それぞれの写真スタジオ毎の特徴がある。そして、上述したような写真スタジオにおいて撮影された写真は、引き伸ばし機等により印画紙に印刷されて肖像写真や証明写真となる。
【０００３】
上述したような写真スタジオにおいて被写体となる人物の多くは、見栄え良く写真に写りたいと望んでおり、他人が気づかないほどの僅かな違いにでも気にするものである。そこで、上述した写真スタジオでは、ネガフィルムやプリント紙に部分的な処理、いわゆるスポッティング処理を行うことで、目のクマや、眉毛、ほくろ、しわ、傷跡等を手直しすることで、それらを目立たなくし、見栄えのよい写真を提供している。
【０００４】
ところで、上述したようなノウハウに頼らずに写真の見栄えを良くするために、撮影した写真を印画紙に直接印刷せずに、コンピュータ等により画像処理を行うことで、特に被写体が女性である場合に写真の見栄えをよくしようとしたものがある。また、このようにコンピュータ等により画像処理を行うことで、被写体となる人物の顔をほっそりと見せるようにしたものがある（例えば特許文献１参照。）。
【０００５】
【特許文献１】
特開２００１−２０９８１７号公報
【０００６】
【発明が解決しようとする課題】
しかし、特許文献１に記載の発明では、被写体となる人物の顔の画像に対して、両頬骨の位置等を指定しなければならず、誰でも簡単に顔がほっそりと見えるような画像を得るといった要望を満たすものではなかった。
【０００７】
本発明は、このような従来の実情に鑑みて提案されたものであり、その目的は、撮影された人物画像を補正し、被写体となる人物が満足する出来栄えのよい写真に仕上げることができる画像処理装置及び画像処理方法を提供することにある。また、本発明の目的は、このような画像処理装置を備える撮影装置を提供することにある。
【０００８】
【課題を解決するための手段】
上述した目的を達成するために、本発明に係る画像処理装置は、人物の画像から顔領域を抽出する顔領域抽出手段と、顔領域抽出手段により抽出された顔領域から人物の顔の特徴点を検出する検出手段と、検出手段により検出された特徴点の位置に基づき、人物の顔の輪郭を補正する補正領域を設定する設定領域設定手段と、補正領域設定手段により調整された補正領域内で、人物の顔の輪郭を補正する画像補正手段とを備えることを特徴とする。
【０００９】
また、上述した目的を達成するために、本発明に係る画像処理方法は、人物の画像から顔領域を抽出する顔領域抽出ステップと、抽出された顔領域から人物の顔の特徴点を検出する検出ステップと、検出された特徴点の位置に基づき、人物の顔の輪郭を補正する補正領域を調整する領域設定ステップと、調整された補正領域内で、人物の顔の輪郭を補正する画像補正ステップとを備えることを特徴とする。
【００１０】
更に、上述した目的を達成するために、本発明に係る撮影装置は、人物を撮影する撮影手段と、撮影手段により撮影した人物の画像から顔領域を抽出する顔領域抽出手段と、顔領域抽出手段により抽出された顔領域から人物の顔の特徴点を検出する検出手段と、検出手段により検出された特徴点の位置に基づき、人物の顔の輪郭を補正する補正領域を設定する設定領域設定手段と、補正領域設定手段により調整された補正領域内で、人物の顔の輪郭を補正する画像補正手段とを備えることを特徴とする。
【００１１】
本発明においては、入力された人物画像に基づいて人物の顔の特徴点を検出し、特徴点の位置に基づき、人物の顔の輪郭を効果的に補正することができるように補正領域の補正度合いや補正位置を調整し、人物の顔の輪郭を補正することで、自動的に人物の輪郭をほっそりさせて見栄えのよい写真を得ることができる。
【００１２】
【発明の実施の形態】
以下、本発明を適用した画像処理装置について、図面を参照しながら詳細に説明する。この画像処理装置は、撮影された人物画像から人物の顔の輪郭を検出して顔の形を分類し、分類された顔の形に基づいて人物画像における顔の輪郭の補正を行うものである。
【００１３】
本発明を適用した画像処理装置は、図１に示すように、入力された人物画像データ４２０から被写体となる人物４２１の顔のうち、頭頂部の位置をＴＯＨ、眼の位置をＨＯＥ、鼻の位置をＨＯＮ、口の位置をＨＯＭ、顎の位置をＨＯＪ、顔の中心線をＣＯＨ、顔の幅の両端をＬＯＲ，ＬＯＬとして検出し、図２に示すように、画像補正を行う補正領域Ａ１及び補正領域Ａ２の位置及び補正度合いを調整する。これにより、本発明を適用した画像処理装置は、補正領域Ａ１及び補正領域Ａ２に対応する人物画像データ４２０を顔の幅方向に狭め、頬のラインＯＡを頬のラインＯＢに補正し、人物画像データ４２０の見栄えを良くすることができる。特に、本発明を適用した画像処理装置は、図３に示すように、例えば、人物画像データ４２０を顔の幅方向に狭める度合いが異なる複数の小領域に分割されたパターンの補正領域を有しており、このようなパターンの補正領域を用いることで、効果的な画像補正を行うことができる。
【００１４】
ここで、本発明を適用した画像処理装置は、例えば証明写真装置等の写真ブースにおいて、画像処理により人物の顔の輪郭の補正を行う際に使用することができる。なお、以下では、下記に示す順に本発明について説明する。
Ａ．写真ブース
Ｂ．画像処理装置
（１）肌色領域抽出部
（１−１）色変換工程
（１−２）ヒストグラム生成工程
（１−３）初期クラスタ生成工程
（１−４）初期領域抽出工程
（１−５）クラスタ統合工程
（１−６）領域分割工程
（１−７）領域抽出工程
（２）被写体検出部
（２−１）人物の頭頂部を検出
（２−２）人物の口を検出
（２−３）人物の眼を検出
（２−４）人物の顎を検出
（２−５）人物の顔の中心線を検出
（２−６）人物の鼻を検出
（２−７）人物の顔の両端を検出
（２−８）人物の頬を検出
（２−９）長方形領域の修正
（２−１０）顔判定
（３）補正領域設定部
（３−１）人物の顔の長さと頬の幅とを算出
（３−２）顔の形状を分類
（３−３）顔の中心を算出
（３−４）基準位置を算出
（３−３）補正領域の位置を設定
（３−４）補正領域のパターンを設定
（４）顔補正部
（４−１）画像補整
先ず、本実施の形態における画像処理装置が設けられる写真ブースについて説明する。
【００１５】
Ａ．写真ブース
図４乃至図６に示すように、撮影装置１は、証明写真等を撮影するために用いられる写真ブースを構成するものであり、本体部を構成する筐体１１を有する。
この筐体１１は、背面部１２に相対向して設けられる側壁１３，１４と、側壁１３，１４間を閉塞し天井を構成する天板１５とを有し、背面部１２と一対の側壁１３，１４と天板１５とで構成される空間部に撮影室１６が設けられている。
【００１６】
被写体となる人物が撮影室１６に入ったときに対向する背面部１２には、その内部に、被写体となる人物を撮影するための撮影部１７、撮影部１７が撮影した画像を印刷する第１のプリンタ１８及び第２のプリンタ１９、撮影部１７の出力である画像信号をアナログ信号からディジタル信号に変換する等の画像処理を行う画像処理回路、全体の動作を制御する制御回路等の様々な電気回路が組み込まれたメイン基板２１等が内蔵されている。撮影部１７は、ＣＣＤ（Ｃｈａｒｇｅ−ＣｏｕｐｌｅｄＤｅｖｉｃｅ）やＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌ−ＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒｄｅｖｉｃｅ）等の撮影素子を有する撮影装置１７ａと、撮影室１６の被写体となる人物と向き合う面に設けられるハーフミラー１７ｂと、ハーフミラー１７ｂを透過した光を反射する反射板１７ｃとを有する。ハーフミラー１７ｂは、被写体となる人物を撮影するとき、ハーフミラー１７ｂで被写体となる人物からの光を所定量反射させることで被写体となる人物が自分の顔を見ることができるようにすると共に、残りの光を透過し、撮影装置１７ａに被写体となる人物からの光を取り込むことができるようにする。ハーフミラー１７ｂを透過した光は、反射板１７ｃで反射されて撮影装置１７ａへと導かれ、これによって、撮影装置１７ａは、被写体となる人物を撮影する。撮影装置１７ａからの出力は、メイン基板２１の画像処理回路に出力され、ディジタル処理がなされ、これを第１のプリンタ１８若しくは第２のプリンタ１９に出力する。
【００１７】
第１のプリンタ１８は、通常使用するメインプリンタであり、第２のプリンタ１９は、第１のプリンタ１８が故障したとき等に使用される補助プリンタである。ディジタル信号に変換された画像データは、第１のプリンタ１８若しくは第２のプリンタ１９に出力され、第１のプリンタ１８若しくは第２のプリンタ１９で印画紙に印刷される。その他に、筐体１１を構成する背面部１２には、電源スイッチ２０ａ、金庫２０ｂ等が内蔵されている。
【００１８】
側壁１３，１４は、このような背面部１２と一体的に、互いに略平行となすように設けられている。背面部１２を構成する外壁と共に側壁１３，１４は、鉄板等比較的比重の重い材料で形成することで、筐体１１の下側を重くし、安定して設置面２に設置できるように形成されている。一方の側壁１３は、他方の側壁１４より短くなるように形成されている。筐体１１は、長い側となる他方の側壁１４が、壁に沿うように設置される。短い側となる一方の側壁１３には、設置面２と接続する転倒防止部材２２が取り付けられる。転倒防止部材２２は、設置面２、一方の側壁１３のそれぞれをねじ止め等することで、筐体１１が一方の側壁１３側から押されたときにも倒れないようにしている。そして、他方の側壁１４は、一方の側壁１３より長く形成することで、一方の側壁１３側から力が加えられたときにも、筐体１１を十分支持できるように形成されている。
【００１９】
側壁１３，１４間に取り付けられる天板１５は、撮影室１６の天井を構成するものであり、長手方向の長さが長い側となる他方の側壁１４と略同じ若しくは他方の側壁１４よりやや長く形成されている。ここで、天板１５は、ポリプロピレン等の樹脂材料で形成されている。すなわち、天板１５は、側壁１３，１４に比べて比重の軽い材料で形成されている。筐体１１は、側壁１３，１４を含む周面を鉄板等の比較的比重の重い材料で形成し、上方に位置する天板１５を比重の比較的軽い材料で形成し、下側が重くなるように形成することで、安定して設置面２に設置できるようになっている。
【００２０】
撮影室１６は、以上のような背面部１２と一体的に形成される一対の側壁１３，１４と天板１５とで構成され、一方の側壁１３の端部と他方の側壁１４の端部との間が撮影室１６の入り口２３とされている。すなわち、被写体となる人物は、筐体１１の前面側からと一方の側壁１３側から撮影室１６に入ることができる。筐体１１は、底板が設けられておらず、従って、撮影室１６の床は、設置面２となっており、撮影室の床は、設置面２と面一になっている。
【００２１】
ここで撮影室１６の詳細を説明すると、撮影室１６には、長い側の他方の側壁１４に回動支持された椅子２４が設けられている。なお、椅子２４の隣には、物置台２５が設けられおり、被写体となる人物が鞄等を置くことができるようになっている。
【００２２】
椅子２４に座った人物と対向する第１の面１６ａは、撮影部１７を構成する撮影装置１７ａの光軸と垂直となるように形成されており、この面の被写体となる人物の顔と対向する位置には、撮影部１７を構成する略矩形のハーフミラー１７ｂが設けられている。このハーフミラー１７ｂは、椅子２４に座った人物がハーフミラー１７ｂで自分の顔を見ながら撮影を行うことができるようになっている。
【００２３】
このハーフミラー１７ｂが設けられた第１の面１６ａと左右に隣り合う第２及び第３の面１６ｂ，１６ｃは、互いに向き合う方向に、第１の面１６ａに対して傾斜するように設けられている。これら第２及び第３の面１６ｂ，１６ｃには、被写体となる人物を照らす照明器具２６，２７が設けられている。照明器具２６，２７は、発光体が内蔵されており、撮影時に点灯されることで、フラッシュ撮影を行うことができる。
【００２４】
なお、更に、この撮影室１６には、照明器具２６，２７他に、被写体を下側から照射する照明器具２８が設けられている。この照明器具２８は、第１の面１６ａであってハーフミラー１７ｂの下側に撮影室１６側に突出して形成された突出部２８ａの上側の面２８ｂに設けられ、照射方向が斜め上方となるように設けられている。
【００２５】
また、撮影室１６には、被写体となる人物の正面側であって、一方の側壁１３側に操作部を構成する料金投入部２９が設けられている。料金投入部２９は、コインを投球するコイン投入部２９ａと紙幣を投入する紙幣投入部２９ｂとからなり、これら投入部２９ａ，２９ｂは、人が椅子２４座ったとき、手で料金を投入し易い高さに設けられている。なお、ここででは、操作部として、料金投入部２９が設けられているのみであるが、その他に、撮影を開始する撮影開始ボタン、撮影した画像を第１のプリンタ１８若しくは第２のプリンタ１９で印刷する前に確認する確認ボタン等を設けるようにしてもよく、この場合、これらのボタンも、被写体となる人物の正面側であって、一方の側壁１３側に設けられる。
【００２６】
また、撮影室１６には、被写体となる人物が撮影室１６に入ったかどうかを検出する被写体検出部３２が設けられている。被写体検出部３２は、天板１５の椅子２４の上に設けられ、被写体となる人物が撮影位置に居ることを検出することができるようになっている。被写体検出部３２は、被写体となる人物を検出すると、この検出信号を、メイン基板２１の制御回路に出力し、待機モードから写真撮影モードに切り換える。
【００２７】
天板１５の入り口２３となる領域には、図示しないカーテンレールやフックが設けられており、このカーテンレールやフックには、遮光部材となるカーテン３３が垂下されており、入り口２３を開閉できるようになっている。このカーテン３３は、遮光性のものであり、撮影時に外光が撮影室１６内に入らないようにしている。このカーテン３３は、図７に示すように、撮影室１６へ出入りするときには簡単に移動させて容易に入ることができる。カーテン３３をフックに固定したときには、正面入口のカーテン３３にスリット３３ａを設けることにより入りやすくなる。カーテン３３の撮影室１６側の面であって、被写体の背後となる領域は、写真の背景となる領域である。このため、スリット３３ａは、写真の背景となる領域を除く領域に設けられている。
【００２８】
なお、短い側の一方の側壁１３には、外面側に、第１のプリンタ１８若しくは第２のプリンタ１９で印刷された写真が排出される写真排出口３８が設けられている。
【００２９】
次に、背面部１２に内蔵されたメイン基板２１等に組み込まれた制御回路について図８を参照して説明すると、この制御回路７０は、装置の動作に必要なプログラムが記憶されるＲＯＭ（Ｒｅａｄ−ＯｎｌｙＭｅｍｏｒｙ）７１と、装置の動作に必要なアプリケーションプログラム及び後述する画像抽出処理を行うプログラム等が記憶されるハードディスク等からなるプログラム記憶部７２と、ＲＯＭ７１やプログラム記憶部７２に保存されているプログラムがロードされるＲＡＭ（Ｒａｎｄｏｍ−ＡｃｃｅｓｓＭｅｍｏｒｙ）７３と、料金投入部２９より投入された金額等を判断し課金処理を行う課金処理部７４と、音声を出力する音声出力部７５と、音声データを可聴音として出力するスピーカ７６と、外部記憶装置が装着されるドライブ７７と、全体の動作を制御するＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）７８とを備え、これらは、バス７９を介して接続されている。また、このバス７９には、撮影部１７を構成する撮影装置１７ａ、照明器具２６，２７，２８、撮影室１６に被写体となる人物が入ったかどうかを検出する被写体検出部３２、椅子２４が待機位置にあることを検出する検出部５９等が接続されている。
【００３０】
ドライブ７７には、記録可能な追記型若しくは書換え型の光ディスク、光磁気ディスク、磁気ディスク、ＩＣカード等のリムーバル記録媒体８０を装着することができる。これら、リムーバル記録媒体８０には、例えば撮影部１７で撮影した被写体となる人物の画像データが保存される。この画像データは、リムーバル記録媒体８０を用いるほか、ＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）等のネットワークに接続された送受信部を介して上記他の情報処理装置に送信するようにしてもよい。更に、このドライブ７７は、ＲＯＭ型の光ディスク等のリムーバル記録媒体８０を装着し、本装置１を動作させるのに必要なアプリケーションプログラムをプログラム記憶部７２にインストールするのに用いるようにしてもよい。勿論、プログラム記憶部７２等にインストールするプログラムは、上記送受信部を介してダウンロードしてインストールするようにしてもよい。
【００３１】
以上のように構成された撮影装置１では、被写体となる人物を撮影し、撮影して得られた人物画像データを後述する画像処理部１００により自動的に処理した後、印画紙に印刷することで写真を得ることができる。
【００３２】
Ｂ．画像処理
次に、上述の撮影装置１に設けられる画像処理装置について説明する。この画像処理装置は、上述したように撮影装置１に備えられるものであり、撮影されて出力された人物の画像データ（以下では、人物画像データと記述する。）から人物の顔の特徴点を検出して補正領域を調整し、調整された補正領域における人物画像データの補正を行い、補正後の人物画像データを出力するものである。具体的に、画像処理装置は、上述の制御回路７０内のプログラム記憶部７２に記憶されたプログラムによって、入力された人物画像データから人物の顔の特徴点を検出して補正領域を設定し、設定された補正領域における人物画像データの補正を行う処理を実行するものである。勿論、この本発明は、プログラムの他、ハードウェアで実現するようにしてもよい。
【００３３】
図９に示すように、画像処理装置１００は、上述の撮影部１７により人物が撮影されて出力されたカラーの人物画像データ（以下では、カラー画像データという。）が入力され、デジタルデータとして出力する画像入力部１０１と、カラー画像データが入力されて肌色領域を検出する肌色領域抽出部２００と、検出された肌色領域から被写体の顔の特徴点を検出する被写体検出部３００と、検出された特徴点の位置情報に基づき補正領域を設定する補正領域設定部４００と、設定された補正領域内における被写体の顔の輪郭を補正する顔補正部５００とを備える。
【００３４】
肌色領域抽出部２００は、図１０に示すように、画像入力部１０１から入力されたカラー画像データの各画素値を色空間上の座標値に変換する色変換部である表色系変換部２１２と、この色空間上に変換された座標値の出現頻度を表すヒストグラムを生成するヒストグラム生成部２１３と、このヒストグラムにおける出現頻度の極大点及びその近傍の画素を初期クラスタとして抽出する初期クラスタ抽出部２１４と、初期クラスタ抽出部２１４にて抽出された初期クラスタ及び画像入力部１０１から供給されるカラー画像データから上記初期クラスタを含む閉領域を抽出する初期領域抽出部２１５と、この初期領域内に複数の初期クラスタが抽出されている場合に初期クラスタを１つのクラスタとして統合するクラスタ統合部２１６と、この初期領域内の画素の分布状態に応じてこの初期領域を複数の領域に分割する領域分割部２１７と、人間の肌の色に対応するクラスタに属する画素が含まれる領域を抽出する領域抽出部２１８とを備え、抽出した肌色領域データを被写体検出部３００に供給する。
【００３５】
被写体検出部３００は、図１１に示すように、画像入力部１０１及び肌色領域抽出部２００から、カラー画像データ及び肌色領域が入力され、人物の頭頂部の位置を検出する頭頂部検出部３１１と、カラー画像データ及び肌色領域が入力され、人物の口の位置を検出する口検出部３１２と、カラー画像データ、肌色領域、頭頂部及び口のデータが入力され、人物の眼の位置を検出する眼検出部３１３と、眼及び口のデータが入力され、人物の顎の位置を検出する顎検出部３１４と、カラー画像データ、口及び眼のデータが入力され、人物の顔の中心線を検出する中心線検出部３１５と、カラー画像データと眼及び口のデータとが入力され、人物の鼻の位置を検出する鼻検出部３１６と、カラー画像データ及び肌色領域が入力され、顔の幅方向の両端部を検出する端部検出部３１７と、カラー画像データ及び肌色領域、口及び眼のデータが入力され、人物の頬を検出する頬検出部３１８と、頭頂部、眼、口、鼻及び顔の中心線のデータが入力され、顔領域を修正する領域修正部３１９と、カラー画像データ、肌色領域、眼、口、鼻及び顔の中心線のデータと領域修正部３１９から修正データとが入力され、抽出された肌色領域Ｖが人物の顔であるか否かを判定する判定部３２０とを備え、顔と判定された肌色領域と頭頂部、口、眼、顎、頬及び顔の中心線のデータとを被写体の顔の特徴点情報として補正領域設定部４００に供給する。
【００３６】
補正領域設定部４００は、図１２に示すように、画像入力部１０１及び被写体検出部３００からカラー画像データ及び特徴点情報が入力され、人物の顔の長さ及び幅を算出する顔形状算出部４１１と、顔形状算出部４１１から入力された算出結果に基づき人物の顔の長さ及び幅から顔の形を分類する顔分類部４１２と、顔の中心Ｍを算出する顔中心算出部４１３と、人物の顔の輪郭を補正する補正領域の位置を設定する基準となる位置Ｎを算出する基準位置算出部４１４と、基準位置Ｎに応じて補正領域の位置を設定する領域位置設定部４１５と、分類された顔の形に基づいて人物の顔の輪郭を補正する補正領域のパターンを設定するパターン設定部４１６とを備え、補正領域の位置とパターンを調整したデータを補正領域情報として顔補正部５００に供給する。
【００３７】
顔補正部５００は、図１３に示すように、画像入力部１０１及び補正領域設定部４００からそれぞれ補正領域情報及びカラー画像データが入力され、画像補正を行う画像補正部５１１とを備え、補正領域情報に基づき補正領域内の人物の顔の輪郭を補正してカラー画像データを出力する。
【００３８】
以下、画像処理装置の各部位について詳細に説明する。
【００３９】
（１）肌色領域抽出部
肌色領域抽出部２００においては、先ず、入力されたカラー画像データの表色系を変換して色空間上の座標値に変換する（色変換工程）。次に、この色空間上の座標値の出現頻度を示すヒストグラムを生成する（ヒストグラム生成工程）。
そして、このヒストグラムにおける出現頻度の極大点及びその極大点近傍の画素を初期クラスタとして抽出し、この初期クラスタの色空間上の分布を示すクラスタマップＣを生成する（初期クラスタ抽出工程）。各初期クラスタには、これらを識別するクラスタ番号ｎが設定される。次いで、クラスタマップＣ上の各初期クラスタを再び、元のカラー画像データ上の座標値に変換した領域マップＲを形成する。領域マップＲ上の各画素は、座標値と共にクラスタ番号ｎを有する。この領域マップＲ上で同一の初期クラスタに属する画素、すなわち、同一のクラスタ番号ｎを有する画素の密度分布が所定の閾値以上である長方形の閉領域を初期領域として抽出する（初期領域抽出工程）。次に、任意の２つの初期クラスタを選択し、この２つの初期クラスタが、クラスタマップＣ上において近接し、且つ領域マップＲ上において近接する長方形領域に属するものである場合、この２つの初期クラスタを統合する（クラスタ統合工程）。初期クラスタを統合した統合クラスタに基づいて領域マップＲを更新し、この更新した領域マップに基づいて長方形領域も再設定する。次に、再設定した長方形領域内における同一のクラスタ番号ｎを有する画素の密度分布を算出し、この密度分布に基づいて必要に応じて長方形領域を分割する（領域分割工程）。こうして、入力カラー画像データにおいて、同一の色を有する複数の長方形領域が設定される。これらの長方形領域から、特定の色、ここでは、肌色を有する長方形領域を抽出する。以下、各工程について説明する。
【００４０】
（１−１）色変換工程
図１２に示すように、色変換工程では、表色系変換部２１２により、画像入力部１０１で得られたカラー画像データを所望の領域を抽出するために適した表色系に変換する。過検出を極力軽減するためには、変換後の表色系は、その表色系による色空間において、抽出すべき領域の色ができるだけ狭い範囲に分布するようなものを選択することが好ましい。これは、抽出すべき領域の性質に依存するが、例えば本実施の形態のように、人物の顔の領域を抽出対象とする場合に効果的な表色系の１つとして、下記式（１）に示すｒ−ｇ表色系が知られている。
【００４１】
【数１】

【００４２】
ここで、Ｒ、Ｇ、Ｂはｒ−ｇ表色系の各座標値を表している。したがって、画像入力部１０１の出力画像がＲＧＢ表色系で表されている場合、表色系変換部２１２では各画素毎に上記式（１）の演算が行なわれ、座標値（ｒ，ｇ）の値が算出される。こうして表色系が変換された変換データは、ヒストグラム生成部２１３に供給される。
【００４３】
なお、以下の説明では、このｒ−ｇ表色系を領域抽出に用いる場合を例に説明する。また、特に入力カラー画像データ上の位置（座標）（ｘ，ｙ）における値を表す場合には、｛ｒ（ｘ，ｙ），ｇ（ｘ，ｙ）｝と表現する。
【００４４】
（１−２）ヒストグラム生成工程
ヒストグラム生成工程では、ヒストグラム生成部２１３により、表色系変換部２１２によって表色系が変換された変換データ｛ｒ（ｘ，ｙ），ｇ（ｘ，ｙ）｝の色空間上における出現頻度を示す２次元ヒストグラムを生成する。ヒストグラムの生成は、抽出すべき領域の色が十分に含まれる色の範囲に対してのみ行なわれる。このような色の範囲は、例えば、ｒ及びｇの各値に対する下限値及び上限値を定めることで下記式（２）のように表すことができる。
【００４５】
【数２】

【００４６】
ここで、ｒｍｉｎ及びｒｍａｘは、夫々ｒの下限値及び上限値、ｇｍｉｎ及びｇｍａｘは、夫々ｇの下限値及び上限値を示す。
【００４７】
画像上の位置（ｘ，ｙ）における｛ｒ（ｘ，ｙ），ｇ（ｘ，ｙ）｝が上記式（２）の条件を満足する場合、先ず、これらの値が下記式（３）によって量子化され、ヒストグラム上の座標（ｉｒ，ｉｇ）に変換される。
【００４８】
【数３】

【００４９】
ここで、ｒｓｔｅｐ及びｇｓｔｅｐは、それぞれｒ及びｇに対する量子化ステップであり、ｉｎｔは括弧内の数値の小数点以下を切り捨てる演算を示す。
【００５０】
次に、算出された座標値に対応するヒストグラムの値を下記式（４）によってインクリメントすることで、座標値の出現頻度を示す２次元ヒストグラムＨが生成される。
【００５１】
【数４】

【００５２】
図１４は、簡単のため、本来２次元であるヒストグラムを１次元としたヒストグラムと抽出された初期クラスタとの関係を模式的に示すものである。図１４に示すように、出現頻度は、カラー画像データ上の例えば肌色等の各色領域の大きさに応じて大きさが異なる複数個の極大値を有する。
【００５３】
生成されたヒストグラムＨは、例えばノイズを除去し、誤検出を防止するために必要に応じてローパスフィルタによって平滑化された後、初期クラスタ抽出部２１４に供給される。
【００５４】
なお、上述した表色系変換部２１２では、ｒ−ｇ表色系に変換するようにしたが、これに限定されるものではなく、例えば、Ｌ^＊ａ^＊ｂ^＊表色系に変換するようにしてもよい。Ｌ^＊ａ^＊ｂ^＊表色系では、図１５に示すように、肌色領域が、ａ^＊ｂ^＊平面内においてθ≒５０度、ａ^＊が５〜２５、ｂ^＊が５〜２５の範囲に肌色領域が分布する。ここで、Ｌ^＊ａ^＊ｂ^＊表色系は、Ｌ^＊が明度を表し、ａ^＊ｂ^＊が色の方向を示す表色系であり、＋ａ^＊は赤、−ａ^＊は緑、＋ｂ^＊は黄、−ｂ^＊は青の方向を示している。
【００５５】
（１−３）初期クラスタ生成工程
初期クラスタ生成工程では、初期クラスタ抽出部２１４により、ヒストグラム生成部２１３によって生成された各座標値の出現頻度を示す２次元ヒストグラムＨから、分布が集中している色の座標の集合を初期クラスタとして抽出する。具体的には、上述したｒ−ｇ表色系の座標値における出現頻度の極大値及びその近傍に存在する画素群を１つの初期クラスタとして抽出する。すなわち、各極大点を、構成要素が１つの初期クラスタと見なし、これらを始点として、隣接する座標を併合することで初期クラスタの成長を行う。初期クラスタの成長は、既に生成されているクラスタマップをＣとすると、このクラスタマップＣ上の各座標を走査し、新たに併合すべき座標を検出することにより行われる。
【００５６】
例えば、図１４においては、極大点１乃至３に対し、この極大点１乃至３を始点としてこの極大点１乃至３近傍の座標の画素群が併合され、夫々初期クラスタ２７１_１乃至２７１_３として抽出される。ここで、図１４に示すヒストグラムにおける出現頻度Ｈ（ｉｒ，ｉｇ）の極大値を始点とし、この始点に隣接する座標の画素から、出現頻度Ｈ（ｉｒ，ｉｇ）が閾値Ｔに至る座標（閾値Ｔ以下になる前の座標）の画素まで順次併合するが、その際、座標（ｉｒ，ｉｇ）がいずれのクラスタにも併合されておらず、その出現頻度が閾値Ｔよりも大きく、更にその隣接座標（ｉｒ＋ｄｒ，ｉｇ＋ｄｇ）のいずれかにおいて、既にいずれかの初期クラスタに併合されたものがあり、その隣接座標における出現頻度が、自らの出現頻度よりも大きい場合に、座標（ｉｒ，ｉｇ）を既に併合されている隣接座標と同一の初期クラスタに併合すべき座標として検出する。このように、出現頻度の閾値Ｔを設けることにより、出現頻度が小さい座標領域における座標を有する画素の抽出を防止する。初期クラスタは、２次元ヒストグラムＨの極大点の個数に応じて１つ以上の初期クラスタが抽出されるが、各初期クラスタには固有の番号が割り当てられ、識別される。こうして抽出された複数の初期クラスタは２次元配列であるクラスタマップＣ（ｉｒ，ｉｇ）上に多値画像として下記式（５）のように示される。
【００５７】
【数５】

【００５８】
すなわち、上記式（５）は、色の座標（ｉｒ，ｉｇ）が初期クラスタｎに含まれていることを示す。図１６（ａ）及び図１６（ｂ）は、それぞれ入力画像及びクラスタマップＣを示す模式図である。図１６（ａ）に示すように、入力カラー画像データ２０１における例えば（ｘ１，ｙ１）、（ｘ２，ｙ２）等の各画素値は、表色系変換部２１２にて色座標（ｉｒ１，ｉｇ１）、（ｉｒ２，ｉｇ２）に変換され、その出現頻度から２次元ヒストグラムが生成されて、この２次元ヒストグラムに基づいて抽出された初期クラスタが図１６（ｂ）に示す横軸にｉｒ、縦軸にｉｇを取った２次元配列であるクラスタマップＣ上に初期クラスタ２７２，２７３として示される。抽出された初期クラスタは図１６（ｂ）に示すクラスタマップＣとして、初期領域抽出部２１５及びクラスタ統合部２１６に供給される。
【００５９】
（１−４）初期領域抽出工程
初期領域抽出部２１５では、初期クラスタ抽出部２１４において得られた、例えば図１６（ｂ）に示す初期クラスタ２７２，２７３等の初期クラスタに含まれる色を有する画素のうち、同一初期クラスタに属する画素がカラー画像データ上で集中する長方形の領域を初期領域のデータとして抽出する。図１６（ｃ）は、領域マップＲを示す模式図である。初期クラスタ抽出部２１４で成長され生成された各初期クラスタから抽出された画素は、図１６（ｃ）に示す２次元配列である領域マップＲ（ｘ，ｙ）上にクラスタを識別するｎを有する多値画像として表現される。ここで、図１６（ａ）に示す入力カラー画像データの位置（ｘ１，ｙ１），（ｘ２，ｙ２）における画素が、図１６（ｂ）に示す初期クラスタ２７２，２７３に含まれるものであり、初期クラスタ２７２，２７３のクラスタ番号ｎを１，２としたとき、領域マップＲにおける座標（ｘ１，ｙ１），（ｘ２，ｙ２）は、そのクラスタ番号１，２を有するものとなる。すなわち、画像上の位置（ｘ，ｙ）の画素の色がクラスタｎに含まれている場合、下記式（６）のように示される。
【００６０】
【数６】

【００６１】
そして、図１７に示す領域マップＲにおいて、抽出画素２７６の分布が集中する領域を囲む長方形領域２７７を算出する。各初期クラスタに対応して得られた長方形領域は、図１８に示すように、１つの対角線上で相対する２頂点の座標（ｓｒｘ，ｓｔｙ）、（ｅｄｘ，ｅｄｙ）で表現され、１次元配列である頂点リストＶ１に格納される。すなわち、クラスタｎに対応して得られた長方形領域２７７の２つの頂点座標が（ｓｔｘ，ｓｔｙ）、（ｅｄｘ，ｅｄｙ）である場合、これらの座標は頂点座標Ｖ１（ｎ）に下記式（７）のように格納される。
【００６２】
【数７】

【００６３】
各初期クラスタに対応して得られた抽出画素及び長方形領域のデータは、それぞれ領域マップＲ及び頂点リストＶ１としてクラスタ統合部２１６に供給される。
【００６４】
（１−５）クラスタ統合工程
クラスタ統合工程では、クラスタ統合部２１６により、初期クラスタ抽出部２１４で得られたクラスタマップＣ並びに初期領域抽出部２１５で得られた領域マップＲ及び頂点リストＶ１を使用して、本来１つの領域に含まれる色でありながら異なる初期クラスタとして抽出された複数の初期クラスタを統合する。
【００６５】
すなわち、クラスタ統合部２１６は、初期クラスタ抽出部２１４で生成されたクラスタマップＣが入力されると、先ず、任意の２つの初期クラスタｍ及び初期クラスタｎの組み合わせを発生させる。そして、発生させた初期クラスタｍ，ｎとクラスタマップＣとから初期クラスタｍと初期クラスタｎとの色差が算出される。また、初期クラスタｍ，ｎ並びに初期領域抽出部２１５で生成された領域マップＲ及び頂点リストＶ１から、初期クラスタｍと初期クラスタｎとの重なり度が算出される。そして、初期クラスタｍ，ｎ、領域マップＲ及び頂点リストＶ１、色差、並びに重なり度から、初期クラスタｍ，ｎを統合するか否かの判定が行われ、色差が小さく、初期クラスタｍ，ｎが画像上で大きく重なり合って分布している場合にこれらのクラスタを統合する。
【００６６】
初期クラスタの統合に応じて、領域マップＲ及び頂点リストＶ１が修正され、修正されたデータは、それぞれ領域マップＲ２及び頂点リストＶ２として領域分割部２１７に供給される。また修正された領域マップＲ２は領域抽出部２１８にも供給される。
【００６７】
（１−６）領域分割工程
領域分割工程では、領域分割部２１７により、クラスタ統合部２１６において修正された領域マップＲ２及び頂点リストＶ２のデータを用いて、同一のクラスタ、すなわち、初期クラスタ又は初期クラスタが統合された統合クラスタ（以下、単にクラスタという。）によって抽出された抽出画素の分布に応じて、頂点リストＶ２に格納されている頂点座標Ｖ２（ｎ）が示す長方形領域を分割する。すなわち、クラスタ統合部２１６によって得られた新たな領域マップＲ２及び頂点リストＶ２（ｎ）が入力されると、頂点リストＶ２（ｎ）が示す長方形領域を水平又は垂直に２分割する主分割点が検出される。長方形領域が垂直に２分割された場合は、領域マップＲ２及び分割された２つの垂直分割長方形領域の頂点リストを使用して、各垂直分割長方形領域が水平に分割される。また、長方形領域が水平に２分割された場合は、領域マップＲ２及び分割された２つの水平分割長方形領域の頂点リストを使用して、各水平分割長方形領域が垂直に分割される。領域の分割には、例えば頂点リストＶ２で表される長方形領域内において、クラスタｎによって抽出された画素の数を水平方向及び垂直方向に累積したそれぞれのヒストグラムＨＨ及びＨＶ使用し、このヒストグラムの最小点となる点を検出し、これが予め設定された閾値よりも小さい場合に分割する。そして、領域マップＲ２及びこのように分割された長方形領域の頂点リストを使用して、長方形領域を修正する。
【００６８】
例えば、図１９に示すように、画像上で同一のクラスタによって抽出された抽出画素が、このクラスタに対応して得られた長方形領域２９５において複数の領域２９６ａ，２９６ｂを構成している場合、各領域２９６ａ，２９６ｂを異なる領域とみなし、長方形領域２９５の分割を行う。この結果、１つの初期クラスタに属する長方形領域２９５内に、例えば領域２９６ａ，２９６ｂ等の複数の画素の領域が対応することになり、各画素の領域２９６ａ，２９６ｂを取り囲む分割長方形領域２９７ａ，２９７ｂを算出することができる。
【００６９】
分割長方形領域２９７ａ，２９７ｂは初期領域抽出部２１５と同様、図１８に示すように１つの対角線上で相対する２つの頂点座標で表され、新たな頂点リストＶ３（ｎ，ｍ）に格納される。すなわち、クラスタｎに対応するｍ番目の長方形領域が｛（Ｖ３（ｎ，ｍ）．ｓｔｘ，Ｖ３（ｎ，ｍ）．ｓｔｙ），（Ｖ３（ｎ，ｍ）．ｅｄｘ，Ｖ３（ｎ，ｍ）．ｅｄｙ）｝で表される場合、これらの座標は新たな頂点リストＶ３（ｎ，ｍ）に下記式（８）のように格納されるものとする。新たな頂点リストＶ３（ｎ，ｍ）は、領域抽出部２１８に供給される。
【００７０】
【数８】

【００７１】
（１−７）領域抽出工程
領域抽出部２１８では、クラスタ統合部２１６において修正された領域マップＲ２と、領域分割部２１７において得られた新たな頂点リストＶ３を用いて、下記式（９）の条件を満たす画素の集合Ｓｎｍを抽出する。
【００７２】
【数９】

【００７３】
すなわち、同一のクラスタから抽出された画素であっても、領域分割部２１７にて長方形領域が分割された場合、例えば図１９に示す長方形領域２９７ａ，２９７ｂ等のような分割された長方形領域を１つの集合と見なして抽出する。ここで抽出された複数の領域は図示せぬ判別処理部に送られ、所望の領域か否かの判別が行なわれる。
【００７４】
このように肌色領域抽出部２００では、クラスタ統合部２１６により、１つの物体に対応する領域が類似した複数の色から構成されている場合、それらの色を統合して、１つの領域として扱うことができ、また、領域分割部２１７により、同一の色を持つ物体が複数存在する場合、それらを分離して扱うことが可能となる。また、クラスタを抽出し、これを統合し、更に画素密度分布によって抽出領域を分割することにより、肌色領域を極めて正確に抽出することができる。
【００７５】
（２）被写体検出部
被写体検出部３００では、肌色領域抽出部２００によって抽出された各肌色領域を顔領域と仮定し、この肌色領域に対応する頂点座標Ｖ３（ｎ）が示す長方形領域から、各検出部により特徴点が検出される。被写体検出部３００は、図１１に示すように、頭頂部検出部３１１により人物の頭頂部の位置を検出し、口検出部３１２により肌色領域内の赤みの強さに基づいて人物の口の位置を検出し、眼検出部３１３により頭頂部及び口の位置に基づいて検索範囲を設定して眼を検出し、顎検出部３１４により眼及び口の位置に基づいて顎の位置を検出し、中心線検出部３１５により、口の位置から口領域を設定し、この口領域内の赤み強度に基づいて顔の中心線を検出し、鼻検出部３１６により、口及び眼の位置から鼻領域を設定し、この鼻領域の明るさの変化に基づいて鼻の位置を検出し、端部検出部３１７により、肌色領域内において肌色から他の色に変化する境界から顔の両端部を検出し、頬検出部３１８により、頭頂部、眼及び口の位置に基づき肌色領域内において肌色から他の色に変化する境界から頬のラインを検出し、領域修正部３１９により、頭頂部、顎及び顔中心線の位置から、肌色領域抽出部２００にて算出された頂点座標Ｖ３（ｎ）を修正し、判定部３２０により、抽出された肌色領域Ｖが人物の顔であるか否かを判定する。以下、各検出部について更に詳細に説明する。
【００７６】
（２−１）人物の頭頂部を検出
頭頂部検出部３１１は、肌色領域を顔として、人物の頭頂部を検出する。頭頂部の検出は、例えば人物以外の背景領域は単一色であること及び人物の上方、すなわち、垂直座標が小さい側には背景領域のみが存在し得ることを仮定し、背景色とは異なる色を有する画素の中で垂直座標が最も小さい位置を検出する。以下、頭頂部の位置における垂直方向の座標を頭頂部の高さという。
【００７７】
具体的には、図２０に示すように、画像入力部１０１から供給される入力カラー画像データ３６０において、注目する肌色領域３６１に対応する長方形領域３６２の図２０中上方の領域、すなわち、長方形領域３６２よりも垂直座標が小さい領域であって、Ｖ３（ｎ，ｍ）．ｓｔｘ≦水平座標（ｘ座標）≦Ｖ３（ｎ）．ｅｄｘの範囲に設定した頭頂部探索範囲３６３を図２０中上方から走査し、各画素の値と背景領域３６４の背景色との差ｄを下記式（１０）によって算出する。
【００７８】
【数１０】

【００７９】
ここで、Ｒ（ｘ，ｙ）、Ｇ（ｘ，ｙ）、Ｂ（ｘ，ｙ）はカラー画像データ上の座標（ｘ，ｙ）における画素のＲ、Ｇ、Ｂの値であり、Ｒｂｇ、Ｇｂｇ、Ｂｂｇは背景色のＲ、Ｇ、Ｂの値である。この背景色としては、現在の注目画素よりも上方、すなわち、垂直座標（ｙ座標）が小さい領域における画素の平均値、例えばカラー画像データ３６０の最上端３６０ａから１０ライン目までの平均値を使用することができる。
【００８０】
そして、上記式（１０）の色の差ｄを算出し、この値が所定の閾値Ｔよりも大きい画素が出現した時点で、その垂直座標ｙを頭頂部の高さＴＯＨとする。検出された頭頂部の高さＴＯＨは眼検出部３１３、頬検出部３１８及び領域修正部３１９に供給される。
【００８１】
なお、頭頂部の位置ＴＯＨは、人物の髪の上端としてもよいし、肌色領域の上端としてもよい。
【００８２】
（２−２）人物の口を検出
次に、口検出部３１２は、肌色領域抽出部２００により抽出された各肌色領域に対し、口の高さを検出する。先ず、頂点リストＶ３（ｎ）によって表される長方形領域内において、肌色領域としては抽出されていない各画素（ｘ，ｙ）に対して、赤みの強さを示す下記式（１１）の値ｒｄｓｈ（ｘ，ｙ）を算出する。
【００８３】
【数１１】

【００８４】
算出された値ｒｄｓｈ（ｘ，ｙ）は、図２１に示すように水平方向（ｘ軸方向）に累積されて、下記式（１２）に示すヒストグラムＨｒｄｓｈ（ｙ）が生成される。
【００８５】
【数１２】

【００８６】
ここで、Ｖ３（ｎ）及びＲ（ｘ，ｙ）は、いずれも肌色領域抽出部２００から送られたデータであって、夫々肌色領域ｎに対応する長方形領域の頂点座標、及び領域マップを示す。
【００８７】
次に、ヒストグラムＨｒｄｓｈ（ｙ）は、ノイズ等を除去するため、必要に応じて１次元ローパスフィルタによって平滑化された後、ヒストグラムＨｒｄｓｈ（ｙ）の最大値における垂直座標ｙが口の高さＨＯＭとして検出される。検出された口の高さＨＯＭは、眼検出部３１３、顎検出部３１４、中心線検出部３１５、鼻検出部３１６、頬検出部３１８、領域修正部３１９及び判定部３２０に供給される。
【００８８】
（２−３）人物の眼を検出
次に、眼検出部３１３は、肌色領域抽出部２００で抽出された各肌色領域に対して眼の高さを検出する。先ず、頭頂部検出部３１１によって検出された頭頂部の高さＴＯＨと口検出部３１２によって検出された口の高さＨＯＭとから、垂直方向（ｙ軸方向）の眼の探索範囲を例えば下記式（１３）により算出する。
【００８９】
【数１３】

【００９０】
ここで、ｅ１及びｅ２は予め設定された係数である。ｅｔｏｐ及びｅｂｔｍは、夫々検索範囲の垂直座標における下限値及び上限値である。そして、これら垂直座標における下限値及び上限値に挟まれ、且つ注目する肌色領域に対応する長方形領域内に存在する画素に対して水平方向のエッジ（以下、水平エッジという。）の強度ｅｄｇｅ（ｘ，ｙ）を検出する。
【００９１】
入力カラー画像データの各座標において算出された水平エッジの強度ｅｄｇｅ（ｘ，ｙ）は、水平方向（ｘ軸方向）に累積されて、長方形領域内における垂直方向の水平エッジを示すヒストグラムＨｅｄｇｅ（ｙ）が下記式（１４）により算出される。
【００９２】
【数１４】

【００９３】
ここで、Ｖ３（ｎ）は肌色領域抽出部２００で得られた肌色領域ｎに対応する長方形領域の頂点座標である。図２２は、生成されたヒストグラムＨｅｄｇｅ（ｙ）を示す模式図である。ヒストグラムＨｅｄｇｅ（ｙ）は、ノイズ等を除去するため、必要に応じて１次元ローパスフィルタによって平滑化された後、その最大値に対応する垂直座標ｙが眼の高さＨＯＥとして検出される。
【００９４】
また、上記式（１３）によって算出されるｅｂｔｍが、肌色領域を囲む長方形領域の頂点座標のＶ３（ｎ）．ｓｔｙより小さい場合、頭頂部の高さＴＯＨ又は口の高さＨＯＭの検出が適切に行なわれていない可能性が高い。そこで、このような場合には、対応する長方形領域の頂点座標Ｖ３（ｎ）に位置座標としては無効な値である例えば−１を格納して頂点リストＶを修正することができる。
【００９５】
検出された眼の高さＨＯＥは、顎検出部３１４、中心線検出部３１５、鼻検出部３１６、領域修正部３１９及び判定部３２０に供給される。また、修正された頂点リストＶは、顎検出部３１４、中心線検出部３１５、鼻検出部３１６、領域修正部３１９及び判定部３２０に供給される。
【００９６】
（２−４）人物の顎を検出
顎検出部３１４では、眼検出部３１３において修正された頂点リストＶ３に無効ではない頂点座標を有する各肌色領域に対して、顎の高さを検出する。顎の高さの検出は、例えば図２３に示すように、人物の顔３８０においては顎と口との間の距離３８１と、眼と口との間の距離３８２との比がほぼ一定であると仮定して、下記式（１５）により推定することができる。
【００９７】
【数１５】

【００９８】
ここで、ｃは、予め設定された係数であり、ＨＯＪは顎の高さを示す。算出された顎の高さＨＯＪは領域修正部３１９に供給される。
【００９９】
（２−５）人物の顔の中心線を検出
次に、顔の中心線検出部３１５は、眼検出部３１３において修正された頂点リストＶ３に無効ではない頂点座標を有する各肌色領域に対して、顔を左右に分割する中心線の位置を検出する。
【０１００】
ここでは、はじめに口検出部３１２で検出された口の高さＨＯＭを中心として垂直方向の座標における口探索範囲を設定する。この探索範囲は、図２４に示すように、例えば対応する長方形領域の垂直方向における幅から下記式（１６）により算出することができる。
【０１０１】
【数１６】

【０１０２】
ここで、ｍは予め設定された係数であり、Ｖ３（ｎ）は肌色領域ｎに対応する長方形領域の頂点座標である。上記式（１６）により算出されたそれぞれｍｔｏｐ及びｍｂｔｍを、探索範囲のｙ座標の夫々下限値及び上限値とする。また、水平方向の探索範囲は、長方形領域の水平方向の幅とすることができる。すなわち、ｘ座標の上限及び下限は、長方形領域の夫々左端Ｖ３（ｎ）．ｓｔｘ及び右端Ｖ３（ｎ）．ｅｄｘとすることができる。図２４は、肌色領域３９１に対応する長方形領域３９２における口の高さＨＯＭ及び検索範囲ｍｔｏｐ、ｍｂｔｍを示す模式図である。
【０１０３】
次に、設定された探索範囲に存在し、かつ肌色領域に含まれない画素に対して上記式（１１）により赤みの強さを算出し、赤みの強さの値が閾値よりも大きくなる画素の水平座標の平均値を中心線の水平座標位置ＣＯＨとして検出する。赤みの強さを算出する際に、肌色領域に属する画素を除くことにより、肌色領域に属する画素の影響を排除することができ、極めて高精度に顔の中心線を検出することができる。こうして、検出された顔中心線の位置ＣＯＨは領域修正部３１９及び判定部３２０に供給される。
【０１０４】
また、顔の中心線は、肌色領域における肌色画素の分布の平均位置を検出し、これを通る直線を顔の中心線とすることもできる。
【０１０５】
（２−６）人物の鼻を検出
次に、鼻検出部３１６は、肌色領域抽出部２００により抽出された各肌色領域に対し、鼻の位置を検出する。先ず、頂点リストＶ３（ｎ）によって表される長方形領域内において、図２５に示すように眼の位置と口の位置に基づき、眼及び口の中間に鼻領域ＡＯＮを設定し、顔の高さ方向及び顔の幅方向の明るさの変化を算出する。鼻検出部３１６は、算出された結果に基づき、明るさの変化が大きい部分を鼻の位置ＨＯＮとして検出する。検出された鼻の位置ＨＯＮは、判定部３２０に供給される。
【０１０６】
なお、鼻検出部３１６は、顔の中心線ＣＯＨを基準に鼻の位置ＨＯＮを検出するようにしてもよい。
【０１０７】
（２−７）人物の顔の両端を検出
次に、端部検出部３１７は、画像入力部１０１から出力されたカラー画像データと、肌色領域抽出部２００により抽出された各肌色領域とから顔の両端部を検出する。先ず、頂点リストＶ３（ｎ）によって表される長方形領域内において、図２６に示すように、水平方向に各画素（ｘ，ｙ）に対して、肌色の強さの値ｆｃ（ｘ，ｙ）を算出する。頬検出部３１８は、この値ｆｃ（ｘ，ｙ）を垂直方向にライン毎に算出し、肌色の領域とそれ以外の領域との境界を検出し、肌色領域の幅が最大となる顔の両端を、ＬＯＬ，ＬＯＲとして検出する。検出された顔の両端ＬＯＬ，ＬＯＲは、補正領域設定部４００に供給される。
【０１０８】
（２−８）人物の頬を検出
頬検出部３１８は、画像入力部１０１から出力されたカラー画像データと、肌色領域抽出部２００により抽出された各肌色領域とから頬のラインを検出する。
先ず、頂点リストＶ３（ｎ）によって表される長方形領域内において、図２６に示すように、水平方向に各画素（ｘ，ｙ）に対して、肌色の強さの値ｆｃ（ｘ，ｙ）を算出する。頬検出部３１８は、この値ｆｃ（ｘ，ｙ）を垂直方向にライン毎に算出し、肌色の領域とそれ以外の領域との境界を検出し、この境界線を頬のラインＨＯＣとして検出する。検出された頬のラインＨＯＣは、判定部３２０及び補正領域設定部４００に供給される。
【０１０９】
（２−９）長方形領域の修正
領域修正部３１９は、眼検出部３１３において修正された頂点リストＶ３に無効ではない頂点座標を有する各肌色領域に対して、長方形領域を改めて算出し、頂点リストＶの修正を行う。例えば、頭頂部検出部３１１で得られた頭頂部の高さＴＯＨ、顎検出部３１４で得られた顎の高さＨＯＪ、及び中心線検出で得られた中心線の位置ＣＯＨを使用して、図２７に示すように、長方形領域３９３を設定することができる。すなわち、修正後の長方形領域３９３を示す２つの頂点座標｛（ｓｔｘ、ｓｔｙ），（ｅｄｘ、ｅｄｙ）｝は下記式（１７）により算出することができる。
【０１１０】
【数１７】

【０１１１】
ここで、ａｓｐは人物の顔の幅に対する高さの比、すなわちアスペクト比を示す係数、適当な値が予め設定されているものとする。
【０１１２】
肌色領域ｎに対して新たに算出された頂点座標は、頂点リストＶに上書きされ判定部３２０に供給される。
【０１１３】
（２−１０）顔判定
判定部３２０は、領域修正部３１９において修正された頂点リストＶ３に無効ではない頂点座標を有する各肌色領域に対して、その肌色領域が顔領域であるか否かの判定を行う。顔領域の判定は、例えば人物の顔領域では眼の部分及び口の部分に水平エッジが多く分布すること、また唇の色が他の部分に比べて赤みが強いことを利用し、これらの条件が口検出部３１３で検出された口の高さＨＯＭ、及び眼検出部３１４で検出された眼の高さＨＯＥにおいて成立しているか否かを検証することにより行うことができる。判定結果は、顔領域であるか否かを表す２値のフラグｆａｃｅｆｌａｇとして出力される。また、判定部３２０は、各検出部により検出された顔の特徴点のデータを補正領域設定部４００に特徴点情報として出力する。
【０１１４】
このように、被写体検出部３００においては、抽出された肌色領域に対して、頭頂部及び口の位置を検出し、これらの位置から眼の検索範囲を設定して眼の位置を検出するため、極めて高精度に眼の位置を検出することができる。また、顎の位置は、眼と口の位置から算出することにより、顔と首との輝度及び色の差が小さく、高精度に検出することが難しい場合にも顎の位置の検出を正確に行うことができる。更に、顔の中心線は、口の赤みの強さに基づき検出されるため、極めて高精度に顔中心線を検出することができる。更にまた、鼻の位置は、眼と口の位置から算出することにより、鼻の周囲で輝度及び色の変化が小さく、高精度に検出することが難しい場合にも鼻の位置の検出を正確に行うことができる。更にまた、判定部３２０において、眼のパターンらしさ及び口のパターンらしさ等を判定し、この判定結果に基づき顔であるか否かの総合判定をするため、複数の顔が含まれている場合であっても、顔であるか否かの判定結果の信頼性が高い。
【０１１５】
また、被写体検出部３００においては、判定部３２０により顔と判定される肌色領域が複数存在する場合に、複数の顔領域から、例えばその顔領域の位置に基づき１つの顔領域を選択する選択部（図示せず）を設けることもできる。これにより、例えば、複数の顔領域が存在する画像から１つの顔領域を抽出して、例えばトリミング処理を施すことができる。なお、複数の顔領域があると判定された場合には、判定部３２０に、顔領域を選択する機能をもたせるようにしてもよい。
【０１１６】
（３）補正領域設定部
補正領域設定部４００では、被写体検出部３００によって検出された特徴点情報に基づき、補正を行う領域の位置や、補正度合いを調整するパターンを設定する。補正領域設定部４００は、図１２に示すように、顔形状算出部４１１により顔の長さと頬の幅を算出し、顔分類部４１２により顔の形を分類し、顔中心算出部４１３により顔の中心を算出し、基準位置算出部４１４により補正領域の位置を設定する基準となる基準位置を算出し、領域位置設定部４１５により補正領域の位置を設定するパターン設定部４１６により補正領域のパターンを選択する。
ここで、補正度合いとは、後述する画像を補正する際に、画像を圧縮する割合であり、例えば８％の補正度合いであれば、画像を８％分だけ縮めることとなり、−４％の補正度合いであれば、画像を４％分だけ引き伸ばすこととなる。以下、補正領域設定部４００の各部について更に詳細に説明する。
【０１１７】
（３−１）人物の顔の長さと頬の幅の算出
顔形状算出部４１１は、被写体検出部３００から入力された頭頂部と顎とのデータから顔の長さＬ１を算出し、被写体検出部３００から入力された口及び頬のデータから口の位置における頬の幅Ｌ２を算出する。次に、顔形状算出部４１１は、顔分類の基準となる係数αを、α＝Ｌ１／Ｌ２として算出する。ここで、ほっそりとスリムに見えるバランスのとれた顔形状の場合は、係数αが２．０程度であることがわかった。そこで、この理想的な係数をα２とする。顔形状算出部４１１は、算出された顔の長さＬ１、頬の幅Ｌ２及び係数α、α２を顔分類部４１２に出力する。
【０１１８】
なお、顔の幅Ｌ２としては、眼の位置ＨＯＥの位置における顔の幅を基準としても、同様の係数αを得ることができる。また、顔の両端ＬＯＬ，ＬＯＲの間を顔の幅Ｌ２として用いてもよい。
【０１１９】
（３−２）顔の形状を分類
顔分類部４１２は、顔形状算出部４１１により算出された顔の長さＬ１、頬の幅Ｌ２及び係数α２、すなわちα＝２である場合に基づいてＬ１とα２×Ｌ２とを比較し、図２８（ａ）に示すようにα２×Ｌ２＝Ｌ１である場合を「バランスのとれた顔」、図２８（ｂ）に示すようにα２×Ｌ２＜Ｌ１である場合を「面長」、図２８（ｃ）に示すようにα２×Ｌ２＞Ｌ１である場合を頬が張っている「四角」として分類し、分類結果を顔領域位置設定部４１５、領域パターン設定部４１６に出力する。
【０１２０】
（３−３）顔の中心を算出
顔中心算出部４１３は、図２９に示すように、被写体検出部３００から入力された肌色領域の重心を顔の中心位置Ｍとして算出し、基準位置算出部４１４に出力する。なお、顔中心算出部４１３は、顔の中心位置Ｍが顔の中心線ＣＯＨと一致するようになっている。
【０１２１】
（３−４）基準位置を算出
基準位置算出部４１４は、図２９に示すように、顎の位置ＨＯＪから顔の水平方向に伸びる線分と、顔の両端部ＬＯＬ，ＬＯＲから顔の垂直方向に伸びる線分とが交差する点を基準位置Ｎ１、Ｎ２として算出し、領域位置設定部４１５に出力する。
【０１２２】
（３−５）補正領域の位置を設定
領域位置設定部４１５は、図２９に示すように、補正領域Ａ１、Ａ２の中心位置Ｃ１、Ｃ２を、それぞれ基準位置Ｎ１、Ｎ２から中心位置Ｍ方向に対して移動させ、頬のラインＨＯＣと補正領域Ａ１、Ａ２の中心位置Ｃ１、Ｃ２が一致するように補正領域Ａ１、Ａ２の位置を設定する。
【０１２３】
なお、領域位置設定部４１５は、係数αが、係数α２に近づくように補正領域Ａ１、Ａ２の位置を設定するようにしてもよい。
【０１２４】
具体的に、領域位置設定部４１５は、係数αが１．７〜１．８５程度である場合に、頬が張っていうる又はふっくらしていると判断されるため、補正度合いを８％程度と高めに設定するため、補正領域Ａ１，Ａ２の中心位置Ｃ１，Ｃ２を基準位置Ｎから顔の中心位置Ｍ側に移動させ、後述する画像補正後の係数αが、係数α２に近づくように、補正領域Ａ１，Ａ２の位置を設定する。
【０１２５】
また、領域位置設定部４１５は、係数αが２．２〜２．３程度である場合に、頬がほっそりしていると判断されるため、補正度合いを−４％程度とマイナス側に設定するため、補正領域Ａ１，Ａ２の中心位置Ｃ１，Ｃ２を基準位置Ｎから顔の中心位置Ｍとは反対側に移動させ、後述する画像補正後の係数αが、係数α２に近づくように、補正領域Ａ１，Ａ２の位置を設定する。
【０１２６】
このように、領域位置設定部４１５は、補正領域Ａ１，Ａ２を中心位置Ｍに近づけることで補正度合いを大きく、補正領域Ａ１，Ａ２が基準位置Ｎ１，Ｎ２から遠ざけることで補正度合いを小さくすることができる。
【０１２７】
（３−６）補正領域のパターンを設定
領域パターン設定部４１６は、図３に示すようなパターンの補正領域以外に、複数のパターンの補正領域を有しており、例えば、図３０乃至図３２に示すようなパターンの補正領域を有している。
【０１２８】
まず、図３に示すパターンについて説明する。このパターンは、補正領域の外形が人物の顔の頬のラインに合うように斜めに傾いた楕円形状とされており、その内部を曲率のことなる曲線により長軸半径方向に細長い複数の小領域に分割されている。このパターンでは、補正領域の中心部において最も補正度合いが大きい、すなわち画像補正の際に、画像を顔の幅方向に狭める度合いが大きくなるように、補正領域を小領域に分割している。また、このパターンでは、補正領域の中心部から人物の顔の中心に対応する方向に向かって、顔の幅方向に画像を狭める度合いが小さくなるようになっている。
【０１２９】
次に、図３０に示すパターンについて説明する。このパターンは、補正領域の外形が人物の顔の頬のラインに合うように斜めに傾いた楕円形状とされており、その内部を半径の異なる楕円で所定の間隔で複数の小領域に分割されている。このパターンでは、補正領域の中心部において最も補正の度合いが大きい、すなわち画像補正の際に、画像を顔の幅方向に狭める度合いが大きくなるように、補正領域を小領域に分割している。また、このパターンでは、補正領域の中心部から人物の顔の中心及び外側に向かって、顔の幅方向に画像を狭める度合いが小さくなるようになっている。
【０１３０】
次に、図３１に示すパターンについて説明する。このパターンは、補正領域の外形が人物の顔の頬のラインに合うように斜めに傾き、長軸半径方向に非対称とされた楕円形状又はタマゴ型とされており、その内部を半径の異なる楕円で所定の間隔で複数の小領域に分割されている。特にこのパターンは、補正領域の外形が、顔の顎方向に向かって丸みを帯びた形状であり、顔の上方に向かってほっそりとした形状のタマゴ型とされている。このパターンでは、補正領域の中心部において最も補正の度合いが大きい、すなわち画像補正の際に、画像を顔の幅方向に狭める度合いが大きくなるように、補正領域を小領域に分割している。また、このパターンでは、補正領域の中心部から人物の顔の中心及び外側に向かって、顔の幅方向に画像を狭める度合いが小さくなるようになっている。
【０１３１】
次に、図３２に示すパターンについて説明する。このパターンは、補正領域の外形が人物の顔の頬のラインに合うように斜めに傾いた楕円形状とされており、その内部を半径の異なる楕円で所定の間隔で複数の小領域に分割されている。このパターンでは、補正領域の中心部において最も補正の度合いが０となるり、顔の中心に向かって補正の度合いが大きくなるように、補正領域を小領域に分割している。また、このパターンでは、補正領域の中心部から人物の顔の外側に向かって、顔の幅方向に画像を狭める度合いがマイナス、すなわち画像を顔の幅方向に広げるようになっている。
【０１３２】
なお、上述した補正領域のパターンは、図３並びに図３０乃至図３２において、補正領域Ａ２についてのみ図示しているが、補正領域Ａ１については、左右対称であるため、それぞれ説明を省略する。
【０１３３】
また、補正領域のパターンでは、それぞれ小領域の補正度合いが、２〜８％程度とされている。補正度合いは、画像を狭める量をあらわしており、２〜８％程度とすることで、違和感なく画像補正を行うことができ好適な範囲とされている。ここで、補正度合いの変化に対して被写体となる人物が感じる印象の調査結果を、図３３に示す。図３３では、顔の分類結果毎に、補正度合いがどの程度であると好ましいかを集計したものであり、それぞれの顔の形の人物の画像を４％、６％、８％の補正度合いでそれぞれ補正し、最も印象のよいものを被写体となる人物に選択させた結果である。グラフより、顔の形状が四角と分類された人物は、補正度合いが６〜８％であると、最も印象がよいと感じ、顔の形状がバランスのとれた顔と分類された人物は、補正度合いが６〜８％であると、最も印象がよいと感じているが、顔の形状が四角と分類された人物よりもその割合は少なくなる。また、グラフより、顔の形状が面長と分類された人物は、補正度合いが０〜４％であると、最も印象がよいと感じ、顔の形状が四角や丸顔と分類された人物よりも補正の度合いを小さくする又はマイナスにするほうが好ましい。
【０１３４】
上述したパターンでは、補正領域が楕円形状若しくはタマゴ型形状とされており、人物の顔の頬を効率的にカバーできるようになっている。特にタマゴ型形状のパターンでは、人物の顔がの形状が頬から顎にかけて一般的に窄まるため、これに対応して顎側を広くカバーするように顎側に広がる形状とされているため好適である。
【０１３５】
領域パターン設定部４１６は、上述したようなパターンの補正領域から、顔の形状や、頬のラインに基づき最も効果的なパターンの補正領域を設定する。ここで、最も効果的な場合とは、係数αが、係数α２に近づく場合である。
【０１３６】
このように、補正領域設定部４００は、補正領域の位置やパターンを設定し、補正領域情報として顔補正部５００に出力する。
【０１３７】
（４）顔補正部
顔補正部５００では、画像入力部１０１から入力されたカラー画像データにおける、人物の顔の輪郭を補正領域内で画像補正部５１１により画像補正を行う。
【０１３８】
（４−１）画像補正
画像補正部５１１は、図２に示すように、補正領域設定部４００により設定された補正領域において、人物の頬がほっそりと見えるように人物画像データの画像補正を行うことで、被写体となる人物にとって出来栄えのよい証明写真を得ることができる。
【０１３９】
具体的に、画像補正部５１１は、図３に示すようなパターンの補正領域である場合に、補正領域を分割する小領域毎に画像を顔の中心線側に所定の度合いで画像を狭める処理を行うことで、頬のラインＯＡを顔の中心方向の頬のラインＯＢに縮小する。すなわち、画像補正部５１１は、人物画像データの顔領域４３０において、頬の幅方向の両端側から顔の中心線ＣＯＨに向けて画像を縮小し、人物画像データの頬部４４０において、頬の幅方向の両端側から顔の中心方向に向けて縮小率が顔の長さ方向に異なるように画像を縮小し、画像補整された人物画像データを出力する。
【０１４０】
このように顔補正部５００は、補正領域設定部４００により設定された補正領域において、頬の輪郭がほっそりと見えるように画像補正部５１１により画像補正を行い、人物の頬がほっそりとした見栄えのよいカラー画像データを出力することができる。
【０１４１】
以上のように構成された画像処理装置１００は、撮影して出力された人物画像データから人物の頬がほっそりと見えるように画像補整を行い、被写体となる人物にとって見栄えのよい人物画像データを得ることができる。画像処理装置１００は、顔補正部５００から出力されたカラー画像データを第１のプリンタ１８又は第２のプリンタ１９に出力する。
【０１４２】
撮影装置１は、撮影された人物画像データを、所定の補正領域を設定することで頬がほっそりと見えるように画像補整を行うことで、被写体となる人物にとって見栄えのよい写真を得ることができる。特に、撮影装置１は、被写体となる人物が女性である場合、写真の見栄えが気になる頬のラインをほっそりと見えるように補正することができるため、被写体となる人物にとって満足できる写真を得ることができる。
【０１４３】
なお、撮影装置１は、被写体となる人物の顔の形を分類することで、効果的な画像補正を行っているが、顔の形を分類せずに、所定の位置、補正領域を設定することでも、所定の効果を得ることができる。この場合には、顔の形状を分類する手段を備える必要がなくなり、装置構成を簡素化することができる。
【０１４４】
また、撮影装置１は、補正領域のパターンを設定することで、効果的な画像補正を行っているが、補正領域のパターンを設定せずに、所定のパターンの補正領域を用いることでも、所定の効果を得ることができる。この場合には、補正領域のパターンを設定する手段を備える必要がなくなり、装置構成を簡素化することができる。
【０１４５】
更に、撮影装置１は、係数αに基づき補正度合いを一律に変化させた補正領域を用いて画像補正を行うようにしてもよい。具体的には、例えば図３に示すパターンの補正領域を用いて、係数αが１．８以下の場合に、補正度合いが０％〜１０％、係数αが１．８〜２．２の場合に、補正度合いが０％〜４％、係数αが２．２以上の場合に、補正度合いが０％となるように小領域の補正度合いを変化させることで、効人物の顔の輪郭がほっそりと見えるように効果的に補正することができる。
【０１４６】
更にまた、撮影装置１は、補正度合いを２〜８％としたが、１０〜２０％とすることで、極端な画像補正を行うことができるため、アミューズメント用途にも用いることができる。
【０１４７】
以上のように、街角等に設置される証明写真用の写真ブースを例にとり説明したが、本発明は、これに限定されるものではなく、例えば図３４及び図３５に示すような、簡易なプリントシステムや、プリンタ装置にも適用することもできる。この場合には、図示しない携帯型の撮像装置、いわゆるデジタルカメラ等により被写体を撮像し、撮像した画像をＩＣ（ｉｎｔｅｇｒａｔｅｄｃｉｒｃｕｉｔ）カード等の半導体記録媒体に記録することとなる。
【０１４８】
ここで、図３４に示すプリントシステム６００は、デジタルカメラ等により被写体を撮像し、撮像した画像が記録されたＩＣカード６１２が挿入され、印刷の制御を行うコントローラ６０１と、画像を印刷するプリンタ装置６１３とから構成されており、コントローラ６０１の表示画面６１１に表示された画像を確認しながら印刷の制御を行うことができる。このプリントシステム６００は、ＩＣカード６１２等を挿入し、表示画面６１１に表示された画像を選択するだけで、コントローラ６０１内において上述のような画像補正を施すことができるようにされており、プリンタ装置６０２の排紙口６１３から見栄えのよい人物写真を出力することができる。
【０１４９】
次に、図３５に示すプリンタ装置７００は、デジタルカメラ等により被写体を撮像し、撮像した画像が記録されたＩＣカード７１２が挿入され、この画像を印刷することができる。このプリンタ装置７００は、ＩＣカード７１２等を挿入し、表示画面７１１に表示された画像を選択するだけで、内部において上述のような画像補正を施すことができるようにされており、排紙口７１３から見栄えのよい人物写真を出力することができる。なお、このようなプリンタ装置７００は、図示しないデジタルカメラと、所定の規格のケーブルにより接続したり、無線電波や、赤外線を用いた無線通信により画像データが入力されるように設計されていてもよい。
【０１５０】
また、本発明は、上述した図示しないデジタルカメラや、デジタルカメラが備えつけられた携帯型の無線電話装置やＰＤＡ（ＰｅｒｓｏｎａｌＤｉｇｉｔａｌＡｓｓｉｓｔａｎｔ）装置にも適用することができる。この場合には、上述したような画像処理を行う画像処理装置１００を各機器に内蔵するように構成すれば実現が容易である。
【０１５１】
なお、上述の例では、画像処理装置１００についてハードウェアの構成として説明したが、これに限定されるものではなく、任意の処理を、ＣＰＵ７８にコンピュータプログラムを実行させることにより実現することも可能である。この場合、コンピュータプログラムは、記録媒体に記録して提供することも可能であり、また、インターネットその他の伝送媒体を介して伝送することにより提供することも可能である。
【０１５２】
【発明の効果】
上述したように本発明によれば、被写体となる人物の画像データを頬がほっそりと見えるように画像補正を行う際に、補正領域を設定することで、人物の頬がほっそりとした印象をあたえる人物の画像データを自動的に作成し、効果的に見栄えのよい写真を常に得ることができる。
【図面の簡単な説明】
【図１】証明写真における人物の配置を示す模式図である。
【図２】証明写真における人物の頬をほっそりと見えるように補正する状態を説明する模式図である。
【図３】証明写真における人物の顔の輪郭を補正する補正領域を説明するための模式図である。
【図４】本発明を適用した撮影装置を正面側から見た斜視図である。
【図５】上記撮影装置を背面側から見た斜視図である。
【図６】上記撮影装置の透視平面図である。
【図７】上記撮影装置を正面側から見た図であって、カーテンを閉めた状態を説明する図である。
【図８】上記撮影装置の制御回路を説明するブロック図である。
【図９】本発明の画像処理装置を示すブロック図である。
【図１０】本発明の画像処理装置における肌色領域抽出部を示すブロック図である。
【図１１】本発明の画像処理装置における被写体検出部を示すブロック図である。
【図１２】本発明の画像処理装置における補正領域設定部を示すブロック図である。
【図１３】本発明の画像処理装置における顔補正部を示すブロック図である。
【図１４】横軸に座標をとり、縦軸に出現頻度をとって、出現頻度を示すヒストグラムとクラスタとの関係を模式的に示す図である。
【図１５】Ｌ^＊ａ^＊ｂ^＊表色系における肌色領域の分布を説明するための色度図である。
【図１６】（ａ）乃至（ｃ）は、夫々入力画像、クラスタマップＣ及び領域マップＲを示す模式図である。
【図１７】肌色領域抽出部において作成された領域マップＲを示す模式図である。
【図１８】肌色領域抽出部において抽出される長方形領域を示す模式図である。
【図１９】肌色領域抽出部の領域分割部にて分割される長方形領域を示す模式図である。
【図２０】カラー画像における人物の頭頂部を検索する際の検索範囲を示す模式図である。
【図２１】長方形領域の水平方向の赤み強度が累積されて生成されたヒストグラムＨｒｄｓｈと長方形領域との関係を示す模式図である。
【図２２】人物の眼、口及び顎の位置の関係を示す模式図である。
【図２３】エッジを構成する画素が水平方向に累積されて生成されたヒストグラムＨｅｄｇｅ（ｙ）と肌色領域に対応する長方形領域との関係を示す模式図である。
【図２４】肌色領域に対応する長方形領域における口の高さＨＯＭ及び検索範囲ｍｔｏｐ、ｍｂｔｍを示す模式図である。
【図２５】鼻領域を特定し、この鼻領域から鼻の位置ＨＯＮを検出する場合を説明する模式図である。
【図２６】顔の両端部と、頬の幅方向のヒストグラムｆｃ（ｘ、ｙ）から頬のラインＨＯＣを示す模式図である。
【図２７】修正後の長方形領域の頂点座標｛（ｓｔｘ、ｓｔｙ），（ｅｄｘ、ｅｄｙ）｝を示す模式図である。
【図２８】証明写真における人物の顔の形の分類例を示す模式図である。
【図２９】補正領域の位置を設定する際の、顔の中心位置及び基準位置を説明するための模式図である。
【図３０】証明写真における人物の顔の輪郭を補正する略楕円形状の補正領域を説明するための模式図である。
【図３１】証明写真における人物の顔の輪郭を補正する略タマゴ型形状の補正領域を説明するための模式図である。
【図３２】証明写真における人物の顔の輪郭を補正する他のパターンの補正領域を説明するための模式図である。
【図３３】補正度合いを変化させて画像補正を行い出力された写真が、人物に与える印象の統計を説明するためのグラフである。
【図３４】本発明を適用した他の実施例として、コントローラ及びプリンタ装置からなるプリントシステムを説明するための図である。
【図３５】本発明を適用した他の実施例として、プリンタ装置を説明するための図である。
【符号の説明】
１撮影装置、２設置面、１１筐体、１２背面部、１３一方の側壁、１４他方の側壁、１５天板、１６撮影室、１６ａ第１の面、１６ｂ第２の面、１６ｃ第３の面、１７撮影部、１７ａ撮影装置、１７ｂハーフミラー、１７ｃ反射板、１８第１のプリンタ、１９第２のプリンタ、２２転動防止部材、２３入口、２４椅子、２４ａ取手、２９料金投入部、３１位置決め凹部、３２被写体検出部３２カーテン、３３ａスリット、３４第１の手摺り、３５第２の手摺り、３６第３の手摺り、４０回動支持機構、４１椅子取付部材、４２回動支持部、４４椅子支持部材、４６リンク部材、４８ガイド孔、４９係合突起、５１ダンパ、５４保持機構、５６保持部材、５８係止突部、５９検出部、６０押圧部、７０制御回路、１００画像抽出装置、１０１画像入力部、２００肌色領域抽出部、２１２表色系変換部、２１３ヒストグラム生成部、２１４初期クラスタ抽出部、２１５初期領域抽出部、２１６クラスタ統合部、２１７領域分割部、２１８領域抽出部、３００被写体検出部、３１１頭頂部検出部、３１２口検出部、３１３眼検出部、３１４顎検出部、３１５中心線検出部、３１６鼻検出部、３１７端部検出部、３１８頬検出部、３１９領域修正部、３２０判定部、４００顔補正部、４１１顔形状計算部、４１２顔分類部、４１３中心位置算出部、４１４基準位置算出部、４１５領域位置設定部、４１６領域パターン選択部、４２０証明写真、４２１人物、４３０顔領域、４４０頬部、５００顔補正部、５１１画像処理部、６００プリントシステム、６０１コントローラ、６０２プリンタ装置、６１１表示画面、６１２ＩＣカード、６１３排紙口、７００プリンタ装置、７０１本体部、７１１表示画面、７１２ＩＣカード、７１３排紙口

Claims

人物の画像から顔領域を抽出する顔領域抽出手段と、
上記顔領域抽出手段により抽出された顔領域から上記人物の顔の特徴点を検出する検出手段と、
上記検出手段により検出された特徴点の位置に基づき、上記人物の顔の輪郭を補正する補正領域を設定する補正領域設定手段と、
上記補正領域設定手段により設定された補正領域内で、上記人物の顔の輪郭を補正する画像補正手段とを備える画像処理装置。
更に、上記検出手段により検出された特徴点に基づいて上記人物の顔の形を分類する顔分類手段を備え、
上記補正領域設定手段は、上記顔分類手段により分類された上記人物の顔の形の種類に基づき、上記補正領域の中心位置を設定する請求項１記載の画像処理装置。
上記検出手段は、上記人物の頭頂部、口並びに顎の位置及び頬を特徴点として検出し、
上記顔分類手段は、上記検出手段により検出された上記人物の頭頂部から顎までの長さをＬ１とし、上記検出手段により検出された上記人物の口の位置における上記人物の頬の幅をＬ２とし、所定の係数をαとして、上記人物の顔の形を、少なくともα×Ｌ２＝Ｌ１である場合、α×Ｌ２＜Ｌ１である場合及びα×Ｌ２＞Ｌ１である場合の３種類に分類する請求項２記載の画像処理装置。
上記補正領域設定手段は、上記人物の顔の輪郭を補正する度合いが段階的に異なる複数の領域に分割されたパターンの補正領域を設定する請求項１記載の画像処理装置。
上記補正領域設定手段は、略楕円形状の補正領域を設定することを特徴とする請求項１記載の画像処理装置。
上記補正領域設定手段は、上記人物の顔の輪郭を補正する度合いが補正領域の中心位置において最も高くなるように、補正領域を設定する請求項１記載の画像処理装置。
更に、上記検出手段により検出された特徴点に基づいて上記人物の顔の形を分類する顔分類手段を備え、
上記補正領域設定手段は、上記顔分類手段により分類された上記人物の顔の形の種類に基づき、上記人物の顔の輪郭を補正する度合いが段階的に異なる複数の小領域に分割されたパターンの補正領域を複数有し、当該複数の補正領域から最も補正に適したパターンの補正領域を設定する請求項１記載の画像処理装置。
上記検出手段は、上記人物の頭頂部、口並びに顎の位置及び頬を特徴点として検出し、
上記顔分類手段は、上記検出手段により検出された上記人物の頭頂部から顎までの長さをＬ１とし、上記検出手段により検出された上記人物の口の位置における上記人物の頬の幅をＬ２とし、所定の係数をαとして、上記人物の顔の形を、少なくともα×Ｌ２＝Ｌ１である場合、α×Ｌ２＜Ｌ１である場合及びα×Ｌ２＞Ｌ１である場合の３種類に分類する請求項７記載の画像処理装置。
人物の画像から顔領域を抽出する顔領域抽出ステップと、
抽出された顔領域から上記人物の顔の特徴点を検出する検出ステップと、
検出された特徴点の位置に基づき、上記人物の顔の輪郭を補正する補正領域を設定する補正領域設定ステップと、
設定された補正領域内で、上記人物の顔の輪郭を補正する画像補正ステップとを有する画像処理方法。
更に、検出された特徴点に基づいて上記人物の顔の形を分類する顔分類ステップを有し、
上記補正領域設定ステップでは、分類された上記人物の顔の形の種類に基づき、補正領域の中心位置を設定する請求項９記載の画像処理方法。
上記検出ステップでは、上記人物の頭頂部、口並びに顎の位置及び頬を特徴点として検出し、
上記顔分類ステップでは、検出された上記人物の頭頂部から顎までの長さをＬ１とし、検出された上記人物の口の位置における上記人物の頬の幅をＬ２とし、所定の係数をαとして、上記人物の顔の形を、少なくともα×Ｌ２＝Ｌ１である場合、α×Ｌ２＜Ｌ１である場合及びα×Ｌ２＞Ｌ１である場合の３種類に分類する請求項１０記載の画像処理方法。
上記補正領域設定ステップでは、上記人物の顔の輪郭を補正する度合いが段階的に異なる複数の小領域に分割されたパターンの補正領域を設定する請求項９記載の画像処理方法。
上記補正領域設定ステップでは、略楕円形状の補正領域を設定する請求項９記載の画像処理方法。
上記補正領域設定ステップでは、上記人物の顔の輪郭を補正する度合いが補正領域の中心位置において最も高くなるように、補正領域を設定する請求項９記載の画像処理方法。
更に、検出された特徴点に基づいて上記人物の顔の形を分類する顔分類ステップを有し、
上記補正領域設定ステップでは、分類された上記人物の顔の形の種類に基づき、上記人物の顔の輪郭を補正する度合いが段階的に異なる複数の領域に分割されたパターンの補正領域を複数有し、当該複数の補正領域から最も補正に適したパターンの補正領域を設定する請求項９記載の画像処理方法。
上記検出ステップでは、上記人物の頭頂部、口並びに顎の位置及び頬を特徴点として検出し、
上記顔分類ステップでは、検出された上記人物の頭頂部から顎までの長さをＬ１とし、検出された上記人物の口の位置における上記人物の頬の幅をＬ２とし、所定の係数をαとして、上記人物の顔の形を、少なくともα×Ｌ２＝Ｌ１である場合、α×Ｌ２＜Ｌ１である場合及びα×Ｌ２＞Ｌ１である場合の３種類に分類する請求項１５記載の画像処理方法。
人物を撮影する撮影手段と、
上記人物の画像から顔領域を抽出する顔領域抽出手段と、
上記顔領域抽出手段により抽出された顔領域から上記人物の顔の特徴点を検出する検出手段と、
上記検出手段により検出された特徴点の位置に基づき、上記人物の顔の輪郭を補正する補正領域を設定する補正領域設定手段と、
上記補正領域設定手段により設定された補正領域内で、上記人物の顔の輪郭を補正する画像補正手段とを備える撮影装置。
更に、上記検出手段により検出された特徴点に基づいて上記人物の顔の形を分類する顔分類手段を備え、
上記補正領域設定手段は、上記顔分類手段により分類された上記人物の顔の形の種類に基づき、上記補正領域の中心位置を設定する請求項１７記載の撮影装置。
上記検出手段は、上記人物の頭頂部、口並びに顎の位置及び頬を特徴点として検出し、
上記顔分類手段は、上記検出手段により検出された上記人物の頭頂部から顎までの長さをＬ１とし、上記検出手段により検出された上記人物の口の位置における上記人物の頬の幅をＬ２とし、所定の係数をαとして、上記人物の顔の形を、少なくともα×Ｌ２＝Ｌ１である場合、α×Ｌ２＜Ｌ１である場合及びα×Ｌ２＞Ｌ１である場合の３種類に分類する請求項１８記載の撮影装置。
上記補正領域設定手段は、上記人物の顔の輪郭を補正する度合いが段階的に異なる複数の小領域に分割されたパターンの補正領域を設定する請求項１７記載の撮影装置。
上記補正領域設定手段は、略楕円形状の補正領域を設定する請求項１７記載の撮影装置。
上記補正領域設定手段は、上記人物の顔の輪郭を補正する度合いが補正領域の中心位置において最も高くなるように、補正領域を設定する請求項１７記載の撮影装置。
更に、上記検出手段により検出された特徴点に基づいて上記人物の顔の形を分類する顔分類手段を備え、
上記補正領域設定手段は、上記顔分類手段により分類された上記人物の顔の形の種類に基づき、上記人物の顔の輪郭を補正する度合いが段階的に異なる複数の領域に分割されたパターンの補正領域を複数有し、当該複数の補正領域から最も補正に適したパターンの補正領域を設定する請求項１７記載の撮影装置。
上記検出手段は、上記人物の頭頂部、口並びに顎の位置及び頬を特徴点として検出し、
上記顔分類手段は、上記検出手段により検出された上記人物の頭頂部から顎までの長さをＬ１とし、上記検出手段により検出された上記人物の口の位置における上記人物の頬の幅をＬ２とし、所定の係数をαとして、上記人物の顔の形を、少なくともα×Ｌ２＝Ｌ１である場合、α×Ｌ２＜Ｌ１である場合及びα×Ｌ２＞Ｌ１である場合の３種類に分類する請求項２３記載の撮影装置。
更に、上記画像補正手段により画像補正された上記人物の画像を印刷する印刷手段を備える請求項１７記載の撮影装置。