JP2004234571A

JP2004234571A - 画像処理装置、画像処理方法及び撮影装置

Info

Publication number: JP2004234571A
Application number: JP2003025237A
Authority: JP
Inventors: Toshiaki Nakanishi; 俊明中西; Kyoko Sugizaki; 京子杉崎; Hiroaki Takano; 洋明高野
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2003-01-31
Filing date: 2003-01-31
Publication date: 2004-08-19

Abstract

【課題】人物の小じわやシミが目立たない写真を仕上げることができる画像処理装置及び撮影装置を提供する。
【解決手段】しわ補正部４００において、人物画像データから周辺領域特定部４１１により眼の周辺領域ＡＯＥ及び口の周辺領域ＡＯＭを特定し、補正部４１２により眼の周辺領域ＡＯＥ及び口の周辺領域ＡＯＭの肌色部分に対して明るさの変化がなめらかになるように画像補整を行う。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明は、証明写真等の人物が撮影された画像に対して画像補正を行う画像処理装置及び画像処理方法に関し、このような画像処理装置を備える撮影装置に関する。
【０００２】
【従来の技術】
従来、写真スタジオ等では、肖像写真や証明写真のように被写体として人物を撮影する場合、被写体を照明するための照明機材を配置する位置や、撮影装置であるカメラ機材により被写体を撮影する方向等を調整することで、被写体の見栄えが良くなるように撮影を行っている。このような調整は、それぞれの写真スタジオにおいて培われた技術やノウハウに基づき行われる。このため、このような調整には、それぞれの写真スタジオ毎の特徴がある。そして、上述したような写真スタジオにおいて撮影された写真は、引き伸ばし機等により印画紙に印刷されて肖像写真や証明写真となる。
【０００３】
上述したような写真スタジオでは、見栄えのよい写真を撮影するための照明機材及びカメラ機材等、多くの設備を必要とし、被写体を照明する方法や、被写体をどの方向から撮影するのか等、１枚の写真を撮影するために多くの技術やノウハウを必要とする。
【０００４】
特に照明については、角度、高さ、左右の照明の明るさの差、即ち照明差等の多くの技術やノウハウを必要とするため、照明の調整により被写体の顔の小じわが目立ってしまい、写真の出来栄えを左右してしまう要因となっていた。
【０００５】
特に、被写体となる人物が女性である場合は、目尻や口元の小じわやシミといったものが気になるものであり、小じわやシミ等が目立たないように写ることを望んでおり、男性よりも写真の出来栄えを気にする傾向が強い。また、被写体となる人物は、写真に写った自分の顔に敏感であり、他人が気づかない程度写り方の違いにも気づいてしまう。
【０００６】
ところで、上述したようなノウハウに頼らずに写真の見栄えを良くするために、撮影した写真を印画紙に直接印刷せずに、コンピュータ等により画像処理を行うことで、特に被写体が女性である場合に写真の見栄えをよくしようとしたものがある（例えば特許文献１参照。）。
【０００７】
【特許文献１】
特開２００１−２１８０２０号公報
【０００８】
【発明が解決しようとする課題】
しかし、特許文献１に記載の発明では、被写体となる人物の顔にメイクアップを施す画像処理を加えるものであり、小じわやシミ等を目立たなくする要望を満たすものではなかった。
【０００９】
本発明は、このような従来の実情に鑑みて提案されたものであり、撮影された人物画像を補正し、被写体となる人物が満足する出来栄えのよい写真に仕上げることができる画像処理装置及びそのような画像処理装置を備える撮影装置を提供することを目的とする。
【００１０】
【課題を解決するための手段】
上述した目的を達成するために、本発明に係る画像処理装置は、人物の画像から顔領域を抽出する顔領域抽出手段と、顔領域抽出手段により抽出された顔領域から、人物の眼及び／又は口の位置を検出する検出手段と、検出手段の検出結果に基づいて、顔領域内の上記人物の眼及び／又は口の周辺領域を特定する領域特定手段と、領域特定手段により特定された人物の眼及び／又は口の周辺領域に対して、明るさの変化をなめらかにする画像補正を行う画像補正手段とを備えることを特徴とする。
【００１１】
また、上述した目的を達成するために、本発明に係る画像処理方法は、人物の画像から顔領域を抽出する顔領域抽出ステップと、顔領域から、人物の眼及び／又は口の位置を検出する検出ステップと、検出手段の検出結果に基づいて、顔領域内の人物の眼及び／又は口の周辺領域を特定する領域特定ステップと、人物の眼及び／又は口の周辺領域に対して、明るさの変化をなめらかにする画像補正を行う画像補正ステップとを有することを特徴とする。
【００１２】
更に、上述した目的を達成するために、本発明に係る撮影装置は、人物を撮影する撮影手段と、撮影手段により撮影された人物の画像から顔領域を抽出する顔領域抽出手段と、顔領域抽出手段により抽出された顔領域から、人物の眼及び／又は口の位置を検出する検出手段と、検出手段の検出結果に基づいて、顔領域内の人物の眼及び／又は口の周辺領域を特定する領域特定手段と、領域特定手段により特定された人物の眼及び／又は口の周辺領域に対して、明るさの変化をなめらかにする画像補正を行う画像補正手段とを備えることを特徴とする。
【００１３】
本発明においては、入力された人物画像から、領域特定手段により眼及び／又は口の周辺領域を特定し、この特定された領域に対して画像補正手段により明るさの変化をなめらかにする画像補正を行うことで、自動的に小じわやシミが目立たない見栄えのよい写真を得ることができる。
【００１４】
【発明の実施の形態】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。この実施の形態は、撮影された人物画像から人物の眼及び口の周辺領域を特定し、特定された周辺領域に対して明るさの変化をなめらかにする画像補正を行う画像処理装置に適用したものである。
【００１５】
図１は、証明写真の人物画像データにおける人物の顔の眼及び口の周辺領域を特定する際の基準を示す模式図である。図１に示すように、人物画像データ４２０において、人物４２１の眼の周辺領域をＡＯＥ、口の周辺領域をＡＯＭとして示す。
【００１６】
本実施の形態における画像処理装置は、入力された人物画像データ４２０から被写体となる人物４２１の眼及び口の周辺領域を特定し、特定された周辺領域に対して明るさが均一となるように画像補正を行い、小じわやシミを目立たなくし、人物画像データ４２０の見栄えを良くするものである。
【００１７】
ここで、本画像処理装置は、証明写真装置等の写真ブースにおいて、画像処理により人物の眼及び口の周辺領域に対して画像補正を行う際に使用される。なお、以下では、下記に示す順に本発明について説明する。
Ａ．写真ブース
Ｂ．画像処理装置
（１）肌色領域抽出部
（１−１）色変換工程
（１−２）ヒストグラム生成工程
（１−３）初期クラスタ生成工程
（１−４）初期領域抽出工程
（１−５）クラスタ統合工程
（１−６）領域分割工程
（１−７）領域抽出工程
（２）被写体検出部
（２−１）人物の頭頂部の検出
（２−２）人物の口検出
（２−３）人物の眼検出
（２−４）人物の顎検出
（２−５）人物の顔の中心線検出
（２−６）長方形領域の修正
（２−７）顔判定
（３）しわ補正部
（３−１）周辺領域特定
（３−２）画像補正
先ず、本実施の形態における画像処理装置が設けられる写真ブースについて説明する。
【００１８】
Ａ．写真ブース
図２乃至図４に示すように、撮影装置１は、証明写真等を撮影するために用いられる写真ブースを構成するものであり、本体部を構成する筐体１１を有する。この筐体１１は、背面部１２に相対向して設けられる側壁１３，１４と、側壁１３，１４間を閉塞し天井を構成する天板１５とを有し、背面部１２と一対の側壁１３，１４と天板１５とで構成される空間部に撮影室１６が設けられている。
【００１９】
被写体となる人物が撮影室１６に入ったときに対向する背面部１２には、その内部に、被写体となる人物を撮影するための撮影部１７、撮影部１７が撮影した画像を印刷する第１のプリンタ１８及び第２のプリンタ１９、撮影部１７の出力である画像信号をアナログ信号からディジタル信号に変換する等の画像処理を行う画像処理回路、全体の動作を制御する制御回路等の様々な電気回路が組み込まれたメイン基板２１等が内蔵されている。撮影部１７は、ＣＣＤ（Ｃｈａｒｇｅ−ＣｏｕｐｌｅｄＤｅｖｉｃｅ）やＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌ−ＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒｄｅｖｉｃｅ）等の撮影素子を有する撮影装置１７ａと、撮影室１６の被写体となる人物と向き合う面に設けられるハーフミラー１７ｂと、ハーフミラー１７ｂを透過した光を反射する反射板１７ｃとを有する。ハーフミラー１７ｂは、被写体となる人物を撮影するとき、ハーフミラー１７ｂで被写体となる人物からの光を所定量反射させることで被写体となる人物が自分の顔を見ることができるようにすると共に、残りの光を透過し、撮影装置１７ａに被写体となる人物からの光を取り込むことができるようにする。ハーフミラー１７ｂを透過した光は、反射板１７ｃで反射されて撮影装置１７ａへと導かれ、これによって、撮影装置１７ａは、被写体となる人物を撮影する。撮影装置１７ａからの出力は、メイン基板２１の画像処理回路に出力され、ディジタル処理がなされ、これを第１のプリンタ１８若しくは第２のプリンタ１９に出力する。
【００２０】
第１のプリンタ１８は、通常使用するメインプリンタであり、第２のプリンタ１９は、第１のプリンタ１８が故障したとき等に使用される補助プリンタである。ディジタル信号に変換された画像データは、第１のプリンタ１８若しくは第２のプリンタ１９に出力され、第１のプリンタ１８若しくは第２のプリンタ１９で印画紙に印刷される。その他に、筐体１１を構成する背面部１２には、電源スイッチ２０ａ、金庫２０ｂ等が内蔵されている。
【００２１】
側壁１３，１４は、このような背面部１２と一体的に、互いに略平行となすように設けられている。背面部１２を構成する外壁と共に側壁１３，１４は、鉄板等比較的比重の重い材料で形成することで、筐体１１の下側を重くし、安定して設置面２に設置できるように形成されている。一方の側壁１３は、他方の側壁１４より短くなるように形成されている。筐体１１は、長い側となる他方の側壁１４が、壁に沿うように設置される。短い側となる一方の側壁１３には、設置面２と接続する転動防止部材２２が取り付けられる。転倒防止部材２２は、設置面２、一方の側壁１３のそれぞれをねじ止め等することで、筐体１１が一方の側壁１３側から押されたときにも倒れないようにしている。そして、他方の側壁１４は、一方の側壁１３より長く形成することで、一方の側壁１３側から力が加えられたときにも、筐体１１を十分支持できるように形成されている。
【００２２】
側壁１３，１４間に取り付けられる天板１５は、撮影室１６の天井を構成するものであり、長手方向の長さが長い側となる他方の側壁１４と略同じ若しくは他方の側壁１４よりやや長く形成されている。ここで、天板１５は、ポリプロピレン等の樹脂材料で形成されている。即ち、天板１５は、側壁１３，１４に比べて比重の軽い材料で形成されている。筐体１１は、側壁１３，１４を含む周面を鉄板等の比較的比重の重い材料で形成し、上方に位置する天板１５を比重の比較的軽い材料で形成し、下側が重くなるように形成することで、安定して設置面２に設置できるようになっている。
【００２３】
撮影室１６は、以上のような背面部１２と一体的に形成される一対の側壁１３，１４と天板１５とで構成され、一方の側壁１３の端部と他方の側壁１４の端部との間が撮影室１６の入り口２３とされている。即ち、被写体となる人物は、筐体１１の前面側からと一方の側壁１３側から撮影室１６に入ることができるようになっている。筐体１１は、底板が設けられておらず、従って、撮影室１６の床は、設置面２となっており、撮影室の床は、設置面２と面一になっている。
【００２４】
ここで撮影室１６の詳細を説明すると、撮影室１６には、長い側の他方の側壁１４に回動支持された椅子２４が設けられている。なお、椅子２４の隣には、物置台２５が設けられおり、被写体となる人物が鞄等を置くことができるようになっている。
【００２５】
椅子２４に座った人物と対向する第１の面１６ａは、撮影部１７を構成する撮影装置１７ａの光軸と垂直となるように形成されており、この面の被写体となる人物の顔と対向する位置には、撮影部１７を構成する略矩形のハーフミラー１７ｂが設けられている。このハーフミラー１７ｂは、椅子２４に座った人物がハーフミラー１７ｂで自分の顔を見ながら撮影を行うことができるようになっている。
【００２６】
このハーフミラー１７ｂが設けられた第１の面１６ａと左右に隣り合う第２及び第３の面１６ｂ，１６ｃは、互いに向き合う方向に、第１の面１６ａに対して傾斜するように設けられている。これら第２及び第３の面１６ｂ，１６ｃには、被写体となる人物を照らす照明器具２６，２７が設けられている。照明器具２６，２７は、発光体が内蔵されており、撮影時に点灯されることで、フラッシュ撮影を行うことができるようになっている。照明器具２６，２７は、従来、被写体の正面上方から光を照射していたのに対して、被写体となる人物の左右斜め前方から光を照射するようにし、被写体となる人物の顔において額と顎との間、即ち顔の上下で照明差が発生しないようにし、また、しわに影が発生することを防止してしわが目立たないようにしている。
【００２７】
ところで、図５に示すように、第２の面１６ｂに設けられた照明器具２６と第３の面１６ｃに設けられた照明器具２７とは、撮影装置１７ａの光軸Ｌと椅子のセンタＯ_１とを結ぶ線と照明器具２６，２７のセンタＯ_２，Ｏ_３と椅子２４のセンタＯ_１とを結ぶ線とがなす角θを有するように設けられている。θは、撮影時に、顔に滑らかな影ができ、眼鏡に照明の写り込みが無く、背景に影が出にくい角度に設定され、例えば３０°〜７０°、好ましくは５０°とされる。
【００２８】
また、写真に写し出された顔は、図６及び図７に示すように、一般に左右で照明差があった方が見たものに対して好印象を与えるものである。そこで、照明装置２６，２７は、照明差が発生するように被写体となる人物Ｈを照射するようにしている。例えば、照明器具２６，２７は、照明差が例えば１：１．５〜１：３、好ましくは１：２となるように被写体を照射する。なお、光を強くする方の照明器具は、何れであってもよい。これによって、写真は、柔らかな影が形成され、平面的でなく立体的に被写体を写し出すことができる。なお、本撮影装置１では、撮影部１７の撮影装置１７ａにＣＣＤを用いている。ＣＣＤは、銀塩フィルムを用いるカメラ（銀塩カメラ）に比べてラティチュード（ｌａｔｉｔｕｄｅ）が狭い。そこで、この照明差は、銀塩カメラに比べて比が小さくなるように設定される。
【００２９】
なお、更に、この撮影室１６には、照明器具２６，２７他に、被写体を下側から照射する照明器具２８が設けられている。この照明器具２８は、第１の面１６ａであってハーフミラー１７ｂの下側に撮影室１６側に突出して形成された突出部２８ａの上側の面２８ｂに設けられ、照射方向が斜め上方となるように設けられている。
【００３０】
また、撮影室１６には、図２乃至図４に示すように、被写体となる人物の正面側であって、一方の側壁１３側に操作部を構成する料金投入部２９が設けられている。料金投入部２９は、コインを投球するコイン投入部２９ａと紙幣を投入する紙幣投入部２９ｂとからなり、これら投入部２９ａ，２９ｂは、人が椅子２４座ったとき、手で料金を投入し易い高さに設けられている。なお、本例では、操作部として、料金投入部２９が設けられているのみであるが、その他に、撮影を開始する撮影開始ボタン、撮影した画像を第１のプリンタ１８若しくは第２のプリンタ１９で印刷する前に確認する確認ボタン等を設けるようにしてもよく、この場合、これらのボタンも、被写体となる人物の正面側であって、一方の側壁１３側に設けられる。
【００３１】
突出部２８ａの下側には、被写体となる人物の撮影位置を位置決めするための位置決め凹部３１が設けられている。この位置決め凹部３１が設けられる位置は、椅子２４に座った人物の膝を収めることができる高さに設けられている。撮影をするとき、被写体となる人物は、椅子２４に座り、膝を位置決め凹部３１に係合させることによって、容易に撮影位置を位置決めすることができる。即ち、被写体となる人物は、膝を位置決め凹部３１に係合させることによって、ハーフミラー１７ｂに対して正面を向くようになる。
【００３２】
また、撮影室１６には、被写体となる人物が撮影室１６に入ったかどうかを検出する被写体検出部３２が設けられている。被写体検出部３２は、天板１５の椅子２４の上に設けられ、被写体となる人物が撮影位置に居ることを検出することができるようになっている。被写体検出部３２は、被写体となる人物を検出すると、この検出信号を、メイン基板２１の制御回路に出力し、待機モードから写真撮影モードに切り換える。
【００３３】
なお、この被写体検出部３２は、上述した位置決め凹部３１内に設けるようにしてもよい。天板１５に被写体検出部３２を設けたときには、例えば被写体となる人物が撮影室１６内に立っているとき等実際には撮影位置に居ないときも被写体となる人物を検出してしまうが、被写体検出部３２を位置決め凹部３１内に設けたときには、膝が位置決め凹部３１に係合していない限り被写体となる人物を検出することができないことから、確実に撮影位置にいる被写体となる人物を検出することができる。
【００３４】
天板１５の入り口２３となる領域には、図示しないカーテンレールやフックが設けられており、このカーテンレールやフックには、遮光部材となるカーテン３３が垂下されており、入り口２３を開閉できるようになっている。このカーテン３３は、遮光性のものであり、撮影時に外光が撮影室１６内に入らないようにしている。このカーテン３３は、図８に示すように、撮影室１６へ出入りするときには簡単に移動させて容易に入ることができる。カーテン３３をフックに固定したときには、正面入口のカーテン３３にスリット３３ａを設けることにより入りやすくなる。カーテン３３の撮影室１６側の面であって、被写体の背後となる領域は、写真の背景となる領域である。このため、スリット３３ａは、写真の背景となる領域を除く領域に設けられている。
【００３５】
なお、遮光部材として、カーテン３３の他にプレート等を用いるようにしてもよい。
【００３６】
入り口２３を構成する短い側の側壁１３の端部の略中央領域には、垂直方向に第１の手摺り３４が設けられており、例えば体の不自由な人物が入り口２３より撮影室１６内に入り易いようになっている。また、入り口２３を構成する長い側の他方の側壁１４の端部上方には、垂直方向に第２の手摺り３５が設けられ、例えば松葉杖をついた人物が入り口２３より撮影室１６内へ入り易いようになっている。更に、他方の側壁１４であって、操作部を構成する料金投入部２９と略同じ高さには、水平方向に第３の手摺り３６が設けられ、例えば椅子２４に座った被写体となる人物が撮影位置の調整を容易に行うことができるようになっている。
【００３７】
なお、短い側の一方の側壁１３には、外面側に、第１のプリンタ１８若しくは第２のプリンタ１９で印刷された写真が排出される写真排出口３８が設けられている。
【００３８】
次に、背面部１２に内蔵されたメイン基板２１等に組み込まれた制御回路について図９を参照して説明すると、この制御回路７０は、装置の動作に必要なプログラムが記憶されるＲＯＭ（Ｒｅａｄ−ＯｎｌｙＭｅｍｏｒｙ）７１と、装置の動作に必要なアプリケーションプログラム及び後述する画像抽出処理を行うプログラム等が記憶されるハードディスク等からなるプログラム記憶部７２と、ＲＯＭ７１やプログラム記憶部７２に保存されているプログラムがロードされるＲＡＭ（Ｒａｎｄｏｍ−ＡｃｃｅｓｓＭｅｍｏｒｙ）７３と、料金投入部２９より投入された金額等を判断し課金処理を行う課金処理部７４と、音声を出力する音声出力部７５と、音声データを可聴音として出力するスピーカ７６と、外部記憶装置が装着されるドライブ７７と、全体の動作を制御するＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）７８とを備え、これらは、バス７９を介して接続されている。また、このバス７９には、撮影部１７を構成する撮影装置１７ａ、照明器具２６，２７，２８、撮影室１６に被写体となる人物が入ったかどうかを検出する被写体検出部３２、椅子２４が待機位置にあることを検出する検出部５９等が接続されている。
【００３９】
ドライブ７７には、記録可能な追記型若しくは書換え型の光ディスク、光磁気ディスク、磁気ディスク、ＩＣカード等のリムーバル記録媒体８０を装着することができる。これら、リムーバル記録媒体８０には、例えば撮影部１７で撮影した被写体となる人物の画像データが保存される。この画像データは、リムーバル記録媒体８０を用いるほか、ＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）等のネットワークに接続された送受信部を介して上記他の情報処理装置に送信するようにしてもよい。更に、このドライブ７７は、ＲＯＭ型の光ディスク等のリムーバル記録媒体８０を装着し、本装置１を動作させるのに必要なアプリケーションプログラムをプログラム記憶部７２にインストールするのに用いるようにしてもよい。勿論、プログラム記憶部７２等にインストールするプログラムは、上記送受信部を介してダウンロードしてインストールするようにしてもよい。
【００４０】
以上のように構成された撮影装置１では、被写体となる人物を撮影し、撮影して得られた人物画像データを後述する画像処理部１００により自動的に処理した後、印画紙に印刷することで写真を得ることができる。
【００４１】
また、撮影時において、撮影装置１は、照明器具２６，２７が被写体となる人物の左右斜め前方から被写体となる人物に光を照射することで、被写体となる人物の顔の額と顎との間、即ち顔の上下で照明差が発生しないようにし、また、照明器具２６，２７は、しわに影を写りにくくすることができる。また、左右照明に照明差を設けることで、写真に柔らかな影を形成し立体的に被写体を写し出すことができる。
【００４２】
Ｂ．画像処理
次に、上述の撮影装置１に設けられる画像処理装置について説明する。本実施の形態の画像処理装置は、上述したように、病院内等に設置される撮影装置１に備えられるものであり、撮影されて出力された人物の画像データ（以下では、人物画像データと記述する。）から人物の顔の輪郭を検出して顔の形を分類し、分類された顔の形に基づいて顔の輪郭の補正を行い、補正後の人物画像データを出力するものである。具体的に、画像処理装置は、上述の制御回路７０内のプログラム記憶部７２に記憶されたプログラムによって、入力された人物画像データから人物の顔の輪郭を検出して顔の形を分類し、分類された顔の形に基づいて輪郭の補正を行う処理を実行するものである。図１０は、本実施の形態における画像処理装置を示すブロック図である。
【００４３】
図１０に示すように、画像処理装置１００は、上述の撮影部１７により人物が撮影されて出力されたカラーの人物画像データ（以下では、単にカラー画像データと記述する。）が入力され、デジタルデータとして出力する画像入力部１０１と、カラー画像データが入力されて肌色領域を検出する肌色領域抽出部２００と、検出された肌色領域から被写体の顔を検出する被写体検出部３００と、検出された被写体の顔から小じわやシミを画像補正して目立たなくするしわ補正部４００とから構成される。
【００４４】
肌色領域抽出部２００は、図１１に示すように、画像入力部１０１から入力されたカラー画像データの各画素値を色空間上の座標値に変換する色変換部である表色系変換部２１２と、この色空間上に変換された座標値の出現頻度を表すヒストグラムを生成するヒストグラム生成部２１３と、このヒストグラムにおける出現頻度の極大点及びその近傍の画素を初期クラスタとして抽出する初期クラスタ抽出部２１４と、初期クラスタ抽出部２１４にて抽出された初期クラスタ及び画像入力部１０１から送られるカラー画像データから上記初期クラスタを含む閉領域を抽出する初期領域抽出部２１５と、この初期領域内に複数の初期クラスタが抽出されている場合に初期クラスタを１つのクラスタとして統合するクラスタ統合部２１６と、この初期領域内の画素の分布状態に応じてこの初期領域を複数の領域に分割する領域分割部２１７と、人間の肌の色に対応するクラスタに属する画素が含まれる領域を抽出する領域抽出部２１８とから構成され、抽出した肌色領域を被写体検出部３００に供給する。
【００４５】
被写体検出部３００は、図１２に示すように、画像入力部１０１及び肌色領域抽出部２００から夫々カラー画像データ及び肌色領域が入力され、人物の頭頂部の位置を検出する頭頂部検出部３１３と、カラー画像データ及び肌色領域が入力され、人物の口の位置を検出する口検出部３１４と、カラー画像データ、肌色領域、頭頂部及び口のデータが入力され、人物の眼の位置を検出する眼検出部３１５と、眼及び口のデータが入力され、人物の顎の位置を検出する顎検出部３１６と、カラー画像データ、口及び眼のデータが入力され、人物の顔の中心線を検出する中心線検出部３１７と、頭頂部、眼、口及び顔の中心線のデータが入力され、顔領域を修正する領域修正部３１８と、カラー画像データ、肌色領域、眼及び口のデータと領域修正部３１８から修正データとが入力され、抽出された肌色領域Ｖが人物の顔であるか否かを判定する判定部３１９とから構成され、顔と判定された肌色領域と頭頂部、口、眼、顎及び顔の中心線のデータとをしわ補正部４００に供給する。
【００４６】
しわ補正部４００は、図１３に示すように、被写体検出部３００から輪郭情報が入力され、人物の眼の及び口の周辺領域を特定する周辺領域特定部４１１と、周辺領域特定部４１１により特定された眼及び口の周辺領域に対して明るさの変化をなめらかにする画像補整を行う補正部４１２とから構成され、画像補正したカラー画像データを出力する。
【００４７】
以下、本実施の形態における画像処理装置の各部位について詳細に説明する。
【００４８】
（１）肌色領域抽出部
肌色領域抽出部２００においては、先ず、入力されたカラー画像データの表色系を変換して色空間上の座標値に変換する（色変換工程）。次に、この色空間上の座標値の出現頻度を示すヒストグラムを生成する（ヒストグラム生成工程）。そして、このヒストグラムにおける出現頻度の極大点及びその極大点近傍の画素を初期クラスタとして抽出し、この初期クラスタの色空間上の分布を示すクラスタマップＣを生成する（初期クラスタ抽出工程）。各初期クラスタには、これらを識別するクラスタ番号ｎが設定される。次いで、クラスタマップＣ上の各初期クラスタを再び、元のカラー画像データ上の座標値に変換した領域マップＲを形成する。領域マップＲ上の各画素は、座標値と共にクラスタ番号ｎを有する。この領域マップＲ上で同一の初期クラスタに属する画素、即ち、同一のクラスタ番号ｎを有する画素の密度分布が所定の閾値以上である長方形の閉領域を初期領域として抽出する（初期領域抽出工程）。次に、任意の２つの初期クラスタを選択し、この２つの初期クラスタが、クラスタマップＣ上において近接し、且つ領域マップＲ上において近接する長方形領域に属するものである場合、この２つの初期クラスタを統合する（クラスタ統合工程）。初期クラスタを統合した統合クラスタに基づいて領域マップＲを更新し、この更新した領域マップに基づいて長方形領域も再設定する。次に、再設定した長方形領域内における同一のクラスタ番号ｎを有する画素の密度分布を算出し、この密度分布に基づいて必要に応じて長方形領域を分割する（領域分割工程）。こうして、入力カラー画像データにおいて、同一の色を有する複数の長方形領域が設定される。これらの長方形領域から、特定の色、即ち、本実施の形態においては、肌色を有する長方形領域を抽出する。以下、各工程について説明する。
【００４９】
（１−１）色変換工程
色変換工程では、表色系変換部２１２により、画像入力部１０１で得られたカラー画像データを所望の領域を抽出するために適した表色系に変換する。過検出を極力軽減するためには、変換後の表色系は、その表色系による色空間において、抽出すべき領域の色ができるだけ狭い範囲に分布するようなものを選択することが好ましい。これは、抽出すべき領域の性質に依存するが、例えば本実施の形態のように、人物の顔の領域を抽出対象とする場合に効果的な表色系の１つとして、下記式（１）に示すｒ−ｇ表色系が知られている。
【００５０】
【数１】

【００５１】
ここで、Ｒ、Ｇ、ＢはＲＧＢ表色系の各座標値を表している。従って、画像入力部１０１の出力画像がＲＧＢ表色系で表されている場合、表色系変換部２１２では各画素毎に上記式（１）の演算が行なわれ、座標値（ｒ，ｇ）の値が算出される。こうして表色系が変換された変換データは、ヒストグラム生成部２１３に送られる。
【００５２】
なお、以下の説明では、このｒ−ｇ表色系を領域抽出に用いる場合を例に説明を行う。また、特に入力カラー画像データ上の位置（座標）（ｘ，ｙ）における値を表す場合には、｛ｒ（ｘ，ｙ），ｇ（ｘ，ｙ）｝と表現する。
【００５３】
（１−２）ヒストグラム生成工程
ヒストグラム生成工程では、ヒストグラム生成部２１３により、表色系変換部２１２によって表色系が変換された変換データ｛ｒ（ｘ，ｙ），ｇ（ｘ，ｙ）｝の色空間上における出現頻度を示す２次元ヒストグラムを生成する。ヒストグラムの生成は、抽出すべき領域の色が十分に含まれる色の範囲に対してのみ行なわれる。このような色の範囲は、例えば、ｒ及びｇの各値に対する下限値及び上限値を定めることで下記式（２）のように表すことができる。
【００５４】
【数２】

【００５５】
ここで、ｒｍｉｎ及びｒｍａｘは、夫々ｒの下限値及び上限値、ｇｍｉｎ及びｇｍａｘは、夫々ｇの下限値及び上限値を示す。
【００５６】
画像上の位置（ｘ，ｙ）における｛ｒ（ｘ，ｙ），ｇ（ｘ，ｙ）｝が上記式（２）の条件を満足する場合、先ず、これらの値が下記式（３）によって量子化され、ヒストグラム上の座標（ｉｒ，ｉｇ）に変換される。
【００５７】
【数３】

【００５８】
ここで、ｒｓｔｅｐ及びｇｓｔｅｐは、夫々ｒ及びｇに対する量子化ステップであり、ｉｎｔは括弧内の数値の小数点以下を切り捨てる演算を示す。
【００５９】
次に、算出された座標値に対応するヒストグラムの値を下記式（４）によってインクリメントすることで、座標値の出現頻度を示す２次元ヒストグラムＨが生成される。
【００６０】
【数４】

【００６１】
図１４は、簡単のため、本来２次元であるヒストグラムを１次元としたヒストグラムと抽出された初期クラスタとの関係を模式的に示すものである。図１４に示すように、出現頻度は、カラー画像データ上の例えば肌色等の各色領域の大きさに応じて大きさが異なる複数個の極大値を有する。
【００６２】
そして、生成されたヒストグラムＨは、例えばノイズを除去し、誤検出を防止するために必要に応じてローパスフィルタによって平滑化された後、初期クラスタ抽出部２１４に送られる。
【００６３】
（１−３）初期クラスタ生成工程
初期クラスタ生成工程では、初期クラスタ抽出部２１４により、ヒストグラム生成部２１３によって生成された各座標値の出現頻度を示す２次元ヒストグラムＨから、分布が集中している色の座標の集合を初期クラスタとして抽出する。具体的には、上述したｒ−ｇ表色系の座標値における出現頻度の極大値及びその近傍に存在する画素群を１つの初期クラスタとして抽出する。即ち、各極大点を、構成要素が１つの初期クラスタと見なし、これらを始点として、隣接する座標を併合することで初期クラスタの成長を行う。初期クラスタの成長は、既に生成されているクラスタマップをＣとすると、このクラスタマップＣ上の各座標を走査し、新たに併合すべき座標を検出することにより行われる。
【００６４】
例えば、図１４においては、極大点１乃至３に対し、この極大点１乃至３を始点としてこの極大点１乃至３近傍の座標の画素群が併合され、夫々初期クラスタ２７１_１乃至２７１_３として抽出される。ここで、図１４に示すヒストグラムにおける出現頻度Ｈ（ｉｒ，ｉｇ）の極大値を始点とし、この始点に隣接する座標の画素から、出現頻度Ｈ（ｉｒ，ｉｇ）が閾値Ｔに至る座標（閾値Ｔ以下になる前の座標）の画素まで順次併合するが、その際、座標（ｉｒ，ｉｇ）がいずれのクラスタにも併合されておらず、その出現頻度が閾値Ｔよりも大きく、更にその隣接座標（ｉｒ＋ｄｒ，ｉｇ＋ｄｇ）のいずれかにおいて、既にいずれかの初期クラスタに併合されたものがあり、その隣接座標における出現頻度が、自らの出現頻度よりも大きい場合に、座標（ｉｒ，ｉｇ）を既に併合されている隣接座標と同一の初期クラスタに併合すべき座標として検出する。このように、出現頻度の閾値Ｔを設けることにより、出現頻度が小さい座標領域における座標を有する画素の抽出を防止する。初期クラスタは、２次元ヒストグラムＨの極大点の個数に応じて１つ以上の初期クラスタが抽出されるが、各初期クラスタには固有の番号が割り当てられ、識別される。こうして抽出された複数の初期クラスタは２次元配列であるクラスタマップＣ（ｉｒ，ｉｇ）上に多値画像として下記式（５）のように示される。
【００６５】
【数５】

【００６６】
即ち、上記式（５）は、色の座標（ｉｒ，ｉｇ）が初期クラスタｎに含まれていることを示す。図１５（ａ）及び（ｂ）は、夫々入力画像及びクラスタマップＣを示す模式図である。図１５（ａ）に示すように、入力カラー画像データ２０１における例えば（ｘ１，ｙ１）、（ｘ２，ｙ２）等の各画素値は、表色変換部２１２にて色座標（ｉｒ１，ｉｇ１）、（ｉｒ２，ｉｇ２）に変換され、その出現頻度から２次元ヒストグラムが生成されて、この２次元ヒストグラムに基づいて抽出された初期クラスタが図１５（ｂ）に示す横軸にｉｒ、縦軸にｉｇを取った２次元配列であるクラスタマップＣ上に初期クラスタ２７２，２７３として示される。抽出された初期クラスタは図１５（ｂ）に示すクラスタマップＣとして、初期領域抽出部２１５及びクラスタ統合部２１６に送られる。
【００６７】
（１−４）初期領域抽出工程
初期領域抽出部２１５では、初期クラスタ抽出部２１４において得られた、例えば図１５（ｂ）に示す初期クラスタ２７２，２７３等の初期クラスタに含まれる色を有する画素のうち、同一初期クラスタに属する画素がカラー画像データ上で集中する長方形の領域を初期領域として抽出する。図１５（ｃ）は、領域マップＲを示す模式図である。初期クラスタ抽出部２１４で成長され生成された各初期クラスタから抽出された画素は、図１５（ｃ）に示す２次元配列である領域マップＲ（ｘ，ｙ）上にクラスタを識別するｎを有する多値画像として表現される。ここで、図１５（ａ）に示す入力カラー画像データの位置（ｘ１，ｙ１），（ｘ２，ｙ２）における画素が、図１５（ｂ）に示す夫々初期クラスタ２７２，２７３に含まれるものであり、初期クラスタ２７２，２７３のクラスタ番号ｎを１，２としたとき、領域マップＲにおける座標（ｘ１，ｙ１），（ｘ２，ｙ２）は、そのクラスタ番号１，２を有するものとなる。即ち、画像上の位置（ｘ，ｙ）の画素の色がクラスタｎに含まれている場合、下記式（６）のように示される。
【００６８】
【数６】

【００６９】
そして、図１６に示す領域マップＲにおいて、抽出画素２７６の分布が集中する領域を囲む長方形領域２７７を算出する。各初期クラスタに対応して得られた長方形領域は、図１７に示すように、１つの対角線上で相対する２頂点の座標（ｓｒｘ，ｓｔｙ）、（ｅｄｘ，ｅｄｙ）で表現され、１次元配列である頂点リストＶ１に格納される。即ち、クラスタｎに対応して得られた長方形領域２７７の２つの頂点座標が（ｓｔｘ，ｓｔｙ）、（ｅｄｘ，ｅｄｙ）である場合、これらの座標は頂点座標Ｖ１（ｎ）に下記式（７）のように格納されるものとする。
【００７０】
【数７】

【００７１】
各初期クラスタに対応して得られた抽出画素及び長方形領域は、夫々領域マップＲ及び頂点リストＶ１としてクラスタ統合部２１６に送られる。
【００７２】
（１−５）クラスタ統合工程
クラスタ統合工程では、クラスタ統合部２１６により、初期クラスタ抽出部２１４で得られたクラスタマップＣ並びに初期領域抽出部２１５で得られた領域マップＲ及び頂点リストＶ１を使用して、本来１つの領域に含まれる色でありながら異なる初期クラスタとして抽出された複数の初期クラスタを統合する。
【００７３】
即ち、クラスタ統合部２１６は、初期クラスタ抽出部２１４で生成されたクラスタマップＣが入力されると、先ず、任意の２つの初期クラスタｍ及び初期クラスタｎの組み合わせを発生させる。そして、発生させた初期クラスタｍ，ｎとクラスタマップＣとから初期クラスタｍと初期クラスタｎとの色差が算出される。また、初期クラスタｍ，ｎ並びに初期領域抽出部２１５で生成された領域マップＲ及び頂点リストＶ１から、初期クラスタｍと初期クラスタｎとの重なり度が算出される。そして、初期クラスタｍ，ｎ、領域マップＲ及び頂点リストＶ１、色差、並びに重なり度から、初期クラスタｍ，ｎを統合するか否かの判定が行われ、色差が小さく、初期クラスタｍ，ｎが画像上で大きく重なり合って分布している場合にこれらのクラスタを統合する。
【００７４】
そして、初期クラスタの統合に応じて、領域マップＲ及び頂点リストＶ１が修正され、夫々領域マップＲ２及び頂点リストＶ２として領域分割部２１７に送られる。また修正された領域マップＲ２は領域抽出部２１８にも送られる。
【００７５】
（１−６）領域分割工程
領域分割工程では、領域分割部２１７により、クラスタ統合部２１６において修正された領域マップＲ２及び頂点リストＶ２を用いて、同一のクラスタ、即ち、初期クラスタ又は初期クラスタが統合された統合クラスタ（以下、単にクラスタという。）によって抽出された抽出画素の分布に応じて、頂点リストＶ２に格納されている頂点座標Ｖ２（ｎ）が示す長方形領域を分割する。即ち、クラスタ統合部２１６によって得られた新たな領域マップＲ２及び頂点リストＶ２（ｎ）が入力されると、頂点リストＶ２（ｎ）が示す長方形領域を水平又は垂直に２分割する主分割点が検出され、長方形領域が垂直に２分割された場合は、領域マップＲ２及び分割された２つの垂直分割長方形領域の頂点リストを使用して、各垂直分割長方形領域が水平に分割される。また、長方形領域が水平に２分割された場合は、領域マップＲ２及び分割された２つの水平分割長方形領域の頂点リストを使用して、各水平分割長方形領域が垂直に分割される。領域の分割には、例えば頂点リストＶ２で表される長方形領域内において、クラスタｎによって抽出された画素の数を水平方向及び垂直方向に累積した夫々ヒストグラムＨＨ及びＨＶ使用し、このヒストグラムの最小点となる点を検出し、これが予め設定された閾値よりも小さい場合に分割する。そして、領域マップＲ２及びこのように分割された長方形領域の頂点リストを使用して、長方形領域を修正する。
【００７６】
例えば、図１８に示すように、画像上で同一のクラスタによって抽出された抽出画素が、このクラスタに対応して得られた長方形領域２９５において複数の塊２９６ａ，２９６ｂを構成している場合、各塊２９６ａ，２９６ｂを異なる領域とみなし、長方形領域２９５の分割を行う。この結果、１つの初期クラスタに属する長方形領域２９５内に、例えば塊２９６ａ，２９６ｂ等の複数の画素の塊が対応することになり、各画素の塊２９６ａ，２９６ｂを取り囲む分割長方形領域２９７ａ，２９７ｂを算出することができる。
【００７７】
分割長方形領域２９７ａ，２９７ｂは初期領域抽出部２１５と同様、図１８に示すように１つの対角線上で相対する２つの頂点座標で表され、新たな頂点リストＶ３（ｎ，ｍ）に格納される。即ち、クラスタｎに対応するｍ番目の長方形領域が｛（Ｖ３（ｎ，ｍ）．ｓｔｘ，Ｖ３（ｎ，ｍ）．ｓｔｙ），（Ｖ３（ｎ，ｍ）．ｅｄｘ，Ｖ３（ｎ，ｍ）．ｅｄｙ）｝で表される場合、これらの座標は新たな頂点リストＶ３（ｎ，ｍ）に下記式（８）のように格納されるものとする。新たな頂点リストＶ３（ｎ，ｍ）は、領域抽出部２１８に送られる。
【００７８】
【数８】

【００７９】
（１−７）領域抽出工程
領域抽出部２１８では、クラスタ統合部２１６において修正された領域マップＲ２と、領域分割部２１７において得られた新たな頂点リストＶ３を用いて、下記式（９）の条件を満たす画素の集合Ｓｎｍを抽出する。
【００８０】
【数９】

【００８１】
即ち、同一のクラスタから抽出された画素であっても、領域分割部２１７にて長方形領域が分割された場合、例えば図１８に示す長方形領域２９７ａ，２９７ｂ等のような分割された長方形領域を１つの集合と見なして抽出する。ここで抽出された複数の領域は図示せぬ判別処理部に送られ、所望の領域か否かの判別が行なわれる。
【００８２】
このように肌色領域抽出部２００では、クラスタ統合部２１６により、１つの物体に対応する領域が類似した複数の色から構成されている場合、それらの色を統合して、１つの領域として扱うことができ、また、領域分割部２１７により、同一の色を持つ物体が複数存在する場合、それらを分離して扱うことが可能となる。また、クラスタを抽出し、これを統合し、更に画素密度分布によって抽出領域を分割することにより、肌色領域を極めて正確に抽出することができる。
【００８３】
（２）被写体検出部
被写体検出部３００では、肌色領域抽出部２００によって抽出された各肌色領域を顔領域と仮定し、この肌色領域に対応する頂点座標Ｖ３（ｎ）が示す長方形領域から、特徴点検出部により各特徴点が検出される。特徴点検出部は、人物の頭頂部の位置を検出する頭頂部検出部３１３と、肌色領域内の赤みの強さに基づき、人物の口の位置を検出する口検出部３１４と、頭頂部及び口の位置に基づき検索範囲を設定して眼を検出する眼検出部３１５と、眼及び口の位置から顎の位置を算出する顎検出部３１６と、口の位置から口領域を設定し、この口領域内の赤み強度に基づいて顔の中心線を検出する中心線検出部３１７と、頭頂部、顎及び顔中心線の位置から、肌色領域抽出部２００にて算出された頂点座標Ｖ３（ｎ）を修正する領域修正部３１８と、抽出された肌色領域Ｖが人物の顔であるか否かを判定する判定部３１９とから構成される。以下、各検出部について更に詳細に説明する。
【００８４】
（２−１）人物の頭頂部の検出
頭頂部検出部３１３は、肌色領域を顔として有する人物の頭頂部を検出する。頭頂部の検出は、例えば人物以外の背景領域は単一色であること及び人物の上方、即ち、垂直座標が小さい側には背景領域のみが存在し得ることを仮定し、背景色とは異なる色を有する画素の中で垂直座標が最も小さい位置を検出する。以下、頭頂部の位置における垂直方向の座標を頭頂部の高さという。
【００８５】
具体的には、図１９に示すように、画像入力部１０１から送られる入力カラー画像データ３６０において、注目する肌色領域３６１に対応する長方形領域３６２の図中上方の領域、即ち、長方形領域３６２よりも垂直座標が小さい領域であって、Ｖ３（ｎ，ｍ）．ｓｔｘ≦水平座標（ｘ座標）≦Ｖ３（ｎ）．ｅｄｘの範囲に設定した頭頂部探索範囲３６３を図中上方から走査し、各画素の値と背景領域３６４の背景色との差ｄを下記式（１０）によって算出する。
【００８６】
【数１０】

【００８７】
ここで、Ｒ（ｘ，ｙ）、Ｇ（ｘ，ｙ）、Ｂ（ｘ，ｙ）はカラー画像データ上の座標（ｘ，ｙ）における画素のＲ、Ｇ、Ｂの値であり、Ｒｂｇ、Ｇｂｇ、Ｂｂｇは背景色のＲ、Ｇ、Ｂの値である。この背景色としては、現在の注目画素よりも上方、即ち、垂直座標（ｙ座標）が小さい領域における画素の平均値、例えばカラー画像データ３６０の最上端３６０ａから１０ライン目までの平均値を使用することができる。
【００８８】
そして、上記式（１０）の色の差ｄを算出し、この値が所定の閾値Ｔよりも大きい画素が出現した時点で、その垂直座標ｙを頭頂部の高さＴＯＨとする。検出された頭頂部の高さＴＯＨは眼検出部３１５、頬検出部３１８及び領域修正部３１８に送られる。
【００８９】
（２−２）人物の口検出
次に、口検出部３１４は、肌色領域抽出部２００により抽出された各肌色領域に対し、口の高さを検出する。先ず、頂点リストＶ３（ｎ）によって表される長方形領域内において、肌色領域としては抽出されていない各画素（ｘ，ｙ）に対して、赤みの強さを示す下記式（１１）の値ｒｄｓｈ（ｘ，ｙ）を算出する。
【００９０】
【数１１】

【００９１】
算出された値ｒｄｓｈ（ｘ，ｙ）は、図２０に示すように水平方向（ｘ軸方向）に累積されて、下記式（１２）に示すヒストグラムＨｒｄｓｈ（ｙ）が生成される。
【００９２】
【数１２】

【００９３】
ここで、Ｖ３（ｎ）及びＲ（ｘ，ｙ）は、いずれも肌色領域抽出部２００から送られたデータであって、夫々肌色領域ｎに対応する長方形領域の頂点座標、及び領域マップを示す。
【００９４】
次に、ヒストグラムＨｒｄｓｈ（ｙ）は、ノイズ等を除去するため、必要に応じて１次元ローパスフィルタによって平滑化された後、ヒストグラムＨｒｄｓｈ（ｙ）の最大値における垂直座標ｙが口の高さＨＯＭとして検出される。検出された口の高さＨＯＭは、眼検出部３１５、顎検出部３１６、中心線検出部３１７、頬検出部３１８及び判定部３１９に送られる。
【００９５】
（２−３）人物の眼検出
次に、眼検出部３１５は、肌色領域抽出部２００で抽出された各肌色領域に対して眼の高さを検出する。先ず、頭頂部検出部３１３によって検出された頭頂部の高さＴＯＨと口検出部３１４によって検出された口の高さＨＯＭとから、垂直方向（ｙ軸方向）の眼の探索範囲を例えば下記式（１３）により算出する。
【００９６】
【数１３】

【００９７】
ここで、ｅ１及びｅ２は予め設定された係数である。ｅｔｏｐ及びｅｂｔｍは、夫々検索範囲の垂直座標における下限値及び上限値である。そして、これら垂直座標における下限値及び上限値に挟まれ、且つ注目する肌色領域に対応する長方形領域内に存在する画素に対して水平方向のエッジ（以下、水平エッジという。）の強度ｅｄｇｅ（ｘ，ｙ）を検出する。
【００９８】
入力カラー画像データの各座標において算出された水平エッジの強度ｅｄｇｅ（ｘ，ｙ）は、水平方向（ｘ軸方向）に累積されて、長方形領域内における垂直方向の水平エッジを示すヒストグラムＨｅｄｇｅ（ｙ）が下記式（１４）により算出される。
【００９９】
【数１４】

【０１００】
ここで、Ｖ３（ｎ）は肌色領域抽出部２００で得られた肌色領域ｎに対応する長方形領域の頂点座標である。図２１は、生成されたヒストグラムＨｅｄｇｅ（ｙ）を示す模式図である。ヒストグラムＨｅｄｇｅ（ｙ）は、ノイズ等を除去するため、必要に応じて１次元ローパスフィルタによって平滑化された後、その最大値に対応する垂直座標ｙが眼の高さＨＯＥとして検出される。
【０１０１】
また、上記式（１３）によって算出されるｅｂｔｍが、肌色領域を囲む長方形領域の頂点座標のＶ３（ｎ）．ｓｔｙより小さい場合、頭頂部の高さＴＯＨ又は口の高さＨＯＭの検出が適切に行なわれていない可能性が高い。そこで、このような場合には、対応する長方形領域の頂点座標Ｖ３（ｎ）に位置座標としては無効な値である例えば−１を格納して頂点リストＶを修正することができる。
【０１０２】
検出された眼の高さＨＯＥは、顎検出部３１６、頬検出部３１８及び判定部３１９に送られる。また、修正された頂点リストＶは顎検出部３１６、中心線検出部３１７、頬検出部３１８及び領域修正部３１８に送られる。
【０１０３】
（２−４）人物の顎検出
顎検出部３１６では、眼検出部３１５において修正された頂点リストＶ３に無効ではない頂点座標を有する各肌色領域に対して、顎の高さを検出する。顎の高さの検出は、例えば図２２に示すように、人物の顔３８０においては顎と口との間の距離３８１と、眼と口との間の距離３８２との比がほぼ一定であると仮定して、下記式（１５）により推定することができる。
【０１０４】
【数１５】

【０１０５】
ここで、ｃは、予め設定された係数であり、ＨＯＪは顎の高さを示す。算出された顎の高さＨＯＪは領域修正部３１８に送られる。
【０１０６】
（２−５）人物の顔の中心線検出
次に、顔の中心線検出部３１７は、眼検出部３１５において修正された頂点リストＶ３に無効ではない頂点座標を有する各肌色領域に対して、顔を左右に分割する中心線の位置を検出する。
【０１０７】
ここでは、はじめに口検出部３１４で検出された口の高さＨＯＭを中心として垂直方向の座標における口探索範囲を設定する。この探索範囲は、図２３に示すように、例えば対応する長方形領域の垂直方向における幅から下記式（１６）により算出することができる。
【０１０８】
【数１６】

【０１０９】
ここで、ｍは予め設定された係数であり、Ｖ３（ｎ）は肌色領域ｎに対応する長方形領域の頂点座標である。上記式（１６）により算出された夫々ｍｔｏｐ及びｍｂｔｍを、探索範囲のｙ座標の夫々下限値及び上限値とする。また、水平方向の探索範囲は、長方形領域の水平方向の幅とすることができる。即ち、ｘ座標の上限及び下限は、長方形領域の夫々左端Ｖ３（ｎ）．ｓｔｘ及び右端Ｖ３（ｎ）．ｅｄｘとすることができる。図２４は、肌色領域３９１に対応する長方形領域３９２における口の高さＨＯＭ及び検索範囲ｍｔｏｐ、ｍｂｔｍを示す模式図である。
【０１１０】
次に、設定された探索範囲に存在し、かつ肌色領域に含まれない画素に対して上記式（１１）により赤みの強さを算出し、赤みの強さの値が閾値よりも大きくなる画素の水平座標の平均値を中心線の水平座標位置ＣＯＨとして検出する。赤みの強さを算出する際に、肌色領域に属する画素を除くことにより、肌色領域に属する画素の影響を排除することができ、極めて高精度に顔の中心線を検出することができる。こうして、検出された顔中心線の位置ＣＯＨは領域修正部３１８及び判定部３１９に送られる。
【０１１１】
また、顔の中心線は、肌色領域における肌色画素の分布の平均位置を検出し、これを通る直線を顔の中心線とすることもできる。
【０１１２】
（２−６）長方形領域の修正
領域修正部３１８は、眼検出部３１５において修正された頂点リストＶ３に無効ではない頂点座標を有する各肌色領域に対して、長方形領域を改めて算出し、頂点リストＶの修正を行う。例えば、頭頂部検出部３１３で得られた頭頂部の高さＴＯＨ、顎検出部３１６で得られた顎の高さＨＯＪ、及び中心線検出で得られた中心線の位置ＣＯＨを使用して、図２４に示すように、長方形領域５００を設定することができる。即ち、修正後の長方形領域５００を示す２つの頂点座標｛（ｓｔｘ、ｓｔｙ），（ｅｄｘ、ｅｄｙ）｝は下記式（１７）により算出することができる。
【０１１３】
【数１７】

【０１１４】
ここで、ａｓｐは人物の顔の幅に対する高さの比、即ちアスペクト比を示す係数、適当な値が予め設定されているものとする。
【０１１５】
肌色領域ｎに対して新たに算出された頂点座標は、頂点リストＶに上書きされ判定部３１９に送られる。
【０１１６】
（２−７）顔判定
判定部３１９は、領域修正部３１８において修正された頂点リストＶ３に無効ではない頂点座標を有する各肌色領域に対して、その肌色領域が顔領域であるか否かの判定を行う。顔領域の判定は、例えば人物の顔領域では眼の部分及び口の部分に水平エッジが多く分布すること、また唇の色が他の部分に比べて赤みが強いことを利用し、これらの条件が口検出部３１３で検出された口の高さＨＯＭ、及び眼検出部３１４で検出された眼の高さＨＯＥにおいて成立しているか否かを検証することにより行うことができる。判定結果は、顔領域であるか否かを表す２値のフラグｆａｃｅｆｌａｇとして出力される。
【０１１７】
このように、被写体検出部３００においては、抽出された肌色領域に対して、頭頂部及び口の位置を検出し、これらの位置から眼の検索範囲を設定して眼の位置を検出するため、極めて高精度に眼の位置を検出することができる。また、顎の位置は、眼と口の位置から算出することにより、顔と首との輝度及び色の差が小さく、高精度に検出することが難しい場合にも顎の位置の検出を正確に行うことができる。更に、顔の中心線は、口の赤みの強さに基づき検出されるため、極めて高精度に顔中心線を検出することができる。更にまた、判定部３１９において、眼のパターンらしさ及び口のパターンらしさを判定し、この判定結果に基づき顔であるか否かの総合判定をするため、複数の顔が含まれている場合であっても、顔であるか否かの判定結果の信頼性が高い。
【０１１８】
また、判定部３１９により顔と判定される肌色領域が複数存在する場合に、複数の顔領域から、例えばその顔領域の位置に基づき１つの顔領域を選択する選択部（図示せず）を設けることもできる。これにより、例えば、複数の顔領域が存在する画像から１つの顔領域を抽出して、例えばトリミング処理を施すことができる。なお、判定部３１９に、顔領域を選択する機能をもたせるようにしてもよい。
【０１１９】
（３）しわ補正部
しわ補正部４００では、周辺領域特定部４１１によって眼及び口の周辺領域を特定し、補正部４１２によって眼及び口の周辺領域に対して小じわやシミが目立たなくなるように人物画像データの画像補正を行うことで、被写体となる人物にとって出来栄えのよい証明写真を得ることができる。以下、しわ補正部４００における各部について更に詳細に説明する。
【０１２０】
（３−１）周辺領域特定
周辺領域特定部４１１は、被写体検出部３００から入力された眼及び顔の中心線のデータに基づき人物画像データから眼の周辺領域ＡＯＥを特定し、被写体検出部３００から入力された口及び顔の中心線のデータに基づき人物画像データから口の周辺領域ＡＯＭを特定する。
【０１２１】
具体的に、周辺領域特定部４１１は、図１に示すように、被写体検出部３００から入力された眼及び顔の中心線のデータに基づき、左右両眼の目尻から顔の外側に向けて眼の周辺領域ＡＯＥを特定する。眼の周辺領域ＡＯＥは、左右両眼に対応してそれぞれ特定され、略四角形状の領域とされている。但し、眼の周辺領域ＡＯＥは、四角形状の領域に限定されるものではなく、例えば、円形、楕円形であってもよく、小じわが現れやすい領域を含む形状とされていればよい。
【０１２２】
また、周辺領域特定部４１１は、図１に示すように、被写体検出部３００から入力された口及び顔の中心線のデータに基づき、口の左右両端から顔の外側に向けて口の周辺領域ＡＯＭを特定する。口の周辺領域ＡＯＭは、口の左右両端に対応してそれぞれ特定され、略四角形状の領域とされている。但し、口の周辺領域ＡＯＭは、四角形状の領域に限定されるものではなく、円形、楕円形であってもよく、小じわやシミが現れやすい領域を含む形状とされていればよい。
【０１２３】
このように周辺領域特定部４１１は、人物画像データから眼の周辺領域ＡＯＥ及び口の周辺領域ＡＯＭを特定し、補正部４１２に出力する。
【０１２４】
（３−２）画像補正
補正部４１２は、周辺領域特定部４１１により特定された眼の周辺領域ＡＯＥ及び口の周辺領域ＡＯＭの肌色部分に対してローパスフィルタをかける画像補正を行う。すなわち、補正部４１２は、眼の周辺領域ＡＯＥ及び口の周辺領域ＡＯＭの肌色部分に対してローパスフィルタをかけることで、明るさの変化をなめらかとする画像補整を行い、画像補整した人物画像データを出力する。これにより補正部４１２は、人物画像データにおける人物の小じわやシミ等を目立たなくすることができる。
【０１２５】
具体的に、図２５に示すように、特定された周辺領域では、小じわやシミ等により所定の方向の明るさの分布があり、明るさの低い部分Ｂが小じわやシミ等に相当する。補正部４１２は、この方向にローパスフィルタをかけることで明るさの分布を均一化して、破線で示すように明るい部分と暗い部分との差を低減し、小じわやシミ等を目立たなくする。
【０１２６】
なお、補正部４１２は、小じわやシミだけでなく、例えば、小さな黒子、アザ、肌のくすみ等を目立たなくすることができる。
【０１２７】
特に、補正部４１２は、眼の周辺領域ＡＯＥに対して、垂直方向のローパスフィルタをかけることにより、目尻から顔の外側に向かって生じる小じわを効果的に補正することができる。また、補正部４１２は、口の周辺領域ＡＯＭに対して、水平方向のローパスフィルタをかけることにより、口から鼻にかけて生じる小じわを効果的に補正することができる。
【０１２８】
以上のように構成された画像処理装置１００は、撮影して出力された人物画像データから人物の眼及び口の周辺領域を特定し、この周辺領域に対して小じわやシミが目立たなくなるように画像補正を行い、被写体となる人物にとって見栄えのよい人物画像データを得ることができる。そして、画像処理装置１００は、しわ補正部４００から出力されたカラー画像データを第１のプリンタ１８又は第２のプリンタ１９に出力する。
【０１２９】
本実施の形態において、撮影装置１は、撮影された人物画像データを、人物の顔の眼及び口の周辺領域に対して小じわやシミが目立たないように画像補正を行うことで、被写体となる人物にとって見栄えのよい写真を得ることができる。特に、撮影装置１は、被写体となる人物が女性である場合、写真の見栄えで気になりやすい小じわやシミを目立たないように補正することができるため、被写体となる人物にとって満足できる写真を得ることができる。また、撮影装置１は、小じわやシミだけでなく、例えば、小さな黒子、アザ、肌のくすみ等を目立たなく画像補正することができる。
【０１３０】
以上のように、街角等に設置される証明写真の写真ブースを例にとり説明したが、本発明は、これに限定されるものではなく、例えば写真スタジオに設置される写真装置、病院等に設置される写真装置やゲームセンタ等に設置される写真装置に適用することもできる。
【０１３１】
なお、上述の実施の形態では、画像処理装置１００についてハードウェアの構成として説明したが、これに限定されるものではなく、任意の処理を、ＣＰＵ７８にコンピュータプログラムを実行させることにより実現することも可能である。この場合、コンピュータプログラムは、記録媒体に記録して提供することも可能であり、また、インターネットその他の伝送媒体を介して伝送することにより提供することも可能である。
【０１３２】
また、上述の実施の形態では、画像処理による人物画像データの画像補正を行うことができるので、上記照明装置等の一部若しくは全部を省略するようにしてもよい。
【０１３３】
更に、上述の実施の形態では、しわ補正部４００において眼の周辺領域及び口の周辺領域を特定するようにしたが、眼の周辺領域又は口の周辺領域のどちらか一方を特定し、画像補整を行うようにしてもよい。
【０１３４】
更にまた、上述の実施の形態では、しわ補正部４００において眼の周辺領域及び口の周辺領域を特定するようにしたが、図２６に示すように、被写体検出部３００により検出された各パラメータを用いてより多くの周辺領域を特定し、特定された周辺領域に応じた画像補正を行うことで、より多くの利用者にとって見栄えのよい写真を得ることができる。具体的には、しわ補正部４００において額を含む領域ＡＯＦを特定することで、額に水平方向に発生したしわを目立たなくなるように画像補正することができる。
【０１３５】
更にまた、上述の実施の形態では、しわ補正部４００において、目尻から顔の外側にかけて眼の周辺領域を特定し、口元から顔の外側にかけて口の周辺領域を特定するようにしたが、図２５に示すように、左右両眼をそれぞれ中心として略四角形状に眼の周辺領域を特定するようにし、口の中心から略四角形状に口の周辺領域を特定する用にしてもよい。なお、上述したように周辺領域を特定する際には、小じわやシミが目立つ領域を含むように特定することが好ましく、被写体となる人物の性別や年齢に応じて領域を変化させたり、任意に選択できるようにしてもよい。被写体となる人物が高年齢である場合には、顔に小じわやシミ等ができやすいため、しわ補正部４００におけるローパスフィルタを調整し、補正の度合いを強めるようにしてもよい。
【０１３６】
【発明の効果】
上述したように本発明によれば、被写体となる人物の眼及び／又は口の周辺領域に対して、明るさの変化がなめらかになるように画像補正を行うことで、人物の眼及び／又は口の周辺領域の小じわやシミが目立たないように人物の画像データを自動的に作成し、見栄えのよい写真を常に得ることができる。
【図面の簡単な説明】
【図１】証明写真における人物の配置と、眼の周辺領域及び口の周辺領域を示す模式図である。
【図２】本発明の実施の形態に係る撮影装置を正面側から見た斜視図である。
【図３】上記撮影装置を背面側から見た斜視図である。
【図４】上記撮影装置の透視平面図である。
【図５】撮影室に設けられた左右一対の照明器具を説明する平面図である。
【図６】撮影室に設けられた左右一対の照明器具から人物を照明してできる陰影を説明する平面図である。
【図７】撮影室に設けられた左右一対の照明器具から人物を照明してできる陰影を説明する平面図である。
【図８】上記撮影装置を正面側から見た図であって、カーテンを閉めた状態を説明する図である。
【図９】上記撮影装置の制御回路を説明するブロック図である。
【図１０】本発明の実施の形態に係る画像処理装置を示すブロック図である。
【図１１】本発明の実施の形態に係る画像処理装置における肌色領域抽出部を示すブロック図である。
【図１２】本発明の実施の形態に係る画像処理装置における被写体検出部を示すブロック図である。
【図１３】本発明の実施の形態に係る画像処理装置における顔補正部を示すブロック図である。
【図１４】横軸に座標をとり、縦軸に出現頻度をとって、出現頻度を示すヒストグラムとクラスタとの関係を模式的に示すグラフ図である。
【図１５】（ａ）乃至（ｃ）は、夫々入力画像、クラスタマップＣ及び領域マップＲを示す模式図である。
【図１６】本発明の実施の形態における肌色領域抽出部において作成された領域マップＲを示す模式図である。
【図１７】本発明の実施の形態における肌色領域抽出部において抽出される長方形領域を示す模式図である。
【図１８】本発明の実施の形態における肌色領域抽出部の領域分割部にて分割される長方形領域を示す模式図である。
【図１９】カラー画像における人物の頭頂部を検索する際の検索範囲を示す模式図である。
【図２０】長方形領域の水平方向の赤み強度が累積されて生成されたヒストグラムＨｒｄｓｈと長方形領域との関係を示す模式図である。
【図２１】人物の眼、口及び顎の位置の関係を示す模式図である。
【図２２】エッジを構成する画素が水平方向に累積されて生成されたヒストグラムＨｅｄｇｅ（ｙ）と肌色領域に対応する長方形領域との関係を示す模式図である。
【図２３】肌色領域に対応する長方形領域における口の高さＨＯＭ及び検索範囲ｍｔｏｐ、ｍｂｔｍを示す模式図である。
【図２４】修正後の長方形領域の頂点座標｛（ｓｔｘ、ｓｔｙ），（ｅｄｘ、ｅｄｙ）｝を示す模式図である。
【図２５】周辺領域における明るさの分布を平均化する処理を説明するための図である。
【図２６】証明写真における人物の配置と、額の周辺領域、眼の周辺領域及び口の周辺領域を示す模式図である。
【符号の説明】
１撮影装置、２設置面、１１筐体、１２背面部、１３一方の側壁、１４他方の側壁、１５天板、１６撮影室、１６ａ第１の面、１６ｂ第２の面、１６ｃ第３の面、１７撮影部、１７ａ撮影装置、１７ｂハーフミラー、１７ｃ反射板、１８第１のプリンタ、１９第２のプリンタ、２２転動防止部材、２３入口、２４椅子、２４ａ取っ手、２９料金投入部、３１位置決め凹部、３２被写体検出部３２カーテン、３３ａスリット、３４第１の手摺り、３５第２の手摺り、３６第３の手摺り、４０回動支持機構、４１椅子取付部材、４２回動支持部、４４椅子支持部材、４６リンク部材、４８ガイド孔、４９係合突起、５１ダンパ、５４保持機構、５６保持部材、５８係止突部、５９検出部、６０押圧部、７０制御回路、１００画像抽出装置、１０１画像入力部、２００肌色領域抽出部、２１２表色系変換部、２１３ヒストグラム生成部、２１４初期クラスタ抽出部、２１５初期領域抽出部、２１６クラスタ統合部、２１７領域分割部、２１８領域抽出部、３００被写体検出部、３１３頭頂部検出部、３１４口検出部、３１５眼検出部、３１６顎検出部、３１７中心線検出部、３１８頬検出部、３１９領域修正部、３２０判定部、４００顔補正部、４１１周辺領域特定部、４１２補正部、４２０証明写真、４２１人物

Claims

人物の画像から顔領域を抽出する顔領域抽出手段と、
上記顔領域抽出手段により抽出された顔領域から、上記人物の眼及び／又は口の位置を検出する検出手段と、
上記検出手段の検出結果に基づいて、上記顔領域内の上記人物の眼及び／又は口の周辺領域を特定する領域特定手段と、
上記領域特定手段により特定された上記人物の眼及び／又は口の周辺領域に対して、明るさの変化をなめらかにする画像補正を行う画像補正手段とを備えることを特徴とする画像処理装置。
上記画像補正手段は、上記人物の眼及び／又は口の周辺領域に対して、明るさの平滑化を行うローパスフィルタを有することを特徴とする請求項１記載の画像処理装置。
人物の画像から顔領域を抽出する顔領域抽出ステップと、
上記顔領域から、上記人物の眼及び／又は口の位置を検出する検出ステップと、
上記顔領域内の上記人物の眼及び／又は口の周辺領域を特定する領域特定ステップと、
上記人物の眼及び／又は口の周辺領域に対して、明るさの変化をなめらかにする画像補正を行う画像補正ステップとを有することを特徴とする画像処理方法。
上記画像補正ステップにおいて、上記人物の眼及び／又は口の周辺領域に対して、明るさの平滑化を行うローパスフィルタをかけることを特徴とする請求項３記載の画像処理方法。
人物を撮影する撮影手段と、
上記撮影手段により撮影された上記人物の画像から顔領域を抽出する顔領域抽出手段と、
上記顔領域抽出手段により抽出された顔領域から、上記人物の眼及び／又は口の位置を検出する検出手段と、
上記検出手段の検出結果に基づいて、上記顔領域内の上記人物の眼及び／又は口の周辺領域を特定する領域特定手段と、
上記領域特定手段により特定された上記人物の眼及び／又は口の周辺領域に対して、明るさの変化をなめらかにする画像補正を行う画像補正手段とを備えることを特徴とする撮影装置。
上記画像補正手段は、上記人物の眼及び／又は口の周辺領域に対して、明るさの平滑化を行うローパスフィルタを有することを特徴とする請求項５記載の撮影装置。
更に、上記画像補正手段により画像補正された上記人物の画像を印刷する印刷手段を備えることを特徴とする請求項５記載の撮影装置。
更に、上記人物を照明する照明装置を備えることを特徴とする請求項５記載の撮影装置。