JP2009124231A - 画像補正装置および画像補正方法 - Google Patents

Abstract

【課題】複数の顔の各々に対して所望の補正をする画像補正装置および画像補正方法を提供すること。
【解決手段】複数の顔を含む入力画像を補正する画像補正装置１０ａであって，入力画像に含まれる複数の顔の各々を検出する顔検出部１０２と，顔検出部により検出された、複数の顔のうち少なくともいずれか一の顔を選択する顔選択部１０４と，顔選択部により選択された一の顔を補正する画像補正部１０６と，画像補正部１０６により補正された顔を含む表示画像を生成する表示画像生成部１１２などを備えることを特徴とする。
【選択図】図１

Description

本発明は、画像補正装置および画像補正方法に関し、特に、複数の顔の各々に対して所望の補正をする画像補正装置および画像補正方法に関する。

従来、写真印刷用のプリンタ等において、印刷する写真の明るさや色調を適切にする撮影画像の補正が行われている。近年においては、撮影画像の中から人物の顔を検出し、顔の明るさや色調が適切になるように画像を補正する技術が一般的になっている（例えば、特許文献１）。例えば、家庭用のプリンタは、デジタルカメラで撮影した画像を印刷する際に、画像上の顔の位置を検出し、顔の明るさが暗い場合には明るくするように補正して印刷する技術が実現されている。

また、近年の写真シール販売装置においては、画像の顔部分を検出した後、顔部分が適正な明るさとなるように画像全体の明るさを補正したり、肌が白くなるように補正したりしている。さらには、目の部分を検出して、目がぱっちり見えるような画像補正を行う機能が搭載されている。

特開平０８−１３６９７１号公報

しかし、上記のプリンタや写真シール販売装置では、写真に複数の人物が写っている場合でも、画像の明るさや色調の補正は画像全体に一律に行われていた。すなわち、撮影画像に複数の人物が含まれている場合でも、各々の人物を区別し、各々の人物に対して異なる補正を行ってはいなかった。例えば、撮影画像に女性と男性が含まれている場合に、女性の肌を白くするために、画像全体を一律に明るくした場合には、男性の肌が必要以上に白く補正されてしまうという問題があった。また、撮影者や被写体の好みによっては、健康的に見せるため、肌を色黒に補正したい場合もあるが、そのような嗜好の違いを加味して補正をすることができないという問題があった。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、画像に含まれる複数の顔の各々に対して所望の画像補正をすることが可能な、新規かつ改良された画像補正装置および画像補正方法を提供することにある。

上記課題を解決するために、本発明のある観点によれば、複数の顔を含む入力画像を補正する画像補正装置であって、前記入力画像に含まれる複数の顔の各々を検出する顔検出部と、前記顔検出部により検出された、複数の顔のうち少なくともいずれか一の顔を選択する顔選択部と、前記顔選択部により選択された一の顔を補正する画像補正部と、前記画像補正部により補正された顔を含む表示画像を生成する表示画像生成部と、を備えることを特徴とする、画像補正装置が提供される。

かかる構成によれば、入力された画像に含まれる複数の顔画像の各々を検出して、複数の顔画像のうちから選択された顔画像が補正される。そして、補正された顔を含む表示画像が生成される。これにより、入力画像に含まれる複数の顔画像の各々に対して、個別的に補正をすることが可能となる。したがって、入力画像に複数の人物が含まれている場合でも、画像全体に一律に画像の明るさや色調の補正がなされるのではなく、各々の人物に対して異なる補正をすることが可能となり、ユーザの嗜好の違いを加味した補正をすることも可能となる。

また、前記顔検出部は、前記複数の顔の各々の顔領域を検出し、前記画像補正部は、前記複数の顔の検出結果に基づいて、前記複数の顔の各々の顔領域に顔枠を重畳する補正をするようにしてもよい。かかる構成によれば、顔の検出の結果に基づいて、顔が位置する領域に顔枠が重畳し、顔に顔枠が重畳された補正画像が表示される。これにより、例えば、顔が前後に重なり合っている場合でも、ユーザは、顔枠を指定することにより、一の顔を選択することが容易となる。

また、前記複数の顔を補正するための補正パラメータを記憶している補正パラメータ記憶部を備え、前記画像補正部は、前記補正パラメータに基づいて、前記複数の顔のうち少なくともいずれか一の顔を補正するようにしてもよい。また、前記表示画像生成部は、 前記顔選択部により前記一の顔が選択された場合に、前記補正パラメータ記憶部に記憶された前記補正パラメータ含む表示画像を生成し、ユーザの要求に応じて、前記表示画像に表示された補正パラメータを選択する補正パラメータ選択部を備えるようにしてもよい。

かかる構成により、画像表示部に補正パラメータ記憶部に記憶された補正可能な補正パラメータが表示されて、ユーザにより補正パラメータが選択される。すなわち、ユーザにより選択された顔画像に、ユーザにより選択された補正パラメータに基づいて補正がなされる。よって、入力画像に含まれる複数の顔画像の各々に対して、ユーザ所望の補正をすることができ、ユーザの利便性をより高めることが可能となる。

また、前記顔検出部は、前記入力画像に含まれる複数の顔の特徴量を検出するようにしてもよい。また、複数の顔の特徴量と、前記複数の顔の各々に対して補正される補正パラメータとを関連付けて記憶する顔情報記憶部と、前記入力画像に含まれる顔の特徴量と、前記顔情報記憶部に記憶された顔の特徴量とが一致するか否かを判定する顔判定部と、
をさらに備えるようにしてもよい。また、前記画像補正部は、前記顔判定部の判定の結果、前記顔の特徴量が一致すると判定された場合に、前記顔情報記憶部に記憶された前記補正パラメータに基づいて、前記入力画像の顔を補正するようにしてもよい。

かかる構成により、入力画像に含まれる顔画像の特徴量と、顔画像情報記憶部に予め記憶された顔画像の特徴量とが一致するか否かを判定し、一致した場合に、顔画像情報記憶部に記憶された補正パラメータに基づいて入力画像の顔画像を補正することができる。また、顔画像情報記憶部に予め顔画像の特徴量が記憶されていなかった場合には、一度設定された補正パラメータを当該顔画像の特徴量に関連付けて記憶しておくことができる。これにより、一度設定されて記憶された補正パラメータを再度利用して、入力画像に含まれる複数の顔画像の各々に対して画像補正をすることが可能となる。すなわち、入力画像に含まれるある顔に対して、一度補正パラメータが設定されれば、その後の入力画像に含まれる同一の顔に対して、ユーザにより補正パラメータが設定されなくとも、設定された補正処理が自動的になされることとなる。したがって、ユーザは、入力画像に含まれる同じ顔に対して、一度補正パラメータを設定すれば、以降は補正パラメータを選択して画像補正の設定をしなくとも同一の補正がなされるため、より利便性の高い画像補正をすることが可能となる。

また、前記表示画像生成部は、前記顔検出部による顔の検出結果を含む表示画像を生成するようにしてもよい。

また、上記課題を解決するために、本発明の別の観点によれば、複数の顔を含む入力画像を補正する画像補正方法であって、前記入力画像に含まれる複数の顔の各々を検出するステップと、前記検出された複数の顔のうち少なくともいずれか一の顔を選択するステップと、前記選択された一の顔を補正するステップと、前記補正された顔を含む表示画像を生成するステップと、を含むことを特徴とする、画像補正方法が提供される。さらに、前記入力画像に含まれる複数の顔の特徴量を検出するステップと、前記検出された顔の特徴量と、予め記憶された顔の特徴量とが一致するか否かを判定するステップと、を含むようにしてもよい。

以上説明したように本発明によれば、撮影画像に含まれる複数の顔の各々に対して所望の画像補正をすることができる。また、一度行われた画像補正の情報を再度利用して、複数の顔の各々に対して画像補正をすることもできる。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

（第１の実施形態）
第１実施形態では、入力画像に含まれる複数の顔の各々に対して所望の補正をすることが可能な画像補正装置１０ａに、本発明の画像補正装置を適用して説明する。まず、図１に基づいて、第１実施形態にかかる画像補正装置１０ａの機能構成について説明する。

図１は、本実施形態にかかる画像補正装置１０ａの機能構成を示すブロック図である。図１に示したように、画像補正装置１０ａは、顔検出部１０２と、顔選択部１０４と、画像補正部１０６と、補正パラメータ選択部１０８と、補正パラメータ記憶部１１０と、表示画像生成部１１２などから構成される。また、画像補正装置１０ａは、画像入力部２０とユーザ操作部３０と表示部４０と接続されている。画像入力部２０とユーザ操作部３０はと表示部４０は、画像補正装置１０ａとは別体の装置としたが、画像補正装置１０ａに画像入力部２０とユーザ操作部３０と表示部４０とが組み込まれて一体の装置としてもよい。

画像入力部２０は、画像補正装置１０ａに画像を入力する機能を有し、例えば、カメラデバイスや、メモリカード等を例示することができる。具体的には、画像入力部２０は、撮影された画像をデジタルカメラの記憶媒体から取得して顔検出部１０２に提供する。画像入力部２０への画像入力は、画像入力装置に適した入力方法によって行われる。例えば、入力装置としてデジタルカメラ本体やメモリカードを例示することができる。デジタルカメラの場合は、デジタルカメラの前に被写体が立つことにより撮影画像が入力されるようにしてもよい。また、メモリカードの場合には、ユーザが補正したい画像が記憶されているメモリカードを画像補正装置に挿入するようにしてもよい。本実施形態においては、撮影された画像には、複数の顔が含まれており、当該画像は静止画でも、静止画が連続した動画であってもよい。

顔検出部１０２は、画像入力部２０より入力された入力画像に含まれる複数の顔の各々を検出する機能を有する。具体的には、入力画像から人の顔を検出し、画像上の顔の領域を算出する。顔の領域は、例えば、あご、耳、眉がすべて含まれる最小矩形の座標値を算出するようにしてもよい。一画像に複数の人物の顔が含まれている場合には、すべての顔の領域を算出する。顔の領域の検出は、ウェーブレット変換やＨａａｒ特徴検出などのアルゴリズムを用いて行うことができるが、用途によって適切なアルゴリズムを用いてもよい。本実施形態においては、顔の領域として、最小矩形の座標値を例に挙げたが、かかる例に限定されず、両目と口で表される三角形の中心を顔の中心として検出し、縦方向に長い楕円の領域を顔の領域としたり、両目座標により顔領域を推定したり、顔の輪郭を示す多数の点を検出したり、目の中心や口の輪郭等各顔の部位の特徴点座標を検出したりして顔の領域としてもよい。

また、顔検出部１０２は、検出された顔の各々を識別するための顔番号を付与して、顔検出情報を生成するようにしてもよい。図２に、顔検出部１０２によって生成された顔検出情報を示した。図２に示したように、顔検出情報４００は、顔番号４０２と、顔領域を示す座標４０４などを含む。例えば、顔領域が、あご、耳、眉のすべてを含む最小矩形である場合には、その座標値は、「３２８、９７２、５４４、１１８８」などにより表される。図１に戻り、顔検出部１０２は、検出された顔の各々の領域を示す座標値を顔選択部１０４および表示画像生成部１１２に提供する。

顔選択部１０４は、顔検出部１０２により検出された複数の顔のうちから、少なくともいずれか一の顔を選択する機能を有する。具体的には、後述する表示画像生成部１１２が、顔検出部１０２による検出結果を含む表示画像を生成し、表示部４０に表示された表示画像の複数の顔からユーザ操作部３０により選択された顔を選択する。表示画像生成部１１２により生成されて、表示部４０に表示される検出結果を含む表示画像については後で詳細に説明する。顔選択部１０４は、選択した顔の領域を示す座標値等を画像補正部１０６に提供する。

画像補正部１０６は、顔選択部１０４により選択された一の顔を補正する機能を有する。具体的には、ユーザにより補正パラメータが選択され、当該補正パラメータに基づいて複数の顔のうち少なくともいずれか一の顔を補正する。画像の補正は、顔検出部１０２により検出された顔の領域の色情報を画像フィルタ等により補正するようにしてもよい。当該補正は一般的な画像ツール等に利用される補正方法を用いることができる。ユーザにより選択される補正パラメータについては後で詳述する。画像補正部１０６は、補正した画像を表示画像生成部１１２に提供する。

また、表示画像生成部１１２は、顔検出部１０２により検出された複数の顔の検出結果に基づいて、複数の顔の各々の顔領域に対し、顔枠を重畳する。顔枠の重畳がなされた画像は、表示画像生成部１１２から表示部４０に提供され、表示部４０に出力・表示される。図３は、顔枠の重畳補正がなされた画像を示す説明図である。図３に示したように、入力画像４１０に含まれる顔４１２に、顔枠４１４が重畳される。入力画像４１０には、顔４１２以外に、顔４１６、顔４１８が検出され、検出された顔の各々に顔枠が重畳される。これにより、例えば顔が前後に重なり合っている場合でも、ユーザは、顔枠を指定することにより、一の顔を選択することが容易になる。また、顔枠を表示している場合に限らず、顔を検出しているので、マウスなどのポインティングデバイスで当該顔の中心付近をクリックすることにより、一の顔を選択するようにしてもよい。

補正パラメータ選択部１０８は、ユーザの要求に応じて、後述する補正パラメータを選択する機能を有する。後述するように、補正パラメータは、表示部４０に表示され、表示されたパラメータのなかから、画像補正に必要なパラメータがユーザによって選択される。補正パラメータ選択部１０８により選択された補正パラメータの情報は、画像補正部１０６に提供される。また、補正パラメータ選択部１０８は、補正パラメータ記憶部１１０に記憶された補正パラメータを予め取得して、表示画像生成部１１２に補正パラメータを提供するようにしてもよい。画像補正部１０６に提供される補正パラメータの情報は、補正パラメータの内容であってもよいし、表示部４０に表示された補正パラメータのうち、どの補正パラメータが選択されたかを表す補正パラメータの選択情報であってもよい。

補正パラメータ記憶部１１０は、顔を補正するための補正パラメータを記憶する機能を有し、例えば、Ｆｌａｓｈメモリなどの不揮発性メモリや、ハードディスクおよび円盤型磁性体ディスクなどの磁気ディスクなどの記憶媒体であってもよい。

補正パラメータは、予め補正パラメータ記憶部１１０に記憶され、顔の補正の種類と、補正方法を含む補正情報である。図４に、補正パラメータ記憶部１１０に記憶される補正パラメータの内容を示した。図４は、補正パラメータ記憶部１１０に記憶される補正パラメータの内容を説明する説明図である。図４に示したように、補正パラメータ４２０は、補正の内容を示す項目４２２と、補正方法を示すパラメータ４２４などを含む。項目４２２は、顔の補正部位を示すものであり、例えば、髪の毛の色、瞳の色、肌の色などが挙げられる。また、パラメータ４２４は、各項目における補正の方法を示すものであり、髪の毛の色の場合は「補正無し、茶、こげ茶、赤」などを例示でき、瞳の色の場合は「補正無し、水色、青、緑」などを例示でき、肌の色の場合は「補正無し、白、やや白、黒」などを例示することができる。

表示画像生成部１１２は、画像補正部１０６により補正された顔を含む表示画像を生成して表示部４０に提供する機能を有する。また、表示画像生成部１１２は、顔検出部１０２により検出された複数の顔の検出結果に基づいて、複数の顔の各々の顔領域に対し、顔枠を重畳する。顔枠の重畳がなされた画像は、表示画像生成部１１２から表示部４０に提供され、表示部４０に出力・表示される。この場合、上記した図３に示した補正後の画像が表示部４０に表示されることとなる。

また、表示画像生成部１１２が、ユーザにより選択される補正パラメータの選択メニューを含む表示画像を生成することもできる。図５に、表示画像生成部１１２により生成されて、表示部４０に表示される補正パラメータの選択メニューの一例を示した。図５に示したように、表示部４０には、補正パラメータ選択メニュー４３０が表示され、上述した補正項目４３２と、パラメータ４３４が表示される。図５に示したように、パラメータ４３４は、プルダウンメニューであってもよいし、パラメータの一覧が表示されてもよい。

上記したように、表示画像生成部１１２は、画像補正部１０６により提供された補正後の顔含む表示画像を生成する。図６に、補正後の顔の表示例を示した。図６に示したように、補正後の画像４４０に含まれる顔４４２、顔４４４、顔４４６は、それぞれ補正され、もしくは補正されないまま表示部４０に表示される。例えば、顔４４２は髪の毛の色と瞳の色が補正されて表示され、顔４４４は髪の毛の色のみ補正されて表示され、顔４４６は肌の色と髪の毛の色が補正されて表示されている。

ユーザ操作部３０は、ユーザの入力を受け付ける機能を有するインタフェースである。上記したように、ユーザ操作部３０により、表示部４０に表示された複数の顔のうち、一の顔が選択されたり、補正パラメータが選択されたりする。ユーザ操作部３０により選択された選択情報は、画像選択部１０４や、補正パラメータ選択部１０８に提供される。本実施形態においては、ユーザ操作部３０は画像補正装置１０ａと別体の装置としたが、かかる例に限定されず、ユーザ操作部３０が、画像補正装置１０ａと一体の装置として構成するようにしてもよい。以上、画像補正装置１０ａの機能構成について説明した。

次に図７に基づいて、本実施形態にかかる画像補正装置１０ａにおける画像補正処理の流れについて説明する。図７は、本実施形態にかかる画像補正装置１０ａの画像補正処理の流れを説明するフローチャートである。

まず、ユーザにより、撮影画像等が画像入力部２０に入力される（Ｓ１０２）。上記したように、ステップＳ１０２において入力される入力画像は、デジタルカメラ等により撮影された画像でもよいし、メモリカードに記憶された画像であってもよい。そして、ステップＳ１０２において入力された画像に含まれる顔が検出される（Ｓ１０４）。本実施形態においては、ステップＳ１０４において検出される顔の領域は、最小矩形の座標値である。また、ステップＳ１０４において、検出した各顔に顔番号を付与する。

ステップＳ１０４において検出された顔の各々に顔枠を重畳する補正をする（Ｓ１０６）。そして、ステップＳ１０６において顔枠が重畳された顔が表示部４０に表示される（Ｓ１０８）。上記したように、図３に、ステップＳ１０８において顔枠が重畳された顔の表示例を示した。

次に、補正パラメータ選択部１０８により、予め入力画像に補正可能な補正パラメータを補正パラメータ記憶部１１０から取得する（Ｓ１１０）。ユーザは、ステップＳ１０８において表示された顔から、補正を行いたい顔を選択する（Ｓ１１２）。ステップＳ１１２における顔の選択方法は、画像を表示させる装置の形態に適した方法を採用することができる。例えば、タッチペンで選択するようにしてもよいし、マウスでカーソルを合わせてクリックすることにより顔を選択するようにしてもよい。

ステップＳ１１２において顔が選択されると、補正パラメータ選択部１０８は、ユーザにより選択可能な補正パラメータを表示部４０に表示する（Ｓ１１４）。ユーザは、ステップＳ１１４において表示された補正パラメータのうち、補正したい項目と補正方法を選択する（Ｓ１１６）。例えば、髪の毛の色を黒から茶色に補正したい場合には、項目の「髪の毛の色」を選択し、さらにパラメータの「茶」を選択する。補正しない場合には「補正無し」を選択することができる。また、複数の補正パラメータを選択する場合には、項目の選択とパラメータの選択を繰り返すようにしてもよい。ステップＳ１１６において補正パラメータが選択されると、補正パラメータが設定されて（Ｓ１１８）、画像が補正される（Ｓ１２０）。ステップＳ１１６において、補正パラメータが選択される都度、補正後の補正画像が表示部４０に表示されるようにしてもよい。

そして、補正パラメータの設定が終了したか否かが判定される（Ｓ１２４）。補正パラメータの設定が終了したか否かの判定は、ユーザの入力に応じてするようにしてもよい。ステップＳ１２４において、補正パラメータの設定が終了したと判定された場合には、顔選択が終了したか否かが判定される（Ｓ１２６）。ステップＳ１２６において、顔選択が終了したと判定された場合には、最終的な補正画像が表示されて、補正画像の印刷等の後工程の処理を行う（Ｓ１２８）。後工程処理の印刷とは、具体的には、例えば、写真のプリントやシールプリントのことである。印刷を行う印刷装置は、表示部４０に表示された補正後の画像を写真やシールに印刷する。本実施形態では、当該印刷装置は画像補正装置１０ａとは別体の装置としているが、かかる例に限定されず、画像補正装置と印刷装置とが一体の装置であってもよい。以上、画像補正装置１０ａの画像補正処理の流れについて説明した。

本実施形態によれば、入力された画像に含まれる複数の顔の各々を検出して、複数の顔のうちから選択された顔の画像が補正される。複数の顔の検出によって、顔が位置するそれぞれの領域に顔枠を重畳して表示する。ユーザは、顔枠が重畳された顔のうち、一の顔を選択することができる。また、顔枠を表示している場合に限らず、顔を検出しているので、マウスなどのポインティングデバイスで当該顔の中心付近をクリックすることにより、一の顔を選択するようにしてもよい。そして、補正可能な様々な補正パラメータが表示されて、ユーザにより補正パラメータが選択される。すなわち、ユーザにより選択された顔の画像に、ユーザにより選択された補正パラメータに基づいて補正がなされる。さらに、他の顔を選択し、同じ手順で様々な補正を施すことにより、入力画像に含まれる複数の顔の画像の各々に対して、ユーザ所望の様々な異なる補正をすることができ、ユーザの利便性をより高めることが可能となる。

上記したように、本実施形態においては、入力画像に含まれる顔の各々に対して、ユーザにより選択された補正パラメータに基づく補正を行っているが、次に説明する第２実施形態では、一度ユーザにより選択された画像補正の情報を再度利用して、複数の顔の各々に対して画像補正をしている。

（第２実施形態）
本実施形態は、第１実施形態と比べ、予め顔の情報を記憶して、入力画像に含まれる顔の特徴量を検出し、記憶された顔の情報と一致するか否かを判定し、当該判定に基づいて画像の補正を行う点で異なっている。以下では、第１実施形態とは異なる機能について主に説明する。

図８は、本実施形態にかかる画像補正装置１０ｂの機能構成を示すブロック図である。図８に示したように、画像補正装置１０ｂは、顔検出部１０２と、顔選択部１０４と、画像補正部１０６と、補正パラメータ選択部１０８と、補正パラメータ記憶部１１０と、表示画像生成部１１２と、顔判定部１１４と、顔情報記憶部１１６などから構成される。また、画像補正装置１０ａは、画像入力部２０とユーザ操作部３０と表示部４０とが接続されている。本実施形態にかかる画像補正装置１０ｂは、第１実施形態にかかる画像補正装置１０ａと比較して、顔判定部１１４と顔情報記憶部１１６が追加されているが、それ以外は第１実施形態の機能と同様であるため、異なる機能について詳細に説明する。

顔判定部１１４は、入力画像に含まれる顔の特徴量と、後述する顔情報記憶部１１６に記憶された顔の特徴量とが一致するか否かを判定する機能を有する。顔の特徴量の検出は、顔部位の検出と特徴量算出の処理により行われる。顔部位の検出は、一般的に行われているパターンマッチング推定、フィルタ応答推定などのアルゴリズムを用いることができる。また、特徴量算出は、顔部位と顔部分の画像から顔器官等の特定部位でのフィルタ応答値や顔器官の幾何形状等を算出する。応答値を得るためのフィルタの種類としては、四方向面特徴フィルタ、ガボールフィルタ、ウェーブレットなどの一般的手法を用いることができる。また、顔の特徴量の判定の結果、入力画像に含まれる顔の特徴量が、顔情報記憶部１１６に記憶されていないと判定された場合には、当該顔を顔情報記憶部１１６に記憶するようにしてもよい。顔判定部１１４は、顔情報記憶部１１６に記憶されている顔の特徴量に対応付けられた補正パラメータの情報を画像補正部１０６に提供する。

顔情報記憶部１１６は、複数の顔の特徴量を記憶する機能を有し、例えば、Ｆｌａｓｈメモリなどの不揮発性メモリや、ハードディスクおよび円盤型磁性体ディスクなどの磁気ディスクなどの記憶媒体であってもよい。顔情報記憶部１１６には、予め顔の特徴量が記憶されていてもよいし、顔判定部１１４により顔の特徴量が記憶されるようにしてもよい。さらに、顔情報記憶部１１６には、顔の特徴量と、複数の顔の各々に対して補正される補正パラメータとを関連付けて、顔情報として記憶することができる。図９に、顔情報記憶部１１６の記憶内容を示した。図９に示したように、顔情報記憶部１１６には、顔情報４５０が記憶されている。顔情報４５０は、顔の特徴量４５４と補正パラメータ設定情報４５６とが関連付けられた顔各々の情報である。また、顔情報４５０を識別するために、顔情報４５０の各々に顔番号４５２を付して記憶するようにしてもよい。

本実施形態においては、顔検出部１０２は、入力画像に含まれる複数の顔の各々の特徴量を検出して、検出結果を顔判定部１１４に提供する。また、画像補正部１０６は、顔判定部１１４の判定の結果、顔の特徴量が一致すると判定された場合に、顔情報記憶部１１６に記憶された補正パラメータに基づいて、入力画像の顔を補正する。ここで、顔の特徴量の判定は、特徴量を比較した結果が一定の閾値以上であれば同一人物とみなし、顔が一致するとしてもよい。そして、画像補正部１０６により補正された顔を含む表示画像が表示画像生成部１１２により生成されて、当該表示画像が表示部４０に表示される。以上、本実施形態にかかる画像補正装置１０ｂの機能構成について説明した。

次に、図１０ａおよび図１０ｂに基づいて、本実施形態にかかる画像補正装置１０ｂにおける画像補正処理の流れについて説明する。図１０ａおよび図１０ｂは、本実施形態にかかる画像補正装置１０ｂの画像補正処理の流れを説明するフローチャートである。

まず、ユーザにより、撮影画像等が画像入力部２０に入力され（Ｓ２０２）、入力画像に含まれる顔が検出される（Ｓ２０４）。ステップＳ２０２およびステップＳ２０４の処理は、第１実施形態と同様の処理であるため、詳細な説明は省略する。さらに、本実施形態においては、顔検出部１０２によって顔の特徴量が検出される（Ｓ２０６）。ステップＳ２０６において検出された顔の特徴量が、顔情報記憶部１１６に記憶されている顔の特徴量と一致するか否かを判定する（Ｓ２０８）。ステップＳ２０８において、上記したように、特徴量を比較した結果が一定の閾値以上である場合には、顔の特徴量が一致するとして、顔情報記憶部１１６に記憶された、顔の特徴量に関連付けられた補正パラメータを取得する（Ｓ２１１）。ステップＳ２０８において、顔の特徴量が一致しないと判定された場合には、顔情報記憶部１１６に顔情報を記憶（登録）する。（Ｓ２１０）。

そして、ステップＳ２０４において検出された顔のすべてについて、顔の特徴量についての判定が終了したか否かが判定される（Ｓ２１２）。ステップＳ２１２において、すべての顔の判定が終了していない場合には、ステップＳ２０６からステップＳ２１２までの処理を繰り返す。ステップＳ２１２において、すべての顔の判定が終了した場合には、ステップＳ２１１において取得された補正パラメータに基づいて、顔の補正を行う（Ｓ２１４）。ステップＳ２１４における画像補正は、第１実施形態と同様に、顔に顔枠が重畳されるとともに、顔情報記憶部１１６に記憶された補正パラメータに基づいて顔の各々に画像補正がなされる。ステップＳ２０８において顔の特徴量が一致しないと判定された顔については、画像補正はなされず、顔に顔枠が重畳されるのみとなる。そして、ステップＳ２１４において補正された画像が、表示される（Ｓ２１６）。

ステップＳ２１６以降の処理であるステップＳ２１８からステップＳ２３４までの処理は、第１実施形態のＳ１１０からＳ１２６までの処理と同様であるため、詳細な説明は省略する。ステップＳ２１６までの処理によって、顔情報記憶部１１６に記憶されている補正パラメータに基づいて既に補正がなされている顔と、まったく補正がなされていない顔とが表示されていることとなる。この場合、既に補正がなされた顔については、設定された補正パラメータの情報をさらに重畳して表示するようにしてもよい。第１実施形態において示した、ユーザの選択に応じた顔の補正は、補正がなされていない顔についてのみに行ってもよいし、既に補正がなされた顔について行ってもよい。

ステップＳ２１８からステップＳ２３４までのユーザの選択に応じた画像補正処理が終了した後に、ユーザにより選択された補正パラメータ設定情報を顔情報記憶部１１６に記憶する（Ｓ２３６）。これにより、顔情報記憶部１１６に記憶された顔情報の各々に最新の補正パラメータが記憶されることとなる。さらに、入力画像が動画像であった場合には、動画像に現れる同一人物に対して、同一の補正パラメータを設定することが可能となる。以上、本実施形態にかかる画像補正装置１０ｂの画像補正処理の流れを説明した。

本実施形態によれば、入力画像に含まれる顔の特徴量と、顔情報記憶部に予め記憶された顔の特徴量とが一致するか否かを判定し、一致した場合に、顔情報記憶部に記憶された補正パラメータに基づいて入力画像の顔を補正することができる。また、顔情報記憶部に予め顔の特徴量が記憶されていなかった場合には、一度設定された補正パラメータを当該顔の特徴量に関連付けて記憶しておくことができる。これにより、一度設定されて記憶された補正パラメータを再度利用して、入力画像に含まれる複数の顔の各々に対して画像補正をすることが可能となる。すなわち、入力画像に含まれるある顔に対して、一度補正パラメータが設定されれば、その後の入力画像に含まれる同一の顔に対して、ユーザにより補正パラメータが設定されなくとも、設定された補正処理が自動的になされることとなる。このように、再利用される補正パラメータが画像補正装置の記憶部に記憶されていれば、当該画像補正装置に画像が入力される都度、顔の判定がなされ、一度設定された補正と同様の補正が自動的になされることとなる。したがって、ユーザは、入力画像に含まれる同じ顔に対して、一度補正パラメータを設定すれば、以降は補正パラメータを選択して画像補正の設定をしなくとも同一の補正がなされるため、より利便性の高い画像補正をすることが可能となる。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

例えば、上記実施形態では、入力画像に含まれる顔の補正をすることとしたが、本発明はかかる例に限定されない。例えば、入力画像に含まれる人物の体系や服装、人物以外の動物や物に対して補正をするようにしてもよい。

本発明の第１の実施形態にかかる画像補正装置の機能構成を示すブロック図である。 同実施形態にかかる顔検出部によって生成された顔検出情報を示す説明図である。 同実施形態にかかる顔に顔枠の重畳補正がなされた画像を示す説明図である。 同実施形態にかかる補正パラメータ記憶部に記憶される補正パラメータの内容を示す説明図である。 同実施形態にかかる画像表示部に表示される補正パラメータの選択メニューの一例を示す説明図である。 同実施形態にかかる画像表示部に表示される補正後の顔の表示例を示す説明図である。 同実施形態にかかる画像補正装置の画像補正処理の流れを説明するフローチャートである。 本発明の第２の実施形態にかかる画像補正装置の機能構成を示すブロック図である。 同実施形態にかかる顔情報記憶部に記憶された内容の一例を示す説明図である。 同実施形態にかかる画像補正装置の画像補正処理の流れを説明するフローチャートである。 同実施形態にかかる画像補正装置の画像補正処理の流れを説明するフローチャートである。

符号の説明

１０ａ、１０ｂ 画像補正装置
２０ 画像入力部
３０ ユーザ操作部
４０ 表示部
１０２ 顔検出部
１０４ 顔選択部
１０６ 画像補正部
１０８ 補正パラメータ選択部
１１０ 補正パラメータ記憶部
１１２ 表示画像生成部
１１４ 顔判定部
１１６ 顔情報記憶部

Claims (10)

1. 複数の顔を含む入力画像を補正する画像補正装置であって：
   前記入力画像に含まれる複数の顔の各々を検出する顔検出部と；
   前記顔検出部により検出された、複数の顔のうち少なくともいずれか一の顔を選択する顔選択部と；
   前記顔選択部により選択された一の顔を補正する画像補正部と；
   前記画像補正部により補正された顔を含む表示画像を生成する表示画像生成部と；
   を備えることを特徴とする、画像補正装置。
2. 前記顔検出部は、前記複数の顔の各々の顔領域を検出し、
   前記表示画像生成部は、前記顔検出部による顔領域の検出結果に基づいて、前記複数の顔の各々に顔枠を重畳した表示画像を生成することを特徴とする、請求項１に記載の画像補正装置。
3. 前記複数の顔を補正するための補正パラメータを記憶している補正パラメータ記憶部を備え、
   前記画像補正部は、
   前記補正パラメータに基づいて、前記複数の顔のうち少なくともいずれか一の顔を補正することを特徴とする、請求項１または２に記載の画像補正装置。
4. 前記表示画像生成部は、
   前記顔選択部により前記一の顔が選択された場合に、前記補正パラメータ記憶部に記憶された前記補正パラメータを含む表示画像を生成し、
   ユーザの要求に応じて、前記表示画像に表示された補正パラメータを選択する補正パラメータ選択部を備えることを特徴とする、請求項３に記載の画像補正装置。
5. 前記顔検出部は、前記入力画像に含まれる複数の顔の特徴量を検出することを特徴とする、請求項１〜４に記載の画像補正装置。
6. 複数の顔の特徴量と、前記複数の顔の各々に対して補正される補正パラメータとを関連付けて記憶する顔情報記憶部と；
   前記入力画像に含まれる顔の特徴量と、前記顔情報記憶部に記憶された顔の特徴量とが一致するか否かを判定する顔判定部と；
   をさらに備えることを特徴とする、請求項５に記載の画像補正装置。
7. 前記画像補正部は、
   前記顔判定部の判定の結果、前記顔の特徴量が一致すると判定された場合に、前記顔情報記憶部に記憶された前記補正パラメータに基づいて、前記入力画像の顔を補正することを特徴とする、請求項６に記載の画像補正装置。
8. 前記表示画像生成部は、
   前記顔検出部による顔の検出結果を含む表示画像を生成することを特徴とする、請求項１〜７に記載の画像補正装置。
9. 複数の顔を含む入力画像を補正する画像補正方法であって：
   前記入力画像に含まれる複数の顔の各々を検出するステップと；
   前記検出された複数の顔のうち少なくともいずれか一の顔を選択するステップと；
   前記選択された一の顔を補正するステップと；
   前記補正された顔を含む表示画像を生成するステップと；
   を含むことを特徴とする、画像補正方法。
10. さらに、前記入力画像に含まれる複数の顔の特徴量を検出するステップと；
    前記検出された顔の特徴量と、予め記憶された顔の特徴量とが一致するか否かを判定するステップと；
    を含むことを特徴とする、請求項９に記載の画像補正方法。

Images