JP2011128676A - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

Abstract

【課題】目閉じの顔の画像に対して、異なる画像に含まれる目が開いている顔画像の全体を用いて目閉じの顔を修正した場合、自然な画像修正ができない可能性がある。
【解決手段】取得した画像から人物の顔領域を検出する顔領域検出部５２と、検出した顔領域から目領域を含む顔器官の領域を検出する顔器官検出部５３と、検出した目領域が目閉じの状態であるか否かを識別する目閉じ識別部５４と、を有する。そして、対象画像から目閉じの状態の目領域を検出したときに、参照画像から、目閉じの状態の目領域を有する人物と同一人物の目領域であって、且つ目閉じの状態でない目領域である参照目領域を抽出する参照目領域抽出部５５と、対象画像の目閉じの状態の目領域を参照目領域に置き換えて合成画像を生成する画像合成部５６と、を有する。
【選択図】図２

Description

本発明は、画像処理装置、画像処理方法及び画像処理プログラムに関する。

一人や複数の人物を対象に撮影した際、被写体の人物が瞬きをしてしまい、顔が目閉じの状態の画像を記録することがある。特に、大人数を被写体に撮影する集合写真などでは、被写体のうちの誰かの顔が目閉じの状態であることが往々にしてある。
この問題に対処するために、例えば、特許文献１では、カメラ等で連続撮影しているときに複数の人物の顔の目閉じを検出する。そして、撮影した連続画像から、目が開いている等の各人物に最適な顔画像を合成できるようにしている。また、特許文献２では、連続画像からの顔画像の合成に限定されず、複数の画像から最適な顔画像を人物毎に選択してテンプレート画像に合成できるようにしている。

特開２０００−２５９８３３号公報 特開２００６−９２０２６号公報

しかしながら、異なる画像に含まれる目が開いている顔画像の全体を用いて合成画像を生成した場合、特許文献１では異なる画像が連続画像であることから、画像間の違和感は少ないものの、厳密には瞬きの時間経過とともに顔の表情が微妙に変化等することにより自然な画像修正ができない可能性がある。また、特許文献２では、撮影タイミングが異なった画像の場合、顔画像間の違和感が大きく不自然な画像となってしまう可能性がある。

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態又は適用例として実現することが可能である。

［適用例１］複数の画像のうち、画像処理の対象となる一の対象画像及びその他の参照画像を取得する画像取得部と、前記取得した画像から人物の顔領域を検出する顔領域検出部と、前記検出した顔領域から目領域を含む顔器官の領域を検出する顔器官検出部と、前記検出した目領域が目閉じの状態であるか否かを識別する目閉じ識別部と、前記対象画像から目閉じの状態の目領域を検出したときに、前記参照画像から、前記目閉じの状態の目領域を有する人物と同一人物の目領域であって、且つ目閉じの状態でない目領域である参照目領域を抽出する参照目領域抽出部と、前記対象画像の前記目閉じの状態の目領域を前記参照目領域に置き換えて合成画像を生成する画像合成部と、を有することを特徴とする画像処理装置。

上記した画像処理装置によれば、画像取得部が取得した対象画像から、顔領域検出部が顔領域を検出して、顔器官検出部が当該顔領域から目領域を検出する。目閉じ識別部により当該目領域が目閉じと識別されたときに、画像取得部が取得した参照画像から、参照目領域抽出部が同一人物の目閉じの状態でない参照目領域を抽出する。そして、画像合成部が、対象画像の目閉じの状態の目領域を参照目領域に置き換えて合成画像を生成する。
対象画像に目閉じの顔領域があった場合、この対象画像とは異なる参照画像から同一人物の目閉じでない目領域に置き換えて合成することから、対象画像の目領域以外の顔領域はそのまま残ることになる。これにより、目領域のみが置き換わった合成画像の顔は、元の顔画像を忠実に活かした違和感のない自然な画像となる。

［適用例２］前記複数の画像は、時系列に連続する連続画像であることを特徴とする上記画像処理装置。

上記した画像処理装置によれば、複数の画像は時系列に連続する連続画像である。これにより、対象画像と参照画像とが連続画像に含まれて、目領域のみが置き換わった合成画像を、更に違和感のない自然な画像にすることができる。

［適用例３］複数の前記参照画像に前記参照目領域が存在する場合、画像の撮影日時について、前記対象画像と近い前記参照画像の参照目領域を優先対象とすることを特徴とする上記画像処理装置。

上記した画像処理装置によれば、対象画像の撮影日時に近い参照画像の参照目領域を優先対象とすることから、対象画像の顔画像に対して違和感のない参照目領域を用いることができる。

［適用例４］複数の前記参照画像に前記参照目領域が存在する場合、輝度、明度及びホワイトバランスの少なくとも１つについて、前記対象画像と近い前記参照画像の参照目領域を優先対象とすることを特徴とする上記画像処理装置。

上記した画像処理装置によれば、対象画像の輝度、明度及びホワイトバランスの少なくとも１つに近い参照画像の参照目領域を優先対象とすることから、対象画像の顔画像に対して違和感のない参照目領域を用いることができる。

［適用例５］複数の前記参照画像に前記参照目領域が存在する場合、前記顔領域の大きさ、輪郭形状及び肌色の少なくとも１つについて、前記対象画像の前記目閉じの状態の目領域が含まれる前記顔領域と近い前記参照画像の顔領域に含まれる参照目領域を優先対象とする上記画像処理装置。

上記した画像処理装置によれば、対象画像の目閉じの状態の顔領域の大きさ、輪郭形状及び肌色の少なくとも１つに近い参照画像の参照目領域を優先対象とすることから、対象画像の顔画像に対して違和感のない参照目領域を用いることができる。

［適用例６］複数の画像のうち、画像処理の対象となる一の対象画像及びその他の参照画像を取得する画像取得工程と、前記取得した画像から人物の顔領域を検出する顔領域検出工程と、前記検出した顔領域から目領域を含む顔器官の領域を検出する顔器官検出工程と、前記検出した目領域が目閉じの状態であるか否かを識別する目閉じ識別工程と、前記対象画像から目閉じの状態の目領域を検出したときに、前記参照画像から、前記目閉じの状態の目領域を有する人物と同一人物の目領域であって、且つ目閉じの状態でない目領域である参照目領域を抽出する参照目領域抽出工程と、前記対象画像の前記目閉じの状態の目領域を前記参照目領域に置き換えて合成画像を生成する画像合成工程と、を有することを特徴とする画像処理方法。

上記した画像処理方法によれば、画像取得工程において取得した対象画像から、顔領域検出工程において顔領域を検出して、顔器官検出工程において当該顔領域から目領域を検出する。目閉じ識別工程において当該目領域が目閉じと識別されたときに、画像取得工程において取得した参照画像から、参照目領域抽出工程において同一人物の目閉じの状態でない参照目領域を抽出する。そして、画像合成工程において、対象画像の目閉じの状態の目領域を参照目領域に置き換えて合成画像を生成する。
対象画像に目閉じの顔領域があった場合、この対象画像とは異なる参照画像から同一人物の目閉じでない目領域に置き換えて合成することから、対象画像の目領域以外の顔領域はそのまま残ることになる。これにより、目領域のみが置き換わった合成画像の顔は、元の顔画像を忠実に活かした違和感のない自然な画像となる。

［適用例７］複数の画像のうち、画像処理の対象となる一の対象画像及びその他の参照画像を取得する画像取得機能と、前記取得した画像から人物の顔領域を検出する顔領域検出機能と、前記検出した顔領域から目領域を含む顔器官の領域を検出する顔器官検出機能と、前記検出した目領域が目閉じの状態であるか否かを識別する目閉じ識別機能と、前記対象画像から目閉じの状態の目領域を検出したときに、前記参照画像から、前記目閉じの状態の目領域を有する人物と同一人物の目領域であって、且つ目閉じの状態でない目領域である参照目領域を抽出する参照目領域抽出機能と、前記対象画像の前記目閉じの状態の目領域を前記参照目領域に置き換えて合成画像を生成する画像合成機能と、をコンピューターに実行させるための画像処理プログラム。

上記した画像処理プログラムによれば、画像取得機能により取得した対象画像から、顔領域検出機能により顔領域を検出して、顔器官検出機能により当該顔領域から目領域を検出する。目閉じ識別機能により当該目領域が目閉じと識別されたときに、画像取得機能により取得した参照画像から、参照目領域抽出機能により同一人物の目閉じの状態でない参照目領域を抽出する。そして、画像合成機能により、対象画像の目閉じの状態の目領域を参照目領域に置き換えて合成画像を生成する。
対象画像に目閉じの顔領域があった場合、この対象画像とは異なる参照画像から同一人物の目閉じでない目領域に置き換えて合成することから、対象画像の目領域以外の顔領域はそのまま残ることになる。これにより、目領域のみが置き換わった合成画像の顔は、元の顔画像を忠実に活かした違和感のない自然な画像となる。

プリンターのハードウエアー構成を示すブロック図。 プリンターの機能構成を示すブロック図。 プリンターの動作を示すフローチャート。 目閉じ修正処理を示すフローチャート。 連続画像の例を示す図。 人物Ａの顔領域を示す図。 人物Ａの顔領域を示す図。 人物Ａの右目領域及び左目領域が置き換わった後の合成画像を示す図。 第２実施形態における目閉じ修正処理を示すフローチャート。 最適な参照目領域を抽出する処理を示すフローチャート。

（第１実施形態）
以下、第１実施形態に係る画像形成装置について、図面を参照して説明する。

＜画像処理装置の構成＞
最初に、本実施形態に係る画像形成装置としてのプリンター１の構成について説明する。
図１は、本実施形態に係るプリンター１のハードウエアー構成を示すブロック図である。このプリンター１は、メモリーカードＭＣ等から取得した画像データに基づいた画像を印刷する、いわゆるダイレクトプリントに対応したカラーインクジェットプリンターである。

プリンター１は、ＣＰＵ１１、内部メモリー１２、操作部１３、表示部１４、プリンターエンジン１５、カードインターフェイス（カードＩ／Ｆ）１６等を備えている。

ＣＰＵ（Central Processing Unit）１１は、各部を制御して、内部メモリー１２に格納されているプログラムに応じて各種の処理を実行する。内部メモリー１２は、ＣＰＵ１１が実行する各種プログラムや各種データを格納するＲＯＭ（Read Only Memory）、及びＣＰＵ１１が実行対象とするプログラムやデータを一時的に格納するＲＡＭ（Random Access Memory）によって構成されている。

操作部１３は、ボタンやタッチパネル等により構成され、ユーザーからの操作内容をＣＰＵ１１に通知する。表示部１４は、例えば液晶ディスプレイ等により構成され、ＣＰＵ１１から供給されたデータに対応する画像を表示する。

プリンターエンジン１５は、ＣＰＵ１１から供給された印刷データに基づいて印刷を行う印刷機構である。カードＩ／Ｆ１６は、カードスロット１７に挿入されたメモリーカードＭＣとの間でデータのやり取りを行うためのインターフェイスである。本実施形態では、メモリーカードＭＣに複数の画像データを含む画像ファイルが格納されている。また、プリンター１の各構成要素は、バス１９を介して互いに接続されている。

なお、プリンター１は、更に、他の機器（例えば、デジタルスチルカメラやパーソナルコンピューター）とのデータ通信を行うためのインターフェイスを備えているとしても良い。

図２は、プリンター１の機能構成を示すブロック図である。同図に示す各機能は、ＣＰＵ１１が、内部メモリー１２に記憶されている所定のプログラムを実行することよって実現される。

画像取得部５１は、メモリーカードＭＣ等、所定の記録メディアから複数の画像の画像データを取得する。ここでは、時系列に連続する連続画像の画像データを取得し、これらの連続画像は、画像処理の対象となる１枚の対象画像と、その他の参照画像の構成となる。また、これらの画像データは、各画素の示す色がＲＧＢ各チャネルの階調値の組み合わせで表現されたビットマップデータである。
なお、画像取得部５１は、プリンター１がハードディスクドライブ（ＨＤＤ）を有している場合、当該ＨＤＤに保存されている画像データを取得しても良い。また、図示しないインターフェイスを介して、ＰＣ、サーバー、デジタルスチルカメラ等から画像データを取得しても良い。

顔領域検出部５２は、画像取得部５１により取得した１枚の画像に含まれる顔領域を検出する。本実施形態では、例えば、テンプレートを利用したパターンマッチングによる方法（特開２００６−２７９４６０号公報参照）等の公知の検出方法を用いて顔領域を検出する。

顔器官検出部５３は、顔領域検出部５２により検出した顔領域に含まれる顔器官領域を検出する。ここでは、顔の器官として、右目と左目とが設定されており、右目の画像を含む右目領域と、左目の画像を含む左目領域との検出が行われる。本実施形態では、顔領域の検出と同様に、例えば、テンプレートを利用したパターンマッチングによる方法等の公知の検出方法を用いて顔器官領域を検出する。

目閉じ識別部５４は、顔器官検出部５３により検出した右目領域及び左目領域について、目閉じの状態であるか否かを識別する。ここでは、右目領域及び左目領域のいずれかでも目閉じの状態である場合に、人物の顔は目閉じの状態であると識別する。本実施形態では、例えば、右目領域及び左目領域の画像のそれぞれの黒色画素数を検出することによって目閉じの状態であるか否かを識別する。

参照目領域抽出部５５は、対象画像から検出した人物の顔が目閉じの状態であると識別されたときに、参照画像から、当該目閉じの状態の人物と同一人物の右目領域及び左目領域であって、且つ目閉じの状態でない右目領域及び左目領域を参照目領域として参照画像から抽出する。
ここでは、参照画像から抽出する参照目領域は、目の輪郭全体を含む例えば矩形の範囲とするが、領域の範囲及び形状は、画像の合成における容易性及び自然な画像等を考慮して適宜設定することができる。また、人物の顔が眼鏡をかけていた場合、参照目領域は、眼鏡部分を含んだ範囲としても良い。

画像合成部５６は、対象画像の右目領域及び左目領域の全体を、参照画像から抽出した参照目領域に置き換えて合成画像を生成する。
なお、対象画像の右目領域及び左目領域の全体を置き換えるのではなく、例えば右目領域のみ目閉じの状態であれば、左目領域はそのままにして右目領域のみ置き換えるなど、目閉じの状態の目領域のみ置き換えるようにしても良い。

＜画像処理装置の動作＞
次に、本実施形態に係るプリンター１の動作について説明する。
図３は、本実施形態に係るプリンター１の動作を示すフローチャートである。

先ず、プリンター１は、画像取得部５１により、メモリーカードＭＣ等に格納されている画像ファイルから、連続画像のうち画像処理の対象となる１枚の対象画像の画像データを取得する（ステップＳ１１０）。この取得した１枚の対象画像が画像合成前の元画像となる。
図５は、連続画像の例を示す図であり、例えば１回のシャッター操作により撮影された３枚の連続画像を示している。ここでは、画像Ｇ１、画像Ｇ２、画像Ｇ３の順で各画像が時系列に並んでいる。図５の例では、ステップＳ１１０において、先頭の画像Ｇ１の画像データを対象画像として取得する。

次に、プリンター１は、顔領域検出部５２により、ステップＳ１１０において取得した対象画像に含まれる全ての人物の顔領域を検出する（ステップＳ１２０）。図５の例では、ステップＳ１２０において、人物Ａ、人物Ｂ及び人物Ｃの３人の各顔領域を検出する。

次に、プリンター１は、顔器官検出部５３により、ステップＳ１２０において検出した顔領域の一つから右目領域と左目領域を検出する（ステップＳ１３０）。そして、プリンター１は、目閉じ識別部５４により、検出した人物の顔が目閉じの状態であるか否かを判定する（ステップＳ１４０）。図５の例では、ステップＳ１３０において人物Ａの顔の右目領域と左目領域を検出し、ステップＳ１４０において人物Ａの顔は両目が目閉じの状態であるので、目閉じの状態であると識別する。

人物の顔が目閉じの状態の場合（ステップＳ１４０：Ｙｅｓ）は、プリンター１は、目閉じ修正処理を行う（ステップＳ１５０）。
他方、人物の顔が目閉じの状態でない、即ち両目が開いている状態の場合（ステップＳ１４０：Ｎｏ）は、目閉じ修正処理を行わないで、ステップＳ１６０へ進む。

図４は、目閉じ修正処理を示すフローチャートである。同図に示すように、プリンター１は、画像取得部５１により、連続画像のうちの１枚の参照画像の画像データを取得する（ステップＳ２１０）。図５の例では、ステップＳ２１０において、画像Ｇ１の次に続く画像Ｇ２を参照画像として画像データを取得する。

次に、プリンター１は、顔領域検出部５２により、ステップＳ２１０において取得した参照画像に含まれる対応位置の人物の顔領域を検出する（ステップＳ２２０）。ここで、対応位置の人物とは、図３のステップＳ１３０において対象画像上の目閉じの状態の目領域を検出した人物と参照画像上で位置対応する人物である。この位置対応する人物は、対象画像と参照画像とが連続画像であることから、対象画像の目閉じの状態の人物と同一人物である。図５の例では、画像Ｇ１の人物Ａと位置対応する画像Ｇ２の人物Ａの顔領域を検出する。

次に、プリンター１は、顔器官検出部５３により、ステップＳ２２０において検出した同一人物の顔領域から右目領域と左目領域を検出する（ステップＳ２３０）。そして、プリンター１は、目閉じ識別部５４により、検出した人物の顔が目閉じの状態であるか否かを判定する（ステップＳ２４０）。図５の例では、ステップＳ２３０において人物Ａの顔の右目領域と左目領域を検出し、ステップＳ２４０において人物Ａの顔は目閉じの状態でないと識別する。ここでは、人物Ａの目は半開の状態であるが、目閉じの状態でないと識別する。

人物の顔が目閉じの状態の場合（ステップＳ２４０：Ｙｅｓ）は、何も行わないで、ステップＳ２６０へ進む。
他方、人物の顔が目閉じの状態でない、即ち目が開いている状態の場合（ステップＳ２４０：Ｎｏ）は、プリンター１は、目が開いている状態の右目領域及び左目領域を参照目領域としてテーブル保存して蓄積する（ステップＳ２５０）。そして、ステップＳ２６０へ進む。

ステップＳ２６０では、プリンター１は、連続画像のうちの次の参照画像があるか否かを判定する。次の参照画像がある場合（ステップＳ２６０：Ｙｅｓ）は、ステップＳ２１０に戻り、次の参照画像を取得して、同一人物の目が開いている状態の参照目領域をテーブル保存して蓄積する動作を繰り返す。
他方、次の画像がない場合（ステップＳ２６０：Ｎｏ）は、次のステップＳ２７０へ進む。図５の例では、次の画像がない時点で、画像Ｇ２の人物Ａの半開の右目領域及び左目領域と、画像Ｇ３の人物Ａの全開の右目領域及び左目領域とがテーブル保存されている。

次に、プリンター１は、参照目領域抽出部５５により、テーブル保存されている参照目領域から最適な参照目領域を抽出する（ステップＳ２７０）。図５の例では、画像Ｇ２の人物Ａの半開の右目領域及び左目領域ではなく、画像Ｇ３の人物Ａの全開の右目領域及び左目領域を最適と判断してテーブルから抽出する。

次に、プリンター１は、画像合成部５６により、図３のステップＳ１３０において検出した対象画像上の目閉じの状態の目領域を、図４のステップＳ２７０において抽出した目が開いた状態の参照目領域に置き換えて合成画像を生成する（ステップＳ２８０）。
図６は、図５における画像Ｇ１の人物Ａの顔領域を示しており、図７は、図５における画像Ｇ３の人物Ａの顔領域を示している。図５の例では、ステップＳ２８０において、図６における人物Ａの右目領域Ｇ１ｅ１及び左目領域Ｇ１ｅ２のそれぞれが、図７における人物Ａの右目領域Ｇ３ｅ１及び左目領域Ｇ３ｅ２に置き換わる。そして、図８は、人物Ａの右目領域及び左目領域が置き換わった後の合成画像Ｇ４を示している。

図３のフローチャートに戻って、ステップＳ１６０では、プリンター１は、対象画像に次に処理すべき顔領域があるか否かを判定する。

次の顔がある場合（ステップＳ１６０：Ｙｅｓ）は、プリンター１は、ステップＳ１３０に戻り、次の顔領域から右目領域と左目領域を検出する動作を繰り返す。図５の例では、画像Ｇ１の人物Ｂ及び人物Ｃの顔が未処理であるため、これらの人物の各顔領域について動作を繰り返す。ここでは、画像Ｇ１の人物Ｂ及び人物Ｃの顔の両方共に目閉じの状態でないことから、これらの顔については目閉じ修正処理は行われない。
他方、次の顔がない場合（ステップＳ１６０：Ｎｏ）は、プリンター１は動作を終了する。

なお、画像取得工程は、上記のステップＳ１１０及びステップＳ２１０に相当する。また、顔領域検出工程は、上記のステップＳ１２０及びステップＳ２２０に相当する。また、顔器官検出工程は、上記のステップＳ１３０及びステップＳ２３０に相当する。また、目閉じ識別工程は、上記のステップＳ１４０及びステップＳ２４０に相当する。また、参照目領域抽出工程は、上記のステップＳ２７０に相当する。また、画像合成工程は、上記のステップＳ２８０に相当する。

上述した実施形態では、時系列に連続する連続画像に含まれる対象画像に目閉じの状態の顔があった場合、連続画像に含まれるその他の参照画像から、同一人物の目が開いている状態の目領域を抽出し、この目領域を対象画像に合成することにより画像の修正を行っている。従って、対象画像の目閉じの顔は目の部分のみ置き換わることになり、その結果、修正した顔画像は違和感のない自然な画像となる。
また、図５の例のように、連続画像に全員が目を開けている画像が１枚もなかった場合に、目領域の画像の修正により、図８の例のような全員が目を開けている画像を得ることができる。

（第２実施形態）
以下、第２実施形態に係る画像形成装置について、図面を参照して説明する。

第２実施形態に係る画像形成装置としてのプリンター１のハードウエアー構成は、図１に示す第１実施形態に係るプリンター１のハードウエアー構成と同様である。
また、第２実施形態に係るプリンター１の機能構成は、図２に示す第１実施形態に係るプリンター１の機能構成と同様であるが、画像取得部５１と顔器官検出部５３における処理内容が第１実施形態とは異なる。

第２実施形態の画像取得部５１では、時系列に連続する連続画像に限定されないで、異なるタイミングで撮影された画像についても取得することができる。また、第２実施形態の顔器官検出部５３では、右目領域及び左目領域のみでなく、人物の顔が同一人物の顔であるか否かを識別するために、顔器官として顔、目及び口の輪郭と、それらの顔領域における相対位置を検出する。

次に、第２実施形態に係るプリンター１の動作について説明する。
第２実施形態に係るプリンター１の動作は、図３に示す第１実施形態に係るプリンター１の動作を示すフローチャートがそのまま適用できるが、ステップＳ１５０における目閉じ修正処理が、第２実施形態では異なる処理内容となっている。

図９は、第２実施形態における目閉じ修正処理を示すフローチャートである。同図に示すように、プリンター１は、画像取得部５１により、参照画像の画像データを取得する（ステップＳ３１０）。この参照画像は、図３のステップＳ１１０で取得した対象画像とは異なる撮影日時、撮影場所、構成人員等の画像であっても良い。

次に、プリンター１は、顔領域検出部５２により、ステップＳ３１０において取得した参照画像に含まれる全ての人物の顔領域を検出する（ステップＳ３２０）。

次に、プリンター１は、顔器官検出部５３により、ステップＳ３２０において検出した顔領域の一つから顔器官の各領域を検出する（ステップＳ３３０）。そして、検出した顔器官の各領域に基づいて、図３のステップＳ１３０において検出した対象画像上の目閉じの状態の顔の人物と同一人物の顔であるか否かを判定する（ステップＳ３４０）。

同一人物の顔の場合（ステップＳ３４０：Ｙｅｓ）は、ステップＳ３６０へ進み、プリンター１は、目閉じ識別部５４により、ステップＳ３３０において検出した顔が目閉じの状態であるか否かを判定する（ステップＳ３６０）。
他方、同一人物の顔でない場合（ステップＳ３４０：Ｎｏ）は、ステップＳ３５０へ進み、次に処理すべき顔があるか否かを判定する（ステップＳ３５０）。次の顔がある場合（ステップＳ３５０：Ｙｅｓ）は、ステップＳ３３０に戻り、次の顔の顔器官の各領域を検出する動作を繰り返す。他方、次の顔がない場合（ステップＳ３５０：Ｎｏ）は、ステップＳ３８０へ進む。

ステップＳ３６０では，人物の顔が目閉じの状態の場合（ステップＳ３６０：Ｙｅｓ）は、何も行わないで、ステップＳ３８０へ進む。
他方、人物の顔が目閉じの状態でない、即ち目が開いている状態の場合（ステップＳ３６０：Ｎｏ）は、プリンター１は、目が開いている状態の顔領域全体と参照画像の情報をテーブル保存して蓄積する（ステップＳ３７０）。そして、ステップＳ３８０へ進む。

ステップＳ３８０では、プリンター１は、次に処理すべき参照画像があるか否かを判定する。次の参照画像がある場合（ステップＳ３８０：Ｙｅｓ）は、ステップＳ３１０に戻り、次の参照画像を取得して参照画像に含まれる全ての人物の顔領域を検出する動作を繰り返す。
他方、次の画像がない場合（ステップＳ３８０：Ｎｏ）は、次のステップＳ３９０へ進む。

ステップＳ３９０では、プリンター１は、参照目領域抽出部５５により、テーブル保存されている顔領域から最適な参照目領域を抽出する。
図１０は、最適な参照目領域を抽出する処理を示すフローチャートである。同図に示すように、先ず、プリンター１は、テーブル保存されている各参照画像の撮影日時の情報を参照し、撮影日時に基づいて各参照画像の評価値を算出する（ステップＳ５１０）。ここでは、対象画像の撮影日時に近い参照画像については評価値が高くなり、参照目領域を抽出する際に優先対象となる。

次に、プリンター１は、テーブル保存されている各参照画像の輝度、明度及びホワイトバランスの情報を参照し、これらの情報に基づいて各参照画像の評価値を算出する（ステップＳ５２０）。ここでは、対象画像の輝度、明度及びホワイトバランスに近い参照画像については評価値が高くなり、参照目領域を抽出する際に優先対象となる。

次に、プリンター１は、テーブル保存されている各顔領域の大きさ、輪郭形状及び肌色を検出し、これらの情報に基づいて各顔領域の評価値を算出する（ステップＳ５３０）。ここでは、対象画像の顔領域の大きさ、輪郭形状及び肌色に近い参照画像の顔領域については評価値が高くなり、参照目領域を抽出する際に優先対象となる。

次に、プリンター１は、ステップＳ５１０〜Ｓ５３０において算出した各評価値に基づいて、テーブル保存されている各顔領域から最適な参照目領域を抽出する（ステップＳ５４０）。ここでは、例えば上記のそれぞれの評価値に重み係数を乗算して積算することにより算出して、最適な参照目領域を抽出する。
なお、ステップＳ５１０〜Ｓ５３０における各評価値のすべてを算出するのではなく、一部の評価値を算出して、この評価値に基づいて最適な参照目領域を抽出しても良い。

図９のフローチャートに戻って、ステップＳ４００では、プリンター１は、ステップＳ３９０において抽出した参照目領域に対して補正を行う。ここでは、抽出した参照目領域の大きさ、方向、色等を対象画像の顔領域にできるだけ合うようにするための補正を行う。

次に、プリンター１は、画像合成部５６により、図３のステップＳ１３０において検出した対象画像上の目閉じの状態の目領域を、図９のステップＳ４００において補正した目が開いた状態の参照目領域に置き換えて合成画像を生成する（ステップＳ４１０）。
そして、図３のフローチャートのステップＳ１６０へ進み、プリンター１は、対象画像に次に処理すべき顔領域があるか否かを判定する。

上述した実施形態では、対象画像に目閉じの状態の顔があった場合、異なるタイミングで撮影された画像から、同一人物の目が開いている状態の目領域を抽出し、この目領域を対象画像に合成することにより画像の修正を行っている。従って、連続画像の機能を備えない撮影機器で撮影した画像の場合にも、目閉じの顔を目が開いた顔に修正することができる。例えば、集合写真や記念写真等で目閉じの顔が記録されてしまうなどの失敗があり、且つその写真が被撮影者にとっては重要な写真の場合に、別の写真から目閉じでない顔の目の部分を抽出して置き換えることで、写真を修整することができる。

更に、異なるタイミングで撮影された画像から修正に用いる画像を選択する際、画像の撮影日時と、輝度、明度及びホワイトバランスと、顔領域の大きさ、輪郭形状及び肌色とに基づいて最適な目領域を抽出している。これにより、修正した顔画像について違和感のない自然な画像に近づけることができる。

１…プリンター、１１…ＣＰＵ、１２…内部メモリー、１３…操作部、１４…表示部、１５…プリンターエンジン、１６…カードＩ／Ｆ、１７…カードスロット、１９…バス、５１…画像取得部、５２…顔領域検出部、５３…顔器官検出部、５４…目閉じ識別部、５５…参照目領域抽出部、５６…画像合成部。

Claims (7)

1. 複数の画像のうち、画像処理の対象となる一の対象画像及びその他の参照画像を取得する画像取得部と、
   前記取得した画像から人物の顔領域を検出する顔領域検出部と、
   前記検出した顔領域から目領域を含む顔器官の領域を検出する顔器官検出部と、
   前記検出した目領域が目閉じの状態であるか否かを識別する目閉じ識別部と、
   前記対象画像から目閉じの状態の目領域を検出したときに、前記参照画像から、前記目閉じの状態の目領域を有する人物と同一人物の目領域であって、且つ目閉じの状態でない目領域である参照目領域を抽出する参照目領域抽出部と、
   前記対象画像の前記目閉じの状態の目領域を前記参照目領域に置き換えて合成画像を生成する画像合成部と、を有することを特徴とする画像処理装置。
2. 前記複数の画像は、時系列に連続する連続画像であることを特徴とする請求項１に記載の画像処理装置。
3. 複数の前記参照画像に前記参照目領域が存在する場合、
   画像の撮影日時について、前記対象画像と近い前記参照画像の参照目領域を優先対象とすることを特徴とする請求項１又は２に記載の画像処理装置。
4. 複数の前記参照画像に前記参照目領域が存在する場合、
   輝度、明度及びホワイトバランスの少なくとも１つについて、前記対象画像と近い前記参照画像の参照目領域を優先対象とすることを特徴とする請求項１から３のいずれか一項に記載の画像処理装置。
5. 複数の前記参照画像に前記参照目領域が存在する場合、
   前記顔領域の大きさ、輪郭形状及び肌色の少なくとも１つについて、前記対象画像の前記目閉じの状態の目領域が含まれる前記顔領域と近い前記参照画像の顔領域に含まれる参照目領域を優先対象とすることを特徴とする請求項１から４のいずれか一項に記載の画像処理装置。
6. 複数の画像のうち、画像処理の対象となる一の対象画像及びその他の参照画像を取得する画像取得工程と、
   前記取得した画像から人物の顔領域を検出する顔領域検出工程と、
   前記検出した顔領域から目領域を含む顔器官の領域を検出する顔器官検出工程と、
   前記検出した目領域が目閉じの状態であるか否かを識別する目閉じ識別工程と、
   前記対象画像から目閉じの状態の目領域を検出したときに、前記参照画像から、前記目閉じの状態の目領域を有する人物と同一人物の目領域であって、且つ目閉じの状態でない目領域である参照目領域を抽出する参照目領域抽出工程と、
   前記対象画像の前記目閉じの状態の目領域を前記参照目領域に置き換えて合成画像を生成する画像合成工程と、を有することを特徴とする画像処理方法。
7. 複数の画像のうち、画像処理の対象となる一の対象画像及びその他の参照画像を取得する画像取得機能と、
   前記取得した画像から人物の顔領域を検出する顔領域検出機能と、
   前記検出した顔領域から目領域を含む顔器官の領域を検出する顔器官検出機能と、
   前記検出した目領域が目閉じの状態であるか否かを識別する目閉じ識別機能と、
   前記対象画像から目閉じの状態の目領域を検出したときに、前記参照画像から、前記目閉じの状態の目領域を有する人物と同一人物の目領域であって、且つ目閉じの状態でない目領域である参照目領域を抽出する参照目領域抽出機能と、
   前記対象画像の前記目閉じの状態の目領域を前記参照目領域に置き換えて合成画像を生成する画像合成機能と、をコンピューターに実行させるための画像処理プログラム。

Images