JP2009217506A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】複数の顔画像を含む画像について、各顔画像に対して見栄えの良い画像処理を行うことが可能な技術を提供する。
【解決手段】画像処理装置は、複数の顔画像が含まれる対象画像において、各顔画像に対応する複数の顔領域を検出する顔領域検出部と、各顔領域の大きさを取得する顔領域サイズ取得部と、複数の顔領域のうち少なくとも一部の補正対象顔領域に対して、前記補正対象顔領域の大きさに基づいて所定の補正を実行する顔領域補正部と、を備えている。
【選択図】図１

Description

本発明は、複数の顔画像を含む画像を補正する画像処理技術に関する。

デジタル画像を対象に、人物の見栄えを良くすることなどを目的として画像を変形する画像処理技術が知られている。例えば、顔を表す画像（以下、単に「顔画像」とも呼ぶ）上の一部の領域（頬の画像を表す領域）を補正領域として設定し、補正領域を所定のパターンに従い複数の小領域に分割し、小領域毎に設定された倍率で画像を拡大または縮小することにより、顔画像の形状を変形する画像処理が提案されている（下記特許文献１参照）。

特開２００４−３１８２０４

このような画像処理においては、対象画像内に複数の顔画像が含まれる場合については考慮されていない。したがって、例えば、対象画像内に複数の顔画像が含まれる場合には画像処理ができない、或いは、ユーザが複数の顔画像をそれぞれ指定して画像処理を行わねばならず非常に煩雑であるという問題があった。なお、かかる問題は、顔画像の変形に限らず顔画像の肌色の補正など他の画像処理を実行する場合においても発生し得る。すなわち、従来においては、複数の顔画像を含む画像における画像処理について十分な工夫がなされていないのが実情であった。

本発明は、複数の顔画像を含む画像について、各顔画像に対して見栄え良く画像処理を行うことが可能な技術を提供することを目的とする。

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態又は適用例として実現することが可能である。

［適用例１］画像処理装置であって、複数の顔画像が含まれる対象画像において、各顔画像に対応する複数の顔領域を検出する顔領域検出部と、各顔領域の大きさを取得する顔領域サイズ取得部と、前記複数の顔領域のうち少なくとも一部の補正対象顔領域に対して、前記補正対象顔領域の大きさに基づいて所定の補正を実行する顔領域補正部と、を備える、画像処理装置。

適用例１の画像処理装置は、複数の顔領域のうち少なくとも一部の補正対象顔領域に対して所定の補正を実行するので、補正対象顔領域のそれぞれについて見栄え良く画像処理を行うことができる。また、補正対象顔領域の大きさに基づいて所定の補正を実行するので、補正対象顔画像の各顔領域に対して顔領域の大きさに応じた見栄えの良い画像処理を実行することができる。

［適用例２］適用例１に記載の画像処理装置において、前記所定の補正は、前記補正対象顔領域の大きさを変更する補正である、画像処理装置。

このようにすることで、補正対象顔領域の大きさを変更するので、各顔領域をスリムにしたり大きな顔に変形したりすることができる。

［適用例３］適用例２に記載の画像処理装置において、前記所定の補正は、前記補正対象顔領域をより小さく変形する補正である、画像処理装置。

このようにすることで、補正対象顔領域を小さく変形するので、各顔領域をスリムにして小顔化の効果を得ることができる。

［適用例４］適用例２または適用例３に記載の画像処理装置であって、さらに、前記所定の補正を実行する際の補正量を、前記補正対象顔領域の大きさに基づき決定する補正量決定部を備え、前記補正量決定部は、前記複数の顔領域のうち少なくとも２つの顔領域の大きさの差が前記所定の補正の実行前に比べて前記所定の補正の実行後においてより小さくなるように、前記補正量を決定する、画像処理装置。

このようにすることで、所定の補正の実行により各顔領域の大きさの差を補正前に比べて小さくすることができる。したがって、対象画像に含まれる顔領域同士のバランスを調整しつつ、顔領域をスリムにしたり大きな顔に変形したりすることができる。

［適用例５］適用例４に記載の画像処理装置において、前記補正量決定部は、前記補正量を決定する際に、（ｉ）前記補正対象顔領域のうち前記所定の補正における基準となる基準顔領域について、予め定められた補正量を前記補正量として決定し、（ｉｉ）前記補正対象顔領域のうち前記基準顔領域を除く他の顔領域について、その顔領域の前記基準顔領域に対する相対的な大きさに基づき前記補正量を決定する、画像処理装置。

このようにすることで、基準顔領域を、予め予定されている程度で大きさを変化させることができると共に、他の顔領域を、基準顔領域に対する相対的な大きさに応じた程度で大きさを変化させることができる。例えば、基準顔領域に対する相対的な大きさがより大きい顔領域についてはより小さく変化させ、相対的な大きさがより小さい顔領域についてはより大きく変化させることが可能となる。

［適用例６］適用例５に記載の画像処理装置において、前記基準顔領域は、前記他の顔領域よりも大きく、前記顔領域補正部は、前記基準顔領域に対する前記他の顔領域の相対的な大きさが５０％未満である場合に、前記他の顔領域について前記所定の補正を実行しない、画像処理装置。

このようにすることで、対象画像内において、子供の顔領域または遠く離れた位置にいる大人の顔領域について大きさを変更してしまうことを抑制することができる。したがって、これらの顔領域の大きさを他の顔領域と同様に変更してしまい不自然な画像となってしまうことを抑制することができる。

［適用例７］適用例５または適用例６に記載の画像処理装置であって、さらに、前記複数の顔領域から前記基準顔領域を選択することをユーザに許容するユーザインタフェースを備える、画像処理装置。

このようにすることで、ユーザは、ユーザインタフェースを用いて対象画像内において希望する顔領域（例えば、自己の顔の顔領域）を基準顔領域として決定することができる。したがって、希望する顔領域について、予め定められた補正量で所定の補正を実行することができると共に、他の顔領域についても、希望する顔領域の大きさに応じた程度で所定の補正を実行することができる。

［適用例８］画像処理方法であって、（ａ）複数の顔画像が含まれる対象画像において、各顔画像に対応する複数の顔領域を検出する工程と、（ｂ）各顔領域の大きさを取得する工程と、（ｃ）前記複数の顔領域のうち少なくとも一部の補正対象顔領域に対して、前記補正対象顔領域の大きさに基づいて所定の補正を実行する工程と、を備える、画像処理方法。

適用例８の画像処理方法では、複数の顔領域のうち少なくとも一部の補正対象顔領域に対して所定の補正を実行するので、補正対象顔領域のそれぞれについて見栄え良く画像処理を行うことができる。また、補正対象顔領域の大きさに基づいて所定の補正を実行するので、補正対象顔領域の各顔領域に対して顔領域の大きさに応じて見栄えの良い画像処理を実行することができる。

［適用例９］画像処理のためのコンピュータプログラムであって、複数の顔画像が含まれる対象画像において、各顔画像に対応する複数の顔領域を検出する機能と、各顔領域の大きさを取得する機能と、前記複数の顔領域のうち少なくとも一部の補正対象顔領域に対して、前記補正対象顔領域の大きさに基づいて所定の補正を実行する機能と、をコンピュータに実現させる、コンピュータプログラム。

適用例９のコンピュータプログラムでは、複数の顔領域のうち少なくとも一部の補正対象領域に対して所定の補正を実行するので、補正対象顔領域のそれぞれについて見栄え良く画像処理を行うことができる。また、補正対象顔領域の大きさに基づいて所定の補正を実行するので、補正対象顔領域の各顔領域に対して顔領域の大きさに応じて見栄えの良い画像処理を実行することができる。

なお、本発明は、種々の形態で実現することが可能であり、例えば、上記コンピュータプログラムを記録した記録媒体等の形態で実現することができる。

以下、本発明を実施するための最良の形態を実施例に基づいて以下の順序で説明する。
Ａ．第１の実施例：
Ｂ．第２の実施例：
Ｃ．第３の実施例：
Ｄ．第４の実施例：
Ｅ．変形例：

Ａ．第１の実施例：
Ａ１．装置構成：
図１は、本発明の第１実施例における画像処理装置としてのプリンタ１００の構成を概略的に示す説明図である。本実施例のプリンタ１００は、メモリカードＭＣ等から取得した画像データに基づき画像を印刷する、いわゆるダイレクトプリントに対応したカラーインクジェットプリンタである。プリンタ１００は、プリンタ１００の各部を制御するＣＰＵ１１０と、例えばＲＯＭやＲＡＭによって構成された内部メモリ１２０と、ボタンやタッチパネルにより構成された操作部１４０と、液晶ディスプレイにより構成された表示部１５０と、プリンタエンジン１６０と、カードインターフェース（カードＩ／Ｆ）１７０と、を備えている。プリンタ１００は、さらに、他の機器（例えばデジタルスチルカメラやパーソナルコンピュータ）とのデータ通信を行うためのインターフェースを備えているとしてもよい。プリンタ１００の各構成要素は、バスを介して互いに接続されている。

プリンタエンジン１６０は、印刷データに基づき印刷を行う印刷機構である。カードインターフェース１７０は、カードスロット１７２に挿入されたメモリカードＭＣとの間でデータのやり取りを行うためのインターフェースである。なお、本実施例では、メモリカードＭＣに画像データを含む画像ファイルが格納されている。

内部メモリ１２０には、顔形状補正処理部２００と、表示処理部３１０と、印刷処理部３２０とが格納されている。顔形状補正処理部２００は、所定のオペレーティングシステムの下で、後述する小顔化処理を実行するためのコンピュータプログラムである。表示処理部３１０は、表示部１５０を制御して、表示部１５０上に処理メニューやメッセージ、画像等を表示させるディスプレイドライバである。印刷処理部３２０は、画像データから印刷データを生成し、プリンタエンジン１６０を制御して、印刷データに基づく画像の印刷を実行するためのコンピュータプログラムである。ＣＰＵ１１０は、内部メモリ１２０から、これらのプログラムを読み出して実行することにより、これら各部の機能を実現する。

顔形状補正処理部２００は、プログラムモジュールとして、顔領域検出部２１０と、顔領域サイズ取得部２２０と、基準顔領域決定部２３０と、分割点移動テーブル決定部２４０と、補正領域設定部２５０と、補正領域分割部２６０と、分割領域変形部２７０とを含んでいる。これらの各部の機能については、後述の小顔化処理の説明において詳述する。

前述の内部メモリ１２０には、さらに、分割点配置パターンテーブル４１０と分割点移動テーブル４２０とが格納されている。これらの内容についても、後述の小顔化処理の説明において詳述する。

上記構成を有するプリンタ１００は、顔画像を含む画像に対して後述する小顔化処理を実行することによって、顔画像の一部領域（顔領域）を小さく変形する（以下、「小顔化する」又は「スリムにする」とも呼ぶ）画像処理を行うように構成されている。さらに、プリンタ１００は、処理対象の画像が複数の顔領域を含む場合に、小顔化処理によって顔領域同士の大きさの差がより小さくなるように画像処理を実行するよう構成されている。これは、複数の顔画像（顔領域）間での顔サイズのバランスを調整しつつ、顔画像（顔領域）をスリムにすることを目的としている。なお、前述の分割領域変形部２７０は、請求項における顔領域補正部に相当する。また、前述の分割点移動テーブル決定部２４０は、請求項における補正量決定部に相当する。

Ａ２．小顔化処理：
図２は、図１に示す表示部１５０に表示される画像選択用ユーザインタフェースの一例を示す説明図である。この画像選択用ユーザインタフェース（以下、「画像選択用ＵＩ」とも呼ぶ）５００は、表示部１５０（図１）に表示されたユーザインタフェース用画像として構成されている。具体的には、画像表示用ＵＩ５００は、画像表示欄ＩＡと、画像切り替え用の２つのボタンＢ１，Ｂ２と、小顔化処理実行用ボタンＢ１０と、印刷処理実行用ボタンＢ５０と、キャンセルボタンＢ２とを備えている。この画像表示用ＵＩ５００は、ユーザが操作部１４０（図１）を介した所定の操作を行うことによって表示部１５０に現れる。

ユーザは、画像表示用ＵＩ５００を見ながら２つのボタンＢ１，Ｂ２を操作して、処置対象とする対象画像を選択することができる。図２の例では、３人の人物（人物Ａ，Ｂ，Ｃ）が写った画像ＴＩが対象画像として選択されている。対象画像が選択されてユーザが小顔化処理実行用ボタンＢ１０を押下すると、プリンタ１００において小顔化処理が開始される。

図３は、プリンタ１００において実行される小顔化処理の手順を示すフローチャートである。ステップＳ１０５では、顔領域検出部２１０（図１）は、対象画像から顔領域を検出する。ここで、「顔領域」とは、対象画像に含まれる顔画像の一部の領域である。顔領域検出部２１０は、対象画像を解析して顔の画像を含むと想定される矩形の領域を顔領域として検出する。この顔領域検出部２１０による顔領域の検出は、例えばテンプレートを利用したパターンマッチングによる方法（特開２００６−２７９４６０参照）といった公知の検出方法を用いて実行される。

図４（Ａ）は、ステップＳ１０５において検出された顔領域の一例を示す説明図である。図４（Ａ）の例では、対象画像ＴＩにおいて、人物Ａの顔に相当する部分において、顔領域Ｆｄ１が検出されている。同様に、人物Ｂの顔に相当する部分において顔領域Ｆｄ２が、人物Ｃの顔に相当する部分において顔領域Ｆｄ３が、それぞれ検出されている。

ステップＳ１１５（図３）では、顔領域サイズ取得部２２０（図１）は、検出された顔領域が複数あるか否かを判定する。前述の図４（Ａ）の例のように、対象画像ＴＩにおいて複数の顔領域（Ｆｄ１〜Ｆｄ３）が検出された場合には、顔領域サイズ取得部２２０は、各顔領域のサイズを求める（図３：ステップＳ１２０）。本実施例では、顔領域サイズ取得部２２０は、各顔領域のサイズとして各顔領域（矩形）の横の長さと縦の長さとを足し合わせた値を求める。顔領域の横の長さ及び縦の長さは、例えば、上述したパターンマッチングによる方法では、マッチしたテンプレート（顔を表す矩形領域）の横の長さ及び縦の長さとして求めることができる。また、目や鼻等の器官を検出して顔領域を検出する方法においては、検出した器官同士の相対的な位置関係から求めることもできる。なお、顔領域の横の長さと縦の長さを足し合わせた値に代えて、この足し合わせた値に所定の係数（例えば、０．５等）を掛け合わせた値を顔領域のサイズとして採用することもできる。また、各顔領域の横の長さと縦の長さとのうち一方の値や、各顔領域の対角線の長さや、各顔領域の面積値（縦の長さ×横の長さ）を顔領域のサイズとして採用することもできる。

ステップＳ１２５では、基準顔領域決定部２３０（図１）は、ステップＳ１２０で求めた各顔領域のサイズを参照して、最大サイズの顔領域を基準顔領域として決定する。また、基準顔領域決定部２３０は、各顔領域について、それぞれ基準顔領域を基準とした相対的サイズを求める。本実施例では、「相対的サイズ」とは、基準顔領域の大きさを１００％としたときの各顔領域の大きさの割合を意味する。

図４（Ｂ）は、ステップＳ１２５において求められた顔領域の相対的サイズの一例を示す説明図である。図４（Ｂ）において、顔領域Ｆｄ１〜Ｆｄ３は、図４（Ａ）に示す顔領域Ｆｄ１〜Ｆｄ３と同じである。図４（Ｂ）の例では、顔領域Ｆｄ１の縦の長さはＨ１であり横の長さはＷ１である。また、顔領域Ｆｄ２の縦の長さはＨ２であり横の長さはＷ２である。また、顔領域Ｆｄ３の縦の長さはＨ３であり横の長さはＷ３である。

図４（Ｂ）の例では、３つの顔領域Ｆｄ１〜Ｆｄ３のうち最も大きい顔領域は顔領域Ｆｄ１であり、この顔領域Ｆｄ１が基準顔領域として設定される。そして、この顔領域Ｆｄ１のサイズ（Ｈ１＋Ｗ１）を１００％としたときの他の２つの顔領域Ｆｄ２，Ｆｄ３のサイズの割合は、それぞれ９０％と８０％となっている。したがって、基準顔領域決定部２３０は、顔領域Ｆｄ１については「１００％」を相対的サイズとして決定する。同様に、顔領域Ｆｄ２については「９０％」を、顔領域Ｆｄ３については「８０％」を、それぞれ相対的サイズとして決定する。

ステップＳ１３０（図３）では、補正領域設定部２５０（図１）は、相対的サイズが８０％よりも大きい顔領域を補正対象顔領域として決定する。前述の図４（Ｂ）の例では、顔領域Ｆｄ１（相対的サイズ：１００％）と顔領域Ｆｄ２（相対的サイズ：９０％）とが、補正対象顔領域として決定される。これに対して、顔領域Ｆｄ３は相対的サイズが８０％であるので、補正対象顔領域とはならない。

ステップＳ１３５（図３）では、補正領域設定部２５０は、ステップＳ１３０で決定した各補正対象顔領域について、それぞれ小顔化のための変形処理の対象となる領域（以下、「補正領域」と呼ぶ）を設定する。

図５は、補正対象領域の設定方法の一例を示す説明図である。図５の例では、顔領域Ｆｄ１についての補正対象領域の設定例を示している。図５において、太い実線の矩形（ＴＡ１）は、顔領域Ｆｄ１について設定される補正領域ＴＡ１を示す。また、基準線ＲＬは、顔領域Ｆｄ１の高さ方向（上下方向）を定義すると共に、顔領域Ｆｄ１の幅方向（左右方向）の中心を示す線である。すなわち、基準線ＲＬは、矩形の顔領域Ｆｄ１の重心を通り、顔領域Ｆｄ１の高さ方向（上下方向）に沿った境界線に平行な直線である。

図５に示すように、本実施例では、補正領域ＴＡ１は、顔領域Ｆｄ１を基準線ＲＬと平行な方向（高さ方向）および基準線ＲＬに直行する方向（幅方向）に伸張（または短縮）した領域として設定される。具体的には、顔領域Ｆｄ１の高さ方向（縦）の長さをＨ１、幅方向（横）の大きさをＷ１とすると、顔領域Ｆｄ１を、上方向にｋ１・Ｈ１、下方向にｋ２・Ｈ１だけ伸ばすと共に、左右にそれぞれｋ３・Ｗ１だけ伸ばした領域が、補正領域ＴＡ１として設定される。なお、ｋ１，ｋ２，ｋ３は、所定の係数である。

このようにして補正領域ＴＡ１が設定されると、顔領域Ｆｄ１の高さ方向（縦）の輪郭線に平行な直線である基準線ＲＬは、補正領域ＴＡ１の高さ方向（縦）の輪郭線にも平行な直線となる。また、基準線ＲＬは、補正領域ＴＡ１の幅（横の長さ）を半分に分割する直線となる。

図５に示すように、補正領域ＴＡ１は、高さ方向に関しては、概ね顎から額までの画像を含み、幅方向に関しては、左右の頬の画像を含むような領域として設定される。すなわち、本実施例では、補正領域が概ねそのような範囲の画像を含む領域となるように、上述の係数ｋ１，ｋ２，ｋ３を予め実験により求めて設定されている。

ステップＳ１４０（図３）では、補正領域分割部２６０（図１）は、ステップＳ１３５において設定した補正領域を複数の小領域に分割する。

図６は、補正領域の小領域への分割方法の一例を示す説明図である。図６では、前述の図５に示す顔領域Ｆｄ１と補正領域ＴＡ１とを記載している。補正領域分割部２６０は、補正領域ＴＡに複数の分割点Ｄを配置し、分割点Ｄを結ぶ直線を用いて補正領域ＴＡ１を複数の小領域に分割する。

ここで、分割点Ｄの配置の態様（分割点Ｄの個数および位置）は、分割点配置パターンテーブル４１０（図１）により定義されている。補正領域分割部２６０は、分割点配置パターンテーブル４１０を参照して分割点Ｄを配置する。なお、本実施例では、顔の形状をスリムにするための小顔化処理が行われるものとしており、分割点配置パターンテーブル４１０には、そのような小顔化処理に対応した態様で分割点Ｄの配置パターンが予め定義されている。

図６の例では、分割点Ｄは、水平分割線Ｌｈと垂直分割線Ｌｖとの交点と、水平分割線Ｌｈおよび垂直分割線Ｌｖと補正領域ＴＡ１の外枠との交点とに配置される。ここで、水平分割線Ｌｈおよび垂直分割線Ｌｖは、補正領域ＴＡ１内に分割点Ｄを配置するための基準となる線である。図６に示すように、本実施例における分割点Ｄの配置では、基準線ＲＬと直行する２本の水平分割線Ｌｈと、基準線ＲＬに平行な４本の垂直分割線Ｌｖとが設定される。２本の水平分割線Ｌｈを、補正領域ＴＡの下方から順に、Ｌｈ１，Ｌｈ２と呼ぶ。また、４本の垂直分割線Ｌｖを、補正領域ＴＡの左から順に、Ｌｖ１，Ｌｖ２，Ｌｖ３，Ｌｖ４と呼ぶ。

水平分割線Ｌｈ１は、補正領域ＴＡ１において、顎の画像より下方に配置され、水平分割線Ｌｈ２は、目の画像のすぐ下付近に配置される。また、垂直分割線Ｌｖ１およびＬｖ４は、頬のラインの画像の外側に配置され、垂直分割線Ｌｖ２およびＬｖ３は、目尻の画像の外側に配置される。なお、水平分割線Ｌｈおよび垂直分割線Ｌｖの配置は、水平分割線Ｌｈおよび垂直分割線Ｌｖと画像との位置関係が結果的に上述の位置関係となるように予め設定された補正領域ＴＡ１の大きさとの対応関係に従い実行される。

上述した水平分割線Ｌｈと垂直分割線Ｌｖとの配置に従い、水平分割線Ｌｈと垂直分割線Ｌｖとの交点と、水平分割線Ｌｈおよび垂直分割線Ｌｖと補正領域ＴＡ１の外枠との交点とに、分割点Ｄが配置される。図６に示すように、水平分割線Ｌｈｉ（ｉ＝１または２）上に位置する分割点Ｄを、左から順に、Ｄ０ｉ，Ｄ１ｉ，Ｄ２ｉ，Ｄ３ｉ，Ｄ４ｉ，Ｄ５ｉと呼ぶものとする。例えば、水平分割線Ｌｈ１上に位置する分割点Ｄは、Ｄ０１，Ｄ１１，Ｄ２１，Ｄ３１，Ｄ４１，Ｄ５１と呼ばれる。同様に、垂直分割線Ｌｖｊ（ｊ＝１，２，３，４のいずれか）上に位置する分割点Ｄを、下から順に、Ｄｊ０，Ｄｊ１，Ｄｊ２，Ｄｊ３と呼ぶものとする。例えば、垂直分割線Ｌｖ１上に位置する分割点Ｄは、Ｄ１０，Ｄ１１，Ｄ１２，Ｄ１３と呼ばれる。なお、図６に示すように、本実施例における分割点Ｄの配置は、基準線ＲＬに対して対称の配置となっている。

補正領域分割部２６０は、配置された分割点Ｄを結ぶ直線（すなわち水平分割線Ｌｈおよび垂直分割線Ｌｖ）によって補正領域ＴＡ１を複数の小領域に分割する。図６の例では、補正領域ＴＡ１は、１５個の矩形の小領域に分割されている。

ステップＳ１４５（図３）では、分割点移動テーブル決定部２４０は、ステップＳ１３５において決定された各補正領域について、後述するステップＳ１５０の変形処理で用いる分割点移動テーブルを決定する。ステップＳ１５０では、分割領域変形部２７０は、ステップＳ１４５で決定された分割点移動テーブルに従い分割点Ｄの位置を移動して小領域を変形することによって、補正領域を変形させる。

図７は、分割点移動テーブル４２０の詳細例を示す説明図である。分割点移動テーブル４２０は、基準顔画像に対する相対的サイズに応じて用意された複数のテーブルからなる。具体的には、相対的サイズが８５％用のテーブルｔ８５と、相対的サイズが９０％用のテーブルｔ９０と、相対的サイズが９５％用のテーブルｔ９５と、相対的サイズが１００％用のテーブルｔ１００とから構成されている。

分割点移動テーブル決定部２４０は、相対的サイズが８０％よりも大きく８５％以下である補正対象顔領域については、テーブルｔ８５をステップＳ１５０おいて用いるテーブルとして決定する。同様に、相対的サイズが８５％よりも大きく９０％以下である補正対象顔領域についてはテーブルｔ９０を、相対的サイズが９０％よりも大きく９５％以下である補正対象顔領域についてはテーブルｔ９５を、相対的サイズが９５％よりも大きく１００％以下である補正対象顔領域についてはテーブルｔ１００を、それぞれステップＳ１５０おいて用いるテーブルとして決定する。したがって、前述のように、２つの顔領域Ｆｄ１，Ｆｄ２が補正対象顔領域として決定された場合には、顔領域Ｆｄ１（相対的サイズ：１００％）について設定された補正領域ＴＡ１（図５）に対しては、テーブルｔ１００をステップＳ１５０で用いるテーブルとして決定する。また、顔領域Ｆｄ２（相対的サイズ：９０％）について設定された補正領域（図示省略）に対しては、テーブルｔ９０をステップＳ１５０で用いるテーブルとして決定する。

各テーブルｔ８５〜ｔ１００では、それぞれ、ステップＳ１４０で配置された各分割点Ｄ１１〜Ｄ４２について、基準線ＲＬと直行する方向（Ｈ方向）に沿った移動量及び基準線ＲＬと平行な方向（Ｖ方向）に沿った移動量が設定されている。なお、本実施例では、各テーブルｔ８５〜ｔ１００に示された移動量の単位は、対象画像ＴＩの画素ピッチＰＰである。また、Ｈ方向については、向かって右側への移動量が正の値として表され、向かって左側への移動量が負の値として表され、Ｖ方向については、上方への移動量が正の値として表され、下方への移動量が負の値として表される。例えば、テーブルｔ１００において分割点Ｄ１１については、Ｈ方向に沿って右側に画素ピッチＰＰの７倍の距離の移動量が設定され、Ｖ方向に沿って上方に画素ピッチＰＰの１４倍の距離の移動量が設定されている。また、例えば、テーブルｔ１００において分割点Ｄ２２については、Ｈ方向およびＶ方向共に移動量としてゼロが設定されている。

図８は、図７に示す分割点移動テーブル４２０に従った分割点Ｄの位置の移動の一例を示す説明図である。図８において、上段はテーブルｔ１００（相対的サイズ１００％用）の適用例を示し、下段はテーブルｔ９０（相対的サイズ９０％用）の適用例を示す。なお、図８では、移動前の分割点Ｄは白抜きの丸で、移動後の分割点Ｄや位置の移動の無い分割点Ｄは黒丸で示されている。また、移動後の分割点Ｄは分割点「Ｄ’」で表わすものとする。例えば分割点Ｄ１１の位置は、図８において右上方向に移動され、分割点Ｄ’１１となる。

分割領域変形部２７０は、前述のステップＳ１５０において、補正領域ＴＡ１を構成する各小領域について、分割点Ｄの位置移動前の状態における小領域の画像が分割点Ｄの位置移動により新たに定義された小領域の画像となるように、画像の変形処理を行う。例えば、図８において、分割点Ｄ１１，Ｄ２１，Ｄ２２，Ｄ１２を頂点とする小領域（ハッチングを付して示す小領域）の画像は、分割点Ｄ’１１，Ｄ’２１，Ｄ２２，Ｄ’１２を頂点とする小領域の画像に変形される。なお、この小領域画像の変形処理の詳細については後述する。

図８の例からも理解できるように、図７に示す各テーブルｔ８５〜ｔ１００では、基準線ＲＬに対して対称な位置関係にある２つの分割点Ｄの組み合わせ（例えば分割点Ｄ１１とＤ４１との組み合わせ）のすべてが、分割点Ｄの移動後も、基準線ＲＬに対して対称な位置関係を維持するように各分割点Ｄの移動量が設定されている。また、プリンタ１００では、補正領域ＴＡ１の内外の画像間の境界が不自然とならないように、補正領域ＴＡ１の外枠上に位置する分割点Ｄ（例えば図８に示す分割点Ｄ１０等）の位置は移動されないものとしている。従って、図７に示した示す各テーブルｔ８５〜ｔ１００には、補正領域ＴＡ１の外枠上に位置する分割点Ｄについての移動量は設定されていない。

ここで、各テーブルｔ８５〜ｔ１００（図７）では、同じ位置の分割点Ｄの移動量として、より大きい相対的サイズに対応するテーブルにおいてより大きな移動量が設定されている。例えば、図７の例では、分割点Ｄ１１の移動量（Ｈ方向，Ｖ方向）として、テーブルｔ９０（相対的サイズ９０％用）では（５，１１）が設定され、テーブルｔ１００（相対的サイズ１００％用）では（７，１４）が設定されている。また、分割点Ｄ１２の移動量として、テーブルｔ９０では（５，０）が設定され、テーブルｔ１００では（７，０）が設定されている。従って、図８の例に示すように、例えば、分割点Ｄ（分割点Ｄ１１，Ｄ２１等）の移動量を、テーブルｔ１００を適用した場合（図８上段）とテーブルｔ９０を適用した場合（図８下段）とで比較すると、テーブルｔ１００を適用した場合の方がより長い距離を移動しており、補正領域ＴＡ１全体の変形（小顔化）の度合いが大きくなっている。

図９は、ステップＳ１５０において補正領域ＴＡ１を変形する際の具体的な変形態様を示す説明図である。図９の例では、補正領域ＴＡ１を変形する際の態様を示している。上述したように、補正領域ＴＡ１については、ステップＳ１５０においてテーブルｔ１００を用いて変形が行われる。

図９に示すように、ステップＳ１５０の変形処理では、基準線ＲＬと平行な方向（Ｖ方向）に関し、水平分割線Ｌｈ１上に配置された分割点Ｄ（Ｄ１１，Ｄ２１，Ｄ３１，Ｄ４１）の位置は上方に移動される一方、水平分割線Ｌｈ２上に配置された分割点Ｄ（Ｄ１２，Ｄ２２，Ｄ３２，Ｄ４２）の位置は移動されない（図７，８参照）。従って、水平分割線Ｌｈ１と水平分割線Ｌｈ２との間に位置する画像は、Ｖ方向に関して縮小される。上述したように、水平分割線Ｌｈ１は顎の画像より下方に配置され、水平分割線Ｌｈ２は目の画像のすぐ下付近に配置されるため、本実施例の顔形状補正では、顔の画像の内、顎から目の下にかけての部分の画像がＶ方向に縮小されることとなる。この結果、画像中の顎のラインは上方に移動する。

他方、基準線ＲＬと直行する方向（Ｈ方向）に関しては、垂直分割線Ｌｖ１上に配置された分割点Ｄ（Ｄ１１，Ｄ１２）の位置は右方向に移動され、垂直分割線Ｌｖ４上に配置された分割点Ｄ（Ｄ４１，Ｄ４２）の位置は左方向に移動される（図７，８参照）。さらに、垂直分割線Ｌｖ２上に配置された２つの分割点Ｄの内、水平分割線Ｌｈ１上に配置された分割点Ｄ（Ｄ２１）の位置は右方向に移動され、垂直分割線Ｌｖ３上に配置された２つの分割点Ｄの内、水平分割線Ｌｈ１上に配置された分割点Ｄ（Ｄ３１）の位置は左方向に移動される（図７，８参照）。従って、垂直分割線Ｌｖ１より左側に位置する画像は、Ｈ方向に関して右側に拡大され、垂直分割線Ｌｖ４より右側に位置する画像は、左側に拡大される。また、垂直分割線Ｌｖ１と垂直分割線Ｌｖ２との間に位置する画像は、Ｈ方向に関して縮小または右側に移動され、垂直分割線Ｌｖ３と垂直分割線Ｌｖ４との間に位置する画像は、Ｈ方向に関して縮小または左側に移動される。さらに、垂直分割線Ｌｖ２と垂直分割線Ｌｖ３との間に位置する画像は、水平分割線Ｌｈ１の位置を中心にＨ方向に関して縮小される。

上述したように、垂直分割線Ｌｖ１およびＬｖ４は、頬のラインの画像の外側に配置され、垂直分割線Ｌｖ２およびＬｖ３は、目尻の画像の外側に配置される。そのため、本実施例の小顔化処理では、顔の画像の内、両目尻より外側の部分の画像が全体的にＨ方向に縮小される。特に顎付近において縮小率が高くなる。この結果、画像中の顔の形状は、全体的に幅方向に細くなる。以上のＨ方向およびＶ方向の変形態様を総合すると、ステップＳ１５０の処理によって、補正領域ＴＡ１に含まれる人物Ａの顔の形状はスリム（小顔）になる。

図１０（Ａ）は、小顔化処理を実行した後の対象画像ＴＩを示す説明図である。図１０（Ａ）では、便宜上、人物Ａ，Ｂの顔の部分において、小顔化処理実行前の各顔の輪郭を破線で記載している。また、小顔化処理実行後の人物Ａの顔領域を顔領域Ｆｄ１１として便宜上記載している。同様に、小顔化処理実行後の人物Ｂの顔領域を顔領域Ｆｄ１２として、小顔化処理実行後の人物Ｃの顔領域を顔領域Ｆｄ１３として、それぞれ便宜上記載している。

上述したように、人物Ｃの顔領域Ｆｄ３については、補正対象顔領域とはならなかったので（ステップＳ１３０）、小顔化されていない。人物Ａの顔領域Ｆｄ１については、補正対象顔領域となり、テーブルｔ１００を用いて変形処理が実行されているので（ステップＳ１５０）、大きく変形している。人物Ｂの顔領域Ｆｄ２についても補正対象顔領域となり、テーブルｔ９０を用いて変形処理が実行されているので、人物Ａの顔領域Ｆｄ１に比べて変形（小顔化）の度合いが小さい。

図１０（Ｂ）は、小顔化処理の前後における顔領域の大きさの変化を模式的に示す説明図である。図１０（Ｂ）において、上段は小顔化処理前の各顔領域Ｆｄ１〜Ｆｄ３を示し、下段は小顔化処理後の各顔領域Ｆｄ１１〜Ｆｄ１３を示し、中段の数字は縮小率を示す。ここで、各顔領域Ｆｄ１〜Ｆｄ３，Ｆｄ１１〜Ｆｄ１３の右横の数字は相対的サイズを示す。なお、顔領域Ｆｄ１１〜Ｆｄ１３の相対的サイズについては、小顔化処理前の顔領域Ｆｄ１のサイズを１００％とした場合の値を示している。「縮小率」とは、本実施例では、小顔化処理前の相対的サイズに対する小顔化処理後の相対的サイズの割合を意味する。したがって、縮小率の値がより小さいほど小顔化の度合いがより大きく、顔領域がよりスリムに変形していることを意味する。

顔領域Ｆｄ１については、小顔化処理によって相対的サイズが９０％の顔領域Ｆｄ１１になっている。また、顔領域Ｆｄ２については、小顔化処理によって相対的サイズが８５％の顔領域Ｆｄ１２になっている。顔領域Ｆｄ３については小顔化処理によって変わらない。ここで、縮小率を比較すると、顔領域Ｆｄ１については０．９０であり、顔領域Ｆｄ２については０．９４であり、顔領域Ｆｄ３については１．００である。すなわち、上述した小顔化処理によって、より大きな顔領域については小顔化の度合いがより大きくなっている。換言すると、小顔化処理によって、より大きな顔領域をより大きく変形してスリムにしている。それゆえ、小顔化処理後の顔領域間のサイズの差は、小顔化処理前に比べてより小さくなっている。

なお、上述したステップＳ１１５（図３）において、検出された顔領域が複数でないと判定した場合には、顔領域サイズ取得部２２０は、さらに、検出された顔領域が１つであるか否かを判定する（ステップＳ１５５）。顔領域が１つも検出されなかった場合、小顔化処理は終了する。一方、検出された顔領域が１つの場合（ステップＳ１５５：ＹＥＳ）、補正領域設定部２５０（図１）は検出された１つの顔領域について補正領域を設定し（ステップＳ１６０）、補正領域分割部２６０は補正領域を複数の小領域に分割する（ステップＳ１６５）。なお、ステップＳ１６０は前述のステップＳ１３５と同じ処理であり、ステップＳ１６５は前述のステップＳ１４０と同じ処理である。ステップＳ１７０では、分割領域変形部２７０は、相対サイズが１００％用のテーブルｔ１００を用いて各小領域を変形することによって補正領域を変形させる。

以上説明したように、プリンタ１００では、小顔化処理を実行することによって、対象画像内に含まれる複数の顔領域について各々指定せずとも小顔化させることができる。また、プリンタ１００では、小顔化処理を実行することによって、より大きな顔領域をより大きく変形させて顔領域間のサイズの差を縮小するので、対象画像に含まれる顔画像のバランスを調整しつつ、顔画像をスリムにすることができる。また、プリンタ１００では、基準顔領域のサイズを基準として、８０％以下のサイズの顔領域については小顔化処理の対象から除くように構成されている。それゆえ、対象画像内において、他の人物に比べて遠くに（後方に）立っている大人の顔や、他の人物と同じ距離だけ離れた位置に立つ子供の顔など、元の画像において比較的小さく写っている顔領域については小顔化の対象から除くことができる。したがって、元々小さい顔をさらに小さい顔に変形させて不自然な画像になってしまうことを抑制することができる。

Ａ３．小領域画像の変形処理の詳細：
図１１は、上述したステップＳ１５０において実行される小領域画像の変形処理を概念的に示す説明図である。図１１では、分割点Ｄを黒丸で示している。また、説明を簡略化するために、４つの小領域について、左側に分割点Ｄの位置移動前の状態を、右側に分割点Ｄの位置移動後の状態を、それぞれ示している。図１１の例では、中央の分割点Ｄａが分割点Ｄａ’の位置に移動され、その他の分割点Ｄの位置は移動されない。これにより、例えば、分割点Ｄの移動前の分割点Ｄａ，Ｄｂ，Ｄｃ，Ｄｄを頂点とする矩形の小領域（以下「変形前注目小領域ＢＳＡ」とも呼ぶ）の画像は、分割点Ｄａ’，Ｄｂ，Ｄｃ，Ｄｄを頂点とする矩形の小領域（以下「変形後注目小領域ＡＳＡ」とも呼ぶ）の画像に変形される。

本実施例では、矩形の小領域を小領域の重心ＣＧを用いて４つの三角形領域に分割し、三角形領域単位で画像の変形処理を行っている。図１１の例では、変形前注目小領域ＢＳＡが、変形前注目小領域ＢＳＡの重心ＣＧを頂点の１つとする４つの三角形領域に分割される。同様に、変形後注目小領域ＡＳＡが、変形後注目小領域ＡＳＡの重心ＣＧ’を頂点の１つとする４つの三角形領域に分割される。そして、分割点Ｄａの移動前後のそれぞれの状態において対応する三角形領域毎に、画像の変形処理が行われる。例えば、変形前注目小領域ＢＳＡ中の分割点Ｄａ，Ｄｄおよび重心ＣＧを頂点とする三角形領域の画像が、変形後注目小領域ＡＳＡ中の分割点Ｄａ’，Ｄｄおよび重心ＣＧ’を頂点とする三角形領域の画像に変形される。

図１２は、三角形領域における画像の変形処理方法の概念を示す説明図である。図１２の例では、点ｓ，ｔ，ｕを頂点とする三角形領域ｓｔｕの画像が、点ｓ’，ｔ’，ｕ’を頂点とする三角形領域ｓ’ｔ’ｕ’の画像に変形される。画像の変形は、変形後の三角形領域ｓ’ｔ’ｕ’の画像中のある画素の位置が、変形前の三角形領域ｓｔｕの画像中のどの位置に相当するかを算出し、算出された位置における変形前の画像における画素値を変形後の画像の画素値とすることにより行う。

例えば、図１２において、変形後の三角形領域ｓ’ｔ’ｕ’の画像中の注目画素ｐ’の位置は、変形前の三角形領域ｓｔｕの画像中の位置ｐに相当するものとする。位置ｐの算出は、以下のように行う。まず、注目画素ｐ’の位置を、下記の式（１）のようにベクトルｓ’ｔ’とベクトルｓ’ｕ’との和で表現するための係数ｍ１およびｍ２を算出する。

次に、算出された係数ｍ１およびｍ２を用いて、下記の式（２）により、変形前の三角形領域ｓｔｕにおけるベクトルｓｔとベクトルｓｕとの和を算出することにより、位置ｐが求まる。

変形前の三角形領域ｓｔｕにおける位置ｐが、変形前の画像の画素中心位置に一致した場合には、当該画素の画素値が変形後の画像の画素値とされる。一方、変形前の三角形領域ｓｔｕにおける位置ｐが、変形前の画像の画素中心位置からはずれた位置となった場合には、位置ｐの周囲の画素の画素値を用いたバイキュービック等の補間演算により、位置ｐにおける画素値を算出し、算出された画素値が変形後の画像の画素値とされる。

変形後の三角形領域ｓ’ｔ’ｕ’の画像中の各画素について上述のように画素値を算出することにより、三角形領域ｓｔｕの画像から三角形領域ｓ’ｔ’ｕ’の画像への画像変形処理を行うことができる。このようにして、分割領域変形部２７０（図１）は、図６に示した補正領域ＴＡ１を構成する各小領域について、上述したように三角形領域を定義して変形処理を行う。

Ｂ．第２の実施例：
図１３は、第２の実施例における手動モードでの小顔化処理の手順を示すフローチャートである。第２の実施例のプリンタは、小顔化処理の手順において、ステップＳ１０７を加えた点と、ステップＳ１３０に代えてステップＳ１３０ａを実行する点とが、第１の実施例のプリンタ１００（図１）と異なる。第２の実施例のプリンタでは、小顔化処理の実行モードとして、上述した第１の実施例のように、基準顔領域を自動的に選択して小顔化を行う自動モードに加えて、基準顔領域をユーザが手動で指定することができる手動モードが用意されている点において、第１の実施例のプリンタ１００と異なる。その他の構成については、第１の実施例と同じである。

図１４は、第２の実施例において表示部１５０に表示される画像表示用ＵＩ５００ａを示す説明図である。この画像表示用ＵＩ５００ａは、小顔化処理実行用ボタンＢ１０に代えて自動モード用の小顔化処理実行用ボタンＢ１０ａと手動モード用の小顔化処理実行用ボタンＢ１０ｂとを備えている点において第１の実施例の画像表示用ＵＩ５００（図２）と異なり、他の構成は同じである。対象画像ＴＩを選択した後において、ユーザが自動モード用の小顔化処理実行用ボタンＢ１０ａを押下すると、上述した第１の実施例と同じ小顔化処理（図３）が実行される。これに対して、対象画像ＴＩを選択した後において、ユーザが手動モード用の小顔化処理実行用ボタンＢ１０ｂを押下すると、手動モードでの小顔化処理が開始される。なお、図１４の例では、第１の実施例と同じ画像が対象画像ＴＩとして選択されている。

ステップＳ１０５（図１３）において対象画像に含まれる各顔領域が検出された後において、顔形状補正処理部２００は、表示処理部３１０（図１）に対して基準顔領域を指定するためのユーザインタフェース（以下、「基準顔領域指定ＵＩ」とも呼ぶ）の表示を指示する。表示処理部３１０は、かかる指示に従って、表示部１５０に基準顔領域指定ＵＩを表示させる（ステップＳ１０７）。そして、表示処理部３１０は、基準顔領域が指定されるまで基準顔領域指定ＵＩ５１０を表示させる（ステップＳ１０９）。

図１５（Ａ）は、ステップＳ１０７において表示される基準顔領域指定ＵＩを示す説明図である。この基準顔領域指定ＵＩ５１０は、画像表示欄ＩＡと決定ボタンＢ２０と、左右の移動ボタンＢ２２，Ｂ２４と、キャンセルボタンＢ２とを備えている。画像表示欄ＩＡには対象画像ＴＩが表示されている。また、この対象画像ＴＩ上に、３つの顔領域Ｆｄ１〜Ｆｄ３が表示されている。

ユーザは、２つの移動ボタンＢ２２，Ｂ２４を操作して、基準顔領域として指定する顔領域を選択することができる。図１５（Ａ）の例では、顔領域Ｆｄ２が基準顔領域として選択されている。そして、ユーザが決定ボタンＢ２０を押下すると、基準顔領域の指定が完了し、上述したステップＳ１１５〜Ｓ１２５（図３，図１３）が実行される。なお、前述の基準顔領域指定ＵＩ５１０（図１５）は、請求項におけるユーザインタフェースに相当する。

ステップＳ１３０ａ（図１３）では、補正領域設定部２５０（図１）は、相対的サイズが８０％よりも大きく１２０％以下の範囲内の顔領域を補正対象顔領域として決定する。第２の実施例では、基準顔領域はユーザによって指定されるので、相対的サイズが１００％以上の顔についても小顔化処理の対象となる場合が起こり得る。

図１５（Ｂ）は、第２の実施例のステップＳ１２５において求められた顔領域の相対的サイズの一例を示す説明図である。図１５（Ｂ）において、顔領域Ｆｄ１〜Ｆｄ３は、図１５（Ａ）に示す顔領域Ｆｄ１〜Ｆｄ３と同じである。各領域の下部に記載された数値は、顔領域Ｆｄ２を基準顔領域とした場合の相対的サイズを示す。なお、比較のため、第１の実施例と同様に顔領域Ｆｄ１を基準顔領域とした場合の相対的サイズを、かっこ書きで記載している。顔領域Ｆｄ２（相対的サイズ：１００％）を基準顔領域とした場合、顔領域Ｆｄ１の相対的サイズは１１１％となる。また、顔領域Ｆｄ３の相対的サイズは８８％となる。したがって、第２の実施例では、第１の実施例とは異なり全ての顔領域Ｆｄ１〜Ｆｄ３が、補正対象顔領域として決定される。そして、ステップＳ１３０ａの後は、上述したステップＳ１３５〜Ｓ１５０が実行される。

図１６は、第２の実施例における分割点移動テーブル４２０の詳細例を示す説明図である。上述したように、第２の実施例では、相対的サイズが８０％よりも大きく１２０％以下の範囲の顔領域を補正対象顔領域とする。したがって、分割点移動テーブル４２０は、これに対応すべく前述のテーブルｔ８５〜ｔ１００（図７）に加えて、相対的サイズが１０５％用のテーブルｔ１０５と、相対的サイズが１１０％用のテーブルｔ１１０と、相対的サイズが１１５％用のテーブルｔ１１５と、相対的サイズが１２０％用のテーブルｔ１２０とを含んでいる。

分割点移動テーブル決定部２４０は、前述のステップＳ１４５（図１３）において、相対的サイズが１００％よりも大きく１０５％以下である補正対象顔領域については、テーブルｔ１０５をステップＳ１５０で用いるテーブルとして決定する。同様に、相対的サイズが１０５％よりも大きく１１０％以下である補正対象顔領域についてはテーブルｔ１１０を、相対的サイズが１１０％よりも大きく１１５％以下である補正対象顔領域についてはテーブルｔ１１５を、相対的サイズが１１５％よりも大きく１２０％以下である補正対象顔領域についてはテーブルｔ１２０を、それぞれステップＳ１５０で用いるテーブルとして決定する。したがって、前述のように、各顔領域Ｆｄ１〜Ｆｄ３について相対的サイズが決定すると（図１５（Ｂ）参照）、分割点移動テーブル決定部２４０は、顔領域Ｆｄ１（相対的サイズ：１１１％）についてはテーブルｔ１１５をステップＳ１５０で用いるテーブルとして決定する。また、分割点移動テーブル決定部２４０は、顔領域Ｆｄ２（相対的サイズ：１００％）についてはテーブルｔ１００を、顔領域Ｆｄ３（相対的サイズ：８８％）についてはテーブルｔ９０を、それぞれステップＳ１５０で用いるテーブルとして決定することとなる。

各テーブルｔ８５〜ｔ１２０では、第１の実施例と同様に、より大きい相対的サイズに対応するテーブルにおいてより大きな移動量が設定されている。例えば、図１６の例では、分割点Ｄ１１の移動量（Ｈ方向，Ｖ方向）として、テーブルｔ８５（相対的サイズ８５％用）では（５，１１）が設定され、テーブルｔ１００（相対的サイズ１００％用）では（７，１４）が設定され、テーブルｔ１１５（相対的サイズ１１５％用）では（９，１９）が設定されている。

図１７（Ａ）は、第２の実施例において手動モードの小顔化処理を実行した後の対象画像ＴＩを示す説明図である。図１７（Ａ）では、便宜上、対象画像ＴＩに含まれる各人物Ａ〜Ｃの顔の部分において、小顔化処理実行前の輪郭を破線で記載している。また、小顔化処理実行後の人物Ａの顔領域を顔領域Ｆｄ２１として便宜上記載している。同様に、小顔化処理実行後の人物Ｂの顔領域を顔領域Ｆｄ２２として、小顔化処理実行後の人物Ｃの顔領域を顔領域Ｆｄ２３として、それぞれ便宜上記載している。

上述したように、人物Ａの顔領域Ｆｄ１については、テーブルｔ１１５を用いて変形処理が実行されているので（ステップＳ１５０）大きく変形している。人物Ｂの顔領域Ｆｄ２については、テーブルｔ１００を用いて変形処理が実行されているので中程度に変形している。人物Ｃの顔領域Ｆｄ３については、テーブルｔ９０を用いて変形処理が実行されているので小さく変形している。

図１７（Ｂ）は、第２の実施例において手動モードの小顔化処理の前後における顔領域の大きさの変化を模式的に示す説明図である。図１７（Ｂ）において、上段、中段及び下段の数字の意味は、第１の実施例（図１０（Ｂ））と同じである。顔領域Ｆｄ１については、上述した手動モードの小顔化処理によって相対的サイズが９８％の顔領域Ｆｄ２１になっている。また、顔領域Ｆｄ２については、手動モードの小顔化処理によって相対的サイズが９０％の顔領域Ｆｄ２２になっている。また、顔領域Ｆｄ３については、手動モードの小顔化処理によって相対的サイズが８３％の顔領域Ｆｄ２３になっている。ここで、縮小率を比較すると、顔領域Ｆｄ１については０．８８であり、顔領域Ｆｄ２については０．９０であり、顔領域Ｆｄ３については０．９４である。

このように、上述した手動モードの小顔化処理によって、基準顔領域を基準としてより大きな顔領域については小顔化度合いがより大きくなり、より小さい顔領域については小顔化度合いが小さくなっている。従って、第２の実施例のプリンタも、第１の実施例のプリンタ１００と同様な効果を奏することができる。また、第２の実施例のプリンタでは、基準顔領域をユーザが指定することができるので、例えば、自己の顔の顔領域を基準顔領域に指定することで、自己の顔領域を必ず０．９０の小顔度合いで小顔化させることができると共に、小顔化した自己の顔のサイズとバランスを調整しつつ他の顔領域についてもスリム化することができる。

Ｃ．第３の実施例：
図１８は、第３の実施例における小顔化処理の手順を示すフローチャートである。第３の実施例のプリンタは、対象画像内に含まれる全ての顔領域について一律同じ縮小率となるように小顔化を行う点において、第１の実施例のプリンタ１００（図１）と異なり、他の構成は同じである。

具体的には、上述したステップＳ１０５を実行した後、補正領域設定部２５０は、ステップＳ１０５で検出された全ての顔領域を補正対象領域として設定する（ステップＳ１３５ａ）。なお、補正対象領域の詳細な設定方法は、上述したステップＳ１３５と同じである。ステップＳ１３５を実行した後、上述したステップＳ１４０及びステップＳ１７０が実行される。すなわち、各補正対象領域について、小領域に分割すると共に、各小領域を相対的サイズが１００％用のテーブルｔ１００（図７）を変形させることで補正対象領域全体を変形させる。

このような構成を有する第３の実施例のプリンタでは、対象画像に含まれる全ての顔領域について、それぞれ小顔化処理が実行される。したがって、ユーザは、複数の顔領域を含む画像について、それぞれの顔領域を指定して小顔化処理を実行する作業を行わなくて済み、複数の顔領域を含む画像について効率的に小顔化を行うことができる。

Ｄ．第４の実施例：
図１９は、第４の実施例におけるプリンタの構成を概略的に示す説明図である。第４の実施例のプリンタ１００ａは、内部メモリ１２０に格納されたプログラムやデータが、図１に示した第１実施例のプリンタ１００（図１）とは異なっている。具体的には、プリンタ１００ａの内部メモリ１２０には、顔形状補正処理部２００（図１）の代わりに肌色補正処理部２０２（図１９）が格納されている。肌色補正処理部２０２は、補正領域分割部２６０及び分割領域変形部２７０がない点と、肌色平均算出部２８０，補正量決定部２９０及び肌色補正部３００を備えている点とにおいて、第１の実施例の顔形状補正処理部２００（図１）と異なり、他の構成は同じである。また、内部メモリ１２０には、分割点配置パターンテーブル４１０及び分割点移動テーブル４２０（図１参照）の代わりに、基準肌色データ４３０が格納されている。この基準肌色データ４３０は、好ましい肌色を表わす画素値（Ｒ，Ｇ，Ｂ）である。かかる基準肌色データ４３０は、実験等により予め設定されている。なお、基準肌色データ４３０は、設定後においてユーザによって変更可能とすることもできる。第４実施例のプリンタ１００ａのその他の構成は、第１実施例のプリンタ１００と同様である。

第４の実施例のプリンタ１００ａは、後述する顔の肌色補正処理を実行することによって、対象画像に含まれる顔領域の肌色部分（肌色領域）を好ましい色に変更するように構成されている。このとき、より大きな顔領域の肌色部分について、より好ましい色に近づけるように変更可能に構成されている。なお、前述の補正量決定部２９０は、請求項における補正量決定部に相当する。また、前述の肌色補正部３００は、請求項における顔領域補正部に相当する。

図２０は、第４の実施例における画像選択用ユーザインタフェースの一例を示す説明図である。この画像選択用ＵＩ６００は、小顔化処理実行用ボタンＢ１０に代えて、顔の肌色補正処理実行用ボタンＢ６０を備えている点において、第１の実施例の画像表示用ＵＩ５００（図２）と異なり、その他の構成は同じである。ユーザが、画像選択用ＵＩ６００を見ながら対象画像を選択し、肌色補正処理実行用ボタンＢ６０を押下すると、プリンタ１００ａにおいて、顔の肌色補正処理が開始される。

図２１は、第４の実施例における顔の肌色補正処理の手順を示すフローチャートである。図２１のステップＳ１０５〜Ｓ１３５までの処理は、上述した第１の実施例の小顔化処理におけるステップＳ１０５〜Ｓ１３５（図３）と同じである。従って、例えば、図２０に示す画像が対象画像ＴＩとして選択された場合には、３つの顔領域Ｆｄ１〜Ｆｄ３が検出され、また、２つの顔領域Ｆｄ１，Ｆｄ２について補正領域が設定されることとなる。

ステップＳ１８０では、肌色平均算出部２８０は、各補正領域の肌色部分の肌色平均を求める。このとき、肌色平均算出部２８０は、所定の重み付け係数を用いて、各補正領域を含む顔領域の相対的サイズに応じた重み付けをして肌色平均を算出する。具体的には、例えば、以下のごとく肌色平均を算出することができる。まず、各補正領域において、肌色領域を抽出すると共に肌色領域の平均画素値を求める。そして、各補正領域ごとに求めた平均画素値に重み付け係数を掛け合わせ、得られた各平均画素値のさらに平均値を求めて肌色平均とする。

図２２は、ステップＳ１８０において用いられる重み付け係数を模式的に示す説明図である。図２２において、横軸は相対的サイズを示し、縦軸は重み付け係数を示す。図２２の例では、相対的サイズが８０％よりも小さい場合には重み付け係数は「０」であり、相対的サイズが１００％の場合に重み付け係数は「１．０」である。そして、相対的サイズが８０％以上１００％未満の範囲においては、重み付け係数は０〜１．０の範囲で線形比例している。なお、線形比例に代えて、指数関数として表わされるように重み付け係数を設定することもできる。すなわち、より大きな顔領域を含む補正対象顔領域に対して、より大きな重み付けを行うように重み付け係数を任意に設定することができる。

したがって、前述のようにステップＳ１３５（図１３）において、補正対象領域として顔領域Ｆｄ１（相対的サイズ：１００％）を含む領域と、顔領域Ｆｄ２（相対的サイズ：９０％）を含む領域とが設定された場合、顔領域Ｆｄ１を含む補正領域の肌色により近い色が、肌色平均として算出されることとなる。

ステップＳ１８５（図２１）では、補正量決定部２９０（図１９）は、ステップＳ１８０で求めた肌色平均を、基準肌色データ４３０（図１９）で表わされる色（基準肌色）に補正する場合の補正量を求める。ステップＳ１９０（図２１）では、肌色補正部３００（図１９）は、ステップＳ１８５で求めた補正量を用いて各補正領域の肌色領域の画素値を補正して各補正領域の肌色領域の色を補正する。

上述したように、顔領域Ｆｄ１を含む補正領域の肌色により近い色が、肌色平均として算出されているので、この肌色平均が基準肌色に補正されることで、顔領域Ｆｄ１を含む補正領域の肌色領域の色が、基準肌色により近い色に補正されることとなる。

なお、対象画像に顔領域が１つしか含まれていない場合、上述したステップＳ１５５（ＹＥＳ）の後、上述したステップＳ１３５が実行される。そして、ステップＳ１９５では、肌色平均算出部２８０は、検出された１つの顔領域を含む補正領域について、肌色領域の平均画素値を求める。ステップＳ２００では、ステップＳ１９５で得られた平均画素値を、基準肌色データ４３０（図１９）の画素値に補正する場合の補正量を求める。その後、前述のステップＳ１９０が実行されるので、検出された１つの顔領域を含む補正領域において、肌色領域の色が、基準肌色に近づくように補正されることとなる。

以上説明したように、第４の実施例のプリンタ１００ａでは、顔の肌色補正処理を実行することによって、対象画像内に含まれる複数の顔領域について各々指定せずとも肌色領域をより好ましい色に近づけるように変更させることができる。また、プリンタ１００ａでは、顔の肌色補正処理を実行することによって、より大きな顔領域について好ましい色（基準肌色）により近づけることができるので、対象画像全体を見たときに、肌色部分が好ましい色に近づいたように見せ得る効果を奏する。
Ｅ．変形例：
なお、上記各実施例における構成要素の中の、独立クレームでクレームされた要素以外の要素は、付加的な要素であり、適宜省略可能である。また、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。

Ｅ１．変形例１：
上述した第１の実施例では、補正対象顔領域を、検出された顔領域のうち相対的サイズが８０％よりも大きい領域として決定していたが、８０％に限らず、任意のサイズよりも大きい領域として決定することもできる。このとき、相対的サイズが５０％よりも大きい顔領域を補正対象顔領域とすることが好ましい。相対的サイズが５０％以下の顔領域については、子供の顔領域や遠く離れた位置にいる大人の顔領域である可能性が高い。したがって、このような顔領域を補正対象顔領域から除くことで、小顔化処理によって不自然な画像が生成されることを抑制することができる。なお、第４の実施例においても、任意のサイズよりも大きい顔領域を補正対象顔領域として決定することもできる。また、第２の実施例では、相対的サイズが８０％よりも大きく１２０％以下の範囲の顔領域を補正対象顔領域としていたが、この範囲についても任意の範囲として設定することもできる。

Ｅ２．変形例２：
上述した第１の実施例及び第４の実施例では、検出された顔領域のうち、最も大きい顔領域を基準顔領域として決定していたが、最も大きい顔領域に代えて、最も小さい顔領域や２番目に大きい顔領域など、任意の基準で基準顔領域を決定することもできる。例えば、小顔化処理において最も小さい顔領域を基準顔領域とした場合には、最も小さい顔領域Ｆｄ１の小顔化度合いが０．９０となり、顔領域Ｆｄ２の小顔化度合いが０．８４となり、最も大きい顔領域Ｆｄ３の小顔化度合いが０．８１となるように、分割点移動テーブル４２０（図１）を設定することもできる。かかるケースでは、第１の実施例とは異なり、全ての顔領域Ｆｄ１〜Ｆｄ３が補正対象顔領域となり、各顔領域の小顔化処理後の相対的サイズ（比較のため顔領域Ｆｄ１の顔サイズを１００％とした場合の大きさの割合を意味するものとする）は以下のようになる。すなわち、顔領域Ｆｄ１については８１％となり、顔領域Ｆｄ２については７６％となり、顔領域Ｆｄ３については７２％となる。この例及び第１の実施例の小顔化処理後の顔サイズ（図１０（Ｂ））からも分かるように、比較的小さい顔領域を基準顔領域とすることで、各顔領域をよりスリムに変形することができる。

なお、顔領域ごとに異なる基準顔領域を設定することもできる。例えば、第２の実施例のように予めユーザが顔領域を指定できる構成において、ユーザ指定の顔領域については、最も小さい顔領域を基準顔領域とし、他の顔領域については最も大きい顔領域を基準顔領域としてすることもできる。このようにすることで、ユーザ指定の顔領域については第１の変形例に比べてよりスリムに変形することができる。なお、全ての顔領域について同一の基準顔領域を設定して小顔化処理を実行した後に、ユーザ指定の顔領域についてのみ更にもう１回（或るは複数回）小顔化処理を実行することもできる。かかる構成においても、ユーザ指定の顔領域をよりスリムに変形することができる。以上の実施例及び変形例からも理解できるように、所定の補正を実行する際の補正量を補正対象顔領域の大きさに基づき決定する任意の構成を、本発明の画像処理装置において採用することができる。

Ｅ３．変形例３：
上述した各実施例では、補正領域は、補正対象顔領域よりも大きい領域であったが、補正対象顔領域と同じ領域或いは補正対象顔領域よりも小さい領域とすることもできる。なお、補正対象顔領域として補正領域と同じ領域の場合には、ステップＳ１３５，Ｓ１３５ａを省略することができる。また、上述した各実施例では、補正対象顔領域と補正領域とは、いずれも矩形の領域であったが、これに代えて、補正対象顔領域と補正領域とのうち少なくとも一方を、円形や三角形など任意の形状の領域として設定することもできる。

Ｅ４．変形例４：
上述した第１ないし第３の実施例では、各補正対象顔領域の相対的サイズに基づき、使用する分割点移動テーブル４２０を決定していたが、これに代えて、各補正対象顔領域の大きさ（例えば、図４（Ｂ）におけるＷ１＋Ｈ１の値）に基づき、分割点移動テーブルを決定するようにしてもよい。この場合、分割点移動テーブルとして、予め想定される顔領域のサイズごとにテーブルを用意しておくこともできる。そして、この分割点移動テーブルでは、第１の実施例と同様に、より大きな顔領域がより大きな小顔化度合いとなるように設定することで、顔領域間のサイズの差を縮小することができる。

Ｅ５．変形例５：
上述した第１ないし第３の実施例では、相対的サイズが同じ顔領域については同じ縮小率で変形（スリム）するものとしたが、これに代えて、異なる縮小率で変形することができるように構成することもできる。例えば、予めプリンタ１００において、縮小率が異なる複数の変形レベルを用意しておき、ユーザが変形レベルを指定すると、それに応じた縮小率で変形するようにすることもできる。具体的には、変形レベルとして「大」「中」「小」の３種類を設定しておく。そして、この３種類のレベルからユーザが指定できるようなユーザインタフェースを、画像表示用ＵＩ５００，５００ａや、基準顔領域指定ＵＩ５１０に設ける。また、分割点移動テーブル４２０として、各変形レベルに応じて、それぞれ相対的サイズ毎のテーブルを用意するようにする。この場合、同じ相対的サイズ用のテーブルであっても、設定されている移動量は変形レベルごとに異なることとなる。例えば、相対的サイズ１００％用のテーブルｔ１００における分割点Ｄ１１における移動量（Ｈ，Ｖ）として、変形レベル「大」では（９，１９）が設定され、また、変形レベル「中」では（７，１４）が、変形レベル「小」では（５，１１）が、それぞれ設定することができる。このようにすることで、各顔領域の変形（小顔化）の度合いをユーザが指定することが可能となる。

Ｅ６．変形例６：
上述した第１ないし第３の実施例では、各顔領域は、よりスリムに変形される、或いは、そのまま（第１の実施例における顔領域Ｆｄ３）であったが、これらに代えて、少なくとも一部の顔領域を大きく変形することもできる。例えば、第１の実施例において、顔領域Ｆｄ３を若干大きくなるように変形することで、他の顔領域Ｆｄ１，Ｆｄ２との大きさの差をより小さくすることができ、各顔領域間のバランスを良くすることができる。なお、本変形例及び上述した各実施例からも理解できるように、本発明の画像処理装置では、補正対象領域に対して実行可能な画像処理として、任意の画像処理を採用することができる。

Ｅ７．変形例７：
上述した第４の実施例では、第１の実施例と同様に、基準顔領域を自動的に抽出して補正対象顔領域を決定していたが、これに代えて、第２の実施例のようにユーザ指定の顔領域を基準顔領域として補正対象顔領域を決定する、或いは、第３の実施例のように全ての顔領域を補正対象顔領域とすることもできる。

Ｅ８．変形例８：
上述した各実施例では、対象画像について、小顔化処理や肌色補正処理を実行するまでであったが、さらに、これら処理の結果得られた画像についてプリンタエンジン１６０を用いて印刷を実行したり、内部メモリ１２０に格納したりすることもできる。

Ｅ９．変形例９：
各実施例では、画像処理装置としてのプリンタ１００，１００ａによる小顔化処理（図３，図１３，図１８）や顔の肌色補正処理（図２１）を説明したが、処理の一部又は全部がパーソナルコンピュータやデジタルスチルカメラなどにおいて実行されるものとしてもよい。また、プリンタ１００，１００ａはインクジェットプリンタに限らず、他の方式のプリンタ、例えばレーザプリンタや昇華型プリンタであるとしてもよい。

Ｅ１０．変形例１０：
上述した実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。

本発明の第１実施例における画像処理装置としてのプリンタ１００の構成を概略的に示す説明図。 図１に示す表示部１５０に表示される画像選択用ユーザインタフェースの一例を示す説明図。 プリンタ１００において実行される小顔化処理の手順を示すフローチャートである。 ステップＳ１０５において検出された顔領域の一例を示す説明図及びステップＳ１２５において求められた顔領域の相対的サイズの一例を示す説明図。 補正対象領域の設定方法の一例を示す説明図。 補正領域の小領域への分割方法の一例を示す説明図。 分割点移動テーブル４２０の詳細例を示す説明図。 図７に示す分割点移動テーブル４２０に従った分割点Ｄの位置の移動の一例を示す説明図。 ステップＳ１５０において補正領域ＴＡ１を変形する際の具体的な変形態様を示す説明図。 小顔化処理を実行した後の対象画像ＴＩを示す説明図及び小顔化処理の前後における顔領域の大きさの変化を模式的に示す説明図。 上述したステップＳ１５０において実行される小領域画像の変形処理を概念的に示す説明図。 三角形領域における画像の変形処理方法の概念を示す説明図。 第２の実施例における手動モードでの小顔化処理の手順を示すフローチャート。 第２の実施例において表示部１５０に表示される画像表示用ＵＩ５００ａを示す説明図。 ステップＳ１０７において表示される基準顔領域指定ＵＩを示す説明図及び第２の実施例のステップＳ１２５において求められた顔領域の相対的サイズの一例を示す説明図。 第２の実施例における分割点移動テーブル４２０の詳細例を示す説明図。 第２の実施例において手動モードの小顔化処理を実行した後の対象画像ＴＩを示す説明図及び第２の実施例において手動モードの小顔化処理の前後における顔領域の大きさの変化を模式的に示す説明図。 第３の実施例における小顔化処理の手順を示すフローチャート。 第４の実施例におけるプリンタの構成を概略的に示す説明図。 第４の実施例における画像選択用ユーザインタフェースの一例を示す説明図。 第４の実施例における顔の肌色補正処理の手順を示すフローチャート。 ステップＳ１８０において用いられる重み付け係数を模式的に示す説明図である。

符号の説明

１００，１００ａ…プリンタ
１１０…ＣＰＵ
１２０…内部メモリ
１４０…操作部
１５０…表示部
１６０…プリンタエンジン
１７０…カードインターフェース
１７２…カードスロット
ＭＣ…メモリカード
２００…顔形状補正処理部
２０２…肌色補正処理部
２１０…顔領域検出部
２２０…顔領域サイズ取得部
２３０…基準顔領域決定部
２４０…分割点移動テーブル決定部
２５０…補正領域設定部
２６０…補正領域分割部
２７０…分割領域変形部
２８０…肌色平均算出部
２９０…補正量決定部
３００…肌色補正部
３１０…表示処理部
３２０…印刷処理部
４１０…分割点配置パターンテーブル
４２０…分割点移動テーブル
４３０…基準肌色データ
５００，５００ａ，６００…画像選択用ユーザインタフェース
５１０…基準顔領域指定ユーザインタフェース
Ｄ…分割点
ｔ８５〜ｔ１２０…テーブル
ＦＡ…顔領域
ＩＡ…画像表示欄
ＴＡ…補正領域
ＴＩ…対象画像

Claims (9)

1. 画像処理装置であって、
   複数の顔画像が含まれる対象画像において、各顔画像に対応する複数の顔領域を検出する顔領域検出部と、
   各顔領域の大きさを取得する顔領域サイズ取得部と、
   前記複数の顔領域のうち少なくとも一部の補正対象顔領域に対して、前記補正対象顔領域の大きさに基づいて所定の補正を実行する顔領域補正部と、
   を備える、画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記所定の補正は、前記補正対象顔領域の大きさを変更する補正である、画像処理装置。
3. 請求項２に記載の画像処理装置において、
   前記所定の補正は、前記補正対象顔領域をより小さく変形する補正である、画像処理装置。
4. 請求項２または請求項３に記載の画像処理装置であって、さらに、
   前記所定の補正を実行する際の補正量を、前記補正対象顔領域の大きさに基づき決定する補正量決定部を備え、
   前記補正量決定部は、前記複数の顔領域のうち少なくとも２つの顔領域の大きさの差が前記所定の補正の実行前に比べて前記所定の補正の実行後においてより小さくなるように、前記補正量を決定する、画像処理装置。
5. 請求項４に記載の画像処理装置において、
   前記補正量決定部は、前記補正量を決定する際に、
   （ｉ）前記補正対象顔領域のうち前記所定の補正における基準となる基準顔領域について、予め定められた補正量を前記補正量として決定し、
   （ｉｉ）前記補正対象顔領域のうち前記基準顔領域を除く他の顔領域について、その顔領域の前記基準顔領域に対する相対的な大きさに基づき前記補正量を決定する、画像処理装置。
6. 請求項５に記載の画像処理装置において、
   前記基準顔領域は、前記他の顔領域よりも大きく、
   前記顔領域補正部は、前記基準顔領域に対する前記他の顔領域の相対的な大きさが５０％未満である場合に、前記他の顔領域について前記所定の補正を実行しない、画像処理装置。
7. 請求項５または請求項６に記載の画像処理装置であって、さらに、
   前記複数の顔領域から前記基準顔領域を選択することをユーザに許容するユーザインタフェースを備える、画像処理装置。
8. 画像処理方法であって、
   （ａ）複数の顔画像が含まれる対象画像において、各顔画像に対応する複数の顔領域を検出する工程と、
   （ｂ）各顔領域の大きさを取得する工程と、
   （ｃ）前記複数の顔領域のうち少なくとも一部の補正対象顔領域に対して、前記補正対象顔領域の大きさに基づいて所定の補正を実行する工程と、
   を備える、画像処理方法。
9. 画像処理のためのコンピュータプログラムであって、
   複数の顔画像が含まれる対象画像において、各顔画像に対応する複数の顔領域を検出する機能と、
   各顔領域の大きさを取得する機能と、
   前記複数の顔領域のうち少なくとも一部の補正対象顔領域に対して、前記補正対象顔領域の大きさに基づいて所定の補正を実行する機能と、
   をコンピュータに実現させる、コンピュータプログラム。

Images