JP2009059106A - 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理システム - Google Patents

Abstract

【課題】被写体を直接観察したときの印象とは異なる印象の形状となった被写体を含む画像が生成されていた。
【解決手段】対象画像中の特定の被写体の画像を検出する被写体検出部と、上記対象画像の撮像に用いられる単眼レンズを介して捉えられる上記被写体の大きさと両眼によって知覚される上記被写体の大きさとの比率を表す比率情報を取得する比率情報取得部と、上記取得された比率情報に基づいて、対象画像上における上記被写体の画像を含む領域の画像変形を行う変形処理部とを備える構成とした。
【選択図】図９

Description

本発明は、画像の変形を実行可能な画像処理技術に関する。

デジタル画像を対象に、画像を変形するための画像処理技術が知られている（特許文献１参照。）。特許文献１には、顔の画像上の一部の領域（頬の画像を表す領域）を補正領域として設定し、補正領域を所定のパターンに従い複数の小領域に分割し、小領域毎に設定された倍率で画像を拡大または縮小することにより、顔の形状を変形する画像処理が開示されている。
特開２００４‐３１８２０４号公報

ここで、人間は、ある被写体を直接見たときの印象とは異なる印象を、同被写体が撮影された画像（写真やモニタ上の画像）から受けることがある。特に、被写体を画像で見たときの印象の方が、実物を見たときの印象よりも「太め」に見えることがあり、観察者にとって違和感があった。
しかしながら、上述したような、人が直に被写体を見たときの印象と同じ被写体が表れた画像を見たときの印象との乖離を解消するための画像変形の処理は知られていなかった。

本発明は上記課題に鑑みてなされたものであり、人が被写体を直に見たときの印象と極力同じ印象を与えるような画像を得ることが可能な画像処理装置、画像処理方法、画像処理プログラムおよび画像処理システムを提供することを目的とする。

上記目的を達成するため、本発明にかかる画像処理装置は、被写体検出部が、対象画像中の特定の被写体の画像を検出し、比率情報取得部が、上記対象画像の撮像に用いられる単眼レンズを介して捉えられる上記被写体の大きさと両眼によって知覚される上記被写体の大きさとの比率を表す比率情報を取得する。そして、変形処理部が、上記取得された比率情報に基づいて、対象画像上における上記被写体の画像を含む領域の画像変形を行う。すなわち本発明によれば、単眼レンズを介して捉えられる被写体の大きさと両眼によって知覚される被写体の大きさとの比率に応じて、対象画像上における被写体の画像を含む領域が変形処理される。そのため、人が被写体を直に見たときに感じる印象と極力同じ印象を与える画像を得ることができる。

上記比率情報取得部は、左眼によって知覚される被写体の大きさを示す左眼知覚範囲と右眼によって知覚される被写体の大きさを示す右眼知覚範囲とを、被写体上の注視点に対応する左眼知覚範囲上の点と当該注視点に対応する右眼知覚範囲上の点とを一致させることにより重ね合わせたときに、左眼知覚範囲および右眼知覚範囲に共通する範囲を、上記両眼によって知覚される上記被写体の大きさとする、としてもよい。かかる構成によれば、人間が目視で物の大きさを認識する際の仕組みを利用して、両眼によって知覚される上記被写体の大きさを正確に取得することができる。

画像処理装置は、上記被写体の実の大きさを示す第１の被写体サイズ情報を取得するサイズ情報取得部と、上記単眼レンズから上記被写体までの距離を示す被写体距離情報を取得する距離情報取得部とをさらに備える。そして、上記比率情報取得部は、上記第１の被写体サイズ情報と被写体距離情報と基づいて、上記単眼レンズを介して捉えられる被写体の大きさを算出し、かつ、上記第１の被写体サイズ情報と被写体距離情報と予め規定された左右両眼間の距離を示す両眼距離情報とに基づいて、左眼知覚範囲と右眼知覚範囲とを算出するとしてもよい。かかる構成によれば、第１の被写体サイズ情報が示すサイズを有する被写体と、被写体から被写体距離情報が示す距離だけ離れた位置の単眼レンズと、単眼レンズの左右両側の位置であって被写体から被写体距離情報が示す距離だけ離れ、かつ互いに両眼距離情報が示す距離だけ離れている左右両眼との配置関係を利用して、幾何学的計算によって容易に、単眼レンズを介して捉えられる被写体の大きさや、左眼知覚範囲や、右眼知覚範囲を算出することができる。

また上記比率情報取得部は、複数の第１の被写体サイズ情報および被写体距離情報の組み合わせに夫々対応した比率情報を規定したテーブルを作成するとともに、上記サイズ情報取得部によって取得された第１の被写体サイズ情報と上記距離情報取得部によって取得された被写体距離情報とに対応する比率情報を上記テーブルを参照して取得するとしてもよい。かかる構成によれば、上記テーブルを参照することにより、様々な値を取りうる第１の被写体サイズ情報および被写体距離情報に応じた比率情報を容易に得ることができる。

上記距離情報取得部は、上記対象画像に対する対象画像中の上記被写体の画像の大きさを示す第２の被写体サイズ情報と、対象画像の画角を特定可能な第３の情報とを取得するとともに、上記サイズ情報取得部によって取得された第１の被写体サイズ情報と、上記第２の被写体サイズ情報と、上記第３の情報とに基づき、上記被写体距離情報を推定するとしてもよい。かかる構成によれば、これまで取得することが難しかった、単眼レンズから被写体までの距離を、容易且つ正確に取得することができる。

ここで、上記比率情報取得部は、被写体の部位毎に異なる比率情報を取得し、上記変形処理部は、画像変形の対象とした上記領域内における被写体の各部位に対応した領域毎に、異なる比率に基づいて画像変形を行うとしてもよい。人が物体を直に見たときに受ける印象と物体を画像として見たときに受ける印象の違いは、物体の大きさによっても異なる。上記構成によれば、画像変形を行う際に被写体の各部位に対応した領域毎に、異なる比率で変形をするため、部位毎に大きさが異なる被写体の画像を人による見た目に非常に近い形状にすることができる。

画像変形処理の一例として、上記変形処理部は、上記比率情報に基づいて被写体の横幅方向において圧縮するように画像変形する。つまり、人が被写体を直接見たときの印象と、撮像画像として見たときの印象との違いで最も顕著なのは「太さ」であるため、かかる太さの違いを解消するために、上記比率情報に基づいて被写体の横幅方向において圧縮する変形処理を行なう。

対象画像の中でも特に人物の部分は注目を浴びる部分であり、人の顔などが実物よりも太って見えるとユーザにとって好ましくない。そこで上記被写体検出部は、特定の被写体の画像として人物の画像を検出するとしてもよい。かかる構成とすれば、人物の画像を含む領域の変形を行うことができ好適である。

これまでは本発明にかかる技術的思想を、画像処理装置として説明したが、上述した画像処理装置が備える各手段に対応した工程を備えた画像処理方法の発明、さらには、上述した画像処理装置が備える各手段に対応した機能をコンピュータに実行させる画像処理プログラムの発明をも把握可能であることは、言うまでも無い。さらに、上記画像処理装置が実現する処理を複数の装置からなるシステムによって実現してもよい。
この場合の一例として、単眼レンズと、上記単眼レンズを介して捉えられた対象画像中の、特定の被写体の画像を検出する被写体検出部と、上記単眼レンズを介して捉えられた対象画像を撮像する撮像部と、上記撮像された対象画像の画像データを出力する出力部とを備える第１の装置と、上記第１の装置から出力された対象画像の画像データを入力する入力部と、上記単眼レンズを介して捉えられた上記被写体の大きさと両眼によって知覚される上記被写体の大きさとの比率を表す比率情報を取得する比率情報取得部と、上記取得された比率情報に基づいて、上記入力した画像データ中の上記被写体の画像を含む領域内の画像変形を行う変形処理部とを備える第２の装置と、からなる画像処理システムを把握することができる。

下記の順序に従って本発明の実施例を説明する。
（１）第１の実施例：
（１‐１）装置等の概略構成：
（１‐２）画像生成処理：
（１‐３）顔形状補正印刷処理：
（２）他の実施例：

（１）第１の実施例：
（１‐１）装置等の概略構成：
図１は、第１の実施例（本実施例）におけるデジタルスチルカメラ５００の構成を概略的に示す説明図である。デジタルスチルカメラ（以下「ＤＳＣ」と呼ぶ）５００は、対象物を撮像して画像を生成する撮影装置（画像生成装置）として機能すると共に、生成された画像に対する画像処理を行う画像処理装置としても機能する。

ＤＳＣ５００は、レンズ（単眼レンズ）５０２と、レンズ５０２を駆動して焦点（ピント）の位置や焦点距離を調整するレンズ駆動部５０４と、レンズ駆動部５０４を制御するレンズ駆動制御部５０６と、レンズ５０２を介して受光面に入力された光を電気信号に変換する撮像素子５０８と、撮像素子５０８から出力された電気信号に対するＡ／Ｄ変換を行うＡ／Ｄ変換器５１０と、外部機器との情報のやり取りのためのインターフェース（Ｉ／Ｆ）部５１２と、液晶ディスプレイにより構成された表示部５１４と、ボタンやタッチパネルにより構成された操作部５１６と、ＤＳＣ５００の各部を制御するＣＰＵ５１８と、ＲＯＭやＲＡＭによって構成された内部メモリ６００と、カードインターフェース（カードＩ／Ｆ）５２０と、を備えている。カードＩ／Ｆ５２０は、カードスロット５２４に挿入されたメモリーカードＭＣとの間でデータのやり取りを行うためのインターフェースである。撮像素子５０８は、例えばＣＣＤを用いて構成される。ＤＳＣ５００の各構成要素は、バス５２２を介して互いに接続されている。

内部メモリ６００には、画像生成部６１０が格納されている。画像生成部６１０は、所定のオペレーティングシステムの下で、後述する画像生成処理を実行するためのコンピュータプログラムである。ＣＰＵ５１８は、内部メモリ６００から、このプログラムを読み出して実行することにより、画像生成部６１０の機能を実現する。

画像生成部６１０は、プログラムモジュールとして、基本的に、顔領域検出部６２０と、被写体距離推定部６３０と、画像ファイル生成部６５０と、を含んでいる。また、被写体距離推定部６３０は、情報取得部６４０を含んでいる。これらの各部の機能については、後述の画像生成処理の説明において詳述する。顔領域検出部６２０は、被写体としての人物の画像（正確には、人物の顔を含む画像）を検出するものであり、「被写体検出部」とも呼ぶことができる。

図２は、第１の実施例における画像出力機器の構成を概略的に示す説明図である。本実施例における画像出力機器はプリンタ１００である。プリンタ１００は、メモリーカードＭＣ等から取得した画像データに対する画像処理を行う画像処理装置としても機能し、また画像データに基づき画像を印刷する、いわゆるダイレクトプリントに対応したカラーインクジェットプリンタである。プリンタ１００は、プリンタ１００の各部を制御するＣＰＵ１１０と、例えばＲＯＭやＲＡＭによって構成された内部メモリ１２０と、ボタンやタッチパネルにより構成された操作部１４０と、液晶ディスプレイにより構成された表示部１５０と、プリンタエンジン１６０と、カードＩ／Ｆ１７０と、外部機器との情報のやり取りのためのＩ／Ｆ部１３０と、を備えている。プリンタ１００の各構成要素は、バスを介して互いに接続されている。

プリンタエンジン１６０は、印刷データに基づき印刷を行う印刷機構である。カードＩ／Ｆ１７０は、カードスロット１７２に挿入されたメモリーカードＭＣとの間でデータのやり取りを行うためのインターフェースである。本実施例では、カードスロット１７２に挿入されたメモリーカードＭＣにはＲＧＢデータとしての画像データを含む画像ファイルが格納されている。この画像ファイルは、本実施例では、ＤＳＣ５００によりＥｘｉｆ（Exchangeable Image File Format）規格に則って生成されたファイルであり、撮像により生成された画像データの他に、撮像時の絞り・シャッタースピード・レンズの焦点距離等の付加データを含んでいる。プリンタ１００は、カードＩ／Ｆ１７０を介してメモリーカードＭＣに格納された画像ファイルの取得を行う。つまりプリンタ１００は、メモリーカードＭＣを媒体として、ＤＳＣ５００から画像ファイルの提供を受けることが可能である。むろん、画像ファイル提供のための媒体としてはメモリーカードＭＣ以外にも種々の媒体を用いることができるし、ＤＳＣ５００側のＩ／Ｆ部５１２とプリンタ１００側のＩ／Ｆ部１３０とをケーブルで接続して画像ファイルのやり取りを行っても良い。

内部メモリ１２０には、基本的に、顔形状補正部２００と、顔領域検出部２２０と、表示処理部３１０と、印刷処理部３２０と、比率情報取得部３５０と、が格納されている。顔形状補正部２００と顔領域検出部２２０と比率情報取得部３５０とは、所定のオペレーティングシステムの下で、それぞれ後述する顔形状補正処理、顔領域検出処理、比率情報取得処理を実行するためのコンピュータプログラムである。表示処理部３１０は、表示部１５０を制御して、表示部１５０上に処理メニューやメッセージを表示させるディスプレイドライバである。印刷処理部３２０は、画像データから印刷データを生成し、プリンタエンジン１６０を制御して、印刷データに基づく画像の印刷を実行するためのコンピュータプログラムである。ＣＰＵ１１０は、内部メモリ１２０から、これらのプログラムを読み出して実行することにより、これら各部の機能を実現する。

顔形状補正部２００は、プログラムモジュールとして、顔領域調整部２３０と、変形領域設定部２４０と、変形領域分割部２５０と、分割領域変形部２６０と、を含んでいる。これらの各部の機能については、後述の顔形状補正印刷処理の説明において詳述する。なお後述するように、変形領域分割部２５０と分割領域変形部２６０とにより画像の変形が行われる。そのため、変形領域分割部２５０と分割領域変形部２６０とは、併せて「変形処理部」とも呼ぶことができる。

内部メモリ１２０には、また、分割点配置パターンテーブル４１０が格納されている。分割点配置パターンテーブル４１０の内容についても、後述の顔形状補正印刷処理の説明において詳述する。さらに、内部メモリ１２０には、比率情報テーブル４２０が格納されている場合もある。比率情報テーブル４２０の内容についても後述する。
以下では、上記のようなＤＳＣ５００とプリンタ１００とからなる画像処理システムを前提として本実施例の説明を行う。この意味で、ＤＳＣ５００は、本発明における第１の装置の一例に該当し、プリンタ１００は、本発明における第２の装置の一例に該当する。

（１‐２）画像生成処理
画像処理システムによる処理のうち、まずＤＳＣ５００によって実行される処理について説明する。
図３は、本実施例のＤＳＣ５００による画像生成処理の流れを示すフローチャートである。ステップＳ（以下、ステップの記載を省略。）８１０では、画像生成部６１０（図１）が準備画像を取得する。ここでは、撮影前の種々の処理に用いられる画像という意味で準備画像と呼んでいるが、画像としての内容は後述の対象画像と基本的に同じであるため、準備画像を対象画像と読み替えても差し支えない。画像生成部６１０は、レンズ５０２や撮像素子５０８、Ａ／Ｄ変換器５１０を制御して、準備画像を取得する。なお、表示部５１４が撮影時のファインダーとして利用されている場合には、準備画像が表示部５１４に表示される。

Ｓ８２０では、顔領域検出部６２０（図１）が、準備画像における顔領域ＦＡを検出する。ここで、顔領域ＦＡとは、準備画像上の領域であって、少なくとも顔の一部の画像が含まれる領域を意味している。顔領域ＦＡの検出は、例えばテンプレートを利用したパターンマッチングによる方法（特開２００４‐３１８２０４参照）といった公知の顔検出方法を用いて実行される。

図４は、顔領域ＦＡの検出結果の一例を示す説明図である。図４の例では、準備画像ＪＩに人物の画像が含まれている。そのため、Ｓ８２０において、準備画像ＪＩから人物の顔領域ＦＡが検出される。この顔領域ＦＡは、図４に示すように、両目と鼻と口の画像を含む矩形の領域となっている。なお、顔領域検出部６２０は、顔領域ＦＡの検出結果として、準備画像ＪＩにおける顔領域ＦＡの位置を特定可能な情報（例えば顔領域ＦＡの４つの頂点の座標）を出力する。また、図４に示すように、本実施例では、準備画像ＪＩの幅をＷｗｉ（単位は画素数）と表し、顔領域ＦＡの幅をＷｆｉ（単位は画素数）と表すものとする。

なお、Ｓ８２０の顔領域ＦＡの検出において、顔領域ＦＡが検出されなかった場合には、その旨が表示部５１４を通じてユーザに通知される。この場合には、人物以外の被写体を検出してもよいし、他の顔検出方法を用いた顔領域ＦＡの再度の検出処理が行われるとしてもよい。

Ｓ８２０では、テンプレートを利用したパターンマッチングにより準備画像ＪＩから顔領域ＦＡが検出される。このようなテンプレートを利用したパターンマッチングによる方法等の公知の顔検出方法は、一般に、顔全体や顔の部位（目や口等）について位置や傾き（角度）を詳細に検出するものではなく、準備画像ＪＩ中から顔の画像が概ね含まれると考えられる領域を顔領域ＦＡとして設定するものである。

Ｓ８３０では、被写体距離推定部６３０（図１）が、準備画像ＪＩにおける被写体距離Ｓｄを推定し取得する。被写体距離Ｓｄは、準備画像ＪＩの取得時におけるＤＳＣ５００（より詳細には、ＤＳＣ５００のレンズ５０２の主点）から被写体までの距離を意味している。本実施例では、特定の被写体として人物の顔が設定されている。従って、本実施例における被写体距離Ｓｄは、ＤＳＣ５００から人物の顔までの距離である。このような被写体距離Ｓｄを推定する被写体距離推定部６３０は「距離情報取得部」と呼ぶことができる。またＳ８３０では、被写体距離Ｓｄの推定の過程において、被写体の実の大きさを表した情報も取得する。

図５は、被写体距離Ｓｄの推定方法を示す説明図である。図５には、準備画像ＪＩの取得時におけるＤＳＣ５００の結像面ＩＳと被写体としての人物Ｐの顔との位置関係を示している。図５に示すように、レンズ５０２の主点ＵＰと人物Ｐの顔との間の距離である被写体距離Ｓｄは、人物Ｐの顔の位置を含み結像面ＩＳに平行な面（以下「被写体面ＳＳ」とも呼ぶ）における撮像範囲の幅Ｗｗと画角θとにより定まる。また、画角θは、レンズ５０２の焦点距離ｆと結像面ＩＳの幅Ｗｘとの関係により特定される。すなわち、下記の式（１）が成り立つ。
Ｓｄ：Ｗｗ＝ｆ：Ｗｘ …（１）

また、被写体面ＳＳにおける撮像範囲の幅Ｗｗは、人物Ｐの顔の画像が準備画像ＪＩ（図４）において占める大きさに基づき特定される。すなわち、被写体面ＳＳにおける幅Ｗｗと人物Ｐの顔の幅Ｗｆとの比は、準備画像ＪＩにおける画像全体の幅Ｗｗｉと顔領域ＦＡの幅Ｗｆｉとの比に等しいと考えられる（式（２）参照）。
Ｗｗ：Ｗｆ＝Ｗｗｉ：Ｗｆｉ …（２）

上記式（１）および（２）から、下記の式（３）が導かれる。
Ｓｄ＝（Ｗｗｉ×Ｗｆ×ｆ）／（Ｗｆｉ×Ｗｘ） …（３）

被写体距離推定部６３０の情報取得部６４０（図１）は、式（３）を用いた被写体距離Ｓｄの算出に必要な情報を取得する。具体的には、情報取得部６４０は、準備画像ＪＩの全体の幅Ｗｗｉの値（画素数）と顔領域ＦＡの幅Ｗｆｉの値（画素数）とを算出する。顔領域ＦＡの幅Ｗｆｉの算出は、例えば顔領域ＦＡの２つの頂点の座標を用いて２つの頂点間の距離を算出することにより行う。なお、本実施例において、準備画像ＪＩの全体の幅Ｗｗｉの値と顔領域ＦＡの幅Ｗｆｉの値とは、準備画像ＪＩの大きさに対する顔の画像の大きさを示す情報であり、本発明における第２の被写体サイズ情報の一例に該当する。

情報取得部６４０は、また、人物Ｐの顔の幅Ｗｆの値として、予め設定され内部メモリ６００（図１）に格納された典型的な人物の顔の幅（顔の現実の大きさ）の概略値（例えば２００ｍｍ）を取得する。人物Ｐの顔の幅Ｗｆの値は、被写体の実サイズを表した情報の一種であり、本発明における第１の被写体サイズ情報に相当する。この意味で、情報取得部６４０は、本発明におけるサイズ情報取得部に該当する。

さらに、情報取得部６４０は、準備画像ＪＩ取得時のレンズの焦点距離ｆの値および、結像面ＩＳの幅Ｗｘの値を取得する。ここで取得する焦点距離ｆは、ＤＳＣ５００の実際の焦点距離（実焦点距離）である。だだし、替わりに、焦点距離ｆとして３５ｍｍフィルム換算値の焦点距離を取得し、結像面ＩＳの幅Ｗｘとして、予め設定された３５ｍｍフィルムの幅の値（＝３６ｍｍ）を取得してもよい。本実施例において、レンズの焦点距離ｆの値と結像面ＩＳの幅Ｗｘの値とは、準備画像（対象画像）の画角θを特定可能な情報であり、本発明における第３の情報に相当する。

被写体距離推定部６３０は、情報取得部６４０により取得された上記各情報（準備画像ＪＩの全体の幅Ｗｗｉの値、顔領域ＦＡの幅Ｗｆｉの値、人物Ｐの顔の幅Ｗｆの値、レンズの焦点距離ｆの値、結像面ＩＳの幅Ｗｘの値）と、上記式（３）とを用いて、被写体距離Ｓｄを算出（推定）する。

Ｓ８４０では、画像生成部６１０が撮像により画像データを生成する。つまり、シャッターが押されたことを契機として撮像が行われる。このとき、画像生成部６１０は、レンズ５０２、レンズ駆動部５０４、レンズ駆動制御部５０６を制御して、自動焦点合わせ（オートフォーカス）を行い、主要被写体を特定した上で撮像を行う。具体的には、画像生成部６１０は、所定の焦点範囲内で焦点を移動させつつ撮像により画像を取得し、取得された画像の内のコントラストが最も大きい画像に対応した位置に焦点を合わせる。

Ｓ８５０では、画像ファイル生成部６５０が、撮像により生成された画像データと、Ｓ８３０において推定された被写体距離Ｓｄと、人物Ｐの顔の幅Ｗｆの値と、等を含む画像ファイルを生成する。画像ファイルは、例えばＥｘｉｆ規格に則ったファイルとして生成され、被写体距離Ｓｄ、顔の幅Ｗｆの値等は付加データとして画像ファイルに付加される。また本実施例では、上記Ｓ８２０において顔領域ＦＡを検出した際に得られた、顔領域ＦＡの位置を特定可能な情報（顔領域ＦＡの４つの頂点の座標）についても、画像ファイルに付加データとして含めておく。付加データは、プリンタ１００側で実行される処理において適宜利用される。

Ｓ８６０では、画像生成部６１０は、上記生成された画像ファイルを出力する。ここで言う出力とは、単純には、カードＩ／Ｆ５２０を介したメモリーカードＭＣへの出力（保存）を言う。あるいは、ＤＳＣ５００が、Ｉ／Ｆ部５１２を介して外部機器（プリンタ１００）と接続している場合には、当該Ｉ／Ｆ部５１２を経由した外部への出力を言う。この意味で、画像生成部６１０は出力部としての機能も兼ね備えていると言える。
以上説明したように、本実施例のＤＳＣ５００では、準備画像（対象画像）の全体の幅Ｗｗｉの値、顔領域ＦＡの幅Ｗｆｉの値、人物Ｐの顔の幅Ｗｆの値、レンズの焦点距離ｆの値、結像面ＩＳの幅Ｗｘの値を用いて、上記式（３）により、準備画像（対象画像）における被写体距離Ｓｄを推定することができる。

なお上記では、Ｓ８５０で生成された画像ファイルにＳ８３０において取得された被写体距離Ｓｄを示すデータ（すなわち準備画像における被写体距離Ｓｄを示すデータ）が含まれるとしている。しかし、Ｓ８４０の撮像により生成された画像について新たに被写体距離Ｓｄの推定を行い、当該被写体距離Ｓｄを示すデータを画像ファイルに含ませるものとしてもよい。

（１‐３）顔形状補正印刷処理：
次に、画像処理システムによる処理のうち、プリンタ１００によって実行される処理について説明する。
プリンタ１００は、メモリーカードＭＣに格納された画像ファイル等に基づき、画像の印刷を行う。上記ＤＳＣ５００のカードスロット５２４に挿入されていたメモリーカードＭＣがカードスロット５２４から抜かれ、プリンタ１００のカードスロット１７２に挿入されると、表示処理部３１０により、ＤＳＣ５００によってメモリーカードＭＣに格納された画像ファイルの一覧表示を含むユーザインターフェースが、表示部１５０に表示される。

図６は、画像ファイルの一覧表示を含むユーザインターフェースの一例を示す説明図である。図６に示すユーザインターフェースには、８つのサムネイル画像ＴＮ１〜ＴＮ８と、５つのボタンＢＮ１〜ＢＮ５が表示されている。ただし、プリンタ１００は、Ｉ／Ｆ部１３０を介して外部機器（ＤＳＣ５００）から入力し所定のメモリ領域に保存した画像ファイルについて、サムネイル画像による一覧表示をするようにしても良い。

プリンタ１００は、図６に示すユーザインターフェースにおいて、ユーザにより、１つ（または複数）の画像が選択されると共に通常印刷ボタンＢＮ３が選択されると、選択された画像を通常通り印刷する通常印刷処理を実行する。他方、当該ユーザインターフェースにおいて、ユーザにより、１つ（または複数）の画像が選択されると共に顔形状補正印刷ボタンＢＮ４が選択されると、プリンタ１００は、選択された画像について、画像中の顔の形状を補正して補正後の画像を印刷する顔形状補正印刷処理を実行する。図６の例では、サムネイル画像ＴＮ１と顔形状補正印刷ボタンＢＮ４とが選択されているため、プリンタ１００は、サムネイル画像ＴＮ１に対応する画像について顔形状補正印刷処理を行う。

図７は、本実施例のプリンタ１００による顔形状補正印刷処理の流れを示すフローチャートである。Ｓ１００では、顔形状補正部２００（図２）が、顔形状補正処理を実行する。本実施例の顔形状補正処理は、画像中の顔を含む所定の領域を、観察者が当該顔などを直に観察したときの印象と撮像された画像を観察したときの印象との間に生じる差を解消するように、補正（変形）する処理である。

図８は、本実施例における顔形状補正処理（図７のＳ１００）の流れを示すフローチャートである。Ｓ１１０では、顔形状補正部２００が、顔形状補正処理の対象となる対象画像ＴＩを設定する。顔形状補正部２００は、図６に示したユーザインターフェースにおいてユーザにより選択されたサムネイル画像ＴＮ１に対応する画像ファイルを対象画像ＴＩとして設定する。設定された対象画像ＴＩの画像ファイルは、メモリーカードＭＣからカードＩ／Ｆ１７０を介してプリンタ１００に入力され、内部メモリ１２０の所定領域に格納される。この意味で、顔形状補正部２００は入力部としての機能も兼ね備えていると言える。

Ｓ１２０では比率情報取得部３５０が、後述の画像変形の際に用いられる変形の度合い（程度）を規定する比率情報を、上記Ｓ１１０において設定された対象画像ＴＩの画像ファイルが有している付加データなどに基づいて算出し、取得する。

図９は、Ｓ１２０における処理の詳細をフローチャートにより示している。
Ｓ１２１では、比率情報取得部３５０は、対象画像ＴＩの画像ファイルから、被写体距離Ｓｄおよび、顔の幅Ｗｆの値を示すデータを読み出し取得する。
Ｓ１２２では、比率情報取得部３５０は、人間の左右の眼の間隔を示す両眼距離情報ＤＥを取得する。両眼距離情報ＤＥは、予め内部メモリ１２０に格納された典型的な人物の両眼の間隔の値であり、例えば６０ｍｍといった数値である。

Ｓ１２３では、比率情報取得部３５０は、上記Ｓ１２１において取得した各情報（Ｓｄ，Ｗｆ）に基づいた幾何学的計算により、単眼（レンズ５０２）を介して捉えられる対象画像ＴＩ中の被写体の大きさ（単眼知覚サイズＳＭと呼ぶ）を算出する。
また、Ｓ１２４では、比率情報取得部３５０は、上記Ｓ１２１，１２２において取得した各情報（Ｓｄ，Ｗｆ，ＤＥ）に基づいた幾何学的計算により、人間の左右の眼によって知覚される対象画像ＴＩ中の被写体の大きさ（両眼知覚サイズＳＢと呼ぶ）を算出する。

図１０，１１は、単眼知覚サイズＳＭおよび両眼知覚サイズＳＢの算出方法を説明するための説明図である。
図１０では、レンズ５０２と、人間の左右の眼（右眼ＲＥ、左眼ＬＥ）と、被写体ＯＢ（人物Ｐの顔）と、仮想的な結像面Ｓ１と、の位置関係を上面から２次元にて示している。図中の中心軸であるＹ軸上には、レンズ５０２（レンズ５０２の主点）と、被写体ＯＢの中心点Ｃが位置する。レンズ５０２と中心点Ｃとの距離は、Ｓｄである。本実施例では計算を容易とするために、被写体ＯＢは球体であるものとしている。被写体ＯＢの半径ｒは、Ｗｆ／２である。右眼ＲＥと左眼ＬＥとは、両者の中間点がレンズ５０２の主点に一致し、かつ互いにＤＥだけ離れた状態でレンズ５０２の両側に位置する。右眼ＲＥ、レンズ５０２、左眼ＬＥの並びは、Ｘ軸に平行である。結像面Ｓ１は、Ｘ軸に平行な面であって、右眼ＲＥ、レンズ５０２、左眼ＬＥが並ぶ面（観察面Ｓ２）を挟んで被写体ＯＢとは反対側に在る。観察面Ｓ２と結像面Ｓ１との距離ｄ１は特に問われない。比率情報取得部３５０は、単眼知覚サイズＳＭおよび両眼知覚サイズＳＢの算出に際し、距離ｄ１として、任意の値（距離）を固定値として設定すればよい。

このような位置関係において、上記Ｓ１２３では、比率情報取得部３５０は、レンズ５０２の位置において交差する被写体ＯＢの２本の接線を引く。当該２本の接線と被写体ОＢとの２つの接点ＡＳ，ＢＳの間の範囲が、レンズ５０２を介して捉えられる被写体ОＢの横幅となる。従って比率情報取得部３５０は、当該２本の接線と結像面Ｓ１との２つの交点間のＸ軸方向の範囲の距離を、単眼知覚サイズＳＭとして算出する。

上記Ｓ１２４では、比率情報取得部３５０は、まず両眼知覚サイズＳＢを得るための前段階の処理として、右眼ＲＥの位置において交差する被写体ＯＢの２本の接線と、左眼ＬＥの位置において交差する被写体ＯＢの２本の接線とをそれぞれ引く。右眼ＲＥの位置において交差する２本の接線と被写体ＯＢとの２つの接点ＡＲ，ＢＲの間の範囲が、右眼ＲＥによって知覚される被写体ОＢの横幅となる。そこで、比率情報取得部３５０は、右眼ＲＥの位置において交差する２本の接線と結像面Ｓ１との２つの交点間のＸ軸方向の範囲の距離を、右眼知覚範囲ＳＲとして算出する。同様に、左眼ＬＥの位置において交差する２本の接線と被写体ＯＢとの２つの接点ＡＬ，ＢＬの間の範囲が、左眼ＬＥによって知覚される被写体ОＢの横幅となる。そこで、比率情報取得部３５０は、左眼ＬＥの位置において交差する２本の接線と結像面Ｓ１との２つの交点間のＸ軸方向の範囲の距離を、左眼知覚範囲ＳＬとして算出する。

このように右眼ＲＥ、左眼ＬＥによってそれぞれ知覚される被写体の範囲には、左右方向（横幅方向）にずれが生じている。ここで、人間が両目で物を見るときには、右眼ＲＥで知覚される範囲の像と左眼ＬＥで知覚される範囲の像とを重ね合わせたときに共通する範囲を、その物の大きさと認識すると推測される。そこで本実施例では、上記算出した左眼知覚範囲ＳＬと右眼知覚範囲ＳＲとを重ね合わせたときに共通する範囲の長さを、両眼知覚サイズＳＢとする。当該重ね合わせの処理には、被写体ОＢ上の注視点ＰＧの位置を利用する。注視点ＰＧとは、人間が被写体ОＢを見たときに最も注目していると推定される点であり、本実施例では、右眼ＲＥ、左眼ＬＥの両方から見える被写体ОＢ上の点であって、右眼ＲＥからの距離と左眼ＬＥからの距離とが等しい点としている。比率情報取得部３５０は、注視点ＰＧおよび右眼ＲＥを通過する直線と結像面Ｓ１との交点位置を、注視点ＰＧに対応する右眼知覚範囲ＳＲ上の点ＰＧｒとし、注視点ＰＧおよび左眼ＬＥを通過する直線と結像面Ｓ１との交点位置を、注視点ＰＧに対応する左眼知覚範囲ＳＬ上の点ＰＧｌとする。そして、点ＰＧｒと点ＰＧｌとが一致するように、左眼知覚範囲ＳＬと右眼知覚範囲ＳＲとを重ね合わせる。

図１１では、点ＰＧｒと点ＰＧｌとが一致するように左眼知覚範囲ＳＬと右眼知覚範囲ＳＲとを重ね合わせた状態を示しており、このとき両範囲ＳＬ，ＳＲに共通する範囲のＸ軸方向の距離を、比率情報取得手段３３０は、両眼知覚サイズＳＢと認定する。このように求められる両眼知覚サイズＳＢは、上記Ｓ１２３で求めた単眼知覚サイズＳＭよりも短いものとなる。従って、ＤＳＣ５００のレンズ５０２を介して撮像された被写体ＯＢの画像を観察すると、被写体ＯＢを直接観察したときと比較して横幅が広い（太った）印象を受けると言える。
次にＳ１２５では、比率情報取得部３５０は、上記算出した単眼知覚サイズＳＭと両眼知覚サイズＳＢとの比率を算出する。例えば、単眼知覚サイズＳＭを１とした場合の両眼知覚サイズＳＭの比率を算出し、当該比率の数値を比率情報とする。

このように本実施例では、被写体ＯＢの注視点ＰＧを基準とした右眼知覚範囲ＳＲと左眼知覚範囲ＳＬとの重ね合わせによって得られる共通範囲の長さを両眼知覚サイズＳＢとしている。そのため、かかる両眼知覚サイズＳＢと上記単眼知覚サイズＳＭとの長さの比率は、上記被写体距離Ｓｄで人が被写体ＯＢを観察したときに受ける被写体ОＢの横方向の幅の印象と、同被写体距離Ｓｄで単眼レンズで撮像された被写体ＯＢの画像を観察したときに受ける被写体ОＢの横方向の幅の印象との差を、正確に表しているものと推測される。

次に、Ｓ１３０（図８）では、顔領域検出部２２０（図２）が、対象画像ＴＩにおける顔領域ＦＡの検出を行う。顔領域検出部２２０は、ＤＳＣ５００の顔領域検出部６２０と同様に、例えばテンプレートを利用したパターンマッチングによる方法といった公知の顔検出方法を用いて顔領域ＦＡを検出可能である。ただし本実施例では、上述したように対象画像ＴＩの画像ファイルにはＤＳＣ５００の顔領域検出部６２０によって検出された顔領域ＦＡの位置を特定可能な情報（顔領域ＦＡの４つの頂点の座標）が、付加データとして含められている。従ってＳ１３０では、顔領域検出部２２０は、対象画像ＴＩの画像ファイルから上記顔領域ＦＡの位置を特定可能な情報を読み出すとともに、当該読み出した情報に基づいて、対象画像ＴＩ上に矩形の顔領域ＦＡを設定する。

Ｓ５００では、プリンタ１００は、対象画像ＴＩ上の顔領域ＦＡに基づいて変形領域ＴＡを設定する。変形領域ＴＡは、対象画像ＴＩ上の領域であって顔形状補正のための画像変形処理の対象となる領域である。
図１４は、顔領域ＦＡの検出結果の一例を示す説明図である。図１４に示した基準線ＲＬは、顔領域ＦＡの高さ方向（上下方向）を定義すると共に、顔領域ＦＡの幅方向（左右方向）の中心を示す線である。すなわち、基準線ＲＬは、矩形の顔領域ＦＡの重心を通り、顔領域ＦＡの高さ方向（上下方向）に沿った境界線に平行な直線である。

変形領域ＴＡは、顔領域ＦＡに基づき設定される。ここで、上述したように、顔領域ＦＡの検出に用いられる公知の顔検出方法（テンプレートを利用したパターンマッチングによる方法等）は、顔全体や顔の部位（目や口等）について位置や傾き（角度）を詳細に検出するものではなく、対象画像ＴＩ中から顔の画像が概ね含まれると考えられる領域を顔領域ＦＡとして設定するものである。他方、顔の画像は、一般に、観察者の注目度が高いため、顔領域ＦＡに基づき設定された変形領域ＴＡと顔の画像との位置や角度の関係によっては、顔形状補正後の画像が不自然なものとなる可能性がある。そこで、本実施例では、より自然で好ましい顔形状補正が実現されるように、Ｓ１３０で検出された顔領域ＦＡについて、以下に説明する位置調整および傾き調整を行うものとしている。

図１５は、変形領域設定処理の流れを示すフローチャートである。Ｓ５１０では、顔領域調整部２３０（図２）が、Ｓ１３０で検出された顔領域ＦＡの高さ方向の位置調整を行う。ここで、顔領域ＦＡの高さ方向の位置調整とは、顔領域ＦＡの基準線ＲＬ（図１４参照）に沿った位置を調整して、対象画像ＴＩにおける顔領域ＦＡを再設定することを意味している。

図１６は、顔領域ＦＡの高さ方向の位置調整処理の流れを示すフローチャートである。Ｓ５１１では、顔領域調整部２３０が、特定領域ＳＡを設定する。ここで、特定領域ＳＡとは、対象画像ＴＩ上の領域であって、顔領域ＦＡの高さ方向の位置調整を実行する際に参照する所定の参照被写体の画像を含む領域である。参照被写体は、例えば「目」に設定することができ、その場合、特定領域ＳＡは「目」の画像を含む領域として設定される。

図１７は、特定領域ＳＡの一例を示す説明図である。本実施例では、顔領域調整部２３０が、特定領域ＳＡを顔領域ＦＡとの関係に基づいて設定する。具体的には、顔領域ＦＡの大きさを、基準線ＲＬに直行する方向および基準線ＲＬに平行な方向に、所定比率で縮小（または拡大）した大きさの領域であって、顔領域ＦＡの位置と所定の位置関係を有する領域が、特定領域ＳＡとして設定される。すなわち、本実施例では、顔領域ＦＡとの関係に基づき特定領域ＳＡを設定すれば、特定領域ＳＡが両方の目の画像を含む領域となるように、上記所定比率や所定の位置関係が予め設定されている。なお、特定領域ＳＡは、目の画像とまぎらわしい画像（例えば髪の毛の画像）がなるべく含まれないように、両目の画像を含む限りにおいて、なるべく小さい領域として設定されることが好ましい。

また、図１７に示すように、特定領域ＳＡは、基準線ＲＬに対して対称な矩形形状の領域として設定される。特定領域ＳＡは、基準線ＲＬにより、向かって左側の領域（以下「左分割特定領域ＳＡ（ｌ）」とも呼ぶ）と、向かって右側の領域（以下「右分割特定領域ＳＡ（ｒ）」とも呼ぶ）とに分割される。特定領域ＳＡは、左分割特定領域ＳＡ（ｌ）と右分割特定領域ＳＡ（ｒ）とのそれぞれに片目の画像が含まれるように設定される。

Ｓ５１２（図１６）では、顔領域調整部２３０が、特定領域ＳＡにおける目の画像の位置を検出するための評価値を算出する。図１８は、評価値の算出方法の一例を示す説明図である。本実施例では、ＲＧＢ画像データとしての対象画像ＴＩの各画素のＲ値（Ｒ成分値）が評価値の算出に用いられる。これは、肌の部分の画像と目の部分の画像とではＲ値の差が大きいため、Ｒ値を評価値の算出に用いることにより、目の画像の検出精度を向上させることができると考えられるからである。また、本実施例では、対象画像ＴＩのデータがＲＧＢデータとして取得されているため、Ｒ値を評価値の算出に用いることにより、評価値の算出の効率化を図ることができるからでもある。なお、図１８に示すように、評価値の算出は、２つの分割特定領域（右分割特定領域ＳＡ（ｒ）および左分割特定領域ＳＡ（ｌ））のそれぞれについて個別に行われる。

顔領域調整部２３０は、図１８に示すように、分割特定領域（右分割特定領域ＳＡ（ｒ）および左分割特定領域ＳＡ（ｌ））内に、基準線ＲＬと直行するｎ本の直線（以下「対象画素特定線ＰＬ１〜ＰＬｎ」と呼ぶ）を設定する。対象画素特定線ＰＬ１〜ＰＬｎは、分割特定領域の高さ（基準線ＲＬに沿った大きさ）を（ｎ＋１）等分する直線である。すなわち、対象画素特定線ＰＬ同士の間隔は、すべて等間隔ｓである。

顔領域調整部２３０は、対象画素特定線ＰＬ１〜ＰＬｎのそれぞれについて、対象画像ＴＩを構成する画素の中から評価値の算出に用いる画素（以下「評価対象画素ＴＰ」と呼ぶ）を選択する。図１９は、評価対象画素ＴＰの選択方法の一例を示す説明図である。顔領域調整部２３０は、対象画像ＴＩを構成する画素の内、対象画素特定線ＰＬと重なる画素を評価対象画素ＴＰとして選択する。図１９（ａ）は、対象画素特定線ＰＬが対象画像ＴＩの画素の行方向（図１９のＸ方向）と平行である場合を示している。この場合には、各対象画素特定線ＰＬと重なる画素行上の画素（図１９（ａ）において○印を付した画素）が、各対象画素特定線ＰＬについての評価対象画素ＴＰとして選択される。

一方、顔領域ＦＡの検出方法や特定領域ＳＡの設定方法によっては、図１９（ｂ）に示すように、対象画素特定線ＰＬが対象画像ＴＩの画素の行方向（Ｘ方向）と平行とはならない場合も生ずる。このような場合にも、原則として、各対象画素特定線ＰＬと重なる画素が、各対象画素特定線ＰＬについての評価対象画素ＴＰとして選択される。ただし、例えば図１９（ｂ）における対象画素特定線ＰＬ１と画素ＰＸａおよびＰＸｂとの関係のように、ある対象画素特定線ＰＬが、対象画像ＴＩの画素マトリクスの同一列に位置する（すなわちＹ座標が同一の）２つの画素と重なる場合には、重なり部分の距離のより短い方の画素（例えば画素ＰＸｂ）は評価対象画素ＴＰから除外される。すなわち、各対象画素特定線ＰＬについて、画素マトリクスの１つの列からは１つの画素のみが評価対象画素ＴＰとして選択される。

なお、対象画素特定線ＰＬの傾きが、Ｘ方向に対して４５度を超える場合には、上記説明において画素マトリクスの列と行との関係が逆転し、画素マトリクスの１つの行から１つの画素のみが評価対象画素ＴＰとして選択されることとなる。また、対象画像ＴＩと特定領域ＳＡとの大きさの関係によっては、１つの画素が複数の対象画素特定線ＰＬについての評価対象画素ＴＰとして選択される場合もある。

顔領域調整部２３０は、対象画素特定線ＰＬのそれぞれについて、評価対象画素ＴＰのＲ値の平均値を評価値として算出する。ただし、本実施例では、各対象画素特定線ＰＬについて、選択された複数の評価対象画素ＴＰの内、Ｒ値の大きい一部の画素を評価値の算出対象から除外するものとしている。具体的には、例えば、ある対象画素特定線ＰＬについてｋ個の評価対象画素ＴＰが選択された場合、評価対象画素ＴＰが、Ｒ値の比較的大きい０．７５ｋ個の画素により構成される第１グループと、比較的Ｒ値の小さい０．２５ｋ個の画素により構成される第２グループとの２グループに分けられ、第２グループに属する画素のみが評価値としてのＲ値の平均値の算出対象となる。このように一部の評価対象画素ＴＰを評価値の算出対象から除外する理由については後述する。

以上のように、本実施例では、顔領域調整部２３０により各対象画素特定線ＰＬについての評価値が算出される。ここで、対象画素特定線ＰＬは基準線ＲＬに直行する直線であるため、評価値は、基準線ＲＬに沿った複数の位置（評価位置）について算出されると表現することができる。また、評価値は、各評価位置について、基準線ＲＬに直行する方向に沿った画素値の分布の特徴を表す値と表現することができる。

Ｓ５１３（図１６）では、顔領域調整部２３０が、特定領域ＳＡにおける目の位置を検出し、検出結果に基づき高さ基準点Ｒｈを決定する。まず、顔領域調整部２３０は、図１８の右側に示すように、各分割特定領域について、基準線ＲＬに沿った評価値（Ｒ値の平均値）の分布を表す曲線を作成し、評価値が極小値をとる基準線ＲＬ方向に沿った位置を目の位置Ｅｈとして検出する。なお、左分割特定領域ＳＡ（ｌ）における目の位置ＥｈをＥｈ（ｌ）と表し、右分割特定領域ＳＡ（ｒ）における目の位置ＥｈをＥｈ（ｒ）と表わす。

黄色人種の場合、分割特定領域中の肌の画像を表す部分はＲ値が大きい一方、目（より詳細には目の中央の黒目部分）の画像を表す部分はＲ値が小さいと考えられる。そのため、上述のように、評価値（Ｒ値の平均値）が極小値をとる基準線ＲＬに沿った位置を目の位置Ｅｈと判断することが可能となる。但し、他の人種（白色人種や黒色人種）を対象とする場合には、他の評価値（例えば、輝度や明度やＢ値）が用いられる。

なお、図１８に示すように、分割特定領域には、目の画像以外にもＲ値の小さい他の画像（例えば、眉や髪の毛の画像）が含まれている場合もある。そのため、顔領域調整部２３０は、基準線ＲＬに沿った評価値の分布を表す曲線が複数の極小値をとる場合には、極小値をとる位置の内、最も下側の位置を目の位置Ｅｈと判断する。一般に、目の画像より上側には眉や髪の毛等のＲ値の小さい画像が位置することが多い一方、目の画像より下側にはＲ値の小さい画像が位置することが少ないと考えられることから、このような判断が可能となる。

また、上記曲線が、目の画像の位置よりも下側（主に肌の画像に対応した位置）であっても、評価値が大きいながらも極小値をとる可能性があるため、極小値の内、所定の閾値より大きいものは無視するものとしてもよい。あるいは、単純に、各対象画素特定線ＰＬについて算出された評価値の内の最小値に対応した対象画素特定線ＰＬの位置を目の位置Ｅｈとしてもよい。

なお、本実施例では、顔において周囲との色の差が比較的大きいと考えられる部位である目（目の中央の黒目部分）を顔領域ＦＡの位置調整の参照被写体として用いている。しかし、評価値としてのＲ値の平均値は、対象画素特定線ＰＬ上の複数の評価対象画素ＴＰを対象として算出されるため、例えば、黒目の周縁の白目部分の画像の影響により、黒目部分の検出の精度が低下する怖れがある。本実施例では、上述したように、参照被写体とは色の差が大きいと考えられる一部の評価対象画素ＴＰ（例えば上述した第１のグループに属する比較的Ｒ値の大きい画素）を評価値の算出対象から除外することにより、参照被写体の検出精度をより向上させている。

次に、顔領域調整部２３０は、検出された目の位置Ｅｈに基づき高さ基準点Ｒｈを決定する。図２０は、高さ基準点Ｒｈの決定方法の一例を示す説明図である。高さ基準点Ｒｈは、顔領域ＦＡの高さ方向の位置調整の際に、基準として用いられる点である。本実施例では、図２０に示すように、左右２つの目の位置Ｅｈ（ｌ）およびＥｈ（ｒ）の中間に位置する基準線ＲＬ上の点が高さ基準点Ｒｈとして設定される。すなわち、左の目の位置Ｅｈ（ｌ）を示す直線ＥｈＬ（ｌ）と基準線ＲＬとの交点と、右の目の位置Ｅｈ（ｒ）を示す直線ＥｈＬ（ｒ）と基準線ＲＬとの交点と、の中点が、高さ基準点Ｒｈとして設定される。

なお、本実施例では、顔領域調整部２３０が、検出された目の位置Ｅｈに基づき、顔画像の概略の傾き角（以下「概略傾き角ＲＩ」と呼ぶ）を算出するものとしている。顔画像の概略傾き角ＲＩは、対象画像ＴＩ中の顔の画像が、顔領域ＦＡの基準線ＲＬに対して概ねどれぐらい傾いているかを推定した角度である。図２１は、概略傾き角ＲＩの算出方法の一例を示す説明図である。図２１に示すように、顔領域調整部２３０は、まず、左分割特定領域ＳＡ（ｌ）の幅Ｗｓ（ｌ）を半分に分割する直線と直線ＥｈＬ（ｌ）との交点ＩＰ（ｌ）と、右分割特定領域ＳＡ（ｒ）の幅Ｗｓ（ｒ）を半分に分割する直線と直線ＥｈＬ（ｒ）との交点ＩＰ（ｒ）とを決定する。そして、交点ＩＰ（ｌ）と交点ＩＰ（ｒ）とを結ぶ直線に直交する直線ＩＬと、基準線ＲＬとのなす角が、概略傾き角ＲＩとして算出される。

Ｓ５１４（図１６）では、顔領域調整部２３０が、顔領域ＦＡの高さ方向の位置調整を行う。図２２は、顔領域ＦＡの高さ方向の位置調整方法の一例を示す説明図である。顔領域ＦＡの高さ方向の位置調整は、高さ基準点Ｒｈが、位置調整後の顔領域ＦＡにおける所定の位置に位置することとなるように、顔領域ＦＡを再設定することにより行う。具体的には、図２２に示すように、高さ基準点Ｒｈが、顔領域ＦＡの高さＨｆを所定の比率ｒ１対ｒ２で分けるような位置に位置することとなるように、顔領域ＦＡが基準線ＲＬに沿って上下に位置調整される。図２２の例では、破線で示した調整前の顔領域ＦＡを上方向に移動することにより、実線で示した調整後の顔領域ＦＡが再設定されている。

顔領域ＦＡの位置調整の後、Ｓ５２０（図１５）では、顔領域調整部２３０が、顔領域ＦＡの傾き調整（角度調整）を行う。ここで、顔領域ＦＡの傾き調整とは、対象画像ＴＩにおける顔領域ＦＡの傾きを顔の画像の傾きに適合するように調整して、顔領域ＦＡを再設定することを意味している。本実施例では、顔領域ＦＡの傾き調整を実行する際に参照する所定の参照被写体は、「両目」と設定されている。本実施例における顔領域ＦＡの傾き調整では、傾き調整の調整角度の選択肢を表す複数の評価方向が設定され、各評価方向に対応した評価特定領域ＥＳＡが両目の画像を含む領域として設定される。そして、各評価方向について評価特定領域ＥＳＡの画像の画素値に基づき評価値が算出され、評価値に基づき決定される傾き調整の調整角度を用いて顔領域ＦＡの傾きが調整される。

図２３は、本実施例における顔領域ＦＡの傾き調整処理の流れを示すフローチャートである。また、図２４は、顔領域ＦＡの傾き調整のための評価値の算出方法の一例を示す説明図である。Ｓ５２１（図２３）では、顔領域調整部２３０が、初期評価特定領域ＥＳＡ（０）を設定する。初期評価特定領域ＥＳＡ（０）は、顔領域ＦＡの位置調整後の基準線ＲＬ（図２２参照）と平行な方向（以下「初期評価方向」とも呼ぶ）に対応付けられた評価特定領域ＥＳＡである。本実施例では、位置調整後の顔領域ＦＡに対応した特定領域ＳＡ（図２２参照）が、そのまま初期評価特定領域ＥＳＡ（０）として設定される。なお、顔領域ＦＡの傾き調整における評価特定領域ＥＳＡは、顔領域ＦＡの位置調整時の特定領域ＳＡとは異なり、左右２つの領域に分割されることはない。図２４の最上段には、設定された初期評価特定領域ＥＳＡ（０）が示されている。

Ｓ５２２（図２３）では、顔領域調整部２３０が、複数の評価方向と各評価方向に対応した評価特定領域ＥＳＡとを設定する。複数の評価方向は、傾き調整の調整角度の選択肢を表す方向として設定される。本実施例では、基準線ＲＬとのなす角が所定の範囲内である複数の評価方向線ＥＬが設定され、評価方向線ＥＬと平行な方向が評価方向として設定される。図２４に示すように、基準線ＲＬを初期評価特定領域ＥＳＡ（０）の中心点（重心）ＣＰを中心として反時計回りおよび時計回りに所定の角度α刻みで回転させることにより定まる直線が、複数の評価方向線ＥＬとして設定される。なお、基準線ＲＬとのなす角がφ度である評価方向線ＥＬをＥＬ（φ）と表す。

本実施例では、上述した各評価方向線ＥＬと基準線ＲＬとのなす角についての所定の範囲は±２０度と設定される。ここで本明細書では、基準線ＲＬを時計回りに回転させたときの回転角は正の値で表され、基準線ＲＬを反時計回りに回転させたときの回転角は負の値で表される。顔領域調整部２３０は、基準線ＲＬを反時計回りおよび時計回りにα度、２α度・・・と２０度を超えない範囲で回転角を増加させつつ回転させ、複数の評価方向線ＥＬを設定する。図２４には、基準線ＲＬを−α度，−２α度，α度回転させることによりそれぞれ定まる評価方向線ＥＬ（ＥＬ（−α），ＥＬ（−２α），ＥＬ（α））が示されている。なお、基準線ＲＬは、評価方向線ＥＬ（０）とも表現できる。

各評価方向を表す評価方向線ＥＬに対応した評価特定領域ＥＳＡは、初期評価特定領域ＥＳＡ（０）を、中心点ＣＰを中心として、評価方向線ＥＬの設定時の回転角と同じ角度で回転させた領域である。評価方向線ＥＬ（φ）に対応した評価特定領域ＥＳＡは、評価特定領域ＥＳＡ（φ）と表される。図２４には、評価方向線ＥＬ（−α），ＥＬ（−２α），ＥＬ（α）のそれぞれに対応した評価特定領域ＥＳＡ（ＥＳＡ（−α），ＥＳＡ（−２α），ＥＳＡ（α））が示されている。なお、初期評価特定領域ＥＳＡ（０）も評価特定領域ＥＳＡの１つとして扱われるものとする。

Ｓ５２３（図２３）では、顔領域調整部２３０が、設定された複数の評価方向のそれぞれについて、評価特定領域ＥＳＡの画像の画素値に基づき評価値を算出する。本実施例では、顔領域ＦＡの傾き調整における評価値として、上述した顔領域ＦＡの位置調整における評価値と同様に、Ｒ値の平均値が用いられる。顔領域調整部２３０は、評価方向に沿った複数の評価位置についての評価値を算出する。

評価値の算出方法は、上述した顔領域ＦＡの位置調整における評価値の算出方法と同様である。すなわち、顔領域調整部２３０は、図２４に示すように、各評価特定領域ＥＳＡ内に、評価方向線ＥＬに直交する対象画素特定線ＰＬ１〜ＰＬｎを設定し、各対象画素特定線ＰＬ１〜ＰＬｎについて評価対象画素ＴＰを選択し、選択された評価対象画素ＴＰのＲ値の平均値を評価値として算出する。

評価特定領域ＥＳＡにおける対象画素特定線ＰＬの設定方法や評価対象画素ＴＰの選択方法は、領域を左右に分割するか否かの違いはあるものの、図１８および図１９に示した顔領域ＦＡの位置調整における方法と同様である。なお、顔領域ＦＡの位置調整時と同様に、選択された評価対象画素ＴＰの内の一部（例えばｋ個の評価対象画素ＴＰの内のＲ値の比較的大きい０．７５ｋ個の画素）を評価値の算出対象から除外するとしてもよい。図２４の右側には、各評価方向について、算出された評価値の評価方向線ＥＬに沿った分布を示している。

なお、対象画素特定線ＰＬは評価方向線ＥＬに直行する直線であるため、評価値は、評価方向線ＥＬに沿った複数の位置（評価位置）について算出されると表現することができる。また、評価値は、各評価位置について、評価方向線ＥＬに直行する方向に沿った画素値の分布の特徴を表す値と表現することができる。

Ｓ５２４（図２３）では、顔領域調整部２３０が、顔領域ＦＡの傾き調整に用いる調整角度を決定する。顔領域調整部２３０は、各評価方向について、Ｓ５２３において算出された評価値の評価方向線ＥＬに沿った分散を算出し、分散の値が最大となる評価方向を選択する。そして、選択された評価方向に対応した評価方向線ＥＬと基準線ＲＬとのなす角を、傾き調整に用いる調整角度として決定する。

図２５は、各評価方向についての評価値の分散の算出結果の一例を示す説明図である。図２５の例では、回転角が−α度である評価方向において、分散が最大値Ｖｍａｘをとる。従って、−α度、すなわち反時計回りにα度の回転角が、顔領域ＦＡの傾き調整に用いる調整角度として決定される。

評価値の分散の値が最大となるときの評価方向に対応した角度が傾き調整に用いる調整角度として決定される理由について説明する。図２４の上から２段目に示すように、回転角が−α度であるときの評価特定領域ＥＳＡ（−α）では、左右の目の中央部（黒目部分）の画像が、概ね対象画素特定線ＰＬに平行な方向（すなわち評価方向線ＥＬに直行する方向）に並ぶような配置となっている。また、このときには、左右の眉の画像も同様に、概ね評価方向線ＥＬに直行する方向に並ぶような配置となる。従って、このときの評価方向線ＥＬに対応した評価方向が、概ね顔の画像の傾きを表す方向であると考えられる。このときには、一般にＲ値が小さい目や眉の画像と一般にＲ値が大きい肌の部分の画像との位置関係が、対象画素特定線ＰＬの方向に沿って両者が重なる部分の小さい位置関係となる。そのため、目や眉の画像の位置における評価値は比較的小さくなり、肌の部分の画像の位置における評価値は比較的大きくなる。従って、評価方向線ＥＬに沿った評価値の分布は、図２４に示すように、比較的ばらつきの大きい（振幅の大きい）分布となり、分散の値は大きくなる。

一方、図２４中の最上段および３段目、４段目に示すように、回転角が０度，−２α度，α度であるときの評価特定領域ＥＳＡ（０），ＥＳＡ（−２α），ＥＳＡ（α）では、左右の目の中央部や左右の眉の画像が、評価方向線ＥＬに直行する方向に並ばず、ずれた配置となっている。従って、このときの評価方向線ＥＬに対応した評価方向は、顔の画像の傾きを表していはいない。このときには、目や眉の画像と肌の部分の画像との位置関係が、対象画素特定線ＰＬの方向に沿って両者が重なる部分の大きい位置関係となる。そのため、評価方向線ＥＬに沿った評価値の分布は、図２４に示すように、比較的ばらつきの小さい（振幅の小さい）分布となり、分散の値は小さくなる。

以上のように、評価方向が顔の画像の傾きの方向に近い場合には、評価方向線ＥＬに沿った評価値の分散の値が大きくなり、評価方向が顔の画像の傾きの方向から遠い場合には、評価方向線ＥＬに沿った評価値の分散の値が小さくなる。従って、評価値の分散の値が最大となるときの評価方向に対応した角度を傾き調整に用いる調整角度として決定すれば、顔領域ＦＡの傾きが顔の画像の傾きに適合するような顔領域ＦＡの傾き調整を実現することができる。

なお本実施例では、評価値の分散の算出結果が、角度の範囲の臨界値、すなわち−２０度または２０度において最大値をとるような結果となった場合には、顔の傾きが正確に評価されていない可能性が高いと考えられるため、顔領域ＦＡの傾き調整を行わないものとしている。

また本実施例では、決定された調整角度が、上述した顔領域ＦＡの位置調整の際に算出された概略傾き角ＲＩと比較される。調整角度と概略傾き角ＲＩとの差が所定の閾値より大きい場合には、顔領域ＦＡの位置調整および傾き調整における評価や決定の際に何らかの誤りが発生したと考えられるため、顔領域ＦＡの位置調整および傾き調整を行わないものとしている。

Ｓ５２５（図２３）では、顔領域調整部２３０が、顔領域ＦＡの傾き調整を行う。図２６は、顔領域ＦＡの傾き調整方法の一例を示す説明図である。顔領域ＦＡの傾き調整は、顔領域ＦＡを、初期評価特定領域ＥＳＡ（０）の中心点ＣＰを中心に、Ｓ５２４において決定された調整角度だけ回転させることにより行う。図２６の例では、破線で示した調整前の顔領域ＦＡを反時計回りにα度回転させることにより、実線で示した調整後の顔領域ＦＡが設定される。

顔領域ＦＡの傾き調整終了後のＳ５３０（図１５）では、変形領域設定部２４０（図２）が、変形領域ＴＡを設定する。変形領域ＴＡは、対象画像ＴＩ上の領域であって顔形状補正のための画像変形の対象となる領域である。図２７は、変形領域ＴＡの設定方法の一例を示す説明図である。図２７に示すように、本実施例では、変形領域ＴＡは、顔領域ＦＡを基準線ＲＬと平行な方向（高さ方向）および基準線ＲＬに直行する方向（幅方向）に伸張（または短縮）した領域として設定される。具体的には、顔領域ＦＡの高さ方向の大きさをＨｆ、幅方向の大きさをＷｆｉとすると、顔領域ＦＡを、上方向にｋ１・Ｈｆ、下方向にｋ２・Ｈｆだけ伸ばすと共に、左右にそれぞれｋ３・Ｗｆｉだけ伸ばした領域が、変形領域ＴＡとして設定される。なお、ｋ１，ｋ２，ｋ３は、所定の係数である。

このように変形領域ＴＡが設定されると、顔領域ＦＡの高さ方向の輪郭線に平行な直線である基準線ＲＬは、変形領域ＴＡの高さ方向の輪郭線にも平行な直線となる。また、基準線ＲＬは、変形領域ＴＡの幅を半分に分割する直線となる。

図２７に示すように、変形領域ＴＡは、高さ方向に関しては、概ね顎から額までの画像を含み、幅方向に関しては、左右の頬の画像を含むような領域として設定される。すなわち、本実施例では、変形領域ＴＡが概ねそのような範囲の画像を含む領域となるように、顔領域ＦＡの大きさとの関係に基づき、上述の係数ｋ１，ｋ２，ｋ３が予め設定されている。

Ｓ６００（図８）では、上記設定された変形領域ＴＡを対象とした変形処理が行われる。本実施例においては、上記Ｓ１２０で取得した比率情報に基づいて、変形領域ＴＡ内の画像の幅方向（基準線ＲＬと直交する方向）のサイズを圧縮するように変形処理する。
図２８は、変形処理の流れを示すフローチャートである。Ｓ６１０では、変形領域分割部２５０（図２）が、変形領域ＴＡを複数の小領域に分割する。
図２９は、変形領域ＴＡの小領域への分割方法の一例を示す説明図である。変形領域分割部２５０は、変形領域ＴＡに複数の分割点Ｄを配置し、分割点Ｄを結ぶ直線を用いて変形領域ＴＡを複数の小領域に分割する。分割点Ｄの配置の態様（分割点Ｄの個数および位置）は、分割点配置パターンテーブル４１０（図２）により定義されている。変形領域分割部２５０は、分割点配置パターンテーブル４１０を参照して分割点Ｄを配置する。

図２９に示すように、一例として、分割点Ｄは水平分割線Ｌｈと垂直分割線Ｌｖとの交点と、水平分割線Ｌｈおよび垂直分割線Ｌｖと変形領域ＴＡの外枠との交点とに配置される。ここで、水平分割線Ｌｈおよび垂直分割線Ｌｖは、変形領域ＴＡ内に分割点Ｄを配置するための基準となる線である。図２９に示した分割点Ｄの配置では、基準線ＲＬと直行する２本の水平分割線Ｌｈと、基準線ＲＬに平行な４本の垂直分割線Ｌｖとが設定される。２本の水平分割線Ｌｈを、変形領域ＴＡの下方から順に、Ｌｈ１，Ｌｈ２と呼ぶ。また、４本の垂直分割線Ｌｖを、変形領域ＴＡの左から順に、Ｌｖ１，Ｌｖ２，Ｌｖ３，Ｌｖ４と呼ぶ。

水平分割線Ｌｈ１は、変形領域ＴＡにおいて、顎の画像より下方に配置され、水平分割線Ｌｈ２は、目の画像のすぐ下付近に配置される。また、垂直分割線Ｌｖ１およびＬｖ４は、頬のラインの画像の外側に配置され、垂直分割線Ｌｖ２およびＬｖ３は、目尻の画像の外側に配置される。なお、水平分割線Ｌｈおよび垂直分割線Ｌｖの配置は、水平分割線Ｌｈおよび垂直分割線Ｌｖと画像との位置関係が結果的に上述の位置関係となるように予め設定された変形領域ＴＡの大きさとの対応関係に従い実行される。

上述した水平分割線Ｌｈと垂直分割線Ｌｖとの配置に従い、水平分割線Ｌｈと垂直分割線Ｌｖとの交点と、水平分割線Ｌｈおよび垂直分割線Ｌｖと変形領域ＴＡの外枠との交点とに、分割点Ｄが配置される。図２９に示すように、水平分割線Ｌｈｉ（ｉ＝１または２）上に位置する分割点Ｄを、左から順に、Ｄ０ｉ，Ｄ１ｉ，Ｄ２ｉ，Ｄ３ｉ，Ｄ４ｉ，Ｄ５ｉと呼ぶものとする。例えば、水平分割線Ｌｈ１上に位置する分割点Ｄは、Ｄ０１，Ｄ１１，Ｄ２１，Ｄ３１，Ｄ４１，Ｄ５１と呼ばれる。同様に、垂直分割線Ｌｖｊ（ｊ＝１，２，３，４のいずれか）上に位置する分割点Ｄを、下から順に、Ｄｊ０，Ｄｊ１，Ｄｊ２，Ｄｊ３と呼ぶものとする。例えば、垂直分割線Ｌｖ１上に位置する分割点Ｄは、Ｄ１０，Ｄ１１，Ｄ１２，Ｄ１３と呼ばれる。

なお、図２９に示すように、本実施例における分割点Ｄの配置は、基準線ＲＬに対して対称の配置となっている。

変形領域分割部２５０は、配置された分割点Ｄを結ぶ直線（すなわち水平分割線Ｌｈおよび垂直分割線Ｌｖ）により、変形領域ＴＡを複数の小領域に分割する。本実施例では、図２９に示すように、変形領域ＴＡが１５個の矩形の小領域に分割される。

なお本実施例では、分割点Ｄの配置は、水平分割線Ｌｈおよび垂直分割線Ｌｖの本数および位置により定まるため、分割点配置パターンテーブル４１０は水平分割線Ｌｈおよび垂直分割線Ｌｖの本数および位置を定義していると言い換えることも可能である。

Ｓ６２０（図２８）では、分割領域変形部２６０（図２）が、対象画像ＴＩの変形領域ＴＡを対象とした画像の変形処理を行う。分割領域変形部２６０による変形処理は、Ｓ６１０で変形領域ＴＡ内に配置された分割点Ｄの位置を移動して、小領域を変形することにより行われる。

図３０は、分割点Ｄの位置移動の一例を示す説明図である。本実施例では、分割領域変形部２６０は、基準線ＲＬを挟んで対称の関係にある分割点Ｄ間のＨ方向（基準線ＲＬに直交する方向）の距離を、上記Ｓ１２０で取得した比率情報が示す比率（比率Ｒと呼ぶ）に基づいて移動させる。例えば、基準線ＲＬを挟んで対称の関係にある分割点Ｄ１１と分割点Ｄ４１とのＨ方向の距離（画素数）がＷ１であるとすると、移動後の分割点Ｄ１１（Ｄ’１１と呼ぶ）と移動後の分割点Ｄ４１（分割点Ｄ’４１と呼ぶ）とのＨ方向の距離（画素数）がＲ・Ｗ１となるように、分割点Ｄ１１，Ｄ４１をそれぞれＨ方向に沿って基準線ＲＬに近づく方向に移動させる。同様に、基準線ＲＬを挟んで対称の関係にある分割点Ｄ２１と分割点Ｄ３１との組、分割点Ｄ１２と分割点４２との組、についても夫々に組を構成する２点間のＨ方向の距離を、上記比率Ｒに応じて短縮させる移動を行う。なお本実施例では、基準線ＲＬと平行な方向（Ｖ方向）への分割点Ｄの移動は行わない。

本実施例では、変形領域ＴＡの内外の画像間の境界が不自然とならないように、変形領域ＴＡの外枠上に位置する分割点Ｄ（例えば図２９に示す分割点Ｄ１０等）の位置は移動されないものとしている。図３０では、移動前の分割点Ｄは白抜きの丸で、移動後の分割点Ｄや位置の移動の無い分割点Ｄは黒丸で示されている。移動後の各分割点Ｄについては、「’」を付して表現している。

なお、本実施例では、基準線ＲＬに対して対称な位置関係にある２つの分割点Ｄの組み合わせ（例えば分割点Ｄ１１とＤ４１との組み合わせ）のすべてが、分割点Ｄの移動後も、基準線ＲＬに対して対称な位置関係を維持するように移動を行う。

分割領域変形部２６０は、変形領域ＴＡを構成する各小領域について、分割点Ｄの位置移動前の状態における小領域の画像が、分割点Ｄの位置移動により新たに定義された小領域の画像となるように、画像の変形処理を行う。例えば、図３０において、分割点Ｄ１１，Ｄ２１，Ｄ２２，Ｄ１２を頂点とする小領域（ハッチングを付して示す小領域）の画像は、分割点Ｄ’１１，Ｄ’２１，Ｄ２２，Ｄ’１２を頂点とする小領域の画像に変形される。

図３１は、分割領域変形部２６０による画像の変形処理方法の概念を示す説明図である。図３１では、分割点Ｄを黒丸で示している。図３１では、説明を簡略化するために、４つの小領域について、左側に分割点Ｄの位置移動前の状態を、右側に分割点Ｄの位置移動後の状態を、それぞれ示している。図３１の例では、中央の分割点Ｄａが分割点Ｄａ’の位置に移動され、その他の分割点Ｄの位置は移動されない。これにより、例えば、分割点Ｄの移動前の分割点Ｄａ，Ｄｂ，Ｄｃ，Ｄｄを頂点とする矩形の小領域（以下「変形前注目小領域ＢＳＡ」とも呼ぶ）の画像は、分割点Ｄａ’，Ｄｂ，Ｄｃ，Ｄｄを頂点とする矩形の小領域（以下「変形後注目小領域ＡＳＡ」とも呼ぶ）の画像に変形される。

本実施例では、矩形の小領域を小領域の重心ＣＧを用いて４つの三角形領域に分割し、三角形領域単位で画像の変形処理を行っている。図３１の例では、変形前注目小領域ＢＳＡが、変形前注目小領域ＢＳＡの重心ＣＧを頂点の１つとする４つの三角形領域に分割される。同様に、変形後注目小領域ＡＳＡが、変形後注目小領域ＡＳＡの重心ＣＧ’を頂点の１つとする４つの三角形領域に分割される。そして、分割点Ｄａの移動前後のそれぞれの状態において対応する三角形領域毎に、画像の変形処理が行われる。例えば、変形前注目小領域ＢＳＡ中の分割点Ｄａ，Ｄｄおよび重心ＣＧを頂点とする三角形領域の画像が、変形後注目小領域ＡＳＡ中の分割点Ｄａ’，Ｄｄおよび重心ＣＧ’を頂点とする三角形領域の画像に変形される。

図３２は、三角形領域における画像の変形処理方法の概念を示す説明図である。図３２の例では、点ｓ，ｔ，ｕを頂点とする三角形領域ｓｔｕの画像が、点ｓ’，ｔ’，ｕ’を頂点とする三角形領域ｓ’ｔ’ｕ’の画像に変形される。画像の変形は、変形後の三角形領域ｓ’ｔ’ｕ’の画像中のある画素の位置が、変形前の三角形領域ｓｔｕの画像中のどの位置に相当するかを算出し、算出された位置における変形前の画像における画素値を変形後の画像の画素値とすることにより行う。

例えば、図３２において、変形後の三角形領域ｓ’ｔ’ｕ’の画像中の注目画素ｐ’の位置は、変形前の三角形領域ｓｔｕの画像中の位置ｐに相当するものとする。位置ｐの算出は、以下のように行う。まず、注目画素ｐ’の位置を、下記の式（４）のようにベクトルｓ’ｔ’とベクトルｓ’ｕ’との和で表現するための係数ｍ１およびｍ２を算出する。

次に、算出された係数ｍ１およびｍ２を用いて、下記の式（５）により、変形前の三角形領域ｓｔｕにおけるベクトルｓｔとベクトルｓｕとの和を算出することにより、位置ｐが求まる。

変形前の三角形領域ｓｔｕにおける位置ｐが、変形前の画像の画素中心位置に一致した場合には、当該画素の画素値が変形後の画像の画素値とされる。一方、変形前の三角形領域ｓｔｕにおける位置ｐが、変形前の画像の画素中心位置からはずれた位置となった場合には、位置ｐの周囲の画素の画素値を用いたバイキュービック等の補間演算により、位置ｐにおける画素値を算出し、算出された画素値が変形後の画像の画素値とされる。

変形後の三角形領域ｓ’ｔ’ｕ’の画像中の各画素について上述のように画素値を算出することにより、三角形領域ｓｔｕの画像から三角形領域ｓ’ｔ’ｕ’の画像への画像変形処理を行うことができる。分割領域変形部２６０は、図３０に示した変形領域ＴＡを構成する各小領域について、上述したように三角形領域を定義して変形処理を行い、変形領域ＴＡにおける画像変形処理を行う。

ここで、本実施例の顔形状補正の態様についてより詳細に説明する。本実施例では、基準線ＲＬと直交する方向（Ｈ方向）に関し、垂直分割線Ｌｖ１上に配置された分割点Ｄ（Ｄ１１，Ｄ１２）の位置は右方向に移動され、垂直分割線Ｌｖ４上に配置された分割点Ｄ（Ｄ４１，Ｄ４２）の位置は左方向に移動される（図３０参照）。さらに、垂直分割線Ｌｖ２上に配置された２つの分割点Ｄの内、水平分割線Ｌｈ１上に配置された分割点Ｄ（Ｄ２１）の位置は右方向に移動され、垂直分割線Ｌｖ３上に配置された２つの分割点Ｄの内、水平分割線Ｌｈ１上に配置された分割点Ｄ（Ｄ３１）の位置は左方向に移動される（図３０参照）。従って、垂直分割線Ｌｖ１より左側に位置する画像は、Ｈ方向に関して右側に拡大され、垂直分割線Ｌｖ４より右側に位置する画像は、左側に拡大される。また、垂直分割線Ｌｖ１と垂直分割線Ｌｖ２との間に位置する画像は、Ｈ方向に関して縮小または右側に移動され、垂直分割線Ｌｖ３と垂直分割線Ｌｖ４との間に位置する画像は、Ｈ方向に関して縮小または左側に移動される。さらに、垂直分割線Ｌｖ２と垂直分割線Ｌｖ３との間に位置する画像は、水平分割線Ｌｈ１の位置を中心にＨ方向に関して縮小される。

上述したように、垂直分割線Ｌｖ１およびＬｖ４は、頬のラインの画像の外側に配置され、垂直分割線Ｌｖ２およびＬｖ３は、目尻の画像の外側に配置される。そのため、上記顔形状補正では、顔の画像の内、両目尻より外側の部分の画像が全体的にＨ方向に縮小される。この結果、画像中の顔の形状は、全体的に顔の幅方向に細くなる。

分割点Ｄ２２，Ｄ３２，Ｄ３３，Ｄ２３を頂点とする小領域は、上述した水平分割線Ｌｈ２や垂直分割線Ｌｖ２およびＬｖ３の配置方法によると、両目の画像を含む領域となる（図２９参照）。図３０に示すように、分割点Ｄ２２およびＤ３２は移動されないため、この両目の画像を含む小領域は変形されない。このように両目の画像を含む小領域については変形しないことにより、顔形状補正後の画像がより自然で好ましいものとなるようにしている。

ただし、人は、撮像された被写体の画像を観察すると被写体を直接観察したときと比較して横幅が広い印象を受けるという事情に鑑みれば、分割点Ｄ２２，Ｄ３２についても移動するようにしてもよい。つまり、分割点Ｄ２２と分割点Ｄ３３との組についても、両点間のＨ方向の距離を上記比率ｒに応じて短縮させる移動を行うとしてもよい。また、水平分割線Ｌｈ２については、目の画像よりも上側（例えば、眉毛の上付近の位置）に配置し、かかる水平分割線Ｌｈ２上の分割点Ｄ１２，２２，３２，４２を上述したように移動させるとしてもよい。このように、分割点Ｄ２２，Ｄ３２についても基準線ＲＬに近づくように移動させたり、水平分割点Ｌｈ２の位置を高くすることで、顔の横幅をより全体的に細める変形を行うことができる。

Ｓ２００（図７）では、顔形状補正部２００が、顔形状補正後の対象画像ＴＩを表示部１５０に表示するよう表示処理部３１０に指示する。図１３は、顔形状補正後の対象画像ＴＩが表示された表示部１５０の状態の一例を示す説明図である。顔形状補正後の対象画像ＴＩが表示された表示部１５０により、ユーザは、補正結果を確認することができる。ユーザが補正結果に満足し「印刷」ボタンを選択した場合には、以下の補正画像印刷処理（Ｓ３００）が開始される。ユーザが補正結果に満足せず「戻る」ボタンを選択した場合には、例えば表示部１５０に図６に示したインターフェース画面を表示し、ユーザに通常印刷を選択可能にさせる等してもよい。なおＳ２００の処理は必須ではなく、Ｓ１００の処理後、当該Ｓ２００を飛ばして以下のＳ３００の処理に移っても良い。

Ｓ３００（図７）では、印刷処理部３２０が、プリンタエンジン１６０を制御して、顔形状補正処理後の対象画像ＴＩの印刷を行う。印刷処理部３２０は、顔形状補正処理後の対象画像ＴＩの画像データに、解像度変換やハーフトーン処理などの処理を施して印刷データを生成する。生成された印刷データは、印刷処理部３２０からプリンタエンジン１６０に供給され、プリンタエンジン１６０は対象画像ＴＩの印刷を実行する。これにより、顔形状補正後の対象画像ＴＩの印刷が完了する。

このように本実施例によれば、対象画像ＴＩの撮像の際のレンズ５０２から被写体までの距離（被写体距離Ｓｄ）と被写体の大きさの情報等を用いて、被写体距離Ｓｄから単眼（レンズ５０２）を介して捉えられる被写体の大きさ（単眼知覚サイズＳＭ）と同被写体距離Ｓｄから人間の左右の眼によって知覚される被写体の大きさ（両眼知覚サイズＳＢ）との比率を算出し、当該算出した比率に応じて対象画像ＴＩ上の被写体を横幅方向に圧縮するように変形処理する。その結果、人が被写体を直接観察したときに受ける印象と極めて近い形状となった被写体を含む対象画像を得る（例えば、印刷結果として）ことができる。

（２）他の実施例：
上記Ｓ１２０（図８）の処理においては、比率情報取得部３５０が、被写体距離Ｓｄ、顔の幅Ｗｆ、両眼距離情報ＤＥ、といった各種値を用いて、その都度比率情報を計算するとした。ただしプリンタ１００は、上記ＳｄとＷｆとの任意の組み合わせに応じた比率情報を読み出し可能なテーブル（比率規定テーブル４２０）を予め持ち、上記Ｓ１２０では、比率規定テーブル４２０を参照して比率情報を取得するとしてもよい。

図１２は、比率情報テーブル４２０の一例を示している。同図では、複数の被写体距離Ｓｄ毎の、被写体ＯＢの半径ｒと比率情報（比率Ｒ）との対応関係を規定したテーブルＦ１，Ｆ２，Ｆ３，Ｆ４，Ｆ５を示している。テーブルＦ１は、Ｓｄ＝０．５ｍの場合の半径ｒと比率Ｒとの対応関係を規定し、テーブルＦ２は、Ｓｄ＝１．０ｍの場合の半径ｒと比率Ｒとの対応関係を規定し、テーブルＦ３は、Ｓｄ＝２．０ｍの場合の半径ｒと比率Ｒとの対応関係を規定し、テーブルＦ４は、Ｓｄ＝５．０ｍの場合の半径ｒと比率Ｒとの対応関係を規定し、テーブルＦ５は、Ｓｄ＝１０ｍの場合の半径ｒと比率Ｒとの対応関係を規定している。このようなテーブルＦ１〜Ｆ５は、各種半径ｒと被写体距離Ｓｄとの組み合わせと、固定値としての両眼距離情報ＤＥおよび上記距離ｄ１と、を用いた計算によって予め得ることができる。そこで、プリンタ１００は、かかるテーブルＦ１〜Ｆ５からなる比率情報テーブル４２０を予め生成して内部メモリ１２０に格納しておくか、あるいは、外部の機器（例えば、コンピュータ）によって生成された比率情報テーブル４２０を当該外部の機器から取得して内部メモリ１２０に格納する。

この結果、上記Ｓ１２０では、比率情報取得部３５０が、比率情報テーブル４２０を参照することにより、対象画像ＴＩの画像ファイルから取得した被写体距離Ｓｄおよび顔の幅Ｗｆに応じた（被写体距離Ｓｄおよび顔の幅Ｗｆ／２に応じた）比率情報（比率Ｒ）を、直接的にあるいは必要に応じて補間演算を行うことにより、取得することが可能となる。

説明したように、単眼知覚サイズＳＭに対する両眼知覚サイズＳＢの比率は、被写体距離Ｓｄや被写体の大きさによって変化する値である。ここで、一つの被写体であってもその部位毎に大きさは異なる場合がある。従って、ある被写体の画像を観察したときの印象と、同じ被写体を直接観察したときの印象との違いは、被写体の部位毎に異なると言える。人が実物を見たときに受ける印象と略同じ形状の画像を変形処理によって生成するという本発明の観点に立てば、被写体中のサイズの違う部位毎に、各部位のサイズに応じた比率情報に基づいて変形処理を行なったほうが、より好ましい。そこで本発明の他の実施例として、上記Ｓ１２０において比率情報取得部３５０は、被写体の部位毎に、異なる比率情報を取得する。

被写体としての人物においては、顔よりも首の方が細いのが通常である。図１２の比率情報テーブル４２０から明らかなように、観察の対象となる被写体のサイズが小さいほど、単眼知覚サイズＳＭに対する両眼知覚サイズＳＢの比率は小さくなると言える。そのため、人物の画像を観察したときに感じる印象も顔部分に対する印象と首部分に対する印象とでは異なり、実物と比較して特に人物の首部分が太いと感じることも多かった。
そこで一例として、比率情報取得部３５０は、対象画像ＴＩの画像ファイルから取得した被写体距離Ｓｄおよび顔の幅Ｗｆに応じた比率情報を取得するとともに、被写体距離Ｓｄおよび首の幅Ｗｎに応じた比率情報をも取得する。

首の幅Ｗｎの値については、プリンタ１００が、人の首の幅として典型的な数値（例えば、１２０ｍｍ）を、予め内部メモリ１２０に保持していても良い。あるいは、ＤＳＣ５００の側において、人の首の幅として典型的な数値を保持しておき、画像ファイルの生成処理（図３）の際に、当該数値を付加データとして画像ファイルに含ませるとしてもよい。比率情報取得部３５０は、内部メモリ１２０の所定領域から、あるいは画像ファイルから、首の幅Ｗｎの値を読み出す。その結果、比率情報取得部３５０は、顔の幅Ｗｆ／２を被写体ＯＢの半径ｒとした場合の比率情報（比率Ｒｆと呼ぶ）に加え、首の幅Ｗｎ／２を被写体ＯＢの半径ｒとした場合の比率情報（比率Ｒｎと呼ぶ）を、上述した計算方法によって、あるいは比率情報テーブル４２０を参照することによって、取得することが可能となる。

このように、比率Ｒｆおよび比率Ｒｎが取得された場合、上記Ｓ６００の変形処理では、変形領域ＴＡ内における被写体の各部位に対応した領域毎に、異なる比率Ｒｆ，Ｒｎに基づいた画像変形を行う。比率Ｒｆ，Ｒｎを用いた変形処理を行なう前提として、変形領域ＴＡの設定処理（図１５のＳ５３０）および分割点Ｄの配置処理（図２８のＳ６１０）も、以下に説明するように、上記第１の実施例と異なる。

図３３は、当該他の実施例において変形領域設定部２４０がＳ５３０で設定する変形領域ＴＡの例を示している。同図の変形領域ＴＡは、第１の実施例と同様に、係数ｋ１，ｋ２，ｋ３を用いて顔領域ＦＡの高さ方向の大きさおよび幅方向の大きさを、基準線ＲＬと平行な方向および基準線ＲＬに直行する方向に伸張することにより設定される。図３３の変形領域ＴＡは、幅方向に関しては左右の頬の画像を含み、高さ方向に関しては、概ね肩の高さから額までの画像を含むような領域として設定されている。つまり、顔領域ＦＡの上方向への伸張に作用する係数ｋ１および、顔領域ＦＡの左右への伸張に作用する係数ｋ３については、第１の実施例で用いられた数値と同じであるが、顔領域ＦＡの下方向への伸張に作用する係数２については、変形領域ＴＡの下のラインがほぼ肩の位置となるような値に設定されている。

また、図３３では、変形領域分割部２５０がＳ６１０で変形領域ＴＡに対して設定する水平分割線Ｌｈ、垂直分割線Ｌｖおよび各分割点Ｄも例示している。
図３３に示した例では、図２９に示した例と異なり、下方から順に３本の水平分割線Ｌｈ１，Ｌｈ２，Ｌｈ３が設定されている。水平分割線Ｌｈ２は、変形領域ＴＡにおいて、顎の先端付近の画像位置に配置され、水平分割線Ｌｈ３は、目の画像のすぐ下付近に配置される。また、水平分割線Ｌｈ１は、顎と肩の間であって首を横切る位置に配置されている。垂直分割線Ｌｖ１およびＬｖ４が頬のラインの画像の外側に配置され、垂直分割線Ｌｖ２およびＬｖ３が目尻の画像の外側に配置される点は、図２９の例と同様である。水平分割線Ｌｈおよび垂直分割線Ｌｖの配置は、水平分割線Ｌｈおよび垂直分割線Ｌｖと画像との位置関係が結果的に上述の位置関係となるように予め設定された変形領域ＴＡの大きさとの対応関係に従い実行される。
当該他の実施例では、図３３のように分割点Ｄが配置された変形領域ＴＡを対象として、分割領域変形部２６０がＳ６２０において、比率Ｒｆまたは比率Ｒｎに基づいて分割点Ｄを移動させる。

図３４は、分割点Ｄの位置移動の一例を示す説明図である。図３４においても、移動前の分割点Ｄを白抜きの丸で、移動後の分割点Ｄや位置の移動の無い分割点Ｄを黒丸で示している。移動後の各分割点Ｄについては、「’」を付して表現している。
当該他の実施例においても、分割領域変形部２６０は、基準線ＲＬを挟んで対称の関係にある分割点Ｄ間のＨ方向の距離をＳ１２０で取得した比率に基づいて移動させるが、適用する比率を移動対象となる分割点Ｄの高さ位置に応じて異ならせている。例えば、水平分割線Ｌｈ２上に位置する分割点Ｄ１２，Ｄ４２の組、分割点Ｄ２２，Ｄ３２の組、および水平分割線Ｌｈ３上に位置する分割点Ｄ１３，Ｄ４３の組、については、被写体距離Ｓｄおよび顔の幅Ｗｆ／２に応じて決定された上記比率Ｒｆに応じて、組を構成する２点間のＨ方向の距離を短縮させる移動を行う。一方、首を横切る水平分割線Ｌｈ１上に位置する分割点Ｄ１１，Ｄ４１の組、分割点Ｄ２１，Ｄ３１の組、については、被写体距離Ｓｄおよび首の幅Ｗｎ／２に応じて決定された上記比率Ｒｎに基づいて、組を構成する２点間のＨ方向の距離を短縮させる移動を行う。Ｖ方向への分割点Ｄの移動は行わない。

分割領域変形部２６０が、変形領域ＴＡを構成する各小領域について、分割点Ｄの位置移動前の状態における小領域の画像が、分割点Ｄの位置移動により新たに定義された小領域の画像となるように画像の変形処理を行う点は、第１の実施例と同様である。

このように当該他の実施例では、顔を横切る水平分割線Ｌｈ３上および顔（顎）の直ぐ下を横切る水平分割線Ｌｈ２上に位置する分割点Ｄ間の距離の圧縮には、上記比率Ｒｆを用い、顔よりも細い首を横切る水平分割点Ｌｈ１上に位置する分割点Ｄ間の距離の縮小には上記比率Ｒｎを用いる。被写体距離Ｓｄにもよるが、基本的には、比率Ｒｆ＞比率Ｒｎの関係が成り立つ。従って、当該他の実施例の変形処理によれば、画像中の顔の形状および首の形状はそれぞれ幅方向に細くなり、かつ、顔よりも首の方が高い圧縮率にて細くなる。

このように、変形処理の対象となる被写体におけるサイズの異なる部位毎に比率情報を取得し、異なる各比率情報に基づいて被写体のサイズの異なる部位毎の変形処理を行なうことにより、人が被写体を直接観察したときに受ける印象と極めて近い形状となった被写体を含む対象画像を得ることができる。特に、顔より一般的に細い首については、撮像された画像を観察したときに、実物を観察したときの印象と比べて太いと感じる程度が顔よりも大きいが、上記構成を採用すれば、そのような違和感を生じさせない画像が得られる。

なお図３３，３４に示した変形領域ＴＡの設定態様、分割線の配置態様、各分割点Ｄの移動態様はあくまで一例である。例えば、図３３，３４に示したものよりも水平分割線Ｌｈの本数を増やし、被写体を高さ方向においてより細かく分割し、それぞれの水平分割線Ｌｈ上の分割点Ｄの移動量を、各水平分割線Ｌｈが対応する部位のサイズに応じてより細かく設定するとしてもよい。さらに、変形領域ＴＡの範囲を人物全体を含む範囲にまで拡大して設定してもよい。そして、顔、首、胴体といった夫々大きさ（横幅）が異なる部位毎に取得した各比率Ｒに応じて、各部位の幅方向における変形（圧縮）を行うとしてもよい。

ＤＳＣ５００による被写体距離Ｓｄの取得は、上述した式（１）〜（３）を用いた被写体距離Ｓｄを推定する手法に限られず、以下のように行ってもよい。
例えば、画像生成部６１０は、準備画像を取得する際、レンズ駆動部５０４、レンズ駆動制御部５０６を制御してレンズ５０２を移動させて、焦点（ピント）の位置をＤＳＣ５００の近い位置から遠い位置へと徐々に移動させるとともに、当該移動の過程において、複数の準備画像を取得する。被写体距離推定部６３０は、各準備画像の顔領域ＦＡ（顔領域検出部６２０によって検出した顔領域ＦＡ）における鮮鋭度（シャープネス）を計測する。鮮鋭度は、例えば、画像の空間周波数成分を計測することにより得られる。

ここで、レンズ５０２から焦点の位置までのおよその距離というものは、上記のように移動するレンズ５０２の各状態（各位置）に応じて変化する値であるため、内部メモリ６００には、レンズ５０２から焦点の位置までの距離とレンズ５０２の各状態（各位置）との対応関係を規定したテーブルデータを予め格納しておく。そして、被写体距離推定部６３０は、上記複数の準備画像のうち、顔領域ＦＡの鮮鋭度が最も高い準備画像を特定し、当該特定した準備画像を取得した際のレンズ５０２の状態（位置）に対応する距離（レンズ５０２から焦点の位置までの距離）を、上記予め格納されたテーブルデータから読み出す。そして、当該読み出した距離を被写体距離Ｓｄとする。つまり、顔領域ＦＡの鮮鋭度が最も高かった準備画像は、被写体にピントが合っている準備画像と言えるため、当該準備画像を取得した際のレンズ５０２から焦点の位置までの距離は、被写体距離Ｓｄをおよそ表していると言えるからである。

さらに、情報取得部６４０は、被写体の実の大きさ（人物Ｐの顔の幅Ｗｆ）の値を、内部メモリ６００に予め格納された情報として取得するのではなく、上記のようにレンズ５０２の状態に応じて取得した被写体距離Ｓｄに基づいて、決定するとしてもよい。具体的には、取得した被写体距離Ｓｄと、準備画像における画像全体の幅Ｗｗｉに対する顔領域ＦＡの幅Ｗｆｉの比と、に基づいて顔の幅Ｗｆを決定する。この場合、内部メモリ６００には、例えば、複数の被写体距離Ｓｄから夫々ある共通の大きさのサンプル物体（例えば横幅１ｍの物体）を撮像したときに得られた各撮像結果における、画像全体の幅に対するサンプル物体の画像の幅が占める比、というような情報（基準情報）を予め備えておき、かかる基準情報と、取得した被写体距離Ｓｄと、準備画像における画像全体の幅Ｗｗｉに対する顔領域ＦＡの幅Ｗｆｉの比と、に基づいて人物Ｐの顔の幅Ｗｆの値を算出する。
このように被写体距離推定部６３０が取得した被写体距離Ｓｄや、情報取得部６４０が取得した人物Ｐの顔の幅Ｗｆは、付加データとして画像ファイルに付加される。

上記では、被写体距離Ｓｄを取得する被写体として人物（人物の顔）を採用しているが、被写体としては人物の顔以外の任意の被写体を採用可能である。例えば、ボールや車両、建築物、製造機器等、対象画像（準備画像）からの検出が可能である。また、対象画像（準備画像）から被写体を検出する方法としては、任意の方法を採用可能である。

また、図６に示したインターフェース画面においては、通常印刷と顔形状補正印刷とを選択可能としているが、かかる選択肢を廃し、ユーザが対象画像ＴＩを選択して印刷実行を指示したら顔形状補正を伴う印刷処理がなされるとしてもよい。なお、上記各実施例では、本発明における画像変形を適宜「顔形状補正」と呼んでいるが、これは対象となる被写体が多くの場合人の顔だからである。実際の処理は「顔形状」の補正に限られないことは、被写体が人の顔以外のボールや車両、建築物、製造機器等であり得ることからも、明らかである。

これまでは、図３のフローチャートに示した処理をＤＳＣ５００が実行し、図７のフローチャートに示した処理をプリンタ１００が実行するという前提で説明を行ったが、ＤＳＣ５００が、プリンタ１００が行う処理の一部を行うとしてもよいし、逆に、プリンタ１００が、ＤＳＣ５００が行う処理の一部を行なうとしてもよい。

例えば、ＤＳＣ５００の側において、図７のフローチャートのＳ１００の処理をも実行可能であってもよい。ＤＳＣ５００は、プリンタ１００の、顔形状補正部２００、比率情報取得部３５０の各機能と同じ機能を持つプログラム（顔形状補正部６６０、比率情報取得部６７０）を、内部メモリ６００に格納しているものとする（図１参照）。この場合、ＤＳＣ５００は、上記Ｓ８５０において生成した画像ファイル内の画像データについて、ユーザからの指示に応じて、あるいは、ユーザからの指示を待つことなく自動的に、上記Ｓ１００の処理対象とする。その結果、画像中の被写体がユーザが当該被写体を直接見たときの印象に近い形状に変形された画像データが得られ、ＤＳＣ５００では、当該得られた画像データを画像ファイルとしてメモリーカードＭＣ等に保存することができる。

あるいは、プリンタ１００の側において、ＤＳＣ５００の被写体距離推定部６３０の機能と同じ機能を持つプログラム（被写体距離推定部３３０）を、内部メモリ１２０に格納し（図２参照）、上記説明したＤＳＣ５００側の処理の一部を行なうとしてもよい。
まずプリンタ１００は、メモリーカードＭＣ等を介して外部から入力した画像ファイルのいずれか一つを対象画像ＴＩとして設定する（図８のＳ１１０）。次に、プリンタ１００では、Ｓ１２０の処理の前に、図３のＳ８２０，８３０に相当する処理を行なう。つまり、顔領域検出部２２０が、対象画像ＴＩから顔領域ＦＡを検出するとともに、被写体距離推定部３３０が、対象画像ＴＩにおける被写体距離Ｓｄを推定する。

この場合、被写体距離推定部３３０の情報取得部３４０が、上記式（３）を用いた被写体距離Ｓｄの算出に必要な情報を取得する。情報取得部３４０は、対象画像ＴＩを表す画像ファイルにメタデータとして付加されている対象画像ＴＩの全体の幅Ｗｗｉの値（画素数）を取得すると共に、顔領域ＦＡの幅Ｗｆｉの値（画素数）を算出する。情報取得部３４０は、また、人物Ｐの顔の幅Ｗｆの値として、内部メモリ１２０に格納された典型的な人物の顔の幅の概略値を取得する。情報取得部３４０は、また、対象画像ＴＩの画像ファイルの付加データに含まれる撮像時のレンズ焦点距離ｆの値および結像面ＩＳの幅Ｗｘを取得する。被写体距離推定部３３０は、情報取得部３４０が取得した情報と上記式（３）とを用いて被写体距離Ｓｄを算出（推定）する。このように被写体距離Ｓｄを取得したら、プリンタ１００では、図８のフローチャートに従って、Ｓ１２０以降の処理（ただし、Ｓ１３０の処理は不要）を実行する。

この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。プリンタ１００はインクジェットプリンタに限らず、他の方式のプリンタ、例えばレーザプリンタや昇華型プリンタであるとしてもよい。また上述した各画像処理の一部を、パーソナルコンピュータが行うとしてもよい。また上記では、画像出力機器の例としてプリンタ１００を採用したが、画像出力機器としては、プロジェクタや、モニタ装置等も採用可能である。つまり、プロジェクタあるいはモニタ装置が、上述したプリンタ１００による処理（印刷処理は除く）を行ない、最終的に得られた画像データを、スクリーンに投射したり、モニタに表示するとしてもよい。

画像処理装置としてのＤＳＣ５００の構成を概略的に示す説明図。 画像処理装置としてのプリンタ１００の構成を概略的に示す説明図。 画像生成処理の流れを示すフローチャート。 顔領域ＦＡの検出結果の一例を示す説明図。 被写体距離Ｓｄの推定方法を示す説明図。 画像の一覧表示を含むユーザインターフェースの一例を示す説明図。 顔形状補正印刷処理の流れを示すフローチャート。 顔形状補正処理の流れを示すフローチャート。 比率情報取得処理の流れを示すフローチャート。 単眼知覚サイズＳＭおよび両眼知覚サイズＳＢの算出の様子を示す説明図。 単眼知覚サイズＳＭおよび両眼知覚サイズＳＢを示す説明図。 比率情報テーブル４２０の一例を示す図。 顔形状補正後の対象画像ＴＩが表示された表示部１５０の状態の一例を示す説明図。 顔領域ＦＡの検出結果の一例を示す説明図。 変形領域設定処理の流れを示すフローチャート。 顔領域ＦＡの高さ方向の位置調整処理の流れを示すフローチャート。 特定領域ＳＡの一例を示す説明図。 評価値の算出方法の一例を示す説明図。 評価対象画素ＴＰの選択方法の一例を示す説明図。 高さ基準点Ｒｈの決定方法の一例を示す説明図。 概略傾き角ＲＩの算出方法の一例を示す説明図。 顔領域ＦＡの高さ方向の位置調整方法の一例を示す説明図。 顔領域ＦＡの傾き調整処理の流れを示すフローチャート。 顔領域ＦＡの傾き調整のための評価値の算出方法の一例を示す説明図。 各評価方向についての評価値の分散の算出結果の一例を示す説明図。 顔領域ＦＡの傾き調整方法の一例を示す説明図。 変形領域ＴＡの設定方法の一例を示す説明図。 変形処理の流れを示すフローチャート。 変形領域ＴＡの小領域への分割方法の一例を示す説明図。 分割点Ｄの位置の移動の一例を示す説明図。 分割領域変形部２６０による画像の変形処理方法の概念を示す説明図。 三角形領域における画像の変形処理方法の概念を示す説明図。 変形領域ＴＡの設定方法および小領域への分割方法の他の例を示す説明図。 分割点Ｄの位置の移動の他の例を示す説明図。

符号の説明

１００…プリンタ、１１０…ＣＰＵ、１２０…内部メモリ、１３０…Ｉ／Ｆ部、１４０…操作部、１５０…表示部、１６０…プリンタエンジン、１７０…カードＩ／Ｆ、１７２…カードスロット、２００…顔形状補正部、２２０…顔領域検出部、２３０…顔領域調整部、２４０…変形領域設定部、２５０…変形領域分割部、２６０…分割領域変形部、３１０…表示処理部、３２０…印刷処理部、３３０…被写体距離推定部、３４０…情報取得部、３５０…比率情報取得部、４１０…分割点配置パターンテーブル、４２０…比率情報テーブル、５００…デジタルスチルカメラ、５０２…レンズ、５０４…レンズ駆動部、５０６…レンズ駆動制御部、５０８…撮像素子、５１０…Ａ／Ｄ変換器、５１２…Ｉ／Ｆ部、５１４…表示部、５１６…操作部、５１８…ＣＰＵ、５２０…カードＩ／Ｆ、５２２…バス、５２４…カードスロット、６００…内部メモリ、６１０…画像生成部、６２０…顔領域検出部、６３０…被写体距離推定部、６４０…情報取得部、６５０…画像ファイル生成部、６６０…顔形状補正部、６７０…比率情報取得部

Claims (11)

1. 対象画像中の特定の被写体の画像を検出する被写体検出部と、
   上記対象画像の撮像に用いられる単眼レンズを介して捉えられる上記被写体の大きさと両眼によって知覚される上記被写体の大きさとの比率を表す比率情報を取得する比率情報取得部と、
   上記取得された比率情報に基づいて、対象画像上における上記被写体の画像を含む領域の画像変形を行う変形処理部と、
   を備えることを特徴とする画像処理装置。
2. 上記比率情報取得部は、左眼によって知覚される被写体の大きさを示す左眼知覚範囲と右眼によって知覚される被写体の大きさを示す右眼知覚範囲とを、被写体上の注視点に対応する左眼知覚範囲上の点と当該注視点に対応する右眼知覚範囲上の点とを一致させることにより重ね合わせたときに、左眼知覚範囲および右眼知覚範囲に共通する範囲を、上記両眼によって知覚される上記被写体の大きさとすることを特徴とする請求項１に記載の画像処理装置。
3. 上記被写体の実の大きさを示す第１の被写体サイズ情報を取得するサイズ情報取得部と、上記単眼レンズから上記被写体までの距離を示す被写体距離情報を取得する距離情報取得部とをさらに備え、
   上記比率情報取得部は、上記第１の被写体サイズ情報と被写体距離情報と基づいて、上記単眼レンズを介して捉えられる被写体の大きさを算出し、かつ、上記第１の被写体サイズ情報と被写体距離情報と予め規定された左右両眼間の距離を示す両眼距離情報とに基づいて、上記左眼知覚範囲と右眼知覚範囲とを算出することを特徴とする請求項２に記載の画像処理装置。
4. 上記比率情報取得部は、複数の第１の被写体サイズ情報および被写体距離情報の組み合わせに夫々対応した比率情報を規定したテーブルを作成するとともに、上記サイズ情報取得部によって取得された第１の被写体サイズ情報と上記距離情報取得部によって取得された被写体距離情報とに対応する比率情報を上記テーブルを参照して取得することを特徴とする請求項３に記載の画像処理装置。
5. 上記距離情報取得部は、上記対象画像に対する対象画像中の上記被写体の画像の大きさを示す第２の被写体サイズ情報と、対象画像の画角を特定可能な第３の情報とを取得するとともに、上記サイズ情報取得部によって取得された第１の被写体サイズ情報と、上記第２の被写体サイズ情報と、上記第３の情報とに基づき、上記被写体距離情報を推定することを特徴とする請求項３または請求項４のいずれかに記載の画像処理装置。
6. 上記比率情報取得部は、被写体の部位毎に異なる比率情報を取得し、
   上記変形処理部は、画像変形の対象とした上記領域内における被写体の各部位に対応した領域毎に、異なる比率に基づいて画像変形を行うことを特徴とする請求項１〜請求項５のいずれかに記載の画像処理装置。
7. 上記変形処理部は、上記比率情報に基づいて被写体の横幅方向において圧縮するように画像変形することを特徴とする請求項１〜請求項６のいずれかに記載の画像処理装置。
8. 上記被写体検出部は、特定の被写体の画像として人物の画像を検出することを特徴とする請求項１〜請求項７のいずれかに記載の画像処理装置。
9. 対象画像中の特定の被写体の画像を検出する被写体検出工程と、
   上記対象画像の撮像に用いられる単眼レンズを介して捉えられる上記被写体の大きさと両眼によって知覚される上記被写体の大きさとの比率を表す比率情報を取得する比率情報取得工程と、
   上記取得された比率情報に基づいて、対象画像上における上記被写体の画像を含む領域の画像変形を行う変形処理工程と、
   を備えることを特徴とする画像処理方法。
10. 対象画像中の特定の被写体の画像を検出する被写体検出機能と、
    上記対象画像の撮像に用いられる単眼レンズを介して捉えられる上記被写体の大きさと両眼によって知覚される上記被写体の大きさとの比率を表す比率情報を取得する比率情報取得機能と、
    上記取得された比率情報に基づいて、対象画像上における上記被写体の画像を含む領域の画像変形を行う変形処理機能と、
    をコンピュータに実行させることを特徴とする画像処理プログラム。
11. 単眼レンズと、
    上記単眼レンズを介して捉えられた対象画像中の、特定の被写体の画像を検出する被写体検出部と、
    上記単眼レンズを介して捉えられた対象画像を撮像する撮像部と、
    上記撮像された対象画像の画像データを出力する出力部と、を備える第１の装置と、
    上記第１の装置から出力された対象画像の画像データを入力する入力部と、
    上記単眼レンズを介して捉えられた上記被写体の大きさと両眼によって知覚される上記被写体の大きさとの比率を表す比率情報を取得する比率情報取得部と、
    上記取得された比率情報に基づいて、上記入力した画像データ中の上記被写体の画像を含む領域の画像変形を行う変形処理部と、を備える第２の装置と、
    からなることを特徴とする画像処理システム。
    

Images