JP2022137198A - 画像処理装置、画像処理方法、及び画像処理プログラム - Google Patents

Abstract

【課題】より簡略な方法にて補正処理を実現することができる画像処理装置、画像処理方法及び画像処理プログラムを提供する。
【解決手段】撮像装置は、画像取得部５１と、テンプレート記憶部６２と、適合位置特定部５３と、歪曲補正処理部５５と、を有する。画像取得部５１は、所定の被写体が写った画像を取得する。テンプレート記憶部６２は、所定の被写体の補正対象領域に対応した形状内における各位置の補正度合いであって、各位置で変化する補正度合いを含むテンプレートを記憶する。適合位置特定部５３は、画像内のテンプレートに適合する座標を特定する。歪曲補正処理部５５は、適合位置特定部５３が特定した座標と、テンプレートに含まれる補正度合いとに基づいて、画像に対して補正を行う。
【選択図】図３

Description

本発明は、画像処理装置、画像処理方法、及び画像処理プログラムに関する。

従来、撮像により得られた被写体の画像に対して、所定の補正処理が行われている。所定の補正処理としては様々なものがあるが、例えば、被写体としてユーザの顔を写す場合に、画像内のユーザの顔部分に対して歪曲補正を行うことにより、ユーザの顔を小さく補正することができる。このような歪曲補正に関する技術は、例えば特許文献１に開示されている。

特開２０１２－１４２７７２号公報

しかしながら、特許文献１に開示された技術等の一般的な技術を利用するためには、まず被写体の画像に対して煩雑な画像解析処理を行い、補正対象とする器官の位置や、補正対象とする器官の輪郭全体を精度高く特定する必要があった。例えば、ユーザの目に対して補正を行う場合には、ユーザの目の位置や、目の輪郭全体を精度高く特定する必要があった。
このような、画像解析処理による輪郭全体の精度高い特定を要することなく、より簡略な方法にて補正処理を実現することが望まれる。

本発明は、このような状況に鑑みてなされたものであり、より簡略な方法にて補正処理を実現することを目的とする。

上記目的を達成するため、本発明の一態様の画像処理装置は、
所定の被写体が写った画像を取得する取得手段と、
前記所定の被写体の補正対象領域に対応した形状内における各位置の補正度合いであって、各位置で変化する補正度合いを含むテンプレートを記憶する記憶手段と、
前記画像内の前記テンプレートに適合する座標を特定する特定手段と、
前記特定手段が特定した座標と、前記テンプレートに含まれる補正度合いとに基づいて、前記画像に対して補正を行う補正手段と、
を有することを特徴とする。

本発明によれば、より簡略な方法にて補正処理を実現することができる。

本発明の画像処理装置の一実施形態に係る撮像装置のハードウェアの構成を示すブロック図である。 図１の撮像装置による細顔補正処理の概要を説明するための模式図である。 図１の撮像装置の機能的構成のうち、細顔補正処理を実行するための機能的構成を示す機能ブロック図である。 テンプレートの形状及びアルファ値の例と、テンプレートが適用される顔の部位との関係を示す模式図である。 元画像に対するテンプレートの適合について説明するための模式図である。 複数のテンプレートを用いたアルファマップの生成について説明するための模式図である。 補正を行う前の元画像の一例について示す模式図である。 図７に図示した元画像を、従来技術により補正した画像の一例について示す模式図である。 図７に図示した元画像を、図１の撮像装置による細顔補正処理により補正した画像の一例について示す模式図である。 図３の機能的構成を有する図１の撮像装置１が実行する細顔補正処理の流れを説明するフローチャートである。 図１の撮像装置による細顔補正処理において、トリミング処理を行う場合について説明するための模式図である。 撮像装置１による、アルファ値の修正を説明するための模式図である。 細顔補正処理において、アルファ値を修正した後に、歪曲補正した画像の一例について示す模式図である。 細顔補正処理において、アルファ値を修正した後に、歪曲補正した画像の他の一例について示す模式図である。 細顔補正処理において、アルファ値を修正した後に、歪曲補正した画像の他の一例について示す模式図である。 図３の機能的構成を有する図１の撮像装置１が実行する、変形例４における細顔補正処理の流れを説明するフローチャートである。

以下、本発明の実施形態について、図面を用いて説明する。

図１は、本発明の画像処理装置の一実施形態に係る撮像装置１のハードウェアの構成を示すブロック図である。
撮像装置１は、例えば、デジタルカメラとして構成される。

撮像装置１は、図１に示すように、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、撮像部１６と、入力部１７と、出力部１８と、記憶部１９と、通信部２０と、ドライブ２１と、照明部２２と、を備えている。

ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、または、記憶部１９からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。

ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。

ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、撮像部１６、入力部１７、出力部１８、記憶部１９、通信部２０、ドライブ２１及び、照明部２２が接続されている。

撮像部１６は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。

光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。

イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）等から構成される。
光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。
ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部１６の出力信号として出力される。
このような撮像部１６の出力信号を撮像画像のデータとしてＣＰＵ１１や図示しない画像処理部等に適宜供給される。

入力部１７は、各種釦等で構成され、ユーザの指示操作に応じて各種情報を入力する。
出力部１８は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
記憶部１９は、ハードディスク或いはＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、各種画像のデータを記憶する。
通信部２０は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。

ドライブ２１には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア３１が適宜装着される。ドライブ２１によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部１９にインストールされる。また、リムーバブルメディア３１は、記憶部１９に記憶されている画像のデータ等の各種データも、記憶部１９と同様に記憶することができる。

照明部２２は、例えば、撮像部１６の周囲に円を描くように設置された発光部材としての８個のＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）と、当該撮像装置１において、この８個のＬＥＤとは離れた位置に設置された１個のＬＥＤとで構成される。これらのＬＥＤは、ライブビュー撮影時や、画像記録時等に、ユーザの操作に従って選択的に発光する。このように照明のための光線の到来方向を変更させて顔を撮影することで、人為的に陰影がコントロールされた顔画像を取得することができる。

このように構成される撮像装置１では、被写体を撮影した画像に対して、テンプレートを利用した歪曲補正を行うことにより、被写体を違和感なく自然に補正する機能を有する。これにより、例えば、ユーザの顔を被写体とした場合に、ユーザの顔を違和感なく自然な細顔とすることができる。
以下では、撮像装置１による、このテンプレートを利用した歪曲補正を行う一連の処理を「細顔補正処理」と称する。次に、図２を参照して、細顔補正処理の概要について説明する。

［細顔補正処理の概要］
図２は、撮像装置１による、細顔補正処理の概要を説明するための模式図である。
図２においては、顔に含まれる所定の器官である鼻筋を含む領域と、所定の部位である左右のフェイスライン領域それぞれとに対して、局所的な歪曲補正を行う例を示している。

図２（Ａ）に示すように、撮像装置１は、細顔補正処理の対象として、補正前の画像（以下、「元画像」と称する）を取得する。また、撮像装置１は、この元画像における、歪曲補正の対象とする領域（以下、「補正対象領域」と称する。）を特定する。そのために、撮像装置１は、顔の所定の器官らしさや所定の部位らしさを表すテンプレートを、所定の器官や部位それぞれに応じて記憶しておく。また、撮像装置１は、このテンプレートを、元画像の対応する所定の器官や所定の部位の位置に適合させる。ここで、このテンプレートには、元画像に含まれる、顔の補正対象領域に対応した形状内における、各位置の補正度合いを示す値（以下、「アルファ値」と称する。）含む。

また、図２（Ｂ）に示すように、撮像装置１は、元画像内の全ての座標におけるアルファ値の値が「０」の背景（以下、「黒背景」と称する。）に対して、適合結果に基づいて各テンプレートを配置することにより、元画像内における各位置の補正度合いを示すマップ（以下、「アルファマップ」生成する。）。

更に、図２（Ｃ）に示すように、撮像装置１は、元画像に対して歪曲補正を行う。この場合に、撮像装置１は、アルファマップに含まれる各座標における補正の度合いに基づいた度合いで歪曲補正を行う。具体的に、歪曲補正では、元画像の各座標を所定の方向に移動させることにより補正が実現される。例えば、ユーザの顔を細顔とする場合には、補正対象領域内の各座標を顔の中心方向に移動させることにより補正が実現される。撮像装置１は、アルファマップに含まれる各座標における補正の度合いに基づいた度合いに応じて、この各座標の移動量を決定することにより歪曲補正を行う。

このような撮像装置１によれば、補正対象領域以外に対しては不要な補正を行うことなく、テンプレートに対応する補正対象領域に対してのみ歪曲補正を行うことができる。また、一律な補正度合いによる歪曲補正ではなく、テンプレートに含まれるアルファ値に応じた、器官や所定の部位それぞれ毎に適切な歪曲補正を行うことができる。

また、撮像装置１は、補正対象領域となる所定の器官らしさや所定の部位らしさを表す形状のテンプレートを利用するが、このテンプレートの輪郭内の輪郭周辺の部分は中央部分よりも補正の度合いが抑えられるように設定される。そのため、補正対象領域となる所定の器官の輪郭や所定の部位の輪郭と、テンプレートの輪郭とが、完全に適合しなかった場合であっても、輪郭周辺へ与える影響は少なく、全体として被写体を違和感なく自然に補正することができる。従って、撮像装置１によれば、器官や所定の部位の輪郭を精度高く検出する必要をなくすことができる。また、器官や所定の部位の輪郭を精度高く検出しない場合であっても、補正後の画像の品質をほぼ落すことなく歪曲補正を行うことができる。
この点、従来であれば、適切な歪曲補正を行うためには、ユーザの補正対象とするユーザの器官や所定の部位の位置と、これら器官や所定の部位の輪郭全体とを、精度高く特定する必要があった。これに対して、撮像装置１は、上述したように、器官や所定の部位の輪郭を精度高く検出する必要をなくした上で、補正後の画像の品質をほぼ落すことなく歪曲補正を行うことができる。
つまり、本実施形態によれば、より簡略な方法にて補正処理を実現することができる。

［機能ブロック］
図３は、図１の撮像装置１の機能的構成のうち、細顔補正処理を実行するための機能的構成を示す機能ブロック図である。
上述したように、細顔補正処理とは、テンプレートを利用した歪曲補正を行う一連の処理をいう。

細顔補正処理を実行する場合には、図３に示すように、ＣＰＵ１１において、画像取得部５１と、顔検出部５２と、適合位置特定部５３と、アルファマップ作成部５４と、歪曲補正処理部５５と、が機能する。
また、記憶部１９の一領域には、画像記憶部６１と、テンプレート記憶部６２と、が設定される。

画像記憶部６１には、撮像部１６から出力された、撮像部１６により撮像された画像に現像処理が行われた撮像画像のデータが記憶される。
テンプレート記憶部６２には、顔の各種部位に対応する形状のテンプレートのデータが記憶される。テンプレートの詳細については、図４を参照して説明する。

画像取得部５１は、撮像部１６により撮像された画像に現像処理が行われた撮像画像のデータ、或いは画像記憶部６１から処理対象となる画像のデータを取得する。

顔検出部５２は、元画像から顔を検出する。また、顔検出部５２は、補正対象領域に対応する所定の器官及び所定の部位の特徴点を検出する。顔検出部５２による処理の詳細は、図５を参照して後述する。

適合位置特定部５３は、元画像における、テンプレートに適合する座標を特定する。適合位置特定部５３による処理の詳細は、図５を参照して後述する。

アルファマップ作成部５４は、テンプレートに適合する座標に基づいて、アルファマップを作成する。アルファマップ作成部５４による処理の詳細は、図６を参照して後述する。

歪曲補正処理部５５は、アルファマップに含まれるアルファ値に基づいて歪曲補正を行う。歪曲補正処理部５５による処理の詳細は、図６を参照したアルファマップ作成部５４の説明の後に、後述する。

［テンプレートの具体例］
次に、テンプレート記憶部６２が記憶するテンプレートの詳細について図４を参照して説明する。図４は、テンプレートの形状及びアルファ値の例と、テンプレートが適用される顔の部位との関係を示す模式図である。
ここで、テンプレートは、一般的な顔において顔の所定の器官や所定の部位に対応する補正対象領域の形状を模したテンプレートであり、顔の特定の部位らしさを表すものである。また、上述のように、補正対象領域に対応した形状内における、各位置の補正度合いを示すアルファ値を含む。

図４では、鼻に対応するテンプレートである「鼻用テンプレートＴ１」、フェイスラインの右側に対応するテンプレートである「フェイスライン右側用テンプレートＴ２」、及びフェイスラインの左側に対応するテンプレートである「フェイスライン左側用テンプレートＴ３」を併せて適用した例を示している。なお、図４や後述の図５の図中において、テンプレートは破線の閉領域として示されている。また、これらの図中において、テンプレートに含まれるアルファ値の表現として、値が「０」の場合に黒色で示されており、値が「１」の場合に白色で示されており、値が「０から１までの中間値」の場合にハッチングで示されている。

図４に示すように、鼻用テンプレートＴ１は、鼻全体を補正対象領域とすることにより、鼻全体を縮小するために用いられる。また、鼻用テンプレートＴ１は、特に鼻の中央部分の領域がより縮小されるようにアルファ値が「１」に設定され、鼻の輪郭外の領域は縮小されないようにアルファ値が「０」に設定され、鼻の輪郭内の輪郭周辺の部分は中央部分よりも縮小が抑えられるように「０から１までの中間値」が設定される。このような、鼻の中央に近づくにつれて補正度合いが段階的に変化するように設定されたアルファ値に基づいて、歪曲補正を行うことにより、より自然に鼻を縮小し、細顔とする効果が得られる。

また、図４に示すように、フェイスライン右側用テンプレートＴ２及びフェイスライン左側用テンプレートＴ３は、それぞれ左右のフェイスラインを補正対象領域とすることにより、左右の頬（特に、えら部分）のフェイスラインを縮小するために用いられる。フェイスライン右側用テンプレートＴ２及びフェイスライン左側用テンプレートＴ３は、左右の頬が均等に縮小するように、顔の中心線に対して左右対称な形状となっている。

また、フェイスライン右側用テンプレートＴ２及びフェイスライン左側用テンプレートＴ３は、特にフェイスラインの中央部分の領域がより縮小されるようにアルファ値が「１」に設定され、フェイスラインの輪郭外の領域は縮小されないようにアルファ値が「０」に設定され、フェイスラインの輪郭内の輪郭周辺の部分は中央部分よりも縮小が抑えられるように「０から１までの中間値」が設定される。このような、フェイスラインの中央に近づくにつれて補正度合いが段階的に変化するように設定されたアルファ値に基づいて、歪曲補正を行うことにより、より自然に左右のフェイスラインを縮小し、細顔とする効果が得られる。

なお、テンプレートは、データ量削減のため、対称な形状を有するものについては１つのみ記憶しておき、使用する際に対称変換して使用することができる。例えば、左のフェイスラインに対応するテンプレートを記憶しておき、使用する際に左右反転を行うことにより対称変換して、右のフェイスラインに対応するテンプレートとして使用することができる。

［テンプレートの適合］
次に、顔検出部５２及び適合位置特定部５３により行われる、元画像に対するテンプレートの適合について説明する。図５は、元画像に対するテンプレートの適合について説明するための模式図である。図５では、画像取得部５１が取得した元画像における鼻に対して、鼻用テンプレートＴ１を適合する場合を例に取って説明する。

テンプレートの適合を行う場合、図５（Ａ）に示すように、顔検出部５２は、元画像に対して、特徴点の検出を行う。具体的には、顔検出部５２は、特徴点として、基点となる点と、輪郭点とを検出する。基点となる点は、例えば、図中の基点Ｐ１１のような鼻の中央に対応する点である。また、輪郭点となる点は、例えば、図中の輪郭点Ｐ２１と輪郭点Ｐ２２のような鼻の上下両端に対応する点と、図中の輪郭点Ｐ３１と輪郭点Ｐ３２のような鼻の左右両端に対応する点である。
以下の図５（Ｂ）以降を参照して説明する適合に関する処理は、このように検出された各特徴点の元画像における座標に基づいて行われる。なお、顔検出部５２による、顔検出及び各特徴点の検出は、既存の顔検出技術及び特徴点検出技術を用いることができる。

次に、図５（Ｂ）に示すように、適合位置特定部５３は、基点に基づいてテンプレートの位置合わせを行う。具体的には、適合位置特定部５３は、鼻用テンプレートＴ１の中央の座標と、基点Ｐ１１の中央の座標を合わせることにより、テンプレートの位置合わせを行う。

次に、図５（Ｃ）に示すように、適合位置特定部５３は、角度に基づいてテンプレートを回転させる。ここで角度は、図中に示すように、例えば、輪郭点Ｐ３１と輪郭点Ｐ３２を結ぶ直線と、Ｘ軸に平行な直線とのなす角度である角度Ａ１を用いることができる。この角度Ａ１は、鼻の傾きを示す角度であるので、適合位置特定部５３は、鼻用テンプレートＴ１を、基点Ｐ１１を回転中心として、角度Ａ１と同じ角度だけ回転させることにより、テンプレートの角度を適合させることができる。

最後に、図５（Ｄ）に示すように、適合位置特定部５３は、輪郭点の位置に基づいてテンプレートを拡大又は縮小する。すなわち、テンプレートの大きさを適合させる。具体的には、適合位置特定部５３は、鼻用テンプレートＴ１の両端が、輪郭点Ｐ３１と輪郭点Ｐ３２により示される鼻の両端と同じ大きさとなるように、鼻用テンプレートＴ１の形状を維持したまま鼻用テンプレートＴ１を拡大又は縮小する。なお、この場合に、適合位置特定部５３は、鼻用テンプレートＴ１に含まれるアルファ値も変更することなく維持する。

以上、図５（Ａ）から図５（Ｄ）を参照して説明したようにして、元画像に対するテンプレートの適合を行うことができる。この適合は、上述したように、基点と、複数の輪郭点のみを検出することにより実現できる。すなわち、補正対象とする器官や部位の輪郭全体を精度高く特定する必要はない。つまり、本実施形態によれば、より簡略な方法にて補正処理を実現することができる。

また、テンプレートが複数存在する場合は、複数のテンプレートについて適合する座標を、複数のテンプレートそれぞれ毎に独立して特定する。従って、元画像において顔が横向きに近くなっていたり傾いていたりしており、フェイスラインの角度や大きさが対称でないような場合であっても、左右それぞれのフェイスラインに適合するようにテンプレートの角度や大きさを調整することができる。つまり、本実施形態によれば、顔の向きや大きさがそれぞれ異なる多様な元画像それぞれに対して、予め用意されている共通のテンプレートを適合させることができる。

なお、上述の説明では、基点Ｐ１１と、輪郭点Ｐ３１及び輪郭点Ｐ３２とを利用して適合を行ったが、これに限らず、他の輪郭点を用いて適合を行うことも可能である。この点については、変形例１として後述する。

［アルファマップの作成］
次に、アルファマップ作成部５４により行われる、アルファマップの作成について説明をする。図６は、複数のテンプレートを用いたアルファマップの生成について説明するための模式図である。
図６（Ａ）に示すように、アルファマップ作成部５４は、適合位置特定部５３により特定された、複数のテンプレートそれぞれに適合する座標を取得する。

図６（Ｂ）に示すように、アルファマップ作成部５４は、複数のテンプレートそれぞれに適合する座標に基づいて、各テンプレートを、黒背景上の適合する座標上に配置する。なお、黒背景と元画像とは、同じ座標系を用いて管理される。

図６（Ｃ）に示すように、アルファマップ作成部５４により、全てのテンプレートが黒背景上に配置されることによって、アルファマップは作成される。

［アルファマップに基づいた歪曲補正］
次に、歪曲補正処理部５５により行われる、アルファマップに含まれるアルファ値に基づいた歪曲補正について説明をする。図２を参照して上述したように、本実施形態では、元画像に対して、アルファマップに含まれるアルファ値に基づいた歪曲補正を行う。

具体的には、歪曲補正処理部５５は、まずアルファマップを用いることなく歪曲補正を行う場合における、歪曲補正後の座標を、元画像の全ての座標について算出する。例えば、顔全体の領域を対象として、顔が縮小するような歪曲補正後の座標を、元画像の全ての座標について算出する。なお、この歪曲補正後の座標の算出には、既存の歪曲補正技術を用いることができる。

これにより、元画像の全ての座標について、アルファマップを用いることなく歪曲補正を行う場合における歪曲補正後の座標（以下、「アルファマップ適用前座標」と称する。）が算出される。

次に、歪曲補正処理部５５は、アルファマップを適用することにより、各座標における補正の度合いを修正する。具体的には、歪曲補正処理部５５は、以下の＜アルファマップ適用式＞に基づいて、元画像の全ての座標について、アルファマップを適用した歪曲補正後の座標（以下、「アルファマップ適用後座標」と称する。）を算出する。

＜アルファマップ適用式＞
（ｘｏｕｔ，ｙｏｕｔ）＝（ｘｉｎ，ｙｉｎ）×（１－α）＋（ｘｄｉｓｔ，ｙｄｉｓｔ）×α
但し、
（ｘｉｎ，ｙｉｎ）：元画像の座標
（ｘｏｕｔ，ｙｏｕｔ）：アルファマップ適用後座標
（ｘｄｉｓｔ，ｙｄｉｓｔ）：アルファマップ適用前補正座標
であるものとする。また、αの値は、（０≦α≦１）の値をとるものとする。

そして、歪曲補正処理部５５は、算出されたアルファマップ適用後座標に基づいた補正を行う。すなわち、元画像の各座標をアルファマップ適用後座標に移動させる。また、歪曲補正処理部５５は、既存技術により、移動に伴い必要となる補完処理等を行う。

これにより、アルファマップを適用した歪曲補正が実現される。このようにアルファマップを適用することにより、アルファマップにおける白色の座標（すなわち、アルファ値が「１」の座標）については、アルファマップ適用前補正座標そのものが適用された歪曲補正が行われる。また、アルファマップにおける中間色の座標（すなわち、アルファの値が「０＜α＜１」の座標）については、アルファマップ適用前補正座標がアルファ値に応じて適用された歪曲補正が行われる。更に、アルファマップにおける黒色の座標（すなわち、アルファ値が「０」の座標）については、アルファマップ適用前補正座標は適用されず、元画像の座標そのままとなる。
すなわち、上述した複数のテンプレートにおける補正度合いに対応した、局部的な歪曲補正が行われる。かかる歪曲補正が奏する効果について図７、図８及び図９を参照して説明する。

図７に、歪曲補正を行う前の元画像の一例について示す。また、図８に、図７に図示した元画像を、従来技術（すなわち、アルファマップを利用しない歪曲補正）により補正した画像の一例について示す。更に、図９に、図７に図示した元画像を、上述した本実施形態におけるアルファマップを利用した歪曲補正により補正した画像の一例について示す。

図７の元画像と、図８の従来技術により補正した画像を比較すると、従来技術では、アルファマップを利用しておらず、補正対象領域を顔全体として歪曲補正を行っているため、顔全体が均等に補正される。この場合、顔全体が縮小することから、相対的に頭が伸びてみえてしまう傾向がある。また、顎全体が均等に縮小することから顎を細くすることが困難である。そのため、従来技術では、ユーザが、補正後の画像に違和感を覚え、不自然と感じることがあった。

これに対して、本実施形態では、上述した複数のテンプレートにおける補正度合いに対応した、局部的な歪曲補正が行われる。そのため、図７の元画像と、図９の本実施形態により補正した画像を比較すると、顔全体でなくテンプレートに対応する補正対象領域のみが縮小することから、相対的に頭が伸びてみえてしまうということが防止できる。また、顎全体ではなく、左右のフェイスラインに対応する補正対象領域のみが縮小することから、顎を細くすることができる。そのため、本実施形態によれば、ユーザの顔を違和感なく自然な細顔とすることができる。

［動作］
図１０は、図３の機能的構成を有する図１の撮像装置１が実行する細顔補正処理の流れを説明するフローチャートである。
細顔補正処理は、ユーザによる入力部１７への細顔補正処理開始の操作により開始される。
細顔補正処理開始の操作は、撮影指示操作とすることが可能であり、この撮影指示操作に応じて撮像部１６により撮像された画像を対象として、現像処理を行い、引き続き細顔補正処理を行うことができる。また、画像記憶部６１に記憶されている撮像画像のデータを選択し、その選択された撮像画像のデータに対して、細顔補正処理開始の操作を行うこととしてもよい。

ステップＳ１１において、画像取得部５１は、撮像部１６により撮像された画像に現像処理が行われた撮像画像のデータ、或いは画像記憶部６１から処理対象となる画像を取得する。

ステップＳ１２において、顔検出部５２は、処理対象となる画像において顔検出を行い、顔が検出されたか否かを判定する。
顔が検出されなかった場合には、ステップＳ１２においてＮＯと判定されて、細顔補正処理は終了する。
顔が検出された場合には、ステップＳ１２においてＹＥＳと判定されて、処理はステップＳ１３に進む。

ステップＳ１３において、顔検出部５２は、テンプレートに対応する顔の所定の器官と所定の部位とを検出する。

ステップＳ１４において、適合位置特定部５３は、元画像における、テンプレートに適合する座標を特定する。

ステップＳ１５において、アルファマップ作成部５４は、テンプレートに適合する座標に基づいて、アルファマップを作成する。

ステップＳ１６において、歪曲補正処理部５５は、アルファマップを適用した歪曲補正を行う。
その後、細顔補正処理が終了する。
以上説明した動作により、図９を参照して上述したような、ユーザの顔を違和感なく自然な細顔とした画像が生成される。

以上のように構成される撮像装置１は、画像取得部５１と、テンプレート記憶部６２と、適合位置特定部５３と、歪曲補正処理部５５と、を有する。
画像取得部５１は、所定の被写体が写った画像を取得する。
テンプレート記憶部６２は、所定の被写体の補正対象領域に対応した形状内における各位置の補正度合いであって、各位置で変化する補正度合いを含むテンプレートを記憶する。
適合位置特定部５３は、画像内のテンプレートに適合する座標を特定する。
歪曲補正処理部５５は、適合位置特定部５３が特定した座標と、テンプレートに含まれる補正度合いとに基づいて、画像に対して補正を行う。
これにより、テンプレートを適合させることにより補正を実現できることから、器官や所定の部位の輪郭を精度高く検出する必要をなくすことができる。従って、より簡略な方法にて補正処理を実現することができる。更に、器官や所定の部位の輪郭を精度高く検出しない場合であっても、補正後の画像の品質をほぼ落すことなく補正を行うことができる。
また、補正対象領域以外に対しては不要な補正を行うことなく、テンプレートに対応する補正対象領域に対してのみ歪曲補正を行うことができる。また、一律な補正度合いによる歪曲補正ではなく、テンプレートに含まれる補正度合い応じた、器官や所定の部位それぞれ毎に適切な歪曲補正を行うことができる。

適合位置特定部５３は、
画像を解析することにより、所定の被写体の第１特徴点に対応する座標と、所定の被写体の第２特徴点に対応する座標とを検出し、
検出した第１特徴点の座標に基づいてテンプレートにおける基点に適合する座標を特定し、検出した第２特徴点の座標に基づいてテンプレートにおける輪郭に適合する座標を特定する。
これにより、特徴点のみを検出することにで、テンプレートに適合する座標を特定することができる。

適合位置特定部５３は、
第１特徴点の座標にテンプレートの基点を配置し、配置したテンプレートの基点を回転中心としてテンプレートを回転させることによりテンプレートに適合する座標を特定する。
これにより、各角度に応じた複数のテンプレートを用意することなく、顔の向きや大きさがそれぞれ異なる多様な元画像それぞれに対して、回転をするのみで、共通のテンプレートを適合させることができる。

適合位置特定部５３は、
検出した第２特徴点の座標と、テンプレートにおける輪郭とに基づいて、テンプレートの輪郭の形状を維持した拡大又は縮小を行う。
これにより、大きさが異なる複数のテンプレートを用意することなく、顔の向きや大きさがそれぞれ異なる多様な元画像それぞれに対して、拡大又は縮小をするのみで、共通のテンプレートを適合させることができる。

適合位置特定部５３は、
テンプレートに含まれる補正度合いの変更は行わない。
これにより、元画像に含まれる所定の被写体の大きさによらず、テンプレートに対応した補正度合いで補正を行うことができる。

適合位置特定部５３は、画像内における被写体の状態を特定し、該特定した被写体の状態に基づいて、テンプレートに含まれる補正度合いを修正する。
歪曲補正処理部５５は、適合位置特定部５３が修正した補正度合いと、適合位置特定部５３が特定した座標とに基づいて画像に対して補正を行う。
これにより、被写体の状態に基づいて、より適切に修正された補正度合いに基づいて、歪曲補正を行なうことができる。例えば、顔が、顔の上下方向軸を中心として左右に回転する場合（すなわち、ヨーイングする場合）や、顔の左右方向軸を中心として上下に回転する場合（すなわち、ピッチングする場合）のそれぞれに対応して修正された補正度合いに基づいて、歪曲補正を行なうことができる。そのため、例えば、顔全体のバランスを考慮した歪曲補正を行なうことができる。

適合位置特定部５３は、画像内における被写体の第１領域の深度と、画像内における被写体の第２領域の深度との差分に基づいて、被写体の状態として被写体の傾き度合いを特定する。
これにより、深度情報という明確な指標に基づいて、被写体の傾き度合いを特定することができる。そのため、被写体の傾き度合いに応じた程度で、補正度合いを修正することができる。例えば、より傾いている場合には、より補正度合いを強くする（あるいは、弱くする）というように修正をすることができる。

歪曲補正処理部５５は、
画像に対する補正として、少なくとも、テンプレートに含まれる補正度合いに対応した補正度合いで、画像の座標を移動することにより歪曲補正を行う。
これにより、テンプレート対応した補正度合いで、違和感なく自然な歪曲補正により補正できる。

テンプレート記憶部６２は、複数の異なる補正対象領域それぞれに対応した複数のテンプレートを記憶しており、
適合位置特定部５３は、複数のテンプレートについて適合する座標を、複数の前記テンプレートそれぞれ毎に独立して特定する。
これにより、顔の向きや大きさがそれぞれ異なる多様な元画像にそれぞれに対して、予め用意されている共通のテンプレートを適合させることができる。

所定の被写体は顔であり、
補正対象領域は、顔の器官又は顔の部位である。
これにより、被写体の顔を違和感なく自然な細顔とすることができる。

テンプレートは、当該テンプレートの輪郭内の輪郭周辺の部分が前記テンプレートの中央部分よりも補正の度合いが抑えられるように、前記補正の度合いが設定されている。
これにより、補正対象領域となる所定の器官の輪郭や所定の部位の輪郭と、テンプレートの輪郭とが、完全に適合しなかった場合であっても、輪郭周辺へ与える影響は少なく、全体として被写体を違和感なく自然に補正することができる。

なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。例えば、上述の実施形態を変形し、以下に例示するような変形例とすることができる。また、以下に例示するような変形例を組み合わせることもできる。

［変形例１］
図５を参照して上述した例では、適合位置特定部５３は、基点Ｐ１１と、輪郭点Ｐ３１及び輪郭点Ｐ３２とを利用して適合を行ったが、これに限らず、他の輪郭点を用いて適合を行うようにしてもよい。
例えば、輪郭点Ｐ３１及び輪郭点Ｐ３２に代えて、輪郭点Ｐ２１及び輪郭点Ｐ２２を用いて適合を行うようにしてもよい。この場合、例えば、図５（Ｃ）に示すように、テンプレートを回転させる場合に、輪郭点Ｐ２１と輪郭点Ｐ２２を結ぶ直線と、Ｙ軸に平行な直線とのなす角度である角度（以下、「角度Ａ２」と称する。）を、角度Ａ１の代わりに用いるようにしてもよい。また、例えば、図５（Ｄ）に示すように、テンプレートを拡大又は縮小させる場合に、鼻用テンプレートＴ１の両端が、輪郭点Ｐ２１と輪郭点Ｐ２２により示される鼻の両端と同じ大きさとなるように、鼻用テンプレートＴ１の形状を維持したまま鼻用テンプレートＴ１を拡大又は縮小するようにしてもよい。

他にも、例えば、輪郭点Ｐ３１及び輪郭点Ｐ３２と共に、更に輪郭点Ｐ２１及び輪郭点Ｐ２２を用いて適合を行うようにしてもよい。例えば、図５（Ｃ）に示すように、テンプレートを回転させる場合に、角度Ａ１が示す角度と、角度Ａ２が示す角度を平均した角度に基づいて、テンプレートを回転させるようにしてもよい。また、例えば、図５（Ｄ）に示すように、テンプレートを拡大又は縮小させる場合に、鼻用テンプレートＴ１の両端と、輪郭点Ｐ２１と輪郭点Ｐ２２により示される鼻の両端との差分と、鼻用テンプレートＴ１の両端と、輪郭点Ｐ３１と輪郭点Ｐ３２により示される鼻の両端との差分との２つの差分の和が最小となるように、鼻用テンプレートＴ１の形状を維持したまま鼻用テンプレートＴ１を拡大又は縮小するようにしてもよい。

他にも、例えば、元画像において、ユーザの鼻が傾いている可能性が低く、鼻の大きさが概ね想定できるような場合には、図５（Ｃ）に示すように、テンプレートを回転させる処理や、図５（Ｄ）に示すように、テンプレートを拡大又は縮小させる処理は省略するようにしてもよい。この場合には、基点Ｐ１１のみを検出すればよく、各輪郭点を検出する必要をなくすことができる。

［変形例２］
上述した実施形態では、元画像全体に対応するアルファマップを作成し、元画像全体に対してアルファマップに含まれるアルファ値に基づいた歪曲補正を行っていた。これに限らず、トリミングを行うことにより、元画像を一部切り出して、この切り出した画像に対して歪曲補正を行うようにしてもよい。本変形例について、図１１を参照して説明する。

まず、図１１（Ａ）に示すように、顔検出部５２が、特徴点の検出結果に基づいて、元画像からテンプレートに対応する所定の器官と所定の部位を含む領域をトリミングにより、切り出す。

次に、図１１（Ｂ）に示すように、適合位置特定部５３によるテンプレートの適合処理と、アルファマップ作成部５４によるアルファマップの作成処理により、切り出した元画像に対応した、切り出した元画像用のアルファマップを作成する。

次に、図１１（Ｃ）に示すように、歪曲補正処理部５５により、切り出した元画像に対して、切り出した元画像用のアルファマップを用いて、歪曲補正を行う。
最後に、図１１（Ｄ）に示すように、顔検出部５２が、補正後の切り出した画像を、元画像に貼り付ける。

以上説明した処理によっても、上述した実施形態同様の補正を行うことができる。例えば、元画像からテンプレートに対応する所定の器官と所定の部位を含む領域をトリミングにより切り出す処理が容易にできる場合に、本変形例を適用するとよい。
このようにトリミングによる切り出しを行うことにより、適合位置特定部５３によるテンプレートの適合処理において、テンプレートを適合させる候補となる座標の数を削減できる。そのため、適合処理での演算量を減少させることができる。また、このようにトリミングによる切り出しを行うことにより、歪曲補正処理部５５による歪曲補正処理において、＜アルファマップ適用式＞によって、アルファマップ適用後座標を算出する対象の座標の数を削減できる。そのため、適合処理での演算量を減少させることができる。従って、細顔補正処理全体としての演算量を減少させることができる。

［変形例３］
上述した実施形態では、ユーザの顔を対象として、アルファマップを用いた歪曲補正を行っていた。これに限らず、ユーザの顔以外の部分を対象としてアルファマップを用いた歪曲補正を行ってもよい。また、ユーザ以外の生物や、あるいは非生物を対象としてアルファマップを用いた歪曲補正を行ってもよい。すなわち、補正対象に応じたテンプレートを用意できるのであれば、どのような補正対象に対してアルファマップを用いた歪曲補正を行ってもよい。

また、上述した実施形態では、アルファマップを用いた歪曲補正により、所定の器官や所定の部位を画像内で縮小していた。これに限らず、アルファマップを用いた歪曲補正により、所定の器官や所定の部位を画像内で拡大するようにしてもよい。例えば、ユーザの両眼に対応したテンプレートを用意しておき、アルファマップを用いた歪曲補正により、ユーザの両眼を拡大するようにしてもよい。

［変形例４］
上述した実施形態では、細顔補正処理において、元画像に対してテンプレートの適合を行った後に、テンプレートに含まれる、各位置の補正度合いを示す値であるアルファ値に基づいて歪曲補正を行っていた。これに限らず、テンプレートに含まれるアルファ値をユーザの状態等の所定の条件に基づいて修正し、修正後のアルファ値に基づいて歪曲補正を行ってもよい。例えば、元画像における、ユーザの顔の傾きの有無や傾き度合いに基づいて、テンプレートに含まれるアルファ値を修正し、修正後のアルファ値に基づいて歪曲補正を行ってもよい。このように、アルファ値の修正を行なう場合について、変形例４として以下説明する。

＜アルファ値の修正＞
図１２は、撮像装置１による、変形例４におけるアルファ値の修正を説明するための模式図である。図１２においては、顔に含まれる所定の部位である左右のフェイスライン領域それぞれに対して、局所的な歪曲補正を行う例を示している。

図１２に元画像の例として元画像４１を示す。本変形では、上述したように、ユーザの顔の傾きに基づいて、テンプレートに含まれるアルファ値を修正する。本変化例では、このユーザの顔の傾きを、ユーザの顔の所定領域における深度を示す深度情報（ｄｅｐｔｈ情報と称される場合もある。）に基づいて特定する。深度情報は、撮像時における、撮像装置１から被写体（ここでは、ユーザの顔）までの距離を示す情報である。深度情報は、例えば、撮像装置１に、赤外線により被写体までの距離を検出できる深度センサを搭載することにより取得することができる。他にも、深度情報は、撮像装置１を、三角測量の原理に基づいて被写体までの距離を検出できるステレオカメラにより実現することで取得することができる。

また、本変形例では、顔が、顔の上下方向軸を中心として左右に回転する場合（すなわち、ヨーイングする場合）と、顔の左右方向軸を中心として上下に回転する場合（すなわち、ピッチングする場合）のそれぞれの場合における顔の傾き度合いを特定する。

まず、顔の上下方向軸を中心として左右に回転する場合（すなわち、ヨーイングする場合）を例にとって説明をする。
本変形例では、画像解析による顔等の検出と共に、深度情報を取得する。そして、この深度情報に基づいて、図１２に示す顔の上下軸方向４２を中心として左右に回転するヨーイング４３における傾き度合い（以下、「ｙａｗ方向傾き度合い」と称する。）を特定する。なお、これら上下軸方向４２及びヨーイング４３と、後述の左右軸方向４４及びピッチング４５は、実際に元画像４１と共に表示される情報ではなく、説明の便宜のために図示している情報である。

この傾き度合いの特定は、顔の所定の領域二箇所における深度情報の差分に基づいて算出することができる。この所定の領域は、ｙａｗ方向傾き度合いを算出可能な領域同士であれば、特に限定されない。以下では、一例として、ｙａｗ方向傾き度合いを、左の頬下の深度情報（ｄｅｐｔｈ値）と、右の頬下の深度情報（ｄｅｐｔｈ値）とに基づいて、以下の＜ｙａｗ方向傾き度合い算出式＞を用いて算出する。

＜ｙａｗ方向傾き度合い算出式＞
ｙａｗ＝ｄ＿ｌ－ｄ＿ｒ
但し、
ｄ＿ｌ：左の頬下のｄｅｐｔｈ値
ｄ＿ｒ：右の頬下のｄｅｐｔｈ値
ｙａｗ：ｙａｗ方向の傾き度合い
であるものとする。

次に、このｙａｗ方向の傾き度合いに基づいて、左右のフェイスライン領域それぞれに対応するテンプレートのアルファ値を修正する。この修正は、後段の歪曲補正を行った場合に、ユーザの顔のバランスが整うようにすることを目的として行われる。例えば、ｙａｗ方向の傾き度合いに基づいて、ユーザが左側（すなわち、画像を正対する観察者からは右側）を向いていると特定できる場合には、ユーザの左のフェイスラインの歪曲補正度合い（すなわち、アルファ値）を下げると共に、ユーザの右のフェイスラインの歪曲補正度合いを上げる。これにより、画像において手前側となるユーザの右のフェイスラインが、左のフェイスラインに比べて、より歪曲補正されるので、ユーザの右のフェイスラインが、より細顔になる。従って、ユーザの左右の顔のバランスが整う。

そこで、本変形例では、このように歪曲補正がなされるように、アルファ値を修正する。そのために、テンプレート毎に、ｙａｗ方向の傾き度合いと、修正率との対応関係を予め設定しておく。この設定は、例えば、対応関係を示すテーブル形式で記憶されてもよいし、所定の関係式として記憶されてもよい。そして、ｙａｗ方向の傾き度合いを算出した場合に、このテーブルを参照したり、関係式を用いた演算を行なったりすることにより、対応する修正率を特定することができる。

このｙａｗ方向の傾き度合いと、修正率との対応関係の一例を、図１２にグラフとして示す。例えば、図１２に示すフェイスライン右側用の補正率は、ｙａｗ方向傾き度合いが低いほど（すなわち、ユーザが右側を向いているほど）、低くなるように設定される。これに対して、図１２に示すフェイスライン左側用の補正率は、ｙａｗ方向傾き度合いが高いほど（すなわち、ユーザが左側を向いているほど）、低くなるように設定される。このようにして、設定された対応関係に基づいて修正率を特定した後に、以下の＜ｙａｗ方向補正度合い修正式＞を用いることにより、修正後のアルファ値を算出することができる。

＜ｙａｗ方向補正度合い修正式＞
修正後のアルファ値＝α×修正率／１００

このようにして、修正されたアルファ値に基づいて、元画像を歪曲補正することにより、上述したように、ユーザの左右の顔のバランスを整えるような補正を実現することができる。例えば、図１２の元画像４１では、ユーザが左側を向いている。この場合には、上述したアルファ値の修正により、「フェイスライン右側用（修正前）Ｔ２ａ」が「フェイスライン右側用（修正後）Ｔ２ｂ」のように補正度合いが高くなるように修正される。また、上述したアルファ値の修正により、「フェイスライン左側用（修正前）Ｔ３ａ」が「フェイスライン左側用（修正後）Ｔ３ｂ」のように補正度合いが低くなるように修正される。これにより、画像において手前側となるユーザの右のフェイスラインが、左のフェイスラインに比べて、より歪曲補正されるので、ユーザの右のフェイスラインが、より細顔になる。従って、ユーザの左右の顔のバランスが整う。

このようにして、ｙａｗ方向補正度合いに基づいてアルファ値を修正した後に、歪曲補正を行った場合の一例について図１３を参照して説明する。図１３は、細顔補正処理において、アルファ値を修正した後に、歪曲補正した画像の一例について示す模式図である。図１３（Ｂ）に示すように、アルファ値の修正を行わず歪曲補正を行った場合は、顔が右側に向いているにも関わらず、顔が正面を向いている場合と同様に、顔の左右のフェイスラインが均等に補正される。そのため、左のフェイスラインが強調された画像となる。これに対して、図１３（Ａ）に示すように、上述したようにｙａｗ方向補正度合いに基づいてアルファ値を修正した後に、歪曲補正を行った場合には、顔の右のフェイスラインの補正を抑え、顔の左のフェイスラインがより補正されるので、ユーザの右のフェイスラインが、より細顔になる。従って、ユーザの左右の顔のバランスが整う。

このようにして、本変形例では、例えば、ユーザのフェイスラインの輪郭等を検出するような煩雑な画像解析を行なうことなく、深度情報から傾き度合いを算出して、テンプレートを修正するのみで、ユーザの顔のバランスを整えるような補正を行なうことができる。つまり、本変形例においても、従来に比べて、より簡略な方法にて補正処理を実現することができる。

次に、上述した顔の上下方向軸を中心として左右に回転する場合（すなわち、ヨーイングする場合）におけるアルファ値の修正と同様にして行われる、顔の左右方向軸を中心として上下に回転する場合（すなわち、ピッチングする場合）におけるアルファ値の修正を例にとって説明をする。
この場合、画像解析による顔等の検出と共に、深度情報を取得する。そして、この深度情報に基づいて、図１２に示す顔の左右軸方向４４を中心として上下に回転するピッチング４５における傾き度合い（以下、「ｐｉｔｃｈ方向傾き度合い」と称する。）を特定する。この傾き度合いの特定は、上述したｙａｗ方向傾き度合いと同様に、顔の所定の領域二箇所における深度情報の差分に基づいて算出することができる。この所定の領域は、ｐｉｔｃｈ方向傾き度合いを算出可能な領域同士であれば、特に限定されない。以下では、一例として、ｐｉｔｃｈ方向傾き度合いを、眉間の深度情報（ｄｅｐｔｈ値）と、上唇の深度情報（ｄｅｐｔｈ値）とに基づいて、以下の＜ｐｉｔｃｈ方向傾き度合い算出式＞を用いて算出する。

＜ｐｉｔｃｈ方向傾き度合い算出式＞
ｐｉｔｃｈ＝ｕ＿ｃ－ｄ＿ｃ
但し、
ｕ＿ｃ：眉間のｄｅｐｔｈ値
ｄ＿ｃ：上唇のｄｅｐｔｈ値
ｐｉｔｃｈ：ｐｉｔｃｈ方向の傾き度合い
であるものとする。

次に、このｐｉｔｃｈ方向の傾き度合いに基づいて、顔の所定の領域それぞれに対応するテンプレートのアルファ値を修正する。例えば、ユーザの顎に対応するテンプレートのアルファ値や、ユーザの額に対応するテンプレートのアルファ値を修正する。この修正は、上述したｙａｗ方向傾き度合いと同様に、後段の歪曲補正を行った場合に、ユーザの顔のバランスが整うようにすることを目的として行われる。

例えば、ｐｉｔｃｈ方向の傾き度合いに基づいて、ユーザが上側を向いていると特定できる場合には、ユーザの顎に対応するテンプレートの歪曲補正度合い（すなわち、アルファ値）を上げる。これにより、顎が前に出ているときは顎をより細くするように歪曲補正がなされるので、ユーザの顔のバランスが整う。これに対して、ユーザが下側を向いていると特定できる場合には、ユーザの顎に対応するテンプレートの歪曲補正度合いを下げる。これにより、顎を引いているときは顎が残るように歪曲補正がなされるので、この場合も、ユーザの顔のバランスが整う。

そこで、本変形例では、このように歪曲補正がなされるように、アルファ値を修正する。そのために、上述したｙａｗ方向傾き度合いと同様に、テンプレート毎に、ｐｉｔｃｈ方向の傾き度合いと、修正率との対応関係を予め設定しておく。例えば、顎のテンプレートの補正率は、ｐｉｔｃｈ方向傾き度合いが低いほど（すなわち、ユーザが下側を向いているほど）、低くなるように設定される。これに対して、顎のテンプレートの補正率は、ｐｉｔｃｈ方向傾き度合いが高いほど（すなわち、ユーザが上側を向いているほど）、高くなるように設定される。このようにして、設定された対応関係に基づいて修正率を特定した後に、以下の＜ｐｉｔｃｈ方向補正度合い修正式＞を用いることにより、修正後のアルファ値を算出することができる。

＜ｐｉｔｃｈ方向補正度合い修正式＞
修正後のアルファ値＝α×修正率／１００

このようにして、ｐｉｔｃｈ方向補正度合いに基づいてアルファ値を修正した場合にも、上述したｙａｗ方向傾き度合いに基づいてアルファ値を修正した場合と同様に、ユーザの顔のバランスを整えるような補正を実現することができる。

このようにして、ｐｉｔｃｈ方向補正度合いに基づいてアルファ値を修正した後に、歪曲補正を行った場合の一例について図１４及び図１５を参照して説明する。図１４及び図１５は共に、細顔補正処理において、アルファ値を修正した後に、歪曲補正した画像の他の一例について示す模式図である。

図１４（Ｂ）に示すように、アルファ値の修正を行わず歪曲補正を行った場合は、顔が下を向いており顎の面積が顔全体において相対的に小さくなっているにも関わらず、顔が正面を向いている場合と同様に顎が補正される。そのため、顎が残らない画像となる。これに対して、図１４（Ａ）に示すように、上述したようにｐｉｔｃｈ方向補正度合いに基づいてアルファ値を修正した後に、歪曲補正を行った場合には、顎の補正が抑えられるので、顔全体と顎とのバランスが整う。

また、図１５（Ｂ）に示すように、アルファ値の修正を行わず歪曲補正を行った場合は、顔が上を向いており顎の面積が顔全体において相対的に大きくなっているにも関わらず、顔が正面を向いている場合と同様に顎が補正される。そのため、顎が目立つ画像となる。これに対して、図１５（Ａ）に示すように、上述したようにｐｉｔｃｈ方向補正度合いに基づいてアルファ値を修正した後に、歪曲補正を行った場合には、顎がより補正されるので、顔全体と顎とのバランスが整う。

以上、本変形例におけるアルファ値の修正について説明した。なお、本変形例において、１つのテンプレートに対して、ｐｉｔｃｈ方向補正度合いに基づいたアルファ値の修正と、ｙａｗ方向傾き度合いに基づいたアルファ値の修正の何れかを行ってもよいし、双方を行ってもよい。また、テンプレートごとにそれぞれ異なる方向の補正度合いに基づいたアルファ値の修正を行ってもよい。

＜変形例４の動作＞
図１６は、図３の機能的構成を有する図１の撮像装置１が実行する、本変形例における細顔補正処理の流れを説明するフローチャートである。なお、本変形例における機能ブロックは、図３を参照して上述した機能ブロックと基本的に同様である。ただし、以下の動作を行なうための機能を更に備えている。

ステップＳ１１において、画像取得部５１は、撮像部１６により撮像された画像に現像処理が行われた撮像画像のデータ、或いは画像記憶部６１から処理対象となる画像を取得する。この際に、本変形例では、画像取得部５１は、元画像と共に、この元画像に対応する深度情報の取得も行なう。

ステップＳ１２において、顔検出部５２は、処理対象となる画像において顔検出を行い、顔が検出されたか否かを判定する。
顔が検出されなかった場合には、ステップＳ１２においてＮＯと判定されて、細顔補正処理は終了する。
顔が検出された場合には、ステップＳ１２においてＹＥＳと判定されて、処理はステップＳ１３に進む。

ステップＳ１３において、顔検出部５２は、テンプレートに対応する顔の所定の器官と所定の部位とを検出する。この際に、本変形例では、顔検出部５２は、検出した所定の器官や所定の部位（例えば、上述した、左の頬下や、右の頬下や、眉間や、上唇）の深度情報の検出も行なう。

ステップＳ１４において、適合位置特定部５３は、元画像における、テンプレートに適合する座標を特定する。

ステップＳ２１において、適合位置特定部５３は、顔検出部５２が検出した所定の器官や所定の部位の深度情報に基づいて、上述した＜アルファ値の修正＞のようにして、傾き度合いを特定する。

ステップＳ２２において、適合位置特定部５３は、ステップＳ２１において特定された傾き度合いに基づいて、上述した＜アルファ値の修正＞のようにして、各テンプレートのアルファ値を修正する。

ステップＳ１５において、アルファマップ作成部５４は、ステップＳ２２において修正後のアルファ値と、テンプレートに適合する座標に基づいて、アルファマップを作成する。

ステップＳ１６において、歪曲補正処理部５５は、アルファマップを適用した歪曲補正を行う。
その後、細顔補正処理が終了する。

以上説明した動作により、図１３、図１４、及び図１５を参照して上述したような、ユーザの顔のバランスが整った画像が生成される。
このようにして、本変形例では、例えば、ユーザのフェイスラインの輪郭等を検出するような煩雑な画像解析を行なうことなく、深度情報から傾き度合いを算出して、テンプレートを修正するのみで、ユーザの顔のバランスを整えるような補正を行なうことができる。つまり、本変形例においても、従来に比べて、より簡略な方法にて補正処理を実現することができる。

［他の変形例］
また、上述の実施形態では、本発明が適用される撮像装置１は、デジタルカメラを例として説明したが、特にこれに限定されない。
例えば、本発明は、画像処理機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、スマートフォン、ポータブルゲーム機等に適用可能である。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図３の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が撮像装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図３の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
本実施形態における機能的構成は、演算処理を実行するプロセッサによって実現され、本実施形態に用いることが可能なプロセッサには、シングルプロセッサ、マルチプロセッサ及びマルチコアプロセッサ等の各種処理装置単体によって構成されるものの他、これら各種処理装置と、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ‐Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の処理回路とが組み合わせられたものを含む。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。

このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図１のリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア３１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、または光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ－Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ
Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ），Ｂｌｕ－ｒａｙ（登録商標） Ｄｉｓｃ（ブルーレイディスク）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ－Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ１２や、図１の記憶部１９に含まれるハードディスク等で構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。

以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
所定の被写体が写った画像を取得する取得手段と、
前記所定の被写体の補正対象領域に対応した形状内における各位置の補正度合いであって、各位置で変化する補正度合いを含むテンプレートを記憶する記憶手段と、
前記画像内の前記テンプレートに適合する座標を特定する特定手段と、
前記特定手段が特定した座標と、前記テンプレートに含まれる補正度合いとに基づいて、前記画像に対して補正を行う補正手段と、
を有することを特徴とする画像処理装置。
［付記２］
前記特定手段は、
前記画像を解析することにより、前記所定の被写体の第１特徴点に対応する座標と、前記所定の被写体の第２特徴点に対応する座標とを検出し、
前記検出した第１特徴点の座標に基づいて前記テンプレートにおける基点に適合する座標を特定し、前記検出した第２特徴点の座標に基づいて前記テンプレートにおける輪郭に適合する座標を特定する、
ことを特徴とする付記１に記載の画像処理装置。
［付記３］
前記特定手段は、
前記第１特徴点の座標に前記テンプレートの基点を配置し、配置した前記テンプレートの前記基点を回転中心として前記テンプレートを回転させることにより前記テンプレートに適合する座標を特定する、
ことを特徴とする付記２に記載の画像処理装置。
［付記４］
前記特定手段は、
前記検出した第２特徴点の座標と、前記テンプレートにおける輪郭とに基づいて、前記テンプレートの輪郭の形状を維持した拡大又は縮小を行う、
ことを特徴とする付記２又は３に記載の画像処理装置。
［付記５］
前記特定手段は、
前記テンプレートに含まれる補正度合いの変更は行わない、
ことを特徴とする付記４に記載の画像処理装置。
［付記６］
前記特定手段は、前記画像内における前記被写体の状態を特定し、該特定した前記被写体の状態に基づいて、前記テンプレートに含まれる補正度合いを修正し、
前記補正手段は、前記特定手段が修正した補正度合いと、前記特定手段が特定した座標とに基づいて前記画像に対して補正を行う、
ことを特徴とする付記１乃至４の何れか１に記載の画像処理装置。
［付記７］
前記特定手段は、前記画像内における前記被写体の第１領域の深度と、前記画像内における前記被写体の第２領域の深度との差分に基づいて、前記被写体の状態として前記被写体の傾き度合いを特定する、
ことを特徴とする付記６に記載の画像処理装置。
［付記８］
前記補正手段は、
前記画像に対する補正として、少なくとも、前記テンプレートに含まれる補正度合いに対応した補正度合いで、前記画像の座標を移動することにより歪曲補正を行う、
ことを特徴とする付記１乃至７の何れか１に記載の画像処理装置。
［付記９］
前記記憶手段は、複数の異なる補正対象領域それぞれに対応した複数の前記テンプレートを記憶しており、
前記特定手段は、複数の前記テンプレートについて適合する座標を、複数の前記テンプレートそれぞれ毎に独立して特定する、
ことを特徴とする付記１乃至８の何れか１に記載の画像処理装置。
［付記１０］
前記所定の被写体は顔であり、
前記補正対象領域は、顔の器官又は顔の部位である、
ことを特徴とする付記１乃至９の何れか１に記載の画像処理装置。
［付記１１］
前記テンプレートは、当該テンプレートの輪郭内の輪郭周辺の部分が前記テンプレートの中央部分よりも補正の度合いが抑えられるように、前記補正の度合いが設定されていることを特徴とする付記１乃至１０の何れか１に記載の画像処理装置。
［付記１２］
所定の被写体が写った画像を取得する取得ステップと、
前記所定の被写体の補正対象領域に対応した形状内における各位置の補正度合いであって、各位置で変化する補正度合いを含むテンプレートを記憶する記憶ステップと、
前記画像内の前記テンプレートに適合する座標を特定する特定ステップと、
前記特定ステップにおいて特定した座標と、前記テンプレートに含まれる補正度合いとに基づいて、前記画像に対して補正を行う補正ステップと、
を有することを特徴とする画像処理方法。
［付記１３］
コンピュータに、
所定の被写体が写った画像を取得する取得機能と、
前記所定の被写体の補正対象領域に対応した形状内における各位置の補正度合いであって、各位置で変化する補正度合いを含むテンプレートを記憶する記憶機能と、
前記画像内の前記テンプレートに適合する座標を特定する特定機能と、
前記特定機能が特定した座標と、前記テンプレートに含まれる補正度合いとに基づいて、前記画像に対して補正を行う補正機能と、
を実現させることを特徴とする画像処理プログラム。

１・・・撮像装置，１１・・・ＣＰＵ，１２・・・ＲＯＭ，１３・・・ＲＡＭ，１４・・・バス，１５・・・入出力インターフェース，１６・・・撮像部，１７・・・入力部，１８・・・出力部，１９・・・記憶部，２０・・・通信部，２１・・・ドライブ，２２・・・照明部，３１・・・リムーバブルメディア，５１・・・画像取得部，５２・・・顔検出部，５３・・・適合位置特定部，５４・・・アルファマップ作成部，５５・・・歪曲補正処理部，６１・・・画像記憶部，６２・・・テンプレート記憶部

上記目的を達成するため、本発明に係る第１の態様の画像処理装置は、所定の深度情報が対応付けられている画像を取得する取得手段と、前記深度情報に基づいて、前記画像に写った人物の顔の傾きを検出する検出手段と、前記画像のなかの顔におけるフェイスラインを、前記検出手段により検出された前記顔の傾きに対応させた補正度合いで補正する補正手段と、を備えることを特徴とする。
また、本発明に係る第２の態様の画像処理装置は、所定の深度情報が対応付けられている画像を取得する取得手段と、前記深度情報に基づいて、前記画像に写った人物の顔が顎を上げた状態であるのか顎を引いた状態であるのかを検出する検出手段と、前記画像のなかの顔におけるフェイスラインを、前記画像のなかの顔が前記検出手段により顎を上げた状態であると検出された場合と顎を引いた状態であると検出された場合との間で互いに異なる補正度合いで補正する補正手段と、を備えることを特徴とする。
また、本発明に係る第１の態様の画像処理方法は、画像処理装置が実行する画像処理方法であって、所定の深度情報が対応付けられている画像を取得する取得処理と、前記深度情報に基づいて、前記画像に写った人物の顔の傾きを検出する検出処理と、前記画像のなかの顔におけるフェイスラインを、前記検出処理で検出された前記顔の傾きに対応させた補正度合いで補正する補正処理と、を含むことを特徴とする。
また、本発明に係る第２の態様の画像処理方法は、画像処理装置が実行する画像処理方法であって、所定の深度情報が対応付けられている画像を取得する取得処理と、前記深度情報に基づいて、前記画像に写った人物の顔が顎を上げた状態であるのか顎を引いた状態であるのかを検出する検出処理と、前記画像のなかの顔におけるフェイスラインを、前記画像のなかの顔が前記検出処理で顎を上げた状態であると検出された場合と顎を引いた状態であると検出された場合との間で互いに異なる補正度合いで補正する補正処理と、を含むことを特徴とする。
また、本発明に係る第１の態様の画像処理プログラムは、コンピュータを、所定の深度情報が対応付けられている画像を取得する取得手段、前記深度情報に基づいて、前記画像に写った人物の顔の傾きを検出する検出手段、前記画像のなかの顔におけるフェイスラインを、前記検出手段により検出された前記顔の傾きに対応させた補正度合いで補正する補正手段、として機能させることを特徴とする。
また、本発明に係る第２の態様の画像処理プログラムは、コンピュータを、所定の深度情報が対応付けられている画像を取得する取得手段、前記深度情報に基づいて、前記画像に写った人物の顔が顎を上げた状態であるのか顎を引いた状態であるのかを検出する検出手段、前記画像のなかの顔におけるフェイスラインを、前記画像のなかの顔が前記検出手段により顎を上げた状態であると検出された場合と顎を引いた状態であると検出された場合との間で互いに異なる補正度合いで補正する補正手段、として機能させることを特徴とする。

Claims (13)

1. 所定の被写体が写った画像を取得する取得手段と、
   前記所定の被写体の補正対象領域に対応した形状内における各位置の補正度合いであって、各位置で変化する補正度合いを含むテンプレートを記憶する記憶手段と、
   前記画像内の前記テンプレートに適合する座標を特定する特定手段と、
   前記特定手段が特定した座標と、前記テンプレートに含まれる補正度合いとに基づいて、前記画像に対して補正を行う補正手段と、
   を有することを特徴とする画像処理装置。
2. 前記特定手段は、
   前記画像を解析することにより、前記所定の被写体の第１特徴点に対応する座標と、前記所定の被写体の第２特徴点に対応する座標とを検出し、
   前記検出した第１特徴点の座標に基づいて前記テンプレートにおける基点に適合する座標を特定し、前記検出した第２特徴点の座標に基づいて前記テンプレートにおける輪郭に適合する座標を特定する、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記特定手段は、
   前記第１特徴点の座標に前記テンプレートの基点を配置し、配置した前記テンプレートの前記基点を回転中心として前記テンプレートを回転させることにより前記テンプレートに適合する座標を特定する、
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記特定手段は、
   前記検出した第２特徴点の座標と、前記テンプレートにおける輪郭とに基づいて、前記テンプレートの輪郭の形状を維持した拡大又は縮小を行う、
   ことを特徴とする請求項２又は３に記載の画像処理装置。
5. 前記特定手段は、
   前記テンプレートに含まれる補正度合いの変更は行わない、
   ことを特徴とする請求項４に記載の画像処理装置。
6. 前記特定手段は、前記画像内における前記被写体の状態を特定し、該特定した前記被写体の状態に基づいて、前記テンプレートに含まれる補正度合いを修正し、
   前記補正手段は、前記特定手段が修正した補正度合いと、前記特定手段が特定した座標とに基づいて前記画像に対して補正を行う、
   ことを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
7. 前記特定手段は、前記画像内における前記被写体の第１領域の深度と、前記画像内における前記被写体の第２領域の深度との差分に基づいて、前記被写体の状態として前記被写体の傾き度合いを特定する、
   ことを特徴とする請求項６に記載の画像処理装置。
8. 前記補正手段は、
   前記画像に対する補正として、少なくとも、前記テンプレートに含まれる補正度合いに対応した補正度合いで、前記画像の座標を移動することにより歪曲補正を行う、
   ことを特徴とする請求項１乃至７の何れか１項に記載の画像処理装置。
9. 前記記憶手段は、複数の異なる補正対象領域それぞれに対応した複数の前記テンプレートを記憶しており、
   前記特定手段は、複数の前記テンプレートについて適合する座標を、複数の前記テンプレートそれぞれ毎に独立して特定する、
   ことを特徴とする請求項１乃至８の何れか１項に記載の画像処理装置。
10. 前記所定の被写体は顔であり、
    前記補正対象領域は、顔の器官又は顔の部位である、
    ことを特徴とする請求項１乃至９の何れか１項に記載の画像処理装置。
11. 前記テンプレートは、当該テンプレートの輪郭内の輪郭周辺の部分が前記テンプレートの中央部分よりも補正の度合いが抑えられるように、前記補正の度合いが設定されていることを特徴とする請求項１乃至１０の何れか１項に記載の画像処理装置。
12. 所定の被写体が写った画像を取得する取得ステップと、
    前記所定の被写体の補正対象領域に対応した形状内における各位置の補正度合いであって、各位置で変化する補正度合いを含むテンプレートを記憶する記憶ステップと、
    前記画像内の前記テンプレートに適合する座標を特定する特定ステップと、
    前記特定ステップにおいて特定した座標と、前記テンプレートに含まれる補正度合いとに基づいて、前記画像に対して補正を行う補正ステップと、
    を有することを特徴とする画像処理方法。
13. コンピュータに、
    所定の被写体が写った画像を取得する取得機能と、
    前記所定の被写体の補正対象領域に対応した形状内における各位置の補正度合いであって、各位置で変化する補正度合いを含むテンプレートを記憶する記憶機能と、
    前記画像内の前記テンプレートに適合する座標を特定する特定機能と、
    前記特定機能が特定した座標と、前記テンプレートに含まれる補正度合いとに基づいて、前記画像に対して補正を行う補正機能と、
    を実現させることを特徴とする画像処理プログラム。

Images