JP2009237627A - 画像処理方法、画像処理装置、画像処理プログラムおよび印刷装置 - Google Patents

Abstract

【課題】わざとらしくない顔補正を行う。
【解決手段】画像に含まれる顔画像についての画像処理方法において、まず補正対象の顔画像を対象顔画像として取得する（ステップＳ１００）。次に、補正目標とする顔画像を目標顔画像として取得する（ステップＳ１１０）。さらに、前記対象顔画像に含まれる各特徴点の位置が、前記目標顔画像に含まれる各対応特徴点の位置に近づくように補正する（ステップＳ２１０）にあたり、各対応特徴点の位置に近づける程度を各特徴点ごとに異ならせる（ステップＳ１９０）。
【選択図】図３

Description

本発明は、画像処理方法、画像処理装置、画像処理プログラムおよび印刷装置に関し、特に画像に含まれる顔画像についての画像処理方法、画像処理装置、画像処理プログラムおよび印刷装置に関する。

顔画像を補正する際に具体的な補正方針をユーザーが指示することは困難であることにかんがみて、あいまいな概念による補正指示に基づいて顔画像を補正することが可能な画像処理方法が提案されている（特許文献１、２、参照。）これらの文献においては、具体的な補正方針があいまいな概念による補正指示に対応付けられており、あいまいな概念による補正指示に基づいて具体的な補正方針を呼び出し、当該補正方針に基づいて顔画像を補正することとしている。
特開２００４−３２６２８０号公報 特開２００７−１７３７３０号公報

しかしながら、あいまいな概念による補正指示をするにあたっても、各ユーザーが捉えるあいまいな概念には個人差が生じる場合があり、ユーザーの希望が補正指示に反映されないこともあった。例えば、『かわいい』という概念がユーザーによって異なっており、『かわいい』という補正指示をしたにも拘わらず、あるユーザーにとっては『かわいい』とは感じられない補正結果となるような場合も考えられる。すなわち、言葉から生じる概念が各ユーザーで異なるため、補正方針を言葉で指示する以上は、ユーザー間で補正結果の満足度にはらつきが生じることは避けられないという問題があった。これに対して、理想的な顔画像を指定し、その顔画像に近づくように対象の顔画像を補正するようにすれば、理想的な顔画像をそのまま補正目標とすることができる。しなしながら、単に理想的な顔画像を補正目標とすると、補正結果が理想的な顔画像に全体的に似ることとなり、補正目標があからさまに特定されてしまうという問題があった。すなわち、理想的な顔画像に全体的に似せることにより、補正対象の顔よりも補正目標の顔らしくなってしまうという問題があった。

本発明は、前記課題にかんがみてなされたもので、わざとらしくない顔補正を行う画像処理方法、画像処理装置、画像処理プログラムおよび印刷装置の提供を目的とする。

上記課題を解決するために、本発明は、まず補正対象の顔画像を対象顔画像として取得するとともに、補正目標とする顔画像を目標顔画像として取得する。そして、前記対象顔画像に含まれる各特徴点の位置が、前記目標顔画像に含まれる各対応特徴点の位置に近づくように補正する。このようにすることにより、前記対象顔画像を前記目標顔画像に似せることができ、前記目標顔画像に近い補正結果を得ることができる。当該補正において、前記目標顔画像の各対応特徴点の位置に近づける程度を各特徴点ごとに決定する。このようにすることにより、前記対象顔画像の各特徴点が一様に前記目標顔画像の各対応特徴点に近づくことが防止でき、前記目標顔画像に似せようとする補正がわざとらしくなることが防止できる。

さらに、前記目標顔画像に含まれる各特徴点の位置と補正前の各対応特徴点の位置の類似性を各特徴点について判定し、この類似性に応じて各対応特徴点の位置に近づける程度を各特徴点ごとに異ならせるようにしてもよい。すなわち、各特徴点の位置が、もともと前記目標顔画像の各対応特徴点の位置に似ているか否かによって、前記対象顔画像の各特徴点の位置を前記目標顔画像の各対応特徴点の位置に近づける程度を異ならせる。各特徴点の位置の類似性は、各特徴点によって異なるため、各特徴点が一様に前記目標顔画像の各対応特徴点に近づくことが防止できる。

特に、前記類似性が高い特徴点ほど前記対応特徴点の位置に近づける程度を大きくすることにより、もともと類似していた特徴点を確実に前記対応特徴点に近づけることができる。さらに、前記類似性が所定の閾値よりも大きい特徴点に限り、前記対応特徴点の位置に近づけるようにしてもよい。このようにすれば、前記類似性が低い特徴点を前記対応特徴点の位置に無理に近づけることが防止できるため、わざとらしくない補正を実現することができる。

以上とは反対に、前記類似性が低い特徴点ほど前記対応特徴点の位置に近づける程度を大きくするようにしてもよい。このようにすることにより、もともと似ていない特徴点の位置を、重点的に前記目標顔画像の各対応特徴点の位置に近づくようにすることができる。従って、補正結果の前記目標顔画像への類似性を高くすることができる。その反面、わざとらしい補正結果となるが、わざとらしい補正結果を望む場合もあるため、このようなモードを選択できるようにしてもよい。

さらに、本発明の技術的思想は、具体的な画像処理方法にて具現化されるのみならず、当該方法を画像処理装置において具現化することもできる。すなわち、上述した画像処理方法が行う各工程に対応する手段を有する画像処理装置としても本発明を特定することができる。むろん、上述した画像処理装置がプログラムを読み込んで上述した各手段を実現する場合には、当該各手段に対応する機能を実行させるプログラムや当該プログラムを記録した各種記録媒体においても本発明の技術的思想が具現化できることは言うまでもない。なお、本発明の画像処理装置は、単一の装置のみならず、複数の装置によって分散して存在可能であることはいうまでもない。また、プリンタ等の印刷装置やデジタルスチルカメラ等の画像入力装置において本発明の画像処理方法を実現するようにしてもよい。

以下、下記の順序に従って本発明の実施形態を説明する。
１．画像処理装置の構成：
２．画像処理の流れ：
３．まとめおよび変形例：
３−１．変形例１：
３−２．変形例２：

１．画像処理装置の構成
図１は、本発明の一実施形態にかかる画像処理装置を具体的に実現するコンピュータの構成を示している。同図において、コンピュータ１０はＣＰＵ１１とＲＡＭ１２とＲＯＭ１３とハードディスクドライブ（ＨＤＤ）１４と汎用インターフェイス（ＧＩＦ）１５とビデオインターフェイス（ＶＩＦ）１６と入力インターフェイス（ＩＩＦ）１７とバス１８とから構成されている。バス１８は、コンピュータ１０を構成する各要素１１〜１７の間でのデータ通信を実現するものであり、図示しないチップセット等によって通信が制御されている。ＨＤＤ１４には、オペレーティングシステム（ＯＳ）を含む各種プログラムを実行するためのプログラムデータ１４ａが記憶されており、当該プログラムデータ１４ａをＲＡＭ１２に展開しながらＣＰＵ１１が当該プログラムデータ１４ａに準じた演算を実行する。

また、ＨＤＤ１４には、デジタルスチルカメラやスキャナによって画像入力された画像データ１４ｂが記憶されている。ＧＩＦ１５は、例えばＵＳＢ規格に準じたインターフェイスを提供するものであり、外部のプリンタ２０をコンピュータ１０に接続させている。ＶＩＦ１６はコンピュータ１０を外部のディスプレイ４０に接続し、ディスプレイ４０に画像を表示するためのインターフェイスを提供する。ＩＩＦ１７はコンピュータ１０を外部のキーボード５０ａとマウス５０ｂに接続し、キーボード５０ａとマウス５０ｂからの入力信号をコンピュータ１０が取得するためのインターフェイスを提供する。

図２は、コンピュータ１０において実行されるプログラムのソフトウェア構成を示している。同図において、オペレーティングシステム（ＯＳ）ＰＧ１と画像処理アプリケーションＰＧ２とプリンタドライバＰＧ３が実行されている。ＯＳ Ｐ１は各プログラム間のインターフェイスを提供し、プリンタドライバＰＧ３はプリンタ２０を制御するための処理を実行する。画像処理アプリケーションＰＧ２は、補正対象取得部ＰＧ２ａと補正目標取得部ＰＧ２ｂと顔画像抽出部ＰＧ２ｃと特徴点抽出部ＰＧ２ｄと類否判定部ＰＧ２ｅと補正部ＰＧ２ｆとから構成されている。画像処理アプリケーションＰＧ２を構成する各モジュールＰＧ２ａ〜ＰＧ２ｆが実行する処理の詳細については後述する画像処理の流れとともに説明する。

２．画像処理の流れ
図３は、本実施例にかかる画像処理の流れを示している。ステップＳ１００においては、補正対象取得部ＰＧ２ａが所定のＵＩ画面をディスプレイ４０に表示させるとともに、キーボード５０ａとマウス５０ｂから操作を受け付ける。それにより、ＨＤＤ１４等に記憶された複数の画像データ１４ｂのなかからユーザーが補正したい顔画像を含む画像データ１４ｂを取得し、さらに当該画像データ１４ｂからユーザーが補正したい顔画像が含まれる領域を取得する。同様にステップＳ１１０においては、補正目標取得部ＰＧ２ｂがＨＤＤ１４等に記憶された複数の画像データ１４ｂのなかからユーザーが補正の目標としたい顔画像を含む画像データ１４ｂを取得し、さらに当該画像データ１４ｂからユーザーが補正の目標としたい顔画像が含まれる領域を取得する。

図４は、ステップＳ１００，Ｓ１１０において表示されるＵＩ画面の一例を示している。当該ＵＩ画面においては、補正したい顔画像を指定するための対象指定領域Ａ１と、補正の目標としたい顔画像を指定するための目標指定領域Ａ２が設けられている。対象指定領域Ａ１においては、単一の画像データ１４ｂのファイルを指定するためのファイル指定領域と、指定された画像データ１４ｂのサムネイルを表示させるプレビュー領域が設けられている。これにより、ユーザーが所望の画像データ１４ｂが指定できたか否かを確認することができる。さらに、前記サムネイルにてマウス５０ｂをドラッグ／ドロップさせることによって、所望の顔画像が含まれる矩形領域を指定することが可能となっている。ステップＳ１００では、補正対象取得部ＰＧ２ａが当該矩形領域内の画像データを対象顔画像データＭＦとして取得する。

一方、目標指定領域Ａ２においても、画像データ１４ｂのファイルを指定するためのファイル指定領域と、指定された画像データ１４ｂのサムネイルを表示させるプレビュー領域が設けられている。目標指定領域Ａ２では、複数の画像データ１４ｂを追加指定できるように、追加ボタン設けられている。このようにすることにより、複数または同一の画像データ１４ｂから複数の顔画像を矩形領域によって指定することができる。補正目標取得部ＰＧ２ｂは、各プレビュー領域にて指定された矩形領域内の画像データを目標候補顔画像データＴＦとして取得する。なお、本実施形態では５個の目標候補顔画像データＴＦ１〜ＴＦ５が取得されたものとする。

以上のようにして、対象顔画像データＭＦと目標候補顔画像データＴＦ１〜ＴＦ５が取得できると、ステップＳ１３０では顔画像抽出部ＰＧ２ｃが、画像データＭＦと目標候補顔画像データＴＦ１〜ＴＦ５を解析して、人物の顔が写っている部分を抽出する処理を行う。顔が写っている部分を抽出する方法には、種々の方法が提案されているが、大まかには次のようにして抽出することができる。

まず、画像データの中から、写っている物体の輪郭部分を抽出する。輪郭の抽出に際しては、メディアンフィルタなどの二次元フィルタを用いてノイズを除去したり、コントラストやエッジを強調した後、二値化を行い、得られた二値化像の境界部分を物体の輪郭として抽出する。次いで、抽出した輪郭の中で、明らかに人物の顔ではないと思われるものを除外する処理を行う。例えば、抽出した輪郭の中で直線の割合が大きい物体については、いわゆる人工物である可能性が高く、人物の顔である可能性はほとんどない。このように、明らかに人物の顔ではないと判断できる物体を除外しておき、残った物体について、輪郭の形状から「目」、「口」、「鼻」などと思われる物体を抽出していく。

もし、これらの物体が本当に「目」、「口」、「鼻」などであれば、互いに所定の位置関係にあるはずである。例えば、「口」と思わしき物体が抽出されたとき、上方に「目」や「鼻」と思われる物体（あるいは明らかに「目」または「鼻」であると判断できる物体）が存在していれば、抽出された物体は「口」であると判断することができる。同様に「目」と思わしき物体についても、本当に「目」であれば、多くの場合、近くに同じ向きの「目」らしき物体が存在しているはずである。このようにして、輪郭から「目」、「口」、「鼻」などと思われる物体を抽出し、抽出した物体の中から、互いの位置関係を考慮することによって「目」、「口」、「鼻」などを特定することができる。そして最後に、一組ずつの「目」、「口」、「鼻」などを包含する顔の輪郭部分を抽出すれば、対象顔画像データＭＦと目標候補顔画像データＴＦ１〜ＴＦ５において人物の顔が写っている部分（顔画像）を抽出することが可能となる。

図５は、このようにして画像中で人物の顔が写っている部分が抽出された様子を示している。図中に破線で示した矩形の領域が、人物の顔面が写っている領域となる。なお、対象顔画像データＭＦと目標候補顔画像データＴＦ１〜ＴＦ５は、もともとユーザーによって顔画像が含まれる領域を指定したものであるが、ステップＳ１３０を実行することにより、厳密に顔画像の領域のみを抽出した対象顔画像データＭＦと目標候補顔画像データＴＦ１〜ＴＦ５に加工することができる。なお、ステップＳ１３０においてはそれぞれ解像度変換を行うことにより、対象顔画像データＭＦと目標候補顔画像データＴＦ１〜ＴＦ５の大きさを揃えている。従って、対象顔画像データＭＦと目標候補顔画像データＴＦ１〜ＴＦ５に含まれる顔画像の大きさも一様となっている。以上のようにして顔画像を抽出したら、抽出した顔画像を構成している目や、唇、眉毛、頬などの所定の顔器官の特徴点の位置を検出する処理を特徴点抽出部ＰＧ２ｄが開始する（ステップＳ１４０）。もちろん、顔画像を構成する他の部分（例えば、頬骨や、額、あごなど）を、顔器官として検出することとしても良い。

図６は、抽出した顔面の中から所定の特徴点（対応特徴点）を検出している様子を示す説明図である。まず、左右の目の位置（中心位置）Ｐ１，Ｐ２の中点の位置Ｐ３を検出し、この位置を鼻の付け根の位置とする。そして、鼻の付け根の位置Ｐ３から、その鉛直下方（ｙ方向）にある鼻の先端の位置Ｐ４を検出し、さらにその鉛直下方向（ｙ方向）を探索することにより、口の位置（中心位置）Ｐ５を検出する。次いで、鼻の先端の位置Ｐ４から左右水平方向（ｘ方向）に探索して顔の輪郭の位置Ｐ６，Ｐ７を検出する。さらに、鼻の先端の位置Ｐ４の鉛直下方（ｙ方向）において、あごの最下点の位置Ｐ８を検出する。各位置Ｐｉが本発明の特徴点の位置に相当し、特に目標候補顔画像データＴＦ１〜ＴＦ５の各特徴点が本発明の対応特徴点に相当する。対象顔画像データＭＦと目標候補顔画像データＴＦ１〜ＴＦ５のそれぞれについて特徴点（対応特徴点）の位置Ｐｉ（ｉ＝１〜８）が検出できると、ステップＳ１５０において特徴点（対応特徴点）の位置Ｐｉ（ｉ＝１〜８）を正規化された座標に変換する。

図７は、特徴点（対応特徴点）の位置Ｐｉ（ｉ＝１〜８）を変換する様子を示している。同図において、鼻の付け根の位置Ｐ３（ｘ _P3，ｙ _P3）を基準位置Ｐ３とする。そして、基準位置Ｐ３とあごの最下点の位置Ｐ８との距離を鉛直基準距離ｖｓｄとして算出する。さらに、左右の顔の輪郭の位置Ｐ６，Ｐ７との距離を水平基準距離ｈｓｄとして算出する。そして、各特徴点（対応特徴点）の位置Ｐｉの座標を鉛直基準距離ｖｓｄと水平基準距離ｈｓｄによって各方向について正規化するとともに、基準位置Ｐ３（ｘ _P3，ｙ _P3）を原点（０，０）とした座標に変換する。変換前の任意の特徴点（対応特徴点）の位置をＰｉ（ｘ_Pi，ｙ_Pi）と表し、変換後の各特徴点（対応特徴点）の位置ｐｉ（ｘ_pi，ｙ_pi）と表すものとする。変換後の各特徴点（対応特徴点）の位置ｐｉ（ｘ_pi，ｙ_pi）は下記の（１）式によって表される。

次のステップＳ１６０にて、対象顔画像データＭＦの各特徴点の位置ｐｉ（ｘ_pi，ｙ_pi）と、目標候補顔画像データＴＦ１〜ＴＦ５の各対応特徴点の位置ｐｉ（ｘ_pi，ｙ_pi）との距離Ｄｉ（ユークリッド距離）を算出する。なお、対象顔画像データＭＦの各特徴点の位置ｐｉ（ｘ_pi，ｙ_pi）を特に位置ｐｍｉ（ｘ_pmi，ｙ_pmi）と表記し、これら対応する目標候補顔画像データＴＦ１〜ＴＦ５の各対応特徴点の位置ｐｉ（ｘ_pi，ｙ_pi）を特に位置ｐｔｉ（ｘ_pti，ｙ_pti）と表記するものとする。

なお、鼻の付け根の位置ｐ３（ｘ _p3，ｙ _p3）は常に原点（０，０）であり、あごの最下点の位置ｐ８（ｘ _p8，ｙ _p8）は（０，１）となるように座標が変換されているため、Ｄ３＝Ｄ９＝０となる。ステップＳ１７０においては、各目標候補顔画像データＴＦ１〜ＴＦ５について、下記の（３）式によって類否評価値Ｅを算出する。

上記の（３）式において、ｗｉは各特徴点（対応特徴点）についての重み係数である。類否評価値Ｅは、各目標候補顔画像データＴＦ１〜ＴＦ５の各対応特徴点の位置ｐｔｉと対象顔画像データＭＦの各特徴点の位置ｐｍｉが近いほど大きくなる性質を有し、類否評価値Ｅが大きいほど目標候補顔画像データＴＦ１〜ＴＦ５と対象顔画像データＭＦが示す顔画像が互いに類似性が高いと判定することができる。なお、本実施形態では、重み係数がｗ１，ｗ２＞ｗ３〜ｗ８とされており、類否評価値Ｅにて目の位置ｐ１，ｐ２についての距離Ｄ１，Ｄ２が他のものより重視されるように設定されている。

ステップＳ１８０においては、類否判定部ＰＧ２ｅが各目標候補顔画像データＴＦ１〜ＴＦ５のうち類否評価値Ｅが最も大きいものを目標顔画像データＴＴＦとして特定する。すなわち、補正目標とする顔画像の候補から各特徴点の位置ｐｍｉと各対応特徴点の位置ｐｔｉが最も類似するものを、最終的に補正目標とする顔画像を示す目標顔画像データＴＴＦとして特定する。目標顔画像データＴＴＦが特定できると、補正部ＰＧ２ｆがステップＳ１９０にて対象顔画像データＭＦの各特徴点Ｐｉを移動させる移動量割合ｍｉを決定する。

図８は、特徴点の移動量割合ｍｉと距離Ｄｉとの関係を示している。同図において、横軸にある特徴点についての距離Ｄｉを示し、縦軸に当該特徴点についての移動量割合ｍｉを示している。移動量割合ｍｉは、距離Ｄｉが０のとき１となり、距離Ｄｉの増加とともに単調的に減少する。そして、距離Ｄｉが所定の閾値Ｔｈを超えたとき、移動量割合ｍｉが０となる。なお、Ｄ３＝Ｄ８＝０であるため、これらの特徴点については移動量割合ｍｉも０となる。以上のようにして、各特徴点について移動量割合ｍｉを決定すると、ステップＳ２００にて対象顔画像データＭＦの特徴点の移動量、移動方向を決定する。

図９は、特徴点の移動量を決定する様子を示している。同図において、対象顔画像データＭＦと目標顔画像データＴＴＦが鼻の付け根の位置に対応する基準位置Ｐ３（ｘ _P3，ｙ _P3）を合わせるように重ね合わせられた様子が図示されている（目標顔画像データＴＴＦについては各対応特徴点の位置を示す●のみ図示。）。なお、ここで示す各特徴点の位置Ｐｉ（ｉ＝１〜８）は、鉛直基準距離ｖｓｄと水平基準距離ｈｓｄによって正規化したものでなく、現実のｘｙ平面における位置を示している。対象顔画像データＭＦの各特徴点の位置Ｐｉ（×で図示。）と目標顔画像データＴＴＦの対応特徴点の位置Ｐｉとの間にはそれぞれ現実の距離ｄｉ（正規化平面での距離Ｄｉとは異なる。）が存在している。ステップＳ２００では、各特徴点の現実の距離ｄｉにステップＳ１９０にて決定した移動量割合ｍｉを乗算することにより、各特徴点の移動量を決定する。移動方向は、対象顔画像データＭＦの特徴点の位置から目標顔画像データＴＴＦについては各対応特徴点の位置に向かう方向とする。以上のようにして対象顔画像データＭＦの特徴点の移動量と移動方向が決定できると、実際に対象顔画像データＭＦの特徴点の位置を移動させる（ステップＳ２１０）。

図１０は、ステップＳ２１０にて対象顔画像データＭＦの特徴点の位置を移動させる様子を示している。同図において、対象顔画像データＭＦの特徴点の位置を移動させるにあたり、まず対象顔画像データＭＦにおいて移動前の特徴点の位置Ｐ１，Ｐ２，Ｐ４，Ｐ５，Ｐ６，Ｐ７を中心として複数のブロックＢ１，Ｂ２，Ｂ４，Ｂ５，Ｂ６，Ｂ７を形成する。ブロックＢ１，Ｂ２，Ｂ４，Ｂ５，Ｂ６，Ｂ７は互いに重ならないように設定されており、それぞれの大きさは中心に有する顔器官の妥当な大きさに基づいて設定されている。なお、ブロックＢ１，Ｂ２，Ｂ４，Ｂ５，Ｂ６，Ｂ７が特徴点の移動の影響範囲と考えることができる。

図１１は、移動前の目の位置Ｐ１を中心としたブロックＢ１内の各画素が移動する様子を説明している。同図において、矩形状のブロックＢ１が移動前の目の位置（中心位置）Ｐ１を通過する鉛直・水平線によって４個の矩形状の小ブロックＢ１ａ，Ｂ１ｂ，Ｂ１ｃ，Ｂ１ｄに分割されている。さらに、各小ブロックＢ１ａ，Ｂ１ｂ，Ｂ１ｃ，Ｂ１ｄが重心Ｇａ，Ｇｂ，Ｇｃ，Ｇｄを一頂点とする４個の三角ブロックＢ１ａ１〜Ｂ１ａ４，Ｂ１ｂ１〜Ｂ１ｂ４，Ｂ１ｃ１〜Ｂ１ｃ４，Ｂ１ｄ１〜Ｂ１ｄ４に分割されている。まず、ステップＳ２００にて決定された移動量および移動方向にしたがって目の位置Ｐ１を移動させる。それにともなって、小ブロックＢ１ａ，Ｂ１ｂ，Ｂ１ｃ，Ｂ１ｄの形状が歪み、これらの重心Ｇａ，Ｇｂ，Ｇｃ，Ｇｄも移動することとなる。さらに、重心Ｇａ，Ｇｂ，Ｇｃ，Ｇｄが移動することによって、重心Ｇａ，Ｇｂ，Ｇｃ，Ｇｄを一頂点として有する三角ブロックＢ１ａ１〜Ｂ１ａ４，Ｂ１ｂ１〜Ｂ１ｂ４，Ｂ１ｃ１〜Ｂ１ｃ４，Ｂ１ｄ１〜Ｂ１ｄ４の形状も歪むこととなる。以上のようにして、三角ブロックＢ１ａ１〜Ｂ１ａ４，Ｂ１ｂ１〜Ｂ１ｂ４，Ｂ１ｃ１〜Ｂ１ｃ４，Ｂ１ｄ１〜Ｂ１ｄ４の頂点を移動させると、次に、これらの内部の画素を移動させる。

図１２は、三角ブロックＢ１ａ４内の画素を移動させる様子を説明している。三角ブロックＢ１ａ４は、目の位置Ｐ１および重心Ｇａを頂点とする三角形であり、目の位置Ｐ１および重心Ｇａがそれぞれ位置Ｐ１’および重心Ｇａ’に移動することにより、形状が歪むこととなる。ここで、三角ブロックＢ１ａ４の頂点のうち目の位置Ｐ１と重心Ｇａ以外の移動しない頂点Ｓと表すと、三角ブロックＢ１ａ４内の任意の点ＱのまでのベクトルＳＱはベクトルＳＰ１，ＳＧａを用いて下記の（４）式で表すことができる。

上記の（４）式において、αとβによるベクトルＳＰ１，ＳＧａの結合比および大きさ（α＋β≦１）を変更することによって、三角ブロックＢ１ａ４内の任意の点ＱのまでのベクトルＳＱを表現することができる。ここで、下記の（５）式が成り立つように、任意の点Ｑを移動させる。

上記の（５）式において、目の位置Ｐ１および重心Ｇａが位置Ｐ１’および重心Ｇａ’に移動するのにともなって、任意の点Ｑが点Ｑ’に移動するものとする。

このようにすることにより、各頂点の相対的な位置関係を維持しつつ三角ブロックＢ１ａ４内の任意の点Ｑを移動させることができる。以上においては、三角ブロックＢ１ａ４内の任意の点Ｑを移動させることを例示したが、他の三角ブロックＢ１ａ１〜Ｂ１ａ４，Ｂ１ｂ１〜Ｂ１ｂ４，Ｂ１ｃ１〜Ｂ１ｃ４，Ｂ１ｄ１〜Ｂ１ｄ４についても同様に移動を行う。なお、三角ブロックＢ１ａ１〜Ｂ１ａ４，Ｂ１ｂ１〜Ｂ１ｂ４，Ｂ１ｃ１〜Ｂ１ｃ４，Ｂ１ｄ１〜Ｂ１ｄ４の位置によっては、一頂点のみが移動することとなるが、その場合も同様の手法で移動させることができる。さらに、他の顔器官についてのブロックＢ２，Ｂ４，Ｂ５，Ｂ６についても同様に移動させることができる。ブロックＢ１，Ｂ２，Ｂ４，Ｂ５，Ｂ６内の画素を上述した手法によって移動させると、画素密度に疎密が生じるが、疎となる領域ではキュービック法等の補間によって画素を内挿し、密となる領域では間引きを行うことにより、移動前と同様の均一な画素配列とする。なお、各ブロックＢ１，Ｂ２，Ｂ４，Ｂ５，Ｂ６の外辺上の画素は移動しないため、各ブロックＢ１，Ｂ２，Ｂ４，Ｂ５，Ｂ６の境界で段差が生じることが防止できる。

以上のようにして移動（補正）が完了すると、ステップＳ２２０にて補正が完了した対象顔画像データＭＦをプリンタドライバＰ３出力する。すると、プリンタドライバＰ３は、対象顔画像データＭＦに対して解像度変換処理と色変換処理とハーフトーン処理とラスタライズ処理を順次実行させ、プリンタ２０に補正後の対象顔画像データＭＦに対応する画像の印刷を実行させる。

３．まとめおよび変形例
以上説明したように、上述した実施形態では、対象顔画像データＭＦをユーザーの好みに補正するにあたり、まず目標候補顔画像データＴＦ１〜ＴＦ５の指定を受け付けることとしている（ステップＳ１００，Ｓ１１０）。このようにすることにより、目標候補顔画像データＴＦ１〜ＴＦ５の印象そのものを補正目標とすることができ、言葉などの概念を介すことによりユーザーの真の意図が歪められることが防止できる。さらに、目標候補顔画像データＴＦ１〜ＴＦ５のなかから最も対象顔画像データＭＦに似ているものを最終的な目標顔画像データＴＴＦとするようにしている。このようにすることにより、わざとらしくない自然な補正を実現することができる。

目標候補顔画像データＴＦ１〜ＴＦ５のなかから最も対象顔画像データＭＦに似ているもの特定するにあたり、顔器官（特徴点）ごとに異なる重み係数ｗｉを設定するため、一部の特徴点を特に重視して類否判定することができる。なお、重み係数ｗｉがユーザーによって設定できるようにしてもよい。例えば、指定した目標候補顔画像データＴＦ１〜ＴＦ５の目が特に気に入っている場合には、重み係数ｗ１，ｗ２を大きくするように指定することも可能となる。さらに、特徴点の位置Ｐｉを鉛直基準距離ｖｓｄと水平基準距離ｈｓｄによって正規化した上で、対象顔画像データＭＦの特徴点と目標候補顔画像データＴＦ１〜ＴＦ５の対応特徴点との距離Ｄｉを算出し、当該距離Ｄｉに基づいて対象顔画像データＭＦに対する各目標候補顔画像データＴＦ１〜ＴＦ５の類否判定を行うようにしている（ステップＳ１５０，Ｓ１６０）。このようにすることにより、各特徴点の絶対的な位置だけでなく、基準位置Ｐ３からあごの最下点の位置Ｐ８までの鉛直基準距離ｖｓｄに対する各特徴点のｙ方向の相対的位置を評価することができる。例えば、基準位置Ｐ３と口の位置Ｐ５とのｙ方向の絶対距離が同じであっても、基準位置Ｐ３からあごの最下点の位置Ｐ８までの距離が異なれば、印象が全く異なったものとなる。このような場合でも、鉛直基準距離ｖｓｄで正規化しておくことにより、類似しないと判定することができる。

また、特徴点の移動量割合ｍｉを０〜１の間で設定する（ステップＳ１９０）ことにより、目標顔画像データＴＴＦの対応特徴点へ完全に近づけることを防止することができ、わざとらしい補正を防止することができる。移動量割合ｍｉは、対象顔画像データＭＦの特徴点の位置と、目標顔画像データＴＴＦの対応特徴点の位置との距離Ｄｉが０のとき１となり、距離Ｄｉの増加とともに単調的に減少するため、類似している特徴点ほど目標顔画像データＴＴＦに近づく程度を強くすることができる。これにより、もともと目標顔画像データＴＴＦに類似していない特徴点を無理に対応特徴点に近づけるような補正を防止することができ、自然な補正を実現することができる。さらに、距離Ｄｉが所定の閾値Ｔｈを超えたときには移動量割合ｍｉを０としているため、原形を留めないような補正を防止することができる。この移動量割合ｍｉの設定は、各特徴点ごとに行われるため、各特徴点ごとの類似性に応じた補正を実現することができる。すべての特徴点について一様な移動が行われないため、補正目標が誰の顔の目標顔画像データＴＴＦであったとあからさまに分かるような補正となることが防止できる。

３−１．変形例１
図１３は、変形例にかかる特徴点の移動量割合ｍｉと距離Ｄｉとの関係を示している。本変形例において、移動量割合ｍｉは、距離Ｄｉが距離Ｄｉの合計値ΣＤｉと等しいとき１となり、距離Ｄｉの減少とともに単調的に減少する。そして、距離Ｄｉが所定の閾値Ｔｈをよりも小さくなったとき、移動量割合ｍｉが０となる。これにより、もともと目標顔画像データＴＴＦに類似していない特徴点については特に対応特徴点に近づけるような補正を行うことができる。上述した実施形態とは逆に、わざとらしい補正を実現させることができる。このように、補正をわざとらしくさせるか自然にさせるかは、対象顔画像データＭＦの用途に応じて設定されるべきであり、例えばユーザーが指定することによって、本変形例のモードと上述した実施形態のモードとが切り替えられるようにしてもよい。

３−２．変形例２
上述した実施形態においては、最も類否評価値Ｅが大きいものを目標顔画像データＴＴＦとして特定するようにしたが、他の手法によって目標顔画像データＴＴＦを特定するようにしてもよい。本変形例においては、まずステップＳ１８０において、類否判定部ＰＧ２ｅが各目標候補顔画像データＴＦ１〜ＴＦ５のうち類否評価値Ｅが上位３位以内のものを選択する。そして、当該選択した目標候補顔画像データＴＦ１〜ＴＦ５の平均的な顔画像を目標顔画像データＴＴＦとして特定する。

図１４は、類否評価値Ｅが上位３個位以内の目標候補顔画像データＴＦ１〜ＴＦ５に基づいて、これらの平均的なものを目標顔画像データＴＴＦとして特定する様子を説明している。同図においては、３個の目標候補顔画像データＴＦ１〜ＴＦ３が有する各特徴点の位置Ｐｉがそれぞれ◎，●，○で示されている。ステップＳ１８０においては、各特徴点の位置Ｐｉの平均値を、目標顔画像データＴＴＦの特徴点の位置Ｐｉ（△で図示。）として算出する。そして、対象顔画像データＭＦの特徴点の位置が目標顔画像データＴＴＦの対応特徴点の位置Ｐｉ（△で図示。）に近づくようにステップＳ２１０にて移動が行われる。このようにすることにより、目標候補顔画像データＴＦ１〜ＴＦ３のいずれかが有する突飛な対応特徴点に対象顔画像データＭＦの特徴点が近づくことが防止でき、あたりさわりのない補正結果を得ることができる。また、平均的な顔画像は比較的バランスのよい顔画像であるということができ、ユーザーが目標とする複数の目標候補顔画像データＴＦ１〜ＴＦ３に基づいて、さらにバランスのよい顔画像を生成し、補正の目標とすることができる。なお、以上においては、顔器官を全体的に移動させるものを例示したが、顔器官の複数の部分を検出し、顔器官の形状を目標顔画像データＴＴＦに近づけるようにしてもよい。例えば、上まぶたと下まぶたの頂点を検出し、これらの距離に基づいて目標顔画像データＴＴＦと同様の目の大きさとなるように補正を行うようにしてもよい。

なお、以上においては、本発明の画像処理方法が、コンピュータ上で実行されるものを例示したが、例えばプリンタやデジタルスチルカメラやスキャナ等の画像機器にて実行されてもよい。プリンタのファームウェアにて本発明の画像処理方法を行えば、印刷の際に理想的な顔画像に近づく画像処理を実行することができる。また、デジタルスチルカメラにて本発明の画像処理方法を行えば、理想的な顔画像となった撮影結果を得ることができる。

画像処理装置のハードウェア構成を示すブロック図である。 画像処理装置のソフトウェア構成を示すブロック図である。 画像処理の流れを示すフローチャートである。 ＵＩ画面の一例を示す図である。 対象顔画像データと目標候補顔画像データの一例を示している。 特徴点（対応特徴点）を検出する様子を示す図である。 特徴点（対応特徴点）の位置を変換（正規化）する様子を示す図である。 特徴点の移動量割合と距離との関係を示すグラフである。 特徴点の移動量を決定する様子を示す図である。 特徴点の位置を移動させる様子を示す図である。 特徴点の位置を移動させる様子を示す図である。 特徴点の位置を移動させる様子を示す図である。 変形例にかかる特徴点の移動量割合と距離との関係を示すグラフである。 変形例において目標顔画像を特定する様子を示す図である。

符号の説明

１０…コンピュータ、１１…ＣＰＵ、１２…ＲＡＭ、１３…ＲＯＭ、１４…ＨＤＤ、１４ａ…プログラムデータ、１４ｂ…画像データ、１５…ＧＩＦ、１６…ＶＩＦ、１７…ＩＩＦ、１８…バス、２０…プリンタ、４０…ディスプレイ、５０ａ…キーボード、５０ｂ…マウス、ＰＧ１…ＯＳ、ＰＧ２…画像処理アプリケーション、ＰＧ２ａ…補正対象取得部、ＰＧ２ｂ…補正目標取得部、ＰＧ２ｃ…顔画像抽出部、ＰＧ２ｄ…特徴点抽出部、ＰＧ２ｅ…類否判定部、ＰＧ２ｆ…補正部、ＰＧ３…プリンタドライバ。

Claims (8)

1. 画像に含まれる顔画像についての画像処理方法であって、
   補正対象の顔画像を対象顔画像として取得し、
   補正目標とする顔画像を目標顔画像として取得し、
   前記対象顔画像に含まれる各特徴点の位置が、前記目標顔画像に含まれる各対応特徴点の位置に近づくように補正するにあたり、各対応特徴点の位置に近づける程度を各特徴点ごとに決定することを特徴とする画像処理方法。
2. 前記目標顔画像に含まれる各特徴点の位置と補正前の各対応特徴点の位置の類似性を各特徴点について判定し、当該類似性に応じて各対応特徴点の位置に近づける程度を決定することを特徴とする請求項１に記載の画像処理方法。
3. 前記類似性が高い特徴点ほど前記対応特徴点の位置に近づける程度を大きくすることを特徴とする請求項２に記載の画像処理方法。
4. 前記類似性が所定の閾値よりも大きい特徴点に限り、前記対応特徴点の位置に近づけることを特徴とする請求項３に記載の画像処理方法。
5. 前記類似性が低い特徴点ほど前記対応特徴点の位置に近づける程度を大きくすることを特徴とする請求項２に記載の画像処理方法。
6. 画像に含まれる顔画像についての画像処理装置であって、
   補正対象の顔画像を対象顔画像として取得する対象顔画像取得手段と、
   補正目標とする顔画像を目標顔画像として取得する目標顔画像取得手段と、
   前記対象顔画像に含まれる各特徴点の位置が、前記目標顔画像に含まれる各対応特徴点の位置に近づくように補正するにあたり、各対応特徴点の位置に近づける程度を各特徴点ごとに決定する補正手段とを具備することを特徴とする画像処理装置。
7. 画像に含まれる顔画像についての機能をコンピュータに実行させるためのコンピュータ読み取り可能な画像処理プログラムであって、
   補正対象の顔画像を対象顔画像として取得する対象顔画像取得機能と、
   補正目標とする顔画像を目標顔画像として取得する目標顔画像取得機能と、
   前記対象顔画像に含まれる各特徴点の位置が、前記目標顔画像に含まれる各対応特徴点の位置に近づくように補正するにあたり、各対応特徴点の位置に近づける程度を各特徴点ごとに決定する補正機能とをコンピュータに実行させるためのコンピュータ読み取り可能な画像処理プログラム。
8. 画像に含まれる顔画像を補正して当該画像を印刷させる印刷装置であって、
   補正対象の顔画像を対象顔画像として取得する対象顔画像取得手段と、
   補正目標とする顔画像を目標顔画像として取得する目標顔画像取得手段と、
   前記対象顔画像に含まれる各特徴点の位置が、前記目標顔画像に含まれる各対応特徴点の位置に近づくように補正するにあたり、各対応特徴点の位置に近づける程度を各特徴点ごとに決定する補正手段と、
   前記補正を行った画像を印刷する印刷手段とを具備することを特徴とする印刷装置。

Images