JP2017021393A - 画像生成装置、画像生成方法及びプログラム - Google Patents

Abstract

【課題】似顔絵作者特有の表現がなされた似顔絵画像を生成する。【解決手段】撮像装置１００であって、画像取得部９ａにより取得された顔画像内の顔の構成部に係る顔構成部画像を生成する構成部画像生成部９ｃと、生成された顔構成部画像に対して似顔絵作者特有の表現を施して顔を模式的に表した似顔絵画像を生成する似顔絵画像生成部９ｇと、を備えている。【選択図】図１

Description

本発明は、画像生成装置、画像生成方法及びプログラムに関する。

従来、目、鼻、口、耳、顔輪郭等の顔部品の特徴点を用いて似顔絵を作成する似顔絵作成装置が知られている（例えば、特許文献１参照）。
また、各部位ごとに予め用意されているパーツオブジェクトを組み合わせてキャラクタを作成するゲーム装置が知られている（例えば、特許文献２参照）。

特開２００４−１４５６２５号公報 特開２００８−６１８９６号公報

ところで、写真画像から似顔絵画像を自動的に生成する場合、予め指定されている作風の似顔絵画像が生成されてしまい、ユーザ所望の似顔絵作者特有の表現がなされた似顔絵画像を生成することができないといった問題がある。

本発明の課題は、似顔絵作者特有の表現がなされた似顔絵画像を生成することができる画像生成装置、画像生成方法及びプログラムを提供することである。

上記課題を解決するため、本発明に係る画像生成装置は、
顔画像を取得する取得手段と、前記取得手段により取得された顔画像内の顔の構成部に係る顔構成部画像を生成する構成部生成手段と、前記構成部生成手段により生成された顔構成部画像に対して似顔絵作者特有の表現を施して顔を模式的に表した似顔絵画像を生成する第１画像生成手段と、を備えたことを特徴としている。

また、本発明に係る画像生成方法は、
画像生成装置を用いた画像生成方法であって、顔画像を取得するステップと、取得された顔画像内の顔の構成部に係る顔構成部画像を生成するステップと、生成された顔構成部画像に対して似顔絵作者特有の表現を施して顔を模式的に表した似顔絵画像を生成するステップと、を含むことを特徴としている。

また、本発明に係るプログラムは、
画像生成装置のコンピュータを、顔画像を取得する取得手段、前記取得手段により取得された顔画像内の顔の構成部に係る顔構成部画像を生成する構成部生成手段、前記構成部生成手段により生成された顔構成部画像に対して似顔絵作者特有の表現を施して顔を模式的に表した似顔絵画像を生成する画像生成手段、として機能させることを特徴としている。

本発明によれば、似顔絵作者特有の表現がなされた似顔絵画像を生成することができる。

本発明を適用した一実施形態の撮像装置の概略構成を示すブロック図である。 二人の似顔絵作者により作成された似顔絵画像を模式的に表す図である。 図１の撮像装置による似顔絵画像生成処理に係る動作の一例を示すフローチャートである。 図３の似顔絵画像生成処理を説明するための図である。 図３の似顔絵画像生成処理を説明するための図である。 図３の似顔絵画像生成処理を説明するための図である。

以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。

図１は、本発明を適用した一実施形態の撮像装置１００の概略構成を示すブロック図である。
図１に示すように、本実施形態の撮像装置１００は、具体的には、中央制御部１と、メモリ２と、撮像部３と、画像データ生成部４と、画像処理部５と、表示部６と、操作入力部７と、記憶部８と、似顔絵処理部９とを備えている。
また、中央制御部１、メモリ２、撮像部３、画像データ生成部４、画像処理部５、表示部６、操作入力部７、記憶部８及び似顔絵処理部９は、バスライン１０を介して接続されている。

なお、撮像装置１００は、公知のものを適用可能であり、本実施形態のように、撮像機能を主要な機能とするデジタルカメラだけでなく、主要な機能としないものの撮像機能を具備する携帯電話機、スマートフォン等の携帯端末なども含む。

中央制御部１は、撮像装置１００の各部を制御するものである。具体的には、中央制御部１は、図示は省略するが、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）を備え、撮像装置１００用の各種処理プログラム（図示略）に従って各種の制御動作を行う。

メモリ２は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）等により構成され、中央制御部１や画像処理部５等の各部によって処理されるデータ等を一時的に格納する。

撮像部３は、被写体の動画像を撮像する。具体的には、撮像部３は、レンズ部３ａと、電子撮像部３ｂと、撮像制御部３ｃとを備えている。

レンズ部３ａは、例えば、ズームレンズやフォーカスレンズ等の複数のレンズから構成されている。
電子撮像部３ｂは、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等のイメージセンサから構成され、レンズ部３ａの各種レンズを通過した光学像を二次元の画像信号に変換する。
なお、図示は省略するが、撮像部３は、レンズ部３ａを通過する光の量を調整する絞りを備えていても良い。

撮像制御部３ｃは、撮像部３による被写体の撮像を制御する。すなわち、撮像制御部３ｃは、図示は省略するが、タイミング発生器、ドライバなどを備えている。そして、撮像制御部３ｃは、タイミング発生器、ドライバにより電子撮像部３ｂを走査駆動して、所定周期毎に光学像を電子撮像部３ｂにより二次元の画像信号に変換させ、当該電子撮像部３ｂの撮像領域から１画面分ずつフレーム画像を読み出して画像データ生成部４に出力させる。
なお、撮像制御部３ｃは、ＡＦ（自動合焦処理）、ＡＥ（自動露出処理）、ＡＷＢ（自動ホワイトバランス）等の被写体を撮像する際の条件の調整制御を行っても良い。

画像データ生成部４は、撮像部３の電子撮像部３ｂから転送されたフレーム画像のアナログ値の信号に対してＲＧＢの各色成分毎に適宜ゲイン調整した後に、サンプルホールド回路（図示略）でサンプルホールドしてＡ／Ｄ変換器（図示略）でデジタルデータに変換し、カラープロセス回路（図示略）で画素補間処理及びγ補正処理を含むカラープロセス処理を行った後、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒ（ＹＵＶデータ）を生成する。また、画像データ生成部４は、生成された輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒをバッファメモリとして使用されるメモリ２に出力する。

画像処理部５は、画像を記憶する際には、メモリ２から輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを取得し、所定の符号化方式（例えば、ＪＰＥＧ形式、モーションＪＰＥＧ形式、ＭＰＥＧ形式等）で符号化して記憶部８に出力する。
また、画像処理部５は、画像を再生表示する場合には、メモリ２や記憶部８から読み出された表示対象に係る静止画像や動画像の画像データを対応する所定の符号化方式に従って復号して表示部６に出力する。このとき、画像処理部５は、例えば、表示パネル６ｂの表示解像度等に基づいて所定サイズ（例えば、ＶＧＡやＱＶＧＡサイズ）に縮小して表示部６に出力しても良い。

表示部６は、表示制御部６ａと、表示パネル６ｂとを具備している。

表示制御部６ａは、記憶部８から読み出され画像処理部５により復号された所定サイズの画像データに基づいて、所定の画像を表示パネル６ｂの表示領域に表示させる制御を行う。具体的には、表示制御部６ａは、ＶＲＡＭ（Video Random Access Memory）、ＶＲＡＭコントローラ、デジタルビデオエンコーダなどを備えている。そして、デジタルビデオエンコーダは、画像処理部５により復号されてＶＲＡＭ（図示略）に記憶されている輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを、ＶＲＡＭコントローラを介してＶＲＡＭから所定の再生フレームレートで読み出して、これらのデータを元にビデオ信号を発生して表示パネル６ｂに出力する。

表示パネル（表示手段）６ｂは、表示制御部６ａからのビデオ信号に基づいて撮像部３により撮像された画像（例えば、顔画像Ａ等）などを表示領域内に表示する。具体的には、表示パネル６ｂは、静止画撮像モードや動画撮像モードにて、撮像部３による被写体の撮像により生成された複数のフレーム画像を所定のフレームレートで逐次更新しながらライブビュー画像を表示する。また、表示パネル６ｂは、記憶部８に記憶される被写体の静止画像（レックビュー画像）を表示したり、撮像中の被写体の動画像を表示する。
なお、表示パネル６ｂとしては、例えば、液晶表示パネルや有機ＥＬ（Electro-Luminescence）表示パネルなどが挙げられるが、一例であってこれらに限られるものではない。

操作入力部７は、当該撮像装置１００の所定操作を行うためのものである。具体的には、操作入力部７は、被写体の撮像指示に係るシャッタボタン、撮像モードや機能等の選択指示に係る選択決定ボタン、ズーム量の調整指示に係るズームボタン等（何れも図示略）の操作部を備えている。
そして、ユーザにより各種ボタンが操作されると、操作入力部７は、操作されたボタンに応じた操作指示を中央制御部１に出力する。中央制御部１は、操作入力部７から出力され入力された操作指示に従って所定の動作（例えば、被写体の撮像等）を各部に実行させる。

また、操作入力部７は、表示部６の表示パネル６ｂと一体となって設けられたタッチパネル７ａを有している。
タッチパネル７ａは、表示パネル６ｂの表示領域をなす表示画面に直接的若しくは間接的に接触するタッチペンやユーザの指（手）等の接触位置を検出する。すなわち、タッチパネル７ａは、例えば、表示画面上或いは当該表示画面よりも内側に設けられ、抵抗膜方式、超音波表面弾性波方式、静電容量方式等の各種方式により、表示画面上における接触位置のＸＹ座標を検出する。そして、タッチパネル７ａは、接触位置のＸＹ座標に係る位置信号を中央制御部１や似顔絵処理部９に出力する。
具体的には、タッチパネル７ａは、例えば、表示パネル６ｂに表示された顔画像Ａ内で、ユーザによる所定操作に従って線が描画されると、当該線の接触位置のＸＹ座標に係る位置信号を似顔絵処理部９に出力する。

なお、タッチパネル７ａによる表示画面上における接触位置の検出精度は、適宜任意に変更可能であり、例えば、厳密に一の画素を接触位置としても良いし、一の画素を中心とする所定範囲内の複数の画素を接触位置としても良い。また、線の描画操作を、タッチパネル７ａを用いて行うようにしたが、一例であってこれに限られるものではなく、操作入力部７の他のボタン、例えば、上下左右移動キーなどを用いて行っても良いし、装置本体に外部接続された描画用のデバイス（図示略）を用いて行っても良い。

記憶部８は、例えば、不揮発性メモリ（フラッシュメモリ）等により構成され、画像処理部５により所定の符号化方式で符号化された静止画像や動画像の記憶用の画像データを記憶する。

また、記憶部８は、作者情報８ａを記憶している。
すなわち、記憶部（作者情報記憶手段）８は、似顔絵作者毎に、各似顔絵作者の表現の傾向を表す作者情報８ａを記憶している。
ここで、似顔絵作者とは、似顔絵を作成する者であれば如何なる者であっても良く、例えば、著名なイラストレーターや漫画家であっても良いし、一般的なユーザ等の素人であっても良い。また、似顔絵作者毎に、似顔絵画像に似顔絵作者の個性（特有の表現）が表れる。例えば、二人の似顔絵作者甲、乙が、図２（ａ）及び図２（ｂ）の画像を元画像としてそれぞれ似顔絵画像を作成する場合、似顔絵作者甲が作成した二つの似顔絵画像（図２（ｃ）及び図２（ｄ）参照）と、似顔絵作者乙が作成した二つの似顔絵画像（図２（ｅ）及び図２（ｆ）参照）とで作風や視認者の印象が異なる。
そして、作者情報８ａは、似顔絵作者毎に、その個性（特有の表現）が表された似顔絵画像を生成するために用いられる。

作者情報８ａは、似顔絵作者が顔の主要な構成部を描画する際の当該似顔絵作者特有の視覚的効果（例えば、タッチや形状等）が規定された情報である。具体的には、当該撮像装置１００や外部の処理装置（図示略）等を用いて、各似顔絵作者毎に用意された元画像（図２（ａ）及び図２（ｂ）等参照）と当該元画像を元に描画した似顔絵画像（図２（ｃ）及び図２（ｄ）等参照）の複数の組の各々を正規化して比較することで、目、鼻、口、眉、顔輪郭、髪型等の顔の主要な構成部毎の形状の変化（例えば、位置、大きさ、角度等）の傾向や、複数の構成部どうしの相対的な位置関係の傾向（例えば、顔輪郭の中で他の構成部を全体的に下寄りや中心寄りに描画や、左右の目を寄り目風に描画等）や、描画する線の太さの傾向等を特定して、作者情報８ａが生成される。なお、複数の元画像を正規化して算出された平均顔と複数の似顔絵画像を正規化して算出された平均顔とを比較することで、似顔絵作者特有の表現を特定しても良いし、似顔絵画像の平均顔自体を似顔絵作者特有の表現としても良い。
また、作者情報８ａは、例えば、被写体の年齢や性別、被写体の雰囲気、似顔絵画像の使用用途等に応じて個別に規定されていても良い。
なお、元画像や似顔絵画像を正規化する手法としては、例えば、両目を結ぶ直線と顔輪郭とが交わる二つの点の位置がそれぞれ重なるように調整する手法が挙げられるが、一例であってこれに限られるものではなく、適宜任意に変更可能である。

また、記憶部８は、部品画像８ｂを記憶している。
すなわち、記憶部（部品画像記憶手段）８は、似顔絵作者毎に、各似顔絵作者特有の表現が表された顔の主要な構成部の部品画像８ｂを記憶している。
部品画像８ｂは、各似顔絵作者が描画した複数の似顔絵画像の各々から抽出された、例えば、目、鼻、口、眉、顔輪郭等の顔の主要な構成部毎の複数の部品画像８ｂ、…に係るデータである。例えば、作者情報８ａの作成に用いられた複数の似顔絵画像（図２（ｃ）及び図２（ｄ）等参照）から、各構成部毎に複数の部品画像８ｂ、…を抽出しても良い。
また、部品画像８ｂの各々には、後述する似顔絵画像生成処理にて用いられる複数の制御点ｐ、…が所定位置に設定されている（図６参照）。複数の制御点ｐ、…は、例えば、部品画像８ｂを形成する輪郭線の各端部や、部品画像８ｂの垂直方向及び水平方向の各端部や、これら端部どうしの間の位置等に設定されている。

なお、記憶部８は、例えば、記憶媒体（図示略）が着脱自在に構成され、装着された記憶媒体からのデータの読み出しや記憶媒体に対するデータの書き込みを制御する構成であっても良い。

似顔絵処理部９は、画像取得部９ａと、軌跡特定部９ｂと、構成部画像生成部９ｃと、作者表現画像生成部９ｄと、誇張部決定部９ｅと、誇張画像生成部９ｆと、似顔絵画像生成部９ｇとを具備している。
なお、似顔絵処理部９の各部は、例えば、所定のロジック回路から構成されているが、当該構成は一例であってこれに限られるものではない。

画像取得部９ａは、似顔絵画像生成処理の処理対象となる顔画像Ａ（図４（ａ）参照）を取得する。
すなわち、画像取得部（取得手段）９ａは、顔画像Ａの画像データを取得する。具体的には、画像取得部９ａは、処理対象となる顔画像Ａとして、被写体の静止画像を取得したり、動画像を構成する複数のフレーム画像の中から特定された一のフレーム画像を取得する。
例えば、画像取得部９ａは、撮像部３による被写体の顔の撮像の際に、画像データ生成部４により生成された静止画像の画像データの複製をメモリ２から取得したり、記憶部８に記憶されている静止画像の画像データの複製を取得する。そして、画像取得部９ａは、取得された静止画像を処理対象となる顔画像Ａとして、その画像データに対して所定の顔検出処理を行って顔領域を検出する。
また、画像取得部９ａは、撮像部３による被写体の顔の撮像の際に、画像データ生成部４により生成された動画像の画像データの複製をメモリ２から取得したり、記憶部８に記憶されている動画像の画像データの複製を取得する。そして、画像取得部９ａは、取得された動画像を構成する各フレーム画像の画像データに対して所定の顔検出処理を行って顔領域を検出する。その後、画像取得部９ａは、例えば、検出された顔領域に対して所定の笑顔検出処理を行って、口の開き具合い、口角の上がり具合い、目の黒目（虹彩領域）の顔全体に対する大きさ等の特徴等に応じて所定の演算を行うことで、笑顔の評価値を算出し、最も笑顔の評価値が高い顔領域を含む一のフレーム画像を処理対象となる顔画像Ａとして特定する。
なお、顔検出処理は、公知の技術であるので、ここでは詳細な説明を省略する。
さらに、動画像を構成する複数のフレーム画像から処理対象となる顔画像Ａを特定する手法は、一例であってこれに限られるものではなく、例えば、複数のフレーム画像の中でユーザによる操作入力部７の所定操作に基づいて指定されたフレーム画像を処理対象となる顔画像Ａとして特定しても良い。

また、後述する似顔絵処理部９による各処理は、顔画像Ａの画像データ自体に対して行われても良いし、必要に応じて顔画像Ａの画像データを所定の比率で縮小した所定サイズ（例えば、ＶＧＡサイズ等）の縮小画像データに対して行われても良い。

軌跡特定部９ｂは、顔画像Ａ内で、ユーザによる所定の描画操作に対応する線の軌跡を特定する。
すなわち、軌跡特定部（特定手段）９ｂは、表示パネル６ｂの表示領域に表示された顔画像Ａ内で、ユーザによる操作入力部７の所定操作に基づいて描画された線の軌跡を特定する。
具体的には、表示パネル６ｂの表示領域に顔画像Ａが所定の倍率で表示（例えば、拡大表示等）された状態で、例えば、ユーザが顔画像Ａを構成する左右各々の目、鼻、口、眉、顔輪郭、髪型等の顔の主要な構成部の輪郭や細部等をなぞるように操作入力部７のタッチパネル７ａを描画操作する。すると、軌跡特定部９ｂは、ユーザによるタッチパネル７ａの描画操作に基づいて当該タッチパネル７ａにより連続して検出された接触位置のＸＹ座標に係る位置信号が入力され、当該タッチパネル７ａの接触位置の各々を操作点として特定する。続けて、軌跡特定部９ｂは、特定された複数の操作点どうしを結線することで、ユーザによる描画操作に対応する顔画像Ａ内での線の軌跡及び軌跡の位置を示す位置情報を特定する。
ここで、ユーザによる操作入力部７の所定操作に基づいて複数の線が描画されても良く、この場合には、軌跡特定部９ｂは、描画された複数の線の各々の軌跡を特定する。

構成部画像生成部９ｃは、顔構成部画像Ｂ（図４（ｂ）参照）を生成する。
すなわち、構成部画像生成部（構成部生成手段）９ｃは、画像取得部９ａにより取得された顔画像Ａ内の顔の構成部に係る顔構成部画像Ｂを生成する。具体的には、構成部画像生成部９ｃは、軌跡特定部９ｂにより特定された軌跡に基づいて、顔構成部画像Ｂを生成する。
例えば、構成部画像生成部９ｃは、ユーザによる操作入力部７の所定操作に基づいて描画され軌跡特定部９ｂにより特定された、目、鼻、口、眉、顔輪郭、髪型等の顔の主要な構成部に対応する各々の線の軌跡をその位置情報に基づいて配置して顔構成部画像Ｂを生成する。
なお、図４（ｂ）にあっては、髪型が図示されていない顔構成部画像Ｂを表したが、一例であってこれに限られるものではなく、適宜任意に変更可能である。また、髪型については、個別の顔構成部画像（図示略）を生成しても良い。

また、構成部画像生成部９ｃは、例えば、ＡＡＭ（Active Appearance Model）等の顔構成部検出方法を利用して構成部画像を生成しても良い。例えば、似顔絵処理部９は、ＡＡＭを利用して、目、鼻、口、眉、顔輪郭等の顔の主要部を予め検出しておく。そして、表示制御部６ａは、似顔絵処理部９により検出された顔の主要部を表示パネル６ｂに表示させた状態で、ユーザが顔の主要部を手作業で修正するために当該主要部の輪郭や細部をなぞるようにタッチパネル７ａの描画操作を行うと、軌跡特定部９ｂは、タッチパネル７ａの描画操作に基づいて顔の主要部に対応する線の軌跡を特定する。構成部画像生成部９ｃは、特定された軌跡に基づいて顔構成部画像Ｂを生成する。
ここで、ＡＡＭとは、視覚的事象のモデル化の一手法であり、任意の顔領域の画像のモデル化を行う処理である。例えば、似顔絵処理部９は、複数のサンプル顔画像Ａにおける所定の特徴部位（例えば、目尻や鼻頭やフェイスライン等）の位置や画素値（例えば、輝度値）の統計的分析結果を所定の登録手段に登録しておく。そして、似顔絵処理部９は、上記の特徴部位の位置を基準として、顔の形状を表す形状モデルや平均的な形状における「Appearance」を表すテクスチャーモデルを設定し、これらのモデルを用いて顔画像Ａをモデル化する。これにより、顔画像Ａ内で、例えば、目、鼻、口、眉、顔輪郭等の主要部がモデル化される。

作者表現画像生成部９ｄは、作者表現画像Ｃ（図５（ａ）参照）を生成する。
すなわち、作者表現画像生成部（第２画像生成手段）９ｄは、記憶部８に記憶されている作者情報８ａに基づいて、顔構成部画像Ｂに対して似顔絵作者特有の表現を施した作者表現画像Ｃを生成する。具体的には、作者表現画像生成部９ｄは、作者情報８ａに規定されている各似顔絵作者特有の視覚的効果（例えば、構成部毎の形状の変化の傾向、複数の構成部どうしの相対的な位置関係の傾向、描画する線の太さの傾向等）を顔構成部画像Ｂに反映させて似顔絵作者特有の表現を施した作者表現画像Ｃを生成する。例えば、作者表現画像生成部９ｄは、各似顔絵作者が描画した似顔絵画像Ｅの平均顔と処理対象の顔構成部画像Ｂとを正規化した後、所定の比率で按分して、顔構成部画像Ｂを似顔絵作者特有の視覚的効果が表されるように変形して作者表現画像Ｃを生成する。また、作者表現画像生成部９ｄは、例えば、髪型に光沢を付加する傾向がある似顔絵作者の場合、当該傾向を反映させた作者表現画像Ｃを生成しても良い。
なお、図５（ａ）には、二人の似顔絵作者甲、乙毎に、各似顔絵作者特有の表現を施した作者表現画像Ｃ１、Ｃ２を模式的に表している。

誇張部決定部（決定手段）９ｅは、似顔絵画像Ｅにて誇張して表現されるべき顔の特徴を決定する。具体的には、誇張部決定部９ｅは、顔構成部画像Ｂ内での物理的な特徴を似顔絵画像Ｅにて誇張して表現されるべき顔の特徴として決定する。
例えば、誇張部決定部９ｅは、構成部画像生成部９ｃにより生成された顔構成部画像Ｂに対して、所定の特徴検出処理を施して、例えば、目が相対的に大きい、顎が相対的に長い、顔の主要な構成部が中心に寄っている等の顔の特徴を検出して決定する。
また、誇張部決定部９ｅは、例えば、顔構成部画像Ｂを表示パネル６ｂに表示させた状態で、ユーザによる操作入力部７の所定操作に基づいて指定された顔の主要な構成部を、似顔絵画像Ｅにて誇張して表現されるべき顔の特徴として決定しても良い。
なお、特徴検出処理としては、例えば、複数の顔画像Ａを平均して算出された平均顔や平均的なテクスチャ（模様）と比較する手法や、公知の特徴検出アルゴリズムを用いた手法等が挙げられるが、一例であってこれに限られるものではなく、適宜任意に変更可能である。

誇張画像生成部９ｆは、誇張部決定部９ｅにより決定された顔の特徴に対応する顔の構成部を誇張した顔誇張画像Ｄ（図５（ｂ）参照）を生成する。
ここで、顔の構成部の誇張とは、当該構成部から視認者の受ける印象を強くするように、当該構成部の特徴を他の構成部に比して強調（或いは、抑制）することを言う。また、構成部の誇張の一例としては、例えば、目、鼻、口等の構成部の大きさを相対的に大きく（或いは、小さく）する等の当該構成部自体の形状的特徴を相対的に強調させるように変形させること、当該構成部の色彩的特徴を相対的に強調させるように変色させること、当該構成部の模様的特徴を相対的に強調させるように変形や変色させることなどが挙げられる。
具体的には、誇張画像生成部９ｆは、例えば、作者表現画像生成部９ｄにより生成された作者表現画像Ｃ内で、誇張部決定部９ｅにより決定された顔の特徴に対応する顔の構成部を、当該作者表現画像Ｃの似顔絵作者毎に予め規定されている変形率或いは一律の変形率で変形して顔誇張画像Ｄを生成する。
また、図５（ｂ）には、二つの作者表現画像Ｃ１、Ｃ２の各々に対応する顔誇張画像Ｄ１、Ｄ２を模式的に表している。

似顔絵画像生成部９ｇは、似顔絵画像Ｅ（図５（ｃ）参照）を生成する。
すなわち、似顔絵画像生成部（第１画像生成手段）９ｇは、構成部画像生成部９ｃにより生成された顔構成部画像Ｂに対して似顔絵作者特有の表現を施して顔を模式的に表した似顔絵画像Ｅを生成する。具体的には、似顔絵画像生成部９ｇは、記憶部８に記憶されている作者情報８ａに基づいて作者表現画像生成部９ｄにより顔構成部画像Ｂから生成された作者表現画像Ｃに基づいて、似顔絵画像Ｅを生成する。
例えば、似顔絵画像生成部９ｇは、誇張画像生成部９ｆにより生成された顔誇張画像Ｄの元となった作者表現画像Ｃに対応する部品画像８ｂを用いて、似顔絵画像Ｅを生成する。具体的には、似顔絵画像生成部９ｇは、記憶部８から顔誇張画像Ｄの似顔絵作者に対応する複数の部品画像８ｂ、…を取得し、取得された複数の部品画像８ｂ、…の中で、顔誇張画像Ｄ内の顔の主要な構成部の各々に対応する部品画像８ｂを特定する。例えば、似顔絵画像生成部９ｇは、顔誇張画像Ｄ内の目、鼻、口等の顔の主要な構成部の各々について、部品画像８ｂと同様に複数の制御点ｑ、…を設定する（図６（ａ）参照）。そして、似顔絵画像生成部９ｇは、各構成部に対応する複数の部品画像８ｂ、…の各々に対して所定の変形処理（例えば、回転、拡大、縮小等）を施して、部品画像８ｂと構成部とで対応する制御点ｐ、ｑ間の距離が最小二乗法で最も小さくなるパラメータを算出し、算出されたパラメータでの制御点ｐ、ｑ間の距離の総和を当該部品画像８ｂの評価値とする。似顔絵画像生成部９ｇは、算出された複数の部品画像８ｂ、…の評価値を比較して、顔誇張画像Ｄ内の各構成部と最も合致する部品画像８ｂをそれぞれ特定する（図６（ｂ）参照）。そして、似顔絵画像生成部９ｇは、特定された各部品画像８ｂの制御点ｐを顔誇張画像Ｄ内の構成部の制御点ｑに対応させるように部品画像８ｂを変形させて似顔絵画像Ｅを生成する（図６（ｃ）参照）。また、髪型については、似顔絵画像生成部９ｇは、作者表現画像生成部９ｄにより髪型の顔構成部画像から生成された作者表現画像を用いて、上記したようにして生成された髪型以外の構成部が表された似顔絵画像Ｅと縦横比をあわせて合成するようにしても良い。
ここで、似顔絵画像生成部９ｇは、似顔絵画像Ｅの所定の部分（例えば、目、口、眉等の構成部等）に所定の色を付けて表した画像を生成しても良い。
また、図５（ｃ）には、二つの作者表現画像Ｃ１、Ｃ２の各々に対応する似顔絵画像Ｅ１、Ｅ２を模式的に表している。また、図６（ａ）〜図６（ｃ）には、顔の主要な構成部として鼻を例示して模式的に表している。

なお、各構成部に対応する部品画像８ｂを自動的に特定するようにしたが、一例であってこれに限られるものではなく、例えば、ユーザによる操作入力部７の所定操作に基づいて複数の部品画像８ｂ、…の中からユーザ所望の部品画像８ｂを指定しても良い。

また、似顔絵画像生成部９ｇは、顔構成部画像Ｂに対して複数の似顔絵作者特有の表現をそれぞれ施して似顔絵画像Ｅを複数生成しても良い。具体的には、似顔絵画像生成部９ｇは、複数の似顔絵作者について、各似顔絵作者特有の表現を施した作者表現画像Ｃに基づいて、複数の似顔絵画像Ｅ１、Ｅ２を生成する。
そして、複数の似顔絵画像Ｅ１、Ｅ２を表示パネル６ｂに表示させた状態で、似顔絵処理部９は、ユーザによる操作入力部７の所定操作に基づいて中央制御部（指定手段）１のＣＰＵにより指定された何れか一の似顔絵画像Ｅ（例えば、似顔絵画像Ｅ２等）を選択して、その画像データをメモリ２に出力する。
なお、似顔絵処理部９は、選択された一の似顔絵画像Ｅについて、ユーザによる操作入力部７の所定操作に基づいて指定された箇所の修正、例えば、部品画像８ｂの差し替え等を実行可能にしても良い。

＜似顔絵画像生成処理＞
次に、撮像装置１００による似顔絵画像生成処理について、図３〜図６を参照して説明する。
図３は、似顔絵画像生成処理に係る動作の一例を示すフローチャートである。

似顔絵画像生成処理は、ユーザによる操作入力部７の所定操作に基づいて、メニュー画面に表示された複数の動作モードの中から似顔絵画像生成モードが選択指示された場合に、中央制御部１の制御下にて当該撮像装置１００の各部、特に似顔絵処理部９により実行される処理である。

図３に示すように、先ず、ユーザによる操作入力部７の所定操作に基づいて被写体の動画像の撮像開始が指示されると、撮像部３は、被写体の動画像の撮像を開始し、画像データ生成部４は、当該動画像を構成する各フレーム画像の画像データを生成してメモリ２に出力する（ステップＳ１）。また、ユーザによる操作入力部７の所定操作に基づいて被写体の動画像の撮像終了が指示されると、撮像部３は、被写体の動画像の撮像を終了する。
似顔絵処理部９の画像取得部９ａは、メモリ２から動画像の画像データの複製を取得して、動画像を構成する複数のフレーム画像の中から何れか一のフレーム画像を処理対象となる顔画像Ａとして取得する（ステップＳ２）。例えば、画像取得部９ａは、動画像を構成する各フレーム画像の画像データに対して所定の顔検出処理を行って顔領域を検出し、検出された顔領域に対して所定の笑顔検出処理を行って、最も笑顔の評価値が高い顔領域を含む一のフレーム画像を処理対象となる顔画像Ａとして特定して取得する。

次に、表示制御部６ａは、画像取得部９ａにより取得された顔画像Ａを取得して、表示パネル６ｂの表示領域に所定の倍率で表示（例えば、拡大表示等）させた状態で、例えば、ユーザが顔画像Ａを構成する左右各々の目、鼻、口、眉、顔輪郭、髪型等の顔の主要な構成部をなぞるように操作入力部７のタッチパネル７ａを描画操作する（ステップＳ３）。
軌跡特定部９ｂは、ユーザによるタッチパネル７ａの描画操作に基づいて連続して検出された接触位置の各々を操作点とし、これら複数の操作点どうしを結線することで、ユーザによる描画操作に対応する顔画像Ａ内での線の軌跡及び軌跡の位置を示す位置情報を特定する（ステップＳ４）。そして、構成部画像生成部９ｃは、軌跡特定部９ｂにより特定された、目、鼻、口、眉、顔輪郭等の顔の主要な構成部に対応する各々の線の軌跡をその位置情報に基づいて配置して顔構成部画像Ｂを生成する（ステップＳ５）。

続けて、作者表現画像生成部９ｄは、記憶部８に記憶されている作者情報８ａを取得し、構成部画像生成部９ｃにより生成された顔構成部画像Ｂに対して似顔絵作者特有の表現を施して、具体的には、作者情報８ａに規定されている各似顔絵作者特有の視覚的効果を顔構成部画像Ｂに反映させて、作者表現画像Ｃを生成する（ステップＳ６）。作者表現画像Ｃを生成する処理は、複数の似顔絵作者（例えば、似顔絵作者甲、乙等）についてそれぞれ行われても良い。

そして、誇張部決定部９ｅは、構成部画像生成部９ｃにより生成された顔構成部画像Ｂに対して、所定の特徴検出処理を施して、顔構成部画像Ｂ内での物理的な特徴（例えば、目が相対的に大きい、顎が相対的に長い、顔の主要な構成部が中心に寄っている等）を似顔絵画像Ｅにて誇張して表現されるべき顔の特徴として決定する（ステップＳ７）。
次に、誇張画像生成部９ｆは、作者表現画像生成部９ｄにより生成された作者表現画像Ｃ内で、誇張部決定部９ｅにより決定された顔の特徴に対応する顔の構成部を所定の変形率で変形して顔誇張画像Ｄを生成する（ステップＳ８）。
上記した顔誇張画像Ｄを生成する処理は、複数の似顔絵作者（例えば、似顔絵作者甲、乙等）についてそれぞれ行われても良い。

続けて、似顔絵画像生成部９ｇは、誇張画像生成部９ｆにより生成された顔誇張画像Ｄの似顔絵作者に対応する複数の部品画像８ｂ、…を記憶部８から取得する（ステップＳ９）。そして、似顔絵画像生成部９ｇは、取得された複数の部品画像８ｂ、…の中で、顔誇張画像Ｄ内の顔の主要な構成部の各々と最も合致する部品画像８ｂを特定する（ステップＳ１０）。
次に、似顔絵画像生成部９ｇは、特定された各部品画像８ｂの制御点ｐを顔誇張画像Ｄ内の構成部の制御点ｑに対応させるように部品画像８ｂを変形させるとともに、作者表現画像生成部９ｄにより髪型の顔構成部画像から生成された作者表現画像を合成して似顔絵画像Ｅを生成する（ステップＳ１１）。
上記した似顔絵画像Ｅを生成する処理は、複数の似顔絵作者（例えば、似顔絵作者甲、乙等）についてそれぞれ行われても良い。

その後、表示制御部６ａは、似顔絵画像生成部９ｇにより生成された複数の似顔絵画像Ｅ１、Ｅ２を取得して、表示パネル６ｂの表示領域に表示させた状態で、例えば、ユーザによる操作入力部７の所定操作に基づいて中央制御部１のＣＰＵにより指定された何れか一の似顔絵画像Ｅを選択して、その画像データをメモリ２に出力する（ステップＳ１２）。
これにより、似顔絵画像生成処理を終了する。

以上のように、本実施形態の撮像装置１００によれば、顔画像Ａ内の顔の構成部に係る顔構成部画像Ｂを生成し、生成された顔構成部画像Ｂに対して似顔絵作者特有の表現を施して顔を模式的に表した似顔絵画像Ｅを生成するので、予め指定されている作風の似顔絵画像ではなく、ユーザ所望の似顔絵作者特有の表現がなされた似顔絵画像Ｅを生成することができる。
このとき、似顔絵画像Ｅにて誇張して表現されるべき顔の特徴を決定し、決定された顔の特徴を相対的に誇張して似顔絵画像Ｅを生成するので、ユーザ所望の似顔絵作者特有の表現に加えて、より本人らしい特徴が表された似顔絵画像Ｅを生成することができる。
また、顔構成部画像Ｂに対してユーザ所望の複数の似顔絵作者特有の表現をそれぞれ施して似顔絵画像Ｅを複数生成しておくことで、生成された複数の似顔絵画像Ｅ（例えば、似顔絵画像Ｅ１、Ｅ２等）の中で、ユーザ所望の何れか一の似顔絵画像Ｅを指定することができる。

また、各似顔絵作者の表現の傾向を表す作者情報８ａを記憶しておくことで、当該作者情報８ａに基づいて、顔構成部画像Ｂに対して似顔絵作者特有の表現を施して似顔絵画像Ｅを生成することができる。
具体的には、作者情報８ａに基づいて、顔構成部画像Ｂに対して似顔絵作者特有の表現を施した作者表現画像Ｃを生成し、生成された作者表現画像Ｃを利用することで、ユーザ所望の似顔絵作者特有の表現がなされた似顔絵画像Ｅを生成することができる。このとき、似顔絵作者毎に、各似顔絵作者特有の表現が表された顔の主要な構成部の部品画像８ｂを記憶しておくことで、作者表現画像Ｃに対応する部品画像８ｂを用いて、例えば、部品画像８ｂを作者表現画像Ｃに対応させるように変形させて似顔絵画像Ｅを生成することができる。

また、表示パネル６ｂの表示領域に表示された顔画像Ａ内で、ユーザによる操作入力部７（例えば、タッチパネル７ａ）の所定操作に基づいて描画された線の軌跡を特定し、特定された軌跡に基づいて顔構成部画像Ｂを適正に生成することができる。

なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、上記実施形態にあっては、似顔絵作者特有の表現を施した作者表現画像Ｃを生成するようにしたが、一例であってこれに限られるものではなく、必ずしも作者表現画像Ｃを生成する必要はない。すなわち、作者表現画像生成部９ｄを具備するか否かは適宜任意に変更可能である。
同様に、似顔絵画像Ｅにて誇張して表現されるべき顔の特徴を決定して、決定された顔の特徴を相対的に誇張して、似顔絵画像Ｅを生成するようにしたが、一例であってこれに限られるものではなく、必ずしも顔の特徴を相対的に誇張した似顔絵画像Ｅを生成する必要はない。すなわち、誇張部決定部９ｅや誇張画像生成部９ｆを具備するか否かは適宜任意に変更可能である。

また、顔画像Ａ内で特定された、ユーザによる操作入力部７の所定操作に応じて描画された線の軌跡に基づいて顔構成部画像Ｂを生成するようにしたが、一例であってこれに限られるものではなく、必ずしも顔画像Ａ内で描画された線の軌跡に基づいて顔構成部画像Ｂを生成する必要はない。すなわち、軌跡特定部９ｂを具備せずに、構成部画像生成部９ｃは、例えば、ＡＡＭ等の顔構成部検出方法を利用して構成部画像を自動的に生成しても良い。

さらに、撮像装置１００の構成は、上記実施形態に例示したものは一例であり、これに限られるものではない。また、画像生成装置として、撮像装置１００を例示したが、これに限られるものではなく、本発明に係る似顔絵画像生成処理を実行可能なものであれば如何なる構成であっても良い。

加えて、上記実施形態にあっては、取得手段、構成部生成手段、画像生成手段としての機能を、中央制御部１のＣＰＵの制御下にて、画像取得部９ａ、構成部画像生成部９ｃ、似顔絵画像生成部９ｇが駆動することにより実現される構成としたが、これに限られるものではなく、中央制御部１のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。
すなわち、プログラムを記憶するプログラムメモリ（図示略）に、取得処理ルーチン、構成部生成処理ルーチン、画像生成処理ルーチンを含むプログラムを記憶しておく。そして、取得処理ルーチンにより中央制御部１のＣＰＵを、顔画像Ａを取得する手段として機能させるようにしても良い。また、構成部生成処理ルーチンにより中央制御部１のＣＰＵを、取得された顔画像Ａ内の顔の構成部に係る顔構成部画像Ｂを生成する手段として機能させるようにしても良い。また、画像生成処理ルーチンにより中央制御部１のＣＰＵを、生成された顔構成部画像Ｂに対して似顔絵作者特有の表現を施して顔を模式的に表した似顔絵画像Ｅを生成する手段として機能させるようにしても良い。

同様に、第２画像生成手段、表示制御手段、特定手段、決定手段、指定手段についても、中央制御部１のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。

さらに、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ＲＯＭやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬型記憶媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ（搬送波）も適用される。

本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
＜請求項１＞
顔画像を取得する取得手段と、
前記取得手段により取得された顔画像内の顔の構成部に係る顔構成部画像を生成する構成部生成手段と、
前記構成部生成手段により生成された顔構成部画像に対して似顔絵作者特有の表現を施して顔を模式的に表した似顔絵画像を生成する第１画像生成手段と、
を備えたことを特徴とする画像生成装置。
＜請求項２＞
複数の前記似顔絵作者毎に、各似顔絵作者の表現の傾向を表す作者情報を記憶する作者情報記憶手段を更に備え、
前記第１画像生成手段は、前記作者情報記憶手段に記憶されている作者情報に基づいて、前記顔構成部画像に対して前記似顔絵作者特有の表現を施して前記似顔絵画像を生成することを特徴とする請求項１に記載の画像生成装置。
＜請求項３＞
前記作者情報記憶手段に記憶されている作者情報に基づいて、前記顔構成部画像に対して前記似顔絵作者特有の表現を施した作者表現画像を生成する第２画像生成手段を更に備え、
前記第１画像生成手段は、前記第２画像生成手段により生成された作者表現画像に基づいて、前記似顔絵画像を生成することを特徴とする請求項２に記載の画像生成装置。
＜請求項４＞
前記似顔絵作者毎に、各似顔絵作者特有の表現が表された顔の構成部の部品画像を記憶する部品画像記憶手段を更に備え、
前記第１画像生成手段は、前記部品画像記憶手段に記憶されている部品画像を前記作者表現画像に対応させるように変形させて前記似顔絵画像を生成することを特徴とする請求項３に記載の画像生成装置。
＜請求項５＞
前記取得手段により取得された顔画像を表示手段の表示領域に表示させる表示制御手段と、
前記表示制御手段により前記表示領域に表示された顔画像内で、ユーザによる操作手段の所定操作に基づいて描画された線の軌跡を特定する特定手段と、を更に備え、
前記構成部生成手段は、前記特定手段により特定された軌跡に基づいて、前記顔構成部画像を生成することを特徴とする請求項１〜４の何れか一項に記載の画像生成装置。
＜請求項６＞
前記似顔絵画像にて誇張して表現されるべき顔の特徴を決定する決定手段を更に備え、
前記第１画像生成手段は、前記決定手段により決定された顔の特徴を相対的に誇張して、前記似顔絵画像を生成することを特徴とする請求項１〜５の何れか一項に記載の画像生成装置。
＜請求項７＞
前記第１画像生成手段は、更に、前記顔構成部画像に対して複数の似顔絵作者特有の表現をそれぞれ施して前記似顔絵画像を複数生成し、
前記第１画像生成手段により生成された複数の前記似顔絵画像の中で、何れか一の似顔絵画像を指定する指定手段を更に備えることを特徴とする請求項１〜６の何れか一項に記載の画像生成装置。
＜請求項８＞
画像生成装置を用いた画像生成方法であって、
顔画像を取得するステップと、
取得された顔画像内の顔の構成部に係る顔構成部画像を生成するステップと、
生成された顔構成部画像に対して似顔絵作者特有の表現を施して顔を模式的に表した似顔絵画像を生成するステップと、
を含むことを特徴とする画像生成方法。
＜請求項９＞
画像生成装置のコンピュータを、
顔画像を取得する取得手段、
前記取得手段により取得された顔画像内の顔の構成部に係る顔構成部画像を生成する構成部生成手段、
前記構成部生成手段により生成された顔構成部画像に対して似顔絵作者特有の表現を施して顔を模式的に表した似顔絵画像を生成する画像生成手段、
として機能させることを特徴とするプログラム。

１００ 撮像装置
１ 中央制御部
６ 表示部
６ａ 表示制御部
６ｂ 表示パネル
７ 操作入力部
７ａ タッチパネル
８ 記憶部
８ａ 作者情報
８ｂ 部品画像
９ 似顔絵処理部
９ａ 画像取得部
９ｂ 軌跡特定部
９ｃ 構成部画像生成部
９ｄ 作者表現画像生成部
９ｅ 誇張部決定部
９ｆ 誇張画像生成部
９ｇ 似顔絵画像生成部

Claims (9)

1. 顔画像を取得する取得手段と、
   前記取得手段により取得された顔画像内の顔の構成部に係る顔構成部画像を生成する構成部生成手段と、
   前記構成部生成手段により生成された顔構成部画像に対して似顔絵作者特有の表現を施して顔を模式的に表した似顔絵画像を生成する第１画像生成手段と、
   を備えたことを特徴とする画像生成装置。
2. 複数の前記似顔絵作者毎に、各似顔絵作者の表現の傾向を表す作者情報を記憶する作者情報記憶手段を更に備え、
   前記第１画像生成手段は、前記作者情報記憶手段に記憶されている作者情報に基づいて、前記顔構成部画像に対して前記似顔絵作者特有の表現を施して前記似顔絵画像を生成することを特徴とする請求項１に記載の画像生成装置。
3. 前記作者情報記憶手段に記憶されている作者情報に基づいて、前記顔構成部画像に対して前記似顔絵作者特有の表現を施した作者表現画像を生成する第２画像生成手段を更に備え、
   前記第１画像生成手段は、前記第２画像生成手段により生成された作者表現画像に基づいて、前記似顔絵画像を生成することを特徴とする請求項２に記載の画像生成装置。
4. 前記似顔絵作者毎に、各似顔絵作者特有の表現が表された顔の構成部の部品画像を記憶する部品画像記憶手段を更に備え、
   前記第１画像生成手段は、前記部品画像記憶手段に記憶されている部品画像を前記作者表現画像に対応させるように変形させて前記似顔絵画像を生成することを特徴とする請求項３に記載の画像生成装置。
5. 前記取得手段により取得された顔画像を表示手段の表示領域に表示させる表示制御手段と、
   前記表示制御手段により前記表示領域に表示された顔画像内で、ユーザによる操作手段の所定操作に基づいて描画された線の軌跡を特定する特定手段と、を更に備え、
   前記構成部生成手段は、前記特定手段により特定された軌跡に基づいて、前記顔構成部画像を生成することを特徴とする請求項１〜４の何れか一項に記載の画像生成装置。
6. 前記似顔絵画像にて誇張して表現されるべき顔の特徴を決定する決定手段を更に備え、
   前記第１画像生成手段は、前記決定手段により決定された顔の特徴を相対的に誇張して、前記似顔絵画像を生成することを特徴とする請求項１〜５の何れか一項に記載の画像生成装置。
7. 前記第１画像生成手段は、更に、前記顔構成部画像に対して複数の似顔絵作者特有の表現をそれぞれ施して前記似顔絵画像を複数生成し、
   前記第１画像生成手段により生成された複数の前記似顔絵画像の中で、何れか一の似顔絵画像を指定する指定手段を更に備えることを特徴とする請求項１〜６の何れか一項に記載の画像生成装置。
8. 画像生成装置を用いた画像生成方法であって、
   顔画像を取得するステップと、
   取得された顔画像内の顔の構成部に係る顔構成部画像を生成するステップと、
   生成された顔構成部画像に対して似顔絵作者特有の表現を施して顔を模式的に表した似顔絵画像を生成するステップと、
   を含むことを特徴とする画像生成方法。
9. 画像生成装置のコンピュータを、
   顔画像を取得する取得手段、
   前記取得手段により取得された顔画像内の顔の構成部に係る顔構成部画像を生成する構成部生成手段、
   前記構成部生成手段により生成された顔構成部画像に対して似顔絵作者特有の表現を施して顔を模式的に表した似顔絵画像を生成する画像生成手段、
   として機能させることを特徴とするプログラム。