JP2013200735A - 画像生成装置、画像生成方法及びプログラム - Google Patents

Abstract

【課題】より豊かな表現の似顔絵を簡便に生成する。
【解決手段】撮像装置１００であって、取得された元画像内の顔の主要な構成部に係る顔構成部画像を生成する構成部画像生成部６ｃと、取得された元画像内の顔から特徴情報を抽出する特徴情報抽出部６ｄと、画像記録部５に顔の特徴情報と対応付けて記録されている髪の輪郭を表した髪型画像から、抽出された特徴情報に対応する髪型画像を特定する髪型画像特定部６ｅと、髪型画像と顔構成部画像とを用いて似顔絵画像を生成する似顔絵画像生成部６ｆと、を備えている。
【選択図】図１

Description

本発明は、画像生成装置、画像生成方法及びプログラムに関する。

従来、目、鼻、口、耳、顔の輪郭等の顔部品の特徴点を用いて似顔絵を作成する似顔絵作成装置が知られている（例えば、特許文献１参照）。
また、各部位ごとに予め用意されているパーツオブジェクトを組み合わせてキャラクタを作成するゲーム装置が知られている（例えば、特許文献２参照）。

特開２００４−１４５６２５号公報 特開２００８−６１８９６号公報

ところで、似顔絵を作成する際に、顔の特徴的な構成の輪郭形状のみを線で表すと、現実感の乏しい似顔絵になってしまい、これに対して、顔の微細な構造まで線で表すと、タッチやテクスチャが細かくなりすぎて似顔絵らしさが低減してしまうといった問題がある。また、パーツオブジェクトの組み合わせで似顔絵を作成する場合は、似ているパーツオブジェクトが用意されていない場合もあり、似ている似顔絵画像を作成できない場合がある。

そこで、本発明の課題は、より豊かな表現の似顔絵を簡便に生成することができる画像生成装置、画像生成方法及びプログラムを提供することである。

上記課題を解決するため、本発明に係る画像生成装置は、
画像を取得する取得手段と、前記取得手段により取得された画像内の顔の主要な構成部に係る顔構成部画像を生成する構成部生成手段と、前記取得手段により取得された画像内の顔から特徴情報を抽出する抽出手段と、記録手段に顔の特徴情報と対応付けて記録されている髪の輪郭を表した髪型画像から、前記抽出手段により抽出された特徴情報に対応する髪型画像を特定する特定手段と、前記特定手段により特定された髪型画像と前記構成部生成手段により生成された顔構成部画像とを用いて似顔絵画像を生成する画像生成手段と、を備えたことを特徴としている。

また、本発明に係る画像生成方法は、
画像生成装置を用いた画像生成方法であって、画像を取得する処理と、取得された画像内の顔の主要な構成部に係る顔構成部画像を生成する処理と、取得された画像内の顔から特徴情報を抽出する処理と、記録手段に顔の特徴情報と対応付けて記録されている髪の輪郭を表した髪型画像から、抽出された特徴情報に対応する髪型画像を特定する処理と、特定された髪型画像と生成された顔構成部画像とを用いて似顔絵画像を生成する処理と、を含むことを特徴としている。

また、本発明に係るプログラムは、
画像生成装置のコンピュータを、画像を取得する取得手段、前記取得手段により取得された画像内の顔の主要な構成部に係る顔構成部画像を生成する構成部生成手段、前記取得手段により取得された画像内の顔から特徴情報を抽出する抽出手段、記録手段に顔の特徴情報と対応付けて記録されている髪の輪郭を表した髪型画像から、前記抽出手段により抽出された特徴情報に対応する髪型画像を特定する特定手段、前記特定手段により特定された髪型画像と前記構成部生成手段により生成された顔構成部画像とを用いて似顔絵画像を生成する画像生成手段、として機能させることを特徴としている。

本発明によれば、より豊かな表現の似顔絵を簡便に生成することができる。

本発明を適用した一実施形態の撮像装置の概略構成を示すブロック図である。 図１の撮像装置による髪型画像生成処理に係る動作の一例を示すフローチャートである。 図２の髪型画像生成処理に係る画像の一例を模式的に示す図である。 図１の撮像装置による似顔絵画像生成処理に係る動作の一例を示すフローチャートである。 図４の似顔絵画像生成処理に係る画像の一例を模式的に示す図である。 図４の似顔絵画像生成処理に係る画像の一例を模式的に示す図である。 似顔絵画像生成処理の変形例に係る画像の一例を模式的に示す図である。

以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。

図１は、本発明を適用した一実施形態の撮像装置１００の概略構成を示すブロック図である。
図１に示すように、本実施形態の撮像装置１００は、具体的には、撮像部１と、撮像制御部２と、画像データ生成部３と、メモリ４と、画像記録部５と、画像処理部６と、表示制御部７と、表示部８と、操作入力部９と、中央制御部１０とを備えている。
また、撮像部１、撮像制御部２、画像データ生成部３、メモリ４、画像記録部５、画像処理部６、表示制御部７及び中央制御部１０は、バスライン１１を介して接続されている。

撮像部１は、撮像手段として、所定の被写体を撮像してフレーム画像を生成する。
具体的には、撮像部１は、レンズ部１ａと、電子撮像部１ｂと、レンズ駆動部１ｃとを備えている。

レンズ部１ａは、例えば、ズームレンズやフォーカスレンズ等の複数のレンズから構成されている。
電子撮像部１ｂは、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等のイメージセンサ（撮像素子）から構成されている。そして、電子撮像部１ｂは、レンズ部１ａの各種レンズを通過した光学像を二次元の画像信号に変換する。
レンズ駆動部１ｃは、例えば、図示は省略するが、ズームレンズを光軸方向に移動させるズーム駆動部、フォーカスレンズを光軸方向に移動させる合焦駆動部等を備えている。
なお、撮像部１は、レンズ部１ａ、電子撮像部１ｂ及びレンズ駆動部１ｃに加えて、レンズ部１ａを通過する光の量を調整する絞り（図示略）を備えても良い。

撮像制御部２は、撮像部１による被写体の撮像を制御する。即ち、撮像制御部２は、図示は省略するが、タイミング発生器、ドライバなどを備えている。そして、撮像制御部２は、タイミング発生器、ドライバにより電子撮像部１ｂを走査駆動して、レンズを通過した光学像を電子撮像部１ｂにより所定周期毎に二次元の画像信号に変換させ、当該電子撮像部１ｂの撮像領域から１画面分ずつフレーム画像を読み出して画像データ生成部３に出力させる。

なお、撮像制御部２は、レンズ部１ａのフォーカスレンズに代えて、電子撮像部１ｂを光軸方向に移動させてレンズ部１ａの合焦位置を調整するようにしても良い。
また、撮像制御部２は、ＡＦ（自動合焦処理）、ＡＥ（自動露出処理）、ＡＷＢ（自動ホワイトバランス）等の被写体を撮像する際の条件の調整制御を行っても良い。

画像データ生成部３は、電子撮像部１ｂから転送されたフレーム画像のアナログ値の信号に対してＲＧＢの各色成分毎に適宜ゲイン調整した後に、サンプルホールド回路（図示略）でサンプルホールドしてＡ／Ｄ変換器（図示略）でデジタルデータに変換し、カラープロセス回路（図示略）で画素補間処理及びγ補正処理を含むカラープロセス処理を行った後、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒ（ＹＵＶデータ）を生成する。
カラープロセス回路から出力される輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒは、図示しないＤＭＡコントローラを介して、バッファメモリとして使用されるメモリ４にＤＭＡ転送される。

メモリ４は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）等により構成され、画像処理部６や中央制御部１０等によって処理されるデータ等を一時的に格納する。

画像記録部５は、例えば、不揮発性メモリ（フラッシュメモリ）等により構成され、画像処理部６の符号化部（図示略）により所定の圧縮形式（例えば、ＪＰＥＧ形式等）で符号化された記録用の画像データを記録する。

また、画像記録部（記録手段）５は、所定数の髪型画像Ｐ１（図３（ｂ）参照）の画像データを記録している。
髪型画像Ｐ１の画像データの各々は、例えば、ヒトの髪の輪郭を模式的に表した画像であり、顔の特徴情報としての輪郭Ｗ１（図３（ａ）参照）の形状と対応付けられている。即ち、各髪型画像Ｐ１の画像データは、顔検出処理（後述）により検出された顔領域Ｆ１（図３（ａ）参照）内から、顔の顎の輪郭Ｗ１よりも内側の部分を消去することで形成されている。
なお、髪型画像Ｐ１の画像データは、例えば、顔領域Ｆ１に対してＡＡＭ（Active Appearance Model）を用いた処理（詳細後述）を行って、顔の輪郭Ｗ１よりも内側に存する顔構成部（例えば、目、鼻、口、眉等）を消去した後、顔の輪郭Ｗ１や髪の先端部に沿って線を描画し、顔の輪郭Ｗ１の内側の肌部分や髪を所定の色で塗り潰すことにより形成される方法が挙げられる。また、顔の輪郭Ｗ１や髪の先端部に沿った線の描画は、ユーザによる操作入力部９の所定操作に基づいて手動で行われても良いし、中央制御部１０のＣＰＵの制御下にて自動で行われても良い。
また、顔の輪郭Ｗ１の形状としては、例えば、長軸及び短軸の長さが特定された楕円形が挙げられ、例えば、ＡＡＭを用いた処理によって各顔の顎の輪郭Ｗ１と合致する楕円形が特定される。なお、顔の特徴情報として、顔の顎の輪郭Ｗ１の形状を例示したが、一例であってこれに限られるものではなく、適宜任意に変更可能である。

なお、画像記録部５は、例えば、記録媒体（図示略）が着脱自在に構成され、装着された記録媒体からのデータの読み出しや記録媒体に対するデータの書き込みを制御する構成であっても良い。

画像処理部６は、画像取得部６ａと、顔検出部６ｂと、構成部画像生成部６ｃと、特徴情報抽出部６ｄと、髪型画像特定部６ｅと、似顔絵画像生成部６ｆとを具備している。
なお、画像処理部６の各部は、例えば、所定のロジック回路から構成されているが、当該構成は一例であってこれに限られるものではない。

画像取得部６ａは、似顔絵画像生成処理の処理対象となる画像を取得する。
即ち、画像取得部６ａは、取得手段として、元画像（例えば、写真画像等）Ｐ２の画像データを取得する。具体的には、画像取得部６ａは、撮像部１及び撮像制御部２による被写体の撮像によって画像データ生成部３により生成された元画像Ｐ２の画像データ（ＹＵＶデータ）の複製をメモリ４から取得したり、画像記録部５に記録されている元画像Ｐ２の画像データ（ＹＵＶデータ）の複製を取得する（図５（ａ）参照）。

顔検出部６ｂは、処理対象となる元画像Ｐ２から顔領域Ｆ２（図５（ａ）参照）を検出する。
即ち、顔検出部６ｂは、顔検出手段として、画像取得部６ａにより取得された元画像Ｐ２から顔が含まれる顔領域Ｆ２を検出する。具体的には、顔検出部６ｂは、画像取得部６ａにより似顔絵画像生成処理の処理対象の画像として取得された元画像Ｐ２の画像データを取得して、当該画像データに対して所定の顔検出処理を行って顔領域Ｆ２を検出する。
なお、顔検出処理は、公知の技術であるので、ここでは詳細な説明を省略する。

構成部画像生成部６ｃは、顔の主要な顔構成部を表した顔構成部画像Ｐ４（図６（ｂ）参照）を生成する。
即ち、構成部画像生成部６ｃは、構成部生成手段として、画像取得部６ａにより取得された元画像Ｐ２（図５（ａ）参照）内の顔の主要な顔構成部に係る顔構成部画像Ｐ４を生成する。具体的には、構成部画像生成部６ｃは、元画像Ｐ２の顔が含まれる顔領域Ｆ２に対して微細部抽出処理を施して、例えば、目、鼻、口、眉、髪の毛、顔の輪郭等の顔構成部を線で表した顔微細部画像Ｐ３（図５（ｂ）参照）を生成する。例えば、構成部画像生成部６ｃは、微細部抽出処理として、ＡＡＭを用いた処理により顔微細部画像Ｐ３を生成する。また、構成部画像生成部６ｃは、顔検出部６ｂにより元画像Ｐ２の画像データから検出された顔領域Ｆ２に対して微細部抽出処理を施す。
ここで、ＡＡＭとは、視覚的事象のモデル化の一手法であり、任意の顔領域Ｆ２の画像のモデル化を行う処理である。例えば、構成部画像生成部６ｃは、複数のサンプル顔画像における所定の特徴部位（例えば、目じりや鼻頭やフェイスライン等）の位置や画素値（例えば、輝度値）の統計的分析結果を所定の登録手段に登録しておく。そして、構成部画像生成部６ｃは、上記の特徴部位の位置を基準として、顔の形状を表す形状モデルや平均的な形状における「Appearance」を表すテクスチャーモデルを設定し、これらのモデルを用いて顔領域Ｆ２の画像をモデル化する。これにより、構成部画像生成部６ｃは、元画像Ｐ２内の主要な構成を抽出して線で表した顔微細部画像Ｐ３を生成する。

また、構成部画像生成部６ｃは、微細部抽出処理により顔領域Ｆ２内の顔の輪郭Ｗ２（図６（ａ）参照）を特定して、顔の輪郭Ｗ２内に存する顔構成部及び当該輪郭Ｗ２と接する顔構成部を線で表した顔構成部画像Ｐ４を生成する。
具体的には、構成部画像生成部６ｃは、顔微細部画像Ｐ３内で顔の輪郭Ｗ２と接する画素を特定し、当該画素と連続する画素のうち、顔の輪郭Ｗ２よりも外側に存する画素集合Ｇ、…（図６（ａ）参照）を消去する。つまり、構成部画像生成部６ｃは、顔微細部画像Ｐ３のうち、顔の輪郭Ｗ２よりも外側に存する部分を消去するとともに、顔の輪郭Ｗ２よりも内側に存し、且つ、当該輪郭Ｗ２と接する部分（例えば、図６（ａ）における向かって左側の眉等）を残して、例えば、目、鼻、口、眉等の主要な顔構成部のパーツ画像Ｍを含む顔構成部画像Ｐ４を生成する（図６（ｂ）参照）。なお、図６（ａ）にあっては、顔の輪郭Ｗ２を模式的に破線で表す。
ここで、構成部画像生成部６ｃは、各顔構成部のパーツ画像ＭのＸＹ平面空間での相対的な位置関係に係る情報や、座標位置に係る情報を抽出して取得しても良い。

なお、微細部抽出処理として、ＡＡＭを用いた処理を例示したが、一例であってこれに限られるものではなく、適宜任意に変更可能である。
例えば、微細部抽出処理として、エッジ抽出処理や非等方拡散処理を行って、顔構成部のパーツ画像Ｍを含む顔構成部画像Ｐ４を生成しても良い。具体的には、構成部画像生成部６ｃは、例えば、元画像Ｐ２の画像データ（ＹＵＶデータ）に対して所定の微分フィルタ（例えば、ハイパスフィルタ等）を用いて微分演算を行って、輝度値や色や濃度に急峻な変化があるところをエッジとして検出するエッジ検出処理を行っても良い。また、構成部画像生成部６ｃは、例えば、元画像Ｐ２の画像データに対して所定の非等方拡散フィルタを用いて、線状のエッジの接線方向とエッジの垂直方向とで重みを異ならせて平滑化する非等方拡散処理を行っても良い。

特徴情報抽出部６ｄは、元画像Ｐ２の顔領域Ｆ２から特徴情報を抽出する。
即ち、特徴情報抽出部６ｄは、抽出手段として、画像取得部６ａにより取得された元画像Ｐ２内の顔から、例えば、顔の輪郭Ｗ２の形状等の特徴情報を抽出する。具体的には、特徴情報抽出部６ｄは、元画像Ｐ２の画像データ（ＹＵＶデータ）に基づいて、顔領域Ｆ２内で特徴の高いブロック領域（特徴点）を選択して抽出する特徴抽出処理を行う。例えば、特徴情報抽出部６ｄは、微細部抽出処理として、例えば、ＡＡＭを用いた処理により顔領域Ｆ２内で特定された顔の輪郭Ｗ２を構成する画素について特徴抽出処理を行って、当該顔の輪郭Ｗ２の形状を特徴情報として抽出する。ここで、顔の輪郭Ｗ２の形状としては、例えば、長軸及び短軸の長さが特定された楕円形、特に、各顔の顎の輪郭Ｗ２と合致する楕円形が挙げられる。
なお、特徴抽出処理にて抽出される特徴情報として、顔の輪郭の形状を例示したが、一例であってこれに限られるものではなく、元画像Ｐ２と髪型画像Ｐ１とで対比可能な情報であれば適宜任意に変更可能である。例えば、元画像Ｐ２と髪型画像Ｐ１とで顔の輪郭の特徴ベクトルを抽出して用いても良いし、髪型の形状を用いても良い。また、特徴抽出処理は、公知の技術であるので、ここでは詳細な説明を省略する。

髪型画像特定部６ｅは、特徴情報抽出部６ｄにより抽出された特徴情報に対応する髪型画像Ｐ１を特定する。
即ち、髪型画像特定部６ｅは、特定手段として、画像記録部５に顔の特徴情報と対応付けて記録されている髪型画像Ｐ１から、特徴情報抽出部６ｄにより抽出された特徴情報に対応する髪型画像Ｐ１を特定する。具体的には、髪型画像特定部６ｅは、画像記録部５に記録されている所定数の顔の輪郭Ｗ１の形状を規定する楕円形と、特徴情報抽出部６ｄにより抽出された顔の輪郭Ｗ２の形状を規定する楕円形とを比較して、一致度が所定値よりも高い楕円形を特定する。そして、髪型画像特定部６ｅは、特定された楕円形と対応付けられている髪型画像Ｐ１の画像データを特定する。
なお、髪型画像特定部６ｅは、一致度が所定値よりも高い楕円形を複数特定し、当該複数の楕円形の中で、ユーザによる操作入力部９の所定操作に基づいて選択されたユーザ所望の楕円形を特定しても良い。

似顔絵画像生成部６ｆは、髪型画像Ｐ１と顔構成部画像Ｐ４とを用いて似顔絵画像Ｐ５を生成する。
即ち、似顔絵画像生成部６ｆは、画像生成手段として、髪型画像特定部６ｅにより特定された髪型画像Ｐ１の画像データと構成部画像生成部６ｃにより生成された顔構成部画像Ｐ４のパーツ画像Ｍとを用いて似顔絵画像Ｐ５を生成する。具体的には、似顔絵画像生成部６ｆは、髪型画像Ｐ１の顔の輪郭Ｗ１よりも内側にて、例えば、目、鼻、口、眉等の各顔構成部のパーツ画像Ｍを重畳させる位置を特定し、当該位置に各顔構成部のパーツ画像Ｍを重畳させて、元画像Ｐ２を似顔絵で表した似顔絵画像Ｐ５の画像データを生成する（図６（ｃ）参照）。このとき、似顔絵画像生成部６ｆは、髪型画像Ｐ１をその顔の輪郭Ｗ１を規定する楕円形が元画像Ｐ２の顔の輪郭Ｗ２を規定する楕円形と合致するように変形させても良い。
また、似顔絵画像生成部６ｆは、似顔絵画像Ｐ５の所定の部分（例えば、目、口、眉等の顔構成部等）に所定の色を付けて表した画像を生成しても良い。

表示制御部７は、メモリ４に一時的に格納されている表示用の画像データを読み出して表示部８に表示させる制御を行う。
具体的には、表示制御部７は、ＶＲＡＭ（Video Random Access Memory）、ＶＲＡＭコントローラ、デジタルビデオエンコーダなどを備えている。そして、デジタルビデオエンコーダは、中央制御部１０の制御下にてメモリ４から読み出されてＶＲＡＭ（図示略）に格納されている輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを、ＶＲＡＭコントローラを介してＶＲＡＭから定期的に読み出して、これらのデータを元にビデオ信号を発生して表示部８に出力する。

表示部８は、例えば、液晶表示パネルであり、表示制御部７からのビデオ信号に基づいて撮像部１により撮像された画像などを表示画面に表示する。具体的には、表示部８は、静止画撮像モードや動画撮像モードにて、撮像部１及び撮像制御部２による被写体の撮像により生成された複数のフレーム画像を所定のフレームレートで逐次更新しながらライブビュー画像を表示する。また、表示部８は、静止画として記録される画像（レックビュー画像）を表示したり、動画として記録中の画像を表示する。

操作入力部９は、当該撮像装置１００の所定操作を行うためのものである。具体的には、操作入力部９は、被写体の撮像指示に係るシャッタボタン、撮像モードや機能等の選択指示に係る選択決定ボタン、ズーム量の調整指示に係るズームボタン等（何れも図示略）の操作部を備え、当該操作部の各ボタンの操作に応じて所定の操作信号を中央制御部１０に出力する。

中央制御部１０は、撮像装置１００の各部を制御するものである。具体的には、中央制御部１０は、図示は省略するが、ＣＰＵ（Central Processing Unit）等を備え、撮像装置１００用の各種処理プログラム（図示略）に従って各種の制御動作を行う。

次に、撮像装置１００による髪型画像生成処理について、図２及び図３を参照して説明する。
図２は、髪型画像生成処理に係る動作の一例を示すフローチャートである。

髪型画像生成処理は、ユーザによる操作入力部９の選択決定ボタンの所定操作に基づいて、メニュー画面に表示された複数の動作モードの中から髪型画像生成モードが選択指示された場合に、中央制御部１０の制御下にて当該撮像装置１００の各部、特に画像処理部６により実行される処理である。
また、髪型画像生成処理の処理対象となる画像Ｐ０の画像データが画像記録部５に記録されているものとする。

図２に示すように、先ず、画像記録部５は、画像記録部５に記録されている画像データの中で、ユーザによる操作入力部９の所定操作に基づいて指定された一の画像Ｐ０（図３（ａ）参照）の画像データ（ＹＵＶデータ）を読み出し、画像処理部６の画像取得部６ａは、読み出された画像データを当該髪型画像生成処理の処理対象として取得する（ステップＳ１）。

次に、顔検出部６ｂは、処理対象として画像取得部６ａにより取得された一の画像Ｐ０の画像データに対して所定の顔検出処理を行って顔領域Ｆ１を検出する（ステップＳ２）。
続けて、画像処理部６は、検出された顔領域Ｆ１に対してＡＡＭを用いた処理を行って、髪型画像Ｐ１（図３（ｂ）参照）の画像データを生成する（ステップＳ３）。具体的には、画像処理部６は、顔領域Ｆ１を囲繞する所定の大きさの領域Ａ（図３（ａ）参照）を切り出した後、顔領域Ｆ１の顔の輪郭Ｗ１よりも内側に存する、目、鼻、口、眉等を消去した後、顔の輪郭Ｗ１に沿って線を描画して顔の輪郭Ｗ１の内側の肌部分を所定の色（例えば、肌色等）で塗り潰すとともに、髪の先端部に沿って線を描画して髪を所定の色で塗り潰す。これにより、画像処理部６は、髪型画像Ｐ１（図３（ｂ）参照）の画像データを生成する。

次に、画像処理部６は、ＡＡＭを用いた処理によって特定された顔の輪郭Ｗ１の形状を規定する楕円形を特定し、特徴情報として抽出する（ステップＳ４）。その後、画像記録部５は、生成された髪型画像Ｐ１の画像データと輪郭Ｗ１の形状（特徴情報）とを対応付けて記録して（ステップＳ５）、髪型画像生成処理を終了する。
上記の髪型画像生成処理は、処理対象となる画像の画像データの各々に対して実行され、所定数の髪型画像Ｐ１の画像データが画像記録部５に記録された状態となる。

次に、撮像装置１００による似顔絵画像生成処理について、図４〜図６を参照して説明する。
図４は、似顔絵画像生成処理に係る動作の一例を示すフローチャートである。

似顔絵画像生成処理は、ユーザによる操作入力部９の選択決定ボタンの所定操作に基づいて、メニュー画面に表示された複数の動作モードの中から似顔絵画像生成モードが選択指示された場合に、中央制御部１０の制御下にて当該撮像装置１００の各部、特に画像処理部６により実行される処理である。
また、似顔絵画像生成処理の処理対象となる元画像Ｐ２の画像データが画像記録部５に記録されているものとする。

図４に示すように、先ず、画像記録部５は、画像記録部５に記録されている画像データの中で、ユーザによる操作入力部９の所定操作に基づいて指定された元画像Ｐ２（図５（ａ）参照）の画像データを読み出し、画像処理部６の画像取得部６ａは、読み出された画像データを当該似顔絵画像生成処理の処理対象として取得する（ステップＳ１１）。

次に、顔検出部６ｂは、処理対象として画像取得部６ａにより取得された元画像Ｐ２の画像データに対して所定の顔検出処理を行って顔領域Ｆ２を検出する（ステップＳ１２）。
続けて、構成部画像生成部６ｃは、検出された顔領域Ｆ２に対して微細部抽出処理（例えば、ＡＡＭを用いた処理等）を行って、元画像Ｐ２の顔領域Ｆ２内の目、鼻、口、眉、髪の毛、顔の輪郭等の顔構成部を線で表した顔微細部画像Ｐ３（図５（ｂ）参照）を生成する（ステップＳ１３）。そして、構成部画像生成部６ｃは、微細部抽出処理により顔領域Ｆ２内の顔の輪郭Ｗ２を特定して、顔の輪郭Ｗ２内に存する顔構成部及び当該輪郭Ｗ２と接する顔構成部、即ち、例えば、目、鼻、口、眉等の主要な顔構成部のパーツ画像Ｍを含む顔構成部画像Ｐ４を生成する（ステップＳ１４；図６（ｂ）参照）。

続けて、特徴情報抽出部６ｄは、微細部抽出処理により顔領域Ｆ２内で特定された顔の輪郭Ｗ２を構成する画素について特徴抽出処理を行って、当該顔の輪郭Ｗ２の形状を規定する楕円形を特定し、特徴情報として抽出する（ステップＳ１５）。
次に、髪型画像特定部６ｅは、画像記録部５に記録されている所定数の顔の輪郭Ｗ１の形状を規定する楕円形と、特徴情報抽出部６ｄにより抽出された顔の輪郭Ｗ２の形状を規定する楕円形とを比較する。そして、髪型画像特定部６ｅは、一致度が所定値よりも高い楕円形を特定し、特定された楕円形と対応付けられている髪型画像Ｐ１の画像データを特定して、画像記録部５から読み出して取得する（ステップＳ１６）。

その後、似顔絵画像生成部６ｆは、髪型画像特定部６ｅにより特定された髪型画像Ｐ１の顔の輪郭Ｗ１よりも内側にて、構成部画像生成部６ｃにより生成された顔構成部画像Ｐ４の例えば、目、鼻、口、眉等の各顔構成部のパーツ画像Ｍを重畳させる位置を特定し、当該位置に各顔構成部のパーツ画像Ｍを重畳させて、元画像Ｐ２を似顔絵で表した似顔絵画像Ｐ５の画像データを生成する（ステップＳ１７；図６（ｃ）参照）。
そして、画像記録部５は、似顔絵画像生成部６ｆにより生成された似顔絵画像Ｐ５の画像データ（ＹＵＶデータ）を取得して記録する（ステップＳ１８）。
これにより、似顔絵画像生成処理を終了する。

以上のように、本実施形態の撮像装置１００によれば、元画像Ｐ２内の顔の主要な顔構成部に係る顔構成部画像Ｐ４を生成し、画像記録部５に顔の特徴情報（例えば、顔の輪郭Ｗ１の形状等）と対応付けて記録されている髪型画像Ｐ１から、元画像Ｐ２内の顔から抽出された特徴情報に対応する髪型画像Ｐ１を特定して、特定された髪型画像Ｐ１と顔構成部画像Ｐ４とを用いて似顔絵画像Ｐ５を生成するので、髪型画像Ｐ１とは別に顔の主要な顔構成部に係る顔構成部画像Ｐ４を生成し、当該顔構成部画像Ｐ４に係る顔の特徴情報と対応する髪型画像Ｐ１を用いることで、顔構成部を特徴的に表したより豊かな表現の似顔絵画像Ｐ５を簡便に生成することができる。
即ち、顔の特徴的な構成の輪郭形状のみを線で表すと、現実感の乏しい似顔絵になってしまい、一方、顔の微細な構造まで線で表すと、タッチやテクスチャが細かくなりすぎて似顔絵らしさが低減してしまうといった問題が生じる虞がある。そこで、顔の主要な顔構成部に係る顔構成部画像Ｐ４を生成し、画像記録部５内で特定された髪型画像Ｐ１を用いて似顔絵画像Ｐ５を生成することで、例えば、目、鼻、口、眉等の特徴的な顔構成部を少なくとも特徴的に表したより豊かな表現の画像を簡便に生成することができる。

また、画像の顔が含まれる顔領域Ｆ２に対して微細部抽出処理を施して、顔構成部を線で表した顔構成部画像Ｐ４を生成するので、顔構成部の微細な構造を特徴的に表した顔構成部画像Ｐ４を生成することができる。
特に、微細部抽出処理により顔領域Ｆ２内の顔の輪郭Ｗ２を特定し、顔の輪郭Ｗ２内に存する顔構成部及び当該輪郭Ｗ２と接する顔構成部を線で表した顔構成部画像Ｐ４を生成するので、当該顔構成部画像Ｐ４の生成を適正に行うことができる。具体的には、微細部抽出処理により顔構成部を線で表した顔微細部画像Ｐ３を生成し、顔微細部画像Ｐ３のうち、顔の輪郭Ｗ２よりも外側に存する部分を消去するとともに、顔の輪郭Ｗ２よりも内側に存し、且つ、当該輪郭Ｗ２と接する部分を残すことで、顔の輪郭Ｗ２内に存する顔構成部及び当該輪郭Ｗ２と接する顔構成部を線で表した顔構成部画像Ｐ４、即ち、顔構成部の微細な構造を特徴的に表した顔構成部画像Ｐ４の生成を適正に行うことができる。

また、顔検出部６ｂにより顔領域Ｆ２を検出することで、当該顔領域Ｆ２内に存する顔構成部の特定を簡便に行うことができ、当該顔構成部を線で表した顔構成部画像Ｐ４をより簡便に生成することができる。
さらに、顔検出部６ｂにより顔領域Ｆ２を検出することで、当該顔領域Ｆ２からの特徴情報の抽出を簡便に行うことができる。

なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、上記実施形態にあっては、顔構成部画像Ｐ４の生成後に特徴情報（顔の輪郭Ｗ２の形状等）の抽出を行うようにしたが、これらの処理の順序は一例であってこれに限られるものではなく、順序を逆、即ち、特徴情報の抽出処理後に顔構成部画像Ｐ４の生成処理を行うようにしても良い。

また、顔検出部６ｂにより検出された顔領域Ｆ１、Ｆ２から髪型画像Ｐ１や顔構成部画像Ｐ４を生成するようにしたが、顔検出処理を施す顔検出部６ｂを具備するか否かは適宜任意に変更可能である。
さらに、髪型画像Ｐ１や顔構成部画像Ｐ４の生成元となる画像は、正面顔を表した画像Ｐ０、Ｐ２である必要はなく、例えば、斜めを向くように顔が傾いた画像の場合には、当該顔を正面を向くように変形させた画像を生成して、生成元として用いても良い。

また、髪型画像Ｐ１を記録する画像記録部５を備える構成としたが、これに限られず、例えば、当該装置本体と所定の通信ネットワークを介して接続可能な所定のサーバに髪型画像Ｐ１を記録しておく構成とし、図示しない通信処理部から通信ネットワークを介して所定のサーバにアクセスして、画像取得部６ａは、当該サーバから髪型画像Ｐ１を取得する構成としても良い。

また、上記実施形態では、髪型画像Ｐ１に、目、鼻、口、眉等の各顔構成部のパーツ画像Ｍを重畳させて似顔絵画像Ｐ５を生成するようにしたが、一例であってこれに限られるものではない。例えば、ヒト以外の動物（例えば、猫等）や食べ物（例えば、トマト等）を似顔絵画像Ｐ５のベース画像として、各顔構成部のパーツ画像Ｍを重畳させた似顔絵画像Ｐ５ａ、Ｐ５ｂ（図７（ａ）、図７（ｂ）参照）を生成しても良い。なお、特徴情報としては、例えば、猫をベース画像とした場合には猫の顔部分の輪郭の形状を用い、また、トマトをベース画像とした場合にはトマトの外形を用いても良い。

さらに、撮像装置１００の構成は、上記実施形態に例示したものは一例であり、これに限られるものではない。また、画像生成装置として、撮像装置１００を例示したが、これに限られるものではなく、本発明に係る画像生成処理を実行可能なものであれば如何なる構成であっても良い。

加えて、上記実施形態にあっては、取得手段、構成部生成手段、抽出手段、特定手段、画像生成手段としての機能を、中央制御部１０の制御下にて、画像取得部６ａ、構成部画像生成部６ｃ、特徴情報抽出部６ｄ、髪型画像特定部６ｅ、似顔絵画像生成部６ｆが駆動することにより実現される構成としたが、これに限られるものではなく、中央制御部１０によって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、プログラムを記憶するプログラムメモリ（図示略）に、取得処理ルーチン、構成部生成処理ルーチン、抽出処理ルーチン、特定処理ルーチン、画像生成処理ルーチンを含むプログラムを記憶しておく。そして、取得処理ルーチンにより中央制御部１０のＣＰＵを、画像を取得する手段として機能させるようにしても良い。また、構成部生成処理ルーチンにより中央制御部１０のＣＰＵを、取得された画像内の顔の主要な構成部に係る顔構成部画像Ｐ４を生成する手段として機能させるようにしても良い。また、抽出処理ルーチンにより中央制御部１０のＣＰＵを、取得された画像内の顔から特徴情報を抽出する手段として機能させるようにしても良い。また、特定処理ルーチンにより中央制御部１０のＣＰＵを、画像記録部５に顔の特徴情報と対応付けて記録されている髪の輪郭を表した髪型画像Ｐ１から、抽出された特徴情報に対応する髪型画像Ｐ１を特定する手段として機能させるようにしても良い。また、画像生成処理ルーチンにより中央制御部１０のＣＰＵを、特定された髪型画像Ｐ１と生成された顔構成部画像Ｐ４とを用いて似顔絵画像Ｐ５を生成する手段として機能させるようにしても良い。

同様に、顔検出手段についても、中央制御部１０のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。

さらに、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ＲＯＭやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ（搬送波）も適用される。

本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
＜請求項１＞
画像を取得する取得手段と、
前記取得手段により取得された画像内の顔の主要な構成部に係る顔構成部画像を生成する構成部生成手段と、
前記取得手段により取得された画像内の顔から特徴情報を抽出する抽出手段と、
記録手段に顔の特徴情報と対応付けて記録されている髪の輪郭を表した髪型画像から、前記抽出手段により抽出された特徴情報に対応する髪型画像を特定する特定手段と、
前記特定手段により特定された髪型画像と前記構成部生成手段により生成された顔構成部画像とを用いて似顔絵画像を生成する画像生成手段と、
を備えたことを特徴とする画像生成装置。
＜請求項２＞
前記構成部生成手段は、更に、
前記画像の顔が含まれる顔領域に対して微細部抽出処理を施して、前記構成部を線で表した顔構成部画像を生成することを特徴とする請求項１に記載の画像生成装置。
＜請求項３＞
前記構成部生成手段は、更に、
前記微細部抽出処理により前記顔領域内の顔の輪郭を特定し、前記顔の輪郭内に存する前記構成部及び当該輪郭と接する前記構成部を線で表した顔構成部画像を生成することを特徴とする請求項２に記載の画像生成装置。
＜請求項４＞
前記構成部生成手段は、更に、
前記微細部抽出処理により顔の構成部を線で表した顔微細部画像を生成し、前記顔微細部画像のうち、前記顔の輪郭よりも外側に存する部分を消去するとともに、前記顔の輪郭よりも内側に存し、且つ、当該輪郭と接する部分を残して前記顔構成部画像を生成することを特徴とする請求項３に記載の画像生成装置。
＜請求項５＞
前記特徴情報は、顔の輪郭の形状を含むことを特徴とする請求項１〜４の何れか一項に記載の画像生成装置。
＜請求項６＞
前記画像から顔が含まれる顔領域を検出する顔検出手段を更に備え、
前記構成部生成手段は、前記顔検出手段により検出された顔領域内に存する前記構成部を線で表した顔構成部画像を生成することを特徴とする請求項１〜５の何れか一項に記載の画像生成装置。
＜請求項７＞
前記画像から顔が含まれる顔領域を検出する顔検出手段を更に備え、
前記抽出手段は、前記顔検出手段により検出された顔領域から特徴情報を抽出することを特徴とする請求項１〜５の何れか一項に記載の画像生成装置。
＜請求項８＞
画像生成装置を用いた画像生成方法であって、
画像を取得する処理と、
取得された画像内の顔の主要な構成部に係る顔構成部画像を生成する処理と、
取得された画像内の顔から特徴情報を抽出する処理と、
記録手段に顔の特徴情報と対応付けて記録されている髪の輪郭を表した髪型画像から、抽出された特徴情報に対応する髪型画像を特定する処理と、
特定された髪型画像と生成された顔構成部画像とを用いて似顔絵画像を生成する処理と、
を含むことを特徴とする画像生成方法。
＜請求項９＞
画像生成装置のコンピュータを、
画像を取得する取得手段、
前記取得手段により取得された画像内の顔の主要な構成部に係る顔構成部画像を生成する構成部生成手段、
前記取得手段により取得された画像内の顔から特徴情報を抽出する抽出手段、
記録手段に顔の特徴情報と対応付けて記録されている髪の輪郭を表した髪型画像から、前記抽出手段により抽出された特徴情報に対応する髪型画像を特定する特定手段、
前記特定手段により特定された髪型画像と前記構成部生成手段により生成された顔構成部画像とを用いて似顔絵画像を生成する画像生成手段、
として機能させることを特徴とするプログラム。

１００ 撮像装置
１ 撮像部
５ 画像記録部
６ 画像処理部
６ａ 画像取得部
６ｂ 顔検出部
６ｃ 構成部画像生成部
６ｄ 特徴情報抽出部
６ｅ 髪型画像特定部
６ｆ 似顔絵画像生成部
１０ 中央制御部

Claims (9)

1. 画像を取得する取得手段と、
   前記取得手段により取得された画像内の顔の主要な構成部に係る顔構成部画像を生成する構成部生成手段と、
   前記取得手段により取得された画像内の顔から特徴情報を抽出する抽出手段と、
   記録手段に顔の特徴情報と対応付けて記録されている髪の輪郭を表した髪型画像から、前記抽出手段により抽出された特徴情報に対応する髪型画像を特定する特定手段と、
   前記特定手段により特定された髪型画像と前記構成部生成手段により生成された顔構成部画像とを用いて似顔絵画像を生成する画像生成手段と、
   を備えたことを特徴とする画像生成装置。
2. 前記構成部生成手段は、更に、
   前記画像の顔が含まれる顔領域に対して微細部抽出処理を施して、前記構成部を線で表した顔構成部画像を生成することを特徴とする請求項１に記載の画像生成装置。
3. 前記構成部生成手段は、更に、
   前記微細部抽出処理により前記顔領域内の顔の輪郭を特定し、前記顔の輪郭内に存する前記構成部及び当該輪郭と接する前記構成部を線で表した顔構成部画像を生成することを特徴とする請求項２に記載の画像生成装置。
4. 前記構成部生成手段は、更に、
   前記微細部抽出処理により顔の構成部を線で表した顔微細部画像を生成し、前記顔微細部画像のうち、前記顔の輪郭よりも外側に存する部分を消去するとともに、前記顔の輪郭よりも内側に存し、且つ、当該輪郭と接する部分を残して前記顔構成部画像を生成することを特徴とする請求項３に記載の画像生成装置。
5. 前記特徴情報は、顔の輪郭の形状を含むことを特徴とする請求項１〜４の何れか一項に記載の画像生成装置。
6. 前記画像から顔が含まれる顔領域を検出する顔検出手段を更に備え、
   前記構成部生成手段は、前記顔検出手段により検出された顔領域内に存する前記構成部を線で表した顔構成部画像を生成することを特徴とする請求項１〜５の何れか一項に記載の画像生成装置。
7. 前記画像から顔が含まれる顔領域を検出する顔検出手段を更に備え、
   前記抽出手段は、前記顔検出手段により検出された顔領域から特徴情報を抽出することを特徴とする請求項１〜５の何れか一項に記載の画像生成装置。
8. 画像生成装置を用いた画像生成方法であって、
   画像を取得する処理と、
   取得された画像内の顔の主要な構成部に係る顔構成部画像を生成する処理と、
   取得された画像内の顔から特徴情報を抽出する処理と、
   記録手段に顔の特徴情報と対応付けて記録されている髪の輪郭を表した髪型画像から、抽出された特徴情報に対応する髪型画像を特定する処理と、
   特定された髪型画像と生成された顔構成部画像とを用いて似顔絵画像を生成する処理と、
   を含むことを特徴とする画像生成方法。
9. 画像生成装置のコンピュータを、
   画像を取得する取得手段、
   前記取得手段により取得された画像内の顔の主要な構成部に係る顔構成部画像を生成する構成部生成手段、
   前記取得手段により取得された画像内の顔から特徴情報を抽出する抽出手段、
   記録手段に顔の特徴情報と対応付けて記録されている髪の輪郭を表した髪型画像から、前記抽出手段により抽出された特徴情報に対応する髪型画像を特定する特定手段、
   前記特定手段により特定された髪型画像と前記構成部生成手段により生成された顔構成部画像とを用いて似顔絵画像を生成する画像生成手段、
   として機能させることを特徴とするプログラム。