JP2014182722A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】二値化処理により生成された顔画像の表現力の向上を図る。
【解決手段】撮像装置１００であって、顔画像に対して所定の閾値で二値化処理が施されることで生成された処理済み顔画像を取得する第２画像取得部６ｅと、顔の主要な顔構成部の検出結果に基づいて、処理済み顔画像の顔輪郭内に存する複数の顔構成部に対応する顔構成部画像の当該処理済み顔画像内での相対的な配置を変更する配置変更部６ｆと、を備えている。
【選択図】図１

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

従来、目、鼻、口、耳、顔輪郭等の顔部品の特徴点を用いて似顔絵を作成する似顔絵作成装置が知られている（例えば、特許文献１参照）。

特開２００４−１４５６２５号公報

ところで、写真画像に対して二値化処理等を行って似顔絵画像を生成する手法も知られているが、この場合、顔領域内での複数の顔構成部の相対的な配置が実際の顔と略等しくなってしまうため、似顔絵画像の表現力が低下してしまう虞がある。

そこで、本発明の課題は、二値化処理により生成された顔画像の表現力の向上を図ることができる画像処理装置、画像処理方法及びプログラムを提供することである。

上記課題を解決するため、本発明に係る画像処理装置は、
顔画像を取得する第１取得手段と、前記第１取得手段により取得された顔画像内で顔の主要な顔構成部を複数検出する検出手段と、前記顔画像に対して所定の閾値で二値化処理が施されることで生成された処理済み顔画像を取得する第２取得手段と、前記検出手段による顔構成部の検出結果に基づいて、前記処理済み顔画像の顔輪郭内に存する複数の顔構成部に対応する顔構成部画像の当該処理済み顔画像内での相対的な配置を変更する配置変更手段と、を備えたことを特徴としている。

また、本発明に係る画像処理方法は、
画像処理装置を用いた画像処理方法であって、顔画像を取得するステップと、取得された顔画像内で顔の主要な顔構成部を複数検出するステップと、前記顔画像に対して所定の閾値で二値化処理が施されることで生成された処理済み顔画像を取得するステップと、顔構成部の検出結果に基づいて、前記処理済み顔画像の顔輪郭内に存する複数の顔構成部に対応する顔構成部画像の当該処理済み顔画像内での相対的な配置を変更するステップと、を含むことを特徴としている。

また、本発明に係るプログラムは、
画像処理装置のコンピュータを、顔画像を取得する第１取得手段、前記第１取得手段により取得された顔画像内で顔の主要な顔構成部を複数検出する検出手段、前記顔画像に対して所定の閾値で二値化処理が施されることで生成された処理済み顔画像を取得する第２取得手段、前記検出手段による顔構成部の検出結果に基づいて、前記処理済み顔画像の顔輪郭内に存する複数の顔構成部に対応する顔構成部画像の当該処理済み顔画像内での相対的な配置を変更する配置変更手段、として機能させることを特徴としている。

本発明によれば、二値化処理により生成された顔画像の表現力の向上を図ることができる。

本発明を適用した一実施形態の撮像装置の概略構成を示すブロック図である。 図１の撮像装置による画像生成処理に係る動作の一例を示すフローチャートである。 図２の画像生成処理を説明するための図である。 図２の画像生成処理を説明するための図である。 図２の画像生成処理を説明するための図である。

以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。

図１は、本発明を適用した一実施形態の撮像装置１００の概略構成を示すブロック図である。
図１に示すように、本実施形態の撮像装置１００は、具体的には、撮像部１と、撮像制御部２と、画像データ生成部３と、メモリ４と、画像記録部５と、画像処理部６と、表示制御部７と、表示部８と、操作入力部９と、中央制御部１０とを備えている。
また、撮像部１、撮像制御部２、画像データ生成部３、メモリ４、画像記録部５、画像処理部６、表示制御部７及び中央制御部１０は、バスライン１１を介して接続されている。

なお、撮像装置１００は、公知のものを適用可能であり、本実施形態のように、主要な機能を撮像機能とするデジタルカメラだけでなく、主要な機能としないものの撮像機能を具備する携帯電話機、スマートフォン等の携帯端末なども含む。

撮像部１は、撮像手段として、所定の被写体を撮像してフレーム画像を生成する。具体的には、図示は省略するが、撮像部１は、例えば、ズームレンズやフォーカスレンズ等のレンズ部と、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等の電子撮像部と、ズームレンズやフォーカスレンズを光軸方向に移動させるレンズ駆動部とを備えている。

撮像制御部２は、撮像部１による被写体の撮像を制御する。即ち、撮像制御部２は、図示は省略するが、タイミング発生器、ドライバなどを備えている。そして、撮像制御部２は、タイミング発生器、ドライバにより電子撮像部を走査駆動して、レンズ部を通過した光学像を電子撮像部により所定周期毎に二次元の画像信号に変換させ、当該電子撮像部の撮像領域から１画面分ずつフレーム画像を読み出して画像データ生成部３に出力させる。
また、撮像制御部２は、ＡＦ（自動合焦処理）、ＡＥ（自動露出処理）、ＡＷＢ（自動ホワイトバランス）等の被写体を撮像する際の条件の調整制御を行っても良い。

画像データ生成部３は、撮像部１の電子撮像部から転送されたフレーム画像のアナログ値の信号に対してＲＧＢの各色成分毎に適宜ゲイン調整した後に、サンプルホールド回路（図示略）でサンプルホールドしてＡ／Ｄ変換器（図示略）でデジタルデータに変換し、カラープロセス回路（図示略）で画素補間処理及びγ補正処理を含むカラープロセス処理を行った後、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒ（ＹＵＶデータ）を生成する。
カラープロセス回路から出力される輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒは、図示しないＤＭＡコントローラを介して、バッファメモリとして使用されるメモリにＤＭＡ転送される。

メモリ４は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）等により構成され、画像処理部６や中央制御部１０等によって処理されるデータ等を一時的に格納する。

画像記録部５は、例えば、不揮発性メモリ（フラッシュメモリ）等により構成され、画像処理部６の符号化部（図示略）により所定の圧縮形式（例えば、ＪＰＥＧ形式等）で符号化された記録用の画像データを記録する。
なお、画像記録部５は、例えば、記録媒体（図示略）が着脱自在に構成され、装着された記録媒体からのデータの読み出しや記録媒体に対するデータの書き込みを制御する構成であっても良い。

画像処理部６は、第１画像取得部６ａと、顔構成部検出部６ｂと、間隔特定部６ｃと、顔処理部６ｄと、第２画像取得部６ｅと、配置変更部６ｆと、輪郭変更部６ｇと、似顔絵画像生成部６ｈとを具備している。
なお、画像処理部６の各部は、例えば、所定のロジック回路から構成されているが、当該構成は一例であってこれに限られるものではない。

第１画像取得部６ａは、画像生成処理の処理対象となる画像を取得する。
即ち、第１画像取得部（第１取得手段）６ａは、元画像（例えば、写真画像等）Ｐ１の画像データを取得する。具体的には、第１画像取得部６ａは、撮像部１及び撮像制御部２による被写体の撮像によって画像データ生成部３により生成された元画像Ｐ１の画像データ（ＲＧＢデータやＹＵＶデータ）の複製をメモリ４から取得したり、画像記録部５に記録されている元画像Ｐ１の画像データの複製を取得する（図３（ａ）参照）。
なお、図３（ａ）には、元画像Ｐ１内から目、鼻、口、眉、顔輪郭ｗ等の顔構成部が検出された状態を模式的に表している。
また、後述する画像処理部６による各処理は、元画像Ｐ１の画像データ自体に対して行われても良いし、必要に応じて元画像Ｐ１の画像データを所定の比率で縮小した所定サイズ（例えば、ＶＧＡサイズ等）の縮小画像データに対して行われても良い。

顔構成部検出部６ｂは、元画像Ｐ１内で顔の主要な顔構成部を検出する。
即ち、顔構成部検出部（検出手段）６ｂは、第１画像取得部６ａにより取得された元画像Ｐ１内で、例えば、目、鼻、口、眉、顔輪郭ｗ等の顔構成部を検出する。具体的には、顔構成部検出部６ｂは、例えば、ＡＡＭ（Active Appearance Model）を用いた処理により、目、鼻、口、眉、顔輪郭ｗ等を元画像Ｐ１内で特定する。
ここで、ＡＡＭとは、視覚的事象のモデル化の一手法であり、任意の顔領域の画像のモデル化を行う処理である。例えば、顔構成部検出部６ｂは、複数のサンプル顔画像における所定の特徴部位（例えば、目じりや鼻頭やフェイスライン等）の位置や画素値（例えば、輝度値）の統計的分析結果を所定の登録手段に登録しておく。そして、顔構成部検出部６ｂは、上記の特徴部位の位置を基準として、顔の形状を表す形状モデルや平均的な形状における「Appearance」を表すテクスチャーモデルを設定し、これらのモデルを用いて顔領域の画像をモデル化する。これにより、元画像Ｐ１内で目、鼻、口、眉、顔輪郭ｗ等の顔構成部がモデル化される（図３（ａ）参照）。
また、顔構成部検出部６ｂは、元画像Ｐ１内での目、鼻、口、眉、顔輪郭ｗ等の顔構成部を構成する各画素のxy座標の位置を検出して位置データを生成する。
なお、ＡＡＭを用いて顔構成部の検出を行うようにしたが、一例であってこれに限られるものではなく、例えば、エッジ抽出処理、非等方拡散処理、テンプレートマッチング等適宜任意に変更可能である。

間隔特定部６ｃは、顔輪郭ｗ内に存する複数の顔構成部のうちの隣合う顔構成部どうしの間隔を特定する。
即ち、間隔特定部（特定手段）６ｃは、顔構成部検出部６ｂによる顔構成部の検出結果に基づいて、顔輪郭ｗ内に存する複数の顔構成部のうちの隣合う顔構成部どうしの間隔を特定する。具体的には、間隔特定部６ｃは、例えば、顔構成部検出部６ｂによる目、鼻、口、顔輪郭ｗ等の検出結果に基づいて、目と鼻との間の目鼻間隔ｄ１、鼻と口との間の鼻口間隔ｄ２及び口と顔輪郭ｗの顎先との間の口顎間隔ｄ３等を特定する（図３（ｂ）参照）。

顔処理部６ｄは、元画像Ｐ１に対して各種の処理を施す。
即ち、顔処理部６ｄは、元画像Ｐ１に対して二値化処理を施して二値化画像を生成する。具体的には、顔処理部６ｄは、元画像（例えば、写真画像等）Ｐ１に対して平滑化処理やぼかし処理等を行なった後、所定の閾値で二値化処理を施して二値化画像を生成する。また、顔処理部６ｄは、例えば、所定の顔検出処理により二値化画像から顔領域を検出した後、顔構成部検出部６ｂによる顔構成部の検出結果を利用して顔領域に微細部抽出処理を施して、例えば、目、鼻、口、眉、髪の毛、顔輪郭ｗ等の顔構成部を線で表した顔微細部画像（図示略）を生成する。また、顔処理部６ｄは、顔微細部画像の顔輪郭ｗ内に存する顔構成部及び当該輪郭と接する顔構成部を線で表した、例えば、目、鼻、口、眉等の顔構成部画像ｆを含む二値化顔画像（処理済み顔画像）Ｐ２を生成する（図４（ａ）参照）。
なお、上記した平滑化処理、ぼかし処理、二値化処理、顔検出処理等は、公知の技術であるので、ここでは詳細な説明を省略する。

第２画像取得部６ｅは、二値化顔画像Ｐ２を取得する。
即ち、第２画像取得部（第２取得手段）６ｅは、元画像Ｐ１に対して所定の閾値で二値化処理が施されることで生成された二値化顔画像（処理済み顔画像）Ｐ２を取得する。具体的には、第２画像取得部６ｅは、例えば、顔処理部６ｄにより生成された二値化顔画像Ｐ２の画像データを取得する。

配置変更部６ｆは、複数の顔構成部画像ｆ、…の二値化顔画像Ｐ２内での相対的な配置を変更する。
即ち、配置変更部（配置変更手段）６ｆは、顔構成部検出部６ｂによる顔構成部の検出結果に基づいて、二値化顔画像（処理済み顔画像）Ｐ２の顔輪郭ｗ内に存する複数の顔構成部に対応する顔構成部画像ｆの当該二値化顔画像Ｐ２内での相対的な配置を変更する。具体的には、配置変更部６ｆは、二値化顔画像Ｐ２における間隔特定部６ｃにより特定された隣合う顔構成部どうしの間隔（例えば、目鼻間隔ｄ１や鼻口間隔ｄ２等）に対応する領域の大きさ（つまり、隣合う顔構成部画像ｆどうしの所定方向に沿った間隔）を変化させて、例えば、目画像ｆ１、鼻画像ｆ２及び口画像ｆ３等の複数の顔構成部画像ｆ、…の二値化顔画像Ｐ２内での相対的な配置を変更する（図４（ｂ）参照）。
例えば、配置変更部６ｆは、二値化顔画像Ｐ２における目鼻間隔ｄ１及び鼻口間隔ｄ２に対応する各領域のうち、予めデフォルトとして指定されている領域やユーザによる操作入力部９の所定操作等に基づいて任意に指定された領域を処理対象として、その大きさを変化させる。ここで、領域の大きさの変化とは、処理対象の領域の所定方向の長さ（例えば、上下幅等）を短縮したり伸張することを言う。

なお、二値化顔画像Ｐ２が顔輪郭ｗに対応する顔輪郭画像を含む場合には、配置変更部６ｆは、例えば、隣合う顔構成部どうしの間隔として口顎間隔ｄ３に対応する領域の大きさを変更するようにしても良い。
また、配置変更部６ｆは、顔構成部検出部６ｂにより検出された複数の顔構成部の全てに対応する顔構成部画像ｆの相対的な配置を変更するようにしても良いし、複数の顔構成部のうちの所定数に対応する顔構成部画像ｆの相対的な配置を変更するようにしても良い。
また、図４（ｂ）には、二値化顔画像Ｐ２内で目鼻間隔ｄ１に対応する領域を短縮するように目画像ｆ１、鼻画像ｆ２及び口画像ｆ３の相対的な配置を変更した状態を模式的に表している。

輪郭変更部６ｇは、顔輪郭ｗの形状を変更する。
即ち、輪郭変更部（輪郭変更手段）６ｇは、配置変更部６ｆにより変更された複数の顔構成部画像ｆ、…の二値化顔画像（処理済み顔画像）Ｐ２内での相対的な配置に基づいて、顔輪郭ｗの形状を変更する。具体的には、輪郭変更部６ｇは、配置変更部６ｆによる隣合う顔構成部画像ｆどうしの所定方向に沿った間隔（例えば、上下幅等）の変化量を合算して総変化量を特定し、顔構成部検出部６ｂにより検出された顔輪郭ｗを当該総変化量に応じて所定方向（例えば、上下方向等）に伸縮して当該顔輪郭ｗの形状を変更する。
なお、輪郭変更部６ｇは、顔輪郭ｗのうち、配置変更部６ｆにより変化させられた隣合う顔構成部画像ｆどうしの間隔に対応する部分を伸縮して当該顔輪郭ｗの形状を変更するようにしても良い。また、顔構成部画像ｆとして左右の両目に対応する目画像どうしの左右幅を変更する場合には、輪郭変更部６ｇは、左右方向の変化量に応じて顔輪郭ｗを左右方向に伸縮して当該顔輪郭ｗの形状を変更するようにしても良い。

似顔絵画像生成部６ｈは、顔を模式的に表した似顔絵画像Ｐ４を生成する。
即ち、似顔絵画像生成部（生成手段）６ｈは、配置変更部６ｆにより二値化顔画像（処理済み顔画像）Ｐ２内での相対的な配置が変更された複数の顔構成部画像ｆ、…を用いて、顔を模式的に表した似顔絵画像Ｐ４を生成する。具体的には、似顔絵画像生成部６ｈは、配置変更部６ｆにより二値化顔画像Ｐ２内での相対的な配置が変更された複数の顔構成部画像ｆ、…及び輪郭変更部６ｇにより形状が変更された顔輪郭ｗを用いて、似顔絵画像Ｐ４を生成する。
例えば、似顔絵画像生成部６ｈは、相対的な配置が変更された複数の顔構成部画像ｆ、…を含む二値化顔画像Ｐ２の画像データを取得するとともに、形状が変更された顔輪郭ｗに対応する所定の髪型画像Ｐ３の画像データを取得する。そして、似顔絵画像生成部６ｈは、取得された所定の髪型画像Ｐ３の顔輪郭ｗよりも内側にて二値化顔画像Ｐ２の各顔構成部画像ｆ（例えば、目画像ｆ１、鼻画像ｆ２及び口画像ｆ３等）を重畳させる位置を特定し、当該位置に各顔構成部画像ｆを重畳させて元画像Ｐ１を似顔絵で模式的に表した似顔絵画像Ｐ４の画像データを生成する（図５参照）。
ここで、似顔絵画像生成部６ｈは、似顔絵画像Ｐ４の所定の部分（例えば、目、口、眉等の顔構成部等）に所定の色を付けて表した画像を生成しても良い。

なお、図５には、二値化顔画像Ｐ２内で目鼻間隔ｄ１に対応する領域を短縮するように目画像ｆ１、鼻画像ｆ２及び口画像ｆ３の相対的な配置を変更するとともに、当該目画像ｆ１、鼻画像ｆ２及び口画像ｆ３の相対的な配置に応じて形状を変更した顔輪郭ｗを用いて生成された似顔絵画像Ｐ４を表している。

表示制御部７は、メモリ４に一時的に格納されている表示用の画像データを読み出して表示部８に表示させる制御を行う。
具体的には、表示制御部７は、ＶＲＡＭ（Video Random Access Memory）、ＶＲＡＭコントローラ、デジタルビデオエンコーダなどを備えている。そして、デジタルビデオエンコーダは、中央制御部１０の制御下にてメモリ４から読み出されてＶＲＡＭ（図示略）に格納されている輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを、ＶＲＡＭコントローラを介してＶＲＡＭから定期的に読み出して、これらのデータを元にビデオ信号を発生して表示部８に出力する。

表示部８は、例えば、液晶表示パネルであり、表示制御部７からのビデオ信号に基づいて撮像部１により撮像された画像などを表示画面に表示する。具体的には、表示部８は、静止画撮像モードや動画撮像モードにて、撮像部１及び撮像制御部２による被写体の撮像により生成された複数のフレーム画像を所定のフレームレートで逐次更新しながらライブビュー画像を表示する。また、表示部８は、静止画として記録される画像（レックビュー画像）を表示したり、動画として記録中の画像を表示する。

操作入力部９は、当該撮像装置１００の所定操作を行うためのものである。具体的には、操作入力部９は、被写体の撮像指示に係るシャッタボタン、撮像モードや機能等の選択指示に係る選択決定ボタン、ズーム量の調整指示に係るズームボタン等（何れも図示略）の操作部を備え、当該操作部の各ボタンの操作に応じて所定の操作信号を中央制御部１０に出力する。

中央制御部１０は、撮像装置１００の各部を制御するものである。具体的には、中央制御部１０は、図示は省略するが、ＣＰＵ（Central Processing Unit）等を備え、撮像装置１００用の各種処理プログラム（図示略）に従って各種の制御動作を行う。

＜画像生成処理＞
次に、撮像装置１００による画像生成処理について、図２〜図５を参照して説明する。
図２は、画像生成処理に係る動作の一例を示すフローチャートである。

画像生成処理は、ユーザによる操作入力部９の選択決定ボタンの所定操作に基づいて、メニュー画面に表示された複数の動作モードの中から画像処理モードが選択指示された場合に、中央制御部１０の制御下にて当該撮像装置１００の各部、特に画像処理部６により実行される処理である。
また、画像生成処理の処理対象となる元画像Ｐ１の画像データは、予め画像記録部５に記録されているものとする。

図２に示すように、先ず、第１画像取得部６ａは、画像記録部５に記録されている複数の元画像Ｐ１の画像データの中で、ユーザによる操作入力部９の所定操作に基づいて画像生成処理の処理対象として指定された画像データを画像記録部５から読み出して取得する（ステップＳ１）。
次に、顔構成部検出部６ｂは、第１画像取得部６ａにより取得された元画像Ｐ１の画像データに対して所定の検出処理（例えば、ＡＡＭ等）を行って、目、鼻、口、眉、顔輪郭ｗ等の顔構成部を検出する（ステップＳ２）。

次に、間隔特定部６ｃは、顔構成部検出部６ｂによる顔構成部（例えば、目、鼻、口、顔輪郭ｗ等）の検出結果に基づいて、顔輪郭ｗ内に存する複数の顔構成部のうちの隣合う顔構成部どうしの間隔（例えば、目鼻間隔ｄ１、鼻口間隔ｄ２等）を特定する（ステップＳ３；図３（ｂ）参照）。

次に、顔処理部６ｄは、第１画像取得部６ａにより取得された元画像Ｐ１の画像データに対して、平滑化処理やぼかし処理や二値化処理等を施して、例えば、目、鼻、口、眉等の顔構成部画像ｆを含む二値化顔画像Ｐ２を生成する（ステップＳ４；図４（ａ）参照）。そして、第２画像取得部６ｅは、顔処理部６ｄにより生成された二値化顔画像Ｐ２の画像データを取得する（ステップＳ５）。

次に、配置変更部６ｆは、二値化顔画像Ｐ２における、間隔特定部６ｃにより特定された隣合う顔構成部どうしの間隔（例えば、目鼻間隔ｄ１や鼻口間隔ｄ２等）の中で、例えば、ユーザによる操作入力部９の所定操作等に基づいて指定されたユーザ所望の間隔（例えば、目鼻間隔ｄ１等）に対応する領域を処理対象として、その大きさを変化させる。これにより、配置変更部６ｆは、目画像ｆ１、鼻画像ｆ２及び口画像ｆ３等の複数の顔構成部画像ｆ、…の二値化顔画像Ｐ２内での相対的な配置を変更する（ステップＳ６；図４（ｂ）参照）。
続けて、輪郭変更部６ｇは、配置変更部６ｆにより変更された複数の顔構成部画像ｆ、…の二値化顔画像Ｐ２内での相対的な配置に基づいて、顔構成部検出部６ｂにより検出された顔輪郭ｗの形状を変更する（ステップＳ７）。

その後、似顔絵画像生成部６ｈは、配置変更部６ｆにより相対的な配置が変更された複数の顔構成部画像ｆ、…を含む二値化顔画像Ｐ２及び輪郭変更部６ｇにより形状が変更された顔輪郭ｗに対応する所定の髪型画像Ｐ３を取得し、当該所定の髪型画像Ｐ３の顔輪郭ｗよりも内側に二値化顔画像Ｐ２の各顔構成部画像ｆ（例えば、目画像ｆ１、鼻画像ｆ２及び口画像ｆ３等）を重畳させて、元画像Ｐ１を似顔絵で模式的に表した似顔絵画像Ｐ４の画像データを生成する（ステップＳ８；図５参照）。その後、画像記録部５は、似顔絵画像Ｐ４の画像データを取得して記録する。
これにより、画像生成処理を終了する。

以上のように、本実施形態の撮像装置１００によれば、顔画像に対して所定の閾値で二値化処理が施されることで生成された二値化顔画像（処理済み顔画像）Ｐ２を取得し、顔の主要な顔構成部の検出結果に基づいて、二値化顔画像Ｐ２の顔輪郭ｗ内に存する複数の顔構成部に対応する顔構成部画像ｆの当該二値化顔画像Ｐ２内での相対的な配置を変更するので、顔領域内での複数の顔構成部の相対的な配置が実際の顔と略等しくなってしまう二値化顔画像Ｐ２であっても、顔構成部の検出結果を利用して当該二値化顔画像Ｐ２内で複数の顔構成部画像ｆ、…の相対的な配置を適正に変更することができ、二値化処理により生成された顔画像の表現力の向上を図ることができる。
即ち、顔構成部の検出結果に基づいて、顔輪郭ｗ内に存する複数の顔構成部のうちの隣合う顔構成部どうしの間隔（例えば、目鼻間隔ｄ１や鼻口間隔ｄ２等）を特定して、二値化顔画像Ｐ２における特定された隣合う顔構成部どうしの間隔（例えば、目鼻間隔ｄ１等）に対応する領域の大きさを変化させることにより、例えば、目画像ｆ１、鼻画像ｆ２及び口画像ｆ３等の複数の顔構成部画像ｆ、…の二値化顔画像Ｐ２内での相対的な配置を変更することができる。

また、二値化顔画像Ｐ２内での相対的な配置が変更された複数の顔構成部画像ｆ、…を用いて、顔を模式的に表した似顔絵画像Ｐ４を生成するので、二値化顔画像Ｐ２内での相対的な配置が変更された複数の顔構成部画像ｆ、…を用いることで、完成度の高い自然な似顔絵画像Ｐ４を適正に生成することができる。特に、変更された複数の顔構成部画像ｆ、…の二値化顔画像Ｐ２内での相対的な配置に基づいて、顔輪郭ｗの形状を変更して、二値化顔画像Ｐ２内での相対的な配置が変更された複数の顔構成部画像ｆ、…及び形状が変更された顔輪郭ｗを用いて、より完成度の高いより自然な似顔絵画像Ｐ４を適正に生成することができる。

なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、上記実施形態にあっては、二値化顔画像Ｐ２内で目鼻間隔ｄ１及び鼻口間隔ｄ２に対応する各領域を短縮するようにして目画像、鼻画像及び口画像の相対的な配置を変更する処理を例示したが、一例であってこれに限られるものではなく、処理内容は適宜任意に変更可能である。即ち、例えば、二値化顔画像Ｐ２内で目鼻間隔ｄ１及び鼻口間隔ｄ２に対応する各領域を伸張するようにしても良いし、目鼻間隔ｄ１及び鼻口間隔ｄ２に対応する各領域のうち、一方のみを伸張したり、一方の伸張に加えて他方の短縮を行うようにしても良い。
また、元画像Ｐ１の画像データに対して所定の検出処理（例えば、ＡＡＭ等）を行って、目、鼻、口、眉、顔輪郭ｗ等の顔構成部を検出するようにしたが、一例であってこれに限られるものではなく、二値化顔画像Ｐ２の画像データから顔構成部を検出するようにしてもよい。

また、上記実施形態にあっては、二値化顔画像Ｐ２内での複数の顔構成部画像ｆ、…の相対的な配置に基づいて、顔輪郭ｗの形状を変更するようにしたが、必ずしも顔輪郭ｗの形状は変更する必要はなく、輪郭変更部６ｇを具備するか否かは適宜任意に変更可能である。例えば、相対的な配置が変更された複数の顔構成部画像ｆ、…を含む二値化顔画像Ｐ２及び顔構成部検出部６ｂにより検出された顔輪郭ｗを用いて、二値化顔画像Ｐ２を生成するようにしても良い。

さらに、上記実施形態にあっては、相対的な配置が変更された複数の顔構成部画像ｆ、…を含む二値化顔画像Ｐ２を用いて似顔絵画像Ｐ４を生成するようにしたが、必ずしも似顔絵画像Ｐ４を生成する必要はなく、似顔絵画像生成部６ｈを具備するか否かは適宜任意に変更可能である。

また、上記実施形態にあっては、元画像Ｐ１に対して二値化処理等を施して二値化顔画像Ｐ２を生成するようにしたが、当該装置本体内で必ずしも二値化顔画像Ｐ２を生成する必要はなく、顔処理部６ｄを具備するか否かは適宜任意に変更可能である。例えば、外部機器にて生成された二値化顔画像Ｐ２を取得するようにしても良い。

さらに、似顔絵画像Ｐ４の生成元となる画像は、正面顔を表した画像である必要はなく、例えば、所定の軸を中心として斜めを向くように顔が傾いた元画像Ｐ１の場合には、当該元画像Ｐ１の顔が正面を向くように変形させた画像を生成して用いても良い。

また、上記実施形態にあっては、一の顔構成部画像ｆ１の寸法や形状を変更する変更処理を、似顔絵に加工する処理前の元画像Ｐ１から似顔絵画像Ｐ４を生成する際に行うようにしたが、例えば、変更処理を施すことなく似顔絵画像Ｐ４を生成した後に、当該似顔絵画像Ｐ４を処理対象として行っても良い。

さらに、撮像装置１００の構成は、上記実施形態に例示したものは一例であり、これに限られるものではない。また、画像処理装置として、撮像装置１００を例示したが、これに限られるものではなく、本発明に係る画像処理を実行可能なものであれば如何なる構成であっても良い。

加えて、上記実施形態にあっては、第１取得手段、検出手段、第２取得手段、配置変更手段としての機能を、中央制御部１０のＣＰＵの制御下にて、第１画像取得部６ａ、顔構成部検出部６ｂ、第２画像取得部６ｅ、配置変更部６ｆが駆動することにより実現される構成としたが、これに限られるものではなく、中央制御部１０のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、プログラムを記憶するプログラムメモリ（図示略）に、第１取得処理ルーチン、検出処理ルーチン、第２取得処理ルーチン、配置変更処理ルーチンを含むプログラムを記憶しておく。そして、第１取得処理ルーチンにより中央制御部１０のＣＰＵを、元画像Ｐ１を取得する手段として機能させるようにしても良い。また、検出処理ルーチンにより中央制御部１０のＣＰＵを、取得された元画像Ｐ１内で顔の主要な顔構成部を複数検出する手段として機能させるようにしても良い。また、第２画像取得処理ルーチンにより中央制御部１０のＣＰＵを、元画像Ｐ１に対して所定の閾値で二値化処理が施されることで生成された処理済み顔画像を取得する手段として機能させるようにしても良い。また、配置変更処理ルーチンにより中央制御部１０のＣＰＵを、顔構成部の検出結果に基づいて、処理済み顔画像の顔輪郭ｗ内に存する複数の顔構成部に対応する顔構成部画像ｆの当該処理済み顔画像内での相対的な配置を変更する手段として機能させるようにしても良い。

同様に、輪郭変更手段、生成手段についても、中央制御部１０のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。

さらに、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ＲＯＭやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ（搬送波）も適用される。

本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
＜請求項１＞
顔画像を取得する第１取得手段と、
前記第１取得手段により取得された顔画像内で顔の主要な顔構成部を複数検出する検出手段と、
前記顔画像に対して所定の閾値で二値化処理が施されることで生成された処理済み顔画像を取得する第２取得手段と、
前記検出手段による顔構成部の検出結果に基づいて、前記処理済み顔画像の顔輪郭内に存する複数の顔構成部に対応する顔構成部画像の当該処理済み顔画像内での相対的な配置を変更する配置変更手段と、
を備えたことを特徴とする画像処理装置。
＜請求項２＞
前記検出手段による顔構成部の検出結果に基づいて、顔輪郭内に存する複数の顔構成部のうちの隣合う顔構成部どうしの間隔を特定する特定手段を更に備え、
前記配置変更手段は、更に、
前記処理済み顔画像における前記特定手段により特定された前記隣合う顔構成部どうしの間隔に対応する領域の大きさを変化させて前記複数の顔構成部画像の前記処理済み顔画像内での相対的な配置を変更することを特徴とする請求項１に記載の画像処理装置。
＜請求項３＞
前記配置変更手段は、更に、
前記処理済み顔画像における、前記特定手段により特定された目と鼻の間隔及び鼻と口の間隔に対応する各領域のうちの少なくとも何れか一の大きさを変化させて目画像、鼻画像及び口画像の前記処理済み顔画像内での相対的な配置を変更することを特徴とする請求項２に記載の画像処理装置。
＜請求項４＞
前記配置変更手段により前記処理済み顔画像内での相対的な配置が変更された前記複数の顔構成部画像を用いて、顔を模式的に表した似顔絵画像を生成する生成手段を更に備えることを特徴とする請求項１〜３の何れか一項に記載の画像処理装置。
＜請求項５＞
前記配置変更手段により変更された前記複数の顔構成部画像の前記処理済み顔画像内での相対的な配置に基づいて、前記顔輪郭の形状を変更する輪郭変更手段を更に備え、
前記生成手段は、
前記配置変更手段により前記処理済み顔画像内での相対的な配置が変更された前記複数の顔構成部画像及び前記輪郭変更手段により形状が変更された顔輪郭を用いて、前記似顔絵画像を生成することを特徴とする請求項４に記載の画像処理装置。
＜請求項６＞
画像処理装置を用いた画像処理方法であって、
顔画像を取得するステップと、
取得された顔画像内で顔の主要な顔構成部を複数検出するステップと、
前記顔画像に対して所定の閾値で二値化処理が施されることで生成された処理済み顔画像を取得するステップと、
顔構成部の検出結果に基づいて、前記処理済み顔画像の顔輪郭内に存する複数の顔構成部に対応する顔構成部画像の当該処理済み顔画像内での相対的な配置を変更するステップと、
を含むことを特徴とする画像処理方法。
＜請求項７＞
画像処理装置のコンピュータを、
顔画像を取得する第１取得手段、
前記第１取得手段により取得された顔画像内で顔の主要な顔構成部を複数検出する検出手段、
前記顔画像に対して所定の閾値で二値化処理が施されることで生成された処理済み顔画像を取得する第２取得手段、
前記検出手段による顔構成部の検出結果に基づいて、前記処理済み顔画像の顔輪郭内に存する複数の顔構成部に対応する顔構成部画像の当該処理済み顔画像内での相対的な配置を変更する配置変更手段、
として機能させることを特徴とするプログラム。

１００ 撮像装置
１ 撮像部
５ 画像記録部
６ 画像処理部
６ａ 第１画像取得部
６ｂ 顔構成部検出部
６ｃ 間隔特定部
６ｅ 第２画像取得部
６ｆ 配置変更部
６ｇ 輪郭変更部
６ｈ 似顔絵画像生成部
１０ 中央制御部

Claims (7)

1. 顔画像を取得する第１取得手段と、
   前記第１取得手段により取得された顔画像内で顔の主要な顔構成部を複数検出する検出手段と、
   前記顔画像に対して所定の閾値で二値化処理が施されることで生成された処理済み顔画像を取得する第２取得手段と、
   前記検出手段による顔構成部の検出結果に基づいて、前記処理済み顔画像の顔輪郭内に存する複数の顔構成部に対応する顔構成部画像の当該処理済み顔画像内での相対的な配置を変更する配置変更手段と、
   を備えたことを特徴とする画像処理装置。
2. 前記検出手段による顔構成部の検出結果に基づいて、顔輪郭内に存する複数の顔構成部のうちの隣合う顔構成部どうしの間隔を特定する特定手段を更に備え、
   前記配置変更手段は、更に、
   前記処理済み顔画像における前記特定手段により特定された前記隣合う顔構成部どうしの間隔に対応する領域の大きさを変化させて前記複数の顔構成部画像の前記処理済み顔画像内での相対的な配置を変更することを特徴とする請求項１に記載の画像処理装置。
3. 前記配置変更手段は、更に、
   前記処理済み顔画像における、前記特定手段により特定された目と鼻の間隔及び鼻と口の間隔に対応する各領域のうちの少なくとも何れか一の大きさを変化させて目画像、鼻画像及び口画像の前記処理済み顔画像内での相対的な配置を変更することを特徴とする請求項２に記載の画像処理装置。
4. 前記配置変更手段により前記処理済み顔画像内での相対的な配置が変更された前記複数の顔構成部画像を用いて、顔を模式的に表した似顔絵画像を生成する生成手段を更に備えることを特徴とする請求項１〜３の何れか一項に記載の画像処理装置。
5. 前記配置変更手段により変更された前記複数の顔構成部画像の前記処理済み顔画像内での相対的な配置に基づいて、前記顔輪郭の形状を変更する輪郭変更手段を更に備え、
   前記生成手段は、
   前記配置変更手段により前記処理済み顔画像内での相対的な配置が変更された前記複数の顔構成部画像及び前記輪郭変更手段により形状が変更された顔輪郭を用いて、前記似顔絵画像を生成することを特徴とする請求項４に記載の画像処理装置。
6. 画像処理装置を用いた画像処理方法であって、
   顔画像を取得するステップと、
   取得された顔画像内で顔の主要な顔構成部を複数検出するステップと、
   前記顔画像に対して所定の閾値で二値化処理が施されることで生成された処理済み顔画像を取得するステップと、
   顔構成部の検出結果に基づいて、前記処理済み顔画像の顔輪郭内に存する複数の顔構成部に対応する顔構成部画像の当該処理済み顔画像内での相対的な配置を変更するステップと、
   を含むことを特徴とする画像処理方法。
7. 画像処理装置のコンピュータを、
   顔画像を取得する第１取得手段、
   前記第１取得手段により取得された顔画像内で顔の主要な顔構成部を複数検出する検出手段、
   前記顔画像に対して所定の閾値で二値化処理が施されることで生成された処理済み顔画像を取得する第２取得手段、
   前記検出手段による顔構成部の検出結果に基づいて、前記処理済み顔画像の顔輪郭内に存する複数の顔構成部に対応する顔構成部画像の当該処理済み顔画像内での相対的な配置を変更する配置変更手段、
   として機能させることを特徴とするプログラム。