JP2014048766A - 画像生成装置、画像生成方法及びプログラム - Google Patents

画像生成装置、画像生成方法及びプログラム Download PDF

Info

Publication number
JP2014048766A
JP2014048766A JP2012189406A JP2012189406A JP2014048766A JP 2014048766 A JP2014048766 A JP 2014048766A JP 2012189406 A JP2012189406 A JP 2012189406A JP 2012189406 A JP2012189406 A JP 2012189406A JP 2014048766 A JP2014048766 A JP 2014048766A
Authority
JP
Japan
Prior art keywords
image
hairstyle
feature information
unit
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012189406A
Other languages
English (en)
Other versions
JP5949331B2 (ja
JP2014048766A5 (ja
Inventor
Shigeru Kafuku
滋 加福
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2012189406A priority Critical patent/JP5949331B2/ja
Priority to US14/010,192 priority patent/US9135726B2/en
Priority to CN201310384630.9A priority patent/CN103679767A/zh
Publication of JP2014048766A publication Critical patent/JP2014048766A/ja
Publication of JP2014048766A5 publication Critical patent/JP2014048766A5/ja
Application granted granted Critical
Publication of JP5949331B2 publication Critical patent/JP5949331B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

【課題】元画像の髪の特徴を考慮して、より適正な似顔絵画像を生成する。
【解決手段】撮像装置100であって、元画像内の髪領域の特徴情報を抽出する特徴情報抽出部6fと、画像記録部5に特徴情報と対応付けて記録されている髪の輪郭を表した髪型画像P1から、抽出された特徴情報に対応する髪型画像を特定する髪型画像特定部6gと、特定された髪型画像を用いて、前記元画像内の顔の似顔絵画像を生成する似顔絵画像生成部6hと、を備えている。
【選択図】図1

Description

本発明は、画像生成装置、画像生成方法及びプログラムに関する。
従来、目、鼻、口、耳、顔の輪郭等の顔部品の特徴点を用いて似顔絵を作成する似顔絵作成装置が知られている(例えば、特許文献1参照)。
また、各部位ごとに予め用意されているパーツオブジェクトを組み合わせてキャラクタを作成するゲーム装置が知られている(例えば、特許文献2参照)。
特開2004−145625号公報 特開2008−61896号公報
ところで、似顔絵では、目、鼻、口等に比べて髪型の影響は大きく、似顔絵の印象を大きく変化させてしまうと考えられる。
ここで、自動的に似顔絵を生成するシステムでは、髪型の多様性を考慮して、髪の色を利用する手法が提案されているが、髪の色が単色でない場合には、元画像内での髪領域の抽出を適正に行うことができない虞がある。
そこで、本発明の課題は、元画像の髪の特徴を考慮して、より適正な似顔絵画像を生成することができる画像生成装置、画像生成方法及びプログラムを提供することである。
上記課題を解決するため、本発明に係る画像生成装置は、
元画像を取得する取得手段と、前記取得手段により取得された元画像内の髪領域の特徴情報を抽出する抽出手段と、記録手段に特徴情報と対応付けて記録されている髪の輪郭を表した髪型画像から、前記抽出手段により抽出された特徴情報に対応する髪型画像を特定する画像特定手段と、前記画像特定手段により特定された髪型画像を用いて、前記元画像内の顔の似顔絵画像を生成する第1生成手段と、を備えたことを特徴としている。
また、本発明に係る画像生成方法は、
画像生成装置を用いた画像生成方法であって、元画像を取得する処理と、取得された元画像内の髪領域の特徴情報を抽出する処理と、記録手段に特徴情報と対応付けて記録されている髪の輪郭を表した髪型画像から、抽出された特徴情報に対応する髪型画像を特定する処理と、特定された髪型画像を用いて、前記元画像内の顔の似顔絵画像を生成する処理と、を含むことを特徴としている。
また、本発明に係るプログラムは、
画像生成装置のコンピュータを、元画像を取得する取得手段、前記取得手段により取得された元画像内の髪領域の特徴情報を抽出する抽出手段、記録手段に特徴情報と対応付けて記録されている髪の輪郭を表した髪型画像から、前記抽出手段により抽出された特徴情報に対応する髪型画像を特定する画像特定手段、前記画像特定手段により特定された髪型画像を用いて、前記元画像内の顔の似顔絵画像を生成する第1生成手段、として機能させることを特徴としている。
本発明によれば、元画像の髪の特徴を考慮して、より適正な似顔絵画像を生成することができる。
本発明を適用した一実施形態の撮像装置の概略構成を示すブロック図である。 図1の撮像装置による似顔絵画像生成処理に係る動作の一例を示すフローチャートである。 図2の似顔絵画像生成処理における特徴抽出処理に係る動作の一例を示すフローチャートである。 図2の似顔絵画像生成処理に係る画像の一例を模式的に示す図である。 図2の似顔絵画像生成処理に係る画像の一例を模式的に示す図である。 図2の似顔絵画像生成処理に係る前髪の形式の一例を模式的に示す図である。 図2の似顔絵画像生成処理に係る画像の一例を模式的に示す図である。
以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
図1は、本発明を適用した一実施形態の撮像装置100の概略構成を示すブロック図である。
図1に示すように、本実施形態の撮像装置100は、具体的には、撮像部1と、撮像制御部2と、画像データ生成部3と、メモリ4と、画像記録部5と、画像処理部6と、表示制御部7と、表示部8と、操作入力部9と、中央制御部10とを備えている。
また、撮像部1、撮像制御部2、画像データ生成部3、メモリ4、画像記録部5、画像処理部6、表示制御部7及び中央制御部10は、バスライン11を介して接続されている。
撮像部1は、撮像手段として、所定の被写体を撮像してフレーム画像を生成する。
具体的には、撮像部1は、レンズ部1aと、電子撮像部1bと、レンズ駆動部1cとを備えている。
レンズ部1aは、例えば、ズームレンズやフォーカスレンズ等の複数のレンズから構成されている。
電子撮像部1bは、例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal-oxide Semiconductor)等のイメージセンサ(撮像素子)から構成されている。そして、電子撮像部1bは、レンズ部1aの各種レンズを通過した光学像を二次元の画像信号に変換する。
レンズ駆動部1cは、例えば、図示は省略するが、ズームレンズを光軸方向に移動させるズーム駆動部、フォーカスレンズを光軸方向に移動させる合焦駆動部等を備えている。
なお、撮像部1は、レンズ部1a、電子撮像部1b及びレンズ駆動部1cに加えて、レンズ部1aを通過する光の量を調整する絞り(図示略)を備えても良い。
撮像制御部2は、撮像部1による被写体の撮像を制御する。即ち、撮像制御部2は、図示は省略するが、タイミング発生器、ドライバなどを備えている。そして、撮像制御部2は、タイミング発生器、ドライバにより電子撮像部1bを走査駆動して、レンズ部1aを通過した光学像を電子撮像部1bにより所定周期毎に二次元の画像信号に変換させ、当該電子撮像部1bの撮像領域から1画面分ずつフレーム画像を読み出して画像データ生成部3に出力させる。
なお、撮像制御部2は、レンズ部1aのフォーカスレンズに代えて、電子撮像部1bを光軸方向に移動させてレンズ部1aの合焦位置を調整するようにしても良い。
また、撮像制御部2は、AF(自動合焦処理)、AE(自動露出処理)、AWB(自動ホワイトバランス)等の被写体を撮像する際の条件の調整制御を行っても良い。
画像データ生成部3は、電子撮像部1bから転送されたフレーム画像のアナログ値の信号に対してRGBの各色成分毎に適宜ゲイン調整した後に、サンプルホールド回路(図示略)でサンプルホールドしてA/D変換器(図示略)でデジタルデータに変換し、カラープロセス回路(図示略)で画素補間処理及びγ補正処理を含むカラープロセス処理を行った後、デジタル値の輝度信号Y及び色差信号Cb,Cr(YUVデータ)を生成する。
カラープロセス回路から出力される輝度信号Y及び色差信号Cb,Crは、図示しないDMAコントローラを介して、バッファメモリとして使用されるメモリ4にDMA転送される。
メモリ4は、例えば、DRAM(Dynamic Random Access Memory)等により構成され、画像処理部6や中央制御部10等によって処理されるデータ等を一時的に格納する。
画像記録部5は、例えば、不揮発性メモリ(フラッシュメモリ)等により構成され、画像処理部6の符号化部(図示略)により所定の圧縮形式(例えば、JPEG形式等)で符号化された記録用の画像データを記録する。
また、画像記録部(記録手段)5は、所定数の髪型画像P1(図7(a)参照)の画像データを記録している。
髪型画像P1の画像データの各々は、例えば、ヒトの髪の輪郭を模式的に表した画像であり、前髪領域(毛先領域)を含む髪領域全体の特徴情報と対応付けられている。
ここで、各髪型画像P1の画像データは、例えば、顔検出処理(後述)により検出された顔領域F1に対してAAM(Active Appearance Model)を用いた処理(詳細後述)を行って、顔の顎の輪郭よりも内側に存する顔構成部(例えば、目、鼻、口、眉等)を消去した後、顔の輪郭や髪の先端部に沿って線を描画し、顔の輪郭の内側の肌部分や髪を所定の色で塗り潰すことにより形成される方法が挙げられる。また、顔の輪郭や髪の先端部に沿った線の描画は、ユーザによる操作入力部9の所定操作に基づいて手動で行われても良いし、中央制御部10のCPUの制御下にて自動で行われても良い。
また、髪領域の特徴情報としては、例えば、髪型画像P1の生成元の画像の画像データの輝度信号Yの勾配方向をヒストグラム化した特徴量が挙げられる(詳細後述)。
また、髪型画像P1の画像データの各々は、髪領域全体の特徴情報の他、当該髪領域のうちの前髪領域F2を指定するためのマスク情報とも対応付けられている。即ち、髪型画像P1の画像データの各々は、マスク情報を介して髪領域の前髪領域F2の特徴情報と対応付けて記録されている。
また、髪型画像P1の画像データの各々は、髪型画像P1の生成元の画像内の顔の特徴情報としての顔の輪郭の形状(詳細後述)と対応付けられていても良い。即ち、髪型画像P1は、顔の輪郭を含む画像データであっても良い。
また、髪型画像P1の画像データの各々は、前髪の形式として、左分け、真ん中分け、右分け、分け目なし(おろし)、分け目なし(額出し)等の各種の形式が対応付けられていても良い。
なお、画像記録部5は、例えば、記録媒体(図示略)が着脱自在に構成され、装着された記録媒体からのデータの読み出しや記録媒体に対するデータの書き込みを制御する構成であっても良い。
画像処理部6は、画像取得部6aと、顔検出部6bと、構成部画像生成部6cと、輪郭特定部6dと、前髪特定部6eと、特徴情報抽出部6fと、髪型画像特定部6gと、似顔絵画像生成部6hとを具備している。
なお、画像処理部6の各部は、例えば、所定のロジック回路から構成されているが、当該構成は一例であってこれに限られるものではない。
画像取得部6aは、似顔絵画像生成処理の処理対象となる画像を取得する。
即ち、画像取得部(取得手段)6aは、元画像(例えば、写真画像等)P2の画像データを取得する。具体的には、画像取得部6aは、撮像部1及び撮像制御部2による被写体の撮像によって画像データ生成部3により生成された元画像P2の画像データ(RGBデータやYUVデータ)の複製をメモリ4から取得したり、画像記録部5に記録されている元画像P2の画像データの複製を取得する(図4(a)参照)。
なお、後述する画像処理部6による各処理は、元画像P2の画像データ自体に対して行われても良いし、必要に応じて元画像P2の画像データを所定の比率で縮小した所定サイズ(例えば、VGAサイズ等)の縮小画像データに対して行われても良い。
顔検出部6bは、処理対象となる元画像P2から顔領域F1(図4(a)参照)を検出する。
即ち、顔検出部6bは、画像取得部6aにより取得された元画像P2から顔が含まれる顔領域F1を検出する。具体的には、顔検出部6bは、画像取得部6aにより似顔絵画像生成処理の処理対象の画像として取得された元画像P2の画像データを取得して、当該画像データに対して所定の顔検出処理を行って顔領域F1を検出する。そして、顔検出部6bは、顔領域F1を囲繞する所定の大きさの領域A(図4(a)参照)を切り出して顔領域画像とする。
なお、顔検出処理は、公知の技術であるので、ここでは詳細な説明を省略する。
構成部画像生成部6cは、顔の主要な顔構成部を表した顔構成部画像P4(図4(c)参照)を生成する。
即ち、構成部画像生成部(第2生成手段)6cは、画像取得部6aにより取得された元画像P2(図4(a)参照)内の顔の主要な顔構成部に係る顔構成部画像P4を生成する。具体的には、構成部画像生成部6cは、元画像P2の顔領域F1が含まれる顔領域画像に対して微細部抽出処理を施して、例えば、目、鼻、口、眉、髪の毛、顔の輪郭等の顔構成部を線で表した顔微細部画像P3(図4(b)参照)を生成する。例えば、構成部画像生成部6cは、微細部抽出処理として、AAMを用いた処理により顔微細部画像P3を生成する。また、構成部画像生成部6cは、顔検出部6bにより元画像P2の画像データから検出された顔領域F1に対して微細部抽出処理を施す。
ここで、AAMとは、視覚的事象のモデル化の一手法であり、任意の顔領域F1の画像のモデル化を行う処理である。例えば、構成部画像生成部6cは、複数のサンプル顔画像における所定の特徴部位(例えば、目じりや鼻頭やフェイスライン等)の位置や画素値(例えば、輝度値)の統計的分析結果を所定の登録手段に登録しておく。そして、構成部画像生成部6cは、上記の特徴部位の位置を基準として、顔の形状を表す形状モデルや平均的な形状における「Appearance」を表すテクスチャーモデルを設定し、これらのモデルを用いて顔領域F1の画像(顔領域画像)をモデル化する。これにより、構成部画像生成部6cは、元画像P2内の主要な構成を抽出して線で表した顔微細部画像P3を生成する。
顔微細部画像P3としては、例えば、黒画素を一の画素値(例えば、「0」等)とし、白画素を一の画素値と異なる他の画素値(例えば、「255」等)とする二値画像が挙げられる。
また、構成部画像生成部6cは、微細部抽出処理により顔領域F1内の顔の輪郭を特定して、顔の輪郭内に存する顔構成部及び当該輪郭と接する顔構成部を線で表した顔構成部画像P4(図4(c)参照)を生成する。
具体的には、構成部画像生成部6cは、顔微細部画像P3内で顔の輪郭と接する画素を特定し、当該画素と連続する画素のうち、顔の輪郭よりも外側に存する画素集合を消去する。つまり、構成部画像生成部6cは、顔微細部画像P3のうち、顔の輪郭よりも外側に存する部分を消去するとともに、顔の輪郭よりも内側に存し、且つ、当該輪郭と接する部分を残して、例えば、目、鼻、口、眉等の主要な顔構成部のパーツ画像を含む顔構成部画像P4を生成する。
ここで、構成部画像生成部6cは、各顔構成部のパーツ画像のXY平面空間での相対的な位置関係に係る情報や、座標位置に係る情報を抽出して取得しても良い。
なお、微細部抽出処理として、AAMを用いた処理を例示したが、一例であってこれに限られるものではなく、適宜任意に変更可能である。
例えば、微細部抽出処理として、エッジ抽出処理や非等方拡散処理を行って、顔構成部のパーツ画像を含む顔構成部画像P4を生成しても良い。具体的には、構成部画像生成部6cは、例えば、元画像P2の画像データに対して所定の微分フィルタ(例えば、ハイパスフィルタ等)を用いて微分演算を行って、輝度値や色や濃度に急峻な変化があるところをエッジとして検出するエッジ検出処理を行っても良い。また、構成部画像生成部6cは、例えば、元画像P2の画像データに対して所定の非等方拡散フィルタを用いて、線状のエッジの接線方向とエッジの垂直方向とで重みを異ならせて平滑化する非等方拡散処理を行っても良い。
輪郭特定部6dは、元画像P2内の顔の輪郭Wを特定する。
即ち、輪郭特定部(輪郭特定手段)6dは、画像取得部6aにより取得された元画像P2内の顔の輪郭Wを特定する。具体的には、輪郭特定部6dは、元画像P2の顔領域F1を含む顔領域画像(領域Aの画像)内で、構成部画像生成部6cにより顔微細部画像P3内で特定された顔の輪郭に対応する部分を顔の輪郭Wとして特定する。
ここで、顔の輪郭Wの形状としては、例えば、左右のこめかみどうしを顎を経由して結ぶような略「U」字形状が挙げられるが(図5(a)参照)、一例であってこれに限られるものではなく、左右のこめかみ、顎、額を結ぶような楕円形、特に、顎の輪郭と合致する楕円形等であっても良い。
前髪特定部6eは、元画像P2内の前髪領域F2を特定する。
即ち、前髪特定部(前髪特定手段)6eは、輪郭特定部6dにより特定された顔の輪郭Wの所定位置を基準として前髪領域F2を特定する。具体的には、前髪特定部6eは、例えば、元画像P2の顔領域F1を含む顔領域画像(領域Aの画像)内で、輪郭特定部6dにより特定された顔の輪郭Wを構成する左右のこめかみに対応する位置を基準とする所定範囲を、前髪領域F2(図5(a)参照)として特定する。そして、前髪特定部6eは、特定された前髪領域F2を指定するためのマスク情報を生成する。
特徴情報抽出部6fは、元画像P2の顔の髪領域から特徴情報を抽出する。
即ち、特徴情報抽出部(抽出手段)6fは、画像取得部6aにより取得された元画像P2の顔の髪領域のうち、少なくとも毛先領域(例えば、前髪領域F2)の特徴情報を抽出する。具体的には、特徴情報抽出部6fは、元画像P2の画像データ(YUVデータ)に基づいて、顔領域F1の髪領域内で特徴の高いブロック領域(特徴点)を選択して抽出する特徴抽出処理を行う。
例えば、特徴情報抽出部6fは、微細部抽出処理として、元画像P2の髪領域全体を構成する画素について特徴抽出処理を行って、当該髪領域全体の特徴情報を抽出する。
ここで、特徴抽出処理としては、処理対象となる元画像P2の輝度(輝度信号Y)の勾配方向をヒストグラム化した特徴量(形状特徴量)を抽出する処理が挙げられる。具体的には、特徴情報抽出部6fは、特徴抽出処理の処理対象となる元画像P2から変換された輝度画像の各画素の勾配方向(例えば、0°〜179°を9分割した20°毎の9方向等)と勾配強度(例えば、8bit:0〜255)を算出する。そして、特徴情報抽出部6fは、各画素の勾配方向及び勾配強度が算出された当該輝度画像を所定の比率(例えば、垂直方向:16×水平方向:16等)で分割した後、各分割領域を処理対象領域として、各勾配方向毎に勾配強度を積算して勾配方向ヒストグラムを生成し、特徴量(特徴情報)として抽出する。
このとき、特徴情報抽出部6fは、前髪特定部6eにより生成されたマスク情報を用いて、元画像P2(顔領域画像)の髪領域の前髪領域F2の特徴情報のみを抽出するようにしても良い。
なお、勾配方向ヒストグラムを生成する特徴抽出処理は、公知の技術であるので、ここでは詳細な説明を省略する。また、勾配方向の方向数や勾配強度の階調数は、一例であってこれに限られるものではなく、適宜任意に変更可能である。
髪型画像特定部6gは、特徴情報抽出部6fにより抽出された特徴情報に対応する髪型画像P1を特定する。
即ち、髪型画像特定部(画像特定手段)6gは、画像記録部5に髪領域の特徴情報と対応付けて記録されている髪型画像P1から、特徴情報抽出部6fにより抽出された元画像P2の髪領域の特徴情報に対応する髪型画像P1を特定する。具体的には、髪型画像特定部6gは、第1特定部g1と、第2特定部g2とを具備している。
第1特定部g1は、所定数の候補髪型画像を特定する。
即ち、第1特定部(第1特定手段)g1は、画像記録部5に前髪領域(毛先領域)F2の特徴情報と対応付けて記録されている複数の髪型画像P1、…の中で、特徴情報抽出部6fにより抽出された前髪領域F2の特徴情報に基づいて所定数の候補髪型画像を特定する。具体的には、第1特定部g1は、画像記録部5に記録されている複数の髪型画像P1、…の各々に対応する前髪領域の特徴情報(勾配方向ヒストグラム)と、元画像P2の髪領域のうち、マスク情報により指定された前髪領域F2の特徴情報(勾配方向ヒストグラム)とをそれぞれ正規化して比較し、一致度を基準として当該一致度の高い方から順に所定の順位(例えば、10位等)まで髪型画像P1を並べ替える。そして、第1特定部g1は、所定の順位までで最も多い前髪の形式(図6参照)を特定し、画像記録部5に記録されている複数の髪型画像P1、…の中で、当該最も多い前髪の形式の髪型画像P1を候補髪型画像として特定する。
なお、図6には、前髪の形式として、左分け、真ん中分け、右分け、分け目なし(おろし)、分け目なし(額出し)等が挙げられているが、一例であってこれに限られるものではなく、適宜任意に変更可能である。
第2特定部g2は、所定数の候補髪型画像の中で、元画像P2の髪領域の特徴情報に対応する髪型画像P1を特定する。
即ち、第2特定部(第2特定手段)g2は、第1特定部g1により特定された所定数の候補髪型画像の中で、特徴情報抽出部6fにより抽出された髪領域全体の特徴情報に基づいて髪型画像P1を特定する。具体的には、第2特定部g2は、第1特定部g1により特定された所定数の候補髪型画像の各々に対応する髪領域の特徴情報(勾配方向ヒストグラム)と、元画像P2の髪領域の特徴情報(勾配方向ヒストグラム)とをそれぞれ正規化して比較し、一致度を基準として当該一致度の高い方から順に所定の順位(例えば、10位等)まで髪型画像P1を並べ替える。
ここで、第2特定部g2は、一致度の最も高い一の髪型画像P1(図7(a)参照)を自動的に特定しても良いし、所定の順位までの髪型画像P1の中で、ユーザによる操作入力部9の所定操作に基づいてユーザ所望の髪型画像P1を特定するようにしても良い。
似顔絵画像生成部6hは、髪型画像P1と顔構成部画像P4とに基づいて似顔絵画像P5を生成する。
即ち、似顔絵画像生成部(第1生成手段)6hは、髪型画像特定部6gにより特定された髪型画像P1の画像データを用いて似顔絵画像P5を生成する。具体的には、似顔絵画像生成部6hは、髪型画像P1の顔の輪郭Wよりも内側にて、例えば、目、鼻、口、眉等の各顔構成部のパーツ画像を重畳させる位置を特定し、当該位置に各顔構成部のパーツ画像を重畳させて、元画像P2を似顔絵で表した似顔絵画像P5の画像データを生成する(図7(b)参照)。
また、似顔絵画像生成部6hは、似顔絵画像P5の所定の部分(例えば、目、口、眉等の顔構成部等)に所定の色を付けて表した画像を生成しても良い。
表示制御部7は、メモリ4に一時的に格納されている表示用の画像データを読み出して表示部8に表示させる制御を行う。
具体的には、表示制御部7は、VRAM(Video Random Access Memory)、VRAMコントローラ、デジタルビデオエンコーダなどを備えている。そして、デジタルビデオエンコーダは、中央制御部10の制御下にてメモリ4から読み出されてVRAM(図示略)に格納されている輝度信号Y及び色差信号Cb,Crを、VRAMコントローラを介してVRAMから定期的に読み出して、これらのデータを元にビデオ信号を発生して表示部8に出力する。
表示部8は、例えば、液晶表示パネルであり、表示制御部7からのビデオ信号に基づいて撮像部1により撮像された画像などを表示画面に表示する。具体的には、表示部8は、静止画撮像モードや動画撮像モードにて、撮像部1及び撮像制御部2による被写体の撮像により生成された複数のフレーム画像を所定のフレームレートで逐次更新しながらライブビュー画像を表示する。また、表示部8は、静止画として記録される画像(レックビュー画像)を表示したり、動画として記録中の画像を表示する。
操作入力部9は、当該撮像装置100の所定操作を行うためのものである。具体的には、操作入力部9は、被写体の撮像指示に係るシャッタボタン、撮像モードや機能等の選択指示に係る選択決定ボタン、ズーム量の調整指示に係るズームボタン等(何れも図示略)の操作部を備え、当該操作部の各ボタンの操作に応じて所定の操作信号を中央制御部10に出力する。
中央制御部10は、撮像装置100の各部を制御するものである。具体的には、中央制御部10は、図示は省略するが、CPU(Central Processing Unit)等を備え、撮像装置100用の各種処理プログラム(図示略)に従って各種の制御動作を行う。
次に、撮像装置100による似顔絵画像生成処理について、図2〜図7を参照して説明する。
図2は、似顔絵画像生成処理に係る動作の一例を示すフローチャートである。
似顔絵画像生成処理は、ユーザによる操作入力部9の選択決定ボタンの所定操作に基づいて、メニュー画面に表示された複数の動作モードの中から似顔絵画像生成モードが選択指示された場合に、中央制御部10の制御下にて当該撮像装置100の各部、特に画像処理部6により実行される処理である。
また、似顔絵画像生成処理の処理対象となる元画像P2の画像データ及び似顔絵画像P5の生成に用いられる髪型画像P1の画像データは、予め画像記録部5に記録されているものとする。
図2に示すように、先ず、画像記録部5は、記録されている画像データの中で、ユーザによる操作入力部9の所定操作に基づいて指定された元画像P2(図4(a)参照)の画像データを読み出し、画像処理部6の画像取得部6aは、読み出された画像データを当該似顔絵画像生成処理の処理対象として取得する(ステップS1)。
次に、顔検出部6bは、処理対象として画像取得部6aにより取得された元画像P2の画像データに対して所定の顔検出処理を行って顔領域F1を検出する(ステップS2)。
続けて、構成部画像生成部6cは、検出された顔領域F1を含む顔領域画像に対して微細部抽出処理(例えば、AAMを用いた処理等)を行って、例えば、目、鼻、口、眉、髪の毛、顔の輪郭等の顔構成部を線で表した顔微細部画像P3(図4(b)参照)を生成する(ステップS3)。そして、構成部画像生成部6cは、微細部抽出処理により顔領域F1内の顔の輪郭を特定して、顔の輪郭内に存する顔構成部及び当該輪郭と接する顔構成部、即ち、例えば、目、鼻、口、眉等の主要な顔構成部のパーツ画像を含む顔構成部画像P4を生成する(ステップS4;図4(c)参照)。
次に、輪郭特定部6dは、元画像P2の顔領域画像内で、構成部画像生成部6cにより顔微細部画像P3内で特定された顔の輪郭に対応する部分を顔の輪郭Wとして特定する(ステップS5;図5(a)参照)。そして、前髪特定部6eは、元画像P2の顔領域画像内で、輪郭特定部6dにより特定された顔の輪郭Wの所定位置(例えば、左右のこめかみに対応する位置)を基準とする所定範囲を、前髪領域F2として特定する(ステップS6;図5(a)参照)。そして、前髪特定部6eは、特定された前髪領域F2を指定するためのマスク情報を生成する。
続けて、特徴情報抽出部6fは、特徴抽出処理(図3参照)を実行する(ステップS7)。
以下に、特徴抽出処理について図3を参照して詳細に説明する。図3は、特徴抽出処理に係る動作の一例を示すフローチャートである。
図3に示すように、特徴情報抽出部6fは、元画像P2の顔領域画像の画像データ(例えば、RGBデータ)の複製をYUVデータに変換して、輝度信号Yから輝度画像を生成する(ステップS11)。続けて、特徴情報抽出部6fは、輝度画像の各画素の勾配方向及び勾配強度を算出する(ステップS12)。例えば、特徴情報抽出部6fは、0°〜179°を9分割した20°毎の9方向を勾配方向とし、0〜255の256階調(8bit)で勾配強度を算出する(図5(b)参照)。なお、図5(b)は、各画素について、勾配方向が20°毎の代表画素値で表した画像である。
次に、特徴情報抽出部6fは、元画像P2の顔領域画像に対応する顔微細部画像P3の画像データの複製に対して、所定サイズのフィルタ(例えば、ガウシアンフィルタ等)を用いて色を平滑化する平滑化処理を施す(ステップS13)。そして、特徴情報抽出部6fは、平滑化処理後の顔微細部画像P3の画像データを用いて、顔領域画像に係る輝度画像の各画素の勾配方向及び勾配強度を補正する(ステップS14)。例えば、特徴情報抽出部6fは、平滑化処理後の顔微細部画像P3の白画素については、エッジがないか、或いは、エッジの強度が低いと判断して、勾配方向及び勾配強度が抽出された輝度画像の各画素のうち、当該白画素に対応する画素について勾配がないものとするような補正を行う。
そして、特徴情報抽出部6fは、各画素の勾配方向及び勾配強度が算出された顔領域画像を所定の比率(例えば、垂直方向:16×水平方向:16等)で分割して複数の分割領域を設定した後(ステップS15)、各分割領域(処理対象領域)毎に勾配方向ヒストグラムを生成し、特徴量(特徴情報)として抽出する(ステップS16)。例えば、16×16の分割領域が設定され、勾配方向が9方向の場合には、16×16×9=2304ベクトルの特徴量が抽出される。
これにより、特徴抽出処理を終了する。
図2に戻り、髪型画像特定部6gの第1特定部g1は、画像記録部5に記録されている複数の髪型画像P1、…の中で、特徴抽出処理にて抽出された髪領域の前髪領域F2の特徴情報に基づいて所定数の候補髪型画像を特定する(ステップS8)。
例えば、第1特定部g1は、画像記録部5から複数の髪型画像P1、…の各々に対応する前髪領域の特徴情報(勾配方向ヒストグラム)を取得するとともに、元画像P2の前髪領域F2の特徴情報(勾配方向ヒストグラム)を取得した後、これらをそれぞれ正規化して比較する。そして、第1特定部g1は、元画像P2の前髪領域F2の特徴情報に対する一致度の高い方から順に所定の順位(例えば、10位等)まで並べられた髪型画像P1の中で、最も多い前髪の形式(例えば、左分け等;図6参照)を特定した後、画像記録部5に記録されている複数の髪型画像P1、…の中から、当該最も多い前髪の形式の髪型画像P1を候補髪型画像として所定数特定する。
このとき、一致度が所定の順位までの髪型画像P1の中で特定された最も多い前髪の形式の髪型画像P1数が所定の比率(例えば、50%等)以上であるか否かの判定を行い、所定の比率以上であると判定された場合にのみ、第1特定部g1は、当該最も多い前髪の形式の髪型画像P1を候補髪型画像として特定するようにしても良い。
また、予めユーザによる操作入力部9の所定操作に基づいて元画像P2の顔が男性であるか女性であるかを指定しておき、第1特定部g1は、指定された性別に対応する髪型画像P1の前髪領域F2の特徴情報を画像記録部5から取得するようにしても良い。
続けて、髪型画像特定部6gの第2特定部g2は、第1特定部g1により特定された所定数の候補髪型画像の中で、特徴抽出処理にて抽出された髪領域全体の特徴情報に基づいて髪型画像P1を特定する(ステップS9)。
例えば、第2特定部g2は、所定数の候補髪型画像の各々に対応する髪領域全体の特徴情報(勾配方向ヒストグラム)と、元画像P2の髪領域全体の特徴情報(勾配方向ヒストグラム)とを取得した後、これらをそれぞれ正規化して比較する。そして、第2特定部g2は、元画像P2の髪領域全体の特徴情報に対する一致度の最も高い髪型画像P1(図7(a)参照)を自動的に特定する。このとき、第2特定部g2は、一致度の高い方から順に所定の順位(例えば、10位等)まで髪型画像P1を並べ替えた後、これらの髪型画像P1の中で、ユーザによる操作入力部9の所定操作に基づいてユーザ所望の髪型画像P1を特定するようにしても良い。
その後、似顔絵画像生成部6hは、髪型画像P1と顔構成部画像P4とを用いて似顔絵画像P5を生成する(ステップS10)。具体的には、似顔絵画像生成部6hは、髪型画像特定部6gにより特定された髪型画像P1の顔の輪郭Wよりも内側にて、構成部画像生成部6cにより生成された顔構成部画像P4の例えば、目、鼻、口、眉等の各顔構成部のパーツ画像を重畳させる位置を特定し、当該位置に各顔構成部のパーツ画像を重畳させて、元画像P2を似顔絵で表した似顔絵画像P5の画像データを生成する(図7(b)参照)。そして、画像記録部5は、似顔絵画像生成部6hにより生成された似顔絵画像P5の画像データ(YUVデータ)を取得して記録する。
これにより、似顔絵画像生成処理を終了する。
以上のように、本実施形態の撮像装置100によれば、画像記録部5に髪領域、特に前髪領域(毛先領域)の特徴情報と対応付けて記録されている髪の輪郭を表した髪型画像P1から、元画像P2内の髪領域、特に前髪領域F2の特徴情報に対応する髪型画像P1を特定して、当該髪型画像P1を用いて顔の似顔絵画像P5を生成するので、元画像P2の顔の髪の毛先の特徴を考慮して当該顔の髪型に対応する髪型画像P1を特定することができ、より適正な似顔絵画像P5を生成することができる。
即ち、似顔絵における髪型は、例えば、目、鼻、口等の他の顔パーツに比べて似顔絵の印象を大きく変化させてしまう虞があるが、本実施形態では、髪の毛先の特徴を考慮して、元画像P2の髪型と見た目がかけ離れていないような自然な髪型画像P1を特定することができ、当該髪型画像P1を用いることで、より適正な似顔絵画像P5を生成することができる。具体的には、特定された髪型画像P1と、元画像P2内の顔の主要な構成部に係る顔構成部画像P4とに基づいて、似顔絵画像P5を生成することができる。
さらに、画像記録部5に複数の髪型画像P1、…が記録されていても、より適正な髪型画像P1を特定することができるので、例えば、大量に用意された髪型のテンプレートの中からユーザ所望のものを手動で選択する手法のように操作が煩雑化してしまうことも抑制することができる。
また、画像記録部5に前髪領域(毛先領域)の特徴情報と対応付けて記録されている複数の髪型画像P1、…の中で、元画像P2から抽出された前髪領域F2の特徴情報に基づいて所定数の候補髪型画像を特定して、当該所定数の候補髪型画像の中で、元画像P2から抽出された髪領域全体の特徴情報に基づいて髪型画像P1を特定するので、画像記録部5に記録されている複数の髪型画像P1、…の中で、元画像P2の顔の髪の毛先の特徴を考慮して候補髪型画像を所定数に絞り込み、当該所定数の候補髪型画像の中で、元画像P2の顔の髪全体の特徴を考慮してより適正な髪型画像P1を特定することができる。
具体的には、画像記録部5に記録されている複数の髪型画像P1、…のうち、元画像P2から抽出された前髪領域F2の特徴情報に対応する髪型画像P1を複数特定し、当該複数の髪型画像P1、…の中で最も多い前髪の形式の髪型画像P1を候補髪型画像として所定数特定するので、当該最も多い前髪の形式以外の形式、即ち、前髪(毛先)の見た目があまり似ていないと判断された形式の髪型画像を除き、前髪の見た目がかけ離れていない髪型画像P1を候補髪型画像として、その後の元画像P2の顔の髪全体の特徴を考慮した髪型画像P1の特定処理を行うことができる。
また、元画像P2内の顔の輪郭Wの所定位置を基準として、髪領域のうちの前髪領域F2を特定するので、当該前髪領域F2の特徴情報の抽出をより簡便に、且つ、より適正に行うことができる。
また、前髪領域(毛先領域)F2の輝度の勾配方向をヒストグラム化した特徴量を特徴情報として抽出するので、前髪領域F2の大域的な形状情報(特徴量)を用いて髪型画像P1を特定することができ、元画像P2の髪型と見た目がかけ離れていないような自然な髪型画像P1を特定することができる。
なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、上記実施形態にあっては、毛先領域として前髪領域F2を例示したが、一例であってこれに限られるものではなく、適宜任意に変更可能である。例えば、髪を側頭部で束ねた状態で首や耳の側方に存する後ろ髪の毛先が含まれる領域を毛先領域としても良い。この場合、例えば、元画像P2の顔の背景の平均色(代表色)と髪の平均色との差分をとることで、毛先領域を特定するようにしても良い。
また、上記実施形態では、前髪領域F2の特徴情報に対応する複数の髪型画像P1、…の中で最も多い前髪の形式の髪型画像P1を候補髪型画像として特定するようにしたが、候補髪型画像の特定の手法は一例であってこれに限られるものではなく、適宜任意に変更可能である。
さらに、前髪領域(毛先領域)F2の特徴情報に基づいて所定数の候補髪型画像を特定するようにしたが、一例であってこれに限られるものではなく、必ずしも候補髪型画像を特定する必要はない。即ち、画像記録部5に記録されている髪型画像P1から、毛先領域の特徴情報に対応する髪型画像P1を特定するようにしても良い。
また、上記実施形態では、元画像P2内の顔の輪郭Wの所定位置を基準として前髪領域F2を特定するようにしたが、前髪領域F2の特定の手法は一例であってこれに限られるものではなく、適宜任意に変更可能である。
さらに、上記実施形態では、似顔絵画像P5の生成の際に、髪型画像P1の画像データに顔の輪郭の形状が対応付けられたデータを利用したが、一例であってこれに限られるものではなく、例えば、顔の輪郭画像(図示略)を髪型画像P1とは別に特定するような構成であっても良い。
また、元画像P2内の顔の主要な構成部に係る顔構成部画像P4を生成し、当該顔構成部画像P4を用いて似顔絵画像P5を生成するようにしたが、必ずしも顔構成部画像P4を生成する必要はなく、当該顔構成部画像P4を生成するか否かは適宜任意に変更可能である。
さらに、髪型画像P1や顔構成部画像P4の生成元となる画像は、正面顔を表した画像である必要はなく、例えば、斜めを向くように顔が傾いた画像の場合には、当該顔を正面を向くように変形させた画像を生成して、生成元として用いても良い。
また、髪型画像P1を記録する画像記録部5を備える構成としたが、これに限られず、例えば、当該装置本体と所定の通信ネットワークを介して接続可能な所定のサーバに髪型画像P1を記録しておく構成とし、図示しない通信処理部から通信ネットワークを介して所定のサーバにアクセスして、画像取得部6aは、当該サーバから髪型画像P1を取得する構成としても良い。
さらに、撮像装置100の構成は、上記実施形態に例示したものは一例であり、これに限られるものではない。また、画像生成装置として、撮像装置100を例示したが、これに限られるものではなく、本発明に係る画像生成処理を実行可能なものであれば如何なる構成であっても良い。
加えて、上記実施形態にあっては、取得手段、抽出手段、画像特定手段、第1生成手段としての機能を、中央制御部10の制御下にて、画像取得部6a、特徴情報抽出部6f、髪型画像特定部6g、似顔絵画像生成部6hが駆動することにより実現される構成としたが、これに限られるものではなく、中央制御部10によって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、プログラムを記憶するプログラムメモリ(図示略)に、取得処理ルーチン、抽出処理ルーチン、特定処理ルーチン、画像生成処理ルーチンを含むプログラムを記憶しておく。そして、取得処理ルーチンにより中央制御部10のCPUを、元画像P2を取得する手段として機能させるようにしても良い。また、抽出処理ルーチンにより中央制御部10のCPUを、取得された元画像P2内の髪領域の特徴情報を抽出する手段として機能させるようにしても良い。また、特定処理ルーチンにより中央制御部10のCPUを、記録手段に特徴情報と対応付けて記録されている髪の輪郭を表した髪型画像P1から、抽出された特徴情報に対応する髪型画像P1を特定する手段として機能させるようにしても良い。また、画像生成処理ルーチンにより中央制御部10のCPUを、特定された髪型画像P1を用いて、前記元画像内の顔の似顔絵画像P5を生成する手段として機能させるようにしても良い。
同様に、第1特定手段、第2特定手段、輪郭特定手段、前髪特定手段、第2生成手段についても、中央制御部10のCPUによって所定のプログラム等が実行されることにより実現される構成としても良い。
さらに、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ROMやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、CD−ROM等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ(搬送波)も適用される。
本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
<請求項1>
元画像を取得する取得手段と、
前記取得手段により取得された元画像内の髪領域の特徴情報を抽出する抽出手段と、
記録手段に特徴情報と対応付けて記録されている髪の輪郭を表した髪型画像から、前記抽出手段により抽出された特徴情報に対応する髪型画像を特定する画像特定手段と、
前記画像特定手段により特定された髪型画像を用いて、前記元画像内の顔の似顔絵画像を生成する第1生成手段と、
を備えたことを特徴とする画像生成装置。
<請求項2>
前記抽出手段は、前記元画像内の髪の毛先領域の特徴情報を抽出し、
前記画像特定手段は、前記記録手段に特徴情報と対応付けて記録されている髪の輪郭を表した髪型画像から、前記抽出手段により抽出された前記毛先領域の特徴情報に対応する髪型画像を特定することを特徴とする請求項1記載の画像生成装置。
<請求項3>
前記抽出手段は、更に、元画像内の髪領域全体の特徴情報を抽出し、
前記画像特定手段は、
前記記録手段に前記毛先領域の特徴情報と対応付けて記録されている複数の髪型画像の中で、前記抽出手段により抽出された前記毛先領域の特徴情報に基づいて所定数の候補髪型画像を特定する第1特定手段と、
前記第1特定手段により特定された前記所定数の候補髪型画像の中で、前記抽出手段により抽出された前記髪領域全体の特徴情報に基づいて髪型画像を特定する第2特定手段とを備えることを特徴とする請求項2に記載の画像生成装置。
<請求項4>
前記抽出手段は、更に、前記髪領域のうち、前髪の毛先を含む前髪領域の特徴情報を抽出し、
前記第1特定手段は、前記記録手段に前記前髪領域の特徴情報と対応付けて記録されている複数の髪型画像のうち、前記抽出手段により抽出された前記前髪領域の特徴情報に対応する髪型画像を複数特定し、当該複数の髪型画像の中で最も多い前髪の形式の髪型画像を候補髪型画像として所定数特定することを特徴とする請求項3に記載の画像生成装置。
<請求項5>
前記抽出手段は、更に、前記髪領域のうち、前髪の毛先を含む前髪領域の特徴情報を抽出し、
前記画像特定手段は、前記記録手段に前記前髪領域の特徴情報と対応付けて記録されている前記髪型画像から、前記抽出手段により抽出された前記前髪領域の特徴情報に対応する髪型画像を特定することを特徴とする請求項2に記載の画像生成装置。
<請求項6>
前記取得手段により取得された元画像内の顔の輪郭を特定する輪郭特定手段と、
前記輪郭特定手段により特定された輪郭の所定位置を基準として前記前髪領域を特定する前髪特定手段とを更に備え、
前記抽出手段は、前記前髪特定手段により特定された前記前髪領域の特徴情報を抽出することを特徴とする請求項4又は5に記載の画像生成装置。
<請求項7>
前記抽出手段は、前記毛先領域の輝度の勾配方向をヒストグラム化した特徴量を前記特徴情報として抽出することを特徴とする請求項2〜6の何れか一項に記載の画像生成装置。
<請求項8>
前記取得手段により取得された元画像内の顔の主要な構成部に係る顔構成部画像を生成する第2生成手段を更に備え、
前記第1生成手段は、前記第2生成手段により生成された顔構成部画像と前記画像特定手段により特定された髪型画像とに基づいて、前記似顔絵画像を生成することを特徴とする請求項1〜7の何れか一項に記載の画像生成装置。
<請求項9>
画像生成装置を用いた画像生成方法であって、
元画像を取得する処理と、
取得された元画像内の髪領域の特徴情報を抽出する処理と、
記録手段に特徴情報と対応付けて記録されている髪の輪郭を表した髪型画像から、抽出された特徴情報に対応する髪型画像を特定する処理と、
特定された髪型画像を用いて、前記元画像内の顔の似顔絵画像を生成する処理と、
を含むことを特徴とする画像生成方法。
<請求項10>
画像生成装置のコンピュータを、
元画像を取得する取得手段、
前記取得手段により取得された元画像内の髪領域の特徴情報を抽出する抽出手段、
記録手段に特徴情報と対応付けて記録されている髪の輪郭を表した髪型画像から、前記抽出手段により抽出された特徴情報に対応する髪型画像を特定する画像特定手段、
前記画像特定手段により特定された髪型画像を用いて、前記元画像内の顔の似顔絵画像を生成する第1生成手段、
として機能させることを特徴とするプログラム。
100 撮像装置
1 撮像部
5 画像記録部
6 画像処理部
6a 画像取得部
6b 顔検出部
6c 構成部画像生成部
6d 輪郭特定部
6e 前髪特定部
6f 特徴情報抽出部
6g 髪型画像特定部
g1 第1特定部
g2 第2特定部
6h 似顔絵画像生成部
10 中央制御部

Claims (10)

  1. 元画像を取得する取得手段と、
    前記取得手段により取得された元画像内の髪領域の特徴情報を抽出する抽出手段と、
    記録手段に特徴情報と対応付けて記録されている髪の輪郭を表した髪型画像から、前記抽出手段により抽出された特徴情報に対応する髪型画像を特定する画像特定手段と、
    前記画像特定手段により特定された髪型画像を用いて、前記顔の似顔絵画像を生成する第1生成手段と、
    を備えたことを特徴とする画像生成装置。
  2. 前記抽出手段は、前記元画像内の髪の毛先領域の特徴情報を抽出し、
    前記画像特定手段は、前記記録手段に特徴情報と対応付けて記録されている髪の輪郭を表した髪型画像から、前記抽出手段により抽出された前記毛先領域の特徴情報に対応する髪型画像を特定することを特徴とする請求項1記載の画像生成装置。
  3. 前記抽出手段は、更に、元画像内の髪領域全体の特徴情報を抽出し、
    前記画像特定手段は、
    前記記録手段に前記毛先領域の特徴情報と対応付けて記録されている複数の髪型画像の中で、前記抽出手段により抽出された前記毛先領域の特徴情報に基づいて所定数の候補髪型画像を特定する第1特定手段と、
    前記第1特定手段により特定された前記所定数の候補髪型画像の中で、前記抽出手段により抽出された前記髪領域全体の特徴情報に基づいて髪型画像を特定する第2特定手段とを備えることを特徴とする請求項2に記載の画像生成装置。
  4. 前記抽出手段は、更に、前記髪領域のうち、前髪の毛先を含む前髪領域の特徴情報を抽出し、
    前記第1特定手段は、前記記録手段に前記前髪領域の特徴情報と対応付けて記録されている複数の髪型画像のうち、前記抽出手段により抽出された前記前髪領域の特徴情報に対応する髪型画像を複数特定し、当該複数の髪型画像の中で最も多い前髪の形式の髪型画像を候補髪型画像として所定数特定することを特徴とする請求項3に記載の画像生成装置。
  5. 前記抽出手段は、更に、前記髪領域のうち、前髪の毛先を含む前髪領域の特徴情報を抽出し、
    前記画像特定手段は、前記記録手段に前記前髪領域の特徴情報と対応付けて記録されている前記髪型画像から、前記抽出手段により抽出された前記前髪領域の特徴情報に対応する髪型画像を特定することを特徴とする請求項2に記載の画像生成装置。
  6. 前記取得手段により取得された元画像内の顔の輪郭を特定する輪郭特定手段と、
    前記輪郭特定手段により特定された輪郭の所定位置を基準として前記前髪領域を特定する前髪特定手段とを更に備え、
    前記抽出手段は、前記前髪特定手段により特定された前記前髪領域の特徴情報を抽出することを特徴とする請求項4又は5に記載の画像生成装置。
  7. 前記抽出手段は、前記毛先領域の輝度の勾配方向をヒストグラム化した特徴量を前記特徴情報として抽出することを特徴とする請求項2〜6の何れか一項に記載の画像生成装置。
  8. 前記取得手段により取得された元画像内の顔の主要な構成部に係る顔構成部画像を生成する第2生成手段を更に備え、
    前記第1生成手段は、前記第2生成手段により生成された顔構成部画像と前記画像特定手段により特定された髪型画像とに基づいて、前記似顔絵画像を生成することを特徴とする請求項1〜7の何れか一項に記載の画像生成装置。
  9. 画像生成装置を用いた画像生成方法であって、
    元画像を取得する処理と、
    取得された元画像内の髪領域の特徴情報を抽出する処理と、
    記録手段に特徴情報と対応付けて記録されている髪の輪郭を表した髪型画像から、抽出された特徴情報に対応する髪型画像を特定する処理と、
    特定された髪型画像を用いて、前記顔の似顔絵画像を生成する処理と、
    を含むことを特徴とする画像生成方法。
  10. 画像生成装置のコンピュータを、
    元画像を取得する取得手段、
    前記取得手段により取得された元画像内の髪領域の特徴情報を抽出する抽出手段、
    記録手段に特徴情報と対応付けて記録されている髪の輪郭を表した髪型画像から、前記抽出手段により抽出された特徴情報に対応する髪型画像を特定する画像特定手段、
    前記画像特定手段により特定された髪型画像を用いて、前記顔の似顔絵画像を生成する第1生成手段、
    として機能させることを特徴とするプログラム。
JP2012189406A 2012-08-30 2012-08-30 画像生成装置、画像生成方法及びプログラム Expired - Fee Related JP5949331B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2012189406A JP5949331B2 (ja) 2012-08-30 2012-08-30 画像生成装置、画像生成方法及びプログラム
US14/010,192 US9135726B2 (en) 2012-08-30 2013-08-26 Image generation apparatus, image generation method, and recording medium
CN201310384630.9A CN103679767A (zh) 2012-08-30 2013-08-29 图像生成装置以及图像生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012189406A JP5949331B2 (ja) 2012-08-30 2012-08-30 画像生成装置、画像生成方法及びプログラム

Publications (3)

Publication Number Publication Date
JP2014048766A true JP2014048766A (ja) 2014-03-17
JP2014048766A5 JP2014048766A5 (ja) 2015-06-18
JP5949331B2 JP5949331B2 (ja) 2016-07-06

Family

ID=50187695

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012189406A Expired - Fee Related JP5949331B2 (ja) 2012-08-30 2012-08-30 画像生成装置、画像生成方法及びプログラム

Country Status (3)

Country Link
US (1) US9135726B2 (ja)
JP (1) JP5949331B2 (ja)
CN (1) CN103679767A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021100120A1 (ja) * 2019-11-19 2021-05-27 株式会社資生堂 毛髪計測方法、及び毛髪計測システム

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2367577C1 (ru) 2005-08-12 2009-09-20 Рик Б. ЙЕГЕР Система и способ для нанесения изменяющего отражательную способность вещества в целях улучшения визуальной привлекательности человеческой кожи
US8184901B2 (en) * 2007-02-12 2012-05-22 Tcms Transparent Beauty Llc System and method for applying a reflectance modifying agent to change a person's appearance based on a digital image
JP2011221812A (ja) * 2010-04-09 2011-11-04 Sony Corp 情報処理装置及び方法、並びにプログラム
JP5949030B2 (ja) 2012-03-26 2016-07-06 カシオ計算機株式会社 画像生成装置、画像生成方法及びプログラム
WO2013166588A1 (en) 2012-05-08 2013-11-14 Bitstrips Inc. System and method for adaptable avatars
US9760794B2 (en) * 2015-09-25 2017-09-12 Intel Corporation Method and system of low-complexity histrogram of gradients generation for image processing
US10339365B2 (en) 2016-03-31 2019-07-02 Snap Inc. Automated avatar generation
CN107451950A (zh) * 2016-05-30 2017-12-08 北京旷视科技有限公司 人脸图像生成方法、人脸识别模型训练方法及相应装置
JP6800676B2 (ja) * 2016-09-27 2020-12-16 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US10432559B2 (en) 2016-10-24 2019-10-01 Snap Inc. Generating and displaying customized avatars in electronic messages
CN108009470B (zh) * 2017-10-20 2020-06-16 深圳市朗形网络科技有限公司 一种图像提取的方法和装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10232950A (ja) * 1996-12-19 1998-09-02 Omron Corp 画像作成装置、画像作成方法及び画像作成プログラム記憶媒体
JP2010020594A (ja) * 2008-07-11 2010-01-28 Kddi Corp 瞳画像認識装置
US20120063680A1 (en) * 2010-09-15 2012-03-15 Kyran Daisy Systems, methods, and media for creating multiple layers from an image

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69328599T2 (de) 1992-08-24 2000-08-24 Casio Computer Co Ltd Datensuchvorrichtung
US5542037A (en) 1992-08-24 1996-07-30 Casio Computer Co., Ltd. Image displaying apparatus wherein selected stored image data is combined and the combined image data is displayed
JPH06187410A (ja) 1992-12-21 1994-07-08 Casio Comput Co Ltd 似顔絵作成装置
EP0603809A3 (en) 1992-12-21 1994-08-17 Casio Computer Co Ltd Object image display devices.
JP3206166B2 (ja) 1992-12-25 2001-09-04 カシオ計算機株式会社 画像表示制御装置および画像表示制御方法
JP3334230B2 (ja) 1993-03-18 2002-10-15 カシオ計算機株式会社 モンタージュ画像表示制御装置およびモンタージュ画像表示制御方法
TW359781B (en) 1993-05-25 1999-06-01 Casio Computer Co Ltd Animal image display controlling devices and method thereof
US5600767A (en) 1994-02-25 1997-02-04 Casio Computer Co., Ltd. Image creation device
US5611037A (en) 1994-03-22 1997-03-11 Casio Computer Co., Ltd. Method and apparatus for generating image
US5808624A (en) 1994-07-29 1998-09-15 Brother Kogyo Kabushiki Kaisha Picture making apparatus for creating a picture for printing by assembling and positioning component parts
JP3069073B2 (ja) * 1998-01-23 2000-07-24 三菱電機株式会社 電話装置
US6940545B1 (en) * 2000-02-28 2005-09-06 Eastman Kodak Company Face detecting camera and method
JP2004145625A (ja) 2002-10-24 2004-05-20 Mitsubishi Electric Corp 似顔絵の作成装置
GB2451050B (en) 2006-05-05 2011-08-31 Parham Aarabi Method, system and computer program product for automatic and semiautomatic modification of digital images of faces
US8620038B2 (en) 2006-05-05 2013-12-31 Parham Aarabi Method, system and computer program product for automatic and semi-automatic modification of digital images of faces
JP4986279B2 (ja) 2006-09-08 2012-07-25 任天堂株式会社 ゲームプログラムおよびゲーム装置
CN101034481A (zh) * 2007-04-06 2007-09-12 湖北莲花山计算机视觉和信息科学研究院 一种肖像画的自动生成方法
US8111281B2 (en) * 2007-06-29 2012-02-07 Sony Ericsson Mobile Communications Ab Methods and terminals that control avatars during videoconferencing and other communications
US8437514B2 (en) 2007-10-02 2013-05-07 Microsoft Corporation Cartoon face generation
JP5292415B2 (ja) 2009-02-05 2013-09-18 寿夫 西良 似顔絵イラスト作成システム、キャラクタ作成システム及び作成似顔絵イラスト表示システム
US9013489B2 (en) * 2011-06-06 2015-04-21 Microsoft Technology Licensing, Llc Generation of avatar reflecting player appearance
JP5949030B2 (ja) 2012-03-26 2016-07-06 カシオ計算機株式会社 画像生成装置、画像生成方法及びプログラム
CN102800129B (zh) 2012-06-20 2015-09-30 浙江大学 一种基于单幅图像的头发建模和肖像编辑方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10232950A (ja) * 1996-12-19 1998-09-02 Omron Corp 画像作成装置、画像作成方法及び画像作成プログラム記憶媒体
JP2010020594A (ja) * 2008-07-11 2010-01-28 Kddi Corp 瞳画像認識装置
US20120063680A1 (en) * 2010-09-15 2012-03-15 Kyran Daisy Systems, methods, and media for creating multiple layers from an image

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JPN6016003078; 細井聖, 外3名: '"髪型の認識と合成"' 電子情報通信学会技術研究報告 第97巻, 第387号, 19971121, p.25-32, 社団法人電子情報通信学会 *
JPN6016003079; 川出雅人, 外3名: '"イラストレータの画風を実現する似顔絵自動作成技術"' 電子情報通信学会技術研究報告 第97巻, 第117号, 19970620, p.33-40, 社団法人電子情報通信学会 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021100120A1 (ja) * 2019-11-19 2021-05-27 株式会社資生堂 毛髪計測方法、及び毛髪計測システム

Also Published As

Publication number Publication date
JP5949331B2 (ja) 2016-07-06
CN103679767A (zh) 2014-03-26
US20140064617A1 (en) 2014-03-06
US9135726B2 (en) 2015-09-15

Similar Documents

Publication Publication Date Title
JP5949331B2 (ja) 画像生成装置、画像生成方法及びプログラム
JP5880182B2 (ja) 画像生成装置、画像生成方法及びプログラム
JP5949030B2 (ja) 画像生成装置、画像生成方法及びプログラム
JP6111723B2 (ja) 画像生成装置、画像生成方法及びプログラム
US8971636B2 (en) Image creating device, image creating method and recording medium
US9323981B2 (en) Face component extraction apparatus, face component extraction method and recording medium in which program for face component extraction method is stored
US9600735B2 (en) Image processing device, image processing method, program recording medium
JP2014174855A (ja) 画像処理装置、画像処理方法及びプログラム
JP6260094B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP6354118B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP6070098B2 (ja) 閾値設定装置、閾値設定方法及びプログラム
CN111083345A (zh) 独照生成装置和方法及其非易失性计算机可读媒体
JP5927972B2 (ja) 画像生成装置、画像生成方法及びプログラム
JP5962268B2 (ja) 画像処理装置、画像処理方法、画像生成方法及びプログラム
JP6668646B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP6142604B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2014048767A (ja) 画像生成装置、画像生成方法及びプログラム
JP2014182722A (ja) 画像処理装置、画像処理方法及びプログラム
JP2014186404A (ja) 画像処理装置、画像処理方法及びプログラム
JP2014099077A (ja) 顔構成部抽出装置、顔構成部抽出方法及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150430

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150430

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160202

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160404

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160510

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160523

R150 Certificate of patent or registration of utility model

Ref document number: 5949331

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees