JP2014006604A - 画像生成装置、画像生成方法及びプログラム - Google Patents
画像生成装置、画像生成方法及びプログラム Download PDFInfo
- Publication number
- JP2014006604A JP2014006604A JP2012140288A JP2012140288A JP2014006604A JP 2014006604 A JP2014006604 A JP 2014006604A JP 2012140288 A JP2012140288 A JP 2012140288A JP 2012140288 A JP2012140288 A JP 2012140288A JP 2014006604 A JP2014006604 A JP 2014006604A
- Authority
- JP
- Japan
- Prior art keywords
- image
- face
- contour
- unit
- face contour
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Landscapes
- Engineering & Computer Science (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
Abstract
【解決手段】画像を取得する第1取得手段と、第1取得手段により取得された画像内の顔の主要な構成部に係る顔構成部画像を抽出する抽出手段と、第1取得手段により取得された画像内の顔の特徴情報に対応する顔輪郭画像を取得する第2取得手段と、第1取得手段により取得された画像内の顔の向きに基づいて、顔構成部画像及び顔輪郭画像のうち、少なくとも一方に対して所定方向の軸を中心として回動させたような変形を施す変形手段と、変形手段により少なくとも一方が変形された顔構成部画像及び顔輪郭画像を用いて似顔絵画像を生成する生成手段と、を備えている。
【選択図】図1
Description
また、各部位毎に予め用意されているパーツオブジェクトを組み合わせてキャラクタを作成するゲーム装置が知られている(例えば、特許文献2参照)。
画像を取得する第1取得手段と、前記第1取得手段により取得された画像内の顔の主要な構成部に係る顔構成部画像を抽出する抽出手段と、前記第1取得手段により取得された画像内の顔の特徴情報に対応する顔輪郭画像を取得する第2取得手段と、前記第1取得手段により取得された画像内の顔の向きに基づいて、前記顔構成部画像及び前記顔輪郭画像のうち、少なくとも一方に対して所定方向の軸を中心として回動させたような変形を施す変形手段と、前記変形手段により少なくとも一方が変形された前記顔構成部画像及び前記顔輪郭画像を用いて似顔絵画像を生成する生成手段と、を備えたことを特徴としている。
画像を取得する処理と、前記第1取得手段により取得された画像内の顔の主要な構成部に係る顔構成部画像を抽出する処理と、前記第1取得手段により取得された画像内の顔の特徴情報に対応する顔輪郭画像を取得する処理と、前記第1取得手段により取得された画像内の顔の向きに基づいて、前記顔構成部画像及び前記顔輪郭画像のうち、少なくとも一方に対して所定方向の軸を中心として回動させたような変形を施す処理と、前記変形手段により少なくとも一方が変形された前記顔構成部画像及び前記顔輪郭画像を用いて似顔絵画像を生成する処理と、を含むことを特徴とする画像生成方法。
画像生成装置のコンピュータを、画像を取得する第1取得手段、前記第1取得手段により取得された画像内の顔の主要な構成部に係る顔構成部画像を抽出する抽出手段、前記第1取得手段により取得された画像内の顔の特徴情報に対応する顔輪郭画像を取得する第2取得手段、前記第1取得手段により取得された画像内の顔の向きに基づいて、前記顔構成部画像及び前記顔輪郭画像のうち、少なくとも一方に対して所定方向の軸を中心として回動させたような変形を施す変形手段、前記変形手段により少なくとも一方が変形された前記顔構成部画像及び前記顔輪郭画像を用いて似顔絵画像を生成する生成手段、として機能させることを特徴としている。
図1は、本発明を適用した一実施形態の撮像装置100の概略構成を示すブロック図である。
図1に示すように、本実施形態の撮像装置100は、具体的には、撮像部1と、撮像制御部2と、画像データ生成部3と、メモリ4と、画像記録部5と、画像処理部6と、表示制御部7と、表示部8と、操作入力部9と、中央制御部10とを備えている。
また、撮像部1、撮像制御部2、画像データ生成部3、メモリ4、画像記録部5、画像処理部6、表示制御部7及び中央制御部10は、バスライン11を介して接続されている。
具体的には、撮像部1は、レンズ部1aと、電子撮像部1bと、レンズ駆動部1cとを備えている。
電子撮像部1bは、例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal-oxide Semiconductor)等のイメージセンサ(撮像素子)から構成されている。そして、電子撮像部1bは、レンズ部1aの各種レンズを通過した光学像を二次元の画像信号に変換する。
レンズ駆動部1cは、例えば、図示は省略するが、ズームレンズを光軸方向に移動させるズーム駆動部、フォーカスレンズを光軸方向に移動させる合焦駆動部等を備えている。
なお、撮像部1は、レンズ部1a、電子撮像部1b及びレンズ駆動部1cに加えて、レンズ部1aを通過する光の量を調整する絞り(図示略)を備えても良い。
また、撮像制御部2は、AF(自動合焦処理)、AE(自動露出処理)、AWB(自動ホワイトバランス)等の被写体を撮像する際の条件の調整制御を行っても良い。
カラープロセス回路から出力される輝度信号Y及び色差信号Cb,Crは、図示しないDMA(Direct Memory Access)コントローラを介して、バッファメモリとして使用されるメモリ4にDMA転送される。
髪型画像P1の画像データの各々は、例えば、ヒトの髪の輪郭を模式的に表した画像であり、顔輪郭画像P2の画像データの各々は、例えば、ヒトの顔の輪郭を模式的に表した画像である。
具体的には、髪型画像P1の画像データは、顔検出処理(後述)により検出された顔領域内から、顔の顎の輪郭及び当該顎よりも内側の部分を消去することで形成することが可能であり、また、顔輪郭画像P2は、顔検出処理(後述)により検出された顔領域内から、顔の輪郭のみを抽出することで形成することが可能である。
さらに、髪型画像P1の画像データは、髪を所定の色で塗り潰すことにより形成することも可能であり、顔輪郭画像P2は、肌部分を所定の色で塗り潰すことにより形成することも可能である。
また、顔の輪郭や髪の先端部に沿った線の描画は、ユーザによる操作入力部9の所定操作に基づいて手動で行われても良いし、中央制御部10のCPUの制御下にて自動で行われても良い。
なお、画像処理部6の各部は、例えば、所定のロジック回路から構成されているが、当該構成は一例であってこれに限られるものではない。
即ち、画像取得部6aは、第1取得手段として、元画像(例えば、写真画像等)P3の画像データを取得する。具体的には、画像取得部6aは、撮像部1及び撮像制御部2による被写体の撮像によって画像データ生成部3により生成された元画像P3の画像データ(YUVデータ)の複製をメモリ4から取得したり、画像記録部5に記録されている元画像P3の画像データ(YUVデータ)の複製を取得する(図2(a)参照)。
即ち、顔検出部6bは、顔検出手段として、画像取得部6aにより取得された元画像P3から顔が含まれる顔領域F1を検出する。具体的には、顔検出部6bは、画像取得部6aにより似顔絵画像生成処理の処理対象の画像として取得された元画像P3の画像データを取得して、当該画像データに対して所定の顔検出処理を行って顔領域F1を検出する。
なお、顔検出処理は、公知の技術であるので、ここでは詳細な説明を省略する。
即ち、構成部画像生成部6cは、抽出手段として、画像取得部6aにより取得された元画像P3(図2(a)参照)内の顔の主要な顔構成部に係る顔構成部画像P5を抽出する。具体的には、構成部画像生成部6cは、元画像P3の顔が含まれる顔領域F1に対して微細部抽出処理を施して、例えば、目、鼻、口、眉、髪の毛、顔の輪郭等の顔構成部を線で表した顔微細部画像P4(図2(b)参照)を生成する。例えば、構成部画像生成部6cは、微細部抽出処理として、AAM(Active Appearance Model)を用いた処理により顔微細部画像P4を生成する。また、構成部画像生成部6cは、顔検出部6bにより元画像P3の画像データから検出された顔領域F1に対して微細部抽出処理を施す。
ここで、AAMとは、視覚的事象のモデル化の一手法であり、任意の顔領域F1の画像のモデル化を行う処理である。例えば、構成部画像生成部6cは、複数のサンプル顔画像における所定の特徴部位(例えば、目じりや鼻頭やフェイスライン等)の位置や画素値(例えば、輝度値)の統計的分析結果を所定の登録手段に登録しておく。そして、構成部画像生成部6cは、上記の特徴部位の位置を基準として、顔の形状を表す形状モデルや平均的な形状における「Appearance」を表すテクスチャーモデルを設定し、これらのモデルを用いて顔領域F1の画像をモデル化する。これにより、構成部画像生成部6cは、元画像P3内の主要な構成を抽出して線で表した顔微細部画像P4を生成する。
具体的には、構成部画像生成部6cは、顔微細部画像P4内で顔の輪郭W1と接する画素を特定し、当該画素と連続する画素のうち、顔の輪郭W1よりも外側に存する画素集合G、…(図3(a)参照)を消去する。つまり、構成部画像生成部6cは、顔微細部画像P4のうち、顔の輪郭W1よりも外側に存する部分を消去すると共に、顔の輪郭W1よりも内側に存し、且つ、当該輪郭W1と接する部分(例えば、図3(a)における向かって左側の眉等)を残して、例えば、目、鼻、口、眉等の主要な顔構成部のパーツ画像Mを含む顔構成部画像P5を生成する(図3(b)参照)。なお、図3(a)にあっては、顔の輪郭W1を模式的に破線で表す。
ここで、構成部画像生成部6cは、各顔構成部のパーツ画像MのXY平面空間での相対的な位置関係に係る情報や、座標位置に係る情報を抽出して取得しても良い。
例えば、微細部抽出処理として、エッジ抽出処理や非等方拡散処理を行って、顔構成部のパーツ画像Mを含む顔構成部画像P5を生成しても良い。具体的には、構成部画像生成部6cは、例えば、元画像P3の画像データ(YUVデータ)に対して所定の微分フィルタ(例えば、ハイパスフィルタ等)を用いて微分演算を行って、輝度値や色や濃度に急峻な変化があるところをエッジとして検出するエッジ検出処理を行っても良い。また、構成部画像生成部6cは、例えば、元画像P3の画像データに対して所定の非等方拡散フィルタを用いて、線状のエッジの接線方向とエッジの垂直方向とで重みを異ならせて平滑化する非等方拡散処理を行っても良い。
即ち、特徴情報抽出部6dは、情報抽出手段として、画像取得部6aにより取得された元画像P3内の顔から、例えば、顔の輪郭W1の形状等の特徴情報を抽出する。具体的には、特徴情報抽出部6dは、元画像P3の画像データ(YUVデータ)に基づいて、顔領域F1内で特徴の高いブロック領域(特徴点)を選択して抽出する特徴抽出処理を行う。例えば、特徴情報抽出部6dは、微細部抽出処理として、例えば、AAMを用いた処理により顔領域F1内で特定された顔の輪郭W1を構成する画素について特徴抽出処理を行って、当該顔の輪郭W1の形状を特徴情報として抽出する。ここで、顔の輪郭W1の形状としては、例えば、長軸及び短軸の長さが特定された楕円形、特に、各顔の顎の輪郭W1と合致する楕円形が挙げられる。
なお、特徴抽出処理にて抽出される特徴情報として、顔の輪郭の形状を例示したが、一例であってこれに限られるものではなく、元画像P3と髪型画像P1(或いは、顔輪郭画像P2)とで対比可能な情報であれば適宜任意に変更可能である。例えば、元画像P3と髪型画像P1(或いは、顔輪郭画像P2)とで顔の輪郭の特徴ベクトルを抽出して用いても良いし、髪型の形状を用いても良い。また、特徴抽出処理は、公知の技術であるので、ここでは詳細な説明を省略する。
即ち、髪型画像特定部6eは、髪型特定手段として、画像記録部5に顔の特徴情報と対応付けて記録されている髪型画像P1から、特徴情報抽出部6dにより抽出された特徴情報に対応する髪型画像P1を特定する。具体的には、髪型画像特定部6eは、画像記録部5に記録されている所定数の顔の輪郭の形状を規定する楕円形と、特徴情報抽出部6dにより抽出された顔の輪郭W1の形状を規定する楕円形とを比較して、一致度が所定値よりも高い楕円形を特定する。そして、髪型画像特定部6eは、特定された楕円形と対応付けられている髪型画像P1の画像データを特定する。
なお、髪型画像特定部6eは、一致度が所定値よりも高い楕円形を複数特定し、当該複数の楕円形の中で、ユーザによる操作入力部9の所定操作に基づいて選択されたユーザ所望の楕円形を特定しても良い。
即ち、顔輪郭画像特定部6fは、第2取得手段として、画像記録部5に顔の特徴情報と対応付けて記録されている顔輪郭画像P2から、特徴情報抽出部6dにより抽出された特徴情報に対応する顔輪郭画像P2を特定する。具体的には、髪型画像特定部6eは、画像記録部5に記録されている所定数の顔の輪郭の形状を規定する楕円形と、特徴情報抽出部6dにより抽出された顔の輪郭W1の形状を規定する楕円形とを比較して、一致度が所定値よりも高い楕円形を特定する。そして、顔輪郭画像特定部6fは、特定された楕円形と対応付けられている顔輪郭画像P2の画像データを特定する。
なお、顔輪郭画像特定部6fは、一致度が所定値よりも高い楕円形を複数特定し、当該複数の楕円形の中で、ユーザによる操作入力部9の所定操作に基づいて選択されたユーザ所望の楕円形を特定しても良い。
即ち、顎輪郭特定部6gは、特定手段として、AAMを用いた処理により得られた顔微細部画像P4で顎輪郭W2を特定すると共に、顎輪郭W2が収まる矩形領域F2を特定する(図6参照)。さらに、顎輪郭特定部6gは、顔微細部画像P4における両目の中点を算出し、両目の中心を結んだ直線と直交し、且つ算出した中点を通る直線を下ろし、先に特定した顔微細部画像P4の顎輪郭W2と交わった点を、顔微細部画像P4における顎の先端として特定する。
また、顎輪郭W2、及び、顎輪郭W2が収まる矩形領域F2の特定処理は、公知の技術であるので、ここでは詳細な説明を省略する。
即ち、顔輪郭画像分割部6hは、分割手段として、顔輪郭画像特定部6fで特定された顔輪郭画像P2を顎の先端を中心として左右の分割顔輪郭領域に分割し、更に、これらの分割顔輪郭領域を左右に分割して複数の再分割領域を生成する。
ちなみに、画像内の顔の向きとは、略真正面から視た状態の基準顔を互いに直交する前後方向、左右方向及び上下方向のうち少なくとも何れか一の方向に延在する軸を中心として所定の方向に回動させた際のずれ方向である。
即ち、顔輪郭画像変形部6iは、変形手段として、AAMを用いた処理により得られた顔微細部画像P4で、両目の位置が水平になるように回転補正、言い換えれば、略真正面から視た状態の顔の前後方向に延在する軸を中心として回動するように、顔微細部画像P4を変形させる。
さらに、顔輪郭画像変形部6iは、顔輪郭画像特定部6fで特定された顔輪郭画像P2における顎輪郭が収まる矩形領域と、先に算出した顔微細部画像P4における顎輪郭W2が収まる矩形領域F2とが一致するように、顔輪郭画像P2全体を拡大、若しくは、縮小すると共に、顎の先端を中心とする左右の比率が顔微細部画像P4と一致するように顔輪郭画像P2を変形する。
具体的には、顔輪郭画像分割部6hにより左右に分割された分割顔輪郭領域の左右どちらか一方の分割顔輪郭領域を拡大し、他方の分割顔輪郭領域を縮小する。
なお、顎の先端を中心とする左右の比率が顔微細部画像P4と一致するように顔輪郭画像P2を変形する場合には、勿論、完全一致である必要はなく、顎の先端を中心とする左右の比率が顔微細部画像P4と概ね一致する程度であって構わない。
即ち、似顔絵画像生成部6jは、生成手段として、髪型画像特定部6eにより特定された髪型画像P1の画像データ、構成部画像生成部6cにより生成された顔構成部画像P5のパーツ画像M、及び、顔輪郭画像特定部6fにより特定され顔輪郭画像変形部6iにより変形された顔輪郭画像P2の画像データを用いて似顔絵画像P6を生成する。
具体的には、似顔絵画像生成部6jは、髪型画像P1及び顔輪郭画像P2の顔の輪郭W1よりも内側にて、例えば、目、鼻、口、眉等の各顔構成部のパーツ画像Mを重畳させる位置を特定し、当該位置に各顔構成部のパーツ画像Mを重畳させて、元画像P3を似顔絵で表した似顔絵画像P6の画像データを生成する。このとき、似顔絵画像生成部6jは、髪型画像P1及び顔輪郭画像P2をその顔の輪郭を規定する楕円形が元画像P3の顔の輪郭W1を規定する楕円形と合致するように変形させても良い。
また、似顔絵画像生成部6jは、似顔絵画像P6の所定の部分(例えば、目、口、眉等の顔構成部等)に所定の色を付けて表した画像を生成しても良い。
具体的には、表示制御部7は、VRAM(Video Random Access Memory)、VRAMコントローラ、デジタルビデオエンコーダなどを備えている。そして、デジタルビデオエンコーダは、中央制御部10の制御下にてメモリ4から読み出されてVRAM(図示略)に格納されている輝度信号Y及び色差信号Cb,Crを、VRAMコントローラを介してVRAMから定期的に読み出して、これらのデータを元にビデオ信号を発生して表示部8に出力する。
また、似顔絵画像生成処理の処理対象となる元画像P3の画像データが画像記録部5に記録されているものとする。
続けて、構成部画像生成部6cは、検出された顔領域F1に対して微細部抽出処理(例えば、AAMを用いた処理等)を行って、元画像P3の顔領域F1内の目、鼻、口、眉、髪の毛、顔の輪郭等の顔構成部を線で表した顔微細部画像P4(図2(b)参照)を生成する(ステップS3)。そして、構成部画像生成部6cは、微細部抽出処理により顔領域F1内の顔の輪郭W1を特定して、顔の輪郭W1内に存する顔構成部及び当該輪郭W1と接する顔構成部、即ち、例えば、目、鼻、口、眉等の主要な顔構成部のパーツ画像Mを含む顔構成部画像P5を生成する(ステップS4;図3(b)参照)。
次に、髪型画像特定部6eは、画像記録部5に記録されている所定数の顔の輪郭の形状を規定する楕円形と、特徴情報抽出部6dにより抽出された顔の輪郭W1の形状を規定する楕円形とを比較する。そして、髪型画像特定部6eは、一致度が所定値よりも高い楕円形を特定し、特定された楕円形と対応付けられている髪型画像P1の画像データを特定して、画像記録部5から読み出して取得する(ステップS6)。
例えば、図6(a)に示すように、顔輪郭画像変形部6iは、AAMを用いた処理により得られた顔微細部画像P4の両目の位置が水平させるために、略真正面から視た状態の顔の前後方向に延在する軸を中心として回動するように、顔微細部画像P4を変形させる。
例えば、図6(b)に示すように、顎輪郭特定部6gは、AAMを用いた処理により得られた顔微細部画像P4で、両目の中点PS1を算出し、両目の中心を結んだ直線と直交し、且つ算出した両目の中点PS1を通る直線が顎輪郭W2と交わった点を、顔微細部画像P4における顎の先端PS2として特定する。但し、図6(b)では説明の簡単のために元画像P3に顔微細部画像P4の顎輪郭W2を重畳させてある。
例えば、図7(a)に示すように、顔輪郭画像変形部6iは、顔輪郭画像特定部6fで特定された顔輪郭画像P2における顎輪郭が収まる矩形領域F3と、顎輪郭特定部6gで特定された顔微細部画像P4における顎輪郭W2が収まる矩形領域F2とが一致するように顔輪郭画像P2全体を拡大、若しくは、縮小する。
このように、顔輪郭画像P2全体を拡大、若しくは、縮小することにより、略真正面から視た状態の顔の左右方向に延在する軸を中心として回動するように、顔輪郭画像P2を変形させることができる。
すなわち、顔が正面ではなく上、或いは、下を向いている場合には、顔の顎輪郭が収まる矩形領域の縦方向が短くなり、このような矩形領域に、顔輪郭画像P2における顎輪郭が収まる矩形領域F3を一致させることにより、顔輪郭画像P2の縦方向が短くなり、より自然な似顔絵画像を生成することが可能になる。
なお、略真正面から視た状態の顔の左右方向に延在する軸を中心として回動するように変形させる場合には、上述のように、単純に全体を拡大、若しくは、縮小するだけではなく、顔輪郭画像P2の横幅を一定にして、縦幅のみを拡大、若しくは、縮小しても構わない。
例えば、顔輪郭画像変形部6iは、顔微細部画像P4において特定された顎の先端PS2と(図6(b)参照)、顔輪郭画像P2の顎の先端PS3(図7(a)参照)とが一致するように、顔輪郭画像分割部6hにより顔輪郭画像P2を左右に分割した分割顔輪郭領域のうち、左右どちらか一方の分割顔輪郭領域を拡大して他方の分割顔輪郭領域を縮小する。
このため、顔輪郭画像変形部6iは、顔輪郭画像P2(図7(b)参照)における顎幅WD4(顎幅WD1と同じ長さ)を一定として、顎の先端PS3から図面左側の顎幅までの長さWD5と、顎の先端PS3から図面右側の顎幅までの幅WD6とが、図6(b)における顎の先端PS2から図面左側の顎幅までの幅WD2と、顎の先端PS2から図面右側の顎幅までの幅WD3とそれぞれ等しくなるように、顔輪郭画像P2を左右に分割した分割顔輪郭領域の左右どちらか一方の分割顔輪郭領域を拡大して他方の分割顔輪郭領域を縮小する。
すなわち、図6(b)においては、顎の先端PS2から図面左側の顎幅までの幅WD2が、顎の先端PS2から図面右側の顎幅までの幅WD3よりも短いので、顔輪郭画像変形部6iは、顔輪郭画像P2(図7(b)参照)の顎幅WD4を一定として、幅WD5を縮小して狭くなるように、且つ、幅WD6を拡大して広くなるように、顔輪郭画像P2を左右に分割した分割顔輪郭領域のスケーリング比率を調整する。
このように、顔輪郭画像分割部6hにより顔輪郭画像P2を左右に分割した分割顔輪郭領域の左右どちらか一方の分割顔輪郭領域を拡大して他方の分割顔輪郭領域を縮小することにより、略真正面から視た状態の顔の上下方向に延在する軸を中心として回動させたように、顔輪郭画像P2を変形させることができる。
そして、画像記録部5は、似顔絵画像生成部6jにより生成された似顔絵画像P6の画像データ(YUVデータ)を取得して記録する(ステップS9;図10参照)。
これにより、似顔絵画像生成処理を終了する。
一方、図9(b)は、顔輪郭画像変形部6iにより顔輪郭画像P2の変形を行わなかった場合の似顔絵画像であり、顎幅の中央部分である顔輪郭画像P2の顎の先端PS5が、顔微細部画像P4において特定された顎の先端PS2と(図6(b)参照)、一致していないので、顔の輪郭と配置された目、鼻、口、眉等の各顔構成部のパーツ画像とのバランスが不自然になっている。
実施形態1の変形例1について説明する。但し、実施形態1と同様の説明は省略する。
実施形態1では、幅WD6に示す分割顔輪郭領域を拡大して広くすることにより、顔輪郭のみならず顔輪郭画像P2を構成する耳もその幅が拡大されることになる。
また、逆に、幅WD5に示す分割顔輪郭領域を縮小して狭くすることにより、顔輪郭のみならず顔輪郭画像P2を構成する耳もその幅が縮小されることになる。但し、耳の幅が縮小される場合は、耳の幅が拡大される場合と比較して違和感は小さい。
このため、耳の幅の拡大の割合が大きい場合には、生成される似顔絵は不自然なものになってしまう。
そして、変形手段である顔輪郭画像変形部6iは、再分割領域R21及びR22を拡大して広くする際に、再分割領域R22の拡大する割合を、再分割領域21を拡大する割合よりも小さくする。
すなわち、耳が含まれる再分割領域R22を拡大する割合を、他の再分割領域R21と比べて小さくすることにより、耳の幅が拡大されて生成される似顔絵が不自然になることを防ぐことができる。
実施形態1の変形例2について説明する。但し、実施形態1と同様の説明は省略する。
変形例2では、分割顔輪郭領域を更に再分割領域に分割することなく、分割顔輪郭領域内で幅の拡大、若しくは、縮小する割合を連続的に変化させても構わない。
例えば、図9(b)において拡大、若しくは、縮小する割合を示す曲線C1のように、図面左側では連続的に分割顔輪郭領域の幅を縮小し、図面右側では連続的に分割顔輪郭領域の幅を拡大すると共に、耳部分の領域R3及びR4では拡大、若しくは、縮小を行わないようにする。
このように分割顔輪郭領域内で幅の拡大、若しくは、縮小する割合を連続的に変化させることにより、耳の幅は一切変化することなく、略真正面から視た状態の顔の上下方向に延在する軸を中心として回動するように、顔輪郭画像P2を変形させることができる。
実施形態1の変形例3について説明する。但し、実施形態1と同様の説明は省略する。
変形例3では、髪型画像P1もまた元画像P3の顔の向きに対応して変形させても構わない。
例えば、変形手段である顔輪郭画像変形部6iが、髪型画像P1と顔輪郭画像P2とを合成した上で、或いは、顔輪郭画像P2とは別個に、先に述べた図4に示すステップS8(詳細は図5参照)に示すような手順で髪形画像P1の変形を行うことにより、画像P3の顔の向きに対応して髪型画像P1及び顔輪郭画像P2の変形した似顔絵を生成することができる。
すなわち、髪型画像P1を左右に分割した一方の分割髪型領域の横幅を拡大し他方の分割髪型領域の横幅を縮小することにより、髪型を含めて、略真正面から視た状態の顔の上下方向に延在する軸を中心として回動するように、顔輪郭画像P2を変形させることができる。
実施形態1の変形例4について説明する。但し、実施形態1と同様の説明は省略する。
変形例4では、予め目、鼻、口、眉等の各顔構成部が含まれている顔輪郭画像P2を用いて、元画像P3の顔の向きに対応して変形させても構わない。
例えば、上記実施形態にあっては、顔構成部画像P5の生成後に特徴情報(顔の輪郭W2の形状等)の抽出を行うようにしたが、これらの処理の順序は一例であってこれに限られるものではなく、順序を逆、即ち、特徴情報の抽出処理後に顔構成部画像P5の生成処理を行うようにしても良い。
さらに、顔構成部画像P5の生成元となる画像は、正面顔を表した画像P3である必要はなく、例えば、斜めを向くように顔が傾いた画像の場合には、当該顔が正面を向くように変形させた画像を生成して、生成元として用いても良い。
すなわち、髪の輪郭を表すと共に、顔の形状に対応した顔輪郭画像P2を用いることも可能である。
また、勿論、顔輪郭画像P2が、顔の輪郭のみであって、髪型の輪郭を含まないものでも構わない。
即ち、プログラムを記憶するプログラムメモリ(図示略)に、第1取得処理ルーチン、抽出処理ルーチン、第2取得処理ルーチン、変形処理ルーチン、生成処理ルーチンを含むプログラムを記憶しておく。そして、第1取得処理ルーチンにより中央制御部10のCPUを、画像を取得する手段として機能させるようにしても良い。また、抽出処理ルーチンにより中央制御部10のCPUを、取得された画像内の顔の主要な構成部に係る顔構成部画像P5を生成する手段として機能させるようにしても良い。また、第2取得処理ルーチンにより中央制御部10のCPUを、画像記録部5に顔の特徴情報と対応付けて記録されている顔の輪郭を表した顔輪郭画像P2から、抽出された特徴情報に対応する顔輪郭画像P2を特定する手段として機能させるようにしても良い。また、変形処理ルーチンにより中央制御部10のCPUを、顔輪郭画像特定部6fで特定された顔輪郭画像P2の全体の拡大、若しく、縮小や、顔輪郭画像P2の左右の分割顔輪郭領域の左右どちらか一方の分割顔輪郭領域を拡大して他方の分割顔輪郭領域を縮小して、顔輪郭画像P2変形させる手段として機能させるようにしても良い。また、画像生成処理ルーチンにより中央制御部10のCPUを、特定された髪型画像P1及び変形された顔輪郭画像P2と、生成された顔構成部画像P5とを用いて似顔絵画像P6を生成する手段として機能させるようにしても良い。
即ち、プログラムを記憶するプログラムメモリ(図示略)に、特定処理ルーチン、分割処理ルーチンを含むプログラムを記憶しておく。そして、特定処理ルーチンにより中央制御部10のCPUを、顔微細部画像P4で顎輪郭W2を特定すると共に、顎輪郭W2が収まる矩形領域F2を特定する手段として機能させるようにしても良い。また、分割処理ルーチンにより中央制御部10のCPUを、顔輪郭画像P2を顎の先端を中心として左右の分割顔輪郭領域に分割し、更に、これらの分割顔輪郭領域を左右に分割して複数の再分割領域を生成する手段として機能させるようにしても良い。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
<請求項1>
画像を取得する第1取得手段と、
前記第1取得手段により取得された画像内の顔の主要な構成部に係る顔構成部画像を抽出する抽出手段と、
前記第1取得手段により取得された画像内の顔の特徴情報に対応する顔輪郭画像を取得する第2取得手段と、
前記第1取得手段により取得された画像内の顔の向きに基づいて、前記顔構成部画像及び前記顔輪郭画像のうち、少なくとも一方に対して所定方向の軸を中心として回動させたような変形を施す変形手段と、
前記変形手段により少なくとも一方が変形された前記顔構成部画像及び前記顔輪郭画像を用いて似顔絵画像を生成する生成手段と、
を備えたことを特徴とする画像生成装置。
<請求項2>
前記変形手段は、
顔を略真正面から視た状態で、当該顔の互いに直交する前後方向、左右方向及び上下方向の各方向に延在する3つの軸のうち、少なくとも何れか一の方向に延在する軸を中心として回動させたように、前記顔輪郭画像を変形させることを特徴とする請求項1に記載の画像生成装置。
<請求項3>
前記変形手段は、
前記顔構成部画像の顎の先端を中心とする左右比率を基準として、前記顔輪郭画像を上下方向に延在する軸を中心として回動させたように変形することを特徴とする請求項2に記載の画像生成装置。
<請求項4>
顎輪郭の特定手段を備え、
前記特定手段は、
前記顔構成部画像における顎輪郭を特定し、前記顔構成部画像における両目の中点を算出し、両目の中心を結んだ直線と直交し、且つ前記中点を通る直線と前記顎輪郭との交点を前記顔構成部画像の顎の先端として特定することを特徴とする請求項3に記載の画像生成装置。
<請求項5>
前記顔輪郭画像を顎の先端を中心として左右の分割顔輪郭領域に分割する分割手段を備え、
前記変形手段は、
一方の前記分割顔輪郭領域の横幅を拡大し他方の前記分割顔輪郭領域の横幅を縮小することを特徴とする請求項3〜4の何れか一項に記載の画像生成装置。
<請求項6>
前記分割手段は、
前記分割顔輪郭領域を左右に分割して複数の再分割領域を生成し、
前記変形手段は、
複数の前記再分割領域の間で横幅の拡大、若しくは、縮小する割合を変えることを特徴とする請求項5に記載の画像生成装置。
<請求項7>
前記変形手段は、
複数の前記再分割領域の内、耳が含まれる前記再分割領域の拡大、若しくは、縮小する割合を他の前記再分割領域の割合よりも小さくすることを特徴とする請求項6に記載の画像生成装置。
<請求項8>
画像生成装置を用いた画像生成方法であって、
画像を取得する処理と、
前記第1取得手段により取得された画像内の顔の主要な構成部に係る顔構成部画像を抽出する処理と、
前記第1取得手段により取得された画像内の顔の特徴情報に対応する顔輪郭画像を取得する処理と、
前記第1取得手段により取得された画像内の顔の向きに基づいて、前記顔構成部画像及び前記顔輪郭画像のうち、少なくとも一方に対して所定方向の軸を中心として回動させたような変形を施す処理と、
前記変形手段により少なくとも一方が変形された前記顔構成部画像及び前記顔輪郭画像を用いて似顔絵画像を生成する処理と、
を含むことを特徴とする画像生成方法。
<請求項9>
画像生成装置のコンピュータを、
画像を取得する第1取得手段、
前記第1取得手段により取得された画像内の顔の主要な構成部に係る顔構成部画像を抽出する抽出手段、
前記第1取得手段により取得された画像内の顔の特徴情報に対応する顔輪郭画像を取得する第2取得手段、
前記第1取得手段により取得された画像内の顔の向きに基づいて、前記顔構成部画像及び前記顔輪郭画像のうち、少なくとも一方に対して所定方向の軸を中心として回動させたような変形を施す変形手段、
前記変形手段により少なくとも一方が変形された前記顔構成部画像及び前記顔輪郭画像を用いて似顔絵画像を生成する生成手段、
として機能させることを特徴とするプログラム。
1 撮像部
5 画像記録部
6 画像処理部
6a 画像取得部
6b 顔検出部
6c 構成部画像生成部
6d 特徴情報抽出部
6e 髪型画像特定部
6f 顔輪郭画像特定部
6g 顎輪郭特定部
6h 顔輪郭画像分割部
6i 顔輪郭画像変形部
6j 似顔絵画像生成部
10 中央制御部
Claims (9)
- 画像を取得する第1取得手段と、
前記第1取得手段により取得された画像内の顔の主要な構成部に係る顔構成部画像を抽出する抽出手段と、
前記第1取得手段により取得された画像内の顔の特徴情報に対応する顔輪郭画像を取得する第2取得手段と、
前記第1取得手段により取得された画像内の顔の向きに基づいて、前記顔構成部画像及び前記顔輪郭画像のうち、少なくとも一方に対して所定方向の軸を中心として回動させたような変形を施す変形手段と、
前記変形手段により少なくとも一方が変形された前記顔構成部画像及び前記顔輪郭画像を用いて似顔絵画像を生成する生成手段と、
を備えたことを特徴とする画像生成装置。 - 前記変形手段は、
顔を略真正面から視た状態で、当該顔の互いに直交する前後方向、左右方向及び上下方向の各方向に延在する3つの軸のうち、少なくとも何れか一の方向に延在する軸を中心として回動させたように、前記顔輪郭画像を変形させることを特徴とする請求項1に記載の画像生成装置。 - 前記変形手段は、
前記顔構成部画像の顎の先端を中心とする左右比率を基準として、前記顔輪郭画像を上下方向に延在する軸を中心として回動させたように変形することを特徴とする請求項2に記載の画像生成装置。 - 顎輪郭の特定手段を備え、
前記特定手段は、
前記顔構成部画像における顎輪郭を特定し、前記顔構成部画像における両目の中点を算出し、両目の中心を結んだ直線と直交し、且つ前記中点を通る直線と前記顎輪郭との交点を前記顔構成部画像の顎の先端として特定することを特徴とする請求項3に記載の画像生成装置。 - 前記顔輪郭画像を顎の先端を中心として左右の分割顔輪郭領域に分割する分割手段を備え、
前記変形手段は、
一方の前記分割顔輪郭領域の横幅を拡大し他方の前記分割顔輪郭領域の横幅を縮小することを特徴とする請求項3〜4の何れか一項に記載の画像生成装置。 - 前記分割手段は、
前記分割顔輪郭領域を左右に分割して複数の再分割領域を生成し、
前記変形手段は、
複数の前記再分割領域の間で横幅の拡大、若しくは、縮小する割合を変えることを特徴とする請求項5に記載の画像生成装置。 - 前記変形手段は、
複数の前記再分割領域の内、耳が含まれる前記再分割領域の拡大、若しくは、縮小する割合を他の前記再分割領域の割合よりも小さくすることを特徴とする請求項6に記載の画像生成装置。 - 画像生成装置を用いた画像生成方法であって、
画像を取得する処理と、
前記第1取得手段により取得された画像内の顔の主要な構成部に係る顔構成部画像を抽出する処理と、
前記第1取得手段により取得された画像内の顔の特徴情報に対応する顔輪郭画像を取得する処理と、
前記第1取得手段により取得された画像内の顔の向きに基づいて、前記顔構成部画像及び前記顔輪郭画像のうち、少なくとも一方に対して所定方向の軸を中心として回動させたような変形を施す処理と、
前記変形手段により少なくとも一方が変形された前記顔構成部画像及び前記顔輪郭画像を用いて似顔絵画像を生成する処理と、
を含むことを特徴とする画像生成方法。 - 画像生成装置のコンピュータを、
画像を取得する第1取得手段、
前記第1取得手段により取得された画像内の顔の主要な構成部に係る顔構成部画像を抽出する抽出手段、
前記第1取得手段により取得された画像内の顔の特徴情報に対応する顔輪郭画像を取得する第2取得手段、
前記第1取得手段により取得された画像内の顔の向きに基づいて、前記顔構成部画像及び前記顔輪郭画像のうち、少なくとも一方に対して所定方向の軸を中心として回動させたような変形を施す変形手段、
前記変形手段により少なくとも一方が変形された前記顔構成部画像及び前記顔輪郭画像を用いて似顔絵画像を生成する生成手段、
として機能させることを特徴とするプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012140288A JP5966657B2 (ja) | 2012-06-22 | 2012-06-22 | 画像生成装置、画像生成方法及びプログラム |
US13/923,253 US8971636B2 (en) | 2012-06-22 | 2013-06-20 | Image creating device, image creating method and recording medium |
CN201310247029.5A CN103516951B (zh) | 2012-06-22 | 2013-06-20 | 图像生成装置以及图像生成方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012140288A JP5966657B2 (ja) | 2012-06-22 | 2012-06-22 | 画像生成装置、画像生成方法及びプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2014006604A true JP2014006604A (ja) | 2014-01-16 |
JP2014006604A5 JP2014006604A5 (ja) | 2015-06-18 |
JP5966657B2 JP5966657B2 (ja) | 2016-08-10 |
Family
ID=49774523
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012140288A Active JP5966657B2 (ja) | 2012-06-22 | 2012-06-22 | 画像生成装置、画像生成方法及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US8971636B2 (ja) |
JP (1) | JP5966657B2 (ja) |
CN (1) | CN103516951B (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020081187A (ja) * | 2018-11-21 | 2020-06-04 | 国立大学法人 新潟大学 | 画像処理装置、パズル遊技システム、画像処理方法及びプログラム |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6098133B2 (ja) * | 2012-11-21 | 2017-03-22 | カシオ計算機株式会社 | 顔構成部抽出装置、顔構成部抽出方法及びプログラム |
CN109672830B (zh) * | 2018-12-24 | 2020-09-04 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
CN109919016B (zh) * | 2019-01-28 | 2020-11-03 | 武汉恩特拉信息技术有限公司 | 一种在无脸部器官的对象上生成人脸表情的方法及装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11203455A (ja) * | 1998-01-09 | 1999-07-30 | Omron Corp | 画像生成装置、画像生成方法および記録媒体 |
JPH11306372A (ja) * | 1998-04-17 | 1999-11-05 | Sharp Corp | 画像加工装置、画像加工方法およびその方法を記憶した記憶媒体 |
JP2001307123A (ja) * | 2000-02-18 | 2001-11-02 | Nippon Telegr & Teleph Corp <Ntt> | 表情変形のある似顔絵作成方法及び装置、似顔絵作成システム、似顔絵作成システム用送信機及び受信機、並びに、似顔絵作成プログラム及び似顔絵作成プログラムを記録した記録媒体 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004145625A (ja) | 2002-10-24 | 2004-05-20 | Mitsubishi Electric Corp | 似顔絵の作成装置 |
JP2007213378A (ja) * | 2006-02-10 | 2007-08-23 | Fujifilm Corp | 特定表情顔検出方法、撮像制御方法および装置並びにプログラム |
JP4986279B2 (ja) | 2006-09-08 | 2012-07-25 | 任天堂株式会社 | ゲームプログラムおよびゲーム装置 |
CN101383001B (zh) * | 2008-10-17 | 2010-06-02 | 中山大学 | 一种快速准确的正面人脸判别方法 |
CN101452582B (zh) * | 2008-12-18 | 2013-09-18 | 北京中星微电子有限公司 | 一种实现三维视频特效的方法和装置 |
JP2011090466A (ja) * | 2009-10-21 | 2011-05-06 | Sony Corp | 情報処理装置及び方法、並びにプログラム |
JP4844670B2 (ja) * | 2009-11-13 | 2011-12-28 | 日本ビクター株式会社 | 映像処理装置および映像処理方法 |
CN101739719B (zh) * | 2009-12-24 | 2012-05-30 | 四川大学 | 二维正面人脸图像的三维网格化方法 |
-
2012
- 2012-06-22 JP JP2012140288A patent/JP5966657B2/ja active Active
-
2013
- 2013-06-20 US US13/923,253 patent/US8971636B2/en active Active
- 2013-06-20 CN CN201310247029.5A patent/CN103516951B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11203455A (ja) * | 1998-01-09 | 1999-07-30 | Omron Corp | 画像生成装置、画像生成方法および記録媒体 |
JPH11306372A (ja) * | 1998-04-17 | 1999-11-05 | Sharp Corp | 画像加工装置、画像加工方法およびその方法を記憶した記憶媒体 |
JP2001307123A (ja) * | 2000-02-18 | 2001-11-02 | Nippon Telegr & Teleph Corp <Ntt> | 表情変形のある似顔絵作成方法及び装置、似顔絵作成システム、似顔絵作成システム用送信機及び受信機、並びに、似顔絵作成プログラム及び似顔絵作成プログラムを記録した記録媒体 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020081187A (ja) * | 2018-11-21 | 2020-06-04 | 国立大学法人 新潟大学 | 画像処理装置、パズル遊技システム、画像処理方法及びプログラム |
JP7239148B2 (ja) | 2018-11-21 | 2023-03-14 | 国立大学法人 新潟大学 | 画像処理装置、パズル遊技システム、画像処理方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP5966657B2 (ja) | 2016-08-10 |
US8971636B2 (en) | 2015-03-03 |
CN103516951A (zh) | 2014-01-15 |
US20130343656A1 (en) | 2013-12-26 |
CN103516951B (zh) | 2016-05-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5949331B2 (ja) | 画像生成装置、画像生成方法及びプログラム | |
JP5880182B2 (ja) | 画像生成装置、画像生成方法及びプログラム | |
JP5949030B2 (ja) | 画像生成装置、画像生成方法及びプログラム | |
JP6111723B2 (ja) | 画像生成装置、画像生成方法及びプログラム | |
JP5966657B2 (ja) | 画像生成装置、画像生成方法及びプログラム | |
JP6311372B2 (ja) | 画像処理装置および画像処理方法 | |
JP6098133B2 (ja) | 顔構成部抽出装置、顔構成部抽出方法及びプログラム | |
JP7110899B2 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
JP2015184701A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2014174855A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP6354118B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP6260094B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP5962268B2 (ja) | 画像処理装置、画像処理方法、画像生成方法及びプログラム | |
CN111083345A (zh) | 独照生成装置和方法及其非易失性计算机可读媒体 | |
JP5927972B2 (ja) | 画像生成装置、画像生成方法及びプログラム | |
JP6668646B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2014048767A (ja) | 画像生成装置、画像生成方法及びプログラム | |
JP2015139065A (ja) | 画像再生制御装置及び画像再生制御方法 | |
JP6142604B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2014186404A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2022137198A (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
JP6476811B2 (ja) | 画像生成装置、画像生成方法及びプログラム | |
JP2014182722A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP6326808B2 (ja) | 顔画像処理装置、投影システム、画像処理方法及びプログラム | |
JP2017021393A (ja) | 画像生成装置、画像生成方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150428 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150428 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160201 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160308 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160421 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160607 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160620 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5966657 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |