JP2011090466A - 情報処理装置及び方法、並びにプログラム - Google Patents

情報処理装置及び方法、並びにプログラム Download PDF

Info

Publication number
JP2011090466A
JP2011090466A JP2009242771A JP2009242771A JP2011090466A JP 2011090466 A JP2011090466 A JP 2011090466A JP 2009242771 A JP2009242771 A JP 2009242771A JP 2009242771 A JP2009242771 A JP 2009242771A JP 2011090466 A JP2011090466 A JP 2011090466A
Authority
JP
Japan
Prior art keywords
image
face
deformed
illustration
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009242771A
Other languages
English (en)
Other versions
JP2011090466A5 (ja
Inventor
Kotaro Sabe
浩太郎 佐部
Takeshi Ohashi
武史 大橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2009242771A priority Critical patent/JP2011090466A/ja
Priority to US12/902,744 priority patent/US8625859B2/en
Priority to CN2010105060640A priority patent/CN102043965A/zh
Priority to EP10187577.1A priority patent/EP2315158B1/en
Publication of JP2011090466A publication Critical patent/JP2011090466A/ja
Publication of JP2011090466A5 publication Critical patent/JP2011090466A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

【課題】ユーザの操作を介さずに顔画像の特徴を捉えた変形画像を生成することができるようにする。
【解決手段】顔検出部１２は、対象画像から顔領域を検出し、特徴点検出部１３は、検出された顔領域の特徴点を検出し、パーツ領域抽出部３１は、検出された顔領域内の顔画像から、目、眉、鼻、口などのパーツを含んでいるパーツ領域を抽出し、類似度判定部３２は、Kクラス判別器３２から出力されるK次元スコアベクトに基づいて、最も類似したモデル画像を判定し、イラスト画像選択部３４は、判定結果に応じたイラスト画像を選択する。描画生成部１７は、検出された特徴点から得られる土台画像に対して、選択されたイラスト画像を配置して似顔絵画像を生成し、表示装置２の画面に描画する。本発明は、顔画像を含む対象画像から似顔絵画像を生成する似顔絵画像生成装置に適用することができる。
【選択図】図１

Description

本発明は、情報処理装置及び方法、並びにプログラムに関し、特に、ユーザの操作を介さずに顔画像の特徴を捉えた変形画像を生成することができるようにした情報処理装置及び方法、並びにプログラムに関する。
近年の顔画像認識技術の発達により、写真等の撮像画像に含まれる顔画像から似顔絵画像を生成する技術がより現実的なものとなってきている。
このような似顔絵画像を生成する手法としては、撮像画像のうちの顔画像に対してエッジ抽出処理などを施して得られる、目、眉、鼻、口などのパーツの輪郭画像から抽出した顔の各パーツ領域の位置関係、大きさや比率などを用いる手法によって、似顔絵画像を生成するものが一般的である。
特許文献１には、顔画像の形状及び配置に関する特徴量（目の大きさや形、傾きの形状などの特徴量）に基づいて顔の各顔部品データを選択して配置するに際して、その配置位置を変更パラメータにより制御するものが開示されている。
また、特許文献２には、表情などの項目がユーザにより選択された場合、目、眉、鼻、口や輪郭などの顔パーツ画像が組み合わされた顔画像と、その顔画像に応じた表示形態を有する背景画像が表示されるものが開示されている。
特開平１０−２５５０１７号公報 特開平８−３０５８３６号公報
しかしながら、従来の技術であると、顔画像を構成するパーツ画像の幾何学的な大きさや比率により似顔絵用の変形パーツ画像を選択していたために、顔画像の特徴を十分に捉えきれているとは言えず、さらに、似顔絵画像を生成するに際して、ユーザの操作を要する場合があった。そのため、ユーザの操作を介さずに、顔画像の特徴を捉えた似顔絵画像を生成するための技術が求められていた。
本発明はこのような状況に鑑みてなされたものであり、ユーザの操作を介さずに顔画像の特徴を捉えた似顔絵画像などの変形画像を生成することができるようにするものである。
本発明の一側面の情報処理装置は、対象画像から変形画像を生成する情報処理装置において、前記対象画像から顔領域を検出する第１の検出手段と、検出された前記顔領域の特徴点を検出する第２の検出手段と、検出された前記顔領域内の顔画像から、所定のパーツを含んでいるパーツ領域を抽出する抽出手段と、前記パーツを変形させて表した変形パーツ画像に対応付けられたモデル画像の中から、抽出された前記パーツ領域内のパーツ画像と類似する前記モデル画像を判定する判定手段と、判定結果に応じて、前記モデル画像に対応付けられた前記変形パーツ画像を選択する選択手段と、検出された前記特徴点から得られる顔の輪郭の画像に対して、選択された前記変形パーツ画像を配置し、前記変形画像を生成する生成手段とを備える。
前記モデル画像は、複数のサンプル画像の画像特徴量を用いたAdaBoostECOC（Error Correct Output Coding）学習により生成される多クラス判別器から出力される入力画像に対する多次元スコアベクトルに基づいて、前記入力画像のパーツ画像を複数のプロトタイプに分類し、各プロトタイプに属するパーツ画像群の平均画像を求めることで生成される。
前記画像特徴量は、ピクセル差分特徴である。
前記変形パーツ画像は、前記パーツを絵により表したイラスト画像であり、前記イラスト画像は、所定の画像処理により得られる前記モデル画像との類似度、あるいはユーザからの指示に基づいて、前記モデル画像と対応付けられている。
前記イラスト画像は、前記顔の輪郭の画像上の複数のパーツ点に対応するアンカー点を有しており、前記生成手段は、前記アンカー点の間隔が前記パーツ点の間隔よりも狭く設定されている場合には前記イラスト画像を拡大してから配置し、前記アンカー点の間隔が前記パーツ点の間隔よりも広く設定されている場合には前記イラスト画像を縮小してから配置する。
前記対象画像は、撮像された撮像画像であり、前記変形画像は、抽出された顔領域内の顔画像を絵により表した似顔絵画像である。
生成された前記変形画像を表示する表示手段をさらに備える。
本発明の一側面の情報処理方法は、対象画像から変形画像を生成する情報処理装置の情報処理方法において、前記対象画像から顔領域を検出し、検出された前記顔領域の特徴点を検出し、検出された前記顔領域内の顔画像から、所定のパーツを含んでいるパーツ領域を抽出し、前記パーツを変形させて表した変形パーツ画像に対応付けられたモデル画像の中から、抽出された前記パーツ領域内のパーツ画像と類似する前記モデル画像を判定し、判定結果に応じて、前記モデル画像に対応付けられた前記変形パーツ画像を選択し、検出された前記特徴点から得られる顔の輪郭の画像に対して、選択された前記変形パーツ画像を配置し、前記変形画像を生成するステップを含む。
本発明の一側面のプログラムは、対象画像から変形画像を生成する機器を制御するコンピュータに実行させるプログラムであって、前記対象画像から顔領域を検出し、検出された前記顔領域の特徴点を検出し、検出された前記顔領域内の顔画像から、所定のパーツを含んでいるパーツ領域を抽出し、前記パーツを変形させて表した変形パーツ画像に対応付けられたモデル画像の中から、抽出された前記パーツ領域内のパーツ画像と類似する前記モデル画像を判定し、判定結果に応じて、前記モデル画像に対応付けられた前記変形パーツ画像を選択し、検出された前記特徴点から得られる顔の輪郭の画像に対して、選択された前記変形パーツ画像を配置し、前記変形画像を生成するステップを含む。
本発明の一側面によれば、対象画像から顔領域が検出され、検出された顔領域の特徴点が検出され、検出された顔領域内の顔画像から、所定のパーツを含んでいるパーツ領域が抽出され、パーツを変形させて表した変形パーツ画像に対応付けられたモデル画像の中から、抽出されたパーツ領域内のパーツ画像と類似するモデル画像が判定され、判定結果に応じて、モデル画像に対応付けられた変形パーツ画像が選択され、検出された特徴点から得られる顔の輪郭の画像に対して、選択された変形パーツ画像が配置され、変形画像が生成される。
以上のように、本発明の一側面によれば、ユーザの操作を介さずに顔画像の特徴を捉えた変形画像を生成することができる。
本発明を適用した似顔絵画像生成装置の一実施の形態の構成を示す図である。 似顔絵画像生成処理を説明するフローチャートである。 似顔絵画像生成処理の全体の流れを示す図である。 髪領域抽出処理の詳細について説明する図である。 描画処理の詳細について説明する図である。 イラスト画像選択処理の詳細について説明するフローチャートである。 パーツ領域定義情報の例を示す図である。 イラスト画像選択処理の詳細について説明する図である。 イラスト画像描画処理の詳細について説明する図である。 似顔絵画像の例を示す図である。 前処理装置の構成の例を示す図である。 前処理を説明するフローチャートである。 学習処理を説明するフローチャートである。 Kクラス判別器の詳細について説明する図である。 K次元スコアベクトルの算出手順の詳細を説明する図である。 生成処理を説明するフローチャートである。 目のモデル画像の例を示す図である。 設定処理を説明するフローチャートである。 目のイラスト画像の例を示す図である。 目のモデル画像とイラスト画像の対応例を示す図である。 イラスト画像を拡張して描画する場合の例について説明する図である。 眉のモデル画像とイラスト画像の対応例を示す図である。 鼻のモデル画像とイラスト画像の対応例を示す図である。 口のモデル画像とイラスト画像の対応例を示す図である。 コンピュータの構成を示す図である。
以下、図面を参照しながら本発明の実施の形態について説明する。
［似顔絵画像生成装置の構成例］
図１は、本発明を適用した似顔絵画像生成装置の一実施の形態の構成を示す図である。
図１の似顔絵画像生成装置１は、顔画像を含む対象画像から似顔絵画像などの変形画像を生成し、LCD（Liquid Crystal Display）などの表示装置２の画面に表示させる。
似顔絵画像生成装置１は、図１に示すように、対象画像取得部１１、顔検出部１２、特徴点検出部１３、属性判別部１４、輪郭領域抽出部１５、髪領域抽出部１６、描画生成部１７、及びイラスト画像選択処理部１８から構成される。
対象画像取得部１１は、対象画像を取得し、顔検出部１２及び輪郭領域抽出部１５に供給する。
対象画像は、例えば、対象画像取得部１１がレンズやCCD（Charge Coupled Devices）等の撮像素子などから構成されるカメラ部である場合には、このカメラ部により撮像される撮像画像となる。また、対象画像は、メモリカード等の記録媒体に記録された画像データを読み出して取得したもの、あるいは、インターネット等のネットワークに接続された機器から、ネットワークを介して取得したものなどであってもよい。すなわち、対象画像は顔画像を含んでいる画像であればよく、その取得方法は任意である。
顔検出部１２は、対象画像取得部１１から供給される対象画像に対し、顔領域を検出するための所定の画像処理を施して、それにより得られる顔領域内の顔画像に関する情報を、特徴点抽出部１３、輪郭領域抽出部１５、髪領域抽出部１６、及びイラスト画像選択処理部１８に供給する。
特徴点検出部１３は、顔検出部１２から供給される顔領域内の顔画像に対して、目、眉、鼻、口などの器官（パーツ）や輪郭を特定するための特徴点を検出するための所定の画像処理を施して、それにより得られる特徴点に関する情報を、属性判別部１４及び輪郭領域抽出部１５に供給する。
属性判別部１４は、特徴点検出部１３から供給される特徴点により顔領域を位置決めして得られる顔画像パターンに対して、所定の属性を判別するための所定の画像処理を施して、例えば顔領域内の顔画像に含まれる眼鏡の有無を判別する。この属性の判別結果は、描画生成部１７に供給される。
輪郭領域抽出部１５には、対象画像取得部１１からの対象画像、顔検出部１２からの顔領域内の顔画像に関する情報、及び特徴点検出部１３からの特徴点に関する情報が供給される。輪郭領域抽出部１５は、対象画像から、顔領域を中心として所定の倍率だけ拡大した領域を切り出して、生成する似顔絵画像の画像サイズに合わせてリサイズする処理を行う。
また、このリサイズ処理に際して、輪郭領域抽出部１５は、特徴点検出部１３により検出された特徴点の位置（x，y）を、切り出された領域内での位置（x，y）に変換する処理を行う。これらの輪郭領域抽出部１５により求められた輪郭に関する情報は、描画生成部１７に供給される。
髪領域抽出部１６は、顔検出部１２から供給される顔領域内の顔画像（あるいは対象画像）に対して、髪領域を抽出するための所定の画像処理を施して、それにより得られる髪領域に関する情報を、描画生成部１７に供給する。
イラスト画像選択処理部１８は、顔領域内の目、眉、鼻、口などの所定のパーツに対応するイラスト画像を選択する処理を行う。
イラスト画像選択処理部１８は、パーツ領域抽出部３１、Kクラス判別器３２、類似度判定部３３、イラスト画像選択部３４、及びデータベース３５から構成される。
パーツ領域抽出部３１は、パーツ領域定義情報に基づいて、顔検出部１２から供給される顔領域内の顔画像から、所定のパーツを含んでいるパーツ領域を抽出し、Kクラス判別器３２に供給する。なお、パーツ領域定義情報は、例えば、データベース３５などにあらかじめ登録されており、そこから、パーツ領域抽出部３１によって取得される。
Kクラス判別器３２は、パーツ領域抽出部３１から供給されるパーツ領域内のパーツ画像についてのK次元のスコア（以下、K次元スコアベクトルという）を求めて、類似度判定部３３に供給する。
なお、このKクラス判別器３２は、各パーツ毎に用意されるものであって、後述する図１１の前処理装置１０１により求められるものであり、その詳細な説明は後述する。
類似度判定部３３は、データベース３５に登録されているパーツ対応情報により対応付けられたモデル画像のK次元スコアベクトルのうち、Kクラス判別器３２から供給されるK次元スコアベクトルに最も類似しているK次元スコアベクトルを特定して、最も類似したモデル画像を判定し、その判定結果をイラスト画像選択部３４に供給する。
なお、パーツ対応情報とは、イラスト画像と、モデル画像とを対応付けた情報であって、データベース３５に登録されている。このイラスト画像は、各パーツを変形させて表した変形パーツ画像の一例であって、各パーツを絵（イラスト）により表した画像である。また、モデル画像は、複数のサンプル画像の画像特徴量を用いたAdaBoostECOC（Error Correct Output Coding）学習により生成される多クラス判別器（後述する図１１のKクラス判別器３２）から出力される入力画像に対する多次元スコアベクトルに基づいて、入力画像のパーツ画像を複数のプロトタイプに分類し、各プロトタイプに属するパーツ画像群の平均画像を求めることで生成される画像である。
このパーツ対応情報についても、図１１の前処理装置１０１により求められるものであるため、その詳細な説明は後述する。
イラスト画像選択部３４は、類似度判定部３３から供給された判定結果に基づいて、データベース３５に登録されているパーツ対応情報の中から、最も類似していると判定されたモデル画像に対応付けられたイラスト画像を選択し、描画生成部１７に供給する。
データベース３５は、先に述べたパーツ領域定義情報とパーツ対応情報の他、アンカー点定義情報などの似顔絵画像を生成する上で必要となる各種の情報を保持する。なお、アンカー点定義情報は、対象画像に含まれる顔画像から検出される各パーツの位置（以下、パーツ点という）に対応付けられたイラスト画像上の点（以下、アンカー点という）を定義している。このアンカー点定義情報についても、図１１の前処理装置１０１により求められるものであるため、その詳細な説明は後述する。
描画生成部１７には、属性判別部１４からの判別結果、輪郭領域抽出部１５からの輪郭に関する情報、髪領域抽出部１６からの髪領域に関する情報、イラスト画像選択部３４からのイラスト画像、及びデータベース３５からのアンカー点定義情報が供給される。
描画生成部１７は、輪郭と髪領域に関する情報に基づいて、輪郭領域と髪領域の和集合の領域内を所定の肌の色で塗りつぶし、さらにその上から、髪領域内を所定の髪の色で塗りつぶして、肌領域と髪領域だけからなる画像（以下、土台画像という）を描画する。その後、描画生成部１７は、イラスト画像に対して、アンカー点定義情報により定義されたアンカー点とパーツ点とが一致するように回転や拡大縮小（リサイズ）などの所定の画像処理を施し、それにより得られたイラスト画像を土台画像に描画して配置し、似顔絵画像を生成する。
また、描画生成部１７は、属性判別部１４からの判別結果が、眼鏡が有ることを示している場合、アンカー点定義情報に従って、眼鏡の画像をさらに配置する。
このようにして生成された似顔絵画像は、描画生成部１７によって、表示装置２に表示される。
以上のようにして、似顔絵画像生成装置１は構成される。
［似顔絵画像生成処理の説明］
次に、図２のフローチャートを参照して、図１の似顔絵画像生成装置１により実行される、似顔絵画像を生成する処理（似顔絵画像生成処理）について説明する。
なお、図２の説明では、各ステップで実行される処理を分かり易くするため、図３の全体の流れ図を随時適宜参照しながら説明する。
ステップＳ１１において、対象画像取得部１１は、撮像画像などの顔画像を含んだ対象画像を取得する。例えば、対象画像取得部１１には、図３Ａの顔画像を含んでいる対象画像が入力される。
ステップＳ１２において、顔検出部１２は、対象画像取得部１１から供給される対象画像中の顔パターンをスキャンすることで、対象画像における顔領域の位置（x，y，w，h）を検出する。例えば、顔検出部１２では、図３Ｂの顔に重畳された直方体で示す領域が、顔領域として検出される。
ステップＳ１３において、特徴点検出部１３は、顔検出部１２により検出された顔領域内の顔画像の各特徴点のパターンをスキャンすることで、特徴点の位置（x，y）を検出する。この特徴点によって、パーツと輪郭が特定される。例えば、特徴点検出部１３では、図３Ｃの顔に重畳された点で示す特徴点が検出される。
ステップＳ１４において、属性判別部１４は、特徴点検出部１３により検出された目などの特徴点で位置決めして得られる顔画像パターンに対して属性の判別をし、眼鏡の有無を判別する。例えば、属性判別部１４では、図３Ｄに示すように、顔画像パターンから眼鏡属性が判別され、この例の場合には、眼鏡が有ると判別される。
ステップＳ１５において、輪郭領域抽出部１５は、対象画像から、顔検出部１２により検出された顔領域を中心として拡大した領域を切り出し、生成する似顔絵画像の画像サイズに合わせてリサイズする処理を行う。このリサイズの大きさとしては、顔検出部１２により検出される顔領域では顔全体が少しはみ出すくらいの領域を抽出するので、例えば、この領域を中心として大きさ1.6倍くらいの領域が対象画像から切り出される。
この際、例えば、求めたい似顔絵画像の画像サイズを300×300画素とすると、検出された顔領域内の顔画像が、この画像サイズにリサイズされることになる。またこのとき、輪郭領域抽出部１５は、特徴点検出部１３により検出された顔領域の特徴点の位置を、切り出された画像での位置に変換して、描画生成部１７に供給する。
ステップＳ１６において、髪領域抽出部１６は、顔検出部１２により検出された顔領域（あるいは対象画像）内の顔画像の上半分の領域（頭頂部側の領域）の画像から得られるRGB値に対し、例えばk-meansアルゴリズムを用いてクラスタリングして、所定の領域を髪領域として抽出する。
図４は、髪領域抽出部１６により実行される髪領域抽出処理の詳細について説明する図である。
髪領域抽出処理としては、図４Ａに示すように、まず、顔領域内の上半分の顔上部領域ＡUが抽出される。そして、この顔上部領域ＡU内の全ての画素（r，g，b）を、k-meansアルゴリズムを用いて３色にクラスタリングすると、全ての画素は、３つのクラスのうちのどれかに属することになる。次に、隣り合う画素のラベルが一致するか否かが判定され、領域分割が行われると、図４Ｂに示すように、背景、髪、肌の３つの領域に分割される。
なお、この分割処理では、３つ以上の領域に分割されることもあるが、髪領域抽出部１６は、図４Ｃに示すように、例えば黒色に最も近い領域の中で、面積が最大となる領域を髪領域として抽出するようにすればよい。
図２のフローチャートに戻り、ステップＳ１７において、描画生成部１７は、輪郭領域と髪領域の和集合の領域内を所定の肌の色で塗りつぶし、さらにその上から、髪領域内を所定の髪の色で塗りつぶして、顔の土台画像を描画する。すなわち、図３Ｅに示すように、まず、抽出された輪郭領域が描画され、その後、図３Ｆに示すように、抽出された髪領域が描画されることで、土台画像が描画される。
図５は、描画生成部１７により実行される土台画像の描画処理の詳細について説明する図である。
図５Ａに示すように、検出された輪郭の特徴点が、スプライン曲線補間などの所定の補間処理により繋がれて、曲線により囲まれた領域が求められると、図５Ｂに示すような輪郭領域となる。そして、図５Ｃに示すように、この輪郭領域と、髪領域抽出部１６により抽出された髪領域の内側を肌色で塗りつぶした後、さらに、髪領域だけを黒色（髪の色）で塗りつぶすことで、図５Ｄの土台画像が得られる。
図２のフローチャートに戻り、ステップＳ１８において、イラスト画像選択処理部１８は、イラスト画像選択処理を実行する。このイラスト画像選択処理は、図３Ｇのイラスト画像選択に相当する処理である。
ここで、図６のフローチャートを参照して、図２のステップＳ１８のイラスト画像選択処理の詳細について説明する。なお、ここでは、説明を分かり易くするため、目、眉、鼻、口などのパーツのうちの、目のイラスト画像を選択する例を中心に説明する。
イラスト画像選択処理部１８では、ステップＳ３１において、対象画像の顔領域が所定の画像サイズにリサイズされ、パーツ領域抽出部３１によって、所定の画像サイズとなった顔領域から、パーツ領域定義情報に従ったパーツ領域が切り出される。
図７は、パーツ領域定義情報の例を示す図である。
図７に示すように、64×64画素の大きさにリサイズされた顔領域から各パーツ領域を切り出す場合、顔領域上の任意の位置である点（x1，y1）と点（x2，y2）を対角とする四角形の領域を抽出することになる。例えば、目パーツ領域は、点（10，23）と点（55，30）を対角とする四角形の領域となるので、パーツ領域抽出部３１によって、その領域が目パーツ領域として切り出される。
図６のフローチャートに戻り、ステップＳ３３において、目パーツ領域用のKクラス判別器３２は、目パーツ領域内のパーツ画像に対応するK次元スコアベクトルを求める。
ステップＳ３４において、類似度判定部３３は、データベース３５に登録されているパーツ対応情報によりイラスト画像と対応付けられたモデル画像のK次元スコアベクトルのうち、目パーツ領域用のKクラス判別器３２により演算された目パーツ領域内のパーツ画像から得られるK次元スコアベクトルに最も類似しているK次元スコアベクトルを特定して、最も類似したモデル画像を判定する。なお、このK次元スコアベクトルどうしの類似度には、例えば、ユークリット距離が採用される。
ステップＳ３５において、イラスト画像選択部３４は、類似度判定部３３の判定結果に基づいて、データベース３５に登録されているパーツ対応情報の中から、最も類似していると判定されたモデル画像に対応付けられたイラスト画像を選択する。
図８は、イラスト画像選択処理の詳細について説明する図である。
図８に示すように、パーツ領域抽出部３１によって、対象画像の顔領域から目パーツ領域内のパーツ画像が抽出された場合、類似度判定部３３は、Kクラス判別器３２の演算結果から、そのパーツ画像と、複数のモデル画像との類似度を判定し、最も類似度の高いモデル画像を判定する。パーツ対応情報では、モデル画像とイラスト画像とがあらかじめ対応付けられているので、イラスト画像選択部３４は、最も類似度の高いモデル画像と紐付けられた１つのイラスト画像を選択することが可能となる。
これにより、あらかじめ用意された複数のイラスト画像の中から、顔領域から抽出された目パーツ領域内のパーツ画像に最も類似するモデル画像に紐付けられた１つのイラスト画像が選択され、処理は、図２のステップＳ１８の処理に戻る。
ステップＳ１９において、描画生成部１７は、イラスト画像選択部３４により選択されたイラスト画像に対して、アンカー点定義情報により定義されたアンカー点と対応するパーツ点とが一致するように回転や拡大縮小などの画像処理を施し、それにより得られたイラスト画像を、ステップＳ１７の処理により得られた土台画像に描画する。
図９は、イラスト画像描画処理の詳細について説明する図である。
図９に示すように、イラスト画像選択部３４により選択された目のイラスト画像のアンカー点ＰAと、特徴点検出部１３により検出された顔領域の特徴点に対応する似顔絵画像（土台画像）上のパーツ点ＰPとが、アンカー点定義情報によって対応付けられていることは、先に述べた通りである。
すなわち、図９Ａに示すように、一方のアンカー点ＰA1とパーツ点Ｐp1とが対応し、他方のアンカー点ＰA2とパーツ点Ｐp2とが対応しているので、描画生成部１７は、それらの点をそれぞれ一致させて目のイラスト画像を土台画像上に描画できるように、イラスト画像に対して回転や拡大縮小などの画像処理を施してから、対応するアンカー点ＰAとパーツ点ＰPとのそれぞれが一致するように描画する。このようにして描画すると、図９Ｂに示すように、右目のイラスト画像が土台画像上に描画される。
なお、このとき、土台画像として、既に肌領域は描画されているので、イラスト画像に対応する画素だけが上書きされることになる。また、パーツ点ＰPは、検出された特徴点と一致する点であってもよいし、この特徴点とは別に設定された点であってもよい。
図２のフローチャートに戻り、ステップＳ２０において、イラスト画像選択処理部１８は、土台画像に対して、目、眉、鼻、口、額などの全てのイラスト画像を描画したか否かを判定する。
ステップＳ２０において、全てのイラスト画像を描画していないと判定された場合、ステップＳ１８に戻り、上述したステップＳ１８ないしＳ２０のイラスト画像の選択描画処理が繰り返される。
すなわち、このイラスト画像の選択描画処理が繰り返されることで、図７のパーツ領域定義情報に定義された目パーツ領域以外の、眉パーツ領域（点（8，15）−点（57，22））、鼻パーツ領域（点（21，31）−点（44，45））、口パーツ領域（点（18，46）−点（47，59））、額パーツ領域（点（1，1）−点（64，14））がそれぞれ抽出され、それらのパーツ領域毎に用意されたKクラス判別器３２を用いてモデル画像との類似度が判定され、最も類似度の高いモデル画像に対応したイラスト画像がそれぞれ選択される。そして、選択されたイラスト画像は、アンカー点定義情報に従って画像処理が施された後、土台画像上の所定の位置に描画され、配置される。
一方、全てのイラスト画像の描画が終了したと判定された場合、処理は、ステップＳ２１に進む。ステップＳ２１において、描画生成部１７は、属性判別部１４からの眼鏡属性の判別結果が、眼鏡が有ることを示している場合、アンカー点定義情報に従って、眼鏡のフレーム部分の画像を、土台画像上の所定の位置に描画する。これにより、例えば、図３Ｈの似顔絵画像が生成される。
以上のようにして生成される似顔絵画像を例示すると、次のようになる。すなわち、図１０は、描画生成部１７により生成された似顔絵画像（変形画像）を、表示装置２の画面に表示した例を示す図である。
図１０Ａないし図１０Ｆのそれぞれの対象画像（左側）と似顔絵画像（右側）との組み合わせで示すように、上記の似顔絵画像生成処理を実行することで、左側の対象画像に含まれる顔画像の各パーツ領域に対応するイラスト画像がそれぞれ個別に選択され、それらの選択されたイラスト画像が土台画像上に描画されて、右側の似顔絵画像がそれぞれ生成される。
すなわち、この似顔絵画像は、各パーツ領域内のパーツ画像とイラスト画像との類似度ではなく、パーツ画像とモデル画像との類似度に基づいて選択されたイラスト画像から生成されたものとなるので、対象画像の各パーツ画像に最も似ているモデル画像に紐付けられたイラスト画像を顔画像の見えから直接的に選択して、顔画像の特徴を捉えた似顔絵画像を生成することができる。つまり、直接的にパーツ画像とイラスト画像との類似度を求めることは困難であるが、本実施の形態では、あらかじめモデル画像とイラスト画像とを紐付けしておき、パーツ画像とモデル画像との類似度を計算して、パーツ画像に最も類似しているモデル画像に紐付けられたイラスト画像を選択するようにしている。
以上のようにして、似顔絵画像生成処理が実行される。
［前処理装置の構成例］
次に、図１の似顔絵画像生成装置１が似顔絵画像生成処理を実行する上で必要となる事前の前処理として、Kクラス判定器３２を生成するための学習処理、モデル画像を生成するための生成処理、及びパーツ対応情報やアンカー点定義情報などの各種情報を設定するための設定処理について説明する。これらの前処理は、前処理装置により実行される。
図１１は、前処理装置の構成の例を示す図である。
図１１に示すように、前処理装置１０１は、学習処理を行う学習系１１１と、生成処理を行う生成系１１２と、設定処理を行う設定系１１３から構成される。
学習系１１１には、学習サンプル取得部１２１、前画像処理部１２２、学習部１２３、及びKクラス判別器３２が属する。生成系１１２には、生成用画像取得部１２４、前画像処理部１２５、Kクラス判別器３２、生成部１２６、及びデータベース３５が属する。設定系１１３には、イラスト画像取得部１２７、設定部１２８、及びデータベース３５が属する。
なお、図１１において、図１と対応する箇所には同一の符号が付してあり、その説明は適宜省略する。すなわち、図１１には、図１と同様のKクラス判別器３２とデータベース３５が記述されているが、前処理装置１０１においては、似顔絵画像生成装置１を構成するKクラス判別器３２を生成し、さらに、各種情報を設定してデータベース３５に登録するための処理が行われることになる。
まず、学習系１１１について説明する。
学習サンプル取得部１２１は、K人（K=1,2,・・・,K）のサンプル人物についてそれぞれ様々なバリエーションで用意されている顔画像（以下、サンプル画像という）を取得し、前画像処理部１２２に供給する。
前画像処理部１２２は、学習サンプル取得部１２１から供給されるサンプル画像から顔領域を検出し、所定の画像サイズにリサイズする処理を行う。このリサイズ処理では、先に述べたパーツ領域定義情報（図７）に定義された画像サイズに合わせた大きさにリサイズされる。そして、前画像処理部１２２は、リサイズ後の顔領域から、パーツ領域定義情報に従ったパーツ領域を切り出し、学習部１２３に供給する。
学習部１２３は、前画像処理部１２２から供給されるパーツ領域内のパーツ画像の画像特徴量を求めて、AdaBoostECOC（Error Correct Output Coding）により複数の弱判別器を学習し、これら複数の弱判別器からなるKクラス判別器３２を生成する。
次に、生成系１１２について説明する。
生成用画像取得部１２４は、モデル画像を生成するために無作為に抽出した多数の顔画像（以下、生成用画像という）を取得し、前画像処理部１２５に供給する。
前画像処理部１２５は、前画像処理部１２２においてサンプル画像をリサイズする処理と同様に、生成用画像取得部１２４からの生成用画像をリサイズしてパーツ領域を切り出し、Kクラス判別器３２に供給する。
Kクラス判別器３２は、前画像処理部１２５から供給されるパーツ領域内のパーツ画像に対応するK次元スコアベクトルを求めて、生成部１２６に供給する。
生成部１２６は、Kクラス判別器３２から供給されるK次元スコアベクトルに基づいて、パーツ画像をN個（N=1,2,・・・,N）のプロトタイプに分類して、各プロトタイプに属するパーツ画像群の平均画像を求めることでモデル画像を生成する。このモデル画像は、データベース３５に登録される。
次に、設定系１１３について説明する。
イラスト画像取得部１２７は、各パーツのイラスト画像を取得し、設定部１２８に供給する。
設定部１２８は、イラスト画像取得部１２７から供給されるイラスト画像と、データベース３５に登録されているモデル画像とを対応付けることでパーツ対応情報を設定して、データベースに登録する。また、設定部１２８は、アンカー点定義情報を設定して、データベース３５に登録する。
以上のようにして、前処理装置１０１は構成される。
［前処理の説明］
次に、図１２のフローチャートを参照して、図１１の前処理装置１０１により実行される前処理について説明する。
ステップＳ５１において、前処理装置１０１の学習系１１１は、学習処理を実行することにより、Kクラス判別器３２を生成する。
ステップＳ５２において、前処理装置１０１の生成系１１２は、生成処理を実行することのより、モデル画像を生成し、データベース３５に登録する。
ステップＳ５３において、前処理装置１０１の設定系１１３は、設定処理を実行することにより、パーツ対応情報及びアンカー点定義情報をそれぞれ設定し、データベース３５に登録する。
以下、上述した図１２のステップＳ５１ないしＳ５３の詳細について説明する。
［学習処理を詳細］
図１３は、学習処理を詳細に説明するフローチャートである。
ステップＳ７１において、学習サンプル取得部１２１は、K人のサンプル人物についてそれぞれ様々なバリエーションで用意されているサンプル画像を取得する。
前画像処理部１２２は、ステップＳ７２において、学習サンプル取得部１２１により取得されたサンプル画像から顔領域を検出した後、パーツ領域定義情報に基づいて、検出した顔領域を所定の画像サイズにリサイズし（ステップＳ７３の処理）、リサイズ後の顔領域からパーツ領域を切り出す（ステップＳ７４の処理）。
このリサイズ処理では、先に述べた、図７のパーツ領域定義情報に定義された画像サイズに合わせて、例えば64×64画素の大きさにリサイズされ、例えば目パーツ領域（点（10，23）−点（55，30））が切り出される。
そして、学習部１２３では、ステップＳ７５において、パーツ画像の画像特徴量が求められ、ステップＳ７６において、AdaBoostECOCにより複数の弱判別器が学習されることで、Kクラス判別器３２が生成される。
なお、各クラスに属するか否か判別する複数の弱判別器では、判別の基準としてサンプル画像（パーツ画像）の画像特徴量を用いる。画像特徴量としては、例えば、本発明者が既に提案しているピクセル差分特徴（PixDif Feature）を用いることができる。
このピクセル差分特徴については、“佐部、日台、「ピクセル差分特徴を用いた実時間任意姿勢顔検出器の学習」、第10回画像センシングシンポジウム予稿集、pp.547-552．2004”、特開２００５−１５７６７９号公報などに開示されている。
図１４は、学習部１２３により生成されるKクラス判別器３２の詳細について説明する図である。
図１４に示すように、“Aさん”、“Bさん”、“Cさん”、・・・などのK人のサンプル人物についてそれぞれ様々なバリエーションでサンプル画像が取得され、それらの顔領域がリサイズされた後、そこから各パーツ領域が切り出されるのは、図１３のステップＳ７１ないしＳ７４の処理の説明で述べた通りである。
学習部１２３においては、このようにして得られたK人のサンプル人物の顔画像の各パーツ画像についての画像特徴量がピクセル差分特徴により求められ、その画像特徴量を用いたAdaBoostECOCにより複数の弱判別器が学習され、多クラス判別器としてのKクラス判別器３２が生成される。
以上のように生成されるKクラス判別器３２では、入力される顔画像が各サンプル人物Kにどの程度似ているかを示すスコアが算出される。なお、このスコアの値が大きいほどよく似ているものとする。したがって、先に述べた通り、このKクラス判別器３２は、K次元のスコアであるK次元スコアベクトルを出力することになる。
このように、各パーツ毎にK次元からなるスコア空間が得られることになり、例えば、入力されるパーツ画像が同一人物のものであれば、K次元スコア空間での距離は近いものとなる。そして、入力される顔画像が未知顔の人物“Xさん”である場合には、その“Xさん”の各パーツが、サンプル人物“Aさん”、“Bさん”、“Cさん”、・・・の各パーツのそれぞれに対してどの程度似ているかを数値化して表すことができる。これにより、パーツ毎のK次元スコア空間での距離によって、各パーツの類似度を判定することが可能となる。
より具体的には、図１５に示す処理が行われる。すなわち、顔画像（Face image A）上の２画素の画素値（輝度値）I1，I2の差分（I1−I2）を算出することで、ピクセル差分特徴（PixDif Feature）が得られる。２画素の組み合わせにそれぞれ対応する２値判別弱判別器h（x）では、次式（１）に示すように、このピクセル差分特徴（I1−I2）と、閾値Thによって、真（+1）又は偽（-1）が判別される。
h(x)＝-1 if I1−I2≦Th
h(x)＝+1 if I1−I2＞Th ・・・（１）
式（１）より得られたh(x)と、各クラス毎に定義されたECOCビット（1行K列のECOCテーブル（ECOC table）に格納されるK列の値（+1又は-1））とを比較して、その判定結果がECOCビットと一致する場合、そのクラスのスコアは信頼度α分だけ上昇し、逆に、判定結果がECOCビットと不一致である場合、スコアは信頼度α分だけ減少する。
この処理を画像特徴量の数だけ繰り返すことで、K次元スコアベクトル（Score of K-Class）として、H(1)，H(2)，H(3)，H(4)，H(5)，・・・を求めることができる。
図１３のフローチャートに戻り、ステップＳ７７において、学習部１２３は、全てのパーツについて、Kクラス判別器３２の生成が終了したか否かを判定する。
ステップＳ７７において、全てのパーツのKクラス判別器３２の生成が終了していないと判定された場合、ステップＳ７４に戻り、上述した、生成処理（ステップＳ７４ないしＳ７７の処理）が繰り返される。
すなわち、それらの生成処理が繰り返されることで、図７のパーツ領域定義情報に従って、リサイズ後の顔領域から、目パーツ領域、眉パーツ領域、鼻パーツ領域、口パーツ領域、及び額パーツ領域などの各パーツ領域がそれぞれ抽出され、それらのパーツ領域毎に、各Kクラス判別器３２がそれぞれ個別に生成される。
そして、図７のパーツ領域定義情報により定義されたパーツ領域毎のKクラス判別器３２を得て、学習処理は終了される。
以上のように生成された各パーツ毎のKクラス判別器３２によれば、入力される顔画像（パーツ画像）の画像特徴量をK次元スコアベクトルにより表現できる。すなわち、例えば、サンプル人物を、“Aさん”、“Bさん”、“Cさん”、・・・とすれば、未知顔の人物“Xさん”の各パーツがサンプル人物“Aさん”、“Bさん”、“Cさん”、・・・の各パーツのそれぞれに対してどの程度似ているかを数値化して表すことができる。
［生成処理の詳細］
図１６は、生成処理を詳細に説明するフローチャートである。
ステップＳ９１ないしＳ９４においては、図１３のステップＳ７１ないしＳ７４と同様にして、前画像処理部１２５によって、生成用画像取得部１２４により取得された生成用画像から顔領域が検出され、リサイズ後の顔領域からパーツ領域が切り出される。なお、生成用画像としては、例えば10000枚の無作為に抽出された顔画像を含む画像が用いられる。
このようにして得られたパーツ画像は、各パーツ毎のKクラス判別器３２に入力される。Kクラス判別器３２では、ステップＳ９５において、入力されたパーツ画像のピクセル差分特徴が閾値判別され、クラス毎に定義されたECOCビットと比較されることで、K次元スコアベクトルが求められる。
ステップＳ９６において、生成部１２６は、Kクラス判別器３２により演算されたパーツ画像に対応するK次元スコアベクトルの集合を、そのK次元スコア空間上で、例えばk-meansアルゴリズムを用いてクラスタリングしてN個の部分集合に分割する。これにより、パーツ画像がN個のプロトタイプに分類されるので、生成部１２６は、分類した各プロトタイプに属するパーツ画像群の平均画像を求めることで、モデル画像を生成し、データベース３５に登録する。
図１７は、目のモデル画像の例を示す図である。
図１７に示すように、例えば、目のクラスタとして、目のパーツ画像を24個のプロトタイプに分類した場合において、各プロトタイプに属するパーツ画像群の平均をとったものが、目のモデル画像となる。図１７の例では、各プロトタイプのモデル画像毎に、特に、目の形状だけが異なっていることが分かる。
図１６のフローチャートに戻り、ステップＳ９７において、生成部１２６は、全てのパーツについて、モデル画像の生成が終了したか否かを判定する。
ステップＳ９７において、全てのパーツのモデル画像の生成が終了していないと判定された場合、ステップＳ９４に戻り、上述した、生成処理（ステップＳ９４ないしＳ９７の処理）が繰り返される。
すなわち、それらの生成処理が繰り返されることで、図７のパーツ領域定義情報に従って、リサイズ後の顔領域から、先に述べた目パーツ領域以外の眉パーツ領域、鼻パーツ領域、口パーツ領域、及び額パーツ領域などの各パーツ領域がそれぞれ抽出され、それらのパーツ領域毎に、N枚のモデル画像がそれぞれ個別に生成され、データベース３５に登録される。
そして、図７のパーツ領域定義情報により定義されたパーツ領域毎のN枚のモデル画像を得て（各パーツ領域毎のモデル画像の枚数は、同数である必要はない）、生成処理は終了される。
［設定処理］
図１８は、設定処理を詳細に説明するフローチャートである。
ステップＳ１０１において、イラスト画像取得部１２７は、各パーツのイラスト画像を取得する。例えば目のイラスト画像を設定する場合、イラスト画像として、図１９ａないし１９ｌで示すような、似顔絵画像を構成するためのパーツのうちの、目の形状を示した様々なバリエーションからなるイラスト画像をあらかじめ用意しておくことになる。
ステップＳ１０２において、設定部１２８は、データベース３５に登録されているモデル画像を取得する。このモデル画像は、生成系１１２により生成され、データベース３５に登録されたものであって（図１６の生成処理）、例えば目のイラスト画像の設定を行う場合、パーツ領域毎に生成されてデータベース３５に登録されているモデル画像のうち、図１７の目のモデル画像が取得される。
ステップＳ１０３において、設定部１２８は、取得したイラスト画像とモデル画像とを対応付けることで、パーツ対応情報を設定して、データベース３５に登録する。
この対応付けの方法としては、第１に、あるモデル画像に対して、候補のイラスト画像群の中から最も類似するイラスト画像を紐付けるための画像処理を実行することで対応付けを行う方法、第２に、ユーザが目視でモデル画像を確認して、そのモデル画像に似ていると感じたイラスト画像を候補のイラスト画像群の中から選択して指示することで対応付けを行う方法の２つがある。
これらの方法のいずれかで対応付けが行われると、例えば、イラスト画像（図１９）とモデル画像（図１７）は、図２０に示すように対応付けされる。図２０の例では、6×4のモデル画像に対して、それらの目の見えに応じた6×4のイラスト画像がそれぞれ対応付けられている。これにより、パーツの幾何学的な大きさや比率ではなく、パーツ画像とモデル画像との見えのパターンから類似度を算出することができ、より人間の主観とあった類似度を定義することができる。
なお、ユーザが目視により対応付けを行う場合には、設定部１２８は、例えば、図２１Ａに示すように、口に特徴があるモデル画像に対して、特徴的な口のイラスト画像を意図的に対応付けることができる。また、設定部１２８は、ユーザからの指示に基づいて、図２１Ｂに示すように、目に特徴があるモデル画像に対しては、特徴的な目のイラスト画像を意図的に対応付けることもできる。
このように、パーツ対応情報の設定時において、モデル画像に対して、実際の見えよりも誇張した表現のイラスト画像を割り当てておくことで、似顔絵画像の生成時には、人間の主観とあった顔の特徴を有する似顔絵画像（顔の特徴がより強調された似顔絵画像）を生成することができる。
図１８のフローチャートに戻り、ステップＳ１０４において、設定部１２８は、例えばユーザからの指示に基づいて、各イラスト画像毎のアンカー点定義情報を設定して、データベース３５に登録する。
このアンカー点定義情報については、図９などを参照して先に述べたが、アンカー点ＰA1，ＰA2のそれぞれの位置をより内側に設定して、それらの点の間隔をパーツ点Ｐp1，Ｐp2の間隔よりも狭くすることで、対応するパーツ点Ｐp1，Ｐp2に配置したときに、例えば目のイラスト画像であれば拡大されてから描画されるので、同じイラスト画像でも、より大きな目を表現することができる。一方、アンカー点ＰA1，ＰA2のそれぞれの位置をより外側に設定すると、それらの点の間隔は逆にパーツ点Ｐp1，Ｐp2の間隔よりも広がるので、例えば目のイラスト画像であれば縮小されてから描画されるので、同じイラスト画像でも、より小さな目を表現することができる。
このように、同じイラスト画像であっても、アンカー点の位置を変更するだけで、様々な表示形態でパーツを表すことができるので、用意するイラスト画像を少なくできるとともに、各パーツの特徴を捉えた変形パーツ画像を提供できる。
なお、アンカー点は、２点に限らず、対応するパーツ点の数に合わせて設定することができる。
ステップＳ１０５において、設定部１２８は、全てのパーツのパーツ対応情報とアンカー点定義情報の設定が終了したか否かを判定する。
ステップＳ１０５において、全てのパーツのパーツ対応情報とアンカー点定義情報の設定が終了していないと判定された場合、ステップＳ１０１に戻り、上述した、設定処理（ステップＳ１０１ないしＳ１０５の処理）が繰り返される。
すなわち、それらの設定処理が繰り返されることで、パーツ領域毎に生成されたモデル画像に対してイラスト画像がそれぞれ個別に紐付けられ、さらにそれらのイラスト画像のアンカー点もそれぞれ個別に設定される。
図２２ないし図２４は、モデル画像とイラスト画像の対応例をそれぞれ示しており、図２２は眉、図２３は鼻、図２４は口の対応例を示す。
図２２に示すように、眉のクラスタとして、眉のパーツ画像を12個のプロトタイプに分類して、各プロトタイプに属するパーツ画像群の平均をとったものが、図中上側の眉のモデル画像となる。図２２の例では、各プロトタイプのモデル画像毎に、特に、眉の形状だけが異なっていることが分かる。設定処理により、それらの眉のモデル画像に対して、図中下側の眉のイラスト画像がそれぞれ個別に対応付けられる。
図２３及び図２４においては、図２１の眉の場合と同様に、図２３の鼻のモデル画像に対して鼻のイラスト画像がそれぞれ個別に対応付けられ、図２４の口のモデル画像に対して口のイラスト画像がそれぞれ個別に対応付けられる。
これらの設定処理により対応付けられた情報は、パーツ対応情報としてデータベース３５に登録される。そして、全てのパーツのパーツ対応情報とアンカー点定義情報を設定して、設定処理は終了される。
このように、前処理装置１０１において、各パーツ毎のKクラス判別器３２を生成し、さらに、パーツ対応情報とアンカー点定義情報を設定してデータベース３５にあらかじめ登録しておくことで、それらのKクラス判別器３２とデータベース３５を用いる似顔絵画像生成装置１においては、ユーザの操作を介さずに、顔画像を含む対象画像から似顔絵画像を生成することができる。
［クラス分けの他の例］
ここまでは、パーツ対応情報によって、単にモデル画像とイラスト画像とを対応付けていたが、サンプル人物の属性情報をクラスラベルとしてサンプル画像に付与し、それぞれについてKクラス判別器３２に学習させるようにしてもよい。サンプル人物の属性情報としては、例えば、人種、年齢区分、性別、眼鏡の有無などの同一のサンプル人物であれば、同じ属性に属するものが挙げられる。
各属性情報をクラスラベルとして学習したKクラス判別器３２を使用することで、単にパーツ画像とモデル画像との類似度を求めていた場合と比較し、パーツ画像とモデル画像をより詳細に特徴付けることができる。よって、パーツ画像とモデル画像の類似度をより正確に求めることができ、正確なイラスト画像を選択することが可能となる。
なお、本実施の形態では、図１の似顔絵画像生成装置１と、図１１の前処理装置１０１とは別の装置であるとして説明したが、図１の似顔絵画像生成装置１に対応する一処理部としての似顔絵画像生成部と、図１１の前処理装置１０１に対応する一処理部としての前処理部とからなる１つの装置として捉えることもできる。この場合、それらの装置で共通な構成となる、Kクラス判別器３２とデータベース３５は、前処理部により生成（設定）され、似顔絵画像生成部による似顔絵画像生成処理で用いられる。
また、本実施の形態では、図１の似顔絵画像生成装置１と、表示装置２とは別の装置であるとして説明したが、表示装置２に対応する一処理部としての表示部が、似顔絵画像生成装置１内に設けられると捉えることもできる。この場合、描画生成部１７は、表示部の画面に対して生成した似顔絵画像を表示させることになる。
さらに、描画生成部１７により生成される似顔絵画像は、表示装置２の画面に表示させるだけでなく、JPEG方式などの所定の圧縮方式により圧縮し、ファイルとして所定の記録媒体に保存することもできる。
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等に、プログラム記録媒体からインストールされる。
図２５は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータの構成の例を示す図である。CPU（Central Processing Unit）２１１は、ROM（Read Only Memory）２１２、または記録部２１８に記録されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）２１３には、CPU２１１が実行するプログラムやデータ等が適宜記憶される。これらのCPU２１１、ROM２１２、及びRAM２１３は、バス２１４により相互に接続されている。
CPU２１１にはまた、バス２１４を介して入出力インターフェース２１５が接続されている。入出力インターフェース２１５には、マイクロホン等よりなる入力部２１６、ディスプレイ、スピーカ等よりなる出力部２１７が接続されている。CPU２１１は、入力部２１６から入力される指令に対応して各種の処理を実行する。そして、CPU２１１は、処理の結果を出力部２１７に出力する。
入出力インターフェース２１５に接続されている記録部２１８は、例えばハードディスクからなり、CPU２１１が実行するプログラムや各種のデータを記録する。通信部２１９は、インターネットやローカルエリアネットワーク等のネットワークを介して外部の装置と通信する。
また、通信部２１９を介してプログラムを取得し、記録部２１８に記録してもよい。
入出力インターフェース２１５に接続されているドライブ２２０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等のリムーバブルメディア２２１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータ等を取得する。取得されたプログラムやデータは、必要に応じて記録部２１８に転送され、記録される。
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図２５に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスク、もしくは半導体メモリ等よりなるパッケージメディアであるリムーバブルメディア２２１、または、プログラムが一時的もしくは永続的に格納されるROM２１２や、記録部２１８を構成するハードディスク等により構成される。プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデム等のインターフェースである通信部２１９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。
なお、本明細書において、記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
１ 似顔絵画像生成装置， ２ 表示装置， １１ 対象画像取得部， １２ 顔検出部， １３ 特徴点検出部， １４ 属性判別部， １５ 輪郭領域抽出部， １６ 髪領域抽出部， １７ 描画生成部， １８ イラスト画像選択処理部， ３１ パーツ領域抽出部， ３２ Kクラス判別器， ３３ 類似度判定部， ３４ イラスト画像選択部， ３５ データベース， １０１ 前処理装置， １１１ 学習系， １１２ 生成系， １１３ 設定系， １２１ 学習サンプル取得部， １２２ 前画像処理部， １２３ 学習部， １２４ 生成用画像入力部， １２５ 前画像処理部， １２６ 生成部， １２７ イラスト画像取得部， １２８ 設定部

Claims (9)

  1. 対象画像から変形画像を生成する情報処理装置において、
    前記対象画像から顔領域を検出する第１の検出手段と、
    検出された前記顔領域の特徴点を検出する第２の検出手段と、
    検出された前記顔領域内の顔画像から、所定のパーツを含んでいるパーツ領域を抽出する抽出手段と、
    前記パーツを変形させて表した変形パーツ画像に対応付けられたモデル画像の中から、抽出された前記パーツ領域内のパーツ画像と類似する前記モデル画像を判定する判定手段と、
    判定結果に応じて、前記モデル画像に対応付けられた前記変形パーツ画像を選択する選択手段と、
    検出された前記特徴点から得られる顔の輪郭の画像に対して、選択された前記変形パーツ画像を配置し、前記変形画像を生成する生成手段と
    を備える情報処理装置。
  2. 前記モデル画像は、複数のサンプル画像の画像特徴量を用いたAdaBoostECOC（Error Correct Output Coding）学習により生成される多クラス判別器から出力される入力画像に対する多次元スコアベクトルに基づいて、前記入力画像のパーツ画像を複数のプロトタイプに分類し、各プロトタイプに属するパーツ画像群の平均画像を求めることで生成される
    請求項１に記載の情報処理装置。
  3. 前記画像特徴量は、ピクセル差分特徴である
    請求項２に記載の情報処理装置。
  4. 前記変形パーツ画像は、前記パーツを絵により表したイラスト画像であり、
    前記イラスト画像は、所定の画像処理により得られる前記モデル画像との類似度、あるいはユーザからの指示に基づいて、前記モデル画像と対応付けられている
    請求項２に記載の情報処理装置。
  5. 前記イラスト画像は、前記顔の輪郭の画像上の複数のパーツ点に対応するアンカー点を有しており、
    前記生成手段は、前記アンカー点の間隔が前記パーツ点の間隔よりも狭く設定されている場合には前記イラスト画像を拡大してから配置し、前記アンカー点の間隔が前記パーツ点の間隔よりも広く設定されている場合には前記イラスト画像を縮小してから配置する
    請求項４に記載の情報処理装置。
  6. 前記対象画像は、撮像された撮像画像であり、
    前記変形画像は、抽出された顔領域内の顔画像を絵により表した似顔絵画像である
    請求項４に記載の情報処理装置。
  7. 生成された前記変形画像を表示する表示手段をさらに備える
    請求項１に記載の情報処理装置。
  8. 対象画像から変形画像を生成する情報処理装置の情報処理方法において、
    前記対象画像から顔領域を検出し、
    検出された前記顔領域の特徴点を検出し、
    検出された前記顔領域内の顔画像から、所定のパーツを含んでいるパーツ領域を抽出し、
    前記パーツを変形させて表した変形パーツ画像に対応付けられたモデル画像の中から、抽出された前記パーツ領域内のパーツ画像と類似する前記モデル画像を判定し、
    判定結果に応じて、前記モデル画像に対応付けられた前記変形パーツ画像を選択し、
    検出された前記特徴点から得られる顔の輪郭の画像に対して、選択された前記変形パーツ画像を配置し、前記変形画像を生成する
    ステップを含む情報処理方法。
  9. 対象画像から変形画像を生成する機器を制御するコンピュータに実行させるプログラムであって、
    前記対象画像から顔領域を検出し、
    検出された前記顔領域の特徴点を検出し、
    検出された前記顔領域内の顔画像から、所定のパーツを含んでいるパーツ領域を抽出し、
    前記パーツを変形させて表した変形パーツ画像に対応付けられたモデル画像の中から、抽出された前記パーツ領域内のパーツ画像と類似する前記モデル画像を判定し、
    判定結果に応じて、前記モデル画像に対応付けられた前記変形パーツ画像を選択し、
    検出された前記特徴点から得られる顔の輪郭の画像に対して、選択された前記変形パーツ画像を配置し、前記変形画像を生成する
    ステップを含むプログラム。
JP2009242771A 2009-10-21 2009-10-21 情報処理装置及び方法、並びにプログラム Pending JP2011090466A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2009242771A JP2011090466A (ja) 2009-10-21 2009-10-21 情報処理装置及び方法、並びにプログラム
US12/902,744 US8625859B2 (en) 2009-10-21 2010-10-12 Information processing apparatus, information processing method, and program
CN2010105060640A CN102043965A (zh) 2009-10-21 2010-10-13 信息处理设备，信息处理方法和程序
EP10187577.1A EP2315158B1 (en) 2009-10-21 2010-10-14 Information processing apparatus, information processing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009242771A JP2011090466A (ja) 2009-10-21 2009-10-21 情報処理装置及び方法、並びにプログラム

Publications (2)

Publication Number Publication Date
JP2011090466A true JP2011090466A (ja) 2011-05-06
JP2011090466A5 JP2011090466A5 (ja) 2012-10-25

Family

ID=43721276

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009242771A Pending JP2011090466A (ja) 2009-10-21 2009-10-21 情報処理装置及び方法、並びにプログラム

Country Status (4)

Country Link
US (1) US8625859B2 (ja)
EP (1) EP2315158B1 (ja)
JP (1) JP2011090466A (ja)
CN (1) CN102043965A (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013168050A (ja) * 2012-02-16 2013-08-29 Casio Comput Co Ltd 画像生成装置、画像生成方法及びプログラム
JP2014062984A (ja) * 2012-09-20 2014-04-10 Xing Inc 音発生装置及び音発生用プログラム
JP2014219847A (ja) * 2013-05-08 2014-11-20 株式会社デンソー 物体識別装置
EP2816502A1 (en) 2013-06-17 2014-12-24 Betser Information Technologies Limited Retouching of portait images based on supervised face feature detection
JP2016118991A (ja) * 2014-12-22 2016-06-30 カシオ計算機株式会社 画像生成装置、画像生成方法及びプログラム
JP7358881B2 (ja) 2019-09-26 2023-10-11 株式会社Ｊｖｃケンウッド アバター生成装置、移動体端末、服飾マッチングシステム、アバター生成方法およびプログラム

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012068948A (ja) * 2010-09-24 2012-04-05 Renesas Electronics Corp 顔属性推定装置およびその方法
US9053356B2 (en) * 2010-10-22 2015-06-09 Nec Solution Innovators, Ltd. Attribute determining method, attribute determining apparatus, program, recording medium, and attribute determining system
US9330483B2 (en) * 2011-04-11 2016-05-03 Intel Corporation Avatar facial expression techniques
TWI467498B (zh) * 2011-12-19 2015-01-01 Ind Tech Res Inst 影像識別方法及系統
US9177130B2 (en) * 2012-03-15 2015-11-03 Google Inc. Facial feature detection
JP5966657B2 (ja) * 2012-06-22 2016-08-10 カシオ計算機株式会社 画像生成装置、画像生成方法及びプログラム
KR101726692B1 (ko) * 2012-08-24 2017-04-14 한화테크윈 주식회사 객체 추출 장치 및 방법
US20140071121A1 (en) * 2012-09-11 2014-03-13 Digital Signal Corporation System and Method for Off Angle Three-Dimensional Face Standardization for Robust Performance
KR102013928B1 (ko) * 2012-12-28 2019-08-23 삼성전자주식회사 영상 변형 장치 및 그 방법
JP6111723B2 (ja) * 2013-02-18 2017-04-12 カシオ計算機株式会社 画像生成装置、画像生成方法及びプログラム
US10044849B2 (en) * 2013-03-15 2018-08-07 Intel Corporation Scalable avatar messaging
JP6304999B2 (ja) * 2013-10-09 2018-04-04 アイシン精機株式会社 顔検出装置、方法およびプログラム
JP6664163B2 (ja) * 2015-08-05 2020-03-13 キヤノン株式会社 画像識別方法、画像識別装置及びプログラム
US10860887B2 (en) * 2015-11-16 2020-12-08 Samsung Electronics Co., Ltd. Method and apparatus for recognizing object, and method and apparatus for training recognition model
CN106778453B (zh) * 2015-11-25 2020-05-12 腾讯科技（深圳）有限公司 人脸图像中检测眼镜佩戴的方法及装置
CN106887024B (zh) * 2015-12-16 2019-09-17 腾讯科技（深圳）有限公司 照片的处理方法及处理系统
US10810744B2 (en) * 2016-05-27 2020-10-20 Rakuten, Inc. Image processing device, image processing method and image processing program
JP6872742B2 (ja) * 2016-06-30 2021-05-19 学校法人明治大学 顔画像処理システム、顔画像処理方法及び顔画像処理プログラム
WO2018033137A1 (zh) * 2016-08-19 2018-02-22 北京市商汤科技开发有限公司 在视频图像中展示业务对象的方法、装置和电子设备
CN107369202B (zh) * 2017-07-10 2020-04-21 北京航空航天大学 姿势引导的跨类别三维模型组合建模方法及装置
CN108509915B (zh) * 2018-04-03 2021-10-26 百度在线网络技术（北京）有限公司 人脸识别模型的生成方法和装置
CN109145704B (zh) * 2018-06-14 2022-02-22 西安电子科技大学 一种基于人脸属性的人脸画像识别方法
US11055887B2 (en) * 2018-11-29 2021-07-06 Adobe Inc. Modifying digital content with digital effects using facial skin mask
JP7374453B2 (ja) * 2019-03-28 2023-11-07 株式会社イシダ 学習済みモデル生成方法、学習済みモデル生成装置、商品判別方法、商品判別装置、商品判別システム及び計量装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1125253A (ja) * 1997-07-07 1999-01-29 Onishi Netsugaku:Kk 眉描画方法
JP2004005265A (ja) * 2002-05-31 2004-01-08 Omron Corp 画像合成方法、画像合成装置、画像合成システム
JP2007047975A (ja) * 2005-08-09 2007-02-22 Fujifilm Corp デジタル画像の複数対象物検出方法および装置並びにプログラム
JP2009163465A (ja) * 2007-12-29 2009-07-23 Yurakusha:Kk 似顔絵イラストデータ提供システム

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08305836A (ja) 1995-05-09 1996-11-22 Casio Comput Co Ltd 顔画像作成装置
JP3139617B2 (ja) 1996-03-25 2001-03-05 オムロン株式会社 似顔絵作成方法及び装置
GB9626825D0 (en) * 1996-12-24 1997-02-12 Crampton Stephen J Avatar kiosk
CA2312315A1 (en) * 1997-12-01 1999-06-10 Arsev H. Eraslan Three-dimensional face identification system
US6504546B1 (en) * 2000-02-08 2003-01-07 At&T Corp. Method of modeling objects to synthesize three-dimensional, photo-realistic animations
US6845171B2 (en) * 2001-11-19 2005-01-18 Microsoft Corporation Automatic sketch generation
EP1495447A1 (en) * 2002-03-26 2005-01-12 KIM, So-Woon System and method for 3-dimension simulation of glasses
US7227976B1 (en) * 2002-07-08 2007-06-05 Videomining Corporation Method and system for real-time facial image enhancement
WO2004081855A1 (en) * 2003-03-06 2004-09-23 Animetrics, Inc. Generation of image databases for multifeatured objects
JP4517633B2 (ja) 2003-11-25 2010-08-04 ソニー株式会社 対象物検出装置及び方法
WO2006023046A1 (en) * 2004-06-21 2006-03-02 Nevengineering, Inc. Single image based multi-biometric system and method
US20070080967A1 (en) * 2005-10-11 2007-04-12 Animetrics Inc. Generation of normalized 2D imagery and ID systems via 2D to 3D lifting of multifeatured objects
JP4829141B2 (ja) * 2007-02-09 2011-12-07 株式会社東芝 視線検出装置及びその方法
CN101034481A (zh) * 2007-04-06 2007-09-12 湖北莲花山计算机视觉和信息科学研究院 一种肖像画的自动生成方法
CN101308571A (zh) * 2007-05-15 2008-11-19 上海中科计算技术研究所 一种利用主动网格与人脸识别结合生成新人脸的方法
US8111281B2 (en) * 2007-06-29 2012-02-07 Sony Ericsson Mobile Communications Ab Methods and terminals that control avatars during videoconferencing and other communications
CN101159064B (zh) * 2007-11-29 2010-09-01 腾讯科技（深圳）有限公司 画像生成系统以及按照图像生成画像的方法
CN101169830A (zh) * 2007-11-30 2008-04-30 西安电子科技大学 基于嵌入式隐马尔可夫模型和选择性集成的人脸画像自动生成方法
WO2009101153A2 (en) * 2008-02-13 2009-08-20 Ubisoft Entertainment S.A. Live-action image capture
CN101482925B (zh) * 2009-01-16 2012-01-04 西安电子科技大学 基于局部嵌入式隐马尔可夫模型的照片生成方法
US8818883B2 (en) * 2009-07-23 2014-08-26 Apple Inc. Personalized shopping avatar
US8818131B2 (en) * 2010-08-20 2014-08-26 Adobe Systems Incorporated Methods and apparatus for facial feature replacement
KR101514327B1 (ko) * 2010-11-04 2015-04-22 한국전자통신연구원 얼굴 아바타 생성 장치 및 방법
US9352225B2 (en) * 2011-08-18 2016-05-31 Game Nation, Inc. System and method for providing a multi-player game experience

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1125253A (ja) * 1997-07-07 1999-01-29 Onishi Netsugaku:Kk 眉描画方法
JP2004005265A (ja) * 2002-05-31 2004-01-08 Omron Corp 画像合成方法、画像合成装置、画像合成システム
JP2007047975A (ja) * 2005-08-09 2007-02-22 Fujifilm Corp デジタル画像の複数対象物検出方法および装置並びにプログラム
JP2009163465A (ja) * 2007-12-29 2009-07-23 Yurakusha:Kk 似顔絵イラストデータ提供システム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CSND200800937009; 山下 隆義: '物体認識にチャレンジ 統計的学習手法を用いた物体認識における特徴量の進化' 画像ラボ ２００９．１ 第２０巻 第１号, 20090110, Ｐ．５３-５８, 日本工業出版株式会社 *
JPN6013031734; 山下 隆義: '物体認識にチャレンジ 統計的学習手法を用いた物体認識における特徴量の進化' 画像ラボ ２００９．１ 第２０巻 第１号, 20090110, Ｐ．５３-５８, 日本工業出版株式会社 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013168050A (ja) * 2012-02-16 2013-08-29 Casio Comput Co Ltd 画像生成装置、画像生成方法及びプログラム
JP2014062984A (ja) * 2012-09-20 2014-04-10 Xing Inc 音発生装置及び音発生用プログラム
JP2014219847A (ja) * 2013-05-08 2014-11-20 株式会社デンソー 物体識別装置
US9367735B2 (en) 2013-05-08 2016-06-14 Denso Corporation Object identification device
EP2816502A1 (en) 2013-06-17 2014-12-24 Betser Information Technologies Limited Retouching of portait images based on supervised face feature detection
JP2016118991A (ja) * 2014-12-22 2016-06-30 カシオ計算機株式会社 画像生成装置、画像生成方法及びプログラム
JP7358881B2 (ja) 2019-09-26 2023-10-11 株式会社Ｊｖｃケンウッド アバター生成装置、移動体端末、服飾マッチングシステム、アバター生成方法およびプログラム

Also Published As

Publication number Publication date
CN102043965A (zh) 2011-05-04
US20110091071A1 (en) 2011-04-21
EP2315158A3 (en) 2013-08-14
EP2315158A2 (en) 2011-04-27
EP2315158B1 (en) 2018-08-01
US8625859B2 (en) 2014-01-07

Similar Documents

Publication Publication Date Title
JP2011090466A (ja) 情報処理装置及び方法、並びにプログラム
CN109325437B (zh) 图像处理方法、装置和系统
US9336610B2 (en) Information processing device, method, and program
CN109952594B (zh) 图像处理方法、装置、终端及存储介质
JP5629803B2 (ja) 画像処理装置、撮像装置、画像処理方法
US8897504B2 (en) Classification and organization of consumer digital images using workflow, and face detection and recognition
CN110678875A (zh) 用于引导用户拍摄自拍照的系统和方法
JP4743823B2 (ja) 画像処理装置、撮像装置、画像処理方法
Senechal et al. Combining AAM coefficients with LGBP histograms in the multi-kernel SVM framework to detect facial action units
JP4414401B2 (ja) 顔特徴点検出方法および装置並びにプログラム
WO2005008593A1 (ja) 画像処理装置、撮像装置、画像処理方法
US20090252435A1 (en) Cartoon personalization
JP2006011978A (ja) 画像処理方法、画像処理装置
Phimoltares et al. Face detection and facial feature localization without considering the appearance of image context
JP2000357221A (ja) 画像処理装置および画像処理方法、ならびに画像処理プログラムを記録した記録媒体
WO2019142127A1 (en) Method and system of creating multiple expression emoticons
JP7462120B2 (ja) ２次元（２ｄ）顔画像から色を抽出するための方法、システム及びコンピュータプログラム
JP2000259834A (ja) 人物認識装置における登録装置及びその方法
JP2024506170A (ja) 個人化された３ｄ頭部モデルおよび顔モデルを形成するための方法、電子装置、およびプログラム
JP4493448B2 (ja) 対象物識別装置および方法並びにプログラム
JP4541806B2 (ja) 対象物識別装置および方法並びにプログラム
US10380447B1 (en) Providing regions of interest in an image
Wang Integrated content-aware image retargeting system
Heravi Three-dimension facial de-ageing and ageing Modeling: extrinsic factors impact
CN117456576A (zh) 基于时空特征和注意力机制的微表情识别方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120910

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120910

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130624

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130627

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130815

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20131015