JP2009271885A - 年齢推定方法及び年齢推定装置 - Google Patents

年齢推定方法及び年齢推定装置 Download PDF

Info

Publication number
JP2009271885A
JP2009271885A JP2008124333A JP2008124333A JP2009271885A JP 2009271885 A JP2009271885 A JP 2009271885A JP 2008124333 A JP2008124333 A JP 2008124333A JP 2008124333 A JP2008124333 A JP 2008124333A JP 2009271885 A JP2009271885 A JP 2009271885A
Authority
JP
Japan
Prior art keywords
age
determination
face image
determinators
person
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008124333A
Other languages
English (en)
Other versions
JP5072102B2 (ja
Inventor
Hirobumi Fujii
博文 藤井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Original Assignee
Panasonic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp filed Critical Panasonic Corp
Priority to JP2008124333A priority Critical patent/JP5072102B2/ja
Publication of JP2009271885A publication Critical patent/JP2009271885A/ja
Application granted granted Critical
Publication of JP5072102B2 publication Critical patent/JP5072102B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

【課題】安定して年齢推定することができる年齢推定方法及び年齢推定装置を提供する。
【解決手段】顔の特徴量と年齢は完全な相関関係にない(例外が多い)ことに着目し、所定の年齢以上/未満に大きく分類する判定機3−1〜3−6と、各判定機3−1〜3−6の判定結果を統合することにより顔画像の人物の年齢を推定する判定結果統合部4とを備える。これにより、所定の年齢前後では“実年齢と見かけ年齢の違い”、“見かけ年齢の個人差・バラツキ”、“性別による経年傾向の違い”が原因で誤判定する可能性が少なからずあるものの、所定の年齢から離れた顔に対する判定性能を高くとることができ、従来の年齢推定方法よりも安定した年齢推定が可能となる。また、大まかに分類する判定機3−1〜3−6とすることで少数の学習データで学習が可能となり、学習が容易になる。
【選択図】図1

Description

本発明は、顔の特徴から年齢を推定する年齢推定方法及び年齢推定装置に関する。
従来の年齢推定方法として、例えば特許文献1には、実年齢が既知の1又は複数の学習顔から複数の特徴量を抽出し、抽出した各学習顔の複数の特徴量と各学習顔の実年齢との相関関係を重回帰分析(多変量解析の一種)により求めることが開示されている。また、特許文献1には、見かけ年齢が既知の1又は複数の学習顔から複数の特徴量を抽出し、抽出した各学習顔の複数の特徴量と各学習顔の見かけ年齢との相関関係を重回帰分析により求めることも開示されている。
特開2005−148880号公報
しかしながら、顔の見かけ年齢と実年齢には大まかに相関関係があるものの、以下の(1)〜(3)に示すように、学習データとしては矛盾が多く、安定して年齢推定することが困難であった。
(1)実年齢と見かけ年齢の違い(老け顔、童顔など)
(2)見かけ年齢の個人差・バラツキ
(3)性別による経年傾向の違い(成長期のズレ、化粧、アンチエイジング(抗老化)など)
本発明は、かかる事情に鑑みてなされたものであり、安定して年齢推定することができる年齢推定方法及び年齢推定装置を提供することを目的とする。
本発明の年齢推定方法は、入力された顔画像から特徴量を抽出する特徴量抽出工程と、互いに異なる所定の年齢を基準とする複数の判定機を用いて、前記特徴量抽出工程で抽出された特徴量に基づいて、前記複数の判定機の各々が、前記顔画像の人物の年齢が所定の年齢以上であるか否かを判定する判定工程と、前記判定工程における前記複数の判定機からの判定結果を統合することにより前記顔画像の人物の年齢を推定する判定結果統合工程と、を備えた。
この方法によれば、顔の特徴量と年齢は完全な相関関係にない(例外が多い)ことに着目し、所定の年齢以上/未満に大きく分類する複数の判定機を用いて、各判定機の判定結果を統合して年齢推定するので、所定の年齢前後では“実年齢と見かけ年齢の違い”、“見かけ年齢の個人差・バラツキ”、“性別による経年傾向の違い”が原因で誤判定する可能性が少なからずあるものの、所定の年齢から離れた顔に対する判定性能を高くとることができ、従来の年齢推定方法よりも安定した年齢推定が可能となる。
前記判定工程における前記複数の判定機からの判定結果の統合を多数決加算又は尤度加算とすることで、誤判定を低く抑えることができる。
また、前記複数の判定機の各々が、顔画像の学習を前記顔画像の人物の年齢が前記所定の年齢以上であるか否かに分けて予め行う顔画像学習工程を備えることで、少数の学習データで学習が可能となり、学習が容易になる。
本発明の年齢推定装置は、入力された顔画像から特徴量を抽出する特徴量抽出手段と、前記特徴量抽出手段で抽出された特徴量に基づいて、各々が、前記顔画像の人物の年齢が所定の年齢以上であるか否かを判定する判定手段と、前記複数の判定手段からの判定結果を統合することにより前記顔画像の人物の年齢を推定する判定結果統合手段と、を備えた。
この構成によれば、所定の年齢以上/未満に大きく分類する複数の判定機を用いて、各判定機の判定結果を統合して年齢推定するので、所定の年齢前後では“実年齢と見かけ年齢の違い”、“見かけ年齢の個人差・バラツキ”、“性別による経年傾向の違い”が原因で誤判定する可能性が少なからずあるものの、所定の年齢から離れた顔に対する判定性能を高くとることができ、従来の年齢推定方法よりも安定した年齢推定が可能となる。また、大まかに分類する判定機とすることで少数の学習データで学習が可能となり、学習が容易になる。
本発明によれば、従来の年齢推定方法よりも安定した年齢推定が可能となる。また、大まかに分類する判定機とすることで少数の学習データで学習が可能となり、学習が容易になる。
以下、本発明を実施するための好適な実施の形態について、図面を参照して詳細に説明する。
図1は、本発明の一実施の形態に係る年齢推定装置の概略構成を示すブロック図である。図1において、本実施の形態の年齢推定装置1は、入力された顔画像から特徴量(輝度、エッジ情報等)を抽出する特徴量抽出部2と、特徴量抽出部2で抽出された特徴量に基づいて、各々が、顔画像の人物の年齢が所定の年齢以上であるか否かを判定する6台の判定機3−1〜3−6と、6台の判定機3−1〜3−6の各々からの判定結果を統合することにより顔画像の人物の年齢を推定する判定結果統合部4とを有する。特徴量抽出部2と判定機3−1〜3−6と判定結果統合部4は、それぞれ専用のハードウェア構成としても良いし、それぞれの機能をプログラム化してマイクロコンピュータで実行する構成としても良い。
特徴量抽出部2に入力される顔画像は、図示せぬカメラで撮像されたもの、あるいはカメラで撮像されて録画装置に記録されたものなどである。判定機3−1は、顔画像の人物の年齢が10歳以上であるか否かを判定し、判定機3−2は、顔画像の人物の年齢が20歳以上であるか否かを判定する。また、判定機3−3は、顔画像の人物の年齢が30歳以上であるか否かを判定し、判定機3−4は、顔画像の人物の年齢が40歳以上であるか否かを判定する。また、判定機3−5は、顔画像の人物の年齢が50歳以上であるか否かを判定し、判定機3−6は、顔画像の人物の年齢が60歳以上であるか否かを判定する。各判定機3−1〜3−6の判定結果は以上/未満の2値か、又は尤度で出力される。
また、各判定機3−1〜3−6の特性は、所定の年齢から離れている入力に対しては高い確率で正しく判定可能であり、所定の年齢近くの入力に対しては判定性能が低下する特性を有している。例えば60歳を判定する判定機3−6は、若年者の顔画像に対して高い確率で60歳未満と判定できるが、50代後半の顔画像に対して60歳以上と判定することがある。判定結果を尤度で示すと、図2に示すように所定の年齢から離れるにしたがって尤度は高くなり、所定の年齢近くでは尤度は低くなる。
また、各判定機3−1〜3−6は、図3に示すように、顔画像の学習を顔画像の人物の年齢が所定の年齢以上であるか否かに分けて予め行う。例えば、10歳の判定機3−1は、10歳以上と10歳未満に分けて学習する。すなわち、最若年の顔画像のみを10歳未満として学習する。また、60歳の判定機3−6は、60歳以上と60歳未満に分けて学習する。すなわち、最高齢の顔画像のみを60歳以上として学習する。大まかに分類する判定機3−1〜3−6とすることで少数の学習データで学習が可能となり、学習が容易になる。
図1に戻り、判定結果統合部4は、各判定機3−1〜3−6からの判定結果を統合して顔画像の人物の年齢を推定する。判定結果統合部4は、各判定機3−1〜3−6の判定結果が以上/未満の2値をとる場合は多数決加算とし、尤度をとる場合は尤度加算とする。図4は、35歳の顔画像を入力した場合で、各判定機3−1〜3−6の出力を以上/未満の2値をとる場合の各判定機3−1〜3−6の出力結果(a)と判定結果統合部4の出力結果(b)を示す図である。出力結果(a)に示すように10歳〜30歳を判定する判定機3−1〜3−3の各判定結果は「以上」となっており、40歳〜60歳を判定する判定機3−4〜3−6の各判定結果は「未満」となっている。したがって、出力結果(b)に示すように、10歳の判定機3−1の出力は「10代」から「60代以上」の全てにおいて「○」となり、20歳の判定機3−2の出力は「20代」から「60代以上」の全てにおいて「○」となり、30歳の判定機3−3の出力は「30代」から「60代以上」の全てにおいて「○」となり、40歳の判定機3−4の出力は「10代未満」から「30代」の全てにおいて「○」となり、50歳の判定機3−5の出力は「10代未満」から「40代」の全てにおいて「○」となり、60歳の判定機3−6の出力は「10代未満」から「50代」の全てにおいて「○」となる。この結果、多数決「6」で入力画像の年齢は30代と推定される。
他方、図5は、35歳の顔画像を入力した場合で、各判定機3−1〜3−6の出力を尤度をとる場合の各判定機3−1〜3−6の出力結果(a)と判定結果統合部4の出力結果(b)を示す図である。出力結果(a)に示すように、10歳を判定する判定機3−1の判定結果は未満が「5」,以上が「95」、20歳を判定する判定機3−2の判定結果は未満が「10」,以上が「90」、30歳を判定する判定機3−3の判定結果は未満が「40」,以上が「60」、40歳を判定する判定機3−4の判定結果は未満が「70」,以上が「30」、50歳を判定する判定機3−5の判定結果は未満が「90」,以上が「10」、60歳を判定する判定機3−6の判定結果は未満が「95」,以上が「5」となっている。したがって、出力結果(b)に示すように、10歳の判定機3−1の出力は、10代未満が「5」、10代が「95」、20代が「95」、30代が「95」、40代が「95」、50代が「95」、60代以上が「95」となり、20歳の判定機3−2の出力は、10代未満が「10」、10代が「10」、20代が「90」、30代が「90」、40代が「90」、50代が「90」、60代以上が「90」となり、30歳の判定機3−3の出力は、10代未満が「40」、10代が「40」、20代が「40」、30代が「60」、40代が「60」、50代が「60」、60代以上が「60」となり、40歳の判定機3−4の出力は、10代未満が「70」、10代が「70」、20代が「70」、30代が「70」、40代が「30」、50代が「30」、60代以上が「30」となり、50歳の判定機3−5の出力は、10代未満が「90」、10代が「90」、20代が「90」、30代が「90」、40代が「90」、50代が「10」、60代以上が「10」となり、60歳の判定機3−6の出力は、10代未満が「95」、10代が「95」、20代が「95」、30代が「95」、40代が「95」、50代が「95」、60代以上が「5」となる。この結果、尤度値「500」で入力画像の年齢は30代と推定される。
このように本実施の形態の年齢推定装置1によれば、入力された顔画像から特徴量を抽出する特徴量抽出部2と、特徴量抽出部2で抽出された特徴量に基づいて、各々が、顔画像の人物の年齢が所定の年齢以上であるか否かを判定する6台の判定機3−1〜3−6と、6台の判定機3−1〜3−6の各々からの判定結果を統合することにより顔画像の人物の年齢を推定する判定結果統合部4とを備えたので、所定の年齢前後では“実年齢と見かけ年齢の違い”、“見かけ年齢の個人差・バラツキ”、“性別による経年傾向の違い”が原因で誤判定する可能性が少なからずあるものの、所定の年齢から離れた顔に対する判定性能を高くとることができ、従来の年齢推定方法よりも安定した年齢推定が可能となる。また、大まかに分類する判定機3−1〜3−6とすることで少数の学習データで学習が可能となり、学習が容易になる。
なお、本実施の形態において、性別による経年傾向の違い(成長期のズレ、化粧など)に対しては、性別毎に各判定機3−1〜3−6を学習させておき、年齢推定時に性別判定処理を用いて性別に一致した判定機に切換えるようにしても良い。
また、本実施の形態において、各判定機3−1〜3−6の学習に統計的見かけ年齢を用いても良い。統計的見かけ年齢は、特定の顔に対する複数の人の見かけ年齢を集計し、見かけ年齢のバラツキが大きい顔は学習データから除去し、残りを学習データとする。見かけ年齢は複数の人の見かけ年齢を平均する。
また、本実施の形態において、6台の判定機3−1〜3−6を用いたが、判定機の台数に限定はなく、それ以下でも以上でも構わない。また、判定機間の年齢差を10歳間隔としたが、この間隔も限定はなく、例えば5歳間隔でも構わない。
本発明は、安定して年齢推定することができるといった効果を有し、年齢を推定する装置全般への適用が可能である。
本発明の一実施の形態に係る年齢推定装置の概略構成を示すブロック図 図1の各判定機において尤度判定機能を持たせた場合の特性を示す図 図1の各判定機における学習方法の一例を説明するための図 図1の年齢推定装置に35歳の顔画像を入力した場合で、各判定機の出力を以上/未満の2値をとる場合の各判定機の出力結果(a)と判定結果統合部の出力結果(b)を示す図 図1の年齢推定装置に35歳の顔画像を入力した場合で、各判定機の出力を尤度をとる場合の各判定機の出力結果(a)と判定結果統合部の出力結果(b)を示す図
符号の説明
1 年齢推定装置
2 特徴量抽出部
3−1〜3−6 判定機
4 判定結果統合部

Claims (5)

  1. 入力された顔画像から特徴量を抽出する特徴量抽出工程と、
    互いに異なる所定の年齢を基準とする複数の判定機を用いて、前記特徴量抽出工程で抽出された特徴量に基づいて、前記複数の判定機の各々が、前記顔画像の人物の年齢が所定の年齢以上であるか否かを判定する判定工程と、
    前記判定工程における前記複数の判定機からの判定結果を統合することにより前記顔画像の人物の年齢を推定する判定結果統合工程と、
    を備えた年齢推定方法。
  2. 前記判定工程における前記複数の判定機からの判定結果の統合が、多数決加算である請求項1に記載の年齢推定方法。
  3. 前記判定工程における前記複数の判定機からの判定結果の統合が、尤度加算である請求項1に記載の年齢推定方法。
  4. 前記複数の判定機の各々が、顔画像の学習を前記顔画像の人物の年齢が前記所定の年齢以上であるか否かに分けて予め行う顔画像学習工程を備えた請求項1乃至請求項3のいずれかに記載の年齢推定方法。
  5. 入力された顔画像から特徴量を抽出する特徴量抽出手段と、
    前記特徴量抽出手段で抽出された特徴量に基づいて、各々が、前記顔画像の人物の年齢が所定の年齢以上であるか否かを判定する判定手段と、
    前記複数の判定手段からの判定結果を統合することにより前記顔画像の人物の年齢を推定する判定結果統合手段と、
    を備えた年齢推定装置。
JP2008124333A 2008-05-12 2008-05-12 年齢推定方法及び年齢推定装置 Expired - Fee Related JP5072102B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008124333A JP5072102B2 (ja) 2008-05-12 2008-05-12 年齢推定方法及び年齢推定装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008124333A JP5072102B2 (ja) 2008-05-12 2008-05-12 年齢推定方法及び年齢推定装置

Publications (2)

Publication Number Publication Date
JP2009271885A true JP2009271885A (ja) 2009-11-19
JP5072102B2 JP5072102B2 (ja) 2012-11-14

Family

ID=41438349

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008124333A Expired - Fee Related JP5072102B2 (ja) 2008-05-12 2008-05-12 年齢推定方法及び年齢推定装置

Country Status (1)

Country Link
JP (1) JP5072102B2 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013005002A (ja) * 2011-06-13 2013-01-07 Eastman Kodak Co 撮像装置
JP2014048670A (ja) * 2012-08-29 2014-03-17 Buffalo Inc 画像処理装置及びプログラム
US9165183B2 (en) 2013-02-06 2015-10-20 Kabushiki Kaisha Toshiba Estimating apparatus, method thereof, and computer program product therefor
US9189679B2 (en) 2010-06-21 2015-11-17 Pola Chemical Industries, Inc. Age estimation method and sex determination method
US9189681B2 (en) 2012-07-09 2015-11-17 Canon Kabushiki Kaisha Image processing apparatus, method thereof, and computer-readable storage medium
JP2017027628A (ja) * 2016-11-07 2017-02-02 株式会社バッファロー 画像処理装置及びプログラム
JP2017174054A (ja) * 2016-03-23 2017-09-28 セコム株式会社 属性推定装置
JP2019511037A (ja) * 2016-02-19 2019-04-18 アリババ グループ ホウルディング リミテッド 機械学習モデルのモデリング方法及びデバイス
CN109886099A (zh) * 2019-01-11 2019-06-14 西安电子科技大学 一种年龄评估评判标准模型的建立方法
JP2019124987A (ja) * 2018-01-12 2019-07-25 株式会社リコー 情報処理システム、プログラム、情報処理装置及び情報出力方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06309464A (ja) * 1993-04-20 1994-11-04 Fujitsu Ltd 多判定器によるパターン認識装置
JP2005202932A (ja) * 2003-11-19 2005-07-28 Mitsubishi Electric Research Laboratories Inc データを複数のクラスに分類する方法
JP2009230751A (ja) * 2008-02-25 2009-10-08 Omron Corp 年令推定装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06309464A (ja) * 1993-04-20 1994-11-04 Fujitsu Ltd 多判定器によるパターン認識装置
JP2005202932A (ja) * 2003-11-19 2005-07-28 Mitsubishi Electric Research Laboratories Inc データを複数のクラスに分類する方法
JP2009230751A (ja) * 2008-02-25 2009-10-08 Omron Corp 年令推定装置

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9189679B2 (en) 2010-06-21 2015-11-17 Pola Chemical Industries, Inc. Age estimation method and sex determination method
JP2013005002A (ja) * 2011-06-13 2013-01-07 Eastman Kodak Co 撮像装置
US9189681B2 (en) 2012-07-09 2015-11-17 Canon Kabushiki Kaisha Image processing apparatus, method thereof, and computer-readable storage medium
JP2014048670A (ja) * 2012-08-29 2014-03-17 Buffalo Inc 画像処理装置及びプログラム
US9165183B2 (en) 2013-02-06 2015-10-20 Kabushiki Kaisha Toshiba Estimating apparatus, method thereof, and computer program product therefor
JP2019511037A (ja) * 2016-02-19 2019-04-18 アリババ グループ ホウルディング リミテッド 機械学習モデルのモデリング方法及びデバイス
JP7102344B2 (ja) 2016-02-19 2022-07-19 アリババ グループ ホウルディング リミテッド 機械学習モデルのモデリング方法及びデバイス
JP2017174054A (ja) * 2016-03-23 2017-09-28 セコム株式会社 属性推定装置
JP2017027628A (ja) * 2016-11-07 2017-02-02 株式会社バッファロー 画像処理装置及びプログラム
JP2019124987A (ja) * 2018-01-12 2019-07-25 株式会社リコー 情報処理システム、プログラム、情報処理装置及び情報出力方法
JP7062960B2 (ja) 2018-01-12 2022-05-09 株式会社リコー 情報処理システム、プログラム、情報処理装置及び情報出力方法
CN109886099A (zh) * 2019-01-11 2019-06-14 西安电子科技大学 一种年龄评估评判标准模型的建立方法
CN109886099B (zh) * 2019-01-11 2020-11-10 西安电子科技大学 一种年龄评估评判标准模型的建立方法

Also Published As

Publication number Publication date
JP5072102B2 (ja) 2012-11-14

Similar Documents

Publication Publication Date Title
JP5072102B2 (ja) 年齢推定方法及び年齢推定装置
Lu et al. An experimental evaluation of covariates effects on unconstrained face verification
US9996737B2 (en) Method and system for automatically recognizing facial expressions via algorithmic periocular localization
JP5176572B2 (ja) 画像処理装置および方法、並びにプログラム
Knoche et al. Cross-quality LFW: A database for analyzing cross-resolution image face recognition in unconstrained environments
US10984252B2 (en) Apparatus and method for analyzing people flows in image
CN111652290B (zh) 一种对抗样本的检测方法及装置
US8942469B2 (en) Method for classification of videos
US20090141940A1 (en) Integrated Systems and Methods For Video-Based Object Modeling, Recognition, and Tracking
JP2012243180A (ja) 学習装置および方法、並びにプログラム
JP2011210238A (ja) 広告効果測定装置及びコンピュータプログラム
KR101330636B1 (ko) 얼굴시점 결정장치 및 방법과 이를 채용하는 얼굴검출장치및 방법
Vandal et al. Event detection: Ultra large-scale clustering of facial expressions
Christoudias et al. Co-training with noisy perceptual observations
JP2009211648A (ja) サポートベクトルの削減方法
Neto et al. PIC-Score: Probabilistic Interpretable Comparison Score for Optimal Matching Confidence in Single-and Multi-Biometric Face Recognition
Fourati et al. Face anti-spoofing with image quality assessment
Gaikwad et al. Face recognition using golden ratio for door access control system
Mousavi et al. Crowd estimation using histogram model classificationbased on improved uniform local binary pattern
WO2021106028A1 (ja) 機械学習装置、機械学習方法、及び、機械学習プログラムが格納された記録媒体
KR20180082680A (ko) 분류기를 학습시키는 방법 및 이를 이용한 예측 분류 장치
Sarridis et al. Towards Fair Face Verification: An In-depth Analysis of Demographic Biases
Taati et al. Towards aging-in-place: Automatic assessment of product usability for older adults with dementia
Li et al. Image saliency estimation via random walk guided by informativeness and latent signal correlations
Dharrao et al. Accurate face tagging with efficient regularizer and distance metric algorithm

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110502

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120601

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120612

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120703

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120724

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120820

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150831

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees