JP2014106794A - 顔認証装置、認証方法とそのプログラム、情報機器 - Google Patents

顔認証装置、認証方法とそのプログラム、情報機器 Download PDF

Info

Publication number
JP2014106794A
JP2014106794A JP2012260049A JP2012260049A JP2014106794A JP 2014106794 A JP2014106794 A JP 2014106794A JP 2012260049 A JP2012260049 A JP 2012260049A JP 2012260049 A JP2012260049 A JP 2012260049A JP 2014106794 A JP2014106794 A JP 2014106794A
Authority
JP
Japan
Prior art keywords
authentication
face
illumination information
authentication accuracy
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012260049A
Other languages
English (en)
Other versions
JP5652886B2 (ja
Inventor
Yusuke Tomita
祐介 冨田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Casio Mobile Communications Ltd
Original Assignee
NEC Casio Mobile Communications Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2012260049A priority Critical patent/JP5652886B2/ja
Application filed by NEC Casio Mobile Communications Ltd filed Critical NEC Casio Mobile Communications Ltd
Priority to CN202110902196.3A priority patent/CN113780079A/zh
Priority to US14/647,305 priority patent/US10083344B2/en
Priority to PCT/JP2013/081885 priority patent/WO2014084249A1/ja
Priority to CN201380062218.3A priority patent/CN104798103B/zh
Priority to EP13858220.0A priority patent/EP2927866A4/en
Publication of JP2014106794A publication Critical patent/JP2014106794A/ja
Application granted granted Critical
Publication of JP5652886B2 publication Critical patent/JP5652886B2/ja
Priority to US16/106,192 priority patent/US10614293B2/en
Priority to US16/121,863 priority patent/US10303926B2/en
Priority to US16/122,991 priority patent/US10956715B2/en
Priority to US17/179,816 priority patent/US20220148331A1/en
Priority to US18/120,053 priority patent/US20230206685A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/166Detection; Localisation; Normalisation using acquisition arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Collating Specific Patterns (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Input (AREA)
  • Studio Devices (AREA)

Abstract

【課題】照明環境に依存して、誤認証となることを低減することに貢献すること。
【解決手段】顔認証装置は、撮影パラメータを入力する撮影パラメータ入力部と、撮影パラメータに基づいて、照明情報を推定する照明情報推定部と、照明情報に基づいて、認証精度パラメータを制御する認証精度制御部と、を備える。
【選択図】図1

Description

本発明は、顔認証装置、認証方法とそのプログラム、情報機器に関し、特に、認証精度の制御に関する。
近年、多くの場面で、顔、指紋、虹彩等、生体情報を用いた個人認証が利用されている。特に、顔認証は、非接触で認証でき、かつユーザの負担が少ないことから、今後の利用拡大が期待されている。
特許文献1において、1つの高階調カメラ、及び複数の低階調カメラを用いて人物の顔画像を異なる方向から取得した後、顔認証に最適な顔画像を選択する技術が開示されている。特に、特許文献1において開示された技術では、高階調カメラで取得した高階調の入力画像から顔領域を検出し、検出した顔領域の画素値分布に基づいて、低階調カメラの明るさ制御を行う。
特開2009−134593号公報
なお、上記先行技術文献の開示を、本書に引用をもって繰り込むものとする。以下の分析は、本発明の観点からなされたものである。
顔認証を行う場合、まず、入力画像から、特徴点(目や鼻など)を正確に抽出することが求められる。さらに、顔認証を行う場合、データベースに登録された顔画像に類似した顔領域を抽出することが求められる。
ここで、照明環境に応じて、特徴点の検出精度、及び認証精度は異なる。例えば、消灯した室内で顔を撮影した場合、顔を鮮明に撮影できず、特徴点を誤検出する恐れがある。また、晴天時の屋外で顔を撮影した場合、太陽光の反射等の影響によって、特徴点を誤検出する恐れがある。
特許文献1で開示された技術では、照明環境に依存して、特徴点の検出精度、及び認証精度が低下することについては、考慮されていない。
照明環境に依存して、誤認証となることを低減することに貢献する顔認証装置、認証方法とそのプログラム、情報機器が、望まれる。
本発明の第1の視点によれば、撮影パラメータを入力する撮影パラメータ入力部と、前記撮影パラメータに基づいて、照明情報を推定する照明情報推定部と、前記照明情報に基づいて、認証精度パラメータを制御する認証精度制御部と、を備える顔認証装置が、提供される。
本発明の第2の視点によれば、撮影パラメータを入力する工程と、前記撮影パラメータに基づいて、照明情報を推定する工程と、前記照明情報に基づいて、認証精度パラメータを制御する認証精度制御工程と、を含む認証方法が、提供される。
本発明の第3の視点によれば、撮影パラメータを入力する処理と、前記撮影パラメータに基づいて、照明情報を推定する処理と、前記照明情報に基づいて、認証精度パラメータを制御する認証精度制御処理と、を顔認証装置を制御するコンピュータに実行させるプログラムが、提供される。
なお、このプログラムは、コンピュータが読み取り可能な記憶媒体に記録することができる。記憶媒体は、半導体メモリ、ハードディスク、磁気記録媒体、光記録媒体等の非トランジェント(non-transient)なものとすることができる。本発明は、コンピュータプログラム製品として具現することも可能である。
本発明の第4の視点によれば、撮影パラメータを入力する撮影パラメータ入力部と、前記撮影パラメータに基づいて、照明情報を推定する照明情報推定部と、前記照明情報に基づいて、認証精度パラメータを制御する認証精度制御部と、を備える顔認証装置を備える情報機器が、提供される。
本発明の各視点によれば、照明環境に依存して、誤認証となることを低減することに貢献する顔認証装置、認証方法とそのプログラム、情報機器が、提供される。
一実施形態の概要を説明するための図である。 第1の実施形態に係る顔認証装置1の内部構成の一例を示すブロック図である。 第1の実施形態に係る撮影装置20の内部構成の一例を示すブロック図である。 照度と、FARと、の対応関係を示すテーブルの一例を示す図である。 照度と、FARと、の対応関係を示す関数の一例を示す図である。 認証精度の制御処理の一例を示すフローチャートである。 第2の実施形態に係る情報機器2の全体構成の一例を示す平面図である。 第2の実施形態に係る情報機器2の内部構成の一例を示すブロック図である。
初めに、図1を用いて一実施形態の概要について説明する。なお、この概要に付記した図面参照符号は、理解を助けるための一例として各要素に便宜上付記したものであり、この概要の記載はなんらの限定を意図するものではない。
上述の通り、顔認証を行う場合、照明環境に依存して、認証精度が低下する場合がある。そのため、照明環境に依存して、誤認証となることを低減することに貢献する顔認証装置が、望まれる。
そこで、一例として、図1に示す顔認証装置100を提供する。顔認証装置100は、撮影パラメータを入力する撮影パラメータ入力部101と、撮影パラメータに基づいて、照明情報を推定する照明情報推定部102と、照明情報に基づいて、認証精度パラメータを制御する認証精度制御部103と、を備える。
顔認証装置100は、撮影パラメータを入力する(ステップS1001)。撮影パラメータとは、撮影装置(カメラ)が被写体を撮影した際に、撮影条件として設定されたパラメータを意味する。特に、撮影パラメータは、ゲイン、露光時間、絞り値等、被写体の明るさに関係するパラメータを含むことが好ましい。そして、顔認証装置100は、撮影パラメータに基づいて、照明情報を推定する(ステップS1002)。照明情報とは、被写体周辺の明るさ(照明環境)を表す情報を意味する。そして、顔認証装置100は、照明情報に基づいて、認証精度パラメータを制御する(ステップS1003)。そのため、顔認証装置100は、顔認証を行う場合、照明環境に依存して、認証精度が低下することを抑制できる。従って、顔認証装置100は、照明環境に依存して、誤認証となることを低減することに貢献する。
以下に具体的な実施の形態について、図面を参照してさらに詳しく説明する。
[第1の実施形態]
第1の実施形態について、図面を用いてより詳細に説明する。
図2は、本実施形態に係る顔認証装置1の内部構成の一例を示すブロック図である。顔認証装置1は、画像取得部11と、顔認証部12と、撮影パラメータ入力部13と、照明情報推定部14と、認証精度制御部15と、認証精度管理データベース16と、顔画像データベース17と、を含んで構成される。そして、顔認証装置1は、撮影装置20と接続する。図2には、簡単のため、本実施形態に係る顔認証装置1に関係するモジュールを主に記載する。
まず、撮影装置20の詳細について説明する。
撮影装置20は、被写体を撮影する。具体的には、撮影装置20は、予め設定された撮影パラメータに基づいて、被写体を撮影する。
図3は、撮影装置20の内部構成の一例を示すブロック図である。撮影装置20は、撮影レンズ21と、撮像素子22と、撮影パラメータ記憶部23と、撮影制御部24と、を含んで構成される。図3には、簡単のため、本実施形態に係る撮影装置20に関係するモジュールを主に記載する。
撮影レンズ21は、ズームレンズやフォーカスレンズを含む複数の光学系で構成される。図3では、簡単のため、撮影レンズ21を一枚のレンズで示している。
撮像素子22は、例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)センサ等によって構成される。撮影レンズ21で集光した光信号は、撮像素子22の受光面で結像する。そして、撮像素子22は、受光した光信号を電気信号(アナログ信号)に変換する。
撮影パラメータ記憶部23は、撮影パラメータを記憶する。具体的には、撮影パラメータ記憶部23は、ゲイン、露光時間、絞り値等の撮影パラメータを記憶する。
撮影制御部24は、撮影装置20の全体を制御するとともに、図3に示す各部を制御する。具体的には、撮影制御部24は、撮影パラメータに基づいて、撮影処理を制御する。なお、撮影制御部24は、撮影装置20に搭載されたコンピュータに、そのハードウェアを用いて、撮影装置20の処理を実行させるコンピュータプログラムにより実現することもできる。
次に、顔認証装置1の詳細について説明する。
顔画像データベース17は、1又は2以上の人物の顔画像を記憶する。さらに、顔画像データベース17は、各人物に対して、複数の方向の顔画像を記憶してもよい。なお、以下の説明では、以下の説明では、顔画像データベース17に登録された画像を、テンプレート画像と呼ぶ。また、顔画像データベース17は、予め、テンプレート画像から特徴点を抽出し、記憶してもよい。
画像取得部11は、撮影装置20が撮影した画像を取得する。なお、以下の説明では、撮影装置20が撮影した画像を、認証対象画像と呼ぶ。認証対象画像は、顔領域を含むことが好ましい。
顔認証部12は、認証対象画像と、テンプレート画像と、を照合し、認証する。具体的には、顔認証部12は、認証対象画像、及びテンプレート画像から特徴点を抽出する。例えば、顔認証部12は、眼、口、鼻等の端点を、特徴点として抽出することが好ましい。そして、顔認証部12は、認証対象画像から抽出した特徴点と、テンプレート画像から抽出した特徴点を照合する。なお、顔の特徴点、及び顔の認証方法は各種あるが、その詳細は問わない。
撮影パラメータ入力部13は、撮影パラメータを入力する。具体的には、撮影パラメータ入力部13は、撮影パラメータ記憶部23を参照し、撮影パラメータを取得する。つまり、撮影パラメータ入力部13は、撮影装置20が被写体を撮影した際のゲイン、露光時間、絞り値等の撮影パラメータを取得する。
照明情報推定部14は、撮影パラメータに基づいて、照明情報を推定する。例えば、照明情報推定部14は、撮影パラメータに基づいて、照度(単位:lx ルクス)を推定してもよい。
例えば、照明情報推定部14は、以下の式(1)に基づいて、照度を推定してもよい。なお、これは、照度の推定方法を、式(1)に限定する趣旨ではない。
Figure 2014106794
E:照度
F:絞り値
M:撮影倍率
T:露光時間
ISO:感度
γ:定数
なお、γは、撮像素子に応じて異なる。例えば、γ=200〜235が好ましい。
認証精度制御部15は、照明情報に基づいて、認証精度パラメータを制御する。つまり、認証精度制御部15は、照明情報と、認証精度パラメータと、の対応関係に基づいて、認証精度を制御する。ここで、認証精度制御パラメータは、認証精度に影響を及ぼすパラメータを意味する。なお、以下の説明では、他人を誤って認証する割合を、FAR(他人受け入れ率:False Acceptance Rate)と表す。また、本人を拒否する割合を、FRR(本人拒否率:False Rejection Rate)と表す。認証精度が向上するほど、FAR、及びFRRが低下することが好ましい。
以下に、認証精度制御パラメータを例示する。ただし、以下の説明は、認証精度制御パラメータを、以下の例示に限定する趣旨ではない。
例えば、認証精度制御パラメータは、顔認証に使用する特徴点数であってもよい。つまり、認証精度制御部15は、照明情報に基づいて、顔認証に使用する特徴点数を制御してもよい。ここで、特徴点数が増加するほど、認証精度が向上する可能性が高い。そのため、認証精度制御部15は、特徴点数を変更することによって、認証精度を制御できる。
また、認証精度制御パラメータは、特徴点の重みであってもよい。つまり、認証精度制御部15は、照明情報に基づいて、特徴点の重みを制御してもよい。その場合、認証精度制御部15は、テンプレート画像と、認証対象画像と、の特徴点の類似度に基づいて、特徴点の重みを変更することが好ましい。類似度が低い特徴点が多いほど、誤認証する可能性が高くなる。そのため、認証精度制御部15は、特徴点の重みを変更することによって、認証精度を制御できる。
また、認証精度制御パラメータは、評価値の閾値であってもよい。つまり、顔認証部12において、評価値が所定の閾値を超えるか否かを、判断基準とする場合、認証精度制御部15は、照明情報に基づいて、評価値の閾値を制御してもよい。評価値は、各特徴点の類似度に基づいて、算出される値が好ましい。その場合、評価値の閾値が高くなるほど、誤認証する可能性は低下する。そのため、認証精度制御部15は、評価値の閾値を変更することによって、認証精度を制御できる。
例えば、顔認証部12は、各特徴点について、認証対象画像と、テンプレート画像と、の類似度を算出する。そして、顔認証部12は、算出した類似度の累積値等を、評価値としてもよい。評価値の算出方法は、各種あるが、詳細は問わない。
また、顔画像データベース17が、各人物に対して、複数の方向の顔画像を記憶してもよい。その場合、認証精度制御部15は、照明情報に基づいて、テンプレート画像の顔の方向のパターン数を制御してもよい。テンプレート画像の顔の方向を変更することによって、他人との違いが明確になる場合がある。そのため、認証精度制御部15は、テンプレート画像の顔の方向のパターン数を変更することによって、認証精度を制御できる。
認証精度管理データベース16は、照明情報と、認証精度パラメータと、を対応付けて記憶する。例えば、認証精度管理データベース16は、所定の範囲の照度毎に、所定の認証精度パラメータを対応付けて記憶してもよい。つまり、認証精度管理データベース16は、照明情報と、認証精度(FAR、FRR等を含む)と、を対応付けたテーブルを記憶してもよい。または、認証精度管理データベース16は、照明情報と、認証精度と、を対応付けた関数を記憶してもよい。
あるいは、認証精度管理データベース16は、照明情報と、認証精度制御パラメータと、の対応関係を記憶してもよい。例えば、認証精度管理データベース16は、照明情報と、特徴点数と、の対応関係を記憶してもよい。または、認証精度管理データベース16は、照明情報と、特徴点の重みと、の対応関係を記憶してもよい。あるいは、認証精度管理データベース16は、照明情報と、評価値の閾値と、の対応関係を記憶してもよい。または、認証精度管理データベース16は、照明情報と、FARと、の対応関係を記憶してもよい。なお、その場合、認証精度管理データベース16は、特徴点の数、評価値の閾値等に、FARを対応付けて記憶することが好ましい。
図4は、照度と、FARと、の対応関係を示すテーブルの一例を示す図である。例えば、消灯した屋内で顔を認証する場合、顔認証部12は、特徴点を抽出することが困難である可能性が高い。つまり、消灯した屋内で顔を認証する場合、顔認証部12は、正しく認証できない可能性が高い。
そこで、図4に示すように、認証精度制御部15は、消灯した屋内で顔を認証する場合、点灯した屋内で顔を認証する場合より、認証精度を低くすることが好ましい。具体的には、認証精度制御部15は、消灯した屋内で顔を認証する場合、FARを高くするように、認証精度制御パラメータを制御することが好ましい。つまり、認証精度制御部15は、消灯した屋内で顔を認証する場合、認証精度を低くする(FARを高くする)ように、認証精度制御パラメータを制御することが好ましい。
一方、曇天の屋外で顔を認証する場合、顔認証部12は、容易に特徴点を抽出できる可能性が高い。しかし、曇天の屋外で顔を認証する場合、顔認証部12は、他人を誤って認証する可能性も高い。つまり、曇天の屋外で顔を認証する場合、FARが高くなる傾向があると考えられる。
そこで、図4に示すように、認証精度制御部15は、曇天の屋外で顔を認証する場合、逆光、及び順光の屋外で顔を認証する場合より、FARを低くすることが好ましい。具体的には、認証精度制御部15は、曇天の屋外で顔を認証する場合、FARを低くするように、認証精度制御パラメータを制御することが好ましい。
図5は、照度と、FARと、の対応関係を示す関数の一例を示す図である。図5に示すように、認証精度管理データベース16は、照度に応じて、FARが連続的に変化するように、照度と、FARと、の対応関係を記憶してもよい。
次に、本実施形態に係る顔認証装置1の動作について説明する。
図6は、認証精度の制御処理の一例を示すフローチャートである。
ステップS1において、撮影パラメータ入力部13は、撮影パラメータを入力する。具体的には、撮影パラメータ入力部13は、撮影装置20から撮影パラメータを取得することが好ましい。
ステップS2において、照明情報推定部14は、撮影パラメータに基づいて、照明情報を推定する。
ステップS3において、認証精度制御部15は、照明情報に基づいて、認証精度を決定する。具体的には、認証精度制御部15は、認証精度管理データベース16を参照し、照明情報に基づいて、認証精度パラメータを決定する。
ステップS4において、顔画像取得部11は、撮影装置20から認証対象画像を取得する。そして、認証対象画像に顔領域が含まれるか否かを、顔認証部12は判断する(ステップS5)。例えば、顔認証部12は、認証対象画像から、目の特徴点(例えば、目の端点等)を検出する。そして、顔認証部12は、目の特徴点が検出された場合、認証対象画像に顔領域が含まれていると判断してもよい。
認証対象画像に顔領域が含まれている場合(ステップS5のYes分岐)には、顔認証部12は、認証対象画像から顔領域を抽出する(ステップS6)。例えば、顔認証部12は、目の位置に基づいて、顔領域を抽出してもよい。一方、認証対象領域に顔領域が含まれていない場合(ステップS5のNo分岐)には、認証精度の制御処理を終了する。
ステップS7において、顔認証部12は、認証精度に基づいて、顔を認証する。具体的には、顔認証部12は、認証精度に基づいて、認証精度パラメータを設定する。そして、顔認証部12は、設定された認証精度パラメータを用いて、顔を認証してもよい。
なお、認証精度制御部15は、撮影パラメータに基づいて、認証精度パラメータを制御しても良い。つまり、認証精度制御部15は、撮影パラメータと、認証精度パラメータと、の対応関係に基づいて、認証精度を制御してもよい。そして、認証精度管理データベース16は、撮影パラメータと、認証精度制御パラメータと、の対応関係を記憶してもよい。
例えば、認証精度制御部15は、撮影パラメータに基づいて、顔認証に使用する特徴点数を制御してもよい。または、認証精度制御部15は、撮影パラメータに基づいて、特徴点の重みを制御してもよい。あるいは、認証精度制御部15は、撮影パラメータに基づいて、評価値の閾値を制御してもよい。または、認証精度制御部15は、撮影パラメータに基づいて、テンプレート画像の顔の方向のパターン数を制御してもよい。
[変形例1]
第1の実施形態に係る顔認証装置1の変形例1として、顔認証装置と異なる装置(以下、サーバ装置と呼ぶ)が、顔認証部12と、及び顔画像データベース17と、を備えてもよい。なぜなら、顔認証部12において、認証処理の負荷は、テンプレート画像の数に応じて変化する。そのため、顔認証装置1の性能より高性能なサーバ装置が、顔認証部12と、顔画像データベース17と、を備えてもよい。なお、その場合、顔認証装置1と、サーバ装置と、がネットワークを介して接続されていてもよい。
[変形例2]
第1の実施形態に係る顔認証装置1の変形例2として、撮影装置20は照度センサを備えていてもよい。その場合、撮影パラメータ入力部13は、照度センサの出力値を、撮影パラメータとして入力する。そして、照明情報推定部14は、照度センサの出力値に基づいて、照明情報を推定してもよい。
本実施形態に係る顔認証装置1の第1の効果は、誤認証を低減することである。例えば、消灯した屋内等の環境で顔認証した場合、誤認証となる可能性が高い。しかし、本実施形態に係る顔認証装置1は、誤認証を低減するように、照明情報に基づいて、認証精度を制御する。そのため、本実施形態に係る顔認証装置1は、照明環境に依存して、誤認証となることを低減することに貢献する。
本実施形態に係る顔認証装置1の第2の効果は、顔認証において、ユーザの負担を低減することである。特許文献1で開示された技術では、顔認証に失敗した場合、再度、撮影をする必要がある。しかし、本実施形態で係る顔認証装置1は、顔認証に失敗する可能性を低減させるために、認証精度を制御する。従って、本実施形態に係る顔認証装置1は、何回も、顔を撮影する必要がない。そのため、本実施形態に係る顔認証装置1は、ユーザの負担を低減することに貢献する。
[第2の実施形態]
続いて、第2の実施形態について、図面を用いて、詳細に説明する。
本実施形態は、顔認証装置を備える情報機器の形態である。なお、本実施形態における説明では、上述の実施形態と重複する部分の説明は省略する。さらに、本実施形態における説明では、上述の実施形態と同一の構成要素には、同一の符号を付し、その説明を省略する。
図7は、本実施形態に係る情報機器2の全体構成の一例を示す平面図である。情報機器2は、撮影装置20と、表示部30と、操作部40と、を含んで構成される。なお、図7は、本実施形態に係る情報機器2を、図7で図示する形態に限定する趣旨ではない。例えば、スマートフォン、携帯電話、ゲーム機、タブレットPC(Personal Computer)、ノートPC、PDA(Personal Data Assistants;携帯情報端末)、デジタルカメラ等の情報機器であってもよい。
撮影装置20は、表示部30と同一方向を向くように配置され、表示部30と相対するユーザの顔を撮影できる。撮影装置20は、情報機器2のインカメラとしての機能を持つものでも良い。
ユーザは、表示部30により情報機器2が表示する情報(文字や写真等)を視認する。表示部30には、液晶パネル、有機EL(Electro Luminescence)パネル等を使用することができる。
操作部40は、情報機器2に対するユーザの操作を受け付ける。図6では、操作部40としてハードウエアキーを図示しているが、タッチパネル等の操作手段を採用してもよい。
図8は、本実施形態に係る情報機器2の内部構成の一例を示すブロック図である。情報機器2は、画像取得部11と、顔認証部12と、撮影パラメータ入力部13と、照明情報推定部14と、認証精度制御部15と、認証精度管理データベース16と、顔画像データベース17と、撮影装置20と、表示部30と、操作部40と、情報機器制御部50と、を含んで構成される。つまり、情報機器2は、顔認証装置1を含んで構成される。なお、図8には、簡単のため、本実施形態に係る情報機器2に関係するモジュールを主に記載する。
情報機器制御部50は、情報機器2の全体を制御するとともに、図7に示す各部を制御する。情報機器制御部50は、情報機器2に搭載されたコンピュータに、そのハードウェアを用いて、情報機器2の処理を実行させるコンピュータプログラムにより実現することもできる。
例えば、情報機器制御部50は、顔認証部12の認証結果を表示部30に表示してもよい。また、情報機器制御部50は、操作部40に対する操作に基づいて、顔認証部12が顔認証を開始するか否かを判断してもよい。あるいは、情報機器制御部50は、顔認証部12の認証結果に基づいて、操作部40に対するユーザの操作を有効とするか否かを判断してもよい。
上述の通り、本実施形態に係る情報機器2は、顔認証装置1の機能を含んで構成される。そして、本実施形態に係る情報機器2は、顔の認証結果に基づいて、実行する処理を制御する。つまり、本実施形態に係る情報機器2は、高いセキュリティ機能を備える。従って、本実施形態に係る情報機器2は、誤認証を低減することに貢献し、高いセキュリティ機能を提供することに貢献する。
[第3の実施形態]
続いて、第3の実施形態について、詳細に説明する。
本実施形態は、顔認証対応アプリケーションを実行する情報機器の形態である。なお、本実施形態における説明では、上述の実施形態と重複する部分の説明は省略する。さらに、本実施形態における説明では、上述の実施形態と同一の構成要素には、同一の符号を付し、その説明を省略する。
本実施形態に係る情報機器2において、情報機器制御部50は、アプリケーションを制御する。そして、情報機器制御部50は、顔認証結果に基づいて、顔認証対応アプリケーションを制御する。
例えば、顔認証対応アプリケーションは、顔を認証した場合に画面ロックを解除するアプリケーションを実行してもよい。ここで、画面ロックとは、操作部40に対するユーザの操作を無効とする状態を意味する。なお、顔認証対応アプリケーションは各種考えられるが、その詳細は問わない。
[変形例1]
本実施形態に係る情報機器2の変形例1として、アプリケーションに応じて、認証精度を変更してもよい。例えば、情報機器2は、顔認証対応アプリケーションとして、目覚ましアプリケーションと、電子マネー管理アプリケーションと、を搭載しているとする。その場合、認証精度制御部15は、目覚ましアプリケーションより、電子マネー管理アプリケーションに対して、認証精度を高くしてもよい。
以上のように、本実施形態に係る情報機器2は、顔認証対応アプリケーションを搭載する。そして、本実施形態に係る情報機器2は、顔が認証された場合に、ユーザにアプリケーションの使用を許可する。そのため、本実施形態に係る情報機器2は、より一層、高いセキュリティ機能を提供することに貢献する。
上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
(付記1)上記第1の視点に係る顔認証装置の通りである。
(付記2)前記認証精度制御部は、前記照明情報に基づいて、認証結果を決定するための閾値を制御する付記1に記載の顔認証装置。
(付記3)前記認証精度制御部は、前記照明情報に基づいて、照合する特徴点を制御する付記1又は2に記載の顔認証装置。
(付記4)前記認証精度制御部は、前記照明情報に基づいて、前記特徴点の重みを制御する付記3に記載の顔認証装置。
(付記5)前記照明情報と、前記認証精度パラメータと、を対応付けて記憶する認証精度管理データベースを備える付記1乃至4に記載の顔認証装置。
(付記6)前記認証精度制御部は、前記照明情報に代えて、前記撮影パラメータに基づいて、前記認証精度パラメータを制御する付記1乃至5のいずれか一に記載の顔認証装置。
(付記7)付記1乃至6のいずれか一に記載の顔認証装置を備える情報機器。
(付記8)顔認証対応アプリケーションを実行する付記7に記載の情報機器。
(付記9)上記第2の視点に係る認証方法の通りである。
(付記10)前記認証精度制御工程において、前記照明情報に基づいて、認証結果を決定するための閾値を制御する付記9に記載の認証方法。
(付記11)前記認証精度制御工程において、前記照明情報に基づいて、照合する特徴点を制御する付記9又は10に記載の認証方法。
(付記12)前記認証精度制御工程において、前記照明情報に基づいて、前記特徴点の重みを制御する付記11に記載の認証方法。
(付記13)前記認証精度制御工程において、前記照明情報に代えて、前記撮影パラメータに基づいて、前記認証精度パラメータを制御する付記9乃至12のいずれか一に記載の認証方法。
(付記14)上記第3の視点に係るプログラムの通りである。
(付記15)前記認証精度制御処理において、前記照明情報に基づいて、認証結果を決定するための閾値を制御する付記14に記載のプログラム。
(付記16)前記認証精度制御処理において、前記照明情報に基づいて、照合する特徴点を制御する付記14又は15に記載のプログラム。
(付記17)前記認証精度制御処理において、前記照明情報に基づいて、前記特徴点の重みを制御する付記16に記載のプログラム。
(付記18)前記認証精度制御処理において、前記照明情報に代えて、前記撮影パラメータに基づいて、前記認証精度パラメータを制御する付記14乃至17のいずれか一に記載のプログラム。
なお、引用した上記の特許文献の開示は、本書に引用をもって繰り込むものとする。本発明の全開示(請求の範囲を含む)の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の請求の範囲の枠内において種々の示要素(各請求項の各要素、各実施形態ないし実施例の各要素、各図面の各要素等を含む)の多様な組み合わせ、ないし、選択が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。特に、本書に記載した数値範囲については、当該範囲内に含まれる任意の数値ないし小範囲が、別段の記載のない場合でも具体的に記載されているものと解釈されるべきである。
1、100 顔認証装置
2 情報機器
11 画像取得部
12 顔認証部
13、101 撮影パラメータ入力部
14、102 照明情報推定部
15、103 認証精度制御部
16 認証精度管理データベース
17 顔画像データベース
20 撮影装置
21 撮影レンズ
22 撮像素子
23 撮影パラメータ記憶部
24 撮影制御部
30 表示部
40 操作部
50 情報機器制御部
本発明の第1の視点によれば、撮影パラメータを入力する撮影パラメータ入力部と、前記撮影パラメータに基づいて、照明情報を推定する照明情報推定部と、前記照明情報に基づいて、認証精度パラメータを制御する認証精度制御部と、を備え、前記認証精度制御部は、前記照明情報に基づいて照合する特徴点の重みを変更し、認証精度を制御する顔認証装置が、提供される。
本発明の第2の視点によれば、撮影パラメータを入力する工程と、前記撮影パラメータに基づいて、照明情報を推定する工程と、前記照明情報に基づいて、認証精度パラメータを制御する認証精度制御工程と、を含み、前記認証精度制御工程において、前記照明情報に基づいて照合する特徴点の重みを変更し、認証精度を制御する認証方法が、提供される。
本発明の第3の視点によれば、撮影パラメータを入力する処理と、前記撮影パラメータに基づいて、照明情報を推定する処理と、前記照明情報に基づいて、認証精度パラメータを制御する認証精度制御処理と、を顔認証装置を制御するコンピュータに実行させ、前記認証精度制御処理において、前記照明情報に基づいて照合する特徴点の重みを変更し、認証精度を制御するプログラムが、提供される。
なお、このプログラムは、コンピュータが読み取り可能な記憶媒体に記録することができる。記憶媒体は、半導体メモリ、ハードディスク、磁気記録媒体、光記録媒体等の非トランジェント(non-transient)なものとすることができる。本発明は、コンピュータプログラム製品として具現することも可能である。
本発明の第4の視点によれば、撮影パラメータを入力する撮影パラメータ入力部と、前記撮影パラメータに基づいて、照明情報を推定する照明情報推定部と、前記照明情報に基づいて、認証精度パラメータを制御する認証精度制御部と、を備える顔認証装置を備え、前記認証精度制御部は、前記照明情報に基づいて照合する特徴点の重みを変更し、認証精度を制御する情報機器が、提供される。

Claims (10)

  1. 撮影パラメータを入力する撮影パラメータ入力部と、
    前記撮影パラメータに基づいて、照明情報を推定する照明情報推定部と、
    前記照明情報に基づいて、認証精度パラメータを制御する認証精度制御部と、
    を備えることを特徴とする顔認証装置。
  2. 前記認証精度制御部は、前記照明情報に基づいて、認証結果を決定するための閾値を制御する請求項1に記載の顔認証装置。
  3. 前記認証精度制御部は、前記照明情報に基づいて、照合する特徴点を制御する請求項1又は2に記載の顔認証装置。
  4. 前記認証精度制御部は、前記照明情報に基づいて、前記特徴点の重みを制御する請求項3に記載の顔認証装置。
  5. 前記照明情報と、前記認証精度パラメータと、を対応付けて記憶する認証精度管理データベースを備える請求項1乃至4のいずれか一に記載の顔認証装置。
  6. 前記認証精度制御部は、前記照明情報に代えて、前記撮影パラメータに基づいて、前記認証精度パラメータを制御する請求項1乃至5のいずれか一に記載の顔認証装置。
  7. 請求項1乃至6のいずれか一に記載の顔認証装置を備える情報機器。
  8. 顔認証対応アプリケーションを実行する請求項7に記載の情報機器。
  9. 撮影パラメータを入力する工程と、
    前記撮影パラメータに基づいて、照明情報を推定する工程と、
    前記照明情報に基づいて、認証精度パラメータを制御する認証精度制御工程と、
    を含むことを特徴とする認証方法。
  10. 撮影パラメータを入力する処理と、
    前記撮影パラメータに基づいて、照明情報を推定する処理と、
    前記照明情報に基づいて、認証精度パラメータを制御する認証精度制御処理と、
    を顔認証装置を制御するコンピュータに実行させるプログラム。
JP2012260049A 2012-11-28 2012-11-28 顔認証装置、認証方法とそのプログラム、情報機器 Active JP5652886B2 (ja)

Priority Applications (11)

Application Number Priority Date Filing Date Title
JP2012260049A JP5652886B2 (ja) 2012-11-28 2012-11-28 顔認証装置、認証方法とそのプログラム、情報機器
CN202110902196.3A CN113780079A (zh) 2012-11-28 2013-11-27 面部识别装置、识别方法及其程序和信息设备
US14/647,305 US10083344B2 (en) 2012-11-28 2013-11-27 Facial recognition apparatus, recognition method and program therefor, and information device
PCT/JP2013/081885 WO2014084249A1 (ja) 2012-11-28 2013-11-27 顔認証装置、認証方法とそのプログラム、情報機器
CN201380062218.3A CN104798103B (zh) 2012-11-28 2013-11-27 面部识别装置、识别方法及其程序和信息设备
EP13858220.0A EP2927866A4 (en) 2012-11-28 2013-11-27 FACIAL RECOGNITION DEVICE, RECOGNITION METHOD AND PROGRAM THEREFOR, AND INFORMATION DEVICE
US16/106,192 US10614293B2 (en) 2012-11-28 2018-08-21 Facial recognition apparatus, recognition method and program therefor, and information device
US16/121,863 US10303926B2 (en) 2012-11-28 2018-09-05 Decreasing lighting-induced false facial recognition
US16/122,991 US10956715B2 (en) 2012-11-28 2018-09-06 Decreasing lighting-induced false facial recognition
US17/179,816 US20220148331A1 (en) 2012-11-28 2021-02-19 Decreasing lighting-induced false facial recognition
US18/120,053 US20230206685A1 (en) 2012-11-28 2023-03-10 Decreasing lighting-induced false facial recognition

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012260049A JP5652886B2 (ja) 2012-11-28 2012-11-28 顔認証装置、認証方法とそのプログラム、情報機器

Publications (2)

Publication Number Publication Date
JP2014106794A true JP2014106794A (ja) 2014-06-09
JP5652886B2 JP5652886B2 (ja) 2015-01-14

Family

ID=50827881

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012260049A Active JP5652886B2 (ja) 2012-11-28 2012-11-28 顔認証装置、認証方法とそのプログラム、情報機器

Country Status (5)

Country Link
US (6) US10083344B2 (ja)
EP (1) EP2927866A4 (ja)
JP (1) JP5652886B2 (ja)
CN (2) CN104798103B (ja)
WO (1) WO2014084249A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020052822A (ja) * 2018-09-27 2020-04-02 キヤノン株式会社 情報処理装置、認証システムおよびそれらの制御方法、プログラム
WO2022185486A1 (ja) * 2021-03-04 2022-09-09 富士通株式会社 認証方法、認証プログラム、および情報処理装置
JP7482326B2 (ja) 2020-12-31 2024-05-13 シャンハイ リンガン ジュエイン インテリジェント テクノロジー カンパニー リミテッド 身元認証方法および装置、電子機器並びに記憶媒体

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5652886B2 (ja) 2012-11-28 2015-01-14 Necカシオモバイルコミュニケーションズ株式会社 顔認証装置、認証方法とそのプログラム、情報機器
JP6410450B2 (ja) * 2014-03-31 2018-10-24 キヤノン株式会社 オブジェクト識別装置、オブジェクト識別方法及びプログラム
EP3140780B1 (en) * 2014-05-09 2020-11-04 Google LLC Systems and methods for discerning eye signals and continuous biometric identification
JP6841232B2 (ja) * 2015-12-18 2021-03-10 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US9986151B1 (en) 2016-03-02 2018-05-29 Amazon Technologies, Inc. Systems and methods for determining a depth or reflectance of objects
US9912861B1 (en) 2016-03-02 2018-03-06 Amazon Technologies, Inc. Systems and methods for determining a depth or reflectance of objects
US11521460B2 (en) 2018-07-25 2022-12-06 Konami Gaming, Inc. Casino management system with a patron facial recognition system and methods of operating same
AU2019208182B2 (en) 2018-07-25 2021-04-08 Konami Gaming, Inc. Casino management system with a patron facial recognition system and methods of operating same
FR3089661B1 (fr) * 2018-12-06 2020-12-18 Idemia Identity & Security France Procédé de reconnaissance faciale

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005004718A (ja) * 2003-05-16 2005-01-06 Canon Inc 信号処理装置及び制御方法
JP2005157906A (ja) * 2003-11-27 2005-06-16 Konica Minolta Holdings Inc 物体検出装置、物体検知方法、およびコンピュータプログラム
JP2007140823A (ja) * 2005-11-17 2007-06-07 Omron Corp 顔照合装置、顔照合方法及びプログラム
JP2007148968A (ja) * 2005-11-30 2007-06-14 Omron Corp 顔認証装置、セキュリティ強度変更方法およびプログラム
JP2008015871A (ja) * 2006-07-07 2008-01-24 Konica Minolta Holdings Inc 認証装置、及び認証方法
JP2008191743A (ja) * 2007-02-01 2008-08-21 Omron Corp 顔認証装置
JP2008270896A (ja) * 2007-04-16 2008-11-06 Casio Comput Co Ltd 撮像装置及びそのプログラム
JP2009134593A (ja) * 2007-11-30 2009-06-18 Toshiba Corp 顔認証装置および顔認証方法
JP2012150730A (ja) * 2011-01-20 2012-08-09 Panasonic Corp 特徴抽出装置、特徴抽出方法、特徴抽出プログラム、および画像処理装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7342609B2 (en) 2000-05-09 2008-03-11 Eastman Kodak Company Exposure adjustment in an imaging apparatus
US7298412B2 (en) * 2001-09-18 2007-11-20 Ricoh Company, Limited Image pickup device, automatic focusing method, automatic exposure method, electronic flash control method and computer program
KR100473598B1 (ko) * 2002-11-04 2005-03-11 삼성전자주식회사 가려진 얼굴영상을 판단하는 시스템 및 방법
JP2004206688A (ja) 2002-12-12 2004-07-22 Fuji Photo Film Co Ltd 顔認識方法、顔切出方法、および撮像装置
CN1270516C (zh) * 2002-12-12 2006-08-16 富士胶片株式会社 面部识别方法、面部提取方法及摄像装置
US7853082B2 (en) * 2004-11-08 2010-12-14 Panasonic Corporation Normal line information estimation device, registered image group formation device and image collation device, and normal line information estimation method
JP2006163094A (ja) * 2004-12-09 2006-06-22 Konica Minolta Photo Imaging Inc デジタル一眼レフカメラ
JP2006270896A (ja) 2005-03-25 2006-10-05 Fuji Xerox Co Ltd データ保存出力装置及び方法、及びデータ処理装置及び方法
JP4367424B2 (ja) * 2006-02-21 2009-11-18 沖電気工業株式会社 個人識別装置,個人識別方法
US8212864B2 (en) * 2008-01-30 2012-07-03 DigitalOptics Corporation Europe Limited Methods and apparatuses for using image acquisition data to detect and correct image defects
CN101661557B (zh) 2009-09-22 2012-05-02 中国科学院上海应用物理研究所 一种基于智能卡的人脸识别系统及其方法
EP2710514A4 (en) * 2011-05-18 2015-04-01 Nextgenid Inc REGISTRATION TERMINAL HAVING MULTIPLE BIOMETRIC APPARATUSES INCLUDING BIOMETRIC INSCRIPTION AND VERIFICATION SYSTEMS, FACIAL RECOGNITION AND COMPARISON OF FINGERPRINTS
US9082235B2 (en) * 2011-07-12 2015-07-14 Microsoft Technology Licensing, Llc Using facial data for device authentication or subject identification
JP5652886B2 (ja) * 2012-11-28 2015-01-14 Necカシオモバイルコミュニケーションズ株式会社 顔認証装置、認証方法とそのプログラム、情報機器

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005004718A (ja) * 2003-05-16 2005-01-06 Canon Inc 信号処理装置及び制御方法
JP2005157906A (ja) * 2003-11-27 2005-06-16 Konica Minolta Holdings Inc 物体検出装置、物体検知方法、およびコンピュータプログラム
JP2007140823A (ja) * 2005-11-17 2007-06-07 Omron Corp 顔照合装置、顔照合方法及びプログラム
JP2007148968A (ja) * 2005-11-30 2007-06-14 Omron Corp 顔認証装置、セキュリティ強度変更方法およびプログラム
JP2008015871A (ja) * 2006-07-07 2008-01-24 Konica Minolta Holdings Inc 認証装置、及び認証方法
JP2008191743A (ja) * 2007-02-01 2008-08-21 Omron Corp 顔認証装置
JP2008270896A (ja) * 2007-04-16 2008-11-06 Casio Comput Co Ltd 撮像装置及びそのプログラム
JP2009134593A (ja) * 2007-11-30 2009-06-18 Toshiba Corp 顔認証装置および顔認証方法
JP2012150730A (ja) * 2011-01-20 2012-08-09 Panasonic Corp 特徴抽出装置、特徴抽出方法、特徴抽出プログラム、および画像処理装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020052822A (ja) * 2018-09-27 2020-04-02 キヤノン株式会社 情報処理装置、認証システムおよびそれらの制御方法、プログラム
JP7257765B2 (ja) 2018-09-27 2023-04-14 キヤノン株式会社 情報処理装置、認証システムおよびそれらの制御方法、プログラム
JP7482326B2 (ja) 2020-12-31 2024-05-13 シャンハイ リンガン ジュエイン インテリジェント テクノロジー カンパニー リミテッド 身元認証方法および装置、電子機器並びに記憶媒体
WO2022185486A1 (ja) * 2021-03-04 2022-09-09 富士通株式会社 認証方法、認証プログラム、および情報処理装置

Also Published As

Publication number Publication date
US20230206685A1 (en) 2023-06-29
US20190019013A1 (en) 2019-01-17
US10614293B2 (en) 2020-04-07
US10956715B2 (en) 2021-03-23
EP2927866A1 (en) 2015-10-07
US10083344B2 (en) 2018-09-25
CN104798103A (zh) 2015-07-22
JP5652886B2 (ja) 2015-01-14
EP2927866A4 (en) 2016-10-19
WO2014084249A1 (ja) 2014-06-05
US20190065829A1 (en) 2019-02-28
CN104798103B (zh) 2021-08-03
US20150339515A1 (en) 2015-11-26
CN113780079A (zh) 2021-12-10
US10303926B2 (en) 2019-05-28
US20220148331A1 (en) 2022-05-12
US20190065828A1 (en) 2019-02-28

Similar Documents

Publication Publication Date Title
JP5652886B2 (ja) 顔認証装置、認証方法とそのプログラム、情報機器
CN102761706B (zh) 成像设备和成像方法
JP5567853B2 (ja) 画像認識装置および方法
KR101185243B1 (ko) 얼굴 인식을 위한 복수의 얼굴 이미지를 등록하기 위한 장치 및 방법
US11756336B2 (en) Iris authentication device, iris authentication method, and recording medium
TW201727537A (zh) 人臉識別系統及人臉識別方法
JP7484985B2 (ja) 認証システム、認証方法、及び、プログラム
JP6025557B2 (ja) 画像認識装置、その制御方法及びプログラム
JP2005149370A (ja) 画像撮影装置、個人認証装置及び画像撮影方法
KR101000130B1 (ko) 얼굴인식 가능한 단말기 및 그의 얼굴인식 방법
JP6683833B2 (ja) 生体認証装置、および生体認証プログラム
WO2021166289A1 (ja) データ登録装置、生体認証装置、および記録媒体
CN111182199B (zh) 电子装置及拍照方法
CN103581538A (zh) 数字拍摄设备和控制所述数字拍摄设备的方法
JP5995610B2 (ja) 被写体認識装置及びその制御方法、撮像装置、表示装置、並びにプログラム
JP2011077753A (ja) カメラの顔検出方法及び装置
JP6235417B2 (ja) 撮影システム、撮影装置、情報処理方法、及びプログラム
JP2015102856A (ja) 画像処理装置、電子カメラ及び画像処理プログラム
JP2013157675A (ja) 撮像装置及びその制御方法、プログラム、並びに記憶媒体
JP2014068280A (ja) 撮像装置

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140708

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140901

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20140909

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141021

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141113

R150 Certificate of patent or registration of utility model

Ref document number: 5652886

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350