JP4734980B2 - 顔認証装置およびその制御方法、顔認証装置を備えた電子機器、顔認証装置制御プログラム、ならびに該プログラムを記録した記録媒体 - Google Patents

顔認証装置およびその制御方法、顔認証装置を備えた電子機器、顔認証装置制御プログラム、ならびに該プログラムを記録した記録媒体 Download PDF

Info

Publication number
JP4734980B2
JP4734980B2 JP2005074078A JP2005074078A JP4734980B2 JP 4734980 B2 JP4734980 B2 JP 4734980B2 JP 2005074078 A JP2005074078 A JP 2005074078A JP 2005074078 A JP2005074078 A JP 2005074078A JP 4734980 B2 JP4734980 B2 JP 4734980B2
Authority
JP
Japan
Prior art keywords
face
distance
person
authenticated
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005074078A
Other languages
English (en)
Other versions
JP2006259931A (ja
Inventor
智裕 井上
正敬 千賀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Priority to JP2005074078A priority Critical patent/JP4734980B2/ja
Priority to KR1020060022194A priority patent/KR100790223B1/ko
Priority to US11/373,321 priority patent/US20070253604A1/en
Priority to EP06111132A priority patent/EP1703440A3/en
Priority to CNB2006100591030A priority patent/CN100476862C/zh
Publication of JP2006259931A publication Critical patent/JP2006259931A/ja
Application granted granted Critical
Publication of JP4734980B2 publication Critical patent/JP4734980B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/144Image acquisition using a slot moved over the image; using discrete sensing elements at predetermined points; using automatic curve following means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40Spoof detection, e.g. liveness detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)

Description

本発明は、認証対象者の顔を撮影し、撮影した顔画像を、予め登録された顔画像と照合することにより顔認証を行う顔認証装置およびその制御方法、顔認証装置を備えた電子機器、顔認証装置制御プログラム、ならびに該プログラムを記録した記録媒体に関するものである。
従来、本人確認を行うための認証技術の1つとして、認証対象者の顔を撮影し、撮影した顔画像と、予め登録した本人の顔画像とを照合することにより本人確認を行う顔認証技術が知られている。この顔認証技術では、認証対象者の顔を撮影するときに、本人の顔写真を撮影させることにより本人になりすます、いわゆる「写真によるなりすまし」を防止する必要がある。なお、本人の顔写真は、本人の撮影画像が印刷された印画紙の場合もあれば、本人の撮影画像が表示された表示手段の場合もある。
この問題点に対し、特許文献1には、利用者を複数の角度から撮像して認証時利用者画像を生成し、利用者を認証するときに用いられる利用者本人の顔の3次元情報を予め保持し、複数の認証時利用者画像及び複数の利用者画像のそれぞれの撮像角度を用いて利用者の認証時3次元情報を生成し、当該利用者の認証時3次元情報を、利用者本人の3次元情報に照合して、利用者が本人であると認証する顔認証技術が開示されている。
特開2004−362079号公報(2004年12月24日公開) 特開2000−30066号公報(2000年1月28日公開) 特開2003−263639号公報(2003年9月19日公開)
しかしながら、上記特許文献1の構成では、利用者本人の顔の3次元情報を予め保持する必要があり、記憶すべき情報量が増大する。また、撮影を複数回行う必要があり、時間および手間がかかることになる。
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、写真によるなりすましを簡易に判別できる顔認証装置などを提供することにある。
本発明に係る顔認証装置は、上記課題を解決するために、認証対象者の顔画像を、予め登録された顔画像と照合する照合手段を備えることにより顔認証を行う顔認証装置において、所定位置から前記認証対象者の顔までの距離を取得する距離取得手段と、該距離取得手段が取得した距離に基づいて、前記認証対象者の顔の真偽を判別する対象判別手段とを備えることを特徴としている。
なお、所定位置の例としては、上記距離を測定する距離センサの位置、認証対象者の顔を撮影するカメラの位置などが挙げられる。
ところで、実際の顔であれば、立体であるので凹凸が存在し、このため、顔における複数の測定点までの距離が異なることになる。一方、顔写真であれば、平面であるため、複数の測定点までの距離が略同じとなる。したがって、認証対象者の顔における複数の測定点までの距離が略同じであれば、写真によるなりすましと判断できる。
また、実際の顔であれば、立体であるので凹凸が存在し、このため、顔における複数の上記測定点の位置が同一平面上には存在しないことになる。一方、顔写真であれば、平面であるため、複数の上記測定点の位置が同一平面上に存在することになる。したがって、認証対象者の顔における複数の上記測定点の位置が同一平面上に存在すれば、写真によるなりすましと判断できる。
また、一般に、顔写真の寸法は実際の顔の寸法よりも小さい。このため、顔写真を撮影した顔画像を、実際の顔を撮影した顔画像と寸法を同程度にするには、顔写真を撮影手段に近づける必要がある。したがって、認証対象者本人の顔までの距離を予め登録しておき、認証対象者の顔までの距離が、登録された距離と異なる場合には、写真によるなりすましと判断できる。
したがって、上記の構成によると、顔画像の照合を行う前に、所定位置から認証対象者の顔までの距離を取得し、取得した距離に基づいて、認証対象者の顔の真偽を判別できるので、写真によるなりすましを簡易に判別することができる。
本発明に係る顔認証装置では、前記距離取得手段は、複数の所定位置から前記認証対象者の顔における複数の測定点までの距離をそれぞれ取得しており、前記対象判別手段は、前記距離取得手段が取得した複数の距離が略同じか否かを判定し、略同じである場合には、前記認証対象者の顔を偽と判別してもよい。
この場合、顔画像の照合を行う前に、複数の所定位置から認証対象者の顔における複数の測定点までの距離をそれぞれ取得することにより、写真によるなりすましを簡易に判別することができる。なお、複数の所定位置の例としては、複数の距離センサの位置が挙げられる。
本発明に係る顔認証装置では、前記距離取得手段は、所定位置から前記認証対象者の顔における複数の測定点までの距離および角度をそれぞれ取得しており、前記対象判別手段は、前記距離取得手段が取得した複数の距離および角度に基づいて、前記複数の測定点の位置を特定し、特定した複数の位置が同一平面にあるか否かを判定し、同一平面にある場合には、前記認証対象者の顔を偽と判別してもよい。
この場合、顔画像の照合を行う前に、所定位置から認証対象者の顔における複数の測定点までの距離および角度をそれぞれ取得することにより、写真によるなりすましを簡易に判別することができる。また、スキャン可能な1つの距離測定手段を利用すれば、角度を変えて前記距離の測定を繰り返すことにより、所定位置から複数の測定点までの距離および角度をそれぞれ取得できるので、上述の構成に比べて、必要な距離測定手段の数を減らすことができる。なお、測定点の位置が同一平面上に存在するか否かを調べるために、測定点は3点以上であることが好ましい。
本発明に係る顔認証装置では、認証対象者本人の顔画像と、所定位置から前記認証対象者本人の顔までの距離とが予め登録されており、前記対象判別手段は、前記距離取得手段が取得した距離と、予め登録された距離とが略一致するか否かを判定し、略一致しない場合には、前記認証対象者の顔を偽と判別してもよい。
この場合、顔画像の照合を行う前に、所定位置から認証対象者の顔までの距離を取得することにより、写真によるなりすましを簡易に判別することができる。また、距離を1回測定するのみで良いので、上述の構成に比べて、写真によるなりすましをより簡便に判別することができる。
本発明に係る電子機器は、上記課題を解決するため、上記構成の顔認証装置と、前記認証対象者の顔を撮影して、前記認証対象者の顔画像を作成する撮影手段と、所定位置から前記認証対象者の顔までの距離を測定する距離測定手段とを備えることを特徴としている。
上記構成によると、撮影手段が撮影して作成した認証対象者の顔画像を、予め登録された顔画像と照合手段が照合する前に、所定位置から認証対象者の顔までの距離を、距離測定手段が測定して、距離取得手段が取得し、取得した距離に基づいて、対象判別手段が認証対象者の顔の真偽を判別できるので、写真によるなりすましを簡易に判別することができる。したがって、本発明に係る電子機器でも、上記構成の表示装置と同様の作用効果を奏することができる。
本発明に係る顔認証装置の制御方法は、上記課題を解決するため、認証対象者の顔画像を、予め登録された顔画像と照合する照合手段を備えることにより顔認証を行う顔認証装置の制御方法であって、所定位置から前記認証対象者の顔までの距離を取得し、取得した距離に基づいて、前記認証対象者の顔の真偽を判別することを特徴としている。
上記の方法によると、顔画像の照合を行う前に、所定位置から認証対象者の顔までの距離を取得し、取得した距離に基づいて、認証対象者の顔の真偽を判別できるので、写真によるなりすましを簡易に判別することができる。
なお、上記顔認証装置における各手段を、顔認証装置制御プログラムによりコンピュータ上で実行させることができる。さらに、上記顔認証装置制御プログラムをコンピュータ読取り可能な記録媒体に記憶させることにより、任意のコンピュータ上で上記顔認証装置制御プログラムを実行させることができる。
以上のように、本発明に係る顔認証装置は、顔画像の照合を行う前に、所定位置から認証対象者の顔までの距離を取得し、取得した距離に基づいて、認証対象者の顔の真偽を判別できるので、写真によるなりすましを簡易に判別できるという効果を奏する。
本発明の一実施形態について図1〜図5に基づいて説明すれば、以下のとおりである。図2は、本実施形態である携帯電話機の外観を示している。図示のように、携帯電話機(電子機器)10は、ユーザの操作を受け付ける操作部11と、各種の情報を表示する表示部12と、ユーザなどの被写体を撮影する撮影部(撮影手段)13とが主面側に設けられている。
本実施形態では、被写体との距離を検出する複数の距離センサ部(距離測定手段)14が、携帯電話機10の主面側の適所に設けられている。図2に示される場合では、3個の距離センサ部14a〜14cが、携帯電話機10の主面側における上部中央、中心部、および下部中央にそれぞれ設けられている。
図2は、携帯電話機10の概略構成を示している。図示のように、携帯電話機10は、操作部11、表示部12、撮影部13、距離センサ部14、制御部20、記憶部21、音声出力部22、音声入力部23、および通信部24を備える構成である。
操作部11は、ユーザから各種の入力を受け付けるものであり、入力用ボタン、キーボード、テンキー、マウスなどのポインティングデバイス、タッチパネル、その他の入力デバイスによって構成されている。操作部11は、ユーザが操作した情報を操作データに変換して制御部20に送信する。
表示部12は、CRT(陰極線管)、LCD(液晶表示素子)、プラズマディスプレイなどの表示デバイスによって構成されている。表示部12は、制御部20から受信した表示データに基づいて、文字や画像などの各種の情報を表示出力する。
撮影部13は、内部に例えばレンズ群、絞り、撮像素子などを備えたデジタルカメラを搭載している。撮像素子の例としては、CCD(charge coupled device)、およびCMOS(Complementary Metal-oxide Semiconductor)イメージセンサが挙げられる。撮影部13は、被写体の撮影を行って撮影画像を取得し、撮影画像のデータに変換して制御部20に送信する。
距離センサ部14は、或る種の波動を外部に送り出す送出部と、上記波動が被写体にて反射して受け取る受取部とを備えており、送り出した波動と、受け取った波動との位相差や時間差などから、被写体との距離を検出できる。距離センサ部14は、検出した距離のデータを制御部20に送信する。なお、距離センサ部14にて利用される波動としては、赤外線、電波、超音波が挙げられる。特に、小型化の観点と、赤外線通信の観点とから、距離センサ部14は、赤外線LED(Light Emitting Diode)およびPD(Photo Diode)の組合せを備えることが望ましい。
制御部20は、携帯電話機10内における上述した各種構成の動作を統括的に制御する。制御部20は、例えばPC(Personal Computer)ベースのコンピュータによって構成される。そして、各種構成の動作制御は、制御プログラムをコンピュータに実行させることによって行われる。このプログラムは、例えばCD−ROMなどのリムーバブルメディアに記録されているものを読み込んで使用する形態であってもよいし、ハードディスクなどにインストールされたものを読み込んで使用する形態であってもよい。また、通信部22を介して上記プログラムをダウンロードしてハードディスクなどにインストールして実行する形態なども考えられる。
記憶部21は、上記したハードディスクなどの不揮発性の記憶装置によって構成されるものである。この記憶部21に記憶される内容としては、上記した制御プログラム、OS(operating system)プログラム、およびその他各種プログラム、撮影部13における動作設定値、撮影した画像の画像データ、入力された文字データなどが挙げられる。撮影部13における動作設定値としては、装置出荷時やメンテナンス時などに設定されるホワイトバランスの値、撮影画像の明暗などを調整する際の画像処理に関する各種パラメータ値などが挙げられる。
音声出力部22は、制御部20からの音声データを音波に変換して外部に出力するものである。具体的には、音声出力部22は、D/A変換器、スピーカ、イヤホンなどを備える。音声入力部23は、外部から入力された音波を音声データに変換して制御部20に送信するものである。具体的には、音声入力部23は、マイクロホン、A/D変換器などを備える。
通信部24は、携帯電話システムにおける基地局と無線通信を行うものである。すなわち、通信部24は、制御部20からの通信データを無線通信に適した形式に変換して電波を基地局に送り出す。また、通信部24は、基地局から受け取った電波を通信データに変換して、制御部20に送信する。
本実施形態では、制御部20は、ユーザ本人を確認するため顔認証を行う顔認証部(顔認証装置)30を備えている。図4は、顔認証部30の概略構成を示している。図示のように、顔認証部30は、顔画像取得部31、距離検知部(距離取得手段)32、立体・平面判定部(対象判別手段)33、顔画像照合部(照合手段)34、および認証結果出力部36を備える構成である。また、記憶部21は、登録された顔の特徴情報を含む1または複数の顔特徴データ35を記憶している。
顔画像取得部31は、撮影部13に指示して被写体の撮影画像を取得し、取得した撮影画像の中から照合対象となる顔画像を取得するものである。この顔画像の取得は、肌色領域を検出したり、顔の輪郭を検出したり、顔の特徴点を検出したりするなど、公知の顔認識技術を利用することができる。また、顔画像取得部31は、顔画像を取得した旨を距離検知部32に通知する。
距離検知部32は、顔画像取得部31が上記顔画像を取得すると、距離センサ部14に指示して、被写体の顔の部分までの距離を検知する。本実施形態では、3個の距離センサ部14a〜14cに指示して、被写体の顔の部分までの距離を3点検知する。また、距離検知部32は、検知結果を立体・平面判定部33に通知する。
図5(a)は、携帯電話機10の各距離センサ部14a〜14cから立体の被写体40までの距離を示しており、同図(b)は、各距離センサ部14a〜14cから平面の被写体41までの距離を示している。同図(a)を参照すると、各距離センサ部14a〜14cが立体の被写体40までの距離を検出する場合、各距離が異なることが理解できる。特に、中心の距離センサ部14bから立体の被写体40までの距離が、他の距離センサ部14a・14cから立体の被写体40までの距離に比べて短いことが理解できる。
一方、図5(b)を参照すると、各距離センサ部14a〜14cが平面の被写体41までの距離を検出する場合、各距離が略同じであることが理解できる。したがって、各距離センサ部14a〜14cが検出する各距離が略同じであるか否かを調べることにより、被写体が立体であるか平面であるかを判断できる。
なお、距離を測定する測定点は、目、鼻、口、輪郭の外側など、顔の特徴となる位置であることが好ましい。本実施形態では、目、鼻、および口を測定点としている。
図4に戻ると、立体・平面判定部33は、距離検知部32の検知結果に基づいて、被写体が立体であるか平面であるかを判定する。具体的には、立体・平面判定部33は、3個の距離センサ部14a〜14cから被写体までの各距離が略同一である場合には、被写体が凹凸のない平面であると判定する。一方、上記各距離が異なる場合には、立体・平面判定部33は、被写体が凹凸のある立体であると判定する。立体・平面判定部33は、判定結果を顔画像照合部34および認証結果出力部36に通知する。
顔画像照合部34は、被写体が立体であると立体・平面判定部33が判定した場合に、公知の顔認証技術を利用して、顔画像取得部31が取得した顔画像から顔の特徴情報を抽出し、抽出した特徴情報と、記憶部21に記憶された顔特徴データ45とを照合するものである。顔画像照合部34は、照合結果を認証結果出力部36に送信する。なお、顔認証技術としては、種々のものが知られており、例えば、固有顔法、LFA(Local Feature Analysis)法、グラフマッチング法、ニューラルネットワーク法、制約相互部分空間法、摂動空間法、および周波数解析法が挙げられる。
認証結果出力部36は、立体・平面判定部33の判定結果と、顔画像照合部34の照合結果とに基づいて、認証結果を表示するように表示部12に指示するものである。具体的には、被写体が平面であるとの判定結果の場合、または不一致であるとの照合結果の場合に、認証結果出力部36は、認証失敗の認証結果を表示するように表示部12に指示する。一方、一致したとの照合結果の場合に、認証結果出力部36は、認証成功の認証結果を表示するように表示部12に指示する。
図1は、上記構成の携帯電話機10における顔認証の処理動作を示している。図示のように、まず、顔画像取得部31が、撮影部13に指示して被写体の撮影画像を取得し、取得した撮影画像の中から照合対象となる顔画像(対象顔画像)を取得する(ステップS10。以下、単に「S10」と記載することがある。他のステップについても同様である。)。
次に、距離検知部32が、3個の距離センサ部14a〜14cに指示して、被写体の顔の部分までの距離を3点測定する(S11)。次に、3つの距離に有意な差が存在するか否かを、立体・平面判定部33が判断する(S12)。3つの距離に有意な差が存在しない場合、すなわち、3つの距離が略同一である場合には(ステップS12でNO)、被写体が平面であると立体・平面判定部33が判断し、認証結果出力部36の指示により、認証失敗の旨を表示部12が表示出力する(S13)。
一方、3つの距離に有意な差が存在する場合には(ステップS12でYES)、被写体が立体であると立体・平面判定部33が判断し、顔画像取得部31が取得した顔画像を顔画像照合部34が照合する(S14)。そして、認証結果出力部36の指示により、認証結果を表示部12が表示出力する(S15)。ステップS13またはステップS15を行った後、顔認証の処理動作を終了する。
したがって、顔画像照合部34が顔画像の照合を行う前に、距離センサ14a〜14cおよび距離検知部32が、認証対象者の顔における複数の測定点までの距離をそれぞれ測定することにより、写真によるなりすましを簡易に判別することができる。
〔実施の形態2〕
本発明の他の実施形態について図6および図7に基づいて説明すれば、以下のとおりである。本実施形態の携帯電話機10は、図1〜図5に示される携帯電話機10に比べて、距離センサ部14a〜14cを3個設ける代わりに、スキャン可能な距離センサ部14を1個設ける点と、距離検知部32が距離センサ部14に指示して行う距離の測定手法と、被写体が立体であるか否かの判定手法が異なり、その他の構成および処理動作は同様である。なお、上記実施形態で説明した構成および処理動作と同様の構成および処理動作には、同一の符号を付して、その説明を省略する。
図7は、携帯電話機10の距離センサ部14から被写体の顔の部分までの距離の測定手法を示しており、同図(a)は被写体が立体である場合を示しており、同図(b)は被写体が平面である場合を示している。図示のように、本実施形態では、スキャン可能な距離センサ部14から被写体の顔の部分までの距離を、角度を変えて3回測定するように、距離検知部32が距離センサ部14に指示している。
また、図7を参照すると、上記距離および角度から3つの測定点の位置関係を把握することができる。同図(a)を参照すると、立体の被写体40の場合、3つの測定点が同一平面上に存在しないことが理解できる。一方、同図(b)を参照すると、平面の被写体41の場合、3つの測定点が同一平面上に存在することが理解できる。したがって、3つの測定点が同一平面上に存在する場合には被写体が平面であると判断でき、3つの測定点が同一平面上に存在しない場合には被写体が立体であると判断できる。すなわち、3つの測定点が同一平面上に存在する場合には、写真によるなりすましであると判断できる。
図6は、上記構成の携帯電話機10における顔認証の処理動作を示している。図示のように、まず、顔画像取得部31が、撮影部13に指示して被写体の撮影画像を取得し、取得した撮影画像の中から照合対象となる顔画像を取得する(S10)。
次に、距離検知部32が、距離センサ部14に指示して、被写体の顔の部分までの距離を、角度を変えて3点測定する(S21)。次に、立体・平面判定部33は、距離検知部32が検知(測定)した距離および角度に基づいて、3つの測定点の位置関係を求め、該位置関係が立体であるか否かを判断する(S22)。立体ではない場合には(ステップS22でNO)、被写体が平面であると立体・平面判定部33が判断し、認証結果出力部36の指示により、認証失敗の旨を表示部12が表示出力する(S13)。
一方、3つの測定点の位置関係が立体である場合には(ステップS22でYES)、被写体が立体であると立体・平面判定部33が判断し、顔画像取得部31が取得した顔画像を顔画像照合部34が照合する(S14)。そして、認証結果出力部36の指示により、認証結果を表示部12が表示出力する(S15)。ステップS13またはステップS15を行った後、顔認証の処理動作を終了する。
したがって、顔画像照合部34が顔画像の照合を行う前に、距離センサ14および距離検知部32が、認証対象者の顔における複数の測定点までの距離および角度をそれぞれ測定することにより、写真によるなりすましを簡易に判別することができる。
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
例えば、上記実施形態では、認証対象者の顔における複数の測定点までの距離を測定している。ところで、通常、顔写真は、実際の顔の寸法よりも小さい。このため、顔写真を撮影した顔画像を、実際の顔を撮影した顔画像と寸法を同程度にするには、顔写真を撮影部13に近づける必要がある。したがって、認証対象者本人の顔までの距離を、顔特徴データ35と共に記憶部21に記憶しておき、距離検知部32が、認証対象者の顔までの距離を測定し、測定した距離が、記憶部21に記憶した距離と異なる場合には、立体・平面判定部33が写真によるなりすましと判断して、認証対象者の顔を偽と判別し、認証結果出力部36が認証失敗を出力することもできる。
この場合でも、顔画像照合部34が顔画像の照合を行う前に、距離センサ14および距離検知部32が、認証対象者の顔までの距離を測定することにより、写真によるなりすましを簡易に判別することができる。また、距離を1回測定するのみで良いので、上記実施形態に比べて、写真によるなりすましをより簡便に判別することができる。
また、携帯電話機10における顔認証部30の各ブロックは、ハードウェアロジックによって構成してもよいし、次のようにCPUを用いてソフトウェアによって実現してもよい。
すなわち、顔認証部30は、各機能を実現する制御プログラムの命令を実行するCPU、上記プログラムを格納したROM、上記プログラムを展開するRAM、上記プログラムおよび各種データを格納するメモリ等の記憶装置(記録媒体)などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである顔認証部30の制御プログラムのプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)をコンピュータで読み取り可能に記録した記録媒体を、上記顔認証部30に供給し、そのコンピュータ(またはCPUやMPU)が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フレキシブルディスク/ハードディスク等の磁気ディスクやCD−ROM/MO/MD/DVD/CD−R等の光ディスクを含むディスク系、ICカード(メモリカードを含む)/光カード等のカード系、あるいはマスクROM/EPROM/EEPROM/フラッシュROM等の半導体メモリ系などを用いることができる。
また、顔認証部30を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、LAN、ISDN、VAN、CATV通信網、仮想専用網(virtual private network)、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、IEEE1394、USB、電力線搬送、ケーブルTV回線、電話線、ADSL回線等の有線でも、IrDAやリモコンのような赤外線、Bluetooth(登録商標)、802.11無線、HDR、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された搬送波あるいはデータ信号列の形態でも実現され得る。
以上のように、本発明に係る顔認証装置は、顔画像の照合を行う前に、認証対象者の顔までの距離を取得し、取得した距離に基づいて、認証対象者の顔の真偽を判別することにより、写真によるなりすましを簡易に判別できるので、携帯電話機以外にも、顔認証を必要とする任意の電子機器に適用することができる。
本発明の一実施形態である携帯電話機における顔認証の処理動作を示すフローチャートである。 上記携帯電話機の外観を示す正面図である。 上記携帯電話機の概略構成を示すブロック図である。 上記携帯電話機における顔認証部の概略構成を示すブロック図である。 同図(a)は、上記携帯電話機の各距離センサ部から立体の被写体までの距離を示す図であり、同図(b)は、各距離センサ部から平面の被写体までの距離を示す図である。 本発明の他の実施形態である携帯電話機における顔認証の処理動作を示すフローチャートである。 上記携帯電話機の距離センサ部から被写体の顔の部分までの距離の測定手法を示す図であり、同図(a)は被写体が立体である場合を示しており、同図(b)は被写体が平面である場合を示している。
符号の説明
10 携帯電話機(電子機器)
13 撮影部(撮影手段)
14・14a〜14c 距離センサ部(距離測定手段)
30 顔認証部(顔認証装置)
32 距離検知部(距離取得手段)
33 立体・平面判定部(対象判別手段)
34 顔画像照合部(照合手段)

Claims (5)

  1. 認証対象者の顔画像を、予め登録された顔画像と照合する照合手段を備えることにより顔認証を行う顔認証装置において、
    所定位置から前記認証対象者の顔の1つの測定点までの距離を取得する距離取得手段と、
    認証対象者本人の顔画像と、所定位置から前記認証対象者本人の顔までの距離とが予め登録されている記憶手段と、
    前記距離取得手段が取得した1つの測定点までの距離と前記記憶手段に予め登録されている距離とが略一致するか否かを判定し、否である場合、前記認証対象者の顔画像を偽と判別する対象判別手段とを備え
    前記照合手段は、前記対象判別手段が前記認証対象者の顔画像を真と判別した場合、前記認証対象者の顔画像を、前記予め登録された顔画像と照合することを特徴とする顔認証装置。
  2. 請求項1に記載の顔認証装置と、
    前記認証対象者の顔を撮影して、前記認証対象者の顔画像を作成する撮影手段と、
    前記所定位置から前記認証対象者の顔までの距離を測定する距離測定手段とを備えることを特徴とする電子機器。
  3. 認証対象者の顔画像を、予め登録された顔画像と照合する照合手段を備えることにより顔認証を行う顔認証装置の制御方法であって、
    認証対象者本人の顔画像と、所定位置から前記認証対象者本人の顔までの距離とが予め登録されており、
    前記所定位置から前記認証対象者の顔の1つの測定点までの距離を取得し、
    取得した1つの測定点までの距離と予め登録されている距離とが略一致するか否かを判定し、否である場合、前記認証対象者の顔画像を偽と判別し、
    前記認証対象者の顔画像を真と判別した場合、前記照合手段に、前記認証対象者の顔画像を、前記予め登録された顔画像と照合させることを特徴とする顔認証装置の制御方法。
  4. 請求項1に記載の顔認証装置を動作させるための顔認証装置制御プログラムであって、コンピュータを上記各手段として機能させるための顔認証装置制御プログラム。
  5. 請求項4に記載の顔認証装置制御プログラムが記録されたコンピュータ読取り可能な記録媒体。
JP2005074078A 2005-03-15 2005-03-15 顔認証装置およびその制御方法、顔認証装置を備えた電子機器、顔認証装置制御プログラム、ならびに該プログラムを記録した記録媒体 Expired - Fee Related JP4734980B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2005074078A JP4734980B2 (ja) 2005-03-15 2005-03-15 顔認証装置およびその制御方法、顔認証装置を備えた電子機器、顔認証装置制御プログラム、ならびに該プログラムを記録した記録媒体
KR1020060022194A KR100790223B1 (ko) 2005-03-15 2006-03-09 얼굴 인증 장치 및 그 제어 방법, 얼굴 인증 장치를 구비한전자기기, 얼굴 인증 장치 제어 프로그램, 및 해당프로그램을 기록한 기록 매체
US11/373,321 US20070253604A1 (en) 2005-03-15 2006-03-10 Face authentication apparatus, control method and program, electronic device having the same, and program recording medium
EP06111132A EP1703440A3 (en) 2005-03-15 2006-03-14 Face authentication apparatus, contrl method and program, electronic device having the same, and program recording medium
CNB2006100591030A CN100476862C (zh) 2005-03-15 2006-03-14 面部认证装置、控制方法、程序、电子设备及记录介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005074078A JP4734980B2 (ja) 2005-03-15 2005-03-15 顔認証装置およびその制御方法、顔認証装置を備えた電子機器、顔認証装置制御プログラム、ならびに該プログラムを記録した記録媒体

Publications (2)

Publication Number Publication Date
JP2006259931A JP2006259931A (ja) 2006-09-28
JP4734980B2 true JP4734980B2 (ja) 2011-07-27

Family

ID=36501933

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005074078A Expired - Fee Related JP4734980B2 (ja) 2005-03-15 2005-03-15 顔認証装置およびその制御方法、顔認証装置を備えた電子機器、顔認証装置制御プログラム、ならびに該プログラムを記録した記録媒体

Country Status (5)

Country Link
US (1) US20070253604A1 (ja)
EP (1) EP1703440A3 (ja)
JP (1) JP4734980B2 (ja)
KR (1) KR100790223B1 (ja)
CN (1) CN100476862C (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9875393B2 (en) 2014-02-12 2018-01-23 Nec Corporation Information processing apparatus, information processing method, and program
US10515262B2 (en) 2014-10-15 2019-12-24 Nec Corporation Spoofing detection device, spoofing detection method, and recording medium

Families Citing this family (72)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BRPI0512354A (pt) * 2004-06-21 2008-05-13 Nevengineering Inc equipamento e método de reconhecimento da face
JP4793179B2 (ja) * 2005-11-14 2011-10-12 オムロン株式会社 認証装置及び携帯端末
JP4910627B2 (ja) * 2006-10-24 2012-04-04 オムロン株式会社 なりすまし検知装置
KR100851981B1 (ko) * 2007-02-14 2008-08-12 삼성전자주식회사 비디오 영상에서 실 객체 판별 방법 및 장치
KR101362597B1 (ko) * 2007-03-19 2014-02-12 엘지전자 주식회사 사용자 인증기능을 갖는 이동통신단말기 및 그 사용자인증방법
JP5168995B2 (ja) * 2007-04-13 2013-03-27 日本電気株式会社 携帯端末装置、その認証方法及びプログラム
KR100883519B1 (ko) * 2007-08-27 2009-02-13 한국전자통신연구원 영상인식 로봇의 얼굴인식 결과 분석 시스템 및 방법
KR102559017B1 (ko) 2007-09-24 2023-07-25 애플 인크. 전자 장치 내의 내장형 인증 시스템들
US8600120B2 (en) 2008-01-03 2013-12-03 Apple Inc. Personal computing device control using face detection and recognition
JP5147426B2 (ja) * 2008-01-25 2013-02-20 日立オムロンターミナルソリューションズ株式会社 現金取引システム
JP5098973B2 (ja) 2008-11-27 2012-12-12 富士通株式会社 生体認証装置、生体認証方法及び生体認証プログラム
KR20100073191A (ko) * 2008-12-22 2010-07-01 한국전자통신연구원 거리 정보를 이용한 위조 얼굴 검출 방법 및 장치
KR101108835B1 (ko) * 2009-04-28 2012-02-06 삼성전기주식회사 얼굴 인증 시스템 및 그 인증 방법
CN101877764B (zh) * 2009-04-29 2012-05-30 鸿富锦精密工业(深圳)有限公司 拍摄系统及使用该拍摄系统进行辅助构图的方法
EP2495594A3 (en) * 2009-06-16 2012-11-28 Intel Corporation Camera applications in a handheld device
KR20110026214A (ko) * 2009-09-07 2011-03-15 삼성전자주식회사 얼굴 검출 장치 및 방법
US20110084897A1 (en) * 2009-10-13 2011-04-14 Sony Ericsson Mobile Communications Ab Electronic device
JP5642410B2 (ja) * 2010-03-30 2014-12-17 パナソニック株式会社 顔認識装置及び顔認識方法
JP5631125B2 (ja) 2010-09-01 2014-11-26 キヤノン株式会社 画像処理装置、その制御方法及びプログラム
GB2485139A (en) 2010-10-22 2012-05-09 Vodafone Ip Licensing Ltd Analysing and securing mobile based transactions
US8996879B2 (en) 2010-12-23 2015-03-31 Intel Corporation User identity attestation in mobile commerce
FR2979728B1 (fr) 2011-09-01 2016-05-13 Morpho Detection de fraude pour systeme de controle d'acces de type biometrique
US8751809B2 (en) * 2011-09-12 2014-06-10 Intel Corporation Method and device for securely sharing images across untrusted channels
US9002322B2 (en) 2011-09-29 2015-04-07 Apple Inc. Authentication with secondary approver
US8769624B2 (en) 2011-09-29 2014-07-01 Apple Inc. Access control utilizing indirect authentication
TWI523476B (zh) * 2011-10-19 2016-02-21 致伸科技股份有限公司 帳號建立及認證方法
JP2013178702A (ja) * 2012-02-29 2013-09-09 Azbil Corp 顔認証センサ
KR101884337B1 (ko) * 2012-04-26 2018-08-01 삼성전자주식회사 영상 인식 방법 및 장치
CN111178332A (zh) 2012-05-18 2020-05-19 苹果公司 用于操纵用户界面的设备、方法和图形用户界面
US8542879B1 (en) 2012-06-26 2013-09-24 Google Inc. Facial recognition
US8457367B1 (en) 2012-06-26 2013-06-04 Google Inc. Facial recognition
US20140007224A1 (en) * 2012-06-29 2014-01-02 Ning Lu Real human detection and confirmation in personal credential verification
KR101899978B1 (ko) * 2012-07-11 2018-09-19 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법
US8856541B1 (en) 2013-01-10 2014-10-07 Google Inc. Liveness detection
KR102007842B1 (ko) * 2013-01-22 2019-08-06 엘지전자 주식회사 디지털 기기 및 상기 디지털 기기에서 이미지 식별 방법
WO2014130663A1 (en) * 2013-02-20 2014-08-28 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for combating device theft with user notarization
US9898642B2 (en) 2013-09-09 2018-02-20 Apple Inc. Device, method, and graphical user interface for manipulating user interfaces based on fingerprint sensor inputs
US9679212B2 (en) 2014-05-09 2017-06-13 Samsung Electronics Co., Ltd. Liveness testing methods and apparatuses and image processing methods and apparatuses
US10043185B2 (en) 2014-05-29 2018-08-07 Apple Inc. User interface for payments
CA2902093C (en) * 2014-08-28 2023-03-07 Kevin Alan Tussy Facial recognition authentication system including path parameters
WO2016076912A1 (en) 2014-11-13 2016-05-19 Intel Corporation Spoofing detection in image biometrics
US10198645B2 (en) * 2014-11-13 2019-02-05 Intel Corporation Preventing face-based authentication spoofing
CN105809049B (zh) * 2014-12-30 2019-11-05 中兴通讯股份有限公司 加解密的方法、装置及移动终端
CN104935438B (zh) * 2015-05-28 2018-09-07 北京旷视科技有限公司 用于身份验证的方法和装置
US10216914B2 (en) 2015-08-18 2019-02-26 Richard James Hallock System, method, and apparatus for personal identification
US10037419B2 (en) 2016-07-11 2018-07-31 Richard James Hallock System, method, and apparatus for personal identification
US11102648B2 (en) 2015-08-18 2021-08-24 Proteqsit Llc System, method, and apparatus for enhanced personal identification
JP2017084065A (ja) 2015-10-27 2017-05-18 株式会社東芝 なりすまし検出装置
US9898674B2 (en) 2015-12-10 2018-02-20 International Business Machines Corporation Spoof detection for facial recognition
KR20180100329A (ko) * 2016-02-10 2018-09-10 미폰 벤쳐스 인코포레이티드 생체인식을 이용한 웨어러블 디바이스의 사용자 인증 및 등록
CN107135348A (zh) * 2016-02-26 2017-09-05 阿里巴巴集团控股有限公司 拍摄对象的识别方法、装置、移动终端和照相机
DK179186B1 (en) 2016-05-19 2018-01-15 Apple Inc REMOTE AUTHORIZATION TO CONTINUE WITH AN ACTION
US10691923B2 (en) * 2016-09-30 2020-06-23 Intel Corporation Face anti-spoofing using spatial and temporal convolutional neural network analysis
EP3534328A4 (en) * 2016-10-31 2019-11-06 Nec Corporation IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD, FACIAL RECOGNITION SYSTEM, PROGRAM, AND RECORDING MEDIUM
CN106998332B (zh) * 2017-05-08 2020-06-30 深圳市牛鼎丰科技有限公司 安全登录方法、装置、存储介质和计算机设备
WO2019000445A1 (en) * 2017-06-30 2019-01-03 Beijing Didi Infinity Technology And Development Co., Ltd. SYSTEMS AND METHODS FOR VERIFYING THE AUTHENTICITY OF AN IDENTIFICATION PHOTO
KR102143148B1 (ko) 2017-09-09 2020-08-10 애플 인크. 생체측정 인증의 구현
KR102185854B1 (ko) 2017-09-09 2020-12-02 애플 인크. 생체측정 인증의 구현
EA202090770A1 (ru) * 2017-09-18 2020-08-21 Элемент, Инк. Способы, системы и носители данных для обнаружения спуфинга в мобильной аутентификации
WO2019089432A1 (en) * 2017-10-30 2019-05-09 The Research Foundation For The State University Of New York System and method associated with user authentication based on an acoustic-based echo-signature
CN107992797B (zh) * 2017-11-02 2022-02-08 中控智慧科技股份有限公司 人脸识别方法及相关装置
EP3540633B1 (en) 2018-03-16 2020-09-23 Identy Inc. Method for identifying an object within an image and mobile device for executing the method
US11170085B2 (en) 2018-06-03 2021-11-09 Apple Inc. Implementation of biometric authentication
CN108961098A (zh) * 2018-08-02 2018-12-07 深圳市银雁金融服务有限公司 车辆监管方法、装置、系统及计算机可读存储介质
US10860096B2 (en) 2018-09-28 2020-12-08 Apple Inc. Device control using gaze information
US11100349B2 (en) 2018-09-28 2021-08-24 Apple Inc. Audio assisted enrollment
KR102160137B1 (ko) * 2018-12-27 2020-09-25 주식회사 유니온커뮤니티 특징점 변동을 이용한 위조 얼굴 판별장치 및 그 방법
CN110020631A (zh) * 2019-04-11 2019-07-16 乐清市风杰电子科技有限公司 一种基于脸部识别的登机口检验平台及方法
KR20210069984A (ko) * 2019-12-04 2021-06-14 삼성전자주식회사 전자 장치 및 그 제어 방법
JP7484277B2 (ja) 2020-03-19 2024-05-16 株式会社リコー 撮影システム、撮影装置、及び、撮影方法
JP7473965B2 (ja) 2020-09-25 2024-04-24 株式会社ユニバーサルエンターテインメント 測距センサ、および、距離測定方法
GB2621390A (en) * 2022-08-11 2024-02-14 Openorigins Ltd Methods and systems for scene verification

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003178306A (ja) * 2001-12-12 2003-06-27 Toshiba Corp 個人認証装置および個人認証方法
JP2006040151A (ja) * 2004-07-29 2006-02-09 Toshiba Corp 顔認証装置、顔認証方法および通行制御装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3468108B2 (ja) 1998-07-15 2003-11-17 松下電器産業株式会社 顔画像照合方法及び顔画像照合装置
JP3688489B2 (ja) * 1998-12-25 2005-08-31 株式会社東芝 画像認識方法および画像認識装置
US6922494B1 (en) * 1999-09-24 2005-07-26 Eye Web, Inc. Automated image scaling
US7660444B2 (en) * 2000-02-24 2010-02-09 Nokia Corporation Method and apparatus for user recognition using CCD cameras
US7054468B2 (en) * 2001-12-03 2006-05-30 Honda Motor Co., Ltd. Face recognition using kernel fisherfaces
JP3829729B2 (ja) * 2002-02-14 2006-10-04 オムロン株式会社 個人認証装置
JP4063556B2 (ja) 2002-03-08 2008-03-19 広治 深見 顔画像認識装置および方法
JP2003308303A (ja) * 2002-04-18 2003-10-31 Toshiba Corp 個人認証装置および通行制御装置
US20040037450A1 (en) * 2002-08-22 2004-02-26 Bradski Gary R. Method, apparatus and system for using computer vision to identify facial characteristics
CN101064005A (zh) 2003-02-13 2007-10-31 日本电气株式会社 伪装检测装置及伪装检测方法
JP2004362079A (ja) * 2003-06-02 2004-12-24 Fuji Photo Film Co Ltd 本人認証装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003178306A (ja) * 2001-12-12 2003-06-27 Toshiba Corp 個人認証装置および個人認証方法
JP2006040151A (ja) * 2004-07-29 2006-02-09 Toshiba Corp 顔認証装置、顔認証方法および通行制御装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9875393B2 (en) 2014-02-12 2018-01-23 Nec Corporation Information processing apparatus, information processing method, and program
US10515262B2 (en) 2014-10-15 2019-12-24 Nec Corporation Spoofing detection device, spoofing detection method, and recording medium
US11210500B2 (en) 2014-10-15 2021-12-28 Nec Corporation Spoofing detection device, spoofing detection method, and recording medium
EP4047551A1 (en) 2014-10-15 2022-08-24 NEC Corporation Impersonation detection device, impersonation detection method, and recording medium
US11699302B2 (en) 2014-10-15 2023-07-11 Nec Corporation Spoofing detection device, spoofing detection method, and recording medium

Also Published As

Publication number Publication date
EP1703440A3 (en) 2007-03-21
JP2006259931A (ja) 2006-09-28
KR100790223B1 (ko) 2008-01-02
KR20060101255A (ko) 2006-09-22
CN100476862C (zh) 2009-04-08
CN1834986A (zh) 2006-09-20
EP1703440A2 (en) 2006-09-20
US20070253604A1 (en) 2007-11-01

Similar Documents

Publication Publication Date Title
JP4734980B2 (ja) 顔認証装置およびその制御方法、顔認証装置を備えた電子機器、顔認証装置制御プログラム、ならびに該プログラムを記録した記録媒体
US10205883B2 (en) Display control method, terminal device, and storage medium
JP5445460B2 (ja) なりすまし検知システム、なりすまし検知方法及びなりすまし検知プログラム
US10915777B2 (en) Communication terminal, communication system, and image processing method
JP4609253B2 (ja) なりすまし検出装置及び顔認証装置
US11006864B2 (en) Face detection device, face detection system, and face detection method
US8315441B2 (en) Masquerade detection system, masquerade detection method and masquerade detection program
US11245707B2 (en) Communication terminal, communication system, communication control method, and recording medium
US20230290178A1 (en) Detection system, detection method, and computer-readable recording medium
US20190089866A1 (en) Information processing apparatus that performs authentication processing for approaching person, and control method thereof
TWI752105B (zh) 特徵圖像的獲取方法及獲取裝置、使用者認證方法
JP2007094535A (ja) 認証システム及び認証方法
WO2020095350A1 (ja) 情報処理装置、情報処理方法及び記録媒体
KR20190101841A (ko) 시계(field of view)가 다른 복수의 카메라를 이용하여 생체 인증을 수행하는 방법 및 이를 위한 전자 장치
JP2009015518A (ja) 眼画像撮影装置及び認証装置
US9684828B2 (en) Electronic device and eye region detection method in electronic device
TWI737588B (zh) 拍照系統及方法
JP7400886B2 (ja) ビデオ会議システム、ビデオ会議方法、およびプログラム
US11363167B2 (en) Image forming apparatus, method for controlling image forming apparatus, and storage medium storing computer program
JP7131343B2 (ja) 画像処理装置、処理制御方法および処理制御プログラム
US10230860B2 (en) Authentication apparatus for carrying out authentication based on captured image, authentication method and server
JP2008015884A (ja) 虹彩認証システム
JP7207506B2 (ja) なりすまし検知装置、なりすまし検知方法、及びプログラム
JP2019186914A (ja) 通信端末、通信システム、通信方法、及びプログラム
JP2007272757A (ja) 使用者認証方法、使用者認証装置、及びコンピュータプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071126

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101112

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101116

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110112

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110309

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110329

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110411

R150 Certificate of patent or registration of utility model

Ref document number: 4734980

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140513

Year of fee payment: 3

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D02

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D04

LAPS Cancellation because of no payment of annual fees