JP2012027668A - 入退出管理システム - Google Patents

入退出管理システム Download PDF

Info

Publication number
JP2012027668A
JP2012027668A JP2010165287A JP2010165287A JP2012027668A JP 2012027668 A JP2012027668 A JP 2012027668A JP 2010165287 A JP2010165287 A JP 2010165287A JP 2010165287 A JP2010165287 A JP 2010165287A JP 2012027668 A JP2012027668 A JP 2012027668A
Authority
JP
Japan
Prior art keywords
feature point
entrance
subject
management system
exit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010165287A
Other languages
English (en)
Other versions
JP5745790B2 (ja
Inventor
Masanori Koseki
雅典 小関
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Embedded Products Ltd
Original Assignee
NEC Embedded Products Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Embedded Products Ltd filed Critical NEC Embedded Products Ltd
Priority to JP2010165287A priority Critical patent/JP5745790B2/ja
Publication of JP2012027668A publication Critical patent/JP2012027668A/ja
Application granted granted Critical
Publication of JP5745790B2 publication Critical patent/JP5745790B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】生体認証とICカードなどの複合認証を行う入退出管理システムを提供する。
【解決手段】本発明の入退出管理システムは、入退出口に設けられた撮影手段と、入退出口に設けられ、対象者の操作により入力される認証情報を取得する認証情報取得手段と、予め認証情報に対応する対象者の顔の特徴点と、認証情報とが格納されたデータベースと、撮影手段で得られた撮影画像から対象者の瞳を検出する瞳検出手段と、撮影手段で得られた撮影画像から対象者の顔の簡易特徴点を抽出する簡易特徴点抽出手段と、認証情報取得手段で取得された認証情報とデータベースに格納された認証情報との一致比較、及び、撮影手段で得られた対象者の顔の簡易特徴点とデータベースに格納された顔の特徴点に基づく簡易特徴点との一致比較により、入退出口の出入可否を判定する複合認証処理手段とを備えたことを特徴とする。
【選択図】図2

Description

この発明は、来訪者の入退出管理を行うための入退出管理システムに関する。
従来の入退出管理システムは、人物データ作成手段により、一時的な来訪者をカメラにより撮像し、画像処理によってその撮像データを作成していた。また、記入データ作成手段により、一時的な来訪者が記入する所定事項(文字、数字などの記号)を読み取って自動認識し、その記入事項データを作成していた。
データ管理手段は、人物データ作成手段から出力される撮像データ、及び記入データ作成手段から出力される記入事項データを、メモリ等に保存し、必要に応じて検索し表示する。カードデータ処理手段は、人物データ作成手段から出力される撮像データ、及び記入データ作成手段から出力される記入事項データを統合し、一時的な来訪者に手渡されるカード上に所定のフォーマットで記録するために必要とするデータ処理を実行する。
一時的な来訪者によっては、建物内の特別に入場制限された場所(特定施設)に入る場合があるため、その場所に入場することが可能なように、カードデータ処理手段がデータ処理を実行する。カード製造手段は、撮像データ、及び記入事項データをカードに所定のフォーマットで記録する。カードデータ保存手段は、カードに記録された撮像データ、及び記入事項データ等を含む所定のデータを、一時的な来訪者ごとにメモリ等に保存する(例えば、特許文献1参照)。
しかしながら、従来の入退出管理システム自体は、特定施設へ実際に入退場する人そのものではなく、入退場する人が持っているカードの記録情報から通行を許可するか否かを判断するため、カードを交換された場合やカード紛失した直後の、カードの使用停止処理前に不正使用された場合には、不正使用への対応ができず、不正な侵入を防げないという問題があった。
そこで、特許文献2で開示された入退出管理システムは、特定エリアの出入口に設けられたカメラと、カメラの撮影画像から被写体の顔画像の特徴量を抽出する特徴量抽出部と、特定エリアの出入口に設けられ、非接触ICカードのカード情報を取得するカードリーダと、予め非接触ICカードの所有者の顔画像の特徴量と、非接触ICカードのカード情報とが格納されたデータベースと、カードリーダで取得されたカード情報とデータベースに格納されたカード情報との一致比較により特定エリアへの出入可否を判定するとともに、カメラの撮影画像で得られた被写体の顔画像の特徴量とデータベースに格納された顔画像の特徴量との一致比較により、当該被写体と非接触ICカードの所持者との同一性を判定する人物認証部とを備えたものである。
特開平11−25306号公報 特開2005−301861号公報
しかしながら、特許文献2で開示された入退出管理システムでは、被写体の顔画像の特徴量を抽出するカメラが特定エリアの出入口に設けられていて、被写体が、出入口に到着してから、顔画像の特徴量の抽出を行い、また、ICカードのカード情報取得も、この出入口で行われる。よって、顔画の特徴量の抽出や、ICカードのカード情報の取得、そして、それらの複合認証という一連の処理が、一挙に行わなければならず、これらの処理に時間を要するという問題があった。
そこで、本発明の目的は、上記の問題を解決すると共に、生体認証とICカードなどの複合認証を効率的に行える入退出管理システムを提供することにある。
本発明の入退出管理システムは、入退出口に設けられた撮影手段と、入退出口に設けられ、対象者の操作により入力される認証情報を取得する認証情報取得手段と、予め認証情報に対応する対象者の顔の特徴点と、認証情報とが格納されたデータベースと、撮影手段で得られた撮影画像から対象者の瞳を検出する瞳検出手段と、撮影手段で得られた撮影画像から対象者の顔の簡易特徴点を抽出する簡易特徴点抽出手段と、認証情報取得手段で取得された認証情報とデータベースに格納された認証情報との一致比較、及び、撮影手段で得られた対象者の顔の簡易特徴点とデータベースに格納された顔の特徴点に基づく簡易特徴点との一致比較により、入退出口の出入可否を判定する複合認証処理手段とを備えた入退出管理システムにおいて、簡易特徴点抽出手段は、対象者の操作で認証情報を入力できない距離において、対象者の顔の簡易特徴点を抽出し、瞳検出手段は、簡易特徴点抽出手段で抽出が行われてから対象者の操作により認証情報が入力されるまでの間に、対象者の瞳を少なくとも一回以上検出することを特徴とする。
本発明によれば、特定エリアの入退出口にて、対象者の顔の簡易特徴点を用いて認証を行うため、出入口での認証処理時間を短縮できるという効果を奏する。
本発明の実施形態に係る概要図である。 本発明の実施形態に係る入退出管理システムのブロック図である。 本発明の実施形態に係る認証処理を表したフローチャート図である。
本発明の実施形態について、図面を用いて詳細に説明する。図1は、本発明の実施形態に係る概要図である。ある特定エリアの出入口には、ドア1が設けてあり、入室、及び、退出を行う対象者4が、入室等を許可されている者か否かを判定する入退出管理システム(不図示)が設置されている。この入退出管理システムは、ドア1の開閉を制御しており、また、カメラ2とICカード読込機3は、対象者4の入室等を判定する入退出管理システム(不図示)に接続しており、入室等の許可のための情報を取得するものである。
図2は、本発明の実施形態に係る入退出管理システムのブロック図である。入退出管理システム100は、カメラ部201、ICカード読込部301、制御部410、ドア開閉機構501、記録媒体601、及び、情報データベース(以下、情報DBと略す)701から構成されている。
カメラ部201は、図1のカメラ2に相当し、対象者4の瞳や顔等を撮影し、その撮影画像を制御部410へ送信する。ICカード読込部301は、対象者4が所有しているICカードのカード情報を読み取り、そのカード情報を制御部410へ送信する。ドア開閉機構501は、制御部410からの指示に従い、図1のドア1の開閉を制御する。
制御部410は、瞳検出処理部411、簡易特徴点抽出部412、顔特徴点抽出部413、及び、複合認証処理部414から構成されている。瞳検出処理部411は、カメラ部201からの撮影画像を基に、対象者4の瞳検出を行う。簡易特徴点抽出部412は、カメラ部201からの撮影画像を基に、対象者4の顔の簡易特徴点の抽出を行う。顔特徴点抽出部413は、対象者4の顔の特徴点の抽出を行う。この顔特徴点抽出部413は、簡易特徴点抽出部412より、詳細な顔の特徴点を抽出する。ここで、簡易特徴点抽出部412と顔特徴点抽出部413との差異は、抽出する顔の特徴点の数の多さによる違いである。顔特徴点抽出部413は、詳細な顔の特徴点を抽出するため、その特徴点の数は、簡易特徴点抽出部412による特徴点抽出数より多くになる。
複合認証処理部414は、カメラ部201からの撮影画像を基に抽出した対象者4の顔の簡易特徴点や、対象者4が所有しているICカードのカード情報を基に、予め情報DB701に記録しておいた情報と比較し、対象者4が入室等の許可をされた者か否かを判定する。また、記録媒体601は、カメラ部201からの撮影画像を基に抽出した対象者4の顔の簡易特徴点や、対象者4が所有しているICカードのカード情報を一時保存しておくための記録領域である。
図3は、本発明の実施形態に係る認証処理を表したフローチャート図である。図1に示したように、対象者4が、ドア1に近づいていく状態において、対象者4の入室に関する認証処理を説明する。
まず、対象者4が、ドア1に近づいてくるので、入退出管理システム100は、カメラ部201により対象者4を撮影し、その撮影画像から瞳検出処理部411で瞳検出を行う(ステップS301)。この瞳検出は、一定間隔で行い、その都度、瞳検出処理が行われる。なお、検出された瞳に関するデータは、記録媒体601に保存される。
こうして、瞳検出が一定時間行われると、対象者4は、その顔がある程度はっきりと認識できる距離に近づいてくるので、簡易的な顔の特徴点を抽出する。これは、カメラ部201により対象者4を撮影し、その撮影画像から簡易特徴点抽出部412で簡易的な顔の特徴点の抽出を行う(ステップS302)。なお、抽出された顔の簡易特徴点に関するデータは、記録媒体601に保存される。
その後も、ステップS301と同様に、瞳検出が行われる(ステップS303)。このように、瞳検出や顔の簡易特徴点抽出が行われていくと、対象者4は、ドア1に到達する。そこで、対象者4の所有するICカードの読み取りが行われる。ただし、それまでの瞳検出が正常に行われたか否かで、処理が異なる。
それまでの瞳検出が正常に行われた場合(ステップS303のYES)、ICカード読込部301は、対象者4が所有しているICカードのカード情報の読み取りを行う(ステップS304)。ここで、ICカードのカード情報が読み取れた場合(ステップS304のYES)は、ステップS305へ進み、ICカードのカード情報が読み取れなかった場合(ステップS304のNO)は、もう一度ステップS303へ戻る。
ステップS305では、対象者4の所有するICカードの情報と、予め登録しておいた情報DB701のカード情報と一致するか否かを調べている。一致した場合(ステップS305のYES)は、ステップS306へ進み、一致しなかった場合(ステップS305のNO)は、ステップS310へ進む。
ステップS306では、瞳検出を継続的に行っていた際に、抽出した顔の簡易特徴点に関して、ICカードのカード情報(例えば、ID番号)と紐付けして予め情報DB701に登録しておいて対象者4のものと一致するか否かを判定する。なお、情報DB701には、対象者4の顔の特徴点が登録されており、この顔の特徴点から、顔の簡易特徴点を抽出して、一致するか否かの判定に使用する。ここで、情報が一致すれば(ステップS306のYES)、ドア1の解錠を実行する(ステップS307)。
また、一致しなければ(ステップS306のNO)、通常の複合認証処理、即ち、ドア1の前で、はじめから、顔特徴点抽出部413で顔の特徴点を抽出し、その顔の特徴点情報と、ICカードのカード情報から、対象者4の入室に関する一連の認証処理を行う(ステップS309)。この認証処理の結果、対象者4が入室を許可された者であれば(ステップS309のYES)、ドア1の解錠を実行する(ステップS307)。また、入室を許可されない者であれば(ステップS309のNO)、ステップS310へ進む。
また、一連の瞳検出が正常に行われなかった場合(ステップS303のNO)、ICカードのカード情報が読み取れた場合には(ステップS308のYES)、通常の複合認証処理を行う(ステップS309)。また、ICカードのカード情報が読み取れなかった場合は(ステップS308のNO)、簡易特徴点の情報を破棄(ステップS310)する。そして、本システムとしては、最初のステップに戻ることになる。
本発明によれば、特定エリアの入退出口にて、対象者の顔の簡易特徴点を用いて、認証処理を行うため、入退出口での生体情報に関わる認証処理時間を短縮できるという効果を奏する。また、一定間隔で、継続して、瞳検出を行っているため、なりすましによる不正行為を妨げることができるという効果を奏する。
以上、実施形態を説明したが、特許請求の範囲に定義された本発明の広範囲な趣旨及びその範囲から逸脱することなく、これら実施形態や具体例に様々な修正及び変更が可能である。
1 ドア
2 カメラ
3 ICカード読込機
4 対象者
100 入退出管理システム
201 カメラ部
301 ICカード読込部
410 制御部
411 瞳検出処理部
412 簡易特徴点抽出部
413 顔特徴点抽出部
414 複合認証処理部
501 ドア開閉機構
601 記録媒体
701 情報データベース

Claims (6)

  1. 入退出口に設けられた撮影手段と、
    前記入退出口に設けられ、対象者の操作により入力される認証情報を取得する認証情報取得手段と、
    予め認証情報に対応する対象者の顔の特徴点と、認証情報とが格納されたデータベースと、
    前記撮影手段で得られた撮影画像から対象者の瞳を検出する瞳検出手段と、
    前記撮影手段で得られた撮影画像から対象者の顔の簡易特徴点を抽出する簡易特徴点抽出手段と、
    前記認証情報取得手段で取得された認証情報と前記データベースに格納された認証情報との一致比較、及び、前記撮影手段で得られた対象者の顔の簡易特徴点と前記データベースに格納された顔の特徴点に基づく簡易特徴点との一致比較により、前記入退出口の出入可否を判定する複合認証処理手段と、
    を備えた入退出管理システムにおいて、
    前記簡易特徴点抽出手段は、対象者の操作で認証情報を入力できない距離において、前記対象者の顔の簡易特徴点を抽出し、
    前記瞳検出手段は、前記簡易特徴点抽出手段で抽出が行われてから対象者の操作により認証情報が入力されるまでの間に、前記対象者の瞳を少なくとも一回以上検出する
    ことを特徴とする入退出管理システム。
  2. 請求項1記載の入退出管理システムにおいて、
    前記瞳検出手段は、一定間隔で、前記対象者の瞳を検出する
    ことを特徴とする入退出管理システム。
  3. 請求項1または2記載の入退出管理システムにおいて、
    前記撮影手段で得られた撮影画像から対象者の顔の特徴点を抽出する顔特徴点抽出手段を備えた
    ことを特徴とする入退出管理システム。
  4. 請求項1乃至3のいずれか1項に記載された入退出管理システムにおいて、
    前記瞳検出手段は、前記簡易特徴点抽出手段で抽出が行われる前から、前記対象者の瞳を検出する
    ことを特徴とする入退出管理システム。
  5. 請求項3または4記載の入退出管理システムにおいて、
    前記瞳検出手段が一定間隔で前記対象者の瞳を検出することに失敗、または、前記簡易特徴点抽出手段が簡易特徴点の抽出に失敗した場合は、前記顔特徴点抽出手段によって、前記入退出口にて、前記対象者の顔の特徴点を抽出し、前記複合認証処理手段が、前記対象者の顔の特徴点に基づき、前記入退出口の出入可否を判定する
    ことを特徴とする入退出管理システム。
  6. 請求項1乃至5のいずれか1項に記載された入退出管理システムにおいて、
    前記認証情報は、ICカードのカード情報である
    ことを特徴とする入退出管理システム。
JP2010165287A 2010-07-22 2010-07-22 入退出管理システム Expired - Fee Related JP5745790B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010165287A JP5745790B2 (ja) 2010-07-22 2010-07-22 入退出管理システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010165287A JP5745790B2 (ja) 2010-07-22 2010-07-22 入退出管理システム

Publications (2)

Publication Number Publication Date
JP2012027668A true JP2012027668A (ja) 2012-02-09
JP5745790B2 JP5745790B2 (ja) 2015-07-08

Family

ID=45780532

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010165287A Expired - Fee Related JP5745790B2 (ja) 2010-07-22 2010-07-22 入退出管理システム

Country Status (1)

Country Link
JP (1) JP5745790B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017146160A1 (ja) * 2016-02-26 2017-08-31 日本電気株式会社 顔照合システム、顔照合方法、及び記録媒体
WO2017146161A1 (ja) * 2016-02-26 2017-08-31 日本電気株式会社 顔照合システム、顔照合装置、顔照合方法、及び記録媒体
JPWO2020241852A1 (ja) * 2019-05-30 2020-12-03
WO2022201490A1 (ja) * 2021-03-26 2022-09-29 日本電気株式会社 認証端末、認証システム、認証方法及び非一時的なコンピュータ可読媒体

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005242775A (ja) * 2004-02-27 2005-09-08 Omron Corp ゲートシステム
JP2005284565A (ja) * 2004-03-29 2005-10-13 Glory Ltd 自動取引装置
JP2006259924A (ja) * 2005-03-15 2006-09-28 Omron Corp 被写体認証装置、携帯電話、被写体認証ユニット、被写体認証方法、及び被写体認証プログラム
JP2010072891A (ja) * 2008-09-18 2010-04-02 Mitsubishi Electric Corp 認証装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005242775A (ja) * 2004-02-27 2005-09-08 Omron Corp ゲートシステム
JP2005284565A (ja) * 2004-03-29 2005-10-13 Glory Ltd 自動取引装置
JP2006259924A (ja) * 2005-03-15 2006-09-28 Omron Corp 被写体認証装置、携帯電話、被写体認証ユニット、被写体認証方法、及び被写体認証プログラム
JP2010072891A (ja) * 2008-09-18 2010-04-02 Mitsubishi Electric Corp 認証装置

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11055513B2 (en) 2016-02-26 2021-07-06 Nec Corporation Face recognition system, face recognition method, and storage medium
US11631278B2 (en) 2016-02-26 2023-04-18 Nec Corporation Face recognition system, face recognition method, and storage medium
WO2017146160A1 (ja) * 2016-02-26 2017-08-31 日本電気株式会社 顔照合システム、顔照合方法、及び記録媒体
JPWO2017146161A1 (ja) * 2016-02-26 2018-12-27 日本電気株式会社 顔照合システム、顔照合装置、顔照合方法、及び記録媒体
JP2020119615A (ja) * 2016-02-26 2020-08-06 日本電気株式会社 顔照合システム、顔照合装置、顔照合方法、及び記録媒体
JP2022040245A (ja) * 2016-02-26 2022-03-10 日本電気株式会社 顔照合システム、顔照合装置、顔照合方法、及び記録媒体
JP2021015627A (ja) * 2016-02-26 2021-02-12 日本電気株式会社 顔照合システム、顔照合方法、及びプログラム
US10977483B2 (en) 2016-02-26 2021-04-13 Nec Corporation Face recognition system, face recognition method, and storage medium
JPWO2017146160A1 (ja) * 2016-02-26 2018-12-27 日本電気株式会社 顔照合システム、顔照合方法、及びプログラム
US11960586B2 (en) 2016-02-26 2024-04-16 Nec Corporation Face recognition system, face matching apparatus, face recognition method, and storage medium
US11948398B2 (en) 2016-02-26 2024-04-02 Nec Corporation Face recognition system, face recognition method, and storage medium
JP7447978B2 (ja) 2016-02-26 2024-03-12 日本電気株式会社 顔照合システム、顔照合方法、及びプログラム
JP7196893B2 (ja) 2016-02-26 2022-12-27 日本電気株式会社 顔照合システム、顔照合方法、及びプログラム
WO2017146161A1 (ja) * 2016-02-26 2017-08-31 日本電気株式会社 顔照合システム、顔照合装置、顔照合方法、及び記録媒体
JP7359230B2 (ja) 2016-02-26 2023-10-11 日本電気株式会社 顔照合システム、顔照合装置、顔照合方法、及び記録媒体
EP3422291B1 (en) * 2016-02-26 2023-11-22 Nec Corporation Facial verification system, facial verification method, and recording medium
JP7034452B2 (ja) 2019-05-30 2022-03-14 playground株式会社 チケット発券システム、検札装置、およびプログラム
JPWO2020241852A1 (ja) * 2019-05-30 2020-12-03
WO2022201490A1 (ja) * 2021-03-26 2022-09-29 日本電気株式会社 認証端末、認証システム、認証方法及び非一時的なコンピュータ可読媒体

Also Published As

Publication number Publication date
JP5745790B2 (ja) 2015-07-08

Similar Documents

Publication Publication Date Title
CA2793453C (en) Access control device
KR100544241B1 (ko) 출국 접수 시스템, 출국 심사 시스템, 출국 심사 방법,여권 발급 대상자 정보의 관리 방법, 출국 개찰 시스템의배치 구조, 입국 접수 시스템, 입국 개찰 시스템, 입국심사 시스템, 입국 심사 방법, 입국 개찰 시스템의 배치구조, 및 여권
US20090254464A1 (en) Time and attendance system and method
JP4760049B2 (ja) 顔認証装置、その顔認証方法、その顔認証装置を組み込んだ電子機器およびその顔認証プログラムを記録した記録媒体
JP2005242775A (ja) ゲートシステム
JP2010154134A (ja) 映像監視システム
US11734412B2 (en) Information processing device
JP2009098814A (ja) 入退場管理方法および顔画像認識セキュリティシステム
KR101554174B1 (ko) 공항 보안 구역 출입 통제 시스템 및 방법
CN101751562B (zh) 基于人脸识别的银行交易取证图像的获取方法
JP2013077068A (ja) 顔認証データベース管理方法、顔認証データベース管理装置及び顔認証データベース管理プログラム
KR20190128478A (ko) 키오스크 무인 출입카드 관리 방법
JP4460265B2 (ja) 入退室管理装置
JP5745790B2 (ja) 入退出管理システム
CN106780864A (zh) 基于人体骨骼识别技术的门禁系统
JP5877678B2 (ja) 顔認証データベース管理方法、顔認証データベース管理装置及び顔認証データベース管理プログラム
KR101381524B1 (ko) 영상을 이용한 출입자 관리 시스템
KR20020032048A (ko) 얼굴 인식 보안방법
JP2005301861A (ja) 出入管理システム
JP4375011B2 (ja) 自動取引システム
JP2006099486A (ja) 入室管理システム
JP2017025621A (ja) 入退室管理システム
RU196279U1 (ru) Биометрическое устройство идентификации пользователя
JP2005350960A (ja) Icカードゲート装置
JP4347648B2 (ja) 不正監視装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130614

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140110

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140204

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140401

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140924

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141111

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150414

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150507

R150 Certificate of patent or registration of utility model

Ref document number: 5745790

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees