JP2020021358A - 入退室管理サーバおよび入退室管理システム - Google Patents

入退室管理サーバおよび入退室管理システム Download PDF

Info

Publication number
JP2020021358A
JP2020021358A JP2018145888A JP2018145888A JP2020021358A JP 2020021358 A JP2020021358 A JP 2020021358A JP 2018145888 A JP2018145888 A JP 2018145888A JP 2018145888 A JP2018145888 A JP 2018145888A JP 2020021358 A JP2020021358 A JP 2020021358A
Authority
JP
Japan
Prior art keywords
authentication information
entry
authentication
user
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018145888A
Other languages
English (en)
Other versions
JP6704433B2 (ja
Inventor
和司 神野
Kazushi Kamino
和司 神野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Information Systems Corp
Original Assignee
Mitsubishi Electric Information Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Information Systems Corp filed Critical Mitsubishi Electric Information Systems Corp
Priority to JP2018145888A priority Critical patent/JP6704433B2/ja
Publication of JP2020021358A publication Critical patent/JP2020021358A/ja
Application granted granted Critical
Publication of JP6704433B2 publication Critical patent/JP6704433B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Devices For Checking Fares Or Tickets At Control Points (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】利便性を確保した入退室管理システムにおいて、認証のための追加リソースを要することなく、セキュリティを向上させることを課題とする。【解決手段】本発明に関わる入退室管理サーバは、カメラで撮像した利用者の画像から第1の認証情報および第2の認証情報を抽出する特徴点抽出部と、受信機から利用者を特定する暗号化された第3の認証情報を取得し、この第3の認証情報を第1の認証情報で復号し、復号された前記第3の認証情報と前記第2の認証情報とを比較することで、利用者の入退室の認証を行う認証部とを備える。【選択図】図1

Description

この発明は、入退室管理の認証方法に関する。
従来、入退室管理システムでは、非接触型ICカードを利用したシステムが利用されてきた。
非接触ICカードを利用する場合、ゲートを通過する際にカードを翳す動作が必要となり、手荷物がある場合は不便である。
特許文献1では、カードを翳す動作を必要としない自動ゲートシステムが開示されている。
特開2003−331323号公報
しかし、特許文献1では、ICカード内に保存された顔データと、カメラで撮像したデータとを判定することで通過許可を行っているが、本人確認を一度しか行っておらず、セキュリティが十分とは言えない。
セキュリティの向上を図る場合、新たな認証方法を追加することが考えられる。例えば、新たな認証方法のための鍵を用意することが考えられるが、この場合新たなリソースの管理が必要とする。
本発明は、上記の点を考慮してなされたものであり、利便性を確保した入退室管理システムにおいて、認証のための追加リソースを要することなく、セキュリティを向上させることを課題とする。
入退室管理サーバは、ネットワークを介してカメラと受信機とに接続される入退室管理サーバであって、前記カメラで撮像した利用者の画像から第1の認証情報および第2の認証情報とを抽出する特徴点抽出部と、前記受信機から、利用者を特定する暗号化された第3の認証情報を取得し、この第3の認証情報を前記第1の認証情報で復号し、復号された前記第3の認証情報と前記第2の認証情報とを比較することで、利用者の入退室の認証を行う認証部とを備える。
前記認証部は、前記第3の認証情報と前記第2の認証情報とが一致する場合は利用者の入退室を許可し、前記第3の認証情報と前記第2の認証情報とが不一致の場合は利用者の入退室を不許可とする。
前記特徴点抽出部は、利用者を撮像した画像から前記第3の認証情報と第4の認証情報を抽出し、前記第4の認証情報で暗号化された前記第3の認証情報を保管する携帯カードを作成する携帯カード発行部と、前記携帯カードが発する信号を前記受信機から取得する信号受信部とを備える。
前記利用者を撮像した画像から生体情報の位置関係を前記第1の認証情報と前記第2の認証情報として利用する。
前記信号受信部は、前記受信機から取得した暗号化された前記第3の認証情報を保存し、前記特徴点抽出部は、利用者の画像を撮像する毎に、利用者を撮像した画像から前記第1の認証情報と前記第2の認証情報とを抽出し、前記認証部は、前記特徴点抽出部によって撮像された前記第3の認証情報を前記第1の認証情報で復号し、復号された前記第3の認証情報と前記第2の認証情報とを比較することで、利用者の入退室の認証を行い、利用者の入退室の認証が未確認である前記第3の認証情報がある間、認証を繰り返す。
さらに、前記認証部は、前記利用者の入退室を許可すると判定したときは、前記入退室管理サーバと前記ネットワークを介して接続されるゲートに対して前記ゲートを開放するよう指示するか、あるいは前記利用者の入退室を不許可すると判定したときは、前記ゲートに対して前記ゲートを閉鎖するよう指示する。
入退室管理表示端末は、撮像した利用者の画像から第1の認証情報および第2の認証情報とを抽出する特徴点抽出部と、受信機から、利用者を特定する暗号化された第3の認証情報を取得し、この第3の認証情報を前記第1の認証情報で復号し、復号された前記第3の認証情報と前記第2の認証情報とを比較することで、利用者の入退室の認証を行う認証部とを備える入退室管理サーバにネットワークを介して接続される表示端末であって、利用者の入退室の認証結果を前記入退室管理サーバから受信し、入退室の認証結果を画面表示するアラート表示部を備える。
この発明では、利便性を確保しつつ、認証のための追加リソースを要せずにセキュリティの向上を図ることができる。
実施の形態1に係る入退室管理システム1の構成図。 実施の形態1に係る入退室管理サーバ10の構成図。 実施の形態1に係る入退室管理登録端末70の構成図。 実施の形態1に係る携帯カード作成処理の作成フロー図。 実施の形態1に係る携帯カード作成処理の作成フロー図。 実施の形態1に係る入退室管理処理の入退室管理フロー図。 実施の形態1に係る入退室管理処理の入退室管理フロー図。 実施の形態1に係る利用者テーブル151、契約内容テーブル152の説明図。 実施の形態1に係る第1の認証情報、第4の認証情報の説明図。 実施の形態1に係る第2の認証情報、第3の認証情報の説明図。 実施の形態1に係る特徴点テーブル153の説明図。 実施の形態1に係る携帯カードテーブル154の説明図。 実施の形態1に係る特徴点情報テーブル155の説明図。 実施の形態1に係る入退室管理システム1の構成図。 実施の形態2に係る入退室管理システム1の構成図。 実施の形態2に係る入退室管理表示端末80の説明図。 実施の形態2に係る入退室管理処理の入退室管理フロー図。 実施の形態2に係る入退室管理処理の入退室管理フロー図。 実施の形態2に係る入退室管理処理の入退室管理フロー図。 実施の形態2に係る信号情報テーブル156の説明図。 実施の形態2に係る検査結果テーブル157,857の説明図。
実施の形態1.
実施の形態1では、鉄道会社の改札を入退場する利用者を管理する入退室管理システム1について説明する。
***構成の説明***
図1を参照して、実施の形態1に係る入退室管理システム1の構成を説明する。
入退室管理システム1は、入退室管理サーバ10と、携帯カード20と、カメラ30と、受信機40と、ゲート50と、入退室管理登録端末70とを備える。入退室管理サーバ10と、カメラ30と、受信機40と、ゲート50と、入退室管理登録端末70とは、ネットワーク60を介して接続されている。
入退室管理サーバ10と入退室管理登録端末70は、入退室管理サービスを提供するコンピュータである。入退室管理サーバ10は、サービスを提供する会社、または、サービスを提供する会社が利用するデータセンターといった場所に通常は設置される。入退室管理登録端末70は、サービスを提供する会社に設置されるが、カメラ30、受信機40と同じLAN内に設置されても構わない。
入退室管理登録端末70は、PC(Personal Computer)といった利用者が使用するコンピュータである。
携帯カード20は、集積回路が組み込まれたカードである。利用者を特定できる情報が記録されており、受信機40とは、所定のインタフェースでの通信が可能である。具体的にはビーコンカードである。受信機40と通信可能なものであればよく、RFIDカード等であってもよい。
カメラ30は、利用者の映像を取得するための撮像装置である。
受信機40は、携帯カード20と所定のインタフェースでの通信が可能な装置である。 ゲート50は、入退室管理サーバ10とネットワーク60を介して接続されており、入退室管理サーバ10の指示によりゲート50を開閉させることで、利用者の入退場を制限する装置である。
ネットワーク60は、入退室管理サーバ10とカメラ30と受信機40と入退室管理登録端末70とを接続し、所定のインタフェースでの通信が可能とする伝送路である。
図2を参照して、実施の形態1に係る入退室管理サーバ10の構成を説明する。
入退室管理サーバ10は、プロセッサ11を備えると共に、メモリ13、補助記憶装置14からなる記憶装置12、および入出力インタフェース16といった他のハードウェアを備える。プロセッサ11は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。
入退室管理サーバ10は、機能要素として、特徴点抽出部111と、携帯カード発行部112と、認証部113と、カード検査部114と、信号受信部115と、画像記録部116と、ファイル送受信部117とを備える。以下の説明では、特徴点抽出部111と、携帯カード発行部112と、認証部113と、カード検査部114と、信号受信部115と、画像記録部116と、ファイル送受信部117との機能を、入退室管理サーバ10の「部」の機能という。特徴点抽出部111と、携帯カード発行部112と、認証部113と、カード検査部114と、信号受信部115と、画像記録部116と、ファイル送受信部117との機能は、ソフトウェアにより実現される。
記憶部15は、記憶装置12で実現される。記憶部15には、利用者テーブル151と、契約内容テーブル152と、特徴点テーブル153と、携帯カードテーブル154と、特徴点情報テーブル155と、信号情報テーブル156と、検査結果テーブル157と、画像テーブル158とが記憶される。
図3を参照して、実施の形態1に係る入退室管理登録端末70の構成を説明する。
入退室管理登録端末70は、プロセッサ71を備えると共に、メモリ73と、補助記憶装置74とからなる記憶装置72、および入出力インタフェース76といった他のハードウェアを備える。プロセッサ71は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。
入退室管理登録端末70は、機能要素として、本人情報入力部711と、カード発券部712と、アラート表示部713と、ファイル送受信部714とを備える。以下の説明では、本人情報入力部711と、カード発券部712と、アラート表示部713と、ファイル送受信部714との機能を、入退室管理登録端末70の「部」の機能という。本人情報入力部711と、カード発券部712と、アラート表示部713と、ファイル送受信部714との機能は、ソフトウェアにより実現される。
記憶部75は、記憶装置72で実現される。記憶部75には、利用者テーブル751と、契約内容テーブル752と、特徴点テーブル753と、携帯カードテーブル754と、検査結果テーブル757と、画像テーブル758とが記憶される。
図2および図3において、プロセッサ11,71は、プロセッシングを行うIC(Integrated Circuit)である。プロセッサ11,71は、具体例としては、CPU(Central Processing Unit)、DSP(Digital Signal Processor)、GPU(Graphics Processing Unit)である。
記憶装置12は、メモリ13および補助記憶装置14を含む。記憶部15は、メモリ13により実現される。なお、記憶部15は、補助記憶装置14により実現されていてもよいし、メモリ13と補助記憶装置14との両方により実現されてもよい。
記憶装置72は、メモリ73および補助記憶装置74を含む。記憶部75は、メモリ73により実現される。なお、記憶部75は、補助記憶装置74により実現されていてもよいし、メモリ73と補助記憶装置74との両方により実現されてもよい。
メモリ13,73は、データを一時的に記憶する記憶装置である。メモリ13,73は、具体例としては、SRAM(Static Random Access Memory)、DRAM(Dynamic Random Access Memory)である。
補助記憶装置14,74は、データを保管する記憶装置である。補助記憶装置14,74は、具体例としては、HDD(Hard Disk Drive)である。また、補助記憶装置14,74は、SD(登録商標,Secure Digital)メモリカード、CF(登録商標,CompactFlash)、NANDフラッシュ、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ(登録商標)ディスク、DVD(Digital Versatile Disk)といった可搬記憶媒体であってもよい。
補助記憶装置14,74は、「部」の機能を実現するプログラムが記憶されている。このプログラムは、メモリ13,73にロードされ、プロセッサ11,71に読み込まれ、プロセッサ11,71によって実行される。補助記憶装置14,74には、OS(Operating・System)も記憶されている。OSの少なくとも一部がメモリ13,73にロードされ、プロセッサ11,71はOSを実行しながら、「部」の機能を実現するプログラムを実行する。
入出力インタフェース16,76は、外部の装置と通信するためのインタフェースである。入出力インタフェース16,76は、具体例としては、Ethernet(登録商標)、USB(Universal Serial Bus)、HDMI(登録商標,High−Definition Multimedia Interface)のポートである。
図2の入退室管理サーバ10では、プロセッサ11は、1つだけ示されている。しかし、入退室管理サーバ10は、プロセッサ11を代替する複数のプロセッサを備えていてもよい。これら複数のプロセッサは、特徴点抽出部111と、携帯カード発行部112と、認証部113と、カード検査部114と、信号受信部115と、画像記録部116と、ファイル送受信部117との機能を実現するプログラムの実行を分担する。それぞれのプロセッサは、プロセッサ11と同じように、プロセッシングを行うICである。
同様に、図3の入退室管理登録端末70では、プロセッサ71は、1つだけ示されている。しかし、入退室管理登録端末70は、プロセッサ71を代替する複数のプロセッサを備えていてもよい。これら複数のプロセッサは、カード発券部712と、アラート表示部713と、ファイル送受信部714との機能を実現するプログラムの実行を分担する。それぞれのプロセッサは、プロセッサ71と同じように、プロセッシングを行うICである。
***動作の説明***
図4から図7を参照して、実施の形態1に係る入退室管理システム1の動作を説明する。
実施の形態1に係る入退室管理システム1の動作は、実施の形態1に係る入退室管理方法に相当する。また、実施の形態1に係る入退室管理システム1の動作は、実施の形態1に係る入退室管理プログラムの処理に相当する。
入退室管理システム1について、入退室管理システム1で利用する携帯カード作成フローと入退室管理フローについてそれぞれ説明する。
最初に、図4と図5を参照して、携帯カード作成フローについて説明する。
実施の形態1に係る入退室管理システム1の利用者は事前に携帯カード20を作成する必要がある。
入退室管理登録端末70の本人情報入力部711は、利用者からの入力により利用者の本人情報を登録する(ステップS1)
利用者によって入力される利用者の情報は、図8の利用者テーブル751に示すように、氏名、年齢等の本人を示す情報である。入力された情報は、利用者IDと共に登録される。利用者IDは、入力された利用者の情報を識別する情報である。
次に、本人情報入力部711は、登録が必要となる利用者の顔画像を撮像する(ステップS2)。顔画像は2つの認証情報として利用するためのもので、本人を識別できる生体情報であれば、顔画像に限らず、容姿等の画像でも構わない。
なお、実施の形態1では認証を2段階で行っているが、多段階での認証を行う場合は、1つの顔画像から認証回数に応じた認証情報を抽出する。
撮像した顔画像は、画像テーブル758(図示せず)に保存される。
次に、本人情報入力部711は、利用者からの入力により利用者の契約情報を登録する(ステップS3)。
利用者によって入力される契約情報は図8の契約内容テーブル752に示すように、契約内容1、契約内容2、契約内容3といった情報が利用者IDと共に登録される。
本人情報の登録が完了すると、ファイル送受信部714は、本人情報入力部711で入力された、本人情報と、顔画像と、契約情報とを携帯カード20に保管する入力情報として、入退室管理サーバ10に送付する(ステップS4)。
入退室管理サーバ10のファイル送受信部117は、入退室管理登録端末70から送付された入力情報を受信する(ステップS5)。
入退室管理サーバ10の特徴点抽出部111は、入力情報に含まれる顔画像から第4の認証情報を抽出する(ステップS6)。第4の認証情報を抽出する例については後述する。
次に、入退室管理サーバ10の特徴点抽出部111は、ステップS6で使用した同じ顔画像から第3の認証情報を抽出する(ステップS7)。
顔画像から第4の認証情報と第3の認証情報を抽出する方法を図9および図10を参照して説明する。
第4の認証情報と第3の認証情報との違いは、認証に使用する項目の違いである。第4の認証情報より第3の認証情報が項目が多い。
図9の例では、第4の認証情報として、利用者の顔の特徴点のうち左目と右目の内側の長さ、目と鼻との長さ、口の両端の長さを人の認証情報として利用している。
図10の例では、第3の認証情報として、利用者の顔の特徴点のうち左目と右目の内側の長さ、目と鼻との長さ、口の両端の長さに加えて、左眉と右眉の内側の長さ、左眉と右眉の外側の長さ、目と眉の長さ、目と口の両端との長さを認証情報として追加したものを利用している。
これらの特徴点の情報は、カメラ30と被写体との距離や撮影する角度、またカメラ30の精度、被写体の状況等の環境によって誤差が生じやすい。例えば、1メートルの距離から静止している利用者を撮影した場合、利用者の左目と右目の内側の長さが1.34センチメートルだったとしても、3メールの距離から歩行している同じ歩行者を撮影した場合、利用者の左目と右目の内側の長さを1.33センチメートルと認識するケースは十分あり得る。
そこで、環境による誤差を吸収するため、取得した情報を丸める処理を行い正しく本人と認識できるようにする。上記の例の場合、利用者の左目と右目の内側の長さを1.34センチメートルではなく1.3センチメートルとして登録することにより、本人の特徴点の情報で本人と認識されないケースを防ぐことが可能となる。
一方、上記のように丸める処理を行うことは、誤認識してしまうケースを増やすことにつながる。しかし、一つ一つの特徴点の情報では誤認識するリスクがあっても、第3の認証情報が示すように認証する項目を増やすことで誤認識するリスクを少なくでき、利用者を誤認識することなく特定することが可能となる。このように利用者を撮像した顔画像から生体情報の位置関係を第3の認証情報と第4の認証情報として利用する。
上記の認証のアルゴリズム自体は限定するものではない。また、各特徴点の項目は完全一致する必要はなく、適合率により認証判断を行うようにしてもよい。
後述する第1の認証情報と第2の認証情報は、それぞれ第4の認証情報と第3の認証情報と同じ仕組みにより顔画像から抽出されるものである。
抽出した第3の認証情報および第4の認証情報は、図11に示すように利用者ID、画像データと共に特徴点テーブル153に保存される。なお、利用者IDは、撮影された画像の被写体である利用者を識別する情報である。
図11の例では、利用者IDが10000001、画像データが10000001.jpg、第4の認証情報が、Athkoo98L30kLhil、第3の認証情報が、mch9rtlkAjey2wG=で保存されている。
図11の例では、保存する画像データの画像フォーマットはjpgとしたが、png,gif,bmp等の画像フォーマットであってもよい。
携帯カード発行部112は、入退室管理登録端末70から受信した利用者テーブル151と、契約内容テーブル152、およびステップS7で抽出された第3の認証情報との情報から携帯カード20に保管する情報を作成する。
携帯カード20内に保管する情報は第4の認証情報で暗号化する(ステップS8)。
携帯カード発行部112は、入力情報を元にして作成された携帯カード20に保管する入力情報を保存する(ステップS9)。
携帯カード20に保管される情報は、図12の携帯カードテーブル154に示すように利用者ID、氏名、年齢、契約内容1、契約内容2と、第3の認証情報とが暗号化されて保存される。
なお、機密度が高くない情報については、図12の携帯カードテーブル154の契約内容3のように暗号化せずに保存することとしてもよい。
ファイル送受信部117は、携帯カードテーブル154に保存された情報を入退室管理登録端末70へ送信する(ステップS10)。
入退室管理登録端末70のファイル送受信部714は、入退室管理サーバ10から送信された入力情報を受信する(ステップS11)。
入退室管理登録端末70のカード発券部712は、受信した入力情報を携帯カード20へ書き込み、携帯カード20を発券する(ステップS12)。携帯カード20の中には、図12の携帯カードテーブル154が示す情報が保管される。第3の認証情報は、第4の認証情報で暗号化されて携帯カード20に保管される。
次に、図6と図7を参照して、入退室管理システム1の入退室管理フローを説明する。
入退室管理システム1の入退室管理フローでは、駅の改札に設置されたカメラ30によって、改札を通過しようとする利用者の顔画像を撮像する(ステップS21)。カメラ30によって撮像された顔画像は、入退室管理サーバ10に送られる。
入退室管理サーバ10の画像記録部116は、カメラ30で撮像された顔画像を受信する(ステップS22)。受信した顔画像は、画像テーブル158(図示せず)に保存される。
一方、受信機40は、携帯カード20が発する信号を取得する(ステップS23)。
入退室管理サーバ10の信号受信部115は、携帯カード20が発する信号を受信機40から受信する(ステップS24)。
実施の形態1における鉄道会社の改札においては、利用者が保持する携帯カード20が発する信号と、利用者を撮像した顔画像との対応付けは容易に行うことが可能である。
例えば、複数のゲート50が設置されている場合でも、それぞれのゲート50に限ると利用者は一人ずつゲート50を通過することになる。よって、携帯カード20が発する信号と信号を受信したゲートを通過する利用者の顔画像を順次対応付けることによって、対応付けを行うことができる。
入退室管理サーバ10の認証部113は、画像記録部116で受信した顔画像と、信号受信部115で受信した信号を対応付けする(ステップS25)。
対応付けができた場合は、ステップS27に進む(ステップS26でYes)。対応付けができなかった場合はSTARTに戻る(ステップS26でNo)。ステップS26でNoとなるケースは、例えば携帯カード20を所持していない利用者がゲート50を通過する場合である。
ステップS25で顔画像と信号の対応付けが行えた場合は、特徴点抽出部111は、カメラ30で撮像した利用者の顔画像から第1の認証情報を抽出する(ステップS27)。
第1の認証情報の抽出方法は、ステップS6で説明した第4の認証情報の抽出方法と同じ方法による。抽出した第1の認証情報は、画像データと共に特徴点情報テーブル155に保存する。
図13に特徴点情報テーブル155の例を示す。特徴点情報テーブル155は、画像Noと、画像データと、第1の認証情報と、第2の認証情報(ステップS31で後述)とが保存される。画像Noは画像データを識別するための情報である。画像データは、カメラ30によって撮像された顔画像である。第1の認証情報は、認証部113によって顔画像から抽出された第1の認証情報である。
認証部113は、抽出した第1の認証情報を使用して、ステップS23で受信されステップS25で顔画像と対応付けられた信号から利用者を特定する暗号化された第3の認証情報を復号する(ステップS28)。なお、携帯カード20から発信される信号は、第4の認証情報で暗号化されている。
携帯カード20内に保管された第3の認証情報を暗号化した第4の認証情報と、ステップS27で抽出された第1の認証情報とが同一である場合、携帯カード20に保管された入力情報は第1の認証情報で復号される。一方、携帯カード20内に保管された第3の認証情報を暗号化した第4の認証情報と、ステップS27で抽出された第1の認証情報が同一でない場合、携帯カード20に保管された入力情報の復号は失敗する。
復号に成功した場合は、ステップS30へ進む(ステップS29でYes)。一方、復号に失敗した場合は、ゲート50にゲート50を閉鎖する指令を通知する(ステップS29でNo)。復号できないケースとは、例えば本来の利用者とは別の利用者が携帯カード20を利用した場合である。
認証部113は、信号から入力情報を取り出す(ステップS30)。入力情報は図12に示すように、利用者が携帯カード20を作成した時の入力情報である利用者ID、氏名、年齢、契約内容1、契約内容2等と、第3の認証情報とである。
契約内容1、契約内容2等といった情報とは、例えば利用開始日、利用終了日、残額といった情報である。
次に、特徴点抽出部111は、カメラ30で撮像した利用者の顔画像から第2の認証情報を抽出する(ステップS31)。
第2の認証情報の抽出方法は、ステップS7で説明した第3の認証情報の抽出方法と同一である。抽出した第2の認証情報は、特徴点情報テーブル155に対応する画像Noの第2の認証情報として保存する。
認証部113は、ステップS28で復号した携帯カード20内に保管されている第3の認証情報と、ステップS31で抽出した第2の認証情報とを比較することで、本人認証を行う(ステップS32)。
認証は、第3の認証情報と第2の認証情報とを比較し一致する場合は利用者の入退場を許可し、第3の認証情報と第2の認証情報とが不一致の場合は利用者の入退場を不許可とする。
次に、カード検査部114は、携帯カード20の利用可否判定を行う(ステップS33)。利用可否判定は所定の方法により行う。
カード検査部114は、ステップS32とステップS33を元に利用可否判定を行う(ステップS34)。
ステップS32での本人認証およびステップS33の利用可否判定の結果、利用可能と判定した場合は、ゲート50を開放する指示をゲート50に通知する(ステップS34でYes)。ステップS32での本人認証およびステップS33の利用可否判定の結果、利用不可と判定した場合は、ゲート50にゲート50を閉鎖する指令を通知する(ステップS34でNo)。
入退室管理サーバ10の認証部113からゲート50の閉鎖指令を受けたゲート50はゲート50を閉鎖する(ステップS35)。ゲート50が閉鎖されるケースとは、例えば契約内容1、契約内容2といった情報を所定の方法でチェックした結果不可と判定されるケースである。
入退室管理サーバ10の認証部113からゲート50の開放指示を受けたゲート50はゲート50を開放する(ステップS36)。
ゲート50の開放および閉鎖は、ゲート50を通過する利用者の撮像と利用者が保持する携帯カード20が発する信号との時間差、利用者の移動する速さを考慮し、利用者がゲートを通過するタイミングと合わせて行われる。
また、ステップS34は、ゲート50の通常状態が閉鎖状態であれば、利用可能と判定した場合のみゲート50を開放する指示をゲート50に通知し、ゲート50の通常状態が開放状態であれば、利用不可と判定した場合のみゲート50にゲート50を閉鎖する指令をゲート50に通知するようにしてもよい。
入退室管理サーバ10の認証部113は、利用者がゲート50を通過する際、携帯カード20に対して必要な更新を行うよう指示を行う(ステップS37)。
必要な更新とは、例えば利用料金の精算である。
携帯カード20を所持した利用者は、認証処理を完了しゲート50を通過する。
***実施の形態1の効果***
実施の形態1では、鉄道会社における改札において入退場する利用者の認証を新たな鍵を追加することなく、1つの顔画像から複数の認証情報を抽出して利用することで、認証を複数回実施することが可能となり、セキュリティを向上することができる。
受信機に翳すことなく通信を行えるビーコンカード等を携帯カード20として利用することにより、ゲートを通過する際にカードを翳す動作は不要となり利便性を確保しつつセキュリティを向上することができる。
***他の構成***
<変形例1>
実施の形態1では、入退室管理サーバ10の特徴点抽出部111と、携帯カード発行部112と、認証部113と、カード検査部114と、信号受信部115と、画像記録部116と、ファイル送受信部117との機能はソフトウェアで実現された。しかし、変形例1として、入退室管理サーバ10の特徴点抽出部111と、携帯カード発行部112と、認証部113と、カード検査部114と、信号受信部115と、画像記録部116と、ファイル送受信部117とはハードウェアで実現されてもよい。この変形例1について、実施の形態1と異なる点を説明する。
図14を参照して、変形例1に係る入退室管理システム1の構成を説明する。
入退室管理サーバ10の特徴点抽出部111と、携帯カード発行部112と、認証部113と、カード検査部114と、信号受信部115と、画像記録部116と、ファイル送受信部117との機能がハードウェアで実現される場合、入退室管理サーバ10は、プロセッサ11と記憶装置12とに代えて、処理回路17を備える。
入退室管理サーバ10の処理回路17は、特徴点抽出部111と、携帯カード発行部112と、認証部113と、カード検査部114と、信号受信部115と、画像記録部116と、ファイル送受信部117の「部」の機能および記憶装置12を実現する専用の電子回路である。
処理回路17は、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックIC、GA(Gate Array)、ASIC(Application Specific Integrated Circuit)、FPGA(Field−Programmable Gate Array)が想定される。
入退室管理サーバ10の特徴点抽出部111と、携帯カード発行部112と、認証部113と、カード検査部114と、信号受信部115と、画像記録部116と、ファイル送受信部117との機能を1つの処理回路17で実現してもよいし、特徴点抽出部111と、携帯カード発行部112と、認証部113と、カード検査部114と、信号受信部115と、画像記録部116と、ファイル送受信部117との機能を複数の処理回路17に分散させて実現してもよい。
<変形例2>
変形例2として、一部の機能がハードウェアで実現され、他の機能がソフトウェアで実現されてもよい。
つまり、入退室管理サーバ10の特徴点抽出部111と、携帯カード発行部112と、認証部113と、カード検査部114と、信号受信部115と、画像記録部116と、ファイル送受信部117との機能のうち、一部の機能がハードウェアで実現され、他の機能がソフトウェアで実現されてもよい。
入退室管理サーバ10のプロセッサ11と記憶装置12と処理回路17とを、総称して「プロセッシングサーキットリー」という。
つまり、各機能構成要素の機能は、プロセッシングサーキットリーにより実現される。
実施の形態2.
実施の形態2では、実施の形態1の変形例として、施設内(会場等)における参加者を管理する入退室管理システム1について説明する。
実施の形態1では、改札を通過する利用者の顔画像と利用者が携帯する携帯カード20とを用い、改札において入退室管理を行ったが、実施の形態2では、既に施設内に入場した利用者の顔画像と利用者が携帯する携帯カード20とを用い、施設内において入退室管理を行うシステムについて説明する。
実施の形態1では、改札を通過する利用者を確認対象としたため、利用者の顔画像と利用者が保持する携帯カード20とは、改札通過時に1対1に対応付けられたが、実施の形態2では、施設内に入場済の利用者を確認対象とするため、利用者の顔画像と利用者が携帯する携帯カード20とを対応付ける新たな仕組みを必要とする点が実施の形態1と異なる。
また、実施の形態2では、認証した結果を施設内で確認するための端末装置である入退室管理表示端末80を設けた。実施の形態2では、これらの異なる点を説明し、同一の点については説明を省略する。
***構成の説明***
図15を参照して、実施の形態2に係る入退室管理システム1の構成を説明する。
入退室管理システム1は、入退室管理サーバ10と、携帯カード20と、カメラ30と、受信機40と、入退室管理登録端末70と、入退室管理表示端末80とを備える。入退室管理サーバ10と、カメラ30と、受信機40と、入退室管理登録端末70と、入退室管理表示端末80とは、ネットワーク60を介して接続されている。
入退室管理サーバ10と、携帯カード20と、カメラ30と、受信機40と、入退室管理登録端末70とは、実施の形態1と同じである。入退室管理表示端末80を備える点が図1に示す実施の形態1の入退室管理システム1と異なる。
入退室管理表示端末80は、PC(Personal Computer)といった利用者が使用するコンピュータである。
図16を参照して、実施の形態2に係る入退室管理表示端末80の構成を説明する。
入退室管理表示端末80は、プロセッサ81を備えると共に、メモリ83と、補助記憶装置84とからなる記憶装置82、および入出力インタフェース86といった他のハードウェアを備える。プロセッサ81は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。
入退室管理表示端末80は、機能要素として、アラート表示部813と、ファイル送受信部814とを備える。以下の説明では、アラート表示部813と、ファイル送受信部814との機能を、入退室管理表示端末80の「部」の機能という。アラート表示部813と、ファイル送受信部814との機能は、ソフトウェアにより実現される。
記憶部85は、記憶装置82で実現される。記憶部85には、利用者テーブル851と、契約内容テーブル852と、特徴点テーブル853と、携帯カードテーブル854と、特徴点情報テーブル855と、信号情報テーブル856と、検査結果テーブル857とが記憶される。
プロセッサ81は、プロセッシングを行うIC(Integrated Circuit)である。プロセッサ81は、具体例としては、CPU(Central Processing Unit)、DSP(Digital Signal Processor)、GPU(Graphics Processing Unit)である。
記憶装置82は、メモリ83および補助記憶装置84を含む。記憶部85は、メモリ83により実現される。なお、記憶部85は、補助記憶装置84により実現されていてもよいし、メモリ83と補助記憶装置84との両方により実現されてもよい。
メモリ83は、データを一時的に記憶する記憶装置である。メモリ83は、具体例としては、SRAM(Static Random Access Memory)、DRAM(Dynamic Random Access Memory)である。
補助記憶装置84は、データを保管する記憶装置である。補助記憶装置84は、具体例としては、HDD(Hard Disk Drive)である。また、補助記憶装置84は、SD(登録商標,Secure Digital)メモリカード、CF(登録商標,CompactFlash)、NANDフラッシュ、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ(登録商標)ディスク、DVD(Digital Versatile Disk)といった可搬記憶媒体であってもよい。
補助記憶装置84は、「部」の機能を実現するプログラムが記憶されている。このプログラムは、メモリ83にロードされ、プロセッサ81に読み込まれ、プロセッサ81によって実行される。補助記憶装置84には、OS(Operating・System)も記憶されている。OSの少なくとも一部がメモリ83にロードされ、プロセッサ81はOSを実行しながら、「部」の機能を実現するプログラムを実行する。
入出力インタフェース86は、外部の装置と通信するためのインタフェースである。入出力インタフェース86は、具体例としては、Ethernet(登録商標)、USB(Universal Serial Bus)、HDMI(登録商標,High−Definition Multimedia Interface)のポートである。
図15の入退室管理表示端末80では、プロセッサ81は、1つだけ示されている。しかし、入退室管理表示端末80は、プロセッサ81を代替する複数のプロセッサを備えていてもよい。これら複数のプロセッサは、アラート表示部813と、ファイル送受信部814との機能を実現するプログラムの実行を分担する。それぞれのプロセッサは、プロセッサ81と同じように、プロセッシングを行うICである。
***動作の説明***
図17〜図19を参照して、実施の形態2に係る入退室管理システム1の動作を説明する。
実施の形態2に係る入退室管理システム1の動作は、実施の形態2に係る入退室管理方法に相当する。また、実施の形態2に係る入退室管理システム1の動作は、実施の形態2に係る入退室管理プログラムの処理に相当する。
実施の形態2の携帯カード20の作成フローは実施の形態1と同様であるため省略する。実施の形態2の入退室管理フローについて図17〜図19で説明する。
実施の形態2の入退室管理フローでは、施設内に設置されている受信機40は、利用者が所持する携帯カード20が発する信号を取得する(ステップS41)。
入退室管理サーバ10の信号受信部115は、携帯カード20が発する信号を受信機40から取得する(ステップS42)。
入退室管理サーバ10の信号受信部115は、既に受信済の信号か未受信の新規の信号かを信号情報テーブル156を参照し、受信した信号が新規の信号か確認する(ステップS43)。信号情報テーブル156について図20を用いて説明する。
信号情報テーブル156は、信号Noと、信号データと、画像Noと、画像データとの情報を持ち、受信した信号と受信した信号に対応付けられる画像情報を持つテーブルである。信号Noは、受信した信号を識別するために採番される情報である。信号データは、受信された信号データである。
図20に示す信号情報テーブル156の例では、信号NoがB0000001〜B0000010までの10件の信号が受信済の信号として登録されていることを表している。
入退室管理サーバ10の信号受信部115は、受信した信号が受信済ではない新規の信号の場合(ステップS43でYes)、すなわち信号情報テーブル156に信号が登録されていない場合は、信号を新規に登録する(ステップS44)。
受信した信号が、既に登録されている場合は、何もせずSTARTに戻る(ステップS43でNo)。
携帯カード20が発する信号の受信と並行して、施設内に設置されたカメラ30は参加者の顔画像を撮像する(ステップS51)。カメラ30は施設内に複数設置されており、カメラ30によって撮像された顔画像は、入退室管理サーバ10に送られる。
入退室管理サーバ10の画像記録部116は、カメラ30で撮像された顔画像を受信する(ステップS52)。受信した顔画像は、画像テーブル158(図示せず)に保存される。
入退室管理サーバ10の特徴点抽出部111は、カメラ30で撮像された顔画像から第1の認証情報を抽出する(ステップS53)。第1の認証情報の抽出方法は、ステップS7で説明した第4の認証情報の抽出方法と同一である。
入退室管理サーバ10の認証部113は、ステップS44で登録された信号と、ステップS52で受信した顔画像とを対応付けるため、信号情報テーブル156を参照し顔画像と対応付けられていない信号はあるか確認する(ステップS54)。
図20に示す信号情報テーブル156の例では、信号NoがB0000001〜B0000003までの信号は、画像Noと画像データが入力されており、信号と顔画像との対応付けが完了していることを表している。一方、信号NoがB0000004〜B0000010までの信号は、画像Noと画像データが入力されておらず、信号と顔画像との対応付けが完了していないことを表している。
対応付けが完了していない信号がある場合(ステップS54でYes)、未対応の信号の一つについて、例えば図20の信号情報テーブル156の例では、信号NoがB0000004の信号データについて、ステップS53で抽出した第1の認証情報で復号をする(ステップS55)。
具体的な復号の方法は、実施の形態1と同様である。
復号ができた場合(ステップS56でYes)は、認証部113は、信号と第1の認証情報の作成の元となった顔情報とを対応付けが行えたと判定し、信号情報テーブル156の信号NoがB0000004に対応する画像Noと画像データを更新し、ステップS57に進む。
復号ができなかった場合(ステップS56でNo)は、ステップS54に戻り、信号情報テーブル156に登録されている未対応の次の信号(信号NoがB0000005)について復号を試みる。
信号受信部115で受信された信号のいずれとも対応付けが行えない場合、又は未対応の信号がない場合はSTARTに戻る(ステップS54でNo)。
認証部113は、復号された信号から保管されている入力情報を取り出す(ステップS57)。取り出される入力情報は、実施の形態1のステップS30で取り出す入力情報と同一である。
取り出される入力情報の契約内容1、契約内容2等といった情報は、例えば利用開始時間、利用終了時間、発行・登録年月日といった情報である。
特徴点抽出部111は、カメラ30で撮像した利用者の顔画像から第2の認証情報を抽出する(ステップS58)。第2の認証情報の抽出方法は、ステップS7で説明した第3の認証情報の抽出方法と同一である。
認証部113は、ステップS55で復号した携帯カード20内に保管されている第3の認証情報と、ステップS58で抽出した第2の認証情報とを比較することで、本人認証を行う(ステップS59)。
本人認証の方法はステップS32と同一である。
カード検査部114は、携帯カード20が利用可能か判定する(ステップS60)。
実施の形態1と同様、保管されている契約内容を所定の方法で点検することで、携帯カード20の利用可否を判定する。
ステップS59で行った認証結果とステップS60で行った利用可否判定結果は図21で示す検査結果テーブル157に保存される。
検査結果テーブル157,857の例を図21に示す。
図21の検査結果テーブル157,857は、信号Noと、画像データと、認証結果と、利用可否との情報を持つ。信号Noは、受信した信号を識別する情報、画像データは受信した信号Noと対応付けられた画像情報である。
入退室管理表示端末80のアラート表示部813は、検査結果テーブル157の情報を入退室管理サーバ10から受け取り、画面に表示する(ステップS61)。
画面に表示された検査結果テーブル857の情報を参照することで、利用者の認証情報、利用可否判定結果を利用者の顔画像データと共に確認することができる。
カード検査部114は、利用可否を判定し、利用可能であると判定した場合は、ステップS63に進む(ステップS62でYes)。利用不可と判定した場合は、ENDに進む(ステップS62でNo)。
携帯カード20は、入退室管理サーバ10の認証部113からの指示を受信機40を介して受け取ると、携帯カード20の情報を更新する(ステップS63)。
携帯カード20の情報を更新する例として、携帯カードテーブル154に認証確認時間の情報を持たせておき、認証完了した時に認証確認時間を更新するようにしてもよい。
***実施の形態2の効果***
実施の形態2では、施設内にいる利用者の認証を、入退室管理を行う会場の出入口に限定することなく、新たな鍵を追加することなく1つの顔画像から複数の認証情報を抽出して利用することで、認証を複数回実施することが可能となり、セキュリティを向上することができる。
入退室管理表示端末80の画面に表示された検査結果テーブル857の情報を参照することで、利用者の認証情報、利用可否判定結果を利用者の顔画像データと共に確認することができる。
***他の構成***
<変形例3>
実施の形態2の構成ではゲート50は不要としているが、ゲート50を備え施設内とゲート50との両方で入退室管理を行う構成とすることも可能である。
1 入退室管理システム、10 入退室管理サーバ、20 携帯カード、30 カメラ、40 受信機、60 ネットワーク、80 入退室管理表示端末、111 特徴点抽出部、112 携帯カード発行部、113 認証部、115 信号受信部、813 アラート表示部。

Claims (8)

  1. ネットワークを介してカメラと受信機とに接続される入退室管理サーバであって、前記カメラで撮像した利用者の画像から第1の認証情報および第2の認証情報とを抽出する特徴点抽出部と、
    前記受信機から、利用者を特定する暗号化された第3の認証情報を取得し、この第3の認証情報を前記第1の認証情報で復号し、復号された前記第3の認証情報と前記第2の認証情報とを比較することで、利用者の入退室の認証を行う認証部と、
    を備える入退室管理サーバ。
  2. 前記認証部は、前記第3の認証情報と前記第2の認証情報とが一致する場合は利用者の入退室を許可し、前記第3の認証情報と前記第2の認証情報とが不一致の場合は利用者の入退室を不許可とする
    請求項1記載の入退室管理サーバ。
  3. 前記特徴点抽出部は、利用者を撮像した画像から前記第3の認証情報と第4の認証情報を抽出し、前記第4の認証情報で暗号化された前記第3の認証情報を保管する携帯カードを作成する携帯カード発行部と、
    前記携帯カードが発する信号を前記受信機から取得する信号受信部と、
    を備える請求項1又は2のいずれか1項に記載の入退室管理サーバ。
  4. 前記利用者を撮像した画像から生体情報の位置関係を前記第1の認証情報と前記第2の認証情報として利用する請求項1から3のいずれか1項に記載の入退室管理サーバ。
  5. 前記信号受信部は、前記受信機から取得した暗号化された前記第3の認証情報を保存し、前記特徴点抽出部は、利用者の画像を撮像する毎に、利用者を撮像した画像から前記第1の認証情報と前記第2の認証情報とを抽出し、前記認証部は、前記特徴点抽出部によって撮像された前記第3の認証情報を前記第1の認証情報で復号し、復号された前記第3の認証情報と前記第2の認証情報とを比較することで、利用者の入退室の認証を行い、利用者の入退室の認証が未確認である前記第3の認証情報がある間、認証を繰り返す
    請求項3に記載の入退室管理サーバ。
  6. さらに、前記認証部は、前記利用者の入退室を許可すると判定したときは、前記入退室管理サーバと前記ネットワークを介して接続されるゲートに対して前記ゲートを開放するよう指示するか、あるいは前記利用者の入退室を不許可すると判定したときは、前記ゲートに対して前記ゲートを閉鎖するよう指示する
    請求項2記載の入退室管理サーバ。
  7. 撮像した利用者の画像から第1の認証情報および第2の認証情報とを抽出する特徴点抽出部と、
    受信機から、利用者を特定する暗号化された第3の認証情報を取得し、この第3の認証情報を前記第1の認証情報で復号し、復号された前記第3の認証情報と前記第2の認証情報とを比較することで、利用者の入退室の認証を行う認証部と、
    を備える入退室管理サーバにネットワークを介して接続される表示端末であって、利用者の入退室の認証結果を前記入退室管理サーバから受信し、入退室の認証結果を画面表示するアラート表示部
    を備える入退室管理表示端末。
  8. 入退室管理サーバと、ネットワークを介してカメラと受信機とに接続される入退室管理表示端末とからなる入退室管理システムであって、
    前記カメラで撮像した利用者の画像から第1の認証情報および第2の認証情報とを抽出する特徴点抽出部と、
    前記受信機から、利用者を特定する暗号化された第3の認証情報を取得し、この第3の認証情報を前記第1の認証情報で復号し、復号された前記第3の認証情報と前記第2の認証情報とを比較することで、利用者の入退室の認証を行う認証部と、
    を備え、
    入退室管理表示端末は、
    利用者の入退室の認証結果を前記入退室管理サーバから受信し、入退室の認証結果を画面表示するアラート表示部を備える
    ことを特徴とする入退室管理システム。
JP2018145888A 2018-08-02 2018-08-02 入退室管理サーバおよび入退室管理システム Active JP6704433B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018145888A JP6704433B2 (ja) 2018-08-02 2018-08-02 入退室管理サーバおよび入退室管理システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018145888A JP6704433B2 (ja) 2018-08-02 2018-08-02 入退室管理サーバおよび入退室管理システム

Publications (2)

Publication Number Publication Date
JP2020021358A true JP2020021358A (ja) 2020-02-06
JP6704433B2 JP6704433B2 (ja) 2020-06-03

Family

ID=69587647

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018145888A Active JP6704433B2 (ja) 2018-08-02 2018-08-02 入退室管理サーバおよび入退室管理システム

Country Status (1)

Country Link
JP (1) JP6704433B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021161807A1 (ja) 2020-02-12 2021-08-19 株式会社カネカ FormII型の還元型補酵素Q10結晶の製造方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021161807A1 (ja) 2020-02-12 2021-08-19 株式会社カネカ FormII型の還元型補酵素Q10結晶の製造方法

Also Published As

Publication number Publication date
JP6704433B2 (ja) 2020-06-03

Similar Documents

Publication Publication Date Title
JP6571250B2 (ja) ある装置を使用して別の装置をアンロックする方法
US11010803B2 (en) Identity verification and authentication
RU2718226C2 (ru) Системы и способы безопасного обращения с биометрическими данными
US9628475B2 (en) User authentication of applications on third-party devices via user devices
CN103051664B (zh) 一种云存储系统的文件管理方法、装置及该云存储系统
BR112018007449B1 (pt) Dispositivo de computação, método implementado por computador e dispositivo de memória legível por computador
US10055569B2 (en) Location specific image based authentication
US11212084B2 (en) System and a method for signing transactions using air-gapped private keys
CN103999442B (zh) 用于产生数字图像的装置和方法
US9697348B1 (en) Location specific image based authentication
US10321314B2 (en) Communication device, communication method, and communication system
CN104680078B (zh) 一种拍摄照片的方法、查看图片的方法、系统和终端
US20180343247A1 (en) Method, user terminal and authentication service server for authentication
JP6223634B2 (ja) 情報処理システム及び情報処理方法及び情報処理プログラム
CN113557703A (zh) 网络摄像机的认证方法和装置
US10469493B2 (en) Mobile device, authentication device and authentication methods thereof
JP6704433B2 (ja) 入退室管理サーバおよび入退室管理システム
CN111177752B (zh) 一种基于静态度量的可信文件存储方法、装置及设备
US20200104824A1 (en) Using an image as a one-time password for authentication during a point-of-sale transaction
US11475116B2 (en) Terminal device, information processing system, method of controlling terminal device, and program
US20190311111A1 (en) Method of authenticating device using photographed image and system therefor
JP5888049B2 (ja) コンテンツデータ転送システム、コンテンツデータ転送方法、情報処理装置、及びプログラム
JP2020201660A (ja) 情報処理システム
KR101107149B1 (ko) 영상 장치, 보안 메모리 카드 및 그 인증방법
JP2017097727A (ja) 読書装置、システム、情報処理方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180802

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190617

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190625

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190822

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191210

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200428

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200512

R150 Certificate of patent or registration of utility model

Ref document number: 6704433

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250