JP2022090301A - 情報処理装置、情報処理システム、及び、通過管理方法 - Google Patents

情報処理装置、情報処理システム、及び、通過管理方法 Download PDF

Info

Publication number
JP2022090301A
JP2022090301A JP2020202624A JP2020202624A JP2022090301A JP 2022090301 A JP2022090301 A JP 2022090301A JP 2020202624 A JP2020202624 A JP 2020202624A JP 2020202624 A JP2020202624 A JP 2020202624A JP 2022090301 A JP2022090301 A JP 2022090301A
Authority
JP
Japan
Prior art keywords
person
authentication
zone
gate
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020202624A
Other languages
English (en)
Other versions
JP7108938B2 (ja
Inventor
賢雄 窪田
Masao Kubota
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2020202624A priority Critical patent/JP7108938B2/ja
Priority to PCT/JP2021/043171 priority patent/WO2022124089A1/ja
Priority to US18/265,394 priority patent/US20240054834A1/en
Priority to JP2022073362A priority patent/JP2022093489A/ja
Publication of JP2022090301A publication Critical patent/JP2022090301A/ja
Application granted granted Critical
Publication of JP7108938B2 publication Critical patent/JP7108938B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00Individual registration on entry or exit
    • G07C9/10Movable barriers with registering means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00Individual registration on entry or exit
    • G07C9/30Individual registration on entry or exit not involving the use of a pass
    • G07C9/32Individual registration on entry or exit not involving the use of a pass in combination with an identity check
    • G07C9/37Individual registration on entry or exit not involving the use of a pass in combination with an identity check using biometric data, e.g. fingerprints, iris scans or voice recognition
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00Individual registration on entry or exit
    • G07C9/30Individual registration on entry or exit not involving the use of a pass
    • G07C9/38Individual registration on entry or exit not involving the use of a pass with central registration

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Tourism & Hospitality (AREA)
  • Theoretical Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Primary Health Care (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • General Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Time Recorders, Dirve Recorders, Access Control (AREA)
  • Devices For Checking Fares Or Tickets At Control Points (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)

Abstract

Figure 2022090301000001
【課題】特定の領域を通過しようとする対象の通過管理の精度を向上できる情報処理装置、情報処理システム、及び、通過管理方法の提供に資する。
【解決手段】情報処理装置は、第1領域から、認証処理の結果に応じて進入が許容される第2領域に向かう認証対象を、認証対象が第1領域へ移動する前から追跡する追跡部と、第1領域に位置する認証対象について認証処理を行う認証部と、追跡部により前記認証対象が第1領域へ移動したことが検知された場合に、認証対象の認証処理の結果と認証対象の追跡結果とを関連付けて、認証対象を追跡することにより、認証対象による第2領域への進入を管理する処理部と、を備える。
【選択図】図1A

Description

本開示は、情報処理装置、情報処理システム、及び、通過管理方法に関する。
駅や空港などに設置されるゲートを通過する人物の入退出を管理する技術が知られている。特許文献1には、人物が、無線カードによるゲート通過の許可を得て、ゲートの入口からゲートへ進入した場合に、当該人物がゲートを通過したか否か(ゲートの入口へ戻ったりしていないか)を無線カードの位置の変化に基づいて追跡する装置が記載されている。
特開平09-330440号公報
入退出を管理するゲートでは、どの人物がゲートを通過したか否かを管理することが望まれる。以下では、この管理を「通過管理」又は「追跡管理」とも略称することがある。通過管理の精度の向上については、検討の余地がある。
本開示の非限定的な実施例は、特定の領域を通過しようとする対象の通過管理の精度を向上できる情報処理装置、情報処理システム、及び、通過管理方法の提供に資する。
本開示の一実施例に係る情報処理装置は、第1領域から、認証処理の結果に応じて進入が許容される第2領域に向かう認証対象を、前記認証対象が前記第1領域へ移動する前から追跡する追跡部と、前記第1領域に位置する認証対象について前記認証処理を行う認証部と、前記追跡部により前記認証対象が前記第1領域へ移動したことが検知された場合に、前記認証対象の認証処理の結果と前記認証対象の追跡結果とを関連付けて、前記認証対象を追跡することにより、前記認証対象による前記第2領域への進入を管理する処理部と、を備える。
本開示の一実施例に係る情報処理システムは、第1領域に位置する認証対象について認証処理を実行する認証装置と、前記第1領域から、前記認証処理の結果に応じて進入が許容される第2領域に向かう前記認証対象を、前記認証対象が前記第1領域へ移動する前から追跡する追跡部、および、前記追跡部により前記認証対象が前記第1領域へ移動したことが検知された場合に、前記認証対象の認証処理の結果と、前記認証対象の追跡結果とを関連付けて、前記認証対象を追跡することにより、前記認証対象による前記第2領域への進入を管理する処理部を備えた情報処理装置と、を有する。
本開示の一実施例に係る通過管理方法は、情報処理装置が、第1領域から、認証処理の結果に応じて進入が許容される第2領域に向かう認証対象を、前記認証対象が前記第1領域へ移動する前から追跡し、前記第1領域に位置する認証対象について前記認証処理を行い、前記認証対象が前記第1領域へ移動したことが検知された場合に、前記認証対象の認証処理の結果と前記認証対象の追跡結果とを関連付けて、前記認証対象を追跡することにより、前記認証対象による前記第2領域への進入を管理する。
なお、これらの包括的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム、又は、記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
本開示の非限定的な実施例は、特定の領域を通過しようとする対象の通過管理の精度を向上できる。
本開示の一実施例における更なる利点及び効果は、明細書及び図面から明らかにされる。かかる利点及び/又は効果は、いくつかの実施形態並びに明細書及び図面に記載された特徴によってそれぞれ提供されるが、1つ又はそれ以上の同一の特徴を得るために必ずしも全てが提供される必要はない。
一実施の形態に係る通過管理システムの構成の概念の一例を示す図 一実施の形態に係る通過管理システムの構成例を示すブロック図 ゲートに規定されるゾーンの一例を示す図 ゲートに規定されるゾーンのバリエーション1を示す図 ゲートに規定されるゾーンのバリエーション2を示す図 一実施の形態に係る通過管理システム1の制御フローの一例を示すフローチャート 追跡管理テーブルの一例を示す図 イベントIDの定義の一例を示す図 人物追跡イベントの第1の例を示す図 南側から進入した人物のイベントIDの候補のリストを示す図 北側から進入した人物のイベントIDの候補のリストを示す図 ユースケース1の例を示す図 ユースケース2の例を示す図 ユースケース3の例を示す図 ユースケース4の例を示す図 ユースケース5の例を示す図 ユースケース6の例を示す図 ユースケース7の例を示す図 ユースケース8の例を示す図 ユースケース9の例を示す図 ユースケース10の例を示す図 ユースケース11の例を示す図
以下に添付図面を参照しながら、本開示の好適な実施形態について詳細に説明する。尚、本明細書及び図面において、実質的に同一の機能を有する構成要素については、同一の符号を付することにより重複説明を省略する。
(一実施の形態)
<本開示に至った知見>
駅や空港などの施設に設置され、施設への入退出を管理するゲートでは、どの人物がゲートを通過したか否かを正確に管理する通過管理の利用が検討されている。通過管理が十分でない場合、例えば、ゲートの入口から入ったが、ゲートの出口へ向かわずに、ゲートの入口に引き返してしまった人を通過したと誤判定したり、実際に通過した人を通過していないと誤認識したりしてしまう。このような誤りは、特に、駅の改札機のようなゲートを通過した人に対価が請求されるような状況では、費用の誤請求にもつながることがある。
通過管理を実施するためには、例えば、通過しようとする人を認証する認証処理(認証不能であると決定する処理も含む)と、その人の移動の履歴を記録する追跡処理とが実施される。これらの処理は、人の通過の記録や、扉の開閉などの人の移動を規制する処理等を行う時間を確保するために早期に実施されることが望ましい。
特許文献1に記載の技術では、IDを送信可能な無線カードを用いて通過管理を実施している。すなわち、無線カードから送信されるIDによって認証処理を行い、無線カードの位置の変化を確認することにより追跡処理を行っている。ここで無線カードによる通信は高速に実施することができるため、特許文献1では、IDを確認してからそのIDを保有する無線カードの位置を追跡する構成で通過管理を実施している。
顔画像による照合(あるいは認証。以下「顔認証」と略称することがある)は、無線カードによる認証よりも時間がかかることがある。そのため、認証処理が完了してから、認証処理と対応付けて追跡処理を実施する構成では、通過管理の開始が遅延してしまう。その結果、追跡結果の一部が欠落し、正確な通過管理ができなくなるおそれがある。
そこで、本開示の非限定的な実施例は、特定の領域を通過しようとする対象の通過管理を早期に開始することによって、通過管理の精度の向上を実現する。
本開示の非限定的な実施例によれば、特定の領域を通過する対象を先行して追跡し、第1の領域に進入したことを契機に、対象の認証結果と追跡結果とを対応付けることにより、通過管理の処理を早期に開始でき、その結果、追跡結果の欠落を防止し、追跡管理の精度を向上できる。
なお、一般的な通過管理では、認証結果は、対象が特定の領域を通過する直前のタイミング(例えば、移動の規制や、通過者の記録などを実施するタイミング)までに得られていれば十分であるため、本開示の非限定的な実施例のように、対象の追跡を認証結果との対応付けより先行して開始する構成であっても、通過管理に不都合が生じる可能性は低い。
<システム構成>
図1Aは、本実施の形態に係る通過管理システムの構成の概念の一例を示す図である。図1Bは、本実施の形態に係る通過管理システムの構成例を示すブロック図である。本実施の形態に係る通過管理システム1は、例えば、空港、駅、イベント会場などの施設の出入口に設置されるゲート(入場ゲート、改札ゲートなど)の人物の通過を管理するシステムである。
本実施の形態に係る通過管理システム1では、例示的に、施設を利用する利用者の入退場の管理が、顔認証によって実行される。例えば、利用者がゲートを通過して施設内へ入場する場合、利用者が施設内への入場を許可された人物であるか否かが顔認証によって判定される。また、利用者がゲートを通過して施設外へ退場する場合、利用者が施設外への退場を許可された人物であるか否かが顔認証によって判定される。なお、「顔認証」とは、「顔画像を用いた照合」に含まれる概念と捉えてよい。
通過管理システム1は、ゲート装置(以下、「ゲート」と略記する場合がある)10と、顔撮影用カメラ11と、監視カメラ12と、顔認証機能部13と、人物検知機能部14と、通過管理機能部15と、顔認証サーバ16と、通過履歴管理サーバ17と、を含む。なお、通過管理システム1において、ゲート10は、1つであってもよいし、複数であってもよい。
ゲート10は、例えば、空港、駅、イベント会場などの施設に設置される。施設の利用を許可された利用者は、施設へ入場する場合及び/又は施設から退場する場合にゲート10を通過する。また、ゲート10は、施設への入場を許可されていない人物の通過を阻止するように制御を行う。
顔撮影用カメラ11は、例えば、ゲート10に設けられる支持部に取り付けられる。指示部は、例えば、ゲート10から垂直方向に延びるポールであってもよいし、ゲート10に設けられるアーチ形状の部材であってもよい。顔撮影用カメラ11は、ゲート10を通過する人物、及び、ゲート10を通過しようとする人物が存在した場合の当該人物の顔を含む撮影範囲を撮影する。例えば、顔撮影用カメラ11の撮影範囲は、人物の正面の顔を撮影可能な範囲である。なお、ゲート10が双方向に通過可能な構成の場合、各方向に通過する人物の顔を撮影する2つの顔撮影用カメラ11が取り付けられてよい。以下では、顔撮影用カメラ11において撮影された画像は、顔撮影カメラ画像と記載される場合がある。なお、顔撮影カメラ画像には、顔が含まれない場合もある。なお、顔撮影用カメラ11の数は複数であってもよい。この場合、各顔撮影用カメラ11の撮影方向及び/又は角度を異ならせることにより、より広い範囲で人物の顔を撮影することができる。
監視カメラ12(「人物追跡用カメラ」と称されてもよい)は、例えば、ゲート10よりも上方に取り付けられ、ゲート10を上から見た範囲を撮影する。監視カメラ12の撮影範囲は、ゲート10を上から見てゲート10の出入口を含む。なお、監視カメラ12の撮影範囲は、複数のゲート10を含んでもよい。また、複数の監視カメラ12が、1以上のゲート10の撮影を行ってもよい。以下では、監視カメラ12において撮影された画像は、監視カメラ画像と記載される場合がある。例えば、監視カメラ画像は、顔撮影カメラ画像と異なる位置及び/又は角度から撮影された画像である。
なお、監視カメラ12は、ゲート10及びゲート10を含む施設の管理者が監視するために設けられたカメラを流用してもよいし、通過管理システム1用に設置されてもよい。例えば、監視カメラ12が、管理者の監視用である場合、監視カメラ12によって撮影された画像(又は動画像)は、記録用サーバ(図1A、図1Bでは省略)に記録されてもよい。
また、監視カメラ12は、ゲート10を横から又は斜め上から撮影しても構わないし、撮影方向及び/又は撮影範囲が異なる複数のカメラを用いても構わない。すなわち、監視カメラ12が、ゲート10の出入口を含む範囲を撮影できるのであれば、カメラの数及び/又は位置は任意でよい。
なお、上記では、顔撮影用カメラ11と監視カメラ12とが、別のカメラである例を示したが、本開示はこれに限定されない。例えば、顔撮影用カメラ11において撮影された画像が、後述する人物検知処理(又は人物追跡処理)に用いられてもよいし、監視カメラ12において撮影された画像が、後述する顔認証処理に用いられてもよい。また、例えば、1つのカメラにおいて撮影された画像が、人物検知処理と顔認証処理との両方に用いられてもよい。また、例えば、複数の顔撮影用カメラ11の少なくとも1つにおいて撮影された画像が、監視カメラ画像として扱われてもよいし、複数の監視カメラ12の少なくとも1つにおいて撮影された画像が、顔撮影カメラ画像として扱われてもよい。
顔認証機能部13は、顔撮影カメラ画像に対して顔認証処理を行う。例えば、顔認証機能部13は、カメラ制御部131と、顔照合処理部132とを有する。
カメラ制御部131は、例えば、周期的に、顔撮影用カメラ11の初期化を行う。カメラ制御部131は、顔撮影用カメラ11の撮影タイミングを制御する。例えば、顔撮影用カメラ11は、カメラ制御部131の制御によって、5fps程度の速度で撮影する。カメラ制御部131は、顔撮影用カメラ11によって撮影された顔撮影カメラ画像から、顔枠検知を行う。カメラ制御部131は、顔枠が検知された場合、検知した顔枠に関する情報(顔枠検知情報)と顔撮影カメラ画像とを顔照合処理部132へ出力する。
顔照合処理部132は、顔枠に関する情報に基づいて、顔撮影カメラ画像に含まれる顔領域を切り出し、切り出した顔領域の情報を含む顔照合要求を顔認証サーバ16に通知する。顔領域の情報は、顔領域の画像であってもよいし、顔領域の画像から抽出した特徴点を示す情報であってもよい。
顔認証サーバ16には、例示的に、ゲート10の通過を許可されている人物の顔画像が登録されている。顔認証サーバ16に登録された顔画像は、登録顔画像と記載される場合がある。登録顔画像には、登録された人物のID等の情報が関連付けられてもよい。また、登録顔画像は、画像から抽出された特徴点を示す情報であってもよい。
顔認証サーバ16は、顔照合処理部132から顔照合要求を受けた場合、顔照合要求に含まれる顔領域の顔と同一人物の顔が、登録顔画像の中に含まれるか否かを判定する。顔認証サーバ16は、判定結果を含む顔照合結果を顔照合処理部132へ通知する。なお、顔照合結果には、顔領域の顔と同一人物の顔が登録顔画像の中に含まれるか否かを示す情報(例えば、「OK」又は「NG」を示すフラグ)と、顔領域の顔と同一人物の顔が登録顔画像の中に含まれる場合は登録顔画像に関連付けられた人物のID等とが含まれてよい。
照合とは、登録顔画像と、ゲート10を通過する人の顔画像とを照らし合わせることにより、事前に登録された登録顔画像とゲート10を通過する人の顔画像とが一致するか否か、あるいは、事前に登録された登録顔画像とゲートを通過する人の顔画像とが同一人物の顔画像であるか否かを判定することである。
一方、認証とは、事前に登録された顔画像に一致する顔画像の人が本人であること(別言すると、ゲートの通過を許可してよい人であること)を外部(例えば、ゲート)に証明することである。
ただし、本開示において、「照合」と「認証」とは相互に可換な用語として用いることがある。
例えば、照合処理は、予め登録された登録顔画像の特徴点と、検知された顔領域から抽出された特徴点とを比較して、画像データにおける顔が誰であるかを特定する処理である。具体的には、機械学習を用いた手法等が知られているが、既知の技術であるため、詳細な説明は省略する。また、照合処理は、顔認証サーバ16で実施されるものとして説明しているが、ゲート10など他の装置内で実施したり、あるいは、複数の装置で分散して実施したりしてもよい。
顔照合処理部132は、照合処理結果を含む情報を、通過管理機能部15へ出力する。なお、照合処理結果には、登録顔画像に関する情報、照合スコアが含まれてよい。また、顔照合処理部132から出力される情報には、顔枠検知情報、顔枠を検知した顔撮影カメラ画像の撮影時刻が含まれてよい。
人物検知機能部14は、監視カメラ画像に対して人物検知処理を行う。人物検知機能部14は、例えば、人物追跡処理部141を含む。なお、人物検知処理は、人物追跡処理と捉えてもよい。
人物追跡処理部141は、監視カメラ画像に人物が存在した場合に、当該人物の位置(範囲)を検知する。そして、人物追跡処理部141は、検知した人物に対するイベントを判定する。なお、判定されるイベントの例については後述する。人物追跡処理部141は、人物の位置に基づくイベントを判定し、判定したイベントと、人物の位置、検知した時刻等を関連付けることによって、人物の追跡を行う。
人物追跡処理部141は、人物追跡に関する情報を通過管理機能部15へ出力する。
通過管理機能部15は、顔認証機能部13と出力される情報と、人物検知機能部14とから出力される情報とを関連付けることによって、ゲート10の周辺の人物の状態を管理する。ゲート10の周辺の人物とは、例えば、ゲート10を通過する人物、通過しようとする人物、及び、ゲート10の周辺を通りかかる人物を含む。ここで、ゲート10を通過しようとする人物とは、ゲート10の通過を許可されていないが、通過を試みる人物であってよい。また、ゲート10の周辺を通りかかる人物とは、例えば、ゲート10を通過する予定はないが、顔撮影用カメラ11及び/又は監視カメラ12の撮影範囲を通過した人物である。また、人物の状態とは、人物が移動しているか、静止しているか、及び、人物が移動している場合のその移動方向等を含む。
通過管理機能部15は、通過管理状態遷移処理部151と、履歴管理部152と、履歴データベース(DB)153と、を有する。
通過管理状態遷移処理部151は、人物の通過管理処理において、ゲート10の通過を許可された人物が通過する場合のゲート10の制御に関する制御情報をゲート10へ送信する。また、通過管理状態遷移処理部151は、ゲート10の通過を許可されない人物が通過しようとする場合のゲート10の制御に関する制御情報をゲート10へ送信する。
履歴管理部152は、ゲート10を通過した人物の履歴を示す情報(通過履歴情報)を保持し、管理する。履歴管理部152は、通過履歴情報を履歴DB153に格納し、通過履歴情報を通過履歴管理サーバ17へ送信する。例えば、鉄道網では、履歴管理部152は、1つの駅(又は1箇所の改札)単位のローカルな通過履歴情報を管理する。
通過履歴管理サーバ17は、ゲート10を通過した人物の履歴を示す情報(通過履歴情報)を保持し、管理する。例えば、通過履歴管理サーバ17は、複数のゲート10の通過履歴情報を管理してよい。例えば、複数の出入口が存在する大型施設では、各出入口に設けられるゲート10の通過履歴情報が、通過履歴管理サーバ17によって管理されてよい。また、例えば、鉄道網では、各駅の改札のゲート10の通過履歴情報が、通過履歴管理サーバ17によって管理されてよい。
なお、通過管理機能部15は、通過管理に関する情報(通過管理情報)を、表示装置へ出力してもよい。通過管理情報は、例えば、顔認証機能部13から出力される情報、及び、人物検知機能部14から出力される情報を含む。表示装置は、人物の状態(例えば、当該人物の顔認証の結果、及び、移動方向)を表示する。例えば、表示装置は、監視カメラ画像を表示し、監視カメラにて検知された人物の位置を示す枠を監視カメラ画像に重畳してもよい。また、表示装置は、監視カメラ画像に、顔認証によって得られる当該人物に関する情報(人物のID)を重畳してもよい。
上述した、顔認証機能部13は、通過管理機能部15とは非同期で動作してよい。例えば、顔認証機能部13は、カメラ制御部131において、顔枠が検知された場合に、動作してよい。
上述した、顔認証機能部13、人物検知機能部14、及び、通過管理機能部15の3つの構成は、それぞれが1つの情報処理装置(例えば、サーバ装置)の形態を有してもよいし、3つのうち2つ以上が、1つの情報処理装置の中に含まれてよい。例えば、顔認証機能部13が1つの情報処理装置の形態を有し、人物検知機能部14と通過管理機能部15とが、1つの情報処理装置の中に含まれてよい。
なお、上述した情報処理装置は、プロセッサと、メモリと、各種情報の伝送に利用される入出力インタフェースとを備えてよい。プロセッサは、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)などの演算装置である。メモリは、RAM(Random Access Memory)、ROM(Read Only Memory)などを用いて実現される記憶装置である。プロセッサ、メモリ及び入出力インタフェースは、バスに接続され、バスを介して、各種情報の受け渡しを行う。プロセッサは、例えばROMに記憶されたプログラム、データなどを、RAM上に読み出し、処理を実行することで、情報処理装置に含まれる構成の機能を実現する。
上述した人物検知機能部14及び通過管理機能部15では、ゲート10に領域(ゾーン)を規定し、規定されたゾーンに基づいて、人物検知及び通過管理を行う。次に、ゲート10に規定されるゾーンの一例を説明する。
<ゲート領域管理>
図2は、ゲート10に規定されるゾーンの一例を示す図である。図2では、ゲート10を上から俯瞰で見た場合の、複数の領域の例が示される。なお、図2の(C)に示すように、ゲート10の側壁101によって挟まれる通行路が、紙面の上下方向に設けられる。
なお、図2、及び、以下の説明において、ゲート10を上から俯瞰で見た場合の平面がX-Y平面であり、高さ方向がZ方向であるものとする。また、この場合、監視カメラ画像が、X-Y平面の画像であり、顔撮影カメラ画像が、X―Z平面の画像であるものとする。
また、ゲート10の側壁101のY軸方向に沿った端部に相当する2箇所は、ゲート10の出入口と記載される場合がある。2箇所のゲート10の出入口のうち、特定の進入方向(入場方向)に沿った上流側が入口に対応し、下流側が出口に対応する。
図2には、人物が上と下の両方から進入できるゲート10において、人物が下から進入する場合に規定されるゾーンを示す(S)と、人物が上から進入する場合に規定されるゾーンを示す(N)とが示される。
図2の例では、上下方向に沿ってゲート10の通行路がある。なお、監視カメラ12の設置位置は、特に限定されないので、監視カメラ画像において、斜め方向又は左右方向に通行路が存在してもよい。また、双方向通行の場合、進入方向の規定と通行方向の規定とが異なることが考えられる。例えば、人物の上から下への通行方向が、上から入場した人物の場合には正常な移動方向である一方で、下から入場した人物の場合には正常ではない移動方向となる。このような規定の違いに対して、通過管理機能では、上下方向に通行路がある監視カメラ画像において、上側を、「北側(North側)」と規定し、下側を、「南側(South側)」と規定する。
なお、北側及び南側という表現は、一例であり、本開示はこの表現に限定されない。例えば、北側及び南側という表現は、ゲート10の配置を南北方向に沿った配置に限定するものではない。また、例えば、監視カメラ画像において、左右方向に沿ってゲート10の通行路がある場合、又は、通行路に曲線が含まれる場合でも、左右の一方を「北側」と規定し、他方を「南側」と規定してよい。
「顔認証開始ライン」は、顔認証処理を開始するか否かの判定に用いられる。例えば、人物が「顔認証開始ライン」を越えてゲートに進入した場合、顔認証処理が開始される。例えば、顔枠検知情報から顔照合処理依頼を発行し、照合結果(顔認証ID)と人物検知情報とのリンク付けを行い、人物の追跡を開始する。なお、「顔認証開始ライン」は、「Aライン(A LINE)」と称される場合がある。
なお、「顔認証開始ライン」は、ゲート10の外(例えば、ゲート10の経路に沿った上流側)に設けられる場合もある。また、「顔認証開始ライン」は、1つの線分に限らず、例えば、コの字型のように、複数の線分を有してもよい。なお、複数の線分を有する形状としては、コの字型のような長方形状の一部の辺に相当する形状に限らず、他の多角形形状の一部の辺に相当する形状であってもよい。あるいは、「顔認証開始ライン」は、円弧を有してもよいし、直線と曲線が混在する形状であってもよい。例えば、「顔認証開始ライン」が複数の線分及び/又は円弧を有することによって、ゲート10の正面に限らず、側面から人物が進入する場合に、顔認証処理が開始される。
「閉扉限界ライン」は、閉扉指示に応答した出口側ゲート扉の閉扉が、人物が通過するまでに間に合う位置を示す。例えば、ゲートの通過が許可されていない人物が、「閉扉限界ライン」を通過し、最大通過可能速度(例えば、6km/h)で移動した場合に、当該人物が出口側ゲート扉を通過する前に、出口側ゲート扉が閉じられる。
閉扉指示発行から閉扉完了(または、閉扉として認められる位置)までの所要時間をTc[秒]とし、最大通過可能速度をSm[m/秒]とした場合、ゲート扉から「閉扉限界ライン」までの長さLb[m]は、Lb=Tc×Smに規定されてよい。
「閉扉限界ライン」を当該人物が通過するまでに、顔認証処理及び通過権利確認処理が終了しなければならない。当該人物が進行方向に沿って「閉扉限界ライン」を通過するまでの間は、ゲート扉による規制が実施されないように、ゲート扉が制御される。
なお、「閉扉限界ライン」は、「不正侵入検知ライン」又は「Bライン(B LINE)」と称される場合がある。
「ゲート扉位置」は、当該人物の進入方向に対する物理的な出口側ゲート扉の位置を示す。例えば、双方向通行のゲート10では、それぞれの通行方向に対応する2つのゲート扉が設けられる。例えば、北側から入場し南側へ退場する通行方向において、出口側ゲート扉は、2つのゲート扉のうち、南側に設けられるゲート扉である。また、例えば、南側から入場し北側へ退場する通行方向において、出口側ゲート扉は、2つのゲート扉のうち、北側に設けられるゲート扉である。
「ゲート扉位置」は、「Gライン(G LINE)」と称される場合がある。
「退場ライン」は、当該人物がゲート10を退場したと判定する位置を示す。「退場ライン」は、上述した「顔認証開始ライン」と同様に、ゲート10の外に設けられる場合もある。また、「退場ライン」は、1つの線分に限らず、例えば、コの字型のように、複数の線分を有してもよい。あるいは、「退場ライン」は、円弧を有してもよい。なお、「退場ライン」は、例えば、「Zライン(Z LINE)」と称される場合がある。
なお、通過管理において、物理的なゲート扉の位置(「ゲート扉位置」)はあくまで通過点であってもよく、この場合、物理的なゲート扉の位置は、論理的に設定される「退場ライン」とは異なってもよいし、同一であってもよい。例えば、実運用では、「ゲート扉位置」と「退場ライン」とは同一に設定されてよい。
「ゾーンA(Zone A)」は、AラインとBラインとの間の領域である。「ゾーンA(ZONE A)」は、「認証可能エリア」と称されてよい。「ゾーンB(ZONE B)」は、BラインとGラインとの間の領域である。「ゾーンC」は、GラインとZラインとの間の領域である。ゾーンCを規定する境界のうち、ゲート10の経路に沿った上流側の境界が、ゲート扉位置(Gライン)に相当する。
図2の例では、ゾーンBは、ゾーンAとゾーンCとの間に規定される。また、ゾーンCは、顔認証処理の結果に応じて人物の侵入が許容されるゾーンである。
「北側ゾーン外エリア」は、図2の(N)に示すように、北側において、上述したゾーンAよりも外側のエリアである。「南側ゾーン外エリア」は、図2の(S)に示すように、北側において、上述したゾーンAよりも外側のエリアである。
なお、上述では、北側ゾーン外エリア及び南側ゾーン外エリアを除いて、3つのゾーンが規定される例を示したが、本開示はこれに限定されない。ゾーンの数、サイズ、位置、及び、形状は、本開示を適用するシチュエーションに応じて変更されてよい。例えば、ゲート10のような扉を用いた人物の通行を阻止する構成が無い場合、ゾーンBのサイズを小さくする、または、ゾーンBを無くしてもよい。
次に、ゲート10に規定されるゾーンのバリエーションを説明する。
図3は、ゲート10に規定されるゾーンのバリエーション1を示す図である。図3は、北側から入場する場合のゾーン規定を示す。図3では、ゾーンAが、ゲート10の出入口よりも上流側(外側又は北側)の領域を含む例である。例えば、図3では、Bラインが北側の出入口の位置に設けられる。そして、図3では、Aラインが、コの字型であり、ゲート10の側壁101に沿った線分と、側壁101に垂直な方向の線分とを有する。なお、図示は省略するが、北側から入場する場合も図3と上下対称となるゾーンが規定されてよい。
図4は、ゲート10に規定されるゾーンのバリエーション2を示す図である。図4は、北側から入場する場合のゾーン規定を示す。図4では、ゾーンAが、ゲート10の出入口よりも内側から外側(北側)までの範囲を有する。例えば、図4では、Bラインは、北側の出入口とGラインとの間の位置に設けられる。そして、図4では、図3と同様に、Aラインが、コの字型であり、ゲート10の側壁101に沿った線分と、側壁101に垂直な方向の線分とを有する。なお、図示は省略するが、南側から入場する場合も図4と上下対称となるゾーンが規定されてよい。
例えば、ゾーンのサイズ及び位置は、ゲート10のサイズ、ゲート10の扉の位置、ゲート10を通過する人物の歩行速度、及び、ゲート10の開閉応答速度によって規定されてもよい。ゲート10の開閉応答速度は、ゲート10が閉扉指示を受けてからゲート10の扉が閉じるまでの時間、又は、ゲート10が開扉指示を受けてからゲート10の扉が開くまでの時間であってよい。
例えば、ゲート10の開閉応答速度(応答時間)が速いほど、ゾーンBのサイズが小さくてよい。また、想定する歩行速度が速いほど、ゾーンBのサイズを大きくする。別言すると、ゾーンBのサイズを規定するBラインは、ゾーンCへの進入を規制する扉の制御に係る時間に基づいて決定される。
また、ゲート10の扉が完全に閉じていない場合でも人物の通過を阻止できるため、例えば、ゲート10が閉扉指示を受けてから、ゲート10の扉が途中まで(例えば、50%)閉まるまでの時間に基づいて、ゾーンのサイズが規定されてよい。このような規定におけるゾーンBのサイズは、ゲート10が閉扉指示を受けてから、ゲート10の扉が完全に閉まるまでの時間に基づいて規定されるゾーンBのサイズよりも小さくなる。
例えば、上述した図3は、ゲート10が閉扉指示を受けてから、ゲート10の扉が完全に閉まるまでの時間に基づいて規定されるゾーンに対応し、図4は、ゲート10が閉扉指示を受けてから、ゲート10の扉が途中まで(例えば、50%)閉まるまでの時間に基づいて規定されるゾーンに対応する。
<発生イベント>
人物検知機能部14では、上述したゾーンを参照して、検知された人物について発生すイベントが判定される。以下では、イベントの例を説明する。
例示的に、人物検知機能部14は、「人物検知」、「ゾーン移動」、「タイムアウト」、及び、「消滅(LOST)」という4つのイベントの発生を検知する。
「人物検知」は、人物検知処理において新たな人物を検知した場合に発生するイベントである。「人物検知」のイベントが発生した場合、当該人物にはユニークなID(人物追跡IDと記載)が付与される。別言すると、「人物検知」は、人物追跡IDが付与されていない人物が検知された場合に発生する。
「ゾーン移動」は、或る時刻tにおいて人物追跡IDの人物が存在するゾーンが、時刻tより1時点前において当該人物が存在したゾーンと異なる場合に(つまり、ゾーンが変わった場合に)、発生するイベントである。「ゾーン移動」は、隣接するゾーン間(例えば、ゾーンAとゾーンBとの間)の移動であってもよいし、隣接しないゾーン間(例えば、ゾーンAとゾーンCとの間)の移動であってもよい。例えば、人物検知ライブラリの応答の遅延及び/又は検知の誤りが生じた場合、隣接しないゾーン間の移動が発生する。
「タイムアウト」は、例えば、人物が、所定時間以上、同じゾーンに存在し続けた場合に発生するイベントである。「タイムアウト」の対象のゾーンは、特に限定されない。規定されたゾーンのそれぞれが「タイムアウト」の対象のゾーンであってもよいし、規定されたゾーンの一部が、「タイムアウト」の対象外のゾーンであってもよい。なお、「タイムアウト」が発生した後も、当該人物の検知及び追跡は継続されてよい。また、「タイムアウト」が発生した場合、当該人物の追跡管理テーブルがリセットされ、「タイムアウト」が発生した後の追跡管理テーブルが新たにアサインされてもよい。なお、「タイムアウト」と判定される所定時間は、ゾーン毎に設定されてよい。
「消滅」は、人物の追跡ができなくなった場合に発生するイベントである。例えば、「消滅」は、人物が監視カメラの撮影範囲の外に移動した場合に発生する。また、例えば、「消滅」は、人物検知機能においてエラーが生じた場合に発生する。
<制御フローの一例>
次に、図1A、図1Bに示した通過管理システム1における制御フローについて説明する。図5は、本実施の形態に係る通過管理システム1の制御フローの一例を示すフローチャートである。図5には、顔認証機能部13によって実行される顔認証処理と、人物検知機能部14によって実行される人物検知処理と、通過管理機能部15によって実行される通過管理処理が示される。以下、それぞれのフローを説明する。
<顔認証処理のフロー>
顔認証機能部13は、顔撮影用カメラから顔撮影カメラ画像を取り込む(S101)。
顔認証機能部13は、顔枠検知ライブラリを呼び出す(S102)。顔枠検知ライブラリは、画像に含まれる人物の顔を検知する機能を有するライブラリである。顔枠とは、例えば、画像に含まれる人物の顔の領域(顔領域)を囲む矩形の枠である。例えば、顔認証機能部13は、顔枠検知ライブラリを呼び出して、取り込んだ顔撮影カメラ画像の中に顔領域が含まれるか否かを検知し、顔領域が検知された場合、検知された顔領域を囲む顔枠の情報(顔枠検知情報)を出力する。顔枠検知情報は、顔枠を示す4つの点の位置座標(例えば、X-Z平面のX座標とZ座標)及び顔枠のサイズ(例えば、X-Z平面におけるX軸方向の幅及び/又はZ軸方向の幅)を含む。なお、顔枠の形状は一例であり、円形や多角形など、矩形以外の形状であってもよい。
顔認証機能部13は、顔撮影カメラ画像において、顔枠の検知を実行し、顔枠が検知されたか否かを判定する(S103)。例えば、顔認証機能部13は、顔枠検知ライブラリから顔枠検知情報が出力されたか否かに基づいて、この判定を行う。
顔枠が検知されない場合(S103にてNO)、S101へ戻る。例えば、顔枠が検知されない場合とは、顔撮影カメラ画像に顔が含まれていない場合、又は、顔が含まれている顔撮影カメラ画像から顔枠の検知に失敗した場合に相当する。
顔枠が検知された場合(S103にてYES)、顔認証機能部13は、顔照合処理(顔認証処理)を行う(S104)。顔認証機能部13は、顔撮影カメラ画像から検知した顔枠の中の顔領域を抽出し、顔認証サーバ16へ送信する。顔認証サーバ16は、抽出された顔領域の顔と同一人物の顔が、顔認証サーバ16に登録されている顔画像(登録顔画像)の中に含まれるか否かを判定する。抽出された顔領域と同一人物の顔が、登録顔画像の中に含まれる場合、顔認証に成功したと判定し、含まれない場合、顔認証に失敗した、と判定する。
顔認証機能部13は、顔認証に成功したか否かを示す照合処理結果と、検知された顔枠の座標の情報とを含む顔画像処理情報を、通過管理機能部15へ通知する(S105)。そして、フローは、S101へ戻り、次の撮影タイミングの顔撮影カメラ画像を取り込む。
<人物検知処理のフロー>
人物検知機能部14は、監視カメラから監視カメラ画像を取り込む(S201)。
人物検知機能部14は、人物検知ライブラリを呼び出す(S202)。人物検知ライブラリは、画像に含まれる人物を検知する機能を有するライブラリである。例えば、人物検知機能部14は、人物検知ライブラリを呼び出して、取り込んだ監視カメラ画像を人物検知ライブラリに入力する。人物検知ライブラリは、監視カメラ画像の中に人物が含まれるか否かを検知し、人物が検知された場合、検知された人物の位置を示す情報(人物検知情報)を出力する。人物検知情報は、人物の位置座標(例えば、X-Y平面のX座標とY座標)及び人物のサイズ(例えば、X-Y平面におけるX軸方向の幅及び/又はY軸方向の幅)を含む。人物の位置を示す座標は、監視カメラ画像において検知された人物の中央の位置であってもよいし、人物の範囲を囲む矩形枠の4つの角の1つ以上の位置であってもよい。なお、人物検知ライブラリは、人物のサイズ(例えば、X-Y平面におけるX軸方向の幅及び/又はY軸方向の幅)を出力しなくてもよい。また、人物の範囲を囲む枠は、矩形に限定されず、円形や多角形など、矩形以外の形状であってもよい。
人物検知機能部14は、監視カメラ画像において、人物が検知されたか否かを判定する(S203)。例えば、人物検知機能部14は、人物検知ライブラリから人物検知情報が出力されたか否かに基づいて、この判定を行う。
人物が検知されていない場合(S203にてNO)、S201へ戻る。例えば、人物が検知されていない場合とは、監視カメラ画像に人物が含まれていない場合、又は、人物が含まれている監視カメラ画像から人物の検知に失敗した場合に相当する。
人物が検知された場合(S203にてYES)、人物検知機能部14は、ゲート10に対して規定されたゾーンの中で、検知されたゾーン(検知対象ゾーン)を判定する(S204)。例えば、監視カメラ画像において、検知された人物の範囲の中央が代表点に規定され、代表点が存在するゾーンが、検知されたゾーンに該当する。あるいは、監視カメラ画像において、検知された人物の範囲とゾーンとの重なり具合から、人物の範囲が含まれる割合が最も高いゾーンが、検知されたゾーンに該当する。例えば、監視カメラ画像において、検知された人物の範囲がゾーンAに60%、ゾーンBに40%含まれる場合、人物検知機能部14は、検知されたゾーンがゾーンAであると判定する。このようにすることで、ゾーンの境界付近にいる人物がゾーン間を移動したと誤判定される可能性を低減することができる。また、検知された人物の範囲の、進行方向における先端が存在するゾーンをその人物が検知されたゾーンとしてもよい。ここで、例えば、図2の(S)に例示したように、Y軸の正方向が進行方向の場合、検知された人物の範囲の進行方向における先端は、検知された人物の範囲を示す座標の中で、Y座標が最も大きい位置に対応してよい。このようにすることで、人物がゾーンに入ったことを素早く検知することができる。また、検知された人物の範囲の、進行方向における後端が存在するゾーンをその人物が検知されたゾーンとしてもよい。このようにすることで、人物が存在するゾーンを誤って判定する可能性を低減できる。
人物検知機能部14は、検知された人物のイベントを判定する(S205)。例えば、人物検知機能部14は、現時点よりも前の少なくとも1つの時点において取り込んだ監視カメラ画像に対するS204の処理の結果を参照して、上述した「人物検知」、「ゾーン移動」、「タイムアウト」、及び、「消滅」のどのイベントが発生したかを判定する。なお、上述した4つのイベントのいずれにも該当しない場合、人物検知機能部14は、イベント無し、と判定してもよい。例えば、検知された人物が、移動せずに特定のゾーンに留まっているが、「タイムアウト」に相当するまで留まっていない場合、イベント無し、と判定されてよい。
人物検知機能部14は、S205にて判定した結果を含む情報(人物追跡イベント情報)を、通過管理機能部15へ通知する(S206)。人物追跡イベント情報には、検知された人物のID、検知された時刻、検知された人物の位置(例えば、座標)、S204にて判定されたゾーンの情報、及び、S205にて判定されたイベントの情報が含まれてよい。
人物検知機能部14における人物検知処理は、例えば、監視カメラ12が撮影を行い、監視カメラ画像を出力する毎に、実行されてよい。
なお、上述した人物検知処理と顔認証処理とは、互いに独立して実行されてよいし、互いの処理に同期が図られてもよい。例えば、人物検知処理と顔認証処理との一方が、他方の結果をトリガに実行されてもよい。例えば、人物検知処理において、ゾーンAへの人物の進入が検知されたことをトリガに、顔認証処理が開始されてもよい。このようにすれば、ゲート10を通過する可能性が高い人物であるゾーンAへの進入が検知された人物を対象に顔認証処理が行われ、ゾーンAへ進入していない人物を顔認証処理の対象から除外するため、顔認証を行う対象を絞り込むことができるので、顔認証全体に要する時間を短縮することができる。あるいは、人物がゾーンAに進入しているか否かにかかわらず、顔認証処理において、顔枠が検知されたことをトリガに、人物検知処理が開始されてよい。このようにすれば、顔認証処理を事前に(例えば、人物のゾーンAへの進入が検知される前に)実施することができるので、顔認証処理を早いタイミングで完了させることができる。また、この場合、ゾーンAへの進入の検知などの人物検知処理の結果を待つ必要がないため、人物検知処理と並行して実行することができる。
<通過管理処理>
通過管理機能部15は、顔認証機能部13と出力される情報と、人物検知機能部14とから出力される情報とに基づいて、ゲート10の周辺の人物の状態を管理する(S301)。例えば、通過管理機能部15は、人物追跡イベント情報が検知された人物の認証可能エリア(ゾーンA)への進入を示す場合、顔画像処理情報を参照して、情報を関連付ける処理(顔リンク処理)を行う。
例えば、通過管理機能部15は、人物追跡イベント情報に含まれる人物の位置、及び、検知時刻と、顔画像処理情報に含まれる顔枠の位置、及び、検知時刻とに基づいて、情報を関連付ける。例えば、人物の位置を示す(X,Y)座標と、顔枠の位置を示すX座標及び顔枠のサイズから推測されるY座標と、の差が所定値以下の場合に、人物追跡イベント情報が示す人物と顔画像処理情報が示す顔の人物とが同一である、と判定される。あるいは、人物追跡イベント情報の検知時刻と、顔画像処理情報の検知時刻との差が所定値以下の場合、人物追跡イベント情報が示す人物と顔画像処理情報が示す顔の人物とが同一人物である、と判定される。あるいは、位置に関する判定と時刻に関する判定とが組み合わされてもよい。
同一人物であると判定された人物追跡イベント情報と顔画像処理情報とが、リンク付けされる。
通過管理機能部15は、リンク付けができた場合、リンク付けされた情報に対応する人物の通行を許可する、と判定する。また、通過管理機能部15は、リンク付けができなかた場合、人物追跡イベント情報に対応する人物の通行を許可しない、と判定する。通過管理機能部15は、人物の通行を許可する場合、開扉指示を含むゲート制御情報をゲート10へ出力する。通過管理機能部15は、人物の通行を許可しない場合、閉扉指示を含むゲート制御情報をゲート10へ出力する。
また、通過管理機能部15は、リンク付けができたか否かに関わらず、人物追跡イベント情報に基づいて、閉扉指示を含むゲート制御情報、または、警告指示を含むゲート制御情報をゲート10へ出力してもよい。通過管理機能部15は、例えば、人物追跡イベント情報が、人物の状態(又は行動)の異常を示す場合、閉扉指示及び/又は警告指示を行ってよい。例えば、人物が、所定時間以上、ゲート10のゾーンA又はゾーンBに滞在し続けた場合(すなわち、ゾーンA又はゾーンBで「タイムアウト」イベントが発生した場合)、当該人物に移動を促す警告を発するための警告指示があってよい。このような人物は、ゲート内で立ち止まっていることが想定されるためである。また、人物が、所定時間以上、ゲート10のゾーンCに滞在し続けた場合(すなわち、ゾーンCで「タイムアウト」イベントが発生した場合)にも、当該人物に移動を促す警告を発するための警告指示があってよい。このような人物は、ゲートを通過した直後に立ち止まっていることが想定されるためである。なお、ゲート10は、警告指示に基づいて、当該人物に移動を促す音声を出力してもよいし、文字情報を表示してもよいし、警告灯等を点灯させてもよい。また、警告指示に基づいて、ゲート10の管理者(例えば、駅に設けられるゲートの場合は駅員)に対して、ゲート内に人物が滞在している状況が通知されてもよい。
<追跡管理テーブル>
上述した人物追跡イベント情報は、例えば、テーブル形式で管理されてよい。人物追跡イベント情報を管理するテーブルは、追跡管理テーブルと称されてよい。以下、追跡管理テーブルについて説明する。
図6は、追跡管理テーブルの一例を示す図である。例えば、人物検知機能部14において、人物検知ライブラリが新たな人物を検知した場合、検知した人物にID(人物追跡ID)が付される。そして、人物追跡IDが付された人物に対して、追跡管理テーブルが割り当てられる(アサインされる)。
追跡管理テーブルでは、図6に示すように、人物追跡IDが付された人物の検知時刻、検知された人物の位置座標(検知座標X、検知座標Y)、検知されたゾーン(判定ゾーンID)、及び、発生したイベント(判定イベント)が管理される。
以下、図6における1つの行を、「レコード」と記載される場合がある。各レコード、例えば、検知時刻毎に登録される。
例えば、或る検知時刻tにて検知された人物の位置座標と、規定されたゾーンとを比較し、検知時刻tにおいて、人物が検知されたゾーンを判定し、判定ゾーンIDを登録する。
検知時刻tにおけるゾーンの判定結果と、検知時刻tの1時点前の追跡管理テーブルのレコードの判定ゾーンIDとの比較によって、ゾーン移動イベントが発生したか否かを判定する。ゾーン移動イベントが発生した場合、判定イベントに、ゾーン移動を示す情報が登録される。例えば、イベント無しの場合は、「イベント無し」が登録される。
人物追跡IDが付された人物が、消滅した場合、判定イベントに、消滅したことを示す情報が登録される。そして、人物追跡IDの追跡管理テーブルの情報がログファイルに出力される。
<人物追跡イベント>
上述したイベントに関する情報は、所定の文字数の列によって表してよい。例えば、所定の文字数の列は、イベントIDと称されてよい。
以下に例示するイベントIDでは、双方向に通過可能なゲート10において、人物の進入方向毎に区別してイベントが管理される。
図7は、イベントIDの定義の一例を示す図である。図7の示すイベントIDは、例示的に4桁の文字列によって表される。
1桁目の文字は、イベントの種別を表す。1桁目には、「N」、「E」、及び、「J」のいずれかの文字が設定される。「N」は、通常通過を示し、「E」は、異常状態(エラー)を示し、「J」は、不連続移動を示す。不連続移動とは、例えば、隣接しないゾーン間の移動に相当する。
2桁目の文字は、人物の入場方向の属性を表す。2桁目には、北側から入場したことを示す「N」、又は、南側から入場したことを示す「S」のいずれかの文字が設定される。
3桁目の文字は、イベントが発生する前に人物が存在したゾーンを表す。3桁目には、「P」、「N」、「A」、「B」、「C」、及び、「S」のいずれかの文字が設定される。「P」は、新規であること、別言すれば、イベントが発生する前にどのゾーンでも検知されていないことを示す。「N」は、北側ゾーン外エリア(「ゾーン外North」)を示す。「A」、「B」、及び、「C」は、それぞれ、ゾーンA、ゾーンB、及び、ゾーンCを示す。「S」は、南側ゾーン外エリア(「ゾーン外South」)を示す。
4桁目の文字は、イベントが発生したゾーンを表す。4桁目には、「N」、「A」、「B」、「C」、「S」、「L」、及び、「T」のいずれかの文字が設定される。「N」、「A」、「B」、「C」、及び、「S」は、3桁目と同様である。「L」は、消滅が発生したこと、別言すると、当該人物がどのゾーンでも検知されていないことを示す。「T」は、タイムアウトしたことを示す。
上述したようなイベントIDに基づく人物追跡イベントの例を説明する。
図8は、人物追跡イベントの第1の例を示す図である。図8の(S)では、例示的に、ゲート10に対して、南側から進入する人物を追跡した場合のイベントIDの例がゲート10の各ゾーンの移動と対応づけて示される。なお、図8の(S)の例では、南側から進入した人物であるため、2桁目が「S」に設定される。
例えば、「NSPS」は、南側から進入する人物が、南側ゾーン外エリアにおいて新たに検知されたイベント(「人物検知」)を示す。
「NSSL」は、南側から進入して、南側ゾーン外エリアに存在した人物が、消滅したイベント(「消滅」)を示す。例えば、このイベントは、当該人物が、ゲート10を通過することなく、南側ゾーン外エリアから出て行った場合に生じる。
例えば、1桁目が「N」の矢印は、南側から進入した人物が、隣接するゾーンに移動する場合のゾーン移動のイベントに対して付されたIDである。例えば、「NSAB」は、南側から進入し、イベント発生前にゾーンAに存在した人物が、ゾーンBへ移動したイベント(「ゾーン移動」)を示す。
例えば、「NSNL」は、南側から進入し、北側ゾーン外エリアに存在した人物が、消滅したイベント(「消滅」)を示す。「NSNT」は、南側から進入し、北側ゾーン外エリアに存在し続けた人物のタイムアウトのイベント(「タイムアウト」)を示す。
例えば、「ESCT」、「ESBT」、及び、「ESAT」は、それぞれ、ゾーンC、ゾーンB、及び、ゾーンAに存在した人物のタイムアウトのイベントを示す。
例えば、1桁目が「E」の矢印は、南側から進入した人物が、南側から北側へ通過する方向と逆方向に移動する場合のゾーン移動のイベントに対して付されたIDである。例えば、「ESBA」は、南側から進入し、イベント発生前にゾーンBに存在した人物が、ゾーンAへ移動したイベント(「ゾーン移動」)を示す。
図8の(N)では、例示的に、ゲート10に対して、北側から進入する人物を追跡した場合のイベントIDの例がゲート10の各ゾーンの移動と対応づけて示される。なお、図8の例では、南側から進入した人物であるため、2桁目が「N」に設定される。また、図8の(N)の例は、図8の(S)の例と、人物の進入方向と、進入方向に基づくゾーンの規定が異なるが、イベントIDの説明は、同様であるので、詳細な説明は省略する。
次に、イベントIDの候補のリストについて説明する。
図9は、南側から進入した人物のイベントIDの候補のリストを示す図である。図10は、北側から進入した人物のイベントIDの候補のリストを示す図である。図9及び図10における各行は、イベント発生前の状態に対応し、図9及び図10の各列は、人物が検知されたゾーンに対応する。図9及び図10は、イベント発生前の状態及び人物が検知されたゾーンに対応するイベントID及び状態遷移がテーブル形式で示される。なお、各イベントIDのうち、通常の状態遷移と異なる遷移については、斜線の枠が付されている。
図9及び図10には、「S0」~「S5」の6通りのイベント発生前の状態が規定される。
「S0」は、初期状態を示す。「S1」~「S5」は、それぞれ、イベント発生前のゾーンが南側ゾーン外エリア、ゾーンA、ゾーンB、ゾーンC、及び、北側ゾーン外エリアである状態を示す。
例えば、図9の「S0」において、新たな人物が南側ゾーン外エリア、ゾーンA、又は、ゾーンBにおいて検知された場合、当該人物が南側から進入した場合の「人物検知」のイベントが発生したと決定される。そして、検知された人物には、人物IDが付与され、新規に登録される。例えば、この場合、検知された人物に対応する追跡管理テーブルが新たにアサインされる。
一方で、図9の「S0」において、新たな人物がゾーンC、又は、北側ゾーン外エリアにおいて検知された場合、当該人物が北側から進入したと扱われる。
例えば、図10の「S0」において、新たな人物が北側ゾーン外エリア、ゾーンA、又は、ゾーンBにおいて検知された場合、当該人物が北側から進入した場合の「人物検知」のイベントが発生したと決定される。そして、検知された人物には、人物IDが付与され、新規に登録される。例えば、この場合、検知された人物に対応する追跡管理テーブルが新たにアサインされる。
一方で、図10の「S0」において、新たな人物がゾーンC、又は、南側ゾーン外エリアにおいて検知された場合、当該人物が南側から進入したと扱われる。
別言すると、初期状態では、検知される人物の進入方向が決定されていない。そのため、初期状態では、検知された人物の位置によって、当該人物の進入方向が決定され、決定された進入方向に基づくイベントIDが決定される。
また、図9及び図10に示すように、「S2」~「S4」において「消滅」が発生した場合、例えば、人物IDが付与された人物が検知できなくなった場合、当該人物の追跡を終了する。
また、図9及び図10に示すように、「S1」~「S5」において、「タイムアウト」が発生した場合、例えば、人物IDが付与された人物が同じゾーンに居続けた場合、当該人物の追跡管理テーブルを別途アサインし、新たな追跡管理テーブルでの追跡管理が継続されてよい。
次に、上述した通過管理において、管理されるユースケースについて説明する。なお、以下のユースケースの例は、北側から進入する人物の通過管理の例である。
<ユースケース1>
図11は、ユースケース1の例を示す図である。図11は、北側からの通常の通過の例を示す。なお、図11の人物Pは、顔認証サーバ16に顔画像が登録されており、ゲートを通過する権利(以下、「通行権」と記載する)を有する。この場合、ゾーンAよりも外側の「北側ゾーン外エリア」において、人物Pが検知される(「人物検知」のイベント発生)。そして、ゾーンAにおいて、人物Pの顔枠が検知され、顔認証処理が実行される。顔認証処理において、人物Pが通行権を有すると判定される。そして、ゲートに開扉指示が通知される。
人物PのゾーンAからゾーンBへの移動が検知された場合(「ゾーン移動」のイベント)、ゲート10の通過を許可する制御が実行される。例えば、ゲート10が閉扉状態の場合、ゲート10の扉を開く制御が実行される。
人物PのゾーンBからゾーンCへの移動、及び、ゾーンCから南側ゾーン外エリアへの移動が検知され(「ゾーン移動」)、その後、人物Pが南側ゾーン外エリアを含む規定のゾーンに存在することが検知されないため、人物Pの消滅が判定される(「消滅」)。
なお、人物Pが通行権を有する場合であっても、人物PがゾーンAに存在する間は、ゲート10の通過を許可する制御は実行されなくてよい。例えば、人物Pが、ゲート10を通過する予定ではなく、偶然、ゾーンAに進入したような場合に、ゲート10が開扉する制御を行ってしまうことを回避できる。
<ユースケース2>
図12は、ユースケース2の例を示す図である。図12のユースケース2は、複数の人物が連続して通過するケースである。この場合、少なくとも監視カメラ画像には、複数の人物が含まれる。
人物P及び人物Qは、それぞれ、顔認証サーバ16に顔画像が登録されており、通行権を有する。
複数の人物が連続して通過する場合、人物のそれぞれに対して、追跡管理が実行される。また、人物検知ライブラリでは、1つの監視カメラ画像から複数の人物の人物検知情報が出力される。人物検知機能部14は、複数の人物のそれぞれに対する追跡管理テーブルをアサインする。
そして、人物Pの通常の通過と人物Qの通常の通過とが独立して管理される。通常の通過の管理については、ユースケース1と同様であってよい。なお、この場合、光電センサを用いた補完処理が行われてもよい。
<ユースケース3>
図13は、ユースケース3の例を示す図である。図13のユースケース3は、ゲート10の出口から出ていくのではなく、ゲートの途中でUターンするケースである。
例えば、図13の(A)の例では、人物PがゾーンAにてUターンする。この場合、人物PのゾーンAから北側ゾーン外エリアへの移動が検知された後、北側ゾーン外エリアを含む規定のゾーンに存在することが検知されなくなり、人物Pの消滅が判定される。
また、例えば、図13の(B)の例では、人物PがゾーンBにてUターンする。この場合、人物PのゾーンAからゾーンBへの移動、ゾーンBからゾーンAへの移動、及び、ゾーンAから北側ゾーン外エリアへの移動が検知される。そして、人物Pが規定のゾーンに存在することが検知されなくなり、人物Pの消滅が判定される。
また、例えば、図13の(C)の例では、人物PがゾーンCにてUターンする。この場合、人物PのゾーンAからゾーンB、ゾーンC、ゾーンB、ゾーンA、及び、北側ゾーン外エリアへ順に移動したことが検知される。そして、人物Pが規定のゾーンに存在することが検知されなくなり、人物の消滅が判定される。
<ユースケース4>
図14は、ユースケース4の例を示す図である。図14のユースケース4は、顔枠検知においてエラーが発生するケースである。
この場合、ゾーンAにおいて、人物Pの顔枠の検知が失敗する。顔枠の検知が失敗した場合、顔認証処理が実行されず、人物Pが通行権を有するか否かが判定できない。そのため、この場合、ゲート10には、閉扉指示が通知される。そして、人物PのゾーンAからゾーンBへの移動が検知された場合に、ゲート10の通過を阻止する閉扉制御が実行される。なお、この場合、ゲート10にアラート発報が指示されてもよい。
なお、人物Pが通行権を有するか否かが判定できない場合であっても、人物PがゾーンAに存在する間は、ゲート10の通過を阻止する制御は実行されなくてよい。例えば、人物Pが、ゲート10を通過する予定ではなく、偶然、ゾーンAに進入したような場合に、ゲート10が閉扉する制御を行ってしまうことを回避できる。
なお、顔枠検知が失敗する場合とは、顔枠検知ライブラリから顔枠検知情報が出力されない場合であってよい。あるいは、顔枠検知が失敗する場合とは、出力される顔枠検知情報が示す顔枠の位置と、人物検知情報が示す人物の位置との差が、所定値よりも大きい場合を含んでよい。
<ユースケース5>
図15は、ユースケース5の例を示す図である。図15のユースケース5は、顔認証処理においてエラーが発生するケースである。
この場合、ゾーンAにおいて、人物Pの顔枠が検知されるものの、顔認証に失敗する。顔認証の失敗は、例えば、人物Pの顔画像が顔認証サーバ16に登録されていない場合、及び、登録されている人物Pの顔画像と検知された顔枠が示す顔領域との認証のスコアが閾値未満である場合を含む。この場合、人物Pが通行権を有さないと判定される。そして、人物PのゾーンAからゾーンBへの移動が検知された場合に、ユースケース4と同様に、ゲート10の通過を阻止する閉扉制御が実行される。
なお、人物Pが通行権を有さない場合であっても、人物PがゾーンAに存在する間は、ゲート10の通過を阻止する閉扉制御は実行されなくてよい。例えば、人物Pが、ゲート10を通過する予定ではなく、偶然、ゾーンAに進入したような場合に、ゲート10が閉扉する制御を行ってしまうことを回避できる。
<ユースケース6>
図16は、ユースケース6の例を示す図である。図16のユースケース6は、複数の人物がまとまってゲート10を通過する行為(共連れ行為)のケースである。この場合、少なくとも監視カメラ画像には、複数の人物が含まれる一方で、複数の人物が重なってしまうため、顔撮影カメラ画像には、1人の顔が含まれる。
例示的に、人物P及びQが、監視カメラ画像に含まれ、顔撮影カメラ画像には、人物Pの顔が含まれ、人物Qの顔が含まれない。そして、人物Pは、通行権を有する例を示す。し、人物Qは通行権を有さない例を示す。
この場合、顔撮影カメラ画像には、人物Qの顔が含まれないため、人物Qの顔枠が検知されず、人物Qが通行権を有するか否かの判定が実行できない。
この場合、人物Pが通行権を有するが、人物Qが通行権を有するか否か判定できないため、人物QがゾーンBに移動した場合に、ゲート10の通過を阻止する制御が実行されてよい。なお、このような場合に、「共連れ」が発生したと判定されてよい。
また、この場合、人物Pと人物Qとの間隔によっては、人物QがゾーンBに移動したタイミングでゲート10の通行を阻止するために閉扉制御が実行された場合、人物Pがゲート扉へ衝突してしまう場合がある。そのため、人物Qによる「共連れ」が発生したことを示す情報が、監視カメラ画像及び顔撮影カメラ画像に関連付けられて記憶され、人物Qによるゲート10の通過は阻止しないようにしてもよい。この場合、人物Qは、通行権を有するか否かが不明のまま、ゲート10を通過してしまう可能性がある。例えば、ゲート10を通過した先が閉じられた空間であるのなら、退場時に通行権又は「共連れ」の発生の有無を確認することにより、人物Qに対して通行権の対価を請求等することができる。
また、人物Pと人物Qとの位置関係によって、ゲート10の通過を阻止する制御を行うか否かが変更されてもよい。例えば、人物Pが既にゾーンCに移動している場合には、人物Pに危険が及ぶことはないため、通過の阻止する制御を行い、人物PがまだゾーンBに存在する場合には通過を阻止しないようにしてもよい。また、人物PがゾーンBに存在する間に共連れが検知された場合、人物PがゾーンCに移動するタイミングを待ってから、通過を阻止する制御を行ってもよい。また、人物Pの移動速度を考慮して、人物Pが、ゲート扉が閉まる前にゾーンCへ移動することが予測できる場合は、人物Pと人物QがともにゾーンBに存在する場合であっても、通過を阻止する制御を開始してもよい、
<ユースケース7>
図17は、ユースケース7の例を示す図である。図17のユースケース7は、ゲート10の通行権を有する人物Pが通行中に、ゲート10の通行権を有する人物Qに横入りされるケースである。
例えば、この場合、人物PがゾーンAに進入した段階で、人物Pの顔枠検知、及び、顔認証処理が実行される。そして、人物Pが通行権を有することが判定され、人物Pのゲート10の通過を許可する制御のための開扉指示が発行される。
そして、図17では、人物PがゾーンBへ移動する前に、人物QがゾーンAに進入し、ゾーンAからゾーンBへ移動する。この場合、人物QがゾーンAに進入した段階で、人物Qの顔枠検知、及び、顔認証処理が実行される。そして、人物Qが通行権を有するため、人物Qのゲート10の通過を許可する開扉指示が発行される。一方で、人物Pが通行権を有すると判定されたために発行された開扉指示はキャンセルされる。例えば、この場合、人物Pは、ゾーンAに移動し、顔認証処理を再実行することによって、人物Pのゲート10の通過を許可する開扉指示が発行されてもよい。
なお、人物Pが通行権を有すると判定されたために発行される開扉指示はキャンセルされなくてもよい。
<ユースケース8>
図18は、ユースケース8の例を示す図である。図18のユースケース8は、ゲート10の通行権を有する人物Pが通行中に、ゲート10の通行権を有さない人物Qに横入りされるケースである。
例えば、この場合、人物PがゾーンAに進入した段階で、人物Pの顔枠検知、及び、顔認証処理が実行される。そして、人物Pが通行権を有することが判定され、人物Pのゲート10の通過を許可する制御のための開扉指示が発行される。
そして、図18では、人物PがゾーンBへ移動する前に、人物QがゾーンAに進入し、ゾーンAからゾーンBへ移動する。この場合、人物QがゾーンAに進入した段階で、人物Qの顔枠検知、及び、顔認証処理が実行される。そして、人物Qが通行権を有さないため、人物Qのゲート10の通過を阻止する閉扉指示が発行される。一方で、人物Pが通行権を有すると判定されたために発行される開扉指示はキャンセルされる。例えば、この場合、人物Pは、ゾーンAに移動し、顔認証処理を再実行することによって、人物Pのゲート10の通過を許可する開扉指示が発行されてもよい。
<ユースケース9>
図19は、ユースケース9の例を示す図である。図19のユースケース9は、ゲート10の両方向から進入する人物が現れるケースである。この場合、人物Pの人物検知において適用されるゾーンの規定と、人物Qの人物検知において適用されるゾーンの規定とは異なる。
例えば、北側から人物PがゾーンAに進入したことを検知し、南側から人物QがゾーンAに進入したことを検知した場合、人物Pの顔枠検知、及び、顔認証処理と、人物Qの顔枠検知、及び、顔認証処理とが実行される。そして、人物Pと人物Qとの間で、先に顔認証が成功した人物が、通行を許可される。例えば、人物Pの顔認証が、人物Qよりも先に成功した場合、北側から進入した人物Pの通行を許可する開扉指示が発行される。この場合、南側から進入した人物Qの通行を阻止する制御(例えば、入場不可の表示、及び/又は、警告音の出力)が実行されてよい。ただし、この場合の南側から進入した人物Qの通行を阻止する制御には、閉扉が含まれない。
<ユースケース10>
図20は、ユースケース10の例を示す図である。図20のユースケース10は、人物が、或るゾーンに長期滞留するケースである。
図20の(A)に示すように、通行権を有する人物PがゾーンAにて長期滞留する場合、人物PのゾーンAにおけるタイムアウトが発生する。この場合、人物Pが通行権を有する場合には開扉指示が発行され開扉待ちの状態となっているが、タイムアウトの発生をトリガに開扉待ちの状態がキャンセルされてよい。
図20の(B)に示すように、通行権を有する人物PがゾーンBにて長期滞留する場合、人物PのゾーンBにおけるタイムアウトが発生する。この場合、開扉した状態で、人物Pにゲート10の通過を促す制御(例えば、通過を促す文字表示、音声の出力)が実行されてよい。あるいは、この場合、開扉した状態をキャンセルし、閉扉状態に移行し、人物Pにゲート通過のやり直しを促す制御(例えば、Uターンを促す文字表示、音声の出力)が実行されてもよい。
図20の(C)に示すように、通行権を有する人物PがゾーンCにて長期滞留する場合、人物PのゾーンCにおけるタイムアウトが発生する。この場合、閉扉した状態で、人物Pにゲート10の通過を促す制御(例えば、通過を促す文字表示、音声の出力)が実行されてよい。
<ユースケース11>
図21は、ユースケース11の例を示す図である。図21のユースケース11は、人物Pがゲート10-1を通過しようとしたが、人物Qがゲート10-1へ横入りで進入したために、人物Pがゲート10-1を人物Qへ譲り、ゲート10-2へスライドして進入するケースである。
なお、図21の例において、ゲート10-1に対して規定されるゾーンと、ゲート10-2に対して規定されるゾーンとが重なってもよい。例えば、ゲート10-1の北側ゾーン外エリアは、ゲート10-2の北側ゾーン外エリア及び/又はゲート10-2のゾーンAと重なってもよい。これにより、スライドして進入する人物Pがゲート10-1又はゲート10-2の北側ゾーン外エリア及び/又はゾーンAに属する可能性が高まるため、人物Pを見失う可能性が低くなる。
例えば、この場合、人物Pがゲート10-1のゾーンAに進入した段階で、人物Pの顔枠検知、及び、顔認証処理が実行される。そして、人物Pが通行権を有することが判定され、人物Pのゲート10-1の通過を許可する制御のための開扉指示が発行される。
そして、図21では、人物Pがゲート10-1のゾーンBへ移動する前に、人物Qがゲート10-1のゾーンAに進入し、人物Qがゲート10-1のゾーンBへ移動する。この場合、人物Qがゲート10-1のゾーンAに進入した段階で、人物Qの顔枠検知、及び、顔認証処理が実行される。そして、人物Qが通行権を有するため、人物Qのゲート10-1の通過を許可する開扉指示が発行される。一方で、人物Pが通行権を有すると判定されたために発行される開扉指示はキャンセルされる。
そして、図21では、人物Pがゲート10-1のゾーンAからゲート10-2のゾーンAに進入した段階で、人物Pの顔枠検知、及び、顔認証処理が実行される。そして人物Pが通行権を有することが判定され、人物Pのゲート10-2の通過を許可する開扉指示が発行される。
以上説明したように、本実施の形態では、ゾーンAから、ゾーンCへ向かう人物を、ゾーンAへ移動する前から追跡する。そして、人物がゾーンA(認証可能エリア)へ移動したことが検知された場合に、人物の顔認証処理の結果と、人物の追跡結果とを関連付けて、人物を追跡することによって、人物によるゾーンCへの進入を管理する。これにより、ゲート10の入口よりも離れた位置(例えば、ゾーンAよりも離れた位置)から人物の検知処理(追跡処理)を含む通過管理の処理が開始できるため、追跡処理の結果の欠落を防止し、追跡管理の精度を向上できる。
また、人物検知の結果と、顔認証の結果とを紐付けることによって、誰がいつどこにいるのか、どのような経路を移動しているのかをリアルタイムに把握できる。そのため、人物の状態の異常(例えば、Uターン又はジャンプ)、又は、人物の不正(例えば、共連れ)を検知できる。
また、例えば、ゾーンAに進入したことをトリガに顔認証を開始する場合、顔認証の対象を減らすことができ、顔認証処理の精度を向上できる。
また、ゲート10に対するゾーンをゲート10の入口よりも外側に規定できるため、ゲート10のサイズに関係なく、柔軟なゾーンを規定でき、通過管理の柔軟性も向上できる。
なお、上述した実施の形態では、ゲート10を通過する人物の通過を管理するシステムについて説明したが、本開示はこれに限定されない。例えば、ゲート10が存在しない、別言すると、通行路の側壁、及び、人物の通過を規制する規制部(例えば、扉)を有さない場合に本開示が適用されてもよい。この場合、例えば、或るゾーンから、認証処理に応じて人物の進入が許容される別のゾーンに向かう移動経路であれば、本開示が適用されてよい。この場合、ゾーンBのサイズを小さくする、または、ゾーンBを無くしてもよい。
また、本実施の形態では、認証対象が人物である例を示したが、本開示はこれに限定されない。例えば、動物、車両等の移動体などに適用されてよい。また、本実施の形態では、顔認証を行う例を示したが、本開示はこれに限定されない。例えば、本開示は、ゲートの通行権を有することを示すIDカードを用いた認証、及び、生体認証等の他の認証方法に適用されてよい。
また、顔認証と他の認証方法とが併用されてもよい。上述した実施の形態の開示により顔認証では通過が許可されない場合であっても、IDカードの情報が入力されれば、例外的に通過が許可されてもよい。
また、上述した実施の形態では、ゲート10の通過を規制する手段として扉を用いていたが、他の手段により直接的又は間接的に通過を規制してもよい。例えば、警報を鳴らしたり、警告灯を点灯させたりすることによって、ゲート10を通過しようとする人物に対して、ゲート10の通過が規制されたことを提示してよい。また、ゲート10の近傍にいる従業員の所有する端末等に通知を送ることによって、当該従業員が通過を規制してもよい。これらの場合、ゾーンBの長さは、各規制に要する時間に基づいて設定されてもよい。具体的には、ゾーンBの長さは、警報を発する処理に要する時間、警告灯の点灯に要する時間、又は、端末へ通知が送達されるまでの時間に基づいて設定されてもよい。
また、混雑状況に応じて、通過を阻止する制御を行うか否か、又は、通過を規制する手段が切り替えられてもよい。例えば、多数の人物が入退場する場合など人物の通過を阻止又は規制すると危険な環境では、ゲート10の通過は阻止せず、不正な通過があったことを示す情報が記録されるようにしてもよい。この場合、不正な通過を行った人物の顔画像又は顔認証の結果を、不正な通過があったことを示す情報と関連付けて記録されるようにしてもよい。これにより、不正な通過を行った人物を後から追跡して、通行権の対価などを請求することが可能となる。
また、上述した実施の形態では、通過管理システム1は、空港、駅、イベント会場などの施設の出入口における、施設への入場及び施設からの退場の両方を管理していたが、入口又は出口において、施設への入場又は施設からの退場の一方を管理し、他方については管理しなくてもよい。この場合、監視カメラ12の撮影範囲は、ゲート10へ進入する人物が現れる方向に限定したり、その方向を広めに監視するようにしたりしてもよい。これにより、ゲート10を通過しようとする人物の追跡をより早く開始することができる。
本開示はソフトウェア、ハードウェア、又は、ハードウェアと連携したソフトウェアで実現することが可能である。
上記実施の形態の説明に用いた各機能ブロックは、部分的に又は全体的に、集積回路であるLSIとして実現され、上記実施の形態で説明した各プロセスは、部分的に又は全体的に、一つのLSI又はLSIの組み合わせによって制御されてもよい。LSIは個々のチップから構成されてもよいし、機能ブロックの一部又は全てを含むように一つのチップから構成されてもよい。LSIはデータの入力と出力を備えてもよい。LSIは、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。
集積回路化の手法はLSIに限るものではなく、専用回路、汎用プロセッサ又は専用プロセッサで実現してもよい。また、LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。本開示は、デジタル処理又はアナログ処理として実現されてもよい。
さらには、半導体技術の進歩又は派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
本開示は、通信機能を持つあらゆる種類の装置、デバイス、システム(通信装置と総称)において実施可能である。通信装置は無線送受信機(トランシーバー)と処理/制御回路を含んでもよい。無線送受信機は受信部と送信部、またはそれらを機能として、含んでもよい。無線送受信機(送信部、受信部)は、RF(Radio Frequency)モジュールと1または複数のアンテナを含んでもよい。RFモジュールは、増幅器、RF変調器/復調器、またはそれらに類するものを含んでもよい。通信装置の、非限定的な例としては、電話機(携帯電話、スマートフォン等)、タブレット、パーソナル・コンピューター(PC)(ラップトップ、デスクトップ、ノートブック等)、カメラ(デジタル・スチル/ビデオ・カメラ等)、デジタル・プレーヤー(デジタル・オーディオ/ビデオ・プレーヤー等)、着用可能なデバイス(ウェアラブル・カメラ、スマートウオッチ、トラッキングデバイス等)、ゲーム・コンソール、デジタル・ブック・リーダー、テレヘルス・テレメディシン(遠隔ヘルスケア・メディシン処方)デバイス、通信機能付きの乗り物又は移動輸送機関(自動車、飛行機、船等)、及び上述の各種装置の組み合わせがあげられる。
通信装置は、持ち運び可能又は移動可能なものに限定されず、持ち運びできない又は固定されている、あらゆる種類の装置、デバイス、システム、例えば、スマート・ホーム・デバイス(家電機器、照明機器、スマートメーター又は計測機器、コントロール・パネル等)、自動販売機、その他IoT(Internet of Things)ネットワーク上に存在し得るあらゆる「モノ(Things)」をも含む。
また、近年、IoT(Internet of Things)技術において、フィジカル空間とサイバー空間の情報連携により新たな付加価値を作りだすという新しいコンセプトであるCPS(Cyber Physical Systems)が注目されている。上記の実施の形態においても、このCPSコンセプトを採用することができる。
すなわち、CPSの基本構成として、例えば、フィジカル空間に配置されるエッジサーバと、サイバー空間に配置されるクラウドサーバとを、ネットワークを介して接続し、双方のサーバに搭載されたプロセッサにより、処理を分散して処理することが可能である。ここで、エッジサーバまたはクラウドサーバにおいて生成される各処理データは、標準化されたプラットフォーム上で生成されることが好ましく、このような標準化プラットフォームを用いることで、各種多様なセンサ群やIoTアプリケーションソフトウェアを含むシステムを構築する際の効率化を図ることができる。
通信には、セルラーシステム、無線LANシステム、通信衛星システム等によるデータ通信に加え、これらの組み合わせによるデータ通信も含まれる。
また、通信装置には、本開示に記載される通信機能を実行する通信デバイスに接続又は連結される、コントローラやセンサ等のデバイスも含まれる。例えば、通信装置の通信機能を実行する通信デバイスが使用する制御信号やデータ信号を生成するような、コントローラやセンサが含まれる。
また、通信装置には、上記の非限定的な各種装置と通信を行う、あるいはこれら各種装置を制御する、インフラストラクチャ設備、例えば、基地局、アクセスポイント、その他あらゆる装置、デバイス、システムが含まれる。
以上、図面を参照しながら各種の実施の形態について説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。また、開示の趣旨を逸脱しない範囲において、上記実施の形態における各構成要素を任意に組み合わせてもよい。
以上、本開示の具体例を詳細に説明したが、これらは例示にすぎず、請求の範囲を限定するものではない。請求の範囲に記載の技術には、以上に例示した具体例を様々に変形、変更したものが含まれる。
本開示の一実施例は、顔認証システムに好適である。
1 通過管理システム
10 ゲート
101 側壁
11 顔撮影用カメラ
12 監視カメラ
13 顔認証機能部
131 カメラ制御部
132 顔照合処理部
14 人物検知機能部
141 人物追跡処理部
15 通過管理機能部
151 通過管理状態遷移処理部
152 履歴管理部
153 履歴DB
16 顔認証サーバ
17 通過履歴管理サーバ
本開示の一実施例に係る情報処理装置は、第1領域から、認証処理の結果に応じて進入が許容される第2領域に向かう認証対象を、前記認証対象が前記第1領域へ移動する前から追跡する追跡部と、前記第1領域に位置する認証対象について前記認証処理を行う認証部と、前記追跡部により前記認証対象が前記第1領域へ移動したことが検知された場合に、前記認証対象の認証処理の結果と前記認証対象の追跡結果とを関連付けて、前記認証対象を追跡することにより、前記認証対象による前記第2領域への進入を管理する処理部を備え前記第1領域から前記第2領域への移動経路は、ゲート装置の通行路を含み、前記ゲート装置は、前記第1領域から前記第2領域への進入を規制する規制部を備え、前記第1領域と前記第2領域の間に第3領域が規定され、前記第1領域と前記第3領域との境界は、前記規制部の制御に係る時間に基づき決定され、前記処理部は、前記第1領域に位置する前記認証対象が前記第3領域へ移動するまでの間、前記認証対象に対応付けられている認証結果に基づく規制が実施されないよう、前記規制部を制御する
本開示の一実施例に係る情報処理システムは、ゲート装置と、第1領域に位置する認証対象について認証処理を実行する認証装置と、前記第1領域から、前記認証処理の結果に応じて進入が許容される第2領域に向かう前記認証対象を、前記認証対象が前記第1領域へ移動する前から追跡する追跡部、および、前記追跡部により前記認証対象が前記第1領域へ移動したことが検知された場合に、前記認証対象の認証処理の結果と、前記認証対象の追跡結果とを関連付けて、前記認証対象を追跡することにより、前記認証対象による前記第2領域への進入を管理する処理部を備えた情報処理装置とを有し前記第1領域から前記第2領域への移動経路は、前記ゲート装置の通行路を含み、前記ゲート装置は、前記第1領域から前記第2領域への進入を規制する規制部を備え、前記第1領域と前記第2領域の間に第3領域が規定され、前記第1領域と前記第3領域との境界は、前記規制部の制御に係る時間に基づき決定され、前記情報処理装置の前記処理部は、前記第1領域に位置する前記認証対象が前記第3領域へ移動するまでの間、前記認証対象に対応付けられている認証結果に基づく規制が実施されないよう、前記ゲート装置の規制部を制御する。
本開示の一実施例に係る通過管理方法は、ゲート装置と情報処理装置とを備えるシステムにおける通過管理方法であって、前記情報処理装置は、第1領域から、認証処理の結果に応じて進入が許容される第2領域に向かう認証対象を、前記認証対象が前記第1領域へ移動する前から追跡し、前記第1領域に位置する認証対象について前記認証処理を行い、前記認証対象が前記第1領域へ移動したことが検知された場合に、前記認証対象の認証処理の結果と前記認証対象の追跡結果とを関連付けて、前記認証対象を追跡することにより、前記認証対象による前記第2領域への進入を管理し、前記第1領域から前記第2領域への移動経路は、前記ゲート装置の通行路を含み、前記ゲート装置は、前記第1領域から前記第2領域への進入を規制する規制部を備え、前記第1領域と前記第2領域の間に第3領域が規定され、前記第1領域と前記第3領域との境界は、前記規制部の制御に係る時間に基づき決定され、前記情報処理装置は、前記第1領域に位置する前記認証対象が前記第3領域へ移動するまでの間、前記認証対象に対応付けられている認証結果に基づく規制が実施されないよう、前記ゲート装置の規制部を制御する

Claims (11)

  1. 第1領域から、認証処理の結果に応じて進入が許容される第2領域に向かう認証対象を、前記認証対象が前記第1領域へ移動する前から追跡する追跡部と、
    前記第1領域に位置する認証対象について前記認証処理を行う認証部と、
    前記追跡部により前記認証対象が前記第1領域へ移動したことが検知された場合に、前記認証対象の認証処理の結果と前記認証対象の追跡結果とを関連付けて、前記認証対象を追跡することにより、前記認証対象による前記第2領域への進入を管理する処理部と、
    を備えた、情報処理装置。
  2. 前記第1領域から前記第2領域への移動経路は、ゲート装置の通行路を含み、
    前記第1領域は、前記ゲート装置の入口よりも前記移動経路に沿った上流側の領域を含む、
    請求項1に記載の情報処理装置。
  3. 前記第1領域の前記移動経路に沿った上流側の境界は、前記認証処理が開始される開始ラインによって規定され、
    前記認証部は、前記追跡部により前記認証対象が前記第1領域に進入したことが検知された認証対象に対して前記認証処理を行う、
    請求項2に記載の情報処理装置。
  4. 前記認証部は、前記認証処理を実施可能な認証対象を検知し、検知した前記認証対象が前記第1領域よりも上流側に位置するか否かにかかわらず、前記認証処理を行う、
    請求項2に記載の情報処理装置。
  5. 前記ゲート装置は双方向に入場可能であり、前記第1領域及び前記第2領域は、入場方向のそれぞれに対して規定される、
    請求項2に記載の情報処理装置。
  6. 前記ゲート装置は、前記第2領域への進入を規制する規制部を備え、
    前記第2領域の前記移動経路に沿った上流側の境界は、前記規制部の位置に規定される、請求項2に記載の情報処理装置。
  7. 前記第1領域と前記第2領域との間に第3領域が規定され、
    前記第1領域と前記第3領域との境界は、前記規制部の制御に係る時間に基づき決定され、
    前記処理部は、前記1領域に位置する前記認証対象が前記第3領域へ移動するまでの間、前記認証対象に対応付けられている認証結果に基づく規制が実施されないよう、前記規制部を制御する、
    請求項6に記載の情報処理装置。
  8. 前記認証処理は、前記認証対象の顔画像に基づく顔認証処理である、
    請求項1に記載の情報処理装置。
  9. 前記追跡部は、前記顔画像とは異なる位置及び/又は角度から撮影された画像を用いて、前記認証対象を追跡する、
    請求項8に記載の情報処理装置。
  10. 第1領域に位置する認証対象について認証処理を実行する認証装置と、
    前記第1領域から、前記認証処理の結果に応じて進入が許容される第2領域に向かう前記認証対象を、前記認証対象が前記第1領域へ移動する前から追跡する追跡部、および、前記追跡部により前記認証対象が前記第1領域へ移動したことが検知された場合に、前記認証対象の認証処理の結果と、前記認証対象の追跡結果とを関連付けて、前記認証対象を追跡することにより、前記認証対象による前記第2領域への進入を管理する処理部を備えた情報処理装置と、
    を有する情報処理システム。
  11. 情報処理装置は、
    第1領域から、認証処理の結果に応じて進入が許容される第2領域に向かう認証対象を、前記認証対象が前記第1領域へ移動する前から追跡し、
    前記第1領域に位置する認証対象について前記認証処理を行い、
    前記認証対象が前記第1領域へ移動したことが検知された場合に、前記認証対象の認証処理の結果と前記認証対象の追跡結果とを関連付けて、前記認証対象を追跡することにより、前記認証対象による前記第2領域への進入を管理する、
    通過管理方法。
JP2020202624A 2020-12-07 2020-12-07 情報処理装置、情報処理システム、及び、通過管理方法 Active JP7108938B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2020202624A JP7108938B2 (ja) 2020-12-07 2020-12-07 情報処理装置、情報処理システム、及び、通過管理方法
PCT/JP2021/043171 WO2022124089A1 (ja) 2020-12-07 2021-11-25 情報処理装置、情報処理システム、及び、通過管理方法
US18/265,394 US20240054834A1 (en) 2020-12-07 2021-11-25 Information processing device, information processing system, and passage management method
JP2022073362A JP2022093489A (ja) 2020-12-07 2022-04-27 情報処理装置、情報処理システム、及び、通過管理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020202624A JP7108938B2 (ja) 2020-12-07 2020-12-07 情報処理装置、情報処理システム、及び、通過管理方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022073362A Division JP2022093489A (ja) 2020-12-07 2022-04-27 情報処理装置、情報処理システム、及び、通過管理方法

Publications (2)

Publication Number Publication Date
JP2022090301A true JP2022090301A (ja) 2022-06-17
JP7108938B2 JP7108938B2 (ja) 2022-07-29

Family

ID=81973599

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020202624A Active JP7108938B2 (ja) 2020-12-07 2020-12-07 情報処理装置、情報処理システム、及び、通過管理方法
JP2022073362A Pending JP2022093489A (ja) 2020-12-07 2022-04-27 情報処理装置、情報処理システム、及び、通過管理方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022073362A Pending JP2022093489A (ja) 2020-12-07 2022-04-27 情報処理装置、情報処理システム、及び、通過管理方法

Country Status (3)

Country Link
US (1) US20240054834A1 (ja)
JP (2) JP7108938B2 (ja)
WO (1) WO2022124089A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024024326A1 (ja) * 2022-07-29 2024-02-01 パナソニックIpマネジメント株式会社 ゲートシステム、ゲート装置の制御方法、及び、ゲート装置の制御プログラム
WO2024202360A1 (ja) * 2023-03-24 2024-10-03 パナソニックIpマネジメント株式会社 密集判定システム、密集判定装置、密集判定方法及びプログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7445906B1 (ja) * 2022-12-02 2024-03-08 パナソニックIpマネジメント株式会社 設置支援装置、設置支援方法、及び、設置支援プログラム

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005055151A1 (ja) * 2003-12-03 2005-06-16 Hitachi, Ltd. 搭乗セキュリティチェックシステムおよび方法ならびにコンピュータプログラム
JP2006236183A (ja) * 2005-02-28 2006-09-07 Nec Engineering Ltd 入退場管理システム
JP2007303239A (ja) * 2006-05-15 2007-11-22 Konica Minolta Holdings Inc 認証装置、認証装置の制御方法、および認証装置の制御プログラム
JP2008117264A (ja) * 2006-11-07 2008-05-22 Chuo Electronics Co Ltd 不正通過者検出装置及びこれを利用した不正通過者録画システム
JP2010092172A (ja) * 2008-10-06 2010-04-22 Fujitsu Ltd セキュリティシステム、セキュリティプログラム及びセキュリティ方法
JP2010128938A (ja) * 2008-11-28 2010-06-10 Fujitsu Ltd 認証装置及び認証方法
JP2010277147A (ja) * 2009-05-26 2010-12-09 Fujitsu Ltd 入退場管理装置、入退場管理方法および入退場管理プログラム
JP2014142838A (ja) * 2013-01-24 2014-08-07 Panasonic Corp 入室管理システムおよび入室管理装置
JP2015001790A (ja) * 2013-06-14 2015-01-05 セコム株式会社 顔認証システム

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005055151A1 (ja) * 2003-12-03 2005-06-16 Hitachi, Ltd. 搭乗セキュリティチェックシステムおよび方法ならびにコンピュータプログラム
JP2006236183A (ja) * 2005-02-28 2006-09-07 Nec Engineering Ltd 入退場管理システム
JP2007303239A (ja) * 2006-05-15 2007-11-22 Konica Minolta Holdings Inc 認証装置、認証装置の制御方法、および認証装置の制御プログラム
JP2008117264A (ja) * 2006-11-07 2008-05-22 Chuo Electronics Co Ltd 不正通過者検出装置及びこれを利用した不正通過者録画システム
JP2010092172A (ja) * 2008-10-06 2010-04-22 Fujitsu Ltd セキュリティシステム、セキュリティプログラム及びセキュリティ方法
JP2010128938A (ja) * 2008-11-28 2010-06-10 Fujitsu Ltd 認証装置及び認証方法
JP2010277147A (ja) * 2009-05-26 2010-12-09 Fujitsu Ltd 入退場管理装置、入退場管理方法および入退場管理プログラム
JP2014142838A (ja) * 2013-01-24 2014-08-07 Panasonic Corp 入室管理システムおよび入室管理装置
JP2015001790A (ja) * 2013-06-14 2015-01-05 セコム株式会社 顔認証システム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024024326A1 (ja) * 2022-07-29 2024-02-01 パナソニックIpマネジメント株式会社 ゲートシステム、ゲート装置の制御方法、及び、ゲート装置の制御プログラム
JP7496534B2 (ja) 2022-07-29 2024-06-07 パナソニックIpマネジメント株式会社 ゲートシステム、ゲート装置の制御方法、及び、ゲート装置の制御プログラム
WO2024202360A1 (ja) * 2023-03-24 2024-10-03 パナソニックIpマネジメント株式会社 密集判定システム、密集判定装置、密集判定方法及びプログラム

Also Published As

Publication number Publication date
JP7108938B2 (ja) 2022-07-29
US20240054834A1 (en) 2024-02-15
WO2022124089A1 (ja) 2022-06-16
JP2022093489A (ja) 2022-06-23

Similar Documents

Publication Publication Date Title
WO2022124089A1 (ja) 情報処理装置、情報処理システム、及び、通過管理方法
JP6787391B2 (ja) 顔照合システム、顔照合方法、及びプログラム
US11096022B2 (en) Tailgating detection
Snidaro et al. Video security for ambient intelligence
JP7432867B2 (ja) 照合装置、照合システム、及び、照合方法
US10373280B2 (en) Systems and methods for location fencing within a controlled environment
JP2008544705A (ja) 頭上ビデオストリームからの監視対象の検出及び追跡
JP2007148987A (ja) 顔認証システムおよび入退場管理システム
US10482736B2 (en) Restricted area automated security system and method
CN111277952B (zh) 电子围栏信息处理方法和系统、定位标签和移动设备
WO2022219932A1 (ja) 情報処理装置、情報処理システム、及び、推定方法
JP2023041824A (ja) 情報処理装置、情報処理方法及び記録媒体
JP2024144507A (ja) 情報処理装置、顔認証システム、及び、情報処理方法
JP2024056872A (ja) 滞在管理装置、滞在管理方法、及びプログラム
JP2007207099A (ja) 入退場管理システム
JP2023075227A (ja) 情報処理装置、及び、情報処理方法
WO2021059537A1 (ja) 情報処理装置、端末装置、情報処理システム、情報処理方法及び記録媒体
KR20220159841A (ko) 건설 현장에서 등록/미등록 차량 출입관리와 탑승자 자동 인지 출입관리를 위한 스마트 현장관리 방법 및 시스템
WO2023176167A1 (ja) 登録装置、登録方法及びプログラム
KR102658852B1 (ko) 안면 인식 기반 출입 관리 시스템
WO2021206014A1 (en) Information processing apparatus, information processing method, and storage medium
KR20220121962A (ko) 하이브리드 주차관리 방법, 및 장치
Joshi et al. Visitor Monitoring System using Raspberry Pi

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220224

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220224

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20220224

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220405

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220428

R151 Written notification of patent or utility model registration

Ref document number: 7108938

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151