JP2021111201A - 顔認証システムおよび顔認証方法 - Google Patents

顔認証システムおよび顔認証方法 Download PDF

Info

Publication number
JP2021111201A
JP2021111201A JP2020003752A JP2020003752A JP2021111201A JP 2021111201 A JP2021111201 A JP 2021111201A JP 2020003752 A JP2020003752 A JP 2020003752A JP 2020003752 A JP2020003752 A JP 2020003752A JP 2021111201 A JP2021111201 A JP 2021111201A
Authority
JP
Japan
Prior art keywords
face
zone
image
person
persons
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020003752A
Other languages
English (en)
Inventor
武士 若子
Takeshi Wakako
武士 若子
英作 宮田
Eisaku Miyata
英作 宮田
明彦 深田
Akihiko Fukada
明彦 深田
耕治 河本
Koji Kawamoto
耕治 河本
正茂 常野
Masashige Tsuneno
正茂 常野
純一 石川
Junichi Ishikawa
純一 石川
春 鎌田
Haru Kamata
春 鎌田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
iPro Co Ltd
Original Assignee
Panasonic iPro Sensing Solutions Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic iPro Sensing Solutions Co Ltd filed Critical Panasonic iPro Sensing Solutions Co Ltd
Priority to JP2020003752A priority Critical patent/JP2021111201A/ja
Priority to US17/122,556 priority patent/US11676439B2/en
Publication of JP2021111201A publication Critical patent/JP2021111201A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00Individual registration on entry or exit
    • G07C9/30Individual registration on entry or exit not involving the use of a pass
    • G07C9/32Individual registration on entry or exit not involving the use of a pass in combination with an identity check
    • G07C9/37Individual registration on entry or exit not involving the use of a pass in combination with an identity check using biometric data, e.g. fingerprints, iris scans or voice recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/166Detection; Localisation; Normalisation using acquisition arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/50Maintenance of biometric data or enrolment thereof
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00Individual registration on entry or exit
    • G07C9/00174Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys
    • G07C9/00563Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys using personal physical data of the operator, e.g. finger prints, retinal images, voicepatterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Collating Specific Patterns (AREA)
  • Alarm Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

【課題】監視エリア内へ進入する複数の人物のそれぞれのうち進入許可がない人物を検出して出力し、ユーザの監視業務をより効率的に支援する。【解決手段】顔認証システムは、進入が予め許可された複数の人物のそれぞれ顔画像と、ゾーンの情報とを対応付けて記憶するストレージと、識別情報を保持する少なくとも1つのカメラにより撮像された撮像画像から1以上の人物の顔を検知して、その検知された顔部分を切り出した顔切出し画像を生成する画像処理部と、カメラの識別情報に基づいて、顔切出し画像の人物が撮像されたゾーンを判定するゾーン判定部と、顔切出し画像と、ゾーンへの進入が予め許可された複数の人物の顔画像のそれぞれとを照合する照合部と、顔切出し画像に映る人物の顔が存在しないと照合により判定された場合に、ゾーンへの進入が許可されていない人物の顔を示す検知枠を顔切出し画像に重畳して出力する出力制御部と、を備える。【選択図】図6C

Description

本開示は、顔認証システムおよび顔認証方法に関する。
特許文献1には、管理対象エリアの入退場ゲートにおける利用者の入退場を管理する入退場管理システムが開示されている。入退場管理システムは、利用者の顔画像データと、利用者に関するデータとが関連付けて登録された顔画像データベースと、利用者1人が通行できる程度の幅を有するゲートを複数構成する複数の隔絶壁と、複数のゲートの画像データを取得する撮像部と、登録された顔画像データと撮像部によって取得された画像データにおける画像取得ゾーンで取得された複数の人物の顔認識を行う顔認証部と、顔認証結果を、ゲートを通過する利用者に報知する報知部とを備える。
特開2018−92293号公報
上述した特許文献1の入退場管理システムの構成では、利用者1人が通行可能なゲートの幅に応じて設定された画像取得ゾーン内を通行する利用者1人を撮像し、取得された利用者の画像データに基づいて、顔画像データベースに登録された利用者であるか否かを認証できる。しかし、入退場管理システムでは、複数の利用者のそれぞれが通行することは考慮されておらず、複数の利用者のそれぞれが同時にゲートを通過した場合、1つの画像取得ゾーンにおいて取得された画像データには複数の利用者のそれぞれが映るため、利用者の顔認証を的確に実行できない可能性があった。
本開示は、上述した従来の事情に鑑みて案出され、監視エリア内へ進入する複数の人物のそれぞれのうち進入許可がない人物を検出して出力し、ユーザの監視業務をより効率的に支援する顔認証システムおよび顔認証方法の提供することを目的とする。
本開示は、進入が予め許可された複数の人物のそれぞれ顔画像と、ゾーンの情報とを対応付けて記憶するストレージと、識別情報を保持する少なくとも1つのカメラにより撮像された撮像画像から1以上の人物の顔を検知して、その検知された顔部分を切り出した顔切出し画像を生成する画像処理部と、前記カメラの前記識別情報に基づいて、前記顔切出し画像の人物が撮像されたゾーンを判定するゾーン判定部と、前記ゾーンへの進入が予め許可された複数の人物の顔画像のそれぞれとを照合する照合部と、前記ゾーンへの進入が予め許可された複数の人物の顔画像のうち前記顔切出し画像に映る人物の顔が存在しないと判定した場合に、前記ゾーンへの進入が許可されていない人物の顔を示す検知枠を前記顔切出し画像に重畳して出力する出力制御部と、を備える、顔認証システムを提供する。
また、本開示は、進入が予め許可された複数の人物のそれぞれ顔画像と、ゾーンの情報とを対応付けて記憶し、識別情報を保持する少なくとも1つのカメラにより撮像された撮像画像から1以上の人物の顔を検知して、その検知された顔部分を切り出した顔切出し画像を生成し、前記カメラの前記識別情報に基づいて、前記顔切出し画像の人物が撮像されたゾーンを判定し、前記顔切出し画像と、前記ゾーンへの進入が予め許可された複数の人物の顔画像のそれぞれとを照合し、前記ゾーンへの進入が予め許可された複数の人物の顔画像のうち前記顔切出し画像に映る人物の顔が存在しないと判定した場合に、前記ゾーンへの進入が許可されていない人物の顔を示す検知枠を前記顔切出し画像に重畳して出力する、顔認証方法を提供する。
本開示によれば、監視エリア内へ進入する複数の人物のそれぞれのうち進入許可がない人物を検出して出力し、ユーザの監視業務をより効率的に支援する顔認証システムおよび顔認証方法を提供できる。
実施の形態1に係る顔認証システムの全体構成例を示す図 実施の形態1に係る顔認証システムの内部構成例を示す図 登録者メモリテーブルの一例を示す図 実施の形態1に係る顔認証システムの動作手順例を示すシーケンス図 実施の形態1に係る顔認証システムの動作手順例を示すシーケンス図 アラート通知例を説明する図 アラート通知例を説明する図 アラート通知例を説明する図
以下、適宜図面を参照しながら、本開示に係る顔認証システムおよび顔認証方法の構成および作用を具体的に開示した各実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になることを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるものであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
図1を参照して、実施の形態1に係る顔認証システム100の全体構成例について説明する。図1は、実施の形態1に係る顔認証システム100の構成例を示す図である。
実施の形態1に係る顔認証システム100は、例えば会社、マンション、商業施設等の建物に備えられる。顔認証システム100は、建物内の各ゾーン(例えば、建物の出入口、部屋、フロア、エレベータ等のエリア)へ侵入する1人以上の人物を撮像し、撮像された人物が進入したゾーンにおいて進入許可されているか否かを判定し、判定結果をユーザ(例えば管理者など)に出力する。顔認証システム100は、カメラC1,C2,C3,…のそれぞれと、サーバS1と、端末装置P1とを含んで構成される。なお、サーバS1および端末装置P1は、一体に構成されてよい。
複数のカメラC1,…のそれぞれは、サーバS1との間でデータ通信可能に接続され、撮像された撮像画像をサーバS1送信する。複数のカメラC1,…のそれぞれは、複数の人物のそれぞれの進入を監視したい監視エリアとしての複数のゾーンA,B,…のそれぞれに設置され、複数のゾーンA,B,…のそれぞれに進入する複数の人物のそれぞれを撮像する。例えば、図1に示す例において、カメラC1はゾーンAに設置される。また、複数のカメラC2,C3のそれぞれは、ゾーンBに設置される。
複数のカメラC1,…のそれぞれは、ユーザ操作により設置されたゾーンおよび設置された位置を特定可能かつ識別可能なカメラ識別情報が割り当てられる。複数のカメラC1,…のそれぞれの識別情報は、サーバS1に記録される。なお、複数のカメラC1,…のそれぞれの識別情報は、端末装置P1に記録され、サーバS1に送信されてもよい。複数のカメラC1,…のそれぞれは、撮像された撮像画像から人物ごとあるいは複数の人物の顔を検知して切り出した顔切出し画像を生成し、生成された顔切出し画像とカメラの識別情報とをサーバS1に送信する。なお、ここで切り出される顔切出し画像は、撮像された撮像画像に複数の人物のそれぞれが映る場合、これらの複数の人物のそれぞれの顔を含む顔切出し画像として切り出されて生成される。
また、複数のカメラC1,…のそれぞれは、検知された人物ごとの顔の位置座標を示す顔の位置座標情報を生成する。複数のカメラC1,…のそれぞれは、顔切出し画像と、顔切出し画像に映る人物ごとの顔の位置座標情報と、カメラの識別情報とをサーバS1に送信する。
なお、撮像画像から人物の顔を検知する処理、検知された人物ごとの顔の位置座標情報を取得する処理、および顔切出し画像を生成する処理は、サーバS1により実行されてもよい。このような場合、サーバS1は、複数のカメラC1,…のそれぞれから撮像された撮像画像と、撮像画像を撮像したカメラの識別情報とを取得する。
端末装置P1は、サーバS1との間でデータ通信可能に接続される。端末装置P1は、サーバS1から送信されたアラート通知をモニタに表示する。なお、端末装置P1は、ユーザ操作により入力された顔認証を実行する複数のゾーンA,…のそれぞれのゾーン識別情報(例えば位置、ゾーン名称等)と、複数のカメラC1,…のそれぞれのカメラ識別情報(例えば、管理番号、製造番号等)とを記録してよい。また、端末装置P1は、ユーザ操作により入力されたゾーンごとに設置されたカメラの識別情報を含むグルーピング情報を生成して記録してもよい。なお、端末装置P1が、カメラの識別情報を含むグルーピング情報を生成する場合、記録されたゾーン識別情報、カメラの識別情報およびグルーピング情報をサーバS1に送信して記録させてよい。
また、端末装置P1は、複数のゾーンA,…のそれぞれのうちいずれか1つのゾーンに進入可能な人物の顔画像、進入を許可するゾーンの情報および進入が許可される期限を示す有効期限について、ユーザ操作を受け付ける。なお、人物の顔画像は、顔の特徴量データであってよい。
なお、以下の説明において、複数の人物のそれぞれの顔画像を用いた照合処理によって顔認証を実行する例について説明するが、顔の特徴量を用いた照合処理によって顔認証を実行してもよい。
サーバS1は、複数のカメラC1,…のそれぞれと、端末装置P1との間でデータ通信可能に接続される。
サーバS1は、ユーザ操作により入力されたゾーンごとに設置されたカメラの識別情報を含むグルーピング情報を生成して記録する。サーバS1は、記録されたゾーン識別情報、カメラの識別情報およびグルーピング情報を端末装置P1に送信する。また、サーバS1は、ユーザにより登録された複数の人物のそれぞれの顔画像あるいは顔の特徴量データと、ゾーンの情報と、有効期限とを人物ごとに対応付けた登録者メモリテーブルTB1を生成し、登録者データベース33(図2参照)に記録(登録)する。なお、登録者メモリテーブルTB1は、サーバS1から端末装置P1に送信されて、登録者データベース15に記録されてもよい。サーバS1は、端末装置P1から送信された複数のゾーンA,…のそれぞれのゾーン識別情報と、複数のカメラC1,…のそれぞれのカメラ識別情報およびカメラのグルーピング情報と、登録者メモリテーブルTB1とを記録する。
なお、サーバS1は、登録者メモリテーブルTB1あるいは登録者データベース15に記録された複数の人物のそれぞれの各種設定情報(顔画像、ゾーンの情報および有効期限)について、有効期限が満了した人物の各種設定情報を削除してもよいし、削除せずに継続して記録してもよい。
また、サーバS1は、複数のカメラC1,…のそれぞれから顔切出し画像およびカメラ識別情報(例えばカメラごとのIPアドレス等)を受信する。サーバS1は、カメラ識別情報に基づいて、顔切出し画像が撮像されたゾーンを判定する。サーバS1は、登録者メモリテーブルTB1のうち判定されたゾーン識別情報において進入が許可されている複数の人物のそれぞれの顔画像と顔切出し画像とを照合する。
サーバS1は、照合の結果、顔切出し画像に映る人物がそのゾーンへの進入が許可されていると判定した場合、さらにその人物の進入が許可される有効期限が満了しているか否かを判定する。
サーバS1は、顔切出し画像に映る人物がそのゾーンへの進入が許可されていない、あるいはその人物の進入が許可される有効期限が満了している場合には、判定結果としてアラート通知(図6Bおよび図6C参照)を生成する。生成されたアラート通知は、サーバS1から端末装置P1に送信され、端末装置P1におけるモニタ13(図2参照)に表示される。
なお、このアラート通知は、端末装置P1によって生成されてもよい。このような場合、端末装置P1は、サーバS1から判定結果としてゾーンへの進入が許可されていない人物を含む顔切出し画像と、顔切出し画像においてこの進入が許可されていない人物の顔の位置を示す顔の位置座標情報とを取得し、アラート通知を生成する。
一方、サーバS1は、顔切出し画像に映る人物がそのゾーンへの進入が許可されており、かつその人物の進入が許可される有効期限が満了している場合には、登録者メモリテーブルTB1に記録(登録)された顔画像および顔切出し画像を用いた判定結果としてアラート通知(図6A参照)を生成する。生成されたアラート通知は、サーバS1から端末装置P1に送信されるが、端末装置P1におけるモニタ13(図2参照)に表示される。
図2は、実施の形態1に係る顔認証システム100の内部構成例を示す図である。
端末装置P1は、通信部10と、プロセッサ11と、メモリ12と、モニタ13と、操作部14と、登録者データベース15とを含んで構成される。なお、図2に示す登録者データベース15は、端末装置P1と外部通信可能に接続された外部端末装置あるいは外部記憶装置として実現されてよい。また、図2には図示していないが、端末装置P1は複数の人物の顔画像のそれぞれを記録(登録)する顔画像データベースが外部端末装置あるいは外部記憶装置として接続されていてよい。このような場合、端末装置P1は、登録者メモリテーブルTB1を生成する際に、顔画像データベースから記録(登録)する人物の顔画像を取得する。
通信部10は、サーバS1における通信部30との間でネットワークを介してデータ通信可能に接続される。通信部10は、サーバS1から送信された顔認証結果としての判定結果(アラート通知)を受信し、プロセッサ11に入力する。
出力制御部の一例としてのプロセッサ11は、例えばCPU(Central Processing unit)またはFPGA(Field Programmable Gate Array)を用いて構成され、メモリ12と協働して、各種の処理および制御を行う。具体的には、プロセッサ11はメモリ12に保持されたプログラムおよびデータを参照し、そのプログラムを実行することにより、各部の機能を実現する。
プロセッサ11は、サーバS1から送信され、通信部10から入力された顔認証結果としての判定結果がアラート通知である場合、アラート通知をモニタ13に出力して表示させる。なお、プロセッサ11は、サーバS1から判定結果としてゾーンへの進入が許可されていない人物を含む顔切出し画像と、顔切出し画像においてこの進入が許可されていない人物の顔の位置を示す顔の位置座標情報とを取得する場合、顔の位置座標情報に基づく検知枠を顔切出し画像に重畳してアラート通知を生成し、生成されたアラート通知をモニタ13に出力して表示させてよい。
ストレージの一例としてのメモリ12は、例えばプロセッサ11の各処理を実行する際に用いられるワークメモリとしてのRAM(Random Access Memory)と、プロセッサ11の動作を規定したプログラムおよびデータを格納するROM(Read Only Memory)とを有する。RAMには、プロセッサ11により生成あるいは取得されたデータもしくは情報が一時的に保存される。ROMには、プロセッサ11の動作を規定するプログラムが書き込まれている。なお、メモリ12には、サーバS1から送信された登録者メモリテーブルTB1を記録してもよい。
モニタ13は、例えばLCD(Liquid Crystal Display)または有機EL(Electroluminescence)などのディスプレイを用いて構成される。モニタ13は、記録されたゾーン識別情報、カメラ識別情報、グルーピング情報、および各種設定情報を設定するための設定画面を表示する。また、モニタ13は、サーバS1から受信されたアラート通知を表示する。
操作部14は、例えばユーザの入力操作を検知するユーザインターフェースであり、マウス、キーボードまたはタッチパネルなどを用いて構成される。操作部14は、ユーザの入力操作に基づいて、各種設定種別の設定を受け付けて信号に変換し、プロセッサ11に出力する。
登録者データベース15は、RAMおよびROMなどによる半導体メモリと、SSD(Solid State Drive)あるいはHDD(Hard Disk Drive)等によるストレージデバイスのうちいずれかを含む記憶デバイスを有して構成される。登録者データベース15は、登録者メモリテーブルTB1に記録された複数の人物のそれぞれの顔画像を記録する。
次に、複数のカメラC1,…のそれぞれの構成について説明する。カメラC1は、通信部20と、プロセッサ21と、メモリ22と、撮像部23とを含んで構成される。なお、複数のカメラC1,…のそれぞれは、略同一の構成を有する。以下の説明においては、カメラC1の構成について説明し、他のカメラC2,…の構成については説明を省略する。
通信部20は、サーバS1における通信部30との間でネットワークを介してデータ通信可能に接続される。通信部20は、プロセッサ21によって生成された顔切出し画像とカメラC1のカメラ識別情報とをサーバS1に送信する。
画像処理部の一例としてのプロセッサ21は、例えばCPUまたはFPGAを用いて構成され、メモリ22と協働して、各種の処理および制御を行う。具体的には、プロセッサ21はメモリ22に保持されたプログラムおよびデータを参照し、そのプログラムを実行することにより、各部の機能を実現する。なお、ここでいう機能は、例えば撮像画像に映る人物の顔を検知する機能、あるいは検知された人物の顔の領域を切出した顔切出し画像を生成する機能等である。
プロセッサ21は、撮像部23によって撮像された撮像画像が入力されると、入力された撮像画像に映る人物の顔を検知する。なお、プロセッサ21は、撮像画像に複数の人物が映る場合、複数の人物のそれぞれの顔を検知する。プロセッサ21は、検知された人物の顔を切り出した顔切出し画像を生成し、生成された顔切出し画像と、検知された人物ごとの顔の位置座標情報と、カメラC1のカメラ識別情報とを、通信部20を介してサーバS1に送信する。
なお、プロセッサ21は、顔切出し画像を生成する際に、複数の人物のそれぞれの顔を所定の切出し範囲で切り出す。プロセッサ21は、この切出し範囲が他の人物の顔の切出し範囲と重複する領域がある場合、これらの複数の人物のそれぞれの顔の切出し範囲を含む切出し範囲を切り出し、顔切出し画像を生成してよい。また、このような場合、顔切出し画像は、複数の人物の顔を含んで切り出され、さらに検知された人物ごとの顔を識別するため所定の切出し範囲内に含まれる人物ごとの顔の位置座標情報が付与される。
メモリ22は、例えばプロセッサ21の各処理を実行する際に用いられるワークメモリとしてのRAMと、プロセッサ21の動作を規定したプログラムおよびデータを格納するROMとを有する。RAMには、プロセッサ21により生成あるいは取得されたデータもしくは情報が一時的に保存される。ROMには、プロセッサ21の動作を規定するプログラムが書き込まれている。メモリ22は、カメラC1のカメラ識別情報を記録する。なお、メモリ22は、カメラのグルーピング情報を記録してよい。
撮像部23は、少なくともレンズ(不図示)とイメージセンサ(不図示)とを有して構成される。イメージセンサは、例えばCCD(Charged−coupled device)あるいはCMOS(Complementary metal−oxide−semiconductor)などの固体撮像素子であり、撮像面に結像した光学像を電気信号に変換する。撮像部23は、撮像された撮像画像をプロセッサ21に出力する。
サーバS1は、登録者メモリテーブルTB1に含まれる複数の人物の顔画像と、複数のカメラC1,…のそれぞれから送信された顔切出し画像とを照合して顔認証を実行する。サーバS1は、通信部30と、プロセッサ31と、メモリ32と、登録者データベース33とを含んで構成される。
通信部30は、端末装置P1における通信部10およびカメラC1における通信部20との間でネットワークを介してデータ通信可能に接続される。通信部30は、設定された記録されたゾーン識別情報、カメラの識別情報およびグルーピング情報と、プロセッサ11により生成された登録者メモリテーブルTB1とを端末装置P1に送信する。また、通信部30は、カメラC1から送信された顔切出し画像と、顔の位置座標情報と、カメラ識別情報とをプロセッサ31に出力する。また、通信部30は、プロセッサ31によって生成された顔認証結果としての判定結果(アラート通知)を端末装置P1に送信する。
画像処理部、ゾーン判定部、照合部および出力制御部の一例としてのプロセッサ31は、例えばCPUまたはFPGAを用いて構成され、メモリ32と協働して、各種の処理および制御を行う。具体的には、プロセッサ31はメモリ32に保持されたプログラムおよびデータを参照し、そのプログラムを実行することにより、各部の機能を実現する。なお、ここでいう機能は、例えば各種設定情報に基づいて登録者メモリテーブルTB1を生成する機能、カメラ識別情報に基づいて、カメラが設置されたゾーンを判定する機能、判定されたゾーン識別情報に基づいて、登録者メモリテーブルTB1を参照し、顔切出し画像に映る人物がそのゾーンへの進入が許可された人物であるか否かを判定する機能、判定結果として進入許可されていない人物のアラート通知を生成する機能等である。
プロセッサ31は、例えばカメラC1から送信された顔切出し画像およびカメラ識別情報が通信部30から入力される。プロセッサ31は、メモリ32に記録されたカメラ識別情報と入力されたカメラ識別情報とを照合し、顔切出し画像が撮像されたカメラが例えばカメラC1であると判定する。プロセッサ31は、カメラC1から送信された顔切出し画像に映る人物のそれぞれについて、メモリ32に記録された登録者メモリテーブルTB1を参照して照合処理を実行する。また、プロセッサ31は、メモリ32に記録されたカメラ識別情報およびグルーピング情報に基づいて、カメラが設置されたゾーンを判定する。
プロセッサ31は、判定されたゾーン識別情報に基づいて、登録者メモリテーブルTB1を参照し、顔切出し画像に映る人物が、そのゾーンへの進入が許可された人物(登録者)であるか否かを判定する。具体的に、プロセッサ31は、顔切出し画像に映る人物の顔画像のそれぞれと登録者メモリテーブルTB1に記録された複数の人物の顔画像のそれぞれを照合する。なお、プロセッサ31は、顔の特徴量に基づく照合を実行してもよい。
プロセッサ31は、照合の結果、顔切出し画像に映る人物が登録者メモリテーブルTB1に記録された登録者でないと判定された場合、顔切出し画像に映る人物がそのゾーンへの進入が許可されていない人物であることをユーザに通知するアラート通知を生成する。プロセッサ31は、カメラから送信された顔の位置座標情報に基づいて、顔切出し画像に進入が許可されていない人物の顔を囲う検知枠を重畳する。プロセッサ31は、検知枠が重畳された顔切出し画像と、この人物が撮像されたゾーンの情報とを含むアラート通知を端末装置P1に送信する。なお、プロセッサ31は、この人物が登録者メモリテーブルTB1に記録された人物であって、撮像されたゾーンへの進入が許可されていない場合、登録者メモリテーブルTB1に記録された顔画像を含むアラート通知を生成してよい。
さらに、プロセッサ31は、照合の結果、顔切出し画像に映る人物が登録者メモリテーブルTB1に記録された人物であると判定された場合、さらに登録者メモリテーブルTB1を参照し、その人物の進入を許可する期間を示す有効期限が満了しているか否かを判定する。
プロセッサ31は、判定の結果、顔切出し画像に映る人物が登録者メモリテーブルTB1に記録された登録者であって、かつ有効期限が満了していると判定された場合、顔切出し画像に映る人物がそのゾーンへの進入が許可されていない人物であることをユーザに通知するアラート通知を生成する。具体的に、プロセッサ31は、カメラから送信された顔の位置座標情報に基づいて、顔切出し画像に有効期限が満了している人物の顔領域を囲う検知枠を重畳する。プロセッサ31は検知枠が重畳された顔切出し画像と、この人物が撮像されたゾーンの情報とを含むアラート通知を端末装置P1に送信する。なお、プロセッサ31は、さらに有効期限の情報を含むアラート通知を生成し、端末装置P1に送信してもよい。
上述した、プロセッサ31による顔の照合処理は、予め生成された学習データを用いて実行されてよい。このような場合、プロセッサ31は、AI処理部(不図示)をさらに備えていてよい。AI処理部は、例えばCPU、DSP(Digital Signal Processor)またはFPGAを用いて構成され、過去に記憶された複数の人物の顔画像の顔の特徴量データを蓄積した学習モデルデータベースを含んで構成される。
AI処理部(不図示)は、カメラから送信された顔切出し画像と、登録者メモリテーブルTB1に記録された複数の人物の顔画像のそれぞれとに基づいて、顔の照合処理を実行する。
学習モデルデータベースは、RAMおよびROMなどによる半導体メモリと、SSD(Solid State Drive)あるいはHDD(Hard Disk Drive)等によるストレージデバイスのうちいずれかを含む記憶デバイスにより構成される。また、学習モデルデータベースは、例えばAI処理部が実行する照合処理を規定するプログラム、これらの処理を実行するための各種の設定データ、人物の顔の特徴量の抽出および照合を実行する際に用いられる学習データ等を生成または記憶する。
学習データを生成するための学習は、1つ以上の統計的分類技術を用いて行っても良い。統計的分類技術としては、例えば、線形分類器(linear classifiers)、サポートベクターマシン(support vector machines)、二次分類器(quadratic classifiers)、カーネル密度推定(kernel estimation)、決定木(decision trees)、人工ニューラルネットワーク(artificial neural networks)、ベイジアン技術および/またはネットワーク(Bayesian techniques and/or networks)、隠れマルコフモデル(hidden Markov models)、バイナリ分類子(binary classifiers)、マルチクラス分類器(multi−class classifiers)、クラスタリング(a clustering technique)、ランダムフォレスト(a random forest technique)、ロジスティック回帰(a logistic regression technique)、線形回帰(a linear regression technique)、勾配ブースティング(a gradient boosting technique)等が挙げられる。但し、使用される統計的分類技術はこれらに限定されない。
なお、プロセッサ31は、複数のカメラC1,…のそれぞれから撮像された撮像画像と、撮像画像を撮像したカメラの識別情報とをサーバS1が取得する場合、撮像画像に映る人物を検知して顔切出し画像を生成するとともに、検知された人物ごとの顔の位置座標情報を生成してもよい。
また、プロセッサ31は、判定の結果、顔切出し画像にゾーンへの進入が許可されていない人物が映っていると判定した場合、顔切出し画像とこのゾーンへの進入が許可されていない人物の顔の位置座標情報とを判定結果として端末装置P1に送信してもよい。このような場合、端末装置P1におけるプロセッサ11は、判定結果に基づいて、アラート通知を生成する。
ストレージの一例としてのメモリ32は、例えばプロセッサ31の各処理を実行する際に用いられるワークメモリとしてのRAMと、プロセッサ31の動作を規定したプログラムおよびデータを格納するROMとを有する。RAMには、プロセッサ31により生成あるいは取得されたデータもしくは情報が一時的に保存される。ROMには、プロセッサ31の動作を規定するプログラムが書き込まれている。メモリ32は、端末装置P1から送信された各種設定情報および登録者メモリテーブルTB1を記録する。
登録者データベース33は、RAMおよびROMなどによる半導体メモリと、SSDあるいはHDD等によるストレージデバイスのうちいずれかを含む記憶デバイスを有して構成される。登録者データベース33は、登録者メモリテーブルTB1に記録された複数の人物のそれぞれの顔画像を記録する。
図3は、登録者メモリテーブルTB1の一例を示す図である。登録者メモリテーブルTB1は、サーバS1により生成されて、記録される。
登録者メモリテーブルTB1は、登録者としての複数の人物の顔画像LT1,LT2,LT3,…のそれぞれの顔画像と、各ゾーンへの進入を許可するか否かを示すゾーンの情報と、進入が許可される期限としての有効期限の情報と、を含む。
例えば、顔画像LT1で示される登録者は、ゾーンAおよびゾーンBへの進入を有効期限「2019/12/25 23:59:59」まで許可されている。顔画像LT2で示される登録者は、ゾーンAへの進入を有効期限「2020/03/30 23:59:59」まで許可されている。顔画像LT3で示される登録者は、ゾーンBへの進入を有効期限「9999/03/30 23:59:59」まで許可されている。
これにより、実施の形態1に係る顔認証システム100は、例えば同一建物内に複数のゾーン(エリア)がある場合、人物ごとに各ゾーンへの立ち入り(進入)を管理できる。また、実施の形態1に係る顔認証システム100は、ユーザ操作により有効期限を設定とすることにより、例えば顔画像LT1,LT2のそれぞれで示される登録者のそれぞれのように契約期間がある従業員等の建物あるいはゾーンへの進入を容易に管理できる。なお、契約期間が無期限の従業員は、顔画像LT3で示される登録者のように有効期限が遠い未来を示す値に設定されてよい。
図4は、実施の形態1に係る顔認証システム100の動作手順例を示すシーケンス図である。なお、図4において、撮像画像に映る人物が一人であり、かつこの人物がゾーンへの進入を許可されており、アラート通知が生成されない例について説明する。また、図4に示す顔認証システム100の動作手順例では、端末装置P1が各ゾーンの情報、各ゾーンに設置されたカメラ識別情報、グルーピング情報および登録者メモリテーブルTB1の生成および記録を行う例について説明する。これらの情報およびテーブルは、サーバS1によって生成および記録されてもよいし、端末装置P1によって生成および記録されてもよい。
端末装置P1は、ユーザ操作による各ゾーンの設定およびゾーンごとに設置された各カメラのグルーピングに関する設定を受け付け、これらの設定情報を記録する。端末装置P1は、ユーザ操作により登録者メモリテーブルTB1に記録する複数の人物の顔画像のそれぞれを取得し、記録(登録)する(St1)。端末装置P1は、取得された顔画像のそれぞれの人物について、ユーザ操作により各ゾーンへの進入を許可するか否かを示すゾーンの情報および有効期限に関する入力を受け付け、登録者メモリテーブルTB1を生成してもよい。
端末装置P1は、設定された各ゾーンの情報と、各ゾーンに設置されたカメラ識別情報およびグルーピング情報とをサーバS1に送信する(St2)。
また、端末装置P1は、ユーザ操作に基づいて生成された登録者メモリテーブルTB1をサーバS1に送信する(St3)。
サーバS1は、端末装置P1から送信された各ゾーンのゾーン識別情報と、各ゾーンに設置されたカメラ識別情報およびグルーピング情報と、登録者メモリテーブルTB1とを記録(登録)する(St4)。
複数のカメラC1,…のそれぞれは、各ゾーンに進入する複数の人物のそれぞれを撮像し、撮像された撮像画像から人物の顔を検出する。複数のカメラC1,…のそれぞれは、検出された人物の顔を含む領域を切り出した顔切出し画像Pc0を生成する(St5A)。
複数のカメラC1,…のそれぞれは、生成された顔切出し画像Pc0と、顔切出し画像Pc0に映る人物の顔の位置座標情報と、カメラ識別情報とをサーバS1に送信する(St6A)。
サーバS1は、受信されたカメラ識別情報と登録されたカメラ識別情報およびグルーピング情報とを照合し、顔切出し画像Pc0が撮像されたゾーンを判定する(St7A)。
サーバS1は、ステップSt7Aにおいて判定されたゾーンにおいて、登録者メモリテーブルTB1に記録された顔画像LT1と顔切出し画像Pc0とを照合し、顔切出し画像Pc0に映る人物(顔画像LT1の人物)の進入が許可されているか否かを判定する(St8A)。
サーバS1は、ステップSt8Aにおける処理の結果、顔切出し画像Pc0に映る人物の進入が許可されていると判定された場合、判定結果を端末装置P1に送信しない。なお、サーバS1は、ステップSt8Aにおける処理の結果、顔切出し画像に映る人物の進入が許可されていないと判定された場合、アラート通知を生成して端末装置P1に送信する。
図5は、実施の形態1に係る顔認証システム100の動作手順例を示すシーケンス図である。図5では、1つの顔切出し画像に複数の人物の顔のそれぞれが映り、かつ複数の人物のうち1人がゾーンへの進入を許可されておらず、アラート通知が生成される例について説明する。なお、図5に示す顔認証システム100の動作手順のうちステップSt1〜St4における処理は、図4に示す顔認証システム100の動作手順で説明した処理を同一であるため、説明を省略する。また、図5に示す顔認証システム100の動作手順例では、図4に示す例と同様に、端末装置P1が各ゾーンの情報、各ゾーンに設置されたカメラ識別情報、グルーピング情報および登録者メモリテーブルTB1の生成および記録を行う例について説明する。
複数のカメラC1,…のそれぞれは、各ゾーンに進入する複数の人物のそれぞれを撮像し、撮像された撮像画像から複数の人物のそれぞれの顔を検出する。複数のカメラC1,…のそれぞれは、撮像画像から検出された人物の顔のそれぞれを含む領域を切り出した顔切出し画像Pc3を生成する(St5B)。また、複数のカメラC1,…のそれぞれは、顔切出し画像Pc3に2人の人物のそれぞれが映っていると判定した場合、2人の人物のそれぞれの顔を検知し、複数の顔切出し画像Pc311,Pc312のそれぞれと、2人の人物のそれぞれの顔の位置座標情報とを生成してもよい。
複数のカメラC1,…のそれぞれは、生成された顔切出し画像Pc3と、顔切出し画像Pc3に映る人物の顔の位置座標情報と、カメラ識別情報とをサーバS1に送信する(St6B)。なお、複数のカメラC1,…のそれぞれは、複数の顔切出し画像Pc311,Pc312のそれぞれと、2人の人物のそれぞれの顔の位置座標情報と、カメラ識別情報とをサーバS1に送信してもよい。
サーバS1は、受信されたカメラ識別情報と登録されたカメラ識別情報およびグルーピング情報とを照合し、顔切出し画像Pc3が撮像されたゾーンを判定する(St7B)。
サーバS1は、ステップSt7Bにおいて判定されたゾーンにおいて、登録者メモリテーブルTB1に記録された顔画像と顔切出し画像Pc3に含まれる複数の人物のそれぞれの顔画像とを照合し、複数の顔切出し画像Pc3に映る複数の人物のそれぞれの進入が許可されているか否かを判定する(St8B)。なお、サーバS1は、複数のカメラC1,…のそれぞれから複数の顔切出し画像Pc311,Pc312のそれぞれと、2人の人物のそれぞれの顔の位置座標情報と、カメラ識別情報とを受信した場合には、登録者メモリテーブルTB1に記録された顔画像と複数の顔切出し画像Pc311,Pc312のそれぞれとを照合してもよい。
サーバS1は、ステップSt8Bにおける処理の結果、顔切出し画像Pc3に映る2人の人物のうち、1人(顔切出し画像Pc312に映る人物)が登録された顔画像LT2の人物であって、ゾーンへの進入が許可されていると判定する。また、サーバS1は、顔切出し画像Pc3に映る2人の人物のうち、もう1人(顔切出し画像Pc311に映る人物)の進入が許可されていないと判定する。サーバS1は、判定結果に基づいて、複数のカメラC1,…のそれぞれから送信された顔切出し画像Pc3のうちもう1人(顔切出し画像Pc311として切り出された人物)の顔の位置座標情報を用いて、ゾーンへの進入が許可されて位置ない人物を示すための検知枠Ar31を顔切出し画像Pc3に重畳する。サーバS1は、顔切出し画像Pc3を含むアラート通知Ar3を生成して端末装置P1に送信する(St9B)。
端末装置P1は、サーバS1から送信されたアラート通知Ar3をモニタ13に表示する(St10B)。
これにより、実施の形態1に係る顔認証システム100は、ゾーンへの進入が許可された複数の人物のそれぞれの判定結果をモニタ13に表示しないため、ユーザによる管理業務の業務負荷を低減できる。よって、ユーザは、管理業務の目的であるゾーンへの進入が許可されていない人物の監視のみに集中して業務を遂行できる。
また、実施の形態1に係る顔認証システム100は、ゾーンへの進入が許可されていない人物の顔を囲う検知枠を重畳することで、顔切出し画像が複数の人物のそれぞれを含む場合であってもゾーンへの進入が許可されていない人物をより明確に示すことができる。
これにより、顔認証システム100は、例えばゾーンへの進入が許可されている人物になりすました他の人物がゾーンへ進入した場合、あるいはゾーンへの進入が許可されている複数の人物のそれぞれに紛れてゾーンへの進入が許可されていない人物がゾーンへ進入した場合であっても、ゾーンへの進入が許可されていない人物のみを検出できる。よって、ユーザは、複数の人物の中から、ゾーンへの進入が許可されていない人物を容易に把握できる。
図6Aは、アラート通知Ar1例を説明する図である。図6Aに示すアラート通知は、登録者メモリテーブルTB1に記録され、かつ有効期限が満了した人物がゾーンに進入した場合に、サーバS1によって生成される。端末装置P1は、サーバS1から送信されたアラート通知Ar1をモニタ13に表示する。
アラート通知は、ゾーンへの進入が許可されていない人物が撮像されたゾーンの情報と、ゾーンへの進入が許可されていない人物が撮像された顔切出し画像Pc1とを含む。
アラート通知Ar1は、図5に示す顔認証システム100の動作手順例におけるステップSt9において、顔切出し画像Pc1に映る複数の人物のそれぞれのうち、有効期限が満了している人物がいると判定された場合に、サーバS1により生成される。アラート通知Ar1は、サーバS1から端末装置P1に送信され、モニタ13に表示される。アラート通知Ar1は、検出画像としてのゾーンへの進入が許可されていない人物を示す検知枠Ar11が重畳された顔切出し画像Pc1を含む。また、アラート通知Ar1は、ゾーンへの進入が許可されていない人物の有効期限が満了している場合、図6Aに示すように登録者メモリテーブルTB1に人物の顔画像が記録(登録)されているか否かによらず、登録画像を含まない。
図6Bは、アラート通知Ar2例を説明する図である。図6Bに示すアラート通知は、登録者メモリテーブルTB1に記録されたゾーン(つまり、進入が許可されたゾーン)以外のゾーンに人物が進入した場合に、サーバS1によって生成される。端末装置P1は、サーバS1から送信されたアラート通知Ar2をモニタ13に表示する。
アラート通知Ar2は、図5に示す顔認証システム100の動作手順例におけるステップSt9において、顔切出し画像Pc2に映る複数の人物のそれぞれのうち、登録者メモリテーブルTB1に記録された人物が許可されていないゾーンへ進入したことが判定された場合、サーバS1により生成される。アラート通知Ar2は、サーバS1から端末装置P1に送信され、モニタ13に表示される。アラート通知Ar2は、検出画像としてのゾーンへの進入が許可されていない人物を示す検知枠Ar21が重畳された顔切出し画像Pc2を含んで生成される。また、アラート通知Ar2は、図6Bに示すように人物が登録者メモリテーブルTB1に記録(登録)された人物であって、かつ許可されたゾーン以外へ進入した場合、登録者メモリテーブルTB1に記録(登録)された顔画像を登録画像Rc2として含んで生成される。
図6Cは、アラート通知Ar3例を説明する図である。図6Cに示すアラート通知は、登録者メモリテーブルTB1に記録されていない人物がゾーンに進入した場合に、サーバS1によって生成される。端末装置P1は、サーバS1から送信されたアラート通知Ar3をモニタ13に表示する。
アラート通知Ar3は、図5に示す顔認証システム100の動作手順例におけるステップSt9において、顔切出し画像Pc3に映る複数の人物のそれぞれのうち、登録者メモリテーブルTB1に記録(登録)されていない人物がゾーンへ進入したことが判定された場合、サーバS1により生成される。アラート通知Ar3は、サーバS1から端末装置P1に送信され、モニタ13に表示される。アラート通知Ar3は、検出画像としてゾーンへの進入が許可されていない人物を示す検知枠Ar31が重畳された顔切出し画像Pc3を含んで生成される。また、アラート通知Ar3は、図6Cに示すようにゾーンへの進入が許可されていない人物の顔画像が記録(登録)されていないため、登録画像を含まない。
以上により、実施の形態1に係る顔認証システム100は、進入が予め許可された複数の人物のそれぞれ顔画像と、ゾーンの情報とを対応付けて記憶するストレージ(端末装置P1におけるメモリ12あるいはサーバS1におけるメモリ32)と、識別情報を保持する少なくとも1つのカメラにより撮像された撮像画像から1以上の人物の顔を検知して、その検知された顔部分を切り出した顔切出し画像を生成する画像処理部(カメラにおけるプロセッサ21あるいはサーバS1におけるプロセッサ31)と、カメラの識別情報に基づいて、顔切出し画像の人物が撮像されたゾーンを判定するゾーン判定部(サーバS1におけるプロセッサ31)と、顔切出し画像と、ゾーンへの進入が予め許可された複数の人物の顔画像のそれぞれとを照合する照合部(サーバS1におけるプロセッサ31)と、ゾーンへの進入が予め許可された複数の人物の顔画像のうち顔切出し画像に映る人物の顔が存在しないと判定した場合に、ゾーンへの進入が許可されていない人物の顔を示す検知枠を顔切出し画像に重畳して出力する出力制御部(端末装置P1におけるプロセッサ11あるいはサーバS1におけるプロセッサ31)と、を備える。
これにより、実施の形態1に係る顔認証システム100は、監視エリアとしての各ゾーン内をする複数の人物のそれぞれのうち進入許可がない人物を検出して出力する。つまり、顔認証システム100は、進入許可がない人物が検知された場合のみをアラート通知として送信し、ユーザが使用する端末装置P1におけるモニタ13に表示できるため、ユーザの監視業務をより効率的に支援できる。
また、実施の形態1に係る顔認証システム100におけるストレージ(端末装置P1におけるメモリ12あるいはサーバS1におけるメモリ32)は、複数の人物のそれぞれの顔画像に、進入が許可される有効期限の情報をさらに対応付けて記憶する。照合部(サーバS1におけるプロセッサ31)は、ゾーンへの進入が予め許可された複数の人物の顔画像のうち顔切出し画像に映る人物の顔が存在すると判定した場合に、その人物の顔画像に対応する有効期限が満了しているか否かをさらに判定する。出力制御部(端末装置P1におけるプロセッサ11あるいはサーバS1におけるプロセッサ31)は、判定の結果、有効期限が満了していると判定した場合に、有効期限が満了した人物の顔を示す検知枠を顔切出し画像に重畳して出力する。これにより、実施の形態1に係る顔認証システム100は、撮像画像に複数の人物のそれぞれが映り、生成された顔切出し画像に複数の人物のそれぞれが映る場合であっても、ゾーンへの進入が許可されていない人物をより強調した判定結果としてのアラート通知を生成できる。よって、ユーザは、顔切出し画像に複数の人物のそれぞれが映っている場合であっても、ゾーンへの進入が許可されていない人物の確認がより容易となる。
また、実施の形態1に係る顔認証システム100におけるストレージ(端末装置P1におけるメモリ12あるいはサーバS1におけるメモリ32)は、複数の人物のそれぞれの顔画像に、進入が許可される有効期限の情報をさらに対応付けて記憶する。また、照合部(サーバS1におけるプロセッサ31)は、有効期限が満了した人物の顔画像と、その人物の顔画像に対応付けて記録されたゾーンの情報と有効期限の情報とを削除する。これにより、実施の形態1に係る顔認証システム100におけるサーバS1は、不要なデータを削除できるため、登録者メモリテーブルTB1の記録に要するデータ記録容量を低減できる。
また、実施の形態1に係る顔認証システム100におけるストレージ(端末装置P1におけるメモリ12あるいはサーバS1におけるメモリ32)は、複数の人物のそれぞれの顔画像に、進入が許可される有効期限の情報をさらに対応付けて記憶し、有効期限が満了した人物の顔画像と、その人物の顔画像に対応付けて記録されたゾーンの情報と有効期限の情報とを継続して記録する。これにより、実施の形態1に係る顔認証システム100は、過去にゾーンへの進入が許可された人物が有効期限満了後に再度許可される場合等に、再度顔画像を登録する手間を省くことができる。
以上、添付図面を参照しながら各種の実施の形態について説明したが、本開示はかかる例に限定されない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても本開示の技術的範囲に属すると了解される。また、発明の趣旨を逸脱しない範囲において、上述した各種の実施の形態における各構成要素を任意に組み合わせてもよい。
なお、実施の形態1に係る顔認証システム100における複数のカメラC1,…のそれぞれは、撮像された撮像映像のデータを外部記憶装置(不図示)に記憶してよい。外部記憶端末は、複数のカメラC1,…のそれぞれおよびサーバS1との間でデータ通信可能に接続される。また、端末装置P1は、サーバS1から送信された判定結果にアラート通知が含まれる場合、アラート通知が生成された撮像画像の前後の撮像時刻を含む撮像映像のデータを、サーバS1を介して外部記憶装置(不図示)に要求してよい。端末装置P1は、サーバS1から送信された撮像映像のデータをモニタ13に表示することで、アラート通知が生成された前後の撮像映像の確認を容易にできる。
本開示は、監視エリア内へ進入する複数の人物のそれぞれのうち進入許可がない人物を検出して出力し、ユーザの監視業務をより効率的に支援する顔認証システムおよび顔認証方法の提示として有用である。
10,20,30 通信部
11,21,31 プロセッサ
12,22,32 メモリ
13 モニタ
14 操作部
15,33 登録者データベース
23 撮像部
100 顔認証システム
A,B,C ゾーン
Ar11,Ar21,Ar31 検知枠
C1,C2,C3 カメラ
DB1 顔DB
LT1,LT2,LT3 顔画像
P1 端末装置
Pc0,Pc1,Pc2,Pc3,Pc311,Pc312 顔切出し画像
S1 サーバ
TB1 登録者メモリテーブル

Claims (5)

  1. 進入が予め許可された複数の人物のそれぞれの顔画像と、ゾーンの情報とを対応付けて記憶するストレージと、
    識別情報を保持する少なくとも1つのカメラにより撮像された撮像画像から1以上の人物の顔を検知して、その検知された顔部分を切り出した顔切出し画像を生成する画像処理部と、
    前記カメラの前記識別情報に基づいて、前記顔切出し画像の人物が撮像されたゾーンを判定するゾーン判定部と、
    前記顔切出し画像と、前記ゾーンへの進入が予め許可された複数の人物の顔画像のそれぞれとを照合する照合部と、
    前記ゾーンへの進入が予め許可された複数の人物の顔画像のうち前記顔切出し画像に映る人物の顔が存在しないと前記照合により判定された場合に、前記ゾーンへの進入が許可されていない人物の顔を示す検知枠を前記顔切出し画像に重畳して出力する出力制御部と、を備える、
    顔認証システム。
  2. 前記ストレージは、前記複数の人物のそれぞれの顔画像に、進入が許可される有効期限の情報をさらに対応付けて記憶し、
    前記照合部は、前記ゾーンへの進入が予め許可された複数の人物の顔画像のうち前記顔切出し画像に映る人物の顔が存在すると前記照合により判定した場合に、その人物の顔画像に対応する前記有効期限が満了しているか否かをさらに判定し、
    前記出力制御部は、前記有効期限が満了していると判定した場合に、前記有効期限が満了した人物の顔を示す検知枠を前記顔切出し画像に重畳して出力する、
    請求項1に記載の顔認証システム。
  3. 前記ストレージは、前記複数の人物のそれぞれの顔画像に、進入が許可される有効期限の情報をさらに対応付けて記憶し、
    前記照合部は、前記有効期限が満了した人物の顔画像と、その人物の前記顔画像に対応付けて記録されたゾーンの情報と有効期限の情報とを前記ストレージから削除する、
    請求項1に記載の顔認証システム。
  4. 前記ストレージは、前記複数の人物のそれぞれの顔画像に、進入が許可される有効期限の情報をさらに対応付けて記憶するとともに、前記有効期限が満了した人物の顔画像と、その人物の前記顔画像に対応付けて記録されたゾーンの情報と有効期限の情報とを継続して記録する、
    請求項1に記載の顔認証システム。
  5. 進入が予め許可された複数の人物のそれぞれ顔画像と、ゾーンの情報とを対応付けてストレージに記憶し、
    識別情報を保持する少なくとも1つのカメラにより撮像された撮像画像から1以上の人物の顔を検知して、その検知された顔部分を切り出した顔切出し画像を生成し、
    前記カメラの前記識別情報に基づいて、前記顔切出し画像の人物が撮像されたゾーンを判定し、
    前記顔切出し画像と、前記ゾーンへの進入が予め許可された複数の人物の顔画像のそれぞれとを照合し、
    前記ゾーンへの進入が予め許可された複数の人物の顔画像のうち前記顔切出し画像に映る人物の顔が存在しないと前記照合により判定された場合に、前記ゾーンへの進入が許可されていない人物の顔を示す検知枠を前記顔切出し画像に重畳して出力する、
    顔認証方法。
JP2020003752A 2020-01-14 2020-01-14 顔認証システムおよび顔認証方法 Pending JP2021111201A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020003752A JP2021111201A (ja) 2020-01-14 2020-01-14 顔認証システムおよび顔認証方法
US17/122,556 US11676439B2 (en) 2020-01-14 2020-12-15 Face authentication system and face authentication method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020003752A JP2021111201A (ja) 2020-01-14 2020-01-14 顔認証システムおよび顔認証方法

Publications (1)

Publication Number Publication Date
JP2021111201A true JP2021111201A (ja) 2021-08-02

Family

ID=76763193

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020003752A Pending JP2021111201A (ja) 2020-01-14 2020-01-14 顔認証システムおよび顔認証方法

Country Status (2)

Country Link
US (1) US11676439B2 (ja)
JP (1) JP2021111201A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10671837B2 (en) * 2015-09-08 2020-06-02 Nec Corporation Face recognition system, face recognition method, display control apparatus, display control method, and display control program

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020094111A1 (en) * 2000-05-19 2002-07-18 Puchek Daniel R. Access control method and apparatus
TWI278782B (en) * 2001-08-24 2007-04-11 Toshiba Corp Personal recognition apparatus
JP2018092293A (ja) 2016-12-01 2018-06-14 清水建設株式会社 入退場管理システム
WO2019090106A1 (en) * 2017-11-03 2019-05-09 Sensormatic Electronics, LLC Methods and system for employee monitoring and business rule and quorum compliance monitoring
WO2020084748A1 (ja) * 2018-10-26 2020-04-30 日本電気株式会社 認証候補抽出装置、認証システム、認証候補抽出方法及びプログラム
US10949652B1 (en) * 2019-11-08 2021-03-16 Capital One Services, Llc ATM transaction security using facial detection

Also Published As

Publication number Publication date
US11676439B2 (en) 2023-06-13
US20210216755A1 (en) 2021-07-15

Similar Documents

Publication Publication Date Title
JP7405200B2 (ja) 人物検出システム
JP5747116B1 (ja) 防犯システム
JP5500303B1 (ja) 監視システム、監視方法、監視プログラム、ならびに該プログラムを記録した記録媒体
US11875569B2 (en) Smart video surveillance system using a neural network engine
CN110659397A (zh) 一种行为检测方法、装置、电子设备和存储介质
JP2011039959A (ja) 監視システム
US20160292493A1 (en) Determining access permission
JP6557897B1 (ja) 情報処理装置、判定方法、およびプログラム
JP2019096179A (ja) 行動監視システム
US20220215706A1 (en) Monitoring area setting device, monitoring area setting method, and alert notification method
JP6776700B2 (ja) 災害用情報管理システム、および、災害用情報管理方法
JP2014067383A (ja) 行動監視通報システム
JP5202419B2 (ja) 警備システムおよび警備方法
JP2018156453A (ja) 画像提供システム、画像提供方法、および画像提供プログラム
JP2021111201A (ja) 顔認証システムおよび顔認証方法
JP4793025B2 (ja) 分散型画像処理装置
WO2023005662A1 (zh) 图像处理方法及装置、电子设备、程序产品及计算机可读存储介质
JP6499750B2 (ja) 顔照合システムおよび顔照合方法
JPWO2020115910A1 (ja) 情報処理システム、情報処理装置、情報処理方法、およびプログラム
JP2014016969A (ja) 顔照合システム
JP2018074317A (ja) 人物特定支援装置
JP2020191585A (ja) 情報処理装置、情報処理方法及びプログラム
CN112837471A (zh) 网约房安全监控方法和装置
CN113095110B (zh) 人脸数据动态入库的方法、装置、介质及电子设备
TWI781434B (zh) 門禁系統和門禁管理方法

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20201224

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231010

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231204

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240405

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240702