JP2020166590A - 監視システム、監視装置、監視方法および監視プログラム - Google Patents

Abstract

【課題】スタンドアロン照合システム導入済みの顧客が比較的安価にクラウド照合システムを導入できる監視システム、監視装置、監視方法および監視プログラムを提供する。【解決手段】撮像画像から予め登録された物体であることを特定し報知する監視システムＸにおいて、認証を要求する施設Ａから送信された第一画像情報に基づいて予め登録された物体であることを特定する認証処理を行い、認証結果を施設Ａに送信するセンター認証装置Ｃと、カメラＷ２にて撮像された第二画像情報に基づいて予め登録された物体であることを特定する認証処理を行う認証部と、物体の特徴をセンター認証装置Ｃとの間で送受信可能な通信部と、を有する施設認証装置Ｓと、を備えている。【選択図】図１

Description

本発明は、撮像画像から予め登録された物体を検出し報知する監視システム、監視装置、監視方法および監視プログラムに関する。

従来、カメラで撮像された撮像画像から抽出された物体の画像（例えば、人物の顔画像）や当該画像から取得できる特徴量である物体の特徴と、予め登録された物体の特徴情報とを照合して認証し、認証結果を報知する監視システムが存在する。この監視システムは、セキュリティ、防犯、警備、万引き防止、顧客認識などを目的として用いられている。認証においては、まず、撮像画像から物体を検出し、検出された物体の画像から物体の特徴を抽出する。そして、抽出された物体の特徴と、予め登録された物体の特徴情報とを照合して、両者の類似度が算出される。そして、類似度の大きさに基づき、カメラにて撮像された物体が予め登録された特定の物体であるか否かが認証される。

このような監視システムのシステム構成としては様々なものがある。例えば、特許文献１に記載の顔照合システムのように、カメラにて撮像された撮像画像から顔画像情報を生成する照合クライアントと、当該生成された顔画像情報と顔画像テンプレートに含まれる登録顔画像情報とを照合，認証する照合サーバーと、がネットワークを介して接続されている。この照合クライアントはカメラが設置されている店舗に設置され、照合サーバーはクラウドサーバーで構成されることが一般的である。以下、クラウドサーバーにて照合，認証を行うシステムを「クラウド照合システム」と称する。

一方、特許文献２に記載の監視カメラシステムのように、照合，認証処理が店舗内にて完結するシステムもある。この監視カメラシステムでは、カメラ内にて照合，認証まで行い、認証結果を別のコンピュータにて表示する。この照合，認証処理はカメラで行う場合に限らず、当該カメラが設置されている店舗に別途照合，認証処理を行うコンピュータが設置されている場合もある。以下、店舗内にて照合，認証までを完結できるシステムを「スタンドアロン照合システム」と称する。

特開２００７−２２６７４１号公報 特開２００７−１５８４２１号公報

一般的に、クラウド照合システムでは、各店舗の端末から、インターネットを介して送信された画像情報に基づきクラウドサーバーが画像テンプレートとの照合，認証を行っている。クラウド照合システムは、インターネットを介して接続されたクラウドサーバーに対して各店舗の端末から画像情報を送信し、認証結果を受信するため、レスポンスが遅い。一方、スタンドアロン照合システムは、ローカルサイトのＬＡＮ内で照合，認証した認証結果を自身のコンピュータのディスプレイやＬＡＮ内の外部装置(例えばタブレット端末)に表示するため、レスポンスが速い。このことから、スタンドアロン照合システムは、クラウド照合システムよりもレスポンスが速いものとなる。しかしながら、スタンドアロン照合システムは、画像テンプレートの記憶機能及び照合，認証機能を導入する関係上、クラウド照合システムよりも店舗に設置する設備としては導入コストが高い。

従来は、顔認証システムを店舗に導入しようとするとき、スタンドアロン照合システム又はクラウド照合システムの何れか一方を選択する必要があった。また、既存店舗にてスタンドアロン照合システムを導入したユーザーは、なるべく導入済のスタンドアロン照合システムを活用しながら、必要に応じ、クラウド照合システムも活用したい、という要望がある。その理由は、複数店舗間でそれぞれ保持されている顔画像テンプレートの共有化を図り、自店舗にて有する顔画像テンプレートだけでなく、他の店舗にて有する顔画像テンプレートでも照合し、認証の自由度を高めたいからである。スタンドアロン照合システムの各顔画像テンプレートのみを一元的に管理する方式も考えられるが、管理装置の導入コストが多大なものとなる。また、店舗の規模、照合頻度、報知の重要度合い等と導入コストの費用対効果を勘案すると、クラウド照合システムが望ましい場合も存在する。

そこで、スタンドアロン照合システム導入済みの顧客が比較的安価にクラウド照合システムを導入できる監視システム、監視装置、監視方法および監視プログラムが望まれている。

本発明に係る監視システムの特徴構成は、撮像画像から予め登録された物体であることを特定し報知する監視システムにおいて、認証を要求する施設から送信された第一画像情報に基づいて予め登録された物体であることを特定する認証処理を行い、認証結果を前記施設に送信するセンター認証装置と、カメラにて撮像された第二画像情報に基づいて予め登録された物体であることを特定する認証処理を行う認証部と、物体の特徴を前記センター認証装置との間で送受信可能な通信部と、を有する施設認証装置と、を備えた点にある。

本発明に係る監視装置の特徴構成は、カメラにて撮像された画像情報から予め登録された物体であることを特定し報知する施設に設置された監視装置において、前記画像情報に基づいて予め登録された物体であることを特定する認証処理を行う認証部と、前記画像情報に基づいて予め登録された物体であることを特定する認証処理を行うことが可能なセンター認証装置に対して、物体の特徴を送受信可能な通信部と、を備えた点にある。

本発明に係る監視方法の特徴構成は、撮像画像から予め登録された物体であることを特定し報知する監視方法において、認証を要求する施設から送信された第一画像情報に基づいて予め登録された物体であることを特定する認証処理を行い、認証結果を前記施設に送信するセンター認証ステップと、カメラにて撮像された第二画像情報に基づいて予め登録された物体であることを特定する認証処理と、物体の特徴を前記センター認証ステップとの間で送受信する送受信処理と、を有する施設認証ステップと、を備えた点にある。

本発明に係る監視プログラムの特徴構成は、撮像画像から予め登録された物体であることを特定し報知する処理をコンピュータに実行させるための監視プログラムにおいて、認証を要求する施設から送信された第一画像情報に基づいて予め登録された物体であることを特定する認証処理を行い、認証結果を前記施設に送信するセンター認証処理と、カメラにて撮像された第二画像情報に基づいて予め登録された物体であることを特定する認証処理と、物体の特徴を前記センター認証処理との間で送受信する送受信処理と、を有する施設認証処理と、を備えた点にある。

本構成又は本方法では、センター認証装置（上述したクラウド照合システムのサーバー）と施設認証装置（上述したスタンドアロン照合システムのサーバー）とを、施設認証装置に設けた通信部を介して通信接続している。そして、施設認証装置での認証に用いることが可能な物体の特徴（特徴情報）を、センター認証装置との間で送受信可能に構成している。つまり、センター認証装置には、各施設で登録されている物体の特徴が集約されるため、施設認証装置だけでは認証できなかった物体であってもセンター認証装置に記憶された特徴情報を用いて認証できる。また、ある施設認証装置での認証に用いられる特徴情報は、センター認証装置に送信されることで共有化され、当該特徴情報は、センター認証装置を介して他の施設認証装置で受信されることで、他の施設認証装置でも用いることができる。

しかも、本構成又は本方法では、施設認証装置に送受信用の通信部（コネクタ）を設けるだけで良く、非常に安価に導入できる。このように、スタンドアロン照合システム導入済みの顧客が比較的安価にクラウド照合システムを導入できる監視システム、監視装置、監視方法および監視プログラムを提供できる。

他の特徴構成は、前記施設認証装置は、前記第二画像情報に基づいて前記認証処理を行うと共に、所定の条件を満たせば前記第二画像情報又は前記第二画像情報から抽出された物体の特徴を前記センター認証装置に送信し、前記センター認証装置は、前記第二画像情報又は前記第二画像情報から抽出された物体の特徴に基づいて前記認証処理を行う点にある。

本構成では、施設認証装置で認証処理を行うだけでなく、センター認証装置でも認証処理を行う２段階認証が可能となるので、施設認証装置だけでは認証できなかった物体であってもセンター認証装置に記憶された特徴情報を用いて認証できる。また、センター認証装置で予め登録された物体であると特定された場合、事前に設定しておくことにより、センター認証装置と接続されている他の施設認証装置に対しても認証結果を送信し、他の施設（例えば近隣の店舗）においてもアラート通知することができる。

他の特徴構成は、前記所定の条件とは、前記認証部において前記予め登録された物体であることを特定できなかったときである点にある。

本構成では、監視対象が施設認証装置で特徴情報として登録されていない物体であれば、センター認証装置で照合される。その結果、登録された特徴情報が少ない施設であっても、センター認証装置を用いて認証できる。つまり、施設認証装置において認証可能な監視対象数の範囲を拡げることができる。

他の特徴構成は、前記センター認証装置は、前記認証処理を行うための特徴情報を記憶したセンター側記憶部を有しており、前記施設認証装置は、前記認証処理を行うための特徴情報を記憶した施設側記憶部を有している点にある。

本構成のように、センター認証装置及び施設認証装置が夫々、センター側記憶部及び施設側記憶部を有していれば、認証を行う度にセンター認証装置と施設認証装置との間で特徴情報を送受信する必要がなく、従来のように夫々が独立して設けられていた場合と比較しても演算速度が低下することがない。

他の特徴構成は、前記センター側記憶部の前記特徴情報と前記施設側記憶部の前記特徴情報とを比較する比較部をさらに備えた点にある。

本構成のように、センター側記憶部に記憶された特徴情報と施設側記憶部に記憶された特徴情報とを比較する比較部を設ければ、重複していない特徴情報を抽出することが可能となり、記憶容量を節約することができる。

他の特徴構成は、前記通信部は、前記比較部による比較の結果、合致しない前記施設側記憶部の前記特徴情報を前記センター認証装置に対して送信する点にある。

本構成のように、センター記憶部に記憶された特徴情報と合致しない施設側記憶部に記憶された特徴情報をセンター認証装置に送信すれば、各施設で登録されている物体の特徴を効率的に集約できる。

他の特徴構成は、前記センター側記憶部は、前記通信部により送信された前記施設側記憶部の前記特徴情報と当該特徴情報を取得した施設を示す施設情報とを対応付けて記憶しており、前記センター認証装置は、複数の施設から送信された前記特徴情報を比較する指示を受け付けたとき、相異なる前記特徴情報を当該特徴情報が記憶されていない施設に送信する点にある。

本構成では、複数の施設間で特徴情報が共有化され、特徴情報の母数を効率的に増やすことができる。

他の特徴構成は、前記施設認証装置が複数あり、夫々の前記施設認証装置が個別に前記施設側記憶部を有しており、複数の前記施設認証装置は、夫々の前記施設側記憶部の前記特徴情報を、前記センター側記憶部を介して共有する点にある。

本構成のように、複数の施設間における特徴情報をセンター側記憶部を介して共有していれば、ある施設認証装置で新規登録又は追加登録された特徴情報を、他の施設認証装置にも登録することができる。その結果、同一業者が運営する施設において、複数の施設間で認証用に登録されている物体の特徴を共有し、何れの施設においても認証が可能となる。

他の特徴構成は、前記施設認証装置において、前記特徴情報が新規に登録されたとき、前記比較部による比較の結果、新規に登録された前記特徴情報に関連する前記特徴情報が前記センター側記憶部に記憶されていた場合には、前記通信部が関連する前記特徴情報を前記センター認証装置から受信し、前記施設側記憶部に記憶する点にある。

本構成によれば、ある施設認証装置で新規登録された物体があれば、センター側記憶部を介してセンター側記憶部に記憶された特徴情報として共有化されている他の施設認証装置の特徴情報を用いて、同一の物体に対する特徴情報の母数を増加（追加登録）させることができる。

他の特徴構成は、前記施設側記憶部の前記特徴情報には、当該特徴情報を取得した施設を示す施設情報が紐付けられており、前記施設認証装置は、前記認証部により前記第二画像情報に含まれる物体が前記特徴情報に含まれる物体であると認証されたとき、前記施設情報を出力する点にある。

本構成のように監視対象が認証されたときに施設情報を合わせて出力すれば、ある施設認証装置の監視員は、他の施設に出現した監視対象が、自身の施設に出現したことを把握することができる。その結果、広域に監視対象を監視することができる。また、取得した施設情報を各施設で改めて入力する必要がなく、利便性が高い。さらに、この施設情報を利用して適切な対処（例えば監視対象が登録されている施設に対しての問い合わせ等）を行うことができる。

他の特徴構成は、前記物体は人物の顔である点にある。

本構成のように、物体が人物の顔であれば、商業施設等での万引き防止や顧客認識などを目的として上記監視システムを利用することができる。

他の特徴構成は、前記物体は車両のナンバープレートである点にある。

本構成のように、物体が車両のナンバープレートであれば、業務施設等でのＶＩＰ対応やセキュリティなどを目的として上記監視システムを利用することができる。

監視システムの全体構成を示す概略図である。 監視システムのブロック図である。 クラウドサーバー及び管理用サーバーにおいて、登録顔データのやり取りを示す概略図である。 配信管理装置の機能を説明する処理フロー図である。 スタンドアロン照合システムの報知に係る表示画面例である。 スタンドアロン照合システムの新規登録に係る表示画面例である。 スタンドアロン照合システムの処理フロー図である。 スタンドアロン照合システムにおける登録処理フロー図である。

以下に、本発明に係る監視システム、監視装置、監視方法および監視プログラムの実施形態について、図面に基づいて説明する。本実施形態では、監視システムの一例として、スーパー等の店舗（施設の一例）で用いられる監視システムＸとして説明する。ただし、以下の実施形態に限定されることなく、その要旨を逸脱しない範囲内で種々の変形が可能である。

図１に示すように、本実施形態における監視システムＸは、クラウド照合システムＸ１とスタンドアロン照合システムＸ２とを備えている。この監視システムＸは、クラウド照合システムＸ１及びスタンドアロン照合システムＸ２の何れか又は両方を、ユーザーが選択的に使用可能に構成されている。以下において、同一の事業者（ユーザー）が店舗Ａ及び店舗Ｂを運営しており、クラウド照合システムＸ１が店舗Ａに導入され、スタンドアロン照合システムＸ２が店舗Ｂに導入されるケースについて説明する。なお、図１では、店舗Ａを１つ、店舗Ｂを２つとして図示しているが、店舗Ａや店舗Ｂは、１つであっても良いし、複数あっても良い。

クラウド照合システムＸ１は、店舗Ａ（「認証を要求する施設」の一例）に設置された１又は複数の第一カメラＷ１で撮像された人物（物体の一例）の動画データ（第一画像情報の一例）に含まれる人物の顔画像（第一画像情報の一例）又は人物を含む全景画像（第一画像情報の一例）（以下、「第一画像情報」と称する）に基づいて、クラウドサーバーＣ（センター認証装置の一例）にて照合，認証を行う認証処理を実行し、認証結果を店舗Ａに送信する（センター認証ステップの一例、センター認証処理の一例）。店舗Ａは、第一カメラＷ１で撮像された人物が映っている第一画像情報を、インターネットを介してクラウドサーバーＣに送信する。そして、第一画像情報を受信したクラウドサーバーＣは、人物の顔画像を検出し、検出された人物の顔画像の特徴を抽出し、抽出された人物の顔画像の特徴とセンター側の登録顔データ（特徴情報の一例）とを照合し、予め登録された人物であるか否か認証して、予め登録された人物を特定する。そして、クラウドサーバーＣは、認証結果を、店舗Ａの店員（ユーザー）が携帯するタブレット端末やスマートフォン、店舗Ａの所定場所に設置されたパソコンやロボット等（以下、「表示装置Ｋ」と称する）に送信する。これにより、店員が表示装置Ｋで要注意人物（万引き犯等）を確認できるものである。

クラウドサーバーＣは、センター側の登録顔データに整合する人物であると特定された要注意人物の顔画像及び顔の特徴量を追加登録したり、未登録の要注意人物の顔画像及び顔の特徴量を新規登録したりする機能を有している。ここで、「登録顔データ」とは、予め要注意人物として登録された人物の顔画像及び顔の特徴量である。「特徴量」とは、顔の輪郭、色合い及び表面形状等の特徴情報を含むデータのことである。「整合する」とは、例えば、撮像された人物の顔の特徴量とセンター側の登録顔データに含まれる登録された顔の特徴量とを照合して類似度を算出し、当該類似度が所定値以上となる場合のことである。

スタンドアロン照合システムＸ２は、店舗Ｂに設置された１又は複数の第二カメラＷ２で撮像された動画データ（第二画像情報の一例）に含まれる人物の顔画像（第二画像情報の一例）又は人物を含む全景画像（第二画像情報の一例）（以下、「第二画像情報」と称する）に基づいて、店舗Ｂの管理室等に設置された管理用サーバーＳ（施設認証装置の一例、監視装置の一例）にて照合，認証を行い、予め登録された人物を特定する認証処理を実行する（施設認証ステップの一例、施設認証処理の一例）。スタンドアロン照合システムＸ２は、店舗Ｂに設置された第二カメラＷ２で撮像された動画データがＬＡＮ等のローカルネットワークを介して管理用サーバーＳに送信され、管理用サーバーＳが、検出された人物の顔画像の特徴を抽出し、抽出された人物の顔画像の特徴と施設側の登録顔データ（特徴情報の一例）とを照合し、予め登録された人物であるか否か認証して、予め登録された人物を特定する。これにより、監視員（ユーザー）が管理用サーバーＳで、予め登録された人物である要注意人物（万引き犯等）を確認できるものである。この管理用サーバーＳは、施設側の登録顔データに整合する人物であると特定された要注意人物の顔画像及び顔の特徴量を追加登録したり、未登録の要注意人物の顔画像及び顔の特徴量を新規登録したりする機能を有している。以下、第一画像情報や第二画像情報から抽出した人物の顔画像及び／又は顔の特徴量を「人物の特徴」として説明する。ここで、「人物の特徴」は、管理用サーバーＳ又はクラウドサーバーＣにて登録されることにより、登録顔データとなるため、「人物の特徴」とは、カメラＷ１，Ｗ２でリアルタイムに撮像される画像情報だけでなく、登録顔データも含む広義の用語である。

このように、クラウド照合システムＸ１は、インターネットを介して接続されたクラウドサーバーＣに対して各店舗Ａの端末から第一画像情報を送信し、認証結果を受信するため、レスポンスが遅い。一方、スタンドアロン照合システムＸ２は、店舗内ＬＡＮを使用し、管理用サーバーＳで照合，認証した認証結果を管理用サーバーＳに表示するため、レスポンスが速い。このことから、スタンドアロン照合システムＸ２は、クラウド照合システムＸ１よりもレスポンスが速いものとなる。しかしながら、スタンドアロン照合システムＸ２は、施設側の登録顔データの記憶機能及び照合，認証機能を導入する関係上、クラウド照合システムＸ１よりも導入コストが高いものとなっている。そこで、詳細は後述するが、本実施形態では、管理用サーバーＳにクラウドコネクタ４１（通信部の一例）を設け、管理用サーバーＳで認証処理を行うだけでなく、クラウドサーバーＣでも認証処理を行う２段階認証を可能とすると共に、各店舗間で施設側の登録顔データの共有化を図ることとしている。

本実施形態におけるカメラＷ１，Ｗ２は、ＣＣＤやＣＭＯＳ等の撮像素子を内蔵した可視光カメラである。カメラＷ１，Ｗ２は、店舗Ａ，Ｂの入口，出口，レジ等に所定の画角で設置されており、人物を撮像して動画データを取得する。この動画データには、撮影日時及び撮影したカメラＷ１，Ｗ２の属性情報（ＩＤ等）も含まれている。

図２に示すように、クラウドサーバーＣは、ＣＰＵやメモリを中核とするコンピュータで構成されており、センター通信部１１とセンター側記憶部１２とセンター側制御部２と比較部３とを備えている。クラウドサーバーＣと情報のやり取りを行う店舗Ａは、第一カメラＷ１と、タブレット端末やスマートフォン等で構成される表示装置Ｋと、を備えている。

センター通信部１１は、図１に示す店舗Ａ（クラウド利用施設）に設置された第一カメラＷ１が撮像した人物の映っている第一画像情報を、インターネットを介して受信するためのＷｅｂインターフェースである。センター通信部１１で受信する第二画像情報は、第一カメラＷ１からリアルタイムで送信される動画データ、又は、表示装置Ｋで検出された動画データに含まれる人物の顔画像又は人物を含む全景画像である。また、センター通信部１１は、後述するセンター側制御部２のセンター側認証部２２における認証結果を、インターネットを介して表示装置Ｋに送信するためのＷｅｂインターフェースである。

センター側記憶部１２は、ＨＤＤ等で構成されるハードウェアで構成されており、センター側の登録顔データと各種プログラム等が記憶されている。このセンター側の登録顔データには、登録顔データが取得された施設を示す施設情報（店舗の名称，カメラＷのＩＤ等）や撮影日時が紐付けられている。詳細は後述するが、センター側の登録顔データは、予め登録された要注意人物の特徴だけでなく、施設側の登録顔データに含まれる要注意人物の特徴も共有している。つまり、センター側記憶部１２は、施設側の登録顔データに含まれる要注意人物の特徴をセンター側の登録顔データとして記憶している。

センター側制御部２は、センター側検出部２１とセンター側認証部２２とセンター側登録部２３とを有している。これらの機能部は、センター側記憶部１２からメモリに一時的に読み出されたプログラムに基づき、ＣＰＵ等の制御回路によって実行される。

センター側検出部２１は、第一画像情報に含まれる人物の顔領域を検出する処理を実行する。例えば、店舗Ａから送信された人物の顔画像を含む静止画データ（第一画像情報）がセンター通信部１１に送信され、第一カメラＷ１の属性情報（ＩＤ等）や撮像日時等を静止画データ上の座標と共にセンター側記憶部１２に記憶される。そして、センター側検出部２１は、所定のアルゴリズムによって、顔領域を検出する。なお、静止画データを店舗Ａからセンター通信部１１に送信する際、静止画データを所定のサイズに拡大縮小して正規化し、顔領域を含む静止画データのサムネイルを生成しても良いし、センター側検出部２１で検出された顔領域からサムネイルを生成しても良い。サムネイルとは、顔画像を一覧表示するために公知の圧縮方式で符号化圧縮された圧縮画像のことである。

センター側認証部２２は、登録顔データに対応する人物が第一画像情報に含まれているか否かを認証する処理を実行する。センター側認証部２２は、センター側検出部２１で検出された顔領域から人物の特徴として顔の特徴量を抽出し、当該顔の特徴量とセンター側の登録顔データとを照合し、類似度に基づいて人物を認証し、予め登録された人物を特定する認証処理を実行する（センター認証処理の一例、センター認証ステップの一例）。例えば、第一画像情報に含まれる顔の特徴量とセンター側の登録顔データに含まれる登録された顔の特徴量とを比較するテンプレートマッチング等により照合を行って類似度を算出し、当該類似度が所定値以上の場合に、センター側の登録顔データに該当する人物であると特定する。

センター側登録部２３は、センター側の登録顔データと整合する人物であると特定された要注意人物の特徴を追加登録したり、未登録の要注意人物の特徴を新規登録したりする。例えば、センター側登録部２３は、店舗Ａから送信されセンター側認証部２２で予め登録された人物であると特定された人物の特徴（第一画像情報）を追加登録し、センター側記憶部１２に記憶させる。また、センター側登録部２３は、店舗Ａから送信されセンター側認証部２２で予め登録された人物でないと特定された人物の特徴（第一画像情報）を新規登録し、センター側記憶部１２に記憶させる。このセンター側登録部２３は、店舗Ａの表示装置Ｋで所定の操作がなされたときに、店舗Ａから送信された人物の特徴を追加登録又は新規登録し、センター側記憶部１２に記憶させる。

比較部３は、センター側の登録顔データと施設側の登録顔データとを比較する。後述する配信管理装置Ｄｅが比較部３による比較処理をクラウドサーバーＣに要求し、クラウドサーバーＣから比較結果を配信管理装置Ｄｅに送信する（図３参照）。例えば、店舗ＢからクラウドサーバーＣに送信された施設側の登録顔データに関する人物が、センター側の登録顔データに関する人物と合致すると判定された場合、顔の正面度合いや画像の鮮明度を数値化した品質値（以下、「品質値」と称する）が所定値以上であれば、比較結果として追加登録に適しているという結果となる。一方、店舗ＢからクラウドサーバーＣに送信された施設側の登録顔データに関する人物が、センター側の登録顔データに関する人物と合致しないと判定された場合、比較結果としてセンター側の登録顔データとして新規に共有すべき（新規登録すべき）という判断となる。このように、センター側の登録顔データと施設側の登録顔データとを比較する比較部３を設ければ、重複していない登録顔データを抽出することが可能となり、センター側記憶部１２や後述する施設側記憶部４５の記憶容量を節約することができる。

配信管理装置Ｄｅは、同一事業者が運営する店舗Ａ，Ｂの統括本部等に設けられており、店舗Ｂの管理用サーバーＳが保有する施設側の登録顔データやクラウドサーバーＣが保有するセンター側の登録顔データの管理を行うサーバーである。この配信管理装置Ｄｅは、クラウドサーバーＣや管理用サーバーＳの登録顔データ等の各種記憶情報を管理者が閲覧できるモニター（不図示）を有している。配信管理装置Ｄｅは、管理者の人為操作又は自動により、施設側の登録顔データをセンター側の登録顔データに追加登録又は新規登録する旨の指示をクラウドサーバーＣに送信する（図３参照）。また、配信管理装置Ｄｅは、センター側の登録顔データを施設側の登録顔データに追加登録又は新規登録する旨の指示をクラウドサーバーＣに送信する（図３参照）。

また、図４に示すように、クラウドコネクタ４１は、配信管理装置Ｄｅにより、第１の店舗Ｂで取得された第１の施設側の登録顔データと第２の店舗Ｂで取得された第２の施設側の登録顔データとを比較する要求を受け付けたとき（＃２１）、第１の施設側の登録顔データと第２の施設側の登録顔データとを、後述するクラウドコネクタ４１及びセンター通信部１１を介して管理用サーバーＳから受信する（＃２２）。次いで、クラウドサーバーＣは、比較部３が第１の施設側の登録顔データと第２の施設側の登録顔データとを比較して、第２の施設側の登録顔データと合致しない第１の施設側の登録顔データを抽出し、比較結果を配信管理装置Ｄｅに送信する（＃２３）。そして、クラウドサーバーＣは、配信管理装置Ｄｅにより抽出された第１の施設側の登録顔データを第２の店舗Ｂに送信する指示を受け付けたとき（＃２４）、センター通信部１１及びクラウドコネクタ４１を介して、第２の施設側の登録顔データと合致しない第１の施設側の登録顔データを第２の店舗Ｂに送信する（＃２５）。つまり、クラウドサーバーＣは、第１の店舗Ｂの第１の施設側の登録顔データが第２の店舗Ｂに無ければ配信管理装置Ｄｅの要求に応じて第２の店舗Ｂに送信し、第１の店舗Ｂの第１の施設側の登録顔データが第２の店舗Ｂにあれば送信しない。換言すると、クラウドサーバーＣは、複数の店舗Ｂから送信された特徴情報を比較する指示を受け付けたとき、相異なる前記特徴情報を当該特徴情報が記憶されていない店舗Ｂに送信する。その結果、複数の店舗Ｂ間で認証用に登録されている施設側の登録顔データを共有し、何れの店舗Ｂ間においても認証が可能となる。

図２に示すように、管理用サーバーＳは、ＣＰＵやメモリを中核とするコンピュータで構成されており、クラウドコネクタ４１（通信部の一例）と画像受信部４２と操作部４３と表示部４４と施設側記憶部４５と施設側制御部５とを備えている。

クラウドコネクタ４１は、クラウドサーバーＣとインターネットを介して各種情報を送受信するためのＷｅｂインターフェースである。クラウドコネクタ４１は、管理者用ログイン等により、管理用サーバーＳとクラウドサーバーＣとの間で第二画像情報から抽出した人物の特徴又は施設側の登録顔データ及びセンター側の登録顔データを送受信可能に構成されている（送受信処理の一例、施設認証ステップの一例、施設認証処理の一例）。クラウドコネクタ４１は、第二画像情報から抽出した人物の特徴（物の顔画像や顔の特徴量）、人物の特徴を含む全景画像、又は施設側の登録顔データを送信し、センター側の登録顔データを受信可能に構成されている。また、クラウドコネクタ４１は、第二画像情報又は第二画像情報から抽出した人物の特徴を送信し、センター側認証部２２での認証結果を受信可能に構成されている。

本実施形態におけるクラウドコネクタ４１は、下記の（１）〜（４）の機能を有している。（１）は、管理用サーバーＳにある施設側の登録顔データをクラウドサーバーＣのセンター側記憶部１２に記憶された特徴情報に新規登録する機能、（２）は、管理用サーバーＳにある施設側の登録顔データをクラウドサーバーＣのセンター側記憶部１２に記憶された特徴情報に追加登録する機能、（３）は、クラウドサーバーＣにあるセンター側記憶部１２に記憶された登録顔データを管理用サーバーＳの施設側記憶部４５に記憶された特徴情報に新規登録する機能、（４）は、クラウドサーバーＣにあるセンター側の登録顔データを管理用サーバーＳの施設側記憶部４５に記憶された特徴情報に追加登録する機能を仲介する。つまり、上述した配信管理装置Ｄｅが施設側の登録顔データをセンター側の登録顔データに追加登録又は新規登録する旨の指示をクラウドサーバーＣに送信する場合は、（１）〜（２）に該当する（図３も参照）。また、配信管理装置Ｄｅがセンター側の登録顔データを施設側の登録顔データに追加登録又は新規登録する旨の指示をクラウドサーバーＣに送信する場合は、（３）〜（４）に該当する（図３も参照）。

（１）の機能では、比較部３による比較の結果、センター側の登録顔データに関する人物と合致しない人物に対応する施設側の登録顔データをクラウドコネクタ４１がクラウドサーバーＣに送信し、センター側記憶部１２に記憶させる。つまり、配信管理装置Ｄｅは、クラウドサーバーＣの比較部３から取得した比較結果に基づいて新規登録すべきと判定し、センター側登録部２３に対して、センター側の登録顔データに関する人物と合致しない人物に対応する施設側の登録顔データを、新規登録させる信号を送信する。このように、センター側の登録顔データに関する人物と合致しない人物に対応する施設側の登録顔データをクラウドサーバーＣに送信すれば、クラウドサーバーＣで新規登録される人物の母数を増加させることができる。また、店舗間で共有する登録顔データの蓄積が可能となる。

（２）の機能では、比較部３による比較の結果、センター側の登録顔データに関する人物と合致する人物に対応する施設側の登録顔データが存在し、且つ品質値が所定値以上であれば、クラウドコネクタ４１が施設側の登録顔データをクラウドサーバーＣに送信し、センター側記憶部１２に記憶させる。つまり、配信管理装置Ｄｅは、クラウドサーバーＣの比較部３から取得した比較結果に基づいて追加登録に適していると判定し、センター側登録部２３に対して、センター側の登録顔データに関する人物と合致する人物に対応する施設側の登録顔データを追加登録させる信号を送信する。このように、センター側の登録顔データと合致する人物に対応する施設側の登録顔データをクラウドサーバーＣに送信すれば、クラウドサーバーＣで追加登録される人物の登録顔データの母数を増加させることができる。また、店舗間で共有する登録顔データの蓄積が可能となる。なお、品質値が所定値以上でない施設側の登録顔データであっても、同一人物に関する登録顔データのうち、センター側の登録顔データと合致しない施設側の登録顔データを全てクラウドサーバーＣに送信しても良い。同一人物に関する登録顔データを集約することで、データの安全性、信頼性を高めることが可能となる。

（３）の機能では、比較部３による比較の結果、施設側の登録顔データに関する人物と合致しない人物に対応するセンター側の登録顔データをクラウドコネクタ４１がクラウドサーバーＣから受信し、施設側記憶部４５に記憶させる。つまり、配信管理装置Ｄｅは、クラウドサーバーＣの比較部３から取得した比較結果に基づいて新規登録すべきと判定し、施設側登録部５５に対して、施設側の登録顔データに関する人物と合致しない人物に対応するセンター側の登録顔データを、新規登録させる信号を送信する。このように、施設側の登録顔データに関する人物と合致しない人物に対応するセンター側の登録顔データを管理用サーバーＳに送信すれば、管理用サーバーＳで新規登録される人物の母数を増加させることができる。その結果、複数の店舗間で認証用に登録されている登録顔データを共有し、何れの店舗においても認証が可能となる。

（４）の機能では、比較部３による比較の結果、施設側の登録顔データに関する人物と合致する人物に対応するセンター側の登録顔データが存在し、且つ品質値が所定値以上であれば、クラウドコネクタ４１がセンター側の登録顔データをクラウドサーバーＣから受信し、施設側記憶部４５に記憶させる。つまり、配信管理装置Ｄｅは、クラウドサーバーＣの比較部３から取得した比較結果に基づいて追加登録に適していると判定し、施設側登録部５５に対して、施設側の登録顔データに関する人物と合致する人物に対応するセンター側の登録顔データを追加登録させる信号を送信する。このように、施設側の登録顔データに関する人物と合致する人物に対応するセンター側の登録顔データを管理用サーバーＳに送信すれば、管理用サーバーＳで追加登録される人物の登録顔データの母数を増加させることができる。その結果、複数の店舗間で認証用に登録されている登録顔データを共有し、何れの店舗においても認証が可能となる。なお、品質値が所定値以上でないセンター側の登録顔データであっても、同一人物に関する登録顔データのうち、施設側の登録顔データと合致しないセンター側の登録顔データを全て管理用サーバーＳに送信しても良い。

画像受信部４２は、第二カメラＷ２が撮像した動画データを有線ＬＡＮ又は無線ＬＡＮ等で構成されるネットワークを介して受信するためのインターフェースである。画像受信部４２は、上述したクラウドコネクタ４１のＷｅｂインターフェースと同一であっても良いし、別に設けても良い。

操作部４３は、マウス、キーボード、タッチパネル等で構成されており、表示部４４に表示された画面に対する監視員の操作を受け付ける。例えば、マウス操作によりポインタを表示画面の所定位置に移動させ、マウスをその位置でクリックすることで所定の操作が実行される。

表示部４４は、コンピュータのディスプレイで構成されており、動画データをリアルタイムに表示し、併せて動画データに含まれる人物の顔画像を示すサムネイルを表示する。このサムネイルには、カメラＷの属性情報や撮影日時等が紐づけられている。

一例として図５に示すように、表示部４４は、画面左上側の枠内（ライブビューアー）に第二カメラＷ２で撮像された動画データをリアルタイムに表示すると共に、動画データから検出された人物の顔画像のサムネイルを画面下側の枠内（タイムライン）に一列に表示している。また、表示部４４は、画面右上側の枠内（アラートモニター）に動画データから検出された人物が施設側の登録顔データに関する人物と合致すると認証された場合に、その人物の情報を一覧表示している。さらに、画面右中ほどの枠内（アプリケーションの起動）に各種アプリケーションの一覧を表示している。

図２に示すように、施設側記憶部４５は、ＲＡＭやＨＤＤといったハードウェアで構成されており、施設側の登録顔データと、登録顔データが取得された施設を示す施設情報（店舗の名称，カメラＷのＩＤ等）や撮影日時が紐づけられた、動画データ，顔画像，顔の特徴量及びサムネイルと、各種プログラム等とが記憶されている。施設側記憶部４５は、短期保存モードとして、全動画データを短期間（例えば２週間）分保存しており、さらに長期保存モードとして、人物が撮像されていないデータを除いた動画データを長期間（例えば２ヶ月から２週間を引いた期間）分保存している。この施設側記憶部４５に記憶される動画データは、公知の圧縮形式で符号化圧縮されたものであっても良い。

施設側制御部５は、施設側検出部５１とサムネイル生成部５２と施設側認証部５３（認証部の一例）と表示制御部５４と施設側登録部５５とを有している。これらの機能部は、施設側記憶部４５からメモリに一時的に読み出されたプログラムに基づき、ＣＰＵ等の制御回路によって実行される。

施設側検出部５１は、第二画像情報に含まれる人物の顔領域を検出する処理を実行する。例えば、動画データに含まれる複数の静止画データ（第二画像情報）を順次メモリ上に展開し、人物の顔領域に相当するテンプレートを用いたテンプレートマッチング等を行うことで、顔領域を検出する。この静止画データは、第二カメラＷ２の属性情報（ＩＤ等）や撮像日時を静止画データ上の座標と共に施設側記憶部４５に記憶される。そして、施設側検出部５１は、人物の顔領域に相当するテンプレートを用いたテンプレートマッチング等を行うことで、顔領域を検出する。このとき、複数の静止画データが連続しており、該連続する複数の静止画データに同一人物が含まれている場合には、連続する１つの区間として特定される。また、動画データ上の人物が途中で消え、再度動画データに映っている場合には、原則として別々の区間として特定されるが、所定時間内（例えば１秒以内）であれば１つの区間として特定しても良い。

サムネイル生成部５２は、施設側検出部５１により動画データ上で検出された顔領域の画像データを所定のサイズに拡大縮小して正規化（例えば、縦１２０画素×横９０画素に圧縮）し、サムネイルを生成する。このサムネイルは、第二カメラＷ２の属性情報や撮像日時を静止画データ上の座標と共に施設側記憶部４５に記憶される。このとき、同一人物について複数のサムネイルがある場合、品質値の最も高いサムネイルが、表示サムネイル（以下、「表示サムネイル」と称する）として設定される。つまり、動画データ上に１区間として連続した顔画像の静止画データが複数あるときに、１区間が終了した時点（例えば、人物が動画データ上から消えた時点）で、複数の静止画データに基づいて表示サムネイルが設定される。この表示サムネイルの設定は、リアルタイムに表示される動画データとほぼ同時に実行されるため、監視員は、動画データと表示サムネイルとが連続したものとして認識することができる。

施設側認証部５３は、第二画像情報に含まれる静止画データに施設側の登録顔データの人物が映っているか否かを認証する処理を実行する。施設側認証部５３は、施設側検出部５１で検出された静止画データの顔領域から人物の特徴として顔の特徴量を抽出し、当該顔の特徴量（人物の特徴）と施設側の登録顔データに含まれる登録された顔の特徴量とを照合して類似度を算出し、当該類似度に基づいて人物を認証し、予め登録された人物を特定する認証処理を実行する（施設認証処理の一例、施設認証ステップの一例）。例えば、第二画像情報に含まれる顔の特徴量と、施設側の登録顔データに含まれる登録された顔の特徴量とを比較するテンプレートマッチング等により照合を行い、類似度が所定値以上の場合に、施設側の登録顔データに該当する人物であると認証（特定）する。

また、施設側認証部５３は、第二画像情報に基づいて認証処理を行うと共に、所定の条件を満たせば第二画像情報又は第二画像情報から抽出された人物の特徴をクラウドコネクタ４１を介してクラウドサーバーＣのセンター通信部１１に送信し、クラウドサーバーＣのセンター側認証部２２が第二画像情報又は第二画像情報から抽出された人物の特徴に基づいて認証処理を行う。そして、センター側認証部２２での認証結果がセンター通信部１１及びクラウドコネクタ４１を介して管理用サーバーＳに送信される。これにより、施設側認証部５３で認証処理を行うだけでなく、センター側認証部２２でも認証処理を行う２段階認証が可能となるので、施設側の登録顔データだけでは認証できなかった要注意人物であってもセンター側の登録顔データを用いて認証できる。また、クラウドサーバーＣで要注意人物であると特定された場合、事前に設定しておくことにより、クラウドサーバーＣと接続されている他の施設（例えば近隣の店舗）に対しても認証結果を送信し、他の施設においてもアラート通知することができる。

この所定の条件とは、施設側認証部５３の認証処理において、第二画像情報に含まれる顔の特徴量と施設側の登録顔データに含まれる登録された顔の特徴量との類似度が所定値未満であり、第二画像情報に含まれる人物が施設側の登録顔データに該当する人物であると認証されなかったときである。つまり、要注意人物が施設側の登録顔データとして登録されていない人物であれば、クラウドサーバーＣで照合される。その結果、施設側の登録顔データや登録人物が少ない店舗Ｂであっても、クラウドサーバーＣを用いて一定の認証精度を担保できる。つまり、管理用サーバーＳにおいて認証可能な監視対象数の範囲を拡げることができる。なお、所定の条件とは、第二画像情報に含まれる人物が施設側の登録顔データに該当する人物であると認証されたときでも、店舗Ｂの重要度が高い場合や、類似度が第一所定値（例えば８０％）以上第二所定値（例えば９０％）以下である場合等であっても良い。

表示制御部５４は、表示部４４に対する表示制御を実行する。表示制御部５４は、画像受信部４２を介して第二カメラＷ２から受信した動画データを、表示部４４にリアルタイムに表示させる（図５に示す表示部４４の画面左上側「ライブビューアー」参照）。このとき、施設側検出部５１で検出された顔領域を枠で囲む等により強調表示しても良い。本実施形態では、複数の第二カメラＷ２から受信した複数の動画データを、第二カメラＷ２の属性情報と共に表示部４４の同一画面上（図５に示す表示部４４の画面左上側「ライブビューアー」参照）に表示させている。これにより、監視員は、複数のカメラＷから取得した複数の動画データをまとめて閲覧することができる。

表示制御部５４は、施設側認証部５３で施設側の登録顔データに関する人物であると特定された顔画像を、当該人物が映っている動画データや登録顔データに含まれる登録顔画像と共に、表示部４４に表示させる（図５に示す表示部４４の画面右上側「アラートモニター」参照）。このとき、登録顔データに含まれる登録顔画像について、登録顔データを取得した施設の施設情報（店舗の名称，カメラＷのＩＤ等）が「アラートモニター」に表示（出力）されることが好ましい。このように、要注意人物が認証されたときに施設情報を合わせて出力すれば、ある店舗Ｂの監視員は、他の店舗に出現した要注意人物が、自身の店舗Ｂに出現したことを把握することができる。その結果、広域に要注意人物を監視することができる。また、取得した施設情報を各施設で改めて入力する必要がなく、利便性が高い。さらに、この施設情報を利用して適切な対処（例えば要注意人物が登録されている施設に対しての問い合わせ等）を行うことができる。

表示制御部５４は、各種設定が可能なアプリケーションのアイコンを一列に一覧表示して、表示部４４に表示させる（図５に示す表示部４４の画面右中ほど「アプリケーションの起動」参照）。また、表示制御部５４は、動画データに含まれる複数の人物の顔画像に基づいてサムネイル生成部５２で生成された複数の表示サムネイルを、表示部４４に一列に一覧表示させる（図５に示す表示部４４の画面下側「タイムライン」参照）。表示制御部５４は、表示部４４において一列に一覧表示された複数の表示サムネイルを、撮像時刻が新しい順に、夫々時系列で表示制御している。本実施形態における表示制御部５４は、画面の左から右に向かって時系列となるように、つまり左側が新しい撮像時刻の表示サムネイルとなるように表示制御している。図５に示す表示部４４の画面下側「タイムライン」では、表示サムネイルの下部に撮像日時等が記載されており、その更に下部にスクロールバーが設けられている。全ての表示サムネイルが画面上に収まらない場合、スクロールバーを操作することで、表示サムネイルを閲覧することができる。これにより、監視員は、動画データに連動した最新の表示サムネイルを確認することができる。

施設側登録部５５は、表示制御部５４によって表示制御された表示サムネイルが選択された場合、選択された表示サムネイルに対応する人物の特徴を、施設側の登録顔データとして登録するための登録処理を実行する。表示サムネイルの選択方法としては種々の形態が考えられる。例えば、マウスのポインタを選択したい表示サムネイルに移動させた後、マウスを左クリックしたり、キーボードの「Enter」キーを押下したりすることが考えられる。ここで、表示サムネイルに対応する人物の特徴とは、施設側認証部５３において動画データから抽出された顔画像及び顔の特徴量のことである。この表示サムネイルに対応する人物の特徴は、複数の顔画像及び顔の特徴量が存在するため、後述する登録用画面で登録する顔画像及び顔の特徴量を有するサムネイルを選択可能に構成されている。

この登録処理において、表示制御部５４は、登録用画面を表示部４４に表示させる。図６には、新規登録時における登録用画面の一例が示されている。登録用画面では、画面左上側に選択された表示サムネイルを表示しており、「もっと見る」ボタンをクリックした場合、表示サムネイル以外の動画データに含まれる人物を示す複数（本実施形態では９つ）のサムネイルが追加で表示される。また、登録用画面の画面左下側は、追加登録時に表示される部分であり、登録顔データに含まれる登録顔画像が表示可能に構成されている。

登録用画面の画面右側は、登録ＩＤ，名前，アクション，生年月日等の個人の属性が入力可能となっている。アクションについては、図５の「タイムライン」に表示された表示サムネイルを枠線で囲む色を指定することが可能である。つまり、表示部４４は、抽出した人物の特徴が登録顔データであると認証された人物を示す複数の表示サムネイルを、人物の属性に応じて異なる態様で夫々表示することが可能である。これによって、監視員は、緊急性の高い要注意人物を瞬時に把握可能となるため、当該要注意人物に声掛けなどを行うことができる。また、表示部４４は、抽出した人物の特徴が登録顔データであると認証された人物を示す表示サムネイルが色付き枠線（例えば、赤色枠線）で囲まれ、抽出した人物の特徴が登録顔データであると認証されなかった人物を示す表示サムネイルが枠線無し又は黒色枠線で囲まれた状態となり、夫々を異なる態様で表示している。これによって、監視員は、新規登録又は追加登録の何れが必要なのかを瞬時に判断できる。

そして、施設側登録部５５は、図６に示す表示部４４の画面右下側の「登録」ボタンが選択されれば、登録処理を実行する。このとき、画面左上側の「登録ウインドウ」に表示された複数のサムネイルのうち、登録顔データとして登録するサムネイルを選択可能に構成されていても良い。また、施設側登録部５５は、図６に示す表示部４４の画面左上側の「登録ウインドウ」に表示された複数のサムネイルのうち、登録顔データとして登録するサムネイルを選択した場合に登録処理を実行しても良い。

上述したように、本実施形態における複数の管理用サーバーＳは夫々、施設側記憶部４５を有しており、施設側の登録顔データを、センター側記憶部１２を介して共有している（図１〜図４参照）。つまり、管理用サーバーＳの施設側の登録顔データが、クラウドコネクタ４１を介してクラウドサーバーＣに送信され、比較部３による比較の結果に基づき、センター側登録部２３で追加登録又は新規登録され、センター側記憶部１２に記憶されている。その結果、ある管理用サーバーＳで新規登録又は追加登録された施設側の登録顔データを、クラウドサーバーＣ及びクラウドコネクタ４１を介して他の管理用サーバーＳにも登録することができる。これにより、同一の事業者が運営する店舗Ｂにおいて、複数の店舗Ｂ間で認証用に登録されている登録顔データを共有し、何れの店舗Ｂにおいても認証が可能となる。

図７には、本実施形態に係る監視システムＸにおけるスタンドアロン照合システムＸ２の制御フローが示されている。以下、同図を用いて、監視システムＸの制御方法について説明する。

まず、第二カメラＷ２が人物を撮像し、管理用サーバーＳは、撮像された人物に対応する第二画像情報を第二カメラＷ２から取得する（＃３１、取得処理）。次いで、管理用サーバーＳの施設側検出部５１は、第二画像情報に含まれる人物の顔領域を検出する（＃３２、検出処理）。次いで、施設側認証部５３は、施設側検出部５１で検出された顔領域から人物の特徴として顔の特徴量を抽出し、当該顔の特徴量と施設側の登録顔データに含まれる登録された顔の特徴量とを照合し、類似度に基づいて人物を認証する（特定する）認証処理を実行する（＃３３）。そして、施設側認証部５３は、第二画像情報に含まれる人物の特徴と登録顔データとの類似度が所定値（例えば８０％）以上の場合に、第二画像情報に含まれる人物が施設側の登録顔データに該当する人物であると特定する（＃３４Ｙｅｓ）。一方、第二画像情報に含まれる人物の特徴と施設側の登録顔データとの類似度が所定値未満の場合は、第二画像情報に含まれる人物が施設側の登録顔データに該当する人物であると特定されない（＃３４Ｎо）。

＃３４の判定の結果、第二画像情報に含まれる人物の特徴と施設側の登録顔データとの類似度が所定値以上の場合（＃３４Ｙｅｓ）、表示制御部５４は、施設側の登録顔データに関する人物であると認証された顔画像を、当該人物が映っている動画データや登録顔データに含まれる登録顔画像と共に、表示部４４に表示させる（＃３５、表示処理、図５に示す表示部４４の画面右上側「アラートモニター」参照）。

次いで、施設側登録部５５は、表示制御部５４によって表示制御された表示サムネイル（図５に示す表示部４４の画面下側「タイムライン」参照）が選択された場合、選択された表示サムネイルに対応する人物の特徴を、施設側の登録顔データとして登録処理（♯３７）を実行し終了する。

＃３４の判定の結果、第二画像情報に含まれる人物の特徴と登録顔データとの類似度が所定値未満の場合（＃３４Ｎｏ）、第二画像情報に基づいてクラウドサーバーＣのセンター側認証部２２に認証処理を実行させるか否かを判定する（＃３８）。なお、第二画像情報に含まれる人物の特徴と登録顔データとの類似度が所定値未満の場合には常にクラウドサーバーＣのセンター側認証部２２に認証処理を実行させても良いし、表示部４４にクラウドサーバーＣに問い合わせる操作ボタンを設けて、監視員による操作ボタンの選択によってクラウドサーバーＣのセンター側認証部２２に認証処理を実行させるか否かを判定しても良い。

＃３８の判定の結果、管理用サーバーＳに加えてクラウドサーバーＣにおいても認証処理を行う場合（＃３８Ｙｅｓ）、第二画像情報又は第二画像情報から抽出された人物の特徴をクラウドコネクタ４１を介してクラウドサーバーＣのセンター通信部１１に送信し、クラウドサーバーＣのセンター側認証部２２が第二画像情報又は第二画像情報から抽出された人物の特徴に基づいて認証処理を行う（＃３９）。そして、第二画像情報に含まれる人物の特徴とセンター側の登録顔データとの類似度が所定値以上の場合（＃３９Ｙｅｓ）、表示制御部５４は、センター側の登録顔データに関する人物であると特定された顔画像を、当該人物が映っている動画データや登録顔データに含まれる登録顔画像と共に、表示部４４に表示させる（＃４０、表示処理、図５に示す表示部４４の画面右上側「アラートモニター」参照）。このとき、センター側の登録顔データに含まれる登録顔画像について、当該登録顔データを取得した施設の施設情報（店舗の名称等）を「アラートモニター」に表示（出力）させる（＃４０）。これにより、自身の店舗Ｂ以外の店舗における登録顔データを用いて認証されたことが判別できると共に、要注意人物が入店した店舗を把握することで広域犯であることが判別できる。

＃３８の判定の結果、クラウドサーバーＣにおいて認証処理を行わない場合（＃３８Ｎｏ）、施設側登録部５５は、図５の「タイムライン」に表示された表示サムネイルが選択されたか否かを判定する（＃４１）。また、＃４０の処理の後、施設側登録部５５は、図５の「アラートモニター」に表示された自店舗以外の登録顔データに対応する表示サムネイルが選択されたか否かを判定する（＃４１）。表示サムネイルが選択された場合（＃４１Ｙｅｓ）、選択された表示サムネイルに対応する人物の特徴を、施設側の登録顔データとして新規登録するための登録処理（♯４２）を実行し終了する。

図８には、図７の＃３７（追加登録）又は＃４２（新規登録）における登録顔データの登録処理のサブルーチンが示されている。以下、図８を用いて、監視システムＸの登録処理について説明する。

図７の＃４２における新規登録処理（＃４３Ｙｅｓ）において、表示制御部５４は、図６に示すような登録用画面を表示部４４に表示させる。そして、施設側登録部５５は、図６に示す表示部４４の画面右側に所定の情報が入力され、画面右下側の「登録」ボタンが選択されれば、新規登録処理を実行する（＃４４）。次いで、新規登録された施設側の登録顔データがクラウドコネクタ４１及びセンター通信部１１を介してクラウドサーバーＣに送信され、比較部３がセンター側の登録顔データと施設側の登録顔データとを比較する（＃４５）。＃４５の比較の結果、店舗ＢからクラウドサーバーＣに送信された施設側の登録顔データに関する人物が、センター側の登録顔データに関する人物と合致する場合（＃４５Ｙｅｓ）、配信管理装置Ｄｅは、センター側の登録顔データを施設側の登録顔データとして追加登録するか否かを判定する（＃４６）。そして、センター側の登録顔データの品質値が所定値以上であれば（＃４６Ｙｅｓ）、施設側登録部５５は、クラウドコネクタ４１を介してセンター側の登録顔データをクラウドサーバーＣから受信して施設側の登録顔データに追加登録する（＃４７）。

図７の＃３７における追加登録処理（＃４３Ｎо）において、表示制御部５４は、図６に示すような登録用画面を表示部４４に表示させると共に、登録用画面の画面左下側に、施設側記憶部４５に記憶されている施設側の登録顔データの登録顔画像を表示させる。そして、施設側登録部５５は、図６に示す表示部４４の画面右側に所定の情報が入力され、画面右下側の「登録」ボタンが選択されれば、追加登録処理を実行する（＃４８）。

＃４５Ｎｏ，＃４７又は＃４８の処理が実行された後、新規登録又は追加登録された施設側の登録顔データがクラウドコネクタ４１及びセンター通信部１１を介してクラウドサーバーＣに送信され、比較部３が施設側の登録側データとセンター側の登録顔データとを比較する。この比較の結果に基づき、配信管理装置Ｄｅは、施設側の登録顔データをセンター側の登録顔データとして登録するか否かを判定する（＃４９）。

配信管理装置Ｄｅは、センター側の登録顔データに関する人物と合致しない人物に対応する施設側の登録顔データがあれば、新規登録すべきと判定（＃４９Ｙｅｓ）し、クラウドコネクタ４１及びセンター通信部１１を介して施設側の登録顔データをクラウドサーバーＣに送信し、センター側登録部２３がセンター側の登録顔データとして新規登録する（＃５０）。また、配信管理装置Ｄｅは、センター側の登録顔データに関する人物と合致する人物に対応する施設側の登録顔データが存在し、且つ品質値が所定値以上であれば、追加登録に適していると判定（＃４９Ｙｅｓ）し、クラウドコネクタ４１及びセンター通信部１１を介して施設側の登録顔データをクラウドサーバーＣに送信し、センター側登録部２３がセンター側の登録顔データとして追加登録する（＃５０）。

次いで、比較部３は、クラウドコネクタ４１及びセンター通信部１１を介して受信した他の店舗Ｂにおける施設側の登録顔データとセンター側の登録顔データとを比較する。この比較の結果に基づき、配信管理装置Ｄｅは、センター側の登録顔データを施設側の登録顔データとして登録するか否かを判定する（＃５１）。配信管理装置Ｄｅは、他の店舗Ｂの施設側の登録顔データに関する人物と合致しない人物に対応するセンター側の登録顔データがあれば新規登録すべきと判定（＃５１Ｙｅｓ）し、センター通信部１１及びクラウドコネクタ４１を介してセンター側の登録顔データを管理用サーバーＳで受信し、施設側登録部５５が施設側の登録顔データとして新規登録する（＃５２）。また、配信管理装置Ｄｅは、他の店舗Ｂの施設側の登録顔データに関する人物と合致する人物に対応するセンター側の登録顔データが存在し、且つ品質値が所定値以上であれば、追加登録に適していると判定（＃５１Ｙｅｓ）し、センター通信部１１及びクラウドコネクタ４１を介してセンター側の登録顔データを管理用サーバーＳで受信し、施設側登録部５５が施設側の登録顔データとして追加登録する（＃５２）。

特に、本実施形態では、１つの管理用サーバーＳで新規登録された登録顔データに関する人物が、センター側の登録顔データに関する人物と合致する場合（＃４５Ｙｅｓ）、施設側登録部５５は、センター通信部１１及びクラウドコネクタ４１を介してセンター側の登録顔データをクラウドサーバーＣから受信して施設側の登録顔データに追加登録している（＃４７）。つまり、比較部３の比較の結果、センター側の登録顔データとしてセンター側記憶部１２に記憶されている他の管理用サーバーＳにおける施設側の登録顔データと、上記１つの管理用サーバーＳにおける施設側の登録顔データと、を比較して同一人物であれば、当該同一人物に対する上記他の管理用サーバーＳの何れかにおける施設側の登録顔データを、センター通信部１１及びクラウドコネクタ４１を介して上記１つの管理用サーバーＳにおける施設側記憶部４５に記憶させる。換言すると、管理用サーバーＳにおいて、特徴情報が新規に登録されたとき、比較部３による比較の結果、新規に登録された特徴情報に関連する特徴情報がセンター側記憶部１２に記憶されていた場合には、クラウドコネクタ４１が関連する特徴情報をクラウドサーバーＣから受信し、施設側記憶部４５に記憶する。ここで、関連する特徴情報とは、新規に登録された特徴情報と類似する（類似度が所定値以上である）特徴情報のことを言う。よって、１つの管理用サーバーＳで新規登録された人物があれば、他の管理用サーバーＳにて登録されている施設側の登録顔データを用いて、同一人物に対する上記１つの管理用サーバーＳにおける施設側の登録顔データの母数を増加（追加登録）させることができる。

［その他の実施形態］
（１）上述した実施形態では、登録顔データとして要注意人物（万引き犯等）の顔の特徴として説明したが、ＶＩＰ等の重要人物の顔の特徴であっても良い。また。登録顔データは、顔画像及び顔の特徴量の少なくとも一方であっても良い。
（２）物体の特徴としては、顔の画像や顔の特徴量だけでなく、人物の姿（シルエット）、服の色・柄、眼鏡等の人物が有する属性のうち少なくとも１つを含むものであっても良い。また、物体を車体として、物体の特徴を、車体の形状、車両のナンバープレートの文字（地名、番地）等で構成しても良く、特に限定されない。

（３）クラウドサーバーＣのセンター側検出部２１を省略して、センター側検出部２１の機能を第一カメラＷ１や表示装置Ｋに備えても良い。この場合、店舗ＡからクラウドサーバーＣに送信される人物の顔画像等は、検出された顔領域のみを含む顔画像となる。これにより、送信されるデータ量を小さくすることができる。
（４）上述した実施形態では、配信管理装置Ｄｅにより、クラウドサーバーＣに新規登録又は追加登録の信号を送信する構成としたが、配信管理装置Ｄｅの機能をクラウドサーバーＣに受け持たせても良い。
（５）比較部３は、クラウドサーバーＣとは別の配信管理装置Ｄｅに備えられていても良い。また、比較部３を省略して、複数の管理用サーバーＳとクラウドサーバーＣとの間で登録顔データを自動的に共有しても良い。

（６）クラウドコネクタ４１は、スタンドアロン照合システムＸ２で認証された要注意人物に関する他の店舗での履歴参照をクラウド照合システムＸ１に要求する等の様々な用途に用いることができる。
（７）同一の店舗にクラウド照合システムＸ１及びスタンドアロン照合システムＸ２の両方を導入し、用途ごとにクラウド照合システムＸ１又はスタンドアロン照合システムＸ２を切換えても良い。例えば、職員入退用（第１用途）のカメラＷで撮像された場合、スタンドアロン照合システムＸ２を使用し、来訪者用（第２用途）のカメラＷで撮像された場合、クラウド照合システムＸ１を使用しても良いし、その逆であっても良い。これによって、レスポンスが速いスタンドアロン照合システムＸ２でのローカル認証と、レスポンスが遅いが安価なクラウド照合システムＸ１でのクラウド認証とを併用できる。その結果、スタンドアロン照合システムＸ２の負荷を軽減でき、レスポンスをより高めることができる。
（８）上述した実施形態では、登録顔データが取得された施設を示す施設情報等が紐付けられていると説明したが、施設情報に加えて要注意人物の愛称や要注意人物への対処方法等の様々なメタ情報が登録顔データに紐付けられていても良い。

本発明は、撮像画像から予め登録された物体を検出し報知する監視システム、監視装置、監視方法および監視プログラムに利用可能である。

３ ：比較部
１２ ：センター側記憶部
４１ ：クラウドコネクタ（通信部）
４５ ：施設側記憶部
５３ ：施設側認証部（認証部）
５４ ：表示制御部
Ａ ：店舗（施設）
Ｂ ：店舗（施設）
Ｃ ：クラウドサーバー（センター認証装置）
Ｓ ：管理用サーバー（監視装置）
Ｗ２ ：第二カメラ（カメラ）
Ｘ ：監視システム

Claims (15)

1. 撮像画像から予め登録された物体であることを特定し報知する監視システムにおいて、
   認証を要求する施設から送信された第一画像情報に基づいて予め登録された物体であることを特定する認証処理を行い、認証結果を前記施設に送信するセンター認証装置と、
   カメラにて撮像された第二画像情報に基づいて予め登録された物体であることを特定する認証処理を行う認証部と、物体の特徴を前記センター認証装置との間で送受信可能な通信部と、を有する施設認証装置と、
   を備えたことを特徴とする監視システム。
2. 前記施設認証装置は、前記第二画像情報に基づいて認証処理を行うと共に、所定の条件を満たせば前記第二画像情報又は前記第二画像情報から抽出された物体の特徴を前記センター認証装置に送信し、
   前記センター認証装置は、前記第二画像情報又は前記第二画像情報から抽出された物体の特徴に基づいて認証処理を行う
   ことを特徴とする請求項１に記載の監視システム。
3. 前記所定の条件とは、前記認証部において前記予め登録された物体であることを特定できなかったときである
   ことを特徴とする請求項２に記載の監視システム。
4. 前記センター認証装置は、前記認証処理を行うための特徴情報を記憶したセンター側記憶部を有しており、
   前記施設認証装置は、前記認証処理を行うための特徴情報を記憶した施設側記憶部を有している
   ことを特徴とする請求項１〜３の何れか一項に記載の監視システム。
5. 前記センター側記憶部の前記特徴情報と前記施設側記憶部の前記特徴情報とを比較する比較部をさらに備えた
   ことを特徴とする請求項４に記載の監視システム。
6. 前記通信部は、前記比較部による比較の結果、合致しない前記施設側記憶部の前記特徴情報を前記センター認証装置に対して送信する
   ことを特徴とする請求項５に記載の監視システム。
7. 前記センター側記憶部は、前記通信部により送信された前記施設側記憶部の前記特徴情報と当該特徴情報を取得した施設を示す施設情報とを対応付けて記憶しており、
   前記センター認証装置は、複数の施設から送信された前記特徴情報を比較する指示を受け付けたとき、相異なる前記特徴情報を当該特徴情報が記憶されていない施設に送信する請求項６に記載の監視システム。
8. 前記施設認証装置が複数あり、夫々の前記施設認証装置が個別に前記施設側記憶部を有しており、
   複数の前記施設認証装置は、夫々の前記施設側記憶部の前記特徴情報を、前記センター側記憶部を介して共有する
   ことを特徴とする請求項５〜７の何れか一項に記載の監視システム。
9. 前記施設認証装置において、前記特徴情報が新規に登録されたとき、
   前記比較部による比較の結果、新規に登録された前記特徴情報に関連する前記特徴情報が前記センター側記憶部に記憶されていた場合には、前記通信部が関連する前記特徴情報を前記センター認証装置から受信し、前記施設側記憶部に記憶する
   ことを特徴とする請求項５〜８の何れか一項に記載の監視システム。
10. 前記施設側記憶部の前記特徴情報には、当該特徴情報を取得した施設を示す施設情報が紐付けられており、
    前記施設認証装置は、前記認証部により前記第二画像情報に含まれる物体が前記特徴情報に含まれる物体であると認証されたとき、前記施設情報を出力する請求項４〜９の何れか一項に記載の監視システム。
11. 前記物体は人物の顔である
    ことを特徴とする請求項１〜１０の何れか一項に記載の監視システム。
12. 前記物体は車両のナンバープレートである
    ことを特徴とする請求項１〜１１の何れか一項に記載の監視システム。
13. カメラにて撮像された画像情報から予め登録された物体であることを特定し報知する施設に設置された監視装置において、
    前記画像情報に基づいて予め登録された物体であることを特定する認証処理を行う認証部と、
    前記画像情報に基づいて予め登録された物体であることを特定する認証処理を行うことが可能なセンター認証装置に対して、物体の特徴を送受信可能な通信部と、
    を備えたことを特徴とする監視装置。
14. 撮像画像から予め登録された物体であることを特定し報知する監視方法において、
    認証を要求する施設から送信された第一画像情報に基づいて予め登録された物体であることを特定する認証処理を行い、認証結果を前記施設に送信するセンター認証ステップと、
    カメラにて撮像された第二画像情報に基づいて予め登録された物体であることを特定する認証処理と、物体の特徴を前記センター認証ステップとの間で送受信する送受信処理と、を有する施設認証ステップと、
    を備えたことを特徴とする監視方法。
15. 撮像画像から予め登録された物体であることを特定し報知する処理をコンピュータに実行させるための監視プログラムにおいて、
    認証を要求する施設から送信された第一画像情報に基づいて予め登録された物体であることを特定する認証処理を行い、認証結果を前記施設に送信するセンター認証処理と、
    カメラにて撮像された第二画像情報に基づいて予め登録された物体であることを特定する認証処理と、物体の特徴を前記センター認証処理との間で送受信する送受信処理と、を有する施設認証処理と、
    を備えたことを特徴とする監視プログラム。

Images