JP2020136714A - 情報処理装置および監視方法 - Google Patents

Abstract

【課題】登録人物を検出し、検出した登録人物の検出回数を通知する情報処理装置および監視方法を提供する。【解決手段】情報処理装置（サーバ１ａ）は、監視カメラから顔画像データを受信する通信部１２と、顔画像データと予め登録された登録人物の登録顔画像データとを照合し、顔画像データと登録顔画像データとが一致するか否かを判定する制御部１１と、を備える。制御部は、登録人物ごとに検出回数を管理し、顔画像データと登録顔画像データとが一致した場合、顔画像データに一致した登録顔画像データの登録人物における検出回数を１インクリメントする。通信部は、顔画像データと登録顔画像データとが一致した場合、顔画像データに一致した登録顔画像データの登録人物における検出回数を端末装置に送信する。【選択図】図２

Description

本開示は、情報処理装置および監視方法に関する。

特許文献１には、効果的な監視を実現する監視システムが提供されている。特許文献１では、監視システムにより取得された入退出の情報について、入退出被管理装置を管理するシステムにより取得された入退出の情報との整合性の有無を判定し、監視システムにより取得された入退出の情報の正確さを向上させ、効果的な監視を実現する。

特開２０１１−０３９９５９号公報

ところで、監視カメラシステムでは、監視カメラで撮影された人物と、予め登録された登録人物との照合を行って登録人物を検出し、検出結果をユーザに通知する。しかしながら、登録人物の検出回数の通知までは行っていない。市場からは、登録人物の検出回数を通知する装置が望まれている。

本開示の非限定的な実施例は、登録人物を検出し、検出した登録人物の検出回数を通知する情報処理装置および監視方法の提供に資する。

本開示の一態様に係る情報処理装置は、監視カメラから顔画像データを受信する通信部と、前記顔画像データと予め登録された登録人物の登録顔画像データとを照合し、前記顔画像データと前記登録顔画像データとが一致するか否かを判定する制御部と、を備え、前記制御部は、前記登録人物ごとに検出回数を管理し、前記顔画像データと前記登録顔画像データとが一致した場合、前記顔画像データに一致した前記登録顔画像データの前記登録人物における前記検出回数を１インクリメントし、前記通信部は、前記顔画像データと前記登録顔画像データとが一致した場合、前記顔画像データに一致した前記登録顔画像データの前記登録人物における前記検出回数を端末装置に送信する。

本開示の一態様に係る監視方法は、監視カメラから顔画像データを受信し、前記顔画像データと予め登録された登録人物の登録顔画像データとを照合し、前記顔画像データと前記登録顔画像データとが一致するか否かを判定し、前記登録人物ごとに検出回数を管理し、前記顔画像データと前記登録顔画像データとが一致した場合、前記顔画像データに一致した前記登録顔画像データの前記登録人物における前記検出回数を１インクリメントし、前記顔画像データと前記登録顔画像データとが一致した場合、前記顔画像データに一致した前記登録顔画像データの前記登録人物における前記検出回数を端末装置に送信する。

なお、これらの包括的または具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム、または、記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

本開示の一態様によれば、登録人物を検出し、検出した登録人物の検出回数を通知できる。

本開示の一態様における更なる利点および効果は、明細書および図面から明らかにされる。かかる利点および／または効果は、いくつかの実施形態並びに明細書および図面に記載された特徴によってそれぞれ提供されるが、１つまたはそれ以上の同一の特徴を得るために必ずしも全てが提供される必要はない。

第１の実施の形態に係る監視カメラシステムの構成例を示した図 サーバのブロック構成例を示した図 端末装置のブロック構成例を示した図 監視カメラのブロック構成例を示した図 サーバの記憶部に記憶される登録人物情報のデータ構成例を示した図 サーバの記憶部に記憶されるアラーム履歴情報のデータ構成例を示した図 サーバの記憶部に記憶されるアラーム回数情報のデータ構成例を示した図 端末装置の表示装置に表示される画面例を示した図 監視カメラシステムの動作例を示したシーケンス図 端末装置の表示装置に表示される画面例を示した図 第２の実施の形態に係る監視カメラシステムの構成例を示した図 監視カメラシステムの動作例を示したシーケンス図

以下、図面を適宜参照して、本発明の実施の形態について、詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために、提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。

（第１の実施の形態）
図１は、第１の実施の形態に係る監視カメラシステムの構成例を示した図である。図１に示すように、監視カメラシステムは、サーバ１ａ，１ｂと、端末装置２と、監視カメラ３と、を有する。サーバ１ａ，１ｂ、端末装置２、および監視カメラ３は、ネットワーク４を介して接続される。ネットワーク４は、例えば、ＬＡＮ（Local Area Network）またはインターネット等の公衆ネットワークであってもよい。

監視カメラ３は、例えば、空港、港湾、商業施設などの施設に設置される。監視カメラ３は、施設内または施設外を撮影し、撮影した画像の中から人の顔を検出する。監視カメラ３は、検出した顔画像を切り出し、切り出した顔画像の画像データをサーバ１ａに送信する。以下では、切り出した顔画像の画像データを、顔データと呼ぶことがある。

サーバ１ａには、例えば、容疑者または犯人等、検出すべき人の顔データが記憶（登録）されている。以下では、サーバ１ａに記憶される、検出すべき人の顔データを、登録顔データと呼ぶことがある。また、検出すべき人（登録顔データの人）を、登録人物と呼ぶことがある。サーバ１ａは、監視カメラ３が設置された施設と同じ施設に設置されてもよいし、監視カメラ３が設置された施設とは異なる施設に設置されてもよい。サーバ１ａは、サーバ１ｂに対し、子サーバと呼ばれてもよい。

サーバ１ａは、監視カメラ３から送信された顔データと、登録顔データとを照合し、監視カメラ３から送信された顔データが、登録顔データに一致したか否かを判定する。すなわち、サーバ１ａは、監視カメラ３が設置された場所（監視カメラ３の撮影範囲の場所）に、登録人物が現れたか否かを判定する。なお、顔データと登録顔データとの照合には、顔の特徴量に基づく照合が含まれてもよい。

サーバ１ｂは、サーバ１ａによって検出された登録人物の検出回数、すなわち、監視カメラ３が設置された場所に現れた登録人物の出現回数を管理する。例えば、サーバ１ｂは、サーバ１ａによって登録人物Ａが検出されると、登録人物Ａの検出回数を１インクリメントする。また、例えば、サーバ１ｂは、サーバ１ａによって登録人物Ｂが検出されると、登録人物Ｂの検出回数を１インクリメントする。サーバ１ｂは、監視カメラ３が設置された施設と同じ施設に設置されてもよいし、監視カメラ３が設置された施設とは異なる施設に設置されてもよい。サーバ１ｂは、サーバ１ａに対し、親サーバと呼ばれてもよい。

端末装置２は、サーバ１ａによって登録人物が検出された場合、アラーム画面を表示する（例えば、図８を参照）。アラーム画面には、サーバ１ａが検出した登録人物の、これまでの検出回数が含まれる。すなわち、アラーム画面には、サーバ１ｂが管理している検出回数が含まれる。

これにより、端末装置２のユーザは、監視カメラ３が設置された場所に、登録人物が出現したことを認識でき、さらに、登録人物の検出回数（監視カメラ３の撮影範囲の場所への出現回数）も認識できる。

端末装置２は、例えば、パーソナルコンピュータ、タブレット端末、またはスマートフォン等であってもよい。端末装置２は、監視カメラ３が設置された施設と同じ施設に設置されてもよいし、監視カメラ３が設置された施設とは異なる施設に設置されてもよい。

図２は、サーバ１ａのブロック構成例を示した図である。図２に示すように、サーバ１ａは、制御部１１と、通信部１２と、記憶部１３と、を有している。

制御部１１は、サーバ１ａ全体を制御する。制御部１１は、例えば、ＣＰＵ（Central Processing Unit）によって構成されてもよい。

通信部１２は、ネットワーク４を介して、サーバ１ｂ、端末装置２、および監視カメラ３と通信する。通信部１２は、例えば、イーサネット（登録商標）ケーブル等のネットワークケーブル（有線）を介して、ネットワーク４に接続されてもよい。

記憶部１３は、制御部１１が動作するためのプログラムが記憶される。また、記憶部１３には、制御部１１が計算処理を行うためのデータ、または、制御部１１が各部を制御するためのデータ等が記憶される。記憶部１３は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ、およびＨＤＤ（Hard Disk Drive）などの記憶装置によって構成されてもよい。

なお、サーバ１ｂは、サーバ１ａと同様のブロック構成を有し、その説明を省略する。

図３は、端末装置２のブロック構成例を示した図である。図３に示すように、端末装置２は、制御部２１と、入力部２２と、表示部２３と、通信部２４と、記憶部２５と、を有している。

制御部２１は、端末装置２全体を制御する。制御部２１は、例えば、ＣＰＵによって構成されてもよい。

入力部２２は、例えば、キーボード、表示装置の画面上に重畳されたタッチパネル、またはマウス等の入力装置（図示せず）に接続される。入力部２２は、入力装置から出力された、ユーザの操作に応じた信号を受信し、制御部２１に出力する。

表示部２３は、端末装置２が備える表示装置（図示せず）に接続される。表示部２３は、制御部２１から出力される画像データを表示装置に出力する。

通信部２４は、ネットワーク４を介して、サーバ１ａ，１ｂおよび監視カメラ３と通信する。通信部２４は、例えば、イーサネットケーブル等のネットワークケーブルを介して、ネットワーク４に接続されてもよい。また、通信部２４は、例えば、Ｗｉ−Ｆｉ（登録商標）またはブルートゥース（登録商標）等の近距離無線通信を介して、ネットワーク４に接続されてもよい。

記憶部２５は、制御部２１が動作するためのプログラムが記憶される。また、記憶部２５には、制御部２１が計算処理を行うためのデータ、または、制御部２１が各部を制御するためのデータ等が記憶される。記憶部２５は、ＲＡＭ、ＲＯＭ、フラッシュメモリ、およびＨＤＤなどの記憶装置によって構成されてもよい。

図４は、監視カメラ３のブロック構成例を示した図である。図４に示すように、監視カメラ３は、撮像部３１と、制御部３２と、通信部３３と、記憶部３４と、を有している。

撮像部３１は、撮像素子（図示せず）の受光面に受けた可視光を電気信号に変換する。撮像部３１は、撮像素子の受光面において受けた可視光に応じた電気信号（アナログ信号）をデジタル信号に変換して、制御部３２に出力する。

制御部３２は、監視カメラ３全体を制御する。制御部３２は、例えば、ＣＰＵまたはＤＳＰ（Digital signal Processer）によって構成されてもよい。制御部３２は、撮像部３１から出力される映像から、人の顔を判別する。制御部３２は、判別した人の顔を切り出し、切り出した顔の顔データ（静止画像）を、通信部３３を介してサーバ１ａに送信する。

通信部３３は、ネットワーク４を介して、サーバ１ａ，１ｂおよび端末装置２と通信する。通信部３３は、例えば、イーサネットケーブル等のネットワークケーブルを介して、ネットワーク４に接続されてもよい。また、通信部３３は、例えば、Ｗｉ−Ｆｉまたはブルートゥース等の近距離無線通信を介して、ネットワーク４に接続されてもよい。

記憶部３４は、制御部３２が動作するためのプログラムが記憶される。また、記憶部３４には、制御部３２が計算処理を行うためのデータ、または、制御部３２が各部を制御するためのデータ等が記憶される。記憶部３４は、ＲＡＭ、ＲＯＭ、フラッシュメモリ、およびＨＤＤなどの記憶装置によって構成されてもよい。

図５は、サーバ１ａの記憶部１３に記憶される登録人物情報４１ａのデータ構成例を示した図である。図５に示すように、登録人物情報４１ａは、人物ＩＤと、登録顔データと、氏名と、カテゴリと、を有する。

人物ＩＤは、登録人物を識別する識別情報である。登録顔データは、登録人物の顔データである。氏名は、登録人物の氏名である。カテゴリは、登録人物の重要度を示す情報である。以下では、顔データ、氏名、およびカテゴリを、登録人物情報と呼ぶことがある。

ここで、例えば、端末装置２を操作するユーザは、登録人物の登録人物情報を端末装置２に入力する。端末装置２の制御部２１は、入力された登録人物情報を、サーバ１ａに送信する。

サーバ１ａの制御部１１は、端末装置２から送信された登録人物情報を記憶部１３に記憶する。サーバ１ａの制御部１１は、登録人物情報を記憶部１３に記憶する際、人物ＩＤを生成する。サーバ１ａの制御部１１は、生成した人物ＩＤと、端末装置２から送信された登録人物情報とを対応付けて記憶部１３に記憶する。

これにより、サーバ１ａの記憶部１３には、図５の登録人物情報４１ａに示すように、監視カメラシステムにて検出したい人の顔データが、登録顔データとして記憶部１３に記憶される。

図６は、サーバ１ａの記憶部１３に記憶されるアラーム履歴情報４１ｂのデータ構成例を示した図である。図６に示すように、アラーム履歴情報４１ｂは、履歴ＩＤと、日時と、カメラＩＤと、ファイルパスと、類似度と、人物ＩＤと、を有している。

履歴ＩＤは、アラーム通知を識別する識別情報である。後述するが、サーバ１ａの制御部１１は、監視カメラ３から送信された顔データと、記憶部１３に記憶された登録顔データとが一致した場合（登録人物を検出した場合）、アラームを端末装置２に通知する。サーバ１ａの制御部１１は、アラームを端末装置２に通知した場合、通知したアラームを識別するため、履歴ＩＤを生成する。

日時は、サーバ１ａの制御部１１が登録人物を検出した日時である。

カメラＩＤは、監視カメラ３を識別する識別情報である。

ファイルパスは、監視カメラ３が切り出した顔画像の顔データ（ファイル）の格納場所を示すパスである。監視カメラ３が切り出した顔画像の顔データは、例えば、監視カメラ３の画像（動画像データ）を記憶するレコーダ（図１には図示せず）に記憶されてもよい。

類似度は、監視カメラ３から送信された顔データと、記憶部１３に記憶されている登録顔データとの類似度である。

人物ＩＤは、サーバ１ａの制御部１１が検出した登録人物を識別する人物ＩＤである。

ここで、例えば、監視カメラ３のカメラＩＤを「ＳＰ００１」とする。監視カメラ３は、人物ＩＤ「ｂｂｂ」の登録人物を、日時「２０ｘｘ／ｘｘ／ｘｘ、０９：０３：３６」に撮影したとする。監視カメラ３は、撮影した登録人物（人物ＩＤ「ｂｂｂ」）の顔画像を切り出し、切り出した顔データと、撮影日時「２０ｘｘ／ｘｘ／ｘｘ、０９：０３：３６」と、監視カメラ３のカメラＩＤ「ＳＰ００１」とをサーバ１ａに送信したとする。

サーバ１ａの制御部１１は、監視カメラ３から送信された顔データと、記憶部１３に記憶されている登録顔データの各々とを照合する。そして、サーバ１ａの制御部１１は、監視カメラ３から送信された顔データが、記憶部１３に記憶されている登録顔データに一致するか否かを判定する。

例えば、サーバ１ａの制御部１１は、監視カメラ３から送信された顔データと、記憶部１３に記憶されている登録顔データの各々との類似度を算出する。サーバ１ａの制御部１１は、算出した類似度のうち、最も大きい類似度であって、かつ、最も大きい類似度が所定の閾値を超えていれば、監視カメラ３から送信された顔データは、その登録顔データに一致したと判定する。ここでは、監視カメラ３からは、人物ＩＤ「ｂｂｂ」の顔データが送信されているので、監視カメラ３から送信された顔データは、図５に示した人物ＩＤ「ｂｂｂ」の登録顔データと類似度が最も大きくなり、所定の閾値を超える。

サーバ１ａの制御部１１は、監視カメラ３から送信された顔データと、記憶部１３に記憶されている登録顔データ（人物ＩＤ「ｂｂｂ」の登録顔データ）との一致を判定すると、端末装置２にアラームを通知する。このとき、サーバ１ａの制御部１１は、端末装置２に通知したアラームを識別するため、履歴ＩＤ「ｄｄｄ」を生成し、記憶部１３に記憶する。これにより、例えば、図６のアラーム履歴情報４１ｂの履歴ＩＤには、「ｄｄｄ」が記憶される。

また、サーバ１ａの制御部１１は、監視カメラ３から送信された撮影日時と、監視カメラ３のカメラＩＤとを記憶部１３に記憶する。これにより、例えば、図６のアラーム履歴情報４１ｂの履歴ＩＤ「ｄｄｄ」に対応する日時と、カメラＩＤとには、「２０ｘｘ／ｘｘ／ｘｘ、０９：０３：３６」と、「ＳＰ００１」とが記憶される。

さらに、サーバ１ａの制御部１１は、登録顔データ（人物ＩＤ「ｂｂｂ」の登録顔データ）に一致したと判定した監視カメラ３の切り出し顔画像（ファイル）の記憶場所と、算出した類似と、人物ＩＤとを記憶部１３に記憶する。これにより、例えば、図６のアラーム履歴情報４１ｂの履歴ＩＤ「ｄｄｄ」に対応するファイルパスと、類似度と、人物ＩＤとには、「Ｆ：￥／ａｂｃ…」と、「ｖｖ」と、「ｂｂｂ」とが記憶される。

図７は、サーバ１ｂの記憶部に記憶されるアラーム回数情報４２のデータ構成例を示した図である。図７に示すように、アラーム回数情報４２は、人物ＩＤと、発報回数と、を有している。

人物ＩＤは、登録人物を識別する人物ＩＤである。

発報回数は、人物ＩＤの登録人物に発報されたアラーム回数である。例えば、図７の例の場合、人物ＩＤ「ａａａ」の登録人物は、３回アラームが発報されている。なお、発報回数は、人物ＩＤの登録人物が、サーバ１ａによって検出された検出回数と捉えることができる。例えば、図７の例の場合、人物ＩＤ「ａａａ」の登録人物は、３回、サーバ１ａによって検出されたと捉えることができる。

ここで、例えば、図６の説明と同様に、監視カメラ３は、人物ＩＤ「ｂｂｂ」の登録人物を、日時「２０ｘｘ／ｘｘ／ｘｘ、０９：０３：３６」に撮影したとする。監視カメラ３は、撮影した登録人物（人物ＩＤ「ｂｂｂ」）の顔画像を切り出し、切り出した顔データと、撮影日時「２０ｘｘ／ｘｘ／ｘｘ、０９：０３：３６」と、監視カメラ３のカメラＩＤ「ＳＰ００１」をサーバ１ａに送信したとする。

サーバ１ａの制御部１１は、図６で説明したように、アラーム履歴情報４１ｂを生成する。サーバ１ａの制御部１１は、アラーム履歴情報４１ｂを生成すると、生成したアラーム履歴情報４１ｂの人物ＩＤ「ｂｂｂ」と、検出回数保存の指示とをサーバ１ｂに送信する。

サーバ１ｂの制御部は、人物ＩＤ「ｂｂｂ」と、検出回数保存の指示とを受信すると、受信した人物ＩＤ「ｂｂｂ」に対応する、アラーム回数情報４２の発報回数を１インクリメントする。図７の例では、人物ＩＤ「ｂｂｂ」の発報回数が、「１０」から「１１」に更新される。

図８は、端末装置２の表示装置に表示される画面例を示した図である。後述するが、サーバ１ａが、監視カメラ３の顔データから、登録人物を検出すると、端末装置２の表示装置には、登録人物が検出されたことを示すアラーム画面５１が表示される。

アラーム画面５１の「カテゴリ」には、サーバ１ａによって検出された登録人物のカテゴリが表示される。アラーム画面５１の「日時」には、サーバ１ａによって検出された登録人物の撮影日時が表示される。アラーム画面５１の「カメラＩＤ」には、サーバ１ａによって検出された登録人物を撮影した監視カメラ３の識別情報が表示される。

アラーム画面５１の「発報回数」には、サーバ１ａによって検出された登録人物のアラーム発報回数が表示される。すなわち、アラーム画面５１の「発報回数」には、サーバ１ａによって検出された登録人物の検出回数が表示される。

アラーム画面５１の「検出顔画像」には、監視カメラ３が撮影した（切り出した）顔画像が表示される。アラーム画面５１の「登録人物」には、サーバ１ａによって検出された登録人物の登録顔データの顔画像が表示される。

アラーム画面５１の「氏名」には、サーバ１ａによって検出された登録人物の氏名が表示される。

アラーム画面５１に表示されている登録人物の情報は、アラーム画面５１上の位置によって、検出された順番が示される。例えば、図８の領域５１ａに表示されている登録人物の情報は、最も新しくサーバ１ａによって検出された登録人物の情報である。領域５１ｂに表示されている登録人物の情報は、領域５１ａの次に新しい、サーバ１ａによって検出された登録人物の情報である。領域５１ｃに表示されている登録人物の情報は、領域５１ｂの次に新しい、サーバ１ａによって検出された登録人物の情報である。

なお、領域５１ａ〜５１ｃの画像部分がクリックされた場合、クリックされた領域５１ａ〜５１ｃの登録人物のレポート出力画面を表示してもよい。レポート出力画面には、検出された登録人物の撮影日時、カメラＩＤ、発報回数、監視カメラ３が切り出した顔画像、登録顔データの顔画像、および監視カメラ３が顔画像を切り出す前の画像（全景画像）が含まれてもよい。

図９は、監視カメラシステムの動作例を示したシーケンス図である。監視カメラ３は、人を撮影したとする。

監視カメラ３の制御部３２は、撮影した人の顔の顔画像を切り出す（ステップＳ１）。

監視カメラ３の制御部３２は、ステップＳ１にて切り出した顔画像の顔データをサーバ１ａに送信する（ステップＳ２）。

サーバ１ａの制御部１１は、ステップＳ２にて送信された顔データを受信し、受信した顔データから顔特徴量を抽出する（ステップＳ３）。

サーバ１ａの制御部１１は、ステップＳ３にて抽出した顔特徴量と、記憶部１３に記憶されている登録顔データ（図５を参照）の顔特徴量とを照合する（ステップＳ４）。すなわち、サーバ１ａの制御部１１は、監視カメラ３が撮影した顔画像と、記憶部１３に記憶されている登録人物の顔画像とが一致するか否かを判定する。

ここでは、監視カメラ３が撮影した顔画像と、記憶部１３に記憶されている登録顔データの顔画像とが一致するとする。サーバ１ａの制御部１１は、アラーム履歴情報４１ｂ（図６を参照）を生成し、記憶部１３に記憶する。

サーバ１ａの制御部１１は、サーバ１ｂに対し、検出回数保存の通知を行う（ステップＳ５）。このとき、サーバ１ａの制御部１１は、検出した登録人物の人物ＩＤをサーバ１ｂに送信する。

なお、サーバ１ｂの制御部は、ステップＳ５にて送信された検出回数保存の通知の受信に応じて、アラーム回数情報４２を更新する。例えば、サーバ１ｂの制御部は、サーバ１ａから送信された人物ＩＤに対応する、アラーム回数情報４２（図７を参照）の発報回数を更新（１インクリメント）する。

サーバ１ａの制御部１１は、端末装置２に対し、アラーム通知を行う（ステップＳ６）。

端末装置２の制御部２１は、ステップＳ６のアラーム通知の受信に応じて、サーバ１ｂに対し、最新アラーム一覧要求を行う（ステップＳ７）。

サーバ１ｂの制御部は、ステップＳ７の最新アラーム一覧要求に応じて、サーバ１ａからアラーム履歴情報４１ｂを取得する（ステップＳ８）。

サーバ１ｂの制御部は、ステップＳ８にて取得したアラーム履歴情報４１ｂと、サーバ１ｂの記憶部に記憶しているアラーム回数情報とを含むアラーム一覧情報を端末装置２に送信する（ステップＳ９）。

端末装置２の制御部２１は、ステップＳ９にて送信されたアラーム一覧情報に基づいて、アラーム画面５１（図８を参照）を表示装置に表示する。

以上説明したように、サーバ１ａ，１ｂ（情報処理装置）は、監視カメラ３から顔データを受信する通信部と、顔データと予め登録された登録人物の登録顔データとを照合し、顔データと登録顔データとが一致するか否かを判定する制御部と、を備える。そして、情報処理装置の制御部は、登録人物ごと発報回数（検出回数）を管理し、顔データと登録顔データとが一致した場合、顔データに一致した登録顔データの登録人物における発報回数を１インクリメントし、通信部は、顔データと登録顔データとが一致した場合、顔データに一致した登録顔データの登録人物における検出回数を端末装置２に送信する。これにより、情報処理装置は、登録人物を検出し、検出した登録人物の検出回数を端末装置２に通知できる。

（変形例１）
監視カメラシステムは、サーバ１ａによって検出された人を検索する検索機能を有してもよい。

図１０は、端末装置２の表示装置に表示される画面例を示した図である。図１０に示す検索画面５２は、例えば、「アラーム検索」のタブ５２ａがクリックされると、端末装置２の表示装置に表示される。なお、「アラーム」のタブ５２ｂがクリックされた場合、端末装置２の表示装置には、図８に示したアラーム画面５１が表示される。

検索画面５２の左側の領域５２ｃには、検索条件を入力するための入力画面が表示される。検索画面５２の右側の領域５２ｄには、検索結果が表示される。

領域５２ｃの入力画面に示すように、検索条件には、日時がある。また、検索条件には、カテゴリおよび発報回数がある。また、検索条件には、監視カメラの指定がある。

領域５２ｃの入力画面に表示されている「検索」ボタンがクリックされると、端末装置２の制御部２１は、検索条件の入力画面に入力されている情報を、サーバ１ｂに送信する。

サーバ１ｂの制御部は、端末装置２から送信された検索条件に応じた情報を収集する。例えば、サーバ１ｂの制御部は、サーバ１ｂの記憶部に記憶されたアラーム回数情報４２を参照し、検索条件に合致する発報回数の人物ＩＤを取得する。また、サーバ１ｂの制御部は、例えば、検索条件に合致する登録顔データ、カテゴリ、検出された日時、および名称等を、サーバ１ａから取得する。なお、登録顔データ、氏名、およびカテゴリは、サーバ１ａの記憶部１３に記憶された登録人物情報４１ａに含まれている。検出された日時は、サーバ１ａの記憶部１３に記憶されたアラーム履歴情報４１ｂに含まれている。監視カメラ３が撮影した画像および監視カメラ３が切り出した顔画像は、レコーダ（図１には図示せず）に記憶されている。

サーバ１ｂの制御部は、検索条件に応じた情報を収集すると、収集した情報を端末装置２に送信する。

端末装置２の制御部２１は、サーバ１ｂから送信された情報に基づいて、領域５２ｄに示すような検索結果を表示する。

このように、端末装置２は、ユーザの入力した検索条件に応じた検索結果を表示装置に表示できる。

なお、検索画面５２の例では、検索条件の１つとして、発報回数「１０」回以上が指定されている。サーバ１ｂの通信部は、端末装置２から指定された発報回数「１０」回以上を受信する。サーバ１ｂの制御部は、端末装置２から受信した発報回数「１０」回以上に基づいて、アラーム回数情報４２を参照し、発報回数「１０」回以上の登録人物の人物ＩＤを抽出する。サーバ１ｂの制御部は、抽出した人物ＩＤをサーバ１ａに送信する。

サーバ１ａの制御部１１は、登録人物情報４１ａを参照し、サーバ１ｂから送信された人物ＩＤの登録顔データを抽出する。サーバ１ａの制御部１１は、抽出した登録顔データをサーバ１ｂに送信する。サーバ１ｂの通信部は、サーバ１ａによって抽出された顔登録データを端末装置２に送信する。これにより、検索画面５２の領域５２ｄの検索結果には、発報回数「１０」回以上の人物が３人表示されている。

（変形例２）
上記では、監視カメラ３が顔画像を切り出したがこれに限られない。例えば、監視カメラ３は、撮影する画像の画像データをサーバ１ａに送信する。サーバ１ａの制御部１１が、監視カメラ３から送信された画像データの中から人を検出し、検出した人の顔画像を切り出してもよい。この場合、監視カメラ３からサーバ１ａに送信される画像データには、顔データが含まれていると捉えてもよい。

（変形例３）
サーバ１ａ，１ｂの機能は、１台のサーバで実現されてもよい。サーバ１ａ，１ｂは、情報処理装置と称されてもよい。情報処理装置は、１台のサーバで構成されてもよいし、３台以上のサーバで構成されてもよい。

（第２の実施の形態）
第２の実施の形態では、監視カメラが複数設置される場合について説明する。

図１１は、第２の実施の形態に係る監視カメラシステムの構成例を示した図である。図１１において、図１と同じものには同じ符号が付してある。図１１では、監視カメラシステムは、２台のサーバ１ａａ，１ａｂと、２台の監視カメラ３ａ，３ｂと、を有している。監視カメラ３ａ，３ｂは、例えば、異なる場所に設置され、異なる場所を撮影する。

サーバ１ａａ，１ａｂは、図２で説明したサーバ１ａと同様のブロック構成を有する。監視カメラ３ａ，３ｂは、図４で説明した監視カメラ３と同様のブロック構成を有する。

サーバ１ａａの記憶部には、登録人物情報（図５の登録人物情報４１ａを参照）が記憶されている。サーバ１ａａの制御部は、監視カメラ３ａが切り出した顔画像の顔データを受信し、受信した顔データと、登録人物情報の登録顔データとを照合する。サーバ１ａａの制御部は、監視カメラ３ａから受信した顔データと、登録人物情報の登録顔データとが一致した場合、アラーム履歴情報（図６のアラーム履歴情報４１ｂを参照）を生成し、記憶部に記憶する。

サーバ１ａｂの記憶部には、サーバ１ａａの記憶部に記憶されている登録人物情報と同じ登録人物情報が記憶されている。サーバ１ａｂの制御部は、監視カメラ３ｂが切り出した顔画像の顔データを受信し、受信した顔データと、登録人物情報の登録顔データとを照合する。サーバ１ａｂの制御部は、監視カメラ３ｂから受信した顔データと、登録人物情報の登録顔データとが一致した場合、アラーム履歴情報（図６のアラーム履歴情報４１ｂを参照）を生成し、記憶部に記憶する。

図１２は、監視カメラシステムの動作例を示したシーケンス図である。監視カメラ３ａは、人を撮影したとする。

監視カメラ３ａの制御部は、撮影した人の顔の顔画像を切り出す（ステップＳ２１）。

監視カメラ３ａの制御部は、ステップＳ２１にて切り出した顔画像の顔データをサーバ１ａａに送信する（ステップＳ２２）。

サーバ１ａａの制御部は、ステップＳ２２にて送信された顔データを受信し、受信した顔データから顔特徴量を抽出する（ステップＳ２３）。

サーバ１ａａの制御部は、ステップＳ２３にて抽出した顔特徴量と、サーバ１ａａの記憶部に記憶されている登録顔データ（図５を参照）の顔特徴量とを照合する（ステップＳ２４）。すなわち、サーバ１ａａの制御部は、監視カメラ３ａが撮影した顔画像と、サーバ１ａａの記憶部に記憶されている登録顔データの顔画像とが一致するか否かを判定する。

ここでは、監視カメラ３ａが撮影した顔画像と、サーバ１ａａの記憶部に記憶されている登録顔データの顔画像とが一致するとする。サーバ１ａａの制御部は、アラーム履歴情報（図６を参照）を生成し、サーバ１ａａの記憶部に記憶する。

サーバ１ａａの制御部は、サーバ１ｂに対し、検出回数保存の通知を行う（ステップＳ２５）。このとき、サーバ１ａａの制御部は、検出した登録人物の人物ＩＤをサーバ１ｂに送信する。

なお、サーバ１ｂの制御部は、ステップＳ２５にて送信された検出回数保存の通知の受信に応じて、アラーム回数情報４２を更新する。例えば、サーバ１ｂの制御部は、サーバ１ａａから送信された人物ＩＤに対応する、アラーム回数情報４２（図７を参照）の発報回数を更新（１インクリメント）する。

サーバ１ａａの制御部は、端末装置２に対し、アラーム通知を行う（ステップＳ２６）。

端末装置２の制御部２１は、ステップＳ２６のアラーム通知の受信に応じて、サーバ１ｂに対し、最新アラーム一覧要求を行う（ステップＳ２７）。

サーバ１ｂの制御部は、ステップＳ２７の最新アラーム一覧要求に応じて、サーバ１ａａからアラーム履歴情報を取得する（ステップＳ２８）。また、サーバ１ｂの制御部は、ステップＳ２７の最新アラーム一覧要求に応じて、サーバ１ａｂからアラーム履歴情報を取得する（ステップＳ２９）。

サーバ１ｂの制御部は、ステップＳ２８，Ｓ２９にて取得したアラーム履歴情報と、サーバ１ｂの記憶部に記憶しているアラーム回数情報とを含むアラーム一覧情報を端末装置２に送信する（ステップＳ３０）。

端末装置２の制御部２１は、ステップＳ３０にて送信されたアラーム一覧情報に基づいて、アラーム画面（図８を参照）を表示装置に表示する。

監視カメラ３ｂは、人を撮影したとする。監視カメラ３ｂの制御部は、撮影した人の顔の顔画像を切り出す（ステップＳ３１）。

監視カメラ３ｂの制御部は、ステップＳ３１にて切り出した顔画像の顔データをサーバ１ａｂに送信する（ステップＳ３２）。

サーバ１ａｂの制御部は、ステップＳ３２にて送信された顔データを受信し、受信した顔データから顔特徴量を抽出する（ステップＳ３３）。

サーバ１ａｂの制御部は、ステップＳ３３にて抽出した顔特徴量と、サーバ１ａｂの記憶部に記憶されている登録顔データ（図５を参照）の顔特徴量とを照合する（ステップＳ３４）。すなわち、サーバ１ａｂの制御部は、監視カメラ３ｂが撮影した顔画像と、サーバ１ａｂの記憶部に記憶されている登録顔データの顔画像とが一致するか否かを判定する。

ここでは、監視カメラ３ｂが撮影した顔画像と、サーバ１ａｂの記憶部に記憶されている登録顔データの顔画像とが一致するとする。サーバ１ａｂの制御部は、アラーム履歴情報（図６を参照）を生成し、サーバ１ａｂの記憶部に記憶する。

サーバ１ａｂの制御部は、サーバ１ｂに対し、検出回数保存の通知を行う（ステップＳ３５）。このとき、サーバ１ａｂの制御部は、検出した登録人物の人物ＩＤをサーバ１ｂに送信する。

なお、サーバ１ｂの制御部は、ステップＳ３５にて送信された検出回数保存の通知の受信に応じて、アラーム回数情報４２を更新する。例えば、サーバ１ｂの制御部は、サーバ１ａｂから送信された人物ＩＤに対応する、アラーム回数情報４２（図７を参照）の発報回数を更新（１インクリメント）する。

サーバ１ａｂの制御部は、端末装置２に対し、アラーム通知を行う（ステップＳ３６）。

端末装置２の制御部２１は、ステップＳ３６のアラーム通知の受信に応じて、サーバ１ｂに対し、最新アラーム一覧要求を行う（ステップＳ３７）。

サーバ１ｂの制御部は、ステップＳ３７の最新アラーム一覧要求に応じて、サーバ１ａａからアラーム履歴情報を取得する（ステップＳ３８）。また、サーバ１ｂの制御部は、ステップＳ３７の最新アラーム一覧要求に応じて、サーバ１ａｂからアラーム履歴情報を取得する（ステップＳ３９）。

サーバ１ｂの制御部は、ステップＳ３８，Ｓ３９にて取得したアラーム履歴情報と、サーバ１ｂの記憶部に記憶しているアラーム回数情報とを含むアラーム一覧情報を端末装置２に送信する（ステップＳ４０）。

端末装置２の制御部２１は、ステップＳ４０にて送信されたアラーム一覧情報に基づいて、アラーム画面（図８を参照）を表示装置に表示する。

なお、監視カメラ３ａは、例えば、人物ＩＤ「ａａａ」の登録人物を撮影する。その後、例えば、監視カメラ３ｂは、同じ人物ＩＤ「ａａａ」の登録人物を撮影する。この場合、人物ＩＤ「ａａａ」の登録人物は、サーバａａによって１回検出され、サーバａｂによって１回検出される。従って、サーバ１ｂの記憶部に記憶されているアラーム回数情報４２の人物ＩＤ「ａａａ」に対応する発報回数は、例えば、図７の例の場合、「３」から「５」に更新される。

以上説明したように、サーバ１ａａ，１ａｂ，１ｂ（情報処理装置）は、登録顔データに一致した顔データを送信した監視カメラ３ａ，３ｂの識別情報（アラーム履歴情報に含まれる）を端末装置２に送信する。これにより、端末装置２は、検出された登録人物の顔データと、検出された登録人物を撮影した監視カメラの識別情報とを表示装置に表示できる。そのため、端末装置２を操作するユーザは、例えば、検出された登録人物が、どの監視カメラ３ａ，３ｂで撮影されたか（施設のどの位置で撮影されたか）把握できる。

（変形例１）
第１の実施の形態と同様に、監視カメラシステムは、サーバ１ａａ，１ａｂによって検出された人を検索する検索機能を有してもよい。この場合、検索条件として、監視カメラ３ａ，３ｂが指定されてもよい。例えば、図１０に示した領域５２ｃの入力画面の「カメラ」において、監視カメラ３ａ，３ｂの両方または一方が指定されてもよい。

これにより、端末装置２を操作するユーザは、例えば、登録人物がどの監視カメラ３ａ，３ｂで撮影されたか（施設のどの位置で撮影されたか）検索できる。

なお、サーバ１ｂの制御部は、端末装置２から送信された検索条件に応じた情報を収集する際、サーバ１ａａ，１ａｂの一方または両方にアクセスする。例えば、検索条件として、発報回数「１０」と監視カメラ３ａのカメラＩＤ「ＳＰ００１」とが指定されたとする。監視カメラ３ａは、サーバ１ａａに接続されているので、サーバ１ｂの制御部は、サーバ１ａａにアクセスし、発報回数「１０」の登録人物の登録顔データを取得する。

（変形例２）
上記では、サーバ１ａａには、１台の監視カメラ３ａが接続され、監視カメラ３ａの顔データが送信されたが、これに限られない。サーバ１ａａには、複数台の監視カメラが接続され、複数台の監視カメラの顔データが送信されてもよい。また、サーバ１ａｂには、１台の監視カメラ３ｂが接続され、監視カメラ３ｂの顔データが送信されたが、これに限られない。サーバ１ａｂには、複数台の監視カメラが接続され、複数台の監視カメラの顔データが送信されてもよい。また、子サーバであるサーバ１ａａ，１ａｂの台数は、２台に限られない。子サーバは、３台以上であってもよい。３台以上の子サーバの各々には、複数の監視カメラが接続されてもよい。また、子サーバが１台の場合でも、複数の監視カメラが接続されてもよい。例えば、図１に示したサーバ１ａには、複数の監視カメラが接続されてもよい。

このように、サーバ１ａａに複数の監視カメラが接続され、サーバ１ａｂに複数の監視カメラが接続される。そして、サーバ１ｂがサーバ１ａａ，１ａｂに接続された監視カメラの発報回数をまとめて管理する。これにより、各サーバ１ａａ，１ａｂ，１ｂの処理負荷が分散される。また、監視カメラの拡張（設置台数の増減）が容易となる。

（変形例３）
上記では、監視カメラ３ａ，３ｂが顔画像を切り出したがこれに限られない。サーバ１ａａ，１ａｂの制御部が、監視カメラ３ａ，３ｂから送信された画像データの中から人を検出し、検出した人の顔画像を切り出してもよい。この場合、監視カメラ３ａ，３ｂからサーバ１ａａ，１ａｂに送信される画像データには、顔データが含まれていると捉えてもよい。

（変形例４）
サーバ１ａａ，１ａｂ，１ｂの機能は、１台のサーバで実現されてもよい。サーバ１ａａ，１ａｂ，１ｂは、情報処理装置と称されてもよい。情報処理装置は、１台のサーバで構成されてもよいし、４台以上のサーバで構成されてもよい。

上記の実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部または全てを含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）、又は、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。また、各実施の形態は組み合わされてもよい。

本開示は、例えば、空港、港湾、商業施設などの施設に設置される監視カメラを含む監視カメラシステムに有用である。

１ａ，１ａａ，１ａｂ，１ｂ サーバ
２ 端末装置
３，３ａ，３ｂ 監視カメラ
４ ネットワーク
１１，２１，３２ 制御部
１２，２４，３３ 通信部
１３，２５，３４ 記憶部
２２ 入力部
２３ 表示部
３１ 撮像部
４１ａ 登録人物情報
４１ｂ アラーム履歴情報
４２ アラーム回数情報
５１ アラーム画面
５２ 検索画面

Claims (5)

1. 監視カメラから顔画像データを受信する通信部と、
   前記顔画像データと予め登録された登録人物の登録顔画像データとを照合し、前記顔画像データと前記登録顔画像データとが一致するか否かを判定する制御部と、
   を備え、
   前記制御部は、前記登録人物ごとに検出回数を管理し、前記顔画像データと前記登録顔画像データとが一致した場合、前記顔画像データに一致した前記登録顔画像データの前記登録人物における前記検出回数を１インクリメントし、
   前記通信部は、前記顔画像データと前記登録顔画像データとが一致した場合、前記顔画像データに一致した前記登録顔画像データの前記登録人物における前記検出回数を端末装置に送信する、
   情報処理装置。
2. 前記通信部は、一致した前記顔画像データと前記登録顔画像データとを前記端末装置に送信する、
   請求項１に記載の情報処理装置。
3. 前記通信部は、前記端末装置から検索検出回数を受信し、
   前記制御部は、前記検索検出回数に一致する前記検出回数の前記登録人物の前記登録顔データを抽出し、
   前記通信部は、抽出された前記顔登録データを前記端末装置に送信する、
   請求項１または２に記載の情報処理装置。
4. 前記監視カメラは複数であり、異なる場所に設置され、
   前記通信部は、前記登録顔データに一致した前記顔データを送信した前記監視カメラの識別情報を前記端末装置に送信する、
   請求項１から３のいずれか一項に記載の情報処理装置。
5. 監視カメラから顔画像データを受信し、
   前記顔画像データと予め登録された登録人物の登録顔画像データとを照合し、
   前記顔画像データと前記登録顔画像データとが一致するか否かを判定し、
   前記登録人物ごとに検出回数を管理し、前記顔画像データと前記登録顔画像データとが一致した場合、前記顔画像データに一致した前記登録顔画像データの前記登録人物における前記検出回数を１インクリメントし、
   前記顔画像データと前記登録顔画像データとが一致した場合、前記顔画像データに一致した前記登録顔画像データの前記登録人物における前記検出回数を端末装置に送信する、
   監視方法。

Images