JP2022082561A - 解析サーバ、監視システム、監視方法及びプログラム - Google Patents

Abstract

【課題】主たる監視対象に加え、主たる監視対象と関連性のある対象の検出を可能とする解析サーバを提供する。【解決手段】解析サーバは、第１の監視対象が検出された場合、第１の監視対象と関係を有すると推定される第２の監視対象を、カメラからの映像データを外部に出力する映像サーバから取得した映像データに基づき検出する。【選択図】図１

Description

（関連出願についての記載）
本発明は、米国仮出願：６２／４３７７４７号（２０１６年１２月２２日出願）の優先権主張に基づくものであり、同出願の全記載内容は引用をもって本書に組み込み記載されているものとする。
本発明は、解析サーバ、監視システム、監視方法及びプログラムに関する。

近年、テロリズムの脅威が高まっており、多くの人が集まる大規模イベントなどの警備が年々強化される傾向にある。例えば、イベント会場に固定的に設置されるカメラや警備員が装着したウェアラブルカメラを使用した映像監視による警備が行われている。

また、情報通信技術（ＩＣＴ；Information and Communication Technology）を活用したより高品質な警備サービスが提供されることが期待されている。つまり、監視カメラ等から得られる映像を人が監視するだけでなく、情報通信技術を積極的に活用し、警備強化に貢献することが期待されている。例えば、顔認証等の技術を導入し、監視カメラから得られる顔画像と犯罪者データベースに登録された顔画像を照合することで不審者を早期に検出するシステムの活用が検討されている。

特許文献１には、監視カメラの画像に存在する人の位置を検出し、検出した人が予め定められた守備者および被守備者を除く不定者であるか否かをＩＣタグ及びアンテナを利用して特定する技術が開示されている。また、当該文献が開示する技術では、不定者と特定された人の年齢、性別、および一緒に行動している人数を推定し、当該推定結果に基づいて、犯罪リスク値を演算している。

特許文献２には、不審者検出装置の検出情報に基づいて、検出された者が本当に不審者であるかを確認し、さらに、犯罪者データベースのデータと照合して犯罪者としての経歴があるか否かを確認する技術が開示されている。また、当該文献には、上記確認結果から、利用者と警備会社（あるいは警察）に通報することや、現場に近い街頭放送機器を選択して地域放送装置を介して街頭放送により警告情報を流すことが開示されている。

特許第５３０１９７３号公報 特開２００８－２０４２１９号公報

近年のテロリズム等における犯罪の状況を鑑みると、単独の実行犯が犯罪を行うこともあるが、複数の実行犯が犯罪を行うこともある。この場合、複数の実行犯により犯罪が行われる方がその規模が大きくなり、被害も甚大なものとなり得る。従って、単独犯による犯罪を未然に防ぐことに加え、複数犯による犯罪を未然に防ぐことがより重要となる。

この点、特許文献１及び２に開示された技術では十分ではない。例えば、特許文献１には、不定者と一緒に行動する人数から犯罪者レベルを推定することが開示されている。しかし、当該文献では、守備者と被守備者以外は不定者であり、犯罪者の潜在的な仲間（共犯者）に関しては考慮されていない。また、特許文献２には、不審者をデータベース照合することが開示されているが、当該文献においても犯罪者の潜在的な仲間（共犯者）に関しては考慮されていない。

本発明は、主たる監視対象に加え、主たる監視対象と関連性のある対象の検出を可能とすることに寄与する、解析サーバ、監視システム、監視方法及びプログラムを提供することを目的とする。

本発明の第１の視点によれば、第１の監視対象が検出された場合、前記第１の監視対象と関係を有すると推定される第２の監視対象を、カメラからの映像データを外部に出力する映像サーバから取得した映像データに基づき検出する、解析サーバが提供される。

本発明の第２の視点によれば、カメラからの映像データを外部に出力する、映像サーバと、第１の監視対象が検出された場合、前記第１の監視対象と関係を有すると推定される第２の監視対象を前記映像サーバから取得した映像データに基づき検出する、解析サーバと、を含む、監視システムが提供される。

本発明の第３の視点によれば、カメラからの映像データを外部に出力する映像サーバから映像データを取得し、第１の監視対象が検出された場合、前記第１の監視対象と関係を有すると推定される第２の監視対象を前記映像サーバから取得した映像データに基づき検出すること、を含む、監視方法が提供される。

本発明の第４の視点によれば、カメラからの映像データを外部に出力する映像サーバから映像データを取得する処理と、第１の監視対象が検出された場合、前記第１の監視対象と関係を有すると推定される第２の監視対象を前記映像サーバから取得した映像データに基づき検出する処理と、をコンピュータに実行させるプログラムが提供される。
なお、このプログラムは、コンピュータが読み取り可能な記憶媒体に記録することができる。記憶媒体は、半導体メモリ、ハードディスク、磁気記録媒体、光記録媒体等の非トランジェント（non-transient）なものとすることができる。本発明は、コンピュータプログラム製品として具現することも可能である。

本発明の各視点によれば、主たる監視対象に加え、主たる監視対象と関連性のある対象の検出を可能とすることに寄与する、解析サーバ、監視システム、監視方法及びプログラムが、提供される。

一実施形態の概要を説明するための図である。 第１の実施形態に係る監視システムの構成の一例を示す図である。 第１の実施形態に係る解析サーバのハードウェア構成の一例を示すブロック図である。 第１の実施形態に係る映像サーバの処理構成の一例を示す図である。 映像サーバの記憶媒体に格納される情報の一例を示す図である。 第１の実施形態に係る映像サーバの動作の一例を示すフローチャートである。 第１の実施形態に係る解析サーバの処理構成の一例を示す図である。 潜在的不審者検出部の動作を説明するための図である。 潜在的不審者検出部の動作を説明するための図である。 潜在的不審者検出部の動作を説明するための図である。 潜在的不審者検出部の動作を説明するための図である。 検出結果出力部が表示する画面の一例を示す図である。 第１の実施形態に係る解析サーバの動作の一例を示すフローチャートである。 第１の実施形態に係るデータベースサーバの処理構成の一例を示す図である。 第１の実施形態に係るデータベースサーバの動作の一例を示すフローチャートである。 第１の実施形態に係る監視システムの動作の一例を示すシーケンス図である。 第１の実施形態に係る監視システムの動作の別の一例を示すシーケンス図である。 第２の実施形態に係る潜在的不審者検出部が作成するテーブル情報の一例である。 第２の実施形態に係る潜在的不審者検出部の動作を説明するための図である。 一実施形態に係るシステムの動作の一例を示すシーケンス図である。 一実施形態に係るシステムの潜在不審者検出に関するフローチャートである。 一実施形態に係る映像サーバの動作（ａ）と犯罪者データベースの動作（ｂ）の一例を示すフローチャートである。 一実施形態に係る解析サーバのブロック図である。 一実施形態に係る情報処理装置の構成を例示するブロック図である。

初めに、一実施形態の概要について説明する。なお、この概要に付記した図面参照符号は、理解を助けるための一例として各要素に便宜上付記したものであり、この概要の記載はなんらの限定を意図するものではない。

一実施形態に係る解析サーバ１０１は、第１の監視対象が検出された場合、第１の監視対象と関係を有すると推定される第２の監視対象を、カメラからの映像データを外部に出力する映像サーバから取得した映像データに基づき検出する（図１参照）。また、解析サーバ１０１は、映像サーバがリアルタイムに出力する映像データに基づき第１の監視対象を検出する第１の検出部と、映像サーバに蓄積された過去の映像データに基づき、第２の監視対象を検出する第２の検出部と、を備えていてもよい。

解析サーバ１０１は、例えば、後述するような４つの判定技術を用いて、映像サーバに蓄積された映像データを解析し、第２の監視対象の検出を試みる。その結果、主たる監視対象に加え、主たる監視対象と関連性のある対象の検出が可能となる。

以下に具体的な実施の形態について、図面を参照してさらに詳しく説明する。なお、各実施形態において同一構成要素には同一の符号を付し、その説明を省略する。また、各図におけるブロック間の接続線は、双方向及び単方向の双方を含む。一方向矢印については、主たる信号（データ）の流れを模式的に示すものであり、双方向性を排除するものではない。

［第１の実施形態］
第１の実施形態について、図面を用いてより詳細に説明する。

第１の実施形態では、監視システムをイベント会場等の警備システムに適用する場合について説明する。また、第１の実施形態では、監視システムが主に監視の対象とする「主たる監視対象」として、過去に罪を犯した人物を設定する。より具体的には、第１の実施形態に係る監視システムでは、過去に罪を犯し、犯罪者データベースに氏名、住所等が記憶されている人物を主たる監視対象として扱い、そのような人物を「不審者」として検出する。さらに、第１の実施形態に係る監視システムでは、主たる監視対象と関係を有すると推定される監視対象（関連性が疑われる監視対象）を「潜在的不審者」として検出する。

［システム構成］
図２は、第１の実施形態に係る監視システムの構成の一例を示す図である。図２を参照すると、監視システムには、複数のカメラ１０－１～１０－３と、映像サーバ２０と、解析サーバ３０と、データベース（ＤＢ；Data Base）サーバ４０と、が含まれる。

なお、以降の説明において、カメラ１０－１～１０－３を区別する特段の理由がない場合には単に「カメラ１０」と表記する。また、図２には３台のカメラ１０を図示しているがカメラの台数を制限する趣旨ではない。複数のカメラ１０は、警備対象となるエリアに網羅的に配置される。つまり、警備対象となるエリアに応じて必要な台数のカメラが設置される。

各カメラ１０は、有線又は無線のネットワークにより映像サーバ２０と接続されている。各カメラ１０は、映像データを映像サーバ２０に向けて出力する。なお、映像データは時系列に連続する複数の画像データの集合と捉えることもできる。そこで、本願開示では、各カメラが撮影したデータを映像データと表記するが、各カメラが出力するデータは映像データに限定されず、画像データであってもよいことは勿論である。

映像サーバ２０は、記憶媒体を備え、各カメラ１０から提出される映像データを蓄積する。映像サーバ２０は、外部（具体的には、解析サーバ３０）からの要求に応じて、記憶媒体に蓄積された映像データを出力する。

解析サーバ３０は、映像サーバ２０から映像データを取得する。解析サーバ３０は、主たる監視対象（上述の第１の監視対象；不審者）が検出された場合、当該主たる監視対象と関係を有すると推定される監視対象（上述の第２の監視対象；潜在的不審者）を映像サーバ２０から取得した映像データに基づき検出する。より具体的には、解析サーバ３０は、映像サーバ２０からリアルタイムに出力される各カメラ１０の映像データとデータベースサーバ４０に蓄積されている情報を用いて、不審者を検出する。

図２の例では、解析サーバ３０は、不審者６１を初めに検出する。その後、解析サーバ３０は、不審者６１と所定の関係にあると推定される潜在的不審者６２を検出する。解析サーバ３０は、例えば、警備会社のオペレーションセンタに設置され、不審者及び／又は潜在的不審者を検出した場合には、モニタにその結果を表示する。当該結果に接したオペレータは、現場に急行する、警察に通報するといった行動を起こす。

データベースサーバ４０は、犯罪者に関する情報が蓄積された犯罪者データベースを管理する装置である。犯罪者に関する情報は、例えば、過去に罪を犯した人物の顔画像や当該顔画像から算出した特徴量（特徴量ベクトル）等である。第１の実施形態では、上記データベースには少なくとも過去に罪を犯した人物の顔画像から算出した特徴量が含まれる。後述するように、データベースサーバ４０は、解析サーバ３０からの要求に応じて犯罪者に関する情報を送信する。その際、データベースには顔画像から算出した特徴量を登録しておくことで、情報の授受を容易にすることができる。通常、顔画像のデータサイズよりも特徴量のデータサイズの方が小さいためである。

［ハードウェア構成］
次に、第１の実施形態に係る監視システムを構成する各種装置のハードウェア構成を説明する。

図３は、第１の実施形態に係る解析サーバ３０のハードウェア構成の一例を示すブロック図である。解析サーバ３０は、所謂、コンピュータ（情報処理装置）により構成可能であり、図３に例示する構成を備える。例えば、解析サーバ３０は、内部バスにより相互に接続される、ＣＰＵ（Central Processing Unit）３１、メモリ３２、入出力インターフェイス３３及び通信インターフェイスであるＮＩＣ（Network Interface Card）３４等を備える。

但し、図３に示す構成は、解析サーバ３０のハードウェア構成を限定する趣旨ではない。解析サーバ３０は、図示しないハードウェアを含んでもよいし、必要に応じて入出力インターフェイス３３を備えていなくともよい。また、解析サーバ３０に含まれるＣＰＵ等の数も図３の例示に限定する趣旨ではなく、例えば、複数のＣＰＵが解析サーバ３０に含まれていてもよい。

メモリ３２は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、補助記憶装置（ハードディスク等）である。

入出力インターフェイス３３は、図示しない表示装置や入力装置のインターフェイスである。表示装置は、例えば、液晶ディスプレイ等である。入力装置は、例えば、キーボードやマウス等のユーザ操作を受け付ける装置や、ＵＳＢ（Universal Serial Bus）メモリ等の外部記憶装置から情報を入力する装置である。ユーザは、キーボードやマウス等を用いて、必要な情報を解析サーバ３０に入力する。

解析サーバ３０の機能は、後述する処理モジュールにより実現される。当該処理モジュールは、例えば、メモリ３２に格納されたプログラムをＣＰＵ３１が実行することで実現される。また、そのプログラムは、ネットワークを介してダウンロードするか、あるいは、プログラムを記憶した記憶媒体を用いて、更新することができる。さらに、上記処理モジュールは、半導体チップにより実現されてもよい。即ち、上記処理モジュールが行う機能は、何らかのハードウェア及び／又はソフトウェアにより実現できればよい。また、コンピュータの記憶部に、上述したコンピュータプログラムをインストールすることにより、コンピュータを解析サーバ３０として機能させることができる。さらにまた、上述したコンピュータプログラムをコンピュータに実行させることにより、コンピュータにより不審者及び潜在的不審者の監視方法を実行することができる。

なお、映像サーバ２０及びデータベースサーバ４０も解析サーバ３０と同様に情報処理装置により構成可能であり、その基本的なハードウェア構成は解析サーバ３０と同一とすることができるので、その説明を省略する。また、カメラ１０のハードウェア構成に関しても当業者に取って明らかなものであるため、その説明を省略する。

［処理モジュール］
続いて、第１の実施形態に係る監視システムを構成する各種装置の処理モジュールについて説明する。

［映像サーバ］
図４は、第１の実施形態に係る映像サーバ２０の処理構成の一例を示す図である。図４を参照すると、映像サーバ２０は、通信制御部２０１と、データ蓄積部２０２と、データ出力部２０３と、を含んで構成される。

通信制御部２０１は、他の装置（カメラ１０、解析サーバ３０）との間の通信を制御する。また、通信制御部２０１は、外部から取得したデータ（パケット）を適切な処理モジュールに振り分ける。例えば、カメラ１０から映像データを取得した場合には、通信制御部２０１は、当該映像データをデータ蓄積部２０２に引き渡す。また、通信制御部２０１は、各処理モジュールから取得したデータを他の装置に向けて送信する。例えば、データ出力部２０３から映像データ（複数の画像データ）を取得した場合には、通信制御部２０１は、当該映像データを解析サーバ３０に向けて送信する。

データ蓄積部２０２は、通信制御部２０１を介してカメラ１０から映像データを取得すると、当該取得した映像データを、取得したカメラ１０ごとに区分してＨＤＤ（Hard Disk Drive）等の記憶媒体に格納する。その際、データ蓄積部２０２は、必要に応じて取得した映像データを圧縮して記憶媒体に格納する。

また、解析サーバ３０は、映像サーバ２０に対して過去の映像データの提出を要求することがある。そこで、データ蓄積部２０２は、過去の映像データが容易に取り出せるようにタイムスタンプを映像データと共に記憶媒体に格納する（図５参照）。

データ出力部２０３は、記憶媒体に蓄積された映像データを解析サーバ３０に出力する。例えば、データ出力部２０３は、各カメラ１０にて撮影された映像データをリアルタイムで解析サーバ３０に出力する。つまり、データ出力部２０３は、記憶媒体に格納された映像データ（画像データ）のうち最新のデータを定期的に読み出し、当該読み出したデータを、通信制御部２０１を介して解析サーバ３０に送信する。

さらに、データ出力部２０３は、解析サーバ３０からの要求に応じ、指定された範囲の映像データ（一連の画像データ）を解析サーバ３０に出力する。例えば、解析サーバ３０は、取得したい映像データを「時間（期間）」、「場所」、「カメラＩＤ（Identifier）」等により指定して、映像データの提出を映像サーバ２０に要求する。データ出力部２０３は、これらの情報に基づき、蓄積された映像データから要求に適合するデータを特定し、解析サーバ３０に出力する。

映像サーバ２０の動作をまとめると、例えば、図６に示すフローチャートのとおりとなる。

ステップＳ１０１において、データ出力部２０３は、最新の映像データを解析サーバ３０に出力する。

ステップＳ１０２において、データ出力部２０３は、解析サーバ３０からの「映像データ提出要求」を受信しているか否かを確認する。

映像データ提出要求を受信していれば（ステップＳ１０２、Ｙｅｓ分岐）、データ出力部２０３は、記憶媒体から必要な範囲の映像データを読み出し、解析サーバ３０に送信する（ステップＳ１０３）。

映像データ提出要求を受信していなければ（ステップＳ１０２、Ｎｏ分岐）、ステップＳ１０１に戻り処理が継続される。

［解析サーバ］
図７は、第１の実施形態に係る解析サーバ３０の処理構成の一例を示す図である。図７を参照すると、解析サーバ３０は、通信制御部３０１と、不審者検出部３０２と、潜在的不審者検出部３０３と、検出結果出力部３０４と、を含んで構成される。

通信制御部３０１は、映像サーバ２０の通信制御部２０１と同様に他の装置との間の通信を制御する。

不審者検出部３０２は、映像サーバ２０がリアルタイムに出力する映像データに基づき不審者を検出する。不審者検出部３０２は、上述の第１の検出部に相当する。

初めに、不審者検出部３０２は、映像サーバ２０から取得した映像データに写る人物の顔画像を抽出することを試みる。なお、映像データから顔画像を抽出する際には種々の技術を用いることができる。

例えば、参考文献１（特開２０１４－１７０９７９号公報）に開示されているように、入力画像（顔画像を含む画像データ）と、顔画像のテンプレート画像と、を比較し、両者の差分が閾値以下であるか否かにより、顔画像を抽出してもよい。また、色情報やエッジの方向や密度を組み合わせたモデルをあらかじめ記憶しておき、入力フレームからモデルに類似した領域が検出された場合に顔が存在すると判定し、顔画像を抽出することもできる。さらに、顔（頭部）の輪郭は楕円、目や口は矩形形状をしていることを利用して作成したテンプレートを使用し、顔画像を検出することも可能である。さらにまた、頬や額の部分は輝度が高く、目や口の部分の輝度は低いという輝度分布の特性を利用した顔検出手法や、顔の対称性や肌色領域と位置を利用して顔検出を行う手法等を用いてもよい。あるいは、大量の顔と非顔の学習サンプルから得られた特徴量分布を統計的に学習し、入力画像から得られる特徴量が顔と非顔のどちらの分布に属するかを判定する手法を用いてもよい。即ち、サポートベクターマシン等の機械学習に係る技術を顔画像の抽出に用いてもよい。

顔画像の抽出に成功した場合には、不審者検出部３０２は、当該顔画像を特徴付ける複数の特徴量（所謂、特徴量ベクトル）を算出する。

顔画像からの特徴量ベクトル算出に関しては、例えば、参考文献２（特開２０１５－０９７０００号公報）に開示されている技術を用いることができる。具体的には、顔画像から特徴点（例えば、目、鼻、口等の中心点や端点）を抽出し、当該抽出した特徴点の位置関係、特徴点近傍の濃淡値や特性（周期性、方向性、色分布等）を特徴量として算出する。その後、当該特徴量を並べて（特徴量の組を作って）特徴量ベクトルを算出する。

ここで、特徴量ベクトル算出の元となった顔画像が異なれば、特徴量ベクトルも異なる。換言するならば、特徴量ベクトル算出の元となった顔画像が同一であれば、特徴量ベクトルも同一又はほぼ同一となる。

その後、不審者検出部３０２は、データベースサーバ４０から犯罪者に関する情報を取得する。この場合、不審者検出部３０２は、データベースサーバ４０から犯罪者の顔画像から算出された特徴量（特徴量ベクトル）を取得する。なお、データベースサーバ４０から取得する顔画像の特徴量ベクトルは、不審者検出部３０２が算出した特徴量ベクトルと比較可能な特徴量ベクトルとする。換言するならば、不審者検出部３０２は、データベースサーバ４０（即ち、犯罪者データベース）に格納されている特徴量ベクトルと同種の特徴量ベクトルを算出する。

次に、不審者検出部３０２は、映像データから算出した顔画像の特徴量ベクトルと、データベースサーバ４０から取得した特徴量ベクトルと、に関する照合処理を行う。具体的には、不審者検出部３０２は、データベースサーバ４０から取得した特徴量ベクトルのそれぞれに関し、上記映像データから算出した特徴量ベクトルとの類似度を算出する。

例えば、不審者検出部３０２は、２つの特徴量ベクトル間のカイ二乗距離やユークリッド距離等を算出する。算出されたカイ二乗距離やユークリッド距離は、２つの特徴量ベクトル（特徴量ベクトルにより特徴付けられる２つの顔画像）間の類似度を示す指標となる。なお、２つの特徴量ベクトルの類似度を示す指標は上記のユークリッド距離やカイ二乗距離に限定されない。上記指標は、２つの特徴量ベクトルの相関値（Correlation）等であってもよい。

次に、不審者検出部３０２は、算出した類似度に対して閾値処理を施し、映像サーバ２０から取得した映像データに写る人物がデータベースサーバ４０に登録されているか否かを判定する。

不審者検出部３０２は、映像サーバ２０から取得した映像データに写る人物に似た人物がデータベースサーバ４０に登録されている場合には、当該人物を「不審者」に設定する。また、不審者検出部３０２は、不審者が検出された場合には、その旨を潜在的不審者検出部３０３に通知する。

潜在的不審者検出部３０３は、映像サーバ２０に蓄積された過去の映像データに基づき、当該不審者と関係があると推定される人物（所定の関連性を有すると疑われる人物）を検出する。潜在的不審者検出部３０３は、不審者検出部３０２により不審者が検出された場合に、映像サーバ２０から得られる過去の映像データを複数の判定基準に基づき解析することで、潜在的不審者の検出を試みる。潜在的不審者検出部３０３は、上述の第２の検出部に相当する。

潜在的不審者検出部３０３は、以下に示す複数の判定基準のうち少なくとも１つを満たす対象（人物）が存在する場合に、当該人物を「潜在的不審者」として検出する。

第１の判定基準は、複数のカメラ１０にて不審者と潜在的不審者として検出する対象者（潜在的不審者の候補者、以下、単に候補者と称する）が同時に写っている場合である。潜在的不審者検出部３０３は、映像サーバ２０から取得した映像データを解析し、複数のカメラ１０において不審者と共に写る候補者が存在するか否かにより、潜在的不審者を検出する。

第２の判定基準は、不審者と候補者の間の距離が近く、且つ、不審者と候補者の距離が近い状態が長時間に亘る場合である。潜在的不審者検出部３０３は、映像サーバ２０から取得した映像データを解析し、不審者との間の距離が所定値以下、且つ、不審者との間の距離が上記所定以下の状態が所定の時間以上となる候補者が存在するか否かにより、潜在的不審者を検出する。

第３の判定基準は、不審者の軌跡（移動による軌跡）と候補者の軌跡が交わる場合である。潜在的不審者検出部３０３は、映像サーバ２０から取得した映像データを解析して、不審者が移動したことによる軌跡と、候補者が移動したことによる軌跡と、を算出し、不審者の軌跡と候補者の軌跡が交差するか否かにより、潜在的不審者を検出する。

第４の判定基準は、不審者の動作と関連する所定の動作を候補者が行っている場合である。潜在的不審者検出部３０３は、映像サーバ２０から取得した映像データを解析し、不審者と関連する動作を行った候補者が存在するか否かにより、潜在的不審者を検出する。

以下、上記判定基準のそれぞれについて詳細を説明する。

初めに、図８を参照しつつ、第１の判定基準について説明する。図８（ａ）において、不審者検出部３０２は、不審者Ｓを検出したものとする。なお、図８において、灰色で着色された領域は各カメラ１０の撮影可能エリアとする。図８には、着色されていない領域も存在するが、これらの領域は図示していないカメラ１０により撮影されているものとする。また、不審者検出部３０２が不審者Ｓを検出した時刻をＴとする。

図８（ａ）の場合、潜在的不審者検出部３０３は、時刻Ｔにおいて警備エリア（監視対象エリア）に存在する人物を不審者Ｓに対する「潜在的不審者」の候補（上述の候補者）として抽出する。図８（ａ）の例では、不審者Ｓ以外の３人の人物が候補者Ａ～Ｃとして抽出される。例えば、潜在的不審者検出部３０３は、時刻Ｔにける各カメラ１０の映像データ（画像データ）に対して上述した顔画像の抽出処理等を適用し、候補者を抽出する。その際、同一人物が複数のカメラ１０に写っている場合には、潜在的不審者検出部３０３は、特徴量ベクトルが類似する人物は同一人物であると扱い人物の重複を排除するのが望ましい。

次に、潜在的不審者検出部３０３は、映像サーバ２０に対して、各カメラ１０における時刻Ｔからの過去の映像データ（複数の画像データ）の提出を要求する。図８の例では、潜在的不審者検出部３０３は、時刻Ｐ３から現在の時刻Ｔまでの映像データの提出を映像サーバ２０に要求したものとする。また、図８（ｂ）～（ｄ）には、時刻Ｐ３から時刻Ｔまでの映像データのうち時刻Ｐ２、Ｐ１の画像データを代表して記載している。なお、時刻Ｐ１～Ｐ３の関係は、時刻Ｐ１の画像データが最も新しく、時刻Ｐ３の画像データが最も古いものとなる。

過去の映像データを取得すると、潜在的不審者検出部３０３は、不審者ともに複数のカメラ１０にて同時に写る候補者の有無を判定する。例えば、図８（ｂ）を参照すると、不審者Ｓと候補者Ａがカメラ１０－１に同時に映っている。また、図８（ｄ）を参照すると、不審者Ｓ、候補者Ａ及びＣがカメラ１０－３にて同時に映っている。この場合、複数のカメラ１０にて不審者Ｓと同時に映っているのは候補者Ａであるから、潜在的不審者検出部３０３は、候補者Ａを潜在的不審者として検出する。なお、候補者Ｃは、一度、不審者Ｓと一緒にカメラ１０－３の映像データに写っているに過ぎないので、潜在的不審者として検出されない。

続いて、図９を参照しつつ、第２の判定基準について説明する。この場合にも、不審者検出部３０２は、時刻Ｔにおいて不審者Ｓを検出したものとする。また、不審者Ｓが検出されると、潜在的不審者検出部３０３は、第１の判定基準の場合と同じように、候補者Ａ～Ｃを抽出する。つまり、第２の判定基準についても、図８（ａ）の状況が検出されたものとする。

次に、潜在的不審者検出部３０３は、映像サーバ２０に対して、各カメラ１０における時刻Ｔからの過去の映像データの提出を要求する。第２の判定基準に関しても、時刻Ｐ３から時刻Ｔまでの映像データの提出を要求したものとする。

過去の映像データを取得すると、潜在的不審者検出部３０３は、不審者Ｓと候補者Ａ～Ｃそれぞれについて、上記期間内（時刻Ｐ３～Ｔ）の移動の軌跡を計算する。例えば、潜在的不審者検出部３０３は、映像データをなす画像データごとに人物（不審者Ｓ、候補者Ａ～Ｃ）を特定し、特定した人物の位置を計算する。例えば、潜在的不審者検出部３０３は、各カメラ１０の位置情報（座標）と各画像データから得られる各人物に関する情報（カメラ１０からの方向、画像データにおける人物の大きさ）等を用いることで各人物の位置を算出する。その後、潜在的不審者検出部３０３は、各画像データ（各時刻）にて算出された位置（座標）を接続することで、各人物に関する移動の軌跡とする。

例えば、不審者Ｓに関しては図９（ａ）に示す軌跡が、候補者Ａに関しては図９（ｂ）に示す軌跡が、候補者Ｂに関しては図９（ｃ）に示す軌跡がそれぞれ計算されたものとする。また、図９（ｄ）は上記３つの軌跡を重ね合わせた図である。図９（ｄ）において、実線が不審者Ｓの軌跡、点線が候補者Ａの軌跡、一点鎖線が候補者Ｂの軌跡にそれぞれ対応する。なお、図９以降の図面において、軌跡上の黒点近傍に時刻を記載している。

次に、潜在的不審者検出部３０３は、不審者Ｓに対応する軌跡と候補者Ａ～Ｃそれぞれに対応する軌跡の間の距離が所定の範囲内に収まっている時間（以下、行動時間と称する）を計算する。潜在的不審者検出部３０３は、各画像データ（各時刻）における不審者と候補者間の距離を計算し、当該計算した距離が所定の値以下となる画像データの数を計数することで、上記行動時間を算出できる。

例えば、図９（ａ）に示す不審者Ｓの軌跡と図９（ｂ）に示す候補者Ａの軌跡では、２つの軌跡間の距離は近く（２人の間の距離が所定値以下）、その行動時間も時刻Ｐ３～Ｔであると計算できる。対して、図９（ａ）に示す不審者Ｓの軌跡と図９（ｃ）示す候補者Ｂの軌跡では、時刻Ｐ３～Ｐ２の間は２人の間の距離は近いが、時刻Ｐ２～Ｐ１～Ｔの間は２人の間の距離は離れている（２人の距離が所定値より長い）。

潜在的不審者検出部３０３は、上記行動時間に対して閾値処理を施して、閾値以上の行動時間を有する候補者を「潜在的不審者」として検出する。

図９の例では、候補者Ａが「潜在的不審者」として検出される。

続いて、図１０を参照しつつ、第３の判定基準について説明する。この場合にも、不審者検出部３０２は、時刻Ｔにおいて不審者Ｓを検出したものとする。不審者Ｓが検出されると、潜在的不審者検出部３０３は、第１の判定基準の場合と同じように、候補者Ａ～Ｃを抽出する。つまり、第３の判定基準についても、図８（ａ）の状況が検出されたものとする。

次に、潜在的不審者検出部３０３は、第２の判定基準と同様に各人物（不審者Ｓ、候補者Ａ～Ｃ）の移動の軌跡を計算する。例えば、不審者Ｓに関しては図１０（ａ）に示す軌跡が、候補者Ａに関しては図１０（ｂ）に示す軌跡が、候補者Ｂに関しては図１０（ｃ）に示す軌跡がそれぞれ計算されたものとする。また、図１０（ｄ）は上記３つの軌跡を重ね合わせた図である。図１０（ｄ）において、実線が不審者Ｓの軌跡、点線が候補者Ａの軌跡、一点鎖線が候補者Ｂの軌跡にそれぞれ対応する。

次に、潜在的不審者検出部３０３は、不審者Ｓの軌跡と候補者Ａ～Ｃの軌跡が交差する点があるか否かを判定する。その際、交差する点がある場合には、潜在的不審者検出部３０３は、当該交差する点の時刻が所定の範囲内にあるか否かを判定する。例えば、図１０（ａ）に示す不審者Ｓの軌跡と図１０（ｂ）に示す候補者Ａの軌跡は、時刻Ｐ２にて交わっている。対して、図１０（ａ）に示す不審者Ｓの軌跡と図１０（ｃ）に示す候補者Ｂの軌跡は同一時刻で交わることはない。つまり、不審者Ｓの軌跡と候補者Ｂの軌跡は交わる点があるが、その時刻がずれており上記２つの判定のうち時刻に関する判定を満たさない。

潜在的不審者検出部３０３は、上記２つの判定（交差する点があり、その時刻が所定の範囲内）に合致する軌跡に対応する候補者を「潜在的不審者」として扱う。

図１０の例では、候補者Ａが「潜在的不審者」として検出される。

続いて、図１１を参照しつつ、第４の判定基準について説明する。

第４の判定基準についても、不審者検出部３０２は、時刻Ｔにおいて不審者Ｓを検出したものとする。その後、潜在的不審者検出部３０３は、第１の判定基準の場合と同様に候補者を抽出する。この場合、図１１（ａ）に示す状況が検出されたものとする。不審者が検出されると、潜在的不審者検出部３０３は、映像サーバ２０に対して過去の映像データの提出を要求する。

その後、潜在的不審者検出部３０３は、取得した映像データを解析して、不審者Ｓが予め定めた動作を行っているか否かを判定する。予め定めた動作とは、例えば、スマートフォン等を操作して他者と通話している動作や他者と手信号を交わしている動作が該当する。例えば、潜在的不審者検出部３０３は、取得した映像データに写る人物画像に対してパターンマッチング等の技術を適用することで、不審者が予め定めた動作を行っているか否かを判定する。例えば、不審者が腕や指を使って「×」印や「○」印を作っている場合に、潜在的不審者検出部３０３は、不審者は他者と手信号を交わしていると判定する。

不審者が予め定めた動作を行っている場合には、潜在的不審者検出部３０３は、当該予め定めた動作に対応する動作を候補者が同時刻（実質的に同じ時刻）にて行っているか否かを判定する。例えば、不審者がスマートフォン等により通話を行っていれば、同時刻に通話を行っている候補者が存在するか否かが判定される。あるいは、不審者が手信号を送っていれば、同時刻にて手信号を送っている候補者が存在するか否かが判定される。

潜在的不審者検出部３０３は、上記判定に合致する候補者を「潜在的不審者」に設定する。例えば、図１１（ｂ）を参照すると、時刻Ｐ１にて、不審者Ｓと候補者Ａが共に通話を行っている動作を行っている。従って、潜在的不審者検出部３０３は、候補者Ａを潜在的不審者として検出する。対して、候補者Ｂは時刻Ｐ２にて他者と通話しているが（図１１（ｃ）参照）、不審者Ｓが通話している時刻（時刻Ｐ１）と異なるため潜在的不審者として扱われない。

以上のように、潜在的不審者検出部３０３は、複数の判定基準（判定条件）に従い、検出された不審者に関連する人物が警備エリアに存在するか否かを判定する。なお、潜在的不審者検出部３０３は、上記４つの判定を順番に実行していき判定基準を満たす候補者が発見された場合（潜在的不審者が検出された場合）には、４つの判定処理を停止しても良いし、４つの処理を一通り実行してもよい。但し、１人の不審者に対して１人の潜在的不審者が存在するとは限らず、２人以上の潜在的不審者が存在する可能性もある。このような可能性を考慮すれば、潜在的不審者検出部３０３は、選定された候補者の全てに関し、潜在的不審者の検出処理（上記４つの判定基準による検出処理）を実行するのが望ましい。

また、上記４つの判定処理では、各処理にて映像サーバ２０から映像データを取得すると説明している。しかし、既に実行された判定処理の過程で取得した映像データを再利用可能な場合には、映像サーバ２０から映像データを取得する必要がないのは勿論である。

潜在的不審者検出部３０３は、判定結果（不審者及び／又は潜在的不審者）を検出結果出力部３０４に引き渡す。

検出結果出力部３０４は、不審者検出部３０２、潜在的不審者検出部３０３の検出結果を外部に出力する。例えば、検出結果出力部３０４は、不審者とその協力者（潜在的不審者）が検出された場合には、オペレーションセンタのオペレータに警備エリアの警備強化を要請するといった出力を行う。具体的には、検出結果出力部３０４は、オペレーションセンタのモニタ等に警備強化が必要なエリアを指定しつつ、不審者とその協力者が検出された旨を表示する。

あるいは、検出結果はＧＵＩ（Graphical User Interface）により警備会社のオペレータ等に提示されてもよい。例えば、検出結果出力部３０４は、図１２に示すような画面をオペレーションセンタのモニタに表示してもよい。

例えば、図１２を参照すると、検出結果出力部３０４は、警備エリアを示すマップに不審者及び協力者（潜在的不審者）を示しつつ、当該２人の人物に関連性があることを明示する。図１２の例では、不審者と協力者を線で結び２人の関係性を明示している。但し、図１２の例示は、不審者と潜在的不審者を明示する態様を限定する趣旨ではない。例えば、不審者や潜在的不審者を丸印が囲む、あるいは、不審者と潜在的不審者を点滅させる等の態様であってもよい。

あるいは、検出結果出力部３０４は、潜在的不審者を検出した際の根拠をモニタ等に表示してもよい。例えば、第１の判定基準により潜在的不審者を割り出した場合には、潜在的不審者が不審者と共に写る映像データを取得した複数のカメラ１０を明示してもよい。あるいは、第２、第３の判定基準により潜在的不審者を割り出した場合には、不審者及び潜在的不審者それぞれの移動軌跡をモニタ等に表示してもよい。

あるいは、検出結果出力部３０４は、映像サーバ２０から過去の映像データを取得し、不審者及び潜在的不審者の行動履歴が把握可能な動画を作成し、モニタ等に出力してもよい。つまり、検出結果出力部３０４は、映像サーバ２０から取得した映像データを加工、編集することにより、不審者や潜在的不審者が過去にどのような行動を行っていたかが把握可能な動画を作成してもよい。

さらに、不審者や潜在的不審者に関する情報（特徴量以外の情報）をデータベースサーバ４０から取得可能な場合には、検出結果出力部３０４は、当該取得した情報も合わせてモニタ等に表示してもよい。例えば、不審者の顔画像やプロフィール（氏名、住所等）がデータベースサーバ４０（あるいは、他のデータベースサーバでもよい）から取得可能な場合には、検出結果出力部３０４は、これらの情報を図１２の表示に重畳して表示してもよい。

解析サーバ３０の動作をまとめると、例えば、図１３に示すフローチャートのとおりとなる。

ステップＳ２０１において、不審者検出部３０２は、映像サーバ２０から映像データを取得したか否かを判定する。

映像データを取得していなければ（ステップＳ２０１、Ｎｏ分岐）、ステップＳ２０１の処理が継続される。映像データを取得していれば（ステップＳ２０１、Ｙｅｓ分岐）、不審者検出部３０２は、映像データから人物の顔画像を抽出すると共に、その特徴量を算出する（ステップＳ２０２）。

その後、不審者検出部３０２は、データベースサーバ４０に対して、犯罪者に関する情報（例えば、犯罪者の顔画像から算出された特徴量）の提出を要求する（ステップＳ２０３）。

ステップＳ２０４において、不審者検出部３０２は、データベースサーバ４０からの情報が受信できたか否かを判定する。

情報が受信できない場合（ステップＳ２０４、Ｎｏ分岐）には、ステップＳ２０４の処理が繰り返される。情報が受信できた場合（ステップＳ２０４、Ｙｅｓ分岐）には、不審者検出部３０２は、特徴量の比較等により不審者の検出を試みる（ステップＳ２０５）。

不審者が検出されない場合（ステップＳ２０５、Ｎｏ分岐）には、ステップＳ２０１に戻り処理が継続される。

不審者が検出された場合（ステップＳ２０５、Ｙｅｓ分岐）には、その旨が潜在的不審者検出部３０３に通知され、潜在的不審者検出部３０３が映像サーバ２０に対し、過去の所定期間における映像データの提出を要求する（ステップＳ２０６）。

ステップＳ２０７において、潜在的不審者検出部３０３は、映像サーバ２０からの映像データが取得できたか否かを判定する。映像データが受信できない場合（ステップＳ２０７、Ｎｏ分岐）には、ステップＳ２０７の処理が繰り返される。

映像データが受信できた場合（ステップＳ２０７、Ｙｅｓ分岐）には、潜在的不審者検出部３０３は、検出された不審者に関する潜在的不審者を発見する解析を行う（ステップＳ２０８）。潜在的不審者が検出されない場合（ステップＳ２０９、Ｎｏ分岐）には、ステップＳ２０１に戻り処理が継続される。潜在的不審者が検出された場合（ステップＳ２０９、Ｙｅｓ分岐）には、潜在的不審者検出部３０３は、検出結果を検出結果出力部３０４に通知する。

検出結果出力部３０４は、検出結果をオペレーションセンタのモニタ等に出力する（ステップＳ２１０）。

［データベースサーバ］
図１４は、第１の実施形態に係るデータベースサーバ４０の処理構成の一例を示す図である。図１４を参照すると、データベースサーバ４０は、通信制御部４０１と、データベースアクセス部４０２と、を含んで構成される。

通信制御部４０１は、映像サーバ２０の通信制御部２０１等と同様に他の装置との間の通信を制御する。

データベースアクセス部４０２は、犯罪者に関する情報等が格納されたデータベースにアクセスし、解析サーバ３０からの情報提出要求を処理する。より具体的には、データベースアクセス部４０２は、解析サーバ３０から犯罪者に関する情報の提出を要求されると、データベースから必要な情報を読み出し応答する。

データベースサーバ４０の動作をまとめると、例えば、図１５に示すフローチャートのとおりとなる。

ステップＳ３０１において、データベースアクセス部４０２は、解析サーバ３０からの情報提出要求を受信したか否かを判定する。情報提出要求を受信していれば（ステップＳ３０１、Ｙｅｓ分岐）、データベースアクセス部４０２は、データベースから必要な情報を読み出し、解析サーバ３０に送信する（ステップＳ３０２）。情報提出要求を受信していなければ（ステップＳ３０１、Ｎｏ分岐）、ステップＳ３０１に戻り処理が継続される。

［システムの動作］
次に、図１６を参照しつつ、第１の実施形態に係る監視システムの動作を説明する。

ステップＳ０１において、映像サーバ２０は、最新の映像データを所定の間隔にて解析サーバ３０に送信する。つまり、映像サーバ２０は、警備エリアのリアルタイムな情報を解析サーバ３０に出力する。

解析サーバ３０は、当該映像データに写る人物の顔画像を抽出し、その特徴量を算出する（ステップＳ０２）。

その後、解析サーバ３０は、データベースサーバ４０に対し、犯罪者に関する情報の提出を要求する（ステップＳ０３）。

データベースサーバ４０は、当該要求に応じて、犯罪者に関する情報を解析サーバ３０に送信する（ステップＳ０４）。

解析サーバ３０は、先に算出した特徴量と犯罪者に関する情報を用いて、映像データに写る人物の照合処理（映像データに写る人物が犯罪者データベースに登録されているか否かの判定処理）を実行する（ステップＳ０５）。

照合処理の結果、映像データに写る人物が犯罪者データベースに登録されていなければ、ステップＳ０１～Ｓ０５の処理が繰り返される。照合処理の結果、映像データに写る人物が犯罪者データベースに登録されていれば、当該人物は不審者として扱われ、対応する潜在的不審者の検出が開始される。

このように、第１の実施形態に係る監視システムでは、カメラ１０及び映像サーバ２０を介して現場（警備エリア）の状況をリアルタイムに把握し、不審者の存在を直ちに検出する。不審者が存在すれば、図１６のステップＳ１１以降の処理が実行される。

ステップＳ１１において、解析サーバ３０は、必要な映像データを「時間（期間）」、「場所」及び「カメラＩＤ」等により指定し、映像データの出力を映像サーバ２０に要求する。

映像サーバ２０は、当該要求に応じて、記憶媒体から必要なデータを読み出して映像データとして出力する（ステップＳ１２）。

その後、解析サーバ３０は、映像データを解析することで、潜在的不審者の有無を判定する（ステップＳ１３）。

その後、解析サーバ３０は、潜在的不審者等の検出結果を出力する（ステップＳ１４）。

なお、図１６の例示では、検出された潜在的不審者が犯罪履歴を有するかの確認は行われていない。そこで、図１７に示すように、潜在的不審者に関しても犯罪者データベースに登録されているかの判定がなされてもよい。

具体的には、ステップＳ１３－１において、解析サーバ３０は、犯罪者に関する情報提出をデータベースサーバ４０に要求する。データベースサーバ４０は、当該要求に応じて、犯罪者に関する情報を送信する（ステップＳ１３－２）。解析サーバ３０は、潜在的不審者の顔画像から算出した特徴量とデータベースサーバ４０から取得した特徴量を用いて、潜在的不審者に関する照合処理を行う（ステップＳ１３－３）。その後、解析サーバ３０は、ステップＳ１４において、当該照合処理の結果も含めて検出結果を出力してもよい。

以上のように、第１の実施形態に係る監視システムでは、警備エリアに不審者の存在を認めると、当該不審者と所定の関係を有するであろうと推定される潜在的不審者の検出を試みる。具体的には、第１の実施形態に係る監視システムでは、上述した４つの判定基準を用いて、潜在的不審者の検出を試みる。その結果、主たる監視対象（例えば、前科がある人物）に加え、主たる監視対象と関連性のある対象（例えば、前科者と行動を共にする人物）の検出が可能となる。犯罪者は単独で行動しているとは限らず、複数の協力者（共犯者）が存在する可能性がある。このような場合であっても、第１の実施形態に係る監視システムでは、不審者の潜在的な協力者等を検出することができる。その結果、事前に警備体制の強化など対策を打つことや、潜在的不審者の数等により計画されている犯罪の規模（犯罪リスク）を事前に見積もることが可能となる。

［第２の実施形態］
続いて、第２の実施形態について図面を参照して詳細に説明する。

第２の実施形態では、第１の実施形態にて説明した潜在的不審者の検出処理の精度をより向上させることを説明する。なお、第２の実施形態におけるシステム構成や各機器の構成は、第１の実施形態と同様とすることができるので、図２や図４等に相当する説明を省略する。

第１の実施形態では、第１～第４の判定基準のいずれかに該当する候補者が存在すれば、当該候補者を「潜在的不審者」に設定していた。しかし、このような処理であると、警備エリアに多くの人が存在する場合などで、誤検出（不審者と無関係であるにも関わらず潜在的不審者と誤判定）が増加する可能性がある。例えば、図１１を用いて説明した第４の判定基準では、不審者と同じタイミングで通話を行っている候補者は「潜在的不審者」として検出される。しかし、大きなイベントの会場等が警備エリアであるような場合には、多くの人が同時に通話を行っていることが想定され、結果として多くの「潜在的不審者」が検出されることになる。

そこで、第２の実施形態に係る潜在的不審者検出部３０３は、複数の候補者それぞれに関して、上述の複数の判定基準に合致する数を算出し、算出された数に基づき潜在的不審者を検出する。より具体的には、潜在的不審者検出部３０３は、各候補者に関し、第１～第４の判定基準に係る判定処理を実施し、各判定処理に該当した回数を関連性スコアとして算出する。その後、潜在的不審者検出部３０３は、各候補者の関連性スコアに対して閾値処理を施すことで、潜在的不審者を決定する（潜在的不審者の数を絞り込む）。

例えば、潜在的不審者検出部３０３は、図１８に示すようなテーブル情報を作成する。図１８を参照すると、候補者Ａに関しては第１～第４の判定基準に該当するために、関連性スコアが「４」として算出される。対して、候補者Ｂに関しては、第２及び第３の判定基準が非該当であるので、関連性スコアが「２」として算出される。従って、候補者が「潜在的不審者」であるか否かを定める閾値を「３」とすれば、候補者Ａは潜在的不審者として検出され、候補者Ｂは不審者と無関係であると判定される。

あるいは、潜在的不審者検出部３０３は、各判定基準に重みを付けて関連性スコアを算出してもよい。例えば、図１９（ａ）に示すように、各判定基準に対して予め重みを付与しておく。そして、潜在的不審者検出部３０３は、予め定めた重みと判定結果に基づき関連性スコアを算出する。

例えば、図１９（ａ）のように重みを定めると、候補者ＡとＢの関連性スコアはそれぞれ「３７」と「７」となる。潜在的不審者検出部３０３は、重み付けされた判定基準に従って算出された関連性スコアに対して閾値処理を実行し、潜在的不審者を検出する。

また、第２の実施形態のように、関連性スコアを用いて潜在的不審者の検出を行う場合には、当該スコアを減少させる仕組みを導入しても良い。例えば、イベント会場等で人の入退場が監視カメラにより把握可能な場合であって、不審者と判定された人物と潜在的不審者と判定された人物が同時に入場している場合には、潜在的不審者検出部３０３は、上記関連性スコアを減少させる等の処理を施してもよい。このことは、不審者とその共犯者が同時に入場するよりも、個別に入場する方がより可能性が高いであろうという考えに基づく。

第２の実施形態によれば、関連性スコアを用いて潜在的不審者を検出することで、その検出精度を向上させることができる。

上記実施形態にて説明した監視システムの構成等は例示であって、システムの構成を限定する趣旨ではない。例えば、映像サーバ２０、解析サーバ３０及びデータベースサーバ４０が統合され、一台の装置によりこれらの機能が実現されていてもよい。あるいは、各装置の一部の機能が他の装置により実現されてもよい。例えば、解析サーバ３０による不審者検出処理（不審者検出部３０２の処理）がデータベースサーバ４０により実現されてもよい。この場合、解析サーバ３０とデータベースサーバ４０の間におけるデータ送受信を軽減することができる。

上記実施形態では、警備システムに本願開示の監視システムを適用する場合について説明した。しかし、本願開示のシステムは、警備システム以外にも適用可能である。例えば、警察等による捜査システムに本願開示を適用すれば、共犯者も含めて犯罪者の特定、逮捕等が可能となる。あるいは、デパートやテーマパーク等の商業施設における迷子の捜索システムに本願開示を適用することができる。例えば、主たる監視対象に「親又は子」のいずれかを設定しつつ、過去の映像データを解析することで、当該主たる対象と関連する動作（例えば、辺りを見回すような動作）を行っている人物を特定する。その結果、迷子を捜す親又は親を探す子を素早く検出することができる。あるいは、試験会場等における不正防止に本願開示の監視システムを適用することもできる。

上記実施形態では、カメラ１０は固定カメラを想定しているが、システムにて使用されるカメラは警備員等が装着するウェアブルカメラ等であってもよいし、ドローン等に搭載されるカメラであってもよい。この場合、時間によって取得された映像の位置が異なるため、各カメラは映像を映像サーバ２０に映像データを送る際に自身の位置情報等を送ることが望ましい。解析サーバ３０は、当該カメラの位置情報も考慮して映像データの解析（例えば、不審者等の移動軌跡の計算）を行う。

上記実施形態では、犯罪者データベースに登録されている人物を「不審者」として扱っているが、不審者の検出は犯罪者データベースを利用した方法に限定されない。例えば、カメラから送信されてくる映像をオペレータが確認し、当該オペレータが「不審者」の検出を行っても良い。この場合、管理者はＧＵＩ等を用いて解析サーバ３０に上記不審者の入力を行い、解析サーバ３０は上記説明した潜在的不審者の検出方法を実行すればよい。あるいは、例えば、特許文献２に開示されたような技術（生体情報を用いた不審者の検出）を用いて「不審者」を検出してもよい。つまり、映像データ（画像データ）以外の情報を用いて不審者を検出してもよい。

上記実施形態では、主たる監視対象及びその関連する監視対象共に「人」を設定しているが、これらの監視対象は「物」であってもよい。例えば、長時間放置されているような荷物を主たる監視対象とし、当該荷物と関係のある人物を「潜在的不審者」として探し出してもよい。あるいは、ロボットやドローン等が監視対象であってよい。つまり、主たる監視対象とその関連する監視対象の組み合わせは、「人」と「物」の任意の組み合わせとすることができる。

上記実施形態では、４つの判定基準を用いて潜在的不審者の検出を行っているが、潜在的不審者の検出は上記４つの判定基準に限定されないことは勿論である（第５、第６の判定基準を導入してもよい）。例えば、不審者と候補者の目線を解析することで、潜在的不審者の検出を行っても良い。例えば、不審者と目線を合わせた数が所定の回数以上である候補者を潜在的不審者として検出してもよいし、不審者の目線の先（見つめる先）と候補者の目線の先が一致するような場合に潜在的不審者を検出してもよい。あるいは、大多数の人間が見つめる先（例えば、コンサート会場のステージ）とは異なる場所に不審者と候補者の目線がある場合に、当該候補者を潜在的不審者として検出してもよい。

上記実施形態では、主たる監視対象（不審者）と関連性を有すると疑われる人物（潜在的不審者）の検出することを説明したが、潜在的不審者と関連性を有すると疑われる人物の検出が行われてもよい。つまり、潜在的不審者と検出された人物を「不審者」に置き替えて、当該置き替えられた不審者に対する潜在的不審者の検出が行われてもよい。このことにより、潜在的不審者と所定の関係を有すると疑われる人物までも検出することができる。

上記実施形態では、「不審者」を検出した際に存在する人物を潜在的不審者の候補者として扱っているが、当該候補者の選出は「不審者」を検出したタイミングに限定されない。例えば、上記タイミングでは顔画像が抽出されない等の事情がある場合には、過去の映像データを解析し、所定の期間内に存在する人物は全て潜在的不審者の候補者として扱われてもよい。

あるいは、不審者が検出されたタイミングにて「潜在的不審者」が検出されない場合であっても、当該検出時よりも後に「潜在的不審者」が警備エリアに現れる場合も想定される。このような場合を想定し、監視システムは、不審者が検出された場合には、定期的に映像データを映像サーバ２０から取得し、当該取得した映像データ（不審者発見時を基準とした未来の映像データ）を解析することで、潜在的不審者の検出処理を継続してもよい。

上記実施形態では、人物の特定に顔画像の特徴量を用いているが、他の特徴量を用いてもよい。例えば、映像データを解析する際に人物を特定する必要があるが、その場合に、顔画像だけではなく服装から抽出した特徴量を用いてもよい。あるいは、顔画像の特徴量と服装から抽出した特徴量をまとめて１つの特徴量（特徴量ベクトル）としてもよい。

上記実施形態では、映像サーバ２０は定期的に（所定のサンプリング間隔で）、現場の状況を解析サーバ３０に送信する場合について説明した。しかし、警備エリアには監視対象となる人が少ない場合など、カメラに人物が写ったと判断される場合に限り画像データを解析サーバ３０に送信してもよい。つまり、映像サーバ２０にて、人物や顔画像の抽出を試みて、人物等が抽出できた場合に、その際の画像データを解析サーバ３０に送信してもよい。

上述の説明で用いた複数のフローチャートでは、複数の工程（処理）が順番に記載されているが、各実施形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施形態では、例えば各処理を並行して実行する等、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上記実施形態で説明した事項は、相反しない範囲で組み合わせることができる。

上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
［付記１］
上述の第１の視点に係る解析サーバのとおりである。
［付記２］
前記映像サーバがリアルタイムに出力する映像データに基づき前記第１の監視対象を検出する、第１の検出部を備える、付記１の解析サーバ。
［付記３］
前記映像サーバは前記カメラからの映像データを蓄積し、前記映像サーバに蓄積された過去の映像データに基づき、前記第２の監視対象を検出する、第２の検出部を備える、付記２の解析サーバ。
［付記４］
前記第２の検出部は、
前記映像サーバから得られる過去の映像データを複数の判定基準に基づき解析することで、前記第２の監視対象を検出する、付記３の解析サーバ。
［付記５］
前記第２の検出部は、
前記複数の判定基準のうち少なくとも１つを満たす対象を前記第２の監視対象として検出する、付記４の解析サーバ。
［付記６］
前記第２の検出部は、
前記第２の監視対象となる候補に関して、前記複数の判定基準に合致する数を算出し、前記算出された数に基づき前記第２の監視対象を検出する、付記４の解析サーバ。
［付記７］
前記第１の検出部は、
犯罪者に関する情報をデータベースから取得し、
前記取得した犯罪者に関する情報と前記映像サーバから取得した映像データから得られる情報とに基づき、前記第１の監視対象を検出する、付記３乃至６のいずれか一に記載の解析サーバ。
［付記８］
前記犯罪者に関する情報は犯罪者の顔画像から算出された特徴量であり、
前記第１の検出部は、前記犯罪者の顔画像から算出された特徴量と、前記映像サーバから取得した映像データから算出した顔画像の特徴量と、に基づき前記第１の監視対象を検出する、付記７の解析サーバ。
［付記９］
前記第２の検出部は、
前記映像サーバから取得した映像データを解析し、複数のカメラにおいて前記第１の監視対象と共に写る対象が存在するか否かにより、前記第２の監視対象を検出する、付記３乃至８のいずれか一に記載の解析サーバ。
［付記１０］
前記第２の検出部は、
前記映像サーバから取得した映像データを解析し、前記第１の監視対象との間の距離が所定値以下、且つ、前記第１の監視対象との間の距離が前記所定以下の状態が所定の時間以上となる対象が存在するか否かにより、前記第２の監視対象を検出する、付記３乃至９のいずれか一に記載の解析サーバ。
［付記１１］
前記第２の検出部は、
前記映像サーバから取得した映像データを解析して、前記第１の監視対象が移動したことによる軌跡と、前記第２の監視対象の検出候補が移動したことによる軌跡と、を算出し、前記第１の監視対象の軌跡と前記検出候補の軌跡が交差するか否かにより、前記第２の監視対象を検出する、付記３乃至１０のいずれか一に記載の解析サーバ。
［付記１２］
前記第２の検出部は、
前記映像サーバから取得した映像データを解析し、前記第１の監視対象と関連する動作を行った対象が存在するか否かにより、前記第２の監視対象を検出する、付記３乃至１１のいずれか一に記載の解析サーバ。
［付記１３］
前記第１の監視対象と前記第２の監視対象の関連性を明示するような表示画面を出力する、出力部をさらに備える、付記１乃至１２のいずれか一に記載の解析サーバ。
［付記１４］
上述の第２の視点に係る監視システムのとおりである。
［付記１５］
前記解析サーバは、
前記映像サーバがリアルタイムに出力する映像データに基づき前記第１の監視対象を検出する、第１の検出部を備える、付記１４の監視システム。
［付記１６］
前記映像サーバは前記カメラからの映像データを蓄積し、
前記解析サーバは、
前記映像サーバに蓄積された過去の映像データに基づき、前記第２の監視対象を検出する、第２の検出部を備える、付記１５の監視システム。
［付記１７］
前記第２の検出部は、
前記映像サーバから得られる過去の映像データを複数の判定基準に基づき解析することで、前記第２の監視対象を検出する、付記１６の監視システム。
［付記１８］
前記第２の検出部は、
前記複数の判定基準のうち少なくとも１つを満たす対象を前記第２の監視対象として検出する、付記１７の監視システム。
［付記１９］
前記第２の検出部は、
前記第２の監視対象となる候補に関して、前記複数の判定基準に合致する数を算出し、前記算出された数に基づき前記第２の監視対象を検出する、付記１７の監視システム。
［付記２０］
前記第１の検出部は、
犯罪者に関する情報をデータベースから取得し、
前記取得した犯罪者に関する情報と前記映像サーバから取得した映像データから得られる情報とに基づき、前記第１の監視対象を検出する、付記１６乃至１９のいずれか一に記載の監視システム。
［付記２１］
前記犯罪者に関する情報は犯罪者の顔画像から算出された特徴量であり、
前記第１の検出部は、前記犯罪者の顔画像から算出された特徴量と、前記映像サーバから取得した映像データから算出した顔画像の特徴量と、に基づき前記第１の監視対象を検出する、付記２０の監視システム。
［付記２２］
前記第２の検出部は、
前記映像サーバから取得した映像データを解析し、複数のカメラにおいて前記第１の監視対象と共に写る対象が存在するか否かにより、前記第２の監視対象を検出する、付記１６乃至２１のいずれか一に記載の監視システム。
［付記２３］
前記第２の検出部は、
前記映像サーバから取得した映像データを解析し、前記第１の監視対象との間の距離が所定値以下、且つ、前記第１の監視対象との間の距離が前記所定以下の状態が所定の時間以上となる対象が存在するか否かにより、前記第２の監視対象を検出する、付記１６乃至２２のいずれか一に記載の監視システム。
［付記２４］
前記第２の検出部は、
前記映像サーバから取得した映像データを解析して、前記第１の監視対象が移動したことによる軌跡と、前記第２の監視対象の検出候補が移動したことによる軌跡と、を算出し、前記第１の監視対象の軌跡と前記検出候補の軌跡が交差するか否かにより、前記第２の監視対象を検出する、付記１６乃至２３のいずれか一に記載の監視システム。
［付記２５］
前記第２の検出部は、
前記映像サーバから取得した映像データを解析し、前記第１の監視対象と関連する動作を行った対象が存在するか否かにより、前記第２の監視対象を検出する、付記１６乃至２４のいずれか一に記載の監視システム。
［付記２６］
前記解析サーバは、
前記第１の監視対象と前記第２の監視対象の関連性を明示するような表示画面を出力する、出力部をさらに備える、付記１４乃至２５のいずれか一に記載の監視システム。
［付記２７］
上述の第３の視点に係る監視方法のとおりである。
［付記２８］
上述の第４の視点に係るプログラムのとおりである。
なお、付記２７及び２８の形態は、付記１の形態と同様に、付記２の形態～付記１３の形態に展開することが可能である。

本願開示では、以下の形態も可能である。

解決策
監視カメラで不審者を検出した場合、前記不審者/不審物と連携した動きをする人物を前記不審者と関連する人物（潜在的な不審者）とする。
効果
不審者の潜在的な仲間を検出することができるため、事前に警備体制の強化など対策を打つことが可能になる。

図２４は、情報処理装置の構成を例示するブロック図である。実施形態に係る解析サーバは、上図に示す情報処理装置を備えていてもよい。情報処理装置は、中央処理装置（ＣＰＵ：Central Processing Unit）およびメモリを有する。情報処理装置は、メモリに記憶されているプログラムをＣＰＵが実行することにより、解析サーバが有する各部の機能の一部または全部を実現してもよい。

形態１
監視カメラ等の映像データから不審者または不審物を検出する監視システムにおいて、
検出した不審者または不審物と連携した動きをする人物を前記不審者または前記不審物と関連のある人物とする
ことを特徴とする監視システム。
形態２
前記連携した動きとは、以下の条件のうち少なくとも一つ以上を満たすことを指す
複数のカメラで同時に映る
不審者/不審物との距離が所定値以下の場合が所定時間以上
不審者と関連性の高い動作（携帯の発信・着信等、手信号）
不審者の動線と軌跡が交わる、
形態１に記載の監視システム。

なお、引用した上記の特許文献等の各開示は、本書に引用をもって繰り込むものとする。本発明の全開示（請求の範囲を含む）の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の全開示の枠内において種々の開示要素（各請求項の各要素、各実施形態ないし実施例の各要素、各図面の各要素等を含む）の多様な組み合わせ、ないし、選択が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。特に、本書に記載した数値範囲については、当該範囲内に含まれる任意の数値ないし小範囲が、別段の記載のない場合でも具体的に記載されているものと解釈されるべきである。

１０、１０－１～１０－３ カメラ
２０ 映像サーバ
３０、１０１ 解析サーバ
３１ ＣＰＵ（Central Processing Unit）
３２ メモリ
３３ 入出力インターフェイス
３４ ＮＩＣ（Network Interface Card）
４０ データベースサーバ（ＤＢサーバ）
６１ 不審者
６２ 潜在的不審者
２０１、３０１、４０１ 通信制御部
２０２ データ蓄積部
２０３ データ出力部
３０２ 不審者検出部
３０３ 潜在的不審者検出部
３０４ 検出結果出力部
４０２ データベースアクセス部

Claims (10)

1. 所定時間以上放置されている荷物である第１の監視対象が検出された場合、前記第１の監視対象である前記荷物を放置したと推定される第２の監視対象を、カメラからの映像データを外部に出力する映像サーバから取得した映像データにおいて前記第１の監視対象である前記荷物が放置される前の移動の軌跡と前記第２の監視対象の移動の軌跡との距離から算出された行動時間が、予め設定された閾値以上であるかどうかに基づき特定する、解析サーバ。
2. 前記映像サーバがリアルタイムに出力する映像データに基づき前記第１の監視対象を検出する、第１の検出部を備える、請求項１の解析サーバ。
3. 前記映像サーバは前記カメラからの映像データを蓄積し、前記映像サーバに蓄積された過去の映像データに基づき、前記第２の監視対象を検出する、第２の検出部を備える、請求項２の解析サーバ。
4. 前記第２の検出部は、
   前記映像サーバから取得した映像データを解析し、複数のカメラにおいて前記第１の監視対象と共に写る対象が存在するか否かにより、前記第２の監視対象を特定する、請求項３の解析サーバ。
5. 前記第２の検出部は、
   前記映像サーバから取得した映像データを解析して、前記第１の監視対象が移動したことによる軌跡と、前記第２の監視対象の検出候補が移動したことによる軌跡と、を算出し、前記第１の監視対象の軌跡と前記検出候補の軌跡が交差するか否かにより、前記第２の監視対象を特定する、請求項３又は４に記載の解析サーバ。
6. 前記第２の検出部は、
   前記映像サーバから取得した映像データを解析し、前記第１の監視対象と関連する動作を行った対象が存在するか否かにより、前記第２の監視対象を特定する、請求項３乃至５のいずれか一項に記載の解析サーバ。
7. 前記第１の監視対象と前記第２の監視対象の関連性を明示するような表示画面を出力する、出力部をさらに備える、請求項１乃至６のいずれか一項に記載の解析サーバ。
8. カメラからの映像データを外部に出力する、映像サーバと、
   所定時間以上放置されている荷物である第１の監視対象が検出された場合、前記第１の監視対象である前記荷物を放置したと推定される第２の監視対象を前記映像サーバから取得した映像データにおいて前記第１の監視対象である前記荷物が放置される前の移動の軌跡と前記第２の監視対象の移動の軌跡との距離から算出された行動時間が、予め設定された閾値以上であるかどうかに基づき特定する、解析サーバと、
   を含む、監視システム。
9. カメラからの映像データを外部に出力する映像サーバから映像データを取得し、
   所定時間以上放置されている荷物である第１の監視対象が検出された場合、前記第１の監視対象である前記荷物を放置したと推定される第２の監視対象を前記映像サーバから取得した映像データにおいて前記第１の監視対象である前記荷物が放置される前の移動の軌跡と前記第２の監視対象の移動の軌跡との距離から算出された行動時間が、予め設定された閾値以上であるかどうかに基づき特定すること、
   を含む、監視方法。
10. カメラからの映像データを外部に出力する映像サーバから映像データを取得する処理と、
    所定時間以上放置されている荷物である第１の監視対象が検出された場合、前記第１の監視対象である前記荷物を放置したと推定される第２の監視対象を前記映像サーバから取得した映像データにおいて前記第１の監視対象である前記荷物が放置される前の移動の軌跡と前記第２の監視対象の移動の軌跡との距離から算出された行動時間が、予め設定された閾値以上であるかどうかに基づき特定する処理と、
    をコンピュータに実行させるプログラム。

Images