JP4120378B2

JP4120378B2 - Surveillance system and program

Info

Publication number: JP4120378B2
Application number: JP2002353264A
Authority: JP
Inventors: 修大倉
Original assignee: Casio Computer Co Ltd
Current assignee: Casio Computer Co Ltd
Priority date: 2002-12-05
Filing date: 2002-12-05
Publication date: 2008-07-16
Anticipated expiration: 2022-12-05
Also published as: JP2004187115A

Description

【０００１】
【発明の属する技術分野】
この発明は、移動体を監視ターゲットとして撮影した撮影画像の中から監視ターゲットを抽出して再生出力する監視システムおよびプログラムに関する。
【０００２】
【従来の技術】
従来、施設内の人物を撮影した撮影画像を解析することによって人物の行動を監視する監視装置としては、例えば、以下に示す技術が知られている。すなわち、撮影画像の表示画面上でカーソル操作で不審者の位置をポイントすると、不審者を囲むカーソルエリアが表示されると共に、不審者の移動に伴ってカーソルエリアも移動するようにした旨の技術が知られている（特許文献１参照）。また、撮影画像内の人物像からその形状特徴と動き特徴を特定し、予め蓄積した不審者に関する情報と比較して、不審者を特定する旨の技術が知られている（特許文献２参照）。
【０００３】
【特許文献１】
特開２００１−１１１９８７号公報
【特許文献２】
特開平１１−３３９１３９号公報
【０００４】
【発明が解決しようとする課題】
しかしながら、上述の特許文献１の技術にあっては、撮影画像の表示画面上でカーソルを操作して不審者の位置をポイント指定するようにしている為、専用係員を配備しておかなくてはならず、しかも、人的作業では不審者を見落とす等のおそれもある。また、上述の特許文献２の技術にあっては、不審者を発見することができたとしても、撮影画像の再生時には、人的作業によって膨大な撮影画像を最初から再生させ、その中から不審者を見つけ出さなければならず、その確認作業に多大な労力と時間を要することになる。
【０００５】
この発明の課題は、移動体を監視ターゲットとして撮影した撮影画像を再生出力する際に、膨大な撮影画像の中から監視ターゲットが写っている部分のみを再生できるようにすることである。
【０００６】
【課題を解決するための手段】
請求項１記載の発明は、移動体を監視ターゲットとして撮影した撮影画像の中から監視ターゲットを抽出して再生出力する監視システムであって、施設の出入口に設置されたカメラで撮影された撮影画像に基づいて生成された監視ターゲットを特定するための画像情報を記憶する画像記憶手段と、前記施設内に設置されたカメラで撮影された撮影画像に変化があった際に、前記画像記憶手段に記憶された画像情報と前記施設内に設置されたカメラで撮影された撮影画像とを比較し、前記画像記憶手段に記憶された画像情報と前記施設内に設置されたカメラで撮影された撮影画像とが一致することにより、前記施設内に監視ターゲットが出現したことを検出し、前記施設内に設置されたカメラで撮影された撮影画像にマークを付与し、前記マーク付画像が前記施設内に設置されたカメラから外れることにより、前記施設から当該ターゲットが退出したことを検出する検出手段と、この検出手段によって監視ターゲットの出現が検出された際に、その時の現在時刻と監視ターゲットに対応するＩＤ情報とを監視スタート情報として記録手段に記録し、当該ターゲットの退出が検出された際に、その時の現在時刻と監視ターゲットに対応するＩＤ情報とを監視エンド情報として前記記録手段に記録する記録制御手段と、
時間範囲を指定した検索条件が入力された際に、前記記録制御手段により前記記録手段に記録されている監視スタート情報と監視エンド情報とに基づいて、入力された検索条件の時間範囲内の撮影画像を抽出して再生出力する再生制御手段と、を具備したことを特徴とする。
更に、コンピュータを、上述した請求項１記載の発明に示した主要手段として機能させるためのプログラムを提供する（請求項２記載の発明）。
【００１３】
【発明の実施の形態】
以下、図１〜図９を参照してこの発明の一実施形態を説明する。
図１は、この実施形態における監視システムの全体構成を示したブロック図である。
この監視システムは、会社、工場等の施設内に構築された構内通信システム（ＬＡＮシステム）であり、施設内の人物（移動体）を撮影した撮影画像を解析することによって人物の行動を監視し、撮影画像の中に監視ターゲット（後述する要注意人物）が出現したことを検出した際には、その時の情報を監視スタート情報として記録し、そのターゲットの退出が検出された際には、その時の情報を監視エンド情報として記録しておき、画像再生時においては、この監視スタート情報と監視エンド情報とによって示される範囲内の撮影画像を抽出して再生出力するようにしたもので、複数のサブシステムである入退場管理システム１、施設内監視システム２、検索システム３、警備システム４が構内通信網５を介して接続された構成となっている。
【００１４】
入退場管理システム１は、入退場カメラ群１１によって撮影された各撮影画像を解析することによって施設内に入退場する人物を管理するデータ処理装置を中核とする管理システムであり、後述する登録画像ファイル１２、要注意登録人物ＩＤメモリ１３、入退場管理テーブル１４、入場画像ファイル１５を有している。
施設内監視システム２は、複数台の監視用モニタカメラ２１によって撮影された各撮影画像を解析することによって人物監視を行うデータ処理装置を中核とする管理システムであり、後述するモニタログデータベース（ＤＢ）２２、抽象化画像ファイル２３を有している。ここで、監視用モニタカメラ２１によって撮影された各撮影画像は、対応するカメラ毎の記憶媒体６内に記録保存される。なお、記憶媒体６は、ＣＤ−ＲＯＭ、ＤＶＤ等の着脱自在な記憶媒体であり、監視用モニタカメラ２１に１体１に対応して設けられている。
【００１５】
検索システム３は、各カメラ対応の記憶媒体６から所望する画像を検索して再生出力させるデータ処理装置を中核とするもので、任意に指定された再生条件に該当する画像を各記憶媒体６の中から検索して再生出力させる。この場合、任意の人物を再生条件としたり、任意の時間帯を再生条件として指定可能となっており、人物が再生条件として指定された場合には、各カメラ対応の記憶媒体６の中から指定された人物に関する画像を抽出して再生出力し、また、時間帯が再生条件として指定された場合には、各カメラ対応の記憶媒体６の中から指定時間帯内に撮影された画像を抽出して再生出力するようにしている。
【００１６】
また、検索システム３側には、各監視用モニタカメラ２１に対応してモニタ用の表示装置が設けられており、監視用モニタカメラ２１によって撮影された撮影画像は、対応するモニタ表示装置に出力される。ここで、監視ターゲット（要注意人物）が複数台の監視用モニタカメラ２１によって同時に撮影されている場合には、その人物の行動を複数台のモニタ表示によって同時確認することができるようになっている。また、検索システム３は、ネットワークを介して入退場管理システム１側の入退場管理テーブル１４、入場画像ファイル１５、施設内監視システム２側のモニタログデータベース２２をアクセス可能となっている。
なお、警備システム４は、警備室に構築されている管理システムである。
【００１７】
図２は、施設の入退場口や施設内に設置されているカメラの配置図を概念的に示した図である。
入退場カメラ群１１は、施設の出入口に設置されている４台のカメラによって入退場者をその前後左右から撮影するもので、図中、円で囲んだ部分の各矢印は、入退場者をその前後左右から撮影することを示した撮影方向であり、入退場時に４台のカメラによって入場者、退場者を撮影するようにしている。
監視用モニタカメラ２１は、施設内全体を撮影可能範囲とする為に施設の各所に設置されたもので、図中、Ａ、Ｂ、Ｃ、Ｄは、各所に設置された監視用モニタカメラ２１を示し、施設内監視システム２は、何れかの監視用モニタカメラ２１によって撮影された撮影画像の中に監視ターゲット（要注意人物）が出現したか退出したかを検出するようにしている。
【００１８】
図３（Ａ）は、入退場管理システム１側に設けられている登録画像ファイル１２、要注意登録人物ＩＤメモリ１３を説明する為の図である。
登録画像ファイル１２は、予め要注意人物として登録されている人物の顔画像を１人物１ファイル形式で記憶するもので、この登録画像ファイル１２には、その人物を識別する為の人物ＩＤが付加されている。なお、要注意人物とは、例えば、過去に不正を行った者や不審な行動を起した者の他、出入業者等をも含む。この要注意人物の顔画像は、予め入退場カメラ群１１によって撮影されたものであり、要注意登録人物ＩＤメモリ１３は、要注意人物を識別する人物ＩＤを一覧形式で記憶管理するメモリである。
【００１９】
図３（Ｂ）は、入退場管理システム１側に設けられている入退場管理テーブル１４、入場画像ファイル１５を説明する為の図である。
入退場管理テーブル１４は、所定期間（例えば、日単位）内において入退場した要注意人物に関する情報を記憶管理するもので、要注意人物毎に、その「人物ＩＤ」、「入場時刻」、「退場時刻」の各項目を記憶する構成となっている。
「人物ＩＤ」は、入退場カメラ群１１によって撮影された撮影画像を解析することによって、施設内に向かう人物が要注意人物に該当する場合に、その登録画像ファイル１２から取得した「人物ＩＤ」である。「入場時刻」は、その要注意人物が施設の出入口から入場した際の入場時刻を示し、その際、入退場カメラ群１１によって撮影された前後左右の各撮影画像は、入場画像ファイル１５として記録される。「退場時刻」は、施設の出入口から退場した際の退場時刻を示している。
入場画像ファイル１５は、「人物ＩＤ」に対応してその前後左右の各撮影画像を保存するファイルである。
【００２０】
図４（Ａ）は、施設内監視システム２側に設けられているモニタログデータベース２２の内容を示した図である。
このモニタログデータベース２２は、監視用モニタカメラ２１毎に設けられており、施設内監視システム２は、施設内に入った要注意人物を複数台の監視用モニタカメラ２１で監視し、何れかの監視用モニタカメラ２１によって撮影された撮影画像の中に監視ターゲット（要注意人物）が出現した時の情報とそのターゲットの退出した時の情報を当該カメラ対応のモニタログデータベース２２に記録するようにしている。このモニタログデータベース２２を構成する各監視レコードは、「人物ＩＤ」、「マークＮｏ」、「開始時刻」、「終了時刻」の各項目を有する構成となっている。
【００２１】
「人物ＩＤ」は、入退場管理システム１側において要注意人物が入場したことが認識された際に、この要注意人物を特定する為の情報として入退場管理システム１側から送信されて来たもので、施設内監視システム２は、何れかの監視用モニタカメラ２１によって撮影された撮影画像の中にこの要注意人物が出現したことを検出した際に、それを監視ターゲットとして特定すると共に、このターゲットを識別する情報として当該「人物ＩＤ」を使用し、この「人物ＩＤ」を含む監視レコードを新規生成してモニタログデータベース２２内に追加登録するようにしている。
【００２２】
「マークＮｏ」は、何れかの監視用モニタカメラ２１によって撮影された撮影画像の中に監視ターゲットが出現したことが検出された際に、この撮影画像内の当該ターゲット位置に付加されるマークを識別する為の情報である。この場合、施設内監視システム２は、監視ターゲットの出現を検出した際に、図５（Ｂ−４）に示すように、その撮影画像内の当該ターゲットの位置にマークを付加し、その後、このターゲットの移動に伴ってマークを追随させるようにしているが、「マークＮｏ」は、このマーク付きターゲットを識別する為の情報である。
「開始時刻」は、監視ターゲットの出現を検出した時の情報として記憶される監視スタート情報（出現時刻）であり、「終了時刻」は、そのターゲットの退出を検出した時の情報として記憶される監視エンド情報（退出時刻）である。
【００２３】
図４（Ｂ）は、施設内監視システム２側に設けられている抽象化画像ファイル２３を説明する為の図である。
この抽象化画像ファイル２３は、視用モニタカメラ２１によって撮影された撮影画像の中に監視ターゲット（要注意人物）が含まれているかを認識する為に、その要注意人物の特徴を現した抽象化画像である。この場合、入退場管理システム１は、要注意人物が入場したことを認識した際に、この要注意人物をその左右前後から撮影した各撮影画像を解析することによってその人物の特徴を抽象化した左右前後の抽象化画像を生成して施設内監視システム２側へ送信すると、施設内監視システム２は、要注意人物毎に、その「人物ＩＤ」を付加して左右前後の抽象化画像を保存するようにしている。
【００２４】
図６は、入退場管理システム１の中核を成すデータ処理装置の基本的構成要素を示したブロック図である。
なお、施設内監視システム２を構成するデータ処理装置、検索システム３を構成するデータ処理装置も同様の構成要素を有する構成となっている為、以下、入退場管理システム１側のデータ処理装置について説明し、施設内監視システム２側および検索システム３側のデータ処理装置ついては、その説明を省略するものとする。
ＣＰＵ１０１は、記憶装置１０２内のオペレーティングシステムや各種アプリケーションソフトにしたがってこのデータ処理装置の全体動作を制御する中央演算処理装置である。記憶装置１０２は、プログラム記憶領域とデータ記憶領域とを有し、このプログラム記憶領域内には、オペレーティングシステムの他に、各種アプリケーションプログラムが格納され、磁気的、光学的、半導体メモリ等やその駆動系によって構成されている。
【００２５】
この記録装置１０２はハードディスク等の固定的なメモリの他、ＣＤ−ＲＯＭ、ＤＶＤ等の着脱自在な記憶媒体を装着可能な構成であってもよい。この記憶装置１０２内のプログラムやデータは、必要に応じてＲＡＭ（例えば、スタティックＲＡＭ）１０３にロードされたり、ＲＡＭ１０３内のデータが記憶装置１０２にセーブされる。なお、ＲＡＭ１０３内には、プログラム実行領域と作業領域とを有している。更に、ＣＰＵ１０１は通信装置１０４を介して他の電子機器側のプログラム／データを直接アクセスして使用したり、通信装置１０４を介してダウンロード受信することもできる。一方、ＣＰＵ１０１にはその入出力周辺デバイスである入力装置１０５、表示装置１０６がバスラインを介して接続されており、入出力プログラムにしたがってＣＰＵ１０１はそれらの動作を制御する。
【００２６】
次に、この実施形態における行動監視システムの動作概念を図７〜図９に示すフローチャートを参照して説明する。ここで、これらのフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードにしたがった動作を逐次実行する。また、伝送媒体を介して伝送されてきた上述のプログラムコードにしたがった動作を逐次実行することもできる。すなわち、記録媒体の他、伝送媒体を介して外部供給されたプログラム／データを利用してこの実施形態特有の動作を実行することもできる。
【００２７】
図７は、電源投入に伴って実行開始される入退場管理システム１側の動作を示したフローチャートである。
先ず、入退場管理システム１は、常時、モニタリングしている入退場カメラ群１１からの各撮影画像を取得し、各撮影画像を解析することによって施設内に向かって来る方向に移動する人物の有無をチェックする（ステップＡ１）。すなわち、入退場管理システム１は、入口方向（入場方向）に指向しているカメラに対して正面に向いた人物像が次第に大きくなったかを調べ、人物が所定の大きさになった際には、入場者有りと判別する。いま、入場者が検出されると、この入場者に対して正面のカメラを指定し、その人物の顔画像を拡大撮影させる（ステップＡ２）。そして、入退場管理システム１は、要注意登録人物ＩＤメモリ１３から「人物ＩＤ」を１つずつ読み出しながら、この「人物ＩＤ」対応の登録画像ファイル１２と入場者の顔画像とを比較し（ステップＡ３）、入場者は登録人物（要注意人物）に該当するかをチェックする（ステップＡ４）。
【００２８】
ここで、入場者が社員等の正規な人物であれば（ステップＡ４でＮＯ）、特別な処理を行わずに、ステップＡ９に移るが、入場者が何れかの要注意人物に該当する場合には、その撮影画像を保存する（ステップＡ５）。すなわち、要注意人物に該当する登録画像ファイル１２内から「人物ＩＤ」を取得すると共に、入退場カメラ群１１によって撮影された要注意人物の前後左右の撮影画像を取得し、この前後左右の撮影画像に「人物ＩＤ」を付加して、入場画像ファイル１５として保存する。そして、この「人物ＩＤ」と「現在時刻（入場時刻）」とを含む管理レコードを生成して、入退場管理テーブル１４に追加登録すると共に（ステップＡ６）、上述した前後左右の撮影画像の中からその人物の特徴を抽出して、前後左右の抽象化画像を生成した後（ステップＡ７）、各抽象化画像と当該「人物ＩＤ」とを施設内監視システム２へ送信して要注意人物が入場した旨を通知する（ステップＡ８）。
その後、最初のステップＡ１に戻って入場者の有無をチェックする。以下、要注意人物の入場を検出する毎に、上述の動作が繰り返される（ステップＡ１〜Ａ８）。
【００２９】
一方、入退場管理システム１は、施設からの退場時にも、入場時と基本的には同様の処理を行う。すなわち、入退場管理システム１は、入退場カメラ群１１からの各撮影画像を解析することによって施設から出て行く方向に移動する人物の有無をチェックする（ステップＡ９）。この場合、入退場管理システム１は、出口方向（退場方向）に指向するカメラに対して正面に向いた人物像が次第に大きくなったかを調べ、人物が所定の大きさになった際には、退場者有りと判別する。いま、退場者が検出されると、この退場者に対して正面のカメラを指定し、その人物の顔画像を拡大撮影させる（ステップＡ１０）。
【００３０】
そして、入退場管理システム１は、要注意登録人物ＩＤメモリ１３から「人物ＩＤ」を１つずつ読み出しながら、この「人物ＩＤ」対応の登録画像ファイル１２と退場者の顔画像とを比較し（ステップＡ１１）、退場者が登録人物（要注意人物）に該当する場合には（ステップＡ１２）、この登録画像ファイル１２内の「人物ＩＤ」を取得し（ステップＡ１３）、この「人物ＩＤ」に基づいて入退場管理テーブル１４をアクセスし、該当する管理レコード内に現在時刻（退場時刻）をセットする（ステップＡ１３）。以下、退場者を検出する毎に、上述の動作が繰り返される（ステップＡ９〜Ａ１４）。
【００３１】
図８は、電源投入に伴って実行開始される施設内監視システム２側の動作を示したフローチャートであり、監視用モニタカメラ２１毎に同様の動作が行われるが、図８は、モニタカメラ１台分の動作を示し、以下、図５を参照して、施設内監視システム２側の動作を説明する。図５（Ａ−１）〜（Ａ−３）は、監視用モニタカメラＡにおけるモニタ画面、（Ｂ−１）〜（Ｂ−４）は、監視用モニタカメラＢにおけるモニタ画面を示している。
なお、施設内監視システム２は、入退場管理システム１との間でデータ送受信を行い、入退場管理システム１側で要注意人物の入場が検出された際に、その「抽象化画像」と共に「人物ＩＤ」が入退場管理システム１から送信されて来た場合には、それを受信してワーク域内に一時保存するようにしている。
【００３２】
先ず、施設内監視システム２は、常時、モニタリングしている監視用モニタカメラ２１からの撮影画像を取得し、このモニタ画像を解析して画像の変化を調べ（ステップＢ１）、画像変化を検出した場合には、変化している画像は、上述したマーク付き画像かをチェックする（ステップＢ２）。いま、例えば、図５（Ａ−１）に示す如く、監視用モニタカメラＡのモニタ画面において、マーク付き画像が検出されると、このモニタ画面内における当該画像の変化位置（変化量と変化方向）を検出し、この変化位置に合わせてマーク表示位置を移動させることにより、図５（Ａ−２）に示す如く、このマークを画像移動に追随させる（ステップＢ３）。
【００３３】
この状態において、モニタ画面内のマーク位置を追跡監視し、それがモニタ画面から外れたかをチェックする（ステップＢ４）。いま、マークがモニタ画面内に有れば、最初のステップＢ１に戻り、画像移動に応じてマークを追随させるが、図５（Ａ−３）に示す如く、マークがモニタ画面から外れた場合には（ステップＢ４）、この「マークＮｏ」に基づいてモニタログデータベース２２をアクセスし、該当するモニタレコード内に「終了時刻（現在時刻）」をセットすると共に、当該モニタレコード内の「マークＮｏ」を消去した後（ステップＢ５）、最初のステップＢ１に戻り、以下、上述の動作が繰り返される。
【００３４】
また、監視用モニタカメラＢのモニタ画面において、マーク付き画像ではないことが検出された場合には（ステップＢ２）、人物の移動に伴ってモニタ内に新規に出現した人物画像（新規画像）かをチェックし（ステップＢ６）、新規画像でなければ、最初のステップＢ１に戻るが、図５（Ｂ−３）に示すように、人物の移動に伴ってモニタ内に新規画像が出現した場合には、入退場管理システム１から受信取得して一時保存してある上述の「抽象化画像」を読み出し、この「抽象化画像」と今回の「新規画像」との特徴比較を行い（ステップＢ７）、同一人物であるか否かを判別する（ステップＢ８）。
【００３５】
ここで、同一人物でなければ、最初のステップＢ１に戻るが、同一人物であれば、言換えれば、要注意人物がモニタ画面内に出現した場合には、図５（Ｂ−４）に示すように当該対象画像（要注意人物画像）にマークを付与すると共に、「マークＮｏ」を新規生成する（ステップＢ９）。そして、当該「抽象化画像」に対応して一時保存してある上述の「人物ＩＤ」を読み出し、この「人物ＩＤ」、「マークＮｏ」、「開始時刻（要注意人物が出現した現在時刻）」を含むモニタレコードを生成して、モニタログデータベース２２に追加登録する（ステップＢ１０）。
【００３６】
図９は、電源投入に伴って実行開始される検索システム３の動作を示したフローチャートである。
先ず、検索システム３は、電源投入に伴って検索メニュー画面を表示する（ステップＣ１）。この検索メニュー画面は、「１：時間検索」、「２：人物検索」の各メニュー項目を有し、オペレータによって何れかのメニュー項目が選択指定された後に、任意の検索条件（再生条件）が入力されると（ステップＣ２）、その選択メニューの判別を行う（ステップＣ３）。
【００３７】
いま、「２：人物検索」のメニュー項目が選択指定されて、その検索条件として任意の人物が入力指定されたものとする（ステップＣ１〜Ｃ３）。この場合、検索条件の入力は、例えば、次のようにして行われる。すなわち、検索システム３は、施設内監視システム２側のモニタログデータベース２２をアクセスして各「人物ＩＤ」を読み出した後に、各「人物ＩＤ」に基づいて入退場管理システム１側の登録画像ファイル１２をアクセスし、該当する人物画像を取得して一覧表示させる。この一覧画面の中から所望する人物画像が選択指定されると、この指定画像対応の「人物ＩＤ」を取得し、この「人物ＩＤ」を入力指定された検索条件として決定する。
【００３８】
これによって検索条件が入力指定された場合には、入力された「人物ＩＤ」に基づいて監視用モニタカメラ２１対応の各モニタログデータベース２２をアクセスして、「人物ＩＤ」対応のモニタレコードをカメラ毎に読み出す（ステップＣ１１）。そして、各監視用モニタカメラ２１毎に読み出したモニタレコード内から「開始時刻」および「終了時刻」を取得した後、この「開始時刻」および「終了時刻」によって示される範囲内の画像を再生対象として、各カメラ対応の記憶媒体６の中から抽出して再生出力させるが、その際、各カメラ対応のモニタ表示装置毎に、記録時刻の同期を取ってモニタ再生させる（ステップＣ１０）。つまり、複数台のモニタ表示装置には、対応する記録媒体６の内容が再生表示されるが、その際、カメラ対応のモニタレコードから取得した「開始時刻」から「終了時刻」までの範囲内の撮影画像を時刻の進行に合わせて各記録媒体６から読み出して一斉に同期表示させることによって、監視ターゲットが複数台の監視用モニタカメラ２１によって同時に撮影されている場合には、その人物の行動を複数台のモニタ表示によって同時確認することが可能となる。
【００３９】
一方、「１：時間検索」のメニュー項目が選択指定されて、その検索条件として任意の時間が入力指定された場合には（ステップＣ１〜Ｃ３）、この指定時間に施設に居た監視ターゲットを検索する為に、入退場管理システム１側の入退場管理テーブル１４をアクセスし、その「入場時刻」、「退場時刻」を参照することによってその指定時間内に施設に居た人物を特定し、その「人物ＩＤ」を抽出する（ステップＣ４）。そして、この「人物ＩＤ」に基づいて登録画像ファイル１２をアクセスし、対応の登録画像を読み出して一覧表示させる（ステップＣ５）。この登録画像の一覧表示の中から所望する人物を特定する人物の選択有無を受け付け（ステップＣ６）、人物が特定されたかを判別する（ステップＣ７）。
【００４０】
いま、登録画像の一覧表示の中から任意の人物が選択されて、検索対象の人物が特定された場合には（ステップＣ７でＹＥＳ）、指定時間内で該当する「人物ＩＤ」対応の全モニタレコードを読み出す（ステップＣ８）。すなわち、特定された人物の「人物ＩＤ」を取得し、この「人物ＩＤ」に基づいて監視用モニタカメラ２１対応の各モニタログデータベース２２をアクセスして、「人物ＩＤ」対応のモニタレコードをカメラ毎に読み出す。そして、各カメラ対応のモニタ表示装置毎に、記録時刻の同期を取ってモニタ再生させる（ステップＣ１０）。
【００４１】
また、検索対象の人物が特定されなければ（ステップＣ７でＮＯ）、指定時間に施設に居た人物毎に、その「人物ＩＤ」を取得し、この「人物ＩＤ」に基づいて監視用モニタカメラ２１対応の各モニタログデータベース２２をアクセスして、「人物ＩＤ」対応のモニタレコードをカメラ毎に読み出した後に（ステップＣ９）、各カメラ対応のモニタ表示装置毎に、記録時刻の同期を取ってモニタ再生させるが（ステップＣ１０）、この場合における再生動作は、指定時間に施設に居た人物毎に順次繰り返される。
【００４２】
以上のように、この実施形態における監視システムは、入退場管理システム１、施設内監視システム２、検索システム３等によって構成され、施設内監視システム２は、要注意人物を監視ターゲットとして撮影した撮影画像の中に監視ターゲットが出現したか退出したかを検出し、監視ターゲットの出現が検出された際には、その時の監視スタート情報として「開始時刻」を記録し、退出が検出された際には、その時の監視エンド情報として「終了時刻」をモニタログデータベース２２内に記録しておき、撮影画像の再生時において検索システム３は、モニタログデータベース２２内の「開始時刻」と「終了時刻」とによって示される範囲内の撮影画像を抽出して再生出力するようにしたから、膨大な撮影画像の中から監視ターゲットが写っている部分のみを再生することができ、その再生作業の効率化に伴って不審者等の行動監視を確実かつ迅速に行うことが可能となる。
【００４３】
入退場管理システム１は、要注意人物である監視ターゲットの入場時に、そのターゲットを撮影した撮影画像に基づいてその特徴情報を解析して抽象化画像を生成して施設内監視システム２へ送信すると、施設内監視システム２は、これを抽象化画像ファイル２３として保存しておき、入場後に撮影された撮影画像の中に当該特徴情報を持つターゲットが含まれている場合には、ターゲットの出現を検出するようにしたから、特徴比較によってターゲットの出現を確実に検出することができる。
この場合、入退場管理システム１は、抽象化画像を生成する際に、この人物をを左右前後から撮影した各撮影画像に基づいて生成するようにしたから、ターゲットの出現をより確実に検出することができる。
【００４４】
この場合、施設内監視システム２は、モニタ画面内に監視ターゲットの出現を検出した際に、モニタ画面内の当該ターゲット位置にマークを付与すると共に、このターゲットの移動に追随してマークを移動させ、このマークの位置に基づいてターゲットがモニタ画面から退出したかを検出するようにしたから、マークを追跡するだけて、ターゲットを追跡監視することができ、その監視を容易に行うことが可能となる。
【００４５】
また、複数台の監視用モニタカメラ２１によって同一ターゲットが撮影された各撮影画像に基づいて監視ターゲットの出現および退出をカメラ毎に検出すると共に、カメラ対応のモニタログデータベース２２内に「開始時刻」と「終了時刻」とをカメラ毎に記録し、このカメラ対応のモニタログデータベース２２の内容に基づいてカメラ毎に抽出された同一ターゲットの各撮影画像を再生出力するるようにしたから、複数台のカメラによって同一ターゲットを監視することによって立体的（３次元的に）な監視が可能となり、ターゲットの動きをより確実に把握することができる。
【００４６】
検索システム３は、撮影画像の検索条件が任意に指定されることによって、その指定条件に該当する撮影画像を抽出して再生出力するようにしたから、多数のターゲットが撮影された撮影画像の中から所望するターゲットの画像を任意に再生出力することができる。この場合、任意の人物を検索条件としたり、任意の時間帯を検索条件として指定することができ、人物が検索条件として指定された場合には、各カメラ対応の記憶媒体６の中から指定された人物画像を抽出して再生出力し、また、時間帯が検索条件として指定された場合には、各カメラ対応の記憶媒体６の中から指定時間帯内に撮影された画像を抽出して再生出力することができる。
【００４７】
なお、上述した実施形態においては、監視ターゲットの出現時および退出時の情報として、「開始時刻」、「終了時刻」を記録するようにしたが、時刻情報に限らず、例えば、撮影画像を逐次記録する記録媒体上の物理的な位置情報（アドレス値）を監視スタート情報、監視エンド情報として記録してもよく、また、撮影開始から終了までの撮影期間内において一定のタイミングで計数された数値情報（カウンタ値）を監視スタート情報、監視エンド情報として記録するようにしてもよい。
【００４８】
上述した実施形態においては、要注意人物を監視ターゲットとしたが、人物に限らず、例えば、施設内の自動車を監視ターゲットとしてもよく、自動車が正規な駐車スペースへ駐車したかを監視するようにしてもよい。また、監視対象は、施設に限らず、遊園地、動物園、テーマパーク等の構内であってもよい。
【００４９】
一方、コンピュータに対して、上述した各手段を実行させるためのプログラムコードをそれぞれ記録した記録媒体（例えば、ＣＤ−ＲＯＭ、フロッピィデスク、ＲＡＭカード等）を提供するようにしてもよい。
すなわち、コンピュータが読み取り可能なプログラムコードを有する記録媒体であって、移動体を監視ターゲットとして撮影した撮影画像の中に監視ターゲットが出現したかを検出すると共に、撮影画像の中から当該ターゲットが退出したかを検出する機能と、監視ターゲットの出現が検出された際に、その時の情報を監視スタート情報として記録し、当該ターゲットの退出が検出された際に、その時の情報を監視エンド情報として記録する機能と、この監視スタート情報と監視エンド情報とによって示される範囲内の撮影画像を抽出して再生出力する機能とを実現させるためのプログラムを記録したコンピュータが読み取り可能な記録媒体を提供するようにしてもよい。
【００５０】
【発明の効果】
この発明（請求項１記載の発明）によれば、施設の出入口に設置された入退場カメラで撮影された撮影画像に基づいて監視ターゲットを特定する画像情報を生成して記憶し、記憶した画像情報と施設内に設置された監視用カメラで撮影された撮影画像とを比較し、施設内における監視ターゲットの出現を検出して監視スタート情報を記録し、監視用カメラで撮影された撮影画像にマークを付与して施設内での監視ターゲットを常に監視し、マーク付画像が監視用カメラから外れることで監視ターゲットが施設内から退出したことを直ちに検出して監視エンド情報を記録できるので、施設内における監視ターゲットの出現と退出とを迅速に検出できると共に、膨大な撮影画像の中から監視ターゲットが写っている部分のみを再生することができ、その再生作業の効率化に伴って不審者等の行動監視を確実かつ迅速に行うことが可能となる。
【図面の簡単な説明】
【図１】監視システムの全体構成を示したブロック図。
【図２】施設の入退場口や施設内に設置されているカメラの配置図を概念的に示した図。
【図３】（Ａ）は、入退場管理システム１側に設けられている登録画像ファイル１２、要注意登録人物ＩＤメモリ１３を説明する為の図、（Ｂ）は、入退場管理システム１側に設けられている入退場管理テーブル１４、入場画像ファイル１５を説明する為の図。
【図４】（Ａ）は、施設内監視システム２側に設けられているモニタログデータベース２２の内容を示した図、（Ｂ）は、施設内監視システム２側に設けられている抽象化画像ファイル２３を説明する為の図。
【図５】（Ａ−１）〜（Ａ−３）は、監視用モニタカメラＡにおけるモニタ画面、（Ｂ−１）〜（Ｂ−４）は、監視用モニタカメラＢにおけるモニタ画面を示した図。
【図６】入退場管理システム１の中核を成すデータ処理装置の基本的構成要素を示したブロック図。
【図７】電源投入に伴って実行開始される入退場管理システム１側の動作を示したフローチャート。
【図８】電源投入に伴って実行開始される施設内監視システム２側のモニタカメラ１台分の動作を示したフローチャート。
【図９】電源投入に伴って実行開始される検索システム３の動作を示したフローチャート。
【符号の説明】
１入退場管理システム
２施設内監視システム
３検索システム
４警備システム
５構内通信網
６カメラ対応の記憶媒体
１１入退場カメラ群
１２登録画像ファイル
１３要注意登録人物ＩＤメモリ
１４入退場管理テーブル
１５入場画像ファイル
２１監視用モニタカメラ
２２モニタログデータベース
２３抽象化画像ファイル
１０１ＣＰＵ
１０２記憶装置
１０４通信装置
１０６表示装置[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a monitoring system and a program for extracting and reproducing and outputting a monitoring target from a captured image obtained by shooting a moving body as a monitoring target.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, as a monitoring device that monitors a person's behavior by analyzing a captured image obtained by photographing a person in a facility, for example, the following techniques are known. In other words, when the position of the suspicious person is pointed by a cursor operation on the display screen of the photographed image, a cursor area surrounding the suspicious person is displayed and the cursor area is also moved as the suspicious person moves. Is known (see Patent Document 1). Further, a technique is known in which a shape feature and a motion feature are specified from a person image in a photographed image, and compared with information on a suspicious person accumulated in advance, and a suspicious person is specified (see Patent Document 2). .
[0003]
[Patent Document 1]
JP 2001-111987
[Patent Document 2]
JP 11-339139 A
[0004]
[Problems to be solved by the invention]
However, in the technique of the above-mentioned patent document 1, since the cursor is operated on the display screen of the photographed image to designate the position of the suspicious person, a dedicated staff must be provided. Moreover, there is a risk that a suspicious person may be overlooked in human work. Further, even if the suspicious person can be found in the technique of the above-mentioned Patent Document 2, at the time of reproduction of the photographed image, a huge number of photographed images are reproduced from the beginning by human work, and the suspicious person from among them is reproduced A person must be found out, and it takes a lot of labor and time to confirm the person.
[0005]
An object of the present invention is to enable reproduction of only a portion in which a monitoring target is captured from among a large number of captured images when a captured image captured with a moving body as a monitoring target is reproduced and output.
[0006]
[Means for Solving the Problems]
The invention according to claim 1 is a monitoring system for extracting and reproducing and outputting a monitoring target from a captured image obtained by shooting a moving body as a monitoring target, Generated based on the images taken with the camera installed at the entrance of the facility Image storage means for storing image information for specifying a monitoring target; When there is a change in a captured image captured by a camera installed in the facility, Image information stored in the image storage means Photographed with a camera installed in the facility Compare with the shot image, By matching the image information stored in the image storage means with the captured image captured by the camera installed in the facility, A monitoring target has appeared thing Detect A mark is attached to a captured image taken by a camera installed in the facility, and the marked image is removed from the camera installed in the facility, thereby removing the mark from the facility. The target has left thing And detecting means for detecting the appearance of the monitoring target by this detecting means. ID information corresponding to the current time and the monitoring target; As monitoring start information Recording means And when the exit of the target is detected, ID information corresponding to the current time and the monitoring target; As monitoring end information The recording means Recording control means for recording on,
When a search condition specifying a time range is input, the recording control means Monitoring start information and monitoring end information recorded in the recording means Based on the entered search criteria time And reproduction control means for extracting and reproducing and outputting a photographed image within the range.
Furthermore, a program for causing a computer to function as the main means shown in the above-described invention according to claim 1 is provided (the invention according to claim 2).
[0013]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an embodiment of the present invention will be described with reference to FIGS.
FIG. 1 is a block diagram showing the overall configuration of the monitoring system in this embodiment.
This monitoring system is a local communication system (LAN system) built in a facility such as a company or factory, and monitors a person's behavior by analyzing a photographed image of a person (moving body) in the facility. When it is detected that a monitoring target (a cautionary person to be described later) appears in the captured image, the information at that time is recorded as monitoring start information, and when the exit of the target is detected, Is recorded as monitoring end information, and at the time of image reproduction, a captured image within the range indicated by the monitoring start information and monitoring end information is extracted and reproduced and output. The sub-system is an entrance / exit management system 1, an in-facility monitoring system 2, a search system 3, and a security system 4 connected via a local communication network 5. .
[0014]
The entrance / exit management system 1 is a management system centered on a data processing device that manages a person entering and exiting a facility by analyzing each captured image taken by the entrance / exit camera group 11, and a registration image described later. It has a file 12, a caution registered person ID memory 13, an entrance / exit management table 14, and an entrance image file 15.
The in-facility monitoring system 2 is a management system having a data processing apparatus that performs person monitoring by analyzing each captured image captured by a plurality of monitoring monitor cameras 21 as a monitor log database (DB) to be described later. ) 22 and an abstract image file 23. Here, each captured image captured by the monitoring monitor camera 21 is recorded and stored in the storage medium 6 for each corresponding camera. The storage medium 6 is a detachable storage medium such as a CD-ROM or DVD, and is provided corresponding to one monitor monitor camera 21.
[0015]
The search system 3 is centered on a data processing device that searches a desired image from a storage medium 6 corresponding to each camera, and reproduces and outputs the image. An image corresponding to an arbitrarily designated reproduction condition is stored in each storage medium 6. Search from within and play it back. In this case, an arbitrary person can be specified as a playback condition, or an arbitrary time zone can be specified as a playback condition. When a person is specified as a playback condition, it is specified from the storage medium 6 corresponding to each camera. An image related to the selected person is extracted and reproduced, and when a time zone is designated as a reproduction condition, an image photographed within the designated time zone is extracted from the storage medium 6 corresponding to each camera. Playback output.
[0016]
On the search system 3 side, a monitor display device is provided corresponding to each monitoring monitor camera 21, and a captured image taken by the monitoring monitor camera 21 is output to the corresponding monitor display device. Is done. Here, when a monitoring target (a person who needs attention) is simultaneously photographed by a plurality of monitoring monitor cameras 21, the action of the person can be simultaneously confirmed by a plurality of monitor displays. Yes. Further, the search system 3 can access the entrance / exit management table 14 on the entrance / exit management system 1 side, the entrance image file 15, and the monitor log database 22 on the facility monitoring system 2 side via the network.
The security system 4 is a management system built in the security room.
[0017]
FIG. 2 is a diagram conceptually showing an arrangement view of entrance / exit entrances of facilities and cameras installed in the facilities.
The entrance / exit camera group 11 photographs the entrance / exiters from the front / rear and left / right by four cameras installed at the entrance / exit of the facility. The shooting direction indicates that shooting is performed from the front, back, left, and right, and at the time of entering and leaving, four cameras are used to photograph the visitors and the exits.
The monitoring monitor cameras 21 are installed at various locations in the facility so that the entire facility can be photographed. In the figure, A, B, C, and D are monitoring monitor cameras 21 installed at various locations. The in-facility monitoring system 2 detects whether or not a monitoring target (a person who needs attention) appears or leaves in a captured image captured by any of the monitoring monitor cameras 21.
[0018]
FIG. 3A is a diagram for explaining the registered image file 12 and the caution registered person ID memory 13 provided on the entrance / exit management system 1 side.
The registered image file 12 stores a face image of a person registered in advance as a person requiring attention in the form of one person and one file. A person ID for identifying the person is added to the registered image file 12. Has been. Note that the person requiring attention includes, for example, a person who has made a fraud in the past or a person who has caused suspicious behavior, as well as an entry / exit trader. The face image of the person requiring attention is taken in advance by the entrance / exit camera group 11, and the person-of-care-registered person ID memory 13 is a memory for storing and managing person IDs for identifying persons requiring attention in a list format. .
[0019]
FIG. 3B is a diagram for explaining the entrance / exit management table 14 and the entrance image file 15 provided on the entrance / exit management system 1 side.
The entrance / exit management table 14 stores and manages information related to a person who needs to enter / exit within a predetermined period (for example, in units of days). For each person requiring attention, the “person ID”, “entrance time”, “ Each item of “exit time” is stored.
The “person ID” is obtained by analyzing the captured image taken by the entrance / exit camera group 11, and the “person ID” acquired from the registered image file 12 when the person heading to the facility corresponds to a person requiring attention. It is. The “entry time” indicates the entrance time when the person requiring attention enters from the entrance of the facility. At that time, the front, rear, left and right captured images taken by the entrance / exit camera group 11 are recorded as the entrance image file 15. Is done. “Exit time” indicates the exit time when exiting from the entrance of the facility.
The admission image file 15 is a file that stores the respective captured images of the front, rear, left and right in correspondence with the “person ID”.
[0020]
FIG. 4A is a diagram showing the contents of the monitor log database 22 provided on the facility monitoring system 2 side.
The monitor log database 22 is provided for each monitoring monitor camera 21, and the in-facility monitoring system 2 monitors a person requiring attention in the facility with a plurality of monitoring monitor cameras 21, and either Information when a monitoring target (a person who needs attention) appears in a captured image captured by the monitoring monitor camera 21 and information when the target leaves is recorded in the monitor log database 22 corresponding to the camera. ing. Each monitor record constituting the monitor log database 22 has items of “person ID”, “mark No.”, “start time”, and “end time”.
[0021]
The “person ID” is transmitted from the entrance / exit management system 1 side as information for identifying the person requiring attention when the entrance / exit management system 1 recognizes that the person requiring attention has entered. Therefore, when the in-facility monitoring system 2 detects the appearance of the person requiring attention in the captured image captured by any of the monitoring monitor cameras 21, it identifies it as a monitoring target, The “person ID” is used as information for identifying the target, and a monitoring record including the “person ID” is newly generated and additionally registered in the monitor log database 22.
[0022]
“Mark No” is a mark that is added to the target position in the captured image when it is detected that a monitoring target has appeared in the captured image captured by any of the monitoring monitor cameras 21. Information for identification. In this case, when the in-facility monitoring system 2 detects the appearance of the monitoring target, as shown in FIG. 5 (B-4), a mark is added to the position of the target in the captured image. The mark is caused to follow as the target moves. “Mark No” is information for identifying the marked target.
The “start time” is monitoring start information (appearance time) stored as information when the appearance of the monitoring target is detected, and the “end time” is stored as information when the exit of the target is detected. Monitoring end information (exit time).
[0023]
FIG. 4B is a diagram for explaining the abstract image file 23 provided on the facility monitoring system 2 side.
This abstracted image file 23 is an abstract representing the characteristics of a person requiring attention in order to recognize whether or not a monitoring target (person requiring attention) is included in the photographed image taken by the visual monitor camera 21. It is a converted image. In this case, when the entrance / exit management system 1 recognizes that a person of special interest has entered, the entrance / exit management system 1 has abstracted the characteristics of the person by analyzing each photographed image of the person of special interest taken from the left and right sides. When the left and right abstract images are generated and transmitted to the in-facility monitoring system 2 side, the in-facility monitoring system 2 adds the “person ID” for each person requiring attention and saves the left and right abstract images. Like to do.
[0024]
FIG. 6 is a block diagram showing the basic components of the data processing apparatus that forms the core of the entrance / exit management system 1.
In addition, since the data processing apparatus which comprises the in-facility monitoring system 2 and the data processing apparatus which comprises the search system 3 also have the structure which has the same component, hereafter, about the data processing apparatus by the entrance / exit management system 1 side The explanation will be omitted for the data processing devices on the facility monitoring system 2 side and the search system 3 side.
The CPU 101 is a central processing unit that controls the overall operation of the data processing device according to the operating system and various application software in the storage device 102. The storage device 102 has a program storage area and a data storage area. In the program storage area, various application programs are stored in addition to the operating system, and a magnetic, optical, semiconductor memory, and the like are driven. It is constituted by the system.
[0025]
The recording device 102 may be configured to be able to mount a removable storage medium such as a CD-ROM or DVD in addition to a fixed memory such as a hard disk. The programs and data in the storage device 102 are loaded into a RAM (for example, static RAM) 103 as needed, or the data in the RAM 103 is saved in the storage device 102. The RAM 103 has a program execution area and a work area. Further, the CPU 101 can directly access and use programs / data on the other electronic device side via the communication device 104, or can receive and download via the communication device 104. On the other hand, an input device 105 and a display device 106, which are input / output peripheral devices, are connected to the CPU 101 via bus lines, and the CPU 101 controls their operations in accordance with the input / output program.
[0026]
Next, the operation concept of the behavior monitoring system in this embodiment will be described with reference to the flowcharts shown in FIGS. Here, each function described in these flowcharts is stored in the form of a readable program code, and operations according to the program code are sequentially executed. It is also possible to sequentially execute operations according to the program code transmitted via the transmission medium. That is, in addition to the recording medium, an operation specific to this embodiment can be executed using a program / data supplied externally via a transmission medium.
[0027]
FIG. 7 is a flowchart showing the operation on the entrance / exit management system 1 side which is started to be executed when the power is turned on.
First, the entrance / exit management system 1 obtains each captured image from the entrance / exit camera group 11 that is constantly monitored, and analyzes whether each captured image has a person moving in the direction toward the facility. Is checked (step A1). That is, the entrance / exit management system 1 checks whether or not the image of the person facing the front gradually increases with respect to the camera oriented in the entrance direction (entrance direction). It is determined that there are visitors. Now, when a visitor is detected, a front camera is designated for this visitor, and a face image of the person is enlarged and photographed (step A2). The entrance / exit management system 1 compares the registered image file 12 corresponding to the “person ID” with the face image of the visitor while reading the “person ID” one by one from the caution registered person ID memory 13 ( In step A3), the visitor checks whether it corresponds to a registered person (person who needs attention) (step A4).
[0028]
If the visitor is a regular person such as an employee (NO in step A4), the process proceeds to step A9 without performing any special processing. Stores the captured image (step A5). That is, the “person ID” is acquired from the registered image file 12 corresponding to the person requiring attention, and the front, rear, left and right photographed images of the person of interest photographed by the entrance / exit camera group 11 are obtained. A “person ID” is added to the image and saved as an admission image file 15. Then, a management record including this “person ID” and “current time (entrance time)” is generated and additionally registered in the entrance / exit management table 14 (step A6), and the above-mentioned front, back, left and right captured images are included. The characteristics of the person are extracted from the left and right, left, right, and left abstract images are generated (step A7), and then each abstract image and the “person ID” are transmitted to the in-facility monitoring system 2, Notification of entry (step A8).
Thereafter, the process returns to the first step A1 to check the presence or absence of visitors. Hereinafter, the above-described operation is repeated every time the entry of a person requiring attention is detected (steps A1 to A8).
[0029]
On the other hand, the entrance / exit management system 1 performs basically the same processing as when entering the facility even when leaving the facility. In other words, the entrance / exit management system 1 analyzes each photographed image from the entrance / exit camera group 11 to check whether or not there is a person moving in the direction of leaving the facility (step A9). In this case, the entrance / exit management system 1 checks whether the image of the person facing the camera toward the exit direction (exit direction) gradually increases, and when the person becomes a predetermined size, It is determined that there is a person leaving. If an exit person is detected, a front camera is designated for the exit person, and a face image of the person is magnified (step A10).
[0030]
The entrance / exit management system 1 compares the registered image file 12 corresponding to the “person ID” with the face image of the exit person while reading the “person ID” one by one from the caution registered person ID memory 13 ( In step A11), if the exit person corresponds to a registered person (person who needs attention) (step A12), the "person ID" in the registered image file 12 is acquired (step A13), and the "person ID" is obtained. Based on this, the entrance / exit management table 14 is accessed, and the current time (exit time) is set in the corresponding management record (step A13). Hereinafter, the above-described operation is repeated every time the exit person is detected (steps A9 to A14).
[0031]
FIG. 8 is a flowchart showing the operation on the in-facility monitoring system 2 side that is started when the power is turned on. The same operation is performed for each monitoring monitor camera 21, but FIG. The operation of the platform is shown, and the operation on the facility monitoring system 2 side will be described below with reference to FIG. 5A-1 to 5A-3 show monitor screens in the monitoring monitor camera A, and FIGS. 5B-1 to 4B-4 show monitor screens in the monitoring monitor camera B. FIG.
The in-facility monitoring system 2 transmits / receives data to / from the entrance / exit management system 1 and when the entrance of the person requiring attention is detected on the entrance / exit management system 1 side, the “abstracted image” and “ When the “person ID” is transmitted from the entrance / exit management system 1, it is received and temporarily stored in the work area.
[0032]
First, the in-facility monitoring system 2 obtains a captured image from the monitoring camera 21 for monitoring that is constantly monitored, analyzes the monitor image to examine a change in the image (step B1), and detects an image change. In this case, it is checked whether the changing image is the image with the mark described above (step B2). Now, for example, as shown in FIG. 5A-1, when a marked image is detected on the monitor screen of the monitoring monitor camera A, the change position (change amount and change direction) of the image in the monitor screen. ) And the mark display position is moved in accordance with the change position, thereby causing the mark to follow the image movement as shown in FIG. 5A-2 (step B3).
[0033]
In this state, the mark position in the monitor screen is tracked and monitored, and it is checked whether or not it is off the monitor screen (step B4). If the mark is present in the monitor screen, the process returns to the first step B1 to follow the mark according to the image movement. However, as shown in FIG. 5A-3, when the mark is off the monitor screen. (Step B4), the monitor log database 22 is accessed based on the “mark No.”, “end time (current time)” is set in the corresponding monitor record, and “mark No” in the monitor record is set. After erasing (step B5), the process returns to the first step B1, and the above operation is repeated thereafter.
[0034]
If it is detected on the monitor screen of the monitor camera B for monitoring that the image is not a marked image (step B2), it may be a person image (new image) newly appearing in the monitor as the person moves. Is checked (step B6), and if it is not a new image, the process returns to the first step B1, but as shown in FIG. 5 (B-3), when a new image appears in the monitor as the person moves. Reads the above-mentioned "abstract image" received and acquired from the entrance / exit management system 1 and temporarily stores it, and compares the characteristics of the "abstract image" and the current "new image" (step B7). It is determined whether or not they are the same person (step B8).
[0035]
Here, if it is not the same person, the process returns to the first step B1, but if it is the same person, in other words, when a person requiring attention appears in the monitor screen, it is shown in FIG. 5 (B-4). In this way, a mark is added to the target image (personal image requiring attention) and a “mark No” is newly generated (step B9). Then, the above-described “person ID” temporarily stored corresponding to the “abstracted image” is read out, and this “person ID”, “mark No.”, “start time (current time when a person requiring attention appears) "Is generated and additionally registered in the monitor log database 22 (step B10).
[0036]
FIG. 9 is a flowchart showing the operation of the search system 3 that starts executing when the power is turned on.
First, the search system 3 displays a search menu screen as the power is turned on (step C1). This search menu screen has menu items of “1: time search” and “2: person search”. After any menu item is selected and specified by the operator, an arbitrary search condition (playback condition) is set. When entered (step C2), the selection menu is determined (step C3).
[0037]
Now, assume that the menu item “2: person search” is selected and specified, and an arbitrary person is input and specified as the search condition (steps C1 to C3). In this case, the search condition is input as follows, for example. That is, the search system 3 accesses the monitor log database 22 on the in-facility monitoring system 2 side to read each “person ID”, and then registers the registered image file on the entrance / exit management system 1 side based on each “person ID”. 12 is accessed, the corresponding person images are acquired and displayed in a list. When a desired person image is selected and designated from the list screen, a “person ID” corresponding to the designated image is acquired, and this “person ID” is determined as an input-designated search condition.
[0038]
When the search condition is input and designated in this way, each monitor log database 22 corresponding to the monitoring camera 21 is accessed based on the input “person ID”, and the monitor record corresponding to “person ID” is stored in the camera. Read every time (step C11). Then, after acquiring the “start time” and “end time” from the monitor record read for each monitoring monitor camera 21, an image within the range indicated by the “start time” and “end time” is reproduced. As described above, the data is extracted from the storage medium 6 corresponding to each camera and reproduced and output. At this time, the monitor display apparatus is synchronized with the recording time for each camera display device (step C10). In other words, the contents of the corresponding recording medium 6 are reproduced and displayed on a plurality of monitor display devices, but at this time, the range from the “start time” to the “end time” acquired from the monitor record corresponding to the camera. When the monitoring target is simultaneously captured by a plurality of monitoring monitor cameras 21 by reading out the captured images from the respective recording media 6 in accordance with the progress of time and simultaneously displaying them synchronously, the action of the person is displayed. It is possible to confirm simultaneously by displaying a plurality of monitors.
[0039]
On the other hand, if the menu item “1: time search” is selected and specified, and an arbitrary time is input and specified as the search condition (steps C1 to C3), the monitoring target that was in the facility at this specified time is selected. In order to search, the person who was in the facility within the designated time is specified by accessing the entrance / exit management table 14 on the entrance / exit management system 1 side and referring to the “entrance time” and “exit time”. The “person ID” is extracted (step C4). Then, the registered image file 12 is accessed based on the “person ID”, and the corresponding registered images are read out and displayed in a list (step C5). Whether or not a person specifying a desired person is selected from the list display of registered images is received (step C6), and it is determined whether or not a person is specified (step C7).
[0040]
Now, when an arbitrary person is selected from the list display of registered images and a person to be searched is specified (YES in step C7), all the monitors corresponding to the “person ID” corresponding within the designated time are displayed. A record is read (step C8). That is, the “person ID” of the specified person is acquired, and each monitor log database 22 corresponding to the monitoring monitor camera 21 is accessed based on this “person ID”, and the monitor record corresponding to “person ID” is stored in the camera. Read every time. Then, for each monitor display device corresponding to each camera, the recording time is synchronized to reproduce the monitor (step C10).
[0041]
If the person to be searched is not specified (NO in step C7), the “person ID” is acquired for each person in the facility at the specified time, and the monitoring monitor camera is based on the “person ID”. 21. Each monitor log database 22 corresponding to 21 is accessed and a monitor record corresponding to “person ID” is read for each camera (step C9), and then the recording time is synchronized for each monitor display device corresponding to each camera. Although the monitor is played back (step C10), the playback operation in this case is sequentially repeated for each person in the facility at the designated time.
[0042]
As described above, the monitoring system according to this embodiment includes the entrance / exit management system 1, the in-facility monitoring system 2, the search system 3, and the like, and the in-facility monitoring system 2 captures an image of a person requiring attention as a monitoring target. It is detected whether the monitoring target has appeared or exited in the image, and when the appearance of the monitoring target is detected, the "start time" is recorded as the monitoring start information at that time, and when the exit is detected Records the “end time” in the monitor log database 22 as the monitoring end information at that time, and the retrieval system 3 at the time of reproducing the photographed image reads the “start time” and “end time” in the monitor log database 22. Since the captured images within the range indicated by and are extracted and reproduced and output, the monitoring target is captured from a large number of captured images. Only portions have a can play, it is possible to perform reliably and quickly activity monitoring such as a suspicious person with the efficiency of the regeneration process.
[0043]
The entrance / exit management system 1 generates an abstract image based on a captured image obtained by capturing the target and generates an abstract image and transmits it to the in-facility monitoring system 2 when the monitoring target that is a person to be watched enters. The in-facility monitoring system 2 saves this as an abstract image file 23, and if a target having the characteristic information is included in the captured image captured after the entrance, the target is displayed. Since the detection is performed, the appearance of the target can be reliably detected by the feature comparison.
In this case, when the entrance / exit management system 1 generates the abstract image, the person is generated based on the captured images obtained by capturing the person from the left and right and left and right sides, so that the appearance of the target can be detected more reliably. be able to.
[0044]
In this case, when the facility monitoring system 2 detects the appearance of the monitoring target in the monitor screen, the facility monitoring system 2 adds a mark to the target position in the monitor screen and moves the mark following the movement of the target. Based on the position of the mark, it is detected whether the target has left the monitor screen. Therefore, the target can be tracked and monitored simply by tracking the mark, and can be easily monitored. Become.
[0045]
Further, the appearance and exit of the monitoring target are detected for each camera based on the respective captured images obtained by photographing the same target by a plurality of monitoring camera cameras 21, and “start time” is stored in the monitor log database 22 corresponding to the camera. And “end time” are recorded for each camera, and each captured image of the same target extracted for each camera based on the contents of the monitor log database 22 corresponding to the camera is reproduced and output. By monitoring the same target with these cameras, three-dimensional (three-dimensional) monitoring becomes possible, and the movement of the target can be grasped more reliably.
[0046]
Since the retrieval system 3 arbitrarily designates the retrieval condition of the photographed image, and extracts and reproduces the photographed image corresponding to the designated condition, among the photographed images in which a large number of targets are photographed. Thus, a desired target image can be arbitrarily reproduced and output. In this case, an arbitrary person can be used as a search condition, or an arbitrary time zone can be specified as a search condition. When a person is specified as a search condition, it is specified from the storage medium 6 corresponding to each camera. If the time zone is specified as a search condition, the image taken within the specified time zone is extracted from the storage medium 6 corresponding to each camera and played back. Can be output.
[0047]
In the above-described embodiment, “start time” and “end time” are recorded as information when the monitoring target appears and exits. However, the information is not limited to time information. Physical position information (address value) on the recording medium to be recorded may be recorded as monitoring start information and monitoring end information, and numerical values counted at a fixed timing within the shooting period from the start to the end of shooting. Information (counter value) may be recorded as monitoring start information and monitoring end information.
[0048]
In the embodiment described above, the person to be watched is a monitoring target. However, the monitoring target is not limited to a person. For example, a car in a facility may be used as a monitoring target, and it is monitored whether the car is parked in a regular parking space. May be. Further, the monitoring target is not limited to the facility, but may be a premise such as an amusement park, a zoo, a theme park, or the like.
[0049]
On the other hand, a recording medium (for example, a CD-ROM, a floppy disk, a RAM card, etc.) on which a program code for executing each of the above-described units is recorded may be provided to the computer.
That is, a computer-readable recording medium having a program code that detects whether a monitoring target has appeared in a captured image captured using a moving object as a monitoring target, and the target exits from the captured image. When the appearance of a monitoring target is detected, the information at that time is recorded as monitoring start information, and when the exit of the target is detected, the information at that time is recorded as monitoring end information And a computer-readable recording medium on which a program for realizing a function for extracting and reproducing and outputting a captured image within the range indicated by the monitoring start information and the monitoring end information is provided. It may be.
[0050]
【The invention's effect】
According to this invention (the invention according to claim 1), the image information for specifying the monitoring target is generated and stored based on the captured image captured by the entrance / exit camera installed at the entrance of the facility, and the stored image Compare the information with the captured image captured by the surveillance camera installed in the facility, detect the appearance of the surveillance target in the facility, record the monitoring start information, and record the captured image captured by the surveillance camera. The monitoring target in the facility is always monitored with the mark attached, and the monitoring end information can be recorded immediately by detecting that the monitoring target has left the facility by removing the marked image from the monitoring camera. It is possible to quickly detect the appearance and exit of the monitoring target in the camera, and to reproduce only the part where the monitoring target is shown in the huge number of captured images. As it is possible to perform reliably and quickly activity monitoring such as a suspicious person with the efficiency of the regeneration process.
[Brief description of the drawings]
FIG. 1 is a block diagram showing the overall configuration of a monitoring system.
FIG. 2 is a diagram conceptually showing an arrangement view of entrance / exit entrances of facilities and cameras installed in the facilities.
3A is a diagram for explaining a registered image file 12 and a caution registered person ID memory 13 provided on the entrance / exit management system 1 side, and FIG. 3B is an entrance / exit management system 1 side. The figure for demonstrating the entrance / exit management table 14 and the entrance image file 15 which are provided in FIG.
4A is a diagram showing the contents of a monitor log database 22 provided on the facility monitoring system 2 side, and FIG. 4B is an abstract image provided on the facility monitoring system 2 side. The figure for demonstrating the file 23. FIG.
FIGS. 5A to 5A are monitor screens for the monitor camera A, and FIGS. 5B to 4B are monitor screens for the monitor camera B. FIGS. Figure.
FIG. 6 is a block diagram showing basic components of a data processing apparatus that forms the core of the entrance / exit management system 1;
FIG. 7 is a flowchart showing an operation on the entrance / exit management system 1 side which is started to be executed when power is turned on.
FIG. 8 is a flowchart showing the operation of one monitor camera on the in-facility monitoring system 2 side that is started when the power is turned on.
FIG. 9 is a flowchart showing an operation of the search system 3 that is started to be executed when power is turned on.
[Explanation of symbols]
1 Entrance / exit management system
2 Facility monitoring system
3 Search system
4 Security system
5 Local communication network
6 Storage media for cameras
11 Entrance / exit cameras
12 Registered image file
13 Registered person ID memory requiring attention
14 Entrance / exit management table
15 Admission image file
21 Monitor camera for monitoring
22 Monitor log database
23 Abstract image file
101 CPU
102 storage device
104 Communication device
106 Display device

Claims

A monitoring system that extracts a monitoring target from a photographed image taken with a moving object as a monitoring target, and reproduces and outputs the monitoring target.
Image storage means for storing image information for specifying a monitoring target generated based on a captured image captured by a camera installed at the entrance of the facility ;
When there is a change in a captured image captured by a camera installed in the facility, the image information stored in the image storage means is compared with a captured image captured by a camera installed in the facility. and, by the images captured by a camera mounted to a stored image information in said facility matching the image storage means, it detects that the monitoring target has appeared in the facility, the facility grant mark image captured by the camera installed within, by the marked image is out of a camera installed in the facility, detecting means for detecting that the target from the facility has exited When,
When the appearance of the monitoring target is detected by this detection means, the current time at that time and the ID information corresponding to the monitoring target are recorded in the recording means as monitoring start information, and when the exit of the target is detected, a recording control means for recording in the recording means and the ID information corresponding to the current time and the monitoring target at that time as the monitoring end information,
When a search condition specifying a time range is input , shooting within the time range of the input search condition is performed based on the monitoring start information and the monitoring end information recorded in the recording unit by the recording control unit. Reproduction control means for extracting and reproducing and outputting images;
A monitoring system comprising:

Computer
Image storage means for storing image information for specifying a monitoring target generated based on a captured image captured by a camera installed at the entrance of the facility ;
When there is a change in a captured image captured by a camera installed in the facility, the image information stored in the image storage means is compared with a captured image captured by a camera installed in the facility. and, by the images captured by a camera mounted to a stored image information in said facility matching the image storage means, it detects that the monitoring target has appeared in the facility, the facility grant mark image captured by the camera installed within, by the marked image is out of a camera installed in the facility, detecting means for detecting that the target from the facility has exited ,
When the appearance of the monitoring target is detected by this detection means, the current time at that time and the ID information corresponding to the monitoring target are recorded in the recording means as monitoring start information, and when the exit of the target is detected, recording control means for recording in the recording means and the ID information corresponding to the current time and the monitoring target at that time as the monitoring end information,
When a search condition specifying a time range is input , shooting within the time range of the input search condition is performed based on the monitoring start information and the monitoring end information recorded in the recording unit by the recording control unit. Playback control means for extracting and playing back images;
Program to function as.