JP2007134934A - 映像情報検索システムおよび映像監視システム - Google Patents

Abstract

【課題】新たな検索規則を柔軟に追加することのできる映像情報検索システムを提供すること。
【解決手段】映像を構成する映像信号より映像の特徴を解析する映像解析部１０４と、外部より入力された検索規則に応じて映像の特徴を検索可能に表現された標識記述を生成するイベント記述生成部１０５と、映像の標識記述を映像の場面が特定可能な補助情報と関連づけて検索可能に記憶するイベントデータベース部１０６と、外部より入力された検索条件に応じてイベントデータベース部１０６を検索し、検索条件を満足する補助情報を出力する検索エンジン部１１０とを備えており、稼働中に映像の検索規則が新たに追加されても、追加された検索規則ともとにイベント記述生成部１０５が生成する標識により、追加された新たな検索規則で映像の検索をすることができる。
【選択図】図１

Description

本発明は、蓄積された映像情報の中から、所定の条件を満たす場面の映像を検索する、映像情報検索システムおよび映像監視システムに関する。

映像監視システムに使用される映像情報検索システムは、監視カメラで撮像した監視映像を客観的な現場証拠として利用することを目的に、監視映像をビデオテープやハードディスクなどの記録メディアへ蓄積するものである。映像監視は、商業店舗や公共交通機関などでの監視、最近では企業内のセキュリティ対策、さらにはテロリズムの防止など、安全確保やセキュリティシステムとして、広く普及している。近年は、多カメラ化、蓄積期間の長時間化が進行し、蓄積された監視映像のデータ量増加にともない、蓄積された長時間の映像の中から所望の場面を短時間に見つけ出す作業に、非常に長い時間が掛かってしまうことが、課題となっている。

また、映像監視以外の分野では放送やパッケージメディアの番組制作においても、映像検索は類似する課題を有し、過去から蓄積された資産である厖大な数の番組素材アーカイブの中から、所望のシーンを柔らかな検索条件で短時間で探し出すことが求められる。

従来、監視映像情報を検索するシステムの例として、図６に示す監視映像の映像信号から監視イベントを検出し、検出した一定の条件の範囲で映像検索を行う監視システムが知られている（例えば、特許文献１参照）。

図６は、上記従来の監視システムの構成を示すブロック図であって、監視映像を撮像する監視カメラ２０１と、あらかじめ登録されている監視映像の映像信号の特徴（以下、監視イベントという）を監視カメラ２０１により撮像された監視映像の映像信号から検出する監視イベント検出エンジン２０２と、監視カメラ２０１による映像信号をディジタル化した監視映像データ２０５と監視イベント検出エンジン２０２で検出した監視イベント情報データ２０６とを記憶する補助記憶装置２０４と、監視映像データ２０５と監視イベント情報データ２０６とを補助記憶装置２０４から読み出しディスプレイ２０９へ表示させるビデオ出力用表示プログラム２０７と、表示する内容を入力するタッチパネル２０８と、監視映像のウエッブページを動的に生成するＨＴＭＬ生成プログラム２１０と、生成された監視映像のウエッブページを遠隔地へネットワーク２１２を介して配信するＷＥＢサーバ２１１と、表示する内容を入力し監視映像のウエッブページを表示するパソコン２１３と、監視イベント検索エンジン２０２、ビデオ出力用表示プログラム２０７、ＨＴＭＬ生成プログラム２１０を制御するメインコントロール２０３とから構成される。

つぎに、図６に示す従来の監視システムの動作を説明する。

図６において、監視カメラ２０１により撮像した監視映像から、監視イベント検出エンジン２０２が監視イベントを検出し、監視映像データ２０５と監視イベント情報データ２０６とを補助記憶装置２０４へ記憶する。タッチパネル２０８からの入力に応じ、メインコントロール２０３からの指示によりビデオ出力用表示プログラム２０７が監視映像データ２０５および監視イベント情報データ２０６をディスプレイ２０９へ表示させる。ディスプレイ２０９には、監視映像データ２０５と監視イベント情報データ２０６が表示される。

また、パソコン２１３からの入力に応じ、メインコントロール２０３からの指示でＨＴ
ＭＬ生成プログラム２１０が監視映像データ２０５および監視イベント情報データ２０６から監視映像のウエッブページを動的に生成し、生成された監視映像のウエッブページをＷＥＢサーバ２１１がネットワーク２１２を介してパソコン２１３へ配信する。パソコン２１３には、監視映像のウエッブページが表示される。

このように従来の監視システムを用いれば、特許文献１に明示されていないが監視イベント検出エンジン２０２にあらかじめ記憶されていると考えられる監視イベント検出ルールのもとで生成された監視イベントを用いた、監視映像データ２０５の検索が可能である。
特開２０００−２２４５４２号公報（第５頁、第１０図）

しかしながら、従来の監視システムにおいては、検索条件とすることのできる検索条件の候補が、あらかじめ記憶されていると考えられる特定の監視イベント検出ルールに固定されており、監視システムにあらかじめ記憶されていない監視イベント検出ルールに基づいた監視映像データの検索をすることができないという問題があった。すなわち、監視映像データの検索条件の候補は、監視システムの導入時に決められないことが多く、また監視映像が蓄積される時点であっても決められないことも多い。たとえば、監視システムに服装の色が青色である人が写されているシーンがどれであるのかが記憶されていない場合にも、青色系の服装をした侵入者の映像を見つけ出したいという要求は、監視システムの稼働開始後にも現実にしばしば生ずるものであるが、従来の監視システムはこのような検索ができなかった。

また、新たな検索条件の候補に基づいた検索を実現するためには、検索条件の候補が固定であることを前提に構築された基本構造を変更する必要があるので、容易に検索規則を追加するシステムの再構築ができないという問題があった。

本発明は、従来の問題を解決するためになされたもので、監視映像データなどの映像の検索について、柔軟に新規の検索条件の候補を追加することができる、利便性の高い映像情報検索システムおよび映像監視システムを提供することを目的とする。

本発明の映像情報検索システムは、映像を構成する映像信号より映像の特徴を解析する映像解析手段と、外部より入力された検索規則に応じて映像の特徴を検索可能に表現された標識記述を生成する標識記述生成手段と、映像の標識記述を映像の場面が特定可能な補助情報と関連づけて検索可能に記憶する標識データベース手段と、外部より入力された検索条件に応じて標識データベース手段を検索し、検索条件を満足する補助情報を出力する検索エンジン手段とを備えたものである。

この構成により、検索条件の候補である検索規則を新たに追加する必要が生じた場合であっても、システムの基本構造を変更することなく、新たに追加された検索規則に応じた映像の検索をすることができる。

本発明の映像情報検索システムは、標識記述生成手段は、映像解析手段で解析された複数の特徴のうち相互に類似している特徴を検索規則に応じて統合し、映像の特徴を表す標識または映像の特徴の組み合わせからなる標識を付し、検索可能に表現された標識記述を生成するものである。

この構成により、相互に類似している特徴を検索規則に応じて統合するので、検索条件
の候補である検索規則を新たに追加する必要が生じた場合であっても、システムの基本構造を変更することなく、新たに追加された検索規則に応じた映像の検索をすることができる。

また、本発明の映像情報検索システムは、前記映像解析手段で解析される映像は、蓄積された映像であるものである。

この構成により、すでに蓄積されている過去の映像に対する、新たな検索規則の追加であっても、新たに追加された検索規則に応じた過去の映像の検索をすることができる。

また、本発明の映像監視システムは、対象物を撮像し撮像した対象物を示す映像を構成する映像信号を出力する映像撮像手段と、映像信号より映像の特徴を解析する映像解析手段と、映像を蓄積する映像蓄積手段と、外部より入力された検索規則に応じて映像の特徴を検索可能に表現された標識記述を生成する標識記述生成手段と、映像の標識記述を映像の場面が特定可能な補助情報と関連づけて検索可能に記憶する標識データベース手段と、外部より入力された検索条件に応じて標識データベース手段を検索し、検索条件を満足する補助情報を出力する検索エンジン手段と、補助情報に応じて映像蓄積手段から、補助情報によって特定される映像を読み出し、読み出された映像を補助情報の少なくとも一部とともに表示する映像表示手段とを備えたものである。

この構成により、検索条件の候補である検索規則を新たに追加する必要が生じた場合であっても、システムの基本構造を変更することなく、新たに追加された検索規則に応じた監視映像の検索をすることができる。

また、本発明の映像監視システムは、標識記述生成手段は、映像解析手段で解析された複数の特徴のうち相互に類似している特徴を検索規則に応じて統合し、映像の特徴を表す標識または映像の特徴の組み合わせからなる標識を付し、検索可能に表現された標識記述を生成するものである。

この構成により、相互に類似している特徴を検索規則に応じて統合するので、検索条件の候補である検索規則を新たに追加する必要が生じた場合であっても、システムの基本構造を変更することなく、新たに追加された検索規則に応じた監視映像の検索をすることができる。

また、本発明の映像監視システムは、映像解析手段で解析される映像は、映像蓄積手段で蓄積された映像であるものである。

この構成により、すでに蓄積されている過去の映像に対する、新たな検索規則の追加であっても、新たに追加された検索規則に応じた過去の監視映像の検索をすることができる。

また、本発明の映像情報検索システムは、標識記述生成手段と、標識データベース手段が、通信網によって接続されたものである。

この構成により、ネットワーク上で分散処理される、大規模の映像情報検索システムであっても、新たに追加された検索規則に応じた映像データの検索をすることができる。

また、本発明の映像監視システムは、標識記述生成手段と、標識データベース手段と、映像蓄積手段と、検索エンジン手段と、映像撮像手段のうち、少なくとも２つが通信網によって相互に接続されたものである。

この構成により、広域の映像監視などのような大規模の映像監視システムであっても、新たに追加された検索規則に応じた監視映像データの検索をすることができる。

本発明は、映像を構成する映像信号より映像の特徴を解析する映像解析手段と、外部より入力された検索規則に応じて映像の特徴を検索可能に表現された標識記述を生成する標識記述生成手段と、映像の標識記述を映像の場面が特定可能な補助情報と関連づけて検索可能に記憶する標識データベース手段と、外部より入力された検索条件に応じて標識データベース手段を検索し、検索条件を満足する補助情報を出力する検索エンジン手段とを備えることにより、利用状況に応じた柔軟な検索規則の追加が容易にでき、効率のよい映像検索ができる。

以下、本発明の実施の形態の映像監視システムについて、図面を用いて説明する。

（第１の実施の形態）
図１は、本発明の第1の実施の形態の映像監視システムを示すブロック図である。

図１において、本実施の形態の映像監視システムは、監視すべき対象物を撮像しその対象物の映像ａを出力するカメラ部１０１と、検索条件として使用される標識としてのイベントの種類と、各々のイベントのとりうる値とが入力され、検索条件の候補として検索規則ｃを出力する、キーボードや外部入力インターフェースなどの検索規則入力部１０７と、映像を検索する条件が入力され、検索条件ｇを出力する、キーボードや外部入力インターフェースなどの検索条件入力部１０８と、映像ａを構成する映像信号を解析して特徴量を抽出し、抽出された特徴量を検索規則ｃにより検索可能に記憶し、検索条件入力部１０８から入力された検索条件ｇによりその検索を行い検索結果ｈを出力する映像情報検索システム１００と、カメラ部１０１から出力される映像ａを、撮像年月日、撮像時分秒・フレーム番号などの、映像を一意に特定することのできる補助情報とともに記録デバイスへ蓄積する映像蓄積部１０２と、検索規則ｃをリストとして記憶する検索規則リスト記憶部１０９と、検索条件入力時には、検索規則リスト記憶部１０９から読み出された検索規則ｆのうち、検索条件として入力可能なイベントの種類と、各々のイベントの取りうる値を表示し、一方、検索結果表示時には、検索結果ｈに含まれ映像を一意に特定することのできる補助情報に応じて映像蓄積部１０２から読み出された蓄積映像ｊを、検索結果ｈと、検索規則リスト記憶部１０９から読み出された検索規則ｆまたはそれらの一部とともに表示する、液晶ディスプレイなどの映像表示部１０３とから構成される。

さらに、映像情報検索システム１００は、映像ａを構成している映像信号を解析し、領域の同定（たとえば、人など移動するもの、扉など設備の状態、照明）と同定した領域の特徴（たとえば、色、明るさ、大きさ、移動速度）など映像に含む情報により映像ａの特徴量ｂを出力する映像解析部１０４と、特徴量ｂの似たものをまとめ、与えられた検索規則ｃに応じてまとられた特徴量ｂの集まりの各々に標識（以下、イベントという）を付し、所定の記述規則（たとえば、ＭＰＥＧ７、ＸＭＬなど）に則り映像ａの特徴を表すイベントを記述したイベント記述ｄを生成するイベント記述生成部１０５と、イベント記述ｄを、撮像年月日、撮像時分秒・フレーム番号などの映像を一意に特定することのできる補助情報とともに、リレーショナルデータベースなどの検索可能なデータベースの形で記憶するイベントデータベース部１０６と、検索条件ｇによりイベントデータベース部１０６を検索し、検索条件に合致したイベント記述ｅをイベントデータベース部１０６から読み出し、検索結果ｈとして出力する検索エンジン部１１０とから構成される。

図２は検索規則リストの例を示す図、図３はイベントデータベースのデータ構造を示す図である。

図２に示す検索規則リストには、検索規則として、まず領域の静的な特徴（以下、ステートという）である、人物の着衣している服装の色、出入り口などのドア開閉状態、領域の大きさ、領域の移動速度、室内照明の点灯状態が記憶されている。服装の色のとり得る値は、赤、黄、青、白、判別不能を示すＮ／Ａであり、類似する所定の範囲の色は、ここで挙げたとり得る値のいずれかに属するものとしている。同様に、ドア開閉なども、とり得る値が示されている。

また、検索規則は、ステートの組み合わせや、ステートの時間的順序関係（以下、シーケンシャルという）とすることもでき、検索規則リストに記憶することができる。ステートの組み合わせの例として、服装の色とドア開閉の組み合わせが、赤でありかつ開いている、青でありかつ閉じているなどのように示されている。シーケンシャルの例として、室内照明の変化があったのちのドア開閉の変化が、室内照明の滅灯後に開となったなどのように示されている。

これら検索規則ｃは、検索規則リストとして、検索規則リスト記憶部１０９に記憶されている。

図３は、イベントデータベース部１０６に記憶されるイベントデータベースのデータ構造であって、イベントデータベース部１０６は、イベント記述生成部１０５で生成されたイベント記述ｄを、イベントが発生した撮像年月日、撮像時分秒・フレーム番号などの映像を一意に特定することのできる補助情報とともに、検索可能なデータベースの形で、各々のイベントを１レコードとして、記憶している。なお、１レコードは１イベントに対応させなくとも可能である。

図１、図２、図３を参照しながら、本実施の形態の映像監視システムの動作を説明する。

はじめに、通常時の動作を説明する。

カメラ部１０１から出力される映像ａは、映像信号蓄積部１０２が撮像年月日、撮像時分秒・フレーム番号などの映像を一意に特定することのできる補助情報を付して映像信号蓄積部１０２に蓄積される。

あわせて、映像解析部１０４が映像ａを構成している映像信号を解析し、たとえば人など移動するもの、扉など設備の状態、照明などといった特定物などが撮像されている領域の同定を行い、さらに、たとえば色、明るさ、大きさ、移動速度など、同定した領域が有する特徴的なパラメータを抽出し、映像ａのシーンに特徴的な特徴量ｂとして出力する。

イベント記述生成部１０５は、検索可能とする条件の候補の集合である検索規則ｃに適合する所定の類似範囲にある互いに類似する特徴量ｂをひと括りにまとめる統合を行い、まとられた特徴量ｂの集まりの各々をイベントとする。統合とは、たとえば服装の色の例で示せば、青色と、それに類似する色である空色、群青色、青紫色、青の強い青緑色と、これらの周辺の色を、青色で代表させる処理である。イベント記述生成部１０５は、さらに、たとえばＭＰＥＧ７、ＸＭＬなどの所定の記述規則に則りイベントを記述した、イベント記述ｄを生成する。

検索規則ｃは、検索規則入力部１０７から入力された、検索条件ｇとして使用されるイ
ベントの種類と、各々のイベントのとり得る値から成る。

映像表示部１０３は、検索規則リスト記憶部１０９から読み出された検索規則ｆから、検索条件として入力可能なイベントの種類と、各々のイベントの取りうる値を、検索条件の候補として表示し、検索条件入力部１０８より、検索条件の候補のなかから、検索条件ｇが入力される。

検索エンジン部１１０は、入力された検索条件ｇに合致するレコードをイベントデータベース部１０６の中から検索し、入力された検索条件ｇに合致したレコードをイベント記述ｅとして、イベントデータベース部１０６から読み出し、検索結果ｈとして出力する。

映像蓄積部１０２は、検索結果ｈに含まれる撮像年月日、撮像時分秒・フレームで特定される蓄積映像ｊを読み出し、映像表示部へ１０３へ出力する。

映像表示部１０３は、検索規則リスト記憶部１０９に記憶された検索規則ｆを検索規則リスト記憶部１０９から読み出し、検索規則ｆまたはそれらの一部とともに、検索エンジン部１１０での検索結果ｈおよび読み出した蓄積映像ｊを表示する。

このように、あらかじめ設けられた検索規則ｃの中で検索条件ｇにもとづいた蓄積映像ｊの検索および表示をすることができる。

つぎに、監視システムの稼働開始後に検索規則ｃを変更する場合などの、検索規則ｃに変更があった場合の動作を説明する。

検索規則ｃの変更には、検索規則ｃの追加・更新と、検索規則ｃの削除があるが、検索規則の削除があった場合の動作は、イベントデータベース部１０６から検索規則入力部１０７より入力された削除すべき検索規則ｃに関わるイベントを含むレコードを消去し、削除すべき検索規則ｃを検索規則リスト記憶部１０９から消去し、検索条件入力時に映像表示部１０３へ表示をしないことで可能である。

つぎに検索規則ｃの追加・更新があった場合の動作を説明する。

検索規則入力部１０７から、追加・更新すべきイベントの種類と、各々のイベントのとりうる値とが入力され、検索規則ｃとして出力する。

イベント記述生成部１０５は、検索規則入力部１０７から入力された検索規則ｃが新規なものであれば上述の特徴量ｂの括りの際に追加で括りをし、また、すでにある検索規則であれば、入力された検索規則ｃで括りをする統合を行う。ここで、すでにある検索規則にて行う統合とは、たとえば、すでに検索規則ｃとして服装の色の青色があった場合に、検索規則入力部１０７より入力された検索規則ｃが水色の服装であって青色と統合させるときには、水色とその周辺の色を検索規則ｃの青色で代表させる色に加える処理である。以降、イベント記述生成部１０５は、上述の動作と同様に所定の記述規則に則りイベントを記述した、イベント記述ｄを生成する。

さらに、検索規則リスト記憶部１０９に記憶されている検索規則のリストを、入力された検索規則ｃで追加・更新する。すなわち、入力された検索規則ｃが新規なものであれば検索規則リストに追加し、また、すでにある検索規則であれば、検索規則リストの検索規則のステート、シーケンシャルの別と、とり得る値を、入力された検索規則ｃで上書き更新する。

たとえば、新たな検索規則として、移動速度とドア開閉のシーケンシャルを追加し、既存の検索規則である室内照明のとり得る値に点滅繰り返しを追加した場合、検索規則リストには、いずれも図２の検索規則欄に、移動速度→ドア開閉、種別の欄にシーケンシャル、とり得る値の欄にたとえば３ｍ／ｓ後に開を追加し、また、室内照明の検索規則のとり得る値の欄は、点滅繰り返しを加え、図２に示す既存のとり得る値と合わせた４つの値、点灯、滅灯、点滅繰り返し、判別不能を示すＮ／Ａに更新される。

イベント記述生成部１０５は、追加・更新以降は、追加・更新された検索規則にしたがったイベント記述ｄを出力し、イベントデータベース部１０６にも、同様に反映される。追加・更新以降は、たとえば、図３の室内照明の欄にイベント記述ｄに応じて点滅繰り返しも現れうるようになり、イベントには図３のデータに移動速度→ドア開閉の欄が追加され、移動速度→ドア開閉の欄にはイベント記述ｄに応じた移動速度→ドア開閉の値が現れる。

以降は、上述の検索規則ｃに変更がない場合の動作と同様に動作する。このように、新たな検索規則ｃの入力により、検索規則ｃに変更があった場合においても、検索規則ｃ変更後に撮像された映像ａについて、追加・更新された検索規則ｃにもとづく新たな検索条件ｇで蓄積映像ｊの検索がされ表示がされる。

以上のように、本発明の第１の実施の形態の映像監視システムは、イベントデータベース部１０６に記憶されていない検索規則に基づく映像ａの検索が必要となった場合においても、検索規則入力部１０７より新たな検索規則ｃの追加や、既存の検索規則の更新を入力し、検索規則ｃ変更後に撮像された映像ａについて、映像蓄積部１０２に蓄積される映像ａの検索および表示をすることができるという作用を有する。

さらに、検索規則にもとづくイベントが、追加・更新された検索規則を含み、すべてイベントデータベース１０６に記憶されているため、検索規則ｃ変更後に撮像された映像ａについて変更された検索規則にもとづく検索条件ｇによる検索を行う場合であっても、検索の処理量は大幅に増えることなく、変更前の検索規則に基づく検索条件ｇによる検索と同程度の高速な検索ができるという作用を有する。

（第２の実施の形態）
図４は、本発明の第２の実施の形態の映像監視システムを示すブロック図である。

図４において、第１の実施の形態の映像監視システムとの構成上の差異は、イベントデータベース部１０６から検索規則のの追加・更新があったことを示す検索規則追加更新通知ｋが映像蓄積部１０２へ出力されることと、映像蓄積部１０２から映像蓄積部１０２に蓄積された蓄積映像ｍが映像解析部１０４へ出力されることの２点であり、他の構成は第１の実施の形態と同じである。

つぎに、図４を参照しながら、本実施の形態の映像監視システムの動作を説明する。

まず、検索規則ｃに変更がない通常時の動作は、第１の実施の形態の通常時の動作と同じである。

つぎに、検索規則ｃに変更があった場合の動作は、第１の実施の形態の検索規則ｃに変更があった場合の動作と同じ動作をしたあと、検索規則ｃの追加・更新の場合のみ、引き続いて以下の動作を行うものである。

すなわち、入力された検索規則ｃに応じて、イベントデータベース部１０６のイベント
データベースが追加または更新されると、イベントデータベース部１０６は、追加または更新された検索規則に対応するイベントの範囲を撮像年月日、撮像時分秒・フレーム番号で示した検索規則追加更新通知ｋを、映像蓄積部１０２へ出力する。映像蓄積部１０２は、検索規則追加更新通知ｋを受け、検索規則追加更新通知ｋで示される範囲の過去に撮像された蓄積映像ｍを、映像解析部１０４へ出力する。映像解析部１０４は、出力された蓄積映像ｍを受け、蓄積映像ｍに対して、本発明の第１の実施の形態で映像ａに対して行ったのと同様の映像信号の解析から特徴量ｂの出力までを行う。イベントデータベース部１０６は、蓄積映像ｍに対して得られた特徴量ｂから、本発明の第１の実施の形態と同様にして、イベント記述ｄを生成する。イベントデータベース部１０６は、蓄積映像ｍに対して得られたイベント記述ｄに応じて、イベントデータベースを更新する。

こうして、過去に蓄積されている映像ａに対しても、検索が可能なイベントが追加・更新される。

新たに追加された検索規則を用いた、過去に蓄積されている映像ａの検索は、本発明の第１の実施の形態と同様である。

このように、新たな検索規則ｃの入力により、検索規則ｃに変更があった場合においても、過去に蓄積された映像ａについて、追加・更新された検索規則にもとづく新たな検索条件ｇで蓄積映像ｊの検索および表示がされる。

以上のように、本発明の第２の実施の形態の映像監視システムは、過去に蓄積された映像ａについて、過去に蓄積された映像ａについてイベントデータベース部１０６に記憶されていない検索規則に基づく映像ａの検索が必要となった場合においても、検索規則入力部１０７より新たな検索規則ｃの追加や、既存の検索規則の更新を入力し、映像蓄積部１０２に蓄積される映像ａの検索および表示をすることができるという作用を有する。

さらに、検索規則にもとづくイベントが、追加・更新された検索規則を含み、すべてイベントデータベース１０６に記憶されているため、過去に蓄積された映像ａについて変更された検索規則にもとづく検索条件ｇによる検索を行う場合であっても、検索の処理量は大幅に増えることなく、変更前の検索規則に基づく検索条件ｇによる検索と同程度の高速な検索ができるという作用を有する。

（第３の実施の形態）
図５は、本発明の第３の実施の形態の映像監視システムを示すブロック図である。

図５において、第１および第２の実施の形態の映像監視システムとの構成上の差異は、各構成要素が通信網としてのＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）ネットワーク部１１１を介して接続されている点であり、他の構成は第１および第２の実施の形態と同じである。映像情報検索システムが、映像解析部１０４、イベント記述生成部１０５、イベントデータベース部１０６、検索エンジン部１１０から構成されることも、第１および第２の実施の形態と同じである。

各構成要素間の信号およびデータの流れ、動作の流れ、データ構造は、第１および第２の実施の形態の映像監視システムと同様であり、すなわち、第１および第２の実施の形態の作用と同じ作用を有する。

さらに、本発明の第３の実施の形態の映像監視システムは、広域監視などのような大規模かつまたはネットワーク分散配置がされた監視システムにおいても、柔軟な検索規則ｃの変更と、変更された検索規則ｃにもとづく映像ａの検索および表示ができるという作用
を有する。

なお、本実施の形態では、各構成要素をＩＰネットワーク部１１１に接続し、処理データ量が多くかつデータの受け渡し先が局所化される映像解析部１０４だけをＩＰネットワーク部１１１へ直接に接続せず、カメラ部１０１および映像蓄積部１０２を介してへ接続する構成としたが、この構成に限らず任意の複数の構成要素をひとつにまとめてＩＰネットワーク部１１１へ接続することも可能であり、また映像解析部１０４を直接にＩＰネットワーク部１１１へ接続することも同様に可能である。

また、以上の説明では、構成要素間の接続をする網をＩＰネットワークとして説明したが、ＩＰネットワークに限らず他の通信ネットワークを用いても、同様に可能である。

以上のように、本発明は、所定の条件を満たす場面の映像を検索する際に、検索条件の候補である検索規則を新たに追加する必要が生じた場合であっても、新たに追加された検索規則に応じた映像の検索をすることができるので、利用状況に応じた柔軟で効率のよい映像検索の機能が得られ、映像情報情報検索システム、映像監視システムとして有用である。

本発明の第１の実施の形態における映像監視システムのブロック図 本発明の第１の実施の形態における検索規則リストの例を示す図 本発明の第１の実施の形態におけるイベントデータベースのデータ構造を示す図 本発明の第２の実施の形態における映像監視システムのブロック図 本発明の第３の実施の形態における映像監視システムのブロック図 従来の監視システムのブロック図

符号の説明

１００ 映像情報検索システム
１０１ カメラ部
１０２ 映像蓄積部
１０３ 映像表示部
１０４ 映像解析部
１０５ イベント記述生成部
１０６ イベントデータベース部
１０７ 検索規則入力部
１０８ 検索条件入力部
１０９ 検索規則リスト記憶部
１１０ 検索エンジン部
１１１ ＩＰネットワーク部
２０１ 監視カメラ
２０２ 監視イベント検出エンジン
２０３ メインコントロール
２０４ 補助記憶装置
２０５ 監視映像データ
２０６ 監視イベント情報データ
２０７ ビデオ出力用表示プログラム
２０８ タッチパネル
２０９ ディスプレイ
２１０ ＨＴＭＬ生成プログラム
２１１ ＷＥＢサーバ
２１２ ネットワーク
２１３ パソコン

Claims (8)

1. 映像を構成する映像信号より前記映像の特徴を解析する映像解析手段と、外部より入力された検索規則に応じて前記映像の特徴を検索可能に表現された標識記述を生成する標識記述生成手段と、前記映像の前記標識記述を前記映像の場面が特定可能な補助情報と関連づけて検索可能に記憶する標識データベース手段と、外部より入力された検索条件に応じて前記標識データベース手段を検索し、前記検索条件を満足する前記補助情報を出力する検索エンジン手段とを備えた映像情報検索システム。
2. 前記標識記述生成手段は、前記映像解析手段で解析された複数の前記特徴のうち相互に類似している特徴を前記検索規則に応じて統合し、前記映像の特徴を表す標識または前記映像の特徴の組み合わせからなる標識を付し、検索可能に表現された標識記述を生成することを特徴とする請求項１に記載の映像情報検索システム。
3. 前記映像解析手段で解析される映像は、蓄積された映像である請求項１または請求項２に記載の映像情報検索システム。
4. 対象物を撮像し前記撮像した対象物を示す映像を構成する映像信号を出力する映像撮像手段と、前記映像信号より前記映像の特徴を解析する映像解析手段と、前記映像を蓄積する映像蓄積手段と、外部より入力された検索規則に応じて前記映像の特徴を検索可能に表現された標識記述を生成する標識記述生成手段と、前記映像の前記標識記述を前記映像の場面が特定可能な補助情報と関連づけて検索可能に記憶する標識データベース手段と、外部より入力された検索条件に応じて前記標識データベース手段を検索し、前記検索条件を満足する前記補助情報を出力する検索エンジン手段と、前記補助情報に応じて前記映像蓄積手段から、前記補助情報によって特定される前記映像を読み出し、前記読み出された前記映像を前記補助情報の少なくとも一部とともに表示する映像表示手段とを備えた映像監視システム。
5. 前記標識記述生成手段は、前記映像解析手段で解析された複数の前記特徴のうち相互に類似している特徴を前記検索規則に応じて統合し、前記映像の特徴を表す標識または前記映像の特徴の組み合わせからなる標識を付し、検索可能に表現された標識記述を生成することを特徴とする請求項４に記載の映像監視システム。
6. 前記映像解析手段で解析される映像は、前記映像蓄積手段で蓄積された映像である請求項４または請求項５に記載の映像監視システム。
7. 前記標識記述生成手段と、前記標識データベース手段が、通信網によって接続された、請求項１ないし請求項３のいずれか１項に記載の映像情報検索システム。
8. 前記標識記述生成手段と、前記標識データベース手段と、前記映像蓄積手段と、前記検索エンジン手段と、前記映像撮像手段のうち、少なくとも２つが通信網によって相互に接続された、請求項４ないし請求項６のいずれか１項に記載の映像監視システム。