JP2008278517A - 画像記憶装置、監視システム、記憶媒体 - Google Patents

Abstract

【課題】 本発明の目的は、監視対象となる場所に生ずるさまざまな監視イベントを検出
し、そのイベントの種類に応じて映像を分類・整理して蓄積し、ユーザが閲覧・検索する
際に要する時間を大幅に短縮するインターフェイスを備えた、画像記憶装置の提供にある
。
【解決手段】 現在入力中の画像を表示する入力画像手段と入力画像に対して監視イベン
トを検出する監視イベント検出手段と検出した監視イベントに基づいて入力画像を記憶す
るか判定する録画判定手段と録画判定手段で「録画する」と判定された画像を記憶する画
像記憶手段と記憶した画像の格納場所と、検出された監視イベント情報を記録する監視イ
ベント記憶手段とユーザの閲覧要求を満たす監視イベント情報を検索し閲覧する画像を選
別し、監視イベント情報とともにレイアウトする画像選別配置手段とレイアウトされた画
像または監視イベント情報をひとつまたは複数表示する監視情報表示手段とを具備する。
【選択図】 図１０

Description

本発明は、監視映像分野で使われる映像記録装置に関わり、長時間記録した監視映像を
録画時間の数十分の一で閲覧・検索が可能な画像記憶装置の提供にある。

スーパーマーケットやコンビニエンスストア、エレベータなど、頻繁に人の出入りがあり
ながら、そこを管理・維持する側のスタッフの目が届きにくい箇所には、防犯・検挙を目
的とした監視カメラが設置されている。こうした監視システムには、集められた映像を人
間に見張らせる形態（オンライン監視と呼ぶことにする）と、映像を蓄積しておいて事後
必要な場合（犯罪発生等）に閲覧検索をする形態（蓄積型監視と呼ぶことにする）の大き
く２つが在る。蓄積型監視の形態は、オンライン監視に比べて人件費がほとんどかからな
いため、広く利用されている。この蓄積型監視では、取得された映像の蓄積に、主として
タイムラプスビデオレコーダが使われる。
タイムラプスビデオレコーダとは、通常のビデオカムコーダを基に、数百時間分の映像を
蓄積できるよう、通常秒当たり３０回行うフレーム画像録画の間隔を１秒間に数フレーム
程度からに広げて、散発的に映像を記録できるように改変したものである。一般的なビデ
オカムコーダベースのタイムラプスビデオレコーダでは、１２０分録画可能なテープメデ
ィアを使って１フレーム／秒で録画することにより約１８０時間（約８日間分）の記録が
可能である。フレーム録画の間隔を広げればさらに長時間の記録が可能であるが、監視対
象が記録映像から欠落してしまう危険があるために実際の運用上は１秒以上間隔を広げる
ことはほとんどない。また、１２０分以上の記録時間を持つテープメディアを使うことも
可能であるが、テープメディアの耐久性（破断）の問題があるため１２０分テープが使わ
れる。こうした状況から、ビデオカムコーダベースのタイムラプスビデオレコーダの最長
録画時間はほぼ１８０時間となっている。映像記録はテープの先頭から終わりに向かって
順に行われる。テープの終わりまで記録すると、自動的に巻き戻しを行い、テープの先頭
から上書きを行って行く。このようにして、常に最大１８０時間前までの映像を蓄えるよ
うになっている。映像の閲覧方法は、通常のビデオカムコーダとほぼ同じである。ただ、
そのまま普通に録画されたビデオテープと同じように再生すると３０倍速になってしまう
ので、秒数枚の割合でも再生できるようになっている。
また、一部のタイムラプスビデオレコーダでは、記録方式をデジタル化しハードディスク
上に記録するものもある。これは、VHSビデオカムコーダベースのタイムラプスビデオレ
コーダでは、機械的に記録・停止を繰り返してテープヘッドが故障したり、再生時にテー
プメディアが劣化したりといった問題点を解決するものである。こうしたデジタル記録方
式を採用したものは、従来のテープメディアに記録する方式のものと区別してデジタル・
タイムラプス・ビデオレコーダと呼ばれる。
このようにタイムラプスビデオレコーダでは長時間の蓄積が可能であるが、蓄積した映像
の再生・閲覧には大きな問題があった。まず、第一に、１８０時間分すべてを確認するの
に記録メディアの持つ録画時間（テープでは１２０分）の数倍の時間がかかってしまうと
いう点である。第二に、監視映像として意味のあるものと無いものが同時かつ交互に、記
録・再生されており、探すべき箇所の整理がされない状態で検索・閲覧を行うため、非常
に効率が悪いという点である。現状では、テープ先頭から単純に再生を行い、漠然とした
閲覧を行わざるを得ないため、目的とする映像を見落としやすい状況になっている。
以上のように、タイムラプスビデオレコーダでの蓄積映像の閲覧では、長時間に渡って映
像の判別に集中することが求められ、ユーザの苦痛となっていた。
これに対し、赤外線センサのような人感センサと組み合わせるアプローチが既にあり、解
決が可能であるように思われるが、(1) VHSビデオカムコーダベースのタイムラプスビデ
オレコーダでは、録画・停止操作を行う機械部分が頻繁なオンオフによって故障率が激増
する、(2) 人感センサの有効距離やセンサの感度の点で信頼性が乏しい、(3)新たな設置
コストがかかる、などの問題点から、実際のタイムラプスビデオレコーダの運用ではほと
んど使われておらず、問題の解決には至っていなかった。
従来のタイムラプスビデオレコーダにおける根源的な問題点は、入力される映像を何ら分
類すること無く、単に時間順で蓄積することにある。もし、人間が直接監視を行なってメ
モをとるのであれば、監視場所に生ずる変化（例：人の出入り、備品配置の変化など）に
合わせて分類・整理を行なうなどして後で探しやすくするであろう。また、閲覧の場合に
も、探したい内容（例：侵入者の顔映像、備品の破壊・盗難の有無）に合わせて、要求に
合いそうな部分だけを大まかに取り出しておいて、そこからじっくり探すといった工夫を
施す。監視を行なう時間が長くなればこうした工夫はいっそう重要である。
タイムラプスビデオレコーダでも、先に述べたような人間が行なっている整理・分類・絞
込みを行なうことができれば、これまで検索にかかっていた時間を大幅に減らすともに、
ユーザにかかる精神的な負担を著しく低減することが可能になる。

以上のように、従来の画像記憶装置（タイムラプスビデオレコーダ）は、映像を分類・
整理して蓄積する方式と、目的とする映像を探すための閲覧方式に関して問題があった。
本発明が解決しようとする課題は、監視対象となる場所に生ずるさまざまな監視イベント
（人の出入り、顔が映っているかどうか、環境の物理的変化など）を検出し、そのイベン
トの種類に応じて映像を分類・整理して蓄積し、ユーザが閲覧・検索する際に要する時間
を大幅に短縮するインターフェイスを備えた、画像記憶装置、監視システム、監視方法が
記録されたコンピュータ読みとり可能な記録媒体の提供にある。

上記の課題を解決するため、時系列に画像を入力してディジタル化する手段と現在入力
中の画像を表示する入力画像手段と入力画像に対して監視イベントを検出する監視イベン
ト検出手段と検出した監視イベントに基づいて入力画像を記憶するか判定する録画判定手
段と録画判定手段で「録画する」と判定された画像を記憶する画像記憶手段と記憶した画
像の格納場所と、検出された監視イベント情報を記録する監視イベント記憶手段とユーザ
の閲覧要求を満たす監視イベント情報を検索し閲覧する画像を選別し、監視イベント情報
とともにレイアウトする画像選別配置手段とレイアウトされた画像または監視イベント情
報をひとつまたは複数表示する監視情報表示手段とを具備する。

上記の画像記憶手段ならびに監視イベント記憶手段の媒体には、ハードディスク、DVD-
RAM、フラッシュメモリのランダムアクセスメモリを用いる。

上記の監視イベント検出手段は、特開平８−２２１５７７「移動物体検出・抽出装置」
に公開されている手法により、サンプリング時刻時の入力画像と過去に録画した画像間の
相異度から、背景構造変化の有無、照明変化の有無、移動物体の有無などをそれぞれ監視
イベントとして検出する。また、肌色領域を検出することにより、移動物体が存在するシ
ーン中に顔の候補領域が存在するかどうかを判定することにより、「顔がカメラ側に最も
向いた時点」という監視イベントを検出する。

上記の録画判定手段手段は、最新の監視イベントと、既に検出されている監視イベント
の種類・履歴と、直前に記憶した画像の録画時刻との現在時刻との差、各種記憶手段に用
いられている媒体の残り容量、ユーザが指定した最小記憶時間長などから、画像を「録画
する」かどうかを判定する。

上記の監視イベント記憶手段は、これら監視イベントについて録画すると判定された場
合に、装置内の画像が格納される場所、発生・終了した日時・フレーム映像中での位置・
カメラID（場所ID）と、監視イベントを表す特徴量を所定の場所に記憶する。

上記の画像選択配置手段は、例えば、「検知された顔画像の一覧」、「ある１時間内に
発生した監視イベントの一覧」、「在る監視イベントで録画された画像のアニメーション
表示」、「監視場所の設置物の変化時のみの一覧」、「一日の監視イベントの分布」、な
どのユーザの閲覧要求ごとに、監視イベント情報を検索し、対応する画像を選択・配置し
て、ユーザが見やすいようなビューを作成する。なお、各ビュー毎の画像選択・配置に必
要な、検索対象やレイアウトに関するルール・アルゴリズムはあらかじめ装置のファーム
ウエアとして内蔵する。

さらに別の解決手段では、上記装置に、複数表示された画像または監視イベント情報を
ユーザの閲覧操作に従って同期させる手段を追加することにより、複数のビューが連携し
て表示されるインターフェイスを実現し、ユーザに、監視イベント情報と画像を多角的・
効率的に提示する装置を実現する。

本発明によれば、録画データをランダムアクセス可能なメモリに記憶するので、記録と
同時に閲覧を行なうことができる。 また、画像がディジタル化されるているので、録画
を何回繰り返しても画質劣化が生じない。さらに、ユーザの指定した監視イベント（人の
出入り、顔が映っているかどうか、環境の物理的変化など）についてのみ、適切な間隔で
画像の記録を行なうので、録画に必要なメモリ量を低減し、長時間録画が可能となる。監
視映像を記憶する際に、さまざまな監視イベントによって映像の分類・整理して蓄積する
ので、閲覧時に目的とする監視イベントに絞込んで映像を探す事ができる。さらに、監視
イベントの時間的な分布を平面的に提示することにより、ユーザが閲覧・検索する際に要
する時間を大幅に短縮し、目的とするデータへの移動をハイパージャンプで行なうことが
できるインターフェイスを提供できるという効果がある。

以下、本発明の１実施例を詳細に説明する。

図１は、本発明の画像記憶装置を利用した監視システムの一例である。監視カメラ２０
０からの映像信号は、画像記憶装置１００のビデオ入力端子１１０から入力され、ディジ
タル画像として記録される。記録されたディジタル画像はビデオ出力端子１１０からアナ
ログ画像としてデイスプレィ２１０に表示される。また記録されたディジタル画像はＬＡ
Ｎ端子１４０からＷＡＮを通して監視センタのパソコン２２０へ送られる。その際、電話
回線なども利用可能である。画像記憶装置１００は、タッチパネル１３０とポインティン
グデバイス１9０を介した指示によって制御される。

以上のように本発明の画像記憶装置１００に接続される監視機器は、従来のアナログの
監視カメラやディスプレイがそのまま接続可能である。さらに、ネットワークを介して遠
方に監視映像を伝送できる点は、従来のタイムラプスビデオレコーダになかった機能であ
る。

図２は、本発明である画像記憶装置のシステム構成の一例である。基本的には、現在汎
用的に用いられているデジタルコンピュータのシステム構成と同じである。

まず１１１は監視カメラからの映像信号をディジタル画像に変換するA/D変換器である
。変換されたディジタル画像はインタフェース１１２を介してメモリ１７０に取り込むと
同時にビデオメモリ１１８に取り込まれる。

ビデオメモリ１１８はディスプレイ２１０に表示される画像をディジタルデータとして
格納する。１１９は、一般にRAMDACとも呼ばれている種類のD/A変換器であり、ビデオメ
モリ１１８に書かれたデータを走査線スピードに合わせて逐次読みとり、ディスプレイ２
１０に描画する。したがって、ビデオメモリ１１８のデータを更新すると、その更新内容
がディスプレイ２１０の表示内容に直ちに反映される。ディスプレイ２１０は、画像を表
示するためのデバイスであり、例えば、小型のCRTやプラズマディスプレイであっても良
いし、液晶タイプの表示デバイスであっても構わない。

こうした画像の取り込みを、秒３０回程度の頻度で繰り返すことで、ディスプレイ上で
連続的な動画の表示が行える。

補助記憶装置１６０は、ハードディスク等の大容量記録装置であり、ディジタルデータ
を半永久的に記録するための装置である。これは、PCMCIAタイプのハードディスクカード
のように記憶装置ごと本体から着脱できるものであったり、あるいは、DVD-RAM、フラッ
シュメモリ等のように、記録媒体のみを着脱できるタイプの記録装置であっても構わない
。

ＣＰＵ１５０は、監視イベントの検出、録画制御、表示画像の選択・配置など、本発明
で説明する機能を実現するためのソフトウエアプログラムを実行する。プログラムは、メ
モリ１７０に常駐し、プログラムの実行に必要となるデータもここに必要に応じて格納さ
れる。

NIC（Network Interface Card）１３９は録画した画像や監視イベント情報をネットワ
ークを通じて伝送する。赤外線受光部１３０はリモコンからの情報入力デバイスである。

ユーザからの指示は、タッチパネル１３０からインタフェース１３１を介して、ＣＰＵ
１５０に伝えられ、適宜処理される。

１８０は、以上述べた各デバイス間を相互につなぐデータバスである。

以上の画像記憶装置のシステム構成において、まず、監視映像を記録する際の動作につ
いて説明する。

記録動作は、メモリ１７０内に格納された制御プログラム171によって制御される。最
初に、ビデオ入力端子１１０から映像を取り込んで個々のフレーム画像の列とし、メモリ
１７０に格納する。同時に、逐次ビデオメモリ１１８に転送し、ディスプレイ２１０に入
力画像を表示する。次に、メモリ１７０に格納されたフレーム画像列から監視イベントを
検出し、これをメモリ１７０に格納する。この監視イベント情報と制御データ172から、
録画すべき画像だけを判定・選択する。最後に、監視イベント情報と選択された画像を補
助記憶装置１６０に格納する。

次に、監視映像がユーザによって閲覧される際の動作について説明する。閲覧時の動作
は記録時と同様、メモリ１７０内に格納された制御プログラム171によって制御される。
まず、タッチパネル１３０を介して入力されたユーザの閲覧要求に従って、補助記憶装置
１７０に格納されている監視イベント情報をメモリ１７０上に転送する。この際、監視イ
ベント情報の内部レコードを読んで、要求に一致しないものをメモリから削除する。次に
、選別された監視イベント情報の内部レコードを読んで、監視イベントに対応する画像の
パス名を取得し、該当する画像を補助記憶装置160からメモリ170に転送する。次に、メモ
リ170上の監視イベント情報と画像をユーザに見やすい形態にレイアウトし、ビデオメモ
リ１１８に転送する。ビデオメモリ118に転送された監視イベント情報と画像データは監
視結果としてそのままディスプレイ210に表示される。以上の動作を、ユーザからの入力
指示に応じて何度も繰り返す。

一般にタイムラプスビデオレコーダでは、映像を録画する際のサンプリング間隔は自由
に設定できるようになっており、間隔を大きくする事でより長時間の録画ができるように
なっている。しかし、単純にサンプリング間隔を拡げすぎると、カメラのフレーム映像中
を通過する物体が速い場合に録画漏れが生じ、監視の目的が達成できなくなってしまう。
そこで、録画漏れを生じさせること無く、長時間録画が可能な方式を以下に説明する。

図３、４、５は本発明で検出した監視イベントに従って映像を記録する方式を示す図で
ある。

図3は、従来の単純なタイムラプス録画に監視イベントによるフィルタリングを組み合
わせた記録方式を説明する図である。

３００はビデオ信号の生成周期を示すタイミングチャートである。NTSC規格では１秒間
に３０フレームが生成される。これに対して、指定したサンプリング間隔で画像を取り込
むことで時間的にフレームを間引く。

３１０はサンプリングのタイミングチャートを示す。この例では時間的にフレームを３
０分の１に間引き、１秒に１フレームだけ取り込むようにしている。

３２０はサンプリング時の画像内容を表している。監視カメラが固定してあり、侵入物
や背景の変化がない場合（320‐2）、すなわち監視イベントが生じていない場合、入力画
像列はほとんど同一となる。そこで、「監視イベントが生じていない＝前回録画した画像
と現在録画しようとする画像が同じである」と判定された場合は録画を省略することで録
画のためのメモリ消費を省く。

３３０は選択されたフレームを示す。このように監視イベントによるフィルタリングを
行うと、画像の変化の多い時間帯は一定のメモリ消費になるが、夜間など変化が少なくな
ると、冗長な録画によるメモリ消費が少なくなり、長時間の録画が可能になる。録画が省
略された時間の画像はその一つ前に録画された画像と同じであるので、録画が省略された
時刻の画像検索要求があっても、代理の画像で結果を表示することが可能となる。

録画データ１６１とそれが取得された時刻情報を含む監視イベント情報162から構成さ
れているので、図３の例では、「時刻１の画像を表示せよ」との検索要求があった場合、
時刻０の画像を代理で表示することができる。

図４は、図３とは別の方式による映像記録方式について説明するものである。

340はサンプリングのタイミングチャートを示す。図3はサンプリング間引きを行なった
後に監視イベントを判定するものであるが、図４では、サンプリング間引きをせずに直接
入力されたビデオ映像の全フレームから監視イベントの検出を行ない、イベント区間を決
定した後に、例えば、３秒に１回等の、あらかじめ指定されたサンプリング間隔で記録を
行なう。サンプリングの間隔を入力と同じ１/30秒とすれば、イベント発生時の入力映像
を記録することができる。

この方式は、監視カメラ中の移動物体の運動方向などを監視イベントとして検出したい
場合や、下記(III)に述べる動的な録画間隔の制御を行なう場合に適している。

図５は、動的な録画間隔の制御を行なう方式を説明するものである。

350、360はサンプリングのタイミングチャートを示す。

この記録方式の基本的な大枠は図４と同一であり、サンプリング間引きをせずに入力ビ
デオ映像の全フレームから監視イベントを検出・記録を行なう。図４と異なる点は、記録
の際のサンプリング間隔が固定であったのに対し、図５ではサンプリング間隔を動的に変
更する点である。タイミングチャート350では、監視イベント情報とサンプリング間隔を
リンクさせて記録を行なう方式を示したものである。

例えば、監視イベントとしてフレーム映像の変化を検知する。最新のフレーム画像と直
前のフレーム画像について各画素の差分絶対値をそれぞれ求めて総和を計算する。この値
はカメラ映像中で動くものが多い時や動きの激しいときに大きくなり、動きが小さいとき
にはほぼゼロになるという性質を持っている。

この性質を利用して、この値の大小に合わせて、値が小さいときにはサンプリング間隔
を例えば、毎秒２から４回程度に広げ、値が大きいときにはサンプリング間隔を例えば、
毎秒３０回程度に狭めることにする。すると、記録される監視映像は、カメラ映像中で動
くものが多い時や動きの激しい時にはほぼ動画に近い形となり、変化の小さい場合にはパ
ラパラとアニメーションのように記録される。

この方式では映像中の変化が一定範囲となるように記録することができ、例えば、人の
動作を記録したい場合などには、一定の動き毎に記録を行うことができる。

また、タイミングチャート360のように、あらかじめ作成したサンプリング間隔の制御
ルールを与えることも有効である。例えば、外部から人が入室してくるドアを監視する場
合、入室者の顔映像を記録できることが重要になる。この場合、監視イベント（映像変化
）を検出し、記録をはじめた直後はサンプリング間隔を密にし、徐々に間隔を広げて行く
ように設定する、これによって、顔が映ったフレーム画像を確実に録画することが可能に
なる。

以上のように本発明によれば、監視イベントによって、録画実行の判定と録画間隔の制
御を行なっているので、動作や顔といった監視したい対象の録画漏れを生じさせることな
く、長時間の録画を可能にする。

図６、７、８は、本発明の監視映像記録装置における映像録画・再生時の画面を説明す
るものである。これらの出力はタッチパネル130が被せられたディスプレイ210上に表示さ
れるものである。

図６は、映像録画時の画面である。基本的には、現在入力されている映像を表示する領
域400が中心となって構成される。入力映像領域400には、場所・日時などの監視イベント
情報表示401や、監視イベントが現在検知されていることと録画が行なわれていることを
示すマーカー402が重畳表示され、ユーザにシステムの動作が一目でわかるようになって
いる。403は、システムが映像監視を開始するかどうかを制御するボタンである。

監視イベント情報表示401には、カメラが映している場所を示すＩＤ（監視場所の名称
：あらかじめユーザによって登録される）、年月日、タイムコード（時分秒とその秒内で
のフレーム番号）などが含まれる。

マーカー402による、監視イベントの検出状態と録画状態をユーザへ通知方法であるが
、例えば以下のように動作する。システムが、監視イベントを検出しはじめると、黄色で
点滅をはじめる。録画時には一瞬赤く点滅することによって補助記憶装置160への録画（
画像データと監視イベント情報データの転送）が発生していることを通知する。

410は、検出した監視イベントの履歴をユーザに通知する領域である。ここには、監視
イベント情報の有無や強度（例：フレーム差分値など）を示す波形グラフ411が表示され
る。波形411は時間遷移に従って順次左方向にシフトし、表示領域410の右端に最新の監視
イベント情報値が波形値として追加される。表示領域410下部には波形データ411の全体的
な時間分布がわかるように、時刻を表す表示412がおかれる。本例では、現在時点からの
何分前かを表示しているが、絶対時間（何時何分であるか）を表示しても良い。

420もまた、検出した監視イベントの履歴をユーザに通知する領域である。ここには、
これまでに検出された監視イベント毎の代表画像421と時刻422が表示される。本例では、
表示領域420の上部に最新の監視イベントに対応する画像が表示され、以下下に向かって
新しい順に代表画像421と時刻422が配置されている。

表示領域410・420は、ポインティングデバイス190等により、グラフ部分や画像部分を
タッチするにより、録画映像の再生が可能になっている。

再生時には、後述する図7のように領域400部分の表示に切り替わり、そこに録画した映
像が出力される。

例えば、領域420上の代表画像部分をタッチすることにより、該当する監視イベントの
発生した区間の一連の画像データ161を補助記憶装置160から読み出して、領域400上に表
示再生する。また、領域４１０の波形グラフ部分をタッチすると、該当時間に最も時間的
に近い監視イベント区間の映像を領域400上に再生する。これに同期して、表示した監視
イベントとその前後のイベントの代表画像を領域420上に表示する。このとき、タッチし
た箇所がユーザにフィードバックされるようにグラフ上に異なる色の縦線が表示される。

なお、本例では、記録時画面内に記録映像と再生映像の表示を行なう領域400とそれ以
外の領域410、420を併置しているが、これらは表示領域400と別々に表示しても良い。

図7は再生時の画面について説明するものである。再生時には、領域400の上部と下部に
それぞれ再生操作に適したボタン類が新たに表示される。これらのボタン類はディスプレ
イ210上に表示される図とタッチパネル130の組み合わせによって実現されている仮想的な
ボタンである。これらボタン類にポインティングデバイス190などでタッチすることによ
り、ボタンを押したことに相当する動作をシステムが行なう。

領域400には再生される映像が、記録時の入力映像と同様に表示される。

401には再生している映像に対応する監視イベント情報が表示される。

監視イベント検出マーカー402は再生時にも表示されうる。後述するが、本発明では再
生時にもバックグラウンドで記録を行なうことが可能となっている。例えば、ユーザが監
視映像を記録している間に、記録した映像を再生しようとする場合、マーカー402が表示
されて、ユーザが閲覧している間にも監視イベントの検出があったことを通知する．もち
ろん、バックグラウンドで録画を行なっていない場合には、マーカー402は表示されない
。

430は図6の記録時画面へ戻るためのボタンである。

431は現在再生している監視イベント映像の内、イベント区間に含まれるフレーム画像
データの総数と現在表示されている画像が何フレーム目であるかをユーザに通知する。

432は再生映像の再生、一時停止、逆再生、こま送り等を制御するボタンである。

433は後述する図8の代表画像一覧画面に遷移するためのボタンである。

図8は検出した監視イベント毎の代表画像の一覧を表示する画面である。基本的には図6
における表示領域420と同じであり、横方向にも幅を広げてラスタースキャン順に代表画
像421と時刻422を並べて表示したものである。

上下に三角形の形状で配置されているボタン440は一覧表示の内容を時間方向に従って
切り替える。上部のボタンを押すと、時間的に一表示単位分前の内容を現在のページに表
示する。下部のボタンを押すと一表示単位分後ろの内容を表示する。ユーザの操作によっ
て、記録されている監視イベントの最初や最後まで到達した場合には、進めない方向のボ
タンが薄い色で表示され、ボタン入力を受け付けなくなる。

ユーザが個々の代表画像421にタッチ・選択を行なうと、図7で説明した再生画面に切り
替わり、選択した監視イベント区間の映像が再生される。

図９は、画像記憶装置100を監視センタのような遠隔地から操作し、記録を行なったり
、監視映像を再生・閲覧するユーザインターフェイスについて説明するものである。

本実施例では、画像記憶装置100に対して、遠隔地にあるパソコン220から制御・閲覧を
行なうために、それぞれＷＥＢサーバとＷＥＢブラウザを用いている。後述するが、画像
記憶装置100側にWEBサーバを内蔵させ、遠隔地にあるパソコン220のWEBブラウザ上に示さ
れるWEBページ500を表示する。以下、このページの説明を行なう。

メニュー510、ブラウズボタン520、URL表示部530、ブラウザステータス表示部580は、
監視情報ページ500を表示するWEBブラウザの制御用ユーザインターフェイスの一部である
。

この監視情報ページ500は、上記のブラウザコンポーネントのほか、監視データの最新
時刻を表示する領域540、監視場所毎に年月日/日時で監視イベントをツリー表示した領域
560、指定された日時毎の監視イベントについて、その代表画像を一覧表示する領域570、
ツリー表示領域560または一覧表示領域570で選択された監視イベント区間の映像を再生表
示する領域550、の大きく４つの表示領域から構成される。

領域540は、現在表示中の監視データがいつの時点のものかをユーザに示す。これは、W
EBのような形態の対話では、常に最新の情報をサーバからブラウザ側に送りつづけること
が一般には困難である。すなわち、ある特定の時刻から遡った静的な状態でしかブラウザ
に提示できないからである（WANなどの途中のネットワーク帯域が十分でないことや、通
信回線を維持するコストの問題、サーバ・クライアントの両方に生ずるCPU負荷が大きい
など）。従って、画像記憶装置100が監視映像を記録中に、遠隔地から監視結果をブラウ
ザ経由で閲覧する場合、ページの内容が画像記憶装置100の内部に蓄積された状態と異な
ることがしばしば生ずることとなり、ユーザにその時間差を意識させる必要が生ずるため
である。

領域560は、監視場所毎に年月日/日時で監視イベントをツリー表示することによって、
ユーザがあらかじめ閲覧したいと思う場所、日時にすばやく到達することができるインタ
ーフェイスを提供する。ツリー表示は、上から順に、場所561、年月日562、時563、監視
イベント単位564の4階層で構成される。ツリーの各ノードのアイコンをマウスでクリック
すると、下位ノードが表示されていない場合には、アイコンが開いたイメージのものに替
わり、下位ノード表示を行なう。逆に、表示されている場合には、アイコンが閉じたイメ
ージのものに変わり、下位ノードを隠すといった動作を行なう。これにより、ユーザは目
的とするノードだけを常に開いて閲覧することができる。

各ノードのテキスト部分565をクリックすると映像再生表示領域550や一覧表示領域570
の表示内容が変化する。例えば、場所561、年月日562、時563の上位3階層のノードについ
て、そのテキスト部分565をクリックすると、その範囲での最も新しい年月日/時刻の監視
イベント一覧が領域570に表示される。

最も下位のノードである、監視イベント単位564のテキスト部分をクリックすると今度
は、映像再生表示領域550に、該当する監視イベント区間の録画映像を再生する。

570は、図６における４２０と同様、指定された時刻に含まれる、検出した監視イベン
ト毎の代表画像の一覧を表示する領域である。領域上には、一覧表示している場所と年月
日の表示571と時刻毎の区切りを示す時刻表示572、代表画像573が配置される。ブラウザ
起動時など、時刻を与えることができない場合には、最新の記録日時に含まれる代表画像
の一覧を表示する。

代表画像572をクリックすると、映像再生表示領域550上に該当する監視イベント区間の
録画映像を再生する。

従来のタイムラプスビデオレコーダでは、監視結果を再生する際に、単に時間順に提示
するだけであったため、きわめて時間がかかっていた。

これに対し、図６〜９で述べてきたユーザインターフェイスを用いることにより、時間
構造に合わせて階層的に提示したり、内容を判定しやすい代表画像でタイル状に二次元配
置して提示することができる。

ツリー表示は従来では不可能であった目的日時への高速なアクセスが可能であり、また
すぐに映像を再生できるので、大体の当たりをつけた検索を行なう場合に非常に効果を発
揮する。また、二次元配置は一度に複数の監視イベントをざっと見渡すことを可能にし、
パラパラと見るときに必要とする時間を大幅に短縮することを可能にする。

これらにより、従来のタイムラプスビデオレコーダでは不可能であった、高速な閲覧と
監視映像の内容の効率的な確認が可能になる。実際、われわれのフィールドテストでは検
索に要する時間を1/30〜1/100程度に低減できることが確認されている。このように、本
発明は従来の監視映像記録機器に比べて、使い勝手が良く省時間効果の高いインターフェ
イスを提供する。

図２０は、画像記憶装置100について、機能の観点から構成を説明するものである。主
たる構成要素は、メインコントロール610、監視イベント検出エンジン620、ビデオ出力用
表示プログラム630、HTML生成プログラム640、WEBサーバ650の5つである。

メインコントロール610は、制御プログラム171の主たる機能そのものであり、画像記憶
装置100全体を制御する。具体的には、タッチパネル130やWEBサーバ650経由でシステムへ
のユーザ入力をハンドルし、監視イベント検出エンジン620、ビデオ出力用表示プログラ
ム630、HTML生成プログラム640、WEBサーバ650の動作を制御する。

監視イベント検出エンジン620は、あらかじめ登録されている監視イベントを監視カメ
ラ200から入力された映像信号から検出し、その監視映像データ161と監視イベント情報デ
ータ162を補助記憶装置160に格納する。

ビデオ出力用表示プログラム630は、図６で説明した画面を出力・表示する。タッチパ
ネル130を経由してメインコントロール610に伝えられた、ユーザからの入力に応じて監視
映像データ161と監視イベント情報データ162を補助記憶装置160から読み出して、画面上
に映像や関連する監視イベント情報を表示する。

HTML生成プログラム640は、図９で説明した監視映像のWEBページ出力用にHTMLを動的に
作成する。まず、パソコン220上で行なわれたユーザ操作はWEBページ500からWEBサーバ65
0を経由してメインコントロール610に伝えられる。ユーザ要求に従い、監視映像データ16
1と監視イベント情報データ162を補助記憶装置160から読み出して、あらかじめ用意され
たHTMLデータ中に監視イベント情報と画像のWEBサーバ上での位置を示すHTMLタグを書き
出す。これにより、HTMLの動的生成を実現する。

WEBサーバ650はこうして作成されたWEBページを遠隔地側のパソコン220に配信するとと
もに、ユーザからの操作命令をメインコントロール610に伝える。

図１１、１２、１３は、監視イベント検出エンジン620で実行される監視イベント検出
の方法について説明するものである。

ここでは、移動物体の有無を例として述べる。

まず、入力される映像から個々のフレーム画像700を取り出す。次に、図１１に示すよ
うにフレーム画像を複数の小矩形領域710にわけ、個々の領域毎に映像変化の有無を検出
する。

映像変化の判別方式としては例えば（特開平８−２２１５７７「移動物体検出・抽出装
置」）に記述されている方式を用いる。この方式では、個々の着目領域710ごとに背景・
移動物体・背景構造変化・照度変化を検出できる。

以下、個々の領域で用いられる移動物体検出方式について簡単に説明する。

まず、フレーム画像上の着目領域の内、移動物体の存在しない時刻を選んでこれを背景
画像とする。

そして、この背景画像と毎回新たに入力される最新の画像との間で、画像の相違度を計
算する。この相違度計算の具体例としては、対応する位置の各画素の明るさについて差を
求め、画像全体についてそれらの２乗和を求めてもよいし、明るさの替わりにＲＧＢそれ
ぞれの値の差分二乗和としてもよい。

こうして得られた相違度を時間順に並べ、連続するグラフとして眺めてみると、移動物
体が存在する時間区間は大きく変動する状態となる。移動物体が存在しない時間区間では
変動の少ない平坦な状態となるが、背景として決めた時刻と背景が全く同一の場合場合、
すなわち、画像的に内容が同じには、その区間の平均値はほぼ零となる。一方、物が置か
れたりするなど、背景の構造が変わった場合には、画像的に内容が異なるために、平坦で
はあるが区間平均値は一定の大きさ以上となる。

この性質を用いることにより、時間区間として、移動物体の有無や、背景構造の変化の
有無を確認することが可能となる。ここで問題になるのが、最初にどうやって背景となっ
ている時刻を決定するかであるが、まず、任意の時点の画像を適当に選んで、相違度の時
間変化グラフを求め、平らな区間が見つかった時点を開始とすればよい。その後の処理で
も、背景構造の変化が有る時、すなわち、グラフの形状が平坦かつ一定値以上の平均値と
なる時のみ、背景とする時刻を更新するようにすれば、安定してこの処理を繰り返すこと
が可能になる。

以上説明した方式により、フレーム画像上に設定した個々の着目領域について移動物体
の存在する領域を色づけ（レベル付け）したとすると、図１１の右側図のようになる。

図12は、図１１で説明した処理をすべてのフレーム画像について実行し、フレーム画像
を時間順に並べてできる三次元の時空間画像について述べたものである。この時空間画像
中では移動物体は部分的な立体720を構成する。これを図示したものが図１２である。こ
の時空間画像730を眺めると、「移動物体がある」という監視イベントは、ある程度の大
きさを持った部分領域720があることとみなしても良い。これを別の観点から見たものが
下のグラフである。１フレーム当たりの映像変化があった領域数をグラフ740としてみる
と、上記判定はグラフが一定値以上の区間750とみなすことができる。このようにして決
定された区間を監視イベント「移動物体在り」の区間として判別する。そして、監視イベ
ント情報162として、開始フレーム、終了フレーム、区間長、各領域毎の判定結果を補助
記憶装置160に記憶する。

なお、画像全体を一つの領域とみなして判定するのも一つの方法ではあるが、上記のよ
うに小領域で分割してその結果を統合する方が監視イベントのハンドリングに適している
。例えば、小さな外乱などに対して検出エンジンの動作をロバストにすることができる。
また、判定に含めない領域も容易に設定できたり、後述の検索処理や代表画面決定処理を
簡単に記述できるなどの利点がある。

他の監視イベント、例えば背景構造の変化（物の配置換えなど）や顔領域の出現等を検
出する場合にも、上記のようにフレーム内の領域単位で検出を行なうことにより、安定し
た検出が可能となる。

なお、本例では着目領域を矩形としたが、他のいかなる形状としても何ら問題無い。ま
た、ここでは、領域をきれいに並べたが図１３に示すようにオーバーラップを持たせ、領
域毎の判別結果について論理演算を施すことにより、大きな領域で安定した判別を行ない
ながら、判別する領域の実効面積を小さくすることも可能である。

図１４は監視イベント情報162のデータ構造を説明するものである。

監視イベント情報162はRDB（Relational Database:関係データベース）であり、場所テ
ーブル162-1、画像テーブル162-2、イベントテーブル162-3、時間木テーブル162-4の４つ
のテーブルから構成される。

場所テーブル162-1は、監視映像記録装置100が接続されたカメラの識別ID162-1-1と名
称162-1-2、監視場所の名称162-1-3を格納するテーブルである。画像テーブル162-2の各
レコードの冗長性をなくすために、独立して設けられている。

画像テーブル162-2は、監視映像記録装置100に記憶された個々のフレーム画像を制御す
るためのテーブルである。フレーム画像ID162-2-1、場所ID162-2-2、録画年月日162-2-3
、録画時分秒162-2-4、フレーム番号162-2-5、画像ファイルパス名162-2-6、イベント種
類162-2-7、イベント属性データ162-2-8の項目から構成される。場所ID162-2-2は、場所
テーブル162-1の場所ID162-1-2と同一の項目であり、実際のID番号が格納される。録画年
月日162-2-3、録画時分秒162-2-4、フレーム番号162-2-5は、フレーム画像が記録された
時の時刻情報である。一般的なRDBでは高速にハンドルできるデータ型として、年月日と
時分秒がわかれていることが多いため、本実施例ではこれらを三つに分割してある。画像
ファイルパス名162-2-6は、システム内に記録されている画像ファイルのパス名が格納さ
れており、監視映像の再生や検索時に実際の画像データを読み出すのに用いられる。イベ
ント種類162-2-7は、格納されたフレーム画像がどんな監視イベントにより格納されるこ
とになったかを示すフィールドである。複数の監視イベントが重なる場合を想定して、ビ
ットフラグによって監視イベントの種類を示す。監視映像再生時や検索時に監視イベント
毎のフィルタリングを施すために設けられている。イベント属性データ162-2-8は、監視
イベント検出の根拠となった各領域毎の特徴量データを格納する領域である。

イベントテーブル162-3は、監視イベントの区間情報をハンドリングする。イベントID1
62-3-1、開始フレームID162-3-2、終了フレームID162-3-3、代表フレームID162-3-4から
構成される。開始フレームID162-3-2、終了フレームID162-3-3には、画像テーブル162-2
のフレーム画像ID162-2-1が格納される。同様に、代表フレームID162-3-4は後述の代表画
像決定アルゴリズムによって決定されたフレーム画像ID162-2-1が格納される。

時間木テーブル162-4は、図９のツリー表示領域５６０などのように、監視イベント情
報に対して、時間指定でダイレクトかつ高速にアクセスするために設けられたテーブルで
ある。ノードID162-4-1、親ノードID162-4-2、ノード検索キー162-4-3、ノード内順序162
-4-4、イベントID162-4-5、イベント種類162-4-6、場所ID162-4-7から構成される。この
テーブルは冗長であるが、監視結果アクセス時のスループットを向上させるために設けら
れている。基本的には場所テーブル162-1、画像テーブル162-2、イベントテーブル162-3
の３つから動的に作成可能であるが、監視映像の再生・閲覧動作では、きわめて高い頻度
でこの計算が必要となるため、別にテーブルとして設けておくことによりシステムの負荷
を小さくすることを目的としている。ノードID162-4-1、親ノードID162-4-2、ノード検索
キー162-4-3、イベントID162-4-4、イベント種類162-4-5、場所ID162-4-6から構成される
。ノードID162-4-1、親ノードID162-4-2はテーブルにより木構造を表現するためフィール
ドである。ノード検索キー162-4-3は、場所と年月日・時分秒から直接一番下位のノード
にアクセスするための文字列であり、このテーブルをハッシュによって検索するための主
キーとして設定されている。文字列であるため、キー作成が容易であり、検索のための計
算コストが小さくてすむ。イベントID162-4-4は、イベントテーブル162-3のイベントID16
2-3-1と同一であり、実際のID番号が格納される。イベント種類162-4-5、場所ID162-4-6
は、監視映像再生時や検索時に監視イベント毎のフィルタリングを施すために設けられた
ものである。

なお、これらテーブルのデータ生成されるタイミングであるが、場所テーブル162-1は
監視が開始される前にユーザによってあらかじめ作成されるものである。画像テーブル16
2-2とイベントテーブル162-3は実際の監視映像記録時に動的に生成されるデータである。
時間木テーブル162-4もまた、記録時に生成されるデータであるが、これは画像テーブル1
62-2とイベントテーブル162-3の内容から副次的に生成されるものでもある。これは、先
に述べたように監視結果アクセス時のスループットを向上させるために設けられているか
らである。

以上のデータ構造により、画像記憶装置100は記録された監視イベントと映像を高速に
検索・提示することが可能となる。また、図2、図１０に示したハードウエア・システム
構成と、この個々のフレーム画像ごとに独立したデータ構造により、監視映像を記録しな
がら閲覧を行なうという、これまでの監視記憶システムには不可能であったことをあらた
に可能にしている。

図１５は、監視イベント区間における代表画面を決定するアルゴリズムについて説明す
るものである。

画像記憶装置100が検出した監視イベントを４２０や５００のように表示するケースを
考える。移動物体有を示すイベントの場合、監視イベント区間を代表する画像としてどれ
を選ぶかは、監視結果の閲覧の効率を大きく左右する重要な点である。

例えば、区間の先頭フレームを代表画像とすると、移動物体の一部だけが映るだけで、
検出した移動物体に関する情報をほとんど提示できないことがしばしば起こる。これは、
最終フレームであっても同様である。単純に先頭フレームと最終フレームの中間とするこ
とも考えられるが、２つの移動体が連続して検出されて一つの区間となった場合には、ち
ょうど間のあまり両方が映っていないような画像が代表になってしまうという問題点が発
生する。そこで、図５で述べたサンプリング間隔の制御に用いたのと同じ方法を使うこと
にする。

監視イベントを検出するときに900のようなグラフが得られたとする。まず、顔領域の
検出のようなケースで考えられるのが、グラフ値が最大となるフレーム910-4を代表画面
とする方法である。次に、移動物体の有無の場合、複数の極大値が現れるということイコ
ール複数の移動物体が一つのイベント区間内に通過したようなケースと考えられるので、
はじめに出てきた極大値910-２をとりあえずの代表とみなして、これを採用する方法も考
えられる。

次に図９で説明したWEBブラウザによって提示されるユーザインターフェイスでの監視
映像表示をHTMLによって実現する方式について説明する。なお、以下で用いる専門用語に
ついては URL（http://w3c.org/）に詳しく説明されている。

図１６では、まず、一覧表示領域570での代表画像573をクリックした時に、映像再生表
示領域550上に該当する監視イベント区間の録画映像を再生することを実現する方式につ
いて説明する。それぞれ、各領域ともフレームと呼ばれる独立したHTML表示領域から構成
されているものとする。ここでは説明のために一覧表示領域をフレームDigest、映像再生
表示領域をAnimeと呼ぶことにする。

Digestも、Animeも静的なHTMLデータではなく、WEBサーバ側の状態に応じて動的に生成
されるHTMLデータになっている。これらの動的なHTMLデータを生成するためにCGI（Commo
n Gateway Interface）やASP（Active Server Pages）といったサーバサイドスクリプ
ト(WEBサーバ側で動作するスクリプト)が用いられる。

1000はDigestのHTMLテキストデータの例である。本実施例では、1010、1020に示されて
いるように、監視イベントの時刻を表す文字列やその代表画面をタイル状に表示するため
に、<TABLE>タグが使われている。タグ1030は表示1010に対応し、タグ1040は表示1020に
対応している。表示画像1020はクリッカブルな領域になっているが、これは1041に示され
るハイパーテキストタグ<A>をつかって、代表画像573を表示する画像タグ1042を囲うこと
によって実現される。そして、リンクジャンプ先としてフレームAnimeを指定し、クリッ
クされた画像に応じて動的にHTML出力内容を変化させることにより、対応する監視イベン
ト毎の映像が再生されるようにする。

対応先を切り替えるために、<A>の要素であるHREFのジャンプ先にクエスチョンマーク
に続けてパラメータとなる文字列をあらかじめ書きこんでおく。１０５１に示されるよう
に、書きこまれるパラメータとしては、画像テーブル162-2のレコード範囲を示すフレー
ム画像IDあるいはそれを取り出すことができるデータが適している。

まず、図１７のフローチャート１１００は代表画像５７３のクリックから、映像再生表
示領域550上に映像が再生されるまでの処理の流れを簡単に説明するものである。まず、
代表画像５７３がクリッククリックされると（1110）、WEBブラウザ側で指定されたフレ
ームAnimeへのジャンプが起こる（1120）。しかし、Animeに表示されるHTMLデータはジャ
ンプ時に渡されるパラメータ1051から動的に決定・生成される（１１３０）。具体的には
パラメータ名ｓJumpKeｙに代入された文字列（1131）から、画像テーブル162-2上での範
囲を示すフレーム画像IDをとりだし（1132）、画像テーブルに対して該当するレコートの
検索を行なって、個々の画像パス名をURL（Universal Resource Locator）として取り
出す（1133）。そしてこれをHTML形式で出力する（1134）。WEBブラウザは、こうして得
られたHTMLデータをフレームAnime上に表示する（1140）。最後にユーザ操作に従って該
当するフレーム画像を可視・不可視にすることによってアニメーションとして表示する（
1150）。

次に、図１８の1200にDigestのHTMLテキストデータを生成される手順について説明する
。ここでは一覧表示の範囲が特に指定されずに全データを表示する場合を想定して説明を
行なう。まず、時間木の根っことなるルートノード（レコードIDが-1のもの）を親に持つ
ノードを全レコードから検索する（1210）。次にこれを場所ID162‐4‐7ごとにソートす
る（1220）。次にルートノードを親ノードとする（1230）。親ノードが決まったら、同一
の親ノードIDを持つノードを探しノード内順序にしたがってソートを行ない、リストを作
成する（1240）。こうしてできたノードリストについて、以下再帰的に木構造内のすべて
の葉ノードへの移動を繰り返す（1250）。

まず、現在のノードが枝ノードか葉ノードかを調べる（1260）。枝ノードであれば再帰
的に下層ノードに降りてゆく（１２９０）。葉ノードであればｓJumpKeyを作成し（1270
）、これをHTML出力する（1280）。

ｓJumpKeyの作成は具体的には以下の手順となる。まず、監視イベントテーブル162-3か
らノードが持つイベントID162-4-5と一致するレコードを検索し（1271）、開始フレームI
D162-3-2と終了フレームID162-3-3を取得する。次に画像テーブルから代表フレームID162
-3-4と一致するレコードを探し（1273）、その代表画像パス名をURLとして取得する（127
4）。 すべての葉ノードについて以上の処理を繰り返す。

図１９は時間木を表すツリー表示560から一覧表示領域570を動的に切り替える方法につ
いて説明するものである。説明のため、ツリー表示領域560のフレーム名称をTimeTreeと
呼ぶことにする。

ユーザがツリー表示部の葉ではないノードをポインティングデバイス190でポイントし
、表示が切り替えられる場合、フレームDigestには日時の範囲が指定される。内部処理的
には時間木テーブル162-4で具体的に親ノードが与えれている場合に相当する。あとは図
１２にて説明したのと同じ手順でHTMLデータが動的に生成される。

1300はこのジャンプを実現するHTMLの例を示したものである。ここでは、動的に開閉す
る木構造を実現するために<DIV>タグが用いられている。Animeの例と同様にクリックする
先で出力が切り替えられるように、各ハイパージャンプタグ<A>で渡されるパラメータｓD
igestKeyの値が替えられる。この値として用いるのが1310、1320に示されているような、
「場所名」＋「日時」から構成される文字列である。これは、時間木テーブル162-4にお
けるノード検索キー162-4-3と同一になっており、フレームDigestを描画するための検索
が迅速に行なえる構造になっている。

図14はフレームTimeTreeの時間木構造表示の枝ノードをクリックした場合の動作を説明
するものである。

まず、枝ノードがクリックされると（1410）、フレームDigestへのジャンプイベントが
生ずる（1420）。フレームDigestが表示するHTMLは動的なページであるため、内容生成処
理がスタートする(1430)。具体的には、ジャンプ時にパラメータとして与えられるsDiges
tKeyの文字列値をとりだし（1431）、これを検索キーとして時間木テーブル162-4から一
致するレコードを検索する（1432）。こうして検出されたレコードのノードID162‐4‐１
を親ノードとし、後は１２００で述べたのと同一の手順で一覧表示画面のHTMLデータ生成
を行なう(1433)。最後にこのHTMLデータをフレームDigest上に表示する(1440)。

本発明の画像記憶装置を利用した監視システムの一例である。 本発明の画像記憶装置におけるシステム構成の一例である。 本発明で検出した監視イベントに従って映像を記録する方式の内、基本的なフレーム画像のサンプリング方法を説明する図である。 本発明で検出した監視イベントに従って映像を記録する方式の内、監視イベントの有無に基づくフレーム画像のサンプリング方法を説明する図である。 本発明で検出した監視イベントに従って映像を記録する方式の内、フレーム画像のサンプリング間隔を監視イベント変動に基づいて動的に制御する方法を説明する図である。 本発明の監視映像記録装置における映像録画・再生時の画面の内、記録時画面を説明するものである。 本発明の監視映像記録装置における映像録画・再生時の画面の内、再生時画面を説明するものである。 本発明の監視映像記録装置における映像録画・再生時の画面の内、一覧表示画面を説明するものである。 本発明の画像記憶装置を監視センタのような遠隔地から操作し、記録を行なったり、監視映像を再生・閲覧するユーザインターフェイスについて説明するものである。 本発明の画像記憶装置について、機能の観点から構成を説明するものである。 本発明の監視イベント検出エンジンで実行される監視イベント検出の方法において、着目領域の設定方法とそのときの検出結果について説明するものである。 本発明の監視イベント検出エンジンで実行される監視イベント検出の方法において、図11での着目領域の設定によって得られる時空間画像について説明するものである。 本発明の監視イベント検出エンジンで実行される監視イベント検出の方法において、もう一つの着目領域の設定方法を説明するものである。 本発明の監視イベント情報のデータ構造を説明するものである。 本発明の監視イベント区間における代表画面を決定するアルゴリズムについて説明するものである。 本発明のWEBブラウザによって提示されるユーザインターフェイスでの監視映像表示をHTMLによって実現する方式について説明する。 本発明の一覧画像表示画面上における代表画像のクリックから、映像再生表示領域上に映像が再生されるまでの処理の流れを簡単に説明するものである。 本発明の一覧画像表示画面上のHTMLテキストデータを生成される手順について説明するものである。 本発明の時間木ツリー表示から一覧表示画面を動的に切り替える方法について説明するものである。 本発明の時間木構造表示の枝ノードをクリックした場合の動作を説明するものである。

符号の説明

１００…画像記憶装置、
１１０…ビデオ入力端子、
１１１…A/D変換器、
１１９…D/A変換器、
１２０…ビデオ出力端子、
１３０…タッチパネル、
１３９…ネットワークインターフェイスカード（NIC）、
１４０…ＬＡＮ端子、
１５０…ＣＰＵ、
１６０…補助記憶装置、
１７０…メモリ、
１８０…データバス、
１９０…ポインティングデバイス
２００…監視カメラ、
２１０…ディスプレイ、
２２０…パソコン。

Claims (32)

1. 入力される映像信号をディジタル化し時系列画像として取り込む手段と
   現在入力中の画像を表示する入力画像手段と
   入力画像から監視イベントを検出する手段と
   検出した監視イベントに基づいて入力画像を記憶するか判定する手段と
   「録画する」と判定された画像を記憶する手段と
   記憶した画像の格納場所と対応する監視イベント情報を関連付けて記録する手段と
   ユーザの閲覧要求に従って監視イベント情報と画像を検索する手段と、
   選別された監視イベント情報と画像をレイアウトする手段と
   レイアウト結果をひとつまたは複数表示する手段と
   を具備することを特徴とする画像記憶装置。
2. 請求項１記載の監視イベントを検出する手段において、
   入力フレーム画像中において相違度大と判定される領域数が所定の値を超えたときに、
   「移動物体」または「照明変化」という監視イベントが有ると判定することを特徴とする
   画像記憶装置。
3. 請求項１記載の監視イベントを検出する手段において、
   入力フレーム画像中において相違度大と判定される領域数の時間変動が所定の値を超え
   たときに、「背景構造の変化」という監視イベントが有ると判定することを特徴とする画
   像記憶装置。
4. 請求項１記載の監視イベントを検出する手段において、
   入力フレーム画像中において肌色と判定される領域数が所定の値を超えたときに、「顔
   候補領域あり」という監視イベントが有ると判定することを特徴とする画像記憶装置。
5. 請求項２の相異度は、
   ある過去の画像と現在入力された画像のそれぞれから、ブロック毎に色または輝度の平
   均値を計算し、対応するブロック間の差の絶対値をそれぞれ求め、それらの最大値とする
   ことを特徴とする画像記憶装置。
6. 請求項２の相異度は、
   ある過去の画像と現在までの入力画像について、ブロック毎に色または輝度の平均値に
   ついて対応するブロック間の差の絶対値をそれぞれ求めて得られた、時系列値の移動平均
   値とすることを特徴とする画像記憶装置。
7. 請求項１記載の画像記憶判定手段において、
   ユーザが登録した監視イベントが生じたときのみ録画することを特徴とする画像記憶装
   置。
8. 請求項１記載の画像記憶判定手段において、
   検出した監視イベントの強度の変化に応じて録画間隔を動的に変化させることを特徴と
   する画像記憶装置。
9. 請求項１記載の画像記憶判定手段において、
   検出した監視イベントの種類に応じて、あらかじめ決めておいた複数の録画間隔のパタ
   ーンを切り替えることを特徴とする画像記憶装置。
10. 請求項１記載の画像記憶手段の媒体は、
    ハードディスク、DVD-RAM、フラッシュメモリのいずれかであることを特徴とする画像
    記憶装置。
11. 請求項１記載の監視イベント情報として、
    イベントの識別ID、場所、時間、イベントを表す特徴量、イベントの判定に用いた計算
    結果を各領域ごとに格納し、監視イベントの種類や特徴量に検索・分別できるようにした
    ことを特徴とする画像記憶装置。
12. 請求項１記載の監視イベント情報と画像をレイアウトする手段として、
    時系列で格納されている監視イベント情報と画像について、代表画像を一枚あるいは複
    数用いて、これらを二次元的に配置することを特徴とする画像記憶装置。
13. 請求項１２記載の監視イベントの代表画像として、
    監視イベントが発生している時間区間の中から一番最初、一番最後、あるいは、ちょう
    ど中間にあたるフレーム画像を用いることを特徴とする画像記憶装置。
14. 請求項１２記載の監視イベントの代表画像として、
    監視イベントを表す特徴量が極大あるいは極小あるいは急激に変化している箇所のフレ
    ーム画像を用いることを特徴とする画像記憶装置。
15. 請求項１記載の監視イベント情報と画像をレイアウトする手段として、
    時系列で格納されている監視イベント情報と画像について、時間的に連続する、あるい
    は、近しいことを用いて、複数の単位に分類し、それに応じて物理的に近傍に配置するこ
    と、を特徴とする画像記憶装置。
16. 請求項１５記載の監視イベント情報と画像の配置法として、日、午前・午後、時、１５
    分ごとなどの時間単位で、時間見だしと共に二次元的に配置すること、を特徴とする画像
    記憶装置。
17. 請求項１記載の監視イベント情報と画像をレイアウトする手段として、監視イベント情
    報を、場所、日、午前・午後、時、１５分ごとなどの時間単位で木構造に配置し、監視イ
    ベントの内容と発生時刻を木構造の葉として配置することを特徴とする画像記憶装置。
18. 請求項１記載の監視イベント情報と画像をレイアウトする手段として、監視イベント単
    位で、それに含まれるすべてのフレーム画像を時間順にアニメーションとして表示するこ
    とを特徴とする画像記憶装置。
19. 請求項１記載の監視イベント情報と画像をレイアウトする手段として、
    監視イベントの過去の履歴を示す、特徴量の遷移グラフを表示することを特徴とする画
    像記憶装置。
20. 請求項１記載の監視イベント情報と画像をレイアウトする手段として、監視イベントの
    過去の履歴を示す一覧表示を持ち、常の複数の最新代表画像が表示されるように順に入れ
    替えて配置することを特徴とする画像記憶装置。
21. 請求項１記載の監視イベント情報と画像をレイアウトする手段として、請求項１２〜２
    ０記載のレイアウト結果を二つ以上組み合わせ、それぞれの領域に対するユーザ操作に応
    じて、残る他の領域の表示を動的に切り替えることを特徴とする画像記憶装置。
22. 請求項１記載の監視画像を記憶する手段とレイアウト結果を表示する手段において、
    それぞれ独立させることにより、監視映像を記録しながら監視結果を閲覧することを可
    能としたことを特徴とする画像記憶装置。
23. 請求項２２記載の画像記憶装置において、監視結果を閲覧する際に、現在監視記録中の
    状態がわかるような表示を持たせることを特徴とする画像記憶装置。
24. 請求項１記載の監視イベント情報と画像をレイアウトする手段ならびにレイアウト結果
    を表示する手段において、
    監視イベント情報と画像をレイアウトする手段を、監視イベント情報と画像から、請求
    項１２〜２１記載のレイアウト結果をHTML(Hyper Text Markup Language)データとして生
    成する手段とし、
    レイアウト結果を表示する手段として、生成したHTMLデータを送出するWEBサーバを組
    み合わせ、
    遠隔地であっても監視結果を簡単に閲覧可能としたこと、を特徴とする画像記憶装置。
25. 請求項２４記載のレイアウト結果をHTMLデータとして生成する手段において、
    代表画像をWEBで表示可能な画像フォーマットでフレーム毎に格納しておき、これを表
    示するHTMLデータとしてHTMLタグ<IMG SRC=画像データ格納パス名>を出力することにより
    、サーバ内部での画像データのコピー・移動をなくすこと、を特徴とする画像記憶装置。
26. 請求項２４記載のレイアウト結果をHTMLデータとして生成する手段において、
    代表画像を表示するHTMLタグ、あるいは監視イベントを表す文字列を<A HREF=別レイア
    ウト表示？パラメータ>と</A>ではさんだ文字列として出力することにより、これをクリ
    ックするだけで簡単に移動・表示できるようにしたことを特徴とする画像記憶装置。
27. 請求項２５、２６記載のレイアウト結果をHTMLデータとして生成する手段において、
    時々刻々と追加更新される監視イベント情報と画像から、これらのHTMLデータを動的に
    生成する手段を有すること、を特徴とする画像記憶装置。
28. 入力された画像から画像変化を検出する検出手段と、
    上記画像変化の特徴に基づいて上記入力された画像を選択的に記憶する画像記憶手段と、
    上記画像変化をその特徴量に基づき分類し、該変化に関する情報と対応する画像の上記画
    像記憶手段の格納位置とを記憶する手段とを有することを特徴とする画像記憶装置。
29. 請求項２８に記載の画像記憶装置において、上記変化に関する情報に基づき対応する画
    像を検索して表示する表示手段とを有することを特徴とする画像記憶装置。
30. 入力された画像から監視イベントを検出する検出手段と、上記監視イベントに応じて上
    記画像を録画するか否か判定する判定手段と、録画すると判定された画像をディジタル信
    号化して記憶する手段と、記憶された画像に対応する監視イベントの情報を該監視イベン
    トの種類に応じて分類し、該記憶された画像の格納場所情報と共に記憶する手段と、上記
    監視イベントに関する情報に基づき、対応する画像を検索する検索手段とを有することを
    特徴とする画像記憶装置。
31. 入力された画像を表示する画像表示手段と、入力された画像から監視イベントを検出す
    る検出手段と、上記監視イベントに応じて上記画像を録画するか否か判定する判定手段と
    、録画すると判定された画像を記憶する手段と、記憶された画像に対応する監視イベント
    の情報を該監視イベントの種類に応じて分類し、該記憶された画像の格納場所情報と共に
    記憶する手段と、上記監視イベントに関する情報に基づき、対応する画像を検索する検索
    手段と、上記監視イベントに関する情報を表示する表示手段とを有し、表示画面上で選択
    された監視イベントに関する情報に基づき、対応する画像を表示することを特徴とする監
    視システム。
32. 入力された画像から監視イベントを検出し該画像をメモリに録画するか否か判定するス
    テップと録画すると判定した画像をメモリに記憶するステップと、記憶された画像に対応
    する監視イベントに係る情報を該記憶された画像と関連づけて記憶するステップと、メモ
    リに記憶された画像から特定の監視イベントに係る情報に対応する画像を検索するステッ
    プと、検索された画像をディスプレイに表示するステップとが記録されたコンピュータ読
    みとり可能な記録媒体。

Images