JP2006163605A - 画像検索表示装置とそのプログラム - Google Patents

Abstract

【課題】検索対象期間全体にわたる状況を常に１画面で表示可能とし、短時間で検索結果全体を視認できるようにする。
【解決手段】画像検索表示装置１のＣＰＵ１１は、入力部１７ａにより検索対象期間及び一覧表示数の入力を受け付ける。次に、画像検索プログラム１４ａを実行して、入力された検索対象期間及び一覧表示数から検索対象期間全体にわたって等間隔に画像フレームを抽出するための検索間隔を設定する。そして、蓄積画像データベース２にアクセスし、この設定された検索間隔に従って、表示用の画像フレームを抽出する。この抽出された画像フレームを表示部１８ａに１画面で一覧表示する。
【選択図】 図２

Description

この発明は、例えば、ビデオカメラにより撮像された画像データを閲覧するために用いられる画像検索表示装置に関する。

一般に、ビデオカメラによって撮像された画像データを再生して、所望の被写体が撮像されている画像フレームを検索するのは、手間や時間がかかるため困難である。そこで、画像データの閲覧や編集などには、画像検索表示装置が広く用いられている。例えば、検索された複数の画像データの代表画像をそれぞれ画面上に並べて表示し、この代表画像を選択することにより、選択された代表画像に該当する画像を再生する画像検策システムが提案されている（例えば、特許文献１を参照。）。

特開平５−８１３４８公報

ところで、一般に上述したような画像検索表示装置では、検索結果の画像数が多い場合は、一覧表示画面をスクロール表示させたり、複数ページにわたって表示させる。このため、ユーザは、検索結果全体を把握するために、キーボードやマウスを用いてスクロールやページ切替などの操作を行う必要があるため手間かかる。また、複数ページにわたる場合は、ページ切替の度に画像データの読み込み処理が発生するため、時間を要して煩わしい。

この発明は上記事情に着目してなされたもので、その目的とするところは、検索対象期間全体にわたる状況を常に１画面で表示可能とし、短時間で検索結果全体を視認できる画像検索表示装置とそのプログラムを提供することにある。

上記目的を達成するためにこの発明に係わる画像検索表示装置とそのプログラムは、画像データから画像フレームを検索して表示画面に一覧表示する画像検索表示装置において、複数画像フレームからなる画像データが記憶されるデータベースを備え、上記記憶された画像データから画像フレームを検索する際の検索対象期間及び一覧表示数の入力を受け付ける。次に、上記入力された一覧表示数に相当する画像フレームを上記入力された検索対象期間にわたり抽出するための検索間隔を設定し、この設定された検索間隔に従い上記データベースから該当する表示用画像フレームを抽出する。そして、この抽出された表示用画像フレームを上記表示画面に一覧表示するようにしたものである。

このように構成することにより、検索対象期間全体にわたり、万遍なく画像フレームが取り込まれて一覧表示される。このため、ユーザは、検索対象期間全体にわたる状況を一目で視認することができる。

また、この発明は次のような構成を備えることも特徴とする。
上記記憶された画像データ中からイベントの発生を表す画像フレームを検出する機能を有し、上記抽出された表示用画像フレームのうち、上記検出されたイベントの発生を表す画像フレームと所定期間内で近接する表示用画像フレームがある場合に、当該表示用画像フレームを上記イベントの発生を表す画像フレームに差し替えるようにする。

これにより、抽出された表示用画像フレームにおいて、所定期間内で近接するイベントの発生を表す画像フレームがある場合に、当該表示用画像フレームをこのイベントの発生を表す画像フレームに差し替えて、表示画面に一覧表示する。このため、ユーザは、検索対象期間に発生したイベントをもれなく確実に把握することが可能であるため、さらに利便性が向上する。

したがってこの発明によれば、検索対象期間全体にわたる状況を常に１画面で表示可能とし、短時間で検索結果全体を視認できる画像検索表示装置とそのプログラムを提供することができる。

図１は、この発明に係わる画像検索表示装置を用いた監視システムの一実施形態を示す概略構成図である。この監視システムは、画像検索表示装置１、蓄積画像データベース２、及びカメラ３１〜３ｎとを備える。カメラ３１〜３ｎは、例えば、ダムの監視用に設置され、スケジュール録画による撮像をそれぞれ行っている。また、カメラ３１〜３ｎは、図示しないセンサ及びアラームとそれぞれ接続されている。このセンサが異常を感知したり、アラームからの通報があると、カメラ３１〜３ｎに通知される。

カメラ３１〜３ｎにより撮像された画像データ及び上記センサ及びアラームにより通知されたイベント情報は、画像検索表示装置１により蓄積画像データベース２に記憶される。この記憶の際に、画像検索表示装置１は、上記イベント情報を解析して、イベントの発生時刻に撮像された画像データのフレームにイベント情報を付与して記憶させる。

図２は、画像検索表示装置１の機能構成を示すブロック図である。画像検索表示装置１は、主制御部として、マイクロプロセッサなどの中央処理ユニット（ＣＰＵ：Central Processing Unit）１１を備える。このＣＰＵ１１には、バス１２を介して、データメモリ１３、プログラムメモリ１４が接続され、さらにデータベースインタフェース（データベースＩ／Ｆ）１５、カメラインタフェース（カメラＩ／Ｆ）１６、入力インタフェース（入力Ｉ／Ｆ）１７及び出力インタフェース（出力Ｉ／Ｆ）１８が接続される。

データベースＩ／Ｆ１５は、ＣＰＵ１１制御の下、カメラ３１〜３ｎにより取り込まれた画像データを上記蓄積画像データベース２に格納する。また、データベースＩ／Ｆ１５は、ＣＰＵ１１制御の下、検索条件にしたがって画像データの検索を行い、検索された画像データをデータメモリ１３に読み込んで一時記憶する。カメラＩ／Ｆ１６は、カメラ３１〜３ｎとケーブルを介して接続され、撮像された画像データ及び通知されたイベント情報を取り込む機能を有する。

入力Ｉ／Ｆ１７には、キーボードやマウスなどの入力部１７ａが接続される。入力部１７ａにおいてユーザからの操作を受け付け、その操作情報をＣＰＵ１１に入力する。出力Ｉ／Ｆ１８は、ＣＰＵ１１制御の下、液晶表示器（ＬＣＤ）等で構成される表示部１８ａに表示データを出力する。データメモリ１３は、ＲＡＭまたはハードディスクなどで構成され、蓄積画像データベース２から取り込まれた検索画像データ等の一時記憶メモリとして利用される。

プログラムメモリ１４には、この発明に係わる制御プログラムとして、画像検索プログラム１４ａ及び画像表示プログラム１４ｂが格納される。画像検索プログラム１４ａは、入力部１７ａから入力された検索パラメータにしたがって、蓄積画像データベース２にアクセスして該当するフレームを検索し、検索された画像データをデータメモリ１３に取り込む機能を有する。また、画像表示プログラム１４ｂは、上記画像検索プログラム１４ａにより検索されたフレームをデータメモリ１３から読み出し、読み出したフレームから一覧表示データを作成する。この作成された一覧表示データを出力Ｉ／Ｆ１８を介して表示部１８ａに出力する。

次に、以上のように構成された画像検索表示装置１の動作について説明する。図３は、画像検索表示装置１における画像検索処理の手順とその内容を示すフローチャートである。また、図４及び図５には、画像検索表示装置１の表示部１８ａに表示される検索結果一覧表示画面Ｗ１及び検索結果拡大表示画面Ｗ２の一例をそれぞれ示す。

検索結果一覧表示画面Ｗ１は、カメラ制御ボタンＡ１、検索パラメータ設定エリアＡ２、及び一覧表示エリアＡ３を備える。カメラ制御ボタンＡ１が押下されると、カメラ制御画面（図示せず）に画面遷移し、ユーザは、カメラ３１〜３ｎのパン・チルト／ズーム操作を行うことができる。検索パラメータ設定エリアＡ２は、検索パラメータとして開始時刻、終了時刻、及び一覧表示数の入力を受け付け、検索ボタンが押下されると検索処理を実行する。一覧表示エリアＡ３は、上記検索ボタンが押下されたのち、入力された検索パラメータにしたがって検索された検索結果のフレームを一覧表示する。

一方、検索結果拡大表示画面Ｗ２は、上記検索結果一覧表示画面Ｗ１において、例えば、フレームＦｉをダブルクリックすると表示される。検索結果拡大表示画面Ｗ２は、上述したカメラ制御ボタンＡ１及び検索パラメータ設定エリアＡ２と、新たに、表示切替ボタンＡ４、拡大表示エリアＡ５及び表示制御エリアＡ６を備える。一覧表示ボタンＡ４は、上記検索結果一覧表示画面Ｗ１に切替表示する機能を有する。拡大表示エリアＡ５は、選択された各フレームを拡大表示する。表示制御ボタンＡ６は、上記拡大表示エリアＡ５に表示するフレームの表示制御を行う。

先ず、画像検索表示装置１の表示部１８ａには、検索結果一覧表示画面Ｗ１が表示されているものとする。この状態で、画像検索表示装置１のＣＰＵ１１は、ステップＳ３ａにおいて、検索パラメータ設定エリアＡ２によりユーザから入力される検索パラメータの入力を受け付ける。すなわち、ここでは、画像データの撮影期間における検索対象期間を決定する開始時刻及び終了時刻と最大検索結果数となる一覧表示数が入力される。一覧表示数は、例えば、１，４，９，１６，２５の中から１つが選択される。

そして、検索パラメータ設定エリアＡ２の検索ボタンが押下されると、入力された検索パラメータにしたがって、ステップＳ３ｂにより、検索間隔を設定する。検索間隔とは、検索対象期間全体から等間隔でフレームを抽出するための時間間隔である。そして、ステップＳ３ｃにおいて、画像検索表示装置１のＣＰＵ１１は、蓄積画像データベース２にアクセスして、上記設定された検索間隔に従って、表示用のフレームを抽出する。例えば、一覧表示数が２５と指定された場合は、検索対象期間の先頭フレーム及び末尾フレームの２フレームとその間の２３フレームが等間隔に抽出される。

次に、ステップＳ３ｄからステップＳ３ｇにおいて、上記抽出されたすべてのフレームに対して、下記の処理を繰り返し行う。すなわち、ステップＳ３ｅにおいて、抽出されたフレームに近接する所定の期間内に、イベント情報が付与されたイベントフレームが存在するか否かを判定する。上記判定により、抽出されたフレームの所定の期間内にイベントフレームが存在する場合は、ステップＳ３ｆに移行し、上記抽出されたフレームをイベントフレームによって差し替える。一方ステップＳ３ｅにおける判定により、抽出されたフレームの所定の期間内にイベントフレームが存在しない場合は、差し替え処理は行わず、次の抽出されたフレームの処理を行う。

このようにして、すべての抽出された各フレームに対して、上記処理が行われ、各フレームの所定の期間内にイベントフレームが存在する場合は、抽出されたフレームはイベントフレームによって差し替えられる。図６に、上述したフレームの差し替え処理の様子を示す。ステップＳ３ｃにおいて抽出されたフレームをフレームＦ１，Ｆ２，Ｆ３とする。ここで、フレームＦ２について、フレームＦ２のイベント検出期間Ｔ内にイベントフレームＥＦ２が存在するため、フレームＦ２はＥＦ２によって差し替えられる。この例では、フレームＦ１，ＥＦ２，Ｆ３が検索結果として出力される。

上記検索処理が完了すると、画像検索表示装置１のＣＰＵ１１は、画像表示プログラム１４ｂを実行し、検索結果一覧表示画面Ｗ１の一覧表示エリアＡ３に一覧表示数の表示領域を確保して、検索結果として出力されたフレームを各表示領域に表示した一覧表示データを作成して表示する。このようにして表示部１８ａに表示された例を図４に示す。また、検索結果として出力されたフレーム数が指定された一覧表示数より少ない場合は、すべての検索結果のフレームを表示可能な最小の一覧表示数で表示する。例えば、一覧表示数が２５で指定されたときに、検索結果として１４フレーム出力された場合、一覧表示数を１６にして表示するようにする。

以上述べたようにこの実施形態では、画像検索表示装置１のＣＰＵ１１は、入力部１７ａにより検索対象期間及び一覧表示数の入力を受け付ける。次に、画像検索プログラム１４ａを実行して、入力された検索対象期間及び一覧表示数から検索対象期間全体にわたって等間隔にフレームを抽出するための検索間隔を設定する。そして、蓄積画像データベース２にアクセスし、この設定された検索間隔に従って、表示用のフレームを抽出する。この抽出されたフレームを表示部１８ａに１画面で一覧表示するようにしたものである。

したがってこの実施形態によれば、検索対象期間全体にわたり、万遍なくフレームが取り込まれて一覧表示される。このため、ユーザは、検索対象期間全体にわたる状況を一目で視認することができる。これにより、従来の画像検索表示装置のように、検索結果が１画面の表示可能画像数を超えて出力されて、一覧表示画面をスクロール表示させたり、複数ページにわたって表示させることがない。このため、キーボードやマウス等を用いてスクロール操作する手間や、ページ切替の度に発生する画像データの読み込みに要する時間を省くことができる。

また、等間隔で画像データのフレームが抽出されたのち、さらに各フレームについて、それぞれのフレームに対するイベント検出期間にイベントフレームが存在するか否かを判定し、この判定により、イベント検出期間にイベントフレームが存在する場合は、抽出されたフレームをイベントフレームによって差し替えて、イベントフレームを優先して検索結果として表示するようにしている。

これにより、抽出された表示用フレームにおいて、所定期間内で近接するイベントの発生を表すフレームがある場合に、当該表示用フレームをこのイベントの発生を表すフレームに差し替えて、表示画面に一覧表示する。このため、ユーザは、検索対象期間に発生したイベントをもれなく確実に把握することが可能であるため、さらに利便性が向上する。

なお、この発明は上記実施形態に限定されるものではない。上記実施形態では、ダムの監視システムを例に挙げて説明したが、例えば、ビルやマンションの出入口やドア付近に設置された防犯カメラの画像検索表示にも利用できる。さらに、監視システム以外の他の用途、例えば、写真画像やホームビデオ画像、或いはテレビジョン放送された画像等を録画する録画装置における画像検索にも利用可能である。また、イベントとしては、カメラ３１〜３ｎに接続されたセンサ及びアラームとしたが、例えば、画像処理機能を用いて、前後のフレームを比較することにより認識される動的変化情報でも良い。

さらに、カメラ３１〜３ｎにより撮像される画像としては、静止画であってもよく、また準動画或いは動画であってもよい。また、伝送対象の情報としては、画像データに限らず、音声データや各種制御データを加えた、いわゆるマルチメディア情報であってもよい。蓄積画像データベース２は、画像検索表示装置１の内部に備えられるように構成してもよい。

その他、画像検索表示装置１の構成や表示部１８ａに表示される検索結果一覧表示画面Ｗ１及び検索結果拡大表示画面Ｗ２の画面構成、プログラムメモリ１４に格納される画像検索プログラム１４ａ及び画像表示プログラム１４ｂの処理手順とその処理内容についても、この発明の要旨を逸脱しない範囲で種々変形して実施できる。

要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

この発明に係わる画像検索表示装置を用いた監視システムの一実施形態を示す概略構成図。 図１に示した画像検索表示装置の機能構成を示すブロック図。 図１に示した画像検索表示装置における画像検索処理の手順とその内容を示すフローチャート。 図１に示した画像検索表示装置の表示部に表示される検索結果一覧表示画面の一例を示す図。 図１に示した画像検索表示装置の表示部に表示される検索結果拡大表示画面の一例を示す図。 図１に示した画像検索表示装置における画像検索処理の様子を示す図。

符号の説明

１…画像検索表示装置、２…蓄積画像データベース、３１〜３ｎ…カメラ、１１…ＣＰＵ、１２…バス、１３…データメモリ、１４…プログラムメモリ、１４ａ…画像検索プログラム、１４ｂ…画像表示プログラム、１５…データベースＩ／Ｆ、１６…カメラＩ／Ｆ、１７…入力Ｉ／Ｆ、１７ａ…入力部、１８…出力Ｉ／Ｆ、１８ａ…表示部、Ｗ１…検索結果一覧表示画面、Ｗ２…検索結果拡大表示画面、Ａ１…カメラ制御ボタン、Ａ２…検索パラメータ設定エリア、Ａ３…一覧表示エリア、Ａ４…表示切替ボタン、Ａ５…拡大表示エリア、Ａ６…表示制御エリア、Ｆ１〜Ｆｉ…フレーム、ＥＦ２…イベントフレーム、Ｔ…イベント検出期間。

Claims (4)

1. 画像データから画像フレームを検索して表示画面に一覧表示する画像検索表示装置において、
   複数画像フレームからなる画像データが記憶されるデータベースと、
   前記記憶された画像データから画像フレームを検索する際の検索対象期間及び一覧表示数の入力を受け付ける手段と、
   前記入力された一覧表示数に相当する画像フレームを前記入力された検索対象期間にわたり抽出するための検索間隔を設定する手段と、
   前記設定された検索間隔に従い前記データベースから該当する表示用画像フレームを抽出する手段と、
   前記抽出された表示用画像フレームを前記表示画面に一覧表示する手段と
   を具備することを特徴とする画像検索表示装置。
2. 前記記憶された画像データ中からイベントの発生を表す画像フレームを検出する手段と、
   前記抽出された表示用画像フレームのうち、前記検出されたイベントの発生を表す画像フレームと所定期間内で近接する表示用画像フレームがある場合に、当該表示用画像フレームを前記イベントの発生を表す画像フレームに差し替える手段と
   を、さらに具備することを特徴とする請求項１記載の画像検索表示装置。
3. データベースに記憶された複数画像フレームからなる画像データから画像フレームを検索して表示画面に一覧表示する、コンピュータを備える画像検索表示装置で使用されるプログラムであって、
   前記記憶された画像データから画像フレームを検索する際の検索対象期間及び一覧表示数の入力を受け付ける処理と、
   前記入力された一覧表示数に相当する画像フレームを前記入力された検索対象期間にわたり抽出するための検索間隔を設定する処理と、
   前記設定された検索間隔に従い前記データベースから該当する表示用画像フレームを抽出する処理と、
   前記抽出された表示用画像フレームを前記表示画面に一覧表示する手段と
   を前記コンピュータに実行させることを特徴とするプログラム。
4. 前記記憶された画像データ中からイベントの発生を表す画像フレームを検出する処理と、
   前記抽出された表示用画像フレームのうち、前記検出されたイベントの発生を表す画像フレームと所定期間内で近接する表示用画像フレームがある場合に、当該表示用画像フレームを前記イベントの発生を表す画像フレームに差し替える処理と
   を、前記コンピュータにさらに実行させることを特徴とする請求項３記載のプログラム。

Images