JP2005217886A - 画像表示装置および画像表示方法およびその動作処理プログラムおよびそのプログラムを記憶した記憶媒体 - Google Patents

Abstract

【課題】 膨大な蓄積画像の検索を容易にする。
【解決手段】 各カメラに対応して撮像時刻を示す時間軸を並列して配置させ、所望の時刻を指示するための指示子であって時間軸に対して垂直方向に重畳して指示子を表示するための指示ウインドウを有する。この指示子の位置に対応して時刻を決定し、前記決定された時刻に各カメラにおいてそれぞれ撮像された蓄積画像を検索し、前記画像表示ウインドウ上にそれぞれマルチ画像表示することを特徴とする画像表示装置を提供する。
【選択図】 図１３

Description

本発明は、例えば、例えば監視カメラによって撮像され、蓄積された画像を表示するための手法に関するものである。

近年、デジタルカメラあるいはデジタルビデオカメラに代表されるように、静止画像、動画像を電子的に記録、再生できる製品が発売されている。

また、電子的に扱うメリットとして、画像と共に、例えば時刻や、撮像情報などを属性として持たせることができる。これらの情報を用いて、静止画像や映像を編集して撮像者の意図を表現できるような映像編集システムもでてきている。

例えば、撮像装置から画像や映像を収集して編集する（編集ソフトフォトレタッチソフトあるいはビデオ編集ソフト）が製品化されている。

一方、最近のインターネットの普及により、ネットワークを介して全世界的に様々な情報を受信したり、発信したりできるようになってきている。また、ネットワーク接続機能をもつネットワークカメラなどが登場してきている。

これらの発展により、遠隔地の画像をストリームとして受け取り、端末側で閲覧することが可能になる。また、同時に異なる地域の映像を閲覧することも可能となる。この受け取られたライブ映像は端末側でキャプチャするなどして蓄積しておくことが可能である。
特開平１０−２００８５５

しかしながら、ネットワークを介して収集される画像データが膨大となると、所望の蓄積画像を検索し、閲覧することは容易ではなかった。

本発明では、膨大、多種類かつ不連続な蓄積画像群に対して、時間軸を利用して検索可能なシステムを提供することを１つの特徴とする。

上述した目的を達成するために、複数のカメラによって撮像された蓄積画像をマルチ画像表示するための画像表示ウインドウと、前記各カメラに対応して撮像時刻を示す時間軸を並列して配置させ、所望の時刻を指示するための指示子であって時間軸に対して垂直方向に重畳して指示子を表示するための指示ウインドウとを表示する表示手段と、前記指示子の位置に対応して時刻を決定し、前記決定された時刻に各カメラにおいてそれぞれ撮像された蓄積画像を検索する検索手段とを有し、前記表示手段は、前記検索手段によって検索された画像を前記画像表示ウインドウ上にマルチ画像表示することを特徴とする画像表示装置を提供する。

各カメラの画像を短時間で容易に検索することができる。

以下、本発明の実施の形態を詳細に述べる。

画像収集装置の構成図を図１に示す。

図１において、画像収集装置１００は、システムを立ち上げるのに必要なプログラムやデータが記憶されるメモリ１０１、演算や処理の制御を行うところの中央処理装置１０２、文字、記号、画等情報を表示する表示装置１０３、データや情報を保存する補助記憶装置（ＨＤＤ）１０４、文字等を入力するキーボード装置１０５、表示された文字等をカーソルで指示するポインティングデバイス１０６、データや情報を保存する差し替え可能（ｒｅｍｏｖａｂｌｅ）な、二次記憶装置（ＦＤＤ）１０７、インターネットなどのネットワーク２００に接続されたネットワークインターフェースカードＮＩＣ１０８がバス１０９を介して接続される。

またメモリ１０１には、情報収集プログラム１１０、画像再生プログラム１２０、属性表示プログラム１３０、指示プログラム１４０、マルチ表示プログラム１５０、表示制御プログラム１６０がそれぞれ格納されている。

また、ＦＤＤ１０７には、蓄積画像１７０〜１７ｎが格納されるものとする。また、ＨＤＤ１０４には、蓄積画像群１８０〜１８ｎが格納されるものとする。

図２は、ネットワークカメラ３００と画像収集装置１００との接続関係を示す図である。

ネットワークカメラ３００は、画像を撮像する撮像装置３０１、撮像した画像を保存する画像蓄積装置３０２を有し、画像収集装置１００と同様にネットワーク２００に接続されている。図２ではネットワークカメラ３００はネットワーク２００上に１台しか描かれていないが、同様のネットワークカメラが複数ネットワーク２００に接続されているものとする。なお、画像蓄積装置３０２は必須ではなく後述の画像収集によって直接画像収集装置に画像を蓄積させても良い。また、ネットワーク２００の代わりに画像蓄積装置３０２に保存された画像を着脱可能な記録メディアとしての二次記憶装置１０７から画像収集装置に画像を受け渡しても良い。

なお、画像蓄積装置３０２および二次記憶装置１０７に蓄積される蓄積画像１７０〜１７ｎには画像及び各画像の付帯情報として撮像時刻が含まれる。

次に、本実施例の動作について詳細に説明する。

画像収集プログラム１１０の収集動作を図３の動作処理フローチャートを用いて示す。

まず、ステップｓ３０１において画像を読み込む。二次記憶装置１０７、および、画像蓄積装置３０２、撮像装置３０１から取得された画像が読み込まれる。具体的には、二次記憶装置１０７に記憶された画像ファイルが読み込まれる。また、画像収集としてネットワークカメラ３００の画像蓄積装置３０２からの、例えばｆｔｐ転送などのネットワークプログラムによって蓄積画像が読み込まれる。また、ネットワークを介してストリーム配信された撮像装置３０１によって撮像された画像を収集する。

ステップｓ３０２において、ネットワークカメラ３００毎に蓄積画像１８０〜１８ｎとしてＨＤＤ１０４に保存する。

蓄積画像１８０〜１８ｎは、ネットワークカメラごとに１つのあるフォルダに画像ファイル群を保存するなどして分類される。

ステップｓ３０３において、全ての蓄積画像が読み込まれたか確認し、読み込まれるまでステップｓ３０１〜ｓ３０３を繰り返し、全て読み込まれたら終了する。なお、画像収集プログラム１１０は、ネットワークを介した画像収集など、画像収集装置１００に常に画像が配信されるような場合は、終了せずにステップｓ３０１，ｓ３０２を繰り返しても良い。

なお画像収集プログラムの動作は、１時間おきに起動してもよいし、時刻を指定して起動させてもよい。また、マルチ表示プログラム１５０が起動するたびに同時に起動されても良い。

次に、画像再生プログラム１２０の画像再生動作を図４の動作処理フローチャートを用いて示す。

まず、ステップｓ４０１において、ＨＤＤ１０４に蓄積された蓄積画像のうち所望の１つが選択される。

そして、ステップｓ４０２において、表示装置１０３の画面上に表示される指定位置を検出する。

ステップｓ４０３において、指定された位置に対応した蓄積画像の撮像時刻を再生開始時刻として決定する。指定がない場合は、例えば時刻順に古い物から指定される。

ステップｓ４０４において、図５に示すようにディスプレイ１０３上に画像が再生される画像表示ウインドウ５０１が表示され、静止画像であれば該当時刻の画像が表示される。また、動画像であれば再生開始時刻から終了までの映像が再生される。

つぎに、ステップｓ４０５において、再生すべき画像群が残っていれば、ｓ４０６で次の時刻を新たに指定してｓ４０３〜ｓ４０５を繰り返す。そして、全て表示されたら新たな指示が発生するまでステップｓ４０１において待機する。

なお、画像再生プログラム１２０は画像の再生動作を並列に実行させることができる。

つぎに、図６の動作処理フローチャートを用いて属性表示プログラム１３０の動作処理を説明する。

まず、ステップＳ６０１において、あるネットワークカメラによって撮像された蓄積画像が選択されたことを検出する。そして、ステップｓ６０２に進み、選択された画像に付帯する属性情報（時刻に関する情報）を読み込み、ステップｓ６０３に進み、このよみこまれた属性情報を表示する。

本実施の形態では、図７に示すように、ある一定期間（図７では２００２／１／１〜２００２／１１／２９）に対して蓄積画像の存在する期間をウインドウ７０１上に帯状に表示させる。具体的には、たとえば読み込まれた属性値の蓄積時刻に該当する期間を、時間軸を示す帯７０２の中で塗りつぶすことで蓄積画像期間を識別させる。ステップｓ６０４に進み、さらに画像群が残っていれば、ステップｓ６０２に戻り、再度ｓ６０２〜ｓ６０４を繰り返す。全て選択された画像の蓄積期間情報が表示された場合、新たな指示をｓ６０１で待つ。

次に指示プログラム１４０の指示動作を図８の動作処理フローチャートを用いて説明する。

まず、ｓ８０１において、図７のポインティングデバイス１０６がクリックされたときの図７に示すカーソル１１１の位置を検出する。そして、ステップｓ８０２において、検出されたカーソル１１１の位置から対応する時間帯を割り出す。さらに、ステップｓ８０３において、該当する帯状の時間表示の位置から、該当する撮像時刻を割り出す。

なお、本実施の形態における帯表示による時間帯は、２００２／１／１の０：００から２００２／１１／２９の１２：００までの期間が扱われている。図７の場合、ポインティングデバイス１０６によって、例えば２００２／１０／２９ ８：００が選択されている。

そして、ステップｓ８０４において、蓄積画像と指定された時刻に関する情報を表示制御プログラム１６０に受け渡す。

次に、図９の動作処理フローチャートを用いてマルチ表示プログラム１５０による画像収集装置１００の動作説明する。マルチ表示は例えば図１０に示すように、複数の画像ウインドウ５０１を再生表示することを指す。

まず、ステップｓ９０１において、表示されるべき蓄積画像に対応する例えば６つのネットワークカメラが指定される。ステップｓ９０２において、指定された蓄積画像のそれぞれに対応する属性（撮像期間）情報の表示が属性表示プログラム１３０で行なわれる。例えば図１０に示す属性情報表示ウインドウ１００１のように、各蓄積画像のそれぞれに対応する蓄積された画像の撮像期間に関する情報（蓄積画像の有無）が帯表示７０２ａ〜ｆとして識別表示される。ウインドウ１００１において、その縦軸は各インターネットカメラの名称であり、横軸は蓄積画像が撮像された時刻を示している。

次に、ステップｓ９０３において、選択された蓄積画像の画像ウインドウ上における表示位置を決定する。例えば、ステップｓ９０１においてネットワークカメラが指定された順番に左上から配列する。

次に、ステップｓ９０４において、表示制御プログラム１６０に対して蓄積画像を処理するための初期化イベントを投げる。これによって、再生開始時刻が指定される。

ステップｓ９０５においてイベントの発生を検出した場合、ステップｓ９０６に進む。ステップｓ９０６において、発生したイベントが表示制御プログラム１６０からのものである場合、ステップｓ９０７に進む。ステップｓ９０７において、再生すべき蓄積画像と表示位置、再生開始する蓄積画像の撮像時刻に関する情報がそれぞれ画像再生プログラム１２０に受け渡される。

この処理の結果、図１０に示すように、複数の表示再生プログラム１２０が動作し、画像ウインドウ５０１上に各ネットワークカメラにおいて撮像された蓄積画像がマルチ画像表示される。

ステップｓ９０８において終了イベントであると判断した場合、マルチ表示プログラムを終了する。

次に、表示制御プログラム１６０による表示制御動作を図１１の造作処理フローチャートを用いて説明する。

まず、ステップｓ１１０１において、イベントの発生が検出された場合、ステップｓ１１０２に進む。ステップｓ１１０２において、発生したイベントが指示プログラム１４０のｓ８０４の指定された蓄積画像と時刻に関する情報を取得したイベントと判別された場合、ステップｓ１１０３に進む。ステップｓ１１０３において、取得した蓄積画像と指定時刻に関する情報を組とし、ステップｓ１１０４においてこの組を引数としてマルチ表示プログラム１５０へイベントを投げる（ｓ１１０４）。

ステップｓ１１０５において、マルチ表示プログラム１５０の初期化のイベントであることが判別された場合、ステップｓ１１０６に進み、蓄積画像および指定時刻を組みとしたデフォルトを決定し、マルチ表示プログラム１５０にイベントとして返す（ｓ１１０４）。例えば、最も古い画像を指定した再生位置を返す。

ｓ１１０７において、終了のイベントであると判別された場合、表示制御プログラム１６０を終了させる。

以上のようにすることで、長期間に渡り不連続に蓄積された複数の画像群、つまり蓄積情報から、指示プログラム１４０での指示によって所望された蓄積情報の所望された時点の画像の表示再生を行うことが出来る。

（第２の実施の形態）
本実施の形態では、複数の制御を同時に行うことで、非同期に蓄積された蓄積情報を統一的に扱う処理を説明する。なお、本実施の形態の構成は、指示プログラム１４０およびマルチ表示プログラムが後述のとおりの処理に変更される以外は図１と同等である。

図１２を用いて、本実施の形態における指示プログラム１４１による指示動作を説明する。

ステップｓ１２０１において、図１３に示すとおり、属性情報表示ウインドウ１００１上に、指示子１３０１を表示させる。この棒状の指示子１３０１は、時間軸垂直方向に重畳され、ポインティングデバイス１０６を用いて移動させることができる。

ステップｓ１２０２において、例えば図１３の「ＯＫ」ボタン１３０２が選択されると指示子１３０１の画面上の表示位置を取得する。そして、ｓ１２０３において、該取得された位置が時間帯のうちのどの時刻に対応するかを割り出す。そして、ステップｓ１２０４に進み、指定された時刻に関する情報を表示制御プログラム１６０に受け渡す。

表示制御プログラムは、指定された時刻に関する情報に基づいて、現在マルチ表示すべき指定された蓄積画像の全てに再生の指示を画像再生プログラムに送る。すなわち、画像再生プログラム１２０は、指定された全てのネットワークカメラによって指定された時刻に撮像された画像を検索し、同時に再生表示させる。

すなわち、指示子１３０１を時間軸（横軸）上で時間軸に対して垂直方向に移動させることにより、複数の蓄積画像に対する同時刻の再生を一度に行うことができ、効率がよい。

なお、チェックボックスを表示させることにより、画像再生プログラム１２０への画像データの受け渡しを特定の１つにするかあるいは表示されている全画像にするかを切替えるようにしてもよい。

また、指定された時刻に蓄積された画像が存在しない場合、指定された時刻以降で最も近い時刻に蓄積された画像を再生してもよい。このとき、指定した画像でないことを示すために、図１４に示すとおり、画像表示ウインドウ５０１の周囲に赤い枠を設けたり、画像を点滅させたりしてもよい。また、指定された時刻に蓄積画像が存在しないことを示すために、図１５に示すとおり、画像表示ウインドウ５０１上に特定の画像を表示させてもよい。

また、蓄積画像が存在しない期間を含む不連続な画像をマルチ画像再生しても以下のとおりにして同期を取ることができる。このときの画像再生プログラムの画像再生動作処理フローチャートを図１７に示す。

まず、ステップｓ１７０１において、ＨＤＤ１０４に蓄積された蓄積画像のうち所望の１つが選択される。そして、ステップｓ１７０２において、表示装置１０３の画面上に表示される画像の表示位置が指定される。ステップｓ１７０３において、指定された位置に対応した時刻を再生開始時刻として決定する。指定された時刻に該当する画像がない場合は、決定された時刻以降であって最も近い蓄積画像が存在する時刻を再生開始時刻として決定する。

ステップｓ１７０４において、同期信号を発生させ、イベントの発生が検出された場合、ステップｓ１７０５に進む。ステップｓ１７０５において、各インターネットカメラの蓄積画像の撮像時刻が指定された再生開始時刻と異なるタイミングであるかどうかそれぞれ判断する。再生開始時刻に蓄積画像が存在しないものは、最も近い蓄積画像が存在する時刻の蓄積画像を再生表示される。一方、タイミングイベント（同期信号）がｓ１７０３で指定された再生開始時刻のタイミングであると判別されたものは、ｓ１７０７へ進み、決定された再生開始時刻に対応する蓄積画像を再生表示する。

マルチ表示を同期的に表示するための信号は、具体的には、指定された時点が１２：００：００．００で、動画が３０ｆｐｓであるとすれば、１２：００：００．００，１２：００：００．０１，…１２：００：００．２９，１２：００：０１．００と言ったタイミングで発生させる。このような処理によりある指定された時点から、例え歯抜けの蓄積画像があったとしても、マルチ表示全体で同期をとって統一的に再生することが出来る。

なお、ウインドウ５０１に表示される蓄積画像の代わりに現在インターネットカメラが撮像している画像を切換表示してもよい。

（第３の実施の形態）
本実施の形態では、蓄積画像の単位時間あたりの蓄積画像枚数に応じて蓄積画像の撮像時間帯の表示状態を変更する形態である。なお、画像収集装置１００の構成は属性表示プログラムの動作処理以外は同様である。

図１７は、本実施の形態における属性表示プログラムの動作処理フローチャートである。

まず、ステップｓ１７０１において、どのインターネットカメラの蓄積画像が選択されたかどうかを検出する。次にステップｓ１７０２において、選択されたインターネットカメラによって撮像された蓄積画像の属性情報（撮像時刻に関する情報）を抽出する。ステップｓ１７０３において、まだ属性情報が抽出されていない蓄積画像が存在するかどうか判別し、属性情報が抽出されていない蓄積画像があればステップｓ１７０２に戻る。すべての蓄積画像の属性情報の抽出を完了したと判断した場合、ステップｓ１７０４に進み、図１８に示すとおりウインドウ１８０１上にインターネットカメラによって撮像された蓄積画像の撮像時刻の分布状態を示す帯１８０２が表示される。

帯１８０２の横方向は撮像時刻を示し、黒っぽく表示されているほど蓄積画像の単位時間あたりの撮像枚数が多いことを示している。例えば、単位時間あたり０枚から５００枚の蓄積のばらつきがあった場合、ディスプレイで表現できる濃度を０〜１００とすると５００／１００＝５枚の蓄積数がある毎に表示する濃度を変更すればよい。例えば単位時間あたりの枚数が０枚では濃度０、２００枚では濃度４０、５００枚では濃度１００として表現する。このような蓄積画像の分布状態を表示することは、例えば以上を検知して画像の蓄積を開始するシステムが提案されているが、このようなシステムに有用である。

この帯１８０２の所望の時刻に対応する位置を指定することで、その時刻の蓄積画像を検索し、再生表示をウインドウ５０１上で行うことができる。なお、濃淡ではなく、色相を変えて蓄積画像の単位時間あたりの撮像枚数を示してもよい。

また、図１９に示すとおり、帯の高さ方向を蓄積画像のサイズに関する情報に割り当てることもできる。具体的には、例えば、画像サイズの６４０ｘ３２０を画素の１００ｄｏｔ、３２０ｘ１６０を画素の５０ｄｏｔ、１６０Ｘ８０を画素の２５ｄｏｔというような「高さ」に変換して表現させることで実現される。

なお、図１９に示すような表示を実行するためには、蓄積画像の属性情報として、撮像時刻だけでなく、蓄積画像の画像サイズを保持しておく必要がある。これら撮像時刻、画像サイズに関する情報を必要に応じて読み出すことにより、図１９の表示を行うことができる。

以上説明したとおり、長期間に渡り無秩序に複数蓄積された画像群に対して、画像フレーム数の分布の変化を濃淡で明示することで、容易に所望される時刻の蓄積画像を指定できる。

なお、上述した実施の形態においては、多地域で長期間に渡って蓄積された情報において、統一的な国際標準時ＧＭＴで検索するのではなく、各地域時刻で統一的に扱ってもよい。例えばある日の一日の再生を指定した際に、全ての地域の蓄積画像で、夜中の暗闇から朝日が昇り昼になりまた夜になる、といったような、同期表示が可能となる。

画像収集装置の構成図 システム全体図。 画像収集装置の画像収集の動作処理フローチャート。 画像収集装置の画像再生の動作処理フローチャート。 画像表示ウインドウの一例を示す図。 画像収集装置の属性（撮像時刻）を表示する動作処理フローチャート。 蓄積画像が撮像された時刻を表示する一例を示す図。 画像収集装置の再生指示の動作処理フローチャート。 画像収集装置のマルチ画像表示処理フローチャート。 マルチ画像表示の一例を示す図。 画像収集装置の表示制御処理フローチャート。 画像収集装置の再生指示の動作処理フローチャート。 再生指示を行うためのウインドウの一例を示す図。 画像表示ウインドウの一例を示す図。 画像表示ウインドウの一例を示す図。 画像収集装置のマルチ画像表示処理フローチャート。 画像収集装置の蓄積画像の分布を表示する動作処理フローチャート。 画像収集装置の蓄積画像の分布を表示したウインドウの一例を示す図。 画像収集装置の蓄積画像の分布を表示したウインドウの一例を示す図。

符号の説明

１００ 画像収集装置
１０１ メモリ
１０２ ＣＰＵ
１０３ 表示装置
３００ ネットワークカメラ

Claims (12)

1. 複数のカメラによって撮像された蓄積画像をマルチ画像表示するための画像表示ウインドウと、前記各カメラに対応して撮像時刻を示す時間軸を並列して配置させ、所望の時刻を指示するための指示子であって時間軸に対して垂直方向に重畳して指示子を表示するための指示ウインドウとを表示する表示手段と、
   前記指示子の位置に対応して時刻を決定し、前記決定された時刻に各カメラにおいてそれぞれ撮像された蓄積画像を検索する検索手段とを有し、
   前記表示手段は、前記検索手段によって検索された画像を前記画像表示ウインドウ上にマルチ画像表示することを特徴とする画像表示装置。
2. 請求項１において、前記表示手段は、蓄積画像の有無を時間軸上に識別して表示させることを特徴とする画像表示装置。
3. 請求項１において、前記表示手段は、前記指示子の位置に対応する蓄積画像が存在しない場合、代替画像を表示させることを特徴とする画像表示装置。
4. 請求項１において、前記表示手段は、前記指示子の位置に対応する蓄積画像が存在しない場合、前記指示子の位置に対応する時刻近傍において蓄積された画像を表示することを特徴とする画像表示装置。
5. カメラによって撮像された蓄積画像を表示する第１のウインドウと、前記カメラの撮像時刻を示す時間軸を表示する第２のウインドウとを表示する表示手段と、
   前記指示子の位置に対応して時刻を決定し、前記決定された時刻の蓄積画像を検索する検索手段とを有し、
   前記表示手段は、前記カメラの蓄積画像の分布状態を前記時間軸において表示することを特徴とする画像表示装置。
6. 請求項５において、前記表示手段は、さらに、蓄積画像の画素数に関する情報を前記時間軸に対して垂直方向に示すことを特徴とする画像表示装置。
7. 複数のカメラによって撮像された蓄積画像をマルチ画像表示するための画像表示ウインドウと、前記各カメラに対応して撮像時刻を示す時間軸を並列して配置させ、所望の時刻を指示するための指示子であって時間軸に対して垂直方向に重畳して指示子を表示するための指示ウインドウとを表示し、
   前記指示子の位置に対応して時刻を決定し、前記決定された時刻に各カメラにおいてそれぞれ撮像された蓄積画像を検索して、前記画像表示ウインドウ上にマルチ画像表示することを特徴とする画像表示方法。
8. 請求項７において、蓄積画像の有無を時間軸上に識別して表示させることを特徴とする画像表示方法。
9. 請求項７において、前記指示子の位置に対応する蓄積画像が存在しない場合、代替画像を表示させることを特徴とする画像表示方法。
10. 請求項７において、前記指示子の位置に対応する蓄積画像が存在しない場合、前記指示子の位置に対応する時刻近傍において蓄積された画像を表示することを特徴とする画像表示方法。
11. 請求項７ないし請求項１０のいずれか１項に記載の画像検索方法を実行するためのプログラム。
12. 請求項１１に記載のプログラムを記憶した記憶媒体。
    

Images