JP2007189558A

JP2007189558A - 映像表示システム及び映像蓄積配信装置

Info

Publication number: JP2007189558A
Application number: JP2006006769A
Authority: JP
Inventors: Shuichi Yamaguchi; 修一山口; Naoko Sato; 直子佐藤
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2006-01-13
Filing date: 2006-01-13
Publication date: 2007-07-26

Abstract

【課題】蓄積されたストリーム映像の全体を俯瞰でき、所望の位置を絞り込む。
【解決手段】ストリーム映像について所定時間幅を基準とした映像についてサムネイル画像の画像情報を作成するサムネイル作成手段４１Ｃと、与えられる時間幅情報に基づきサムネイル作成手段４１Ｃが作成するサムネイル画像の時間幅を制御すると共に、与えられるストリーム映像の時系列的な位置情報に基づき、サムネイル作成手段４１Ｃが作成するサムネイル画像のストリーム映像における時系列的な位置を制御して、時系列に沿って並べるサムネイル画像の画像情報を作成するサムネイル制御手段４５Ａと、サムネイル制御手段４５Ａにより送出したサムネイル画像についていずれかの選択情報が到来すると、当該サムネイル画像に対応するストリーム映像の位置以降のストリーム映像を送出するストリーム映像配信手段４５Ｂとを具備する。
【選択図】図１

Description

この発明は、テレビカメラによる道路監視などの各種監視を行う場合に、一度蓄積したストリーム映像から所望の位置（ストリーム上における位置（時間））の映像を選択指定して取り出す場合に好適な映像表示システム及び、この映像表示システムに用いられる映像蓄積配信装置に関するものである。

従来、設置した監視カメラにより得られる映像信号を蓄積して、後から再生して監視を行う映像監視システムは多数用いられてきた。今日においては、映像を符号化して蓄積し、これをネットワークで伝送して見ることが可能になっており、また、ＨＤＤ（ハードディスクドライブ）など保存媒体の容量拡大に伴って、従来より遥かに長時間の録画が可能になっている。

このような映像監視システムに関する状況おいて、蓄積された映像の中から目的の映像を探すために、映像再生する際に２０倍速再生などを行って再生時間を早くしたり、録画時に録画に係る映像がどのような内容のものなのかを示す情報を付加したり、更に、センサ等によって得られた何らかの事象をイベント情報として録画時に映像情報と共に書き込んでおく等、といった工夫がなされている。

しかしながら、再生時間を２０倍速にしても、見るのに要する時間は通常再生映像を見る場合の２０分の１は必要であるから、録画時間が長い対象映像となるほど、目的の位置（シーン）を探すまでに多大な時間を要するという問題があった。また、ネットワーク伝送して再生するシステムにおいては、高速再生すると伝送速度もそれに応じて１０倍、２０倍と必要になったり、配信側で高速再生用に変換しながら配信するといった、帯域や配信側の処理負荷が非常に大きくなってしまう問題があった。また、付随情報を事前に付加しておくにしても、目的に合致する事象の情報が十分得られないことが多く、補助的な位置づけで留まってしまうことが多い。

検索の迅速化という観点から、コンテンツのサムネイル画像を作成してユーザへ提供し、いずれかのサムネイル画像がユーザにおいて選択された場合に対応するコンテンツを提供するようにした配信システムが特許文献１に開示されている。
特開２００３−３０２４３号公報

しかしながら、上記特許文献１に開示のシステムは、ストリーム映像である監視映像の中において所望の位置（シーン）から再生することを狙ったシステムではなく、蓄積されたストリーム映像の全体を俯瞰し、その中から目的の位置を絞り込む場合に適用できないという難点がある。

本発明が解決しようとする課題は、現状においては、蓄積されたストリーム映像の全体を俯瞰することができず、その中から目的の位置を絞り込むことができないことであり、本発明ではこれを解決し、蓄積されたストリーム映像の全体を俯瞰でき、その中から目的の位置を絞り込むことができる映像表示システム及び、この映像表示システムに用いられる映像蓄積配信装置を提供することを目的とする。

本発明に係る映像表示システムは、ストリーム映像の映像情報が蓄積されたストリーム映像蓄積手段と、前記ストリーム映像について所定時間幅を基準とした映像についてサムネイル画像の画像情報を作成するサムネイル作成手段と、与えられる時間幅情報に基づき前記サムネイル作成手段が作成するサムネイル画像の時間幅を制御すると共に、前記サムネイル作成手段が作成するサムネイル画像の画像情報を送出するサムネイル制御手段と、前記サムネイル制御手段により送出したサムネイル画像についていずれかの選択情報が到来すると、当該サムネイル画像に対応するストリーム映像の映像情報を前記ストリーム映像蓄積手段から取り出して送出するストリーム映像配信手段とを具備する映像蓄積配信装置と、映像情報に基づく映像及びサムネイル画像の画像情報に基づく画像を表示するための表示手段と、サムネイル画像の時間幅を指示する時間幅情報と、前記表示手段に表示されたサムネイル画像についていずれかの選択情報との送出を指示するための入力手段と、前記入力手段による指示に応じて選択情報を送る情報送信手段と、前記サムネイル制御手段からサムネイル画像の画像情報が送られてくると、この画像情報に基づくサムネイル画像を前記表示手段に表示するサムネイル表示制御手段と、前記ストリーム映像配信手段から映像情報が送られてくると、この映像情報に基づくストリーム映像を前記表示手段に表示するストリーム表示制御手段とを具備する再生端末とを備えることを特徴とする。

本発明に係る映像表示システムでは、映像蓄積配信装置は、サムネイル画像の画像情報を蓄積するサムネイル画像蓄積手段を備え、
ストリーム映像の映像情報をストリーム映像蓄積手段に蓄積する際に、サムネイル作成手段により所定時間幅を基準とした映像についてサムネイル画像の画像情報を作成させて、前記サムネイル画像蓄積手段へ蓄積しておき、与えられる時間幅情報に基づきサムネイル画像の画像情報を、前記ストリーム映像蓄積手段から取り出して送出することを特徴とする。

本発明に係る映像表示システムは、ストリーム映像の映像情報が蓄積されたストリーム映像蓄積手段と、ストリーム映像の映像情報を解析する画像処理手段と、画像処理手段の解析により画素輝度情報の差分が所定値を超える場合に該当フレームの時間情報と該当フレームの映像情報が格納されるアドレスとを対応付けたインデックス情報を作成するインデックス作成手段と、前記インデックス情報に基づいてサムネイル画像の画像情報を送出するサムネイル制御手段と、前記サムネイル制御手段により送出されたサムネイル画像についていずれかの選択情報が到来すると、当該サムネイル画像に対応するストリーム映像の映像情報を前記ストリーム映像蓄積手段から取り出して送出するストリーム映像配信手段とを具備する映像蓄積配信装置と、映像情報に基づく映像及びサムネイル画像の画像情報に基づく画像を表示するための表示手段と、前記表示手段に表示されたサムネイル画像についていずれかの選択情報との送出を指示するための入力手段と、前記入力手段による指示に応じて選択情報を送る情報送信手段と、前記サムネイル制御手段からサムネイル画像の画像情報が送られてくると、この画像情報に基づくサムネイル画像を前記表示手段に表示するサムネイル表示制御手段と、前記ストリーム映像配信手段から映像情報が送られてくると、この映像情報に基づくストリーム映像を前記表示手段に表示するストリーム表示制御手段とを具備する再生端末とを備えることを特徴とする。

本発明に係る映像表示システムは、ストリーム映像の映像情報が蓄積されたストリーム映像蓄積手段と、イベント情報が到来した場合に該当フレームの時間情報と該当フレームの映像情報が格納されるアドレスとを対応付けたインデックス情報を作成するインデックス情報作成手段と、前記インデックス情報に基づいてサムネイル画像の画像情報を送出するサムネイル制御手段と、前記サムネイル制御手段により送出されたサムネイル画像についていずれかの選択情報が到来すると、当該サムネイル画像に対応するストリーム映像の映像情報を前記ストリーム映像蓄積手段から取り出して送出するストリーム映像配信手段とを具備する映像蓄積配信装置と、映像情報に基づく映像及びサムネイル画像の画像情報に基づく画像を表示するための表示手段と、前記表示手段に表示されたサムネイル画像についていずれかの選択情報との送出を指示するための入力手段と、前記入力手段による指示に応じて選択情報を送る情報送信手段と、前記サムネイル制御手段からサムネイル画像の画像情報が送られてくると、この画像情報に基づくサムネイル画像を前記表示手段に表示するサムネイル表示制御手段と、前記ストリーム映像配信手段から映像情報が送られてくると、この映像情報に基づくストリーム映像を前記表示手段に表示するストリーム表示制御手段とを具備する再生端末とを備えることを特徴とする。

本発明に係る映像表示システムでは、サムネイル制御手段は、再生端末からの要求に応じてサムネイル画像の画像情報を送出した場合に、送出したサムネイル画像に時系列的に隣接する位置に関しサムネイル画像の画像情報を前記サムネイル作成手段に作成させて予め再生端末へ送出し、保持させておくことを特徴とする。

本発明に係る映像蓄積配信装置は、ストリーム映像の映像情報が蓄積されたストリーム映像蓄積手段と、前記ストリーム映像について所定時間幅を基準とした映像についてサムネイル画像の画像情報を作成するサムネイル作成手段と、与えられる時間幅情報に基づき前記サムネイル作成手段が作成するサムネイル画像の時間幅を制御すると共に、前記サムネイル作成手段が作成するサムネイル画像の画像情報を送出するサムネイル制御手段と、前記サムネイル制御手段により送出したサムネイル画像についていずれかの選択情報が到来すると、当該サムネイル画像に対応するストリーム映像の映像情報を前記ストリーム映像蓄積手段から取り出して送出するストリーム映像配信手段とを具備することを特徴とする。

本発明に係る映像蓄積配信装置では、サムネイル画像の画像情報を蓄積するサムネイル画像蓄積手段を備え、ストリーム映像の映像情報をストリーム映像蓄積手段に蓄積する際に、サムネイル作成手段により所定時間幅を基準とした映像についてサムネイル画像の画像情報を作成させて、前記サムネイル画像蓄積手段へ蓄積しておき、与えられる時間幅情報に基づきサムネイル画像の画像情報を、前記ストリーム映像蓄積手段から取り出して送出することを特徴とする。

本発明に係る映像蓄積配信装置では、ストリーム映像の映像情報が蓄積されたストリーム映像蓄積手段と、ストリーム映像の映像情報を解析する画像処理手段と、画像処理手段の解析により画素輝度情報の差分が所定値を超える場合に該当フレームの時間情報と該当フレームの映像情報が格納されるアドレスとを対応付けたインデックス情報を作成するインデックス作成手段と、前記インデックス情報に基づいてサムネイル画像の画像情報を送出するサムネイル制御手段と、前記サムネイル制御手段により送出されたサムネイル画像についていずれかの選択情報が到来すると、当該サムネイル画像に対応するストリーム映像の映像情報を前記ストリーム映像蓄積手段から取り出して送出するストリーム映像配信手段とを具備することを特徴とする。

本発明に係る映像蓄積配信装置では、ストリーム映像の映像情報が蓄積されたストリーム映像蓄積手段と、イベント情報が到来した場合に該当フレームの時間情報と該当フレームの映像情報が格納されるアドレスとを対応付けたインデックス情報を作成するインデックス情報作成手段と、前記インデックス情報に基づいてサムネイル画像の画像情報を送出するサムネイル制御手段と、前記サムネイル制御手段により送出されたサムネイル画像についていずれかの選択情報が到来すると、当該サムネイル画像に対応するストリーム映像の映像情報を前記ストリーム映像蓄積手段から取り出して送出するストリーム映像配信手段とを具備することを特徴とする。

本発明に係る映像蓄積配信装置では、サムネイル制御手段は、再生端末からの要求に応じてサムネイル画像の画像情報を送出した場合に、送出したサムネイル画像に時系列的に隣接する位置に関しサムネイル画像の画像情報を前記サムネイル作成手段に作成させて予め再生端末へ送出し、保持させておくことを特徴とする。

本発明においては、与えられる時間幅情報に基づき作成するサムネイル画像の時間幅を制御すると共にサムネイル画像の画像情報を作成するので、蓄積されたストリーム映像について所望位置を所望の時間幅でサムネイル画像を作成して表示でき、蓄積されたストリーム映像の全体を俯瞰し、その中から目的の位置を絞り込むことができる。

本発明では、与えられる時間幅情報に基づき作成するサムネイル画像の時間幅を制御すると共にサムネイル画像の画像情報を作成する構成を採用することにより、蓄積されたストリーム映像の全体を俯瞰できるようにし、その中から所望の位置を絞り込むことを可能とする目的を達成したものである。

以下添付図面を参照して本発明に係る映像表示システム及び、この映像表示システムに用いられる映像蓄積配信装置の実施例を説明する。各図において、同一の構成要素には同一の符号を付して重複する説明を省略する。図１には、本発明に係る映像表示システムを含んだ監視システムの構成図が示されている。このシステムにおいては、監視カメラ１０により監視対象の映像を撮像し、例えばＮＴＳＣ方式などの映像信号を得る。ネットワークなどの伝送部２０には、映像符号化装置３０、映像蓄積配信装置４０及び再生端末５０が接続されている。

映像符号化装置３０には上記監視カメラ１０が接続されており、映像符号化装置３０は監視カメラ１０から送られた映像信号をネットワークなどの伝送部２０にて伝送可能なＭＰＥＧ２などの映像情報に符号化するものである。映像符号化装置３０により符号化された映像情報は伝送部２０を介して映像蓄積配信装置４０へ送られる。映像蓄積配信装置４０は、上記で送られてくる映像情報を蓄積して管理し、再生端末５０からの要求に応じて配信を行う。再生端末５０は、例えばパーソナルコンピュータなどにより構成されており、映像蓄積配信装置４０へアクセスして映像情報の配信を受けるものである。上記の監視カメラ１０と映像符号化装置３０のセットは通常複数設けられており、また、再生端末５０も複数設けられる。

以上の通り構成された監視システムにおいて、映像蓄積配信装置４０と再生端末５０により映像表示システムが構成されており、詳細なブロック図を図２に示す。この実施例においては、複数の監視カメラ１０と映像符号化装置３０のセットから映像情報が送られてくると共に、図示せぬセンサからイベント情報が送られてくるものとする。ここに、センサとしては、例えば侵入監視システムにあっては侵入を検出する赤外線等のセンサ、道路監視システムにあっては車両の通過や渋滞を検出する電波センサなどである。

映像蓄積配信装置４０は、映像解析部４１、映像管理部４２、記憶装置４３、サムネイル生成部４４、配信制御部４５及び通信部４６を備えている。記憶装置４３には、インデックス記憶手段４３Ａ、サムネイル画像蓄積手段４３Ｂ、ストリーム映像蓄積手段４３Ｃが備えられている。インデックス記憶手段４３Ａ、サムネイル画像蓄積手段４３Ｂ、ストリーム映像蓄積手段４３Ｃは、カメラ対応の対象映像毎に存在するが、ここでは、その内の１つのみを描いてあり、各カメラ対応の対象映像に係るインデックス記憶手段４３Ａ、サムネイル画像蓄積手段４３Ｂ、ストリーム映像蓄積手段４３Ｃは対象映像の識別情報により検索可能となっている。

映像解析部４１は、到来するストリーム映像の映像情報を解析する画像処理手段４１Ａ、解析結果に基づきインデックス情報を作成するインデックス作成手段４１Ｂ、サムネイル画像の画像情報を作成するサムネイル作成手段４１Ｃを備えている。画像処理手段４１Ａは、到来するストリーム映像の映像情報における画素輝度情報についてフレーム間差分或いは背景差分又はその双方を行って差分値が所定値を超える場合に該当フレームの映像情報についてサムネイル画像を作成すべきことをサムネイル作成手段４１Ｃへ通知する。また、到来するストリーム映像の映像情報についてフレーム毎に先頭フレームからの時間を、映像情報に付加されている時間情報或いは自らが備えている時計に基づきを検出し、サムネイル画像を作成する位置をインデックス作成手段４１Ｂへ通知する。

図３は、インデックス記憶手段４３Ａ内に蓄積されるインデクス情報の一例である。インデックス作成手段４１Ｂは画像処理手段４１Ａの通知に基づき、所定時間幅（この実施例では、１時間間隔、１０分間隔、１分間隔、１０秒間隔、１秒間隔）を基準とした映像についてサムネイル画像の画像情報を作成する位置のフレーム識別情報と、当該フレーム識別情報に対応するフレームの時系列的な位置情報（時間情報）と、当該フレーム識別情報に対応するフレームの映像情報がストリーム映像蓄積手段４３Ｃに記憶されているアドレス情報とを対応付けたインデックス情報を作成する。

画像処理手段４１Ａから、差分値が所定値を超える場合に該当フレームの映像情報についてサムネイル画像を作成すべきことの通知がなされた場合にも、インデックス作成手段４１Ｂはインデックス情報を作成し、インデックス記憶手段４３Ａ内に状態変化のフラグをセットして蓄積する。また、映像管理部４２は、イベント情報が到来したときに、そのときに到来している画像情報のフレーム情報、時間情報（先頭フレームからの時間）、当該フレーム識別情報に対応するフレームの映像情報がストリーム映像蓄積手段４３Ｃに記憶されているアドレス情報を作成し、インデックス記憶手段４３Ａ内に状態変化のフラグをセットして蓄積する。図３の例では、１９分２０秒２２に状態変化によるインデックス情報がセットされている。

サムネイル作成手段４１Ｃは、予め定めた長い時間幅を基準とした映像について、サムネイル画像の画像情報を作成してサムネイル画像蓄積手段４３Ｂに記憶するものであり、ここでは、例えば、１時間間隔と１０分間隔の映像についてサムネイル画像の画像情報を作成する。サムネイル画像の作成は、例えば、画素の間引きなど公知の手法により行う。ストリーム映像蓄積手段４３Ｃには、映像解析部４１によって、到来するストリーム映像の映像情報が蓄積される。

サムネイル生成部４４は、インデックス記憶手段４３Ａ内のインデックス情報を用いて、サムネイル画像の画像情報を作成するものである。即ち、サムネイル作成手段４１Ｃでは、予め定められた１時間間隔と１０分間隔の映像についてサムネイル画像の画像情報が記憶されているだけであるから、インデックス情報に基づいてサムネイル画像の画像情報を作成して、サムネイル画像蓄積手段４３Ｂに記憶する。これにより、配信制御部４５等による要求があった場合には、インデックス情報に基づいて、１分間隔、１０秒間隔、１秒間隔で、状態変化時の映像についてもサムネイル画像の画像情報を作成することができる。

配信制御部４５は、サムネイル制御手段４５Ａを備えており、再生端末５０から与えられる時間幅情報に基づきサムネイル作成手段４１Ｃが作成するサムネイル画像の時間幅を制御すると共に、再生端末５０からの要求に基づき、サムネイル作成手段４１Ｃとサムネイル生成部４４が作成するサムネイル画像の画像情報を、時系列に沿って当該画像情報を送出するものである。

配信制御部４５は、ストリーム映像配信手段４５Ｂを備えており、サムネイル制御手段４１Ｃとサムネイル生成部４４により作成され送出したサムネイル画像について再生端末５０からいずれかの選択情報が到来すると、当該サムネイル画像に対応するストリーム映像の位置以降の映像情報をストリーム映像蓄積手段４３Ｃから取り出して送出するものである。

通信部４６は、再生端末５０の通信部５１との間で例えば、ＴＣＰ／ＩＰによるプロトコルにより通信を行うものであり、再生端末５０よりＷｅｂページの要求があると配信制御部４５へこれを通知する。これに応えて配信制御部４５は、例えば図４に示される如くに表示が行われるＷｅｂページの画面情報を返送するＷＷＷサーバとして機能する。

図４において、Ｓはストリーム映像表示部であり、Ｒは映像選択リスト部であり、ＳＮはサムネイル画像表示部である。映像選択リスト部Ｒにおいては、この例では、「○○カメラ１」による映像、「○△カメラＡ」による映像、「△△トンネル入り口」の映像のいずれかが選択可能となっている。サムネイル画像表示部ＳＮには、この例では、５枚のサムネイル画像が表示される。サムネイル画像表示部ＳＮの下方に横長のサムネイル範囲表示スクロールバーＢが配置されており、サムネイル画像表示部ＳＮの両サイドには、サムネイル画像を前後へ送るボタンＫが配置されている。また、ＢＢはストリーム映像表示部Ｓに表示されたストリーム映像の再生・早送り等の操作ボタンである。ＳＷはサムネイルの表示時間幅を切り換えるスイッチであり、既に説明した通り１時間間隔、１０分間隔、１分間隔、１０秒間隔、１秒間隔の選択が可能となっている。

再生端末５０には図２に示されている通り、通信部５１に選択情報通知部５２、サムネイル表示制御部５３、復号・表示制御部５４が接続された構成を備えている。選択情報通知部５２には操作・入力部５５が接続されており、サムネイル表示制御部５３には表示部５６及びキャッシュ部５７が接続されており、復号・表示制御部５４には表示部５６が接続されている。表示部５６には、ストリーム映像表示部Ｓとサムネイル画像表示部ＳＮが配置されている。表示部５６には、図４に示す如く映像選択リスト部Ｒ等が配置されているが、この図２では省略してある。表示部５６は、映像情報に基づく映像及びサムネイル画像の画像情報に基づく画像等を表示するための表示手段を構成している。

操作・入力部５５は、キーボードやマウスなどにより構成される入力手段であり、図４におけるサムネイルの表示時間幅を切り換えるスイッチＳＷの操作によりサムネイル画像の時間幅を指示する時間幅情報の送出を指示し、図４におけるサムネイル範囲表示スクロールバーＢやサムネイル画像を前後へ送るボタンＫの操作によりストリーム映像の時系列的な位置情報の送出を指示し、表示手段である表示部５６におけるサムネイル画像表示部ＳＮに表示されたサムネイル画像についていずれかを選択する操作に応じて選択情報の送出を指示するものである。選択情報通知部５２は、この操作・入力部５５の操作による指示を受けて位置情報と選択情報とを通信部５１を介して送る情報送信手段を構成する。

サムネイル表示制御部５３は、映像蓄積配信装置４０の表示サムネイル制御手段４１Ｃからサムネイル画像の画像情報が送られてくると、この画像情報に基づくサムネイル画像を時系列に沿って並べて表示手段である表示部５６に表示するサムネイル表示制御手段を構成する。また、サムネイル表示制御部５３は、操作・入力部５５の操作による情報を受けて表示部５６における表示に変更（例えば、サムネイル範囲表示スクロールバーＢの表示位置変更など）を行う。更に、復号・表示制御部５４は、映像蓄積配信装置４０のストリーム映像配信手段４５Ｂから映像情報が送られてくると、この映像情報に基づくストリーム映像を表示手段である表示部５６に表示するストリーム表示制御手段を構成する。サムネイル表示制御部５３はＷｅｂブラウザにより実現され、復号・表示制御部５４はメディア表示ソフトウエアにより実現される。

以上の通りに構成された映像表示システムにおいて、映像蓄積配信装置４０の映像解析部４１は図５に示されるフローチャートに対応するプログラムにより動作を行い、映像管理部４２は図６に示されるフローチャートに対応するプログラムにより動作を行い、配信制御部４５は図７に示されるフローチャートに対応するプログラムにより動作を行う。一方、再生端末の選択情報通知部５２は図８に示されるフローチャートに対応するプログラムにより動作を行い、サムネイル表示制御部５３は図９に示されるフローチャートに対応するプログラムにより動作を行い、復号・表示制御部５４は図１０に示されるフローチャートに対応するプログラムにより動作を行う。そこで、これら図５から図１０に示されるフローチャートに基づき動作説明を行う。

映像蓄積配信装置４０の映像解析部４１は図５に示すように映像情報を取り込み（Ｓ１１）、映像情報に付加されている時刻情報を参照するか自らの時計による時刻を参照して先頭から所定時間幅（この実施例では、１時間間隔、１０分間隔、１分間隔、１０秒間隔、１秒間隔）のフレームの到来を検出し（Ｓ１２）、該当のフレームが到来すると、このフレームのフレーム識別情報（ＩＤ）と時間情報と対応したフレームの映像が格納されているストリーム映像蓄積手段４１Ｃ内の格納先アドレスとを用いてインデックス情報を作成し、インデックス記憶手段４３Ａへ蓄積する（Ｓ１３）。

次に、サムネイル画像を予め作成する時間幅（１時間間隔と１０分間隔）のフレームの到来を検出し（Ｓ１４）、該当のフレームが到来すると、このフレームを用いてサムネイル画像を作成してサムネイル画像蓄積手段４３Ｂに記憶すると共に、このサムネイル画像が格納されているサムネイル画像蓄積手段４３Ｂ内の格納先アドレスをインデックス記憶手段４３Ａへ反映させる（Ｓ１５）。

この結果、１時間間隔と１０分間隔のフレームについては、ストリーム映像が格納されたアドレスとサムネイル画像が格納されたアドレスが、フレーム識別情報と時間情報に対応してインデックス記憶手段４３Ａに蓄積される。

上記のステップＳ１２においてＮＯへ分岐した場合には、到来するストリーム映像の映像情報における画素輝度情報についてフレーム間差分或いは背景差分又はその双方等の画像処理を行って（Ｓ１７）、差分値が所定閾値を超える場合（Ｓ１８）にはステップＳ１９へ進み、このフレームのフレーム識別情報（ＩＤ）と対応したフレームの映像情報が格納されているストリーム映像蓄積手段４３Ｃ内の格納先アドレスと状態変化のフラグを用いてインデックス情報を作成し、インデックス記憶手段４３Ａへ反映させる。ステップＳ２０では、サムネイル生成部４４によってインデックス情報に基づいて該当フレームのサムネイル画像を作成してサムネイル画像蓄積手段４３Ｂに記憶すると共に、このサムネイル画像が格納されている格納先アドレスをインデックス記憶手段４３Ａへ反映させる。なお、ステップＳ２０は、必ずしも行う必要はなく、要求があった場合に行うようにしても良い。ステップＳ１６では到来するストリーム映像の映像情報が終了となったかを検出し、終了とならなければステップＳ１１へ戻って処理を続け、到来する映像情報がなくなると処理を終了してエンドとなる。

映像蓄積配信装置４０の映像管理部４２は図６に示すように映像情報を取り込む（Ｓ２１）と共に、センサなどの出力を監視してイベントの発生を検出する（Ｓ２２）。イベントの発生が検出できると、そのときに到来している画像情報のフレーム情報、時間情報（先頭フレームからの時間）、当該フレーム識別情報に対応するフレームの映像情報をストリーム映像蓄積手段４３Ｃに格納した位置のアドレス情報を作成し、インデックス記憶手段４３Ａ内に状態変化のフラグをセットして蓄積する（Ｓ２３）。このとき、サムネイル生成部４４により当該時刻に到来のフレームに対応するサムネイル画像の作成を行って、サムネイル画像蓄積手段４３Ｂへ蓄積すると共にインデックス情報の作成を行い、インデックス記憶手段４３Ａ内に蓄積しても良い。

ステップＳ２３に続いて到来するストリーム映像の映像情報が終了となったかを検出し（Ｓ２４）、終了とならなければステップＳ１１へ戻って処理を続け、到来する映像情報がなくなると処理を終了してエンドとなる。

次に、サムネイル画像を用いた映像配信及び映像再生について図７〜図１０を参照して説明する。映像蓄積配信装置４０の配信制御部４５は図７に示されるフローチャートに対応するプログラムによりＷｅｂページの要求を待っており（Ｓ３１）、当該要求の到来に応じて初期表示用のＷｅｂページ情報を送信して（Ｓ３２）、再生端末５０から次の情報が送られてくるのを待つ（Ｓ３３）。再生端末５０では、選択情報通知部５２が図８に示すように、操作・入力部５５から映像蓄積配信装置４０への接続要求が入力されるかを待ち受けており（Ｓ５１）、同接続要求の入力があると映像蓄積配信装置４０へＷｅｂページの要求を行い、サイトへ接続する（Ｓ５２）。

初期表示用のＷｅｂページ情報について通信部５１を介して受け取ったサムネイル表示制御部５３は、図９に示す通り、Ｗｅｂページ情報を用いてストリーム映像表示部Ｓに表示する以外の表示制御を行う（Ｓ６１）。即ち、図４に示すように映像選択リスと部Ｒ、サムネイル画像表示部ＳＮ、ボタンＫ、サムネイル範囲表示スクロールバーＢ、操作ボタンＢＢ、表示時間幅を切り換えるスイッチＳＷを表示する。なお、初期画面においては例えば、スイッチＳＷが「１時間」の時間幅を示しており、サムネイル範囲表示スクロールバーＢでは先頭位置が示されており、サムネイル画像表示部ＳＮには先頭位置から１時間幅で５枚(５枚より少ない場合は、時間幅を小さくして５枚とする)のサムネイル画像が時系列に沿って並べられて表示される。

一方、初期表示用のＷｅｂページ情報を通信部５１を介して受け取った復号・表示制御部５４は、図１０に示す通り、ストリーム映像表示部Ｓに表示するストリーム映像情報に基づく表示制御を行う（Ｓ７１）。なお、初期表示用のＷｅｂページ情報の到来前においては、映像選択リスト部Ｒにおける選択がされていないので、初期に表示する画面については、例えば、予め定められた静止画の画像情報がストリーム映像表示部Ｓに表示すべき情報として送られてくるものとし、この静止画を復号・表示制御部５４がストリーム映像表示部Ｓに表示する。

以上の通りに初期表示が行われると、選択情報通知部５２が図８に示すように、操作・入力部５５における操作入力を監視する（Ｓ５３）状態となり、操作入力があると対応する操作情報を映像蓄積配信装置４０へ送出する処理を終了操作の入力があるまで続け（Ｓ５４）、終了操作の入力を受けて（Ｓ５５）、終了処理を行って（Ｓ５６）エンドとなる。

これに対し図７に示す通り、映像蓄積配信装置４０の配信制御部４５は再生端末５０から次の情報が送られてくるのを待っており（Ｓ３３）、再生端末５０から情報が到来すると映像選択の情報であるか（Ｓ３４）、サムネイルの選択であるか（Ｓ３５）、サムネイル範囲表示スクロールバーＢやボタンＫの操作による範囲（ストリーム映像の時系列的な位置情報）変更がなされたか（Ｓ３６）、時間幅変更がなされたか（Ｓ３７）、終了の通知がなされたか（Ｓ３８）を検出する。

上記ステップＳ３４において映像選択の情報（対象映像の識別情報）の到来を検出すると現状と同一であるかを検出し（Ｓ４１）、同一であれば処理をすることなくステップＳ３３へ戻り、現状と異なる映像選択がなされたことが検出された場合には対応のストリーム映像の映像情報（先頭フレームからのもの）とこの映像に係るサムネイル画像の画像情報（例えば、先頭位置から１時間間隔のもの）を送信してステップＳ３３へ戻る。

また、上記ステップＳ３５において例えば、サムネイル画像表示部ＳＮに表示されている５枚中の１枚のサムネイル画像が選択されたことに応じて送られてくるサムネイル画像対応のフレーム識別情報が検出されると、このフレーム識別情報に応じたフレームの格納アドレスをインデックス記憶手段４３Ａから求めて対応するフレーム以降の映像情報をストリーム映像蓄積手段４３Ｃから取り出して、当該ストリーム映像の映像情報を送る（Ｓ４２）。

これに対し復号・表示制御部５４は、図１０に示す通り、到来するストリーム映像の映像情報を受け取って復号化し、これに基づくストリーム映像をストリーム映像表示部Ｓへ表示する処理を終了操作の入力がなされるまで続け（Ｓ７２）、終了操作の入力を検出し（Ｓ７３）ＹＥＳとなれば、終了処理を行って（Ｓ７４）エンドとなる。

配信制御部４５はステップＳ３６において、サムネイル範囲表示スクロールバーＢやボタンＫの操作による範囲（ストリーム映像の時系列的な位置情報）変更がなされたことが、例えば、サムネイル範囲表示スクロールバーＢの位置情報やボタンＫの操作時間情報を得て検出すると、サムネイル範囲表示スクロールバーＢの停止した位置の情報（例えばスクロールバーＢの中央が、移動可能範囲全体の１００分の３３の位置に存在などの情報）に応じて、該当サムネイル範囲表示スクロールバーＢの位置に対応するフレームを特定して、特定したフレームのフレーム識別情報を全フレームが幾つであるかに基づき求める（Ｓ４３）。例えば、２００万フレームが全体であれば、１００分の３３は、６６万フレーム目として得られる。さらに、現在においてスイッチＳＷにて指定されている時間幅情報から、上記特定されたフレームにおけるサムネイル画像が既にサムネイル画像蓄積手段３４Ｂに蓄積されているかを検出する（Ｓ４４）。蓄積されているときには、サムネイル画像蓄積手段３４Ｂから該当するサムネイル画像を取り出して送信する（Ｓ４５）。このステップＳ４５における処理により、映像管理部４２によるイベント検出時にサムネイル画像が作成され蓄積されていれば、該当する場合に当該サムネイル画像が活用される。一方、サムネイル画像蓄積手段３４Ｂに蓄積されていないときには該当する位置(先頭からの時間)及び該当する位置近傍のサムネイル画像をサムネイル生成部４４に作成させ、作成に係るサムネイル画像の画像情報を送信する（Ｓ４６）。例えば、１時間間隔と１０分間隔については、既にサムネイル画像が作成されているが、それ以外の間隔については、サムネイル生成部４４により作成されることになる。

配信制御部４５によりステップＳ４３、Ｓ４４、Ｓ４５が実行されて、サムネイル画像の画像情報が送られてくる場合に、サムネイル表示制御部５３は、サムネイル範囲表示スクロールバーＢの位置変更等の操作の有無の検出を行い（Ｓ６２）、表示用のサムネイル画像が到来したかを検出し（Ｓ６４）、キャッシュ部５７へ蓄積するサムネイル画像（表示位置近傍のサムネイル画像）の到来を検出し（Ｓ６６）、終了操作を検出している（Ｓ６８）。

配信制御部４５がステップＳ６２においてサムネイル範囲表示スクロールバーＢの位置変更等の操作を検出した場合にはサムネイル範囲表示スクロールバーＢの位置変更等に関し表示を追随制御させる（Ｓ６３）。また、この場合にキャッシュ部５７に、上記で変更された位置に対応するサムネイル画像の画像情報がキャッシュ部５７に蓄積されている場合には、このステップＳ６３においてサムネイル画像を表示する。配信制御部４５がステップＳ６４において表示用のサムネイル画像の到来を検出した場合には、これに基づく表示を行うと共にキャッシュ部５７へ蓄積する（Ｓ６５）。配信制御部４５がステップＳ６６においてキャッシュ部５７へ蓄積するサムネイル画像の到来を検出した場合には、到来したサムネイル画像の画像情報をキャッシュ部５７へ蓄積する（Ｓ６５）。また、配信制御部４５がステップＳ６８において終了操作を検出した場合には終了処理を行い（Ｓ６９）エンドとなる。

以上の通りの構成が採用されており、蓄積されたストリーム映像の全体を時間幅を変更したサムネイル画像により、また、ストリーム映像における時系列的な位置情報を変更して俯瞰できるようになり、所望サムネイル画像の選択によりその位置からストリーム映像を再生でき、ストリーム映像の全体の中から所望の位置を絞り込むことが可能となる。

本発明に係る映像表示システムの概略構成を示すブロック図。本発明に係る映像表示システムを構成する映像蓄積配信装置と再生端末による映像表示システムの詳細ブロック図。本発明に係る映像表示システムに用いられるインデックス記憶手段内に蓄積するインデクス情報の一例を示す図。本発明に係る映像表示システムにおいて、再生端末にて表示される画面の一例を示す図。本発明に係る映像表示システムにおける映像蓄積配信装置の映像解析部の動作を説明するためのフローチャート。本発明に係る映像表示システムにおける映像蓄積配信装置の映像管理部の動作を説明するためのフローチャート。本発明に係る映像表示システムにおける映像蓄積配信装置の配信制御部の動作を説明するためのフローチャート。本発明に係る映像表示システムにおける再生端末の選択情報通知部の動作を説明するためのフローチャート。本発明に係る映像表示システムにおける再生端末のサムネイル表示制御部の動作を説明するためのフローチャート。本発明に係る映像表示システムにおける再生端末の復号・表示制御部の動作を説明するためのフローチャート。

符号の説明

１０監視カメラ
２０伝送路
３０映像符号化装置
４０映像蓄積配信装置
４１映像解析部
４１Ａ画像処理手段
４１Ｂインデックス作成手段
４１Ｃサムネイル作成手段
４２映像管理部
４３記憶手段
４３Ａインデックス記憶手段
４３Ｂサムネイル画像蓄積手段
４３Ｃストリーム映像蓄積手段
４４サムネイル生成部４４
４５配信制御部
４５Ａサムネイル制御手段
４５Ｂストリーム映像配信手段
５２選択情報通知部
５３サムネイル表示制御部
５４復号・表示制御部
５５操作・入力部
５６表示部
５７キャッシュ部

Claims

ストリーム映像の映像情報が蓄積されたストリーム映像蓄積手段と、前記ストリーム映像について所定時間幅を基準とした映像についてサムネイル画像の画像情報を作成するサムネイル作成手段と、与えられる時間幅情報に基づき前記サムネイル作成手段が作成するサムネイル画像の時間幅を制御すると共に、前記サムネイル作成手段が作成するサムネイル画像の画像情報を送出するサムネイル制御手段と、前記サムネイル制御手段により送出したサムネイル画像についていずれかの選択情報が到来すると、当該サムネイル画像に対応するストリーム映像の映像情報を前記ストリーム映像蓄積手段から取り出して送出するストリーム映像配信手段とを具備する映像蓄積配信装置と、
映像情報に基づく映像及びサムネイル画像の画像情報に基づく画像を表示するための表示手段と、サムネイル画像の時間幅を指示する時間幅情報と、前記表示手段に表示されたサムネイル画像についていずれかの選択情報との送出を指示するための入力手段と、前記入力手段による指示に応じて選択情報を送る情報送信手段と、前記サムネイル制御手段からサムネイル画像の画像情報が送られてくると、この画像情報に基づくサムネイル画像を前記表示手段に表示するサムネイル表示制御手段と、前記ストリーム映像配信手段から映像情報が送られてくると、この映像情報に基づくストリーム映像を前記表示手段に表示するストリーム表示制御手段とを具備する再生端末と
を備えることを特徴とする映像表示システム。
映像蓄積配信装置は、サムネイル画像の画像情報を蓄積するサムネイル画像蓄積手段を備え、
ストリーム映像の映像情報をストリーム映像蓄積手段に蓄積する際に、サムネイル作成手段により所定時間幅を基準とした映像についてサムネイル画像の画像情報を作成させて、前記サムネイル画像蓄積手段へ蓄積しておき、与えられる時間幅情報に基づきサムネイル画像の画像情報を、前記ストリーム映像蓄積手段から取り出して送出することを特徴とする請求項１に記載の映像表示システム。
ストリーム映像の映像情報が蓄積されたストリーム映像蓄積手段と、ストリーム映像の映像情報を解析する画像処理手段と、画像処理手段の解析により画素輝度情報の差分が所定値を超える場合に該当フレームの時間情報と該当フレームの映像情報が格納されるアドレスとを対応付けたインデックス情報を作成するインデックス作成手段と、前記インデックス情報に基づいてサムネイル画像の画像情報を送出するサムネイル制御手段と、前記サムネイル制御手段により送出されたサムネイル画像についていずれかの選択情報が到来すると、当該サムネイル画像に対応するストリーム映像の映像情報を前記ストリーム映像蓄積手段から取り出して送出するストリーム映像配信手段とを具備する映像蓄積配信装置と、
映像情報に基づく映像及びサムネイル画像の画像情報に基づく画像を表示するための表示手段と、前記表示手段に表示されたサムネイル画像についていずれかの選択情報との送出を指示するための入力手段と、前記入力手段による指示に応じて選択情報を送る情報送信手段と、前記サムネイル制御手段からサムネイル画像の画像情報が送られてくると、この画像情報に基づくサムネイル画像を前記表示手段に表示するサムネイル表示制御手段と、前記ストリーム映像配信手段から映像情報が送られてくると、この映像情報に基づくストリーム映像を前記表示手段に表示するストリーム表示制御手段とを具備する再生端末と
を備えることを特徴とする映像表示システム。
ストリーム映像の映像情報が蓄積されたストリーム映像蓄積手段と、イベント情報が到来した場合に該当フレームの時間情報と該当フレームの映像情報が格納されるアドレスとを対応付けたインデックス情報を作成するインデックス情報作成手段と、前記インデックス情報に基づいてサムネイル画像の画像情報を送出するサムネイル制御手段と、前記サムネイル制御手段により送出されたサムネイル画像についていずれかの選択情報が到来すると、当該サムネイル画像に対応するストリーム映像の映像情報を前記ストリーム映像蓄積手段から取り出して送出するストリーム映像配信手段とを具備する映像蓄積配信装置と、
映像情報に基づく映像及びサムネイル画像の画像情報に基づく画像を表示するための表示手段と、前記表示手段に表示されたサムネイル画像についていずれかの選択情報との送出を指示するための入力手段と、前記入力手段による指示に応じて選択情報を送る情報送信手段と、前記サムネイル制御手段からサムネイル画像の画像情報が送られてくると、この画像情報に基づくサムネイル画像を前記表示手段に表示するサムネイル表示制御手段と、前記ストリーム映像配信手段から映像情報が送られてくると、この映像情報に基づくストリーム映像を前記表示手段に表示するストリーム表示制御手段とを具備する再生端末と
を備えることを特徴とする映像表示システム。
サムネイル制御手段は、再生端末からの要求に応じてサムネイル画像の画像情報を送出した場合に、送出したサムネイル画像に時系列的に隣接する位置に関しサムネイル画像の画像情報を前記サムネイル作成手段に作成させて予め再生端末へ送出し、保持させておくことを特徴とする請求項１乃至請求項４のいずれか１項に記載の映像表示システム。
ストリーム映像の映像情報が蓄積されたストリーム映像蓄積手段と、前記ストリーム映像について所定時間幅を基準とした映像についてサムネイル画像の画像情報を作成するサムネイル作成手段と、
与えられる時間幅情報に基づき前記サムネイル作成手段が作成するサムネイル画像の時間幅を制御すると共に、前記サムネイル作成手段が作成するサムネイル画像の画像情報を送出するサムネイル制御手段と、
前記サムネイル制御手段により送出したサムネイル画像についていずれかの選択情報が到来すると、当該サムネイル画像に対応するストリーム映像の映像情報を前記ストリーム映像蓄積手段から取り出して送出するストリーム映像配信手段と
を具備することを特徴とする映像蓄積配信装置。
サムネイル画像の画像情報を蓄積するサムネイル画像蓄積手段を備え、
ストリーム映像の映像情報をストリーム映像蓄積手段に蓄積する際に、サムネイル作成手段により所定時間幅を基準とした映像についてサムネイル画像の画像情報を作成させて、前記サムネイル画像蓄積手段へ蓄積しておき、与えられる時間幅情報に基づきサムネイル画像の画像情報を、前記ストリーム映像蓄積手段から取り出して送出することを特徴とする請求項６に記載の映像蓄積配信装置。
ストリーム映像の映像情報が蓄積されたストリーム映像蓄積手段と、
ストリーム映像の映像情報を解析する画像処理手段と、
画像処理手段の解析により画素輝度情報の差分が所定値を超える場合に該当フレームの時間情報と該当フレームの映像情報が格納されるアドレスとを対応付けたインデックス情報を作成するインデックス作成手段と、
前記インデックス情報に基づいてサムネイル画像の画像情報を送出するサムネイル制御手段と、
前記サムネイル制御手段により送出されたサムネイル画像についていずれかの選択情報が到来すると、当該サムネイル画像に対応するストリーム映像の映像情報を前記ストリーム映像蓄積手段から取り出して送出するストリーム映像配信手段と
を具備することを特徴とする映像蓄積配信装置。
ストリーム映像の映像情報が蓄積されたストリーム映像蓄積手段と、
イベント情報が到来した場合に該当フレームの時間情報と該当フレームの映像情報が格納されるアドレスとを対応付けたインデックス情報を作成するインデックス情報作成手段と、
前記インデックス情報に基づいてサムネイル画像の画像情報を送出するサムネイル制御手段と、
前記サムネイル制御手段により送出されたサムネイル画像についていずれかの選択情報が到来すると、当該サムネイル画像に対応するストリーム映像の映像情報を前記ストリーム映像蓄積手段から取り出して送出するストリーム映像配信手段と
を具備することを特徴とする映像蓄積配信装置。
サムネイル制御手段は、再生端末からの要求に応じてサムネイル画像の画像情報を送出した場合に、送出したサムネイル画像に時系列的に隣接する位置に関しサムネイル画像の画像情報を前記サムネイル作成手段に作成させて予め再生端末へ送出し、保持させておくことを特徴とする請求項６乃至請求項９のいずれか１項に記載の映像蓄積配信装置。