JP2006245756A

JP2006245756A - 映像情報記録再生方法および映像情報処理方法および映像情報記録再生装置および映像情報処理装置

Info

Publication number: JP2006245756A
Application number: JP2005055747A
Authority: JP
Inventors: Masao Noguchi; 正雄野口
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2005-03-01
Filing date: 2005-03-01
Publication date: 2006-09-14
Anticipated expiration: 2025-03-01
Also published as: JP4361504B2

Abstract

【課題】映像情報記録再生装置に記録されたイベント画像を、ネットワークを経由した映像情報処理装置から高速に検索する手段を簡易な構成で実現する。
【解決手段】ネットワークを介してイベント画像の検索を行う場合に、記録された各フレーム画像のデータの全てを送出せずその一部分のみを送出して粗い画質での一覧表示をおこない、詳細確認時には各フレームの全データを送出して高精細な表示を行うものである。
【選択図】図１

Description

本発明は、映像情報記録再生方法および装置に関するものであり、特に、監視カメラ用途などに適用されてネットワークを介して接続された端末から記録映像を検索する処理方法、並びに、装置に関するものである。

従来の映像信号記録装置においては、映像を記録する際にカメラなどから入力された映像信号を符号化して、ビデオテープやハードディスクなどに記録する方法が一般的であり、長時間の記録を必要とする用途の場合には、たとえば、ＪＰＥＧ（ＪｏｉｎｔＰｈｏｔｏｇｒａｐｈｉｃＥｘｐｅｒｔｓＧｒｏｕｐ）などの画像圧縮技術を用いてデータサイズを小さくして記録する手法が広く用いられている。

また、この画像圧縮技術で圧縮したデータを、ＬＡＮやインターネットなどのネットワーク技術を用いて遠隔地に送信する技術も実用化し、普及してきている。

さらに、監視用途などにおいては、センサでイベントを感知した際などの重要な映像箇所については、その時点の映像が後で判別可能となるように映像の記録位置とアラームなどのイベント情報とを関連付けて記録し、後でその中から所望の映像を検索するということがよく行われる。

このような状況において、記録された多くのイベント関連画像からいかに効率良く所望の映像を検索できるかが課題となっている。

この改善策として、映像を記憶媒体に記録する段階において、異常検出などの手段を用いてイベントが発生した場合にのみ画像圧縮率を下げて通常時よりもより多くの符号量を割り当てることで、検索時に詳細が確認できるように高画質で記録するものがある（例えば、特許文献１参照。）。
あるいは、画像圧縮のための符号化処理手段を複数備え、あるいは、符号化手段とは別に画像の形式を変換する手段を備えることで、ネットワークで簡易に見られる形態の符号化形態と詳細に記録する符号化形態の２通りの符号化を行うものがある（例えば、特許文献２参照。）。

特開２００１−３３３３８０号公報（第２頁、第１図）特開２００４−２５４２４８号公報（第１９頁、第１図）

しかしながら従来の技術では、上記文献１のようにイベントの発生に呼応して高画質で記録した場合、検索時に高画質の画像を見られることで視認性は向上するが、ネットワークを経由して検索および視聴を行う場合には、ネットワークの帯域がデータ量に対して十分でない場合にデータ転送に時間がかかってしまい、検索および視聴に時間を要する問題点があった。

また、上記文献２のように、複数の符号化を可能とする構成とした場合、その符号化の制御をハードウェアで実現する場合でもソフトウェアで実現する場合でも１種類の符号化手段の場合に比べて構成が複雑となりコストアップする問題があった。

本発明は上記のような課題を解決するためになされたものであり、映像記録再生装置に記録されたイベント関連画像をネットワークを介した遠隔地の情報処理装置から高速に検索する映像情報処理方法および映像情報記録再生装置を得ることを目的とするものである。

本発明は、
映像情報記録再生装置において、フレームによって構成された入力画像を符号化して記録し、
少なくとも１つ以上のイベント信号が入力された際にイベントが発生したこととその時点の記録画像データの記録アドレスとを関連付けて記録し、
ネットワークを介して映像情報処理手段からの画像データの送信要求を受け付けた場合に記録した画像データを読み出して上記ネットワークを介して前記映像情報処理手段に画像データを送信する映像情報記録再生処理方法において、
前記イベントが発生したときに記録された画像を検索するためのデータ送出要求を上記ネットワークを介して前記映像情報処理手段から受けた際に、記録されたフレーム画像データの一部のみを順次送出する
ことを特徴とした映像情報記録再生処理方法を提供するものである。

以上、本発明によれば、イベントに関連した記録画像をネットワーク経由で検索する際に、まず記録したフレーム画像データの一部のみを送出するようにしているので多数のイベント画像を高速で送出可能となり情報処理装置での画像表示をすばやく行え、所望画像の検索を高速化する効果があり、さらに、詳細な動画での確認が必要な場合には記録されたフレーム画像データの全データを送出することで高画質で詳細な検索が可能となり、このときにネットワークで送信するために別の符号化形式へ変換しているわけではないので簡易な構成で実現でき、さらに、画像データの蓄積も１種類の形式のみで記録しているため記憶媒体の容量を節約できるという効果がある。

実施の形態１．
図１は、本発明の実施の形態１による映像情報記録再生装置を説明する図であり、より具体的には装置を実現するためのブロック図である。

図１において、映像情報記録再生装置１は、画像入力部２、入力された画像を符号化して圧縮する画像符号化部３、データ蓄積部４、画像データおよびイベントデータを蓄積部に書き込むためのデータ記録部５、記録された画像および管理データを読み出すためのデータ読み出し部６、フレーム画像データの一部分を取り出すための画像データ部分取り出し制御部７、ＬＡＮやインターネットなどのネットワークへ読み出された画像データを送出するデータ送信部８、ネットワークからデータの送出要求などのコマンドを取得するためのコマンド受信部９、外部のイベント発生装置からのイベント信号入力部１０、受信したイベント信号を処理するイベント処理部１１、記録の際の画質制御を行ったり、コマンド受信部９を介して入力されたコマンドに応じて動作するための処理制御部１２を備える。
データ送信部８及びコマンド受信部９はＬＡＮやインターネットなどのネットワーク１３を介して映像情報処理装置１４に接続されている。

映像情報処理装置１４は、映像情報記録再生手段１に記録された画像データをネットワーク１３を介して視聴するためのものであり、例えば図２に示すように、映像情報記録再生装置１からの画像データを受信するデータ受信部１５と、受信された画像データを復号化する復号化部１６と、画像データなどを表示する表示部１７と、制御部１８と、画像データ送信要求や画像検索要求などを送信するためのコマンド送信部１９と、指定手段８０とを有する。指定手段８０は、ユーザが検索範囲や表示方法などを指定するために操作をする手段であり、後述のように、グラフィカルユーザインターフェース（ＧＵＩ）で構成されていても良く、ユーザが操作するキー入力部などで構成されていても良い。制御手段１８は、指定手段８０からの指定入力を受け、コマンド送信部１９を制御してコマンドを送信させたり、データ受信部１５におけるデータ受信、復号化部１６における復号化、表示部１７における表示などを制御する。

なお、図１においては、映像情報記録再生装置１へ直接接続されて記録の開始や停止などを制御するコマンド入力手段、機器の状態を表示する手段、画像処理時に一時的にデータを格納するフレームメモリ、直接接続された表示装置、あるいは、記録された映像を表示するためのデータ復号化処理手段など、本発明の効果に直接影響を及ぼさない部分は省略して示している。

本実施の形態１の映像情報記録再生装置１では、画像入力部２に接続されたカメラなどから入力された映像を、処理制御部１２により所定の画質および記録間隔に制御されて画像符号化部３にて符号化を行い、その符号化データをデータ記録部５によりデータの記録媒体であるデータ蓄積部４に記録する。また、イベント信号入力部１０には外部のセンサなどが接続され、そのセンサイベントを感知した際にはイベント信号処理部１１が処理制御部１２へ対してイベント処理要求を発行し、そのイベント発生時点の画像とイベントとを関連付けて記録する。

また、映像情報記録再生装置１は、映像情報処理装置１４からネットワーク１３およびコマンド受信部９を経由してデータ蓄積部４に記録されたデータの送信要求を受けた場合に、制御処理部１２にて必要な処理を判断し、画像データ読み出し部６がデータ蓄積部４から必要なフレーム画像データを読み出し、データ送信部８からネットワーク１３を介して映像情報処理装置に画像データを送信する。

本実施の形態１の画像符号化部３は入力画像を符号化する際に階層性を有したエンベデッド符号化を行うものであり、１フレーム画像分の全データの中からある階層の符号データを取り出せばその取り出し量に応じた品質の画像が得られるように符号化する。図３にエンベデッド符号化のひとつであるＪＰＥＧ２０００の符号化データ例を示す。図３は、１フレームの画像データを示したものであり、図３において２０は画像データの復号化に必要な情報を格納したヘッダ、２１〜２６はパケットデータを階層的に区切ったレイヤである。図３では６つの階層でデータを構成した例であり、２１はレイヤ１、２２はレイヤ２、２３はレイヤ３、２４はレイヤ４、２５はレイヤ５、２６はレイヤ６である。レイヤ１は、パケット０からパケット１７までのパケットで構成され、レイヤ２はパケット１８からパケット３５までのパケットで構成され、レイヤ３はパケット３６からパケット５３までのパケットで構成され、レイヤ４はパケット５４からパケット７１のパケットで構成され、レイヤ５はパケット７２からパケット８９までのパケットで構成され、レイヤ６はパケット９０からパケット１０７までのパケットで構成される。

図３のようにレイヤで分割された階層データは、レイヤ番号が小さいほど画質が粗いデータで構成されており、レイヤ番号が大きくなるにつれて画質が向上するように配置されている。すなわち、レイヤ１のパケット０からパケット１７までのみのデータを用いて復号化した場合に一番粗い画像となり、パケット０からパケット３５までのデータを用いて復号化することで画質が向上し、パケット０からパケット１０７までの全データを用いて復号化した場合に、記録画像の最高品質が得られる。

本実施の形態１の映像情報記録再生装置１は、映像情報処理装置１４から、記録画像の送信要求をコマンド受信部９で受信した場合、その要求が通常の画像送信要求なのかイベント画像の検索要求であるのかを処理制御部１２で判断し、イベント画像の検索要求であると判断した場合にのみ画像データ部分取り出し制御部７を動作させる。この画像データ部分取り出し制御部７の動作時には、各イベント画像データの全レイヤを読み込まず、一部の階層までを読み込む。すなわち全データを読む場合では図３で示すところのヘッダ２０、レイヤ１データ２１、レイヤ２データ２２、レイヤ３データ２３、レイヤ４データ２４、レイヤ５データ２５、レイヤ６データ２６のデータを読むことになるが、本実施の形態１では、全レイヤ数よりも少ないレイヤ数のデータのみを読み込み、たとえば図３で示すところのヘッダ２０、レイヤ１データ２１、レイヤ２データ２２、レイヤ３データ２３のみをデータ蓄積部から読み出し、それらのデータをデータ送信部８から映像情報処理装置１４へイベント発生時刻が早いものから順次送信する。

このように構成したことで、イベント画像をネットワーク経由で検索する場合に、例えば６レイヤで階層的に記録した符号化データの中から３レイヤ分のパケットのみを送信することで、送信データ量を通常時の約半分とすることが出来るため、高速に複数枚のイベント画像データの送信を実現することが可能となり、その結果として映像情報処理装置１４で複数のイベント画像を高速に表示することが可能となる。このときに従来例のように再度別の形式で符号化しているわけではないため簡易な構成で実現可能である。

また、本構成では、通常画質用とは別にネットワーク送出用としてデータを蓄積部４に記録しているわけではないので、蓄積部４での記録データサイズの増大を抑制する効果がある。

なお、イベント画像検索時の送信データ量の決定方法については、例えば記録時レイヤ数の半分のレイヤとするというように固定としても良いし、ユーザが任意に選択できるものであっても良いし、あるいは、記録画質に応じてレイヤ数を可変としてもよい。イベント画像検索時の送出レイヤ数を可変とする場合、画像記録時の１フレームあたりのデータ量はユーザが目的や状況に応じて設定を変更できることが多いため、例えば、事前に１フレームあたりの目標送出データサイズを設定しておき、そのデータサイズに一番近いレイヤ数を選択するという方法が考えられる。このとき、本実施の形態の効果を発揮するためには、目標画像データサイズは記録時の画像データサイズよりも小さいものでなければならない。

また、映像情報処理装置１４にて映像情報記録再生装置１から受け取った一部の階層データを復号化する際に、そのデータが記録された階層数よりも少ないことが分かるように、映像情報記録再生装置１はフレーム画像データに先立って送出階層数を示すデータを送るなどの方法によって復号化を実現できる。

実施の形態２．
図４は、本発明を実施するための実施の形態２による映像情報記録再生装置の動作を説明するための図であり、より具体的には装置を実現するための管理データ図である。

図４において、３０はイベント管理テーブル、３１はイベント番号、３２はイベント発生日付、３３はイベント発生時刻、３４はそのイベントが発生した時点の画像指定情報（画像番号）、３５は当該画像データが記録されている、データ蓄積部４内のアドレスである。この図４に示した管理テーブルはデータ蓄積部４に管理データとして記録され、イベントの発生順番とそのイベントの発生日時とが時系列で管理されるとともに、その時点で記録した画像データを一意に指定する画像番号という形でイベントと画像データとが関連付けされる。

本実施の形態の映像情報記録再生装置が記録したイベント画像データに対して、ネットワークを介した映像情報処理装置からイベント画像検索のためのデータ送信要求を受けた場合、映像情報記録再生装置は図４に示した管理データを読み取り、イベント画像を検索してそのデータの一部を順次送出する。このときに本実施の形態の映像情報記録装置は、イベント画像よりも時間的に前に位置するフレーム画像および時間的に後に位置するフレーム画像もイベント関連画像として時系列で送出する。同時に送信するイベント前のフレーム画像枚数、および、同時に送信するイベント後画像枚数は事前に設定される。

本実施の形態により送出されるデータを、図４、図５に基づいて説明する。イベント画像の検索要求を受けた際にイベント画像と連続しておくるイベント前後の画像枚数を、イベント画像よりも時間的に前の画像枚数は１枚、時間的に後ろの画像は３枚と設定した場合で説明すると、まず、ネットワークを介した映像情報処理装置からイベント画像検索のためのデータ送信要求を受けた場合、制御処理部は管理データ３０を読み込み、時間的に一番早いイベントを検索する。図４においてはイベント番号が００００１の時点であり、このときのイベント画像番号は１０２番である。このときに、イベント画像の１時点前の画像は１０１番であり、イベント画像の後の３枚は、１０３番、１０４番、１０５番と同定される。よって、本実施の形態の映像情報記録装置は、図５に示したように、まず１０１番画像を送信し、次に、１０２番、１０３番、１０４番、１０５番と順次画像データを送信する。続いて、時間的に００００１番の次のイベントを検索し対象イベント画像を同定する。図４の例では３０５５番の画像が２番目のイベント画像となり、この２番目のイベント画像に対して、その前後の画像を管理テーブル３０から検索すると画像番号３０５４番、および、３０５６番、３０５７番、３０５８番が該当するため、先ほどのデータに引き続き図５に示したように３０５４番から、３０５８番までを時系列で送信する。以下イベントの発生順に同様の処理を繰り返す。このとき、本実施の形態の映像情報記録装置は、いずれの画像についても全レイヤのデータを全て送信するわけではなく、限定されたレイヤのデータのみを送信する。

このような構成としていることで、枚数の多いイベント画像およびイベント関連画像データを高速で送信するとともに、これらデータで受信した映像情報処理装置でイベント前後の画像をイベント画像と連続で確認することが出来るため、所望イベントの検索時に視認性を良好なものとすることが可能となる。

なお、管理テーブル３０は、本実施例の形態のみに限定されるわけではなく、例えば日付や時刻の情報は直接的に日付や時刻の値である必要は無く、算術演算などを用いて日時が一意に決定されればよく、たとえば日付と時刻とを同時にシリアルな連続値で示す方法でも良いし、また、別の効果を目的としてこの管理テーブルの項目以外で例えばカメラ番号やイベントセンサの出力信号の状態などの属性データを含んでいてもなんら問題は無い。

また、イベント画像データおよびその前後のイベント画像データが存在しない場合には、復号後に全域が白となるダミーデータを送出しても良いし、あるいは、データが無いことを示す固有のマーカを送信し、データを受信した映像情報処理装置においてその対象画像をマスクするなどの方法で処理しても良い。

実施の形態３．
図６は、本発明を実施するための実施の形態３による映像情報記録再生装置の動作を説明するための図であり、より具体的には装置を実現するためのデータ構成説明図である。また、図７は、本発明を実施するための実施の形態３による映像情報記録再生装置を説明する図であり、より具体的には装置を実現するブロック図である。

図６において、５０は１フレーム画像のデータストリーム、５１はデータ復号化のための情報を含んだメインヘッダ、５２はストリームデータ、５３はデータの終了を示すマーカである。このメインヘッダの中には符号化形式を示すためのセグメントが規定されており、この部分に本画像データが何階層で符号化されているかが記述されている。また、図７において６０はヘッダ書き換え部であり、そのほか、図１と同じ番号を付した部分は図１と同じかあるいはそれに相当するものである。

本実施の形態３に関わる映像情報記録再生装置は、図７のネットワーク１３を経由して映像情報処理装置１４からイベント画像の検索要求を受けた場合に、データ蓄積部４に階層化して記録されたフレーム画像データの一部の階層のみをデータ送信部８より送信する。このように全階層データではなく一部の階層のみのデータを送出する場合に、本実施の形態においてはヘッダ書き換え部６０でフレーム画像データごとにヘッダ中に記述された階層数のパラメータを書き換えて送出するものである。例えば、記録時に６階層で記録されているデータにおいてはヘッダの中にレイヤ数として６という値が書き込まれているが、データ送信時に３階層のみを送出する場合この値を３に書き換えてデータを送信する。さらに、データの終了位置を示すマーカ５３も、一部分の階層で構成されたデータの終端に位置するように付加する。なお、ヘッダの書き換えは送信データに対してのみ行うものであり、データ蓄積部４に記録されたデータそのもののヘッダを書き換えるものではない。

このように構成したことで、本実施の形態３の映像情報記録再生装置１からネットワークを介して画像データを受信した映像情報処理装置１４は、一部の階層データのみで構成された符号化データであっても通常の全データで構成されたデータとなんら処理構成を変えることなく復号化処理を行うことが可能となる。

実施の形態４．
図８は、本発明を実施するための実施の形態４による映像情報処理装置を説明するための図であり、より具体的には、受信したデータを復号した画像の表示状態を示す図である。

図８において、７０は映像情報処理装置１４の表示部１７の表示画面、７１はイベント発生順序乃至時刻を示す矢印、７２はイベントの前後のフレーム配置方向を示す矢印、７３は矢印７１が示す方向に表示画像をスクロールするためのスクロールバーであり、図示しないマウスなどにより操作される。また、２０１はあるイベント発生時のイベント画像、２００はイベント画像２０１の１フレーム前のイベント関連画像、２０２は２０１の１フレーム後のイベント関連画像、２０３はイベント画像２０１の２フレーム後の画像、２０４はイベント画像２０１の３フレーム後のイベント関連画像である。同様に、２１１は２０１の次のイベント画像、２１０〜２１４は、イベント画像２１１の前後のイベント関連画像であり、２２０〜２２４はイベント画像２２１の次のイベントとその前後のイベント関連画像、２３０〜２３４はイベント画像２３１の次のイベントとその前後のイベント関連画像である。

本実施の形態では、イベント発生時の記録データの中から所望のデータをネットワーク経由で探しだす過程において、イベント発生時とそのイベント発生前後のデータを受信しそれらを復号化して、図８で矢印７１が示す縦方向にイベント画像を時系列で表示し、その軸と直交する方向である矢印７２が示す横方向に、そのイベントが発生した前後のフレーム画像を時系列で表示する。イベントが多数発生して表示装置内に表示しきれない場合には、スクロールバー７３を用いてイベント発生時系列方向に表示範囲の変更を可能としている。

なお、ネットワークからデータを受信する際には、本発明の特徴であるデータの一部の階層みを受信しているため、記録画像本来の画質より劣った状態で表示されている。

ここでひとつの例として、入室、退出のための扉を有するある室内の映像をカメラで記録し、この扉が開いた時点をイベントのトリガとした場合で説明する。扉が開いた時にアラームが発生してその時点の画像データがイベントと関連付けられて記録されている。このようにして記録された画像の検索を行った場合に、本実施例における検索のための表示画面では、画像２０１が１回目に扉が開いた時点の画像であり、２００がイベント発生前の画像２０２から２０４がイベント発生後の画像である。次の行の２１１が２回目に扉が開いたときのイベント画像であり２１０並びに２１２から２１４はそのイベント画像２１１の前後の画像となる。以下同様に画面の矢印７１の方向でイベントの発生順で時系列に各イベント画像を表示し、加えて、その前後の画像を矢印７２方向に並べて表示する。本実施例の構成では、各フレームの画像の画質は粗いものであるため表示画像から人物の細部にわたる情報を取得することは難しいが、画像に映っている人物の性別や身体的特徴は十分に判別でき、また、イベント画像の前後のフレーム画像も時間軸に沿って並べて表示していることでその人物の挙動も判別できるため、たとえば、「扉を開けて入室した挙動不審な長身の男性」といった事象で記録映像を検索する場合に、どのイベント時点の画像が所望の画像かをひとめで検索可能であり、大幅な検索性の向上を実現する。

なお、一部のレイヤのみで構成された画像データを復号した場合は全レイヤを用いて画像を復号した場合に比べて当然ながら画質は劣化するが、実験の結果では１枚の画像データに約３０Ｋバイトの符号を割り当てこの画像を６階層の画質で階層的に構成した場合、この１階層分となる約５Ｋバイト程度のデータ量でも人物の性別、ならびに、身体的特徴の判別が可能であった。

実施の形態５．
図９は、本発明を実施するための実施の形態５による映像情報処理装置を説明するための図であり、より具体的には、受信したデータを復号した画像の表示部を示す図である。

図９において図８と同一の符号を付したものは、同一、またはこれに相当するものである。図９において、８１は検索範囲の開始日時を指定するための入力ボックス、８２は検索範囲の終了日時を指定するための入力ボックス、８３はイベント画像と並べて表示するイベント前の画像のフレーム数の入力ボックス、８４はイベント画像と並べて表示するイベント後の画像のフレーム数の入力ボックス、８５はイベント画像と並べて表示するイベント前後の画像を記録時のフレーム間隔に対してどれだけスキップして表示するかを指定するフレームスキップ入力ボックス、８６はイベント検索を開始するイベント検索実行ボタンである。

本実施の形態における映像処理装置においてネットワーク経由でイベント画像を検索する際に、検索開始日時入力ボックス８１および検索終了日時入力ボックス８２で検索の時間範囲を指定することが可能である。通常、映像情報記録装置で監視映像などを記録する場合には、複数日に渡って連続して記録することが一般的であるため、映像情報記録再生装置の蓄積部には複数のイベント画像データが記録されていることが一般的であり、そのため、イベントの条件によっては非常に多数のイベント画像が存在する場合が考えられる。本実施の形態では、検索開始日時入力ボックス８１および検索終了日時入力ボックス８２で検索範囲の指定を可能とすることでイベント画像とその前後の画像とを２次元的に複数枚表示する際に、莫大な枚数の画像データをネットワーク経由で読み込むことを防止できるため、表示のために長い時間を費やす必要が無く、その結果として検索時の快適な操作を実現する。

また、本実施の形態における映像処理装置においてネットワーク経由でイベント画像を検索する際に、イベント画像と並べて表示するイベント前後の画像枚数を、イベント前フレーム数入力ボックス８３およびイベント後フレーム数入力ボックス８４で指定することが可能としている。たとえば対象とする検索映像の検索対象がほとんど動きを伴わない場合には、前後のフレーム数を減少させても認知情報量としては減少することなくデータ送信画像枚数を減少可能であるためよりいっそうの高速な表示を実現し、また、対象が大きく動く場合には前後の表示フレーム数を増やすことで対象物の動作的特長を見て取ることが可能となる。このように本実施の形態の構成により、検索対象映像の特質によって検索に適した表示形態を実現可能であり、検索時の視認性を向上する。

また、本実施の形態における映像処理装置においてネットワーク経由でイベント画像を検索する際に、フレームスキップ入力ボックスで、イベント画像と並べて表示するイベント前後の関連画像を、イベント画像から連続したフレームのみならず、指定したフレームでスキップして指定可能としている。長時間の記録を行う映像情報記録装置においては有限容量の記憶媒体に長時間の記録を行うために、記録映像の間隔を調整する手法が一般的であり、たとえば、記録用途に応じて１秒間隔のフレーム画像のみを記録する場合や、あるいは、より細かい記録が必要な場合には０．１秒間隔の画像を記録するなど、フレーム間隔を調整する手法が広くとられている。特に、アラームによるイベントが発生した場合にはその部分の映像は重要と考えられるためより短い時間間隔で記録される傾向にある。この場合に、イベントの画像とその前後の画像とを記録された時と同一のフレーム間隔で表示すると、イベント前後の画像とイベント画像とがほぼ同じ内容となってしまう問題が発生する。すなわち０．１秒間隔でイベント画像を記録していた場合、イベント発生からイベント後の３フレームの画像では、わずか０．３秒の範囲の情報しか得られないことになり、用途によっては検索のための認知情報が少ないものになってしまう。本実施の形態では、フレームスキップ入力ボックスからフレームの表示間隔を指定可能としているため、表示する時間範囲を調整でき、たとえば、０．１秒間隔で記録されている画像に対してフレームスキップを１０で指定することで、イベント＋１の時点はイベント画像から１秒後の画像、イベント＋２はイベント発生から２秒後の画像、イベント＋３はイベント発生から３秒後の画像となり、表示枚数は同じでも時間的に広い範囲の画像を表示可能となり、検索時の情報量を向上する。

なお、本実施の形態では、図９で示したように検索範囲指定、表示フレーム数指定、フレームスキップ指定を画面上のダイアログを用いて入力する構成としており、ダイアログボックスを有するグラフィカルユーザインターフェースが検索範囲、表示フレーム、フレームスキップ数を指定する手段（図２の符号８０で示される指定手段）を構成しているが、これらの値の指定方法は本実施の形態に限定されるものではなく、たとえば、本映像処理装置の本体にこれらパラメータの設定のためのグラフィカルユーザインターフェースのボタンやキー入力部などを設けこれを指定手段として用いるなど別の形態としても良い。

また、本実施の形態で説明した検索範囲指定、表示フレーム枚数指定、フレームスキップ指定の全てをユーザが指定する必要は無く、その一部を事前に設定した情報にもとづいて映像情報処理装置が自動で設定してもよい。

実施の形態６．
図１０は、本発明を実施するための実施の形態６による映像情報処理装置を説明するための図であり、より具体的には、受信したデータを復号した画像の表示部を示す図である。

図１０において図８と同一の符号を付したものは、同一、またはこれに相当するものである。図１０において、９１は画像表示エリアの幅方向ピクセル数の入力ボックスである。

図１０では、イベント後のフレーム数を５として設定した例で表示しており、この実施の形態では表示領域の幅方向サイズをエリア幅サイズ入力ボックス９１から取得し、この表示エリア幅方向サイズと、１つのイベント画像と同時に並べて表示するイベント前後のフレーム数とから、１つのイベント関連画像を横方向１列に収まるように各フレーム画像を縮小して表示するようにしているため、イベント画像検索時の視認性向上を実現する。

各フレーム画像のサイズの決定方法は、取得したエリア幅サイズと、同時に並べて表示する画像枚数と、画像間の間隔寸法とから算出しても良いし、各フレームの画像サイズをたとえば１０段階のサイズなどに決めておき、表示エリアに収まる最小サイズとなるように段階的に変化する方法であっても良い。

なお、図１０では、表示エリアの幅方向寸法を画面上の入力ボックス９１から入力する方法を示しているが、この表示エリア幅方向寸法を画像表示のための処理部が画像を表示デバイス上に描画をおこなう処理部から自動的に取得する方法であってもよい。

即ち、上記のようにイベント関連画像を２次元的に複数枚表示する際に、表示部１７の画像解像度を取得し、１つのイベント画像に対して並べて表示するフレーム画像の指定枚数と取得した画像解像度とから自動的に表示するフレーム画像サイズを変更することとしても良い。

実施の形態７．
図１１は、本発明を実施するための実施の形態７による映像情報処理装置を説明するための図であり、より具体的には、受信したデータを復号した画像の表示部を示す図である。また、図１２は本実施の形態において図１１から状態遷移したあとの画像表示部を示す図である。また、図１３は図１１の別の例であり、１２０から１２３はイベント選択ボタンである。

図１１および図１２において図８と同一の符号を付したものは、同一またはこれに相当するものである。図１１において、１０１はフレーム画像選択枠、図１１２はフレーム画像指示用ポインタ、１０３は動画再生ボタンである。また、図１２において、１１０は動画再生領域、１１１は動画停止ボタンである。

本実施の形態７の映像情報処理装置は、イベント画像の検索を行った時点では図１１に示したように表示部１７の表示画面７０には縦方向にイベントの発生日時順にイベント画像が２０１、２１１、２２１、２３１と並べられ、横方向にそのイベント画像の前後のフレーム画像が時系列でそれぞれ並べられ、記録状態よりも粗い画質にて表示されている。この表示状態において所望のイベント画像を発見した場合や、あるいは、現在表示されている画質よりもさらに詳細な確認を行いたい場合に、映像処理装置に接続されたマウスを用いてフレーム画像指示用ポインタ１０２を所望の画像上へ移動させ、フレーム画像選択枠１０１が表示された後、再生ボタン１０３を押すことで、それまで表示されていた２次元の複数枚表示画面に変わって、図１２に示したように動画再生領域１１０に指定したフレームからの画像を順次表示し動画として表示するものである。

図１１のように２次元の複数枚表示を行っていた際には記録されたデータの一部分の階層のみを受信しており記録時の画質に比べて粗い画質で表示していたが、図１２に示したように詳細確認のために動画として表示する場合には、記録されたデータの全階層のデータを取得するように構成している。この構成により、記録された最高の画質で視聴できるため、細部にわたる確認を実現する効果がある。しかも、２種類の形式で記録しているわけではないため、蓄積装置の容量は効率的に利用していることとなる。

なお、本実施の形態では、所望画像の選択を映像情報処理装置に接続されたマウスを用いて行っているが画像選択手段はマウスに限定されるものではなく、その他のポインティングデバイスであっても良いし、あるいは、映像処理装置に接続されたキーボードの上下左右指示キーであっても良いし、あるいは、映像処理装置に直接設けられたボタンなどのハードウェア手段によって画像を選択するものであっても良い。また、所望イベントの選択は、図１１で説明したように１枚の画像を選択する方法のほかに、図１３に示したようにイベントごとに選択するための選択ボタン１２０〜１２３を設け、イベントのグループで選択する方法であっても良い。

以上、実施の形態を説明したが、いずれの実施形態においても、映像記録再生装置は専用のハードウェアをもってして構成しても良いし、汎用のパーソナルコンピュータ上でソフトウェアによる処理手段により実現しても良い。また、同様に映像処理装置はハードウェアをもってして構成しても良いし、汎用のパーソナルコンピュータ上でソフトウェアによる処理手段により実現しても良い。

また、いずれの実施形態においても、イベント画像のトリガとなるアラーム信号は外部から入力されるものに限らず、画像記録時の映像の差分信号などを用いた動き検知処理などにより映像情報記録再生装置の内部で発生させるイベントでもよく、また、フットスイッチなどを用いて人、例えば監視者が手動で入力する形態であってもかまわない。さらに、映像情報記録再生装置に直接接続された手段に限らず、ネットワークを経由してイベント信号を受信する形態あっても良い。また、イベントは１つに限る必要は無く、複数のイベント発生手段が存在してもかまわず、複数のイベントの条件を組み合わせたものをトリガとしても良い。

また、今回はフレーム単位で処理を行う形態で説明をしたが、インターレース方式のフィールド画像データとして記録されたものに対しても本発明の原理および効果は変わらずに適用されるものであり、その場合には２次元的に複数枚の画像を表示する段階で広く公知の技術として用いられているフィールド合成処理や補間処理を用いてフレームの画像として表示すればよいものである。

実施の形態１の映像情報記録再生装置を説明するための、ブロック図である。図１の映像情報処理装置の構成の概要を示すブロック図である。実施の形態１の映像情報記録再生装置を説明するための階層構造データ形式の構成図である。実施の形態２の映像情報記録再生装置を説明するための、管理データの構成図である。実施の形態２の映像情報記録再生装置を説明するための、データ送出順番の説明図である。実施の形態３の映像情報記録再生装置を説明するための、データ構造の構成図である。実施の形態３の映像情報記録再生装置を説明するための、ブロック図である。実施の形態４の映像情報処理装置を説明するための表示部構成図である。実施の形態５の映像情報処理装置を説明するための表示部構成図である。実施の形態６の映像情報処理装置を説明するための表示部構成図である。実施の形態７の映像情報処理装置を説明するための表示部構成図である。実施の形態７の映像情報処理装置を説明するための表示部構成図である。実施の形態７の映像情報処理装置を説明するための表示部構成図である。

符号の説明

１映像情報記録再生装置、２画像入力部、３画像符号化部、４データ蓄積部、５データ記録部、６データ読み出し部、７画像データ部分取り出し制御部、８データ送信部、９コマンド受信部、１０イベント信号入力部、１１イベント処理部、１２制御処理部、１３ネットワーク、１４映像情報処理装置、１５データ受信部、１６復号化部、１７表示部、１８制御部、１９コマンド送信部、２０ヘッダ、２１レイヤ１、２２レイヤ２、２３レイヤ３、２４レイヤ４、２５レイヤ５、２６レイヤ６、３０イベント管理テーブル、３１イベント番号、３２イベント発生日付、３３イベント発生時刻、３４画像番号、３５記録アドレス、５０１画像データ、５１メインヘッダ、５２ストリームデータ、５３データ終了マーカ、６０ヘッダ書き換え部、７０表示画面、７１イベント方向図示矢印、７２イベント関連画像方向図示矢印、７３スクロールバー、８０指定手段、８１検索開始日時入力ボックス、８２検索終了日時入力ボックス、８３イベント前フレーム数入力ボックス、８４イベント後フレーム数入力ボックス、８５フレーム間隔入力ボックス、８６イベント検索実行ボタン、９１表示エリア幅入力ボックス、１０１フレーム画像選択枠、１０２フレーム画像指示用ポインタ、１０３動画再生ボタン、１１０動画再生領域、１１１動画再生停止ボタン、１２０イベント選択ボタン、１２１イベント選択ボタン、１２２イベント選択ボタン、１２３イベント選択ボタン、２００イベント前画像、２０１イベント画像、２０２イベント後画像、２０３イベント後画像、２０４イベント後画像、２１０イベント前画像、２１１イベント画像、２１２イベント後画像、２１３イベント後画像、２１４イベント後画像、２２０イベント前画像、２２１イベント画像、２２２イベント後画像、２２３イベント後画像、２２４イベント後画像、２３０イベント前画像、２３１イベント画像、２３２イベント後画像、２３３イベント後画像、２３４イベント後画像。

Claims

映像情報記録再生装置において、フレームによって構成された入力画像を符号化して記録し、
少なくとも１つ以上のイベント信号が入力された際にイベントが発生したこととその時点の記録画像データの記録アドレスとを関連付けて記録し、
ネットワークを介して映像情報処理手段からの画像データの送信要求を受け付けた場合に記録した画像データを読み出して上記ネットワークを介して前記映像情報処理手段に画像データを送信する映像情報記録再生処理方法において、
前記イベントが発生したときに記録された画像を検索するためのデータ送出要求を上記ネットワークを介して前記映像情報処理手段から受けた際に、記録されたフレーム画像データの一部のみを順次送出する
ことを特徴とした映像情報記録再生処理方法。
前記画像の符号化において、フレーム画像データを階層的に符号化することを特徴とする請求項１に記載の映像情報記録再生処理方法。
記録されたイベント画像データの送出要求を前記ネットワークを介して前記映像情報処理手段から受けた際に、イベントと関連付けされたフレーム画像データとともに、時間的にそのイベント画像の前後のフレーム画像データについても枚数分を時系列に順次送出することを特徴とした請求項１に記載の映像情報記録再生処理方法。
前記イベントと関連付けされたフレーム画像データとともに送信される前記イベント画像の前後のフレーム画像データの枚数が予め設定されたものであることを特徴とする請求項３に記載の映像情報記録再生処理方法。
前記階層的に符号化されたフレーム画像データの一部のみを送出する際には、フレーム画像データの属性を示すヘッダ情報の一部を変更することを特徴とする請求項１に記載の映像情報記録再生処理方法。
ネットワークを介してイベント発生画像を検索する映像情報処理方法において、
受信したイベント発生にかかわる一部分のフレーム画像データを復号化し、イベントの発生時刻を一方の軸方向に時系列で配置し各イベント画像の前後の画像を先の軸と直交する方向に時間軸で配置し、２次元的に複数枚並べて表示する映像情報処理方法。
前記イベント発生にかかわる一部分のフレーム画像データの送信を要求する際に、検索開始日時、検索終了日時、あるいはイベント前の表示すべきフレーム数、あるいはイベント後の表示すべきフレーム数、あるいはフレームスキップ間隔のうちの一つ以上を指定することを特徴とする請求項６に記載の映像情報処理方法。
前記イベント関連画像を２次元的に複数枚表示する際に、表示手段の画像解像度を取得し、１つのイベント画像に対して並べて表示するフレーム画像の指定枚数と取得した画像解像度とから自動的に表示するフレーム画像サイズを変更することを特徴とする請求項６に記載の映像情報処理方法。
イベント画像データを蓄積した映像情報記録装置に記録されている映像をネットワークを介して再生する映像情報処理方法において、
記録されている各フレーム画像データの一部のみを取得して２次元的な複数枚の表示を行い、
この複数枚表示された画像のなかから所望の画像を指定することで指定したフレームからのデータを各フレームとも記録されている全データを取得して連続再生する
ことを特徴とする映像情報処理方法。
フレームによって構成された画像の入力部と、
入力された画像を階層的に符号化する手段と、
符号化したフレーム画像データを記録するデータ蓄積手段と、
少なくとも１つ以上のイベント信号入力部と、
画像の記録時においてイベント信号が発生した際にはイベントが発生したこととその時点の記録画像データの記録アドレスとを関連付けて前記データ蓄積手段に記録する処理制御手段と、
前記データ蓄積手段から画像データを読み出す読出し手段と、
ネットワークを介して情報処理装置に対して画像データを送信するデータ送信手段とを備え、
ネットワークを介して情報処理装置からのデータ送信要求を受け付けた場合に前記データ蓄積手段に記録した画像データを読み出し前記ネットワークを介して前記情報処理装置に送信するデータ送信手段とを備え、
前記処理制御手段は、前記ネットワークを介して映像情報処理装置から、前記データ蓄積手段に記録されたイベント画像の送出要求を受けた際に、前記データ読み出し手段に前記データ蓄積手段から記録されたフレーム画像データの一部のみを読み出させ、前記データ送信手段により該フレーム画像データを送出させ、この時に、イベント画像と時間的に前後するフレーム画像データについても指定枚数を時系列に順次送出させることを特徴とした映像情報記録再生装置。
前記データ読出し手段が読み出した画像データのヘッダの一部を書き換えるヘッダ書換え手段をさらに有し、
前記処理制御手段は、前記映像情報処理装置からの、イベント画像の送出要求に応じて、前記データ読み出し手段が前記データ蓄積手段から読み出したフレーム画像データにつき、前記ヘッダ書き換え手段によりヘッダの一部を書き換えさせた後、前記データ送信手段に前記画像データの送出を行わせることを特徴とする請求項１０に記載の映像情報記録再生装置。
ネットワークを介してフレーム画像データを受信する手段と、
受信した符号化データを復号化する手段と、
復号化した画像を表示する手段と、
イベント発生にかかわるフレーム画像データの各フレームの一部の階層データのみをデータ受信手段によって取得して前記復号化手段によって復号化させ、この復号化されたイベント関連画像を、前記表示手段の表示画面上において、イベント発生時刻を一方の軸方向に時系列で配置し、各イベント発生時のフレーム画像の前後の画像を前記イベント発生時刻の軸と直交する方向に配置して２次元的に複数枚表示させる制御手段と
を備える映像情報処理装置。
イベント関連画像データの送出を要求する際に検索開始日時と検索終了日時とイベント前後のフレーム画像枚数の指定する手段をさらに備えることを特徴とする請求項１２に記載の映像情報処理装置。
前記２次元的に複数枚表示された画像の中から所望の１フレームを指定する手段をさらに備えることを特徴とする請求項１２に記載の映像情報処理装置。