JP2005295426A - 映像情報記録装置および映像情報記録方法ならびに映像情報再生装置および映像情報再生方法 - Google Patents

Abstract

【課題】映像情報記録再生装置における長時間記録と良好な再生性能とを実現する。
【解決手段】入力画像データを参照画像データと非参照画像データとに区別して符号化し、記憶媒体３に記録する映像情報記録再生装置であって、画像データの入力部１と、参照画像データを記憶するフレームメモリ５と、参照画像データについては差分演算をしないでフレームメモリ５に記憶し、非参照画像データについては参照画像データとの差分画像データを算出する差分演算部６および差分処理切り替え部７と、これらの画像データをフレーム内符号化して記憶媒体３に記録するフレーム内符号化部４と、参照画像には固有の相対位置番号を、非参照画像には参照画像からのフレームの間隔に基づく相対位置を表す相対位置番号を付与し、付与した相対位置番号をその画像の識別情報および前記記録位置情報と関連付けて記憶媒体３のデータ管理領域に記録する相対位置番号生成部８とを備える。
【選択図】図１

Description

本発明は、映像信号をディジタル記録して再生する映像情報記録装置および映像情報再生装置ならびに映像情報記録方法および映像情報再生方法に関するものである。

従来の映像記録装置において映像を記録する際には、カメラなどから入力された映像信号を符号化してビデオテープやハードディスクなどの記憶媒体に記録する方法が一般的であるが、テープやディスクなどいずれの記憶媒体も記録容量は有限であり、長時間の記録が必要となる監視用途などの場合には、画像圧縮技術を用いて長時間記録を実現している。この画像圧縮技術としては、ＤＣＴ（離散コサイン変換）などを用いて空間方向の冗長度を低下させる技術が広く用いられており、例えば、ＪＰＥＧ（Joint Photographic Experts Group）などのフレーム内圧縮技術が適用されている。

一方、近年では、フレーム間の相関を用いた動き補償予測符号化をフレーム内圧縮と組み合わせることで圧縮効率を高めたＭＰＥＧ（Moving Picture Experts Group）などの動画像圧縮技術も用いられている。ＭＰＥＧでは、フレーム内で閉じて符号化されるＩピクチャと、Ｉピクチャ又は他のＰピクチャから片方向の動き補償予測で符号化されるＰピクチャと、ＩピクチャとＰピクチャ又はＰピクチャとＰピクチャから両方向の動き補償予測されるＢピクチャの３つのピクチャタイプを使用し、フレーム間相関の特性をうまく利用することで、この動画像圧縮方式は、フレーム間相関を利用しないＪＰＥＧ方式などに比べて、高い圧縮率を実現している。

ところで従来、先に述べたフレーム間の相関を用いないフレーム内圧縮方式では圧縮効率が十分ではなく、より長時間の記録を行いたいという要求があった。また、フレーム間相関を利用した圧縮方式では、前後のフレームが相互に関連しており、高い圧縮率を実現するものの、特に監視用途などに用いる映像記録装置においては、記録された映像からある部分の映像を検索するために、早送り再生や逆方向への再生などといった特殊再生に対する要求があり、フレーム単位の操作が難しいという問題が発生していた。従来この改善策として、映像に変化があった場合のみ画像を記録するように構成している（例えば、特許文献１参照）。

特開２０００−１２５２５６号公報

しかしながら上記従来の記録装置では、動きを考慮したフレーム間相関を利用した符号化は、監視目的などでの複数のカメラなどに代表される複数の入力映像であった場合、Ｉ，Ｐ，Ｂピクチャが複雑に関係している映像情報であったときに、自由にピクチャタイプを変えることができず、ランダムアクセスをしようとするためには、Ｂピクチャは、ＩピクチャとＰピクチャを再生する必要があり、回路構成が複雑となり、メモリなどのコストが大きくなり、高価な製品となってしまうという問題があった。一方、フレーム内符号化を行ったときには、最小限のメモリ構成で再生できるため、再生回路を簡単に構成することができ、データの操作性が良くなり、コスト的にも有利であるかに見えるが、圧縮の効率が上がらず、結局記録する媒体のコストが大きくなるという問題があった。

さらに、上記従来の記録装置では、各画像データの先頭に画像番号を付与して記録しているため、画像の情報が分散して記録されており、画像検索を行おうとしても、検索要求に対して分散配置された画像番号を抽出しなければ、所望の画像を再生できないため、記憶媒体上では著しく離れた位置にある情報を抽出する必要があり、画像番号に関連付けられた画像データにたどり着くまで、それらの情報に対して数多くの読み取り動作が発生し、再生までの時間を必要とすることで、アクセス速度が遅くなり、その結果操作性が悪くなるという問題があった。

また、録画をするかどうかの判定において、画像をブロック分割して平均値を求めた上で画像間の相異度を算出しているが、この演算は録画を行うかどうかを決定する内部処理の目的のみに使用されており、監視目的などに使用する記録装置としては、画像の変化の多いところで何らかの監視のための必要画像がある場合が多いにも関わらず、再生画像のみを見て必要画像を検索する必要があるなどで、利便性に欠けるという問題があった。

本発明は、上記のような問題点を解決するためになされたものであり、簡単な構成で画像データの高い圧縮率を実現しながら、映像の再生においても良好な操作性を得ることを目的とするものである。

本発明の映像情報記録方法は、
入力画像データを参照画像データと非参照画像データとに区別するステップと、
前記非参照画像データについてのみ前記参照画像データとの間で差分演算をして差分画像データを算出するステップと、
前記参照画像データおよび前記差分画像データをフレーム内符号化して圧縮画像データを形成するステップと、
前記圧縮画像データを記憶媒体の記録位置情報に従って前記記憶媒体に記録するステップと、
前記差分演算をしない参照画像に対しては固有の相対位置番号を付与するとともに、前記非参照画像に対しては前記参照画像からのフレームの間隔に基づく相対位置番号を付与するステップと、
前記相対位置番号をその画像についての識別情報および前記記録位置情報と関連付けて前記記憶媒体のデータ管理領域に記録するステップと
を含む
ことを特徴とするものである。

また、本発明の映像情報再生方法は、
上記本発明の映像情報記録方法によって記録された画像データを再生する映像情報再生方法であって、
前記データ管理領域から読み出した前記画像識別情報に基づき、再生する画像を決定するステップと、
前記データ管理領域から読み出した前記再生画像の前記記録位置情報に基づき、前記再生画像の圧縮画像データを前記記憶媒体から読み出すステップと、
前記読み出した圧縮画像データを前記参照画像データおよび前記差分画像データにフレーム内復号化するステップと、
前記データ管理領域から読み出した前記再生画像の前記相対位置番号に基づき、前記復号化された差分画像データとの和を演算して、前記参照画像データおよび前記非参照画像データを再生するステップと
を含む
ことを特徴とするものである。

また、本発明の映像情報記録装置は、
入力画像データを参照画像データと非参照画像データとに区別して符号化し、記憶媒体に記録する映像情報記録装置であって、
画像データが入力される画像データ入力手段と、
少なくとも１フレーム分の参照画像データを記憶するフレームメモリと、
前記参照画像データについては差分演算をしないで前記フレームメモリに記憶し、前記非参照画像データについては前記フレームメモリに記憶された参照画像データとの間で差分演算をして差分画像データを算出する差分処理手段と、
前記参照画像データおよび前記差分画像データをフレーム内符号化し、符号化した圧縮データを前記記憶媒体の記録位置情報に従って前記記憶媒体に記録するフレーム内符号化手段と、
前記差分演算をしない参照画像に対しては固有の相対位置番号を付与するとともに、前記非参照画像に対しては参照画像からのフレームの間隔に基づく相対位置を表す相対位置番号を付与し、付与した相対位置番号をその画像についての識別情報および前記記録位置情報と関連付けて前記記憶媒体のデータ管理領域に記録する相対位置番号付与手段と
を備えた
ことを特徴とするものである。

また、本発明の映像再生装置は、
上記本発明の映像情報記録装置によって前記記憶媒体に記録された画像データを再生する映像情報再生装置であって、
前記記憶媒体から前記圧縮画像データを読み出して前記参照画像データおよび前記差分画像データにフレーム内復号化するフレーム内復号化手段と、
少なくとも１フレーム分の参照画像データを記憶するフレームメモリと、
前記データ管理領域から読み出した前記再生画像の前記相対位置番号に基づき、前記復号化された参照画像データを前記フレームメモリに更新記憶し、前記復号化された非参照画像データについては前記差分画像データと前記フレームメモリに記憶された参照画像データとの和を演算して前記非参照画像データを再生する合成処理手段と、
再生された参照画像データおよび非参照画像データを出力する画像データ出力手段と
を備えた
ことを特徴とするものである。

本発明によれば、非参照画像データは、参照画像データと差分画像データとの和をとるのみで再生可能となるように符号化されて記録されているため、簡単な構成でフレーム内圧縮に比べて高い画像圧縮率での記録を実現でき、所望記録時間に対して必要とされる記憶媒体の容量を減らすことが可能となり、記録時には参照画像分のメモリを搭載していればよく、必要とされるメモリ容量を減らすことができ、再生時にも、常に参照画像データの１フレーム分の情報がメモリに確保されていれば、非参照画像のデータを再生することが可能であるため、回路構成をより簡単にできるという効果がある。

実施の形態１．
図１は本発明の実施の形態１による映像情報記録再生装置の構成を示すブロック図である。図１に示すように、実施の形態１の映像情報記録再生装置は、画像データ入力部１と、Ａ／Ｄ変換部２と、記憶媒体３と、フレーム内符号化部４と、フレームメモリ５と、差分演算部６と、差分処理切り替え部７と、相対位置番号生成部８とを備えている。なお、図１においては、記録の開始や停止などを操作するための操作パネルや、機器状態を表示する表示部、あるいは、記録中の画像を映し出すモニター装置などは省略して示している。

図１の実施の形態１の映像情報記録再生装置では、画像データ入力部１にはテレビカメラなどが接続され、撮像された映像が入力される。この映像が、Ａ／Ｄ変換部２によりディジタル信号へと変換され、差分演算部６に送られる。差分演算部６は、順次送られている各フレームの画像データのうち、所定数のフレーム毎の画像データを参照画像としてフレームメモリ５に書き込む。それ以外のフレームの画像データについては、差分演算部６はフレームメモリ５に記憶されている参照画像と、入力されてきた現画像との差分を演算して差分の画像データを生成する。この差分の画像データは、フレーム内符号化部４へ送られて、ＤＣＴなどによるフレーム内圧縮符号化が行われる。上記した参照画像となる、所定数のフレーム毎の画像データについては、上記のように圧縮符号化を行う前の画像が参照画像としてフレームメモリ５へ一時的に保持されるとともに、入力された現画像がそのままフレーム内符号化部４へ送られて、ＤＣＴなどによるフレーム内圧縮符号化が行われる。この差分演算を行うか行わないかは差分処理切り替え部７にて制御される。この制御を可能にするため、差分演算部６に各フレームの画像データが送られるときに、これに同期して差分処理切り替え部７にそのことが通知される。例えば、Ａ／Ｄ変換部２の出力のうち各フレームに同期した同期信号が抽出され、差分処理切り替え部７に送られる。上記のようにして圧縮符号化された画像データは、ハードディスクなどで構成された記憶媒体３に順次記録される。

上記した所定のフレーム数、即ち切り替え間隔を４フレームと設定した場合では、４フレームごとの画像については差分演算が行われず、そのフレームは差分演算時の基準となる参照画像とされる。このことを、図２を用いて説明する。まず、１番目の画像Ａ０に対しては差分演算を行わず、その次から４番目の画像Ａ３までは、１番目の画像Ａ０を参照画像とし、この参照画像Ａ０に対してどれだけ画像が変化したかの差分演算が行われる。そして、５番目の画像Ａ４では再び差分演算を行わずに参照画像となり、６番目の画像Ａ５から８番目の画像Ａ７までは、この５番目の参照画像Ａ４からの差分量が算出される。以下同様に、４フレームごとに同様の処理が繰り返される。この構成によれば、非参照画像についてはフレーム間の差分演算を行った上で記録することで記録すべき情報量を減らすことができるため、画像の圧縮効率を大きく高めることが可能となる。すなわち、所望する時間分の映像を記録するのに必要な記憶媒体容量を減らすことが可能となる。差分演算部６および差分処理切り替え部７は、参照画像データについては差分演算をしないでフレームメモリ５に記憶し、非参照画像データについてはフレームメモリ５に記憶された参照画像データとの間で差分演算をして差分画像データを算出する差分処理手段を構成している。

次に、相対位置番号生成部８について説明する。この相対位置番号生成部８では、差分処理切り替え部７の情報に基づいて相対位置番号が生成され、圧縮符号化されて記憶された画像の識別情報と前記相対位置番号とが関連付けられて記憶媒体３のデータ管理領域に記録される。この画像識別情報とは、監視用途などに供するために、複数のカメラを入力する際のカメラ番号であったり、入力チャンネルの情報であったり、画素数や１秒あたりのフレーム数を示している情報である。再生をするための前記相対位置番号は、差分演算を行わない参照画像には固有の相対位置番号を付与し、その他の差分演算を行った画像に対しては、参照画像からの時間的距離を相対位置番号として付与する。相対位置番号は、参照画像とその画像との間にどれだけ画像があるかが分かればよく、実時間に関連する値を付与する必要は無い。また、記録される全画像に対して一意である必要もない。そこで、例えば、参照画像には０を付与し、次の差分画像から、１，２，３と付与し、次の参照画像には０を付与し、さらにその次の差分画像から１，２，３というように付与される。つまり、相対位置番号は参照画像であるかどうかを表すとともに、それぞれの差分演算を行う非参照画像と参照画像とのフレーム間隔に基づいた情報である。

図３に、上述した処理の方法を示す。まず、図１では図示を省略した操作パネルなどから記録開始が指示されると、最初に、初期化作業として、参照画像の間隔が設定され（ステップＳ１）、差分処理切り替え部７の内部に設けられたカウンタを０にする（ステップＳ２）。そして、入力画像データを取り込み、ディジタルデータに変換する（ステップＳ３）。ここで、カウンタの値が０であるかどうかを判定して（ステップＳ４）、その入力画像を参照画像とするのか、あるいは、差分演算を行う非参照画像とするのかを切り替える。開始して１枚目の画像を取り込んだ時点では、当然ながら前記カウンタは０となっているため、この入力画像は参照画像としてフレームメモリ５へデータ転送される（ステップＳ５）。続いて参照画像として選択されたこの入力画像は、差分演算が行われずにそのままの形でフレーム内圧縮符号化されて（ステップＳ６）、記憶媒体３へと記録される（ステップＳ７）。同時に、前記カウンタの０という値に基づいて、この画像の相対位置番号として０という値をこの画像の識別情報と関連付けて記憶媒体３のデータ管理領域に記録する（ステップＳ８）。その後、カウンタを＋１増分し（ステップＳ９）、増分後のカウンタ値と事前に設定されている設定間隔とを比較する（ステップＳ１０）。増分後のカウンタ値が設定間隔に達していればカウンタは０に戻される（ステップＳ１１）。ここまでで１画像の記録ステップが完了となる。

次に、記録終了の指示が出たか否かを判定し（ステップＳ１２）、記録終了の指示が出ていなければ、上記ステップＳ３の画像の取り込み処理に戻る。画像を取り込んだ時点でのカウンタが０で無かった場合には、その入力画像は差分画像として保存される。この場合は、入力された画像は、その時点でフレームメモリに保持されている参照画像（基準フレーム）との差分演算処理が行われ（ステップＳ１３）、この差分演算値（差分画像データ）を圧縮符号化した上で（ステップＳ１４）、その画像のデータとして記憶媒体３に書き込む（ステップＳ１５）。その後、先ほどのカウンタ値が０の場合と同様にカウンタの値をその画像の相対位置番号として、記憶媒体３のデータ管理領域に書き込む（ステップＳ１６）。この一連のステップが、記録終了の指示が出るまで繰り返される。

このように、映像の記録時にメモリに保持する必要があるのは参照画像の１フレーム分のみで良いため、例えば、ＭＰＥＧで前後のフレームを参照する場合などに比べて、より少ないメモリ構成で実現することが可能となる。

上記の相対位置番号は、上記の画像識別情報や記憶媒体３上のアドレスを示す記録位置情報と関連付けて記録される。画像識別情報により、例えば複数のカメラの番号が同定できるため、再生時にユーザが再生指定を行ったカメラの映像についてのみの相対位置番号を追跡することが可能になる記録装置となっている。また、相対位置番号は記憶媒体３上の記録位置情報とも関連付けて記録されている。これにより、所望する相対位置番号の記憶媒体３上の画像データ位置を特定することができるため、記憶媒体から的確に読み出すことが可能となる。

この相対位置番号と、画像識別情報と、記憶媒体３上の記録位置情報との関連付けは種々の方法で行い得る。例えば、それぞれのデータ群を記憶媒体３のデータ管理領域内に個別のデータとしてファイルしておき、それぞれのファイルの内容を管理するテーブルを独立に設けることで実現できる。他の方法としては、例えば、相対位置番号と画像識別情報と記憶媒体３上の記録位置情報を所定の定められた順番に従い、データ管理領域内に記録することでも実現できる。データ管理領域は記憶媒体３中のあるまとまった領域であるため、所望の画像データを得るために、まとまった領域のデータを読み込むだけで、記憶媒体３上のどの画像データを読めばよいかを特定し、いち早く決めることができる。

以上のように実施の形態１によれば、非参照画像データは、参照画像データとの和をとるのみで再生可能となるように符号化されて記録されているため、簡単な構成でフレーム内圧縮に比べて高い画像圧縮率での記録を実現でき、所望記録時間に対して必要とされる記憶媒体の容量を減らすことが可能となり、記録時に参照画像分のメモリを搭載していればよく、必要とされるメモリ容量を減らすことが可能となる。

なお、上記実施の形態１では、参照画像の間隔は一定でその間隔が４の場合を例として説明したが、この間隔が４以外の値でもよいことは言うまでもなく、また、この参照画像の間隔がそもそも一定ではなく、何らかの手段によって可変となったとしても、相対位置番号さえ上述のように付与されていれば良い。例えば、参照画像間隔を４で記録していたものが、その一部で、間隔が１０になった場合には０から９までの相対位置番号を付与し、また、間隔が３になった場合には、０から２までの相対位置番号を付与すればよい。

さらに、上記実施の形態１では、参照画像には０という相対位置番号を付与し、それ以降の差分画像では、相対位置番号が１，２，３…と順にひとつずつ増加するように構成されているが、参照画像の相対位置番号は固有の値であれば０である必要は無く、また、差分画像の相対位置番号も、参照画像との間隔が一意に決定できるものであれば、この限りではない。この場合には、図３に示したフローチャートにおける分岐判定およびカウンタの増分値も、それにあわせて修正される。

実施の形態２．
図４は本発明の実施の形態２による映像情報記録再生装置の構成を示すブロック図であり、図１と同一の符号を付したものは、同一または、これに相当するものである。図４に示すように、実施の形態２の映像情報記録再生装置は、画像データ出力部１１と、Ｄ／Ａ変換部１２と、記憶媒体３と、フレーム内復号化部１４と、フレームメモリ５と、合成演算部１６と、合成処理切り替え部１７と、相対位置番号読み取り部１８とを備えている。なお、図４においては、再生の開始や停止などを操作するための操作パネルや、機器状態を表示する表示部、あるいは、再生中の画像を映し出すモニター装置などは省略して示している。

図４の実施の形態２の映像情報記録再生装置では、記憶媒体３に記録された画像データが読み出され、フレーム内復号化部１４にて復号化される。同時に、相対位置番号読み取り部１８において記憶媒体３のデータ管理領域に記録されている相対位置番号が読み取られる。読み出された画像が、相対位置番号により参照画像であると判断された場合には、そのままＤ／Ａ変換部１２でアナログデータに戻され、画像データ出力部１１へ送られる。このとき同時に、フレームメモリ５へも参照画像として送られる。また、読み出された画像が、相対位置番号により非参照画像のデータである差分画像と判断された場合には、合成演算部１６にてフレームメモリ５に保持されている参照画像との和を求める合成演算が行われて元の画像へと復元され、その後、参照画像の場合と同様に、Ｄ／Ａ変換部１２を経て画像データ出力部１１へと送出される。このように、フレームメモリ５に確保された参照画像と非参照画像のデータである差分画像と和をとって合成処理を行えば、元の非参照画像を得ることができる。

実施の形態２における画像の再生について、図５に示したフローチャートにて説明する。まず、再生開始の要求があった場合に、指定時刻の画像に対して、データ管理領域に記録されている相対位置番号を読み込むと同時に（ステップＳ２１）、後述のような再生をするための画像識別情報と記憶媒体３上の記録位置情報とを読み込み、再生する圧縮符号化された画像データを特定し、その画像データを読み込み（ステップＳ２２）、復号化する（ステップＳ２３）。次に、前記読み込んだ相対位置番号の値を判定し（ステップＳ２４）、その相対位置番号が参照画像を示す固有値０であった場合には、その画像をフレームメモリ５に参照画像としてセットする（フレームメモリ５の参照画像をその画像に更新する）とともに（ステップＳ２５）、合成演算部１６からＤ／Ａ変換部１２を介してそのまま画像データ出力部１１へ送出する（ステップＳ２６）。

次に、再生終了の指示が出たか否かを判定し（ステップＳ２７）、再生終了の指示が出ていなければ、上記ステップＳ２１の相対位置番号の読み取り処理に戻る。そして、次の指定時刻の画像に対して、データ管理領域に記録されている相対位置番号を読み取ると同時に、再生する画像データを特定して読み取り、その読み取り画像データを復号化する。ここで、前記読み取った相対位置番号が参照画像を示す固有値で無かった場合には、復号化した現画像データと、フレームメモリ５に保持されている参照画像との合成処理を行い（ステップＳ２８）、合成演算部１６からＤ／Ａ変換部１２を介して画像データ出力部１１へデータを送出する（ステップＳ２９）。以下同様に、再生終了の指示が出るまで繰り返される。

このように、フレームメモリ５には参照画像データ１フレーム分のみのデータが保持されていればよく、また、各画像には参照すべき画像の相対位置番号がデータ管理領域に記録されているため、画像の復元をも容易なものとする。すなわち、ＭＰＥＧなどではＢピクチャを再生しようとした場合に、ＩピクチャとＰピクチャとを再生した後に、それらの情報に基づいてＢピクチャを復元する必要があるが、これと異なり、実施の形態２の構成では、差分画像データから元の画像データを復元する際には、相対位置番号が示すもう１枚の参照画像のみを読み込んで合成すればよく、簡単な回路構成で実現可能である。

また、複数チャンネル入力の再生に対応する場合は、再生指定を受けたチャンネル番号を表す画像識別情報に相当する画像データのみを再生すればよい。また、画像識別情報は、再生のための画素数やフレームレートといった情報も持っているため、再生速度を変えて再生表示を行う場合の読み込む画像データを特定することができる。例えば、１秒間３０フレームで構成された動画であって、２倍速の再生を行いたいときには、１秒間３０フレームの画像であるという情報が画像識別情報の中に記載されているので、この情報をもとに、１フレームおきに画像データを読み込んで再生すれば、確実な２倍速再生を行うことができる。

以上のように実施の形態２によれば、非参照画像データは、参照画像データとの和をとるのみで再生可能となるように符号化されて記録されており、再生時には、常に参照画像データの１フレーム分の情報がメモリに確保されていれば、非参照画像のデータを再生することが可能であるため、ＭＰＥＧなどのように、Ｂピクチャを再生しようとすれば、ＩピクチャとＰピクチャを再生してからでないとＢピクチャが再生できない符号化方法を採用する場合に比べ、より簡単に再生することができ、ＭＰＥＧで符号化したものを再生するのに比べて回路構成をより簡単にできる。

実施の形態３．
図６は本発明の実施の形態３による映像情報記録再生装置の処理方法を示すフローチャートであり、図５と同様の手順には同じ符号を付してある。ここでは、逆方向の再生や、ランダムアクセスを行うための構成を示す。

ある時刻の画像にアクセスしたい場合、その指定時刻の相対位置番号をデータ管理領域から読み取り（ステップＳ２１）、画像データを記憶媒体３から読み取り（ステップＳ２２）、復号化する（ステップＳ２３）。次に、読み取った相対位置番号が、参照画像を示す固有値０であるかどうかを判定し（ステップＳ２４）、その画像が参照画像である場合には、フレームメモリ５へ画像データをセットし（ステップＳ２５）、同時に画像データ出力部１１へ画像を出力する（ステップＳ２６）。

また、前記読み込んだ相対位置番号が参照画像を示す固有値以外であった場合には、その相対位置番号が示す参照画像がフレームメモリ５にセットされているか否かを判定し（ステップＳ３１）、その参照画像がフレームメモリ５にセットされていなければ、その相対位置番号が示す参照画像としてその相対位置番号分前の画像を記憶媒体３から読み取って復号化し（ステップＳ３２）、フレームメモリ５の参照画像をその画像に更新する（ステップＳ３３）、上記ステップＳ２３で復号化した現画像データと上記ステップＳ３３でフレームメモリ５にセットした参照画像と和をとって合成処理を行うことで、元の非参照画像を復元する（ステップＳ２８）。例えば、相対位置番号が２であった場合には、２個前の画像が参照画像であることを示しており、データ管理領域から２個前の画像の画像識別情報や記憶媒体３上の記録位置情報を探し出して参照画像を知ることができる。すでに参照画像がフレームメモリ５上に確保されているのであれば、上記ステップＳ３２，３３の処理は不要となる。

このように、画像を逆方向に再生したい場合や、ランダムにアクセスしたい場合などでも、非参照画像を復元するための参照画像をデータ管理領域の相対位置番号から簡単に知ることができ、また、画像も、差分画像と参照画像との２画像のみを読み込めばよいため、ＭＰＥＧなどの符号化方式に比べ、再生までの動作処理が少なくなり再生までにかかる時間を少なくすることができるため、操作性のよい再生を実現できる。

以上のように実施の形態３によれば、相対位置番号を、それを付与して符号化された画像データに関連付けてデータ管理領域に記録しているために、参照画像か否かを判断するためにデータ管理領域に記録された情報からのみで判断でき、画像識別情報とも関連付けてデータ管理領域に記録しているため、再生においても、所望の画像へアクセスする場合の速度が速くなり、操作性が良くなり、ランダムアクセス時の再生性能が向上する。

実施の形態４．
図７は本発明の実施の形態４による映像情報記録再生装置の構成を示すブロック図であり、図１と同一の符号を付したものは、同一または、これに相当するものである。図７に示すように、実施の形態４の映像情報記録再生装置は、画像データ入力部１と、Ａ／Ｄ変換部２と、記憶媒体３と、フレーム内符号化部４と、フレームメモリ５と、差分演算部６と、差分処理切り替え部７と、相対位置番号生成部８と、画像状態判別演算処理部９とを備えている。なお、図７においては、記録の開始や停止などを操作するための操作パネルや、機器状態を表示する表示部、あるいは、記録中の画像を映し出すモニター装置などは省略して示している。

この実施の形態４の映像情報記録再生装置は、上記実施の形態１の映像情報記録再生装置（図１参照）において、画像状態判別演算処理部９を設けたものであって、画像記録時の基本動作は上記実施の形態１と同様であるが、この実施の形態４では、差分演算を行ったデータを用いて画像状態判別演算処理部９において画像の状態変化の度合を示す数値（画像状態判別数値）を算出し、記録日時データおよび画像の識別情報と関連付けて記憶媒体３のデータ管理領域に記録する。

ここで、画像状態判別演算処理部９における演算は、例えば次のようなものである。
入力された現画像をＩ、その画像より前の時点の参照画像をＲとすると、画面内位置ｐ点における差分をＳ（ｐ）として、以下の演算、
Ｓ（ｐ）＝｜Ｉ（ｐ）−Ｒ（ｐ）｜
を行って現画像である非参照画像と参照画像との差の絶対値を算出し、この値の画面全域での総和を画像状態判別数値として算出する。参照画像と現画像との間で画像に変化が無ければ画像状態判別データの数値は０となり、画像間の変化が大きくなるにつれて画像状態判別数値は大きくなる。

あるいは、画像状態判別演算処理部９における演算は、上記算出した総和値をある一定の値、例えば画素数などで除算して、画像状態判別数値とするものである。

以上のように実施の形態４によれば、差分画像データを用いて画像状態判別数値を演算し、得られた画像状態判別数値を差分画像データを記録した記録日時データおよび画像の識別情報と関連付けてデータ管理領域に記録する手段を設けたので、その状態判別数値データを用いて、画像の変化量に応じて再生速度を段階的に自動調整して再生することができるため、例えば監視用途などで記録した画像を再生して内容を確認する作業の効率を大幅に向上することができる。

実施の形態５．
図８は本発明の実施の形態５による映像情報記録再生装置の構成を示すブロック図であり、図４と同一の符号を付したものは、同一または、これに相当するものである。図８に示すように、実施の形態５の映像情報記録再生装置は、画像データ出力部１１と、Ｄ／Ａ変換部１２と、記憶媒体３と、フレーム内復号化部１４と、フレームメモリ５と、合成演算部１６と、合成処理切り替え部１７と、相対位置番号読み取り部１８と、データ管理領域に記録されている画像状態判別数値データを読み取る画像状態判別データ読み取り部１９と、読み取られた画像状態判別数値データに従って再生速度を自動調整する再生速度自動調整部２０とを備えている。なお、図８においては、再生の開始や停止などを操作するための操作パネルや、機器状態を表示する表示部、あるいは、再生中の画像を映し出すモニター装置などは省略して示している。

図９は本発明の実施の形態５による映像情報記録再生装置の処理を示すフローチャートである。図９を用いてこの実施の形態５での再生について説明する。

この実施の形態５での再生は、データ管理領域に記録されている画像状態判別数値データに基づいて、再生速度を自動的に変化させるものである。まず、画像状態判別数値データの範囲を例えば５段階に分割し、それぞれをレベル１からレベル５と呼ぶこととする。そして、それぞれのレベルに対して再生速度の割り当てを設定しておく。この再生速度の割り当ては、画像状態判別数値データが一番小さいレベル１に対しては３０倍の再生速度を割り当て、次に画像状態判別数値データが小さいレベル２に対しては１０倍の再生速度を割り当て、同様に、レベル３に５倍速、レベル４に２倍速、一番状態判別数値データが大きいレベル５には等速を割り当てる。この設定に基づいて再生速度が変化する。

自動速度変更再生の再生開始が要求されると、指定時刻の画像状態判別数値データをデータ管理領域から読み取り（ステップＳ５１）、画像データを記憶媒体３から読み取り、復号や合成などの必要な処理を行ってその画像データの再生する（ステップＳ５２）。次に、画像状態判別数値データと、上記設定された速度割り当てとに基づき、指定されたフレームだけスキップする（ステップＳ５３〜Ｓ６２）。まず、上記読み取った画像状態判別数値データがレベル１であるか否かを判定し（ステップＳ５３）、レベル１であれば、２９フレームのスキップ処理をする（ステップＳ５４）。また、レベル１でなければ、レベル２であるか否かを判定し（ステップＳ５５）、レベル２であれば、１４フレームのスキップ処理をする（ステップＳ５６）。また、レベル２でなければ、レベル３であるか否かを判定し（ステップＳ５７）、レベル３であれば、４フレームのスキップ処理をする（ステップＳ５８）。また、レベル３でなければ、レベル４であるか否かを判定し（ステップＳ５９）、レベル４であれば、１フレームのスキップ処理をする（ステップＳ６０）。また、レベル４でなければ、レベル５であるか否かを判定し（ステップＳ６１）、レベル５であれば、０フレームのスキップ処理をする、つまりフレームのスキップをしない（ステップＳ６２）。これらのスキップ処理においては、スキップするフレームの画像データを記憶媒体３から読み込む必要は無く、データ管理領域のデータのみを処理すればよい。

次に、再生終了の指示が出たか否かを判定し（ステップＳ６３）、再生終了の指示が出ていなければ、上記ステップＳ５１の画像状態判別数値データの読み取り処理に戻る。スキップされた画像の次の画像に対して、先ほどと同様に画像状態判別数値データと画像データとを読み取り、その画像を再生し（ステップＳ５１，Ｓ５２）、この画像の画像状態判別数値データに基づき、指定されたフレーム数だけスキップする（ステップＳ５３〜Ｓ６２）。

このようにして、再生終了の要求が来るまでスキップしながらの再生処理が繰り返される。すなわち、映像にほとんど変化がない状態であるレベル１では、３０倍速の高速で画像が再生され、例えば人物が映像内を通過した場合などのように映像の変化が大きく状態判別数値データが大きい箇所になると、自動的に減速され、その変化量に応じて速度で画像が表示されるため、内容確認作業の効率を大幅に向上できる。

以上のように実施の形態５によれば、データ管理領域に記録されている画像状態判別数値データを用いて、画像の変化量に応じて再生速度を段階的に自動調整して再生することができるため、例えば監視用途などで記録した画像を再生して内容を確認する作業の効率を大幅に向上することができ、記録された画像から所望の画像を探すための再生において、画像検索の操作性が向上する。

なお、上記実施の形態５の図９のフローチャートにおいては、映像の変化がほとんどないレベル１の状態では、２９フレームの画像がスキップされるが、この間に瞬間的な映像の変化があった場合では、この状態変化はスキップされて見逃されてしまう。入力される映像によっては、このような瞬間的な変化は意味を持たない場合もあるが、映像情報記録再生装置の用途によっては瞬間的な映像情報変化が重要な場合も考えられる。

このように瞬間的な変化も重要な場合には、図１０に示すスキップ処理のように、図９の各スキップ処理において規定枚数分の画像をスキップする際に、データ管理領域に記録されている画像状態判別数値データのみはスキップせずに全フレームについて読み込み、現在のレベルから外れる値が出た場合にはスキップを中断して画像を表示するようにすることで、映像変化の見逃しを回避できる。

例えば、図９のステップ５４の２９フレームのスキップ処理に図１０を適用する場合には、まず、スキップフレーム最大値Ｎｍａｘを２９に設定し（ステップＳ７１）、スキップフレーム変数ｎを１として（ステップＳ７２）、そのフレーム変数ｎの時点の画像状態判別数値データ（ｎ枚目のスキップ画像についての画像状態判別数値データ）をデータ管理領域から読み取り（ステップＳ７３）、そのｎ時点の画像状態判別数値データが現在のレンジ（この例ではレンジ１）よりも大きいか否かを判定し（ステップＳ７４）、ｎ時点の画像状態判別数値データが現在のレンジ（レンジ１）であれば、スキップフレーム変数ｎを＋１して（ステップＳ７５）、そのスキップフレーム変数ｎがスキップフレーム最大値Ｎｍａｘよりも大きいか否かを判定し（ステップＳ７６）、ｎ＞Ｎｍａｘでなければ上記ステップＳ７３に戻り、ｎ＞Ｎｍａｘであれば、スキップ処理を終了する。また、上記ステップＳ７４において、ｎ時点の画像状態判別数値データが現在のレンジ（レンジ１）よりも大きければ、スキップ処理を中断して、その画像を再生し（ステップＳ７７）、スキップ処理を終了する。

また、上記実施の形態５では、状態を５段階に設定した例で説明したが、用途によって３段階や、あるいは、１０段階であっても良いことは言うまでもない。

また、各レベルにおける再生速度は、映像情報記録再生装置で固定であっても良いし、あるいは、使用者が状況に応じて設定できるようになっていても良い。

また、再生速度についても高速再生のみならず、０．５倍速などのように等速よりも遅いスピードが設定されても良い。

また、画像状態判別数値データを分割してレベル分けする際には、その分割幅が均等である必要は無く、用途によってレベルの幅を変えても良い。例えば、状態判別数値の範囲が０〜２５５までである場合に、数値幅の半分となる１２８〜２５５の範囲をレベル５とすることなども可能である。

実施の形態６．
以下に説明する本発明の実施の形態６の画像情報記録再生装置は、差分演算を行ったデータに基づいて画像状態判別演算処理部９において画像状態判別数値を算出し、この画像状態判別数値が画像の識別情報と相対位置番号と画像の記録日時と関連付けられてデータ管理領域に記録されており、ユーザからの要求に応じて、画像の記録日時とその時点での画像状態判別数値とを関連付けて出力するように構成される。このような画像状態判別数値と記録日時との関連付けのデータは、例えば、画像情報記録再生装置に設けられた画像状態判別データ表示部に出力されて表示される。

図１１は本発明の実施の形態６による映像情報記録再生装置の構成を示すブロック図であり、図７と同一の符号を付したものは、同一または、これに相当するものである。図１１に示すように、実施の形態６の映像情報記録再生装置は、画像データ入力部１と、Ａ／Ｄ変換部２と、記憶媒体３と、フレーム内符号化部４と、フレームメモリ５と、差分演算部６と、差分処理切り替え部７と、相対位置番号生成部８と、画像状態判別演算処理部９と、記録日時と関連付けてデータ管理領域に記録されている画像状態判別数値データの中から指定された時間範囲のデータを、映像の再生とは独立に抽出して出力する画像状態判別データ出力部２１と、この出力された画像状態判別数値データを表示する画像状態判別データ表示部２２とを備えている。なお、図１１においては、記録の開始や停止などを操作するための操作パネルや、機器状態を表示する表示部、あるいは、記録中の画像を映し出すモニター装置などは省略して示している。

図１２に、出力例を示す。この図１２に示したデータは、画像の差分演算より算出した画像状態判別数値とその画像が記録された時間とを関連付けて出力されており、どの時間に映像の変動が大きかったかということを示している。すなわち、例えば道路の映像を記録するケースでは、この出力データは車両の通行量増減を示すデータとなり、また、店舗の映像を記録していた場合には、例えば、来客数の時間帯による変動を示すものとなるなど、ユーザにとって有益な情報を提供することを可能とする。

この画像状態判別数値と記録日時との関連付けのデータは、図１３に示したように、グラフの形で出力しても良い。図１３においては、横軸が記録日時、縦軸がそのときに画像状態判別数値に対応するものである。このように構成することで、数値の表で出力する場合に比べてユーザの視認性が向上する。

以上のように実施の形態６によれば、データ管理領域に記録されている画像状態判別数値データを、映像の再生とは独立した状態で記録日時と関連付けて出力する手段を設けたことで、時間帯による人の出入り量や、時間帯による車の通行量など、ユーザに対して有益な参考情報の提供をすることができ、ユーザの利便性向上させることができる。

なお、図１２に示した数値の表や図１３に示したグラフによって本発明の装置の出力形式が限定されるものではなく、例えば縦棒表示のグラフや、時間と画像状態判別数値が交互に並んだ数値データなどであっても良い。

また、抽出される画像状態判別数値は、指定された範囲に記録された全てのデータであっても良いし、あるいは、ユーザが出力データの間隔を１０分間隔などと指定するものであっても良い。

また、画像状態判別数値の抽出間隔を１０分間隔などのように離散的に指定した場合には、指定されたその一瞬一瞬の状態を抽出して出力する方法でも良いし、その指定間隔内の平均値を算出する方法でも良い。例えば、１０分間隔のデータが要求された場合には、１０分ごとの時点のデータを出力しても良いし、データ管理領域の画像状態判別数値を全て読み込んで１０分間分の平均値を算出して出力するものであっても良い。

画像状態判別数値の平均値を算出する場合には、例えば、画像状態判別データ出力部２１と画像状態判別データ表示部２２の間に画像状態判別データ平均値処理部を設け、この画像状態判別データ平均値処理部によって、画像状態判別データ出力部３１から出力された画像状態判別数値の平均値を算出して、その平均値の表やグラフを画像状態判別データ表示部３２に出力する。このように、画像状態判別数値を一定区間ごとに平均化することで、データの視認性が向上する。

また、データの出力形態は、映像情報記録再生装置に備え付けられた小型液晶ディスプレイなどに出力される形態や、あるいは、映像情報記録再生装置に備え付けられた出力端子に接続された表示装置や印字装置にて出力して表示されるものであっても良い。あるいは、出力端子に接続されたコンピュータに取り込まれ、コンピュータ上のソフトウェアで処理される形態であっても良い。

実施の形態７．
図１４は本発明の実施の形態７による映像情報記録再生装置の構成を示すブロック図であり、図１と同一の符号を付したものは、同一または、これに相当するものである。図１４に示すように、実施の形態７の映像情報記録再生装置は、画像データ入力部１と、Ａ／Ｄ変換部２と、記憶媒体３と、フレーム内符号化部４と、フレームメモリ５と、差分演算部６と、差分処理切り替え部７と、相対位置番号生成部８と、データクリッピング処理部１０とを備えている。なお、図１４においては、記録の開始や停止などを操作するための操作パネルや、機器状態を表示する表示部、あるいは、記録中の画像を映し出すモニター装置などは省略して示している。

この実施の形態７においては、フレーム内符号化部４と差分演算部６との間にデータをクリッピングするデータクリッピング処理部１０が設けられている。このデータクリッピング処理部１０においてのクリッピング処理は、入力された値が一定の範囲内にある場合にはそのデータを一定値へとクリッピングするものである。例えば、データ値が１０以下のデータを強制的に０にするものである。クリッピング処理を行うかどうかの切り替えは、差分演算切り替えとリンクして行われ、差分演算を行った画像にのみクリッピング処理を適用するように構成されている。

このようにすることで、有意ではない微小な変化に伴うわずかな数値の変化をフィルタリングして平滑化することができるため、符号化時における圧縮効率をさらに向上させることが可能となる。

以上のように実施の形態７によれば、差分演算をした結果にクリップ処理をすることで、圧縮効率を向上し、より画質のいい状態で記録でき、圧縮符号化時のデータ量を減少させることができる。

なお、上記実施の形態７では、クリッピング処理が、一定値以下のデータに対してのみ作用するように構成されている例で説明したが、例えば、１１８〜１３８の範囲のデータを１２８にクリッピングするように、一定範囲のデータに対して作用するように構成しても良い。

実施の形態８
図１５は本発明の実施の形態８による映像情報記録再生装置の構成を示すブロック図であり、図７，図８，図１１，図１４と同一の符号を付したものは、同一または、これに相当するものである。図１５に示すように、実施の形態８の映像情報記録再生装置は、画像データ入力部１と、Ａ／Ｄ変換部２と、ハードディスクで構成された記憶媒体３と、フレームメモリ５と、差分演算部６と、差分処理切り替え部７と、相対位置番号生成部８と、画像状態判別演算処理部９と、データクリッピング処理部１０と、画像データ出力部１１と、Ｄ／Ａ変換部１２と、合成演算部１６と、合成処理切り替え部１７と、相対位置番号読み取り部１８と、画像状態判別データ読み取り部１９と、再生速度自動調整部２０と、画像状態判別データ出力部２１と、画像状態判別データ表示部２２と、画像状態判別データ平均値処理部２３と、ＪＰＥＧ符号化部３１と、ＪＰＥＧ復号化部３２と、指定時刻等を参照等するための図示しない時計機能部とを備ている。なお、図１５においては、記録の開始や停止などを操作するための操作パネルや、機器状態を表示する表示部、あるいは、記録中の画像を映し出すモニター装置などは省略して示している。

まず、画像記録時の動作について説明する。画像の記録時においては、差分処理切り替え部７で、４フレーム間隔で参照画像と差分画像とが切り替えられる。差分演算部６では、画素ごとに現画像から参照画像の値を減算し、その結果を２で除算し、その値に１２８を足す方法で演算が行われる。データクリッピング処理部１０では、差分演算が行われた画像データに対してのみ、データが１１８〜１３８の範囲であった場合に、値を１２８にクリッピングする。このようにして生成された参照画像データおよび差分画像データは、ＪＰＥＧ符号化部３１でＪＰＥＧ圧縮されてハードディスクである記憶媒体３に記録される。

また、相対位置番号生成部８においては、相対位置として参照画像には０を、差分画像には参照画像からの時間的距離に応じて、順に、１，２，３を相対位置番号として決定する。

さらに、画像状態判別演算処理部９において、前記画素ごとの演算で算出された結果を画面の全画素に対して足し合わせ、この足し合わせた値を画素数で割り、小数点以下を切り捨てた値を画像状態判別数値とする。

上記実施の形態１等で説明した相対位置番号と、上記画像状態判別数値データと、各画像データが記録された先頭セクタアドレスを示す記録位置情報と、画像が記録された日時を示す記録日時データとが、データ管理領域に関連付けされて記録される。

次に、画像再生時の動作について説明する。画像の再生時においては、データ管理領域から、相対位置番号と画像状態判別数値データと画像の記録アドレスを示す記録位置情報と、記録日時とが読み出される。合成演算部１６では、画素ごとに差分画像データから１２８を除算し、その値を２倍した後、参照画像の値に加算処理が行われる。合成処理切り替え部１７においては、読み出された相対位置番号に基づき、その値が０の場合には、画像データを読み出し、ＪＰＥＧ復号化部３２でＪＰＥＧ復号化を施した後、そのまま画像データ出力部１１へと出力される。読み出した相対位置番号が０以外の場合には、その値に基づいて参照画像を決定し、決定された参照画像をＪＰＥＧ復号化部３２でＪＰＥＧ複合化した上でフレームメモリ５に読み込み、画像データをＪＰＥＧ復号化した上で、フレームメモリ５の参照画像と合成される。

また、再生速度自動調整部２０においては、画像状態判別数値データの最大値の０〜５％の範囲をレベル１、５〜１０％の範囲をレベル２、１０〜２０％の範囲をレベル３、２０〜５０％の範囲をレベル４、５０〜１００％の範囲をレベル５とし、それぞれの設定再生速度を、レベル１を２０倍速、レベル２を１０倍速、レベル３を２倍速、レベル４を等倍速、レベル５を０．５倍速とする。

さらに、画像状態判別データ出力部２１は、ユーザから開始日時と終了日時で規定される区間と、データ抽出の間隔の指示を受け、抽出した指定区間の画像状態判別数値データに対して、画像状態判別データ平均値処理部２３で指定間隔内での平均値を算出した上で、平均化に使用した先頭の日時情報を横軸とし、平均化された状態判別数値を縦軸に縦方向の棒グラフを、この実施の形態８の映像情報記録再生装置に設けられた液晶表示装置等である状態判別データ表示部２２に対して表示する。

以上のように実施の形態８によれば、非参照画像データは、参照画像データとの和をとるのみで再生可能となるように符号化されて記録されているため、簡単な構成でフレーム内圧縮に比べて高い画像圧縮率での記録を実現でき、所望記録時間に対して必要とされる記憶媒体の容量を減らすことが可能となり、記録時に参照画像分のメモリを搭載していればよく、必要とされるメモリ容量を減らすことが可能となる。また、再生時にも、常に参照画像データの１フレーム分の情報がメモリに確保されていれば、非参照画像のデータを再生することが可能であるため、ＭＰＥＧで符号化したものを再生するのに比べて回路構成をより簡単にできる。

なお、上記いずれの実施の形態においても、映像と同時に音声やセンサー情報など映像以外の形態の情報を同一記憶媒体に記録することとしてもよい。

また、今回はフレーム単位で処理を行う説明をしたが、フィールド単位の処理であっても良い。

また、本発明は、例えば監視用途のデジタルハードディスクレコーダに適用できる。

本発明の実施の形態１の映像情報記録再生装置の構成を示すブロック図である。 本発明の実施の形態１の映像情報記録再生装置の処理を説明する図である。 本発明の実施の形態１の映像情報記録再生装置の処理を示すフローチャートである。 本発明の実施の形態２の映像情報記録再生装置の構成を示すブロック図である。 本発明の実施の形態２の映像情報記録再生装置の処理を示すフローチャート図である。 本発明の実施の形態３の映像情報記録再生装置の処理を示すフローチャート図である。 本発明の実施の形態４の映像情報記録再生装置の構成を示すブロック図である。 本発明の実施の形態５の映像情報記録再生装置の構成を示すブロック図である。 本発明の実施の形態５の映像情報記録再生装置の処理を示すフローチャート図である。 本発明の実施の形態５の映像情報記録再生装置のスキップ処理を示すフローチャート図である。 本発明の実施の形態６の映像情報記録再生装置の構成を示すブロック図である。 本発明の実施の形態６の映像情報記録再生装置の出力結果を説明する図である。 本発明の実施の形態６の映像情報記録再生装置の出力結果を説明する図である。 本発明の実施の形態７の映像情報記録再生装置の構成を示すブロック図である。 本発明の実施の形態８の映像情報記録再生装置の構成を示すブロック図である。

符号の説明

１ 画像データ入力部、 ２ Ａ／Ｄ変換部、 ３ 記憶媒体、 ４ フレーム内符号化部、 ５ フレームメモリ、 ６ 差分演算部、 ７ 差分演算切り替え部、 ８ 相対位置番号生成部、 ９ 画像状態判別処理部、 １０ データクリッピング処理部、 １１ 画像データ出力部、 １２ Ｄ／Ａ変換部、 １４ フレーム内復号化部、 １６ 合成演算部、 １７ 合成処理切り替え部、 １８ 相対位置番号読み取り部、 １９ 状態判別データ読み取り部、 ２０ 再生速度自動調整部、 ２１ 画像状態判別データ出力部、 ２２ 画像状態判別データ表示部、 ２３ 画像状態判別データ平均値処理部、 ３１ ＪＰＥＧ符号化部、 ３２ ＪＰＥＧ復号化部。

Claims (11)

1. 入力画像データを参照画像データと非参照画像データとに区別するステップと、
   前記非参照画像データについてのみ前記参照画像データとの間で差分演算をして差分画像データを算出するステップと、
   前記参照画像データおよび前記差分画像データをフレーム内符号化して圧縮画像データを形成するステップと、
   前記圧縮画像データを記憶媒体の記録位置情報に従って前記記憶媒体に記録するステップと、
   前記差分演算をしない参照画像に対しては固有の相対位置番号を付与するとともに、前記非参照画像に対しては前記参照画像からのフレームの間隔に基づく相対位置番号を付与するステップと、
   前記相対位置番号をその画像についての識別情報および前記記録位置情報と関連付けて前記記憶媒体のデータ管理領域に記録するステップと
   を含む
   ことを特徴とする映像情報記録方法。
2. 請求項１に記載の映像情報記録方法によって記録された画像データを再生する映像情報再生方法であって、
   前記データ管理領域から読み出した前記画像識別情報に基づき、再生する画像を決定するステップと、
   前記データ管理領域から読み出した前記再生画像の前記記録位置情報に基づき、前記再生画像の圧縮画像データを前記記憶媒体から読み出すステップと、
   前記読み出した圧縮画像データを前記参照画像データおよび前記差分画像データにフレーム内復号化するステップと、
   前記データ管理領域から読み出した前記再生画像の前記相対位置番号に基づき、前記復号化された差分画像データと前記復号化された参照画像データとの和を演算して、前記参照画像データおよび前記非参照画像データを再生するステップと
   を含む
   ことを特徴とする映像情報再生方法。
3. 入力画像データを参照画像データと非参照画像データとに区別して符号化し、記憶媒体に記録する映像情報記録装置であって、
   画像データが入力される画像データ入力手段と、
   少なくとも１フレーム分の参照画像データを記憶するフレームメモリと、
   前記参照画像データについては差分演算をしないで前記フレームメモリに記憶し、前記非参照画像データについては前記フレームメモリに記憶された参照画像データとの間で差分演算をして差分画像データを算出する差分処理手段と、
   前記参照画像データおよび前記差分画像データをフレーム内符号化し、符号化した圧縮データを前記記憶媒体の記録位置情報に従って前記記憶媒体に記録するフレーム内符号化手段と、
   前記差分演算をしない参照画像に対しては固有の相対位置番号を付与するとともに、前記非参照画像に対しては参照画像からのフレームの間隔に基づく相対位置を表す相対位置番号を付与し、付与した相対位置番号をその画像についての識別情報および前記記録位置情報と関連付けて前記記憶媒体のデータ管理領域に記録する相対位置番号付与手段と
   を備えた
   ことを特徴とした映像情報記録装置。
4. 請求項３記載の映像情報記録装置によって前記記憶媒体に記録された画像データを再生する映像情報再生装置であって、
   前記記憶媒体から前記圧縮画像データを読み出して前記参照画像データおよび前記差分画像データにフレーム内復号化するフレーム内復号化手段と、
   少なくとも１フレーム分の参照画像データを記憶するフレームメモリと、
   前記データ管理領域から読み出した前記再生画像の前記相対位置番号に基づき、前記復号化された参照画像データを前記フレームメモリに更新記憶し、前記復号化された非参照画像データについては前記差分画像データと前記フレームメモリに記憶された参照画像データとの和を演算して前記非参照画像データを再生する合成処理手段と、
   再生された参照画像データおよび非参照画像データを出力する画像データ出力手段と
   を備えた
   ことを特徴とする映像情報再生装置。
5. 記録された画像にランダムアクセスする場合において、前記データ管理領域に記録された前記相対位置番号を用いて再生に必要な参照画像データを特定し、その参照画像データが前記フレームメモリに記憶されていなければ、その参照画像データを前記記憶媒体から読み出して復号化し、前記フレームメモリに更新記憶する手段をさらに備えたことを特徴とする請求項４記載の映像情報再生装置。
6. 現画像データである非参照画像データと前記参照画像データとの前記差分画像データを用いて画像の状態変化の度合を示す画像状態判別数値を演算し、得られた画像状態判別数値データを、前記差分画像データを記録した記録日時データおよび画像の識別情報と関連付けて前記データ管理領域に記録する手段をさらに備えたことを特徴とする請求項３記載の映像情報記録装置。
7. 請求項６記載の映像情報記録装置によって前記記憶媒体に記録された画像データを再生する映像情報再生装置であって、
   前記データ管理領域から前記画像状態判別数値データを読み取る画像状態判別データ読み取り手段と、
   前記読み出された画像状態判別数値データに基づいて再生速度を適応的に変化させる再生速度自動調整手段と
   をさらに備えた
   ことを特徴とする映像情報再生装置。
8. 前記再生速度自動調整手段は、前記画像状態判別数値データに基づいて設定したフレーム数だけスキップ処理しながら画像を再生するとともに、スキップ処理されるフレームの画像状態判別数値データを読み取って、スキップ処理する画像の画像状態判別数値データに所定値以上のものがあった場合には、前記スキップ処理を中断して、画像状態判別数値データが所定値以上ある前記画像を再生することを特徴とする請求項７記載の映像情報再生装置。
9. データ管理領域に記録された前記画像状態判別数値データの中から指定された時間範囲のデータを抽出し、抽出した画像状態判別数値データを記録画像の再生とは独立して出力する手段をさらに備えたことを特徴とする請求項６記載の映像情報記録装置。
10. 前記抽出された画像状態判別数値データの一定区間ごとの平均値を算出する手段をさらに備えたことを特徴とする請求項９記載の映像情報記録装置。
11. 前記差分画像データが所定の範囲内にある場合には前記差分画像データを一定値にクリップ処理する手段をさらに備えたことを特徴とする請求項請求項３の映像情報記録装置。

Images