JP2007036495A - 再生装置、圧縮装置、記録装置及び再生方法 - Google Patents

Abstract

【課題】 逆方向再生を少ないメモリで効率良く行える再生装置、再生方法を提供する。
【解決手段】 フレーム内符号化画像データとフレーム間予測符号化画像データとを含む圧縮動画データを再生する映像再生装置１に、圧縮動画データの各フレームの符号化方式に基づいて、各フレームの画像データを復号する映像復号部１３と、復号された画像データを記憶するメモリ１５と、復号された画像データをメモリ１５へ順次書き込むとともに、再生順序にしたがってメモリ１５から画像データを読み出すメモリ制御部１４と、映像復号部１３において画像データの復号を行う際の参照用画像データとして保持しておくべき必要フレーム数を認識する参照用フレーム数認識部１２とを備え、メモリ制御部１４は、認識された必要フレーム数に基づき、参照用画像データを記憶するための記憶領域をメモリ１５に割り当てる。
【選択図】 図１

Description

本発明は、フレーム内符号化画像データとフレーム間予測符号化画像データとを含む圧縮動画データを再生、圧縮、記録するための装置及び方法に関するものである。

従来、高能率符号化された映像コンテンツを記録媒体に記録し、これを記録媒体から読み出して再生する映像再生装置が知られている。高能率符号化方式としては、ＩＳＯ／ＩＥＣの国際標準規格であるＭＰＥＧ−２やＭＰＥＧ−４、ＭＰＥＧ−４ＡＶＣなどの圧縮方式が知られている。

これらの高能率符号化方式では、映像情報を画面内で符号化した「Ｉピクチャ」、時間的に前の映像情報を参照画像として現在の映像情報との差分を符号化した「Ｐピクチャ」、及び時間的に前及び後の映像情報を参照画像として現在の映像情報との差分を符号化した「Ｂピクチャ」を有する。

また、ＭＰＥＧ−４ＡＶＣでは、ＭＰＥＧ−２などのように「Ｐピクチャ」及び「Ｂピクチャ」の参照画像が一通りに決まるわけではなく、所定数保持された参照画像の中から適宜参照画像を選択できる。例えば、５枚の参照画像バッファを持つ場合に、「Ｐピクチャ」の符号化は上記５枚中のいずれか１枚を参照画像として符号化され、「Ｂピクチャ」の符号化は上記５枚中のいずれか２枚を参照画像として符号化される。上記所定数とは、ＭＰＥＧ−４ＡＶＣを適用するアプリケーション毎に決定され、例えば携帯電話向け地上デジタル放送規格では３フレームと規定されている。

「Ｐピクチャ」及び「Ｂピクチャ」は復号時に参照画像が必要であるため、上記３つのピクチャ間には復号順序に依存関係がある。これら方式で圧縮された圧縮データを復号して通常の再生を行う場合は、圧縮データを順に読み出して復号及び表示すればよいが、高速にブラウズするための早送りや早戻し、あるいは逆方向再生といった特殊再生を行う場合は工夫が必要になる。

すなわち、例えば２倍速で早送り再生する場合、復号装置が圧縮データを２倍で読み込み、２倍の速度で再生することは処理能力の面から難しいことが多く、そのため読み込む圧縮データを１／２以下に間引くことが行われる。この際、復号順序に依存関係があるため、復号装置は「Ｉピクチャ」以外のピクチャの圧縮データから復号開始できず、「Ｉピクチャ」で始まる圧縮データを復号装置に渡す必要がある。

このことを図６に基づいて説明すると以下のとおりである。図６では、元の圧縮データは「Ｉ、Ｐ、Ｐ、…」というＧＯＰ（Group Of Pictures：複数のピクチャからなる単位）が繰り返されている構成であり、早送り動作において各ＧＯＰから「Ｉ，Ｐ，Ｐ」の先頭３フレーム分の圧縮データを切り出し、切り出した圧縮データを復号させる場合を想定している。この場合、切り出す先頭フレームが「Ｉピクチャ」であればよいことになる。

また、早戻しの場合も同様の方法で実現可能であるが、復号した「Ｉ，Ｐ，Ｐ」をこの順序で再生すると、「Ｉ，Ｐ，Ｐ」単位では時間を遡るが「Ｉ，Ｐ，Ｐ」の中では順方向で再生されることになるので、順方向の再生と逆方向の再生とが混在することになる。このため、早戻しの場合は「Ｉ」のみを用いて遡る場合が多い。この場合、「Ｉピクチャ」の間隔が大きいと、その間は画面が停止してしまうことになる。

一方、逆方向再生に関しては、特許文献１において以下に示す再生動作が開示されている。この再生動作では、復号した画像を一旦メモリに記憶し、逆方向再生時においてはこれを逆順に読み出すことにより、順方向の再生と逆方向の再生とが混在することを回避している。

図７（ａ）及び図７（ｂ）のダイヤグラムに基づいて、上記特許文献１に記載の再生動作を説明する。再生する映像ストリームは、１ＧＯＰ当たり、１枚のＩピクチャ、１枚のＰピクチャ及び２枚のＢピクチャ、合計４枚分のピクチャによって構成されている。

図７（ａ）は、順方向再生の例を示しており、この場合、Ｘ，Ｘ＋１，Ｘ＋２，Ｘ＋３，Ｘ＋４の順に再生される。各ＧＯＰは、ＧＯＰ内の画像が他のＧＯＰから独立再生可能なクローズドＧＯＰであり、それぞれＩピクチャ、Ｐピクチャ、Ｂピクチャ、Ｂピクチャの順で記憶媒体から読み出されるが、順方向再生順はＩピクチャ、Ｂピクチャ、Ｂピクチャ、Ｐピクチャの順である。

この映像ストリームを逆方向に再生する場合、この映像ストリームは動き補償予測を用いて符号化されているため、ＧＯＰ単位で逆方向に読み出すことはできるが、ＧＯＰ内での復号化の順番を変えることはできない。

そこで、上記特許文献１では、再生装置に設けられた領域割当部により、図７（ｂ）に示すように、表示を終えたメモリの画像領域を、表示終了が古い順に、復号画像格納領域として再割り当てすることにより、復号した画像をメモリ内に保持し、順方向再生順の逆順に従って、読み出すことによって逆方向再生を行っている。
特開平１１−２０５７３９号公報（公開日１９９９年７月３０日）

しかしながら、上記特許文献１に開示の技術では、表示を終えたメモリは復号画像格納領域として再割り当て可能としているが、ＭＰＥＧ−４ＡＶＣのような、表示後でも復号処理に使用され得るためすぐには再割り当てできない復号画像格納領域がある圧縮方式の場合は考慮されていない。

そのため、上記特許文献１に開示の技術では、例えば、復号処理に使用され得るために保持しておかなければならないピクチャ数が２枚の映像ストリームを想定して装置を構成する場合、それに対応したメモリを確保しておくことになるが、この装置において保持しておかなければならないピクチャ数が１枚の映像ストリームを再生するときには、必要以上のメモリを専有してしまうことになり、メモリの利用効率が悪化する、という問題を生じる。

本発明は、上記の問題点に鑑みてなされたものであり、その目的は、復号処理に使用され得るデータを記憶するための記憶領域を必要以上に大きく確保することを回避することができ、メモリを効率的に利用することができる再生装置、再生方法を提供することにある。

本発明に係る再生装置は、フレーム内符号化画像データとフレーム間予測符号化画像データとを含む圧縮動画データを再生するための再生装置であって、圧縮動画データの各フレームの符号化方式に基づいて、各フレームの画像データを復号する復号手段と、復号された画像データを記憶するメモリと、復号された画像データを前記メモリへ順次書き込むとともに、再生順序にしたがって前記メモリから画像データを読み出すメモリ制御手段と、前記復号手段において画像データの復号を行う際の参照用画像データとして保持しておくべき必要フレーム数を認識する認識手段とを備え、前記メモリ制御手段は、認識された必要フレーム数に基づき、参照用画像データを記憶するための記憶領域を前記メモリに割り当てることを特徴としている。

上記の構成では、復号手段により、圧縮動画データの各フレームの符号化方式に基づいて各フレームの画像データを復号する。

ここで、圧縮動画データは、フレーム内符号化画像データとフレーム間予測符号化画像データとを含むものである。このような圧縮動画データを復号するためには、圧縮動画データにおけるフレーム内符号化画像データとフレーム間予測符号化画像データとの配列に応じて、復号するフレームの順序が定まる。しかしながら、この順序が再生順序に一致するとは限らない。なお、再生順序とは、再生する際に画像データを表示する順序を意味し、順方向再生の場合は動画の時系列に沿った順序であり、逆方向再生の場合は動画の時系列に逆行する順序である。

そこで、上記の構成では、メモリ制御手段により、復号された画像データをメモリに順次書き込んで記憶させておき、再生順序にしたがって画像データを読み出すようになっている。

ここで、上記の構成では、認識手段により、復号手段において画像データの復号を行う際の参照用画像データとして保持しておくべき必要フレーム数を認識する。この必要フレーム数は、圧縮動画データごとに定まる。なお、参照用画像データは、フレーム間予測符号化画像データを復号する際に参照され得る画像データであり、当該フレーム間予測符号化画像データよりも前に復号された画像データである。

そして、上記認識された必要フレーム数に基づき、メモリ制御手段により、参照用画像データを記憶するための記憶領域をメモリに割り当てる。

このように、必要フレーム数に基づいて参照用画像データを記憶するための記憶領域をメモリに割り当てることにより、再生する圧縮動画データに応じた必要最小限の領域割り当てを実現することができる。したがって、上記記憶領域を必要以上に大きく確保することを回避することができ、メモリを効率的に利用することができるようになる。

なお、前記認識手段は、圧縮動画データに含まれている情報に基づいて必要フレーム数を認識するものであってもよく、圧縮動画データに対応付けられた管理情報に含まれている情報に基づいて必要フレーム数を認識するものであってもよい。

特に後者の場合（管理情報に含まれている情報に基づいて必要フレーム数を認識する場合）は、圧縮動画データの解析を行う必要がなくなるので、認識手段の構成を簡略化できるとともに、再生開始時のタイムラグを小さくすることができる。

本発明に係る圧縮装置は、上記再生装置において再生される圧縮動画データを生成する圧縮装置であって、動画データを圧縮するとともに、圧縮を行う際の参照用画像データとして保持しておくべき必要フレーム数を出力する圧縮手段と、前記圧縮手段によって生成される圧縮動画データと対応付けて、前記圧縮手段より出力される必要フレーム数を示す情報を含む管理情報を生成する管理情報生成手段とを備えることを特徴としている。

これにより、上述のように再生装置において、認識手段の構成を簡略化できるとともに、再生開始時のタイムラグを小さくすることができる。

また、上記圧縮装置と、前記圧縮手段によって生成される圧縮動画データと、前記管理情報生成手段によって生成された管理情報とを記録媒体に記録する記録装置とを備えることによって記録装置を構成することもできる。

本発明に係る再生方法は、フレーム内符号化画像データとフレーム間予測符号化画像データとを含む圧縮動画データを再生するための再生方法であって、圧縮動画データの各フレームの符号化方式に基づいて、各フレームの画像データを復号する復号処理と、復号された画像データをメモリへ順次書き込む書込処理と、再生順序にしたがって前記メモリから画像データを読み出す読出処理とを含むとともに、前記書込処理に先立って、前記復号処理において画像データの復号を行う際の参照用画像データとして保持しておくべき必要フレーム数を認識する認識処理と、認識された必要フレーム数に基づき、参照用画像データを記憶するための記憶領域を前記メモリに割り当てる割当処理とを行うことを特徴としている。

上記の方法では、復号処理において、圧縮動画データの各フレームの符号化方式に基づいて各フレームの画像データを復号し、書込処理において、復号された画像データをメモリに順次書き込んで記憶させておき、読出処理において、再生順序にしたがって画像データを読み出すようになっている。

ここで、上記の方法では、書込処理に先立つ認識処理において、画像データの復号を行う際の参照用画像データの必要フレーム数を認識する。そして、認識された必要フレーム数に基づき参照用画像データを記憶するための記憶領域をメモリに割り当てる。

このように、必要フレーム数に基づいて参照用画像データを記憶するための記憶領域をメモリに割り当てることにより、再生する圧縮動画データに応じた必要最小限の領域割り当てを実現することができる。したがって、上記記憶領域を必要以上に大きく確保することを回避することができ、メモリを効率的に利用することができるようになる。

本発明に係る再生装置は、フレーム内符号化画像データとフレーム間予測符号化画像データとを含む圧縮動画データを再生するための再生装置であって、圧縮動画データの各フレームの符号化方式に基づいて、各フレームの画像データを復号する復号手段と、復号された画像データを記憶するメモリと、復号された画像データを前記メモリへ順次書き込むとともに、再生順序にしたがって前記メモリから画像データを読み出すメモリ制御手段と、前記復号手段において画像データの復号を行う際の参照用画像データとして保持しておくべき必要フレーム数を認識する認識手段とを備え、前記メモリ制御手段は、認識された必要フレーム数に基づき、参照用画像データを記憶するための記憶領域を前記メモリに割り当てる構成である。

また、本発明に係る再生方法は、フレーム内符号化画像データとフレーム間予測符号化画像データとを含む圧縮動画データを再生するための再生方法であって、圧縮動画データの各フレームの符号化方式に基づいて、各フレームの画像データを復号する復号処理と、復号された画像データをメモリへ順次書き込む書込処理と、再生順序にしたがって前記メモリから画像データを読み出す読出処理とを含むとともに、前記書込処理に先立って、前記復号処理において画像データの復号を行う際の参照用画像データとして保持しておくべき必要フレーム数を認識する認識処理と、認識された必要フレーム数に基づき、参照用画像データを記憶するための記憶領域を前記メモリに割り当てる割当処理とを行う方法である。

上記の構成及び方法では、必要フレーム数に基づいて参照用画像データを記憶するための記憶領域をメモリに割り当てることにより、再生する圧縮動画データに応じた必要最小限の領域割り当てを実現することができる。したがって、上記記憶領域を必要以上に大きく確保することを回避することができ、メモリを効率的に利用することができるようになる。

本発明の実施の一形態について、図１から図５に基づいて説明すると以下の通りである。

図１のブロック図に基づいて、本発明の再生装置としての映像再生装置１の構成を説明する。なお、本実施形態では、映像再生装置１として、ＤＶＤ（digital video disc）プレーヤを想定して説明する。

映像再生装置１は、信号再生部１１と、参照用フレーム数認識部１２と、映像復号部１３と、メモリ制御部１４と、メモリ１５と、出力部１６と、制御部１７と、操作入力部１８とを備えている。

信号再生部（再生手段）１１は、図示しない光ピックアップやＡ／Ｄコンバータなどを備え、ＤＶＤを再生することにより得られる圧縮動画データを生成し、参照用フレーム数認識部１２及び映像復号部１３に送る。

信号再生部１１により生成される圧縮動画データは、ＭＰＥＧ−４ＡＶＣに準拠した圧縮方式によって圧縮された状態の映像信号を想定しているがこれに限定されるものではない。

この圧縮動画データは、圧縮画像データとして、フレーム内符号化画像データ（Ｉピクチャ）とフレーム間予測符号化画像データ（Ｐピクチャ、Ｂピクチャ）とを含んでおり、これらの配列からなる単位（ＧＯＰ：Group Of Pictures）を多数含んで構成されている。

より具体的には、ＧＯＰは、ＩピクチャとＰピクチャとの組合せである場合と、ＩピクチャとＰピクチャとＢピクチャとの組合せである場合とがある。この組合せは、当該圧縮動画データが圧縮された際の圧縮方式によって定まる。

なお、フレーム内符号化画像データであるＩピクチャは、フレーム間予測を行わずに当該フレームの情報のみから符号化された画像データであり、当該Ｉピクチャのみに基づいて復号される画像データである。

また、フレーム間予測符号化画像データのうち、Ｐピクチャは、フレーム間順方向予測符号化画像データ、すなわち、時系列的に先行するフレーム（Ｉピクチャ又はＰピクチャ）に基づく予測を行うことによって符号化された画像データであり、当該先行するフレームを用いて復号される画像データである。

また、フレーム間予測符号化画像データのうち、Ｂピクチャは、フレーム間双方向予測符号化画像データ、すなわち、時系列的に先行するフレーム（Ｉピクチャ）と、時系列的に後続のフレーム（Ｐピクチャ）とに基づく予測を行うことによって符号化された画像データであり、当該先行するフレームと後続するフレームとを用いて復号される画像データである。

なお、上記のようにＧＯＰにはＢピクチャが含まれていてもよいが、ＢピクチャはＰピクチャに対して参照フレームの数が１から２に変わる以外は本実施形態においては同様に扱うことができる。このため、以下ではＧＯＰはＩピクチャとＰピクチャとからのみ構成される場合を想定して説明する。

参照用フレーム数認識部（認識手段）１２は、信号再生部１１から送られてくる圧縮動画データを解析することによって、後の復号処理のための参照用に保持すべきフレーム（参照用フレーム）の数（保持必要フレーム数）を認識する。より具体的には、ＭＰＥＧ−４ＡＶＣ規格に準拠した圧縮動画データに含まれるＳＰＳ（sequence parameter set）中のnum_ref_framesを読み出すことにより保持必要フレーム数を認識する。

なお、参照用フレームは、復号処理の対象となるフレームの直前に復号された保持必要フレーム数分のフレームである。実際に参照するフレーム（参照フレーム）は、例えばＰピクチャを復号する場合、参照用フレームのうち、復号処理の対象となるフレームに含まれる参照インデックス情報（ref_idx）によって指定されるフレーム番号のフレームである。なお、Ｂピクチャを復号する場合では、実際に参照するフレームは、参照用フレームのうち参照インデックス情報によって指定される２つのフレーム番号それぞれに対応するフレームである。

参照用フレーム数認識部１２における保持必要フレーム数の認識は、上記ＳＰＳを用いる以外にも、次のような管理情報を用いることによっても実現できる。

図２に管理情報のデータ構造を示す。管理情報には、属性情報の１つとして保持必要フレーム数を示す情報が含まれている。また、管理情報には、これ以外の情報、例えば圧縮動画データにおけるランダムアクセス位置、すなわちＩピクチャの位置を示す情報を含んでいてもよい。

このような管理情報が、対応する圧縮動画データと関連付けられ、当該圧縮動画データとは別に（別ファイルとして）同一ＤＶＤ内に記録されている場合には、圧縮動画データを再生する前に管理情報を読み出すことによって、参照用フレーム数認識部１２において保持必要フレーム数を認識することができる。このようにすることにより、上記ＳＰＳを用いる場合のような圧縮動画データの解析を行う必要がなくなるので、参照用フレーム数認識部１２の構成を簡略化できるとともに、再生開始時のタイムラグを小さくすることができる。

映像復号部（復号手段）１３は、信号再生部１１から送られてくる圧縮動画データに基づくことにより、圧縮動画データの各フレームの符号化方式に基づいて、各フレームの画像データを復号し、復号した画像データをメモリ制御部１４に送る。この復号を行う際に、映像復号部１３は、各フレームの符号化方式に基づいて、上述した参照用フレームのうちの所定の参照フレームの画像データ（参照画像データ）を参照する。参照画像データは、メモリ制御部１４によってメモリ１５から読み出される。

メモリ制御部（メモリ制御手段）１４は、映像復号部１３によって復号された画像データをメモリ１５へ順次書き込むとともに、再生順序にしたがってメモリ１５から画像データを読み出し、表示画像データとして出力部１６へ送る。

また、メモリ制御部１４は、映像復号部１３から送られてくる復号画像データを参照用画像データとしてメモリ１５に書き込むとともに、上記復号画像データを書き込んだ領域を、保持必要フレーム数に相当するフレーム期間、参照用画像領域として管理し、当該期間中は当該領域への他の復号画像データによる更新（上書き）を禁止する。これにより、メモリ１５において、保持必要フレーム数に応じた記憶領域が参照用画像領域として確保されることになる。

さらに、メモリ制御部１４は、保持必要フレーム数に相当するフレーム期間が満了し、参照用画像領域としての管理を解除した領域であっても、当該領域に書き込まれている復号画像データを未だ表示画像データとして読み出していない場合には、この読み出しを行うまで、当該領域を読出用画像領域として管理し、当該領域への他の復号画像データによる更新を禁止する。

したがって、メモリ制御部１４は、新たな復号画像データをメモリ１５に書き込む際には、参照用画像領域及び読出用画像領域以外の領域を更新可能領域とみなし、当該更新可能領域に対して書き込みを行うことになる。

メモリ１５は、ＶＲＡＭ（video random access memory）などによって構成され、上述したメモリ制御部１４の制御によって画像データの書き込み及び読み出しが行われる。

出力部１６は、メモリ制御部１４から送られてくる表示画像データを外部の表示装置に対して出力するものである。

制御部１７は、操作入力部１８からの操作入力に応じた再生形態を実現するために、上述した各部を制御するものである。再生形態とは、順方向再生、順方向早送り再生、逆方向再生、逆方向早戻し再生などを意味する。

操作入力部１８は、利用者による上記再生形態の選択などの操作入力を受け付け、その内容を制御部１７に伝えるものである。操作入力部１８は、操作入力を受け付けるためのボタンを備えたものでもよく、図示しないリモートコントローラからの信号を受け付けるための受信部を備えたものであってもよい。

次に、図３（ａ）〜（ｄ）及び図４（ａ）〜（ｄ）に基づき、映像再生装置１によって再生を行う際のメモリ１５上での記憶領域の割り当てについて説明する。図３（ａ）〜（ｄ）及び図４（ａ）〜（ｄ）は、例としてメモリ保持領域として４フレーム分の領域がある場合を示している。

図３（ａ）及び図４（ａ）は、ＤＶＤに記録されている圧縮画像データの流れ（圧縮画像ストリーム）を表している。この圧縮画像データは、「Ｉ，Ｐ，Ｐ，Ｐ」というＧＯＰと「Ｉ，Ｐ，Ｐ，Ｐ，Ｐ」というＧＯＰと「Ｉ，Ｐ，Ｐ」というＧＯＰとによって構成されている。なお、ここではＧＯＰとして互いに異なるピクチャ配列からなるものを示しているが、同一のピクチャ配列からなるものであってもよい。また、図３（ａ）〜（ｄ）及び図４（ａ）〜（ｄ）において「Ｉ」又は「Ｐ」とともに示した１〜１２の数字は、フレーム順序を示すために便宜的に付したものである。

まず、図３（ａ）〜（ｄ）に基づき、参照用フレーム数認識部１２で認識した保持必要フレーム数が３（num_ref_frames＝3）の場合を説明する。

この圧縮画像ストリームを逆方向早戻し再生することを考える。そのためには、制御部１７の制御により、信号再生部１１の光ピックアップ（図示せず）が、圧縮画像ストリームの時系列において下流から上流に向かって、ランダムアクセス位置であるＩピクチャ位置に順次アクセスし、各Ｉピクチャの属するＧＯＰにおいて先頭から２フレーム分の圧縮画像データを読み出す。

これにより、映像復号部１３には、図３（ｂ）に示す読み出し順に圧縮画像データが送られる。すなわち、映像復号部１３に入力される圧縮画像データの流れ（復号部入力ストリーム）は、圧縮画像ストリームとはＧＯＰの順序が逆転しており、各ＧＯＰにおいては時系列に沿った第１から第２フレーム（それぞれＩピクチャ、Ｐピクチャ）がこの順に配列されたものとなる。具体的には、時間軸に沿って「１０，Ｐ１１，Ｉ５，Ｐ６，Ｉ１，Ｐ２」の順となる。

映像復号部１３は、上記復号部入力ストリームが入力されると、各圧縮画像データを入力される順に順次復号し、それぞれの復号画像データを生成し、これをメモリ制御部１４に送る。

メモリ制御部１４は、映像復号部１３から送られてきた復号画像データをメモリ１５における更新可能領域に書き込む。書き込まれたフレームは、num_ref_frames＝３の場合、その後３フレーム期間は当該フレームよりも後で復号されるフレームの復号に用いられる可能性があるため、参照用フレームとして３フレーム期間保持される必要がある。図３（ｃ）では、保持されてから３フレーム期間経過したフレーム、つまり、保持しておく必要のある期間の終期を迎えたフレームに対して斜線を付している。

このため、あるフレームの格納された領域は、当該フレームを保持しておく必要のある期間が満了し、かつ、当該フレームの表示が終了したことを条件として更新可能領域となる。このような更新可能か否かは、上記条件に基づいてメモリ制御部１４が管理する。

これにより、メモリ１５に書き込まれる復号画像データは、図３（ｃ）に示すようになる。

そして、メモリ制御部１４は、逆方向早送り再生に応じた順序に復号画像データが時間軸に沿って並ぶように、適宜、メモリ１５から復号画像データを図３（ｄ）に示す順序で読み出し、これを出力部１６に送ることによって、表示画像ストリームを形成する。なお、図３（ｃ）では、各フレーム期間において読み出されるフレームに対して太枠を付している。

この場合、メモリ１５に保持され、逆方向早戻し再生に利用可能なフレームは、各ＧＯＰに関して１つのＩピクチャと１つのＰピクチャの合計２フレームとなる。これ以上のフレームをメモリ１５にて保持しようとしても、実際にはメモリ１５に書き込めないフレームが発生してしまう。

次に、図４（ａ）〜（ｄ）に基づき、参照用フレーム数認識部１２で認識した保持必要フレーム数が１（num_ref_frames＝1）の場合を説明する。なお、各部の動作は上述したnum_ref_frames＝3の場合と同様なので説明は省略する。

図４（ａ）〜（ｄ）は、図３（ａ）〜（ｄ）との比較において、フレーム保持可能なメモリ１５の容量が同じ（４フレーム分）場合であっても、num_ref_framesの値によって逆方向早戻し再生に利用可能なＧＯＰ当たりのフレーム数が異なっていることを示している。

すなわち、図４（ａ）〜（ｄ）の場合（num_ref_frames＝1）は、図３（ａ）〜（ｄ）の場合（num_ref_frames＝3）と比べて、逆方向早戻し再生に利用可能なＧＯＰ当たりのフレーム数が２枚から４枚になっている。これにより、図４（ａ）〜（ｄ）の場合では、メモリ１５をより効率的に使用することにより、より滑らかな逆方向早戻し再生の表示を実現している。

以上のように、映像再生装置１では、保持必要フレーム数に基づいて動的に参照用画像領域をメモリ１５に割り当てることにより、再生する圧縮動画データに応じた必要最小限の領域割り当てを実現することができる。したがって、参照用画像領域を必要以上に大きく確保することを回避することができ、メモリ１５を効率的に利用することができるようになる。

以上の説明では、本発明の再生装置としてＤＶＤプレーヤである映像再生装置１を想定したが、本発明の再生装置はこれに限らず、他の記録媒体から圧縮動画データを再生するものであってもよく、ネットワークを介して伝送されて来る圧縮動画データを再生するものであってもよい。

次に、図５のブロック図に基づいて、本発明の記録装置（圧縮装置）としての映像記録装置２の構成を説明する。なお、本実施形態では、映像記録装置２として、ＤＶＤ（digital video disc）レコーダを想定して説明する。

映像記録装置２は、入力部２１と、管理情報生成部２２と、映像符号部２３と、メモリ制御部２４と、メモリ２５と、信号記録部２６と、制御部２７と、操作入力部２８とを備えている。

映像記録装置２では、動画データが入力部２１から入力され、映像符号部２３によって符号化されることにより圧縮画像データが生成され、メモリ制御部２４を介してメモリ２５に書き込まれる。このとき、先に生成された圧縮画像データが参照画像データとして参照される。また、メモリ２５に書き込まれた圧縮画像データは、メモリ制御部２４により、所定の記録順序に応じて読み出され、信号記録部２６に送られる。信号記録部（記録装置）２６は、送られてくる圧縮画像データをＤＶＤに記録する。このとき制御部２７は、操作入力部２８からの操作入力に応じて上記記録動作を実現するために上記各部を制御する。

また、映像記録装置２では、管理情報生成部（管理情報生成手段）２２は、符号化を行うにあたって必要となる参照用画像データの保持必要フレーム数を映像符号部２３より取得し、この情報に基づいて上述した管理情報（図２参照）を生成し、信号記録部２６に送る。信号記録部２６では、送られてくる管理情報を圧縮動画データとは別に（別ファイルとして）同一ＤＶＤ内に記録する。

以上の説明では、本発明の圧縮装置としてＤＶＤレコーダである映像記録装置２を想定したが、本発明の圧縮装置はこれに限らず、他の記録媒体に対して記録するための圧縮動画データを生成するものであってもよく、ネットワークを介して伝送するための圧縮動画データを生成するものであってもよい。

また、生成された圧縮動画データと管理情報とは必ずしも別ファイルとして記録又は伝送される必要はなく、多重化して１つにされていてもよい。

なお、上述した映像再生装置１（図１参照）及び映像記録装置２（図５参照）を構成する各ブロックのうちの一部のもの（映像再生装置１については参照用フレーム数認識部１２、映像復号部１３、メモリ制御部１４及び制御部１７。映像記録装置２については管理情報生成部２２、映像符号部２３、メモリ制御部２４及び制御部２７）は、ハードウェアロジックによって構成してもよく、次のようにコンピュータを用いてソフトウェアによって実現してもよい。

すなわち、プログラムの命令を実行するＣＰＵ（central processing unit）、プログラムを展開するＲＡＭ（random access memory）を備えるコンピュータを用い、このコンピュータに対して所定のプログラムを供給し、このプログラムを実行することによって上記各ブロックをコンピュータ上で実現してもよい。

コンピュータに対して上記プログラムを供給するためには、当該プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記コンピュータに供給すればよい。

上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。

また、上記コンピュータを通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

本発明の実施の一形態に係る映像再生装置の構成を示すブロック図である。 図１の映像再生装置において再生される圧縮動画データの管理情報を示す図面である。 （ａ）は図１の映像再生装置において再生される圧縮画像ストリームのフレーム構成を示す図面であり、（ｂ）は図１の映像再生装置における逆方向早戻し再生の際のフレームの読み出し順序を示す図面であり、（ｃ）は図１の映像再生装置におけるメモリの利用状況を示す図面であり、（ｄ）は図１の映像再生装置における逆方向早戻し再生の際のフレームの表示順序を示す図面である。 （ａ）は図１の映像再生装置において再生される圧縮画像ストリームのフレーム構成を示す図面であり、（ｂ）は図１の映像再生装置における逆方向早戻し再生の際のフレームの読み出し順序を示す図面であり、（ｃ）は図１の映像再生装置におけるメモリの利用状況を示す図面であり、（ｄ）は図１の映像再生装置における逆方向早戻し再生の際のフレームの表示順序を示す図面である。 図１の映像再生装置において再生される圧縮動画データ及び管理情報を記録する映像記録装置の構成を示すブロック図である。 従来の再生動作を示すタイミングチャートである。 （ａ）は従来の順方向再生動作を示すタイミングチャートであり、（ｂ）は従来の逆方向再生動作を示すタイミングチャートである。

符号の説明

１ 映像再生装置（再生装置）
２ 映像記録装置（記録装置、圧縮装置）
１１ 信号再生部（再生手段）
１２ 参照用フレーム数認識部（認識手段）
１３ 映像復号部（復号手段）
１４ メモリ制御部（メモリ制御手段）
１５ メモリ
１６ 出力部
１７ 制御部
１８ 操作入力部
２１ 入力部
２２ 管理情報生成部（管理情報生成手段）
２３ 映像符号部
２４ メモリ制御部
２５ メモリ
２６ 信号記録部（記録装置）
２７ 制御部
２８ 操作入力部

Claims (10)

1. フレーム内符号化画像データとフレーム間予測符号化画像データとを含む圧縮動画データを再生するための再生装置において、
   圧縮動画データの各フレームの符号化方式に基づいて、各フレームの画像データを復号する復号手段と、
   復号された画像データを記憶するメモリと、
   復号された画像データを前記メモリへ順次書き込むとともに、再生順序にしたがって前記メモリから画像データを読み出すメモリ制御手段と、
   前記復号手段において画像データの復号を行う際の参照用画像データとして保持しておくべき必要フレーム数を認識する認識手段とを備え、
   前記メモリ制御手段は、認識された必要フレーム数に基づき、参照用画像データを記憶するための記憶領域を前記メモリに割り当てることを特徴とする再生装置。
2. 前記認識手段は、圧縮動画データに含まれている情報に基づいて必要フレーム数を認識することを特徴とする請求項１に記載の再生装置。
3. 前記認識手段は、圧縮動画データに対応付けられた管理情報に含まれている情報に基づいて必要フレーム数を認識することを特徴とする請求項１に記載の再生装置。
4. 請求項３に記載の再生装置において再生される圧縮動画データを生成する圧縮装置であって、
   動画データを圧縮するとともに、圧縮を行う際の参照用画像データとして保持しておくべき必要フレーム数を出力する圧縮手段と、
   前記圧縮手段によって生成される圧縮動画データと対応付けて、前記圧縮手段より出力される必要フレーム数を示す情報を含む管理情報を生成する管理情報生成手段とを備えることを特徴とする圧縮装置。
5. 請求項４に記載の圧縮装置と、
   前記圧縮手段によって生成される圧縮動画データと、前記管理情報生成手段によって生成された管理情報とを記録媒体に記録する記録装置とを備えることを特徴とする記録装置。
6. フレーム内符号化画像データとフレーム間予測符号化画像データとを含む圧縮動画データを再生するための再生方法において、
   圧縮動画データの各フレームの符号化方式に基づいて、各フレームの画像データを復号する復号処理と、
   復号された画像データをメモリへ順次書き込む書込処理と、
   再生順序にしたがって前記メモリから画像データを読み出す読出処理とを含むとともに、
   前記書込処理に先立って、前記復号処理において画像データの復号を行う際の参照用画像データとして保持しておくべき必要フレーム数を認識する認識処理と、
   認識された必要フレーム数に基づき、参照用画像データを記憶するための記憶領域を前記メモリに割り当てる割当処理とを行うことを特徴とする再生方法。
7. 請求項１から３の何れか１項に記載の再生装置を動作させる再生プログラムであって、コンピュータを前記各手段として機能させることを特徴とする再生プログラム。
8. 請求項７に記載の再生プログラムを記録したコンピュータ読み取り可能な記録媒体。
9. 請求項４に記載の圧縮装置を動作させる圧縮プログラムであって、コンピュータを前記各手段として機能させることを特徴とする圧縮プログラム。
10. 請求項９に記載の圧縮プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images