JP2006157867A - 情報処理装置および情報処理方法、記録媒体、並びに、プログラム - Google Patents

Abstract

【課題】 複雑な処理を行うことなく、ビデオバンクメモリを管理する。
【解決手段】 バンクＮｏ．０乃至５には、デコード済みのＩピクチャおよびＰピクチャが、デコード順に格納され、最初のＩ２ピクチャの表示と同時に、バンクＮｏ．６にＢ３ピクチャが格納される。その後、ＩピクチャまたはＰピクチャを格納していたバンクは、その参照画像としての利用とピクチャの表示とがいずれも終了した時点で開放される。すなわち、自身参照カウンタ、前方向参照カウンタ、および、後ろ方向参照カウンタのすべての値が０となったピクチャが格納されていたバンクが順次解放される。そして、Ｂピクチャは、開放された時間が早いバンクから、順次格納され、表示後に開放される。
【選択図】図２８

Description

本発明は、情報処理装置および情報処理方法、記録媒体、並びに、プログラムに関し、特に、バンクメモリの容量が少なくても、圧縮符号化データをデコードして、高速再生、逆方向再生、または、逆方向高速再生することができるようにした、情報処理装置および情報処理方法、記録媒体、並びに、プログラムに関する。

映像圧縮技術として、ＭＰＥＧ（Moving Picture Coding Experts Group／Moving Picture Experts Group）が広く用いられている。

ＭＰＥＧで圧縮符号化されたストリームデータをデコードして再生する場合に、通常の再生以外に、高速再生を実行したり、逆方向に再生する技術がある。

例えば、１５ピクチャで１ＧＯＰを構成するMPEG LongGOPでは、デコーダへの入力においてＢピクチャを間引くことで、−３乃至３倍（速度のマイナスは、逆方向の再生であることを示す、以下同様）で高速再生を行うことが可能である（例えば、特許文献１参照）。また、再生スピードごとに、表示したいピクチャ情報のテーブルを持つことで、用意したテーブル分のスピードの再生を行うことができる。

特開平８−９８１４２号公報

また、例えば、５フレーム間隔で、間欠的に１０フレーム分ずつ圧縮符号化信号を取得し、取得した圧縮符号化信号をすべて復調した後、２つの復号部に５フレーム分ずつ交互に供給して、それぞれ復号処理を実行させた後、復号後のデータをメモリに書き込んで、１フレームおきに読み出すことにより、２倍速の再生信号を得ることができるようにした技術がある（例えば、特許文献２参照）。

特開平８−５６３３４号公報

また、ＭＰＥＧのストリームは、正方向に再生するのに都合よくできている。例えば、１５ピクチャで１ＧＯＰを構成するMPEG LongGOPにおける１ＧＯＰのコーディングオーダのピクチャの並びは、Ｉ（２）Ｂ（０）Ｂ（１）、Ｐ（５）、Ｂ（３）、Ｂ（４）、Ｐ（８）、Ｂ（６）、Ｂ（７）、Ｐ（１１）、Ｂ（９）、Ｂ（１0）、Ｐ（１４）、Ｂ（１２）、Ｂ（１３）（ただし、カッコ内の数字は、コーディングオーダをディスプレイオーダに並べ替えた場合の順番を示す）となっていて、Ｐピクチャの参照する画像は、一つ前のＩピクチャまたはＰピクチャであり、Ｂピクチャの参照する画像は、コーディングオーダで１つ前のＩピクチャまたはＰピクチャと、２つ前のＩピクチャまたはＰピクチャである。これにより、参照画像用のメモリを２面（２バンク）分予約することで、Ｐピクチャ、Ｂピクチャとも、デコードすることができ、メモリを効率よく使用することができるようになっている。

このように、正方向に再生するのに都合よいＭＰＥＧのストリームを逆転再生するために、複数のデコーダを用いて復号処理を実行し、それぞれ、復号対象となるＧＯＰの直前のＧＯＰを付加してデコーダに供給するようにすることにより、逆方向再生であっても、再生されるピクチャの参照画像を正しく用いることができるようにした技術がある（たとえば、特許文献３）。

特開平１０−１５０６３５号公報

例えば、１５ピクチャで１ＧＯＰを構成するMPEG LongGOPでは、デコーダへの入力においてＢピクチャを間引くことで、−３乃至３倍（速度のマイナスは、逆方向の再生であることを示す、以下同様）で高速再生を行うことが可能であるが、ピクチャの表示間隔が不規則となってしまうため、不自然な表示になる。

また、複数のデコーダチップを用いてデコードを実行するようになされている場合では、表示対象でないＢピクチャを入力段で間引く処理と組み合わせることにより、等間隔の間引きで、更に高速の再生（例えば、２チップで２倍、３チップで４倍、４チップで５倍、５チップで７倍）を実現することができるが、出力処理において、ＩピクチャまたはＰピクチャを間引く処理を行う必要があり、ベースバンドメモリの制御や、デコード済みのデータの中から表示するデータを選択する処理が複雑となってしまう。このため、従来の技術を用いて、動的にスピードを変更させて再生表示させるのは、困難であった。

また、上述したように、再生スピードごとに、表示したいピクチャ情報のテーブルを持つことで、用意したテーブル分のスピードの再生を行うことができる。しかしながら、このような処理では、スピードの切り変わり目はテーブルの単位となり、更に、切り替え時の表示を滞りなく行うためには複雑な制御が必要となる。

そして、ＭＰＥＧのストリームは、上述したように、正方向に再生するのに都合よくできている。しかしながら、逆方向の再生をストリームの入力順に行う場合、１ＧＯＰ分のデコードが終了した後に逆方向に再生を行うようにすると、少なくとも１ＧＯＰ分（例えば、１５フレーム）のデータを記録することができるフレームメモリを備え、参照画像データ用のバンクを多数予約しなければならないため、多くのメモリ容量が必要となってしまう。

本発明はこのような状況に鑑みてなされたものであり、バンクメモリの容量が少なくても、圧縮符号化データをデコードして、高速再生、逆方向再生、または、逆方向高速再生を行うことができるようにするものである。

本発明の第１の側面の情報処理装置は、圧縮符号化映像データをデコードするデコード手段と、デコード手段への圧縮符号化映像データの供給を制御する供給制御手段と、供給制御手段およびデコード手段が実行する処理を制御する制御手段とを備え、デコード手段は、デコード処理済のピクチャデータを保持するバンクメモリを有し、制御手段は、デコード手段によりＰピクチャまたはＢピクチャがデコードされるときに、バンクメモリに保持されるピクチャが参照される回数を示す第１のカウンタの値を変更することにより、バンクメモリに保持されたピクチャを開放するタイミングを制御する。

制御手段には、バンクメモリに保持されるピクチャが表示されたか否かを示す第２のカウンタの値を参照することにより、バンクメモリに保持されたピクチャを開放するタイミングを制御させるようにすることができる。

制御手段には、処理単位に含まれる複数のピクチャのうち、ＩピクチャおよびＰピクチャが、Ｂピクチャよりも先にデコードされるように、ピクチャごとのデコード処理の順番を決定させることができる。

デコード手段には、デコード処理が実行される処理単位に含まれるピクチャ数に応じた数のバンクメモリを備えさせることができる。

デコード手段には、処理単位に含まれるＩピクチャおよびＰピクチャのピクチャ数に２を加えた数のピクチャを保持することができるバンクメモリを備えさせるようにすることができる。

デコード手段は、３つ備えられるようにすることができ、デコード手段には、８ピクチャを保持するバンクメモリをそれぞれ備えさせるようにすることができる。

制御手段には、制御手段に再生速度を指令する再生速度指令手段により指令された再生速度に基づいて、デコード手段によりデコード処理が実行される処理単位に含まれるピクチャのうち、デコード手段から出力されるピクチャを選択させるようにすることができ、デコード手段は、デコード処理を実行するデコード処理実行手段と、デコード処理実行手段へのピクチャの供給を制御するピクチャ供給制御手段とを備えさせるようにすることができ、ピクチャ供給制御手段には、制御手段の制御に基づいて、処理単位に含まれるピクチャのうち、ＩピクチャおよびＰピクチャ、並びに、デコード手段から出力されるピクチャとして選択されたＢピクチャをデコード処理手段へ供給させるようにすることができ、デコード処理手段には、制御手段の制御に基づいて、ピクチャ供給制御手段により供給されたそれぞれのピクチャをデコードするとともに、デコード手段から出力されるピクチャとして選択されたピクチャを出力させるようにすることができる。

制御手段には、デコード手段から出力されるデコード済みのピクチャのうち、処理単位の先頭で出力されるピクチャがＩピクチャまたはＰピクチャであった場合、デコード手段によるデコードの開始タイミングと、デコード手段からデコード済みのピクチャの出力が開始されるタイミングが、第１の所定数のピクチャ分ずれるようにデコード手段を制御させるようにすることができる。

第１の所定数は、ＩピクチャとＰピクチャの合計数に１を加えた数であるものとすることができる。

制御手段には、デコード手段から出力されるデコード済みのピクチャのうち、処理単位の先頭で出力されるピクチャがＢピクチャであった場合、デコード手段によるデコードの開始タイミングと、デコード手段からデコード済みのピクチャの出力が開始されるタイミングが、第２の所定数のピクチャ分ずれるようにデコード手段を制御させるようにすることができる。

第２の所定数は、Ｉピクチャと前記Ｐピクチャの合計数に２を加えた数であるものとすることができる。

デコード手段は複数備えられるものとすることができ、複数のデコード手段から出力された非圧縮のデータの供給を受け、供給された非圧縮のデータを切り替えて選択的に出力する出力切り替え手段を更に備えさせるようにすることができ、制御手段は、出力切り替え手段による処理を更に制御させるようにすることができる。

デコード手段は、デコード処理が実行される処理単位に含まれるピクチャ数に応じた数のバンクメモリとして、デコード処理が実行される処理単位に含まれるピクチャ数より少ない数のバンクメモリを備えられるものとすることができる。

圧縮符号化映像データは、ＧＯＰで構成されているものとすることができ、制御手段には、バンクメモリの数から３を引いた値より多い数のＩピクチャまたはＰピクチャを含むＧＯＰの供給を受けた場合、ＧＯＰを分割してバンクメモリの数から２を引いた値より少ない数のＩピクチャまたはＰピクチャを含むデコード処理単位を構成し、供給制御手段を制御して、デコード手段にデコード処理単位の圧縮符号化映像データを供給させるようにすることができる。

制御手段には、分割されて生成されたデコード処理単位に含まれるＩピクチャまたはＰピクチャの数の合計が、デコード処理単位より時間的に１つ前のＧＯＰまたはデコード処理単位に含まれるＩピクチャまたはＰピクチャの数の合計よりも所定の数以上多くならないように、デコード単位を構成させるようにすることができる。

圧縮符号化映像データは、ＧＯＰで構成されているものとすることができ、制御手段には、バンクメモリの数から３を引いた値より少ない数のＩピクチャまたはＰピクチャを含む第１のＧＯＰの供給を受けた場合、時間的に第１のＧＯＰと連続する第２のＧＯＰの構成を検出し、第１のＧＯＰと第２のＧＯＰとに含まれるＩピクチャまたはＰピクチャの数の合計がバンクメモリの数から３を引いた値より少ない数である場合、第１のＧＯＰと第２のＧＯＰとを結合してデコード処理単位を構成し、供給制御手段を制御して、デコード手段にデコード処理単位の圧縮符号化映像データを供給させるようにすることができる。

制御手段には、デコード処理単位に含まれるＩピクチャまたはＰピクチャの数の合計が、デコード処理単位より時間的に１つ前のＧＯＰに含まれるＩピクチャまたはＰピクチャの数の合計よりも所定の数以上多くならないように、デコード単位を構成させるようにすることができる。

圧縮符号化映像データは、ＧＯＰで構成されているものとすることができ、制御手段には、第１のＧＯＰ、および、時間的に第１のＧＯＰと連続する第２のＧＯＰの構成を検出し、第１のＧＯＰと第２のＧＯＰとに含まれるＩピクチャまたはＰピクチャの数の合計がバンクメモリの数から３を引いた値の２倍より少ない数である場合、第１のＧＯＰと第２のＧＯＰとを結合した後分割して、バンクメモリの数から２を引いた値より少ない数のＩピクチャまたはＰピクチャを含む第１のデコード処理単位および第２のデコード処理単位を構成し、供給制御手段を制御して、デコード手段に第１のデコード処理単位および第２のデコード処理単位の圧縮符号化映像データを個別に供給させるようにすることができる。

制御手段には、デコード処理単位に含まれるＩピクチャまたはＰピクチャの数の合計が、デコード処理単位より時間的に１つ前のデコード処理単位、または、ＧＯＰに含まれるＩピクチャまたはＰピクチャの数の合計よりも所定の数以上多くならないように、デコード単位を構成させるようにすることができる。

本発明の第１の側面の情報処理方法、記録媒体に記録されているプログラム、または、プログラムは、デコード処理が実行される処理単位に含まれる複数のピクチャが参照される回数を示すカウンタを設定するカウンタ設定ステップと、処理単位に含まれる複数のピクチャのうち、ＩピクチャおよびＰピクチャが、Ｂピクチャよりも先にデコードされるように、ピクチャごとのデコード処理の順番を決定するデコード順決定ステップと、デコード順決定ステップの処理により決定されたデコード処理の順番に基づいて、処理単位に含まれるピクチャ数に応じた数のバンクメモリを利用して、デコード処理の実行を制御するデコード制御ステップと、ＰピクチャまたはＢピクチャがデコード制御ステップの処理により制御されるデコード処理においてデコードされるときにカウンタの値を変更することにより、バンクメモリに保持されたピクチャを開放するタイミングを制御するメモリ開放制御ステップとを含む。

本発明の第１の側面においては、バンクメモリを利用して、デコードが行われ、ＰピクチャまたはＢピクチャがデコードされるときにカウンタの値が変更されて、バンクメモリの開放のタイミングが制御される。

本発明の第２の側面の情報処理装置は、圧縮符号化映像データを記憶する記憶手段と、記憶手段により記憶されている圧縮符号化映像データを読み出して出力する読み出し手段と、圧縮符号化映像データをデコードするデコード手段と、デコード手段への圧縮符号化映像データの供給を制御する供給制御手段と、供給制御手段およびデコード手段が実行する処理を制御する制御手段と、制御手段に再生速度を指令する再生速度指令手段とを備え、デコード手段は、デコード処理済のピクチャデータを保持するバンクメモリを有し、制御手段は、デコード手段によりデコードされるときに第１のカウンタの値を変更することにより、バンクメモリに保持されたピクチャを開放するタイミングを制御する。

本発明の第２の側面の情報処理方法、記録媒体に記録されているプログラム、または、プログラムは、記憶部に記憶された圧縮符号化映像データを読み出す読み出しステップと、デコード処理が実行される処理単位に含まれる複数のピクチャが参照される回数を示すカウンタを設定するカウンタ設定ステップと、処理単位に含まれる複数のピクチャのうち、ＩピクチャおよびＰピクチャが、Ｂピクチャよりも先にデコードされるように、ピクチャごとのデコード処理の順番を決定するデコード順決定ステップと、デコード順決定ステップの処理により決定されたデコード処理の順番に基づいて、処理単位に含まれるピクチャ数に応じた数のバンクメモリを利用して、デコード処理の実行を制御するデコード制御ステップと、読み出しステップの処理により読み出された圧縮符号化映像データの処理単位に含まれるピクチャのうち、ＰピクチャまたはＢピクチャがデコード制御ステップの処理により制御されるデコード処理においてデコードされるときにカウンタの値を変更することにより、バンクメモリに保持されたピクチャを開放するタイミングを制御するメモリ開放制御ステップとを含む。

本発明の第２の側面においては、記憶部に記憶された圧縮符号化映像データが読み出され、再生速度の指令が供給され、バンクメモリを利用して、デコード処理の実行が制御される。また、読み出された圧縮符号化映像データの処理単位に含まれるピクチャのうち、ＰピクチャまたはＢピクチャがデコードされるときにカウンタの値が変更されることにより、バンクメモリの開放のタイミングが制御される。

以上のように、本発明の第１の側面によれば、圧縮符号化データの高速再生、逆転再生、高速逆転再生を行うことができる。特に、バンクメモリに保持されるピクチャが参照される回数を示すカウンタを設定し、ＰピクチャまたはＢピクチャがデコードされるときにカウンタの値を変更することにより、バンクメモリに保持されたピクチャを開放するタイミングを制御することができるようにしたので、バンクメモリの容量が少なくても、圧縮符号化データをデコードして、高速再生、逆方向再生、または、逆方向高速再生を行うことができる。

また、本発明の第２の側面によれば、記録されている圧縮符号化データが読み出されて、高速再生、逆転再生、高速逆転再生を行うことができる。特に、バンクメモリに保持されるピクチャが参照される回数を示すカウンタを設定し、ＰピクチャまたはＢピクチャがデコードされるときにカウンタの値を変更することにより、バンクメモリに保持されたピクチャを開放するタイミングを制御することができるようにしたので、バンクメモリの容量が少なくても、圧縮符号化データをデコードして、高速再生、逆方向再生、または、逆方向高速再生を行うことができる。

以下に本発明の実施の形態を説明するが、本発明の構成要件と、発明の詳細な説明に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、発明の詳細な説明に記載されていることを確認するためのものである。従って、発明の詳細な説明中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。

本発明の第１の側面の情報処理装置（例えば、図１の再生装置）は、圧縮符号化映像データをデコードするデコード手段（例えば、図１のデコーダ２２乃至デコーダ２４）と、デコード手段への圧縮符号化映像データの供給を制御する供給制御手段（例えば、図１のＰＣＩブリッジ１７）と、供給制御手段およびデコード手段が実行する処理を制御する制御手段（例えば、図１のＣＰＵ２０）とを備え、デコード手段は、デコード処理済のピクチャデータを保持するバンクメモリを有し、制御手段は、デコード手段によりＰピクチャまたはＢピクチャがデコードされるときに、バンクメモリに保持されるピクチャが参照される回数を示す第１のカウンタの値を変更することにより、バンクメモリに保持されたピクチャを開放するタイミングを制御する。

制御手段は、バンクメモリに保持されるピクチャが表示されたか否かを示す第２のカウンタ（例えば、自身参照カウンタ）の値を参照することにより、バンクメモリに保持されたピクチャを開放するタイミングを制御することができる。

デコード手段は、デコード処理が実行される処理単位（例えば、正方向再生においては、コーディングオーダで、第１のＧＯＰの先頭の２つのＢピクチャ以外の１３ピクチャと、その後ろの第２のＧＯＰの先頭のＩＢＢの３ピクチャとの合計１６ピクチャ、逆方向再生においては、第２のＧＯＰの先頭の２つのＢピクチャ以外の１３ピクチャと、逆の表示順においてその前に表示される第３のＧＯＰの先頭のＩＢＢの３ピクチャとの合計１６ピクチャ）に含まれるピクチャ数に応じた数のバンクメモリ（例えば、図２のビデオバンクメモリ８２）を備えることができる。

制御手段は、制御手段に再生速度を指令する再生速度指令手段（例えば、ＣＰＵ１１)により指令された再生速度に基づいて、デコード手段によりデコード処理が実行される処理単位に含まれるピクチャのうち、デコード手段から出力されるピクチャを選択することができ、デコード手段は、デコード処理を実行するデコード処理実行手段（図２のデコード処理部７７）と、デコード処理実行手段へのピクチャの供給を制御するピクチャ供給制御手段（例えば、図２のエレメンタリストリームアドレス決定部７３）とを備えることができ、ピクチャ供給制御手段は、制御手段の制御に基づいて、処理単位に含まれるピクチャのうち、ＩピクチャおよびＰピクチャ、並びに、デコード手段から出力されるピクチャとして選択されたＢピクチャをデコード処理手段へ供給することができ、デコード処理手段は、制御手段の制御に基づいて、ピクチャ供給制御手段により供給されたそれぞれのピクチャをデコードするとともに、デコード手段から出力されるピクチャとして選択されたピクチャを出力することができる。

デコード手段は複数備えられるようにすることができ、複数のデコード手段から出力された非圧縮のデータの供給を受け、供給された非圧縮のデータを切り替えて選択的に出力する出力切り替え手段（例えば、図１のセレクタ２５）を更に備えることができ、制御手段は、出力切り替え手段による処理を更に制御することができる。

第１の所定数は、ＩピクチャとＰピクチャの合計数（例えば、５）に１を加えた数（例えば、６）であるものとすることができる。

第２の所定数は、ＩピクチャとＰピクチャの合計数（例えば、５）に２を加えた数（例えば、７）であるものとすることができる。

本発明の第1の側面の情報処理方法、記録媒体に記録されているプログラム、または、プログラムは、デコード処理が実行される処理単位（例えば、正方向再生においては、コーディングオーダで、第１のＧＯＰの先頭の２つのＢピクチャ以外の１３ピクチャと、その後ろの第２のＧＯＰの先頭のＩＢＢの３ピクチャとの合計１６ピクチャ、逆方向再生においては、第２のＧＯＰの先頭の２つのＢピクチャ以外の１３ピクチャと、逆の表示順においてその前に表示される第３のＧＯＰの先頭のＩＢＢの３ピクチャとの合計１６ピクチャ）に含まれる複数のピクチャが参照される回数を示すカウンタ（例えば、前方向参照カウンタ、後ろ方向参照カウンタ）を設定するカウンタ設定ステップ（例えば、図１２のステップＳ１１１の処理）と、処理単位に含まれる複数のピクチャのうち、ＩピクチャおよびＰピクチャが、Ｂピクチャよりも先にデコードされるように、ピクチャごとのデコード処理の順番を決定するデコード順決定ステップ（例えば、図１３のステップＳ１２７の処理）と、デコード順決定ステップの処理により決定されたデコード処理の順番に基づいて、処理単位に含まれるピクチャ数に応じた数のバンクメモリ（例えば、図２のビデオバンクメモリ８２）を利用して、デコード処理の実行を制御するデコード制御ステップ（例えば、図２０のステップＳ２２３の処理）と、ＰピクチャまたはＢピクチャがデコード制御ステップの処理により制御されるデコード処理においてデコードされるときにカウンタの値を変更することにより、バンクメモリに保持されたピクチャを開放するタイミングを制御するメモリ開放制御ステップ（例えば、図２０のステップＳ２２８、Ｓ２２９の処理、または、図２１のステップＳ２５４またはステップＳ２５５の処理）とを含むことを特徴とする。

本発明の第２の側面の情報処理装置（例えば、図１の再生装置１）は、圧縮符号化映像データを記憶する記憶手段（例えば、図１のＨＤＤ１６）と、記憶手段により記憶されている圧縮符号化映像データを読み出して出力する読み出し手段（例えば、図１のサウスブリッジ１５）と、圧縮符号化映像データをデコードするデコード手段（例えば、図１のデコーダ２２乃至デコーダ２４）と、デコード手段への圧縮符号化映像データの供給を制御する供給制御手段（例えば、図１のＰＣＩブリッジ１７）と、供給制御手段およびデコード手段が実行する処理を制御する制御手段（例えば、図１のＣＰＵ２０）と、制御手段に再生速度を指令する再生速度指令手段（例えば、図１のＣＰＵ１１）とを備え、デコード手段は、デコード処理済のピクチャデータを保持するバンクメモリを有し、制御手段は、デコード手段によりピクチャまたはＢピクチャがデコードされるときに第１のカウンタ（例えば、前方向参照カウンタ、後ろ方向参照カウンタ）の値を変更することにより、バンクメモリに保持されたピクチャを開放するタイミングを制御する。

本発明の第２の側面の情報処理方法、記録媒体に記録されているプログラム、または、プログラムは、記憶部に記憶された圧縮符号化映像データを読み出す読み出しステップ（例えば、図３のステップＳ１の処理）と、デコード処理が実行される処理単位（例えば、正方向再生においては、コーディングオーダで、第１のＧＯＰの先頭の２つのＢピクチャ以外の１３ピクチャと、その後ろの第２のＧＯＰの先頭のＩＢＢの３ピクチャとの合計１６ピクチャ、逆方向再生においては、第２のＧＯＰの先頭の２つのＢピクチャ以外の１３ピクチャと、逆の表示順においてその前に表示される第３のＧＯＰの先頭のＩＢＢの３ピクチャとの合計１６ピクチャ）に含まれる複数のピクチャが参照される回数を示すカウンタ（例えば、前方向参照カウンタ、後ろ方向参照カウンタ）に含まれる複数のピクチャが参照される回数を示すカウンタを設定するカウンタ設定ステップ（例えば、図１２のステップＳ１１１の処理）と、処理単位に含まれる複数のピクチャのうち、ＩピクチャおよびＰピクチャが、Ｂピクチャよりも先にデコードされるように、ピクチャごとのデコード処理の順番を決定するデコード順決定ステップ（例えば、図１３のステップＳ１２７の処理）と、デコード順決定ステップの処理により決定されたデコード処理の順番に基づいて、処理単位に含まれるピクチャ数に応じた数のバンクメモリ（例えば、図２のビデオバンクメモリ８２）を利用して、デコード処理の実行を制御するデコード制御ステップ（例えば、図２０のステップＳ２２３の処理）と、読み出しステップの処理により読み出された圧縮符号化映像データの処理単位に含まれるピクチャのうち、ＰピクチャまたはＢピクチャがデコード制御ステップの処理により制御されるデコード処理においてデコードされるときにカウンタの値を変更することにより、バンクメモリに保持されたピクチャを開放するタイミングを制御するメモリ開放制御ステップ（例えば、図２０のステップＳ２２８、Ｓ２２９の処理、または、図２１のステップＳ２５４またはステップＳ２５５の処理）とを含む。

以下、図を参照して、本発明の実施の形態について説明する。

図１は本発明を適用した再生装置１のハードウェア構成を示すブロック図である。

ＣＰＵ（Central Processing Unit）１１は、ノースブリッジ１２に接続され、例えば、ＨＤＤ（Hard disk Drive）１６に記憶されているデータの読み出しなどの処理を制御したり、ＣＰＵ２０が実行するデコードのスケジューリング、デコードおよび表示出力の制御などの処理の開始、変更、または終了を指令するためのコマンドを生成し、出力する。ノースブリッジ１２は、ＰＣＩバス（Peripheral Component Interconnect/Interface）１４に接続され、例えば、ＣＰＵ１１の制御に基づいて、サウスブリッジ１５を介して、ＨＤＤ１６に記憶されているデータの供給を受けて、ＰＣＩバス１４、ＰＣＩブリッジ１７を介して、メモリ１８に供給する。また、ノースブリッジ１２は、メモリ１３とも接続されており、ＣＰＵ１１の処理に必要なデータを授受する。

メモリ１３は、ＣＰＵ１１が実行する処理に必要なデータを保存することが可能な、例えば、ＤＤＲ（Double Data Rate）等の高速アクセス可能な記憶用のメモリである。サウスブリッジ１５は、ＨＤＤ１６のデータの書き込みおよび読み出しを制御する。ＨＤＤ１６には、圧縮符号化されたストリームデータが記憶されている。

ＰＣＩブリッジ１７は、コマンドバッファ３１およびリザルトバッファ３２を内部に備えるとともに、ＣＰＵ１１の制御に基づいてＨＤＤ１６から読み出されたストリームデータをバッファリングするメモリ１８が接続されている。ＰＣＩブリッジ１７は、ＣＰＵ１１の制御に基づいてＨＤＤ１６から読み出されたストリームデータを、メモリ１８に供給して保存させることができるとともに、ＣＰＵ２０の制御に基づいて、メモリ１８に保存されているストリームデータを読み出して、デコーダ２２乃至デコーダ２４に供給する。また、ＰＣＩブリッジ１７は、ＰＣＩバス１４またはコントロールバス１９を介したコマンドまたはリザルトに対応する制御信号の授受を制御する。

コマンドバッファ３１は、ＣＰＵ１１から、ノースブリッジ１２およびＰＣＩバス１４を介してコマンドの書き込みを受けるとともに、ＣＰＵ２０から、コントロールバス１９を介して、書き込まれているコマンドが読み出されるようになされている。また、リザルトバッファ３２は、コントロールバス１９を介して、ＣＰＵ２０によりコマンドに対するリザルトの書き込みを受けるとともに、ＣＰＵ１１から、ノースブリッジ１２およびＰＣＩバス１４を介して、書き込まれているリザルトが読み取られるようになされている。

メモリ１８は、ＰＣＩブリッジ１７の制御に基づいて、ＨＤＤ１６により読み出された、圧縮符号化されたストリームデータを記憶するものであり、例えば、SDRAM（Synchronous Dynamic Random Access Memory）等で構成されている。

ＣＰＵ２０は、コントロールバス１９を介して、ＣＰＵ１１によりＰＣＩブリッジ１７のコマンドバッファ３１に書き込まれたコマンドを読み取り、このコマンドにしたがって、ＰＣＩブリッジ１７、デコーダ２２乃至デコーダ２４、および、セレクタ２５が実行する処理を制御する。メモリ２１は、ＣＰＵ２０の処理に必要なデータを記憶する。

デコーダ２２乃至デコーダ２４は、ＣＰＵ２０の制御に基づいて、供給された圧縮符号化されたストリームデータをデコードし、非圧縮の映像信号を出力する。デコーダ２２は、その内部にメモリ４１を、デコーダ２３は、その内部にメモリ４２を、デコーダ２４は、その内部にメモリ４３を有し、必要に応じて、供給された圧縮符号化されたストリームデータ、または、デコードされた非圧縮の映像信号を保持することが可能なようになされている。また、デコーダ２２乃至デコーダ２４は、再生装置１に含まれない独立した装置として設けられていても良い。

セレクタ２５は、ＣＰＵ２０による設定に基づいて、デコーダ２２乃至デコーダ２４により出力された非圧縮のＳＤＩ（Serial Digital Interface）データの出力をフレーム精度で切り替えることができる。

なお、図１の再生装置１は、１つの装置として構成されていても良いし、複数の装置によって構成されるようにしても良い。例えば、図１の再生装置のうち、ＣＰＵ１１、ノースブリッジ１２、メモリ１３、サウスブリッジ１５、および、ＨＤＤ１６の部分が、パーソナルコンピュータの構成のうちの一部であるとし、PCIカード、PCI−Expressカードなどの拡張カード、または、拡張ボードに、ＰＣＩバス１４、ＰＣＩブリッジ１７、メモリ１８、コントロールバス１９、ＣＰＵ２０、メモリ２１、デコーダ２２乃至デコーダ２４、および、セレクタ２５の機能を備えさせ、パーソナルコンピュータに拡張カードを装着して再生装置１として機能するようにしても良い。また、これらを、さらに複数の装置に分割して、再生装置１を構成するようにしても良い。

次に、再生装置１の動作について説明する。

ＨＤＤ１６には、ＭＰＥＧのLong GOP方式で圧縮された圧縮映像のデータが記憶されている。

ＣＰＵ１１は、ノースブリッジ１２を介して、サウスブリッジ１５を制御して、図示しない操作入力部から供給されたユーザの操作入力を基に、ＨＤＤ１６から、圧縮符号化されたストリームデータを読み出させ、ノースブリッジ１２、ＰＣＩバス１４、および、ＰＣＩブリッジ１７を介して、メモリ１８に供給させて記憶させるとともに、再生スピード（再生方向を示す情報を含む）を示す情報、デコード開始コマンド、または、表示開始コマンドなどを、ノースブリッジ１２およびＰＣＩバス１４を介して、ＰＣＩブリッジ１７のコマンドバッファ３１に書き込む。

ＣＰＵ２０は、ＰＣＩブリッジ１７のコマンドバッファ３１に書き込まれたＣＰＵ１１からのコマンドを基に、圧縮符号化されたストリームデータのデコードおよび表示のスケジュールを決定する。具体的には、ＣＰＵ２０は、デコードに利用されるデコーダ２２乃至デコーダ２４の選択、圧縮符号化されたストリームデータのデコーダ２２乃至デコーダ２４への入力のタイミング、フレームごとのデコードのタイミング、デコード時のバンクメモリの割り当て、および、デコードされたピクチャの出力、すなわち、表示のタイミングを決定する。

そして、ＣＰＵ２０は、ＰＣＩブリッジ１７を制御して、メモリ１８に記憶されている圧縮符号化されたストリームデータを、決定されたスケジュールに基づいて、デコーダ２２乃至デコーダ２４のうちのいずれか対応するものに供給させる。

ＣＰＵ２０は、デコーダ２２乃至デコーダ２４を制御して、供給された圧縮符号化されたデータをデコードさせる。デコーダ２２乃至デコーダ２４は、供給された圧縮符号化されたストリームデータをデコードして、非圧縮のＳＤＩデータを生成して、セレクタ２５に出力する。

そして、ＣＰＵ２０は、セレクタ２５を制御して、デコーダ２２乃至デコーダ２４より出力された非圧縮のＳＤＩデータの出力を切り替えさせる。

図２は、デコーダ２２乃至デコーダ２４の更に詳細な構成を示すブロック図である。

入力処理部７１は、ＰＣＩブリッジ１７から供給された圧縮符号化されたストリームデータをメモリコントローラ７４に供給して入力バッファ７５に保存させるとともに、供給されたストリームデータから、ピクチャ単位で、先頭番地、データサイズ、ピクチャヘッダ情報、Ｑマトリクスなどを取得して、アドレス管理テーブル７２に供給する。

アドレス管理テーブル７２は、入力処理部７１から供給された、ピクチャ単位の先頭番地、データサイズ、ピクチャヘッダ情報、Ｑマトリクスなどの情報を、テーブルＩＤにより区別可能なテーブル情報として、それぞれ、ピクチャ別に保持する。

エレメンタリストリームアドレス決定部７３は、ＣＰＵ２０からコントロールバス１９を介して供給される制御信号を基に、入力バッファ７５に保存されたストリームデータを、ピクチャ単位でデコード処理部７７に供給させることができるように、アドレス管理テーブル７２に保持されている所定のテーブルＩＤで示されるテーブル情報から、対応するピクチャの先頭番地およびピクチャサイズ情報を読み出して、メモリコントローラ７４に供給する。

メモリコントローラ７４は、入力バッファ７５へのストリームデータの書き込みおよび読み出しを制御する。すなわち、メモリコントローラ７４は、入力処理部７１から供給されたストリームデータを入力バッファ７５に書き込むとともに、エレメンタリストリームアドレス決定部７３から供給される、対応するピクチャの先頭番地およびピクチャサイズ情報を基に、所定のピクチャを読み出して、デコード処理部７７に供給する。

入力バッファ７５は、SDRAMなどの記憶用のメモリで構成された図１のメモリ４１乃至メモリ４３の記録領域のうちの一部に相当し、メモリコントローラ７４の制御に基づいて、ストリームデータを保存する。

コントロールバス７６は、コントロールバス１９を介してＣＰＵ２０から供給される制御信号を、エレメンタリストリームアドレス決定部７３、デコード処理部７７、書き込み画アドレス決定部７８、参照画アドレス決定部７９、および、出力アドレス決定部８０に供給するとともに、デコーダ２２乃至デコーダ２４の内部において実行される処理に関する情報を、コントロールバス１９を介して、ＣＰＵ２０に供給する。

デコード処理部７７は、メモリコントローラ７４により入力バッファ７５から読み出されたＭＰＥＧビデオストリームを、参照画アドレス決定部７９から供給された参照画を必要に応じて参照してデコードし、デコードされたベースバンド（非圧縮）の映像信号を、書き込み画アドレス決定部７８に供給する。

書き込み画アドレス決定部７８は、コントロールバス１９を介してＣＰＵ２０から供給される制御信号を、コントロールバス７６を介して取得し、この制御信号に基づいて、デコード処理部７７によりデコードされて供給されたベースバンドの映像信号のビデオバンクメモリ８２における記録位置、すなわち、保存されるバンク位置を決定し、ベースバンドの映像信号を、メモリコントローラ８１を介して、ビデオバンクメモリ８２の所定のバンク位置に保存させる。

参照画アドレス決定部７９は、コントロールバス１９を介してＣＰＵ２０から供給される制御信号を、コントロールバス７６を介して取得し、この制御信号に基づいて、ビデオバンクメモリ８２のうち、Ｐピクチャの前方向（forward）の参照画像として保持されているフレーム画像データや、Ｂピクチャの前方向および後ろ方向（backward）の参照画像として保持されているフレーム画像データを、メモリコントローラ８１を制御して読み出させ、デコード処理部７７に供給する。

出力アドレス決定部８０は、コントロールバス１９を介してＣＰＵ２０から供給される制御信号を、コントロールバス７６を介して取得し、この制御信号に基づいて、ビデオバンクメモリ８２に保持されているフレーム画像データのうちの出力画像、すなわち、表示させるフレームのバンクを指定して、メモリコントローラ８１を制御して読み出させ、出力する。

メモリコントローラ８１は、ビデオバンクメモリ８２へのフレーム画像の書き込みおよび読み出しを制御する。ビデオバンクメモリ８２は、SDRAMなどの記憶用のメモリで構成された図１のメモリ４１乃至メモリ４３の記録領域のうちの一部に相当する、８バンク（８面）のフレーム画像用のバンクメモリであり、メモリコントローラ８１の制御に基づいて、１フレームのフレーム画像データを設定されたバンクに保持する。

次に、図３のフローチャートを参照して、ＣＰＵ１１が実行する制御処理について説明する。

ステップＳ１において、ＣＰＵ１１は、ノースブリッジ１２およびサウスブリッジ１５を制御して、ユーザによりデコードして出力するストリームデータとして指定された、圧縮符号化されたストリームデータのうちの複数ＧＯＰをＨＤＤ１６から読み出す。

ステップＳ２において、ＣＰＵ１１は、読み出した複数ＧＯＰのストリームデータを、ＰＣＩバス１４を介してＰＣＩブリッジ１７に供給し、メモリ１８に転送する。

ステップＳ３において、ＣＰＵ１１は、ノースブリッジ１２およびＰＣＩバス１４を介して、ＰＣＩブリッジ１７のコマンドバッファ３１に、データ転送完了と、メモリ１８に転送されたＧＯＰに含まれるピクチャのピクチャ情報を供給することにより、ＣＰＵ２０に対して、データ転送完了と、ピクチャ情報とを通知する。ピクチャ情報には、例えば、ピクチャタイプ、ピクチャ単位のヘッダ情報、ピクチャサイズなどの情報が含まれる。

ステップＳ４において、ＣＰＵ１１は、ＣＰＵ２０およびメモリ１８から、準備完了の通知を受ける。具体的には、ＣＰＵ１１は、ＣＰＵ２０がコントロールバス１９を介してＰＣＩブリッジ１７のリザルトバッファ３２に供給した、データ転送完了とピクチャ情報の通知に対するリザルトを、ノースブリッジ１２およびＰＣＩバス１４を介して読み込むとともに、メモリ１８から、ＰＣＩブリッジ１７、ＰＣＩバス１４およびノースブリッジ１２を介して、複数ＧＯＰのストリームデータの保存終了の通知を受ける。

ステップＳ５において、ＣＰＵ１１は、図示しない操作入力部から、ユーザによる再生出力処理の開始の指令を受け、ノースブリッジ１２およびＰＣＩバス１４を介して、ＰＣＩブリッジ１７のコマンドバッファ３１に、デコード開始コマンドを送信し、デコーダ２２乃至デコーダ２４により、デコード処理を開始させる。デコード開始コマンドには、表示スピード情報が含まれる。

ステップＳ６において、ＣＰＵ１１は、ノースブリッジ１２およびＰＣＩバス１４を介して、ＰＣＩブリッジ１７のコマンドバッファ３１に、表示開始コマンドを送信する。ステップＳ７において、ＣＰＵ１１は、デコーダによりデコードされて得られたＳＤＩ信号、すなわち、ベースバンドの画像信号の、１ＧＯＰ分の表示を開始させる。

ステップＳ８において、ＣＰＵ１１は、ＣＰＵ２０がコントロールバス１９を介してＰＣＩブリッジ１７のリザルトバッファ３２に供給した表示開始コマンドに対するリザルト、すなわち、後述する図１９のステップＳ１９４において、ＣＰＵ２０がＰＣＩブリッジ１７のリザルトバッファ３２に書き込んだフレームごとの表示完了の通知を、ノースブリッジ１２およびＰＣＩバス１４を介して読み込んで、いずれのピクチャの表示が終了したかを常にチェックしておくことにより、１ＧＯＰの表示完了を検出する。

ステップＳ９において、ＣＰＵ１１は、表示されたＧＯＰは、表示されるストリームデータの最後であるか否かを判断する。ステップＳ９において、表示されたＧＯＰは、表示されるストリームデータの最後であると判断された場合、処理は終了される。

ステップＳ９において、表示されたＧＯＰは、表示されるストリームデータの最後ではないと判断された場合、ステップＳ１０において、ＣＰＵ１１は、図示しない操作入力部から供給される信号を基に、例えば、ストリームデータの再生終了、再生されているストリームデータの変更、もしくは、再生速度または方向の変更指令など、入力ストリーム状態の変更を伴う指令がユーザから入力されたか否かを判断する。

ステップＳ１０において、入力ストリーム状態の変更を伴う指令がユーザから入力されたと判断された場合、ステップＳ１１において、ＣＰＵ１１は、ノースブリッジ１２およびＰＣＩバス１４を介して、ＰＣＩブリッジ１７のコマンドバッファ３１に、ユーザの操作入力に対応するコマンドを送信する。

ステップＳ１０において、入力ストリーム状態の変更を伴う指令がユーザから入力されていないと判断された場合、または、ステップＳ１１の処理の終了後、ステップＳ１２において、ＣＰＵ１１は、ＨＤＤ１６に、表示させるストリームデータが残っているか否かを判断する。ステップＳ１２において、ＨＤＤ１６に、表示させるストリームデータが残っていないと判断された場合、処理は、ステップＳ７に戻り、メモリ１８に転送され、まだ表示されていないストリームデータにおいて、ステップＳ７以降の処理が繰り返される。

ステップＳ１２において、ＨＤＤ１６に、表示させるストリームデータが残っていると判断された場合、ステップＳ１３において、ＣＰＵ１１は、ノースブリッジ１２およびサウスブリッジ１５を制御して、デコードして出力するストリームデータのうち、メモリ１８へ転送済みのＧＯＰに続く１ＧＯＰをＨＤＤ１６から読み出す。

ステップＳ１４において、ＣＰＵ１１は、読み出した１ＧＯＰのストリームデータを、ＰＣＩバス１４を介してＰＣＩブリッジ１７に供給し、メモリ１８に転送する。すなわち、メモリ１８には、再生されるストリームデータの終了部分付近が保持されている場合を除いて、基本的には、所定数のＧＯＰが保持されているようになされている。

ステップＳ１５において、ＣＰＵ１１は、ノースブリッジ１２およびＰＣＩバス１４を介して、ＰＣＩブリッジ１７のコマンドバッファ３１に、データ転送完了と、メモリ１８に転送されたＧＯＰに含まれるピクチャのピクチャ情報を供給することにより、ＣＰＵ２０に対して、データ転送完了と、ピクチャ情報とを通知する。ピクチャ情報には、例えば、ピクチャタイプ、ピクチャ単位のサイズなどの情報が含まれる。

ステップＳ１６において、ＣＰＵ１１は、ＣＰＵ２０およびメモリ１８から、準備完了の通知を受ける。具体的には、ＣＰＵ１１は、ＣＰＵ２０がコントロールバス１９を介してＰＣＩブリッジのリザルトバッファ３２に供給した、データ転送完了とピクチャ情報の通知に対するリザルトを、ノースブリッジ１２およびＰＣＩバス１４を介して読み込むとともに、メモリ１８から、ＰＣＩブリッジ１７、ＰＣＩバス１４およびノースブリッジ１２を介して、複数ＧＯＰのストリームデータの保存終了の通知を受ける。

ステップＳ１６の処理の終了後、処理は、ステップＳ７に進み、それ以降の処理が繰り返される。

このような処理により、ＣＰＵ１１は、ＣＰＵ２０にコマンドを供給し、供給したコマンドに対するリザルトを受けて、ストリームデータのデコードと、デコードされたデータの表示を制御することができる。

ここでは、デコードされたデータを１ＧＯＰずつ表示させる場合について説明したが、デコードされて生成されたＳＤＩ信号を外部に出力する場合にも、同様の処理を実行することにより、ＣＰＵ１１は、ＣＰＵ２０にコマンドを供給し、供給したコマンドに対するリザルトを受けて、ストリームデータのデコードと、デコードされたデータの外部への出力を制御することができることは言うまでもない。

そして、ＣＰＵ２０は、ＣＰＵ１１から供給されるコマンドに基づいて、複数のデコーダ（図１においては、デコーダ２２乃至デコーダ２４）によるデコード処理を制御する。具体的には、ＣＰＵ２０は、デコードに利用されるデコーダ２２乃至デコーダ２４の選択、換言すれば、圧縮符号化されたストリームデータの供給先を、デコーダ２２乃至デコーダ２４のうちのいずれにするのかを選択する処理を実行する。更に、ＣＰＵ２０は、圧縮符号化されたストリームデータのデコーダ２２乃至デコーダ２４のうち対応するものへの入力のタイミング、ピクチャごとのデコードのタイミング、デコード時のバンクメモリの割り当て、および、デコードされたピクチャの出力、すなわち、表示のタイミングを決定し、これらのタイミングを基に、ＰＣＩブリッジ１７、デコーダ２２乃至デコーダ２４、および、セレクタ２５を制御する。以下、図４乃至図３４を参照して、ＣＰＵ２０によるデコードおよび表示出力の制御について説明する。

ＣＰＵ２０は、デコーダ２２乃至デコーダ２４によるデコード処理と、セレクタ２５により出力されるＳＤＩ信号のセレクト処理とを制御するために、メモリ２１に、各種情報を保持可能な複数のレジスタおよび情報キューを有するようになされている。情報キューは、ＦＩＦＯ（First In First Out）のキュー（queue）構造で、ＣＰＵ１１により供給されたコマンドや、ピクチャタイプ情報が対応付けられたピクチャＩＤおよびピクチャＩＤに付随する情報（例えば、時間情報や、他のフレームのデコード、または、自分自身によって参照される数を計数するためのカウンタ）などを、デコードタイミングのスケジューリングや、デコードおよび表示の制御の用途ごとに、それぞれ所定の深さで蓄積することができるようになされている。

ＣＰＵ２０は、対応する情報キューに蓄積された情報を用いて、デコードおよび表示のタイミングを制御する。すなわち、メモリ２１にピクチャがキューされるのではなく、ＣＰＵ２０の制御に基づいて、ピクチャＩＤがそれぞれの情報キューに設定されることにより、ＣＰＵ２０は、デコードおよび表示のタイミングを制御するための演算処理を実行することができる。

各種情報を蓄積する情報キューとして、例えば、コントロールバス１９を介して、ＰＣＩブリッジ１７のコマンドバッファ３１から取得したコマンドを蓄積するコマンドキューをはじめとして、処理待ち行列に対応する入力ピクチャのピクチャＩＤがコーディングオーダで蓄積される入力ピクチャキュー、入力ピクチャキューに蓄積されたピクチャＩＤをリオーダしてディスプレイオーダに並べ替えて蓄積する表示順情報キュー、表示順情報キューに蓄積されたピクチャＩＤから、ＩピクチャおよびＰピクチャを抽出してデコード順に並べ替えて蓄積するＩ／Ｐピクチャデコードキュー、Ｉ／Ｐピクチャデコードキューに設定されたピクチャＩＤに加えて、これらのピクチャＩＤに対応する時間情報が更に蓄積される時間情報付きＩ／Ｐピクチャデコードキュー、表示順情報キューに蓄積されたピクチャＩＤから、表示されるＢピクチャを抽出してデコード順に並べ替えて蓄積するＢピクチャデコードキュー、Ｂピクチャデコードキューに設定されたピクチャＩＤに加えて、これらのピクチャＩＤに対応する時間情報が更に蓄積される時間情報付きＢピクチャデコードキュー、表示順にピクチャＩＤが設定される表示順設定キュー、表示順設定キューに設定されたピクチャＩＤに加えて、これらのピクチャＩＤに対応する時間情報が更に蓄積される時間情報付き表示順設定キューなどが、ＣＰＵ２０による各種制御に用いられている。各キューに蓄積される情報、各キューの深さ、その情報を用いて実行される処理の詳細については、それぞれ後述する。

次に、図４のフローチャートを参照して、１フレームごとに行う処理について説明する。この処理ルーチンは、表示が指令されたストリームデータが終了するまで、または、表示の終了が指令されるまで、１フレームごとに繰り返して実行される。

ステップＳ３１において、図５を用いて後述する入力ストリーム状態変更処理が実行される。入力ストリーム状態変更処理は、ＣＰＵ１１から新たなコマンドが発行されているか否かを確認する処理である。

ステップＳ３２において、図６を用いて後述するデコードスケジュール処理が実行される。デコードスケジュール処理において、デコードタイミングがスケジュールされる。

ステップＳ３３において、図１９を用いて後述するフレーム制御処理が実行される。フレーム制御処理において、処理対象となっているフレームがデコードされる。

ステップＳ３４において、ＣＰＵ２０は、すべてのフレームの処理が終了したか否かを判断する。ステップＳ３４において、すべてのフレームの処理が終了していないと判断された場合、ステップＳ３５において、ＣＰＵ２０は、１フレームを単位とする時間カウンタをインクリメントする。

ステップＳ３５の処理の終了後、処理は、ステップＳ３１に戻り、それ以降の処理が繰り返される。ステップＳ３４において、すべてのフレームの処理が終了したと判断された場合、処理は終了される。

このようにして、ＣＰＵ２０は、１フレームの処理ごとに、時間カウンタをカウントアップし、ユーザの指令した再生速度に応じて、デコードをスケジュールして、１フレームごとに、デコードを行わせ、表示を設定することができる。

次に、図５のフローチャートを参照して、図４のステップＳ３１において実行される、入力ストリーム状態変更処理について説明する。

ステップＳ５１において、ＣＰＵ２０は、ＰＣＩブリッジ１７のコマンドバッファ３１から取得したコマンドを蓄積するコマンドキューをチェックする。

ステップＳ５２において、ＣＰＵ２０は、コマンドキューに、例えば、再生速度（再生方向を含む）の変更、または、再生終了の指令など、入力ストリーム状態を変更させる新たなコマンドが保存されているか否かを判断する。

ステップＳ５２において、コマンドキューに新たなコマンドが保存されていると判断された場合、ステップＳ５３において、ＣＰＵ２０は、コマンドキューに最も早い時刻に保存されたコマンドに基づいて、再生速度および再生方向の設定に基づいたストリーム入力状態を変更する。ステップＳ５２において、コマンドキューに新たなコマンドが保存されていないと判断された場合、または、ステップＳ５３の処理の終了後、処理は、図４のステップＳ３１に戻り、ステップＳ３２に進む。

このような処理により、ＰＣＩブリッジ１７のコマンドバッファ３１から取得したコマンドを蓄積するコマンドキューに最も早い時刻に保存されたコマンドが参照され、そのコマンドに基づいて、ストリームの入力状態が変更される。

次に、図６のフローチャートを参照して、図５のステップＳ３２において実行される、デコードスケジュール処理について説明する。

ステップＳ７１において、ＣＰＵ２０は、入力ピクチャキューを参照して、入力ピクチャキューが空であるか否かを判断する。入力ピクチャキューは、後述する入力処理（ステップＳ７２）において設定される情報キューであり、デコードのスケジュールが次に決定される入力ピクチャと、そのスケジューリングに必要なピクチャのピクチャＩＤが設定される。

再生装置１が取り扱うストリームデータが、図７に示されるように、１ＧＯＰが１５ピクチャで構成されているＭＰＥＧのLONG GOPのストリームデータである場合、１ＧＯＰ相当の１５ピクチャごとにデコード処理を行うデコーダ２２乃至デコーダ２４のそれぞれには、それぞれのＧＯＰにおいて、表示順で先頭となる２つのＢピクチャを除いた１３ピクチャと、正方向の再生の場合は、その前のＧＯＰにおいて、表示順で先頭となるＩＢＢの３ピクチャ、逆方向の場合は、その後ろのＧＯＰにおいて、表示順で先頭となるＩＢＢの３ピクチャとの１６ピクチャが供給される。

図８を用いて、デコーダ２２乃至デコーダ２４のそれぞれが担当するデコードの単位について説明する。図８では、デコーダ２２乃至デコーダ２４に供給されるピクチャの並びを、ディスプレイオーダで示している。再生装置１においては、１ＧＯＰ相当（１５ピクチャ）ごとに、デコード処理がデコーダ２２乃至デコーダ２４のうちの１つのデコーダにおいてそれぞれ実行されるが、上述したように、デコーダ２２乃至デコーダ２４のそれぞれには、１ＧＯＰにおいて表示順で先頭となる２つのＢピクチャを除いた１３ピクチャと、その前またはその後ろのＧＯＰにおいて表示順で先頭から３つのピクチャとの１６ピクチャが供給される。したがって、再生方向が正方向の場合は、図８Ａに示されるように、デコーダ２２乃至デコーダ２４のうちの第１のデコーダに、第１ＧＯＰの先頭の２つのＢピクチャを除いた１３ピクチャと第２のＧＯＰの先頭の３ピクチャが供給され、第２のデコーダに、第２ＧＯＰの先頭の２つのＢピクチャを除いた１３ピクチャと第３ＧＯＰの先頭の３ピクチャが供給され、同様にして、第３のデコーダに、第３ＧＯＰの先頭の２つのＢピクチャを除いた１３ピクチャと第４ＧＯＰの先頭の３ピクチャが供給される。また、再生方向が逆方向の場合は、図８Ｂに示されるように、デコーダ２２乃至デコーダ２４のうちの第１のデコーダに、第２ＧＯＰの先頭の２つのＢピクチャを除いた１３ピクチャと第３のＧＯＰの先頭の３ピクチャが供給され、第２のデコーダに、第１ＧＯＰの先頭の２つのＢピクチャを除いた１３ピクチャと第２ＧＯＰの先頭の３ピクチャが供給される。

そして、入力ピクチャキューには、デコーダ２２乃至デコーダ２４に入力されるピクチャのうち、デコードタイミングのスケジュール待ちである入力ピクチャと、そのスケジューリングに必要なピクチャとのピクチャＩＤが設定される。すなわち、入力ピクチャキューには、LONG GOPのストリームデータのうち、１ＧＯＰの１５ピクチャと、その前またはその後ろのＧＯＰの先頭のＩＢＢの３ピクチャとの１８ピクチャのピクチャＩＤが保持される。

図９Ａに、正方向の再生のために、ＭＰＥＧのLONG GOPのストリームデータのうち、第１のＧＯＰの１５ピクチャと、その後ろの第２のＧＯＰの先頭のＩＢＢの３ピクチャのピクチャＩＤが入力ピクチャキューに設定されている状態を示し、図９Ｂに、逆方向の再生のために、MPEGのLONG GOPのストリームデータのうち、第２のＧＯＰの１５ピクチャと、逆の表示順においてその前に表示される第３のＧＯＰの先頭のＩＢＢの３ピクチャのピクチャＩＤが入力ピクチャキューに設定されている状態を示す。

ステップＳ７１において、入力ピクチャキューが空ではないと判断された場合、処理は、図４のステップＳ３２に戻り、ステップＳ３３に進む。すなわち、デコードのスケジュール処理は、LONG GOPの１５ピクチャとは２ピクチャ分ずれた位置から設定される１３ピクチャと次の３つのピクチャとの１６ピクチャ分の処理単位ごとにまとめて実行される。

ステップＳ７１において、入力ピクチャキューが空であると判断された場合、ステップＳ７２において、図１１のフローチャートを用いて後述する入力処理が実行される。

ステップＳ７３において、ＣＰＵ２０は、次のデータを供給するデコーダを示すレジスタの値を基に、次にデータの供給を受けるデコーダに対応して設定される時間情報付き表示順設定キューが空であるか否かを判断する。時間情報付き表示順設定キューとは、後述するステップＳ７７の時間情報付きスケジュール決定処理において設定されるキューであり、複数のデコーダのそれぞれ（図１を用いて説明した場合においては、デコーダ２２乃至デコーダ２４の３つのデコーダのそれぞれ）に対応して設定される。時間情報付き表示順設定キューの詳細については、図１８のフローチャートを参照して後述する。

ステップＳ７３において、次にデータの供給を受けるデコーダに対応する時間情報付き表示順設定キューが空ではないと判断された場合、すなわち、スケジュール済みの１ＧＯＰ相当のピクチャに対して、フレームごとにデコード処理または表示処理が実行されている途中である場合、処理は、図４のステップＳ３２に戻り、ステップＳ３３に進む。

ステップＳ７３において、次にデータの供給を受けるデコーダに対応する時間情報付き表示順設定キューが空であると判断された場合、ステップＳ７４において、ＣＰＵ２０は、リオーダ処理を実行する。リオーダ処理とは、入力ピクチャキューに設定されているコーディングオーダに並べられている１８ピクチャに対応するピクチャＩＤを、ディスプレイオーダに入れ替えて表示順情報キューに設定する処理である。

したがって、再生方向が正方向である場合、表示順情報キューには、図１０Ａに示されるように、図９Ａを用いて説明した入力ピクチャキューに設定されているピクチャＩＤが、ディスプレイオーダに並べ替えられて設定され、再生方向が逆方向である場合、表示順情報キューには、図１０Ｂに示されるように、図９Ｂを用いて説明した入力ピクチャキューに設定されているピクチャＩＤが、ディスプレイオーダに並べ替えられて設定される。

ステップＳ７４において、リオーダ処理が実行されて、表示順情報キューにピクチャＩＤがセットされたとき、入力ピクチャキューにキューされているピクチャＩＤはすべて出力され、入力ピクチャキューは空となる。すなわち、上述したステップＳ７１において、入力ピクチャキューが空であると判断される場合とは、入力ピクチャキューにキューされたピクチャＩＤに対するリオーダ処理が実行された場合であり、入力ピクチャキューが空ではないと判断される場合とは、この処理以前に実行されたデコードスケジュール処理のステップＳ７２において入力処理が実行された後、次にデータの供給を受けるデコーダに対応する時間情報付き表示順設定キューが空ではないため、ステップＳ７４においてリオーダ処理が実行されていない場合である。

ステップＳ７５において、図１２および図１３を用いて後述するデコード設定処理が実行される。デコード設定処理は、各ピクチャの参照カウンタを設定し、表示速度設定に基づいて、表示されるピクチャを選択し、ＩピクチャおよびＰピクチャ、並びに、表示されるＢピクチャのデコードの順番を設定する処理である。

ステップＳ７６において、図１７のフローチャートを用いて後述する表示位相決定処理が実行される。表示位相決定処理は、１ＧＯＰ相当の１５フレーム＋１フレームの処理単位におけるデコードの開始と表示の開始のタイミングのずれを決定する処理である。

ステップＳ７７において、図１８のフローチャートを用いて後述する時間情報付きスケジュール決定処理が実行される。時間情報付きスケジュール決定処理は、フレームごとのデコードのタイミングを制御するために、デコードのスケジューリングを実行して、所定の情報キューに、ピクチャＩＤに対応付けて時間情報を設定する処理である。

ステップＳ７６およびステップＳ７７の処理によって、デコードと表示のタイミングがスケジュールされる。具体的には、先にＩピクチャおよびＰピクチャがデコードされた後、Ｂピクチャがデコードされ、再生方向が正方向で通常速度の再生である場合など、表示の先頭がＩピクチャまたはＰピクチャである場合、表示開始のタイミングが、デコード開始から６ピクチャ分ずれるように、また、再生の方向が逆方向の場合、換言すれば、スピード設定が負の値である場合など、表示の先頭がＢピクチャである場合、表示開始のタイミングが、デコード開始から７ピクチャ分ずれることにより、Ｂピクチャのデコードのタイミングと表示のタイミングが、１フレーム分ずれるように、デコードと表示のタイミングのスケジュールが行われる。

ステップＳ７８において、ＣＰＵ２０は、次にデコードされるデータを供給するデコーダの設定を切り替える処理を実行する。具体的には、ＣＰＵ２０は、次のデータを供給するデコーダを示すレジスタの値がデコーダの数（図１を用いて説明した再生装置１においては、デコーダ２２乃至デコーダ２４の３つ）より１少ない値（図１を用いて説明した再生装置１においては、２）と等しい場合、レジスタの値を０とし、レジスタの値が、デコーダの数より２以上少ない場合、レジスタの値を１インクリメントする。ステップＳ７８の処理の終了後、処理は、図４のステップＳ３２に戻り、ステップＳ３３に進む。

このような処理により、デコードと表示のタイミングがスケジュールされる。

次に、図１１のフローチャートを参照して、図６のステップＳ７２において実行される、入力処理について説明する。

ステップＳ１０１において、ＣＰＵ２０は、図３を用いて説明した制御処理のステップＳ５においてＣＰＵ１１がコマンドバッファ３１に送信したデコード開始コマンドに含まれている表示スピード情報、または、図３を用いて説明した制御処理のステップＳ１１においてＣＰＵ１１がコマンドバッファ３１に送信したユーザの操作入力に対応するコマンドから、スピード設定値を取得し、メモリ２１に保持する。スピード設定値が正の値であるとき、再生処理は正方向再生であり、負の値であるとき、再生処理は、逆方向再生であるものとすることができる。

例えば、スピード設定値が１であるとき、通常再生であるものとし、スピード設定値が１以上の値であるとき、高速再生であるものとし、スピード設定値が１未満の正の値であるとき、低速再生であるものとし、スピード設定値が−１であるとき、通常速度の逆方向再生であるものとし、スピード設定値が−１以下の値であるとき、高速の逆方向再生であるものとし、スピード設定値が絶対値１未満の負の値であるとき、低速の逆方向再生であるものとすることができる。

ステップＳ１０２において、ＣＰＵ２０は、ステップＳ１０１において取得したスピード設定値が正の値であるか負の値であるかを基に、実行される処理は正方向の再生処理であるか否かを判断する。

ステップＳ１０２において、正方向の再生処理であると判断された場合、ステップＳ１０３において、ＣＰＵ２０は、次にデコードする１５フレームのうちの先頭から１３フレームを含む１ＧＯＰと、その次のＧＯＰのＩ，Ｂ，ＢピクチャのピクチャＩＤを、図９Ａを用いて説明した入力ピクチャキューに設定する。

ステップＳ１０２において、正方向の再生処理ではない、すなわち、逆方向の再生処理であると判断された場合、ステップＳ１０４において、ＣＰＵ２０は、次にデコードする１５フレームのうちの後ろから１３フレームを含む１ＧＯＰと、その前のＧＯＰのＩ，Ｂ，ＢピクチャのピクチャＩＤを、図９Ｂを用いて説明した入力ピクチャキューに設定する。

ステップＳ１０３またはステップＳ１０４の処理の終了後、ステップＳ１０５において、ＣＰＵ２０は、ＰＣＩブリッジ１７を制御して、入力ピクチャキューの設定、および、次のデータを供給するデコーダを示すレジスタの値（再生されるストリームの最初のＧＯＰにおいては、初期設定によって定められる値であり、２番目以降のＧＯＰにおいては、図６のステップＳ７８の処理により定められる値である）に基づいて、メモリ１８に保存されているストリームデータのうち、図８を用いて説明した１６フレームの圧縮画像データの、デコーダ２２乃至デコーダ２４のうちの所定のデコーダへの転送を制御する。

デコーダ２２乃至デコーダ２４の入力処理部７１は、供給された１６フレームのデータをメモリコントローラ７４に供給して、入力バッファ７５に保存させるとともに、アドレス管理テーブル７２に、ピクチャ単位の先頭番地、データサイズ、ピクチャヘッダ情報、Ｑマトリクスなどの情報を供給し、それぞれ、ピクチャ別に、テーブルＩＤにより区別可能なテーブル情報として保持させる。

ステップＳ１０６において、ＣＰＵ２０は、コントロールバス１９を介して、ＰＣＩブリッジ１７のリザルトバッファ３２に、デコーダ２２乃至デコーダ２４のうちの所定のデコーダへの１ＧＯＰ相当のストリームの転送処理の終了を示すリザルトを供給することにより、ＣＰＵ１１に対してストリームの転送処理の終了を通知し、処理は、図６のステップＳ７２に戻り、ステップＳ７３に進む。

このような処理により、デコーダ２２乃至デコーダ２４に、図８を用いて説明したデコード処理単位となる１６フレームのデータが供給される。

次に、図１２および図１３のフローチャートを参照して、図６のステップＳ７５において実行される、デコード設定処理について説明する。

ステップＳ１１１において、ＣＰＵ２０は、表示順情報キューに設定されているピクチャＩＤを基に、参照カウンタのポインタを設定する。参照カウンタには、自身参照カウンタ、前方向参照カウンタ、および、後ろ方向参照カウンタがあり、それぞれのカウンタは、ディスプレイオーダでのピクチャの順番に対応して設定される。参照カウンタのポインタは、例えば、表示順情報キューに、Ｂ（０），Ｂ（１），Ｉ（２），Ｂ（３），Ｂ（４），Ｐ（５），Ｂ（６），Ｂ（７），Ｐ（８），Ｂ（９），Ｂ（１０），Ｐ（１１），Ｂ（１２），Ｂ（１３），Ｐ（１４），Ｂ（１５）Ｂ（１６），Ｉ（１７）のようにピクチャＩＤが格納されている場合、Ｂ（３）に対応付けられて、自身参照ポインタとして自分自身のディスプレイオーダ順を示すポインタ３が、前方向参照ポインタとして、前方向の参照画像であるＩ（２）のディスプレイオーダ順を示すポインタ２が、後ろ方向参照ポインタとして、後ろ方向参照画像であるＰ（５）のディスプレイオーダ順を示すポインタ５が、それぞれ設定される。

ステップＳ１１２において、ＣＰＵ２０は、処理対象のフレームは、スピード設定が変更された後の最初のＧＯＰの最初のフレームであるか否かを判断する。

ステップＳ１１２において、スピード設定が変更された後の最初のＧＯＰの最初のフレームであると判断された場合、ステップＳ１１３において、ＣＰＵ２０は、スピード設定値を基に、間引き周期を決定して、レジスタに保存する。

具体的には、ＣＰＵ２０は、例えば、２倍速または−２倍速で再生が行われる場合、間引き周期を１／２としてレジスタに保存し、３倍速または−３倍速で再生が行われる場合、間引き周期を１／３としてレジスタに保存する。

ステップＳ１１４において、ＣＰＵ２０は、デコード処理単位にかかわらずフレームの数をカウントするフレームカウンタをリセットする。

ステップＳ１１２において、スピード設定が変更された後の最初のＧＯＰの最初のフレームではないと判断された場合、または、ステップＳ１１４の処理の終了後、ステップＳ１１５において、ＣＰＵ２０は、表示順情報キューに情報が残っているか否かを判断する。

ステップＳ１１５において、表示順情報キューに情報が残っていないと判断された場合、処理は、図６のステップＳ７５に戻り、ステップＳ７６に進む。ステップＳ１１５において、表示順情報キューに情報が残っていると判断された場合、ステップＳ１１６において、ＣＰＵ２０は、表示順情報キューの先頭の情報は、後述する表示順設定キューにおいて設定される所定の１５フレーム、すなわち、表示順情報キューに、Ｂ（０），Ｂ（１），Ｉ（２），Ｂ（３），Ｂ（４），Ｐ（５），Ｂ（６），Ｂ（７），Ｐ（８），Ｂ（９），Ｂ（１０），Ｐ（１１），Ｂ（１２），Ｂ（１３），Ｐ（１４），Ｂ（１５）Ｂ（１６），Ｉ（１７）のようにピクチャＩＤが格納されている場合、そのうちの、Ｉ（２），Ｂ（３），Ｂ（４），Ｐ（５），Ｂ（６），Ｂ（７），Ｐ（８），Ｂ（９），Ｂ（１０），Ｐ（１１），Ｂ（１２），Ｂ（１３），Ｐ（１４），Ｂ（１５）Ｂ（１６）の１５フレームに含まれるか否かを判断する。

ステップＳ１１６において、所定の１５フレームに含まれていると判断された場合、ステップＳ１１７において、ＣＰＵ２０は、フレームカウンタを１インクリメントする。

ステップＳ１１６において、所定の１５フレームに含まれていないと判断された場合、ステップＳ１１８において、ＣＰＵ２０は、表示順情報キューの先頭のピクチャＩＤに対応するピクチャが、後述する処理においてデコードの設定がなされないピクチャである場合、具体的には、表示順情報キューに、Ｂ（０），Ｂ（１），Ｉ（２），Ｂ（３），Ｂ（４），Ｐ（５），Ｂ（６），Ｂ（７），Ｐ（８），Ｂ（９），Ｂ（１０），Ｐ（１１），Ｂ（１２），Ｂ（１３），Ｐ（１４），Ｂ（１５）Ｂ（１６），Ｉ（１７）のようにピクチャＩＤが格納されている場合、そのうちの、先頭のＢ（０），Ｂ（１）のいずれかである場合、このピクチャＩＤを、表示順情報キューから削除する。

ステップＳ１１７またはステップＳ１１８の処理の終了後、ステップＳ１１９において、ＣＰＵ２０は、ステップＳ１１３においてレジスタに保持された間引き周期と、フレームカウンタの値を参照し、処理対象のフレームは、表示されるか否かを判断する。具体的には、ＣＰＵ２０は、間引き周期が１／２である場合、フレーム数をカウントするフレームカウンタの値が２ｎ（ｎは正の整数）であれば、表示を行い、それ以外の場合は、表示を行わないようにしたり、間引き周期が１／３である場合、フレーム数をカウントするフレームカウンタの値が３ｎ（ｎは正の整数）であれば、表示を行い、それ以外の場合は、表示を行わないようにする。ステップＳ１１９において、表示が行われないと判断された場合、すなわち、間引かれるフレームであると判断された場合、処理は、後述するステップＳ１２４に進む。

ステップＳ１１９において、表示が行われると判断された場合、すなわち、間引かれないフレームであると判断された場合、ステップＳ１２０において、ＣＰＵ２０は、自身参照カウンタに１を加算する。すなわち、自身参照カウンタのポインタにおいて示される自分自身の表示順に対応する自身参照カウンタに１を加算する。

ステップＳ１２１において、ＣＰＵ２０は、表示順設定キューに、表示されると判断された対応するピクチャＩＤを設定する。

ステップＳ１２２において、ＣＰＵ２０は、ステップＳ１２１において表示順設定キューに設定されたピクチャＩＤは、Ｂピクチャに対応するものであるか否かを判断する。

ステップＳ１２２において、Ｂピクチャであると判断された場合、ステップＳ１２３において、ＣＰＵ２０は、参照カウンタのポインタを基に、対象となる前方向および後ろ方向の参照カウンタに１を加算する。具体的には、処理対象のフレームが、Ｂ（３）である場合、上述したように、Ｂ（３）に対応付けられて、前方向参照ポインタとして、ポインタ２が、後ろ方向参照ポインタとして、ポインタ５が設定されているので、ＣＰＵ２０は、Ｉ（２）の前方向の参照カウンタと、Ｐ（５）の後ろ方向参照カウンタに、１を加算する。

ステップＳ１１９において、表示が行われないと判断された場合、すなわち、間引かれるフレームであると判断された場合、または、ステップＳ１２２において、Ｂピクチャではないと判断された場合、ステップＳ１２４において、ＣＰＵ２０は、処理対象のフレームのピクチャＩＤは、Ｐピクチャに対応するピクチャＩＤであるか否かを判断する。

ステップＳ１２４において、Ｐピクチャであると判断された場合、ステップＳ１２５において、ＣＰＵ２０は、参照カウンタのポインタを基に、対象となる前方向参照カウンタに１を加算する。具体的には、処理対象のフレームが、Ｐ（５）である場合、Ｐ（５）に対応付けられて、前方向参照ポインタとして、ポインタ２が設定されているので、ＣＰＵ２０は、Ｉ（２）の前方向の参照カウンタに、１を加算する。

ステップＳ１２４において、Ｐピクチャではないと判断された場合、ステップＳ１２６において、ＣＰＵ２０は、処理対象のフレームのピクチャＩＤは、Ｉピクチャに対応するピクチャＩＤであるか否かを判断する。

ステップＳ１２３、または、ステップＳ１２５の処理の終了後、もしくは、ステップＳ１２６において、Ｉピクチャであると判断された場合、ステップＳ１２７において、ＣＰＵ２０は、対応するピクチャＩＤを、いずれかのデコードキューに設定し、表示順情報キューから削除する。すなわち、ＣＰＵ２０は、表示されるＢピクチャに対応するピクチャＩＤをＢピクチャデコードキューに、表示されるか否かにかかわらず、ＩピクチャまたはＢピクチャに対応するピクチャＩＤを、Ｉ／Ｐピクチャデコードキューに、それぞれ設定し、処理は、ステップＳ１１５に戻り、それ以降の処理が繰り返される。

Ｉ／Ｐピクチャデコードキューとは、Ｂピクチャに先行してデコードされるＩピクチャおよびＰピクチャのピクチャＩＤがデコード順に設定されるキューである。Ｂピクチャデコードキューとは、表示される、すなわち、間引かれないＢピクチャのピクチャＩＤがデコード順に設定されるキューである。

ステップＳ１２６において、Ｉピクチャではないと判断された場合、ステップＳ１２８において、ＣＰＵ２０は、表示順情報キューから対応するＢピクチャ、すなわち、表示されないＢピクチャのピクチャＩＤを削除し、処理は、ステップＳ１１５に戻り、それ以降の処理が繰り返される。

このような処理により、参照カウンタが設定されて、再生速度に応じて間引きが行われ、表示順設定キュー、Ｉ／Ｐピクチャデコードキュー、および、Ｂピクチャデコードキューが設定される。

図１４に、通常速度、すなわち、間引きが行われない場合の正方向再生および逆方向再生における表示順設定キューを示す。正方向再生の場合の表示順設定キューには、図１４Ａに示されるように、図１０Ａを用いて説明した表示順情報キューにキューされている１８個のピクチャＩＤのうち、先頭の２つのＢピクチャと、最後のＩピクチャを除いた１５個のピクチャＩＤ、すなわち、図８Ａを用いて説明した正方向再生の場合にデコーダ２２乃至デコーダ２４のうちのいずれかに供給されるピクチャのうち、最後のＩピクチャを除いた１５ピクチャのピクチャＩＤが、表示される順番に設定される。

そして、逆方向再生の場合の表示順設定キューには、図１４Ｂに示されるように、図１０Ｂを用いて説明した表示順情報キューにキューされている１８個のピクチャＩＤのうち、先頭の２つのＢピクチャと、最後のＩピクチャを除いた１５個のピクチャＩＤ、すなわち、図８Ｂを用いて説明した逆方向再生の場合にデコーダ２２乃至デコーダ２４のうちのいずれかに供給されるピクチャのうち、最後のＩピクチャを除いた１５ピクチャのピクチャＩＤが、実際に表示される順番に設定される。

正方向または逆方向の高速再生が実行される場合、間引き周期とフレームカウンタとを基に、表示されないと判断されたピクチャのピクチャＩＤは、図１４に示される表示順設定キューには設定されない。すなわち、正方向または逆方向の高速再生が実行される場合、表示順設定キューには、１５以下の数のピクチャＩＤが設定される。

図１５に、正方向再生および逆方向再生におけるＩ／Ｐピクチャデコードキューを示す。正方向再生の場合のＩ／Ｐピクチャデコードキューには、図１５Ａに示されるように、図１０Ａを用いて説明した表示順情報キューに設定されているピクチャＩＤのうち、ＩピクチャおよびＰピクチャに対応する６つのピクチャのピクチャＩＤが設定され、逆方向再生の場合のＩ／Ｐピクチャデコードキューには、図１５Ｂに示されるように、図１０Ｂを用いて説明した表示順情報キューに設定されているピクチャＩＤのうち、ＩピクチャおよびＰピクチャに対応する６つのピクチャのピクチャＩＤが設定される。

図１６に、通常速度、すなわち、間引きが行われない場合の正方向再生および逆方向再生におけるＢピクチャデコードキューを示す。正方向再生の場合のＢピクチャデコードキューには、図１６Ａに示されるように、図１０Ａを用いて説明した表示順情報キューに設定されているピクチャＩＤのうち、表示されるＢピクチャに対応する１０個のピクチャのピクチャＩＤが設定され、逆方向再生の場合のＢピクチャデコードキューには、図１６Ｂに示されるように、図１０Ｂを用いて説明した表示順情報キューに設定されているピクチャＩＤのうち、表示されるＢピクチャに対応する１０個のピクチャのピクチャＩＤが設定される。

正方向または逆方向の高速再生が実行される場合、間引き周期とフレームカウンタとを基に、表示されないと判断されたピクチャのピクチャＩＤは、図１５に示されるＢピクチャデコードキューには設定されない。すなわち、正方向または逆方向の高速再生が実行される場合、Ｂピクチャデコードキューには、１０以下の数のピクチャＩＤが設定される。

この処理を実行することにより、デコードされるＢピクチャは、表示されるもののみとなり、間引かれるＢピクチャは、デコード処理部７７に供給されない。また、間引かれるＩピクチャまたはＰピクチャは、デコードはされるが、表示されないようになされる。

また、フレームカウンタは、スピード設定が変更されるまで、すなわち、入力ストリーム状態が変更されるまで、ＧＯＰにかかわらず、リセットされずに連続してインクリメントされるので、例えば、１ＧＯＰが１５フレームで構成されている場合の２倍速、４倍速、または、−２倍速、−４倍速など、間引き周期の分母が１ＧＯＰを構成するフレームの数を割り切ることができない値となってしまうため、ＧＯＰによって、表示されないピクチャの位置が変更される場合であっても、入力ストリームにおけるフレームの順番を示すフレームカウンタの値を用いて、間引き周期を基に、表示が行われるか否かを容易に決定することができる。

このようにして、Ｂピクチャはデコーダへのストリーム入力で間引き、ＩピクチャおよびＰピクチャはデコード後の表示を止めることで、等間隔で間引きが施され、スピードの動的な変更に追従可能なように高速再生を行うことが可能となる。ＩピクチャおよびＰピクチャは、デコード時に他のピクチャからの参照画像として用いられる場合があるので、この方法は、できるだけバンクメモリの面数を少なくして等間隔で間引きを施して高速再生を実行するために、有効な方法である。

次に、図１７のフローチャートを参照して、図６のステップＳ７６において実行される、デコード開始タイミングに対して表示開始タイミングをディレイさせる位相を設定するための、表示位相決定処理について説明する。

ステップＳ１３１において、ＣＰＵ２０は、図１４を用いて説明した表示順設定キューに設定されている、表示するピクチャの数の情報を、表示ピクチャ数レジスタに保持する。図１４においては、表示順設定キューに１５ピクチャ分のピクチャＩＤが設定されているので、表示ピクチャ数レジスタには、値１５が保存される。

ステップＳ１３２において、ＣＰＵ２０は、図１５を用いて説明したＩ／Ｐピクチャデコードキューに保持されている、デコードされるＩピクチャおよびＰピクチャの総数を、Ｉ／Ｐピクチャ数レジスタに保持する。図１５においては、Ｉ／Ｐピクチャデコードキューに、６ピクチャ分のピクチャＩＤが設定されているので、Ｉ／Ｐピクチャ数レジスタには、値６が保存される。

ステップＳ１３３において、ＣＰＵ２０は、表示順設定キューの先頭に設定されているピクチャＩＤに対応するピクチャのピクチャタイプはＢピクチャであるか否かを判断する。これは、通常速度再生または逆方向の通常速度再生における位相のずれ量を算出している場合、再生方向は正方向か逆方向かを判断しているのと同義である。なお、高速再生において、間引きが実行された後では、表示順設定キューの先頭に設定されているピクチャＩＤに対応するピクチャのピクチャタイプがＢピクチャであっても、その再生速度の設定値によっては、再生方向が正方向であることもあり、逆方向であることもある。

ステップＳ１３３において、表示順設定キューの先頭に設定されているピクチャＩＤに対応するピクチャのピクチャタイプはＢピクチャであると判断された場合、ステップＳ１３４において、ＣＰＵ２０は、デコードされるＩピクチャおよびＰピクチャの総数に１を加えた数を、Ｉ／Ｐピクチャデコードキューに保持されているピクチャＩＤに対応するＩピクチャおよびＰピクチャのデコード開始タイミングに対する、表示順設定キューに保持されるピクチャＩＤに対応するピクチャの表示開始タイミングの時間的な位相のずれ量disp_phaseとする。

例えば、再生速度が−１倍である場合、表示順設定キューの先頭に設定されているピクチャＩＤに対応するピクチャのピクチャタイプはＢピクチャであるので、先にＩピクチャおよびＰピクチャがデコードされた後、表示開始のタイミングが、デコード開始から７ピクチャ分ずらされて、Ｂピクチャのデコードのタイミングと表示のタイミングが１フレーム分ずれるように、Ｂピクチャがデコードされる。

ステップＳ１３３において、表示順設定キューの先頭に設定されているピクチャＩＤに対応するピクチャのピクチャタイプはＢピクチャではないと判断された場合、ステップＳ１３５において、ＣＰＵ２０は、デコードされるＩピクチャおよびＰピクチャの総数を、Ｉ／Ｐピクチャデコードキューに保持されているピクチャＩＤに対応するＩピクチャおよびＰピクチャのデコードタイミングに対する、表示順設定キューに保持されるピクチャＩＤに対応するピクチャの表示開始タイミングの時間的な位相のずれ量disp_phaseとする。

例えば、再生速度が１倍である場合、表示順設定キューの先頭に設定されているピクチャＩＤに対応するピクチャのピクチャタイプはＩピクチャであり、Ｂピクチャではないので、先にＩピクチャおよびＰピクチャがデコードされた後、表示開始のタイミングが、デコード開始から６ピクチャ分ずらされて、Ｂピクチャのデコードのタイミングと表示のタイミングが１フレーム分ずれるように、Ｂピクチャがデコードされる。

ステップＳ１３４またはステップＳ１３５の処理の終了後、ステップＳ１３６において、ＣＰＵ２０は、ステップＳ１３４またはステップＳ１３５において決定された表示の位相のずれ量disp_phaseを、内部のレジスタに記憶する。

ステップＳ１３７において、ＣＰＵ２０は、処理中のＧＯＰは、表示開始ＧＯＰ（再生スピードが変更されたときの、対応するスピードでの再生開始部分を含む）であるか否かを判断する。

ステップＳ１３７において、処理中のＧＯＰは表示開始ＧＯＰではないと判断された場合、ステップＳ１３８において、ＣＰＵ２０は、ステップＳ１３４またはステップＳ１３５において決定された表示位相のずれ量disp_phaseから、前回の処理、すなわち、１つ前に表示されるＧＯＰにおける表示位相のずれ量prev_disp_phaseを減算し、その結果をずれ量補正値disp_zeroとして内部のレジスタに記憶するとともに、ステップＳ１３４またはステップＳ１３５において決定された表示位相のずれ量disp_phaseを１つ前に表示されるＧＯＰにおける表示位相のずれ量prev_disp_phaseに代入して、処理は、図６のステップＳ７６に戻り、ステップＳ７７に進む。

ステップＳ１３７において、処理中のＧＯＰは表示開始ＧＯＰであると判断された場合、ステップＳ１３９において、ＣＰＵ２０は、ずれ量補正値disp_zeroとして、初期値０を設定して内部のレジスタに記憶し、処理は、図６のステップＳ７６に戻り、ステップＳ７７に進む。

このような処理により、デコード開始タイミングに対して表示開始タイミングをディレイさせる位相が決定される。

次に、図１８のフローチャートを参照して、図６のステップＳ７７において実行される、時間情報付きスケジュール決定処理について説明する。

ステップＳ１６１において、ＣＰＵ２０は、デコーダ２２乃至デコーダ２４のうちのいずれかのデコーダにおいてデコードされるデコード処理単位の１６枚のピクチャにおいて、先頭のフレームがデコードされるタイミングを示すデコード開始時刻情報time_baseの値を、１つ前のデコード処理単位のデコード開始時刻情報であるprev_time_base、および、表示位相のずれ量補正値を示すdisp_zeroを用いて算出する（式（１））。

デコード開始時刻情報time_base＝前ＧＯＰのデコード開始時刻情報prev_time_base−表示位相のずれ量補正値disp_zero
・・・（１）

なお、表示開始ＧＯＰに対して、式（１）の演算処理が実行される場合、前ＧＯＰのデコード開始時刻情報を示すprev_time_baseは、０として演算される。

ステップＳ１６２において、ＣＰＵ２０は、次にデータが供給されるデコーダに対応する時間情報付きＩ／Ｐピクチャデコードキューを設定する。

時間情報付きＩ／Ｐピクチャデコードキューは、図１５を用いて説明したＩ／Ｐピクチャデコードキューに設定されているピクチャＩＤに対応付けて、先頭にデコードされるピクチャのデコード開始時刻time_baseの情報、および、１フレームを単位とする時間カウンタのカウント値が設定されるものであり、再生装置１に備えられているデコーダごと（ここでは、デコーダ２２乃至デコーダ２４のそれぞれ）に対応して設けられている。

具体的には、ＣＰＵ２０は、次のデータを供給するデコーダを示すレジスタの値を参照し、次にデータが供給されるデコーダに対応する時間情報付きＩ／Ｐピクチャデコードキューを設定する。ＣＰＵ２０は、Ｉ／ＰピクチャデコードキューにキューされているピクチャＩＤのうち、先頭のピクチャＩＤに対応するフレームがデコードされるタイミングを示す情報として、上述したデコード開始時刻情報time_baseの情報を用いるとともに、各ピクチャＩＤに対応するそれぞれのフレームがデコードされるタイミングを示す情報としては、１フレームを単位とする時間カウンタのカウント値を用いる。

ステップＳ１６２において、時間情報付きＩ／Ｐピクチャデコードキューが設定されたとき、Ｉ／ＰピクチャデコードキューにキューされているピクチャＩＤはすべて出力されて、Ｉ／Ｐピクチャデコードキューは空となる。

ステップＳ１６３において、ＣＰＵ２０は、次にデータが供給されるデコーダに対応する時間情報付きＢピクチャデコードキューを設定する。

時間情報付きＢピクチャデコードキューは、図１６を用いて説明したＢピクチャデコードキューに設定されているピクチャＩＤに対応付けて、先頭にデコードされるピクチャのデコード開始時刻time_baseの情報、ＩピクチャおよびＰピクチャの数、および、１フレームを単位とする時間カウンタのカウント値を用いて求められる時間情報が設定されるものであり、再生装置１に備えられているデコーダごと（ここでは、デコーダ２２乃至デコーダ２４のそれぞれ）に対応して設けられている。

具体的には、ＣＰＵ２０は、次のデータを供給するデコーダを示すレジスタの値を参照し、次にデータが供給されるデコーダに対応する時間情報付きＢピクチャデコードキューを設定する。ＣＰＵ２０は、ＢピクチャデコードキューにキューされているピクチャＩＤのうち、先頭のピクチャＩＤに対応するフレームがデコードされるタイミングを示す情報として、上述したデコード開始時刻情報time_baseの情報にＩピクチャおよびＰピクチャの数を加えた値を用いるとともに、各ピクチャＩＤに対応するそれぞれのフレームがデコードされるタイミングを示す情報としては、１フレームを単位とする時間カウンタのカウント値を用いる。

ステップＳ１６３において、時間情報付きＢピクチャデコードキューが設定されたとき、ＢピクチャデコードキューにキューされているピクチャＩＤはすべて出力されて、Ｂピクチャデコードキューは空となる。

ステップＳ１６４において、ＣＰＵ２０は、次にデータが供給されるデコーダに対応する時間情報付き表示順設定キューを設定する。

時間情報付き表示順設定キューは、図１４を用いて説明した表示順設定キューに設定されているピクチャＩＤに対応付けて、先頭に表示されるピクチャのデコード開始時刻に対する表示タイミングの位相のずれ量から１を減算した値、および、１フレームを単位とする時間カウンタのカウント値が設定されるものであり、再生装置１に備えられているデコーダごと（ここでは、デコーダ２２乃至デコーダ２４のそれぞれ）に対応して設けられている。

具体的には、ＣＰＵ２０は、次のデータを供給するデコーダを示すレジスタの値を参照し、次にデータが供給されるデコーダに対応する時間情報付き表示順設定キューを設定する。ＣＰＵ２０は、表示順設定キューにキューされているピクチャＩＤのうち、実際の表示順において先頭となるフレームに対応するフレームの表示タイミングを示す、上述した表示位相決定処理において決定された位相のずれ量disp_phaseから１を減算した値を基準時刻情報として用いるとともに、各ピクチャＩＤに対応するそれぞれのフレームがデコードされるタイミングを示す情報としては、１フレームを単位とする時間カウンタのカウント値を用いる。

ステップＳ１６４において時間情報付き表示順設定キューが設定されたとき、表示順設定キューにキューされているピクチャＩＤはすべて出力されて、表示順設定キューは空となる。

ステップＳ１６５において、ＣＰＵ２０は、デコード開始時刻情報time_baseに、上述した図１７のステップＳ１３１において表示ピクチャ数レジスタに保持された値を加えた値を、前のＧＯＰのデコード開始時刻情報prev_time_baseとして、レジスタに保存し、処理は、図６のステップＳ７７に戻り、ステップＳ７８に進む。

このような処理により、デコードの処理単位となる１６フレーム分のデコード処理タイミングが設定される。

図１７および図１８を用いて説明した処理により、デコードの位相と表示の位相が、ＩピクチャおよびＰピクチャの枚数、表示する枚数、先頭に表示するピクチャがＢピクチャであるか否かなどを基に決定されて、時間情報として設定される。これにより、複数のデコーダを用いて正逆方向の高速再生を行うときに発生する、それぞれのデコーダにおいてデコードされたり出力されて表示されるピクチャの枚数の変化に追従して、動的にスピードを変更して、連続的にデコード済みの画像を表示させることが可能となる。更に、再生スピードの変更が指令されて、任意の位置のピクチャから間引き間隔の変更が行われた場合でも、表示する数の増減を反映することで、対応しているスピード範囲において、再生スピードをフレーム単位で変更させて、連続的にスピードを変更させることが可能となる。

図６乃至図１８を用いて説明した処理により、図４のステップＳ３２においてデコードスケジュール処理が実行される。

次に、図１９のフローチャートを参照して、図４のステップＳ３３において実行される、フレーム制御処理について説明する。

ステップＳ１９１において、ＣＰＵ２０は、再生装置１内で実行される各処理のタイミングを管理するためのカウンタである時間管理カウンタと、時間情報付きＩ／Ｐピクチャデコードキューを参照し、表示時刻が過ぎてしまったストリームデータがあるか否かを判断する。ステップＳ１９１において、表示時刻が過ぎてしまったストリームデータがあると判断された場合、処理は、後述するステップＳ１９６に進む。

ステップＳ１９１において、表示時刻が過ぎてしまったストリームデータがないと判断された場合、ステップＳ１９２において、図２０を用いて後述するデコード処理が実行される。

ステップＳ１９３において、図２１を用いて後述する表示処理が実行される。

ステップＳ１９４において、ＣＰＵ２０は、ＣＰＵ１１に、表示ピクチャ情報を通知する。具体的には、ＣＰＵ２０は、コントロールバス１９を介して、ＰＣＩブリッジ１７のリザルトバッファ３２に、図３のステップＳ６において、ＣＰＵ１１から送信された表示開始コマンドに対するリザルトとして表示ピクチャ情報を書き込むことにより、ＣＰＵ１１に対して、表示ピクチャ情報を通知する。ＣＰＵ１１は、ＰＣＩブリッジ１７のリザルトバッファ３２に書き込まれる表示ピクチャ情報を参照することにより、表示されるピクチャがいずれのＧＯＰのいずれのピクチャであるかを知ることができる。

ステップＳ１９５において、ＣＰＵ２０は、時間管理カウンタをインクリメントし、処理は、図４のステップＳ３３に戻り、ステップＳ３４に進む。

ステップＳ１９１において、表示時刻が過ぎてしまったストリームデータがあると判断された場合、ステップＳ１９６において、図３２を用いて後述するアンダーフロー処理が実行されて、処理は、図４のステップＳ３３に戻り、ステップＳ３４に進む。

このような処理により、表示が遅れていなければ、設定されたデコードスケジュールに基づいて、１フレーム分のデコードが実行されて、表示ピクチャ情報が、ＣＰＵ１１に通知され、間引き処理が実行される。そして、表示が遅れているとき、後述するアンダーフロー処理が実行される。

次に、図２０のフローチャートを参照して、図１９のステップＳ１９２において実行されるデコード処理について説明する。

ステップＳ２２１において、ＣＰＵ２０は、時間管理カウンタの値と、時間情報付きＩ／Ｐピクチャデコードキューまたは時間情報付きＢピクチャデコードキューに設定された、次にデコードされるピクチャのピクチャＩＤに対応付けられている時間情報とが一致したか否かを判断する。ステップＳ２２１において、時間管理カウンタの値は、時間情報付きＩ／Ｐピクチャデコードキューまたは時間情報付きＢピクチャデコードキューに設定された時間情報と一致していないと判断された場合、処理は、図１９のステップＳ１９２に戻り、ステップＳ１９３に進む。

ステップＳ２２１において、時間管理カウンタの値と、時間情報付きＩ／Ｐピクチャデコードキューまたは時間情報付きＢピクチャデコードキューに設定された時間情報とが一致したと判断された場合、ステップＳ２２２において、ＣＰＵ２０は、デコードを実行するデコーダとして設定されているデコーダ２２乃至デコーダ２４のうちのいずれかのビデオバンクメモリ８２のうちの空きバンクを示す情報を、コントロールバス１９を介して、デコーダ２２乃至デコーダ２４のうちの対応するものから取得する。

ステップＳ２２３において、ＣＰＵ２０は、デコードを実行するデコーダとして設定されているデコーダ２２乃至デコーダ２４のうちのいずれかを、コントロールバス１９を介して制御し、Ｉピクチャ、Ｐピクチャ、または、Ｂピクチャのうちの、時間情報が一致したピクチャをデコードさせ、時間情報付きＩ／Ｐピクチャデコードキューまたは時間情報付きＢピクチャデコードキューから、デコードコマンドが実行されたピクチャに対応するピクチャＩＤを削除する。

具体的には、ＣＰＵ２０は、次のデータを供給するデコーダを示すレジスタに保持されている値を参照し、デコーダ２２乃至デコーダ２４のうちデコードを実行するデコーダとして設定されているもののエレメンタリストリームアドレス決定部７３を制御して、時間情報付きＩ／Ｐピクチャデコードキューまたは時間情報付きＢピクチャデコードキューに設定されたピクチャＩＤのうちの、時間情報が一致したピクチャＩＤに対応するピクチャのデータを、メモリコントローラ７４により、入力バッファ７５から読み出させて、デコード処理部７７に供給させる。

デコードされるピクチャがＩピクチャである場合、ＣＰＵ２０は、デコード処理部７７を制御して、メモリコントローラ７４から供給されたＩピクチャをデコードさせるとともに、書き込み画アドレス決定部７８を制御して、デコードされたフレームデータをメモリコントローラ８１に供給させて、ステップＳ２２２において取得された空きバンクを示す情報を基に、ビデオバンクメモリ８２の空きバンクのうち、もっとも早い時間に空きバンクとなったバンクに、デコードされたＩピクチャを保存させる。また、デコードされるピクチャがＰピクチャである場合、ＣＰＵ２０は、参照画アドレス決定部７９を制御して、メモリコントローラ８１により、ビデオバンクメモリ８２に格納されている前方向の参照画を読み出させて、デコード処理部７７に供給させ、デコード処理部７７を制御して、メモリコントローラ７４から供給されたＰピクチャをデコードさせるとともに、書き込み画アドレス決定部７８を制御して、デコードされたフレームデータをメモリコントローラ８１に供給させて、ステップＳ２２２において取得された空きバンクを示す情報を基に、ビデオバンクメモリ８２の空きバンクのうち、もっとも早い時間に空きバンクとなったバンクに、デコードされたＰピクチャを保存させる。

ＣＰＵ２０は、書き込み画アドレス決定部７８から、コントロールバス７６およびコントロールバス１９を介して、デコードされたＩピクチャおよびＰピクチャが格納されたバンク位置に関する情報の供給を受けるので、Ｐピクチャのデコード時に、前方向の参照画のバンク位置を指定することにより、参照画アドレス決定部７９を制御して、メモリコントローラ８１により、ビデオバンクメモリ８２に格納されている前方向の参照画を読み出させて、デコード処理部７７に供給させることができる。

そして、デコードされるピクチャがＢピクチャである場合、ＣＰＵ２０は、参照画アドレス決定部７９を制御して、メモリコントローラ８１により、ビデオバンクメモリ８２に格納されている前方向および後ろ方向の参照画を読み出させて、デコード処理部７７に供給させ、デコード処理部７７を制御して、メモリコントローラ７４から供給されたＢピクチャをデコードさせるとともに、書き込み画アドレス決定部７８を制御して、デコードされたフレームデータをメモリコントローラ８１に供給させて、ステップＳ２２２において取得された空きバンクを示す情報を基に、ビデオバンクメモリ８２の空きバンクのうち、もっとも早い時間に空きバンクとなったバンクに、デコードされたＢピクチャを保存させる。

ＣＰＵ２０は、書き込み画アドレス決定部７８から、コントロールバス７６およびコントロールバス１９を介して、デコードされたＩピクチャおよびＰピクチャが格納されたバンク位置に関する情報の供給を受けるので、Ｂピクチャのデコード時においても、前方向および後ろ方向の参照画のそれぞれのバンク位置を指定することにより、参照画アドレス決定部７９を制御して、メモリコントローラ８１により、ビデオバンクメモリ８２に格納されている前方向の参照画を読み出させて、デコード処理部７７に供給させることができる。

ステップＳ２２４において、ＣＰＵ２０は、ステップＳ２２３のデコード開始コマンドによってデコードされたのは、Ｂピクチャであったか否かを判断する。

ステップＳ２２４において、デコードされたのは、Ｂピクチャであったと判断された場合、ステップＳ２２５において、ＣＰＵ２０は、参照カウンタのポインタを基に、対象となる前方向および後ろ方向の参照カウンタから１を減算する。

例えば、デコードされたピクチャが、Ｂ（３）であった場合、Ｂ（３）に対応付けられて、前方向参照ポインタとして、ポインタ２が、後ろ方向参照ポインタとして、ポインタ５が設定されているので、ＣＰＵ２０は、Ｉ（２）の前方向の参照カウンタと、Ｐ（５）の後ろ方向参照カウンタから１減算する。

ステップＳ２２４において、デコードされたのは、Ｂピクチャではなかったと判断された場合、ステップＳ２２６において、ＣＰＵ２０は、ステップＳ２２３のデコード開始コマンドによってデコードされたのは、Ｐピクチャであったか否かを判断する。

ステップＳ２２６において、デコードされたのは、Ｐピクチャであったと判断された場合、ステップＳ２２７において、ＣＰＵ２０は、参照カウンタのポインタを基に、対象となる前方向の参照カウンタから１を減算する。

例えば、デコードされたピクチャが、Ｐ（５）であった場合、Ｐ（５）に対応付けられて、前方向参照ポインタとして、ポインタ２が設定されているので、ＣＰＵ２０は、Ｉ（２）の前方向の参照カウンタから１を減算する。

ステップＳ２２５またはステップＳ２２７の処理の終了後、ステップＳ２２８において、ＣＰＵ２０は、いずれかのピクチャＩＤに対応する参照カウンタの値がすべて０となったか否かを判断する。

ステップＳ２２８において、参照カウンタの値がすべて０となったピクチャＩＤがあると判断された場合、ステップＳ２２９において、ＣＰＵ２０は、参照カウンタの値がすべて０となったピクチャＩＤに対応するバンクを解放する。

ステップＳ２２６において、デコードされたのは、Ｐピクチャではなかった、すなわち、Ｉピクチャであったと判断された場合、ステップＳ２２８において、参照カウンタの値がすべて０となったピクチャＩＤはないと判断された場合、または、ステップＳ２２９の処理の終了後、処理は、図１９のステップＳ１９２に戻り、ステップＳ１９３に進む。

このような処理により、設定されたスケジュールに基づいて、Ｉピクチャ、Ｐピクチャ、および、Ｂピクチャがデコードされ、前方向または後ろ方向の参照カウンタのうちの対応するカウンタの値が１減算され、すべての参照カウンタの値が０になったものがある場合、すなわち、自分自身の表示も他のピクチャからの参照も終了したピクチャがある場合、そのピクチャが保持されているバンクが解放される。

次に、図２１のフローチャートを参照して、図１９のステップＳ１９３において実行される表示処理について説明する。

ステップＳ２５１において、ＣＰＵ２０は、時間管理カウンタの設定と、時間情報付き表示順設定キューに設定された現在の先頭のピクチャＩＤに対応する時間情報が一致したか否かを判断する。時間情報付き表示順設定キューに設定された時間情報とは、スケジュール時の１５フレームのうち、実際の表示順において先頭となるフレームに対応するフレームの表示タイミングを示す、上述した表示位相決定処理において決定された位相のずれ量disp_phaseから１を減算した値、または、１５フレームのうち、実際の表示順において先頭となるフレーム以外の各ピクチャＩＤに対応する、１フレームを単位とする時間カウンタのカウント値である。

ステップＳ２５１において、時間管理カウンタの設定は、時間情報付き表示順設定キューに設定された時間情報と一致すると判断された場合、ステップＳ２５２において、ＣＰＵ２０は、時間情報と一致すると判断されたピクチャＩＤに対応するピクチャの表示命令を、デコーダ２２デコーダ２４のうちの、設定されているデコーダに、コントロールバス１９を介して通知する。このとき、デコーダ２２乃至デコーダ２４のうちの、設定されているデコーダの出力アドレス決定部８０は、コントロールバス７６を介して、ＣＰＵ２０からの制御信号を受け、メモリコントローラ８０を制御して、ビデオバンクメモリ８２から、対応するピクチャを読み出させて、セレクタ２５に供給する。

そして、ＣＰＵ２０は、図６のステップＳ７８において設定される次のデータを供給するデコーダを示すレジスタに保持されている値を基に、セレクタ２５を制御して、デコード済みのフレームの出力を制御する。

ステップＳ２５３において、ＣＰＵ２０は、表示されたピクチャのピクチャＩＤに対応する自身参照カウンタの値を１減算する。

そして、時間情報付き表示順設定キューに設定されていた現在の先頭のピクチャＩＤは、デコーダに表示命令が出され、自身参照カウンタの値が１減算されることにより、時間情報付き表示順設定キューから出力され、表示キューに設定されたピクチャＩＤに対応するピクチャの次に表示されるピクチャに対応するピクチャＩＤが、時間情報付き表示順設定キューの先頭となるか、または、時間情報付き表示設定キューが空となる。

ステップＳ２５４において、ＣＰＵ２０は、いずれかのピクチャＩＤに対応する参照カウンタの値がすべて０となったか否かを判断する。

ステップＳ２５４において、参照カウンタの値がすべて０となったピクチャＩＤがあると判断された場合、ステップＳ２５５において、ＣＰＵ２０は、参照カウンタの値がすべて０となったピクチャＩＤに対応するバンクを解放する。

ステップＳ２５１において、時間管理カウンタの設定は、時間情報付き表示順設定キューに設定された時間情報と一致しないと判断された場合、ステップＳ２５４において、参照カウンタの値がすべて０となったピクチャＩＤはないと判断された場合、または、ステップＳ２５５の処理の終了後、処理は、図１９のステップＳ１９３に戻り、ステップＳ１９４に進む。

このようにして、時間情報付き表示順設定キューに設定されている時間情報を基に、デコードされたデータが表示され、自身参照カウンタの値が１減算されて、すべての参照カウンタの値が０になったものがある場合、すなわち、自分自身の表示も他のピクチャからの参照も終了したピクチャがある場合、そのピクチャが保持されているバンクが解放される。

正方向または逆方向の高速再生処理において、間引きが実行された場合の時間情報付き表示順設定キューの設定について、図２２乃至図２７を用いて説明する。図２２乃至図２７においては、上部に、間引き前のスケジューリングの状態が、間引きされるフレームを点線で記載することによって示されており、その下部に、間引き処理後のスケジューリングの状態が示されている。また、図２２乃至図２７において、カッコ内の数字の０，１，２は、デコーダ２２乃至デコーダ２４のうちのいずれかに対応してそれぞれ設定されている情報キューに蓄積される情報、または、デコーダ２２乃至デコーダ２４のうちのいずれかにおいてそれぞれ実行される処理であることを示すものである。

例えば、＋２倍速の高速再生における場合、図２２に示されるように、１つ目のＧＯＰのＩピクチャとＢピクチャとのデコードの開始タイミングは、６フレーム分遅れ、表示開始タイミングは、先頭がＩピクチャであることからＩピクチャのデコード開始タイミングより６フレーム分遅れる。そして、次のＧＯＰのＩピクチャのデコード開始タイミングは、上述した式（１）により、前のＧＯＰの表示ピクチャ数８と、表示位相のずれ量補正値disp_zeroが１となることから、７フレームであると求められ、ＩピクチャとＢピクチャとのデコードの開始タイミングは、６フレーム分遅れ、表示開始タイミングは、先頭がＢピクチャであることからＩピクチャのデコード開始タイミングより７フレーム分遅れる。

また、例えば、−２倍速の高速再生における場合、図２３に示されるように、１つ目のＧＯＰのＩピクチャとＢピクチャとのデコードの開始タイミングは、６フレーム分遅れ、表示開始タイミングは、先頭がＢピクチャであることからＩピクチャのデコード開始タイミングより７フレーム分遅れる。そして、次のＧＯＰのＩピクチャのデコード開始タイミングは、上述した式（１）により、前のＧＯＰの表示ピクチャ数８と、表示位相のずれ量補正値disp_zeroが０となることから、８フレームであると求められ、ＩピクチャとＢピクチャとのデコードの開始タイミングは、６フレーム分遅れ、表示開始タイミングは、先頭がＢピクチャであることからＩピクチャのデコード開始タイミングより７フレーム分遅れる。

例えば、＋４倍速の高速再生における場合、図２４に示されるように、１つ目のＧＯＰのＩピクチャとＢピクチャとのデコードの開始タイミングは、６フレーム分遅れ、表示開始タイミングは、先頭がＩピクチャであることからＩピクチャのデコード開始タイミングより６フレーム分遅れる。そして、次のＧＯＰのＩピクチャのデコード開始タイミングは、上述した式（１）により、前のＧＯＰの表示ピクチャ数４と、表示位相のずれ量補正値disp_zeroが１となることから、３フレームであると求められ、ＩピクチャとＢピクチャとのデコードの開始タイミングは、６フレーム分遅れ、表示開始タイミングは、先頭がＢピクチャであることからＩピクチャのデコード開始タイミングより７フレーム分遅れる。

例えば、−４倍速の高速再生における場合、図２５に示されるように、１つ目のＧＯＰのＩピクチャとＢピクチャとのデコードの開始タイミングは、６フレーム分遅れ、表示開始タイミングは、先頭がＢピクチャであることからＩピクチャのデコード開始タイミングより７フレーム分遅れる。そして、次のＧＯＰのＩピクチャのデコード開始タイミングは、上述した式（１）により、前のＧＯＰの表示ピクチャ数４と、表示位相のずれ量補正値disp_zeroが０となることから、４フレームであると求められ、ＩピクチャとＢピクチャとのデコードの開始タイミングは、６フレーム分遅れ、表示開始タイミングは、先頭がＢピクチャであることからＩピクチャのデコード開始タイミングより７フレーム分遅れる。

例えば、＋５倍速の高速再生における場合、図２６に示されるように、１つ目のＧＯＰのＩピクチャとＢピクチャとのデコードの開始タイミングは、６フレーム分遅れ、表示開始タイミングは、先頭がＩピクチャであることからＩピクチャのデコード開始タイミングより６フレーム分遅れる。そして、次のＧＯＰのＩピクチャのデコード開始タイミングは、上述した式（１）により、前のＧＯＰの表示ピクチャ数３と、表示位相のずれ量補正値disp_zeroが０となることから、３フレームであると求められ、ＩピクチャとＢピクチャとのデコードの開始タイミングは、６フレーム分遅れ、表示開始タイミングは、先頭がＩピクチャであることからＩピクチャのデコード開始タイミングより６フレーム分遅れる。

例えば、−５倍速の高速再生における場合、図２７に示されるように、１つ目のＧＯＰのＩピクチャとＢピクチャとのデコードの開始タイミングは、６フレーム分遅れ、表示開始タイミングは、先頭がＢピクチャであることからＩピクチャのデコード開始タイミングより７フレーム分遅れる。そして、次のＧＯＰのＩピクチャのデコード開始タイミングは、上述した式（１）により、前のＧＯＰの表示ピクチャ数３と、表示位相のずれ量補正値disp_zeroが０となることから、３フレームであると求められ、ＩピクチャとＢピクチャとのデコードの開始タイミングは、６フレーム分遅れ、表示開始タイミングは、先頭がＢピクチャであることからＩピクチャのデコード開始タイミングより７フレーム分遅れる。

次に、図２８乃至図３１を用いて、図２のビデオバンクメモリ８２の設定について説明する。

図２８は、１倍速再生時に各ピクチャが図２のビデオバンクメモリ８２の８つのバンクに格納される状態を表す図である。

まず、バンクＮｏ．０乃至５は、デコード済みのＩピクチャおよびＰピクチャが、デコード順に格納されるようになされている。そして、最初のＩ２ピクチャの表示タイミングと同時に、バンクＮｏ．６にＢ３ピクチャが格納され、Ｂ３ピクチャが表示されるタイミングと同時に、バンクＮｏ．７にＢ４ピクチャが格納され、Ｂ４ピクチャが表示されるタイミングには、表示が終了されたＢ３ピクチャが格納されていたバンクＮｏ．６と、参照画像としての利用が終了したＩ２ピクチャが格納されていたバンクＮｏ．０とが開放され、バンクＮｏ．０には、Ｂ６ピクチャが格納される。その後、ＩピクチャまたはＰピクチャが格納されているバンクは、そのピクチャの参照画像としての利用とピクチャの表示とがいずれも終了した時点で開放される。Ｂピクチャは、開放された時間が早いバンクから、順次格納され、Ｂピクチャが格納されているバンクは、そのピクチャの表示後に開放される。すなわち、自身参照カウンタ、前方向参照カウンタ、および、後ろ方向参照カウンタのすべての値が０となったピクチャが格納されていたバンクが順次解放され、Ｂピクチャは、開放された時間が早いバンクから、順次格納され、表示後に開放される。

図２９は、２倍速再生時に各ピクチャが図２のビデオバンクメモリ８２の８つのバンクに格納される状態を表す図である。

まず、バンクＮｏ．０乃至５は、デコード済みのＩピクチャおよびＰピクチャが、デコード順に格納されるようになされている。そして、最初のＩ２ピクチャの表示タイミングと同時に、バンクＮｏ．６にＢ４ピクチャが格納され、Ｂ４ピクチャが表示されるタイミングと同時に、バンクＮｏ．７にＢ６ピクチャが格納され、参照画像としての利用が終了され、表示も終了したＩ２ピクチャが格納されていたバンクＮｏ．０が開放される。Ｂ６ピクチャが表示されるタイミングには、表示が終了されたＢ４ピクチャが格納されていたバンクＮｏ．６と、参照画像としての利用が終了したＰ５ピクチャが格納されていたバンクＮｏ．２とが解放される。その後、ＩピクチャまたはＰピクチャが格納されているバンクは、そのピクチャの参照画像としての利用と、表示されるピクチャはピクチャの表示とが、いずれも終了した時点で開放される。間引きされないＢピクチャは、開放された時間が早いバンクから、順次格納され、表示後に開放される。すなわち、自身参照カウンタ、前方向参照カウンタ、および、後ろ方向参照カウンタのすべての値が０となったピクチャが格納されていたバンクが順次解放され、Ｂピクチャは、開放された時間が早いバンクから、順次格納され、表示後に開放される。

図３０は、−１倍速再生時に各ピクチャが図２のビデオバンクメモリ８２の８つのバンクに格納される状態を表す図である。

バンクＮＯ．０乃至５は、デコード済みのＩピクチャおよびＰピクチャが、デコード順に格納されるようになされている。そして、バンクＮｏ．５にＩ２ピクチャが格納された次のタイミングで、バンクＮｏ．６にＢ１ピクチャが格納され、Ｂ１ピクチャが表示されるタイミングと同時に、バンクＮｏ．７にＢ０ピクチャが格納され、Ｂ０ピクチャが表示されるタイミングには、表示が終了されたＢ１ピクチャが格納されていたバンクＮｏ．６が開放される。その後、ＩピクチャまたはＰピクチャが格納されているバンクは、そのピクチャの参照画像としての利用とピクチャの表示とが、いずれも終了した時点で開放され、Ｂピクチャは、開放された時間が早いバンクから、順次格納され、そのＢピクチャの表示後に、対応するバンクは開放される。すなわち、自身参照カウンタ、前方向参照カウンタ、および、後ろ方向参照カウンタのすべての値が０となったピクチャが格納されていたバンクが順次解放される。すなわち、図３０における場合は、逆方向再生であるので、最初にバンクＮｏ．０に格納されたＩ２ピクチャは、最後に表示されるため、このＧＯＰの表示が終了するまで開放されない。

図３１は、−２倍速再生時に各ピクチャが図２のビデオバンクメモリ８２の８つのバンクに格納される状態を表す図である。

バンクＮＯ．０乃至５は、デコード済みのＩピクチャおよびＰピクチャが、デコード順に格納されるようになされている。そして、バンクＮｏ．５にＩ２ピクチャが格納された次のタイミングで、バンクＮｏ．６にＢ１ピクチャが格納され、Ｂ１ピクチャが表示されるタイミングと同時に、バンクＮｏ．７にＢ１２ピクチャが格納され、参照画像としての利用が終了されたＩ２ピクチャが格納されていたバンクＮｏ．５が解放される。そして、次に、Ｐ１４ピクチャが表示されるタイミングには、開放されたバンクＮｏ．５に、Ｂ１０ピクチャが格納され、表示が終了されたＢ１ピクチャが格納されていたバンクＮｏ．６が開放される。その後、ＩピクチャまたはＰピクチャが格納されているバンクは、そのピクチャの参照画像としての利用と、表示されるピクチャはピクチャの表示とが、いずれも終了した時点で開放され、間引きされないＢピクチャは、開放された時間が早いバンクから、順次格納され、そのＢピクチャの表示後に、対応するバンクは開放される。すなわち、自身参照カウンタ、前方向参照カウンタ、および、後ろ方向参照カウンタのすべての値が０となったピクチャが格納されていたバンクが順次解放される。すなわち、図３１における場合は、逆方向再生であるので、最初にバンクＮｏ．０に格納されたＩ２ピクチャは、最後に表示されるため、このＧＯＰの表示が終了するまで開放されない。

このように、ＭＰＥＧなどに代表される画像圧縮方式で一般的な双方向のフレーム間予測を用いて圧縮した映像データを逆転再生、高速再生するような場合において、ＩピクチャおよびＰピクチャを先にデコードし、Ｂピクチャのデコード時のバンク制御に上述した参照ポインタを用いるようにすることにより、複雑なバンク面制御を行うことなく、バンクの面数をできるだけ少なくして、効率よく逆方向再生、逆方向高速再生を実現することができる。

具体的には、フレームを保持しておくバンクの数が、デコードの処理単位に含まれるＩピクチャおよびＰピクチャの数と、Ｂピクチャ格納分の２面との合計数であれば、アンカーフレームであるＩピクチャおよびＰピクチャを先にデコードし、Ｂピクチャのデコード時のバンク制御に上述した参照ポインタを用いるようにすることにより、複雑なバンク面制御を行わずに、高速再生、逆方向再生を実現することができる。

例えば、本実施例のように、Ｎ＝１５，Ｍ＝３の、MPEG LONG GOPストリームでは、Ｉ，Ｐ，Ｐ，Ｐ，Ｐピクチャの５面＋次のＩピクチャの１面＋Ｂピクチャの２面の合計で、８面のビデオバンクメモリを用意することにより、ＩピクチャおよびＰピクチャを先にデコードし、Ｂピクチャのデコード時のバンク制御に上述した参照ポインタを用いるようにすることにより、複雑なバンク面制御を行わずに、高速再生、逆方向再生、逆方向高速再生を実現することができる。

また、ユーザからの操作によるスピード変更レスポンスを向上するために、フレーム単位でスピードを変更する目的で、Ｂピクチャのデコードおよび、表示を止める処理を行おうとしたとき、Ｂピクチャのデコードと、表示のタイミングの制御を別に管理しているにもかかわらず、バンクを管理するための処理が煩雑となることを防いで、バンク管理をシンプルにすることができ、例えば、入力ストリームの過渡状態で不正な参照処理などが行われたとしても容易に復帰することができ（後述するアンダーフロー処理）、スピード変更をフレーム単位に行うことができる。

次に、図３２のフローチャートを参照して、図１９のステップＳ１９６において実行されるアンダーフロー処理について説明する。

ステップＳ３６１において、ＣＰＵ２０は、時間管理カウンタおよび時間カウンタを参照し、表示処理に対してストリームデータの供給が間に合っていない状態、すなわち、アンダーフローが発生したか否かを判断する。ステップＳ３６１において、アンダーフローが発生していないと判断された場合、処理は、図１９のステップＳ１９６に戻り、図４のステップＳ３４に進む。

ステップＳ３６１において、アンダーフローが発生していると判断された場合、ステップＳ３６２において、ＣＰＵ２０は、時間を示すカウンタである時間カウンタの値を、時間情報付きＩ／Ｐピクチャデコードキューの先頭の時刻にあわせて修正し、処理は、図１９のステップＳ１９６に戻り、図４のステップＳ３４に進む。

図３３および図３４を用いて、アンダーフロー発生時の時間カウンタの値の補正について説明する。なお、図３３および図３４において、カッコ内の数字の０，１，２は、デコーダ２２乃至デコーダ２４のうちのいずれかに対応してそれぞれ設定されている情報キューに蓄積される情報、または、デコーダ２２乃至デコーダ２４のうちのいずれかにおいてそれぞれ実行される処理であることを示すものである。

図３３には、図２６を用いて説明した場合と同様に、−５倍速再生でアンダーフローが発生していない場合の時間カウンタに対して、情報キューに蓄積される情報、および、デコードと表示のタイミングが図示されている。図３３においては、あるＧＯＰのＩピクチャのデコード開始タイミングの時間カウンタの値が７である場合を例としている。

そして、例えば、２フレーム分アンダーフローが発生した場合、図３４に示されるように、時間カウンタを２フレーム分遅延させ、その時間カウンタを参照して処理を再開させることにより、それ以降のスケジューリングとデコードおよび表示の制御を、滞りなく実行させることが可能となる。

このような処理により、例えば、高速再生時のＨＤＤ１６のスループット不足などにより、ストリームの供給が滞った場合であっても、ストリームの供給が滞ったことによるアンダーフロー状態を検出し、時間情報計数をアンダーフローした時間分戻すことにより、破綻無く再生処理を再開することが可能である。

そして、図４のステップＳ３４において、すべてのフレームの処理が終了されていないと判断された場合、ステップＳ３５において、時間カウンタがインクリメントされ、処理は、ステップＳ３１に戻り、次のフレームに対して、それ以降の処理が繰り返される。

なお、デコードと表示の開始タイミングの位相のずれは、デコード処理単位に含まれるＩピクチャおよびＰピクチャの数に基づいて求められるものとして説明したが、例えば、デコード処理単位に含まれるフレームのうち、表示されるフレーム数を基にデコードと表示の開始タイミングの位相のずれを求めることができるようにしても良い。

なお、正方向または逆方向の高速再生が実行される場合、例えば、２番目以降のデコード処理単位におけるデコードのスケジューリングにおいて、表示されるフレームと表示されないフレームとの判断、すなわち、間引きが行われるのに先立って、例えば、デコード処理単位の先頭で表示されるピクチャのピクチャタイプなどの符号化パラメータを予め検出するようにしても良い。

例えば、表示されるフレームと表示されないフレームとの判断が行われる前に、前のデコード処理単位のデコードのスケジュールにおいて計数されたフレームカウンタと、算出された間引き周期とに基づいて、デコード処理単位の先頭で表示されるピクチャのピクチャタイプを予め検出するようにしても良いし、他の方法で、デコード処理単位の先頭で表示されるピクチャのピクチャタイプを予め検出することができるようにしても良い。

このようにすることにより、デコードのスケジュール処理を、更に、正確に高速に実行することが可能となる。
以上においては、１５ピクチャで１ＧＯＰが構成されている場合について説明したが、例えば、１ＧＯＰに含まれるアンカーフレーム（ＩピクチャおよびＰピクチャ）の数が、５つ以上または４つ以下であるような場合、図１を用いて説明した再生装置１により上述した１５ピクチャで１ＧＯＰが構成されている場合と同様にして１ＧＯＰごとにデコード処理を施すと、例えば、デコードされないピクチャが発生したり、デコード遅れが発生してしまう。

１５ピクチャで１ＧＯＰが構成されていない場合に対応するために、図１を用いて説明した再生装置１においては、それぞれのＧＯＰの構成を検出し、デコーダ２２乃至デコーダ２４のビデオバンクメモリ８２の数に対応したアンカーフレームを有するデコード処理単位としてのデコードユニットを、ＧＯＰの分割および結合により構成するようにしても良い。具体的には、ビデオバンクメモリ８２が８つのバンクを有している場合、１ＧＯＰをアンカーフレームが６フレーム以下となるように２つに分割するか、または、複数のＧＯＰを結合することによりデコード処理単位を構成し、デコード処理単位に含まれるＰピクチャおよびＢピクチャを全てデコードするために必要となるアンカーフレームを含めて、デコードを行うものとする。

１ＧＯＰに３０フレーム含まれている場合のＧＯＰ分割と、分割されたＧＯＰのそれぞれのデコードについて、図３５乃至図３７を用いて説明する。

図３５に示されるように、ＧＯＰ（０）は、Ｂ０乃至Ｐ２９の３０フレームで構成され、次にＧＯＰ（１）が続いている。それぞれのデコード処理単位において、先頭の２枚のＢピクチャは、その前のＧＯＰと一緒にデコードされるようになされている。

ＧＯＰ（０）には、アンカーフレームが１０フレーム存在するので、１５ピクチャで１ＧＯＰが構成されている場合と同様にして１ＧＯＰごとにデコード処理を施す方法では不具合が発生してしまう。そこで、図３５の下段に示されるように、ＧＯＰ（０）をアンカーフレームが６フレーム以下となる２つのデコード処理単位に分割し、デコードを行うものとする。

図３６に示されるように、ＧＯＰ（０）をＩ２乃至Ｐ１７と、Ｂ１８乃至Ｐ２９およびＢ０Ｂ１の２つのデコード単位ＧＯＰ（０−０）とＧＯＰ（０−１）とに分割してそれぞれ異なるデコーダにてデコードする。後半のＧＯＰ（０−１）の先頭の２つのＢピクチャＢ１８Ｂ１９をデコードするには、ＧＯＰ（０−０）の最後のアンカーフレームＰ１７が必要である。すなわち、Ｐ１７はＧＯＰ（０−１）のアンカーフレームでもある。また、後半のＧＯＰ（０−１）のアンカーフレームをデコードするには、前半のＧＯＰ（０−０）のアンカーフレームが必要である。したがって、ＧＯＰ（０−１）のアンカーフレームをデコードする前に、ＧＯＰ（０−０）のアンカーフレームをデコードし、その後、ＧＯＰ（０−１）のアンカーフレームと次のＧＯＰの先頭のＩピクチャをデコードする。

したがって、ＧＯＰ（０−０）とＧＯＰ（０−１）のいずれのデコード処理単位をデコードするデコーダにおいても、正方向であっても逆方向であっても、通常再生であっても、高速再生であっても、アンカーフレームのデコード順は不変である。一方、ＧＯＰ（０−０）とＧＯＰ（０−１）のいずれのデコード処理単位においても、Ｂピクチャは、再生方向および再生速度によって、デコード順が異なる。図３６においては、再生速度１倍の正方向再生および逆方向再生におけるデコード順が示されている。

すなわち、図３７に示されるように、再生速度１倍の正方向再生においては、いずれかのデコーダにおいて、ＧＯＰ（０−０）のアンカーフレームＩ２乃至Ｐ１７がデコードされた後、ＧＯＰ（０−０）のＢピクチャＢ３乃至Ｂ１６がデコードされるとともに、異なるデコーダにおいて、アンカーフレームＩ２乃至Ｐ１４がデコードされた後、それを参照画像として、ＧＯＰ（０−１）のアンカーフレームＰ１７乃至Ｐ２９およびＧＯＰ（１）の先頭のＩ２がデコードされ、続いて、ＧＯＰ（０−１）のＢピクチャＢ１８乃至Ｂ２８と、ＧＯＰ（１）のＢ０Ｂ１がデコードされる。

そして、再生速度１倍の逆方向再生においては、いずれかのデコーダにおいて、アンカーフレームＩ２乃至Ｐ１４がデコードされた後、それを参照画像として、ＧＯＰ（０−１）のアンカーフレームＰ１７乃至Ｐ２９およびＧＯＰ（１）の先頭のＩ２がデコードされ、続いて、ＧＯＰ（１）のＢ１Ｂ０とＧＯＰ（０−１）のＢピクチャＢ２８乃至Ｂ１８がデコードされ、異なるデコーダにおいて、ＧＯＰ（０−０）のアンカーフレームＩ２乃至Ｐ１７がデコードされた後、ＧＯＰ（０−０）のＢピクチャＢ１６乃至Ｂ３がデコードされる。

次に、１ＧＯＰに含まれるアンカーフレーム数が４以下であるＧＯＰが連続する場合のデコード処理単位の設定と、デコード処理について、図３８乃至図４０を用いて説明する。

図３８に示されるように、Ｂ０乃至Ｐ５の６フレームで１ＧＯＰのＧＯＰ（０）が構成され、Ｂ（０）乃至Ｐ８の９フレームでＧＯＰ（１）が構成され、そして、ＧＯＰ（２）が続いている。それぞれのデコード処理単位において、先頭の２枚のＢピクチャは、その前のＧＯＰと一緒にデコードされるようになされている。

ＧＯＰ（０）には、アンカーフレームが２フレーム存在し、ＧＯＰ（１）には、アンカーフレームが３フレーム存在する。そこで、図３８の下段に示されるように、ＧＯＰ（０）とＧＯＰ（１）とを結合してアンカーフレームが６フレーム以下となるデコード処理単位を設定し、デコードを行うものとする。

ここでは、ＧＯＰ（０）の先頭のＢ０およびＢ１は、前のＧＯＰとともにデコードされ、ＧＯＰ（０）のＩ２乃至Ｐ５、ＧＯＰ（１）、および、ＧＯＰ（２）の先頭のＢ０およびＢ１を、１つのデコード処理単位ＧＯＰ（０−０）としてデコードする。図３９に示されるように、正方向であっても逆方向であっても、通常再生であっても、高速再生であっても、アンカーフレームのデコード順は不変である。一方、Ｂピクチャは、再生方向および再生速度によって、デコード順が異なる。図３９においては、再生速度１倍の正方向再生および逆方向再生におけるデコード順が示されている。

すなわち、図４０に示されるように、再生速度１倍の正方向再生においては、いずれかのデコーダにおいて、ＧＯＰ（０−０）のアンカーフレームおよびＧＯＰ（２）の先頭のＩ２がデコードされ、続いて、ＧＯＰ（０−０）のＢピクチャがデコードされる。そして、再生速度１倍の逆方向再生においては、いずれかのデコーダにおいて、ＧＯＰ（０−０）のアンカーフレームおよびＧＯＰ（２）の先頭のＩ２がデコードされ、続いて、ＧＯＰ（０−０）のＢピクチャが、逆方向再生されるようにデコードされる。

次に、１ＧＯＰに含まれるアンカーフレーム数が６ＧＯＰ以上の長いＧＯＰと、１ＧＯＰに含まれるアンカーフレーム数が４以下の短いＧＯＰが連続している場合、これらのＧＯＰを結合した後分割してデコード処理単位を設定し、デコーダへの負荷を均等化するようにした場合について、図４１乃至図４３を用いて説明する。

図４１に示されるように、Ｂ０乃至Ｐ２０の２１フレームで１ＧＯＰのＧＯＰ（０）が構成され、Ｂ０乃至Ｐ８の９フレームで１ＧＯＰのＧＯＰ（１）が構成され、次にＧＯＰ（２）が続いている。それぞれのデコード処理単位において、先頭の２枚のＢピクチャは、その前のＧＯＰと一緒にデコードされるようになされている。

ＧＯＰ（０）には、アンカーフレームが７フレーム存在するので、上述したように、１５ピクチャで１ＧＯＰが構成されている場合と同様にして１ＧＯＰごとにデコード処理を施す方法では、不具合なくデコードすることができない。そこで、ＧＯＰ（０）をアンカーフレームが６フレーム以下となる２つのデコード処理単位に分割するようにしてもよいが、ここでは、続くＧＯＰを構成するフレーム数が少ないので、図４１の下段に示されるように、ＧＯＰ（０）とＧＯＰ（１）を結合した後、分割して、ＧＯＰ（０）とＧＯＰ（１）から、２つのデコード処理単位ＧＯＰ（０−０）とＧＯＰ（０−１）とを設定し、このデコード処理単位に基づいてデコードを行うものとする。

図４２に示されるように、ＧＯＰ（０）とＧＯＰ（１）を結合した後、ＧＯＰ（０）のＩ２乃至Ｐ１７を第１のデコード処理単位ＧＯＰ（０−０）とし、ＧＯＰ（０）のＢ１８乃至Ｐ２０、ＧＯＰ（１）全体、および、ＧＯＰ（２）のＢ１Ｂ２とを第２のデコード処理単位ＧＯＰ（０−１）として、それぞれ異なるデコーダにてデコードする。ＧＯＰ（０−１）の先頭の２つのＢピクチャＢ１８Ｂ１９をデコードするには、ＧＯＰ（０−０）の最後のアンカーフレームＰ１７が必要である。すなわち、Ｐ１７はＧＯＰ（０−１）のアンカーフレームでもある。また、後半のＧＯＰ（０−１）のアンカーフレームをデコードするには、前半のＧＯＰ（０−０）のアンカーフレームが必要である。したがって、ＧＯＰ（０−１）のアンカーフレームをデコードする前に、ＧＯＰ（０−０）のアンカーフレームをデコードし、その後、ＧＯＰ（０−１）のアンカーフレームと次のＧＯＰの先頭のＩピクチャをデコードする。

したがって、ＧＯＰ（０−０）とＧＯＰ（０−１）のいずれのデコード処理単位をデコードするデコーダにおいても、正方向であっても逆方向であっても、通常再生であっても、高速再生であっても、アンカーフレームのデコード順は不変である。一方、ＧＯＰ（０−０）とＧＯＰ（０−１）のいずれのデコード処理単位においても、Ｂピクチャは、再生方向および再生速度によって、デコード順が異なる。図４２においては、再生速度１倍の正方向再生および逆方向再生におけるデコード順が示されている。

すなわち、図４３に示されるように、再生速度１倍の正方向再生においては、いずれかのデコーダにおいて、ＧＯＰ（０−０）のアンカーフレームである、ＧＯＰ（０）のＩ２乃至Ｐ１７がデコードされた後、ＧＯＰ（０−０）のＢピクチャ、すなわち、ＧＯＰ（０）のＢ３乃至Ｂ１６がデコードされる。そして、異なるデコーダにおいて、ＧＯＰ（０−０）のアンカーフレームＩ２乃至Ｐ１４がデコードされた後、それを参照画像として、ＧＯＰ（０−１）のアンカーフレームである、ＧＯＰ（０）のＰ１７，Ｐ２０、ＧＯＰ（１）のＩ２，Ｐ５，Ｐ８、およびＧＯＰ（２）の先頭のＩ２がデコードされ、続いて、ＧＯＰ（０−１）のＢピクチャである、ＧＯＰ（０）のＢ１８、Ｂ１９、ＧＯＰ（１）のＢ０乃至Ｂ７、および、ＧＯＰ（２）のＢ０Ｂ１がデコードされる。

そして、再生速度１倍の逆方向再生においては、いずれかのデコーダにおいて、ＧＯＰ（０−０）のアンカーフレームＩ２乃至Ｐ１４がデコードされた後、それを参照画像として、ＧＯＰ（０−１）のアンカーフレームである、ＧＯＰ（０）のＰ１７，Ｐ２０、ＧＯＰ（１）のＩ２，Ｐ５，Ｐ８、およびＧＯＰ（２）の先頭のＩ２がデコードされ、続いて、ＧＯＰ（２）のＢ１Ｂ０と、ＧＯＰ（０−１）のＢピクチャである、ＧＯＰ（１）のＢ７乃至Ｂ０、および、ＧＯＰ（０）のＢ１９、Ｂ１８がデコードされる。そして、異なるデコーダにおいて、ＧＯＰ（０−０）のアンカーフレームである、ＧＯＰ（０）のＩ２乃至Ｐ１７がデコードされた後、ＧＯＰ（０−０）のＢピクチャ、すなわち、ＧＯＰ（０）のＢ１６乃至Ｂ３がデコードされる。

次に、１ＧＯＰに含まれるアンカーフレーム数が４以下の短いＧＯＰと、１ＧＯＰに含まれるアンカーフレーム数が６ＧＯＰ以上の長いＧＯＰとが連続している場合、これらのＧＯＰを結合した後分割してデコード処理単位を設定し、デコーダへの負荷を均等化するようにした場合について、図４４乃至図４６を用いて説明する。

図４４に示されるように、Ｂ０乃至Ｐ８の９フレームで１ＧＯＰのＧＯＰ（０）が構成され、Ｂ０乃至Ｐ１４の１５フレームで１ＧＯＰのＧＯＰ（１）が構成され、次にＧＯＰ（２）が続いている。それぞれのデコード処理単位において、先頭の２枚のＢピクチャは、その前のＧＯＰと一緒にデコードされるようになされている。

ＧＯＰ（０）には、アンカーフレームが３フレームしか存在しないが、ＧＯＰ（１）には、アンカーフレームが５フレーム存在するので、図４４の下段に示されるように、ＧＯＰ（０）とＧＯＰ（１）を結合した後、分割して、ＧＯＰ（０）とＧＯＰ（１）から、２つのデコード処理単位ＧＯＰ（０−０）とＧＯＰ（０−１）とを設定し、このデコード処理単位に基づいてデコードを行うものとする。

図４５に示されるように、ＧＯＰ（０）とＧＯＰ（１）を結合した後、ＧＯＰ（０）のＩ２乃至ＧＯＰ（１）のＰ８を第１のデコード処理単位ＧＯＰ（０−０）とし、ＧＯＰ（１）のＢ９乃至Ｐ１４と、ＧＯＰ（２）のＢ１Ｂ２とを第２のデコード処理単位ＧＯＰ（０−１）として、それぞれ異なるデコーダにてデコードする。ＧＯＰ（０−１）の先頭の２つのＢピクチャＢ９Ｂ１０をデコードするには、ＧＯＰ（０−０）の最後のアンカーフレームＰ８が必要である。すなわち、Ｐ８はＧＯＰ（０−１）のアンカーフレームでもある。また、後半のＧＯＰ（０−１）のアンカーフレームをデコードするには、前半のＧＯＰ（０−０）のアンカーフレームのうち、ＧＯＰ（１）のＩ２およびＰ５が必要である。したがって、ＧＯＰ（０−１）のアンカーフレームをデコードする前に、ＧＯＰ（０−０）のアンカーフレームに含まれるＧＯＰ（１）のＩ２およびＰ５をデコードし、その後、ＧＯＰ（０−１）のアンカーフレームと次のＧＯＰの先頭のＩピクチャをデコードする。

したがって、ＧＯＰ（０−０）とＧＯＰ（０−１）のいずれのデコード処理単位をデコードするデコーダにおいても、正方向であっても逆方向であっても、通常再生であっても、高速再生であっても、アンカーフレームのデコード順は不変である。一方、ＧＯＰ（０−０）とＧＯＰ（０−１）のいずれのデコード処理単位においても、Ｂピクチャは、再生方向および再生速度によって、デコード順が異なる。図４５においては、再生速度１倍の正方向再生および逆方向再生におけるデコード順が示されている。

すなわち、図４６に示されるように、再生速度１倍の正方向再生においては、いずれかのデコーダにおいて、ＧＯＰ（０−０）のアンカーフレームである、ＧＯＰ（０）のＩ２乃至Ｐ８と、ＧＯＰ（１）のＩ２乃至Ｐ８がデコードされた後、ＧＯＰ（０−０）のＢピクチャ、すなわち、ＧＯＰ（０）のＢ３乃至Ｂ７とＧＯＰ（１）のＢ０乃至Ｂ７がデコードされる。そして、異なるデコーダにおいて、ＧＯＰ（０−０）のアンカーフレームのうちＧＯＰ（１）のアンカーフレームであるＩ２およびＰ５がデコードされた後、それを参照画像として、ＧＯＰ（０−１）のアンカーフレームである、ＧＯＰ（１）のＰ８乃至Ｐ１４、およびＧＯＰ（２）の先頭のＩ２がデコードされ、続いて、ＧＯＰ（０−１）のＢピクチャであるＧＯＰ（１）のＢ９乃至Ｂ１３、および、ＧＯＰ（２）のＢ０Ｂ１がデコードされる。

そして、再生速度１倍の逆方向再生においては、いずれかのデコーダにおいて、ＧＯＰ（０−０）のアンカーフレームのうちＧＯＰ（１）のアンカーフレームであるＩ２およびＰ５がデコードされた後、それを参照画像として、ＧＯＰ（０−１）のアンカーフレームである、ＧＯＰ（１）のＰ８乃至Ｐ１４、およびＧＯＰ（２）の先頭のＩ２がデコードされ、続いて、ＧＯＰ（２）のＢ１Ｂ０と、ＧＯＰ（０−１）のＢピクチャである、ＧＯＰ（１）のＢ１３乃至Ｂ９がデコードされる。そして、異なるデコーダにおいて、ＧＯＰ（０−０）のアンカーフレームである、ＧＯＰ（０）のＩ２乃至Ｐ８およびＧＯＰ（１）のＩ２乃至Ｐ８がデコードされた後、ＧＯＰ（０−０）のＢピクチャ、すなわち、ＧＯＰ（１）のＢ７乃至Ｂ０およびＧＯＰ（０）のＢ７乃至Ｂ３がデコードされる。

図３５乃至図４６を用いて説明した様にして、デコード処理単位としてのデコードユニットが構成されるので、デコードユニットごとにスケジューリングが実行されて、指定された再生方向および再生速度で再生されるように、必要に応じて間引き処理が実行されて、デコードが行われ、ストリームが再生出力される。

具体的には、ＣＰＵ２０が、メモリ１８に転送されて保存されている複数のＧＯＰのうちの次にデコードされるＧＯＰと、その次（２番目）のＧＯＰの構成を読み出して、アンカーフレームの数を基に、デコード処理単位としてのデコードユニットを、ＧＯＰの分割および結合により構成し、ＰＣＩブリッジ１７に制御コマンドを送出して、メモリ１８からデコードユニットごとにストリームデータを読み出させて、デコーダ２２乃至デコーダ２４のいずれかに供給させるように制御する。ＰＣＩブリッジ１７は、ＣＰＵ２０の制御に基づいて、メモリ１８からデコードユニットごとにストリームデータを読み出して、デコーダ２２乃至デコーダ２４のいずれかに供給する。

そして、ＣＰＵ２０は、デコードユニットに対して、上述した場合と同様にしてスケジューリングを行う。このとき、例えば、図３５を用いて説明したＧＯＰ（０−１）、図４１を用いて説明したＧＯＰ（０−１）、または、図４４を用いて説明したＧＯＰ（０−１）図４１を用いて説明したＧＯＰ（０−１）のように、そのデコードユニットのアンカーフレームをデコードするために、他のデコードユニットのアンカーフレームの少なくとも一部をデコードする必要がある場合、入力ピクチャキューには、アンカーフレームをデコードするために必要な他のデコードユニットのアンカーフレームも設定される。すなわち、アンカーフレームをデコードするために必要な他のデコードユニットのアンカーフレームは表示順情報キューにも設定される。

そして、図１２および図１３のフローチャートを参照して説明した、デコード設定処理において、ＣＰＵ２０は、表示順情報キューに設定されているピクチャＩＤを基に、参照カウンタのポインタを設定する。

例えば、図３５を用いて説明したＧＯＰ（０−１）に対応する表示順情報キューに、Ｉ（２）、Ｐ（５），Ｐ（８），Ｐ（１１），Ｐ（１４），Ｐ（１７），Ｂ（１８），Ｂ（１９），Ｐ（２０），Ｂ（２１），Ｂ（２２），Ｐ（２３），Ｂ（２４），Ｂ（２５），Ｐ（２６），Ｂ（２７），Ｂ（２８），Ｐ（２９），Ｂ（０），Ｂ（１），Ｉ（２）のようにピクチャＩＤが格納されている場合、Ｂ（２１）に対応付けられて、自身参照ポインタとして自分自身のディスプレイオーダ順を示すポインタが、前方向参照ポインタとして、前方向の参照画像であるＰ（２０）のディスプレイオーダ順を示すポインタが、後ろ方向参照ポインタとして、後ろ方向参照画像であるＰ（２３）のディスプレイオーダ順を示すポインタが、それぞれ設定される。そして、Ｐ（２０）に対応付けられて、自身参照ポインタとして自分自身のディスプレイオーダ順を示すポインタと、前方向参照ポインタとして、前方向の参照画像であるＰ（１７）のディスプレイオーダ順を示すポインタがそれぞれ設定され、Ｐ（１７）に対応付けられて、自身参照ポインタとして自分自身のディスプレイオーダ順を示すポインタと、前方向参照ポインタとして、前方向の参照画像であるＰ（１４）のディスプレイオーダ順を示すポインタがそれぞれ設定される。そして、同様に、それぞれの自身参照ポインタに加えて、前方向参照ポインタとして、Ｐ（１４）にはＰ（１１）のディスプレイオーダを示すポインタが、Ｐ（１１）にはＰ（８）のディスプレイオーダを示すポインタが、Ｐ（８）にはＰ（５）のディスプレイオーダを示すポインタが、Ｐ（５）にはＩ（２）のディスプレイオーダを示すポインタが、それぞれ設定される。

Ｉ（２），Ｐ（５），Ｐ（８），Ｐ（１１），Ｐ（１４）、および、Ｐ（１７）は、デコード設定処理のステップＳ１１６において、所定の１５フレームに含まれないと判断されるが、デコード設定されるピクチャＩＤであるため、ステップＳ１１８において削除されない。

そして、ステップＳ１１９において、ＣＰＵ２０は、処理対象のフレームは、表示されるか否かを判断するので、ここで、Ｉ（２）、Ｐ（５），Ｐ（８），Ｐ（１１），Ｐ（１４）、および、Ｐ（１７）は、表示されないフレームであると判断される。

ステップＳ１１９において、表示が行われないと判断され、ステップＳ１２４において、Ｐピクチャであると判断された場合、ステップＳ１２５において、ＣＰＵ２０は、参照カウンタのポインタを基に、対象となる前方向参照カウンタに１を加算する。具体的には、処理対象のフレームが、Ｐ（２０）である場合、Ｐ（１７）に対応付けられて、前方向参照ポインタが設定されるので、ＣＰＵ２０は、Ｐ（１４）の前方向の参照カウンタに、１を加算し、同様にして、Ｉ（２）、Ｐ（５），Ｐ（８），Ｐ（１１）の前方向の参照カウンタに、１を加算する。

ステップＳ１２５の処理の終了後、または、ステップＳ１１９において、表示が行われないと判断され、ステップＳ１２６において、Ｉピクチャであると判断された場合、ステップＳ１２７において、ＣＰＵ２０は、対応するピクチャＩＤを、いずれかのデコードキューに設定し、表示順情報キューから削除する。すなわち、Ｉ（２）、Ｐ（５），Ｐ（８），Ｐ（１１），Ｐ（１４）、および、Ｐ（１７）は、Ｉ／Ｐデコードキューに設定される。

このようにしてＩ／Ｐデコードキューには、アンカーフレームのデコードのためにデコードされる、デコードユニット以外のＩピクチャおよびＰピクチャも設定され、そのデコードユニットのアンカーフレームに先立ってデコードされるようにデコードスケジュールが設定される。

そして、ＣＰＵ２０は、次のデータを供給するデコーダを示すレジスタに保持されている値を参照し、デコーダ２２乃至デコーダ２４のうちデコードを実行するデコーダとして設定されているものを制御する。デコード処理を実行するデコーダ２２乃至デコーダ２４のうちのいずれかのエレメンタリストリームアドレス決定部７３は、ＣＰＵ２０の制御に基づいて、時間情報付きＩ／Ｐピクチャデコードキューに設定されたピクチャＩＤに対応するピクチャのデータを、メモリコントローラ７４により、入力バッファ７５から読み出して、デコード処理部７７に供給する。

デコードされるピクチャがＩピクチャである場合、ＣＰＵ２０は、デコード処理部７７を制御して、メモリコントローラ７４から供給されたＩピクチャをデコードさせるとともに、書き込み画アドレス決定部７８を制御して、デコードされたフレームデータをメモリコントローラ８１に供給させて、ビデオバンクメモリ８２に保存させる。また、デコードされるピクチャがＰピクチャである場合、ＣＰＵ２０は、参照画アドレス決定部７９を制御してＰピクチャの参照バンク位置を基に、メモリコントローラ８１により、ビデオバンクメモリ８２に格納されている参照画を読み出させて、デコード処理部７７に供給させ、デコード処理部７７を制御して、メモリコントローラ７４から供給されたＰピクチャをデコードさせるとともに、書き込み画アドレス決定部７８を制御して、デコードされたフレームデータをメモリコントローラ８１に供給させて、ビデオバンクメモリ８２に保存させ、対象となる前方向の参照カウンタから１を減算する。また、デコードされるピクチャがＢピクチャである場合、ＣＰＵ２０は、参照画アドレス決定部７９を制御して、Ｂピクチャの参照バンク位置を基に、メモリコントローラ８１により、ビデオバンクメモリ８２に格納されている参照画を読み出させて、デコード処理部７７に供給させ、デコード処理部７７を制御して、メモリコントローラ７４から供給されたＢピクチャをデコードさせ、対象となる前方向および後ろ方向の参照カウンタから１を減算する。

すなわち、デコードユニット以外のＩピクチャおよびＰピクチャは、先頭から順次、参照カウンタの値がすべて０となるので、これらのピクチャＩＤに対応するバンクは解放され、アンカーフレームまたはＢピクチャのデコードに用いることが可能となる。

次に、図４７のフローチャートを参照して、１ＧＯＰを構成するピクチャ数が１５以外であるときのＧＯＰ分割・結合処理について説明する。

ステップＳ６０１において、ＣＰＵ２０は、分割後、スケジューリングされていないデコードユニットがあるか否かを判断する。

ステップＳ６０１において、スケジューリングされていないデコードユニットがあると判断された場合、ステップＳ６０２において、ＣＰＵ２０は、上述したフレームごとに行う処理によって、スケジュールされていない分割後のデコードユニットのデコードをスケジューリングし、デコードする。

ステップＳ６０１において、スケジューリングされていないデコードユニットがないと判断された場合、ステップＳ６０３において、ＣＰＵ２０は、デコードのスケジューリングが行われていない次のＧＯＰおよび２番目のＧＯＰの構成を検出する。

ステップＳ６０４において、ＣＰＵ２０は、次のＧＯＰは、１つのデコーダでデコード可能な最大のサイズよりも大きいか否かを判断する。具体的には、ＣＰＵ２０は、次のＧＯＰのアンカーフレームの数を確認し、１つのデコーダに用意されているバンクの数によって決まる、１つのデコーダで処理するのに適したアンカーフレーム数と比較することにより、次のＧＯＰが１つのデコーダでデコード可能な最大のサイズよりも大きいか否かを判断する。

ステップＳ６０４において、次のＧＯＰは１つのデコーダでデコード可能な最大のサイズよりも大きいと判断された場合、ステップＳ６０５において、ＣＰＵ２０は、次のＧＯＰと２番目のＧＯＰとを結合して、２つのデコーダでデコード可能なサイズとなるか否かを判断する。具体的には、ＣＰＵ２０は、ビデオバンクメモリ８２が８つのバンクを有している場合、次のＧＯＰと２番目のＧＯＰとを結合したときにアンカーフレームが１０フレーム以下、すなわち、ビデオバンクメモリ８２のバンク数から３を減算した値の２倍以下となっているか否かを判断する。

ステップＳ６０５において、次のＧＯＰと２番目のＧＯＰとを結合して、２つのデコーダでデコード可能なサイズとなると判断された場合（例えば、図４１乃至図４３を用いて説明した様に、１ＧＯＰに含まれるアンカーフレーム数が６ＧＯＰ以上の長いＧＯＰと、１ＧＯＰに含まれるアンカーフレーム数が４以下の短いＧＯＰが連続している場合など）、処理は、後述するステップＳ６１０に進む。

ステップＳ６０５において、次のＧＯＰと２番目のＧＯＰとを結合して、２つのデコーダでデコード可能なサイズとならないと判断された場合、ステップＳ６０６において、ＣＰＵ２０は、例えば、図３５乃至図３７を用いて説明した３０ピクチャで１ＧＯＰが構成されている場合のように、次のＧＯＰを、１つのデコーダでデコード可能な大きさの複数のデコードユニットに分割し、処理は、後述するステップＳ６１２に進む。

ステップＳ６０４において、次のＧＯＰは１つのデコーダでデコード可能な最大のサイズよりも大きくない（すなわち、小さい）と判断された場合、ステップＳ６０７において、ＣＰＵ２０は、次のＧＯＰと２番目のＧＯＰとを結合して、１つのデコーダでデコード可能なサイズとなるか否かを判断する。

ステップＳ６０７において、次のＧＯＰと２番目のＧＯＰとを結合して、１つのデコーダでデコード可能なサイズとなると判断された場合、ステップＳ６０８において、ＣＰＵ２０は、例えば、図３８乃至図４０を用いて説明した１ＧＯＰに含まれるアンカーフレーム数が４以下であるＧＯＰが連続する場合のようにして、次のＧＯＰと２番目のＧＯＰとを結合して、１つのデコードユニットとし、処理は、後述するステップＳ６１２に進む。

ステップＳ６０７において、次のＧＯＰと２番目のＧＯＰとを結合して、１つのデコーダでデコード可能なサイズとならないと判断された場合、ステップＳ６０９において、ＣＰＵ２０は、次のＧＯＰと２番目のＧＯＰとを結合して、２つのデコーダでデコード可能なサイズとなるか否かを判断する。具体的には、ＣＰＵ２０は、例えば、図４４乃至図４６を用いて説明した１ＧＯＰに含まれるアンカーフレーム数が４以下の短いＧＯＰと、１ＧＯＰに含まれるアンカーフレーム数が６ＧＯＰ以上の長いＧＯＰとが連続しているときなどのように、ビデオバンクメモリ８２が８つのバンクを有している場合、次のＧＯＰと２番目のＧＯＰとを結合したときにアンカーフレームが１０フレーム以下、すなわち、ビデオバンクメモリ８２のバンク数から３を減算した値の２倍以下となっているか否かを判断する。

ステップＳ６０５において、次のＧＯＰと２番目のＧＯＰとを結合して、２つのデコーダでデコード可能なサイズとなると判断された場合、または、ステップＳ６０９において、次のＧＯＰと２番目のＧＯＰとを結合して、２つのデコーダでデコード可能なサイズとなると判断された場合、ステップＳ６１０において、ＣＰＵ２０は、例えば、図４１乃至図４３を用いて説明した場合や、図４４乃至図４６を用いて説明した場合のように、次のＧＯＰと２番目のＧＯＰとを結合後、分割して、２つのデコードユニットとし、処理は、後述するステップＳ６１２に進む。

ステップＳ６０９において、次のＧＯＰと２番目のＧＯＰとを結合して、２つのデコーダでデコード可能なサイズとならないと判断された場合、ステップＳ６１１において、ＣＰＵ２０は、次のＧＯＰを、そのまま、１つのデコードユニットとする。

ステップＳ６０６、ステップＳ６０８、ステップＳ６１０、または、ステップＳ６１１の処理の終了後、ステップＳ６１２において、ＣＰＵ２０は、上述した処理により設定されたデコードユニットのうち、次にデコードされるデコードユニットのデコードを、上述したフレームごとに行う処理によってスケジューリングし、デコードする。

ステップＳ６１３において、ＣＰＵ２０は、スケジュールされていない分割後のデコードユニットがある場合、そのデコードユニットを、スケジュール待ちのデータとして保持し、処理が終了される。

このような処理により、１ＧＯＰを構成するピクチャ数が、１５ピクチャ以外であり、ＧＯＰごとに異なるような場合においても、高速にデコード処理ができるように、ＧＯＰの分割や結合が行われる。

なお、ここでは、デコーダ２２乃至デコーダ２４のそれぞれのビデオバンクメモリ８２が８バンクである場合のスケジューリングが無駄なく行われるようなＧＯＰの分割または結合の方法について説明したが、デコーダ２２乃至デコーダ２４のそれぞれのビデオバンクメモリ８２に保持可能なフレームの数（バンクの数）が８つではない場合においては、ビデオバンクメモリ８２に保持可能なフレームの数（バンクの数）に応じて、ＧＯＰの分割または結合が行われるようにしても良いことは言うまでもない。

なお、ＧＯＰ分割時の後ろのデコードユニット、すなわち、アンカーフレームデコードのために、前のデコードユニットのアンカーフレームをデコードする必要があるデコードユニットにおいては、そのデコードユニットに含まれているアンカーフレームの数が６フレームである場合、そのデコードユニットに含まれているアンカーフレームのデコード開始タイミングから表示開始タイミングのずれは、先頭がＩピクチャまたはＰピクチャのとき６ピクチャずれで、Ｂピクチャのとき７ピクチャずれである。また、そのデコードユニットに含まれているアンカーフレームの数が５フレーム以下のｎフレームである場合、そのデコードユニットに含まれているアンカーフレームのデコード開始タイミングと表示開始タイミングのずれは、デコードユニットに含まれるアンカーフレーム数に基づいて変更されるものとなり、先頭がＩピクチャまたはＰピクチャのときｎフレームずれで、Ｂピクチャのときｎ＋１フレームずれである。

図４８は、図３５を用いて説明したデコードユニットＧＯＰ（０−１）が、１倍速再生時にビデオバンクメモリ８２の８つのバンクに格納される状態を表す図である。

まず、バンクＮｏ．０乃至５に、アンカーフレームのデコードのためにデコードされるＧＯＰ（０−０）のＩ２，Ｐ５，Ｐ８，Ｐ１１，Ｐ１４、および、Ｐ１７が、デコード順に格納されるようになされている。Ｐ５がデコードされたとき、Ｉ２の参照カウンタは全て０となるので、バンクＮｏ．０は解放され、他のデータを上書きして保持することが許可される。Ｐ８がデコードされたとき、Ｐ５の参照カウンタは全て０となるので、バンクＮｏ．１は解放され、他のデータを上書きして保持することが許可される。Ｐ１１がデコードされたとき、Ｐ８の参照カウンタは全て０となるので、バンクＮｏ．２は解放され、他のデータを上書きして保持することが許可される。Ｐ１４がデコードされたとき、Ｐ１１の参照カウンタは全て０となるので、バンクＮｏ．３は解放され、他のデータを上書きして保持することが許可される。Ｐ１７がデコードされたとき、Ｐ１４の参照カウンタは全て０となるので、バンクＮｏ．４は解放され、他のデータを上書きして保持することが許可される。Ｐ１７が格納されているバンクＮｏ．５は、デコードユニットＧＯＰ（０−１）のＢ１８，Ｂ１９がデコードされるまで、開放されない。

そして、その後、デコードユニットＧＯＰ（０−１）のそれぞれのフレームのデコードが開始される。まず、デコードユニットＧＯＰ（０−１）のデコード済みのＩピクチャおよびＰピクチャが、空きバンクに順次格納されるようになされているので、バンクＮｏ．６にＰ２０、バンクＮｏ．７にＰ２３、そして、解放されたバンクＮｏ．０にＰ２６、バンクＮｏ．１にＰ２９、バンクＮｏ．２に次のデコードユニットのＩ２が格納される。続いて、バンクＮｏ．３にＢ１８ピクチャが格納され、Ｂ１８ピクチャが表示されるタイミングと同時に、バンクＮｏ．４にＢ１９ピクチャが格納され、Ｂ１９ピクチャが表示されるタイミングには、表示が終了されたＢ１８ピクチャが格納されていたバンクＮｏ．３と、参照画像としての利用が終了したＰ１７ピクチャが格納されていたバンクＮｏ．５とが開放され、バンクＮｏ．５には、Ｂ２１ピクチャが格納される。その後、ＩピクチャまたはＰピクチャが格納されているバンクは、そのピクチャの参照画像としての利用とピクチャの表示とがいずれも終了した時点で開放される。デコードされたＢピクチャは、開放された時間が早いバンクから、順次格納され、Ｂピクチャが格納されているバンクは、そのピクチャの表示後に開放される。すなわち、自身参照カウンタ、前方向参照カウンタ、および、後ろ方向参照カウンタのすべての値が０となったピクチャが格納されていたバンクが順次解放され、Ｂピクチャは、開放された時間が早いバンクから、順次格納され、表示後に開放される。

図４９は、図４１を用いて説明したデコードユニットＧＯＰ（０−１）が、−１倍速再生時にビデオバンクメモリ８２の８つのバンクに格納される状態を表す図である。

まず、バンクＮｏ．０乃至５に、アンカーフレームのデコードのためにデコードされるＧＯＰ（０−０）のＩ２，Ｐ５，Ｐ８，Ｐ１１，Ｐ１４、および、Ｐ１７が、デコード順に格納されるようになされている。Ｐ５がデコードされたとき、Ｉ２の参照カウンタは全て０となるので、バンクＮｏ．０は解放され、他のデータを上書きして保持することが許可される。Ｐ８がデコードされたとき、Ｐ５の参照カウンタは全て０となるので、バンクＮｏ．１は解放され、他のデータを上書きして保持することが許可される。Ｐ１１がデコードされたとき、Ｐ８の参照カウンタは全て０となるので、バンクＮｏ．２は解放され、他のデータを上書きして保持することが許可される。Ｐ１４がデコードされたとき、Ｐ１１の参照カウンタは全て０となるので、バンクＮｏ．３は解放され、他のデータを上書きして保持することが許可される。Ｐ１７がデコードされたとき、Ｐ１４の参照カウンタは全て０となるので、バンクＮｏ．４は解放され、他のデータを上書きして保持することが許可される。Ｐ１７が格納されているバンクＮｏ．５は、デコードユニットＧＯＰ（０−１）のＢ１８，Ｂ１９がデコードされるまで、開放されない。

そして、その後、デコードユニットＧＯＰ（０−１）のそれぞれのフレームのデコードが開始される。まず、デコードユニットＧＯＰ（０−１）のデコード済みのＩピクチャおよびＰピクチャが、空きバンクに順次格納されるようになされているので、バンクＮｏ．６にＰ２０、バンクＮｏ．７にＩ２、そして、解放されたバンクＮｏ．０にＰ５、バンクＮｏ．１にＰ８、バンクＮｏ．２に次のデコードユニットのＩ２が格納される。続いて、バンクＮｏ．３にＢ１ピクチャが格納され、Ｂ１ピクチャが表示されるタイミングと同時に、バンクＮｏ．４にＢ０ピクチャが格納され、Ｂ０ピクチャが表示されるタイミングには、表示が終了されたＢ１ピクチャが格納されていたバンクＮｏ．３と、参照画像としての利用が終了したＩ２ピクチャが格納されていたバンクＮｏ．２とが開放され、バンクＮｏ．２には、Ｂ７ピクチャが格納される。その後、ＩピクチャまたはＰピクチャが格納されているバンクは、そのピクチャの参照画像としての利用とピクチャの表示とが、いずれも終了した時点で開放され、デコードされたＢピクチャは、開放された時間が早いバンクから、順次格納され、そのＢピクチャの表示後に、対応するバンクは開放される。すなわち、自身参照カウンタ、前方向参照カウンタ、および、後ろ方向参照カウンタのすべての値が０となったピクチャが格納されていたバンクが順次解放される。すなわち、図４９における場合は、逆方向再生であるので、最初にバンクＮｏ．５に格納されたＰ１７ピクチャは、最後に表示されるＢ１８に参照されるため、このＧＯＰの表示が終了するまで開放されない。

図５０は、図４４を用いて説明したデコードユニットＧＯＰ（０−１）が、２倍速再生時にビデオバンクメモリ８２の８つのバンクに格納される状態を表す図である。

まず、バンクＮｏ．０乃至２に、アンカーフレームのデコードのためにデコードされるＧＯＰ（０−０）のＩ２、Ｐ５、および、Ｐ８が、デコード順に格納されるようになされている。Ｐ５がデコードされたとき、Ｉ２の参照カウンタは全て０となるので、バンクＮｏ．０は解放され、他のデータを上書きして保持することが許可される。Ｐ８がデコードされたとき、Ｐ５の参照カウンタは全て０となるので、バンクＮｏ．１は解放され、他のデータを上書きして保持することが許可される。Ｐ８が格納されているバンクＮｏ．２は、デコードユニットＧＯＰ（０−１）のＢ９がデコードされるまで、開放されない。

そして、その後、デコードユニットＧＯＰ（０−１）のそれぞれのフレームのデコードが開始される。デコード済みのＩピクチャおよびＰピクチャが、デコード順に格納されるようになされているので、バンクＮｏ．３にＰ１１、バンクＮｏ．４にＰ１４、バンクＮｏ．５にＩ２が格納される。続いて、バンクＮｏ．６に最初に表示されるＢ９ピクチャが格納され、最初のＢ９ピクチャの表示タイミングと同時に、バンクＮｏ．７にＢ１３ピクチャが格納され、Ｐ１１ピクチャが表示されるタイミングと同時に、解放されているバンクＮｏ．０にＢ０ピクチャが格納される。すなわち、自身参照カウンタ、前方向参照カウンタ、および、後ろ方向参照カウンタのすべての値が０となったピクチャが格納されていたバンクが順次解放され、デコードされたＢピクチャは、開放された時間が早いバンクから、順次格納され、表示後に開放される。

このように、ＧＯＰの分割、または、結合によって構成されるデコード処理単位であるデコードユニットをデコードする場合においても、参照カウンタを参照することにより、バンクメモリの容量が少なくても、複雑な制御を行うことなく、圧縮符号化データをデコードして、高速再生、逆方向再生、または、逆方向高速再生を行うことができる。

なお、以上の説明においては、アンカーフレームのデコード用として固定されているバンクの数に対して、１つのデコードユニットに含まれるアンカーフレームの数が同一か、それよりも少なくなるようにデコードユニットが設定されるものとして説明したが、デコードユニットは、前のデコードユニットのアンカーフレーム数と比較して、ｍ（ｍは１以上の実験的経験的に設定可能な正の整数で、例えば、２乃至４フレーム程度が好適である）フレーム以上多くしないようにデコードユニットを設定すると、更に好適である。

例えば、アンカーフレーム数１のＧＯＰと、アンカーフレーム数１０のＧＯＰとがが連続していた場合、２ＧＯＰの合計アンカーフレーム数が１１となり、この２ＧＯＰを加えて、２つのデコードユニットを構成することができない。このため、「アンカーフレーム数１＋１」「アンカーフレーム数５＋１」「アンカーフレーム数５＋１」の構成でデコードが行われてしまい、デコード遅れが発生してしまう。

そこで、例えば、前のデコードユニットのアンカーフレーム数と比較して、２以上多いアンカーフレームを含まないようにデコードユニットを設定するものとした場合、２ＧＯＰの合計アンカーフレーム数が１１であるとき、「アンカーフレーム数１＋１」「アンカーフレーム数３＋１」「アンカーフレーム数３＋１」「アンカーフレーム数４＋１」の構成でデコードユニットが構成されて、デコードが実行されるので、デコード遅れは発生しない。

さらに、ＨＤＤ１６に記録されている圧縮符号化データに対して、ＨＤＤ１６から読み出すデータとして有効であるか否かを示す読み出し用のフラグ群、デコードのスケジューリングにおいて有効であるか否かを示すデコード用のフラグ群、デコードされたデータを表示するスケジューリングにおいて有効であるか否かを示す表示用のフラグ群等をメタデータとして適宜設け、一連のフラグ群を再生速度・方向に応じて自動的に更新することによりスケジューリングを管理することも可能である。

このとき、過去の可変速再生処理に用いた一連のスケジューリング、フラグ群の更新情報を、別途スケジューリングのメタデータ（履歴情報）として管理することも可能であり、必要に応じて、圧縮符号化データ中にシンタックスとして記述したり、記録媒体であるＨＤＤ１６等に別途記録したりしても良い。

また、デコーダ数、バンク数、デコーダＩＤ等をメタデータ（構成履歴情報）として管理することも可能である。さらに、再生速度、再生方向等をメタデータ（再生履歴情報）として管理することも可能である。このとき、これらメタデータを、必要に応じて圧縮符号化データ中にシンタックスとして記述したり、記録媒体であるＨＤＤ１６等に別途記録したりしても良い。

このようなメタデータ（履歴情報）を参照することにより、過去に行われたスケジューリング処理を再利用することができ、更に正確に高速にスケジューリング処理を実行することが可能となる。

なお、このようなメタデータは、例えば、データベースとして外部装置で管理するような構成にしてもよい。

なお、上述の実施の形態においては、デコーダ２２乃至デコーダ２４が、ＨＤＤ１６に記録されている圧縮符号化データを、完全にデコードしない（中途段階までデコードする）場合においても、本発明は適用可能である。

具体的には、例えば、デコーダ２２乃至デコーダ２４が、可変長符号に対する復号および逆量子化のみを行い、逆DCT変換を実行しない場合や、逆量子化を行うが可変長符号に対する復号を行わない場合などにおいても、本発明を適用することができる。このような場合、例えば、デコーダ２２乃至デコーダ２４は、例えば、符号化処理および復号処理処理においてどの段階（例えば逆量子化の段階）まで処理が行われたかを示す履歴情報を必要に応じて生成し、不完全に復号されたデータに対応付けて出力することができるようにしても良い。

さらに、上述の実施の形態においては、ＨＤＤ１６に、不完全に符号化されたデータ（例えば、DCT変換および量子化が行われているが、可変長符号化処理が行われていないデータなど）と、必要に応じて、符号化処理および復号処理の履歴情報が記憶されており、デコーダ２２乃至デコーダ２４が、ＣＰＵ２０の制御に基づいて、供給された不完全に符号化されたデータをデコードし、ベースバンド信号に変換することができるような場合においても、本発明は適用可能である。

具体的には、デコーダ２２乃至デコーダ２４が、例えば、DCT変換および量子化が行われているが、可変長符号化処理が行われていない不完全に符号化されたデータに対して、逆DCT変換および逆量子化のみを行い、可変長符号に対する復号は実行しない場合などにおいても、本発明を適用することができる。

また、このような場合、例えば、ＣＰＵ２０は、不完全に符号化されたデータに対応付けられてＨＤＤ１６に記憶されている符号化処理および復号処理の履歴情報を取得し、これらの情報に基づいて、デコーダ２２乃至デコーダ２４によるデコードのスケジューリングを行うことができるようにしても良い。

さらに、上述の実施の形態においては、ＨＤＤ１６に、不完全に符号化されたデータと、必要に応じて、符号化処理および復号処理の履歴情報が記憶されており、デコーダ２２乃至デコーダ２４が、ＣＰＵ２０の制御に基づいて、供給された不完全に符号化されたデータを完全にデコードしない（中途段階までデコードする）場合においても、本発明は適用可能である。

また、このような場合も、例えば、ＣＰＵ２０は、不完全に符号化されたデータに対応付けられてＨＤＤ１６に記憶されている符号化処理および復号処理の履歴情報を取得し、これらの情報に基づいて、デコーダ２２乃至デコーダ２４によるデコードのスケジューリングを行うことができるようにしても良い。更に、この場合においても、デコーダ２２乃至デコーダ２４は、符号化処理および復号処理の履歴情報を必要に応じて生成し、不完全に復号されたデータに対応付けて出力することができるようにしても良い。

換言すれば、デコーダ２２乃至デコーダ２４が、ＣＰＵ２０の制御に基づいて、部分的な復号を行う（復号処理の工程のうちの一部を実行する）場合においても、本発明は適用可能であり、ＣＰＵ２０は、不完全に符号化されたデータに対応付けてＨＤＤ１６に記憶されている符号化処理および復号処理の履歴情報を取得し、これらの情報に基づいて、デコーダ２２乃至デコーダ２４によるデコードのスケジューリングを行うことができ、デコーダ２２乃至デコーダ２４は、符号化処理および復号処理の履歴情報を必要に応じて生成し、不完全に復号されたデータに対応付けて出力することができるようにしても良い。

更に、ＨＤＤ１６には、圧縮符号化されたストリームデータに対応付けて、更に、符号化処理および復号処理の履歴情報を記録するようにしても良く、ＣＰＵ２０は、圧縮符号化されたストリームデータのデコードのスケジューリングを、符号化処理および復号処理の履歴情報に基づいて行うようにしても良い。さらに、デコーダ２２乃至デコーダ２４が、ＣＰＵ２０の制御に基づいて、圧縮符号化されたストリームデータをデコードして、ベースバンド信号に変換することができるような場合においても、符号化処理および復号処理の履歴情報を必要に応じて生成し、ベースバンド信号に対応付けて出力することができるようにしても良い。

なお、上述の実施の形態においては、再生装置１が、それぞれ、複数のデコーダを有しているものとして説明したが、デコーダが、それぞれ、独立した装置として構成されている場合においても、本発明は適用可能である。

このとき、独立した装置として構成されているデコーダは、圧縮符号化データの供給を受けてこれを復号し、表示または出力するのみならず、上述した場合と同様にして、圧縮符号化データの供給を受け、中途段階まで部分的に復号して、符号化および復号の履歴情報とともに外部に出力したり、部分的に符号化されたデータの供給を受け、復号処理を行い、ベースバンド信号に変換して外部に出力したり、部分的に符号化されたデータの供給を受け、中途段階まで部分的に復号して、符号化および復号の履歴情報とともに外部に出力するようにしても良い。

さらに、上述の実施の形態においては、ＣＰＵ１１およびＣＰＵ２０がそれぞれ別の形態で構成されているが、ＣＰＵの構成は、これに限らず、例えば、ＣＰＵ１１およびＣＰＵ２０を、再生装置１全体を制御する１つのＣＰＵとして構成する形態も考えられる。また、ＣＰＵ１１およびＣＰＵ２０がそれぞれ独立して構成されている場合であっても、ＣＰＵ１１およびＣＰＵ２０を１つのチップとして構成するようにしてもよい。

更に、ＣＰＵ１１およびＣＰＵ２０がそれぞれ独立して構成されている場合、上述の実施の形態においてＣＰＵ１１が実行した処理の少なくとも一部を、例えば、時分割で、ＣＰＵ２０が実行することができるようにしたり、ＣＰＵ２０が実行した処理の少なくとも一部を、例えば、時分割で、ＣＰＵ１１が実行することができるようにしてもよい。すなわち、ＣＰＵ１１およびＣＰＵ２０には、分散処理が可能なプロセッサを用いるようにしても良い。

また、例えば、再生装置１をネットワークに接続可能な構成とし、上述の実施の形態において、ＣＰＵ１１またはＣＰＵ２０が実行した処理の少なくとも一部を、ネットワークを介して接続されている他の装置のＣＰＵにおいて実行させることができるようにしても良い。

同様に、上述の実施の形態においては、メモリ１３およびメモリ２１がそれぞれ別の形態で構成されているが、これに限らず、メモリ１３およびメモリ２１を、再生装置１において１つのメモリとして構成する形態も考えられる。

さらに、上述の実施の形態においては、ＨＤＤ１６、デコーダ２２乃至デコーダ２４、および、セレクタ２５を、それぞれ、ブリッジおよびバスを介して接続し、再生装置として一体化されている場合について述べたが、本発明はこれに限らず、例えば、これらの構成要素のうちの一部が、外部から有線または無線で接続される場合や、これらの構成要素が、この他、種々の接続形態で相互に接続される場合にも適用することができる。

さらに、上述の実施の形態においては、圧縮されたストリームデータがＨＤＤに記憶されている場合について述べたが、本発明はこれに限らず、例えば、光ディスク、光磁気ディスク、半導体メモリ、磁気ディスク等の種々の記録媒体に記録されたストリームデータに対して再生処理を行う場合にも適用することができる。

さらに、上述の実施の形態においては、ＣＰＵ２０、メモリ２１、メモリ１８、デコーダ２２乃至デコーダ２４、および、セレクタ２５を、同一の拡張カード（例えば、PCIカード、PCI−Expressカード）に搭載する形態に限らず、例えばPCI−Expressなどの技術によりカード間の転送速度が高い場合には、これらの構成要素を、それぞれ別の拡張カードに搭載するようにしてもよい。

また、本発明は、例えば、Ｈ２６４／ＡＶＣなどの他の符号化方法においても適用可能であることはいうまでもない。

上述した一連の処理は、ソフトウェアにより実行することもできる。そのソフトウェアは、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。この場合、例えば、図１を用いて説明した再生装置１は、図５１に示されるようなパーソナルコンピュータ２０１により構成される。

図５１において、ＣＰＵ（Central Processing Unit）２１１は、ＲＯＭ（Read Only Memory）２１２に記憶されているプログラム、または記憶部２１８からＲＡＭ（Random Access Memory）２１３にロードされたプログラムにしたがって、各種の処理を実行する。ＲＡＭ２１３にはまた、ＣＰＵ２１１が各種の処理を実行する上において必要なデータなども適宜記憶される。

ＣＰＵ２１１、ＲＯＭ２１２、およびＲＡＭ２１３は、バス２１４を介して相互に接続されている。このバス２１４にはまた、入出力インタフェース２１５も接続されている。

入出力インタフェース２１５には、キーボード、マウスなどよりなる入力部２１６、ディスプレイやスピーカなどよりなる出力部２１７、ハードディスクなどより構成される記憶部２１８、モデム、ターミナルアダプタなどより構成される通信部２１９が接続されている。通信部２１９は、インターネットを含むネットワークを介しての通信処理を行う。

入出力インタフェース２１５にはまた、必要に応じてドライブ２２０が接続され、磁気ディスク２３１、光ディスク２３２、光磁気ディスク２３３、もしくは、半導体メモリ２３４などが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部２１８にインストールされる。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。

この記録媒体は、図５１に示されるように、装置本体とは別に、ユーザにプログラムを供給するために配布される、プログラムが記憶されている磁気ディスク２３１（フロッピディスクを含む）、光ディスク２３２（ＣＤ-ＲＯＭ（Compact Disk-Read Only Memory），ＤＶＤ（Digital Versatile Disk）を含む）、光磁気ディスク２３３（ＭＤ（Mini-Disk）（商標）を含む）、もしくは半導体メモリ２３４などよりなるパッケージメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに供給される、プログラムが記憶されているＲＯＭ２１２や、記憶部２１８に含まれるハードディスクなどで構成される。

また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

本発明を適用した再生装置の構成を示すブロック図である。 図１のデコーダの詳細な構成を示すブロック図である。 制御処理について説明するためのフローチャートである。 フレームごとに行う処理について説明するためのフローチャートである。 入力ストリーム状態変更処理について説明するためのフローチャートである。 デコードスケジュール処理について説明するためのフローチャートである。 MPEG LONG GOPについて説明するための図である。 １つのデコーダでデコードが行われる処理単位について説明するための図である。 入力ピクチャキューに蓄積される情報について説明するための図である。 表示順情報キューに蓄積される情報について説明するための図である。 入力処理について説明するためのフローチャートである。 デコード設定処理について説明するためのフローチャートである。 デコード設定処理について説明するためのフローチャートである。 表示順設定キューに蓄積される情報について説明するための図である。 Ｉ／Ｐピクチャデコードキューに蓄積される情報について説明するための図である。 Ｉ／Ｐピクチャデコードキューに蓄積される情報について説明するための図である。 表示位相決定処理について説明するためのフローチャートである。 時間情報付きスケジュール決定処理について説明するためのフローチャートである。 フレーム制御処理について説明するためのフローチャートである。 デコード処理について説明するためのフローチャートである。 表示処理について説明するためのフローチャートである。 ２倍速の場合の間引き後のデコードと表示のスケジュールについて説明するための図である。 −２倍速の場合の間引き後のデコードと表示のスケジュールについて説明するための図である。 ４倍速の場合の間引き後のデコードと表示のスケジュールについて説明するための図である。 −４倍速の場合の間引き後のデコードと表示のスケジュールについて説明するための図である。 ５倍速の場合の間引き後のデコードと表示のスケジュールについて説明するための図である。 −５倍速の場合の間引き後のデコードと表示のスケジュールについて説明するための図である。 通常再生時のバンク管理について説明するための図である。 ２倍速再生時のバンク管理について説明するための図である。 −１倍速再生時のバンク管理について説明するための図である。 −２倍速再生時のバンク管理について説明するための図である。 アンダーフロー処理について説明するためのフローチャートである。 アンダーフローが発生していない場合の時間カウンタについて説明するための図である。 アンダーフローが発生した場合の時間カウンタの修正について説明するための図である。 ＧＯＰの分割により構成されるデコードユニットについて説明するための図である。 ＧＯＰの分割により構成されるデコードユニットについて説明するための図である。 ＧＯＰの分割により構成されるデコードユニットについて説明するための図である。 ＧＯＰの結合により構成されるデコードユニットについて説明するための図である。 ＧＯＰの結合により構成されるデコードユニットについて説明するための図である。 ＧＯＰの結合により構成されるデコードユニットについて説明するための図である。 ＧＯＰの結合および分割により構成されるデコードユニットについて説明するための図である。 ＧＯＰの結合および分割により構成されるデコードユニットについて説明するための図である。 ＧＯＰの結合および分割により構成されるデコードユニットについて説明するための図である。 ＧＯＰの結合および分割により構成されるデコードユニットについて説明するための図である。 ＧＯＰの結合および分割により構成されるデコードユニットについて説明するための図である。 ＧＯＰの結合および分割により構成されるデコードユニットについて説明するための図である。 ＧＯＰ分割・結合処理について説明するためのフローチャートである。 図３５のデコードユニットＧＯＰ（０−１）が、１倍速再生時にビデオバンクメモリ８２の８つのバンクに格納される状態を表す図である。 図４１のデコードユニットＧＯＰ（０−１）が、−１倍速再生時にビデオバンクメモリ８２の８つのバンクに格納される状態を表す図である。 図４４のデコードユニットＧＯＰ（０−１）が、２倍速再生時にビデオバンクメモリ８２の８つのバンクに格納される状態を表す図である。 パーソナルコンピュータの構成を示すブロック図である。

符号の説明

１ 再生装置， １１ ＣＰＵ， １６ ＨＤＤ， ２０ ＣＰＵ， ２２乃至２４ デコーダ， ２５ セレクタ， ７１ 入力処理部， ７２ アドレス管理テーブル， ７３ エレメンタリストリームアドレス決定部， ７４ メモリコントローラ， ７５ 入力バッファ， ７６ コントロールバス， ７７ デコード処理部， ７８ 書き込み画アドレス決定部， ７９ 参照画アドレス決定部， ８０ 出力アドレス決定部， ８１ メモリコントローラ， ８２ ビデオバンクメモリ

Claims (26)

1. 圧縮符号化映像データをデコードする情報処理装置において、
   前記圧縮符号化映像データをデコードするデコード手段と、
   前記デコード手段への前記圧縮符号化映像データの供給を制御する供給制御手段と、
   前記供給制御手段および前記デコード手段が実行する処理を制御する制御手段と
   を備え、
   前記デコード手段は、デコード処理済のピクチャデータを保持するバンクメモリを有し、
   前記制御手段は、前記デコード手段によりＰピクチャまたはＢピクチャがデコードされるときに、前記バンクメモリに保持されるピクチャが参照される回数を示す第１のカウンタの値を変更することにより、前記バンクメモリに保持されたピクチャを開放するタイミングを制御する
   情報処理装置。
2. 前記制御手段は、前記バンクメモリに保持されるピクチャが表示されたかを示す第２のカウンタの値を参照することにより、前記バンクメモリに保持されたピクチャを開放するタイミングを制御する
   請求項１に記載の情報処理装置。
3. 前記制御手段は、前記処理単位に含まれる複数のピクチャのうち、ＩピクチャおよびＰピクチャが、Ｂピクチャよりも先にデコードされるように、ピクチャごとのデコード処理の順番を決定する
   請求項１に記載の情報処理装置。
4. 前記デコード手段は、デコード処理が実行される処理単位に含まれるピクチャ数に応じた数の前記バンクメモリを備える
   請求項１に記載の情報処理装置。
5. 前記デコード手段は、前記処理単位に含まれる前記Ｉピクチャおよび前記Ｐピクチャのピクチャ数に２を加えた数のピクチャを保持する前記バンクメモリを備える
   請求項４に記載の情報処理装置。
6. 前記デコード手段は、３つ備えられ、
   前記デコード手段は、８ピクチャを保持する前記バンクメモリをそれぞれ備える
   請求項４に記載の情報処理装置。
7. 前記制御手段は、
   前記制御手段に再生速度を指令する再生速度指令手段により指令された再生速度に基づいて、前記デコード手段によりデコード処理が実行される処理単位に含まれるピクチャのうち、前記デコード手段から出力されるピクチャを選択し、
   前記デコード手段は、
   デコード処理を実行するデコード処理実行手段と、
   前記デコード処理実行手段へのピクチャの供給を制御するピクチャ供給制御手段と
   を備え、
   前記ピクチャ供給制御手段は、前記制御手段の制御に基づいて、前記処理単位に含まれるピクチャのうち、前記Ｉピクチャおよび前記Ｐピクチャ、並びに、前記デコード手段から出力されるピクチャとして選択された前記Ｂピクチャを前記デコード処理手段へ供給し、
   前記デコード処理手段は、前記制御手段の制御に基づいて、前記ピクチャ供給制御手段により供給されたそれぞれのピクチャをデコードするとともに、前記デコード手段から出力されるピクチャとして選択されたピクチャを出力する
   請求項１に記載の情報処理装置。
8. 前記制御手段は、前記デコード手段から出力されるデコード済みのピクチャのうち、前記処理単位の先頭で出力されるピクチャが前記Ｉピクチャまたは前記Ｐピクチャであった場合、前記デコード手段によるデコードの開始タイミングと、前記デコード手段からデコード済みのピクチャの出力が開始されるタイミングが、第１の所定数のピクチャ分ずれるように前記デコード手段を制御する、
   請求項１に記載の情報処理装置。
9. 前記第１の所定数は、前記Ｉピクチャと前記Ｐピクチャの合計数に１を加えた数である
   請求項８に記載の情報処理装置。
10. 前記制御手段は、前記デコード手段から出力されるデコード済みのピクチャのうち、前記処理単位の先頭で出力されるピクチャが前記Ｂピクチャであった場合、前記デコード手段によるデコードの開始タイミングと、前記デコード手段からデコード済みのピクチャの出力が開始されるタイミングが、第２の所定数のピクチャ分ずれるように前記デコード手段を制御する
    請求項１に記載の情報処理装置。
11. 前記第２の所定数は、前記Ｉピクチャと前記Ｐピクチャの合計数に２を加えた数である
    請求項１０に記載の情報処理装置。
12. 前記デコード手段は複数備えられ、
    複数の前記デコード手段から出力された非圧縮のデータの供給を受け、供給された前記非圧縮のデータを切り替えて選択的に出力する出力切り替え手段を更に備え、
    前記制御手段は、前記出力切り替え手段による処理を更に制御する
    請求項１に記載の情報処理装置。
13. 前記デコード手段は、デコード処理が実行される処理単位に含まれるピクチャ数に応じた数のバンクメモリとして、前記デコード処理が実行される処理単位に含まれるピクチャ数より少ない数のバンクメモリを備える
    請求項１に記載の情報処理装置。
14. 前記圧縮符号化映像データは、ＧＯＰで構成されており、
    前記制御手段は、前記バンクメモリの数から３を引いた値より多い数の前記Ｉピクチャまたは前記Ｐピクチャを含むＧＯＰの供給を受けた場合、前記ＧＯＰを分割して前記バンクメモリの数から２を引いた値より少ない数の前記Ｉピクチャまたは前記Ｐピクチャを含むデコード処理単位を構成し、前記供給制御手段を制御して、前記デコード手段に前記デコード処理単位の前記圧縮符号化映像データを供給させる
    請求項１に記載の情報処理装置。
15. 前記制御手段は、分割されて生成された前記デコード処理単位に含まれる前記Ｉピクチャまたは前記Ｐピクチャの数の合計が、前記デコード処理単位より時間的に１つ前のＧＯＰまたはデコード処理単位に含まれる前記Ｉピクチャまたは前記Ｐピクチャの数の合計よりも所定の数以上多くならないように、前記デコード単位を構成する
    請求項１４に記載の情報処理装置。
16. 前記圧縮符号化映像データは、ＧＯＰで構成されており、
    前記制御手段は、前記バンクメモリの数から３を引いた値より少ない数の前記Ｉピクチャまたは前記Ｐピクチャを含む第１のＧＯＰの供給を受けた場合、時間的に前記第１のＧＯＰと連続する第２のＧＯＰの構成を検出し、前記第１のＧＯＰと前記第２のＧＯＰとに含まれる前記Ｉピクチャまたは前記Ｐピクチャの数の合計が前記バンクメモリの数から３を引いた値より少ない数である場合、前記第１のＧＯＰと前記第２のＧＯＰとを結合してデコード処理単位を構成し、前記供給制御手段を制御して、前記デコード手段に前記デコード処理単位の前記圧縮符号化映像データを供給させる
    請求項１に記載の情報処理装置。
17. 前記制御手段は、前記デコード処理単位に含まれる前記Ｉピクチャまたは前記Ｐピクチャの数の合計が、前記デコード処理単位より時間的に１つ前のＧＯＰに含まれる前記Ｉピクチャまたは前記Ｐピクチャの数の合計よりも所定の数以上多くならないように、前記デコード単位を構成する
    請求項１６に記載の情報処理装置。
18. 前記圧縮符号化映像データは、ＧＯＰで構成されており、
    前記制御手段は、第１のＧＯＰ、および、時間的に前記第１のＧＯＰと連続する第２のＧＯＰの構成を検出し、前記第１のＧＯＰと前記第２のＧＯＰとに含まれる前記Ｉピクチャまたは前記Ｐピクチャの数の合計が前記バンクメモリの数から３を引いた値の２倍より少ない数である場合、前記第１のＧＯＰと前記第２のＧＯＰとを結合した後分割して、前記バンクメモリの数から２を引いた値より少ない数の前記Ｉピクチャまたは前記Ｐピクチャを含む第１のデコード処理単位および第２のデコード処理単位を構成し、前記供給制御手段を制御して、前記デコード手段に前記第１のデコード処理単位および前記第２のデコード処理単位の前記圧縮符号化映像データを個別に供給させる
    請求項１に記載の情報処理装置。
19. 前記制御手段は、前記デコード処理単位に含まれる前記Ｉピクチャまたは前記Ｐピクチャの数の合計が、前記デコード処理単位より時間的に１つ前のデコード処理単位、または、ＧＯＰに含まれる前記Ｉピクチャまたは前記Ｐピクチャの数の合計よりも所定の数以上多くならないように、前記デコード単位を構成する
    請求項１８に記載の情報処理装置。
20. 圧縮符号化映像データをデコードする情報処理装置の情報処理方法において、
    デコード処理が実行される処理単位に含まれる複数のピクチャが参照される回数を示すカウンタを設定するカウンタ設定ステップと、
    前記処理単位に含まれる複数のピクチャのうち、ＩピクチャおよびＰピクチャタが、Ｂピクチャよりも先にデコードされるように、ピクチャごとのデコード処理の順番を決定するデコード順決定ステップと、
    前記デコード順決定ステップの処理により決定されたデコード処理の順番に基づいて、バンクメモリを利用して、デコード処理の実行を制御するデコード制御ステップと、
    前記ＰピクチャまたはＢピクチャが前記デコード制御ステップの処理により制御されるデコード処理においてデコードされるときに、前記カウンタの値を変更することにより、前記バンクメモリに保持されたピクチャを開放するタイミングを制御するメモリ開放制御ステップと
    を含む情報処理方法。
21. 圧縮符号化映像データをデコードする処理をコンピュータに実行させるためのプログラムであって、
    デコード処理が実行される処理単位に含まれる複数のピクチャが参照される回数を示すカウンタを設定するカウンタ設定ステップと、
    前記処理単位に含まれる複数のピクチャのうち、ＩピクチャおよびＰピクチャが、Ｂピクチャよりも先にデコードされるように、ピクチャごとのデコード処理の順番を決定するデコード順決定ステップと、
    前記デコード順決定ステップの処理により決定されたデコード処理の順番に基づいて、前記処理単位に含まれるピクチャ数に応じた数のバンクメモリを利用して、デコード処理の実行を制御するデコード制御ステップと、
    前記Ｐピクチャまたは前記Ｂピクチャが前記デコード制御ステップの処理により制御されるデコード処理においてデコードされるときに前記カウンタの値を変更することにより、前記バンクメモリに保持されたピクチャを開放するタイミングを制御するメモリ開放制御ステップと
    を含む処理をコンピュータに実行させるためのプログラムが記録された記録媒体。
22. 圧縮符号化映像データをデコードする処理をコンピュータに実行させるためのプログラムであって、
    デコード処理が実行される処理単位に含まれる複数のピクチャが参照される回数を示すカウンタを設定するカウンタ設定ステップと、
    前記処理単位に含まれる複数のピクチャのうち、ＩピクチャおよびＰピクチャが、Ｂピクチャよりも先にデコードされるように、ピクチャごとのデコード処理の順番を決定するデコード順決定ステップと、
    前記デコード順決定ステップの処理により決定されたデコード処理の順番に基づいて、前記処理単位に含まれるピクチャ数に応じた数のバンクメモリを利用して、デコード処理の実行を制御するデコード制御ステップと、
    前記Ｐピクチャまたは前記Ｂピクチャが前記デコード制御ステップの処理により制御されるデコード処理においてデコードされるときに前記カウンタの値を変更することにより、前記バンクメモリに保持されたピクチャを開放するタイミングを制御するメモリ開放制御ステップと
    を含む処理をコンピュータに実行させるためのプログラム。
23. 圧縮符号化映像データをデコードする情報処理装置において、
    前記圧縮符号化映像データを記憶する記憶手段と、
    前記記憶手段により記憶されている前記圧縮符号化映像データを読み出して出力する読み出し手段と、
    前記圧縮符号化映像データをデコードするデコード手段と、
    前記デコード手段への前記圧縮符号化映像データの供給を制御する供給制御手段と、
    前記供給制御手段および前記デコード手段が実行する処理を制御する制御手段と、
    前記制御手段に再生速度を指令する再生速度指令手段と
    を備え、
    前記デコード手段は、デコード処理済のピクチャデータを保持するバンクメモリを有し、
    前記制御手段は、前記デコード手段によりＰピクチャまたはＢピクチャがデコードされるときに、前記バンクメモリに保持されるピクチャが参照される回数を示す第１のカウンタの値を変更することにより、前記バンクメモリに保持されたピクチャを開放するタイミングを制御する
    情報処理装置。
24. 圧縮符号化映像データをデコードする情報処理装置の情報処理方法において、
    記憶部に記憶された前記圧縮符号化映像データを読み出す読み出しステップと、
    デコード処理が実行される処理単位に含まれる複数のピクチャが参照される回数を示すカウンタを設定するカウンタ設定ステップと、
    前記処理単位に含まれる複数のピクチャのうち、ＩピクチャおよびＰピクチャが、Ｂピクチャよりも先にデコードされるように、ピクチャごとのデコード処理の順番を決定するデコード順決定ステップと、
    前記デコード順決定ステップの処理により決定されたデコード処理の順番に基づいて、前記処理単位に含まれるピクチャ数に応じた数のバンクメモリを利用して、デコード処理の実行を制御するデコード制御ステップと、
    前記読み出しステップの処理により読み出された前記圧縮符号化映像データの前記処理単位に含まれるピクチャのうち、前記Ｐピクチャまたは前記Ｂピクチャが前記デコード制御ステップの処理により制御されるデコード処理においてデコードされるときに前記カウンタの値を変更することにより、前記バンクメモリに保持されたピクチャを開放するタイミングを制御するメモリ開放制御ステップと
    を含む情報処理方法。
25. 圧縮符号化映像データをデコードする処理をコンピュータに実行させるためのプログラムであって、
    記憶部に記憶された前記圧縮符号化映像データを読み出す読み出しステップと、
    デコード処理が実行される処理単位に含まれる複数のピクチャが参照される回数を示すカウンタを設定するカウンタ設定ステップと、
    前記処理単位に含まれる複数のピクチャのうち、ＩピクチャおよびＰピクチャが、Ｂピクチャよりも先にデコードされるように、ピクチャごとのデコード処理の順番を決定するデコード順決定ステップと、
    前記デコード順決定ステップの処理により決定されたデコード処理の順番に基づいて、前記処理単位に含まれるピクチャ数に応じた数のバンクメモリを利用して、デコード処理の実行を制御するデコード制御ステップと、
    前記読み出しステップの処理により読み出された前記圧縮符号化映像データの前記処理単位に含まれるピクチャのうち、前記Ｐピクチャまたは前記Ｂピクチャが前記デコード制御ステップの処理により制御されるデコード処理においてデコードされるときに前記カウンタの値を変更することにより、前記バンクメモリに保持されたピクチャを開放するタイミングを制御するメモリ開放制御ステップと
    を含む処理をコンピュータに実行させるためのプログラムが記録された記録媒体。
26. 圧縮符号化映像データをデコードする処理をコンピュータに実行させるためのプログラムであって、
    記憶部に記憶された前記圧縮符号化映像データを読み出す読み出しステップと、
    デコード処理が実行される処理単位に含まれる複数のピクチャが参照される回数を示すカウンタを設定するカウンタ設定ステップと、
    前記処理単位に含まれる複数のピクチャのうち、ＩピクチャおよびＰピクチャが、Ｂピクチャよりも先にデコードされるように、ピクチャごとのデコード処理の順番を決定するデコード順決定ステップと、
    前記デコード順決定ステップの処理により決定されたデコード処理の順番に基づいて、前記処理単位に含まれるピクチャ数に応じた数のバンクメモリを利用して、デコード処理の実行を制御するデコード制御ステップと、
    前記読み出しステップの処理により読み出された前記圧縮符号化映像データの前記処理単位に含まれるピクチャのうち、前記Ｐピクチャまたは前記Ｂピクチャが前記デコード制御ステップの処理により制御されるデコード処理においてデコードされるときに前記カウンタの値を変更することにより、前記バンクメモリに保持されたピクチャを開放するタイミングを制御するメモリ開放制御ステップと
    を含む処理をコンピュータに実行させるためのプログラム。

Images