JP2006128827A - 復号化装置、復号化方法および復号化プログラム、再生システム、再生装置、再生方法および再生プログラム、ならびに、記録媒体 - Google Patents

復号化装置、復号化方法および復号化プログラム、再生システム、再生装置、再生方法および再生プログラム、ならびに、記録媒体 Download PDF

Info

Publication number
JP2006128827A
JP2006128827A JP2004311564A JP2004311564A JP2006128827A JP 2006128827 A JP2006128827 A JP 2006128827A JP 2004311564 A JP2004311564 A JP 2004311564A JP 2004311564 A JP2004311564 A JP 2004311564A JP 2006128827 A JP2006128827 A JP 2006128827A
Authority
JP
Japan
Prior art keywords
decoding
frame
picture
playback
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004311564A
Other languages
English (en)
Other versions
JP4218626B2 (ja
Inventor
Shuji Tsunashima
修二 綱島
Shojiro Shibata
正二郎 柴田
Mototsugu Takamura
元嗣 高村
Kyohei Koyabu
恭平 小藪
Shinjiro Kakita
新次郎 柿田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2004311564A priority Critical patent/JP4218626B2/ja
Publication of JP2006128827A publication Critical patent/JP2006128827A/ja
Application granted granted Critical
Publication of JP4218626B2 publication Critical patent/JP4218626B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)

Abstract

【課題】 スロー再生を応答性よく開始することができるようにする。
【解決手段】 全てのＢピクチャに先立って復号化されるＩピクチャおよび４枚のＰピクチャと、最初に出力が予定されるＢ0ピクチャとを、先行的にデコーダ２３に入力し復号化するピクチャとし、例えば再生の開始時からスロー再生が指示された場合に、１倍速再生のシーケンスに従いデコーダへの入力および復号化を行い、フレームメモリに書き込む。そして、Ｂ0ピクチャの次からデコーダに入力されるＢ1ピクチャ以降の各ピクチャに対するデコーダへの入力および復号化を、デコーダ２３の１／２倍速スロー再生のシーケンスに従い行う。再生の開始時からスロー再生が指示されているような場合でも、応答性よくスロー再生を開始することができる。
【選択図】 図９

Description

この発明は、複数フレーム単位でフレーム間圧縮が行われたビデオストリームの１倍速以下の速度での再生が可能な復号化装置、復号化方法および復号化プログラム、再生システム、再生装置、再生方法および再生プログラム、ならびに、記録媒体に関する。
記録媒体に記録されたディジタルビデオ信号を再生するようにされた再生装置が知られている。ディジタルビデオ信号は、データ容量が膨大となるため、所定の方式で圧縮符号化されて記録媒体に記録されるのが一般的である。近年では、ＭＰＥＧ２(Moving Picture Experts Group 2)方式が圧縮符号化の標準的な方式として知られている。ＭＰＥＧ２では、ＤＣＴ(Discrete Cosine Transform)によるフレーム内圧縮と、動き補償に基づく予測符号化によるフレーム間圧縮とを用いてディジタルビデオ信号の圧縮符号化を行い、さらに可変長符号を用いてデータの圧縮率を高めている。
フレーム間圧縮を行う場合、ＭＰＥＧ２によるビデオストリームは、フレーム内圧縮に基づくＩ(Intra-coded)ピクチャと、予測符号化に基づくピクチャであるＰ(Predictive-coded)ピクチャおよびＢ(Bi-directionally predictive coded)ピクチャとから構成される。Ｉピクチャは、それ自身の情報のみで復号化が可能である。一方、Ｐピクチャは、予測画像として時間的に前の画像が必要とされ、Ｂピクチャは、予測画像として時間的に前後の画像が必要とされ、単独では復号化されない。
また、ランダムアクセスを可能とするために、Ｉピクチャを定期的に挿入し、Ｉピクチャを少なくとも１枚有するフレーム群構造を持つようにする。このフレーム群構造を、ＧＯＰ(Group Of Picture)と称する。すなわち、ＧＯＰは、少なくとも１枚のＩピクチャと、１乃至複数枚のＰおよびＢピクチャから構成される。ビデオストリームに対する処理は、ＧＯＰ単位でなされ、例えば記録媒体に記録されたビデオストリームに対して、このＧＯＰ単位でアクセスされる。
ＧＯＰには、ＧＯＰ内で完全に復号化が可能な、閉じた構造を持つクローズドＧＯＰと、復号化の際に１つ前のＧＯＰの情報を用いることができるオープンＧＯＰとの２種類がある。オープンＧＯＰは、クローズドＧＯＰと比較して、より多くの情報を用いて復号化できるため高画質を得られ、一般的に用いられている。以下では、単に「ＧＯＰ」と記述した場合には、特に断りのない限り、このオープンＧＯＰを指すものとする。
なお、１枚のＩピクチャのみでＧＯＰを構成することもでき、シングルＧＯＰと称される。シングルＧＯＰは、フレーム単位での編集を行う際に有利である。これに対して、上述の複数のピクチャから構成されるＧＯＰをロングＧＯＰと称する。シングルＧＯＰでは、後述する問題点は発生しないため、以下では、ＧＯＰは、ロングＧＯＰを指すものとする。
１ＧＯＰは、例えば１枚のＩピクチャ、４枚のＰピクチャおよび１０枚のＢピクチャの、計１５枚のピクチャから構成される。ＧＯＰ内のＩ、ＰおよびＢピクチャの表示順は、図２７Ａに一例が示されるように、「Ｂ0Ｂ1Ｉ2Ｂ3Ｂ4Ｐ5Ｂ6Ｂ7Ｐ8Ｂ9Ｂ10Ｐ11Ｂ12Ｂ13Ｐ14」のようになる。なお、添え字は表示順を示す。
この例では、最初の２枚のＢ0ピクチャおよびＢ1ピクチャは、１つ前のＧＯＰにおける最後尾のＰ14ピクチャと、このＧＯＰ内のＩ2ピクチャとを用いて予測され復号化されたピクチャである。ＧＯＰ内の最初のＰ5ピクチャは、Ｉ2ピクチャから予測され復号化されたピクチャである。他のＰ8ピクチャ、Ｐ11ピクチャおよびＰ14ピクチャは、それぞれ１つ前のＰピクチャを用いて予測され復号化されたピクチャである。また、Ｉ2ピクチャ以降の各Ｂピクチャは、それぞれ前後のＩおよび／またはＰピクチャから予測され復号化されたピクチャである。
一方、Ｂピクチャは、時間的に前後のＩまたはＰピクチャを用いて予測され復号化されるため、ストリームや記録媒体上におけるＩ、ＰおよびＢピクチャの並び順は、デコーダにおける復号化の順序を考慮して決める必要がある。すなわち、Ｂピクチャを復号化するためのＩおよび／またはＰピクチャは、当該Ｂピクチャよりも常に先に復号化されていなければならない。
上述の例では、ストリームや記録媒体上の各ピクチャの並び順は、図２７Ｂに例示されるように、「Ｉ2Ｂ0Ｂ1Ｐ5Ｂ3Ｂ4Ｐ8Ｂ6Ｂ7Ｐ11Ｂ9Ｂ10Ｐ14Ｂ12Ｂ13」のようになり、この順でデコーダに入力される。なお、添え字は、図２７Ａに対応し、表示順を示す。
デコーダにおける復号化処理は、図２７Ｃに示されるように、先ずＩ2ピクチャを復号化し、復号化されたこのＩ2ピクチャと１つ前のＧＯＰにおける最後尾（表示順）のＰ14ピクチャとによりＢ0ピクチャおよびＢ1ピクチャを予測し復号化する。そして、Ｂ0ピクチャおよびＢ1ピクチャを復号化された順にデコーダから出力し、次にＩ2ピクチャを出力する。Ｂ1ピクチャが出力されると、次にＰ5ピクチャがＩ2ピクチャを用いて予測され復号化される。そして、Ｉ2ピクチャおよびＰ5ピクチャを用いてＢ3ピクチャおよびＢ4ピクチャが予測され復号化される。そして、復号化されたＢ3ピクチャおよびＢ4ピクチャを復号化された順にデコーダから出力し、次にＰ5ピクチャを出力する。
以下、同様にして、Ｂピクチャの予測に用いるＰまたはＩピクチャをＢピクチャより先に復号化し、この復号化されたＰまたはＩピクチャを用いてＢピクチャを予測して復号化し、復号化されたＢピクチャを出力してから、当該Ｂピクチャを復号化するために用いたＰまたはＩピクチャを出力する処理が繰り返される。図２７Ｂのようなピクチャ配置は、復号化に要するフレームメモリが４フレーム分で足りるため、一般的に用いられている。非特許文献１には、このようにしてＭＰＥＧ２のエレメンタリストリームを復号化する方法が記載されている。
藤原 洋、「ポイント図解式・最新ＭＰＥＧ教科書」、初版、株式会社アスキー、１９９４年８月１日、ｐ．１０６
ところで、近年では、パーソナルコンピュータなどコンピュータ装置の処理能力の向上に伴い、このようなＭＰＥＧ２方式により圧縮符号化されたビデオストリーム再生や編集を、コンピュータ装置を用いて行う例が増えてきている。図２８は、ＭＰＥＧ２方式などを用いて圧縮符号化されたビデオストリームを復号化するための、一例のコンピュータ装置１００の構成を概略的に示す。バス１１０に対してＣＰＵ(Central Processing Unit)１１１、メモリ１１２およびハードディスクドライブ１１３が接続される。メモリ１１２は、ＣＰＵ１１１のワークメモリとして用いられるメモリである。復号化前のＭＰＥＧ２ビデオストリームが、図２７Ｂに示されるようなピクチャ配列でハードディスクドライブ１１３に格納されている。さらに、バス１１０に対して、デコーダ１１４およびバッファメモリ１１６が接続される。デコーダ１１４は、復号化処理のためのフレームメモリ１１５を有している。
このような構成において、ＣＰＵ１１１は、ハードディスクドライブ１１３からビデオストリームを読み出し、必要に応じてバッファメモリ１１６を利用しながら、読み出されたビデオストリームをバス１１０を介してデコーダ１１４に供給する。デコーダ１１４は、図２７Ｃを用いて説明した順序に従い、供給されたストリームのＩピクチャおよびＰピクチャをフレームメモリ１１５に書き込んで復号化し、フレームメモリ１１５上のＩピクチャおよび／またはＰピクチャを用いて予測されるＢピクチャが入力されたら、入力されたＢピクチャのデータをフレームメモリ１１５上のデータを用いて復号化し、出力する。
なお、コンピュータ装置でビデオストリームの復号化を行う場合、ＣＰＵ１１１の処理速度が十分高速であれば、デコーダ１１４を設けずに全ての処理をＣＰＵ１１１内部で行うことも可能となる。しかしながら、より高解像度のビデオデータを復号化する場合には、リアルタイム性を満足できなくなる可能性もあるため、図２８のように、ハードウェアとしてのデコーダ１１４を別途、設ける必要がある。例えば、デコーダ１１４を搭載した拡張ユニットを、コンピュータ装置１００に対して搭載する。
ここで、上述したようなＭＰＥＧ２ビデオストリームを、本来の再生速度の１／２倍速や１／３倍速で再生を行うといったスロー再生を行う場合について考える。従来のデコーダ１１４は、ビデオストリームの入力を止めると、入力を止める直前のフレームを繰り返し出力し、出力がフリーズするような構成となっていた。例えば、入力を止めた場合に、フレームメモリ１１５のデータをフレームのタイミングで繰り返し読み出して出力することで、フリーズが実現される。
このスロー再生を、ビデオストリームの再生開始時から行う場合、従来では、再生開始に伴いデコーダ１１４に最初に入力されるピクチャから、スロー再生の速度で入力および復号化を行っていた。これを、図２９を用いて説明する。ＭＰＥＧ２のエレメンタリストリームの場合、ビデオストリームは、Ｉ2ピクチャからデコーダ１１４に入力が開始される。なお、図２９において、ピクチャを示す四角に付された斜線は、ＧＯＰを区別するためのものである。
１／２倍速のスロー再生を行う場合、従来では、図２９に一例が示されるように、Ｉ2ピクチャが入力された次の１フレーム同期信号期間は、デコーダ１１４に対する入力が止められ、その次のフレーム同期信号期間で次のピクチャ（Ｂ0ピクチャ）が入力される。以降、１フレーム同期信号毎にピクチャの入力および入力停止が繰り返され、１／２倍速のスロー再生が実現される。
すなわち、デコーダ１１４は、最初に入力されたＩ2ピクチャを出力に先立って先行的に復号化し、フレームメモリ１１５に書き込む。次に、１／２倍速のスロー再生のシーケンスに従い、１フレーム同期信号期間、デコーダ１１４に対する入力が停止され、その次のフレーム同期信号のタイミングで、次のＢ0ピクチャが入力される。さらに、次の１フレーム同期信号期間、デコーダ１１４に対する入力が停止され、その次のフレーム同期信号のタイミングで、さらに次のＢ1ピクチャが入力される。
なお、Ｂ0ピクチャおよびＢ1ピクチャは、前のＧＯＰのＰ14ピクチャが無いため、復号化されない。
次にＰ5ピクチャが入力されると、このＰ5ピクチャが既に復号化されフレームメモリ１１５に書き込まれたＩ2ピクチャを用いて復号化されると共に、フレームメモリ１１５内のＩ2ピクチャが１フレーム同期信号期間、出力される。次の１フレーム同期信号期間では、入力が停止されると共に、フレームメモリ１１５内のＩ2ピクチャが繰り返し読み出され、出力がフリーズされる。
このように、従来では、スロー再生を、ピクチャ入力および復号化開始の当初からスロー再生の速度に応じて行っていたため、最初の出力ピクチャが得られるまでに、スロー再生速度に応じた時間を要することになり、例えばユーザの再生装置に対する操作によりスロー再生開始の指示がなされてから、実際の画像が出力されるまでの応答性が悪いという問題点があった。
図２９の例は、１／２倍速スロー再生の例であって、Ｉピクチャの入力および復号化の開始からピクチャ出力まで、６フレーム分の遅延が生じる。この遅延は、スロー再生速度に応じて長くなり、例えば１／５倍速スロー再生の場合には、Ｉピクチャの入力および復号化の開始からピクチャ出力まで１５フレーム分、すなわち、３０フレーム／秒の場合には、０．５秒もの時間を要してしまい、非常に応答性が悪いという問題点があった。
したがって、この発明の目的は、スロー再生を応答性よく開始することができるような復号化装置、復号化方法および復号化プログラム、再生システム、再生装置、再生方法および再生プログラム、ならびに、記録媒体を提供することにある。
この発明は、上述した課題を解決するために、圧縮符号化されたビデオデータを復号化して出力する復号化装置において、入力されたビデオデータを復号化して出力する復号化手段と、復号化手段に対するビデオデータの入力と、入力されたビデオデータに対する復号化を、所定のシーケンスに基づき制御する制御手段とを有し、制御手段は、１倍速未満の再生速度が指示された際に、復号化手段から最初に出力されるフレームのタイミングより以前に入力される先行フレームの復号化手段への入力と、先行フレームの復号化手段による復号化とを、１倍速再生のシーケンスに基づき行うように制御するようにしたことを特徴とする復号化装置である。
また、この発明は、圧縮符号化されたビデオデータを復号化して出力する復号化方法において、入力されたビデオデータを復号化して出力する復号化のステップを有し、１倍速未満の再生速度が指示された際に、復号化のステップから最初に出力されるフレームのタイミングより以前に入力される先行フレームの復号化のステップへの入力と、先行フレームの復号化のステップによる復号化とを、１倍速再生のシーケンスに基づき行うように制御するようにしたことを特徴とする復号化方法である。
また、この発明は、圧縮符号化されたビデオデータを復号化して出力する復号化方法をコンピュータ装置に実行させる復号化プログラムにおいて、復号化方法は、入力されたビデオデータを復号化して出力する復号化のステップを有し、１倍速未満の再生速度が指示された際に、復号化のステップから最初に出力されるフレームのタイミングより以前に入力される先行フレームの復号化のステップへの入力と、先行フレームの復号化のステップによる復号化とを、１倍速再生のシーケンスに基づき行うように制御するようにしたことを特徴とする復号化プログラムである。
また、この発明は、圧縮符号化されたビデオデータを復号化して出力する復号化方法をコンピュータ装置に実行させる復号化プログラムが記録されたコンピュータ装置が読み取り可能な記録媒体において、復号化方法は、入力されたビデオデータを復号化して出力する復号化のステップを有し１倍速未満の再生速度が指示された際に、復号化のステップから最初に出力されるフレームのタイミングより以前に入力される先行フレームの復号化のステップへの入力と、先行フレームの復号化のステップによる復号化とを、１倍速再生のシーケンスに基づき行うように制御するようにしたことを特徴とするコンピュータ装置が読み取り可能な記録媒体である。
また、この発明は、圧縮符号化され記録媒体に記録されたビデオデータを復号化して出力する再生装置において、圧縮符号化されたビデオデータが記録される記録媒体と、ビデオデータの再生速度を示す速度情報を出力する速度情報出力手段と、記録媒体から読み出されたビデオデータを復号化して出力する復号化手段とを有し速度情報出力手段から出力された速度情報により、１倍速未満の再生速度が指示された際に、復号化手段から最初に出力されるフレームのタイミングより以前に入力される先行フレームの復号化手段への入力と、先行フレームの復号化手段による復号化とを、１倍速再生のシーケンスに基づき行うように制御するようにしたことを特徴とする再生装置である。
また、この発明は、圧縮符号化され記録媒体に記録されたビデオデータを復号化して出力する再生方法において、ビデオデータの再生速度を示す速度情報を出力する速度情報出力のステップと、圧縮符号化されたビデオデータが記録される記録媒体から読み出されたビデオデータを復号化して出力する復号化のステップとを有し、速度情報出力のステップから出力された速度情報により、１倍速未満の再生速度が指示された際に、復号化のステップから最初に出力されるフレームのタイミングより以前に入力される先行フレームの復号化のステップへの入力と、先行フレームの復号化のステップによる復号化とを、１倍速再生のシーケンスに基づき行うように制御するようにしたことを特徴とする再生方法である。
また、この発明は、圧縮符号化され記録媒体に記録されたビデオデータを復号化して出力する再生方法をコンピュータ装置に実行させる再生プログラムにおいて、再生方法は、ビデオデータの再生速度を示す速度情報を出力する速度情報出力のステップと、圧縮符号化されたビデオデータが記録される記録媒体から読み出されたビデオデータを復号化して出力する復号化のステップとを有し、速度情報出力のステップから出力された速度情報により、１倍速未満の再生速度が指示された際に、復号化のステップから最初に出力されるフレームのタイミングより以前に入力される先行フレームの復号化のステップへの入力と、先行フレームの復号化のステップによる復号化とを、１倍速再生のシーケンスに基づき行うように制御するようにしたことを特徴とする再生プログラムである。
また、この発明は、圧縮符号化され記録媒体に記録されたビデオデータを復号化して出力する再生方法をコンピュータ装置に実行させる再生プログラムが記録されたコンピュータ装置に読み取り可能な記録媒体において、再生方法は、ビデオデータの再生速度を示す速度情報を出力する速度情報出力のステップと、圧縮符号化されたビデオデータが記録される記録媒体から読み出されたビデオデータを復号化して出力する復号化のステップとを有し、速度情報出力のステップから出力された速度情報により、１倍速未満の再生速度が指示された際に、復号化のステップから最初に出力されるフレームのタイミングより以前に入力される先行フレームの復号化のステップへの入力と、先行フレームの復号化のステップによる復号化とを、１倍速再生のシーケンスに基づき行うように制御するようにしたことを特徴とするコンピュータ装置に読み取り可能な記録媒体である。
また、この発明は、圧縮符号化され記録媒体に記録されたビデオデータを復号化して出力する再生システムにおいて、圧縮符号化されたビデオデータが記録される記録媒体とビデオデータの再生速度を示す速度情報を出力する速度情報出力手段とを有する制御装置と、記録媒体から読み出されたビデオデータを復号化して出力する復号化手段と、速度情報出力手段から出力された速度情報により、１倍速未満の再生速度が指示された際に、復号化手段から最初に出力されるフレームのタイミングより以前に入力される先行フレームの復号化手段への入力と、先行フレームの復号化手段による復号化とを、１倍速再生のシーケンスに基づき行うように制御する制御手段とを有する復号化装置とを備えることを特徴とする再生システムである。
また、この発明は、圧縮符号化され記録媒体に記録されたビデオデータを復号化して出力する再生方法において、圧縮符号化されたビデオデータが入力され、入力されたビデオデータを復号化して出力する復号化手段を有し、入力された速度情報により、１倍速未満の再生速度が指示された際に、復号化手段から最初に出力されるフレームのタイミングより以前に入力される先行フレームの復号化手段への入力と、先行フレームの復号化手段による復号化とを、１倍速再生のシーケンスに基づき行うように制御するようにした復号化装置に対して、圧縮符号化されたビデオデータが記録された記録媒体からビデオデータを読み出して供給すると共に、ビデオデータの再生速度を示す速度情報を供給するようにしたことを特徴とする再生方法である。
また、この発明は、圧縮符号化され記録媒体に記録されたビデオデータを復号化して出力する再生方法をコンピュータ装置に実行させる再生プログラムにおいて、再生方法は、圧縮符号化されたビデオデータが入力され、入力されたビデオデータを復号化して出力する復号化手段を有し、入力された速度情報により、１倍速未満の再生速度が指示された際に、復号化手段から最初に出力されるフレームのタイミングより以前に入力される先行フレームの復号化手段への入力と、先行フレームの復号化手段による復号化とを、１倍速再生のシーケンスに基づき行うように制御するようにした復号化装置に対して、圧縮符号化されたビデオデータが記録された記録媒体からビデオデータを読み出して供給すると共に、ビデオデータの再生速度を示す速度情報を供給するようにしたことを特徴とする再生プログラムである。
また、この発明は、圧縮符号化され記録媒体に記録されたビデオデータを復号化して出力する再生方法をコンピュータ装置に実行させる再生プログラムが記録されたコンピュータ装置に読み取り可能な記録媒体において、再生方法は、圧縮符号化されたビデオデータが入力され、入力されたビデオデータを復号化して出力する復号化手段を有し、入力された速度情報により、１倍速未満の再生速度が指示された際に、復号化手段から最初に出力されるフレームのタイミングより以前に入力される先行フレームの復号化手段への入力と、先行フレームの復号化手段による復号化とを、１倍速再生のシーケンスに基づき行うように制御するようにした復号化装置に対して、圧縮符号化されたビデオデータが記録された記録媒体からビデオデータを読み出して供給すると共に、ビデオデータの再生速度を示す速度情報を供給するようにしたことを特徴とするコンピュータ装置が読み取り可能な記録媒体である。
上述したように、請求項１、１１、１２および１３に記載の発明は、１倍速未満の再生速度が指示された際に、入力されたビデオデータを復号化して最初に出力されるフレームのタイミングより以前に入力される先行フレームの入力と、先行フレームの復号化とを、１倍速再生のシーケンスに基づき行うように制御するようにしているため、再生開始時からスロー再生を行う場合でも、スロー再生開始指示からフレーム出力までのレイテンシが減少され、スロー再生開始の応答性が向上されると共に、スロー再生速度にかかわらずレイテンシが一定とされる。
また、請求項１４、２４、２５および２６に記載の発明は、ビデオデータの再生速度を示す速度情報が出力され、この速度情報により、１倍速未満の再生速度が指示された際に、記録媒体から読み出されたビデオデータを復号化して最初に出力されるフレームのタイミングより以前に入力される先行フレームの入力と、先行フレームの復号化とを、１倍速再生のシーケンスに基づき行うように制御するようにしているため、出力された速度情報に基づき、記録媒体から読み出されたビデオデータを再生開始時からスロー再生を行う場合でも、スロー再生開始指示からフレーム出力までのレイテンシが減少され、スロー再生開始の応答性が向上されると共に、スロー再生速度にかかわらずレイテンシが一定とされる。
また、請求項２７、３７、３８および３９に記載の発明は、圧縮符号化されたビデオデータが入力され、入力されたビデオデータを復号化して出力する復号化手段を有し、入力された速度情報により、１倍速未満の再生速度が指示された際に、復号化手段から最初に出力されるフレームのタイミングより以前に入力される先行フレームの復号化手段への入力と、先行フレームの復号化手段による復号化とを、１倍速再生のシーケンスに基づき行うように制御するようにした復号化装置に対して、制御装置は、圧縮符号化されたビデオデータが記録された記録媒体からビデオデータを読み出して供給すると共に、ビデオデータの再生速度を示す速度情報を供給するようにしているため、制御装置側では、記録媒体に記録されたビデオデータと、ビデオデータの再生速度を示す速度情報を復号化装置に供給するだけで、記録媒体から読み出されたビデオデータを再生開始時からスロー再生を行う場合でも、スロー再生開始指示からフレーム出力までのレイテンシが減少され、スロー再生開始の応答性が向上されると共に、スロー再生速度にかかわらずレイテンシが一定とされる。
この発明は、再生開始直後からデコーダへの入力および復号化は行うが、出力は行わないフレームを、予めデコーダに入力し復号化してフレームメモリに書き込むようにし、その際に、当該フレームのデコーダへの入力や復号化は、通常の１倍速の入力タイミングで行うようにしている。そのため、再生開始時からスロー再生を行う場合でも、スロー再生開始指示からフレーム出力までのレイテンシが減少され、スロー再生開始の応答性が向上されるという効果がある。
また、再生開始直後からデコーダへの入力および復号化は行うが、出力は行わないフレームの、デコーダへの入力や復号化のタイミングを、通常の１倍速のタイミングに限定しているので、スロー再生速度にかかわらずレイテンシが一定であるという効果がある。
以下、この発明の実施の一形態を、図面を参照しながら説明する。図１は、この発明の第１の形態に適用可能な一例の再生装置の構成を概略的に示す。この再生装置は、コンピュータ装置１と、コンピュータ装置１と接続し、コンピュータ装置１に対してビデオストリームのデコード機能および再生制御機能をハードウェア的に提供するデコーダボード２とからなる再生システムとして構成される。
以下では、コンピュータ装置１がパーソナルコンピュータであって、デコーダボード２は、パーソナルコンピュータのスロットに装填され、ＰＣＩバス(Peripheral Component Interconnect Bus)に接続して用いられるＰＣＩボードであるものとして説明する。なお、これはこの例に限定されず、再生装置は、ビデオストリームを再生するために設計および製造された専用の再生装置であってもよいし、ビデオストリームの記録再生を行うための記録再生装置であってもよい。さらに、他の目的のために設計および製造された装置に組み込まれているものでもよい。
コンピュータ装置１において、ノースブリッジ１０とサウスブリッジ１３とが互いに接続される。ノースブリッジ１０は、例えばＣＰＵ(Central Processing Unit)１１、メモリ１２および図示されないグラフィック回路が接続され、これらＣＰＵ１１、メモリ１２およびグラフィック回路などの間でなされる、高速なデータ転送を制御する。
サウスブリッジ１３は、ノースブリッジ１０と比べて低速なデータ転送を制御し、主にインターフェイスの制御を行う。例えば、サウスブリッジ１３は、ハードディスクドライブに対するインターフェイスを有し、ハードディスクドライブ１４が接続される。また、例えばＣＤ(Compact Disc)やＤＶＤ(Digital Versatile Disc)などを読み取り可能なドライブ装置に対するインターフェイスなども有する。さらに、サウスブリッジ１３は、ＰＣＩバスに対するインターフェイスを有し、ＰＣＩバス１５が接続される。ＰＣＩバス１５は、ＰＣＩボードを接続可能なコネクタを１また複数有する。
ハードディスクドライブ１４には、この再生装置で再生されるビデオストリームが格納される。ハードディスクドライブ１４に格納されたビデオストリームは、ＣＰＵ１１により読み出され、サウスブリッジ１３の制御に基づきＰＣＩバス１５に対して転送される。この実施の一形態においては、ハードディスクドライブ１４に格納されたビデオストリームへのアクセスは、所定に区切られた複数フレームを単位として行われる。例えば、ビデオストリームがＭＰＥＧ２のエレメンタリストリームであれば、ハードディスクドライブ１４に格納されたビデオストリームに対するアクセスは、ＧＯＰを単位として行われる。
なお、ハードディスクドライブ１４は、ＣＰＵ１１を動作させるためのプログラムデータなども、格納される。このプログラムデータは、例えばＣＤ−ＲＯＭ(Compact Disc-Read Only Memory)やＤＶＤ−ＲＯＭ(Digital Versatile Disc-Read Only Memory)といった記録媒体に記録され、提供される。プログラムデータが記録された記録媒体を、コンピュータ装置１の図示されないドライブ装置に所定に装填して、記録媒体を再生し、プログラムデータを読み出してハードディスクドライブ１４に所定にインストールする。ハードディスクドライブ１４から読み出されたプログラムデータは、例えばメモリ１２上に展開され、ＣＰＵ１１により読み込まれ実行される。プログラムデータとビデオストリームとは、それぞれ別のハードディスクドライブに格納すると、アクセス性などの面から好ましい。
デコーダボード２において、コントロールバス２２に対してＰＣＩブリッジ２０、デコード部３０およびＣＰＵ２５が接続される。ＰＣＩブリッジ２０は、コンピュータ装置１のＰＣＩバス１５に対するインターフェイスである。すなわち、このデコーダボード２は、コンピュータ装置１のＰＣＩバス１５に設けられたコネクタに装着され、ＰＣＩバス１５とＰＣＩブリッジ２０とが電気的に接続されて用いられる。ＰＣＩブリッジ２０は、メモリ２１をバッファとして用い、ＰＣＩバス１５との間でのデータのやりとりを制御する。
例えば、ＣＰＵ１１からのコマンドや各種データがＰＣＩバス１５を介してＰＣＩブリッジ２０に供給される。ＰＣＩブリッジ２０は、供給されたＣＰＵ１１からのコマンドや各種データを、コントロールバス２２を介してＣＰＵ２５に供給する。また例えば、ハードディスクドライブ１４から読み出されたビデオストリームがＰＣＩバス１５を介してＰＣＩブリッジ２０に供給される。ＰＣＩブリッジ２０は、供給されたビデオストリームを一旦メモリ２１に溜め込んでから、デコード部３０に供給する。
デコード部４０は、概略的には、デコーダ２３とフレームメモリ２４とを有する。デコーダ２３は、供給されたビデオストリームを復号化してフレーム単位でフレームメモリ２４に書き込む。フレームメモリに書き込まれたデータは、所定に読み出され、出力ビデオデータとして出力される。
ＣＰＵ２５は、メモリ２６をワークメモリとして用い、ＣＰＵ１１と各種命令やデータのやりとりを行いながら、デコーダボード２の各部を制御し、デコーダボード２における復号化処理を制御する。なお、デコーダボード２におけるビデオデータに対する処理は、図示されないクロック発生回路により発生された、ビデオフレーム周期に同期したフレーム同期信号に基づきタイミング制御されて行われる。
上述のような構成において、ＣＰＵ１１により、ハードディスクドライブ１４から所定の複数フレーム単位でビデオストリームが読み出されると共に、ＣＰＵ１１とＣＰＵ２５との間で、ＰＣＩバス１５を介してコマンドや各種データのやりとりが行われる。このやりとりに基づき、ハードディスクドライブ１４から読み出されたビデオストリームがサウスブリッジ１３およびＰＣＩバス１５を介してＰＣＩブリッジ２０に供給され、メモリ２１に一旦溜め込まれる。
ＣＰＵ２５は、ＣＰＵ１１の命令に基づき、ＰＣＩブリッジ２０に対して、メモリ２１に溜め込まれたビデオストリームをフレーム単位で読み出してデコーダ２３に供給するように命令する。メモリ２１に溜め込まれたビデオストリームは、例えばＣＰＵ１１からの再生方向の指示に基づくＣＰＵ２５の命令に従い、供給された順序とは異なる順序にフレーム単位で並び替えられて読み出される。また、ＣＰＵ１１からの再生速度を指示する速度情報に基づくＣＰＵ２５の命令に従い、読み出しのタイミングが制御される。
デコーダ２３は、メモリ２１から供給されたフレーム単位のビデオデータをＣＰＵ２５から供給される復号化開始命令に従い復号化し、フレームメモリ２４に書き込む。フレームメモリ２４に書き込まれたビデオデータは、ＣＰＵ２５から供給される表示開始命令に従い読み出され、出力ビデオデータとして出力される。
図２は、デコーダ２３の一例の構成を示す。デコード回路３０および出力アドレス決定回路３１は、それぞれコントロールバス２２を介してＣＰＵ２５と接続され、ＣＰＵ２５からの命令に基づき、ビデオストリームの復号化や、復号化されてフレームメモリ２４に書き込まれたビデオデータの読み出しを行う。メモリコントローラ３２は、フレームメモリ２４に対するアクセス制御を行う。
デコーダ２３に供給されたビデオデータは、デコード回路３０で復号化され、ＣＰＵ２５の命令に基づきメモリコントローラ３２にアドレス制御され、フレームメモリ２４に書き込まれる。また、デコード回路３０は、供給されたビデオデータの復号化を、ＣＰＵ２５からの命令に基づき、必要に応じてフレームメモリ２４上にあるビデオデータを用いて行い、復号化されたビデオデータをフレームメモリ２４に書き込む。
一方、ＣＰＵ２５は、次のタイミングで出力するフレームを指示する表示開始命令を、コントロールバス２２を介して出力アドレス決定回路３１に供給する。この表示開始命令は、例えば、出力アドレス決定回路３１が有するレジスタなどに書き込まれ、次に供給される表示開始命令により更新される。換言すれば、表示開始命令は、新たな表示開始命令が供給されるまで、保持される。出力アドレス決定回路３１は、この表示開始命令に従い、フレームメモリ２４から読み出すべきフレームのアドレスを求め、このアドレスに基づきメモリコントローラ３２を介してフレームメモリ２４からビデオデータをフレーム単位で読み出す。フレームメモリ２４から読み出されたビデオデータは、出力ビデオデータとして出力される。
次に、この発明の実施の一形態によるスロー再生の制御方法について説明する。先ず、理解を容易とするために、この発明に適用可能なビデオストリームおよびビデオストリームの１倍速再生時の再生制御について、概略的に説明する。
この発明の実施の一形態では、ビデオデータの符号化方式として、背景技術の項で既に述べたＭＰＥＧ２方式を適用する。また、１ＧＯＰが１５フレームからなり、Ｉ、ＰおよびＢピクチャの表示順は、「Ｂ0Ｂ1Ｉ2Ｂ3Ｂ4Ｐ5Ｂ6Ｂ7Ｐ8Ｂ9Ｂ10Ｐ11Ｂ12Ｂ13Ｐ14」であり、ビデオストリーム（以下、エレメンタリストリーム(Elementary Stream：ＥＳ)と呼ぶ）におけるＩ、ＰおよびＢピクチャの配列は、「Ｉ2Ｂ0Ｂ1Ｐ5Ｂ3Ｂ4Ｐ8Ｂ6Ｂ7Ｐ11Ｂ9Ｂ10Ｐ14Ｂ12Ｂ13」であるものとする。
この実施の一形態では、ハードディスクドライブ１４から読み出され、デコーダボード２に入力されたエレメンタリストリームのこのピクチャ配列を、フォワード（正方向）再生の際には、下記の配列（１）のように並べ替えて、デコーダ２３に入力する。
Ｉ2Ｐ5Ｐ8Ｐ11Ｐ14Ｂ0Ｂ1Ｂ3Ｂ4Ｂ6Ｂ7Ｂ9Ｂ10Ｂ12Ｂ13 ・・・（１）
また、リバース（逆方向）再生の際には、下記の配列（２）のように並べ替えて、デコーダ２３に入力する。なお、リバース再生の場合、Ｂ1ピクチャおよびＢ0ピクチャは、符号化順で１つ前のＧＯＰのピクチャである。
Ｉ2Ｐ5Ｐ8Ｐ11Ｐ14（Ｂ1）（Ｂ0）Ｂ13Ｂ12Ｂ10Ｂ9Ｂ7Ｂ6Ｂ4Ｂ3 ・・・（２）
このように並べ替えることで、ＭＰＥＧ２ビデオストリームのリバース再生が容易に行えると共に、フォワード再生をリバース再生と同様の処理で行うことができる。
データの並べ替えは、デコーダボード２のメモリ２１を用いて行う。すなわち、ＣＰＵ１１により、ハードディスクドライブ１４から１乃至複数ＧＯＰのエレメンタリストリームが読み出され、ＰＣＩバス１５を介してデコーダボード２に転送される。この１乃至複数ＧＯＰのエレメンタリストリームは、デコーダボード２において、ＰＣＩブリッジ２０に入力され、メモリ２１に溜め込まれる。なお、メモリ２１は、少なくとも４ＧＯＰ分の容量を有するものとする。
なお、ＣＰＵ２５は、メモリ２１に複数ＧＯＰ分が溜め込まれたエレメンタリストリームについて、ＧＯＰの先頭と、各フレーム（ピクチャ）の境界と、各ピクチャのピクチャタイプ（Ｉ、ＰおよびＢ）とを知ることができ、これらの情報に基づき、メモリ２１から任意のピクチャ順でデータを読み出すことができる。
例えば、ＣＰＵ１１は、ハードディスクドライブ１４に格納されたエレメンタリストリーム中のＧＯＰヘッダをサーチし、サーチ結果に基づきエレメンタリストリームをＧＯＰ単位でハードディスクドライブ１４から読み出し、デコーダボード２のメモリ２１に対して、ＧＯＰ先頭が書き込まれるアドレスを指定して書き込む。ＣＰＵ１１からＣＰＵ２５に対して、このＧＯＰ先頭のメモリ２１上でのアドレス情報が送信される。このアドレス情報に基づき、ＣＰＵ２５は、メモリ２１上に書き込まれたエレメンタリストリームのＧＯＰ先頭にアクセスし、さらに、ＧＯＰ内の各ピクチャヘッドをサーチし、ピクチャ境界と、各ピクチャのピクチャタイプを取得する。
図３および図４を用いて、１倍速再生の際のフォワード再生の再生制御について説明する。図３は、デコーダ２３における入出力および内部処理の概略的なシーケンスを示す。この図３に一例が示されるシーケンスは、エレメンタリストリームの復号化の開始時に、ＣＰＵ２５により予めスケジューリングされる。
図３において、「ＥＳ入力」は、デコーダ２３に対して入力されるエレメンタリストリームのピクチャ順序を示す。エレメンタリストリームは、上述した配列（１）に従ったピクチャ順序でデコーダ２３に入力される。デコード回路３０では、ＣＰＵ２５からの復号化開始命令に従い入力されたピクチャを復号化して、「デコード」に示されるようなピクチャ順序でフレームメモリ２４に書き込む。この図３の例では、ＥＳ入力に対して１フレーム同期信号分遅延して、復号化されたピクチャがフレームメモリ２４に書き込まれている。フレームメモリ２４に書き込まれたピクチャは、出力可能となる。ＣＰＵ２５から、「表示命令」に示されるピクチャ順序で表示開始命令が送信される。この表示開始命令に従い、フレームメモリ２４から、「出力」に示されるようなピクチャ順序で、フレーム同期信号に同期してピクチャが読み出され、出力される。この図３の例では、出力は、表示開始命令に対して１フレーム同期信号分遅延される。「ビデオ出力」は、デコーダボード２から外部に出力されるストリームを示す。
なお、図３における「ＥＳ入力」、「デコード」、「表示命令」、「出力」および「ビデオ出力」などの意味は、後述する同様の図において、共通である。
図４は、図３のシーケンスに基づくフレームメモリ２４の一例の使用状況を、ＧＯＰ＃１の先頭から復号化が開始されるものとして示す。図４において、縦軸は、図３の「デコード」に対応し、フレームメモリ２４に対して書き込まれるピクチャをフレーム同期信号単位の時系列で示す。横軸は、出力されるピクチャを示す。出力ピクチャは、時系列的には、図４中に「●（黒丸）」で示されるようにして出力される。また、図４において、「◎（二重丸）」は、横軸のタイミングでフレームメモリ２４に書き込まれるピクチャを示し、「○（丸印）」は、横軸のタイミングで既に書き込まれているピクチャを示す。すなわち、図４の横軸は、そのタイミングでフレームメモリ２４に書き込まれているピクチャを示している。
先ず、Ｉ2ピクチャが復号化されフレームメモリ２４に書き込まれ、続けて、Ｐ5ピクチャ、Ｐ8ピクチャ、Ｐ11ピクチャおよびＰ14ピクチャが、図中に矢印で示されるように、それぞれ１つ前に復号化されたＩまたはＰピクチャを用いて復号化され、それぞれフレームメモリ２４に書き込まれる。次に、Ｂ0ピクチャおよびＢ1ピクチャが、１つ前のＧＯＰのＰ14ピクチャと、このＧＯＰ＃１のＩ2ピクチャとを用いて復号化される。この図４の例では、ＧＯＰ＃１から復号化が開始されているので、Ｂ0ピクチャおよびＢ1ピクチャを復号化する必要が無い。
続けて、Ｂ3ピクチャおよびＢ4ピクチャ、Ｂ6ピクチャおよびＢ7ピクチャ、Ｂ9ピクチャおよびＢ10ピクチャ、ならびに、Ｂ12ピクチャおよびＢ13ピクチャが順次、図中に矢印で示されるように、それぞれのピクチャの表示順で前後のＩまたはＰピクチャを用いて復号化され、それぞれ表示開始命令により自身の表示がなされるまで、フレームメモリ２４に保持される。
このように、この実施の一形態では、ＩピクチャおよびＰピクチャは、ＧＯＰ内の全てのＢピクチャより先に復号化され、自身の出力がなされるまで、フレームメモリ２４内に保持される。このような、他のピクチャから参照されるためにフレームメモリ２４内に保持されるピクチャを、アンカーピクチャと称する。例えば、Ｉピクチャおよび４枚のＰピクチャは、アンカーピクチャである。
なお、図４において、時系列方向でＧＯＰ＃２のＩ2ピクチャ以降は、ＧＯＰ＃１のＩ2ピクチャからＢ13ピクチャまでの処理が繰り返されるので、詳細な説明を省略する。
各タイミングにおけるフレームメモリ２４の占有フレーム数を、図４の右端に示す。なお、時系列上でＧＯＰ＃２以降の占有フレーム数は、ＧＯＰ＃１の対応する部分の処理が繰り返されるものとして示す。このように、フォワード再生においては、占有フレーム数が７フレームを超えることがない。フォワード再生時には、フレームメモリ２４に書き込まれたピクチャのそれぞれは、表示開始命令に従い出力された時点で解放可能である。開放された領域には、新たなピクチャを上書きすることができる。
図５および図６を用いて、１倍速再生の際のリバース再生の再生制御について説明する。図５は、上述した図３と対応する図であって、デコーダ２３におけるリバース再生時の入出力および内部処理の概略的なシーケンスを示す。この図５に示されるシーケンスも、上述と同様に、エレメンタリストリームの復号化開始時に、ＣＰＵ２５により予めスケジューリングされる。
図５において、エレメンタリストリームは、「ＥＳ入力」に示されるように、上述した配列（２）に従ったピクチャ順序でデコーダ２３に入力される。デコーダ回路３０では、ＣＰＵ２５からの復号化開始命令に従い、入力されたピクチャを復号化して、「デコード」に示されるようなピクチャ順序でフレームメモリ２４に書き込む。この図５の例では、ＥＳ入力に対して１フレーム同期信号分遅延して、ピクチャが復号化されフレームメモリ２４に書き込まれている。フレームメモリ２４に書き込まれたピクチャは、出力可能となる。
ＣＰＵ２５から、「表示命令」に示されるピクチャ順序で表示開始命令が送信される。リバース再生の場合には、上述のフォワード再生とは逆に、Ｐ14ピクチャからＢ0ピクチャに向けた表示順で表示されるように表示開始命令が送信される。この表示開始命令に従い、フレームメモリ２４から、「出力」に示されるようなピクチャ順序でピクチャが読み出され、表示開始命令に対して１フレーム同期信号分遅延されて出力される。
図６は、図５のシーケンスに基づくフレームメモリ２４の使用状況を、ＧＯＰ＃１の先頭から復号化が開始されるものとして示す。図６中の各部の意味は、上述した図４と同様である。
ＩピクチャおよびＰピクチャの処理は、フォワード再生の場合と同様に、Ｉ2ピクチャ、Ｐ5ピクチャ、Ｐ8ピクチャ、Ｐ11ピクチャおよびＰ14ピクチャの順に、それぞれ１つ前に復号化されたＩまたはＰピクチャを用いて復号化され、それぞれフレームメモリ２４に書き込まれる。
リバース再生の場合、上述したように、Ｐ14ピクチャの次に復号化されるＢ1ピクチャおよびＢ0ピクチャは、リバース再生の入力順で１つ前のＧＯＰ＃０に含まれるピクチャである。この図６の例では、ＧＯＰ＃１から復号化が開始されており、Ｂ1ピクチャおよびＢ0ピクチャの復号化が省略されている。
続けて、Ｂ13ピクチャおよびＢ12ピクチャ、Ｂ10ピクチャおよびＢ9ピクチャ、Ｂ7ピクチャおよびＢ6ピクチャ、ならびに、Ｂ4ピクチャおよびＢ3ピクチャが順次、図中に矢印で示されるように、それぞれのピクチャの表示順で前後のＩまたはＰピクチャを用いて復号化され、それぞれ表示開始命令により自身の表示がなされるまで、フレームメモリ２４に保持される。リバース再生の場合でも、上述したフォワード再生の場合と同様に、ＩピクチャおよびＰピクチャは、ＧＯＰ内の全てのＢピクチャより先に復号化され、自身の出力がなされるまで、フレームメモリ２４内に保持される。
なお、図６において、時系列方向でＧＯＰ＃２のＩ2ピクチャ以降は、ＧＯＰ＃１のＩ2ピクチャからＢ3ピクチャまでの処理が繰り返されるので、詳細な説明を省略する。
各タイミングにおけるフレームメモリ２４の占有フレーム数を、図６の右端に示す。なお、時系列上でＧＯＰ＃２以降の占有フレーム数は、ＧＯＰ＃１の対応する部分の処理が繰り返されるものとして示す。リバース再生の場合には、Ｂ0ピクチャの復号化の際にＩ2ピクチャが必要となるため、上述したフォワード再生の場合とは異なり、Ｂ0ピクチャの復号化のタイミングにおいて占有フレーム数が８フレームとなる。その他のタイミングでは、占有フレーム数が７フレームを超えることがない。したがって、上述のフォワード再生時の処理と併せて、フレームメモリ２４の容量を少なくとも８フレーム分とすることで、フォワード再生およびリバース再生の何方にも対応可能である。
なお、リバース再生時には、フレームメモリ２４上のＩ2ピクチャは、自身の出力が完了した後も、Ｂ0ピクチャの復号化が完了するまでは解放されない。Ｉ2ピクチャ以外のピクチャに関しては、自身の出力がなされた時点で解放可能である。
また、フォワード再生およびリバース再生の何れの場合も、フレームメモリ２４上のどの領域にどのピクチャを書き込むか、といった制御は、例えば復号化のシーケンスをスケジューリングする際に、ＣＰＵ２５により適宜に行われる。例えば、デコーダボード２に供給されるエレメンタリストリームのフォーマットが予め分かっていれば、所定のテーブルやアルゴリズムを用いて、フレームメモリ２４に対する各ピクチャのマッピングを制御することができる。
このように、この実施の一形態に適用される再生制御方法によれば、メモリ２１上でエレメンタリストリームのピクチャ順序を所定に並び替えてデコーダ２３に供給するようにしているため、フォワード再生とリバース再生とを略同様の処理で行うことができ、必要なフレームメモリも８フレーム分で済む。
次に、この発明の実施の一形態に適用可能なスロー再生制御について説明する。このスロー再生制御は、デコーダ２３に対するビデオデータ（ピクチャ）の入力と、ＣＰＵ２５からデコーダ２３に供給される表示開始命令とを共に停止することで行うようにしている。これにより、フォワードおよびリバース方向のスロー再生を容易に、応答性よく行うことができる。
また、この発明では、再生の開始時からスロー再生を行う場合において、再生の開始時にピクチャの出力に先立って復号化されるピクチャを、１倍速再生の場合と同様のタイミングで予め入力および復号化する。これにより、スロー再生から再生を開始する際の応答性を向上させることができ、また、スロー再生開始から実際にスロー再生による出力が得られるまでの遅延時間がスロー再生の再生速度に依存されないようにできる。
なお、スロー再生は、２以上のフレーム同期信号毎に１回、出力フレームを更新することで実現できる。換言すれば、スロー再生は、同一フレーム画像を固定的に出力するポーズ再生と、ステップ命令により１フレームずつ送りながら出力するステップ再生とを組み合わせた動作であるということができる。例えば、１フレーム期間のポーズ再生と、１回のステップ再生との組み合わせを繰り返すことで、１／２倍速再生となる。また例えば、２フレーム期間のポーズ再生と、１回のステップ再生との組み合わせを繰り返すと、１／３倍速再生となる。以下では、１／２倍速再生の場合について、説明する。
図７は、フォワード再生時に、ポーズ再生、ステップ再生および１／２倍速のスロー再生を行う場合の一例のシーケンスを示す。ＥＳ入力におけるＩ、ＰおよびＢピクチャの配列は、上述の図３の例と同一の配列（１）である。先ず、ポーズ再生について説明する。例えばユーザは、ビデオ出力で出力されたビデオデータによる再生映像を見ながら、所望の再生映像位置でポーズ再生が行われることを期待して、再生装置を操作する。図７の例では、ユーザにより、出力データにおけるＩ2ピクチャのタイミングでポーズ再生の指示がなされる。この指示に基づき、ＣＰＵ１１からポーズ再生命令２００が送信される。
なお、図７では、説明のため、１フレーム同期信号期間の中間付近でポーズ再生の指示がなされたものとしている。ポーズ再生指示によるポーズ命令２００は、フレーム同期信号に同期してなされるため、ポーズ命令２００は、命令が送信されたタイミングの直後のフレーム同期信号のタイミングから有効となる。例えば、上述のようにＩピクチャのタイミングでポーズ命令２００が送信された場合、実際には、次のフレーム期間からポーズ再生が開始され、Ｂ3ピクチャが固定的に映出される。
ユーザによるポーズ再生指示は、ＣＰＵ１１により受け取られる。ＣＰＵ１１は、このポーズ再生指示に応じて、再生速度を示す速度情報を、出力画像の更新を全く行わないことを示す「０」としてＣＰＵ２５に伝える。ＣＰＵ２５は、この速度情報に基づき、デコーダ２３に対する復号化開始命令および表示開始命令を停止する。それと共に、ＣＰＵ２５は、デコーダ２３に対するピクチャの入力を停止する。例えば、ＣＰＵ２５は、メモリ２１からのピクチャの読み出しを停止させて、デコーダ２３に対するピクチャの入力を停止する。メモリ２１からは通常通りピクチャを読み出し、読み出されたピクチャをデコーダ２３に供給しないようにしてもよい。
図７を参照して、ポーズ再生指示に応じたデコーダ２３各部の動作について説明する。出力データにおけるＩ2ピクチャのタイミングは、ＥＳ入力のＢ6ピクチャに対応する。したがって、ポーズ命令２００に従い、ＥＳ入力においてＢ6ピクチャの次のピクチャ（Ｂ7ピクチャ）の入力が停止される。
ＣＰＵ２５は、ＥＳ入力により入力されたＢ6ピクチャに対する復号化開始命令を出し、次のピクチャからの復号化開始命令を停止する。復号化されたＢ6ピクチャは、１倍速のフォワード再生の場合と同様にして、フレームメモリ２４に書き込まれる。
一方、出力データにおけるＩ2ピクチャのタイミングは、表示開始命令のＢ3ピクチャに対応する。したがって、Ｂ3ピクチャに対する表示開始命令が送信された後、次のピクチャ（Ｂ4ピクチャ）からの表示開始命令がポーズ命令２００に従い停止される。表示開始命令が停止され表示開始命令が無い期間では、表示開始命令が停止される直前のピクチャがフレームメモリ２４からフレーム同期信号に同期して繰り返し読み出される。この図７の例では、Ｂ3ピクチャがフレームメモリ２４から繰り返し読み出されることになり、ポーズ再生指示に応じたポーズ再生が実現される。
ポーズ再生中は、フレームメモリ２４内の各ピクチャは、保持される。そのため、ポーズ再生が解除されポーズ再生命令により入力を停止されたピクチャがＥＳ入力としてデコーダ２３に入力されても、フレームメモリ２４内のピクチャを用いた復号化を実行することができる。
例えば、図７の例で、出力データのＩ2ピクチャのタイミングでポーズ命令２００が送信され、ポーズ命令２００から２フレーム後（図７のステップ命令２０１の位置）のタイミングでポーズ再生を解除する指示が送信された場合について考える。
この場合、ポーズ再生解除の指示の直後のフレーム同期信号のタイミングでポーズ再生が解除され、通常の復号化動作が開始される。したがって、ＥＳ入力では、ポーズ再生指示の際に入力が停止されたＢ7ピクチャからピクチャの入力が開始され、入力されたＢ7ピクチャの復号化開始命令が送信される。この復号化開始命令に応じて、フレームメモリ２４に保持されているＰ5ピクチャおよびＰ8ピクチャを用いてＢ7ピクチャが復号化される。
表示開始命令についても同様に、ポーズ再生指示により停止されたＢ3ピクチャの次のピクチャであるＢ4ピクチャから表示開始命令が出力され、表示開始命令から１フレーム同期信号分遅延して、フレームメモリ２４に保持されているＢ4ピクチャが出力される。
次に、図７を参照してステップ再生指示に応じたデコーダ２３各部の動作について説明する。例えば、ポーズ再生中に現在表示されているフレームの次のフレームを見たい場合に、ステップ再生が指示される。このステップ再生指示に応じて、ＣＰＵ１１からＣＰＵ２５に対してステップ再生を行うステップ命令２０１が送信される。ＣＰＵ２５は、このステップ命令２０１に応じて、デコーダ２３の各部をステップ再生を行うように制御する。この制御は、上述のポーズ再生動作におけるポーズ再生解除の際の制御と、略同一である。
例えば、図７の例で、ポーズ再生中にステップ命令２０１が送信された場合、ステップ命令２０１の直後のフレーム同期信号のタイミングで、１フレーム分の復号化動作が行われる。
すなわち、ＥＳ入力では、直前のポーズ再生により入力が停止されたＢ6ピクチャの次のＢ7ピクチャが入力され、入力されたＢ7ピクチャの復号化開始命令が送信される。この復号化開始命令に従い、フレームメモリ２４に保持されているＰ5ピクチャおよびＰ8ピクチャを用いてＢ7ピクチャが復号化され、フレームメモリ２４に所定に書き込まれる。表示開始命令についても同様に、直前のポーズ再生により更新が停止されているＢ3ピクチャの次のピクチャであるＢ4ピクチャの表示開始命令が送信され、表示開始命令から１フレーム同期信号分遅延して、フレームメモリ２４に保持されているＢ4ピクチャが出力される。
なお、ステップ再生動作においては、ＣＰＵ２５は、ＣＰＵ１１により送信されるフレーム更新命令毎に、デコーダ２３に対して次のピクチャを入力すると共に、入力された次のピクチャの復号化開始命令と、出力フレームを更新する表示開始命令とを、フレーム同期信号に合わせて送信する。すなわち、ステップ再生動作では、ＣＰＵ１１からＣＰＵ２５に対してフレーム更新命令が送信されるまでは、デコーダ２３に対してピクチャが入力されず、出力フレームの更新も行われない。
次に、スロー再生時の動作について説明する。再生速度が１倍速未満のスロー再生は、フレーム同期信号に合わせて同一のフレームを繰り返し出力し、速度情報に応じた更新タイミングで出力フレームを更新することで、実現される。ＣＰＵ２５は、ＣＰＵ１１から送信された速度情報の値が「１」未満且つ「０」以上であれば、スロー再生が指示されたと判断し、速度情報に応じたフレームの更新タイミングを求める。フレームの更新タイミングは、例えば与えられた速度情報に基づく計算や、予め求められ例えばメモリ２６に記憶されたテーブルを参照するなどにより、求められる。例えば１／２倍速のスロー再生の場合は、速度情報「０．５」に基づき、２回のフレーム同期信号に対して１回、出力フレームの更新を行うことで実現される。
図７を参照して、スロー再生時のデコーダ２３各部の動作について説明する。ＣＰＵ１１からＣＰＵ２５に対して、速度情報として値「０．５」が送信され、ＣＰＵ２５に対して１／２倍速のスロー再生を指示する１／２倍速命令２０２が出される。この１／２倍速命令２０２は、次のフレーム同期信号のタイミングで有効とされる。ＣＰＵ２５は、この１／２倍速命令２０２に基づき、デコーダ２３のＥＳ入力としてＢ10ピクチャを入力し、入力されたＢ10ピクチャの復号化開始命令をデコーダ２３に送信する。それと共に、ＣＰＵ２５は、デコーダ２３に対して、出力フレームを次のＢ6ピクチャに更新するように、表示開始命令を送信する。この表示開始命令に応じて、表示開始命令から１フレーム同期信号分遅延して、出力フレームが更新される。
Ｂピクチャを更新する表示開始命令が送信された次のフレーム同期信号のタイミングでは、ＥＳ入力において入力が停止され、それと共に復号化開始命令も送信されない。入力が停止されたので、ＣＰＵ２５から表示開始命令が送信されず、そのため、出力フレームが更新されず、Ｂ6ピクチャが再び出力される。
以降、１／２倍速のスロー再生時には、この動作が繰り返し行われる。したがって、スロー再生は、１回のステップ再生と、当該ステップ再生により更新されたフレームに対する所定フレーム期間分のポーズ再生とを組み合わせた動作と等価であるといえる。
すなわち、ＣＰＵ２５は、出力フレームの更新タイミングでないときは、デコーダ２３に対する復号化開始命令および表示開始命令の送信を停止し、上述したポーズ再生動作をデコーダ２３に行わせる。これにより、デコーダ２３は、上述したように、入力されるピクチャが無いため出力側のピクチャを保持し、次の更新タイミングになるまで同一ピクチャを繰り返し出力する。
また、出力フレームの更新タイミングでは、復号化開始命令と表示開始命令とをデコーダ２３に送信し、上述したステップ再生動作をデコーダ２３に行わせる。これにより、デコーダ２３は、上述したように、入力されたピクチャの復号化と、出力ピクチャの更新とを行う。
ここで、再生開始時からスロー再生（１／２倍速スロー再生とする）を行う場合について考える。再生開始時にスロー再生が指示されると、図８に一例が示されるように、復号化されたピクチャの出力に先立って、Ｉ2ピクチャ、Ｐ5ピクチャ、Ｐ8ピクチャ、Ｐ11ピクチャおよびＰ14ピクチャが順次、デコーダ２３に入力される。デコーダ２３は、先行的に入力されたこれらのＩピクチャおよび４枚のＰピクチャを復号化し、フレームメモリ２４に書き込む。Ｉピクチャおよび４枚のＰピクチャが復号化されると、最初に出力される予定のＢ0ピクチャがデコーダ２３に入力される。
従来は、このＩピクチャおよび４枚のＰピクチャ、ならびに、最初に出力が予定されているＢ0ピクチャのデコーダ２３に対する入力および復号化を、スロー再生による再生速度のタイミングで行っていた。例えば、ＣＰＵ２５からデコーダ２３に対して送信された１／２倍速スロー命令３００は、直後のフレーム同期信号３０２から有効となる。このフレーム同期信号３０２から、上述したような１／２倍速のスロー再生のシーケンスに従ってスロー再生動作が開始され、最初にＩ2ピクチャが入力および復号化され、以降、１フレーム同期信号期間おきに４枚のＰピクチャが順次入力および復号化される。このようなスロー再生制御方法では、既に問題点として説明したように、スロー再生速度に応じて、１／２倍速スロー命令から実際にスロー再生による出力が得られるまでの遅延時間が長くなることになり、応答性が悪い。
そこで、この発明の実施の一形態では、再生開始直後からデコーダ２３への入力およびデコーダ２３での復号化を行い、出力を行わないピクチャについて、予め復号化してフレームメモリ２４に書き込むようにしている。このとき、当該ピクチャのデコーダ２３への入力や、デコーダ２３における復号化は、予め通常の１倍速再生のシーケンスに従って、フレーム同期信号毎に行うようにする。
このように、再生開始直後からデコーダ２３への入力およびデコーダ２３での復号化を行い、出力を行わないピクチャについて、通常の１倍速再生のシーケンスに従って先行的に復号化を行うことで、例えば再生の開始時からスロー再生が指示されているような場合でも、応答性よくスロー再生を開始することができる。
図９を用いて、より具体的に説明する。なお、この図９および上述した図８は、例えば図３における「デコード」、「出力」および「ビデオ出力」を抜き出して簡略化した図である。Ｉピクチャおよび４枚のＰピクチャは、全てのＢピクチャに先立ってデコーダ２３に入力され、復号化されてフレームメモリ２４に書き込まれる。これらのＩピクチャおよびＰピクチャは、少なくとも、Ｂ1ピクチャの出力タイミングが経過するまで出力されない。また、最初に出力される予定のＢ0ピクチャは、勿論、デコーダ２３に入力されてから少なくとも１フレーム同期信号期間分後に、出力される。そこで、Ｉピクチャおよび４枚のＰピクチャと、最初に出力が予定されるＢ0ピクチャとを、先行的にデコーダ２３に入力し復号化するピクチャとし、例えば再生の開始時からスロー再生が指示された場合に、１倍速再生のシーケンスに従ってデコーダ２３への入力および復号化を行い、フレームメモリ２４に書き込む。
そして、Ｂ0ピクチャの次からデコーダ２３に入力される各ピクチャ（Ｂ1ピクチャ以降のピクチャ）に対するデコーダ２３への入力および復号化を、デコーダ２３の１／２倍速スロー再生のシーケンスに従い行う。デコーダ２３における１／２倍速スロー再生のシーケンスは、図７を用いて既に説明した動作と同様なので、繁雑さを避けるために、詳細な説明を省略する。
上述したように、ＣＰＵ２５は、メモリ２１にエレメンタリストリームが書き込まれた際に、ＧＯＰの先頭と、各フレーム（ピクチャ）の境界と、各ピクチャのピクチャタイプ（Ｉ、ＰおよびＢ）とを取得している。そのため、１／２倍速スロー命令３００直後のＩピクチャおよび４枚のＰピクチャ、ならびに、最初に出力される予定のＢ0ピクチャの入力および復号化を１倍速再生のタイミングで行い、それ以降のピクチャの入力および復号化を１／２倍速再生の動作に従い行うように制御するのは、容易である。
この発明による再生制御方法は、リバース再生時にも、上述のフォワード再生の場合と同様に適用できる。図１０は、リバース再生時に、ポーズ再生、ステップ再生および１／２倍速のスロー再生を行う場合の一例のシーケンスを示す。ＥＳ入力におけるＩ、ＰおよびＢピクチャの配列は、上述の図５の例と同一である。また、リバース再生時の動作は、基本的な考え方は、図７を用いて説明したフォワード再生時の動作と共通である。
すなわち、ポーズ再生など、同一のフレームを繰り返し出力する場合には、デコーダ２３に対するピクチャの入力および復号化開始命令を停止すると共に、出力フレームに対する表示開始命令を停止して出力フレームの更新を行わない。また、ポーズ再生を解除したり、ステップ再生を行うなど、一旦更新が停止されていた出力フレームを再び更新する場合には、入力が停止された次のピクチャを入力し、入力されたピクチャに対する復号化開始命令を出すと共に、表示開始命令が停止された次の出力フレームに対する表示開始命令が送信され、出力フレームが更新される。
図１０を参照して、リバース再生時のポーズ再生指示に応じたデコーダ２３各部の動作について説明する。ユーザにより、出力データにおけるＰ14ピクチャのタイミングでポーズ再生の指示がなされポーズ命令２０３が送信された場合、出力データにおけるＰ14ピクチャのタイミングに対応するＥＳ入力のＢ10ピクチャの次のピクチャ（Ｂ9ピクチャ）の入力が停止される。また、ＥＳ入力により入力されたＢ10ピクチャの復号化開始命令が送信され、次のピクチャからの復号化開始命令が停止される。復号化されたＢ10ピクチャは、１倍速のリバース再生の場合と同様にして、フレームメモリ２４に書き込まれる。
出力データ側では、出力データのＰ14ピクチャのタイミングに対応するＢ13ピクチャに対する表示開始命令が送信された後、次のピクチャ（Ｂ12ピクチャ）からの表示開始命令が停止され、表示開始命令が無い期間に、表示開始命令が停止される直前のピクチャ（図１０の例ではＢ13ピクチャ）がフレームメモリ２４からフレーム同期信号に同期して繰り返し読み出される。
リバース再生時においても、ポーズ再生中は、フレームメモリ２４内の各ピクチャは、保持される。そのため、ポーズ再生が解除されポーズ命令２０３により入力を停止されたピクチャがＥＳ入力としてデコーダ２３に入力されても、フレームメモリ２４内のピクチャを用いた復号化を実行することができる。
ポーズ再生の解除が指示されると、指示直後のフレーム同期信号のタイミングでポーズ再生が解除され、通常の復号化動作が開始される。例えば、図１０の例で、出力データのＰ14ピクチャのタイミングでポーズ命令２０３が送信され、ポーズ命令２０３から２フレーム後（図１０のステップ命令２０４の位置）のタイミングでポーズ再生を解除する指示が送信された場合、ＥＳ入力では、ポーズ命令２０３の際に入力が停止されたＢ9ピクチャからピクチャの入力が開始され、ポーズ再生解除の指示の直後のフレーム同期信号のタイミングでＢ9ピクチャからの復号化開始命令が送信される。この復号化開始命令に従い、フレームメモリ２４に保持されているＰ8ピクチャおよびＰ11ピクチャを用いてＢ9ピクチャが復号化される。
表示開始命令についても同様に、ポーズ再生指示により停止されたＢ13ピクチャの次のピクチャであるＢ12ピクチャから表示開始命令が送信され、表示開始命令から１フレーム同期信号分遅延して、フレームメモリ２４に保持されているＢ12ピクチャが出力される。
次に、図１０を参照して、リバース再生時のステップ再生指示に応じたデコーダ２３各部の動作について説明する。例えば、ポーズ再生中に現在表示されているフレームの次のフレーム（リバース再生の場合は、フォワード再生における１つ前のフレーム）を見たい場合に、ステップ再生が指示され、ＣＰＵ１１からＣＰＵ２５に対してステップ再生を行うステップ命令２０４が送信される。
例えば、図１０の例で、ポーズ再生中にステップ命令２０４が送信された場合、ＥＳ入力では、直前のポーズ命令２０３により入力が停止されたＢ10ピクチャの次のＢ9ピクチャが入力され、復号化開始命令が送信される。この復号化開始命令に従い、フレームメモリ２４に保持されているＰ8ピクチャおよびＰ11ピクチャを用いてＢ9ピクチャが復号化され、フレームメモリ２４に所定に書き込まれる。
表示開始命令についても同様に、直前のポーズ命令２０３により更新が停止されているＢ13ピクチャの次のピクチャであるＢ12ピクチャの表示開始命令が送信され、表示開始命令から１フレーム同期信号分遅延して、フレームメモリ２４に保持されているＢ12ピクチャが出力される。この場合も、フォワード再生の場合と同様に、ＣＰＵ１１からＣＰＵ２５に対してフレーム更新命令が送信されるまでは、デコーダ２３に対してピクチャが入力されず、出力フレームの更新も行われない。
次に、スロー再生時の動作について説明する。リバース再生時においても、上述のフォワード再生と同様に、再生速度が１倍速未満のスロー再生は、フレーム同期信号に合わせて同一のフレームを繰り返し出力し、速度情報に応じた更新タイミングで出力フレームを更新することで、実現される。
図１０を参照して、リバース再生時のスロー再生におけるデコーダ２３各部の動作について説明する。ＣＰＵ１１からＣＰＵ２５に対して、速度情報として値「０．５」が送信され、ＣＰＵ２５に対して１／２倍速のスロー再生を指示する１／２倍速命令２０５が出される。なお、リバース再生を指示する命令は、予めＣＰＵ１１からＣＰＵ２５に送信されているものとする。速度情報にリバース再生命令を含めることもできる。１／２倍速命令２０５は、次のフレーム同期信号のタイミングで有効とされる。ＣＰＵ２５は、この１／２倍速命令２０５に基づき、デコーダ２３のＥＳ入力としてＢ6ピクチャを入力し、入力されたＢ6ピクチャの復号化開始命令をデコーダ２３に送信すると共に、デコーダ２３に対して、出力フレームを次のＢ10ピクチャに更新するように、表示開始命令を送信する。この表示開始命令に応じて、１フレーム同期信号分遅延して出力フレームが更新される。
Ｂピクチャを更新する表示開始命令が送信された次のフレーム同期信号のタイミングでは、ＥＳ入力において入力が停止され、それと共に復号化開始命令も送信されない。入力が停止されたので、ＣＰＵ２５から表示開始命令が送信されず、そのため、出力フレームが更新されず、Ｂ10ピクチャが再び出力される。
以降、１／２倍速のスロー再生時には、この動作が繰り返し行われる。したがって、リバース再生においても、スロー再生は、１回のステップ再生と、当該ステップ再生により更新されたフレームに対する所定フレーム期間分のポーズ再生とを組み合わせた動作と等価であるといえる。
リバース再生開始時からスロー再生（１／２倍速スロー再生とする）を行う場合について考える。リバース再生開始時にスロー再生が指示されると、図１１に一例が示されるように、復号化されたピクチャの出力に先立って、Ｉ2ピクチャ、Ｐ5ピクチャ、Ｐ8ピクチャ、Ｐ11ピクチャおよびＰ14ピクチャが順次、デコーダ２３に入力される。デコーダ２３は、先行的に入力されたこれらのＩおよび４枚のＰピクチャを復号化し、フレームメモリ２４に書き込む。Ｉおよび４枚のＰピクチャが復号化されると、最初に出力される予定の、リバース再生順で１つ前のＧＯＰの(Ｂ1)ピクチャがデコーダ２３に入力される。
従来のように、このＩピクチャおよび４枚のＰピクチャ、ならびに、最初に出力が予定されている(Ｂ1)ピクチャのデコーダ２３に対する入力および復号化を、リバース方向のスロー再生によるシーケンスに従い行うと、図８を用いて説明した従来のフォワード再生の例と同様にして、スロー再生速度に応じて、１／２倍速スロー命令から実際にスロー再生による出力が得られるまでの遅延時間が長くなることになり、応答性が悪い。
リバース再生の場合にも、図９を用いて説明したこの発明の実施の一形態による再生制御方法を適用し、再生開始直後からデコーダ２３への入力およびデコーダ２３での復号化を行い出力を行わないピクチャについて、予め復号化してフレームメモリ２４に書き込む。このとき、当該ピクチャのデコーダ２３への入力や、デコーダ２３における復号化は、予め通常の１倍速再生のシーケンスで行うようにする。リバース再生についても、このように、再生開始直後からデコーダ２３への入力およびデコーダ２３での復号化を行い出力を行わないピクチャについて、先行的に復号化を行うことで、例えば再生の開始時からリバース再生のスロー再生が指示されているような場合でも、応答性よくスロー再生を開始することができる。
図１２を用いて、より具体的に説明する。なお、この図１２および上述した図１１は、例えば図３における「デコード」、「出力」および「ビデオ出力」を抜き出して簡略化した図である。Ｉピクチャおよび４枚のＰピクチャは、全てのＢピクチャに先立ってデコーダ２３に入力され、復号化されてフレームメモリ２４に書き込まれる。これらのＩおよびＰピクチャは、少なくとも、リバース再生の再生順で１つ前のＧＯＰの(Ｂ0)ピクチャの出力タイミングが経過するまで出力されない。また、最初に出力される予定の(Ｂ1)ピクチャは、勿論、デコーダ２３に入力されてから少なくとも１フレーム同期信号期間分後に、出力される。そこで、Ｉピクチャおよび４枚のＰピクチャと、最初に出力が予定される(Ｂ1)ピクチャとを、先行的にデコーダ２３に入力し復号化するピクチャとし、例えば再生の開始時からスロー再生が指示された場合に、１倍速再生のシーケンスに従いデコーダ２３への入力および復号化を行い、フレームメモリ２４に書き込む。
そして、(Ｂ1)ピクチャの次からデコーダ２３に入力される各ピクチャ（(Ｂ0)ピクチャ以降のピクチャ）に対するデコーダ２３への入力および復号化を、デコーダ２３のリバース方向の１／２倍速スロー再生のシーケンスに従い行う。デコーダ２３におけるリバース再生時の１／２倍速スロー再生のシーケンスは、図１０を用いて既に説明した動作と同様なので、繁雑さを避けるために、詳細な説明を省略する。
次に、この発明の実施の一形態の第１の変形例について説明する。上述では、リバース再生に対応させるため、デコーダ２３に入力されるピクチャの配列を、メモリ２１を用いて所定に並べ替えていたが、これはこの例に限定されない。すなわち、この発明による再生制御方法は、他の配列のエレメンタリストリームに対しても適用可能である。この発明の実施の一形態の第１の変形例は、上述した実施の一形態による１／２倍速スロー命令による再生制御方法を、標準的なピクチャ配列（Ｉ2Ｂ0Ｂ1Ｐ5Ｂ3Ｂ4Ｐ8Ｂ6Ｂ7Ｐ11Ｂ9Ｂ10Ｐ14Ｂ12Ｂ13）に対して適用した例である。
先ず、図１３を用いて、標準的な配列による、１倍速のフォワード再生時におけるデコーダ２３各部の動作について、概略的に説明する。なお、図１３において、ピクチャを示す四角に付された斜線は、ＥＳ入力におけるＧＯＰを区別するためのものである。また、図１３の先頭のＢピクチャの表示開始命令のタイミングでは、ＧＯＰ＃１の一つ前の図示されないＧＯＰ＃０がデコーダ２３に既に入力され、復号化や出力など所定の処理が既に完了され、ＧＯＰ＃１においては、Ｉ2ピクチャおよびＢ0ピクチャが既にデコーダ２３に入力され、Ｉ2ピクチャに関しては復号化が完了しているものとする。
Ｂ0ピクチャの表示開始命令のタイミングで、既に入力されているＢピクチャがＧＯＰ＃０のＰ14ピクチャおよびＧＯＰ＃１のＩ2ピクチャを用いて復号化され、フレームメモリ２４に書き込まれる。それと共に、ＥＳ入力としてＢ1ピクチャがデコーダ２３に入力され、ＣＰＵ２５からデコーダ２３に対して、入力されたＢ1ピクチャの復号化開始命令が送信される。Ｂ0ピクチャは、表示開始命令に対して１フレーム同期信号分遅延されて出力される。
次に、Ｂ1ピクチャの表示開始命令のタイミングで、ＥＳ入力としてＰ5ピクチャがデコーダ２３に対して入力され、Ｉ2ピクチャを用いて復号化され次のフレーム同期信号のタイミングでフレームメモリ２４に書き込まれる。Ｂピクチャは、表示開始命令に対して１フレーム同期信号分遅延されて出力される。以降、エレメンタリストリームのピクチャの入力順に従いこの処理が繰り返される。
図１４は、標準的な配列による、フォワード再生時のポーズ再生、ステップ再生および１／２倍速のスロー再生を行う場合の一例のシーケンスを示す。先ず、ポーズ再生の動作について、概略的に説明する。例えばユーザにより、ビデオ出力で出力されたビデオデータによる再生映像を見ながら、出力データにおけるＢ4ピクチャのタイミングでポーズ再生の指示がなされる。ＣＰＵ１１は、このポーズ再生指示に応じたポーズ命令２１０により、速度情報の値を「０」としてＣＰＵ２５に伝える。ＣＰＵ２５は、この速度情報に基づき、デコーダ２３に対する復号化開始命令および表示開始命令を停止する。
出力データにおけるＩ2ピクチャのタイミングは、ＥＳ入力のＢ4ピクチャに対応する。したがって、ＥＳ入力においてＢ4ピクチャの次のピクチャ（Ｐ8ピクチャ）の入力が停止される。ＣＰＵ２５は、ＥＳ入力により入力されたＢ4ピクチャに対する復号化開始命令を出し、次のピクチャからの復号化開始命令を停止する。復号化されたＢ4ピクチャは、フレームメモリ２４に書き込まれる。
一方、出力データにおけるＩ2ピクチャのタイミングは、表示開始命令のＢ3ピクチャに対応する。したがって、Ｂ3ピクチャに対する表示開始命令が送信された後、次のピクチャ（Ｂ4ピクチャ）からの表示開始命令が停止される。表示開始命令が停止され表示開始命令が無い期間では、表示開始命令が停止される直前のピクチャがフレームメモリ２４からフレーム同期信号に同期して繰り返し読み出される。この図１４の例では、Ｂ3ピクチャがフレームメモリ２４から繰り返し読み出されることになり、ポーズ再生指示に応じたポーズ再生が実現される。
ポーズ再生中は、フレームメモリ２４内の各ピクチャは、保持される。そのため、ポーズ再生が解除されポーズ再生命令により入力を停止されたピクチャがＥＳ入力としてデコーダ２３に入力されても、フレームメモリ２４内のピクチャを用いた復号化を実行することができる。
例えば、図１４の例で、出力データのＩ2ピクチャのタイミングでポーズ命令２１０が送信され、ポーズ命令２１０から２フレーム後（図１４のステップ命令２１１の位置）のタイミングでポーズ再生を解除する指示が送信された場合について考える。
この場合、ポーズ再生解除の指示の直後のフレーム同期信号のタイミングでポーズ命令２１０が解除され、通常の復号化動作が開始される。したがって、ＥＳ入力では、ポーズ命令２１０により入力が停止されたＰ8ピクチャからピクチャの入力が開始され、復号化開始命令が送信される。この復号化開始命令に従い、フレームメモリ２４に保持されているＰ5ピクチャを用いてＰ8ピクチャが復号化される。表示開始命令についても同様に、ポーズ命令２１０により停止されたＢ3ピクチャの次のピクチャであるＢ4ピクチャから表示開始命令が開始され、表示開始命令から１フレーム同期信号分遅延して、フレームメモリ２４に保持されているＢ4ピクチャが出力される。
次に、図１４を参照してステップ再生指示に応じたデコーダ２３各部の動作について説明する。例えば、図１４の例で、ポーズ再生中にステップ再生を指示するステップ命令Ｉ２１１が送信された場合、ステップ命令２１１の直後のフレーム同期信号のタイミングで、１フレーム分の復号化動作が行われる。
すなわち、ＥＳ入力では、直前のポーズ命令２１０により入力が停止されたＢ4ピクチャの次のＰ8ピクチャが入力され、Ｐ8ピクチャの復号化開始命令が送信される。この復号化開始命令に従い、Ｐ8ピクチャが復号化され、フレームメモリ２４に所定に書き込まれる。表示開始命令についても同様に、直前のポーズ命令２１０により更新が停止されているＢ3ピクチャの次のピクチャであるＢ4ピクチャの表示開始命令が送信され、表示開始命令から１フレーム同期信号分遅延して、フレームメモリ２４に保持されているＢ4ピクチャが出力される。
図１４を参照して、スロー再生時のデコーダ２３各部の動作について説明する。ＣＰＵ１１からＣＰＵ２５に対して、速度情報として値「０．５」が送信され、１／２倍速のスロー再生を指示する１／２倍速命令２１２が出される。この１／２倍速命令２１２は、次のフレーム同期信号のタイミングで有効とされる。ＣＰＵ２５は、この１／２倍速命令２１２に基づき、デコーダ２３のＥＳ入力としてＢ7ピクチャを入力すると共に、入力されたＢ7ピクチャの復号化開始命令をデコーダ２３に送信する。それと共に、ＣＰＵ２５は、デコーダ２３に対して、出力フレームを次のＢ6ピクチャに更新するように、表示開始命令を送信する。この表示開始命令に応じて、１フレーム同期信号分遅延して、出力フレームが更新される。
Ｂピクチャを更新する表示開始命令が送信された次のフレーム同期信号のタイミングでは、ＥＳ入力において入力が停止され、それと共に復号化開始命令も送信されない。入力が停止されたので、ＣＰＵ２５から表示開始命令が送信されず、そのため、出力フレームが更新されず、Ｂ6ピクチャが再び出力される。
以降、１／２倍速のスロー再生時には、ＥＳ入力および表示開始命令などに従い、この動作が繰り返し行われる。
ここで、標準的な配列において、再生開始時からスロー再生（１／２倍速スロー再生とする）を行う場合についての問題点は、発明の課題として既に説明した通りであるので、ここでの説明は省略する。
標準的なピクチャ配列の場合にも、図９を用いて説明したこの発明の実施の一形態による再生制御方法を適用し、再生開始直後からデコーダ２３への入力およびデコーダ２３での復号化を行い出力を行わないピクチャについて、予め復号化してフレームメモリ２４に書き込む。このとき、当該ピクチャのデコーダ２３への入力や、デコーダ２３における復号化は、予め通常の１倍速再生のシーケンスに従い行うようにする。このように、再生開始直後からデコーダ２３への入力およびデコーダ２３での復号化を行い出力を行わないピクチャについて、先行的に復号化を行うことで、例えば再生の開始時からスロー再生が指示されているような場合でも、応答性よくスロー再生を開始することができる。
図１５を用いて、より具体的に説明する。なお、この図１５は、例えば図３における「デコード」、「出力」および「ビデオ出力」を抜き出して簡略化した図である。標準的なピクチャ配列においては、Ｉ2ピクチャは、Ｐ5ピクチャがデコーダ２３に入力され復号化されるタイミングで、出力される。そのため、Ｐ5ピクチャまで、すなわちＩ2ピクチャ、Ｂ0ピクチャおよびＢ1ピクチャとを、先行的にデコーダ２３に入力し復号化するピクチャとし、例えば再生の開始時からスロー再生が指示された場合に、１倍速再生のシーケンスに従いデコーダ２３への入力および復号化を行い、フレームメモリ２４に書き込む。
なお、Ｂ0ピクチャおよびＢ1ピクチャは、１つ前のＧＯＰにおける(Ｐ14)ピクチャを用いて復号化されるため、当該(Ｐ14)ピクチャがフレームメモリ２４上に存在しない場合には、復号化および出力されない。
そして、Ｂ1ピクチャの次からデコーダ２３に入力される各ピクチャ（Ｐ5ピクチャ以降のピクチャ）に対する入力タイミングおよび復号化のタイミングの制御を、デコーダ２３の１／２倍速スロー再生のシーケンスに従い行う。デコーダ２３における１／２倍速スロー再生のシーケンスは、図１４を用いて既に説明した動作と同様なので、繁雑さを避けるために、詳細な説明を省略する。
次に、この実施の一形態の第２の変形例について説明する。上述では、デコーダボード２にデコーダ２３が１基、搭載されている場合について説明したが、これはこの例に限定されない。すなわち、この発明は、複数のデコーダ２３、２３、・・・を用いてビデオストリームの復号化を行う場合にも適用することが可能である。
図１６は、デコーダボード２に３基のデコーダ２３Ａ、２３Ｂおよび２３Ｃを搭載し、デコード部４０’がこれら３基のデコーダを含む例である。なお、図１６において、上述した図１と共通する部分には同一の符号を付し、詳細な説明を省略する。デコーダ２３Ａは、フレームメモリ２４Ａを有する。同様に、デコーダ２３Ｂはフレームメモリ２４Ｂを、デコーダ２３Ｃはフレームメモリ２４Ｃをそれぞれ有する。デコーダ２３Ａ、２３Ｂおよび２３Ｃそれぞれの構成は、図２を用いて説明したものと同一であるので、詳細な説明を省略する。
ＰＣＩブリッジ２０に供給され、メモリ２１に溜め込まれたエレメンタリストリームは、デコード部４０’に供給される。このとき、ＣＰＵ２５は、エレメンタリストリームを、ＧＯＰ毎に順次、デコーダ２３Ａ、２３Ｂおよび２３Ｃに振り分ける。デコーダ２３Ａ、２３Ｂおよび２３Ｃで復号化されたピクチャのそれぞれは、セレクタ２７に供給される。セレクタ２７は、ＣＰＵ２５の制御に従い、供給されたピクチャをピクチャ単位で表示順に選択して出力する。
このように、複数のデコーダ２３Ａ、２３Ｂおよび２３Ｃを用いて１本のエレメンタリストリームの復号化を行うことで、デコーダボード２全体としての処理能力が向上し、例えばより高精細な映像を映出するような、データレートが高いエレメンタリストリームを処理することができるようになる。また、フレームメモリ２４の利用にも余裕が生じる。
図１７は、３基のデコーダ２３Ａ、２３Ｂおよび２３Ｃを用いた場合の、フォワード再生時の入出力および内部処理の概略的なシーケンスを示す。この実施の一形態の第２の変形例においては、デコード部４０’に供給されるエレメンタリストリームのピクチャ配列を、上述した実施の一形態で説明したような、先ずＧＯＰ内のＩおよびＰピクチャを先に配置し、その後、Ｂピクチャを順に配置した配列とする。
ここで、複数のデコーダ２３Ａ、２３Ｂおよび２３Ｃに対して、エレメンタリストリームをＧＯＰ毎に振り分けて供給する場合、それぞれのデコーダに供給されるＧＯＰは、そのＧＯＰ自身で復号化が完結する、クローズドＧＯＰの形態になっている必要がある。上述の実施の一形態の例では、ＧＯＰがオープンＧＯＰの構成とされ、Ｂ0ピクチャおよびＢ1ピクチャは、１つ前のＧＯＰのＰ14ピクチャを用いなければ復号化できない。
そのため、例えば本来のエレメンタリストリームのＧＯＰ＃０に対して、当該ＧＯＰ＃０の１つ後のＧＯＰであるＧＯＰ＃１の、Ｉ2ピクチャとＢ0ピクチャおよびＢ1ピクチャとをＧＯＰ＃０に含ませ、配列（３）のようなピクチャ配列として、１つのデコーダに供給する。なお、配列（３）において、括弧()で括ったピクチャタイプは、主として処理対象とするエレメンタリストリームにおけるＧＯＰの次のＧＯＰに含まれるピクチャを示す。
Ｉ2Ｐ5Ｐ8Ｐ11Ｐ14(Ｉ2)Ｂ3Ｂ4Ｂ6Ｂ7Ｂ9Ｂ10Ｂ12Ｂ13(Ｂ0)(Ｂ1) ・・・（３）
このようなピクチャ配列とすることで、(Ｉ2)ピクチャはそれ自身で復号化され、(Ｂ0)ピクチャおよび(Ｂ1)ピクチャは、Ｐ14ピクチャと、復号化された(Ｉ2)ピクチャとを用いて復号化される。したがって、配列（３）によるピクチャ配列は、それ自身で完結して復号化が可能で、クローズドＧＯＰを形成する。
図１７の説明に戻り、上段はデコーダ２３Ａの処理、中段はデコーダ２３Ｂの処理、下段はデコーダ２３Ｃの処理をそれぞれ示す。最下段は、セレクタ２７から出力される出力ビデオデータを示す。図１７において、デコーダ２３Ｂおよび２３Ｃに対する表示開始命令は、「出力」を１フレーム同期信号分前にずらしたものと同等なので、の省略する。また、図１７において、ピクチャを示す四角に付された斜線は、ＥＳ入力におけるＧＯＰを区別するためのものである。
上述の配列（３）によれば、デコーダ２３Ａ、２３Ｂおよび２３Ｃのそれぞれにおいて、Ｉピクチャおよび４枚のＰピクチャの入力タイミングと、１つ前に入力されるＧＯＰの処理を行うデコーダの入力タイミングとを重複させることで、復号化動作を出力と対応するタイミングで行うことができる。
例えば、デコーダ２３Ａの処理を例にとると、図示せずも、ＥＳ入力においてＩ2ピクチャ、Ｐ5ピクチャ、Ｐ8ピクチャ、Ｐ11ピクチャ、Ｐ14ピクチャ、(Ｉ2)ピクチャが順次、入力され、復号化開始命令によりそれぞれ復号化されてフレームメモリ２４に書き込まれる。
続けてＢ3ピクチャおよびＢ4ピクチャが入力され、復号化開始命令により復号化されフレームメモリ２４に書き込まれると同時に、これらＢ3ピクチャおよびＢ4ピクチャの表示開始命令が送信される。表示開始命令から１フレーム同期信号分遅延して、出力がなされる。なお、Ｉ2ピクチャの表示開始命令は、Ｂ3ピクチャの入力タイミングで出される。以降、Ｂ6ピクチャ、Ｂ7ピクチャ、Ｂ9ピクチャ、Ｂ10ピクチャ、Ｂ12ピクチャ、Ｂ13ピクチャが順次入力される。このとき、既に復号化されているＰピクチャの順序に対応する期間がスキップされて、各Ｂピクチャが入力される。Ｂピクチャは、入力順に復号化され、復号化と同時に表示開始命令が送信される。既に復号化されているＰピクチャに対しても、出力順に対応して表示開始命令が送信される。
Ｂ13ピクチャが入力されると、Ｐ14ピクチャに対応する期間、すなわち１フレーム同期信号期間分を空けて、(Ｂ0)ピクチャおよび(Ｂ1)ピクチャが入力され、復号化開始命令により、既に復号化されている(Ｉ2)ピクチャおよびＰ14ピクチャを用いて復号化され、復号化と同時に表示開始命令が送信される。(Ｂ1)ピクチャの入力後、配列（３）の２周期分の期間を空けて、ピクチャが入力される。
以上のシーケンスを、デコーダ２３Ａ、２３Ｂおよび２３Ｃにおいて順次繰り返すことで、３基のデコーダ２３Ａ、２３Ｂおよび２３Ｃを用いた構成でのフォワード再生が行われる。
図１８は、３基のデコーダ２３Ａ、２３Ｂおよび２３Ｃを用いた場合の、フォワード再生時に、ポーズ再生、ステップ再生および１／２倍速のスロー再生を行う場合の一例のシーケンスを示す。複数のデコーダを用いる場合も、各動作の基本的な考え方は、上述のデコーダを１個のみ用いる場合と同様である。ポーズ再生、ステップ再生、スロー再生などの命令は、ＣＰＵ２５からデコーダ２３Ａ、２３Ｂおよび２３Ｃに対して共に供給される。なお、図１８において、ピクチャタイプに付された「＊（スター印）」は、ＥＳ入力におけるＧＯＰを区別するためのものである。
先ず、ポーズ再生指示に応じた動作について説明する。最下段に示される出力ビデオデータのＩ2ピクチャのタイミングでポーズ再生を指示するポーズ命令２２０が送信されたものとする。このポーズ命令２２０は、ポーズ命令２２０が送信された直後のフレーム同期信号のタイミングで有効とされる。出力ビデオデータのＩ2ピクチャのタイミングは、ＥＳ入力のＢ4ピクチャに対応する。このポーズ命令２２０に応じて、Ｂ4ピクチャの次のピクチャからのＥＳ入力が停止される。入力の停止に伴い、入力されたＢピクチャの次のピクチャからの復号化開始命令が停止される。
また、出力データにおけるＩ2ピクチャのタイミングは、表示開始命令のＢ3ピクチャに対応する。したがって、Ｂ3ピクチャの表示開始命令が送信された後、次のピクチャ（Ｂ4ピクチャ）からの表示開始命令が停止され、Ｂ3ピクチャがフレーム同期信号に同期して繰り返し出力される。これにより、ポーズ命令２２０に応じたポーズ再生が実現される。
なお、例えば図１７の出力データにおけるＰ14ピクチャのタイミングのように、複数のデコーダ２３Ａおよび２３Ｂに対して並列的にピクチャが入力されている（この場合(Ｂ1）ピクチャおよび(Ｐ14)ピクチャ）ような場合、ピクチャが入力されているデコーダ２３Ａおよび２３Ｂのそれぞれに対して復号化開始命令が送信され、各々復号化がなされる。また、複数のデコーダに対して並列的にピクチャが入力されているタイミングでポーズ命令が送信された場合、複数のデコーダそれぞれに対するＥＳ入力が停止される。
ポーズ再生中は、各デコーダ２３Ａ、２３Ｂおよび２３Ｃのそれぞれにおいてフレームメモリ２４Ａ、２４Ｂおよび２４Ｃ内の各ピクチャが保持される。そのため、ポーズ再生が解除されポーズ命令により入力を停止されたピクチャがデコーダ２３Ａ、２３Ｂおよび２３Ｃに入力されても、ピクチャが入力されたデコーダのそれぞれにおいて、フレームメモリ２４Ａ、２４Ｂおよび２４Ｃ内のピクチャを用いた復号化を実行することができる。
なお、図１７における(Ｂ0)ピクチャや(Ｂ1)ピクチャの出力時などのような、デコーダ間で出力が切り替わるようなタイミングでポーズ再生が送信された場合でも、同様の処理が行われる。
例えば、出力データにおける(Ｂ0)ピクチャのタイミングでポーズ命令が送信された場合、デコーダ２３ＡのＥＳ入力が停止されると共に、デコーダ２３ＢのＥＳ入力が対応する次の(Ｂ3)ピクチャで停止される。また、デコーダ２３Ｃに対するＥＳ入力も停止される。表示開始命令も、(Ｂ1)ピクチャで停止され、以降、ポーズ命令が解除されるまで、(Ｂ1)ピクチャが繰り返し出力される。
また例えば、出力データにおける(Ｂ1)ピクチャのタイミングでポー命令が送信された場合、デコーダ２３ＡのＥＳ入力が停止されると共に、デコーダ２３ＢのＥＳ入力が対応する次の(Ｂ4)ピクチャで停止される。また、デコーダ２３Ｃに対するＥＳ入力も停止される。表示開始命令は、デコーダ２３Ｂに対して(Ｂ3)ピクチャで停止され、以降、ポーズ命令が解除されるまで、(Ｂ3)ピクチャが繰り返し出力される。
次に、図１８を参照して、ステップ再生指示に応じた動作について説明する。例えば、図１８のステップ命令２２１のように、ポーズ再生中にステップ命令２２１が送信された場合、ステップ命令２２１の直後のフレーム同期信号のタイミングで、１フレーム分の復号化動作が行われる。この例の場合、ＥＳ入力は、ポーズ命令２２０により入力が停止されたＢ4ピクチャの次のピクチャが、既に入力され復号化がなされているＰ5ピクチャであるため、実際のピクチャの入力は行われない。表示開始命令については、直前のポーズ再生により更新が停止されているＢ3ピクチャの次のピクチャであるＢ4ピクチャの表示開始命令が送信され、表示開始命令から１フレーム同期信号分遅延して、フレームメモリ２４Ａに保持されているＢ4ピクチャが出力される。
なお、図１７における(Ｂ1)ピクチャの出力時などのような、デコーダ間で出力が切り替わるような場合でも、上述したポーズ再生時の動作と同様にして、切り替わり先のデコーダに対して表示開始命令が送信されると共に、各デコーダに対するＥＳ入力が開始される。
次に、図１８を参照して、スロー再生に応じた動作について説明する。例えば１／２倍速のスロー再生を指示する１／２倍速命令２２２が次のフレーム同期信号の周期で有効とされ、この１／２倍速命令２２２に基づき、ＣＰＵ２５は、デコーダ２３ＡのＥＳ入力としてＢ7ピクチャを入力し、このピクチャの復号化開始命令をデコーダ２３Ａに送信する。それと共に、ＣＰＵ２５は、デコーダ２３Ａに対して、出力フレームを次のＢ6ピクチャに更新するように表示開始命令を送信する。この表示開始命令に応じて、表示開始命令から１フレーム同期信号分遅延して、デコーダ２３Ａの出力フレームが更新される。
Ｂ6ピクチャに更新する表示開始命令が送信された次のフレーム同期信号タイミングでは、ＥＳ入力において入力が停止され、それと共に復号化開始命令も送信されない。なお、この図１８の例では、１／２倍速命令２２２に応じて入力されたＥＳ入力の次のピクチャは、Ｐ8ピクチャであり、既に入力および復号化が完了している。入力が停止されたので、ＣＰＵ２５から表示開始命令が送信されず、そのため、出力フレームが更新されずＰ5ピクチャが再び出力される。この動作が繰り返され、１／２倍速スロー再生が実現される。
なお、１／２倍速スロー再生中に、デコーダ２３Ａにエレメンタリストリームが入力されるのと並列的に、次のデコーダ（デコーダ２３Ｂ）に対してエレメンタリストリームが入力される場合（例えば図１７におけるデコーダ２３Ｂの(Ｉ2)ピクチャからの入力）、デコーダ２３Ｂにおけるエレメンタリストリームの入力も、デコーダ２３Ａの入力と同様にして、１ピクチャ毎に入力および停止が繰り返される。
３基のデコーダ２３Ａ、２３Ｂおよび２３Ｃを用いた場合においても、再生開始時からフォワード方向にスロー再生（１／２倍速スロー再生とする）を行う場合、図１９に一例が示されるように、上述したデコーダ２３を１基用いてフォワード方向にスロー再生を行う場合と同様に、ピクチャの出力に先立って、Ｉ2ピクチャ、Ｐ5ピクチャ、Ｐ8ピクチャ、Ｐ11ピクチャ、Ｐ14ピクチャおよび(Ｉ2)ピクチャが順次、例えばデコーダ２３Ａに入力される。デコーダ２３Ａは、先行的に入力されたこれらのＩ2ピクチャ、４枚のＰピクチャおよび(Ｉ2)ピクチャを復号化し、フレームメモリ２４Ａに書き込む。
従来は、このＩ2ピクチャ、４枚のＰピクチャおよび(Ｉ2)ピクチャのデコーダ２３への入力および復号化を、スロー再生によるシーケンスに従い行っていた。そのため、既に問題点として説明したように、スロー再生速度に応じて、１／２倍速スロー命令から実際にスロー再生による出力が得られるまでの遅延時間が長くなることになり、応答性が悪い。
デコーダを複数用いる場合でも、図９を用いて説明したこの発明の実施の一形態による再生制御方法を適用し、再生開始直後から例えばデコーダ２３Ａへの入力およびデコーダ２３Ａでの復号化を行い出力を行わないピクチャについて、予め復号化してフレームメモリ２４Ａに書き込む。このとき、当該ピクチャのデコーダ２３Ａへの入力や、デコーダ２３Ａにおける復号化は、予め通常の１倍速再生のシーケンスに従い行うようにする。このように、再生開始直後から例えばデコーダ２３Ａへの入力およびデコーダ２３Ａでの復号化を行い出力を行わないピクチャについて、先行的に復号化を行うことで、例えば再生の開始時からフォワード再生のスロー再生が指示されているような場合でも、応答性よくスロー再生を開始することができる。
図２０を用いて、より具体的に説明する。なお、この図２０および上述した図１９は、例えば図３における「デコード」、「出力」および「ビデオ出力」を抜き出して簡略化した図である。Ｉ2ピクチャ、４枚のＰピクチャおよび(Ｉ2)ピクチャは、全てのＢピクチャに先立って例えばデコーダ２３Ａに入力され、復号化されてフレームメモリ２４Ａに書き込まれる。これらのうち、(Ｉ2)ピクチャは、最初に出力される予定のピクチャである。そこで、Ｉ2ピクチャ、４枚のＰピクチャおよび(Ｉ2)ピクチャを、先行的にデコーダ２３Ａに入力し復号化するピクチャとし、例えば再生の開始時からスロー再生が指示された場合に、１倍速再生のシーケンスに従いデコーダ２３Ａへの入力および復号化を行い、フレームメモリ２４Ａに書き込む。
そして、(Ｉ2)ピクチャの次からデコーダ２３Ａに入力される各ピクチャ（Ｂ3ピクチャ以降のピクチャ）に対する入力および復号化を、デコーダ２３の１／２倍速スロー再生のシーケンスに従い行う。デコーダ２３における１／２倍速スロー再生のシーケンスは、図１８を用いて既に説明した動作と同様なので、繁雑さを避けるために、詳細な説明を省略する。
図２１は、３基のデコーダ２３Ａ、２３Ｂおよび２３Ｃを用いた場合の、リバース再生時の入出力および内部処理の概略的なシーケンスを示す。なお、図２１において、ピクチャを示す四角に付された斜線は、ＥＳ入力におけるＧＯＰを区別するためのものである。デコード部４０’に供給されるエレメンタリストリームのピクチャ配列を、上述した実施の一形態で説明したような、先ずＧＯＰ内のＩおよびＰピクチャを先に配置し、その後、Ｂピクチャを順に配置した配列とする。この場合も、上述のフォワード再生の場合と同様に、複数のデコーダ２３Ａ、２３Ｂおよび２３Ｃのそれぞれに入力されるエレメンタリストリームは、クローズドＧＯＰの形態となっている必要がある。
リバース再生の場合、配列（４）のようなピクチャ配列を用いる。なお、配列（４）において、括弧()で括ったピクチャタイプは、本来のエレメンタリストリームにおける、リバース再生時のＧＯＰの再生順で前のＧＯＰに含まれるピクチャを示す。
Ｉ2Ｐ5Ｐ8Ｐ11Ｐ14(Ｉ2)(Ｂ0)(Ｂ1)Ｂ13Ｂ12Ｂ10Ｂ9Ｂ7Ｂ6Ｂ4Ｂ3 ・・・（４）
このようなピクチャ配列とすることで、(Ｉ2)ピクチャはそれ自身で復号化され、(Ｂ0)ピクチャおよび(Ｂ1)ピクチャは、Ｐ14ピクチャと、復号化された(Ｉ2)ピクチャとを用いて復号化される。したがって、配列（４）によるピクチャ配列は、それ自身で完結して復号化が可能で、クローズドＧＯＰを形成する。
上述の配列（４）によれば、デコーダ２３Ａ、２３Ｂおよび２３Ｃのそれぞれにおいて、Ｉピクチャおよび４枚のＰピクチャのタイミングを、１つ前に入力されるＧＯＰの処理を行うデコーダの入力タイミングとを重複させることで、復号化動作を出力と対応するタイミングで行うことができる。
例えば、デコーダ２３Ａの処理を例にとると、図示せずも、ＥＳ入力においてＩ2ピクチャ、Ｐ5ピクチャ、Ｐ8ピクチャ、Ｐ11ピクチャ、Ｐ14ピクチャ、(Ｉ2)ピクチャが順次、入力され、復号化開始命令によりそれぞれ復号化されてフレームメモリ２４に書き込まれる。
続けて(Ｂ1)ピクチャおよび(Ｂ0)ピクチャが入力され、復号化開始命令によりＰ14ピクチャおよび(Ｉ2)ピクチャを用いて復号化されフレームメモリ２４に書き込まれ、表示開始命令から１フレーム同期信号分遅延して、出力がなされる。
次に、既に復号化されているＰ14ピクチャに対しても、出力順に対応して表示開始命令が送信され、さらに、Ｂ13ピクチャ、Ｂ12ピクチャ、Ｂ10ピクチャ、Ｂ9ピクチャ、Ｂ7ピクチャ、Ｂ6ピクチャ、Ｂ4ピクチャ、Ｂ3ピクチャが順次入力される。このとき、既に復号化されているＰピクチャの順序に対応する期間がスキップされて、各Ｂピクチャが入力される。Ｂピクチャは、入力順に復号化され、復号化と同時に表示開始命令が送信される。さらに、既に復号化されているＩ2ピクチャに対して表示開始命令が送信される。
Ｂ3ピクチャの入力後、配列（４）の２周期分の期間を空けて、ピクチャが入力される。
以上のシーケンスを、デコーダ２３Ａ、２３Ｂおよび２３Ｃにおいて順次繰り返すことで、３基のデコーダ２３Ａ、２３Ｂおよび２３Ｃを用いた構成でのリバース再生が行われる。
図２２は、３基のデコーダ２３Ａ、２３Ｂおよび２３Ｃを用いた場合の、リバース再生時に、ポーズ再生、ステップ再生および１／２倍速のスロー再生を行う場合の一例のシーケンスを示す。なお、図２２において、ピクチャタイプに付された「＊（スター印）」や「＊＊」は、それぞれＥＳ入力におけるＧＯＰを区別するためのものである。リバース再生の場合も、各動作の基本的な考え方は、上述のデコーダを１個のみ用いる場合と同様である。
先ず、ポーズ再生指示に応じた動作について説明する。最下段に示される出力ビデオデータのＰ14ピクチャのタイミングでポーズ再生を指示するポーズ命令２３０が送信されたものとする。このポーズ命令２３０は、ポーズ命令２３０が送信された直後のフレーム同期信号のタイミングで有効とされる。出力ビデオデータのＰ14ピクチャのタイミングは、ＥＳ入力のＢ12ピクチャに対応する。このポーズ命令２３０に応じて、Ｂ12ピクチャの次のピクチャからのＥＳ入力が停止される。入力の停止に伴い、入力されたＢ12ピクチャの次のピクチャからの復号化開始命令が停止される。
また、出力データにおけるＰ14ピクチャのタイミングは、表示開始命令のＢ13ピクチャに対応する。したがって、Ｂ13ピクチャの表示開始命令が送信された後、次のピクチャ（Ｂ12ピクチャ）からの表示開始命令が停止され、Ｂ13ピクチャがフレーム同期信号に同期して繰り返し出力される。これにより、ポーズ命令２３０に応じたポーズ再生が実現される。
なお、例えば図２１の出力データにおけるＰ5ピクチャのタイミングのように、複数のデコーダ２３Ａおよび２３Ｂに対して並列的にピクチャが入力されている（この場合(Ｂ3）ピクチャおよび(Ｐ14)ピクチャ）ような場合、ピクチャが入力されているデコーダ２３Ａおよび２３Ｂのそれぞれに対して復号化開始命令が送信され、各々復号化がなされる。また、複数のデコーダに対して並列的にピクチャが入力されているタイミングでポーズ命令が送信された場合、複数のデコーダそれぞれに対するピクチャ入力が停止される。
ポーズ再生中は、各デコーダ２３Ａ、２３Ｂおよび２３Ｃのそれぞれにおいてフレームメモリ２４Ａ、２４Ｂおよび２４Ｃ内の各ピクチャが保持される。そのため、ポーズ命令が解除されポーズ命令により入力を停止されたピクチャがデコーダ２３Ａ、２３Ｂおよび２３Ｃに入力されても、ピクチャが入力されたデコーダのそれぞれにおいて、フレームメモリ２４Ａ、２４Ｂおよび２４Ｃ内のピクチャを用いた復号化を実行することができる。
なお、図２１における(Ｉ2)ピクチャの出力時などのような、デコーダ間で出力が切り替わるようなタイミングでポーズ命令が送信された場合でも、同様の処理が行われる。例えば、出力データにおける(Ｉ2)ピクチャのタイミングでポーズ再生命令が送信された場合、デコーダ２３ＡのＥＳ入力が停止されると共に、デコーダ２３ＢのＥＳ入力が対応する次のピクチャで停止される。この図２１の例では、デコーダ２３Ｂの当該入力は、既に復号化されたＰ14ピクチャに対応して空けられているので、その次のＢ13ピクチャの入力から停止されることになる。また、デコーダ２３Ｃに対するＥＳ入力も停止される。表示開始命令も、(Ｉ2)ピクチャで停止され、以降、ポーズ命令が解除されるまで、(Ｉ2)ピクチャが繰り返し出力される。
次に、図２２を参照して、ステップ再生指示に応じた動作について説明する。例えば、図２２のステップ命令２３１のように、ポーズ命令２３０によるポーズ再生中にステップ再生を指示するステップ命令２３１が送信された場合、ステップ再生指示の直後のフレーム同期信号のタイミングで、１フレーム分の復号化動作が行われる。この例の場合、ＥＳ入力は、ポーズ命令２３０により入力が停止されたＢ12ピクチャの次のピクチャが、既に入力され復号化がなされているＰ11ピクチャであるため、実際のピクチャの入力は行われない。表示開始命令については、直前のポーズ再生により更新が停止されているＢ13ピクチャの次のピクチャであるＢ12ピクチャの表示開始命令が送信され、表示開始命令から１フレーム同期信号分遅延して、フレームメモリ２４Ａに保持されているＢ12ピクチャが出力される。
なお、図２１における(Ｉ2)ピクチャの出力時などのような、デコーダ間で出力が切り替わるような場合でも、上述したポーズ再生時の処理と同様にして、切り替わり先のデコーダに対して表示開始命令が送信されると共に、各デコーダに対するＥＳ入力が開始される。
次に、図２２を参照して、スロー再生に応じた動作について説明する。例えば１／２倍速のスロー再生を指示する１／２倍速命令２３２が次のフレーム同期信号の周期で有効とされ、この１／２倍速命令２３２に基づき、ＣＰＵ２５は、デコーダ２３ＡのＥＳ入力としてＢ9ピクチャを入力し、このピクチャの復号化開始命令をデコーダ２３Ａに送信する。それと共に、ＣＰＵ２５は、デコーダ２３Ａに対して、出力フレームを次のＢ10ピクチャに更新するように表示開始命令を送信する。この表示開始命令に応じて、表示開始命令から１フレーム同期信号分遅延して、デコーダ２３Ａの出力フレームが更新される。
Ｂ10ピクチャに更新する表示開始命令が送信された次のフレーム同期信号タイミングでは、ＥＳ入力において入力が停止され、それと共に復号化開始命令も送信されない。入力が停止されたので、ＣＰＵ２５から表示開始命令が送信されず、そのため、出力フレームが更新されずＢ10ピクチャが再び出力される。この動作が繰り返され、１／２倍速スロー再生が実現される。
なお、１／２倍速スロー再生中に、デコーダ２３Ａにエレメンタリストリームが入力されるのと並列的に、次のデコーダ（デコーダ２３Ｂ）に対してエレメンタリストリームが入力される場合（例えば図２１におけるデコーダ２３ＢのＩ2ピクチャからの入力）、デコーダ２３Ｂにおけるエレメンタリストリームの入力も、デコーダ２３Ａの入力と同様にして、１ピクチャ毎に入力および停止が繰り返される。
３基のデコーダ２３Ａ、２３Ｂおよび２３Ｃを用いた場合においても、再生開始時からリバース方向にスロー再生（１／２倍速スロー再生とする）を行う場合、図２３に一例が示されるように、上述したデコーダ２３を１基用いてフォワード方向にスロー再生を行う場合と同様に、ピクチャの出力に先立って、Ｉ2ピクチャ、Ｐ5ピクチャ、Ｐ8ピクチャ、Ｐ11ピクチャ、Ｐ14ピクチャおよび(Ｉ2)ピクチャが順次、例えばデコーダ２３Ａに入力される。また、最初に出力される予定の(Ｂ1)ピクチャがデコーダ２３Ａに入力される。デコーダ２３Ａは、先行的に入力されたこれらのＩ2ピクチャ、４枚のＰピクチャ、(Ｉ2)ピクチャおよび(Ｂ1)ピクチャを復号化し、フレームメモリ２４Ａに書き込む。
従来は、このＩ2ピクチャ、４枚のＰピクチャ、(Ｉ2)ピクチャおよび(Ｂ1)ピクチャのデコーダ２３Ａに対する入力および復号化を、リバース方向のスロー再生のシーケンスに従い行っていた。そのため、既に問題点として説明したように、スロー再生速度に応じて、１／２倍速スロー命令から実際にスロー再生による出力が得られるまでの遅延時間が長くなることになり、応答性が悪い。
デコーダを複数用いる場合でも、図９を用いて説明したこの発明の実施の一形態による再生制御方法を適用し、再生開始直後から例えばデコーダ２３Ａへの入力およびデコーダ２３Ａでの復号化を行い出力を行わないピクチャについて、予め復号化してフレームメモリ２４Ａに書き込む。このとき、当該ピクチャのデコーダ２３Ａへの入力や、デコーダ２３Ａにおける復号化は、予め通常の１倍速再生のシーケンスに従い行うようにする。このように、再生開始直後から例えばデコーダ２３Ａへの入力およびデコーダ２３Ａでの復号化を行い出力を行わないピクチャについて、先行的に復号化を行うことで、例えば再生の開始時からリバース再生のスロー再生が指示されているような場合でも、応答性よくスロー再生を開始することができる。
図２４を用いて、より具体的に説明する。なお、この図２４および上述した図２３は、例えば図３における「デコード」、「出力」および「ビデオ出力」を抜き出して簡略化した図である。Ｉ2ピクチャ、４枚のＰピクチャおよび(Ｉ2)ピクチャは、全てのＢピクチャに先立って例えばデコーダ２３Ａに入力され、復号化されてフレームメモリ２４Ａに書き込まれる。また、最初に出力される予定の(Ｂ1)ピクチャは、勿論、全てのピクチャの出力前にデコーダ２３Ａに入力され、復号化される。
そこで、Ｉ2ピクチャ、４枚のＰピクチャ、(Ｉ2)ピクチャおよび(Ｂ1)ピクチャを、先行的にデコーダ２３Ａに入力し復号化するピクチャとし、例えば再生の開始時からスロー再生が指示された場合に、リバース再生の１倍速再生のシーケンスに従いデコーダ２３Ａへの入力および復号化を行い、フレームメモリ２４Ａに書き込む。
そして、(Ｂ1)ピクチャの次からデコーダ２３Ａに入力される各ピクチャ（Ｂ0ピクチャ以降のピクチャ）に対する入力および復号化を、デコーダ２３Ａでのリバース方向の１／２倍速スロー再生のシーケンスに従い行う。デコーダ２３Ａにおける１／２倍速スロー再生のシーケンスは、図２２を用いて既に説明した動作と同様なので、繁雑さを避けるために、詳細な説明を省略する。
なお、上述では、デコーダボード２に３基のデコーダ２３Ａ、２３Ｂおよび２３Ｃが搭載されている例について説明したが、これはこの例に限られず、デコーダボード２にデコーダが２基搭載されている場合や、４基以上のデコーダがデコーダボード２上に搭載されている場合にも、同様にして処理を行うことが可能である。
図２５および図２６は、この発明に適用可能な再生装置におけるビデオストリームの一例の表示処理を示すフローチャートである。このフローチャートによる処理は、上述した、この発明の実施の一形態、実施の一形態の第１の変形例および実施の一形態の第２の変形例に共通して適用可能である。ここでは、繁雑さを避けるために、実施の一形態または実施の一形態の変形例のように、デコーダボード２に対してデコーダ２３が１基のみ、搭載されているものとする。なお、図２５および図２６において、符号「Ａ」および「Ｂ」は、図２５および図２６間で対応する符号に処理が移行することを示す。
例えば再生装置のスタンバイ状態などにおいて、ＣＰＵ１１により、１乃至複数ＧＯＰ分のエレメンタリストリームがハードディスクドライブ１４から読み出される（ステップＳ１０）。このエレメンタリストリームは、サウスブリッジ１３およびＰＣＩバス１５を介してデコーダボード２に供給され、デコーダボード２においてＰＣＩブリッジ２０を介してメモリ２１に転送され、溜め込まれる（ステップＳ１１）。ハードディスクドライブ１４から所定量のエレメンタリストリームが読み出され、読み出されたストリームのメモリ２１への転送が完了されたら、たら、ＣＰＵ１１からＣＰＵ２５に対して、転送完了が通知される（ステップＳ１２）。
ＣＰＵ２５は、ＣＰＵ１１からの転送完了通知を受けると、例えばデコーダ２３の初期化など、当該エレメンタリストリームを復号化するための準備を行う。そして、ＣＰＵ２５からＣＰＵ１１に対して、復号化の準備が完了した旨が通知される（ステップＳ１３）。そして、ステップＳ１４で、例えばユーザによるコンピュータ装置１の操作に応じて、ＣＰＵ１１からＣＰＵ２５に対して復号化を開始する旨の命令が送信される。
この復号化開始命令には、フォワード再生およびリバース再生の何れを行うかを示す再生方向情報と、再生速度を示す速度情報とが含まれる。速度情報は、値が「１」で通常の１倍速再生、値が「１」未満「０」以上でスロー再生を示し、特に速度情報の値が「０」であれば、ポーズ再生を示す。速度情報として負の値を許し、速度情報が負の値であればリバース再生であることを示すようにしてもよい。また、ステップ再生を行うか否かの情報も、復号化開始命令に含まれて送信される。なお、以下では、ステップ再生は、再生速度が１倍速以下であるものと見なす。
ＣＰＵ２５は、このＣＰＵ１１からの復号化開始命令を受けると、メモリ２１に溜め込まれたエレメンタリストリームのうち１ＧＯＰ分のデータに対して、再生方向に応じて、デコーダ２３に入力するピクチャと表示ピクチャとをスケジューリングする（ステップＳ１５）。例えば、フォワード再生であれば、図３に示したようにしてスケジューリングがなされ、メモリ２１からのピクチャの読み出し順と、デコーダ２３に対する表示開始命令とが決められる。
次のステップＳ１６（図２６）で、ＣＰＵ２５は、速度情報に基づき１倍速未満の再生速度での再生が指示されているか否かを判断する。若し、１倍速未満の再生速度での再生が指示されていると判断されれば処理はステップＳ１７に移行され、現在デコーダ２３に入力されるピクチャが先行的に復号化を行うピクチャであるか否かが判断される。
例えば、デコーダ２３に入力されるピクチャの配列が配列（１）であれば、Ｉ2ピクチャ、４枚のＰピクチャおよびＢ0ピクチャが先行的に復号化されるピクチャであるとされる。ピクチャ配列が配列（２）であれば、Ｉ2ピクチャ、４枚のＰピクチャおよび出力順で１つ前のＧＯＰにおけるＢ1ピクチャが先行的に復号化されるピクチャであるとされる。また、デコーダ２３に入力されるピクチャ配列が標準的なピクチャ配列であれば、Ｉ2ピクチャ、Ｂ0ピクチャおよびＢ1ピクチャが先行的に復号化されるピクチャであるとされる。ステップＳ１７で、入力ピクチャが先行的に復号化を行うピクチャであると判断されれば、処理はステップＳ２０に移行される。
一方、ステップＳ１７で、入力ピクチャが先行的に復号化を行うピクチャでないと判断されれば、処理はステップＳ１８に移行する。ステップＳ１８では、ＣＰＵ２５が速度情報に基づきフレーム更新タイミングを計算し、次のステップＳ１９で、現在がフレーム更新タイミングであるか否かが判断される。例えば、図７や図８を用いて既に説明したように、１／２倍速スロー再生が命令されている場合には、次のフレーム同期信号のタイミングから１フレーム同期信号期間毎に、フレーム更新がなされる。また、ポーズ再生が命令されている場合には、次のフレーム同期信号のタイミングから、フレーム更新がなされない。さらに、ステップ再生が命令されている場合には、次のフレーム同期信号のタイミングでフレーム更新がなされる。
ステップＳ１９で、現在が更新タイミングでないと判断されれば、処理は後述するステップＳ２５に移行される。また、現在が更新タイミングであると判断されれば、処理はステップＳ２０に移行される。なお、最初の１フレーム目は、更新タイミングであると見做される。
ステップＳ２０で、ＣＰＵ２５は、ステップＳ１５で求められたスケジュールなどに基づき、デコーダ２３に対して復号化開始命令を転送する。それと共に、ＣＰＵ２５は、メモリ２１に溜め込まれたエレメンタリストリームを、ステップＳ１５で求められたスケジュールなどに基づきピクチャ単位で読み出し、デコーダ２３に供給する。デコーダ２３は、転送された復号化開始命令に基づき、供給されたピクチャを、必要に応じてフレームメモリ２４に書き込まれた、復号化されたピクチャを用いて復号化する。復号化されたピクチャは、フレームメモリ２４の書き込みあるいは上書き可能な領域に対して書き込まれる（ステップＳ２１）。
また、ステップＳ２２で、ＣＰＵ２５からデコーダ２３に対して、ステップＳ１５で求められたスケジュールなどに基づき、表示開始命令が転送される。そして、ステップＳ２３で、この表示開始命令に応じて、１フレームの表示（出力）がなされる。
なお、上述のステップＳ１７で、入力ピクチャが先行的に復号化を行うピクチャであると判断された場合、処理がステップＳ２０に移行されることで、ステップＳ１８およびステップＳ１９によるフレーム更新タイミングに関する処理がキャンセルされるので、速度情報が１倍速を示す値に自動的に設定されることになる。これに限らず、入力ピクチャが先行的に復号化を行うピクチャであると判断された場合に、ステップＳ１８により速度情報の値を「１」として、フレーム更新タイミングを計算してもよい。
ステップＳ２４で、１ＧＯＰ分の表示（出力）が行われたか否かが判断される。若し、１ＧＯＰ分の表示（出力）が行われていないと判断されれば、処理はステップＳ２５に移行され、データの最後まで出力されたか否かが判断される。若し、最後まで出力されたと判断されれば、一連の再生動作が終了される。また、ステップＳ２５で、データの最後まで出力されていないと判断されれば、処理はステップＳ１６に戻される。
一方、ステップＳ２４で、１ＧＯＰ分の表示（出力）が行われたと判断されれば、処理はステップＳ２６に移行され、データの最後まで出力されたか否かが判断される。若し、最後まで出力されたと判断されれば、一連の再生動作が終了される。また、ステップＳ２６で、データの最後まで出力されていないと判断されれば、処理はステップＳ２７に移行され、ＣＰＵ２５からＣＰＵ１１に対して、１ＧＯＰ分の表示（出力）が完了した旨が通知される。
次のステップＳ２８で、ＣＰＵ１１により、上述のステップＳ１０でハードディスクドライブ１４から読み出されたエレメンタリストリームに対し、次に必要となる１ＧＯＰ分のエレメンタリストリームが、ハードディスクドライブ１４から読み出される。このとき、メモリ２１に対して既に十分なデータが溜め込まれている場合には、ステップＳ２８の処理を省略することができる。読み出された１ＧＯＰ分のエレメンタリストリームは、メモリ２１に転送され、溜め込まれる（ステップＳ２９）。読み出されたストリームのメモリ２１への転送が完了されたら、たら、ＣＰＵ１１からＣＰＵ２５に対して、転送完了が通知される（ステップＳ３０）。
ＣＰＵ２５は、ＣＰＵ１１からの転送完了通知を受けると、例えばデコーダ２３の初期化など、当該エレメンタリストリームを復号化するための準備を行う。そして、ＣＰＵ２５からＣＰＵ１１に対して、復号化の準備が完了した旨が通知される（ステップＳ３１）。そして、ステップＳ３２で、ＣＰＵ２５により、ＧＯＰ処理が必要か否かが判断される。例えば、ユーザがコンピュータ装置１に対して、再生方向を切り替えるような操作を行った場合、ＧＯＰ単位で再度スケジューリングを行う必要がある。若し、必要であると判断されれば、処理はステップＳ１５に移行され、スケジューリングがなされる。また、ＧＯＰ処理が必要でないと判断されれば、処理はステップＳ１６に移行される。
なお、上述では、この発明の実施の一形態、ならびに、実施の一形態の大１および第２の変形例がＭＰＥＧ２方式のロングＧＯＰによるエレメンタリストリームに対して適用されるように説明したが、これはこの例に限定されない。例えば、この発明は、ピクチャが全てＩピクチャで構成され、１ＧＯＰ＝１ピクチャとされるシングルＧＯＰの例についても適用可能である。また、ＭＰＥＧ２方式に限らず、他の方式のビデオストリームにも適用させることができる。
また、上述では、この発明に適用可能な再生装置が、デコーダ２３を搭載するデコーダボード２をコンピュータ装置に所定に装填して構成されるように説明したが、これはこの例に限定されない。例えば、ＣＰＵ１１が十分高速であって、尚かつ、メモリ１２に十分な容量があれば、デコーダボード２をコンピュータ装置１に装填せず、ＣＰＵ１１上のソフトウェア処理で、この発明による再生制御を行うことも可能である。
さらに、上述では、ＧＯＰがＩ、ＰおよびＢピクチャから構成されているように説明したが、これはこの例に限らず、ＧＯＰがＩピクチャおよびＢピクチャのみから構成される場合にも、この発明を適用することができる。この場合、例えばＩピクチャおよび最初に出力される予定のＢピクチャを、デコーダ２３に対して先行的に入力され復号化されるピクチャとすることが考えられる。
なお、ハードディスクドライブ１４に格納されているビデオストリームに対して、ハードディスクドライブ１４からから読み出すデータとして有効であるか否かを示す読み出し用のフラグ群、復号化のスケジューリングにおいて有効であるか否かを示す復号化用のフラグ群、復号化されたデータを表示するスケジューリングにおいて有効であるか否かを示す表示用のフラグ群などを、当該ビデオストリームに対応するメタデータとして適宜設け、一連のフラグ群を再生速度や再生方向に応じて自動的に更新することにより、デコーダ２３におけるスケジューリングを管理することも可能である。
このとき、過去のスロー再生などの可変速再生処理に用いた一連のスケジューリング、フラグ群の更新情報を、別途スケジューリングのメタデータ（履歴情報）として管理することも可能であり、必要に応じて、ビデオストリーム中にシンタックスとして記述したり、記録媒体であるハードディスクドライブ１４などに別途記録したりしてもよい。
また、デコーダボード２に搭載されるデコーダ数やフレームメモリ２４のバンク数、デコーダＩＤなどをメタデータ（構成履歴情報）として管理することも可能である。さらに、再生速度、再生方向などをメタデータ（再生履歴情報）として管理することも可能である。このとき、これらメタデータを、必要に応じてビデオストリーム中にシンタックスとして記述したり、記録媒体であるハードディスクドライブ１４などに別途記録してもよい。
このようなメタデータ（履歴情報）を参照することにより、過去に実行されたスケジューリング処理を再利用することができ、さらに正確に高速に実行することが可能となる。このようなメタデータは、例えばデータベースとして外部装置で管理するような構成にしてもよい。
なお、上述の実施の一形態、実施の一形態の第１の変形例および実施の一形態の第２の変形例においては、デコーダ２３（実施の一形態の第２の変形例においては、デコーダ２３Ａ、２３Ｂおよび２３Ｃ、以下では、繁雑さを避けるために実施の一形態の、デコーダボード２に対してデコーダ２３が１基のみ、搭載されている例について、説明する）が、ハードディスクドライブ１４に記録されているビデオストリームを、完全に復号化しない（中途段階まで復号化する）場合においても、この発明を適用可能である。
具体的には、例えば、デコーダ２３が、可変長符号に対する復号化および逆量子化のみを行い、逆ＤＣＴ(Discrete Cosine Transform)を実行しない場合や、逆量子化を行うが可変長符号に対する復号化を行わない場合などにおいても、この発明を適用することができる。このような場合、例えば、デコーダ２３は、例えば符号化処理および復号化処理においてどの段階（例えば逆量子化の段階）まで処理が行われたかを示す履歴情報を必要に応じて生成し、不完全に復号化されたデータに対応付けて出力することができるようにしてもよい。
さらに、上述の実施の形態においては、ハードディスクドライブ１４に、不完全に符号化されたデータ（例えば、ＤＣＴおよび量子化が行われているが、可変長符号化処理が行われていないデータなど）と、必要に応じて、符号化処理および復号化処理の履歴情報が記憶されており、デコーダ２３が、ＣＰＵ２５の制御に基づいて、供給された不完全に符号化されたデータを復号化し、ベースバンド信号に変換することができるような場合においても、この発明は適用可能である。
具体的には、デコーダ２３が例えばＤＣＴおよび量子化が行われているが、可変長符号化処理が行われていない不完全に符号化されたデータに対して、逆ＤＣＴ変換および逆量子化のみを行い、可変長符号に対する復号化は実行しない場合などにおいても、この発明を適用することができる。
また、このような場合、例えば、ＣＰＵ２５は、不完全に符号化されたデータに対応付けられてハードディスクドライブ１４に記憶されている符号化処理および復号化処理の履歴情報をＣＰＵ１１を介して取得し、これらの情報に基づいて、デコーダ２３による復号化のスケジューリングを行うことができるようにしてもよい。
さらに、上述の実施の一形態、実施の一形態の第１の変形例および実施の一形態の第２の変形例においては、ハードディスクドライブ１４に、不完全に符号化されたデータと、必要に応じて、符号化処理および復号化処理の履歴情報が記憶されており、デコーダ２３が、ＣＰＵ２５の制御に基づいて、供給された不完全に符号化されたデータを完全に復号化しない（中途段階まで復号化する）場合においても、この発明は適用可能である。
また、このような場合も、例えば、ＣＰＵ２５は、不完全に符号化されたデータに対応付けられてハードディスクドライブ１４に記憶されている符号化処理および復号化処理の履歴情報を取得し、これらの情報に基づいて、デコーダ２３による復号化のスケジューリングを行うことができるようにしてもよい。さらに、この場合においても、デコーダ２３は、符号化処理および復号化処理の履歴情報を必要に応じて生成し、不完全に復号化されたデータに対応付けて出力することができるようにしてもよい。
換言すれば、デコーダ２３が、ＣＰＵ２５の制御に基づいて、部分的な復号化を行う（復号化処理の工程のうちの一部を実行する）場合においても、この発明は適用可能であり、ＣＰＵ２５は、不完全に符号化されたデータに対応付けてハードディスクドライブ１４に記憶されている符号化処理および復号化処理の履歴情報を取得し、これらの情報に基づいて、デコーダ２３による復号化のスケジューリングを行うことができ、デコーダ２３は、符号化および復号化の履歴情報を必要に応じて生成し、不完全に復号化されたデータに対応付けて出力することができるようにしてもよい。
さらに、ハードディスクドライブ１４には、ビデオストリームに対応付けて、さらに符号化お処理よび復号化処理の履歴情報を記録するようにしてもよく、ＣＰＵ２５は、圧縮符号化されたビデオストリームの復号化のスケジューリングを、符号化処理および復号化処理の履歴情報に基づいて行うようにしてもよい。さらに、デコーダ２３が、ＣＰＵ２５の制御に基づいて、圧縮符号化されたビデオストリームを復号化して、ベースバンド信号に変換することができるような場合においても、符号化および復号化の履歴情報を必要に応じて生成し、ベースバンド信号に対応付けて出力することができるようにしてもよい。
なお、上述の実施の一形態の第２の変形例においては、１または複数のデコーダ２３がデコーダボード２に搭載され、デコーダボード２がコンピュータ装置１に装填されて用いられるように説明したが、デコーダが独立した装置として構成されている場合にも、この発明を適用可能である。
このとき、独立した装置として構成されているデコーダは、圧縮符号化されたビデオストリームの供給を受けてこれを復号化し、表示または出力するのみならず、上述した場合と同様にして、ビデオストリームの供給を受け、中途段階まで部分的に復号化して、符号化および復号化の履歴情報と共に外部に出力したり、部分的に符号化されたビデオストリームの供給を受け、復号化処理を行い、ベースバンド信号に変換して外部に出力したり、部分的に符号化されたビデオストリームの供給を受け、中途段階まで部分的に復号化して、符号化および復号化の履歴情報と共に外部に出力するようにしてもよい。
さらに、上述の実施の一形態、実施の一形態の第１の変形例および実施の一形態の第２の変形例においては、ＣＰＵ１１およびＣＰＵ２５が互いに独立した構成とされているが、ＣＰＵの構成は、これに限らず、例えば、ＣＰＵ１１およびＣＰＵ２５を、再生装置全体を制御する１つのＣＰＵとして構成するようにしてもよい。また、ＣＰＵ１１およびＣＰＵ２５が互いに独立して構成されている場合であっても、ＣＰＵ１１およびＣＰＵ２５を１つのチップ内に構成することも可能である。
さらにまた、ＣＰＵ１１およびＣＰＵ２５が互いに独立して構成されている場合、上述の実施の形態、実施の一形態の第１の変形例および実施の一形態の第２の変形例において、ＣＰＵ１１が実行する処理の少なくとも一部を、例えば時分割でＣＰＵ２５が実行することができるようにしたり、ＣＰＵ２５が実行する処理の少なくとも一部を、例えば時分割で、ＣＰＵ１１が実行することができるようにしてもよい。すなわち、ＣＰＵ１１およびＣＰＵ２５は、分散処理が可能なプロセッサを用いることができる。
また、例えば、再生装置をＬＡＮ(Local Area Network)などのネットワークに接続可能な構成とし、上述の実施の一形態、実施の一形態の第１の変形例および実施の一形態の第２の変形例において、ＣＰＵ１１および／またはＣＰＵ２５が実行する処理の少なくとも一部を、ネットワークを介して接続されている他の装置のＣＰＵ上で実行させるようにもできる。
同様に、上述の実施の一形態、実施の一形態の第１の変形例および実施の一形態の第２の変形例においては、メモリ２１およびフレームメモリ２４が互いに独立した構成とされているが、これはこの例に限らず、メモリ２１およびフレームメモリ２４のそれぞれを、１つのメモリの異なる領域で構成することもできる。
さらに、上述の実施の一形態、実施の一形態の第１の変形例および実施の一形態の第２の変形例においては、ハードディスクドライブ１４およびデコーダ２３（実施の一形態の第２の変形例においては、ハードディスクドライブ１４、デコーダ２３Ａ、２３Ｂおよび２３Ｃ、ならびに、セレクタ２７）を、それぞれＰＣＩブリッジ２０およびＰＣＩバス１５を介して接続し、再生装置として一体的に構成したものとして説明したが、この発明はこの例に限られない。例えば、これらの構成要素のうちの一部が外部から有線または無線で接続される場合や、これらの構成要素が、この他、種々の接続形態で相互に接続される場合にも適用することができる。
さらに、上述の実施の一形態、実施の一形態の第１の変形例および実施の一形態の第２の変形例においては、ビデオストリームがハードディスクドライブ１４に格納されているものとして説明したが、これはこの例に限定されない。すなわち、例えば光ディスク、光磁気ディスク、半導体メモリ、磁気ディスクといった様々な記録媒体に記録されたビデオストリームに対して再生処理を行う場合にも、この発明を適用することができる。
さらにまた、上述の実施の一形態、実施の一形態の第１の変形例および実施の一形態の第２の変形例においては、ＣＰＵ２５、メモリ２１、デコーダ２３およびフレームメモリ２４（実施の一形態の第２の変形例においては、ＣＰＵ２５、メモリ２１、デコーダ２３Ａ、２３Ｂおよび２３Ｃ、フレームメモリ２４Ａ、２４Ｂおよび２４Ｃ、ならびに、セレクタ２７）を、コンピュータ装置に接続可能な同一の拡張ボード（例えば、ＰＣＩボードやＰＣＩ−Ｅｘｐｒｅｓｓボード）に搭載した例について説明したが、これはこの例に限定されない。例えば、ＰＣＩーＥｘｐｒｅｓｓなどの技術により、拡張ボード間のデータ転送速度が十分速い場合には、これらの構成要素を、それぞれ別の拡張ボードに搭載するようにしてもよい。
なお、この明細書において、システムとは、複数の装置が論理的に集合した物をいい、各構成の装置が同一筐体中にあるか否かを問わない。
この発明の第１の形態に適用可能な一例の再生装置の構成を概略的に示すブロック図である。 デコーダの一例の構成を示すブロック図である。 デコーダにおける入出力および内部処理の概略的なシーケンスを示す略線図である。 フォワード再生時におけるフレームメモリの一例の使用状況を示す略線図である。 デコーダにおけるリバース再生時の入出力および内部処理の概略的なシーケンスを示す略線図である。 リバース再生時におけるフレームメモリの一例の使用状況を示す略線図である。 フォワード再生時に、ポーズ再生、ステップ再生および１／２倍速のスロー再生を行う場合の一例のシーケンスを示す略線図である。 従来方法で再生開始時からスロー再生を行う場合の例を示す略線図である。 この発明の実施の一形態による方法で再生開始時からスロー再生を行う場合の例を示す略線図である。 リバース再生時に、ポーズ再生、ステップ再生および１／２倍速のスロー再生を行う場合の一例のシーケンスを示す略線図である。 従来方法でリバース再生開始時からスロー再生を行う場合の例を示す略線図である。 この発明の実施の一形態による方法でリバース再生開始時からスロー再生を行う場合の例を示す略線図である。 標準的な配列による、１倍速のフォワード再生時におけるデコーダ各部の動作について説明するための図である。 標準的な配列による、フォワード再生時のポーズ再生、ステップ再生および１／２倍速のスロー再生を行う場合の一例のシーケンスを示す略線図である。 この発明の実施の一形態の第１の変形例による方法で再生開始時からスロー再生を行う場合の例を示す略線図である。 デコーダボードに３基のデコーダが搭載される場合の一例の再生装置の構成を示すブロック図である。 ３基のデコーダを用いた場合の、フォワード再生時の入出力および内部処理の概略的なシーケンスを示す略線図である。 ３基のデコーダを用いた場合の、フォワード再生時に、ポーズ再生、ステップ再生および１／２倍速のスロー再生を行う場合の一例のシーケンスを示す略線図である。 ３基のデコーダを用い、従来方法で再生開始時からスロー再生を行う場合の例を示す略線図である。 ３基のデコーダを用い、この発明の実施の一形態の第２の変形例による方法で再生開始時からスロー再生を行う場合の例を示す略線図である。 ３基のデコーダを用いた場合の、リバース再生時の入出力および内部処理の概略的なシーケンスを示す略線図である。 ３基のデコーダを用いた場合の、リバース再生時に、ポーズ再生、ステップ再生および１／２倍速のスロー再生を行う場合の一例のシーケンスを示す略線図である。 ３基のデコーダを用い、従来方法でリバース再生開始時からスロー再生を行う場合の例を示す略線図である。 ３基のデコーダを用い、この発明の実施の一形態の第２の変形例による方法でリバース再生開始時からスロー再生を行う場合の例を示す略線図である。 この発明に適用可能な再生装置におけるビデオストリームの一例の表示処理を示すフローチャートである。 この発明に適用可能な再生装置におけるビデオストリームの一例の表示処理を示すフローチャートである。 従来技術によるＭＰＥＧ２のエレメンタリストリームの復号化を概略的に説明するための図である。 ＭＰＥＧ２方式などを用いて圧縮符号化されたビデオストリームを復号化するための、一例のコンピュータ装置の構成を概略的に示すブロック図である。 従来技術によるスロー再生について説明するための略線図である。
符号の説明
１ コンピュータ装置
２ デコーダボード
１１ ＣＰＵ
１４ ハードディスクドライブ
２０ ＰＣＩブリッジ
２１ メモリ
２３ デコーダ
２４ フレームメモリ
２５ ＣＰＵ

Claims (39)

  1. 圧縮符号化されたビデオデータを復号化して出力する復号化装置において、
    入力されたビデオデータを復号化して出力する復号化手段と、
    上記復号化手段に対する上記ビデオデータの上記入力と、入力された該ビデオデータに対する上記復号化を、所定のシーケンスに基づき制御する制御手段と
    を有し、
    上記制御手段は、１倍速未満の再生速度が指示された際に、上記復号化手段から最初に出力されるフレームのタイミングより以前に入力される先行フレームの上記復号化手段への入力と、該先行フレームの上記復号化手段による上記復号化とを、１倍速再生のシーケンスに基づき行うように制御するようにしたことを特徴とする復号化装置。
  2. 請求項１に記載の復号化装置において、
    上記ビデオデータは、フレーム間圧縮を用いて圧縮符号化され、
    上記先行フレームは、それ自身で復号化可能な少なくとも１枚の完結フレームと、表示順で時間的に前に位置するフレームを用いて復号化される前方参照フレームとを含むことを特徴とする復号化装置。
  3. 請求項１に記載の復号化装置において、
    上記先行フレームは、最初に出力されるフレームを含むことを特徴とする復号化装置。
  4. 請求項１に記載の復号化装置において、
    上記ビデオデータは、フレーム間圧縮を用いて圧縮符号化され、
    上記先行フレームは、少なくともそれ自身で復号化可能な１枚の完結フレームを含むことを特徴とする復号化装置。
  5. 請求項１に記載の復号化装置において、
    上記ビデオデータは、フレーム間圧縮を用いて、それ自身で復号化可能な少なくとも１枚の完結フレームと、表示順で時間的に前に位置するフレームを用いて復号化される前方参照フレームと、表示順で時間的に前および後ろに位置するフレームを参照して復号化される双方向参照フレームとからなるグループを単位として圧縮符号化され、上記復号化は、該グループを単位として行われることを特徴とする復号化装置。
  6. 請求項５に記載の復号化装置において、
    上記グループ内の上記双方向参照フレームが該グループ内の上記完結フレームおよび上記前方参照フレームの後に上記復号化手段に入力されるようにしたことを特徴とする復号化装置。
  7. 請求項６に記載の復号化装置において、
    上記入力されたビデオデータを一時的に格納する記憶手段をさらに有し、
    上記記憶手段から上記ビデオデータを読み出す際に、上記グループ内の上記完結フレームおよび上記前方参照フレームを読み出してから、該グループ内の上記双方向参照フレームを読み出すようにしたことを特徴とする復号化装置。
  8. 請求項１に記載の復号化装置において、
    上記復号化手段を複数有し、
    上記制御手段は、上記ビデオデータを所定の１または複数フレームからなるグループ単位毎に上記複数の復号化手段に対して順次、入力するようにしたことを特徴とする復号化装置。
  9. 請求項８に記載の復号化装置において、
    上記ビデオデータは、フレーム間圧縮を用いて圧縮符号化され、
    上記グループは、それ自身で復号化可能な少なくとも１枚の完結フレームと、表示順で時間的に前に位置するフレームを用いて復号化される前方参照フレームと、表示順で時間的に前および後ろに位置するフレームを参照して復号化される双方向参照フレームとからなることを特徴とする復号化装置。
  10. 請求項９に記載の復号化装置において、
    上記グループは、該グループ内で復号化が完結するように構成されることを特徴とする復号化装置。
  11. 圧縮符号化されたビデオデータを復号化して出力する復号化方法において、
    入力されたビデオデータを復号化して出力する復号化のステップを有し、
    １倍速未満の再生速度が指示された際に、上記復号化のステップから最初に出力されるフレームのタイミングより以前に入力される先行フレームの上記復号化のステップへの入力と、該先行フレームの上記復号化のステップによる上記復号化とを、１倍速再生のシーケンスに基づき行うように制御するようにしたことを特徴とする復号化方法。
  12. 圧縮符号化されたビデオデータを復号化して出力する復号化方法をコンピュータ装置に実行させる復号化プログラムにおいて、
    上記復号化方法は、
    入力されたビデオデータを復号化して出力する復号化のステップを有し、
    １倍速未満の再生速度が指示された際に、上記復号化のステップから最初に出力されるフレームのタイミングより以前に入力される先行フレームの上記復号化のステップへの入力と、該先行フレームの上記復号化のステップによる上記復号化とを、１倍速再生のシーケンスに基づき行うように制御するようにしたことを特徴とする復号化プログラム。
  13. 圧縮符号化されたビデオデータを復号化して出力する復号化方法をコンピュータ装置に実行させる復号化プログラムが記録されたコンピュータ装置が読み取り可能な記録媒体において、
    上記復号化方法は、
    入力されたビデオデータを復号化して出力する復号化のステップを有し、
    １倍速未満の再生速度が指示された際に、上記復号化のステップから最初に出力されるフレームのタイミングより以前に入力される先行フレームの上記復号化のステップへの入力と、該先行フレームの上記復号化のステップによる上記復号化とを、１倍速再生のシーケンスに基づき行うように制御するようにしたことを特徴とするコンピュータ装置が読み取り可能な記録媒体。
  14. 圧縮符号化され記録媒体に記録されたビデオデータを復号化して出力する再生装置において、
    圧縮符号化されたビデオデータが記録される記録媒体と、
    上記ビデオデータの再生速度を示す速度情報を出力する速度情報出力手段と、
    上記記録媒体から読み出されたビデオデータを復号化して出力する復号化手段と
    を有し、
    上記速度情報出力手段から出力された上記速度情報により、１倍速未満の再生速度が指示された際に、上記復号化手段から最初に出力されるフレームのタイミングより以前に入力される先行フレームの上記復号化手段への入力と、該先行フレームの上記復号化手段による上記復号化とを、１倍速再生のシーケンスに基づき行うように制御するようにしたことを特徴とする再生装置。
  15. 請求項１４に記載の再生装置において、
    上記ビデオデータは、フレーム間圧縮を用いて圧縮符号化され、
    上記先行フレームは、それ自身で復号化可能な少なくとも１枚の完結フレームと、表示順で時間的に前に位置するフレームを用いて復号化される前方参照フレームとを含むことを特徴とする再生装置。
  16. 請求項１４に記載の再生装置において、
    上記先行フレームは、最初に出力されるフレームを含むことを特徴とする再生装置。
  17. 請求項１４に記載の再生装置において、
    上記ビデオデータは、フレーム間圧縮を用いて圧縮符号化され、
    上記先行フレームは、少なくともそれ自身で復号化可能な１枚の完結フレームを含むことを特徴とする再生装置。
  18. 請求項１４に記載の再生装置において、
    上記ビデオデータは、フレーム間圧縮を用いて、それ自身で復号化可能な少なくとも１枚の完結フレームと、表示順で時間的に前に位置するフレームを用いて復号化される前方参照フレームと、表示順で時間的に前および後ろに位置するフレームを参照して復号化される双方向参照フレームとからなるグループを単位として圧縮符号化され、上記復号化は、該グループを単位として行われることを特徴とする再生装置。
  19. 請求項１８に記載の再生装置において、
    上記グループ内の上記双方向参照フレームが該グループ内の上記完結フレームおよび上記前方参照フレームの後に上記復号化手段に入力されるようにしたことを特徴とする再生装置。
  20. 請求項１９に記載の再生装置において、
    上記記録媒体から読み出されたビデオデータを一時的に格納する記憶手段をさらに有し、
    上記記憶手段から上記ビデオデータを読み出す際に、上記グループ内の上記完結フレームおよび上記前方参照フレームを読み出してから、該グループ内の上記双方向参照フレームを読み出すようにしたことを特徴とする再生装置。
  21. 請求項１４に記載の再生装置において、
    上記復号化手段を複数有し、
    上記ビデオデータを所定の１または複数フレームからなるグループ単位毎に上記複数の復号化手段に対して順次、入力するようにしたことを特徴とする再生装置。
  22. 請求項２１に記載の再生装置において、
    上記ビデオデータは、フレーム間圧縮を用いて圧縮符号化され、
    上記グループは、それ自身で復号化可能な少なくとも１枚の完結フレームと、表示順で時間的に前に位置するフレームを用いて復号化される前方参照フレームと、表示順で時間的に前および後ろに位置するフレームを参照して復号化される双方向参照フレームとからなることを特徴とする再生装置。
  23. 請求項２２に記載の再生装置において、
    上記グループは、該グループ内で復号化が完結するように構成されることを特徴とする再生装置。
  24. 圧縮符号化され記録媒体に記録されたビデオデータを復号化して出力する再生方法において、
    ビデオデータの再生速度を示す速度情報を出力する速度情報出力のステップと、
    圧縮符号化されたビデオデータが記録される記録媒体から読み出されたビデオデータを復号化して出力する復号化のステップと
    を有し、
    上記速度情報出力のステップから出力された上記速度情報により、１倍速未満の再生速度が指示された際に、上記復号化のステップから最初に出力されるフレームのタイミングより以前に入力される先行フレームの上記復号化のステップへの入力と、該先行フレームの上記復号化のステップによる上記復号化とを、１倍速再生のシーケンスに基づき行うように制御するようにしたことを特徴とする再生方法。
  25. 圧縮符号化され記録媒体に記録されたビデオデータを復号化して出力する再生方法をコンピュータ装置に実行させる再生プログラムにおいて、
    上記再生方法は、
    ビデオデータの再生速度を示す速度情報を出力する速度情報出力のステップと、
    圧縮符号化されたビデオデータが記録される記録媒体から読み出されたビデオデータを復号化して出力する復号化のステップと
    を有し、
    上記速度情報出力のステップから出力された上記速度情報により、１倍速未満の再生速度が指示された際に、上記復号化のステップから最初に出力されるフレームのタイミングより以前に入力される先行フレームの上記復号化のステップへの入力と、該先行フレームの上記復号化のステップによる上記復号化とを、１倍速再生のシーケンスに基づき行うように制御するようにしたことを特徴とする再生プログラム。
  26. 圧縮符号化され記録媒体に記録されたビデオデータを復号化して出力する再生方法をコンピュータ装置に実行させる再生プログラムが記録されたコンピュータ装置に読み取り可能な記録媒体において、
    上記再生方法は、
    ビデオデータの再生速度を示す速度情報を出力する速度情報出力のステップと、
    圧縮符号化されたビデオデータが記録される記録媒体から読み出されたビデオデータを復号化して出力する復号化のステップと
    を有し、
    上記速度情報出力のステップから出力された上記速度情報により、１倍速未満の再生速度が指示された際に、上記復号化のステップから最初に出力されるフレームのタイミングより以前に入力される先行フレームの上記復号化のステップへの入力と、該先行フレームの上記復号化のステップによる上記復号化とを、１倍速再生のシーケンスに基づき行うように制御するようにしたことを特徴とするコンピュータ装置に読み取り可能な記録媒体。
  27. 圧縮符号化され記録媒体に記録されたビデオデータを復号化して出力する再生システムにおいて、
    圧縮符号化されたビデオデータが記録される記録媒体と、
    上記ビデオデータの再生速度を示す速度情報を出力する速度情報出力手段と
    を有する制御装置と、
    上記記録媒体から読み出されたビデオデータを復号化して出力する復号化手段と、
    上記速度情報出力手段から出力された上記速度情報により、１倍速未満の再生速度が指示された際に、上記復号化手段から最初に出力されるフレームのタイミングより以前に入力される先行フレームの上記復号化手段への入力と、該先行フレームの上記復号化手段による上記復号化とを、１倍速再生のシーケンスに基づき行うように制御する制御手段と
    を有する復号化装置と
    を備えることを特徴とする再生システム。
  28. 請求項２７に記載の再生システムにおいて、
    上記ビデオデータは、フレーム間圧縮を用いて圧縮符号化され、
    上記先行フレームは、それ自身で復号化可能な少なくとも１枚の完結フレームと、表示順で時間的に前に位置するフレームを用いて復号化される前方参照フレームとを含むことを特徴とする再生システム。
  29. 請求項２７に記載の再生システムにおいて、
    上記先行フレームは、最初に出力されるフレームを含むことを特徴とする再生システム。
  30. 請求項２７に記載の再生システムにおいて、
    上記ビデオデータは、フレーム間圧縮を用いて圧縮符号化され、
    上記先行フレームは、少なくともそれ自身で復号化可能な１枚の完結フレームを含むことを特徴とする再生システム。
  31. 請求項２７に記載の再生システムにおいて、
    上記ビデオデータは、フレーム間圧縮を用いて、それ自身で復号化可能な少なくとも１枚の完結フレームと、表示順で時間的に前に位置するフレームを用いて復号化される前方参照フレームと、表示順で時間的に前および後ろに位置するフレームを参照して復号化される双方向参照フレームとからなるグループを単位として圧縮符号化され、上記復号化は、該グループを単位として行われることを特徴とする再生システム。
  32. 請求項３１に記載の再生システムにおいて、
    上記グループ内の上記双方向参照フレームが該グループ内の上記完結フレームおよび上記前方参照フレームの後に上記復号化手段に入力されるようにしたことを特徴とする再生システム。
  33. 請求項３２に記載の再生システムにおいて、
    上記復号化装置は、上記記録媒体から読み出されたビデオデータを一時的に格納する記憶手段をさらに有し、
    上記記憶手段から上記ビデオデータを読み出す際に、上記グループ内の上記完結フレームおよび上記前方参照フレームを読み出してから、該グループ内の上記双方向参照フレームを読み出すようにしたことを特徴とする再生システム。
  34. 請求項２７に記載の再生システムにおいて、
    上記復号化装置は、上記復号化手段を複数有し、
    上記ビデオデータを所定の１または複数フレームからなるグループ単位毎に上記複数の復号化手段に対して順次、入力するようにしたことを特徴とする再生システム。
  35. 請求項３４に記載の再生システムにおいて、
    上記ビデオデータは、フレーム間圧縮を用いて圧縮符号化され、
    上記グループは、それ自身で復号化可能な少なくとも１枚の完結フレームと、表示順で時間的に前に位置するフレームを用いて復号化される前方参照フレームと、表示順で時間的に前および後ろに位置するフレームを参照して復号化される双方向参照フレームとからなることを特徴とする再生システム。
  36. 請求項３５に記載の再生システムにおいて、
    上記グループは、該グループ内で復号化が完結するように構成されることを特徴とする再生システム。
  37. 圧縮符号化され記録媒体に記録されたビデオデータを復号化して出力する再生方法において、
    圧縮符号化されたビデオデータが入力され、入力された該ビデオデータを復号化して出力する復号化手段を有し、入力された速度情報により、１倍速未満の再生速度が指示された際に、上記復号化手段から最初に出力されるフレームのタイミングより以前に入力される先行フレームの上記復号化手段への入力と、該先行フレームの上記復号化手段による上記復号化とを、１倍速再生のシーケンスに基づき行うように制御するようにした復号化装置に対して、圧縮符号化されたビデオデータが記録された記録媒体から該ビデオデータを読み出して供給すると共に、該ビデオデータの再生速度を示す上記速度情報を供給するようにした
    ことを特徴とする再生方法。
  38. 圧縮符号化され記録媒体に記録されたビデオデータを復号化して出力する再生方法をコンピュータ装置に実行させる再生プログラムにおいて、
    上記再生方法は、
    圧縮符号化されたビデオデータが入力され、入力された該ビデオデータを復号化して出力する復号化手段を有し、入力された速度情報により、１倍速未満の再生速度が指示された際に、上記復号化手段から最初に出力されるフレームのタイミングより以前に入力される先行フレームの上記復号化手段への入力と、該先行フレームの上記復号化手段による上記復号化とを、１倍速再生のシーケンスに基づき行うように制御するようにした復号化装置に対して、圧縮符号化されたビデオデータが記録された記録媒体から該ビデオデータを読み出して供給すると共に、該ビデオデータの再生速度を示す上記速度情報を供給するようにした
    ことを特徴とする再生プログラム。
  39. 圧縮符号化され記録媒体に記録されたビデオデータを復号化して出力する再生方法をコンピュータ装置に実行させる再生プログラムが記録されたコンピュータ装置に読み取り可能な記録媒体において、
    上記再生方法は、
    圧縮符号化されたビデオデータが入力され、入力された該ビデオデータを復号化して出力する復号化手段を有し、入力された速度情報により、１倍速未満の再生速度が指示された際に、上記復号化手段から最初に出力されるフレームのタイミングより以前に入力される先行フレームの上記復号化手段への入力と、該先行フレームの上記復号化手段による上記復号化とを、１倍速再生のシーケンスに基づき行うように制御するようにした復号化装置に対して、圧縮符号化されたビデオデータが記録された記録媒体から該ビデオデータを読み出して供給すると共に、該ビデオデータの再生速度を示す上記速度情報を供給するようにした
    ことを特徴とするコンピュータ装置が読み取り可能な記録媒体。
JP2004311564A 2004-10-26 2004-10-26 復号化装置、復号化方法および復号化プログラム、再生システム、再生装置、再生方法および再生プログラム、ならびに、記録媒体 Expired - Fee Related JP4218626B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004311564A JP4218626B2 (ja) 2004-10-26 2004-10-26 復号化装置、復号化方法および復号化プログラム、再生システム、再生装置、再生方法および再生プログラム、ならびに、記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004311564A JP4218626B2 (ja) 2004-10-26 2004-10-26 復号化装置、復号化方法および復号化プログラム、再生システム、再生装置、再生方法および再生プログラム、ならびに、記録媒体

Publications (2)

Publication Number Publication Date
JP2006128827A true JP2006128827A (ja) 2006-05-18
JP4218626B2 JP4218626B2 (ja) 2009-02-04

Family

ID=36723071

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004311564A Expired - Fee Related JP4218626B2 (ja) 2004-10-26 2004-10-26 復号化装置、復号化方法および復号化プログラム、再生システム、再生装置、再生方法および再生プログラム、ならびに、記録媒体

Country Status (1)

Country Link
JP (1) JP4218626B2 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022177913A (ja) * 2021-05-19 2022-12-02 株式会社ユニバーサルエンターテインメント 遊技機
JP2022177912A (ja) * 2021-05-19 2022-12-02 株式会社ユニバーサルエンターテインメント 遊技機
JP2022177906A (ja) * 2021-05-19 2022-12-02 株式会社ユニバーサルエンターテインメント 遊技機
JP2022177910A (ja) * 2021-05-19 2022-12-02 株式会社ユニバーサルエンターテインメント 遊技機
JP2022177911A (ja) * 2021-05-19 2022-12-02 株式会社ユニバーサルエンターテインメント 遊技機
JP2022177909A (ja) * 2021-05-19 2022-12-02 株式会社ユニバーサルエンターテインメント 遊技機
JP2022177907A (ja) * 2021-05-19 2022-12-02 株式会社ユニバーサルエンターテインメント 遊技機
JP2022177914A (ja) * 2021-05-19 2022-12-02 株式会社ユニバーサルエンターテインメント 遊技機
JP2022177915A (ja) * 2021-05-19 2022-12-02 株式会社ユニバーサルエンターテインメント 遊技機
JP2022177908A (ja) * 2021-05-19 2022-12-02 株式会社ユニバーサルエンターテインメント 遊技機

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022177913A (ja) * 2021-05-19 2022-12-02 株式会社ユニバーサルエンターテインメント 遊技機
JP2022177912A (ja) * 2021-05-19 2022-12-02 株式会社ユニバーサルエンターテインメント 遊技機
JP2022177906A (ja) * 2021-05-19 2022-12-02 株式会社ユニバーサルエンターテインメント 遊技機
JP2022177910A (ja) * 2021-05-19 2022-12-02 株式会社ユニバーサルエンターテインメント 遊技機
JP2022177911A (ja) * 2021-05-19 2022-12-02 株式会社ユニバーサルエンターテインメント 遊技機
JP2022177909A (ja) * 2021-05-19 2022-12-02 株式会社ユニバーサルエンターテインメント 遊技機
JP2022177907A (ja) * 2021-05-19 2022-12-02 株式会社ユニバーサルエンターテインメント 遊技機
JP2022177914A (ja) * 2021-05-19 2022-12-02 株式会社ユニバーサルエンターテインメント 遊技機
JP2022177915A (ja) * 2021-05-19 2022-12-02 株式会社ユニバーサルエンターテインメント 遊技機
JP2022177908A (ja) * 2021-05-19 2022-12-02 株式会社ユニバーサルエンターテインメント 遊技機
JP7289546B2 (ja) 2021-05-19 2023-06-12 株式会社ユニバーサルエンターテインメント 遊技機
JP7289547B2 (ja) 2021-05-19 2023-06-12 株式会社ユニバーサルエンターテインメント 遊技機
JP7289553B2 (ja) 2021-05-19 2023-06-12 株式会社ユニバーサルエンターテインメント 遊技機
JP7289548B2 (ja) 2021-05-19 2023-06-12 株式会社ユニバーサルエンターテインメント 遊技機
JP7289552B2 (ja) 2021-05-19 2023-06-12 株式会社ユニバーサルエンターテインメント 遊技機
JP7289549B2 (ja) 2021-05-19 2023-06-12 株式会社ユニバーサルエンターテインメント 遊技機
JP7289545B2 (ja) 2021-05-19 2023-06-12 株式会社ユニバーサルエンターテインメント 遊技機
JP7289551B2 (ja) 2021-05-19 2023-06-12 株式会社ユニバーサルエンターテインメント 遊技機
JP7289554B2 (ja) 2021-05-19 2023-06-12 株式会社ユニバーサルエンターテインメント 遊技機
JP7289550B2 (ja) 2021-05-19 2023-06-12 株式会社ユニバーサルエンターテインメント 遊技機

Also Published As

Publication number Publication date
JP4218626B2 (ja) 2009-02-04

Similar Documents

Publication Publication Date Title
JP4534910B2 (ja) 画像処理装置および画像処理方法、記録媒体、並びに、プログラム
JP4207072B2 (ja) 情報処理装置および情報処理方法、記録媒体、並びに、プログラム
US8437408B2 (en) Decoding with reference image stored in image memory for random playback
JP4281721B2 (ja) データ処理装置、データ処理方法、プログラムおよび記録媒体
JP5011017B2 (ja) 画像復号化装置
JP4218626B2 (ja) 復号化装置、復号化方法および復号化プログラム、再生システム、再生装置、再生方法および再生プログラム、ならびに、記録媒体
JPH11168698A (ja) 再生方法及び再生装置
JP2007060488A (ja) 画像処理素子および画像処理方法、記録媒体、並びに、プログラム
JP4281720B2 (ja) データ処理装置、データ処理方法、データ処理システム、プログラムおよび記録媒体
JP4244974B2 (ja) データ処理システム、再生装置、データ処理装置、再生方法、データ処理方法、プログラムおよび記録媒体
US7974523B2 (en) Optimal buffering and scheduling strategy for smooth reverse in a DVD player or the like
JP4492487B2 (ja) データ処理装置、データ処理システム、プログラムおよび記録媒体
JP2006128826A (ja) 復号化装置、復号化方法および復号化プログラム、再生システム、再生装置、再生方法および再生プログラム、ならびに、記録媒体
US8345760B2 (en) Information processing apparatus and information processing method
JPH08140047A (ja) 画像データ記録装置
JP2007336067A (ja) 情報処理装置および情報処理方法、プログラム、並びに記録媒体
JP4284830B2 (ja) 動画像編集復号化装置及びその方法
JP2001177829A (ja) 動画像データの再生方法および動画画像データ再生装置
JP3039416B2 (ja) 映像記憶再生装置
JP4281722B2 (ja) 再生装置、再生方法、プログラムおよび記録媒体
JP2003009157A (ja) 動画像復号処理装置およびフレーム転送装置
JP4046496B2 (ja) 動画像復号装置、動画像復号方法、その方法をコンピュータに実行させるプログラムが記録されている記録媒体及びプログラム
JP2007074544A (ja) 画像復号再生装置
JP2006339995A (ja) 再生装置、再生方法、再生プログラム、及び記憶媒体
JP2005236386A (ja) 画像処理装置

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20060209

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070220

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20081014

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081021

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081103

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111121

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111121

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111121

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121121

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees