JP2006109127A - 再生装置および方法、記録媒体、並びにプログラム - Google Patents

Abstract

【課題】動画像のデータの読み出しが間に合わなくなった場合でも、ユーザに違和感をより感じさせにくい画像を表示させる。
【解決手段】 読み出し制御部１３５は、ディスクからの動画像の読み出しを制御する。読み出し制御部１３３は、読み出される動画像の符号化の単位に関係付けられたサムネイルデータの、ディスクからの読み出しを制御する。デコード制御部１３６は、読み出された動画像の復号を制御する。デコード制御部１３４は、動画像の復号に同期した、読み出されたサムネイルデータの復号を制御する。表示制御部１６２は、バッファに記憶されている動画像のデータ量を基に、復号された動画像または復号されたサムネイルデータにより画像を表示させるように表示を制御する。本発明は、再生装置に適用できる。
【選択図】図８

Description

本発明は再生装置および方法、記録媒体、並びにプログラムに関し、特に、動画像を再生する再生装置および方法、記録媒体、並びにプログラムに関する。

光ディスクまたはハードディスクなどのランダムアクセス可能なデータ記録媒体が広く利用されるようになってきた。これに伴い、ランダムアクセス可能なデータ記録媒体に、動画像のデータを記録して、記録されている動画像のデータをランダムに読み出して、読み出した動画像のデータを基に動画像を表示することが行われている。

ランダムに読み出すことを考慮した動画像のデータのデータ記録媒体への記録方法が各種提案されている。

また、ホストマイクロコンピュータが、装置の動作状況として、動作モードを検出し、映像信号の記録中であれば、サムネイル画記録の処理を開始し、画像サイズ成形部が、映像信号の画像のサイズを縮小、または拡大し、キャプチャ部が、ホストマイクロコンピュータにより指定されたフレームの画像をサムネイル画として取得し、読み出し書き込み部が、JPEGエンコーダにより圧縮されたサムネイル画像を光磁気ディスクに記録するようにしているものもある（例えば、特許文献１参照）。

特開２００４−１５６１０号公報

しかしながら、アクセス速度が大きく異なるデータ記録媒体が、各種使用されている。例えば、アクセス速度が速いハードディスクに、ランダムに読み出すことを考慮して記録されている動画像のデータを、ハードディスクに比較してアクセス速度が遅い光ディスクにコピーした場合、この光ディスクから動画像のデータをランダムに読み出して、読み出した動画像のデータを基に動画像を表示しようとすると、シーク時間、回転待ち時間などが異なるので、動画像のデータの読み出しが間に合わなくなり、動画像の表示が途切れてしまうことがある。動画像の表示が途切れてしまうと、これを視聴しているユーザは、違和感を感じることになる。

本発明はこのような状況を鑑みてなされたものであり、動画像のデータの読み出しが間に合わなくなった場合でも、ユーザに違和感をより感じさせにくい画像を表示させることができるようにするものである。

本発明の再生装置は、第１の画像群が符号化されてなる動画像と、第１の画像から生成され、第１の画像群に関連付けられている第２の画像群であって、動画像に比較して単位時間当たりのデータ量が少ない第２の画像群とが記録されているデータ記録媒体から動画像を読み出して、読み出した動画像を一時的にバッファに記憶し、バッファに記憶されている動画像を再生する再生装置であって、データ記録媒体からの動画像の読み出しを制御する第１の読み出し制御手段と、データ記録媒体からの第２の画像の読み出しを制御する第２の読み出し制御手段と、読み出された動画像の復号を制御する第１の復号制御手段と、読み出された第２の画像の復号を制御する第２の復号制御手段と、バッファに記憶されている動画像のデータ量を基に、復号された動画像または復号された第２の画像のいずれか一方を表示させるように表示を制御する表示制御手段とを含むことを特徴とする。

表示制御手段は、バッファに記憶されている動画像のデータ量が第１の閾値以上になった場合、復号された動画像を表示させ、バッファに記憶されている動画像のデータ量が、第１の閾値より小さい第２の閾値未満になった場合、復号された第２の画像を表示させるように表示を制御するようにすることができる。

第１の読み出し制御手段は、バッファに記憶されている動画像のデータ量が所定の閾値未満になった場合、バッファの容量、データ記録媒体からの動画像の読み出し速度、および復号の遅延時間から算出された、動画像における時刻であって、バッファに所定のデータ量の動画像を記憶してから、復号した動画像の出力を開始できると予測される時刻の動画像から読み出すように、データ記録媒体からの動画像の読み出しを制御するようにすることができる。

第２の読み出し制御手段は、データ記録媒体からの動画像の読み出しに優先させた、データ記録媒体からの第２の画像の読み出しを制御するようにすることができる。

表示制御手段は、動画像から第２の画像に表示を切り替える場合、または第２の画像から動画像に表示を切り替える場合、一方から他方に徐々に変化するように動画像または第２の画像の表示を制御するようにすることができる。

第２の読み出し制御手段は、動画像の符号化の単位である、一定の数の第１の画像からなる単位に関係付けられた符号化されている第２の画像であって、読み出される動画像の符号化の単位に関係付けられた第２の画像の、データ記録媒体からの読み出しを制御し、第２の復号制御手段は、動画像の復号に同期した、読み出された第２の画像の復号を制御するようにすることができる。

第２の読み出し制御手段は、MPEG（Moving Pictures Experts Group）２方式で符号化された動画像の符号化の単位であるGOP（Group of Pictures）のそれぞれを構成する第１の画像のうちの１つから生成された第２の画像の、データ記録媒体からの読み出しを制御するようにすることができる。

本発明の再生方法は、第１の画像群が符号化されてなる動画像と、第１の画像から生成され、第１の画像群に関連付けられている第２の画像群であって、動画像に比較して単位時間当たりのデータ量が少ない第２の画像群とが記録されているデータ記録媒体から動画像を読み出して、読み出した動画像を一時的にバッファに記憶し、バッファに記憶されている動画像を再生する再生方法であって、データ記録媒体からの動画像の読み出しを制御する第１の読み出し制御ステップと、データ記録媒体からの第２の画像の読み出しを制御する第２の読み出し制御ステップと、読み出された動画像の復号を制御する第１の復号制御ステップと、読み出された第２の画像の復号を制御する第２の復号制御ステップと、バッファに記憶されている動画像のデータ量を基に、復号された動画像または復号された第２の画像のいずれか一方を表示させるように表示を制御する表示制御ステップとを含むことを特徴とする。

本発明の記録媒体のプログラムは、第１の画像群が符号化されてなる動画像と、第１の画像から生成され、第１の画像群に関連付けられている第２の画像群であって、動画像に比較して単位時間当たりのデータ量が少ない第２の画像群とが記録されているデータ記録媒体から動画像を読み出して、読み出した動画像を一時的にバッファに記憶し、バッファに記憶されている動画像を再生する再生処理用のプログラムであって、データ記録媒体からの動画像の読み出しを制御する第１の読み出し制御ステップと、データ記録媒体からの第２の画像の読み出しを制御する第２の読み出し制御ステップと、読み出された動画像の復号を制御する第１の復号制御ステップと、読み出された第２の画像の復号を制御する第２の復号制御ステップと、バッファに記憶されている動画像のデータ量を基に、復号された動画像または復号された第２の画像のいずれか一方を表示させるように表示を制御する表示制御ステップとを含むことを特徴とする。

本発明のプログラムは、第１の画像群が符号化されてなる動画像と、第１の画像から生成され、第１の画像群に関連付けられている第２の画像群であって、動画像に比較して単位時間当たりのデータ量が少ない第２の画像群とが記録されているデータ記録媒体から動画像を読み出して、読み出した動画像を一時的にバッファに記憶し、バッファに記憶されている動画像を再生する再生装置のコンピュータに再生処理を行わせるプログラムであって、データ記録媒体からの動画像の読み出しを制御する第１の読み出し制御ステップと、データ記録媒体からの第２の画像の読み出しを制御する第２の読み出し制御ステップと、読み出された動画像の復号を制御する第１の復号制御ステップと、読み出された第２の画像の復号を制御する第２の復号制御ステップと、バッファに記憶されている動画像のデータ量を基に、復号された動画像または復号された第２の画像のいずれか一方を表示させるように表示を制御する表示制御ステップとを含むことを特徴とする。

本発明の再生装置および方法、記録媒体、並びにプログラムにおいては、データ記録媒体からの動画像の読み出しが制御され、データ記録媒体からの第２の画像の読み出しが制御され、読み出された動画像の復号が制御され、読み出された第２の画像の復号が制御され、バッファに記憶されている動画像のデータ量を基に、復号された動画像または復号された第２の画像のいずれか一方を表示させるように表示が制御される。

再生装置は、独立した装置であっても良いし、記録再生装置の再生処理を行うブロックであっても良い。

以上のように、本発明によれば、動画像を表示させることができる。

また、本発明によれば、ユーザに違和感をより感じさせにくい画像を表示させることができる。

以下に本発明の実施の形態を説明するが、請求項に記載の構成要件と、発明の実施の形態における具体例との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする具体例が、発明の実施の形態に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、構成要件に対応するものとして、ここには記載されていない具体例があったとしても、そのことは、その具体例が、その構成要件に対応するものではないことを意味するものではない。逆に、具体例が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その具体例が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。

さらに、この記載は、発明の実施の形態に記載されている具体例に対応する発明が、請求項に全て記載されていることを意味するものではない。換言すれば、この記載は、発明の実施の形態に記載されている具体例に対応する発明であって、この出願の請求項には記載されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加される発明の存在を否定するものではない。

請求項１に記載の再生装置は、第１の画像群が符号化されてなる動画像（例えば、MPEG２プログラムストリーム）と、第１の画像から生成され、第１の画像群に関連付けられている第２の画像群であって、動画像に比較して単位時間当たりのデータ量が少ない第２の画像（例えば、サムネイルデータ８１）群とが記録されているデータ記録媒体（例えば、図１のディスク１１）から動画像を読み出して、読み出した動画像を一時的にバッファ（例えば、図１のPSバッファ１３）に記憶し、バッファに記憶されている動画像を再生する再生装置であって、データ記録媒体からの動画像の読み出しを制御する第１の読み出し制御手段（例えば、図８の読み出し制御部１３５）と、データ記録媒体からの第２の画像の読み出しを制御する第２の読み出し制御手段（例えば、図８の読み出し制御部１３３）と、読み出された動画像の復号を制御する第１の復号制御手段（例えば、図８のデコード制御部１３６）と、読み出された第２の画像の復号を制御する第２の復号制御手段（例えば、図８のデコード制御部１３４）と、バッファに記憶されている動画像のデータ量を基に、復号された動画像または復号された第２の画像のいずれか一方を表示させるように表示を制御する表示制御手段（例えば、図８の表示制御部１６２）とを含むことを特徴とする。

請求項８に記載の再生方法は、第１の画像群が符号化されてなる動画像（例えば、MPEG２プログラムストリーム）と、第１の画像から生成され、第１の画像群に関連付けられている第２の画像群であって、動画像に比較して単位時間当たりのデータ量が少ない第２の画像（例えば、サムネイルデータ８１）群とが記録されているデータ記録媒体（例えば、図１のディスク１１）から動画像を読み出して、読み出した動画像を一時的にバッファ（例えば、図１のPSバッファ１３）に記憶し、バッファに記憶されている動画像を再生する再生方法であって、データ記録媒体からの動画像の読み出しを制御する第１の読み出し制御ステップ（例えば、図１２のステップＳ６１乃至ステップＳ６５およびステップＳ６７乃至ステップＳ７３の処理）と、データ記録媒体からの第２の画像の読み出しを制御する第２の読み出し制御ステップ（例えば、図１１のステップＳ３１乃至ステップＳ３５およびステップＳ３７乃至ステップＳ４３の処理）と、読み出された動画像の復号を制御する第１の復号制御ステップ（例えば、図１２のステップＳ６６の処理）と、読み出された第２の画像の復号を制御する第２の復号制御ステップ（例えば、図１１のステップＳ３６の処理）と、バッファに記憶されている動画像のデータ量を基に、復号された動画像または復号された第２の画像のいずれか一方を表示させるように表示を制御する表示制御ステップ（例えば、図２０のステップＳ１５１乃至１５７、図２１のステップＳ１７１乃至ステップＳ１７６、および図２２のステップＳ１９１乃至ステップＳ１９６の処理）とを含むことを特徴とする。

請求項１０に記載のプログラムは、第１の画像群が符号化されてなる動画像（例えば、MPEG２プログラムストリーム）と、第１の画像から生成され、第１の画像群に関連付けられている第２の画像群であって、動画像に比較して単位時間当たりのデータ量が少ない第２の画像（例えば、サムネイルデータ８１）群とが記録されているデータ記録媒体（例えば、図１のディスク１１）から動画像を読み出して、読み出した動画像を一時的にバッファ（例えば、図１のPSバッファ１３）に記憶し、バッファに記憶されている動画像を再生する再生装置のコンピュータに再生処理を行わせるプログラムであって、データ記録媒体からの動画像の読み出しを制御する第１の読み出し制御ステップ（例えば、図１２のステップＳ６１乃至ステップＳ６５およびステップＳ６７乃至ステップＳ７３の処理）と、データ記録媒体からの第２の画像の読み出しを制御する第２の読み出し制御ステップ（例えば、図１１のステップＳ３１乃至ステップＳ３５およびステップＳ３７乃至ステップＳ４３の処理）と、読み出された動画像の復号を制御する第１の復号制御ステップ（例えば、図１２のステップＳ６６の処理）と、読み出された第２の画像の復号を制御する第２の復号制御ステップ（例えば、図１１のステップＳ３６の処理）と、バッファに記憶されている動画像のデータ量を基に、復号された動画像または復号された第２の画像のいずれか一方を表示させるように表示を制御する表示制御ステップ（例えば、図２０のステップＳ１５１乃至１５７、図２１のステップＳ１７１乃至ステップＳ１７６、および図２２のステップＳ１９１乃至ステップＳ１９６の処理）とを含むことを特徴とする。

このプログラムは記録媒体（例えば、図１の磁気ディスク４１）に記録することができる。

図１は、本発明に係る再生装置の一実施の形態の構成を示すブロック図である。ディスク１１は、光ディスク、光磁気ディスク、または磁気ディスクなどであり、各種のデータを記録している。例えば、ディスク１１には、後述する動画像のデータ、音声のデータ、動画像のデータに対応するサムネイルデータなどが記録されている。ディスク１１は、記録されているデータを読み出す場合、ドライブ１２に装着される。

ドライブ１２は、図示せぬ光学ピックアップまたは復調部などを備え、装着されたディスク１１に記録されているデータを読み出して、読み出したデータをPSバッファ１３などの後段に供給する。

例えば、ドライブ１２は、装着されたディスク１１に記録されている動画像のデータであるMPEG（Moving Pictures Experts Group）２プログラムストリームを読み出して、読み出したMPEG２プログラムストリームをPS（Program Stream）バッファ１３に供給する。すなわち、ドライブ１２は、装着されたディスク１１に記録されている、所定の符号化方式で符号化されている動画像のデータを読み出して、読み出した動画像のデータをPSバッファ１３に供給する。

PSバッファ１３は、例えば、専用のハードウェアまたは汎用の半導体メモリなどからなるFIFO（First-In First-Out）バッファであり、ドライブ１２から供給されたMPEG２プログラムストリームを一時的に記憶し、記憶しているMPEG２プログラムストリームを順にデマルチプレクサ１４に供給する。

デマルチプレクサ１４は、PSバッファ１３から供給された、ビデオエレメンタリストリームとオーディオエレメンタリストリームとが多重化されているMPEG２プログラムストリームを、ビデオエレメンタリストリームとオーディオエレメンタリストリームとに分離する。デマルチプレクサ１４は、分離したオーディオエレメンタリストリームをオーディオES（Elementary Stream）バッファ１５に供給する。また、デマルチプレクサ１４は、分離したビデオエレメンタリストリームをビデオESバッファ１６に供給する。

また、例えば、ドライブ１２は、装着されたディスク１１に記録されている音声のデータであるBGM（Background Music）エレメンタリストリームを読み出して、読み出したBGMエレメンタリストリームをBGMESバッファ１７に供給する。

さらに、例えば、ドライブ１２は、装着されたディスク１１に記録されている画像のデータであるサムネイルデータを読み出して、読み出したサムネイルデータをサムネイルデータバッファ１８に供給する。より詳細には、ドライブ１２は、これから読み出そうとするMPEG２プログラムストリームに対応するサムネイルデータを読み出す。

詳細は後述するが、サムネイルデータは、MPEG２プログラムストリームにより表示される画像に同期した静止画像であって、MPEG２プログラムストリームにより表示される画像よりサイズの小さい静止画像を表示するためのデータである。例えば、サムネイルデータは、JPEG（Joint Photographic Experts Group）方式で符号化されている。

オーディオESバッファ１５は、例えば、専用のハードウェアまたは汎用の半導体メモリなどからなるFIFOバッファであり、デマルチプレクサ１４から供給されたオーディオエレメンタリストリームを一時的に記憶し、記憶しているオーディオエレメンタリストリームを順にセレクタ１９に供給する。また、BGMESバッファ１７は、例えば、専用のハードウェアまたは汎用の半導体メモリなどからなるFIFOバッファであり、ドライブ１２から供給されたBGMエレメンタリストリームを一時的に記憶し、記憶しているBGMエレメンタリストリームを順にセレクタ１９に供給する。

セレクタ１９は、制御部２０の制御の基に、オーディオESバッファ１５から供給されたオーディオエレメンタリストリーム、またはBGMESバッファ１７から供給されたBGMエレメンタリストリームのうちのいずれか一方を選択して、選択したオーディオエレメンタリストリームまたはBGMエレメンタリストリームのうちのいずれか一方をオーディオデコーダ２１に供給する。より詳細には、セレクタ１９は、制御部２０から供給される信号に応じて、オーディオエレメンタリストリームが供給される入力端子１９−ａ、またはBGMエレメンタリストリームが供給される入力端子１９−ｂのいずれか一方を出力端子１９−ｃに接続することにより、オーディオエレメンタリストリームまたはBGMエレメンタリストリームのうちのいずれか一方を選択して、選択したオーディオエレメンタリストリームまたはBGMエレメンタリストリームのうちのいずれか一方をオーディオデコーダ２１に供給する。

制御部２０は、例えば、組込型のマイクロプロセッサからなり、再生装置の各部を制御する。例えば、制御部２０は、PSバッファ１３に記憶されているMPEG２プログラムストリームのデータ量、オーディオESバッファ１５に記憶されているオーディオエレメンタリストリームのデータ量、ビデオESバッファ１６に記憶されているビデオエレメンタリストリームのデータ量、BGMESバッファ１７に記憶されているBGMエレメンタリストリームのデータ量、またはサムネイルデータバッファ１８に記憶されているサムネイルデータのデータ量を取得し（監視し）、これらを基に再生装置の各部を制御する。

オーディオデコーダ２１は、制御部２０の制御の基に、セレクタ１９を介して、オーディオESバッファ１５からオーディオエレメンタリストリームを取得するか、または、BGMESバッファ１７からBGMエレメンタリストリームを取得する。オーディオデコーダ２１は、制御部２０の制御の基に、取得したオーディオエレメンタリストリームまたはBGMエレメンタリストリームを復号して、復号により得られた音声データをオーディオベースバンドメモリ２２に供給する。例えば、オーディオデコーダ２１は、制御部２０の制御の基に、セレクタ１９を介して供給されたAC-3（Audio Code Number 3）、AAC（Advanced Audio Codec）、またはMP3（MPEG 1 Audio Layer 3）などで符号化されているオーディオエレメンタリストリームまたはBGMエレメンタリストリームを復号する。

オーディオベースバンドメモリ２２は、例えば、専用のハードウェアまたは汎用の半導体メモリなどからなるFIFOバッファであり、オーディオデコーダ２１から供給された音声データを一時的に記憶して、記憶している音声データを順に端子２３を介して出力する。

ビデオESバッファ１６は、例えば、専用のハードウェアまたは汎用の半導体メモリなどからなるFIFOバッファであり、デマルチプレクサ１４から供給されたビデオエレメンタリストリームを一時的に記憶し、記憶しているビデオエレメンタリストリームを順にビデオデコーダ２４に供給する。ビデオデコーダ２４は、制御部２０の制御の基に、ビデオESバッファ１６から、例えば、MPEG２方式で符号化されているビデオエレメンタリストリームを取得して、取得したビデオエレメンタリストリームを復号して、復号により得られた画像データをベースバンドフレームメモリ２５に供給する。ベースバンドフレームメモリ２５は、例えば、半導体メモリからなり、ビデオデコーダ２４から供給された画像データを一時的に記憶して、記憶している画像データを乗算器２６に供給する。

乗算器２６は、制御部２０から供給された係数に応じた値を、ベースバンドフレームメモリ２５から供給された画像データの各画素値に乗算し、係数に応じた値が乗算された画素値からなる画像データを加算器２７に供給する。

サムネイルデータバッファ１８は、例えば、専用のハードウェアまたは汎用の半導体メモリなどからなるFIFOバッファであり、ドライブ１２から供給されたサムネイルデータを一時的に記憶して、記憶しているサムネイルデータを順にJPEGデコーダ２８に供給する。JPEGデコーダ２８は、制御部２０の制御の基に、サムネイルデータバッファ１８からサムネイルデータを取得して、取得したサムネイルデータを復号して、復号により得られた画像データをベースバンドフレームメモリ２９に供給する。例えば、JPEGデコーダ２８は、JPEG方式で符号化されているサムネイルデータを復号する。

ベースバンドフレームメモリ２９は、例えば、専用のハードウェアまたは汎用の半導体メモリなどからなるFIFOバッファであり、JPEGデコーダ２８から供給された画像データを一時的に記憶して、記憶している画像データを拡大部３０に供給する。拡大部３０は、ベースバンドフレームメモリ２９から供給された画像データにより表示される画像のサイズがビデオエレメンタリストリームにより表示される画像のサイズと同じになるように、ベースバンドフレームメモリ２９から供給された画像データを変換する。例えば、拡大部３０は、画素を補間するように、ベースバンドフレームメモリ２９から供給された画像データを変換し、ベースバンドフレームメモリ２９から供給された画像データにより表示される画像のサイズを拡大する。

拡大部３０は、画像のサイズを拡大した画像データを乗算器３１に供給する。乗算器３１は、制御部２０から供給された係数を、拡大部３０から供給された画像データの各画素値に乗算し、係数が乗算された画素値からなる画像データを加算器２７に供給する。

例えば、乗算器３１は、制御部２０から係数α（０≦α≦１）が供給された場合、拡大部３０から供給された画像データの各画素値に係数αを乗算し、係数αが乗算された画素値からなる画像データを加算器２７に供給する。一方、例えば、乗算器２６は、制御部２０から係数α（０≦α≦１）が供給された場合、制御部２０から供給された係数αに応じた値（１−α）を、ベースバンドフレームメモリ２５から供給された画像データの各画素値に乗算し、値（１−α）が乗算された画素値からなる画像データを加算器２７に供給する。

加算器２７は、乗算器２６から供給された画像データと、乗算器３１から供給された画像データとを加算して、加算した結果得られた画像データをセレクタ３２に供給する。例えば、加算器２７は、乗算器２６から供給された画像データのそれぞれの画素の画素値と、乗算器３１から供給された画像データのそれぞれの画素であって、乗算器２６から供給された画像データの画素の画面上の位置と同じ位置の画素の画素値とを加算することによって、画面上の画素のそれぞれの画素値を算出する。すなわち、加算器２７によって、乗算器２６から供給された画像データと、乗算器３１から供給された画像データとが重畳されることになる。

従って、制御部２０が、０から１に、または１から０に時間的に変化する係数αを乗算器２６および乗算器３１に供給すると、ビデオエレメンタリストリームにより表示される画像が、サムネイルデータにより表示される拡大された画像に徐々に変化するか、またはサムネイルデータにより表示される拡大された画像が、ビデオエレメンタリストリームにより表示される画像に徐々に変化するように画像を切り替えることができる。例えば、制御部２０が０から１に、または１から０に１秒間で変化する係数αを乗算器２６および乗算器３１に供給することにより、ビデオエレメンタリストリームにより表示される画像が、サムネイルデータにより表示される拡大された画像に１秒間で徐々に変化するか、またはサムネイルデータにより表示される拡大された画像がビデオエレメンタリストリームにより表示される画像に１秒間で徐々に変化するように画像を切り替えることができる。

なお、係数αを０から１に、または１から０に変化させる期間は、任意の長さとすることができる。

このようにすることで、画像を視聴しているユーザがうける違和感を最小限にして、ビデオエレメンタリストリームにより表示される画像とサムネイルデータにより表示される拡大された画像とを切り替えることができる。

ウエイト画像データメモリ３３は、ウエイト画像データを予め記憶し、記憶しているウエイト画像データをセレクタ３２に供給する。例えば、ウエイト画像データは、いわゆるブルーバック画像を表示するためのデータである。

ホールド画像データメモリ３４は、セレクタ３２から出力された最新の画像データ（最後に出力された画像データ）を取得して、取得した最新の画像データを記憶する。ホールド画像データメモリ３４は、記憶している画像データをセレクタ３２に供給する。

セレクタ３２は、制御部２０の制御の基に、加算器２７から供給された画像データ、ウエイト画像データメモリ３３から供給された画像データ、またはホールド画像データメモリ３４から供給された画像データのうちのいずれか１つを選択して、選択した加算器２７から供給された画像データ、ウエイト画像データメモリ３３から供給された画像データ、またはホールド画像データメモリ３４から供給された画像データのうちのいずれか１つを端子３５を介して出力する。

例えば、セレクタ３２は、制御部２０から供給される信号に応じて、加算器２７から画像データが供給される入力端子３２−ａ、ウエイト画像データメモリ３３から画像データが供給される入力端子３２−ｂ、またはホールド画像データメモリ３４から画像データが供給される入力端子３２−ｃのうちのいずれか１つを出力端子３２−ｄに接続することにより、加算器２７から供給された画像データ、ウエイト画像データメモリ３３から供給された画像データ、またはホールド画像データメモリ３４から供給された画像データのうちのいずれか１つを選択して、選択した画像データを端子３５を介して出力する。

ドライブ１２には、ディスクアクセス用バッファ５１が設けられている。ディスクアクセス用バッファ５１は、例えば、専用のハードウェアなどからなるFIFOバッファであり、ドライブ１２がディスク１１から読み出したプログラムストリーム、BGMエレメンタリストリーム、またはサムネイルデータなどのデータを一時的に記憶する。ドライブ１２は、ディスクアクセス用バッファ５１に記憶されているデータのうち、プログラムストリームをPSバッファ１３に供給し、BGMエレメンタリストリームをBGMESバッファ１７に供給し、サムネイルデータをサムネイルデータバッファ１８に供給する。

ドライブ３６は、必要に応じて接続され、磁気ディスク４１、光ディスク４２、光磁気ディスク４３、または半導体メモリ４４が装着される。ドライブ３６は、装着された、プログラムを記録している磁気ディスク４１、光ディスク４２、光磁気ディスク４３、または半導体メモリ４４からそのプログラムを読み出して、読み出したプログラムを制御部２０に供給する。

このように、制御部２０は、例えば、磁気ディスク４１、光ディスク４２、光磁気ディスク４３、または半導体メモリ４４などの記録媒体に記録されているプログラムを実行することができる。なお、制御部２０は、ディスク１１に記録されているプログラムを実行するようにしてもよい。

ここで、図２乃至図４を参照して、ディスク１１に記録されているMPEG２プログラムストリームとサムネイルデータとの関係について説明する。

図２で示されるように、サムネイルデータのそれぞれは、MPEG２方式で圧縮符号化されているMPEG２プログラムストリームのうち、それぞれのGOP（Group of Pictures）から抽出されたフレームから生成されている。

より具体的には、例えば、MPEG２プログラムストリームが、１秒あたり３０フレームの動画像を、連続する１５フレームからなるGOPを単位として圧縮符号化されている場合、それぞれのGOPを構成する１５のフレームから１つのフレームが抽出される。そして、それぞれのGOPから抽出されたフレームから画素が間引かれる。サムネイルデータは、このようにそれぞれのGOPを構成する複数のフレームから抽出された１つのフレームの画素を間引いて、これを、例えば、静止画像を圧縮する圧縮符号化方式などの所定の符号化方式により符号化することにより生成されている。

サムネイルデータのそれぞれは、１つのサムネイルを表示させるためのデータである。ディスク１１において、ECC（Error Correction Coding）によりエラー訂正される単位が１２キロバイトであるとした場合、サムネイルデータのそれぞれは、１２キロバイト以下に圧縮される。

ここで、例えば、ECC（Error Correction Coding）によりエラー訂正されるデータの単位は、データの記録が管理される単位である、１つのクラスタに記録される。

この場合、サムネイルデータが、１２キロバイト未満であるとき、１２キロバイト未満であるサムネイルデータには、１２キロバイトとなるように任意にデータ列が付加される。任意のデータ列の付加により１２キロバイトとされたサムネイルデータは、１つのクラスタに、ECCによりエラー訂正される単位として、ディスク１１に記録される。

１２キロバイトのサムネイルデータには、データ列は付加されることなく、１２キロバイトのサムネイルデータは、そのまま、１つのクラスタに記録される。

このようにすると、サムネイルデータの１つを読み出す場合、１つのクラスタからデータを読み出せば良いので、より迅速にディスク１１から所望のサムネイルデータを読み出すことができる。

また、詳細は後述するが、例えば、複数のサムネイルデータは、１つのファイルとしてディスク１１に記録される。

図３は、MPEG２プログラムストリームと、サムネイルデータとの同期を説明する図である。図３において、MPEGトラックは、MPEG２プログラムストリームに多重化されているビデオエレメンタリストリームおよびオーディオエレメンタリストリームからなり、サムネイルトラックは、１または複数のサムネイルデータからなる。図３において、１つの四角は、１つの画像を示す。ここで、トラックとは、一連の画像または音声の系列である。

例えば、ビデオエレメンタリストリームが、１５のフレームからなるGOPを単位として符号化され、サムネイルデータが、それぞれのGOPのフレームのうちの１つのフレームから生成される場合、ビデオエレメンタリストリームにおける１つのＧＯＰと、１つのサムネイルデータとが対応することになる。この場合、１つのサムネイルデータは、動画像の再生における、０．５秒の時間に対応することになる。

図４を参照して、１つのＧＯＰに対応付けられたサムネイルデータのファイル方式を説明する。

サムネイルデータのファイル方式として、各種のファイルフォーマットを利用することができる。例えば、サムネイルデータのファイル方式として、Quick Time（商標）ファイルフォーマットを利用することができる。以下、Quick Time（商標）ファイルフォーマットをQTファイルフォーマットと称する。

QTファイルフォーマットにおいて、動画像データ、音声データ、または静止画像データなどがまとめられて、それぞれブロック化され、また、ブロック化された動画像データ、音声データ、または静止画像データなどを管理するための管理情報も、それぞれまとめてブロック化される。このようなブロックは、基本的なデータの単位であり、アトムと称される。ブロック化された動画像データ、音声データ、または静止画像データなどは、トラックごとに管理され、その情報はトラックアトムと称される。また、複数のトラックをまとめて１つの動画データとして管理する情報は、ムービーアトムと称される。

図４は、サムネイルデータを格納する、QTファイルフォーマットの一例であるPlaylist File（PLF）方式のファイルの例を説明する図である。サムネイルデータを格納する、PLF方式ファイル７１の先頭には、ファイルのタイプを記述するデータ（図中のファイルタイプデータ）が配置され、ファイルのタイプを記述するデータの次に、ファイルプロファイルを記述するデータ（図中のプロファイルデータ）が配置される。

例えば、ファイルのタイプを記述するデータは、ISO（International Organization for Standardization）のBaseMediaFileFormat(ISO14496-12)のMP4拡張(ISO14496-14)に準拠した方式とすることができる。また、例えば、ファイルのプロファイルを記述するデータには、PLF方式であることを示す値が設定される。

PLF方式ファイル７１において、ファイルプロファイルを記述するデータに続いて、ムービーアトム（図中のmoovで示すデータ）が配置される。図４のムービーアトムに配置されるビデオトラックのトラックアトム（図中のtrak（vide）で示すデータ）は、サムネイルデータの管理情報である。図４のムービーアトムに配置されるMPEG２プログラムストリームトラックのトラックアトム（図中のtrak（MPEG２プログラムストリーム）で示すデータ）は、動画像データおよび音声データが多重化されているMPEG２プログラムストリームの管理情報である。

トラックアトムのメディアアトム（図中のmdiaで示すデータ）には、対応するムービーデータアトムの圧縮方式、格納場所、表示時間などを管理する管理情報が格納される。メディアアトムにおけるメディア情報アトム（図中のminfで示すデータ）には、最小の管理単位であるサンプルに関係する各種の情報が配置される。例えば、MPEG２プログラムストリームトラックにおいて、サンプルは、１つのフレームであり、サムネイルデータのビデオトラックにおいて、サンプルは、１つのサムネイルデータである。

メディア情報アトムにおけるサンプルテーブルアトム（図中のstblで示すデータ）には、個々のサンプルに関係する各種の情報が配置される。サンプルテーブルアトムにおける時間サンプルアトム（図中のsttsで示すデータ）には、各サンプルと再生における時刻との関係が記述される。サンプルテーブルアトムにおけるサンプルチャンクアトム（図中のstscで示すデータ）には、サンプルと、そのサンプルから構成されるチャンクとの関係が記述される。

ここで、チャンクとは、複数のサンプルの集合よりなるトラックにおけるデータの単位である。

また、サンプルテーブルアトムにおけるサンプルサイズアトム（図中のstszで示すデータ）には、各サンプルのデータ量が記述される。サンプルテーブルアトムにおけるチャンクオフセットアトム（図中のstcoで示すデータ）には、ファイルの先頭を基準にした各チャンクの位置情報が記述される。

さらに、PLF方式ファイル７１には、ムービーデータアトム（図中のmdatで示すデータ）として、サムネイルデータ８１−１乃至サムネイルデータ８１−ｎが格納されている。PLF方式ファイル７１において、サムネイルデータ８１−１乃至サムネイルデータ８１−ｎは、順に配置される。

すなわち、図４のムービーアトムのトラックアトムの時間サンプルテーブルアトムには、ムービーデータアトムとしてのサムネイルデータ８１−１乃至サムネイルデータ８１−ｎのそれぞれの、再生における時刻が記述される。

これにより、図３で示されるように、サムネイルデータ８１−１乃至サムネイルデータ８１−ｎのそれぞれを、MPEG２プログラムストリーム（ビデオエレメンタリストリーム）の１つのGOPに対応させて、再生することができるようになる。

以下、サムネイルデータ８１−１乃至サムネイルデータ８１−ｎを個々に区別する必要がないとき、単に、サムネイルデータ８１と称する。

次に、図５乃至図７を参照して、再生計画に基づく、MPEG２プログラムストリーム、サムネイルデータ、およびBGMエレメンタリストリームの再生について説明する。

図５は、再生計画に基づく、MPEG２プログラムストリーム、サムネイルデータ、およびBGMエレメンタリストリームの再生の順序の例を示す図である。

図５で示されるAVプログラム１乃至AVプログラム９は、それぞれ、１つのMPEG２プログラムストリームまたは１つのサムネイルデータ８１で再生される画像である。

例えば、図６で示されるように、AVプログラム１は、１つのMPEG２プログラムストリームで再生される画像、またはこのMPEG２プログラムストリームにより再生される画像に同期した静止画像を表示するためのサムネイルデータで再生される画像である。

また、図５で示されるBGM１乃至BGM３は、それぞれ、１つのBGMエレメンタリストリームで再生される音声である。

図５の横方向は、再生される画像または音声における時間を示す。図５の右側の点線で区切られた期間は、１秒間を示す。なお、GOPは、例えば、１秒あたり３０フレームの動画像における１５のフレームからなるので、１つのGOPによって、０．５秒の動画像が表示されることになる。

再生装置は、予め定めた再生計画に基づいて、AVプログラム１乃至AVプログラム９のいずれかの画像を再生すると共に、BGM１乃至BGM３のいずれかの音声を再生する。

より詳細には、再生装置は、再生計画に記載されている順序で、GOPを単位として、AVプログラム１乃至AVプログラム９のいずれかのMPEG２プログラムストリームを再生し、GOPに対応するサムネイルデータを再生する。再生装置は、再生計画に記載されている順序で、BGM１乃至BGM３のいずれかのBGMエレメンタリストリームを再生する。

図７は、再生計画を記述するテーブルの例を示す図である。図７で示される再生計画を記述するテーブルの例には、再生の順に、何番目のGOPであるかを示すGOP連番、AVプログラムすなわちMPEG２プログラムストリームを特定するコンテンツID、コンテンツの先頭から再生されるGOPの先頭までのバイト数を示すオフセット、再生されるGOPのサイズ（バイト数）を示すサイズ、および再生計画に基づいて表示される画像における時刻を示す表示時刻が含まれる。

例えば、図７で示される再生計画を記述するテーブルの例において、０である最初のGOP連番に対応して、ID0であるコンテンツID、O0であるオフセット、S0であるサイズ、およびTP0である表示時刻が配置され、１である２番目のGOP連番に対応して、ID1であるコンテンツID、O1であるオフセット、S1であるサイズ、およびTP1である表示時刻が配置される。図７で示される再生計画を記述するテーブルの例において、kである（k+1）番目のGOP連番に対応して、IDkであるコンテンツID、Okであるオフセット、Skであるサイズ、およびTPkである表示時刻が配置され、mである（m+1）番目のGOP連番に対応して、IDmであるコンテンツID、Omであるオフセット、Smであるサイズ、およびTPmである表示時刻が配置される。

このように、再生計画を記述するテーブルには、例えば、再生の順に、GOPなどの符号化の単位であって、何番目の単位であるかを示す情報、コンテンツを特定する情報、再生される単位のコンテンツ上の位置を示す情報、再生される単位のデータ量を示す情報、および表示の時刻を示す情報が対応付けられて配置される。

図５に戻り、例えば、再生装置は、再生計画に記載されている順序で、AVプログラム３の先頭から９つ目のGOPを再生し、AVプログラム３の先頭から３つ目乃至５つ目のGOPを再生し、AVプログラム７の先頭から５つ目のGOPを再生し、AVプログラム４の先頭から２５番目のGOPを再生し、AVプログラム７の先頭から９つ目乃至１２番目のGOPを再生する。そして、再生装置は、再生計画に記載されている順序で、AVプログラム８の先頭から１７番目乃至２０番目のGOPを再生し、AVプログラム１の先頭から１３番目および１４番目のGOPを再生し、AVプログラム６の先頭から１３番目のGOPを再生し、AVプログラム４の先頭から１７番目および１８番目のGOPを再生し、AVプログラム６の先頭から１９番目および２０番目のGOPを再生する。

さらに、再生装置は、再生計画に記載されている順序で、AVプログラム７の先頭から２３番目のGOPを再生し、AVプログラム８の先頭から３番目乃至５番目のGOPを再生し、AVプログラム１の先頭から２５番目乃至２７番目のGOPを再生し、AVプログラム３の先頭から２３番目のGOPを再生し、AVプログラム４の先頭から３０番目のGOPを再生する。

また、再生装置は、再生計画に記載されている順序で、AVプログラム３の先頭から９つ目のGOP乃至AVプログラム８の先頭から３番目のGOPを再生している期間において、BGM１のBGMエレメンタリストリームを再生し、AVプログラム８の先頭から４番目のGOP乃至AVプログラム４の先頭から３０番目のGOPを再生している期間において、BGM２のBGMエレメンタリストリームを再生する。

例えば、MPEG２プログラムストリームのビデオエレメンタリストリームにおけるGOPのそれぞれは、復号において他のGOPを参照しないで復号できるように符号化されている。従って、再生装置は、再生計画に記載されている順序で、GOPを再生する場合、再生計画に記載されていない他のGOPを読み出す必要がない。

なお、MPEG２プログラムストリームを必要なファイルから読み出すために、予め全てのAVプログラムをオープンしておくようにしてもよいが、制御部２０においてファイルシステムに使用されるメモリの領域が増加してしまうので、必要に応じてAVプログラムをオープンするようにするのが好ましい。

また、この例の場合、MPEG２プログラムストリームのオーディオエレメンタリストリームは再生されず、オーディオエレメンタリストリームの音声は出力されない。

このように、再生装置は、再生計画に基づいて、ディスク１１から、MPEG２プログラムストリーム、サムネイルデータ、およびBGMエレメンタリストリームをランダムに読み出して、読み出したMPEG２プログラムストリーム、サムネイルデータ、およびBGMエレメンタリストリームを再生する。

MPEG２プログラムストリームは、データ記録媒体から順に読み出す場合において、アンダーフローが生じないように、データ記録媒体に記録されている。しかしながら、上述したように、GOPを単位としてランダムにデータ記録媒体から読み出す（ランダムアクセスする）場合には、シーク動作が頻発し、アンダーフローが生じ、再生が間に合わなくなり、動画像の表示が途切れてしまう場合が生じ得る。また、AVプログラムをオープンするために時間が必要となり、これによって、MPEG２プログラムストリームの読み出しまたは再生が間に合わなくなる場合もあり得る。

一方、サムネイルデータおよびBGMエレメンタリストリームは、MPEG２プログラムストリームに比較して、データレートが低く（単位時間当たりのデータ量が小さく）、MPEG２プログラムストリームにアンダーフローが生じた場合であっても、サムネイルデータおよびBGMエレメンタリストリームについてアンダーフローが生じない場合がある。この場合、MPEG２プログラムストリームによる動画像の表示は途切れてしまうが、サムネイルデータによって画像を表示することが可能である。

そこで、本発明に係る再生装置は、再生が間に合わなくなって、MPEG２プログラムストリームによる動画像の表示が途切れそうになった場合、MPEG２プログラムストリームに対応するサムネイルデータによる画像を表示することによって、ユーザに違和感をより感じさせにくい画像を表示させるものである。

図８は、プログラムを実行する制御部２０により実現される機能の構成を示すブロック図である。

制御部２０がプログラムを実行することにより、データ読み出し／デコード制御部１０１および出力制御部１０２が実現される。データ読み出し／デコード制御部１０１は、ディスク１１からの各種のデータの読み出しを制御し、読み出したデータの復号を制御する。出力制御部１０２は、読み出したデータにより表示される画像の表示および表示の切り替えを制御し、読み出したデータにより出力される音声の出力を制御する。

データ読み出し／デコード制御部１０１には、BGMデータ読み出し／デコード制御部１２１、サムネイルデータ読み出し／デコード制御部１２２、およびプログラムストリーム読み出し／デコード制御部１２３が含まれる。

BGMデータ読み出し／デコード制御部１２１は、ディスク１１からのBGMエレメンタリストリームの読み出しを制御し、読み出したBGMエレメンタリストリームの復号を制御する。BGMデータ読み出し／デコード制御部１２１には、読み出し制御部１３１およびデコード制御部１３２が含まれる。

読み出し制御部１３１は、BGMESバッファ１７に記憶されているBGMエレメンタリストリームのデータ量を基に、ドライブ１２による、ディスク１１からのBGMエレメンタリストリームの読み出しを制御する。デコード制御部１３２は、オーディオデコーダ２１におけるBGMエレメンタリストリームの復号を制御する。

サムネイルデータ読み出し／デコード制御部１２２は、ディスク１１からのサムネイルデータ８１の読み出しを制御し、読み出したサムネイルデータ８１の復号を制御する。サムネイルデータ読み出し／デコード制御部１２２には、読み出し制御部１３３およびデコード制御部１３４が含まれる。

読み出し制御部１３３は、サムネイルデータバッファ１８に記憶されているサムネイルデータ８１のデータ量を基に、ドライブ１２による、ディスク１１からのサムネイルデータ８１の読み出しを制御する。デコード制御部１３４は、JPEGデコーダ２８におけるサムネイルデータ８１の復号を制御する。

プログラムストリーム読み出し／デコード制御部１２３は、ディスク１１からのMPEG２プログラムストリームの読み出しを制御し、読み出したMPEG２プログラムストリームに含まれるビデオエレメンタリストリームおよびオーディオエレメンタリストリームの復号を制御する。

プログラムストリーム読み出し／デコード制御部１２３には、読み出し制御部１３５、デコード制御部１３６、判定部１３７、表示再開時刻算出部１３８、およびデコード開始時刻算出部１３９が含まれる。

読み出し制御部１３５は、PSバッファ１３に記憶されているMPEG２プログラムストリームのデータ量を基に、ドライブ１２による、ディスク１１からのMPEG２プログラムストリームの読み出しを制御する。デコード制御部１３６は、読み出したMPEG２プログラムストリームに含まれるビデオエレメンタリストリームのビデオデコーダ２４における復号、およびオーディオエレメンタリストリームのオーディオデコーダ２１における復号を制御する。

判定部１３７は、予め記憶している閾値とPSバッファ１３に記憶されているMPEG２プログラムストリームのデータ量とを比較して、PSバッファ１３に記憶されているMPEG２プログラムストリームのデータ量が閾値を超えたか、またはPSバッファ１３に記憶されているMPEG２プログラムストリームのデータ量が閾値未満になったかを判定する。

表示再開時刻算出部１３８は、MPEG２プログラムストリームによる動画像の表示が継続できなくなった場合、MPEG２プログラムストリームによる動画像の表示を再開する、動画像上の時刻を算出する。デコード開始時刻算出部１３９は、MPEG２プログラムストリームによる動画像の表示が継続できなくなった場合、動画像の表示を再開する動画像上の時刻を基に、MPEG２プログラムストリームの復号を開始する時刻を算出する。

出力制御部１０２には、音声出力制御部１６１および表示制御部１６２が含まれる。音声出力制御部１６１は、読み出したデータにより出力される音声の出力を制御する。表示制御部１６２は、読み出したデータによる画像の表示を制御する。

音声出力制御部１６１には、判定部１７１および切り替え指示部１７２が含まれる。判定部１７１は、BGMESバッファ１７に記憶されているBGMエレメンタリストリームのデータ量と予め記憶されている閾値とを比較して、BGMESバッファ１７に記憶されているBGMエレメンタリストリームのデータ量が閾値未満になったか否かを判定する。切り替え指示部１７２は、オーディオデコーダ２１を制御して、BGMエレメンタリストリームを復号した結果得られた音声データを出力させるか、またはミュートさせる（０である音声データを出力させる）。

表示制御部１６２には、判定部１７３および切り替え指示部１７４が含まれる。判定部１７３は、PSバッファ１３に記憶されているMPEG２プログラムストリームのデータ量と予め記憶されている閾値とを比較して、PSバッファ１３に記憶されているMPEG２プログラムストリームのデータ量が閾値以上になったか否かを判定する。また、判定部１７３は、MPEG２プログラムストリームのデータ量と比較される閾値とは異なる閾値とサムネイルデータバッファ１８に記憶されているサムネイルデータ８１のデータ量とを比較して、サムネイルデータバッファ１８に記憶されているサムネイルデータ８１のデータ量が閾値以上になったか否かを判定する。

切り替え指示部１７４は、ビデオエレメンタリストリームによる画像、およびサムネイルデータによる画像などの表示を切り替えるように、乗算器２６、乗算器３１、およびセレクタ３２を制御する。

図９は、PSバッファ１３に記憶されているMPEG２プログラムストリームのデータ量（以下、PSバッファ残量とも称する）とディスク１１からのMPEG２プログラムストリームの読み出しとの関係、サムネイルデータバッファ１８に記憶されているサムネイルデータ８１のデータ量とディスク１１からのサムネイルデータ８１の読み出しとの関係、およびBGMESバッファ１７に記憶されているBGMエレメンタリストリームのデータ量とディスク１１からのBGMエレメンタリストリームの読み出しとの関係を説明する図である。

図９の上側は、PSバッファ１３に記憶されているMPEG２プログラムストリームのデータ量を示し、図９の下側は、サムネイルデータバッファ１８に記憶されているサムネイルデータ８１のデータ量およびBGMESバッファ１７に記憶されているBGMエレメンタリストリームのデータ量を示す。図９において、実線は、PSバッファ１３に記憶されているMPEG２プログラムストリームのデータ量を示し、１点鎖線は、BGMESバッファ１７に記憶されているBGMエレメンタリストリームのデータ量を示し、２点鎖線は、サムネイルデータバッファ１８に記憶されているサムネイルデータ８１のデータ量を示す。

再生計画に基づく、再生の処理が開始されると、BGMデータ読み出し／デコード制御部１２１の読み出し制御部１３１は、ドライブ１２に、ディスク１１からのBGMエレメンタリストリームの読み出しを開始させる。時刻t1においてBGMESバッファ１７に記憶されているBGMエレメンタリストリームのデータ量が閾値Tbgm1を超えると、BGMデータ読み出し／デコード制御部１２１の読み出し制御部１３１は、ドライブ１２に、ディスク１１からのBGMエレメンタリストリームの読み出しを停止させる。時刻t1において、サムネイルデータ読み出し／デコード制御部１２２の読み出し制御部１３３は、ドライブ１２に、ディスク１１からのサムネイルデータ８１の読み出しを開始させる。

時刻t2において、サムネイルデータバッファ１８に記憶されているサムネイルデータ８１のデータ量が閾値Tsum1を超えると、サムネイルデータ読み出し／デコード制御部１２２の読み出し制御部１３３は、ドライブ１２に、ディスク１１からのサムネイルデータ８１の読み出しを停止させる。時刻t2において、プログラムストリーム読み出し／デコード制御部１２３の読み出し制御部１３５は、ドライブ１２に、ディスク１１からのMPEG２プログラムストリームの読み出しを開始させる。

時刻t3において、PSバッファ１３に記憶されているMPEG２プログラムストリームのデータ量が閾値THps1を超えると、プログラムストリーム読み出し／デコード制御部１２３の読み出し制御部１３５は、ドライブ１２に、ディスク１１からのMPEG２プログラムストリームの読み出しを停止させる。

なお、図中のBmaxは、マージンを含んだ、PSバッファ１３の容量（記憶できるデータ量の最大値）を示す。

時刻t3において、プログラムストリーム読み出し／デコード制御部１２３のデコード制御部１３６は、ビデオデコーダ２４に、PSバッファ１３から読み出されたMPEG２プログラムストリームに含まれる、デマルチプレクサ１４において分離されたビデオエレメンタリストリームの復号を開始させる。また、時刻t3において、BGMデータ読み出し／デコード制御部１２１のデコード制御部１３２は、セレクタ１９に、BGMESバッファ１７に記憶されているBGMエレメンタリストリームを選択させて、BGMエレメンタリストリームをオーディオデコーダ２１に供給させ、オーディオデコーダ２１に、BGMエレメンタリストリームの復号を開始させる。さらに、時刻t3において、サムネイルデータ読み出し／デコード制御部１２２のデコード制御部１３４は、JPEGデコーダ２８に、サムネイルデータバッファ１８に記憶されているサムネイルデータ８１の復号を開始させる。

時刻t3からBGMエレメンタリストリームが復号されるので、BGMESバッファ１７に記憶されているBGMエレメンタリストリームのデータ量が時間の経過と共に減少する。時刻t4において、BGMESバッファ１７に記憶されているBGMエレメンタリストリームのデータ量が閾値Tbgm2未満になると、BGMデータ読み出し／デコード制御部１２１の読み出し制御部１３１は、ドライブ１２に、ディスク１１からのBGMエレメンタリストリームの読み出しを開始させる。BGMESバッファ１７に記憶されているBGMエレメンタリストリームのデータ量が閾値Tbgm1を超えると、BGMデータ読み出し／デコード制御部１２１の読み出し制御部１３１は、ドライブ１２に、ディスク１１からのBGMエレメンタリストリームの読み出しを停止させる。

同様に、時刻t3からサムネイルデータ８１が復号されるので、サムネイルデータバッファ１８に記憶されているサムネイルデータ８１のデータ量が時間の経過と共に減少する。サムネイルデータバッファ１８に記憶されているサムネイルデータ８１のデータ量が閾値Tsum2未満になると、サムネイルデータ読み出し／デコード制御部１２２の読み出し制御部１３３は、ドライブ１２に、ディスク１１からのサムネイルデータバッファ１８の読み出しを開始させる。時刻t5において、サムネイルデータバッファ１８に記憶されているサムネイルデータ８１のデータ量が閾値Tsum1を超えると、サムネイルデータ読み出し／デコード制御部１２２の読み出し制御部１３３は、ドライブ１２に、ディスク１１からのサムネイルデータ８１の読み出しを停止させる。

また、時刻t3から、読み出されたMPEG２プログラムストリームのビデオエレメンタリストリームが復号されるので、PSバッファ１３に記憶されているMPEG２プログラムストリームのデータ量が時間の経過と共に減少する。時刻t6において、PSバッファ１３に記憶されているMPEG２プログラムストリームのデータ量が閾値THps2未満になると、プログラムストリーム読み出し／デコード制御部１２３の読み出し制御部１３５は、ドライブ１２に、ディスク１１からのMPEG２プログラムストリームの読み出しを開始させる。

時刻t7において、BGMESバッファ１７に記憶されているBGMエレメンタリストリームのデータ量が閾値Tbgm2未満になると、プログラムストリーム読み出し／デコード制御部１２３の読み出し制御部１３５は、ドライブ１２に、ディスク１１からのMPEG２プログラムストリームの読み出しを停止させ、BGMデータ読み出し／デコード制御部１２１の読み出し制御部１３１は、ドライブ１２に、ディスク１１からのBGMエレメンタリストリームの読み出しを開始させる。BGMESバッファ１７に記憶されているBGMエレメンタリストリームのデータ量が閾値Tbgm1を超えると、BGMデータ読み出し／デコード制御部１２１の読み出し制御部１３１は、ドライブ１２に、ディスク１１からのBGMエレメンタリストリームの読み出しを停止させる。

また、サムネイルデータバッファ１８に記憶されているサムネイルデータ８１のデータ量が閾値Tsum2未満になると、サムネイルデータ読み出し／デコード制御部１２２の読み出し制御部１３３は、ドライブ１２に、ディスク１１からのサムネイルデータバッファ１８の読み出しを開始させる。時刻t8において、サムネイルデータバッファ１８に記憶されているサムネイルデータ８１のデータ量が閾値Tsum1を超えると、サムネイルデータ読み出し／デコード制御部１２２の読み出し制御部１３３は、ドライブ１２に、ディスク１１からのサムネイルデータ８１の読み出しを停止させる。

時刻t8において、BGMエレメンタリストリームの読み出しおよびサムネイルデータ８１の読み出しが停止したので、プログラムストリーム読み出し／デコード制御部１２３の読み出し制御部１３５は、ドライブ１２に、ディスク１１からのMPEG２プログラムストリームの読み出しを再開させる。PSバッファ１３に記憶されているMPEG２プログラムストリームのデータ量が閾値THps1を超えると、プログラムストリーム読み出し／デコード制御部１２３の読み出し制御部１３５は、ドライブ１２に、ディスク１１からのMPEG２プログラムストリームの読み出しを停止させる。

時刻t9において、BGMESバッファ１７に記憶されているBGMエレメンタリストリームのデータ量が閾値Tbgm2未満になると、BGMデータ読み出し／デコード制御部１２１の読み出し制御部１３１は、ドライブ１２に、ディスク１１からのBGMエレメンタリストリームの読み出しを開始させる。BGMESバッファ１７に記憶されているBGMエレメンタリストリームのデータ量が閾値Tbgm1を超えると、BGMデータ読み出し／デコード制御部１２１の読み出し制御部１３１は、ドライブ１２に、ディスク１１からのBGMエレメンタリストリームの読み出しを停止させる。

サムネイルデータバッファ１８に記憶されているサムネイルデータ８１のデータ量が閾値Tsum2未満になると、サムネイルデータ読み出し／デコード制御部１２２の読み出し制御部１３３は、ドライブ１２に、ディスク１１からのサムネイルデータバッファ１８の読み出しを開始させる。時刻t10において、サムネイルデータバッファ１８に記憶されているサムネイルデータ８１のデータ量が閾値Tsum1を超えると、サムネイルデータ読み出し／デコード制御部１２２の読み出し制御部１３３は、ドライブ１２に、ディスク１１からのサムネイルデータ８１の読み出しを停止させる。

時刻t11において、BGMESバッファ１７に記憶されているBGMエレメンタリストリームのデータ量が閾値Tbgm2未満になると、BGMデータ読み出し／デコード制御部１２１の読み出し制御部１３１は、ドライブ１２に、ディスク１１からのBGMエレメンタリストリームの読み出しを開始させる。サムネイルデータバッファ１８に記憶されているサムネイルデータ８１のデータ量が閾値Tsum2未満になると、サムネイルデータ読み出し／デコード制御部１２２の読み出し制御部１３３は、ドライブ１２に、ディスク１１からのサムネイルデータバッファ１８の読み出しを開始させる。

次に、図１０のフローチャートを参照して、BGMデータ読み出し／デコード制御部１２１によるBGMエレメンタリストリームの読み出しの処理を説明する。ステップＳ１１において、読み出し制御部１３１は、ドライブ１２に、ディスク１１からのBGMエレメンタリストリームの読み出しを開始させる。

ステップＳ１２において、BGMデータ読み出し／デコード制御部１２１の読み出し制御部１３１は、BGMESバッファ１７に記憶されているBGMエレメンタリストリームのデータ量をBGMESバッファ１７から取得して、BGMESバッファ１７に記憶されているBGMエレメンタリストリームのデータ量が閾値Tbgm1を超えたか否かを判定する。ステップＳ１２において、BGMESバッファ１７に記憶されているBGMエレメンタリストリームのデータ量が閾値Tbgm1を超えていないと判定された場合、処理は、ステップＳ１２に戻り、BGMエレメンタリストリームのデータ量が閾値Tbgm1を超えるまで判定の処理が繰り返される。

ステップＳ１２において、BGMESバッファ１７に記憶されているBGMエレメンタリストリームのデータ量が閾値Tbgm1を超えたと判定された場合、ステップＳ１３に進み、読み出し制御部１３１は、ドライブ１２に、ディスク１１からのBGMエレメンタリストリームの読み出しを停止させる。

ステップＳ１４において、読み出し制御部１３１は、プログラムストリーム読み出し／デコード制御部１２３から、ビデオデコーダ２４の状態を取得して、取得したビデオデコーダ２４の状態を基に、MPEG２プログラムストリームに含まれる、デマルチプレクサ１４において分離されたビデオエレメンタリストリームの復号が開始されたか否かを判定する。ビデオエレメンタリストリームの復号が開始されていないと判定された場合、ビデオエレメンタリストリームの復号が開始されるまで、ステップＳ１４における判定の処理が繰り返される。

ステップＳ１４において、ビデオエレメンタリストリームの復号が開始されたと判定された場合、ステップＳ１５に進み、BGMデータ読み出し／デコード制御部１２１のデコード制御部１３２は、セレクタ１９に、BGMESバッファ１７に記憶されているBGMエレメンタリストリームを選択させて、BGMエレメンタリストリームをオーディオデコーダ２１に供給させ、オーディオデコーダ２１に、BGMエレメンタリストリームの復号を開始させる。

ステップＳ１６において、読み出し制御部１３１は、BGMESバッファ１７に記憶されているBGMエレメンタリストリームのデータ量をBGMESバッファ１７から取得して、BGMESバッファ１７に記憶されているBGMエレメンタリストリームのデータ量が閾値Tbgm2未満になったか否かを判定する。ステップＳ１６において、BGMESバッファ１７に記憶されているBGMエレメンタリストリームのデータ量が閾値Tbgm2未満になっていないと判定された場合、処理は、ステップＳ１６に戻り、BGMエレメンタリストリームのデータ量が閾値Tbgm2未満になるまで判定の処理が繰り返される。

ステップＳ１６において、BGMESバッファ１７に記憶されているBGMエレメンタリストリームのデータ量が閾値Tbgm2未満になったと判定された場合、ステップＳ１７に進み、読み出し制御部１３１は、ドライブ１２に、ディスク１１からのBGMエレメンタリストリームの読み出しを再開させる。

ステップＳ１８において、読み出し制御部１３１は、BGMESバッファ１７に記憶されているBGMエレメンタリストリームのデータ量をBGMESバッファ１７から取得して、BGMESバッファ１７に記憶されているBGMエレメンタリストリームのデータ量が閾値Tbgm1を超えたか否かを判定する。ステップＳ１８において、BGMESバッファ１７に記憶されているBGMエレメンタリストリームのデータ量が閾値Tbgm1を超えていないと判定された場合、処理は、ステップＳ１８に戻り、BGMエレメンタリストリームのデータ量が閾値Tbgm1を超えるまで判定の処理が繰り返される。

ステップＳ１８において、BGMESバッファ１７に記憶されているBGMエレメンタリストリームのデータ量が閾値Tbgm1を超えたと判定された場合、ステップＳ１９に進み、読み出し制御部１３１は、ドライブ１２に、ディスク１１からのBGMエレメンタリストリームの読み出しを停止させる。その後、手続きは、ステップＳ１６に戻り、上述した処理を繰り返す。

BGMエレメンタリストリームの読み出しの処理は、図示せぬ入力部から、ユーザの操作に応じた表示の停止の信号が制御部２０に供給された場合、または、再生計画の最後まで再生が行われた場合、終了する。

このように、BGMデータ読み出し／デコード制御部１２１は、BGMESバッファ１７に記憶されているBGMエレメンタリストリームのデータ量、閾値Tbgm1、および閾値Tbgm2を基に、BGMエレメンタリストリームの読み出しを制御する。

これにより、BGMESバッファ１７に記憶されるBGMエレメンタリストリームのデータ量は、おおむね、閾値Tbgm1および閾値Tbgm2の間の値となる。

次に、図１１のフローチャートを参照して、サムネイルデータ読み出し／デコード制御部１２２によるサムネイルデータ８１の読み出しの処理を説明する。ステップＳ３１において、サムネイルデータ読み出し／デコード制御部１２２の読み出し制御部１３３は、BGMデータ読み出し／デコード制御部１２１からの情報を基に、BGMESバッファ１７に記憶されているBGMエレメンタリストリームのデータ量が閾値Tbgm1を超えて、ディスク１１からのBGMエレメンタリストリームの読み出しを停止しているか否かを判定する。ステップＳ３１において、BGMESバッファ１７に記憶されているBGMエレメンタリストリームのデータ量が閾値Tbgm1を超えて、ディスク１１からのBGMエレメンタリストリームの読み出しを停止していないと判定された場合、ステップＳ３１の判定の処理が繰り返される。

ステップＳ３１において、BGMESバッファ１７に記憶されているBGMエレメンタリストリームのデータ量が閾値Tbgm1を超えて、ディスク１１からのBGMエレメンタリストリームの読み出しを停止していると判定された場合、ステップＳ３２において、読み出し制御部１３３は、ドライブ１２に、ディスク１１からのサムネイルデータの読み出しを開始させる。

ステップＳ３３において、読み出し制御部１３３は、サムネイルデータバッファ１８に記憶されているサムネイルデータのデータ量をサムネイルデータバッファ１８から取得して、サムネイルデータバッファ１８に記憶されているサムネイルデータのデータ量が閾値Tsum1を超えたか否かを判定する。ステップＳ３３において、サムネイルデータバッファ１８に記憶されているサムネイルデータのデータ量が閾値Tsum1を超えていないと判定された場合、手続きは、ステップＳ３３に戻り、サムネイルデータのデータ量が閾値Tsum1を超えるまで判定の処理が繰り返される。

ステップＳ３３において、サムネイルデータバッファ１８に記憶されているサムネイルデータのデータ量が閾値Tsum1を超えたと判定された場合、ステップＳ３４に進み、読み出し制御部１３３は、ドライブ１２に、ディスク１１からのサムネイルデータの読み出しを停止させる。

ステップＳ３５において、読み出し制御部１３３は、プログラムストリーム読み出し／デコード制御部１２３から、ビデオデコーダ２４の状態を取得して、取得したビデオデコーダ２４の状態を基に、MPEG２プログラムストリームに含まれる、デマルチプレクサ１４において分離されたビデオエレメンタリストリームの復号が開始されたか否かを判定する。ビデオエレメンタリストリームの復号が開始されていないと判定された場合、ビデオエレメンタリストリームの復号が開始されるまで、ステップＳ３５における判定の処理が繰り返される。

ステップＳ３５において、ビデオエレメンタリストリームの復号が開始されたと判定された場合、ステップＳ３６に進み、サムネイルデータ読み出し／デコード制御部１２２のデコード制御部１３２は、JPEGデコーダ２８に、サムネイルデータの復号を開始させる。

ステップＳ３７において、読み出し制御部１３３は、サムネイルデータバッファ１８に記憶されているサムネイルデータのデータ量をサムネイルデータバッファ１８から取得して、サムネイルデータバッファ１８に記憶されているサムネイルデータのデータ量が閾値Tsum2未満になったか否かを判定し、サムネイルデータバッファ１８に記憶されているサムネイルデータのデータ量が閾値Tsum2未満になっていないと判定された場合、ステップＳ３７に戻り、サムネイルデータのデータ量が閾値Tsum2未満になるまで判定の処理を繰り返す。

ステップＳ３７において、サムネイルデータバッファ１８に記憶されているサムネイルデータのデータ量が閾値Tsum2未満になったと判定された場合、ステップＳ３８に進み、読み出し制御部１３３は、BGMデータ読み出し／デコード制御部１２１からの情報を基に、ドライブ１２によって、ディスク１１からBGMエレメンタリストリームが読み出しされているか否かを判定する。ステップＳ３８において、BGMエレメンタリストリームが読み出しされていないと判定された場合、ステップＳ３９に進み、読み出し制御部１３３は、ドライブ１２に、ディスク１１からのサムネイルデータの読み出しを再開させる。

ステップＳ３８において、BGMエレメンタリストリームが読み出しされていると判定された場合、ステップＳ３９の処理はスキップされて、手続きは、ステップＳ４０に進む。ステップＳ４０において、読み出し制御部１３３は、BGMデータ読み出し／デコード制御部１２１からの情報を基に、読み出し制御部１３１から、BGMエレメンタリストリームの読み出しの開始が要求されたか否かを判定する。ステップＳ４０において、BGMエレメンタリストリームの読み出しの開始が要求されたと判定された場合、ステップＳ４１において、読み出し制御部１３３は、ドライブ１２に、ディスク１１からのサムネイルデータの読み出しを停止させる。

ステップＳ４０において、BGMエレメンタリストリームの読み出しの開始が要求されていないと判定された場合、ステップＳ４１の処理はスキップされて、手続きは、ステップＳ４２に進む。

ステップＳ４２において、読み出し制御部１３３は、サムネイルデータバッファ１８に記憶されているサムネイルデータのデータ量をサムネイルデータバッファ１８から取得して、サムネイルデータバッファ１８に記憶されているサムネイルデータのデータ量が閾値Tsum1を超えたか否かを判定する。ステップＳ４２において、サムネイルデータバッファ１８に記憶されているサムネイルデータのデータ量が閾値Tsum1を超えていないと判定された場合、手続きは、ステップＳ３８に戻り、サムネイルデータのデータ量が閾値Tsum1を超えるまで上述した処理が繰り返される。

ステップＳ４２において、サムネイルデータバッファ１８に記憶されているサムネイルデータのデータ量が閾値Tsum1を超えたと判定された場合、ステップＳ４３に進み、読み出し制御部１３３は、ドライブ１２に、ディスク１１からのサムネイルデータの読み出しを停止させる。その後、手続きは、ステップＳ３７に戻り、上述した処理を繰り返す。

サムネイルデータの読み出しの処理は、図示せぬ入力部から、ユーザの操作に応じた表示の停止の信号が制御部２０に供給された場合、または、再生計画の最後まで再生が行われた場合、終了する。

このように、サムネイルデータ読み出し／デコード制御部１２２は、サムネイルデータバッファ１８に記憶されているサムネイルデータのデータ量、閾値Tsum1、および閾値Tsum2、並びにBGMエレメンタリストリームの読み出しの状態を基に、サムネイルデータの読み出しを制御する。

これにより、サムネイルデータバッファ１８に記憶されるサムネイルデータのデータ量は、おおむね、閾値Tsum1および閾値Tsum2の間の値となる。

また、BGMエレメンタリストリームが読み出されている場合、サムネイルデータの読み出しが再開されず、BGMエレメンタリストリームの読み出しが要求された場合、サムネイルデータの読み出しが停止されるので、サムネイルデータの読み出しよりBGMエレメンタリストリームの読み出しが優先して実行される。これにより、BGMの出力が保証される。

なお、サムネイルデータの読み出しを優先するようにしてもよい。

次に、図１２のフローチャートを参照して、プログラムストリーム読み出し／デコード制御部１２３によるMPEG２プログラムストリームの読み出しの処理を説明する。ステップＳ６１において、プログラムストリーム読み出し／デコード制御部１２３の読み出し制御部１３５は、サムネイルデータ読み出し／デコード制御部１２２からの情報を基に、サムネイルデータバッファ１８に記憶されているサムネイルデータ８１のデータ量が閾値Tsum1を超えて、ディスク１１からのサムネイルデータ８１の読み出しを停止しているか否かを判定する。ステップＳ６１において、サムネイルデータバッファ１８に記憶されているサムネイルデータ８１のデータ量が閾値Tsum1を超えて、ディスク１１からのサムネイルデータ８１の読み出しを停止していないと判定された場合、ステップＳ６１の判定の処理が繰り返される。

ステップＳ６１において、サムネイルデータバッファ１８に記憶されているサムネイルデータ８１のデータ量が閾値Tsum1を超えて、ディスク１１からのサムネイルデータ８１の読み出しを停止していると判定された場合、手続きは、ステップＳ６２に進む。

ステップＳ６２において、読み出し制御部１３５は、BGMデータ読み出し／デコード制御部１２１からの情報を基に、BGMESバッファ１７に記憶されているBGMエレメンタリストリームのデータ量が閾値Tbgm1を超えて、ディスク１１からのBGMエレメンタリストリームの読み出しを停止しているか否かを判定する。ステップＳ６２において、BGMESバッファ１７に記憶されているBGMエレメンタリストリームのデータ量が閾値Tbgm1を超えて、ディスク１１からのBGMエレメンタリストリームの読み出しを停止していないと判定された場合、ステップＳ６２の判定の処理が繰り返される。

ステップＳ６２において、BGMESバッファ１７に記憶されているBGMエレメンタリストリームのデータ量が閾値Tbgm1を超えて、ディスク１１からのBGMエレメンタリストリームの読み出しを停止していると判定された場合、ステップＳ６３において、読み出し制御部１３５は、ドライブ１２に、ディスク１１からのMPEG2プログラムストリームの読み出しを開始させる。

ステップＳ６４において、読み出し制御部１３５は、PSバッファ１３に記憶されているMPEG2プログラムストリームのデータ量をPSバッファ１３から取得して、PSバッファ１３に記憶されているMPEG2プログラムストリームのデータ量が閾値THps1を超えたか否かを判定する。ステップＳ６４において、PSバッファ１３に記憶されているMPEG2プログラムストリームのデータ量が閾値THps1を超えていないと判定された場合、手続きは、ステップＳ６４に戻り、MPEG2プログラムストリームのデータ量が閾値THps1を超えるまで判定の処理が繰り返される。

ステップＳ６４において、PSバッファ１３に記憶されているMPEG2プログラムストリームのデータ量が閾値THps1を超えたと判定された場合、ステップＳ６５に進み、読み出し制御部１３５は、ドライブ１２に、ディスク１１からのMPEG2プログラムストリームの読み出しを停止させる。

ステップＳ６６において、プログラムストリーム読み出し／デコード制御部１２３のデコード制御部１３６は、ビデオデコーダ２４に、PSバッファ１３から読み出されたMPEG２プログラムストリームに含まれる、デマルチプレクサ１４において分離されたビデオエレメンタリストリームの復号を開始させる。

ステップＳ６７において、読み出し制御部１３５は、PSバッファ１３に記憶されているMPEG2プログラムストリームのデータ量をPSバッファ１３から取得して、PSバッファ１３に記憶されているMPEG2プログラムストリームのデータ量が閾値THps2未満になったか否かを判定する。ステップＳ６７において、PSバッファ１３に記憶されているMPEG2プログラムストリームのデータ量が閾値THps2未満になっていないと判定された場合、手続きは、ステップＳ６７に戻り、MPEG2プログラムストリームのデータ量が閾値THps2未満になるまで判定の処理が繰り返される。

ステップＳ６７において、PSバッファ１３に記憶されているMPEG2プログラムストリームのデータ量が閾値THps2未満になったと判定された場合、ステップＳ６８に進み、読み出し制御部１３５は、BGMデータ読み出し／デコード制御部１２１からの情報およびサムネイルデータ読み出し／デコード制御部１２２からの情報を基に、ドライブ１２によって、ディスク１１からBGMエレメンタリストリームが読み出しされているか、または、サムネイルデータ８１が読み出しされているか否かを判定する。ステップＳ６８において、ドライブ１２によって、ディスク１１からBGMエレメンタリストリームが読み出しされてなく、かつ、サムネイルデータ８１が読み出しされていないと判定された場合、ステップＳ６９に進み、読み出し制御部１３５は、ドライブ１２に、ディスク１１からのMPEG2プログラムストリームの読み出しを再開させる。

ステップＳ６８において、ディスク１１からBGMエレメンタリストリームが読み出しされているか、または、サムネイルデータ８１が読み出しされていると判定された場合、ステップＳ６９の処理はスキップされて、手続きは、ステップＳ７０に進む。ステップＳ７０において、読み出し制御部１３５は、BGMデータ読み出し／デコード制御部１２１からの情報およびサムネイルデータ読み出し／デコード制御部１２２からの情報を基に、読み出し制御部１３１からBGMエレメンタリストリームの読み出しの開始または読み出し制御部１３３からサムネイルデータ８１の読み出しの開始が要求されたか否かを判定する。ステップＳ７０において、BGMエレメンタリストリームの読み出しの開始またはサムネイルデータ８１の読み出しの開始が要求されたと判定された場合、ステップＳ７１において、読み出し制御部１３５は、ドライブ１２に、ディスク１１からのMPEG2プログラムストリームの読み出しを停止させる。

ステップＳ７０において、BGMエレメンタリストリームの読み出しの開始が要求されてなく、かつサムネイルデータ８１の読み出しの開始が要求されていないと判定された場合、ステップＳ７１の処理はスキップされて、手続きは、ステップＳ７２に進む。

ステップＳ７２において、読み出し制御部１３５は、PSバッファ１３に記憶されているMPEG2プログラムストリームのデータ量をPSバッファ１３から取得して、PSバッファ１３に記憶されているMPEG2プログラムストリームのデータ量が閾値THps1を超えたか否かを判定する。ステップＳ７２において、PSバッファ１３に記憶されているMPEG2プログラムストリームのデータ量が閾値THps1を超えていないと判定された場合、ステップＳ６８に戻り、MPEG2プログラムストリームのデータ量が閾値THps1を超えるまで上述した処理を繰り返す。

ステップＳ７２において、PSバッファ１３に記憶されているMPEG2プログラムストリームのデータ量が閾値THps1を超えたと判定された場合、ステップＳ７３に進み、読み出し制御部１３５は、ドライブ１２に、ディスク１１からのMPEG2プログラムストリームの読み出しを停止させる。その後、手続きは、ステップＳ６７に戻り、上述した処理を繰り返す。

MPEG2プログラムストリームの読み出しの処理は、図示せぬ入力部から、ユーザの操作に応じた表示の停止の信号が制御部２０に供給された場合、または、再生計画の最後まで再生が行われた場合、終了する。

このように、プログラムストリーム読み出し／デコード制御部１２３は、PSバッファ１３に記憶されているMPEG2プログラムストリームのデータ量、閾値THps1、および閾値THps2、並びにBGMエレメンタリストリームの読み出しの状態およびサムネイルデータの読み出しの状態を基に、MPEG2プログラムストリームの読み出しを制御する。

これにより、PSバッファ１３に記憶されるMPEG2プログラムストリームのデータ量は、おおむね、閾値THps1および閾値THps2の間の値となる。

また、BGMエレメンタリストリームが読み出されている場合またはサムネイルデータが読み出されている場合、MPEG2プログラムストリームの読み出しが再開されず、BGMエレメンタリストリームの読み出しが要求された場合またはサムネイルデータの読み出しが要求された場合、MPEG2プログラムストリームの読み出しが停止されるので、MPEG2プログラムストリームの読み出しよりBGMエレメンタリストリームの読み出しおよびサムネイルデータの読み出しが優先して実行される。これにより、サムネイルデータによる画像をより確実に表示することができるようになる。

なお、MPEG2プログラムストリームの読み出しを優先するようにしてもよい。

次に、MPEG2プログラムストリームを正常に読み出しできない場合の処理について説明する。

図１３は、MPEG2プログラムストリームを正常に読み出しできない場合の、従来のバッファに記憶されているMPEG２プログラムストリームのデータ量の変化を説明する図である。図１３の上側は、バッファに記憶されているMPEG２プログラムストリームのデータ量を示し、図１３の下側は、バッファに記憶されているサムネイルデータのデータ量およびバッファに記憶されているBGMエレメンタリストリームのデータ量を示す。図１３において、実線は、バッファに記憶されているMPEG２プログラムストリームのデータ量を示し、１点鎖線は、バッファに記憶されているBGMエレメンタリストリームのデータ量を示し、２点鎖線は、バッファに記憶されているサムネイルデータのデータ量を示す。

例えば、バッファに記憶されているMPEG２プログラムストリームのデータ量が閾値THps2未満になると、MPEG２プログラムストリームの読み出しが開始されるが、何らかの原因でMPEG２プログラムストリームを読み出しできない場合、図１３で示されるように、バッファに記憶されているMPEG２プログラムストリームのデータ量が減少し、最終的には、バッファに記憶されているMPEG２プログラムストリームのデータ量が０となってしまう。

例えば、時刻t21において、MPEG２プログラムストリームの読み出しが開始されるが、時刻t22において、MPEG２プログラムストリームの読み出しができなくなり、時刻t23において、MPEG２プログラムストリームの読み出しが開始されるが、時刻t24において、MPEG２プログラムストリームの読み出しができなくなり、また、時刻t25において、MPEG２プログラムストリームの読み出しが開始されるが、時刻t26において、MPEG２プログラムストリームの読み出しができなくなり、時刻t27において、MPEG２プログラムストリームの読み出しが開始されるが、時刻t28において、MPEG２プログラムストリームの読み出しができなくなると、最終的に、時刻t29において、バッファに記憶されているMPEG２プログラムストリームのデータ量が０となってしまう。

図１４および図１５は、本発明における、MPEG2プログラムストリームを正常に読み出しできない場合の、PSバッファ１３に記憶されているMPEG２プログラムストリームのデータ量の変化を説明する図である。図１４および図１５の上側は、PSバッファ１３に記憶されているMPEG２プログラムストリームのデータ量を示し、図１４および図１５の下側は、サムネイルデータバッファ１８に記憶されているサムネイルデータ８１のデータ量およびBGMESバッファ１７に記憶されているBGMエレメンタリストリームのデータ量を示す。図１４および図１５において、実線は、PSバッファ１３に記憶されているMPEG２プログラムストリームのデータ量を示し、１点鎖線は、BGMESバッファ１７に記憶されているBGMエレメンタリストリームのデータ量を示し、２点鎖線は、サムネイルデータバッファ１８に記憶されているサムネイルデータ８１のデータ量を示す。

図１４で示されるように、例えば、時刻t41において、MPEG２プログラムストリームの読み出しができなくなり、時刻t42において、バッファに記憶されているMPEG２プログラムストリームのデータ量が閾値THps3未満となった場合、プログラムストリーム読み出し／デコード制御部１２３は、PSバッファ１３に、記憶しているMPEG２プログラムストリームを破棄させる。例えば、プログラムストリーム読み出し／デコード制御部１２３は、PSバッファ１３からの読み出し位置を示す読み出しポインタをリセットすることにより、PSバッファ１３に、記憶しているMPEG２プログラムストリームを破棄させる。

なお、閾値THps3は、閾値THps2に比較して、小さい値である。例えば、閾値THps3は、予め定めた時間の動画像を表示できると予測される最低限のMPEG２プログラムストリームのデータ量を示す。

そして、プログラムストリーム読み出し／デコード制御部１２３は、MPEG２プログラムストリームのビデオエレメンタリストリームによる動画像の表示を再開する、動画像上の時刻（例えば、後述する時刻t48）を算出する。

例えば、プログラムストリーム読み出し／デコード制御部１２３は、時刻t41の直前に読み出されたMPEG２プログラムストリームのビデオエレメンタリストリームにより表示される動画像の時刻と、PSバッファ１３の容量、MPEG２プログラムストリームの読み出し速度、およびビデオデコーダ２４におけるデコードの遅延時間から、MPEG２プログラムストリームのビデオエレメンタリストリームによる動画像の表示が再開可能な動画像上の時刻を算出する。

より具体的には、例えば、プログラムストリーム読み出し／デコード制御部１２３は、PSバッファ１３の容量およびMPEG２プログラムストリームの読み出し速度から、MPEG２プログラムストリームを読み出してPSバッファ１３にMPEG２プログラムストリームを満たすために必要な時間を算出する。そして、プログラムストリーム読み出し／デコード制御部１２３は、時刻t41の直前に読み出されたMPEG２プログラムストリームのビデオエレメンタリストリームにより表示される動画像の時刻に、PSバッファ１３にMPEG２プログラムストリームを満たすために必要な時間およびビデオデコーダ２４におけるデコードの遅延時間を加算することにより、MPEG２プログラムストリームのビデオエレメンタリストリームによる動画像の表示を再開する、動画像上の時刻を算出する。

なお、この場合、さらに若干の余裕を加算して、動画像上の時刻を算出することが望ましい。

例えば、図７に示されるように、プログラムストリーム読み出し／デコード制御部１２３は、最後に読み出されたMPEG２プログラムストリームのGOPに終了マーカを付する。プログラムストリーム読み出し／デコード制御部１２３は、終了マーカを付したGOPによる表示される動画像の時刻に、PSバッファ１３の容量、MPEG２プログラムストリームの読み出し速度、およびビデオデコーダ２４におけるデコードの遅延時間から算出される時間を加算することにより、動画像の表示を再開する、動画像上の時刻を算出し、その時刻の動画像を表示するためのMPEG２プログラムストリームのGOPにジャンプ先のマーカを付する。

時刻t43において、プログラムストリーム読み出し／デコード制御部１２３は、ドライブ１２に、ディスク１１からの、算出した動画像上の時刻における動画像を表示するためのMPEG２プログラムストリームから読み出しを再開させる。上述したように、時刻t41の直前に読み出されたMPEG２プログラムストリームのビデオエレメンタリストリームにより表示される動画像の時刻と、PSバッファ１３の容量、MPEG２プログラムストリームの読み出し速度、およびビデオデコーダ２４におけるデコードの遅延時間を考慮して、動画像の表示を再開する、動画像上の時刻が算出され、その時刻の動画像を表示するためのMPEG２プログラムストリームから読み出されるので、時刻t43において読み出しが再開されるMPEG２プログラムストリームは、時刻t42において破棄されたPEG２プログラムストリームの次のデータではない。図の２重線で示されるように、時刻t41の直前に読み出されたMPEG２プログラムストリームのビデオエレメンタリストリームにより表示される動画像の時刻から、時刻t43において読み出しが再開されるMPEG２プログラムストリームのビデオエレメンタリストリームにより表示される動画像の時刻まで、例えば、終了マーカからジャンプ先のマーカまで、再生計画が飛ばされる（スキップされる）ことになる。

時刻t44において、PSバッファ１３に記憶されているMPEG２プログラムストリームのデータ量が閾値THps1を超えると、プログラムストリーム読み出し／デコード制御部１２３は、ドライブ１２に、ディスク１１からのMPEG２プログラムストリームの読み出しを停止させる。時刻t44乃至時刻t45において、プログラムストリーム読み出し／デコード制御部１２３は、ビデオデコーダ２４に、PSバッファ１３から読み出されたMPEG２プログラムストリームに含まれる、デマルチプレクサ１４において分離されたビデオエレメンタリストリームを復号させて、復号により得られた画像データでベースバンドフレームメモリ２５を一杯にする。

時刻t45において、プログラムストリーム読み出し／デコード制御部１２３は、ドライブ１２に、ディスク１１からのMPEG２プログラムストリームの読み出しを開始させる。時刻t46において、PSバッファ１３に記憶されているMPEG２プログラムストリームのデータ量が閾値THps1を超えると、プログラムストリーム読み出し／デコード制御部１２３は、ドライブ１２に、ディスク１１からのMPEG２プログラムストリームの読み出しを停止させる。

時刻t47において、プログラムストリーム読み出し／デコード制御部１２３は、ビデオデコーダ２４に、PSバッファ１３から読み出されたMPEG２プログラムストリームに含まれる、デマルチプレクサ１４において分離されたビデオエレメンタリストリームの復号を開始させる。時刻t48において、ベースバンドフレームメモリ２５から画像データの出力が開始されて、MPEG２プログラムストリームのビデオエレメンタリストリームによる動画像の表示が再開される。

このように、時刻t43において、読み出されたMPEG２プログラムストリームに含まれるビデオエレメンタリストリームによって、時刻t48における動画像が表示される。

この処理によって時刻t48において表示される動画像は、MPEG２プログラムストリームの読み出しと復号とが中断していないと仮定した場合における、時刻t48において表示される動画像と一致する。

時刻t42乃至時刻t48の期間において、サムネイルデータ８１を基に画像が表示される。

すなわち、時刻t42において、MPEG２プログラムストリームに含まれるビデオエレメンタリストリームによって表示される動画像から、サムネイルデータ８１によって表示される画像に表示が切り替わり、時刻t48において、サムネイルデータ８１によって表示される画像から、MPEG２プログラムストリームに含まれるビデオエレメンタリストリームによって表示される動画像に切り替わる。

図１４の下側に示されるように、MPEG２プログラムストリームの処理とは無関係に、サムネイルデータ８１の読み出しおよび復号、並びにBGMエレメンタリストリームの読み出しおよび復号は継続される。これにより、MPEG２プログラムストリームの復号が中断しても、MPEG２プログラムストリームによって表示される動画像とサムネイルデータ８１により表示される画像との同期は維持される。

従って、MPEG２プログラムストリームによって表示される動画像と、これに同期している、サムネイルデータ８１により表示される画像とが切り替わるように表示されるので、ユーザは違和感を知覚しにくくなる。

ここで、時刻t42から、時刻t42において、算出するMPEG２プログラムストリームのビデオエレメンタリストリームによる動画像の表示を再開する動画像上の時刻までの期間が短いと、MPEG２プログラムストリームによって表示される動画像とサムネイルデータ８１により表示される画像との同期が維持できなくなる（例えば、サムネイルデータ８１により一度表示されてしまった画像に対応する動画像が再度表示されてしまい、画像が逆転しているように見える）ので、表示を再開するのに最低限必要な期間に比較して、時刻t42から、表示を再開する動画像上の時刻までの期間を十分にとる必要がある。

なお、サムネイルデータ８１にアンダーフローが生じた場合、ホールド画像データメモリ３４に記憶されている画像データ（セレクタ３２から出力された最新の画像データ）によって、画像が表示される。

また、図１５に示されるように、MPEG２プログラムストリームのビデオエレメンタリストリームによる動画像の表示の再開が失敗した場合であっても、再度、上述した処理が繰り返される。

すなわち、時刻t61において、MPEG２プログラムストリームの読み出しができなくなり、時刻t62において、バッファに記憶されているMPEG２プログラムストリームのデータ量が閾値THps3未満となった場合、プログラムストリーム読み出し／デコード制御部１２３は、PSバッファ１３に、記憶しているMPEG２プログラムストリームを破棄させる。そして、プログラムストリーム読み出し／デコード制御部１２３は、MPEG２プログラムストリームのビデオエレメンタリストリームによる動画像の表示を再開する、動画像上の時刻を算出する。

時刻t63において、プログラムストリーム読み出し／デコード制御部１２３は、ドライブ１２に、ディスク１１からの、算出した動画像上の時刻における動画像を表示するためのMPEG２プログラムストリームから読み出しを再開させる。時刻t64において、MPEG２プログラムストリームの読み出しができなくなり、時刻t65から、PSバッファ１３に記憶されているMPEG２プログラムストリームのデータ量が減少して、時刻t66において、バッファに記憶されているMPEG２プログラムストリームのデータ量が閾値THps3未満となった場合、プログラムストリーム読み出し／デコード制御部１２３は、PSバッファ１３に、再度、記憶しているMPEG２プログラムストリームを破棄させる。また、プログラムストリーム読み出し／デコード制御部１２３は、MPEG２プログラムストリームのビデオエレメンタリストリームによる動画像の表示を再開する、動画像上の時刻を算出する。

時刻t62以降、サムネイルデータ８１により画像が表示されるので、画像の表示が途切れることがなく、長期にわたってMPEG２プログラムストリームを読み出しできない場合であっても、ホールドした画像やブルーバックのウエイト画像に比較して、より違和感の少ない画像を表示することができる。

次に、図１６のフローチャートを参照して、正常に読み出しできない場合のMPEG２プログラムストリームの読み出しの処理を説明する。ステップＳ１０１において、プログラムストリーム読み出し／デコード制御部１２３の判定部１３７は、PSバッファ１３に記憶されているMPEG２プログラムストリームのデータ量をPSバッファ１３から取得して、PSバッファ１３に記憶されているMPEG２プログラムストリームのデータ量が閾値THps3未満になったか否かを判定する。PSバッファ１３に記憶されているMPEG２プログラムストリームのデータ量が閾値THps3未満でないと判定された場合、手続きは、ステップＳ１０１に戻り、判定の処理を繰り返す。

ステップＳ１０１において、PSバッファ１３に記憶されているMPEG２プログラムストリームのデータ量が閾値THps3未満になったと判定された場合、ステップＳ１０２に進み、判定部１３７は、再生計画に示される最後のGOPまでMPEG２プログラムストリームが読み出されたか否かを判定する。最後までMPEG２プログラムストリームが読み出されたと判定された場合、PSバッファ１３に記憶されているMPEG２プログラムストリームのデータ量が閾値THps3未満であっても、読み出しの処理に異常が生じていないので、手続きは、ステップＳ１０１に戻り、判定の処理を繰り返す。

ステップＳ１０２において、最後までMPEG２プログラムストリームが読み出されていないと判定された場合、読み出しの処理に異常が生じたので、ステップＳ１０３に進み、デコード制御部１３６は、ビデオデコーダ２４に、PSバッファ１３から読み出されたMPEG２プログラムストリームに含まれる、デマルチプレクサ１４において分離されたビデオエレメンタリストリームの復号を停止させる。

ステップＳ１０４において、読み出し制御部１３５は、PSバッファ１３に、PSバッファ１３に記憶されているMPEG２プログラムストリームを破棄させる。ステップＳ１０５において、表示再開時刻算出部１３８は、最後に復号されたビデオエレメンタリストリームにより表示される画像の時刻、PSバッファ１３の記憶容量、MPEG２プログラムストリームの読み出し速度、および復号の遅延時間から、MPEG２プログラムストリームのビデオエレメンタリストリームによる動画像の表示を再開する、動画像上の時刻を算出する。例えば、表示再開時刻算出部１３８は、最後に復号されたビデオエレメンタリストリームにより表示される画像の時刻、Bmaxまたは閾値THps1などのPSバッファ１３の記憶容量、ドライブ１２によるディスク１１からのMPEG２プログラムストリームの読み出し速度、およびビデオデコーダ２４における１つのGOPの復号を開始してから復号を終了するまでの復号の遅延時間から、MPEG２プログラムストリームのビデオエレメンタリストリームによる動画像の表示を再開する、動画像上の時刻を算出する。

ステップＳ１０６において、読み出し制御部１３５は、ドライブ１２に、算出した動画像上の時刻における動画像を表示するためのMPEG２プログラムストリームから、ディスク１１からのMPEG２プログラムストリームの読み出しを再開させる。

ステップＳ１０７において、判定部１３７は、PSバッファ１３に記憶されているMPEG２プログラムストリームのデータ量をPSバッファ１３から取得して、PSバッファ１３に記憶されているMPEG２プログラムストリームのデータ量が閾値THps1を超えたか否かを判定する。ステップＳ１０７において、PSバッファ１３に記憶されているMPEG２プログラムストリームのデータ量が閾値THps1を超えていないと判定された場合、ステップＳ１０７の判定の処理が繰り返される。

ステップＳ１０７において、PSバッファ１３に記憶されているMPEG２プログラムストリームのデータ量が閾値THps1を超えたと判定された場合、ステップＳ１０８に進み、読み出し制御部１３５は、ドライブ１２に、ディスク１１からのMPEG２プログラムストリームの読み出しを停止させる。

ステップＳ１０９において、デコード制御部１３６は、ベースバンドフレームメモリ２６が一杯になるまで、ビデオデコーダ２４に、PSバッファ１３から読み出されたMPEG２プログラムストリームに含まれる、デマルチプレクサ１４において分離されたビデオエレメンタリストリームを復号させる。すなわち、デコード制御部１３６は、一杯になるまでベースバンドフレームメモリ２６に復号により得られた画像データを貯めさせる。

ステップＳ１１０において、読み出し制御部１３５は、ドライブ１２に、ディスク１１からのMPEG２プログラムストリームの読み出しを再開させる。ステップＳ１１１において、判定部１３７は、PSバッファ１３に記憶されているMPEG２プログラムストリームのデータ量をPSバッファ１３から取得して、PSバッファ１３に記憶されているMPEG２プログラムストリームのデータ量が閾値THps1を超えたか否かを判定する。ステップＳ１１１において、PSバッファ１３に記憶されているMPEG２プログラムストリームのデータ量が閾値THps1を超えていないと判定された場合、ステップＳ１１１の判定の処理が繰り返される。

ステップＳ１１１において、PSバッファ１３に記憶されているMPEG２プログラムストリームのデータ量が閾値THps1を超えたと判定された場合、ステップＳ１１２に進み、読み出し制御部１３５は、ドライブ１２に、ディスク１１からのMPEG２プログラムストリームの読み出しを停止させる。

ステップＳ１１３において、デコード開始時刻算出部１３９は、表示を再開する時刻から復号の遅延時間を引き算して、復号開始時刻を算出する。ステップＳ１１４において、判定部１３７は、復号開始時刻になったか否かを判定する。ステップＳ１１４において、復号開始時刻になっていないと判定された場合、手続きは、ステップＳ１１４に戻り、判定の処理が繰り返される。

ステップＳ１１４において、復号開始時刻になったと判定された場合、ステップＳ１１５において、デコード制御部１３６は、ビデオデコーダ２４に、PSバッファ１３から読み出されたMPEG２プログラムストリームに含まれる、デマルチプレクサ１４において分離されたビデオエレメンタリストリームの復号を開始させる。

これにより、さらに復号の遅延時間が経過した後、ベースバンドフレームメモリ２５から画像データの出力が開始されて、MPEG２プログラムストリームのビデオエレメンタリストリームによる動画像の表示が再開される。

ステップＳ１１５の処理の後、手続きは、ステップＳ１０１に戻り、上述した処理を繰り返す。

このように、MPEG２プログラムストリームを正常に読み出しできなくなった場合であっても、サムネイルデータによる画像と、MPEG２プログラムストリームのビデオエレメンタリストリームによる動画像との同期を維持して、MPEG２プログラムストリームの読み出しと復号を再開することができる。

従って、読み出しと復号とを再開した、MPEG２プログラムストリームのビデオエレメンタリストリームによる動画像と、サムネイルデータによる画像とを切り替えて表示しても、ユーザに違和感を与えることを防止することができる。

次に、表示の制御および音声の出力の制御について説明する。

図１７は、画面の切り替えを説明する状態遷移図である。図１７中のPSデコード画像と記載されている四角は、MPEG２プログラムストリームにより表示される画像（より正確には、MPEG２プログラムストリームに含まれるビデオエレメンタリストリームにより表示される画像）（以下、PSデコード画像とも称する）を表示している状態を表す。図１７中のサムネイルデータデコード画像と記載されている四角は、サムネイルデータ８１により表示される画像（以下、サムネイルデータデコード画像とも称する）を表示している状態を表す。

図１７中のウエイト画像と記載されている四角は、ウエイト画像データメモリ３３に予め記憶されているウエイト画像データにより表示される画像（以下、ウエイト画像とも称する）を表示している状態を表す。図１７中のホールド画像と記載されている四角は、ホールド画像データメモリ３４に記憶されている画像データにより表示される画像（以下、ホールド画像とも称する）を表示している状態を表す。

本発明に係る再生装置において、PSデコード画像を表示している状態にある場合、同じ状態であるPSデコード画像を表示している状態が維持されるか、または、その状態は、サムネイルデータデコード画像を表示する状態、ウエイト画像を表示する状態、若しくはホールド画像を表示する状態に遷移することができる。

サムネイルデータデコード画像を表示している状態にある場合、同じ状態であるサムネイルデータデコード画像を表示している状態が維持されるか、または、その状態は、PSデコード画像を表示する状態、ウエイト画像を表示する状態、若しくはホールド画像を表示する状態に遷移することができる。

ウエイト画像を表示している状態にある場合、同じ状態であるウエイト画像を表示している状態が維持されるか、または、その状態は、PSデコード画像を表示する状態に遷移することができる。再生装置の状態は、ウエイト画像を表示している状態から、サムネイルデータデコード画像を表示する状態またはホールド画像を表示する状態には遷移しない。

ホールド画像を表示している状態にある場合、同じ状態であるホールド画像を表示している状態が維持されるか、または、その状態は、PSデコード画像を表示する状態、サムネイルデータデコード画像を表示する状態、若しくはウエイト画像を表示する状態に遷移することができる。

図１８は、音声の切り替えを説明する状態遷移図である。図１８中のBGMと記載されている四角は、BGMエレメンタリストリームにより出力される音声を出力している状態を表す。図１７中のミュートと記載されている四角は、音声がミュートされている状態、すなわち、音声が所定の減衰率で減衰されている状態または音声の出力が抑制されている状態を表す。

本発明に係る再生装置において、BGMエレメンタリストリームにより出力される音声を出力している状態にある場合、同じ状態であるBGMエレメンタリストリームにより出力される音声（以下、BGMとも称する）を出力している状態が維持されるか、または、その状態は、音声がミュートされる状態に遷移することができる。また、音声がミュートされている状態にある場合、同じ状態である音声がミュートされている状態が維持されるか、または、その状態は、BGMを出力している状態に遷移することができる。

次に、図１９乃至図２２のフローチャートを参照して、画面の切り替えの処理について説明する。図１９は、ウエイト画像を表示している場合の画像選択の処理を説明するフローチャートである。なお、ウエイト画像を表示している場合の画像選択の処理は、再生を開始した場合においても実行される。

ステップＳ１３１において、表示制御部１６２の判定部１７３は、PSバッファ１３に記憶されているMPEG２プログラムストリームのデータ量、すなわち、PSバッファ１３の残量をPSバッファ１３から取得して、PSバッファ１３の残量が閾値THps1を超えたか否かを判定し、PSバッファ１３の残量が閾値THps1を超えていないと判定された場合、ウエイト画像以外の画像を表示することはできないので、ステップＳ１３１に戻り、判定の処理を繰り返す。

ステップＳ１３１において、PSバッファ１３の残量が閾値THps1を超えたと判定された場合、ステップＳ１３２に進み、表示制御部１６２の切り替え指示部１７４は、MPEG２プログラムストリームにより表示される画像、すなわち、MPEG２プログラムストリームに含まれるビデオエレメンタリストリームにより表示される画像であるPSデコード画像に表示を切り替えて、処理は終了する。より具体的には、ステップＳ１３２において、切り替え指示部１７４は、ベースバンドフレームメモリ２５から供給される画像データをそのまま通過させる係数（例えば、０である係数α）を乗算器２６に供給すると共に、加算器２７から供給された画像データを選択して、出力させる信号をセレクタ３２に供給することによって、MPEG２プログラムストリームに含まれるビデオエレメンタリストリームにより表示される画像であるPSデコード画像に表示を切り替える。

図２０は、PSデコード画像を表示している場合の画像選択の処理を説明するフローチャートである。ステップＳ１５１において、表示制御部１６２の判定部１７３は、PSバッファ１３の残量をPSバッファ１３から取得して、PSバッファ１３の残量が閾値THps3以上であるか否かを判定し、PSバッファ１３の残量が閾値THps3以上であると判定された場合、PSデコード画像の表示を維持することができるので、表示を切り替えることなく、ステップＳ１５１に戻り、判定の処理を繰り返す。

ステップＳ１５１において、PSバッファ１３の残量が閾値THps3未満であると判定された場合、PSデコード画像の表示を維持できないので、ステップＳ１５２に進み、判定部１７３は、再生計画の最後までMPEG２プログラムストリームを読み出したか否かを判定する。ステップＳ１５２において、再生計画の最後までMPEG２プログラムストリームを読み出したと判定された場合、PSバッファ１３に記憶されているMPEG２プログラムストリームのデータ量が閾値THps3未満であっても、読み出しの処理に異常が生じておらず、これ以上のMPEG２プログラムストリームが必要とされていないので、ステップＳ１５３に進み、判定部１７３は、再生計画の最後までMPEG２プログラムストリーム（に含まれるビデオエレメンタリストリーム）を再生したか否かを判定する。

ステップＳ１５３において、再生計画の最後までMPEG２プログラムストリーム（に含まれるビデオエレメンタリストリーム）を再生していないと判定された場合、手続きは、ステップＳ１５３に戻り、再生計画の最後までMPEG２プログラムストリーム（に含まれるビデオエレメンタリストリーム）が再生されるまで、判定の処理を繰り返す。ステップＳ１５３において、再生計画の最後までMPEG２プログラムストリーム（に含まれるビデオエレメンタリストリーム）を再生したと判定された場合、ステップＳ１５４に進み、切り替え指示部１７４は、ウエイト画像データメモリ３３に予め記憶されているウエイト画像データにより表示される画像、すなわちウエイト画像に表示を切り替えて、処理は終了する。より具体的には、ステップＳ１５４において、切り替え指示部１７４は、ウエイト画像データメモリ３３から供給された画像データを選択して、出力させる信号をセレクタ３２に供給することによって、ウエイト画像データメモリ３３に予め記憶されているウエイト画像データにより表示される画像、すなわちウエイト画像に表示を切り替える。

ステップＳ１５２において、再生計画の最後までMPEG２プログラムストリームを読み出していないと判定された場合、読み出しの処理に異常が生じたので、ステップＳ１５５に進み、判定部１７３は、サムネイルデータバッファ１８に記憶されているサムネイルデータ８１のデータ量、すなわち、サムネイルデータバッファ残量をサムネイルデータバッファ１８から取得して、サムネイルデータバッファ残量が閾値Tsum3以上であるか否かを判定する。なお、閾値Tsum3は、閾値Tsum2に比較して小さい値であり、例えば、画像を表示できる最低限のサムネイルデータ８１のデータ量を示す。

ステップＳ１５５において、サムネイルデータバッファ残量が閾値Tsum3以上であると判定された場合、サムネイルデータバッファ１８に記憶されているサムネイルデータ８１によって画像を表示することができるので、ステップＳ１５６に進み、切り替え指示部１７４は、サムネイルデータ８１により表示される画像、すなわちサムネイルデータデコード画像に表示を切り替えて、処理は終了する。より具体的には、ステップＳ１５６において、切り替え指示部１７４は、拡大器３０から供給される画像データをそのまま通過させる係数（例えば、１である係数α）を乗算器３１に供給することによって、サムネイルデータ８１により表示される画像であるサムネイルデータデコード画像に表示を切り替える。

この場合、例えば、切り替え指示部１７４としての制御部２０は、０から１に所定の期間（例えば、１秒間）で変化する係数αを乗算器２６および乗算器３１に供給することにより、PSデコード画像が、サムネイルデータデコード画像にその期間で徐々に変化するように、サムネイルデータデコード画像に表示を切り替えることができる。

ステップＳ１５５において、サムネイルデータバッファ残量が閾値Tsum3未満であると判定された場合、画像を表示することができるデータ量のサムネイルデータ８１がサムネイルデータバッファ１８に記憶されていないので、ステップＳ１５７に進み、切り替え指示部１７４は、ホールド画像データメモリ３４に記憶されている画像データにより表示される画像、すなわちホールド画像に表示を切り替えて、処理は終了する。より具体的には、ステップＳ１５７において、切り替え指示部１７４は、ホールド画像データメモリ３４から供給された画像データを選択して、出力させる信号をセレクタ３２に供給することによって、ホールド画像データメモリ３４に記憶されている画像データにより表示される画像、すなわちホールド画像に表示を切り替える。

図２１は、サムネイルデータデコード画像を表示している場合の画像選択の処理を説明するフローチャートである。ステップＳ１７１において、判定部１７３は、再生計画の最後まで再生が終了したか否かを判定する。

ステップＳ１７１において、再生計画の最後まで再生が終了していないと判定された場合、ステップＳ１７２に進み、判定部１７３は、PSバッファ１３の残量が閾値THps1を超えたか否かを判定する。

ステップＳ１７２において、PSバッファ１３の残量が閾値THps1を超えていないと判定された場合、ステップＳ１７３に進み、判定部１７３は、サムネイルデータバッファ残量が閾値Tsum3以上であるか否かを判定する。ステップＳ１７３において、サムネイルデータバッファ残量が閾値Tsum3以上であると判定された場合、サムネイルデータデコード画像の表示が維持できるので、ステップＳ１７１に戻り、上述した処理を繰り返す。

ステップＳ１７３において、サムネイルデータバッファ残量が閾値Tsum3未満であると判定された場合、サムネイルデータデコード画像の表示が維持できないので、ステップＳ１７４に進み、切り替え指示部１７４は、ホールド画像に表示を切り替えて、処理は終了する。

ステップＳ１７２において、PSバッファ１３の残量が閾値THps1を超えたと判定された場合、PSデコード画像を表示することができるので、ステップＳ１７５に進み、切り替え指示部１７４は、PSデコード画像に表示を切り替えて、処理は終了する。より具体的には、ステップＳ１７５において、ステップＳ１３２の処理と同様に、切り替え指示部１７４は、ベースバンドフレームメモリ２５から供給される画像データをそのまま通過させる係数（例えば、０である係数α）を乗算器２６に供給すると共に、加算器２７から供給された画像データを選択して、出力させる信号をセレクタ３２に供給することによって、PSデコード画像に表示を切り替える。

この場合、例えば、切り替え指示部１７４としての制御部２０は、１から０に所定の期間（例えば、１秒間）で変化する係数αを乗算器２６および乗算器３１に供給することにより、サムネイルデータデコード画像が、PSデコード画像にその期間で徐々に変化するように、PSデコード画像に表示を切り替えることができる。

ステップＳ１７１において、再生計画の最後まで再生が終了したと判定された場合、ステップＳ１７６に進み、切り替え指示部１７４は、ウエイト画像に表示を切り替えて、処理は終了する。

図２２は、ホールド画像を表示している場合の画像選択の処理を説明するフローチャートである。ステップＳ１９１において、判定部１７３は、再生計画の最後まで再生が終了したか否かを判定する。

ステップＳ１９１において、再生計画の最後まで再生が終了していないと判定された場合、ステップＳ１９２に進み、判定部１７３は、PSバッファ１３の残量が閾値THps1を超えたか否かを判定する。

ステップＳ１９２において、PSバッファ１３の残量が閾値THps1を超えていないと判定された場合、ステップＳ１９３に進み、判定部１７３は、サムネイルデータバッファ残量が閾値Tsum3以上であるか否かを判定する。ステップＳ１９３において、サムネイルデータバッファ残量が閾値Tsum3未満であると判定された場合、サムネイルデータデコード画像を表示することはできないので、ホールド画像の表示を継続して、ステップＳ１９１に戻り、上述した処理を繰り返す。

ステップＳ１９３において、サムネイルデータバッファ残量が閾値Tsum3以上であると判定された場合、ステップＳ１９４に進み、切り替え指示部１７４は、サムネイルデータ画像に表示を切り替えて、処理は終了する。

ステップＳ１９２において、PSバッファ１３の残量が閾値THps1を超えたと判定された場合、ステップＳ１９５に進み、切り替え指示部１７４は、PSデコード画像に表示を切り替えて、処理は終了する。

ステップＳ１９１において、再生計画の最後まで再生が終了したと判定された場合、ステップＳ１９６に進み、切り替え指示部１７４は、ウエイト画像に表示を切り替えて、処理は終了する。

以上のように、表示制御部１６２は、PSデコード画像、サムネイルデコード画像、ホールド画像、およびウエイト画像のいずれかを表示するように、表示を切り替えることができる。PSデコード画像およびサムネイルデコード画像は、上述したように、同期しているので、ユーザに与える違和感をより少なくして、表示を切り替えることができる。また、PSデコード画像およびサムネイルデコード画像は、上述したように、同期しているので、このうちの最新の画像がホールド画像とされるので、ホールド画像に表示を切り替えた場合でも、ユーザに与える違和感をより少なくすることができる。

図２３は、ミュートしている場合の音声選択の処理を説明するフローチャートである。なお、ミュートしている場合の音声選択の処理は、再生を開始した場合においても実行される。

ステップＳ２２１において、判定部１７１は、再生計画の最後まで再生が終了したか否かを判定する。ステップＳ２２１において、再生計画の最後まで再生が終了していないと判定された場合、ステップＳ２２２に進み、判定部１７１は、BGMESバッファ１７に記憶されているBGMエレメンタリストリームのデータ量であるBGMESバッファ残量をBGMESバッファ１７から取得して、BGMESバッファ残量が閾値Tbgm1を超えているか否かを判定する。

ステップＳ２２２において、BGMESバッファ残量が閾値Tbgm1以下であると判定された場合、BGMエレメンタリストリームの復号を開始することはできず、BGMを出力することはできないので、また、他の音声を出力することはできないので、ミュートを継続し、手続きは、ステップＳ２２１に戻り、判定の処理を繰り返す。

ステップＳ２２２において、BGMESバッファ残量が閾値Tbgm1を超えていると判定された場合、BGMエレメンタリストリームの復号を開始し、BGMを出力することができるので、ステップＳ２２３に進み、切り替え指示部１７２は、オーディオデコーダ２１を制御して、BGMエレメンタリストリームを復号した結果得られた音声データを出力させ、すなわち、BGMを出力して、処理は終了する。

ステップＳ２２１において、再生計画の最後まで再生が終了したと判定された場合、音声を出力できないので、ステップＳ２２４に進み、切り替え指示部１７２は、オーディオデコーダ２１を制御して、ミュートさせ（例えば、０である音声データを出力させ）、処理は終了する。

次に、図２４のフローチャートを参照して、BGMを出力している場合の音声選択の処理を説明する。ステップＳ２４１において、音声出力制御部１６１の判定部１７１は、BGMESバッファ残量が閾値Tbgm3以上であるか否かを判定する。なお、閾値Tbgm3は、閾値Tbgm2に比較して小さい値であり、音声を再生できる最低限のBGMエレメンタリストリームのデータ量を示す。

ステップＳ２４１において、BGMESバッファ残量が閾値Tbgm3以上であると判定された場合、BGMの出力を継続することができるので、BGMの出力を継続し、手続きは、ステップＳ２４１に戻り、判定の処理を繰り返す。

ステップＳ２４１において、BGMESバッファ残量が閾値Tbgm3未満であると判定された場合、BGMの出力を継続することができないので、ステップＳ２４２に進み、切り替え指示部１７２は、オーディオデコーダ２１を制御して、ミュートさせ（例えば、０である音声データを出力させ）、処理は終了する。

このように、データ記録媒体からの動画像の読み出しを制御し、読み出された動画像の復号を制御し、復号された動画像を表示させるように表示を制御するようにした場合には、動画像を表示させることができる。また、データ記録媒体からの動画像の読み出しを制御し、データ記録媒体からの第２の画像の読み出しを制御し、読み出された動画像の復号を制御し、読み出された第２の画像の復号を制御し、バッファに記憶されている動画像のデータ量を基に、復号された動画像または復号された第２の画像のいずれか一方を表示させるように表示を制御するようにした場合には、ユーザに違和感をより感じさせにくい画像を表示させることができる。

なお、本発明は、据え置き型または携帯型の再生装置に限らず、据え置き型またはデジタルビデオカメラなどの携帯型の記録再生装置、ディスクを駆動するドライブが設けられ、動画像を表示するパーソナルコンピュータなどの情報処理装置などに適用することができる。

また、動画像の符号化方式は、MPEG２方式に限らず、MPEG４またはMPEG７などの他の方式であってもよい。

さらに、PSバッファ１３、ビデオESバッファ１６、BGMESバッファ１７、およびサムネイルデータバッファ１８は、専用のハードウェアまたは汎用の半導体メモリなどからなるFIFOバッファであると説明したが、これに限らず、ソフトウェアバッファなど、各種の方式を採用することができる。

なお、動画像のデータ、音声のデータ、サムネイルデータなどを記録する、データ記録媒体の一例であるディスク１１は、光ディスク、光磁気ディスク、または磁気ディスクなどであると説明したが、これに限らず、データ記録媒体は、データを記録できれば足り、例えば、半導体メモリなどとしてもよい。

上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。

この記録媒体は、図１に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク４１（フレキシブルディスクを含む）、光ディスク４２（CD-ROM(Compact Disc-Read Only Memory)、ＤＶＤ(Digital Versatile Disc)を含む）、光磁気ディスク４３（ＭＤ(Mini-Disc)（商標）を含む）、若しくは半導体メモリ４４などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM（図示せず）や、ハードディスク（図示せず）などで構成される。

なお、上述した一連の処理を実行させるプログラムは、必要に応じてルータ、モデムなどのインタフェースを介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を介してコンピュータにインストールされるようにしてもよい。

また、本明細書において、記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

本発明に係る再生装置の一実施の形態の構成を示すブロック図である。 MPEG２プログラムストリームのGOPとサムネイルデータとの関係を示す図である。 MPEG２プログラムストリームとサムネイルデータとの同期を説明する図である。 サムネイルデータのファイル方式を説明する図である。 再生計画に基づく、MPEG２プログラムストリーム、サムネイルデータ、およびBGMエレメンタリストリームの再生の順序の例を示す図である。 AVプログラムを説明する図である。 再生計画を記述するテーブルの例を示す図である。 プログラムを実行する制御部により実現される機能の構成を示すブロック図である。 データの読み出しを説明する図である。 BGMエレメンタリストリームの読み出しの処理を説明するフローチャートである。 サムネイルデータの読み出しの処理を説明するフローチャートである。 MPEG２プログラムストリームの読み出しの処理を説明するフローチャートである。 データの読み出しを説明する図である。 データの読み出しを説明する図である。 データの読み出しを説明する図である。 正常に読み出しできない場合のMPEG２プログラムストリームの読み出しの処理を説明する。 画面の切り替えを説明する状態遷移図である。 音声の切り替えを説明する状態遷移図である。 ウエイト画像を表示している場合の画像選択の処理を説明するフローチャートである。 PSデコード画像を表示している場合の画像選択の処理を説明するフローチャートである。 サムネイルデータデコード画像を表示している場合の画像選択の処理を説明するフローチャートである。 ホールド画像を表示している場合の画像選択の処理を説明するフローチャートである。 ミュートしている場合の音声選択の処理を説明するフローチャートである。 BGMを出力している場合の音声選択の処理を説明するフローチャートである。

符号の説明

１１ ディスク， １２ ドライブ， １３ PSバッファ， １７ BGMESバッファ， １８ サムネイルデータバッファ， ２０ 制御部， ２１ オーディオデコーダ， ２４ ビデオデコーダ， ２８ JPEGデコーダ， ３２ セレクタ， ３６ ドライブ， ４１ 磁気ディスク， ４２ 光ディスク， ４３ 光磁気ディスク， ４４ 半導体メモリ， １０１ データ読み出し／デコード制御部， １０２ 出力制御部， １２１ BGMデータ読み出し／デコード制御部， １２２ サムネイルデータ読み出し／デコード制御部， １２３ プログラムストリーム読み出し／デコード制御部， １３１ 読み出し制御部， １３２ デコード制御部， １３３ 読み出し制御部， １３４ デコード制御部， １３５ 読み出し制御部， １３６ デコード制御部， １３７ 判定部， １３８ 表示再開時刻算出部， １３９ デコード開始時刻算出部， １６１ 音声出力制御部， １６２ 表示制御部， １７１ 判定部， １７２ 切り替え指示部， １７３ 判定部， １７４ 切り替え指示部

Claims (10)

1. 第１の画像群が符号化されてなる動画像と、第１の画像から生成され、第１の画像群に関連付けられている第２の画像群であって、前記動画像に比較して単位時間当たりのデータ量が少ない第２の画像群とが記録されているデータ記録媒体から前記動画像を読み出して、読み出した前記動画像を一時的にバッファに記憶し、前記バッファに記憶されている前記動画像を再生する再生装置において、
   前記データ記録媒体からの前記動画像の読み出しを制御する第１の読み出し制御手段と、
   前記データ記録媒体からの前記第２の画像の読み出しを制御する第２の読み出し制御手段と、
   読み出された前記動画像の復号を制御する第１の復号制御手段と、
   読み出された前記第２の画像の復号を制御する第２の復号制御手段と、
   前記バッファに記憶されている前記動画像のデータ量を基に、復号された前記動画像または復号された前記第２の画像のいずれか一方を表示させるように表示を制御する表示制御手段と
   を含むことを特徴とする再生装置。
2. 前記表示制御手段は、前記バッファに記憶されている前記動画像のデータ量が第１の閾値以上になった場合、復号された前記動画像を表示させ、前記バッファに記憶されている前記動画像のデータ量が、前記第１の閾値より小さい第２の閾値未満になった場合、復号された前記第２の画像を表示させるように表示を制御する
   ことを特徴とする請求項１に記載の再生装置。
3. 前記第１の読み出し制御手段は、前記バッファに記憶されている前記動画像のデータ量が所定の閾値未満になった場合、前記バッファの容量、前記データ記録媒体からの前記動画像の読み出し速度、および復号の遅延時間から算出された、前記動画像における時刻であって、前記バッファに所定のデータ量の前記動画像を記憶してから、復号した前記動画像の出力を開始できると予測される時刻の前記動画像から読み出すように、前記データ記録媒体からの前記動画像の読み出しを制御する
   ことを特徴とする請求項１に記載の再生装置。
4. 前記第２の読み出し制御手段は、前記データ記録媒体からの前記動画像の読み出しに優先させた、前記データ記録媒体からの前記第２の画像の読み出しを制御する
   ことを特徴とする請求項１に記載の再生装置。
5. 前記表示制御手段は、前記動画像から前記第２の画像に表示を切り替える場合、または前記第２の画像から前記動画像に表示を切り替える場合、一方から他方に徐々に変化するように前記動画像または前記第２の画像の表示を制御する
   ことを特徴とする請求項１に記載の再生装置。
6. 前記第２の読み出し制御手段は、前記動画像の符号化の単位である、一定の数の前記第１の画像からなる単位に関係付けられた符号化されている前記第２の画像であって、読み出される前記動画像の符号化の前記単位に関係付けられた前記第２の画像の、前記データ記録媒体からの読み出しを制御し、
   前記第２の復号制御手段は、前記動画像の復号に同期した、読み出された前記第２の画像の復号を制御する
   ことを特徴とする請求項１に記載の再生装置。
7. 前記第２の読み出し制御手段は、MPEG（Moving Pictures Experts Group）２方式で符号化された前記動画像の符号化の単位であるGOP（Group of Pictures）のそれぞれを構成する前記第１の画像のうちの１つから生成された前記第２の画像の、前記データ記録媒体からの読み出しを制御する
   ことを特徴とする請求項６に記載の再生装置。
8. 第１の画像群が符号化されてなる動画像と、第１の画像から生成され、第１の画像群に関連付けられている第２の画像群であって、前記動画像に比較して単位時間当たりのデータ量が少ない第２の画像群とが記録されているデータ記録媒体から前記動画像を読み出して、読み出した前記動画像を一時的にバッファに記憶し、前記バッファに記憶されている前記動画像を再生する再生方法において、
   前記データ記録媒体からの前記動画像の読み出しを制御する第１の読み出し制御ステップと、
   前記データ記録媒体からの前記第２の画像の読み出しを制御する第２の読み出し制御ステップと、
   読み出された前記動画像の復号を制御する第１の復号制御ステップと、
   読み出された前記第２の画像の復号を制御する第２の復号制御ステップと、
   前記バッファに記憶されている前記動画像のデータ量を基に、復号された前記動画像または復号された前記第２の画像のいずれか一方を表示させるように表示を制御する表示制御ステップと
   を含むことを特徴とする再生方法。
9. 第１の画像群が符号化されてなる動画像と、第１の画像から生成され、第１の画像群に関連付けられている第２の画像群であって、前記動画像に比較して単位時間当たりのデータ量が少ない第２の画像群とが記録されているデータ記録媒体から前記動画像を読み出して、読み出した前記動画像を一時的にバッファに記憶し、前記バッファに記憶されている前記動画像を再生する再生処理用のプログラムであって、
   前記データ記録媒体からの前記動画像の読み出しを制御する第１の読み出し制御ステップと、
   前記データ記録媒体からの前記第２の画像の読み出しを制御する第２の読み出し制御ステップと、
   読み出された前記動画像の復号を制御する第１の復号制御ステップと、
   読み出された前記第２の画像の復号を制御する第２の復号制御ステップと、
   前記バッファに記憶されている前記動画像のデータ量を基に、復号された前記動画像または復号された前記第２の画像のいずれか一方を表示させるように表示を制御する表示制御ステップと
   を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。
10. 第１の画像群が符号化されてなる動画像と、第１の画像から生成され、第１の画像群に関連付けられている第２の画像群であって、前記動画像に比較して単位時間当たりのデータ量が少ない第２の画像群とが記録されているデータ記録媒体から前記動画像を読み出して、読み出した前記動画像を一時的にバッファに記憶し、前記バッファに記憶されている前記動画像を再生する再生装置のコンピュータに再生処理を行わせるプログラムにおいて、
    前記データ記録媒体からの前記動画像の読み出しを制御する第１の読み出し制御ステップと、
    前記データ記録媒体からの前記第２の画像の読み出しを制御する第２の読み出し制御ステップと、
    読み出された前記動画像の復号を制御する第１の復号制御ステップと、
    読み出された前記第２の画像の復号を制御する第２の復号制御ステップと、
    前記バッファに記憶されている前記動画像のデータ量を基に、復号された前記動画像または復号された前記第２の画像のいずれか一方を表示させるように表示を制御する表示制御ステップと
    を含むことを特徴とするプログラム。

Images