JP2008252740A

JP2008252740A - リモートコマンダおよびコマンド発生方法、再生装置および再生方法、プログラム、並びに、記録媒体

Info

Publication number: JP2008252740A
Application number: JP2007094016A
Authority: JP
Inventors: Ayako Iwase; 綾子岩瀬
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2007-03-30
Filing date: 2007-03-30
Publication date: 2008-10-16

Abstract

【課題】容易な操作で、複数のストリームからユーザが所望のストリームの再生を指令する。
【解決手段】PinP/Audio Mix On-Offボタン３２１は、PinPもしくはAudio MixingのOn/Offの切替えを再生装置５に指令する場合に押下されるボタンである。PinP/Audio Mix Shiftボタン３２２は、映像切替ボタン３２３、音声切替ボタン３２４、字幕切替ボタン３２５に割り当てられる意味を変更するためのボタンであり、PinP/Audio Mix Shiftボタン３２２を押下した後、映像切替ボタン３２３、音声切替ボタン３２４、字幕切替ボタン３２５を押下することによって、子画面２５２または副音声に関するストリームの切替えを再生装置５に指令することができるようにするものである。本発明は、リモートコマンダおよび再生装置に適用できる。
【選択図】図３３

Description

本発明は、リモートコマンダおよびコマンド発生方法、再生装置および再生方法、プログラム、並びに、記録媒体に関し、特に、メインのＡＶストリームとは異なる他のストリームやデータファイルで音声や映像等の各種類のコンテンツを用意して再生可能なようにした場合に用いて好適な、リモートコマンダおよびコマンド発生方法、再生装置および再生方法、プログラム、並びに、記録媒体に関する。

DVD（Digital Versatile Disc）ビデオの規格においては、記録媒体に記録されている映画などのＡＶ（Audio Visual）コンテンツを再生する場合、ユーザに、音声切替えや字幕切替えというインタラクティブな操作を提供している（例えば、非特許文献１参照）。具体的には、図１の表示装置１に表示されているＡＶコンテンツに対して、ユーザは、リモートコントローラ２の音声切替ボタン３２４や字幕切替ボタン３２５を操作することで、音声の切替えや字幕を切替える。例えば、音声１が初期状態として設定されており、ユーザによりリモートコントローラ２の音声切替ボタン３２４が操作された場合、図２に示されるように、音声１が音声２に切替えられる。

DVDビデオ上のＡＶコンテンツは、MPEG（Moving Picture Experts Group）２プログラムストリームの形式で記録されている。このMPEG２プログラムストリームには、図３に示されるように、ビデオストリーム（図３のビデオ）、複数のオーディオストリーム（図３のオーディオ１，２，３）、および複数のサブピクチャストリーム（図３のサブピクチャ１，２，３）が、ビデオストリームにＡＶ同期して再生されるように多重化されている。サブピクチャストリーム（サブピクチャ１，２，３）は、ビットマップ画像がランレングス符号化されたストリームであり、主に字幕用途に用いられる。

一般に、複数のオーディオストリームは、異なる言語の音声を記録するために用いられ、複数のサブピクチャストリームは、異なる言語の字幕を記録するために用いられる。ユーザは、ビデオが再生されている場合、インタラクティブに所望の言語の音声や字幕を、リモートコントローラ２を用いて選択することができる。

また、DVDビデオは、プログラムストリームの中の複数のオーディオストリーム（オーディオ１，２，３）と複数のサブピクチャストリーム（サブピクチャ１，２，３）に対して、ユーザに提供する音声番号と字幕番号の関係を表すテーブル構造を定義している。

図４は、ユーザに提供する音声信号と字幕信号の関係を表すストリームナンバーテーブルを説明する図である。ここでは、音声番号をＡ＿ＳＮ（Audio Stream Number）と称し、字幕番号をＳ＿ＳＮ（SubPicture Stream Number）と称する。図４においては、MPEG２プログラムストリームの複数のオーディオストリームのそれぞれにＡ＿ＳＮが与えられているとともに、MPEG２プログラムストリームの複数のサブピクチャストリームのそれぞれに、Ｓ＿ＳＮが与えられている。Ａ＿ＳＮ＝１：オーディオ２であり、Ａ＿ＳＮ＝２：オーディオ１であり、Ａ＿ＳＮ＝３：オーディオ３である。また、Ｓ＿ＳＮ＝１：サブピクチャ３であり、Ｓ＿ＳＮ＝２：サブピクチャ１であり、Ｓ＿ＳＮ＝３：サブピクチャ２である。ここでは、Ａ＿ＳＮやＳ＿ＳＮの番号が小さい程、ユーザに提供される音声信号として優先度が高い。すなわち、Ａ＿ＳＮ＝１はデフォルトで再生されるオーディオストリームであり、Ｓ＿ＳＮ＝１はデフォルトで再生されるサブピクチャストリームである。

具体的には、図１の初期状態で再生される音声１は、Ａ＿ＳＮ＝１であるオーディオ２（図４）に対応しており、音声が切替えられた後、図２で再生される音声２は、Ａ＿ＳＮ＝２であるオーディオ１（図４）に対応している。

DVD Specifications for Read-Only Disc Part 3;Version1.1

また、追加して記録された音声（例えば、いわゆるアフレコと称される音声）を再生するために、Sub pathが用いられている技術がある（例えば、特許文献１）。

特開２０００−１５８９７２号公報

しかしながら、DVDビデオでは、プログラムストリームのビデオを再生している場合に、ユーザによる音声切替えや字幕切替えという操作は、再生しているプログラムストリームに多重化されているオーディオストリームとサブピクチャストリームの中からしか、選ぶことができなかった。すなわち、図３に示されるようなMPEG２プログラムストリームを再生している場合に、音声の切替えを行う場合、選択肢はオーディオ１乃至３のいずれか１つとなる。

そのため、再生しているプログラムストリームとは別の他のストリームでオーディオストリームと字幕を用意した場合、ユーザは、音声の切替えの操作が、他のストリームから選択することができないため、拡張性がないという問題があった。

さらに、将来的には、切替え対象のコンテンツとして、音声のみならず映像等、様々な種類のコンテンツが対象となることが想定されている。従って、将来的には、これらの様々な種類のコンテンツの切替えの操作を容易に実行することが求められる。

また、特許文献１に記載の技術では、たしかに、追加して記録された音声（例えば、いわゆるアフレコと称される音声）を再生するために、Sub pathが用いられているが、２つの同一の種類のストリーム、すなわち、２つのオーディオストリームや２つのビデオストリームを合成して再生するための構成についてはなんら開示されておらず、更に、合成されて再生されるビデオストリームやオーディオストリーム、並びに、これらと同時に再生されるたとえば字幕などの他のストリームをユーザが容易に選択するための手法についても、なんら開示されていない。

本発明は、このような状況に鑑みてなされたものであり、メインのＡＶストリームとともに再生するために、メインのＡＶストリームとは異なる他のストリームやデータファイルで提供された音声や映像等の各種類のコンテンツを、リモートコマンダのボタン等を大幅に増やすことなく、容易に選択し、その再生を指令することができるようにするものである。

本発明の第１の側面のリモートコマンダは、ユーザからの操作入力を受け、主に再生される第１のビデオストリームとともに、他のストリームを再生出力可能な再生装置の動作を制御するためのコマンドを送信するリモートコマンダであって、前記第１のビデオストリームおよび前記他のストリームのうち、再生されるものの選択を切替えることが可能な同一種類のストリームの切替えを指令するための切替え指令手段と、前記切替え指令手段により切り替えが指令されるストリームを、前記第１のビデオストリームと合成されて再生される副のビデオストリームである第２のビデオストリーム、もしくは、前記第２のビデオストリームに対応つけられて再生される、ビデオストリームとは異なる種類のストリームか、または、前記第１のビデオストリームに対応つけられて再生される第１のオーディオストリームと合成されて再生される第２のオーディオストリームのうちのいずれかとする場合に操作される、指令対象ストリーム切替え手段とを備える。

前記指令対象ストリーム切替え手段が操作されない場合に前記切替え指令手段により切り替えが指令されるストリームは、前記第１のビデオストリーム、前記第１のビデオストリームに対応つけられて再生される前記第１のオーディオストリーム、または、前記第１のビデオストリームに対応つけられて再生される第１の字幕ストリームであるものとすることができ、前記第２のビデオストリームに対応つけられて再生される、ビデオストリームとは異なる種類のストリームは、前記第２のビデオストリームに対応つけられて再生される第３のオーディオストリーム、または、前記第２のビデオストリームに対応つけられて再生される第２の字幕ストリームであるものとすることができる。

前記第１のビデオストリームと合成されて再生される前記第２のビデオストリームの表示の有無を指令する第２のビデオストリーム表示指令手段を更に備えさせるようにすることができる。

前記第１のビデオストリームに対応つけられて再生される前記第１のオーディオストリームと合成されて再生される前記第２のオーディオストリームの再生出力の有無を指令する第２のオーディオストリーム出力指令手段を更に備えさせるようにすることができる。

前記ユーザによる前記切替え指令手段および前記指令対象ストリーム切替え手段への操作入力を基に、前記再生装置へ送信する前記コマンドを発生するコマンド発生手段を更に備えさせるようにすることができ、前記コマンド発生手段には、前記ユーザによる前記切替え指令手段および前記指令対象ストリーム切替え手段への操作入力を基に、前記第１のビデオストリームおよび前記他のストリームのうちの切替えられるストリームが指定された前記コマンドを発生させるようにすることができる。

本発明の第１の側面のコマンド発生方法は、ユーザからの操作入力を受け、主に再生される第１のビデオストリームとともに、他のストリームを再生出力可能な再生装置の動作を制御するためのコマンドを送信するリモートコマンダのコマンド発生方法であって、前記リモートコマンダは、前記第１のビデオストリームおよび前記他のストリームのうち、再生されるものの選択を切替えることが可能な同一種類のストリームの切替えを指令するための切替え指令手段と、前記切替え指令手段により切り替えが指令されるストリームの対象を変更する場合に操作される、指令対象ストリーム切替え手段とを備え、前記ユーザから前記切替え指令手段の操作入力を受け、前記ユーザから前記指令対象ストリーム切替え手段の操作入力を受け、前記ユーザによる前記切替え指令手段および前記指令対象ストリーム切替え手段への操作入力を基に、前記再生装置へ送信する前記コマンドを発生し、発生された前記コマンドを、前記再生装置に送信するステップを含み、前記ユーザにより前記指令対象ストリーム切替え手段が操作された後、所定の一定の期間内に前記切替え指令手段が操作された場合、発生される前記コマンドを受信した前記再生装置において切り替えが指令されるストリームが、前記第１のビデオストリームと合成されて再生される副のビデオストリームである第２のビデオストリーム、もしくは、前記第２のビデオストリームに対応つけられて再生される、ビデオストリームとは異なる種類のストリームか、または、前記第１のビデオストリームに対応つけられて再生される第１のオーディオストリームと合成されて再生される第２のオーディオストリームのうちのいずれかとなるように、前記コマンドが発生される。

本発明の第１の側面のプログラムは、ユーザからの操作入力を受け、主に再生される第１のビデオストリームとともに、他のストリームを再生出力可能な再生装置の動作を制御するためのコマンドを送信するリモートコマンダの動作を制御するコンピュータが実行可能なプログラムであって、前記リモートコマンダは、前記第１のビデオストリームおよび前記他のストリームのうち、再生されるものの選択を切替えることが可能な同一種類のストリームの切替えを指令するための切替え指令手段と、前記切替え指令手段により切り替えが指令されるストリームの対象を変更する場合に操作される、指令対象ストリーム切替え手段とを備え、前記ユーザから前記切替え指令手段の操作入力を受け、前記ユーザから前記指令対象ストリーム切替え手段の操作入力を受け、前記ユーザによる前記切替え指令手段および前記指令対象ストリーム切替え手段への操作入力を基に、前記再生装置へ送信する前記コマンドを発生し、発生された前記コマンドを、前記再生装置に送信するステップを含み、前記ユーザにより前記指令対象ストリーム切替え手段が操作された後、所定の一定の期間内に前記切替え指令手段が操作された場合、発生される前記コマンドを受信した前記再生装置において切り替えが指令されるストリームが、前記第１のビデオストリームと合成されて再生される副のビデオストリームである第２のビデオストリーム、もしくは、前記第２のビデオストリームに対応つけられて再生される、ビデオストリームとは異なる種類のストリームか、または、前記第１のビデオストリームに対応つけられて再生される第１のオーディオストリームと合成されて再生される第２のオーディオストリームのうちのいずれかとなるように、前記コマンドが発生される処理をコンピュータに実行させる。

本発明の第１の側面においては、ユーザにより指令対象ストリーム切替え手段が操作された後、所定の一定の期間内に切替え指令手段が操作された場合、第１のビデオストリームおよび他のストリームのうち、再生されるものの選択が切替えられるストリームが、第１のビデオストリームと合成されて再生される副のビデオストリームである第２のビデオストリーム、もしくは、第２のビデオストリームに対応つけられて再生される、ビデオストリームとは異なる種類のストリームか、または、第１のビデオストリームに対応つけられて再生される第１のオーディオストリームと合成されて再生される第２のオーディオストリームのうちのいずれかとなるように、再生装置において再生処理が実行される。

本発明の第２の側面の再生装置は、主に再生される第１のビデオストリームおよび他のストリームのうち、再生されるものの選択を切替えることが可能な同一種類のストリームの切替えを指令するための切替え指令手段と、前記切替え指令手段により切り替えが指令されるストリームの対象を変更する場合に操作される、指令対象ストリーム切替え手段とを備えるリモートコマンダから送信されるコマンドに基づいて、前記第１のビデオストリームとともに、前記他のストリームを再生出力可能な再生装置であって、前記リモートコマンダから前記コマンドを受信する受信手段と、前記受信手段により受信された前記コマンドに基づいて、前記ユーザにより前記リモートコマンダの前記指令対象ストリーム切替え手段が操作された後、所定の一定の期間内に前記切替え指令手段が操作された場合、前記切替え指令手段により切り替えが指令されるストリームを、前記第１のビデオストリームと合成されて再生される副のビデオストリームである第２のビデオストリーム、もしくは、前記第２のビデオストリームに対応つけられて再生される、ビデオストリームとは異なる種類のストリームか、または、前記第１のビデオストリームに対応つけられて再生される第１のオーディオストリームと合成されて再生される第２のオーディオストリーム
のうちのいずれかであるものとして、前記第１のビデオストリームおよび前記他のストリームの再生を制御する再生制御手段とを備える。

前記第１のビデオストリームおよび前記他のストリームがそれぞれ再生されるか否かを設定する第１の設定手段と、再生が制御される前記第１のビデオストリームおよび前記他のストリームを個別に区別可能な区別情報を設定する第２の設定手段とを更に備えさせるようにすることができ、前記再生制御手段には、前記受信手段により受信された前記コマンドに基づいて、前記第１の設定手段および前記第２の設定手段を設定させるようにすることができる。

前記再生制御手段には、前記第１のビデオストリームおよび前記他のストリームの再生を制御するために用いられる再生制御情報に含まれる、同時に再生可能なストリームの組み合わせを定義する定義情報に基づいて、前記第１の設定手段および前記第２の設定手段を設定させるようにすることができる。

本発明の第２の側面の再生方法は、主に再生される第１のビデオストリームおよび他のストリームのうち、再生されるものの選択を切替えることが可能な同一種類のストリームの切替えを指令するための切替え指令手段と、前記切替え指令手段により切り替えが指令されるストリームの対象を変更する場合に操作される、指令対象ストリーム切替え手段とを備えるリモートコマンダから送信されるコマンドに基づいて、前記第１のビデオストリームとともに、前記他のストリームを再生出力可能な再生装置の再生方法であって、前記リモートコマンダから前記コマンドを受信し、受信された前記コマンドに基づいて、前記ユーザにより前記リモートコマンダの前記指令対象ストリーム切替え手段が操作された後、所定の一定の期間内に前記切替え指令手段が操作された場合に切り替えが指令されるストリームが、前記第１のビデオストリームと合成されて再生される副のビデオストリームである第２のビデオストリーム、もしくは、前記第２のビデオストリームに対応つけられて再生される、ビデオストリームとは異なる種類のストリームか、または、前記第１のビデオストリームに対応つけられて再生される第１のオーディオストリームと合成されて再生される第２のオーディオストリームのうちのいずれかとなるように、前記第１のビデオストリームおよび前記他のストリームの再生を制御するステップを含む。

本発明の第２の側面のプログラムは、主に再生される第１のビデオストリームおよび他のストリームのうち、再生されるものの選択を切替えることが可能な同一種類のストリームの切替えを指令するための切替え指令手段と、前記切替え指令手段により切り替えが指令されるストリームの対象を変更する場合に操作される、指令対象ストリーム切替え手段とを備えるリモートコマンダから送信されるコマンドに基づいて、前記第１のビデオストリームとともに、前記他のストリームを再生する処理をコンピュータに実行させるためのプログラムであって、前記リモートコマンダから前記コマンドを受信し、受信された前記コマンドに基づいて、前記ユーザにより前記リモートコマンダの前記指令対象ストリーム切替え手段が操作された後、所定の一定の期間内に前記切替え指令手段が操作された場合に切り替えが指令されるストリームが、前記第１のビデオストリームと合成されて再生される副のビデオストリームである第２のビデオストリーム、もしくは、前記第２のビデオストリームに対応つけられて再生される、ビデオストリームとは異なる種類のストリームか、または、前記第１のビデオストリームに対応つけられて再生される第１のオーディオストリームと合成されて再生される第２のオーディオストリームのうちのいずれかとなるように、前記第１のビデオストリームおよび前記他のストリームの再生を制御するステップを含む処理をコンピュータに実行させる。

本発明の第２の側面においては、主に再生される第１のビデオストリームおよび他のストリームのうち、再生されるものの選択を切替えることが可能な同一種類のストリームの切替えを指令するための切替え指令手段と、切替え指令手段により切り替えが指令されるストリームの対象を変更する場合に操作される、指令対象ストリーム切替え手段とを備えるリモートコマンダから送信されるコマンドが受信され、ユーザによりリモートコマンダの指令対象ストリーム切替え手段が操作された後、所定の一定の期間内に切替え指令手段が操作された場合に切り替えが指令されるストリームが、第１のビデオストリームと合成されて再生される副のビデオストリームである第２のビデオストリーム、もしくは、第２のビデオストリームに対応つけられて再生される、ビデオストリームとは異なる種類のストリームか、または、第１のビデオストリームに対応つけられて再生される第１のオーディオストリームと合成されて再生される第２のオーディオストリームのうちのいずれかとなるように、第１のビデオストリームおよび他のストリームの再生が制御される。

本発明の第３の側面の再生装置は、主に再生される第１のビデオストリームおよび他のストリームのうち、再生されるものの選択を切替えることが可能な同一種類のストリームの切替えを指令するための切替え指令手段を備えるリモートコマンダから送信されるコマンドに基づいて、前記第１のビデオストリームとともに、前記他のストリームを再生出力可能な再生装置であって、前記リモートコマンダから前記コマンドを受信する受信手段と、前記受信手段により受信された前記コマンドに基づいて、前記リモートコマンダの前記切替え指令手段により切替えが指令されるストリームの対象をユーザに選択させるための補助となる表示画面の表示を制御するとともに、前記表示画面を参照した前記ユーザの操作入力に基づいて、前記第１のビデオストリームおよび前記他のストリームの再生を制御する再生制御手段とを備える。

前記再生制御手段には、前記他のストリームのうち、現在再生出力が可能なストリームを検出し、検出結果に基づいて、前記表示画面の表示を制御させるようにすることができる。

再生されるものの選択を切替えることが可能な同一種類の前記ストリームがビデオストリームであり、前記第１のビデオストリームと合成されて再生される副のビデオストリームである第２のビデオストリームが複数存在する場合、前記再生制御手段には、前記第２のビデオストリームに対応する映像の切り替えを前記ユーザに選択させるように、前記表示画面の表示を制御させるようにすることができる。

本発明の第３の側面の再生方法は、主に再生される第１のビデオストリームおよび他のストリームのうち、再生されるものの選択を切替えることが可能な同一種類のストリームの切替えを指令するための切替え指令手段を備えるリモートコマンダから送信されるコマンドに基づいて、前記第１のビデオストリームとともに、前記他のストリームを再生出力可能な再生装置の再生方法であって、前記リモートコマンダから前記コマンドを受信し、受信された前記コマンドに基づいて、前記リモートコマンダの前記切替え指令手段により切替えが指令されるストリームの対象をユーザに選択させるための補助となる表示画面の表示を制御し、前記表示画面を参照した前記ユーザの操作入力に基づいて、前記第１のビデオストリームおよび前記他のストリームの再生を制御するステップを含む。

本発明の第３の側面のプログラムは、主に再生される第１のビデオストリームおよび他のストリームのうち、再生されるものの選択を切替えることが可能な同一種類のストリームの切替えを指令するための切替え指令手段を備えるリモートコマンダから送信されるコマンドに基づいて、前記第１のビデオストリームとともに、前記他のストリームを再生する処理をコンピュータに実行させるためのプログラムであって、前記リモートコマンダから前記コマンドを受信し、受信された前記コマンドに基づいて、前記リモートコマンダの前記切替え指令手段により切替えが指令されるストリームの対象をユーザに選択させるための補助となる表示画面の表示を制御し、前記表示画面を参照した前記ユーザの操作入力に基づいて、前記第１のビデオストリームおよび前記他のストリームの再生を制御するステップを含む処理をコンピュータに実行させる。

本発明の第３の側面においては、主に再生される第１のビデオストリームおよび他のストリームのうち、再生されるものの選択を切替えることが可能な同一種類のストリームの切替えを指令するための切替え指令手段を備えるリモートコマンダから送信されるコマンドが受信され、受信されたコマンドに基づいて、リモートコマンダの切替え指令手段により切替えが指令されるストリームの対象をユーザに選択させるための補助となる表示画面の表示が制御され、表示画面を参照したユーザの操作入力に基づいて、第１のビデオストリームおよび他のストリームの再生が制御される。

ネットワークとは、少なくとも２つの装置が接続され、ある装置から、他の装置に対して、情報の伝達をできるようにした仕組みをいう。ネットワークを介して通信する装置は、独立した装置どうしであっても良いし、１つの装置を構成している内部ブロックどうしであっても良い。

また、通信とは、無線通信および有線通信は勿論、無線通信と有線通信とが混在した通信、即ち、ある区間では無線通信が行われ、他の区間では有線通信が行われるようなものであっても良い。さらに、ある装置から他の装置への通信が有線通信で行われ、他の装置からある装置への通信が無線通信で行われるようなものであっても良い。

再生装置は、独立した装置であっても良いし、記録再生装置や情報処理装置の再生処理を行うブロックであっても良い。

本発明の第１の側面によれば、再生装置を制御することができ、特に、実際に再生装置において行われる動作の種類よりも少ない数のボタン等を用いて、複雑な操作を行うことなく、再生可能なストリームをユーザが容易に選択して、再生を指令することできる。

本発明の第２の側面によれば、複数のストリームをユーザの操作入力に基づいて再生することができ、特に、実際に再生装置において行われる動作の種類よりも少ない数のボタン等が設けられたリモートコマンダから送信されるコマンドに基づいて、再生されるストリームを切替えて、再生を制御することができる。

本発明の第３の側面によれば、複数のストリームをユーザの操作入力に基づいて再生することができ、特に、切替えが指令されるストリームの対象をユーザに選択させるための補助となる表示画面を表示することができるので、これを参照したユーザの操作入力を基に、再生されるストリームを切替えて、再生を制御することができる。

以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書または図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書または図面に記載されていることを確認するためのものである。従って、明細書または図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。

本発明の第１の側面のリモートコマンダは、ユーザからの操作入力を受け、主に再生される第１のビデオストリームとともに、他のストリームを再生出力可能な再生装置の動作を制御するためのコマンドを送信するリモートコマンダであって、前記第１のビデオストリームおよび前記他のストリームのうち、再生されるものの選択を切替えることが可能な同一種類のストリームの切替えを指令するための切替え指令手段（例えば、映像切替ボタン３２３、音声切替ボタン３２４、字幕切替ボタン３２５）と、前記切替え指令手段により切り替えが指令されるストリームを、前記第１のビデオストリームと合成されて再生される副のビデオストリームである第２のビデオストリーム（例えば、ＰｉｎＰビデオストリーム）、もしくは、前記第２のビデオストリームに対応つけられて再生される、ビデオストリームとは異なる種類のストリーム（例えば、ＰｉｎＰの音声または字幕のストリーム）か、または、前記第１のビデオストリームに対応つけられて再生される第１のオーディオストリーム（例えば、主音声）と合成されて再生される第２のオーディオストリーム（例えば、副音声）のうちのいずれかとする場合に操作される、指令対象ストリーム切替え手段（例えば、PinP/Audio Mix Shiftボタン３２２、PinP/Audio Mixボタン３６１）とを備える。

前記指令対象ストリーム切替え手段が操作されない場合に前記切替え指令手段により切り替えが指令されるストリームは、前記第１のビデオストリーム、前記第１のビデオストリームに対応つけられて再生される前記第１のオーディオストリーム（例えば、プライマリオーディオ）、または、前記第１のビデオストリームに対応つけられて再生される第１の字幕ストリーム（例えば、PG TextSTストリーム）であるものとすることができ、前記第２のビデオストリームに対応つけられて再生される、ビデオストリームとは異なる種類のストリームは、前記第２のビデオストリームに対応つけられて再生される第３のオーディオストリーム（例えば、ＰｉｎＰの音声ストリームであるPiP Primary audioストリーム）、または、前記第２のビデオストリームに対応つけられて再生される第２の字幕ストリーム（例えば、ＰｉｎＰの字幕である、PiP PG TextSTストリーム）であるものとすることができる。

前記第１のビデオストリームと合成されて再生される前記第２のビデオストリーム（例えば、ＰｉｎＰビデオストリーム）の表示の有無を指令する第２のビデオストリーム表示指令手段（例えば、PinP/Audio Mix On-Offボタン３２１）を更に備えることができる。

前記第１のビデオストリームに対応つけられて再生される前記第１のオーディオストリーム（例えば、主音声）と合成されて再生される前記第２のオーディオストリーム（例えば、副音声）の再生出力の有無を指令する第２のオーディオストリーム出力指令手段（例えば、PinP/Audio Mix On-Offボタン３２１）を更に備えることができる。

前記ユーザによる前記切替え指令手段および前記指令対象ストリーム切替え手段への操作入力を基に、前記再生装置へ送信する前記コマンドを発生するコマンド発生手段（例えば、図３２のコマンド発生制御部２９２）を更に備えることができ、前記コマンド発生手段は、前記ユーザによる前記切替え指令手段および前記指令対象ストリーム切替え手段への操作入力を基に、前記第１のビデオストリームおよび前記他のストリームのうちの切替えられるストリームが指定された前記コマンドを発生することができる。

本発明の第１の側面のコマンド発生方法は、ユーザからの操作入力を受け、主に再生される第１のビデオストリームとともに、他のストリームを再生出力可能な再生装置の動作を制御するためのコマンドを送信するリモートコマンダのコマンド発生方法であって、前記リモートコマンダは、前記第１のビデオストリームおよび前記他のストリームのうち、再生されるものの選択を切替えることが可能な同一種類のストリームの切替えを指令するための切替え指令手段（例えば、映像切替ボタン３２３、音声切替ボタン３２４、字幕切替ボタン３２５）と、前記切替え指令手段により切り替えが指令されるストリームの対象を変更する場合に操作される、指令対象ストリーム切替え手段（例えば、PinP/Audio Mix Shiftボタン３２２、PinP/Audio Mixボタン３６１）とを備え、前記ユーザから前記切替え指令手段の操作入力を受け、前記ユーザから前記指令対象ストリーム切替え手段の操作入力を受け、前記ユーザによる前記切替え指令手段および前記指令対象ストリーム切替え手段への操作入力を基に、前記再生装置へ送信する前記コマンドを発生し、発生された前記コマンドを、前記再生装置に送信するステップを含み、前記ユーザにより前記指令対象ストリーム切替え手段が操作された後、所定の一定の期間内に前記切替え指令手段が操作された場合、発生される前記コマンドを受信した前記再生装置において切り替えが指令されるストリームが、前記第１のビデオストリームと合成されて再生される副のビデオストリームである第２のビデオストリーム（例えば、ＰｉｎＰビデオストリーム）、もしくは、前記第２のビデオストリームに対応つけられて再生される、ビデオストリームとは異なる種類のストリーム（例えば、ＰｉｎＰの音声または字幕のストリーム）か、または、前記第１のビデオストリームに対応つけられて再生される第１のオーディオストリーム（例えば、主音声）と合成されて再生される第２のオーディオストリーム（例えば、副音声）のうちのいずれかとなるように、前記コマンドが発生されるステップを含む。

本発明の第１の側面のプログラムは、ユーザからの操作入力を受け、主に再生される第１のビデオストリームとともに、他のストリームを再生出力可能な再生装置の動作を制御するためのコマンドを送信するリモートコマンダの動作を制御するコンピュータが実行可能なプログラムであって、前記リモートコマンダは、前記第１のビデオストリームおよび前記他のストリームのうち、再生されるものの選択を切替えることが可能な同一種類のストリームの切替えを指令するための切替え指令手段（例えば、映像切替ボタン３２３、音声切替ボタン３２４、字幕切替ボタン３２５）と、前記切替え指令手段により切り替えが指令されるストリームの対象を変更する場合に操作される、指令対象ストリーム切替え手段（例えば、PinP/Audio Mix Shiftボタン３２２、PinP/Audio Mixボタン３６１）とを備え、前記ユーザから前記切替え指令手段の操作入力を受け、前記ユーザから前記指令対象ストリーム切替え手段の操作入力を受け、前記ユーザによる前記切替え指令手段および前記指令対象ストリーム切替え手段への操作入力を基に、前記再生装置へ送信する前記コマンドを発生し、発生された前記コマンドを、前記再生装置に送信するステップを含み、前記ユーザにより前記指令対象ストリーム切替え手段が操作された後、所定の一定の期間内に前記切替え指令手段が操作された場合、発生される前記コマンドを受信した前記再生装置において切り替えが指令されるストリームが、前記第１のビデオストリームと合成されて再生される副のビデオストリームである第２のビデオストリーム（例えば、ＰｉｎＰビデオストリーム）、もしくは、前記第２のビデオストリームに対応つけられて再生される、ビデオストリームとは異なる種類のストリーム（例えば、ＰｉｎＰの音声または字幕のストリーム）か、または、前記第１のビデオストリームに対応つけられて再生される第１のオーディオストリーム（例えば、主音声）と合成されて再生される第２のオーディオストリーム（例えば、副音声）のうちのいずれかとなるように、前記コマンドが発生されるステップを含む処理をコンピュータに実行させる。

本発明の第２の側面の再生装置は、主に再生される第１のビデオストリームおよび他のストリームのうち、再生されるものの選択を切替えることが可能な同一種類のストリームの切替えを指令するための切替え指令手段（例えば、映像切替ボタン３２３、音声切替ボタン３２４、字幕切替ボタン３２５）と、前記切替え指令手段により切り替えが指令されるストリームの対象を変更する場合に操作される、指令対象ストリーム切替え手段（例えば、PinP/Audio Mix Shiftボタン３２２、PinP/Audio Mixボタン３６１）とを備えるリモートコマンダから送信されるコマンドに基づいて、前記第１のビデオストリームとともに、前記他のストリームを再生出力可能な再生装置であって、前記リモートコマンダから前記コマンドを受信する受信手段（例えば、操作入力部２９）と、前記受信手段により受信された前記コマンドに基づいて、前記ユーザにより前記リモートコマンダの前記指令対象ストリーム切替え手段が操作された後、所定の一定の期間内に前記切替え指令手段が操作された場合、前記切替え指令手段により切り替えが指令されるストリームを、前記第１のビデオストリームと合成されて再生される副のビデオストリームである第２のビデオストリーム（例えば、ＰｉｎＰビデオストリーム）、もしくは、前記第２のビデオストリームに対応つけられて再生される、ビデオストリームとは異なる種類のストリーム（例えば、ＰｉｎＰの音声または字幕のストリーム）か、または、前記第１のビデオストリームに対応つけられて再生される第１のオーディオストリーム（例えば、主音声）と合成されて再生される第２のオーディオストリーム（例えば、副音声）のうちのいずれかであるものとして、前記第１のビデオストリームおよび前記他のストリームの再生を制御する再生制御手段（例えば、コントローラ２１）とを備える。

前記第１のビデオストリームおよび前記他のストリームがそれぞれ再生されるか否かを設定する第１の設定手段（例えば、disp_v_flagなど、メモリ２３に設けられているフラグ）と、再生が制御される前記第１のビデオストリームおよび前記他のストリームを個別に区別可能な区別情報を設定する第２の設定手段（例えば、メモリ２３に設けられている＃１乃至＃４レジスタのうちのストリームIDを設定する領域）とを更に備えることができ、前記再生制御手段は、前記受信手段により受信された前記コマンドに基づいて、前記第１の設定手段および前記第２の設定手段を設定することができる。

前記再生制御手段は、前記第１のビデオストリームおよび前記他のストリームの再生を制御するために用いられる再生制御情報（例えば、PlayItem）に含まれる、同時に再生可能なストリームの組み合わせを定義する定義情報（例えば、STN_Table）に基づいて、前記第１の設定手段および前記第２の設定手段を設定することができる。

本発明の第２の側面の再生方法は、主に再生される第１のビデオストリームおよび他のストリームのうち、再生されるものの選択を切替えることが可能な同一種類のストリームの切替えを指令するための切替え指令手段（例えば、映像切替ボタン３２３、音声切替ボタン３２４、字幕切替ボタン３２５）と、前記切替え指令手段により切り替えが指令されるストリームの対象を変更する場合に操作される、指令対象ストリーム切替え手段（例えば、PinP/Audio Mix Shiftボタン３２２、PinP/Audio Mixボタン３６１）とを備えるリモートコマンダから送信されるコマンドに基づいて、前記第１のビデオストリームとともに、前記他のストリームを再生出力可能な再生装置の再生方法であって、前記リモートコマンダから前記コマンドを受信し、受信された前記コマンドに基づいて、前記ユーザにより前記リモートコマンダの前記指令対象ストリーム切替え手段が操作された後、所定の一定の期間内に前記切替え指令手段が操作された場合に切り替えが指令されるストリームが、前記第１のビデオストリームと合成されて再生される副のビデオストリームである第２のビデオストリーム（例えば、ＰｉｎＰビデオストリーム）、もしくは、前記第２のビデオストリームに対応つけられて再生される、ビデオストリームとは異なる種類のストリーム（例えば、ＰｉｎＰの音声または字幕のストリーム）か、または、前記第１のビデオストリームに対応つけられて再生される第１のオーディオストリーム（例えば、主音声）と合成されて再生される第２のオーディオストリーム（例えば、副音声）のうちのいずれかとなるように、前記第１のビデオストリームおよび前記他のストリームの再生を制御するステップを含む。

本発明の第２の側面のプログラムは、主に再生される第１のビデオストリームおよび他のストリームのうち、再生されるものの選択を切替えることが可能な同一種類のストリームの切替えを指令するための切替え指令手段（例えば、映像切替ボタン３２３、音声切替ボタン３２４、字幕切替ボタン３２５）と、前記切替え指令手段により切り替えが指令されるストリームの対象を変更する場合に操作される、指令対象ストリーム切替え手段（例えば、PinP/Audio Mix Shiftボタン３２２、PinP/Audio Mixボタン３６１）とを備えるリモートコマンダから送信されるコマンドに基づいて、前記第１のビデオストリームとともに、前記他のストリームを再生する処理をコンピュータに実行させるためのプログラムであって、前記リモートコマンダから前記コマンドを受信し、受信された前記コマンドに基づいて、前記ユーザにより前記リモートコマンダの前記指令対象ストリーム切替え手段が操作された後、所定の一定の期間内に前記切替え指令手段が操作された場合に切り替えが指令されるストリームが、前記第１のビデオストリームと合成されて再生される副のビデオストリームである第２のビデオストリーム（例えば、ＰｉｎＰビデオストリーム）、もしくは、前記第２のビデオストリームに対応つけられて再生される、ビデオストリームとは異なる種類のストリーム（例えば、ＰｉｎＰの音声または字幕のストリーム）か、または、前記第１のビデオストリームに対応つけられて再生される第１のオーディオストリーム（例えば、主音声）と合成されて再生される第２のオーディオストリーム（例えば、副音声）のうちのいずれかとなるように、前記第１のビデオストリームおよび前記他のストリームの再生を制御するステップを含む処理をコンピュータに実行させる。

本発明の第３の側面の再生装置は、主に再生される第１のビデオストリームおよび他のストリームのうち、再生されるものの選択を切替えることが可能な同一種類のストリームの切替えを指令するための切替え指令手段（例えば、映像切替ボタン３２３、音声切替ボタン３２４、字幕切替ボタン３２５）を備えるリモートコマンダから送信されるコマンドに基づいて、前記第１のビデオストリームとともに、前記他のストリームを再生出力可能な再生装置であって、前記リモートコマンダから前記コマンドを受信する受信手段（例えば、操作入力部２９）と、前記受信手段により受信された前記コマンドに基づいて、前記リモートコマンダの前記切替え指令手段により切替えが指令されるストリームの対象をユーザに選択させるための補助となる表示画面の表示を制御するとともに、前記表示画面を参照した前記ユーザの操作入力に基づいて、前記第１のビデオストリームおよび前記他のストリームの再生を制御する再生制御手段（例えば、コントローラ２１）とを備える。

前記再生制御手段は、前記他のストリームのうち、現在再生出力が可能なストリームを検出し、検出結果に基づいて、前記表示画面の表示を制御することができる。

本発明の第３の側面の再生方法は、主に再生される第１のビデオストリームおよび他のストリームのうち、再生されるものの選択を切替えることが可能な同一種類のストリームの切替えを指令するための切替え指令手段（例えば、映像切替ボタン３２３、音声切替ボタン３２４、字幕切替ボタン３２５）を備えるリモートコマンダから送信されるコマンドに基づいて、前記第１のビデオストリームとともに、前記他のストリームを再生出力可能な再生装置の再生方法であって、前記リモートコマンダから前記コマンドを受信し、受信された前記コマンドに基づいて、前記リモートコマンダの前記切替え指令手段により切替えが指令されるストリームの対象をユーザに選択させるための補助となる表示画面の表示を制御し、前記表示画面を参照した前記ユーザの操作入力に基づいて、前記第１のビデオストリームおよび前記他のストリームの再生を制御するステップを含む。

本発明の第３のプログラムは、主に再生される第１のビデオストリームおよび他のストリームのうち、再生されるものの選択を切替えることが可能な同一種類のストリームの切替えを指令するための切替え指令手段（例えば、映像切替ボタン３２３、音声切替ボタン３２４、字幕切替ボタン３２５）を備えるリモートコマンダから送信されるコマンドに基づいて、前記第１のビデオストリームとともに、前記他のストリームを再生する処理をコンピュータに実行させるためのプログラムであって、前記リモートコマンダから前記コマンドを受信し、受信された前記コマンドに基づいて、前記リモートコマンダの前記切替え指令手段により切替えが指令されるストリームの対象をユーザに選択させるための補助となる表示画面の表示を制御し、前記表示画面を参照した前記ユーザの操作入力に基づいて、前記第１のビデオストリームおよび前記他のストリームの再生を制御するステップを含む処理をコンピュータに実行させる。

以下、図を参照して、本発明の実施の形態について説明する。

図５は、本発明を適用した再生装置５（図２４および図２５を参照して後述する）のローカルストレージ(例えば、ハードディスクやメモリなど)上の、または、装着される記録媒体上に記録されているコンテンツのアプリケーションフォーマットの例を示す図である。記録媒体は、後述する光ディスクの他、磁気ディスクや半導体メモリであってもよい。

アプリケーションフォーマットは、ＡＶ（Audio Visual）ストリームの管理のために、PlayListとClipの２つのレイヤを有している。ここでは、１つのＡＶストリームとそれに付随する情報であるClipインフォメーションのペアを１つのオブジェクトと考え、それらをまとめてClipと称する。以下、ＡＶストリームをＡＶストリームファイルとも称する。なお、AVストリームファイルには、音声データや映像データ以外にも、これらのデータとともに再生される各種のストリームファイルが含まれていてもよい。また、ClipインフォメーションをClipインフォメーションファイルとも称する。

一般的に、コンピュータ等で用いられるファイルはバイト列として扱われるが、ＡＶストリームファイルのコンテンツは時間軸上に展開され、Clipのアクセスポイントは、主に、タイムスタンプでPlayListにより指定される。すなわち、PlayListとClipは、ＡＶストリームの管理のためのレイヤである。

Clip中のアクセスポイントがタイムスタンプでPlayListにより示されている場合、Clip Informationファイルは、タイムスタンプから、ＡＶストリームファイル中のデコードを開始すべきアドレス情報を見つけるために使用される。

PlayListは、ＡＶストリームの再生区間の集まりである。あるＡＶストリーム中の１つの再生区間はPlayItemと呼ばれ、それは、時間軸上の再生区間のＩＮ点（再生開始点）とOUT点（再生終了点）のペアで表される。従って、PlayListは、図５に示されるように１つ、または複数のPlayItemにより構成される。

図５において、左から１番目のPlayListは２つのPlayItemから構成され、その２つのPlayItemにより、左側のClipに含まれるＡＶストリームの前半部分と後半部分がそれぞれ参照されている。また、左から２番目のPlayListは１つのPlayItemから構成され、それにより、右側のClipに含まれるＡＶストリーム全体が参照されている。さらに、左から３番目のPlayListは２つのPlayItemから構成され、その２つのPlayItemにより、左側のClipに含まれるＡＶストリームのある部分と、右側のClipに含まれるＡＶストリームのある部分がそれぞれ参照されている。

例えば、図５のディスクナビゲーションプログラムにより、そのときの再生位置を表す情報として、左から１番目のPlayListに含まれる左側のPlayItemが指定された場合、そのPlayItemが参照する、左側のClipに含まれるＡＶストリームの前半部分の再生が行われる。このように、PlayListは、ＡＶストリームファイルの再生を管理するための再生管理情報として用いられる。

ディスクナビゲーションプログラムは、PlayListの再生の順序や、PlayListのインタラクティブな再生をコントロールする機能を有する。また、ディスクナビゲーションプログラムは、各種の再生の実行をユーザが指示するためのメニュー画面を表示する機能なども有する。このディスクナビゲーションプログラムは、例えば、Java（登録商標）などのプログラミング言語で記述され、記録媒体上に用意される。

本実施の形態では、PlayListの中で、１つ以上のPlayItemの並びによって（連続するPlayItemにより）作られる再生パスをメインパス(Main Path)と称し、PlayListの中で、Main Pathに並行（並列）して、１つ以上のSub Pathの並びによって（非連続でもよいし、連続してもよいSubPlayItemにより）作られる再生パスをサブパス（Sub Path）と称する。すなわち、再生装置５（図２１および図２２を参照して後述する）内部のローカルストレージ上の、または、装着される記録媒体上のアプリケーションフォーマットは、メインパスに関連付けられて（合わせて）再生されるサブパス(Sub Path)をPlayListの中に持つ。

図６は、メインパスとサブパスの構造を説明する図である。PlayListは、１つのメインパスと１つ以上のサブパスを持つことができる。１つのメインパスは、１つ以上のPlayItemの並びによって作られ、１つのサブパスは、１つ以上のSubPlayItemの並びによって作られる。

図６の例の場合、PlayListは、３つのPlayItemの並びにより作られる１つのメインパスと、３つのサブパスを有している。メインパスを構成するPlayItemには、先頭から順番にそれぞれＩＤ（Identification）が付されている。具体的には、メインパスは、PlayItem_id＝０、PlayItem_id＝１、およびPlayItem_id＝２のPlayItemからなる。また、サブパスにも先頭から順番にSubpath_id＝０、Subpath_id＝１、およびSubpath_id＝２、とそれぞれＩＤが付されている。Subpath_id＝０のサブパスには、１つのSubPlayItemが含まれ、Subpath_id＝１のサブパスには、２つのSubPlayItemが含まれ、Subpath_id＝２のサブパスには、１つのSubPlayItemが含まれる。

Subpath_id＝０のサブパスに含まれるSubPlayItemが参照するストリームは、例えば、映画の日本語吹き替えの音声と想定され、Mainpathにより参照されるＡＶストリームファイルのオーディオストリームに替えて再生される場合が考えられる。また、Subpath_id＝１のサブパスに含まれるSubPlayItemが参照するストリームは、例えば、映画のディレクターズカットと想定され、Main Pathにより参照されるＡＶストリームファイルの所定の部分にのみ、映画監督などのコメントが入っている場合が考えられる。

１つのPlayItemが参照するClip ＡＶストリームファイルには、少なくともビデオストリームデータ（メイン画像データ）が含まれる。また、Clip ＡＶストリームファイルには、Clip ＡＶストリームファイルに含まれるビデオストリーム（メイン画像データ）と同じタイミングで（同期して）再生されるオーディオストリームが１つ以上含まれてもよいし、含まれなくてもよい。さらに、Clip ＡＶストリームファイルには、Clip ＡＶストリームファイルに含まれるビデオストリームと同じタイミングで再生されるビットマップ字幕ストリーム（Presentation Graphic stream）が１つ以上含まれてもよいし、含まれなくてもよい。また、Clip ＡＶストリームファイルには、Clip ＡＶストリームファイルに含まれるビデオストリームと同じタイミングで再生されるインタラクティブグラフィックスストリームが１つ以上含まれてもよいし、含まれなくてもよい。そして、Clip ＡＶストリームファイルに含まれるビデオストリームと、ビデオストリームと同じタイミングで再生されるオーディオストリーム、ビットマップ字幕ストリームファイル、またはインタラクティブグラフィックスストリームとは多重化されている。すなわち、１つのPlayItemが参照するClip ＡＶストリームファイルには、ビデオストリームデータと、そのビデオストリームに合わせて再生される０個以上のオーディオストリーム、０個以上のビットマップ字幕ストリームデータ、および０個以上のインタラクティブグラフィックスストリームデータとが多重化されている。

すなわち、１つのPlayItemが参照するClip ＡＶストリームファイルには、ビデオストリーム、オーディオストリーム、ビットマップ字幕ストリームファイル、または、インタラクティブグラフィックスストリームなどの、複数の種類のストリームが含まれている。

また、１つのSubPlayItemは、PlayItemが参照するClip ＡＶストリームファイルとは異なるストリーム（別ストリーム）の、ビデオストリームデータ、オーディオストリームデータ、または、字幕データなどを参照する。

メインパスのみを有するPlayListを再生する場合、ユーザによる音声切替えや字幕切替えという操作は、そのメインパスが参照するClipに多重化されているオーディオストリームとサブピクチャストリームの中からしか音声や字幕を選択することができない。これに対し、メインパスとサブパスを持つPlayListを再生する場合、そのメインパスが参照するClip ＡＶストリームファイルに多重化されているオーディオストリームとサブピクチャストリームに加えて、SubPlayItemが参照するClipのオーディオストリームやサブピクチャストリームを参照することもできる。

このように、１つのPlayListの中にSubPathを複数含め、それぞれのSubPathがそれぞれSubPlayItemを参照する構成としたので、拡張性の高い、また、自由度の高いＡＶストリームを実現することができる。すなわち、MainPathで参照されるClip ＡＶストリームに加えて、後で、SubPlayItemを追加できる構成とすることができる。

図７は、メインパスとサブパスの例を説明する図である。図７においては、メインパスと同じタイミングで（ＡＶ同期して）再生されるオーディオの再生パスを、サブパスを使用して表している。

図７のPlayListには、メインパスとして、PlayItem_id＝０である１つのPlayItemと、サブパスとして１つのSubPlayItemが含まれている。メインパスのPlayItem_id＝０である１つのPlayItem()は、メインClipＡＶストリームを参照している。SubPlayItem()には、以下に示すデータが含まれる。まず、SubPlayItem ()には、PlayListの中のSub Path（サブパス）が参照するClipを指定するためのClip_Information_file_nameが含まれる。図７の例の場合、SubPlayItemによって、SubClip_entry_id＝０のAuxiliary audio stream（オーディオストリーム）が参照されている。また、SubPlayItem ()には、Clip（ここでは、Auxiliary audio stream）の中のSub Pathの再生区間を指定するためのSubPlayItem_IN_timeとSubPlayItem_OUT_timeとが含まれる。さらに、SubPlayItem()には、Main pathの時間軸上でSub Pathが再生開始する時刻を指定するためのsync_PlayItem_idとsync_start_PTS_of_PlayItemとが含まれる。図７の例の場合、sync_PlayItem_id＝０とされ、sync_start_PTS_of_PlayItem＝ｔ１とされている。これにより、メインパスのPlayItem_id＝０の時間軸上でSub Pathが再生を開始する時刻ｔ１を指定することができる。すなわち、図７の例の場合では、メインパスの再生開始時刻ｔ１とサブパスの開始時刻ｔ１が同時刻であることを示している。

ここで、Sub Pathに参照されるオーディオのClip AVストリームは、STC不連続点（システムタイムベースの不連続点）を含んではならない。サブパスに使われるClipのオーディオサンプルのクロックは、メインパスのオーディオサンプルのクロックにロックされている。

換言すると、SubPlayItem（）には、Sub Pathが参照するClipを指定する情報、Sub Pathの再生区間を指定する情報、およびMain pathの時間軸上でSub Pathが再生を開始する時刻を指定する情報が含まれている。Sub Pathに使われるClip AVストリームがSTCを含まないため、SubPlayItem（）に含まれる情報（Sub Pathが参照するClipを指定する情報、Sub Pathの再生区間を指定する情報、およびMain pathの時間軸上でSub Pathが再生を開始する時刻を指定する情報）に基づいて、メインパスが参照するClip ＡＶストリーム（主に再生されるメインＡＶストリーム）とは異なるClip ＡＶストリームのオーディオストリームを参照して、再生することができる。

このように、PlayItemとSubPlayItemは、Clip ＡＶストリームファイルをそれぞれ管理するものであり、ここでは、PlayItemが管理するClip ＡＶストリームファイル（メインＡＶストリーム）とSubPlayItemが管理するClip ＡＶストリームファイルは異なるファイルとなりうる。

なお、図７の例と同様にして、メインパスと同じタイミングで再生される字幕ストリーム再生パスを、サブパスを使用して表すこともできる。

図８は、メインパスとサブパスの別の例を説明する図である。図８においては、メインパスと同じタイミングで（ＡＶ同期して）再生されるオーディオの再生パスを、サブパスを使用して表している。ここで、メインパスのPlayItemが参照するメインClipＡＶストリームファイルは、図７と同様であるので省略している。

例えば、メインパスにより参照されるClipＡＶストリームを１つの映画のコンテンツ（ＡＶコンテンツ）とし、サブパスのオーディオパスにより参照されるAuxiliary audio stream（Clip）をその映画に対する監督のコメントとし、メインパスで参照されるClipＡＶストリームのオーディオストリームにサブパスのオーディオパスで参照されるAuxiliary audio streamをミキシング（重ねて）再生するような場合に、このような構成が利用される。すなわち、ユーザが、映画を見ながら、その映画に対する監督のコメントを合わせて聞く指令を再生装置（プレーヤ）へ入力した場合、換言すれば、メインパスで参照されるClipＡＶストリームの音声と、サブパスのオーディオパスで参照されるAuxiliary audio streamとを、ミキシングして再生させる場合に利用される。

図８においては、メインパスに３つのPlayItemがPlayItem_id＝０，１，２と配置され、サブパス（Subpath_id＝０）に２つのSubPlayItemが配置されている。そして、Subpath_id＝０のSubPath（図１０にて後述する）で呼び出すSubPlayItem（図１２にて後述する）は、Auxiliary audio stream（SubClip_entry_id＝０の英語のAuxiliary audio streamのクリップ及びSubClip_entry_id＝１の日本語のAuxiliary audio streamのクリップ）のSubpathの再生区間を指定するための、SubPlayItem_IN_timeと、SubPlayItem_out_timeを含む。

図８と図７とを比較するに、図８においては、SubPlayItemによって、SubClip_entry_id＝０，１のAuxiliary audio stream（英語または日本語のオーディオストリーム）を参照することができる。すなわち、SubPlayItemを用いて、複数のオーディオストリームファイルを参照する構造を有し、このSubPlayItemを再生する場合には、複数のオーディオストリームファイルからオーディオストリームファイルが選ばれて再生される。図８の例の場合、英語のオーディオストリームファイルと日本語のオーディオストリームファイルのうち、１つのオーディオストリームファイルが選ばれて再生される。具体的には、subClip_entry_id＝０，１の中から（例えば、ユーザの指令に基づいて）１つが選択され、そのＩＤが参照するAuxiliary audio streamが再生される。また、これに加えて、さらにメインパスにより参照されるオーディオストリームとの組み合わせによる再生が選択された場合、メインパスで参照される１stオーディオストリームと、サブパスのオーディオパスで参照される２ndオーディオストリームファイルとが、ミキシングされて再生される。なお、２つのサブパスで参照される２つのオーディオストリームが、ミキシングされて再生されるようにすることも可能であるが、これについては後述する。

次に、図６乃至図８を用いて説明したメインパスとサブパスの構造を具体的に実現するためのデータ構造（シンタクス）を説明する。

図９は、PlayList()のシンタクスを示す図である。

lengthは、このlengthフィールドの直後からPlayList()の最後までのバイト数を示す３２ビットの符号なし整数である。すなわち、reserved_for_future_useからPlayListの最後までのバイト数を示すフィールドである。このlengthの後には、１６ビットのreserved_for_future_useが用意される。number_of_PlayItemsは、PlayListの中にあるPlayItemの数を示す１６ビットのフィールドである。例えば、図６の例の場合PlayItemの数は３個である。PlayItem_idの値は、PlayListの中でPlayItem()が現れる順番に０から割り振られる。例えば、図６および図８に示されるように、PlayItem_id＝０，１，２が割り振られる。

number_of_SubPathsは、PlayListの中にあるSubPathの数（エントリー数）を示す１６ビットのフィールドである。例えば、図６の例の場合、Sub Pathの数は３個である。SubPath_idの値は、PlayListの中でSubPath()が現れる順番に０から割り振られる。例えば、図６に示されるように、Subpath_id＝０，１，２が割り振られる。その後のfor文では、PlayItemの数だけPlayItemが参照され、Sub Pathの数だけ、Sub Pathが参照される。

図１０は、SubPath()のシンタクスを示す図である。

lengthは、このlengthフィールドの直後からSub Path ()の最後までのバイト数を示す３２ビットの符号なし整数である。すなわち、reserved_for_future_useからPlayListの最後までのバイト数を示すフィールドである。このlengthの後には、１６ビットのreserved_for_future_useが用意される。SubPath_typeは、SubPathのアプリケーション種類を示す８ビットのフィールドである。SubPath_typeは、例えば、Sub Pathがオーディオであるか、ビットマップ字幕であるか、テキスト字幕であるかなどの種類を示す場合に利用される。このSubPath_typeの第１の例については、図１１を参照して後述する。SubPath_typeの後には、１５ビットのreserved_for_future_useが用意される。is_repeat_SubPathは、SubPathの再生方法を指定する１ビットのフィールドであり、メインパスの再生の間にSubPathの再生を繰り返し行うか、またはSubPathの再生を１回だけ行うかを示すものである。例えば、メインＡＶストリームとサブパスが指定するClipに含まれるストリームとの再生タイミングが異なる場合（メインパスを静止画のスライドショーとし、サブパスのオーディオパスをメインパスのBGM(バックグラウンドミュージック)として使う場合など）に利用される。Is_repeat_SubPathの後には、８ビットのreserved_for_future_useが用意される。number_of_SubPlayItemsは、１つのSubPathの中にあるSubPlayItemの数（エントリー数）を示す８ビットのフィールドである。例えば、number_of_SubPlayItemsは、図６のSubPath_id＝０のSubPlayItemは１個であり、SubPath_id＝１のSubPlayItemは２個である。その後のfor文では、SubPlayItemの数だけ、SubPlayItemが参照される。

図１１は、SubPath_type（サブパスのタイプ）を説明する図である。すなわち、SubPathの種類は、例えば、図１１に示されるように定義することができる。

SubPath_type＝０乃至４の「Meaning」において、「Out-of-mux」という記述がなされている。この「Out-of-mux」という記述は、サブパスで参照されるＥＳ（Elementary Stream）が含まれるＴＳ（Transport Stream）と、メインパスで参照されるＥＳが含まれるＴＳとが異なっている場合のサブパスのタイプ（種類）、即ち、サブパスで参照されるＥＳが、メインパスで参照されるプレイアイテムが含まれるＴＳに多重化されていないサブパスのタイプ（種類）であることを示している。以下、かかる種類を、メインパスＴＳ非多重型のパスと称する。

また、「In-mux」という記述は、サブパスで参照されるＥＳが含まれるＴＳと、メインパスで参照される１以上のＥＳが含まれるＴＳとが同一の場合のサブパスのタイプ（種類）、即ち、サブパスで参照されるＥＳが、メインパスで参照されるＥＳを含むＴＳに多重化されているサブパスのタイプ（種類）であることを示している。換言すれば、メインクリップに含まれるメインTSに、メインのClip AVストリームと、サブのClip AVストリームとが含まれている状態である。以下、かかる種類を、メインパスＴＳ多重型のパスと称する。

また、SubPath_type＝２，３のように、メインパスで参照されるＥＳとサブパスで参照されるＥＳとが非同期である場合、そのサブパスのタイプ（種類）を、以下、非同期型のパスと称する。一方、SubPath_type＝４，５のように、メインパスで参照されるＥＳとサブパスで参照されるＥＳとが同期する場合、そのサブパスのタイプ（種類）を、以下、同期型のパスと称する。

SubPath_type＝０，１は、reservedとされている。SubPath_type＝２は、Audio presentation path of the Browsable slideshow（プラウザブルスライドショーのオーディオプレゼンテーションパス）とされている。例えば、SubPath_type＝２は、プレイリストの中において、サブパスで参照されるオーディオプレゼンテーションパスと、プレイアイテムで参照されるメインパスとが非同期であることを示している。

SubPath_type＝３は、Interactive graphics presentation menu（インタラクティブグラフィックスのプレゼンテーションメニュー）とされている。例えば、SubPath_type＝３は、プレイリストの中において、サブパスで参照されるインタラクティブグラフィックスのメニューと、プレイアイテムで参照されるメインパスとが非同期であることを示している。

SubPath_type＝４は、Text subtitle presentation path（テキスト字幕のプレゼンテーションパス）とされている。例えば、SubPath_type＝４は、プレイリストの中において、サブパスで参照されるテキスト字幕のプレゼンテーションパスと、プレイアイテムで参照されるメインパスとが同期していることを示している。

SubPath_type＝５は、メインパスＴＳ非多重型、かつ、同期型のパスであって、１本以上のＥＳ(Primary audio/PG/IG/Secondary audio)のパスや、ピクチャインピクチャプレゼンテーションパスとされている。すなわち、SubPath_type＝５は、2nd Audio Presentation path（２番目のオーディオプレゼンテーションパス）（２ndオーディオストリームを参照するためのパス）や、2nd Video Presentation path（２番目のビデオプレゼンテーションパス）（２ndビデオストリームを参照するためのパス）を含むものである。

ここで、ピクチャインピクチャプレゼンテーションパスとは、例えば、１画面のうちの、全画面に、メインパスで参照されるＡＶストリームに対応する映画本編等のコンテンツを再生させるとともに、全画面内の一部に配置される子画面に、サブパスで参照されるＡＶストリームに対応する映画の監督のコメンタリー等の別のコンテンツを再生させるように、主となる映像の中に、副の映像を同時表示する、ピクチャインピクチャ手法（例えば、図２３を用いて後述する）において、所定のプライマリビデオストリーム（メインパスで参照されるビデオストリーム）についての、プライマリオーディオストリーム、セカンダリビデオストリーム、セカンダリオーディオストリーム、および、サブタイトルストリームのうちの１以上のパス（そのようなサブパスのタイプ）であることをいう。

SubPath_type＝６は、メインパスＴＳ非多重型、かつ、非同期型のパスであって、ピクチャインピクチャプレゼンテーションパス（１以上のＥＳのパス）とされている。

SubPath_type＝７は、メインパスＴＳ多重型、かつ、同期型のパスであって、ピクチャインピクチャプレゼンテーションパス（１以上のＥＳのパス）とされている。

そして、SubPath_type=8乃至255は予備(reserved)とされている。

ここで、SubPath_type=７においては、メインパスＴＳ多重型であるので、PlayItemにより参照されるMainTS（Main Transport Stream）、すなわち、メインClip AVストリームには、SubPathにより参照されるSubST（Sub Stream）も含まれる。

メインパスＴＳ非多重型の場合、および、メインパスＴＳ多重型の場合のそれぞにおけるPlayListとClipとの関係、並びに、ClipにおけるTS(Transport Stream)およびST(erementary STream)のそれぞれの関係については、図２８乃至図３０を用いて後述する。

図１２は、SubPlayItem(i)のシンタクスを示す図である。

lengthは、このlengthフィールドの直後からSub playItem ()の最後までのバイト数を示す１６ビットの符号なし整数である。

図１２においては、SubPlayItemが１つのClip を参照する場合と、複数のClip を参照する場合に分けられている。

最初に、SubPlayItemが１つのClipを参照する場合について説明する。

SubPlayItemには、Clipを指定するためのClip_Information_file_ name[0]が含まれる。また、Clipのコーディック方式を指定するClip_codec_identifier［0］、reserved_for_future_use、マルチクリップの登録の有無を示すフラグであるis_multi_Clip_entries、STC不連続点（システムタイムベースの不連続点）に関する情報であるref_to_STC_id［0］を含む。is_multi_Clip_entriesのフラグが立っている場合、SubPlayItemが複数のClipを参照する場合のシンタクスが参照される。また、Clipの中にあるSub Pathの再生区間を指定するためのSubPlayItem_IN_timeとSubPlayItem_OUT_timeを含む。さらに、main pathの時間軸上でSub Pathが再生開始する時刻を指定するためsync_PlayItem_id と sync_start_PTS_of_PlayItemを含む。このsync_PlayItem_id と sync_start_PTS_of_PlayItemは、上述したように、図７と図８の場合（メインＡＶストリームとサブパスにより示されるファイルに含まれるストリームの再生タイミングが同じである場合）に使用され、メインＡＶストリームとサブパスにより示されるファイルに含まれるストリームの再生タイミングが異なる場合（例えば、静止画により構成されるスライドショーのBGMのように、メインパスにより参照される静止画像とサブパスにより参照されるオーディオとが同期しない場合）には使用されない。また、SubPlayItem_IN_time、SubPlayItem_OUT_time、sync_PlayItem_id、sync_start_PTS_of_PlayItemは、SubPlayItemが参照するClipにおいて共通に使用される。

次に、SubPlayItemが複数のClipを参照する場合（if（is_multi_Clip_entries＝＝１ｂ）である場合、すなわちマルチクリップの登録が行われている場合）について説明する。具体的には、図８に示されるように、SubPlayItemが複数のClip を参照する場合を示す。

num_of_Clip_entriesは、Clipの数を示しており、Clip_Information_file_name[SubClip_entry_id]の数が、Clip_Information_file_ name[0]を除く、Clipsを指定する。すなわち、Clip_Information_file_ name[0]を除く、Clip_Information_file_ name[１]、Clip_Information_file_ name[２]などのClipを指定する。また、SubPlayItemは、Clipのコーディック方式を指定するClip_codec_identifier[SubClip_entry_id]、STC不連続点（システムタイムベースの不連続点）に関する情報であるref_to_STC_id[SubClip_entry_id]、およびreserved_for_future_useを含む。

なお、複数のClipの間で、SubPlayItem_IN_time, SubPlayItem_OUT_time、sync_PlayItem_id、およびsync_start_PTS_of_PlayItemは共通して使われる。図８の例の場合、SubPlayItem_IN_time, SubPlayItem_OUT_time、sync_PlayItem_id、およびsync_start_PTS_of_PlayItemは、SubClip_entry_id＝０とSubClip_entry_id＝１との間で共通して使用されるものであり、選択されたSubClip_entry_idに対するText based subtitleがこのSubPlayItem_IN_time, SubPlayItem_OUT_time、sync_PlayItem_id、およびsync_start_PTS_of_PlayItemに基づいて再生される。

ここで、SubClip_entry_idの値は、SubPlayItemの中にあるClip_Information_file_name[SubClip_entry_id]が現れる順番に１から割り振られる。また、Clip_Information_file_ name[0]のSubClip_entry_idは０である。

図１３は、PlayItem()のシンタクスを示す図である。

lengthは、このlengthフィールドの直後からPlayItem()の最後までのバイト数を示す１６ビットの符号なし整数である。Clip_Information_file_ name[0]は、PlayItemが参照するClipを指定するためのフィールドである。図７の例の場合、Clip_Information_file_ name[0]により、メインClipＡＶストリームファイルが参照される。また、PlayItem()には、Clipのコーディック方式を指定するClip_codec_identifier［0］、reserved_for_future_use、マルチアングル構造であるか否かを示すフラグであるis_multi_angle、connection_condition、STC不連続点（システムタイムベースの不連続点）に関する情報であるref_to_STC_id［0］が含まれる。さらに、PlayItem()には、Clipの中のPlayItemの再生区間を指定するためのIN_time と OUT_timeが含まれる。図７の例の場合、IN_time と OUT_timeにより、メインClipＡＶストリームファイルの再生範囲が表される。また、PlayItem()には、UO_mask_table()、PlayItem_random_access_mode、still_modeが含まれる。

上述したフラグis_multi_angleの値が例えば「１」とされていれば、このプレイアイテムがマルチアングルであるとされ、if以下に、マルチアングルのための情報が記述される。

number_of_anglesは、アングル数を表すフィールドである。is_seamless_angle_changeは、アングルがシームレスに切り替え可能なように、すなわち、アングル間をなめらかに切り替えることができる状態に各アングルが記録媒体上に配置されているか否かを表すフィールドである。

次のforループには、アングルを構成するクリップの情報が記述される。Forループ中のClip_Information_file_nameは、このプレイアイテムが参照しているクリップと１対１に対応するクリップ情報ファイル（拡張子が「clpi」であるファイル）のファイル名が文字列で示されるフィールドである。Clip_codec_identifierは、コーディックの種類に関する情報が記載されるフィールドである。ref_to_STC_idは、このプレイアイテムにより参照されるクリップ内のシーケンスSTC_sequenceを指定するフィールドである。

PlayItem()の中のSTN_table()は、対象のPlayItemとそれに関連付けられて再生される１つ以上のSubPathが用意されている場合に、例えば、音声切り替えや字幕切り替え、または、子画面の表示非表示の選択を指令するユーザの操作入力、または、アプリケーションによるコマンドの発生などによって、そのPlayItemが参照するClipとこれらの１つ以上のSubPathが参照するClipの中から、再生されるストリームを選択することができる仕組みを提供するための情報である。

例えば、PlayItem()とそれに関連付けられて再生される１つ以上のSubPathが用意されている場合に、Main Pathを構成するPlayItemが参照するClipに含まれるビデオストリームをプライマリビデオストリーム(Primary video stream)とし、SubPathを構成するSubPlayItemが参照するClipに含まれるビデオストリームをセカンダリビデオストリーム(secondary video stream)としたり、または、PlayItemが参照するClip（メインClip）に含まれるビデオストリームのうちの２つのビデオストリームを、それぞれプライマリビデオストリームとセカンダリビデオストリームとして、これらをミキシングして、全画面(プライマリビデオストリーム)と子画面(セカンダリビデオストリーム)で再生することができる仕組みを提供するようにした。このような手法は、ピクチャインピクチャ(Picture in Picture)手法と称される。

また、同様にして、例えば、PlayItem()とそれに関連付けられて再生される１つ以上のSubPathが用意されている場合に、Main Pathを構成するPlayItemが参照するClipに含まれるオーディオストリームをプライマリオーディオストリーム(Primary audio stream)とし、SubPathを構成するSubPlayItemが参照するClipに含まれるオーディオストリームをセカンダリオーディオストリーム(secondary audio stream)としたり、または、PlayItemが参照するClip（メインClip）に含まれるオーディオストリームのうちの２つのオーディオストリームを、それぞれプライマリオーディオストリームとセカンダリオーディオストリームとして、これらをミキシングして再生することができる仕組みを提供するようにした。

そして、プライマリビデオストリームと同時に再生され得るストリームとして、ここでは、次の第１乃至第４の種類のストリームが用意される。

第１の種類のストリームとは、STN_tableにおいてPrimary_audio_stream_idで定義されるオーディオストリーム、即ち、上述したプライマリオーディオストリームである。

第２の種類のストリームとは、STN_tableにおいてSecondary_video_stream_idで定義されるビデオストリーム、すなわち、上述したセカンダリビデオストリームである。

第３の種類のストリームとは、STN_tableにおいてSecondary_audio_stream_idで定義されるオーディオストリーム、即ち、上述したセカンダリオーディオストリームである。

第４の種類のストリームとは、サブパスで参照されるテキスト字幕ストリーム(txtST)や、DVDのサブピクチャ、または、所定のGUI表示画面のようなビットマップデータをランレングス符号化したストリーム（PG, Presentation Graphics stream）等であり、STN_tableにおいて、PG_txtST_stream_id、IG_stream_idで定義される。

STN_table()は、これらのストリームの組み合わせを定義する情報である。

次に、図１４および図１５を用いて、STN_table()のシンタクスについて説明する。

このSTN_table()は、プライマリビデオストリームと組み合わせて同時再生され得る、セカンダリビデオストリーム、プライマリオーディオストリーム、セカンダリオーディオストリーム、および、サブタイトルストリームの組み合わせを定義するにあたって、特に、セカンダリオーディオストリームとプライマリオーディオストリームとの組み合わせ、セカンダリビデオストリームとセカンダリオーディオストリームとの組み合わせ、セカンダリビデオストリームとピクチャインピクチャアプリケーション用のプレゼンテーショングラフィックス（ＰＧ）またはテキスト字幕の組み合わせを定義する。

lengthは、このlengthフィールドの直後からSTN_table()の最後までのバイト数を示す１６ビットの符号なし整数である。lengthの後には、１６ビットのreserved_for_future_useが用意される。

number_of_primary_video_stream_entriesは、STN_table()の中でエントリーされる（登録される）primary_video_stream_idが与えられるストリーム数を示す。primary_video_stream_idは、ビデオストリームを識別するための情報であり、primary_video_stream_numberは、ビデオ切り替えに使われる、ユーザから見えるビデオストリーム番号である。

number_of_primary_audio_stream_entriesは、STN_table()の中でエントリーされるprimary_audio_stream_idが与えられるストリーム数を示す。primary_audio_stream_idは、オーディオストリームを識別するための情報であり、primary_audio_stream_numberは、音声切り替えに使われるユーザから見えるオーディオストリーム番号である。

number_of_PG_txtST_stream_entriesは、STN_table()の中でエントリーされるPG_txtST_stream_idが与えられるストリーム数を示す。この中では、DVDのサブピクチャ、または、所定のGUI表示画面のようなビットマップデータをランレングス符号化したストリーム（PG, Presentation Graphics stream）とテキスト字幕ファイル(txtST)がエントリーされる。PG_txtST_stream_idは、字幕ストリームを識別するための情報であり、PG_txtST_stream_numberは、字幕切り替えに使われるユーザから見える字幕ストリーム番号（テキストサブタイトルストリームの番号）である。

number_of_IG_stream_entriesは、STN_table()の中でエントリーされる IG_stream_idが与えられるストリーム数を示す。この中では、インタラクティブグラフィックスストリーム（IG）がエントリーされる。IG_stream_idは、インタラクティブグラフィックスストリームを識別するための情報であり、IG_stream_numberは、グラフィックス切り替えに使われるユーザから見えるグラフィックスストリーム番号である。

なお、インタラクティブグラフィックスストリームにより再生されるインタラクティブグラフィックメニュー（Interactive graphics presentation menu）は、例えば、ユーザの操作入力を受けることが可能なボタンやアイコン、または、サムネイルなどのアイテムを含ませることができる。インタラクティブグラフィックメニューには、ユーザによるON/OFFの操作入力を基に、インタラクティブグラフィックを表示させたり、表示を取り消したりすることが可能な“Pop-up menu”と、インタラクティブグラフィックが常時表示される“Always-on”の２種類の表示方法が用意されている。

number_of_secondary_audio_stream_entriesは、STN_table()の中でエントリーされる（登録される）secondary_audio_stream_idが与えられるストリーム数を示す。secondary_audio_stream_idは、オーディオストリームを識別するための情報であり、secondary_audio_stream_numberは、オーディオ切り替えに使われる、ユーザから見えるオーディオストリーム番号である。

number_of_secondary_video_stream_entriesは、STN_table()の中でエントリーされる（登録される）secondary_video_stream_idが与えられるストリーム数を示す。secondary_video_stream_idは、ビデオストリームを識別するための情報であり、secondary_video_stream_numberは、ビデオ切り替えに使われる、ユーザから見えるビデオストリーム番号である。

そして、number_of_PiP_PG_textST_stream_entries_plusは、STN_table()の中でエントリーされる（登録される）ピクチャインピクチャ用の字幕ストリーム（PiP_PG_textST_stream）のストリーム数を示す。

また、STN_table()でエントリーされるnumber_of_primary_audio_stream_entriesのオーディオストリームは、後述する図２１の再生装置５の図２２を用いて説明するＡＶデコーダ部２６の１stオーディオデコーダ７５−１でデコードされるオーディオストリームであり、STN_table()でエントリーされるnumber_of_secondary_audio_stream_entriesのオーディオストリームは、後述する図２１の再生装置５の図２２を用いて説明するＡＶデコーダ部２６の２ndオーディオデコーダ７５−２でデコードされるオーディオストリームである。このように、STN_table()では、２つのオーディオデコーダのそれぞれにデコードさせるオーディオストリームをエントリーすることができる。

なお、以下において、図２２を用いて後述するＡＶデコーダ部２６の１stオーディオデコーダ７５−１でデコードされるnumber_of_primary_audio_stream_entriesのオーディオストリームをオーディオストリーム＃１と称し（さらに、オーディオストリーム＃１は、後述するように、プライマリ（Primary）オーディオストリームと称される場合もある）、図２２を用いて後述するＡＶデコーダ部２６の２ndオーディオデコーダ７５−２でデコードされるnumber_of_secondary_audio_stream_entriesのオーディオストリームをオーディオストリーム＃２と称する（さらに、オーディオストリーム＃２は、後述するように、セカンダリ（Secondary）オーディオストリームと称される場合もある）。また、オーディオストリーム＃１は、オーディオストリーム＃２よりも優先されるオーディオストリームであるものとする。

また、STN_table()でエントリーされるnumber_of_primary_video_stream_entriesのビデオストリームは、後述する図２１の再生装置５の図２２を用いて説明するＡＶデコーダ部２６の１stビデオデコーダ７２−１でデコードされるビデオストリームであり、STN_table()でエントリーされるnumber_of_secondary_video_stream_entriesのビデオストリームは、後述する図２１の再生装置５の図２２を用いて説明するＡＶデコーダ部２６の２ndビデオデコーダ７２−２でデコードされるビデオストリームである。このように、STN_table()では、２つのビデオデコーダのそれぞれにデコードさせるビデオストリームをエントリーすることができる。

なお、以下において、図２２を用いて後述するＡＶデコーダ部２６の１stビデオデコーダ７２−１でデコードされるnumber_of_primary_video_stream_entriesのビデオストリームをビデオストリーム＃１と称し（さらに、ビデオストリーム＃１は、後述するように、プライマリ（Primary）ビデオストリームと称される場合もある）、図２２を用いて後述するＡＶデコーダ部２６の２ndビデオデコーダ７２−２でデコードされるnumber_of_secondary _video_stream_entriesのビデオストリームをビデオストリーム＃２と称する（さらに、ビデオストリーム＃２は、後述するように、セカンダリ（Secondary）ビデオストリームと称される場合もある）。また、ビデオストリーム＃１は、ビデオストリーム＃２よりも優先されるビデオストリームであるものとする。

プライマリビデオストリームＩＤ (primary_video_stream_id)のforループの中で、順番にstream_entry()ごとに特定される１つのビデオエレメンタリストリームに、０からprimary_video_stream_idが与えられる。なお、プライマリビデオストリームＩＤ（primary_video_stream_id）の代わりに、プライマリビデオストリーム番号（primary_video_stream_number）を用いるようにしてもよい。この場合、primary_video_stream_numberは、０ではなく１から与えられる。すなわち、primary_video_stream_idの値に１を加算したものがprimary_video_stream_numberである。ビデオストリーム番号は、ビデオ切り替えに使われる、ユーザから見えるビデオストリーム番号であるので、１から定義される。

それぞれのforループの中のstream_entry（）については、図１６を用いて後述する。

また、それぞれのforループの中のstream_attribute()は、stream_entry()ごとに特定される１つのエレメンタリストリームのストリーム属性情報を与える。すなわち、このstream_attribute()には、stream_entry()ごとに特定される１つのエレメンタリストリームのストリーム属性情報が記述されている。stream_attribute（）については、図１７を用いて後述する。

また、同様に、プライマリオーディオストリームＩＤ (primary_audio_stream_id)のforループの中で、順番にstream_entry()ごとに特定される１つのオーディオエレメンタリストリームに、０からprimary_audio_stream_idが与えられる。なお、ビデオストリームの場合と同様に、プライマリオーディオストリームＩＤ（primary_audio_stream_id）の代わりに、プライマリオーディオストリーム番号（primary_audio_stream_number）を用いるようにしてもよい。この場合、primary_audio_stream_numberは、０ではなく１から与えられる。すなわち、primary_audio_stream_idの値に１を加算したものがprimary_audio_stream_numberである。オーディオストリーム番号は、音声切り替えに使われる、ユーザから見えるオーディオストリーム番号であるので、１から定義される。

同様に、字幕ストリームＩＤ (PG_txtST_stream_id)のforループの中で、順番にstream_entry()ごとに特定される１つのビットマップ字幕エレメンタリストリームまたはテキスト字幕に、０からPG_txtST_stream_idが与えられる。また、PiP_ PG_txtST_streamについても、同様にして、連続したIDが与えられる。ビデオストリームの場合と同様に、字幕ストリームＩＤ（PG_txtST_stream_id）の代わりに、字幕ストリーム番号（PG_txtST_stream_number）を用いるようにしてもよい。この場合、PG_txtST_stream_numberは、０ではなく１から与えられる。すなわち、PG_txtST_stream_idの値に１を加算したものがPG_txtST_stream_numberである。字幕ストリーム番号は、字幕切り替えに使われるユーザから見える字幕ストリーム番号（テキストサブタイトルストリームの番号）であるので、１から定義される。

同様に、グラフィックスストリームＩＤ (IG_stream_id)のforループの中で、順番にstream_entry()ごとに特定される１つのインタラクティブグラフィックスエレメンタリストリームに、０からIG_stream_idが与えられる。なお、ビデオストリームの場合と同様に、グラフィックスストリームＩＤ（IG_stream_id）の代わりに、グラフィックスストリーム番号（IG_stream_number）を用いるようにしてもよい。この場合、IG_stream_numberは、０ではなく１から与えられる。すなわち、IG_stream_idの値に１を加算したものがIG_stream_numberである。グラフィックスストリーム番号は、グラフィックス切り替えに使われるユーザから見えるグラフィックスストリーム番号であるので、１から定義される。

また、同様に、セカンダリオーディオストリームＩＤ (secondary_audio_stream_id)のforループの中で、順番にstream_entry()ごとに特定される１つのオーディオエレメンタリストリームに、０からsecondary_audio_stream_idが与えられる。なお、ビデオストリームの場合と同様に、セカンダリオーディオストリームＩＤ（secondary_audio_stream_id）の代わりに、セカンダリオーディオストリーム番号（secondary_audio_stream_number）を用いるようにしてもよい。この場合、secondary_audio_stream_numberは、０ではなく１から与えられる。すなわち、secondary_audio_stream_idの値に１を加算したものがsecondary_audio_stream_numberである。セカンダリオーディオストリーム番号は、音声切り替えに使われる、ユーザから見えるセカンダリオーディオストリーム番号であるので、１から定義される。

そして、comb_info_Secondary_audio_Primary_audio()のブロックは、セカンダリオーディオとプライマリオーディオの組み合わせを示す。

comb_info_Secondary_audio_Primary_audio()のブロック内において、number_of_primary_audio_stream_ref_entriesの８ビットのフィールドは、セカンダリオーディオストリームと組み合わせることが出来るプライマリオーディオストリームの数を示す。そして、primary_audio_stream_id_refの８ビットのフィールドは、セカンダリオーディオストリームと組み合わせることが出来るプライマリオーディオストリームのIDを示す。

また、同様に、セカンダリビデオストリームＩＤ (secondary_video_stream_id)のforループの中で、順番にstream_entry()ごとに特定される１つのオーディオエレメンタリストリームに、０からsecondary_video_stream_idが与えられる。なお、ビデオストリームの場合と同様に、セカンダリビデオストリームＩＤ（secondary_video_stream_id）の代わりに、セカンダリビデオストリーム番号（secondary_video_stream_number）を用いるようにしてもよい。この場合、secondary_video_stream_numberは、０ではなく１から与えられる。すなわち、secondary_video_stream_idの値に１を加算したものがsecondary_video_stream_numberである。セカンダリビデオストリーム番号は、音声切り替えに使われる、ユーザから見えるセカンダリビデオストリーム番号であるので、１から定義される。

次に、comb_info_Secondary_video_Secondary_audio()のブロックは、セカンダリビデオストリームとセカンダリオーディオストリームの組み合わせを示す。

comb_info_Secondary_video_Secondary_audio()のブロック内において、number_of_Secondary_audio_stream_ref_entriesの８ビットのフィールドは、セカンダリビデオストリームと組み合わせることが出来るセカンダリオーディオストリームの数を示す。そして、Secondary_audio_stream_id_refの８ビットのフィールドは、セカンダリビデオストリームと組み合わせることが出来るセカンダリオーディオストリームのIDを示す。

そして、comb_info_Secondary_video_PiP_PG_textST()のブロックは、セカンダリビデオストリームとピクチャインピクチャアプリケーション用のPG・テキスト字幕のストリームの組み合わせを示す。

comb_info_Secondary_video_PiP_PG_textST()のブロック内において、number_of_PiP_PG_textST_ref_entriesの８ビットのフィールドは、セカンダリビデオストリームと組み合わせることが出来るPIPアプリケーション用のPG・テキスト字幕のストリームの数を示す。また、PiP_PG_textST_stream_id_refの８ビットのフィールドは、セカンダリビデオストリームと組み合わせることが出来るピクチャインピクチャアプリケーション用のPG・テキスト字幕のストリームのIDを示す。

このようなSTN_tableを用いることにより、プライマリビデオストリームと同時再生され得る、セカンダリビデオストリーム、プライマリオーディオストリーム、セカンダリオーディオストリーム、および、サブタイトルストリーム（PG TextSTストリーム）の組み合わせに加えて、ピクチャインピクチャアプリケーション用のPG・テキスト字幕ストリーム（PiP PG TextSTストリーム）の組み合わせとして矛盾するような組み合わせを選択することを防ぐようにすることができる。

ここで、stream_entry()のシンタクスについて図１６を参照して説明する。

lengthは、このlengthフィールドの直後からstream_entry ()の最後までのバイト数を示す８ビットの符号なし整数である。typeは、上述したストリーム番号が与えられるストリームを一意に特定するために必要な情報の種類を示す８ビットのフィールドである。

type＝１では、PlayItemによって参照されるClip(Main Clip)の中に多重化されている複数のエレメンタリストリームの中から１つのエレメンタリストリームを特定するために、１６ビットのパケットID(PID)が指定される。ref_to_stream_PID_of_mainClipが、このPIDを示している。すなわち、type＝１では、メインClipＡＶストリームファイルの中のPIDを指定するだけでストリームが決定される。

type＝２では、SubPathが一度に複数個のClipsを参照し、それぞれのClipが複数のエレメンタリストリームを多重化する場合に、SubPathによって参照される１つのClip(SubClip)の複数のエレメンタリストリームの中から１つのエレメンタリストリームを特定するために、そのSubPathのSubPath_id、Clip id、およびパケットID(PID)が指定される。ref_to_SubPath_idがこのSubPath_idを示し、ref_to_SubClip_entry_idがこのClip idを示し、ref_to_stream_PID_of_SubClipがこのPIDを示している。SubPlayItemの中で複数のClipが参照され、さらにこのClipに複数のエレメンタリストリームが参照されている場合に用いられる。

ここで、SubPath_type=７においては、PlayItemにより参照されるMainTS、すなわち、メインClip AVストリームには、SubPathにより参照されるSubST（Sub Stream）も含まれる。

すなわち、このStream_entry()において定義されているｔｙｐｅ＝３は、対応するPlayItemにおいてSubPath_type=７の場合に、MainClipに含まれ、SubPathによって参照されるエレメンタリストリームを識別するためのものである。

すなわち、type＝３では、SubPathがMainPathと同じClipを参照し、換言すれば、MainClipに複数のエレメンタリストリームが多重化され、MainPathとSubPathとのいずれも、MainClipに多重化されているエレメンタリストリームのうちのいずれかを参照している場合に、SubPath_type=７において、MainClipの複数のエレメンタリストリームの中から、SubPathによって参照される１つのエレメンタリストリームを再生時に特定するために、ref_to_stream_PID_of_MainClipにより、MainClipのパケットID(PID)が指定される。また、ref_to_SubPath_idによりSubPath_idが示され、このSubPath_idにより図９のPlayList()で定義されたSubPathが特定され、このSubpathから対応するSubPlayItemが呼び出されることにより（図１０）、エレメンタリストリームの再生時間（In_time, Out_time）等を把握することができる（図１２）ようになされている。

このように、type（type１乃至type３の３つのtype）を使うことで、PlayItemとそれに関連付けられて再生される１つ以上のSubPathが用意されている場合に、このPlayItemが参照するClipが、さらに、SubPathから参照されている場合であっても、Clipの中から１つのエレメンタリストリームを特定することができる。

次に、stream_attribute()のシンタクスについて図１７を参照して説明する。

lengthは、このlengthフィールドの直後からstream_attribute()の最後までのバイト数を示す１６ビットの符号なし整数である。

stream_coding_typeは、エレメンタリストリームの符号化タイプを示す。エレメンタリストリームの符号化タイプとしては、MPEG-2 video stream、HDMV LPCM audio、Dolby AC-3 audio、dts audio、Presentation graphics stream、Interactive graphics stream、およびText subtitle streamが記述される。なお、このstream_coding_typeを拡張し、MPEG−4 AVC、VC−1等の他のコーディックにより圧縮されたビデオストリームを扱えるようにしてもよい。

video_formatは、ビデオエレメンタリストリームのビデオフォーマットを示す。ビデオエレメンタリストリームのビデオフォーマットとしては、４８０ｉ、５７６ｉ、４８０ｐ、１０８０ｉ、７２０ｐ、および１０８０ｐが記述される。

frame_rateは、ビデオエレメンタリストリームのフレームレートを示す。ビデオエレメンタリストリームのフレームレートとしては、２４０００／１００１、２４、２５、３００００／１００１、５０、および６００００／１００１が記述される。

aspect_ratioは、ビデオエレメンタリストリームのアスペクト比情報を示す。ビデオエレメンタリストリームのアスペクト比情報としては、４：３ display aspect ratio、および１６：９ display aspect ratioが記述される。

audio_presentation_typeは、オーディオエレメンタリストリームのプレゼンテーションタイプ情報を示す。オーディオエレメンタリストリームのプレゼンテーションタイプ情報としては、single mono channel、dual mono channel、stereo(2-channel)、およびmulti-channelが記述される。

sampling_frequencyは、オーディオエレメンタリストリームのサンプリング周波数を示す。オーディオエレメンタリストリームのサンプリング周波数としては、４８ｋHz、および９６ｋHzが記述される。

audio_language_codeは、オーディオエレメンタリストリームの言語コード(日本語、韓国語、中国語など)を示す。

PG_language_codeは、ビットマップ字幕エレメンタリストリームの言語コード(日本語、韓国語、中国語など)を示す。

IG_language_code、インタラクティブグラフィックスエレメンタリストリームの言語コード(日本語、韓国語、中国語など)を示す。

textST_language_codeは、テキスト字幕エレメンタリストリームの言語コード(日本語、韓国語、中国語など)を示す。

character_codeは、テキスト字幕エレメンタリストリームのキャラクタコードを示す。テキスト字幕エレメンタリストリームのキャラクタコードとしては、Unicode V1.1(ISO 10646-1)、Shift JIS（Japanese）、KSC 5601-1987 including KSC 5653 for Roman character(Korean)、GB 18030-2000(Chinese)、GB2312(Chinese)、およびBIG５(Chinese)が記述される。

以上説明したように、図１４と図１５の例の第１のSTN_tableを採用することで、ピクチャインピクチャ手法を実現することが可能になる。

このとき、同一Clip AV Stream内の２以上のＥＳ（セカンダリビデオストリームやセカンダリオーディオストリーム等）を１つのサブパスで参照できるように、即ち、同一Clip AV Stream内の２以上のＥＳを１つのSPIとして定義できるようなSubPath_typeの種類、即ち、例えば図１１を用いて説明したSubPath_typeの種類を採用すると好適である。

ただし、PlayListの作成者は、ピクチャインピクチャ手法を実現するために、どのような種類のストリームの組み合わせが可能であり、どのような種類のストリームの組み合わせが不可能であるのかを自分自身で判断した上で、PlayListを作成しなければいけない、といった困難な作業が必要になる。

そこで、PlayListの種類に応じて、作成可能（そのPlayListに含めることが可能なサブパス）を、図１１を用いて説明したSubPath_typeにより制限するものとすると好適である。なお、以下、かかる手法を、サブパス制限手法と称する。

サブパス制限手法を適用することで、１つのPlayListに含め得るサブパスが限定されるため、作成者にとっては、PlayListにどのようなサブパスを含めるのかを判断した上でサブパスを作成することが容易になり、ひいては、PlayListの作成自体も容易になる、という効果を奏することが可能になる。

以下、サブパス制限手法について、詳しく説明していく。

ただし、サブパス制限手法では、再生装置が一度に読み出すことが可能なＴＳの数によって、その制限内容が変化する。本実施の形態では、上述したように、再生装置が一度に読み出すことが可能なＴＳは２つとされている。そこで、以下、再生装置が一度に読み出すことが可能なＴＳは２つである場合のサブパス制限手法について説明していく。

本実施の形態では、PlayListは、Browsable Slideshow（非同期型）と、Movie Type/Time-based Slideshow（同期型）といった２種類に大別される。PlayListの種類が非同期型であるのか或いは同期型であるのかといった区別は、そのPlayListにより参照されるClipのclip_Information_fileに含まれるapplication_type（アプリケーションタイプ）に従って行うことが可能である。

application_typeは、あるClipについてのClip Informationファイル中のClipInfo()に記述されている。ただし、ここでは、説明の簡略上、ClipInfo()のシンタクスの説明については省略し、以下、そのClipInfo()に記述され得るapplication_typeの種類についてのみ、図１８を参照して説明する。

即ち、図１８は、application_typeの種類の例を説明する図である。

図１８に示されるように、application_type=0は、予備（reserved）とされている。application_type=１は、映画のアプリケーション用のMain TSとされている。ここで「Main TS」とは、PlayListにおいてメインパスにより参照されるPlayItemとしてのTransport stream、即ち、Main TSを指している。application_type=2は、Time-based Slideshow用のMain TS、即ち、画像のスライドショー用のMain TSとされている。application_type=3は、Browsable Slideshow用のTS、即ち、ビデオのスライドショー用のMain TSとされている。

application_type=4は、SubPath用のBrowsable SlideshowのTSとされている。これは、例えば、上述したapplication_type=3と非同期で再生されるBGM（サウンド）データを保持するClip AVストリームに対してのClip Info()に付与される。application_type=5は、SubPathのインタラクティブグラフィックス用のTSとされている。application_type=6は、SubPathのテキストサブタイトル（テキスト字幕データ）用のTSとされている。application_type=7は、1つ以上のES(エレメンタリストリーム)を含むSubPath用のTSとされている。application_type=8乃至255は、予備（reserved）とされている。

そして、application_type=１乃至application_type=6で表されるClip AV Stream Fileは、ストレージドライブ２２を介して記録媒体１１から取得されるか、または、ローカルストレージ２４から取得される。これに対して、application_type=7で表されるClip AV Stream Fileは、ローカルストレージ２４から取得され、ストレージドライブ２２を介して記録媒体１１から取得されない。

そこで、本実施の形態では、PlayListにより参照されるMain TSについてのClipInfo()に記述されているapplication_typeが、application_type=3の場合、そのPlayListはBrowsable Slideshow（非同期型）に分類され、application_type=1or2の場合、そのPlayListはMovie Type/Time-based Slideshow（同期型）に分類されるとする。

この場合、PlayListの種類（非同期型または同期型）に対する、そのPlayListが持ち得るSubPath（サブパス）の組み合わせは、図１９に示される組み合わせのみ許可する、という制限がサブパス制限手法により課されることになる。

図１９において、「number of SubPaths」の項目には、PlayListにより示されるMain TSが持ち得る、左方の「SubPath_type」の項目に示される種類のSubPathの個数が記述されている。

また、図１９における「SubPath_type」の項目の各記述値（SubPath_typeの種類）は、図１１の例の種類に対応している。

図１９に示されるように、PlayListの種類が非同期型の場合、即ち、application_type(of Main TS)=3であるBrowsable slideshowの場合、（１）０本以上のSubPath_type=2のSubPath、（２）０本以上のSubPath_type=3のSubPathのみが許可される。換言すると、（１）と（２）以外のSubPathの組み合わせは禁止される。

また、（２）の組み合わせであっても、application_type=3のMain TSにIGが含まれる場合には、SubPath_type=3のSubPathは禁止される（図１９中＊２参照）。これは、次の制約によるものである。

即ち、IGの観点に立つと、IGを含むPlayListは、次の第１の種類と第２の種類に大別される。第１の種類とは、参照されるMain TSにIGが多重化されていて、そのMain TSのAudio/VideoとIGが同期再生される、という種類をいう。第２の種類とは、SubPath_type=3のSubPathを含み、IGはプリロードされる（このIGはポップアップメニューに使われる）、という種類をいう。

また、本実施の形態の再生装置はIGデコーダを1つしか有しないため、具体的には、例えば、後述する図２１の再生装置５の図２２のＡＶデコーダ部２６は、インタラクティブグラフィックスデコーダ７４を1つしか有しないため、次の制限が課せられている。即ち、上述した第１の種類のPlayListでは、IGデコーダがMain TSのIGをデコード中に、別のIGをプリロードできない、という制限が課せられている。一方、上述した第２のPlayListでは、IGデコーダ中にプリロードされた第１のIGが入力されている状態のとき、別のMain TSからの第２のIGをIGデコーダへ入力できない、という制限が課せられている。

以上のことから、Main TSに多重化されているIGを参照するSTN_table()を含むPlayListは、SubPath_type=3のSubPathを持てないという制約が課せられることになる。かかる制約のため、application_type=3のMainTSにIGが含まれる場合には、SubPath_type=3のSubPathは禁止される、としたのである（図１９中＊２参照）。

一方、PlayListの種類が同期型の場合、即ち、application_type(of Main TS)=1 or 2であるMovie Type/Time-based Slideshowの場合、(３)０本以上のSubPath_type=3のSubPath、（４）０本以上のSubPath_type=4のSubPath、（５）０本以上のSubPath_type=5のSubPath、（６）０本以上のSubPath_type=6のSubPath、（７）０本または1本のSubPath_type=７のSubPathのみが許可される。換言すると、SubPath_type=2のSubPathの組み合わせは禁止される。

また、（３）の組み合わせであっても、application_type=3のMainTSにIGが含まれる場合、または、SubPath_type=5のSubPathが参照するTSにIGが含まれる場合には、SubPath_type=3のSubPathは禁止される（図１９中＊１参照）。これも、上述した制約によるものである。

さらに、本実施の形態では、上述したように、PlayListが一度に参照することができるClipの数、すなわち、再生装置が一度に読み出すことが可能なＴＳは、多くても２つとされている。そこで、同一のPlayListにより参照されるESが多くても２つのClipに含まれていること、すなわち、同時に再生されるESは、多くても２つのClip AVストリームファイルから同時に参照されることを保証するために、次に示される条件を満たすという制限が、サブパス制限手法により課せられている。

即ち、サブパス制限手法により課せられている、STN_table（）によって参照される、primary_video_stream、primary_audio_stream、Text subtitle stream以外のPG_textST_stream、IG for Pop-up menu以外のIG_stream、secondary_video_stream、および、secondary_audio_streamのそれぞれを組み合わせる時の条件とは、次の通りである。

ある値のprimary_video_stream_numberで特定されるES、ある値のprimary_audio_stream_number で特定されるES、ある値のPG_textST_stream_numberで特定されるES、ある値のIG_stream_number valueで特定されるES、ある値の secondary_video_stream_numberで特定されるES、ある値のsecondary_audio_stream_numberで特定されるESにおいて、同時に再生可能である組み合わせは、多くても２つのPlayListによって同時に参照されるClip AVストリームファイルに格納されている必要がある。

なお、STN_table（）によって参照されるESは、3本以上のClip AVストリームファイルに格納されていてもよいが、同時に再生可能であるESは、そのうちの多くても２つのClip AVストリームファイルに格納されるようになされている。

また、PlayList内にあるPlayItem（MainPath）とSubPathの数の組み合わせは、図２０に示されるように、次の（ａ）乃至（ｃ）のうちのいずれかの組み合わせである必要がある、という制限もサブパス制限手法により課せられている。即ち、（ａ）の組み合わせとは、1つのPlayItemのみの組み合わせ（図２０中、一番上の行の組み合わせ）をいう。（ｂ）の組み合わせとは、1つのPlayItemと1つのSubPathとの組み合わせ（図２０中、中央の行の組み合わせ）をいう。（ｃ）の組み合わせとは、1つのPlayItemと1つSubPathと1つのSubPath_type=7のSubPathとの組み合わせ、即ち、1つのPlayItemと２つSubPath（ただし、そのうちの１つのSubPath_type=7であること）との組み合わせ（図２０中、一番下の行の組み合わせ）をいう。

以上説明した各種制限による結果として、所定の種類のPlayListについて作成可能なSubPath_typeを制限する、といった手法が、サブパス制限手法の一例である。

換言すると、サブパス制限手法とは、PlayListの種類（上述した例では、Main TSのapplication_typeで区別される種類）、再生装置が一度に読み出すことが可能なＴＳの数（上述した例では２つ）、および、PlayListのサブパス(SubPath)で参照されるＥＳにプリロードされるIGが含まれているか否か（上述した例ではSubPath_type=3等のSubPathであるか否か）といった条件（制限）が存在し、これらの条件を満たすように、そのPlayListに含めるSubPathを決定する、ひいては、そのようにして決定したSubPathを含むPlayListを作成する、といった手法であるともいえる。

次に、上述したシンタクスを有するデータを再生することができる再生装置の構成例について説明する。図２１は、本発明を適用した再生装置５の構成例を示すブロック図である。この再生装置５は、上述したメインパスとサブパスを有するPlayListを再生する再生装置５である。

コントローラ２１は、予め用意されている制御プログラムを実行するか、または、ストレージドライブ２２を制御して、例えば、光ディスクなどの記録媒体１１に記録されている、または、ローカルストレージ２４に記録されているナビゲーションプログラムを読み出し、メモリ２３に展開して実行することで、再生装置５の全体の動作を制御する。例えば、コントローラ２１は、記録媒体１１が装着されたとき、または、ユーザが所定の操作入力を行った場合、所定のメニュー画面を外部の表示装置に表示させることができる。

ストレージドライブ２２は、コントローラ２１による制御に従って記録媒体１１からデータを読み出し、読み出したデータを、コントローラ２１、メモリ２３、または、ＡＶデコーダ部２６に出力する。記録媒体１１から読み出された情報が、ナビゲーションプログラムやPlayListなどであった場合、ストレージドライブ２２により読み出された情報は、コントローラ２１、または、メモリ２３に出力される。記録媒体１１から読み出された情報が、ＡＶストリームやテキストデータであった場合、ストレージドライブ２２により読み出された情報は、ＡＶデコーダ部２６に出力される。

メモリ２３は、コントローラ２１が各種の処理を実行する上において必要なデータなどを適宜記憶する。さらに、メモリ２３の記憶領域の一部には、再生装置５の再生処理において必要な情報が設定される各種のレジスタが設けられている。

コントローラ２１は、予め用意されている制御プログラム、または、ストレージドライブ２２を制御して、例えば、光ディスクなどの記録媒体１１に記録されている、または、ローカルストレージ２４に記録されているナビゲーションプログラムに基づいて、または、操作入力部２９により取得されたユーザの操作入力に基づいて、メモリ２３にも受けられている各種のレジスタの値や、レジスタ内のフラグの値を設定するとともに、これらのレジスタやフラグの値に基づいて、ＡＶデコーダ部２６による再生動作を制御する。

ローカルストレージ２４は、例えば、HDD(Hard Disk Drive)などより構成される。

インターネットインタフェース２５は、有線または無線によりネットワーク６に接続されており、コントローラ２１からの制御に従って、ネットワーク６を介して、サーバ７との間で通信を行い、サーバ７からダウンロードされたデータをローカルストレージ２４に供給する。サーバ７からは、例えば、そのとき再生装置５に装着されている記録媒体１１に記録されている、図５を用いて説明したデータをアップデートさせるデータがコンテンツとしてダウンロードされる。ローカルストレージ２４は、サーバ７からネットワーク６経由でダウンロードしたコンテンツを記録することができる。

ＡＶデコーダ部２６は、ストレージドライブ２２、または、ローカルストレージ２４から供給されるＡＶストリーム、または、テキストデータをデコードし、得られたビデオ信号とオーディオ信号を外部の表示装置に出力する。表示装置においては、ＡＶデコーダ部２６によりデコードされた信号に基づいて、例えば、記録媒体１１に記録されているコンテンツの出力（映像の表示、音声の出力）が行われる。

操作入力部２９は、例えば、ボタン、キー、タッチパネル、ジョグダイヤル、マウスなどの入力デバイスや、所定のリモートコマンダから送信される赤外線などの信号を受信する受信部により構成され、ユーザの操作入力を取得し、コントローラ２１に供給する。リモートコマンダの構成およびリモートコマンダを用いた映像、音声、字幕の変更などの詳細については、後述する。

また、コントローラ２１には、必要に応じてドライブ２７も接続されており、ドライブ２７には、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM（Compact Disk-Read Only Memory)，DVDを含む）、光磁気ディスク（ＭＤ（登録商標）（Mini-Disk）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア２８が装着される。

図２２は、図２１の再生装置５のＡＶデコーダ部２６の構成例を示すブロック図である。

図２２の例の場合、最初に、コントローラ２１がストレージドライブ２２、または、ローカルストレージ２４からPlayListファイルを読み出し、PlayListファイルの情報に基づいて、ストレージドライブ２２を介してHDD、Blu−ray Disc（商標）、またはDVDなどの記録媒体１１から、または、ローカルストレージ２４から、ＡＶストリームやＡＶデータを読み出す。ユーザは、操作入力部２９を用いて、コントローラ２１に対し、音声や字幕などの切替えの指令を行うことができる。また、コントローラ２１は、メモリ２３のレジスタに登録されている再生装置５の言語設定の初期情報を含む各種設定情報を読み込む。

PlayListファイルには、Main Path、Sub Pathの情報の他、STN_table()が含まれている。コントローラ２１は、PlayListファイルに含まれるPlayItemが参照するメインClip AVストリームファイル、SubPlayItemが参照するサブClip AVストリームファイル、およびSubPlayItemが参照するテキストサブタイトルデータを、ストレージドライブ２２を介して記録媒体１１またはローカルストレージ２４から読み出す。ここで、PlayItemが参照するメインClip AVストリームファイルとSubPlayItemが参照するサブClip AVストリームファイルとが、異なる記録媒体に記録されていてもよい。例えば、メインClip AVストリームファイルが記録媒体１１に記録されており、対応するサブClip AVストリームファイルは図示せぬネットワーク６を介して供給され、HDDなどのローカルストレージ２４に記憶されたものであってもよい。また、コントローラ２１は、メモリ２３のレジスタに登録されている各種設定情報を参照して、自分自身（再生装置５）の再生機能に対応する、または、ユーザが所望するエレメンタリストリームを選択し、再生するよう制御したり、再生装置５の言語設定の初期情報に対応するエレメンタリストリームを選択し、再生するよう制御する。

ＡＶデコーダ部２６には、バッファ５１乃至５４、PIDフィルタ５５、PIDフィルタ５６、スイッチ５７乃至５９、PIDフィルタ６１、バックグラウンドデコーダ７１、１stビデオデコーダ７２−１、２ndビデオデコーダ７２−２、プレゼンテーショングラフィックスデコーダ７３、インタラクティブグラフィックスデコーダ７４、１stオーディオデコーダ７５−１、２ndオーディオデコーダ７５−２、Text-STコンポジション７６、スイッチ７７、プリロード用バッファ７８、バックグラウンドプレーン生成部９１、１stビデオプレーン生成部９２−１、２ndビデオプレーン生成部９２−２、プレゼンテーショングラフィックスプレーン生成部９３、インタラクティブグラフィックスプレーン生成部９４、バッファ９５、ビデオデータ処理部９６、ミキシング処理部９７、およびミキシング処理部１０１が設けられている。

１stビデオデコーダ７２−１と２ndビデオデコーダ７２−２は、ともにビデオストリームをデコードする。１stビデオデコーダ７２−１は、２ndビデオデコーダ７２−２よりも優先的に使用されるビデオデコーダである。すなわち、デコードするビデオストリームが１つしかない場合、そのビデオストリームがメインClip AVストリームファイルに含まれるビデオストリームであっても、サブClip AVストリームファイルに含まれるビデオストリームであっても、１stビデオデコーダ７２−１でデコードされる。すなわち、再生装置５は、２つのビデオストリームをデコードするために、２つのビデオデコーダ（１stビデオデコーダ７２−１、２ndビデオデコーダ７２−２）を有している。なお、以下において、１stビデオデコーダ７２−１と２ndビデオデコーダ７２−２とを個々に区別しない場合、ビデオデコーダ７２と称する。また、primary_video_stream_idで与えられるビデオストリームをデコードするためのものが１stビデオデコーダ７２−１であり、secondary_video_stream_idで与えられるビデオストリームをデコードするためのものが２ndビデオデコーダ７２−２である。

同様に、１stオーディオデコーダ７５−１と２ndオーディオデコーダ７５−２は、ともにオーディオストリームをデコードする。１stオーディオデコーダ７５−１は、２ndオーディオデコーダ７５−２よりも優先的に使用されるオーディオデコーダである。すなわち、デコードするオーディオストリームが１つしかない場合、そのオーディオストリームがメインClip AVストリームファイルに含まれるオーディオストリームであっても、サブClip AVストリームファイルに含まれるオーディオストリームであっても、１stオーディオデコーダ７５−１でデコードされる。すなわち、再生装置５は、２つのオーディオストリームをデコードするために、２つのオーディオデコーダ（１stオーディオデコーダ７５−１、２ndオーディオデコーダ７５−２）を有している。なお、以下において、１stオーディオデコーダ７５−１と２ndオーディオデコーダ７５−２とを個々に区別しない場合、オーディオデコーダ７５と称する。また、primary_audio_stream_idで与えられるオーディオストリームをデコードするためのものが１stオーディオデコーダ７５−１であり、secondary_audio_stream_idで与えられるオーディオストリームをデコードするためのものが２ndオーディオデコーダ７５−２である。

コントローラ２１により読み出されたファイルデータは、図示せぬ復調、ＥＣＣ復号部により、復調され、復調された多重化ストリームに誤り訂正が施される。スイッチ３２は、復調され、誤り訂正が施されたデータを、コントローラ２１からの制御に基づいて、ストリームの種類ごとに選択し、対応するバッファ５１乃至５４に供給する。具体的には、コントローラ２１は、コントローラ２１からの制御に基づいて、バックグラウンドイメージデータをバッファ５１に供給し、メインClip AVストリームファイルのデータをバッファ５２に供給し、サブClipのデータをバッファ５３に供給し、Text-STのデータをバッファ５４に供給するようスイッチ３２を切替える。バッファ５１は、バックグラウンドイメージデータをバッファリングし、バッファ５２は、メインClip AVストリームファイルのデータをバッファリングし、バッファ５３は、サブClip AVストリームファイルのデータをバッファリングし、バッファ５４は、Text-STデータをバッファリングする。

メインClip AVストリームファイルは、ビデオとオーディオとビットマップ字幕(Presentation Graphics stream)とインタラクティブグラフィックスのうち、ビデオに加えて１つ以上のストリームを多重化したストリーム（例えばトランスポートストリーム）である。サブClip AVストリームファイルは、ビデオとビットマップ字幕(Presentation Graphics stream)とインタラクティブグラフィックスとオーディオのうち、１つ以上のストリームを多重化したストリームである。なお、テキストサブタイトルデータファイル（Text-ST）のデータは、トランスポートストリームのような多重化ストリームの形式であっても、そうでなくてもよい。

また、メインClip AVストリームファイルとサブClip AVストリームファイルおよびテキストサブタイトルデータを、ストレージドライブ２２（記録媒体１１）から読み出すときに、それぞれのファイルを時分割に交互に読み出しても良いし、または、サブClip AVストリームファイルやテキストサブタイトルデータをメインClipから読み出す前に、すべてバッファ(バッファ５３またはバッファ５４)へプリロードしてもよい。

再生装置５は、これらのファイルのデータを、ストレージドライブ２２を介して記録媒体１１から読み出し、ビデオ、ビットマップ字幕、インタラクティブグラフィックス、およびオーディオを再生する。

具体的には、メインClip AVストリームファイル用リードバッファであるバッファ５２から読み出されたストリームデータは、所定のタイミングで、後段のPID（パケットＩＤ）フィルタ５５へ出力される。このPIDフィルタ５５は、入力されたメインClip AVストリームファイルをPID（パケットＩＤ）に応じて、後段の各エレメンタリストリームのデコーダへ振り分けて出力する。すなわち、PIDフィルタ５５は、ビデオストリームを１stビデオデコーダ７２−１または２ndビデオデコーダ７２-２に供給するために、PIDフィルタ６１に供給し、プレゼンテーショングラフィックスストリームをプレゼンテーショングラフィックスデコーダ７３への供給元となるスイッチ５７に供給し、インタラクティブグラフィックスストリームをインタラクティブグラフィックスデコーダ７４への供給元となるスイッチ５８に供給し、オーディオストリームを１stオーディオデコーダ７５−１への供給元となるスイッチ５９に供給する。

プレゼンテーショングラフィックスストリームは、例えば、ビットマップの字幕データであり、テキストサブタイトルデータは、例えば、テキスト字幕データである。

サブClip AVストリームファイル用リードバッファであるバッファ５３から読み出されたストリームデータは、所定のタイミングで、後段のPID（パケットＩＤ）フィルタ５６へ出力される。このPIDフィルタ５６は、入力されたサブClip AVストリームファイルをPID（パケットＩＤ）に応じて、後段の各エレメンタリストリームのデコーダへ振り分けて出力する。すなわち、PIDフィルタ５６は、ビデオストリームを１stビデオデコーダ７２−１または２ndビデオデコーダ７２-２に供給するために、PIDフィルタ６１に供給し、プレゼンテーショングラフィックスストリームをプレゼンテーショングラフィックスデコーダ７３への供給元となるスイッチ５７に供給し、インタラクティブグラフィックスストリームをインタラクティブグラフィックスデコーダ７４への供給元となるスイッチ５８に供給し、メインClipのオーディオストリームとサブClip AVストリームファイルのオーディオストリームを１stオーディオデコーダ７５−１と２ndオーディオデコーダ７５−２への供給元となるスイッチ５９に供給する。

AVデコータ部２６は、ピクチャインピクチャ手法を実現するために、プライマリビデオストリームとセカンダリビデオストリームとをデコードする必要がある。このため、プライマリビデオストリーム用の1stビデオデコーダ７２と1stビデオプレーン生成部９２−１に加えて、セカンダリビデオストリーム用の2ndビデオデコーダ７２−１と2ndビデオプレーン生成部９２−１が設けられている。

また、PIDフィルタ６１には、メインClipAV Streamのビデオストリーム、または、サブClip AV Streamのビデオストリームが、PIDフィルタ５５またはPIDフィルタ５６を介して入力されてくる。そこで、PIDフィルタ６１は、入力されたビデオストリームを、そのPID（パケットID)に応じて、後段の1stビデオデコーダ７２−１または2ndビデオデコーダ７２−２に振り分けて出力する。即ち、PIDフィルタ６１は、基本的には、プライマリビデオストリームが入力された場合には、そのプライマリビデオストリームを1stビデオデコーダ７２−１に供給し、セカンダリビデオストリームが入力された場合には、そのセカンダリビデオストリームを2ndビデオデコーダ７２−２に供給する。

なお、本実施の形態では、プライマリビデオストリームとして、メインClipAV Streamのビデオストリームのみが利用され、サブClip AV Streamのビデオストリームは利用されないとされている。ただし、将来、サブClip AV Streamのビデオストリームもプライマリビデオストリームとして利用され得ることも考慮して、PIDフィルタ５６から供給されたサブClip AV Streamのビデオストリームも１stビデオデコーダ７２−１に供給され得るように、PIDフィルタ６１が構成されている。すなわち、Subpathにより指定されたサブClipに含まれるビデオストリームのみを再生し、ビデオストリームの再生にメインClipを使わず、オーディオストリームの再生は、サブClip、もしくは、メインClipを用いる場合である。従って、ビデオストリーム、オーディオストリームの再生に、メインクリップを使わず（MainPathを使わず）、SubClipのみを用いた（SubPathのみを用いた）再生とする構成も可能である。

バックグラウンドイメージデータをバッファリングするバッファ５１から読み出されたデータは、所定のタイミングでバックグラウンドデコーダ７１に供給される。バックグラウンドデコーダ７１は、バックグラウンドイメージデータをデコードし、デコードしたバックグラウンドイメージデータをバックグラウンドプレーン生成部９１に供給する。

PIDフィルタ５５およびPIDフィルタ６１により振り分けられたビデオストリームは、後段の１stビデオデコーダ７２−１または２ndビデオデコーダ７２−２のうちの対応するデコーダに供給される。１stビデオデコーダ７２−１は、供給されたビデオストリームをデコードし、デコードしたビデオデータを１stビデオプレーン生成部９２−１へ出力する。２ndビデオデコーダ７２−２は、供給されたビデオストリームをデコードし、デコードしたビデオデータを２ndビデオプレーン生成部９２−２へ出力する。

スイッチ５７は、PIDフィルタ５５から供給されたメインClip AVストリームファイルに含まれるプレゼンテーショングラフィックスストリームと、サブClip AVストリームファイルに含まれるプレゼンテーショングラフィックスストリームのうちのいずれか１つを選択し、選択したプレゼンテーショングラフィックスストリームを、後段のプレゼンテーショングラフィックスデコーダ７３に供給する。プレゼンテーショングラフィックスデコーダ７３は、プレゼンテーショングラフィックスストリームをデコードし、デコードしたプレゼンテーショングラフィックスストリームのデータをプレゼンテーショングラフィックスプレーン生成部９３への供給元となるスイッチ７７に供給する。

また、スイッチ５８は、PIDフィルタ５５から供給されたメインClip AVストリームファイルに含まれるインタラクティブグラフィックスストリームと、サブClip AVストリームファイルに含まれるインタラクティブグラフィックスストリームのうちのいずれか１つを選択し、選択したインタラクティブグラフィックスストリームを、後段のインタラクティブグラフィックスストリームデコーダ７４に供給する。すなわち、インタラクティブグラフィックスデコーダ７４へ同時に入力されるインタラクティブグラフィックスストリームは、メインClip AVストリームファイルまたはサブClip AVストリームファイルのどちらかから分離されたストリームである。インタラクティブグラフィックスデコーダ７４は、インタラクティブグラフィックスストリームをデコードし、デコードしたインタラクティブグラフィックスストリームのデータを、プリロード用バッファ７８にバッファリングした後、インタラクティブグラフィックスプレーン生成部９４に供給する。

プリロード用バッファ７８は、インタラクティブグラフィックスデコーダ７４から供給されたインタラクティブグラフィックスストリームを一時記憶する。上述したように、本実施の形態では、再生装置５には、一度に２つのＴＳしか読み出せないという制限が課せられている。そこで、再生装置５は、インタラクティブグラフィックスストリームを予め取得しておくことで（プリロードしておくことで）、ビデオストリームやオーディオストリームを再生するときに、プリロードしておいたインタラクティブグラフィックスストリームも同時再生することができる、といった機能を有している。このため、プリロードされたインタラクティブグラフィックスストリームを、ビデオストリームやオーディオストリームが再生されるタイミングまで保存しておくために、プリロード用バッファ７８が設けられている。

さらに、スイッチ５９は、PIDフィルタ５５から供給されたメインClip AVストリームファイルに含まれるオーディオストリームと、PIDフィルタ５６から供給されたサブClip AVストリームファイルに含まれるオーディオストリームのうちのいずれか１つを選択し、選択したオーディオストリームを、後段の１stオーディオデコーダ７５−１または、２ndオーディオデコーダ７５−２に供給する。ここで、１stオーディオデコーダ７５−１へ同時に入力されるオーディオストリームは、メインClip AVストリームファイルまたはサブClip AVストリームファイルのどちらかから分離されたストリームである。また、同様に、２ndオーディオデコーダ７５−２へ同時に入力されるオーディオストリームも、メインClip AVストリームまたはサブClipから分離されたストリームである。例えば、メインClip AVストリームにオーディオストリーム＃１とオーディオストリーム＃２とが含まれていた場合、PIDフィルタ５５は、オーディオストリームのPIDに基づいて、オーディオストリーム＃１とオーディオストリーム＃２とをフィルタリングし、スイッチ５９に供給する。

具体的には、スイッチ５９は、例えば、PIDフィルタ５５またはPIDフィルタ５６から供給されたオーディオストリーム＃１を、１stオーディオデコーダ７５−１に供給するようスイッチを選択し、PIDフィルタ５５またはPIDフィルタ５６から供給されたオーディオストリーム＃２を、２ndオーディオデコーダ７５−２に供給するようスイッチを選択する。

例えば、メインClip AVストリームファイルのオーディオストリームと、サブClip AVストリームファイルのオーディオストリームとのミキシング再生が指令された場合、スイッチ５９は、PIDフィルタ５５を介して供給されるメインClip AVストリームファイルのオーディオストリームを１stオーディオデコーダ７５−１に供給するよう選択を切替えるとともに、PIDフィルタ５６を介して供給されるサブClip AVストリームファイルのオーディオストリームを２ndオーディオデコーダ７５−２に供給するよう選択を切替える。

１stオーディオデコーダ７５−１は、オーディオストリームをデコードし、デコードしたオーディオストリームのデータをミキシング処理部１０１に供給する。また、２ndオーディオデコーダ７５−２は、オーディオストリームをデコードし、デコードしたオーディオストリームのデータをミキシング処理部１０１に供給する。

ここで、オーディオストリーム＃１とオーディオストリーム＃２とを重畳して再生するような場合（ユーザにより再生するオーディオストリームとして、２つのオーディオストリームが選択された場合）、１stオーディオデコーダ７５−１によりデコードされたオーディオストリーム＃１と、２ndオーディオデコーダ７５−２によりデコードされたオーディオストリーム＃２とが、ミキシング処理部１０１に供給される。

例えば、メインパスで参照される１stオーディオストリームとサブパスで参照される２ndオーディオストリームとを重畳して再生するような場合、１stオーディオデコーダ７５−１によりデコードされたメインClip AVストリームファイルのオーディオストリームと、２ndオーディオデコーダ７５−２によりデコードされたサブClip AVストリームファイルのオーディオストリームとが、ミキシング処理部１０１に供給される。

ミキシング処理部１０１は、１stオーディオデコーダ７５−１からのオーディオデータと、２ndオーディオデコーダ７５−２からのオーディオデータとをミキシング（重畳）し、後段のミキシング処理部９７に出力する。なお、本実施の形態においては、１stオーディオデコーダ７５−１から出力されるオーディオデータと２ndオーディオデコーダ７５−２から出力されるオーディオデータとをミキシング（重畳）することを、合成するとも称する。すなわち、合成とは、２つのオーディオデータを、ミキシングすることも示すものとする。

また、スイッチ３２により選択されたサウンドデータは、バッファ９５に供給され、バッファリングされる。バッファ９５は、所定のタイミングでサウンドデータをミキシング処理部９７に供給する。サウンドデータは、例えば、メニュー選択などによる効果音のデータなどである。ミキシング処理部９７は、ミキシング処理部１０１によりミキシングされたオーディオデータ（１stオーディオデコーダ７５−１から出力されたオーディオデータと２ndオーディオデコーダ７５−２から出力されたオーディオデータとがミキシングされたオーディオデータ）と、バッファ９５から供給されてきたサウンドデータをミキシング（重畳、または合成）し、音声信号として出力する。

テキストサブタイトル用リードバッファであるバッファ５４から読み出されたデータは、所定のタイミングで、後段のテキストサブタイトルコンポジション（デコーダ）７６へ出力される。テキストサブタイトルコンポジション７６は、Text-STデータをデコードし、スイッチ７７に供給する。

スイッチ７７は、プレゼンテーショングラフィックスデコーダ７３によりデコードされたプレゼンテーショングラフィックスストリームと、Text-ST（テキストサブタイトルデータ）のうち、いずれかを選択し、選択したデータをプレゼンテーショングラフィックスプレーン生成部９３に供給する。すなわち、プレゼンテーショングラフィックスプレーン生成部９３へ同時に供給される字幕画像は、プレゼンテーショングラフィックスデコーダ７３またはテキストサブタイトル（Text-ST）コンポジション７６のうちのいずれかの出力である。また、プレゼンテーショングラフィックスデコーダ７３へ同時に入力されるプレゼンテーショングラフィックスストリームは、メインClip AVストリームファイルまたはサブClip AVストリームファイルのいずれかから分離されたストリームである（スイッチ５７により選択される）。したがって、プレゼンテーショングラフィックスプレーン生成部９３へ同時に出力される字幕画像は、メインClip AVストリームファイルからのプレゼンテーショングラフィックスストリーム、またはサブClip AVストリームファイルからのからのプレゼンテーショングラフィックスストリーム、またはテキストサブタイトルデータのデコード出力である。

バックグラウンドプレーン生成部９１は、バックグラウンドデコーダ７１から供給されたバックグラウンドイメージデータに基づいて、例えば、ビデオ画像を縮小表示した場合に壁紙画像となるバックグラウンドプレーンを生成し、これを、ビデオデータ処理部９６に供給する。１stビデオプレーン生成部９２−１は、１stビデオデコーダ７２−１から供給されたビデオデータに基づいて、ビデオプレーンを生成し、これをビデオデータ処理部９６に供給する。２ndビデオプレーン生成部９２−２は、２ndビデオデコーダ７２−２から供給されたビデオデータに基づいて、ビデオプレーンを生成し、これをビデオデータ処理部９６に供給する。プレゼンテーショングラフィックスプレーン生成部９３は、スイッチ７７により選択され、供給されたデータ（プレゼンテーショングラフィックスストリームまたはテキストサブタイトルデータ）に基づいて、例えば、レンダリング画像であるプレゼンテーショングラフィックスプレーンを生成し、これをビデオデータ処理部９６に供給する。インタラクティブグラフィックスプレーン生成部９４は、インタラクティブグラフィックスデコーダ７４から供給されたインタラクティブグラフィックスストリームのデータに基づいて、インタラクティブグラフィックスプレーンを生成し、これをビデオデータ処理部９６に供給する。

ビデオデータ処理部９６は、バックグラウンドプレーン生成部９１からのバックグラウンドプレーン、１stビデオプレーン生成部９２−１および２ndビデオプレーン生成部９２−２からのビデオプレーン、プレゼンテーショングラフィックスプレーン生成部９３からのプレゼンテーショングラフィックスプレーン、およびインタラクティブグラフィックスプレーン生成部９４からのインタラクティブグラフィックスプレーンを合成し、ビデオ信号として出力する。

これらのスイッチ５７乃至５９、並びにスイッチ７７は、操作入力部２９を介するユーザからの選択に基づいて、または、対象となるデータが含まれるファイルが供給される側に、スイッチを切替える。例えば、サブClip ＡＶストリームファイルのみにしか、オーディオストリームが含まれていない場合、スイッチ５９はサブClip ＡＶストリームファイルを供給する側（ＰＩＤフィルタ５６の出力）にスイッチを切替える。

このＡＶデコーダ部２６を備えた再生装置５は、ピクチャインピクチャ手法を適用して、図２３に示すように、１画面のうちの、全画面２５１に、メインパスで参照されるＡＶストリームに対応する映画本編等のコンテンツを再生させるとともに、全画面２５１に配置される子画面２５２に、サブパスで参照されるＡＶストリームに対応する映画の監督のコメンタリー等の別のコンテンツを再生させることが可能である。

以上説明した再生装置５の処理をまとめると、以下のようになる。

再生装置５は、記録媒体に記録されている、少なくとも１つのストリームを含むメインClipＡＶストリームファイル（複数の種類のストリームからなるメインClip ＡＶストリームファイル）の位置を示す主の再生パスであるMain Pathと、メインClipＡＶストリームファイルに含まれるメインストリームファイルの再生のタイミングに合わせて再生されるサブClip ＡＶストリームファイルのそれぞれの位置を示す複数のサブパスにより構成される再生管理情報としてのPlayListを取得し、PlayListの中のメインパスに含まれる、メインClip ＡＶストリームファイルの所定の種類のメインストリームファイル（例えば、１stビデオストリームや１stオーディオストリーム）の再生のタイミングに合わせて再生される、同じ種類のサブClip ＡＶストリームファイル（例えば、１stビデオストリームに対する２ndビデオストリームや１stオーディオストリームに対する２ndオーディオストリーム）の組み合わせを示す情報であるSTN_table()（PlayItemで示されるSTN_table()）に基づいて、再生するストリームの選択を受け付ける。

ここで、メインClipＡＶストリームファイルに含まれる所定の種類のメインストリームファイル（例えば、１stオーディオストリーム）と、そのメインストリームファイルの再生のタイミングに合わせて再生される、同じ種類のサブClipＡＶストリーム（２ndオーディオストリーム）との組み合わせの選択が受け付けられた場合、再生装置５は、選択されたメインClipＡＶストリームファイルとともに、サブパスにより参照される、対応するサブClipＡＶストリームファイルを読み出す。例えば、２つのオーディオストリームをミキシングして出力する場合、再生装置５のミキシング処理部１０１は、この２つのオーディオストリーム（デコードされたオーディオストリーム）を合成し、ミキシング処理部９７（ＡＶデコーダ部２６）は、合成されたストリームを再生（出力）する。

このように、PlayListにMain PathとSub Pathを含め、Main PathとSub Pathが異なるClip AVストリームファイルを参照する構成としたので、ストリームに拡張性を持たせることができる。また、１つのSub Pathで複数のファイルを参照可能な構成としたので、複数の異なるストリームの中からユーザが選択することができる。

さらに、Main PathのPlayItemの中に、Main Pathにより参照されるＡＶストリームファイルに多重化されている（含まれる）付属データ（例えば、オーディオストリーム）と、Sub Pathにより参照される付属データとを定義するテーブルとして、STN_table()を設けるようにしたので、より、拡張性の高いストリームを実現することができる。また、STN_table()にエントリーすることにより、Sub Pathを容易に拡張することができる。

また、STN_table()にストリームの属性情報である図１７のstream_attribute()を設けるようにしたので、再生装置５側で、選択されたストリームを再生可能か否かを判定することができる。さらに、stream_attribute()を参照することで、再生機能を有するストリームだけを選択して再生することができる。

さらに、STN_table()において、stream_entry（）でメインパスにより参照されるストリームファイルと、サブパスにより参照される、同じ種類のストリームファイルとの組み合わせを定義するとともに、図２２を用いて説明したように、再生装置５に２つのビデオデコーダ（１stビデオデコーダ７２−１と２ndビデオデコーダ７２−２）と２つのオーディオデコーダ（１stオーディオデコーダ７５−１と２ndオーディオデコーダ７５−２）を設け、２つのビデオデコーダによりデコードされたビデオデータを他のグラフィックスプレーンなどとともに合成するビデオデータ処理部９６を設け、２つのオーディオデコーダによりデコードされたオーディオデータを合成（ミキシング）するミキシング処理部１０１を設けるようにしたので、２つの同じ種類のストリームを組み合わせて同時に再生することができる。

なお、図２２のストレージドライブ２２が読み出してＡＶデコーダ部２６に供給するデータは、例えば、DVD（Digital Versatile Disc）や、Blu-ray Disc（商標）などの記録媒体１１に記録されているデータである。そして、ハードディスクなどで構成されているローカルストレージ２４に記録されているデータも、ストレージドライブ２２が読み出したデータとともに、ＡＶデコーダ部２６に供給される。そして、ローカルストレージ２４に記録されているデータは、ネットワーク６を介してダウンロードしたデータであってもよい。換言すれば、ＡＶデコーダ部２６に供給されるデータは、着脱可能な記録媒体１１に記録されているデータであっても、あらかじめ再生装置５に記憶されているデータであっても、他の装置からネットワークを介して供給されたデータであっても、これらが組み合わされたデータでもよい。例えば、ダウンロードされ、ハードディスクなどで構成されているローカルストレージ２４に記録されたPlayListおよびサブClipと、DVDや、Blu-ray Disc（商標）などの記録媒体１１に記録されたメインClipＡＶストリームファイルに基づいて、AVストリームの再生処理が実行されてもよい。また、例えば、DVDや、Blu-ray Disc（商標）などの記録媒体１１に記録されたClipＡＶストリームファイルをサブClipとするようなPlayListとメインClipとがハードディスクなどで構成されているローカルストレージ２４に記録されている場合に、ローカルストレージ２４に記録されているPlayListに基づいて、メインClip AVストリームファイルとサブClip AVストリームファイルがそれぞれ、ローカルストレージ２４と記録媒体１１から読み出され再生されてもよい。

また、例えば、１つのメインパスと１つのサブパスで示されるストリームデータが再生される場合、又は２本のサブパスで示されるストリームデータが再生される場合、メインパスとサブパス、または、２本のサブパスで示されるストリームデータがそれぞれ別のトランスポートストリーム（ＴＳ）としてダウンロード等により取得されたときには、取得された２本の異なるＴＳにそれぞれ含まれるオーディオストリームが合成されることになる。一方、２本のサブパスで示されるストリームデータが再生される場合であっても、その２本のサブパスで示される少なくとも２つのストリームが含まれる１つのＴＳが取得された場合には、１つのＴＳに含まれる２つのオーディオストリームが合成されることになる。

また、再生装置５の１stオーディオデコーダ７５−１は、メインClip AVストリームファイルまたはサブClip AVストリームファイルのオーディオストリームをデコードし、２ndオーディオデコーダ７５−２はサブClip AVストリームファイルのオーディオストリームをデコードするのであるが、コーディック（エンコード）方式が同一（例えば、Dolby AC-3 audio）である２つのClipのビデオストリームおよびオーディオストリームの組み合わせを、STN_table()で定義するよう制約を設けてもよい。換言すれば、STN_table()で定義される組み合わせにおいて同時にデコードされるオーディオストリームまたはビデオストリームを、同一のコーディック方式となるように、制限を設けるようにしてもよい。この場合、例えば、１stビデオデコーダ７２−１と２ndビデオデコーダ７２−２がオーディオストリームをデコードしている途中（例えば、MPEGにおいては、逆量子化されたが、IDCTされていない状態）であっても、コーディック方式が同一であれば、デコード途中のデータ方式も同様であるので、その状態であっても合成可能となるからである。

ところで、上述したように、本発明の再生装置５に装着される記録媒体１１上、または、再生装置５のローカルストレージ２４に記録されるデータのアプリケーションフォーマットは、PlayListとClipの２つのレイヤを有している。そして、PlayListは、１つ以上のPlayItemの並びによって（連続するPlayItemにより）作られるメインパス(Main Path)と、そのMain Pathに並行（並列）して、１つ以上のSubPlayItemの並びによって（非連続でもよいし、連続してもよいSubPlayItemにより）作られるサブパス（Sub Path）を1以上含むことができる。

従って、例えば、図２３に示されるように、１画面のうちの、全画面２５１に、メインパスで参照されるＡＶストリーム（図２３中、Primary Videoと記述されているビデオストリーム２６１、および、Primary Audioと記述されているオーディオストリーム２６２）に対応する映画本編等のコンテンツを再生させるとともに、全画面２５１に配置される子画面２５２に、サブパスで参照されるＡＶストリーム（図２３中、Secondary Videoと記述されているビデオストリーム２６３、および、Secondary Audioと記述されているオーディオストリーム２６４）に対応する映画の監督のコメンタリー等、メインパスで参照されるＡＶストリームとは別のコンテンツを再生させる、といった手法を適用することが可能になる。

即ち、全画面（親画面２５１）２５１と子画面２５２のそれぞれに別々のコンテンツを同時再生させる、といった手法を適用することが可能になる。

このような手法は、上述したように、ピクチャインピクチャ(Picture in Picture)手法と称される。

なお、Primary Audioと記述されているオーディオストリーム２６２に対応する音声と、Secondary Audioと記述されているオーディオストリーム２６４に対応する音声との再生とは、上述したように、それら２つのオーディオストリームに対してミキシング処理が施された結果得られる音声の出力のことをいう。

また、実際の再生対象は、上述したように、各ストリームに対応する音声や画像であるが、以下の説明においては、説明の簡略上、各ストリームとする場合もある。即ち、所定のストリームを再生する、といった表現を使用する場合もある。

ピクチャインピクチャ手法を適用するアプリケーションを実現するためには、例えば次のようなシンタクス（Syntax）が必要になる。即ち、例えば、本実施の形態では、STN_tableにおいてPrimary_video_stream_idで定義されたビデオストリーム（以下、プライマリビデオストリームと称する。例えば、図２３の例では、Primary Videoと記述されているビデオストリーム２６１を、プライマリビデオストリーム２６１と称する）の数は、１つとされている。そこで、このことを考慮して、プライマリビデオストリームと同時に再生され得るストリームの組み合わせを定義するシンタクスがあれば、ピクチャインピクチャ手法の実現、即ち、ピクチャインピクチャを適用するアプリケーションの実現が可能になる。

ここで、ピクチャインピクチャ手法により、プライマリビデオストリームと同時に再生され得るストリームとして、例えば本実施の形態では、上述した第１乃至第４の種類のストリームが用意されている。

上述したように、第１の種類のストリームとはSTN_tableにおいてPrimary_audio_stream_idで定義されたオーディオストリーム、即ち、上述したオーディオストリーム＃１（以下、プライマリオーディオストリームと称する。例えば、図２３の例では、Primary Audioと記述されているオーディオストリーム２６２を、プライマリオーディオストリーム２６２と称する）のことをいう。

また、第２の種類のストリームとは、STN_tableにおいてsecondary_video_stream_idで定義されたビデオストリーム（以下、セカンダリビデオストリームと称する。例えば、図２３の例では、Secondary Videoと記述されているビデオストリーム２６３を、セカンダリビデオストリーム２６３と称する）のことをいう。

そして、第３の種類のストリームとは、STN_tableにおいてsecondary_audio_stream_idで定義されたオーディオストリーム、即ち、上述したオーディオストリーム＃２（以下、セカンダリオーディオストリームと称する。例えば、図２３の例では、Secondary Audioと記述されているオーディオストリーム２６４を、セカンダリオーディオストリーム２６４と称する）のことをいう。

また、第４の種類のストリームとは、サブパスで参照されるテキスト字幕ストリーム(txtST)や、DVDのサブピクチャのようなビットマップ字幕をランレングス符号化したストリーム（PG, Presentation Graphics stream）等のことをいう。例えば図２３の例では、Subtitleと記述されているストリーム２６５が、第４の種類のストリームの一例である。なお、以下、第４の種類のストリームを、即ち、txtSTやPG等をまとめて、サブタイトルストリームと称する。なお、サブタイトルストリームの再生位置（字幕等の表示位置）は、特に子画面２５２内である必要は無く、全画面のうちの何れの位置でもよい。このため、図２３の例では、サブタイトルストリーム２６５は、子画面２５２からはみ出すように描画されている。

以上説明したように、ピクチャインピクチャ手法を適用するアプリケーションを実現するためには、例えば、プライマリビデオストリームと組み合わせて同時再生され得るストリームの組み合わせの定義、即ち、セカンダリビデオストリーム、プライマリオーディオストリーム、セカンダリオーディオストリーム、および、サブタイトルストリームの組み合わせの定義が必要となる。

さらに、複数の組み合わせを定義することで、全画面２５１に再生されるプライマリビデオストリームやプライマリオーディオスオストリームの切替えのみならず、子画面２５２に再生されるセカンダリビデオストリームの切替えや、サブタイトルストリームの切替えも容易に行えるようになる。

その切替え操作の具体的な例を、図２４と図２５を参照して説明する。図２４は、STN_tableが用いられた場合の、ユーザに提供するプライマリオーディオストリームまたはセカンダリオーディオストリームに対応する音声信号、セカンダリビデオストリームに対応する映像信号、および、サブタイトルストリームに対応する字幕信号の組み合わせの関係を表すストリームナンバーテーブルの例を示す図である。

図２４においては、音声番号をＡ＿ＳＮ（Audio Stream Number）と称し、字幕番号をＳ＿ＳＮ（SubPicture Stream Number）と称するとともに、PlayListのMain Pathを構成するPlayItemのSTN_table()でエントリーされるセカンダリビデオストリーム（secondary_video_stream_idでエントリーされるセカンダリビデオストリーム）のそれぞれにＶ２＿ＳＮ（Video2 Stream Number:セカンダリビデオストリーム番号とも称する）が与えられる。

具体的には、Ｖ２＿ＳＮ＝１にビデオ２が与えられ、Ｖ２＿ＳＮ＝２にビデオ１が与えられている。

このとき、Ｖ２＿ＳＮ＝１のビデオ２に対しては、プライマリオーディオストリームとしてオーディオ２（図１５のsecondary_video_stream_idがビデオ２を特定するIDである場合のfor文中において、primary_audio_stream_idでエントリーされるプライマリオーディオストリーム）が、セカンダリオーディオストリームとしてオーディオ４（図１５のsecondary_video_stream_idがビデオ２を特定するIDである場合のfor文中において、secondary_audio_stream_idでエントリーされるセカンダリオーディオストリーム）が、サブタイトルストリームとしてサブピクチャ３（図１５のsecondary_video_stream_idがビデオ２を特定するIDである場合のfor文中において、PG_textST_stream_idでエントリーされるサブタイトルストリーム）が、それぞれ組み合わせ可能とされている。

また、Ｖ２＿ＳＮ＝２のビデオ１に対しては、プライマリオーディオストリームとしてオーディオ１（図１５のsecondary_video_stream_idがビデオ１を特定するIDである場合のfor文中において、primary_audio_stream_idでエントリーされるプライマリオーディオストリーム）が、セカンダリオーディオストリームとしてオーディオ４若しくはオーディオ５（図１５のsecondary_video_stream_idがビデオ１を特定するIDである場合のfor文中において、２つのsecondary_audio_stream_idのそれぞれでエントリーされる２つのセカンダリオーディオストリームのそれぞれ）が、サブタイトルストリームとしてサブピクチャ１（図１５のsecondary_video_stream_idがビデオ１を特定するIDである場合のfor文中において、PG_textST_stream_idでエントリーされるサブタイトルストリーム）が、それぞれ組み合わせ可能とされている。

即ち、図１５のsecondary_video_stream_idがビデオ１を特定するIDである場合のfor文中において、Ｖ２＿ＳＮ＝２のビデオ１と同時再生可能なオーディオストリームの組として、次の第１の組と第２の組とがそれぞれ定義されている。第１の組とは、プライマリオーディオストリームがオーディオ１であり、セカンダリオーディオストリームがオーディオ４である組のことをいう。第２の組とは、プライマリオーディオストリームがオーディオ１であり、セカンダリオーディオストリームがオーディオ５である第２の組のことをいう。

かかる図２４のストリームナンバーテーブルがユーザに呈示された場合（ここでは、呈示形態は特に問わない）、ユーザは、はじめに、映画本編等と同時再生させる監督のコメンタリー等の映像に対応するセカンダリビデオストリームとして、即ち、子画面２５２（図２３の例では子画面２５２）に表示させる映像に対応するセカンダリビデオストリームとして、ビデオ２（ＶＳ＿ＳＮ＝１）とビデオ１（ＶＳ＿ＳＮ２）とのうちの何れか一方を選択することができる（そのような選択操作ができる）。

例えば、セカンダリビデオストリームとしてビデオ２（ＶＳ＿ＳＮ＝１）が選択された場合には、図２４に示されるように、そのビデオ２（ＶＳ＿ＳＮ＝１）と同時再生可能な組み合わせは、オーディオ２、オーディオ４、およびサブピクチャ３の組み合わせのみである。従って、セカンダリビデオストリームとしてビデオ２（ＶＳ＿ＳＮ＝１）が選択された時点で、ユーザの選択操作は終了となる。

一方、図２５に示されるように、セカンダリビデオストリームとしてビデオ１（ＶＳ＿ＳＮ＝２）が選択された場合には、そのビデオ１（ＶＳ＿ＳＮ＝２）と同時再生可能な組み合わせとしては、オーディオ１、オーディオ４、およびサブピクチャ１の第１の組み合わせと、オーディオ１、オーディオ５、およびサブピクチャ１の第２の組み合わせ、といった２通りの組み合わせが存在する。従って、セカンダリビデオストリームとしてビデオ１（ＶＳ＿ＳＮ＝２）を選択した場合、ユーザは、さらに、かかる第１の組み合わせと第２の組み合わせとのうちの何れか一方を選択することができる（そのような選択操作ができる）。

具体的には、例えば、ここでは、ユーザは、ビデオ１（ＶＳ＿ＳＮ＝２）と同時再生させるストリームに対して（ストリームナンバーテーブル上の対応する表示の右方に対して）、再生を選択するときには、「ばつ（×）」から「まる（○）」に切替える一方、再生を選択しないときには、「ばつ」のまま保持する、といった選択操作を実行することができる。なお、「まる」は再生を選択する状態を示すシンボルとされている一方、「ばつ」は再生を選択していない状態を示すシンボルとされている。

図２５の例では、かかる選択操作により、オーディオ１、オーディオ４、およびサブピクチャ１の第１の組み合わせが選択された結果が示されている。即ち、図２５に示されるように、Ｖ２＿ＳＮ＝２のビデオ１と同時再生されるプライマリオーディオストリームとしてオーディオ１が選択されるので、その選択状態は、「ばつ」から「まる」に切替えられる。また、Ｖ２＿ＳＮ＝２のビデオ１と同時再生されるセカンダリオーディオストリームとしてオーディオ４が選択されるので（オーディオ５が選択されないので）、オーディオ４の選択状態は、「ばつ」から「まる」に切替えられる一方、オーディオ５の選択状態は「ばつ」のまま保持される。また、Ｖ２＿ＳＮ＝２のビデオ１と同時再生されるサブタイトルストリームとしてサブピクチャ１が選択されるので、その選択状態は、「ばつ」から「まる」に切替えられる。

即ち、以上の一連の選択操作により、ビデオ１、オーディオ１、オーディオ４、および、サブピクチャ１を選択し、メインビデオ（プライマリビデオストリームのことである）とともに再生可能な状態（そのような再生を選択する状態）とすることができる。

なお、上述した例では、プライマリビデオストリームと同時再生させるストリームの選択操作として、セカンダリビデオストリームを軸とする操作、即ち、先にセカンダリビデオストリームを選択した後、プライマリオーディオストリーム、セカンダリオーディオストリーム、および、サブタイトルストリームを選択する操作について説明した。

しかしながら、かかる選択操作として、上述した例のみならず、例えば、先にプライマリオーディオストリームを選択した後、セカンダリビデオストリーム、セカンダリオーディオストリーム、および、サブタイトルストリームを選択する操作を採用してもよい。即ち、図２５のストリームナンバーテーブルのうちの、Ａ＿ＳＮ＝１であるオーディオ２、Ａ＿ＳＮ＝２であるオーディオ１、および、Ａ＿ＳＮ＝３であるオーディオ３のうちの何れか１つを、プライマリオーディオストリームとして先に選択した後、セカンダリビデオストリーム、セカンダリオーディオストリーム、および、サブタイトルストリームを選択する、といった選択操作を採用することもできる。

また、例えば、先にサブタイトルストリームを選択した後、プライマリオーディオストリーム、セカンダリビデオストリーム、および、セカンダリオーディオストリームを選択する操作を採用することもできる。即ち、図２５のストリームナンバーテーブルのうちの、Ｓ＿ＳＮ＝１であるサブピクチャ３、Ｓ＿ＳＮ＝２でサブピクチャ１、および、Ｓ＿ＳＮ＝３であるサブピクチャ２のうちの何れか１つを、サブタイトルストリームとして先に選択した後、図２５中図示はされていないが、セカンダリビデオストリーム、プライマリオーディオストリーム、セカンダリオーディオストリームを選択する、といった選択操作を採用することもできる。

このようにして、複数の組み合わせを定義することで、全画面２５１に再生されるプライマリビデオストリームやプライマリオーディオスオストリームの切替えのみならず、子画面２５２に再生されるセカンダリビデオストリームの切替えや、サブタイトルストリームの切替えも容易に行えるようになる。

また、再生装置５においては、上述したように、再生装置５のメモリ２３の書き換え可能なメモリ領域のうちの一部に、複数のレジスタが設けられ、これらのレジスタに設定されている値を参照することにより、再生装置５においてそれぞれのストリームの再生処理が実行される。

レジスタのうち、例えば、再生装置５がセカンダリオーディオストリームを再生することが可能であるか否かが設定されているレジスタの値など、再生装置５固有の機能について設定されているものは、その値が変更されることはない。これに対して、レジスタのうちの所定のものの設定は、例えば、ユーザから所定の操作入力を受けた場合、または、プログラムにより発生されるコマンドにより変更される。

なお、これらのコマンドは、ストリームデータとは個別に記録媒体や内部のハードディスク等に記録され、再生装置５によってプリロードされ、コントローラ２１に供給されるようになされていてもよいし、ストリームデータに埋め込まれて記録媒体や内部のハードディスク等に記録され、再生装置５によってストリームデータが再生されるのに伴ってロードされ、コントローラ２１に供給されるようになされていてもよい。

レジスタには、再生装置５における再生処理に必要な各種設定を示す値が保持されている。レジスタに格納される値により、例えば、再生装置５が再生するサブタイトルストリーム（PG TextSTストリーム）が設定され、再生装置５が再生するピクチャインピクチャアプリケーション用のPG・テキスト字幕ストリーム（PiP PG TextSTストリーム）が設定され、ピクチャインピクチャアプリケーションによって再生されるセカンダリビデオストリームが設定され、セカンダリビデオストリームが再生される子画面の大きさが設定され、再生装置５が再生可能なサブタイトルストリーム（PG TextSTストリーム）の言語コード番号（またはＩＤ）が設定され、初期設定されている言語が設定され、再生装置５が再生可能なサブタイトルストリーム（PG TextSTストリーム）に対応する国のコード番号（またはＩＤ）が設定されるようにすることができる。

図２６を用いて、メモリ２３に設けられているレジスタの一例である＃１レジスタおよび＃２レジスタについて説明する。

＃１レジスタには、サブタイトルストリーム（PG TextSTとPiP PG TextST）の表示についての設定を示す情報が格納されており、disp_s_flag、PiP_PG_textST_valid_flag、PG TextST stream number、および、PG TextST stream numberの情報が格納されている。

disp_s_flagは、サブタイトルストリーム（PG TextSTとPiP PG TextST）を表示するか否かを示すデータが格納されるレジスタ領域であり、例えば、disp_s_flag＝0のとき、PG TextSTとPiP PG TextSTの表示は無効とされ、disp_s_flag＝1のとき、PG TextSTとPiP PG TextSTの表示は有効とされる。

PiP_PG_textST_valid_flagは、ピクチャインピクチャ表示が行われているときに、サブタイトルストリームとして、PG TextSTとPiP PG TextSTとのいずれを表示するかを示すデータが格納されるレジスタ領域であり、例えば、PiP_PG_textST_valid_flag＝0のとき、Secondary Videoが表示されていれば、＃１レジスタのPG TextST stream numberに登録されている値を参照して、PG TextST streamを読み出して再生することができ、また、これに対して、PiP_PG_textST_valid_flag＝1のとき、Secondary Videoが表示されていれば、＃１レジスタのPiP PG TextST stream numberに登録されている値を参照して、PiP PG TextST streamを読み出して再生することができる。

なお、PiP_PG_textST_valid_flagは、Secondary Videoが表示されていない場合には意味をなさない。すなわち、PiP_PG_textST_valid_flag にいずれの値が格納されていても、Secondary Videoが表示されていない場合においては、格納された値に対応するPG TextST stream number、または、PiP PG TextST stream numberにより特定されるサブタイトルストリームが読み出されて表示されるとは限らない。Secondary Videoが表示されていない状態で表示可能なサブタイトルストリームは、PG TextST stream numberに示される。

PG TextST stream numberには、サブタイトルストリームとして表示可能なPG TextST stream numberが格納される。そして、PiP PG TextST stream numberには、サブタイトルストリームとして表示可能なPiP PG TextST stream numberが格納される。

現在のPlayItemの再生においてSecondary Videoが表示されていない場合(例えば、後述する＃２レジスタのdisp_v_flagが0に設定されている場合、または、Secondary video streamがユーザ操作などにより現在のPlayItemに対応つけて表示されていない場合など)、PG Text stream numberの設定において、次の２つのルールが適用される。すなわち、第１のルールは、現在のPlayItemのSTN_tableに登録されているPG TextST streamの中から、表示されるべき PG Text stream numberが、＃１レジスタのPG Text stream numberに示されることであり、第２のルールは、＃１レジスタのPGText stream numberの設定は、所定のセレクションモデルによってコントロールされることである。

所定のセレクションモデルとは、例えば、表示されるPG Text streamがユーザまたはコマンドにより設定されている場合は、再生装置の表示能力があれば、そのストリームが優先されて選択され、設定されていない場合、例えば、再生装置５において表示できる言語、または、表示できない言語を表す値が設定されているレジスタが参照されて、再生装置５が表示能力を有する言語が優先して選択され、次に、再生装置５に設定されている言語コードと同等のものが優先され、そして、次に、STN_table()に登録されている順番で番号が若いものから順番に優先して選択されるといったような、ストリームの選択モデルである。

そして、現在のPlayItemの再生においてSecondary Videoが表示されていて（例えば、後述する＃２レジスタのdisp_v_flagが1に設定されていて、現在のPlayItem再生において＃２レジスタに定義されたSecondary Video streamが表示されている場合)、かつ＃１レジスタのPiP_PG_textST_valid_flagに1が設定されている場合、次の2つのルールが適用される。すなわち、第３のルールは、現在のPlayItemのSTN_tableに登録されているPiP PG TextST streamの中から、表示されるべき PiP PG Text stream numberが、＃１レジスタのPiP PG Text stream number に示されることであり、第４のルールは、＃１レジスタのPiP PG Text stream numberの設定は、所定のセレクションモデルによってコントロールされることである。

所定のセレクションモデルとは、例えば、表示されるPiP PG Text streamがユーザまたはコマンドにより設定されている場合は、再生装置の表示能力があれば、そのストリームが優先され、設定されていない場合、例えば、再生装置５において表示できる言語、または、表示できない言語を表す値が設定されているレジスタが参照されて、再生装置５が表示能力を有する言語が優先して選択され、次に、再生装置５に設定されている言語コードと同等のものが優先され、そして、次に、STN_table()に登録されている順番で番号が若いものから順番に優先して選択されるといったような、ストリームの選択モデルである。

そして、＃２レジスタには、セカンダリビデオおよびセカンダリオーディオの再生についての設定を示す情報が格納されており、disp_v_flag、disp_a_flag、Secondary Video size、Secondary video stream number、および、Secondary audio stream numberの情報が格納されている。

disp_v_flagは、Secondary Videoの再生が有効であるか無効であるかを示すフラグであり、disp_v_flag＝0のとき、Secondary Videoの再生は無効であり、disp_v_flag＝1のとき、Secondary Videoの再生は有効である。

disp_a_flagは、Secondary Audioの再生が有効であるか無効であるかを示すフラグであり、disp_a_flag＝0のとき、Secondary Audioの再生は無効であり、disp_a_flag＝1のとき、Secondary Audioの再生は有効である。

Secondary Video sizeには、セカンダリビデオが表示される場合の表示の大きさに関する設定値が格納され、例えば、Secondary Video size＝0x0である場合、Secondary videoのサイズは、PlayItem中のpip_metadataのpip_scale[i]の値によってスケールされ、Secondary Video size＝0xFである場合、Secondary videoのサイズは、PlayItem中のpip_metadataのpip_scale[i]の値に関係なく、フルスクリーンとしてスケールされる。

Secondary video stream numberは、現在のPlayItemのSTN_tableに登録されているプライマリオーディオストリームの中で、再生されるプライマリオーディオストリームに対応するSecondary video stream numberが設定されているレジスタである。そして、Secondary audio stream numberは、現在のPlayItemのSTN_tableに登録されているセカンダリオーディオストリームの中で、再生されるセカンダリオーディオストリームに対応するSecondary audio stream numberが設定されているレジスタである。

このように、＃２レジスタには、現在のPlayItemのSTN_tableに登録されているSecondary Audio stream のうちの、再生されるべきSecondary audio stream numberが示されている。＃２レジスタのSecondary audio stream numberの設定は、所定のセレクションモデルによってコントロールされる。

所定のセレクションモデルとは、例えば、表示されるSecondary audio stream numberがユーザまたはコマンドにより設定されている場合、そのストリームが優先され、設定されていない場合、再生装置５に設定されているか、または、現在再生されているPrimary audio streamと同じ言語コードが優先され、そして、次に、STN_table()に登録されている順番で番号が若いものから順番に優先して選択されるといったような、ストリームの選択モデルである。

そして、＃２レジスタには、現在のPlayItemのSTN_tableに登録されているSecondary Video streamのうちの、再生されるべきSecondary video stream numberも示されている。＃２レジスタのSecondary video stream numberの設定は、所定のセレクションモデルによってコントロールされる。

所定のセレクションモデルとは、ここでも、例えば、表示されるSecondary video stream numberがユーザまたはコマンドにより設定されている場合、そのストリームが優先され、設定されていない場合、STN_table()に登録されている順番で番号が若いものから順番に優先して選択されるといったような、ストリームの選択モデルである。

次に、図２７を用いて、メモリ２３に設けられているレジスタの一例である＃３レジスタおよび＃４レジスタについて説明する。

＃３レジスタは、プライマリビデオストリームのID番号を示すレジスタである。すなわち、＃３レジスタは、現在のPlayItemのSTN_tableに登録されているプライマリビデオストリームの中で、再生されるプライマリビデオストリームが設定されているレジスタである。

ピクチャインピクチャ表示が実行されているか否かにかかわらず、＃３レジスタに設定されているＩＤ番号のビデオストリームは再生されるようになされている。ただし、＃３レジスタに設定されているＩＤ番号のビデオストリームが現在のPlayItem()のSTN_table()に登録されていない場合、ビデオストリームの自動選択ルーチンにより再生されるビデオストリームが選択される。

＃４レジスタは、プライマリオーディオストリームのID番号を示すレジスタである。すなわち、＃４レジスタは、現在のPlayItemのSTN_tableに登録されているプライマリオーディオストリームの中で、再生されるプライマリオーディオストリームが設定されているレジスタである。

ピクチャインピクチャ表示がされていないとき、＃４レジスタに設定されているＩＤ番号のオーディオストリームは再生されるようになされている。ただし、＃４レジスタに設定されているＩＤ番号のオーディオストリームが現在のPlayItem()のSTN_table()に登録されていない場合、プライマリオーディオストリームの自動選択ルーチンにより再生されるオーディオストリームが選択される。

次に、メインパスＴＳ非多重型の場合、および、メインパスＴＳ多重型の場合のそれぞにおける、PlayListとClipとの関係、並びに、ClipにおけるTS(Transport Stream)およびST(stream)のそれぞれの関係について説明する。

上述したように、図９を用いて説明したPlayListは、図１２を用いて説明したSubPlayItemと、図１３を用いて説明したPlayItemを含んで構成される。１つ以上のPlayItemの並びによって作られる再生パスをメインパス(Main Path)と称し、PlayListの中で、Main Pathに並行（並列）して、１つ以上のSub Pathの並びによって作られる再生パスをサブパス（Sub Path）と称する。換言すれば、PlayItemで示される再生パスをMain Pathと称し、SubPathは、１以上のSub PlayItemを有するものである。

再生パスとは、ある特定の再生対象のIN点およびOUT点により再生区間を示すものである。すなわち、PlayItemとSubPlayItemとは、AVトランスポートストリームの時間軸上の再生区間のＩＮ点（再生開始点；IN_time）とOUT点（再生終了点；OUT_time）のペアで表される。

Clipは、図５を用いて説明したように、Clipインフォメーションファイル（Information file）とClip AVストリームファイル（stream file)とで構成されている。

Clipは、Main ClipとSub Clipとから構成され、図２８に示されるように、Main Clipは、Main pathで指定されているAVトランスポートストリーム(Main TS)を含むClipである。そして、Sub_Clipは、SubPathで指定されているストリーム(Sub_ST)のみを含み、Main STを含まないClipである。

ここで、Pathとは、ある特定の再生対象のIN_timeおよびOUT_timeにより再生区間を示すものであり、そのうち、Main pathは、主たる映像、音声等を指し示すパスを示し、Sub pathは、Main Pathが保持するパスであり、かつ、メインパスにより指し示されている主たる映像に対して、付加的な映像、音声等を指し示すパスを示す。

そして、TSとは、Transport Streamの略であり、Clip AVストリームファイルに含まれるトランスポートストリームのことである。なお、TSは1以上のSTを含む。すなわち、Main TSとは、Main Transport streamの略であり、Main clipに含まれるClip AVストリームファイルが保持するトランスポートストリームのことである。Main TSは、Main STを必ず含む。また、Main TSは、Sub STを含んでも良い。また、Sub TSとは、Sub Transport stream の略であり、Main ClipまたはSub clipに含まれるClip AVストリームファイルが保持するトランスポートストリームのことである。

そして、STとは、エレメンタリストリーム(elementary”St”ream）の略である。すなわち、Main STとは、Main Streamの略であり、Main STは、Main pathで指定され、Main Clipに含まれる。そして、Sub STとは、Sub Streamの略であり、Sub pathで指定され、Main ClipまたはSub Clipに含まれる。

図２８に示されるのは、上述したメインパスＴＳ非多重型の場合の、Clip、TS(Transport Stream)、および、ST(stream)の関係である。

これに対して、Subpath_type=7において、Main Clipは、Sub STを含んでいても良い。なお、Main Clipは、Sub STを含むことはできるが、Sub TSを含むことはできない。

Subpath_typeの種類のうちのSubPath_type＝７、即ち、メインパスＴＳ多重型、かつ、同期型のパスであって、ピクチャインピクチャプレゼンテーションパス（１以上のＥＳのパス）を利用することで、例えば、図２９に示されるようなPlayListを作成することが可能になる。

図２９の例では、メインパス(Main path)に含まれるプレイアイテム（PlayItem）により参照されるMain TSには、PlayItemによって参照されるMainSTと、SubPlayItemによって参照されるSubSTが含まれている。

すなわち、図２３のピクチャインピクチャの例に対応させると、MainSTのVideoとAudioとのそれぞれのエレメンタリストリームが、全画面２５１に再生されるプライマリビデオストリーム２６１とプライマリオーディオストリーム２６２のそれぞれに対応する。また、この例では、プライマリビデオストリームであるMainSTのVideoと同時に再生されるセカンダリビデオストリームとセカンダリオーディオストリームとのそれぞれは、同じMain TSに含まれるSubSTに含まれるVideoとAudioとのそれぞれのエレメンタリストリームとなる。

また、上述したように、再生装置５は、２つのＴＳを同時に読み出すことが可能であるので、図３０に示されるように、PlayItemに対するサブパスとして、Main TSとは異なるTS（Sub TS）に含まれているClip AVストリームファイルを参照するサブパス(Subpath)を定義することが可能であり、このようなサブパスが定義されている場合には、メインTSに含まれるMainTSおよびSubTSのそれぞれのエレメンタリストリームとともに、SubClipのSubTSに含まれる、例えば、PG等のSubSTも読み出すことが可能になる。

以上説明したように、再生装置５においては、複数のビデオストリーム、複数のオーディオストリームを再生出力することができ、更に、これらに加えて、PG TextSTストリームを再生出力することができるようになされている。

例えば、図３１に示されるように、MainPathのオーディオストリームおよびビデオストリーム（なお、MainPathも、マルチアングル等で、複数のビデオストリームが用意され、更に、複数のオーディオストリームや字幕ストリームが用意されている場合がある）に対して、SubPath1、SubPath2、および、SubPath3のそれぞれに、Secondary Videoが1本、Secondary Audioが3本、PinP PGが2本含まれているような場合（図中、例えば、SV1と記載されているのは、Secondary Video1であり、それ以外も同様に記載されている）であっても、ユーザが、これらの複数のストリームから、所望のストリームを、簡単な操作で選択して再生させることができるような仕組みが必要とされる。

例えば、リモートコマンダに、ピクチャインピクチャアプリケーションの実行や終了を指令したり、これらのストリームの選択を行うためのボタン等を用意することを考える。

単純には、リモートコマンダに、子画面２５２に表示されるビデオストリームの再生のON/OFFを切替えるボタン、子画面２５２に表示されるビデオストリームに対応するオーディオストリームの再生のON/OFFを切替えるボタン、子画面２５２に表示されるビデオストリームに対応する字幕ストリームの再生表示のON/OFFを切替えるボタン、親画面２５１に表示されるビデオストリームを選択するためのボタン、親画面２５１に表示される字幕ストリームを選択するためのボタン、親画面２５１に表示されるビデオストリームとともに再生されるオーディオを選択するためのボタン、子画面２５２に表示されるビデオストリームを選択するためのボタン、子画面２５２に表示される字幕ストリームを選択するためのボタン、子画面２５２に表示されるビデオストリームとともに再生されるオーディオを選択するためのボタンの、合計９個のボタンを用意すれば、ユーザは、ピクチャインピクチャアプリケーションの実行や終了を指令したり、これらのストリームの選択を行うための一通りの操作入力が可能となる。

また、必要に応じて、リモートコマンダには、ピクチャインピクチャ表示以外にも、例えば、主音声に対して副音声を合成して再生出力可能な場合に、副音声の合成を実行するか否かを指令したり、合成される副音声を選択するためのボタンなどを備えることが、更に求められる。

しかしながら、リモートコマンダに多くのボタンを備えてしまっては、操作を複雑にしてしまう。また、リモートコマンダには、例えば、コンテンツの再生開始、終了、一時停止、音量の調整、画質調整などの基本操作、再生装置５に装着された記録媒体１１のイジェクト操作の指令など、再生装置５の他の動作に対する指令を行うためのボタンやキーなども備えられており、リモートコマンダは、ピクチャインピクチャアプリケーションの実行や終了を指令したり、これらのストリームの選択を行うために独立して用意されるものではない場合がほとんどである。したがって、りモードコマンダをある程度の大きさ（人が片手で把持可能な程度の大きさ）とし、ボタンやキーなどをあまり小さくせずに操作しやすい大きさとするためには、ボタンの数をあまり増やさないようにすることが望ましい。

そこで、リモートコマンダに備えられるボタンの数をできるだけ増やすことなく、ユーザに分かりやすい操作入力環境を提供することができるようなリモートコマンダが求められるとともに、再生装置５においては、そのリモートコマンダによる操作入力を元にPlayList再生を実行することが求められる。

図３２は、再生装置５をコントロールするためのリモートコマンダの内部構成例を示すブロック図である。

ボタン等操作入力取得部２９１は、ユーザによるボタン等の操作入力を取得して、コマンド発生制御部２９２に供給する。

コマンド発生制御部２９２は、ボタン等操作入力取得部２９１から供給されたユーザによるボタン等の操作入力に基づいて、再生装置５に送信するコマンドを発生し、コマンド送出部２９３に供給する。

コマンド送出部２９３は、コマンド発生制御部２９２により発生されたコマンドを、再生装置５に送出する。

図３３を参照して、再生装置５をコントロールするためのリモートコマンダが備えるボタンの第１の例について説明する。

図３３に示されるリモートコマンダ３０１には、PinP/Audio Mix On-Offボタン３２１、PinP/Audio Mix Shiftボタン３２２、映像切替ボタン３２３、音声切替ボタン３２４、字幕切替ボタン３２５が設けられているとともに、これらのボタン以外に、例えば、コンテンツの再生開始、終了、一時停止、音量の調整、画質調整などの基本操作、再生装置５に装着された記録媒体１１のイジェクト操作の指令など、再生装置５の他の動作に対する指令を行うためのボタンやキーなども備えられている。

PinP/Audio Mix On-Offボタン３２１は、子画面２５２の表示（PinP）または副音声の合成（以下、Audio Mixingと称する）が可能な場合に、PinPもしくはAudio MixingのOn/Offの切替えを再生装置５に指令する場合に押下（操作）されるボタンである。

具体的には、ユーザは、表示されていない子画面２５２を表示させたい、すなわち、PinPをOnにしたいとき、および、子画面２５２の表示を取りやめたい、すなわちPinPをOffにしたいとき、PinP/Audio Mix On-Offボタン３２１を押下する。例えば、PinPがOffの状態において、PinP/Audio Mix On-Offボタン３２１が押下された場合、PinPがOnとなり、＃２レジスタのdisp_v_flagの値が１となるので、子画面２５２において＃２レジスタのsecondary video stream numberにストリームIDが設定されたSecondary Videoが表示される。また、このとき、＃２レジスタのdisp_a_flagの値は、変更しなくても良い（前のPinP終了時の状態を維持しても良い）し、１となるようにしても良い。＃２レジスタのdisp_a_flagの値が１である場合、＃２レジスタのsecondary audio stream numberにストリームIDが設定されたSecondary audioが再生出力される。また、このとき、＃１レジスタのPiP_PG_textST_valid_flagの値も、変更しなくても良い（前のPinP終了時の状態を維持しても良い）し、１となるようにしても良い。＃１レジスタのPiP_PG_textST_valid_flagの値が１である場合、PinP PG TextST stream numberにストリームIDが設定された字幕ストリームが再生される。

PinP/Audio Mix Shiftボタン３２２は、映像切替ボタン３２３、音声切替ボタン３２４、字幕切替ボタン３２５に割り当てられる意味を変更するためのボタンであり、PinP/Audio Mix Shiftボタン３２２を押下した後、映像切替ボタン３２３、音声切替ボタン３２４、字幕切替ボタン３２５を押下することによって、子画面２５２または副音声に関するストリームの切替えを再生装置５に指令することができるようにするものである。PinP/Audio Mix Shiftボタン３２２押下後、映像切替ボタン３２３、音声切替ボタン３２４、字幕切替ボタン３２５による指令が子画面２５２または副音声に関するものとなる期間を、以下、PinPモードと称するものとする。

映像切替ボタン３２３は、単独で操作されたとき、親画面２５１に表示される映像、すなわち、マルチアングルのビデオの切替えを指令するためのものであり、PinPモードにおいては、子画面２５２に表示される映像、すなわち、Secondary Videoの切替えを行うためのものである。

具体的には、ユーザは、親画面２５１に表示される映像、すなわち、マルチアングルのビデオの切替えを指令する場合、映像切替ボタン３２３を単独で操作し、子画面２５２に表示される映像、すなわち、Secondary Videoの番号を変更したい場合、PinP/Audio Mix Shiftボタン３２２押下後、映像切替ボタン３２３を操作する。

また、映像切替ボタン３２３が連続して操作された場合、例えば、子画面２５２であれば、SV1からSV2、SV2からSV3、SV3からSV1と、順次表示される映像が切替わる。親画面２５１におけるアングル切替えも、同様にして実行される。

そして、親画面２５１に表示される映像、または、子画面２５２に表示される映像が切替えられた場合、音声および字幕も、対応するものに変更される。具体的には、親画面２５１に表示される映像、または、子画面２５２に表示される映像が切替えられた場合、STN_Tableに基づいて、対応するレジスタの値が設定されて、自動的に変更される。

音声切替ボタン３２４は、単独で操作されたとき、親画面２５１に表示される映像に対応して再生される音声、すなわち、主音声の切替えを指令するためのものであり、PinPモードにおいては、子画面２５２に表示される映像に対応する音声、または、主音声に合成される副音声、すなわち、Secondary Audioの切替えを行うためのものである。

具体的には、ユーザは、親画面２５１に表示される映像に対応して出力される音声の切替えを指令する場合、音声切替ボタン３２４を単独で操作し、子画面２５２に表示される映像に対応して出力される音声の切替えを指令する場合、PinP/Audio Mix Shiftボタン３２２押下後、音声切替ボタン３２４を操作する。また、ユーザは、親画面２５１に表示される映像に対応して出力される主音声に合成される副音声の切替えを指令する場合、PinP表示が行われていない状態で、PinP/Audio Mix Shiftボタン３２２押下後、音声切替ボタン３２４を操作する。

また、音声切替ボタン３２４が連続して操作された場合、例えば、子画面２５２に表示されているSV2に対応する音声であれば、SA2_1からSA2_2、SA2_2からSA2_3、SA2_3からOff、OffからSA2_1と、順次再生される音声が切替わる、または、Offとなる。なお親画面２５１に表示されている映像に対応する音声の切替えや、主音声に対して合成される副音声の切替えも、同様にして実行される。

字幕切替ボタン３２５は、単独では、親画面２５１に表示される映像に対応して再生される字幕を切替えるものであり、PinPモードにおいては、子画面２５２に表示される映像に対応する字幕、すなわち、PinP PG-TextSTの切替えを行うためのものである。

具体的には、ユーザは、親画面２５１に表示される映像に対応して表示される字幕の切替えを指令する場合、字幕切替ボタン３２５を単独で操作し、子画面２５２に表示される映像に対応して表示される字幕の切替えを指令する場合、PinP/Audio Mix Shiftボタン３２２押下後、字幕切替ボタン３２５を操作する。

また、字幕切替ボタン３２５が連続して操作された場合、例えば、子画面２５２に表示されているSV2に対応する音声であれば、PinPPG2_1からPinPPG2_2、PinPPG2_2からPinPPG2_3、PinPPG2_3からOff、OffからPinPPG2_1と、順次表示される字幕が切替わる、または、Offとなる。なお親画面２５１に表示されている映像に対応する字幕の切替えも、同様にして実行される。

リモートコマンダ３０１は、再生装置５に対して、いずれのボタンが押下されたかを通知するようにしても良いし、PinPモードであるか否かを判断して、切替えられるのは、親画面２５１に対応するストリームであるか、または、子画面２５２もしくは副音声に対応するストリームであるかを区別して、ユーザの操作入力を通知するようにしても良い。

また、リモートコマンダ３０１においては、ユーザが、例えば、子画面２５２に表示される映像を切替えるとともに、子画面２５２に表示される映像に対応して再生される音声を切替えたい場合など、連続して、PinPモードの指令を行いたい場合、例えば、PinP/Audio Mix Shiftボタン３２２を押下し、映像切替ボタン３２３を押下して、子画面２５２に表示される映像を切替えたときに、状態がリセットされて、一旦PinPモードではなくなり、もう一度PinP/Audio Mix Shiftボタン３２２を押下してから音声切替ボタン３２４を押下する必要があるようにしても良いし、PinP/Audio Mix Shiftボタン３２２を押下し、映像切替ボタン３２３を押下して、子画面２５２に表示される映像を切替えた状態ではPinPモードが継続するようにしておき、所定時間内に音声切替ボタン３２４を押下すれば、子画面２５２に表示される映像に対応して再生される音声を切替えることができるようにしても良い。

なお、リモートコマンダ３０１の状態が、PinPモードであるか否かをユーザに通知することができるようにすると好適である。例えば、リモートコマンダ３０１にLEDなどを設け、PinPモードであるか否かに応じて、LEDの点灯および消灯を切替えるようにしてもよいし、再生装置５に接続されている図示しない表示装置の表示画面のいずれかに、モードが切替わったとき、または、継続的に、PinPモードであるか否かをユーザに通知するためのテキストまたはアイコンなどを表示するものとしても良い。

また、リモートコマンダ３０１に、再生状態確認ボタンを設け、ユーザが再生状態確認ボタンを押下することにより、現在の再生状態で、子画面２５２を表示させる（ピクチャインピクチャ表示を実行させる）ことが可能であるか否か、または、親画面２５１に表示されている映像に対応して再生されている主音声（Primary audio）に対して、合成して再生出力可能な副音声（Secondary audio）があるか否かをユーザが確認することができるようにしても良い。例えば、ユーザにより再生状態確認ボタンが押下された場合、再生装置５のコントローラ２１は、ＡＶデコーダ部２６において実行されている再生処理の状態や、メモリ２３のフラグやレジスタに設定されている値を基に、現在の再生状態で、子画面２５２を表示させる（ピクチャインピクチャ表示を実行させる）ことが可能であるか否か、または、親画面２５１に表示されている映像に対応して再生されている主音声（Primary audio）に対して、合成して再生出力可能な副音声（Secondary audio）があるか否かを判断し、再生装置５に接続されている図示しない表示装置の表示画面のいずれかに、判断結果をユーザに通知するためのテキストまたはアイコンなどを表示させたり、音声メッセージを出力させるようにすると好適である。

もしくは、再生装置５においては、ユーザからの要求がなくても、現在の再生状態で、子画面２５２を表示させることが可能であるか否か、または、親画面２５１に表示されている映像に対応して再生されている主音声に対して、合成して再生出力可能な副音声があるか否かをユーザに通知するためのテキストまたはアイコンなどを、再生装置５に接続されている図示しない表示装置の表示画面のいずれかに、常に、または、所定期間ごとに、もしくは、再生可能か否かが切替わったタイミングで、表示させるようにしても良い。

このようにして、現在の再生状態で、子画面２５２を表示させることが可能であるか否か、または、親画面２５１に表示されている映像に対応して再生されている主音声に対して、合成して再生出力可能な副音声があるか否かを、ユーザが認識可能なようにしておくことにより、ユーザは、リモートコマンダ３０１をより簡単に利用して、再生装置５において再生されるストリームを選択することが可能となり、好適である。

次に、図３４乃至図３７のフローチャートを参照して、リモートコマンダ３０１がユーザの操作入力を基にPinPモードであるか否かを判断して、切替えられるのは、親画面２５１に対応するストリームであるか、または、子画面２５２もしくは副音声に対応するストリームであるかを区別して再生装置５に通知する場合の処理について説明する。

まず、図３４のフローチャートを参照して、リモートコマンダ３０１がユーザの操作入力を基にPinPモードであるか否かを判断して、切替えられるのは、親画面２５１に対応するストリームであるか、または、子画面２５２もしくは副音声に対応するストリームであるかを区別して再生装置５に通知するとともに、リモートコマンダ３０１の状態は、PinP/Audio Mix Shiftボタン３２２を押下してPinPモードとなった後、いずれかの切替ボタンが操作されることにより、状態がリセットされて、一旦PinPモードではなくなるようになされている場合のリモートコマンダの処理１-１について説明する。

ここで、再生装置５の初期状態として、PinP表示がオフ（図２６を用いて説明した＃２レジスタにおいてdisp_v_flag=0であるとき、なお、＃２レジスタにおけるdisp_a_flag、および、＃１レジスタにおけるPiP_PG_textST_valid_flagの値は、いずれの値であっても良い）であるものとする。

ステップＳ１１において、コマンド発生制御部２９２は、ボタン等操作入力取得部２９１から供給されたユーザの操作入力に基づいて、PinP/Audio Mix On-Offボタン３２１が押下されたか否かを判断する。

ステップＳ１１において、PinP/Audio Mix On-Offボタン３２１が押下されたと判断された場合、ステップＳ１２において、コマンド発生制御部２９２は、PinP/Audio MixのONとOFFを切替えるコマンドを発生し、コマンド送出部２９３に供給する。コマンド送出部２９３は、PinP/Audio MixのONとOFFを切替えるコマンドを、再生装置５に送出する。

ステップＳ１１において、PinP/Audio Mix On-Offボタン３２１が押下されなかったと判断された場合、または、ステップＳ１２の処理の終了後、ステップＳ１３において、コマンド発生制御部２９２は、ボタン等操作入力取得部２９１から供給されたユーザの操作入力に基づいて、PinP/Audio Mix Shiftボタン３２２が押下されたか否かを判断する。ステップＳ１３において、PinP/Audio Mix Shiftボタン３２２が押下されなかったと判断された場合、処理は、後述するステップＳ２３に進む。

ステップＳ１３において、PinP/Audio Mix Shiftボタン３２２が押下されたと判断された場合、ステップＳ１４において、コマンド発生制御部２９２は、内部に有するPinP切替えフラグをONにする。ここで、PinP切替えフラグがONのとき、PinPモードであるものとする。

ステップＳ１５において、コマンド発生制御部２９２は、PinP/Audio Mix Shiftボタン３２２が押下されてからいずれの切替ボタンも押下されていない時間が、一定以上経過したか否かを判断する。ステップＳ１５において、PinP/Audio Mix Shiftボタン３２２が押下されてからいずれの切替ボタンも押下されていない時間が一定以上経過したと判断された場合、処理は、後述するステップＳ２２に進む。

ステップＳ１５において、PinP/Audio Mix Shiftボタン３２２が押下されてからいずれの切替ボタンも押下されていない時間が一定以上経過していないと判断された場合、ステップＳ１６において、コマンド発生制御部２９２は、ボタン等操作入力取得部２９１から供給されたユーザの操作入力に基づいて、映像切替ボタン３２３が１回以上押下されたか否かを判断する。

ステップＳ１６において、映像切替ボタン３２３が１回以上押下されたと判断された場合、ステップＳ１７において、コマンド発生制御部２９２は、子画面２５２に表示される映像を切替えるコマンドをボタンの押下回数発生し、コマンド送出部２９３に供給する。コマンド送出部２９３は、ボタンの押下回数と同数の、子画面２５２に表示される映像を切替えるコマンドを、再生装置５に送出し、処理は、後述するステップＳ２２に進む。

ステップＳ１６において、映像切替ボタン３２３が１回も押下されなかったと判断された場合、ステップＳ１８において、コマンド発生制御部２９２は、ボタン等操作入力取得部２９１から供給されたユーザの操作入力に基づいて、音声切替ボタン３２４が１回以上押下されたか否かを判断する。

ステップＳ１８において、音声切替ボタン３２４が１回以上押下されたと判断された場合、ステップＳ１９において、コマンド発生制御部２９２は、子画面２５２に表示される映像に対応する音声、もしくは、主音声に合成されて再生される副音声を切替えるかまたはOFFするコマンドをボタンの押下回数発生し、コマンド送出部２９３に供給する。コマンド送出部２９３は、ボタンの押下回数と同数の、子画面２５２に表示される映像に対応する音声、もしくは、主音声に合成されて再生される副音声を切替えるかまたはOFFするコマンドを、再生装置５に送出し、処理は、後述するステップＳ２２に進む。

ステップＳ１８において、音声切替ボタン３２４が１回も押下されなかったと判断された場合、ステップＳ２０において、コマンド発生制御部２９２は、ボタン等操作入力取得部２９１から供給されたユーザの操作入力に基づいて、字幕切替ボタン３２５が１回以上押下されたか否かを判断する。ステップＳ２０において、字幕切替ボタン３２５が１回も押下されていないと判断された場合、処理は、ステップＳ１５に戻り、それ以降の処理が繰り返される。

ステップＳ２０において、字幕切替ボタン３２５が１回以上押下されたと判断された場合、ステップＳ２１において、コマンド発生制御部２９２は、子画面２５２に表示される映像に対応する字幕を切替えるかまたはOFFするコマンドをボタンの押下回数発生し、コマンド送出部２９３に供給する。コマンド送出部２９３は、ボタンの押下回数と同数の、子画面２５２に表示される映像に対応する字幕を切替えるかまたはOFFするコマンドを再生装置５に送出し、処理は、後述するステップＳ２２に進む。

ステップＳ１５において、PinP/Audio Mix Shiftボタン３２２が押下されてからいずれの切替ボタンも押下されていない時間が一定以上経過したと判断された場合、または、ステップＳ１７、ステップＳ１９、もしくは、ステップＳ２１の処理の終了後、ステップＳ２２において、コマンド発生制御部２９２は、PinP切替えフラグをOFFにし、処理は、ステップＳ１１に戻り、それ以降の処理が繰り返される。

ステップＳ１３において、PinP/Audio Mix Shiftボタン３２２が押下されなかったと判断された場合、ステップＳ２３において、コマンド発生制御部２９２は、ボタン等操作入力取得部２９１から供給されたユーザの操作入力に基づいて、映像切替ボタン３２３が１回以上押下されたか否かを判断する。

ステップＳ２３において、映像切替ボタン３２３が１回以上押下されたと判断された場合、ステップＳ２４において、コマンド発生制御部２９２は、親画面２５１に表示される映像を切替えるコマンドをボタンの押下回数発生し、コマンド送出部２９３に供給する。コマンド送出部２９３は、ボタンの押下回数と同数の、親画面２５１に表示される映像を切替えるコマンドを再生装置５に送出し、処理は、ステップＳ１１に戻り、それ以降の処理が繰り返される。

ステップＳ２３において、映像切替ボタン３２３が１回も押下されなかったと判断された場合、ステップＳ２５において、コマンド発生制御部２９２は、ボタン等操作入力取得部２９１から供給されたユーザの操作入力に基づいて、音声切替ボタン３２４が１回以上押下されたか否かを判断する。

ステップＳ２５において、音声切替ボタン３２４が１回以上押下されたと判断された場合、ステップＳ２６において、コマンド発生制御部２９２は、親画面２５１に表示される映像に対応する音声を切替えるかまたはOFFするコマンドをボタンの押下回数発生し、コマンド送出部２９３に供給する。コマンド送出部２９３は、ボタンの押下回数と同数の、親画面２５１に表示される映像に対応する音声を切替えるかまたはOFFするコマンドを再生装置５に送出し、処理は、ステップＳ１１に戻り、それ以降の処理が繰り返される。

ステップＳ２５において、音声切替ボタン３２４が１回も押下されなかったと判断された場合、ステップＳ２７において、コマンド発生制御部２９２は、ボタン等操作入力取得部２９１から供給されたユーザの操作入力に基づいて、字幕切替ボタン３２５が１回以上押下されたか否かを判断する。ステップＳ２７において、字幕切替ボタン３２５が１回も押下されなかったと判断された場合、処理は、ステップＳ１１に戻り、それ以降の処理が繰り返される。

ステップＳ２７において、字幕切替ボタン３２５が１回以上押下されたと判断された場合、ステップＳ２８において、コマンド発生制御部２９２は、親画面２５１に表示される映像に対応する字幕を切替えるかまたはOFFするコマンドをボタンの押下回数発生し、コマンド送出部２９３に供給する。コマンド送出部２９３は、ボタンの押下回数と同数の、親画面２５１に表示される映像に対応する字幕を切替えるかまたはOFFするコマンドを再生装置５に送出し、処理は、ステップＳ１１に戻り、それ以降の処理が繰り返される。

このような処理により、リモートコマンダ３０１がユーザの操作入力を基にPinPモードであるか否かを判断して、切替えられるのは、親画面２５１に対応するストリームであるか、または、子画面２５２もしくは副音声に対応するストリームであるかを区別して再生装置５に通知することが可能になるとともに、リモートコマンダ３０１の状態は、PinP/Audio Mix Shiftボタン３２２を押下してPinPモードとなった後、いずれかの切替ボタンが操作されることにより、状態がリセットされて、一旦PinPモードではなくなるようになされる。

次に、図３５のフローチャートを参照して、リモートコマンダ３０１がユーザの操作入力を基にPinPモードであるか否かを判断して、切替えられるのは、親画面２５１に対応するストリームであるか、または、子画面２５２もしくは副音声に対応するストリームであるかを区別して再生装置５に通知するとともに、リモートコマンダ３０１の状態は、PinP/Audio Mix Shiftボタン３２２を押下してPinPモードとなった後、一定時間以上いずれかの切替ボタンが押されない時間が経過しない限りは、PinPモードが継続されるようになされている場合のリモートコマンダの処理１-２について説明する。

ここでも、再生装置５の初期状態として、PinP表示がオフ（図２６を用いて説明した＃２レジスタにおいてdisp_v_flag=0であるとき、なお、＃２レジスタにおけるdisp_a_flag、および、＃１レジスタにおけるPiP_PG_textST_valid_flagの値は、いずれの値であっても良い）であるものとする。

ステップＳ５１乃至ステップＳ５４において、図３４のステップＳ１１乃至ステップＳ５４の処理と同様の処理が実行される。すなわち、PinP/Audio Mix On-Offボタン３２１が押下されたか否かが判断され、PinP/Audio Mix On-Offボタン３２１が押下されたと判断された場合、PinP/Audio MixのONとOFFを切替えるコマンドが発生されて、再生装置５に送出される。

そして、PinP/Audio Mix Shiftボタン３２２が押下されたか否かが判断され、PinP/Audio Mix Shiftボタン３２２が押下されたと判断された場合、内部に有するPinP切替えフラグがONに設定される。

ステップＳ５５において、コマンド発生制御部２９２は、PinP/Audio Mix Shiftボタン３２２が押下されてからいずれの切替ボタンも押下されていない時間が、一定以上経過したか否かを判断する。

ステップＳ５５において、PinP/Audio Mix Shiftボタン３２２が押下されてからいずれの切替ボタンも押下されていない時間が一定以上経過していないと判断された場合、ステップＳ５６において、コマンド発生制御部２９２は、ボタン等操作入力取得部２９１から供給されたユーザの操作入力に基づいて、映像切替ボタン３２３が１回以上押下されたか否かを判断する。

ステップＳ５６において、映像切替ボタン３２３が１回以上押下されたと判断された場合、ステップＳ５７において、コマンド発生制御部２９２は、子画面２５２に表示される映像を切替えるコマンドをボタンの押下回数発生し、コマンド送出部２９３に供給する。コマンド送出部２９３は、ボタンの押下回数と同数の、子画面２５２に表示される映像を切替えるコマンドを、再生装置５に送出し、処理は、ステップＳ５５に戻り、それ以降の処理が繰り返される。

ステップＳ５６において、映像切替ボタン３２３が１回も押下されなかったと判断された場合、ステップＳ５８において、コマンド発生制御部２９２は、ボタン等操作入力取得部２９１から供給されたユーザの操作入力に基づいて、音声切替ボタン３２４が１回以上押下されたか否かを判断する。

ステップＳ５８において、音声切替ボタン３２４が１回以上押下されたと判断された場合、ステップＳ５９において、コマンド発生制御部２９２は、子画面２５２に表示される映像に対応する音声を切替えるかまたはOFFするコマンドをボタンの押下回数発生し、コマンド送出部２９３に供給する。コマンド送出部２９３は、ボタンの押下回数と同数の、子画面２５２に表示される映像に対応する音声、もしくは、主音声に合成されて再生される副音声を切替えるかまたはOFFするコマンドを、再生装置５に送出し、処理は、ステップＳ５５に戻り、それ以降の処理が繰り返される。

ステップＳ５８において、音声切替ボタン３２４が１回も押下されなかったと判断された場合、ステップＳ６０において、コマンド発生制御部２９２は、ボタン等操作入力取得部２９１から供給されたユーザの操作入力に基づいて、字幕切替ボタン３２５が１回以上押下されたか否かを判断する。ステップＳ６０において、字幕切替ボタン３２５が１回も押下されていないと判断された場合、処理は、ステップＳ５５に戻り、それ以降の処理が繰り返される。

ステップＳ６０において、字幕切替ボタン３２５が１回以上押下されたと判断された場合、ステップＳ６１において、コマンド発生制御部２９２は、子画面２５２に表示される映像に対応する字幕を切替えるかまたはOFFするコマンドをボタンの押下回数発生し、コマンド送出部２９３に供給する。コマンド送出部２９３は、ボタンの押下回数と同数の、子画面２５２に表示される映像に対応する字幕を切替えるかまたはOFFするコマンドを再生装置５に送出し、処理は、ステップＳ５５に戻り、それ以降の処理が繰り返される。

ステップＳ５５において、PinP/Audio Mix Shiftボタン３２２が押下されてからいずれの切替ボタンも押下されていない時間が一定以上経過したと判断された場合、ステップＳ６２において、コマンド発生制御部２９２は、PinP切替えフラグをOFFにし、処理は、ステップＳ５１に戻り、それ以降の処理が繰り返される。

ステップＳ５３において、PinP/Audio Mix Shiftボタン３２２が押下されなかったと判断された場合、ステップＳ６３乃至ステップＳ６８において、図３４のステップＳ２３乃至ステップＳ２８と同様の処理が実行される。

すなわち、映像切替ボタン３２３が１回以上押下されたか否かが判断され、映像切替ボタン３２３が１回以上押下されたと判断された場合、親画面２５１に表示される映像を切替えるコマンドがボタンの押下回数発生され、再生装置５に送出され、処理は、ステップＳ５１に戻り、それ以降の処理が繰り返される。

そして、映像切替ボタン３２３が１回も押下されなかったと判断された場合、音声切替ボタン３２４が１回以上押下されたか否かが判断すされ、音声切替ボタン３２４が１回以上押下されたと判断された場合、親画面２５１に表示される映像に対応する音声を切替えるかまたはOFFするコマンドがボタンの押下回数発生され、再生装置５に送出され、処理は、ステップＳ５１に戻り、それ以降の処理が繰り返される。

そして、音声切替ボタン３２４が１回も押下されなかったと判断された場合、字幕切替ボタン３２５が１回以上押下されたか否かが判断され、字幕切替ボタン３２５が１回も押下されなかったと判断された場合、処理は、ステップＳ５１に戻り、それ以降の処理が繰り返される。これに対して、字幕切替ボタン３２５が１回以上押下されたと判断された場合、ス親画面２５１に表示される映像に対応する字幕を切替えるかまたはOFFするコマンドがボタンの押下回数発生され、再生装置５に送出されて、処理は、ステップＳ５１に戻り、それ以降の処理が繰り返される。

このような処理により、リモートコマンダ３０１がユーザの操作入力を基にPinPモードであるか否かを判断して、切替えられるのは、親画面２５１に対応するストリームであるか、または、子画面２５２もしくは副音声に対応するストリームであるかを区別して再生装置５に通知することができるとともに、リモートコマンダ３０１の状態は、PinP/Audio Mix Shiftボタン３２２を押下してPinPモードとなった後、一定時間以上いずれかの切替ボタンが押されない時間が経過しない限りは、PinPモードが継続されるようになされる。

次に、図３６および図３７のフローチャートを参照して、上述したリモートコマンダの処理１−１またはリモートコマンダの処理１−２が実行される場合に再生装置５において実行される再生装置の処理１について説明する。

ステップＳ９１において、コントローラ２１は、メモリ２３のフラグやレジスタに設定されている値を基に、記録媒体１１またはローカルストレージ２４から必要なデータを読み出し、ＡＶデコーダ部２６を制御して、再生処理を実行する。

ステップＳ９２において、コントローラ２１は、操作入力部２９から供給される信号を基に、リモートコマンダ３０１から、PinP/Audio MixのONとOFFを切替えるコマンドを受信したか否かを判断する。

ステップＳ９２において、PinP/Audio MixのONとOFFを切替えるコマンドを受信したと判断された場合、ステップＳ９３において、コントローラ２１は、PinP/Audio MixのONとOFFを切替えるように、メモリ２３のフラグの値を変更する。

具体的には、コントローラ２１は、例えば、現在、子画面２５２が表示されていない場合、＃２レジスタのdisp_v_flagの値を１とするので、＃２レジスタのsecondary video stream numberにストリームIDが設定されたSecondary Videoが子画面２５２に表示される。また、このとき、＃２レジスタのdisp_a_flagの値は、変更しなくても良い（前のPinP終了時の状態を維持しても良い）し、１となるようにしても良い。＃２レジスタのdisp_a_flagの値が１である場合、＃２レジスタのsecondary audio stream numberにストリームIDが設定されたSecondary audioが再生出力される。また、このとき、＃１レジスタのPiP_PG_textST_valid_flagの値も、変更しなくても良い（前のPinP終了時の状態を維持しても良い）し、１となるようにしても良い。＃１レジスタのPiP_PG_textST_valid_flagの値が１である場合、PinP PG TextST stream numberにストリームIDが設定された字幕ストリームが再生される。また、コントローラ２１は、例えば、現在、子画面２５２が表示されているのであれば、＃２レジスタのdisp_v_flagの値を０とするので、子画面２５２の表示が終了されるとともに、子画面２５２に表示されている映像に対応して再生されていた音声および字幕の再生出力も終了される。

更に、コントローラ２１は、現在、子画面２５２の表示ができない状態である場合、すなわち、セカンダリビデオが用意されていない状態である場合、セカンダリオーディオが用意されているか否かを判断し、セカンダリオーディオが用意されているとき、所定のレジスタやフラグの値を変更して、主音声に副音声が合成される設定とするとともに、＃２レジスタのSecondary audio stream numberにストリームIDが設定されたオーディオストリームを再生する。また、コントローラ２１は、現在、主音声に副音声が合成されて出力されている状態である場合、所定のレジスタやフラグの値を変更して、主音声のみが再生される状態に変更する。

ステップＳ９２において、PinP/Audio MixのONとOFFを切替えるコマンドを受信していないと判断された場合、または、ステップＳ９３の処理の終了後、ステップＳ９４において、コントローラ２１は、操作入力部２９から供給される信号を基に、リモートコマンダ３０１から、子画面２５２に表示される映像を切替えるコマンドを受信したか否かを判断する。ステップＳ９４において、子画面２５２に表示される映像を切替えるコマンドを受信していないと判断された場合、処理は、後述するステップＳ９８に進む。

ステップＳ９４において、子画面２５２に表示される映像を切替えるコマンドを受信したと判断された場合、ステップＳ９５において、コントローラ２１は、ＡＶデコーダ部２６において実行されている再生処理の状態や、メモリ２３のフラグやレジスタに設定されている値を基に、PinP表示中またはPinP表示が可能であるか否かを判断する。

ステップＳ９５において、PinP表示中またはPinP表示が可能であると判断された場合、ステップＳ９６において、コントローラ２１は、子画面２５２を表示するか、または、子画面２５２に表示される映像を切替えるために対応するフラグやレジスタの値を変更するとともに、必要に応じて、子画面２５２に対応する音声出力および字幕の表示が切替わるように、それぞれに対応するフラグやレジスタの値を変更し、処理は、ステップＳ９１に戻り、それ以降の処理が繰り返される。

具体的には、コントローラ２１は、＃２レジスタのdisp_v_flagを１とするとともに、STN_Tableに基づいて、＃２レジスタのsecondary_video_stream_numberの値を順次変更する。また、コントローラ２１は、＃２レジスタのsecondary_video_stream_numberの値の変更に伴って、＃１レジスタのPiP PG TextST stream numberと＃２レジスタのsecondary audio stream numberの値を、STN_Tableに基づいて、＃２レジスタのsecondary_video_stream_numberに設定されたセカンダリストリームとともに再生可能であると定義されたストリームのstreamIDに変更する。

ステップＳ９５において、PinP表示中ではなく、また、PinP表示ができないと判断された場合、ステップＳ９７において、コントローラ２１は、コマンドを無視し、子画面２５２が表示可能ではないことを、ユーザに通知するために、例えば、ＡＶデコーダ部２６を制御して、再生されている親画面２５１のうちの一部にメッセージを表示したり、または、音声メッセージを出力して、処理は、ステップＳ９１に戻り、それ以降の処理が繰り返される。

ステップＳ９４において、子画面２５２に表示される映像を切替えるコマンドを受信していないと判断された場合、ステップＳ９８において、コントローラ２１は、操作入力部２９から供給される信号を基に、リモートコマンダ３０１から、子画面２５２に表示される映像に対応する音声を切替えるかまたはOFFするコマンドを受信したか否かを判断する。ステップＳ９８において、子画面２５２に表示される映像に対応する音声を切替えるかまたはOFFするコマンドを受信していないと判断された場合、処理は、後述するステップＳ１０４に進む。

ステップＳ９８において、子画面２５２に表示される映像に対応する音声を切替えるかまたはOFFするコマンドを受信したと判断された場合、ステップＳ９９において、コントローラ２１は、ＡＶデコーダ部２６において実行されている再生処理の状態や、メモリ２３のフラグやレジスタに設定されている値を基に、PinP表示中であるか否かを判断する。

ステップＳ９９において、PinP表示中であると判断された場合、ステップＳ１００において、コントローラ２１は、子画面２５２に表示される映像に対応する音声を切替えるかまたはOFFするように、対応するフラグやレジスタの値を変更し、処理は、ステップＳ９１に戻り、それ以降の処理が繰り返される。

具体的には、コントローラ２１は、STN_Tableに基づいて、＃２レジスタのsecondary_video_stream_numberに設定されたセカンダリストリームとともに再生可能であると定義されたストリームのstreamIDを抽出し、＃２レジスタのsecondary audio stream numberの値を順次変更して、子画面２５２に表示される映像に対応する音声を切替えるとともに、選択可能なsecondary_audio_stream_numberが一巡したあと、次のコマンドの入力で、disp_a_flagの値を０として、子画面２５２に表示される映像に対応する音声の再生出力を中止し、次のコマンドの入力で、disp_a_flagの値を１として、＃２レジスタのSecondary audio stream numberの値を変更する。

ステップＳ９９において、PinP表示中ではないと判断された場合、ステップＳ１０１において、コントローラ２１は、ＡＶデコーダ部２６において実行されている再生処理の状態や、メモリ２３のフラグやレジスタに設定されている値を基に、主音声に副音声を多重化することが可能であるか否かを判断する。

ステップＳ１０１において、主音声に副音声を多重化することが可能であると判断された場合、ステップＳ１０２において、コントローラ２１は、副音声を切替えるか、または、ＯＦＦするように、対応するフラグやレジスタの値を変更して、処理は、ステップＳ９１に戻り、それ以降の処理が繰り返される。

具体的には、コントローラ２１は、STN_Tableに基づいて、＃３レジスタのPrimary video stream numberに設定されたプライマリビデオストリームと組み合わせて再生することが可能なセカンダリオーディオストリームのIDを抽出し、＃２レジスタのSecondary audio stream numberに順次設定する。

ステップＳ１０１において、主音声に副音声を多重化することができないと判断された場合、ステップＳ１０３において、コントローラ２１は、コマンドを無視し、処理は、ステップＳ９１に戻り、それ以降の処理が繰り返される。

ステップＳ９８において、子画面２５２に表示される映像に対応する音声を切替えるかまたはOFFするコマンドを受信していないと判断された場合、ステップＳ１０４において、コントローラ２１は、操作入力部２９から供給される信号を基に、リモートコマンダ３０１から、子画面２５２に表示される映像に対応する字幕を切替えるかまたはOFFするコマンドを受信したか否かを判断する。ステップＳ１０４において、子画面２５２に表示される映像に対応する字幕を切替えるかまたはOFFするコマンドを受信していないと判断された場合、処理は、後述するステップＳ１０８に進む。

ステップＳ１０４において、子画面２５２に表示される映像に対応する字幕を切替えるかまたはOFFするコマンドを受信したと判断された場合、ステップＳ１０５において、コントローラ２１は、ＡＶデコーダ部２６において実行されている再生処理の状態や、メモリ２３のフラグやレジスタに設定されている値を基に、PinP表示中であるか否かを判断する。

ステップＳ１０５において、PinP表示中であると判断された場合、ステップＳ１０６において、コントローラ２１は、子画面２５２に表示される映像に対応する字幕を切替えるかまたはOFFするように、対応するフラグやレジスタの値を変更し、処理は、ステップＳ９１に戻り、それ以降の処理が繰り返される。

具体的には、コントローラ２１は、STN_Tableに基づいて、＃２レジスタのSecondary_video_stream_numberに設定されたセカンダリストリームとともに再生可能であると定義されたストリームのstreamIDを抽出し、＃１レジスタのPiP PG TextST stream numberの値を順次変更して、子画面２５２に表示される映像に対応する字幕表示を切替えるとともに、選択可能なPiP PG TextST stream numberが一巡したあと、次のコマンドの入力で、PiP_PG_textST_valid_flagの値を０とするかまたはdisp_s_flagの値を０として、子画面２５２に表示される映像に対応する字幕の再生出力を中止し、次のコマンドの入力で、PiP_PG_textST_valid_flagの値を１とするかまたはdisp_s_flagの値を１として、子画面２５２に表示される映像に対応する字幕の再生出力を再開し、＃１レジスタのPiP PG TextST stream numberの値を変更する。

ステップＳ１０５において、PinP表示中ではないと判断された場合、ステップＳ１０７において、コントローラ２１は、コマンドを無視し、処理は、ステップＳ９１に戻り、それ以降の処理が繰り返される。

ステップＳ１０４において、子画面２５２に表示される映像に対応する字幕を切替えるかまたはOFFするコマンドを受信していないと判断された場合、ステップＳ１０８において、コントローラ２１は、操作入力部２９から供給される信号を基に、リモートコマンダ３０１から、親画面２５１に表示される映像を切替えるコマンドを受信したか否かを判断する。

ステップＳ１０８において、親画面２５１に表示される映像を切替えるコマンドを受信したと判断された場合、ステップＳ１０９において、コントローラ２１は、親画面２５１に表示される映像を切替えるように、対応するレジスタの値を変更し、処理は、ステップＳ９１に戻り、それ以降の処理が繰り返される。

具体的には、コントローラ２１は、STN_Tableに基づいて、＃３レジスタのPrimary video stream numberの設定を順次変更する。

ステップＳ１０８において、親画面２５１に表示される映像を切替えるコマンドを受信していないと判断された場合、ステップＳ１１０において、コントローラ２１は、操作入力部２９から供給される信号を基に、リモートコマンダ３０１から、親画面２５１に表示される映像に対応する音声を切替えるかまたはOFFするコマンドを受信したか否かを判断する。

ステップＳ１１０において、親画面２５１に表示される映像に対応する音声を切替えるかまたはOFFするコマンドを受信したと判断された場合、ステップＳ１１１において、コントローラ２１は、親画面２５１に表示される映像に対応する音声を切替えるかまたはOFFするように、対応するフラグやレジスタの値を変更し、処理は、ステップＳ９１に戻り、それ以降の処理が繰り返される。

具体的には、コントローラ２１は、STN_Tableに基づいて、＃４レジスタのPrimary audio stream numberの設定を順次変更し、選択可能なPrimary audio stream numberが一巡したあと、次のコマンドの入力で、図示しないフラグ等の設定を変更して、音声出力を中止し、次のコマンドの入力で、図示しないフラグ等の設定を変更して、＃４レジスタのPrimary audio stream numberの値を変更することにより、再び、音声を出力する。

ステップＳ１１０において、親画面２５１に表示される映像に対応する音声を切替えるかまたはOFFするコマンドを受信していないと判断された場合、ステップＳ１１２において、コントローラ２１は、操作入力部２９から供給される信号を基に、リモートコマンダ３０１から、親画面２５１に表示される映像に対応する字幕を切替えるかまたはOFFするコマンドを受信したか否かを判断する。

ステップＳ１１２において、親画面２５１に表示される映像に対応する字幕を切替えるかまたはOFFするコマンドを受信したと判断された場合、ステップＳ１１３において、コントローラ２１は、親画面２５１に表示される映像に対応する字幕を切替えるかまたはOFFするように、対応するフラグやレジスタの値を変更し、処理は、ステップＳ９１に戻り、それ以降の処理が繰り返される。

具体的には、コントローラ２１は、STN_Tableに基づいて、＃１レジスタのPG TextST stream numberの設定を順次変更し、選択可能なPG TextST stream numberが一巡したあと、次のコマンドの入力で、disp_s_flagの値を０として、字幕の表示を中止し、次のコマンドの入力で、disp_s_flagの値を１として、＃１レジスタのPG TextST stream numberの値を変更することにより、再び、字幕を表示させる。

ステップＳ１１２において、親画面２５１に表示される映像に対応する字幕を切替えるかまたはOFFするコマンドを受信していないと判断された場合、処理は、ステップＳ９１に戻り、それ以降の処理が繰り返される。

このような処理により、再生装置５は、リモートコマンダ３０１から供給されるコマンドに基づいて、複数のストリームから、所望のストリームを選択して再生させることが可能となる。

次に、図３８乃至図４２のフローチャートを参照して、リモートコマンダ３０１が再生装置５に対して、いずれのボタンが押下されたかを通知するようになされており、再生装置５において、切替えられるのは、親画面２５１に対応するストリームであるか、または、子画面２５２もしくは副音声に対応するストリームであるかを判断するようになされている場合の処理について説明する。

まず、図３７のフローチャートを参照して、リモートコマンダ３０１が再生装置５に対して、いずれのボタンが押下されたかを通知するようになされている場合のリモートコマンダの処理２について説明する。

ステップＳ１４１において、コマンド発生制御部２９２は、ボタン等操作入力取得部２９１から供給されたユーザの操作入力に基づいて、PinP/Audio Mix On-Offボタン３２１が押下されたか否かを判断する。

ステップＳ１４１において、PinP/Audio Mix On-Offボタン３２１が押下されたと判断された場合、ステップＳ１４２において、コマンド発生制御部２９２は、PinP/Audio MixのONとOFFを切替えるコマンドを発生し、コマンド送出部２９３に供給する。コマンド送出部２９３は、PinP/Audio MixのONとOFFを切替えるコマンドを、再生装置５に送出する。

ステップＳ１４１において、PinP/Audio Mix On-Offボタン３２１が押下されなかったと判断された場合、または、ステップＳ１４２の処理の終了後、ステップＳ１４３において、コマンド発生制御部２９２は、ボタン等操作入力取得部２９１から供給されたユーザの操作入力に基づいて、PinP/Audio Mix Shiftボタン３２２が押下されたか否かを判断する。

ステップＳ１４３において、PinP/Audio Mix Shiftボタン３２２が押下されたと判断された場合、ステップＳ１４４において、コマンド発生制御部２９２は、一定時間内に連続して送信されるコマンドが子画面２５２、または、副音声に関するコマンドであることを示すコマンドを発生し、コマンド送出部２９３に供給する。コマンド送出部２９３は、一定時間内に連続して送信されるコマンドが子画面２５２、または、副音声に関するコマンドであることを示すコマンドを再生装置５に送出する。

ステップＳ１４３において、PinP/Audio Mix Shiftボタン３２２が押下されなかったと判断された場合、または、ステップＳ１４４の処理の終了後、ステップＳ１４５において、コマンド発生制御部２９２は、ボタン等操作入力取得部２９１から供給されたユーザの操作入力に基づいて、映像切替ボタン３２３が押下されたか否かを判断する。

ステップＳ１４５において、映像切替ボタン３２３が押下されたと判断された場合、ステップＳ１４６において、コマンド発生制御部２９２は、親画面２５１または子画面２５２に表示される映像を切替えるコマンドを発生し、コマンド送出部２９３に供給する。コマンド送出部２９３は、親画面２５１または子画面２５２に表示される映像を切替えるコマンドを再生装置５に送出する。

ステップＳ１４５において、映像切替ボタン３２３が押下されなかったと判断された場合、または、ステップＳ１４６の処理の終了後、ステップＳ１４７において、コマンド発生制御部２９２は、ボタン等操作入力取得部２９１から供給されたユーザの操作入力に基づいて、音声切替ボタン３２４が押下されたか否かを判断する。

ステップＳ１４７において、音声切替ボタン３２４が押下されたと判断された場合、ステップＳ１４６において、コマンド発生制御部２９２は、親画面２５１または子画面２５２に表示される映像に対応する音声、もしくは、主音声に合成されて再生される副音声を切替えるコマンドを発生し、コマンド送出部２９３に供給する。コマンド送出部２９３は、親画面２５１または子画面２５２に表示される映像に対応する音声、もしくは、主音声に合成されて再生される副音声を切替えるコマンドを再生装置５に送出する。

ステップＳ１４７において、音声切替ボタン３２４が押下されなかったと判断された場合、または、ステップＳ１４８の処理の終了後、ステップＳ１４９において、コマンド発生制御部２９２は、ボタン等操作入力取得部２９１から供給されたユーザの操作入力に基づいて、字幕切替ボタン３２５が押下されたか否かを判断する。

ステップＳ１４９において、字幕切替ボタン３２５が押下されたと判断された場合、ステップＳ１５０において、コマンド発生制御部２９２は、親画面２５１または子画面２５２に表示される映像に対応する字幕を切替えるコマンドを発生し、コマンド送出部２９３に供給する。コマンド送出部２９３は、親画面２５１または子画面２５２に表示される映像に対応するを切替えるコマンドを再生装置５に送出する。

ステップＳ１４９において、字幕切替ボタン３２５が押下されなかったと判断された場合、または、ステップＳ１５０の処理の終了後、処理は、ステップＳ１４１に戻り、それ以降の処理が繰り返される。

このような処理により、リモートコマンダ３０１は、再生装置５に対して、いずれのボタンが押下されたかを通知する。

次に、図３９および図４０のフローチャートを参照して、上述したリモートコマンダの処理２が実行される場合に再生装置５において実行される処理の第１の例であって、ユーザがリモートコマンダ３０１のPinP/Audio Mix Shiftボタン３２２を押下してPinPモードとなった後、いずれかの切替ボタンが操作されることにより、状態がリセットされて、一旦PinPモードではなくなるようになされている場合の再生装置の処理２−１について説明する。

ステップＳ１８１乃至ステップＳ１８３において、図３６のステップＳ９１乃至ステップＳ９３と同様の処理が実行される。

すなわち、メモリ２３のフラグやレジスタに設定されている値に基づいて、記録媒体１１またはローカルストレージ２４から必要なデータが読み出されて、再生処理が実行され、リモートコマンダ３０１から、PinP/Audio MixのONとOFFを切替えるコマンドを受信したか否かが判断され、PinP/Audio MixのONとOFFを切替えるコマンドを受信したと判断された場合、PinP/Audio MixのONとOFFを切替えるように、メモリ２３のフラグの値が変更される。

ステップＳ１８２において、PinP/Audio MixのONとOFFを切替えるコマンドを受信していないと判断された場合、または、ステップＳ１８３の処理の終了後、ステップＳ１８４において、コントローラ２１は、操作入力部２９から供給される信号を基に、リモートコマンダ３０１から、次のコマンドが、PinPに関するコマンドであることを示すコマンドを受信したか否かを判断する。

ステップＳ１８４において、次のコマンドが、PinPに関するコマンドであることを示すコマンドを受信したと判断された場合、ステップＳ１８５において、コントローラ２１は、メモリ２３の内部に有するPinPコマンドフラグをONにする。ここで、PinPコマンドフラグがONのとき、PinPモードであるものとする。

ステップＳ１８４において、次のコマンドが、PinPに関するコマンドであることを示すコマンドを受信していないと判断された場合、または、ステップＳ１８５の処理の終了後、ステップＳ１８６において、コントローラ２１は、PinPコマンドフラグがONである場合、次のコマンドが、PinPに関するコマンドであることを示すコマンドを受信してから、映像、音声、または、字幕表示の切替えのコマンドを受信しない時間が、一定以上経過したか否かを判断する。ステップＳ１８６において、次のコマンドが、PinPに関するコマンドであることを示すコマンドを受信してから、映像、音声、または、字幕表示の切替えのコマンドを受信しない時間が、一定以上経過したと判断された場合、処理は、後述するステップＳ１９３に進む。

ステップＳ１８６において、次のコマンドが、PinPに関するコマンドであることを示すコマンドを受信してから、映像、音声、または、字幕表示の切替えのコマンドを受信しない時間が、一定以上経過していないと判断された場合、ステップＳ１８７において、コントローラ２１は、操作入力部２９から供給される信号を基に、リモートコマンダ３０１から、映像を切替えるコマンドを受信したか否かを判断する。ステップＳ１８７において、映像を切替えるコマンドを受信していないと判断された場合、処理は、後述するステップＳ１９４に進む。

ステップＳ１８７において、映像を切替えるコマンドを受信したと判断された場合、ステップＳ１８８において、コントローラ２１は、PinPコマンドフラグがONであるか否かを判断する。

ステップＳ１８８において、PinPコマンドフラグがONではないと判断された場合、ステップＳ１８９において、コントローラ２１は、親画面２５１に表示される映像を切替えるように、対応するレジスタの値を変更し、処理は、後述するステップＳ１９３に進む。

ステップＳ１８８において、PinPコマンドフラグがONであると判断された場合、ステップＳ１９０において、コントローラ２１は、ＡＶデコーダ部２６において実行されている再生処理の状態や、メモリ２３のフラグやレジスタに設定されている値を基に、PinP表示中またはPinP表示が可能であるか否かを判断する。

ステップＳ１９０において、PinP表示中またはPinP表示が可能であると判断された場合、ステップＳ１９１において、コントローラ２１は、子画面２５２を表示するか、または、子画面２５２に表示される映像を切替えるために対応するフラグやレジスタの値を変更するとともに、必要に応じて、子画面２５２に対応する音声出力および字幕の表示が切替わるように、それぞれに対応するフラグやレジスタの値を変更し、処理は、後述するステップＳ１９３に進む。

具体的には、コントローラ２１は、STN_Tableに基づいて、＃２レジスタのSecondary_video_stream_numberの値を順次変更する。また、コントローラ２１は、＃２レジスタのSecondary_video_stream_numberの値の変更に伴って、＃１レジスタのPiP PG TextST stream numberと＃２レジスタのSecondary audio stream numberの値を、STN_Tableに基づいて、＃２レジスタのSecondary_video_stream_numberに設定されたセカンダリストリームとともに再生可能であると定義されたストリームのstreamIDに変更する。

ステップＳ１９０において、PinP表示中ではなく、また、PinP表示ができないと判断された場合、ステップＳ１９２において、コントローラ２１は、コマンドを無視し、子画面２５２が表示可能ではないことを、ユーザに通知するために、例えば、ＡＶデコーダ部２６を制御して、再生されている親画面２５１のうちの一部にメッセージを表示したり、または、音声メッセージを出力して、処理は、後述するステップＳ１９３に進む。

ステップＳ１８６において、次のコマンドが、PinPに関するコマンドであることを示すコマンドを受信してから、映像、音声、または、字幕表示の切替えのコマンドを受信しない時間が、一定以上経過したと判断された場合、もしくは、ステップＳ１８９、ステップＳ１９１、または、ステップＳ１９２の処理の終了後、ステップＳ１９３において、コントローラ２１は、メモリ２３の内部に有するPinPコマンドフラグをONにし、処理は、ステップＳ１８１に戻り、それ以降の処理が繰り返される。

ステップＳ１８７において、映像を切替えるコマンドを受信していないと判断された場合、ステップＳ１９４において、コントローラ２１は、操作入力部２９から供給される信号を基に、リモートコマンダ３０１から、音声を切替えるコマンドを受信したか否かを判断する。ステップＳ１９４において、音声を切替えるコマンドを受信していないと判断された場合、処理は、後述するステップＳ２０２に進む。

ステップＳ１９４において、音声を切替えるコマンドを受信したと判断された場合、ステップＳ１９５において、コントローラ２１は、PinPコマンドフラグがONであるか否かを判断する。

ステップＳ１９５において、PinPコマンドフラグがONではないと判断された場合、ステップＳ１９６において、コントローラ２１は、親画面２５１に表示される映像に対応する音声を切替えるかまたはOFFするように、対応するフラグやレジスタの値を変更し、処理は、ステップＳ１９３に進む。

ステップＳ１９５において、PinPコマンドフラグがONであると判断された場合、ステップＳ１９７において、コントローラ２１は、ＡＶデコーダ部２６において実行されている再生処理の状態や、メモリ２３のフラグやレジスタに設定されている値を基に、PinP表示中であるか否かを判断する。

ステップＳ１９７において、PinP表示中であると判断された場合、ステップＳ１９８において、コントローラ２１は、子画面２５２に表示される映像に対応する音声を切替えるかまたはOFFするように、対応するフラグやレジスタの値を変更し、処理は、ステップＳ１９３に進む。

ステップＳ１９７において、PinP表示中ではないと判断された場合、ステップＳ１９９において、コントローラ２１は、ＡＶデコーダ部２６において実行されている再生処理の状態や、メモリ２３のフラグやレジスタに設定されている値を基に、主音声に副音声を多重化することが可能であるか否かを判断する。

ステップＳ１９８において、主音声に副音声を多重化することが可能であると判断された場合、ステップＳ２００において、コントローラ２１は、副音声を切替えるか、または、ＯＦＦするように、対応するフラグやレジスタの値を変更して、処理は、ステップＳ１９３に進む。

具体的には、コントローラ２１は、STN_Tableに基づいて、＃３レジスタのPrimary video stream numberに設定されたプライマリビデオストリームと組み合わせて再生することが可能なセカンダリビデオストリームのIDを抽出し、＃２レジスタのSecondary audio stream numberに順次設定するとともに、選択可能なSecondary audio stream numberが一巡したあと、次のコマンドの入力で、図示しないフラグ等の設定を変更して、副音声出力を中止し、次のコマンドの入力で、図示しないフラグ等の設定を変更して、＃２レジスタのSecondary audio stream numberの値を変更することにより、再び、副音声を出力する。

ステップＳ１９８において、主音声に副音声を多重化することができないと判断された場合、ステップＳ２０１において、コントローラ２１は、コマンドを無視し、処理は、ステップＳ１９３に進む。

ステップＳ１９４において、音声を切替えるコマンドを受信していないと判断された場合、ステップＳ２０２において、コントローラ２１は、操作入力部２９から供給される信号を基に、リモートコマンダ３０１から、字幕を切替えるコマンドを受信したか否かを判断する。ステップＳ２０２において、字幕を切替えるコマンドを受信していないと判断された場合、処理は、ステップＳ１８６に戻り、それ以降の処理が繰り返される。

ステップＳ２０２において、字幕を切替えるコマンドを受信したと判断された場合、ステップＳ２０３において、コントローラ２１は、PinPコマンドフラグがONであるか否かを判断する。

ステップＳ２０３において、PinPコマンドフラグがONではないと判断された場合、ステップＳ２０４において、コントローラ２１は、親画面２５１に表示される映像に対応する字幕を切替えるかまたはOFFするように、対応するフラグやレジスタの値を変更し、処理は、ステップＳ１９３に進む。

ステップＳ２０３において、PinPコマンドフラグがONであると判断された場合、ステップＳ２０５において、コントローラ２１は、ＡＶデコーダ部２６において実行されている再生処理の状態や、メモリ２３のフラグやレジスタに設定されている値を基に、PinP表示中であるか否かを判断する。

ステップＳ２０５において、PinP表示中であると判断された場合、ステップＳ２０６において、コントローラ２１は、子画面２５２に表示される映像に対応する字幕を切替えるかまたはOFFするように、対応するフラグやレジスタの値を変更し、処理は、ステップＳ１９３に進む。

具体的には、コントローラ２１は、STN_Tableに基づいて、＃２レジスタのSecondary_video_stream_numberに設定されたセカンダリストリームとともに再生可能であると定義されたストリームのstreamIDを抽出し、＃１レジスタのPiP PG TextST stream numberの値を順次変更して、子画面２５２に表示される映像に対応する字幕表示を切替えるとともに、選択可能なPiP PG TextST stream numberが一巡したあと、次のコマンドの入力で、PiP_PG_textST_valid _flagの値を０とするかまたはdisp_s_flagの値を０として、子画面２５２に表示される映像に対応する字幕の再生出力を中止し、次のコマンドの入力で、PiP_PG_textST_valid_flagの値を１とするかまたはdisp_s_flagの値を１として、子画面２５２に表示される映像に対応する字幕の再生出力を再開し、＃１レジスタのPiP PG TextST stream numberの値を変更する。

ステップＳ２０５において、PinP表示中ではないと判断された場合、ステップＳ２０７において、コントローラ２１は、コマンドを無視し、処理は、ステップＳ１９３に進む。

このような処理により、再生装置５は、ユーザがリモートコマンダ３０１に対して入力した操作を基に、再生処理を行うことができる。なお、この場合は、PinP/Audio Mix Shiftボタン３２２を押下してPinPモードとなった後、いずれかの切替ボタンが操作されることにより、状態がリセットされて、一旦PinPモードではなくなるようになされている。

次に、図４１および図４２のフローチャートを参照して、上述したリモートコマンダの処理２が実行される場合に再生装置５において実行される処理の第２の例であって、ユーザがリモートコマンダ３０１のPinP/Audio Mix Shiftボタン３２２を押下してPinPモードとなった後、一定時間以上いずれかの切替ボタンが押されない時間が経過しない限りは、PinPモードが継続されるようになされている場合の再生装置の処理２−２について説明する。

ステップＳ２３１乃至ステップＳ２３５において、図３９のステップＳ１８１乃至ステップＳ１８５と同様の処理が実行される。

そして、リモートコマンダ３０１から、次のコマンドが、PinPに関するコマンドであることを示すコマンドを受信したか否かが判断され、次のコマンドが、PinPに関するコマンドであることを示すコマンドを受信したと判断された場合、メモリ２３の内部に有するPinPコマンドフラグがONとされる。

ステップＳ２３６において、コントローラ２１は、PinPコマンドフラグがONである場合、次のコマンドが、PinPに関するコマンドであることを示すコマンドを受信してから、映像、音声、または、字幕表示の切替えのコマンドを受信しない時間が、一定以上経過したか否かを判断する。

ステップＳ２３６において、次のコマンドが、PinPに関するコマンドであることを示すコマンドを受信してから、映像、音声、または、字幕表示の切替えのコマンドを受信しない時間が、一定以上経過したと判断された場合、ステップＳ２３７において、コントローラ２１は、メモリ２３の内部に有するPinPコマンドフラグをONにし、処理は、ステップＳ２３１に戻り、それ以降の処理が繰り返される。

ステップＳ２３６において、次のコマンドが、PinPに関するコマンドであることを示すコマンドを受信してから、映像、音声、または、字幕表示の切替えのコマンドを受信しない時間が、一定以上経過していないと判断された場合、ステップＳ２３８において、コントローラ２１は、操作入力部２９から供給される信号を基に、リモートコマンダ３０１から、映像を切替えるコマンドを受信したか否かを判断する。ステップＳ２３８において、映像を切替えるコマンドを受信していないと判断された場合、処理は、後述するステップＳ２４４に進む。

ステップＳ２３８において、映像を切替えるコマンドを受信したと判断された場合、ステップＳ２３９において、コントローラ２１は、PinPコマンドフラグがONであるか否かを判断する。

ステップＳ２３９において、PinPコマンドフラグがONではないと判断された場合、ステップＳ２４０において、コントローラ２１は、親画面２５１に表示される映像を切替えるように、対応するレジスタの値を変更し、処理は、ステップＳ２３６に戻り、それ以降の処理が繰り返される。

ステップＳ２３９において、PinPコマンドフラグがONであると判断された場合、ステップＳ２４１において、コントローラ２１は、ＡＶデコーダ部２６において実行されている再生処理の状態や、メモリ２３のフラグやレジスタに設定されている値を基に、PinP表示中またはPinP表示が可能であるか否かを判断する。

ステップＳ２４１において、PinP表示中またはPinP表示が可能であると判断された場合、ステップＳ２４２において、コントローラ２１は、子画面２５２を表示するか、または、子画面２５２に表示される映像を切替えるために対応するフラグやレジスタの値を変更するとともに、必要に応じて、子画面２５２に対応する音声出力および字幕の表示が切替わるように、それぞれに対応するフラグやレジスタの値を変更し、処理は、ステップＳ２３６に戻り、それ以降の処理が繰り返される。

ステップＳ２４１において、PinP表示中ではなく、また、PinP表示ができないと判断された場合、ステップＳ２４３において、コントローラ２１は、コマンドを無視し、子画面２５２が表示可能ではないことを、ユーザに通知するために、例えば、ＡＶデコーダ部２６を制御して、再生されている親画面２５１のうちの一部にメッセージを表示したり、または、音声メッセージを出力して、処理は、ステップＳ２３６に戻り、それ以降の処理が繰り返される。

ステップＳ２３８において、映像を切替えるコマンドを受信していないと判断された場合、ステップＳ２４４において、コントローラ２１は、操作入力部２９から供給される信号を基に、リモートコマンダ３０１から、音声を切替えるコマンドを受信したか否かを判断する。ステップＳ２４４において、音声を切替えるコマンドを受信していないと判断された場合、処理は、後述するステップＳ２５２に進む。

ステップＳ２４４において、音声を切替えるコマンドを受信したと判断された場合、ステップＳ２４５において、コントローラ２１は、PinPコマンドフラグがONであるか否かを判断する。

ステップＳ２４５において、PinPコマンドフラグがONではないと判断された場合、ステップＳ２４６において、コントローラ２１は、親画面２５１に表示される映像に対応する音声を切替えるかまたはOFFするように、対応するフラグやレジスタの値を変更し、処理は、ステップＳ２３６に戻り、それ以降の処理が繰り返される。

具体的には、コントローラ２１は、STN_Tableに基づいて、＃４レジスタのPrimary audio stream numberの設定を順次変更して、親画面２５１に表示される映像に対応する音声を切替えるとともに、選択可能なPrimary audio stream numberが一巡したあと、次のコマンドの入力で、図示しないフラグ等の設定を変更して、音声出力を中止し、次のコマンドの入力で、図示しないフラグ等の設定を変更して、＃４レジスタのPrimary audio stream numberの値を変更することにより、再び、音声を出力する。

ステップＳ２４５において、PinPコマンドフラグがONであると判断された場合、ステップＳ２４７において、コントローラ２１は、ＡＶデコーダ部２６において実行されている再生処理の状態や、メモリ２３のフラグやレジスタに設定されている値を基に、PinP表示中であるか否かを判断する。

ステップＳ２４７において、PinP表示中であると判断された場合、ステップＳ２４８において、コントローラ２１は、子画面２５２に表示される映像に対応する音声を切替えるかまたはOFFするように、対応するフラグやレジスタの値を変更し、処理は、ステップＳ２３６に戻り、それ以降の処理が繰り返される。

具体的には、コントローラ２１は、STN_Tableに基づいて、＃２レジスタのSecondary video stream numberに設定されたセカンダリストリームとともに再生可能であると定義されたストリームのstreamIDを抽出し、＃２レジスタのSecondary audio stream numberの値を順次変更して、子画面２５２に表示される映像に対応する音声を切替えるとともに、選択可能なSecondary audio streamが一巡したあと、次のコマンドの入力で、disp_a_flagの値を０として、子画面２５２に表示される映像に対応する音声の再生出力を中止し、次のコマンドの入力で、disp_a_flagの値を１として、＃２レジスタのSecondary audio stream numberの値を変更する。

ステップＳ２４７において、PinP表示中ではないと判断された場合、ステップＳ２４９において、コントローラ２１は、ＡＶデコーダ部２６において実行されている再生処理の状態や、メモリ２３のフラグやレジスタに設定されている値を基に、主音声に副音声を多重化することが可能であるか否かを判断する。

ステップＳ２４９において、主音声に副音声を多重化することが可能であると判断された場合、ステップＳ２５０において、コントローラ２１は、副音声を切替えるか、または、ＯＦＦするように、対応するフラグやレジスタの値を変更して、処理は、ステップＳ２３６に戻り、それ以降の処理が繰り返される。

具体的には、コントローラ２１は、STN_Tableに基づいて、＃３レジスタのPrimary video stream numberに設定されたプライマリビデオストリームと組み合わせて再生することが可能なセカンダリオーディオストリームのIDを抽出し、＃２レジスタのSecondary audio stream numberに順次設定するとともに、選択可能なSecondary audio stream numberが一巡したあと、次のコマンドの入力で、図示しないフラグ等の設定を変更して、副音声出力を中止し、次のコマンドの入力で、図示しないフラグ等の設定を変更して、＃２レジスタのSecondary audio stream numberの値を変更することにより、再び、副音声を出力する。

ステップＳ２４９において、主音声に副音声を多重化することができないと判断された場合、ステップＳ２５１において、コントローラ２１は、コマンドを無視し、処理は、ステップＳ２３６に戻り、それ以降の処理が繰り返される。

ステップＳ２４４において、音声を切替えるコマンドを受信していないと判断された場合、ステップＳ２５２において、コントローラ２１は、操作入力部２９から供給される信号を基に、リモートコマンダ３０１から、字幕を切替えるコマンドを受信したか否かを判断する。ステップＳ２５２において、字幕を切替えるコマンドを受信していないと判断された場合、処理は、ステップＳ２３６に戻り、それ以降の処理が繰り返される。

ステップＳ２５２において、字幕を切替えるコマンドを受信したと判断された場合、ステップＳ２５３において、コントローラ２１は、PinPコマンドフラグがONであるか否かを判断する。

ステップＳ２５３において、PinPコマンドフラグがONではないと判断された場合、ステップＳ２５４において、コントローラ２１は、親画面２５１に表示される映像に対応する字幕を切替えるかまたはOFFするように、対応するフラグやレジスタの値を変更し、処理は、ステップＳ２３６に戻り、それ以降の処理が繰り返される。

具体的には、コントローラ２１は、STN_Tableに基づいて、＃１レジスタのPG TextST stream numberの設定を順次変更し、選択可能なPG TextST stream numberが一巡したあと、次のコマンドの入力で、disp_s_flagの値を０として、字幕の表示を中止し、次のコマンドの入力で、disp_ s_flagの値を１として、＃１レジスタのPG TextST stream numberの値を変更することにより、再び、字幕を表示させる。

ステップＳ２５３において、PinPコマンドフラグがONであると判断された場合、ステップＳ２５５において、コントローラ２１は、ＡＶデコーダ部２６において実行されている再生処理の状態や、メモリ２３のフラグやレジスタに設定されている値を基に、PinP表示中であるか否かを判断する。

ステップＳ２５５において、PinP表示中であると判断された場合、ステップＳ２５６において、コントローラ２１は、子画面２５２に表示される映像に対応する字幕を切替えるかまたはOFFするように、対応するフラグやレジスタの値を変更し、処理は、ステップＳ２３６に戻り、それ以降の処理が繰り返される。

具体的には、コントローラ２１は、STN_Tableに基づいて、＃２レジスタのSecondary_video_stream_numberに設定されたセカンダリストリームとともに再生可能であると定義されたストリームのstreamIDを抽出し、＃１レジスタのPiP PG TextST stream numberの値を順次変更して、子画面２５２に表示される映像に対応する字幕表示を切替えるとともに、選択可能なPiP PG TextST stream numberが一巡したあと、次のコマンドの入力で、PiP_PG_textST_valid _flagの値を０とするかまたはdisp_s_flagの値を０として、子画面２５２に表示される映像に対応する字幕の再生出力を中止し、次のコマンドの入力で、PiP_PG_textST_valid _flagの値を１とするかまたはdisp_s_flagの値を１として、＃１レジスタのPiP PG TextST stream numberの値を変更する。

ステップＳ２５５において、PinP表示中ではないと判断された場合、ステップＳ２５７において、コントローラ２１は、コマンドを無視し、処理は、ステップＳ２３６に戻り、それ以降の処理が繰り返される。

このような処理により、再生装置５は、ユーザがリモートコマンダ３０１に対して入力した操作を基に、再生処理を行うことができる。なお、この場合は、PinP/Audio Mix Shiftボタン３２２を押下してPinPモードとなった後、一定以上長い時間、いずれの切替ボタンも操作さないときのみ、状態がリセットされて、PinPモードではなくなるようになされている。

次に、図４３を参照して、再生装置５をコントロールするためのリモートコマンダが備えるボタンの第２の例について説明する。

図４３に示されるリモートコマンダ３５１には、図３３のリモートコマンダ３０１におけるPinP/Audio Mix On-Offボタン３２１およびPinP/Audio Mix Shiftボタン３２２に代わって、新たに、PinP/Audio Mixボタン３６１が設けられ、図３３のリモートコマンダ３０１と同様の映像切替ボタン３２３、音声切替ボタン３２４、字幕切替ボタン３２５が設けられているとともに、これらのボタン以外に、例えば、コンテンツの再生開始、終了、一時停止、音量の調整、画質調整などの基本操作、再生装置５に装着された記録媒体１１のイジェクト操作の指令など、再生装置５の他の動作に対する指令を行うためのボタンやキーなども備えられている。

PinP/Audio Mixボタン３６１は、映像切替ボタン３２３、音声切替ボタン３２４、字幕切替ボタン３２５に割り当てられる意味を変更して、PinP/Audio Mixボタン３６１の押下後にこれらの切替ボタンを押下することにより、子画面２５２または副音声に関するストリームの切替えを再生装置５に指令することができるようになされているボタンであるので、実質的に、子画面２５２の表示（PinP）または副音声の合成（Audio Mixing）のON/OFFの切替えを再生装置５に指令するための操作入力を行うためのボタンである。

具体的には、ユーザは、表示されていない子画面２５２を表示させたい、すなわち、PinPをOnにしたいとき、PinP/Audio Mixボタン３６１の押下後に映像切替ボタン３２３を押下する。ユーザは、子画面２５２が表示されている状態で、子画面２５２に表示されている映像を切替えたい場合、PinP/Audio Mixボタン３６１の押下後に映像切替ボタン３２３を押下する。子画面２５２が表示されている状態で、PinP/Audio Mixボタン３６１の押下後に映像切替ボタン３２３が連続して操作された場合、表示されている映像は、SV1からSV2、SV2からSV3、SV3からからOff、OffからSV1に切替わる。また、ユーザは、子画面２５２が表示されている状態で、子画面２５２の表示を終了させる、すなわち、PinPをOffにしたい場合、PinP/Audio Mixボタン３６１の押下後に、子画面２５２の表示がオフになるまで、映像切替ボタン３２３を複数回押下する。

リモートコマンダ３５１は、リモートコマンダ３０１における場合と同様に、再生装置５に対して、いずれのボタンが押下されたかを通知するようにしても良いし、PinPモードであるか否かを判断して、切替えられるのは、親画面２５１に対応するストリームであるか、または、子画面２５２もしくは副音声に対応するストリームであるかを区別して通知するようにしても良い。

また、リモートコマンダ３５１においても、ユーザが、例えば、子画面２５２に表示される映像を切替えるとともに、子画面２５２に表示される映像に対応して再生される音声を切替えたい場合など、連続して、PinPモードの指令を行いたい場合、例えば、PinP/Audio Mix Shiftボタン３２２を押下し、映像切替ボタン３２３を押下して、子画面２５２に表示される映像を切替えたときに、状態がリセットされて、一旦PinPモードではなくなり、もう一度PinP/Audio Mix Shiftボタン３２２を押下してから音声切替ボタン３２４を押下する必要があるようにしても良いし、PinP/Audio Mix Shiftボタン３２２を押下し、映像切替ボタン３２３を押下して、子画面２５２に表示される映像を切替えた状態ではPinPモードが継続するようにしておき、所定時間内に音声切替ボタン３２４を押下すれば、子画面２５２に表示される映像に対応して再生される音声を切替えることができるようにしても良い。

なお、リモートコマンダ３５１においても、リモートコマンダ３０１における場合と同様に、リモートコマンダ３５１の状態が、PinPモードであるか否かをユーザに通知することができるようにすると好適である。例えば、リモートコマンダ３５１にLEDなどを設け、PinPモードであるか否かに応じて、LEDの点灯および消灯を切替えるようにしてもよいし、再生装置５に接続されている図示しない表示装置の表示画面のいずれかに、モードが切替わったとき、または、継続的に、PinPモードであるか否かをユーザに通知するためのテキストまたはアイコンなどを表示するものとしても良い。

また、リモートコマンダ３５１においても、再生状態確認ボタンを設け、ユーザが再生状態確認ボタンを押下することにより、現在の再生状態で、子画面２５２を表示させる（ピクチャインピクチャ表示を実行させる）ことが可能であるか否か、または、親画面２５１に表示されている映像に対応して再生されている主音声（Primary audio）に対して、合成して再生出力可能な副音声（Secondary audio）があるか否かをユーザが確認することができるようにしても良い。例えば、ユーザにより再生状態確認ボタンが押下された場合、再生装置５のコントローラ２１は、ＡＶデコーダ部２６において実行されている再生処理の状態や、メモリ２３のフラグやレジスタに設定されている値を基に、現在の再生状態で、子画面２５２を表示させる（ピクチャインピクチャ表示を実行させる）ことが可能であるか否か、または、親画面２５１に表示されている映像に対応して再生されている主音声（Primary audio）に対して、合成して再生出力可能な副音声（Secondary audio）があるか否かを判断し、再生装置５に接続されている図示しない表示装置の表示画面のいずれかに、判断結果をユーザに通知するためのテキストまたはアイコンなどを表示させたり、音声メッセージを出力させるようにすると好適である。

もしくは、再生装置５において、ユーザからの要求がなくても、現在の再生状態で、子画面２５２を表示させることが可能であるか否か、または、親画面２５１に表示されている映像に対応して再生されている主音声に対して、合成して再生出力可能な副音声があるか否かをユーザに通知するためのテキストまたはアイコンなどを、再生装置５に接続されている図示しない表示装置の表示画面のいずれかに、常に、または、所定期間ごとに、もしくは、再生可能か否かが切替わったタイミングで、表示させるようにしても良い。

このようにして、現在の再生状態で、子画面２５２を表示させることが可能であるか否か、または、親画面２５１に表示されている映像に対応して再生されている主音声に対して、合成して再生出力可能な副音声があるか否かを、ユーザが認識可能なようにしておくことにより、ユーザは、リモートコマンダ３５１をより簡単に利用して、再生装置５において再生されるストリームを選択することが可能となり、好適である。

次に、図４４乃至図４７のフローチャートを参照して、リモートコマンダ３５１がユーザの操作入力を基にPinPモードであるか否かを判断して、切替えられるのは、親画面２５１に対応するストリームであるか、または、子画面２５２もしくは副音声に対応するストリームであるかを区別して再生装置５に通知する場合の処理について説明する。

まず、図４４のフローチャートを参照して、リモートコマンダ３５１がユーザの操作入力を基にPinPモードであるか否かを判断して、切替えられるのは、親画面２５１に対応するストリームであるか、または、子画面２５２もしくは副音声に対応するストリームであるかを区別して再生装置５に通知するとともに、リモートコマンダ３５１の状態は、PinP/Audio Mix Shiftボタン３２２を押下してPinPモードとなった後、いずれかの切替ボタンが操作されることにより、状態がリセットされて、一旦PinPモードではなくなるようになされている場合のリモートコマンダの処理３-１について説明する。

ステップＳ２８１において、コマンド発生制御部２９２は、ボタン等操作入力取得部２９１から供給されたユーザの操作入力に基づいて、PinP/Audio Mixボタン３６１が押下されたか否かを判断する。

ステップＳ２８１において、PinP/Audio Mixボタン３６１が押下されたと判断された場合、ステップＳ２８２において、コマンド発生制御部２９２は、内部に有するPinP切替えフラグをONにする。ここで、PinP切替えフラグがONのとき、PinPモードであるものとする。

ステップＳ２８２の処理の終了後、処理は、ステップＳ２８３に進む。ステップＳ２８１において、PinP/Audio Mixボタン３６１が押下されなかったと判断された場合、処理は、ステップＳ２９１に進む。

そして、ステップＳ２８３乃至ステップＳ２９６において、図３４のステップＳ１５乃至ステップＳ２８と同様の処理が繰り返されるので、その詳細な説明は省略する。

すなわち、この処理を実行するリモートコマンダ３５１においては、PinP/Audio Mixボタン３６１が押下された場合、PinP切替えフラグがＯＮとされ、PinP切替えフラグがONのときに、いずれかの切替ボタンが押下されたとき、その切替に関する指令は、子画面２５２に関するもの、または、主音声に対する副音声の切替に関する指令である。そして、PinP切替えフラグがOFFのときに、いずれかの切替ボタンが押下されたとき、その切替に関する指令は、親画面２５１に関するものである。

このような処理により、リモートコマンダ３５１がユーザの操作入力を基にPinPモードであるか否かを判断して、切替えられるのは、親画面２５１に対応するストリームであるか、または、子画面２５２もしくは副音声に対応するストリームであるかを区別して再生装置５に通知することが可能になるとともに、リモートコマンダ３０１の状態は、PinP/Audio Mix Shiftボタン３２２を押下してPinPモードとなった後、いずれかの切替ボタンが操作されることにより、状態がリセットされて、一旦PinPモードではなくなるようになされる。

次に、図４５のフローチャートを参照して、リモートコマンダ３５１がユーザの操作入力を基にPinPモードであるか否かを判断して、切替えられるのは、親画面２５１に対応するストリームであるか、または、子画面２５２もしくは副音声に対応するストリームであるかを区別して再生装置５に通知するとともに、リモートコマンダ３５１の状態は、PinP/Audio Mixボタン３６１を押下してPinPモードとなった後、一定時間以上いずれかの切替ボタンが押されない時間が経過しない限りは、PinPモードが継続されるようになされている場合のリモートコマンダの処理３-２について説明する。

ステップＳ３２１およびステップＳ３２２において、図４４のステップＳ２８１およびステップＳ２８２と同様の処理が実行される。

すなわち、PinP/Audio Mixボタン３６１が押下されたか否かが判断され、PinP/Audio Mixボタン３６１が押下されたと判断された場合、内部に有するPinP切替えフラグがONにされる。

ステップＳ３２１において、PinP/Audio Mixボタン３６１が押下されなかったと判断された場合、処理は、ステップＳ３３１に進む。ステップＳ３２２の処理の終了後、処理は、ステップＳ３２３に進む。そして、ステップＳ３２３乃至ステップＳ３３６において、図３５のステップＳ５５乃至ステップＳ６８と同様の処理が繰り返されるので、その詳細な説明は省略する。

すなわち、この処理を実行するリモートコマンダ３５１においては、PinP/Audio Mixボタン３６１が押下された場合、PinP切替えフラグがＯＮとされ、PinP切替えフラグがONのときに、いずれかの切替ボタンが押下されたとき、その切替に関する指令は、子画面２５２に関するもの、または、主音声に対する副音声の切替に関する指令であり、PinP切替えフラグがOFFのときに、いずれかの切替ボタンが押下されたとき、その切替に関する指令は、親画面２５１に関するものであることに関しては、図４４を用いて説明したリモートコマンダの処理３−１における場合と同様であるが、リモートコマンダの処理３−２においては、リモートコマンダ３５１の状態は、PinP/Audio Mixボタン３６１を押下してPinPモードとなった後、一定時間以上いずれかの切替ボタンが押されない時間が経過しない限りは、PinPモードが継続されるようになされている。

このような処理により、リモートコマンダ３５１がユーザの操作入力を基にPinPモードであるか否かを判断して、切替えられるのは、親画面２５１に対応するストリームであるか、または、子画面２５２もしくは副音声に対応するストリームであるかを区別して再生装置５に通知することができる。また、リモートコマンダ３５１の状態は、PinP/Audio Mixボタン３６１を押下してPinPモードとなった後、一定時間以上いずれかの切替ボタンが押されない時間が経過しない限りは、PinPモードが継続されるようになされている。

次に、図４６および図４７のフローチャートを参照して、上述したリモートコマンダの処理３−１またはリモートコマンダの処理３−２が実行される場合に再生装置５において実行される再生装置の処理３について説明する。

ステップＳ３６１において、コントローラ２１は、メモリ２３のフラグやレジスタに設定されている値を基に、記録媒体１１またはローカルストレージ２４から必要なデータを読み出し、ＡＶデコーダ部２６を制御して、再生処理を実行する。

ステップＳ３６２において、コントローラ２１は、操作入力部２９から供給される信号を基に、リモートコマンダ３５１から、子画面２５２に表示される映像を切替えるコマンドを受信したか否かを判断する。ステップＳ３６２において、子画面２５２に表示される映像を切替えるコマンドを受信していないと判断された場合、処理は、後述するステップＳ３６６に進む。

ステップＳ３６２において、子画面２５２に表示される映像を切替えるコマンドを受信したと判断された場合、ステップＳ３６３において、コントローラ２１は、ＡＶデコーダ部２６において実行されている再生処理の状態や、メモリ２３のフラグやレジスタに設定されている値を基に、PinP表示中またはPinP表示が可能であるか否かを判断する。

ステップＳ３６３において、PinP表示中またはPinP表示が可能であると判断された場合、ステップＳ３６４において、コントローラ２１は、子画面２５２を表示するか、または、PinP/Audio MixのONとOFFを切替えるか、子画面２５２に表示される映像を切替えるために対応するフラグやレジスタの値を変更するとともに、必要に応じて、子画面２５２に対応する音声出力および字幕の表示が切替わるように、それぞれに対応するフラグやレジスタの値を変更し、処理は、ステップＳ３６１に戻り、それ以降の処理が繰り返される。

具体的には、コントローラ２１は、例えば、現在、子画面２５２が表示されていない場合、＃２レジスタのdisp_v_flagの値を１とするので、＃２レジスタのsecondary video stream numberにストリームIDが設定されたSecondary Videoが子画面２５２に表示される。また、このとき、＃２レジスタのdisp_a_flagの値は、変更しなくても良い（前のPinP終了時の状態を維持しても良い）し、１となるようにしても良い。＃２レジスタのdisp_a_flagの値が１である場合、＃２レジスタのSecondary audio stream numberにストリームIDが設定されたSecondary audioが再生出力される。また、このとき、＃１レジスタのPiP_PG_textST_valid _flagの値も、変更しなくても良い（前のPinP終了時の状態を維持しても良い）し、１となるようにしても良い。＃１レジスタのPiP_PG_textST_valid _flagの値が１である場合、PinP PG TextST stream numberにストリームIDが設定された字幕ストリームが再生される。

また、コントローラ２１は、現在、子画面２５２が表示されている場合、STN_Tableに基づいて、＃２レジスタのSecondary_video_stream_numberの値を順次変更するとともに、選択可能なSecondary_video_stream_numberが一巡したあと、次のコマンドの入力で、＃２レジスタのdisp_v_flagの値を０とするので、子画面２５２の表示が終了されるとともに、子画面２５２に表示されている映像に対応して再生されていた音声および字幕の再生出力も終了される。また、コントローラ２１は、更に、次のコマンドの入力で、＃２レジスタのdisp_v_flagの値を再び１として、＃２レジスタのSecondary_video_stream_numberの値を変更するので、＃２レジスタのSecondary video stream numberにストリームIDが設定されたSecondary Videoが子画面２５２に表示される。

また、コントローラ２１は、＃２レジスタのSecondary_video_stream_numberの値の変更に伴って、＃１レジスタのPiP PG TextST stream numberと＃２レジスタのSecondary audio stream numberの値を、STN_Tableに基づいて、＃２レジスタのSecondary_video_stream_numberに設定されたセカンダリストリームとともに再生可能であると定義されたストリームのstreamIDに変更する。

ステップＳ３６３において、PinP表示中ではなく、また、PinP表示ができないと判断された場合、ステップＳ３６５において、コントローラ２１は、コマンドを無視し、子画面２５２が表示可能ではないことを、ユーザに通知するために、例えば、ＡＶデコーダ部２６を制御して、再生されている親画面２５１のうちの一部にメッセージを表示したり、または、音声メッセージを出力して、処理は、ステップＳ３６１に戻り、それ以降の処理が繰り返される。

ステップＳ３６２において、子画面２５２に表示される映像を切替えるコマンドを受信していないと判断された場合、ステップＳ３６６乃至ステップＳ３８１において、コマンドの送信元が、リモートコマンダ３０１からリモートコマンダ３５１に代わること以外は、図３６および図３７のステップＳ９８乃至ステップＳ１１３と同様の処理が実行されるので、その詳細な説明は省略する。

このような処理により、再生装置５は、リモートコマンダ３５１から供給されるコマンドに基づいて、複数のストリームから、所望のストリームを選択して再生させることが可能となる。

次に、図４８乃至図５２のフローチャートを参照して、リモートコマンダ３５１が再生装置５に対して、いずれのボタンが押下されたかを通知するようになされており、再生装置５において、切替えられるのは、親画面２５１に対応するストリームであるか、または、子画面２５２もしくは副音声に対応するストリームであるかを判断するようになされている場合の処理について説明する。

まず、図４８のフローチャートを参照して、リモートコマンダ３５１が再生装置５に対して、いずれのボタンが押下されたかを通知するようになされている場合のリモートコマンダの処理４について説明する。

ステップＳ４３１において、コマンド発生制御部２９２は、ボタン等操作入力取得部２９１から供給されたユーザの操作入力に基づいて、PinP/Audio Mixボタン３６１が押下されたか否かを判断する。

ステップＳ４３１において、PinP/Audio Mixボタン３６１が押下されたと判断された場合、ステップＳ４３２において、コマンド発生制御部２９２は、一定時間内に連続して送信されるコマンドが子画面２５２または副音声に関するコマンドであることを示すコマンドを発生し、コマンド送出部２９３に供給する。コマンド送出部２９３は、一定時間内に連続して送信されるコマンドが子画面２５２または副音声に関するコマンドであることを示すコマンドを再生装置５に送出する。

ステップＳ４３１において、PinP/Audio Mixボタン３６１が押下されなかったと判断された場合、または、ステップＳ４３２の処理の終了後、ステップＳ４３３乃至ステップＳ４３８において、図３８のステップＳ１４５乃至ステップＳ１５０と同様の処理が繰り返されるので、その詳細な説明は省略する。

すなわち、この処理を実行するリモートコマンダ３５１においては、PinP/Audio Mixボタン３６１、または、いずれかの切替ボタンが押下された場合、再生装置５に対して、いずれのボタンが押下されたかを通知するようになされている。

次に、図４９および図５０のフローチャートを参照して、上述したリモートコマンダの処理４が実行される場合に再生装置５において実行される処理の第１の例であって、ユーザがリモートコマンダ３５１のPinP/Audio Mixボタン３６１を押下してPinPモードとなった後、いずれかの切替ボタンが操作されることにより、状態がリセットされて、一旦PinPモードではなくなるようになされている場合の再生装置の処理４−１について説明する。

ステップＳ４６１において、コントローラ２１は、メモリ２３のフラグやレジスタに設定されている値を基に、記録媒体１１またはローカルストレージ２４から必要なデータを読み出し、ＡＶデコーダ部２６を制御して、再生処理を実行する。

ステップＳ４６２乃至ステップＳ４６８において、図３９のステップＳ１８４乃至ステップＳ１９０と同様の処理が実行される。

ステップＳ４６８において、PinP表示中またはPinP表示が可能であると判断された場合、ステップＳ４６９において、図４６のステップＳ３６４の処理と同様の処理が実行される。すなわち、コントローラ２１は、PinP/Audio MixのONとOFFを切替えるか、子画面２５２に表示される映像を切替えるために対応するフラグやレジスタの値を変更するとともに、必要に応じて、子画面２５２に対応する音声出力および字幕の表示が切替わるように、それぞれに対応するフラグやレジスタの値を変更する。

また、ステップＳ４６８において、PinP表示中またはPinP表示が可能でないと判断された場合、処理は、ステップＳ４７０に進む。ステップＳ４６４において、コマンドを受信しない時間が一定以上経過したと判断された場合、もしくは、ステップＳ４６７またはステップＳ４６９の処理の終了後、処理は、ステップＳ４７１に進む。

そして、ステップＳ４７０乃至ステップＳ４８５において、図３９および図４０のステップＳ１９２乃至ステップＳ２０７と、コマンドの送信元がリモートコマンダ３０１からリモートコマンダ３５１に代わる以外は同様の処理が実行されるので、その詳細な説明は省略する。

このような処理により、再生装置５は、ユーザがリモートコマンダ３５１に対して入力した操作を基に、再生処理を行うことができる。なお、この場合は、PinP/Audio Mixボタン３６１を押下してPinPモードとなった後、いずれかの切替ボタンが操作されることにより、状態がリセットされて、一旦PinPモードではなくなるようになされている。

次に、図５１および図５２のフローチャートを参照して、上述したリモートコマンダの処理４が実行される場合に再生装置５において実行される処理の第２の例であって、ユーザがリモートコマンダ３５１のPinP/Audio Mixボタン３６１を押下してPinPモードとなった後、一定時間以上いずれかの切替ボタンが押されない時間が経過しない限りは、PinPモードが継続されるようになされている場合の再生装置の処理４−２について説明する。

ステップＳ５１１乃至ステップＳ５１３において、図４９のステップＳ４６１乃至ステップＳ４６３と同様の処理が実行される。

すなわち、メモリ２３のフラグやレジスタに設定されている値に基づいて、記録媒体１１またはローカルストレージ２４から必要なデータが読み出されて、再生処理が実行され、リモートコマンダ３０１から、次のコマンドが、PinPに関するコマンドであることを示すコマンドを受信したか否かが判断され、次のコマンドが、PinPに関するコマンドであることを示すコマンドを受信したと判断された場合、メモリ２３の内部に有するPinPコマンドフラグがONとされる。

そして、ステップＳ５１４乃至ステップＳ５３５において、図４１および図４２のステップＳ２３６乃至ステップＳ２５７と、コマンドの送信元がリモートコマンダ３０１からリモートコマンダ３５１に代わる以外は同様の処理が実行されるので、その詳細な説明は省略する。

このような処理により、再生装置５は、ユーザがリモートコマンダ３５１に対して入力した操作を基に、再生処理を行うことができる。なお、この場合は、PinP/Audio Mix Shiftボタン３２２を押下してPinPモードとなった後、一定以上長い時間、いずれの切替ボタンも操作さないときのみ、状態がリセットされて、PinPモードではなくなるようになされている。

次に、図５３を参照して、再生装置５をコントロールするためのリモートコマンダが備えるボタンの第３の例について説明する。

図５３に示されるリモートコマンダ３８１には、図３３のリモートコマンダ３０１におけるPinP/Audio Mix On-Offボタン３２１およびPinP/Audio Mix Shiftボタン３２２が省略され、図３３のリモートコマンダ３０１と同様の映像切替ボタン３２３、音声切替ボタン３２４、字幕切替ボタン３２５が設けられているとともに、これらのボタン以外に、例えば、コンテンツの再生開始、終了、一時停止、音量の調整、画質調整などの基本操作、再生装置５に装着された記録媒体１１のイジェクト操作の指令など、再生装置５の他の動作に対する指令を行うためのボタンやキーなども備えられている。また、リモートコマンダ３８１には、必要に応じて、表示装置の表示画面に表示される所定のＧＵＩ（Graphics User Interface）においてカーソル等の移動を指令することが可能な矢印キー３９１が設けられるものとしてもよい。

すなわち、図５３に示されるリモートコマンダ３８１には、図３３のリモートコマンダ３０１におけるPinP/Audio Mix On-Offボタン３２１およびPinP/Audio Mix Shiftボタン３２２、または、図４２に示されるリモートコマンダ３５１におけるPinP/Audio Mixが備えられていないので、映像、音声、字幕の切替え操作の対象が、親画面２５１に対応するストリームに対するものであるか、子画面２５２に対応するストリームに対するものであるか、主音声に合成される副音声に対するものであるのかを、再生装置５が判断するようになされている。図５３に示されるリモートコマンダ３８１によって操作入力を受ける再生装置５は、表示画面に所定のＧＵＩを表示し、ユーザの操作入力を促すことによって、映像、音声、字幕の切替え操作の対象が、親画面２５１に対応するストリームに対するものであるか、子画面２５２に対応するストリームに対するものであるか、主音声に合成される副音声に対するものであるのかを、判断することができるようになされている。

次に、図５４のフローチャートを参照して、リモートコマンダ３８１が実行するリモートコマンダの処理５について説明する。

ステップＳ５６１において、コマンド発生制御部２９２は、ボタン等操作入力取得部２９１から供給されたユーザの操作入力に基づいて、いずれかのボタンが押下されたか否かを判断する。ステップＳ５６１において、いずれのボタンも押下されていないと判断された場合、いずれかのボタンが押下されたと判断されるまで、ステップＳ５６１の処理が繰り返される。

ステップＳ５６１において、いずれかのボタンが押下されたと判断された場合、ステップＳ５６２において、コマンド発生制御部２９２は、いずれのボタンが押下されたかを示すコマンドを発生し、コマンド送出部２９３に供給する。コマンド送出部２９３は、いずれのボタンが押下されたかを示すコマンドを再生装置５に送出し、処理は、ステップＳ５６１に戻り、それ以降の処理が繰り返される。

このような処理により、リモートコマンダ３８１に対して入力されたユーザの操作を示すコマンドが、再生装置５に供給される。

次に、図５５乃至図５７のフローチャートを参照して、図５４を用いて説明したリモートコマンダの処理５と並行して再生装置５において実行される、再生装置の処理５について説明する。

ステップＳ５９１において、コントローラ２１は、メモリ２３のフラグやレジスタに設定されている値を基に、記録媒体１１またはローカルストレージ２４から必要なデータを読み出し、ＡＶデコーダ部２６を制御して、再生処理を実行する。

ステップＳ５９２において、コントローラ２１は、操作入力部２９から供給される信号を基に、リモートコマンダ３８１から、映像を切替えるコマンドを受信したか否かを判断する。ステップＳ５８２において、映像を切替えるコマンドを受信していないと判断された場合、処理は、後述するステップＳ６０９に進む。

ステップＳ５９２において、映像を切替えるコマンドを受信したと判断された場合、ステップＳ５９３において、コントローラ２１は、ＡＶデコーダ部２６において実行されている再生処理の状態や、メモリ２３のフラグやレジスタに設定されている値を基に、マルチアングル表示、および、PinP表示のいずれも実行可能であるか否かを判断する。

ステップＳ５９３において、マルチアングル表示、および、PinP表示のいずれも実行可能であると判断された場合、ステップＳ５９４において、コントローラ２１は、例えば、図５８に示されるＧＵＩ４２１のように、ユーザに、マルチアングル表示およびPinP表示のいずれかの切替え実行を選択させるためのGUIを表示させるための処理を実行する。ステップＳ５９４の処理の実行後、処理は、後述するステップＳ６００に進む。

ＧＵＩ４２１の表示に基づいて、ユーザは、マルチアングルの選択か、ＰｉｎＰの選択かのいずれかを選択する。この選択は、矢印キー３９１などによって行われても良いし、このＧＵＩを表示させるために押下されたボタン（ここでは、映像切替ボタン３２３）を押下することによって行われても良い。また、選択されたものの決定については、リモートコマンダ３８１に設けられている図示しない決定キーを用いるものとしても良いし、他のいずれの方法で決定するものとしてもよい。また、以下に説明するＧＵＩにおける選択および決定の操作入力も、同様である。

ステップＳ５９３において、マルチアングル表示、および、PinP表示のいずれかが実行可能ではないと判断された場合、ステップＳ５９５において、コントローラ２１は、ＡＶデコーダ部２６において実行されている再生処理の状態や、メモリ２３のフラグやレジスタに設定されている値を基に、マルチアングル表示のみ実行可能であるか否かを判断する。

ステップＳ５９５において、マルチアングル表示のみ実行可能であると判断された場合、ステップＳ５９６において、コントローラ２１は、例えば、図５９に示されるＧＵＩ４２２のように、マルチアングル表示のみ実行することが可能である（換言すれば、ピクチャインピクチャ表示が実行不可である）ことをユーザに通知するためのGUIを表示させるための処理を実行する。ステップＳ５９６の処理の実行後、処理は、後述するステップＳ６００に進む。

ステップＳ５９５において、マルチアングル表示のみ実行可能な再生状態ではないと判断された場合、ステップＳ５９７において、コントローラ２１は、ＡＶデコーダ部２６において実行されている再生処理の状態や、メモリ２３のフラグやレジスタに設定されている値を基に、ピクチャインピクチャ表示のみ実行可能であるかを判断する。

ステップＳ５９７において、ピクチャインピクチャ表示のみ実行可能であると判断された場合、ステップＳ５９８において、コントローラ２１は、例えば、図６０に示されるＧＵＩ４２３のように、ピクチャインピクチャ表示のみ実行することが可能である（換言すれば、マルチアングル表示が実行不可である）ことをユーザに通知するためのGUIを表示させるための処理を実行する。ステップＳ５９８の処理の実行後、処理は、後述するステップＳ６０４に進む。

ステップＳ５９７において、ピクチャインピクチャ表示も実行可能ではないと判断された場合、ステップＳ５９９において、コントローラ２１は、例えば、図６１に示されるＧＵＩ４２４のように、現在、ピクチャインピクチャ表示およびマルチアングル表示のいずれもできないことをユーザに通知するためのGUIを表示させるための処理を実行する。ステップＳ５９９の処理の実行後、処理は、後述するステップＳ６０９に進む。

ステップＳ５９４、または、ステップＳ５９６の処理の終了後、ステップＳ６００において、コントローラ２１は、操作入力部２９から供給される信号を基に、マルチアングル表示の変更が選択されたか否かを判断する。

ステップＳ６００において、マルチアングル表示の変更が選択されたと判断された場合、ステップＳ６０１において、コントローラ２１は、例えば、図６２に示されるＧＵＩ４２５のように、マルチアングル表示のうちのいずれかを選択させるためのGUIを表示させる。

ステップＳ６０２において、コントローラ２１は、操作入力部２９から供給される信号を基に、ユーザによりいずれかのアングルが選択されたか否かを判断する。ステップＳ６０２において、いずれのアングルも選択されていないと判断された場合、いずれかのアングルが選択されたと判断されるまで、ステップＳ６０２の処理が繰り返される。

ステップＳ６０２において、いずれかのアングルが選択されたと判断された場合、ステップＳ６０３において、コントローラ２１は、ユーザの選択に基づいて親画面２５１に表示される映像が切替わるように、対応するレジスタの値を変更し、処理は、ステップＳ５９１に戻り、それ以降の処理が繰り返される。

ステップＳ５９８の処理の終了後、または、ステップＳ６００において、マルチアングル表示の変更が選択されていないと判断された場合、ステップＳ６０４において、コントローラ２１は、PinP表示の変更が選択されたか否かを判断する。

ステップＳ６０４において、PinP表示の変更が選択されていないと判断された場合、ステップＳ６０５において、コントローラ２１は、現在表示されているＧＵＩの表示について、表示から一定時間経過後、その表示を取りやめ、処理は、後述するステップＳ６０９に進む。

ステップＳ６０４において、PinP表示の変更が選択されたと判断された場合、ステップＳ６０６において、コントローラ２１は、例えば、図６３に示されるように、PinP表示のうちのいずれかを選択させるか、または、PinP表示をOFFさせるためのGUI４２６を表示させる。

ステップＳ６０７において、コントローラ２１は、操作入力部２９から供給される信号を基に、ユーザによりいずれかのＰｉｎＰ表示、または、ＰｉｎＰのOFFが選択されたか否かを判断する。ステップＳ６０７において、ＰｉｎＰ表示、または、ＰｉｎＰのOFFがいずれも選択されていないと判断された場合、いずれかかが選択されたと判断されるまで、ステップＳ６０７の処理が繰り返される。

ステップＳ６０７において、いずれかのＰｉｎＰ表示、または、ＰｉｎＰのOFFが選択されたと判断された場合、ステップＳ６０８において、コントローラ２１は、ユーザの選択に基づいて、ＰｉｎＰ表示をOFFさせるか、または、子画面２５２に表示される映像を切替えるために対応するフラグやレジスタの値を変更するとともに、必要に応じて、子画面２５２に対応する音声出力および字幕の表示が切替わるように、それぞれに対応するフラグやレジスタの値を変更し、処理は、ステップＳ５９１に戻り、それ以降の処理が繰り返される。

具体的には、コントローラ２１は、ユーザの操作入力に基づいて、＃２レジスタのdisp_v_flagの値を０として、子画面２５２の表示、および、対応して再生出力されている音声および字幕の再生出力を中止したり、STN_Tableに基づいて、＃２レジスタのSecondary_video_stream_numberの値を変更する。また、コントローラ２１は、＃２レジスタのSecondary_video_stream_numberの値の変更に伴って、＃１レジスタのPiP PG TextST stream numberと＃２レジスタのSecondary audio stream numberの値を、STN_Tableに基づいて、＃２レジスタのSecondary_video_stream_numberに設定されたセカンダリストリームとともに再生可能であると定義されたストリームのstreamIDに変更する。

ステップＳ５９２において、映像を切替えるコマンドを受信していないと判断された場合、もしくは、ステップＳ５９９またはステップＳ６０５の処理の終了後、ステップＳ６０９において、コントローラ２１は、操作入力部２９から供給される信号を基に、リモートコマンダ３８１から、音声を切替えるコマンドを受信したか否かを判断する。ステップＳ６０９において、音声を切替えるコマンドを受信していないと判断された場合、処理は、後述するステップＳ６２８に進む。

ステップＳ６０９において、音声を切替えるコマンドを受信したと判断された場合、ステップＳ６１０において、コントローラ２１は、ＡＶデコーダ部２６において実行されている再生処理の状態や、メモリ２３のフラグやレジスタに設定されている値を基に、親画面２５１に対する音声、および、子画面２５２に対する音声のいずれも音声の切替えが実行可能であるか否かを判断する。

ステップＳ６１０において、親画面２５１に対する音声、および、子画面２５２に対する音声のいずれも音声の切替えが実行可能であると判断された場合、ステップＳ６１１において、コントローラ２１は、例えば、図６４に示されるＧＵＩ４４１のように、ユーザに、現在の親画面２５１に対応する音声、または、子画面２５２に対する音声のうちのいずれの音声の変更を実行するかを選択させるためのGUIを表示させるための処理を実行する。ステップＳ６１１の処理の実行後、処理は、後述するステップＳ６１７に進む。

ステップＳ６１０において、親画面２５１に対する音声、および、子画面２５２に対する音声のいずかの音声の切替えが実行可能ではないと判断された場合、ステップＳ６１２において、コントローラ２１は、ＡＶデコーダ部２６において実行されている再生処理の状態や、メモリ２３のフラグやレジスタに設定されている値を基に、親画面２５１に対する音声の切替えのみが実行可能であるか否かを判断する。

ステップＳ６１２において、親画面２５１に対する音声の切替えのみが実行可能であると判断された場合、ステップＳ６１３において、コントローラ２１は、例えば、図６５に示されるＧＵＩ４４２のように、親画面２５１に対する音声の切替えのみ実行可能である（換言すれば、子画面２５２に対する音声選択が実行不可である）ことをユーザに通知し、処理は、後述するステップＳ６１８に進む。

ステップＳ６１２において、親画面２５１に対する音声の切替えが実行可能ではないと判断された場合、ステップＳ６１４において、コントローラ２１は、ＡＶデコーダ部２６において実行されている再生処理の状態や、メモリ２３のフラグやレジスタに設定されている値を基に、子画面２５２に対する音声の切替えのみが実行可能であるか否かを判断する。

ステップＳ６１４において、子画面２５２に対する音声の切替えのみが実行可能であると判断された場合、ステップＳ６１５において、コントローラ２１は、例えば、図６６に示されるＧＵＩ４４３のように、子画面２５２に対する音声の切替えのみ実行可能である（換言すれば、親画面２５１に対する音声選択が実行不可である）ことをユーザに通知し、処理は、後述するステップＳ６１７に進む。

ステップＳ６１４において、子画面２５２に対する音声の切替えも実行可能ではないと判断された場合、ステップＳ６１６において、コントローラ２１は、例えば、図６７に示されるＧＵＩ４４４のように、子画面２５２に対する音声の切替えおよび親画面２５１に対する音声選択がいずれも実行不可であることをユーザに通知し、処理は、ステップＳ６２８に進む。

ステップＳ６１１、または、ステップＳ６１５の処理の終了後、ステップＳ６１７において、コントローラ２１は、操作入力部２９から供給される信号を基に、子画面２５２に対する音声の切替えの実行が選択されたか否かを判断する。ステップＳ６１７において、子画面２５２に対する音声の切替えの実行が選択されたと判断された場合、処理は、後述するステップＳ６２３に進む。

ステップＳ６１７において、子画面２５２に対する音声の切替えの実行が選択されていないと判断された場合、ステップＳ６１８において、コントローラ２１は、操作入力部２９から供給される信号を基に、親画面２５１に対する音声の切替えの実行が選択されたか否かを判断する。

ステップＳ６１８において、親画面２５１に対する音声の切替えの実行が選択されていないと判断された場合、ステップＳ６１９において、コントローラ２１は、現在表示されているＧＵＩについて、表示から一定時間経過後、その表示を取りやめるものとし、処理は、ステップＳ６２８に進む。

ステップＳ６１８において、親画面２５１に対する音声の切替えの実行が選択されたと判断された場合、ステップＳ６２０において、コントローラ２１は、例えば、図６８に示されるＧＵＩ４４５のように、親画面２５１に対する音声のうちのいずれかを選択させるためのGUIを表示させる。

ステップＳ６２１において、コントローラ２１は、操作入力部２９から供給される信号を基に、ユーザによりいずれかの音声が選択されたか否かを判断する。ステップＳ６２１において、いずれの音声も選択されていないと判断された場合、いずれかの音声が選択されたと判断されるまで、ステップＳ６２１の処理が繰り返される。

ステップＳ６２１において、いずれかの音声が選択されたと判断された場合、ステップＳ６２２において、コントローラ２１は、ユーザの選択に基づいて親画面２５１に表示される映像に対応する音声を切替えるか、または、ＯＦＦするように、対応するレジスタの値を変更し、処理は、ステップＳ５９１に戻り、それ以降の処理が繰り返される。

具体的には、コントローラ２１は、STN_Tableに基づいて、＃４レジスタのPrimary audio stream numberの設定を変更して、親画面２５１に表示される映像に対応する音声を切替えたり、図示しないフラグ等の設定を変更して、音声出力を中止する。

ステップＳ６１７において、子画面２５２に対する音声の切替えの実行が選択されたと判断された場合、ステップＳ６２３において、コントローラ２１は、ＡＶデコーダ部２６において実行されている再生処理の状態や、メモリ２３のフラグやレジスタに設定されている値を基に、PinP表示中であるか否かを判断する。

ステップＳ６２３において、PinP表示中ではないと判断された場合、ステップＳ６２４において、コントローラ２１は、ＰｉｎＰをＯＮにし、子画面２５２を表示する。

具体的には、コントローラ２１は、＃２レジスタのdisp_v_flagの値を１とするので、＃２レジスタのSecondary video stream numberにストリームIDが設定されたSecondary Videoが子画面２５２に表示される。また、このとき、＃２レジスタのdisp_a_flagの値は、変更しなくても良い（前のPinP終了時の状態を維持しても良い）し、１となるようにしても良い。＃２レジスタのdisp_a_flagの値が１である場合、＃２レジスタのSecondary audio stream numberにストリームIDが設定されたSecondary audioが再生出力される。また、このとき、＃１レジスタのPiP_PG_textST_valid_flagの値も、変更しなくても良い（前のPinP終了時の状態を維持しても良い）し、１となるようにしても良い。＃１レジスタのPiP_PG_textST_valid_flagの値が１である場合、PinP PG TextST stream numberにストリームIDが設定された字幕ストリームが再生される。

ステップＳ６２３において、PinP表示中であると判断された場合、または、ステップＳ６２４の処理の終了後、ステップＳ６２５において、コントローラ２１は、例えば、図６９に示されるＧＵＩ４４６のように、子画面２５２に対する音声のうちのいずれかを選択させるためのGUIを表示させる。

ステップＳ６２６において、コントローラ２１は、操作入力部２９から供給される信号を基に、ユーザによりいずれかの音声が選択されたか否かを判断する。ステップＳ６２６において、いずれの音声も選択されていないと判断された場合、いずれかの音声が選択されたと判断されるまで、ステップＳ６２６の処理が繰り返される。

ステップＳ６２６において、いずれかの音声が選択されたと判断された場合、ステップＳ６２７において、コントローラ２１は、ユーザの選択に基づいて子画面２５２に表示される映像に対応する音声を切替えるか、または、ＯＦＦするように、対応するレジスタの値を変更し、処理は、ステップＳ５９１に戻り、それ以降の処理が繰り返される。

具体的には、コントローラ２１は、STN_Tableに基づいて、＃２レジスタのSecondary_video_stream_numberに設定されたセカンダリストリームとともに再生可能であると定義されたストリームのstreamIDを抽出し、＃２レジスタのSecondary audio stream numberの値を順次変更して、子画面２５２に表示される映像に対応する音声を切替えたり、＃２レジスタのdisp_a_flagの値を０として、子画面２５２に表示される映像に対応する音声の再生出力を中止する。

ステップＳ６０９において、音声を切替えるコマンドを受信していないと判断された場合、もしくは、ステップＳ６１６またはステップＳ６１９の処理の終了後、ステップＳ６２８において、コントローラ２１は、操作入力部２９から供給される信号を基に、リモートコマンダ３８１から、字幕を切替えるコマンドを受信したか否かを判断する。ステップＳ６２８において、字幕を切替えるコマンドを受信していないと判断された場合、処理は、ステップＳ５９１に戻り、それ以降の処理が繰り返される。

ステップＳ６２８において、字幕を切替えるコマンドを受信したと判断された場合、ステップＳ６２９において、コントローラ２１は、ＡＶデコーダ部２６において実行されている再生処理の状態や、メモリ２３のフラグやレジスタに設定されている値を基に、親画面２５１に対する字幕、および、子画面２５２に対する字幕のいずれも字幕の切替えが実行可能であるか否かを判断する。

ステップＳ６２９において、親画面２５１に対する字幕、および、子画面２５２に対する字幕のいずれも字幕の切替えが実行可能であると判断された場合、ステップＳ６３０において、コントローラ２１は、例えば、図７０に示されるＧＵＩ４６１のように、ユーザに、現在の親画面２５１に対応する字幕、または、子画面２５２に対する字幕のうちのいずれの字幕の変更を実行するかを選択させるためのGUIを表示させるための処理を実行する。ステップＳ６３０の処理の実行後、処理は、後述するステップＳ６３６に進む。

ステップＳ６２９において、親画面２５１に対する字幕、および、子画面２５２に対する字幕のいずれかの字幕の切替えが実行可能ではないと判断された場合、ステップＳ６３１において、コントローラ２１は、ＡＶデコーダ部２６において実行されている再生処理の状態や、メモリ２３のフラグやレジスタに設定されている値を基に、親画面２５１に対する字幕の切替えのみが実行可能であるか否かを判断する。

ステップＳ６３１において、親画面２５１に対する字幕の切替えのみが実行可能であると判断された場合、ステップＳ６３２において、コントローラ２１は、例えば、図７１に示されるＧＵＩ４６２のように、親画面２５１に対する字幕の切替えのみ実行可能である（換言すれば、子画面２５２に対する字幕選択が実行不可である）ことをユーザに通知し、処理は、後述するステップＳ６３７に進む。

ステップＳ６３１において、親画面２５１に対する字幕の切替えが実行可能ではないと判断された場合、ステップＳ６３３において、コントローラ２１は、ＡＶデコーダ部２６において実行されている再生処理の状態や、メモリ２３のフラグやレジスタに設定されている値を基に、子画面２５２に対する字幕の切替えのみが実行可能であるか否かを判断する。

ステップＳ６３３において、子画面２５２に対する字幕の切替えのみが実行可能であると判断された場合、ステップＳ６３４において、コントローラ２１は、例えば、図７２に示されるＧＵＩ４６３のように、子画面２５２に対する字幕の切替えのみ実行可能である（換言すれば、親画面２５１に対する字幕選択が実行不可である）ことをユーザに通知し、処理は、後述するステップＳ６３６に進む。

ステップＳ６３３において、子画面２５２に対する字幕の切替えも実行可能ではないと判断された場合、ステップＳ６３５において、コントローラ２１は、例えば、図７３に示されるＧＵＩ４６４のように、子画面２５２に対する字幕の切替えおよび親画面２５１に対する字幕選択がいずれも実行不可であることをユーザに通知し、処理は、ステップＳ５９１に戻り、それ以降の処理が繰り返される。

ステップＳ６３０、または、ステップＳ６３４の処理の終了後、ステップＳ６３６において、コントローラ２１は、操作入力部２９から供給される信号を基に、子画面２５２に対する字幕の切替えの実行が選択されたか否かを判断する。ステップＳ６３６において、子画面２５２に対する字幕の切替えの実行が選択されたと判断された場合、処理は、後述するステップＳ６４２に進む。

ステップＳ６３６において、子画面２５２に対する字幕の切替えの実行が選択されていないと判断された場合、ステップＳ６３７において、コントローラ２１は、操作入力部２９から供給される信号を基に、親画面２５１に対する字幕の切替えの実行が選択されたか否かを判断する。

ステップＳ６３７において、親画面２５１に対する字幕の切替えの実行が選択されていないと判断された場合、ステップＳ６３８において、コントローラ２１は、現在表示されているＧＵＩの表示について、表示から一定時間経過後、その表示を取りやめるものとし、処理は、ステップＳ５９１に戻り、それ以降の処理が繰り返される。

ステップＳ６３７において、親画面２５１に対する字幕の切替えの実行が選択されたと判断された場合、ステップＳ６３９において、コントローラ２１は、例えば、図７４に示されるＧＵＩ４６５のように、親画面２５１に対する字幕のうちのいずれかを選択させるためのGUIを表示させる。

ステップＳ６４０において、コントローラ２１は、操作入力部２９から供給される信号を基に、ユーザによりいずれかの字幕が選択されたか否かを判断する。ステップＳ６４０において、いずれの字幕も選択されていないと判断された場合、いずれかの字幕が選択されたと判断されるまで、ステップＳ６４０の処理が繰り返される。

ステップＳ６４０において、いずれかの字幕が選択されたと判断された場合、ステップＳ６４１において、コントローラ２１は、ユーザの選択に基づいて親画面２５１に表示される映像に対応する字幕を切替えるか、または、ＯＦＦするように、対応するレジスタの値を変更し、処理は、ステップＳ５９１に戻り、それ以降の処理が繰り返される。

具体的には、コントローラ２１は、STN_Tableに基づいて、＃１レジスタのPG TextST stream numberの設定を変更したり、disp_s_flagの値を０として、字幕の表示を中止する。

ステップＳ６３６において、子画面２５２に対する字幕の切替えの実行が選択されたと判断された場合、ステップＳ６４２において、コントローラ２１は、ＡＶデコーダ部２６において実行されている再生処理の状態や、メモリ２３のフラグやレジスタに設定されている値を基に、PinP表示中であるか否かを判断する。

ステップＳ６４２において、PinP表示中ではないと判断された場合、ステップＳ６４２において、コントローラ２１は、ＰｉｎＰをＯＮにし、子画面２５２を表示する。

ステップＳ６４２において、PinP表示中であると判断された場合、または、ステップＳ６４３の処理の終了後、ステップＳ６４４において、コントローラ２１は、例えば、図７５に示されるＧＵＩ４６６のように、子画面２５２に対する字幕のうちのいずれかを選択させるためのGUIを表示させる。

ステップＳ６４５において、コントローラ２１は、操作入力部２９から供給される信号を基に、ユーザによりいずれかの字幕が選択されたか否かを判断する。ステップＳ６４５において、いずれの字幕も選択されていないと判断された場合、いずれかの字幕が選択されたと判断されるまで、ステップＳ６４５の処理が繰り返される。

ステップＳ６４５において、いずれかの字幕が選択されたと判断された場合、ステップＳ６４６において、コントローラ２１は、ユーザの選択に基づいて子画面２５２に表示される映像に対応する字幕を切替えるか、または、ＯＦＦするように、対応するレジスタの値を変更し、処理は、ステップＳ５９１に戻り、それ以降の処理が繰り返される。

具体的には、コントローラ２１は、STN_Tableに基づいて、＃２レジスタのSecondary_video_stream_numberに設定されたセカンダリストリームとともに再生可能であると定義されたストリームのstreamIDを抽出し、＃１レジスタのPiP PG TextST stream numberの値を変更して、子画面２５２に表示される映像に対応する字幕表示を切替えたり、PiP_PG_textST_valid_flagの値を０として、子画面２５２に表示される映像に対応する字幕の再生出力を中止する。

このような処理により、再生装置５は、図５３に示されるリモートコマンダ３８１から供給されるコマンドに基づいて、表示画面に所定のＧＵＩを表示し、ユーザの操作入力を促すことができるので、ピクチャインピクチャ表示の有無などを容易に指令することができるとともに、多くのストリームの中から、ユーザが、簡単に所望のストリームを選択し、再生を指令することが可能となる。

なお、再生装置の処理５においては、ＰｉｎＰ表示中ではないときに子画面２５２に対応する音声または字幕の切替が指令されたとき、ＰｉｎＰ表示の実行を開始するものとして説明した。これに対して、上述した再生装置の処理１乃至再生装置の処理４においては、ＰｉｎＰ表示中ではないときに子画面２５２に対応する音声または字幕の切替が指令されたとき、そのコマンドを無視するものとして説明した。

ここで、図５３に示されるリモートコマンダ３８１から供給されるコマンドに基づいて、表示画面に所定のＧＵＩを表示し、ユーザの操作入力を促すことができるようになされている再生装置５の処理において、すなわち、上述した再生装置の処理５において、ＰｉｎＰ表示中ではないときに子画面２５２に対応する音声または字幕の切替が指令されたとき、そのコマンドを無視するようにしてもよいことは言うまでもない

また、図３３に示されるリモートコマンダ３０１、または、図４３に示されるリモートコマンダ３５１からのコマンドを受けて再生処理を実行する再生装置５において、すなわち、上述した再生装置の処理１乃至再生装置の処理４において、ＰｉｎＰ表示中ではないときに子画面２５２に対応する音声または字幕の切替が指令されたとき、ＰｉｎＰ表示の実行を開始するものとしてもよいことは言うまでもない。

これらの処理により、特に、メインのＡＶストリームとは異なる他のストリームやデータファイルで音声や映像等の各種類のコンテンツを用意して再生可能なようにした場合に、再生方法をユーザが容易に指令することができるとともに、その再生方法において再生可能なストリームをユーザが容易に選択して、再生を指令することが可能となる。

このとき、リモートコマンダにストリームの切替えの用途のために設けられるボタン等の数は、切り替えを指令するストリームの種類の数や、表示モードなどの数、換言すれば、再生装置内において、再生を制御するために発生する、例えば、レジスタやフラグなどを変更するためのコマンドの種類よりも少ない。しかしながら、本発明を適用することにより、少ない数のボタン等の操作によって、複雑な操作を行うことなく、再生方法をユーザが容易に指令することができるとともに、その再生方法において再生可能なストリームをユーザが容易に選択して、再生を指令することが可能となる。

図３３に示されるリモートコマンダ３０１、または、図４３に示されるリモートコマンダ３５１からのコマンドを受けて再生処理を実行する再生装置５において、すなわち、上述した再生装置の処理１乃至再生装置の処理４においては、表示装置の表示画面上にＧＵＩを表示させることなく、換言すれば、再生されているコンテンツの映像の表示を妨げることなく、コンテンツの再生方法をユーザが容易に指令することができるとともに、その再生方法において再生可能なストリームをユーザが容易に選択して、再生を指令することが可能である。

これに対して、図５３に示されるリモートコマンダ３８１から供給されるコマンドに基づいて、表示画面に所定のＧＵＩを表示し、ユーザの操作入力を促すことができるようになされている再生装置５の処理において、すなわち、上述した再生装置の処理５においては、リモートコマンダのボタン数をできるだけ増やすことなく（この例では、３つのみ増加させて）、コンテンツの再生方法をユーザが容易に指令することができるとともに、その再生方法において再生可能なストリームをユーザが容易に選択して、再生を指令することが可能である。

上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウェアにより実行させることもできる。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、ネットワークや記録媒体からインストールされる。

この記録媒体は、図２１に示されるように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されているリムーバブルメディア２８よりなるパッケージメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROMや記憶部が含まれるハードディスクなどで構成される。

なお、本明細書において、コンピュータプログラムを記述するステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

従来の音声切替えを説明する図である。従来の音声切替えを説明する図である。 MPEG２プログラムストリームの構成を説明する図である。ユーザに提供する音声信号と字幕信号の関係を表すストリームナンバーテーブルを説明する図である。本発明を適用した再生装置に装着される記録媒体上のアプリケーションフォーマットの例を示す図である。メインパスとサブパスの構造を説明する図である。メインパスとサブパスの例を説明する図である。メインパスとサブパスの別の例を説明する図である。 PlayList()のシンタクスを示す図である。 SubPath()のシンタクスを示す図である。 SubPath_typeを説明する図である。 SubPlayItem(i)のシンタクスを示す図である。 PlayItem()のシンタクスを示す図である。 STN_table()のシンタクスを示す図である。 STN_table()のシンタクスを示す図である。 stream_entry()のシンタクスの例を示す図である。 stream_attribute()のシンタクスを示す図である。 application_typeの種類の例を説明する図である。サブパス制限手法を説明するための図であって、PlayListの種類に対する、そのPlayListが持ち得るSubPathの組み合わせの関係を示す図である。サブパス制限手法を説明するための図であって、PlayList内にあるPlayItemとSubPathの数の組み合わせの関係を示す図である。本発明を適用した再生装置の構成例を示すブロック図である。本発明を適用した再生装置の構成例を示すブロック図である。ピクチャインピクチャ手法を説明する図である。ユーザに提供する音声信号、セカンダリビデオストリームとしての映像信号、および、字幕信号の組み合わせ可能な関係を表すストリームナンバーテーブルの例を示す図である。プライマリビデオストリームと組み合わせて同時再生される、セカンダリビデオストリーム、プライマリオーディオストリーム、セカンダリオーディオストリーム、および、サブタイトルストリームの組み合わせを選択するためのユーザの選択操作を説明する図である。レジスタについて説明するための図である。レジスタについて説明するための図である。 PlayListとClipとの関係、並びに、ClipにおけるTSおよびSTの関係について説明するための図である。 PlayListとClipとの関係、並びに、ClipにおけるTSおよびSTの関係について説明するための図である。 PlayListとClipとの関係、並びに、ClipにおけるTSおよびSTの関係について説明するための図である。複数のビデオストリームの例を示す図である。再生装置５をコントロールするためのリモートコマンダの内部構成例を示すブロック図である。再生装置５をコントロールするためのリモートコマンダが備えるボタンの第１の例を示す図である。リモートコマンダの処理１-１について説明するためのフローチャートである。リモートコマンダの処理１-２について説明するためのフローチャートである。再生装置の処理１について説明するためのフローチャートである。再生装置の処理１について説明するためのフローチャートである。リモートコマンダの処理２について説明するためのフローチャートである。再生装置の処理２−１について説明するためのフローチャートである。再生装置の処理２−１について説明するためのフローチャートである。再生装置の処理２−２について説明するためのフローチャートである。再生装置の処理２−２について説明するためのフローチャートである。再生装置５をコントロールするためのリモートコマンダが備えるボタンの第２の例を示す図である。リモートコマンダの処理３-１について説明するためのフローチャートである。リモートコマンダの処理３-２について説明するためのフローチャートである。再生装置の処理３について説明するためのフローチャートである。再生装置の処理３について説明するためのフローチャートである。リモートコマンダの処理４について説明するためのフローチャートである。再生装置の処理４−１について説明するためのフローチャートである。再生装置の処理４−１について説明するためのフローチャートである。再生装置の処理４−２について説明するためのフローチャートである。再生装置の処理４−２について説明するためのフローチャートである。再生装置５をコントロールするためのリモートコマンダが備えるボタンの第３の例を示す図である。リモートコマンダの処理５について説明するためのフローチャートである。再生装置の処理５について説明するためのフローチャートである。再生装置の処理５について説明するためのフローチャートである。再生装置の処理５について説明するためのフローチャートである。 GUI表示画面の例を示す図である。 GUI表示画面の例を示す図である。 GUI表示画面の例を示す図である。 GUI表示画面の例を示す図である。 GUI表示画面の例を示す図である。 GUI表示画面の例を示す図である。 GUI表示画面の例を示す図である。 GUI表示画面の例を示す図である。 GUI表示画面の例を示す図である。 GUI表示画面の例を示す図である。 GUI表示画面の例を示す図である。 GUI表示画面の例を示す図である。 GUI表示画面の例を示す図である。 GUI表示画面の例を示す図である。 GUI表示画面の例を示す図である。 GUI表示画面の例を示す図である。 GUI表示画面の例を示す図である。 GUI表示画面の例を示す図である。

符号の説明

１再生装置，１１記録媒体，２１コントローラ，２２ストレージドライブ，２３メモリ，２４ローカルストレージ，２６ＡＶデコーダ部，３２スイッチ，５１乃至５４バッファ，５５，５６ PIDフィルタ，５７乃至５９スイッチ，７１バックグラウンドデコーダ，７２ビデオデコーダ，７３プレゼンテーショングラフィックスデコーダ，７４インタラクティブグラフィックスデコーダ，７５オーディオデコーダ，７６ Text-STコンポジション，７７スイッチ，９１バックグラウンドプレーン生成部，９２ビデオプレーン生成部，９３プレゼンテーショングラフィックスプレーン生成部，９４インタラクティブグラフィックスプレーン生成部，９５バッファ９６ビデオデータ処理部，９７ミキシング処理部，１０１ミキシング処理部，２５１親画面，２５２子画面，２９１ボタン等操作入力取得部，２９２コマンド発生制御部，２９３コマンド送出部，３０１リモートコマンダ，３２１ PinP/Audio Mix On-Offボタン，３２２ PinP/Audio Mix Shiftボタン，３２３映像切替ボタン，３２４音声切替ボタン，３２５字幕切替ボタン，３５１リモートコマンダ，３６１ PinP/Audio Mixボタン，３８１リモートコマンダ，４２１乃至４２６ GUI，４４１乃至４４６ GUI，４６１乃至４６６ GUI

Claims

ユーザからの操作入力を受け、主に再生される第１のビデオストリームとともに、他のストリームを再生出力可能な再生装置の動作を制御するためのコマンドを送信するリモートコマンダにおいて、
前記第１のビデオストリームおよび前記他のストリームのうち、再生されるものの選択を切替えることが可能な同一種類のストリームの切替えを指令するための切替え指令手段と、
前記切替え指令手段により切り替えが指令されるストリームを、
前記第１のビデオストリームと合成されて再生される副のビデオストリームである第２のビデオストリーム、もしくは、前記第２のビデオストリームに対応つけられて再生される、ビデオストリームとは異なる種類のストリームか、
または、
前記第１のビデオストリームに対応つけられて再生される第１のオーディオストリームと合成されて再生される第２のオーディオストリーム
のうちのいずれかとする場合に操作される、指令対象ストリーム切替え手段と
を備えるリモートコマンダ。
前記指令対象ストリーム切替え手段が操作されない場合に前記切替え指令手段により切り替えが指令されるストリームは、前記第１のビデオストリーム、前記第１のビデオストリームに対応つけられて再生される前記第１のオーディオストリーム、または、前記第１のビデオストリームに対応つけられて再生される第１の字幕ストリームであり、
前記第２のビデオストリームに対応つけられて再生される、ビデオストリームとは異なる種類のストリームは、前記第２のビデオストリームに対応つけられて再生される第３のオーディオストリーム、または、前記第２のビデオストリームに対応つけられて再生される第２の字幕ストリームである
請求項１に記載のリモートコマンダ。
前記第１のビデオストリームと合成されて再生される前記第２のビデオストリームの表示の有無を指令する第２のビデオストリーム表示指令手段
を更に備える請求項１に記載のリモートコマンダ。
前記第１のビデオストリームに対応つけられて再生される前記第１のオーディオストリームと合成されて再生される前記第２のオーディオストリームの再生出力の有無を指令する第２のオーディオストリーム出力指令手段
を更に備える請求項１に記載のリモートコマンダ。
前記ユーザによる前記切替え指令手段および前記指令対象ストリーム切替え手段への操作入力を基に、前記再生装置へ送信する前記コマンドを発生するコマンド発生手段を更に備え、
前記コマンド発生手段は、前記ユーザによる前記切替え指令手段および前記指令対象ストリーム切替え手段への操作入力を基に、前記第１のビデオストリームおよび前記他のストリームのうちの切替えられるストリームが指定された前記コマンドを発生する
請求項１に記載のリモートコマンダ。
ユーザからの操作入力を受け、主に再生される第１のビデオストリームとともに、他のストリームを再生出力可能な再生装置の動作を制御するためのコマンドを送信するリモートコマンダのコマンド発生方法において、
前記リモートコマンダは、
前記第１のビデオストリームおよび前記他のストリームのうち、再生されるものの選択を切替えることが可能な同一種類のストリームの切替えを指令するための切替え指令手段と、
前記切替え指令手段により切り替えが指令されるストリームの対象を変更する場合に操作される、指令対象ストリーム切替え手段と
を備え、
前記ユーザから前記切替え指令手段の操作入力を受け、
前記ユーザから前記指令対象ストリーム切替え手段の操作入力を受け、
前記ユーザによる前記切替え指令手段および前記指令対象ストリーム切替え手段への操作入力を基に、前記再生装置へ送信する前記コマンドを発生し、
発生された前記コマンドを、前記再生装置に送信する
ステップを含み、
前記ユーザにより前記指令対象ストリーム切替え手段が操作された後、所定の一定の期間内に前記切替え指令手段が操作された場合、発生される前記コマンドを受信した前記再生装置において切り替えが指令されるストリームが、
前記第１のビデオストリームと合成されて再生される副のビデオストリームである第２のビデオストリーム、もしくは、前記第２のビデオストリームに対応つけられて再生される、ビデオストリームとは異なる種類のストリームか、
または、
前記第１のビデオストリームに対応つけられて再生される第１のオーディオストリームと合成されて再生される第２のオーディオストリーム
のうちのいずれかとなるように、前記コマンドが発生される
コマンド発生方法。
ユーザからの操作入力を受け、主に再生される第１のビデオストリームとともに、他のストリームを再生出力可能な再生装置の動作を制御するためのコマンドを送信するリモートコマンダの動作を制御するコンピュータが実行可能なプログラムであって、
前記リモートコマンダは、
前記第１のビデオストリームおよび前記他のストリームのうち、再生されるものの選択を切替えることが可能な同一種類のストリームの切替えを指令するための切替え指令手段と、
前記切替え指令手段により切り替えが指令されるストリームの対象を変更する場合に操作される、指令対象ストリーム切替え手段と
を備え、
前記ユーザから前記切替え指令手段の操作入力を受け、
前記ユーザから前記指令対象ストリーム切替え手段の操作入力を受け、
前記ユーザによる前記切替え指令手段および前記指令対象ストリーム切替え手段への操作入力を基に、前記再生装置へ送信する前記コマンドを発生し、
発生された前記コマンドを、前記再生装置に送信する
ステップを含み、
前記ユーザにより前記指令対象ストリーム切替え手段が操作された後、所定の一定の期間内に前記切替え指令手段が操作された場合、発生される前記コマンドを受信した前記再生装置において切り替えが指令されるストリームが、
前記第１のビデオストリームと合成されて再生される副のビデオストリームである第２のビデオストリーム、もしくは、前記第２のビデオストリームに対応つけられて再生される、ビデオストリームとは異なる種類のストリームか、
または、
前記第１のビデオストリームに対応つけられて再生される第１のオーディオストリームと合成されて再生される第２のオーディオストリーム
のうちのいずれかとなるように、前記コマンドが発生される
プログラム。
主に再生される第１のビデオストリームおよび他のストリームのうち、再生されるものの選択を切替えることが可能な同一種類のストリームの切替えを指令するための切替え指令手段と、
前記切替え指令手段により切り替えが指令されるストリームの対象を変更する場合に操作される、指令対象ストリーム切替え手段と
を備えるリモートコマンダから送信されるコマンドに基づいて、前記第１のビデオストリームとともに、前記他のストリームを再生出力可能な再生装置において、
前記リモートコマンダから前記コマンドを受信する受信手段と、
前記受信手段により受信された前記コマンドに基づいて、前記ユーザにより前記リモートコマンダの前記指令対象ストリーム切替え手段が操作された後、所定の一定の期間内に前記切替え指令手段が操作された場合、前記切替え指令手段により切り替えが指令されるストリームを、
前記第１のビデオストリームと合成されて再生される副のビデオストリームである第２のビデオストリーム、もしくは、前記第２のビデオストリームに対応つけられて再生される、ビデオストリームとは異なる種類のストリームか、
または、
前記第１のビデオストリームに対応つけられて再生される第１のオーディオストリームと合成されて再生される第２のオーディオストリーム
のうちのいずれかであるものとして、前記第１のビデオストリームおよび前記他のストリームの再生を制御する再生制御手段と
を備える再生装置。
前記第１のビデオストリームおよび前記他のストリームがそれぞれ再生されるか否かを設定する第１の設定手段と、
再生が制御される前記第１のビデオストリームおよび前記他のストリームを個別に区別可能な区別情報を設定する第２の設定手段と
を更に備え、
前記再生制御手段は、前記受信手段により受信された前記コマンドに基づいて、前記第１の設定手段および前記第２の設定手段を設定する
請求項８に記載の再生装置。
前記再生制御手段は、前記第１のビデオストリームおよび前記他のストリームの再生を制御するために用いられる再生制御情報に含まれる、同時に再生可能なストリームの組み合わせを定義する定義情報に基づいて、前記第１の設定手段および前記第２の設定手段を設定する
請求項９に記載の再生装置。
主に再生される第１のビデオストリームおよび他のストリームのうち、再生されるものの選択を切替えることが可能な同一種類のストリームの切替えを指令するための切替え指令手段と、
前記切替え指令手段により切り替えが指令されるストリームの対象を変更する場合に操作される、指令対象ストリーム切替え手段と
を備えるリモートコマンダから送信されるコマンドに基づいて、前記第１のビデオストリームとともに、前記他のストリームを再生出力可能な再生装置の再生方法において、
前記リモートコマンダから前記コマンドを受信し、
受信された前記コマンドに基づいて、前記ユーザにより前記リモートコマンダの前記指令対象ストリーム切替え手段が操作された後、所定の一定の期間内に前記切替え指令手段が操作された場合に切り替えが指令されるストリームが、
前記第１のビデオストリームと合成されて再生される副のビデオストリームである第２のビデオストリーム、もしくは、前記第２のビデオストリームに対応つけられて再生される、ビデオストリームとは異なる種類のストリームか、
または、
前記第１のビデオストリームに対応つけられて再生される第１のオーディオストリームと合成されて再生される第２のオーディオストリーム
のうちのいずれかとなるように、前記第１のビデオストリームおよび前記他のストリームの再生を制御する
ステップを含む再生方法。
主に再生される第１のビデオストリームおよび他のストリームのうち、再生されるものの選択を切替えることが可能な同一種類のストリームの切替えを指令するための切替え指令手段と、
前記切替え指令手段により切り替えが指令されるストリームの対象を変更する場合に操作される、指令対象ストリーム切替え手段と
を備えるリモートコマンダから送信されるコマンドに基づいて、前記第１のビデオストリームとともに、前記他のストリームを再生する処理をコンピュータに実行させるためのプログラムであって、
前記リモートコマンダから前記コマンドを受信し、
受信された前記コマンドに基づいて、前記ユーザにより前記リモートコマンダの前記指令対象ストリーム切替え手段が操作された後、所定の一定の期間内に前記切替え指令手段が操作された場合に切り替えが指令されるストリームが、
前記第１のビデオストリームと合成されて再生される副のビデオストリームである第２のビデオストリーム、もしくは、前記第２のビデオストリームに対応つけられて再生される、ビデオストリームとは異なる種類のストリームか、
または、
前記第１のビデオストリームに対応つけられて再生される第１のオーディオストリームと合成されて再生される第２のオーディオストリーム
のうちのいずれかとなるように、前記第１のビデオストリームおよび前記他のストリームの再生を制御する
ステップを含む処理をコンピュータに実行させるプログラム。
主に再生される第１のビデオストリームおよび他のストリームのうち、再生されるものの選択を切替えることが可能な同一種類のストリームの切替えを指令するための切替え指令手段を備えるリモートコマンダから送信されるコマンドに基づいて、前記第１のビデオストリームとともに、前記他のストリームを再生出力可能な再生装置において、
前記リモートコマンダから前記コマンドを受信する受信手段と、
前記受信手段により受信された前記コマンドに基づいて、前記リモートコマンダの前記切替え指令手段により切替えが指令されるストリームの対象をユーザに選択させるための補助となる表示画面の表示を制御するとともに、前記表示画面を参照した前記ユーザの操作入力に基づいて、前記第１のビデオストリームおよび前記他のストリームの再生を制御する再生制御手段と
を備える再生装置。
前記再生制御手段は、前記他のストリームのうち、現在再生出力が可能なストリームを検出し、検出結果に基づいて、前記表示画面の表示を制御する
請求項１３に記載の再生装置。
前記第１のビデオストリームおよび前記他のストリームがそれぞれ再生されるか否かを設定する第１の設定手段と、
再生が制御される前記第１のビデオストリームおよび前記他のストリームを個別に区別可能な区別情報を設定する第２の設定手段と
を更に備え、
前記再生制御手段は、前記受信手段により受信された前記コマンドに基づいて、前記第１の設定手段および前記第２の設定手段を設定する
請求項１３に記載の再生装置。
前記再生制御手段は、前記第１のビデオストリームおよび前記他のストリームの再生を制御するために用いられる再生制御情報に含まれる、同時に再生可能なストリームの組み合わせを定義する定義情報に基づいて、前記第１の設定手段および前記第２の設定手段を設定する
請求項１５に記載の再生装置。
再生されるものの選択を切替えることが可能な同一種類の前記ストリームがビデオストリームであり、前記第１のビデオストリームと合成されて再生される副のビデオストリームである第２のビデオストリームが複数存在する場合、前記再生制御手段は、前記第２のビデオストリームに対応する映像の切り替えを前記ユーザに選択させるように、前記表示画面の表示を制御する
請求項１３に記載の再生装置。
主に再生される第１のビデオストリームおよび他のストリームのうち、再生されるものの選択を切替えることが可能な同一種類のストリームの切替えを指令するための切替え指令手段を備えるリモートコマンダから送信されるコマンドに基づいて、前記第１のビデオストリームとともに、前記他のストリームを再生出力可能な再生装置の再生方法において、
前記リモートコマンダから前記コマンドを受信し、
受信された前記コマンドに基づいて、前記リモートコマンダの前記切替え指令手段により切替えが指令されるストリームの対象をユーザに選択させるための補助となる表示画面の表示を制御し、
前記表示画面を参照した前記ユーザの操作入力に基づいて、前記第１のビデオストリームおよび前記他のストリームの再生を制御する
ステップを含む再生方法。
主に再生される第１のビデオストリームおよび他のストリームのうち、再生されるものの選択を切替えることが可能な同一種類のストリームの切替えを指令するための切替え指令手段を備えるリモートコマンダから送信されるコマンドに基づいて、前記第１のビデオストリームとともに、前記他のストリームを再生する処理をコンピュータに実行させるためのプログラムであって、
前記リモートコマンダから前記コマンドを受信し、
受信された前記コマンドに基づいて、前記リモートコマンダの前記切替え指令手段により切替えが指令されるストリームの対象をユーザに選択させるための補助となる表示画面の表示を制御し、
前記表示画面を参照した前記ユーザの操作入力に基づいて、前記第１のビデオストリームおよび前記他のストリームの再生を制御する
ステップを含む処理をコンピュータに実行させるプログラム。
請求項７、請求項１２、または請求項１９に記載のプログラムが記録されている記録媒体。