JP2003309795A - 再生装置および方法、提供装置および方法、並びにプログラム - Google Patents

Abstract

(57)【要約】 【課題】 より簡単に、より迅速に、使用者に最終的に
視聴させるコンテンツを変更する。 【解決手段】 セレクタ１５１は、画像若しくは音声が
記録されている第１の記録媒体とは別の、シーン情報が
記録されている第２の記録媒体、または画像若しくは音
声を提供する第１の提供装置とは別の、シーン情報を提
供する第２の提供装置からシーン情報を取得する。ビデ
オコンポーザ１６１およびオーディオコンポーザ１６２
は、取得されたシーン情報に基づいて、画像または音声
からシーンを構成する。本発明は、画像または音声を再
生するパーソナルコンピュータに適用できる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、再生装置および方
法、提供装置および方法、並びにプログラムに関し、特
に、シーン情報を基に、画像または音声からなるシーン
を構成して、画像または音声を再生するか、またはシー
ン情報を提供する再生装置および方法、提供装置および
方法、並びにプログラムに関する。

【０００２】

【従来の技術】従来の、MPEG（Moving Picture Experts
Group）1またはMPEG2といった画像または音声の圧縮技
術において、画像および音声のメディアストリームと、
視聴者が最終的に目にする映像および耳にする音声を決
定するシーン情報は、通常、１対１に対応している。す
なわち、ある瞬間を取り出すと、映像と音声との１組が
視聴者に提示される。時間の経過によって提示されるス
トリームが変更されることはあるが、ストリームの変更
は、１つのメディアストリームに含まれるデータが変更
されるか、またはメディアストリームの完全な入れ替え
（１つのストリームが終了し、別のストリームの再生が
開始されること）で実現される。

【０００３】これに対して、新たな枠組みであるMPEG4
においては、１つのシーンを構成するために、１つ以上
の画像と、１つ以上の音声と、１つのシーン情報が必要
とされ、メディアストリームと、その提示のためのシー
ン情報とを、独立して考えることができる。これは、HT
MLなどのページ記述言語、VRMLといった空間記述言語、
そしてSMILといった時間変化やユーザとのインタラクシ
ョンを考慮したシーン記述言語に共通する枠組みであ
る。

【０００４】一方、DVDなどのメディアの普及により、
使用者が気軽にデジタルの映像や音声の作品を楽しむこ
とが可能になってきている。

【０００５】使用者のニーズや作り手の意向により、同
じような素材を元にした複数の作品が登場している。例
えば、いわゆるディレクターズカットと呼ばれる映画作
品は、オリジナルと比較して１部のカット割りが違って
いたり、シーンの追加または削除が行われているだけで
ある。

【０００６】

【発明が解決しようとする課題】しかしながら、画像ま
たは音声などの素材が同一であっても、異なるカット割
りとしたり、シーンの追加または削除を行う場合には、
メディアストリームそのものを変更しなければならず、
編集などに手間がかかり、時間が必要であった。

【０００７】メディアストリームに違いはないが、使用
者が最終的に視聴する作品は別個のものであるというよ
うな場合に、シーン記述とメディアストリームをうまく
独立して扱うことが可能であれば、効率的にコンテンツ
を作成することができる。すなわち、メディアストリー
ムは全ての作品をカバーできる必要十分なコンテンツと
して保持し、異なるシーン情報に基づいて、これらをコ
ンポジションしたりカット割りしたりすることで、最終
的な作品を異なるものにすることができる。

【０００８】本発明はこのような状況に鑑みてなされた
ものであり、より簡単に、より迅速に、使用者に最終的
に視聴させるコンテンツを変更できるようにすることを
目的とする。

【０００９】

【課題を解決するための手段】本発明の再生装置は、画
像若しくは音声が記録されている第１の記録媒体とは別
の、シーン情報が記録されている第２の記録媒体、また
は画像若しくは音声を提供する第１の提供装置とは別
の、シーン情報を提供する第２の提供装置からシーン情
報を取得するシーン情報取得手段と、取得されたシーン
情報に基づいて、画像または音声からシーンを構成する
シーン構成手段とを含むことを特徴とする。

【００１０】再生装置は、取得されたシーン情報から１
つのシーン情報を選択する選択手段をさらに設け、シー
ン構成手段は、選択されたシーン情報に基づいて、画像
または音声からシーンを構成するようにすることができ
る。

【００１１】再生装置は、選択されたシーン情報を復号
する復号手段をさらに設け、シーン構成手段は、復号さ
れたシーン情報に基づいて、画像または音声からシーン
を構成するようにすることができる。

【００１２】再生装置は、取得されたシーン情報に基づ
いて、画像または音声を復号する復号手段をさらに設
け、シーン構成手段は、取得されたシーン情報に基づい
て、復号された画像または音声からシーンを構成するよ
うにすることができる。

【００１３】再生装置は、取得されたシーン情報に基づ
いて、シーンの構成に必要な、符号化されている画像ま
たは音声を取得する画像音声取得手段をさらに設け、復
号手段は、取得された画像または音声を復号するように
することができる。

【００１４】本発明の再生方法は、画像若しくは音声が
記録されている第１の記録媒体とは別の、シーン情報が
記録されている第２の記録媒体、または画像若しくは音
声を提供する第１の提供装置とは別の、シーン情報を提
供する第２の提供装置からシーン情報を取得するシーン
情報取得ステップと、取得されたシーン情報に基づい
て、画像または音声からシーンを構成するシーン構成ス
テップとを含むことを特徴とする。

【００１５】本発明の第１のプログラムは、コンピュー
タに、画像若しくは音声が記録されている第１の記録媒
体とは別の、シーン情報が記録されている第２の記録媒
体、または画像若しくは音声を提供する第１の提供装置
とは別の、シーン情報を提供する第２の提供装置からシ
ーン情報を取得するシーン情報取得ステップと、取得さ
れたシーン情報に基づいて、画像または音声からシーン
を構成するシーン構成ステップとを実行させることを特
徴とする。

【００１６】本発明の提供装置は、再生装置に装着され
ている記録媒体に記録されている画像若しくは音声、ま
たは他の提供装置から提供された画像若しくは音声か
ら、再生装置により構成されるシーンを記述するシーン
情報を、ネットワークを介して、提供する提供手段を含
むことを特徴とする。

【００１７】本発明の提供方法は、再生装置に装着され
ている記録媒体に記録されている画像若しくは音声、ま
たは他の提供装置から提供された画像若しくは音声か
ら、再生装置により構成されるシーンを記述するシーン
情報を、ネットワークを介して、提供する提供ステップ
を含むことを特徴とする。

【００１８】本発明の第２のプログラムは、コンピュー
タに、再生装置に装着されている記録媒体に記録されて
いる画像若しくは音声、または他の提供装置から提供さ
れた画像若しくは音声から、再生装置により構成される
シーンを記述するシーン情報を、ネットワークを介し
て、提供する提供ステップを実行させることを特徴とす
る。

【００１９】本発明の再生装置および方法、並びに第１
のプログラムによれば、画像若しくは音声が記録されて
いる第１の記録媒体とは別の、シーン情報が記録されて
いる第２の記録媒体、または画像若しくは音声を提供す
る第１の提供装置とは別の、シーン情報を提供する第２
の提供装置からシーン情報が取得される。取得されたシ
ーン情報に基づいて、画像または音声からシーンが構成
される。

【００２０】再生装置は、独立した装置であっても良い
し、記録再生装置の再生処理を行うブロックであっても
よい。

【００２１】第１の記録媒体または第２の記録媒体は、
物理的、化学的変化として記録するものであればよい。

【００２２】本発明の提供装置および方法、並びに第２
のプログラムによれば、再生装置に装着されている記録
媒体に記録されている画像若しくは音声、または他の提
供装置から提供された画像若しくは音声から、再生装置
により構成されるシーンを記述するシーン情報が、ネッ
トワークを介して、提供される。

【００２３】提供装置は、独立した装置であっても良い
し、情報処理装置の提供処理を行うブロックであっても
よい。

【００２４】ネットワークとは、少なくとも２つの装置
が接続され、ある装置から、他の装置に対して、情報を
伝達できるようにした仕組みをいう。情報の伝達は、無
線通信および有線通信は勿論、無線通信と有線通信とが
混在した通信、すなわち、ある区間では無線通信を介
し、他の区間では有線通信を介するものであってもよ
い。さらに、ある装置から他の装置への伝達が有線通信
を介し、他の装置からある装置への通信が無線通信を介
するものであってもよい。

【００２５】

【発明の実施の形態】図１は、メディアストリームおよ
びシーン情報からなるコンテンツを再生する、再生装置
の動作を説明する図である。

【００２６】DVDまたはCDなどの記録媒体１１は、動画
像または静止画像などの画像、および複数の音声の信号
からなるメディアストリーム１２、および画像と音声と
の組み合わせ、またはシーンにおける画像および音声の
構成を決定するシーン情報１３を記録している。

【００２７】この明細書において、シーンとは、画像ま
たは音声の所定の時刻tにおいて、構成された画像また
は音声をいう。シーン情報とは、シーンにおける画像ま
たは音声の構成を決定するための情報をいう。

【００２８】メディアストリーム１２およびシーン情報
１３は、例えば、MPEG4方式とすることができる。

【００２９】MPEG4において、シーン情報に対応するシ
ーンの構成情報は、BIFS（Binary Format for Scene
（シーンの記述））とオブジェクトディスクリプタと呼
ばれる２種類のストリームで送受信されるか、または記
録媒体から読み出され、取得される。このうち、BIFSは
スタティックな記述だけでなく、時間に伴って変化する
ようなシーンの記述も可能である。また、BIFSは、オブ
ジェクトディスクリプタを仲介として、他のメディアフ
ァイルにアクセスするため、再利用が容易であると同時
に、他のメディアストリームとは完全に独立している。
シーンを構成する複数のメディアストリームをそのまま
に、BIFSとオブジェクトディスクリプタとを変化させた
とき、構成されるシーンは異なるものとなる。

【００３０】再生装置１４は、記録媒体１１に記録され
ているメディアストリーム１２およびシーン情報１３を
読み出して、シーン情報１３に基づいて、メディアスト
リーム１２に含まれる、動画像または静止画像から１つ
の画像を構成すると共に、複数の音声から１つの音声を
構成して、構成した画像および音声、すなわちシーン
を、図示せぬ表示装置またはラウドスピーカにより使用
者に提示させる。

【００３１】図２は、本発明に係る再生システムの一実
施の形態を示す図である。

【００３２】再生装置の一例であるパーソナルコンピュ
ータ１０１は、装着されている記録媒体１１に記録され
ているメディアストリーム１２を読み出して、メディア
ストリーム１２に含まれる、動画像または静止画像など
の画像、および複数の音声の信号を取得する。

【００３３】パーソナルコンピュータ１０１は、記録媒
体１１に記録されているシーン情報１３に代えて、ネッ
トワーク１０４を介して、サーバ１０３から提供される
シーン情報１０２を取得することを選択できる。

【００３４】記録媒体１１に記録されているシーン情報
１３に代えて、ネットワーク１０４を介して、サーバ１
０３から提供されるシーン情報１０２を取得することを
選択したとき、パーソナルコンピュータ１０１は、シー
ン情報１０２に基づいて、メディアストリーム１２に含
まれる、動画像または静止画像から１つの画像を構成す
ると共に、複数の音声から１つの音声を構成して、構成
した画像および音声を、表示装置またはラウドスピーカ
に使用者に提示させる。

【００３５】すなわち、記録媒体１１に本来含まれてい
ないシーン情報１０２を利用して、パーソナルコンピュ
ータ１０１は、画像および音声を提示する。

【００３６】サーバ１０３から提供されるシーン情報１
０２が、記録媒体１１に記録されているシーン情報１３
と異なるとき、パーソナルコンピュータ１０１は、シー
ン情報１３に基づいて構成される画像または音声と異な
る画像または音声を、シーン情報１０２に基づいて構成
し、構成した画像を表示すると共に、音声を出力するこ
とができる。

【００３７】提供装置の一例であるサーバ１０３は、ネ
ットワーク１０４を介して、記録媒体１１に記録されて
いるメディアストリーム１２に対応するシーン情報１０
２をパーソナルコンピュータ１０１に提供する。

【００３８】また、パーソナルコンピュータ１０１は、
記録媒体１１に記録されているシーン情報１３に代え
て、記録媒体１１と異なる記録媒体１０５に記録されて
いるシーン情報１０２を取得することを選択できる。記
録媒体１１に記録されているシーン情報１３に代えて、
記録媒体１１と異なる記録媒体１０５に記録されている
シーン情報１０２を取得することを選択したとき、パー
ソナルコンピュータ１０１は、記録媒体１０５に記録さ
れているシーン情報１０２を読み出し、シーン情報１０
２に基づいて、メディアストリーム１２に含まれる、動
画像または静止画像から１つの画像を構成すると共に、
複数の音声から１つの音声を構成して、構成した画像お
よび音声を、表示装置またはラウドスピーカに使用者に
提示させる。

【００３９】使用者は、複数のシーン情報の中から、例
えば、ネットワーク１０４を介して、サーバ１０３から
提供されるシーン情報１０２、または記録媒体１１と異
なる記録媒体１０５に記録されているシーン情報１０２
を任意に選択し、記録媒体１０５に記録されているメデ
ィアストリーム１２を基に、新しい作品を楽しむことが
できる。

【００４０】以下、メディアストリームが、画像または
音声からなる一例について説明するが、メディアストリ
ームは、画像または音声に限らず、使用者の５感を刺激
するためのデータ（例えば、文字のデータ、振動のデー
タなど）を含むのものであればよい。

【００４１】シーン情報は、ISO/IEC 13522-5として標
準化されたMHEG-5、ISO/IEC 14772-1として標準化され
たVRML（Virtual Reality Modeling Language）、HTML
（Hyper-Text Markup Language）、またはXML（Extensi
ble Markup Language）などとすることができる。本発
明は、シーン情報の方式により限定されない。

【００４２】なお、記録媒体１１および記録媒体１０５
は、磁気ディスク、光ディスク、光磁気ディスク、また
は半導体メモリなどの、物理的または化学的変化により
データを記録する記録媒体とすることができる。

【００４３】図３は、本発明に係る再生システムの他の
実施の形態を示す図である。

【００４４】パーソナルコンピュータ１０１は、ネット
ワーク１２４を介して、サーバ１２３から提供されるメ
ディアストリーム１２１およびシーン情報１２２を取得
し、シーン情報１２２に基づいて、メディアストリーム
１２１に含まれる、動画像または静止画像から１つの画
像を構成すると共に、複数の音声から１つの音声を構成
して、構成した画像および音声を、表示装置またはラウ
ドスピーカに使用者に提示させる。シーン情報１２２
は、メディアストリーム１２１に付随する本来のシーン
情報である。

【００４５】サーバ１２３は、動画像または静止画像な
どの画像、および複数の音声の信号からなるメディアス
トリーム１２１、および画像と音声との組み合わせ、ま
たはシーンにおける画像の構成を決定するシーン情報１
２２を、ネットワーク１２４を介して、パーソナルコン
ピュータ１０１に提供する。

【００４６】パーソナルコンピュータ１０１は、ネット
ワーク１２４を介して、サーバ１２３から提供されるシ
ーン情報１２２に代えて、ネットワーク１０４を介し
て、サーバ１０３から提供されるシーン情報１０２を取
得することを選択できる。

【００４７】ネットワーク１２４を介して、サーバ１２
３から提供されるシーン情報１２２に代えて、ネットワ
ーク１０４を介して、サーバ１０３から提供されるシー
ン情報１０２を取得することを選択したとき、パーソナ
ルコンピュータ１０１は、シーン情報１０２に基づい
て、メディアストリーム１２１に含まれる、動画像また
は静止画像から１つの画像を構成すると共に、複数の音
声から１つの音声を構成して、構成した画像および音声
を、表示装置またはラウドスピーカにより使用者に提示
させる。

【００４８】メディアストリーム１２１を提供するサー
バ１２３から提供される本来のシーン情報１２２とは異
なるシーン情報１０２を利用して、パーソナルコンピュ
ータ１０１は、画像および音声を提示する。

【００４９】サーバ１０３から提供されるシーン情報１
０２が、メディアストリーム１２１を提供するサーバ１
２３から提供される本来のシーン情報１２２と異なると
き、パーソナルコンピュータ１０１は、シーン情報１２
２に基づいて構成される画像または音声と異なる画像ま
たは音声を、シーン情報１０２に基づいて構成し、構成
した画像を表示すると共に、音声を出力することができ
る。

【００５０】すなわち、ネットワーク上に散在するメデ
ィアストリームを使用して、シーン情報を作成すれば、
オリジナルの作品として配信することができる。使用者
は、インターネット上のメディアストリームのロケーシ
ョンを意識することなく作品を楽しむことができる。

【００５１】また、パーソナルコンピュータ１０１は、
メディアストリーム１２１を提供するサーバ１２３から
提供される本来のシーン情報１２２に代えて、記録媒体
１０５に記録されているシーン情報１０２を取得するこ
とを選択できる。メディアストリーム１２１を提供する
サーバ１２３から提供される本来のシーン情報１２２に
代えて、記録媒体１０５に記録されているシーン情報１
０２を取得することを選択したとき、パーソナルコンピ
ュータ１０１は、記録媒体１０５に記録されているシー
ン情報１０２を読み出し、シーン情報１０２に基づい
て、メディアストリーム１２１に含まれる、動画像また
は静止画像から１つの画像を構成すると共に、複数の音
声から１つの音声を構成して、構成した画像および音声
を、表示装置またはラウドスピーカに使用者に提示させ
る。

【００５２】なお、図２および図３において、シーン情
報１０２を提供するサーバ１０３が１つであり、メディ
アストリーム１２１およびシーン情報１２２を提供する
サーバ１２３が１つである例を説明したが、任意の数の
サーバを設けることができる。

【００５３】また、ネットワーク１２４およびネットワ
ーク１０４は、所定の方式に基づきデータを伝送できる
伝送媒体であればよく、例えば、異なるネットワークで
あっても、同一のネットワークであってもよく、またイ
ンタネットであってもよい。ネットワークの方式は、本
発明を限定するものではない。

【００５４】図４は、再生プログラムを実行するパーソ
ナルコンピュータ１０１の機能の構成を示すブロック図
である。

【００５５】セレクタ１５１は、使用者による図示せぬ
入力部の操作に対応して、または、予め定められた設定
により、シーン情報１３に対応するシーン記述ストリー
ム、シーン情報１０２に対応するシーン記述ストリー
ム、またはシーン情報１２２に対応するシーン記述スト
リームなどのシーン記述ストリームを取得する。

【００５６】また、セレクタ１５１は、外部から供給さ
れた信号を基に、所定のシーン記述ストリームを取得す
るようにしてもよい。例えば、パーソナルコンピュータ
１０１に記録媒体１０５が装着されたとき、セレクタ１
５１に供給された記録媒体１０５の装着を示す信号を基
に、セレクタ１５１は、記録媒体１０５に記録されてい
るシーン情報１０２が順次読み出されて生成されるシー
ン記述ストリームを取得する。

【００５７】セレクタ１５１は、使用者による図示せぬ
入力部の操作に対応して、取得したシーン記述ストリー
ムの中から、１つのシーン記述ストリームを選択し、選
択したシーン記述ストリームをシーン記述ストリームデ
コーダ１５２に供給する。

【００５８】ここで、シーン記述ストリームとは、スト
リームとして伝送されるシーン情報をいう。

【００５９】セレクタ１５１は、予め記憶している設
定、または外部から供給された信号を基に、シーン記述
ストリームを選択するようにしてもよい。

【００６０】シーン記述ストリームデコーダ１５２は、
セレクタ１５１から供給されたシーン記述ストリームを
デコードし、オブジェクトディスクリプタおよびシーン
構成情報を生成する。シーン記述ストリームデコーダ１
５２は、デコードされたオブジェクトディスクリプタを
基に、読み込むべきメディアストリームを決定し、読み
込むべきメディアストリームの決定に対応したメディア
セレクタ制御信号をメディアストリームセレクタ１５３
乃至１５６に供給する。

【００６１】シーン記述ストリームデコーダ１５２は、
デコードされたオブジェクトディスクリプタを基に、メ
ディアストリームの復号を制御する信号であるメディア
ストリームデコーダ制御信号をメディアストリームデコ
ーダ１５７乃至１６０に供給する。

【００６２】オブジェクトディスクリプタは、所望のメ
ディアストリームが音声であるか、画像であるかの情報
を含む。また、オブジェクトディスクリプタは、デコー
ドの処理に必要な全ての情報、例えば、ストリームタイ
プ、プロファイル、デコードの処理に必要なバッファサ
イズ、ストリームの最大／平均伝送レートなどを含む。

【００６３】シーン記述ストリームデコーダ１５２は、
デコードされたシーン構成情報を基に、画像のシーンの
構成または音声のシーンの構成を指示するコンポーザ制
御信号をビデオコンポーザ１６１およびオーディオコン
ポーザ１６２に供給する。

【００６４】メディアストリームセレクタ１５３は、シ
ーン記述ストリームデコーダ１５２から供給されたメデ
ィアセレクタ制御信号を基に、メディアストリームから
所定の画像のメディアストリームを検索する。メディア
ストリームセレクタ１５３は、パーソナルコンピュータ
１０１の内部、またはネットワーク１０４若しくは１２
４上（すなわち、サーバ１０３若しくはサーバ１２３
上）に所望のメディアストリームを発見すると、メディ
アストリームに対応するデバイスまたはサーバ１０３若
しくはサーバ１２３とコネクションを成立させ、メディ
アストリームの読み出しの準備の処理を実行する。

【００６５】メディアストリームセレクタ１５３は、読
み出した画像のメディアストリームをメディアストリー
ムデコーダ１５７に供給する。

【００６６】メディアストリームセレクタ１５４は、シ
ーン記述ストリームデコーダ１５２から供給されたメデ
ィアセレクタ制御信号を基に、メディアストリームから
所定の画像のメディアストリームを検索する。メディア
ストリームセレクタ１５４は、パーソナルコンピュータ
１０１の内部、またはサーバ１０３若しくはサーバ１２
３上に所望のメディアストリームを発見すると、メディ
アストリームに対応するデバイスまたはサーバ１０３若
しくはサーバ１２３とコネクションを成立させ、メディ
アストリームの読み出しの準備の処理を実行する。

【００６７】メディアストリームセレクタ１５４は、読
み出した画像のメディアストリームをメディアストリー
ムデコーダ１５８に供給する。

【００６８】メディアストリームセレクタ１５５は、シ
ーン記述ストリームデコーダ１５２から供給されたメデ
ィアセレクタ制御信号を基に、メディアストリームから
所定の音声のメディアストリームを検索する。メディア
ストリームセレクタ１５５は、パーソナルコンピュータ
１０１の内部、またはサーバ１０３若しくはサーバ１２
３上に所望のメディアストリームを発見すると、メディ
アストリームに対応するデバイスまたはサーバ１０３若
しくはサーバ１２３とコネクションを成立させ、メディ
アストリームの読み出しの準備の処理を実行する。

【００６９】メディアストリームセレクタ１５５は、読
み出した画像のメディアストリームをメディアストリー
ムデコーダ１５９に供給する。

【００７０】メディアストリームセレクタ１５６は、シ
ーン記述ストリームデコーダ１５２から供給されたメデ
ィアセレクタ制御信号を基に、メディアストリームから
所定の音声のメディアストリームを検索する。メディア
ストリームセレクタ１５６は、パーソナルコンピュータ
１０１の内部、またはサーバ１０３若しくはサーバ１２
３上に所望のメディアストリームを発見すると、メディ
アストリームに対応するデバイスまたはサーバ１０３若
しくはサーバ１２３とコネクションを成立させ、メディ
アストリームの読み出しの準備の処理を実行する。

【００７１】メディアストリームセレクタ１５６は、読
み出した画像のメディアストリームをメディアストリー
ムデコーダ１６０に供給する。

【００７２】いずれのメディアストリームがメディアス
トリームデコーダ１５７乃至１６０のいずれに対応する
かは、シーン記述ストリームデコーダ１５２から供給さ
れるメディアストリームデコーダ制御信号により決定さ
れる。

【００７３】なお、メディアストリームセレクタ１５３
乃至１５６の数が４つである例を説明したが、メディア
ストリームセレクタの数は、オブジェクトディスクリプ
タに対応し、可変である。本発明は、メディアストリー
ムセレクタの数により限定されない。

【００７４】メディアストリームデコーダ１５７は、シ
ーン記述ストリームデコーダ１５２から供給されたメデ
ィアストリームデコーダ制御信号を基に、メディアスト
リームセレクタ１５３から供給された画像のメディアス
トリームを復号し、復号の結果得られた画像をビデオコ
ンポーザ１６１に供給する。

【００７５】メディアストリームデコーダ１５８は、シ
ーン記述ストリームデコーダ１５２から供給されたメデ
ィアストリームデコーダ制御信号を基に、メディアスト
リームセレクタ１５４から供給された画像のメディアス
トリームを復号し、復号の結果得られた画像をビデオコ
ンポーザ１６１に供給する。

【００７６】メディアストリームデコーダ１５９は、シ
ーン記述ストリームデコーダ１５２から供給されたメデ
ィアストリームデコーダ制御信号を基に、メディアスト
リームセレクタ１５５から供給された音声のメディアス
トリームを復号し、復号の結果得られた音声をオーディ
オコンポーザ１６２に供給する。

【００７７】メディアストリームデコーダ１６０は、シ
ーン記述ストリームデコーダ１５２から供給されたメデ
ィアストリームデコーダ制御信号を基に、メディアスト
リームセレクタ１５６から供給された音声のメディアス
トリームを復号し、復号の結果得られた音声をオーディ
オコンポーザ１６２に供給する。

【００７８】ビデオコンポーザ１６１は、シーン記述ス
トリームデコーダ１５２から供給されたコンポーザ制御
信号を基に、メディアストリームデコーダ１５７から供
給された画像、およびメディアストリームデコーダ１５
８から供給された画像から、１つの視覚的なシーンに対
応する画像を構成し、構成された画像を表示装置１６３
に供給する。

【００７９】例えば、ビデオコンポーザ１６１は、コン
ポーザ制御信号を基に、メディアストリームデコーダ１
５７から供給された画像を２倍に拡大して、背景として
配置し、メディアストリームデコーダ１５８から供給さ
れた画像を画面の右下の隅に小さく表示する。

【００８０】オーディオコンポーザ１６２は、シーン記
述ストリームデコーダ１５２から供給されたコンポーザ
制御信号を基に、メディアストリームデコーダ１５９か
ら供給された音声、およびメディアストリームデコーダ
１６０から供給された音声から、１つの聴覚的なシーン
に対応する音声を構成し、構成された音声をラウドスピ
ーカ１６４に供給する。

【００８１】例えば、オーディオコンポーザ１６２は、
コンポーザ制御信号を基に、メディアストリームデコー
ダ１５９から供給された音声を、ステレオで取得なる音
声として再生し、メディアストリームデコーダ１６０か
ら供給された音声を音場（効果音）として、画面に対し
て右下付近に定位するように、ステレオの音声に重畳す
る。

【００８２】表示装置１６３は、例えば、CRTまたは液
晶表示装置などからなり、ビデオコンポーザ１６１から
供給された、１つの視覚的なシーンに対応する画像を表
示し、画像を使用者に提示する。

【００８３】ラウドスピーカ１６４は、オーディオコン
ポーザ１６２から供給された、１つの聴覚的なシーンに
対応する音声を出力し、音声を使用者に提示する。

【００８４】次に、図５のフローチャートを参照して、
パーソナルコンピュータ１０１によるコンテンツの再生
の処理を説明する。

【００８５】ステップＳ１１において、セレクタ１５１
は、シーン情報を取得する。例えば、セレクタ１５１
は、シーン記述ストリームとして受信されたシーン情報
を取得する。ステップＳ１１の処理において取得される
シーン情報は、記録媒体１０５に記録されているもので
あっても、ネットワーク１０４を介して、サーバ１０３
から提供されるものであってもよい。ステップＳ１１の
処理において、統一的なブラウザが存在すれば、使用者
は、シーン情報のロケーションを意識する必要がない。

【００８６】ステップＳ１２において、セレクタ１５１
は、ステップＳ１１の処理により取得されたシーン情報
の中から１つのシーン情報を選択する。

【００８７】例えば、セレクタ１５１は、図示せぬ入力
部から供給された、使用者の操作に対応する信号を基
に、シーン記述ストリームとして受信されたシーン情報
を選択する。また、例えば、セレクタ１５１は、予め記
憶されている設定を基に、シーン記述ストリームとして
受信されたシーン情報を選択するようにしてもよい。

【００８８】ステップＳ１３において、シーン記述スト
リームデコーダ１５２は、シーン情報の中のオブジェク
トディスクリプタ（構成要素情報）をデコードする。シ
ーン情報は、シーン構成情報、およびオブジェクトディ
スクリプタを含む。

【００８９】オブジェクトディスクリプタには、各メデ
ィアが何処にあるかというロケーション情報、「シーン
構成情報」内で使われるメディアのインデックスが記述
されている。例えば、オブジェクトディスクリプタは、
「映像１」が、インタネット上のhttp://www.xxx.com/h
oge.mpgであるURLで示されるアドレスにあり、「映像
１」のインデックス番号が50であることを示す情報を含
む。オブジェクトディスクリプタは、全てのメディアに
対応する、このようなロケーション情報、および「シー
ン構成情報」内で使われるメディアのインデックスを含
む。

【００９０】ここで、この明細書において、メディアと
は、シーンを構成する素材となる１つの画像または音声
をいう。

【００９１】ステップＳ１４において、シーン記述スト
リームデコーダ１５２は、変数Ｎに、オブジェクトディ
スクリプタに登録されたメディアの個数を設定する。

【００９２】ステップＳ１５において、シーン記述スト
リームデコーダ１５２は、メディアの個数をカウントす
るカウンタｎをリセットして、カウンタｎに０を設定す
る。

【００９３】ステップＳ１６において、シーン記述スト
リームデコーダ１５２は、いままでに登録した（存在を
確認し、ロケーション情報を記録した）メディアの数を
示すカウンタｎと、メディアの総数を示す変数Ｎとを比
較し、変数Ｎがカウンタｎを越えているか否かを判定す
る。

【００９４】ステップＳ１６において、変数Ｎがカウン
タｎを越えていると判定された場合、まだ全てのメディ
アを登録していないので、ステップＳ１７に進み、メデ
ィアストリームセレクタ１５３乃至１５６のいずれか
は、オブジェクトディスクリプタの記述を基に、パーソ
ナルコンピュータ１０１の内部の記録媒体に記録されて
いるか、すなわち、ｎ番目のメディアがローカルに存在
するか否かを判定する。

【００９５】ステップＳ１７において、パーソナルコン
ピュータ１０１の内部の記録媒体を調べた結果、ｎ番目
のメディアがローカルに存在すると判定された場合、ス
テップＳ１８に進み、メディアストリームセレクタ１５
３乃至１５６のいずれかは、パーソナルコンピュータ１
０１の内部の記録媒体に記録されている、ｎ番目のメデ
ィアを登録する。すなわち、メディアストリームセレク
タ１５３乃至１５６のいずれかは、パーソナルコンピュ
ータ１０１の内部の記録媒体に記録されている画像また
は音声が格納されている位置を示すロケーション情報を
記録する。

【００９６】ステップＳ１９において、シーン記述スト
リームデコーダ１５２は、カウンタｎをインクリメント
し、カウンタｎにn+1を設定して、ステップＳ１６に戻
り、メディアの登録の処理が終了したか否かの判定の処
理、およびメディアの登録の処理を繰り返す。

【００９７】ステップＳ１７において、ｎ番目のメディ
アがローカルに存在しないと判定された場合、すなわ
ち、オブジェクトディスクリプタにｎ番目のメディアが
サーバ上に存在すると記述されているとき、または、パ
ーソナルコンピュータ１０１の内部の記録媒体を調べた
結果、記録媒体に記録されていないとき、ステップＳ２
０に進み、メディアストリームセレクタ１５３乃至１５
６のいずれかは、サーバ１２３を検索する。

【００９８】ステップＳ２１において、メディアストリ
ームセレクタ１５３乃至１５６のいずれかは、ｎ番目の
メディアがサーバ１２３に存在するか否かを判定し、ｎ
番目のメディアがサーバ１２３に存在すると判定された
場合、ステップＳ１８に進み、サーバ１２３に存在する
ｎ番目のメディアを登録する。すなわち、メディアスト
リームセレクタ１５３乃至１５６のいずれかは、サーバ
１２３から提供される画像または音声が格納されている
位置を示すロケーション情報を記録する。

【００９９】ステップＳ２１において、ｎ番目のメディ
アがサーバ１２３に存在しないと判定された場合、目的
のメディアが見つからなかったので、ステップＳ２２に
進み、シーン記述ストリームデコーダ１５２は、エラー
メッセージを表示部に表示して、処理は終了する。

【０１００】ステップＳ１６において、変数Ｎがカウン
タｎを越えていないと判定された場合、全てのメディア
が登録されたので、ステップＳ２３に進み、レンダリン
グの処理を実行して、画像を表示すると共に、音声を出
力した処理は終了する。

【０１０１】このように、パーソナルコンピュータ１０
１は、シーン情報を取得し、取得したシーン情報から１
つのシーン情報を選択して、選択されたシーン情報に基
づいて、ローカルのメディア、またはサーバ１２３上の
メディアを登録することができる。

【０１０２】図６は、ステップＳ２３のレンダリングの
処理の詳細を説明するフローチャートである。

【０１０３】ステップＳ４１において、シーン記述スト
リームデコーダ１５２は、セレクタ１５１により選択さ
れたシーン記述ストリームを読み込む。

【０１０４】ステップＳ４２において、シーン記述スト
リームデコーダ１５２は、ステップＳ４１の処理におい
て読み込んだシーン記述ストリームをデコードして、シ
ーン構成情報を生成する。

【０１０５】ステップＳ４３において、メディアストリ
ームセレクタ１５３乃至１５６は、ステップＳ４２の処
理により生成されたシーン構成情報を基に、時刻tにお
いて必要なメディアストリームを選択する。すなわち、
メディアストリームセレクタ１５３乃至１５６は、シー
ン記述ストリームデコーダ１５２から供給されたメディ
アセレクタ制御信号を基に、時刻tにおいて必要なメデ
ィアストリームを選択する。

【０１０６】ステップＳ４４において、メディアストリ
ームデコーダ１５７乃至１６０は、選択されたメディア
ストリームをデコードする。すなわち、メディアストリ
ームデコーダ１５７乃至１６０は、シーン記述ストリー
ムデコーダ１５２から供給されたメディアストリームデ
コーダ制御信号を基に、例えば、選択されたMPEG4方式
のメディアストリームをデコードする。

【０１０７】ステップＳ４５において、ビデオコンポー
ザ１６１およびオーディオコンポーザ１６２は、シーン
記述ストリームデコーダ１５２から供給されたコンポー
ザ制御信号を基に、画像のシーンまたは音声のシーンを
構成（再構成）する。ビデオコンポーザ１６１は、構成
（再構成）した画像を表示装置１６３に供給し、オーデ
ィオコンポーザ１６２は、構成（再構成）した音声をラ
ウドスピーカ１６４に供給する。

【０１０８】ステップＳ４６において、表示装置１６３
およびラウドスピーカ１６４は、シーンをレンダリング
（提示）する。すなわち、表示装置１６３は、ビデオコ
ンポーザ１６１により構成された画像を表示し、ラウド
スピーカ１６４は、オーディオコンポーザ１６２により
構成された音声を出力する。

【０１０９】ステップＳ４５のシーンの構成の処理にお
いて、全てのシーン記述ストリームおよびメディアスト
リーム間の時間的な同期処理が実行され、ステップＳ４
６のレンダリングの処理において、レンダリングにおけ
る同期の処理が実行される。

【０１１０】時刻tにおけるシーンの提示が終了したと
き、ステップＳ４７において、パーソナルコンピュータ
１０１は、単位時間だけ時刻tを進める。

【０１１１】ステップＳ４８において、パーソナルコン
ピュータ１０１は、時刻tの時点のシーン情報があるか
否かを判定し、時刻tの時点のシーン情報があると判定
された場合、存在する時刻tの時点のシーン情報を基に
シーンを構成すればよいので、ステップＳ４３に戻り、
シーンの構成の処理を繰り返す。

【０１１２】ステップＳ４８において、時刻tの時点の
シーン情報がないと判定された場合、ステップＳ４１に
戻り、シーン記述ストリームの読み込みから処理を繰り
返す。

【０１１３】ステップＳ４１乃至ステップＳ４８の処理
は、順次実行されるように説明したが、並列的に実行さ
れることが望ましい。例えば、シーン記述ストリームお
よびメディアストリームをそれぞれ並列に読み込み、並
列にデコードするようにすることが望ましい。

【０１１４】このように、画像または音声を復号するよ
うにした場合には、画像または音声を再生することがで
きる。また、画像若しくは音声が記録されている第１の
記録媒体とは別の、シーン情報が記録されている第２の
記録媒体、または画像若しくは音声を提供する第１の提
供装置とは別の、シーン情報を提供する第２の提供装置
からシーン情報を取得し、取得されたシーン情報に基づ
いて、画像または音声からシーンを構成するようにした
場合には、より簡単に、より迅速に、使用者に最終的に
視聴させるコンテンツを変更できる。

【０１１５】図７は、パーソナルコンピュータ１０１に
メディアストリーム１２１およびシーン情報１２２を提
供するサーバ１２３の構成を示すブロック図である。

【０１１６】コンテンツ記録部２０１は、例えば、ハー
ドディスクなどの記録媒体からなり、画像または音声な
どのコンテンツであるメディアを記録する。コンテンツ
記録部２０１は、記録しているコンテンツのそれぞれを
符号化部２０４−１−１乃至２０４−１−Ｎに供給す
る。

【０１１７】コンテンツ受信部２０２は、ネットワーク
若しくはインタネット、または有線若しくは無線の放送
などを介して、図示せぬ放送事業者から送信されたコン
テンツを受信する。コンテンツ受信部２０２は、受信し
たコンテンツのそれぞれを符号化部２０４−２−１乃至
２０４−２−Ｍに供給する。

【０１１８】シーン情報記録部２０３は、例えば、ハー
ドディスクなどの記録媒体からなり、シーン情報を記録
する。シーン情報記録部２０３は、記録しているシーン
情報のそれぞれを符号化部２０４−３−１乃至２４０−
３−Ｌに供給する。

【０１１９】符号化部２０４−１−１は、コンテンツ記
録部２０１から供給されたコンテンツを符号化してメデ
ィアストリーム＃１−１を生成して、生成したメディア
ストリーム＃１−１を送信部２０５に供給する。同様
に、符号化部２０４−１−２乃至符号化部２０４−１−
Ｎのそれぞれは、コンテンツ記録部２０１から供給され
たコンテンツを符号化してメディアストリーム＃１−２
乃至＃１−Ｎを生成して、生成したメディアストリーム
＃１−２乃至＃１−Ｎを送信部２０５に供給する。

【０１２０】符号化部２０４−２−１は、コンテンツ受
信部２０２から供給されたコンテンツを符号化してメデ
ィアストリーム＃２−１を生成して、生成したメディア
ストリーム＃２−１を送信部２０５に供給する。同様
に、符号化部２０４−２−２乃至符号化部２０４−２−
Ｍのそれぞれは、コンテンツ受信部２０２から供給され
たコンテンツを符号化してメディアストリーム＃２−２
乃至＃２−Ｍを生成して、生成したメディアストリーム
＃２−２乃至＃２−Ｍを送信部２０５に供給する。

【０１２１】符号化部２０４−３−１は、シーン情報記
録部２０３から供給されたシーン情報を符号化してシー
ン記述ストリーム＃１を生成して、生成したシーン記述
ストリーム＃１を送信部２０５に供給する。同様に、符
号化部２０４−３−２乃至符号化部２０４−３−２のそ
れぞれは、シーン情報記録部２０３から供給されたシー
ン情報を符号化してシーン記述ストリーム＃２乃至＃Ｌ
を生成して、生成したシーン記述ストリーム＃２乃至＃
Ｌを送信部２０５に供給する。

【０１２２】送信部２０５は、符号化部２４０−１−１
乃至２０４−３−Ｌから供給されたメディアストリーム
＃１−１乃至＃１−Ｎ、メディアストリーム＃２−１乃
至＃２−Ｍ、およびシーン記述ストリーム＃１乃至＃Ｌ
を、ネットワーク１２４を介して、パーソナルコンピュ
ータ１０１に送信する。

【０１２３】送信部２０５が送信するメディアストリー
ム＃１−１乃至＃１−Ｎ、メディアストリーム＃２−１
乃至＃２−Ｍは、メディアストリーム１２１に対応す
る。送信部２０５が送信するシーン記述ストリーム＃１
乃至＃Ｌは、シーン情報１２２に対応する。

【０１２４】このように、サーバ１２３は、パーソナル
コンピュータ１０１に、メディアストリーム１２１およ
びシーン情報１２２を送信することができる。

【０１２５】図８は、サーバ１２３の送信の処理を説明
するフローチャートである。

【０１２６】ステップＳ６１において、符号化部２０４
−３−１乃至符号化部２０４−３−２のそれぞれは、シ
ーン情報記録部２０３から供給されたシーン情報を符号
化する。符号化部２０４−３−１乃至符号化部２０４−
３−２のそれぞれは、符号化されたシーン情報であるシ
ーン記述ストリームを送信部２０５に供給する。

【０１２７】ステップＳ６２において、符号化部２０４
−１−１乃至符号化部２０４−１−Ｎ、および符号化部
２０４−２−１乃至符号化部２０４−２−Ｍのそれぞれ
は、コンテンツ記録部２０１またはコンテンツ受信部２
０２から供給されたコンテンツを符号化して、メディア
ストリーム＃１−１乃至＃２−Ｍを生成する。符号化部
２０４−１−１乃至符号化部２０４−１−Ｎ、および符
号化部２０４−２−１乃至符号化部２０４−２−Ｍのそ
れぞれは、メディアストリーム＃１−１乃至＃２−Ｍを
送信部２０５に供給する。

【０１２８】ステップＳ６３において、送信部２０５
は、ネットワーク１２４を介して、シーン記述ストリー
ム＃１乃至＃Ｌをパーソナルコンピュータ１０１に送信
する。

【０１２９】ステップＳ６４において、送信部２０５
は、ネットワーク１２４を介して、メディアストリーム
＃１−１乃至＃１−Ｎ、およびメディアストリーム＃２
−１乃至＃２−Ｍをパーソナルコンピュータ１０１に送
信し、ステップＳ６１に戻り、符号化の処理および送信
の処理を繰り返す。

【０１３０】このように、サーバ１２３は、パーソナル
コンピュータ１０１に、複数のメディアストリーム１２
１および複数のシーン情報１２２を送信することができ
る。

【０１３１】図９は、パーソナルコンピュータ１０１に
シーン情報を提供するサーバ１０３の構成を示すブロッ
ク図である。

【０１３２】シーン情報記録部２２１は、例えば、ハー
ドディスクなどの記録媒体からなり、シーン情報を記録
する。シーン情報記録部２２１は、記録しているシーン
情報を符号化部２２２−１乃至２２２−Ｌに供給する。

【０１３３】符号化部２２２−１は、シーン情報記録部
２２１から供給されたシーン情報を符号化してシーン記
述ストリーム＃１を生成して、生成したシーン記述スト
リーム＃１を送信部２２３に供給する。同様に、符号化
部２２２−２乃至符号化部２２２−Ｌのそれぞれは、シ
ーン情報記録部２２１から供給されたシーン情報を符号
化してシーン記述ストリーム＃２乃至＃Ｌを生成して、
生成したシーン記述ストリーム＃２乃至＃Ｌを送信部２
２３に供給する。

【０１３４】送信部２２３は、符号化部２２２−１乃至
符号化部２２２−Ｌから供給されたシーン記述ストリー
ム＃１乃至＃Ｌを、ネットワーク１０４を介して、パー
ソナルコンピュータ１０１に送信する。

【０１３５】図１０は、サーバ１０３の送信の処理を説
明するフローチャートである。

【０１３６】ステップＳ７１において、符号化部２２２
−１乃至符号化部２２２−Ｌのそれぞれは、シーン情報
記録部２２１から供給されたシーン情報を符号化する。
符号化部２２２−１乃至符号化部２２２−Ｌのそれぞれ
は、符号化したシーン情報であるシーン記述ストリーム
を送信部２２３に供給する。

【０１３７】ステップＳ７２において、送信部２０５
は、ネットワーク１２４を介して、シーン記述ストリー
ム＃１乃至＃Ｌをパーソナルコンピュータ１０１に送信
し、ステップＳ７１に戻り、符号化の処理および送信の
処理を繰り返す。

【０１３８】このように、サーバ１０３は、符号化した
シーン情報である、複数のシーン記述ストリームをパー
ソナルコンピュータ１０１に送信することができる。

【０１３９】すなわち、シーン情報をパーソナルコンピ
ュータ１０１に送信するようにした場合には、シーン情
報をパーソナルコンピュータ１０１に提供することがで
きる。

【０１４０】また、再生装置に装着されている記録媒体
に記録されている画像若しくは音声、または他の提供装
置から提供された画像若しくは音声から、再生装置によ
り構成されるシーンを記述するシーン情報を、ネットワ
ークを介して、提供するようにした場合には、再生装置
において、より簡単に、より迅速に、使用者に最終的に
視聴させるコンテンツを変更できるようになる。

【０１４１】本発明の適用として、メディアストリーム
を全て記録媒体に保存して配布する場合、映画などの商
用利用が考えられる。撮影した映画のシーンを全て記録
媒体に記録し、劇場用、テレビ放送用、再放送用、ディ
レクターズカットなどの利用目的に応じたシーン情報を
別途配布することで、使用者は安価に様々な形態の作品
を楽しむことができる。また、供給側は、シチュエーシ
ョンに応じた、その都度の一連の映像作品として完成さ
れたパッケージを再度作成する必要がなく、シーン情報
のみをアップデートすればよい。

【０１４２】メディアストリームがネットワークを介し
て供給される場合、例えば、デジタルの静止画像や動画
像を無料で保存し、閲覧し、共有ができるネットワーク
サービスに蓄積されている映像作品を素材として、自分
好みに編集したシーン情報をアップロードすることで、
新しいコミュニケーション手段とすることができる。例
えば、同一の素材を使用した作品コンテストなども考え
られる。

【０１４３】次に、本発明に係る再生システムの他の実
施の形態について説明する。

【０１４４】図１１は、他の再生プログラムを実行する
パーソナルコンピュータ１０１の機能の他の構成を示す
ブロック図である。

【０１４５】受信部３０１は、ネットワーク１２４を介
して、サーバ１２３から送信される１以上のシーン記述
ストリームおよび１以上のメディアストリームを受信す
る。受信部３０１は、受信したシーン情報＃１乃至シー
ン情報＃ｍをオブジェクトディスクリプタ・Binary For
mat for Scene(ＯＤ・ＢＩＦＳ)選択装置３０２に供給
する。受信部３０１は、受信したメディアストリーム＃
１を復号部３０５−１に供給するとともに、メディアス
トリーム＃２乃至＃ｎのそれぞれを復号部３０５−２乃
至３０５−ｎのそれぞれに供給する。

【０１４６】ＯＤ・ＢＩＦＳ選択装置３０２は、予め定
めた優先順位を基に、または入力部３０３から供給され
た、使用者の操作に対応する信号を基に、シーン情報＃
１乃至シーン情報＃ｍのうちのいずれか１つを選択し、
選択されたシーン情報をＯＤ・ＢＩＦＳ復号部３０４に
供給する。

【０１４７】ＯＤ・ＢＩＦＳ復号部３０４は、ＯＤ・Ｂ
ＩＦＳ選択装置３０２から供給されたシーン情報を復号
して、シーンの再構成に要する情報を画像再構成部３０
６に供給すると共に、メディアストリーム＃１乃至＃ｎ
の復号に要する情報を復号部３０５−１乃至３０５−ｎ
に供給する。

【０１４８】また、例えば、ＯＤ・ＢＩＦＳ復号部３０
４は、シーンの再構成に使用されないメディアストリー
ム＃１乃至＃ｎのいずれかに対応する、復号部３０５−
１乃至３０５−ｎのいずれかを停止させる。これによ
り、パーソナルコンピュータ１０１の負荷を軽減させる
ことができる。

【０１４９】復号部３０５−１は、ＯＤ・ＢＩＦＳ復号
部３０４の制御の基に、受信部３０１から供給されたメ
ディアストリーム＃１を復号して、復号により得られた
画像または音声を画像再構成部３０６に供給する。復号
部３０５−２乃至３０５−ｎのそれぞれは、ＯＤ・ＢＩ
ＦＳ復号部３０４の制御の基に、受信部３０１から供給
されたメディアストリーム＃２乃至＃ｎのそれぞれを復
号して、復号により得られた画像または音声を画像再構
成部３０６に供給する。

【０１５０】画像再構成部３０６は、ＯＤ・ＢＩＦＳ復
号部３０４の制御の基に、復号部３０５−１乃至３０５
−ｎのそれぞれから供給された画像または音声から、１
つの画像のシーンおよび１つの音声のシーンを再構成す
る。画像再構成部３０６は、再構成した画像を表示装置
３０７に供給し、再構成した音声をラウドスピーカ３０
８に供給する。

【０１５１】表示装置３０７は、画像再構成部３０６か
ら供給された画像を表示する。

【０１５２】ラウドスピーカ３０８は、画像再構成部３
０６から供給された音声を出力する。

【０１５３】図１２は、図１１に構成を示すパーソナル
コンピュータ１０１の処理を説明する図である。

【０１５４】サーバは、有線若しくは無線の放送などを
介して、図示せぬ放送事業者から送信された、生放送な
どのコンテンツを受信し、受信したコンテンツを画像ま
たは音声からなるメディアストリームとして、クライア
ントであるパーソナルコンピュータ１０１に提供する。
サーバは、記録しているコンテンツを画像または音声か
らなるメディアストリームとして、パーソナルコンピュ
ータ１０１に提供する。

【０１５５】また、サーバは、記録しているシーン情報
または他の放送事業者などから受信したシーン情報を、
パーソナルコンピュータ１０１に提供する。

【０１５６】クライアントであるパーソナルコンピュー
タ１０１は、サーバから供給された１以上のシーン情報
のうち、１つのシーン情報を選択する。

【０１５７】パーソナルコンピュータ１０１は、選択し
たシーン情報を基に、サーバから供給されたメディアス
トリームから１つのシーンを構成して、構成したシーン
を表示する。

【０１５８】図１３は、図１１に構成を示すパーソナル
コンピュータ１０１の再生の処理を説明するフローチャ
ートである。

【０１５９】受信部３０１は、ステップＳ９１におい
て、シーン記述ストリームを受信し、ステップＳ９２に
おいて、メディアストリームを受信する。受信部３０１
は、受信したシーン記述ストリームをＯＤ・ＢＩＦＳ選
択部３０２に供給し、受信したメディアストリームを復
号部３０５−１乃至３０５−ｎに供給する。

【０１６０】ステップＳ９３において、ＯＤ・ＢＩＦＳ
選択部３０２は、シーン情報の優先順位に対応して、所
定のシーン情報を選択し、選択したシーン情報をＯＤ・
ＢＩＦＳ復号部３０４に供給する。例えば、ＯＤ・ＢＩ
ＦＳ選択部３０２は、シーン情報＃１乃至＃ｎのうち、
最も若い番号が付されたシーン情報＃１を選択する。

【０１６１】ステップＳ９４において、ＯＤ・ＢＩＦＳ
復号部３０４は、選択されたシーン情報を復号する。Ｏ
Ｄ・ＢＩＦＳ復号部３０４は、復号の結果得られた、シ
ーンの構成に必要な情報を画像再構成部３０６に供給す
ると共に、メディアストリーム＃１乃至＃ｎの復号に必
要な情報を復号部３０５−１乃至３０５−ｎに供給す
る。復号部３０５−１乃至３０５−ｎは、ＯＤ・ＢＩＦ
Ｓ復号部３０４から供給された情報を基に、メディアス
トリーム＃１乃至＃ｎを復号して、復号の結果得られた
画像または音声を画像再構成部３０６に供給する。

【０１６２】ステップＳ９５において、画像再構成部３
０６は、ＯＤ・ＢＩＦＳ復号部３０４から供給された、
シーンの構成に必要な情報を基に、復号部３０５−１乃
至３０５−ｎから供給された画像または音声から、画像
または音声のシーンを構成する。ステップＳ９６におい
て、画像再構成部３０６は、ステップＳ９５の処理で構
成されたシーンをレンダリングする。すなわち、画像再
構成部３０６は、シーンに対応する画像を表示装置３０
７に表示させ、シーンに対応する音声をラウドスピーカ
３０８に出力させる。

【０１６３】ステップＳ９７において、ＯＤ・ＢＩＦＳ
選択部３０２は、キーボードまたはマウスなどからなる
入力部３０３からの信号を基に、シーン情報の選択が指
示されたか否かを判定し、シーン情報の選択が指示され
たと判定された場合、ステップＳ９８に進み、指示に対
応して、シーン情報を選択し、選択したシーン情報をＯ
Ｄ・ＢＩＦＳ復号部３０４に供給する。シーン情報を選
択するとき、パーソナルコンピュータ１０１は、シーン
情報の選択に対応した画像または音声をプレビューする
ようにしてもよい。

【０１６４】なお、シーン情報の選択は、テレビジョン
受像機のチャンネルを切り替えるように、番号によって
行うようにしてもよく、また、例えば、ＯＤ・ＢＩＦＳ
選択部３０２に、全てのシーン情報＃１乃至＃ｎを合成
させ、主画面と子画面、または複数チャンネルの同時プ
レビューから行うようにしてもよい。

【０１６５】ステップＳ９９において、ＯＤ・ＢＩＦＳ
復号部３０４は、選択されたシーン情報を復号し、手続
きは、ステップＳ９５に戻る。ＯＤ・ＢＩＦＳ復号部３
０４は、復号の結果得られた、シーンの構成に必要な情
報を画像再構成部３０６に供給すると共に、メディアス
トリーム＃１乃至＃ｎの復号に必要な情報を復号部３０
５−１乃至３０５−ｎに供給する。

【０１６６】復号部３０５−１乃至３０５−ｎは、ＯＤ
・ＢＩＦＳ復号部３０４から供給された情報を基に、新
たなシーンの構成に必要なメディアストリーム＃１乃至
＃ｎを復号して、復号の結果得られた画像または音声を
画像再構成部３０６に供給する。

【０１６７】ステップＳ９８およびステップＳ９９の処
理において、シーン情報が選択され、選択されたシーン
情報が復号された場合、新たに復号されたシーン情報に
基づいて、ステップＳ９５の処理で、シーンが構成さ
れ、構成されたシーンが表示されることになる。

【０１６８】使用者が、好みのシーンを選択した場合、
主画面と子画面、または同時プレビューの画面は、選択
されたシーンの画像が表示装置３０７の全画面に表示さ
れるようにしてもよい。この場合、他のシーンに切り替
えるとき、入力装置３０３への所定の操作により、主画
面と子画面、または同時プレビューの画面が再度表示さ
れる。

【０１６９】ステップＳ９７において、シーン情報の選
択が指示されていないと判定された場合、シーン情報を
変更する必要がないので、そのままステップＳ９５に戻
り、シーンの構成の処理およびシーンのレンダリングの
処理が繰り返される。

【０１７０】このように、使用者がシーン情報を選択し
て、選択したシーン情報を基に、シーンが構成され、使
用者に提示されるので、使用者には、複数のシーンが提
示されることになり、使用者の自由度を保ったまま、制
作側の意図を正確に伝えることができるようになる。こ
れにより、使用者は自分の嗜好にマッチした放送を選択
することができ、極小の帯域の使用で仮想的に多チャン
ネル化が図れる。

【０１７１】次に、図を参照して、本発明が適用される
パーソナルコンピュータ１０１の構成について説明す
る。図１４乃至図１７は、パーソナルコンピュータ１０
１の外観を示している。

【０１７２】パーソナルコンピュータ１０１は、基本的
に、本体５２１と、本体５２１に対して開閉自在とされ
る表示部５２２により構成されている。図１４は表示部
５２２を本体５２１に対して開いた状態を示す外観斜視
図である。図１５は、本体５２１の平面図、図１６は、
本体５２１に設けられている後述するジョグダイヤル５
２３の拡大図である。また、図１７は、本体５２１に設
けられているジョグダイヤル５２３の側面図である。

【０１７３】本体５２１には、各種の文字や記号などを
入力するとき操作されるキーボード５２４、LCD５２５
に表示されるポインタ（マウスカーソル）を移動させる
ときなどに操作されるポインティングデバイスとしての
タッチパッド５２６、および電源スイッチ５２７がその
上面に設けられている。また、ジョグダイヤル５２３お
よびIEEE（Institute of Electrical and Electronics
Engineers）1394ポート５２８等が、本体５２１の側面
に設けられている。なお、タッチパッド５２６に代え
て、スティック式のポインティングデバイスを設けるこ
とも可能である。

【０１７４】また、表示部５２２の正面には、画像を表
示するLCD（Liquid Crystal Display）５２５、そして
右上部には、電源ランプＰＬ、電池ランプＢＬ、必要に
応じて設けられるメッセージランプＭＬ（図示せず）そ
の他のＬＥＤより成るランプが設けられている。更に、
表示部５２２の上部中央部には、ＣＣＤ（固体撮像素
子）を備えるＣＣＤビデオカメラ５２９を有する撮像部
５３０、およびマイクロフォン５３１が設けられてい
る。本体５２１の図１４中の右上側にはＣＣＤビデオカ
メラ５２９を操作するためのシャッタボタン５３２が設
けられている。

【０１７５】撮像部５３０は、回動自在に表示部５２２
に固定されている。例えば、撮像部５３０は、使用者の
操作により、ＣＣＤビデオカメラ５２９がパーソナルコ
ンピュータ１０１を操作する使用者自身を撮像できる位
置から、パーソナルコンピュータ１０１を操作する使用
者の視線と同じ方向を撮像できる位置に回動される。

【０１７６】次に、ジョグダイヤル５２３は、例えば、
本体５２１上のキーボード５２４の図２中の右側に配置
されているキーＡおよびキーＢの間に、その上面がキー
ＡおよびキーＢとほぼ同じ高さになるように取り付けら
れている。ジョグダイヤル５２３は、図３中の矢印ａに
示す回転操作に対応して所定の処理（例えば、画面のス
クロールの処理）を実行し、同図中矢印ｂに示す移動操
作に対応した処理（例えば、アイコンの選択の決定処
理）を実行する。

【０１７７】IEEE1394ポート５２８は、IEEE1394に規定
されている規格に基づいた構造を有し、IEEE1394に規定
されている規格に基づいたケーブルが接続される。

【０１７８】次に、パーソナルコンピュータ１０１の内
部の構成例について図１８を参照して説明する。

【０１７９】中央処理装置（ＣＰＵ）５５１は、例え
ば、インテル（Intel）社製のペンティアム（登録商
標）プロセッサ等で構成され、フロントサイドバス（Ｆ
ＳＢ）５５２に接続されている。ＦＳＢ５５２には、更
に、ノースブリッジ５５３が接続されており、ノースブ
リッジ５５３は、AGP（Accelerated Graphics Port）５
５０を有しているとともに、ハブインタフェース５５６
に接続されている。

【０１８０】ノースブリッジ５５３は、例えば、インテ
ル社製のAGP Host Bridge Controllerである４４０ＢＸ
などで構成されており、ＣＰＵ５５１およびRAM（Rando
m Access Memory）５５４（いわゆる、メインメモリ）
等を制御する。更に、ノースブリッジ５５３は、ＡＧＰ
５５０を介して、ビデオコントローラ５５７を制御す
る。ビデオコントローラ５５７は、LCD５２５またはＶ
ＧＡ（Video Graphics Array）方式のディスプレイ（以
下、ＶＧＡ６０１と記述する）をコントロールする。

【０１８１】ビデオコントローラ５５７は、ＣＰＵ５５
１から供給されるデータ（イメージデータまたはテキス
トデータなど）を受信して、受信したデータに対応する
イメージデータを生成するか、または、受信したデータ
をそのまま内蔵するビデオメモリ（不図示）に記憶す
る。ビデオコントローラ５５７は、LCD５２５またはＶ
ＧＡ６０１に、ビデオメモリに記憶されているイメージ
データに対応する画像を表示させる。LCD５２５または
ＶＧＡ６０１は、ビデオコントローラ５５７から供給さ
れたデータを基に、画像または文字などを表示する。

【０１８２】ノースブリッジ５５３は、更に、キャッシ
ュメモリ５５とも接続されている。キャッシュメモリ５
５５は、SRAM（Static RAM）などＲＡＭ５５４と比較し
て、より高速な書き込みまたは読み出しの動作を実行で
きるメモリで構成され、ＣＰＵ５５１が使用するプログ
ラムまたはデータをキャッシュする（一時的に記憶す
る）。

【０１８３】なお、ＣＰＵ５５１は、その内部に１次的
な、キャッシュメモリ５５５に比較して、より高速に動
作でき、ＣＰＵ５５１自身が制御するキャッシュを有す
る。

【０１８４】ＲＡＭ５５４は、例えば、DRAM（Dynamic
RAM）で構成され、ＣＰＵ５５１が実行するプログラ
ム、またはＣＰＵ５５１の動作に必要なデータを記憶す
る。具体的には、例えば、ＲＡＭ５５４は、起動が完了
した時点において、ＨＤＤ５６７からロードされたオペ
レーティングシステムやインターネットプログラムなど
を記憶する。

【０１８５】オペレーションシステム（OS（Operating
System））は、例えば、マイクロソフト社のいわゆるウ
ィンドウズ（登録商標）ＸＰ、またはアップルコンピュ
ータ社のいわゆるMac OS（登録商標）等に代表される、
コンピュータの基本的な動作を制御するプログラムであ
る。

【０１８６】ノースブリッジ５５３は、ハブインタフェ
ース５５６を介して、サウスブリッジ５５８とも接続さ
れている。サウスブリッジ５５８は、例えば、インテル
社製のＰＩＩＸ４Ｅなどで構成されており、ＡＣ９７リ
ンクインタフェース５８Ａ、ＵＳＢ（Universal Serial
Bus）インタフェース５５８Ｂ、ＩＤＥ（IntegratedDr
ive Electronics）インタフェース５５８Ｃ、ＰＣＩ（P
eripheral ComponentInterconnect）インタフェース５
５８Ｄ、ＬＰＣ（Low Pin Count）インタフェース５５
８Ｅ、および、ＬＡＮインタフェース５５８Ｆ等を内蔵
している。

【０１８７】サウスブリッジ５５８は、ＡＣ９７リンク
バス５５９、ＵＳＢバス５６０、ＩＤＥバス５６１に接
続されるデバイスを介して接続されるデバイスの制御
等、各種のI/Ｏ（Input / Output）を制御する。

【０１８８】ＡＣ９７リンクバス５５９には、モデム５
６２、サウンドコントローラ５６３が接続されている。
モデム５６２は、公衆回線網に接続されており、公衆回
線網またはインターネット（いずれも不図示）を介する
通信処理を実行する。サウンドコントローラ５６３は、
マイクロフォン５３１から音声を取り込み、その音声に
対応するデータを生成して、ＲＡＭ５５４に出力する。
またサウンドコントローラ５６３は、スピーカ６０２を
駆動して、スピーカ６０２に音声を出力させる。

【０１８９】サウスブリッジ５５８のＵＳＢバス５６０
には、ＵＳＢコネクタ５６４が接続され、各種ＵＳＢデ
バイスが接続可能になされている。またＵＳＢバス５６
０を介して、メモリースティックスロット５６５とブル
ートゥース通信部５６６が設けられている。メモリース
ティックスロット５６５には、メモリースティック（商
標）６０３が接続される。

【０１９０】メモリースティック６０３は、本願出願人
であるソニー株式会社によって開発されたフラッシュメ
モリカードの一種である。このメモリースティック６０
３は、縦21.5×50×厚さ2.8[mm]の小型薄型形状のプラ
スチックケース内に電気的に書換えや消去が可能な不揮
発性メモリであるEEPROM（Electrically Erasable and
Programmable Read Only Memory ）の一種であるフラッ
シュメモリ素子を格納したものであり、１０ピン端子を
介して画像や音声、音楽等の各種データの書き込み及び
読み出しが可能となっている。

【０１９１】またメモリスティック６０３は、大容量化
等による内蔵フラッシュメモリの仕様変更に対しても、
使用する機器で互換性を確保することができる独自のシ
リアルプロトコルを採用し、最大書込速度1.5[MB/S] 、
最大読出速度2.45[MB/S]の高速性能を実現していると共
に、誤消去防止スイッチを設けて高い信頼性を確保して
いる。

【０１９２】ブルートゥース通信部５６６は、ブルート
ゥース規格による通信を行う。ＵＳＢインタフェース５
５８Ｂは、ＵＳＢバス５６０を介して接続されている外
部の装置にデータを送信するとともにデバイスからデー
タを受信する。

【０１９３】ＩＤＥインタフェース５５８Ｃは、いわゆ
るプライマリＩＤＥコントローラとセカンダリＩＤＥコ
ントローラとの２つのＩＤＥコントローラ、およびコン
フィギュレーションレジスタ（configuration registe
r）等から構成されている（いずれも図示せず）。

【０１９４】プライマリＩＤＥコントローラには、ＩＤ
Ｅバス５６２を介して、ＨＤＤ５６７が接続されてい
る。また、セカンダリＩＤＥコントローラには、他のＩ
ＤＥバスに、CD-ROMドライブ５６８またはＨＤＤ（不図
示）などの、いわゆるＩＤＥデバイスが装着されたと
き、その装着されたＩＤＥデバイスが電気的に接続され
る。

【０１９５】ＬＡＮ（Local Area Network）コネクタ５
６９は、ＬＡＮなどのネットワークに接続される。ＬＡ
Ｎインタフェース５５８Ｆは、ＬＡＮコネクタ５６９に
接続されたネットワークにデータを送信するとともに、
データを受信する。

【０１９６】ＬＰＣバス５７０には、ＢＩＯＳ（Basic
Input Output System）５７１、Ｉ／Ｏ（Input/Outpu
t）インタフェース５７２、およびコントローラ５７３
が接続されている。ＢＩＯＳ５７１は、パーソナルコン
ピュータ１０１の基本動作命令を集めたプログラム群で
あり、例えば、ＲＯＭ（Read Only Memory）などに記憶
されている。また、ＢＩＯＳ５７１は、OSまたはアプリ
ケーションプログラムと周辺機器との間でのデータの受
け渡し（入出力）を制御する。

【０１９７】Ｉ／Ｏインタフェース５７２には、シリア
ル端子５７４とパラレル端子５７５が接続されており、
それぞれの端子に接続された機器とのデータの授受を行
う。コントローラ５７３には、ジョグダイヤル５２３、
キーボード５２４、マウス６０４、ＡＣ電源５７６など
が接続されている。コントローラ５７３の詳細について
は図１９を参照して後述する。

【０１９８】ＰＣＩバス５７７には、ＰＣカードインタ
フェース５７８とIEEE1394インタフェース５７９が接続
されている。ＰＣカードインタフェース５７８は、スロ
ット５３３に接続された機器（カード）から供給された
データを、ＣＰＵ５５１またはＲＡＭ５５４に供給する
とともに、ＣＰＵ５５１から供給されたデータをＰＣカ
ードスロットに接続されているカードに出力する。ドラ
イブ６０５は、スロット５３３およびＰＣカードインタ
フェース５７８を介して、ＰＣＩバス５７７に接続され
ている。

【０１９９】ドライブ６０５は、装着されている磁気デ
ィスク６１１、光ディスク６１２、光磁気ディスク６１
３、または半導体メモリ６１４に記録されているデータ
を読み出し、読み出したデータをＲＡＭ５５４に供給す
る。また、ＣＰＵ５５１の処理により生成されたデータ
を、ドライブ６０５に装着される磁気ディスク６１１、
光ディスク６１２、光磁気ディスク６１３、または半導
体メモリ６１４に記憶させることができる。

【０２００】IEEE1394インタフェース５７９は、IEEE13
94ポート５８１を介して、IEEE1394の規格に準拠するデ
ータ（パケットに格納されているデータ）を送受信す
る。

【０２０１】図１９は、コントローラ５７３の内部の構
成の例を示す図である。コントローラ５７３は、主に、
キーボード５２４やマウス６０４からのデータを監視す
る。コントローラ５７３は、ＣＰＵ７０１を備える。Ｃ
ＰＵ７０１は、コントロールプログラム７０２に従った
処理を実行する。

【０２０２】キー入力監視プログラム７０３は、キーボ
ード５２４やマウス６０４からの入力を監視するプログ
ラムである。特殊キー入力監視プログラム７０４は、ジ
ョグダイヤル５２３等の特殊なキーからの入力を監視す
るプログラムである。特殊なキーとは、例えば、ジョグ
ダイヤル５２３の他に、ホットキー、ＰＰＫ（Programm
able Power Key）であり、入力されたキーに対応する処
理を所定のプログラムを介して判断する必要があるよう
なキーである。

【０２０３】電源管理プログラム７０５は、バッテリま
たはＡＣ電源５７６の管理を行うプログラムであり、例
えば、パーソナルコンピュータ１０１の各部に必要な電
源電圧を供給するなどの制御を行う。

【０２０４】ＣＰＵ７０１は、コントロールプログラム
７０２に基づき、入力されたデータをどのプログラムに
渡すかを判断し、各プログラムは、データを渡された場
合、その渡されたデータの内容を判断し、対応する処理
を実行する。

【０２０５】コントローラ５７３は、レジスタ７０６も
備えている。レジスタ７０６は、図１９には、１つしか
示しさないが、必要に応じ複数備えられる。図１９に示
したレジスタ７０６は、ＡＣ電源５７６から電源電圧が
供給されているか否かを示すフラグを記憶する。サウス
ブリッジ５５８にもレジスタ７１１が設けられ、例え
ば、ＣＰＵ５５１の周波数を動的に変化させる状態が許
可された状態であるか否かを示すフラグが記憶される。

【０２０６】なお、サーバ１０３およびサーバ１２３
は、パーソナルコンピュータ１０１と同様の構成を有す
るので、その構成の説明は省略する。

【０２０７】次に、メディアストリーおよびシーン情報
からなるコンテンツを再生する、本発明を適用したネッ
トワークシステムの例について説明する。

【０２０８】図２０において、８００は全体として本発
明を適用した携帯電話機ＭＳ３が接続されているネット
ワークシステムを示し、通信サービスの提供エリアを所
望の大きさに分割したセル内にそれぞれ固定無線局であ
る基地局ＣＳ１乃至ＣＳ４が設置されている。

【０２０９】これらの基地局ＣＳ１乃至ＣＳ４には、移
動無線局である携帯情報端末ＭＳ１及びＭＳ２やカメラ
付ディジタル携帯電話機ＭＳ３及びＭＳ４が例えばＷ−
ＣＤＭＡ（Wideband-Code Division Multiple Access）
と呼ばれる符号分割多元接続方式によって無線接続され
るようになされており、２[GHz]の周波数帯域を使用し
て最大２[Mbps]のデータ転送速度で大容量データを高速
にデータ通信し得るようになされている。

【０２１０】このように携帯情報端末ＭＳ１及びＭＳ２
やカメラ付ディジタル携帯電話機ＭＳ３及びＭＳ４は、
Ｗ−ＣＤＭＡ方式によって大容量データを高速にデータ
通信し得るようになされていることにより、音声通話だ
けでなく電子メールの送受信、簡易ホームページの閲
覧、画像の送受信等の多種に及ぶデータ通信を実行し得
るようになされている。

【０２１１】また基地局ＣＳ１乃至ＣＳ４は、有線回線
を介して公衆回線網ＩＮＷに接続されており、当該公衆
回線網ＩＮＷにはインターネットＩＴＮや、図示しない
多くの加入者有線端末、コンピュータネットワーク及び
企業内ネットワーク等が接続されている。

【０２１２】公衆回線網ＩＮＷには、インターネットサ
ービスプロバイダのアクセスサーバＡＳも接続されてお
り、当該アクセスサーバＡＳには当該インターネットサ
ービスプロバイダが保有するコンテンツサーバＴＳが接
続されている。

【０２１３】このコンテンツサーバＴＳは、加入者有線
端末や携帯情報端末ＭＳ１、ＭＳ２及びカメラ付ディジ
タル携帯電話機ＭＳ３、ＭＳ４からの要求に応じて例え
ば簡易ホームページ等のコンテンツを例えばコンパクト
ＨＴＭＬ（Hyper Text Markup Language）形式のファイ
ルとして提供するようになされている。

【０２１４】ところでインターネットＩＴＮには、多数
のＷＷＷサーバＷＳ１乃至ＷＳｎが接続され、ＴＣＰ／
ＩＰ（Transmission Control Protocol/Internet Proto
col）のプロトコルに従って加入者有線端末や携帯情報
端末ＭＳ１、ＭＳ２及びカメラ付ディジタル携帯電話機
ＭＳ３、ＭＳ４からＷＷＷサーバＷＳ１乃至ＷＳｎに対
してアクセスし得るようになされている。

【０２１５】因みに携帯情報端末ＭＳ１、ＭＳ２及びカ
メラ付ディジタル携帯電話機ＭＳ３、ＭＳ４は、図示し
ない基地局ＣＳ１乃至ＣＳ４までを２[Mbps]の簡易トラ
ンスポートプロトコルで通信し、当該基地局ＣＳ１乃至
ＣＳ４からインターネットＩＴＮを介してＷＷＷサーバ
ＷＳ１乃至ＷＳｎまでをＴＣＰ／ＩＰプロトコルで通信
するようになされている。

【０２１６】なお、管理制御装置ＭＣＵは、公衆回線網
ＩＮＷを介して加入者有線端末や携帯情報端末ＭＳ１、
ＭＳ２及びカメラ付ディジタル携帯電話機ＭＳ３、ＭＳ
４に接続されており、当該加入者有線端末や携帯情報端
末ＭＳ１、ＭＳ２及びカメラ付ディジタル携帯電話機Ｍ
Ｓ３、ＭＳ４に対する認証処理や課金処理等を行うよう
になされている。

【０２１７】次に本発明を適用したカメラ付ディジタル
携帯電話機ＭＳ３の外観構成について説明する。図２１
に示すようにカメラ付ディジタル携帯電話機ＭＳ３は、
中央のヒンジ部８１１を境に表示部８１２と本体８１３
とに分けられており、当該ヒンジ部８１１を介して折り
畳み可能に形成されている。

【０２１８】表示部８１２には、上端左部に送受信用の
アンテナ８１４が引出し及び収納可能な状態に取り付け
られており、当該アンテナ８１４を介して基地局ＣＳ３
との間で電波を送受信するようになされている。

【０２１９】また表示部８１２には、上端中央部にほぼ
１８０度の角度範囲で回動自在なカメラ部８１５が設け
られており、当該カメラ部８１５のＣＣＤカメラ８１６
によって所望の撮像対象を撮像し得るようになされてい
る。

【０２２０】ここで表示部８１２は、カメラ部８１５が
ユーザによってほぼ１８０度回動されて位置決めされた
場合、図２２に示すように当該カメラ部８１５の背面側
中央に設けられたスピーカ８１７が正面側に位置するこ
とになり、これにより通常の音声通話状態に切り換わる
ようになされている。

【０２２１】さらに表示部８１２には、その正面に液晶
ディスプレイ８１８が設けられており、電波の受信状
態、電池残量、電話帳として登録されている相手先名や
電話番号及び発信履歴等の他、電子メールの内容、簡易
ホームページ、カメラ部８１５のＣＣＤカメラ８１６で
撮像した画像を表示し得るようになされている。

【０２２２】一方、本体８１３には、その表面に「０」
乃至「９」の数字キー、発呼キー、リダイヤルキー、終
話及び電源キー、クリアキー及び電子メールキー等の操
作キー８１９が設けられており、当該操作キー８１９を
用いて各種指示を入力し得るようになされている。

【０２２３】また本体８１３には、操作キー８１９の下
部にメモボタン８２０やマイクロフォン８２１が設けら
れており、当該メモボタン８２０によって通話中の相手
の音声を録音し得ると共に、マイクロフォン８２１によ
って通話時のユーザの音声を集音するようになされてい
る。

【０２２４】さらに本体８１３には、操作キー８１９の
上部に回動自在なジョグダイヤル８２２が当該本体８１
３の表面から僅かに突出した状態で設け等られており、
当該ジョグダイヤル８２２に対する回動操作に応じて液
晶ディスプレイ８１８に表示されている電話帳リストや
電子メールのスクロール動作、簡易ホームページのペー
ジ捲り動作及び画像の送り動作等の種々の動作を実行す
るようになされている。

【０２２５】例えば本体８１３は、ユーザによるジョグ
ダイヤル８２２の回動操作に応じて液晶ディスプレイ８
１８に表示された電話帳リストの複数の電話番号の中か
ら所望の電話番号が選択され、当該ジョグダイヤル８２
２が本体８１３の内部方向に押圧されると、選択された
電話番号を確定して当該電話番号に対して自動的に発呼
処理を行うようになされている。

【０２２６】なお本体８１３は、背面側に図示しないバ
ッテリパックが挿着されており、終話及び電源キーがオ
ン状態になると、当該バッテリパックから各回路部に対
して電力が供給されて動作可能な状態に起動する。

【０２２７】ところで本体８１３には、当該本体８１３
の左側面上部に抜差自在なメモリスティック（商標）６
０３を挿着するためのメモリスティックスロット２２３
が設けられており、メモボタン８２０が押下されるとメ
モリスティック６０３に通話中の相手の音声を記録した
り、ユーザの操作に応じて電子メール、簡易ホームペー
ジ、ＣＣＤカメラ８１６で撮像した画像を記録し得るよ
うになされている。

【０２２８】従ってカメラ付ディジタル携帯電話機ＭＳ
３は、このようなメモリスティック６０３を挿着可能に
構成されているために、当該メモリスティック６０３を
介して他の電子機器との間でデータの共有化を図ること
ができるようになされている。

【０２２９】図２３に示すように、カメラ付ディジタル
携帯電話機ＭＳ３は、表示部８１２及び本体８１３の各
部を統括的に制御するようになされた主制御部８５０に
対して、電源回路部８５１、操作入力制御部８５２、画
像エンコーダ８５３、カメラインターフェース部８５
４、ＬＣＤ（Liquid Crystal Display）制御部８５５、
画像デコーダ８５６、多重分離部８５７、記録再生部８
６２、変復調回路部８５８及び音声コーデック８５９が
メインバス８６０を介して互いに接続されると共に、画
像エンコーダ８５３、画像デコーダ８５６、多重分離部
８５７、変復調回路部８５８及び音声コーデック８５９
が同期バス８６１を介して互いに接続されて構成されて
いる。

【０２３０】電源回路部８５１は、ユーザの操作により
終話及び電源キーがオン状態にされると、バッテリパッ
クから各部に対して電力を供給することによりカメラ付
ディジタル携帯電話機ＭＳ３を動作可能な状態に起動す
る。

【０２３１】カメラ付ディジタル携帯電話機ＭＳ３は、
ＣＰＵ、ＲＯＭ及びＲＡＭ等でなる主制御部８５０の制
御に基づいて、音声通話モード時にマイクロフォン８２
１で集音した音声信号を音声コーデック８５９によって
ディジタル音声データに変換し、これを変復調回路部８
５８でスペクトラム拡散処理し、送受信回路部８６３で
ディジタルアナログ変換処理及び周波数変換処理を施し
た後にアンテナ８１４を介して送信する。

【０２３２】またカメラ付ディジタル携帯電話機ＭＳ３
は、音声通話モード時にアンテナ８１４で受信した受信
信号を増幅して周波数変換処理及びアナログディジタル
変換処理を施し、変復調回路部８５８でスペクトラム逆
拡散処理し、音声コーデック８５９によってアナログ音
声信号に変換した後、これをスピーカ８１７を介して出
力する。

【０２３３】さらにカメラ付ディジタル携帯電話機ＭＳ
３は、データ通信モード時に電子メールを送信する場
合、操作キー８１９及びジョグダイヤル８２２の操作に
よって入力された電子メールのテキストデータを操作入
力制御部８５２を介して主制御部８５０に送出する。

【０２３４】主制御部８５０は、テキストデータを変復
調回路部８５８でスペクトラム拡散処理し、送受信回路
部８６３でディジタルアナログ変換処理及び周波数変換
処理を施した後にアンテナ８１４を介して基地局ＣＳ３
（図２０）へ送信する。

【０２３５】これに対してカメラ付ディジタル携帯電話
機ＭＳ３は、データ通信モード時に電子メールを受信す
る場合、アンテナ８１４を介して基地局ＣＳ３から受信
した受信信号を変復調回路部８５８でスペクトラム逆拡
散処理して元のテキストデータを復元した後、ＬＣＤ制
御部８５５を介して液晶ディスプレイ８１８に電子メー
ルとして表示する。

【０２３６】この後カメラ付ディジタル携帯電話機ＭＳ
３は、ユーザの操作に応じて受信した電子メールを記録
再生部８６２を介してメモリスティック６０３に記録す
ることも可能である。

【０２３７】一方カメラ付ディジタル携帯電話機ＭＳ３
は、データ通信モード時に画像データを送信する場合、
ＣＣＤカメラ８１６で撮像された画像データをカメライ
ンターフェース部８５４を介して画像エンコーダ８５３
に供給する。

【０２３８】因みにカメラ付ディジタル携帯電話機ＭＳ
３は、画像データを送信しない場合には、ＣＣＤカメラ
８１６で撮像した画像データをカメラインターフェース
部８５４及びＬＣＤ制御部８５５を介して液晶ディスプ
レイ８１８に直接表示することも可能である。

【０２３９】画像エンコーダ８５３は、ＣＣＤカメラ８
１６から供給された画像データを例えばＭＰＥＧ（Movi
ng Picture Experts Group ）２やＭＰＥＧ４等の所定
の符号化方式によって圧縮符号化することにより符号化
画像データに変換し、これを多重分離部８５７に送出す
る。

【０２４０】このとき同時にカメラ付ディジタル携帯電
話機ＭＳ３は、ＣＣＤカメラ８１６で撮像中にマイクロ
フォン８２１で集音した音声を音声コーデック８５９を
介してディジタルの音声データとして多重分離部８５７
に送出する。

【０２４１】多重分離部８５７は、画像エンコーダ８５
３から供給された符号化画像データと音声コーデック８
５９から供給された音声データとを所定の方式で多重化
し、その結果得られる多重化データを変復調回路部８５
８でスペクトラム拡散処理し、送受信回路部８６３でデ
ィジタルアナログ変換処理及び周波数変換処理を施した
後にアンテナ８１４を介して送信する。

【０２４２】これに対してカメラ付ディジタル携帯電話
機ＭＳ３は、データ通信モード時に例えば簡易ホームペ
ージ等にリンクされた動画像ファイルのデータを受信す
る場合、アンテナ８１４を介して基地局ＣＳ３から受信
した受信信号を変復調回路部８５８でスペクトラム逆拡
散処理し、その結果得られる多重化データを多重分離部
８５７に送出する。

【０２４３】多重分離部８５７は、多重化データを分離
することにより符号化画像データと音声データとに分
け、同期バス８６１を介して当該符号化画像データを画
像デコーダ８５６に供給すると共に当該音声データを音
声コーデック８５９に供給する。

【０２４４】画像デコーダ８５６は、符号化画像データ
をＭＰＥＧ２やＭＰＥＧ４等の所定の符号化方式に対応
した復号化方式でデコードすることにより再生動画像デ
ータを生成し、これをＬＣＤ制御部８５５を介して液晶
ディスプレイ８１８に供給し、これにより、例えば、簡
易ホームページにリンクされた動画像ファイルに含まれ
る動画データが表示される。

【０２４５】このとき同時に音声コーデック８５９は、
音声データをアナログ音声信号に変換した後、これをス
ピーカ８１７に供給し、これにより、例えば、簡易ホー
ムページにリンクされた動画像ファイルに含まる音声デ
ータが再生される。

【０２４６】この場合も電子メールの場合と同様にカメ
ラ付ディジタル携帯電話機ＭＳ３は、受信した簡易ホー
ムページ等にリンクされたデータをユーザの操作により
記録再生部８６２を介してメモリスティック６０３に記
録することが可能である。

【０２４７】かかる構成に加えてカメラ付ディジタル携
帯電話機ＭＳ３は、主制御部８５０のＲＯＭにパーソナ
ルコンピュータ１０１と同様のセレクタ１５１乃至オー
ディオコンポーザ１６２（図４）に対応する再生プログ
ラムが格納されており、この再生プログラムに基づい
て、シーン情報に対応するシーンを提示し得るようにな
されている。

【０２４８】このように上述した一連の処理を実行する
再生プログラムをカメラ付ディジタル携帯電話機ＭＳ３
にインストールし、カメラ付ディジタル携帯電話機ＭＳ
３にインストールにおいて実行可能な状態にするために
用いられるプログラム格納媒体としては、例えばフレキ
シブルディスク、ＣＤ−ＲＯＭ（Compact Disc-ReadOnl
y Memory）、ＤＶＤ（Digital Versatile Disc ）等の
パッケージメディアのみならず、再生プログラムが一時
的もしくは永続的に格納される半導体メモリや磁気ディ
スク等で実現しても良い。

【０２４９】また、これらプログラム格納媒体に再生プ
ログラムを格納する手段としては、ローカルエリアネッ
トワークやインターネット、ディジタル衛生放送等の有
線及び無線通信媒体を利用しても良く、ルータやモデム
等の各種通信インターフェースを介して格納するように
しても良い。

【０２５０】さらに上述の本発明の実施の形態において
は、本発明の情報処理装置としてパーソナルコンピュー
タ１０１及びカメラ付ディジタル携帯電話機ＭＳ３に適
用するようにした場合について述べたが、携帯情報端末
ＭＳ１及びＭＳ２等の他の種々の情報処理装置に適用す
るようにしても良い。

【０２５１】なお、パーソナルコンピュータ、カメラ付
ディジタル携帯電話機、または、携帯情報端末装置が、
シーン情報に基づいて、シーンを構成し、コンテンツを
再生すると説明したが、パーソナルコンピュータ、カメ
ラ付ディジタル携帯電話機、または、携帯情報端末装置
に限らず、テレビジョン受像機、またはセットトップボ
ックスなど、コンテンツを再生する機能を有する装置で
あれば、据え置き型または携帯型などに限定されず、い
ずれの装置であってもよい。

【０２５２】上述した一連の処理は、ハードウェアによ
り実行させることもできるが、ソフトウェアにより実行
させることもできる。一連の処理をソフトウェアにより
実行させる場合には、そのソフトウェアを構成するプロ
グラムが、専用のハードウェアに組み込まれているコン
ピュータ、または、各種のプログラムをインストールす
ることで、各種の機能を実行することが可能な、例えば
汎用のパーソナルコンピュータなどに、記録媒体からイ
ンストールされる。

【０２５３】この記録媒体は、図１８に示すように、コ
ンピュータとは別に、ユーザにプログラムを提供するた
めに配布される、プログラムが記録されている磁気ディ
スク６１１（フレキシブルディスクを含む）、光ディス
ク６１２（CD-ROM(Compact Disc-Read Only Memory)、
ＤＶＤ(Digital Versatile Disc)を含む）、光磁気ディ
スク６１３（ＭＤ(Mini-Disc)（商標）を含む）、若し
くは半導体メモリ６１４などよりなるパッケージメディ
アにより構成されるだけでなく、コンピュータに予め組
み込まれた状態でユーザに提供される、プログラムが記
録されているROMや、ＨＤＤ６７などで構成される。

【０２５４】なお、上述した一連の処理を実行させるプ
ログラムは、必要に応じてルータ、モデムなどのインタ
フェースを介して、ローカルエリアネットワーク、イン
ターネット、デジタル衛星放送といった、有線または無
線の通信媒体を介してコンピュータにインストールされ
るようにしてもよい。

【０２５５】また、本明細書において、記録媒体に格納
されるプログラムを記述するステップは、記載された順
序に沿って時系列的に行われる処理はもちろん、必ずし
も時系列的に処理されなくとも、並列的あるいは個別に
実行される処理をも含むものである。

【０２５６】なお、本明細書において、システムとは、
複数の装置により構成される装置全体を表すものであ
る。

【０２５７】

【発明の効果】以上のように、第１の本発明によれば、
コンテンツを再生することができる。

【０２５８】また、第１の本発明によれば、より簡単
に、より迅速に、使用者に最終的に視聴させるコンテン
ツを変更できるようになる。

【０２５９】第２の本発明によれば、再生装置にシーン
情報を提供することができる。

【０２６０】また、第２の発明によれば、再生装置にお
いて、より簡単に、より迅速に、使用者に最終的に視聴
させるコンテンツを変更できるようになる。

【図面の簡単な説明】

【図１】メディアストリームおよびシーン情報からなる
コンテンツを再生する、再生装置の動作を説明する図で
ある。

【図２】本発明に係る再生システムの一実施の形態を示
す図である。

【図３】本発明に係る再生システムの他の実施の形態を
示す図である。

【図４】再生プログラムを実行するパーソナルコンピュ
ータ１０１の機能の構成を示すブロック図である。

【図５】パーソナルコンピュータ１０１によるコンテン
ツの再生の処理を説明するフローチャートである。

【図６】レンダリングの処理の詳細を説明するフローチ
ャートである。

【図７】サーバ１２３の構成を示すブロック図である。

【図８】サーバ１２３の送信の処理を説明するフローチ
ャートである。

【図９】サーバ１０３の構成を示すブロック図である。

【図１０】サーバ１０３の送信の処理を説明するフロー
チャートである。

【図１１】パーソナルコンピュータ１０１の機能の他の
構成を示すブロック図である。

【図１２】パーソナルコンピュータ１０１の処理を説明
する図である。

【図１３】再生の処理を説明するフローチャートであ
る。

【図１４】パーソナルコンピュータ１０１の外観斜視図
である。

【図１５】本体５２１の平面図である。

【図１６】ジョグダイヤル５２３の拡大図である。

【図１７】ジョグダイヤル５２３の側面図である。

【図１８】パーソナルコンピュータ１０１の内部の構成
例を説明するブロック図である。

【図１９】コントローラ５７３の内部の構成の例を示す
図である。

【図２０】第２の実施の形態におけるネットワークシス
テムの全体構成を示す略線図である。

【図２１】カメラ付ディジタル携帯電話機の外観構成を
示す略線的斜視図である。

【図２２】カメラ部を回動したときの表示部を示す略線
的斜視図である。

【図２３】カメラ付ディジタル携帯電話機の回路構成を
示すブロック図である。

【符号の説明】

１１ 記録媒体， １２ メディアストリーム， １３
シーン情報， １０１ パーソナルコンピュータ，
１０２ シーン情報， １０３ サーバ， １０４ ネ
ットワーク， １０５ 記録媒体， １２１ メディア
ストリーム，１２２ シーン情報， １２３ サーバ，
１５１ セレクタ， １５２ シーン記述ストリーム
デコーダ， １５３乃至１５６ メディアストリームセ
レクタ， １５７乃至１６０ メディアストリームデコ
ーダ， １６１ ビデオコンポーザ， １６２ オーデ
ィオコンポーザ， ２０１ コンテンツ記録部， ２０
２ コンテンツ受信部， ２０３ シーン情報記録部，
２０４−１−１乃至２０４−３−Ｌ 符号化部， ２
０５ 送信部， ２２１ シーン情報記録部，２２２−
１乃至２２２−Ｌ 符号化部， ２２３ 送信部， ３
０１ 受信部，３０２ ＯＤ・ＢＩＦＳ選択部， ３０
４ ＯＤ・ＢＩＦＳ復号部， ３０５−１乃至３０５−
ｎ 復号部， ３０６ 画像再構成部， ５５１ ＣＰ
Ｕ，５５４ ＲＡＭ， ５６７ ＨＤＤ， ６１１ 磁
気ディスク， ６１２ 光ディスク， ６１３ 光磁気
ディスク， ６１４ 半導体メモリ， ８５０ 主制御
部

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5B050 AA08 BA10 BA11 CA05 CA07 CA08 FA02 FA10 FA19 GA08 5C052 AA01 AA17 CC11 DD04 5C053 FA23 FA27 GA11 GB02 GB37 JA21 LA11 LA15 5C064 BA01 BC16 BC23 BC25 BD03 BD07 BD13

Claims (10)

【特許請求の範囲】
1. 【請求項１】 シーンの構成を記述するシーン情報を基
   に、画像または音声からなる前記シーンを構成して、前
   記画像または前記音声を再生する再生装置において、 前記画像若しくは前記音声が記録されている第１の記録
   媒体とは別の、前記シーン情報が記録されている第２の
   記録媒体、または前記画像若しくは前記音声を提供する
   第１の提供装置とは別の、前記シーン情報を提供する第
   ２の提供装置から前記シーン情報を取得するシーン情報
   取得手段と、 取得された前記シーン情報に基づいて、前記画像または
   前記音声から前記シーンを構成するシーン構成手段とを
   含むことを特徴とする再生装置。
2. 【請求項２】 取得された前記シーン情報から１つの前
   記シーン情報を選択する選択手段をさらに含み、 前記シーン構成手段は、選択された前記シーン情報に基
   づいて、前記画像または前記音声から前記シーンを構成
   することを特徴とする再生装置。
3. 【請求項３】 選択された前記シーン情報を復号する復
   号手段をさらに含み、 前記シーン構成手段は、復号された前記シーン情報に基
   づいて、前記画像または前記音声から前記シーンを構成
   することを特徴とする請求項２に記載の再生装置。
4. 【請求項４】 取得された前記シーン情報に基づいて、
   前記画像または前記音声を復号する復号手段をさらに含
   み、 前記シーン構成手段は、取得された前記シーン情報に基
   づいて、復号された前記画像または前記音声から前記シ
   ーンを構成することを特徴とする請求項１に記載の再生
   装置。
5. 【請求項５】 取得された前記シーン情報に基づいて、
   前記シーンの構成に必要な、符号化されている前記画像
   または前記音声を取得する画像音声取得手段をさらに含
   み、 前記復号手段は、取得された前記画像または前記音声を
   復号することを特徴とする請求項４に記載の再生装置。
6. 【請求項６】 シーンの構成を記述するシーン情報を基
   に、画像または音声からなる前記シーンを構成して、前
   記画像または前記音声を再生する再生方法において、 前記画像若しくは前記音声が記録されている第１の記録
   媒体とは別の、前記シーン情報が記録されている第２の
   記録媒体、または前記画像若しくは前記音声を提供する
   第１の提供装置とは別の、前記シーン情報を提供する第
   ２の提供装置から前記シーン情報を取得するシーン情報
   取得ステップと、 取得された前記シーン情報に基づいて、前記画像または
   前記音声から前記シーンを構成するシーン構成ステップ
   とを含むことを特徴とする再生方法。
7. 【請求項７】 シーンの構成を記述するシーン情報を基
   に、画像または音声からなる前記シーンを構成して、前
   記画像または前記音声を再生の処理を制御するコンピュ
   ータに、 前記画像若しくは前記音声が記録されている第１の記録
   媒体とは別の、前記シーン情報が記録されている第２の
   記録媒体、または前記画像若しくは前記音声を提供する
   第１の提供装置とは別の、前記シーン情報を提供する第
   ２の提供装置から前記シーン情報を取得するシーン情報
   取得ステップと、 取得された前記シーン情報に基づいて、前記画像または
   前記音声から前記シーンを構成するシーン構成ステップ
   とを実行させることを特徴とするプログラム。
8. 【請求項８】 画像または音声からなるシーンを構成し
   て、前記画像または前記音声を再生する再生装置に、前
   記シーンの構成を記述するシーン情報を提供する提供装
   置において、 前記再生装置に装着されている記録媒体に記録されてい
   る前記画像若しくは前記音声、または他の提供装置から
   提供された前記画像若しくは前記音声から、前記再生装
   置により構成される前記シーンを記述する前記シーン情
   報を、ネットワークを介して、提供する提供手段を含む
   ことを特徴とする提供装置。
9. 【請求項９】 画像または音声からなるシーンを構成し
   て、前記画像または前記音声を再生する再生装置に、前
   記シーンの構成を記述するシーン情報を提供する提供方
   法において、 前記再生装置に装着されている記録媒体に記録されてい
   る前記画像若しくは前記音声、または他の提供装置から
   提供された前記画像若しくは前記音声から、前記再生装
   置により構成される前記シーンを記述する前記シーン情
   報を、ネットワークを介して、提供する提供ステップを
   含むことを特徴とする提供方法。
10. 【請求項１０】 画像または音声からなるシーンを構成
    して、前記画像または前記音声を再生する再生装置に、
    前記シーンの構成を記述するシーン情報を提供する処理
    を制御するコンピュータに、 前記再生装置に装着されている記録媒体に記録されてい
    る前記画像若しくは前記音声、または他の提供装置から
    提供された前記画像若しくは前記音声から、前記再生装
    置により構成される前記シーンを記述する前記シーン情
    報を、ネットワークを介して、提供する提供ステップを
    実行させることを特徴とするプログラム。