JP2006079748A - 再生装置 - Google Patents

Abstract

【課題】再生装置の再生環境に応じて再生処理が省略される場合でも極力ユーザの意図した再生が行われるようにする。
【解決手段】記録情報取得部１１０は、記録媒体に記録された記録情報を取得し、その記録情報に含まれる再生指定情報を再生指定情報解釈部１２０に供給する。再生指定情報解釈部１２０において、合成手法決定部１２１は再生環境情報保持部１２９に保持された再生環境情報を参照して、再生指定情報に含まれる優先順位定義に従って合成手法を決定する。再生内容決定部１２２は、決定された合成手法に基づいて記録情報に含まれる動画データや静止画データなどのコンテンツ情報の再生内容を決定する。このようにして決定された再生内容は再生制御部１３０に供給される。コンテンツ情報の再生処理を行う各部に対して、再生制御部１３０は決定された再生内容に基づいて再生制御を行う。
【選択図】 図２

Description

本発明は、再生装置に関し、特に動画データ、静止画データ、音声データ等を再生する再生装置、および、その処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。

近年、ＤＶ（Digital Video）テープや８ｍｍビデオテープを使用したビデオカムコーダ、ＰＣ（Personal Computer）や専用機によって記録された動画データを再生する専用のポータブルビューワ、さらに、ＰＣ上で動画ファイルを再生するソフトウェアが開発され、市場において普及している。再生に関する機能のうち、これらの装置やソフトウェアにおいて実現されているものとして、記録された動画データに対して予めユーザが指定した順番に再生を行うプログラム再生機能、内容確認のために各動画コンテンツの冒頭の数秒のみを順次再生する頭出し再生機能、各動画コンテンツを任意に分割し、分割したものをランダムに繋いで再生し、再生画像に対してシーンチェンジやエフェクト効果をかけ、タイトルテキストや任意のグラフィックデータを再生画像に重ね合わせ（オーバーレイ）をし、よりエンターテインメント性を高めるシャッフル再生機能等がある。

プログラム再生やシャッフル再生に関しては、例えば、ＭＤ（MiniDisc）やＣＤ（Compact Disc）等の音声を扱う再生機器の場合、取外し可能な記録媒体が装着される毎に、ユーザがプログラム再生やシャッフル再生の指定を行うことで実現していた。これに対して、再生指定情報としてエフェクトなどの効果や再生順を指定した情報を別途記録媒体に記録するようにしたものがある（例えば、特許文献１参照）。

これまで、記録媒体を再生装置から取り外した場合には再生時にユーザが指定した再生順やエフェクトの内容がリセットされてしまい、同様の再生を再現させるためにはユーザが再度再生の指定（再生指定）を行わなくてはならないものとなっていた。上述の従来技術では、動画や音声などの再生されるデータと同様に、記録媒体に対して別途ユーザが再生順やエフェクトを指定する再生指定情報を記録することにより、他の記録媒体と交換した後でも、その再生指定情報を記録した記録媒体を装着し直した際に、ユーザの意図した再生を再現する。さらには、その再生指定情報を記録媒体に記録する際に、その再生環境を指定した情報も同時に記録することで、より再生環境に合致した快適な再生が行われるようにしている。

この従来技術では、記録媒体の交換が発生したとしてもユーザの意図した再生が行われるが、再生環境として記録を行う際の装置に基づいて指定が行われるため、別の再生装置に記録が行われた記録媒体が装着された場合にはその記録を行った再生装置の性能に応じた再生が行われる。そのため、記録時に再生指定情報を記録した再生装置よりも、別の再生装置の処理能力が低い場合には、記録された再生指定情報に対して何らかの省略が必要になる。

例えば、ある動画から次の動画へ変化する場合に、シーンチェンジとしてワイプの効果を加えるとき、再生指定において「ワイプ」効果を加えることを示すデータが記録媒体に記録されるが、その記録媒体が別の処理能力の低い再生装置によって再生されると、「ワイプ」効果が省略されるような再生となるかもしれない。もしくは、次の動画に切り替わる前の動画が停止して静止画となり、その静止画と次の動画との間に「ワイプ」効果を加える処理が行われることも考えられる。さらには、「ワイプ」効果を加える処理が２秒で行われるものと指定されているような場合には、この処理時間を４秒に引き延ばすような処理が行われることも考えられる。
特開２０００−３３１４２２号公報（図８）

このように、従来技術では、記録時の再生装置とは異なり、記録媒体に記録された再生環境に基づく再生を実現できないとき、負荷低減のために処理の省略が行われるが、その省略の仕方は、各再生装置の実装方法に任されている。再生装置として専用の装置を考えた場合、上述のように記録媒体の脱着が考えられるが、ＰＣにおいてソフトウェアにて再生を行う場合にも同様のことが考えられる。動画や静止画等の実データに加えて記録媒体に記録された再生環境を示すデータを処理し、再生を行うＰＣの場合、処理能力が低いときには、そのソフトウェアによって再生環境を示すデータが任意に解釈され、その解釈の結果に応じて処理が省略された再生が行われてしまう。

そこで、本発明は、再生装置の処理能力に拘わらず、極力ユーザの意図に沿った再生が行われるようにすることを目的とする。

本発明は、上記課題を解決するためになされたものであり、その第１の側面は、再生対象としてのコンテンツ情報とそのコンテンツ情報の再生方法を指定する再生指定情報とを備える記録情報を記録する記録媒体について、上記コンテンツ情報を上記再生指定情報に従って再生する再生装置であって、その再生装置における再生環境に関する再生環境情報を保持する再生環境情報保持手段と、上記再生指定情報に含まれる優先順位定義であって優先して実行されるべき再生処理を優先順位により示す優先順位定義に従って上記再生環境情報に合致する合成手法を決定する合成手法決定手段と、上記決定された合成手法に基づいて上記コンテンツ情報の再生内容を決定する再生内容決定手段と、上記決定された再生内容によって上記コンテンツ情報の再生処理を制御する再生制御手段とを具備することを特徴とする再生装置である。これにより、指定された優先順位定義に従って再生環境情報に合致する合成手法を決定して、その合成手法に基づく再生処理を制御するという作用をもたらす。

この第１の側面において、上記コンテンツ情報が、動画データ、静止画データおよびグラフィックデータの少なくとも何れかの種類の画像データを備え、上記優先順位定義が、上記コンテンツ情報における少なくとも２つの画像データの間の遷移において優先して実行されるべき再生処理を示すようにしてもよい。これにより、画像データの間の遷移において優先して実行されるべき再生処理が優先順位定義により示される。

ここで、上記コンテンツ情報が、少なくとも２つの動画データを備え、上記優先順位定義が、上記コンテンツ情報における２つの動画データ間の遷移におけるクロスフェードに関して優先して実行されるべき再生処理を示すようにしてもよい。このとき、上記優先順位定義は、上記２つの動画データの何れを優先すべきかの指定、上記クロスフェードと全体の再生時間との何れを優先すべきかの指定、もしくは、上記２つの動画データの何れか一方についてはその動画データの所定のタイミングにおける静止画を利用すべき旨の指定を含んでもよい。

また、この第１の側面において、上記コンテンツ情報が、動画データ、静止画データおよびグラフィックデータの少なくとも何れかの種類の画像データを備え、上記優先順位定義が、上記コンテンツ情報における少なくとも２つの画像データ同士の重ね合わせにおいて優先して実行されるべき再生処理を示すようにしてもよい。これにより、２つの画像データ同士の重ね合わせにおいて優先して実行されるべき再生処理が優先順位定義により示される。

ここで、上記コンテンツ情報が、少なくとも１つの動画データおよび少なくとも２つのグラフィックデータを備え、上記優先順位定義が、上記コンテンツ情報における動画データとグラフィックデータとの間の重ね合わせにおいて優先して実行されるべき再生処理を示すようにしてもよい。このとき、上記優先順位定義は、上記コンテンツ情報における動画データに重ね合わせるべきグラフィックデータの指定、もしくは、上記重ね合わせを行うべき時間の指定を含んでもよい。

また、本発明の第２の局面は、再生対象として動画データ、静止画データおよびグラフィックデータの少なくとも何れかの種類の画像データであるコンテンツ情報とそのコンテンツ情報の再生方法を指定する再生指定情報とを備える記録情報を記録する記録媒体について、上記コンテンツ情報を上記再生指定情報に従って再生する再生装置であって、上記コンテンツ情報における複数の画像データを処理する画像処理手段と、上記処理された複数の画像データを合成して出力する合成出力処理手段と、当該再生装置における再生環境に関する再生環境情報を保持する再生環境情報保持手段と、上記再生指定情報に含まれる優先順位定義であって優先して実行されるべき再生処理を優先順位により示す優先順位定義に従って上記再生環境情報に合致する合成手法を決定する合成手法決定手段と、上記決定された合成手法に基づいて上記コンテンツ情報の再生内容を決定する再生内容決定手段と、上記決定された再生内容によって上記画像処理手段における画像処理および上記合成出力処理手段における合成処理を制御する再生制御手段とを具備することを特徴とする再生装置である。これにより、指定された優先順位定義に従って再生環境情報に合致する合成手法を決定し、その合成手法に基づいてコンテンツ情報における複数の画像データを合成して出力するという作用をもたらす。

この第２の側面において、上記優先順位定義が、上記コンテンツ情報における少なくとも２つの画像データの間の遷移において優先して実行されるべき再生処理を示すようにしてもよい。これにより、画像データの間の遷移において優先して実行されるべき再生処理が優先順位定義により示される。また、上記優先順位定義が、上記コンテンツ情報における少なくとも２つの画像データ同士の重ね合わせにおいて優先して実行されるべき再生処理を示すようにしてもよい。これにより、２つの画像データ同士の重ね合わせにおいて優先して実行されるべき再生処理が優先順位定義により示される。

また、本発明の第３の局面は、再生対象としてのコンテンツ情報とそのコンテンツ情報の再生方法を指定する再生指定情報とを備える記録情報を記録する記録媒体について、上記コンテンツ情報を上記再生指定情報に従って再生する再生装置において、上記再生指定情報に含まれる優先順位定義であって優先して実行されるべき再生処理を優先順位により示す優先順位定義に従って上記再生装置における再生環境に合致する合成手法を決定する手順と、上記決定された合成手法に基づいて上記コンテンツ情報の再生内容を決定する手順と、上記決定された再生内容によって上記コンテンツ情報の再生処理を制御する手順とを具備することを特徴とする再生制御方法である。これにより、指定された優先順位定義に従って再生環境情報に合致する合成手法を決定して、その合成手法に基づく再生処理を制御するという作用をもたらす。

また、本発明の第４の局面は、再生対象としてのコンテンツ情報とそのコンテンツ情報の再生方法を指定する再生指定情報とを備える記録情報を記録する記録媒体について、上記コンテンツ情報を上記再生指定情報に従って再生する再生装置において、上記再生指定情報に含まれる優先順位定義であって優先して実行されるべき再生処理を優先順位により示す優先順位定義に従って上記再生装置における再生環境に合致する合成手法を決定する手順と、上記決定された合成手法に基づいて上記コンテンツ情報の再生内容を決定する手順と、上記決定された再生内容によって上記コンテンツ情報の再生処理を制御する手順とをコンピュータに実行させることを特徴とするプログラムである。これにより、指定された優先順位定義に従って再生環境情報に合致する合成手法を決定して、その合成手法に基づく再生処理を制御するという作用をもたらす。

本発明によれば、複数の動画、静止画、音声に対してクロスフェード等の効果を与える再生処理を加えて再生を行う場合に、再生装置の能力に応じてその再生処理の一部を省略するとき、優先して行うべき再生処理をユーザが指定することができるようにし、再生処理の省略が行われた場合でもユーザの意図した再生にできるだけ近づけることができるという優れた効果を奏し得る。

次に本発明の実施の形態について図面を参照して詳細に説明する。

図１は、本発明の実施の形態における再生装置１００の機能構成例を示すブロック図である。この再生装置１００は、記録媒体１０１と、記録情報取得部１１０と、再生指定情報解釈部１２０と、再生制御部１３０と、画像処理部１４０と、音声処理部１５０と、合成出力処理部１６０と、音声出力処理部１７０と、画像出力部１８０と、音声出力部１９０とを備えている。

記録媒体１０１は、動画データ、静止画データ、音声データおよびオーバーレイグラフィックデータ等のコンテンツ情報、ならびに、これらコンテンツ情報の再生方法を指定する再生指定情報を記録する。なお、これらコンテンツ情報および再生指定情報を合わせて記録情報とよぶ。

記録情報取得部１１０は、記録媒体１０１に記録されている記録情報を記録媒体１０１から取得して、その取得された記録情報に含まれるコンテンツ情報を画像処理部１４０および音声処理部１５０に、再生指定情報を再生指定情報解釈部１２０にそれぞれ供給する。

再生指定情報解釈部１２０は、記録情報取得部１１０から供給された再生指定情報を受け取って解釈し、その解釈した結果を再生制御部１３０に供給する。再生制御部１３０は、再生指定情報解釈部１２０によって解釈された結果を受け取り、各部を制御するための制御情報を生成して各部に供給する。

画像処理部１４０は、記録情報取得部１１０から供給されたコンテンツ情報における動画データや静止画データ等の画像関連のデータに対して、再生制御部１３０から供給された制御情報に基づいて所定の処理を施すものであり、例えば、動画データを処理する動画処理部１４１、静止画データを処理する静止画処理部１４２、ならびに、オーバーレイグラフィックデータを処理するオーバーレイグラフィック処理部１４３等を含んで構成される。

音声処理部１５０は、記録情報取得部１１０から供給された音声データに対して、再生制御部１３０より供給された制御情報に基づいて所定の処理を施し、その音声データを音声出力処理部１７０に供給する。

合成出力処理部１６０は、画像処理部１４０において処理された動画データ、静止画データおよびオーバーレイグラフィックデータ等を、再生制御部１３０から供給された制御情報に基づいて合成して合成画像データを生成し、この合成画像データを画像信号に変換して画像出力部１８０に供給する。画像出力部１８０は、合成出力処理部１６０より供給された画像信号に対応する画像を表示するものであり、例えば、ＬＣＤ（Liquid Crystal Display）等により実現される。

音声出力処理部１７０は、音声処理部１５０から供給された音声データを音声信号に変換して音声出力部１９０に供給する音声出力部１９０は、音声出力処理部１７０より供給された音声信号に対応する音声を出力するものであり、例えば、スピーカ等により実現される。

図２は、本発明の実施の形態における再生指定情報解釈部１２０の一構成例を示すブロック図である。この再生指定情報解釈部１２０は、記録情報取得部１１０から供給された再生指定情報を受け取り、その再生指定情報を解釈して、その解釈結果を再生制御部１３０に供給するものであり、合成手法決定部１２１と、再生内容決定部１２２と、再生環境情報保持部１２９とを備える。

再生環境情報保持部１２９は、その再生装置１００における再生環境情報を保持するものである。ここで、再生環境情報とは、再生装置１００における再生環境に関する情報であり、例えば、ＣＰＵやグラフィックボードの処理速度、画像出力部１８０の表示面積、メモリ容量などのパラメータを含む。

合成手法決定部１２１は、記録情報取得部１１０から供給された再生指定情報に含まれる優先順位定義に従って合成出力処理部１６０における合成手法を決定する。ここで、優先順位定義とは、優先して行うべき再生処理をユーザが指定するものであり、後述のように、各処理に優先順位が付されたリスト形式により実現することができる。合成手法を決定する際、合成手法決定部１２１は、再生環境情報保持部１２９に保持された再生環境情報を参照して、その再生装置１００に合致する合成手法を選択する。

再生内容決定部１２２は、合成手法決定部１２１によって決定された合成手法に基づいて、記録情報取得部１１０から供給された再生指定情報に含まれる画像データの再生装置１００における再生内容を決定する。この再生内容決定部１２２により決定された再生内容は再生制御部１３０に供給される。

図３乃至図５は、本発明の実施の形態における優先順位定義に基づいて選択可能な再生処理方法を示す図である。図３（ａ）は、処理を省略しない通常の再生処理方法として、クロスフェードの例を示している。クロスフェードとは、一方の画像から他方の画像に徐々に遷移させる映像表現手法である。ここでは、時刻ｔ１から時刻ｔ２にかけて動画＃１が次第に消えていくにつれ次の動画＃２がでてくることを想定している。すなわち、時刻ｔ１において動画＃１と動画＃２のクロスフェードを実現する再生処理が開始され、時刻ｔ２において、クロスフェードが終了し、動画＃２のみの再生となるというものである。

図３（ｂ）は、クロスフェードを敢えて行わない例を示している。ここでは、クロスフェードのようなシーンチェンジ効果をやめ、動画＃１が終了する時刻ｔ２において２つの動画＃１および動画＃２を単純に繋いで再生している。従って、この場合、動画＃２は時刻ｔ２から再生が開始される。

図３（ｃ）は、動画と静止画とのクロスフェードの例を示している。すなわち、動画と動画の合成を、静止画と動画の合成にして処理の負荷を低減させるというものである。ここでは、最初の動画＃１の時刻ｔ２における最後のシーンに対して補間等の処理を施して静止画として保持し、この静止画と次の動画＃２とのオーバーラップ合成を行っている。この場合、動画＃２は時刻ｔ２から再生が開始される。

図３（ｄ）は、動画と静止画とのクロスフェードの他の例を示している。ここでは、動画＃１の再生が終了する前の途中の所定のタイミング（ここでは、時刻ｔ１）から一定期間（ここでは、時刻ｔ１から時刻ｔ２の期間）だけ、動画＃２の時刻ｔ２における最初のシーンより生成した静止画を動画＃１にオーバーラップする合成を行っている。この場合、時刻ｔ２からは動画＃２のみの再生が行われる。

図４（ａ）は、一方の動画表示が省略される例を示している。本来であれば図３（ａ）に示したように時刻ｔ１から時刻ｔ２までクロスフェードが行われるが、ここでは、動画＃１と動画＃２のクロスフェードが終了する時刻ｔ２まで動画＃１のみが表示され、時刻ｔ２から動画＃２の表示に切り替わっている。すなわち、動画＃２の再生表示が省略された状態になっている。このため、動画＃１の再生が終了した直後に動画＃２の途中から再生が開始されたように見える。

図４（ｂ）は、一方の動画表示が省略される他の例を示している。ここでは、動画＃１と動画＃２のクロスフェード開始時刻ｔ１まで動画＃１が表示され、時刻ｔ１に動画＃１から動画＃２に表示が切り替わるというものである。すなわち、動画＃１の再生表示が省略された状態になっている。このとき、動画＃２の再生は、本来のタイミングである時刻ｔ１において開始される。

図４（ｃ）は、動画と静止画とのクロスフェードの別の例を示している。ここでは、動画＃１を再生し、時刻ｔ１において動画＃２の時刻ｔ２における静止画を生成し、その静止画と動画＃１とのクロスフェードを行っている。そして、時刻ｔ２において動画＃１の再生が終了した後は、動画＃２のみが再生表示されている。このとき、動画＃２の再生は時刻ｔ１において開始されたのと同様のタイミングとなり、これにより時刻ｔ２以降の再生が行われる。

図４（ｄ）は、動画と静止画とのクロスフェードのさらに別の例を示している。ここでは、動画＃１を時刻ｔ１まで再生し、時刻ｔ１においてその時点での動画＃１の静止画を生成し、その静止画と動画＃２とのクロスフェードを時刻ｔ２まで行っている。そして、時刻ｔ２以降は動画＃２のみが再生表示されている。このとき、動画＃２の再生は時刻ｔ１において開始されたのと同様のタイミングとなり、これにより時刻ｔ２以降の再生が行われる。

図５（ａ）は、クロスフェード処理よりも負荷の低減を優先させた場合の例を示している。ここでは、クロスフェード合成を行う時刻ｔ１から時刻ｔ２の期間において動画＃１と動画＃２の合成を行う際、負荷が高くなるクロスフェード合成期間中は、コマ落ちの処理を行って数フレームに１回の割合で動画＃１と動画＃２の合成を行っている。これにより、クロスフェード合成期間における負荷が低減される。

図５（ｂ）は、クロスフェード処理を優先させた場合の例を示している。ここでは、図５（ａ）に示した再生処理方法の場合と同様に、動画＃１と動画＃２のクロスフェード合成が行われるが、負荷が高くなるクロスフェード合成期間中は、１フレームの処理時間が１フレーム時間より延びることを許容しても、動画＃１と動画＃２のクロスフェード合成を１フレームずつ行うものである。その結果、クロスフェード期間中の表示はスローモーション表示となる。

次に、優先順位定義に基づいて、図３乃至図５に示した各種再生処理方法のうちどの再生処理方法が選択されるかについて説明する。

図６は、本発明の実施の形態における再生指定情報の例を示す図である。この再生指定情報には、表示対象となるコンテンツ情報の指定、および、それらコンテンツ情報の再生における優先順位定義が含まれる。この例では、「動画＃１表示」、「クロスフェード表示」、「動画＃１表示」の３つがコンテンツ情報の指定に該当する。

再生指定情報「動画＃１表示」は、動画＃１の再生処理方法を示すデータである。この例では、表示形式として動画が指定され、動画＃１を識別するためのファイル識別子（例えば、ファイル名）が指定されている。また、開始時刻として「ｔ０」が指定され、終了時刻として「ｔ１」が指定されている。

再生指定情報「クロスフェード表示」は、シーンチェンジの形式および期間を示すデータである。この例では、動画＃１から動画＃２へ画面を転換させるときのシーンチェンジ形式として「クロスフェード」が指定され、動画＃１を識別するためのファイル識別子が指定されている。また、クロスフェード表示が開始される時刻としてｔ１が指定され、クロスフェード表示が終了する時刻としてｔ２が指定されている。

再生指定情報「動画＃２表示」は、動画＃２の再生処理方法を示すデータである。この例では、表示形式として動画が指定され、動画＃２を識別するためのファイル識別子が指定されている。また、開始時刻として「ｔ１」が指定され、終了時刻として「ｔ３」が指定されている。

再生指定情報「優先順位定義」は、例１の場合、「再生トータル時間」、「動画フェード」、「静止画動画フェード」、「動画＃１」、「動画＃２」の順で優先順位が定義されている。例２の場合、「動画フェード」、「再生トータル時間」、「静止画動画フェード」、「動画＃１」、「動画＃２」の順で優先順位が定義されている。

再生指定情報の「優先順位定義」が例１に示したようなものである場合、動画＃１と動画＃２がどのように再生されるかについて説明する。まず、最も高い優先順位に「再生トータル時間」が定義されているので、動画＃１と動画＃２を繋げたトータルの再生時間を守ることが最も優先される。従って、図４（ａ）乃至（ｄ）および図５（ａ）の再生処理方法が候補として選択される。

また、「優先順位指定」の次の優先順位に「動画フェード」が定義されているので、既に候補とされた図４（ａ）乃至（ｄ）および図５（ａ）の再生処理方法のうち、動画のコマ落ちを許容しても動画＃１と動画＃２のクロスフェードを行う図５（ａ）の再生処理方法が採用される。

もし、再生装置の処理能力が低いため、コマ落ちを許容したとしても、動画＃１と動画＃２のクロスフェードの負荷が高く処理しきれないような場合、さらに次の優先順位に「静止画動画フェード」が定義されているので、静止画と動画のクロスフェードを行う図４（ｃ）および（ｄ）の再生処理方法が採用される。

また、再生装置の処理能力が低いため、静止画と動画のクロスフェードも負荷が高く処理しきれないような場合、図４（ａ）および（ｂ）の再生処理方法が候補として選択されるが、次の優先順位に「動画＃１」が設定されているため、動画＃１が優先されて、図４（ａ）の再生処理方法が採用される。

次に、再生指定情報の「優先順位定義」が例２に示したようなものである場合、動画＃１と動画＃２がどのように再生されるかについて説明する。まず、１番目の最も高い優先順位に「動画フェード」が定義されているので、動画＃１と動画＃２のクロスフェードを行う図５（ａ）および（ｂ）の再生処理方法が候補として選択される。

そして、２番目の優先順位に「再生トータル時間」が定義されているので、再生トータル時間を守ることが優先され、負荷のかかるクロスフェード期間において、コマ落ちをさせて再生する図５（ａ）の再生処理方法が採用される。

もし、再生装置の処理能力が低いため、コマ落ちを許容したとしても動画＃１と動画＃２のクロスフェードの負荷が高く困難であるような場合、次の３番目の優先順位に「静止画動画フェード」が設定されているので、図３（ｃ）、（ｄ）、図４（ｃ）および（ｄ）の再生処理方法が新たに候補として選択されるが、２番目の優先順位に「再生トータル時間」が設定されているので、図４（ｃ）および（ｄ）の再生処理方法が選択される。そして、４番目の優先順位に「動画＃１」が設定されているので、図４（ｃ）の再生処理方法が採用される。

もし、再生装置の処理能力が低いため、静止画と動画のクロスフェードも負荷が高く困難であるような場合、４番目の優先順位に「動画＃１」が設定されているので、動画＃１が優先され、図４（ａ）の再生処理方法が採用される。

以上説明したように、本発明の実施の形態によれば、優先順位定義に従って再生装置の再生環境に応じた再生処理方法が採用される。その際、優先順位定義に所望の優先順位を定義しておくことにより、ユーザの意図を極力反映した再生処理方法で再生処理が行われるようにすることができる。

次に、本発明の実施の形態において、優先的に再生処理を行う時間帯を指定することにより、ユーザの希望する再生処理が行われるようにする場合について説明する。すなわち、再生処理の負荷を低減させる場合において、負荷のかかる処理の回数自体を減らす場合について説明する。

図７は、本発明の実施の形態における他の再生方法の一例を示す図である。図７（ａ）は、再生時に複数のグラフィックを重ね合わせ（オーバーレイ）により合成する場合の本来の状態を示している。ここでは、動画＃１に対して、グラフィック＃１およびグラフィック＃２をそれぞれ時間ｔ１からｔ２、時間ｔ３からｔ４、時間ｔ５からｔ６において合成し、再生画を生成している。この場合、時間ｔ１からｔ２、時間ｔ３からｔ４、時間ｔ５からｔ６のタイミングで画像１とグラフィック＃１およびグラフィック＃２とのオーバーレイを行う指定が必要となる。

しかしながら、再生装置の能力等の再生環境によっては、図７（ａ）に示すような３回の連続した合成ができない場合がある。このような場合、図７（ｂ）に示すように、グラフィック＃１およびグラフィック＃２のいずれか１つと動画＃１とを合成することにより、再生装置の負荷を低減させるような再生処理を行うことが考えられる。もしくは、図７（ｃ）に示されるように、動画＃１とグラフィック＃１およびグラフィック＃２とを合成する回数自体を例えば１回に減らすことにより、再生装置の負荷を低減させるような再生処理を行うことが考えられる。

図７（ｂ）に示されるように、動画＃１とグラフィック＃１およびグラフィック＃２のいずれか１つとを合成する場合、動画＃１と合成されるグラフィックの優先順位を優先順位定義に指定することができる。

また、図７（ｃ）に示されるように、合成回数自体を減らす場合、どの合成を省略し、どの合成を残すのかをユーザが指定できるようにする。例えば、ユーザの意図として、時間ｔ３からｔ４の動画＃１とグラフィック＃１およびグラフィック＃２との合成を省略したくない場合、優先順位指定において、時間ｔ３からｔ４を高い優先順位に設定する。これにより、３回連続して合成する再生が困難な場合、時間ｔ３からｔ４の２回目の合成のみを残し、他の時間の合成を省略するような再生処理が行われる。

図８は、本発明の実施の形態における再生指定情報の他の例を示す図である。ここでは、動画と複数のグラフィックとを合成して再生する場合に、合成するグラフィックの数または合成する回数を減らすことにより、再生装置の付加を低減させる場合の再生指定情報の例が示されている。この例では、「動画＃１表示」、「グラフィック＃１表示」、「グラフィック＃２表示」の３つがコンテンツ情報の指定に該当する。

再生指定情報「動画＃１表示」は、動画＃１の再生処理方法を示すデータである。この例では、表示形式として動画が指定され、動画＃１を識別するためのファイル識別子が指定されている。また、開始時刻として「ｔ０」が指定され、終了時刻として「ｔ７」が指定されている。

再生指定情報「グラフィック＃１表示」は、グラフィック＃１の再生方法および再生期間を示すデータである。この例では、表示形式としてグラフィック＃１が指定され、グラフィック＃１を識別するためのファイル識別子が指定されている。また、第１回目の開始時刻としてｔ１、終了時刻としてｔ２がそれぞれ指定され、第２回目の開始時刻としてｔ３、終了時刻としてｔ４がそれぞれ指定され、さらに第３回目の開始時刻としてｔ５、終了時刻としてｔ６がそれぞれ指定されている。

再生指定情報「グラフィック＃２表示」は、グラフィック＃２の再生方法および再生期間を示すデータである。この例では、表示形式としてグラフィック＃２が指定され、グラフィック＃２を識別するためのファイル識別子が指定されている。また、第１回目の開始時刻としてｔ１、終了時刻としてｔ２がそれぞれ指定され、第２回目の開始時刻としてｔ３、終了時刻としてｔ４がそれぞれ指定され、さらに第３回目の開始時刻としてｔ５、終了時刻としてｔ６がそれぞれ指定されている。

再生指定情報「優先順位定義」は、例１の場合、「グラフィック＃１」、「グラフィック＃２」、「時間ｔ１〜ｔ２」、「時間ｔ３〜ｔ４」、「時間ｔ５〜ｔ６」の順で優先順位が定義されている。例２の場合、「時間ｔ３〜ｔ４」、「時間ｔ１〜ｔ２」、「時間ｔ５〜ｔ６」、「グラフィック＃１」、「グラフィック＃２」の順で優先順位が定義されている。

図８の例１に示した優先順位定義の場合、最も高い優先順位として「グラフィック＃１」が指定されている。従って、負荷低減のため、処理を省略して再生する場合、図７（ｂ）に示したように、グラフィック＃２の合成を省略し、動画＃１とグラフィック＃１の合成のみが行われる。

また、図８の例２に示した優先順位定義の場合、最も高い優先順位として「時間ｔ３〜ｔ４」が指定されている。従って、負荷低減のため、図７（ｃ）に示したように、時間ｔ１からｔ２、および時間ｔ５からｔ６の処理を省略して、時間ｔ３からｔ４の処理のみを行う。すなわち、時間ｔ３からｔ４において、動画＃１と、グラフィック＃１と、グラフィック＃２とが合成表示され、それ以外の時間には合成は行われない。

このように、図７および図８の例においても、優先順位定義に従って、再生装置の再生環境に応じた再生処理方法に基づく再生が行われる。その際、優先順位定義に所望の優先順位を定義しておくことにより、ユーザの意図を極力反映した再生処理方法で再生処理が行われるようにすることができる。

次に本発明の実施の形態における再生装置１００の動作について図面を参照して説明する。

図９は、本発明の実施の形態における再生装置１００の処理手順を示すフローチャートである。まず、記録情報取得部１１０は、記録媒体１０１に記録された記録情報を取得する（ステップＳ９１１）。取得された記録情報のうち再生指定情報が再生指定情報解釈部１２０に供給され、その再生指定情報における優先順位定義が再生指定情報解釈部１２０の合成手法決定部１２１に供給される。そして、合成手法決定部１２１は、この優先順位定義に従って、再生指定情報解釈部１２０の再生環境情報保持部１２９に保持された再生環境情報を参照して合成手法を決定する（ステップＳ９１２）。

ステップＳ９１２で決定された合成手法に基づいて、再生指定情報解釈部１２０の再生内容決定部１２２はコンテンツ情報の再生内容を決定する（ステップＳ９１３）。そして、再生制御部１３０は、ステップＳ９１３で決定されたコンテンツ情報の再生内容に従って、各部に対する再生制御を行う（ステップＳ９１４）。

画像処理部１４０は、コンテンツ情報に含まれる画像データについて、再生制御部１３０による再生制御に従った画像処理を行う（ステップＳ９１５）。そして、合成出力処理部１６０は、画像処理された各画像データについて、再生制御部１３０による再生制御に従った合成処理を行う（ステップＳ９１６）。このようにして合成された画像データは、画像出力部１８０に出力される（ステップＳ９１７）。

なお、ここでは、コンテンツ情報に含まれる画像データについて説明したが、コンテンツ情報に含まれる音声データについても同様の手順により処理が行われる。

このように、本発明の実施の形態によれば、記録媒体１０１に記録された優先順位定義に従って、合成手法決定部１２１が再生環境情報保持部１２９に保持された再生環境情報を参照して合成手法を決定し、その決定された合成手法に基づいて再生内容決定部１２２がコンテンツ情報の再生内容を決定することにより、ユーザの意図を極力反映した再生処理方法で再生処理が行われるようにすることができる。

なお、本発明の実施の形態では、再生装置の再生環境は、図２における再生環境情報保持部１２９に予め保持されていることを想定しているが、例えば画像処理部１４０等における処理の負荷状況によって再生環境情報保持部１２９の内容が動的に変更されるようにしても構わない。

また、本発明の実施の形態は、様々な形式の動画データを扱う再生装置に適用することができるが、例えば、クイックタイム（QuickTime）に適用する場合には、制御データである再生指定情報をムービーアトムに格納し、実データである動画データや静止画データ等をメディアデータアトムに格納することができる。

また、本発明の実施の形態は本発明を具現化するための一例を示したものであり、以下に示すように特許請求の範囲における発明特定事項とそれぞれ対応関係を有するが、これに限定されるものではなく本発明の要旨を逸脱しない範囲において種々の変形を施すことができる。

すなわち、請求項１において、再生環境情報保持手段は例えば再生環境情報保持部１２９に対応する。また、合成手法決定手段は例えば合成手法決定部１２１に対応する。また、再生内容決定手段は例えば再生内容決定部１２２に対応する。また、再生制御手段は例えば再生制御部１３０に対応する。

また、請求項１１において、画像処理手段は例えば画像処理部１４０に対応する。また、合成出力処理手段は例えば合成出力処理部１６０に対応する。また、再生環境情報保持手段は例えば再生環境情報保持部１２９に対応する。また、合成手法決定手段は例えば合成手法決定部１２１に対応する。また、再生内容決定手段は例えば再生内容決定部１２２に対応する。また、再生制御手段は例えば再生制御部１３０に対応する。

また、請求項１４または１５において、再生指定情報に含まれる優先順位定義であって優先して実行されるべき再生処理を優先順位により示す優先順位定義に従って再生装置における再生環境に合致する合成手法を決定する手順は例えばステップＳ９１２に対応する。また、決定された合成手法に基づいてコンテンツ情報の再生内容を決定する手順は例えばステップＳ９１３に対応する。また、決定された再生内容によってコンテンツ情報の再生処理を制御する手順は例えばステップＳ９１４に対応する。

なお、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。

本発明の活用例として、例えばハードディスクなどの記録媒体に動画ファイルを記録し、再生する際に本発明を適用することができる。

本発明の実施の形態における再生装置１００の一構成例を示すブロック図である。 本発明の実施の形態における再生指定情報解釈部１２０の一構成例を示すブロック図である。 本発明の実施の形態における再生態様の一例を示す図である。 本発明の実施の形態における再生態様の他の例を示す図である。 本発明の実施の形態における再生態様のさらに他の例を示す図である。 本発明の実施の形態における再生指定情報の例を示す図である。 本発明の実施の形態における他の再生態様の一例を示す図である。 本発明の実施の形態における再生指定情報の他の例を示す図である。 本発明の実施の形態における再生装置１００の処理手順を示すフローチャートである。

符号の説明

１０１ 記録媒体
１１０ 記録情報取得部
１２０ 再生指定情報解釈部
１２１ 合成手法決定部
１２２ 再生内容決定部
１２９ 再生環境情報保持部
１３０ 再生制御部
１４０ 画像処理部
１４１ 動画処理部
１４２ 静止画処理部
１４３ オーバーレイグラフィック処理部
１５０ 音声処理部
１６０ 合成出力処理部
１８０ 画像出力部
１７０ 音声出力処理部
１９０ 音声出力部

Claims (15)

1. 再生対象としてのコンテンツ情報とそのコンテンツ情報の再生方法を指定する再生指定情報とを備える記録情報を記録する記録媒体について、前記コンテンツ情報を前記再生指定情報に従って再生する再生装置であって、
   その再生装置における再生環境に関する再生環境情報を保持する再生環境情報保持手段と、
   前記再生指定情報に含まれる優先順位定義であって優先して実行されるべき再生処理を優先順位により示す優先順位定義に従って前記再生環境情報に合致する合成手法を決定する合成手法決定手段と、
   前記決定された合成手法に基づいて前記コンテンツ情報の再生内容を決定する再生内容決定手段と、
   前記決定された再生内容によって前記コンテンツ情報の再生処理を制御する再生制御手段と
   を具備することを特徴とする再生装置。
2. 前記コンテンツ情報は、動画データ、静止画データおよびグラフィックデータの少なくとも何れかの種類の画像データを備え、
   前記優先順位定義は、前記コンテンツ情報における少なくとも２つの画像データの間の遷移において優先して実行されるべき再生処理を示す
   ことを特徴とする請求項１記載の再生装置。
3. 前記コンテンツ情報は、少なくとも２つの動画データを備え、
   前記優先順位定義は、前記コンテンツ情報における２つの動画データ間の遷移におけるクロスフェードに関して優先して実行されるべき再生処理を示す
   ことを特徴とする請求項２記載の再生装置。
4. 前記優先順位定義は、前記２つの動画データの何れを優先すべきかの指定を含む
   ことを特徴とする請求項３記載の再生装置。
5. 前記優先順位定義は、前記クロスフェードと全体の再生時間との何れを優先すべきかの指定を含む
   ことを特徴とする請求項３記載の再生装置。
6. 前記優先順位定義は、前記２つの動画データの何れか一方についてはその動画データの所定のタイミングにおける静止画を利用すべき旨の指定を含む
   ことを特徴とする請求項３記載の再生装置。
7. 前記コンテンツ情報は、動画データ、静止画データおよびグラフィックデータの少なくとも何れかの種類の画像データを備え、
   前記優先順位定義は、前記コンテンツ情報における少なくとも２つの画像データ同士の重ね合わせにおいて優先して実行されるべき再生処理を示す
   ことを特徴とする請求項１記載の再生装置。
8. 前記コンテンツ情報は、少なくとも１つの動画データおよび少なくとも２つのグラフィックデータを備え、
   前記優先順位定義は、前記コンテンツ情報における動画データとグラフィックデータとの間の重ね合わせにおいて優先して実行されるべき再生処理を示す
   ことを特徴とする請求項７記載の再生装置。
9. 前記優先順位定義は、前記コンテンツ情報における動画データに重ね合わせるべきグラフィックデータの指定を含む
   ことを特徴とする請求項８記載の再生装置。
10. 前記優先順位定義は、前記重ね合わせを行うべき時間の指定を含む
    ことを特徴とする請求項８記載の再生装置。
11. 再生対象として動画データ、静止画データおよびグラフィックデータの少なくとも何れかの種類の画像データであるコンテンツ情報とそのコンテンツ情報の再生方法を指定する再生指定情報とを備える記録情報を記録する記録媒体について、前記コンテンツ情報を前記再生指定情報に従って再生する再生装置であって、
    前記コンテンツ情報における複数の画像データを処理する画像処理手段と、
    前記処理された複数の画像データを合成して出力する合成出力処理手段と、
    当該再生装置における再生環境に関する再生環境情報を保持する再生環境情報保持手段と、
    前記再生指定情報に含まれる優先順位定義であって優先して実行されるべき再生処理を優先順位により示す優先順位定義に従って前記再生環境情報に合致する合成手法を決定する合成手法決定手段と、
    前記決定された合成手法に基づいて前記コンテンツ情報の再生内容を決定する再生内容決定手段と、
    前記決定された再生内容によって前記画像処理手段における画像処理および前記合成出力処理手段における合成処理を制御する再生制御手段と
    を具備することを特徴とする再生装置。
12. 前記優先順位定義は、前記コンテンツ情報における少なくとも２つの画像データの間の遷移において優先して実行されるべき再生処理を示す
    ことを特徴とする請求項１１記載の再生装置。
13. 前記優先順位定義は、前記コンテンツ情報における少なくとも２つの画像データ同士の重ね合わせにおいて優先して実行されるべき再生処理を示す
    ことを特徴とする請求項１１記載の再生装置。
14. 再生対象としてのコンテンツ情報とそのコンテンツ情報の再生方法を指定する再生指定情報とを備える記録情報を記録する記録媒体について、前記コンテンツ情報を前記再生指定情報に従って再生する再生装置において、
    前記再生指定情報に含まれる優先順位定義であって優先して実行されるべき再生処理を優先順位により示す優先順位定義に従って前記再生装置における再生環境に合致する合成手法を決定する手順と、
    前記決定された合成手法に基づいて前記コンテンツ情報の再生内容を決定する手順と、
    前記決定された再生内容によって前記コンテンツ情報の再生処理を制御する手順と
    を具備することを特徴とする再生制御方法。
15. 再生対象としてのコンテンツ情報とそのコンテンツ情報の再生方法を指定する再生指定情報とを備える記録情報を記録する記録媒体について、前記コンテンツ情報を前記再生指定情報に従って再生する再生装置において、
    前記再生指定情報に含まれる優先順位定義であって優先して実行されるべき再生処理を優先順位により示す優先順位定義に従って前記再生装置における再生環境に合致する合成手法を決定する手順と、
    前記決定された合成手法に基づいて前記コンテンツ情報の再生内容を決定する手順と、
    前記決定された再生内容によって前記コンテンツ情報の再生処理を制御する手順と
    をコンピュータに実行させることを特徴とするプログラム。
    

Images