JP2009232319A - 動画符号化装置、動画再生装置、記録媒体、動画符号化プログラム、および動画再生プログラム - Google Patents

Abstract

【課題】 メイン画面全体を使ってメイン動画を再生しつつ、他のマルチアングルのメイン動画を視認することを目的とする。
【解決手段】 本発明の動画符号化装置１００は、メイン画面におけるサブ動画データの占有画面を分割した複数の分割画面を設定する分割画面設定部１１６と、マルチアングルで生成された複数のメイン動画データをそれぞれ分割画面の大きさに縮小するデータ縮小部１１８と、縮小された複数のメイン動画データが分割画面それぞれに１つずつ表示されるように、縮小された複数のメイン動画データを合成しインデックス動画データを生成するインデックス生成部１２２と、インデックス動画データをサブ動画データとしてエンコードするエンコード部１１２と、エンコードされたメイン動画データおよびサブ動画データの内の少なくとも一方に、インデックス再生可能情報を付加する情報付加部１２８と、を備えることを特徴とする。
【選択図】 図１

Description

本発明は、メイン動画データにサブ動画データを付加し、サブ動画データをピクチャインピクチャ画面としてメイン動画データに重畳可能な動画符号化装置、動画再生装置、記録媒体、動画符号化プログラム、および動画再生プログラムに関するものである。

従来、光ディスクなどのパッケージメディアでは、ＭＰＥＧ（Moving Picture Experts Group）に代表される圧縮技法を用いて生成されたビデオストリーム、オーディオストリームをさらに多重化して記録している。

また、光ディスク規格であるＤＶＤやＢｌｕ−ｒａｙＤｉｓｋ（登録商標）などでは、ストリーム再生時にユーザの操作に応じて複数のストリームをシームレスに切り換えることができるマルチアングル機能が採用されている。このマルチアングル機能を用いると、例えば、任意の物体や人物をアングルが相違する複数台のカメラで同時に撮影し、その撮像した動画データを、編集を施すことなくカメラ単位の別ストリームとして圧縮、多重化記録を行うことで、ユーザは、再生時において多重化されたストリームを自由に切り換え、好みの視点を選ぶことが可能となる。また、マルチアングルによる動画データは、上述の撮像された動画データに限らず、ＣＧ映像や合成映像等様々な手段によって生成される。

しかしながら、再生時においてモニタに表示可能なアングルは１つであり、ユーザは選択したアングル以外のアングルにおいてどのような画像が記録されているのかを知ることができなかった。

そこで、選択したアングル以外の状態を表示する手法として、例えば特許文献１では、マルチ映像から所定の複数映像を選択できる動画再生装置において、複数のデコーダによって複数のマルチアングル映像をそれぞれ同時にデコードし、メイン画面全体を複数に分割した分割画面にそれぞれデコードしたマルチアングル映像を表示し、処理能力の不足時には静止画を表示する技術が示されている。

また、他の手法として、例えば特許文献２では、複数のマルチアングル映像からユーザが選択した１個のアングル映像と、選択しなかった残りのアングル映像とをモニタに表示する動画再生装置において、メインアングル以外についてはI（アイ）ピクチャのみを再生することでデコードの負荷を抑え複数アングルを同時に表示する技術が示されている。
特許第３６１５０５５号 特許第３４４４８０１号

しかし、上述した特許文献１の技術では、複数アングルを同時に再生する場合にアングル数分のデコーダまたはそれに準ずる処理能力を持つ高性能デコーダが必要となり、また、当該マルチアングル映像を再生する度、毎回この高性能デコードを行わなければならない。従って、動画再生装置の消費電力およびコストの増大が問題となる。

また、上述した特許文献２の記述では、デコーダの個数や能力に関して特別なものを準備する必要はないが、メインアングル以外の画像に関しては、コマ落ち（間引き）となり、スムーズに流れない違和感のある動画しか表示することができなかった。

また、両技術では、主として観ているメイン動画と他のメイン動画とが同一の大きさの分割画面に１つずつ表示されるので、観ている画面を切り換える時にはメイン動画が一旦小さくなりメイン動画の有する高解像の恩恵を十分に受けることができなかった。

本発明は、このような課題に鑑み、アングル数分のデコーダまたはそれに準ずる処理能力を持つ高性能デコーダを要すことなく、メイン画面（メイン表示画面）全体を使ってメイン動画を再生しつつ、他のマルチアングルのメイン動画を視認することが可能な動画符号化装置、動画再生装置、記録媒体、動画符号化プログラム、および動画再生プログラムを提供することを目的としている。

上記課題を解決するために、本発明の代表的な構成は、メイン動画データと、メイン動画データとは別に生成され動画再生装置においてメイン動画データにピクチャインピクチャ画面として重畳可能なサブ動画データとを符号化する動画符号化装置であって、メイン画面におけるサブ動画データの占有画面を分割した複数の分割画面を設定する分割画面設定部と、マルチアングルで生成された複数のメイン動画データをそれぞれ分割画面の大きさに縮小するデータ縮小部と、縮小された複数のメイン動画データが分割画面それぞれに１つずつ表示されるように、縮小された複数のメイン動画データを合成しインデックス動画データを生成するインデックス生成部と、生成されたインデックス動画データをサブ動画データとしてエンコードすると共にメイン画像データをエンコードするエンコード部と、エンコードされたメイン動画データおよびサブ動画データの内の少なくとも一方に、サブ動画データがインデックス動画データであることを示すインデックス再生可能情報を付加する情報付加部と、を備えることを特徴とする。

かかる構成により、マルチアングルで生成された複数のメイン動画データと共に、そのマルチアングルを収めたインデックス動画データがサブ動画データとして生成されるので、メイン動画データとサブ動画データとを記録したパッケージメディアを再生する際に、アングル数分のデコーダまたはそれに準ずる処理能力を持つ高性能デコーダを要すことなく、メイン画面全体を使ってメイン動画を再生しつつ、他のマルチアングルのメイン動画を同時に視認させることが可能となる。このとき、動画再生装置は、サブ動画データに本発明のインデックス動画データが含まれていることをインデックス再生可能情報によって把握できるので、インデックス動画データをピクチャインピクチャ画面としてメイン動画データに重畳することが可能となる。ここでピクチャインピクチャは、メイン動画データのメイン動画の一部に、縮小された他の動画データを合成することを言い、ピクチャインピクチャ画面は、ピクチャインピクチャを通じて上記他の動画データが表示されるメイン動画の一部の画面を言う。

また、本発明では、パッケージメディアを提供する当該動画符号化装置において予めインデックス動画データを生成、付加するので、動画再生装置において再生の度に複数のメイン動画データをデコードすることなく通常のサブ動画データの再生のみでインデックス表示を実現することができる。

分割画面設定部は、それぞれのメイン動画データに、インデックス動画データ中の分割画面の相対位置および大きさが対応付けられた分割画面情報も生成し、情報付加部は、分割画面情報もエンコードされたメイン動画データおよびサブ動画データの内の少なくとも一方に付加してもよい。

インデックス動画データは、縮小した複数のメイン動画データを合成した一つの動画データとして生成される。従って、合成する前の分割状態の情報は残らない。本発明では分割画面設定部により、インデックス動画データにその分割画面を特定可能な分割画面情報を付加することで、インデックス動画データ自体に分割状態を維持させることなく、動画再生装置において分割画面情報を一度参照するだけで容易に分割状態を取得することができる。

本発明の他の代表的な構成は、コンピュータを、メイン動画データと、メイン動画データとは別に生成され動画再生装置においてメイン動画データにピクチャインピクチャ画面として重畳可能なサブ動画データとを符号化する動画符号化装置として機能させる動画符号化プログラムであって、コンピュータを、メイン画面におけるサブ動画データの占有画面を分割した複数の分割画面を設定する分割画面設定部と、マルチアングルで生成された複数のメイン動画データをそれぞれ分割画面の大きさに縮小するデータ縮小部と、縮小された複数のメイン動画データが分割画面それぞれに１つずつ表示されるように、縮小された複数のメイン動画データを合成しインデックス動画データを生成するインデックス生成部と、生成されたインデックス動画データをサブ動画データとしてエンコードすると共にメイン画像データをエンコードするエンコード部と、エンコードされたメイン動画データおよびサブ動画データの内の少なくとも一方に、サブ動画データがインデックス動画データであることを示すインデックス再生可能情報を付加する情報付加部と、して機能させることを特徴とする。

かかる動画符号化プログラムを用いて生成されたパッケージメディアは、動画再生装置において、アングル数分のデコーダまたはそれに準ずる処理能力を持つ高性能デコーダを要すことなく、メイン画面全体を使ってメイン動画を再生しつつ、他のマルチアングルの映像を同時に視認させることが可能となる。

本発明の他の代表的な構成は、メイン動画データと、メイン動画データとは別に生成されたサブ動画データとを再生する動画再生装置であって、サブ動画データがインデックス動画データであることを示すインデックス再生可能情報を検出可能な情報検出部と、インデックス再生可能情報が検出された場合、マルチアングルで生成された複数のメイン動画データのうちユーザ入力に応じて選択されたメイン動画データに、サブ動画データに含まれるインデックス動画データをピクチャインピクチャ画面として重畳する動画重畳部と、重畳された動画を再生する動画再生部と、を備え、インデックス動画データはメイン動画データがそれぞれ分割画面の大きさに縮小されて分割画面それぞれに１つずつ表示されるように合成されてなる、ことを特徴とする。

パッケージメディアに、マルチアングルで生成された複数のメイン動画データの他に、そのマルチアングルを収めたインデックス動画データがサブ動画データとして記録されている場合、当該動画再生装置は、インデックス再生可能情報によりその旨把握し、アングル数分のデコーダまたはそれに準ずる処理能力を持つ高性能デコーダを要すことなく、メイン画面全体を使ってメイン動画を再生しつつ、他のマルチアングルの映像を同時に視認させることが可能となる。

また、本発明では、パッケージメディアを提供する動画符号化装置にて予めインデックス動画データが生成されるので、当該動画再生装置においては、再生の度に複数のメイン動画データをデコードすることなく通常のサブ動画データの再生のみでインデックス表示を実現することができる。

動画再生装置は、インデックス再生可能情報が検出された場合、その旨ユーザに報知する情報報知部と、ユーザ入力に応じてインデックス動画データをメイン動画データに重畳するか否か設定する重畳設定部と、をさらに備え、動画重畳部は、重畳設定部によってインデックス動画データの重畳が設定された場合にインデックス動画データをピクチャインピクチャ画面として重畳してもよい。

本発明のインデックス動画データは、メイン動画データに予め組み込まれているものではなく、メイン動画データに再生時において重畳している。従って、インデックス動画データを表示するか否かを再生時に選択することができるので、ユーザはそのインデックス動画の有無を自由に決めることができる。

情報検出部は、それぞれのメイン動画データに、インデックス動画データ中の分割画面の相対位置および大きさが対応付けられた分割画面情報も検出し、分割画面情報を用いて、ユーザ入力に応じて選択されたメイン動画データがインデックス動画データのどの分割画面に対応しているかを強調表示する対応画面表示部をさらに備えてもよい。

インデックス動画データは、縮小した複数のメイン動画データを合成した一つの動画データとして生成され、その分割状態は、分割画面情報によって把握することができる。ここでは、情報検出部が検出した分割画面情報に基づいて、対応画面表示部がメイン動画データに対応している分割画面を強調表示するので、ユーザはインデックス動画のうちどの分割画面がメイン動画に対応しているのかを容易に把握することができる。

動画再生装置は、分割画面情報を用いて、インデックス動画データのいずれかの分割画面をユーザに選択させる分割画面選択部をさらに備え、動画重畳部は、分割画面選択部によって選択された分割画面に対応するメイン動画データに切り換えてもよい。

上記分割画面情報には分割画面とその元となるメイン動画データとが関連付けられているので、ユーザは分割画面を選択、指定するだけでその分割画面に対応したメイン動画データをモニタに表示することができる。

本発明の他の代表的な構成は、コンピュータを、メイン動画データと、メイン動画データとは別に生成されたサブ動画データとを再生する動画再生装置として機能させる動画再生プログラムであって、コンピュータを、サブ動画データがインデックス動画データであることを示すインデックス再生可能情報を検出可能な情報検出部と、インデックス再生可能情報が検出された場合、マルチアングルで生成された複数のメイン動画データのうちユーザ入力に応じて選択されたメイン動画データに、サブ動画データに含まれるインデックス動画データをピクチャインピクチャ画面として重畳する動画重畳部と、重畳された動画を再生する動画再生部と、して機能させ、インデックス動画データはメイン動画データがそれぞれ分割画面の大きさに縮小されて分割画面それぞれに１つずつ表示されるように合成されてなる、ことを特徴とする。

かかる動画再生プログラムでは、アングル数分のデコーダまたはそれに準ずる処理能力を持つ高性能デコーダを要すことなく、メイン画面全体を使ってメイン動画を再生しつつ、他のマルチアングルのメイン動画を同時に視認させることが可能となる。

本発明の記録媒体の代表的な構成は、マルチアングルで生成された複数のメイン動画データと、メイン動画データがそれぞれ分割画面の大きさに縮小されて、分割画面それぞれに１つずつ表示されるように合成されたインデックス動画データを含むサブ動画データと、をエンコードしたストリーム、および、サブ動画データがインデックス動画データであることを示すインデックス再生可能情報が記録されていることを特徴とする。

このような記録媒体を動画再生装置で再生すると、メイン画面全体を使ってメイン動画を再生しつつ、他のマルチアングルのメイン動画を同時に視認させることが可能となる。

以上説明したように本発明によれば、アングル数分のデコーダまたはそれに準ずる処理能力を持つ高性能デコーダを要すことなく、メイン画面全体を使ってメイン動画を再生しつつ、他のマルチアングルのメイン動画を視認させることが可能となる。

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。また、以下では、エンコーダやデコーダの前後で情報の形式をデータとストリームとに分けて記載しているが、情報の内容に関しては同一のものを示している。

近年におけるＢｌｕ−ｒａｙＤｉｓｋ（登録商標）やＨＤ−ＤＶＤ等のパッケージメディアでは、メイン動画データと同時に進行するデータストリームの１つとしてサブ動画データを記録することができる。かかるサブ動画データには、例えば、メイン動画データとして表示されている本編の制作秘話をリアルタイムに説明する監督の映像が記録されていたり、メイン動画データとして表示されているコンサートのメインボーカルのクローズアップ動画が記録されていたりする。動画符号化装置は、メイン動画データと共に上述したようなサブ動画データを符号化し、動画再生装置は、メイン動画データを再生しつつ必要に応じてサブ動画データを重畳し、合わせて表示する。

また、上述したパッケージメディアがマルチアングルで生成された複数のメイン動画データ（またはそのストリーム）を記録できる場合、サブ動画データ同様、同時に進行するストリームが複数本準備されており、それぞれにマルチアングルで生成されたメイン動画データを割り当てることができる。本実施形態では、このようなマルチアングルで生成された複数のメイン動画データおよびサブ動画データを用いて、メイン動画を再生しつつ、他のマルチアングルのメイン動画を視認することが可能な動画再生装置および動画再生装置を主として説明する。

（第１の実施形態：動画符号化装置１００）
図１は、動画符号化装置１００の概略的な構成を示した機能ブロック図である。動画符号化装置１００は、メイン動画データ蓄積部１１０と、エンコード部１１２と、ストリームバッファ部１１４と、分割画面設定部１１６と、データ縮小部１１８と、縮小動画バッファ部１２０と、インデックス生成部１２２と、ＭＵＸ部１２４と、ストリーム蓄積部１２６と、情報付加部１２８とを含んで構成される。

メイン動画データ蓄積部１１０は、マルチアングルで生成された複数のメイン動画データを蓄積する。エンコード部１１２は、メイン動画データ蓄積部１１０から、記録対象となるパッケージメディア等の記録媒体に記録すべき全てのメイン動画データ、ここで各アングルのメイン動画データを取得、エンコードし、エンコード結果をマルチアングルストリームとして、ストリームバッファ部１１４に蓄積する。

分割画面設定部１１６は、サブ動画データとして占有が許される画面（後述するインデックス動画データの画面）を、メイン動画データの数に応じて分割した複数の分割画面を設定する。ここで、分割画面は、縦横比を維持すべく２×２、３×３、４×４等整数の累乗で表される数でもよいし、メイン動画データの数に応じて、大きさの違う画面が混在していてもよい。

図２は、サブ動画データの分割画面例を示した説明図である。例えば図２（ａ）の例では、同一時間帯に再生可能なメイン動画データが４本あるので、４方向からのアングルによってインデックス動画が生成される。ここでは、理解を容易にするため平面の４方向からの視点で車を撮像しているが、撮像対象や撮像方向がかかる場合に限られないのは言うまでもない。

図２（ａ）では、サブ動画データとして占有が許される画面（インデックス画面）１５０を「田」の字型に均等に分割、４つの分割画面ａ、ｂ、ｃ、ｄを形成し、各々に異なるアングルのメイン動画データを割り当てたものである。ここでは、分割画面のバリエーションのみを述べ具体的な割当方法は後述する。また、図２（ｂ）は、基本的に９つの分割画面であるが、そのうち４つの分割画面で１つの大きな分割画面ａを形成し、さらに５つのメイン動画データに対応して、分割画面ｂ、ｃ、ｄ、ｅ以外の１つの分割画面ｆの表示を非表示としている。また、時間に応じてその画面の比率や分割数を変更してもよい。

分割画面設定部１１６は、上述したように分割画面を設定すると共に、分割画面に割り当てられるそれぞれのメイン動画データに、インデックス動画データ中の分割画面の相対位置および大きさが対応付けられた分割画面情報を生成する。

図３は、分割画面情報を説明するための説明図である。ここでは、サブ動画データ（インデックス動画データ）が４つの分割画面ａ、ｂ、ｃ、ｄに分割されており、それぞれの分割画面に割り当てられるメイン動画データ（またはメイン動画データの識別子）に対してインデックス動画データ中の位置、大きさが関連付けられている。

本実施形態の目的であるインデックス動画データは、後述するように縮小した複数のメイン動画データを合成した一つの動画データとして生成される。従って、合成する前の分割状態の情報は残らない。そこで本実施形態の分割画面設定部１１６により、インデックス動画データにその分割画面を特定可能な分割画面情報を付加し、インデックス動画データ自体に分割状態を維持させることなく、分割画面情報を一度参照させるだけで容易に分割状態を取得させることができる。

データ縮小部１１８は、メイン動画データ蓄積部１１０に蓄積されたマルチアングルで生成された複数のメイン動画データを取得し、分割画面設定部１１６で分割された分割画面に合成できるように、それぞれの分割画面の大きさに縮小し、縮小動画バッファ部１２０に出力する。このとき、縮小動画は、原データの真の縮小動画に限らず、そのメイン動画データを特徴的に示す、例えば人物の顔をピックアップした動画であってもよい。

インデックス生成部１２２は、データ縮小部１１８が縮小した複数のメイン動画データが、分割画面設定部１１６が設定した分割画面それぞれに１つずつ表示されるように、縮小された複数のメイン動画データを合成し、インデックス動画データを生成する。例えば、メイン動画データが４本あり、分割画面設定部１１６が図３のように４つの分割画面ａ、ｂ、ｃ、ｄを設定した場合、インデックス生成部１２２は、縮小動画バッファ部１２０から４本のメイン動画データに対応する４本の縮小されたメイン動画データを取り出し、図３のように合成する。エンコード部１１２は、上述したメイン動画データ同様、インデックス生成部１２２で生成されたインデックス動画データをサブ動画データとしてエンコードし、エンコードされたインデックスストリームがストリームバッファ部１１４に蓄積される。

ＭＵＸ部１２４は、ストリームバッファ部１１４に蓄積されたマルチアングルストリームを多重化（ＭＵＸ：Multiplex）する。このとき、マルチアングルストリームに対してインデックスストリームが作成されていれば、ＭＵＸ部１２４は、インデックスストリームをストリームバッファ部１１４より取り出し、マルチアングルストリームのピクチャインピクチャ用のサブ動画データとして多重化し、ストリーム蓄積部１２６に出力する。

情報付加部１２８は、ストリーム蓄積部１２６に蓄積されたマルチアングルストリームとインデックスストリームに、サブ動画データがインデックス動画データであることを示すインデックス再生可能情報を付加する。かかるインデックス再生可能情報は、フラグ等１ビットの情報のみで表すことができる。このとき、後述する動画再生装置は、サブ動画データに本実施形態のインデックス動画データが含まれていることをインデックス再生可能情報によって把握し、インデックス動画データをピクチャインピクチャ画面としてメイン動画データに重畳する。

上述した動画符号化装置１００の構成により、マルチアングルで生成された複数のメイン動画データと共に、そのマルチアングルを収めたインデックス動画データがサブ動画データとして生成されるので、メイン動画データとサブ動画データとを記録したパッケージメディアを再生する際に、メイン画面全体を使ってメイン動画を再生しつつ、他のマルチアングルのメイン動画を同時に（同一のフレームにて）視認させることが可能となる。

また、本実施形態では、パッケージメディアを提供する動画符号化装置１００において予めインデックス動画データを生成、付加するので、後述する動画再生装置において再生の度に複数のメイン動画データをデコードすることなく通常のサブ動画データの再生のみでインデックス表示を実現することができる。

図４は、動画符号化プログラムの処理を示したフローチャートである。かかる動画符号化プログラムは、コンピュータに後述する処理を遂行させる。

まず、メイン動画データ蓄積部１１０から、記録対象となるパッケージメディア等の記録媒体に記録すべき全てのメイン動画データ、ここでは各アングルのメイン動画データを取得、エンコードし（Ｓ２００）、エンコード結果をマルチアングルストリームとして、ストリームバッファ部１１４に蓄積する（Ｓ２０２）。

続いて、メイン画面におけるサブ動画データの占有画面を分割した複数の分割画面を設定し（Ｓ２０４）、マルチアングルで生成された複数のメイン動画データをそれぞれ設定された分割画面の大きさに縮小して一旦縮小動画バッファ部１２０に蓄積する（Ｓ２０６）。そして、分割画面それぞれに１つずつ表示されるように、縮小された複数のメイン動画データを合成しインデックス動画データを生成し（Ｓ２０８）、生成されたインデックス動画データをサブ動画データとしてエンコードして、そのエンコードされたインデックスストリームをマルチアングルストリーム同様、ストリームバッファ部１１４に蓄積する（Ｓ２１０）。

次に、ストリームバッファ部１１４に蓄積されたマルチアングルストリームおよびインデックスストリームが多重化され（Ｓ２１２）、かかる多重化ストリームに、サブ動画データがインデックス動画データであることを示すインデックス再生可能情報を付加する（Ｓ２１４）。

かかる動画符号化プログラムを用いて生成されたパッケージメディアは、動画再生装置において、アングル数分のデコーダまたはそれに準ずる処理能力を持つ高性能デコーダを要すことなく、メイン画面全体を使ってメイン動画を再生しつつ、他のマルチアングルのメイン動画を同時に視認させることが可能となる。

また、このようにして生成された、マルチアングルで生成された複数のメイン動画データと、メイン動画データがそれぞれ分割画面の大きさに縮小されて、分割画面それぞれに１つずつ表示されるように合成されたインデックス動画データを含むサブ動画データと、をエンコードしたストリーム、および、サブ動画データがインデックス動画データであることを示すインデックス再生可能情報が記録されていることを特徴とする記録媒体も提供される。

（第２の実施形態：動画再生装置３００）
図５は、動画再生装置３００の概略的な構成を示した機能ブロック図である。動画再生装置３００は、ディスクコントローラ３１０と、ストリーム分離部３１２と、システムコントローラ３１４と、オーディオデコーダ３１６と、メイン動画デコーダ３１８と、サブ動画デコーダ３２０と、オーディオプロセッサ３２２と、スピーカ３２４と、情報検出部３２６と、情報報知部３２８と、重畳設定部３３０と、操作部３３２と、動画重畳部３３４と、動画再生部３３６と、モニタ３３８と、対応画面表示部３４０と、分割画面選択部３４２とを含んで構成される。

ディスクコントローラ３１０は、光ディスク等のパッケージメディア３０２上のデータを読み出し、ストリーム分離部３１２に送信する。ストリーム分離部３１２は、ディスクコントローラ３１０が読み出したデータを解析し、オーディオストリーム、メイン動画ストリーム、サブ動画ストリーム、制御データに分離する。そして、ストリーム分離部３１２は、システムコントローラ３１４の指示に従い、解析したオーディオストリーム、メイン動画ストリーム、サブ動画ストリーム、制御データをそれぞれオーディオデコーダ３１６、メイン動画デコーダ３１８、サブ動画デコーダ３２０、システムコントローラ３１４に送信する。

オーディオデコーダ３１６は、オーディオストリームをデコードし、オーディオプロセッサ３２２に送信する。オーディオプロセッサ３２２は、デコードされたオーディオデータをＤ／Ａ変換し、スピーカ３２４を通じて外部に出力する。メイン動画デコーダ３１８およびサブ動画デコーダ３２０は、それぞれメイン動画ストリーム、サブ動画ストリームをデコードし、動画重畳部３３４に出力する。

情報検出部３２６は、ストリーム分離部３１２を通じて、サブ動画ストリームがインデックス動画ストリームであることを示すインデックス再生可能情報、および、インデックス動画データの各分割画面に割り当てられるそれぞれのメイン動画データに、インデックス動画データ中の分割画面の相対位置および大きさが対応付けられた分割画面情報を検出する。ここで、インデックス再生可能情報が検出された場合、情報報知部３２８はその旨、例えばモニタ３３８を通じてユーザに報知し、インデックス動画データを重畳させるかどうかを選択させる。重畳設定部３３０は、操作部３３２を介したユーザ入力に応じてインデックス動画データをメイン動画データに重畳するか否か設定する。ここでは、再生時に設定することが想定されているが、デフォルトとして重畳するか否か予め設定することも当然にして可能である。

動画重畳部３３４は、メイン動画デコーダ３１８およびサブ動画デコーダ３２０によりデコードされた、メイン動画データ、ここでは、マルチアングルで生成された複数のメイン動画データのいずれかと、サブ動画データとをシステムコントローラ３１４の指示に従い、重畳する。また、サイズ変換、レンダリングも行う。ここで、メイン動画データとサブ動画データをどのように表示するかは、例えばＢｌｕ−ｒａｙＤｉｓｋ（登録商標）であれば、ＢＤ−Ｊ等のプログラムによって定義されている。

このとき、情報検出部３２６によりインデックス再生可能情報が検出された場合、動画重畳部３３４は、複数のメイン動画データのうちユーザ入力に応じて選択されたメイン動画データに、サブ動画データに含まれるインデックス動画データをピクチャインピクチャ画面として重畳する。

当該動画再生装置３００が再生するパッケージメディアに、マルチアングルで生成された複数のメイン動画データの他に、そのマルチアングルを収めたインデックス動画データがサブ動画データとして記録されている場合、インデックス再生可能情報によりその旨把握し、アングル数分のデコーダまたはそれに準ずる処理能力を持つ高性能デコーダを要すことなく、メイン画面全体を使ってメイン動画を再生しつつ、他のマルチアングルのメイン動画を同時に視認させることが可能となる。

動画重畳部３３４は、重畳設定部３３０によってインデックス動画データの重畳が設定された場合のみインデックス動画データをピクチャインピクチャ画面として重畳してもよいし、自動的に重畳するとしてもよい。また、インデックス動画データは、メイン動画データに組み込まれているものではなく、メイン動画データに再生時において重畳しているので、インデックス動画データを表示するか否かを再生時に選択することが可能となり、ユーザはそのインデックス動画表示の有無を自由に決めることができる。

動画再生部３３６は、重畳された動画をＤ／Ａ変換し、映像出力としてモニタ３３８に出力する。

対応画面表示部３４０は、分割画面情報を用いて、ユーザ入力に応じて選択されたメイン動画データがインデックス動画データのどの分割画面に対応しているかを表示する。インデックス動画データは、縮小した複数のメイン動画データを合成した一つの動画データとして生成され、その分割状態は、この分割画面情報によって把握することができる。ここでは、情報検出部３２６が検出した分割画面情報に基づいて、対応画面表示部３４０がメイン動画データに対応している分割画面を示すので、ユーザはインデックス動画のうちどの分割画面がメイン動画に対応しているのかを容易に把握することができる。

分割画面選択部３４２は、分割画面情報を用いて、インデックス動画データのいずれかの分割画面をユーザに選択させる。このとき動画重畳部３３４は、分割画面選択部３４２によって選択された分割画面に対応するメイン動画データにインデックス動画データを重畳する。

上述した分割画面情報には分割画面とその元となるメイン動画データとが関連付けられているので、ユーザは分割動画を選択、指定するだけでその分割動画に対応したメイン動画データをモニタに表示することができる。

また、パッケージメディアを提供する動画符号化装置１００にて予めインデックス動画データが生成されるので、動画再生装置３００においては、再生の度に複数のメイン動画データをデコードすることなく通常のサブ動画データの再生のみでインデックス動画表示を実現することができる。

図６は、動画再生プログラムの処理を示したフローチャートである。かかる動画再生プログラムは、コンピュータに後述する処理を遂行させる。

まず、ディスクコントローラ３１０が光ディスク等のパッケージメディア３０２上のデータを読み出し（Ｓ４００）、ストリーム分離部３１２は、ディスクコントローラ３１０が読み出したデータを解析し、データをオーディオストリーム、メイン動画ストリーム、サブ動画ストリーム、制御データに分離する（Ｓ４０２）。そして、メイン動画デコーダ３１８およびサブ動画デコーダ３２０は、それぞれメイン動画ストリーム、サブ動画ストリームをデコードする（Ｓ４０４）。

ここで、当該パッケージメディア３０２上のデータが、マルチアングル機能を有しているかどうか判断され（Ｓ４０６）、マルチアングル機能を有していなければ、通常における１つのメイン動画データを連続的に再生する処理が行われる（Ｓ４０８）。

マルチアングル機能を有していれば、当該パッケージメディア３０２がインデックス再生可能情報を有しているかどうか判断され（Ｓ４１０）、インデックス再生可能情報を有していないパッケージメディア３０２は、マルチアングルによる複数のメイン動画データからユーザ入力に応じて選択されたメイン動画データを再生する（Ｓ４１２）。

インデックス再生可能情報が検出された場合、システムコントローラ３１４に保持されたインデックス動画の再生情報を参照し、インデックス動画の自動再生が許可されているかどうか判断され（Ｓ４１４）、インデックス動画の自動再生が許可されていなければ、情報報知部３２８はインデックス動画を表示することが可能なことを表示する（Ｓ４１６）。

図７は、情報報知部３２８の表示例を示す説明図である。図７を参照すると、メイン画面４４０にはマルチアングルで生成された複数のメイン動画データのうちいずれかが再生され、その画面４４０右上に文字列「マルチアングルインデックス映像が表示可能です。」が表示されている。ユーザは、かかる表示により当該パッケージメディア３０２が本実施形態のインデックス動画表示に対応していることを把握できる。ここで、ユーザへの報知方法は、図７に示した位置や表示形式に限られず、例えば、相異する表示位置で、アイコンやマークを示してもよい。

かかる表示に対してユーザがインデックス動画の再生を選択した場合（Ｓ４１８）、インデックス動画の再生工程に移行する。

インデックス動画の自動再生が許可されていれば、サブ動画データに含まれるインデックス動画データをピクチャインピクチャ画面として強制的に重畳し（Ｓ４２０）、現在表示しているアングルのメイン動画データが、そのインデックス動画のいずれに当たるかを強調表示する（Ｓ４２２）。

図８は、強調表示の例を示した説明図である。ここでは、メイン画面４４０中にインデックス画面１５０があり、そこではインデックス動画が再生されている。インデックス画面１５０を拡大した図８下側を参照して分かるように、ここでは、メイン画面４４０で再生されているメイン動画データに対応する分割画面ａが外太枠で強調表示されている。強調表示は、かかる太枠に限られず、全体を他の分割画面と識別できる程度に配色したり、画面中にアイコンを置いたり、様々な形式をとることができる。

以上の工程をタイトルの再生終了（Ｓ４２４）までチャプタ等再生切り換え単位で繰り返すことによりマルチアングルを含めたパッケージメディア３０２上データの再生を行う。

また、インデックス動画を参照することで、このようなメイン動画データの再生中に、他のアングルによるメイン動画データの再生を所望した場合、本実施形態では、その切換を、インデックス動画を視認しながら確実かつスムーズに切り換えることができる。

図９は、メイン動画データの切り換え処理の流れを示したフローチャートである。例えば、リモートコントローラ等の操作部３３２によりアングル切り換えの割込が生じた場合、既にインデックス動画が表示されているかどうか判断され（Ｓ４５０）、表示されていなければ、既存の方法、例えば、操作部３３２による選択を通じてメイン動画データが選択される（Ｓ４５２）。

インデックス動画が表示されていれば、分割画面選択部３４２は、情報報知部３２８による強調表示とは別の強調表示を行う（Ｓ４５４）。そして、分割画面情報を用いて、インデックス動画データのいずれかの分割画面をユーザに選択させる（Ｓ４５６）。動画重畳部３３４は、現在表示されているメイン動画データを選択された分割画面に対応するメイン動画データに変換する（Ｓ４５８）。

図１０は、このようなインデックス動画を参照したメイン動画データの変換を説明するための説明図である。図１０（ａ）では、インデックス動画において、現在のアングルを示す分割画面ａに強調表示（ここでは実線の外太枠）が為されている。ここで、ユーザがアングル変更の操作を行うと、図１０（ｂ）に示すように変更先を示す強調表示（ここでは、破線の外枠線）が推移する。そして、動画重畳部３３４は、メイン画面４４０で再生しているメイン動画データを、その推移した先の分割画面ｃに対応したメイン動画データに切り換え、現在のアングルを示す強調表示も変更先を示す強調表示に重ねる。

かかる動画再生プログラムでは、アングル数分のデコーダまたはそれに準ずる処理能力を持つ高性能デコーダを要すことなく、メイン画面全体を使ってメイン動画を再生しつつ、他のマルチアングルのメイン動画を同時に視認させることが可能となる。

なお、上記した装置の機能をプログラムによりコンピュータに実現させるようにしてもよい。このプログラムは、記録媒体から読みとられてコンピュータに取り込まれてもよいし、通信ネットワークを介して伝送されてコンピュータに取り込まれてもよい。

（実施例）
以下、上述したインデックス動画データの有無およびインデックス動画データにおける分割画面情報のメタデータシンタックスの例を示す。

図１１は、ピクチャインピクチャ画面を示すメタデータの一例（pip_metadata）を示した説明図である。ここで、lengthは、このlengthフィールドの直後からpip_metadataの最後までのバイト数を示し、number_of_metadata_block_entriesは、pip_metadataに記録されるピクチャインピクチャ画面の数を示し、ref_to_PlayItem_idはストリームの再生区間であるPlayItemのＩＤ（識別子）であり、ピクチャインピクチャ画面が属するPlayItem IDを示し、ref_to_secondary_video_stream_idは、ref_to_PlayItem_idが示すPlayItem内のうち、ピクチャインピクチャ画面が適用されるサブ動画データのＩＤを示し、pip_metadata_time_stampは、ピクチャインピクチャ画面が適応されるPlayItemのタイムスタンプを示し、pip_horizontal_position,pip_vertical_position,pip_scaleは、それぞれ、ピクチャインピクチャ画面の分割画面情報（表示水平位置、表示縦位置、表示サイズ）を示す。これらの情報により、pip_metadata_time_stampに示される時間に、サブ動画データが指定位置、指定サイズにピクチャインピクチャ画面として再生される。

図１２は、マルチアングルのインデックス動画データに関する情報を含むピクチャインピクチャ画面を示すメタデータの一例（pip_metadata）を示す説明図である。かかる図１２は、図１１におけるpip_metadataにマルチアングルのインデックス動画データに関する情報を付加したものであり、図１１における説明と同一名称同一定義となるフィールドについては、適宜、説明を省略する。

ここで、number_of_angleindex_metadata_entriesはピクチャインピクチャ画面に含まれるマルチアングルのインデックス動画データに関する分割画面の数を示す。かかる数値が０（ゼロ）の場合は、マルチアングルのインデックス動画データに関する情報が無いこととなり、当該ピクチャインピクチャ画面が示すサブ動画データはマルチアングルのインデックス動画データではないと判断することも可能である。ref_to_angle_idはマルチアングルのインデックス動画データに関する情報が所属するアングルのＩＤを示し、angleindex_pic_horizontal_position、angleindex_pic_vertical_positionは、それぞれサブ動画データによるインデックス画面内におけるref_to_angle_idが示すアングル映像の表示水平位置、表示縦位置を示し、angleindex_pic_width、angleindex_pic_heightは、それぞれサブ動画データによるインデックス画面内におけるref_to_angle_idが示すアングル映像の横領域、縦領域を示す。

これらの情報により、ピクチャインピクチャ画面として再生されるマルチアングルのインデックス動画データについて、分割した画面に対するアングルの割り当てを記録することができる。

なお、本実施例では、ピクチャインピクチャ画面の情報に、マルチアングルのインデックス動画データに関する情報を含ませたが、これにとらわれるものではない。例えば、図１３のように、マルチアングルのインデックス動画データに関する情報のみで構成されたメタデータ(angleindex_metadata)を利用することもできる。

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

なお、本明細書の動画符号化プログラムや動画再生プログラムにおける各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。

本発明は、メイン動画データにサブ動画データを付加し、サブ動画データをピクチャインピクチャ画面としてメイン動画データに重畳可能な動画符号化装置、動画再生装置、記録媒体、動画符号化プログラム、および動画再生プログラムに利用することができる。

動画符号化装置の概略的な構成を示した機能ブロック図である。 サブ動画データの分割画面例を示した説明図である。 分割画面情報を説明するための説明図である。 動画符号化プログラムの処理を示したフローチャートである。 動画再生装置の概略的な構成を示した機能ブロック図である。 動画再生プログラムの処理を示したフローチャートである。 情報報知部の表示例を示す説明図である。 強調表示の例を示した説明図である。 メイン動画データの切り換え処理の流れを示したフローチャートである。 インデックス動画データを参照したメイン動画データの変換を説明するための説明図である。 ピクチャインピクチャの情報を示すメタデータの一例を示した説明図である。 マルチアングルのインデックス動画データに関する情報を含むピクチャインピクチャの情報を示すメタデータの一例を示す説明図である。 マルチアングルのインデックス動画データに関する情報のみで構成されたメタデータを示す説明図である。

符号の説明

１００ …動画符号化装置、１１０ …メイン動画データ蓄積部、１１２ …エンコード部、１１４ …ストリームバッファ部、１１６ …分割画面設定部、１１８ …データ縮小部、１２０ …縮小動画バッファ部、１２２ …インデックス生成部、１２４ …ＭＵＸ部、１２６ …ストリーム蓄積部、１２８ …情報付加部、３００ …動画再生装置、３１０ …ディスクコントローラ、３１２ …ストリーム分離部、３１４ …システムコントローラ、３１６ …オーディオデコーダ、３１８ …メイン動画デコーダ、３２０ …サブ動画デコーダ、３２２ …オーディオプロセッサ、３２４ …スピーカ、３２６ …情報検出部、３２８ …情報報知部、３３０ …重畳設定部、３３２ …操作部、３３４ …動画重畳部、３３６ …動画再生部、３３８ …モニタ、３４０ …対応画面表示部、３４２ …分割画面選択部

Claims (9)

1. メイン動画データと、メイン動画データとは別に生成され動画再生装置において前記メイン動画データにピクチャインピクチャ画面として重畳可能なサブ動画データとを符号化する動画符号化装置であって、
   メイン画面における前記サブ動画データの占有画面を分割した複数の分割画面を設定する分割画面設定部と、
   マルチアングルで生成された複数のメイン動画データをそれぞれ前記分割画面の大きさに縮小するデータ縮小部と、
   前記縮小された複数のメイン動画データが前記分割画面それぞれに１つずつ表示されるように、前記縮小された複数のメイン動画データを合成しインデックス動画データを生成するインデックス生成部と、
   前記生成されたインデックス動画データを前記サブ動画データとしてエンコードすると共に前記メイン画像データをエンコードするエンコード部と、
   前記エンコードされたメイン動画データおよびサブ動画データの内の少なくとも一方に、このサブ動画データがインデックス動画データであることを示すインデックス再生可能情報を付加する情報付加部と、
   を備えることを特徴とする動画符号化装置。
2. 前記分割画面設定部は、前記それぞれのメイン動画データに、前記インデックス動画データ中の分割画面の相対位置および大きさが対応付けられた分割画面情報も生成し、
   前記情報付加部は、前記分割画面情報も前記エンコードされた前記メイン動画データおよびサブ動画データの内の少なくとも一方に付加することを特徴とする請求項１に記載の動画符号化装置。
3. コンピュータを、
   メイン動画データと、メイン動画データとは別に生成され動画再生装置において前記メイン動画データにピクチャインピクチャ画面として重畳可能なサブ動画データとを符号化する動画符号化装置として機能させる動画符号化プログラムであって、
   前記コンピュータを、
   メイン画面における前記サブ動画データの占有画面を分割した複数の分割画面を設定する分割画面設定部と、
   マルチアングルで生成された複数のメイン動画データをそれぞれ前記分割画面の大きさに縮小するデータ縮小部と、
   前記縮小された複数のメイン動画データが前記分割画面それぞれに１つずつ表示されるように、前記縮小された複数のメイン動画データを合成しインデックス動画データを生成するインデックス生成部と、
   前記生成されたインデックス動画データを前記サブ動画データとしてエンコードすると共に前記メイン画像データをエンコードするエンコード部と、
   前記エンコードされたメイン動画データおよびサブ動画データの内の少なくとも一方に、このサブ動画データがインデックス動画データであることを示すインデックス再生可能情報を付加する情報付加部と、
   して機能させることを特徴とする動画符号化プログラム。
4. メイン動画データと、メイン動画データとは別に生成されたサブ動画データとを再生する動画再生装置であって、
   前記サブ動画データがインデックス動画データであることを示すインデックス再生可能情報を検出可能な情報検出部と、
   前記インデックス再生可能情報が検出された場合、マルチアングルで生成された複数の前記メイン動画データのうちユーザ入力に応じて選択されたメイン動画データに、前記サブ動画データに含まれるインデックス動画データをピクチャインピクチャ画面として重畳する動画重畳部と、
   前記重畳された動画を再生する動画再生部と、
   を備え、
   前記インデックス動画データは前記メイン動画データがそれぞれ分割画面の大きさに縮小されて前記分割画面それぞれに１つずつ表示されるように合成されてなる、
   ことを特徴とする動画再生装置。
5. 前記インデックス再生可能情報が検出された場合、その旨ユーザに報知する情報報知部と、
   ユーザ入力に応じて前記インデックス動画データを前記メイン動画データに重畳するか否か設定する重畳設定部と、
   をさらに備え、
   前記動画重畳部は、前記重畳設定部によってインデックス動画データの重畳が設定された場合にインデックス動画データをピクチャインピクチャ画面として重畳することを特徴とする請求項４に記載の動画再生装置。
6. 前記情報検出部は、前記それぞれのメイン動画データに、前記インデックス動画データ中の分割画面の相対位置および大きさが対応付けられた分割画面情報も検出し、
   前記分割画面情報を用いて、前記ユーザ入力に応じて選択されたメイン動画データがインデックス動画データのどの分割画面に対応しているかを強調表示する対応画面表示部をさらに備えることを特徴とする請求項４または５に記載の動画再生装置。
7. 前記分割画面情報を用いて、インデックス動画データのいずれかの分割画面をユーザに選択させる分割画面選択部をさらに備え、
   前記動画重畳部は、前記分割画面選択部によって選択された分割画面に対応するメイン動画データに切り換えることを特徴とする請求項６に記載の動画再生装置。
8. コンピュータを、
   メイン動画データと、メイン動画データとは別に生成されたサブ動画データとを再生する動画再生装置として機能させる動画再生プログラムであって、
   前記コンピュータを、
   前記サブ動画データがインデックス動画データであることを示すインデックス再生可能情報を検出可能な情報検出部と、
   前記インデックス再生可能情報が検出された場合、マルチアングルで生成された複数の前記メイン動画データのうちユーザ入力に応じて選択されたメイン動画データに、前記サブ動画データに含まれるインデックス動画データをピクチャインピクチャ画面として重畳する動画重畳部と、
   前記重畳された動画を再生する動画再生部と、
   して機能させ、
   前記インデックス動画データは前記メイン動画データがそれぞれ分割画面の大きさに縮小されて前記分割画面それぞれに１つずつ表示されるように合成されてなる、
   ことを特徴とする動画再生プログラム。
9. マルチアングルで生成された複数のメイン動画データと、このメイン動画データがそれぞれ分割画面の大きさに縮小されて、前記分割画面それぞれに１つずつ表示されるように合成されたインデックス動画データを含むサブ動画データと、をエンコードしたストリーム、および、前記サブ動画データがインデックス動画データであることを示すインデックス再生可能情報が記録されていることを特徴とする記録媒体。
   

Images