JP2019110353A - マルチメディア再生装置、及び、マルチメディア生成装置 - Google Patents

Abstract

【課題】多数のメディアを含むマルチメディアデータの再生時に画面内での好適なメディア配置を、煩雑な操作を避け、かつ、履歴に強く依存することなく決定する。【解決手段】マルチメディアデータに含まれるメディアを画面内の各領域に表示する再生画面を再生するマルチメディア再生装置であって、上記マルチメディアデータに係るマルチメディア情報、及び、配置制御情報に基づいて、上記再生画面を生成するために利用される画面構成を決定する画面構成決定部を備え、上記画面構成決定部は、上記マルチメディア情報に含まれるメディア間関係情報と、上記配置制御情報に含まれる画面内領域情報とに基づいて、上記画面構成を決定する。【選択図】図１

Description

本発明は、映像・音声・テキスト等のメディアデータから構成されるマルチメディアデータを再生するマルチメディア再生装置、および、メディアデータを組み合わせてマルチメディアデータを構成するマルチメディア生成装置に関する。

撮影された映像や録音された音声に代表されるメディアデータ（メディア）を複数組み合わせて構成されるマルチメディアデータを再生するためにマルチメディア再生装置が利用されている。マルチメディア再生装置は、ユーザの再生要求に応じてマルチメディアデータを読み出し、再生することで、ディスプレイに代表される表示装置に表示可能な形式で出力する。

従来のマルチメディア再生装置では、一つの映像と、複数個の音声やテキストから構成されるマルチメディアデータを再生し、映像を主とする画面を構成して再生するものが多かった。近年では、多数の映像を含むマルチメディアデータを再生し、多数の映像を含む画面を構成して再生するマルチメディア再生装置も増加している。マルチメディアデータに含まれるメディアデータの数が増加すると、全てのメディアデータを同時に提示することにより画面を構成することが困難になる。

特許文献１には、多数の視点の映像を含むマルチメディアデータを再生する方法が記載されており、具体的には、ユーザの視聴履歴や行動履歴を利用して、画面構成を決定する方法が記載されている。例えば、総視聴回数を視聴履歴とみなし、それに基づいて画面に含めるメディアデータをマルチメディアデータから選択することが記載されている。

特開２０１５−９２７５０号

しかしながら、特許文献１に代表される従来技術では、ユーザの視聴履歴を活用することでマルチメディアデータ再生時の画面構成や表示内容を決定するが、逆に言えば、ユーザの視聴履歴が利用できない、もしくは、十分に蓄積できていない状況においては、ユーザに対して有意義な画面を構成できないという課題があった。特に、マルチメディアデータを構成するメディアデータの数が増加するにつれて、その適正な配置をユーザ履歴から決定することはより困難になるが、そのような状況下において、ユーザ履歴から如何にして画面構成を決定するかの具体的な方法は開示されていない。

本願は、多数のメディアデータから構成されるマルチメディアデータの再生において、ユーザ履歴に過度に依存することなく、メディアデータを選択および配置することでユーザにとって価値の高い画面を構成するという課題を解決するためのマルチメディア再生装置を提供することを目的とする。また、本願は、上記マルチメディア再生装置で再生可能なマルチメディアデータを多数のメディアデータから構成するマルチメディア生成装置を提供することを目的とする。

上記課題を解決するため、本発明によるマルチメディア再生装置は、マルチメディアデ
ータに含まれるメディアを画面内の各領域に表示する再生画面を再生するマルチメディア再生装置であって、上記マルチメディアデータに係るマルチメディア情報、及び、配置制御情報に基づいて、上記再生画面を生成するために利用される画面構成を決定する画面構成決定部を備え、上記画面構成決定部は、上記マルチメディア情報に含まれるメディア間関係情報と、上記配置制御情報に含まれる画面内領域情報とに基づいて、上記画面構成を決定する、ことを特徴とする。

また、上記画面構成決定部は、上記メディア間関係を参照して、画面内の領域の第１の領域である主領域に表示される主メディアに関連付けられたメディアを、画面内の領域に表示するメディアに決定することを特徴とする。

また、上記再生画面は、上記主メディアの変更に伴いメディアが変更される画面内の領域と、メディアが変更されない画面内の領域とを識別するメディア自動変更識別情報を含むことを特徴とする。

また、上記メディア自動変更識別情報は、画面内の領域毎に主メディアの変更操作の開始が検知されたタイミングで表示されることを特徴とする。

また、上記メディア間関係情報は、マルチメディアデータに含まれる少なくとも２つのメディア間の関連性の有無を、無方向リンク、有方向リンク、関連性指標、または、関連グループにより直接、もしくは、間接的に示すメディア間関係を含むことを特徴とする。

また、上記メディア間関係情報は、メディア属性間関係を含むことを特徴とする。

また、上記メディア間関係情報は、属性間関係を含む、ことを特徴とする。

また、上記マルチメディア情報は、マルチメディアデータに含まれる少なくとも一つのメディアに対して、少なくとも２つのメディアが関連付けられることを示すメディア間関係情報を含んでいることを特徴とする。

また、上記画面構成決定部は、上記メディア間関係に基づいてメディア分類を決定し、上記メディア分類に基づいて、画面内の各領域におけるメディア表示方法として、異なるメディア分類間で判別可能な表示方法を設定することを特徴とする。

また、上記画面構成決定部は、上記メディア間関係に基づいてメディア分類を決定し、加えて、ユーザ興味メディアを特定し、該ユーザ興味メディアと同一分類のメディアのメディア表示方法として、別のメディア分類のメディアと判別可能な表示方法を設定することを特徴とする。

また、マルチメディアデータに含まれるメディアは、全周映像メディア、および、部分全周映像メディアを含み、上記マルチメディア情報は、上記部分全周映像メディアに含まれる空間領域と上記全周映像メディアに含まれる空間領域との関係を示す部分空間指定情報を含むことを特徴とする。

また、上記メディア間関係情報は、上記全周映像メディアと上記部分全周映像メディアを関連付けていることを特徴とする。

また、上記画面構成決定部は、映像メディアを表示する第一の領域において、該第一の領域を空間的に分割した部分領域毎の重要度を決定し、該部分領域毎の重要度に基づいて、該第一の領域に重畳される第二の領域を設定することを特徴とする。

また、ユーザ操作を解釈して配置制御情報を生成する操作解釈部を備え、上記画面構成決定部は、画面内にメディア選択領域を設定し、上記メディア間関係情報と上記配置制御情報に基づいて、主メディア、および、該主メディアに関連付けられたメディアをそれぞれ記号化して上記メディア選択領域に配置し、上記操作解釈部は、上記メディア選択領域上でのメディア選択を解釈し、選択されたメディアを含むよう配置制御情報を生成することを特徴とする。

上記課題を解決するため、本発明によるマルチメディア生成装置は、入力メディアに基づいて、対応するマルチメディア再生装置に供給することで、メディアを画面内の各領域に対応するメディアが提示された再生画面が生成されるマルチメディアデータを生成するマルチメディア生成装置であって、上記入力メディアを分析してメディアデータ情報とメディア分析情報を決定するメディア分析部と、上記入力メディアと上記メディア分析情報に基づいて、メディア間関係情報を決定するメディア間関係決定部と、上記メディアデータ情報と上記メディア間関係情報を含むマルチメディア情報を生成するマルチメディア情報決定部を備えることを特徴とする。

本発明によるマルチメディア再生装置は、マルチメディア情報、及び、配置制御情報に基づいて画面構成を決定する。画面構成の決定は、上記マルチメディア情報に含まれるメディア間関係情報と、上記配置制御情報に含まれる画面内領域情報とに基づいて実行される。したがって、画面内の各領域には、メディア間関係情報を介して関連付けられたメディアが、マルチメディアデータの中から選択されて配置される。それにより、ユーザに画面内の領域毎にメディアを選択する操作を要求することなく再生画像を提示できる。

また、本発明によるマルチメディア生成装置は、メディア分析部とメディア間関係決定部を備えている。したがって、その際、処理対象のメディア間の関係であるメディア間関係情報を含んだ、上記マルチメディア再生装置で再生可能なマルチメディアデータを生成できる。

本発明の一実施形態であるマルチメディア再生装置における画面構成決定処理の手順概略を示すフロー図である。 本発明の実施形態に係るマルチメディア再生装置１の構成要素及び構造を図示したブロック図である。 マルチメディア再生装置に入力されるマルチメディアデータの構造および内容を説明するための図である。 所定のマルチメディア情報と配置制御指示に基づいて画面構成決定部１６にて生成される画面構成を説明する図である。 メディア属性間関係と属性間関係を利用して画面構成を決定する方法を説明するための図である。 ２以上のメディアに関連付けられたメディアが存在する場合のメディア間関係を例示した図である。 メディアに全周映像を含む場合の画面構成の決定方法を説明するためのマルチメディア情報と画面構成を例示した図である。 主メディアに関連付けられたメディアを選択するためのインタフェースを例示した図である。 は本発明の一実施形態であるマルチメディア生成装置２の構成を示すブロック図である。

以下では、入力されるマルチメディアデータを処理することで画面を構成し、再生画面として出力するマルチメディア再生装置１について説明する。また、マルチメディア再生装置１に入力されるマルチメディアデータを生成するマルチメディア生成装置２について説明する。先ず、マルチメディアデータについて説明する。

〔マルチメディアデータの構成〕
本発明の説明で想定するマルチメディアデータの構成を、図３を参照して説明する。図３(a)は、マルチメディアデータの概略のデータ構造を示す。マルチメディアデータは、
マルチメディア記述、および、少なくとも１以上のメディアレイヤのデータから構成される。マルチメディア記述には、マルチメディアデータの名前、タグ情報、分類情報、作成日時、更新日時、提示日時に代表されるマルチメディアデータを修飾する情報が含まれる。また、マルチメディア記述には、マルチメディアデータに含まれるメディアデータの数や種類を示す情報が含まれる。また、マルチメディア記述には、メディアデータ間の相互関係を示す情報（メディア間関係）が含まれる。メディア間関係を参照することで、２つのメディアデータが関連付けられているか否かを判定できる。言い換えると、２つのメディアデータに関連性が有るか否かを判定できる。なお、メディア間関係と、後述のメディア間属性間関係と属性間関係とを総称して、メディア間関係情報とも呼ぶ。

図３(b)は、メディアレイヤのデータの概略のデータ構造を示す。メディアレイヤのデ
ータには、メディア記述、および、メディアデータが含まれる。メディア記述には、同じメディアレイヤに含まれるメディアデータの名前、タグ情報、種別、分類情報、作成日時、更新日時、提示日時に代表されるメディアデータを修飾する情報が含まれる。メディアデータの種別は、メディア記述と同一のメディアレイヤに含まれるメディアデータの種別を特定する情報であり、メディア種別とも呼称する。メディア種別は、メディアデータが、映像、音声、テキスト、時系列情報、その他メディアの何れに属するかを識別する情報を少なくとも含んでいる。

以下では、マルチメディア記述およびメディア記述から読み取れる情報を総称してマルチメディア情報と呼称する。マルチメディア情報は、特定のマルチメディアデータに対して、マルチメディアデータ自身、および、マルチメディアデータに含まれるメディアデータに係る各種の情報であるとも表現できる。

メディアデータは、映像、音声、テキスト、時系列情報等を表現するデータである。以下では、メディアデータを単にメディアとも呼称する。映像のメディアデータ（映像メディア）は、例えば、映像符号化方式HEVC(High Efficiency Video Coding)を用いて符号化された映像がある。音声のメディアデータ（音声メディア）には、音声符号化方式AAC(Advanced Audio Coding)を用いて符号化された音声がある。テキストのメディアデータ（テキストメディア）には、提示時刻と文字列のペアで表現された時系列テキストデータがある。時系列情報のメディアデータ（時系列情報メディア）には、例えば、時刻毎の特定対象の位置情報、機器の測定データ、特定の映像を解析して得られる動き量、輝度変化、イベント検出結果等のデータが含まれる。

映像メディアの別の例として、前記の符号化された映像データを包含するデータを用いてもよい。例えば、HEVC形式の映像符号化データを包含したMP4形式のファイルを映像メ
ディアとして利用できる。この例から、メディアデータは、映像、音声、テキスト等を抽出可能な形式で包含するデータと表現することもできる。

マルチメディアデータの一例を図３(c)に示す。この例では、マルチメディアデータMMD1の概略を図示しており、マルチメディアデータMMD1は3個の映像（映像1〜3）、3個のテ
キスト（テキスト1〜3）、6個の時系列情報（時系列情報1a、1b、2a、2b、3a、3c）をメ
ディアとして含む。またメディアはメディア間関係により関連付けられており、例えば、映像1とテキスト1の間の線分は、両者がメディア間関係により関連付けられていることを表す。図３(c)において、他のメディア間の線も同様にメディア間が関連付けられている
ことを示す。マルチメディア情報に含まれる情報を参照することで、図３(c)に例示した
構造情報、すなわち、マルチメディアデータに含まれるメディアの種類や個数、および、メディア間の関係性を読み取ることができる。

〔実施形態１：マルチメディア再生装置〕
本実施形態に係るマルチメディア再生装置１の構成を図２に示す。マルチメディア再生装置１は、概略的には、入力されるマルチメディアデータをユーザ操作に基づいて処理し、提示時刻毎の再生画面を構成して出力する。

図２に示すように、マルチメディア再生装置１は、マルチメディア解釈部１１、メディアデータ記録部１２、マルチメディア情報記録部１３、操作解釈部１４、再生制御部１５、画面構成決定部１６、および、画面合成部１７を備える。

（マルチメディア解釈部１１）
マルチメディア解釈部１１は、入力されるマルチメディアデータから、マルチメディア記述と、マルチメディアデータに含まれる各メディアレイヤのデータに対応するメディア記述とメディアデータを分離して出力する。マルチメディア記述と各メディア記述はまとめてマルチメディア情報として出力される。

マルチメディア解釈部１１は、必要に応じて、マルチメディア記述やメディア記述を別の形式に変換してもよい。例えば、既定の形式でバイナリ化されたマルチメディア記述を復号し、復号結果をJSON形式のデータ構造に格納して後段に出力してもよい。

（メディアデータ記録部１２）
メディアデータ記録部１２は、入力されるメディアを保持し、要求に応じて出力する。要求には、マルチメディアデータに含まれる複数のメディアの中から対象のメディアを特定する情報（メディア識別情報）を用いる。例えば、メディアの識別子、または、マルチメディアデータ中での対象メディアのインデックスを利用できる。

（マルチメディア情報記録部１３）
マルチメディア情報記録部１３は、入力されるマルチメディア情報、すなわち、マルチメディアデータから分離されたマルチメディア記述、および、各メディア記述を保持し、要求に応じて出力する。要求には、例えば、所望データのフィールド名や、メディア識別情報とフィールド名の組み合わせが利用できる。

（操作解釈部１４）
操作解釈部１４は、ユーザ操作を解釈し、制御指示情報に変換して出力する。ユーザ操作には、マウス、タッチパッド、キーボードに代表されるユーザーインタフェース機器による入力を利用できる。また、ユーザは必ずしも操作を実行する人に限定されず、既定のAPI（Application Programming Interface)に基づいた制御命令を出す機器やプログラム
も利用できる。

制御指示情報には、マルチメディアデータの再生を制御するための再生制御情報や、画面内のマルチメディアデータの配置を制御する配置制御情報を含む。

再生制御情報には、マルチメディアデータの再生開始指示、再生停止指示、指定提示時
刻へのシーク指示を含む。また、再生制御情報には、マルチメディアデータに含まれる各メディア毎の再生開始指示、再生停止指示、指定提示時刻へのシーク指示を含んでもよい。

配置制御情報は、画面内領域位置情報を含む。画面内領域情報は、画面内に含まれる各領域が、画面内のどの位置に、どの大きさで配置されるかを示す情報である。加えて、画面内領域情報は、各領域が主要な領域か否かを示す主領域指定を属性情報として含んでいてもよい。また、配置制御情報は、メディア形式指定情報を含んでいてもよい。メディア形式情報は、画面内の領域に表示すべきメディアのメディア形式（例えば、映像メディアやテキストメディア）を指定する情報である。また、配置制御情報には、メディア提示方法情報を含んでいてもよい。メディア提示方法情報は、メディアを領域上にどのように表示するかの方法を指示する情報である。例えば、映像や画像に対する各種の視覚的フィルタの適用有無やパラメータ、時系列情報のビジュアライゼーションの方法指定情報がメディア提示方法情報に含まれる。

なお、図２には図示していないが、画面構成決定部１６から出力される画面構成を操作解釈部１４への追加入力として利用してもよい。その場合、画面内のどの位置にどの画面構成要素があるかを操作解釈部１４において識別でき、その情報を利用してユーザ操作を解釈できる。例えば、ユーザが画面内の再生開始ボタンをクリックしたことを解釈し、再生開始指示を出力できる。

（再生制御部１５）
再生制御部１５は、入力される再生制御情報と、内部のクロックに基づいてマルチメディアデータの提示時刻を含む提示時刻情報を決定して出力する。再生制御部１５は、再生制御情報として再生開始指示が入力された場合、内部の提示時刻変数をクロックに基づいて増加させ、該提示時刻変数を所定の周期で提示時刻情報として出力する。再生停止指示が入力された場合、内部の提示時刻変数の増加を停止する。指定提示時刻へのシーク指示が入力された場合、内部の提示時刻変数の値を指定提示時刻に設定する。

（画面構成決定部１６）
画面構成決定部１６は、入力される提示時刻情報、配置制御情報、および、マルチメディア情報に基づいて画面構成を決定して出力する。

画面構成の決定方法を図４を参照して説明する。図４は、所定のマルチメディア情報と配置制御指示に基づいて画面構成決定部１６にて生成される画面構成を例示した図である。ここでは、所定のマルチメディア情報として、図３(c)に示したマルチメディアデータMMD1に含まれるマルチメディア情報を前提としている。

図４(a)は、所定の配置制御指示（配置制御指示C1）とマルチメディア情報に基づいて
構成された画面構成の概略を示す。

配置制御指示C1は、画面レイアウト指示CL1を含む。画面レイアウト指示CL1は、画面P1を構成する領域の位置とサイズ、及び、各領域に表示するべきメディアの種別の情報を含む。具体的には、画面レイアウトCL1は、画面P1を映像を表示する領域V1、領域V2、領域V3、テキストを表示する領域T1、時系列情報を表示する領域D1、領域D2について、それぞ
れの画面P1内での位置とサイズ（領域の縦および横の長さ）を含む。

配置制御指示C1は、加えて、主映像領域指定CMV1を含む。種映像領域指定CMV1は、画面P1内の領域のうち、何れの領域が主要な映像表示領域かを指定する情報である。図４の例では、領域V1が主映像領域に指定されている。なお、主映像領域指示CMV1は、必ずしも明
示的に配置制御指示C1に含まれていなくてもよい。その場合、画面内で最大の映像表示領域を主映像領域と見なしてもよい。また最大サイズの映像領域が画面内に複数存在する場合、画面左上に近い最大サイズの映像領域を主映像領域とみなしてもよい。

配置制御指示C1は、加えて、主映像指定CV1を含む。主映像指定CV1は、主映像領域（領域V1）に表示する映像をマルチメディアデータ内のメディアから選択する情報である。図４(a)の例では、主映像指定CV1に「映像1」を指定している。以下では、主映像指定CV1で指定された映像データを単に主映像と呼ぶ。

図４(a)に示す画面構成は、画面P1を配置制御指示C1の示す領域に分割し、各領域に対
してメディアを割り振っている。具体的には、領域V1に「映像1」、領域T1に「テキスト1」、領域D1に「時系列情報1a」、領域D2に「時系列情報1b」、領域V2に「映像2」、領域V3に「映像3」のメディアをそれぞれ割り振っている。

画面構成決定部１６は、図４(a)に示す画面構成を決定するために、各領域に割り当て
るべきメディアを、マルチメディアデータに含まれるメディアの中から以下の基準で選択する。

・主映像領域（領域V1）：主映像指定CV1で指定された主映像（映像１）
・テキスト領域（領域T1）：主映像に関連付けられたテキストデータ（テキスト１）
・時系列情報領域（領域D1、領域D2）：主映像に関連付けられた時系列情報データ（時系列情報1a、時系列情報1b）
・副映像領域（領域V2、領域V3）：主映像とは異なる映像データ（映像１、映像３）
上記基準で選択することで、画面構成決定部１６は、ユーザ指定の主映像を主映像領域に配置し、主映像に関連するメディアを選択して対応する領域に配置できる。したがって、マルチメディアデータが多数のメディアを含む場合であっても、主映像として選択された映像と関連性の高いメディアを用いて画面を構成できる。また、その際、主映像以外のメディアをユーザが明示的に指定する手間を削減できる。

図４(b)は、主映像指定CV1が「映像2」の場合に、前述の基準に基づいて画面構成決定
部１６にて決定される画面構成を示す。ここで、画面レイアウトCL1は、図４(a)の場合と同一である。具体的には、領域V1に「映像2」、領域T1に「テキスト2」、領域D1に「時系列情報2a」、領域D2に「時系列情報2b」、領域V2に「映像3」、領域V3に「映像1」のメディアをそれぞれ割り振っている。

なお、領域V2に「映像2」、領域V3に「映像3」を割り振ることも可能だが、領域V2が領域V3よりも優先度の高い領域である点と、マルチメディア情報で映像2と映像3が関連付けられている点を考慮して、主映像2である映像2と関連性の高い映像3を、優先度の高い領
域である領域V2に提示することが好ましい。ここで、領域の優先度は、領域のサイズが大きいほど高く、領域が画面内の情報にあるほど高く、領域が画面内の左方にあるほど高くなる指標を利用できる。

画面構成決定部１６における画面構成決定処理のフローについて、図１を参照して説明する。

［S101］入力される配置制御情報に基づいて主映像領域を決定し、主映像指定を参照して、主映像領域に配置する映像メディアを決定して主映像とする。次にS102を実行する。

［S102］配置制御指示に含まれる画面レイアウトを参照して、画面に含まれる領域の中から未処理の領域を選択して対象領域に設定する。次にS103を実行する。

［S103］画面レイアウトを参照して、対象領域に指定されているメディア種別を対象メディア種別に設定する。次にS104を実行する。

［S104］マルチメディア情報を参照して、以下の全ての条件を満たすメディアを、マルチメディアデータに含まれるメディアから選択し、候補メディアとする。

条件１：対象メディア種別と同一のメディア種別のメディアである
条件２：マルチメディア情報に含まれるメディア間関係が、S101で決定した主映像とメディアの間に関係性が有ることを示している
条件３：他の領域に未配置のメディアである
次にS105を実行する。

［S105］S104で導出された候補メディアの中から一つの候補メディアを選択して対象領域に配置する。なお、候補メディアが存在しない場合は、対象領域を未表示領域に設定する。次にS106を実行する。

［S106］画面内に未処理の領域（メディアが配置されておらず、かつ、未表示領域にも設定されていない領域）が存在するかを判定する。存在する場合S102を実行する。存在しない場合、画面構成決定処理を終了する。

画面構成決定部１６は、上記の画面構成決定処理フローに従って画面構成を決定することで、主映像領域に指定された映像とメディア間関係により関連付けられたメディアを優先して画面内の他の領域に配置できる。したがって、ユーザが各領域におけるメディア選択操作を実行せずにマルチメディアデータに含まれるメディアの中から関連性の高いメディアを集めて画面を構成できる。例えば、図４(a)の構成で再生画面が提示されている状
況において、ユーザが主映像領域の映像1を映像2に変更する操作を実行した場合、再生画面は図４(b)の構成に切り替わる。 なお、主映像を変更した際に、他の全ての領域のメ
ディアを切り替えるのではなく、一部領域のメディアのみを切り替えるような配置制御指示を利用することもできる。その場合、再生画面において、主映像の切り替えに応じてメディアが変更される領域と、メディアが変更されない領域が識別可能な情報（メディア自動変更識別情報）が提示されていることが好ましい。例えば、メディアが変更されない領域の右上に鍵の記号を表示することで識別が可能となる。それに限らず、変更される領域全体や枠の輝度レベルや色を変化させることでメディア自動変更識別情報を表現してもよい。

上記メディア自動変更識別情報は常に表示するのではなく、主映像の変更操作を検知したタイミングにのみ表示することが好ましい。例えば、主映像領域に表示する映像を選択するためのリストを開いた時にメディア自動変更識別情報を表示し、それ以外の場合にはメディア自動変更識別情報を非表示とする。また、個々の領域毎にメディア自動変更識別情報を表示するのではなく、画面全体で所定の領域（例えば主映像領域）の変更に応じて、別の領域が変更されるか否かを示す識別情報を表示してもよい。ユーザは各領域または画面全体の識別情報を見て、主映像切り替え時の画面構成の変化の有無を予め知ることができるため、意図しない画面構成で再生画面が表示されてユーザがストレスを感じることを防止できる。

（画面合成部１７）
画面合成部１７は、入力される画面構成に基づいて、画面内の領域毎に対応するメディアを読み出し、提示時刻に応じて再生して領域に配置することで再生画面を生成して出力する。例えば、領域に映像メディアが関連付けられており、映像データがHEVC形式で符号
化された映像符号化データである場合、画面合成部１７は、メディアとして映像符号化データを読み出し、映像符号化データをHEVC形式に対応した映像復号装置で復号し、指定提示時刻に対応する復号された映像フレームを必要に応じて拡大または縮小した上で領域に配置する。

（マルチメディア再生装置１の動作）
マルチメディア再生装置１がユーザ操作に基づいて入力マルチメディアデータを処理して再生画面を出力する動作手順を説明する。

[S11]マルチメディア解釈部１１は、入力されるマルチメディアデータからマルチメデ
ィア情報とメディアデータを分離し、マルチメディア情報をメディアデータ記録部１２に、メディアデータをメディアデータ記録部１２にそれぞれ供給する。

[S12]操作解釈部１４はユーザ操作を解釈して再生制御情報を生成して再生制御部１５
に供給する。

[S13]再生制御部１５は、S12で入力された生成制御情報に基づいて提示時刻情報を決定して画面構成決定部１６に供給する。

[S14]操作解釈部１４はユーザ操作を解釈して配置制御情報を生成して画面構成決定部
１６に供給する。

[S15]画面構成決定部１６は、S13で入力された提示時刻情報の示す提示時刻における画面構成を、S14で入力された配置制御情報と、マルチメディア記録部１３から読み出され
るマルチメディア情報に含まれるメディア間関係情報とに基づいて決定し、画面合成部17に供給する。

[S16]画面合成部１７は、S15で入力された画面構成に基づいて、画面内の各領域に表示するメディアをメディアデータ記録部１２から読み出して処理することで領域毎に部分画面を作成する。得られた画面を再生画面として出力して処理を終了する。

（マルチメディア再生装置１の効果）
以上説明したように、マルチメディア再生装置１は、入力されたマルチメディアデータを処理して提示時刻に対応する再生画面を生成して出力するマルチメディア再生装置であって、マルチメディアデータに含まれるマルチメディア情報と配置制御情報に基づいて画面構成を決定する画面構成決定部を備えており、上記画面構成決定部は、上記マルチメディア情報に含まれるメディア間関係に基づいて、主映像として指定した映像データと関連性の高いメディアをマルチメディアデータに含まれるメディアの中から選択して画面を構成できる。したがって、マルチメディアデータが多数のメディアを含む場合であっても、ユーザのメディア選択の手間を増加させることなく、関連性の高いメディア群を選択して画面を構成して再生できる。

（変形例１：映像以外の主メディア）
マルチメディア再生装置１の画面構成決定部１６は、概略的には、主映像とメディア間関係に基づいて各領域に配置するメディアを選択したが、配置制御情報に含まれる別の情報を主映像の代わりに利用してもよい。

例えば、主映像の代わりに主テキストを利用できる。その場合、配置制御情報に、画面内での主要なテキスト領域（主テキスト領域）と、主テキスト領域に提示するテキストデータを指定する主テキスト指定を含める。画面構成決定部１６は、主テキスト領域に表示
するテキストデータを主テキストとして導出し、主テキストとの関連性が設定されたメディアを選択して画面内の各領域に配置する。

主映像の例と主テキストの例を一般化すると、次のように表現できる。配置制御情報に、画面内での主要なメディア領域（主メディア領域）と、主メディア領域に提示するメディアを指定する主メディア指定を含める。画面構成決定部１６は、主メディア領域に表示するメディアを主メディアとして導出し、メディア間関係を参照して主メディアとの関連性が設定されたメディアを選択して画面内の各領域に配置する。

これにより、画面内の主要な映像を切り替える場合だけでなく、画面内の主要なテキストや時系列データを切り替える場合にも、切り替えた内容に応じて関連性の高いメディアを利用して画面を構成できる。

また、複数のメディアの組み合わせを主メディアの代わりに利用してもよい。その場合、例えば、主映像と主テキストを配置制御情報に基づき設定し、主映像と主テキストの双方に関連付けられたメディアを画面内の領域に配置する。

（変形例２：メディア間関連性のバリエーション）
マルチメディア情報に含まれるメディア間関係は、複数のメディア間の関連性を示す指標であり、次のような形式の情報をメディア間関係として利用できる。

・無方向リンク：指定された２メディア間に関連性があるか否かを示す。

・有方向リンク：指定されたメディア１に対して指定されたメディア２が関連性があるか否かを示す。逆にメディア２に対してメディア１が関連性があるか否かの情報は含まない。

・関連性指標：指定された２メディア間の関係性の高さを示す指標。例えば、大きい値ほど関連性の高いと解釈される指標を設定し、関連性の値が所定の値より高い場合に、２メディア間で関連性が有ると判定する。

・関連グループ：グループに属するメディア間相互に関係性があることを示す。例えば、関連グループにメディアA、メディアB、メディアCの3メディアが含まれる場合、メディアAとメディアB、メディアBとメディアC、メディアCとメディアAはそれぞれ関係性があると判定される。

（変形例３：属性間関係の利用）
マルチメディア再生装置１において、メディア間関係を利用して画面構成を決定する構成を説明した。メディアとは別に属性を設定し、メディアと属性の間の関係（メディア属性間関係）、及び、属性と属性の間の関係（属性間関係）を設定し、それらの関係を利用して画面構成を決定することもできる。この場合、メディア間関係情報は、メディア属性間関係と、属性間関係を含んでいる。以下、図５を参照して説明する。

図５(a)は、マルチメディア情報に含まれるメディア、属性、及び、メディア属性間関
係を例示した図である。マルチメディアデータには、6個のメディア（映像1〜3、テキス
ト1〜3）と、3個の属性（俯瞰、対象A、対象B）が含まれている。メディア属性間関係と
して、映像1と俯瞰、テキスト1と俯瞰、映像2と対象A、テキスト2と対象A、映像3と対象B、テキスト3と対象Bの間にそれぞれ関連性有と設定されている。

図５(b)は、マルチメディア情報に含まれる属性間関係を例示した図である。俯瞰に対
して対象Aが関連性の高い属性として設定されている。同様に、対象Aに対して俯瞰が、対象Bに対して俯瞰が関連性の高い属性として設定されている。

図５(c)は、配置制御情報に含まれる画面レイアウトを例示した図である。画面レイア
ウトでは、画面内に領域V1、領域T1、領域V2が設定されている。領域V1には対象Aの映像
、領域V2には映像、領域T1にはテキストが表示対象メディア種別として設定されている。加えて、領域V1は主映像領域に設定されている。

図５(d)は、画面構成決定部１６で生成される画面構成を例示した図である。領域V1に
映像2、領域T1にテキスト2、領域V2に映像1がそれぞれ割り当てられている。ここで、画
面構成決定部１６は、以下の手順で画面構成を決定している。

［S201］主映像領域の映像メディアを決定する。画面レイアウトを参照して、主映像領域（領域V1）の表示対象メディア種別（上記例では「対象Aの映像」）を読み出す。に設
定されている。次にS202を実行する。

［S202］S201で読み出した表示対象メディア種別に対応するメディアをマルチメディア情報を参照して決定する。まず、表示対象メディア種別で指定された属性（上記例では対象A）と一致する属性をマルチメディア情報から選択する。続いて、選択された属性にメ
ディア属性間関係によって関連付けられたメディアであって、表示対象メディア種別で指定されたメディア種別（上記例では映像）と同一のメディア種別のメディア（上記例では映像2）を選択する。そして、選択したメディアを主映像領域のメディアに設定する。次
にS203を実行する。

［S203］メディアが未割当の領域を順次対象領域に設定し、対象領域に対して割り当てるメディアを決定する。画面レイアウトを参照して対象領域の表示対象メディア種別を読み出す。表示対象メディア種別に属性とメディア種別の両方が記載されている場合、S202と同一の手順でメディアを決定する。表示対象メディア種別にメディア種別のみが記載されている場合、指定されたメディア種別であって主映像領域に設定されたメディアと関連性の高いメディアを設定する。ここで、メディアＡに対するメディアＢの関連性は、以下の順に高いと判定される。
(条件1) メディアＡと同一の属性に関連付けられたメディアであって、メディアＡとは異なるメディア
(条件2) メディアＡと関連付けられた属性Ａに対し、属性間関係により関連付けられた属性Ｂに関連付けられたメディア
条件１を満たす場合の関連性が最も高く、次いで、条件２を満たす場合の関連性が高い。両条件を満たさない場合に関連性が最も低いと判定される。

上記例では、領域T1のメディアとして、条件１に基づいて、映像2の属性である対象Aに関連付けられたテキストメディアであるテキスト2が選択される。また、領域V2のメディ
アとして、条件１を満たすメディアは存在しないため、条件２に基づいて、映像2の属性
である対象Aに属性間関係により関連付けられた属性である俯瞰の属性に関連付けられた
メディアである映像1が選択される。

以上説明した通り、マルチメディア情報内のメディア間関係情報にメディア属性間関係と属性間関係を含み、それらの関係を利用して画面構成を決定するよう画面構成決定部１６を構成できる。このような構成で利用されるマルチメディア情報は、特にメディアの数が増加した場合に、全てのメディア間関係を含めるのに較べてより少ないデータ量となる。また、類似メディアソースのセット（例えばカメラのセット）から複数回マルチメディアデータを生成するような場合において、毎回メディア間の関連性を設定する必要がなく
なるため、マルチメディアデータ生成処理を簡略化できる。

なお、必ずしも、メディア属性間関係と属性間関係を両方を含むのではなく、メディア属性間関係のみを利用するよう画面構成決定部１６を構成してもよい。

（変形例４：２以上のメディアとの関連付け）
一つのメディアに関連付けられるメディアが２以上になるようメディア間関係を設定し、そのようなメディア間関係を参照して画面構成を決定するよう画面構成決定部１６を構成することもできる。

図６(a)に2以上のメディアに関連付けられたメディアが存在する場合のメディア間関係を例示する。メディア間関係の記述により、テキスト12は、映像1及び映像2と関連付けられている。また、映像1はテキスト1及びテキスト12と関連付けられている。また、映像2
はテキスト2及びテキスト12と関連付けられている。

画面レイアウトにおいて、主映像領域と少なくとも一つのテキスト領域が設定されている場合、該テキスト領域に対して主映像メディアと関連付けられた全てのテキストメディアを表示するよう画面構成決定部１６を構成してもよい。図６(a)の例で説明すると、主
映像メディアが映像1である場合、テキスト1とテキスト12の両方をテキスト領域に表示するよう画面構成を決定する。

映像メディアや音声メディアと異なり、テキストメディアは疎なデータであり、全ての提示時刻に対してテキストが存在するとは限らない。そのため、上記構成により、限られた表示領域を時間的に有効に活用して、主映像メディアと関連性の高い情報を提供できる。なお、主映像メディアとテキストメディアを例にあげて説明したが、それに限らず、主メディアと時間的に疎なメディアの組み合わせに対しても同様の構成が適用できる。

また、上記構成において、2種類のテキストメディアを時間的に切り替えて表示するこ
とになるが、特定の提示時刻で表示されているテキストメディアに対して関連付けられている映像メディアが表示されるよう画面構成を決定してもよい。図６(a)の例で説明する
と、テキスト1が表示対象の場合、図６(b)に示すとおり、主映像メディアである映像1と
テキスト1を含む画面構成を決定する。一方、テキスト12が表示対象の場合、図６(c)に示すように、テキスト12に関連付けられた映像メディアである映像2を表示するよう画面構
成を決定する。このような画面構成の決定方法により、特定の映像を関連付けられたテキストが表示されるときのみ表示することができ、ユーザのテキストの理解を補助できる。また、逆に、テキストと無関係の映像（テキスト1に対する映像2）を表示しないことで、ユーザの画面理解を手助けできる。

上記の図６(c)で説明した内容を一般化して、次のように表現できる。画面構成決定部
１６は、主メディアと関連付けられたメディアであって、提示時刻もしくはその近傍時刻にデータを有するメディアを副メディア１として選択して表示する。加えて、画面構成決定部は、上記副メディア１と関連付けられたメディアが存在するか否かを判定し、存在する場合にはそのメディアを副メディア２として選択して画面内の表示領域を選択、もしくは、生成して表示する。

なお、上記の例では、特定の表示対象メディアに関連付けられたメディアが非表示である場合に表示するよう画面構成を変更することを想定しているが、それに限らず、特定の表示対象メディアに関連付けられたメディアが既に表示済であってもより目立つような表示に変更するようにしてもよい。例えば、メディアの表示領域のサイズを大きくしたり、メディアの表示領域の色や枠を変更することでメディアを目立つように表示できる。

（変形例５：メディアの分類に基づく表示方法決定）
画面構成決定部１６は、画面レイアウトに記述された各領域に表示するメディアを選択するのに加え、各領域へのメディア表示方法をメディア間関係情報に基づいて決定してもよい。ここで、メディア間関係情報とは、メディア間の関係を直接または間接的に示す情報であり、メディア間関係、メディア属性間関係、及び、属性間関係はメディア間関係情報の一表現である。

具体的には、特定のメディア種別に属するメディアに対し、それぞれ異なる色を対応付け、該メディア種別以外のメディア種別のメディアに対して対応付ける色として、該メディアが関連付けられた該メディア種別のメディアに対応付けられた色、または、その類似色を設定する。各メディアは対応付けられた色に基づいた表示方法で表示される。例えば、図３(c)のマルチメディアデータにおいて、映像1、映像2、映像3にそれぞれ異なる色を対応付ける。映像1と関連付けられたテキスト1、時系列情報1a、時系列情報1bに対応付ける色として、映像1に対応付けられた色、または、その類似色を設定する。

特定の色（指定色）に基づいた表示方法には、例えば、次のような表示方法がある。
・メディアの表示領域の背景を指定色に設定する
・メディアの表示領域の枠、または、辺の一部を指定色に設定する
・メディアの表示領域内にサブ領域を設け、サブ領域の背景またはサブ領域内の文字または記号の色を指定色に設定する。
・テキストメディアの文字色を指定色に設定する。
・時系列情報メディアをグラフ表示する場合のグラフ色（折れ線グラフの色、棒グラフの色）に指定色を設定する。

なお、色に限らず、メディア間関係情報に基づき分類されたメディアを、分類間で判別可能な表示方法を用いてもよい。例えば、分類毎に異なるフォントを利用する、分類毎に異なるフォント修飾（下線マーカー、太字、斜体等）を利用する、分類毎に異なるパターンのハッチをかける、等の表示方法が適用できる。

上記の画面構成の決定方法により、メディア間関係情報により表現されたメディア分類間で判別可能なようにメディアを表示することで、ユーザは画面内で特定の分類に係る情報を知りたい場合に注目すべき領域が画面内で容易に判別できるようになる。

画面構成決定部１６の別の構成では、表示されているメディアの中でユーザが興味を示すメディア（ユーザ興味メディア）を特定し、該メディアと関連付けられたメディアに対し、画面上の他のメディアと判別できる表示方法を設定した画面構成を決定する。ここで、ユーザが興味を示すメディアには、例えば、ユーザがクリックしたメディア、ユーザがマウスカーソルを領域上に移動させたメディア、ユーザが直近の時刻に操作したメディアが含まれる。他のメディアと判別できる表示方法には、メディア分類間で判別可能な表示方法として説明した各種の表示方法が利用できる。例えば、ユーザが映像メディアをシーク操作した場合、該映像メディアに関連付けられたメディアの表示領域の外枠を明滅させることで、シーク操作した映像メディアと画面上のどのメディアが関連付けられているかをユーザが直感的に把握できる。

（変形例６：全周映像の利用）
マルチメディアデータに含まれるメディアは必ずしも単一のファイルに関連付けられている必要はない。例えば、ファイルに格納されたデータの一部であってもよいし、セグメント化された複数のデータの集合であってもよい。

データの一部を利用する例としては、全周映像の一部を映像メディアとして利用する例がある。全周映像は、一般に全方位映像や３６０度映像とも呼ばれ、超広角レンズを備えたカメラを用いて空間を撮影することで生成される映像であって、全周映像の一部とは、撮影された空間の部分空間に相当する映像（部分全周映像）である。部分映像は、部分空間指定情報をパラメータとして、全周映像の一部の領域を切り出して変形することで生成できる。メディア記述には、全周映像データの場所（ファイルの位置やURL）と部分空間
指定情報をセットにして記述することで全周映像の部分映像に相当する映像メディアを記述できる。

メディアに全周映像を含む場合の画面構成の決定方法について、図７を参照して説明する。図７(a)は、全周映像の映像メディア（全周映像メディア）を含むマルチメディアデ
ータのマルチメディア情報の概略を例示した図である。この例では、メディアとして全周映像、全周映像R1、全周映像R2、全周映像R3、R1カメラ映像、R2カメラ映像、R3カメラ映像を含んでいる。全周映像R1は空間R1に相当する全周映像の部分映像であり、メディア間関係により全周映像と全周映像R1が、メディア属性関係により全周映像R1と属性「空間R1」が関連付けられている。全周映像R2も同様に全周映像と属性「空間R2」に関連付けられている。全周映像R3も同様に全周映像と属性「空間R3」に関連付けられている。また、属性「空間R1」にはR1カメラ映像、属性「空間R2」にはR2カメラ映像、属性「空間R3」にはR3機器データがそれぞれ関連付けられている。全周映像R1や全周映像R2のように、元の全周映像の部分空間に対応する全周映像は部分全周映像と呼び、部分全周映像に対応する映像メディアを部分全周映像メディアと呼ぶ。

図７(a)のマルチメディアデータの構成は、次のようにも表現できる。マルチメディア
データは全周映像メディア、該全周映像から所定の空間領域に基づいて決定される部分全周映像メディアを含み、上記全周映像メディアと上記部分全周映像メディアはメディア間関係情報により関連付けられており、上記部分全周映像と上記所定の空間領域に対応する属性が関連付けられている。

図７(b)は、全周映像を含むマルチメディアデータを再生するための画面レイアウトを
例示した図である。画面内に領域V1（主映像領域）、領域V2、領域M1が設定されている。メディア種別として、領域V1には空間R1の部分全周映像が、領域V2には全周映像が、領域M1には任意メディアが設定されている。

図７(c)は、図７(a)で説明したマルチメディアデータを図７(b)の画面レイアウトに従
い再生する場合の画面構成を例示した図である。画面内の領域V1に全周映像R1、領域V2に全周映像、領域M1にR1カメラ映像が表示対象メディアとして設定されている。また、領域V2内の部分領域である領域V2sを示す枠が提示されている。

画面構成部１６における画面構成の決定手順は次の通りである。

［S301］画面レイアウトと、マルチメディア情報とを参照して、主映像領域に表示するメディアを決定する。上記例では、主映像領域の領域V1に対して指定メディア種別である空間R1の部分全周映像である全周映像R1を設定する。

［S302］主映像領域以外の領域について、画面レイアウトと、メディア間関係情報を含むマルチメディア情報とを参照して、各領域の表示対象メディアを決定する。具体的には、変形例３に記載した画面構成決定手順のS202と同じ処理を適用する。上記例では、領域V2に対して全周映像R1を設定する。領域M1に対して、主映像である全周映像R1に関連付けられた属性「空間R1」に関連付けられたR1カメラ映像を選択する。

［S303］画面内に部分全周映像を表示する領域と、全周映像を表示する領域が含まれている場合、全周映像の表示領域内に、上記部分全周映像に相当する領域を設定し、該領域に識別可能な表示方法を設定する。上記例では、主映像である全周映像R1に関連付けられた属性「空間R1」に対応する領域を領域V2sとして領域V2内に設定する。

上記説明した構成によれば、全周映像の一部領域に注目してマルチメディアデータを観察する場合に、注目する一部領域に関連するメディアを用いて画面を構成できる。その際、ユーザが複数のメディアを選択する動作が不要である。

（変形例７：重畳表示）
複数の領域が重畳して表示される画面構成を決定するよう画面構成決定部１６を構成してもよい。例えば、主映像領域（第一の領域）に重畳された領域（第二の領域）に対してテキストメディアを表示するような画面構成を決定してもよい。また、映像領域の上に映像領域を重畳するよう画面構成を決定してもよい。

なお、映像領域の上に別の領域を重畳する場合、映像領域の中で相対的に重要度の低い部分領域上に領域を重畳することが好ましい。映像領域中の部分領域の重要度の高低は、例えば、映像領域を格子状の部分領域に分割した画像をユーザに提示し、ユーザが重要度の高低を指定することで決定できる。もしくは、各部分領域に画像処理を適用して、画素値の空間的変化度合（例えば画素値の分散の大きさ）や時間的変化度合（例えば推定動き量の大きさ）に基づいて重要度を決定することもできる。

（変形例８：複数メディア選択UI）
上記説明では、基本的には、画面内に表示されるメディアの一つ（例えば主映像メディア）に関連付けられたメディアをマルチメディアデータに含まれるメディアから選択して画面構成を決定する例を中心に記載した。これにより、例えば、ユーザが主映像メディアを切り替えた場合に、その操作に応じて、切り替え後の主映像メディアと関連付けられたメディアを優先した画面構成を決定できる。

マルチメディアデータに含まれるメディアの種類や数によっては、主メディアに関連付けられたメディアの数が多くなり、関連付けられたメディアの中でどのメディアを選択するかを簡単な操作で指定できるインタフェースをユーザに提示できることが好ましい。そのようなインタフェースとして、主メディアに関連付けられたメディアを記号化して画面上の所定領域（メディア選択領域）に提示し、マウスのドラッグ操作等により範囲選択された領域内の記号に対応するメディアを優先して表示するよう画面構成決定部１６を構成してもよい。この処理は、メディア選択領域上の操作は操作解釈部１４により解釈され、選択された領域内の記号に対応するメディアを画面内に含むことを示す配置制御情報を画面構成決定部１６に供給することで実現される。

図８を参照して、上記インタフェース及び、インタフェースの選択結果に応じた画面構成の具体例を説明する。図８(a)は、図３(c)で示したマルチメディアデータの再生時であって、主メディアとして映像1が選択されている場合にユーザに提示されるメディア選択
インタフェースを例示している。選択インタフェースでは、主メディア（映像1）に対応
する記号と、メディア間関係により主メディアに関連付けられたメディア（テキスト1、
時系列情報1a、時系列情報1b）に対応する記号が表示される。なお、同一メディア種別のメディア（上記例では時系列情報1aと時系列情報1b）に対して同一形状の記号を表示することが好ましい。図中の破線はユーザにより選択された領域（ユーザ選択領域）を示しており、ここでは、映像1、テキスト1、時系列情報1bが含まれるようユーザ選択領域が設定されている。画面構成決定部１６は、ユーザ選択領域に含まれるメディアを優先して画面構成を決定する。例えば、図８(b)に示すように、図８(a)に示したユーザ選択領域に含ま
れるメディアであるテキスト1と時系列情報1bを表示するよう画面構成を決定する。

上記構成の画面構成決定部１６を用いることで、画面内の各領域のメディアを個別に選択する場合に較べてより簡単で直感的な手順により、画面に表示するメディアを選択できる。

なお、主メディアに直接関連付けられたメディアに加え、主メディアに間接的に関連付けられたメディアや主メディアに関連付けられていないメディアを表示してもよい。ただし、その場合には、主メディアに直接関連付けられたメディアの記号が他のメディアの記号に較べて主メディアの近くに表示されるようメディア選択インタフェースを表示することが好ましい。この表示方法により、ユーザは主メディアと関連性の高いメディアを直感的に把握しやすくなり、また、そのような関連性の高いメディアが画面上で近くに配置されることで、まとめて選択しやすくなる。

（付記事項１：画面の定義）
以上の説明において、画面構成部１６が生成する画面構成は１個の矩形で表現される領域を前提としていたが、それに限定されず、任意の形状の画面の画面構成を出力するよう画面構成部１６を構成することができる。なお、画面は複数の子画面から構成されていてもよく、子画面は必ずしも空間的に連続でなくてもよい。これは、表示端末が複数ある場合に、各表示端末用の画面を構成して出力する処理に相当する。

〔実施形態２：マルチメディア生成装置〕
続いて、入力される複数のメディアデータ（入力メディア）に基づいてマルチメディアデータを生成するマルチメディア生成装置２について説明する。マルチメディア生成装置２から出力されるマルチメディアデータはマルチメディア再生装置１に入力することで再生できる。

図９はマルチメディア生成装置２の構成を示すブロック図である。マルチメディア生成装置２は、メディアスイッチ２１、メディア記録部２２、メディア分析部２３、メディア間関係決定部２４、マルチメディア情報決定部２５、及び、多重化部２６を備えている。

（メディアスイッチ２１）
メディアスイッチ２１は、入力されるメディアデータを順次選択し、後段の処理ブロックに供給する。例えば、Ｎ個のメディアデータ（メディアデータ１〜メディアデータＮ−１）が入力される場合に、メディアデータ１、メディアデータ２のように、メディアデータを１個ずつ順に出力する。

（メディア記録部２２）
メディア記録部２２は、入力されるメディアデータを識別できるように管理して一時的に記録する。また、メディア記録部２２は要求に応じて、指定されたメディアデータを出力する。

（メディア分析部２３）
メディア分析部２３は、入力されるメディアデータを分析し、メディアデータ情報を決定して出力する。メディア情報に含まれるメディア種別は、メディアデータのデータを分析して付与される。例えば、メディアデータの先頭部分を解析してヘッダ情報を読み出して判定する。メディア名は、処理対象メディアのメディア種別と、同じメディア種別のメディアを処理した順番により決定される。例えば、２個目の映像メディアに対して、「映像2」のメディア名を設定する。もしくは、メディアデータの取得に用いた機器名をメデ
ィア名に設定してもよい。

また、メディア分析部２３は、メディアデータが所定の条件を満たすか否かを判定し、判定結果をメディア分析情報として出力する。メディア分析情報には、メディアが特定機器（例えば全周カメラ）で取得されたかを示すメディア取得機器情報が含まれる。また、映像メディアのメディア分析情報には、映像内に所定の対象が映っているか否かの情報が含まれる。また、メディア分析情報には、メディアデータが取得された時刻や場所の情報（メディア取得位置場所情報）が含まれる。

また、メディア分析部２３は、メディアデータの分析結果を追加のメディアデータとして出力できる。例えば、映像メディアのフレーム毎の動き量を分析により導出し、動き量を時系列情報メディアとして出力することができる。

（メディア間関係決定部２４）
メディア間関係決定部２４は、入力されるメディア分析情報に基づいて、メディア間関係情報（メディア間関係、メディア属性間関係、属性間関係）を決定して出力する。

メディア間関係決定部２４は、２個の映像メディアが同一の対象を撮影しているかをメディア分析情報に基づき判定し、同一の対象を撮影している場合、当該対象の名前の属性を生成してメディア間関係情報に追加するとともに、生成した属性と２個のメディアをそれぞれ関連付けるメディア属性間関係をメディア間関係情報に追加する。

また、メディア間関係決定部２４は、メディア分析情報に含まれるメディア取得位置場所情報を参照して、取得位置が所定の範囲内であるメディアを選択する。選択されたメディアが複数ある場合、それらのメディアが相互に関連付けられていることを示すメディア間関係を生成してメディア間関係情報に追加する。

また、メディア間関係決定部２４は、特定のメディアがメディア分析部２３において別のメディア（元メディア）を分析して生成されたメディア（派生メディア）である場合、元メディアと派生メディアが関連付けられていることを示すメディア間関係を生成してメディア間関係情報に追加する。

以上例示したように、メディア間関係決定部２４は、メディア分析情報に基づいてメディア間関係情報を生成できる。そのため、マルチメディアデータ作成者の負担を軽減することができる。

なお、メディア間関係決定部２４は、必ずしも全てのメディア間関係情報を自動で導出する必要はなく、一部をユーザ入力や設定ファイルから読み込んだパラメータに基づいて決定する構成であっても構わない。

（マルチメディア情報決定部２５）
マルチメディア情報決定部２５は、入力されるメディア情報とメディア間関係情報に基づいてマルチメディア情報を生成して出力する。

（多重化部２６）
多重化部２６は、入力されるマルチメディア情報に基づいて、必要なメディアデータをメディア記録部から読み出し、マルチメディア情報とメディアデータを多重化することでマルチメディアデータを構成して出力する。

以上説明したマルチメディア生成装置２は、メディア分析部２３とメディア間関係決定部２４を備えており、メディア間関係情報を含むマルチメディア情報をメディアデータと
多重化することで生成されるマルチメディアデータを出力できる。マルチメディア生成装置２で生成されたマルチメディアデータはメディア間関係情報を含んでいるため、マルチメディア再生装置１に入力することで、ユーザのメディア選択にかかる手間を従来に比べて抑制した上で、画面内に複数のメディアを配置した画面構成の再生画像をユーザに提示できる。

〔ソフトウェアによる実現例〕
マルチメディア再生装置１およびマルチメディア生成装置２は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現しても良いし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現しても良い。

後者の場合、マルチメディア再生装置１およびマルチメディア生成装置２は、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ，上記プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読みとって実行することにより、本発明の目的が達成される。上記記録媒体には、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されても良い。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

１ マルチメディア再生装置
１１ マルチメディア解釈部
１２ メディアデータ記録部
１３ マルチメディア情報記録部
１４ 操作解釈部
１５ 再生制御部
１６ 画面構成決定部
１７ 画面合成部
２ マルチメディア生成装置
２１ メディアスイッチ
２２ メディア記録部
２３ メディア分析部
２４ メディア間関係決定部
２５ マルチメディア情報決定部
２６ 多重化部

Claims (15)

1. マルチメディアデータに含まれるメディアを画面内の各領域に表示する再生画面を再生するマルチメディア再生装置であって、
   上記マルチメディアデータに係るマルチメディア情報、及び、配置制御情報に基づいて、上記再生画面を生成するために利用される画面構成を決定する画面構成決定部を備え、
   上記画面構成決定部は、上記マルチメディア情報に含まれるメディア間関係情報と、上記配置制御情報に含まれる画面内領域情報とに基づいて、上記画面構成を決定することを特徴とするマルチメディア再生装置。
2. 上記画面構成決定部は、上記メディア間関係を参照して、画面内の領域の第１の領域である主領域に表示される主メディアに関連付けられたメディアを、画面内の領域に表示するメディアに決定することを特徴とする、請求項１に記載のマルチメディア再生装置。
3. 上記再生画面は、上記主メディアの変更に伴いメディアが変更される画面内の領域と、メディアが変更されない画面内の領域とを識別するメディア自動変更識別情報を含むことを特徴とする請求項２に記載のマルチメディア再生装置。
4. 上記メディア自動変更識別情報は、画面内の領域毎に主メディアの変更操作の開始が検知されたタイミングで表示されることを特徴とする請求項３に記載のマルチメディア再生装置。
5. 上記メディア間関係情報は、マルチメディアデータに含まれる少なくとも２つのメディア間の関連性の有無を、無方向リンク、有方向リンク、関連性指標、または、関連グループにより直接、もしくは、間接的に示すメディア間関係を含むことを特徴とする、請求項１から請求項４のいずれか一項に記載のマルチメディア再生装置。
6. 上記メディア間関係情報は、メディア属性間関係を含むことを特徴とする、請求項１から請求項５のいずれか一項に記載のマルチメディア再生装置。
7. 上記メディア間関係情報は、属性間関係を含むことを特徴とする、請求項６に記載のマルチメディア再生装置。
8. 上記マルチメディア情報は、マルチメディアデータに含まれる少なくとも一つのメディアに対して、少なくとも２つのメディアが関連付けられることを示す上記メディア間関係情報を含んでいることを特徴とする、請求項１から請求項７のいずれか一項に記載のマルチメディア再生装置。
9. 上記画面構成決定部は、上記メディア間関係情報に基づいてメディア分類を決定し、上記メディア分類に基づいて、画面内の各領域におけるメディア表示方法として、異なるメディア分類間で判別可能な表示方法を設定することを特徴とする請求項１から請求項８のいずれか一項に記載のマルチメディア再生装置。
10. 上記画面構成決定部は、上記メディア間関係情報に基づいてメディア分類を決定し、加えて、ユーザ興味メディアを特定し、該ユーザ興味メディアと同一分類のメディアのメディア表示方法として、別のメディア分類のメディアと判別可能な表示方法を設定することを特徴とする請求項１から請求項８のいずれか一項に記載のマルチメディア再生装置。
11. マルチメディアデータに含まれるメディアは、全周映像メディア、および、部分全周映像メディアを含み、
    上記マルチメディア情報は、上記部分全周映像メディアに含まれる空間領域と上記全周映像メディアに含まれる空間領域との関係を示す部分空間指定情報を含むことを特徴とする請求項１から請求項１０のいずれか一項に記載のマルチメディア再生装置。
12. 上記メディア間関係情報は、上記全周映像メディアと上記部分全周映像メディアを関連付けていることを特徴とする、請求項１１に記載のマルチメディア再生装置。
13. 上記画面構成決定部は、映像メディアを表示する第一の領域において、該第一の領域を空間的に分割した部分領域毎の重要度を決定し、該部分領域毎の重要度に基づいて、該第一の領域に重畳される第二の領域を設定することを特徴とする請求項１から請求項１２のいずれか一項に記載のマルチメディア再生装置。
14. ユーザ操作を解釈して上記配置制御情報を生成する操作解釈部を備え、
    上記画面構成決定部は、画面内にメディア選択領域を設定し、上記メディア間関係情報と上記配置制御情報に基づいて、主メディア、および、該主メディアに関連付けられたメディアをそれぞれ記号化して上記メディア選択領域に配置し、
    上記操作解釈部は、上記メディア選択領域上でのメディア選択を解釈し、選択されたメディアを含むよう配置制御情報を生成することを特徴とする請求項１から請求項１３のいずれか一項に記載のマルチメディア再生装置。
15. 入力メディアに基づいて、マルチメディアデータを生成するマルチメディア生成装置であって、
    上記入力メディアを分析してメディアデータ情報とメディア分析情報を決定するメディア分析部と、
    上記入力メディアと上記メディア分析情報に基づいて、メディア間関係情報を決定するメディア間関係決定部と、
    上記メディアデータ情報と上記メディア間関係情報を含むマルチメディア情報を生成するマルチメディア情報決定部とを備えることを特徴とするマルチメディア生成装置。

Images