JP2005051563A - コンテンツ配信方法及びコンテンツ配信システム - Google Patents

Abstract

【課題】配信側で受信側の画面に表示される画像のレイアウトを把握しつつ、簡単な操作でそのレイアウトを変更すること。
【解決手段】画像情報と該画像情報を合成するための画像合成情報を配信する配信手段と、前記画像情報に関連付けられた図形を画面上に表示する表示手段と、前記図形の表示状態を変化させる情報入力手段と、前記図形の表示状態の変化に連動して、前記画像合成情報に含まれる前記図形に関連付けられた前記画像情報に関わる設定情報を変更する設定情報変更手段とを備えた送信側と、前記画像情報と画像合成情報を受信する受信手段と、受信した前記画像情報と画像合成情報に基づいて合成画像を生成し、画面上に表示する合成画像表示手段とを備えた受信側とで構成される。
【選択図】図1

Description

本発明はコンテンツ配信方法及びコンテンツ配信システムに係り、特に、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）−４フォーマット、又は、これに類するシーンを記述するための情報を用いたコンテンツ配信方法及びコンテンツ配信システムに関するものである。

近年、動画や音声などを含む複数のオブジェクトを含むマルチメディアデータをＭＰＥＧ−４フォーマットに変換して、データストリームとして伝送する手法が使用されている。

このデータストリームとして配信されるデータには、動画、静止画、音声等のデータであるエレメンタリストリーム（Ｅｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍ）と、動画、静止画、音声等の各オブジェクトからなるシーンの構成を記述したシーン記述情報と、エレメンタリストリームとシーン記述情報を関連付けるオブジェクト・ディスクリプタ（Ｏｂｊｅｃｔ Ｄｅｓｃｒｉｐｔｏｒ）等が含まれている。

上記シーン記述情報は、複数の動画、静止画、音声等のオブジェクトを合成して、シーンを構成するための情報であり、ＢＩＦＳ(Ｂｉｎａｒｙ Ｆｏｒｍａｔ Ｓｃｅｎｅｓ)で記述されている。そして、このシーン記述情報には、表示されるシーンの構成を示すツリー構造の情報が記述されており、動画や静止画等のオブジェクトは、このツリー構造を構成するノードによって表現されている。更に、このノードは、フィールドと呼ばれるデータを含んでおり、このデータによって表示位置や表示サイズ等の特性が決定される。従って、シーンの表示はツリー構造を構成するノードや、そのノードに含まれるフィールドによって決定される。

従って、配信側からエレメンタリストリーム、シーン記述情報及びオブジェクト・ディスクリプタが配信され、受信側がこれらの情報を受信して複数のオブジェクトを合成した画面表示を行なうシステムでは、受信側の画面に表示される画像のレイアウトはシーン記述情報に基づいて決定される。

しかしながら、レイアウト変更の度にシーン記述情報を直接編集していたのでは作業効率が悪く、レイアウト変更を即時に行なう事も困難である。又、シーン記述情報を直接編集するときに、変更後のレイアウトを把握することも難しい。

そこで本発明は、画面に表示される画像を構成する動画、静止画等に対応する図形を配置したレイアウト表示を操作することにより、変更後のレイアウトを把握しつつ、簡単な操作でシーン記述情報を書替えることのできるコンテンツ配信方法及びコンテンツ配信システムを提供することを目的とする。

本発明に係る目的は、送信側が、画像情報と該画像情報を合成するための画像合成情報を配信し、受信側が、前記画像情報と画像合成情報を受信し、受信した前記画像情報と画像合成情報に基づいて、画面上に合成画像を表示するコンテンツ配信方法であって、
前記送信側の画面上に、前記画像情報と関連付けされた図形が表示され、
前記図形の表示状態の変化に連動して、前記画像合成情報に含まれる、前記図形に関連付けられた前記画像情報に関する設定情報が変更され、
前記画像合成情報の変更に基づき、前記合成画像の、表示状態が変化した前記図形に関連付けられた前記画像情報に対応した画像部分が変化することを特徴とするコンテンツ配信方法によって達成される。

又、本発明によれば、前記表示状態が、表示位置、又は表示サイズであることが好ましい。但し、前記表示状態が、回転角度、形状情報等の場合であっても同様に実施することができる。

又、本発明によれば、前記図形の表示位置の変化に連動して、前記図形に関連付けられた前記画像情報に基づく画像部分の表示位置、又は表示若しくは非表示の設定が変化することが好ましい。

又、本発明によれば、前記図形の表示サイズの変化に連動して、前記図形に関連付けられた前記画像情報に基づく画像部分の表示サイズが変化することが好ましい。

又、本発明によれば、前記送信側での入力操作により、前記図形の表示状態を変化させることが好ましい。ここで、入力操作は、キーボード、ポインティングデバイス、音声入力装置（マイク等）等を使用して行なうことができる。

又、本発明によれば、前記送信側でのマウス操作により、前記図形の表示状態を変化させることが好ましい。

又、本発明によれば、前記画像合成情報が、ＭＰＥＧ−４システムで定義されているシーン記述情報であることが好ましい。但し、前記画像合成情報が、ＭＰＥＧ−４システムに類するシーンを記述するための情報であっても同様に実施することができる。

本発明に係る目的は、画像情報と該画像情報を合成するための画像合成情報を配信する配信手段と、
前記画像情報に関連付けられた図形を画面上に表示する表示手段と、
前記図形の表示状態を変化させる情報入力手段と、
前記図形の表示状態の変化に連動して、前記画像合成情報に含まれる、前記図形に関連付けられた前記画像情報に関する設定情報を変更する設定情報変更手段とを備えた送信側と、
前記画像情報と画像合成情報を受信する受信手段と、
受信した前記画像情報と画像合成情報に基づいて合成画像を生成し、画面上に表示する合成画像表示手段とを備えた受信側とで構成されることを特徴とするコンテンツ配信システムによって達成される。

又、本発明によれば、前記表示状態が、表示位置、又は表示サイズであることが好ましい。但し、前記表示状態が、回転角度、形状情報等の場合であっても同様に実施することができる。

又、本発明によれば、前記図形の表示位置の変化に連動して、前記図形に関連付けられた前記画像情報に基づく画像部分の表示位置、又は表示若しくは非表示の設定が変化することが好ましい。

又、本発明によれば、前記図形の表示サイズの変化に連動して、前記図形に関連付けられた前記画像情報に基づく画像部分の表示サイズが変化することが好ましい。

又、本発明によれば、前記情報入力手段がマウスであることが好ましい。但し、前記情報入力手段が、キーボード、ポインティングデバイス、音声入力装置（マイク等）等であっても同様に実施することができる。

又、本発明によれば、前記画像合成情報が、ＭＰＥＧ−４システムで定義されているシーン記述情報であることが好ましい。但し、前記画像合成情報が、ＭＰＥＧ−４システムに類するシーンを記述するための情報であっても同様に実施することができる。

本発明によれば、受信側の画面に表示される画像を構成する動画、静止画等に対応する図形を配置したレイアウト表示を配信側の画面に表示し、表示されたレイアウト表示上の図形を操作することにより、配信側から配信するシーン記述情報の内容を変更することができる。このシーン記述情報の内容変更は、レイアウト表示上の図形に対する操作に連動しており、受信側の画面に表示される画像のレイアウトを、配信側のレイアウト表示で確認しつつその変更操作を行なうことができる。

従って、配信側で受信側の画面に表示される画像のレイアウトを把握しつつ、簡単な操作でそのレイアウトを変更することができる。

本発明に係るコンテンツ配信方法及びコンテンツ配信システムでは、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）−４システム（ＩＳＯ／ＩＥＣ１４４９６−１）で定義されている情報（後述するエレメンタリストリーム、シーン記述情報及びオブジェクト・ディスクリプタ等により構成される情報）をサーバ（配信側）からクライアント（受信側）に配信している。

ここで、配信されるＭＰＥＧ−４の情報には、画像、音声、テキスト等の情報であるエレメンタリストリーム（Ｅｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍ）と、画像、音声、テキスト等の各オブジェクトの組み合わせがツリー構造で表現されたシーン記述情報が含まれている。又、このエレメンタリストリームとシーン記述情報はオブジェクト・ディスクリプタ（Ｏｂｊｅｃｔ Ｄｅｓｃｒｉｐｔｏｒ）という情報によって関連付けされている。

この関連付けのため、シーン記述情報では、各オブジェクトにオブジェクト・ディスクリプタＩＤが割り当てられるており、このオブジェクト・ディスクリプタＩＤにより対応するオブジェクト・ディスクリプタが識別される。更に、オブジェクト・ディスクリプタには各エレメンタリストリームとの関連付け情報が記述されているエレメンタリストリーム・ディスクリプタがあり、このエレメンタリストリーム・ディスクリプタにはエレメンタリストリームＩＤが記述されており、このエレメンタリストリームＩＤにより各エレメンタリストリームが識別される。このようにしてシーン記述情報の各オブジェクトに関連付けされたエレメンタリストリームは、シーン記述情報に基づいて合成され画面上に表示される。

又、各レメンタリストリームを合成するために使用されるシーン記述情報には、各レメンタリストリームを合成するための情報がツリー構造で表現されており、その要素（ツリー構造の分岐点）はノードと呼ばれている。このノードには、それに対応した各オブジェクトの時間的、空間的な相互関係や属性（光源、形状、材質、色および座標等）が記述され、各ノードの特性はフィールドと呼ばれる情報により決定される。更に、ツリー構造で表現されたシーン記述情報では、上位ノードの属性が下位ノードに継承されたり、下位ノードがグループ化されたりする。

本発明に係るコンテンツ配信方法及びコンテンツ配信システムでは、上記ノードやフィールドの情報を追加、変更、又は削除したシーン記述情報を、配信側から逐次配信することにより、受信側の画面に表示される画像を変化させている。その実施の形態を、図面を参照して説明する。尚、本発明に係るコンテンツ配信方法及びコンテンツ配信システムは、上記ＭＰＥＧ−４のシーン記述情報に類する情報を用いたコンテンツ配信方法及びコンテンツ配信システムにも適用することができる。

図１は、本発明に係るコンテンツ配信システムの概要を示す概略図である。図１に示した、管理サーバ２１は、シーン記述情報及びオブジェクト・ディスクリプタを配信する装置であり、コンテンツサーバ２２、２３、２４は、動画、静止画等のエレメンタリストリームを配信する。一方、クライアント２５、２６は、管理サーバ２１やコンテンツサーバ２２、２３、２４が配信する情報をインターネット等のネットワーク２０を介して受信し、その情報に基づいて画面上に画像を表示する受信側の装置である。

ここで、管理サーバ２１の画面１０には、クライアント２５、２６の画面に対応した画面表示エリア１１が設けられており、この画面表示エリア１１上にコンテンツサーバ２２が配信する第１のエレメンタリストリームに対応した図形１２、コンテンツサーバ２３が配信する第２のエレメンタリストリームに対応した図形１３、コンテンツサーバ２４が配信する第３のエレメンタリストリームに対応した図形１４が配置されている。尚、図形１２、１３、１４と第１から第３のエレメンタリストリームはオブジェクト・ディスクリプタによって関連付けられている。つまり、図形１２、１３、１４には、シーン記述情報の各ノードに割当てられており、各ノードはオブジェクト・ディスクリプタによって各エレメンタリストリームに関連付けられている。

又、マウスカーソル１５は、ポインティングデバイスであるマウスの動きに連動して上下左右に移動する位置表示であり、図形１２、１３、１４の位置は、マウスでドラック（マウスカーソル１５の矢印の先で図形１２、１３、１４を指定して、マウスのボタンを押しながらマウスを動かす）して動かすことができる。ここで、図形１２、１３、１４の位置が変化した場合、それに応じて、管理サーバ２１が配信するシーン記述情報が逐次書替えられ、書替えられたシーン記述情報がクライアント２５、２６に配信される。

次に、管理サーバ２１における操作と、クライアント２５、２６の画面に表示される画像の関係について図面を参照して説明する。図２は、本発明に係るコンテンツ配信システムの管理サーバとクライアントの画面表示の例を示す図である。ここで、画面１０は配信側である管理サーバの画面に対応し、画面３０は受信側であるクライアントの画面に対応する。

画面１０の画面表示エリア１１上には、上述のように図形１２、１３、１４が配置されている。一方、画面３０には、第１のエレメンタリストリームに対応した画像３１（図1に示したコンテンツサーバ２２が配信する第１のエレメンタリストリーム対応した画像３１）、第２のエレメンタリストリームに対応した画像３２（図1に示したコンテンツサーバ２３が配信する第２のエレメンタリストリーム対応した画像３２）、第３のエレメンタリストリームに対応した画像３３（図1に示したコンテンツサーバ２４が配信する第３のエレメンタリストリーム対応した画像３３）が表示されている。つまり、画面１０の図形１２が画面３０の画像３１に、画面１０の図形１３が画面３０の画像３２に、画面１０の図形１４が画面３０の画像３３にそれぞれ対応している。

ここで、例えば、管理サーバでのマウス操作により、第３のエレメンタリストリームに対応した図形１４を移動させた場合、管理サーバが配信するシーン記述情報に含まれる第３のエレメンタリストリームに対応したノードの表示位置に関するフィールド値（特性値）が、操作後に図形１４が配置された位置に対応したフィールド値（特性値）に書替えられる。書替えられたシーン記述情報は、管理サーバからクライアントに配信される。尚、シーン記述情報の配信は、シーン記述情報の書替えがあったときだけに行なってもよいが、書替えの有無に拘らずに一定の周期で定期的に配信してもよい。

一方、クライアントの画面３０に表示される画像は、管理サーバが配信するシーン記述情報に基づいて合成されるので、クライアントが書替えられたシーン記述情報を受信した場合、そのシーン記述情報に基づいて、画面３０に表示される画像が合成される。従って、第３のエレメンタリストリームに対応したノードの表示位置に対応したフィールド値（特性値）が書替えられたシーン記述情報を受信した場合、そのフィールド値（特性値）に応じて、第３のエレメンタリストリームに対応した画像３３の表示位置が移動する。

次に、表示サイズを変更する場合について図３を参照して説明する。図３においても、図2と同様に、配信側である管理サーバの画面に対応する画面１０と、受信側であるクライアントの画面に対応する画面３０が示されている。又、画面１０の画面表示エリア１１上に配置されている図形１２、１３、１４や、画面３０に表示されている画像３１、３２、３３についても図2と同様になっている。

ここで、例えば、管理サーバでのマウス操作（例えば、マウスカーソル１５の矢印の先で図形１２の角や辺を指定して、マウスボタンを押しながらマウスを動かすドラックを行なう。）により、第１のエレメンタリストリームに対応した図形１２の大きさ（表示サイズ）を変更させた場合、管理サーバが配信するシーン記述情報に含まれる第１のエレメンタリストリームに対応したノードの表示サイズに関するフィールド値（特性値）が、操作後の表示サイズに対応したフィールド値（特性値）に書替えられる。書替えられたシーン記述情報は、管理サーバからクライアントに配信される。

一方、クライアントが、第１のエレメンタリストリームに対応したノードの表示サイズに対応したフィールド値（特性値）が書替えられたシーン記述情報を受信した場合、そのフィールド値（特性値）に応じて、第１のエレメンタリストリームに対応した画像３１の表示サイズが変更される。

次に、クライアントの画面に表示されるエレメンタリストリームを変更する場合について図４を参照して説明する。図４は、本発明に係るコンテンツ配信システムの管理サーバとクライアントの画面表示の例を示す図である。ここで、画面１０は配信側である管理サーバの画面に対応し、画面３０は受信側であるクライアントの画面に対応する。

図４に示した画面１０には、図２及び図３示した図形１２、１３、１４に加えて、図形１６及び図形１７が示されている。ここで、図形１６は、第４のエレメンタリストリームに対応した図形であり、図形１７は、第５のエレメンタリストリームに対応した図形である。この第４及び第５のエレメンタリストリームは、第１から第３のエレメンタリストリームと同様にコンテンツサーバから配信される。

画面１０の画面表示エリア１１上に、図形１２、１３、１４が配置され、一方、画面３０には、それに対応した、画像３１、画像３２、画像３３が表示されている場合に、第２のエレメンタリストリームに対応した画像３２を、第４のエレメンタリストリームに対応した画像３４と入替える例について説明する。

まず、管理サーバでのマウス操作により、第２のエレメンタリストリームに対応した図形１４を画面表示エリア１１のエリア外に移動する。ここで、画面表示エリア１１は、クライアントの画面３０に表示される範囲に対応するので、図形１４を画面表示エリア１１のエリア外に移動させた場合、シーン記述情報に含まれる第２のエレメンタリストリームに対応したノードに関する情報が削除される。この際、第２のエレメンタリストリームに対応したノードに関する情報を削除せずに、第２のエレメンタリストリームに対応したノードの表示位置に関するフィールド値（特性値）を、クライアントの画面３０に表示されないフィールド値（特性値）に書替えてもよい（例えば、フィールド値（特性値）を、画面３０の表示範囲外の値に書替える。）。

次に、管理サーバでのマウス操作により、第４のエレメンタリストリームに対応した図形１６を画面表示エリア１１のエリア内に移動する。上記のように、画面表示エリア１１は、クライアントの画面３０に表示される範囲に対応するので、図形１６を画面表示エリア１１のエリア内に移動させた場合、シーン記述情報に第４のエレメンタリストリームに対応したノードに関する情報が追加され、追加された第４のエレメンタリストリームに対応したノードの表示位置に関するフィールド値（特性値）に、図形１６が配置された位置に対応したフィールド値（特性値）が書込まれる。この際、シーン記述情報に第４のエレメンタリストリームに対応したノードに関する情報を予め記述しておき（表示位置に関するフィールド値（特性値）は、クライアントの画面３０に表示されないフィールド値（特性値）にしておく）、図形１６を画面表示エリア１１のエリア内に移動させたときに、第４のエレメンタリストリームに対応したノードの表示位置に関するフィールド値（特性値）を、図形１６が配置された位置に対応したフィールド値（特性値）に書替えてもよい。

上記のように、第２及び第４のエレメンタリストリームに対応したノードに関する情報が追加、変更、又は削除されたシーン記述情報は、管理サーバからクライアントに配信される。このシーン記述情報を受信したクライアントは、シーン記述情報に基づいて画面３０に表示される画像を合成するので、画面３０に第３のエレメンタリストリームに対応した画像は表示されず、第４のエレメンタリストリームに対応した画像３４が表示される。

尚、クライアントの画面３０に表示するエレメンタリストリームについては、予めオブジェクト・ディスクリプタによって、シーン記述情報に記述するノードと関連付けておくことが好ましい。つまり、上記のようにシーン記述情報に第４のエレメンタリストリームに対応したノードに関する情報を追加したときに、そのノードと第４のエレメンタリストリームを関連付ける情報をオブジェクト・ディスクリプタに追加してもよいが、予めその情報をオブジェクト・ディスクリプタに記述しておくことが好ましい。

以上の説明では、画面表示エリア上の図形の座標情報に連動して、シーン記述情報の表示位置に対応したフィールド値（特性値）が書替えられ、図形のサイズ（大きさ）情報に連動して、シーン記述情報の表示サイズに対応したフィールド値（特性値）が書替えられる場合については説明したが、本発明に係るコンテンツ配信システムは、これらに限定されるものではない。例えば、図形を回転させる操作における回転角度や、図形の形状を変形させる操作における形状情報等を、シーン記述情報のそれに対応したフィールド値（特性値）に割当てれば、上記と同様に実施することができる。

又、上記説明ではシーン記述情報及びオブジェクト・ディスクリプタを配信するサーバと、エレメンタリストリームを配信するサーバが、別々の装置であったが、それらの情報を装置から配信するようにしてもよい。

本発明に係るコンテンツ配信システムの概要を示す概略図である。 本発明に係るコンテンツ配信システムの管理サーバとクライアントの画面表示の例を示す図である。 本発明に係るコンテンツ配信システムの管理サーバとクライアントの画面表示の例を示す図である。 本発明に係るコンテンツ配信システムの管理サーバとクライアントの画面表示の例を示す図である。

符号の説明

１０、３０ 画面
１１ 画面表示エリア
１２、１３、１４、１６、１７ 図形
１５ マウスカーソル
２０ ネットワーク
２１ 管理サーバ
２２、２３、２４ コンテンツサーバ
２５、２６ クライアント
３１、３２、３３、３４ 画像

Claims (13)

1. 送信側が、画像情報と該画像情報を合成するための画像合成情報を配信し、受信側が、前記画像情報と画像合成情報を受信し、受信した前記画像情報と画像合成情報に基づいて、画面上に合成画像を表示するコンテンツ配信方法であって、
   前記送信側の画面上に、前記画像情報と関連付けされた図形が表示され、
   前記図形の表示状態の変化に連動して、前記画像合成情報に含まれる、前記図形に関連付けられた前記画像情報に関する設定情報が変更され、
   前記画像合成情報の変更に基づき、前記合成画像の、表示状態が変化した前記図形に関連付けられた前記画像情報に対応した画像部分が変化することを特徴とするコンテンツ配信方法。
2. 前記表示状態が、表示位置、又は表示サイズであることを特徴とする請求項１記載のコンテンツ配信方法。
3. 前記図形の表示位置の変化に連動して、前記図形に関連付けられた前記画像情報に基づく画像部分の表示位置、又は表示若しくは非表示の設定が変化することを特徴とする請求項２記載のコンテンツ配信方法。
4. 前記図形の表示サイズの変化に連動して、前記図形に関連付けられた前記画像情報に基づく画像部分の表示サイズが変化することを特徴とする請求項２記載のコンテンツ配信方法。
5. 前記送信側での入力操作により、前記図形の表示状態を変化させることを特徴とする請求項１乃至４記載のコンテンツ配信方法。
6. 前記送信側でのマウス操作により、前記図形の表示状態を変化させることを特徴とする請求項１乃至５記載のコンテンツ配信方法。
7. 前記画像合成情報が、ＭＰＥＧ−４システムで定義されているシーン記述情報であることを特徴とする請求項１乃至５記載のコンテンツ配信方法。
8. 画像情報と該画像情報を合成するための画像合成情報を配信する配信手段と、
   前記画像情報に関連付けられた図形を画面上に表示する表示手段と、
   前記図形の表示状態を変化させる情報入力手段と、
   前記図形の表示状態の変化に連動して、前記画像合成情報に含まれる、前記図形に関連付けられた前記画像情報に関する設定情報を変更する設定情報変更手段とを備えた送信側と、
   前記画像情報と画像合成情報を受信する受信手段と、
   受信した前記画像情報と画像合成情報に基づいて合成画像を生成し、画面上に表示する合成画像表示手段とを備えた受信側とで構成されることを特徴とするコンテンツ配信システム。
9. 前記表示状態が、表示位置、又は表示サイズであることを特徴とする請求項８記載のコンテンツ配信システム。
10. 前記図形の表示位置の変化に連動して、前記図形に関連付けられた前記画像情報に基づく画像部分の表示位置、又は表示若しくは非表示の設定が変化することを特徴とする請求項９記載のコンテンツ配信システム。
11. 前記図形の表示サイズの変化に連動して、前記図形に関連付けられた前記画像情報に基づく画像部分の表示サイズが変化することを特徴とする請求項９記載のコンテンツ配信システム。
12. 前記情報入力手段がマウスであることを特徴とする請求項８乃至１１記載のコンテンツ配信システム。
13. 前記画像合成情報が、ＭＰＥＧ−４システムで定義されているシーン記述情報であることを特徴とする請求項８乃至１２記載のコンテンツ配信システム。