JP2005079758A - 画像配信方法及び画像配信システム - Google Patents

Abstract

【課題】 受信側での操作に連動して、配信側の画像入力装置の動作が制御される画像配信方法及び画像配信システムを提供する。
【解決手段】 撮影した画像を画像情報として出力する画像入力手段と、前記画像入力手段の視野を制御する視野制御手段と、前記画像情報に基づく情報を配信する配信機能を備えた配信側と、前記画像情報に基づく情報を受信する受信手段と、前記画像情報に基づく画像を表示する画像表示手段を備えた受信側で構成される画像配信システムであって、前記受信側が前記画像情報に基づく画像に対する変更指示を送信する変更指示送信手段を有し、前記配信側が前記変更指示を受信する変更指示受信手段を有し、配信側が前記変更指示に基づいて前記画像入力手段の視野を制御する。
【選択図】図1

Description

本発明は画像配信方法及び画像配信システムに係り、特に、画像入力装置から取込まれた画像を配信する画像配信方法及び画像配信システムに関するものである。

近年、複数の動画や静止画を配信側から受信側に配信し、受信側がそれらの動画や静止画を画面表示する画像配信システムが提供されている。

例えば、ＭＰＥＧ−４に準拠したシステムでは、動画や静止画等を含む複数のオブジェクトをＭＰＥＧ−４フォーマットのデータストリームに変換して配信ている。又、ＭＰＥＧ−４に準拠したシステムでは、データストリームとして配信される動画、静止画等の情報であるエレメンタリストリーム（Ｅｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍ）の他に、動画、静止画等の各オブジェクトからなるシーンの構成を記述したシーン記述情報と、エレメンタリストリームとシーン記述情報を関連付けるオブジェクト・ディスクリプタ（Ｏｂｊｅｃｔ Ｄｅｓｃｒｉｐｔｏｒ）等が配信される。

上記シーン記述情報は、複数の動画、静止画等のオブジェクトを合成して、シーンを構成するための情報であり、ＢＩＦＳ(Ｂｉｎａｒｙ Ｆｏｒｍａｔ Ｓｃｅｎｅｓ)で記述されている。そして、このシーン記述情報には、表示されるシーンの構成を示すツリー構造の情報が記述されており、動画や静止画等のオブジェクトは、このツリー構造を構成するノードによって表現されている。更に、このノードは、フィールドと呼ばれるデータを含んでおり、このデータによって表示位置や表示サイズ等の特性が決定される。

尚、上記エレメンタリストリームとして配信される情報が、カメラ等により撮影したライブ映像であれば、受信側の画面にはそのライブ映像が表示される。又、複数のライブ映像がエレメンタリストリームとして配信されている場合には、上記シーン記述情報に基づいて複数のライブ映像が、受信側の画面に表示される。

上述のような画像配信システムで、ライブ映像を撮影するカメラ等の画像入力装置の動作は、配信側で制御されており、受信側は画像入力装置の動作に関与していなかった。従って、受信側に表示されているライブ映像の視野を左右又は上下に移動させたい場合であっても、受信側からライブ映像を撮影するカメラのアングル等を変更する操作を行なうことはできなかった。

そこで本発明は、受信側での操作に連動して、配信側の画像入力装置の動作が制御される画像配信方法及び画像配信システムを提供することを目的とする。

本発明に係る目的は、配信側が画像入力装置から出力される画像情報に基づく情報を配信し、受信側が前記画像情報に基づく情報を受信して、画像表示を行なう画像配信方法であって、
前記受信側が、前記画像情報に基づく画像に対して変更操作を行なったときに、前記受信側から前記配信側に前記変更操作に関する変更操作情報が送信され、
前記配信側が、前記変更操作情報に基づいて、前記変更操作の対象となった画像に対応する前記画像情報を出力する前記画像入力装置の動作を制御することを特徴とする画像配信方法によって達成される。

ここで、前記画像入力装置は、動画撮影用又は静止画撮影用の画像入力装置であり、撮影した画像を画像情報として出力する装置である。又、前記変更操作は、表示されている画像の視野を変更することを指示する操作である。又、「前記変更操作の対象となった画像に対応する前記画像情報」でいう「対応する」とは、「前記変更操作の対象となった画像」が「前記画像情報」に基づく画像であることを意味する。

本発明に係る目的は、配信側が複数の画像入力装置から出力される画像情報に基づく情報を配信し、受信側が前記画像情報に基づく情報を受信して、画像表示を行なう画像配信方法であって、
前記受信側が、前記画像表示を構成する画像の一部を選択し、選択した選択画像に対して変更操作を行なったときに、前記受信側から前記配信側に前記変更操作に関する変更操作情報が送信され、
前記配信側が、前記変更操作情報に基づいて、前記選択画像に対応する前記画像情報を出力する前記画像入力装置の動作を制御することを特徴とする画像配信方法によって達成される。

ここで、前記画像入力装置は、動画撮影用又は静止画撮影用の画像入力装置であり、撮影した画像を画像情報として出力する装置である。又、前記変更操作は、表示されている画像の視野を変更することを指示する操作である。又、「前記選択画像に対応する前記画像情報」でいう「対応する」とは、「前記選択画像」が「前記画像情報」に基づく画像であることを意味する。

又、本発明によれば、前記画像入力装置の動作が、位置の移動、アングルの変化、又はズームレンズの焦点距離の変化であることが好ましい。

又、本発明によれば、前記変更操作が、画像の視野の移動又は拡大縮小を指示する操作であることが好ましい。

又、本発明によれば、前記画像情報に基づく情報が、圧縮処理された動画情報であってもよい。

又、本発明によれば、前記圧縮処理が、ＭＰＥＧ−４に準拠した処理であってもよい。

本発明に係る目的は、撮影した画像を画像情報として出力する画像入力手段と、
前記画像入力手段の視野を制御する視野制御手段と、
前記画像情報に基づく情報を配信する配信手段を備えた配信側と、
前記画像情報に基づく情報を受信する受信手段と、
前記画像情報に基づく画像を表示する画像表示手段を備えた受信側で構成される画像配信システムであって、
前記受信側が前記画像情報に基づく画像に対する変更指示を送信する変更指示送信手段を有し、前記配信側が前記変更指示を受信する変更指示受信手段を有し、配信側が前記変更指示に基づいて前記画像入力手段の視野を制御することを特徴とする画像配信システムによって達成される。

ここで、前記変更指示は、前記画像情報に基づく画像の視野を変更する指示である。

又、本発明によれば、前記視野制御手段が、視野の移動、又は視野の拡大縮小を制御することが好ましい。

又、本発明によれば、前記変更指示が、前記画像情報に基づく画像に対する視野の移動、又は視野の拡大縮小の指示であることが好ましい。

又、本発明によれば、前記画像情報に基づく情報が、圧縮処理された動画情報であってもよい。

又、本発明によれば、前記圧縮処理が、ＭＰＥＧ−４に準拠した処理であってもよい。

本発明によれば、受信側の画面上に表示されている画像に対して任意の指示操作を行なったときに、この指示操作に連動して画像入力装置の動作が制御される。例えば、受信側の画面上で、配信側の任意の画像入力装置で撮影されたライブ映像に対応した画像部分を選択し、その画像部分に表示されているライブ映像の視野を、上下又は左右に移動させる指示操作を行なったときに、その指示情報が受信側から配信側に送信され、配信側はその指示情報に基づいて、画像入力装置の動作を制御するように構成されている。従って、受信側でライブ映像の視野を、上下又は左右に移動させる指示を行なったときに、それに連動して配信側の画像入力装置の、位置設定やアングルを変化させることができる。その結果、受信側の画面に表示されるライブ映像の視野を、受信側での指示操作により、上下又は左右に移動させることができる。

尚、上記指示操作や画像入力装置の動作は、特に限定されるものではなく、適宜設定することができ、又、その設定に応じた効果も得られる。

本発明に係る画像配信方法及び画像配信システムでは、カメラ等の画像入力装置で撮影した動画又は静止画等の画像情報をサーバ（配信側）で圧縮処理し、圧縮処理した画像情報をサーバ（配信側）からクライアント（受信側）に配信している。従って、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）−４システム（ＩＳＯ／ＩＥＣ１４４９６−１）で定義されている情報（後述するエレメンタリストリーム、シーン記述情報及びオブジェクト・ディスクリプタ等により構成される情報）をサーバ（配信側）からクライアント（受信側）に配信するような画像配信システムに適用できる。例えば、画像入力装置でライブ映像（動画）を撮影し、撮影したライブ映像に対してＭＰＥＧ−４システムに準拠した圧縮処理を施し、エレメンタリストリームとしてサーバ（配信側）からクライアント（受信側）に配信する画像配信システムに適用することができる。

上記ＭＰＥＧ−４システムで定義されている情報には、画像、音声、テキスト等の情報であるエレメンタリストリーム（Ｅｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍ）と、画像、音声、テキスト等の各オブジェクトの組み合わせがツリー構造で表現されたシーン記述情報と、エレメンタリストリームとシーン記述情報を関連付けるオブジェクト・ディスクリプタ（Ｏｂｊｅｃｔ Ｄｅｓｃｒｉｐｔｏｒ）という情報等が含まれている。

尚、上記エレメンタリストリームとシーン記述情報の関連付けについて詳説すれば、シーン記述情報では、各オブジェクトにオブジェクト・ディスクリプタＩＤが割り当てられるており、このオブジェクト・ディスクリプタＩＤにより対応するオブジェクト・ディスクリプタが識別される。更に、オブジェクト・ディスクリプタには各エレメンタリストリームとの関連付け情報が記述されているエレメンタリストリーム・ディスクリプタがあり、このエレメンタリストリーム・ディスクリプタにはエレメンタリストリームＩＤが記述されており、このエレメンタリストリームＩＤにより各エレメンタリストリームが識別される。従って、シーン記述情報の各オブジェクトに関連付けされたエレメンタリストリームは、シーン記述情報に基づいて合成され画面上に表示される。

又、各レメンタリストリームを合成するために使用されるシーン記述情報には、各エレメンタリストリームを合成するための情報がツリー構造で表現されており、その要素（ツリー構造の分岐点）はノードと呼ばれている。このノードには、それに対応した各オブジェクトの時間的、空間的な相互関係や属性（光源、形状、材質、色および座標等）が記述され、各ノードの特性はフィールドと呼ばれる情報により決定される。更に、ツリー構造で表現されたシーン記述情報では、上位ノードの属性が下位ノードに継承されたり、下位ノードがグループ化されたりする。

以下に、本発明に係る画像配信方法及び画像配信システムを、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）−４システム（ＩＳＯ／ＩＥＣ１４４９６−１）で定義されている情報をサーバ（配信側）からクライアント（受信側）に配信するシステムに適用した場合について説明する。

図１は、本発明に係る画像配信システムの概要を示す概略図である。ここで、管理サーバ１０は、シーン記述情報及びオブジェクト・ディスクリプタを配信する装置であり、コンテンツサーバ１１〜１４は、カメラ１１ａ〜１４ａで撮影したライブ映像等の動画情報を圧縮処理し、エレメンタリストリームとして配信する装置である。一方、クライアント１５は、管理サーバ１０やコンテンツサーバ１１〜１４が配信する情報をインターネット等のネットワーク１６を介して受信し、その情報に基づいて画面上に画像を表示する受信側の装置である。

カメラ１１ａ〜１４ａは、動画撮影用の画像入力装置であり、位置設定やアングルは電気信号で制御できるようになっている。例えば、カメラ１１ａはＲＳ２３２Ｃ（Ｒｅｃｏｍｍｅｎｄｅｄ Ｓｔａｎｄａｒｄ ２３２ ｖｅｒｓｉｏｎ Ｃ）等の通信インターフェースを介して、コンテンツサーバ１１により位置設定やアングルを制御されている。又、カメラ１１ａから出力される動画情報はＤＶ端子（ｄｉｇｉｔａｌ ｖｉｄｅｏ ｉｎｔｅｒｆａｃｅ）等を介してコンテンツサーバ１１に送られる。他のカメラについても同様に、カメラ１２ｂはコンテンツサーバ１２により位置設定やアングルを制御され、カメラ１３ｂはコンテンツサーバ１３により位置設定やアングルを制御され、カメラ１４ｂはコンテンツサーバ１４により位置設定やアングルを制御されている。又、カメラ１２ａから出力される動画情報はコンテンツサーバ１２に送られ、カメラ１３ａから出力される動画情報はコンテンツサーバ１３に送られ、カメラ１４ａから出力される動画情報はコンテンツサーバ１４に送られる。

次に、管理サーバ１０が配信するシーン記述情報及びオブジェクト・ディスクリプタ、並びにコンテンツサーバ１１〜１４が配信するエレメンタリストリームを受信して、画面上に画像を表示する受信側の装置であるクライアント１５における操作について説明する。

図２は、クライアント１５の画面に表示される画像を示す図である。画面２０上には、コンテンツサーバ１１が配信するエレメンタリストリームに基づく映像が表示される画像表示部２１と、コンテンツサーバ１２が配信するエレメンタリストリームに基づく映像が表示される画像表示部２２と、コンテンツサーバ１３が配信するエレメンタリストリームに基づく映像が表示される画像表示部２３と、コンテンツサーバ１４が配信するエレメンタリストリームに基づく映像が表示される画像表示部２４が設定されている。更に、画面２０上には、画像表示部２１〜２４に映し出されている映像の視野を上方向に移動させる指示ボタン２５と、左方向に移動させる指示ボタン２６と、下方向に移動させる指示ボタン２７と、右方向に移動させる指示ボタン２６とが表示されている。又、画面２０上に表示されているマウスカーソル２９は、ポインティングデバイスであるマウスの動きに連動して上下左右に移動する位置表示である。例えば、マウスカーソル２９の矢印の先を指定したい位置（又は指示ボタン）に合わせ、マウスのボタンをクリックするとその位置（又は指示ボタン）が指定される。

ここで、例えば、マウスカーソル２９の矢印の先を画像表示部２１に合わせ、マウスのボタンをクリックすると画像表示部２１が選択状態になる。このように画像表示部２１〜２４のいずれかが選択されている状態で、マウスカーソル２９の矢印の先を指示ボタン２５に合わせマウスのボタンを押すと、その操作は画像表示部２１に映し出されている映像の視野を上方向に移動させる指示として受付けられる。同様に、指示ボタン２６に合わせマウスのボタンを押すと、その操作は映像の視野を左方向に移動させる指示として受付けられ、指示ボタン２７に合わせマウスのボタンを押すと、その操作は映像の視野を下方向に移動させる指示として受付けられ、指示ボタン２８に合わせマウスのボタンを押すと、その操作は映像の視野を右方向に移動させる指示として受付けられる。

次に、上記映像の視野を上下又は左右方向に移動させる指示情報に基づき、カメラの位置設定やアングルが変更される過程について説明する。図３は、画像表示部２１に映し出されている映像の視野を移動させる指示情報に基づき、カメラの位置設定やアングルが変更される過程について説明するための図である。図３で、クライアント３０は、画像表示部２１に映し出されている映像の視野を移動させる指示が受付けた受信側の装置であり、コンテンツサーバ３１は画像表示部２１に対応するエレメンタリストリーム３３を配信する配信側の装置である。又、カメラ３２は、エレメンタリストリーム３３に対応する動画情報を、コンテンツサーバ３１に対して出力する画像入力装置であり、位置設定やアングルはコンテンツサーバ３１により制御されている。

ここで、上記映像の視野を上下又は左右方向に移動させる指示情報３４は、例えば、通信プロトコルＴＣＰ／ＩＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ／Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）を用いた通信により、クライアント３０からコンテンツサーバ３１に送信される。指示情報３４を受信したコンテンツサーバ３１は、指示情報３４に基づき、カメラ３２の位置設定やアングルを制御する電気信号をカメラ３２に送信する。カメラ３２は、この電気信号により、上下又は左右方向に移動したり、上下又は左右方向に向きが変ったりする。

又、カメラ３２は、上記のようにコンテンツサーバ３１により位置設定やアングルを制御されつつ、撮影した動画情報をコンテンツサーバ３１に対して出力し、コンテンツサーバ３１はカメラ３２が出力する動画情報を圧縮処理し、エレメンタリストリーム３３として配信する。従って、エレメンタリストリーム３３に基づいて、クライアント３０の画面の画像表示部に表示される映像の視野は、カメラ３２の位置設定やアングルの変更と共に変化する。

上述のように本発明に係る画像配信システムでは、受信側で選択された映像に対して、その視野を変更する指示操作を行なった場合、指示操作の対象となった映像に対応するエレメンタリストリームを配信している配信側に、指示操作に基づく指示情報が送信される。又、指示情報を受信した配信側は、その指示情報に基づいて画像入力装置の位置設定やアングルを制御する。つまり、受信側で行われる映像の視野を変更する指示操作に連動して、配信側に設置されている画像入力装置の位置設定やアングルが変更され、その結果、受信側の画面に表示される映像の視野が受信側での指示操作に従って変化する。

尚、受信側での指示操作は、映像の視野を上下又は左右方向に移動させる指示操作に限定されるものではない。例えば、図２に示したクライアントの画面に表示されている画像に、図４に示したような、拡大表示（ズームイン）を指示する指示ボタン４１と、縮小表示（ズームアウト）を指示する指示ボタン４２を設け、指示ボタン４１、４２による拡大表示又は縮小表示を指示する指示情報に基づいて、コンテンツサーバがカメラのズームレンズを制御するようにしてもよい。

又、図２では画像表示部２１〜２４で、指示ボタン２５〜２８を共用していたが、各画像表示部毎に指示入力部（映像の視野を上下又は左右方向に移動させるための指示入力部）を設けてもよい。例えば、図５に示したように、画像表示部２１に表示される映像の視野を上下に移動させるための指示バー２１ａと左右に移動させるための指示バー２１ｂを画像表示部２１の周辺部に設け、画像表示部２２に表示される映像の視野を上下に移動させるための指示バー２２ａと左右に移動させるための指示バー２２ｂを画像表示部２２の周辺部に設け、画像表示部２３に表示される映像の視野を上下に移動させるための指示バー２３ａと左右に移動させるための指示バー２３ｂを画像表示部２３の周辺部に設け、画像表示部２４に表示される映像の視野を上下に移動させるための指示バー２４ａと左右に移動させるための指示バー２４ｂを画像表示部２４の周辺部に設けてもよい。

この場合、画像表示部２１〜２４を選択する操作は不要となり、例えば、指示バー２１ａをマウスのドラック操作（マウスカーソル２９の矢印の先を指示バー２１ａに合わせて、ボタンを押しながらマウスを動かす操作）により上下に移動させれば、画像表示部２１に対応するエレメンタリストリームを配信しているコンテンツサーバに、その指示情報が送信される。又、指示バー２１ｂをマウスのドラック操作（マウスカーソル２９の矢印の先を指示バー２１ｂに合わせて、ボタンを押しながらマウスを動かす操作）により左右に移動させた場合も同様に、画像表示部２１に対応するエレメンタリストリームを配信しているコンテンツサーバに、その指示情報が送信される。

又、図１に示したカメラ１１ａ〜１４ａは、静止画撮影用の画像入力装置であってももよく、その場合、配信側は撮影された静止画情報を、時間間隔をおいて配信する。又、配信側は、静止画情報を配信する際に、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）方式等の圧縮処理を施してもよい。

本発明に係る画像配信システムの概要を示す概略図である。 本発明に係る画像配信システムにおけるクライアントの画面に表示される画像の例を示す図である。 本発明に係る画像配信システムにおけるクライアントとコンテンツサーバの関係を示す図である。 本発明に係る画像配信システムにおけるクライアントの画面に表示される画像の例を示す図である。 本発明に係る画像配信システムにおけるクライアントの画面に表示される画像の例を示す図である。

符号の説明

１０ 管理サーバ
１１、１２、１３、１４、３１ コンテンツサーバ
１１ａ、１２ａ、１３ａ、１４ａ、３２ カメラ
１５、３０ クライアント
１６ ネットワーク
２０ 画面
２１、２２、２３、２４ 画像表示部
２５、２６、２７、２８、４１、４２ 指示ボタン
２９ マウスカーソル
３３ エレメンタリストリーム
３４ 指示情報
２１ａ、２１ｂ、２２ａ、２２ｂ、２３ａ、２３ｂ、２４ａ、２４ｂ 指示バー

Claims (11)

1. 配信側が画像入力装置から出力される画像情報に基づく情報を配信し、受信側が前記画像情報に基づく情報を受信して、画像表示を行なう画像配信方法であって、
   前記受信側が、前記画像情報に基づく画像に対して変更操作を行なったときに、前記受信側から前記配信側に前記変更操作に関する変更操作情報が送信され、
   前記配信側が、前記変更操作情報に基づいて、前記変更操作の対象となった画像に対応する前記画像情報を出力する前記画像入力装置の動作を制御することを特徴とする画像配信方法。
2. 配信側が複数の画像入力装置から出力される画像情報に基づく情報を配信し、受信側が前記画像情報に基づく情報を受信して、画像表示を行なう画像配信方法であって、
   前記受信側が、前記画像表示を構成する画像の一部を選択し、選択した選択画像に対して変更操作を行なったときに、前記受信側から前記配信側に前記変更操作に関する変更操作情報が送信され、
   前記配信側が、前記変更操作情報に基づいて、前記選択画像に対応する前記画像情報を出力する前記画像入力装置の動作を制御することを特徴とする画像配信方法。
3. 前記画像入力装置の動作が、位置の移動、アングルの変化、又はズームレンズの焦点距離の変化であることを特徴とする請求項１又は２記載の画像配信方法。
4. 前記変更操作が、画像の視野の移動又は拡大縮小を指示する操作であることを特徴とする請求項１乃至３記載の画像配信方法。
5. 前記画像情報に基づく情報が、圧縮処理された動画情報であることを特徴とする請求項１乃至４記載の画像配信方法。
6. 前記圧縮処理が、ＭＰＥＧ−４に準拠した処理であることを特徴とする請求項５記載の画像配信方法。
7. 撮影した画像を画像情報として出力する画像入力手段と、
   前記画像入力手段の視野を制御する視野制御手段と、
   前記画像情報に基づく情報を配信する配信手段を備えた配信側と、
   前記画像情報に基づく情報を受信する受信手段と、
   前記画像情報に基づく画像を表示する画像表示手段を備えた受信側で構成される画像配信システムであって、
   前記受信側が前記画像情報に基づく画像に対する変更指示を送信する変更指示送信手段を有し、前記配信側が前記変更指示を受信する変更指示受信手段を有し、配信側が前記変更指示に基づいて前記画像入力手段の視野を制御することを特徴とする画像配信システム。
8. 前記視野制御手段が、視野の移動、又は視野の拡大縮小を制御することを特徴とする請求項７記載の画像配信システム。
9. 前記変更指示が、前記画像情報に基づく画像に対する視野の移動、又は視野の拡大縮小の指示であることを特徴とする請求項７又は８記載の画像配信システム。
10. 前記画像情報に基づく情報が、圧縮処理された動画情報であることを特徴とする請求項７乃至９記載の画像配信システム。
11. 前記圧縮処理が、ＭＰＥＧ−４に準拠した処理であることを特徴とする請求項１０記載の画像配信システム。

Images