JP2010206391A - 表示装置、表示方法、表示プログラム及び記録媒体 - Google Patents

Abstract

【課題】ユーザの操作に即座に反応して表示領域を移動できる表示装置を提供する。
【解決手段】配信装置３に要求した部分ストリーム映像が届くまでの間に受け付けられた移動要求に対する表示領域２２０の移動を、要求した部分ストリーム映像が届くまでの間に配信される部分ストリーム映像の領域の論理積領域（可動領域）内に制限する。これにより、表示装置４と配信装置３との間の通信の遅延時間Ｔよりも短い間隔で移動要求を受け付けることができ、ユーザの操作に即時的に反応することが可能となる。表示領域２２０の移動可能範囲を可動領域内に制限することで、表示領域２２０は、配信される部分ストリーム映像２１０外に出ることがなくなる。
【選択図】図１

Description

本発明は、ストリーム映像を受信して表示する技術に関する。

放送波やネットワークを利用した映像中継システム（非特許文献１参照）では、複数台のカメラが用意され、配信局のディレクタは各カメラからの映像を選択することで、配信する映像を切り替えたり、リプレイ映像やある選手のインタビュー映像といった、以前に撮影して録画していた映像を中継中に挿入したりする。

このように現状の映像中継システムでは、配信局側主体の映像配信により、ユーザは自身の好みのタイミングで、自身の好みの人物や場所を見ることは不可能であった。例えば、あるバンドのコンサートの中継では、ボーカルに焦点が当てられる傾向にあるため、ボーカル以外のバンドメンバを集中的に見ることは不可能である。同様に、サッカー中継では、ボール周辺の映像が配信される傾向にあり、ボール周辺から離れた位置にいる選手を集中的に見ることは不可能である。他にも、スタジオからの中継や演劇中継においても同様のことが言える。現在の映像中継ではユーザが任意のタイミングで特定の人物に焦点を当てて見ることは不可能である。

一方で、選手や演者全員の動きが見えるように、会場全体の映像を配信するとなると、ユーザが配信されてきた映像を見るディスプレイの解像度や、そのディスプレイの物理的な大きさの影響から、映像内の人間がとても小さく表示される。このため、個人の特定が難しくなる。例えばサッカー場全体を撮影した映像が配信されたとしても、ボールがある位置の特定や、選手個人の特定が困難になる可能性がある。

現在、複数台のカメラを対象物の周囲に配置し、各カメラからの映像を合成することで、自由な視点からの映像をユーザに提供する技術が存在する。合成した映像から見たい場所を選択して表示することで、ユーザは対象物の好みの場所を視聴することが可能となる。

笹部昌弘、外３名、「Ｐ２Ｐネットワークにおけるスケーラブルなメディアストリーミング機構」、電子情報通信学会技術研究報告（ＮＳ２００３−１１）、電子情報通信学会、２００３年９月、p.71-76

しかしながら、ユーザが表示している領域を移動するために映像配信装置に表示領域の移動コマンドを送ると、ユーザ宅の表示装置と映像配信装置との間の通信の遅延により、移動コマンドを送ってから映像を受信して表示を行うまでに遅延が生じる。これにより、ユーザにとっては、表示領域の移動操作を行ってから数秒の間、映像が止まってしまって見える。全体映像が配信されると自由に表示領域を変更することができるが、各家庭の通信帯域の制限から高解像度の全体映像を配信することができないという問題がある。

そこで、表示領域よりも広い領域の配信を受けることで、その配信された領域内では自由に表示領域を移動ができるので、移動コマンドが反映されるまでのタイムラグがなくなる。表示領域が配信された領域から外れそうな場合には、その表示領域を中心とする領域の配信を要求することで、また自由に移動することができる。

ところが、表示装置と映像配信装置との間の通信の遅延により、映像を要求してからその映像を受信するまでに時間を要する。そのため、自由に表示領域を移動させるとすると、表示領域が配信された領域をはずれる場合がある。例えば、表示領域を右方向に移動させ、右方向の領域の映像を要求した後すぐに左方向に移動した場合に、新たに要求した右方向の映像が届いたとき、左方向に移動させた表示領域が届いた映像から外れた位置となることがある。表示領域が配信された領域から外れないようにするためには、移動操作の受け付ける間隔を遅延時間以上とすることで解決できるが、ユーザの要求に即座に反応しているとはいえない。

本発明は、上記に鑑みてなされたものであり、その課題とするところは、ユーザの操作に即座に反応して表示領域を移動できる表示装置を提供することにある。

第１の本発明に係る表示装置は、ストリーム映像を部分的に切り出して部分ストリーム映像として配信する配信装置から当該部分ストリーム映像を受信して表示する表示装置であって、配信装置に対して、ストリーム映像から部分ストリーム映像として切り出す配信領域と、当該部分ストリーム映像の配信開始位置を示すフレームカウンタとを送信するとともに、配信装置から部分ストリーム映像を受信する通信手段と、部分ストリーム映像の一部を表示領域として表示する表示手段と、表示領域の移動要求を受け付ける入力手段と、配信装置との通信の遅延時間に基づいてフレームカウンタを算出するとともに、移動要求に変化があった時刻に受信している部分ストリーム映像の配信領域と当該時刻から遅延時間前までの間に配信装置に対して送信した配信領域との論理積を可動範囲として求め、当該可動範囲内に表示領域が存在するように移動要求を基に表示領域の移動速度及び遅延時間後の表示領域の位置を推定し、当該位置に基づいて配信領域を計算する計算手段と、を備えることを特徴とする。

第２の本発明に係る表示方法は、ストリーム映像を部分的に切り出して部分ストリーム映像として配信する配信装置から当該部分ストリーム映像を受信して表示する表示方法であって、通信手段による、配信装置に対して、ストリーム映像から部分ストリーム映像として切り出す配信領域と、当該部分ストリーム映像の配信開始位置を示すフレームカウンタとを送信するとともに、配信装置から部分ストリーム映像を受信するステップと、表示手段による、部分ストリーム映像の一部を表示領域として表示するステップと、入力手段による、表示領域の移動要求を受け付けるステップと、計算手段による、配信装置との通信の遅延時間に基づいてフレームカウンタを算出するとともに、移動要求に変化があった時刻に受信している部分ストリーム映像の配信領域と当該時刻から遅延時間前までの間に配信装置に対して送信した配信領域との論理積を可動範囲として求め、当該可動範囲内に表示領域が存在するように移動要求を基に表示領域の移動速度及び遅延時間後の表示領域の位置を推定し、当該位置に基づいて配信領域を計算するステップと、を備えることを特徴とする。

第３の本発明に係る表示プログラムは、上記表示装置を構成する各手段としてコンピュータを機能させることを特徴とする。

第４の本発明に係る記録媒体は、上記表示プログラムを記録したコンピュータが読み取り可能な記録媒体であることを特徴とする。

本発明にあっては、配信装置との通信の遅延時間に基づいてフレームカウンタを算出するとともに、移動要求に変化があった時刻から遅延時間前までの間に配信装置に対して送信した配信領域の論理積を可動範囲として求め、表示領域の移動範囲をその可動範囲内に制限することにより、遅延時間よりも短い間隔で移動要求を受け付けても表示領域が部分ストリーム映像から外れることがなくなるので、ユーザの操作に即時に反応することができる。

このように、本発明によれば、ユーザの操作に即座に反応して表示領域を移動できる表示装置を提供することができる。

一実施の形態における映像配信システムの構成図である。 図２（ａ）は、図１の撮影装置１による撮影の様子を示す図であり、図２（ｂ）は、撮影による各映像の合成により得られた映像を示す図である。 図３（ａ）は、図１の配信装置２で得られたストリーム映像と部分ストリーム映像を示す図であり、図３（ｂ）は、配信装置２で操作される操作棒の斜視図である。 図４（ａ）は、操作装置の斜視図であり、図４（ｂ）は、モード切替の説明図である。 モード切替動作を示すシーケンス図である。 通信の遅延時間を考慮してフレームカウンタを算出する必要を説明するための説明図である。 ストリーム映像、部分ストリーム映像、表示領域の関係を説明するための図である。 球技における表示領域の例を示す図である。 表示装置がディレクタモードからユーザモードへの変更要求を受け、表示領域を移動させる動作を示すフローチャートである。 部分ストリーム映像の切り出し位置、フレームカウンタを計算する処理の流れを示すフローチャートである。 操作棒が傾けられて生じた角度θ、δの説明図である。 遅延時間内に操作されたときの可動領域を説明するための図である。 可動領域を８つの部分に分けるための角度θ1 ，θ2 ，θ3 ，θ4 の説明図である。 ８つの部分に分けた可動領域を示す図である。

以下、本発明の実施の形態について図面を用いて説明する。

図１は、本実施の形態における映像配信システムの構成図である。同図に示す映像配信システムは、撮影装置１、２種類の配信装置２，３、表示装置４、および操作装置５を備える。撮影装置１、配信装置２，３、および表示装置４は、通信回線により接続される。操作装置５は表示装置４に接続される。

撮影装置１は、複数の撮影部１１と、各撮影部１１で得た映像を合成する処理部１２と、合成した映像を配信装置２，３に送信する通信部１３とを備える。

撮影装置１は、撮影対象のある現場に設置される。例えば、図２（ａ）に示すように、スポーツ中継のためにスポーツが開催されている場所に設けられ、撮影部１１であるカメラにより競技中の競技場を撮影する。処理部１２が複数の撮影部１１それぞれで撮影された各映像を合成することで、図２（ｂ）に示すような、競技場全体を撮影した映像を得る。処理部１２は、各カメラの撮影領域で重なっている領域を考慮することで１つの映像を得るイメージモザイキング技術を用いる。通信部１３は、得られた映像をストリーム映像として配信装置２，３へ送信する。なお、図２（ｂ）に示す全体を撮影した映像を１つの高解像度カメラで得てもよい。

配信装置２は、撮影装置１から受信した映像によるストリーム映像を部分的に切り出す切出部２１と、別の映像や音声などが記憶された記憶部２２と、切り出した部分ストリーム映像と記憶された映像とを合成する処理部２３と、配信された映像を受信するとともに、映像を合成した部分ストリーム映像を表示装置４に送信する通信部２４とを備える。配信装置２は、表示装置４の解像度や通信回線の帯域幅を考慮して、撮影装置１から受信したストリーム映像の一部を部分的に切り出した部分ストリーム映像を送信する。

ストリーム映像とは、最も過去の映像部分から順次に送信され、送信された映像部分を、後から送信される映像部分を待たずに再生されるものをいう。部分ストリーム映像とは、ストリーム映像によって表示可能な領域内から所定の領域を切り出したストリーム映像である。部分ストリーム映像は、ストリーム映像の時間的な全体を切り出して得たものでもよいし、ストリーム映像の時間的な部分を切り出して得たものでもよい。なお、ストリーム映像は、ここでは、音声を含むが、状況等によっては音声を含まなくても良い。

切出部２１は、受信したストリーム映像の一部を部分ストリーム映像として切り出す。具体的には、図３（ａ）に示すように、競技場全体を撮影したストリーム映像２００から、部分ストリーム映像２１０を切り出す。配信装置２では、部分ストリーム映像２１０として切り出す領域は、操作者（テレビ局のディレクタなどであり、以下「ディレクタ」と称する）が図３（ｂ）に示すような操作棒２５０を操作することにより決定される。例えば、球技におけるボールの位置を含むように切り出したり、演劇の中継では、話者の位置を含むように切り出す。

記憶部２２は、選手のインタビュー映像、広告映像、あるいはナレーション音声など、撮影装置１から受信した映像・音声とは別の映像・音声を蓄積している。

処理部２３は、切出部２１によって切り出された部分ストリーム映像と記憶部２２に蓄積されている映像や音声を合成する。

通信部２４は、撮影装置１からストリーム映像を受信し、インタビュー映像等を合成した部分ストリーム映像を表示装置４に送信するとともに、表示装置４から視聴の登録や解除などの信号を受信する。

配信装置３は、撮影装置１から受信した映像によるストリーム映像を部分的に切り出す切出部３１と、撮影装置１からストリーム映像を受信し、切り出した部分ストリーム映像を表示装置４に送信する通信部３２とを備える。

配信装置３も配信装置２と同様に、撮影装置１から受信したストリーム映像の一部を部分的に切り出した部分ストリーム映像を表示装置４に送信するが、配信装置２とは異なり、ディレクタなどが切り出す領域を指定するのではなく、表示装置４から指定された領域を部分ストリーム映像として切り出す。

表示装置４は、通信部４１、処理部４２、表示部４３、計算部４４、および入力部４５を備える。表示装置４は、演算処理装置、記憶装置、メモリ等を備えたコンピュータにより構成して、各部の処理がプログラムによって実行されるものとしてもよい。このプログラムは表示装置４が備える記憶装置に記憶されており、磁気ディスク、光ディスク、半導体メモリ等の記録媒体に記録することも、ネットワークを通して提供することも可能である。

通信部４１は、配信装置２，３が送信した部分ストリーム映像を受信するとともに、配信装置２，３へ視聴の登録や解除などの信号の送信や、配信装置３へ配信を希望する部分ストリーム映像の切り出し位置、フレームカウンタを送信する。本実施の形態では、配信装置２，３のいずれからも部分ストリーム映像を受信し、配信装置２から配信された部分ストリーム映像を表示するディレクタモードと、配信装置３から配信された部分ストリーム映像を表示するユーザモードを切り替えることができる。

処理部４２は、受信した部分ストリーム映像から表示する領域を切り出し、表示部４３は、切り出した表示領域を表示する。部分ストリーム映像は、表示部４３が表示可能な映像よりも大きな領域を持つ映像であり、計算部４４により、受信した部分ストリーム映像のどの領域を表示するのか計算される。配信装置２から部分ストリーム映像を受信しているときは、受信した部分ストリーム映像の中心付近が表示領域であり、ユーザの操作で表示領域を動かすことはできない（ディレクタモード）。一方、配信装置３から部分ストリーム映像を受信しているときは、ユーザによる操作装置５の操作に基づいて表示すべき表示領域が計算され、ユーザが表示領域を指定することできる（ユーザモード）。

計算部４４は、表示装置４と配信装置３との間の通信の遅延時間に基づいて要求するフレームカウンタを計算するとともに、操作装置５からの入力と、操作装置５からの入力が変化したときから所定時間内に受信する部分ストリーム映像に基づいて表示領域の移動量を計算する。計算部４４による要求する部分ストリーム映像の切り出し位置やフレームカウンタの計算の詳細については後述する。

操作装置５は、ユーザから表示領域の移動操作を受け付け、表示装置４の入力部４５へ送信する。操作装置５が受ける表示領域の移動操作は、ユーザが現在の表示領域の場所とは別の場所を見るべく、つまり、表示領域を移動させたいと思ってなされる操作である。表示領域の移動とは、表示されている表示領域の部分ストリーム映像における位置とは異なる位置の表示領域を切り出して表示する動作を連続的に行い、これにより、表示領域が移動しているように見せることをいう。

図４（ａ）に、操作装置５の例を示す。操作装置５は、切替ボタン５１と、移動要求操作を受ける操作棒５２とを備える。操作棒５２は、実際の、または、仮想的な平面５３に対して垂直に立設されており、それを押して傾けることができ、押すのを止めれば垂直に戻るようになっている。

図４（ｂ）に示すように、本実施の形態では、ユーザモードのときに切替ボタン５１を押下することによりディレクタモードに切り替えることができ、逆に、ディレクタモードのときに切替ボタン５１を押下することによりユーザモードに切り替えることができる。また、ディレクタモードのときに、操作棒５２の操作を検出してユーザモードに切り替えるものでもよい。さらに、ユーザモードのときに、操作棒５２の操作が所定の時間検出されなかったときに、ディレクタモードに切り替えるものでもよい。

ここで、ユーザモードとディレクタモードの切り替えについて説明する。図５は、ユーザモードとディレクタモードを切り替える動作を示すシーケンス図である。

表示装置４が配信装置２に対して受信登録を行うと（ステップＳ５０１）、配信装置２は、ディレクタの指示に基づいて生成した部分ストリーム映像の配信を始める（ステップＳ５０２）。配信装置２から送信されるデータには、部分ストリーム映像の他にも、ストリーム映像内における部分ストリーム映像（配信領域）の左下の座標、フレームカウンタ、タイムスタンプ、切替フラグ、および配信装置３のＵＲＩ（Uniform Resource Identifier）が含まれる。切替フラグは、ユーザが操作可能であるか、つまり、配信装置３による映像配信が可能であるか否かを示すフラグである。

ユーザが操作装置５を操作すると（ステップＳ５０３）、操作棒５２の傾き方に応じた移動値が表示装置４に送信される（ステップＳ５０４）。なお、切替ボタン５１を押下した後に、操作棒５２の操作を受け付けてもよい。

移動値を受信した表示装置４は、表示領域の移動先、および要求する配信領域、フレームカウンタを計算する（ステップＳ５０５）。ここで、ユーザモードへ切り替え、つまり、配信装置３からの部分ストリーム映像の受信が可能であるときは、配信装置２に対して受信登録解除を行うとともに（ステップＳ５０６）、配信装置３に配信領域の左下の座標、フレームカウンタ、およびタイムスタンプを送信して部分ストリーム映像の配信を要求する（ステップＳ５０７）。配信装置２は、表示装置４への映像の配信を停止する。一方、配信装置３は、要求された部分ストリーム映像の配信を始める。配信装置３から送信されるデータには、部分ストリーム映像の他にも、フレームカウンタ、タイムスタンプ、および切替フラグが含まれる。

ユーザの操作が終了すると、表示装置４は、配信装置３に対して受信登録解除を行うとともに（ステップＳ５０９）、配信装置２に対して受信登録を行い、ディレクタモードへ移行する（ステップＳ５１０）。

次に、表示装置４が配信装置３に要求する部分ストリーム映像のフレームカウンタについて説明する。図６は、遅延時間を考慮してフレームカウンタを算出する必要を説明するための説明図である。

図６では、表示装置４には、フレームカウンタが１５００からの映像が配信装置２から順次配信されている。フレームカウンタが１５３０の映像を表示しているときに配信装置２から配信装置３へ配信元を切り替える場合、表示装置４が、フレームカウンタが１５３０からの映像の配信を配信装置３に要求すると、その要求が配信装置３に届き、配信装置３から配信された映像が表示装置４に届くまでにはＴ秒経過している。配信装置３から配信された映像が届いたときに配信装置２から配信されていた映像のフレームカウンタが１７００だとすると、配信装置３から配信された映像に切り替えた場合、表示装置４で表示していた映像のフレームカウンタが１７００から１５３０に戻るため、映像が時間的に不連続となってしまう。

そこで、計算部４４は、配信装置３へ要求を出す時点のフレームカウンタＦＣに遅延時間Ｔと、遅延時間ＴのゆらぎＣを考慮して、ＦＣ’＝ＦＣ＋ＦＲ×Ｔ−Ｃ の式により要求するフレームカウンタＦＣ’の値を算出する。ＦＲはフレームレートを表す。遅延時間Ｔは、表示装置４と配信装置３との間の通信の遅延時間であり、詳しくは、通信の往復にかかる時間の長さである。遅延時間Ｔは、予め計算部４４が記憶しているもの、または、フレームカウンタを算出する際に表示装置４が求めるものである。遅延時間Ｔは、ＮＴＰ（Network Time Protocol）で得られる現在時刻（タイムスタンプ）を利用して求めることができる。例えば、表示装置４と配信装置３で往復の通信を行う前後のタイムスタンプ同士の差で求め、差を遅延時間Ｔとすればよい。フレームレートＦＲ、および、ゆらぎＣは、予め計算部４４が記憶しているものである。

このように、表示装置４と配信装置３との間の通信の遅延時間Ｔを考慮して配信装置３から配信された部分ストリーム映像が届く頃のフレームカウンタを推定し、そのフレームカウンタからの部分ストリーム映像を要求することで、配信装置２から配信装置３に映像配信元を切り替えても、時間的に連続した映像を得ることができる。

次に、表示装置４が配信装置３に要求する部分ストリーム映像の切り出し位置について説明する。

まず、ストリーム映像と部分ストリーム映像と表示領域の関係を説明する。図７は、ストリーム映像２００、部分ストリーム映像２１０、および表示領域２２０の関係を説明するための図である。撮影装置１が競技場や舞台などを撮影して生成したものをストリーム映像２００として配信装置２，３に送信する。配信装置２，３は、ストリーム映像２００の一部を部分的に切り出して部分ストリーム映像２１０（縦ＨＳ×横ＷＳ）を表示装置４に配信する。表示装置４は、配信された部分ストリーム映像２１０の一部を切り出した表示領域（縦ＨＤ×横ＷＤ）を表示する。図８は、表示装置４の表示部４３が表示領域２２０を表示した例である。

ユーザモードのとき、ユーザは操作装置５を操作して表示領域２２０として切り出す領域を指定することができる。表示領域２２０が部分ストリーム映像２１０の端を超えて指定されると映像を表示することができなくなる。そこで、計算部４４は、ユーザの操作装置５から入力した移動値に基づき、表示領域２２０の移動速度を算出し、部分ストリーム映像２１０の切り出し領域を推定して配信装置３に要求する。以下、詳細に説明する。

図９は、表示装置４がディレクタモードからユーザモードへの変更要求を受け、表示領域を移動させる動作を示すフローチャートである。

表示装置４は、配信装置２から部分ストリーム映像２１０の配信を受けている。このとき、ユーザモードへの変更要求があったか否かを判定する（ステップＳ９０１）。具体的には、切替ボタン５１の押下、あるいは、操作棒５２の変化を検出することにより行う。

ユーザモードへの変更要求があった場合、ユーザモードへの変更が可能であるか否かを判定する（ステップＳ９０２）。具体的には、計算部４４が切替フラグを参照し、配信装置３による映像配信が可能であるか否かを判定する。そして、ユーザモードへの変更が可能であった場合は、配信元を配信装置３に切り替える。

ユーザモードでは、操作棒５２が操作されたか否かを判定する（ステップＳ９０３）。操作棒５２が操作されたか否かは、操作棒５２の傾きを検出することで行う。操作棒５２が操作されていないときは、ディレクタモードに切り替えるか否かを判定する（ステップＳ９０４）。ディレクタモードに切り替えるか否かは、切替ボタン５１が押下されたか否か、あるいは、所定の時間、操作棒５２が操作されていないか否かを判定することにより行う。ディレクタモードに切り替えると判定されると、配信元を配信装置２に切り替えてディレクタモードに切り替える（ステップＳ９１０）。ディレクタモードに切り替えない場合は、ステップＳ９０３に戻る。

操作棒５２が操作された場合、操作棒５２の傾き方に変化があった最後のときから遅延時間Ｔ経過したか否かを判定する（ステップＳ９０５）。つまり、遅延時間Ｔの間、操作棒５２の傾き方が変化しなかったか否かを判定する。遅延時間Ｔ経過している場合は、操作棒５２の傾き方に変化があった最後のときに配信装置３に要求した部分ストリーム映像２１０が届いているので、表示領域２２０を切り出す位置を新たな部分ストリーム映像２１０に合わせ、表示領域を切り替える（ステップＳ９０６）。配信される部分ストリーム映像２１０の切り出し位置が異なるものとなっても、全体を撮影したストリーム映像２００における表示領域２２０の位置に大きな変化はないので、部分ストリーム映像２１０の切り出し位置が変化したことをユーザに分からなくすることができる。

遅延時間Ｔ経過していないときは、前回の操作受け付け時のときから操作棒５２の傾き方が変化したか否かを判定する（ステップＳ９０７）。操作棒５２の傾き方が変化していない場合は、ステップＳ９０５に戻り遅延時間Ｔ経過したか否かを判定する。本実施の形態では、ユーザによる操作装置５の操作をｋ（＜＜Ｔ）秒に一回受け付ける。

操作棒５２の傾き方が変化した場合は、その変化後の傾き方に基づいて遅延時間Ｔ後の表示領域２２０を推定し、部分ストリーム映像２１０の切り出し位置、フレームカウンタを計算し、部分ストリーム映像２１０の配信を配信装置３に要求する（ステップＳ９０８）。そして、推定した表示領域２２０への表示領域２２０の移動を開始して（ステップＳ９０９）、ステップＳ９０５に戻り遅延時間Ｔ経過したか否かを判定する。なお、表示領域２２０は、突然新たな表示領域に切り替わることなく、移動前の表示位置から移動を開始して滑らかに移動する。

次に、配信装置３に要求する部分ストリーム映像２１０の切り出し位置、フレームカウンタを計算する処理（図９のステップＳ９０８）の詳細について説明する。図１０は、部分ストリーム映像の切り出し位置、フレームカウンタを計算する処理の流れを示すフローチャートである。

まず、操作装置５の操作棒５２が受けた操作量を基に図１１における角度θ，δを求める（Ｓ１００１）。角度θは、操作棒５２と平面５３とが接する位置を回転中心として、平面５３を正対視したときにおいて右方向に伸びるＸ軸から、傾斜した操作棒５２が平面に投影された位置まで、半時計回りに回転する場合の回転角の値である。なお、平面５３を正対視したときにおいて上方向に延びる軸をＹ軸とする。角度δは、平面５３に垂直になっているときの操作棒５２と傾斜した操作棒５２の間にできる鋭角の絶対値である。

なお、表示装置４における計算上の座標系では、Ｘ軸、Ｙ軸は、表示領域２２０を正対視したときにおいて、それぞれ右方向、上方向に延びる軸でもある。また、当該座標系では、操作棒５２と平面５３とが接する位置の座標は、表示領域２２０の中心の座標でもある。平面５３に投影された傾斜した操作棒５２の先端方向と表示領域２２０の移動方向とは平行であり、つまり、角度θで表示領域２２０の移動方向が定まるようになっている。また、角度δが大きい程、表示領域２２０は速く移動する。つまり、角度δで表示領域２２０の移動速度が定まるようになっている。

配信装置３に対して要求した新しい部分ストリーム映像２１０が届くまでには遅延時間Ｔ要する。そこで、新しい部分ストリーム映像２１０が届くまでは、要求してから遅延時間Ｔ経過するまでに配信される部分ストリーム映像２１０の論理積領域（可動領域）内の端に表示領域２２０が達するという条件を満たす最低移動速度を求める（ステップＳ１００２）。

図１２を用いて可動領域について具体的に説明する。時刻ｔ＝ｔi のときに操作棒５２が操作されたとする。符号２２０Ａは、ｔ＝ｔi のときの表示領域２２０Ａを示し、符号２１０Ａは、そのときに受信する部分ストリーム映像２１０Ａの切り出し位置を示す。このとき、ｔi −Ｔ≦ｔ＜ｔi において操作棒５２が操作されていない場合は、ｔ＝ｔi のときに配信装置３に要求する新たな部分ストリーム映像が届くまでのｔi ≦ｔ＜ｔi ＋Ｔの間の配信領域（部分ストリーム映像が切り出される領域）は、符号２１０Ａで示す部分であり、部分ストリーム映像２１０Ａ全体が可動領域となる。そして、可動領域および操作棒５２の傾き方からｔ＝ｔi ＋Ｔのときの表示領域２２０Ｂを計算し、表示領域２２０Ｂが中心となるように部分ストリーム映像２１０Ｂの切り出し位置を計算して送信する。その後、時刻ｔ＝ｔi ＋ａｋ（ａｋ＜Ｔ）のときに操作棒５２が操作されたとすると、ｔi ＋ａｋ≦ｔ＜ｔi ＋ａｋ＋Ｔの間、つまり、ｔ＝ｔi ＋ａｋのときに要求する新たな部分ストリーム映像が届くまでの間では、ｔ＝ｔi ＋ａｋのときに配信されている部分ストリーム映像２１０Ａとｔ＝ｔi のときに要求したｔ＝ｔi ＋Ｔ以降に配信される部分ストリーム映像２１０Ｂとの論理積を取った領域が可動領域となる。つまり、操作棒５２の傾き方が変化した時刻（ｔ＝ｔi ＋ａｋ）に受信している部分ストリーム映像の配信領域と、時刻（ｔ＝ｔi ＋ａｋ）から遅延時間Ｔ前（ｔ＝ｔi ＋ａｋ−Ｔ）までの間に要求した全ての配信領域との論理積を取った領域が可動領域となる。ｔi ＋ａｋ−Ｔ＜ｔi ＜ｔi ＋ａｋであるので、ｔ＝ｔi 以前に要求した部分ストリーム映像２１０Ａとｔ＝ｔi のときに要求した部分ストリーム映像２１０Ｂとの論理積を取った領域が可動領域となる。そして、その可動領域内に収まるようにｔ＝ｔi ＋ａｋ＋Ｔのときの表示領域２２０Ｃは計算される。

可動領域が求まると、表示領域２２０が可動領域の端に達したときの最大可動距離ｍａｘΔｘ，ｍａｘΔｙを求める。最大可動距離ｍａｘΔｘ，ｍａｘΔｙを求めるにあたり、計算部４４は、図１３に示す角度θ1 ，θ2 ，θ3 ，θ4 を次式により求める。なお、図１３は、可動領域２３０（縦ＨＭ×横ＷＭ）と可動領域内における表示領域２２０の位置を示す。

続いて、求めた角度θ1 ，θ2 ，θ3 ，θ4 により、可動領域２３０における表示領域２２０の中心を基準として８つの領域Ａ１〜Ａ８に分け、それぞれの領域Ａ１〜Ａ８において表示領域２２０が移動する場合の最大可動距離ｍａｘΔｘ，ｍａｘΔｙを求める。

表示領域２２０が図１４の領域Ａ１内を移動する場合、つまり、０≦θ≦θ1 を満たす場合、最大可動距離ｍａｘΔｘ，ｍａｘΔｙは次式となる。

表示領域２２０が図１４の領域Ａ２内を移動する場合、つまり、θ1 ≦θ≦π／２を満たす場合、最大可動距離ｍａｘΔｘ，ｍａｘΔｙは次式となる。

表示領域２２０が図１４の領域Ａ３内を移動する場合、つまり、π／２≦θ≦π−θ2 を満たす場合、最大可動距離ｍａｘΔｘ，ｍａｘΔｙは次式となる。

表示領域２２０が図１４の領域Ａ４内を移動する場合、つまり、π−θ2 ≦θ≦πを満たす場合、最大可動距離ｍａｘΔｘ，ｍａｘΔｙは次式となる。

表示領域２２０が図１４の領域Ａ５内を移動する場合、つまり、π≦θ≦π＋θ3 を満たす場合、最大可動距離ｍａｘΔｘ，ｍａｘΔｙは次式となる。

表示領域２２０が図１４の領域Ａ６内を移動する場合、つまり、π＋θ3 ≦θ≦３π／２を満たす場合、最大可動距離ｍａｘΔｘ，ｍａｘΔｙは次式となる。

表示領域２２０が図１４の領域Ａ７内を移動する場合、つまり、３π／２≦θ≦２π−θ4 を満たす場合、最大可動距離ｍａｘΔｘ，ｍａｘΔｙは次式となる。

表示領域２２０が図１４の領域Ａ８内を移動する場合、つまり、２π−θ4 ≦θ≦２πを満たす場合、最大可動距離ｍａｘΔｘ，ｍａｘΔｙは次式となる。

続いて、計算部４４は、次式によりＸ軸方向の移動速度ｖｘおよびＹ軸方向の移動速度ｖｙを求める。ステップＳ１００２で求める最低移動速度は、移動速度ｖｘ，ｖｙからなるものである。

続いて、計算部４４は、実際の表示領域２２０の移動速度を次式により求める（ステップＳ１００３）。この移動速度は、ｘ軸方向の移動速度ｖｘ１とｙ軸方向のｖｙ１とからなる。

ここで、δは、ステップＳ１００１で求めたものであり、ｍａｘδは、操作棒５２を最も大きく傾けた場合の角度δで、つまり、０≦δ≦ｍａｘδである。ｍａｘδは、予め計算部４４が記憶しているものであり、例えば、９０度である。

続いて、計算部４４は、後に配信装置３から送信される部分ストリーム映像２１０の左下の座標ｐ’（ｘ’，ｙ’）を次式により求める（ステップＳ１００４）。ｐ（ｘ，ｙ）は、現在の部分ストリーム映像２１０の左下の座標である。

続いて、計算部４４は、新たな部分ストリーム映像２１０の配信を要求するフレームカウンタＦＣ’をＦＣ’＝ＦＣ＋ＦＲ×Ｔ−Ｃの式により求める（ステップＳ１００５）。

続いて、通信部４１は、配信装置２から配信装置３に通信セッションを切り替え（ステップＳ１００６）、算出したフレームカウンタＦＣ’、座標ｐ’を配信装置３に送信する（ステップＳ１００７）。配信装置に要求した座標ｐ’などは、可動領域の算出に利用するために表示装置４の有する記憶装置に記憶させておく。なお、既に配信装置３から配信されている場合は、通信セッションを切り替える必要はない。

以上説明したように、本実施の形態によれば、配信装置３に要求した部分ストリーム映像が届くまでの間に受け付けられた移動要求に対する表示領域２２０の移動を、要求した部分ストリーム映像が届くまでの間に配信される部分ストリーム映像の領域の論理積領域（可動領域）内に制限することにより、表示装置４と配信装置３との間の通信の遅延時間Ｔよりも短い間隔で移動要求を受け付けることができ、ユーザの操作に即時的に反応することが可能となる。表示領域２２０の移動可能範囲を可動領域内に制限することで、表示領域２２０は、配信される部分ストリーム映像２１０外に出ることがない。

また、本実施の形態によれば、以下の効果が期待できる。

従来のテレビ中継では、ユーザはテレビ局が決定した映像のみを見るものであったが、本実施の形態によれば、各ユーザが、自らの好みの視点からの映像を見ることができる。また、それを好きなタイミングで行える。例えば、スポーツ中継の際、ボール周辺の選手以外の選手やベンチ等を好きなタイミングで見ることができる。また、演劇中継の際、話者以外の人物を好きなタイミングで見ることができる。さらに、コンサート中継の際、カメラが向けられる傾向にあるボーカル以外のメンバを好きなタイミングで見ることができる。

表示領域は、部分ストリーム映像を部分的に切り出したものなので、別の位置の部分ストリーム映像を要求しなくても、送信された部分ストリーム映像内なら表示領域を移動でき、表示領域の移動開始までのタイムラグが短くできる。

また、ユーザが複数の場合、表示装置４をユーザごとに設け、配信装置３においては、切出部３１をユーザごとに設け、通信セッションをユーザごとに設定することで、各ユーザは自分好みの映像を見ることができる。さらに、複数のユーザをグループ化し、あるユーザが見る映像を同じグループ内の他のユーザにも見せるようにしてもよい。これにより、ユーザ間のコミュニケーションの促進を図ることができる。

さらに、ディレクタモードのときも表示領域の周囲も含めた部分ストリーム映像を配信することで、ディレクタモードからユーザモードへ移行した直後にも表示領域を移動できる。また、遅延時間Ｔを考慮してフレームカウンタを推測することで、配信装置２，３の両方から映像を受信する時間を少なくすることができる。

なお、本実施の形態の操作棒５２に代えて、いわゆるカーソルボタンのような方向別のボタンを用いてもよい。このとき、ボタンの押す強さを操作棒５２の角度δの代わりに用いることができる。

また、本実施の形態では、ユーザモードとディレクタモードを切り替えたが、ユーザモードだけとしてもよい。この場合、配信装置２が不要となる。

１…撮影装置
２，３…配信装置
４…表示装置
５…操作装置
１１…撮影部
１２…処理部
１３…通信部
２１…切出部
２２…記憶部
２３…処理部
２４…通信部
３１…切出部
３２…通信部
４１…通信部
４２…処理部
４３…表示部
４４…計算部
４５…入力部
５１…切替ボタン
５２…操作棒
５３…平面
２００…ストリーム映像
２１０…部分ストリーム映像
２２０…表示領域
２３０…可動領域
２５０…操作棒

Claims (4)

1. ストリーム映像を部分的に切り出して部分ストリーム映像として配信する配信装置から当該部分ストリーム映像を受信して表示する表示装置であって、
   前記配信装置に対して、前記ストリーム映像から前記部分ストリーム映像として切り出す配信領域と、当該部分ストリーム映像の配信開始位置を示すフレームカウンタとを送信するとともに、前記配信装置から前記部分ストリーム映像を受信する通信手段と、
   前記部分ストリーム映像の一部を表示領域として表示する表示手段と、
   前記表示領域の移動要求を受け付ける入力手段と、
   前記配信装置との通信の遅延時間に基づいて前記フレームカウンタを算出するとともに、前記移動要求に変化があった時刻に受信している前記部分ストリーム映像の前記配信領域と当該時刻から前記遅延時間前までの間に前記配信装置に対して送信した前記配信領域との論理積を可動範囲として求め、当該可動範囲内に前記表示領域が存在するように前記移動要求を基に前記表示領域の移動速度及び前記遅延時間後の前記表示領域の位置を推定し、当該位置に基づいて前記配信領域を計算する計算手段と、
   を備えることを特徴とする表示装置。
2. ストリーム映像を部分的に切り出して部分ストリーム映像として配信する配信装置から当該部分ストリーム映像を受信して表示する表示方法であって、
   通信手段による、前記配信装置に対して、前記ストリーム映像から前記部分ストリーム映像として切り出す配信領域と、当該部分ストリーム映像の配信開始位置を示すフレームカウンタとを送信するとともに、前記配信装置から前記部分ストリーム映像を受信するステップと、
   表示手段による、前記部分ストリーム映像の一部を表示領域として表示するステップと、
   入力手段による、前記表示領域の移動要求を受け付けるステップと、
   計算手段による、前記配信装置との通信の遅延時間に基づいて前記フレームカウンタを算出するとともに、前記移動要求に変化があった時刻に受信している前記部分ストリーム映像の前記配信領域と当該時刻から前記遅延時間前までの間に前記配信装置に対して送信した前記配信領域との論理積を可動範囲として求め、当該可動範囲内に前記表示領域が存在するように前記移動要求を基に前記表示領域の移動速度及び前記遅延時間後の前記表示領域の位置を推定し、当該位置に基づいて前記配信領域を計算するステップと、
   を備えることを特徴とする表示方法。
3. 請求項１記載の表示装置を構成する各手段としてコンピュータを機能させるための表示プログラム。
4. 請求項３記載の表示プログラムを記録したコンピュータが読み取り可能な記録媒体。

Images