JP2012070378A - パノラマシーン内でのナビゲーション方法 - Google Patents

Abstract

【課題】
ユーザ端末に表示されるパノラマビデオシーケンス内でのナビゲーション方法を提供する。
【解決手段】
ビデオシーケンスは、該ビデオシーケンスの一区画に各々が対応する複数の重なり合わないビデオパッチに分割される。ユーザ端末のスクリーンに表示される視界ゾーンと呼ぶパノラマビデオシーケンスの領域を形成するために必要とされるビデオパッチが、ナビゲーションコマンドに従って決定される。本発明によれば、ビデオパッチはユーザ端末に、一部については第１の伝送ネットワークを介して、別の一部については第１の伝送ネットワークとは別個の第２の伝送ネットワークを介して提供される。
【選択図】 図７

Description

本発明は、ユーザ端末に表示されるパノラマビデオシーケンス内でのナビゲーション方法に関する。

パノラマ画像を介したインタラクティブなナビゲーションを用いるインターネットサービスが、ここ数年、大きな成功を収めている。これらのサービスを用いて、ユーザは、とりわけ、著名なサイトからの視覚情報にアクセスして復元したり、街又は美術館を仮想的に訪れたり、建物内を仮想的に動き回ったりすることができる。これらのサービスは、画像ベースレンダリング（Image Based Rendering；ＩＢＲ）として知られる技術に基づいている。ＩＢＲは、複雑な３Ｄモデル化ツールを用いてグラフィックモデルを構築することに代えて、実世界からの画像化をテクスチャとして用い、これらを、ユーザが内部をナビゲート（航行）することが可能な基本的な３Ｄオブジェクト、例えば、円筒、チューブ又は球などに適用する。ＩＢＲ技術の主な欠点は、静止したシーンの再現しか可能にしないことである。

また、数年前、ビデオベースレンダリング（Video Based Rendering；ＶＢＲ）として知られる技術が出現した。ＶＢＲにおいては、３Ｄオブジェクトに適用されるテクスチャはビデオストリームである。この技術によれば、幾つかの同期されたビデオストリームが、例えば、幾つかの視点を用いて動的シーン全体を捕捉するパノラマカメラによって生成される。そして、これらのストリームが処理されて３Ｄオブジェクトに適用される。ユーザは、この動的シーン内を、その中に入り込み且つ活動の中心にいるような感覚でナビゲートすることができる。

パノラマ画像を介したインタラクティブなナビゲーションに関連して、非特許文献１が知られている。この文献には、ユーザから到来するナビゲーションコマンドに従って、パノラマシーンのビデオストリームがサーバからユーザ端末に伝送される手順が記載されている。パノラマシーンのビデオストリームは、時間的に連続した一連のパノラマ画像（シーケンス）である。このパノラマビデオシーケンスの伝送を容易にするため、該シーケンスは、１つのモザイク（繋ぎ合わせ画像）を形成する所定サイズの複数の重なり合わないビデオ部分に分割される。これらのビデオ部分は、上記非特許文献１においてビデオパッチと呼ばれており、以下、本願においてもそのように呼ぶ。各ビデオパッチは、パノラマビデオシーケンスの１つの空間ゾーン（区画）に対応し、パノラマビュー内の特定の空間位置を提示する。ビデオパッチは、固定数又は可変数の連続した複数のビデオパッチを含むことができる。このパノラマビデオシーケンスのビデオパッチ群への分割を図１に示す。パノラマビデオシーケンス１０は複数のビデオパッチ１１に分割されている。各ビデオパッチはサーバで別々に符号化される。参照符号１２を付したビデオシーケンスの部分は、ユーザ端末のスクリーンに表示されているシーケンス部分を表している。このゾーンは、ユーザ端末によって送信されたナビゲーションコマンドによって定められ、以下では視界ゾーンと称する。

図２は、視界ゾーン１２の一例を示しており、視界ゾーン１２が、参照符号１１ａ乃至１１ｄを付した幾つかのビデオパッチに重なっている。この場合、ユーザ端末が部分１２を表示することができるよう、サーバは、少なくともこれら４つのビデオパッチをユーザ端末に送信しなければならない。

シーンに入り込んでいる印象をユーザが受けるよう、ユーザ端末のスクリーン上でのビデオパッチの表示は迅速且つ滑らかであることが必要である。この目的のため、上記非特許文献１では、ビデオパッチのプリフェッチ（先取り）処理が規定されている。この処理は、ビデオパッチが視界ゾーン１２に含まれる前に、サーバにてそれらビデオパッチの送信をトリガーすることからなっている。クライアントが、パノラマビューの特定ゾーンに対応し且つ所与の提示（プレゼンテーション）タイムスタンプより後のビデオパッチを送信するようサーバに要求する。この提示タイムスタンプは、現在のタイムスタンプとパッチを受信するのに要する最大時間とに従って見積もられる。この処理はまた、現在の視界ゾーンに属するビデオパッチだけでなく、ユーザナビゲーションコマンドに従って視界ゾーンが何れかの方向に移動する場合に属することになりそうなビデオパッチをも、ユーザ端末にロードすることを含む。

この目的のため、例えば図３に示すように、各ビデオパッチ１１に、該ビデオパッチ１１の画像部分を取り囲む検出ゾーンと呼ぶ区画１３が定められる。この例において、ビデオパッチの画像部分の境界、及びその検出ゾーンの境界は、画像部分の周囲全体で距離ｄだけ離隔されている。視界ゾーン１２が検出ゾーン１３に入ると、ビデオパッチ１１をユーザ端末に送信するようサーバに求める要求が、サーバに送信される。

図４の例において、部分１２は６個のビデオパッチ１１ａ乃至１１ｆの検出ゾーン１３ａ乃至１３ｆと重なっている。故に、ビデオパッチ１１ａ乃至１１ｄのみが部分的あるいは全体的に現在の視界ゾーン１２内に含まれているものの、ビデオパッチ１１ａ乃至１１ｆが、ユーザ端末からの要求を受けてユーザ端末にプリフェッチされる。

ユーザ端末におけるビデオパッチのプリフェッチは、ユーザ端末による要求の送信とビデオパッチの受信との間の待ち時間を少なくとも部分的に解消することを可能にする。

検出ゾーン１３の大きさは、良好なナビゲーション速度を得られるように要求が十分早期にサーバに送信されるよう十分に大きくされるが、大きすぎると、過大な数のビデオパッチをユーザ端末にプリフェッチすることになる（これらの一部は、その後、スクリーン上に表示されることはない）ので、ナビゲーションの滑らかさを損ねてしまう。実際には、検出ゾーンの大きさは、ナビゲーションの滑らかさとスピードとの間の良好な妥協点が得られるように定められなければならない。ナビゲーションの滑らかさはユーザ端末のプロセッサのロード（loading）能力に依存するが、該能力は、検出ゾーンの大きさ（より多くのデータがダウンロードされる）とともに低下する。逆に、ナビゲーション速度は、検出ゾーンの大きさに比例する（データをロードするのに、より多くの時間を要する）。しかしながら、この妥協点を決定することは常に容易なわけではない。

また、ナビゲーションの滑らかさ及びスピードは、ビデオパッチを輸送するネットワークのダイレクトチャネル及び／又は要求を輸送するリターンチャネルの規模によって影響され得る。

Carten Grunheit、Aljoscha Smolic、Thomas Wiegand、「Efficient representation and interactive streaming of high-resolution panoramic views」、ICIP 2002

本発明の１つの目的は、上述の欠点を少なくとも部分的に解決することを可能にするような、パノラマビデオシーケンス内でのインタラクティブ（対話式）ナビゲーション方法を提供することである。

本発明によれば、ユーザ端末へのビデオパッチの伝送のために少なくとも２つの別々の伝送ネットワークを使用することが提案される。

本発明の目的は、故に、ユーザ端末装置に表示されるパノラマビデオシーケンス内でのナビゲーション方法であって、パノラマビデオシーケンスは、該パノラマビデオシーケンスの一区画に各々が対応する複数の重なり合わないビデオ部分に分割され、該ビデオ部分はビデオパッチと呼ばれ、各ビデオパッチは、所定のサイズと、パノラマビデオシーケンス内の空間位置とを有し、ユーザ端末のスクリーンに表示される視界ゾーンと呼ぶパノラマビデオシーケンスの領域を形成するために必要とされるビデオパッチが、ナビゲーションコマンドに従って決定され、ビデオパッチはユーザ端末に、一部については第１の伝送ネットワークを介して、別の一部については第１の伝送ネットワークとは別個の第２の伝送ネットワークを介して提供されることを特徴とする方法である。

故に、二重ネットワークの使用により、ビデオパッチの伝送を２つのネットワークに分配することが可能になる。

好適な一実施形態によれば、第１の伝送ネットワークは、ブロードキャストネットワークとも呼ぶ一般用ブロードキャストネットワークであり、第２の伝送ネットワークは個人用ブロードキャストネットワークである。

特定の一モードにおいて、第２の伝送ネットワークは、リターン（戻り）チャネルを有するブロードバンドネットワークであり、該リターンチャネル上での要求の伝送後に、該ブロードバンドネットワークを介してビデオパッチがユーザ端末に伝送される。

これら２つの伝送ネットワークの使用は以下の利点を有する：
− 個人用ブロードキャストネットワークの帯域幅は、ブロードキャストネットワークの帯域幅より“高価”でなく、故に、グローバルネットワークの帯域幅を、一般用ブロードキャストネットワークより低いコストで増大させることができる；
− 個人用ブロードキャストネットワークは、全てのユーザ、特にデジタル加入者回線アクセス多重化装置（ＤＳＬＡＭ）から遠隔のユーザに十分なビットレートが保証されることを可能にせず、このビットレートが増大されることをブロードキャストネットワークが可能にする。

本発明を用いると、サービス加入者は２つのネットワークにより伝送されるビデオパッチ一式へのアクセスを有するが、非加入者はこれらネットワークの一方で提供されるビデオパッチへのアクセスのみを有するような、インタラクティブなナビゲーションサービスの創造を検討することができる。

例えば、警察捜査番組の場合、加入者は手掛かりを見出すために犯罪シーン全体内でナビゲートすることができるが、非加入者は、一般用ブロードキャストネットワークによって伝送されるビデオパッチに対応した、シーンの一層限られた領域へのアクセスのみを有する。

別の１つの可能な用途は、スタジアムで開催されているスポーツイベントのパノラマ再伝送に関する。例えば、幾つかのスポーツ分野（例えば、砲丸投げ、高跳び、棒高飛び、幅跳びなど）が同時に行われる競技会の再伝送に関して、加入者はスタジアム全体を動き回ってそれらの分野の何れをも観ることができるが、非加入者は、放送で流布される単一の分野を観ることができるのみである。

非加入者もパノラマシーン全体にわたってナビゲートすることができるが、加入者のみがパノラマシーンの特定部分にズームすることができるサービスも検討することができる。この用途では、シーンのサブサンプリングされた部分に対応するビデオパッチが一般用ブロードキャストで伝送され、更なる解像度を提供するビデオパッチが個人用ブロードキャストネットワークを用いて伝送される。

ビデオパッチを伝送するためのこのような二重ネットワークの使用は、しかしながら、ユーザ端末レベルでの表示問題を生じさせる。実際には、プリフェッチ時間、ひいては、ビデオパッチのオンスクリーン表示は、その伝送を担うネットワークに従って異なり得る。一般用ブロードキャストネットワークの場合、全てのビデオパッチは事前の要求なしでブロードキャストされ、スクリーン上でのビデオパッチの提示時間は比較的短いものにすることができる。リターンチャネルを備えた個人用ブロードキャストネットワークの場合、ビデオパッチはユーザによる要求に応じて伝送されるのみであり、スクリーン上での提示時間は、サーバへの要求の伝送時間、サーバによる要求の処理時間、ユーザ端末へのビデオパッチの伝送時間、及びユーザ端末でのビデオパッチの復号化及び記憶のための時間を含む。なお、個人用ブロードキャストネットワーク上での伝送時間は、該ネットワークの状態に従って時間的に変化し得る。ビデオパッチプリフェッチ処理では、これらネットワーク間でのこの提示時間の不一致を考慮しなければならない。

１つの解決策は、速い方のネットワークからのビデオパッチをバッファメモリ内に置き、それらを遅い方のネットワークからのビデオパッチに揃えることによって、ビデオパッチの処理を同期させることからなる。しかしながら、この解決策は、先ずビデオパッチをプリフェッチし、その後、表示を遅延させるという対立する動作を含むものであるため、満足できるものではない。

本発明の一変形例によれば、速い方のネットワークから到来するビデオパッチの表示を遅延させる必要がないよう、遅い方の伝送ネットワークから到来するビデオパッチを十分早期にプリフェッチするという別の解決策が提案される。これは、各ビデオパッチに対して、上述のように規定されるもののサイズが該ビデオパッチを提供する伝送ネットワークに従う検出ゾーンを規定することによって達成される。遅い方のネットワークから到来するビデオパッチのプリフェッチが、他方のネットワークからのビデオパッチのそれより前になるよう、遅い方のネットワークによって伝送されるビデオパッチの検出ゾーンのサイズは、速い方のネットワークによって伝送されるビデオパッチのそれより大きくされる。

この目的のため、本発明に係る方法はまた、
各ビデオパッチに対して、該ビデオパッチを取り囲み且つ該ビデオパッチのサイズより大きいサイズを有する少なくとも１つの領域を規定するステップであり、該領域は検出ゾーンと呼ばれ、該ビデオパッチの検出ゾーンのサイズは、該ビデオパッチを提供する伝送ネットワークに従う、規定するステップと、
視界ゾーンがビデオパッチの検出ゾーン内に入ると、ユーザ端末のメモリ内への該ビデオパッチのプリフェッチが要求されるステップと、
プリフェッチされたビデオパッチ内に視界ゾーンが入ると、該ビデオパッチがユーザ端末のスクリーンに表示されるステップと、を有する。

本願において、ビデオパッチのプリフェッチは、ビデオパッチをユーザ端末にて受信し、必要に応じてそれを復号化し、且つそれを端末のメモリ内に記憶することからなる処理を意味すると理解される。リターンチャネル（端末からサーバへ）を有する伝送ネットワークの場合、このプリフェッチはまた、サーバによるビデオパッチの送信及びをトリガーするための要求の送信とそのビデオパッチの伝送との先行ステップを有する。

ブロードキャストネットワークによって提供されるビデオパッチのプリフェッチに要する時間は、とりわけ、ビデオパッチを輸送するサービスの逆多重化と、Ｉフレーム（フレーム内符号化（イントラフレームコーディング）を用いたフレーム）の受信待機時間と、ビデオパッチ復号化時間とを有する。

リターンチャネルを備えた個人用ブロードキャストネットワークによって提供されるビデオパッチのプリフェッチ時間は、とりわけ、ユーザ端末から第２のサーバへの要求の伝送時間と、第２のサーバによる該要求の処理時間と、第２のサーバとユーザ端末との間でのビデオパッチの伝送時間と、ビデオパッチの画像部分の復号化時間と、ユーザ端末におけるビデオパッチの記憶時間とを有する。

有利な一実施形態によれば、個人用ブロードキャストネットワークによって伝送されるビデオパッチはＩフレームで開始され、該フレームの待機時間が排除される。

この実施形態においては、個人用ブロードキャストネットワークによって提供されるビデオパッチのプリフェッチ時間は、Ｉフレーム待機時間を含まないが、一般に、一般用ブロードキャストネットワークによって提供されるビデオパッチのそれより長いままである。

２つの伝送ネットワーク間でのこのプリフェッチ時間の差を少なくとも部分的に補償するため、個人用ブロードキャストネットワークによって提供されるビデオパッチの検出ゾーンのサイズが、一般用ブロードキャストネットワークによって提供されるビデオパッチの検出ゾーンのサイズより大きくされる。

特定の一実施形態によれば、画像部分の境界と検出ゾーンの境界とが、画像部分の全周にわたって所定の距離ｄだけ離隔される。

特定の一実施形態によれば、各ビデオパッチは、複数のレイヤにて符号化され、この目的のため、ベースレイヤと呼ぶベースビデオデータのレイヤと、少なくとも１つの、エンハンスメントレイヤと呼ぶ追加のビデオデータのレイヤとを有する。この実施形態において、ビデオパッチのベースレイヤ及びエンハンスメントレイヤの各々に対して検出ゾーンが規定され、対応する検出ゾーン内に視界ゾーンが入るときにベースレイヤ又はエンハンスメントレイヤのプリフェッチが要求される。

特定の一実施形態によれば、エンハンスメントレイヤの検出ゾーンのサイズは、ベースレイヤの検出ゾーンのサイズと異なる。例えば、エンハンスメントレイヤのプリフェッチがベースレイヤのプリフェッチより前に開始するよう、エンハンスメントレイヤの検出ゾーンがベースレイヤの検出ゾーンを包囲するようにされる。

特定の一実施形態によれば、第１の閾値速度と呼ぶ視界ゾーンの閾値移動速度がベースレイヤに関連付けられる。第１の閾値速度は、例えば、視界ゾーンの最大許容移動速度である。この実施形態において、ベースレイヤの検出ゾーンのサイズは、第１の閾値速度に従って決定される。

特定の一実施形態によれば、第２の閾値速度と呼ぶ視界ゾーンの移動閾値速度が各エンハンスメントレイヤに関連付けられ、該第２の閾値速度を上回ると、上記少なくとも１つのエンハンスメントレイヤの検出ゾーンに視界ゾーンが入ってもエンハンスメントレイヤはユーザ端末にプリフェッチされない。

特定の一実施形態によれば、各エンハンスメントレイヤの検出ゾーンのサイズは、とりわけ、第２の閾値速度に従って決定される。

有利な一実施形態によれば、プリフェッチされていない各エンハンスメントレイヤに対して、該エンハンスメントレイヤの検出ゾーンへの視界ゾーンの侵入と、該検出ゾーンからの視界ゾーンの退出との間に、視界ゾーンの直近の移動速度と該エンハンスメントレイヤに関連付けられた第２の閾値速度との周期的な比較が行われ、視界ゾーンの直近の移動速度が第２の閾値速度より低い場合、該エンハンスメントレイヤのプリフェッチが要求される。

最後に、有利な他の一実施形態によれば、プリフェッチされている各エンハンスメントレイヤに対して、該エンハンスメントレイヤの検出ゾーンへの視界ゾーンの侵入と、該検出ゾーンからの視界ゾーンの退出との間に、視界ゾーンの直近の移動速度と該エンハンスメントレイヤに関連付けられた第２の閾値速度との周期的な比較が行われ、視界ゾーンの直近の移動速度が第２の閾値速度より高い場合、該エンハンスメントレイヤのプリフェッチの中止が要求される。

添付図面を参照する以下の詳細な説明により、本発明は十分に理解され、その他の目的、細部、特徴及び利点が一層明瞭になるであろう。
複数のビデオパッチに分割されたパノラマビデオシーケンスを示す図である。 ユーザ端末のスクリーン上で見ることができるビデオシーケンスの部分と、この視界ゾーンに全体的あるいは部分的に含まれるビデオパッチとを示す図１の部分図である。 ビデオパッチの検出ゾーンを示す図である。 視界ゾーンに全体的あるいは部分的に含まれるビデオパッチの検出ゾーンを示す図１の部分図である。 一般用ブロードキャストネットワークを介して伝送されるビデオパッチと、個人用ブロードキャストネットワークを介して伝送されるビデオパッチとを特定する図である。 ２つの別個の伝送ネットワークを介してユーザ端末に接続されたサーバを有するシステムを示す図である。 ビデオパッチの起源ネットワークに従った可変サイズの検出ゾーンを示す図である。 各ビデオパッチがベースレイヤ及びエンハンスメントレイヤに符号化され、これらのレイヤの各々に対して検出ゾーンが規定される特定の一実施形態を示す図である。 視界ゾーンがビデオパッチレイヤの検出ゾーンを出入りするときに実行される処理を示すフローチャートである。 その検出ゾーン内に視界ゾーンがあるレイヤの各々で実行される処理を示すフローチャートである。 ビデオパッチのサイズに対する検出ゾーンのサイズ計算を示す図である。 リターンチャネルを備えた個人用ブロードキャストネットワークからのビデオパッチのプリフェッチ時間を示す図である。

本発明によれば、例えばセットトップボックスに接続されたテレビジョンなどのユーザ端末のスクリーンに表示されるパノラマビデオシーケンスが複数のビデオパッチに分割され、これらのパッチが、少なくとも２つの別個の伝送ネットワークによって提供される。

これら２つのネットワークは好ましくは、リターンチャネルを有するか否かにかかわらず、一般用ブロードキャストネットワークと個人用ブロードキャストネットワークである。一般用ブロードキャストネットワーク（以下、ブロードキャストネットワークと呼ぶ）は、無線チャネル、衛星チャネル又はケーブルチャネルを介して、非常に多数のユーザにビデオをブロードキャストする。個人用ブロードキャストネットワークは、例えばこのネットワークを用いるサービスへの加入者といった、より限られた数のユーザにビデオデータをブロードキャストする。以下では、このネットワークを“ブロードバンドネットワーク”として参照する。このネットワークは、例えば、リターンチャネルを備えた、あるいは備えていない、広帯域ブロードキャストネットワークである。

以下では、ビデオパッチが、一部については、ブロードキャストネットワークを介して提供され、別の一部については、リターンチャネルを備えたブロードバンドネットワークを介して提供されるとする。

図１のパノラマビデオシーケンスを示す図５を参照するに、陰影を付けたゾーンのビデオパッチ１４がブロードキャストネットワークを介して伝送され、それら以外のビデオパッチ（陰影ゾーンの外側）が、要求に応じて（オンデマンドで）、ブロードバンドネットワークを介して伝送されると考えることができる。

本発明に係る方法を実行可能なシステムを、図６に模式的に示す。このシステムは、パノラマビデオシーケンスが記憶されているサーバ２０を有している。ビデオシーケンスは、ビデオパッチと呼ばれる空間的に重なり合わない複数のビデオ部分に分割される。各ビデオパッチは、例えばｎ×ｍ画素といった所定サイズの長方形の形態の、ビデオシーケンスの１つの区画に対応する。ビデオシーケンス内でのビデオパッチの空間位置は、例えば、該ビデオパッチの左上の画素の座標（ｘ，ｙ）によって表される。これらのビデオパッチはサーバにて別々に符号化される。

ビデオパッチ群の一部、例えば図５の複数のビデオパッチ１４は、サーバ２０によってユーザ端末３０に、サーバ２０に接続された送信アンテナ４０とユーザ端末３０に接続された受信アンテナ４１とを介する図６に示す“ブロードキャスト”ネットワークを介して提供される。パノラマ画像１０のビデオパッチ群のその他の部分は、オンデマンドで、サーバ２０によってユーザ端末３０に、インターネット５０と、一方でインターネット５０に接続され且つ他方でユーザ端末３０に接続された接続ゲートウェイ５１と、を介する図６に示す“ブロードバンド”ネットワークを介して伝送される。

ユーザ端末３０は、２つの伝送ネットワークからビデオパッチを受信して処理するとともにビデオパッチの送信要求を“ブロードバンド”ネットワークを介してサーバに送信することが可能なセットトップボックス３１を有している。

ブロードキャストネットワークの場合、ビデオシーケンスは連続したビデオストリームであり、ビデオパッチも連続したストリームである。

“ブロードバンド”ネットワークの場合、ビデオパッチはサーバにてオンデマンドで提供される。それらは、所定の固定期間、又は可変期間を有する。第１のケース（固定期間）では、例えば、ビデオパッチデマンド要求の受信の後に、時間的に連続した所定数のビデオフレーム部分が端末に伝送される。第２のケース（可変期間）では、時間的に連続したビデオフレーム部分の数は、サーバに伝送されるビデオパッチデマンド要求内で指し示され、あるいは、ビデオパッチ送信デマンド要求及びサーバへの送信デマンド要求の終了によって定められる。

ビデオパッチは、有利には、サーバにてスケーラブルビデオ符号化（Scalable Video Coding；ＳＶＣ）に従って符号化される。この目的のため、各ビデオパッチは、ベースビデオデータレイヤ（ベースレイヤと称する）と、追加のビデオデータの少なくとも１つのレイヤ（エンハンスメントレイヤと称する）とを有する。

有利には、ビデオパッチは、「Information Technology―Generic Coding of Moving Pictures and Audio：Systems：Transport of scalable video over ITU-T Rec. H.222.0」、ISO/IEC 13818-1、Amendment 3、2005年なる文献に記載されるような、ＳＶＣビデオデータレイヤを輸送することが可能なエレメンタリーストリームを有するＭＰＥＧ２−ＴＳトランスポートストリームにより、“ブロードキャスト”ネットワークを介して伝送される。

また、ビデオパッチは、有利には、R．Pantosによる「HTTP Live Streaming，draft-pantos-http-live-streaming-01」、アップル社、2009年6月なる文献に記載されるようなＨＴＴＰストリームにより、“ブロードバンド”ネットワークを介して輸送される。故に、ブロードバンドネットワークを介して輸送されるビデオパッチは、所定の固定期間を有する。

これら２つの輸送機構が全てのビデオパッチに対して同一のプログラムクロックリファレンス（Program Clock Reference；ＰＣＲ）を用いてＴＳ（トランスポートストリーム）パケットを配信する場合、これら２つの同期化は、デジタルテレビジョンにて一般的に使用される技術に従う。

一変形例として、“ブロードバンド”ネットワークに採用される輸送プロトコルは、ＲＴＳＰスイッチングプロトコルに関連付けられ得るＲＴＰ／ＵＤＰ／ＩＰプロトコルである。

ビデオパッチの区画を取り囲む少なくとも１つの検出ゾーンが、各ビデオパッチに対して規定される。

本発明の１つの重要な特徴によれば、“ブロードバンド”ネットワークによって提供されるビデオパッチの検出ゾーンのサイズは、“ブロードキャスト”ネットワークによって提供されるビデオパッチの検出ゾーンのサイズより大きい。この特徴を図７に例示する。

図７は、各行３個の２行のビデオパッチに従って隣接配置された６個のビデオパッチ７１ａ乃至７１ｆを示している。ビデオパッチ７１ａ乃至７１ｄは“ブロードキャスト”ネットワークを介してユーザ端末に提供され、ビデオパッチ７１ｅ及び７１ｆは、要求に応じて、“ブロードバンド”ネットワークを介して提供される。これらのビデオパッチ７１ａ乃至７１ｆの検出ゾーンは、図７においてそれぞれ７３ａ乃至７３ｆで参照されている。この図から見て取れるように、ブロードバンドネットワークを介して提供されるビデオパッチの検出ゾーン７３ｅ及び７３ｆのサイズは、サーバ２０による送信時間及び要求の処理、並びにブロードバンドネットワークを介して提供されるビデオパッチの伝送時間を補償するよう、ブロードキャストネットワークを介して提供されるビデオパッチの検出ゾーン７３ａ乃至７３ｄのサイズより大きくされている。

図７において参照符号７２を付した視界ゾーンがビデオパッチの検出ゾーン内に入るとき、該ビデオパッチをプリフェッチするための命令（コマンド）がセットトップボックス３１にて発せられる。

図７の例において、ゾーン７２が少なくとも部分的に検出ゾーン７３ａ乃至７３ｆに及んでいるとすると、ビデオパッチ７１ａ乃至７１ｆのプリフェッチのためのコマンドが発せられる。これら異なる複数のパッチのプリフェッチコマンドは、同時に送信されるのではなく、視界ゾーンの移動に従う。図７の矢印により表される移動を参照すると、先ずパッチ７１ａ乃至７１ｂが要求され、次いでパッチ７１ｃ及び７１ｄが要求され、最後にパッチ７１ｅ及び７１ｆが要求される。

ビデオパッチ７１ａ乃至７１ｄのフレームに関して、これらは、ブロードキャストネットワークによって配信されると、それらの提示時間まで、あるいは検出ゾーンからの退出まで延長される期間にわたって、セットトップボックス３１のメモリ内にプリフェッチされる。

ビデオパッチ７１ｅ及び７１ｆに関して、これらのビデオパッチの各々に対して要求がブロードバンドネットワークを介してサーバ２０に送信されることで、サーバは対応するフレームをブロードバンドネットワークを介してユーザ端末３０に送信する。有利な一実施形態によれば、サーバ２０によって送信されるビデオパッチはＳＶＣモードに従って符号化され、送信される各ビデオパッチレイヤに対して、検出ゾーン、とりわけ、ベースレイヤのベース検出ゾーン及び各エンハンスメントレイヤの追加検出ゾーン、が規定される。この実施形態を図８に示す。

この図において、各ビデオパッチ７１ａ乃至７１ｆは、ベースレイヤとエンハンスメントレイヤとを有する。各ビデオパッチ７１ａ乃至７１ｆは、それぞれ、そのベースレイヤの検出ゾーン７３０ａ乃至７３０ｆと、そのエンハンスメントレイヤの検出ゾーン７３１ａ乃至７３１ｆとを有する。この実施形態において、エンハンスメントレイヤの検出ゾーンは、ベースレイヤの検出ゾーンを包囲している。故に、この実施形態において、エンハンスメントレイヤのプリフェッチは、その他の基準がなければ、ベースレイヤのプリフェッチの前に開始することができる。

しかしながら、有利な一実施形態によれば、エンハンスメントレイヤをプリフェッチすることの決定は、視界ゾーンの移動速度Ｖに従って行われる。単純化のため、図７及び８において視界ゾーン１２はＸ方向にのみ移動しているとする。しかし、当然ながら、本発明に係る方法は、視界ゾーン１２が全ての方向に移動する場合にも適用されることができる。

この実施形態において、ユーザ端末３０は、視界ゾーン１２の位置、その移動方向及びその移動速度を定期的に決定する。ベースレイヤ又はエンハンスメントレイヤをダウンロードすることの決定は、図９のフローチャートに従って行われる。

このフローチャートによれば、最初の段階（ステップ９０）は、その検出ゾーン内に視界ゾーンが存在するベースレイヤ及びエンハンスメントレイヤについて、それらレイヤのプリフェッチを要求することによって処理を開始することからなる。これらのレイヤの各々のリファレンス（参照記号）が、Ｌレイヤと呼ぶリストに格納される。プリフェッチされるレイヤのデータ提示タイムスタンプは、該レイヤが表示されなければならない時点で該レイヤが受信されているように見積もられている。そして、ビデオパッチレイヤの検出ゾーンの境界が横断されるかが検証される（ステップ９１）。横断される場合、それがビデオパッチレイヤの検出ゾーンへの侵入に関するものであるかが検証される（ステップ９２）。これが当てはまらない場合、視界ゾーン全体が該検出ゾーンを退出したかが検証される（ステップ９６）。そうである場合、このレイヤのプリフェッチが終了され（ステップ９７）、このレイヤのリファレンスがリストＬレイヤから消去され、且つステップ９１が再開される。視界ゾーンの全体が該検出ゾーンを退出したわけではない場合、ステップ９１へと戻る。上記横断がレイヤの検出ゾーンへの侵入に関するものである場合には、視界ゾーンの移動速度が、該レイヤに関連付けられた所定の閾値速度と比較される（ステップ９３）。視界ゾーンの移動速度が閾値速度より高い、あるいは等しい場合、該レイヤはプリフェッチされず、該レイヤのリファレンスがリストＬレイヤに追加され（ステップ９５）、且つステップ９１が再開される。視界ゾーンの移動速度が閾値速度より低い場合には、該検出ゾーンに関連するレイヤのプリフェッチがトリガーされ（ステップ９４）、そして、処理がステップ９１にて再び開始する。

この方法に従って、エンハンスメントレイヤのプリフェッチは、視界ゾーンの移動速度が、該エンハンスメントレイヤに関連付けられた例えば毎秒数百画素といった閾値速度より遅い場合にのみ引き起こされる。実際、視界ゾーンが非常に速く移動する場合、エンハンスメントレイヤはユーザ体験を向上させず、このレイヤのプリフェッチをトリガーする必要はない。しかしながら、ベースレイヤのプリフェッチは、ベースレイヤの閾値速度を視界ゾーンの最高移動速度より高く、あるいは等しく固定することによって、視界ゾーンの移動速度がどのようなものであろうと体系的にトリガーされるように設計される。

ビデオパッチが、例えばミディアムレイヤ（中間レベル）及びハイレイヤ（高レベル）といった幾つかのエンハンスメントレイヤを有する場合、閾値速度は有利には、これら２つのエンハンスメントレイヤごとに規定され、ミディアムレイヤの閾値速度は好ましくは、ハイレイヤの閾値速度より高くされる。

ベースレイヤの検出ゾーンへの視界ゾーンの侵入後、確実に、ビデオパッチベースレイヤのプリフェッチはトリガーされている。何故なら、このレイヤのプリフェッチは、視界ゾーンの移動速度がどのようなものであろうと行われる（ベースレイヤの閾値速度は視界ゾーンの最高移動速度より高くされている）からである。しかしながら、エンハンスメントレイヤ（群）のプリフェッチは、視界ゾーンの移動速度が、これらエンハンスメントレイヤの検出ゾーンへの侵入時点で、関連付けられた閾値速度より高かった場合にはトリガーされていないことがあり得る。しかし、ベースレイヤの検出ゾーン内での視界ゾーンの移動中に、移動速度が変化していることがある。例えば、視界ゾーンの移動速度は、エンハンスメントレイヤの検出ゾーンへの視界ゾーンの侵入と、この検出ゾーンからのその退出との間に低下して、エンハンスメントレイヤに関連付けられた閾値速度を下回ることがある。その場合、表示されるビデオデータにエンハンスメントレイヤが存在しないこと（低解像度）は、スクリーン上で目立つものとなり得る。

有利な一実施形態によれば、プリフェッチされるべきエンハンスメントレイヤの数を視界ゾーンの瞬間的な移動速度に従って適応する周期的な検証処理が提供される。この処理を図１０に示す。この処理は、その検出ゾーン内に視界ゾーンが存在しているレイヤ、すなわち、上述のＬレイヤなるリストにて参照されるレイヤ、の各々に適用される。

ステップ１００によれば、そのレイヤのプリフェッチが行われているかを確認するための検証が行われる。行われている場合、時間調整処理が行われる。すなわち、検証処理を休止し、期間ｔｅｍｐｏ１の間、要求されたタイムスタンプの該レイヤのプリフェッチの終了を待ち、そして、プリフェッチが終了したことが検証される（ステップ１０２）。期間ｔｅｍｐｏ１は、プリフェッチがトリガーされているレイヤについて、そのレイヤの表示準備が整ったかを検証する前の待機時間を表す。この時間調整値は、そのレイヤの提示タイムスタンプと現在のタイムスタンプとの差である。

視界ゾーンの移動速度がそのレイヤの閾値速度より高かったために、そのレイヤのプリフェッチがトリガーされていない場合、期間ｔｅｍｐｏ２の間、時間調整ステップが行われ（ステップ１０４）、その後、視界ゾーンの移動速度とそのレイヤの閾値速度とが比較される（ステップ１０５）。

視界ゾーンの移動速度が閾値速度より高い場合、ステップ１０４に戻る。そうでない場合、プリフェッチ要求が為され（ステップ１０６）、その後、ステップ１０１へと進む。期間ｔｅｍｐｏ２は、プリフェッチがトリガーされていないレイヤについて、視界ゾーンの移動速度とそのレイヤの閾値速度との二度の比較検査間の期間を表す。この期間はレイヤごとに異なり得る。この期間は、例えば、視界ゾーンが該レイヤの検出ゾーンを閾値速度で横断するために要する時間に相当する。

ステップ１０２にて、プリフェッチが終了している場合、そのレイヤの検出ゾーン内に視界ゾーンがある間、後のタイムスタンプの該レイヤをプリフェッチすることからなる正規モードに戻る（ステップ１０３）。

しかしながら、プリフェッチが終了していない場合には、そのレイヤは表示されているべき時点より後に到着することになるため、進行中のプリフェッチは停止され（ステップ１０７）、この方法は、後の提示タイムスタンプを有する該レイヤのプリフェッチを再び要求することからなるステップ１０６へと進む。

この処理によれば、視界ゾーンの移動速度がエンハンスメントレイヤに関連付けられた閾値速度より低くなっており且つ該レイヤの検出ゾーンが依然として視界ゾーンに含まれていてもエンハンスメントレイヤがプリフェッチされていない場合、該エンハンスメントレイヤはその後にプリフェッチされる。

この処理は主にエンハンスメントレイヤ向けのものではあるが、ベースレイヤにも等しく適用され得る。実際、ベースレイヤのプリフェッチは、ベースレイヤの検出ゾーン内に視界ゾーンが入るや否や体系的にトリガーされるものの、ネットワーク又はサーバに関係する問題により、表示されているべき時点にパッチが受信されていないことがあり得る。このアルゴリズムは、そのような問題が起こる場合にプリフェッチを再度開始することを可能にする。

有利には、エンハンスメントレイヤのプリフェッチを停止させる処理が、視界ゾーンの移動速度が突然高くなって該エンハンスメントレイヤに関連付けられた閾値速度を上回る場合のために計画され得る。この処理は、ステップ１０２と１０２との間の検査ステップによって実行され得る。

ベースレイヤ又はエンハンスメントレイヤのプリフェッチが十分早期に開始されることを確保するため、検出ゾーンのサイズは好ましくは、視界ゾーンの移動速度に適応される。検出ゾーンのサイズは、例えば、以下のように計算される。例えばｎｘ×ｎｙ個の画素を有する長方形のビデオ部分１１０と、ビデオパッチのレイヤｊに関する該ビデオ部分を包囲する［ｎｘ＋２Δｎｘ（ｊ）］×［ｎｙ＋２Δｎｙ（ｊ）］個の画素を有する長方形の検出ゾーン１１１ｊとを考える。この例を図１１に示す。

例えば、レイヤ０はベースレイヤに関係し、レイヤ１はミディアムエンハンスメントレイヤに関係し、レイヤ２はハイエンハンスメントレイヤに関係する。

特定の一実施形態によれば、Δｎｘ（ｊ）は、
Δｎｘ（ｊ）≧閾値速度_ｘ（ｊ）×プリフェッチ時間（ｊ）
のように計算される。ここで、閾値速度_ｘ（ｊ）は、画素／秒で表されるレイヤｊのｘ方向の閾値速度を表し、プリフェッチ時間（ｊ）は、ビデオパッチのレイヤｊの少なくとも１つのＩフレーム（イントラフレームコーディングを用いたフレーム）を取得して復号化する所要時間を表す。

エンハンスメントレイヤの閾値速度は、そのレイヤのプリフェッチの決定のために先に使用された閾値速度に相当する。ベースレイヤの閾値速度は、パノラマシーン内での視界ゾーンの移動に許容される最高速度に相当する。

ビデオパッチレイヤのプリフェッチ時間は、そのレイヤを伝送するために使用される伝送ネットワークに従って異なるものになる。

ブロードキャストネットワークにおいては、視界ゾーンが検出ゾーンに入るときに、ビデオパッチの全てが（要求なしで）ブロードキャストされて端末に提供され、端末がそれらをプリフェッチする。視界ゾーンが或る検出ゾーンに入るとき、必ずしもビデオパッチのＩフレームが既に端末によって受信されているわけではなく、そのときには待機するのが最良である。故に、プリフェッチ時間は検出ゾーンへの侵入と、ビデオパッチがユーザスクリーン上で置き直されることが可能になる時点との間の期間に対応する。このプリフェッチ時間は、故に、ビデオパッチの表示の前に、逆多重化、次のＩフレームの待機、デコーディング・バッファの充填、及びビデオフレームの復号化・記憶・並び替えに要する時間を含む。

ブロードバンドネットワークにおいては、ビデオパッチがネットワークによって提供されるのは、それ以前に端末によってサーバに要求されている場合のみである。この場合、プリフェッチ時間は、図１２に示すように、
プリフェッチ時間＝Ｔ１＋Ｔ２＋Ｔ３＋Ｔ４
と定められる。ここで、
Ｔ１は、サーバへの要求の伝送時間であり、
Ｔ２は、サーバによる要求の処理時間であり、
Ｔ３は、端末へのビデオパッチの伝送時間であり、
Ｔ４は、端末でのビデオパッチの記憶及び復号化の時間である。

Ｔ２はサーバに依存し、Ｔ４は端末に依存する。Ｔ１及びＴ３はネットワークの往復遅延時間（Round-Trip Delay Time；ＲＴＴ）に依存する。Ｔ３はまた、ネットワーク帯域幅、ビデオパッチのサイズ、及び伝送プロトコル（ＨＴＴＰ、ＲＴＰなど）によって導入されるシグナリングに依存する。

故に、本発明によれば、ビデオパッチの検出ゾーンのサイズは、それを提供することを担うネットワークに従って定められる。また、ビデオパッチのプリフェッチの発生及び／又は継続は、視界ゾーンの移動速度に従って決定される。

相異なる特定の実施形態に関して本発明を説明してきたが、明らかなように、本発明は、それらに限定されるものではなく、本発明の範囲に入る限りにおいてのそれらの組み合わせ、及び説明した手段に技術的に均等なものの全てを含むものである。

１０ パノラマ画像（パノラマビデオシーケンス）
１１、１４ ビデオパッチ
１２ 視界ゾーン
２０ サーバ
３０ ユーザ端末
７１、１１０ ビデオパッチ（ビデオ部分）
７２ 視界ゾーン
７３、１１１ 検出ゾーン
７３０ ベースレイヤの検出ゾーン
７３１ エンハンスメントレイヤの検出ゾーン

Claims (12)

1. ユーザ端末装置における、該ユーザ端末装置に表示されるパノラマビデオシーケンス内でのナビゲーション方法であって、前記パノラマビデオシーケンスは、前記パノラマビデオシーケンスの一区画に各々が対応する複数の重なり合わないビデオ部分に分割され、該ビデオ部分はビデオパッチと呼ばれ、各ビデオパッチは、所定のサイズと、前記パノラマビデオシーケンス内の空間位置とを有し、前記ユーザ端末のスクリーンに表示される視界ゾーンと呼ぶ前記パノラマビデオシーケンスの領域を形成するために必要とされるビデオパッチが、ナビゲーションコマンドに従って決定され、当該方法は：
   前記ナビゲーションコマンド及び前記パノラマビデオシーケンス内での前記視界ゾーンの位置に従って、幾つかの第１のビデオパッチが、第１の伝送ネットワークを介して前記ユーザ端末に提供され、且つ幾つかの第２のビデオパッチが、前記第１の伝送ネットワークとは別個の第２の伝送ネットワークを介して前記ユーザ端末に提供されることを特徴とし、当該方法は：
   前記第１及び第２のビデオパッチの各々に対して、該ビデオパッチを取り囲み且つ前記ビデオパッチのサイズより大きいサイズを有する少なくとも１つの領域を規定するステップであり、該領域は検出ゾーンと呼ばれ、該ビデオパッチの前記検出ゾーンのサイズは、該ビデオパッチを提供する前記伝送ネットワークに従う、規定するステップと、
   前記視界ゾーンがビデオパッチの前記検出ゾーン内に入ると、前記ユーザ端末のメモリ内への該ビデオパッチのプリフェッチが要求されるステップと、
   プリフェッチされたビデオパッチ内に前記視界ゾーンが入ると、該ビデオパッチが前記ユーザ端末の前記スクリーンに表示されるステップと、
   を有することを更なる特徴とする、方法。
2. 前記第１の伝送ネットワークは一般用ブロードキャストネットワークであり、前記第２の伝送ネットワークは個人用ブロードキャストネットワークである、ことを特徴とする請求項１に記載の方法。
3. 前記第２の伝送ネットワークは、リターンチャネルを有するブロードバンドネットワークであり、該リターンチャネル上での要求の伝送後に、該ブロードバンドネットワークを介して前記ビデオパッチが前記ユーザ端末に伝送される、ことを特徴とする請求項２に記載の方法。
4. 前記第２の伝送ネットワークを介して提供される前記第２のビデオパッチの前記検出ゾーンのサイズは、前記第１の伝送ネットワークを介して提供される前記第１のビデオパッチの前記検出ゾーンのサイズより大きい、ことを特徴とする請求項１乃至３の何れかに記載の方法。
5. 各ビデオパッチは、ベースレイヤと呼ぶベースビデオデータレイヤと、少なくとも１つの、エンハンスメントレイヤと呼ぶ追加のビデオデータレイヤとに符号化され、前記ビデオ部分の前記ベースレイヤ及び前記エンハンスメントレイヤの各々に対して検出ゾーンが規定され、対応する検出ゾーン内に前記視界ゾーンが入るときに前記ベースレイヤ又は前記エンハンスメントレイヤのプリフェッチが要求される、ことを特徴とする請求項４に記載の方法。
6. 前記少なくとも１つのエンハンスメントレイヤの前記検出ゾーンのサイズは、前記ベースレイヤの前記検出ゾーンのサイズより大きい、ことを特徴とする請求項５に記載の方法。
7. 第１の閾値速度と呼ぶ前記視界ゾーンの移動閾値速度が前記ベースレイヤに関連付けられ、前記ベースレイヤの前記検出ゾーンのサイズは、前記第１の閾値速度に従って決定される、ことを特徴とする請求項５又は６に記載の方法。
8. 第２の閾値速度と呼ぶ前記視界ゾーンの移動閾値速度が前記エンハンスメントレイヤに関連付けられ、該第２の閾値速度を上回ると、前記少なくとも１つのエンハンスメントレイヤの前記検出ゾーンに前記視界ゾーンが入っても前記エンハンスメントレイヤはプリフェッチされない、ことを特徴とする請求項５乃至７の何れか一項に記載の方法。
9. 前記少なくとも１つのエンハンスメントレイヤの前記検出ゾーンのサイズは、前記第２の閾値速度に従って決定される、ことを特徴とする請求項８に記載の方法。
10. プリフェッチされていない各エンハンスメントレイヤに対して、該エンハンスメントレイヤの前記検出ゾーンへの前記視界ゾーンの侵入と、該検出ゾーンからの前記視界ゾーンの退出との間に、前記視界ゾーンの直近の移動速度と該エンハンスメントレイヤに関連付けられた前記第２の閾値速度との周期的な比較が行われ、前記視界ゾーンの前記直近の移動速度が前記第２の閾値速度より低い場合、該エンハンスメントレイヤのプリフェッチが要求される、ことを特徴とする請求項８又は９に記載の方法。
11. プリフェッチされている各エンハンスメントレイヤに対して、該エンハンスメントレイヤの前記検出ゾーンへの前記視界ゾーンの侵入と、該検出ゾーンからの前記視界ゾーンの退出との間に、前記視界ゾーンの直近の移動速度と該エンハンスメントレイヤに関連付けられた前記第２の閾値速度との周期的な比較が行われ、前記視界ゾーンの前記直近の移動速度が前記第２の閾値速度より高い場合、該エンハンスメントレイヤのプリフェッチの終了が要求される、ことを特徴とする請求項８乃至１０の何れか一項に記載の方法。
12. ビデオデコーダを有する装置であって：
    パノラマビデオシーケンス上でナビゲーションコマンドによってビデオパッチを選択する手段と、
    第１の伝送ネットワークから第１のビデオパッチを受信する手段と、
    双方向ネットワークである第２の伝送ネットワークから第２のビデオパッチを受信するための要求を遠隔サーバに送信する手段と、
    前記第２の伝送ネットワークから前記第２のビデオパッチを受信する手段と、
    前記第１及び第２のビデオパッチを復号化して表示する手段と、
    を有することを特徴とする装置。

Images