JP2017016657A - 没入型ビデオ・コンテンツの一部分を参照部分の位置に従って処理する方法及び装置 - Google Patents

Abstract

【課題】ユーザの体感の品質を劣化させずにユーザが見るべき方向を見るようにバーチャルなカメラ・パニングする技術を提供する。
【解決手段】没入型ビデオ・コンテンツ１０の部分１３を処理する方法であって、ユーザに没入型ビデオ・コンテンツにおける参照部分２０の方を見るように促すために、部分１３又は該部分の下位部分４０、４１と少なくとも参照部分２０との間の距離４２、４３を求めることと、部分１３又はその下位部分４０、４１の視覚的に劣化したバージョンを処理することとを含む。距離が長いほど、視覚的劣化のレベルはより高くなり、ユーザーが、自己の頭部を参照部分の方に無意識に回転させる。
【選択図】図４

Description

本開示は、特にヘッド・マウント・ディスプレイ（Head Mounted Display（HMD））、或いは、例えばタブレット又はスマートフォンのようなモバイル装置を用いて特に没入型ビデオ・コンテンツを消費する際の疑似触覚フィードバックの分野に関する。

没入型ビデオ・コンテンツはユーザの周囲に表示されるように作成されるビデオ・コンテンツであるため、ユーザはそのコンテンツの中央にいるような感覚を持つ。没入型ビデオ・コンテンツは、通常、ジオード（geode：晶洞）或いはケーブ（cave：洞窟）状の構造物内で描画される。そのような設備において、コンテンツの全体は、壁面スクリーンに投影され、ユーザは、自己の頭部を回転させることによってそのコンテンツが分かる。

ヘッド・マウント・ディスプレイ（ＨＭＤ）は、頭部に又はヘルメットの一部として装着され、片方の目の前に小さい表示用光学部品を有する表示装置（単眼ＨＭＤ）、或いは、両眼の各々の前に小さい表示用光学部品を有する表示装置（両眼ＨＭＤ）である。これらは、利点として、没入型コンテンツを消費するように適合化できる。このような装置では、ビデオの一部分のみが表示される。ビデオ・コンテンツのその表示された部分は、ユーザの頭部の姿勢に従って、例えば（ジャイロスコープを含む）内蔵されたモーション・ユニット・メジャーメント（Motion Unit Measurement）によって更新される。

このような装置は数十年前に初めて提案されたが、近年、特にスクリーンの進展により、それらの性能に加えて価格も劇的に変わった。このような装置の登場により、ユーザは、頭部の回転によって、４πステラジアンのコンテンツを見ることができる。もしこのような新たな機能がコンテンツ内の没入に関して実際の改良点として現れるならば、ユーザは、コンテンツの一部分のみを見ているので、所与の時点において見るべき方向を見ないかもしれない。実際、ユーザは、自分の周囲のあらゆるものを凝視できるので、ナレーションに関わるイベントが生じた時点でコンテンツの別の一部分を見ており、従って、そのナレーションの一部の重要なハイライトを見逃すかもしれない。

背景技術によれば、ユーザが見るべき方向を見るようにバーチャルなカメラ・パニングを強いることが非常に有効なソリューションであると知られている。しかしながら、周知の如く、このソリューションは、大部分の人々を気持ち悪くさせ、その結果、ユーザの体感の品質を劣化させるという欠点を有している。

本開示の目的は、背景技術のこれらの欠点の少なくとも１つを解消することである。

更に詳しくは、本開示の目的は、ユーザに没入型ビデオ・コンテンツの所定の参照部分を見るように促すことである。

本開示は、没入型ビデオ・コンテンツの第１の部分を処理する方法に関し、この方法は、
第１の部分と没入型ビデオ・コンテンツの少なくとも参照部分との間の第１の距離を求めるステップと、
劣化処理済みバージョンと称される、第１の部分のバージョンを処理するステップであって、第１の部分に対して視覚的劣化を施すことによって劣化処理済みバージョンが得られ、劣化処理済みバージョンはビデオ・コンテンツに関して視覚的に劣化させられており、第１の距離が長いほど、視覚的劣化のレベルがより高くなる、該ステップと、
を含んでいる。

特定の特徴によれば、第１の部分が下位部分に分割され、各々の下位部分と少なくとも参照部分との間の第２の距離が求められ、第２の距離が長いほど、各々の下位部分についての視覚的劣化のレベルがより高くなる。

利点として、視覚的劣化のレベルは、時間の経過と共に増大する。

特定の特徴によれば、第１の距離は、第１の部分の中心と少なくとも参照部分の中心との間のユークリッド距離と、少なくとも参照部分の任意の点と第１の部分の任意の点との間の一組の距離のうちの最短ユークリッド距離と、少なくとも参照部分の任意の点と第１の部分の任意の点との間の複数の距離の平均ユークリッド距離と、から成る距離の一群に属する。
特定の特徴によれば、第１の部分が下位部分に分割され、各々の下位部分と少なくとも参照部分との間の第２の距離が求められ、第２の距離が長いほど、各々の下位部分についての視覚的劣化のレベルはより高くなる。

本開示は、没入型ビデオ・コンテンツの第１の部分を処理するように構成された装置にも関し、この装置は、
第１の部分と少なくとも参照部分との間の第１の距離を求める手段と、
劣化処理済みバージョンと称される、第１の部分のバージョンを処理する手段であって、劣化処理済みバージョンはビデオ・コンテンツに関して視覚的に劣化させられており、第１の距離が長いほど、視覚的劣化のレベルがより高くなる、該手段と、
を備えている。

利点として、装置は、更に、劣化処理済みバージョンを表示装置に送信する。

また、本開示は、没入型ビデオ・コンテンツの第１の部分を処理するように構成された装置にも関し、この装置は、
第１の部分と少なくとも参照部分との間の第１の距離を求め、
劣化処理済みバージョンと称される、第１の部分のバージョンを処理するように構成された少なくとも１つのプロセッサを備えており、
劣化処理済みバージョンはビデオ・コンテンツに関して視覚的に劣化させられており、第１の距離が長いほど、視覚的劣化のレベルはより高くなる。

オプションとして、装置は、劣化処理済みバージョンを表示装置に送信する送信器を更に備えている。

また、本開示は、コンピュータ・プログラム製品にも関し、該コンピュータ・プログラム製品は、プログラムがコンピュータ上で実行される際に、没入型ビデオ・コンテンツの一部分を処理する上記方法を、少なくとも１つのプロセッサで、実行するためのプログラム・コードの命令を備えている。

また、本開示は、プロセッサに、少なくとも、没入型ビデオ・コンテンツの一部分を処理する上記方法を実施させるための命令を記憶している、（非一時的）プロセッサ可読媒体にも関する。

下記の添付図面を参照する次の記載を読めば、本開示をより良く理解でき、その他の具体的な特徴及び利点が明確になるであろう。
本原理の具体的な一実施形態による没入型ビデオ・コンテンツの第１の部分を概略的に示す図である。 本原理の具体的な一実施形態による、図１の第１の部分の位置と、没入型ビデオ・コンテンツ内の参照部分の位置と、両者間の第１の距離とを示す図である。 図２の第１の距離と、図１の第１の部分に適用する劣化のレベルとの関係を示す図である。 図２の第１の距離と、図１の第１の部分に適用する劣化のレベルとの関係を示す図である。 本原理の具体的な一実施形態による、図３Ａ及び３Ｂの劣化のレベルが図１の第１の部分の複数の下位部分について算出されることを示す図である。 本原理の具体的な一実施形態による、図１の第１の部分を図２の第１の距離に応じて処理する方法を示す図である。 本原理の具体的な一実施形態による、ビデオ部分選択部と画像劣化処理部とを備え、図１の第１の部分を処理するように構成されたシステムの構造を概略的に示す図である。 特定の実施形態による、図１の第１の部分を処理するように構成されたシステムの構造を示す図である。 特定の実施形態による、図６又は図７の処理装置において実施される、ビデオ・コンテンツの一部分を処理する方法を示す図である。

以下、図面を参照して本発明の要旨を記載するが、図面において同一の要素は、一貫して同一の参照番号を用いて示す。以下の記載において、本発明の要旨が完全に理解できるように、説明の目的で、多数の具体的な詳細事項を述べる。尚、本発明の要旨の実施形態は、これらの具体的な詳細事項なしでも実現できる。

以下、本原理を、没入型ビデオ・コンテンツの第１の部分を処理する方法の特定の一例に関して、ＨＭＤのような部分的表示装置について記載する。第１の部分の視覚的品質は劣化する。この視覚的劣化のレベルは第１の部分と参照部分との間の距離と共に増大していくので、ユーザが自己の頭部を参照部分の方に回転させ、その際、参照部分に近づけば近づくほど、ユーザの体感の品質がより良くなる。このようにユーザの体感の視覚的品質が劣化することは、ユーザに対して、より劣化が少ない参照部分の方を見るように促すという利点を有している。

図１には、没入型ビデオ・コンテンツの特定の一実施形態が示されている。没入型ビデオと矩形ビデオとは、互いに異なる性質を有する。矩形ビデオ・コンテンツは、ユーザの前に配置された矩形フレーム内の各々の平面座標（ｘ，ｙ）を色の表現に対応付ける関数であると考えることができる。没入型ビデオ・コンテンツは、ユーザの周りに配置された球形フレーム内の各々の極座標（θ,φ）を色の表現に対応付ける関数であると考えることができる。両方の場合とも、ビデオは、しばしばフレームと呼ばれる画像の時間的シーケンスである。フレームを表すデータは、矩形（１０）として構成される。矩形ビデオでは、変換は直接である。データの矩形がスクリーンの矩形と同じサイズではない場合、クロッピング（不要部分をトリミングする）ステップが必要である。没入型ビデオ・コンテンツの場合では、データの矩形における平面座標を投影の球面における極座標に対応付けるために、投影マッピング機能（関数）が必要である。図１では、投影マッピング・モードは円筒形状である。没入型ビデオ・コンテンツ（１０）は、ユーザ（１１）の周囲に円筒として投影される。ユーザは、コンテンツを見るために、自己の頭部をぐるりと回転させる必要がある。ユーザの視界は、コンテンツ全体を包含することはない。一変形例では、投影マッピング・モードは球形状である。別の変形例では、投影マッピング・モードは立方体形状である。

ＨＭＤのような部分的表示装置の場合、没入型コンテンツ（１０）の一部分（１３）のみが表示される。この部分は、第１の部分と呼ぶことにするが、ユーザの視界に対応している。任意の時点において、ユーザは、没入型ビデオ・コンテンツの表示部分を決める方向（１２）に自己の装置を向けている。

視聴セッションの任意の時点において、没入型ビデオ・コンテンツの、注目すべき興味の対象又は重要性を有する少なくとも１つの参照部分が得られる。このような参照部分は、ビデオ画像の、コンテンツよりも小さい、通常、表示部分よりも小さい一領域である。参照部分は、任意の周知の２Ｄ（２次元）幾何学的形状記述形式により表される。例えば、これは、没入型ビデオ・コンテンツの関連フレーム内に配置された２Ｄ点である。参照部分を表すのに用いられる形状のその他の例は、矩形、及び、楕円（円は楕円の特定のケース）である。矩形は、例えば、１つの２Ｄ点と幅と高さとによって記述される。一方、楕円は、１つの中心と２つの半径とによって、或いは、２つの中心と１つの半径とによって記述される。参照部分の形状の記述は、これらの例に限定されず、例えばスケーラブル・ベクタ・グラフィックス（Scalable Vector Graphics：SVG）形式、或いは、ハイパー・テキスト・マークアップ・ランゲージ５（Hyper Text Markup Language 5：HTML5）形式で記述されるように、任意の２Ｄ表面記述によって記述してもよい。

特定の一例に従えば、コンテンツの作成者は、そのコンテンツ内において少なくとも１つの参照部分を少なくとも１つの期間についてナレーションのハイライトとして認識しており、視聴者にそれを見逃さないように望む。それ故、作成者は、視聴者にその参照部分の方向を見るように促すことを望む。この例の第１の変形例では、１組の参照部分が、ユーザについて知られていることに関わりなく、各視聴セッションにおいて同じである。この例の補完的な変形例では、１組の参照部分は、ユーザのプロフィールに依存し、ユーザ毎に異なる。コンテンツの視聴セッションの条件、例えばその日の時間帯も、１組の参照部分を変更するパラメータである。換言すれば、１つの没入型ビデオ・コンテンツについての１組の参照部分は、視聴セッション毎に異なる。

他の例によれ、１つ又は複数の参照部分は、興味検出アルゴリズムの分野によって決定される。このようなアルゴリズムは、ビデオの画像を分析して、ユーザにとってより興味深い又はより重要であると推定される幾つかの領域を自動的に形成する。例えば、このようなアルゴリズムは、顕著性の高い領域を検出するための顕著性マップ(Saliency Map)を算出する。このようなアルゴリズムの別の一例は、画像のシーケンス（一連の画像）における動きを検出して、動いている物体を識別する。一変形例によれば、アルゴリズムのパラメータは、ユーザのプロフィール又は視聴セッションの条件に依存する。この変形例において、１つの没入型ビデオ・コンテンツについての１組の参照部分は、視聴セッション毎に異なる。

ビデオ・コンテンツのデータは、サーバからストリーミングされても良く、或いは、例えばディスク又はメモリ・スティックのような記憶装置上に記憶されたファイルから読み出されても良い。また、没入型ビデオ・コンテンツの送信に用いられるリンクは、有線（例えばユニバーサル・スタンダード・バス（Universal Standard Bus：USB)又はハイ・デフィニション・マルチメディア・インタフェース（High Definition Multimedia Interface：HDMI（登録商標）に基づくもの）でも良く、或いは、無線（例えばワイファイ：Wi-Fi又はブルートゥース：Bluetooth（登録商標）)でも良い。また、没入型ビデオ・コンテンツは、３Ｄエンジンによって３Ｄシーンの記述からその３Ｄシーンに配置された仮想カメラの位置に従ってオンザフライで生成されてもよい。この例によれば、第１の部分（１３）は、仮想カメラが任意の時点で撮像する３Ｄシーンの部分に対応する。

一例では、参照部分の形状とタイミングとの記述は、没入型ビデオ・コンテンツにでも、ビデオ・ストリーム・データにでも、或いは、ビデオ・ファイルにでも挿入される。この例の符号化の別の一変形例において、この記述は、別のサーバによって提供されるか、或いは、別個のファイルに登録されている。

図２には、表示される部分（１３）がビュー・ウィンドウである没入型ビデオ・コンテンツ（１０）の一例が示されている。参照部分（２０）が、この第１の部分の外側において識別される。この例において、これは楕円の形状を有している。参照部分は、まだ発生していないナレーションのハイライトに対応するかもしれない。このような場合、本原理は、ユーザに、それが発生することに備えて、参照部分の方を見るように促す利点を有している。

第１の距離（２１）が、第１の部分と参照部分との間で算出される。図２の例に従えば、第１の距離（２１）は、一方の参照分の中心と、他方の表示される部分の中心との間のユークリッド距離である。別の例によれば、第１の部分のあらゆる点と参照部分のあらゆる点とが互いに関連付けられる。これらの２点の組み合わせの全てについて距離が算出され、図３Ａと３Ｂに例示されているように、第１の距離（３１）が、それらのうちで最も短いものに対応している。この例の一変形例によれば、第１の距離は、これらの距離全ての平均に対応している。

第１の距離は、利点として、参照部分の動き、又は、表示部分（第１の部分）の動きが検出される度に算出される。別の変形例において、第１の距離は、もっと頻繁に、例えばビデオ・フレーム毎に算出される。

特定の実施形態によれば、幾つかの参照部分が同時に得られる。特定の変形例において、第１の距離は、上述の全例のうちの１つの例により得られる、各々の参照部分と第１の部分との間の最も短い第１の距離である。別の変形例によれば、第１の距離は、上述の全例のうちの１つの例により得られる第１の距離の平均である。

第１の部分の視覚的品質は、第１の距離に応じて劣化する。図３Ａと３Ｂに示されているように、第１の距離が長ければ長いほど、視覚的劣化のレベルはより高くなる。その結果、ユーザの体感の品質は低下する。このように第１の部分の視覚的品質が劣化することは、ユーザに対して、劣化がより少ない参照部分の方を見るように促すという利点を有している。

第１の部分の視覚的な劣化は、利点として、当業者に周知の、視覚的な劣化を生じさせる任意の方法を用いて実現される。このような視覚的な劣化を生じさせる方法は、ユーザの視覚的体感の品質を低下させる。視覚的な劣化は、レベル・パラメータを有する。一変形例によれば、レベル・パラメータは、０.０（全くの無修正）から１.０（第１の部分の最も悪い品質）までの範囲を有する。視覚的な劣化一例は、カラー・フェーディング・ダウン（color fading down：下方退色処理）であり、画像の色が、レベル０においては不変であり、レベル１における黒色まで次第に暗くされる。このような方法の補完的な一例は、カラー・フェーディング・アップ（color fading up：上方退色処理）であり、画像の色が、白色まで次第に明るくされる。このような視覚的劣化方法のその他の変形例によれば、画像の彩度（color saturation）が、上方または下方に変更される。画像のブラーリング（blurring：ぼかし処理）及び画像のノイジング（noising：ノイズ化処理）も視覚的劣化方法のその他の例である。この後者の例は、画像の輝度及び／又は色情報におけるランダムな（不規則な）変動を導入することにその本質がある。導入される変動が多ければ多いほど、ノイズ化処理のレベルはより高くなる。レベル１において、画像上に表されるオブジェクトは識別できなくなる。また、画像のピクセレーティング（pixelating：画素化処理）、及び、幾つかの画像圧縮方法も視覚的劣化処理のその他の例である。別の変形例によれば、劣化のレベル・パラメータは、例えば、０から２５５までの範囲、或いは、−１００から１００までの範囲を有する。

別の一実施形態によれば、所与の第１の距離についての劣化のレベルは、時間の経過と共に増大していく。例えば、視聴セッションの開始時点でナレーションにおけるハイライトがないので、視聴セッションは、参照部分なしで始まる。その後、しばらくして、参照部分が特定されて、ユーザがその参照部分の方を見るように促される。もしユーザが他の所を見ているならば、第１の距離（以下、ｄｉｓｔと称する）は長い。劣化のレベル（以下、ｌｅｖと称する）が、この第１の距離ｄｉｓｔについて算出される。第１の部分は、この時点において全く劣化させられていない。第１の部分の視覚的品質の突然の変化を回避するために、この実施形態によれば、視覚的劣化のレベルが、非常に低い値、例えばゼロに設定される。次に、視覚的劣化のレベルは、この第１の距離ｄｉｓｔについて、レベルｌｅｖまで次第に増大する。劣化のレベルは、レベルｌｅｖに到達すると、もう増大しない。例えば、選択された劣化方法がカラー・フェーディング・ダウンであれば、第１の部分は、所与の第１の距離ｄｉｓｔについて、時間の経過と共に次第に暗くなっていく。この効果は、第１の距離を減少させることによってのみ、例えばユーザの頭部を参照部分の方に向けることにより、減衰させられる。

図４は本原理の別の一実施形態を示しており、この実施形態においては、第１の部分が下位部分（subparts）に分割されている。例えば、第１の部分の下位部分は、１つの画素サイズを有しており、規則的なグリッド（格子）として構成されている。別の例によれば、下位部分は、様々なサイズの六角形である。図４において、第１の部分（１３）は、矩形の下位部分（例えば４０と４１）に分割されている。第２の距離が、それぞれの下位部分（例えば４２と４３）について算出される。第２の距離は、第１の距離の算出に用いられる任意の方法を用いて算出される。図４において、下位部分（４０）は、参照部分から下位部分（４１）よりも遠くにある。視覚的劣化のレベルは、下位部分（４１）に対してよりも下位部分（４０）に対しての方が高い。この例では、下位部分があるのが第１の部分（１３）内の右側及び下側であればあるほど、劣化のレベルはより高くなる。これは、第１の部分の視覚的品質の勾配を作り出す。この実施形態は、単独でも、或いは、上述のように視覚的劣化のレベルを次第に増大させることと組み合わせても、ユーザが第１の部分の比較的に劣化の少ない下位部分の方に自己の凝視を向けて自己の頭部を参照部分の方に無意識に回転させるようにユーザを追いやる波のような表示形態を取るという利点を有している。

統一性のために、利点として、同一の距離算出方法を用いて全ての下位部分の第２の距離を算出する。一変形によれば、異なる距離算出方法が、少なくとも２つの下位部分について用いられる。しかしながら、この変形例は、距離の集合と下位部分の劣化のレベルとに不統一性をもたらす。

図６には、ビデオ・コンテンツの第１の部分を処理するように構成された装置（６０）の第１のハードウェア実施形態が概略的に示されている。装置（６０）は、少なくとも、ビデオ部分選択部（６１）、画像劣化処理部（６２）及びコントローラ（６３）を備えている。利点として、このシステムは、第１の部分が送信される表示装置（６４）に接続されている。特定の一実施形態によれ、装置（６０）は、ＨＭＤ、タブレット、或いは、スマートフォンである。この場合、コントローラの１つは、ＨＭＤの慣性センサ・システムである。慣性センサ・システムは、例えば、３つのジャイロスコープ、すなわち、ピッチについて１つ、ヨーについて１つ、及び、ロールについて１つ、を備えている。別の一実施形態によれば、コントローラは、少なくとも１つの慣性計測装置（Inertial Measurement Unit：IMU）を備えている。別の一例において、装置（６０）は、セットトップ・ボックス又はパーソナル・コンピュータであり、コントローラは、ジョイスティック、ジョイパッド、マウス、リモコン又はキーボードである。幾つかの変形例において、カメラを用いて空間内のコントローラ装置の位置を特定する。画像劣化処理部（６２）は、画像として又は画像のシーケンスとして表現される没入型ビデオの一部分を表すデータを、例えば無線リンクを介して、送受信するように構成されている。別の一例に従えば、画像劣化処理部（６２）は、有線リンクを介して、例えばＵＳＢ又はＨＤＭＩ（登録商標）規格に従って、データを送受信するように構成されている。

図７には、装置（７０）の第２のハードウェア実施形態が概略的に示されている。この例において、装置（７０）は、アドレスとデータのバスでありクロック信号も送るバス（７６)によって互いに接続された下記の構成素子、すなわち、
−マイクロプロセッサ（７１）（すなわち、ＣＰＵ）、
−幾つかのグラフィック・プロセッサ・ユニット（Graphical Processor Unit：ＧＰＵ）（７２０）とグラフィック・ランダム・アクセス・メモリ（Graphical Random Access Memory：ＧＲＡＭ）（７２１）とを備えたグラフィックス・カード（７２）、
−ＲＯＭ（リード・オンリ・メモリ）タイプの不揮発性メモリ（７３）、
−ランダム・アクセス・メモリ（ＲＡＭ）（７４）、
−コントローラ（６３）（例えばＩＭＵ）、
−例えば、触覚インタフェース、マウス、ウェブカムなどのような１つ又は幾つかのＩ／Ｏ（入出力）装置（７５）、及び、
−電力供給源（７７）
を備えている。

利点として、装置（７０）は、グラフィックス・カード（７２）に直接接続されてこのグラフィックス・カードにおいて算出された画像を表示する表示スクリーン・タイプの１つ又は複数の表示装置（６４）に接続される。

尚、メモリ（７２１）、（７３）及び（７４）の説明で使用される用語の「レジスタ」は、上記の各々のメモリにおいて、小容量（ある程度のバイナリ・データ）のメモリ・ゾーンと大容量の（プログラム全体の記憶が可能な、或いは、算出された又は表示されるデータを表すデータの全て又は一部分の記憶が可能な）メモリ・ゾーンの両方を意味する。

電源が投入されると、マイクロプロセッサ（７１）は、ＲＡＭ（７４）に格納されたプログラムの命令をロードして実行する。

ランダム・アクセス・メモリ（７４）は、特に、
−レジスタ（７４０）内の、装置（７０）の電源投入を担当するマイクロプロセッサ（７１）のオペレーティング・プログラムと、
−没入型ビデオ・コンテンツの画像を表すデータ（例えばＲＧＢデータ又はＹＵＶデータ）（７４１）と、
−ビデオ・コンテンツのタイムスタンプに対応付けられた参照部分を表す情報（７４２）と、
を備えている。

特定の一実施形態によれば、本開示に固有の以下に説明する方法のステップを実施するアルゴリズムが、利点として、これらのステップを実施する装置（７０）に関連付けられたグラフィックス・カード（７２）のメモリＧＲＡＭ（７２１）に記憶されている。電源が投入されて、データ（７４１）と情報（７４２）がＲＡＭ（７４）にロードされると、グラフィックス・カード（７２）のグラフィック・プロセッサ（７２０）は、これらのパラメータをＧＲＡＭ（７２１）にロードして、例えばＨＬＳＬ（High Level Shader Language）言語又はＧＬＳＬ（OpenGL Shading Language）言語を使用した「シェーダ（shader）」タイプのマイクロプログラムの形態におけるこれらのアルゴリズムの命令を実行する。

ランダム・アクセス・メモリＧＲＡＭ（７２１）は、特に、レジスタ（７２１０）においてビデオ・コンテンツの表示部分を表すデータを備えている。

別の変形例によれば、ＲＡＭ（７４）の一部分が、ＣＰＵ（７１）によって、アルゴリズムの記憶用に割り当てられる。しかしながら、この変形例は、画像の構成における待ち時間が長くなってしまう。その理由は、データがランダム・アクセス・メモリ（７４）からバス（７６）を経由してグラフィックス・カード（７２）まで伝送される必要があり、これについての伝送容量（伝送性能）が、一般的に、グラフィックス・カード内においてＧＰＵからＧＲＡＭまでのデータの伝送、及び、その逆のデータの伝送について得られる伝送容量（伝送性能）よりも劣るためである。

別の変形例によれば、電源（７７）は、装置（７０）の外部にある。

図５には、非限定的で有益な一実施形態による、例えば装置（６０）又は（７０）のような処理装置において実施される方法の第１の実施形態が概略的に示されている。

この方法は、２つのデータ、すなわち、没入型ビデオ・コンテンツの一部分を表す第１の部分（１３）と、同じ没入型ビデオ・コンテンツの参照部分（２０）とを取り扱う。第１の部分と参照部分とは、没入型ビデオ・コンテンツの基準座標系（frame of reference）内におけるそれらの位置と形状の記述に関連付けられる。

第１のステップ（５１）は、第１の部分と参照部分との間の第１の距離を求める（特定する）ことにその本質がある。有益な変形例によれば、この第１の距離は、０.０と１.０の間で標準化されたスカラ値である。別の変形例によれば、第１の距離は、画素単位で測定されるか、或いは、角距離（angular distance）として度（degree）又はラジアン（radian）の単位で測定される。ステップ（５１）の結果は、次のステップ（５２）で使用される。ステップ（５２）において、視覚的劣化のレベルが、提供された第１の距離に従って算出されるが、第１の距離が長ければ長いほど、視覚的劣化のレベルはより高くなる。このレベルに従って、第１の部分の画像は視覚的劣化処理される、すなわち、視覚的に劣化させられる。ステップ（５２）では、上述の視覚的品質の劣化処理の方法のうちの任意の方法が用いられる。このステップにおいて、第１の部分の画像の劣化処理された（すなわち、劣化させられた）バージョン（５３）が生成される。

図８には、非限定的で有益な一実施形態による、例えば装置（６０）又は（７０）のような処理装置において実施される方法の第２の実施形態が概略的に示されている。

初期化ステップ（８０）において、処理装置（６０）又は（７０）の種々のパラメータが更新される。特に、コントローラに固有のパラメータが、任意の方法で初期化される。例えば、装置（６０）又は（７０）がＨＭＤである場合、正しく最初の１組の３つの角度が、この装置の位置をワールド固定基準座標系（world fixed frame of reference）におけるワールド基準方向（world reference direction）と比較することによって、求められる（特定される）。この基準座標系（frame of reference）は、例えば、方位角（azimuth）の基準を例えば北にして、或いは、関連付けられたカメラへの向きにして、水平軸及び垂直軸を使用する。当初は、参照部分は識別されない。換言すれば、アプリケーションがまさしく開始した時点においては、ユーザに見るように促すような参照部分はない。

没入型ビデオ・コンテンツは、例えば、円筒形状（図１に例示されたような形状）、立方体形状、或いは、球形状である投影マッピング・モードに関連付けられている。この投影マッピング・モードは、自身の基準座標系におけるコンテンツ基準方向を規定している。一変形例では、このコンテンツ基準方向と、初期化ステップ（８０）において選択されるワールド基準方向との間に対応関係が確立されている。

ステップ（８１）において、ビデオ・コンテンツの第１の部分が、コントローラのパラメータに従って選択される。このステップが初めて実行される場合、これらのパラメータのデフォルト値が使用される。このステップにおいて、コントローラのパラメータを用いて没入型ビデオ・コンテンツのフレーム内における第１の部分の位置を求める（特定する）。ディスプレイが例えばＨＭＤのような装置（６０）又は（７０）の固有の構成要素である一実施形態において、一方ではこのポジションに従って、他方では表示スクリーンの特徴（例えば形状と視界）に従って、没入型ビデオ・コンテンツの第１の部分が「切り抜かれて（cut out）」選択される。一変形例によれば、このステップは、イベント（８２）がコントローラの少なくとも１つによって検出された時に実行される。例えば、ユーザがジョイスティックを用いて没入型ビデオ・コンテンツをブラウジングしている場合、ステップ（８１）は、ユーザが自己のジョイスティックを操作している時に実行される。別の変形例によれば、装置（６０）又は（７０）がＨＭＤである場合、ステップ（８１）は、ＨＭＤのポジションの変化が例えばその慣性測定装置によって検出された時に実行される。別の変形例によれば、ステップ（８１）は、より頻繁に、例えば没入型ビデオ・コンテンツのフレーム毎に実行される。ステップ（８１）の実行によって、次のステップ（８３）が自動的に実行される。

ステップ（８３）において、図５に示された方法の両ステップが実行される。第１の部分と参照部分との間の第１の距離が特定されて、第１の部分の品質が劣化させられる。このステップ（８３）において、劣化のレベルが第１の距離に従って算出され、第１の距離が長いほど、視覚的劣化のレベルはより高くなる。参照部分がない場合、第１の距離はゼロに設定される。その結果、画像は全く劣化されない。参照部分がある場合、表示される部分とその参照部分との間の第１の距離が算出される。特定の一例によれば、この第１の距離は、没入型ビデオ・コンテンツの基準座標系において、第１の部分の中心（一例として図心）と参照部分の中心（別の一例として重心）との間の最短のユークリッド距離である。別の実施形態によれば、この第１の距離は、第１の部分の任意の点と参照部分の任意の点との間の最短距離である。第１の距離が算出されると、第１の距離が長いほど劣化のレベルがより高くなるという原理に従って、劣化のレベルが選択される。この選択は、画像を視覚的に劣化させられるために選ばれる手段に依存する。一変形によれば、第１の部分の色が、フェーディング・ダウン（fading down：下方退色処理）される。別の変形例によれば、図３Ａと３Ｂに例示されているように、ある程度のノイズが、表示される部分に導入される。ステップ（８３）において、表示される部分は、選ばれた劣化処理手段によって、視覚的に劣化させられる。

参照部分は、任意の時点で変わることがある（８４）。このような変化は、例えば、コンテンツ・データ・ストリーム内で得られる。第２の例によれば、この情報は、遠隔サーバから得られる。第３の例によれば、参照部分は、対象領域検出アルゴリズムによって規定される。この例において、対応する情報は、このようなアルゴリズムによる没入型ビデオ・コンテンツの画像のシーケンスの分析によって得られる。そのような対象領域検出アルゴリズムの実行のためのプログラムが、利点として、装置（７０)のＧＲＡＭ（７２１）のレジスタ内に記憶されるか、或いは、一変形によれば、ＲＡＭ（７４）のレジスタにロードされる。参照部分の変化が検出されると、ステップ（８３）が実行される。

別の実施形態によれば、所与の第１の距離についての劣化のレベルは、時間の経過と共に増大していく。例えば、視聴セッションの開始時点でナレーションにおけるハイライトがないので、視聴セッションは参照部分なしで始まる。その後、しばらくして、参照部分が特定されて、ユーザがその参照部分の方を見るように促される。ユーザが他の所を見ているならば、第１の距離（以下、ｄｉｓｔと称する）は、その数値が高い。劣化のレベル（以下、ｌｅｖと称する）が、この第１の距離ｄｉｓｔについて算出される。第１の部分は、この時点において全く劣化させられていない。第１の部分の視覚的品質の突然の変化を回避するために、この実施形態によれば、視覚的劣化のレベルが、非常に低い値、例えばゼロに設定される。次に、視覚的劣化のレベルは、この第１の距離ｄｉｓｔについて、レベルｌｅｖまで次第に増大する。劣化のレベルは、レベルｌｅｖに到達すると、もう増大しない。例えば、選択された劣化処理方法がピクセレーティング（pixelating：画素化処理）であれば、第１の部分は、所与の第１の距離ｄｉｓｔについて、時間の経過と共に増々ピクセレート（pixelate：画素化処理）されていく。装置（６０）又は（７０）がＨＭＤである例では、ステップ（８１）をトリガし、その結果、ステップ（８３）をトリガすることによるこの効果は、ユーザの頭部を参照部分の方に向けること（コントローラ（６３）のイベント）のみによって、減衰させられる。

別の実施形態によれば、ステップ（８３）において、第１の部分は、下位部分に分割される。一変形によれば、これらの下位部分は、１つの画素サイズを有しており、規則的なグリッド（格子）として構成されている。別の変形例によれば、下位部分は様々なサイズの正方形であり、一組の正方形が没入型ビデオ・コンテンツの領域全体をカバーしている。第２の距離が、このステップ（８３）において、各々の下位部分について算出される。第２の距離は、第１の距離について説明された距離のうちの１つを用いて、特定される。一変形例によれば、統一性のために、同じ１つの距離を用いて全ての下位部分の第２の距離を算出する。ステップ（８３）のこの変形例は、単独で実施されるか、或いは、視覚的劣化のレベルを次第に増大させる変形例と組み合わせて実施される。

当然、本開示は、これまでに説明された実施形態には限定されない。

特に、本開示は、没入型ビデオ・コンテンツを処理する方法には限定されず、処理された第１の部分を表示する任意の方法と、この表示方法を実施する任意の装置とにも適用される。また、第１の部分と下位部分を生成するのに必要な算出処理の実施形態は、シェーダ・タイプのマイクロプログラムにおける実施形態には限定されず、任意のプログラム・タイプ、例えば、ＣＰＵタイプのマイクロプロセッサによって実行可能なプログラムにおける実施形態にも適用される。本開示の方法の使用は、ライブの利用には限定されず、その他の任意の利用、例えばレコーディング・スタジオにおけるポストプロダクション処理として知られる処理についての利用にも適用される。

本明細書において説明された実施形態は、例えば、方法、プロセス、装置、ソフトウェア・プログラム、データ・ストリーム、あるいは、信号において実施されてもよい。説明された特徴の実施は、それがたとえ単一の形の実施形態のコンテキスト（文脈）のみで説明されたとしても（例えば、方法又は機器としてのみ説明されたとしても）、その他の形（例えば、プログラム）でも実施されてもよい。ある装置は、例えば、適切なハードウェア、ソフトウェア及びファームウェアを用いて実施してもよい。方法は、例えば、装置を用いて、例えば、コンピュータ、マイクロプロセッサ、集積回路、あるいは、プログラマブル・ロジック・デバイスを含む処理機器を一般的に意味する例えばプロセッサを用いて実施してもよい。プロセッサには、例えば、スマートフォン、タブレット、コンピュータ、モバイル・フォン、ポータブル／パーソナル・ディジタル・アシスタント（「ＰＤＡ」）のような通信機器、及び、エンドユーザ相互間の情報の通信を容易にするその他の機器も含まれる。

本明細書に説明された種々のプロセス及び特徴の実施は、様々な種々の装置又はアプリケーションにおいて、特に、例えば、画像及び関連テクスチャ情報及び／又は深度情報のデータ符号化、データ復号、ビュー生成、テクスチャ処理、及び、その他の処理に関連付けられた装置又はアプリケーションにおいて、具現化されてもよい。そのような装置の例には、符号化器、復号器、復号器からの出力を処理するポストプロセッサ、符号化器に入力を供給するプレプロセッサ、ビデオ・コーダ、ビデオ・デコーダ、ビデオ・コーデック、ウェブ・サーバ、セットトップ・ボックス、ラップトップ、パーソナル・コンピュータ、セルフォン、ＰＤＡ、及び、その他の通信機器が含まれる。明らかなことであるが、これらの装置は、可動性を有してもよく、移動車両に搭載することさえも可能である。

更に、方法は、プロセッサによって行われる命令によって実施されてもよく、そのような命令（及び／又は、実施形態によって生成されるデータ値）は、プロセッサ可読媒体に記憶されてもよく、そのようなプロセッサ可読媒体は、例えば、集積回路、ソフトウェア搬送又はその他の記憶機器、例えば、ハード・ディスク、コンパクト・ディスケット（「ＣＤ」）、光ディスク（例えば、しばしばデジタル多用途ディスク又はデジタル・ビデオ・ディスクと呼ばれるＤＶＤ）、ランダム・アクセス・メモリ（「ＲＡＭ」）、あるいは、リード・オンリ・メモリ（「ＲＯＭ」）である。命令は、プロセッサ可読媒体に明確に組み入れられたアプリケーション・プログラムを構成してもよい。命令は、例えば、ハードウェア、ファームウェア、ソフトウェア、あるいは、それらの組み合わせの中に入れられてもよい。命令は、例えば、オペレーティング・システム、個別のアプリケーション、あるいは、両者の組み合わせの中に存在してもよい。したがって、プロセッサは、例えば、プロセスを実行するように構成されたデバイスと、プロセスを実行するための命令を有する（記憶装置のような）プロセッサ可読媒体を備えたデバイスとの両方を兼ねたものとしてみなされてもよい。更に、プロセッサ可読媒体は、実施形態によって生成されたデータ値を、命令に加えて又は命令の代わりに、記憶してもよい。

当業者には明らかであろうが、実施形態において、例えば、記憶又は送信可能な情報を搬送するようにフォーマット化された種々の信号を生成してもよい。この情報には、例えば、方法を実施するための命令、あるいは、説明された実施形態の１つによって生成されたデータが含まれてもよい。例えば、信号は、説明された実施形態のシンタックスを書く又は読むための規則をデータとして搬送するように、あるいは、説明された実施形態によって書かれた実際のシンタックス値をデータとして搬送するようにフォーマット化されてもよい。そのような信号は、例えば、（例えば、スペクトルの無線周波数部分を用いて）電磁波として、あるいは、ベースバンド信号としてフォーマット化されてもよい。このフォーマット化には、例えば、データ・ストリームを符号化すること、及び、搬送波を符号化データ・ストリームで変調することが含まれてもよい。この信号が搬送する情報は、例えば、アナログ情報又はデジタル情報であってもよい。この信号は、周知のように、様々な種々の有線又は無線リンクを介して送信されてもよい。この信号は、プロセッサ可読媒体に記憶されてもよい。

以上、いくつかの実施形態を説明した。しかしながら、種々の修正を加えてもよいことが理解されるであろう。例えば、種々の実施形態の構成要素を組み合わせる、補う、修正する、あるいは、取り去ることによって別の実施形態を実現してもよい。更に、当業者であれば、ここに開示された構成及びプロセスの代わりに別のものを用いてもよく、その結果得られる実施形態が、少なくとも実質的に同じ機能を、少なくとも実質的に同じやり方で、果たして、開示された実施形態と少なくとも実質的に同じ成果を実現できることが理解できるであろう。これに従って、本願は、これらの実施形態及びその他の実施形態を熟慮している。

Claims (15)

1. 没入型ビデオ・コンテンツ（１０）の第１の部分（１３）を描画する方法において、
   少なくとも１つのコントローラからパラメータを取得することであって、前記パラメータは描画すべき前記第１の部分を表し、前記第１の部分は前記没入型ビデオ・コンテンツの一部分である、該取得することと、
   前記第１の部分（１３）と前記没入型ビデオ・コンテンツの少なくとも１つの参照部分（２０）との間の第１の距離（２１；３１）を求めることと、
   前記第１の距離（２１，３１）に従って前記第１の部分の視覚的品質を劣化させることによって、劣化処理済みバージョン（５３）と称される、前記第１の部分（１３）のバージョンを処理することであって、前記第１の距離（２１，３１）が長いほど、視覚的劣化のレベルがより高くなる、該処理することと、
   前記第１の部分の前記劣化処理済みバージョン（５３）を描画するステップと、
   を含むことを特徴とする、前記方法。
2. 前記第１の部分（１３）が下位部分（４０；４１）に分割され、各々の前記下位部分と前記少なくとも１つの参照部分（２０）との間の第２の距離（４２；４３）が求められ、前記第２の距離（４２；４３）が長いほど、各々の前記下位部分（４０；４１）についての視覚的劣化のレベルがより高くなる、請求項１に記載の方法。
3. 前記視覚的劣化のレベルが時間の経過と共に増大する、請求項１又は２に記載の方法。
4. 前記第１の距離（３１）が、
   前記第１の部分の中心と前記少なくとも参照部分の中心との間のユークリッド距離と、
   前記少なくとも参照部分の任意の点と前記第１の部分の任意の点との間の一組の距離のうちの最短ユークリッド距離と、
   前記少なくとも参照部分の任意の点と前記第１の部分の任意の点との間の複数の距離の平均ユークリッド距離と、
   から成る距離の一群に属する、請求項１から３のいずれか１項に記載の方法。
5. 前記第１の部分の視覚的劣化が、
   ぼかし処理、
   下方退色処理又は上方退色処理、
   彩度の下方又は上方への変更、
   ノイズ化処理、及び、
   画素化処理、
   から成る視覚的劣化の一群に属する、請求項１から４のいずれか１項に記載の方法。
6. 前記第１の距離（３１）が複数の参照部分に従って求められる、請求項１から５のいずれか１項に記載の方法。
7. 前記劣化処理済みバージョン（５３）を表示装置に送信するステップを更に含む、請求項１から６のいずれか１項に記載の方法。
8. 前記第１の部分（１３）の位置が、ユーザによってコントローラ装置（６３）を介して制御される、請求項１から６のいずれか１項に記載の方法。
9. 没入型ビデオ・コンテンツ（１０）の第１の部分（１３）を描画するように構成された装置（６０；７０）において、
   少なくとも１つのコントローラからパラメータを取得する手段であって、前記パラメータは描画すべき前記第１の部分を表し、前記第１の部分は現在描画されている前記没入型ビデオ・コンテンツの一部分である、該手段と、
   前記第１の部分と少なくとも参照部分との間の第１の距離を求めるように構成されたプロセッサと、
   前記第１の距離に従って前記第１の部分の視覚的品質を劣化させることによって、劣化処理済みバージョンと称される、前記第１の部分のバージョンを処理するように構成されたプロセッサであって、前記第１の距離が長いほど、視覚的劣化のレベルがより高くなる、該プロセッサと、
   前記第１の部分の前記劣化処理済みバージョンを描画するように構成されたプロセッサと、
   を備えていることを特徴とする、前記装置。
10. 前記第１の部分が下位部分に分割され、各々の前記下位部分と前記少なくとも参照部分との間の第２の距離が求められ、前記第２の距離が長いほど、各々の前記下位部分についての視覚的劣化のレベルがより高くなる、請求項９に記載の装置。
11. 前記視覚的劣化のレベルが時間の経過と共に増大する、請求項９又は１０に記載の装置。
12. 前記第１の距離が、
    前記第１の部分の中心と前記少なくとも参照部分の中心との間のユークリッド距離と、
    前記少なくとも参照部分の任意の点と前記第１の部分の任意の点との間における最短ユークリッド距離又は平均ユークリッド距離と、
    から成る距離を算出する手段の一群に属する、請求項９から１１のいずれか１項に記載の装置。
13. 前記第１の部分の視覚的劣化が、
    ぼかし処理、
    下方退色処理又は上方退色処理、
    彩度の下方又は上方への変更、
    ノイズ化処理、及び、
    画素化処理、
    から成る視覚的劣化の一群に属する、請求項９から１２のいずれか１項に記載の装置。
14. 前記第１の距離が複数の参照部分に従って求められる、請求項９から１３のいずれか１項に記載の装置。
15. 前記劣化処理済みバージョンを表示装置に送信することを更に備えている、請求項９から１４のいずれか１項に記載の装置。

Images