JP2019515379A - レンダリングデバイスのポーズを推定する方法及び装置 - Google Patents

Abstract

本開示は、レンダリングデバイスの最終ポーズ（２１）を決定する方法、装置又はシステムに関係がある。初期ポーズは、レンダリング装置に関連する。モジュール（２５）は、絶対ポーズセンサ（２３）及び差分ポーズセンサ（２２）からのデータに従って中間ポーズ（２６）を決定する。モジュール（２７）は、最初に、中間ポーズ（２６）と初期ポーズ情報との間の差に、第２に、差分ポーズセンサ（２２）からのデータに、第３に、レンダリングデバイスに表示されている現在画像（２４）についての動きの視覚認知の評価に従って、最終ポーズ（２１）を決定する。

Description

本開示は、絶対ポーズセンサ及び差分ポーズセンサからのデータ並びにレンダリングデバイスに表示されている現在画像の視覚認知を相関させることによってレンダリングデバイスのポーズを決定する分野に関連がある。レンダリングデバイスは、例えば、スマートフォン、タブレット又はヘッドマウント型ディスプレイ（ＨＭＤ）である。

オブジェクトのポーズを推定する方法は、多種多様である。斯様な方法は、可能な限り正確に基準フレーム内のオブジェクトの位置及び向きを決定することを目標とする。語“ポーズ”は、３次元空間（３自由度）における位置及びオブジェクトの向き（３自由度）の指標を収集する。故に、ポーズは６次元の尺度である。２種類のセンサが、オブジェクトのポーズを推定するために使用されてよい。すなわち、絶対ポーズセンサ及び差分ポーズセンサである。センサは、ポーズの６次元のうちの少なくとも１つを決定することに寄与する。

絶対ポーズセンサは、ポーズが推定される必要がある基準フレームに直接結び付けられるセンサである。例えば、磁気計がオブジェクトに関連付けられてよい。北は、基準フレームに結び付けられる。オブジェクトが回転されているときに、磁気計はアジマス（ただ１つの次元）を測定する。カメラのシステムは、オブジェクトの画像を捕捉するためにオブジェクトの前又は周りに設置されてよい。基準フレーム内のカメラのポーズは正確に知られる。捕捉された画像の処理は、基準フレーム内のオブジェクトのポーズの推定を可能にする（システム及び画像処理の複雑性に応じて２乃至６つの次元から。）。絶対ポーズセンサの測定誤差は一定であるが、比較的に不正確である。

差分ポーズセンサは、オブジェクト自体に関連し、その動きを検出するセンサである。ジャイロスコープ及び加速度計が、通常は、慣性計測装置（ＩＭＵ）において使用される。それらのセンサは、オブジェクトのポーズを直接には測定しない。差分ポーズセンサは、ポーズの変化を測定し、新しいポーズは、検出された変化を既知のポーズに付加することによって決定される。このようなセンサは、高周波数で動作し、非常に正確である。しかし、それらの測定誤差は、時間にわたって累積し、補正されない場合にはしばらく後に深刻になっている。

ポーズ推定を最適化するよう、且つ、差分ポーズセンサの累積的な測定誤差を補正するよう、両タイプのセンサが組み合わされる。ポーズは、あらゆるセンサからのあらゆる測定にフィルタをかけることによって推定される。いくつかの技術が可能である。例えば、ポーズは、測定からの情報の平均であってよい。各タイプのセンサから発せられる情報は矛盾することがある。絶対ポーズセンサによって推定されるポーズは変化し得るが、一方で、差分ポーズセンサにより推定されるポーズは静止している。運動モデルに基づくフィルタは、減衰現象を導入し得る。すなわち、推定されたポーズは進み続け、一方で、センサ、特に差分ポーズセンサは動きを感知しない。一部のポーズセンサは信号を失うか、又は低周波捕捉を有し得る。これは、ポーズ推定において突然のジャンプをもたらすか、又は減衰現象を生じさせ得る。

イマーシブコンテンツレンダリングデバイスは、画像の一部分のみを表示して、ユーザが、“周囲を見回し”、自身の周りの画像を発見するよう、ディスプレイ自体を動かすことで画像をブラウズすることを可能にするレンダリングデバイスである。スマートフォン、タブレット又はＨＭＤは、例えば、イマーシブビデオ又は仮想現実シーン（例えば、ゲームにおける。）のようなイマーシブコンテンツをレンダリングするために使用される。斯様なレンダリングデバイスのポーズ推定は、ユーザの実際の動きに一致する必要がある。これは、特に、ＨＤＭに当てはまる。実際に、ブラウジングは、ポーズ推定、故に、表示される画像によって、制御される。ポーズ推定がユーザの動きと正確に対応しない場合には、ユーザが見ているものは、吐き気を催させる危険を冒して（シミュレータ酔い）、彼の前庭器官が彼の脳に示しているものに対応しない。斯様なレンダリングデバイスについては、ポーズセンサ（絶対及び差分）の組からのデータ及びレンダリングデバイスで表示されている現在画像の視覚認知を相関させることによってポーズを決定することが重要である。

本開示の目的は、レンダリングデバイスの決定されたポーズと現在画像の視覚認知との間の不一致を解消することである。本開示は、レンダリングデバイスの最終ポーズ情報を決定する方法であって、初期ポーズ情報がレンダリングデバイスに関連する、前記方法において、
レンダリングデバイスの絶対ポーズ情報及び／又はレンダリングデバイスの差分ポーズ情報を表すデータに従って中間ポーズ情報を決定することと、
中間ポーズ情報と初期ポーズ情報との間の差、差分ポーズ情報を表すデータ、及びレンダリングデバイスで表示されている現在画像の視覚認知を表す情報に従って最終ポーズ情報を決定することと
を有する前記方法に関係がある。

特定の実施形態に従って、最終ポーズ情報の決定は、
中間ポーズ情報と最終ポーズ情報との間の差、及び差分ポーズ情報を表すデータに従って、動きの認知を表す第１係数を決定することと、
レンダリングデバイスで表示されている現在画像の視覚認知を表す第２係数を決定することと、
第１係数及び第２係数の組み合わせに従って、初期ポーズと中間ポーズ情報との間で最終ポーズ情報を決定することと
を有する。

特定の特徴に従って、第１係数は、中間ポーズ情報と初期ポーズ情報との間の差を、差分ポーズ情報に中心があり且つ差分ポーズ情報に比例した標準偏差を有している関数に適用することによって、決定される。

具体的な特徴に従って、第２係数は、現在表示されている画像の特徴に従って決定され、該特徴は、光度（luminosity）、ぼやけ（blurriness）、彩度（saturation）、色調（hue）、又はサリエンシー（saliency）の大きさを含む特徴の組に属する。

特定の実施形態において、第２係数は、現在表示されている画像を含む少なくとも２つの画像のシーケンスの特徴に従って決定され、該特徴は、エネルギ、エントロピ又は光学フローの大きさを含む特徴の組に属する。

具体的な特徴に従って、第２係数は、現在表示されている画像の特徴と、現在表示されている画像を含む少なくとも２つの画像のシーケンスの特徴との組み合わせに従って、決定される。

特定の実施形態に従って、中間ポーズ情報は、フィルタリング方法によって決定され、該フィルタリング方法は、カルマンフィルタ又は粒子フィルタを含む組に属する。

本開示はまた、レンダリングデバイスの最終ポーズ情報を決定するよう構成されたデバイスであって、初期ポーズ情報がレンダリングデバイスに関連する、前記デバイスにおいて、
レンダリングデバイスの絶対ポーズ情報及び／又はレンダリングデバイスの差分ポーズ情報を表すデータに従って中間ポーズ情報を決定する手段と、
中間ポーズ情報と初期ポーズ情報との間の差、差分ポーズ情報を表すデータ、及びレンダリングデバイスで表示されている現在画像の視覚認知を表す情報に従って最終ポーズ情報を決定する手段と
を有する前記デバイスに関係がある。

本開示はまた、レンダリングデバイスの最終ポーズ情報を決定するよう構成されたデバイスであって、初期ポーズ情報がレンダリングするデバイスに関連する、前記デバイスにおいて、
レンダリングデバイスの絶対ポーズ情報及び／又はレンダリングデバイスの差分ポーズ情報を表すデータに従って中間ポーズ情報を決定し、
中間ポーズ情報と初期ポーズ情報との間の差、差分ポーズ情報を表すデータ、及びレンダリングデバイスで表示されている現在画像の視覚認知を表す情報に従って最終ポーズ情報を決定する
よう構成される少なくとも１つのプロセッサを有する前記デバイスに関係がある。

添付の図面を参照して以下の記載を読むことで、本開示はより良く理解され、他の具体的な特徴及び利点は明らかになる。

本原理の具体的な実施形態に従って、一方で少なくとも１つの絶対ポーズセンサの組、及び他方で少なくとも１つの差分ポーズセンサの組からのデータにフィルタをかけることによって、中間ポーズを決定することの例を表す。 本原理の具体的な実施形態に従って、図１の中間ポーズ情報並びに図１の絶対ポーズセンサ及び差分ポーズセンサからのデータを使用することによって、且つ、レンダリングデバイスによって現在表示されている画像に従って最終ポーズを決定するよう構成されたシステムの構造を図式的に示す。 本原理の具体的な実施形態に従って、図２のシステムのハードウェア実施形態を図式的に示す。 非制限的な有利な実施形態に従って、図３の処理デバイスで実装される方法の実施形態を図式的に示す。

主題は、これより、図面を参照して記載される。図面において、同じ参照符号は、全体を通して同じ要素を参照するために使用される。以下の記載において、説明のために、多数の具体的な詳細が、主題の完全な理解を提供するために示される。主題の実施形態は、それらの具体的な詳細によらずとも実施可能であることが理解される。

本開示の非制限的な実施形態に従って、動きの認知及び視覚認知を相関させることによってイマーシブコンテンツレンダリングデバイスのポーズを決定する方法において、絶対ポーズセンサ及び差分ポーズセンサは、ポーズが推定される基準フレームと、及びデバイスと夫々関連付けられる。初期化フェーズにおいて、初期ポーズは絶対ポーズセンサに従って決定される。少なくとも１つの絶対ポーズセンサからのデータ、及び任意に差分ポーズセンサからのデータは、中間ポーズを決定するよう第１モジュールによってフィルタをかけられる。第２モジュールは、動きの認知のモデルに従う第１係数と、レンダリングデバイスで現在表示されている画像の視覚認知のモデルに従う第２係数とを計算する。それらの係数は、動き認知と視覚認知とが相関するように、初期ポーズから、中間ポーズの方向において最終ポーズを計算するために使用される。新しい推定へ進むよう、最終ポーズの値は初期ポーズに設定され、新しい中間ポーズが決定される。

初期ポーズは第１ポーズ情報であり、中間ポーズは第２ポーズ情報であり、最終ポーズは第３ポーズ情報である。

図１は、一方で少なくとも１つの絶対ポーズセンサの組、及び他方で少なくとも１つの差分ポーズセンサの組からのデータにフィルタをかけることによって、中間ポーズ１０を決定することの例を表す。明りょうさのために、図１は、（ポーズの６つの次元のうちの）１つの次元、例えばアジマス、の例を表す。本原理は６次元情報に拡張可能であることが理解される。図１において、絶対ポーズセンサからのデータは、時間にわたって変化する第１ポーズ推定１１を構成し、差分ポーズセンサからのデータは、第１ポーズ１１から独立して時間にわたって変化する第２ポーズ推定１２を構成するよう累積される。フィルタリングは、中間ポーズ１０を決定するよう第１ポーズ及び第２ポーズを平均することにある。第１の期間１３において、第１ポーズ及び第２ポーズは分岐する。しかし、いずれも同じ方向において進む。フィルタリングはこの分岐を補償し、中間ポーズ１０は、第２ポーズ１２に比べて同じ方向において進んでいる。この期間中に、ＨＭＤの例では、ユーザは、ある方向において自身の頭を回転させて、この動きを感知する。ポーズ推定によってもたらされる画像のブラウジングは、わずかにより緩やかに、同じ方向において回転する。１３のような期間中に、視覚認知は動き認知と一致し、中間ポーズは最終ポーズとして直接使用されてよい。

期間１４及び１５の間、この一致は中断される。実際に、差分ポーズセンサからのデータの累積に従って構成される第２ポーズは、中間ポーズに比べてもはや同じ方向において進まない。期間１４の間、差分ポーズセンサは、ユーザが動かないことを示す。しかし、絶対ポーズセンサは、ユーザが自身の頭を回転させることを示す。フィルタリングモジュールは両方の値を平均化し、ユーザが自身の頭を回転させると決定する。差分ポーズは絶対ポーズセンサよりも正確であるということで、それは、ユーザが動いていないが、ブラウジングが回転し続けていることを意味する。期間１５の間、第１ポーズ及び第２ポーズは逆方向に進んでいる。フィルタリングモジュールは、デバイスは静止しており、一方で、ユーザは実際には自身の頭を回転させていると決定する。そのような状況は、それらが動き認知と視覚認知との間の不一致を導入することによって吐き気（一般的に、シミュレータ酔い、船酔い、宇宙酔い、乗り物酔い全般）の原因となるということで、回避されるべきである。

期間１６の間、絶対ポーズセンサからの信号は失われる。これは、例えば、絶対ポーズセンサがＨＭＤの前側を撮影するカメラである場合に、起こり得る。ユーザが４分の１回転よりも多く回転しているとき、又はユーザがカメラの視野から出ていくとき、信号は失われる。フィルタリングモジュールは、中間ポーズを決定するために差分ポーズセンサからのデータしか有さない。第１の変形例で、中間ポーズは、曲線１０の区間１０ａによって表されるように、平均値から第２ポーズの値へジャンプする。第２の変形例で、フィルタリングモジュールは、曲線１０の区間１０ｂによって表されるように、第２ポーズを用いて中間ポーズを漸進的に補間して、値を第２ポーズの値まで鈍らせる。期間１７の間、絶対ポーズセンサからの信号が回復され、ジャンピング又は減衰の同じ現象が現れる。

変形例において、より洗練されたフィルタリング方法、例えば、モデルに基づくフィルタリング、粒子フィルタリング又はカルマンフィルタリングが使用されてよい。不一致、減衰及び／又はジャンピング現象は、種々の条件の下で現れるが、斯様なフィルタリングモジュールを用いても存在する。

図２は、絶対ポーズセンサ及び差分ポーズセンサ（夫々２２及び２３）からのデータから、レンダリングデバイスによって現在表示されている画像２４に従って最終ポーズ２１を決定するよう構成された装置２０の構造を図式的に示す。装置は、２つのモジュール２５及び２７から構成される。モジュールは機能ユニットであり、区別可能な物理ユニットに関連してもしなくてもよい。例えば、それらのモジュール又はそれらの一部は、ただ１つしかないコンポーネント又は回路においてまとめられるか、あるいは、ソフトウェアの機能に寄与してよい。反対に、一部のモジュールは、場合によっては、別個の物理エンティティから構成されてよい。本原理に対応する装置は、純粋なハードウェアを用いて、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）又はＦＰＧＡ（Field-Programmable Gate Array）又はＶＬＳＩ（Very Large Scale Integration）のような専用のハードウェアを用いて、あるいは、デバイスに組み込まれた幾つかの集積電子部品から、又はハードウェア及びソフトウェアコンポーネントの混合から実装される。モジュールは、特定の論理機能を実装するための１つ以上の実行可能な命令を有する。また、留意されるべきは、他の実施では、ブロックにおいて示される機能が、示されている順序から外れて起こってよい点である。例えば、連続して示されている２つのブロックは、実際には、略同時に実行されてよく、あるいは、ブロックは、関連する機能に応じて、時々逆順序で実行されてよい。

第１モジュール２５は、両方のタイプのポーズセンサからのデータにフィルタをかけることによって中間ポーズ２６を決定するものである。モジュール２５は、例えば、カルマンフィルタのような、平均化フィルタリング又はモデルに基づくフィルタリングを実装してよい。変形例で、第１モジュール２５は、中間ポーズ２６を決定するために絶対ポーズセンサのデータしか考慮しない。モジュール２７は、中間ポーズが差分ポーズセンサからのデータと一致するかどうかをテストする。値が一致する（すなわち、それらが同じ方向において進んでいる）場合には、中間ポーズが最終ポーズとして使用される。値が一致しない場合には、モジュール２７は、視覚認知を乱すことなしに中間ポーズに到達可能であるかどうかを確認する。モジュール２７は、スクリーンに現在表示されている画像の視覚認知を表す係数β（以下では第２係数とも呼ばれる。）を計算する。例えば、モジュール２７は、現在画像の光度をテストしてよい。光度が閾値を下回る（すなわち、画像が全体的に暗い）場合には、最終ポーズは、１．０に近い係数βを有する式（１）に従って、中間ポーズに近い：

［式（１）］ Ｐ_３＝Ｐ_１＋β（Ｐ_２−Ｐ_１）

式（１）において、Ｐ_３は最終ポーズであり、Ｐ_１は初期ポーズであり、Ｐ_２は中間ポーズである。光度が高い（すなわち、画像の詳細が明りょうに目に見える）場合には、モジュール２７は、ロー値（すなわち、０．０に近い。）を係数βに帰する。モジュール２７は、様々な実施形態において減退されてよい。例えば、最終ポーズは式（２）に従って決定されてよく、このとき、δは、差分ポーズセンサによって検出された動きである：

［式（２）］ Ｐ_３＝（Ｐ_１＋δ）＋β（Ｐ_２−（Ｐ_１＋δ））

変形例で、係数βは、現在画像の特徴の測定に従って決定される。特徴は、例えば、画像特徴の次の組、すなわち、光度（luminosity）、ぼやけ（blurriness）、彩度（saturation）、色調（hue）、若しくはサリエンシー（saliency）に、又はそれらの特徴のうちの少なくとも２つの組み合わせに属する。変形例で、係数βは、画像のシーケンスの特徴の測定に従って決定される。シーケンスは現在画像を含み、特徴は、例えば、次のもの、すなわち、シーケンスのエネルギ、エントロピ、又は光学フローを含む特徴の組に属する。

変形例の組において、モジュール２７は、差分ポーズセンサによって認知された動きδに従って中間ポーズの一致をテストしない。代わりに、モジュール２７は、例えば、式（３）（すなわち、正規分布）又は式（４）（区分的分布）を用いて、差分ポーズセンサによって認知された動きδ、及び中間ポーズと初期ポーズとの間の差に従って、係数α（第１係数とも呼ばれる。）を計算する：

［式（３）］ α＝ｅ^{（（−Ｐ２＋Ｐ１＋δ）／２ｋδ）}

［式（４）］ ｜δ−（Ｐ_２−Ｐ_１）｜＞ｋの場合にα１、それ以外α＝０

ここで、ｋは所与の標準偏差値である。係数αは、式（１）又は（２）における係数βを置換することによって単独で使用されてよい。他の実施形態では、係数α及びβは、例えば、それらを乗じること又はそれらを平均することによって、式（１）又は（２）の係数として使用されるよう組み合わされる。

式（３）及び（４）において、中間ポーズＰ_２（図１の曲線１０）と差分ポーズセンサによって認知されるポーズ（図１の曲線１２）との間の差が大きければ大きいほど、第１係数αはますます小さい。本明細書で記載される様々な実施形態に従って式（１）又は（２）で使用される場合に、第１係数αは、最終ポーズが、差分ポーズセンサによって認知されるポーズから遠く離れすぎることを防ぐ。差分ポーズセンサは非常に正確であるということで、最終ポーズ、故に表示画像は、ユーザの動きに対応する。しかし、差分ポーズセンサは累積的な測定誤差を有するということで、中間ポーズが到達されるべきポーズと見なされる。これは、中間ポーズが絶対ポーズセンサ及び差分ポーズセンサの両方ともに従って最適であると決定されるからである。本開示で決定される第２係数βの役割は、この補正の視覚認知が十分に弱い場合に、最終ポーズを中間ポーズにより近づけることにある。これは、ユーザに吐き気を催させることなしに最終ポーズを可能な限り最適に保つという利点を有する。

式（１）、（２）、（３）及び（４）におけるポーズＰ_１、Ｐ_２及びＰ_３は、最大６次元の変数である。最終ポーズＰ_３が決定されるとき、初期ポーズＰ_１の値は最終ポーズＰ_３の値に設定され、新しいポーズが決定される。

図３は、絶対ポーズセンサ及び差分ポーズセンサからのデータから、レンダリングデバイスによって現在表示されている画像に従って最終ポーズを決定するよう構成されたデバイス３０のハードウェア実施形態を図式的に示す。この例において、デバイス３０は、アドレス、及びクロック信号を更に転送するデータ、のバス３１によって、お互いに接続されている次の要素を有する：
・ マイクロプロセッサ３２（又はＣＰＵ）；
・ 少なくとも１つのグラフィックプロセッサユニット（すなわち、ＧＰＵ）３３０と、グラフィカルランダムアクセスメモリ（ＧＲＡＭ）３３１とを有するグラフィクスカード３３；
・ ＲＯＭ（Read Only Memory）タイプの不揮発性メモリ３４；
・ ランダムアクセスメモリ、すなわちＲＡＭ３５；
・ 少なくとも１つの差分ポーズセンサ３６０；
・ 例えば、触覚インターフェイス、マウス、ウェブカメラ、などのような、Ｉ／Ｏ（Input/Output）デバイス３７；及び
・ 電源３８。

有利なことには、デバイス３０は、最終ポーズ３３３に従ってグラフィクスカードで計算された現在画像３３２を表示するよう、グラフィクスカード３３に対して直接に表示スクリーンタイプの１つ以上の表示デバイス３９へ接続されている。特定の実施形態に従って、表示デバイス３９はデバイス３０に組み込まれる（例えば、ＨＤＭ、スマートフォン、又はタブレット）。

メモリ３３１、３４及び３５の記載において使用される語“レジスタ”は、述べられているメモリの夫々において、低容量（数バイナリデータ）のゾーン及び大容量（プログラム全体が記憶されることを可能にする容量、又は計算された若しくは表示されるべきデータを表すデータの全部若しくは部分）のメモリゾーンを指定することが知られる。

オンされるときに、マイクロプロセッサ３２は、ＲＡＭ３４のレジスタ３４０に含まれているプログラムの命令をロードし実行する。

ランダムアクセスメモリ３５は、特に：
・ レジスタ３５０において、デバイス３０をオンすることに関与するマイクロプロセッサ３２のオペレーティングプログラム；
・ レンダリングデバイスの初期ポーズを表すデータ３５１；
・ 中間ポーズを表すデータ３５２
を有する。

１つの特定の実施形態に従って、本開示に特有であって、以降で記載される方法のステップを実装するアルゴリズムは、有利なことに、それらのステップを実装するデバイス３０に関連するグラフィクスカード３３のメモリＧＲＡＭ３３１に記憶されている。オンされるときに、グラフィクスカード３３のグラフィックプロセッサ３３０は、プログラムをＧＲＡＭ３３１にロードし、それらのアルゴリズムの命令を、例えば、ＨＬＳＩ（High Level Shader Language）言語又はＧＬＳＬ（OpenGL Shading Language）を使用する“シェーダー”タイプのマイクロプログラムの形で、実行する。グラフィクスカード３３は、ＧＲＡＭ３３１のレジスタ３３３に記憶されている決定された最終ポーズに従ってビデオコンテンツをレンダリングする。ランダムアクセスメモリＧＲＡＭ３３１は、特に、レジスタ３３２においてビデオコンテンツの現在画像を表すデータを有する。

他の変形例に従って、ＲＡＭ３５の一部分は、ＣＰＵ３２によって、ビデオコンテンツのレンダリングの記憶のために割り当てられる。なお、この変形例は、画像の合成において、より大きいレイテンシー時間を引き起こす。これは、データがバス３１を通ってランダムアクセスメモリ３５からグラフィクスカード３３へ送られるべきであるからである。そのための伝送容量は、ＧＰＵからＧＲＡＭへの及びその逆のデータの伝送のためにグラフィクスカードで利用可能な容量よりも一般的に劣っている。

他の変形例に従って、電源３８はデバイス３０の外部にある。１つの特定の実施形態において、１つ又はいくつかの差分ポーズセンサ３６０はデバイス３０の外部にある。他の変形例では、１つ又はいくつかの絶対ポーズセンサはデバイス３０に組み込まれる（例えば、磁気計）。

図４は、非制限的な有利な実施形態に従って、デバイス３０のような処理デバイスにおいて実装される方法４０の実施形態を図式的に示す。

初期化ステップ４１で、初期ポーズは、絶対ポーズセンサからのデータにのみ従って、レンダリングデバイスに対して決定される。実際に、このステップで、差分ポーズセンサは未だ如何なるデータも送らない。この最初の初期ポーズは、デバイス３０のＲＡＭ３５のレジスタ３５１に記憶される。変形例で、Ｐ_１とも呼ばれる初期ポーズは、ＧＲＡＭ３３１のレジスタに記憶される。

ステップ４２は、絶対及び／又は差分ポーズセンサからの新しいデータが取得される場合に実行される。ステップ４２は、図２のモジュール２５によって実行される。このステップで、Ｐ_２とも呼ばれる初期ポーズ２６は、両方のタイプのポーズセンサからのデータにフィルタをかけることによって決定される。モジュール２５は、例えば、カルマンフィルタのような、平均化フィルタリング又はモデルに基づくフィルタリングを実装してよい。変形例で、中間ポーズは、絶対ポーズセンサのデータだけで決定されるポーズである。中間ポーズは最適なポーズ推定と見なされる。

ステップ４３で、Ｐ_３とも呼ばれる最終ポーズは、初期ポーズＰ_１、中間ポーズＰ_２、差分ポーズセンサからのデータ、及びレンダリングデバイス３０によって表示されている現在画像に従って、決定される。ステップ４３は、様々な実施形態に従って実装され得る３つのサブステップから成る。

ステップ４３１で、差分ポーズセンサによって供給されたデータに関する中間ポーズＰ_２の一致の評価が行われる。中間ポーズが、差分ポーズセンサによって認知された動きと比べて同じ方向において（初期ポーズＰ_１に関して）進んでいる場合には（すなわち、中間ポーズがこの時点でのユーザの動きと一致する場合には）、中間ポーズは最終ポーズとして使用される。この場合に、ステップ４４は直接に実行される。そうでない場合には、デフォルト値（例えば、０．０又は０．１）が第１係数αに帰され、ステップ４３２が実行される。ステップ４３１の変形例で、第１係数とも呼ばれる係数αは、初期及び中間ポーズ値並びに差分ポーズセンサからのデータに従って計算される。式（３）又は（４）は、例えば、第１係数αを計算するために使用されてよい。この係数αは、最終ポーズを認知される動きに一致させ続ける力を表す。この実施形態において、ステップ４３２が実行される。

ステップ４３２は、動きの視覚認知のレベルを表す第２係数βを計算することにある。例えば、画像の現在表示されているシーケンスが暗いか又はぼやけている場合に、動きの視覚認知は、例えば、低い（low）と見なされる。同様に、画像の現在表示されているシーケンスが急速なドリーイン（若しくはアウト）、移動又はパン又はチルト又はズーム（イン若しくはアウト）に対応する場合には、ユーザが画像の詳細を正確に見ることができないということで、動きの視覚認知はやはり低いと見なされる。動きの視覚認知のレベルが低い場合に、第２係数βは高い（例えば、１．０に近く、例えば、０．９５である。）。

ステップ４３３は、最終ポーズを決定するために、前のステップで計算された情報を使用する。中間ポーズが最適と見なされるということで、中間ポーズが差分ポーズセンサによって認知された動きδに一致する限り、最終ポーズは、中間ポーズに可能な限り近くなければならない。様々な実施形態は、例えば、式（５）として、この原理に従ってよい。

［式（５）］ Ｐ_３＝Ｐ_１＋（（α＋β）／２）・（Ｐ_２−Ｐ_１）

最終ポーズが決定されると、Ｐ_３の値は、次の現在の画像をレンダリングするためにグラフィクスボード３３によって使用される。ステップ４４は、Ｐ_３の値をＰ_１に帰することにある。ステップ４２は、新しいデータが絶対及び／又は差分ポーズセンサから受け取られる場合に再度実行される。

当然、本開示は、前に記載された実施形態に制限されない。

特に、本開示は、レンダリングデバイスの最終ポーズ情報を決定する方法に制限されず、この最終ポーズ情報をレンダリングデバイスへ送る如何なる方法にも、及び／又は最終ポーズ情報に従って画像をレンダリングする如何なる方法にも及ぶ。初期、中間及び最終ポーズ情報並びに第１及び第２係数を生成するために必要な計算の実装は、シェーダータイプのマイクロプログラムにおける実装に制限されず、あらゆるプログラムタイプ、例えば、ＣＰＵタイプのマイクロプロセッサによって実行可能であるプログラムにおける実装にも及ぶ。本開示の方法の使用は、目下の利用に制限されず、あらゆる他の利用、例えば、レコーディングスタジオでのポストプロダクション処理として知られる処理のための利用に及ぶ。

本明細書で記載される実施は、例えば、方法若しくはプロセス、装置、ソフトウェアプログラム、データストリーム、又は信号において実装されてよい。たとえ１つの形態の実施に関してしか説明されていない（例えば、方法又はデバイスとしてしか説明されていない）としても、説明されている特徴の実施は、他の形態（例えば、プログラム）においても実装されてよい。装置は、例えば、適切なハードウェア、ソフトウェア、及びファームウェアにおいて実装されてよい。方法は、例えば、プロセッサのような装置において実装されてよい。プロセッサは、例えば、コンピュータ、マイクロプロセッサ、集積回路、又はプログラム可能ロジックデバイスを含む処理デバイス全般を指す。プロセッサは、例えば、スマートフォン、タブレット、コンピュータ、携帯電話機、ポータブル／パーソナルデジタルアシスタント（“ＰＤＡ”）、及びエンドユーザ間の情報のやり取りを助ける他のデバイスのような通信デバイスも含む。

本明細書で記載される様々なプロセス及び特徴の実施は、多種多様な機器又はアプリケーション、特に、例えば、データ符号化、データ復号化、ビュー生成、テクスチャ処理、並びに画像及び関連するテクスチャ情報及び／又はデプス情報の他の処理に関連した機器又はアプリケーションにおいて具現化されてよい。斯様な機器の例には、エンコーダ、デコーダ、データからの出力を処理するポストプロセッサ、入力をエンコーダへ供給するプリプロセッサ、ビデオコーダー、ビデオデコーダ、ビデオコーデック、ウェブサーバ、セットトップボックス、ラップトップ、パーソナルコンピュータ、携帯電話機、ＰＤＡ、及び他の通信デバイスが含まれる。当然ながら、機器はモバイルであって、移動車両において設置されてさえよい。

その上、方法は、プロセッサによって実行される命令によって実装されてよく、斯様な命令（及び／又は実施によって生成されたデータ値）は、例えば、集積回路、ソフトウェア担体又は他の記憶装置、例えば、ハードディスク、コンパクトディスケット（“ＣＤ”）、光ディスク（例えば、デジタルバーサタイルディスク若しくはデジタルビデオディスクとしばしば呼ばれるＤＶＤ）、ランダムアクセスメモリ（“ＲＡＭ”）、又はリードオンリーメモリ（“ＲＯＭ”）のようなプロセッサ読出可能な媒体に記憶されてよい。命令は、プロセッサ読出可能な媒体において有形に具現化されたアプリケーションプログラムを形成してよい。命令は、例えば、ハードウェア、ファームウェア、ソフトウェア、又は組み合わせであってよい。命令は、例えば、オペレーティングシステム、別個のアプリケーション、又はそれら２つの組み合わせにおいて見受けられ得る。プロセッサは、従って、プロセスを実行するよう構成されたデバイス、及びプロセスを実行するための命令を有しているプロセッサ読出可能な媒体（例えば、記憶デバイス）を含むデバイスの両方として見なされてよい。更に、プロセッサ読出可能な媒体は、命令に加えて、又はそれに代えて、実施によって生成されたデータ値を記憶してよい。

当業者に明らかなように、実施は、例えば、記憶又は送信され得る情報を運ぶようフォーマットされた様々な信号を生成してよい。情報は、例えば、方法を実行するための命令、又は記載されている実施のうちの１つによって生成されたデータを含んでよい。例えば、信号は、記載されている実施形態のシンタックスを書き込む若しくは読み出すための規則をデータとして運ぶよう、又は記載されている実施形態によって書き込まれた実際のシンタックス値をデータとして運ぶようフォーマットされてよい。斯様な信号は、例えば、電磁波（例えば、スペクトルの無線周波数部分を使用する。）として、又はベースバンド信号としてフォーマットされてよい。フォーマッティングは、例えば、データストリームを符号化し、符号化されたデータストリームによりキャリアを変調することを含んでよい。信号が運ぶ情報は、例えば、アナログ又はデジタル情報であってよい。信号は、知られている多種多様な有線又は無線リンクにわたって送信されてよい。信号は、プロセッサ読出可能な媒体において記憶されてよい。

多数の実施が記載されてきた。それでもなお、様々な変更が行われ得ることが理解されるだろう。例えば、異なる実施の要素は、他の実施を生じさせるよう結合、置換、変更、又は削除されてよい。その上、当業者は、他の構造及びプロセスが、開示されているものに代用されてよく、結果として現れる実施が、開示されている実施と少なくとも実質的に同じ結果を達成するよう少なくとも実質的に同じ方法で少なくとも実質的に同じ機能を果たすと理解するだろう。然るに、それら及び他の実施は、本願によって考えられている。

Claims (15)

1. レンダリングデバイスの第３ポーズ情報（２１，３３３）を決定する方法（４０）であって、第１ポーズ情報が前記レンダリングデバイスに関連する、前記方法において、
   前記レンダリングデバイスの絶対ポーズ情報（１１，２３）を表すデータと、前記レンダリングデバイスの差分ポーズ情報（１２，２２）を表すデータとに従って、第２ポーズ情報（１０，２６，３５２）を決定すること（４２）と、
   前記第２ポーズ情報（１０，２６，３５２）と前記第１ポーズ情報との間の差と、前記差分ポーズ情報（１２，２２）を表すデータと、前記レンダリングデバイスに表示されている現在画像（２４，３３２）の視覚認知を表す情報とに従って、前記第３ポーズ情報（２１，３３３）を決定すること（４３）と
   を有し、
   前記第３ポーズは、前記現在画像の前記視覚認知が前記差に従う動きの認知と一致することを確かにする、
   ことを特徴とする方法。
2. 前記第３ポーズ情報（２１，３３３）を決定することは、
   前記差分ポーズ情報（１２，２２）を表すデータと、前記第２ポーズ情報（１０，２６，３５２）と前記第１ポーズ情報との間の前記差とに従って、動きの認知を表す第１係数を決定すること（４３１）と、
   前記レンダリングデバイスに表示されている前記現在画像（２４，３３２）の前記視覚認知を表す第２係数を決定すること（４３２）と、
   前記第１係数及び前記第２係数の組み合わせに従って、前記第１ポーズと前記第２ポーズ情報（１０，２６，３５２）との間で前記第３ポーズ情報（２１，３３３）を決定することと
   を有する、
   請求項１に記載の方法。
3. 前記第１係数は、前記第２ポーズ情報（１０，２６，３５２）と前記第１ポーズ情報との間の前記差を、前記差分ポーズ情報（１２，２２）に中心を置く関数に適用することによって、決定される、
   請求項２に記載の方法。
4. 前記第２係数は、前記現在表示されている画像（２４，３３２）の特徴に従って決定され、該特徴は、光度、ぼやけ、彩度、色調、及びサリエンシーの大きさを含む特徴の組に属する、
   請求項２又は３に記載の方法。
5. 前記第２係数は、前記現在表示されている画像（２４，３３２）を含む少なくとも２つの画像のシーケンスの特徴に従って決定され、該特徴は、エネルギ、エントロピ、及びオプティカルフローの大きさを含む特徴の組に属する、
   請求項２又は３に記載の方法。
6. 前記第２係数は、前記現在表示されている画像（２４，３３２）の特徴と前記現在表示されている画像（２４，３３２）を含む少なくとも２つの画像のシーケンスの特徴との組み合わせに従って決定される、
   請求項２又は３に記載の方法。
7. 前記第２ポーズ情報（１０，２６，３５２）は、フィルタリング方法によって決定され、該フィルタリング方法は、カルマンフィルタ及び粒子フィルタを含む組に属する、
   請求項１乃至６のうちいずれか一項に記載の方法。
8. レンダリングデバイスの第３ポーズ情報（２１，３３３）を決定するよう構成されるデバイスであって、当少なくとも１つのプロセッサに関連したメモリを有し、第１ポーズ情報が前記レンダリングデバイスに関連する、前記デバイスにおいて、
   前記少なくとも１つのプロセッサは、
   前記レンダリングデバイスの絶対ポーズ情報（１１，２３）を表すデータと、前記レンダリングデバイスの差分ポーズ情報（１２，２２）を表すデータとに従って、第２ポーズ情報（１０，２６，３５２）を決定し（２５）、
   前記第２ポーズ情報（１０，２６，３５２）と前記第１ポーズ情報との間の差と、前記差分ポーズ情報（１２，２２）を表すデータと、前記レンダリングデバイスに表示されている現在画像（２４，３３２）の視覚認知を表す情報とに従って、前記第３ポーズ情報（２１，３３３）を決定する（２７）
   よう構成され、
   前記第３ポーズは、前記現在画像の前記視覚認知が前記差に従う動きの認知と一致することを確かにする、
   デバイス。
9. 前記第３ポーズ情報（２１，３３３）の決定は、
   前記差分ポーズ情報（１２，２２）を表すデータと、前記第２ポーズ情報（１０，２６，３５２）と前記第１ポーズ情報との間の前記差とに従って、動きの認知を表す第１係数を決定することと、
   前記レンダリングデバイスに表示されている前記現在画像（２４，３３２）の前記視覚認知を表す第２係数を決定することと、
   前記第１係数及び前記第２係数の組み合わせに従って、前記第１ポーズと前記第２ポーズ情報（１０，２６，３５２）との間で前記第３ポーズ情報（２１，３３３）を決定することと
   を有する、
   請求項８に記載のデバイス。
10. 前記第１係数は、前記第２ポーズ情報（１０，２６，３５２）と前記第１ポーズ情報との間の差の結果を、前記差分ポーズ情報（１２，２２）に中心を置く関数に適用することによって、決定される、
    請求項９に記載のデバイス。
11. 前記第２係数は、前記現在表示されている画像（２４，３３２）の特徴に従って決定され、該特徴は、光度、ぼやけ、彩度、色調、及びサリエンシーの大きさを含む特徴の組に属する、
    請求項９又は１０に記載のデバイス。
12. 前記第２係数は、前記現在表示されている画像（２４，３３２）を含む少なくとも２つの画像のシーケンスの特徴に従って決定され、該特徴は、エネルギ、エントロピ、及びオプティカルフローの大きさを含む特徴の組に属する、
    請求項９又は１０に記載のデバイス。
13. 前記第２係数は、前記現在表示されている画像（２４，３３２）の特徴と前記現在表示されている画像（２４，３３２）を含む少なくとも２つの画像のシーケンスの特徴との組み合わせに従って決定される、
    請求項９又は１０に記載のデバイス。
14. 前記第２ポーズ情報（１０，２６，３５２）は、フィルタリング方法によって決定され、該フィルタリング方法は、カルマンフィルタ及び粒子フィルタを含む組に属する、
    請求項８乃至１３のうちいずれか一項に記載のデバイス。
15. 前記第３ポーズ情報（２１，３３３）を前記レンダリングデバイスへ送信する手段を更に有する
    請求項９乃至１４のうちいずれか一項に記載のデバイス。

Images