JP2020523957A - マルチ・ビュー・コンテンツを観察するユーザに情報を提示する方法及び機器 - Google Patents

Abstract

ユーザの頭の位置に応じて、画面（１０６）に表示されるマルチ・ビュー・コンテンツを観察するユーザに情報を提示するのに適した機器であって、−表示されたマルチ・ビュー・コンテンツを観察するための位置決め区域を生成するための手段（１０４Ｂ）と、−位置決め区域内に少なくとも部分的に配置されたトリガ領域を画定するための手段（１０４Ｃ）と、−ユーザの頭の位置が前記トリガ領域内に位置付けられるとき、１つ又は複数のインセンティブ効果をトリガして、ユーザが位置決め区域内に留まるよう促すための手段（１０４Ｄ）とを備える、機器。

Description

技術分野
本開示は、マルチ・ビュー・コンテンツのレンダリングに関する。本開示は、詳細には、ユーザの位置に応じた、表示画面へのマルチ・ビュー・マルチメディア・コンテンツのレンダリングを対象とするが、それだけに限定されるものではない。

背景
このセクションは、技術の様々な態様を読者に紹介するものであり、これらの態様は、以下で説明され、及び／又は特許請求の範囲に記載されている本開示の様々な態様に関連していてもよい。本開示の様々な態様の理解がさらに進むよう、読者に背景情報を提示する際に、この考察が有益であると考えられる。したがって、こうした説明は、この観点から読むべきであり、従来技術を認めるものとして読むべきではないことを理解されたい。

マルチ・ビュー・コンテンツ（いわゆる、ライト・フィールド・コンテンツ）、静止画像、又はビデオは、複数の別個のカメラから構成される固定カメラ・アレイ、又はイメージ・センサの前方に配置されたマイクロレンズのアレイによって形成されたプレノプティック・カメラなど、ライト・フィールド取得システムによって得ることができる。ライト・フィールド・ビデオの各フレーム、又はそれぞれのライト・フィールド画像において、ライト・フィールド取得システムは、１組のマルチ・ビュー、１組の奥行きマップ、及び関連するシステム取得パラメータを提供することが可能である。

既知の表示画面（たとえば、２Ｄ ＴＶ画面）上にライト・フィールド・コンテンツをレンダリングするとき、ユーザは、このライト・フィールド・コンテンツによって提供される視差機能の恩恵を受けることができ、視差レンダリング効果及び仮想現実（ＶＲ）体験を実現する。この視差効果は、奥行き感を与え、対象物の大きさ又はシーンの特徴をユーザが感じるようにさせる。

ライト・フィールド取得システム及びユーザの位置（具体的には、ユーザの頭又は目）に応じて、シーンの対象範囲には何からの制限を伴う場合があり、したがってユーザは縁部での孔又は黒色の表面を知覚することになる。

本開示は、これまでに述べたことを念頭に置いて考案されてきた。

概要
一般的な形式では、本開示は、ユーザの頭の位置に応じた、表示画面へのマルチ・ビュー・コンテンツの表示に関連付けられるように構成された方法に関し、前記方法は、
−表示されたマルチ・ビュー・コンテンツを観察するための位置決め区域を生成することと、
−この位置決め区域内に少なくとも部分的に配置されたトリガ領域を画定することと、
−ユーザの頭の位置が前記トリガ領域内に位置付けられるとき、１つ又は複数のインセンティブ効果をトリガして、ユーザが位置決め区域内に留まるよう促すことと
を含む。

一実施形態では、位置決め区域とトリガ領域は両方とも、ピラミッド形状を有することができる。

一実施形態では、１つ又は複数のインセンティブ効果は、
−前記トリガ領域内のユーザの頭の位置に応じて表示画面を暗くするための減光効果と、
−このトリガ領域内でのユーザの頭の動きに関連付けられる視差効果の強度を適応させるための視差強度効果と、
−表示画面上での方向を示す１つ又は複数の視覚的合図と
のうち、少なくとも１つを含むことができる。

一実施形態では、トリガ領域内に位置付けられたユーザの頭の位置に関連付けられる画角が増すと、この減光効果は増大することがある。

一実施形態では、この減光効果は、ユーザの頭の位置の画角とともに直線的に増大することがある。

一実施形態では、トリガ領域内に位置付けられたユーザの頭の位置に関連付けられる画角が増すと、視差強度効果は、画面に表示されるマルチ・ビュー・コンテンツに現れる各要素の移動速度を低下させることができる。

一実施形態では、１つ又は複数のインセンティブ効果は、可逆性とすることができる。

一実施形態では、マルチ・ビュー・コンテンツは取得装置によって取得されており、この取得装置の１つ又は複数の得られた取得パラメータ、及び表示画面の１つ又は複数の得られたパラメータに基づいて、位置決め区域を確立することができる。

一実施形態では、取得装置の水平画角、及び取得装置の垂直画角によって、位置決め区域のピラミッド形状を画定することができる。

一実施形態では、このピラミッド形状は、表示画面に対して中央に位置することができる。

一実施形態では、位置決め区域は、表示画面からの最小距離によって画定することができる。

一実施形態では、表示画面からの前記最小距離は、
−表示画面の幅及び取得装置の水平画角から得られる水平最小距離と、
−表示画面の高さ及び取得装置の垂直画角から得られる垂直最小距離と
の間の最大距離に対応することができる。

一実施形態では、水平最小距離は、次式から得ることができる。

ｗ_{ｓｃｒｅｅｎ}は表示画面の幅であり、αは取得装置の水平画角である。

一実施形態では、垂直最小距離は、次式から得ることができる。

ｈ_{ｓｃｒｅｅｎ}は表示画面の高さであり、βは取得装置の垂直画角である。

一実施形態では、位置決め区域は、表示画面からの最大距離によって画定することができる。

一実施形態では、前記最大距離は、ユーザの注視先が位置する場合のある最小高と最大高から得ることができる。

一実施形態では、前記最大距離は、ピラミッド形状と、前記最小高と最大高によって画定される水平帯との交点から得ることができる。

本開示はさらに、ユーザの頭の位置に応じて、画面に表示されるマルチ・ビュー・コンテンツを観察するユーザに情報を提示するのに適した機器に関し、この機器は、
−表示されたマルチ・ビュー・コンテンツを観察するための位置決め区域を確立し、
−この位置決め区域内に少なくとも部分的に配置されたトリガ領域を画定し、
−ユーザの頭の位置が前記トリガ領域内に位置付けられるとき、１つ又は複数のインセンティブ効果をトリガして、ユーザがこの位置決め区域内に留まるよう促す
ように構成された、少なくとも１つのメモリ及び少なくとも１つの処理回路を備える。

本開示はまた、ユーザの頭の位置に応じて、画面に表示されるマルチ・ビュー・コンテンツを観察するユーザに情報を提示するのに適した機器に関し、この機器は、
−表示されたマルチ・ビュー・コンテンツを観察するための位置決め区域を生成するための手段と、
−この位置決め区域内に少なくとも部分的に配置されたトリガ領域を画定するための手段と、
−ユーザの頭の位置が前記トリガ領域内に位置付けられるとき、１つ又は複数のインセンティブ効果をトリガして、ユーザがこの位置決め区域内に留まるよう促すための手段と
を備える。

一実施形態では、位置決め区域とトリガ領域は両方とも、ピラミッド形状を有することができる。

一実施形態では、１つ又は複数のインセンティブ効果は、
−前記トリガ領域内のユーザの頭の位置に応じて表示画面を暗くするための減光効果と、
−このトリガ領域内でのユーザの頭の動きに関連付けられる視差効果の強度を適応させるための視差強度効果と、
−表示画面上での方向を示す１つ又は複数の視覚的合図と
のうち、少なくとも１つを含むことができる。

一実施形態では、トリガ領域内に位置付けられたユーザの頭の位置に関連付けられる画角が増すと、この減光効果は表示画面の明度を増大させることがあり、またその逆のことも言える。

一実施形態では、トリガ領域内に位置付けられたユーザの頭の位置に関連付けられる画角が増すと、視差強度効果は、画面に表示されるマルチ・ビュー・コンテンツに現れる各要素の移動速度を低下させることができる。

一実施形態では、１つ又は複数のインセンティブ効果は、可逆性とすることができる。

一実施形態では、この機器は、位置決め区域及び／又はトリガ区域を表示するように構成することができる。

加えて、本開示はさらに、コンピュータによって読取り可能で、ユーザの頭の位置に応じた、表示画面へのマルチ・ビュー・コンテンツの表示に関連付けられるように構成された方法を実行するための、このコンピュータによって実行可能な命令のプログラムを明白に実施する、持続的なプログラム記憶装置を対象としており、前記方法は、
−表示されたマルチ・ビュー・コンテンツを観察するための位置決め区域を生成することと、
−この位置決め区域内に少なくとも部分的に配置されたトリガ領域を画定することと、
−ユーザの頭の位置が前記トリガ領域内に位置付けられるとき、１つ又は複数のインセンティブ効果をトリガして、ユーザが位置決め区域内に留まるよう促すことと
を含む。

本開示はまた、持続的でコンピュータ読取り可能な媒体に記憶されるコンピュータ・プログラム製品に関し、ユーザの頭の位置に応じた、表示画面へのマルチ・ビュー・コンテンツの表示に関連付けられるように構成された方法を実装するための、プロセッサによって実行可能なプログラム・コード命令を含み、前記方法は、
−表示されたマルチ・ビュー・コンテンツを観察するための位置決め区域を生成することと、
−この位置決め区域内に少なくとも部分的に配置されたトリガ領域を画定することと、
−ユーザの頭の位置が前記トリガ領域内に位置付けられるとき、１つ又は複数のインセンティブ効果をトリガして、ユーザが位置決め区域内に留まるよう促すことと
を含む。

本開示による方法は、プログラム可能な機器でのソフトウェアで実装されてもよい。この方法は、もっぱらハードウェア若しくはソフトウェアで実装してもよく、又はその組合せで実装してもよい。

本開示の各要素によって実装されるプロセスによっては、コンピュータ実装されてもよい。したがって、このような要素は、もっぱらハードウェアの実施形態、もっぱらソフトウェアの実施形態（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）、又は、本明細書ではすべて一般に「回路」、「モジュール」、若しくは「システム」と呼んでもよい、ソフトウェアとハードウェアの態様を組み合わせた実施形態の形をとってもよい。さらに、このような要素は、媒体に組み込まれたコンピュータ使用可能なプログラム・コードを有する表現式の任意の有形媒体に組み込まれたコンピュータ・プログラム製品の形をとってもよい。

本開示の各要素はソフトウェアで実装することができるので、本開示は、任意の適切な搬送媒体上のプログラム可能な機器に提供するためのコンピュータ読取り可能なコードとして実施することができる。有形の搬送媒体は、フロッピー・ディスク、ＣＤ−ＲＯＭ、ハード・ディスク・ドライブ、磁気テープ装置、又は固体記憶装置などの記憶媒体を含んでもよい。

したがって、本開示は、前述の方法をコンピュータが実行できるようにするコンピュータ実行可能な命令を含む、コンピュータ読取り可能なプログラムを提供する。

開示された各実施形態と範囲が同等の、特定の態様を以下に説明する。こうした態様は、本開示がとり得る特定の形態の概要を、読者に提供するためだけに提示されるものであり、こうした態様が本開示の範囲を限定するものではないことを理解されたい。実際、本開示は、以下に説明されていない場合もある様々な態様を包含してもよい。

添付図を参照して、決して限定的ではない以下の実施形態及び実行例によって、本開示がより良好に理解され、また例示されよう。

図面の簡単な説明
本開示の１つ又は複数の実施形態を実装してもよい、使用される例示的なレンダリング・システムの概略図である。 ＯｐｅｎＧＬ表現において使用される座標系を示す。 いくつかの実施形態に従って、ユーザの頭の位置に応じて図１Ａのレンダリング・システムによって表示されるマルチ・ビュー・コンテンツの４つの投影図を示す。 いくつかの実施形態に従って、ユーザの頭の位置に応じて図１Ａのレンダリング・システムによって表示されるマルチ・ビュー・コンテンツの４つの投影図を示す。 いくつかの実施形態に従って、ユーザの頭の位置に応じて図１Ａのレンダリング・システムによって表示されるマルチ・ビュー・コンテンツの４つの投影図を示す。 いくつかの実施形態に従って、ユーザの頭の位置に応じて図１Ａのレンダリング・システムによって表示されるマルチ・ビュー・コンテンツの４つの投影図を示す。 表示されたマルチ・ビュー・コンテンツの限界にユーザが達すると、レンダリング・システムの表示画面に表示される黒い帯を示す。 表示されたマルチ・ビュー・コンテンツの限界にユーザが達すると、レンダリング・システムの表示画面に表示される黒い帯を示す。 本開示のいくつかの実施形態によって使用されて位置決め区域を生成する、例示的な方法のフロー・チャートである。 図４の方法の実装から得られる、水平面での位置決め区域を示す。 図４の方法の実装から得られる、垂直面での位置決め区域を示す。 現在の位置決め区域が修正されると、図１Ａのレンダリング・システムによるマルチ・ビュー・コンテンツの表示を適応させるように、本開示のいくつかの実施形態によって使用される例示的な方法のフロー・チャートを示す。 いくつかの実施形態に従って現在の位置決め区域に適用されるいくつかの修正（奥行き変換及びスケーリング）を示す。 いくつかの実施形態に従って現在の位置決め区域に適用されるいくつかの修正（奥行き変換及びスケーリング）を示す。 いくつかの実施形態に従って現在の位置決め区域に適用されるいくつかの修正（奥行き変換及びスケーリング）を示す。 本開示のいくつかの実施形態によって使用されて、図１のレンダリング装置によって表示されるマルチ・ビュー・コンテンツを観察するユーザが位置決め区域に留まるよう促す、例示的な方法のフロー・チャートである。 位置決め区域に関連付けられる例示的なトリガ領域の一例を示す。 ユーザの頭の画角と、図１のレンダリング・システムの表示画面の暗さとの間の関係を示す例示的な曲線を示す。 計算角度と、ユーザの頭の位置に関連付けられる画角とをリンクする例示的な曲線を示す。

詳細な説明
可能な限り、同じ又は同様の部分を指すために、各図全体を通して同じ参照番号を使用する。

以下の説明には、本開示の原理が例示してある。したがって、本明細書では明示的に説明したり、図示したりしないが、本開示の原理を実施し、本開示の範囲内に含まれる様々な構成を、当業者であれば考案できることが理解されよう。

本明細書に記載したあらゆる例及び条件付き文言は、本開示の原理を読者が理解する助けとするための教育目的向けのものであり、具体的に記載したこのような例及び条件に限定されるものではないと解釈すべきである。

さらに、本開示の原理、態様、及び実施形態、並びにその具体的な例を説明する、本明細書におけるあらゆる説明は、その構造的な均等物と機能的な均等物の両方を含むものである。さらに、こうした均等物には、現在知られている均等物並びに将来開発される均等物の両方、すなわち構造はどうであれ同じ機能を実行する任意の開発要素が含まれるものである。

したがって、たとえば、本明細書において提示されたブロック図は、本開示の原理を実施する例示的な回路の概念図を表すことが当業者には理解されよう。同様に、任意のフロー・チャート、流れ図、状態遷移図、擬似コードなどは、実質上コンピュータ読取り可能な媒体で表してもよく、したがって、コンピュータ又はプロセッサが明示的に示してあろうとなかろうと、こうしたコンピュータ又はプロセッサによって実行することができる様々なプロセスを表すことが理解されよう。

各図に示す様々な要素の機能は、専用のハードウェア、並びに適切なソフトウェアに関連してソフトウェアを実行することのできるハードウェアを使用して実現してもよい。プロセッサによって実現されるとき、各機能は、単一の専用プロセッサ、単一の共用プロセッサ、又はそのうちのいくつかが共用されてもよい複数の個々のプロセッサによって実現されてもよい。さらに、用語「プロセッサ」又は「制御装置」を明示的に使用することは、もっぱらソフトウェアを実行することができるハードウェアを指すものと解釈すべきではなく、それだけには限らないが、デジタル信号プロセッサ（ＤＳＰ）ハードウェア、ソフトウェアを記憶するためのリード・オンリ・メモリ（ＲＯＭ）、ランダム・アクセス・メモリ（ＲＡＭ）、及び不揮発性記憶装置を暗に含んでもよい。

本明細書の特許請求の範囲において、指定された機能を実行するための手段及び／又はモジュールとして表される任意の要素は、たとえば、ａ）その機能を実行する回路素子の組合せ、又は、ｂ）したがって、ソフトウェアを実行してその機能を実行するための適切な回路と組み合わされた、ファームウェア、マイクロコードなどを含む任意の形式でのソフトウェア、を含む機能を実行する任意の方式を包含するものである。したがって、そうした機能を提供できる任意の手段は、本明細書に示してあるものと同等であるとみなされる。

さらに、本開示の各図及び各説明は、本開示を明確に理解するのに関連した要素を例示するように簡略化されてきており、説明を明確にするために、典型的なデジタル・マルチメディア・コンテンツ・デリバリの方法、装置、及びシステムに見られる、数多くの他の要素を省いてあることを理解されたい。しかし、このような要素は当技術分野でよく知られているので、本明細書においては、このような要素の詳細な議論をおこなわない。本明細書での開示は、当業者に知られているこのようなあらゆる変形形態及び修正形態を対象とする。

図１Ａには、本開示の１つ又は複数の実施形態を実装してもよい、使用される例示的なレンダリング・システムの概略図が示してある。

このレンダリング・システム１は、取込み装置１０１、処理機器１０２、取得装置１０３、画像投影コンピューティング機器１０４、及び表示画面１０６を備えた表示装置１０５を備える。

画像投影コンピューティング機器１０４及び表示装置１０５は、図１Ａでは別々に示されてきたが、ともに組み合わせて独立型装置を形成できることを理解されたい。同様に、処理機器は、画像投影コンピューティング機器と一体化することができる。

取込み装置１０１は、この取込み装置１０１の前方でユーザの顔を撮影するように構成された、ウェブカメラ、ビデオ・カメラなどによって形成することができる。取込み装置１０１は、処理機器１０２と通信するように構成することができる。

処理機器１０２は、取込み装置１０１によって取り込まれるマルチメディア・コンテンツ（ビデオなど）を受信するように構成される。受信したこのコンテンツから、処理機器１０２は、表示画面１０６に対するユーザの頭の位置を決定することができ、既知の追跡アルゴリズムのおかげでユーザの頭の動きをさらに追跡することができる。

取得装置１０３は、マルチ・ビュー静止画像又はマルチ・ビュー・ビデオなど、（シーン２００に対応する）マルチ・ビュー・コンテンツを取得するように構成される。例示的ではあるが非限定的な例として、この取得装置は、規則正しく配置された複数の別個のカメラから構成された固定カメラ・アレイによって形成することができ、又はイメージ・センサの前方に配置されたマイクロレンズのアレイを含むプレノプティック・カメラによって形成することができる。本発明の原理に準拠した一変形形態又は一補完形態では、この取得装置は、コンピュータ生成画像（ＣＧＩ）を取得するための仮想取得装置（たとえば、仮想カメラ・アレイ）とすることができる。取得済みの各マルチ・ビュー画像又はマルチ・ビュー・ビデオの各フレームについて、取得装置１０３は、１組のマルチ・ビュー、１組の奥行きマップ、及び関連するシステム取得パラメータを提供することができる。

画像投影コンピューティング機器１０４は、処理機器１０２から、ユーザの頭の位置及び動きに関連付けられるデータと、取得装置１０３によって配信された取得済みのマルチ・ビュー・コンテンツ（画像又はビデオ）との両方を受信することができる。受信した情報に基づいて、この画像投影コンピューティング機器１０４は、ユーザの頭の位置に応じて、表示装置１０５に表示されるマルチ・ビュー・コンテンツの投影を確定するように構成される。

取得済みのマルチ・ビュー・コンテンツ（奥行きマップに関連付けられた互いに異なる１組の画像）の、画面１０６への投影は、
−取得装置１０３によって取り込まれるシーン２００の３Ｄ表現を得るための、元のマルチ・ビュー・コンテンツ（いわゆる、マルチ・ビュー・データすなわちＭＶＤ）の非投影と、
−このシーンを適切に視覚化するための変換Ｈと、
−画面１０６上のユーザの位置から見た画像を得るための３Ｄデータの再投影と
の結果である。

取得装置１０３がカメラ・アレイのとき、それぞれのカメラ用の較正によって以下の２つの行列が推定される。
−投影行列Ｋ_ｃ（固有行列とも呼ばれる）が次式で定義される。

ここで、
・ｆ_ｕ及びｆ_ｖは、それぞれ水平方向及び垂直方向での、取得装置１０３の考慮対象のカメラの焦点距離である（単位はピクセルである）。
・ｃ_ｕ及びｃ_ｖは、光軸とカメラのセンサとの交点の水平座標及び垂直座標である（単位はピクセルである）。
−姿勢行列Ｐ_ｃ（外部行列とも呼ばれる）が次式で定義される。

ここで、
・ｒ_１１〜ｒ_３３の各要素が、３Ｄワールド座標系に対する、考慮対象のカメラの回転を示す３Ｄ回転行列を形成する。便宜上、この３Ｄワールド座標系は、取得装置１０３の中央に配置されると考えられる。
・Ｔ_ｘ、Ｔ_ｙ、及びＴ_ｚは、３Ｄワールド座標系に対する、考慮対象のカメラの移動成分である（単位はメートルである）。

取得装置１０３のカメラのセンサのピクセル（ｕ，ｖ）を考慮すると、その色（基準ＲＧＢ）及び奥行き（基準ｚ（ｕ，ｖ，ｃ））が利用可能である（画像及び関連する奥行きマップ）。ピクセル（ｕ，ｖ）は、次式を使用することによって、３Ｄワールド座標系において非投影とすることができる。

ここで、Ｚ_ｕｖは、画像内の位置（ｕ，ｖ）でのピクセルの奥行きである。自然画像では、この奥行きは、既知のアルゴリズムを用いて推定されてきた。

以下において、画面１０６に関連付けられる３Ｄ視覚化座標系（ＣＳ）は、画面１０６の中央Ｏに配置された基準座標系（図１Ｂでの（Ｘ_ｗ，Ｙ_ｗ，Ｚ_ｗ）によって識別される）と考えられ、その寸法は、Ｗ＿ｓｃｒｅｅｎ／２又はＨ＿ｓｃｒｅｅｎ／２で正規化される（ｘ及びｙの寸法は［−１；＋１］の範囲で変換される）。

再投影では、投影の以下のＯｐｅｎＧＬ行列Ｋ_ｅｙｅを使用することができる。

ここで、
−Ｗ_{ｓｃｒｅｅｎ}は画面の幅であり、Ｈ_{ｓｃｒｅｅｎ}は画面の高さである。
−（Ｘ_ｅｙｅ Ｙ_ｅｙｅ Ｚ_ｅｙｅ）^Ｔは、この３Ｄ視覚化ＣＳでのユーザの位置を表す。
−Ｚ_ｎｅａｒは、目の位置と、シーン内の各ポイントがそれ以下で破棄される平面（ｚ＝ｚ_ｎｅａｒ）との間でのｚ軸に沿った距離である（図１Ｂには示さず）。
−Ｚ_ｆａｒは、目の位置と、シーン内の各ポイントがその背後で破棄される平面（ｚ＝ｚ_ｆａｒ）との間でのｚ軸に沿った距離である（図１Ｂには示さず）。

このようなＯｐｅｎＧＬ行列は、たとえば、Dave Shreiner、Graham Sellers、John Kessenich - The Khronos OpenGL ARB Working Group - Addison Wesley editorによる「OpenGL Programming Guide 9th edition, Appendix E」の文書に説明してある。

（ユーザの頭の位置に配置された）仮想カメラは、その３Ｄ視覚化ＣＳにも配置する必要がある。以下の変換行列Ｔ_ｅｙｅ（画面１０６に対するユーザの頭の動きを表す）を使用して、ユーザが画面１０６に見る画像を計算する。

次式によって、３Ｄポイントがさらに変換される。

次いで、４Ｄベクトルを均一にすることによって、表示された画像に投影される。

ここで、Ｚ_ｅｙｅは、（ユーザの頭に取り付けられた）仮想カメラの座標系において表示される３ＤポイントのＺを定義し、Ｚ’は、表示された画像計算のＺバッファに記憶される奥行きである。

マイナス符号は、ＯｐｅｎＧＬ表現において、あらゆる３Ｄポイントが負のＺ値をもつように、Ｚ軸が目に向いているという事実に依存していることに留意されたい。Ｚ_ｅｙｅの値はメトリック値と一致し、Ｚ’_ｅｙｅ＝Ａ−Ｂ／Ｚ_ｅｙｅは、Ｚバッファ・アルゴリズムに好都合な形式でのＺの関数である。

ユーザが観察する画面１０６にＭＶＤ形式でのピクセルを投影するには、次式が考慮される。

したがって、レンダリング・システム１によって、ユーザの頭が画面１０６に近づくほど、取得したシーン２００の大部分が見えることになる。ユーザは、画面１０６から遠ざかるほど、その一部分を目にすることになる。

表示装置１０５は、テレビ受像機、タブレット、スマートフォン、ラップトップ、ＰＤＡ、ヘッドマウント装置など、画面を備えた任意の種類の装置とすることができる。

図２Ａ〜図２Ｄに示すように、レンダリング・システム１は、ユーザの頭の位置に依存する取得済みのマルチ・ビュー・コンテンツの投影を、画面１０６上に表示することができる。表示されたこの投影はユーザの頭の位置に依存し、レンダリング・システム１は、ユーザの頭の動きに従って、この表示された投影を調整するように構成されている。図２Ａ〜図２Ｄには、表示画面１０６に対するユーザの頭の４つの異なる位置に関連付けられる、取得済みの同じシーン２００のマルチ・ビュー・コンテンツの投影２１０Ａ〜２１０Ｄの４つの例が示してある。画面１０６に表示される投影は、ウィンドウを通してユーザが観察するシーン２００に対応する。

したがって、レンダリング・システム１は、マルチ・ビュー・コンテンツを画面１０６に表示するとき、表示装置１０５の前方でのユーザの頭の位置に応じて視差効果を実現するように構成される。具体的には、視差効果は、シーン２００のいくつかの対象物（要素）の相対位置によって定義することができ、こうした位置はユーザによって観察される。各対象物の間の奥行きの差が広がるほど、観察される相対位置が大きく修正されることになる。

表示されたマルチ・ビュー・コンテンツの限界（たとえば、図３Ａ及び図３Ｂに示すように表示画面の縁部に黒い帯３００が表示されるようになる）にユーザが到達するのを防ぐため、本開示は、レンダリング・システム１が取得するマルチ・ビュー・コンテンツを表示画面１０６上で観察するための、位置決め区域５００（いわゆる、図５及び図６に示す快適区域）を生成する方法４００（図４に示す）を提案する。

以下において、方法４００は、画像投影コンピューティング機器１０４によって動作する。必然的に、一変形形態又は一補完形態では、表示装置１０５又は独立型要素（各図には図示せず）などのレンダリング・システム１の別の要素によって、前記方法４００を実装することができる。

一実施形態では、図５及び図６に示すように、位置決め区域５００は、たとえば表示画面１０６に対して中央に位置するピラミッド形状を有することができる。

一実施形態では、方法４００は、ステップ４０１において、画像投影コンピューティング機器１０４による、取得装置１０３の取得パラメータ及び表示画面１０６のパラメータの受信を含む。

図５及び図６に示すように、取得パラメータは、取得装置１０３の水平画角α及び垂直画角βを含むことができる。表示装置１０５のパラメータはさらに、表示画面１０６の高さｈ_{ｓｃｒｅｅｎ}及び幅ｗ_{ｓｃｒｅｅｎ}を含むことができる。

方法４００はさらに、ステップ４０２において、たとえば画像投影コンピューティング機器１０４の専用手段１０４Ａによって、表示画面からの最小距離を決定して位置決め区域５００を画定することを含む。

一実施形態では、取得装置１０３によって取り込まれるマルチ・ビュー・コンテンツのアスペクト比（幅と高さの関係）が、表示画面１０６に関連付けられるアスペクト比と異なるとき、最小距離ｚ_ｍｉｎは、以下２つの距離の間の最大値に対応する。
−たとえば、次式による、表示画面の幅ｗ_{ｓｃｒｅｅｎ}と取得装置１０３の水平画角αとから得られる水平最小距離。

−たとえば、次式による、表示画面の高さｈ_{ｓｃｒｅｅｎ}と取得装置１０３の垂直画角βとから得られる垂直最小距離。

一変形形態では、取得装置１０３によって取り込まれるマルチ・ビュー・コンテンツのアスペクト比が、表示画面１０６のアスペクト比と同じであるとき、最小距離ｚ_ｍｉｎは、前述の水平最小距離に対応し、これは垂直最小距離に等しい。

したがって、位置決め区域５００のピラミッド形状の上端部は、最小距離ｚ_ｍｉｎで配置され、表示画面１０６に対して中央に位置する。

図５及び図６に示すように、位置決め区域５００のピラミッド形状は、取得装置１０３の水平画角α及び垂直画角βによって画定される。このピラミッド形状は、長方形のベースを提示することができる。

図６に示すように、一変形形態又は一補完形態では、方法４００はさらに、ステップ４０３において、手段１０４Ａにより、ユーザの注視先が位置する場合のある最小高ｈ_ｍｉｎと最大高ｈ_ｍａｘから得られる、表示画面１０６からの最大距離ｚ_ｍａｘの確定を含むことができる。前記最大距離ｚ_ｍａｘは、ユーザの身長、垂直方向に移動する能力、及び／又は所定の能力に依存することがある。最小高ｈ_ｍｉｎ及び最大高ｈ_ｍａｘは、たとえば、画像投影コンピューティング機器１０４又は表示装置１０５のいずれかによって動作するユーザ・インターフェース（各図には図示せず）を介したユーザ入力に基づいて、画像投影コンピューティング機器１０４によって決定することができる。たとえば、ｈ_ｍｉｎ及びｈ_ｍａｘは、それぞれユーザの身長から所与の値を引いた値と所与の値を足した値に対応することができる（前記所与の値は正又は負である）。一変形形態では、ユーザは、ユーザ・インターフェースを介して、レンダリング・システムにｈ_ｍｉｎ及びｈ_ｍａｘを直接入力することもできる。

図６に示すように、ｈ_ｍｉｎとｈ_ｍａｘの間に配置される水平帯６００を決定することができる。画像投影コンピューティング機器１０４はさらに、ピラミッド形状と水平帯６００の交点Ｉから最大距離ｚ_ｍａｘを得ることができる。（互いに異なる距離に位置している）２つの異なる交点Ｉが存在しているとき、ｚ_ｍａｘは、表示画面１０６から最も遠くに配置された交点Ｉに関連付けられる距離に対応する。最大距離ｚ_ｍａｘは、ユーザの頭の位置の動きが一定の振幅になる場合に、視差効果が減衰を開始するときの距離に対応する。

本開示による一実施形態では、マルチ・ビュー・コンテンツを観察するために生成される位置決め区域５００を、たとえばユーザ・インターフェースを介して画面１０６上に表示することができる。

さらなる一実施形態では、図７に示すように、本開示はまた、取得装置１０３によって取得され、たとえば方法４００の実施から現在の位置決め区域５００が得られた表示装置１０５の画面１０６に表示される、マルチ・ビュー・コンテンツを調整する方法７００を提案する。

具体的には、方法７００は、ステップ７０１において、たとえば、専用のユーザ・インターフェース（方法４００について説明したものと同じとすることができる）を介してユーザが入力するときの、現在の位置決め区域５００の修正を含むことができる。

図８Ａ〜図８Ｃに示すように、この修正は、
−現在の位置決め区域５００の、表示画面１０６に対する奥行き方向（ｚ）での移動、及び／又は、
−現在の位置決め区域５００を画定する水平画角及び垂直画角（α，β）の均一なスケーリングに対応する、水平方向及び垂直方向（ｘ，ｙ）での均一なスケーリングを含むことができる。このスケーリングは、画面１０６の中央を考慮に入れることによって実行される。現在の位置決め区域には、奥行き方向（ｚ）でのスケーリングが許可されないことに留意されたい。

（これまでに定義された変換Ｈの行列によって表される）大域的な修正は、ステップ７０２において、次式で定義される。

ここで、Ｓ_ｘｙはスケーリング行列であり、Ｔ_ｚは奥行きの移動行列である。

図８Ａ〜図８Ｃに示すように、奥行きの移動及び均一なスケーリングによって、次式のように、新規の最小距離ｚ_ｃｚ並びに新規の画角α_ｃｚ及びβ_ｃｚによって定義される新規の位置決め区域８００が生成されることになる。
ｚ_ｃｚ＝ｚ_ｍｉｎ＋｜Ｔ_ｚ｜
α_ｃｚ＝α×Ｓ_ｘｙ

次式の、ユーザの頭の位置に応じて画面１０６にマルチ・ビュー・コンテンツを投影するための前述の式を考慮に入れることによって、

新規の変換行列Ｈを用いて、画像投影コンピューティング機器１０４は、ステップ７０３において、表示されたマルチ・ビュー・コンテンツの投影を、新規の位置決め区域８００の画定に適合させる。

したがって、たとえばユーザ・インターフェースにより、新規の位置決め区域８００がユーザによって拡大されると、表示されたこのマルチ・ビュー・コンテンツは、（たとえばコンピューティング機器１０４の適合手段１０４Ｂによって）適合され、その結果、ユーザは、マルチ・ビュー・コンテンツの表示の限界（黒い帯又は隠れた領域など）に至ることなく、新規の位置決め区域に移動することができる。

前方移動は（すなわち、図８Ａ〜図８Ｃに示すように、位置決め区域が画面に向かって移動するとき、Ｔ_ｚ＜ｚ_ｍｉｎ）、現在の位置決め区域を増大させることになる場合があることを理解されたい。

例示的ではあるが非限定的な例では、１組の２重矢印（図示せず）を、画面１０６がタッチ・スクリーンのときは矢印に触れることによって直接ユーザが選択できるようにその画面に表示することができ、又はキーボード若しくは専用の遠隔制御装置を介して表示することができる。

図９に示すさらなる一実施形態では、本開示はまた、画面１０６上のマルチ・ビュー・コンテンツを観察しているユーザに対して、このユーザが、対応する位置決め区域５００の境界に到達しそうであり、及び／又はこの境界に向けて移動していることを通知する方法９００を提案する。前記方法９００はさらに、画像投影コンピューティング機器１０４によって実施することができる。

そのために、方法９００は、ステップ９０１において、前述の方法４００に従って、（たとえば、コンピューティング機器１０４の手段１０４Ａによって）マルチ・ビュー・コンテンツを観察するための位置決め区域５００を生成することを含む。

ステップ９０２において、方法９００はさらに、位置決め区域５００内に少なくとも部分的に配置されたトリガ領域５５０を（たとえば、コンピューティング機器１０４のモジュール１０４Ｃによって）画定することを含む。一変形形態では、このトリガ領域は、位置決め区域５００の外側に、たとえば位置決め区域５００に隣接して配置することができる。

図１０に示すようにトリガ領域５５０は、以下のように画定されるピラミッド形状を有することができる。
−水平面において、位置決め区域５００内に配置されたトリガ領域５５０の境界を画定するインセンティブ画角α_{ｉｎｃｅｎｔｉｖｅ}によって、また位置決め区域５００の外側に位置する前記トリガ領域５５０の別の境界を画定する最大水平画角α_ｍａｘによって画定される。一変形形態又は一補完形態では、α_ｍａｘは、位置決め区域５００を画定する水平画角αに対応することができる。さらなる変形形態又は補完形態では、α_{ｉｎｃｅｎｔｉｖｅ}及びα_ｍａｘを位置決め区域５００内に配置することができる。
−垂直面において、位置決め区域５００内に配置されたトリガ領域５５０の境界を画定するインセンティブ画角β_{ｉｎｃｅｎｔｉｖｅ}（各図には図示せず）によって、また位置決め区域５００の外側に位置する前記トリガ領域５５０の別の境界を画定する最大垂直画角β_ｍａｘによって画定される。一変形形態又は一補完形態では、β_ｍａｘは、位置決め区域５００を画定する垂直画角βに対応することができる。さらなる変形形態又は補完形態では、β_{ｉｎｃｅｎｔｉｖｅ}及びβ_ｍａｘを位置決め区域５００内に配置することができる。

ユーザの頭の位置が前記トリガ領域５５０内に位置付けられるとき、方法９００はさらに、ステップ９０３において、このユーザが位置決め区域５００内に留まるよう促すための１つ又は複数のインセンティブ効果をトリガすることを含む。画像投影コンピューティング機器１０４のトリガ手段１０４Ｄによって、ステップ９０３を実施することができる。

一実施形態では、インセンティブ効果は、以下のうち少なくとも１つとすることができる。
−ユーザの頭が、位置決め区域５００の境界に向けて移動しているとき、表示画面１０６を暗くするための減光効果であり、またその逆のことも言える。この減光効果は、トリガ領域５５０内のユーザの頭の位置に依存する。
−トリガ領域５５０内でのユーザの頭の動きに関連付けられる視差効果の強度を適応させるための視差強度効果。
−表示画面１０６上の方向を示す１つ又は複数の視覚的合図。

必然的に、コンピューティング機器１０４によって、１つ又は複数のインセンティブ効果を同時にトリガすることができる。

具体的には、トリガ領域５５０内に位置付けられたユーザの頭の位置に関連付けられる（水平又は垂直の）画角が増すと、減光効果が増大することがあり（たとえば、画面１０６の輝度が低下し、画面１０６が暗くなり）、またその逆のことも言える。ユーザの頭の位置の画角が（水平角度α_ｍａｘ及び／又は垂直角度β_ｍａｘの間の）ある最大角度に到達すると、画面１０６は完全に暗く、すなわち黒くなる。ユーザの頭が、トリガ領域５５０の境界から位置決め区域５００の中央に向けて移動するとき、減光効果が減少する（すなわち、画面１０６の輝度が増大し、画面１０６が明るくなる）ことを理解されたい。

さらに、この減光効果は、画面１０６に適用されるものとして説明してきたが、一変形形態又は一補完形態では、（画面１０６の輝度を修正することなく）マルチメディア・コンテンツ自体に直接適用することもできる。

図１１の曲線によって示すように、減光効果の強度は、ユーザの頭に関連付けられる画角に比例することがある。必然的に、本開示から逸脱することなく、減光効果の強度とユーザの頭の画角との間の、他の種類の関係を使用してもよい。

さらに、トリガ領域５５０内に位置付けられたユーザの頭の位置に関連付けられる画角が増すと、視差強度効果によって、画面１０６に表示されるマルチ・ビュー・コンテンツに現れる各要素の移動速度を修正できるようになり、またその逆のことも言える。

そのために、一実施形態では、画像投影コンピューティング機器１０４は、ユーザの頭の画角に関連付けられる計算角度を使用することができる。前記計算角度は、たとえば、図１２に示す例示的な曲線によって定義される関係から得ることができる。ユーザの頭の画角に基づいて画面１０６に表示されるマルチメディア・コンテンツの投影を計算する代わりに、このコンピューティング機器１０４は、対応する計算角度を使用することによって、ユーザの頭の前記画角に関連付けられる投影を決定することができる。

したがって、ユーザが知覚する視差効果は、このユーザの位置に関連付けられる画角とは異なる角度で観察できる視差効果に対応し、したがって、画面１０６を観察するユーザには、この視差効果が減衰しているように見える。

一実施形態では、視覚的合図（たとえば矢印）が実施されるとき、ユーザの頭に関連付けられる画角がα_{ｉｎｃｅｎｔｉｖｅ}とα_ｍａｘ、及び／又はβ_{ｉｎｃｅｎｔｉｖｅ}とβ_ｍａｘの間に配置されると、１つ又は複数の矢印を表示することができる。この矢印を、位置決め区域５００の中央に向けて配向して、ユーザが後の境界から離れて移動するよう促すことができる。ユーザの頭が位置決め区域５００にはあるが、トリガ区域５５０にはないと、この矢印は消えることがある。さらなる補完形態では、この矢印が明滅してユーザの注意を引くことができる。明滅速度は、トリガ区域内のユーザの頭の位置に依存することがある（たとえば、ユーザの頭がトリガ区域の外側境界に近いほど明滅速度が速くなるなど）。

この説明、特許請求の範囲、及び各図面に開示される参照情報を、独立して、又は任意の適切な組合せで提示してもよい。必要に応じて、ハードウェア、ソフトウェア、又はこの２つの組合せで、各機能を実装してもよい。

本明細書における「一実装形態（ｏｎｅ ｅｍｂｏｄｉｍｅｎｔ）」又は「一実施形態（ａｎ ｅｍｂｏｄｉｍｅｎｔ）」への言及は、その実施形態に関連して説明される具体的な特徴、構造、又は特性が、説明される方法及び装置のうち少なくとも１つの実装形態に含まれ得ることを意味する。本明細書の様々な場所で「一実施形態では（ｉｎ ｏｎｅ ｅｍｂｏｄｉｍｅｎｔ）」という表現が現れるが、必ずしもすべてが同じ実施形態を指すものではなく、又は他の実施形態を必然的に相互に排除する別個の実施形態若しくは代替の実施形態でもない。

特許請求の範囲に示される参照番号は、もっぱら例示するためのものであり、特許請求の範囲に記載の範囲に限定的な影響を及ぼすものではない。

本明細書では、本開示のある特定の実施形態のみを説明してきたが、本開示の他の修正形態、変形形態、及び実現可能な形態が可能であることが当業者には理解されよう。したがって、このような修正形態、変形形態、及び実現可能な形態は、本開示の趣旨及び範囲内に含まれ、したがって、本明細書において説明及び／又は例示される本開示の一部分を形成するものとみなすべきである。

各図におけるフロー・チャート及び／又はブロック図には、本開示の様々な実施形態によるシステム、方法、及びコンピュータ・プログラム製品の実現可能な実装形態の構成、動作、及び機能が示してある。この点に関して、フロー・チャート又はブロック図における各ブロックは、コードのモジュール、セグメント、又は一部分を表してもよく、これは、指定された論理機能を実施するための、１つ又は複数の実行可能な命令を含む。代替実装形態によっては、ブロックに記された各機能が、各図に記された順序と異なって実行されてもよいことにも留意されたい。たとえば、必要とする機能に応じて、連続して示した２つのブロックを、実際には実質上同時に実行してもよく、又はこのブロックをときとして逆の順序で実行してもよく、又は各ブロックを代替の順序で実行してもよい。ブロック図及び／又はフロー・チャートの各ブロック、並びにブロック図及び／又はフロー・チャートでの各ブロックの組合せは、指定された機能若しくは動作を実行する特殊目的のハードウェア・ベースのシステム、又は特殊目的のハードウェアとコンピュータ命令の組合せによって実施できることにも留意されよう。明示的に説明されてはいないが、この実施形態は、任意の組合せ又はサブコンビネーションで利用されてもよい。

Claims (15)

1. ユーザの頭の位置に応じた、表示画面（１０６）へのマルチ・ビュー・コンテンツの表示に関連付けられるように構成された方法であって、
   前記表示されたマルチ・ビュー・コンテンツを観察するための位置決め区域（５００）を生成すること（９０１）と、
   前記位置決め区域（５００）内に少なくとも部分的に配置されたトリガ領域（５５０）を画定すること（９０２）と、
   前記ユーザの頭の位置が前記トリガ領域（５５０）内に位置付けられるとき、１つ又は複数のインセンティブ効果をトリガして、前記ユーザが前記位置決め区域（５００）内に留まるよう促すこと（９０３）と、
   を含む、方法。
2. 前記位置決め区域（５００）及び前記トリガ領域（５５０）が、両方ともピラミッド形状を有する、請求項１に記載の方法。
3. 前記１つ又は複数のインセンティブ効果が、
   前記トリガ領域（５５０）内の前記ユーザの頭の位置に応じて前記表示画面を暗くするための減光効果と、
   前記トリガ領域内でのユーザの頭の動きに関連付けられる視差効果の強度を適応させるための視差強度効果と、
   前記表示画面（１０６）上での方向を示す１つ又は複数の視覚的合図と、
   のうち、少なくとも１つを含む、請求項１又は２に記載の方法。
4. 前記減光効果は、前記トリガ領域（５５０）内に位置付けられた前記ユーザの頭の位置に関連付けられる画角が増すときに増大する、請求項３に記載の方法。
5. 前記減光効果が、前記ユーザの頭の位置の前記画角とともに直線的に増大する、請求項４に記載の方法。
6. 前記トリガ領域（５５０）内に位置付けられた前記ユーザの頭の位置に関連付けられる前記画角が増すと、前記視差強度効果によって、前記画面（１０６）に表示される前記マルチ・ビュー・コンテンツに現れる各要素の移動速度が低下する、請求項３〜５のいずれか一項に記載の方法。
7. 前記１つ又は複数のインセンティブ効果が可逆的である、請求項１〜６のいずれか一項に記載の方法。
8. 前記マルチ・ビュー・コンテンツが取得装置（１０３）によって取得されており、前記位置決め区域（５００）が、前記取得装置（１０３）の１つ又は複数の得られた取得パラメータ、及び前記表示画面（１０６）の１つ又は複数の得られたパラメータに基づいて確立される、請求項１〜７のいずれか一項に記載の方法。
9. ユーザの頭の位置に応じて、画面（１０６）に表示されるマルチ・ビュー・コンテンツを観察する前記ユーザに情報を提示するのに適した機器であって、
   前記表示されたマルチ・ビュー・コンテンツを観察するための位置決め区域（５００）を生成するための手段（１０４Ｂ）と、
   前記位置決め区域内に少なくとも部分的に配置されたトリガ領域（５５０）を画定するための手段（１０４Ｃ）と、
   前記ユーザの頭の位置が前記トリガ領域（５５０）内に位置付けられるとき、１つ又は複数のインセンティブ効果をトリガして、前記ユーザが前記位置決め区域（５００）内に留まるよう促すための手段（１０４Ｄ）と、
   を備える、機器。
10. 前記位置決め区域（５００）及び前記トリガ領域（５５０）が、両方ともピラミッド形状を有する、請求項９に記載の機器。
11. 前記１つ又は複数のインセンティブ効果が、
    前記トリガ領域（５５０）内の前記ユーザの頭の位置に応じて前記表示画面（１０６）を暗くするための減光効果と、
    前記トリガ領域（５５０）内でのユーザの頭の動きに関連付けられる視差効果の強度を適応させるための視差強度効果と、
    前記表示画面（１０６）上での方向を示す１つ又は複数の視覚的合図と、
    のうち、少なくとも１つを含む、請求項８又は９に記載の機器。
12. 前記トリガ領域（５５０）内に位置付けられた前記ユーザの頭の位置に関連付けられる画角が増すと、前記減光効果が前記表示画面（１０６）の明度を増大させ、またその逆のことも言える、請求項１１に記載の機器。
13. 前記トリガ領域（５５０）内に位置付けられた前記ユーザの頭の位置に関連付けられる前記画角が増すと、前記視差強度効果によって、前記画面（１０６）に表示される前記マルチ・ビュー・コンテンツに現れる各要素の移動速度が低下する、請求項１１又は１２に記載の機器。
14. 前記位置決め区域及び／又は前記トリガ区域を表示するように構成される、請求項９〜１３のいずれか一項に記載の機器。
15. コンピュータによって読取り可能で、ユーザの頭の位置に応じた、表示画面（１０６）へのマルチ・ビュー・コンテンツの表示に関連付けられるように構成された方法を実行するための、前記コンピュータによって実行可能な命令のプログラムを明白に実施する、持続的なプログラム記憶装置であって、前記方法が、
    前記表示されたマルチ・ビュー・コンテンツを観察するための位置決め区域（５００）を生成すること（９０１）と、
    前記位置決め区域内に少なくとも部分的に配置されたトリガ領域（５５０）を画定すること（９０２）と、
    前記ユーザの頭の位置が前記トリガ領域内に位置付けられるとき、１つ又は複数のインセンティブ効果をトリガして、前記ユーザが前記位置決め区域（５００）内に留まるよう促すこと（９０３）と、
    を含む、持続的なプログラム記憶装置。

Images