JP2021192508A - 視線追跡を用いたｖｒ、低遅延、無線ｈｍｄビデオストリーミングのためのフォービエイテッドビデオリンク - Google Patents

Abstract

【課題】画像の関心領域の必須の詳細を保持しながら、送信帯域要件と、高解像度ビデオ処理の計算負荷を低減できる方法、システム及びコンピュータ可読媒体を提供する。【解決手段】視線追跡データを分析して、ビデオストリームの画像内の１つまたは複数の関心領域を決定するシステム４００であって、関心領域内のセクションが高解像度を維持し、関心領域内でないエリアをダウンスケーリングして送信の帯域幅コストを低減するように、ビデオストリームデータを選択的にスケーリングするダウンスケーラ４０５を有し、高解像度エリアのサイズを低減することによる映像酔い低減も可能とする。【選択図】図４

Description

［優先権の主張］
本出願は、２０１６年１２月２９日に出願された米国仮特許出願番号第６２／４４０，１９８号の優先権を主張し、参照により、その内容全体を本明細書に組み込む。

本開示の態様は、ビデオ圧縮に関する。詳細には、本開示は、ビデオ画像内の異なる符号化品質に関する。

広視野（ＦＯＶ）を有するグラフィックディスプレイデバイスが開発されてきた。このようなデバイスは、ヘッドマウントディスプレイ（ＨＭＤ）デバイスを含む。ＨＭＤデバイスにおいては、小型のディスプレイデバイスがユーザの頭部に着用される。そのディスプレイデバイスは、片方の目（単眼ＨＭＤ）または両方の目（双眼ＨＭＤ）の正面にディスプレイ光学素子を有する。ＨＭＤデバイスは典型的にセンサを含み、センサは、デバイスの向きを感知でき、ユーザの頭部が動くと、ディスプレイ光学素子が示すシーンを変えることができる。従来、広ＦＯＶディスプレイに表示されるビデオはほとんど、１つの圧縮アルゴリズムを用いて圧縮されて、画面の全ての部分が同じ解像度を有する。

しかしながら、ＨＭＤデバイスと共に行われることの多い仮想現実（ＶＲ）プログラムのビデオを表示することは、ユーザの映像酔いを防ぐために、従来のフラットスクリーンディスプレイよりも高いフレームレートを必要とする。非常に高い解像度と高いフレームレートでビデオを表示することは、帯域幅という点でとてもコストがかかる。ＶＲ用ＨＭＤは、没入型体験のために、広ＦＯＶでビデオを見せる光学システムを有する。主な注視点（中心窩領域と呼ばれることもある）の周囲の画面エリアは高解像度を必要とし、主な注視点の外側のエリアは、周辺視野によってのみ観察されるので、より低い解像度で表示されてよい。このようなビデオは、フォービエイテッドビデオとも呼ばれる。

本開示はこの文脈で生じる。

先行技術に関する短所は、フォービエイテッドビデオの符号化と送信に関する本開示の態様によって克服される。

ビデオ画像を受信することと、１つまたは複数の関心領域を表す視線追跡情報を取得することと、１つまたは複数の関心領域に対応するビデオ画像の１つまたは複数のサブセクションを低圧縮エンコーダを用いて圧縮して低圧縮ビデオデータを生成することと、ビデオ画像をダウンスケーリングし、そのビデオ画像を高圧縮エンコーダを用いて圧縮して高圧縮ビデオデータを生成することと、高圧縮ビデオデータと１つまたは複数の低圧縮ビデオデータとを送信することとを含む方法。

高圧縮ビデオデータを受信することと、視線追跡情報から取得された１つまたは複数の関心領域を表すビデオ画像の１つまたは複数の低圧縮サブセクションに対応する低圧縮ビデオデータを受信することと、高圧縮ビデオ画像を解凍することと、解凍されたビデオ画像をアップスケーリングすることと、ビデオ画像の１つまたは複数の低圧縮サブセクションを解凍することと、アップスケーリングされたビデオ画像を関心領域のビデオ画像の１つまたは複数のサブセクションと組み合わせることと、組み合わされたアップスケーリングされたビデオ画像と１つまたは複数のサブセクションとを表示することとを含む方法。

本開示の態様の文脈内の、視線追跡を示す概略図である。 本開示の態様の文脈内の、視線追跡を示す概略図である。 フォービエイテッドビデオの例を示す図である。 フォービエイテッドビデオの例を示す図である。 本開示の態様の文脈内の、ビデオフレームの１つの可能な分割を示す概略図である。 本開示の態様によるシステムを示すブロック図である。 本開示の態様によるシステム全体を示すフロー図である。 本開示の態様による、エンコーダ群側を示すフロー図である。 本開示の態様による、エンコーダ群側を示すフロー図である。 本開示の態様による、デコーダ群側を示すフロー図である。 本開示の態様による、デコーダ群側を示すフロー図である。 本開示の態様による、関心領域の例を示す画面空間の概略図である。 本開示の態様による、映像酔い低減スキームを示すフロー図である。 本発明の実施形態と共に視線及び顔の追跡を使用する例を示す概略図である。 本発明の実施形態と共に視線及び顔の追跡を使用する例を示す概略図である。 本発明の実施形態と共に視線及び顔の追跡を使用する例を示す概略図である。 本発明の実施形態と共に視線及び顔の追跡を使用する例を示す概略図である。 本発明の実施形態と共に視線及び顔の追跡を使用する例を示す概略図である。 本発明の実施形態と共に視線及び顔の追跡を使用する例を示す概略図である。 本発明の実施形態と共に視線及び顔の追跡を使用する例を示す概略図である。 本発明の実施形態と共に視線及び顔の追跡を使用する例を示す概略図である。 本開示の態様による、顔の向き特性の追跡設定を示す概略図である。 本開示の態様による、顔の向き特性の追跡設定を示す概略図である。 本開示の態様による、顔の向き特性の追跡設定を示す概略図である。 本開示の態様による、顔の向き特性の追跡設定を示す概略図である。 本開示の態様による、顔の向き追跡を利用できるポータブルデバイスを示す概略図である。

以下の詳細な記載は、説明のために多くの特定の詳細を含むが、当業者は、以下の詳細への多くの変形及び変更は発明の範囲内にあることを理解されよう。従って、以下に記載する本開示の説明のための実施態様は、特許を請求する発明の一般性を失うことなく、特許を請求する発明を限定することなく、記載される。

［導入］
視線追跡は、医学研究、自動車技術、コンピュータエンターテイメント、及び、ビデオゲームプログラム、制御入力デバイス、拡張現実眼鏡等を含む、広範な適用例で使用されてきた。視線追跡としても知られるアイトラッキングには多くの技術がある。視線追跡と選択的レンダリング圧縮の技術は、同時係属出願第２０１５／０８７，４７１号に記載されており、その内容は、参照により本明細書に組み込まれる。これらの技術の一部は、ユーザの視線の方向をユーザの目の瞳孔の向きから決定する。既知の視線追跡の一部は、１つまたは複数の光源から光を発して目を照らすことと、発せられた光の角膜からの反射をセンサで検出することとを伴う。典型的に、これは、赤外領域の不可視光源を用いて、照らされた眼の画像データ（例えば、画像またはビデオ）を赤外線カメラを用いて捕捉することによって達成される。次に、画像処理アルゴリズムを使用して画像データを分析して、視線方向を決定する。

一般的に、アイトラッキング画像分析は、光がどのように眼から反射されるかに特徴的な特性を利用して、画像から視線方向を決定する。例えば、画像を分析して、画像データの角膜反射に基づいて、眼の位置を識別してよく、画像をさらに分析して、画像内の瞳孔の相対的位置に基づいて視線方向を決定してよい。

瞳孔の位置に基づいて視線方向を決定する２つの一般的な視線追跡技術は、明瞳孔検出と暗瞳孔検出として知られる。明瞳孔検出は、カメラの光軸とほぼ一致した光源を用いて眼を照らし、発した光を網膜から反射させて、瞳孔を通してカメラに戻すことを伴う。瞳孔が、従来のフラッシュ撮影中に画像に生じる赤目効果と類似した識別可能な明るいスポットとして、画像の瞳孔の位置に現れる。この視線追跡方法において、瞳孔自体からの明るい反射が、瞳孔と虹彩の間のコントラストが十分でない場合、システムが瞳孔の位置を突き止めるのを助ける。

暗瞳孔検出は、カメラの光軸から実質的に離れた光源を用いて照らし、瞳孔を通るように向けられた光がカメラの光軸から離れて反射されて、画像の瞳孔の位置に識別可能なダークスポットを生じることを伴う。代替の暗瞳孔検出システムにおいては、眼に向けられた赤外光源とカメラが、角膜反射を見ることができる。このようなカメラベースのシステムは、瞳孔の位置を追跡し、反射の深度が異なることによる視差が、追加の精度を提供する。

図１Ａは、本開示の文脈で使用し得る暗瞳孔視線追跡システム１００の例を示す。視線追跡システムは、可視画像が提示されるディスプレイ画面１０１に対するユーザの眼Ｅの向きを追跡する。図１Ａの例示のシステムではディスプレイ画面が使用されるが、ある代替実施形態は、ユーザの眼に直接、画像を投影できる画像投影システムを利用してよい。これらの実施形態においては、ユーザの眼Ｅが、ユーザの眼に投影される画像に対して追跡される。図１Ａの例においては、眼Ｅは、画面１０１からの光を変化する虹彩Ｉを通して集め、レンズＬが、網膜Ｒに画像を投影する。虹彩の開口部は瞳孔として知られる。筋肉が、脳からの神経インパルスに反応して、眼Ｅの回転を制御する。上眼瞼筋ＵＬＭ、下眼瞼筋ＬＬＭは、それぞれ、他の神経インパルスに反応して、上眼瞼ＵＬ、下眼瞼ＬＬを制御する。

網膜Ｒの感光性細胞は、電気インパルスを生成し、電気インパルスは、視神経ＯＮを介してユーザの脳（図示せず）に送られる。脳の視覚野が、インパルスを解釈する。網膜Ｒの全ての部分が等しく光に対して感受性があるわけではない。詳細には、感光性細胞は、中心窩として知られるエリアに集中している。

図示の画像追跡システムは、不可視光（例えば、赤外光）を眼Ｅの方に向ける１つまたは複数の赤外光源１０２、例えば、発光ダイオード（ＬＥＤ）を含む。不可視光の一部は、眼の角膜Ｃから反射し、一部は、虹彩から反射する。反射した不可視光は、波長選択ミラー１０６によって適切なセンサ１０４（例えば、赤外線カメラ）の方に向けられる。ミラーは、画面１０１からの可視光を透過し、眼から反射した不可視光を反射する。

センサ１０４は、眼Ｅの画像を生成できる画像センサ、例えば、デジタルカメラであることが好ましく、眼Ｅの画像が、分析されて、瞳孔の相対的位置から視線方向ＧＤを決定してよい。この画像は、ローカルプロセッサ１２０を用いて、または、取得された視線追跡データをリモートコンピューティングデバイス１６０に送信することによって生成されてよい。ローカルプロセッサ１２０は、例えば、シングルコア、デュアルコア、クアドコア、マルチコア、プロセッサ−コプロセッサ、セルプロセッサ等、周知のアーキテクチャに従って構成されてよい。画像追跡データは、センサ１０４とリモートコンピューティングデバイス１６０との間で有線接続（図示せず）を介して、または、アイトラッキングデバイス１１０に含まれた無線送受信機１２５とリモートコンピューティングデバイス１６０に含まれた第２の無線送受信機１２６との間で無線で送信されてよい。無線送受信機は、ローカルエリアネットワーク（ＬＡＮ）またはパーソナルエリアネットワーク（ＰＡＮ）を、適切なネットワークプロトコル、例えば、ＰＡＮに対しては、ブルートゥース（登録商標）を介して実施するように構成されてよい。

視線追跡システム１００は、例えば、それぞれ、眼Ｅの上及び下に配置されるように構成された上部センサ１０８と下部センサ１０９も含んでよい。センサ１０８及び１０９は、独立したコンポーネントであってよい、あるいは、ユーザの頭部に装着されたコンポーネント１１０の一部であってよい。コンポーネント１１０は、センサ１０４、ローカルプロセッサ１２０、または、下記の慣性センサ１１５の任意の組み合わせを含んでよいが、これらに限らない。図１Ａに示す例示のシステムにおいては、センサ１０８及び１０９は、眼Ｅの周囲のエリアから、神経系の電気インパルス、及び／または、筋肉組織の動き及び／または振動に関するデータを収集できる。このデータは、例えば、上部センサ１０８及び下部センサ１０９によって監視される眼Ｅの周囲の筋肉及び／または神経の電気生理学的及び／または振動の情報を含んでよい。センサ１０８及び１０９によって収集される電気生理学的情報は、例えば、脳波検査（ＥＥＧ）、筋電図検査（ＥＭＧ）、または、眼Ｅの周囲のエリア（複数可）の神経機能の結果として収集される誘発電位情報を含んでよい。センサ１０８及び１０９は、眼Ｅの周囲の筋肉の筋肉振動または痙攣を検出した結果として、例えば、筋音図、または、表面筋電図の情報も収集できてよい。センサ１０８は、例えば、心拍数データ、心電図検査（ＥＣＧ）、または、電気皮膚反応データを含む、映像酔い反応に関する情報も収集できてよい。センサ１０８及び１０９によって収集されたデータは、上記のローカルプロセッサ１２０及び／またはリモートコンピューティングデバイス１６０に画像追跡データと共に伝えられてよい。

視線追跡システム１００は、ユーザの頭部も追跡できてよい。頭部追跡は、ユーザの頭部の位置、動き、向き、または、向きの変化に応答して信号を生成できる慣性センサ１１５によって行われてよい。このデータは、ローカルプロセッサ１２０に送られてよい、及び／または、リモートコンピューティングデバイス１６０に送信されてよい。慣性センサ１１５は、独立したコンポーネントであってよい、あるいは、ユーザの頭部に装着されたコンポーネント１１０の一部であってよい。コンポーネント１１０は、センサ１０４、ローカルプロセッサ１２０、または、上記センサ１０８及び１０９の任意の組み合わせを含んでよいが、これらに限らない。代替実施形態においては、頭部追跡は、コンポーネント１１０上の光源の追跡によって行われてよい。視線追跡システム１００は、１つまたは複数のメモリユニット１７７（例えば、ランダムアクセスメモリ（ＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、リードオンリメモリ（ＲＯＭ）等も含んでよい。

ローカルプロセッサ１２０は、ネットワーク接続１２５から符号化されたデータを受信するように構成されてよい。ローカルプロセッサ１２０は、１つまたは複数のメモリユニット１７７に動作可能に結合されてよく、メモリユニット１７７に記憶された１つまたは複数のプログラムを実行するように構成されてよい。このようなプログラムを実行によって、システムは、リモートコンピューティングデバイス１６０からのビデオストリームを復号してよく、ディスプレイ１０１に表示するためのフォービエイテッドビデオを生成してよい。制限ではなく例示として、プログラムは、ブレンダ（Ｂｌｅｎｄｅｒ）／変換空間構成（Ｃｏｎｖｅｒｓｉｏｎ Ｓｐａｃｅ Ｃｏｎｆｉｇｕｒａｔｉｏｎ）プログラム１７９、スケーラ（Ｓｃａｌｅｒ）プログラム１７６、及び、デコーダプログラム１８０を含んでよい。

リモートコンピューティングデバイス１６０は、本開示の態様による、視線追跡を行い、照明条件を判断するために、アイトラッキングデバイス１１０及びディスプレイ画面１０１と協調して動作するように構成されてよい。コンピューティングデバイス１６０は、１つまたは複数のプロセッサユニット１７０を含んでよく、プロセッサユニット１７０は、例えば、シングルコア、デュアルコア、クアドコア、マルチコア、プロセッサ−コプロセッサ、セルプロセッサ等、周知のアーキテクチャに従って構成されてよい。コンピューティングデバイス１６０は、１つまたは複数のメモリユニット１７２（例えば、ランダムアクセスメモリ（ＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、リードオンリメモリ（ＲＯＭ）等）も含んでよい。

プロセッサユニット１７０は、１つまたは複数のプログラムを実行してよく、プログラムの一部は、メモリ１７２に記憶されてよく、プロセッサ１７０は、例えば、データバス１７８を介してメモリにアクセスすることによって、メモリ１７２に動作可能に結合されてよい。プログラムは、視線追跡を行うように、また、システム１００の照明条件を決定するように構成されてよい。制限ではなく例示として、プログラムは、実行されると、システム１００に、例えば、上記のように、ユーザの視線を追跡させ得る視線追跡プログラム１７３と、ディスプレイデバイスが提示できる形式にビデオフレームストリームを変換する変換空間構成（Ｃｏｎｖｅｒｓｉｏｎ ｓｐａｃｅ ｃｏｎｆｉｇｕｒａｔｉｏｎ）（ＣＳＣ）プログラム１７４と、実行されると、ディスプレイに送る低解像度のビデオフレームのストリームとビデオフレームの選択された高解像度のセクションとを符号化するエンコーダプログラム１７５及びビデオストリームスケーラプログラム１７６とを含んでよい。エンコーダプログラム１７５は、視聴者の映像酔い反応を使用して、高解像度でディスプレイに提示される関心領域（ＲＯＩ）のサイズを、例えば、ＲＯＩのサイズを低減することによって、調節して、視聴者に映像酔いが起こる可能性を減らしてよい。

制限ではなく例示として、視線追跡プログラム１７３は、プロセッサ実行可能命令を含んでよく、プロセッサ実行可能命令によって、システム１００は、光が光源１０２から発せられている間に画像センサ１０４を用いて集められたアイトラッキングデータと、上部センサ１０８及び下部センサ１０９から集められた眼の動きデータとから、システム１００の１つまたは複数の視線追跡パラメータを決定する。視線追跡プログラム１７３は、照明条件の変化の存在を検出するために、画像センサ１０４を用いて集められた画像を分析する命令も含んでよい。

図１Ｂに示すように、ユーザの頭部Ｈを示す画像１８１を分析して、瞳孔の相対的位置から、視線方向ＧＤを決定してよい。例えば、画像分析は、画像における眼Ｅの中心から瞳孔Ｐの二次元のオフセットを決定してよい。中心に対する瞳孔の位置は、眼球の既知のサイズ及び形に基づいた三次元ベクトルの単純な幾何学的計算によって、画面１０１に対する視線方向に変換し得る。決定された視線方向ＧＤは、眼Ｅが画面１０１に対して移動すると、眼Ｅの回転と加速度を示すことができる。

図１Ｂにも示すように、画像は、それぞれ、角膜ＣとレンズＬからの不可視光の反射１８７と反射１８８も含んでよい。角膜とレンズは異なる深度にあるので、反射間の視差と屈折率とを用いて、視線方向ＧＤの決定に追加の精度を提供し得る。この種のアイトラッキングシステムの例は、デュアルプルキニエトラッカ（ｄｕａｌ Ｐｕｒｋｉｎｊｅ ｔｒａｃｋｅｒ）であり、ここで、角膜反射は、第１のプルキニエ像であり、レンズ反射は、第４のプルキニエ像である。ユーザが眼鏡１９３をかけていれば、眼鏡１９３からの反射１９０もあり得る。

現在のＨＭＤパネルは、製造業者に応じて、９０または１２０ヘルツ（Ｈｚ）という一定のレートでリフレッシュする。高いリフレッシュレートは、パネルの電力消費と、送信媒体がフレームの更新を送るための帯域要件を増加させる。

図３は、本開示の様々な態様をさらに説明するシステム３００の例を示す。システム３００は、アイトラッキングディスプレイシステム３０１に結合されたコンピューティングデバイス３６０を含んでよい。アイトラッキングディスプレイデバイス３０１は、本開示の態様による、視線追跡及び／またはアイトラッキングキャリブレーションを行うために、ローカルプロセッサ３０３、ローカルメモリ３１７、周知のサポート回路３０５、ネットワークインタフェース３１６、アイトラッキングデバイス３０２、及び、ディスプレイデバイス３０４を含む。ディスプレイデバイス３０４は、ブラウン管（ＣＲＴ）、フラットパネルスクリーン、タッチスクリーン、または、文字列、数字、図示記号、もしくは、他の視覚的オブジェクトを表示する他のデバイスの形態であってよい。ローカルプロセッサ３０３は、例えば、シングルコア、デュアルコア、クアドコア、マルチコア、プロセッサ−コプロセッサ、セルプロセッサ等、周知のアーキテクチャに従って構成されてよい。アイトラッキングディスプレイシステム３０１は、１つまたは複数のメモリユニット３１７（例えば、ランダムアクセスメモリ（ＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、リードオンリメモリ（ＲＯＭ）等）も含んでよい。

ローカルプロセッサユニット３０３は、１つまたは複数のプログラムを実行してよく、プログラムの一部は、メモリ３１７に記憶されてよく、プロセッサ３０３は、例えば、データバス３１８を介してメモリにアクセスすることによって、メモリ３１７に動作可能に結合されてよい。プログラムは、アイトラッキングディスプレイシステム３０１のためのフォービエイテッドビデオを作成するように構成されてよい。制限ではなく例示として、プログラムは、ビデオストリーム融合プログラム及びＣＳＣ３１３、ビデオストリームスケーリングプログラム３１４、及び、デコーダプログラム３１５を含んでよい。制限ではなく例示として、ブレンダ／ＣＳＣ３１３は、プロセッサ実行可能命令を含んでよく、プロセッサ実行可能命令によって、システム３０１は、スケーラプログラム３１４から受信したビデオストリームとデコーダプログラム３１５から受信したサブセクションストリームとを組み合わせて、ディスプレイデバイス３０４に表示するためのフォービエイテッドビデオを作成する。スケーラ３１４は、実行されると、ローカルプロセッサにデコーダ３１５から受信したビデオストリームをアップスケーリングさせる命令を含んでよい。デコーダプログラム３１５は、ローカルプロセッサによって実行されると、システムにネットワークインタフェース３１６から符号化されたビデオストリームデータを受信させ、復号させる命令を含んでよい。あるいは、デコーダプログラムは、例えば、メインバス３１８によってローカルプロセッサに通信可能に結合された個別の論理ユニット（図示せず）として実施されてよい。本開示の態様によると、アイトラッキングディスプレイデバイス３０１は、埋め込みシステム、携帯電話、パーソナルコンピュータ、タブレットコンピュータ、ポータブルゲームデバイス、ワークステーション、ゲームコンソール、ヘッドマウントディスプレイデバイス等であってよい。さらに、コンピューティングデバイス３６０は、埋め込みシステム、携帯電話、パーソナルコンピュータ、タブレットコンピュータ、ポータブルゲームデバイス、ワークステーション、ゲームコンソール等であってもよい。

アイトラッキングディスプレイデバイス３０１は、コンピューティングデバイス３６０に結合されてよく、図１Ａ及び図１Ｂの光源１１０に類似の動的光源３１０を含んでよい。制限ではなく例示として、光源３１０は、１つまたは複数の赤外線ＬＥＤの形態の不可視光源であってよく、センサ３１２を用いてアイトラッキングデータを集めるために、ユーザの眼を照らすように構成されてよい。アイトラッキングデバイスのセンサ３１２は、光源３１０が発した光に感受性を持つ検出器であってよい。例えば、センサ３１２は、赤外線カメラ等、光源に対して感受性を持つカメラであってよく、カメラ３１２は、光源３１０が照らすエリアの画像を撮影し得るように、アイトラッキングデバイスと光源に対して配置されてよい。

コンピューティングデバイス３６０は、本開示の態様によると、視線追跡を行い、照明条件を決定するために、アイトラッキングディスプレイシステム３０１と協調して動作するように構成されてよい。コンピューティングデバイス３６０は、１つまたは複数のプロセッサユニット３７０を含んでよく、プロセッサユニット３７０は、例えば、シングルコア、デュアルコア、クアドコア、マルチコア、プロセッサ−コプロセッサ、セルプロセッサ等、周知のアーキテクチャに従って構成されてよい。コンピューティングデバイス３６０は、１つまたは複数のメモリユニット３７２（例えば、ランダムアクセスメモリ（ＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、リードオンリメモリ（ＲＯＭ）等）も含んでよい。

プロセッサユニット３７０は、１つまたは複数のプログラムを実行してよく、プログラムの一部は、メモリ３７２に記憶されてよく、プロセッサ３７０は、データバス３７６を介してメモリにアクセスすることによって、メモリ３７２に動作可能に結合されてよい。プログラムは、視線追跡を行うように、且つ、システム３００の照明条件を決定するように構成されてよい。制限ではなく例示として、プログラムは、視線追跡プログラム３７３を含んでよく、視線追跡プログラム３７３の実行によって、システム３００にユーザの視線を追跡させてよい。制限ではなく例示として、視線追跡プログラム３７３は、プロセッサ実行可能命令を含んでよく、プロセッサ実行可能命令は、システム３００に、光が動的光源３１０から発せられている間にカメラ３１２が集めたアイトラッキングデータからシステム３００の１つまたは複数の視線追跡パラメータを決定させる。視線追跡プログラム３７３は、例えば、図１Ｂに関して前述したように、カメラ３１２を用いて集めた画像を分析する命令も含んでよい。あるいは、エンコーダプログラムは、例えば、メインバス３１８によってローカルプロセッサに通信可能に結合された個別の論理ユニット（図示せず）として実施されてよい。

一部の実施態様においては、視線追跡プログラム３７３は、視線追跡情報を分析して、ユーザの視覚が、例えば、瞬きの間、ぼやけており、または、例えば、サッカード中、機能していない期間を予測してよい。このような期間の開始の予測を使用して、不必要なレンダリング計算、電力消費、及び、ネットワーク帯域幅の使用量を低減できる。このような技術の例は、２０１６年３月３１日出願の同一出願人による米国特許出願番号第１５／０８６，９５３号に記載されており、参照により、その内容全体を本明細書に組み込む。

コンピューティングデバイス３６０及びアイトラッキングディスプレイデバイス３０１は、入力／出力（Ｉ／Ｏ）回路３７９、３０６、電源（Ｐ／Ｓ）３８０、３０９、クロック（ＣＬＫ）３８１、３０８、及び、キャッシュ３８２、３０７等、周知のサポート回路３７８、３０５も含んでよく、これらは、例えば、それぞれ、バス３７６、３１８を介してシステムの他のコンポーネントと通信してよい。コンピューティングデバイス３６０は、アイトラッキングディスプレイデバイス３０１に同様に構成されたネットワークインタフェース３１６との通信を容易にするネットワークインタフェース３９０を含んでよい。プロセッサユニット３７０、３０３と、ネットワークインタフェース３９０、３１６は、ローカルエリアネットワーク（ＬＡＮ）またはパーソナルエリアネットワーク（ＰＡＮ）と、例えば、ＰＡＮに対するブルートゥース（登録商標）等、適切なネットワークプロトコルを介して実施するように構成されてよい。コンピューティングデバイス３６０は、ディスクドライブ、ＣＤ−ＲＯＭドライブ、テープドライブ、フラッシュメモリ等の大容量記憶装置３８４を任意選択で含んでよく、大容量記憶装置３８４は、プログラム及び／またはデータを記憶してよい。コンピューティングデバイス３６０は、システム３００とユーザの間のインタラクションを容易にするユーザインタフェース３８８も含んでよい。ユーザインタフェース３８８は、キーボード、マウス、ライトペン、ゲームコントロールパッド、タッチインタフェース、または、他のデバイスを含んでよい。

システム３００は、プロセッサユニット３７０が実行するプログラムとインタラクトするために、アイトラッキングディスプレイデバイス３０１とインタフェースするコントローラ（図示せず）も含んでよい。システム３００は、ビデオゲームまたはビデオストリーム等の１つまたは複数の一般的なコンピュータアプリケーション（図示せず）も実行してよく、これらのアプリケーションは、視線追跡の態様を組み込んでよく、視線追跡は、追跡デバイス３０２によって感知され、ビデオフレームデータをディスプレイデバイスに提示できる形式に変換する追跡プログラム３７３、ＣＳＣ３７６、スケーラ３７４と、ビデオストリームエンコーダ３７５によって処理される。

コンピューティングデバイス３６０は、ネットワークインタフェース３９０も含んでよく、ネットワークインタフェース３９０は、Ｗｉ−Ｆｉ、イーサネット（登録商標）ポート、または、他の通信方法の使用を可能にするように構成される。ネットワークインタフェース３９０は、通信ネットワークによる通信を容易にする適切なハードウェア、ソフトウェア、ファームウェア、または、これらの何らかの組み合わせを組み込んでよい。ネットワークインタフェース３９０は、ローカルエリアネットワークとインターネット等の広域ネットワークとを介して有線または無線通信を実施するように構成されてよい。ネットワークインタフェース３９０は、アイトラッキングデバイス３０２及びディスプレイデバイス３７９との無線通信を容易にする上記無線送受信機も含んでよい。コンピューティングデバイス３６０は、ネットワークを介して１つまたは複数のデータパケット３９９によってデータ及び／またはファイルの要求を送受信してよい。

［フォービエイテッドビデオ］
本開示の態様として、フォービエイテッドビデオは、ディスプレイが提示する画像の関心領域の必須の詳細を保持しながら、送信帯域要件と、高解像度ビデオ処理の計算負荷とを低減できる。フォービエイテッドビデオは、中心窩が焦点を当てている表示された画像の関心領域（ＲＯＩ）にある高解像度ビデオフレームのサブセクションに低損失圧縮を行う、もしくは、圧縮を行わず、この領域の外側のビデオフレームにダウンスケーリングと高圧縮とを行うことによって、計算を低減する。フォービエイテッドビデオを利用するために、ヘッドマウントディスプレイ（ＨＭＤ）等の画像ディスプレイデバイスは、視線追跡技術を使用して、ユーザが焦点を当てている画面上の場所を決定する。

フォービエイテッドビデオは、視線追跡システムによって決定される視聴者のＲＯＩの高解像度の画像を表示するように構成されてよい。図２Ａ及び図２Ｂは、本開示の態様による、フォービエイテッドビデオ画像２０１を示す。画像２０１において、ＲＯＩ２０３は、ユーザの視線の中心２０２（中心窩とも呼ばれる）の真正面であると視線追跡によって決定されたエリアであってよい。視線の中心から２０度以内で、視聴者の視力は最も高い。従って、画像２０１のこの部分を高解像度で表示すると有益である。本開示の態様として、ＲＯＩ２０３は、視聴者の視線の中心２０２から２０度以内であると選択された画面の領域であってよい。ＲＯＩは、２つの重複する円形領域または２つの隣り合う正方形を含むが、これらに限らない任意の形状であってよい。一般的に、ＲＯＩは、互いに隣り合う２つの領域からなるが、１つの長方形の領域、または、１つの卵形の領域、または、２つの隣り合わない円形領域を含むが、これらに限らない他の形状でもよい。

本開示の態様によると、画像２０１に対応するビデオデータは、ＲＯＩ２０３内の画像のセクション２０５が高解像度で表示され、ＲＯＩ２０３の外側のセクション２０４が解像度を下げて表示されるように符号化されてよい。視聴者のＲＯＩ２０３の外側のセクション２０４の解像度を下げることによって、ビデオストリームの送信中、帯域幅の使用を減らすことができ、視聴者が知覚するビデオの質を損なうことなく、ストリームを符号化しながら、待ち時間を減らすことができる。一部の実施態様においては、ＲＯＩ２０３の縁部に、低解像度セクションと高解像度セクションとが混じって、高解像度と低解像度との間を段階的に移行する移行エリアがあってよい。

ＲＯＩ２０３は、ビデオストリーム内のフレームからフレームに位置を変えてよい。ビデオ画像内のエリアへの視聴者の注意は、ビデオが進むにつれて変化してよい。図２Ｂに示す本開示の態様によると、視線追跡システムは、視聴者の左眼と右眼の主な注視点２０６、２０７の移動を検出してよく、それに応じて、システムは、新しい注視点に対応するＲＯＩ２１０、２１１を注視点移動ベクトルに沿って移動させる。新しいＲＯＩ２１０及び２１１内の高解像度ビデオストリームセクション２０８は、主な注視点の位置の変化に応答してフェッチされてよい。あるいは、ビデオストリームのある一定のエリアに注視点と関心領域とが位置している確率は、ｈｔｔｐ：／／ｗｗｗ．ｋｙｂ．ｍｐｇ．ｄｅ／ｆｉｌｅａｄｍｉｎ／ｕｓｅｒ＿ｕｐｌｏａｄ／ｆｉｌｅｓ／ｐｕｂｌｉｃａｔｉｏｎｓ／ａｔｔａｃｈｍｅｎｔｓ／５０＿４４８６％５ｂ０％５ｄ．ｐｄｆで入手できるＫｉｅｎｚｌｅ，Ｗｏｌｆｅ ｅｔ ａｌ．による「Ｈｏｗ ｔｏ ｆｉｎｄ ｉｎｔｅｒｅｓｔｉｎｇ ｌｏｃａｔｉｏｎｓ ｉｎ ｖｉｄｅｏ：ａ ｓｐａｔｉｏｔｅｍｐｏｒａｌ ｉｎｔｅｒｅｓｔ ｐｏｉｎｔ ｄｅｔｅｃｔｏｒ ｌｅａｒｎｅｄ ｆｒｏｍ ｈｕｍａｎ ｅｙｅ ｍｏｖｅｍｅｎｔｓ」に記載される等、当技術分野で既知のアルゴリズムによって予測されてよく、当文献の内容は、参照により本明細書に組み込まれる。可能な注視点情報に基づいて、システムは、幾つかの高解像度エリアをフェッチしてよく、それらをディスプレイに送ってよく、ディスプレイにおいては、表示される最終画像が、視線トラッカによって決定される実際の注視点によって決定される。一般的に、素早い眼の動きは、サッカード現象をまねており、動きが、第１のＲＯＩと次のＲＯＩの間の画像セクションをぼやけさせるので、ＲＯＩの移動後の高解像度エリアの表示間の待ち時間は、あまり重要でないことに注意されたい。

本開示の別の実施形態において、視線追跡システムは、ビデオストリームの１つのセクションからビデオの他のセクションへのＲＯＩの移動の確率を予測してよい。このような予測は、視聴者の注視点の運動速度ベクトルに基づいてよい。システムは、上記のような潜在的注視点情報を使用して、ＲＯＩ位置の予測をさらに精密化してもよい。

［ビデオ符号化］
ビデオ符号化に関する本開示のある態様は、以下の記載を考慮するとより良く理解されよう。制限ではなく例示として、図２Ｃに示すように、１つのデジタルピクチャ２２０（例えば、デジタルビデオフレーム）は、１つまたは複数のセクションに分割されてよい。本明細書で使用される場合、「セクション」という用語は、ピクチャ２２０内の１つまたは複数のルマまたはクロマサンプルのグループを指してよい。セクションは、ピクチャ内の１つのルマまたはクロマサンプルから、ピクチャ全体までの範囲を取り得る。セクションの非制限的な例は、スライス（例えば、マクロブロック行）２２２、マクロブロック２２４、サブマクロブロック２２６、ブロック２２８、及び、個々のピクセル２３０を含む。図２Ｃに示すように、各スライス２２２は、マクロブロック２２４の１つまたは複数の行、または、１つまたは複数のこのような行の一部を含む。一行のマクロブロックの数は、マクロブロックのサイズと、ピクチャ２２０のサイズと解像度とによって決まる。例えば、各マクロブロックが、１６ｘ１６のクロマまたはルマのサンプルを含む場合、各行のマクロブロックの数は、（クロマまたはルマのサンプルで表された）ピクチャ２２０の幅を１６で割ることによって決定されてよい。各マクロブロック２２４は、幾つかのサブマクロブロック２２６に分割されてよい。各サブマクロブロック２２６は、幾つかのブロック２２８に分割されてよく、各ブロックは、幾つかのクロマまたはルマのサンプル２３０を含んでよい。発明の制限ではなく例示として、一般的なビデオ符号化スキームにおいて、各マクロブロック２２４は、４つのサブマクロブロック２２６に分割されてよい。各サブマクロブロックは、４つのブロック２２８に分割されてよく、各ブロックは、１６のクロマまたはルマのサンプル２３０の４ｘ４配置を含んでよい。Ｈ．２６５等、幾つかのコーデックは、符号化に対して、所与のピクチャを異なるサイズの複数のセクションに分割するのを可能にする。詳細には、Ｈ．２６５規格は、ピクチャを分割する「タイル」の概念を導入する。タイルは、何らかの共有ヘッダ情報を用いて符号化されるピクチャの個々に復号可能な領域である。タイルは、さらに、ビデオピクチャの局所的な領域への空間的ランダムアクセスに使用できる。ピクチャの典型的なタイル構成は、各タイルにほぼ等しい数の符号化ユニット（ＣＵ）を有する長方形の領域にピクチャをセグメント化することからなる。符号化ユニットは、Ｈ．２６４規格におけるマクロブロック（ＭＢ）に類似している。しかしながら、ＣＵのサイズは、エンコーダによって設定でき、マクロブロックより大きくてよい。ＣＵのサイズは、柔軟であってよく、ピクチャの最適分割のためにビデオコンテンツに適応可能であってよい。各ピクチャは、フレームでもフィールドでもよいことに注意されたい。フレームは、完全な画像を指す。フィールドは、ある種のディスプレイデバイスへの画像の表示を容易にするための画像の一部である。一般的に、画像内のクロマまたはルマのサンプルは、行で配置される。表示を容易にするために、画像は、２つの異なるフィールドに、交互にピクセル行を配置することによって分割される場合がある。２つのフィールドのクロマまたはルマのサンプルの行は、インタレースされて完全な画像を形成できる。ブラウン管（ＣＲＴ）ディスプレイ等の一部のディスプレイデバイスにとっては、２つのフィールドは、単に、素早く続けて交互に表示されてよい。ディスプレイのピクセルを照らすのに使用される蛍光体または他の発光素子の残光は、残像性と組み合わさって、２つのフィールドが連続した画像として認識される。液晶ディスプレイ等の、一定のディスプレイデバイスにとっては、表示する前に、２つのフィールドをインタレースして、１つのピクチャにすることが必要な場合がある。符号化された画像を表すストリーミングデータは、典型的に、画像がフィールドかフレームかを示す情報を含む。このような情報は、画像のヘッダに含まれてよい。

ＭＰＥＧ２、ＭＰＥＧ４、及び、Ｈ．２６４等の最新のビデオコーダ／デコーダ（コーデック）は、一般的に、イントラフレーム、予測フレーム、及び、双予測フレームとして知られる３つの基本タイプのうちの１つとして、ビデオフレームを符号化する。イントラフレーム、予測フレーム、双予測フレームは、それぞれ、典型的に、Ｉフレーム、Ｐフレーム、Ｂフレームと呼ばれる。

Ｉフレームは、そのフレーム自体を除いていかなるピクチャも参照せずに符号化されるピクチャである。Ｉフレームは、ランダムアクセスに使用され、他のＰフレームまたはＢフレームの復号の参照として使用される。Ｉフレームは、エンコーダによって生成されて（デコーダが、所与のピクチャ位置で最初から適切に復号を開始するのを可能にするための）ランダムアクセスポイントを作成してよい。画像の詳細を区別すると有効なＰフレームまたはＢフレームの生成を妨げる時に、Ｉフレームが生成されてよい。Ｉフレームは、完全なピクチャを含むので、典型的に、ＰフレームまたはＢフレームより符号化により多くのビットを必要とする。シーンの変化が入力ビデオで検出される時、ビデオフレームは、Ｉフレームとして符号化されることが多い。

Ｐフレームは、復号するためには、何枚かの他のピクチャ（複数可）を前もって復号することが必要である。Ｐフレームは、典型的に、復号にＩフレームよりも少ないビットしか必要としない。Ｐフレームは、復号順で前にあるＩフレームに対する差に関する符号化情報を含む。Ｐフレームは、典型的にピクチャ群（ＧｏＰ）の先行するＩフレームを参照する。Ｐフレームは、画像データと動きベクトル変位との両方と、２つの組み合わせとを含んでよい。ある標準的なコーデック（ＭＰＥＧ−２等）においては、Ｐフレームは、復号中、参照として、前に復号されたピクチャを１つだけ使用し、そのピクチャは表示順でもＰフレームに先立つことを必要とする。Ｈ．２６４において、Ｐフレームは、復号中、複数の事前に復号されたピクチャを参照として使用でき、その予測に使用したピクチャ（複数可）に対して任意の表示順関係を有してよい。

Ｂフレームは、復号するために、ＩフレームまたはＰフレームのいずれかをその前に復号することが必要である。Ｐフレーム同様、Ｂフレームは、画像データ及び動きベクトル変位の両方、及び／または、その２つの組み合わせを含んでよい。Ｂフレームは、２つの異なる事前に復号された参照領域を用いて取得された予測を平均化することによって動き領域（例えば、マクロブロックまたはより小さいエリア等のフレームのセグメント）の予測を形成する幾つかの予測モードを含んでよい。一部のコーデック（ＭＰＥＧ−２等）においては、Ｂフレームは、他のピクチャの予測の参照として使用されることはない。結果として、詳細を損失しても、次のピクチャの予測品質に影響を与えないので、（他で使用されるよりも少ないビットを使用することによる）質の低い符号化が、このようなＢピクチャに使用できる。Ｈ．２６４等、他のコーデックにおいては、Ｂフレームは、（エンコーダの裁量で）他のピクチャの復号の参照として使用されてもよく、使用されなくてもよい。一部のコーデック（ＭＰＥＧ−２等）は、復号中、正確に２つの事前に復号されたピクチャを参照として使用し、これらのピクチャのうちの１つは表示順でＢフレームピクチャの前に来る必要があり、他の１つは、後に来る必要がある。Ｈ．２６４等、他のコーデックにおいては、Ｂフレームは、復号中、１つ、２つ、または、３つ以上の事前に復号されたピクチャを参照として使用でき、Ｂフレームの予測に使用されるピクチャ（複数可）に対して任意の表示順関係を有し得る。Ｂフレームは、典型的に、ＩフレームよりもＰフレームよりも符号化に使用するビットが少ない。

本明細書で使用される場合、Ｉフレーム、Ｂフレーム、及び、Ｐフレームという用語は、例えば、ストリーミングビデオの文脈に関して上述したように、Ｉフレーム、Ｂフレーム、及び、Ｐフレームと類似の特性を有する任意のストリーミングデータユニットに適用してよい。

典型的に、Ｐフレーム及びＢフレームには２つの予測モードがあり、一般的にインター予測及びイントラ予測と呼ばれる。インター予測は、符号化されているフレームと異なるフレームの選択に基づく。イントラ予測は、符号化されているフレーム内のセクションに基づく。多くのコーデックは、特定のフレームまたはフレーム内のセクションの符号化にどのモードを使用するかを最終的に判断する前に、両方のモードのビットレート使用量を比較する予測モード決定プロセスを含む。Ｉフレームの符号化は、モーションサーチも予測モード決定も必要としない。

デジタルビデオピクチャを符号化するために、エンコーダは、複数のデジタル画像を受信し、各画像を符号化する。デジタルピクチャの符号化は、セクションごとに進めてよい。各セクションの符号化プロセスは、任意選択で、パディング、画像圧縮、及び、動き補償を伴ってよい。本明細書で使用される場合、画像圧縮は、データ圧縮をデジタル画像に適用することを指す。画像圧縮の目的は、所与の画像のデータを圧縮データという効率的な形態で記憶、送信できるように、その画像の画像データの冗長性を低減することである。

エントロピー符号化は、コード長を信号の確率に一致させるように、コードを信号に割り当てる符号化体系である。典型的に、エントロピーエンコーダを使用して、等しい長さのコードによって表されるシンボルを確率の負の対数に比例するコードによって表されるシンボルで置き換えることによって、データを圧縮する。

ＣＡＢＡＣは、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ規格及び高効率ビデオ符号化（ＨＥＶＣ：Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）規格で使用されるエントロピー符号化の形態である。ＣＡＢＡＣは、ビデオ符号化で使用されるほとんどの他のエントロピー符号化アルゴリズムより非常に良い圧縮を提供することで知られ、Ｈ．２６４／ＡＶＣ符号化スキームにその先行技術より良い圧縮能力を提供する重要な要素の１つである。しかしながら、ＣＡＢＡＣは、復号に多量の処理を必要とし得る算術符号化を使用することに注意されたい。

コンテクスト適応可変長符号化（ＣＡＶＬＣ：Ｃｏｎｔｅｘｔ−ａｄａｐｔｉｖｅ ｖａｒｉａｂｌｅ−ｌｅｎｇｔｈ ｃｏｄｉｎｇ）は、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣビデオ符号化で使用されるエントロピー符号化の形態である。Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣにおいて、残差（ｒｅｓｉｄｕａｌ）ジグザグ順の変換係数ブロックの符号化を使用する。ＣＡＶＬＣは、ＣＡＢＡＣの代替形態である。ＣＡＶＬＣは、テーブル索引方法を使用するので、データをＣＡＢＡＣほど有効には圧縮しないが、必要とする復号処理はＣＡＢＡＣより大幅に少ない。ＣＡＢＡＣは、より良い圧縮効率を提供する傾向がある（ＣＡＶＬＣより約１０％多い圧縮）ので、符号化されたビットストリームの生成に、多くのビデオエンコーダはＣＡＢＡＣを好む。

［映像酔いの低減］
本開示の態様によると、システムは、高解像度ＲＯＩのサイズの低減によって、映像酔いが視聴者に生じる可能性を低減し得る。システムは、心拍、体温、電気皮膚反応、または、心電図（ＥＣＧ）を含むが、これらに限らない当技術分野で既知の手段によって、視聴者が映像酔いをしていることを検出し得る。映像酔いの検出に関するより多くの情報は、ｈｔｔｐ：／／ｓｃｉｔｅｃｉｎ．ｉｓｒ．ｕｃ．ｐｔ／Ｐｒｏｃｅｅｄｉｎｇｓ／Ｐａｐｅｒｓ／ＥＰＣＧＩ／１７．ｐｄｆで入手できるＰａｔｒｏａ，Ｂｒｕｎｏ ｅｔ ａｌ．による「Ｈｏｗ ｔｏ Ｄｅａｌ ｗｉｔｈ Ｍｏｔｉｏｎ Ｓｉｃｋｎｅｓｓ ｉｎ Ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ」に記載されており、参照により、その内容を本明細書に組み込む。本開示の他の実施形態において、システムは、ビデオストリームのデータレートの監視を通して映像酔いが生じる可能性を検出する。ビデオストリームのデータレートは、画面に表示されるデータ量に関連し、よって、高いデータレートは、新しく表示される情報量が多くなるので、映像酔いの可能性が高くなることを示す。

本開示の追加の態様によると、システムは、視聴者のフィードバックも映像酔いの低減に採用してよい。システムの一実施形態においては、視聴者からの触覚応答が、映像酔い低減スキームの開始に採用される。システムは、また、視聴者からの応答を収集してよく、その応答の統計的分析を使用して、ビデオストリーム内の潜在的な映像酔いのモデルを生成してよい。別の実施形態においては、システムは、ユーザが規定した映像酔い閾値を使用してよく、変数、例えば、ビデオストリームデータレート、または、ビデオ内の動きベクトルが閾値を超えると、映像酔い低減スキームが開始される。

映像酔いに関連する反応を検出すると、システムは、表示されたＲＯＩエリアを狭めて、視聴者に表示する高解像度情報の量を減らしてよい。システムは、表示されたエリアのより多くの量の高解像度セクションを低解像度ビデオストリームと融合して、高解像度セクションを小さくし、ＲＯＩの縁部の周囲の段階的に品質が低下するエリアをより大きくしてよい。

［品質の融合と周辺のディミング］
ＲＯＩから画像の残りの部分への画像解像度の急な低下は、視聴者にとって不快となる場合がある。従って、本開示の態様によると、高解像度エリアの縁部は、低解像度エリアと融合されて、両エリア間で品質低下勾配を作成してよい。このような低下勾配は、高解像度から低解像度に線形に移行してもよく、非線形に移行してもよい。例を挙げると、非線形の移行は、関心領域からの距離に対して、高解像度と低解像の間でシグモイド（「Ｓ」形状の）関数の移行であってよい。一般に、任意の滑らかで、正の、「こぶのような形」の関数の積分が、シグモイドである。シグモイド関数の例は、ロジスティック関数、汎用ロジスティック関数を含むが、これらに限らず、シグモイド関数は、通常の逆正接、双曲正接、グーデルマン関数、及び、誤差関数

、相補誤差関数（１−ｅｒｆ（ｘ））、及び、

等の代数関数を含む。
ロジスティック関数は、

の形を有する。
ここで、
ｘ_０＝シグモイドの中点のｘの値、
Ｌ＝曲線の最大値、
ｋ＝曲線の傾き
である。

さらに、システムは、ＲＯＩの縁部の周囲で複数の解像度のビデオストリームを使用して、ディスプレイの高解像度エリアと残りとの間で、品質を滑らかに低下させてよい。

本開示の他の態様においては、ＲＯＩを囲むエリアは、節電と、映画館のような効果を生み出すためにディミングされてよい。ディミング機能は、視聴者が選択する機能であってもよく、または、ビデオストリームに埋め込まれてもよい。

［実施態様］
図４は、本開示の態様による、システム４００を示す。図示のシステム４００は、符号化群４０２と復号群４０１との２つのコンピューティング群からなる。符号化群４０２は、ネットワーク４０３を経由して復号群４０１に結合される。ネットワーク４０３は、例えば、無線ネットワーク、有線ローカルエリアネットワーク接続（ＬＡＮ）、ＵＳＢ接続、シリアル接続、または、当技術分野で既知の他のデバイス接続配線であってよい。符号化群４０１は、色空間補正（ＣＳＣ）４０４、ダウンスケーラ４０５、関心領域（ＲＯＩ）Ｉフレームエンコーダ４０６、及び、スケールされた画像のＡＶＣ／ＨＥＣエンコーダ４０７を含む。デコーダ群は、ＲＯＩ Ｉフレームデコーダ４０９、ＡＶＣ／ＨＥＶデコーダ４１０、アップスケーラ４１１、及び、ビデオストリームブレンダ／ＣＳＣ４１２を含む。さらに、デコーダ群は、ディスプレイデバイスに結合される。視線追跡ユニットは、ディスプレイデバイス４１３に結合されてよく、符号化群４０２のＲＯＩ Ｉフレームエンコーダ４０６に視線追跡情報４１４を送信するように構成される。

符号化群は、符号化されていないビデオデータストリームをスキャンアウトユニット４０８から受信してよい。符号化されていないビデオデータストリームは、ビデオゲームからのビデオデータ、または、本開示のシステム（図示せず）で使用するために再度符号化する前に復号しなければならない符号化されたデータストリームを含んでよい。未変更の最初のビデオストリームは、次に、ＣＳＣ４０４に送られ、ＣＳＣ４０４は、ビデオデータストリームを符号化に適した形式に変換する。例えば、画像の色空間は、ディスプレイにとってより一般的なＲＧＢから、エンコーダにとってより一般的なＹＵＶ色空間に変換されてよい。ＣＳＣ４０４は、次に、最初のビデオストリームをＲＯＩ Ｉフレームエンコーダ４０６とダウンスケーラ４０５とに渡す。

図５Ａは、エンコーダ群のＲＯＩエンコーダ側を示す。ＲＯＩ Ｉフレームエンコーダ４０６は、視線トラッカから受信した視線追跡情報４１４を受信する。本開示の態様によると、ＲＯＩ Ｉフレームエンコーダ４０６は、視線追跡情報４１４を使用して、最初のビデオストリーム内のＲＯＩを決定してよい。ＲＯＩ Ｉフレームエンコーダは、ＲＯＩに配置された最初のビデオストリーム画像のサブセクションのみを符号化する。

ＲＯＩに対応する符号化されたサブセクションの形は、正方形として符号化されてよい、あるいは、形状は、円形、楕円形、長方形、または、他の規則的もしくは不規則な形状であってよい。視聴者の両方の眼に対応するＲＯＩ Ｉフレームエンコーダによって符号化された２つのＲＯＩセクションがあってよい。視線追跡システムは、眼の存在の有無を検出してよく、ＲＯＩ Ｉフレームエンコーダは、眼の存在が無いことを考慮して、符号化するセクションの数を調節してよい。あるいは、ＲＯＩ Ｉフレームエンコーダは、両方の眼に対して、ＲＯＩとして１つの広いセクションを表示するようにロジックを構成してよい。

本開示の態様によると、ＲＯＩを構成する画像のセクションは、視覚半径と突然の眼の動きとの何らかの小さな変化を考慮して、視聴者の実際のＲＯＩより大きくてよい。ＲＯＩを構成する画像のセクションは、任意の適切なサイズ、例えば、幅２０マクロブロック、長さ２０マクロブロックであってよい。ＲＯＩセクションのサイズは、映像酔いを低減するために、ズームインアクション中、小さくされてよく、ズームアウトアクション中、大きくされてよい。前の項に記載したように、符号化されたサブセクションは、ビデオストリームの表示中にも、映像酔いを低減するためにサイズを小さくしてよい。

ＲＯＩ Ｉフレームエンコーダ４０６は、待ち時間とフレームレベルの遅れを低減するために、ＲＯＩのビデオストリームの画像のサブセクションのみをイントラフレーム（Ｉフレーム）として符号化する。ＲＯＩをＩフレームとして符号化することによって、時間のかかる一定の動作、例えば、モーションサーチ及び符号化モード決定を省略し、それによって、待ち時間を減らす。ＲＯＩは、フレームのサイズに比べて比較的小さいので、Ｉフレームを符号化したＲＯＩは、画像全体を含む通常のＩフレームより必要とするビットが少ない。ＲＯＩ Ｉフレームエンコーダは、当技術分野で既知の任意の低損失のエンコーダを使用してよい。この目的に合う低損失エンコーダの例は、Ｘ．２６４、Ｈ．２６４可逆エンコーダであるが、これに制限されない。ＲＯＩの外側のビデオ画像のセクションは、ＲＯＩ Ｉフレームエンコーダによって符号化も送信もする必要が無い。ビデオ画像の低損失の符号化されたサブセクションは、今後、低圧縮セクションと呼ぶ。低圧縮セクションは、低圧縮セクションのフレームヘッダに元のビデオフレーム内の位置を書き込んでよく、それによって、デコーダは後に、フレーム内の正確な位置にＲＯＩを再構築できる。低圧縮サブセクションは、処理されると、ネットワークを通してデコーダ側に送られる。

図５Ｂは、エンコーダ群の高圧縮側を示す。ダウンスケーラ４０５は、最初のビデオフレームをＣＳＣ４０４から受信してよい。ダウンスケーラ４０５は、サイズ低減アルゴリズムをビデオフレームに適用して、ビデオストリームの送信に必要なデータレートと符号化に必要な処理能力とを低減してよい。当業者には既知なように、任意のスケーリングアルゴリズムをこのプロセスに使用してよい。適切なアルゴリズムの例は、双線形補間、三次補間、または、ランチョス（Ｌａｎｃｚｏｓ）再サンプリングであってよいが、これらに限らない。

ＡＶＣ／ＨＥＶエンコーダ４０７は、次に、ダウンスケーリングされたビデオフレームをダウンスケーラ４０５から受信してよい。ダウンスケーリングされたビデオストリームは、次に、非可逆エンコーダを用いて符号化されて、符号化時間及び帯域要件を低減する。本出願に適したエンコーダは、Ｈ．２６４／ＡＶＣまたはＨ．２６５／ＨＥＶＣであってよいが、これらに限らない。符号化されると、今後「高圧縮ビデオフレーム」と呼ぶビデオフレームが、ネットワークを介してデコーダ側に送られる。

図６Ａは、デコーダ群のＩフレームデコーダ側を示す。Ｉフレームデコーダ４０９は、Ｉフレームエンコーダから低圧縮セクションデータをネットワークを介して受信する。低圧縮セクションデータは、次に、Ｉフレームデコーダ４０９によって復号され、復号されたセクションは、ブレンダ／ＣＳＣ４１２に送られる。ＦＦｍｐｅｇを含むが、これに限らない既知の低損失デコーダが、本開示の出願に適する。

図６Ｂは、デコーダ群の高圧縮側を示す。本開示の態様によると、ＡＶＣ／ＨＥＶＣデコーダ４１０は、高圧縮ビデオをエンコーダ群からネットワークを介して受信する。高圧縮ビデオストリームは、適切なデコーダを用いて復号され、アップスケーラ４１１に送られる。

アップスケーラ４１１は、ダウンスケーリングされたビデオストリームをＡＶＣ／ＨＥＶＣデコーダ４１０から受信する。次に、ダウンスケーリングされたビデオストリームは、エンコーダ群で適用されたアルゴリズムに一致する適切なアップスケーリングアルゴリズムを用いてアップスケーリングされる。アップスケーリングされたビデオストリームは、次に、ブレンダ／ＣＳＣ４１２に送られる。

ブレンダ／ＣＳＣ４１２は、ビデオストリームをアップスケーラ４１１から受信し、サブセクションストリームをＩフレームデコーダ４０９から受信する。本開示の態様によると、ブレンダ／ＣＳＣ４１２は、サブセクションストリームのフレームヘッダを読み取って、サブセクションを配置するビデオストリーム内の位置を決定してよい。あるいは、ブレンダ／ＣＳＣは、ＲＯＩ Ｉフレームエンコーダと同期されて、視線追跡データ４１４を使用して、サブセクションストリーム（図示せず）を配置する位置を決定してよい。本開示の追加の態様によると、ブレンダ／ＣＳＣ４１２は、別個の有線または無線の送信（図示せず）等、他のチャネルを介してサブセクションストリームの位置を受信してよい。

サブセクションストリームは、ブレンダ／ＣＳＣ４１２でビデオストリームと融合されてよい。融合は、マスクをサブセクションストリームとビデオストリームとに適用することによって達成されてよい。マスクは、サブセクションストリームとビデオストリームとの画像のピクセル値に重みを設定する。マスクは、高解像度サブセクションストリームと低解像度ビデオストリームの間に線形の解像度低下勾配を規定してよい。本開示の別の態様によると、マスクは、非線形の解像度低下勾配を規定してよい。ブレンダ／ＣＳＣ４１２は、次に、適切な位置でビデオストリームの上にサブセクションストリームを重ね合わせることと、高解像度画像と低解像度画像とがピクセル値の重みに従って融合されるように設定したピクセル値を画像に適用することによって、サブセクションストリームとビデオストリームとを組み合わせる。

画像に適用されたマスクは、表示されたＲＯＩサブセクションの形状を決定してよい。従って、表示されたＲＯＩサブセクションのサイズと形状は、ブレンダ／ＣＳＣ４１２において様々であってよい。ＲＯＩのサイズと形状は、ロジックでは固定であっても変化してもよい。ブレンダ／ＣＳＣ４１２は、ＲＯＩの形状をＲＯＩ Ｉフレームエンコーダから取ってよく、さらに、ＲＯＩの縁部を精密化してよい。また、マスクを用いて、周辺のディミングを実施するようにビデオストリームのピクセル値を規定してよい。

ブレンダ／ＣＳＣ４１２は、複数の潜在的ＲＯＩサブセクションを有するサブセクションストリームも取り上げてよく、視聴者の正確なＲＯＩを視線追跡データから決定してよい。従って、ブレンダ／ＣＳＣ４１２は、正確なＲＯＩサブセクションを隠さずに、潜在的ＲＯＩサブセクションを隠すマスクを潜在的ＲＯＩサブセクションに適用する。

代替実施形態においては、１つのマスクが、ブレンダ／ＣＳＣ４１２でＲＯＩサブセクションストリームに適用され、ＲＯＩサブセクションストリームは、次に、ＲＯＩサブセクションストリームに適用されるピクセルの重みに従って、ミキシングと共にビデオストリームの上に重ねられる。このミキシングスキームは、ＲＯＩ Ｉフレームエンコーダで適用されてもよい。このような実施形態においては、マスクピクセル値は、ＲＯＩ Ｉフレームエンコーダで、次に、ブレンダ／ＣＳＣ４１２で適用され、ＲＯＩサブセクションストリームは、これらのマスクピクセル値に従ってビデオストリームと融合される。

本開示の追加の態様によると、ブレンダ／ＣＳＣ４１２は、映像酔い反応に基づいて、マスクのサイズまたは形状を変えることによって、上記のように映像酔い低減スキームを実施してよい。ブレンダ／ＣＳＣ４１２は、映像酔い低減スキームの一部として、解像度勾配も変えてよい。

図７は、本開示の態様によるマスクされたフォービエイテッドビデオを表す。フォービエイテッド表示は、視聴者中心の注視点またはＲＯＩ７０３の周囲に１つまたは複数の高解像度サブセクション７０１を有してよい。システムは、高解像度の縁部７０２の周囲にマスクを適用して、高解像度サブセクション７０１と低解像度の背景７００の間に解像度低下勾配を達成してよい。システムは、視線追跡データを使用して、ＲＯＩの移動ベクトル７０４を予測してよい。他の実施形態においては、マスクされたセクション７０２のエリアは、映像酔い反応に応答して、拡大されてよい。あるいは、符号化された高解像度エリア７０５を映像酔い反応に応じて低減してよい。

図８は、映像酔い低減スキームのブロック図を示す。映像酔い低減スキーム８００は、図４のフォービエイテッド表示システムのエンコーダ側４０２またはデコーダ側４０１のいずれかで実行してよい。フォービエイテッドビデオの視聴者は、動きの閾値レベル８０４を設定してよく、その閾値レベルを超えると視聴者は映像酔いする。あるいは、閾値レベル８０４は、視聴者からの平均的な映像酔い反応によって、または、経験的に決定された映像酔いによる生理学的反応から決定されてよい。システムは、ビデオストリームまたはセンサデータ内の変数を連続的に測定して、反応が設定閾値レベルを超えたか否かを決定する（８０２）。監視は、図３に示すアイトラッキングディスプレイデバイス３０１またはコンピューティングデバイス３６０のいずれかで行われてよい。本開示の追加の態様によると、閾値は、視聴者によって手動でトリガされてよい。映像酔い閾値を超えたとデバイスが判断する場合、システムは、表示する高解像度エリア７０１を低減するようにＲＯＩ Ｉフレームエンコーダ４０６またはブレンダ／ＣＳＣ４１２のいずれかに通知してよい（８０１）。

［他の表示実施態様］
ヘッドマウントディスプレイ（ＨＭＤ）への適用について本明細書に例を記載したが、本開示の態様は、このような実施態様に限られない。ＨＭＤの実施態様は、ユーザの眼とディスプレイ画面との相対的位置が、おおよそ固定しているので、比較的簡単な実施態様を表す。しかしながら、原理上、開示されたシステム及び方法は視線追跡と協働し得る任意の画像表示システムに適応されてよい。視線追跡システムは、ディスプレイ画面に対するユーザの頭部及び眼（複数可）の位置及び向きを、位置及び向きが固定されていない実施態様で追跡するように変更されてよい。

図９Ａ〜図９Ｈは、本開示の態様と共に、顔の向きと視線方向とを使用する例を示す。図９Ａに示すように、ユーザの顔９２０が、ユーザに関して訓練されたカメラを用いて取得された画像９２２Ａに出現してよい。このようなカメラは、ラップトップコンピュータ、スマートフォン、及び、タブレットコンピュータ等のデバイスの共通の特徴である。画像分析ソフトウェアが、顔９２０の基準点を識別してよい。ソフトウェアは、例えば、顔９２０に対してほぼ固定している、口角９２４Ｍ、鼻梁９２４Ｎ、髪の一部９２４Ｈ、眉毛の上９２４Ｅにある、一定の基準点を特徴づけてよい。ソフトウェアは、また、ユーザの瞳孔９２６及び眼尻９２８を基準点として識別してよく、眼尻に対する瞳孔の位置を決定してよい。一部の実施態様においては、ユーザの眼の中心は、瞳孔９２６及び眼尻９２８の位置から推定できる。次に、眼の中心が推定できると、瞳孔の位置を、推定された中心の位置と比較できる。一部の実施態様においては、顔の対称性の特性を使用できる。

ソフトウェアは、基準点と瞳孔９２６との相対的位置の分析から、ユーザの顔の特性、例えば、頭部を傾ける角度及び凝視角を判断できる。例えば、ソフトウェアは、ユーザがまっすぐにカメラを見るようにして基準点９２４Ｅ、９２４Ｈ、９２４Ｍ、９２４Ｎ、９２８を初期化してよく、基準点と瞳孔９２６の位置を初期値として登録してよい。ソフトウェアは、次に、これらの初期値に対して、頭の傾き及び凝視角をゼロに初期化できる。その後、図９Ａ、及び、図９Ｂの対応する上面図のように、ユーザがカメラを真っ直ぐ見る時はいつでも、基準点９２４Ｅ、９２４Ｈ、９２４Ｍ、９２４Ｎ、９２８と瞳孔９２６とは、初期値、または、初期値に近くなるはずである。

制限ではなく例示として、ユーザの頭部姿勢は、５つの基準点である、両目の眼尻９２８、口角９２４Ｍ、鼻先（図示せず）を用いて推定し得る。顔の対称軸は、両目の間の中点（例えば、両方の眼尻９２８間の真ん中）と、口の中点（例えば、口角９２４Ｍ間の真ん中）の線をつなぐことで得られてよい。顔の方向は、鼻の３Ｄの角度から弱透視幾何学（ｗｅａｋ ｐｅｒｓｐｅｃｔｉｖｅ ｇｅｏｍｅｔｒｙ）で決定し得る。あるいは、同じ５つの点を使用して、平面への法線から頭部姿勢を決定でき、頭部姿勢は、平面の非対称性と鼻の位置の粗推定から取得し得る。頭部姿勢推定のさらなる詳細は、例えば、ＩＥＥＥ ＴＲＡＮＳＡＣＴＩＯＮＳ ＯＮ ＰＡＴＴＥＲＮ ＡＮＡＬＹＳＩＳ ＡＮＤ ＭＡＣＨＩＮＥ ＩＮＴＥＬＬＩＧＥＮＣＥ．Ｖｏｌ．３１，Ｎｏ．４、２００９年４月、６０７〜６２６ページのＥｒｉｋ Ｍｕｒｐｈｙによる「Ｈｅａｄ Ｐｏｓｅ Ｅｓｔｉｍａｔｉｏｎ ｉｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ：Ａ Ｓｕｒｖｅｙ」に記載されており、参照により、その内容を本明細書に組み込む。本発明の実施形態と共に使用できる頭部姿勢推定の他の例は、Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ．Ｖｏｌ．３３（２０００年７月７日）１７８３〜１７９１ページのＡｔｈａｎａｓｉｏｓ Ｎｉｋｏｌａｉｄｉｓによる「Ｆａｃｉａｌ ｆｅａｔｕｒｅ ｅｘｔｒａｃｔｉｏｎ ａｎｄ ｐｏｓｅ ｄｅｔｅｒｍｉｎａｔｉｏｎ」に記載されており、参照により、その内容全体を本明細書に組み込む。本発明の実施形態と共に使用できる頭部姿勢推定の追加の例は、ＦＧ'００ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｆｏｕｒｔｈ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｕｔｏｍａｔｉｃ Ｆａｃｅ ａｎｄ Ｇｅｓｔｕｒｅ Ｒｅｃｏｇｎｉｔｉｏｎ．２０００年、４９９〜５０５ページのＹｏｓｈｉｏ Ｍａｔｓｕｍｏｔｏ及びＡｌｅｘａｎｄｅｒ Ｚｅｌｉｎｓｋｙによる「Ａｎ Ａｌｇｏｒｉｔｈｍ ｆｏｒ Ｒｅａｌ−ｔｉｍｅ Ｓｔｅｒｅｏ Ｖｉｓｉｏｎ Ｉｍｐｌｅｍｅｎｔａｔｉｏｎ ｏｆ Ｈｅａｄ Ｐｏｓｅ ａｎｄ Ｇａｚｅ Ｄｉｒｅｃｔｉｏｎ Ｍｅａｓｕｒｅｍｅｎｔ」に記載され、参照により、その内容全体を本明細書に組み込む。本発明の実施形態と共に使用できる頭部姿勢推定のさらなる例は、Ｉｍａｇｅ ａｎｄ Ｖｉｓｉｏｎ Ｃｏｍｐｕｔｉｎｇ．Ｖｏｌ．２０，Ｉｓｓｕｅ ７、２００２年２月２０日、４９９〜５１１ページ、Ｑｉａｎｇ Ｊｉ及びＲｕｏｎｇ Ｈｕによる「３Ｄ Ｆａｃｅ Ｐｏｓｅ Ｅｓｔｉｍａｔｉｏｎ ｆｒｏｍ ａ Ｍｏｎｏｃｕｌａｒ Ｃａｍｅｒａ」に記載されており、参照により、その内容全体を本明細書に組み込む。

ユーザが頭部を傾けると、画像の基準点間の相対的距離が、傾斜角度に応じて変化し得る。例えば、ユーザが、垂直軸Ｚを中心に頭部を左右に回転させる場合、図９Ｃに示す画像９２２Ｃに示すように、眼尻９２８間の水平距離ｘ１は減少し得る。使用している特定の頭部姿勢推定アルゴリズムに応じて、他の基準点も検出に役立ち得る、または、検出が容易である。距離の量的変化は、図１Ｅの対応する上面図に示すように、回転角度θ_Ηに相関できる。回転が純粋にＺ軸を中心にするものである場合、例えば、鼻梁９２４Ｎの基準点と口角９２４Ｍの基準点の間の垂直距離Ｙ１は、大きく変わらないと予測されることに注意されたい。しかしながら、ユーザが頭部を上下に傾けるならば、この距離ｙ１は当然変わると予測される。視線方向推定のために、眼尻９２８に対する瞳孔９２６の位置を決定する時、ソフトウェアは、頭部の回転角度θ_Ηを考慮してよいことにさらに注意されたい。あるいは、ソフトウェアは、頭部の回転角度θ_Ηを決定する時、眼尻９２８に対する瞳孔９２６の位置を考慮してよい。このような実施態様は、例えば、ハンドヘルドデバイスの赤外光源を用いると、瞳孔の位置が比較的容易に突き止められ、視線予測が容易になり、有利である。図９Ｃ及び図９Ｄに示す例においては、ユーザの凝視角θ_Ｅは、おおよそユーザの頭部の傾斜角度と整列している。しかしながら、ユーザの頭部の回転と、眼球の形状の三次元の性質とのために、瞳孔９２６の位置は、最初の画像９２２Ａにおける位置と比較して、画像９２２Ｄにおいては、少しシフトして見える。

ある状況においては、ユーザは、カメラの方を向いていてよいが、ユーザの視線は、例えば、図９Ｅと、図９Ｆの対応する上面図とに示すように、他の方向を向いている。この例において、ユーザの頭部の傾斜角度θ_Ηはゼロであるが、凝視角θ_Ｅはゼロではない。代わりに、ユーザの眼球が、図９Ｆに示すように反時計回りに回転している。結果として、基準点９２４Ｅ、９２４Ｈ、９２４Ｍ、９２４Ｎ、９２８は、図９Ａのように配置されるが、瞳孔１２６は、画像９２２Ｅにおいて左にシフトしている。

ユーザの頭部が一方向に回転してよく、ユーザの眼球が他の方向に回転してよいことに注意されたい。例えば、図９Ｈ及び図９Ｉに示すように、ユーザ１０１は、頭部を時計回りに回転してよく、眼球を反時計回りに回転してよい。結果として、基準点９２４Ｅ、９２４Ｈ、９２４Ｍ、９２４Ｎ、９２８は、図９Ｄのようにシフトするが、瞳孔９２６は、図９Ｇに示す画像９２２Ｇにおいて、右にシフトする。視線追跡システム１００は、図１Ａ及び図１Ｂに示すように、ユーザの眼Ｅの視線方向ＧＤを決定する時に、この構成または上記構成のいずれかを考慮してよい。

上記説明から分かるように、カメラだけを用いて、一定のユーザの顔の向き特性を追跡することが可能である。しかしながら、顔の向き特性追跡設定の多くの代替の形態も使用できる。図１０Ａ〜図１０Ｅは、本発明の実施形態によって実施し得る他の可能なシステムの中で、５つの顔の向き特性追跡システムの例を示す。

図１０Ａにおいて、ユーザ１００１は、カメラ１００５と赤外光センサ１００７の方を向いており、カメラ１００５と赤外光センサ１００７は、視覚的ディスプレイ１００３の上部に取り付けられている。ユーザの頭部の傾斜角度を追跡するために、カメラ１００５は、オブジェクトセグメンテーションを行う（すなわち、ユーザの個々の体の部分を追跡する）ように構成されてよく、次に、ユーザの頭部の傾斜角度を取得した情報から推定するように構成されてよい。カメラ１００５及び赤外光センサ１００７は、上記のように構成されてよいソフトウェア１０１３を実行しているプロセッサ１０１３に結合される。制限ではなく例示として、オブジェクトセグメンテーションは、動きモデルを使用して、オブジェクトの異なる可能な動きに従って標的の画像がどのように変化し得るかを記載することによって達成されてよい。本発明の実施形態は、複数のカメラを使用してよく、例えば、ある実施態様は、２つのカメラを使用してよいことに注意されたい。一つのカメラは、ユーザの位置を突き止めるための視野のズームアウトされた画像を提供でき、第２のカメラは、ユーザの顔にズームイン及びフォーカスして、より良い頭部及び視線方向推定のためにクローズアップ画像を提供できる。

ユーザの視線方向も、この設定を用いて獲得されてよい。制限ではなく例示として、赤外光は、最初、赤外光センサ１００７からユーザの眼の方に向けられてよく、反射がカメラ１００５によって撮影されてよい。反射赤外光から抽出した情報により、カメラ１００５に結合されたプロセッサは、ユーザの眼の回転量を決定できる。ビデオベースのアイトラッカは、典型的には、角膜反射と瞳孔の中心を経時的に追跡する特徴として使用する。

従って、図１０Ａは、本発明の実施形態による、ユーザの頭部の傾斜角度と視線方向との両方を追跡するように構成された顔の向き特性追跡設定を示す。例示の目的で、ユーザはディスプレイ及びカメラから真っ直ぐの所にいると仮定したことに注意されたい。しかしながら、発明の実施形態は、ユーザがディスプレイ１００３及び／またはカメラ１００５から真っ直ぐの所にいない場合でも実施できる。例えば、ユーザ１００１は、ディスプレイから右／左に＋４５°または−４５°の所にいてよい。ユーザ１００１がカメラ２０５の視野内にいる限り、頭部の角度θ_Ηと凝視角θ_Εは推定できる。次に、正規化された角度が、ディスプレイ１００３及び／またはカメラ１００５に対するユーザ１００１の位置（例えば、図１０Ａに示す体の角度θ_Β）、頭部の角度θ_Ｈ及び凝視角θ_Εの関数として計算できる。制限ではなく例示として、ユーザ１００１が体の角度θ_Βが＋４５°であるように位置し、且つ、頭部が−４５°の角度θ_Ｈで回転する場合、ユーザ１００１は、頭部を回転させることによって、ディスプレイ１００３からの身体のずれを調整しており、これは、人がディスプレイを真っ直ぐ見ているのとほぼ等しい。詳細には、例えば、ユーザの凝視角θ_Εがゼロ（すなわち、ユーザの瞳孔が中心にある）場合、正規化された角度（例えば、θ_Β＋θ_Η＋θ_Ε）はゼロである。

図１０Ｂは、別の顔の向き特性追跡設定を提供する。図１０Ｂにおいて、ユーザ１００１は、視覚的ディスプレイ１００３の上部に取り付けられたカメラ１００５の方を向いている。同時に、ユーザ１００１は、一対の間隔を置いた赤外線（ＩＲ）光源１０１１（例えば、眼鏡１００９の各レンズ上に１つのＩＲ ＬＥＤ）を有する眼鏡１００９（例えば、３Ｄシャッターメガネ）をかけている。カメラ１００５は、光源１０１１が発する赤外光を撮影するように構成されてよく、次に、ユーザの頭部の傾斜角度を取得した情報から三角法で測るように構成されてよい。光源１０１１の位置は、ユーザの顔のその位置に対して大きく変わらないので、この設定は、ユーザの頭部の傾斜角度の比較的正確な推定を提供する。

眼鏡１００９は、さらに、カメラ１０１０も含んでよく、カメラ１０１０は、画像をプロセッサ１０１３に提供でき、プロセッサ１０１３は、ソフトウェア１０１２と共に使用されて、視覚的ディスプレイ１００３の位置を見つけることができる、または、視覚的ディスプレイ２０３のサイズを推定することができる。制限ではなく例示として、視覚的ディスプレイは、既知の垂直方向及び水平方向の画面寸法を有する既知の種類であってよい。画面に対して既知のサイズのテスト画像を表示してよい。テスト画像の画像は、カメラによって取得されてよく、分析されて、カメラ１０１０が取得した画像のテスト画像の向き及び寸法を決定してよい。この情報を集めることによって、システムがユーザの顔の向き特性データを正規化するのを可能にし、それによって、これらの特性の計算は、ディスプレイ１００３及びユーザ１００１の両方の絶対位置とは無関係になる。さらに、カメラを追加すると、システムがより正確に可視範囲を推定するのが可能になる。従って、図２Ｂは、本開示の態様による、ユーザの頭部の傾斜角度を決定する代替設定を示す。ある実施形態においては、例えば、上記のように、眼の中心または眼尻に対する瞳孔の相対的位置を示す眼の画像を取得することによって視線追跡を容易にするために、別個のカメラが、眼鏡１００９の各レンズにユーザの眼の方に向けて取り付けられてよい。ユーザの眼に対する眼鏡１００９の相対的に固定された位置は、ユーザの頭部の向きθ_Ηの追跡に関係なく、ユーザの凝視角θ_Εの追跡を容易にする。

図１０Ｃは、第３の顔の向き特性追跡設定を提供する。図１０Ｃにおいて、ユーザ１００１は、視覚的ディスプレイ１００３の上部に取り付けられたカメラ１００５の方を向いている。ユーザは、ユーザ１００１と視覚的ディスプレイ１００３のコンテンツとの間のインタラクションを容易にするように構成された１つまたは複数のカメラ１０１７（例えば、各側に１つ）を有するコントローラ１０１５も手に持っている。

カメラ１０１７からの画像を分析して、上記例においてのように、例えば、表示されたテスト画像を用いて、視覚的ディスプレイ１００３の位置を決定してよい、または、視覚的ディスプレイ１００３のサイズを推定してよい。この情報を収集することによって、システムが、ユーザの顔の向き特性データを正規化するのを可能にし、それによって、これらの特性の計算は、ディスプレイ１００３及びユーザ１００１の両方の絶対位置に無関係になる。さらに、カメラ１０１７をコントローラ１０１５に追加することによって、システムが可視範囲をより正確に推定するのが可能になる。

システムをディスプレイのサイズ及び位置と無関係にしながら、ユーザの頭部の傾斜角度の追跡に加えて、ユーザの視線方向を追跡するために、図１０Ｃの設定を、図１０Ａの設定（図１０Ｃには図示せず）とさらに組み合わせてよいことに注意することは重要である。ユーザの眼は、この設定で妨害されないので、ユーザ視線方向は、赤外光反射と上記捕捉プロセスを通して取得されてよい。

図１０Ｄは、さらに別の代替の顔の向き特性追跡設定を提供する。図１０Ｄにおいて、ユーザ１００１は、視覚的ディスプレイ１００３の上部に取り付けられたカメラ１００５の方を向いている。ユーザ１００１は、赤外光源１０２１（例えば、各接眼レンズ上に１つ）とマイクロフォン１０２３とを有するヘッドセット１０１９も着用しており、ヘッドセット１０１９は、ユーザ１００１と視覚的ディスプレイ１００３上のコンテンツとのインタラクションを容易にするように構成される。図１０Ｂの設定同様、カメラ１００５は、ヘッドセット１０１９の光源１０２１から発する赤外光の画像を撮影してよく、ユーザの頭部の傾斜角度は、取得した画像の分析から三角法で測定されてよい。ヘッドセット１０１９の位置は、ユーザの顔上のヘッドセットの位置に対して大きく変わらないので、この設定は、ユーザの頭部の傾斜角度の相対的に正確な推定を提供できる。

赤外光センサ１０２１を用いたユーザの頭部の傾斜角度の追跡に加えて、特定の標的に対するユーザの頭部の位置も、ヘッドセット１０１９の一部ではない別個のマイクロフォンアレイ１０２７によって追跡されてよい。マイクロフォンアレイ１０２７は、例えば、プロセッサ１０１３上で実行する適切に構成されたソフトウェア１０１２を用いて、ユーザの発話の大きさ及び向きの決定を容易にするように構成されてよい。このような方法の例は、例えば、同一出願人による米国特許７，７８３，０６１号、同一出願人による米国特許７，８０９，１４５号、及び、同一出願人による米国特許出願公開番号第２００６／０２３９４７１号に記載されており、それら３文献全ての内容全体は、参照により本明細書に組み込まれる。

サーモグラフィ情報を用いたユーザの発話の方向追跡の詳細な説明は、Ｒｕｘｉｎ Ｃｈｅｎ及びＳｔｅｖｅｎ Ｏｓｍａｎによる２０１０年９月２３日出願の米国特許出願番号第１２／８８９，３４７号「ＢＬＯＷ ＴＲＡＣＫＩＮＧ ＵＳＥＲ ＩＮＴＥＲＦＡＣＥ ＳＹＳＴＥＭ ＡＮＤ ＭＥＴＨＯＤ」（代理人整理番号第ＳＣＥＡ１００４２ＵＳ００−１号）に記載されており、その内容は、参照により本明細書に組み込まれる。制限ではなく例示として、ユーザの発話の向きは、発話中のユーザの声の音に対応するユーザの口の周囲の空気の振動パターンを検出する熱画像カメラを用いて決定できる。振動パターンの時間発展を分析して、ユーザの発話の一般化された方向に対応するベクトルを決定できる。

カメラ１００５に対するマイクロフォンアレイ１０２７の位置と、マイクロフォンアレイ１０２７に対するユーザの発話の方向との両方を用いて、特定の標的（例えば、ディスプレイ）に対するユーザの頭部の位置を計算してよい。ユーザの頭部の傾斜角度をより正確に定めるために、頭部傾斜角度の決定に赤外線反射と方向追跡方法とを組み合わせてよい。代替実施形態は、上記図１Ａに関して記載したように、慣性センサ１０２７をさらに含んでよい。

ヘッドセット１０１９は、さらに、視覚的ディスプレイ１００３の画像を取得するように構成されたカメラ１０２５を含んでよく、画像が分析されて、ディスプレイの位置を見つけてよい、及び／または、視覚的ディスプレイ１００３のサイズを推定してよい。この情報を収集することは、ユーザの顔の向き特性データを正規化することを可能にし、それによって、これらの特性の計算は、ディスプレイ１００３とユーザ１００１の両方の絶対位置とは無関係になる。さらに、カメラの追加は、システムが、可視範囲をより正確に推定することを可能にする。ある実施形態においては、１つまたは複数のカメラ１０２５は、例えば、上記のように、眼の中心または眼尻に対する瞳孔の相対的位置を示す眼の画像を取得することによって視線追跡を容易にするようにユーザの眼の方向を向くようにヘッドセット１０１９に取り付けられてよい。ヘッドセット１０１９（よって、カメラ（複数可）１０２５）のユーザの眼に対する相対的に固定された位置は、ユーザの頭部の向きθ_Ηの追跡とは関係無く、ユーザの凝視角θ_Εの追跡を容易にする。

図１０Ｄの設定は、ユーザの頭部の傾斜角度の追跡に加えて、ユーザの視線方向を追跡するために、図１０Ａの設定（図１０Ｄには図示せず）と組み合わされてよいことに注意することは重要である。ユーザの眼は、この設定で妨害されないので、ユーザの視線方向は、上記赤外光反射と撮影プロセスを通して取得されてよい。

本発明の実施形態は、特に、セルフォン、タブレットコンピュータ、パーソナルデジタルアシスタント、ポータブルインターネットデバイス、または、ポータブルゲームデバイス等、ハンドヘルドデバイスでも実施できる。図１０Ｅは、ハンドヘルドデバイス１０３０の文脈で、視線方向を決定する１つの可能な例を示す。デバイス１０３０は、一般的に、例えば、上記のように、適切なソフトウェアを用いてプログラムできるプロセッサ１０３９を含む。デバイス１０３０は、プロセッサ１０３９に結合されたディスプレイ画面１０３１及びカメラ１０３５を含んでよい。１つまたは複数のマイクロフォン１０３３及び制御スイッチ１０３７も、任意選択でプロセッサ１０３９に結合されてよい。マイクロフォン１０３３は、マイクロフォンアレイの一部であってよい。制御スイッチ１０３７は、特定の種類のハンドヘルドデバイスと共に通常用いられる種類のいずれかであってよい。例えば、デバイス１０３０がセルフォンの場合、制御スイッチ２３７は、このようなデバイスで通常、使用されるテンキーパッドもしくは英数字キーパッド、タッチスクリーン、または、タッチパッドを含んでよい。あるいは、デバイス１０３０がポータブルゲームユニットである場合、制御スイッチ１０３７は、デジタルもしくはアナログのジョイスティック、デジタル制御スイッチ、トリガ等を含んでよい。ある実施形態においては、ディスプレイ画面１０３１は、タッチスクリーンインタフェースであってよく、制御スイッチ１０３７の機能は、適切なソフトウェア、ハードウェア、または、ファームウェアと共に、タッチスクリーンによって実施されてよい。カメラ１０３５は、ユーザがディスプレイ画面１０３１を見ている時、ユーザ１００１の方を向くように構成されてよい。プロセッサ１０３９は、頭部姿勢追跡及び／または視線追跡を実施するソフトウェアを用いてプログラムされてよい。プロセッサは、例えば、上記のように、頭部姿勢追跡及び／または視線追跡の情報を利用するようにさらに構成されてよい。

ディスプレイ画面１０３１、マイクロフォン（複数可）１０３３、カメラ１０３５、制御スイッチ１０３７、及び、プロセッサ１０３９は、ユーザの片手または両手で容易に持つことができるケースに取り付けられてよいことに注意されたい。ある実施形態においては、デバイス１０３０は、専用眼鏡と共に動作してよく、専用眼鏡は、図１０Ｂに示し、前述した眼鏡１００９と共通する特徴を有してよい。このような眼鏡は、無線または有線接続、例えば、ブルートゥース（登録商標）ネットワーク接続等のパーソナルエリアネットワーク接続を通してプロセッサと通信してよい。ある実施形態においては、デバイス１０３０は、ヘッドセットと共に使用されてよく、ヘッドセットは、図１０Ｄに示し、前述したヘッドセット１０１９と共通の特徴を有し得る。このようなヘッドセットは、無線または有線接続、例えば、ブルートゥース（登録商標）ネットワーク接続等のパーソナルエリアネットワーク接続を通してプロセッサと通信してよい。デバイス１０３０は、無線ネットワーク接続を容易にする適切なアンテナ及び送受信装置を含んでよい。

図１０Ａ〜図１０Ｅに記載の例は、本開示の態様による、ユーザの顔の向き特性の追跡に使用し得る多くの設定のうちの数個の例に過ぎないことに注意されたい。同様に、前述の頭部傾斜角度と視線方向とに追加して、様々な体及び他の顔の向き特性を追跡して、ディスプレイにレンダリングされる関心領域の調節を容易にしてよい。

［追加の態様］
本開示の態様は、コンピュータ実行可能命令が埋め込まれた非一時的コンピュータ可読媒体も含み、コンピュータ実行可能命令は、実行されると、例えば、図１Ａ、図３、図４、図５Ａ〜図５Ｂ、図６Ａ〜図６Ｃ、及び、図８に関して上述したように、上記態様によるビデオ処理を実施する。適切なコンピュータ可読媒体の例は、ＲＡＭ、ＲＯＭ、ハードディスク、フラッシュドライブ、ＳＤＲＡＭ、ＣＤ−ＲＯＭ、Ｂｌｕ−Ｒａｙ（登録商標）、磁気テープ、及び、フロッピー（登録商標）ディスクを含むが、これらに限らない。

［結論］
本開示の態様は、赤外光源を使用するアイトラッキングデバイスに関して記載したことに注意されたい。しかしながら、他の実施態様も可能なことを理解されよう。例えば、本開示の実施態様において、紫外光等、他の不可視光源も可能である。さらに例を挙げると、本開示の実施態様において、ユーザの注意をそらさないために、不可視光源の使用が望ましいが、眼を照らすために可視光源も使用されてよい。

本発明の好ましい実施形態を上記に完全に記載したが、様々な代替形態、修正形態、及び、同等の形態を使用することが可能である。よって、本発明の範囲は、上記記載を参照して決定すべきではなく、請求項と、請求項と同等の全範囲を参照して決定すべきである。本明細書に記載のいかなる特徴も、好ましい、好ましくないに関わらず、本明細書に記載の任意の他の特徴と、好ましい、好ましくないに関わらず、組み合わされてよい。以下の請求項において、不定冠詞「ａ」または「ａｎ」は、別段の記載の無い限り、その冠詞に続く品目の１つまたは複数の量を指す、ミーンズプラスファンクション限定が、「ｍｅａｎｓ ｆｏｒ」という語句を使用して請求項に明示されていない限り、請求項は、ミーンズプラスファンクション限定を含むと解釈されるべきではない。

Claims (36)

1. ａ）１つまたは複数の関心領域に対応するビデオフレームの１つまたは複数のセクションを低圧縮エンコーダを用いて圧縮して、低圧縮セクションデータを生成することであって、前記低圧縮エンコーダは、モーションサーチまたは予測モード決定をすることなく、前記１つまたは複数の関心領域に対応する前記ビデオフレームの前記１つまたは複数のセクションを符号化する、前記低圧縮セクションデータを生成することと、
   ｂ）前記ビデオフレームをダウンスケーリングし、結果として生じるダウンスケーリングされたビデオフレームを高圧縮エンコーダを用いて圧縮して、高圧縮フレームデータを生成することであって、前記高圧縮エンコーダを用いた前記圧縮は、予測モード決定を含む、前記高圧縮フレームデータを生成することと、
   を含む、方法。
2. ａ）は、前記１つまたは複数の関心領域に前記対応する前記１つまたは複数のセクションの縁部にマスクを適用して、解像度低下の勾配を生成することをさらに含む、請求項１に記載の方法。
3. 前記マスクを適用することは、解像度低下の線形勾配を生成する、請求項２に記載の方法。
4. 前記マスクを適用することは、解像度低下の非線形勾配を生成する、請求項２に記載の方法。
5. 前記１つまたは複数の関心領域に対応する前記ビデオフレームの１つまたは複数のサブセクションを圧縮することは、映像酔いに関連する情報に応答して、前記１つまたは複数の関心領域のサイズを調節することを含む、請求項１に記載の方法。
6. 前記映像酔いに関連する反応は、運動視閾値である、請求項５に記載の方法。
7. 前記映像酔いに関連する反応は、１つまたは複数のセンサによって検出される、請求項５に記載の方法。
8. プロセッサと、
   プロセッサ実行可能命令を含む前記プロセッサに結合されたメモリと、
   を含む、システムであって、前記プロセッサ実行可能命令は、実行されると、前記プロセッサに方法を実施させ、前記方法は、
   ａ）１つまたは複数の関心領域に対応するビデオフレームの１つまたは複数のセクションを低圧縮エンコーダを用いて圧縮して、低圧縮セクションデータを生成することであって、前記低圧縮エンコーダは、モーションサーチまたは予測モード決定をすることなく、前記１つまたは複数の関心領域に対応する前記ビデオフレームの前記１つまたは複数のセクションを符号化する、前記低圧縮セクションデータを生成することと、
   ｂ）前記ビデオフレームをダウンスケーリングし、結果として生じるダウンスケーリングされたビデオフレームを高圧縮エンコーダを用いて圧縮して、高圧縮フレームデータを生成することであって、前記高圧縮エンコーダを用いた前記圧縮は、予測モード決定を含む、前記高圧縮フレームデータを生成することと、
   を含む、システム。
9. ａ）は、前記１つまたは複数の関心領域に前記対応する前記１つまたは複数のセクションの縁部にマスクを適用して、解像度低下の勾配を生成することをさらに含む、請求項８に記載のシステム。
10. 前記マスクを適用することは、解像度低下の線形勾配を生成する、請求項９に記載のシステム。
11. 前記マスクを適用することは、解像度低下の非線形勾配を生成する、請求項９に記載のシステム。
12. 前記１つまたは複数の関心領域に対応する前記ビデオフレームの１つまたは複数のサブセクションを圧縮することは、映像酔いに関連する情報に応答して、前記１つまたは複数の関心領域のサイズを調節することを含む、請求項８に記載のシステム。
13. 前記映像酔いに関連する反応は、運動視閾値である、請求項１２に記載のシステム。
14. 前記映像酔いに関連する反応は、１つまたは複数のセンサによって検出される、請求項１２に記載のシステム。
15. コンピュータ実行可能命令を有する非一時的コンピュータ可読媒体であって、前記コンピュータ実行可能命令は、実行されると、コンピュータに方法を実施させ、前記方法は、
    ａ）１つまたは複数の関心領域に対応するビデオフレームの１つまたは複数のセクションを低圧縮エンコーダを用いて圧縮して、低圧縮セクションデータを生成することであって、前記低圧縮エンコーダは、モーションサーチまたは予測モード決定をすることなく、前記１つまたは複数の関心領域に対応する前記ビデオフレームの前記１つまたは複数のセクションを符号化する、前記低圧縮セクションデータを生成することと、
    ｂ）前記ビデオフレームをダウンスケーリングし、結果として生じるダウンスケーリングされたビデオフレームを高圧縮エンコーダを用いて圧縮して、高圧縮フレームデータを生成することであって、前記高圧縮エンコーダを用いた前記圧縮は、予測モード決定を含む、前記高圧縮フレームデータを生成することと、
    を含む、前記非一時的コンピュータ可読媒体。
16. ａ）ダウンスケーリングされたビデオフレームに対応する高圧縮フレームデータを解凍してダウンスケーリングされたビデオフレームデータを生成することであって、前記高圧縮フレームデータは予測フレームを含む、前記ダウンスケーリングされたビデオフレームデータを生成することと、
    ｂ）前記ダウンスケーリングされたビデオフレームデータをアップスケーリングして、アップスケーリングされたビデオフレームデータを生成することと、
    ｃ）１つまたは複数の関心領域に対応する前記ビデオフレームの１つまたは複数のセクションの低圧縮データを解凍して、関心領域データを生成することであって、前記ビデオフレームの前記１つまたは複数のセクションはイントラフレームとして符号化される、前記関心領域データを生成することと、
    ｄ）前記アップスケーリングされたビデオフレームデータと前記関心領域データとを組み合わせて、組み合わされたフレームを生成することと、
    を含む、方法。
17. ｄ）は、前記組み合わされたフレームの前記１つまたは複数の関心領域に対応する前記ビデオフレームの前記１つまたは複数のセクションを配置する位置を決定することを含む、請求項１６に記載の方法。
18. 視線追跡情報を使用して、前記組み合わされたフレームの前記１つまたは複数の関心領域に対応する前記ビデオフレームの前記１つまたは複数のセクションを配置する位置を決定することをさらに含む、請求項１６に記載の方法。
19. 前記１つまたは複数の関心領域に対応する前記ビデオフレームの前記１つまたは複数のセクションにマスクを適用して、前記１つまたは複数の関心領域の縁部に、前記アップスケーリングされたビデオフレームに対応する前記組み合わされたフレームの部分と前記１つまたは複数の関心領域に対応する前記ビデオフレームの前記１つまたは複数のセクションとの間の解像度低下勾配を生成することをさらに含む、請求項１６に記載の方法。
20. 前記アップスケーリングされたビデオフレームデータに第２のマスクを適用して、前記アップスケーリングされたビデオフレームをディミングすることをさらに含む、請求項１９に記載の方法。
21. 前記マスクは、線形の低下勾配を生成する、請求項１９に記載の方法。
22. 前記マスクは、非線形の低下勾配を生成する、請求項１９に記載の方法。
23. 映像酔いに関連する反応に基づいて、前記１つまたは複数の関心領域のサイズを調節することをさらに含む、請求項１６に記載の方法。
24. 前記映像酔いに関連する反応は、電気皮膚反応である、請求項２３に記載の方法。
25. 前記映像酔いに関連する反応は、前記ビデオフレーム内の動きベクトルに関するユーザが決定した閾値である、請求項２４に記載の方法。
26. プロセッサと、
    プロセッサ実行可能命令を含む前記プロセッサに結合されたメモリと、
    を含むシステムであって、前記プロセッサ実行可能命令は、実行されると、前記プロセッサに方法を実施させ、前記方法は、
    ａ）ダウンスケーリングされたビデオフレームに対応する高圧縮フレームデータを解凍してダウンスケーリングされたビデオフレームデータを生成することであって、前記高圧縮フレームデータは予測フレームを含む、前記ダウンスケーリングされたビデオフレームデータを生成することと、
    ｂ）前記ダウンスケーリングされたビデオフレームデータをアップスケーリングして、アップスケーリングされたビデオフレームデータを生成することと、
    ｃ）１つまたは複数の関心領域に対応する前記ビデオフレームの１つまたは複数のセクションの低圧縮データを解凍して、関心領域データを生成することであって、前記ビデオフレームの前記１つまたは複数のセクションはイントラフレームとして符号化される、前記関心領域データを生成することと、
    ｄ）前記アップスケーリングされたビデオフレームデータと前記関心領域データとを組み合わせて、組み合わされたフレームを生成することと、
    を含む、システム。
27. ｄ）は、前記組み合わされたフレームの前記１つまたは複数の関心領域に対応する前記ビデオフレームの前記１つまたは複数のセクションを配置する位置を決定することを含む、請求項２６に記載のシステム。
28. 前記方法は、視線追跡情報を使用して、前記組み合わされたフレームの前記１つまたは複数の関心領域に対応する前記ビデオフレームの前記１つまたは複数のセクションを配置する位置を決定することをさらに含む、請求項２６に記載のシステム。
29. 前記方法は、前記１つまたは複数の関心領域に対応する前記ビデオフレームの前記１つまたは複数のセクションにマスクを適用して、前記１つまたは複数の関心領域の縁部に、前記アップスケーリングされたビデオフレームに対応する前記組み合わされたフレームの部分と前記１つまたは複数の関心領域に対応する前記ビデオフレームの前記１つまたは複数のセクションとの間の解像度低下勾配を生成することをさらに含む、請求項２６に記載のシステム。
30. 前記方法は、前記アップスケーリングされたビデオフレームデータに第２のマスクを適用して、前記アップスケーリングされたビデオフレームをディミングすることをさらに含む、請求項２９に記載のシステム。
31. 前記マスクは、線形の低下勾配を生成する、請求項２９に記載のシステム。
32. 前記マスクは、非線形の低下勾配を生成する、請求項２９に記載のシステム。
33. 前記方法は、映像酔いに関連する反応に基づいて、前記１つまたは複数の関心領域のサイズを調節することをさらに含む、請求項２６に記載のシステム。
34. 前記映像酔いに関連する反応は、電気皮膚反応である、請求項３３に記載のシステム。
35. 前記映像酔いに関連する反応は、前記ビデオフレーム内の動きベクトルに関するユーザが決定した閾値である、請求項３４に記載のシステム。
36. コンピュータ実行可能命令を有する非一時的コンピュータ可読媒体であって、前記コンピュータ実行可能命令は、実行されると、コンピュータに方法を実施させ、前記方法は、
    ａ）ダウンスケーリングされたビデオフレームに対応する高圧縮フレームデータを解凍してダウンスケーリングされたビデオフレームデータを生成することであって、前記高圧縮フレームデータは予測フレームを含む、前記ダウンスケーリングされたビデオフレームデータを生成することと、
    ｂ）前記ダウンスケーリングされたビデオフレームデータをアップスケーリングして、アップスケーリングされたビデオフレームデータを生成することと、
    ｃ）１つまたは複数の関心領域に対応する前記ビデオフレームの１つまたは複数のセクションの低圧縮データを解凍して、関心領域データを生成することであって、前記ビデオフレームの前記１つまたは複数のセクションはイントラフレームとして符号化される、前記関心領域データを生成することと、
    ｄ）前記アップスケーリングされたビデオフレームデータと前記関心領域データとを組み合わせて、組み合わされたフレームを生成することと、
    を含む、非一時的コンピュータ可読媒体。

Images