JP2022540549A - 複数のコンピューティングデバイスにわたってニューラルネットワークを分散させるためのシステムおよび方法 - Google Patents

Abstract

複数のデバイスにわたってニューラルネットワークを使用するための方法が、本明細書で開示される。方法は、ニューラルネットワークの第１の１つまたは複数の層を用いて構成された第１のデバイスによって、第１のデバイスおよび第２のデバイスにわたって実現されたニューラルネットワークを介した処理のための入力データを受信することを含むことができる。方法は、第１のデバイス上に実現されたニューラルネットワークの第１の１つまたは複数の層によって、ニューラルネットワークの第２の１つまたは複数の層による処理のために、入力データの１つまたは複数の特徴を識別しながら、入力データと比べてサイズが低減されたデータセットを出力することを含むことができる。方法は、第１のデバイスによって、第２のデバイス上に実現されたニューラルネットワークの第２の１つまたは複数の層を介した処理のために、第２のデバイスにデータセットを通信することを含むことができる。【選択図】図３Ａ

Description

本発明は、一般に、ヘッドマウントディスプレイシステムにおいて実現されたニューラルネットワークを含むがそれに限定されない、ニューラルネットワークに関する。

本発明は、ニューラルネットワークに関する。より詳細には、本発明は、ヘッドマウントディスプレイシステムにおいてニューラルネットワークを実現することに関する。ヘッドマウントディスプレイは、拡張現実および／または仮想現実システムにおいて使用され、一般に、処理回路類を含むことができる。しかしながら、ヘッドマウントディスプレイにローカルである処理回路類の処理能力は、サイズおよび熱放散制約により制限されることがある。いくらかの計算量的に重いプロセスは、ヘッドマウントディスプレイの処理回路類上でローカルに実施することが困難であることがある。加えて、外部処理装置に計算量的に重いプロセスをオフロードすることは、ラグを引き起こすことがあり、データを送信するために、過大な量のエネルギーを必要とすることがある。

本明細書で開示される様々な実施形態は、方法に関する。いくつかの実施形態では、方法は、ニューラルネットワークの第１の１つまたは複数の層を用いて構成された第１のデバイスによって、第１のデバイスおよび第２のデバイスにわたって実現されたニューラルネットワークを介した処理のための入力データを受信することを含む。いくつかの実施形態では、方法は、第１のデバイス上に実現されたニューラルネットワークの第１の１つまたは複数の層によって、ニューラルネットワークの第２の１つまたは複数の層による処理のために、入力データの１つまたは複数の特徴を識別しながら、入力データと比べてサイズが低減されたデータセットを出力することを含む。いくつかの実施形態では、方法は、第１のデバイスによって、第２のデバイス上に実現されたニューラルネットワークの第２の１つまたは複数の層を介した処理のために、第２のデバイスにデータセットを通信することを含む。

いくつかの実施形態では、方法は、第１の１つまたは複数の層によって、第２のデバイスへのネットワークを介した送信のために、データセットを圧縮することによって、データセットを低減することを更に含む。

いくつかの実施形態では、第２の１つまたは複数の層は、入力データ内の１つまたは複数の特徴のうちの特徴を検出する。

いくつかの実施形態では、方法は、第１のデバイスによって、特徴が、第２の１つまたは複数の層によって検出されたという指示を第２のデバイスから受信することを更に含む。

いくつかの実施形態では、方法は、第１のデバイスによって、１つまたは複数の特徴のうちの特徴が、第１のデバイスによるアクションを取るための精度の閾値を満たすことを検出することを更に含む。

いくつかの実施形態では、方法は、検出に反応して、第１のデバイスによって、特徴に関してアクションを実施することを更に含む。

いくつかの実施形態では、方法は、第２のデバイスにデータセットを通信することなしに、アクションを実施することを更に含む。

本明細書で開示される様々な実施形態は、方法に関する。いくつかの実施形態では、方法は、ウェアラブルヘッドディスプレイのプロセッサによって、ウェアラブルヘッドディスプレイによってキャプチャされた入力データを受信することを含む。いくつかの実施形態では、方法は、プロセッサ上に実現されたニューラルネットワークの第１の１つまたは複数の層によって、ニューラルネットワークの第２の１つまたは複数の層による処理のために、入力データの１つまたは複数の特徴を識別しながら、入力データと比べてサイズが低減されたデータセットを生成することを含む。いくつかの実施形態では、方法は、プロセッサによって、データセット中の１つまたは複数の特徴のうちの特徴を検出することを含む。いくつかの実施形態では、方法は、特徴を検出したことに反応して、プロセッサによって、ニューラルネットワークの第２の１つまたは複数の層を実現する第２のデバイスにデータセットを通信する代わりに、特徴に関してアクションを実施することを含む。

いくつかの実施形態では、方法は、プロセッサによって、精度の閾値内の特徴を検出することを更に含む。

いくつかの実施形態では、方法は、ウェアラブルヘッドディスプレイを介して表示されている画像を修正することを備えるアクションを実施することを更に含む。

いくつかの実施形態では、方法は、プロセッサ上に実現された第１の１つまたは複数の層によって、第２の入力データ中の特徴のうちの第２の１つまたは複数を識別しながら、第２の入力データと比べてサイズが低減された第２のデータセットを生成することを更に含む。

いくつかの実施形態では、方法は、プロセッサによって、第２の１つまたは複数の特徴のうちの第２の特徴が、精度の閾値内で検出可能でないと決定することを更に含む。

いくつかの実施形態では、方法は、決定に反応して、プロセッサによって、ニューラルネットワークの第２の１つまたは複数の層を実現する第２のデバイスに第２のデータセットを通信することを更に含む。

いくつかの実施形態では、方法は、第２のデバイスから、プロセッサによって、第２の１つまたは複数の層による第２のデータセットの処理の結果の指示を受信することを更に含む。

本明細書で開示される様々な実施形態は、システムに関する。いくつかの実施形態では、システムは、第１のデバイスであって、第１のデバイスおよび第２のデバイスにわたって実現されたニューラルネットワークを介した処理のための入力データを受信するように構成された、第１のデバイスを含む。いくつかの実施形態では、第１のデバイス上に実現されたニューラルネットワークの第１の１つまたは複数の層は、ニューラルネットワークの第２の１つまたは複数の層による処理のために、入力データの１つまたは複数の特徴を識別しながら、入力データと比べてサイズが低減されたデータセットを出力するように構成される。いくつかの実施形態では、第１のデバイスは、第２のデバイス上に実現されたニューラルネットワークの第２の１つまたは複数の層を介した処理のために、第２のデバイスにデータセットを通信するように構成される。

いくつかの実施形態では、第１の１つまたは複数の層は、第２のデバイスへのネットワークを介した送信のために、データセットを圧縮することによって、データセットを低減するように更に構成される。

いくつかの実施形態では、第２の１つまたは複数の層は、入力データ内の１つまたは複数の特徴のうちの特徴を検出するように更に構成される。

いくつかの実施形態では、第１のデバイスは、特徴が、第２の１つまたは複数の層によって検出されたという指示を第２のデバイスから受信するように更に構成される。

いくつかの実施形態では、第１のデバイスは、１つまたは複数の特徴のうちの特徴が、第１のデバイスによるアクションを取るための精度の閾値を満たすことを検出するように更に構成される。

いくつかの実施形態では、第１のデバイスは、検出に反応して、特徴に関しておよび第２のデバイスにデータセットを通信することなしに、アクションを実施するように更に構成される。

上記および他の態様ならびに実現例について、以下で詳細に考察する。上述の情報および以下で詳述する説明は、様々な態様および実現例の実例を含み、特許請求する態様および実現例の性質ならびに特徴を理解するための概観または枠組みを提供する。図面は、様々な態様および実現例の例示ならびに更なる理解を提供し、本明細書に組み込まれるとともに本明細書の一部を構成する。本発明は、添付の特許請求の範囲において定義されている。

添付図面は縮尺通りに描かれることを意図しない。様々な図面における同様の参照番号および記号は同様の要素を示す。明瞭にするため、全ての図面において全ての構成要素に符号が付されるわけではない。

本発明の例示の一実現例による、人工知能（ＡＩ）に関連する処理を実施するシステムの一実施形態を示すブロック図である。 本発明の例示の一実現例による、人工知能（ＡＩ）に関連する処理を実施するデバイスの一実施形態を示すブロック図である。 本発明の例示の一実現例による、人工知能（ＡＩ）に関連する処理を実施するデバイスの一実施形態を示すブロック図である。 本発明の例示の一実現例によるコンピューティング環境を示すブロック図である。 いくつかの実施形態による、ディスプレイシステムのブロック図である。 いくつかの実施形態による、ヘッドマウントディスプレイ（ＨＭＤ）システムの概略図である。 いくつかの実施形態による、入力データの特徴を識別し、アクションを実施するためにニューラルネットワークの部分を使用する、コントローラのシステムのブロック図である。 いくつかの実施形態による、入力データの１つまたは複数の特徴を識別し、アクションを実施するために、複数のデバイスにわたって分散されたニューラルネットワークを使用するためのプロセスのフロー図である。 いくつかの実施形態による、追加のデバイスをもつ図３Ａのシステムのブロック図である。

概要
特定の実施形態を詳細に示す図面に移る前に、本発明は、明細書に記載されるかまたは図面に例示される、詳細もしくは方法論に限定されないことが理解されるべきである。また、本明細書で使用する専門用語は、単に説明のためのものであって限定とみなされるべきでないことが理解されるべきである。

以下の本発明の様々な実施形態の説明を読む目的で、本明細書のセクション、およびセクションのそれぞれの内容の以下の説明は、役立ち得る。
セクションＡは、本システム、方法およびデバイスの実施形態を実践または実現するのに有用な環境、システム、構成および／または他の態様を説明する。
セクションＢは、ヘッドマウントディスプレイ環境において本システム、方法およびデバイスの実施形態を実現するためのデバイス、システムおよび方法の実施形態を説明する。
セクションＣは、複数のデバイスにわたって本システム、方法およびデバイスの実施形態を実現するためのデバイス、システムおよび方法の実施形態を説明する。

図を概して参照すると、いくつかの実施形態による、ニューラルネットワークを実現するための、または複数のデバイスにわたって複数のニューラルネットワークを実現するためのシステムおよび方法が、示されている。システムおよび方法は、複数のデバイスにわたって計算を分割することによって、エネルギー節約のためにニューラルネットワーク計算を最適化するように実現され得る。システムは、第１のデバイスおよび第２のデバイスを含んでもよい。いくつかの実施形態では、第１のデバイスは、第１のニューラルネットワーク、またはニューラルネットワークの１つまたは複数の層の第１のセットを含む。第１のデバイスは、グラフィカル処理装置（ＧＰＵ）、中央処理装置（ＣＰＵ）など、または任意の他のローカル処理回路類、コントローラ、プロセッサなどであってもよい。いくつかの実施形態では、第１のデバイスは、ヘッドマウントディスプレイ（ＨＭＤ）、拡張現実（ＡＲ）、または仮想現実（ＶＲ）システムのローカルコンピュータデバイスである。第２のデバイスは、第２のニューラルネットワーク、またはニューラルネットワークの１つまたは複数の層の第２のセットを含むことができる。いくつかの実施形態では、第２のデバイスは、第１のデバイスに対する外部デバイス、リモートデバイス、ワイヤレスに接続された処理装置、人工知能アクセラレータ、デスクトップユニット、ネットワークデバイスなどである。第１のデバイスは、１つまたは複数のセンサ、外部コントローラ、外部コンピュータシステム、前処理エンジンなどから入力データ（例えば、画像データ）を受信し、第１のニューラルネットワークに入力データを提供するように構成される。第１のニューラルネットワークは、第１のニューラルネットワークへの出力として、入力データの１つまたは複数の特徴を識別することができる。いくつかの実施形態では、第１のデバイスはまた、入力データの１つまたは複数の特徴の各々と関連付けられた、または第１のニューラルネットワークの１つまたは複数の出力の各々と関連付けられた誤差または精度を決定する。いくつかの実施形態では、第１のデバイスは、第２のデバイスが、入力データの更なる解析のために必要とされるかどうかを決定するために、誤差または精度、および１つまたは複数の対応する閾値を使用する。第１のデバイスは、第１のデバイスが、第２のデバイスおよびニューラルネットワークの第２の部分を使用することなしに、十分に正確な決定を行うことができるか否かを決定するために、誤差または精度または他の論理を使用してもよい。

第１のデバイスは、入力データに基づいて、低減されたデータセットを生成し、第２のデバイス上のニューラルネットワークへの入力として、第２のデバイスに、低減されたデータセットを提供することができる。いくつかの実施形態では、低減されたデータセットは、第１のデバイス上のニューラルネットワークの出力として生成される。いくつかの実施形態では、低減されたデータセットは、入力データの１つまたは複数の特徴を識別する、ニューラルネットワークの出力に加えて、第１のデバイス上のニューラルネットワークによって生成される。いくつかの実施形態では、低減されたデータセットは、入力データと比較して、サイズが（例えば、記憶サイズが）より小さい。例えば、入力データが、１２００×１２００ピクセルを有する画像データである場合、低減されたデータセットも、画像データであるが、５００×５００ピクセルのサイズを有することがある。いくつかの実施形態では、低減されたデータセットは、誤差または精度が、対応する閾値よりも大きいまたは小さいことに応答して、生成される。いくつかの実施形態では、低減されたデータセットは、第１のデバイスのニューラルネットワークの１つまたは複数の出力の誤差および／または精度にかかわらず生成されるが、精度が、対応する閾値よりも小さいことに応答してのみ、または誤差が、対応する閾値よりも大きいことに応答してのみ、第２のデバイスに提供される。

いくつかの実施形態では、第１のデバイスは、入力データの１つまたは複数の識別された特徴に基づいて、アクションを実施するように構成される。いくつかの実施形態では、第１のデバイスは、入力データの１つまたは複数の特徴に基づいて、１つまたは複数のアクションを実施するように構成される。いくつかの実施形態では、第１のデバイスは、第２のデバイスのニューラルネットワークに、低減されたデータセットをコンカレントに提供しながら、アクションを実施するように構成される。いくつかの実施形態では、第１のデバイスは、第２のデバイスに、低減されたデータセットを提供することなしに、および／または低減されたデータセットを生成することなしに、アクションを実施するように構成される。いくつかの実施形態では、アクションは、第２のデバイスのニューラルネットワークの出力に応答してまたは基づいて実施される。いくつかの実施形態では、第２のデバイスのニューラルネットワークの出力は、追加の識別された特徴である。いくつかの実施形態では、入力データの特徴が、第１のデバイスのニューラルネットワークよって正確に識別され得ない場合、低減されたデータセットは、入力データの１つまたは複数の特徴を識別するために、第２のデバイスに提供される。

有利に、本明細書で説明されるシステムおよび方法は、ＨＭＤディスプレイシステム、ＡＲシステム、ＶＲシステムなどのためのより効率的な処理システムを容易にする。本明細書で説明されるシステムおよび方法は、第１のデバイス上にニューラルネットワークの一部分のみを実現することによって、または第１のデバイス上に計算量的により軽いニューラルネットワークを実現することによって、第１のデバイスの処理要件を低減する。第１のデバイスが、入力データを正確に解析することができる場合、第１のデバイスは、ディスプレイ上でユーザに像を提供することなど、アクションを実施するために、ニューラルネットワークの結果を使用し、それにより、第１および第２のデバイスの間のトラフィック／データ送信を低減し、エネルギー消費を低減することができる。第１のデバイスが、入力データを正確に解析することができない場合、第１のデバイスは、低減されたデータセットを生成し、第２のデバイスに、低減されたデータセットを提供することができ、ここで、低減されたデータセットは、更に解析されてもよい。有利に、これは、第１および第２のデバイスの間のデータ送信の頻度を低減し、第１および第２のデバイスの間で転送されるデータのサイズを低減し、容易にする。

Ａ．人工知能に関連する処理のための環境
システム、デバイス、および／または方法の実施形態の詳細についてセクションＢで考察する前に、システム、デバイス、および／または方法の特定の実施形態を実践もしくは実現するのに有用な、環境、システム、構成、および／または他の態様について考察するのが有用であり得る。ここで図１Ａを参照すると、人工知能（ＡＩ）に関連する処理を実施するためのシステムの一実施形態が示される。概要では、システムは、入力データ１１０を使用してＡＩに関連する処理を実施することができる、１つまたは複数のＡＩアクセラレータ１０８を含む。ＡＩアクセラレータ１０８として参照しているが、場合によっては、ニューラルネットワークアクセラレータ（ＮＮＡ）、ニューラルネットワークチップもしくはハードウェア、ＡＩプロセッサ、ＡＩチップなどと呼ばれる。ＡＩアクセラレータ１０８は、入力データ１１０および／またはパラメータ１２８（例えば、重みおよび／またはバイアス情報）にしたがって、ＡＩに関連する処理を実施して、出力データ１１２を出力または提供することができる。ＡＩアクセラレータ１０８は、１つもしくは複数のニューラルネットワーク１１４（例えば、人工ニューラルネットワーク）、１つもしくは複数のプロセッサおよび／または１つもしくは複数の記憶デバイス１２６を含むことができ、ならびに／あるいは実装することができる。

上述の要素または構成要素はそれぞれ、ハードウェア、またはハードウェアとソフトウェアの組み合わせの形で実装される。例えば、これらの要素または構成要素はそれぞれ、任意のアプリケーション、プログラム、ライブラリ、スクリプト、タスク、サービス、プロセス、あるいはデジタルおよび／またはアナログ要素（例えば、１つもしくは複数のトランジスタ、論理ゲート、レジスタ、メモリデバイス、抵抗素子、導電素子、容量素子）を含むことができる回路類などのハードウェア上で実行する、任意のタイプおよび形態の実行可能命令を含むことができる。

入力データ１１０は、ＡＩアクセラレータ１０８のニューラルネットワーク１１４を構成、調整、訓練、および／または活性化するための、ならびに／あるいはプロセッサ１２４によって処理するための、任意のタイプもしくは形態のデータを含むことができる。ニューラルネットワーク１１４は、場合によっては、人工ニューラルネットワーク（ＡＮＮ）と呼ばれる。ニューラルネットワークの構成、調整、および／または訓練は、履歴データなど、（例えば、入力データ１１０としての）訓練データセットがニューラルネットワークに提供されて処理される、機械学習のプロセスを指すかあるいは含むことができる。調整または構成は、ニューラルネットワーク１１４を訓練または処理して、ニューラルネットワークが精度を改善するのを可能にすることを指すかまたは含むことができる。ニューラルネットワーク１１４の調整または構成は、例えば、ニューラルネットワーク１１４に関する問題のタイプもしくは所望の目標に対して成功することが証明されているアーキテクチャを使用した、ニューラルネットワークの設計、形成、構築、合成、および／または確立を含むことができる。場合によっては、１つまたは複数のニューラルネットワーク１１４は、同じもしくは類似のベースラインモデルで開始してもよいが、調整、訓練、または学習プロセスの間、ニューラルネットワーク１１４の結果は、ベースラインモデルであるかあるいは異なる目標もしくは目的のために調整または訓練された異なるニューラルネットワークよりも高いレベルの精度および信頼性で、特定のタイプの入力を処理し、特定のタイプの出力を生成するように、各ニューラルネットワーク１１４を調整することができるような、十分に異なるものであることができる。ニューラルネットワーク１１４の調整は、各ニューラルネットワーク１１４に対して異なるパラメータ１２８を設定すること、各ニューラルネットワーク１１４に対してパラメータ１２８を異なるように微調整すること、または異なる重み（例えば、ハイパーパラメータ、もしくは学習率）、テンソルフローなどを割り当てることを含むことができる。したがって、ニューラルネットワークならびに／あるいはシステムの調整または訓練プロセスおよび目標に基づいて、ニューラルネットワーク１１４に対して適切なパラメータ１２８を設定することで、システム全体の性能を改善することができる。

ＡＩアクセラレータ１０８のニューラルネットワーク１１４は、例えば、畳み込みニューラルネットワーク（ＣＮＮ）、深層畳み込みネットワーク、順伝播型ニューラルネットワーク（例えば、多層パーセプトロン（ＭＬＰ））、深層順伝播型ニューラルネットワーク、放射基底関数ニューラルネットワーク、コホネン自己組織化ニューラルネットワーク、回帰型ニューラルネットワーク、モジュール型ニューラルネットワーク、長期／短期メモリニューラルネットワークなど、任意のタイプのニューラルネットワークを含むことができる。ニューラルネットワーク１１４は、自然言語処理など、データ（例えば、画像、音声、映像）処理、オブジェクトもしくは特徴認識、レコメンダ機能、データもしくは画像分類、データ（例えば、画像）解析などを実施するために展開または使用することができる。

一例として、また１つまたは複数の実施形態では、ニューラルネットワーク１１４は、畳み込みニューラルネットワークとして構成することができ、または畳み込みニューラルネットワークを含むことができる。畳み込みニューラルネットワークは、それぞれ異なる目的に役立ち得る、１つもしくは複数の畳み込みセル（またはプーリング層）およびカーネルを含むことができる。畳み込みニューラルネットワークは、畳み込みカーネル（場合によっては、単に「カーネル」と呼ばれる）を含み、組み込み、および／または使用することができる。畳み込みカーネルは入力データを処理することができ、プーリング層は、例えば、ｍａｘなどの非線形関数を使用して、データを単純化し、それによって不要な特徴を低減することができる。畳み込みニューラルネットワークを含むニューラルネットワーク１１４は、画像、音声、または任意のデータの認識もしくは他の処理を容易にすることができる。例えば、（例えば、センサからの）入力データ１１０を、ファンネルを形成する畳み込みニューラルネットワークの畳み込み層に渡して、入力データ１１０の検出された特徴を圧縮することができる。畳み込みニューラルネットワークの第１の層は第１の特性を検出することができ、第２の層は第２の特性を検出することができ、その先も同様である。

畳み込みニューラルネットワークは、視覚心像、音声情報、および／または他の任意のタイプもしくは形態の入力データ１１０を解析するように構成された、深層順伝播型人工ニューラルネットワークのタイプであることができる。畳み込みニューラルネットワークは、最小限の前処理を使用するように設計された、多層パーセプトロンを含むことができる。畳み込みニューラルネットワークは、重み共有アーキテクチャおよび翻訳不変性特性に基づいて、シフト不変または空間不変人工ニューラルネットワークを含むことができ、またはそのように呼ぶことができる。畳み込みニューラルネットワークは、他のデータ分類／処理アルゴリズムと比較して相対的に少ない前処理を使用することができるので、畳み込みニューラルネットワークは、他のデータ分類／処理アルゴリズムのためにマニュアル設計されてもよいフィルタを自動的に学習して、ニューラルネットワーク１１４の構成、確立、またはセットアップと関連付けられた効率を改善することによって、他のデータ分類／処理技術と比べて技術的利点を提供することができる。

ニューラルネットワーク１１４は、ニューロンもしくはノードの、入力層１１６および出力層１２２を含むことができる。ニューラルネットワーク１１４はまた、ニューロンもしくはノードの、畳み込み層、プーリング層、全結合層、および／または正規化層を含むことができる、１つまたは複数の隠れ層１１８、１１９を有することができる。ニューラルネットワーク１１４では、各ニューロンは、前の層におけるいくつかの位置から入力を受信することができる。全結合層では、各ニューロンは、前の層の全ての要素からの入力を受信することができる。

ニューラルネットワーク１１４の各ニューロンは、前の層の受容野からの入力値に何らかの関数を適用することによって、出力値を計算することができる。入力値に適用される関数は、重みのベクトルおよびバイアス（一般的には実数）によって指定される。ニューラルネットワーク１１４における（例えば、訓練フェーズ中の）学習は、バイアスおよび／または重みを漸増的に調節することによって進行することができる。重みのベクトルおよびバイアスは、フィルタと呼ぶことができ、入力の何らかの特徴（例えば、特定の形状）を表すことができる。畳み込みニューラルネットワークの際立った特徴は、多くのニューロンが同じフィルタを共有できることである。これにより、各受容野が独自のバイアスおよび重みのベクトルを有するのではなく、単一のバイアスおよび重みの単一のベクトルを、該フィルタを共有する全ての受容野にわたって使用することができるので、メモリフットプリントが低減される。

例えば、畳み込み層では、システムは、畳み込み演算を入力層１１６に適用して、結果を次の層に渡すことができる。畳み込みは、個々のニューロンの応答をエミュレートして刺激を入力することができる。各畳み込みニューロンは、その受容野に対してのみデータを処理することができる。畳み込み演算は、全結合順伝播型ニューラルネットワークと比較して、ニューラルネットワーク１１４で使用されるニューロンの数を低減することができる。したがって、畳み込み演算は、自由パラメータの数を低減して、より少ないパラメータでネットワークをより深層化することを可能にすることができる。例えば、入力データ（例えば、画像データ）サイズにかかわらず、同じ共有重みをそれぞれ有するサイズ５×５のタイリング領域は、２５個のみの学習可能パラメータを使用してもよい。このように、畳み込みニューラルネットワークを有する第１のニューラルネットワーク１１４は、逆伝播を使用することによって多くの層を有する従来の多層ニューラルネットワークを訓練する際の、勾配消失または発散の問題を解決することができる。

ニューラルネットワーク１１４（例えば、畳み込みニューラルネットワークで構成される）は、１つまたは複数のプーリング層を含むことができる。１つまたは複数のプーリング層は、ローカルプーリング層またはグローバルプーリング層を含むことができる。プーリング層は、１つの層におけるニューロンクラスタの出力を組み合わせて、次の層における単一のニューロンとすることができる。例えば、最大プーリングは、前の層におけるニューロンのクラスタそれぞれからの最大値を使用することができる。別の例は、前の層におけるニューロンのクラスタそれぞれからの平均値を使用することができる、平均プーリングである。

ニューラルネットワーク１１４（例えば、畳み込みニューラルネットワークで構成される）は、全結合層を含むことができる。全結合層は、１つの層の全てのニューロンを別の層の全てのニューロンに結合することができる。ニューラルネットワーク１１４は、畳み込み層で重みを共有して構成することができ、それは同じフィルタが層内の各受容野に使用されることを指すことができ、それにより、メモリフットプリントが低減され、第１のニューラルネットワーク１１４の性能が改善される。

隠れ層１１８、１１９は、入力データ（例えば、仮想現実システムなどからのセンサデータ）に基づいて、情報を検出するように調整または構成されるフィルタを含むことができる。システムがニューラルネットワーク１１４（例えば、畳み込みニューラルネットワーク）の各層を通るにつれて、システムは、第１の層からの入力を翻訳し、変換された入力を第２の層に出力することができ、その先も同様である。ニューラルネットワーク１１４は、検出、処理、および／または計算されるオブジェクトもしくは情報のタイプ、ならびに入力データ１１０のタイプに基づいて、１つまたは複数の隠れ層１１８、１１９を含むことができる。

いくつかの実施形態では、畳み込み層は、ニューラルネットワーク１１４（例えば、ＣＮＮとして構成される）のコアビルディングブロックである。層のパラメータ１２８は、小さい受容野を有するが、入力ボリュームの深さ全体を通って延在する、学習可能なフィルタ（またはカーネル）のセットを含むことができる。順方向パスの間、各フィルタは、入力ボリュームの幅および高さにわたって畳み込まれて、フィルタのエントリと入力との間のドット積を計算し、該フィルタの二次元活性化マップを作成する。結果として、ニューラルネットワーク１１４は、入力のある空間位置である特定のタイプの特徴を検出すると活性化する、フィルタを学習させることができる。深さ次元に沿って全てのフィルタの活性化マップを積み重ねることで、畳み込み層の全出力ボリュームが形成される。したがって、出力ボリュームの全てのエントリは、入力の小さい領域に注目し、同じ活性化マップのニューロンとパラメータを共有する、ニューロンの出力として解釈することもできる。畳み込み層では、ニューロンは、前の層の制限されたサブエリアから入力を受信することができる。一般的に、サブエリアは正方形形状のもの（例えば、サイズ５×５）である。ニューロンの入力エリアはその受容野と呼ばれる。そのため、全結合層では、受容野は前の層全体である。畳み込み層では、受容エリアは前の層全体よりも小さいものであり得る。

第１のニューラルネットワーク１１４は、（例えば、入力データ１１０に基づいて、オブジェクト、イベント、ワード、および／または他の特徴の確率を検出もしくは決定することによって）入力データ１１０を検出、分類、セグメント化、および／または翻訳するように訓練することができる。例えば、ニューラルネットワーク１１４の第１の入力層１１６は、入力データ１１０を受信し、入力データ１１０を処理してデータを第１の中間出力に変換し、第１の中間出力を第１の隠れ層１１８に伝達することができる。第１の隠れ層１１８は、第１の中間出力を受信し、第１の中間出力を処理して第１の中間出力を第２の中間出力に変換し、第２の中間出力を第２の隠れ層１１９に伝達することができる。第２の隠れ層１１９は、第２の中間出力を受信し、第２の中間出力を処理して第２の中間出力を第３の中間出力に変換し、第３の中間出力を、例えば出力層１２２に伝達することができる。出力層１２２は、第３の中間出力を受信し、第３の中間出力を処理して第３の中間出力を出力データ１１２に変換し、出力データ１１２を（例えば、場合によっては、ユーザに対するレンダリングのため、格納のためなど、後処理エンジンに）伝達することができる。出力データ１１２は、例として、オブジェクト検出データ、強化／翻訳／拡張されたデータ、推奨、分類、および／またはセグメント化されたデータを含むことができる。

再び図１Ａを参照すると、ＡＩアクセラレータ１０８は、１つまたは複数の記憶デバイス１２６を含むことができる。記憶デバイス１２６は、ＡＩアクセラレータ１０８と関連付けられた任意のタイプもしくは形態のデータを、格納、保持、または維持するように、設計または実装することができる。例えば、データは、ＡＩアクセラレータ１０８によって受信される入力データ１１０、および／または出力データ１１２（例えば、次のデバイスもしくは処理段階に出力される前）を含むことができる。データは、ニューラルネットワーク１１４および／またはプロセッサ１２４の処理段階のいずれかに使用される、またはいずれかからの、中間データを含むことができる。データは、記憶デバイス１２６から読み取るかまたはアクセスすることができる、ニューラルネットワーク１１４のニューロンに入力される、また該ニューロンで処理する、１つもしくは複数のオペランドを含むことができる。例えば、データは、記憶デバイス１２６に格納し、そこから読み取るかまたはアクセスすることができる、入力データ、重み情報、および／またはバイアス情報、活性化関数情報、ならびに／あるいは１つもしくは複数のニューロン（またはノード）のためのパラメータ１２８、および／またはニューラルネットワーク１１４の層を含むことができる。データは、記憶デバイス１２６に書き込み、またそこに格納することができる、ニューラルネットワーク１１４のニューロンからの出力データを含むことができる。例えば、データは、記憶デバイス１２６に転送するかもしくは書き込み、格納することができる、ニューラルネットワーク１１４の１つもしくは複数のニューロン（またはノード）および／または層のための、活性化データ、改良もしくは更新されたデータ（例えば、訓練段階などからの重み情報および／またはバイアス情報、活性化関数情報、および／または他のパラメータ１２８）を含むことができる。

いくつかの実施形態では、ＡＩアクセラレータ１０８は１つまたは複数のプロセッサ１２４を含むことができる。１つまたは複数のプロセッサ１２４は、ニューラルネットワーク１１４またはＡＩアクセラレータ１０８のうち任意の１つもしくは複数に対する入力データを前処理するための、ならびに／あるいはニューラルネットワーク１１４またはＡＩアクセラレータ１０８のうち任意の１つもしくは複数に対する出力データを後処理するための、任意の論理、回路類、および／または処理構成要素（例えば、マイクロプロセッサ）を含むことができる。１つまたは複数のプロセッサ１２４は、ニューラルネットワーク１１４またはＡＩアクセラレータ１０８の１つもしくは複数の演算を構成、制御、および／または管理するための、論理、回路類、処理構成要素、および／または機能性を提供することができる。例えば、プロセッサ１２４は、ニューラルネットワーク１１４と関連付けられたデータまたは信号を受信して、（例えば、ニューラルネットワーク１１４の演算を実装する回路類に対するクロックゲート制御を介して）消費電力を制御または低減してもよい。別の例として、プロセッサ１２４は、（例えば、ＡＩアクセラレータ１０８の様々な構成要素における、例えば並列の）別個の処理のため、（例えば、ＡＩアクセラレータ１０８の同じ構成要素における、異なる時間もしくは段階での）逐次処理のため、あるいは記憶デバイスの異なるメモリスライスに、または異なる記憶デバイスに格納するため、データを区画化および／または再配置してもよい。いくつかの実施形態では、プロセッサ１２４は、特定の重み、活性化関数、および／またはパラメータ情報の識別、選択、ならびに／あるいはニューラルネットワーク１１４のニューロンおよび／または層へのロードによって、特定の文脈に対して演算を行い、特定のタイプの処理を提供し、ならびに／あるいは特定のタイプの入力データをアドレスするように、ニューラルネットワーク１１４を構成することができる。

いくつかの実施形態では、ＡＩアクセラレータ１０８は、ディープラーニングおよび／またはＡＩワークロードを扱うかもしくは処理するように、設計および／または実装される。例えば、ＡＩアクセラレータ１０８は、人工ニューラルネットワーク、マシンビジョン、および機械学習を含む人工知能用途のため、ハードウェアアクセラレーションを提供することができる。ＡＩアクセラレータ１０８は、ロボティックス関連、物のインターネット（ＩｏＴ）関連、または他のデータ集約的もしくはセンサ駆動のタスクを扱う演算向けに構成することができる。ＡＩアクセラレータ１０８は、マルチコアまたは複数の処理要素（ＰＥ）設計を含んでもよく、人工現実（例えば、仮想、拡張、もしくは混合現実）システム、スマートフォン、タブレット、およびコンピュータなど、様々なタイプおよび形態のデバイスに組み込むことができる。ＡＩアクセラレータ１０８の特定の実施形態は、少なくとも１つのデジタル信号プロセッサ（ＤＳＰ）、コプロセッサ、マイクロプロセッサ、コンピュータシステム、プロセッサのヘテロジニアスコンピューティング構成、グラフィックス処理装置（ＧＰＵ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、および／または特定用途向け集積回路（ＡＳＩＣ）を含むかあるいはそれらを使用して実装することができる。ＡＩアクセラレータ１０８は、トランジスタベース、半導体ベース、および／または量子コンピューティングベースのデバイスであることができる。

次に図１Ｂを参照すると、ＡＩに関連する処理を実施するためのデバイスの例示の一実施形態が示される。概要では、デバイスは、例えば、図１Ａに関連して上述した１つまたは複数の特徴を有する、ＡＩアクセラレータ１０８を含むかまたはそれに対応することができる。ＡＩアクセラレータ１０８は、１つまたは複数の記憶デバイス１２６（例えば、スタティックランダムアクセスメモリ（ＳＲＡＭ）デバイスなどのメモリ）、１つまたは複数のバッファ、複数の処理要素（ＰＥ）回路またはＰＥ回路のアレイ、他の論理または回路類（例えば、加算器回路類）、ならびに／あるいは他の構造または構成（例えば、相互接続、データバス、クロック回路類、電力ネットワーク）を含むことができる。上述の要素または構成要素はそれぞれ、ハードウェア、または少なくともハードウェアとソフトウェアの組み合わせの形で実装される。ハードウェアは、例えば、回路要素（例えば、１つもしくは複数のトランジスタ、論理ゲート、レジスタ、メモリデバイス、抵抗素子、導電素子、容量素子、および／またはワイヤもしくは導電性コネクタ）を含むことができる。

ＡＩアクセラレータ１０８において実装されたニューラルネットワーク１１４（例えば、人工ニューラルネットワーク）では、ニューロンは、様々な形態を取ることができ、処理要素（ＰＥ）またはＰＥ回路と呼ぶことができる。ニューロンは、対応するＰＥ回路として実装することができ、ニューロンで起こり得る処理／活性化は、ＰＥ回路で実施することができる。ＰＥは接続されて、異なるパターンが異なる機能的目的に役立つ、特定のネットワークパターンまたはアレイとなる。人工ニューラルネットワークのＰＥは、（例えば、半導体の実現例の実施形態では）電気的に動作し、アナログ、デジタル、またはハイブリッドのいずれかであってもよい。生体シナプスの作用に匹敵するために、ＰＥ間の接続に、適正なシステム出力を作成するように校正または「訓練」することができる、乗法的な重みを割り当てることができる。

ＰＥは、（例えば、ニューロンのマッカロック－ピッツモデルを表す）次式に関して定義することができる。
ζ＝Σ_ｉｗ_ｉｘ_ｉ （１）
ｙ＝σ（ζ） （２）
式中、ζは入力の重み付き合計（例えば、入力ベクトルおよびタップ重みベクトルの内積）であり、σ（ζ）は重み付き合計の関数である。重みおよび入力要素がベクトルｗおよびｘを形成する場合、重み付き合計ζは単純なドット積となる。
ζ＝ｗ・ｘ （３）

これは、活性化関数（例えば、閾値比較の場合）または伝達関数のどちらかと呼ばれることがある。いくつかの実施形態では、１つまたは複数のＰＥはドット積エンジンと呼ばれる場合がある。ニューラルネットワーク１１４に対する入力（例えば、入力データ１１０）ｘは、入力空間からのものであることができ、出力（例えば、出力データ１１２）は出力空間の一部である。いくつかのニューラルネットワークでは、出力空間Ｙは、｛０，１｝のように単純なものであってもよく、または複雑な多次元（例えば、複数チャネル）空間（例えば、畳み込みニューラルネットワークの場合）であってもよい。ニューラルネットワークは、入力空間の自由度ごとに１つの入力、および出力空間の自由度ごとに１つの出力を有する傾向がある。

いくつかの実施形態では、ＰＥは、シストリックアレイとして配置および／または実装することができる。シストリックアレイは、セルまたはノードと呼ばれる、ＰＥなどの結合されたデータ処理装置（ＤＰＵ）のネットワーク（例えば、ホモジニアスネットワーク）であることができる。各ノードまたはＰＥは、上流側の隣接するノードまたはＰＥから受信したデータの関数として、部分結果を独立して計算することができ、結果を自身に格納することができ、結果を例えば下流側に渡すことができる。シストリックアレイは、特定用途向けに構成されたハードワイヤードまたはソフトウェアであることができる。ノードまたはＰＥは、固定された同一のものであることができ、シストリックアレイの相互接続はプログラム可能であることができる。シストリックアレイは同期型データ転送に依存することができる。

再び図１Ｂを参照すると、ＰＥ１２０に対する入力ｘは、記憶デバイス１２６（例えば、ＳＲＡＭ）から読み取られるかまたはアクセスされる、入力ストリーム１３２の一部であることができる。入力ストリーム１３２は、ＰＥの１つの行（水平のバンクもしくはグループ）に方向付けることができ、ＰＥのうち１つもしくは複数にわたって共有するか、またはそれぞれのＰＥに対する入力としてのデータ部分（重なり合うもしくは重なり合わないデータ部分）に区画化することができる。重みストリーム１３４（例えば、記憶デバイス１２６から読み取られる）における重み１３４（もしくは重み情報）は、ＰＥの列（垂直のバンクもしくはグループ）に方向付けるかまたは提供することができる。列のＰＥはそれぞれ、同じ重み１３４を共有するか、または対応する重み１３４を受信してもよい。標的のＰＥそれぞれに対する入力および／または重みは、（例えば、他のＰＥを通過せずに）標的のＰＥに（例えば、記憶デバイス１２６から）直接ルーティングすることができ、あるいは１つもしくは複数のＰＥを通して（例えば、ＰＥの行もしくは列に沿って）ルーティングすることができる。各ＰＥの出力は、ＰＥアレイの外に（例えば、他のＰＥを通過せずに）直接ルーティングすることができ、あるいは１つもしくは複数のＰＥを通して（例えば、ＰＥの列に沿って）ＰＥアレイを出るようにルーティングすることができる。ＰＥの各列の出力は、それぞれの列の加算器回路類において合算または加算し、ＰＥのそれぞれの列に対するバッファ１３０に提供することができる。バッファ１３０は、受信した出力を記憶デバイス１２６に提供、転送、ルーティング、書込み、および／または格納することができる。いくつかの実施形態では、記憶デバイス１２６に格納された出力（例えば、ニューラルネットワークの１つの層からの活性化データ）を、記憶デバイス１２６から検索するかまたは読み取り、後の時間における（ニューラルネットワークの後続層の）処理のため、ＰＥ１２０のアレイに対する入力として使用することができる。特定の実施形態では、記憶デバイス１２６に格納された出力を、ＡＩアクセラレータ１０８に対する出力データ１１２として、記憶デバイス１２６から検索するかまたは読み取ることができる。

次に図１Ｃを参照すると、ＡＩに関連する処理を実施するためのデバイスの例示の一実施形態が示される。概要では、デバイスは、例えば、図１Ａおよび図１Ｂに関連して上述した１つまたは複数の特徴を有する、ＡＩアクセラレータ１０８を含むかまたはそれに対応することができる。ＡＩアクセラレータ１０８は、１つまたは複数のＰＥ１２０、他の論理または回路類（例えば、加算器回路類）、ならびに／あるいは他の構造または構成（例えば、相互接続、データバス、クロック回路類、電力ネットワーク）を含むことができる。上述の要素または構成要素はそれぞれ、ハードウェア、または少なくともハードウェアとソフトウェアの組み合わせの形で実装される。ハードウェアは、例えば、回路要素（例えば、１つもしくは複数のトランジスタ、論理ゲート、レジスタ、メモリデバイス、抵抗素子、導電素子、容量素子、および／またはワイヤもしくは導電性コネクタ）を含むことができる。

いくつかの実施形態では、ＰＥ１２０は、１つもしくは複数の乗累算（ＭＡＣ）ユニットまたは回路１４０を含むことができる。１つまたは複数のＰＥは、場合によっては、（単独でまたは集合的に）ＭＡＣエンジンと呼ぶことができる。ＭＡＣユニットは、乗累算を実施するように構成される。ＭＡＣユニットは、乗算器回路、加算器回路、および／または累算器回路を含むことができる。乗累算は、２つの数字の積を計算し、その積を累算器に加える。ＭＡＣ演算は、累算器オペランドａ、ならびに入力ｂおよびｃに関連して、次のように表すことができる。
ａ←ａ＋（ｂ×ｃ） （４）

いくつかの実施形態では、ＭＡＣユニット１４０は、組み合わせ論理に実装された乗算器とそれに続く加算器（例えば、組み合わせ論理を含むもの）、ならびに結果を格納する累算器レジスタ（例えば、順序および／または組み合わせ論理を含むもの）を含んでもよい。累算器レジスタの出力は、加算器の１つの入力にフィードバックすることができるので、各クロックサイクルにおいて、乗算器の出力をレジスタに加算することができる。

上述したように、ＭＡＣユニット１４０は、乗算および加算両方の機能を実施することができる。ＭＡＣユニット１４０は２つの段階で演算することができる。ＭＡＣユニット１４０は、最初に、第１の段階で所与の数（入力）の積を計算し、結果を第２の段階の演算（例えば、加算および／または累算）のために転送することができる。ｎビットのＭＡＣユニット１４０は、ｎビット乗算器、２ｎビット加算器、および２ｎビット累算器を含むことができる。（例えば、ＰＥにおける）複数のＭＡＣユニット１４０またはＭＡＣユニットのアレイ１４０は、並列積分、畳み込み、相関、行列乗算、データ分類、および／またはデータ解析タスクのため、シストリックアレイの形で配置することができる。

本明細書に記載する様々なシステムおよび／またはデバイスを、コンピューティングシステムに実装することができる。図１Ｄは、代表的なコンピューティングシステム１５０のブロック図を示している。いくつかの実施形態では、図１Ａのシステムは、コンピューティングシステム１５０の処理装置１５６の少なくとも一部を形成することができる。コンピューティングシステム１５０は、例えば、スマートフォン、他の移動電話、タブレットコンピュータ、ウェアラブルコンピューティングデバイス（例えば、スマートウォッチ、眼鏡、ヘッドマウントディスプレイ）、デスクトップコンピュータ、ラップトップコンピュータなどのデバイス（例えばコンシューマデバイス）として実装するか、あるいは分散型コンピューティングデバイスを実装することができる。コンピューティングシステム１５０は、ＶＲ、ＡＲ、ＭＲ体験を提供するために実装することができる。いくつかの実施形態では、コンピューティングシステム１５０は、プロセッサ１５６、記憶デバイス１５８、ネットワークインターフェース１５１、ユーザ入力デバイス１５２、およびユーザ出力デバイス１５４など、従来の専用またはカスタムのコンピュータ構成要素を含むことができる。

ネットワークインターフェース１５１は、（ローカル／リモート）サーバまたはバックエンドシステムのネットワークインターフェースも接続される、ローカル／ワイドエリアネットワーク（例えば、インターネット）に対する接続を提供することができる。ネットワークインターフェース１５１は、有線インターフェース（例えば、イーサネット）、ならびに／あるいはＷｉ－Ｆｉ、ブルートゥース、またはセルラーデータネットワーク規格（例えば、３Ｇ、４Ｇ、５Ｇ、６０ＧＨｚ、ＬＴＥなど）などの様々なＲＦデータ通信規格を実装する無線インターフェースを含むことができる。

ユーザ入力デバイス１５２は、ユーザがコンピューティングシステム１５０に信号を提供するのに用いることができる、任意のデバイス（または複数のデバイス）を含むことができ、コンピューティングシステム１５０は、特定のユーザ要求または情報を示すものとして信号を解釈することができる。ユーザ入力デバイス１５２は、キーボード、タッチパッド、タッチスクリーン、マウスもしくは他のポインティングデバイス、スクロールホイール、クリックホイール、ダイアル、ボタン、スイッチ、キーパッド、マイクロフォン、センサ（例えば、モーションセンサ、視線追跡センサなど）などのいずれかまたは全てを含むことができる。

ユーザ出力デバイス１５４は、コンピューティングシステム１５０がユーザに情報を提供するのに用いることができる、任意のデバイスを含むことができる。例えば、ユーザ出力デバイス１５４は、コンピューティングシステム１５０によって生成されるかまたは該システムに送達される画像を表示する、ディスプレイを含むことができる。ディスプレイは、例えば、液晶ディスプレイ（ＬＣＤ）、有機発光ダイオード（ＯＬＥＤ）を含む発光ダイオード（ＬＥＤ）、投影システム、陰極線管（ＣＲＴ）などの様々な画像生成技術を、サポートしている電子部品（例えば、デジタル・アナログもしくはアナログ・デジタル変換器、信号プロセッサなど）とともに組み込むことができる。入力および出力両方のデバイスとして機能する、タッチスクリーンなどのデバイスを使用することができる。出力デバイス１５４は、ディスプレイに加えてまたはディスプレイの代わりに提供することができる。例としては、インジケータ光、スピーカ、触覚「ディスプレイ」デバイス、プリンタなどが挙げられる。

いくつかの実現例としては、コンピュータプログラム命令をコンピュータ可読記憶媒体に格納する、マイクロプロセッサ、記憶装置、およびメモリなどの電子構成要素が挙げられる。本明細書に記載する特徴の多くは、コンピュータ可読記憶媒体として符号化されたプログラム命令のセットとして指定される、プロセスとして実現することができる。これらのプログラム命令は、１つまたは複数のプロセッサによって実行されると、プログラム命令に示されている様々な動作をプロセッサに実施させる。プログラム命令またはコンピュータコードの例としては、コンパイラによって作成されるものなどの機械コード、およびインタープリタを使用してコンピュータ、電子構成要素、またはマイクロプロセッサによって実行される、より高次のコードを含むファイルが挙げられる。好適なプログラミングを通して、プロセッサ１５６は、コンピューティングシステム１５０に対して、サーバまたはクライアントによって実施されるものとして本明細書に記載する機能性、またはメッセージ管理サービスと関連付けられた他の機能性のいずれかを含む、様々な機能性を提供することができる。

コンピューティングシステム１５０は例示であり、変形および修正が可能であることが認識されるであろう。本発明と関連して使用されるコンピュータシステムは、本明細書には具体的に記載しない他の能力を有することができる。更に、コンピューティングシステム１５０について、特定のブロックを参照して記載しているが、該ブロックは説明の便宜上定義されているものであり、構成部品の特定の物理的配置を示唆しようとするものではないことが理解されるべきである。例えば、異なるブロックを、同じ設備に、同じサーバラックに、または同じマザーボード上に配置することができる。更に、ブロックは必ずしも物理的に別個の構成要素に対応していなくてもよい。ブロックは、例えば、プロセッサをプログラミングするか、または適切な制御回路類を提供することによって、様々な動作を実施するように構成することができ、様々なブロックは、初期の構成がどのように得られるかに応じて再構成可能であってもなくてもよい。本発明の実現例は、回路類およびソフトウェアの任意の組み合わせを使用して実現された電子デバイスを含む、様々な装置において現実化されてもよい。＜ＡＩハードウェアのための定型文言の終了＞

Ｂ．ヘッドマウントディスプレイのためのシステム、方法、およびデバイス
ＡＲシステムは、適切な深度においてユーザに画像を提示するために、（頭部装着型ディスプレイ（ＨＷＤ）と呼ばれることもある）ＨＭＤを使用することができる。ＨＭＤは、シーンにおけるオブジェクトまたは特徴のための深度情報を決定し、（例えば、深度情報に少なくとも部分的に応答して）決定された深度においてそれらのオブジェクトおよび特徴をレンダリングすることができる。例えば、ＨＭＤは、左眼画像および右眼画像を連続してまたは同時に提示することによってなど、立体的に閲覧され得る画像を提示するために使用され、ユーザが、３Ｄ環境を知覚することができるようにすることができる。ＨＭＤまたはＡＲシステムは、左眼および右眼画像など、複数の視点からの画像をキャプチャする、１つまたは複数のカメラを含むことができる。

ＨＭＤまたはＡＲシステムは、ＨＭＤのユーザの眼の位置および配向を監視またはトラッキングするために、プロセッサ、アイトラッキングセンサ、またはそれらの組み合わせによって少なくとも部分的に動作させられてもよい、アイトラッキング動作を使用することができる。例えば、アイトラッキング動作は、ユーザが凝視している方向を決定するために使用され得る。アイトラッキング動作は、画像が、ユーザの眼に対してどこに表示されるべきであるかを決定するためになど、ユーザに画像を提示するために使用されるＨＭＤまたはＡＲシステムの構成要素に方向情報を提供することができる。

いくつかの実施形態では、システムは、カメラまたは深度センサからのセンサデータを使用することによってなど、ＨＭＤまたはＡＲシステムの周りのシーンまたは環境におけるオブジェクトの位置に基づいて、シーンの理解を決定することができる。システムは、ユーザが、オブジェクトを保持または動かしている、オブジェクトを凝視している、またはオブジェクトと関連付けられたテキストを読んでいると決定することによってなど、センサデータに基づいて、ユーザが、１つまたは複数のオブジェクトと対話していると決定することができる。システムは、オブジェクトが、ユーザの凝視方向の閾値範囲にある唯一のオブジェクトであることに基づいて、ユーザが、オブジェクトと対話していると決定することができる。システムは、オブジェクトが音を出力していることを検出することによってなど、音声キューに基づいて、ユーザが、オブジェクトと対話していると決定することができる。システムは、可変焦点システムが、よせ運動面に一致するように焦点を調整することができるようによせ運動面を推定するために、凝視方向またはオブジェクトの位置を使用することによってなど、よせ運動キューとして凝視方向情報を使用して可変焦点システムを較正することができる。システムは、アイトラッキングのための機械学習モデルを動作させることができる。システムは、ＨＭＤの１つまたは複数の導波路の動的均一性補正をできるようにするためになど、ＨＭＤによるレンダリングおよびプロジェクタ出力を補正するために瞳孔位置を識別するために、アイトラッキング較正を使用することができる。システムは、アイトラッキングの較正を使用して、窩状レンダリングを実施することができる。

次に図２Ａを参照すると、システム２８０は、複数のセンサ２３８ａ．．．ｎ、処理回路類２５０、および１つまたは複数のディスプレイ２６４を含むことができる。システム２８０は、図２Ｂを参照しながら説明されるＨＭＤシステム２００を使用して実現されてもよい。システム２８０は、図４を参照しながら説明されるコンピューティング環境を使用して実現されてもよい。システム２８０は、ＶＲシステムの特徴を組み込み、ＶＲシステムの特徴を実現するために使用されてもよい。処理回路類２５０の少なくとも一部は、ＧＰＵを使用して実現されてもよい。処理回路類２５０の機能は、複数の処理装置を使用して、分散された様式で実行されてもよい。

処理回路類２５０は、１つまたは複数の回路、プロセッサ、および／またはハードウェア構成要素を含んでもよい。処理回路類２５０は、本明細書で説明される動作のうちのいずれかを実施するために、任意の論理、機能または命令を実現してもよい。処理回路類２５０は、回路、プロセッサまたはハードウェア構成要素のうちのいずれかによって実行可能な任意のタイプおよび形態の実行可能命令を含むことができる。実行可能命令は、アプリケーション、プログラム、サービス、タスク、スクリプト、ライブラリプロセスおよび／またはファームウェアを含む、任意のタイプのものであってもよい。オブジェクト位置検出器２２２、アイトラッカー２４４、または画像レンダラ２６０のうちのいずれかは、それらのそれぞれの機能および動作を実施するための、回路類および実行可能命令の任意の組み合わせまたは配置であってもよい。処理回路類２５０の少なくともいくつかの部分は、センサ２３８によって実行される画像処理を実現するために使用されてもよい。

センサ２３８ａ．．．ｎは、ビデオカメラを含む、画像キャプチャデバイスまたはカメラであってもよい。センサ２３８ａ．．．ｎは、相対的に低い品質（例えば、相対的に低い鮮明度、解像度、またはダイナミックレンジ）の画像を生成するカメラであってもよく、これは、システム２８０のＳＷＡＰを低減するのを助けることができる。例えば、センサ２３８ａ．．．ｎは、数百ピクセル×数百ピクセル程度の解像度を有する画像を生成することができる。同時に、本明細書で説明されるシステム２８０によって実行されるプロセスは、深度特性を含む所望の品質特性を有する、ユーザへの提示のための表示画像を生成するために使用されてもよい。

（概して、センサ２３８と本明細書において呼ばれる）センサ２３８ａ．．．ｎは、任意のタイプの１つまたは複数のカメラを含むことができる。カメラは、可視光カメラ（例えば、カラーまたは白黒）、赤外線カメラ、あるいはそれらの組み合わせであってもよい。センサ２３８ａ．．．ｎは、各々、（概して、レンズ２２６と本明細書において呼ばれる）１つまたは複数のレンズ２２６ａ．．．ｊを含むことができる。いくつかの実施形態では、センサ２３８は、各レンズ２２６についてカメラを含むことができる。いくつかの実施形態では、センサ２３８は、複数のレンズ２２６ａ．．．ｊをもつ単一のカメラを含む。いくつかの実施形態では、センサ２３８は、各々が複数のレンズ２２６をもつ、複数のカメラを含むことができる。センサ２３８の１つまたは複数のカメラは、所定の解像度であり、および／または所定の視野を有するように選択または設計されてもよい。いくつかの実施形態では、１つまたは複数のカメラは、拡張現実のためのＨＭＤの視野中のなど、オブジェクトを検出およびトラッキングするための解像度および視野を有するように選択および／または設計される。１つまたは複数のカメラは、画像キャプチャデバイスによってキャプチャされたシーンまたは環境におけるオブジェクトをトラッキングすること、および本明細書で説明される較正技法を実施することなど、複数の目的のために使用されてもよい。

センサ２３８およびレンズ２２６の１つまたは複数のカメラは、ＨＭＤのユーザまたは着用者の左眼ビュー、およびユーザまたは着用者の右眼ビューに対応するように、ＨＭＤ上に取り付けられるか、統合されるか、組み込まれるかまたは配置されてもよい。例えば、ＨＭＤは、着用者の左眼に対応するかまたは左眼の近くの、ＨＭＤの左側に前向きに取り付けられた第１のレンズをもつ第１のカメラと、着用者の右眼に対応するかまたは右眼の近くの、ＨＭＤの右側に前向きに取り付けられた第２のレンズをもつ第２のカメラとを含んでもよい。左カメラおよび右カメラは、立体画像キャプチャリングを提供するカメラの前向きペアを形成してもよい。いくつかの実施形態では、ＨＭＤは、第１および第２のカメラの間の第３のカメラ、ＨＭＤの上側に向かうオファー、ならびに第１、第２および第３のカメラの間で三角形状を形成することなど、１つまたは複数の追加のカメラを有してもよい。この第３のカメラは、本解決策の深度バッファ生成技法を実施する際の三角測量技法のために、ならびにオブジェクトトラッキングのために使用されてもよい。

システム２８０は、第１のレンズ２２６ａを含む第１のセンサ（例えば、画像キャプチャデバイス）２３８ａであって、第１のビューの第１の画像２３４ａをキャプチャするように配置された第１のセンサ２３８ａと、第２のレンズ２２６ｂを含む第２のセンサ２３８ｂであって、第２のビューの第２の画像２３４ｂをキャプチャするように配置された第２のセンサ２３８ｂとを含むことができる。第１のビューおよび第２のビューは、異なる視点に対応し、深度情報が、第１の画像２３４ａおよび第２の画像２３４ｂから抽出されることができるようにしてもよい。例えば、第１のビューは、左眼ビューに対応してもよく、第２のビューは、右眼ビューに対応してもよい。システム２８０は、第３のレンズ２２６ｃを含む第３のセンサ２３８ｃであって、第３のビューの第３の画像２３４ｃをキャプチャするように配置された第３のセンサ２３８ｃを含むことができる。図２Ｂを参照しながら説明されるように、第３のビューは、第１のレンズ２２６ａおよび第２のレンズ２２６ｂの間の軸から離間された上側ビューに対応してもよく、これは、第１のレンズ２２６ａおよび第２のレンズ２２６ｂの間の軸に実質的に平行であるエッジ（例えば、テーブルのエッジ）など、第１のセンサ２３８ａおよび第２のセンサ２３８ｂを用いて対処することが困難であることがある深度情報を、システム２８０がより効果的に扱うことができるようにすることができる。

センサ２３８ａ．．．ｎによってキャプチャされるべき画像の光は、１つまたは複数のレンズ２２６ａ．．．ｊを通して受光されてもよい。センサ２３８ａ．．．ｎは、１つまたは複数のレンズ２２６ａ．．．ｊを介して受光された光を検出し、受光された光に基づいて画像２３４ａ．．．ｋを生成することができる、限定はされないが、電荷結合デバイス（ＣＣＤ）または相補型金属酸化物半導体（ＣＭＯＳ）回路類を含む、センサ回路類を含むことができる。例えば、センサ２３８ａ．．．ｎは、第１のビューに対応する第１の画像２３４ａ、および第２のビューに対応する第２の画像２３４ｂを生成するために、センサ回路類を使用することができる。１つまたは複数のセンサ２３８ａ．．．ｎは、処理回路類２５０に画像２３４ａ．．．ｋを提供することができる。１つまたは複数のセンサ２３８ａ．．．ｎは、画像２３４ａ．．．ｋに、対応するタイムスタンプを提供することができ、これは、凝視情報を計算するために互いに比較されるべきである、第１および第２のビューを表し、同じタイムスタンプを有する特定の第１および第２の画像２３４ａ、２３４ｂを識別するためになど、画像処理が画像２３４ａ．．．ｋに対して実行されるとき、画像２３４ａ．．．ｋの同期を容易にすることができる。

センサ２３８は、ＨＭＤのユーザ（例えば、着用者）の眼または頭の位置、配向、または凝視方向など、情報を提供することができる、アイトラッキングセンサ２３８またはヘッドトラッキングセンサ２３８を含むことができる。いくつかの実施形態では、センサ２３８は、ヘッドトラッキング動作のための画像を提供するように構成されたトラッキングカメラの裏返しである。センサ２３８は、ユーザの一方または両方の眼の位置または配向のうちの少なくとも１つに対応するデータなど、アイトラッキングデータ２４８を提供するアイトラッキングセンサ２３８であってもよい。センサ２３８は、（例えば、ＨＭＤの外部の環境の画像をキャプチャするセンサ２３８と比較して）ユーザの眼に向かう方向に配向されてもよい。例えば、センサ２３８は、ユーザの眼に関するセンサデータを検出するために、ユーザの眼に向かって配向されてもよい（例えば、図２Ｂ中に示されている）少なくとも１つの第４のセンサ２３８ｄを含むことができる。

いくつかの実施形態では、センサ２３８は、眼位置または眼の凝視方向を検出するために処理されてもよい、ユーザの眼の画像を出力する。いくつかの実施形態では、センサ２３８は、ユーザの眼に関する画像データを処理し、画像データに基づいて、眼位置または凝視方向を出力する。いくつかの実施形態では、センサ２３８は、眼に向かって光（例えば、赤外光）を発することと、発せられた光の反射を検出することとによってなど、眼の動きを光学的に測定する。

本明細書で更に説明されるように、アイトラッキング動作は、ユーザの眼が、ＨＭＤの使用中に動くとき、ユーザの眼の位置または配向（例えば、凝視方向）など、ユーザの眼に関するデータをトラッキングするために、システム２８０またはシステム２８０の構成要素によって実行される任意の機能、動作、ルーチン、論理、または命令を含むことができる。例えば、アイトラッキング動作は、１つまたは複数のセンサ２３８またはアイトラッカー２４４のうちの少なくとも１つを使用して実施されてもよい。例えば、アイトラッキング動作は、ユーザの眼の眼位置２３６を決定するために、センサ２３８からのアイトラッキングデータ２４８を処理することができる。いくつかの実施形態では、アイトラッキング動作は、ユーザの眼に関するセンサデータを検出する１つまたは複数のセンサ２３８と同じ回路板と結合されるか、同じ回路板に取り付けられるか、同じ回路板と一体であるか、同じ回路板を使用して実現されるか、またはさもなければ１つまたは複数のセンサ２３８を備える、処理回路類２５０の一部分を使用して実装されたアイトラッカー２４４を使用して実施されてもよい（オブジェクト位置検出器２２２または画像レンダラ２６０のうちの少なくとも１つとは異なる処理ハードウェアを使用して実現されてもよい）。いくつかの実施形態では、アイトラッキング動作は、ユーザの眼に関するセンサデータ（例えば、ユーザの眼の画像）を検出するように構成された１つまたは複数のセンサ２３８から、有線またはワイヤレス接続によってセンサデータを受信するアイトラッカー２４４を使用して実施されてもよく、例えば、アイトラッカー２４４は、オブジェクト位置検出器２２２または画像レンダラ２６０のうちの少なくとも１つと同じ処理ハードウェアを使用して実現されてもよい。センサ２３８のセンサハードウェアおよび／または処理回路類２５０の処理ハードウェアの様々なそのような組み合わせが、アイトラッキング動作を実現するために使用されてもよい。

アイトラッカー２４４は、様々な様式で眼位置２３６を生成することができる。例えば、アイトラッカー２４４は、ユーザの１つまたは複数の眼の位置または配向のうちの少なくとも１つを表す１つまたは複数のピクセルを識別するために、アイトラッキングデータ２４８を処理することができる。アイトラッカー２４４は、アイトラッキングデータ２４８を使用して、ユーザの１つまたは複数の眼によって反射された光（例えば、８５０ｎｍ光アイトラッキングなど、センサ２３８からの赤外線または近赤外光など、センサ２３８からの光）に対応するピクセルに基づいて、眼位置２３６を識別することができる。アイトラッカー２４４は、導波路、コンバイナ、またはレンズカメラからのなど、ＨＭＤまたはＡＲシステムにおける様々な照明光源または反射からの光を使用することができる。アイトラッカー２４４は、ユーザの１つまたは複数の眼の瞳孔中心と、対応する反射（例えば、角膜反射）との間のベクトルを決定することによって、眼位置２３６または凝視方向を決定することができる。眼位置２３６は、ユーザの１つまたは複数の眼の各々の位置または配向のうちの少なくとも１つなど、位置データを含むことができる。位置データは、カルテシアン、球状、または他の座標系における３次元座標など、３次元空間中にあってもよい。眼位置２３６は、ユーザの１つまたは複数の眼の凝視方向を含む位置データを含むことができる。

いくつかの実施形態では、アイトラッカー２４４は、機械学習モデルを含む。機械学習モデルは、アイトラッキングデータ２４８に基づいて眼位置２３６を生成するために使用されてもよい。例えば、アイトラッキングデータ２４８は、眼位置２３６（または眼位置２３６の凝視方向）を出力することができる、機械学習モデルへの入力として適用されてもよい。機械学習モデルは、履歴アイトラッキングデータ２４８と、アイトラッキングデータ２４８に対応すると決定された眼位置２３６など、対応する履歴またはラベル付き眼位置２３６とを含む訓練データを使用して訓練されてもよい。機械学習モデルは、アイトラッキング動作の連続的較正をできるようにするために、アイトラッキングデータ２４８を使用して連続的に更新されてもよい。機械学習モデルは、機械学習モデルによって生成された候補出力と、履歴眼位置２３６との間の差を監視することと、差を低減するように機械学習モデルを修正することとによって訓練されてもよい。例えば、目的関数またはコスト関数が、差を使用して評価されてもよく、機械学習モデルは、目的関数またはコスト関数を使用して修正されてもよい。いくつかの実施形態では、機械学習モデルは、ニューラルネットワークを含む。ニューラルネットワークは、第１の層（例えば、入力層）、第２の層（例えば、出力層）、および１つまたは複数の隠れ層など、各々が１つまたは複数のノード（例えば、ニューロン、パーセプトロン）を含む、複数の層を含むことができる。ニューラルネットワークは、処理回路類２５０が、訓練データを使用してニューラルネットワークを訓練するために修正することができる、層のノードの間で実施されてもよい計算と関連付けられた重みおよびバイアスなど、特性を含むことができる。

センサ２３８は、センサ２３８の周りの環境の画像２３４をキャプチャすることができる。例えば、センサ２３８は、ＨＭＤのユーザの視野中のまたは周りの環境の画像２３４をキャプチャすることができる。画像２３４は、環境からキャプチャされた光のパラメータ（例えば、色、輝度、強度）を表す、ピクセルのカラーまたはグレースケールアレイまたは行列など、環境の表現であってもよい。環境は、空、雲、道路、建築物、街路、歩行者、またはサイクリストを含む、自然および人工構造物の両方、地形、または他のオブジェクトを含む、屋内または屋外環境であってもよい。環境は、センサによってキャプチャされた画像２３４によって表されてもよい、１つまたは複数のオブジェクト（例えば、現実世界のオブジェクト）を含むことができる。

処理回路類２５０は、オブジェクト位置検出器２２２を含むことができる。オブジェクト位置検出器２２２は、センサ２３８から画像２３４を受信することができる。オブジェクト位置検出器２２２は、画像２３４によって表された１つまたは複数のオブジェクトを検出するために、画像２３４または画像２３４の部分を処理することができる。例えば、オブジェクト位置検出器２２２は、色、形状、エッジを示すピクセルまたはピクセルのグループ、ピクセルまたはピクセルのグループの間のコントラスト、およびピクセルの間の空間関係を処理することによってなど、ピクセルまたはピクセルのグループなど、画像２３４の要素を処理することによって、画像２３４によって表されたオブジェクトを検出または識別することができる。オブジェクト位置検出器２２２は、空間フィルタ、セグメンテーション、またはオブジェクトを検出するように訓練された機械学習モデルを実行することによって、オブジェクトを検出することができる。オブジェクト位置検出器２２２は、エッジを表すピクセルのグループなど、画像２３４から候補オブジェクトを識別し、候補オブジェクトを、１つまたは複数のテンプレートオブジェクト（例えば、オブジェクトデータベース中のテンプレートオブジェクト、またはテンプレートオブジェクトの特徴）と比較し、テンプレートオブジェクトに一致する候補オブジェクトに基づいて、画像２３４のオブジェクトを識別することができる。オブジェクト位置検出器２２２は、オブジェクトを識別するために、様々なオブジェクト認識アルゴリズムまたはモデルを適用することができる。オブジェクトは、現実世界のまたはシミュレートされたオブジェクトであってもよい。

いくつかの実施形態では、オブジェクト位置検出器２２２は、画像２３４中のオブジェクトのタイプ、クラス、または他の識別子を具体的に識別しない。オブジェクト位置検出器２２２は、オブジェクトが、センサ２３８によって検出されたという指示をセンサ２３８から受信することができる。例えば、オブジェクト位置検出器２２２は、特定の画像２３４がオブジェクトを表すという指示を受信することができる（その場合、オブジェクト位置検出器２２２は、オブジェクトに対応する１つまたは複数のピクセルを識別するために、画像２３４を処理することができる）。いくつかの実施形態では、指示は、オブジェクトに対応する１つまたは複数のピクセルを含むことができる。

いくつかの実施形態では、オブジェクト位置検出器２２２は、様々なオブジェクト、建築物、構造物、道路、または他の屋内および屋外特徴の位置データを含むことができるオブジェクトデータベースを使用して、オブジェクトを検出する。例えば、オブジェクト位置検出器２２２は、位置データにオブジェクトまたはオブジェクトの特徴をマッピングするオブジェクトデータベースと通信することができる。オブジェクトデータベースはまた、オブジェクトに関するタイプ、クラス、形状、色、サイズ、または他の特徴に関する情報など、オブジェクトに関するセマンティックまたはテキスト情報を維持してもよい。オブジェクトデータベースは、（センサ２３８によって検出された画像２３４を使用して更新されてもよい）画像データを使用する環境の再構成に基づいてもよい。オブジェクトデータベースは、維持され、（例えば、セマンティックまたはテキスト情報または記述子を生成するために）処理され、システム２８０が、オブジェクトデータベースにアクセスするためにそれと通信することができる、システム２８０からリモートにあるサーバによって更新されてもよい。オブジェクト位置検出器２２２は、（例えば、図２Ｂを参照しながら説明される位置センサ２２０から）ＨＭＤまたはＡＲシステムの位置に関するデータを受信し、オブジェクトデータベースから１つまたは複数の候補オブジェクトを検索するために、データを使用することができる。オブジェクト位置検出器２２２は、（例えば、センサデータを、オブジェクトデータベースから受信された情報と照合することによって）オブジェクトを識別するために、センサデータを、１つまたは複数の候補オブジェクト、および１つまたは複数の候補オブジェクトに関してオブジェクトデータベースによって維持された情報と比較することができる。

オブジェクト位置検出器２２２は、画像２３４、または画像２３４がオブジェクトを表すという指示など、センサ２３８から受信された情報を使用して、オブジェクトの位置を決定することができる。例えば、オブジェクト位置検出器２２２は、オブジェクトに対応する１つまたは複数のピクセルを識別することができる。いくつかの実施形態では、オブジェクト位置検出器２２２は、オブジェクトの位置としてオブジェクトに対応する１つまたは複数のピクセルを割り当てることによってなど、画像２３４の画像空間中の位置としてオブジェクトの位置を決定する。いくつかの実施形態では、オブジェクト位置検出器２２２は、オブジェクトの位置を決定するために深度情報を使用することによってなど、３次元空間（例えば、実世界空間、ＡＲまたはＶＲ空間、ＨＭＤまたはＡＲシステムの周りの環境における空間）中の位置としてオブジェクトの位置を決定する。

オブジェクト位置検出器２２２は、オブジェクトの位置に向かう凝視方向など、オブジェクトの位置を使用して凝視方向を決定することができる。例えば、オブジェクト位置検出器２２２は、ユーザの眼の予想される位置を識別し、ユーザの眼からオブジェクトの位置への（またはその逆の）ベクトルを決定することができる。いくつかの実施形態では、予想される位置は、左眼位置および右眼位置を含み、オブジェクト位置検出器２２２は、左眼位置および右眼位置を平均化すること、または左眼位置からオブジェクトの位置への、および右眼位置からオブジェクトの位置へのそれぞれのベクトルを平均化することによってなど、左眼位置および右眼位置を使用して凝視方向を決定することができる。

処理回路類２５０は、ユーザがオブジェクトを凝視していることを検出することができる。例えば、処理回路類２５０は、（例えば、オブジェクト位置検出器２２２が、それの位置を決定しなかった他のオブジェクトと比較して）ユーザがオブジェクトを凝視していることを検出するために、ユーザの眼に関するセンサデータ、またはコンテキスト情報など、シーンの理解を使用することができる。処理回路類２５０は、ユーザが、オブジェクトを凝視しているかどうかに関する信頼度スコアを各オブジェクトに割り当てることによってなど、ユーザがオブジェクトを凝視していることを検出するために、センサデータの任意の組み合わせを使用し、センサデータの寄与から重み付き平均として信頼度スコアを決定することができる。処理回路類２５０は、信頼度スコアを閾値信頼度と比較し、信頼度スコアが、閾値信頼度を満たすかまたは超えることに反応して、ユーザが、オブジェクトを凝視していることを検出することができる。いくつかの実施形態では、処理回路類２５０は、オブジェクトが、シーンにおける（例えば、ＨＭＤの視野中の）せいぜい閾値数のオブジェクトのうちの１つであることに基づいて、相対的により高い信頼度スコアをオブジェクトに割り当てる。例えば、オブジェクトが、シーンにおける唯一のオブジェクトである場合、ユーザが、オブジェクトを凝視していることのより大きい尤度があることがある。オブジェクトが、別の話者など、顔であるかまたは顔を含むことが検出された場合、ユーザが、オブジェクトを凝視していることのより大きい尤度があることがある。

処理回路類２５０は、画像レンダラ２６０を含むことができる。画像レンダラ２６０は、３Ｄ画像レンダラであってもよい。画像レンダラ２６０は、ＨＭＤを介してなど、１つまたは複数のディスプレイデバイス上に表示または提示すべき表示または提示画像を処理、生成およびレンダリングするために、画像に関連する入力データを使用してもよい。画像レンダラ２６０は、ディスプレイ２６４上での表示のためのシーンまたはビューの２Ｄ画像であって、３Ｄ様式でシーンまたはビューを表す２Ｄ画像を生成または作成することができる。レンダリングされるべき表示または提示データは、シーンまたはビューにおける３Ｄオブジェクトの幾何学的モデルを含むことができる。画像レンダラ２６０は、センサ２３８によってキャプチャされた画像２３４のための３Ｄ表示データなど、所望または所定の３Ｄ画像を提供するためにレンダリングされるべき表示または画像データのピクセル値を決定、計算または算出してもよい。画像レンダラ２６０は、画像２３４を受信し、眼位置２３６を受信し、眼位置２３６（または眼位置２３６に対応する凝視方向）に基づいて、ディスプレイ２６４による提示のために拡張現実情報をどこに配置すべきかを決定するためになど、画像２３４および眼位置２３６を使用して、表示画像を生成することができる。

画像レンダラ２６０は、時間および／または空間パラメータに基づいて、１つまたは複数のディスプレイ２６４への表示データのフレームをレンダリングすることができる。画像レンダラ２６０は、画像が、センサ２３８によってキャプチャされた時間に対応するなど、時間的に連続して画像データのフレームをレンダリングすることができる。画像レンダラ２６０は、ＨＭＤの位置および配向など、センサ２３８に対する位置および／または配向の変化に基づいて、表示データのフレームをレンダリングすることができる。画像レンダラ２６０は、左眼ビューを表示し、その後に右眼ビューを表示すること、またはその逆など、左眼ビューおよび右眼ビューに基づいて、表示データのフレームをレンダリングすることができる。

画像レンダラ２６０は、画像２３４ａ．．．ｋをキャプチャしたセンサ２３８ａ．．．ｎの移動に関する動きデータを使用して、表示画像を生成することができる。例えば、センサ２３８ａ．．．ｎは、（例えば、図２ＢのＨＭＤシステム２００に関して説明される）センサ２３８ａ．．．ｎを含むＨＭＤを着用するユーザの頭の移動により、位置または配向のうちの少なくとも１つが変化してもよい。処理回路類２５０は、位置センサ（例えば、図２Ｂを参照しながら説明される位置センサ２２０）から動きデータを受信することができる。画像レンダラ２６０は、画像２３４ａ．．．ｋがキャプチャされた第１の時点と、表示画像が表示される第２の時点との間での位置または配向のうちの少なくとも１つの変化を算出するために、動きデータを使用し、算出された変化を使用して、表示画像を生成することができる。画像レンダラ２６０は、画像２３４ａ．．．ｋに対して表示画像を補間および／または外挿するために、動きデータを使用することができる。

画像レンダラ２６０は、処理回路類２５０の一部として示されているが、画像レンダラは、例えば、ＨＭＤ内のディスプレイデバイスなど、別個のデバイスまたは構成要素の他の処理回路類の一部として形成されてもよい。

システム２８０は、１つまたは複数のディスプレイ２６４を含むことができる。１つまたは複数のディスプレイ２６４は、任意のタイプおよび形態の電子視覚ディスプレイであってもよい。ディスプレイは、所定の解像度およびリフレッシュレートおよびサイズを有するか、または所定の解像度およびリフレッシュレートおよびサイズをもって選択されてもよい。１つまたは複数のディスプレイは、ＬＣＤ、ＬＥＤ、ＥＬＥＤまたはＯＬＥＤベースディスプレイなど、任意のタイプの技術のものであってもよい。１つまたは複数のディスプレイのフォームファクタは、眼鏡またはゴーグルとしてＨＭＤ内にフィットするようなものであってもよく、そこにおいて、ディスプレイは、眼鏡またはゴーグルのフレーム内の傾きである。ディスプレイ２６４は、処理回路類２５０または画像レンダラ２６０またはセンサ２３８のリフレッシュのレートまたはフレームレートと同じまたは異なるリフレッシュレートを有してもよい。ディスプレイ２６４は、１つまたは複数の導波路（例えば、図２Ｂを参照しながら説明される導波路２２８）を含むことができ、したがって、アイトラッキング動作の較正は、アイトラッキングによって示された瞳孔位置を使用して、導波路の動作をより正確に制御するために使用されてもよい。

次に図２Ｂを参照すると、いくつかの実現例では、ＨＭＤシステム２００は、システム２８０を実現するために使用されてもよい。ＨＭＤシステム２００は、ＨＭＤ本体２０２、左センサ２３８ａ（例えば、左画像キャプチャデバイス）、右センサ２３８ｂ（例えば、右画像キャプチャデバイス）、およびディスプレイ２６４を含むことができる。ＨＭＤ本体２０２は、眼鏡またはヘッドセットなど、様々なフォームファクタを有してもよい。センサ２３８ａ、２３８ｂは、ＨＭＤ本体２０２に取り付けられるか、またはＨＭＤ本体２０２において統合されてもよい。左センサ２３８ａは、第１のビュー（例えば、左眼ビュー）に対応する第１の画像をキャプチャすることができ、右センサ２３８ｂは、第２のビュー（例えば、右眼ビュー）に対応する画像をキャプチャすることができる。

ＨＭＤシステム２００は、上側センサ２３８ｃ（例えば、上側画像キャプチャデバイス）を含むことができる。上側センサ２３８ｃは、第１のビューまたは第２のビューとは異なる第３のビューに対応する画像をキャプチャすることができる。例えば、上側センサ２３８ｃは、左センサ２３８ａと右センサ２３８ｂとの間に、および左センサ２３８ａと右センサ２３８ｂとの間のベースラインの上に位置決めされてもよい。これは、左および右センサ２３８ａ、２３８ｂによってキャプチャされた画像から容易に抽出されないことがある深度情報をもつ画像を、上側センサ２３８ｃがキャプチャすることができるようにすることができる。例えば、深度情報は、エッジ（例えば、テーブルのエッジ）が、左および右センサ２３８ａ、２３８ｂの間のベースラインに平行である、左および右センサ２３８ａ、２３８ｂによってキャプチャされた画像から効果的に抽出されることが困難であることがある。ベースラインから離間された上側センサ２３８ｃは、第３の画像を、異なる視点を有するようにキャプチャし、これにより、左および右センサ２３８ａ、２３８ｂとは異なる深度情報が、第３の画像から抽出されることができるようにすることができる。

ＨＭＤシステム２００は、センサ２３８ａ、２３８ｂ、および２３８ｃならびにアイトラッキングセンサ２３８からセンサデータを受信することと、アイトラッキング動作を較正するために、受信された画像を処理することとを含む、図２Ａを参照しながら説明された機能のうちの少なくともいくつかを実施することができる、処理回路類２５０を含むことができる。

ＨＭＤシステム２００は、通信回路類２０４を含むことができる。通信回路類２０４は、クライアントデバイス２０８またはサーバ２１２のうちの少なくとも１つに電子通信信号を送信し、クライアントデバイス２０８またはサーバ２１２のうちの少なくとも１つから電子通信信号を受信するために使用されてもよい。通信回路類２０４は、様々なシステム、デバイス、またはネットワークとのデータ通信を行うための有線またはワイヤレスインターフェース（例えば、ジャック、アンテナ、送信機、受信機、トランシーバ、ワイヤ端末）を含むことができる。例えば、通信回路類２０４は、イーサネットベース通信ネットワークを介してデータを送信および受信するためのイーサネットカードおよびポートを含むことができる。通信回路類２０４は、ローカルエリアネットワーク（例えば、建築物ＬＡＮ）、ワイドエリアネットワーク（例えば、インターネット、セルラーネットワーク）を介して通信し、および／または直接通信（例えば、ＮＦＣ、Ｂｌｕｅｔｏｏｔｈ）を行うことができる。通信回路類２０４は、有線および／またはワイヤレス通信を行うことができる。例えば、通信回路類２０４は、１つまたは複数のワイヤレストランシーバ（例えば、Ｗｉ－Ｆｉトランシーバ、Ｂｌｕｅｔｏｏｔｈトランシーバ、ＮＦＣトランシーバ、セルラートランシーバ）を含むことができる。例えば、通信回路類２０４は、クライアントデバイス２０８またはサーバ２１２のうちの少なくとも１つとの有線またはワイヤレス接続を確立することができる。通信回路類２０４は、クライアントデバイス２０８とのＵＳＢ接続を確立することができる。クライアントデバイス２０８は、クライアントデバイス２０８と通信回路類２０４との間の通信を容易にするための処理回路類２１６ａを含むことができる。類似的に、サーバ２１２は、サーバ２１２と通信回路類２０４との間の通信を容易にするための処理回路類２１６ｂを含むことができる。いくつかの実施形態では、処理回路類２１６は、通信回路類２０４および／または処理回路類２５０と同じであるかまたは類似する。処理回路類２１６は、図３Ａ～図３Ｃを参照しながら以下でより詳細に説明される、デバイス３０２の機能、プロセス、技法、データ処理などのうちのいずれかを実施するように構成されてもよい。

ＨＭＤシステム２００は、異なるアーキテクチャを使用して展開されてもよい。いくつかの実施形態では、ＨＭＤ（例えば、ＨＭＤ本体２０２、およびＨＭＤ本体２０２に取り付けられた構成要素）は、処理回路類２５０を備え、独立型ポータブルユニットである。いくつかの実施形態では、ＨＭＤは、ステージングデバイス、モバイルフォンまたはウェアラブルコンピューティングデバイスの形態のなど、処理回路類または処理回路類の部分を有する、任意のタイプのポータブルもしくはモバイルコンピューティングデバイスまたはコンパニオンデバイスと協働または連動して作動する、処理回路類２５０の部分を有する。いくつかの実施形態では、ＨＭＤは、デスクトップコンピューティングデバイスの、処理回路類または処理回路類の部分と協働または連動して作動する、処理回路類２５０の部分を有する。いくつかの実施形態では、ＨＭＤは、データセンタまたはクラウドコンピューティング環境においてリモートで展開されてもよい、サーバコンピューティングデバイスの、処理回路類または処理回路類の部分と協働または連動して作動する、処理回路類２５０の部分を有する。上記の実施形態のうちのいずれかにおいて、ＨＭＤ、またはＨＭＤと連動して作動する任意のコンピューティングデバイスは、本明細書で説明される機能性および動作のうちのいずれかを実施する際に、１つまたは複数のサーバと通信してもよい。

クライアントデバイス２０８は、モバイルまたはポータブルデバイス（電話、タブレット、ラップトップなど）、あるいはデスクトップまたはパーソナルコンピューティング（ＰＣ）デバイスなど、任意のフォームファクタの、任意のタイプおよび形態の汎用または専用コンピューティングデバイスであってもよい。いくつかの実施形態では、クライアントデバイスは、処理回路類または処理回路類の部分を有してもよい、ステージングデバイスの形態のなど、専用デバイスであってもよい。専用デバイスは、任意のタイプおよび形態のアクセサリアタッチメントを介して衣類または身体にクライアントデバイス２０８を取り付けることによってなど、ＨＭＤを着用しながら、ユーザによって携帯されるように設計されてもよい。クライアントデバイス２０８は、図１および図３に関連して説明される画像およびレンダリング処理パイプラインの任意の部分を実施するために使用されてもよい。ＨＭＤは、画像キャプチャおよびディスプレイ２６４へのレンダリングなど、画像およびレンダリング処理パイプラインのいくつかまたは他の部分を実施してもよい。ＨＭＤは、ＨＭＤのものよりも高い仕様を有し得るクライアントデバイス２０８の計算能力およびリソースを活用するために、クライアントデバイス２０８との間でデータを送信および受信することができる。

サーバ２１２は、１つまたは複数のクライアントデバイス２０８、あるいはクライアントとして働く他のデバイスに、アプリケーション、機能性またはサービスを提供する、任意のタイプまたは形態のコンピューティングデバイスであってもよい。いくつかの実施形態では、サーバ２１２は、クライアントデバイス２０８であってもよい。サーバ２１２は、１つまたは複数のネットワークを介してアクセス可能なデータセンタまたはクラウドコンピューティング環境において展開されてもよい。ＨＭＤおよび／またはクライアントデバイス２０８は、サーバ２１２の計算能力およびリソースを使用および活用することができる。ＨＭＤおよび／またはクライアントデバイス２０８は、図１および図３に関連して説明される画像およびレンダリング処理パイプラインの任意の部分を実現することができる。サーバ２１２は、図１および図３に関連して説明される画像およびレンダリング処理パイプラインの任意の部分、およびいくつかの場合には、クライアントデバイス２０８またはＨＭＤによって実施されない画像およびレンダリング処理パイプラインの任意の部分を実現することができる。サーバ２１２は、ＨＭＤおよび／またはクライアントデバイス２０８上のアプリケーション、ソフトウェア、実行可能命令および／またはデータに対する任意のアップデートを用いてＨＭＤおよび／またはクライアントデバイス２０８を更新するために、使用されてもよい。

システム２００は、位置センサ２２０を含むことができる。位置センサ２２０は、本体２０２の位置または配向のうちの少なくとも１つを出力することができる。画像キャプチャデバイス２３８ａ、２３８ｂ、２３８ｃが、（例えば、位置センサ２２０に対して所定の位置において）本体２０２に固定されてもよいとき、位置センサ２２０は、各センサ２３８ａ、２３８ｂ、２３８ｃの位置または配向のうちの少なくとも１つを出力することができる。位置センサ２２０は、慣性測定ユニット（ＩＭＵ）、加速度計、ジャイロスコープ、または磁力計（例えば、磁気コンパス）のうちの少なくとも１つを含むことができる。

システム２００は、可変焦点システム２２４を含むことができる。可変焦点システム２２４は、可変焦点距離を有することができ、したがって、可変焦点システム２２４は、焦点距離または倍率が変化するとき、焦点（例えば、焦点のポイントまたは面）を変更することができる。可変焦点システム２２４は、機械的レンズ、液体レンズ、または偏光ビームプレートのうちの少なくとも１つを含むことができる。

いくつかの実施形態では、ディスプレイ２６４は、１つまたは複数の導波路２２８を含む。導波路２２８は、１つまたは複数のプロジェクタ２３２から、ディスプレイ２６４によって表示されるべき表示画像に対応する光を受光（例えば、内部結合）し、ＨＭＤのユーザによる閲覧のためになど、表示画像を出力（例えば、内部結合）することができる。導波路２２８は、適切なスケールで表示画像を出力するために、受光された光の水平または垂直拡張を実施することができる。導波路２２８は、受光された光に基づいて表示画像を提供するために、１つまたは複数のレンズ、回折格子、偏光表面、反射表面、またはそれらの組み合わせを含むことができる。プロジェクタ２３２は、１つまたは複数の導波路２２８に提供されるべき光を生成するために、特に、ＬＣＤ、ＬＥＤ、ＯＬＥＤ、ＤＭＤ、またはＬＣＯＳデバイスなど、様々な投影デバイスのうちのいずれかを含むことができる。プロジェクタ２３２は、処理回路類２５０から（例えば、画像レンダラ２６０から）表示画像を受けることができる。１つまたは複数の導波路２２８は、（例えば、ＨＭＤの周りの実世界環境からの光を、出力された表示画像の光と組み合わせる）コンバイナとして動作するために、少なくとも部分的に透明であってもよい、ディスプレイ表面（例えば、ガラス）を通して提供されてもよい。

ディスプレイ２６４、および１つまたは複数の導波路２２８あるいは１つまたは複数のプロジェクタ２３２など、ディスプレイ２６４の構成要素の動作は、アイトラッキング動作の較正に反応して修正または制御されてもよい。例えば、処理回路類２５０は、１つまたは複数のプロジェクタ２３２が、較正されたアイトラッキング動作に基づいて、ユーザの各眼に対応する瞳孔位置に基づいて、１つまたは複数の導波路２２８を使用して表示画像を提供することを引き起こすことができる。処理回路類２５０は、１つまたは複数の導波路２２８を介して提供された表示画像が、ユーザの眼の凝視方向と整合されるように１つまたは複数の導波路２２８の均一性を補正するために、較正されたアイトラッキング動作を使用することができる。

ディスプレイ２６４は、較正されたアイトラッキング動作に基づいて、窩状レンダリングを実施することができ、これは、アイトラッキング動作によって生成された凝視方向に対応する凝視ポイントを示すことができる。例えば、処理回路類２５０は、凝視ポイントに基づいて、ディスプレイ２６４のＦＯＶの中央領域（例えば、凝視ポイントから閾値距離内の複数のピクセル）、ディスプレイ２６４のＦＯＶの周辺領域（例えば、表示画像のエッジの閾値距離内にあるか、または凝視ポイントから閾値距離超にある、表示画像の複数のピクセルによって表された周辺領域）のうちの少なくとも１つを識別することができる。処理回路類２５０は、中央領域におけるよりも低い品質（例えば、解像度、ピクセル密度、フレームレート）を周辺領域において有するように、表示画像を生成することができ、これは、ＨＭＤシステム２００の動作と関連付けられた処理要求を低減することができる。

Ｃ．複数のデバイスにわたってニューラルネットワークを分散させるためのシステム、方法、およびデバイス
次に図３Ａを参照すると、いくつかの実施形態によるシステム３００は、第１のデバイス３０２ａおよび第２のデバイス３０２ｂを含む。いくつかの実施形態では、第１のデバイス３０２ａは、図２Ａ～図２Ｂを参照しながら上記でより詳細に説明されたＨＭＤおよび／またはＡＲシステムである。いくつかの実施形態では、第１のデバイス３０２ａは、図２Ａ～図２Ｂを参照しながら上記でより詳細に説明されたＨＭＤおよび／またはＡＲシステムのコンピュータデバイスである。例えば、第１のデバイス３０２ａは、図２Ａ～図２Ｂを参照しながら上記でより詳細に説明されたＨＭＤおよび／またはＡＲシステムの中央処理装置（ＣＰＵ）またはＧＰＵであってもよい。いくつかの実施形態では、第１のデバイス３０２ａは、クライアントデバイス（例えば、クライアントデバイス２０８）、モバイルコンピュータデバイス、第２のデバイス３０２ｂよりも低い／小さい処理能力をもつコンピュータ、ＡＩアクセラレータ１０８などである。いくつかの実施形態では、第２のデバイス３０２ｂは、リモートデバイス、外部デバイス、ＨＭＤおよび／またはＡＲシステムのローカルであるが別個の処理装置、ＡＩアクセラレータ１０８、モバイルコンピューティングデバイス、クラウドにおけるサーバなど、あるいは第１のデバイス３０２ａ以外の任意のデバイスである。例えば、第２のデバイス３０２ｂは、サーバ２１２、デスクトップコンピュータ、外部コンピュータ、ネットワークコンピュータ、リモートコンピュータなどであってもよい。いくつかの実施形態では、第２のデバイス３０２ｂは、第１のデバイス３０２ａよりも大きいまたは超える処理能力をもつ、第１のデバイス３０２ａ以外の任意のコンピュータまたはコンピューティングデバイスである。いくつかの実施形態では、第１のデバイス３０２ａおよび第２のデバイス３０２ｂは、類似のコンピューティングデバイスである。いくつかの実施形態では、図３Ａおよび図３Ｃ中に示されているシステム３００は、複数のコンピューティングデバイスにわたってニューラルネットワーク計算を分散させるニューラルネットワーク「パイプライン」と呼ばれる。

第１のデバイス３０２ａは、いくつかの実施形態によれば、入力データ１１０を受信し、低減されたデータセット３１０を出力する。第２のデバイス３０２ｂは、入力として、低減されたデータセット３１０を受信し、第１のデバイス３０２ａに出力データ１１２を出力または提供することができる。いくつかの実施形態では、第１のデバイス３０２ａは、第１のデバイス３０２ａが、入力データ１１０に基づいて決定を正確に行うことができない場合、第２のデバイス３０２ｂに、低減されたデータセット３１０を出力する。

第１のデバイス３０２ａおよび第２のデバイス３０２ｂは、各々、処理回路３０４ａ、プロセッサ３０６ａ、およびメモリ３０８ａを含むことができる。処理回路３０４は、処理回路類２５０と同じであるかまたは類似してもよい。第１のデバイス３０２ａおよび第２のデバイス３０２ｂは、各々、第１のデバイス３０２ａと第２のデバイス３０２ｂとの間の通信（例えば、データの転送）を容易にする通信インターフェースを含むことができる。第１および第２のデバイス３０２の通信インターフェースは、第１および第２のデバイス３０２ａおよび３０２ｂの間のデータ通信を行うための有線またはワイヤレス通信インターフェース（例えば、ジャック、アンテナ、送信機、受信機、トランシーバ、ワイヤ端末など）であるか、あるいは有線またはワイヤレス通信インターフェースを含むことができる。様々な実施形態では、通信インターフェースを介した通信は、直接的（例えば、ローカル有線またはワイヤレス通信）であることも、通信ネットワーク（例えば、ＷＡＮ、インターネット、セルラーネットワークなど）を介することもある。例えば、インターフェースは、イーサネットベース通信リンクまたはネットワークを介してデータを送信および受信するためのイーサネットカードおよびポートを含むことができる。別の例では、インターフェースは、ワイヤレス通信ネットワークを介して通信するためのＷｉ－Ｆｉトランシーバを含むことができる。別の例では、インターフェースの一方または両方は、セルラーまたはモバイルフォン通信トランシーバを含むことができる。いくつかの実施形態では、通信インターフェースの両方は、イーサネットインターフェースまたはＵＳＢインターフェースである。

まだ図３Ａを参照すると、第１および第２のデバイス３０２ａおよび３０２ｂは、プロセッサ３０６およびメモリ３０８を含む処理回路３０４を含むように示されている。処理回路３０４は、処理回路３０４および処理回路３０４の様々な構成要素が、通信インターフェースを介してデータを送信および受信することができるように、通信インターフェースに通信可能に接続されてもよい。プロセッサ３０６は、汎用プロセッサ、特定用途向け集積回路（ＡＳＩＣ）、１つまたは複数のフィールドプログラマブルゲートアレイ（ＦＰＧＡ）、処理構成要素のグループ、あるいは他の好適な電子処理構成要素として実現されてもよい。

メモリ３０８（例えば、メモリ、メモリユニット、記憶デバイスなど）は、本出願で説明される様々なプロセス、層およびモジュールを完成させるかまたは容易にするためのデータおよび／またはコンピュータコードを格納するための、１つまたは複数のデバイス（例えば、ＲＡＭ、ＲＯＭ、フラッシュメモリ、ハードディスク記憶装置など）を含むことができる。メモリ３０８は、揮発性メモリまたは不揮発性メモリであるか、あるいは揮発性メモリまたは不揮発性メモリを含むことができる。メモリ３０８は、本出願で説明される様々なアクティビティおよび情報構造をサポートするための、データベース構成要素、オブジェクトコード構成要素、スクリプト構成要素、または任意の他のタイプの情報構造を含むことができる。いくつかの実施形態によれば、メモリ３０８は、処理回路３０４を介してプロセッサ３０６に通信可能に接続され、本明細書で説明される１つまたは複数のプロセスを（例えば、処理回路３０４および／またはプロセッサ３０６によって）実行するためのコンピュータコードを含む。

第１のデバイス３０２ａは、本開示で説明される、任意のセンサ、システム、デバイスなどから入力データ１１０を受信することができる。例えば、入力データ１１０は、アイトラッキングデータ、画像データ、カメラデータ、オブジェクト検出データ、頂点を含む１つまたは複数の仮想オブジェクトに関するデータ、テクスチャ、エッジ、表面などであってもよい。いくつかの実施形態では、入力データ１１０は、凝視方向２３０、眼位置２３６、アイトラッキングデータ２４８、センサ２３８によって収集されたデータ、画像２３４、画像レンダラ２６０によって出力されたデータなどのうちのいずれかである。

第１のデバイス３０２ａは、ニューラルネットワーク１１４ａとして示されている、ニューラルネットワークの１つまたは複数の層の第１のセット（例えば、層１１６～１２２のうちの１つもしくは複数、または層１１６～１２２に類似した１つもしくは複数の層）、あるいは第１のニューラルネットワークを含む。類似的に、第２のデバイス３０２ｂは、ニューラルネットワーク１１４ｂとして示されている、ニューラルネットワークの１つまたは複数の層の第２のセット（例えば、層１１６～１２２のうちの１つもしくは複数、または層１１６～１２２に類似した１つもしくは複数の層）、あるいは第２のニューラルネットワークを含む。いくつかの実施形態では、ニューラルネットワーク１１４ａは、トータルで１：ｎの層を有するニューラルネットワーク（例えば、ニューラルネットワーク１１４）の１：ｘの層の第１のセットである。いくつかの実施形態では、ニューラルネットワーク１１４ｂは、トータルで１：ｎの層を有する同じニューラルネットワーク（例えば、ニューラルネットワーク１１４）のｘ：ｎの層の第２のセットである。いくつかの実施形態では、ニューラルネットワーク１１４ａおよびニューラルネットワーク１１４ｂは、それら自体の入力、出力、および隠れ層をもつ別個で独立したニューラルネットワークとみなされる。いくつかの実施形態では、ニューラルネットワーク１１４ａは、処理回路３０４ａ、プロセッサ３０６ａ、およびメモリ３０８ａのうちのいずれかの上に実現される。例えば、メモリ３０８ａは、プロセッサ３０６ａおよび／または処理回路３０４ａ上での実現および処理のために、ニューラルネットワーク１１４ａを格納することができる。いくつかの実施形態では、第１のデバイス３０２ａは、ＨＭＤおよび／またはＡＲシステムのＧＰＵであるか、あるいはＨＭＤおよび／またはＡＲシステムのＧＰＵを含み、ニューラルネットワーク１１４ａは、ＧＰＵ上に実現される。同様に、第１のデバイス３０２ａは、第１のデバイス３０２ａの上でのニューラルネットワーク１１４ａの実現のためのＣＰＵおよび／またはＡＩアクセラレータ（例えば、ＡＩアクセラレータ１０８、ＡＩアクセラレータ１０８に類似したＡＩアクセラレータなど）であるか、あるいはＣＰＵおよび／またはＡＩアクセラレータを含む。

ニューラルネットワーク１１４ａは、入力データ１１０の１つまたは複数の特徴を識別するように実現されてもよい。いくつかの実施形態では、第１のデバイス３０２ａは、更なる解析、データ処理、画像表示、アクションを実施することなどのために、入力データ１１０の１つまたは複数の識別された特徴を使用する。ニューラルネットワーク１１４ａは、入力データ１１０の１つまたは複数の特徴を検出するように、第１のデバイス３０２ａによって実現されてもよい。いくつかの実施形態では、第１のデバイス３０２ａは、１つまたは複数の特徴が、ニューラルネットワーク１１４ａによって検出されたという、または１つまたは複数の特徴が、ニューラルネットワーク１１４ａによって検出されなかったという指示または通知を、第２のデバイス３０２ｂに出力する。第２のデバイス３０２ｂは、低減されたデータセット３１０が、ニューラルネットワーク１１４ｂへの入力として使用されるべきであるかどうかを決定するために、指示または通知を使用することができる。

いくつかの実施形態では、第１のデバイス３０２ａは、低減されたデータセット３１０として、第２のデバイス３０２ｂに入力データ１１０の１つまたは複数の識別された特徴のうちのいずれかを出力する。例えば、第１のデバイス３０２ａが、オブジェクト、人、形状などを識別するために、画像データを処理している場合、第１のデバイス３０２ａは、オブジェクト、人、形状などを識別するために、ニューラルネットワーク１１４ａに画像データ（例えば、入力データ１１０）を提供することができる。オブジェクト、人、形状などの更なる解析および／または識別が、必要とされる場合、ニューラルネットワーク１１４ａは、追加の特徴識別および／または検出のために、識別されたオブジェクト、人、形状などの画像データを含む低減されたデータセット３１０を、第２のデバイス３０２ｂに出力することができる。例えば、入力データ１１０が、画像データであり、人が画像データ中に存在するかどうかを識別するように、ニューラルネットワーク１１４ａが構成された場合、ニューラルネットワーク１１４ａは、人が画像データ中に存在するかどうかを識別し、必要とされる場合、更なる識別のために、第２のデバイス３０２ｂのニューラルネットワーク１１４ｂに、低減されたデータセット３１０として、人と関連付けられた画像データを出力することができる。第２のデバイス３０２ｂは、低減されたデータセット３１０を受信し、人の追加の特徴（例えば、顔の表情、ムード、年齢など）を識別することができる。

いくつかの実施形態では、ニューラルネットワーク１１４ａおよび／またはニューラルネットワーク１１４ｂの出力（例えば、出力データ１１２および／または低減されたデータセット３１０）は、いくらかの特徴が、入力データ（例えば、入力データ１１０および／または低減されたデータセット３１０）中に実在するかどうかの検出を含む。いくつかの実施形態では、ニューラルネットワーク１１４ａおよび／またはニューラルネットワーク１１４ｂの出力は、ある精度または閾値を用いた、ある位置におけるオブジェクトの検出、ある方向にある眼、凝視などの検出を含む。例えば、ニューラルネットワーク１１４ａおよび／またはニューラルネットワーク１１４ｂの出力は、入力データ１１０中のオブジェクトまたは特徴の識別、ならびに／あるいは精度／誤差スコア（例えば、精度ａおよび／または誤差ｅ）のうちのいずれかを含むことができる。いくつかの実施形態では、ニューラルネットワーク１１４ａおよび／またはニューラルネットワーク１１４ｂの出力は、アクションの決定、あるいは第１のデバイス３０２ａおよび／または第２のデバイス３０２ｂのうちの１つによって取られるべきアクションを含む。いくつかの実施形態では、ニューラルネットワーク１１４ａおよび／またはニューラルネットワーク１１４ｂの出力は、いくらかの特徴またはオブジェクトが、ある閾値（例えば、精度ａのある閾値および／または誤差ｅのある閾値）内で入力データ（例えば、入力データ１１０）中に存在しない（例えば、実在しない）かどうかの指示を含む。例えば、ニューラルネットワーク１１４ａおよび／またはニューラルネットワーク１１４ｂは、あるオブジェクトまたは特徴が、入力データ１１０中に存在しないと、あるレベルの確実性をもって（例えば、ある程度の誤差ｅおよび／または精度ａをもって）決定することができる。

いくつかの実施形態では、第１のデバイス３０２ａは、入力データ１１０の識別または検出された特徴が、アクションを実施するためには不十分であることに応答して、更なる解析または処理のために、第２のデバイス３０２ｂに、低減されたデータセット３１０を出力する。例えば、入力データ１１０の追加の特徴が、アクションを実施する前に識別されることを、第１のデバイス３０２ａが必要とし、ニューラルネットワーク１１４ａによって識別または検出された特徴が、追加の特徴を含まない場合、第１のデバイス３０２ａは、第２のデバイス３０２ｂに、低減されたデータセット３１０を出力することができる。

いくつかの実施形態では、低減されたデータセット３１０は、入力データ１１０と比較して、サイズがより小さい、圧縮された、サイズが低減されたなどである。例えば、入力データ１１０が、５メガバイトである画像データである場合、低減されたデータセット３１０は、１メガバイトである画像データであってもよい。いくつかの実施形態では、ニューラルネットワーク１１４ａは、入力データ１１０を受信し、サイズが低減された、低減されたデータセット３１０を出力するように構成される。いくつかの実施形態では、ニューラルネットワーク１１４ａは、入力データ１１０を受信し、低減されたデータセット３１０を生成するために入力データ１１０を圧縮するように構成される。いくつかの実施形態では、ニューラルネットワーク１１４ａは、入力データ１１０に基づいて、低減されたデータセット３１０を生成するために、損失のあるまたは損失のない圧縮のうちのいずれかを使用する。損失のあるまたは損失のないデータ（すなわち、低減されたデータセット３１０）は、次いで、第１のデバイス３０２ａと第２のデバイス３０２ｂとの間で通信され、第１のデバイス３０２ａおよび第２のデバイス３０２ｂによって理解されてもよい。いくつかの実施形態では、低減されたデータセット３１０は、入力データ１１０のサブセットである。いくつかの実施形態では、低減されたデータセット３１０は、ニューラルネットワーク１１４ａによって選択された、入力データ１１０の部分である。例えば、ニューラルネットワーク１１４ａは、いくらかの特徴が、許容できるレベルの精度ａおよび／または誤差ｅをもって、入力データ１１０のいくらかの部分中で検出されたが、その他の特徴またはオブジェクトが、許容できるレベルの精度ａおよび／または誤差ｅをもって、入力データ１１０の他の部分中で検出されることができなかったと決定することができる。ニューラルネットワーク１１４ａは、ニューラルネットワーク１１４ｂに、低減されたデータセット３１０として、入力データ１１０の他の部分を出力することができ、これは、入力データ１１０の残り（例えば、特徴および／またはオブジェクトが、閾値レベルの精度ａおよび／または誤差ｅをもって、ニューラルネットワーク１１４ａによってそれらについて検出された、入力データ１１０の部分）は、追加の処理のために必要とされないからである。

いくつかの実施形態では、第１のデバイス３０２ａは、ニューラルネットワーク１１４ａよって識別された入力データ１１０の１つまたは複数の特徴の精度、誤差、信頼度、誤差行列、混同行列などを決定するように構成される。例えば、第１のデバイス３０２ａは、ニューラルネットワーク１１４ａの予測精度を識別する混同行列を生成または更新することができる。第１のデバイス３０２ａは、以下、ニューラルネットワーク１１４ａの「精度」ａと呼ばれる、ニューラルネットワーク１１４ａの信頼区間、誤差、予測誤差、精度などを識別することができる。いくつかの実施形態では、精度ａは、正規化された値（例えば、０から１までの値、ここで、０は最も低い精度であり、１は最も高い精度である）である。いくつかの実施形態では、精度ａは、パーセンテージ（例えば、０％から１００％まで、ここで、０％は最も低い精度であり、１００％は最も高い精度である）である。いくつかの実施形態では、第１のデバイス３０２ａは、更なるデータ解析が、第２のデバイス３０２ｂのニューラルネットワーク１１４ｂを使用して実施されるべきであるかどうかを決定するために、ニューラルネットワーク１１４ａの精度ａを使用する。いくつかの実施形態では、第１のデバイス３０２ａは、第２のデバイス３０２ｂのニューラルネットワーク１１４ｂが、入力データ１１０を更に解析するために使用されるべきであるかどうかを決定するために、精度ａを閾値ａ_{ｔｈｒｅｓｈｏｌｄ}と比較する。いくつかの実施形態では、精度ａが、閾値ａ_{ｔｈｒｅｓｈｏｌｄ}を満たすかまたは超える（あるいは誤差を考慮する場合、以下である）場合、第１のデバイス３０２ａは、ニューラルネットワーク１１４ａが十分に正確であると決定し、低減されたデータセット３１０は、第２のデバイス３０２ｂに提供されない。いくつかの実施形態では、精度が、閾値ａ_{ｔｈｒｅｓｈｏｌｄ}よりも小さい（または誤差を考慮する場合、以上である）場合、第１のデバイス３０２ａは、更なるまたは追加のデータ解析が入力データ１１０に対して実施されるべきであると決定し、第２のデバイス３０２ｂに、低減されたデータセット３１０を提供する。

いくつかの実施形態では、第１のデバイス３０２ａは、ニューラルネットワーク１１４ａの結果（例えば、入力データ１１０の識別された／検出された特徴）が、１つまたは複数のアクションを実施するために十分に正確であるかどうかを決定するために、精度ａおよび閾値ａ_{ｔｈｒｅｓｈｏｌｄ}を使用する。例えば、ａ＞ａ_{ｔｈｒｅｓｈｏｌｄ}またはａ≧ａ_{ｔｈｒｅｓｈｏｌｄ}である場合、第１のデバイス３０２ａは、ニューラルネットワーク１１４ａの結果または出力が、１つまたは複数のアクションを実施するために十分であると決定することができる。いくつかの実施形態では、ａ＞ａ_{ｔｈｒｅｓｈｏｌｄ}またはａ≧ａ_{ｔｈｒｅｓｈｏｌｄ}である場合、第１のデバイス３０２ａは、第２のデバイス３０２ｂに、低減されたデータセット３１０を提供することなしに、１つまたは複数のアクションを実施する。このようにして、第１のデバイス３０２ａは、処理時間、および第１のデバイス３０２ａと第２のデバイス３０２ｂとの間の送信の回数を低減することができ、それにより、エネルギー消費および帯域幅を節約する。有利に、これは、第１のデバイス３０２ａと第２のデバイス３０２ｂとの間のトラフィックを低減し、データを送信することと関連付けられたレイテンシを低減し、第１のデバイス３０２ａと第２のデバイス３０２ｂとの間でデータを転送するコストを低減する（例えば、エネルギー消費を減少させる）。

いくつかの実施形態では、第１のデバイス３０２ａは、ニューラルネットワーク１１４ａの各出力について（例えば、ニューラルネットワーク１１４ａによって識別／検出された入力データ１１０の各特徴について）精度ａまたは誤差ｅを決定する。いくつかの実施形態では、第１のデバイス３０２ａは、それぞれ、ニューラルネットワーク１１４ａの各出力についての精度ａおよび／または誤差ｅを、対応する閾値ａ_{ｔｈｒｅｓｈｏｌｄ}およびｅ_{ｔｈｒｅｓｈｏｌｄ}と比較する。いくつかの実施形態では、第１のデバイス３０２ａは、ニューラルネットワーク１１４ａの出力のうちの１つまたは複数について、精度ａが、対応する閾値ａ_{ｔｈｒｅｓｈｏｌｄ}よりも小さいことに応答して、または誤差ｅが、対応する閾値ｅ_{ｔｈｒｅｓｈｏｌｄ}よりも大きいことに応答して、低減されたデータセット３１０を出力する。いくつかの実施形態では、低減されたデータセット３１０は、ニューラルネットワーク１１４ｂが、不十分な精度ａおよび／または過大な誤差ｅと関連付けられた入力データ１１０の特徴を識別するために必要とされる情報を含む。例えば、ニューラルネットワーク１１４ａが、入力データ１１０の５つの特徴のうちの４つを正確に識別することができるが、入力データ１１０の第５の特徴を正確に識別することができない（例えば、ｅ_５＞ｅ_{ｔｈｒｅｓｈｏｌｄ}またはａ_５＜ａ_{ｔｈｒｅｓｈｏｌｄ}、ここで、ｅ_５およびａ_５は、ニューラルネットワーク１１４ａよって識別された第５の特徴の誤差および精度である）場合、ニューラルネットワーク１１４ａは、低減されたデータセット３１０として、ニューラルネットワーク１１４ｂに、第５の特徴と関連付けられた入力データ１１０を出力することができる。ニューラルネットワーク１１４ｂは、第５の特徴を正確に識別するために、低減されたデータセット３１０を使用し、第１のデバイス３０２ａに出力データ１１２として、識別された第５の特徴を提供することができる。

いくつかの実施形態では、ニューラルネットワーク１１４ｂの出力は、出力データ１１２として第１のデバイス３０２ａに提供される。出力データ１１２は、ネットワーク１１４ｂよって識別された任意の追加の特徴、またはニューラルネットワーク１１４ｂよってより正確に識別された入力データ１１０の特徴に関する情報またはデータを含むことができる。

いくつかの実施形態では、第１のデバイス３０２ａは、ニューラルネットワーク１１４ａおよび／またはニューラルネットワーク１１４ｂよって識別された入力データ１１０の特徴のうちのいずれかに応答してまたは基づいて、アクションを実施するように構成される。例えば、第１のデバイス３０２ａは、ニューラルネットワーク１１４ａおよび／またはニューラルネットワーク１１４ｂよって識別された入力データ１１０の特徴のうちのいずれかに基づいて、使用して、または応答して、ディスプレイ２６４のための表示信号３１２を生成することができる。第１のデバイス３０２ａは、ユーザに異なる像を提供する、すなわち、ディスプレイ２６４などの上でユーザに提供される任意の画像のサイズ、形状、配向、回転、スキュー、外観、色などを変更するために、表示信号３１２を生成し、ディスプレイ２６４に表示信号３１２を提供することができる。いくつかの実施形態では、第１のデバイス３０２ａは、第１のデバイス３０２ａのニューラルネットワーク１１４ａによって識別された入力データ１１０の特徴のうちのいずれかに応答して、または第２のデバイス３０２ｂのニューラルネットワーク１１４ｂによって識別された低減されたデータセット３１０の特徴のうちのいずれかに応答して、ディスプレイ２６４を使用して新しい像を更新または提供するように構成される。

いくつかの実施形態では、第２のデバイス３０２ｂはまた、本明細書で説明されるアクションのうちのいずれかを実施するように構成される。いくつかの実施形態では、第１のデバイス３０２ａと第２のデバイス３０２ｂの両方は、ニューラルネットワーク１１４ａおよび／またはニューラルネットワーク１１４ｂの出力に基づいて、１つまたは複数のアクションを実施することができる。例えば、第１のデバイス３０２ａは、ニューラルネットワーク１１４ａの出力に応答して（または第２のニューラルネットワーク１１４ｂの出力データ１１２に応答して、または第１および第２のニューラルネットワーク１１４の両方の出力に応答して）第１のアクションを実施することができ、第２のデバイス３０２ｂは、第２のニューラルネットワーク１１４ｂの出力データ１１２に応答して（または第１のニューラルネットワーク１１４ａの出力に応答して、または第１のニューラルネットワーク１１４ａと第２のニューラルネットワーク１１４ｂの両方の出力に応答して）第２のアクションを実施することができる。いくつかの実施形態では、第１のデバイス３０２ａは、ニューラルネットワーク１１４ａの処理に応答してまたは基づいて、第１のアクションを実施することができ、第２のデバイス３０２ｂは、ニューラルネットワーク１１４ｂの処理に応答してまたは基づいて、第２のアクションを実施し、ここで、ニューラルネットワーク１１４ａおよびニューラルネットワーク１１４ｂは、同じ入力データ（例えば、入力データ１１０）を使用する。

いくつかの実施形態では、第１のデバイス３０２ａは、第２のデバイス３０２ｂに、低減されたデータセット３１０を提供することなしに、アクションを実施するように構成される。いくつかの実施形態では、第１のデバイス３０２ａは、ニューラルネットワーク１１４ａによって識別された１つまたは複数の特徴が、十分な精度をもって、または十分な誤差をもって識別されたことに応答して、入力データ１１０の１つまたは複数の識別された特徴と関連付けられたアクションを実施するように構成される。例えば、入力データ１１０の第１の特徴が、対応する精度ａ_１（または誤差ｅ_１）およびａ_１＞ａ_{ｔｈｒｅｓｈｏｌｄ}（またはｅ＜ｅ_{ｔｈｒｅｓｈｏｌｄ}）で識別された場合、第１のデバイス３０２ａは、第２のデバイス３０２ｂに、低減されたデータセット３１０を送信することなしに、関連付けられたアクション（例えば、新しい像を変更すること、またはディスプレイ２６４を使用してユーザに新しい像を提供すること）を実施することができる。いくつかの実施形態では、識別された特徴の精度ａが、対応する閾値ａ_{ｔｈｒｅｓｈｏｌｄ}よりも小さい（または識別された特徴の誤差ｅが、対応する閾値ｅ_{ｔｈｒｅｓｈｏｌｄ}よりも大きい）場合、第１のデバイス３０２ａは、ニューラルネットワーク１１４ｂに、低減されたデータセット３１０を提供する。いくつかの実施形態では、第１のデバイス３０２ａは、次いで、ニューラルネットワーク１１４ｂの出力（すなわち、出力データ１１２）を受信し、アクションを実施するために、ニューラルネットワーク１１４ｂの出力を使用することができる。いくつかの実施形態では、出力データ１１２は、アクションを実施するために、画像レンダラ２６０、後処理エンジン、データレンダリングサービス、画像レンダリングエンジン、データ記憶装置などに提供される。

いくつかの実施形態では、第１のデバイス３０２ａは、アクションを実施するために、ニューラルネットワーク１１４ａによって識別された入力データ１１０の特徴を使用すること、および第２のデバイス３０２ｂに、低減されたデータセット３１０を出力することの両方を行う。例えば、ニューラルネットワーク１１４ａが、（例えば、閾値ａ_{ｔｈｒｅｓｈｏｌｄ}よりも大きい精度ａ、および／または閾値ｅ_{ｔｈｒｅｓｈｏｌｄ}よりも小さい誤差ｅをもって）入力データ１１０の第１の特徴を正確に識別することができるが、入力データ１１０の第２の特徴を正確に識別しない（例えば、第２の特徴の精度ａが、閾値ａ_{ｔｈｒｅｓｈｏｌｄ}よりも小さく、および／または第２の特徴の誤差ｅが、閾値ｅ_{ｔｈｒｅｓｈｏｌｄ}よりも大きい）場合、第１のデバイス３０２ａは、関連付けられたアクションを実施するために、識別された第１の特徴を使用し、第２の特徴を識別するために、ニューラルネットワーク１１４ｂに、低減されたデータセット３１０を提供することができる。ニューラルネットワーク１１４ｂは、十分な精度ａおよび／または十分に低い誤差ｅをもって、第２の特徴を識別するために、低減されたデータセット３１０を使用し、出力データ１１２として第１のデバイス３０２ａに、識別された第２の特徴と関連付けられた情報を提供することができる。第１のデバイス３０２ａは、次いで、第２の特徴と関連付けられた１つまたは複数のアクションを実施するために、第２のデバイス３０２ｂから受信された出力データ１１２を使用することができる。

特に図３Ｃを参照すると、いくつかの実施形態によるシステム３００が、示されている。いくつかの実施形態では、追加のデバイス３０２が、直列に通信可能に接続される。デバイス３０２は、有線接続を通して、またはワイヤレス接続（例えば、ワイヤレス通信ネットワーク）を通して通信可能に接続されてもよい。例えば、システム３００は、デバイス３０２ａ．．．ｎを含むことができる。第１のデバイス３０２ａは、第２のデバイス３０２ｂに、低減されたデータセット３１０ａを提供し、第２のデバイス３０２ｂは、第３のデバイス３０２ｃに、低減されたデータセット３１０ｂを提供するなどする。デバイス３０２ａ．．．ｎの各々は、対応するニューラルネットワーク１１４、またはニューラルネットワーク１１４の追加の層を含む。例えば、ニューラルネットワーク１１４は、ｎ個の層を有し、１つまたは複数の層の第１のセットは、第１のデバイス３０２ａ上に実現され、１つまたは複数の層の第２のセットは、第２のデバイス３０２ｂ上に実現されるなどであってもよい。このようにして、ニューラルネットワーク１１４は、複数のデバイスにわたって分散されてもよい。

デバイス３０２の各々は、ローカルに実現された、対応するニューラルネットワーク１１４、またはニューラルネットワーク１１４の対応する層の出力を、出力データ１１２として第１のデバイス３０２ａに提供することができる。例えば、第２のデバイス３０２ｂは、第１のデバイス３０２ａに出力データ１１２ａを提供することができ、第３のデバイス３０２ｃは、第１のデバイス３０２ａに出力データ１１２ｂを提供することができ、．．．、第ｎのデバイス３０２ｎは、第１のデバイス３０２ａに出力データ１１２ｎを提供することができる。いくつかの実施形態では、各デバイス３０２は、デバイス３０２の対応するニューラルネットワーク１１４の各出力（例えば、各識別された特徴）の誤差ｅおよび／または精度ａを決定するように構成される。いくつかの実施形態では、出力の誤差ｅが、閾値ｅ_{ｔｈｒｅｓｈｏｌｄ}よりも小さい場合、出力は、出力データ１１２として第１のデバイス３０２ａに提供される。同様に、いくつかの実施形態によれば、出力の精度ａが、閾値ａ_{ｔｈｒｅｓｈｏｌｄ}以上である場合、出力は、出力データ１１２として第１のデバイス３０２ａに提供される。

いくつかの実施形態では、誤差ｅが、閾値ｅ_{ｔｈｒｅｓｈｏｌｄ}よりも大きい（または閾値ｅ_{ｔｈｒｅｓｈｏｌｄ}以上である）場合、対応するデバイス３０２は、低減されたデータセット３１０を生成し、次のデバイス３０２に、低減されたデータセット３１０を提供する。同様に、出力の精度ａが、閾値ａ_{ｔｈｒｅｓｈｏｌｄ}よりも小さい（または閾値ａ_{ｔｈｒｅｓｈｏｌｄ}以下である）場合、対応するデバイス３０２（出力を生成したデバイス３０２）は、低減されたデータセット３１０を生成し、次のデバイス３０２に、低減されたデータセット３１０を提供する。いくつかの実施形態では、低減されたデータセットは、次のデバイス３０２が、上流デバイス３０２によって正確に解析／識別されることができなかった出力のみを解析するための情報／データを含む。いくつかの実施形態では、低減されたデータセットは、次のデバイス３０２が、入力データ１１０の全ての適切な／必要とされる特徴を決定／識別するための全ての情報／データを含む。

このようにして、デバイス３０２が、入力データ（例えば、入力データ１１０または低減されたデータセット３１０）の特徴を正確に予測、解析、出力などすることができない場合、デバイス３０２は、低減されたデータセット３１０を生成し、次のデバイス３０２に、低減されたデータセット３１０を提供することができる。次のデバイス３０２は、次いで、直接的に上流のデバイス３０２によって次のデバイス３０２に提供された入力データ（例えば、低減されたデータセット３１０）の特徴を解析、予測、出力、識別、検出などするために、低減されたデータセット３１０を使用することができる。これは、入力データ１１０の全ての必要とされる特徴が、識別／検出されるまで、繰り返されてもよい。

特に図３Ｂを参照すると、いくつかの実施形態による、複数のデバイスにわたってニューラルネットワークを実現するための、または複数のデバイスにわたって複数のニューラルネットワークを協働的に実現するためのプロセス３５０が、示されている。プロセス３５０は、いくつかの実施形態によれば、ステップ３５２～３６６を含む。プロセス３５０は、システム３００のデバイス、構成要素などのうちのいずれかによって実施されてもよい。有利に、プロセス３５０は、デバイスの間の送信を低減し、デバイスが、処理要件を低減することができるようにし、それにより、エネルギー節約を容易にする。プロセス３５０は、ローカル処理装置（例えば、ＧＰＵ、ＣＰＵ、処理回路類など）を有することがあるＨＭＤおよび／またはＡＲシステムについて、有益であることがある。有利に、プロセス３５０は、ローカル処理装置が、入力データの特徴を識別するための処理要件を低減すること、または計算量的に重いことがあるニューラルネットワークを実現することができるようにする。ローカル処理装置は、入力データの特徴を識別するために、それぞれのニューラルネットワーク、またはニューラルネットワークの一部分（例えば、いくらかの層）を実現し、ＨＭＤおよび／またはＡＲシステムのディスプレイにおいてアクションを実施するために、識別された特徴を使用することができる。ローカル処理装置が、入力データの特徴を正確に識別することができない場合、ローカル処理装置は、特徴を正確に識別することができる別の処理装置（例えば、外部処理装置、第２の処理装置、第２のローカル処理装置、ＡＩアクセラレータ、リモートデバイスなど）に、低減されたデータセットを提供することができる。このようにして、ＨＭＤおよび／またはＡＲシステムのローカル処理装置の処理要件は、低減され、ローカル処理装置と他の処理装置との間のデータ転送頻度およびサイズは、減少され、それにより、ローカル処理装置と他の処理装置との間の通信のレイテンシを低減する。

プロセス３５０は、いくつかの実施形態によれば、第１のデバイスにおいて入力データを受信すること（ステップ３５２）を含む。いくつかの実施形態では、入力データは、外部デバイスから受信される。いくつかの実施形態では、入力データは、ＨＭＤおよび／またはＡＲシステムのセンサ、カメラなどから受信される。いくつかの実施形態では、入力データは、外部デバイスによって提供された、あるいはＨＭＤおよび／またはＡＲシステムのセンサ、カメラなどによってキャプチャされた、のいずれかの画像データである。いくつかの実施形態では、画像データは、オブジェクト、環境、仮想環境、現実世界の環境、人々、景観、不規則形状、粒子などの画像データである。いくつかの実施形態では、ステップ３５２は、第１のデバイス３０２ａによって実施される。いくつかの実施形態では、入力データは、ニューラルネットワーク１１４ａによって受信される。

プロセス３５０は、いくつかの実施形態によれば、（１）第１のニューラルネットワークおよび入力データ、または（２）第１のニューラルネットワークの層の第１のセットおよび入力データのいずれかを使用して、低減されたデータセットを生成すること（ステップ３５４）を含む。いくつかの実施形態では、ステップ３５４は、ステップ３５２において受信されたまたは得られた入力データ（例えば、入力データ１１０）を使用して、ニューラルネットワーク１１４ａによって実施される。いくつかの実施形態では、ステップ３５４は、第１のデバイスにおいてローカルに実施される。いくつかの実施形態では、ステップ３５４を実施するために第１のデバイスにおいて使用されるニューラルネットワークは、独立したニューラルネットワークである。いくつかの実施形態では、ステップ３５４を実施するために第１のデバイスにおいて使用されるニューラルネットワークは、複数のデバイスにわたって分散されたニューラルネットワークの第１の１つまたは複数の層である。

プロセス３５０は、いくつかの実施形態によれば、（１）第１のニューラルネットワークおよび入力データ、または（２）第１のニューラルネットワークの層の第１のセットおよび入力データのいずれかを使用して、入力データの１つまたは複数の特徴を識別すること（ステップ３５６）を含む。いくつかの実施形態では、ステップ３５６は、第１のデバイス３０２ａのニューラルネットワーク１１４ａによって実施される。いくつかの実施形態では、ステップ３５６は、関連付けられたニューラルネットワークを使用して、入力データの少なくとも１つの特徴を識別または検出することを含む。いくつかの実施形態では、ステップ３５４および／またはステップ３５６は、コンカレントにまたは同時に実施される。いくつかの実施形態では、ステップ３５６は、ステップ３５４を実施するより前に実施される。いくつかの実施形態では、ステップ３５６は、ステップ３６０に応答して（例えば、ステップ３６０、「はい」に応答して）実施される。

プロセス３５０は、いくつかの実施形態によれば、ステップ３５６において識別された１つまたは複数の特徴（例えば、ステップ３５６のニューラルネットワークの出力）と関連付けられた誤差、精度、信頼度などを決定すること（ステップ３５８）を含む。いくつかの実施形態では、誤差ｅおよび／または精度ａは、第１のデバイス３０２ａによって決定される。誤差ｅおよび／または精度ａは、ニューラルネットワーク１１４ａよって識別された１つまたは複数の特徴が、十分に正確であるかどうかを決定するために使用される（例えば、ステップ３６０において使用される）ことがある。

プロセス３５０は、いくつかの実施形態によれば、追加の解析が必要とされるかどうかを決定すること（ステップ３６０）を含む。いくつかの実施形態では、ステップ３６０は、低減されたデータセットが生成されるべきであるかどうか、および／または低減されたデータセットが第２のデバイスに提供されるべきであるかどうかを決定するために実施される。いくつかの実施形態では、ステップ３６０は、ステップ３５６において識別された入力データの１つまたは複数の特徴の精度ａおよび／または誤差ｅに基づいて決定される。いくつかの実施形態では、ステップ３６０は、精度ａおよび／または誤差ｅを、対応する閾値（すなわち、それぞれ、ａ_{ｔｈｒｅｓｈｏｌｄ}およびｅ_{ｔｈｒｅｓｈｏｌｄ}）と比較することを含む。精度ａが、閾値ａ_{ｔｈｒｅｓｈｏｌｄ}よりも大きい（または閾値ａ_{ｔｈｒｅｓｈｏｌｄ}に等しい）ことに応答して、第１のデバイス３０２ａは、追加の解析が必要とされないと決定することができ（ステップ３６０、「いいえ」）、プロセス３５０は、ステップ３６６に進む。誤差ｅが、閾値ｅ_{ｔｈｒｅｓｈｏｌｄ}よりも小さいことに応答して、第１のデバイス３０２ａは、追加の解析が必要とされないと決定することができ（ステップ３６０、「いいえ」）、プロセス３５０は、ステップ３６６に進む。精度ａが、閾値ａ_{ｔｈｒｅｓｈｏｌｄ}よりも小さいことに応答して、第１のデバイス３０２ａは、追加の解析が必要とされると決定することができ（ステップ３６０、「はい」）、プロセス３５０は、ステップ３６２に進む。誤差ｅが、閾値ｅ_{ｔｈｒｅｓｈｏｌｄ}よりも大きいことに応答して、第１のデバイス３０２ａは、追加の解析が必要とされると決定することができ（ステップ３６０、「はい」）、プロセス３５０は、ステップ３６２に進む。

プロセス３５０は、いくつかの実施形態によれば、第２のデバイスに、低減されたデータセットを提供すること（ステップ３６２）を含む。いくつかの実施形態では、第２のデバイスは、ネットワークデバイス、外部デバイス、ＡＩアクセラレータ（例えば、ＡＩアクセラレータ１０８）、別のコンピューティングデバイスなどである。いくつかの実施形態では、第２のデバイスは、特徴を識別するために入力データを更に解析するために使用されてもよい、第２のニューラルネットワークまたは第１のニューラルネットワークの追加の層を含む。いくつかの実施形態では、第２のデバイスは、第１のデバイスと比較して、追加の処理能力を有する。いくつかの実施形態では、ステップ３６２は、ネットワーク、第１および第２のデバイスの間のワイヤレス接続、第１および第２のデバイスの間の有線接続などを通して実施される。

プロセス３５０は、いくつかの実施形態によれば、（１）第２のニューラルネットワークおよび低減されたデータセット、または（２）第１のニューラルネットワークの層の第２のセットのいずれかを使用して、低減されたデータセットの１つまたは複数の特徴を識別すること（ステップ３６４）を含む。いくつかの実施形態では、低減されたデータセットは、第１のデバイスによって（例えば、第１のニューラルネットワーク、または第１のニューラルネットワークの層の第１のセットによって）出力され、入力として、第２のデバイスのニューラルネットワークまたはニューラルネットワークの層に提供される。いくつかの実施形態では、第２のデバイスは、第２のデバイス３０２ｂである。いくつかの実施形態では、ステップ３６４は、ニューラルネットワーク１１４ｂによって実施される。

プロセス３５０は、いくつかの実施形態によれば、入力データの特徴に基づいてアクションを実施すること（ステップ３６６）を含む。いくつかの実施形態では、ステップ３６６は、第１のデバイス３０２ａによって実施される。いくつかの実施形態では、ステップ３６６は、第１のデバイス３０２ａおよびディスプレイ２６４によって実施される。例えば、第１のデバイス３０２ａは、表示信号を生成し、アクションを実施するために、ディスプレイ２６４に表示信号を提供することができる。いくつかの実施形態では、アクションは、ディスプレイ２６４を介してユーザに追加の像を提供すること、ディスプレイ２６４を介してユーザに現在表示されている像を変更すること、追加のデータ処理を実施すること、後処理アルゴリズムを実施することなどを含む。いくつかの実施形態では、ディスプレイ２６４を介してユーザに提供される追加の像は、（例えば、ＡＲシステムにおいてオーバーレイされる）テキスト情報、コンピュータ生成像（例えば、オブジェクト、文字、粒子、テクスチャなど）などであるか、またはテキスト情報、コンピュータ生成像などを含む。いくつかの実施形態では、ステップ３６６は、ステップ３５６および／または３６４において識別された、入力データおよび低減されたデータセットの特徴のうちのいずれかに基づいて実施される。いくつかの実施形態では、アクションは、ユーザに像を提供するために、ディスプレイ２６４を動作させることを含む。

例示的な実施形態の構成
いくつかの例示的な実現例について記載してきたが、上記は例示であって限定ではなく、例として提示されていることが明白である。特に、本明細書に提示する例の多くには、方法行為またはシステム要素の特定の組み合わせが関与するが、それらの行為および要素は、同じ目的を遂行するために他の形で組み合わせることができる。１つの実現例に関連して考察される行為、要素、および特徴は、他の１つまたは複数の実現例における類似の役割から除外されないものとする。

本明細書に開示する実施形態と関連して記載される、様々なプロセス、動作、例示の論理、論理ブロック、モジュール、および回路を実現するのに使用される、ハードウェアおよびデータ処理構成要素は、汎用シングルもしくはマルチチッププロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、または他のプログラマブル論理デバイス、離散的ゲートもしくはトランジスタ論理、離散的ハードウェア構成要素、または本明細書に記載の機能を実施するように設計された上記のものの任意の組み合わせを用いて、実現または実施されてもよい。汎用プロセッサは、マイクロプロセッサ、または任意の従来のプロセッサ、コントローラ、マイクロコントローラ、もしくは状態機械であってもよい。プロセッサはまた、ＤＳＰとマイクロプロセッサとの組み合わせ、複数のマイクロプロセッサ、ＤＳＰコアと連動した１つもしくは複数のマイクロプロセッサ、または他の任意のかかる構成など、コンピューティングデバイスの組み合わせとして実現されてもよい。いくつかの実施形態では、特定のプロセスおよび方法は、所与の機能に特異的な回路類によって実施されてもよい。メモリ（例えば、メモリ、メモリユニット、記憶デバイスなど）は、本開示に記載する様々なプロセス、層、およびモジュールを完成させるかもしくは容易にする、データおよび／またはコンピュータコードを格納する、１つまたは複数のデバイス（例えば、ＲＡＭ、ＲＯＭ、フラッシュメモリ、ハードディスク記憶装置など）を含んでもよい。メモリは、揮発性メモリもしくは不揮発性メモリであるかまたはそれらを含んでもよく、本開示に記載する様々なアクティビティおよび情報構造をサポートする、データベース構成要素、オブジェクトコード構成要素、スクリプト構成要素、または他の任意のタイプの情報構造を含んでもよい。例示的実施形態によれば、メモリは、処理回路を介してプロセッサに通信可能に接続され、本明細書に記載の１つもしくは複数のプロセスを（例えば、処理回路および／またはプロセッサによって）実行するためのコンピュータコードを含む。

本発明は、様々な動作を遂行するための任意の機械可読媒体上における、方法、システム、およびプログラム製品を想到する。本発明の実施形態は、既存のコンピュータプロセッサを使用して、またはこの目的もしくは別の目的のために組み込まれる、適切なシステムのための専用コンピュータプロセッサによって、または配線接続システムによって、実現されてもよい。本発明の範囲内の実施形態は、格納された機械実行可能命令もしくはデータ構造を保持するかまたは有する、機械可読媒体を備えるプログラム製品を含む。かかる機械可読媒体は、汎用もしくは専用コンピュータ、またはプロセッサを有する他の機械によってアクセスすることができる、任意の利用可能な媒体であることができる。例として、かかる機械可読媒体は、ＲＡＭ、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、または他の光学ディスク記憶装置、磁気ディスク記憶装置もしくは他の磁気記憶デバイス、あるいは機械実行可能命令またはデータ構造の形態で所望のプログラムコードを保持または格納するのに使用することができ、汎用もしくは専用コンピュータまたはプロセッサを有する他の機械でアクセスすることができる、他の任意の媒体を含むことができる。上記のものの組み合わせはまた、機械可読媒体の範囲に含まれる。機械実行可能命令は、例えば、汎用コンピュータ、専用コンピュータ、または専用処理機械に、特定の機能または機能群を実施させる、命令およびデータを含む。

本明細書で使用する用語および専門用語は、説明のためのものであって限定とみなされるべきではない。本明細書における、「～を含む」、「～を備える」、「～を有する」、「～を含有する」、「～を伴う」、「～によって特徴付けられる」、「～を特徴とする」およびそれらの変形の使用は、該用語とともに列挙される項目、それらの等価物、および追加の項目、ならびに排他的に該用語とともに列挙される項目から成る代替実現例を網羅することを意味する。一実現例では、本明細書に記載するシステムおよび方法は、記載する要素、行為、または構成要素のうちの１つ、２つ以上の各組み合わせ、または全てから成る。

単数形で言及される本明細書のシステムおよび方法の実現例または要素または行為に対する任意の言及は、複数のこれらの要素を含む実現例も包含することができ、本明細書の任意の実現例または要素または行為に対する複数形での任意の言及は、単一の要素のみを含む実現例も包含することができる。単数形または複数形での言及は、本明細書に開示されるシステムもしくは方法、それらの構成要素、行為、または要素を、単数または複数の構成に限定しようとするものではない。任意の情報、行為、または要素に基づいた任意の行為または要素に対する言及は、行為または要素が、任意の情報、行為、または要素に少なくとも部分的に基づく場合の実現例を含むことができる。

本明細書に開示する任意の実現例は、他の任意の実現例または実施形態と組み合わせることができ、「ある実現例」、「いくつかの実現例」、「一実現例」などに対する言及は、必ずしも相互に排他的ではなく、実現例と関連して記載する特定の特徴、構造、または特性が、少なくとも１つの実現例または実施形態に含まれ得ることを示すものとする。かかる用語は、本明細書で使用するとき、必ずしも全てが同じ実現例を指すものではない。任意の実現例は、本明細書に開示する態様および実現例と一致する任意の手法で、他の任意の実現例と包括的または排他的に組み合わせることができる。

図面、詳細な説明、または任意のクレームにおける技術的特徴に参照符号が付される場合、参照符号は、図面、詳細な説明、およびクレームの了解度を向上するために含まれるものである。したがって、参照符号が存在してもしなくても、任意のクレーム要素の範囲に対する限定的影響を何ら有さない。

本明細書に記載するシステムおよび方法は、それらの特性から逸脱することなく、他の特定の形態で具体化されてもよい。「約」、「およそ」、「実質的に」、または他の程度を表す用語に対する言及は、別段の明示がない限り、所与の測定値、単位、または範囲から±１０％の変動を含む。結合された要素は、直接または介在要素を用いて、互いに電気的、機械的、または物理的に結合することができる。本明細書に記載するシステムおよび方法の範囲は、したがって、上述の記載ではなく添付のクレームによって示され、クレームの等価物の意味および範囲内にある変更は包含される。

「結合された」という用語およびその変形は、２つの部材を直接または間接的に互いに接合することを含む。かかる接合は、静的（例えば、恒久的もしくは固定）または可動（例えば、除去可能もしくは解放可能）であってもよい。かかる接合は、互いに直接結合され、または互いに対して結合された２つの部材によって、別個の介在部材および互いに結合された任意の追加の中間部材を使用して互いに結合された２つの部材によって、あるいは２つの部材の一方とともに単一の単位体として一体的に形成された介在部材を使用して互いに結合された２つの部材によって、達成されてもよい。「結合された」またはその変形が、追加の用語によって修正された場合（例えば、直接結合された）、上述の「結合された」の包括的定義は、追加の用語の平易な言葉の意味によって修正され（例えば、「直接結合された」は、任意の別個の介在部材を有さない２つの部材の接合を意味する）、それによって上述の「結合された」の包括的定義よりも狭い定義になる。かかる結合は機械的、電気的、または流体的であってもよい。

「または」に対する言及は包括的と解釈することができるので、「または」を使用して記載されるいずれの用語も、記載される用語の単一、２つ以上、および全てのいずれかを示すことができる。「『Ａ』および『Ｂ』のうち少なくとも１つ」は、「Ａ」のみ、「Ｂ」のみ、ならびに「Ａ」および「Ｂ」の両方を含むことができる。「備える」または他のオープンな用語と併せて使用されるかかる言及は、追加の項目を含むことができる。

様々な要素のサイズ、寸法、構造、形状、および比率、パラメータの値、取付け構造、材料使用、色、向きにおける変形例など、記載される要素および行為の修正は、本明細書に開示する主題の教示および利点から実質的に逸脱することなく行うことができる。例えば、一体的に形成されるものとして示される要素は、複数の部分または要素で構築することができ、要素の位置を反転させるかまたは別の形で変動させることができ、離散的要素または位置の性質もしくは数を改変または変更することができる。また、他の置換、修正、変更および省略が、添付の特許請求の範囲において定義されている本発明の範囲から逸脱することなく、開示される要素および動作の設計、動作条件および配置に対して行われてもよい。

本明細書における要素の位置に対する言及（例えば、「上側」、「下側」、「上方」、「下方」）は単に、図面における様々な要素の向きを説明するために使用されるものである。様々な要素の向きは、他の例示的実施形態によって異なってもよく、かかる変形は本発明に包含されるものとする。

Claims (15)

1. ニューラルネットワークの第１の１つまたは複数の層を用いて構成された第１のデバイスによって、前記第１のデバイスおよび第２のデバイスにわたって実現された前記ニューラルネットワークを介した処理のための入力データを受信することと、
   前記第１のデバイス上に実現された前記ニューラルネットワークの前記第１の１つまたは複数の層によって、前記ニューラルネットワークの第２の１つまたは複数の層による処理のために、前記入力データの１つまたは複数の特徴を識別しながら、前記入力データと比べてサイズが低減されたデータセットを出力することと、
   前記第１のデバイスによって、前記第２のデバイス上に実現された前記ニューラルネットワークの前記第２の１つまたは複数の層を介した処理のために、前記第２のデバイスに前記データセットを通信することと
   を含む、方法。
2. 前記第１の１つまたは複数の層によって、前記第２のデバイスへのネットワークを介した送信のために、前記データセットを圧縮することによって、前記データセットを低減することを更に含む、請求項１に記載の方法。
3. 前記第２の１つまたは複数の層が、前記入力データ内の前記１つまたは複数の特徴のうちの特徴を検出し、
   随意に、前記方法は、前記第１のデバイスによって、前記特徴が、前記第２の１つまたは複数の層によって検出されたという指示を前記第２のデバイスから受信することを更に含む、
   請求項１または２に記載の方法。
4. 前記第１のデバイスによって、前記１つまたは複数の特徴のうちの特徴が、前記第１のデバイスによるアクションを取るための精度の閾値を満たすことを検出することを更に含む、請求項１から３のいずれか一項に記載の方法。
5. 前記検出に反応して、前記第１のデバイスによって、前記特徴に関して前記アクションを実施することを更に含み、
   随意に、前記方法が、前記第２のデバイスに前記データセットを通信することなしに、前記アクションを実施することを更に含む、
   請求項４に記載の方法。
6. ウェアラブルヘッドディスプレイのプロセッサによって、前記ウェアラブルヘッドディスプレイによってキャプチャされた入力データを受信することと、
   前記プロセッサ上に実現されたニューラルネットワークの第１の１つまたは複数の層によって、前記ニューラルネットワークの第２の１つまたは複数の層による処理のために、前記入力データの１つまたは複数の特徴を識別しながら、前記入力データと比べてサイズが低減されたデータセットを生成することと、
   前記プロセッサによって、前記データセット中の前記１つまたは複数の特徴のうちの特徴を検出することと、
   前記特徴を検出したことに反応して、前記プロセッサによって、前記ニューラルネットワークの前記第２の１つまたは複数の層を実現する第２のデバイスに前記データセットを通信する代わりに、前記特徴に関してアクションを実施することと
   を含む、方法。
7. 前記プロセッサによって、精度の閾値内の前記特徴を検出することを更に含む、請求項６に記載の方法。
8. 前記ウェアラブルヘッドディスプレイを介して表示されている画像を修正することを含む前記アクションを実施することを更に含む、請求項６または７に記載の方法。
9. 前記プロセッサ上に実現された前記第１の１つまたは複数の層によって、第２の入力データ中の特徴のうちの第２の１つまたは複数を識別しながら、前記第２の入力データと比べてサイズが低減された第２のデータセットを生成することを更に含む、請求項６から８のいずれか一項に記載の方法。
10. 前記プロセッサによって、前記第２の１つまたは複数の特徴のうちの第２の特徴が、精度の閾値内で検出可能でないと決定することを更に含む、請求項９に記載の方法。
11. 前記決定に反応して、前記プロセッサによって、前記ニューラルネットワークの前記第２の１つまたは複数の層を実現する前記第２のデバイスに前記第２のデータセットを通信することを更に含み、
    随意に、前記方法が、前記第２のデバイスから、前記プロセッサによって、前記第２の１つまたは複数の層による前記第２のデータセットの処理の結果の指示を受信することを更に含む、
    請求項１０に記載の方法。
12. 第１のデバイスであって、前記第１のデバイスおよび第２のデバイスにわたって実現されたニューラルネットワークを介した処理のための入力データを受信するように構成された、第１のデバイス
    を備え、
    ここで、前記第１のデバイス上に実現された前記ニューラルネットワークの第１の１つまたは複数の層が、前記ニューラルネットワークの第２の１つまたは複数の層による処理のために、前記入力データの１つまたは複数の特徴を識別しながら、前記入力データと比べてサイズが低減されたデータセットを出力するように構成され、
    前記第１のデバイスが、前記第２のデバイス上に実現された前記ニューラルネットワークの前記第２の１つまたは複数の層を介した処理のために、前記第２のデバイスに前記データセットを通信するように構成された、
    システム。
13. 前記第１の１つまたは複数の層が、前記第２のデバイスへのネットワークを介した送信のために、前記データセットを圧縮することによって、前記データセットを低減するように更に構成された、請求項１２に記載のシステム。
14. 前記第２の１つまたは複数の層が、前記入力データ内の前記１つまたは複数の特徴のうちの特徴を検出するように更に構成され、
    随意に、前記第１のデバイスは、前記特徴が、前記第２の１つまたは複数の層によって検出されたという指示を前記第２のデバイスから受信するように更に構成された、
    請求項１２または１３に記載のシステム。
15. 前記第１のデバイスは、前記１つまたは複数の特徴のうちの特徴が、前記第１のデバイスによるアクションを取るための精度の閾値を満たすことを検出するように更に構成され、
    随意に、前記第１のデバイスが、前記検出に反応して、前記特徴に関しておよび前記第２のデバイスに前記データセットを通信することなしに、前記アクションを実施するように更に構成された、
    請求項１２から１４のいずれか一項に記載のシステム。

Images