JP2019532392A5

JP2019532392A5 -

Info

Publication number: JP2019532392A5
Application number: JP2019509558A
Authority: JP
Filing date: 2017-08-22
Publication date: 2020-10-01
Anticipated expiration: 2037-08-22

Claims

頭部搭載型ディスプレイシステムであって、
異なるタイプのセンサデータを捕捉するための複数のセンサであって、前記複数のセンサのそれぞれは、前記頭部搭載型ディスプレイシステムのフレーム上に配置されており、前記フレームは、ユーザの頭部に装着され、前記ユーザの眼の正面にディスプレイシステムを位置付けるように構成されており、前記複数のセンサは、顔画像を取得するように構成された外向きのカメラを含む、複数のセンサと、
非一過性メモリであって、前記非一過性メモリは、
実行可能命令と、
前記複数のセンサによって捕捉されたセンサデータを使用して、顔認識および採光検出を実施するための深層ニューラルネットワークと
を記憶するように構成され、
前記深層ニューラルネットワークは、前記深層ニューラルネットワークの入力を受信するための入力層と、複数の下位層と、複数の中央層と、前記顔認識および前記採光検出と関連付けられた前記深層ニューラルネットワークの結果を出力するための複数のヘッドコンポーネントとを備え、
前記入力層は、前記複数の下位層の最初の層に接続され、
前記複数の下位層の最後の層は、前記中央層の最初の層に接続され、
前記複数のヘッドコンポーネントのうちのヘッドコンポーネントは、ヘッド出力ノードを備え、
前記ヘッド出力ノードは、前記複数の中央層から前記ヘッドコンポーネントへの一意の経路を表す複数のヘッドコンポーネント層を通して、前記中央層の最後の層に接続される、
非一過性メモリと、
前記顔認識および前記採光検出に関連する情報を表示するように構成されるディスプレイと、
前記複数のセンサ、前記非一過性メモリ、および前記ディスプレイと通信するハードウェアプロセッサあって、前記ハードウェアプロセッサは、
前記異なるタイプのセンサデータを前記複数のセンサから受信することと、
前記異なるタイプのセンサデータを使用して、前記深層ニューラルネットワークの結果を決定することと、
前記顔認識および前記採光検出に関連する情報の表示を引き起こすことと
を行うために、前記実行可能命令によってプログラムされる、ハードウェアプロセッサと
を備える、システム。
前記複数のセンサは、慣性測定ユニット、深度感知カメラ、マイクロホン、眼結像カメラ、または任意のそれらの組み合わせを備える、請求項１に記載のシステム。
前記複数の下位層は、下位レベル特徴を前記異なるタイプのセンサデータから抽出するように訓練される、請求項１に記載のシステム。
前記複数の中央層は、上位レベル特徴を抽出された前記下位レベル特徴から抽出するように訓練される、請求項３に記載のシステム。
前記ヘッドコンポーネントは、前記上位レベル特徴のサブセットを使用し、前記顔認識または前記採光検出を決定する、請求項４に記載のシステム。
前記ヘッドコンポーネントは、前記複数のヘッドコンポーネント層を通して、前記複数の中央層のサブセットに接続される、請求項１に記載のシステム。
前記複数の下位層と関連付けられたいくつかの加重は、前記深層ニューラルネットワークと関連付けられた加重の５０％を上回り、
前記複数の中央層と関連付けられたいくつかの加重と前記複数のヘッドコンポーネントと関連付けられたいくつかの加重の和は、前記深層ニューラルネットワークと関連付けられた加重の５０％未満である、
請求項１に記載のシステム。
前記複数の下位層と関連付けられた算出は、前記深層ニューラルネットワークと関連付けられた総算出の５０％を上回り、
前記複数の中央層および前記複数のヘッドコンポーネントと関連付けられた算出は、前記深層ニューラルネットワークと関連付けられた総算出の５０％未満である、
請求項１に記載のシステム。
前記複数の下位層、前記複数の中央層、または前記複数のヘッドコンポーネント層は、畳み込み層、明度正規化層、バッチ正規化層、正規化線形層、アップサンプリング層、連結層、全結合層、線形全結合層、ソフトサイン層、再帰層、または任意のそれらの組み合わせを備える、請求項１に記載のシステム。
前記複数の中央層または前記複数のヘッドコンポーネント層は、プーリング層を備えており、前記複数の下位層は、プーリング層を備えていない、請求項１−９のいずれか１項に記載のシステム。