JP2021518177A - ビデオストリームからコンテキスト固有ｈｕｄをパースするためのプロゲーミングａｒバイザー及び方法 - Google Patents

ビデオストリームからコンテキスト固有ｈｕｄをパースするためのプロゲーミングａｒバイザー及び方法 Download PDF

Info

Publication number
JP2021518177A
JP2021518177A JP2020548929A JP2020548929A JP2021518177A JP 2021518177 A JP2021518177 A JP 2021518177A JP 2020548929 A JP2020548929 A JP 2020548929A JP 2020548929 A JP2020548929 A JP 2020548929A JP 2021518177 A JP2021518177 A JP 2021518177A
Authority
JP
Japan
Prior art keywords
display
information
computer
interpose
game program
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020548929A
Other languages
English (en)
Other versions
JP7155280B2 (ja
Inventor
チャールズ サーガニス、ジョン
チャールズ サーガニス、ジョン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment LLC
Original Assignee
Sony Interactive Entertainment LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment LLC filed Critical Sony Interactive Entertainment LLC
Publication of JP2021518177A publication Critical patent/JP2021518177A/ja
Application granted granted Critical
Publication of JP7155280B2 publication Critical patent/JP7155280B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/26—Output arrangements for video game devices having at least one additional display device, e.g. on the game controller or outside a game booth
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/214—Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads
    • A63F13/2145—Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads the surface being also a display device, e.g. touch screens
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/424—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving acoustic input signals, e.g. by using the results of pitch or rhythm extraction or voice recognition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A63F13/533—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game for prompting the player, e.g. by displaying a game menu
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A63F13/537—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/803—Driving vehicles or craft, e.g. cars, airplanes, ships, robots or tanks
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0149—Head-up displays characterised by mechanical features
    • G02B2027/0165—Head-up displays characterised by mechanical features associated with a head-down display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Acoustics & Sound (AREA)
  • User Interface Of Digital Computer (AREA)
  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【解決手段】拡張現実（ＡＲ）コンテンツを提示することが可能である装着可能または搭載可能バイザーまたは表示装置（２００，３００，４００）である。ＡＲバイザーの主な目的は、ビデオストリームまたはビデオゲームからの、マップ、タイマー、クロック、スピードメータ／タコメータ、計装パネル、またはビデオゲームもしくはストリームに関連する同様のコンテキスト依存情報などの、所望のヘッドアップディスプレイ（ＨＵＤ）コンテンツをパースし（６０２，９００）かつ選択的に表示する（９０２）ことである。ＡＲバイザーは、ユーザが、ＡＲバイザー／ディスプレイの１つ以上の指定されたセクションに様々なコンテンツを構成（９１２）及び表示することを可能にする。【選択図】図１

Description

本願は、ビデオストリームからコンテキスト固有のヘッドアップディスプレイ（ＨＵＤ）コンテンツをパースするためのプロフェッショナルゲーム拡張現実（ＡＲ）バイザー及び方法に関する。
多くのビデオストリーム（特に、ビデオゲームからのビデオストリーム）は、画面に周辺の補足データ、情報、または画像を含む。表示されている一次画像及びコンテンツを妨害またはブロックしないように、この補足情報は、通常、示されている主要ビデオの端または境界の周りのテレビ画面またはコンピュータ画面に表示される。しかしながら、例えば、ビデオゲームのプレイ中、ユーザが画面の周辺部に沿ってＨＵＤコンテンツを視認及び解読するために、主画面コンテンツからユーザの目をそらすことが必要となり、気が散る可能性がある。実際、境界に位置するコンテンツを走査することは通常数秒しかかからないが、本原理では、ゲームプレイアクティビティにおいて、短時間でさえも気が散ると、タイミングの悪い判断ミス、機会の逸失、または他のゲームプレイのミスをもたらす可能性があることが認識される。実際、プロのビデオゲームプレーヤーが重要情報だけでなく周辺情報も見ることを確実にするために、トレーニングメトロノームを使用して、適切な周期で画面端への注視を常にそらすように自分を訓練している。
本明細書で理解されるように、ＨＵＤコンテンツに適したコンテンツは、戦略的に、ユーザの前方に装着されるまたは位置付けられるバイザーまたはディスプレイを使用することによって抽出され、主要な視認エリアにわたって表示または重ねることができ、ユーザが画面の他のエリアへ注意をそらすことを軽減し、ユーザのゲームプレイの利点をもたらす。
本原理は、また、対戦型ビデオゲームプレイ以外の用途でも使用され得る。例えば、別様にドライバーの注意を道路及び乗り物の操作からそらす情報のダッシュボード表示は、ダッシュボードからの情報をより安全なＨＵＤ視界に重ねる、またはそうでなければ表示するディスプレイ装置によって移動できる。
したがって、本システムは、コンピュータゲームプログラムによって要求されるビデオを提示するように構成される少なくとも１つのプライマリディスプレイを含む。本システムは、また、コンピュータゲーマーとプライマリディスプレイとの間に配置可能な少なくとも１つのインターポーズディスプレイを含む。インターポーズディスプレイは半透明である。一時的信号ではない少なくとも１つのコンピュータストレージは、インターポーズディスプレイにコンピュータゲームプログラムからの拡張現実（ＡＲ）情報を提示するために少なくとも１つのプロセッサによって実行可能な命令を含む。このように、コンピュータゲーマーがインターポーズディスプレイに目を通して、プライマリディスプレイで、コンピュータゲームプログラムによって要求されるビデオを見るとき、ＡＲ情報をコンピュータゲーマーの視線で見ることができる。
いくつかの例では、インターポーズディスプレイは、例えば、ＡＲヘッドセットのバイザーとして、コンピュータゲーマーの頭部に装着されるように構成される。または、インターポーズディスプレイは、眼鏡のように構成され得る。またさらに、インターポーズディスプレイは、コンピュータゲーマーから離れているコンピュータゲーマーの意図する視界に直接設置または搭載されるように構成され得る。
例示的実施態様では、命令は、健康状態／寿命、時間、スコア、武器／銃弾、能力、メニュー、ゲーム進行、ミニマップ、スピードメータ／タコメータ、コンテキスト依存情報、レチクル／カーソル／十字線、ステルスメータ、コンパスの１つ以上を含む、ビデオゲームプレイからのユーザコンテンツ、データ、及び／または更新を、インターポーズディスプレイに提示することを実行可能にする。命令は、デバイスまたは乗り物の動作、バッテリ寿命、乗り物速度、オイルレベル、速度／速度制限、車線逸脱警告、運転方向、アラート／自動車の状態メッセージ、クルーズコントロール情報、近接車検出、道路、及び／または天気状況にとって重要なコンテンツ、データ、及び／または更新の１つ以上を、インターポーズディスプレイに提示することを実行可能にし得る。
いくつかの例では、インターポーズディスプレイは、プライマリディスプレイに対面する内側面及びタッチセンサ式外側面を含み得、命令は、インターポーズディスプレイの外側面へのタッチに応答して、インターポーズディスプレイに提示されるＡＲ情報を移動させることを実行可能にする。例示的な実施形態では、少なくとも１つのカメラをインターポーズディスプレイに提示し、コンピュータゲーマーの目の向きを追跡するように位置付けられ得、カメラからの情報は、例えばコンピュータゲームの武器の照準線を確立するためにコンピュータゲームプログラムを実行するゲーム機に送信される。
必要に応じて、命令は、ＡＲ情報を識別するコンピュータゲームプログラムのコードにアクセスし、コードを使用して、ＡＲ情報をインターポーズディスプレイに提示することが実行可能であり得る。例では、命令は、ＡＲ情報の動きを表すコンピュータゲームプログラムから信号を受信し、信号に少なくとも部分的に基づいて、インターポーズディスプレイのＡＲ情報の色、サイズの少なくとも１つを変更することが実行可能である。
下記により詳細に説明されるいくつかの実施態様では、命令は、インターポーズディスプレイに関連付けられる通信コンポーネントと、コンピュータゲームプログラムを実行する少なくとも１つのゲーム機との間の通信を検出したことに応答して、コンピュータゲームプログラムからインターポーズディスプレイにＡＲ情報を転送することを実行可能にする。他の実施態様では、少なくとも１つのゲーマーが開始した音声またはキーボード入力コマンドに応答して、コンピュータゲームプログラムからインターポーズディスプレイにＡＲ情報を送信することを実行可能にする。
別の態様では、本方法は、ゲームプログラムに従ってコンピュータゲームビデオをプライマリディスプレイに提示することを含む。本方法は、また、ゲームプログラムからの情報を拡張現実（ＡＲ）情報として、プライマリディスプレイとコンピュータゲーマーとの間に位置する半透明ディスプレイに提示することを含む。
別の態様では、ディスプレイアセンブリは、少なくとも１つの半透明ディスプレイ及び少なくとも１つのコンピュータストレージを含み、半透明ディスプレイから分離しているプライマリディスプレイにビデオを提示するために実行されるコンピュータゲームプログラムからコードにアクセスするための少なくとも１つのプロセッサによって実行可能な命令を伴う。命令は、半透明ディスプレイに、コードによって伝えられる情報を提示することが実行可能である。
本願の詳細は、その構造及び動作の両方について、同様の参照符号が同様の部分を指す添付図を参照して最も良く理解できる。
本原理に従った例を含む例示的システムのブロック図である。 いくつかのコンポーネントを概略的に示す、コンピュータゲームのヘッドセット構成において「ヘッドアップディスプレイ」（ＨＵＤ）として構成される半透明ディスプレイの上面図である。 眼鏡構成のＨＵＤとして構成される半透明ディスプレイの斜視図である。 いくつかのコンポーネントを概略的に示す、ゲーマーによって装着されるのではなく、ゲーマーとプライマリディスプレイとの間に配置されるスタンドアロンＨＵＤとして構成される半透明ディスプレイの斜視図であり、ＨＵＤの実施態様のいずれかのコンポーネントが交換され得ることを理解されたい。 コンソールによって実行されるプログラムからの情報が半透明ＨＵＤに送られる、ゲーム機からのコンピュータゲームビデオが示されるプライマリディスプレイを含むシステムを示す立面図である。 ＨＵＤのＡＲ情報提示を初期化するための例示的ロジックのフローチャートである。 ＨＵＤのＡＲ情報提示を初期化するための例示的ロジックのフローチャートである。 ＨＵＤのＡＲ情報提示を初期化するための例示的ロジックのフローチャートである。 ＨＵＤのＡＲ提示を実行するための例示的ロジックのフローチャートである。 本原理と一致する例示的ＨＵＤ制御モードを示す概略図である。 本原理と一致する例示的ＨＵＤ制御モードを示す概略図である。 本原理と一致する例示的ＨＵＤ制御モードを示す概略図である。
本開示は、概して、限定ではないが、コンピュータゲームネットワーク等の家電製品（ＣＥ）デバイスネットワークの態様を含むコンピュータエコシステムに関する。本明細書のシステムは、クライアントコンポーネントとサーバコンポーネントとの間でデータを交換し得るように、ネットワークを通じて接続されたサーバコンポーネント及びクライアントコンポーネントを含み得る。クライアントコンポーネントは、Ｓｏｎｙ ＰｌａｙＳｔａｔｉｏｎ（登録商標）等のゲーム機またはＭｉｃｒｏｓｏｆｔもしくはＮｉｎｔｅｎｄｏもしくは他の製造者によって作成されたゲーム機、仮想現実（ＶＲ）ヘッドセット、拡張現実（ＡＲ）ヘッドセット、ポータブルテレビ（例えば、スマートテレビ、インターネット対応テレビ）、ラップトップ及びタブレットコンピュータ等のポータブルコンピュータ、ならびにスマートフォン及び下記に説明される追加例を含む他のモバイルデバイスを含む、１つ以上のコンピューティングデバイスを含み得る。これらのクライアントデバイスは、様々な動作環境で動作し得る。例えば、クライアントコンピュータの一部は、例として、Ｌｉｎｕｘ（登録商標）オペレーティングシステム、Ｍｉｃｒｏｓｏｆｔのオペレーティングシステム、もしくはＵｎｉｘ（登録商標）オペレーティングシステム、またはＡｐｐｌｅ ＣｏｍｐｕｔｅｒもしくはＧｏｏｇｌｅによって製造されたオペレーティングシステムを使用し得る。これらの動作環境は、下記に説明されるインターネットサーバによってホストされるウェブサイトにアクセスできる、ＭｉｃｒｏｓｏｆｔもしくはＧｏｏｇｌｅもしくはＭｏｚｉｌｌａによって作成されたブラウザ、または他のブラウザプログラム等、１つ以上のブラウジングプログラムを実行するために使用され得る。また、本原理に従った動作環境は、１つ以上のコンピュータゲームプログラムを実行するために使用され得る。
サーバ及び／またはゲートウェイは、インターネット等のネットワークを通じてデータを受信及び伝送するサーバを構成する命令を実行する１つ以上のプロセッサを含み得る。または、クライアント及びサーバは、ローカルイントラネットまたは仮想プライベートネットワークを通じて接続できる。サーバまたはコントローラは、Ｓｏｎｙ ＰｌａｙＳｔａｔｉｏｎ（登録商標）等のゲーム機、パーソナルコンピュータ等によってインスタンス化され得る。
クライアントとサーバとの間でネットワークを通じて情報を交換し得る。この目的のために及びセキュリティのために、サーバ及び／またはクライアントは、ファイアウォール、ロードバランサ、一時的ストレージ、及びプロキシ、ならびに信頼性及びセキュリティのための他のネットワークインフラストラクチャを含み得る。１つ以上のサーバは、ネットワークメンバーにオンラインソーシャルウェブサイト等のセキュアコミュニティを提供する方法を実施する装置を形成し得る。
本明細書で使用されるように、命令は、本システムにおいて情報を処理するためのコンピュータにより実施されるステップを指す。命令は、ソフトウェア、ファームウェア、またはハードウェアにおいて実施でき、本システムのコンポーネントによって引き受けられるいずれかのタイプのプログラムされたステップを含み得る。
プロセッサは、アドレスライン、データライン、及び制御ライン等の様々なライン、ならびにレジスタ及びシフトレジスタによってロジックを実行できるいずれかの従来の汎用シングルチッププロセッサまたはマルチチッププロセッサであり得る。
本明細書でフローチャート及びユーザインタフェースによって説明されるソフトウェアモジュールは、様々なサブルーチン、手順等を含み得る。本開示を限定することなく、特定のモジュールによって実行されるように規定されるロジックは、他のソフトウェアモジュールに再分配でき、及び／または単一のモジュールに一緒に組み合わされることができ、及び／または共有可能ライブラリにおいて利用可能にできる。
本明細書に説明される本原理は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの組み合わせとして実装できる。したがって、実例となるコンポーネント、ブロック、モジュール、回路、及びステップは、それらの機能性に関して説明される。
下記に説明される機能及び方法は、ソフトウェアにおいて実装されるとき、限定ではないが、Ｊａｖａ（登録商標）、Ｃ＃、またはＣ＋＋等の適切な言語で書き込まれることができ、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、電気的消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、コンパクトディスクリードオンリメモリ（ＣＤ−ＲＯＭ）またはデジタル多用途ディスク（ＤＶＤ）等の他の光ディスクストレージ、磁気ディスクストレージまたは取り外し可能サムドライブ等を含む他の磁気記憶デバイス等のコンピュータ可読記憶媒体に記憶できる、またはコンピュータ可読記憶媒体を経由して伝送できる。接続はコンピュータ可読媒体を確立し得る。係る接続は、例として、光ファイバ、同軸ワイヤ、デジタル加入者回線（ＤＳＬ）、及びツイストペアワイヤを含む有線ケーブルを含み得る。係る接続は、赤外線及び無線を含む無線通信接続を含み得る。
一実施形態に含まれるコンポーネントは、他の実施形態では、いずれかの適切な組み合わせで使用され得る。例えば、本明細書に説明される及び／または図で示される様々なコンポーネントのいずれかは、組み合わされ得、交換され得、または他の実施形態から排除され得る。
「Ａ、Ｂ、及びＣのうちの少なくとも１つを有するシステム」（同様に「Ａ、Ｂ、またはＣのうちの少なくとも１つを有するシステム」及び「Ａ、Ｂ、Ｃのうちの少なくとも１つを有するシステム」）は、Ａ単独、Ｂ単独、Ｃ単独、Ａ及びＢを一緒に、Ａ及びＣを一緒に、Ｂ及びＣを一緒に、及び／またはＡ、Ｂ、及びＣを一緒に有するシステム等を含む。
ここで、具体的には図１を参照して、上記に言及された本原理に従って下記にさらに説明される例示的デバイスの１つ以上を含み得る、例示的システム１０を示す。システム１０に含まれる第１の例示的デバイスは、限定ではないが、テレビチューナ（同様に、テレビを制御するセットトップボックス）を有するインターネット対応テレビ等の音声ビデオデバイス（ＡＶＤ）１２等の家電製品（ＣＥ）デバイスである。しかしながら、ＡＶＤ１２は、代わりに、電気器具または家庭用品（例えば、コンピュータ制御式インターネット対応冷蔵庫、洗濯機、または乾燥機）であり得る。代わりに、ＡＶＤ１２は、また、コンピュータ制御式インターネット対応（「スマート」）電話、タブレットコンピュータ、ノートブックコンピュータ、装着可能コンピュータ制御デバイス（例えば、コンピュータ制御式インターネット対応時計、コンピュータ制御式インターネット対応ブレスレット等）、他のコンピュータ制御式インターネット対応デバイス、コンピュータ制御式インターネット対応ミュージックプレイヤ、コンピュータ制御式インターネット対応ヘッドフォン、インプラント可能な皮膚デバイス等のコンピュータ制御式でインターネット対応のインプラント可能なデバイス等であり得る。それにも関わらず、ＡＶＤ１２は、本原理を実施するように構成される（例えば、本原理を実施するように他のＣＥデバイスと通信し、本明細書に説明されるロジックを実行して、本明細書に説明されるいずれかの他の機能及び／または動作を行う）ことを理解されたい。
したがって、係る原理を実施するために、ＡＶＤ１２は、図１に示されるコンポーネントの一部または全てによって確立できる。例えば、ＡＶＤ１２は、１つ以上のディスプレイ１４を含み得、１つ以上のディスプレイ１４は、高解像度もしくは超解像度の「４Ｋ」またはより高い解像度のフラットスクリーンによって実装され得、ディスプレイのタッチによりユーザ入力信号を受信するためにタッチ対応であり得る。ＡＶＤ１２は、本原理に従って音声を出力するための１つ以上のスピーカ１６と、例えば、可聴コマンドをＡＶＤ１２に入力して、ＡＶＤ１２を制御するための、例えば、音声受信機／マイクロホン等の少なくとも１つの追加入力デバイス１８を含み得る。例示的なＡＶＤ１２は、また、１つ以上のプロセッサ２４の制御の下、インターネット、ＷＡＮ、ＬＡＮ等の少なくとも１つのネットワーク２２を通じて通信するための１つ以上のネットワークインタフェース２０を含み得る。また、グラフィックプロセッサ２４Ａを含み得る。したがって、インタフェース２０は、限定ではないが、Ｗｉ−Ｆｉ送受信機であり得、Ｗｉ−Ｆｉ送受信機は、限定ではないが、メッシュネットワークトランシーバ等の無線コンピュータネットワークインタフェースの例である。プロセッサ２４は、例えば、ディスプレイ１４をそこで画像を提示するように制御することと、そこから入力を受信すること等の本明細書に説明されるＡＶＤ１２の他の要素を含む本原理を実施するようにＡＶＤ１２を制御することを理解されたい。さらに、ネットワークインタフェース２０は、例えば、有線もしくは無線のモデムもしくはルータ、または、例えば、無線テレフォニ送受信機もしくは上記に言及したようなＷｉ−Ｆｉ送受信機等の他の適切なインタフェースであり得ることに留意されたい。
上述に加えて、ＡＶＤ１２は、また、例えば、別のＣＥデバイスに（例えば、有線接続を使用して）物理的に接続する高解像度マルチメディアインタフェース（ＨＤＭＩ（登録商標））ポートもしくはＵＳＢポート、及び／またはヘッドフォンを経由してＡＶＤ１２からユーザに音声を提示するためにＡＶＤ１２にヘッドフォンを接続するヘッドフォンポート等の１つ以上の入力ポート２６を含み得る。例えば、入力ポート２６は、音声ビデオコンテンツのケーブルまたはサテライトソース２６ａに有線でまたは無線で接続され得る。従って、ソース２６ａは、例えば、分離もしくは統合されたセットトップボックス、またはサテライト受信機であり得る。または、ソース２６ａは、コンピュータゲームソフトウェア及びデータベース等のコンテンツを含むゲーム機またはディスクプレイヤであり得る。ソース２６ａは、ゲーム機として実装されるとき、ＣＥデバイス４４に関連して下記に説明されるコンポーネントの一部または全てを含み得る。
ＡＶＤ１２は、さらに、一時的信号ではない、ディスクベースストレージまたはソリッドステートストレージ等の１つ以上のコンピュータメモリ２８を含み得、これらのストレージは、いくつかの場合、スタンドアロンデバイスとして、またはＡＶプログラムを再生するためにＡＶＤのシャーシの内部もしくは外部のいずれかでパーソナルビデオ録画デバイス（ＰＶＲ）もしくはビデオディスクプレイヤとして、または取り外し可能メモリ媒体として、ＡＶＤのシャーシ内で具現化される。また、いくつかの実施形態では、ＡＶＤ１２は、限定ではないが、例えば、少なくとも１つのサテライト基地局もしくは携帯電話基地局から地理的位置情報を受信し、情報をプロセッサ２４に提供し、及び／またはＡＶＤ１２がプロセッサ２４と併せて配置される高度を判定するように構成される、携帯電話受信機、ＧＰＳ受信機、及び／または高度計３０等の位置受信機または場所受信機を含み得る。しかしながら、例えば、全３次元において、例えば、ＡＶＤ１２の場所を判定するために、本原理に従って、携帯電話受信機、ＧＰＳ受信機、及び／または高度計以外の別の適切な位置受信機が使用され得ることを理解されたい。
ＡＶＤ１２の説明を続けると、いくつかの実施形態では、ＡＶＤ１２は、１つ以上のカメラ３２を含み得、１つ以上のカメラ３２は、例えば、熱画像カメラ、ウェブカメラ等のデジタルカメラ、及び／または本原理に従って写真／画像及び／またはビデオを集めるように、ＡＶＤ１２に統合され、プロセッサ２４によって制御可能であるカメラであり得る。また、ＡＶＤ１２に含まれるのは、Ｂｌｕｅｔｏｏｔｈ（登録商標）及び／または近距離無線通信（ＮＦＣ）技術を各々使用して、他のデバイスと通信するためのＢｌｕｅｔｏｏｔｈ（登録商標）送受信機３４及び他のＮＦＣ要素３６であり得る。例示的なＮＦＣ要素は、無線周波数識別（ＲＦＩＤ）要素であり得る。また、Ｚｉｇｂｅｅ（登録商標）を使用し得る。
さらにまた、ＡＶＤ１２は、プロセッサ２４に入力を提供する１つ以上の補助センサ３７（例えば、加速度計、ジャイロスコープ、サイクロメータ等の運動センサ、または磁気センサ、赤外線（ＩＲ）センサ、光学センサ、速度センサ及び／またはケイデンスセンサ、ジェスチャセンサ（例えば、ジェスチャコマンドを検知するためのセンサ）等）を含み得る。ＡＶＤ１２は、プロセッサ２４に入力を提供する無線（ｏｖｅｒ−ｔｈｅ−ａｉｒ（ＯＴＡ））ＴＶ放送を受信するための無線テレビ放送ポート３８を含み得る。上述に加えて、ＡＶＤ１２は、また、赤外線（ＩＲ）データアソシエーション（ＩＲＤＡ）デバイス等のＩＲ伝送機及び／またはＩＲ受信機及び／またはＩＲ送受信機４２を含み得ることに留意されたい。ＡＶＤ１２に給電するためのバッテリ（図示せず）が提供され得る。
さらに図１を参照すると、ＡＶＤ１２に加えて、システム１０は、１つ以上の他のＣＥデバイスタイプを含み得る。一例では、第１のＣＥデバイス４４は、ＡＶＤ１２に直接送信されるコマンドを介して及び／または下記に説明されるサーバを通じて、コンピュータゲーム音声及びビデオをＡＶＤ１２に送信するために使用され得る一方、第２のＣＥデバイス４６は第１のＣＥデバイス４４と同様のコンポーネントを含み得る。示される例では、第２のＣＥデバイス４６は、示されたように、プレイヤ４７によって装着されるＶＲヘッドセットまたはプレイヤ４７によって操作されるハンドヘルドゲームコントローラとして構成され得る。示される例では、２つのＣＥデバイス４４、４６だけが示され、より少ない数またはより多い数のデバイスが使用され得ることを理解されたい。
示される例では、本原理を示すために、全ての３つのデバイス１２、４４、４６は、例えば、家庭内のエンターテインメントネットワークのメンバーであること、または少なくとも住宅等の場所において相互に近接して存在していることが推定される。しかしながら、本原理は、他に明確に要求されない限り、破線４８によって示される特定の場所に限定されない。
例示的な非限定的の第１のＣＥデバイス４４は、上述のデバイス、例えば、ポータブル無線ラップトップコンピュータまたはノートブックコンピュータまたはゲームコントローラ（また、「コンソール」と称される）のいずれか１つによって確立され得、したがって、下記に説明される１つ以上のコンポーネントを有し得る。第１のＣＥデバイス４４は、例えば、ＡＶ再生コマンド及び一時停止コマンドをＡＶＤ１２に発行するためのリモート制御（ＲＣ）であり得る、またはタブレットコンピュータ、有線もしくは無線リンクを介してＡＶＤ１２と通信するゲームコントローラ、パーソナルコンピュータ、無線電話等のより高性能デバイスであり得る。
したがって、第１のＣＥデバイス４４は１つ以上のディスプレイ５０を含み得、１つ以上のディスプレイ５０はディスプレイのタッチによりユーザ入力信号を受信するためのタッチ式であり得る。第１のＣＥデバイス４４は、本原理に従って音声を出力するための１つ以上のスピーカ５２と、例えば、デバイス４４を制御するために可聴コマンドを第１のＣＥデバイス４４に入力するための少なくとも１つの追加入力デバイス５４（例えば、音声受信機／マイクロホン等）とを含み得る。例示的な第１のＣＥデバイス４４は、また、１つ以上のＣＥデバイスプロセッサ５８の制御の下、ネットワーク２２を通じて通信するための１つ以上のネットワークインタフェース５６を含み得る。また、グラフィックプロセッサ５８Ａを含み得る。したがって、インタフェース５６は、限定ではないが、Ｗｉ−Ｆｉ送受信機であり得、Ｗｉ−Ｆｉ送受信機は、メッシュネットワークインタフェースを含む無線コンピュータネットワークインタフェースの例である。プロセッサ５８は、例えば、ディスプレイ５０をそこで画像を提示するように制御することと、そこから入力を受信すること等の本明細書に説明される第１のＣＥデバイス４４の他の要素を含む、本原理を実施するように第１のＣＥデバイス４４を制御することを理解されたい。さらに、ネットワークインタフェース５６は、例えば、有線もしくは無線のモデムもしくはルータ、または、例えば、上記に言及したような無線テレフォニ送受信機もしくはＷｉ−Ｆｉ送受信機等の他の適切なインタフェースであり得ることに留意されたい。
上述に加えて、第１のＣＥデバイス４４は、また、例えば、別のＣＥデバイスに物理的に接続する（例えば、有線接続を使用して）ＨＤＭＩ（登録商標）ポートもしくはＵＳＢポート、及び／またはヘッドフォンを経由して第１のＣＥデバイス４４からユーザに音声を提示するために第１のＣＥデバイス４４にヘッドフォンを接続するためのヘッドフォンポート等の１つ以上の入力ポート６０を含み得る。第１のＣＥデバイス４４は、さらに、ディスクベースストレージまたはソリッドステートストレージ等の１つ以上の有形コンピュータ可読記憶媒体６２を含み得る。また、いくつかの実施形態では、第１のＣＥデバイス４４は、限定ではないが、例えば、三角測量を使用して、少なくとも１つのサテライト基地局及び／または携帯電話基地局から地理的位置情報を受信し、ＣＥデバイスプロセッサ５８に情報を提供し、及び／または第１のＣＥデバイス４４がＣＥデバイスプロセッサ５８と併せて配置される高度を判定するように構成される、携帯電話及び／またはＧＰＳ受信機及び／または高度計６４等の位置受信機または場所受信機を含み得る。しかしながら、例えば、全３次元において、例えば、第１のＣＥデバイス４４の場所を判定するために、本原理に従って携帯電話及び／またはＧＰＳ受信機及び／または高度計以外の別の適切な位置受信機が使用され得ることを理解されたい。
第１のＣＥデバイス４４の説明を続けると、いくつかの実施形態では、第１のＣＥデバイス４４は１つ以上のカメラ６６を含み得、１つ以上のカメラ６６は、例えば、熱画像カメラ、ウェブカメラ等のデジタルカメラ、及び／または第１のＣＥデバイス４４に統合され、本原理に従って写真／画像及び／またはビデオを集めるようにＣＥデバイスプロセッサ５８によって制御可能なカメラであり得る。また、第１のＣＥデバイス４４に含まれるのは、Ｂｌｕｅｔｏｏｔｈ（登録商標）及び／または近距離無線通信（ＮＦＣ）技術を各々使用して、他のデバイスと通信するためのＢｌｕｅｔｏｏｔｈ（登録商標）送受信機６８及び他のＮＦＣ要素７０であり得る。例示的なＮＦＣ要素は、無線周波数識別（ＲＦＩＤ）要素であり得る。
さらにまた、第１のＣＥデバイス４４は、ＣＥデバイスプロセッサ５８に入力を提供する、１つ以上の補助センサ７２（例えば、加速度計、ジャイロスコープ、サイクロメータ等の運動センサ、または磁気センサ、赤外線（ＩＲ）センサ、光学センサ、速度センサ及び／またはケイデンスセンサ、ジェスチャセンサ（例えば、ジェスチャコマンドを検知するためのセンサ）等）を含み得る。第１のＣＥデバイス４４は、例えば、１つ以上の気候センサ７４（例えば、気圧計、湿度センサ、風力センサ、光センサ、温度センサ等）及び／またはＣＥデバイスプロセッサ５８に入力を提供する１つ以上の生体センサ７６等のさらに他のセンサを含み得る。上述に加えて、いくつかの実施形態では、第１のＣＥデバイス４４は、また、赤外線（ＩＲ）データアソシエーション（ＩＲＤＡ）デバイス等のＩＲ伝送機及び／またはＩＲ受信機、及び／またはＩＲ送受信機７８を含み得ることに留意されたい。第１のＣＥデバイス４４に給電するためのバッテリ（図示せず）が提供され得る。ＣＥデバイス４４は、上記に説明した通信モード及び関連するコンポーネントのいずれかによってＡＶＤ１２と通信し得る。
第２のＣＥデバイス４６は、ＣＥデバイス４４に関して示されるコンポーネントの一部または全てを含み得る。ＣＥデバイスの１つまたは両方のいずれかは、１つ以上のバッテリによって供電され得る。
ここで、上述の少なくとも１つのサーバ８０を参照すると、サーバ８０は、少なくとも１つのサーバプロセッサ８２と、ディスクベースストレージまたはソリッドステートストレージ等の少なくとも１つの有形コンピュータ可読記憶媒体８４と、サーバプロセッサ８２の制御の下、ネットワーク２２を通じて図１の他のデバイスとの通信を可能にし、実際に、本原理に従ってサーバとクライアントデバイスとの間の通信を容易にし得る少なくとも１つのネットワークインタフェース８６とを含む。ネットワークインタフェース８６は、例えば、有線もしくは無線のモデムもしくはルータ、Ｗｉ−Ｆｉ送受信機、または、例えば、無線テレフォニ送受信機等の他の適切なインタフェースであり得ることに留意されたい。
したがって、いくつかの実施形態では、サーバ８０は、インターネットサーバまたはサーバ「ファーム」全体であり得、「クラウド」機能を含み得、「クラウド」機能を行い得、それにより、システム１０のデバイスは、例えば、ネットワークゲーミングアプリケーションに関する例示的な実施形態ではサーバ８０を介して「クラウド」環境にアクセスし得る。または、サーバ８０は、１つ以上のゲーム機、または図１に示される他のデバイスと同じ部屋もしくはその近くにある他のコンピュータによって実装され得る。
さらに上記に指摘したものについて、下記に説明される論理ブロック、モジュール、及び回路は、汎用プロセッサ、デジタルシグナルプロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）もしくは特定用途向け集積回路（ＡＳＩＣ）等の他のプログラマブル論理デバイス、個別ゲートもしくはトランジスタロジック、個別ハードウェアコンポーネント、または本明細書に説明される機能を行うように設計されたそれらのいずれかの組み合わせによって実装できるまたは行われることができる。プロセッサは、コントローラもしくはステートマシン、またはコンピューティングデバイスの組み合わせによって実装できる。したがって、本明細書の方法は、プロセッサ、適切に構成される特定用途向け集積回路（ＡＳＩＣ）もしくはフィールドプログラマブルゲートアレイ（ＦＰＧＡ）モジュール、または当業者によって認識されるであろうようないずれかの他の便利な様式によって実行されるソフトウェア命令として実施され得る。使用される場合、ソフトウェア命令は、ハードディスクドライブ、ＣＤ ＲＯＭ、またはフラッシュドライブ等の非一時的デバイスにおいて具体化され得る。ソフトウェアコード命令は、また、インターネットを通じてダウンロードされ得る。
図２〜図４は、コンピュータゲーマー等の視聴者と、コンピュータゲームビデオ等のビデオが提示されるプライマリディスプレイとの間に介在できる様々な半透明ディスプレイ２００、３００、４００を示す。したがって、半透明ディスプレイ２００、３００、４００は、拡張現実（ＡＲ）として、プライマリディスプレイのゲームビデオを駆動するコンピュータゲームファイルからの補助情報を提示する「ヘッドアップディスプレイ」（ＨＵＤ）の例である。係るＡＲ情報の非限定的実施例は、ゲームキャラクターの健康状態／残りの寿命、時間、スコア、利用可能である武器／銃弾の性質及び量、能力、ゲームメニュー、ゲーム進行状況、ミニチュア形式でゲームにおいてエミュレートされたトポグラフィのマップ、ゲームにおいてエミュレートされた乗り物に関連付けられるスピードメータ／タコメータゲージ、コンテキスト依存情報、レチクル／カーソル／十字線の表現、「ステルスメータ」、エミュレートされたゲームの地形に関連付けられるコンパス／クエストアローの数値表現を含む。動力車適用では、ＨＵＤコンテンツは、乗り物が通行している道路に関連付けられる実際の乗り物速度／速度制限、車線逸脱警告、運転方向、アラート／自動車の状態メッセージ、クルーズコントロール情報、近くの乗り物の検出アラート、道路、及び／または天気状況を含み得る。
図２のＨＵＤ２００は半透明ディスプレイ２０２を有する頭部装着可能バイザーとして構成され、半透明ディスプレイ２０２は、外側面２０４（すなわち、バイザーが装着されたときにユーザから離れて対面する表面）と内側面２０６とを伴う。下記に詳述される理由のために、外側面はタッチセンサ式であり得る。下記にさらに説明される目的のために、マイクロホン２０８は、ユーザから音声信号を受信するために、ＨＵＤ２００に提供され得る。ＨＵＤ２００は、本明細書の他のＨＵＤと同様に、プロセッサ、コンピュータストレージ、スピーカ、入力キー、通信インタフェース、及び、概して、図１を参照して上記に説明した適切なコンポーネントのいずれかを含み得る。
図３は眼鏡として構成されるＨＵＤ３００を示し、左右の半透明ディスプレイ３０２と、ディスプレイ３０２間にノーズブリッジ３０４とを備える。左右のテンプル３０６は、ディスプレイから延び、ユーザの左右の耳と係合できる。
図４は、ゲームコントローラ４０４を操作するゲーマー４０２の頭部に装着されないがむしろ、スタンドアロンディスプレイとして、ゲーマー４０２とプライマリディスプレイ４０６との間に介在されるように構成される、さらに別のＨＵＤ４００を示す。プライマリディスプレイ４０６は、本明細書に説明されるディスプレイ（例えば、図１のディスプレイ１４等）のいずれかで実装され得る。
コントローラ４０４は、ゲームプレイ信号をコンピュータゲーム機４０８に入力し、コンピュータゲーム機４０８は、プライマリディスプレイ４０６上のコンピュータゲームプログラムから要求される画像を生成する。ゲーマー４０２がコントローラ４０４を操作して、プライマリディスプレイ４０６に提示されるゲームをプレイするとき、ゲーマーは、ゲーマー４０２とプライマリディスプレイ４０６との間に介在される半透明ＨＵＤ４００に目を通し、プライマリディスプレイ４０６のビデオゲームと、例えば、示されるようにＨＵＤ４００が支持されているスタンドに搭載された超短焦点（ＵＳＴ）プロジェクタ等のプロジェクタ４１０によってＨＵＤ４００に生成されたＡＲ情報との両方を視認する。本明細書の他のＨＵＤは、プロジェクタまたは他の提示手法を使用して、ＡＲ情報を提示し得ることを理解されたい。
図２〜図４に示される様々なＨＵＤ構成に加えて、ＨＵＤは、ゲーマーの視野を横切るようにゲーマーの体全体にわたって装着されるように構成され得る。
図５は、図４のＨＵＤ４００と同様のＨＵＤの追加詳細を示す。限定ではないがＳｏｎｙ ＰｌａｙＳｔａｔｉｏｎ（登録商標）コンソールまたはＭｉｃｒｏｓｏｆｔ Ｘｂｏｘ（登録商標）コンソール等のコンピュータゲーム機は、コンソールのデータストレージ５０２に保存される１つ以上のコンピュータゲームプログラムを実行できる。コンソール５００は、コンピュータゲームプログラムによって要求されるビデオをプライマリディスプレイ５０４に送信する。一般的に、上記に説明したいずれかの種類の補助情報等の補助情報は、示される例の左下角の領域等のプライマリディスプレイ５０４の小領域５０６内に提示され、これにより、ゲーマーはビデオの主なアクションから小領域５０６にゲーマーの注視をそらす必要があり、多かれ少なかれ絶えず戻るようになる。
しかしながら、図５に示されるように、本原理に従って、小領域５０６内の補助情報は、プライマリディスプレイ５０４の小領域５０６から、半透明ＨＵＤ５０８の表示領域の全てまたは実質的に全てに、ＡＲ情報として移動され得る。補助情報はＨＵＤにＡＲ情報として提示されるときにプライマリディスプレイ５０４の小領域５０６から除外され得る、または補助情報はＨＵＤに提示されることに加えて、小領域に存在しているままであり得る。
必要に応じて、ユーザは音声コマンドまたは他の入力モードを介して、ＡＲコンテンツがＨＵＤに提示される頻度またはタイマー設定を選択し得る。頻度は、デフォルトの頻度で最初に設定され得、その頻度は、必要に応じて、ＡＲコンテンツのタイプに依存する（例えば、メッセージに関してより短い頻度、マップに関してより長い頻度になる）。係る実施形態では、下記に説明するマップ等のＡＲコンテンツは、一定期間だけ画面上に存在しているままで、一定期間だけ消え、次に、再び現れ、一定頻度で、現れる、消えるのサイクルを繰り返す。
ＨＵＤが含み得る様々な内部コンポーネントを示すために、１つ以上のプロセッサ５１０は、本原理を実行するために（通常、一時的信号ではない）１つ以上のコンピュータストレージ５１２にアクセスし得る。例えば、ＨＵＤコンポーネントとゲーム機５００との間の通信は、ユニバーサルシリアルバス（ＵＳＢ）ポートまたは送受信機等の１つ以上の通信インタフェース５１４を経由して行われ得る。ゲームに関連する音声（より一般的には、ＨＵＤに提示されるＡＲ情報）は、１つ以上の音声スピーカ５１６で再生され得る。１つ以上のマイクロホン５１８は、音声信号を検出し、音声信号をプロセッサ５１０に送信するために提供され得、例えば、下記にさらに説明されるように、プロセッサ５１０は音声信号に音声認識を実装してコマンドを作り出すためのものである。必要に応じて、各々のキーに関連付けられるコマンドを入力するために、１つ以上の操作可能キー５２０を提供し得る。
図６〜図８は、ＡＲ情報のＨＵＤ提示を開始するための様々な手法を示す。図６のブロック６００において、ゲーム機とＨＵＤとの間の通信は、ゲーム機とＨＵＤの一方または両方によって検出され得る。例えば、ＨＵＤからゲーム機へのＵＳＢケーブルの差し込みを検出し得、すなわち、ホットプラグ可能な通信原理を使用してＵＳＢ通信を検出し得る。通信の検出に応答して、ブロック６０２において、ゲームプログラムが例えば図５のプライマリディスプレイ５０４の小領域５０６に提示されることを命令する補助情報は、ゲーム機からＨＵＤに送信され、ＨＵＤに補助情報をＡＲ情報として提示させることができ、これにより、ゲーマーは、過度に視線をそらすことなくＨＵＤでＡＲ情報を見ることもしながら、メインアクションをプライマリディスプレイで見ることができる。
他方では、図７では、ブロック７００において、「ＨＵＤ提示」に関連があるＨＵＤまたはゲーム機またはゲームコントローラの所定のキーの操作を受け得る。それに応答して、ブロック７０２において、ゲームプログラムコマンドが例えば図５のプライマリディスプレイ５０４の小領域５０６に提示されることを命令する補助情報は、ゲーム機からＨＵＤに送信され、ＨＵＤにＡＲ情報を補助情報として提示させることができる。
またさらに、図８は、ブロック８００において、音声コマンドは、ＨＵＤ及び／またはゲーム機及び／またはゲームコントローラによって受信され、ＨＵＤ提示を開始し得ることを示す。それに応答して、ブロック８０２において、ゲームプログラムが例えば図５のプライマリディスプレイ５０４の小領域５０６に提示されることを命令する補助情報は、ゲーム機からＨＵＤに送信され、ＨＵＤに補助情報をＡＲ情報として提示させることができる。
図９は、ＨＵＤのＡＲ提示の動作ロジックの例を示す。図９に示されるロジックは、ＨＵＤプロセッサによって、またはいずれかの他のプロセッサもしくは本明細書に開示されるプロセッサの組み合わせによって、全体的または部分的に実行され得る。ブロック９００において開始すると、コンピュータゲームプログラムのコード行にアクセスされ、ＨＵＤにＡＲ情報として提示されるための候補となり得る補助情報を識別する。コード行は、グラフィックスオブジェクトが例えば「タコメータ」または「マップ」または「メッセージ」のようなオブジェクトのタイプを直接示し得、プロセッサがオブジェクトタイプのデータ構造にアクセスして、タイプがＡＲオブジェクトに関連があるかどうかを判定する。そうである場合、オブジェクトを表すコード行は、コンピュータゲームプログラムから取得され、ＡＲ情報をＨＵＤに提示するために使用される。または、コード行は、対応するオブジェクトのプライマリディスプレイの場所を示し得る。例えば、コード行は、プライマリディスプレイの小領域５０６内のオブジェクトを示し得る。ＡＲ情報に関連があるプライマリディスプレイのオブジェクトの場所を示すコードに基づいて、オブジェクトはコンピュータゲームプログラムから抽出され、ＨＵＤに提示される。
ブロック９０２は、自動的に、例えば、いったんゲーム機との通信が確立され、上記の原則に従ってまたは音声コマンドもしくは他のユーザコマンドに応じて補助情報がＡＲ情報として識別されると、ブロック９００において識別された補助情報はＡＲ情報としてＨＵＤに提示されることを示す。いくつかの実施形態では、補助情報は、所定の優先順位に従って提示するために優先順位を付けられ得、「Ｎ」のＡＲオブジェクトだけが一度に提示され、「Ｎ」は１以上に等しい整数である。または、オブジェクトの名前を表す音声コマンドは、命令されたオブジェクトを提示させ得る。例えば、ゲーマーは、タコメータを提示させるには「ｔａｃｈ」、残りの弾薬の数をＨＵＤに提示させるには「ａｍｍｏ」、ゲーマーのキャラクターの残りの寿命を表す数値をＨＵＤに提示させるには「ｌｉｖｅｓ」、またはゲームの地形のマップをＨＵＤに提示させるには「ｍａｐ」等と発言し得る。
ブロック９０４において、ＡＲオブジェクトが動いていることを示す信号がゲームプログラムから受信され得、これにより、ブロック９０６において、ＨＵＤのオブジェクトの提示が運動信号に対応する色またはサイズを変更させ得る。例として、ＡＲ情報がゲームの視野周辺部に特定のゲームキャラクターを含む場合、キャラクターがゲーマーのキャラクターのエミュレートされた場所に近づくにつれて、キャラクターのＨＵＤ提示はサイズが大きくなり得、及び／または例えば緑から赤に色を変更させ得る。
例えばＨＵＤのカメラを使用して、ゲーマーの目の向きを追跡し得ることを思い出されたい。ブロック９０８は、カメラからの情報を受信し、ブロック９１０において、コンピュータゲームプログラムを実行するゲーム機に送信できることを示す。例では、ゲーマーが見ている方向は、ゲーマーに関連付けられるキャラクターによって扱われる武器の照準線としてゲームの地形でエミュレートされ、これにより、ゲーマーはプライマリディスプレイのオブジェクト見る必要があるだけで、例えば、武器のショットを示すキーを押し、ゲーマーの注視によって確立された照準線に沿って武器を発射させる。
ブロック９１２は、インターポーズディスプレイに提示されるＡＲ情報が、例えば、ＨＵＤの外側面へのタッチに応答して移動できることを示す。ブロック９１２は、また、ＨＵＤの半透明度がゲーマーコマンドに従って変更され得ることを示す。図１０〜図１２を示す。
図１０では、プライマリディスプレイ１０００は、プライマリディスプレイに対面するタッチセンサ式表面１００４を有する半透明ＨＵＤ１００２の後ろに示される。ＡＲ情報１００６はＨＵＤに提示される。ＨＵＤを経由してプライマリディスプレイを見るゲーマー１００８は、矢印１０１４で示されるように、ＨＵＤのタッチセンサ式側面１００４に対して指１０１０を新しい場所１０１２に移動させることによって、ＡＲ情報１００６を移動させることができる。ＡＲコンテンツは、また、例えば「タコメータを左に移動」の音声コマンドに応答して移動し得ることに留意されたい。
図１１及び図１２は、前述の原理に従ったプライマリディスプレイ１１００及びＨＵＤ１１０２を示し、ＨＵＤ１１０２に提示されるＡＲ情報はマップ１１０４を含む。ゲーマー１１０６は、上記の原理に従って、マップを見て、ＨＵＤを経由してプライマリディスプレイ１１００を見る。
ゲーマーが、例えば、マップ１１０４をより暗く見せることによってＨＵＤの半透明性を減らすことを望む場合、ゲーマーは、「より暗くする」等の音声コマンドを発行して、図１２に示されるようにマップをより濃い輪郭付された、またはより暗いバージョン１２００を取らせ得る。その他の使用事例は、ＨＵＤの全体的な半透明度を増加する「ディスプレイを明るくする」、またはＡＲ情報の暗さを減らして、ひいては、ＨＵＤの半透明度を増加させる「マップを明るくする」もしくは「ＡＲを明るくする」ゲーマーの音声コマンドを含む。ＨＵＤに提示され得るＡＲコンテンツの別の例は、着信メッセージを含む。したがって、ユーザがゲームをプレイ中にメッセージが着信するとき、メッセージがスクロールされ得る、またはそうでなければＨＵＤに表示され得る。メッセージは、コンソールから、他のユーザから、または接続された外部デバイス（Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＢＬＥ、Ｗｉ−Ｆｉ等を介した携帯電話）から着信され得る。
いくつかの例示的な実施形態を参照して本原理が説明されてきたが、これらは限定することを意図していないことと、様々な代替的な配置が本明細書で要求される主題を実施するために使用され得ることとが認識される。

Claims (20)

  1. コンピュータゲームプログラムによって要求されるビデオを提示するように構成される少なくとも１つのプライマリディスプレイと、
    少なくとも１つのインターポーズディスプレイであって、前記少なくとも１つのインターポーズディスプレイはコンピュータゲーマーと前記プライマリディスプレイとの間に配置可能であり、前記インターポーズディスプレイは半透明である、前記少なくとも１つのインターポーズディスプレイと、
    一時的信号ではなく、少なくとも１つのプロセッサによって実行可能な命令を含む、少なくとも１つのコンピュータストレージであって、前記命令は、
    前記コンピュータゲームプログラムからの拡張現実（ＡＲ）情報を前記インターポーズディスプレイに提示することを実行可能にし、前記コンピュータゲーマーが前記インターポーズディスプレイに目を通して、前記コンピュータゲームプログラムによって要求される前記ビデオを前記プライマリディスプレイで見るとき、前記ＡＲ情報を前記コンピュータゲーマーの視線で見ることができる、
    前記少なくとも１つのコンピュータストレージと、
    を備える、システム。
  2. 前記プロセッサを備える、請求項１に記載のシステム。
  3. 前記インターポーズディスプレイは、前記コンピュータゲーマーの頭部に装着されるように構成される、請求項１に記載のシステム。
  4. 前記インターポーズディスプレイは眼鏡のように構成される、請求項２に記載のシステム。
  5. 前記インターポーズディスプレイは、前記コンピュータゲーマーから離れている前記コンピュータゲーマーの意図する視界に直接設置または搭載されるように構成される、請求項２のシステム。
  6. 前記命令は、健康状態／寿命、時間、スコア、武器／銃弾、能力、メニュー、ゲーム進行、ミニマップ、スピードメータ／タコメータ、コンテキスト依存情報、レチクル／カーソル／十字線、ステルスメータ、コンパスの１つ以上を含む、ビデオゲームプレイからのユーザコンテンツ、データ、及び／または更新を、前記インターポーズディスプレイに提示することを実行可能にする、請求項１に記載のシステム。
  7. 前記命令は、デバイスまたは乗り物の動作、バッテリ寿命、乗り物速度、オイルレベル、速度／速度制限、車線逸脱警告、運転方向、アラート／自動車の状態メッセージ、クルーズコントロール情報、近接車検出、道路、及び／または天気状況にとって重要なコンテンツ、データ、及び／または更新の１つ以上を、前記インターポーズディスプレイに提示することを実行可能にする、請求項１に記載のシステム。
  8. 前記インターポーズディスプレイは、前記プライマリディスプレイに対面する内側面及び外側面を含み、前記外側面はタッチセンサ式であり、前記命令は、
    前記インターポーズディスプレイの前記外側面へのタッチに応答して、前記インターポーズディスプレイに提示される前記ＡＲ情報を移動させることを実行可能にする、請求項１に記載のシステム。
  9. 前記インターポーズディスプレイに、前記コンピュータゲーマーの目の向きを追跡するように位置付けられる少なくとも１つのカメラを備え、前記カメラからの情報は前記コンピュータゲームプログラムを実行するゲーム機に送信される、請求項１に記載のシステム。
  10. 前記コンピュータゲームプログラムを実行する少なくとも１つのゲーム機を含む、請求項１に記載のシステム。
  11. 前記命令は、
    前記ＡＲ情報を識別する前記コンピュータゲームプログラムのコードにアクセスすることと、
    前記コードを使用して、前記ＡＲ情報を前記インターポーズディスプレイに提示することと、
    を実行可能にする、請求項１に記載のシステム。
  12. 前記命令は、
    前記コンピュータゲームプログラムから、前記ＡＲ情報の動きを表す信号を受信することと、
    前記信号に少なくとも部分的に基づいて、前記インターポーズディスプレイの前記ＡＲ情報の色、サイズのうちの少なくとも１つを変更することと、
    を実行可能にする、請求項１に記載のシステム。
  13. 前記命令は、
    前記インターポーズディスプレイに関連付けられる通信コンポーネントと、前記コンピュータゲームプログラムを実行する少なくとも１つのゲーム機との間の通信を検出したことに応答して、前記コンピュータゲームプログラムから前記インターポーズディスプレイに前記ＡＲ情報を転送することを実行可能にする、請求項１に記載のシステム。
  14. 前記命令は、
    少なくとも１つのゲーマーが開始した入力コマンドに応答して、前記コンピュータゲームプログラムから前記インターポーズディスプレイに前記ＡＲ情報を送信することを実行可能にする、請求項１に記載のシステム。
  15. コンピュータゲームプログラムに従って、コンピュータゲームビデオをプライマリディスプレイに提示することと、
    前記ゲームプログラムからの情報を拡張現実（ＡＲ）情報として、前記プライマリディスプレイとコンピュータゲーマーとの間に位置する半透明ディスプレイに提示することと、
    を含む、方法。
  16. 前記半透明ディスプレイの外側面へのタッチに応答して、及び／または前記ＡＲ情報を移動させる音声コマンドに応答して、前記半透明ディスプレイに提示される前記ＡＲ情報を移動させること、
    を含む、請求項１５に記載の方法。
  17. 前記ＡＲ情報を識別する前記コンピュータゲームプログラムのコードにアクセスすることと、
    前記コードを使用して、前記ＡＲ情報を前記半透明ディスプレイに提示することと、
    を含む、請求項１５に記載の方法。
  18. 前記コンピュータゲームプログラムから、前記ＡＲ情報の動きを表す信号を受信することと、
    前記信号に少なくとも部分的に基づいて、前記半透明ディスプレイの前記ＡＲ情報の色、サイズのうちの少なくとも１つを変更することと、
    を含む、請求項１５に記載の方法。
  19. 少なくとも１つの半透明ディスプレイと、
    少なくとも１つのプロセッサによって実行可能な命令を含む、少なくとも１つのコンピュータストレージであって、前記命令は、
    前記半透明ディスプレイから分離しているプライマリディスプレイにビデオを提示するために実行されるコンピュータゲームプログラムからコードにアクセスすることと、
    前記半透明ディスプレイに、前記コードによって伝えられる情報を提示することと、
    を実行可能にする、前記少なくとも１つのコンピュータストレージと、
    を備える、ディスプレイアセンブリ。
  20. 前記命令は、
    前記ディスプレイ装置と、前記コンピュータゲームプログラムを実行する少なくとも１つのゲーム機との間の通信を検出したことに応答して、前記コンピュータゲームプログラムから拡張現実（ＡＲ）情報を受信することと、
    前記コンピュータゲームプログラムから、前記ＡＲ情報の動きを表す信号を受信することと、
    前記信号に少なくとも部分的に基づいて、前記半透明ディスプレイの前記ＡＲ情報の色、サイズのうちの少なくとも１つを変更することと、
    を実行可能にする、請求項１９に記載のディスプレイアセンブリ。
JP2020548929A 2018-03-14 2019-01-19 ビデオストリームからコンテキスト固有ｈｕｄをパースするためのプロゲーミングａｒバイザー及び方法 Active JP7155280B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/921,141 2018-03-14
US15/921,141 US10695667B2 (en) 2018-03-14 2018-03-14 Pro gaming AR visor and method for parsing context specific HUD content from a video stream
PCT/US2019/014379 WO2019177692A2 (en) 2018-03-14 2019-01-19 Pro gaming ar visor and method for parsing context specific hud content from a video stream

Publications (2)

Publication Number Publication Date
JP2021518177A true JP2021518177A (ja) 2021-08-02
JP7155280B2 JP7155280B2 (ja) 2022-10-18

Family

ID=67904953

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020548929A Active JP7155280B2 (ja) 2018-03-14 2019-01-19 ビデオストリームからコンテキスト固有ｈｕｄをパースするためのプロゲーミングａｒバイザー及び方法

Country Status (6)

Country Link
US (2) US10695667B2 (ja)
EP (1) EP3765944A4 (ja)
JP (1) JP7155280B2 (ja)
KR (1) KR102450896B1 (ja)
CN (1) CN112654950A (ja)
WO (1) WO2019177692A2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11520217B1 (en) * 2021-08-03 2022-12-06 Sony Interactive Entertainment Inc. Four-sided projection for augmented reality
JP2023115808A (ja) * 2022-02-08 2023-08-21 キヤノン株式会社 電子機器、電子機器の制御方法、プログラム、および記録媒体

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014010664A (ja) * 2012-06-29 2014-01-20 Sony Computer Entertainment Inc 映像処理装置、映像処理方法、および映像処理システム
JP2017511943A (ja) * 2014-01-17 2017-04-27 ソニー インタラクティブ エンタテインメント アメリカ リミテッド ライアビリテイ カンパニー プライベート追跡ヘッドアップディスプレイとしての第２画面の使用
US20170276943A1 (en) * 2016-03-28 2017-09-28 Sony Interactive Entertainment Inc. Pressure sensing to identify fitness and comfort of virtual reality headset

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101467184B (zh) * 2006-04-13 2013-03-13 Igt公司 用于在游戏设备上集成远程主机和本地显示内容的方法和装置
CA2653330C (en) * 2006-08-24 2021-07-27 Cfph, Llc Multi-display computer terminal system
US9285589B2 (en) 2010-02-28 2016-03-15 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered control of AR eyepiece applications
US20130038702A1 (en) * 2010-03-09 2013-02-14 Imax Corporation System, method, and computer program product for performing actions based on received input in a theater environment
US9159165B2 (en) * 2010-07-13 2015-10-13 Sony Computer Entertainment Inc. Position-dependent gaming, 3-D controller, and handheld as a remote
US9865125B2 (en) 2010-11-15 2018-01-09 Bally Gaming, Inc. System and method for augmented reality gaming
US20120142415A1 (en) * 2010-12-03 2012-06-07 Lindsay L Jon Video Show Combining Real Reality and Virtual Reality
US8888287B2 (en) * 2010-12-13 2014-11-18 Microsoft Corporation Human-computer interface system having a 3D gaze tracker
US8736583B2 (en) * 2011-03-29 2014-05-27 Intel Corporation Virtual links between different displays to present a single virtual object
US8632182B2 (en) * 2011-05-05 2014-01-21 Sony Computer Entertainment Inc. Interface using eye tracking contact lenses
US20130232430A1 (en) * 2011-08-26 2013-09-05 Reincloud Corporation Interactive user interface
JP2015504616A (ja) * 2011-09-26 2015-02-12 マイクロソフト コーポレーション 透過近眼式ディスプレイのセンサ入力に基づく映像表示修正
US9454849B2 (en) 2011-11-03 2016-09-27 Microsoft Technology Licensing, Llc Augmented reality playspaces with adaptive game rules
TWI466094B (zh) * 2012-05-28 2014-12-21 Acer Inc 透明顯示裝置及其透明度調整方法
US9452354B2 (en) * 2013-06-07 2016-09-27 Sony Interactive Entertainment Inc. Sharing three-dimensional gameplay
US9908048B2 (en) * 2013-06-08 2018-03-06 Sony Interactive Entertainment Inc. Systems and methods for transitioning between transparent mode and non-transparent mode in a head mounted display
US9630105B2 (en) * 2013-09-30 2017-04-25 Sony Interactive Entertainment Inc. Camera based safety mechanisms for users of head mounted displays
US10303242B2 (en) * 2014-01-06 2019-05-28 Avegant Corp. Media chair apparatus, system, and method
EP3146379A4 (en) 2014-05-23 2018-01-24 Nuviz, Inc. Helmet mounted display
JP6355978B2 (ja) * 2014-06-09 2018-07-11 株式会社バンダイナムコエンターテインメント プログラムおよび画像生成装置
US10156908B2 (en) * 2015-04-15 2018-12-18 Sony Interactive Entertainment Inc. Pinch and hold gesture navigation on a head-mounted display
US10373379B2 (en) * 2015-08-20 2019-08-06 Disney Enterprises, Inc. Deformable-surface tracking based augmented reality image generation
US10449448B2 (en) * 2015-10-15 2019-10-22 Sony Interactive Entertainment America Llc Method for improving game streaming performance in the cloud
CN106383587B (zh) * 2016-10-26 2020-08-04 腾讯科技（深圳）有限公司 一种增强现实场景生成方法、装置及设备
US10252154B2 (en) * 2016-12-01 2019-04-09 Lenovo (Singapore) Pte. Ltd. Systems and methods for presentation of content at headset based on rating

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014010664A (ja) * 2012-06-29 2014-01-20 Sony Computer Entertainment Inc 映像処理装置、映像処理方法、および映像処理システム
JP2017511943A (ja) * 2014-01-17 2017-04-27 ソニー インタラクティブ エンタテインメント アメリカ リミテッド ライアビリテイ カンパニー プライベート追跡ヘッドアップディスプレイとしての第２画面の使用
US20170276943A1 (en) * 2016-03-28 2017-09-28 Sony Interactive Entertainment Inc. Pressure sensing to identify fitness and comfort of virtual reality headset

Also Published As

Publication number Publication date
WO2019177692A3 (en) 2020-04-09
WO2019177692A2 (en) 2019-09-19
JP7155280B2 (ja) 2022-10-18
CN112654950A (zh) 2021-04-13
EP3765944A2 (en) 2021-01-20
KR102450896B1 (ko) 2022-10-05
US20190282894A1 (en) 2019-09-19
KR20210035773A (ko) 2021-04-01
US10695667B2 (en) 2020-06-30
US11325028B2 (en) 2022-05-10
US20200384357A1 (en) 2020-12-10
EP3765944A4 (en) 2022-03-23

Similar Documents

Publication Publication Date Title
US20210321169A1 (en) Smart glasses closed captioning
US11325028B2 (en) Pro gaming AR visor and method for parsing context specific HUD content from a video stream
EP4100136A1 (en) Automated weapon selection for new players using ai
CN111052192A (zh) 基于注意力的玩家选择ai确定
US11402917B2 (en) Gesture-based user interface for AR and VR with gaze trigger
US11373342B2 (en) Social and scene target awareness and adaptation of an occlusion system for increased social and scene interaction in an optical see-through augmented reality head mounted display
US20240041319A1 (en) Eye tracking for accessibility and visibility of critical elements as well as performance enhancements
US11771993B2 (en) Changing response window for interactive content using user's reaction time
US20240115933A1 (en) Group control of computer game using aggregated area of gaze
US20240115942A1 (en) Customizable virtual reality scenes using eye tracking
US20240115937A1 (en) Haptic asset generation for eccentric rotating mass (erm) from low frequency audio content
US20240161759A1 (en) Utilizing inaudible ultrasonic frequencies to embed additional audio asset channels within existing audio channels
US20240042312A1 (en) Haptics support for ui navigation
US20230338841A1 (en) Foveated enhancement of non-xr games within a hmd system
US20240121569A1 (en) Altering audio and/or providing non-audio cues according to listener's audio depth perception
US20220291698A1 (en) Drone with remote id
US20210129033A1 (en) Spectator feedback to game play
JP2023522654A (ja) 複数のカメラからの合成入力を使用してビデオを生成するための仮想カメラ位置のユーザ選択

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201113

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211126

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220404

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220906

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221005

R150 Certificate of patent or registration of utility model

Ref document number: 7155280

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150