JP2012221498A - ユーザーの視線、及びジェスチャによるフィードバック提供システム、及び方法 - Google Patents

ユーザーの視線、及びジェスチャによるフィードバック提供システム、及び方法 Download PDF

Info

Publication number
JP2012221498A
JP2012221498A JP2012087150A JP2012087150A JP2012221498A JP 2012221498 A JP2012221498 A JP 2012221498A JP 2012087150 A JP2012087150 A JP 2012087150A JP 2012087150 A JP2012087150 A JP 2012087150A JP 2012221498 A JP2012221498 A JP 2012221498A
Authority
JP
Japan
Prior art keywords
data
user
user interface
line
sight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012087150A
Other languages
English (en)
Other versions
JP6002424B2 (ja
Inventor
J Larsen Eric
エリック・ジェイ・ラーセン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Computer Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Computer Entertainment Inc filed Critical Sony Computer Entertainment Inc
Publication of JP2012221498A publication Critical patent/JP2012221498A/ja
Application granted granted Critical
Publication of JP6002424B2 publication Critical patent/JP6002424B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Image Analysis (AREA)

Abstract

【課題】ユーザーの視線、及びハンドジェスチャなどの第二ユーザー入力に基づいたユーザーへのフィードバックを提供するユーザインターフェイス技術を提供する。
【解決手段】トラッキングシステムに基づくカメラは、ユーザインターフェイス内に表示されたどのオブジェクトが見られているかを検出するために、ユーザーの視線の方向をトラッキングする。また前記トラッキングシステムは、例えば他のカメラ及び／またはセンサを使って、オブジェクトの動作、及び運動を制御するために、ハンドジェスチャ、及びボディジェスチャを認識する。その結果、前記ユーザフェイスは、フィードバックを提供するために、前記トラッキングされた視線、及びジェスチャデータに基づいて更新される。
【選択図】図１

Description

本発明は、トラッキングされたユーザーの視線(gaze)、及びトラッキングされたジェスチャなどの複数のユーザー入力の基づくコンピュータシステムによって生成されるユーザインターフェイスとユーザーのやり取りに基づくフィードバックの提供に関する。
ポータブルまたは家庭用ビデオゲームコンソール、ポータブルまたはデスクトップパーソナルコンピュータ、セットトップボックス(set-top boxes)、オーディオまたはビデオコンシューマ装置、パーソナル・デジタル・アシスタンス、携帯電話、メディアサービス、パーソナルオーディオ及び／又はビデオプレイヤー及びレコーダー、またその他の種類の性能は、増加をしている。これらの装置は、膨大な情報の処理機能、高音質オーディオ及びビデオ入力及び出力、大容量メモリを備え、有線及び／またはワイヤレスネットワーク機能をも備えることができる。
通常、これらのコンピュータデバイスは、コンピュータデバイスのユーザインターフェイスとやり取りをするために、マウス、ゲームコントローラなどの別の制御デバイスが必要である。ユーザーは、通常オブジェクトを選択するために、制御デバイス上のボタンを押すことによって、ユーザインターフェイス内に表示されたカーソル、またはその他の選択ツールを使用する。また、ユーザーはそれらの選択されたオブジェクトを変形、及び操作するために制御デバイスを使用する(例えば、制御デバイス上の追加のボタンを押す、または制御デバイスを動かすことによって)。一般的にユーザーは、遠隔ユーザインターフェイスオブジェクトへの制御デバイスマップの動作を学ぶために練習を必要とする。練習後でさえもユーザーは、しばしばまだ動作がぎこちないと感じることがある。
近年、ＭＩＣＲＯＳＯＦＴより発売されたＫＩＮＥＣＴ(登録商標)装置が紹介され、ユーザーがゲームコントローラの使用を必要としないコンピュータゲームコンソールを用いて制御、およびそれとのやり取りを可能にする。ユーザーは、ＫＩＮＥＣＴ装置を介して、ジェスチャ、及び音声コマンドを使用してユーザインターフェイスとのやり取りをする。特にＫＩＮＥＣＴ装置は、トラッキングのためのビデオカメラ、深度センサ(depth sensor)、及びマイクを備えている。ビデオカメラ、及び深度センサは、ユーザーの３Ｄモデルを生成するために共に使用されている。一方で、ＫＩＮＥＣＴ装置は、限定された種類のジェスチャのみを認識する(ユーザーは、カーソルをコントロールするために指し示すことができるが、ＫＩＮＥＣＴ装置において選択するには、選択領域にカーソルを重ねて数秒間止めていなければならなくて、それをすぐにクリックすることはできない。)。
以下の本発明の概要は、本発明のいくつかの側面、特徴の基本的な理解を与えるために記載される。この概要は本発明の詳細な説明ではなく、本発明の要旨、または重要な要素を具体的に特定すること、または本発明の範囲を限定することを意図するものではない。ここでの唯一の目的は、以下で与えられるより詳細な説明の序文として、簡潔な形で本発明のいくつかの概念を提供することである。
本発明のさらなる態様によれば、視線データ(gaze data)、及びジェスチャデータを受信し、前記視線データに対応するユーザインターフェイスの位置を決定し、前記ジェスチャデータを前記ユーザインターフェイスの変更へ関連付けるよう構成されたプロセッサと、前記プロセッサに接続され、かつ前記視線データ、及び前記ジェスチャデータを記憶するよう構成されたメモリとを備えるコンピュータシステムが開示される。
前記ジェスチャデータは、ハンドジェスチャデータで有り得る。
前記視線データは、ユーザインターフェイスとやり取りをするユーザーの目の複数の画像を有すことができる。前記視線データは、光の反射で有り得る。前記光は、赤外照明で有り得る。
前記ジェスチャデータは、ユーザインターフェイスと情報のやり取りをするユーザーの体の複数の画像を有すことができる。
本発明のさらなる実施形態によれば、オブジェクトを有するユーザインタ―フェイスを表示するディスプレイと、視線データ(eye gaze data)を捕捉する視線センサ(gaze sensor)と、ユーザジェスチャデータを捕捉するジェスチャセンサと、前記視線センサ、前記ジェスチャセンサ、及び前記ディスプレイに接続されるコンピュータデバイスとを備えるシステムであって、前記コンピュータデバイスは、ユーザインターフェイスを前記ディスプレイに提供し、前記視線データに基づいてユーザーが前記オブジェクトを見ているか否かを決定し、前記視線データを前記オブジェクトに対応するコマンドへ関連付け、かつ、前記コマンドに基づいて前記オブジェクトを有するユーザインターフェイスの表示を変更するように構成されるシステムが開示される。
前記コマンドは、前記オブジェクトの動作で有り得る。
前記視線データは、目の視線データと、目の視線位置(eye gaze data eye gaze position)と、目の位置、前記視線センサから目までの距離、及び瞳孔の大きさのうち少なくとも一つと、タイムスタンプとを含み得る。
前記視線センサは、ビデオカメラと、光源とを備え得る。前記ジェスチャセンサは、ビデオカメラと、深度センサを備え得る。前記ジェスチャセンサは、少なくとも一つのジャイロスコープと、少なくとも一つの加速度計とを備え得る。
本発明の他の実施形態によると、ディスプレイにユーザインターフェイスを表示するステップと、前記ユーザインターフェイスと情報のやり取りをするユーザーの視線データを受信するステップと、視線データに基づいて、ユーザーの視線が、前記ユーザインターフェイス内に表示されるオブジェクトへ向いているか否かを決定するステップと、ユーザーのジェスチャに対応するジェスチャデータを受信するステップと、前記ジェスチャデータを、前記オブジェクトとユーザーとの所望のやり取りへ関連付けるステップと、前記関連付けられたやり取りに基づいてユーザインターフェイスのオブジェクトの表示を変更するステップとを備える方法が開示される。
前記視線データは、目の視線データと、目の視線位置と、目の位置、前記視線センサから目までの距離、及び瞳孔の大きさのうち少なくとも一つと、タイムスタンプとを含み得る。
前記ジェスチャデータは、ユーザーの視線が前記オブジェクトに向いているか否か決定する前に、ユーザーの所望のやり取りに関連付けられ得る。
前記オブジェクトの表示を変更するステップは、ユーザインターフェイス内のオブジェクトの相対位置を移動させるステップを含み得る。
前記ジェスチャデータは、ハンドジェスチャに対応する情報を含み得る。
本発明のさらなる他の実施形態によると、実行時にコンピュータシステムに前記方法を実行させるコンピュータ実行可能な命令を記憶したコンピュータ読み取り可能記憶媒体(computer-readable storage media)が開示される。
本明細書の一部を構成し、かつ組み込まれた添付の図面は、本発明の実施形態を例示し、説明と共に本発明の原理を説明、並びに図示をする。本図面は描画によって実施形態の主な特徴を図示することを意図している。本図面は、実施の実施形態の全特徴を描画することは意図されておらず、描画された構成要素の相対寸法でもなく、また縮小率に従って描かれた図でもない。
本発明の一実施形態による、視線、及びハンドジェスチャトラッキングに基づくフィードバックをユーザーへ提供する様子の概略図である。 本発明の一実施形態による、視線、及びハンドジェスチャトラッキングに基づくフィードバックをユーザーへ提供するためのシステムを図示したブロック図である。 本発明の一実施形態による、視線、及びハンドジェスチャトラッキングに基づくフィードバックをユーザーへ提供するためのプロセスを図示したフローチャートである。 本発明の一実施形態による、第一ユーザー入力、及び第二ユーザー入力のトラッキングに基づくユーザフィードバックを提供するためのシステムを図示したブロック図である。 本発明の一実施形態による、第一ユーザー入力、及び第二ユーザー入力のトラッキングに基づくユーザフィードバックを提供するためプロセスを図示したフローチャートである。 本発明の一実施形態による、例示的なコンピュータデバイスを図示したブロック図である。 本発明の一実施形態による、命令の実行に使用され得る追加的なハードウェアを図示したブロックダイヤグラムである。
本発明の実施形態はユーザインターフェイス技術に関し、前記技術はユーザーの視線、及びハンドジェスチャなどの第二ユーザー入力に基づいたユーザーへのフィードバックを提供する。一実施形態では、トラッキングシステムに基づくカメラは、ユーザインターフェイス内に表示されたどのオブジェクトが見られているかを検出するために、ユーザーの視線の方向をトラッキングする。またトラッキングシステムは、例えば他のカメラ及び／またはセンサを使って、オブジェクトの動作、及び運動を制御するために、ハンドジェスチャ、及びボディジェスチャを認識する。例えばジェスチャ入力は、引く、押す、位置を合わせる、選択したオブジェクトを動かす、または制御することができる魔法(magical force)や超能力(mental force)をシミュレートするために使うことができる。ユーザーのやり取りは、ユーザインターフェイス内で、ユーザーの意志がユーザインターフェイス内のオブジェクトをコントロールしているという感覚をシミュレートする。それらは、(例えば、映画スターウォーズ内の力のような)映画の中で見てきた念力(telekinetic power)に似ている。
以下の説明では、多くの詳細が明記される。しかし、当業者にとって本発明の以下の実施形態は、これらの具体的な詳細を必要とすることなしに実施できることは明らかである。いくつかの例において、よく知られた構造、及び装置は、本発明の実施形態を不明瞭にしないために、詳細に渡る説明ではなく、ブロック図の形で示される。
以下に続くいくつかの詳細な説明は、コンピュータメモリ内のデータビット上の制御の、アルゴリズム的、及び記号的な表現の観点から提示される。このようなアルゴリズム的な説明、及び表現は、専門でない人々へ最も効果的に伝えることができる、当業者によって使われる手段である。ここにおいて、及び一般的に開示されるように、アルゴリズムは、所望の結果を導くステップのセルフ・コンシステント・シークエンス(self-consistent sequence)だと考えられる。この各ステップは、物理的な量の物理的な操作が必要である。必須ではないが、一般的にこれらの量は、電気的、または磁気的な信号の形をとり、保存、転送、結合、比較、及び操作を可能にする。原則的に一般的な習慣として、しばしばこれらの量を、ビット(bits)、値(value)、要素(elements)、シンボル(symbols)、文字(characters)、項(terms)、数字(numbers)、と呼ぶことは都合がいいことが証明されてきた。
しかしながら、それらの全て、及び類似の用語は、適切な物理的な量に関係付けることを示し、ただ単にこれらの量に適応される使いやすいラベルであることに注意しなければならない。特別な言及がない場合、そうでなければ以下の議論で明白な場合を除き、以下の全ての記述に渡って、“処理する(processing)”、“計算する(computing)”、“変換する(converting)”、“決定する(determining)”、“関連付ける(correlating)”などの表現を使う議論は、コンピュータシステム、または類似の電子計算装置の動作、処理を示すことが好ましい。前記コンピュータシステム、及び類似の電子計算装置は、コンピュータシステムのレジスタ、及びメモリ内で物理的(例えば、電気的)な量として表されたデータを、コンピュータシステムのメモリ、及びレジスタ、または他の情報記憶装置内で同様に物理的な量として表された他のデータへ操作、及び転送する。
本発明の実施形態は、ここでは、制御を実行する装置、またはシステムにも関係する。この装置、及びシステムは、具体的に要求される目的のために構成すること、または、コンピュータ内に保存されたコンピュータプログラムによって、選択的に作動、または再構成される一般的な目的のコンピュータを備えることができる。一実施形態では、ここで記述される制御を実行する前記装置、及びシステムは、ゲームコンソール(例えば、ソニープレイステーション(SONY PLAYSTATION)(登録商標)、任天堂Ｗｉｉ(NINTENDO WII) (登録商標)、マイクロソフトＸＢＯＸ(MICROSFT XBOX)(登録商標))である。コンピュータプログラムは、コンピュータ読み取り可能記憶媒体内に記憶することが可能であり、これは図６でより詳細に説明される。
図１は、本発明の一実施形態による、視線トラッキング、ジェスチャ入力に基づくフィードバックを提供するユーザインターフェイスを概略的に示す。図１では、ユーザー１０４は、ユーザーの目１０８、及びユーザーの手１１２が概略的に描かれている。ユーザー１０４は、ユーザインターフェイス１２０(例えば、ビデオゲーム、インターネットブラウザウィンドウ、文章処理アプリケーションウィンドウなど)を表示するディスプレイ１１６を見ている。ディスプレイ１１６は、コンピュータデバイスを備える、もしくはビデオゲームコンソール、またはコンピュータに接続される。他の実施形態では、ディスプレイ１１６は、有線、または無線でサーバ、または他のコンピュータシステムなどのコンピュータデバイスとインターネットを介して接続される。前記コンピュータデバイスは、ユーザインターフェイス１２０をディスプレイ１１６に提供する。
図１では、カメラ１２４は、ディスプレイ１１６の上部に位置し、一般的にユーザー１０４の方向に向いたカメラ１２４のレンズを有する。一実施形態では、カメラ１２４はユーザーの視線１２８(即ち、ユーザーの目１０８からの相対的なディスプレイ１１６への方向)をトラッキングするために赤外照明を使用する。
単一の前記カメラ１２４、又は他のカメラ(図１に図示せず)は、ハンドジェスチャ(即ち、ユーザーの手１１２によって作られる矢印１３６の方向の動作)をトラッキングするために使うことができる。他のカメラが使用される実施形態では、ハンドジェスチャをトラッキングするために、カメラ単独で使用することが可能であるし、近赤外線センサと組み合わせたカメラを使用することもできるし、他の深度センサと組み合わせたカメラを使用することも可能である。例えば、ハンドジェスチャは、慣性センサ(または、他の制御器、または加速度計を備えるセンサ)のフリック(flick)で有り得る。コンピュータデバイスは、ジェスチャカメラ(または、他のジェスチャトラッキング装置)からの入力を、オブジェクト１４４の動作、またはユーザインターフェイス上に表示されたオブジェクト１４４に関係するコマンドへ関連付ける(即ち、オブジェクト１４０の矢印１４４方向の動作)。代わりに、前記ジェスチャセンサは、ユーザーのジェスチャを決定するプロセッサを備えることが可能である。
使用において、ユーザインターフェイスに表示された１４０を選択するために視線が使われる。ハンドジェスチャ、あるいは体の動作１３６がオブジェクト１４４の制御、移動のために使用される。当然のことながら、これらのステップは、どんな順番も可能である(即ち、制御、または動作１４４は、オブジェクトが選択される前に決定することが可能であり、逆も同様である)。
当然のことながら、視線トラッキングとジェスチャトラッキングとの組み合わせに基づき、フィードバックをユーザーに提供するユーザインターフェイス技術のための多数の異なるアプリケーションが存在する。例えば、ハンドジェスチャは、ユーザーが見ている文字に基づいてユーザインターフェイス上の１つの文字においてつづりを開始させることができる。他の例として、ハンドジェスチャは、シューティングゲームのトリガ(シューティングアクション)になることができる。視線、またはジェスチャは、ボタンを押す動作(例えば、ユーザーの視線がボタンに向けられているときに、指で指し示す、指を前に動かす)をシミュレートすることによって、仮想ボタンを選択するために使用することもできる。他の実施形態では、視線、及びユーザジェスチャは、ユーザインターフェイスの特定の部分の拡大、または縮小(例えば、地図の特定の部分の拡大)のために使用することができる。さらなる他の実施形態では、手が指し示す前方へのフリック(forward flick of a pointing hand)は、視線トラッカーによって検出されたユーザーが見ているオブジェクトとのやり取りを開始することができる。さらなる他の実施形態では、手招きのジェスチャ(beckoning gesture)は、ユーザーが見ているオブジェクトを、ユーザインターフェイス内でユーザーの近くに引き寄せるために使用することができる。同様に、手を振るジェスチャ(wave gesture)は、オブジェクトを後方へ移動させることが可能である。
視線トラッキングは利点がある。ユーザーにとって、それはユーザインターフェイス内に表示されたオブジェクトとやり取りしようとする意志を示す方法が、自然、または無意識な操作でさえあるように感じるからである。ハンドジェスチャも利点がある。それは、手の動作のパワーが、スクリーン上での動作のパワーに反映されるように使用されることが可能であるからである。それと共に、ハンドジェスチャは、選択したオブジェクトとやり取りするための、所望の動作を伝える、又は直接的に動作を制御するための方法にとっては自然であるからである。
ハンドジェスチャの追跡として図１を用いて本発明を説明してきたが、ユーザインターフェイスとやり取りをするために、他のユーザジェスチャ、例えばフットジェスチャ(ユーザーの足の動作)、またはフェイシャルジェスチャ(ユーザーの頭の動作、またはユーザーの顔のある特徴的な動作)が使用可能であることが望ましい。例えば、スイングするユーザーの足のような、フットジェスチャは、サッカービデオゲーム内でのボールを蹴ることをシミュレートするために使用が可能である。具体的には、ユーザーは、ゴールキーパーをごまかすための、ボールを蹴る寸前の視線の変化によって、(実際のサッカーでゴールにシュートをすることと同様に)ゴールにシュートをすることをシミュレートできる。つまり、ボールはユーザーの視線の方向へ蹴られる。そして、(願わくは）ゴールを決める。
図２は、本発明の一実施形態による、視線、及びジェスチャトラッキングに基づき、ユーザーへフィードバックを提供するためのシステム２００を示す。システム２００は、ディスプレイ２０８に接続されたコンピュータデバイス２０４を備える。システム２００は、コンピュータデバイス２０４に接続された視線センサ２１２、及びジェスチャセンサ２１６をも備える。コンピュータデバイス２０４は、視線センサ２１２、及びジェスチャセンサ２１６によって受信したデータを処理する。
視線センサ２１２は、ユーザーの目をトラッキングする。視線センサ２１２は、目、具体的には網膜を照らすために、可視反射(visible reflections)を起こす近赤外照明ダイオードなどの光源と、反射を起こす目の画像を捉えるカメラとを備える。前記画像は、前記光源の反射を特定し、視線の方向を計算するためにコンピュータデバイス２０４によって解析される。代わりに、視線センサ２１１自体は、視線の方向を計算するためにデータを解析することもできる。
一実施形態では、視線センサ２１２は、ＴＯＢＩＩ Ｘ６０、及びＸ１２０アイトラッカーのような、カメラ、及び光源であり、それはディスプレイの近くに配置される。他の実施形態では、視線センサ２１２は、ＴＯＢＩＩ Ｔ６０、Ｔ１２０、及びＴ６０ＸＬアイトラッカーのように、ディスプレイ２０８に組み込まれる(即ち、カメラ、及び光源はディスプレイハウジング(display housing)内に備えられる)。さらなる他の実施形態では、視線センサ２１２は、ＴＯＢＩＩ ＧＬＡＳＳアイトラッカーのように、ユーザーが着用するカメラ、及び光源を備えるメガネである。当然のことながら、これらが単に例示に過ぎず、視線をトラッキングするための他のセンサ、及び装置を使用することが可能である。加えて、当然のことながら、複数のカメラ、及び光源をユーザーの視線を決定するために使用することが可能である。
ジェスチャセンサ２１６は、ディスプレイ２０８内に表示されたオブジェクトとやり取りをするユーザーの動作をトラッキングするための光学センサで有り得る。ジェスチャセンサ２１６もまた、ディスプレイ２０８の近くに配置される(例えば、ディスプレイの上部、ディプレイの下部など)。一実施形態では、単一のセンサが視線トラッキング、及びジェスチャトラッキングのための画像記録のために使用される。ジェスチャセンサ２１６は、ユーザーの手、足(foot)、腕、脚(leg)、顔などのユーザーの体を監視するために使用することができる。
ジェスチャセンサ２１６は、オブジェクト(即ち、ユーザー)の位置を、センサに対して２次元、または３次元空間で測定する。センサ２１６によって採られた位置データ(例えば、画像)は、画像平面、及び画像平面に垂直するベクトルによって定義される基準フレーム(reference frame)に準拠することが可能である。基準フレームは座標システムであり、オブジェクトの位置、方向、及び／又はその他の性質を、前記座標システム内で測定することができる。
ジェスチャセンサ２１６は、一般的な、または３Ｄビデオカメラで有り得る。ジェスチャセンサ２１６は、深度情報(例えば、前記センサとユーザーとの間の距離)を直接的、または間接的に捉えることができる。一般的なカメラの場合は、深度情報を決定するために、予め設定された情報を必要とする可能性がある。代わりに、他のセンサを深度情報を決定するために使用することもできる。当然のことながら、複数のカメラ、及び／または深度センサを、ユーザーのジェスチャ決定のために使用することができる。一実施形態では、ジェスチャセンサ２１６は、ＫＩＮＥＣＴ装置、またはＫＩＮＥＣＴ装置に類似の装置である。
他の実施形態では、ジェスチャセンサ２１６は、ユーザーに保持される、そうでなければつながれたコントローラー、または慣性センサを監視するため使用することが可能である。前記慣性センサは、ジェスチャを計算するために使用することが可能な方向(例えば、ピッチ、ロール、及びねじれ)の変化、及び加速度を検出する１つまたは２つ以上のジャイロスコープと、１つまたは２つ以上の加速度計を備える。
センサ２１２、及び２１６は、有線、及び／または無線接続を介してコンピュータデバイス２０４に接続することが可能である。例として、有線接続は、ＩＥＥＥ １３９４(Ｆｉｒｅｗｉｒｅ)ケーブル、イーサーネット(登録商標)ケーブル、ユニバーサル・シリアル・バス(ＵＳＢ)ケーブル、などによって作られる接続を含む。例として、無線接続は、ワイヤレス・フィデリティー(ＷＩＦＩ)接続、ＢＬＵＥＴＯＯＴＨ(登録商標)接続、ＺＩＧＢＥＥ(登録商標)接続、及びそれらに類似の接続を含む。
センサ２１２、２１６は、コンピュータデバイス２０４へリアルタイムで連続的にデータを提供する。当然のことながら、センサ２１２、２１６は、データの解析中に使用することができ、例えばタイムスタンプデータ、及び類似のデータなどの追加情報を提供することが可能である。例えば、視線センサ２１２の出力データは、目の視線位置、目の位置、目とセンサ２１２との距離、瞳孔の大きさ、各データポイントのためのタイムスタンプ、及びそれらに類似のものを有することができる。代わりに、視線センサ２１２は、シンプルに捉えた画像データ(例えば、近赤外照明反射を有する配信動画(video feed))を提供することも可能である。例えば、ジェスチャセンサ２１６の出力は、適切なジョイント位置(joint position)、体の位置(body position)、ユーザーとセンサ２１６との距離、各データポイントのタイムスタンプ、及びそれらに類似のものを有することができる。代わりに、視線センサ２１６は、シンプルに捉えた画像データ、及び／又は捉えた深度センサデータを提供することも可能である。
コンピュータデバイス２０４は、ゲームシステム(例えば、ゲームコンソール)、パーソナルコンピュータ、ゲームキオスク(game kiosk)、コンピュータプロセッサを備えるテレビ、またはその他のコンピュータシステムで有り得る。コンピュータデバイス２０４は、コンピュータデバイス２０４が、ディスプレイ２０８上に少なくとも一つのオブジェクトを有するユーザインターフェイスを表示できるようにする、ゲーム、またはその他のアプリケーションに対応するプログラムを実行することができる。コンピュータデバイス２０４は、センサ２１２、２１６から受信されるデータを使って、ユーザインターフェイスへのユーザーの反応を決定し、かつ、受信されるデータに基づいてユーザー入力に(ディスプレイ２０８上に表示されたユーザインターフェイスを変更することによって)反応するプログラムをも実行することができる。コンピュータデバイス２０４は、センサ２１２、２１６から受信したデータを記憶するメモリを備えることが可能である。
一実施形態では、コンピュータデバイス２０４は、オブジェクト検出論理部(object detection logic)２２０、及びジェスチャ相関論理部(gesture correlation logic)２２４を備える。一実施形態において、レイ・キャスト・アナライシス(ray cast analysis)は、スクリーン上での視線位置を決定するオブジェクト検出論理部２２０によって実行される。具体的には、３Ｄレイ・インターセクション・アナライシス(3-D ray intersection analysis)が実行される。当然のことながら、ユーザーが見ているオブジェクトを計算するために、他のアルゴリズムを使用することが可能である。一実施形態では、ドエルタイム(つまり、ユーザーが特定のオブジェクトを凝視する総時間)を、オブジェクト選択に利用することが可能である。言い換えれば、ユーザーは、オブジェクトが選択する前に、予め設定された時間の間、ユーザインターフェイスに表示されたオブジェクトを凝視しなければならない。例えば、ユーザーは、オブジェクトが選択される前に、少なくとも３秒間の間、オブジェクトを見ていなければならない。当然のことながら、ドエルタイムは、どんな時間、または約１００ミリ秒と３０秒との間のどの時間間隔でもよい。
一実施形態では、ジェスチャ相関論理部２２４は、ユーザーのジェスチャを定義、またはユーザーのジェスチャを計算する(例えば、異なる時点において捉えた画像内のユーザーの位置を比較することにより、またはユーザーの位置の変化を検出することにより計算する)。いくつかの実施形態では、ユーザジェスチャデータは、ジェスチャ相関論理部２２４に提供される。ジェスチャ相関論理部２２４は、ユーザジェスチャをユーザインターフェイス内の変化(即ち、ユーザインターフェイス内に表示されたオブジェクトの動作)に関連付ける。ユーザーの体は、骨格モデル(skeletal model)にマッピングすることができる。特定の関節の回転軸の方向、及びその量を、ユーザインターフェイス内に表示されたキャラクター(選択されたオブジェクト)のモデルの回転軸の方向と、その量に対応するように使用することが可能である。例えばジェスチャデータを、視線データに基づいて、オブジェクト、またはユーザインターフェイスへラスタライズ、及び投影することができる。一実施形態では、オブジェクトの各ピクセルへの力ベクトル(force vectors)は、ジェスチャデータを用いて計算される。言い換えれば、カメラの画像(例えば、ピクセルの動き(motion of pixels))内でのピクセルレベルの情報は、捕捉され、前記ピクセルレベルデータは、ディスプレイ内でのオブジェクトを動かすために使用することができる。一実施形態では、コンピュータデバイス２０４のメモリ内に保存されたルックアップテーブル(look-up table)は、ジェスチャをコマンドへ関連付けるために使用することができる(例えば、手を上げ下げする動作は、ビデオゲーム内でオブジェクトを上下に動かし、また手を上げ下げする動作は、インターネットブラウザアプリケーション内でウェブページを上下にスクロールするなど)。
一実施形態では、コンピュータデバイス２０４は、センサ２１２、２１６から受信したユーザー入力をトラッキングする前に調整される。例えば、ユーザーの目、及び、体の特徴は、データ処理アルゴリズムを実行するために必要とされる可能性がある。具体的な実施形態では、ユーザーの目の特徴を、生理学的な目のモデル(例えば、瞳孔の大きさ、及び位置、角膜の大きさなど)を生成するために測定することができる。また、ユーザーの体の特徴を、生理学的な体のモデル(例えば、関節の位置、ユーザーの大きさなど)を生成するために測定することができる。
図３は、本発明の一実施形態による、視線、及びジェスチャトラッキングに基づきフィードバックをユーザーに提供するためのプロセス３００を図示する。当然のことながら、以下で説明されるプロセス３００は、単に例示であって、いくつかのステップを抜かすことも、加えること、及び、以下の説明から少なくともいくつかのステップの順序を変えることも可能である。一実施形態では、プロセス３００は、コンピュータデバイス２０４によって実行される。
プロセス３００は、ユーザインターフェイス内のオブジェクトを表示すること(ブロック３０４)から始まる。
プロセス３００は、続いてユーザインターフェイスとやり取りするユーザーの目の視線のトラッキングを行い(ブロック３０８)、ユーザインターフェイス内のオブジェクトがユーザーに見られているか否かを決定する(ブロック３１２)。
プロセス３００は、続いてユーザーのジェスチャをトラッキングし(ブロック３１６)、ユーザーのジェスチャをユーザインターフェイス内のオブジェクトの動作へ関連付ける(ブロック３２０)。
プロセス３００は、続いて前記関連付けに基づいてユーザインターフェイス内のオブジェクトの表示を変更する(ブロック３２４)。
当然のことながら、代用の実施形態では、ユーザーのジェスチャを、ユーザーの視線をトラッキングする前にトラッキングすることができる。さらなる他の実施形態では、ユーザーのジェスチャ、及び視線を、解析(例えば、選択されたオブジェクトの決定、ジェスチャのオブジェクト制御への関連付け)する前にトラッキングすることができる。
図４は、本発明の一実施形態による第一ユーザー入力、及び第二ユーザー入力に基づくフィードバックをユーザーに提供するためのシステム４００を図示する。図４に示されるように、システム４００は、ディスプレイ４０８に接続され、かつディスプレイ４０８上で表示されるユーザインターフェイスを提供するコンピュータデバイス４０４を備える。またシステム４００は、コンピュータデバイス４０４に接続される第一センサ４１２、及び第二センサ４１６を備える。上述されたように、第一センサ４１２、及び第二センサ４１６は、無線及び／又は無線接続を介してコンピュータデバイス４０４に接続することができる。コンピュータデバイス４０４は、ユーザーによって選択されたユーザインターフェイス内のオブジェクトを決定するための検出論理部４２０と、ユーザーの所望する動作、またはコマンドをユーザインターフェイスへ関連付けるための相関論理部４２４とを備える。
一実施形態において、第一入力は視線であり、第一センサ４１２は、上記で例えば図２などの参照と共に説明された視線トラッキングセンサである。一実施形態において、第二入力はジェスチャであり、第二センサ４１６は、上記で例えば図２などの参照とともに説明されたジェスチャセンサである。
他の実施形態において、第二入力は、音声コマンドである。この実施形態において、第二センサ４１６は、マイクである。例えば、ユーザーは、ユーザーが話したいキャラクターを見つめることができ(即ち、第一入力)、前記キャラクターへ話しかけることによってキャラクターとやり取りすることができる(即ち、第二入力)。
一般的に、もしコミュニケーションがシミュレートされていれば、第二入力は音声データであり、もし動作がシミュレートされていれば、第二入力はジェスチャデータである。
さらなる他の実施形態において、第二入力は、脳波、及び／又はユーザーの感情である。この実施形態では、第二センサ４１６は、脳電図(ＥＥＧ)であるような、脳波のグラフを測定、及び生成する単独、又は複数のセンサで有り得る。例えば、複数の組の電極、またはその他のセンサを、ｅｍｏｔｉｖ ＥＰＯＣヘッドセットのような、ヘッドセットを使用するユーザーの頭の上に提供することができる。前記ヘッドセットは、表情を検出するために使用することも可能である。採集される脳波、及び／又は表情データは、オブジェクトの動作、例えば、オブジェクトが持ち上がる、落下する、オブジェクトを動かす、オブジェクトを回転させることなどと、感情、例えば、興奮(excitement)、緊張(tension)、退屈(immersion)、熱中(boredom)、和解(mediation)、欲求不満(frustration)などと、キャラクターのアクション、例えば、ウィンクをする、笑う、目を寄せる、戸惑う(appearing shocked)、笑う、起こる、ニヤニヤ笑う(smirking)、顔をしかめる(grimacing)などとへ関連付けられる。例えば、ユーザーは、ユーザーが動かしたいオブジェクトを見つめることが可能であり、ユーザーは、オブジェクトを動かすためにユーザーの脳波を使うことも可能である。他の実施形態では、ユーザーは、キャラクターを見つめ、それと共に、ユーザーの表情、感情、及び／又は動作を、ヘッドセットセンサシステムを使用して制御することができる。
当然のことながら、視線トラッキングは、ジェスチャ入力、音声入力、脳波入力、及び感情入力の様々な組み合わせを用いて使用することができる。例えば、視線トラッキングは、ジェスチャ入力、音声入力、脳波入力、及び、感情入力のそれぞれを用いて使用することができる。他の実施形態では、視線トラッキングは、音声入力、脳波入力、及び感情入力を用いて使用することが可能である。他の実施形態では、視線トラッキングは、音声入力、脳波入力を用いて使用することが可能である。
コンピュータデバイス４０４は、図２と共に説明されたコンピュータデバイス２０４に類似のものである。しかしながら、当然のことであるが、第二入力はジェスチャデータではない(例えば、第二データは音声コマンドである)本実施形態において、相関論理部４２４は、第二入力をディスプレイ４０８内に表示されたユーザインターフェイスに関係したコマンド、及び動作に関連付ける。例えば、受信した音声データは、ユーザーのコマンド(例えば、スクロールダウン、スクロールアップ、ズームイン、ズームアウト、文字を入力する(cast spell)など)を決定し、それと共に前記コマンド(例えば、スクロールダウン、スクロールアップ、ズームイン、ズームアウト、文字を入力する(cast spell)など)に基づいてユーザインターフェイスを変更するように解析することができる。
図５は、本発明の一実施形態による、第一ユーザー入力、及び第二ユーザー入力のトラッキングに基づくフィードバックをユーザーに提供するためのプロセスを図示する。当然のことながら、以下で説明されるプロセス５００は、単に例示であり、いくつかのステップを抜かすことも、加えること、及び、以下の説明から少なくともいくつかのステップの順序を変えることも可能である。一実施形態では、プロセス５００は、コンピュータデバイス４０４によって実行される。
プロセス５００は、ユーザインターフェイス内にオブジェクトを表示する(ブロック５０４)ことから始まる。
プロセス５００は、続けてオブジェクトの選択を示す第一入力を受信し(ブロック５０４)、オブジェクトとのやり取りを示す第二入力を受信する(ブロック５１２)。
プロセス５００は、続けて前記選択、及び前記やり取りをユーザインターフェイスに関連付けるために、第一入力、及び第二入力を解析する(ブロック５１６)。プロセス５００は、続けて前記関連付けに基づき、ユーザインターフェイス内のオブジェクトの表示を変更する(ブロック５２０)。
図６は、一実施形態であるコンピュータシステム６００でのマシンのダイヤグラム図であり、コンピュータシステム６００内では、前記マシンがここで説明される手順の一つ、または二つ以上を実行するための命令の組を実行することができる。他の実施形態では、前記マシンは、独立した装置として実行する、または他のマシンとネットワーク化するなどして接続することが可能である。ネットワーク化された配置において、前記マシンは、サーバの能力として、またはサーバ―クライアント・ネットワーク環境内でのクライアントマシンとして、またはピアツーピア(または、分散型)ネットワーク環境内でのピアマシンとして制御することが可能である。前記マシンは、パーソナルコンピュータ(ＰＣ)、タブレットＰＣ、セットトップボックス(ＳＴＢ)、パーソナル・デジタル・アシスタント(ＰＤＡ)、携帯電話、ウェブ・アプリアンス、ネットワークルータ、スイッチまたはブリッジ、ビデオコンソール、または、前記マシンによって起こされる動作を特定する命令のセット(順次、もしくは順次ではなく)を実行可能な全てのマシンでありうる。さらに、一つのマシンが図示されているが、“マシン”という言葉は、個別に、または参加型で、一つ、または二つ以上のここで説明される手順を実行するための命令のセット(または、複数のセット)を実行するマシンの集まり全てを含む。一実施形態において、コンピュータシステム６００は、ＳＯＮＹ ＰＬＡＹＳＴＡＴＩＯＮ環境装置である。
例示的なコンピュータデバイス６００は、プロセッサ６０２(例えば、中央処理装置(ＣＰＵ)、グラフィック・プロセッシング・ユニット(ＧＰＵ)、またはその両方)と、メインメモリ６０４(例えば、読み出し専用メモリ(ＲＯＭ)、フラッシュメモリ、及びシンクロナスＤＲＡＭ(ＳＤＲＡＭ)またはランバスＤＲＡＭ(ＲＤＲＡＭ)などのダイナミック・ランダム・アクセス・メモリ(ＤＲＡＭ)など)と、静的メモリ６０６(例えば、フラッシュメモリ、スタティック・ランダム・アクセス・メモリ(ＳＲＡＭ)など)とを備え、それらはバス６０８を介して通信する。一実施形態において、プロセッサ６０２は、セルプロセッサであり、前記メモリは、ＲＡＭＢＵＳダイナミック・ランダム・アクセス・メモリ(ＸＤＲＡＭ)ユニットを備えることが可能である。
コンピュータシステム６００は、ビデオディスプレイユニット６１０(例えば、液晶ディスプレイ(ＬＣＤ)、またはブラウン管)を備えることが可能である。代わりに、コンピュータシステム６００は、別々のビデオディスプレイユニット６１０へ接続することもできる。コンピュータシステム６００は、文字入力装置６１２(例えば、キーボード)と、カーソル制御デバイス(例えば、マウス、またはゲームコントローラ、及び／または視線、及びジェスチャセンサなど)と、ディスクドライブユニット６１６、信号生成装置６２０(例えば、スピーカー、視線及びジェスチャセンサなど)と、ネットワークインターフェイス装置６２２とをさらに備える。一実施形態において、コンピュータシステム６１６は、バス６０８を介してアクセス可能なデスク、及びリムーバブル・スロットイン・ハードディスクドライブ(ＨＤＤ)から読み取るための、ブルーレイディスクＢＤ−ＲＯＭ光学ディスクリーダーを備える。前記バスは、一つまたは二つ以上のユニバーサル・シリアル・バス(ＵＳＢ)２．０ポート、ギガビット・イーサネット・ポート、ＩＥＥＥ ８０２．１１ｂ／ｇワイヤレスネットワーク(Ｗｉｆｉ)ポート、及び／またはブルートゥース・ワイヤレス・ポートを備える。
ディスクドライブユニット６１６は、コンピュータ読取可能媒体６２４を備え、前記コンピュータ読取可能媒体上には、保存された命令(例えば、ソフトウェア６２６)の一つまたは二つ以上の組があり、前記命令は、一つまたは二つ以上の手順、またはここで記述される機能を備える。ソフトウェア６２６は、コンピュータシステム６００、メインメモリ６０４、及びプロセッサ６０２、コンピュータ読取可能媒体の実行時に、完全に、または少なくともその一部が、メインメモリ４０６、及び／またはプロセッサ６０２内に存在する。ソフトウェア６２６は、さらにネットワークインターフェイス装置６２２を介してネットワーク６２８上で送信、または受信することが可能である。
コンピュータ読取可能媒体は、一実施形態として一つの媒体で示されているが、“コンピュータ読取可能媒体”という言葉は、命令の一つまたは二つ以上の組を保存する一つの媒体、または複数の媒体(例えば、集中的、または分散的、及び／または関連したキャッシュ、及びサーバ)を備えることを意味する。“コンピュータ読取可能媒体”という言葉は、前記マシンによる実行のための、保存、符号化、または命令の組の実行が可能であり、かつ、前記マシンが本発明の手順のうち一つまたは二つ以上を実行させる、全ての有形的表現媒体(tangible medium)を意味する。従って“コンピュータ読取可能媒体”という言葉は、これに限定はしないが、固体メモリ、光学、磁気媒体を含むことが可能である。
ここでコンピュータデバイスは、特定の機能を実行する、及びお互いに相互作用する複数のモジュールを持つとして、図示され、かつ議論されることに注意すべきである。これらのモジュールが、ただ単に、説明、及びコンピュータ表現、及び／または、適切なコンピュータハードウェア上で実行するためのコンピュータ読取可能媒体上に保存される実行可能なソフトウェアコードの目的としての機能に基づいて分けられていることを理解する必要がある。異なるモジュール、及びユニットの様々な機能は、ハードウェア及び／または、上記のように全ての形態のモジュールとしてコンピュータ読取可能媒体上に保存されたソフトウェアとして、結合、分離することが可能であり、分離的、結合的に使用が可能である。
図７は、本発明の一実施形態に従う、命令を処理するために使用が可能な追加的なハードウェアを図示する。図７は、本発明の一実施形態に従う、図６のプロセッサ６０２に対応することが可能な構成要素、セルプロセッサ７００を図示する。図７のセルプロセッサ７００は、四つの基本構成要素を備えたアーキテクチャを有する。前記四つの構成要素は、メモリコントローラー７６０、及びデュアルバス・インターフェイス・コントローラーを備える外部入力、及び出力ストラクチャと、パワー・プロセッシング・エレメント(Power Processing Element)７５０と呼ばれるメインプロセッサと、シナジスティック・プロセッシング・エレメント(Synergistic Processing Elements,ＳＰＥｓ)７１０Ａと呼ばれる８個のコプロセッサと、上記構成要素に接続されたエレメント・インターコネクト・バス７８０と呼ばれる環状データバスとである。前記セルプロセッサの総浮動小数点性能は、プレイステーション２の装置のエモーションエンジンの６．２と比較されるＧＦＬＯＰｓ２１８ＧＦＬＯＰＳである。
パワー・プロセッシング・エレメント(ＰＰＥ)７０５は、内部クロック３．２ＧＨｚで動作するＰｏｗｅｒＰＣ ｃｏｒｅ(ＰＰＵ)に対応した、双方同時マルチスレッドパワー１４７０に基づく。ＰＰＥ７５０は、５１２ｋＢ レベル２(Ｌ２)キャッシュ、及び３２ｋＢ レベル１(Ｌ１)キャッシュを備える。ＰＰＥ７５０は、３．２ＧＨｚにおいて２５．６ＧＦＬＯＰｓに変換し、クロックサイクル(clock cycle)につき、８個の単独一操作(single position operation)を可能にする。ＰＰＥ７５０の第一の役割は、ほとんどのコンピュータ作業(computational workload)を処理するシナジスティック・プロセッシング・エレメント７１０Ａ−Ｈのコントローラーとして役割を果たすことである。制御において、ＰＰＥ７５０は、ジョブキューと、シナジスティック・プロセッシング・エレメント７１０Ａ−Ｈのためのスケジューリング・ジョブと、それらの進捗の監視とを維持する。その結果として、各シナジスティック・プロセッシング・エレメント７１０Ａ−Ｈは、ジョブを取得、実行、及びＰＰＥ７５０との同期を行う目的を持つカーネルを実行する。
各シナジスティック・プロセッシング・エレメント７１０Ａ−Ｈは、各シナジスティック・プロセッシング・ユニット(ＳＰＵ７２０−Ｈ)、及び各メモリ・フロー・コントローラー(ＭＦＣ)を備え、前記各メモリ・フロー・コントローラーは、同様に、各動的メモリアクセスコントローラー(ＤＭＡＣ)７４２−Ｈと、各メモリ管理ユニット(ＭＭＵ)と、バスインターフェイス(図示せず)とを備える。各ＳＰＵ７２０Ａ−Ｈは、クロック３．２ＧＨｚのＲＩＳＣプロセッサであり、２５６ｋＢローカルＲＡＭ７３０Ａ−Ｈを備え、原則的に４ＧＢまで拡張が可能である。各ＳＰＥは、単精度パフォーマンス、理論値２５．６ＧＦＬＯＰＳを提供する。ＳＰＵは、１つのクロックサイクルにおいて、４つの単精度浮動点小数、４つの３２ビット数、８つの１６ビット整数、または１６個の８ビット整数上で制御することができる。同クロックサイクルにおいて、ＳＰＵは、メモリ制御を実行することも可能である。ＳＰＵ７２０Ａ−Ｈは、システムメモリＸＤＲＡＭ１４２６に直接アクセスしない。ＳＰＵ７２０Ａ−Ｈによって作られる６４ビットアドレスは、ＭＤＣ７４０Ａ−Ｈへ渡される。ＭＤＣ７４０Ａ−Ｈは、そのＤＭＡコントローラー７２４Ａ−Ｈにエレメント・インターコネクト・バス７８０、及びメモリコントローラー７６０を介してメモリにアクセスするように命令する。
エレメント・インターコネクト・バス(ＥＩＢ)７８０は、論理的に、セルプロセッサ７００へ内的につながる環状コミュニケーションバス(circular communication bus internal to the processor)であり、前記セルプロセッサには、上記のプロセッサ構成要素、即ちＰＰＥ７５０、メモリコントローラー７６０、デュアルバスインターフェイス７７０Ａ、Ｂ、及び８つのＳＰＥｓ７１０Ａ−Ｈの全部で１２個の構成要素が接続される。前記構成要素は、クロックサイクルにつき８バイトのレートで、前記バスへ書き込み、及び読み込みを同時に行うことができる。上述したように、各ＳＰＥ７１０Ａ−Ｈは、より長いシークエンスの読み込み、書き込みをスケジューリングするためのＤＭＡＣ７４２Ａ−Ｈを備える。前記ＥＩＢは、４つのチャネルを備え、それぞれ２つずつ時計回り、及び反時計回りである。結果として、前記１２個の構成要素において、全ての二構成要素間で最も長い段階的なデータフロー(longest step-wise dataflow)は、適切な方向の６つのステップである。１２個のスロットでの論理瞬間ピークＥＩＢバンド幅(theoretical peak instantaneous EIB band width)は、従って、構成要素間のアービトレーション(arbitration)を介した完全な利用が行われるイベントであっても、クロック毎９６Ｂである。これは、クロックレート３．２ＧＨｚでの論理ピークバンド幅３０７．２ＧＢ／ｓ(ギガバイト毎秒)に一致する。
メモリコントローラー７６０は、Ｒａｍｂｕｓ Ｉｎｃｏｒｐｏｒａｔｅｄによって開発されたＸＤＲＡＭインターフェイス７６２を備える。Ｒａｍｂｕｓ ＸＤＲＡＭを有する前記メモリ・コントローラー・インターフェイスは、論理ピークバンド幅２５．６ＧＢ／ｓを有する。
デュアルインターフェイス７７０Ａ、Ｂは、Ｒｕｍｂｕｓ ＦｌｅｘＩＯシステムインターフェイス７７２Ａ、Ｂを備える。前記インターフェイスは、５個のインバウンドであるパス、及び７個のアウトバウンドを有する、８ビットの幅である１２個のチャネルで構成される。これは、コントローラー７７０Ａと、コントローラー７７０Ｂを介したリアリティ・シミュレーター・グラフィックス・ユニットとを介して、セルプロセッサと、Ｉ／Ｏブリッジとの間で、論理ピークバンド幅６２．４ＧＨｚ(３６．４ＧＢ／ｓアウトバウンド、２６ＧＢ／ｓインバウンド)を提供する。
ここで記載されたプロセス、及び技術は、本質的にどんな具体的な装置にも関係しないこと、及び、適切な構成要素の組み合わせによって実施が可能であることを理解する必要がある。さらに、汎用の装置の様々なタイプが、ここで説明された技術に従って使用可能である。さらに、ここで説明された方法のステップを実行するために特化された装置を作ることの利点が示された。本発明は、具体的な実施形態との関係の中で説明がなされてきたのであって、実施形態は、あらゆる点において理解を深める目的のものであり、限定を意図するものではない。当業者は、ハードウェア、ソフトウェア、及びフォームウェアの様々な異なる組み合わせが、本発明を実施するために適していることを承知である。前記コンピュータデバイスは、ＰＣ、ヘッドセット、サーバ、ＰＤＡ、またはその他全ての装置、または、媒体上に記録されたコンピュータ読取可能な命令に応じて開示された機能を実行する装置の組み合わせで有り得る。ここで使用される“コンピュータシステム”という言葉は、従って、全ての装置、またはそれらの装置の組み合わせのことを意味する。
さらに、本発明の他の実施形態は、当業者にとっては本明細書で開示された本発明の特徴、及び実施の概念から明らかである。上述された実施形態の様々な側面、及び／又は構成要素は、単独、または組み合わせで使用することが可能である。明細書、及びそこで記された実施形態は、例示的に考えられただけであり、本当の本発明の範囲、及び趣旨は、添付の特許請求の範囲に記される。
２００ システム
２０４ コンピュータデバイス
２０８ ディスプレイ
２１２ 視線センサ
２１６ ジェスチャセンサ
２２０ オブジェクト検出論理部
２２４ ジェスチャ相関論理部

Claims (35)

  1. 視線データ、及びジェスチャデータを受信し、前記視線データに対応するユーザインターフェイスの位置を決定し、前記ジェスチャデータを前記ユーザインターフェイスの変更へ関連付けるように構成されたプロセッサと、
    前記プロセッサに接続され、かつ、前記視線データ、及び前記ジェスチャデータを記憶するよう構成されたメモリとを備えるコンピュータシステム。
  2. 前記ジェスチャデータは、ハンドジェスチャデータを有する請求項１に記載のコンピュータシステム。
  3. 前記視線データは、ユーザインターフェイスと情報のやり取りをするユーザーの目の複数の画像を有する請求項１に記載のコンピュータシステム。
  4. 前記視線データは、光の反射である請求項３に記載のコンピュータシステム。
  5. 前記光は、赤外照明である請求項４に記載のコンピュータシステム。
  6. 前記ジェスチャデータは、ユーザインターフェイスと情報のやり取りをするユーザーの体の複数の画像を有する請求項１に記載のコンピュータシステム。
  7. 前記ジェスチャデータは、深さデータをさらに有する請求項６に記載のコンピュータシステム。
  8. オブジェクトを有するユーザインタ―フェイスを表示するディスプレイと、
    目の視線データ(を捕捉する視線センサと、
    ユーザジェスチャデータを捕捉するジェスチャセンサと、
    前記視線センサ、ジェスチャセンサ、及びディスプレイに接続されたコンピュータデバイスとを備えるシステムであって、
    前記コンピュータデバイスは、ユーザインターフェイスを前記ディスプレイに提供し、
    前記視線データに基づいてユーザーが前記オブジェクトを見ているか否かを決定し、
    前記ジェスチャデータを前記オブジェクトに対応するコマンドへ関連付け、かつ、
    前記コマンドに基づいて前記オブジェクトを有するユーザインターフェイスの表示を変更するように構成されるシステム。
  9. 前記コマンドは、前記オブジェクトの動作を有する請求項８のシステム
  10. 前記視線データは、
    目の視線データと、目の視線位置と、目の位置、前記センサから目まで距離、及び瞳孔の大きさのうち少なくとも一つと、タイムスタンプとを有する請求項８のシステム。
  11. 前記視線センサは、ビデオカメラと、光源とを備える請求項８に記載のシステム。
  12. 前記ジェスチャセンサは、ビデオカメラと、深度センサとを備える請求項８に記載のシステム。
  13. 前記ジェスチャセンサは、少なくとも一つのジャイロスコープと、少なくとも一つの加速度計を備える請求項８に記載のシステム。
  14. ディスプレイにユーザインターフェイスを表示するステップと、
    前記ユーザインターフェイスと情報のやり取りをするユーザーの視線データを受信するステップと、
    前記視線データに基づいて、ユーザーの視線が、前記ユーザインターフェイス内に表示されるオブジェクトへ向いているか否かを決定するステップと、
    ユーザーのジェスチャに対応したジェスチャデータを受信するステップと、
    前記ジェスチャデータを、前記オブジェクトとユーザーとの所望するやり取りへ関連付けるステップと、
    前記関連付けられたやり取りに基づいてユーザインターフェイスのオブジェクトの表示を変更するステップとを備える方法。
  15. 前記視線データは、
    目の視線データと、目の視線位置と、目の位置、前記視線センサから目までの距離、及び瞳孔の大きさのうち少なくとも一つと、タイムスタンプとを有する請求項１４に記載の方法。
  16. 前記ジェスチャデータは、ユーザーの視線が前記オブジェクトに向いているか否かを決定する前に、ユーザーの所望のやり取りに関連付けられる請求項１４に記載の方法。
  17. 前記オブジェクトの表示を変更するステップは、ユーザインターフェイス内のオブジェクトの相対位置を移動させるステップを備える請求項１４に記載の方法。
  18. 前記ジェスチャデータは、ハンドジェスチャに対応する情報を有する請求項１４に記載の方法。
  19. 実行時に、コンピュータシステムに方法を実行させるコンピュータ実行可能な命令を記憶したコンピュータ読み取り可能記憶媒体であって、前記方法は、
    ディスプレイにユーザインターフェイスを表示するステップと、
    前記ユーザインターフェイスと情報のやり取りをするユーザーの視線データを受信するステップと、
    前記視線データに基づいて、ユーザーの視線が、前記ユーザインターフェイス内に表示されるオブジェクトへ向いているか否かを決定するステップと、
    ユーザーのジェスチャに対応したジェスチャデータを受信するステップと、
    前記ジェスチャデータを、前記オブジェクトとユーザーとの所望するやり取りへ関連付けるステップと、
    前記関連付けられたやり取りに基づいてユーザインターフェイスのオブジェクトの表示を変更するステップとを備えたコンピュータ読み取り可能記憶媒体。
  20. 前記ジェスチャデータは、ユーザーの視線が前記オブジェクトに向いているか否かを決定する前に、ユーザーの所望のやり取りに関連付けられる請求項１９に記載のコンピュータ読み取り可能記憶媒体。
  21. 前記オブジェクトの表示を変更するステップは、ユーザインターフェイス内のオブジェクトの相対位置を移動させるステップを備える請求項１９に記載のコンピュータ読み取り可能記憶媒体。
  22. 視線データを受信し、脳波データ(brain wave data)、及び感情データ(emotion data)のうち少なくとも一つを受信し、視線データに対応するユーザインターフェイスの位置を決定し、
    脳波データ、及び感情データのうち少なくとも一つをユーザインターフェイスの変更へ関連付けるように構成されたプロセッサと、
    前記プロセッサに接続され、かつ、前記視線データ及び、脳波データ、感情データのうち少なくとも一つを記憶するように構成されたメモリとを備えるコンピュータシステム。
  23. 前記視線データは、ユーザインターフェイスと情報をやり取りするユーザーの目の複数の画像を有する請求項２２に記載のコンピュータシステム。
  24. 前記プロセッサは、さらに音声データを受信し、かつ、
    脳波データ、感情データ、音声データのうち少なくとも一つをユーザインターフェイスの変更に関連付けるよう構成され、
    前記メモリは、さらに音声データを記憶するように構成される請求項２２に記載のコンピュータシステム。
  25. オブジェクトを有するユーザインターフェイスを表示するディスプレイと、
    目の視線データを捕捉する視線センサと、
    脳波データ、及び感情データのうち少なくとも一つを獲得する複数のセンサを備えたヘッドセットと、
    前記視線センサ、ヘッドセット、及びディスプレイに接続されるコンピュータデバイスとを備え、
    前記コンピュータデバイスは、前記ディスプレイにユーザインターフェイスを提供し、視線データに基づいて前記オブジェクトをユーザーが見ているか否かを決定し、脳波データ、及び感情データのうち少なくとも一つを前記オブジェクトに対応するコマンドに関係づけ、前記コマンドに基づいた前記オブジェクトを備えるユーザインターフェイスの表示を変更するように構成されるシステム。
  26. 前記コマンドは、前記オブジェクトの動作を含む請求項２５に記載のシステム。
  27. 前記視線データは、
    目の視線データと、目の視線ポジションと、目の位置、前記視線センサと目の距離、及び瞳孔の大きさのうち少なくとも一つと、タイムスタンプとを有する請求項２５に記載のシステム。
  28. 前記視線センサは、ビデオカメラと、光源とを備える請求項２５に記載のシステム。
  29. ディスプレイにユーザインターフェイスを表示するステップと、
    ユーザインターフェイスと情報のやり取りをするユーザーの視線データを受信するステップと、
    前記視線データに基づき、前記ユーザインターフェイス内に表示されたオブジェクトへユーザーの視線が向いているか否かを決定するステップと、
    脳波データ、及び感情データのうち少なくとも一つを、ユーザーの前記オブジェクトとの所望のやり取りへ関連付けるステップと、
    関係づけられたやり取りに基づいて前記ユーザインターフェイス内の前記オブジェクトの表示を変更するステップとを備える方法。
  30. 前記視線データは、
    目の視線データと、目の視線位置と、目の位置、前記視線センサと目の距離、及び瞳孔の大きさのうち少なくとも一つと、タイムスタンプとを有する請求項２９に記載の方法。
  31. 前記オブジェクトの表示を変更するステップは、前記ユーザインターフェイス内のオブジェクトの相対位置を移動させるステップを備える請求項２９に記載の方法。
  32. 前記オブジェクトは、キャラクターであり、
    前記オブジェクトの表示を変更するステップは、前記キャラクターの顔を変化させるステップを備える請求項２９に記載の方法。
  33. 実行時にコンピュータシステムに方法を実行させるコンピュータ実行可能な命令を記憶したコンピュータ読み取り可能記憶媒体であって、前記方法は、
    ディスプレイにユーザインターフェイスを表示するステップと、
    前記ユーザインターフェイスと情報のやり取りをするユーザーの視線データを受信するステップと、
    前記視線データに基づいて、ユーザーの視線が、前記ユーザインターフェイス内に表示されるオブジェクトへ向いているか否かを決定するステップと、
    脳波データ、及び感情データのうち少なくとも一つを受信するステップと、
    脳波データ、及び感情データのうち少なくとも一つを、前記オブジェクトとユーザーとの所望のやり取りに関連付けるステップと、
    前記関連付けられたやり取りに基づいてユーザインターフェイスのオブジェクトの表示を変更するステップとを備えた方法とを備えるコンピュータ読み取り可能記憶媒体。
  34. 前記オブジェクトの表示を変更するステップは、ユーザインターフェイス内のオブジェクトの相対位置を移動させるステップを備える請求項３３に記載のコンピュータ読み取り可能記憶媒体。
  35. 前記オブジェクトは、キャラクターであり、
    前記オブジェクトの表示を変更するステップは、前記キャラクターの顔を変化させるステップを備える請求項３３に記載のコンピュータ読み取り可能記憶媒体。
JP2012087150A 2011-04-08 2012-04-06 ユーザーの視線、及びジェスチャによるフィードバック提供システム、及び方法 Active JP6002424B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/083,349 2011-04-08
US13/083,349 US20120257035A1 (en) 2011-04-08 2011-04-08 Systems and methods for providing feedback by tracking user gaze and gestures

Publications (2)

Publication Number Publication Date
JP2012221498A true JP2012221498A (ja) 2012-11-12
JP6002424B2 JP6002424B2 (ja) 2016-10-05

Family

ID=46022057

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012087150A Active JP6002424B2 (ja) 2011-04-08 2012-04-06 ユーザーの視線、及びジェスチャによるフィードバック提供システム、及び方法

Country Status (4)

Country Link
US (1) US20120257035A1 (ja)
EP (1) EP2523069A3 (ja)
JP (1) JP6002424B2 (ja)
CN (1) CN102749990A (ja)

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013094437A (ja) * 2011-11-01 2013-05-20 Konami Digital Entertainment Co Ltd ゲーム装置、ゲーム装置の制御方法、及びプログラム
JP2014029656A (ja) * 2012-06-27 2014-02-13 Soka Univ 画像処理装置および画像処理方法
WO2014188565A1 (ja) * 2013-05-23 2014-11-27 パイオニア株式会社 表示制御装置
WO2014189486A1 (en) * 2013-05-20 2014-11-27 Intel Corporation Natural human-computer interaction for virtual personal assistant systems
WO2015001606A1 (ja) * 2013-07-01 2015-01-08 パイオニア株式会社 撮像システム
CN104606882A (zh) * 2014-12-31 2015-05-13 南宁九金娃娃动漫有限公司 一种体感游戏互动方法及系统
CN104898276A (zh) * 2014-12-26 2015-09-09 成都理想境界科技有限公司 头戴式显示装置
KR101571848B1 (ko) * 2014-03-06 2015-11-25 국방과학연구소 뇌전도 및 눈동자 움직임 기반 하이브리드형 인터페이스 장치 및 이의 제어 방법
JP2016507112A (ja) * 2013-03-05 2016-03-07 インテル コーポレイション 複合的な知覚感知入力の対話
KR20160039499A (ko) * 2014-10-01 2016-04-11 삼성전자주식회사 디스플레이 장치 및 그의 제어 방법
KR101619635B1 (ko) 2014-11-06 2016-05-10 현대자동차주식회사 시선추적을 이용한 메뉴 선택장치
JP2016521881A (ja) * 2013-06-03 2016-07-25 ダクリ エルエルシーＤａｑｒｉ， ＬＬＣ 思考を介した拡張現実における仮想オブジェクトの操作
JP2016529581A (ja) * 2013-06-03 2016-09-23 ダクリ エルエルシーＤａｑｒｉ， ＬＬＣ 意図を介した拡張現実における仮想オブジェクトの操作
JP2016540276A (ja) * 2013-09-30 2016-12-22 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ 既知の、まだ着用されていないセンサの使用によるジェスチャ検出システムの分類
KR101812605B1 (ko) * 2016-01-07 2017-12-29 한국원자력연구원 제스처를 이용한 사용자 입력 표시 장치 및 방법
KR20180028658A (ko) * 2016-09-09 2018-03-19 주식회사 토비스 공간터치 인식방법 및 이를 이용한 공간터치 인식장치
US9952679B2 (en) 2015-11-26 2018-04-24 Colopl, Inc. Method of giving a movement instruction to an object in a virtual space, and program therefor
JP2019506691A (ja) * 2015-12-17 2019-03-07 ルキシド ラブズ インコーポレイテッド アイブレインインターフェースシステムのキャリブレーション方法、及びシステム内のスレーブデバイス、ホストデバイス
WO2019077897A1 (ja) * 2017-10-17 2019-04-25 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US10496186B2 (en) 2015-06-26 2019-12-03 Sony Corporation Information processing apparatus, information processing method, and program
WO2020039933A1 (ja) * 2018-08-24 2020-02-27 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US10620719B2 (en) 2015-09-30 2020-04-14 Sony Corporation Information processing device and information processing method
KR20200090484A (ko) * 2019-01-21 2020-07-29 공주대학교 산학협력단 가상 모델하우스 제작 시스템
JP2020532031A (ja) * 2017-08-23 2020-11-05 ニューラブル インコーポレイテッド 高速視標追跡機能を有する脳−コンピュータインタフェース
JP2021502659A (ja) * 2017-11-13 2021-01-28 ニューラブル インコーポレイテッド 高速、正確及び直観的なユーザ対話のための適合を有する脳−コンピュータインターフェース
WO2022085929A1 (ko) * 2020-10-20 2022-04-28 삼성전자주식회사 전자 장치 및 그 제어 방법
JP2022537574A (ja) * 2019-06-18 2022-08-26 ヒューメイン・インコーポレイテッド ウェアラブルマルチメディアデバイスおよびレーザ投影システムを伴うクラウドコンピューティングプラットフォーム
JP7457453B2 (ja) 2018-07-27 2024-03-28 株式会社栗本鐵工所 仮想オブジェクト触覚提示装置およびプログラム
US12053308B2 (en) 2018-01-18 2024-08-06 Neurable Inc. Brain-computer interface with adaptations for high-speed, accurate, and intuitive user interactions

Families Citing this family (181)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8942428B2 (en) 2009-05-01 2015-01-27 Microsoft Corporation Isolate extraneous motions
US8744121B2 (en) 2009-05-29 2014-06-03 Microsoft Corporation Device for identifying and tracking multiple humans over time
US10332176B2 (en) 2014-08-28 2019-06-25 Ebay Inc. Methods and systems for virtual fitting rooms or hybrid stores
US8639020B1 (en) 2010-06-16 2014-01-28 Intel Corporation Method and system for modeling subjects from a depth map
US10895917B2 (en) 2011-03-12 2021-01-19 Uday Parshionikar Multipurpose controllers and methods
JP2012247936A (ja) * 2011-05-26 2012-12-13 Sony Corp 情報処理装置、表示制御方法及びプログラム
JP5757166B2 (ja) * 2011-06-09 2015-07-29 ソニー株式会社 音制御装置、プログラム及び制御方法
US20120320080A1 (en) * 2011-06-14 2012-12-20 Microsoft Corporation Motion based virtual object navigation
US11048333B2 (en) 2011-06-23 2021-06-29 Intel Corporation System and method for close-range movement tracking
JP6074170B2 (ja) 2011-06-23 2017-02-01 インテル・コーポレーション 近距離動作のトラッキングのシステムおよび方法
WO2013022222A2 (en) * 2011-08-05 2013-02-14 Samsung Electronics Co., Ltd. Method for controlling electronic apparatus based on motion recognition, and electronic apparatus applying the same
EP3754997B1 (en) 2011-08-05 2023-08-30 Samsung Electronics Co., Ltd. Method for controlling electronic apparatus based on voice recognition and motion recognition, and electronic apparatus applying the same
US9015084B2 (en) 2011-10-20 2015-04-21 Gil Thieberger Estimating affective response to a token instance of interest
TW201322058A (zh) * 2011-11-16 2013-06-01 Chunghwa Picture Tubes Ltd 手勢辨識系統及方法
US9557819B2 (en) * 2011-11-23 2017-01-31 Intel Corporation Gesture input with multiple views, displays and physics
US8638344B2 (en) * 2012-03-09 2014-01-28 International Business Machines Corporation Automatically modifying presentation of mobile-device content
US9304646B2 (en) * 2012-03-20 2016-04-05 A9.Com, Inc. Multi-user content interactions
US9213420B2 (en) 2012-03-20 2015-12-15 A9.Com, Inc. Structured lighting based content interactions
US9373025B2 (en) * 2012-03-20 2016-06-21 A9.Com, Inc. Structured lighting-based content interactions in multiple environments
US9367124B2 (en) * 2012-03-20 2016-06-14 A9.Com, Inc. Multi-application content interactions
US9477303B2 (en) 2012-04-09 2016-10-25 Intel Corporation System and method for combining three-dimensional tracking with a three-dimensional display for a user interface
GB2504492A (en) * 2012-07-30 2014-02-05 John Haddon Gaze detection and physical input for cursor symbol
US9898742B2 (en) * 2012-08-03 2018-02-20 Ebay Inc. Virtual dressing room
US20140046922A1 (en) * 2012-08-08 2014-02-13 Microsoft Corporation Search user interface using outward physical expressions
US9201500B2 (en) * 2012-09-28 2015-12-01 Intel Corporation Multi-modal touch screen emulator
WO2014068582A1 (en) * 2012-10-31 2014-05-08 Nokia Corporation A method, apparatus and computer program for enabling a user input command to be performed
US10146316B2 (en) * 2012-10-31 2018-12-04 Nokia Technologies Oy Method and apparatus for disambiguating a plurality of targets
US9684372B2 (en) * 2012-11-07 2017-06-20 Samsung Electronics Co., Ltd. System and method for human computer interaction
CN103809733B (zh) * 2012-11-07 2018-07-20 北京三星通信技术研究有限公司 人机交互系统和方法
US11270498B2 (en) 2012-11-12 2022-03-08 Sony Interactive Entertainment Inc. Real world acoustic and lighting modeling for improved immersion in virtual reality and augmented reality environments
CN102945078A (zh) * 2012-11-13 2013-02-27 深圳先进技术研究院 人机交互设备及人机交互方法
CN103118227A (zh) * 2012-11-16 2013-05-22 佳都新太科技股份有限公司 一种基于kinect的摄像机PTZ控制方法、装置和系统
KR20140073730A (ko) * 2012-12-06 2014-06-17 엘지전자 주식회사 이동 단말기 및 이동 단말기 제어방법
TWI488070B (zh) * 2012-12-07 2015-06-11 Pixart Imaging Inc 電子裝置控制方法以及使用此電子裝置控制方法的電子裝置
CN103870164A (zh) * 2012-12-17 2014-06-18 联想(北京)有限公司 一种处理方法及电子设备
CN107390862A (zh) * 2012-12-18 2017-11-24 原相科技股份有限公司 电子装置控制方法以及电子装置
US9996150B2 (en) 2012-12-19 2018-06-12 Qualcomm Incorporated Enabling augmented reality using eye gaze tracking
CN103252088B (zh) * 2012-12-25 2015-10-28 上海绿岸网络科技股份有限公司 实景扫描游戏互动系统
WO2014106219A1 (en) * 2012-12-31 2014-07-03 Burachas Giedrius Tomas User centric interface for interaction with visual display that recognizes user intentions
WO2014111924A1 (en) * 2013-01-15 2014-07-24 Poow Innovation Ltd. Dynamic icons
CN103092349A (zh) * 2013-01-23 2013-05-08 宁凯 基于Kinect体感设备的全景体验方法
DE102013001327B4 (de) * 2013-01-26 2017-12-14 Audi Ag Verfahren und Anzeigesystem zum blickrichtungsabhängigen Skalieren einer Darstellung
CN103970260B (zh) 2013-01-31 2017-06-06 华为技术有限公司 一种非接触式手势控制方法及电子终端设备
CA2942852C (en) * 2013-03-15 2023-03-28 Interaxon Inc. Wearable computing apparatus and method
US20140282272A1 (en) * 2013-03-15 2014-09-18 Qualcomm Incorporated Interactive Inputs for a Background Task
US10195058B2 (en) * 2013-05-13 2019-02-05 The Johns Hopkins University Hybrid augmented reality multimodal operation neural integration environment
US9916287B2 (en) * 2013-06-17 2018-03-13 Tencent Technology (Shenzhen) Company Limited Method, device and system for zooming font in web page file, and storage medium
US10884493B2 (en) 2013-06-20 2021-01-05 Uday Parshionikar Gesture based user interfaces, apparatuses and systems using eye tracking, head tracking, hand tracking, facial expressions and other user actions
US10025378B2 (en) 2013-06-25 2018-07-17 Microsoft Technology Licensing, Llc Selecting user interface elements via position signal
CN103399629B (zh) * 2013-06-29 2017-09-19 华为技术有限公司 获取手势屏幕显示坐标的方法和装置
US20160139762A1 (en) * 2013-07-01 2016-05-19 Inuitive Ltd. Aligning gaze and pointing directions
CN105518569A (zh) 2013-08-21 2016-04-20 汤姆逊许可公司 具备受观看方向控制的摇摄功能的视频显示器
EP2843507A1 (en) * 2013-08-26 2015-03-04 Thomson Licensing Display method through a head mounted device
JP2015056141A (ja) * 2013-09-13 2015-03-23 ソニー株式会社 情報処理装置、および情報処理方法
US10025489B2 (en) * 2013-09-16 2018-07-17 Microsoft Technology Licensing, Llc Detecting primary hover point for multi-hover point device
US9781360B2 (en) 2013-09-24 2017-10-03 Sony Interactive Entertainment Inc. Gaze tracking variations using selective illumination
WO2015048030A1 (en) 2013-09-24 2015-04-02 Sony Computer Entertainment Inc. Gaze tracking variations using visible lights or dots
EP3048949B1 (en) 2013-09-24 2019-11-20 Sony Interactive Entertainment Inc. Gaze tracking variations using dynamic lighting position
US9400553B2 (en) 2013-10-11 2016-07-26 Microsoft Technology Licensing, Llc User interface programmatic scaling
US10152136B2 (en) * 2013-10-16 2018-12-11 Leap Motion, Inc. Velocity field interaction for free space gesture interface and control
KR102192704B1 (ko) 2013-10-22 2020-12-17 엘지전자 주식회사 영상 출력 장치
US10168873B1 (en) 2013-10-29 2019-01-01 Leap Motion, Inc. Virtual interactions for machine control
US9891707B2 (en) * 2013-11-01 2018-02-13 Sony Corporation Information processing device, information processing method, and program for controlling a state of an application by gaze position
CN103559809B (zh) * 2013-11-06 2017-02-08 常州文武信息科技有限公司 基于计算机的现场交互演示系统
KR102157338B1 (ko) * 2013-11-12 2020-09-17 삼성전자주식회사 복수의 센서 기능을 수행하는 전자 장치 및 방법
CN103838372A (zh) * 2013-11-22 2014-06-04 北京智谷睿拓技术服务有限公司 智能眼镜的智能功能开启/关闭方法和开启/关闭系统
EP3077888A4 (en) * 2013-12-02 2017-07-19 Intel Corporation Optimizing the visual quality of media content based on user perception of the media content
FR3014571B1 (fr) 2013-12-11 2021-04-09 Dav Dispositif de commande a retour sensoriel
US9891712B2 (en) 2013-12-16 2018-02-13 Leap Motion, Inc. User-defined virtual interaction space and manipulation of virtual cameras with vectors
DE102013226244A1 (de) * 2013-12-17 2015-06-18 Siemens Aktiengesellschaft Medizintechnische Steuerung
CN104750401B (zh) 2013-12-30 2018-03-13 华为技术有限公司 一种触控方法、相关装置以及终端设备
CN103706106B (zh) * 2013-12-30 2015-12-30 南京大学 一种基于Kinect的自适应连续动作训练方法
CN103713741B (zh) * 2014-01-08 2016-06-29 北京航空航天大学 一种基于Kinect手势控制显示墙的方法
US9311718B2 (en) * 2014-01-23 2016-04-12 Microsoft Technology Licensing, Llc Automated content scrolling
US9201578B2 (en) 2014-01-23 2015-12-01 Microsoft Technology Licensing, Llc Gaze swipe selection
CN104801042A (zh) * 2014-01-23 2015-07-29 鈊象电子股份有限公司 根据玩家挥手范围切换游戏画面的方法
US10353460B2 (en) * 2014-01-29 2019-07-16 Tarek A Shazly Eye and head tracking device
KR101533319B1 (ko) * 2014-02-22 2015-07-03 주식회사 브이터치 카메라 중심의 가상터치를 이용한 원격 조작 장치 및 방법
CN104978043B (zh) * 2014-04-04 2021-07-09 北京三星通信技术研究有限公司 终端设备的键盘、终端设备的输入方法和终端设备
US9575508B2 (en) 2014-04-21 2017-02-21 Apple Inc. Impact and contactless gesture inputs for docking stations
US10416759B2 (en) * 2014-05-13 2019-09-17 Lenovo (Singapore) Pte. Ltd. Eye tracking laser pointer
CN104013401B (zh) * 2014-06-05 2016-06-15 燕山大学 一种人体脑电信号与动作行为信号同步采集系统及方法
CN106575151A (zh) * 2014-06-17 2017-04-19 奥斯特豪特集团有限公司 用于头戴式计算的外部用户接口
US20240295922A1 (en) * 2014-06-20 2024-09-05 Uday Parshionikar Gesture based user interfaces, apparatuses and systems using eye tracking, head tracking, hand tracking, facial expressions and other user actions
US10529009B2 (en) 2014-06-25 2020-01-07 Ebay Inc. Digital avatars in online marketplaces
US9846522B2 (en) 2014-07-23 2017-12-19 Microsoft Technology Licensing, Llc Alignable user interface
US10653962B2 (en) 2014-08-01 2020-05-19 Ebay Inc. Generating and utilizing digital avatar data for online marketplaces
US20180133593A1 (en) * 2014-08-07 2018-05-17 Fove, Inc. Algorithm for identifying three-dimensional point-of-gaze
US9746984B2 (en) 2014-08-19 2017-08-29 Sony Interactive Entertainment Inc. Systems and methods for providing feedback to a user while interacting with content
US10366447B2 (en) 2014-08-30 2019-07-30 Ebay Inc. Providing a virtual shopping environment for an item
JP6252409B2 (ja) * 2014-09-02 2017-12-27 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
WO2016037331A1 (zh) * 2014-09-10 2016-03-17 周谆 基于手势控制虚拟骰子容器的方法和系统
CN104253944B (zh) * 2014-09-11 2018-05-01 陈飞 基于目光连接的声音命令下达装置和方法
US9798383B2 (en) 2014-09-19 2017-10-24 Intel Corporation Facilitating dynamic eye torsion-based eye tracking on computing devices
CN104317392B (zh) * 2014-09-25 2018-02-27 联想(北京)有限公司 一种信息控制方法及电子设备
US10649635B2 (en) * 2014-09-26 2020-05-12 Lenovo (Singapore) Pte. Ltd. Multi-modal fusion engine
US20160096072A1 (en) * 2014-10-07 2016-04-07 Umm Al-Qura University Method and system for detecting, tracking, and visualizing joint therapy data
US11107091B2 (en) 2014-10-15 2021-08-31 Toshiba Global Commerce Solutions Gesture based in-store product feedback system
KR102302721B1 (ko) * 2014-11-24 2021-09-15 삼성전자주식회사 복수의 어플리케이션을 실행하는 전자 장치 및 그 제어 방법
KR101619661B1 (ko) * 2014-12-08 2016-05-10 현대자동차주식회사 운전자의 얼굴 방향 검출 방법
US10088971B2 (en) 2014-12-10 2018-10-02 Microsoft Technology Licensing, Llc Natural user interface camera calibration
US9955147B2 (en) * 2015-01-28 2018-04-24 Nextvr Inc. Zoom related methods and apparatus
US9696795B2 (en) 2015-02-13 2017-07-04 Leap Motion, Inc. Systems and methods of creating a realistic grab experience in virtual reality/augmented reality environments
US10429923B1 (en) 2015-02-13 2019-10-01 Ultrahaptics IP Two Limited Interaction engine for creating a realistic experience in virtual reality/augmented reality environments
CN107209936B (zh) * 2015-02-20 2021-08-27 索尼公司 信息处理设备，信息处理方法和程序
US9959658B2 (en) * 2015-02-26 2018-05-01 Rovi Guides, Inc. Methods and systems for generating holographic animations
US9851790B2 (en) * 2015-02-27 2017-12-26 Lenovo (Singapore) Pte. Ltd. Gaze based notification reponse
CN104699247B (zh) * 2015-03-18 2017-12-12 北京七鑫易维信息技术有限公司 一种基于机器视觉的虚拟现实交互系统及方法
CN104707331B (zh) * 2015-03-31 2018-08-07 北京奇艺世纪科技有限公司 一种游戏体感产生方法及装置
CN104850227B (zh) * 2015-05-05 2018-09-28 北京嘀嘀无限科技发展有限公司 信息处理的方法、设备及系统
US10043281B2 (en) 2015-06-14 2018-08-07 Sony Interactive Entertainment Inc. Apparatus and method for estimating eye gaze location
CN106293039B (zh) 2015-06-17 2019-04-12 北京智谷睿拓技术服务有限公司 设备间的交互方法以及用户设备
CN106293040B (zh) 2015-06-17 2019-04-16 北京智谷睿拓技术服务有限公司 设备间的交互方法以及近眼设备
CN106325468B (zh) 2015-06-17 2019-09-10 北京智谷睿拓技术服务有限公司 设备间的交互方法以及用户设备
US9898865B2 (en) 2015-06-22 2018-02-20 Microsoft Technology Licensing, Llc System and method for spawning drawing surfaces
CN105068248A (zh) * 2015-08-03 2015-11-18 众景视界（北京）科技有限公司 头戴式全息智能眼镜
CN105068646B (zh) * 2015-08-05 2017-11-10 广东欧珀移动通信有限公司 终端的控制方法和系统
US9829976B2 (en) * 2015-08-07 2017-11-28 Tobii Ab Gaze direction mapping
CN106708251A (zh) * 2015-08-12 2017-05-24 天津电眼科技有限公司 一种基于眼球追踪技术的智能眼镜控制方法
US10607413B1 (en) 2015-09-08 2020-03-31 Ultrahaptics IP Two Limited Systems and methods of rerendering image hands to create a realistic grab experience in virtual reality/augmented reality environments
WO2017054196A1 (zh) * 2015-09-30 2017-04-06 华为技术有限公司 一种启动眼球追踪功能的方法及移动设备
US10466780B1 (en) * 2015-10-26 2019-11-05 Pillantas Systems and methods for eye tracking calibration, eye vergence gestures for interface control, and visual aids therefor
CN105654466B (zh) * 2015-12-21 2018-06-29 大连新锐天地传媒有限公司 地球仪的位姿检测方法及其装置
CN105528084A (zh) 2016-01-21 2016-04-27 京东方科技集团股份有限公司 一种显示控制装置及其控制方法、显示控制系统
WO2017136928A1 (en) * 2016-02-08 2017-08-17 Nuralogix Corporation System and method for detecting invisible human emotion in a retail environment
CN107924239B (zh) * 2016-02-23 2022-03-18 索尼公司 遥控系统、遥控方法和记录介质
US9864431B2 (en) 2016-05-11 2018-01-09 Microsoft Technology Licensing, Llc Changing an application state using neurological data
US10203751B2 (en) 2016-05-11 2019-02-12 Microsoft Technology Licensing, Llc Continuous motion controls operable using neurological data
US10339659B2 (en) * 2016-06-13 2019-07-02 International Business Machines Corporation System, method, and recording medium for workforce performance management
WO2018005690A1 (en) * 2016-06-28 2018-01-04 Against Gravity Corp. Systems and methods for assisting virtual gestures based on viewing frustum
US10678327B2 (en) * 2016-08-01 2020-06-09 Microsoft Technology Licensing, Llc Split control focus during a sustained user interaction
CN106205250A (zh) * 2016-09-06 2016-12-07 广州视源电子科技股份有限公司 授课系统和授课方法
KR102302210B1 (ko) * 2016-09-23 2021-09-14 애플 인크. 인터페이스에서의 공간 객체들의 상대적 표현 및 명확화를 위한 시스템들 및 방법들
EP3361352B1 (en) 2017-02-08 2019-06-05 Alpine Electronics, Inc. Graphical user interface system and method, particularly for use in a vehicle
US20180235505A1 (en) * 2017-02-17 2018-08-23 Sangmyung University Industry-Academy Cooperation Foundation Method and system for inference of eeg spectrum in brain by non-contact measurement of pupillary variation
DE102017205458A1 (de) * 2017-03-30 2018-10-04 Robert Bosch Gmbh System und ein Verfahren zur Erkennung von Augen und Händen, insbesondere für ein Kraftfahrzeug
US10880086B2 (en) 2017-05-02 2020-12-29 PracticalVR Inc. Systems and methods for authenticating a user on an augmented, mixed and/or virtual reality platform to deploy experiences
US11221823B2 (en) 2017-05-22 2022-01-11 Samsung Electronics Co., Ltd. System and method for context-based interaction for electronic devices
CN107122009A (zh) * 2017-05-23 2017-09-01 北京小鸟看看科技有限公司 一种实现移动终端与头戴显示设备交互的方法、头戴显示设备、背夹和系统
CN107105369A (zh) * 2017-06-29 2017-08-29 京东方科技集团股份有限公司 声音定向切换装置及显示系统
US20200159366A1 (en) * 2017-07-21 2020-05-21 Mitsubishi Electric Corporation Operation support device and operation support method
KR101923656B1 (ko) 2017-08-09 2018-11-29 계명대학교 산학협력단 거울신경시스템 활성화를 유도하는 가상현실 제어 시스템 및 그 제어방법
US10437328B2 (en) * 2017-09-27 2019-10-08 Igt Gaze detection using secondary input
WO2019079896A1 (en) 2017-10-24 2019-05-02 Nuralogix Corporation SYSTEM AND METHOD FOR DETERMINING STRESS BASED ON A CAMERA
KR102582745B1 (ko) * 2018-02-08 2023-09-25 라인플러스 주식회사 대화방을 3차원 형태로 제공하는 방법과 시스템 및 비-일시적인 컴퓨터 판독 가능한 기록 매체
CN108509029B (zh) * 2018-03-09 2021-07-02 苏州佳世达电通有限公司 非接触式输入方法及非接触式输入系统
US11875012B2 (en) 2018-05-25 2024-01-16 Ultrahaptics IP Two Limited Throwable interface for augmented reality and virtual reality environments
WO2019238209A1 (en) * 2018-06-11 2019-12-19 Brainlab Ag Gesture control of medical displays
KR20210059697A (ko) 2018-06-27 2021-05-25 센티에이알, 인코포레이티드 증강 현실 환경을 위한 시선 기반 인터페이스
CN109189222B (zh) * 2018-08-28 2022-01-11 广东工业大学 一种基于检测瞳孔直径变化的人机交互方法及装置
US11048375B2 (en) * 2018-09-18 2021-06-29 Alibaba Group Holding Limited Multimodal 3D object interaction system
US11714543B2 (en) * 2018-10-01 2023-08-01 T1V, Inc. Simultaneous gesture and touch control on a display
US20200142495A1 (en) * 2018-11-05 2020-05-07 Eyesight Mobile Technologies Ltd. Gesture recognition control device
CN109758760B (zh) * 2018-12-06 2020-02-07 网易（杭州）网络有限公司 足球游戏中射门控制方法、装置、计算机设备及存储介质
US11183185B2 (en) * 2019-01-09 2021-11-23 Microsoft Technology Licensing, Llc Time-based visual targeting for voice commands
KR20200091988A (ko) 2019-01-23 2020-08-03 삼성전자주식회사 장치를 제어하기 위한 방법 및 그 전자 장치
KR102168968B1 (ko) * 2019-01-28 2020-10-22 주식회사 룩시드랩스 생체 데이터를 이용한 하이라이트 영상 생성 방법 및 그 장치
EP3891585A1 (en) * 2019-02-01 2021-10-13 Apple Inc. Biofeedback method of modulating digital content to invoke greater pupil radius response
CN111514584B (zh) 2019-02-01 2022-07-26 北京市商汤科技开发有限公司 游戏控制方法及装置、游戏终端及存储介质
CN109871127A (zh) * 2019-02-15 2019-06-11 合肥京东方光电科技有限公司 基于人机交互的显示设备及显示信息处理方法
CN109835260B (zh) * 2019-03-07 2023-02-03 百度在线网络技术（北京）有限公司 一种车辆信息显示方法、装置、终端和存储介质
CN110162178A (zh) * 2019-05-22 2019-08-23 努比亚技术有限公司 说明信息的展示方法、可穿戴设备以及存储介质
KR20210061638A (ko) * 2019-11-20 2021-05-28 삼성전자주식회사 전자 장치 및 그 제어 방법
US12014299B2 (en) 2020-08-26 2024-06-18 International Business Machines Corporation Hyper-detection of user activity
US20220065021A1 (en) * 2020-08-28 2022-03-03 Haven Innovation, Inc. Cooking and warming oven with no-touch movement of cabinet door
US12032803B2 (en) 2020-09-23 2024-07-09 Apple Inc. Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US11562528B2 (en) 2020-09-25 2023-01-24 Apple Inc. Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US11954242B2 (en) 2021-01-04 2024-04-09 Apple Inc. Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US20220229524A1 (en) * 2021-01-20 2022-07-21 Apple Inc. Methods for interacting with objects in an environment
US20220244791A1 (en) * 2021-01-24 2022-08-04 Chian Chiu Li Systems And Methods for Gesture Input
US11762458B2 (en) * 2021-02-15 2023-09-19 Sony Group Corporation Media display device control based on eye gaze
US12112009B2 (en) 2021-04-13 2024-10-08 Apple Inc. Methods for providing an immersive experience in an environment
US12002128B2 (en) 2021-07-19 2024-06-04 Advanced Micro Devices, Inc. Content feedback based on region of view
US11695897B2 (en) 2021-09-27 2023-07-04 Advanced Micro Devices, Inc. Correcting engagement of a user in a video conference
US11995233B2 (en) * 2021-10-21 2024-05-28 Sony Interactive Entertainment LLC Biometric feedback captured during viewing of displayed content
US12062146B2 (en) 2022-07-28 2024-08-13 Snap Inc. Virtual wardrobe AR experience
US12112011B2 (en) 2022-09-16 2024-10-08 Apple Inc. System and method of application-based three-dimensional refinement in multi-user communication sessions
US12099653B2 (en) 2022-09-22 2024-09-24 Apple Inc. User interface response based on gaze-holding event assessment
US12108012B2 (en) 2023-02-27 2024-10-01 Apple Inc. System and method of managing spatial states and display modes in multi-user communication sessions
US12118200B1 (en) 2023-06-02 2024-10-15 Apple Inc. Fuzzy hit testing
US12099695B1 (en) 2023-06-04 2024-09-24 Apple Inc. Systems and methods of managing spatial groups in multi-user communication sessions

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0981309A (ja) * 1995-09-13 1997-03-28 Toshiba Corp 入力装置
JPH09311759A (ja) * 1996-05-22 1997-12-02 Hitachi Ltd ジェスチャ認識方法および装置
JP2004185437A (ja) * 2002-12-04 2004-07-02 Nippon Hoso Kyokai <Nhk> 身体情報反映チャット用プログラム、身体情報反映チャット用サーバ、身体情報反映チャット用クライアントおよび身体情報反映チャット方法
JP2005091571A (ja) * 2003-09-16 2005-04-07 Fuji Photo Film Co Ltd 表示制御装置、及び表示システム
JP2005267279A (ja) * 2004-03-18 2005-09-29 Fuji Xerox Co Ltd 情報処理システム及び情報処理方法、並びにコンピュータ・プログラム
JP2006023953A (ja) * 2004-07-07 2006-01-26 Fuji Photo Film Co Ltd 情報表示システム
JP2006277192A (ja) * 2005-03-29 2006-10-12 Advanced Telecommunication Research Institute International 映像表示システム
JP2009294735A (ja) * 2008-06-03 2009-12-17 Nobunori Sano 関心調査装置
JP2010146230A (ja) * 2008-12-18 2010-07-01 Seiko Epson Corp 入力装置およびデータ処理システム

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6176782B1 (en) * 1997-12-22 2001-01-23 Philips Electronics North America Corp. Motion-based command generation technology
US6118888A (en) * 1997-02-28 2000-09-12 Kabushiki Kaisha Toshiba Multi-modal interface apparatus and method
JP2000163196A (ja) * 1998-09-25 2000-06-16 Sanyo Electric Co Ltd ジェスチャ認識装置及びジェスチャ認識機能を有する指示認識装置
US7028269B1 (en) * 2000-01-20 2006-04-11 Koninklijke Philips Electronics N.V. Multi-modal video target acquisition and re-direction system and method
US7665041B2 (en) * 2003-03-25 2010-02-16 Microsoft Corporation Architecture for controlling a computer using hand gestures
US9274598B2 (en) * 2003-08-25 2016-03-01 International Business Machines Corporation System and method for selecting and activating a target object using a combination of eye gaze and key presses
SE529599C2 (sv) * 2006-02-01 2007-10-02 Tobii Technology Ab Alstring av grafisk returinformation i ett datorsystem
US8793620B2 (en) * 2011-04-21 2014-07-29 Sony Computer Entertainment Inc. Gaze-assisted computer interface
US8406457B2 (en) * 2006-03-15 2013-03-26 Omron Corporation Monitoring device, monitoring method, control device, control method, and program
CN103823556B (zh) * 2006-07-28 2017-07-04 飞利浦灯具控股公司 用于被凝视物品的信息显示的凝视交互
US8159519B2 (en) * 2007-05-31 2012-04-17 Eastman Kodak Company Personal controls for personal video communications
JP4982430B2 (ja) * 2008-05-27 2012-07-25 株式会社エヌ・ティ・ティ・ドコモ 文字入力装置及び文字入力方法
US8010313B2 (en) * 2008-06-27 2011-08-30 Movea Sa Hand held pointing device with roll compensation
CN101515199B (zh) * 2009-03-24 2011-01-05 北京理工大学 一种基于视线跟踪和p300脑电电位的字符输入装置
WO2010147600A2 (en) * 2009-06-19 2010-12-23 Hewlett-Packard Development Company, L, P. Qualified command
KR101596890B1 (ko) * 2009-07-29 2016-03-07 삼성전자주식회사 사용자의 시선 정보를 이용한 디지털 오브젝트 탐색 장치 및 방법
US9507418B2 (en) * 2010-01-21 2016-11-29 Tobii Ab Eye tracker based contextual action
US9285874B2 (en) * 2011-02-09 2016-03-15 Apple Inc. Gaze detection in a 3D mapping environment
US8881051B2 (en) * 2011-07-05 2014-11-04 Primesense Ltd Zoom-based gesture user interface
US9218063B2 (en) * 2011-08-24 2015-12-22 Apple Inc. Sessionless pointing user interface
US10013053B2 (en) * 2012-01-04 2018-07-03 Tobii Ab System for gaze interaction
WO2013144807A1 (en) * 2012-03-26 2013-10-03 Primesense Ltd. Enhanced virtual touchpad and touchscreen
US9389420B2 (en) * 2012-06-14 2016-07-12 Qualcomm Incorporated User interface interaction for transparent head-mounted displays
KR101984590B1 (ko) * 2012-11-14 2019-05-31 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법
US9607046B2 (en) * 2012-12-14 2017-03-28 Microsoft Technology Licensing, Llc Probability-based state modification for query dialogues

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0981309A (ja) * 1995-09-13 1997-03-28 Toshiba Corp 入力装置
JPH09311759A (ja) * 1996-05-22 1997-12-02 Hitachi Ltd ジェスチャ認識方法および装置
JP2004185437A (ja) * 2002-12-04 2004-07-02 Nippon Hoso Kyokai <Nhk> 身体情報反映チャット用プログラム、身体情報反映チャット用サーバ、身体情報反映チャット用クライアントおよび身体情報反映チャット方法
JP2005091571A (ja) * 2003-09-16 2005-04-07 Fuji Photo Film Co Ltd 表示制御装置、及び表示システム
JP2005267279A (ja) * 2004-03-18 2005-09-29 Fuji Xerox Co Ltd 情報処理システム及び情報処理方法、並びにコンピュータ・プログラム
JP2006023953A (ja) * 2004-07-07 2006-01-26 Fuji Photo Film Co Ltd 情報表示システム
JP2006277192A (ja) * 2005-03-29 2006-10-12 Advanced Telecommunication Research Institute International 映像表示システム
JP2009294735A (ja) * 2008-06-03 2009-12-17 Nobunori Sano 関心調査装置
JP2010146230A (ja) * 2008-12-18 2010-07-01 Seiko Epson Corp 入力装置およびデータ処理システム

Cited By (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013094437A (ja) * 2011-11-01 2013-05-20 Konami Digital Entertainment Co Ltd ゲーム装置、ゲーム装置の制御方法、及びプログラム
JP2014029656A (ja) * 2012-06-27 2014-02-13 Soka Univ 画像処理装置および画像処理方法
JP2016507112A (ja) * 2013-03-05 2016-03-07 インテル コーポレイション 複合的な知覚感知入力の対話
WO2014189486A1 (en) * 2013-05-20 2014-11-27 Intel Corporation Natural human-computer interaction for virtual personal assistant systems
US12099651B2 (en) 2013-05-20 2024-09-24 Intel Corporation Natural human-computer interaction for virtual personal assistant systems
US11609631B2 (en) 2013-05-20 2023-03-21 Intel Corporation Natural human-computer interaction for virtual personal assistant systems
US11181980B2 (en) 2013-05-20 2021-11-23 Intel Corporation Natural human-computer interaction for virtual personal assistant systems
US10198069B2 (en) 2013-05-20 2019-02-05 Intel Corporation Natural human-computer interaction for virtual personal assistant systems
US9607612B2 (en) 2013-05-20 2017-03-28 Intel Corporation Natural human-computer interaction for virtual personal assistant systems
JPWO2014188565A1 (ja) * 2013-05-23 2017-02-23 パイオニア株式会社 表示制御装置
WO2014188565A1 (ja) * 2013-05-23 2014-11-27 パイオニア株式会社 表示制御装置
JP2016521881A (ja) * 2013-06-03 2016-07-25 ダクリ エルエルシーＤａｑｒｉ， ＬＬＣ 思考を介した拡張現実における仮想オブジェクトの操作
JP2016529581A (ja) * 2013-06-03 2016-09-23 ダクリ エルエルシーＤａｑｒｉ， ＬＬＣ 意図を介した拡張現実における仮想オブジェクトの操作
US10061995B2 (en) 2013-07-01 2018-08-28 Pioneer Corporation Imaging system to detect a trigger and select an imaging area
WO2015001606A1 (ja) * 2013-07-01 2015-01-08 パイオニア株式会社 撮像システム
EP3018629A4 (en) * 2013-07-01 2017-02-22 Pioneer Corporation Imaging system
JP6039074B2 (ja) * 2013-07-01 2016-12-07 パイオニア株式会社 撮像システム
JP2016540276A (ja) * 2013-09-30 2016-12-22 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ 既知の、まだ着用されていないセンサの使用によるジェスチャ検出システムの分類
KR101571848B1 (ko) * 2014-03-06 2015-11-25 국방과학연구소 뇌전도 및 눈동자 움직임 기반 하이브리드형 인터페이스 장치 및 이의 제어 방법
KR20160039499A (ko) * 2014-10-01 2016-04-11 삼성전자주식회사 디스플레이 장치 및 그의 제어 방법
KR102337682B1 (ko) * 2014-10-01 2021-12-09 삼성전자주식회사 디스플레이 장치 및 그의 제어 방법
KR101619635B1 (ko) 2014-11-06 2016-05-10 현대자동차주식회사 시선추적을 이용한 메뉴 선택장치
US9696800B2 (en) 2014-11-06 2017-07-04 Hyundai Motor Company Menu selection apparatus using gaze tracking
CN104898276A (zh) * 2014-12-26 2015-09-09 成都理想境界科技有限公司 头戴式显示装置
CN104606882B (zh) * 2014-12-31 2018-01-16 南宁九金娃娃动漫有限公司 一种体感游戏互动方法及系统
CN104606882A (zh) * 2014-12-31 2015-05-13 南宁九金娃娃动漫有限公司 一种体感游戏互动方法及系统
US10496186B2 (en) 2015-06-26 2019-12-03 Sony Corporation Information processing apparatus, information processing method, and program
US10620719B2 (en) 2015-09-30 2020-04-14 Sony Corporation Information processing device and information processing method
US9952679B2 (en) 2015-11-26 2018-04-24 Colopl, Inc. Method of giving a movement instruction to an object in a virtual space, and program therefor
JP2019506691A (ja) * 2015-12-17 2019-03-07 ルキシド ラブズ インコーポレイテッド アイブレインインターフェースシステムのキャリブレーション方法、及びシステム内のスレーブデバイス、ホストデバイス
US10481683B2 (en) 2015-12-17 2019-11-19 Looxid Labs Inc. Eye-brain interface (EBI) system and method for controlling same
US10860097B2 (en) 2015-12-17 2020-12-08 Looxid Labs, Inc. Eye-brain interface (EBI) system and method for controlling same
KR101812605B1 (ko) * 2016-01-07 2017-12-29 한국원자력연구원 제스처를 이용한 사용자 입력 표시 장치 및 방법
KR102024314B1 (ko) * 2016-09-09 2019-09-23 주식회사 토비스 공간터치 인식방법 및 이를 이용한 공간터치 인식장치
KR20180028658A (ko) * 2016-09-09 2018-03-19 주식회사 토비스 공간터치 인식방법 및 이를 이용한 공간터치 인식장치
JP2020532031A (ja) * 2017-08-23 2020-11-05 ニューラブル インコーポレイテッド 高速視標追跡機能を有する脳−コンピュータインタフェース
JP7532249B2 (ja) 2017-08-23 2024-08-13 ニューラブル インコーポレイテッド 高速視標追跡機能を有する脳－コンピュータインタフェース
US11972049B2 (en) 2017-08-23 2024-04-30 Neurable Inc. Brain-computer interface with high-speed eye tracking features
WO2019077897A1 (ja) * 2017-10-17 2019-04-25 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US11373650B2 (en) 2017-10-17 2022-06-28 Sony Corporation Information processing device and information processing method
JP2021502659A (ja) * 2017-11-13 2021-01-28 ニューラブル インコーポレイテッド 高速、正確及び直観的なユーザ対話のための適合を有する脳−コンピュータインターフェース
US12001602B2 (en) 2017-11-13 2024-06-04 Neurable Inc. Brain-computer interface with adaptations for high-speed, accurate, and intuitive user interactions
JP7496776B2 (ja) 2017-11-13 2024-06-07 ニューラブル インコーポレイテッド 高速、正確及び直観的なユーザ対話のための適合を有する脳－コンピュータインターフェース
US12053308B2 (en) 2018-01-18 2024-08-06 Neurable Inc. Brain-computer interface with adaptations for high-speed, accurate, and intuitive user interactions
JP7457453B2 (ja) 2018-07-27 2024-03-28 株式会社栗本鐵工所 仮想オブジェクト触覚提示装置およびプログラム
US12105869B2 (en) 2018-08-24 2024-10-01 Sony Corporation Information processing apparatus and information processing method
WO2020039933A1 (ja) * 2018-08-24 2020-02-27 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
KR20200090484A (ko) * 2019-01-21 2020-07-29 공주대학교 산학협력단 가상 모델하우스 제작 시스템
KR102280218B1 (ko) * 2019-01-21 2021-07-21 공주대학교 산학협력단 가상 모델하우스 제작 시스템
JP2022537574A (ja) * 2019-06-18 2022-08-26 ヒューメイン・インコーポレイテッド ウェアラブルマルチメディアデバイスおよびレーザ投影システムを伴うクラウドコンピューティングプラットフォーム
WO2022085929A1 (ko) * 2020-10-20 2022-04-28 삼성전자주식회사 전자 장치 및 그 제어 방법

Also Published As

Publication number Publication date
EP2523069A2 (en) 2012-11-14
JP6002424B2 (ja) 2016-10-05
US20120257035A1 (en) 2012-10-11
CN102749990A (zh) 2012-10-24
EP2523069A3 (en) 2013-03-13

Similar Documents

Publication Publication Date Title
JP6002424B2 (ja) ユーザーの視線、及びジェスチャによるフィードバック提供システム、及び方法
JP6982215B2 (ja) 検出された手入力に基づく仮想手ポーズのレンダリング
JP6644035B2 (ja) 手袋インタフェースオブジェクト及び方法
CN106133645B (zh) 使用第二屏幕作为私用跟踪抬头显示器
US10481689B1 (en) Motion capture glove
US8961313B2 (en) Multi-positional three-dimensional controller
US11833430B2 (en) Menu placement dictated by user ability and modes of feedback
US8760395B2 (en) Gesture recognition techniques
JP2019522849A (ja) 方向インタフェースオブジェクト
JP7503122B2 (ja) 位置に基づくゲームプレイコンパニオンアプリケーションへユーザの注目を向ける方法及びシステム
US8903958B1 (en) System and methods for cloud based 3D design and collaboration
KR20140081840A (ko) 모션으로 제어되는 리스트 스크롤 방법
Tseng Development of a low-cost 3D interactive VR system using SBS 3D display, VR headset and finger posture motion tracking
CN117122890A (zh) 用于激活屏幕内容的选择性导航或放大的方法和系统
US11995233B2 (en) Biometric feedback captured during viewing of displayed content
JP2012510856A (ja) マルチポジショナルコントローラによる三次元制御
US11948237B2 (en) System and method for mimicking user handwriting or other user input using an avatar
US20240367060A1 (en) Systems and methods for enabling communication between users
US20240335740A1 (en) Translation of sign language in a virtual environment
US20240370092A1 (en) Swipe gestures detected on surfaces of an input device using a microphone array
Reddy et al. IIMR: A Framework for Intangible Mid-Air Interactions in a Mixed Reality Environment
WO2024228824A1 (en) Systems and methods for enabling communication between users
Sherstyuk et al. Video-Based Head Tracking for High-Performance Games.

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150401

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160316

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160329

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160530

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160809

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160905

R150 Certificate of patent or registration of utility model

Ref document number: 6002424

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250