JP2013518316A - アイトラッカーベースのコンテキストアクション - Google Patents

アイトラッカーベースのコンテキストアクション Download PDF

Info

Publication number
JP2013518316A
JP2013518316A JP2012549360A JP2012549360A JP2013518316A JP 2013518316 A JP2013518316 A JP 2013518316A JP 2012549360 A JP2012549360 A JP 2012549360A JP 2012549360 A JP2012549360 A JP 2012549360A JP 2013518316 A JP2013518316 A JP 2013518316A
Authority
JP
Japan
Prior art keywords
interest
input
user
display
activation input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012549360A
Other languages
English (en)
Other versions
JP5944326B2 (ja
Inventor
ユ、アロン
ホルツ・エルベシェ、ヨン・ミカエル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tobii AB
Original Assignee
Tobii Technology AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tobii Technology AB filed Critical Tobii Technology AB
Publication of JP2013518316A publication Critical patent/JP2013518316A/ja
Application granted granted Critical
Publication of JP5944326B2 publication Critical patent/JP5944326B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03543—Mice or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer

Abstract

本発明は、グラフィカルユーザインターフェースと対話するときに、例えば、オブジェクトおよびオブジェクトの部分の選択ならびにアクティブ化と、オブジェクトおよびオブジェクトの部分に関連するコンテキストアクションの実行とのために、アイベースの入力と入力を組み合わせることにより、ユーザを支援するためのシステムおよび方法に関連している。本発明は、目のデータ入力と入力との、特定のコンテキストアクションをもたらす特定の組み合わせを構成およびカスタマイズできるようなシステムおよび方法にも関連している。
【選択図】 図２

Description

発明の分野
本発明は、一般的に、コンピュータで実現する、対話型グラフィカルユーザインターフェースに関連する、目の運動の検出を利用するシステムおよび方法に関する。特に、本発明は、例えば、オブジェクトもしくはオブジェクトの部分の選択もしくはアクティブ化、および、オブジェクトもしくはオブジェクトの部分に関するコンテキストアクションの実行のために、グラフィカルユーザインターフェースと対話するときに、例えば、機械的入力、ＩＲセンサからの入力、音声アクティブ化入力、身体ジェスチャーの検出、または近接ベースの入力に、アイベースの入力を組み合わせることにより、ユーザを支援するシステムおよび方法に関する。本発明はまた、ユーザが、特定のコンテキストアクションをもたらす、アイデータ入力と他の入力（例えば、機械的入力、ＩＲセンサからの入力、音声アクティブ化入力、身体ジェスチャーの検出、または近接ベースの入力）との特定の組み合わせを構成およびカスタマイズできるようなシステムおよび方法に関する。
背景
ヒューマンコンピュータ対話は、グラフィカルユーザインターフェース（ＧＵＩ）の採用により激変した。それゆえ、任意の先行のチャネルをはるかに超えた帯域幅により、ユーザに情報を提示するための効率的な手段が提供された。長年にわたって、情報を提示できるスピードは、カラースクリーン、拡大ディスプレイ、インテリジェントグラフィカルオブジェクト（例えば、ポップアップウィンドウ）、ウィンドウタブ、メニュー、ツールバー等を通して、さらに上がった。しかしながら、この期間の間、入力デバイス、すなわち、キーボードおよびポインティングデバイス（例えば、マウス、トラックボール、またはタッチパッド）は本質的に変化せずに保たれた。今日、ハンドライティングデバイスが（例えば、スタイラスまたはグラフィカルペンの形態で）採用されている。それでも、出力帯域幅が数倍に倍増されている一方で、入力帯域幅は、実質上変化していない。結果として、ヒューマンコンピュータ対話における通信帯域幅の深刻な非対照性が生じてきた。
この帯域幅の非対照性を低減させるとともに、ユーザ対話を向上および促進させるために、このような目的に向けてアイトラッキングを使用するさまざまな試みが行われてきた。目の運動を監視または追跡することと、人の注視点（ここで使用するように、人が空間中に見る点）を検出することとが、人の挙動または意識を分析するのに重要な情報元となり得る。これは、人が見ているオブジェクトを評価すること、および、それぞれの人を評価することの双方に対して使用できる。例えば、ラップトップ中にアイトラッキングデバイスを実現することにより、ユーザとコンピュータ上で実行される異なるソフトウェアアプリケーションとの間の対話の可能性を著しく向上させることができる。
したがって、ユーザ対話を向上および促進させ、帯域幅の非対照性を取り除くための１つの興味深いアイディアは、マウス入力の代わりに、または、マウス入力を補って、目の注視トラッキングを使用することである。通常、カーソルは、計算されたユーザの注視点にしたがって、ディスプレイ上に位置付けられる。これらのシステムにおいてターゲットオブジェクトを選択およびアクティブ化するための多数の異なる技術が発達してきた。１つの例では、システムは、ユーザが、ある時間期間の間、ユーザの注視を特定のオブジェクトにおいて固定しているということを検出すると、オブジェクトをアクティブ化させる。別のアプローチは、ユーザの目が瞬きするとき、オブジェクトのアクティブ化を検出することである。
しかしながら、アイトラッキングを使用する、これらのソリューションに関係する問題が存在する。例えば、人は、制御するというよりは、認知行動において、彼らの目を使用する。それゆえ、注意深く目の運動を使用してコンピュータと対話すること、例えば、コンピュータのディスプレイ上に表示されているオブジェクトをアクティブ化および選択することは、精神的に疲れるかもしれない。また、ディスプレイ上に表示されているオブジェクトと対話するために、瞬きまたは凝視を制御することも難しいかもしれない。
したがって、技術内において、ユーザが、直感的で自然な方法で、ユーザの目を使用して、コンピュータのディスプレイ上に提示されているオブジェクトおよびオブジェクトの部分を制御、選択、アクティブ化できるようにする、アイトラッキングデバイスにより提供される、コンピュータとのユーザ対話を可能にする向上した技術に対する必要性が存在する。さらに、技術内において、ユーザのコンピュータとの対話を向上および促進するために、アイトラッキングを使用することの潜在性をより効率的な方法で利用する技術に対する必要性も存在する。
１つのこのような試みが、Ｂｅｙｍｅｒ氏らの米国特許出願第２００５／０２４３０５４号において、提示されている。その中では、目の注視とキーの押下を使用して、ターゲットオブジェクトを選択およびアクティブ化するための技術が開示されている。さらに詳細には、ユーザは、例えばグラフィカルユーザインターフェース上のボタンのような、ターゲットオブジェクトを見て、キーボードの選択キーを押下げる。いったん、選択キーが押下げられると、確率推論を使用して、最も可能性のあるターゲットを決定する。そして、決定したターゲットオブジェクトは、強調表示され、ユーザは、選択キーを再び押下げることにより、それを選択できる。強調表示されたオブジェクトが、ターゲットオブジェクトではない場合に、ユーザは、意図されるターゲットオブジェクトへナビゲートする追加のキーを使用して、別のターゲットオブジェクトを選択できる。
しかしながら、この技術は、目の注視と１つの専用の選択キー１つの２回のシーケンシャルな押下との組み合わせに基づく、オブジェクトの選択およびアクティブ化に制限されている。
結果的に、技術内において、より効率的な方法で、ユーザのコンピュータとの対話、特に、ユーザのグラフィカルユーザインターフェースとの対話を向上および促進するアイトラッキングを使用することの、潜在性を利用する向上した技術の必要性が依然として残る。
概要
本発明の目的は、スクリーンもしくはディスプレイのエリアと、ディスプレイ上に提示されているオブジェクトおよびオブジェクト部分との選択もしくはアクティブ化、ならびに、それらのエリア、オブジェクト、およびオブジェクト部分に関連するコンテキストアクションの実行のために、グラフィカルユーザインターフェースと対話するときに、例えば、機械入力、ＩＲセンサからの入力、音声アクティブ化入力、身体ジェスチャーの検出、もしくは近接ベース入力のような、他の入力を、アイベース入力と組み合わせることにより、ユーザを支援するための、向上した方法およびシステムを提供することである。
本発明の別の目的は、ユーザフレンドリーで直感的な、グラフィカルユーザインターフェースとの対話のための方法およびシステムを提供することである。
本発明の文脈から、用語“ＧＵＩ”（グラフィカルユーザインターフェース）は、例えば、可動ウィンドウおよびアイコンを組み込むディスプレイ上の（例えば、サインおよび図面を含む）ピクチャもしくは画像およびワードによる、グラフィックベースのユーザインターフェースのことを指す。
さらに、本発明の文脈から、用語“関心のオブジェクト”または“関心のオブジェクト部分”は、ユーザが、目の注視を通して選択またはアクティブ化することを望む、ボタンもしくはスクロールバーハイパーリンクのような、対話型グラフィカルオブジェクトまたはＧＵＩオブジェクト、あるいは、テキスト中のテキストもしくはワードのような、非対話型オブジェクトのことを指す。
用語“コンテキストアクション”は、本発明の文脈から、アイデータ入力と、例えば、マウスもしくはキーもしくはボタンのような機械入力デバイスからの入力と、ＩＲセンサからの入力、音声アクティブ化入力、または、身体ジェスチャー、または、近接ベースの入力からの入力とに基づいて、オブジェクトまたはオブジェクト部分に関して実行できるアクションのことを指す。例えば、ユーザが、ディスプレイ上に表示されている特定のウィンドウを注視し、および、特定のキーを押下げることは、特定のウィンドウを最大化するというコンテキストアクションをもたらすかもしれない。別の例は、ユーザが、ウィンドウ中のウェブリンクを注視し、ユーザの手で特定のジェスチャーをするとき、リンクしているウェブページが開かれることである。
本発明の態様にしたがうと、オブジェクトまたはオブジェクトの部分を操作して、アイトラッキングシステムに関係するコンピュータデバイスのディスプレイ上に提示されているオブジェクトに関連するコンテキストアクションを実行するための方法を提供する。方法は、コンピュータデバイスのディスプレイ上にオブジェクトを表示させることと、ディスプレイ上のユーザの注視点を、および／または、相対的にディスプレイを説明する、アイトラッキングデータ信号を提供することとを含む。アクティブ化入力は、入力デバイスから受信されてもよい（例えば、キーボードのキーを押下げること、または、コンピュータデバイスに関係するジョイスティックボタンを押下げること）。さらに、アクティブ化入力は、ＩＲセンサから受け取られてもよく、または、音声アクティブ化入力であってもよく、または、身体ジェスチャーまたは近接ベースの入力の検出であってもよい。その後、ユーザが注視しているオブジェクトまたはオブジェクトの部分は、決定された注視点および／またはアクティブ化入力を使用することにより決定される。オブジェクトまたはオブジェクト部分は、現在の注視条件が予め定められている注視条件を満たす、および／または、アクティブ化入力が予め定められている注視条件を満たす場合に、関心のオブジェクトまたはオブジェクト部分であると決定される。特定のコンテキストアクションは、受け取ったアクティブ化入力と関心のオブジェクトまたはオブジェクト部分とに基づいて決定される。
本発明の第２の態様にしたがうと、オブジェクトまたはオブジェクトの部分を操作し、アイトラッキングシステムに関係するコンピュータデバイスのディスプレイ上に提示されるオブジェクトに関連するコンテキストアクションを実行する際に、ユーザを支援するシステムが提供されている。システムは、オブジェクトを表示するように適合されているディスプレイを具備する。入力モジュールは、例えば、コンピュータデバイスに関係するキーボードの少なくとも１つのキー、または、フットパネル、機械スイッチ、ジョイスティックボタン、ゲームパッド等から、アクティブ化入力を受け取るように適合されている。代替的に、アクティブ化入力は、例えば、ＩＲセンサから受け取られてもよく、音声アクティブ化入力であってもよく、または、身体ジェスチャーもしくは近接ベースの入力の検出であってもよい。さらに、オブジェクト識別器は、ディスプレイ上のユーザの注視点を、および／または、相対的に前記ディスプレイを説明する、アイトラッキングデータ信号を受信し、決定された注視点および／またはアクティブ化入力を使用して、ユーザが注視しているオブジェクトまたはオブジェクトの部分を識別し、現在の注視条件が予め定められている注視条件を満たす場合に、および／または、アクティブ化入力が予め定められている条件を満たす場合に、関心のオブジェクトになるオブジェクトを決定するように適合されている。アクション決定モジュールは、受け取ったアクティブ化入力と、関心のオブジェクトまたはオブジェクト部分とに基づいて、特定のコンテキストアクションを決定し、特定のコンテキストアクションの実行のための命令を提供するように適合している。
本発明は、既知の技術を超えるいくつかの利益を提供する。例えば、ユーザは、オブジェクトを選択およびアクティブ化して、それらのオブジェクトに関連するアクションを、本発明の機能の直感的な方法による、ユーザフレンドリーで、信頼でき、正確な方法で、実行できる。従来、一連の手および／または指の操作を必要とするコマンドとコンテキストアクションとは、今や、ユーザの目のアクティビティおよびカスタマイズした入力に基づいて、効果的に、たやすく生じさせることができる。これは、例えば、職場または自宅における、一般的なコンピュータユーザにとって、優れた用途であり、関心である。さらに、これは、例えば、コールセンターの環境（例えば、カスタマーリレーションシップ管理アプリケーション中にデータを入力／編集するとき）におけるサポートオペレータ、および、高度なコンピュータ支援型の設計（ＣＡＤ）ツールのユーザのような、より特定のアプリケーションの幅広い領域において、望ましくもある。発明は、人間工学を向上させ、例えば、反復性運動の過多による損傷のリスクを低減させるためにも有効であるかもしれない。
さらに、好ましい実施形態にしたがって、ユーザは、アイデータ入力（例えば、特定のオブジェクトの選択および注視のドエルタイムの検出）と、入力（例えば、特定のキーの押下）との特定の組み合わせから、いずれの特定のアクションをもたらすべきかを規定または構成できることから、そのユーザの志向および要求に基づく、非常にユーザフレンドリーで直感的な対話環境を作り出すことができる。
本発明のさらなる態様にしたがうと、目の注視データと入力とを組み合わせて使用して、ユーザが、関心のオブジェクトおよびオブジェクト部分を選択、ズーム、およびアクティブ化することを可能にすることができる。ユーザは、オブジェクトおよびオブジェクト部分、または、スクリーンもしくはディスプレイ上のエリアを注視することと、入力を送り出すこと、例えば、キーボードの特定のキーを押下げることとにより、関心のオブジェクトおよびオブジェクト部分、あるいは、注視点の周りのエリアを誇張または拡大できる。維持されたユーザ入力信号、例えば、維持されたキーの押下の間、オブジェクトまたはオブジェクト部分を徐々に拡大し、したがって、ズーミング効果を達成する。第２の機械的入力信号を送り出すことにより、例えば、キーの押下をリリースすることにより、ユーザは、誇張されたオブジェクトまたはオブジェクト部分を操作、クリック、またはアクティブ化してもよい。ユーザは、必要である場合に、例えば、アイトラッカーの不正確に対して調節するために、注視を調節してもよい。オブジェクトまたはオブジェクト部分の拡大は、アイトラッカーの、平均的な不正確またはオフセットエラーに対して要求を満たすのに十分に拡大できる。
１つの例では、最も可能性あるオブジェクトまたはオブジェクト部分を、ズームまたは拡大して、決定された注視点上に集めることができる。これが、正しいオブジェクトまたはオブジェクト部分である場合に、ユーザは、第２の入力を送り出すことにより、例えば、キー上の押下をリリースすることにより、オブジェクトまたはオブジェクト部分をアクティブ化してもよい。ユーザを支援するために、いずれのオブジェクトまたはオブジェクト部分にユーザ注視を置いているか示す視覚キューを示すことができる。代替的に、コンテキストアクションの対象となるいずれのオブジェクトまたはオブジェクト部分が、拡大（または、ズーミングアクション）の後に実行されることになるか、例えば、クリックが実行されることになるかを、ユーザに対して示すために、決定された注視点を示すことができる。
例示的な実施形態の手段により、本発明のさらなる目的および利益を以下で議論する。
付随の図面を参照して、本発明の例示的な実施形態を以下で説明する。
図１は、本発明を実現するコンピュータ装置を制御するユーザの概要図を示している。 図２は、本発明にしたがった、実施形態の配置を図示しているブロックダイヤグラムである。 図３は、本発明にしたがった、方法の一般的な原理を図示しているフローチャートである。 図４は、本発明にしたがった、別の実施形態の配置を図示しているブロックダイヤグラムである。 図５は、本発明にしたがった、さらなる実施形態の配置を図示しているブロックダイヤグラムである。 図６は、本発明にしたがった、方法の一般的な原理を図示しているフローチャートである。
例示的な実施形態の説明
以下のものは、本発明にしたがった、例示的な実施形態の説明である。本説明は、限られた意味で取られるべきではなく、本発明の一般的な原理を説明する目的のために単に行うだけである。他の実施形態を利用してもよく、本発明の範囲から逸脱することなく、構造および論理の変更が行われてもよいことを理解するべきである。
初めに、図１、２、および４を参照すると、本発明にしたがったコンピュータシステムの実施形態を記述する。図１は、本発明にしたがった、統合された注視および手動制御を持つコンピュータシステムの実施形態を示している。ユーザ１１０は、ディプレイ２０上のユーザの注視点ｘ，ｙを説明するアイトラッキング信号ＤEYEに基づいて、コンピュータシステム１０を少なくとも部分的に制御できる。ディスプレイ２０は、何らかのタイプの既知のコンピュータスクリーンまたはモニタとともに、２つより多い別々のディスプレイであってもよい。例えば、ディスプレイ２０は、立体的なスクリーンの組、ヘッドアップディスプレイ（ＨＵＤ）、または、ヘッドマウンテッドディスプレイ（ＨＭＤ）を構成してもよい。
さらに、本発明は、パーソナルデジタルアシスタント、セル電話機、ポータブルミュージックプレーヤー（例えば、ｉＰｏｄ（登録商標））、ラップトップコンピュータ、コンピュータゲーム、電子書籍、および類似した他のデバイスのような、小さなキーボードとディスプレイとを持つハンドヘルドデバイスでも実現してもよい。本発明は、“インテリジェント環境”でも実現でき、そこでは、例えば、複数のディスプレイ上で提示されているオブジェクトを選択およびアクティブ化できる。
アイトラッキング信号ＤEYEを生成するために、アイトラッカーユニット４０が、ディスプレイ２０もしくはコンピュータ３０中に備えられ、または、ディスプレイ２０にもしくはコンピュータ３０に関係している。同一出願人による、“目および目の注視方向を検出し追うための方法ならびに装置”と題し、その全体がここに組み込まれている米国特許第７，５７２，００８号中に、適切なアイトラッカーが記載されている。
アイトラッキングユニット４０に関係するソフトウェアプログラミングは、アイトラッキングユニット４０自体に含まれていてもよい。図２中に示されている特定の例は、アイトラッキングモジュール中で実現する関係するソフトウェアを図示しており、関係するソフトウェアは、特定のアプリケーションに依存して、コンピュータ３０中に、アイトラッキングユニット４０中に、または２つの組み合わせの中に単独で備えられていてもよい。
ディスプレイ２０上に表示されている、ユーザ１１０が注視するオブジェクトまたオブジェクトの部分を、アイトラッカーユニット４０から受信された、アイトラッキング信号ＤEYEに基づいて決定するようにオブジェクト識別器３４は適合される。
ＧＵＩコンポーネント１２０、例えば、ボタンのような対話型オブジェクトの表示を見ることにより、ユーザは、コンピュータ３０へのコマンドを発生させてもよい。ＧＵＩコンポーネントがアイトラッカー信号ＤEYEにより、少なくとも間接的に影響を与えられるように適合されていることから、この操作はイネーブルされる。本発明にしたがうと、ユーザ１１０は、（ユーザの注視により発生された）アイトラッキング信号ＤEYEと、ユーザ入力デバイス５０を使用する、ユーザ入力または手動ユーザアクションとの組み合わせの手段により、例えば、キーボード５１上のキーまたはキーの組み合わせを押下することにより、ディスプレイ２０上に表示されているオブジェクト、オブジェクトの部分を操作、例えば、例示、選択、およびアクティブ化することができる。
したがって、コンピュータシステム１０は、コンピュータ３０と、アイトラッキングユニット４０と、ディスプレイ２０と、ユーザ入力デバイス５０とを含む。コンピュータ３０は、例えば、パーソナルコンピュータのグループ、コンピュータワークステーション、メインフレームコンピュータ、または、セル電話機、（例えば、ｉＰｏｄのような）ポータブルミュージックプレーヤー、もしくは、ラップトップのような、ハンドヘルドデバイスからの１つであってもよい。このようなコンピュータは、図２中に図示されているそれらに加えて、いくつかの他のコンポーネントを備えるが、それらのコンポーネントは、図示の目的で、図２から省略されている。
ユーザ入力デバイス５０は、ユーザ、例えば、コンピュータキーボード、マウス、“トラックボール”、タッチスクリーン、もしくは他のデバイスによる、圧力、物理的な接触、もしくは他の手動制御を感知するエレメント、例えば、ＩＲセンサからの入力、音声アクティブ化入力、または、身体ジェスチャーの検出、または近接ベースの入力を含む。しかしながら、図２中に示されている特定の実施形態では、ユーザ入力デバイス５０中にキーボード５１およびマウス５２が備えられている。
コンピュータ３０中に、もしくは、ユーザ入力デバイス５０中に、または、双方中に、単独で備えられているソフトウェアモジュールであってもよい、入力モジュール３２は、手動ユーザアクション、例えば、キーボード５１のボタンを押下ることを表示する、ユーザ入力デバイス５０からの信号を受信するために適合される。入力モジュール３２は、受信信号を解釈するようにも適合されている。例えば、電気信号が、キーボード５１から受信され、入力モジュール３２は、ディスプレイ２０上での特定のレターとして出力を提供する。別の特定の例では、入力モジュール３２は、実行すべき特定のコンテキストアクションの決定において使用するための出力を提供する。出力は、手動アクティブ化入力（例えば、予め定められているキーの押下、キーの組み合わせ、または、キーの複数回の押下）により生じる受信電気信号を表す。以下でより詳細に説明するように、実行すべき特定のコンテキストアクションは、オブジェクトまたはオブジェクトの部分上のユーザの注視と、ユーザ入力デバイス５０を介した手動アクティブ化入力との決定に基づいて、アクション決定モジュール３５において決定される。このようなコンテキストアクションは、例えば、以下でさらに議論するように、ウィンドウを前方へ、および、焦点に持っていくことが可能である。したがって、ユーザは、あるキーの押下またはキーの組み合わせと組み合わせて、焦点が合っていないウィンドウを注視することにより、焦点を合わせるために、焦点が合っていないウィンドウを選択することができる。
アクション決定モジュール３５は、関心のオブジェクト、または、関心のオブジェクトの部分に基づいて、コンテキストアクションを決定するために、手動アクティブ化入力と組み合わせて、適合される。例えば、アクション決定モジュール３４は、オブジェクトまたはオブジェクトの部分と手動アクティブ化入力との各組み合わせに対して、実行すべきコンテキストアクションのリストを含むライブラリを備えていてもよい。
図４中に示されている本発明の１つの例示的な実施形態では、ユーザ１１０は、手動アクティブ化入力と、オブジェクトまたはオブジェクトの部分との組み合わせを手動で構成してもよい。図２および４中に示されている同一のパーツ、モジュールおよびコンポーネントは、同一の参照番号により示されており、それらの説明は以下で省略されている。ユーザが、組み合わせを手動でカスタマイズまたは構成することを可能にすることにより、手動アクティブ化入力のいずれの特定の組み合わせ、および、関心のオブジェクトもしくは関心のオブジェクトの部分のいずれの特定の組み合わせが、コンテキストアクションをもたらすかを決定することが可能である。手動アクティブ化入力は、任意の種の入力、または、入力の任意の組み合わせからなってもよく、例えば、２つのアイトラッカー機能ボタンのケースでは、各ボタンは、（オブジェクトまたはオブジェクトの部分上の注視と組み合わせで）別々のアクションに関係していてもよいが、２つのボタンを同時に押下げることは、第３のアクションに関係していてもよい。アクションは、また、アイトラッカー機能ボタンのダブルクリックまたはシングルクリックによりトリガされてもよい。例えば、ユーザが同一のオブジェクトまたはオブジェクトの部分を注視することと組み合わせて、ダブルクリックすることは、シングルクリックすることと異なるアクションをトリガし得るダブルクリックまたはシングルクリックである。上述したように、アイトラッカー機能ボタンは構成可能である。それゆえ、たとえそれらが、ユーザが注視している同一のオブジェクトまたはオブジェクトの部分に依存する場合でも、異なるアクションをオブジェクトまたはオブジェクトの部分に関係付けることが可能である。例えば、ウィンドウタイトルバーを注視することにより、ユーザは、ウィンドウを最大化するようにアイトラッカー機能ボタンを構成することができるだろう。しかしながら、同一のアイトラッカー機能ボタンは、注視により、ウィンドウをドラッグするようにも構成できるだろう。この目的のために、システム１００は、構成モジュール３７を備える。構成モジュール３７は、コンピュータ３００中に備えられているソフトウェアであってもよく、アイトラッカー機能ボタンのユーザ構成に関する命令を含む入力信号を、ユーザ入力デバイス５０から受け取るように、および、アイトラッカー機能ボタンのユーザが規定した構成を含む出力をアクション決定モジュール３５に送り出すように構成されている。
アクション決定モジュール３５は、実行すべきコンテキストアクションの決定における、オブジェクトの現在の状態を使用するようにも適合していてもよく、例えば、オブジェクトがディセーブルされている場合に、コンテキストアクションを禁止できる。加えて、アクション決定モジュール３５は、実行すべきコンテキストアクションを決定するときに、コンピュータ３０の動作システムの履歴状態、および／または、コンピュータ３０の履歴状態、および／または、動作システムの現在の状態、および／または、コンピュータ３０の現在の状態、および／または、ユーザの現在の状態を使用する。
ＧＵＩコンポーネントモジュール３８は、アクション決定モジュール３５からの、ユーザ発生型コマンドおよび／または命令に基づいて操作されるように適合されている。ＧＵＩコンポーネントモジュール３８は、ディスプレイ２０上での表示のための画像を表している信号を生成させるビデオユニットを備えていてもよい。
さらに、例えば、ラウドスピーカーとウェブカメラとを含むハードウェアユニット３９が、コンピュータ３０中に備えられており、または、コンピュータ３０に関係している。ハードウェアユニットは、アクション決定モジュール３５からの、ユーザ発生型コマンドおよび／または命令に基づいて操作されてもよい。加えて、プリンタのような（示されていない）他のデバイスおよびコンポーネントが、コンピュータ３０に接続されていてもよく、アクション決定モジュール３５からの、ユーザ発生型コマンドおよび／または命令に基づいて操作されてもよい。
入力とアイデータとの組み合わせに基づいて実行される可能性あるコンテキストアクションの網羅的ではないリストをこれから以下に提供する。
アイトラッカー機能ボタンを押下げる間、バックグラウンドウィンドウを注視することにより、ユーザはウィンドウを前方に持ってくることができる。このケースでは、手動アクティブ化入力は、アイトラッカーボタンの押下である。関心のオブジェクトは、ユーザが前方に持ってくることを望むウィンドウである。手動入力と、関心のオブジェクトまたは関心のオブジェクトの部分を規定する注視データとの受け取りにおいて、アクション決定モジュール３５は、決定されたコンテキストアクション、すなわち、ディスプレイ２０においてウィンドウを前方に持ってくることにしたがって、オブジェクトを表示、選択、またはアクティブ化するための、ＧＵＩコンポーネントモジュール３８に対する命令を出力する。
アイトラッカー機能ボタンを下げたままにすることによって、前景における焦点を持つウィンドウを注視することにより、ユーザは、頭の運動でウィンドウをドラッグしてもよい。このケースでは、手動アクティブ化入力は、アイトラッカーボタンの押下および押下の維持である。関心のオブジェクトは、前景における焦点を持つウィンドウである。手動入力と、関心のオブジェクトまたは関心のオブジェクトの部分を規定する注視データとの受け取りにおいて、アクション決定モジュール３５は、決定されたコンテキストアクション、すなわち、ディスプレイ２０にわたってウィンドウをドラッグすることにしたがって、オブジェクトを表示、選択、またはアクティブ化するための、ＧＵＩコンポーネントモジュール３８に対する命令を出力する。
ウィンドウタイトルバーを注視し、アイトラッカー機能ボタンを押下げることにより、ユーザは、ウィンドウを最大化してもよい。このケースでは、手動アクティブ化入力は、アイトラッカーボタンの押下であり、関心のオブジェクト部分は、ウィンドウタイトルバーである。手動入力と、関心のオブジェクトまたは関心のオブジェクトの部分を規定する注視データとの受け取りにおいて、アクション決定モジュール３５は、決定されたコンテキストアクション、すなわち、ディスプレイ２０上に提示されるウィンドウを最大化することにしたがって、オブジェクトを表示、選択、またはアクティブ化するための、ＧＵＩコンポーネントモジュール３８に対する命令を出力する。
本発明の１つの実施形態では、アイトラッキング機能ボタンを、左マウスクリックとしてアクトするように構成できる。ディスプレイ２０上のＧＵＩコンポーネントを注視することにより、アイトラッカー機能ボタンの押下は、注視点におけるＧＵＩコンポーネントのクリックをもたらしてもよい。このケースでは、手動アクティブ化入力は、キーの押下であり、関心のオブジェクトは、ＧＵＩコンポーネントである。手動入力と、関心のＧＵＩコンポーネントを規定する注視データとの受け取りにおいて、アクション決定モジュール３５は、ＧＵＩコンポーネント上でのマウスクリックを実行するための命令を出力してもよい。
本発明の１つの実施形態では、アイトラッカー機能ボタンは、ＧＵＩコンポーネント選択器としてアクトするように構成できる。ディスプレイ２０上のＧＵＩコンポーネントを注視することにより、アイトラッカー機能ボタンの押下は、注視点におけるＧＵＩコンポーネントを強調表示してもよく、または、選択してもよい。このケースでは、手動アクティブ化入力は、キーの押下であり、関心のオブジェクトは、ＧＵＩコンポーネントである。手動入力と、関心のＧＵＩコンポーネントを規定する注視データとの受け取りにおいて、アクション決定モジュール３５は、ＧＵＩコンポーネントを強調表示／選択するための命令を出力してもよい。
映画の表示の間、ユーザは、アイトラッカー機能ボタンにより、映画を一時停止または再開してもよい。このケースでは、手動アクティブ化入力は、アイトラッカーボタンの押下であり、関心のオブジェクトは、映画である。手動入力と、関心のオブジェクトまたはオブジェクト部分を規定する注視データとの受け取りにおいて、アクション決定モジュール３５は、決定されたコンテキストアクション、すなわち、ディスプレイ２０上の映画の表示を一時停止または再開することにしたがって、オブジェクトを表示、選択、またはアクティブ化するための、ＧＵＩコンポーネントモジュール３８に対する命令を出力する。
上下音量制御の上部を注視して、アイトラッカーボタンを押下げることにより、ユーザは、音量を上げることができ、代わりに、音量制御の下部を注視して、ボタンを押下げることにより、音量を下げることが可能である。手動アクティブ化入力は、キーの押下であり、関心のオブジェクト部分は、音量制御の上部または下部である。手動入力と、関心のオブジェクトまたはオブジェクト部分を規定する注視データとの受け取りにおいて、アクション決定モジュール３５は、決定されたコンテキストアクション、すなわち、音量を上げるまたは下げることにしたがって、オブジェクトを表示、選択、またはアクティブ化するための、ハードウェアユニット３９に対する命令を出力する。
大きな画像を注視することにより、ユーザは、アイトラッカー機能ボタンを押下げることにより、注視点における画像の部分を集めることによって、画像をスムーズにパンすることが可能である。手動アクティブ化入力は、キーの押下であり、関心のオブジェクトは、画像である。手動入力と、関心のオブジェクトまたはオブジェクト部分を規定する注視データとの受け取りにおいて、アクション決定モジュール３５は、決定されたコンテキストアクション、すなわち、ディスプレイ２０にわたって画像をスムーズにパンすることにしたがって、オブジェクトを表示、選択、またはアクティブ化するための、ＧＵＩコンポーネントモジュール３８に対する命令を出力する。
大きな画像を注視することにより、ユーザは、画像を注視することにより画像をスムーズにパンして、手の運動のような身体ジェスチャーで、それをパンすることができる。手動アクティブ化入力は、手の運動である。手動入力と、関心のオブジェクトまたはオブジェクト部分を規定する注視データとの受け取りにおいて、アクション決定モジュール３５は、決定されたコンテキストアクション、すなわち、ディスプレイ２０にわたって画像をスムーズにパンすることにしたがって、オブジェクトを表示、選択、またはアクティブ化するための、ＧＵＩコンポーネントモジュール３８に対する命令を出力する。
画像を注視することにより、ユーザは、１つのアイトラッカー機能ボタンの押下により、注視点における画像をズームインしてもよく、別のアイトラッカー機能ボタンの押下により、ズームアウトしてもよい。手動アクティブ化入力は、キーの押下であり、関心のオブジェクトは、画像である。手動入力と、関心のオブジェクトまたはオブジェクト部分を規定する注視データとの受け取りにおいて、アクション決定モジュール３５は、決定されたコンテキストアクション、すなわち、ディスプレイ２０上でのズームインまたはズームアウトにしたがって、オブジェクトを表示、選択、またはアクティブ化するための、ＧＵＩコンポーネントモジュール３８に対する命令を出力する。代替的に、目の位置のディスプレイ２０までの距離（実質的には、頭からディスプレイ２０までの距離）を使用して、１つのアイトラッカー機能ボタンがズームすべきか否かを決定することも可能である。ディスプレイ２０までの距離が、所定のしきい値未満である場合に、それは、特定のスピードによりズームインすることが可能である。それが所定のしきい値を超える場合に、それは、特定のスピードによりズームアウトすることが可能である。
ウェブリンクを注視して、アイトラッカー機能ボタンを押下げることにより、ユーザは、現在のページを離れることなく、ウェブページのプレビューを与えられてもよい。プレビューは、ポップアップウィンドウ中に示すことが可能である。手動アクティブ化入力は、キーの押下であり、関心のオブジェクトは、ウェブリンクである。手動入力と、関心のオブジェクトまたはオブジェクト部分を規定する注視データとの受け取りにおいて、アクション決定モジュール３５は、決定されたコンテキストアクション、すなわち、ディスプレイ２０上のポップアップウィンドウ中にウェブページのプレビューを表示することにしたがって、オブジェクトを表示、選択、またはアクティブ化するための、ＧＵＩコンポーネントモジュール３８に対する命令を出力する。
ウェブリンクを注視して、アイトラッカー機能ボタンを押下げることにより、ユーザは、ウェブリンクのページにナビゲートしてもよい。手動アクティブ化入力は、キーの押下であり、関心のオブジェクトは、ウェブリンクである。手動入力と、関心のオブジェクトまたはオブジェクト部分を規定する注視データとの受け取りにおいて、アクション決定モジュール３５は、決定されたコンテキストアクション、すなわち、ウェブリンクがリンクするページにナビゲートして、ディスプレイ２０上にページを示すことにしたがって、オブジェクトを表示、選択、またはアクティブ化するための、ＧＵＩコンポーネントモジュール３８に対する命令を出力する。
テキスト中の外国ワードを注視して、アイトラッカー機能ボタンを押下げることにより、ワードの翻訳をポップアップウィンドウ中に示すことができる。手動アクティブ化入力は、キーの押下であり、関心のオブジェクトの部分は、外国ワードである。手動入力と、関心のオブジェクトまたはオブジェクト部分を規定する注視データとの受け取りにおいて、アクション決定モジュール３５は、決定されたコンテキストアクション、すなわち、ワードの翻訳をディスプレイ２０上のポップアップウィンドウ中に示すことにしたがって、オブジェクトを表示、選択、またはアクティブ化するための、ＧＵＩコンポーネントモジュール３８に対する命令を出力する。
ディスプレイ２０上に表示されているデスクトップ上のアプリケーションアイコンを注視することにより、ユーザは、アイトラッカー機能ボタンを押下げることによっても、そのアプリケーションを開始してもよい。手動アクティブ化入力は、キーの押下であり、関心のオブジェクトは、アイコンである。手動入力と、関心のオブジェクトまたはオブジェクト部分を規定する注視データとの受け取りにおいて、アクション決定モジュール３５は、決定されたコンテキストアクション、すなわち、アプリケーションを開始して、ディスプレイ２０上にアプリケーションウィンドウを示すことにしたがって、オブジェクトを表示、選択、またはアクティブ化するための、ＧＵＩコンポーネントモジュール３８に対する命令を出力する。
コンタクトリストを注視して、アイトラッカー機能ボタンを押下げることにより、ユーザは、例えば、１つのコンタクト全体ずつ、（通常のマウスホイールまたは従来のマウスホイールが作るラインより対向するスクローリングラインとして）、コンタクトリストをスクロールしてもよい。これは、故意ではないスクローリングが起こるかもしれない自動スクローリング方法とも異なる。アクティブ化入力は、キーの押下であり、関心のオブジェクトは、コンタクトリストである。手動入力と、関心のオブジェクトまたはオブジェクト部分を規定する注視データとの受け取りにおいて、アクション決定モジュール３５は、決定されたコンテキストアクション、すなわち、ディスプレイ２０上のコンタクトリストをスクローリングすることにしたがって、オブジェクトを表示、選択、またはアクティブ化するための、ＧＵＩコンポーネントモジュール３８に対する命令を出力する。
オブジェクトが決定されていない、または、関心のオブジェクトを見つけることができない場合に、アイトラッカー機能ボタンの押下は、マウスカーソルをディスプレイ２０における注視点に移動してもよい。手動アクティブ化入力は、キーの押下であり、このケースでは、関心のオブジェクトは、オブジェクトがない。手動入力と、関心のオブジェクトがないと規定する注視データとの受け取りにおいて、アクション決定モジュール３５は、ディスプレイ上の注視点においてマウスカーソルを表示するための、ＧＵＩコンポーネントモジュール３８に対する命令を出力する。
数入力フィールドを注視して、第１のアイトラッカー機能ボタンを押下げることにより、フィールド中の数を増加させてもよい一方で、第２のボタンを押下げることは、フィールド中の数を減少させてもよい。手動アクティブ化入力は、キーの押下であり、関心のオブジェクト部分は、数入力フィールドである。手動入力と、関心のオブジェクト部分を規定する注視データとの受け取りにおいて、アクション決定モジュール３５は、特定のキーの押下に基づいて、フィールド中の数を増加または減少させるための、ＧＵＩコンポーネントモジュール３８に対する命令を出力する。
リマインダウィンドウまたはアラームを注視して、アイトラッカーボタンを押下げることにより、ユーザは、アラームをスヌーズまたはミュートにしてもよい。手動アクティブ化入力は、キーの押下であり、関心のオブジェクト部分は、リマインダウィンドウまたはアラームである。手動入力と、関心のオブジェクト部分を規定する注視データとの受け取りにおいて、アクション決定モジュール３５は、注視データに基づいて、アラームをスヌーズまたはミュートにするための、ＧＵＩコンポーネントモジュール３８に対する命令を出力する。
コンピュータディスプレイから離れて注視して、アイトラッカー機能ボタンを押下げることにより、ユーザは、ディスプレイをオフにしてもよい。手動アクティブ化入力は、キーの押下であり、このケースでは、関心のオブジェクトはない。手動入力と、関心のオブジェクトがないことを規定する注視データとの受け取りにおいて、アクション決定モジュール３５は、オフにし、または、電力節約モードに入るための、ディスプレイ２０に対する命令を出力する。
３Ｄアプリケーションでは、ユーザは、アイトラッカー機能ボタンを押下げることにより、ユーザが注視するオブジェクトを回転させてもよい。ユーザは、別のアイトラッカー機能ボタンを押下げることにより、反対方向にオブジェクトを回転させてもよい。手動アクティブ化入力は、キーの押下であり、関心のオブジェクト部分は、ユーザが注視するオブジェクトである。手動入力と、関心のオブジェクトがないことを規定する注視データとの受け取りにおいて、アクション決定モジュール３５は、関心のオブジェクトを回転させるための、ＧＵＩコンポーネントモジュール３８に対する命令を出力する。
上記で示したように、これは、目の注視と他の入力との組み合わせにより実行されるかもしれない、考えられるコンテキストアクションの網羅的ではないリストに過ぎず、もちろん、本発明の手段により実行できる他のコンテキストアクションが非常に多く存在する。
これから図３を参照すると、本発明のしたがった方法の実施形態が議論されている。オブジェクトまたはオブジェクトの部分を操作し、オブジェクトに関連するコンテキストアクションを実行するための方法は、好ましくは、例えば、図１、２、および４を参照して記述したシステムにしたがったコンピュータシステムを使用して実行する。多数のオブジェクトが、ディスプレイ２０上に提示されており、ステップＳ１００において、ディスプレイ２０上のユーザの注視点ｘ、ｙを記述しているアイトラッキングデータ信号ＤEYEが、アイトラッキングユニット４０により提供され、コンピュータ３０に送り出されてもよい。図１では、ユーザの注視点は、オブジェクトの点１２０である。入力は、ユーザ入力デバイス５０からも受信されてもよく、例えば、キーボード５１の少なくとも１つのキーが押下げられてもよく、キーの組み合わせが押下げられてもよい。
その後、ステップＳ１１０において、ディスプレイ２０上のユーザの注視点が、アイトラッキングデータを使用して決定される。これは、アイトラッキングユニット４０において、または、オブジェクト識別器３４において実行できる。ステップＳ１２０において、ユーザが注視しているオブジェクトまたはオブジェクトの部分は、決定された注視点、および／または、例えばキーボードからの入力を使用して、識別され、図１を参照して、ユーザの注視がオブジェクト１２０上に落とされていると決定される。つまり、アイトラッキングデータ信号ＤEYEが、ユーザの注視点がディスプレイ２０上のＧＵＩコンポーネント表示内に落ちることを示すか否かが決定される。実施形態では、例えば、キーボードからの入力は、関心のオブジェクトまたはオブジェクト部分を決定するためにも使用され、例えば、特定のアイ機能ボタンは、ウィンドウに関係していてもよい（すなわち、ウィンドウ上の注視とウィンドウに関係するキーの押下との組み合わせは、そのウィンドウを関心のオブジェクトとして識別する）。別のキーは、画像に関係していてもよく、ウィンドウ中に存在する画像上での注視と、ウィンドウに関係するキーの押下との組み合わせは、たとえ、ユーザが画像上を注視していても、そのウィンドウを関心のオブジェクトとして識別する。
その後、ステップＳ１３０において、オブジェクトまたはオブジェクト部分が、関心のオブジェクトまたはオブジェクト部分であるか否かをチェックする。これは、現在の注視条件が、予め定められている注視条件を満たすか否か、および／または、例えばキーボードからの入力が、予め定められている条件を満たすか否かをチェックすることにより行われる。例えば、ユーザの注視が、予め定められている期間の間、オブジェクトまたはオブジェクト部分上に落ちているか否か、すなわち、言い換えると、いわゆるドエルタイムが予め定められているリミットを超えるか否かをチェックしてもよい。アイトラッキングデータ信号ＤEYEが、ユーザの注視点がディスプレイ２０上のＧＵＩコンポーネント表示内に落ちることを示すときに時間インスタンスである、時間の注視開始点と、アイトラッキングデータ信号ＤEYEが、ユーザの注視点がこの表示の外に落ちることを示すときに時間インスタンスである、時間の注視点との間の差異として、ドエルタイムは規定されている。したがって、注視が、十分長い時間期間の間、オブジェクトまたはオブジェクト部分上に落ちる場合に、ユーザがその特定のオブジェクトまたはオブジェクト部分に興味があることが判断される。上述したように、例えばキーボードからの入力は、オブジェクトまたはオブジェクト部分が、関心のオブジェクトまたはオブジェクト部分であるか否かの決定にも使用されてもよい。
ユーザがその特定のオブジェクトまたはオブジェクト部分に興味があると判断される場合に、ステップＳ１４０において、ユーザ入力デバイス５０からアクティブ化入力が受け取られているか否か、例えば、キーボードの少なくとも１つのキーが押下げられているか、または、キーの組み合わせが押下げられているかをチェックする。これは、入力モジュール３２において、または、アクション決定モジュール３５において、チェックしてもよい。オブジェクトまたはオブジェクト部分のユーザ選択（すなわち、ユーザがオブジェクトまたはオブジェクト部分を注視していることが決定されていること）に関して、この手動入力が受け取られているか否か、または、時間的にユーザ選択に十分に近いこともチェックしてもよい。それによって、受け取られた手動ユーザ入力が、実際に、特定のオブジェクトもしくはオブジェクト部分に関連するコンテキストアクションの、ユーザ選択またはアクティブ化に向けられていることを確認できる。
その後、ステップＳ１５０において、受け取られたアクティブ化入力と、関心のオブジェクトまたはオブジェクト部分とに基づいて、アクション決定モジュール３５において、実行すべき特定のコンテキストアクションを決定する。上記では、例えばキーボードからの入力と、アイデータ入力との異なる組み合わせから、網羅的ではない数の可能性あるコンテキストアクションがもたらされる。さらに、いずれのコンテキストアクションを実行すべきかの決定は、関心のオブジェクトの状態、ならびに／あるいは、動作システムの履歴および／または現在の状態、ならびに／あるいは、コンピュータ３０の、履歴および／または現在の状態の決定にも基づいている。これは、実質上、現在のユーザの状態を含み、例えば、アイトラッカーまたはＥＭＧ検出デバイスを使用して、ユーザの状態をコンピュータに入力できる。例えば、目の注視トラッキングまたは目の瞬きを使用して、ユーザが疲れていると感じているか、眠りに落ちようとしているか、または、気が散っているかを検出してもよい。ユーザは、関心の特定のオブジェクト、または、関心のオブジェクトの部分の選択のときに、アイトラッキングデータ入力との組み合わせで、特定のコンテキストアクションをもたらすべき、入力または入力の組み合わせを選択することを含む、手動アクティブ化入力を構成してもよい。例えば、ユーザは、ウィンドウが前方に持って来られることをもたらすことになる、焦点が合っていないウィンドウにおける、バックグラウンド中のウィンドウの注視と、（例えば、ユーザが、例えば“Ｒ”キーとすることを選択するかもしれず、または、専用の“アイ機能”ボタン、もしくは、キーボードのキーであるかもしれない）アイトラッカー機能ボタンの押下との組み合わせを選択してもよい。さらに、ユーザは、結果として特定のコンテキストアクションをもたらすために、満たされることになる注視条件の選択を含む、予め定められている注視条件を構成してもよい。例えば、ユーザは、ユーザの注視が、オブジェクト上に落ち、オブジェクトが関心のオブジェクトであることを決定するために、特定のドエル時間が必要とされることを決定してもよい。ステップＳ１６０において、アクション決定モジュール３５は、決定されたコンテキストアクションを実行するための命令をＧＵＩコンポーネントモジュール３８に送る。
図５および６を参照して、本発明のさらなる態様および実施形態を議論する。原則として、目の注視データと、例えばキーボードからの入力とを、組み合わせで使用して、ユーザが、関心のオブジェクトおよびオブジェクト部分を選択、ズーム、およびアクティブ化することを可能にする。
ユーザは、オブジェクトおよびオブジェクト部分、または、ディスプレイ２０上に提示されるエリアを注視することと、ユーザ入力を送り出すこと、例えば、キーボードの特定のキーを押下げることとにより、関心のオブジェクトおよびオブジェクト部分、あるいは、注視点の周りのエリアを誇張または拡大できる。維持されたユーザ入力信号、例えば、維持されたキーの押下の間、オブジェクトまたはオブジェクト部分を徐々に拡大し、したがって、ズーミング効果を達成する。第２の入力信号を送り出すことにより、例えば、キーの押下をリリースすることにより、ユーザは、誇張されたオブジェクトまたはオブジェクト部分を操作、クリック、またはアクティブ化してもよい。ユーザは、必要である場合に、例えば、アイトラッカーの不正確に対して調節するために、注視を調節してもよい。オブジェクトまたはオブジェクト部分の拡大は、アイトラッカーの、平均的な不正確またはオフセットエラーに対して要求を満たすのに十分に拡大できる。
１つの例では、最も可能性あるオブジェクトまたはオブジェクト部分を、ズームまたは拡大して、決定された注視点上に集めることができる。これが、正しいオブジェクトまたはオブジェクト部分である場合に、ユーザは、第２の入力を送り出すことにより、例えば、キー上の押下をリリースすることにより、オブジェクトまたはオブジェクト部分をアクティブ化してもよい。ユーザを支援するために、いずれのオブジェクトまたはオブジェクト部分にユーザ注視を置いているか示す視覚キューを示すことができる。代替的に、コンテキストアクションの対象となるいずれのオブジェクトまたはオブジェクト部分が、拡大（または、ズーミングアクション）の後に実行されることになるか、例えば、クリックが実行されることになるかを、ユーザに対して示すために、決定された注視点を示すことができる。
図５を参照して、本発明にしたがった、コンピュータシステムの実施形態を記述する。図２、４、および５中に示されているシステムの、同一または類似した、部分、モジュール、およびコンポーネントは、同一の参照番号により示され、それらの説明は、以下で省略される。
本実施形態にしたがったシステム２００は、入力モジュール３２を介して入力デバイス５０から第１のアクティブ化入力を受け取るように適合されているアクション決定モジュール３５０を備えるコンピュータ３１０を具備する。第１の入力は、維持されたキーボード５１の特定のキーの押下であってもよい。アクション決定モジュール３５０は、いずれのズーミングアクションを実行すべきか、このようなケースでは、受け取った入力と注視点とに基づいて、いずれのエリア、オブジェクト、またはオブジェクト部分を拡大すべきかを決定するように適合されている。１つの実施形態では、注視点上に集められたエリアが拡大される。別の実施形態では、関心のオブジェクトまたはオブジェクト部分は拡大され、関心のオブジェクトまたはオブジェクト部分は、ユーザの注視が置かれる、オブジェクトまたはオブジェクト部分として選択される。したがって、アクション決定モジュール３５０は、アイトラッキングユニット４０から注視点を受け取ってもよく、または、オブジェクト識別器３４から関心のオブジェクトまたはオブジェクト部分を受け取ってもよい。アクション決定モジュール３５０は、ディスプレイ２０上に表示されるいずれのエリア、オブジェクト、またはオブジェクト部分を拡大すべきかの命令を、ＧＵＩコンポーネントモジュール３８に送る。シーケンシャルなステップで、または、予め定められている拡大レートにおける継続的な方法で、拡大を実行できる。アクション決定モジュール３５０は、入力モジュール５０を介して、入力デバイス５０から第２のアクティブ化入力を受け取る際に、受け取った第２のアクティブ化入力と、前記拡大した、関心のエリアまたはオブジェクトまたはオブジェクトの部分とに基づいて、特定のコンテキストアクションを決定するようにさらに適合されている。１つの実施形態では、第２の入力は、押下げられたキーのリリースであり、コンテキストアクションは、例えば、関心のオブジェクトまたはオブジェクト部分のクリックである。アクション決定モジュール３５０は、特定のコンテキストアクションを実行するための命令を、ＧＵＩコンポーネントモジュール３８に送るように適合されている。
これから図６を参照すると、本発明にしたがった方法の実施形態が議論されている。オブジェクトまたはオブジェクトの部分を操作して、オブジェクトに関連するコンテキストアクションを実行するための方法は、好ましくは、例えば、図１および５を参照して記述したシステムにしたがったコンピュータシステムを使用して実行する。ディスプレイ２０上に多数のオブジェクトが表示されており、ステップＳ２００において、ディスプレイ２０上のユーザの注視点ｘ、ｙを表しているアイトラッキングデータ信号ＤEYEが、アイトラッキングユニット４０により提供され、コンピュータ３０に送り出されてもよい。図１では、ユーザの注視点は、オブジェクト１２０の点である。
ステップＳ２１０において、ユーザ入力デバイス５０から入力を受け取る。好ましい実施形態では、キーボード５１の１つのキーを押下げて、押下を維持する。その後、ステップＳ２２０において、ズーミングアクションを実行し、注視点の周りのエリア、あるいは、関心のオブジェクトまたはオブジェクト部分を徐々に拡大する。ユーザ１１０は、ユーザの注視または頭を動かすことにより、アイトラッカーユニットの不正確に対して調節してもよい。注視点の周りのエリア、あるいは、関心のオブジェクトまたはオブジェクト部分を徐々に拡大することから、注視点の調節は簡単である。代替的な実施形態は、最も可能性ある、関心のオブジェクトまたはオブジェクト部分を拡大して、注視点上に集めてもよい。どのオブジェクトまたはオブジェクト部分を拡大するかは、確率計算により決定でき、例えば、地理的に注視点に最も近いオブジェクトまたはオブジェクト部分を選択してもよい。オブジェクトまたはオブジェクト部分は、記憶されているユーザパターンベースでも選択してもよく、例えば、注視点に囲まれたエリア内の先に最も使用されたオブジェクトまたはオブジェクト部分を選択してもよい。加えて、選択は、関心のオブジェクトまたはオブジェクト部分の状態、ならびに／あるいは、動作システムの履歴および／または現在の状態、ならびに／あるいは、コンピュータの履歴および／または現在の状態に基づいていてもよい。拡大したオブジェクトまたはオブジェクト部分が、正しいオブジェクトまたはオブジェクト部分（すなわち、ユーザが実際にアクティブ化することを望むオブジェクトまたはオブジェクト部分）である場合に、ユーザは、キーの圧力をリリースして、オブジェクトをアクティブ化してもよい（ステップＳ２３０およびＳ２４０、以下を参照）。しかしながら、それが、正しいオブジェクトまたはオブジェクト部分でない場合に、ユーザは、ユーザの注視を調節してもよい。調節の後に拡大のために選択されているオブジェクトを示して、ユーザを支援するために、視覚のキューを示してもよい。代替的に、どこに注視点があるかをユーザに示すために、注視点を指し示してもよく、または、示してもよい。
正しいオブジェクト、オブジェクト部分、またはエリアが拡大されているとき、ユーザは、ステップＳ２３０において、入力デバイス５０を使用して第２のアクティブ化入力を送り出すことにより、オブジェクト、オブジェクト部分、またはエリアをアクティブ化することができ、または、オブジェクト、オブジェクト部分、またはエリア上をクリックすることができる。好ましくは、アクティブ化入力は、キーボード５１のキーの押下のリリースである。ステップＳ２４０において、受け取ったアクティブ化入力と、拡大された、関心のエリアまたはオブジェクトまたはオブジェクト部分とに基づいて、アクション決定モジュール３５０において、特定のコンテキストアクションを決定する。１つの実施形態では、コンテキストアクションは、オブジェクトまたはオブジェクト部分のアクティブ化あるいはクリック、例えば、ウェブリンク上のクリックである。ステップＳ２５０において、コンテキストアクションを実行するための、例えば、ウェブリンクがリンクするページにナビゲートして、ディスプレイ２０上でページを示すための命令を、ＧＵＩコンポーネントモジュール３８に送る。
ここに開示した発明は、その特定の実施形態およびアプリケーションの手段により記述してきたが、添付した特許請求の範囲により規定する本発明の範囲から逸脱することなく、当業者により、数多くの修正および変更を行うことができる。
ここに開示した発明は、その特定の実施形態およびアプリケーションの手段により記述してきたが、添付した特許請求の範囲により規定する本発明の範囲から逸脱することなく、当業者により、数多くの修正および変更を行うことができる。
以下に、本願出願時の特許請求の範囲に記載された発明を付記する。
［１］オブジェクトまたはオブジェクトの部分を操作し、アイトラッキングシステムに関係するコンピュータデバイスのディスプレイ上に提示される前記オブジェクトに関連するコンテキストアクションを実行するための方法において、
ｉ）前記コンピュータデバイスの前記ディスプレイ上にオブジェクトを表示させることと、
ｉｉ）前記ディスプレイ上のユーザの注視点を、および／または、相対的に前記ディスプレイを表す、アイトラッキングデータ信号を提供することと、
ｉｉｉ）アクティブ化入力を受け取ることと、
ｉｖ）前記決定された注視点および／または前記アクティブ化入力を使用して、前記ユーザが注視しているオブジェクトまたはオブジェクトの部分を識別することと、
ｖ）現在の注視条件が予め定められている注視条件を満たし、および／または、前記アクティブ化入力が予め定められている条件を満たす場合に、関心のオブジェクトまたはオブジェクトの部分になる前記オブジェクトまたはオブジェクト部分を決定することと、
ｖｉ）前記受け取ったアクティブ化入力と、関心のオブジェクトまたはオブジェクト部分とに基づいて、特定のコンテキストアクションを決定することと、
ｖｉｉ）前記特定のコンテキストアクションを実行することとを含む方法。
［２］前記特定のコンテキストアクションを決定するステップは、
前記アクティブ化入力と前記アイトラッキングデータ信号との組み合わせを決定することと、
関心の特定のオブジェクトまたはオブジェクト部分に対する、前記特定のアクティブ化入力と前記アイトラッキングデータ信号との組み合わせに対して予め定められている構成に基づいて、前記特定のコンテキストアクションを決定することとを含む［１］記載の方法。
［３］前記特定のコンテキストアクションを決定するステップは、
前記関心のオブジェクトの状態を決定すること；ならびに／あるいは、
動作システムの履歴および／または現在の状態を決定すること；ならびに／あるいは、
前記コンピュータの履歴および／または現在の状態を決定することを含む［１］または［２］記載の方法。
［４］特定のオブジェクトが関心のオブジェクトであり、または、オブジェクトの部分が関心のオブジェクトの部分であることを決定するときに、アイトラッキングデータ信号との組み合わせで、特定のコンテキストアクションをもたらす、入力または入力の組み合わせを選択することを含む、アクティブ化入力を構成することをさらに含む［１］ないし［３］のいずれか１項記載の方法。
［５］特定のコンテキストアクションをもたらすために満たされることになる注視条件を選択することを含む、前記予め定められている注視条件を構成することをさらに含む［１］ないし［４］のいずれか１項記載の方法。
［６］オブジェクトまたはオブジェクトの部分を操作し、アイトラッキングシステムに関係するコンピュータデバイスのディスプレイ上に提示される前記オブジェクトに関連するコンテキストアクションを実行する際にユーザを支援するシステムにおいて、
前記コンピュータデバイスに関係する入力デバイスから、アクティブ化入力を受け取るように適合されている入力モジュールと、
前記ディスプレイ上のユーザの注視点を、および／または、相対的に前記ディスプレイを表す、アイトラッキングデータ信号を受け取り、
前記決定された注視点および／または前記アクティブ化入力を使用して、前記ユーザが注視しているオブジェクトまたはオブジェクトの部分を識別し、
現在の注視条件が予め定められている注視条件を満たし、および／または、前記アクティブ化入力が予め定められている条件を満たす場合に、関心のオブジェクトになる前記オブジェクトを決定し、
前記受け取ったアクティブ化入力と、関心のオブジェクトまたはオブジェクト部分とに基づいて、特定のコンテキストアクションを決定し、
前記特定のコンテキストアクションの実行のための命令を提供する
ように構成されているオブジェクト識別器とを具備するシステム。
［７］オブジェクトまたはオブジェクトの部分を操作し、アイトラッキングシステムに関係するコンピュータデバイスのディスプレイ上に提示される前記オブジェクトに関連するコンテキストアクションを実行するための方法において、
ｉ）ディスプレイ上のユーザの注視点を表すアイトラッキングデータ信号を提供することと、
ｉｉ）第１のアクティブ化入力を受け取ることと、
ｉｉｉ）ズーミングアクションを実行し、前記注視点の周囲のエリア、または、関心のオブジェクトまたはオブジェクト部分を徐々に拡大することと、
ｉｖ）前記入力デバイスから第２のアクティブ化入力を受け取ることと、
ｖ）前記受け取ったアクティブ化入力と、前記拡大した、エリアあるいは関心のオブジェクトまたはオブジェクト部分とに基づいて、特定のコンテキストアクションを決定することと、
ｖｉ）前記特定のコンテキストアクションを実行することとを含む方法。

Claims (7)

  1. オブジェクトまたはオブジェクトの部分を操作し、アイトラッキングシステムに関係するコンピュータデバイスのディスプレイ上に提示される前記オブジェクトに関連するコンテキストアクションを実行するための方法において、
    ｉ）前記コンピュータデバイスの前記ディスプレイ上にオブジェクトを表示させることと、
    ｉｉ）前記ディスプレイ上のユーザの注視点を、および／または、相対的に前記ディスプレイを表す、アイトラッキングデータ信号を提供することと、
    ｉｉｉ）アクティブ化入力を受け取ることと、
    ｉｖ）前記決定された注視点および／または前記アクティブ化入力を使用して、前記ユーザが注視しているオブジェクトまたはオブジェクトの部分を識別することと、
    ｖ）現在の注視条件が予め定められている注視条件を満たし、および／または、前記アクティブ化入力が予め定められている条件を満たす場合に、関心のオブジェクトまたはオブジェクトの部分になる前記オブジェクトまたはオブジェクト部分を決定することと、
    ｖｉ）前記受け取ったアクティブ化入力と、関心のオブジェクトまたはオブジェクト部分とに基づいて、特定のコンテキストアクションを決定することと、
    ｖｉｉ）前記特定のコンテキストアクションを実行することとを含む方法。
  2. 前記特定のコンテキストアクションを決定するステップは、
    前記アクティブ化入力と前記アイトラッキングデータ信号との組み合わせを決定することと、
    関心の特定のオブジェクトまたはオブジェクト部分に対する、前記特定のアクティブ化入力と前記アイトラッキングデータ信号との組み合わせに対して予め定められている構成に基づいて、前記特定のコンテキストアクションを決定することとを含む請求項１記載の方法。
  3. 前記特定のコンテキストアクションを決定するステップは、
    前記関心のオブジェクトの状態を決定すること；ならびに／あるいは、
    動作システムの履歴および／または現在の状態を決定すること；ならびに／あるいは、
    前記コンピュータの履歴および／または現在の状態を決定することを含む請求項１または２記載の方法。
  4. 特定のオブジェクトが関心のオブジェクトであり、または、オブジェクトの部分が関心のオブジェクトの部分であることを決定するときに、アイトラッキングデータ信号との組み合わせで、特定のコンテキストアクションをもたらす、入力または入力の組み合わせを選択することを含む、手動アクティブ化入力を構成することをさらに含む請求項１ないし３のいずれか１項記載の方法。
  5. 特定のコンテキストアクションをもたらすために満たされることになる注視条件を選択することを含む、前記予め定められている注視条件を構成することをさらに含む請求項１ないし４のいずれか１項記載の方法。
  6. オブジェクトまたはオブジェクトの部分を操作し、アイトラッキングシステムに関係するコンピュータデバイスのディスプレイ上に提示される前記オブジェクトに関連するコンテキストアクションを実行する際にユーザを支援するシステムにおいて、
    前記コンピュータデバイスに関係する入力デバイスから、アクティブ化入力を受け取るように適合されている入力モジュールと、
    前記ディスプレイ上のユーザの注視点を、および／または、相対的に前記ディスプレイを表す、アイトラッキングデータ信号を受け取り、
    前記決定された注視点および／または前記アクティブ化入力を使用して、前記ユーザが注視しているオブジェクトまたはオブジェクトの部分を識別し、
    現在の注視条件が予め定められている注視条件を満たし、および／または、前記アクティブ化入力が予め定められている条件を満たす場合に、関心のオブジェクトになる前記オブジェクトを決定し、
    前記受け取ったアクティブ化入力と、関心のオブジェクトまたはオブジェクト部分とに基づいて、特定のコンテキストアクションを決定し、
    前記特定のコンテキストアクションの実行のための命令を提供する
    ように構成されているオブジェクト識別器とを具備するシステム。
  7. オブジェクトまたはオブジェクトの部分を操作し、アイトラッキングシステムに関係するコンピュータデバイスのディスプレイ上に提示される前記オブジェクトに関連するコンテキストアクションを実行するための方法において、
    ｉ）ディスプレイ上のユーザの注視点を表すアイトラッキングデータ信号を提供することと、
    ｉｉ）第１のアクティブ化入力を受け取ることと、
    ｉｉｉ）ズーミングアクションを実行し、前記注視点の周囲のエリア、または、関心のオブジェクトまたはオブジェクト部分を徐々に拡大することと、
    ｉｖ）前記入力デバイスから第２のアクティブ化入力を受け取ることと、
    ｖ）前記受け取ったアクティブ化入力と、前記拡大した、エリアあるいは関心のオブジェクトまたはオブジェクト部分とに基づいて、特定のコンテキストアクションを決定することと、
    ｖｉ）前記特定のコンテキストアクションを実行することとを含む方法。
JP2012549360A 2010-01-21 2011-01-20 アイトラッカーベースのコンテキストアクション Expired - Fee Related JP5944326B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/691,289 2010-01-21
US12/691,289 US9507418B2 (en) 2010-01-21 2010-01-21 Eye tracker based contextual action
PCT/EP2011/050786 WO2011089199A1 (en) 2010-01-21 2011-01-20 Eye tracker based contextual action

Publications (2)

Publication Number Publication Date
JP2013518316A true JP2013518316A (ja) 2013-05-20
JP5944326B2 JP5944326B2 (ja) 2016-07-05

Family

ID=44022882

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012549360A Expired - Fee Related JP5944326B2 (ja) 2010-01-21 2011-01-20 アイトラッカーベースのコンテキストアクション

Country Status (8)

Country Link
US (3) US9507418B2 (ja)
EP (2) EP2526469B1 (ja)
JP (1) JP5944326B2 (ja)
CN (1) CN102822771B (ja)
DK (1) DK2526469T3 (ja)
ES (1) ES2657948T3 (ja)
PT (1) PT2526469T (ja)
WO (1) WO2011089199A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014021596A (ja) * 2012-07-13 2014-02-03 Fujitsu Ltd タブレット端末、操作受付方法および操作受付プログラム
KR101848475B1 (ko) 2014-06-30 2018-04-13 주식회사 퓨처플레이 문맥 정보에 기초하여 스크롤을 제어하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
JP2018110397A (ja) * 2016-12-30 2018-07-12 アクシス アーベー 方法、およびコンピュータ装置
JP2018120521A (ja) * 2017-01-27 2018-08-02 株式会社コロプラ 仮想空間を提供するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置

Families Citing this family (194)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8793620B2 (en) * 2011-04-21 2014-07-29 Sony Computer Entertainment Inc. Gaze-assisted computer interface
US9250703B2 (en) 2006-03-06 2016-02-02 Sony Computer Entertainment Inc. Interface with gaze detection and voice input
US8730156B2 (en) 2010-03-05 2014-05-20 Sony Computer Entertainment America Llc Maintaining multiple views on a shared stable virtual space
JP4600548B2 (ja) * 2008-08-27 2010-12-15 ソニー株式会社 再生装置、再生方法、およびプログラム
JP2010176170A (ja) * 2009-01-27 2010-08-12 Sony Ericsson Mobilecommunications Japan Inc 表示装置、表示制御方法および表示制御プログラム
KR101651430B1 (ko) * 2009-12-18 2016-08-26 삼성전자주식회사 휴대용 단말기에서 출력 데이터의 사이즈를 조절하기 위한 장치 및 방법
KR101431366B1 (ko) 2010-07-20 2014-08-19 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 증강 현실 근접 감지
KR101726849B1 (ko) * 2010-08-06 2017-04-13 삼성전자주식회사 휴대 단말, 휴대 단말을 이용한 위험 감지 장치 및 방법
KR20120029228A (ko) * 2010-09-16 2012-03-26 엘지전자 주식회사 투명 디스플레이 장치 및 객체 정보 제공 방법
EP2431895B1 (en) * 2010-09-16 2017-07-26 LG Electronics Inc. Transparent display device and method for providing information using the same
US8892578B2 (en) * 2010-10-29 2014-11-18 Microsoft Corporation Visual preview of search results
US10042516B2 (en) * 2010-12-02 2018-08-07 Instavid Llc Lithe clip survey facilitation systems and methods
CN103348312A (zh) * 2010-12-02 2013-10-09 戴斯帕克有限公司 用于流化数字容器中多个不同媒体内容的系统、装置和方法
CN103347437B (zh) * 2011-02-09 2016-06-08 苹果公司 3d映射环境中的凝视检测
US8766936B2 (en) 2011-03-25 2014-07-01 Honeywell International Inc. Touch screen and method for providing stable touches
US20120257035A1 (en) * 2011-04-08 2012-10-11 Sony Computer Entertainment Inc. Systems and methods for providing feedback by tracking user gaze and gestures
US8911087B2 (en) 2011-05-20 2014-12-16 Eyefluence, Inc. Systems and methods for measuring reactions of head, eyes, eyelids and pupils
US8885877B2 (en) 2011-05-20 2014-11-11 Eyefluence, Inc. Systems and methods for identifying gaze tracking scene reference locations
US10120438B2 (en) 2011-05-25 2018-11-06 Sony Interactive Entertainment Inc. Eye gaze to alter device behavior
US20120302206A1 (en) * 2011-05-27 2012-11-29 Vock Curtis A Surface software and associated methods
US20130033524A1 (en) * 2011-08-02 2013-02-07 Chin-Han Wang Method for performing display control in response to eye activities of a user, and associated apparatus
US8379981B1 (en) * 2011-08-26 2013-02-19 Toyota Motor Engineering & Manufacturing North America, Inc. Segmenting spatiotemporal data based on user gaze data
WO2013033842A1 (en) * 2011-09-07 2013-03-14 Tandemlaunch Technologies Inc. System and method for using eye gaze information to enhance interactions
US9606992B2 (en) * 2011-09-30 2017-03-28 Microsoft Technology Licensing, Llc Personal audio/visual apparatus providing resource management
US8929589B2 (en) 2011-11-07 2015-01-06 Eyefluence, Inc. Systems and methods for high-resolution gaze tracking
US9557819B2 (en) 2011-11-23 2017-01-31 Intel Corporation Gesture input with multiple views, displays and physics
US20130145304A1 (en) * 2011-12-02 2013-06-06 International Business Machines Corporation Confirming input intent using eye tracking
US9489574B2 (en) * 2011-12-06 2016-11-08 Kyungpook National University Industry-Academic Cooperation Foundation Apparatus and method for enhancing user recognition
GB2511973A (en) * 2011-12-27 2014-09-17 Hewlett Packard Development Co User interface device
US10013053B2 (en) * 2012-01-04 2018-07-03 Tobii Ab System for gaze interaction
US9684374B2 (en) 2012-01-06 2017-06-20 Google Inc. Eye reflection image analysis
KR101850034B1 (ko) * 2012-01-06 2018-04-20 엘지전자 주식회사 이동 단말기 및 그 제어방법
JP5945417B2 (ja) * 2012-01-06 2016-07-05 京セラ株式会社 電子機器
US20130215250A1 (en) * 2012-02-16 2013-08-22 Research In Motion Limited Portable electronic device and method
DE102012003283A1 (de) 2012-02-20 2013-08-22 4tiitoo AG Verfahren und Vorrichtung zur blickgestützten Steuerung
KR101919009B1 (ko) 2012-03-06 2018-11-16 삼성전자주식회사 안구 동작에 의한 제어 방법 및 이를 위한 디바이스
KR101919010B1 (ko) 2012-03-08 2018-11-16 삼성전자주식회사 안구 동작에 기초한 디바이스의 제어 방법 및 이를 위한 디바이스
US9733707B2 (en) 2012-03-22 2017-08-15 Honeywell International Inc. Touch screen display user interface and method for improving touch interface utility on the same employing a rules-based masking system
US10331769B1 (en) 2012-03-23 2019-06-25 Amazon Technologies, Inc. Interaction based prioritized retrieval of embedded resources
US9785619B1 (en) * 2012-03-23 2017-10-10 Amazon Technologies, Inc. Interaction based display of visual effects
CN104246682B (zh) 2012-03-26 2017-08-25 苹果公司 增强的虚拟触摸板和触摸屏
DE102012206030A1 (de) * 2012-04-13 2013-10-17 Robert Bosch Gmbh Verfahren und Vorrichtung zum Steuern zumindest einer Funktion zumindest eines Anzeigegerätes für einen Innenraum eines Fahrzeugs
KR101850035B1 (ko) * 2012-05-02 2018-04-20 엘지전자 주식회사 이동 단말기 및 그 제어방법
EP2847648A4 (en) * 2012-05-09 2016-03-02 Intel Corp EYE PERSONALIZED SELECTIVE STRESSING OF PARTS OF AN INDICATION
US8810604B2 (en) * 2012-06-19 2014-08-19 Mastercard International Incorporated System and method for activating, actioning and providing feedback on interactive objects within line of sight
JP5783957B2 (ja) * 2012-06-22 2015-09-24 株式会社Ｎｔｔドコモ 表示装置、表示方法及びプログラム
US9098111B2 (en) * 2012-06-22 2015-08-04 Microsoft Technology Licensing, Llc Focus guidance within a three-dimensional interface
US9854159B2 (en) * 2012-07-20 2017-12-26 Pixart Imaging Inc. Image system with eye protection
US9423871B2 (en) 2012-08-07 2016-08-23 Honeywell International Inc. System and method for reducing the effects of inadvertent touch on a touch screen controller
DE102012215407A1 (de) * 2012-08-30 2014-05-28 Bayerische Motoren Werke Aktiengesellschaft Bereitstellen einer Eingabe für ein Bedienelement
US9575960B1 (en) * 2012-09-17 2017-02-21 Amazon Technologies, Inc. Auditory enhancement using word analysis
US9152227B2 (en) 2012-10-10 2015-10-06 At&T Intellectual Property I, Lp Method and apparatus for controlling presentation of media content
US9746915B1 (en) * 2012-10-22 2017-08-29 Google Inc. Methods and systems for calibrating a device
US20140118268A1 (en) * 2012-11-01 2014-05-01 Google Inc. Touch screen operation using additional inputs
KR101984590B1 (ko) * 2012-11-14 2019-05-31 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법
US20140139556A1 (en) * 2012-11-22 2014-05-22 Shanghai Powermo Information Tech. Co. Ltd. Apparatus and method for displaying software keyboards thereof
US9612656B2 (en) 2012-11-27 2017-04-04 Facebook, Inc. Systems and methods of eye tracking control on mobile device
US9265458B2 (en) 2012-12-04 2016-02-23 Sync-Think, Inc. Application of smooth pursuit cognitive testing paradigms to clinical drug development
US20140218281A1 (en) 2012-12-06 2014-08-07 Eyefluence, Inc. Systems and methods for eye gaze determination
US9128580B2 (en) 2012-12-07 2015-09-08 Honeywell International Inc. System and method for interacting with a touch screen interface utilizing an intelligent stencil mask
TWI488070B (zh) * 2012-12-07 2015-06-11 Pixart Imaging Inc 電子裝置控制方法以及使用此電子裝置控制方法的電子裝置
US20140164366A1 (en) * 2012-12-12 2014-06-12 Microsoft Corporation Flat book to rich book conversion in e-readers
US20140172579A1 (en) * 2012-12-17 2014-06-19 United Video Properties, Inc. Systems and methods for monitoring users viewing media assets
US8571851B1 (en) * 2012-12-31 2013-10-29 Google Inc. Semantic interpretation using user gaze order
US9829971B2 (en) * 2013-01-21 2017-11-28 Facebook, Inc. Systems and methods of eye tracking control
US10365874B2 (en) * 2013-01-28 2019-07-30 Sony Corporation Information processing for band control of a communication stream
US20140210702A1 (en) * 2013-01-31 2014-07-31 United Video Properties, Inc. Systems and methods for presenting messages based on user engagement with a user device
US9576316B2 (en) * 2013-02-09 2017-02-21 Todd Christopher Adelmann Dynamic menus
CN104007909B (zh) * 2013-02-25 2019-03-01 腾讯科技（深圳）有限公司 页面自动调整方法和装置
US9864498B2 (en) 2013-03-13 2018-01-09 Tobii Ab Automatic scrolling based on gaze detection
KR20160005013A (ko) * 2013-03-01 2016-01-13 토비 에이비 지연 워프 시선 상호작용
JP5962547B2 (ja) * 2013-03-08 2016-08-03 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US9380976B2 (en) 2013-03-11 2016-07-05 Sync-Think, Inc. Optical neuroinformatics
AU2014249335B2 (en) 2013-03-13 2018-03-22 The Henry M. Jackson Foundation For The Advancement Of Military Medicine, Inc. Enhanced neuropsychological assessment with eye tracking
CA2882413C (en) 2013-03-18 2016-10-25 Mirametrix Inc. System and method for on-axis eye gaze tracking
CN103207676B (zh) * 2013-04-09 2017-08-04 上海斐讯数据通信技术有限公司 计算机图像扫描控制系统及方法
CN103294194B (zh) * 2013-04-28 2016-12-28 小米科技有限责任公司 一种基于眼球跟踪的翻译方法及系统
US20140347363A1 (en) * 2013-05-22 2014-11-27 Nikos Kaburlasos Localized Graphics Processing Based on User Interest
KR102098277B1 (ko) * 2013-06-11 2020-04-07 삼성전자주식회사 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치
US20140368432A1 (en) * 2013-06-17 2014-12-18 Tencent Technology (Shenzhen) Company Limited Wearable smart glasses as well as device and method for controlling the same
US9329682B2 (en) * 2013-06-18 2016-05-03 Microsoft Technology Licensing, Llc Multi-step virtual object selection
US8988344B2 (en) 2013-06-25 2015-03-24 Microsoft Technology Licensing, Llc User interface navigation
WO2014205755A1 (en) * 2013-06-28 2014-12-31 Nokia Corporation Supporting activation of function of device
US9113036B2 (en) 2013-07-17 2015-08-18 Ebay Inc. Methods, systems, and apparatus for providing video communications
KR102101741B1 (ko) * 2013-08-16 2020-05-29 엘지전자 주식회사 이동 단말기 및 이의 제어방법
DE102013013698A1 (de) * 2013-08-16 2015-02-19 Audi Ag Verfahren zum Betreiben einer elektronischen Datenbrille und elektronische Datenbrille
KR102160650B1 (ko) * 2013-08-26 2020-09-28 삼성전자주식회사 사용자의 의도를 자동으로 인지하여 정보를 제공하는 모바일 장치 및 그의 동작 방법
KR20150027614A (ko) * 2013-09-04 2015-03-12 엘지전자 주식회사 이동 단말기
US9400553B2 (en) * 2013-10-11 2016-07-26 Microsoft Technology Licensing, Llc User interface programmatic scaling
US9740361B2 (en) 2013-10-14 2017-08-22 Microsoft Technology Licensing, Llc Group experience user interface
TWI489320B (zh) * 2013-10-25 2015-06-21 Utechzone Co Ltd 電子文件標記方法及裝置
US10146299B2 (en) * 2013-11-08 2018-12-04 Qualcomm Technologies, Inc. Face tracking for additional modalities in spatial interaction
US10317995B2 (en) 2013-11-18 2019-06-11 Tobii Ab Component determination and gaze provoked interaction
US20150138244A1 (en) * 2013-11-18 2015-05-21 Tobii Technology Ab Component determination and gaze provoked interaction
US10558262B2 (en) 2013-11-18 2020-02-11 Tobii Ab Component determination and gaze provoked interaction
CN103838372A (zh) * 2013-11-22 2014-06-04 北京智谷睿拓技术服务有限公司 智能眼镜的智能功能开启/关闭方法和开启/关闭系统
US9996221B2 (en) * 2013-12-01 2018-06-12 Upskill, Inc. Systems and methods for look-initiated communication
JP6260255B2 (ja) * 2013-12-18 2018-01-17 株式会社デンソー 表示制御装置およびプログラム
US20150169048A1 (en) * 2013-12-18 2015-06-18 Lenovo (Singapore) Pte. Ltd. Systems and methods to present information on device based on eye tracking
US9633252B2 (en) 2013-12-20 2017-04-25 Lenovo (Singapore) Pte. Ltd. Real-time detection of user intention based on kinematics analysis of movement-oriented biometric data
US10180716B2 (en) 2013-12-20 2019-01-15 Lenovo (Singapore) Pte Ltd Providing last known browsing location cue using movement-oriented biometric data
DE102013022035B4 (de) * 2013-12-20 2015-11-12 Audi Ag Kraftfahrzeug-Bedienvorrichtung mit graphischer Benutzerschnittstelle, sowie Kraftfahrzeug und Verfahren
CN104751152B (zh) * 2013-12-30 2019-03-15 腾讯科技（深圳）有限公司 一种翻译方法及装置
WO2015104446A1 (en) * 2014-01-10 2015-07-16 Nokia Technologies Oy Display of a visual representation of a view
US9580081B2 (en) * 2014-01-24 2017-02-28 Tobii Ab Gaze driven interaction for a vehicle
CN103885592B (zh) * 2014-03-13 2017-05-17 宇龙计算机通信科技(深圳)有限公司 一种在屏幕上显示信息的方法及装置
US9325938B2 (en) 2014-03-13 2016-04-26 Google Inc. Video chat picture-in-picture
JP6644699B2 (ja) * 2014-03-19 2020-02-12 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 視線追跡を使用する医療装置、システム、及び方法
US10564714B2 (en) 2014-05-09 2020-02-18 Google Llc Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects
KR102173699B1 (ko) 2014-05-09 2020-11-03 아이플루언스, 인크. 안구 신호들의 인식 및 지속적인 생체 인증을 위한 시스템과 방법들
WO2015178571A1 (ko) * 2014-05-20 2015-11-26 주식회사 비주얼캠프 시선 추적형 입력 장치
KR101671837B1 (ko) * 2014-05-20 2016-11-16 주식회사 비주얼캠프 시선 추적형 입력 장치
RU2578516C2 (ru) * 2014-06-02 2016-03-27 Владимир Леонтьевич Крапивин Очки с электронным изменением фокуса для водителей транспортных средств (оэиф)
US9583105B2 (en) * 2014-06-06 2017-02-28 Microsoft Technology Licensing, Llc Modification of visual content to facilitate improved speech recognition
US9766702B2 (en) 2014-06-19 2017-09-19 Apple Inc. User detection by a computing device
DE102014009304A1 (de) * 2014-06-26 2015-12-31 Audi Ag Verfahren zum Betreiben einer Virtual-Reality-Brille und System mit einer Virtual-Reality-Brille
DE102014009302A1 (de) 2014-06-26 2015-12-31 Audi Ag Verfahren zum Betreiben einer Virtual-Reality-Brille und System mit einer Virtual-Reality-Brille
DE102014009301A1 (de) * 2014-06-26 2016-03-03 Audi Ag Verfahren zum Betreiben einer Virtual-Reality-Brille und System mit einer Virtual-Reality-Brille
DE102014009299A1 (de) 2014-06-26 2015-12-31 Audi Ag Verfahren zum Betreiben einer Virtual-Reality-Brille und System mit einer Virtual-Reality-Brille
CN105260369B (zh) * 2014-07-15 2019-05-31 联想(北京)有限公司 一种辅助阅读的方法和电子设备
CN104182046A (zh) * 2014-08-22 2014-12-03 京东方科技集团股份有限公司 眼控提醒方法、眼控图像显示方法及显示系统
US9659482B2 (en) * 2014-09-02 2017-05-23 Apple Inc. Context-based alerts for an electronic device
CN104317392B (zh) * 2014-09-25 2018-02-27 联想(北京)有限公司 一种信息控制方法及电子设备
CN104360733A (zh) * 2014-10-27 2015-02-18 西北工业大学 基于眼控操作的翻译辅助方法
DE112014007127T5 (de) * 2014-11-03 2017-09-21 Bayerische Motoren Werke Aktiengesellschaft Verfahren und System zum Kalibrieren eines Eye-Tracking-Systems
EP3018558B1 (en) * 2014-11-04 2019-08-14 4tiitoo GmbH Method and system for detecting objects of interest
US9535497B2 (en) 2014-11-20 2017-01-03 Lenovo (Singapore) Pte. Ltd. Presentation of data on an at least partially transparent display based on user focus
CN105320261A (zh) * 2015-01-07 2016-02-10 维沃移动通信有限公司 移动终端的控制方法及移动终端
US10303247B2 (en) * 2015-01-16 2019-05-28 Hewlett-Packard Development Company, L.P. User gaze detection
US10242379B2 (en) 2015-01-30 2019-03-26 Adobe Inc. Tracking visual gaze information for controlling content display
US9911037B2 (en) * 2015-02-23 2018-03-06 Umoove Services Ltd. System and method of feedback for attention and concentration
US9851790B2 (en) * 2015-02-27 2017-12-26 Lenovo (Singapore) Pte. Ltd. Gaze based notification reponse
CN112667069A (zh) * 2015-03-13 2021-04-16 苹果公司 用于自动识别眼睛追踪设备的至少一个用户的方法以及眼睛追踪设备
JP6553418B2 (ja) * 2015-06-12 2019-07-31 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 表示制御方法、表示制御装置及び制御プログラム
KR101671838B1 (ko) * 2015-06-17 2016-11-03 주식회사 비주얼캠프 시선 추적을 이용한 입력 장치
CN106325468B (zh) * 2015-06-17 2019-09-10 北京智谷睿拓技术服务有限公司 设备间的交互方法以及用户设备
CN106293039B (zh) * 2015-06-17 2019-04-12 北京智谷睿拓技术服务有限公司 设备间的交互方法以及用户设备
CN106293040B (zh) * 2015-06-17 2019-04-16 北京智谷睿拓技术服务有限公司 设备间的交互方法以及近眼设备
US10409443B2 (en) 2015-06-24 2019-09-10 Microsoft Technology Licensing, Llc Contextual cursor display based on hand tracking
CN106293444B (zh) 2015-06-25 2020-07-03 小米科技有限责任公司 移动终端、显示控制方法及装置
US9830513B2 (en) 2015-09-24 2017-11-28 Tobii Ab Systems and methods for panning a display of a wearable device
US10565446B2 (en) 2015-09-24 2020-02-18 Tobii Ab Eye-tracking enabled wearable devices
US11194398B2 (en) * 2015-09-26 2021-12-07 Intel Corporation Technologies for adaptive rendering using 3D sensors
CN105338192A (zh) * 2015-11-25 2016-02-17 努比亚技术有限公司 移动终端及其操作处理方法
WO2017113757A1 (zh) * 2015-12-31 2017-07-06 北京小鸟看看科技有限公司 一种环绕式界面布局方法、三维沉浸式环境下内容切换方法和列表切换方法
US9905244B2 (en) * 2016-02-02 2018-02-27 Ebay Inc. Personalized, real-time audio processing
CN109416572A (zh) 2016-04-29 2019-03-01 托比股份公司 启用眼睛跟踪的可穿戴设备
US20190235622A1 (en) * 2016-06-20 2019-08-01 Huawei Technologies Co., Ltd. Augmented Reality Display Method and Head-Mounted Display Device
KR101671839B1 (ko) * 2016-09-01 2016-11-16 주식회사 비주얼캠프 시선 추적형 입력 장치
US10345898B2 (en) 2016-09-22 2019-07-09 International Business Machines Corporation Context selection based on user eye focus
US10417827B2 (en) 2017-05-04 2019-09-17 Microsoft Technology Licensing, Llc Syndication of direct and indirect interactions in a computer-mediated reality environment
US10481856B2 (en) 2017-05-15 2019-11-19 Microsoft Technology Licensing, Llc Volume adjustment on hinged multi-screen device
DK201770411A1 (en) * 2017-05-15 2018-12-20 Apple Inc. MULTI-MODAL INTERFACES
DE102017210599A1 (de) * 2017-06-23 2018-12-27 Audi Ag Verfahren zum Positionieren eines digitalen Anzeigeinhalts auf einer Anzeigeeinrichtung eines Kraftfahrzeugs, Steuervorrichtung und Kraftfahrzeug mit Steuervorrichtung
TWI638281B (zh) * 2017-07-25 2018-10-11 國立臺北科技大學 Providing a method for patients to visually request assistance information
US11079899B2 (en) * 2017-07-26 2021-08-03 Microsoft Technology Licensing, Llc Dynamic eye-gaze dwell times
US10496162B2 (en) * 2017-07-26 2019-12-03 Microsoft Technology Licensing, Llc Controlling a computer using eyegaze and dwell
US11237691B2 (en) * 2017-07-26 2022-02-01 Microsoft Technology Licensing, Llc Intelligent response using eye gaze
TWI646466B (zh) * 2017-08-09 2019-01-01 宏碁股份有限公司 視覺範圍映射方法及相關眼球追蹤裝置與系統
JP2020532031A (ja) 2017-08-23 2020-11-05 ニューラブル インコーポレイテッド 高速視標追跡機能を有する脳−コンピュータインタフェース
JP6962079B2 (ja) * 2017-09-04 2021-11-05 株式会社Ｊｖｃケンウッド 画像音声出力装置、画像音声出力方法、及び画像音声出力プログラム
US11351453B2 (en) * 2017-09-12 2022-06-07 Sony Interactive Entertainment LLC Attention-based AI determination of player choices
US10678116B1 (en) * 2017-11-09 2020-06-09 Facebook Technologies, Llc Active multi-color PBP elements
JP2019113928A (ja) * 2017-12-21 2019-07-11 ソニー株式会社 情報処理装置、情報処理方法、および記録媒体
US10937240B2 (en) 2018-01-04 2021-03-02 Intel Corporation Augmented reality bindings of physical objects and virtual objects
EP3547079B1 (en) 2018-03-27 2021-08-25 Nokia Technologies Oy Presenting images on a display device
JP6911809B2 (ja) * 2018-05-09 2021-07-28 日本電信電話株式会社 推定方法、推定プログラム及び推定装置
CN108733214A (zh) * 2018-05-15 2018-11-02 宇龙计算机通信科技(深圳)有限公司 阅读器控制方法、装置、阅读器及计算机可读存储介质
DE102018215597A1 (de) * 2018-09-13 2020-03-19 Audi Ag Verfahren zum Unterstützen eines Benutzers beim Durchführen eines Scroll-Vorgangs, Vorrichtung und Kraftfahrzeug
US10664050B2 (en) 2018-09-21 2020-05-26 Neurable Inc. Human-computer interface using high-speed and accurate tracking of user interactions
CN109542217B (zh) * 2018-10-12 2022-05-17 深圳市元征科技股份有限公司 一种眼球追踪显示方法以及装置
US11353952B2 (en) 2018-11-26 2022-06-07 Tobii Ab Controlling illuminators for optimal glints
US11379016B2 (en) 2019-05-23 2022-07-05 Intel Corporation Methods and apparatus to operate closed-lid portable computers
CN110673724A (zh) * 2019-09-16 2020-01-10 Tcl移动通信科技（宁波）有限公司 界面切换方法、装置、存储介质和终端
US11216065B2 (en) * 2019-09-26 2022-01-04 Lenovo (Singapore) Pte. Ltd. Input control display based on eye gaze
US11543873B2 (en) 2019-09-27 2023-01-03 Intel Corporation Wake-on-touch display screen devices and related methods
CN112584280B (zh) * 2019-09-27 2022-11-29 百度在线网络技术（北京）有限公司 智能设备的控制方法、装置、设备和介质
US11733761B2 (en) 2019-11-11 2023-08-22 Intel Corporation Methods and apparatus to manage power and performance of computing devices based on user presence
US11809535B2 (en) 2019-12-23 2023-11-07 Intel Corporation Systems and methods for multi-modal user device authentication
US11360528B2 (en) 2019-12-27 2022-06-14 Intel Corporation Apparatus and methods for thermal management of electronic user devices based on user activity
CN111770371B (zh) * 2020-06-24 2023-01-24 维沃移动通信有限公司 参数调节方法及装置
US11176755B1 (en) 2020-08-31 2021-11-16 Facebook Technologies, Llc Artificial reality augments and surfaces
US11227445B1 (en) 2020-08-31 2022-01-18 Facebook Technologies, Llc Artificial reality augments and surfaces
CN117008731A (zh) 2020-09-25 2023-11-07 苹果公司 用于导航用户界面的方法
US11113893B1 (en) * 2020-11-17 2021-09-07 Facebook Technologies, Llc Artificial reality environment with glints displayed by an extra reality device
US11409405B1 (en) 2020-12-22 2022-08-09 Facebook Technologies, Llc Augment orchestration in an artificial reality environment
US11503998B1 (en) 2021-05-05 2022-11-22 Innodem Neurosciences Method and a system for detection of eye gaze-pattern abnormalities and related neurological diseases
US11762952B2 (en) 2021-06-28 2023-09-19 Meta Platforms Technologies, Llc Artificial reality application lifecycle
US11880504B2 (en) * 2021-09-28 2024-01-23 Ramot At Tel-Aviv University Ltd. Automatic preference quantification of displayed objects based on eye tracker data
US11748944B2 (en) 2021-10-27 2023-09-05 Meta Platforms Technologies, Llc Virtual object structures and interrelationships
US11798247B2 (en) 2021-10-27 2023-10-24 Meta Platforms Technologies, Llc Virtual object structures and interrelationships
TWI796883B (zh) * 2021-12-20 2023-03-21 荷蘭商荷蘭移動驅動器公司 使用者介面控制方法、電子裝置及使用者介面
US11775061B1 (en) * 2022-04-22 2023-10-03 Microsoft Technology Licensing, Llc Detecting computer input based upon gaze tracking with manually triggered content enlargement
US11947862B1 (en) 2022-12-30 2024-04-02 Meta Platforms Technologies, Llc Streaming native application content to artificial reality devices

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04372012A (ja) * 1991-06-20 1992-12-25 Fuji Xerox Co Ltd 入力装置
JPH08263258A (ja) * 1995-03-23 1996-10-11 Hitachi Ltd 入力装置、入力方法、情報処理システムおよび入力情報の管理方法
JPH0981309A (ja) * 1995-09-13 1997-03-28 Toshiba Corp 入力装置
JPH10207615A (ja) * 1997-01-22 1998-08-07 Tec Corp ネットワークシステム
JPH11167644A (ja) * 1997-12-03 1999-06-22 Sharp Corp 設計支援装置
JPH11288342A (ja) * 1998-02-09 1999-10-19 Toshiba Corp マルチモーダル入出力装置のインタフェース装置及びその方法
JP2000231427A (ja) * 1999-02-08 2000-08-22 Nec Corp マルチモーダル情報解析装置
US6204828B1 (en) * 1998-03-31 2001-03-20 International Business Machines Corporation Integrated gaze/manual cursor positioning system
JP2002324064A (ja) * 2001-03-07 2002-11-08 Internatl Business Mach Corp <Ibm> 漢字等の表意ベース言語のテキスト入力を加速するためのシステムおよび方法
US20050243054A1 (en) * 2003-08-25 2005-11-03 International Business Machines Corporation System and method for selecting and activating a target object using a combination of eye gaze and key presses
JP2006244038A (ja) * 2005-03-02 2006-09-14 Nec Corp 携帯電話機
JP2009037434A (ja) * 2007-08-02 2009-02-19 Tokyo Metropolitan Univ 制御機器操作ジェスチャ認識装置、制御機器操作ジェスチャ認識システムおよび制御機器操作ジェスチャ認識プログラム

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6924822B2 (en) * 2000-12-21 2005-08-02 Xerox Corporation Magnification methods, systems, and computer program products for virtual three-dimensional books
US6964023B2 (en) * 2001-02-05 2005-11-08 International Business Machines Corporation System and method for multi-modal focus detection, referential ambiguity resolution and mood classification using multi-modal input
SE524003C2 (sv) * 2002-11-21 2004-06-15 Tobii Technology Ab Förfarande och anläggning för att detektera och följa ett öga samt dess blickvinkel
US8745541B2 (en) * 2003-03-25 2014-06-03 Microsoft Corporation Architecture for controlling a computer using hand gestures
US7561143B1 (en) * 2004-03-19 2009-07-14 The University of the Arts Using gaze actions to interact with a display
US7486302B2 (en) * 2004-04-14 2009-02-03 Noregin Assets N.V., L.L.C. Fisheye lens graphical user interfaces
ES2535364T3 (es) * 2004-06-18 2015-05-08 Tobii Ab Control ocular de aparato informático
JP2006240368A (ja) 2005-03-01 2006-09-14 Toyota Motor Corp 車両用運転支援装置
US7719520B2 (en) * 2005-08-18 2010-05-18 Scenera Technologies, Llc Systems and methods for processing data entered using an eye-tracking system
US8793620B2 (en) * 2011-04-21 2014-07-29 Sony Computer Entertainment Inc. Gaze-assisted computer interface
DE602007001600D1 (de) * 2006-03-23 2009-08-27 Koninkl Philips Electronics Nv Hotspots zur blickfokussierten steuerung von bildmanipulationen
US9618748B2 (en) * 2008-04-02 2017-04-11 Esight Corp. Apparatus and method for a dynamic “region of interest” in a display system
JP2009081309A (ja) 2007-09-26 2009-04-16 Fujifilm Corp 有機半導体組成物、及びそれを用いた有機電子デバイス
US20090273562A1 (en) * 2008-05-02 2009-11-05 International Business Machines Corporation Enhancing computer screen security using customized control of displayed content area
US8788977B2 (en) * 2008-11-20 2014-07-22 Amazon Technologies, Inc. Movement recognition as input mechanism
US7983579B2 (en) 2009-03-06 2011-07-19 Xerox Corporation System and method for determining an amount of toner mass on a photoreceptor
US8537181B2 (en) * 2009-03-09 2013-09-17 Ventana Medical Systems, Inc. Modes and interfaces for observation, and manipulation of digital images on computer screen in support of pathologist's workflow
JP2010215194A (ja) * 2009-03-19 2010-09-30 Hyundai Motor Co Ltd 車載機器の操作装置
US20120105486A1 (en) * 2009-04-09 2012-05-03 Dynavox Systems Llc Calibration free, motion tolerent eye-gaze direction detector with contextually aware computer interaction and communication methods
US20100283722A1 (en) 2009-05-08 2010-11-11 Sony Ericsson Mobile Communications Ab Electronic apparatus including a coordinate input surface and method for controlling such an electronic apparatus
CN101943982B (zh) * 2009-07-10 2012-12-12 北京大学 基于被跟踪的眼睛运动的图像操作
US8977972B2 (en) * 2009-12-31 2015-03-10 Intel Corporation Using multi-modal input to control multiple objects on a display
US10503359B2 (en) * 2012-11-15 2019-12-10 Quantum Interface, Llc Selection attractive interfaces, systems and apparatuses including such interfaces, methods for making and using same
US9244527B2 (en) * 2013-03-26 2016-01-26 Volkswagen Ag System, components and methodologies for gaze dependent gesture input control
WO2014205422A2 (en) * 2013-06-20 2014-12-24 Parshionikar Uday Systems, methods, apparatuses, computer readable medium for controlling electronic devices

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04372012A (ja) * 1991-06-20 1992-12-25 Fuji Xerox Co Ltd 入力装置
JPH08263258A (ja) * 1995-03-23 1996-10-11 Hitachi Ltd 入力装置、入力方法、情報処理システムおよび入力情報の管理方法
JPH0981309A (ja) * 1995-09-13 1997-03-28 Toshiba Corp 入力装置
JPH10207615A (ja) * 1997-01-22 1998-08-07 Tec Corp ネットワークシステム
JPH11167644A (ja) * 1997-12-03 1999-06-22 Sharp Corp 設計支援装置
JPH11288342A (ja) * 1998-02-09 1999-10-19 Toshiba Corp マルチモーダル入出力装置のインタフェース装置及びその方法
US6204828B1 (en) * 1998-03-31 2001-03-20 International Business Machines Corporation Integrated gaze/manual cursor positioning system
JP2000231427A (ja) * 1999-02-08 2000-08-22 Nec Corp マルチモーダル情報解析装置
JP2002324064A (ja) * 2001-03-07 2002-11-08 Internatl Business Mach Corp <Ibm> 漢字等の表意ベース言語のテキスト入力を加速するためのシステムおよび方法
US20050243054A1 (en) * 2003-08-25 2005-11-03 International Business Machines Corporation System and method for selecting and activating a target object using a combination of eye gaze and key presses
JP2006244038A (ja) * 2005-03-02 2006-09-14 Nec Corp 携帯電話機
JP2009037434A (ja) * 2007-08-02 2009-02-19 Tokyo Metropolitan Univ 制御機器操作ジェスチャ認識装置、制御機器操作ジェスチャ認識システムおよび制御機器操作ジェスチャ認識プログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014021596A (ja) * 2012-07-13 2014-02-03 Fujitsu Ltd タブレット端末、操作受付方法および操作受付プログラム
KR101848475B1 (ko) 2014-06-30 2018-04-13 주식회사 퓨처플레이 문맥 정보에 기초하여 스크롤을 제어하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
JP2018110397A (ja) * 2016-12-30 2018-07-12 アクシス アーベー 方法、およびコンピュータ装置
JP2018120521A (ja) * 2017-01-27 2018-08-02 株式会社コロプラ 仮想空間を提供するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置

Also Published As

Publication number Publication date
JP5944326B2 (ja) 2016-07-05
US20170075420A1 (en) 2017-03-16
US9507418B2 (en) 2016-11-29
WO2011089199A1 (en) 2011-07-28
ES2657948T3 (es) 2018-03-07
US20200159316A1 (en) 2020-05-21
CN102822771B (zh) 2016-04-13
EP2526469A1 (en) 2012-11-28
CN102822771A (zh) 2012-12-12
EP2526469B1 (en) 2017-11-01
US10353462B2 (en) 2019-07-16
US20110175932A1 (en) 2011-07-21
PT2526469T (pt) 2018-02-07
DK2526469T3 (da) 2018-01-29
EP3293613A1 (en) 2018-03-14

Similar Documents

Publication Publication Date Title
JP5944326B2 (ja) アイトラッカーベースのコンテキストアクション
US11573631B2 (en) System for gaze interaction
AU2022200212B2 (en) Touch input cursor manipulation
US11054990B2 (en) Touch input cursor manipulation
US10394320B2 (en) System for gaze interaction
US20180364802A1 (en) System for gaze interaction
US20180329510A1 (en) Arrangement, method and computer program for controlling a computer apparatus based on eye-tracking
EP3187976A2 (en) System for gaze interaction
WO2015040608A1 (en) A peripheral electronic device and method for using same
WO2015082211A1 (en) Method of operating a multi-touch device and multi-touch device therefore

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131202

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20141029

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141118

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150217

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150714

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20151014

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151218

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160426

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160525

R150 Certificate of patent or registration of utility model

Ref document number: 5944326

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees