JP2021193572A - 凝視情報を用いたデバイス制御 - Google Patents

凝視情報を用いたデバイス制御 Download PDF

Info

Publication number
JP2021193572A
JP2021193572A JP2021131310A JP2021131310A JP2021193572A JP 2021193572 A JP2021193572 A JP 2021193572A JP 2021131310 A JP2021131310 A JP 2021131310A JP 2021131310 A JP2021131310 A JP 2021131310A JP 2021193572 A JP2021193572 A JP 2021193572A
Authority
JP
Japan
Prior art keywords
user
electronic device
gaze
command
voice
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021131310A
Other languages
English (en)
Other versions
JP7209782B2 (ja
Inventor
シーン ボランド ケリー，
Boland Kelly Sean
アローホ エ シルヴァ， フェリペ バシムデ
Bacim De Araujo E Silva Felipe
カーリン バーク，
Bark Karlin
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of JP2021193572A publication Critical patent/JP2021193572A/ja
Priority to JP2023001790A priority Critical patent/JP2023052287A/ja
Application granted granted Critical
Publication of JP7209782B2 publication Critical patent/JP7209782B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72415—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories for remote control of appliances

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】凝視情報を用いて電子デバイスを制御するための方法、プログラム及び電子デバイスを提供する。【解決手段】電子デバイスにおいて、凝視情報を使用してコンテキストをコマンドに提供する方法は、第１の外部デバイスが第１の状態にある間に、第１のコマンドを実行するための音声によるユーザ入力要求を受信し、１つ以上のカメラセンサを使用して、第１の凝視情報を取得し、第１の凝視情報を使用した、１つ以上の凝視基準のセットが第１の外部デバイスに対して満たされたとの判定に従って、第１のコマンドに基づいて、第１の外部デバイスを前記第１の状態から第２の状態に遷移させる命令を送信することを含む。【選択図】図９Ａ

Description

関連出願の相互参照
本出願は、２０１８年９月２８日に出願された米国特許仮出願第６２／７３９，０８７号、題名「ＤＥＶＩＣＥ ＣＯＮＴＲＯＬ ＵＳＩＮＧ ＧＡＺＥ ＩＮＦＯＲＭＡＴＩＯＮ」に対する優先権を主張するものであり、参照によりその内容全体が本明細書に組み込まれる。
本開示は概して、コンピュータユーザインタフェースに関し、特に、凝視情報を用いて電子デバイスを制御するための技法に関する。
ユーザは、電子デバイスを制御するために、キー押下及び音声入力などの入力を提供することが多い。例えば、ユーザは、デバイスのボタンをアクティブ化するか、又はトリガフレーズを発語して、デバイス上のアプリケーションを開始する。このような入力は、ユーザが手の届く範囲内にいるか、又はマイクロフォンの範囲内にいることが必要となることが多い。
インテリジェント自動アシスタント（又は、デジタルアシスタント）は、人間のユーザと電子デバイスとの間の有益なインタフェースを提供することができる。そのようなアシスタントにより、ユーザは、発語形式及び／又はテキスト形式の自然言語を使用して、デバイス又はシステムと対話することが可能となり得る。例えば、ユーザは、電子デバイス上で動作しているデジタルアシスタントに、ユーザ要求を含む発語入力を提供することができる。デジタルアシスタントは、その発語入力からユーザの意図を解釈し、そのユーザの意図をタスクへと動作化し、そのタスクを実行することができる。一部のシステムでは、この方法でタスクを実行することは、タスクが認識される方法において制約を受け得る。しかしながら、一部の場合には、ユーザは、特定のコマンドのセットに制限され、ユーザは、自然言語発語入力を使用して、デジタルアシスタントにタスクを実行するように容易に指示することができない場合がある。更には、多くの場合には、デジタルアシスタントは、以前のユーザ挙動に基づく適応ができず、同様に、ユーザエクスペリエンスの望ましい最適化に欠けている。
しかし、電子デバイスを制御するためのいくつかの技法は概して、煩雑であり、非効率的である。例えば、一部の既存の技術では、複数回のキー押下又は打鍵を含む場合がある、複雑かつ時間のかかるユーザインタフェースが使用されている。別の実施例では、いくつかの既存の技法は、デバイスのボタンをアクティブ化するためにユーザが腕の長さの距離内にいることが必要となる。既存の技法は、必要以上の時間がかかり、ユーザの時間及びデバイスのエネルギーを浪費する。後者の問題は、バッテリ動作式デバイスにおいては特に重大である。
したがって、本技法は、電子デバイスを制御するための、より高速で効率的な方法及びインタフェースを電子デバイスに提供する。このような方法及びインタフェースは、任意選択的に、電子デバイスを制御するための他の方法を補完するか、又はそれに取って代わる。そのような方法及びインタフェースは、ユーザにかかる認識的負担を低減し、より効率的なヒューマン−マシンインタフェースを作成する。バッテリ動作コンピューティングデバイスの場合、そのような方法及びインタフェースは、電力を節約し、バッテリ充電の間隔を長くする。このような技法は、ユーザが電子デバイスに手が届く範囲内にいない、かつ／又はユーザが騒々しい環境（例えば、電子デバイスによって生成されている音声に基づく騒音を含む）におかれた環境において、ユーザがより効率的に電子デバイスと対話することもまた可能にする。
いくつかの実施形態によれば、方法が提供される。この方法は、電子デバイスにおいて実行される。方法は、電子デバイスのデジタルアシスタントがアクティブ化されていない間に、１つ以上のカメラセンサを使用して、第１の凝視情報を取得することと、
第１の凝視情報が１つ以上のアクティブ化基準のセットを満たすとの判定に従って、電子デバイスのデジタルアシスタントをアクティブ化することと、１つ以上のアクティブ化基準のセットが満たされているという指示を提供することと、を含む。
いくつかの実施形態によれば、非一時的コンピュータ可読記憶媒体が提供される。媒体は、電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する。１つ以上のプログラムは、電子デバイスのデジタルアシスタントがアクティブ化されていない間に、１つ以上のカメラセンサを使用して、第１の凝視情報を取得する命令と、第１の凝視情報が１つ以上のアクティブ化基準のセットを満たすとの判定に従って、電子デバイスのデジタルアシスタントをアクティブ化する命令と、１つ以上のアクティブ化基準のセットが満たされているという指示を提供する命令と、を含む。
いくつかの実施形態によれば、一時的コンピュータ可読記憶媒体が提供される。媒体は、電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する。１つ以上のプログラムは、電子デバイスのデジタルアシスタントがアクティブ化されていない間に、１つ以上のカメラセンサを使用して、第１の凝視情報を取得する命令と、第１の凝視情報が１つ以上のアクティブ化基準のセットを満たすとの判定に従って、電子デバイスのデジタルアシスタントをアクティブ化する命令と、１つ以上のアクティブ化基準のセットが満たされているという指示を提供する命令と、を含む。
いくつかの実施形態によれば、電子デバイスが提供される。電子デバイスは、１つ以上のプロセッサと、１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、を備え、１つ以上のプログラムは、電子デバイスのデジタルアシスタントがアクティブ化されていない間に、１つ以上のカメラセンサを使用して、第１の凝視情報を取得する命令と、第１の凝視情報が１つ以上のアクティブ化基準のセットを満たすとの判定に従って、電子デバイスのデジタルアシスタントをアクティブ化する命令と、１つ以上のアクティブ化基準のセットが満たされているという指示を提供する命令と、を含む。
いくつかの実施形態によれば、電子デバイスが提供される。電子デバイスは、電子デバイスのデジタルアシスタントがアクティブ化されていない間に、１つ以上のカメラセンサを使用して、第１の凝視情報を取得する手段と、第１の凝視情報が１つ以上のアクティブ化基準のセットを満たすとの判定に従って、電子デバイスのデジタルアシスタントをアクティブ化し、１つ以上のアクティブ化基準のセットが満たされているという指示を提供する手段と、を備える。
いくつかの実施形態によれば、方法が提供される。方法は、電子デバイスにおいて実行される。方法は、第１の外部デバイスが第１の状態にある間に、第１のコマンドを実行するための音声によるユーザ入力要求を受信することと、１つ以上のカメラセンサを使用して、第１の凝視情報を取得することと、第１の凝視情報を使用した、１つ以上の凝視基準のセットが第１の外部デバイスに対して満たされたとの判定に従って、第１のコマンドに基づいて、第１の外部デバイスを第１の状態から第２の状態に遷移させる命令を送信することと、を含む。
いくつかの実施形態によれば、非一時的コンピュータ可読記憶媒体が提供される。媒体は、電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する。１つ以上のプログラムは、第１の外部デバイスが第１の状態にある間に、第１のコマンドを実行するための音声によるユーザ入力要求を受信する命令と、１つ以上のカメラセンサを使用して、第１の凝視情報を取得する命令と、第１の凝視情報を使用した、１つ以上の凝視基準のセットが第１の外部デバイスに対して満たされたとの判定に従って、第１のコマンドに基づいて、第１の外部デバイスを第１の状態から第２の状態に遷移させる命令を送信する命令と、を含む。
いくつかの実施形態によれば、一時的コンピュータ可読記憶媒体が提供される。媒体は、電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する。１つ以上のプログラムは、第１の外部デバイスが第１の状態にある間に、第１のコマンドを実行するための音声によるユーザ入力要求を受信する命令と、１つ以上のカメラセンサを使用して、第１の凝視情報を取得する命令と、第１の凝視情報を使用した、１つ以上の凝視基準のセットが第１の外部デバイスに対して満たされたとの判定に従って、第１のコマンドに基づいて、第１の外部デバイスを第１の状態から第２の状態に遷移させる命令を送信する命令と、を含む。
いくつかの実施形態によれば、電子デバイスが提供される。電子デバイスは、１つ以上のプロセッサと、１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、を備え、１つ以上のプログラムは、第１の外部デバイスが第１の状態にある間に、第１のコマンドを実行するための音声によるユーザ入力要求を受信する命令と、１つ以上のカメラセンサを使用して、第１の凝視情報を取得する命令と、第１の凝視情報を使用した、１つ以上の凝視基準のセットが第１の外部デバイスに対して満たされたとの判定に従って、第１のコマンドに基づいて、第１の外部デバイスを第１の状態から第２の状態に遷移させる命令を送信する命令と、を含む。
いくつかの実施形態によれば、電子デバイスが提供される。電子デバイスは、第１の外部デバイスが第１の状態にある間に、第１のコマンドを実行するための音声によるユーザ入力要求を受信し、１つ以上のカメラセンサを使用して、第１の凝視情報を取得する手段と、第１の凝視情報を使用した、第１の外部デバイスに対して１つ以上の凝視基準のセットが満たされたという判定に従って、第１のコマンドに基づいて、第１の外部デバイスを第１の状態から第２の状態に遷移させる命令を送信する手段と、を備える。
いくつかの実施形態によれば、方法が提供される。方法は、電子デバイスで行われる。方法は、音声によるユーザ入力要求を受信することと、音声によるユーザ入力要求が第１のユーザに対応するとの判定に従って、インジケータの特性の値を第１のユーザに対応する第１の値に更新することと、音声によるユーザ入力要求が第１のユーザとは異なる第２のユーザに対応するとの判定に従って、インジケータの特性の値を第２のユーザに対応する、第１の値とは異なる第２の値に更新することと、特性の更新された値を含むインジケータを使用して音声によるユーザ入力要求に応答することと、を含む。
いくつかの実施形態によれば、非一時的コンピュータ可読記憶媒体が提供される。媒体は、電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する。１つ以上のプログラムは、音声によるユーザ入力要求を受信する命令と、音声によるユーザ入力要求が第１のユーザに対応するとの判定に従って、インジケータの特性の値を第１のユーザに対応する第１の値に更新する命令と、音声によるユーザ入力要求が第１のユーザとは異なる第２のユーザに対応するとの判定に従って、インジケータの特性の値を第２のユーザに対応する、第１の値とは異なる第２の値に更新する命令と、特性の更新された値を含むインジケータを使用して音声によるユーザ入力要求に応答する命令と、を含む。
いくつかの実施形態によれば、一時的コンピュータ可読記憶媒体が提供される。媒体は、電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する。１つ以上のプログラムは、音声によるユーザ入力要求を受信する命令と、音声によるユーザ入力要求が第１のユーザに対応するとの判定に従って、インジケータの特性の値を第１のユーザに対応する第１の値に更新する命令と、音声によるユーザ入力要求が第１のユーザとは異なる第２のユーザに対応するとの判定に従って、インジケータの特性の値を第２のユーザに対応する、第１の値とは異なる第２の値に更新する命令と、特性の更新された値を含むインジケータを使用して音声によるユーザ入力要求に応答する命令と、を含む。
いくつかの実施形態によれば、電子デバイスが提供される。電子デバイスは、１つ以上のプロセッサと、１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、を備え、１つ以上のプログラムは、音声によるユーザ入力要求を受信する命令と、音声によるユーザ入力要求が第１のユーザに対応するとの判定に従って、インジケータの特性の値を第１のユーザに対応する第１の値に更新する命令と、音声によるユーザ入力要求が第１のユーザとは異なる第２のユーザに対応するとの判定に従って、インジケータの特性の値を第２のユーザに対応する、第１の値とは異なる第２の値に更新する命令と、特性の更新された値を含むインジケータを使用して音声によるユーザ入力要求に応答する命令と、を含む。
いくつかの実施形態によれば、電子デバイスが提供される。電子デバイスは、音声によるユーザ入力要求を受信する手段と、音声によるユーザ入力要求が第１のユーザに対応するとの判定に従って、インジケータの特性の値を第１のユーザに対応する第１の値に更新する手段と、音声によるユーザ入力要求が第１のユーザとは異なる第２のユーザに対応するとの判定に従って、インジケータの特性の値であって、第１の値とは異なる第２の値に更新する手段と、インジケータであって、特性の更新された値を含むインジケータを使用して音声によるユーザ入力要求に応答する手段と、を備える。
これらの機能を実行する実行可能命令は、任意選択的に、１つ以上のプロセッサによって実行されるために構成された非一時的コンピュータ可読記憶媒体又は他のコンピュータプログラム製品内に含まれる。これらの機能を実行する実行可能命令は、任意選択的に、１つ以上のプロセッサによって実行されるために構成された一時的コンピュータ可読記憶媒体又は他のコンピュータプログラム製品内に含まれる。
このため、デバイスは電子デバイスを制御するための、より高速で効率的な方法及びインタフェースを備え、それによって、このようなデバイスの有効性、効率、及びユーザ満足度が増す。このような方法及びインタフェースは、電子デバイスを制御するための他の方法を補完するか、又はそれに取って代わり得る。
説明される様々な実施形態をより良く理解するため、以下の図面と併せて、以下の「発明を実施するための形態」が参照されるべきであり、類似の参照番号は、以下の図の全てを通じて、対応する部分を指す。
いくつかの実施形態に係る、タッチ感知ディスプレイを有するポータブル多機能デバイスを示すブロック図である。
いくつかの実施形態に係る、イベント処理のための例示的な構成要素を示すブロック図である。
いくつかの実施形態によるデジタルアシスタントを実装するためのシステム及び環境を示すブロック図である。
いくつかの実施形態に係る、タッチスクリーンを有するポータブル多機能デバイスを示す図である。
いくつかの実施形態に係る、ディスプレイ及びタッチ感知面を有する例示的な多機能デバイスのブロック図である。
いくつかの実施形態に係る、ポータブル多機能デバイス上のアプリケーションのメニューの例示的なユーザインタフェースを示す図である。
いくつかの実施形態に係る、ディスプレイとは別個のタッチ感知面を有する多機能デバイスの例示的なユーザインタフェースを示す図である。
いくつかの実施形態に係る、パーソナル電子デバイスを示す図である。
いくつかの実施形態に係る、パーソナル電子デバイスを示すブロック図である。
凝視情報を使用してデジタルアシスタントをアクティブ化する例示的な技法を示す。 凝視情報を使用してデジタルアシスタントをアクティブ化する例示的な技法を示す。 凝視情報を使用してデジタルアシスタントをアクティブ化する例示的な技法を示す。 凝視情報を使用してデジタルアシスタントをアクティブ化する例示的な技法を示す。 凝視情報を使用してデジタルアシスタントをアクティブ化する例示的な技法を示す。 凝視情報を使用してデジタルアシスタントをアクティブ化する例示的な技法を示す。 凝視情報を使用してデジタルアシスタントをアクティブ化する例示的な技法を示す。 凝視情報を使用してデジタルアシスタントをアクティブ化する例示的な技法を示す。 凝視情報を使用してデジタルアシスタントをアクティブ化する例示的な技法を示す。 凝視情報を使用してデジタルアシスタントをアクティブ化する例示的な技法を示す。 凝視情報を使用してデジタルアシスタントをアクティブ化する例示的な技法を示す。 凝視情報を使用してデジタルアシスタントをアクティブ化する例示的な技法を示す。 凝視情報を使用してデジタルアシスタントをアクティブ化する例示的な技法を示す。 凝視情報を使用してデジタルアシスタントをアクティブ化する例示的な技法を示す。 凝視情報を使用してデジタルアシスタントをアクティブ化する例示的な技法を示す。
凝視情報を使用してデジタルアシスタントをアクティブ化する方法を示すフロー図である。 凝視情報を使用してデジタルアシスタントをアクティブ化する方法を示すフロー図である。
凝視情報を使用してコンテキストをコマンドに提供する例示的な技法を示す。 凝視情報を使用してコンテキストをコマンドに提供する例示的な技法を示す。 凝視情報を使用してコンテキストをコマンドに提供する例示的な技法を示す。 凝視情報を使用してコンテキストをコマンドに提供する例示的な技法を示す。 凝視情報を使用してコンテキストをコマンドに提供する例示的な技法を示す。 凝視情報を使用してコンテキストをコマンドに提供する例示的な技法を示す。 凝視情報を使用してコンテキストをコマンドに提供する例示的な技法を示す。 凝視情報を使用してコンテキストをコマンドに提供する例示的な技法を示す。 凝視情報を使用してコンテキストをコマンドに提供する例示的な技法を示す。 凝視情報を使用してコンテキストをコマンドに提供する例示的な技法を示す。 凝視情報を使用してコンテキストをコマンドに提供する例示的な技法を示す。 凝視情報を使用してコンテキストをコマンドに提供する例示的な技法を示す。
凝視情報を使用してコンテキストをコマンドに提供する方法を示すフロー図である。 凝視情報を使用してコンテキストをコマンドに提供する方法を示すフロー図である。
異なる発語者を区別する指示を提供する例示的な技法を示す。 異なる発語者を区別する指示を提供する例示的な技法を示す。 異なる発語者を区別する指示を提供する例示的な技法を示す。 異なる発語者を区別する指示を提供する例示的な技法を示す。
異なる発語者を区別する指示を提供する方法を示すフロー図である。 異なる発語者を区別する指示を提供する方法を示すフロー図である。
以下の説明は、例示的な方法、パラメータなどについて記載する。しかしながら、そのような説明は、本開示の範囲に対する限定として意図されるものではなく、むしろ例示的な実施形態の説明として提供されることを認識されたい。
電子デバイスを制御するための効率的な方法及びインタフェースを提供する電子デバイスが必要とされている。例えば、ユーザが、デジタルアシスタントをアクティブ化するために触知入力又は言語入力を提供する必要性が排除又は低減されることにより、ユーザは電子デバイスをより効果的に制御することが可能になる。別の実施例では、ユーザの凝視を介して外部デバイスを特定することにより、そのようなデバイスを特定するためにコンテキスト及び複雑で時間のかかるユーザ入力を提供する必要性が排除又は低減される。このような技法は、電子デバイスを制御するユーザの認識的負担を軽減し、それによって生産性を高めることができる。更に、そのような技法は、普通なら冗長なユーザ入力に浪費されるプロセッサ及びバッテリの電力を低減することができる。
以下、図１Ａ〜図１Ｃ、図２、図３、図４Ａ〜図４Ｂ、及び図５Ａ〜図５Ｂは、電子デバイスを制御するための技法を実行するための例示的なデバイスの説明を提供する。図６Ａ〜図６Ｏは、凝視情報を使用してデジタルアシスタントをアクティブ化するための例示的なユーザインタフェースを示す。図７Ａ〜図７Ｂは、いくつかの実施形態に係る、凝視情報を使用してデジタルアシスタントをアクティブ化する方法を示すフロー図である。図６Ａ〜図６Ｏのユーザインタフェースは、図７Ａ〜図７Ｂのプロセスを含む後述のプロセスを示すために使用される。図８Ａ〜図８Ｌは、凝視情報を使用してコンテキストをコマンドに提供するための例示的なユーザインタフェースを示す。図９Ａ〜図９Ｂは、いくつかの実施形態に係る、凝視情報を使用してコンテキストをコマンドに提供するための方法を示すフロー図である。図８Ａ〜図８Ｌのユーザインタフェースは、図９Ａ〜図９Ｂのプロセスを含む後述するプロセスを示すために使用される。図１０Ａ〜図１０Ｄは、異なる発語者を区別する指示を提供するための例示的なユーザインタフェースを示す。図１１Ａ〜図１１Ｂは、いくつかの実施形態に係る、異なる発語者を区別する指示を提供する方法を示すフロー図である。図１０Ａ〜図１０Ｄのユーザインタフェースは、図１１Ａ〜図１１Ｂのプロセスを含む後述するプロセスを示すために使用される。
以下の説明では、様々な要素について説明するために、「第１の」、「第２の」などの用語を使用するが、これらの要素は、それらの用語によって限定されるべきではない。これらの用語は、ある要素を別の要素と区別するためにのみ使用される。例えば、記載する様々な実施形態の範囲から逸脱することなく、第１のタッチを第２のタッチと呼ぶこともでき、同様に第２のタッチを第１のタッチと呼ぶこともできる。第１のタッチ及び第２のタッチはどちらもタッチであるが、これらは同じタッチではない。
本明細書に記載する様々な実施形態の説明で使用される術語は、特定の実施形態を説明することのみを目的とし、限定的であることは意図されていない。記載する様々な実施形態の説明及び添付の特許請求の範囲において使用されるとき、単数形の「ａ（１つ、一）」、「ａｎ（１つ、一）」、及び「ｔｈｅ（その、この）」は、文脈上別途明白に示されない限り、複数形も同様に含むことが意図される。また、本明細書で使用されるとき、用語「及び／又は」は、関連する列挙された項目のうちの１つ以上のいずれか及び全ての考えられる組み合わせを指し、かつこれを含むことを理解されたい。用語「ｉｎｃｌｕｄｅｓ（含む）」、「ｉｎｃｌｕｄｉｎｇ（含む）」、「ｃｏｍｐｒｉｓｅｓ（含む、備える）」、及び／又は「ｃｏｍｐｒｉｓｉｎｇ（含む、備える）」は、本明細書で使用する場合、述べられた特徴、整数、ステップ、動作、要素、及び／又は構成要素の存在を指定するが、１つ以上の他の特徴、整数、ステップ、動作、要素、構成要素、及び／又はそれらのグループの存在又は追加を除外しないことが更に理解されるであろう。
「〜の場合（if）」という用語は、任意選択的に、文脈に応じて、「〜とき（when）」若しくは「〜とき（upon）」、又は「〜と判定したことに応じて（in response to determining）」若しくは「〜を検出したことに応じて（in response to detecting）」を意味すると解釈される。同様に、「〜と判定された場合（if it is determined）」又は「［記載の状態又はイベント］が検出された場合（if [a stated condition or event] is detected）」という語句は、任意選択的に、文脈に応じて、「〜と判定したとき（upon determining）」若しくは「〜と判定したことに応じて（in response to determining）」、又は「［記載の状態又はイベント］を検出したとき（upon detecting [the stated condition or event]）」若しくは「［記載の状態又はイベント］を検出したことに応じて（in response to detecting [the stated condition or event]）」を意味すると解釈される。
電子デバイス、そのようなデバイス用のユーザインタフェース、及びそのようなデバイスを使用する関連するプロセスの実施形態が説明される。いくつかの実施形態では、デバイスは、ＰＤＡ機能及び／又は音楽プレーヤ機能などの他の機能も含む、携帯電話などのポータブル通信デバイスである。ポータブル多機能デバイスの例示的な実施形態としては、カリフォルニア州クパチーノのＡｐｐｌｅ Ｉｎｃ．からのｉＰｈｏｎｅ（登録商標）、ｉＰｏｄ Ｔｏｕｃｈ（登録商標）、及びｉＰａｄ（登録商標）のデバイスが挙げられるが、これらに限定されない。任意選択的に、タッチ感知面（例えば、タッチスクリーンディスプレイ及び／又はタッチパッド）を有するラップトップ又はタブレットコンピュータなどの他のポータブル電子デバイスも使用される。また、いくつかの実施形態では、デバイスはポータブル通信デバイスではなく、タッチ感知面（例えば、タッチスクリーンディスプレイ及び／又はタッチパッド）を有するデスクトップコンピュータであることも理解されたい。
以下の論考では、ディスプレイ及びタッチ感知面を含む電子デバイスについて説明する。しかしながら、電子デバイスは、任意選択的に、物理キーボード、マウス、及び／又はジョイスティックなどの１つ以上の他の物理ユーザインタフェースデバイスを含むことを理解されたい。
デバイスは、通常、描画アプリケーション、プレゼンテーションアプリケーション、ワードプロセッシングアプリケーション、ウェブサイト作成アプリケーション、ディスクオーサリングアプリケーション、スプレッドシートアプリケーション、ゲームアプリケーション、電話アプリケーション、テレビ会議アプリケーション、電子メールアプリケーション、インスタントメッセージングアプリケーション、トレーニングサポートアプリケーション、写真管理アプリケーション、デジタルカメラアプリケーション、デジタルビデオカメラアプリケーション、ウェブブラウジングアプリケーション、デジタル音楽プレーヤアプリケーション、及び／又はデジタルビデオプレーヤアプリケーションのうちの１つ以上などの様々なアプリケーションをサポートする。
本デバイス上で実行される様々なアプリケーションは、タッチ感知面などの、少なくとも１つの共通の物理ユーザインタフェースデバイスを、任意選択的に使用する。タッチ感知面の１つ以上の機能、並びにデバイスに表示される対応する情報は、アプリケーションごとに、及び／又はそれぞれのアプリケーション内で、任意選択的に、調整及び／又は変更される。このように、デバイスの共通の物理アーキテクチャ（タッチ感知面など）は、任意選択的に、ユーザにとって直観的かつ透過的なユーザインタフェースを含む様々なアプリケーションをサポートする。
ここで、タッチ感知ディスプレイを備えるポータブルデバイスの実施形態に注意を向ける。図１Ａは、いくつかの実施形態に係る、タッチ感知ディスプレイシステム１１２を有するポータブル多機能デバイス１００を示すブロック図である。タッチ感知ディスプレイ１１２は、便宜上「タッチスクリーン」と呼ばれることがあり、「タッチ感知ディスプレイシステム」として知られている又は呼ばれることがある。デバイス１００は、メモリ１０２（任意選択的に、１つ以上のコンピュータ可読記憶媒体を含む）、メモリコントローラ１２２、１つ以上の処理ユニット（ＣＰＵ）１２０、周辺機器インタフェース１１８、ＲＦ回路１０８、オーディオ回路１１０、スピーカ１１１、マイクロフォン１１３、入出力（Ｉ／Ｏ）サブシステム１０６、他の入力コントロールデバイス１１６、及び外部ポート１２４を含む。デバイス１００は、任意選択的に、１つ以上の光センサ１６４を含む。デバイス１００は、任意選択的に、デバイス１００上の接触の強度を検出する１つ以上の接触強度センサ１６５（例えば、デバイス１００のタッチ感知ディスプレイシステム１１２などのタッチ感知面）を含む。デバイス１００は、デバイス１００上に触知出力を生成する（例えば、デバイス１００のタッチ感知ディスプレイシステム１１２又はデバイス３００のタッチパッド３５５などのタッチ感知面上に触知出力を生成する）ための、１つ以上の触知出力生成器１６７を、任意選択的に含む。これらの構成要素は、任意選択的に、１つ以上の通信バス又は信号ライン１０３を介して通信する。
本明細書及び特許請求において使用されるとき、タッチ感知面上の接触の「強度」という用語は、タッチ感知面上の接触（例えば、指の接触）の力若しくは圧力（単位面積当たりの力）、又はタッチ感知面上の接触の力若しくは圧力に対する代理（プロキシ）を指す。接触の強度は、少なくとも４つの別個の値を含み、より典型的には、数百の（例えば、少なくとも２５６の）別個の値を含む、値の範囲を有する。接触の強度は、任意選択的に、様々な手法、及び様々なセンサ又はセンサの組み合わせを使用して、判定（又は測定）される。例えば、タッチ感知面の下又はそれに隣接する１つ以上の力センサは、任意選択的に、タッチ感知面上の様々なポイントにおける力を測定するために使用される。いくつかの実装形態では、複数の力センサからの力測定値が、接触の推定される力を決定するために組み合わされる（例えば、加重平均される）。同様に、スタイラスの感圧性先端部が、任意選択的に、タッチ感知面上のスタイラスの圧力を判定するために使用される。あるいは、タッチ感知面上で検出される接触エリアのサイズ及び／若しくはその変化、接触に近接するタッチ感知面の電気容量及び／若しくはその変化、並びに／又は、接触に近接するタッチ感知面の抵抗及び／若しくはその変化が、任意選択的に、タッチ感知面上の接触の力又は圧力の代替物として使用される。一部の実装形態では、接触の力又は圧力の代替測定値が、強度閾値を超えているかどうかを判定するために直接使用される（例えば、強度閾値は、代替測定値に対応する単位で記述される）。いくつかの実装形態では、接触力又は圧力の代理測定値は、力又は圧力の推定値に変換され、力又は圧力の推定値が、強度閾値を超えているかどうかを判定するために使用される（例えば、強度閾値は、圧力の単位で測定される圧力閾値である）。接触の強度をユーザ入力の属性として使用することにより、実装面積が限られている低減されたサイズのデバイス上で、ユーザが他の方法ではアクセス不可能であり得る追加のデバイス機能にユーザがアクセスし、アフォーダンスを（例えば、タッチ感知ディスプレイ上に）表示すること、及び／又は、ユーザ入力を（例えば、タッチ感知ディスプレイ、タッチ感知面、又は、ノブ若しくはボタンなどの物理的／機械的制御部を介して）受信することが可能となる。
本明細書及び特許請求の範囲において使用されるとき、用語「触知出力」は、ユーザの触覚でユーザによって検出されることになる、デバイスの従前の位置に対するそのデバイスの物理的変位、デバイスの構成要素（例えば、タッチ感知面）の、そのデバイスの別の構成要素（例えば、筐体）に対する物理的変位、又は、デバイスの質量中心に対する構成要素の変位を指す。例えば、デバイス又はデバイスの構成要素が、ユーザのタッチに敏感な表面（例えば、ユーザの手の指、手のひら、又は他の部分）に接触している状況では、物理的変位によって生成された触知出力は、そのデバイス又はデバイスの構成要素の物理的特性の認識される変化に相当する触感として、ユーザによって解釈されることになる。例えば、タッチ感知面（例えば、タッチ感知ディスプレイ又はトラックパッド）の移動は、ユーザによって、物理アクチュエータボタンの「ダウンクリック」又は「アップクリック」として、任意選択的に解釈される。場合によっては、ユーザの動作により物理的に押される（例えば、変位される）タッチ感知面に関連付けられた物理アクチュエータボタンの移動がないときでさえ、ユーザは「ダウンクリック」又は「アップクリック」などの触感を感じる。別の例として、タッチ感知面の移動は、タッチ感知面の平滑度に変化がない場合であっても、ユーザによって、そのタッチ感知面の「粗さ」として、任意選択的に解釈又は感知される。そのようなユーザによるタッチの解釈は、ユーザの個人的な感覚認知に左右されるが、大多数のユーザに共通する、多くのタッチの感覚認知が存在する。したがって、触知出力が、ユーザの特定の感覚認知（例えば、「アップクリック」「ダウンクリック」、「粗さ」）に対応するものと記述される場合、別途記載のない限り、生成された触知出力は、記述された感覚認知を典型的な（又は、平均的な）ユーザに対して生成するデバイス、又はデバイスの構成要素の物理的変位に対応する。
デバイス１００は、ポータブル多機能デバイスの一例に過ぎず、デバイス１００は、任意選択的に、示されているものよりも多くの構成要素又は少ない構成要素を有するものであり、任意選択的に、２つ以上の構成要素を組み合わせるものであり、又は、任意選択的に、それらの構成要素の異なる構成若しくは配置を有するものであることを理解されたい。図１Ａに示す様々な構成要素は、１つ以上の信号処理集積回路及び／又は特定用途向け集積回路を含む、ハードウェア、ソフトウェア、又はハードウェアとソフトウェアの両方の組み合せにおいて実装される。
メモリ１０２は、任意選択的に、高速ランダムアクセスメモリを含み、任意選択的に、１つ以上の磁気ディスク記憶デバイス、フラッシュメモリデバイス、又は他の不揮発性ソリッドステートメモリデバイスなどの不揮発性メモリをまた含む。メモリコントローラ１２２は、任意選択的に、デバイス１００の他の構成要素によるメモリ１０２へのアクセスを制御する。
周辺機器インタフェース１１８は、デバイスの入力及び出力周辺機器をＣＰＵ１２０及びメモリ１０２に結合するために使用することができる。１つ以上のプロセッサ１２０は、メモリ１０２に記憶された様々なソフトウェアプログラム及び／又は命令セットを動作させる又は実行して、デバイス１００の様々な機能を実行し、データを処理する。いくつかの実施形態では、周辺機器インタフェース１１８、ＣＰＵ１２０、及びメモリコントローラ１２２は、任意選択的に、チップ１０４などの単一のチップ上に実装される。いくつかの他の実施形態では、それらは別々のチップ上に任意選択的に実装される。
ＲＦ（radio frequency）（無線周波数）回路１０８は、電磁信号とも呼ばれるＲＦ信号を送受信する。ＲＦ回路１０８は、電気信号を電磁信号に、又は電磁信号を電気信号に変換し、電磁信号を介して通信ネットワーク及び他の通信デバイスと通信する。ＲＦ回路１０８は、任意選択的に、これらの機能を実行するための周知の回路を含み、それらの回路としては、限定するものではないが、アンテナシステム、ＲＦ送受信機、１つ以上の増幅器、同調器、１つ以上の発振器、デジタル信号プロセッサ、ＣＯＤＥＣチップセット、加入者識別モジュール（subscriber identity module、ＳＩＭ）カード、メモリなどが挙げられる。ＲＦ回路１０８は、任意選択的に、ワールドワイドウェブ（World Wide Web、ＷＷＷ）とも呼ばれるインターネット、イントラネット、並びに／又はセルラー電話ネットワーク、無線ローカルエリアネットワーク（local area network、ＬＡＮ）及び／若しくはメトロポリタンエリアネットワーク（metropolitan area network、ＭＡＮ）などの無線ネットワークなどのネットワークと、また他のデバイスと、無線通信によって通信する。ＲＦ回路１０８は、任意選択的に、短距離通信無線機などによって近距離通信（near field Communication、ＮＦＣ）フィールドを検出するよく知られている回路を含む。無線通信は、任意選択的に、それだけに限定されるものではないが、モバイル通信用グローバルシステム（Global System for Mobile Communications、ＧＳＭ）、拡張データＧＳＭ環境（Enhanced Data GSM Environment、ＥＤＧＥ）、高速ダウンリンクパケットアクセス（high-speed downlink packet access、ＨＳＤＰＡ）、高速アップリンクパケットアクセス（high-speed uplink packet access、ＨＳＵＰＡ）、エボリューションデータオンリ（Evolution,Data-Only、ＥＶ−ＤＯ）、ＨＳＰＡ、ＨＳＰＡ＋、デュアルセルＨＳＰＡ（Dual-Cell HSPA、ＤＣ−ＨＳＰＤＡ）、ロングタームエボリューション（long term evolution、ＬＴＥ）、近距離通信（ＮＦＣ）、広帯域符号分割多元接続（wideband code division multiple access、Ｗ−ＣＤＭＡ）、符号分割多元接続（code division multiple access、ＣＤＭＡ）、時分割多元接続（time division multiple access、ＴＤＭＡ）、Ｂｌｕｅｔｏｏｔｈ、Ｂｌｕｅｔｏｏｔｈローエネルギー（Bluetooth Low Energy、ＢＴＬＥ）、ワイヤレスフィデリティ（Wireless Fidelity、Ｗｉ−Ｆｉ）（例えば、ＩＥＥＥ８０２．１１ａ、ＩＥＥＥ８０２．１１ｂ、ＩＥＥＥ８０２．１１ｇ、ＩＥＥＥ８０２．１１ｎ、及び／若しくはＩＥＥＥ８０２．１１ａｃ）、ボイスオーバインターネットプロトコル（voice over Internet Protocol、ＶｏＩＰ）、Ｗｉ−ＭＡＸ、電子メール用プロトコル（例えば、インターネットメッセージアクセスプロトコル（Internet message access protocol、ＩＭＡＰ）及び／若しくはポストオフィスプロトコル（post office protocol、ＰＯＰ））、インスタントメッセージング（例えば、拡張可能なメッセージング及びプレゼンスプロトコル（extensible messaging and presence protocol、ＸＭＰＰ）、インスタントメッセージング及びプレゼンスレベレイジングエクステンション用のセッション開始プロトコル（Session Initiation Protocol for Instant Messaging and Presence Leveraging Extensions、ＳＩＭＰＬＥ）、インスタントメッセージング及びプレゼンスサービス（Instant Messaging and Presence Service、ＩＭＰＳ））、並びに／若しくはショートメッセージサービス（Short Message Service、ＳＭＳ）、又は本明細書の出願日の時点でまだ開発されていない通信プロトコルを含む任意の他の適切な通信プロトコルを含む、複数の通信規格、プロトコル、及び技術のうちのいずれかを使用する。
オーディオ回路１１０、スピーカ１１１、及びマイクロフォン１１３は、ユーザとデバイス１００との間のオーディオインタフェースを提供する。オーディオ回路１１０は、周辺機器インタフェース１１８からオーディオデータを受信し、オーディオデータを電気信号に変換し、電気信号をスピーカ１１１に送信する。スピーカ１１１は、電気信号を人間の可聴音波に変換する。オーディオ回路１１０は、マイクロフォン１１３によって音波から変換された電気信号をまた受信する。オーディオ回路１１０は、電気信号をオーディオデータに変換し、オーディオデータを処理のために周辺機器インタフェース１１８に送信する。オーディオデータは、任意選択的に、周辺機器インタフェース１１８によって、メモリ１０２及び／若しくはＲＦ回路１０８から取得され、かつ／又はメモリ１０２及び／若しくはＲＦ回路１０８に伝送される。いくつかの実施形態では、オーディオ回路１１０はまた、ヘッドセットジャック（例えば、図２の２１２）を含む。ヘッドセットジャックは、オーディオ回路１１０と、出力専用ヘッドホン又は出力（例えば片耳又は両耳用のヘッドホン）及び入力（例えばマイクロフォン）の両方を備えるヘッドセットなどの着脱可能なオーディオ入出力周辺機器との間のインタフェースを提供する。
Ｉ／Ｏサブシステム１０６は、タッチスクリーン１１２及び他の入力コントロールデバイス１１６などのデバイス１００上の入出力周辺機器を、周辺機器インタフェース１１８に結合する。Ｉ／Ｏサブシステム１０６は、任意選択的に、ディスプレイコントローラ１５６、光センサコントローラ１５８、深度カメラコントローラ１６９、強度センサコントローラ１５９、触覚フィードバックコントローラ１６１、及び、他の入力デバイス若しくは制御デバイス用の１つ以上の入力コントローラ１６０を含む。１つ以上の入力コントローラ１６０は、他の入力コントロールデバイス１１６からの電気信号の受信／他の入力コントロールデバイス１１６への電気信号の送信を行う。他の入力コントロールデバイス１１６は、任意選択的に、物理ボタン（例えば、プッシュボタン、ロッカボタンなど）、ダイヤル、スライダスイッチ、ジョイスティック、クリックホイールなどを含む。いくつかの代替的な実施形態では、入力コントローラ１６０は、任意選択的に、キーボード、赤外線ポート、ＵＳＢポート、及びマウスなどのポインタデバイスのうちのいずれかに結合される（又はいずれにも結合されない）。１つ以上のボタン（例えば、図２の２０８）は、任意選択的に、スピーカ１１１及び／又はマイクロフォン１１３の音量コントロールのためのアップ／ダウンボタンを含む。１つ以上のボタンは、任意選択的に、プッシュボタン（例えば、図２の２０６）を含む。
全体が参照により本明細書に組み込まれる、２００５年１２月２３日出願の米国特許出願第１１／３２２，５４９号、「Ｕｎｌｏｃｋｉｎｇ ａ Ｄｅｖｉｃｅ ｂｙ Ｐｅｒｆｏｒｍｉｎｇ Ｇｅｓｔｕｒｅｓ ｏｎ ａｎ Ｕｎｌｏｃｋ Ｉｍａｇｅ」、米国特許第７，６５７，８４９号に記載されているように、プッシュボタンの素早い押下は、任意選択的に、タッチスクリーン１１２のロックを解放し、又は任意選択的に、タッチスクリーン上のジェスチャを使用してデバイスをロック解除するプロセスを開始する。プッシュボタン（例えば、２０６）のより長い押下は、任意選択的に、デバイス１００への電力をオン又はオフにする。ボタンのうちの１つ以上の機能性は、任意選択的に、ユーザによってカスタマイズ可能である。タッチスクリーン１１２は、仮想又はソフトボタン及び１つ以上のソフトキーボードを実装するために使用される。
タッチ感知ディスプレイ１１２は、デバイスとユーザとの間の入力インタフェース及び出力インタフェースを提供する。ディスプレイコントローラ１５６は、タッチスクリーン１１２からの電気信号の受信、及び／又はタッチスクリーン１１２への電気信号の送信を行う。タッチスクリーン１１２は、ユーザに対して視覚出力を表示する。視覚出力は、グラフィック、テキスト、アイコン、動画、及びそれらの任意の組み合わせ（総称して「グラフィック」）を任意選択的に含む。いくつかの実施形態では、視覚出力の一部又は全ては、任意選択的に、ユーザインタフェースオブジェクトに対応する。
タッチスクリーン１１２は、触覚及び／又は触知接触に基づくユーザからの入力を受け入れるタッチ感知面、センサ、又はセンサのセットを有する。タッチスクリーン１１２及びディスプレイコントローラ１５６は、（メモリ１０２内の任意の関連モジュール及び／又は命令セットとともに）、タッチスクリーン１１２上で接触（及び任意の接触の移動又は中断）を検出し、検出された接触をタッチスクリーン１１２に表示されたユーザインタフェースオブジェクト（例えば、１つ以上のソフトキー、アイコン、ウェブページ、又は画像）との対話に変換する。例示的な実施形態では、タッチスクリーン１１２とユーザとの間の接触点は、ユーザの指に対応する。
タッチスクリーン１１２は、任意選択的に、ＬＣＤ（液晶ディスプレイ）技術、ＬＰＤ（発光ポリマーディスプレイ）技術、又はＬＥＤ（発光ダイオード）技術を使用するが、他の実施形態では、他のディスプレイ技術も使用される。タッチスクリーン１１２及びディスプレイコントローラ１５６は、任意選択的に、それだけに限定されるものではないが、容量性、抵抗性、赤外線、及び表面音波の技術、並びにタッチスクリーン１１２との１つ以上の接触点を判定する他の近接センサアレイ又は他の要素を含む、現在知られている又は今後開発される複数のタッチ感知技術のうちのいずれかを使用して、接触及びそのあらゆる動き又は中断を検出する。例示的な実施形態では、カリフォルニア州クパチーノのＡｐｐｌｅ Ｉｎｃ．からのｉＰｈｏｎｅ（登録商標）及びｉＰｏｄ Ｔｏｕｃｈ（登録商標）に見られるものなどの、投影型相互静電容量感知技術が使用される。
タッチスクリーン１１２のいくつかの実施形態におけるタッチ感知ディスプレイは、任意選択的に、それぞれ全体が参照により本明細書に組み込まれる、米国特許第６，３２３，８４６号（Ｗｅｓｔｅｒｍａｎら）、第６，５７０，５５７号（Ｗｅｓｔｅｒｍａｎら）、及び／若しくは第６，６７７，９３２号（Ｗｅｓｔｅｒｍａｎ）、並びに／又は米国特許公報第２００２／００１５０２４（Ａ１）号に記載されているマルチタッチ感知タッチパッドに類似している。しかし、タッチスクリーン１１２はデバイス１００からの視覚出力を表示するのに対して、タッチ感知タッチパッドは視覚出力を提供しない。
タッチスクリーン１１２のいくつかの実施形態におけるタッチ感知ディスプレイは、以下の出願に記載されている。
（１）２００６年５月２日出願の米国特許出願第１１／３８１，３１３号、「Ｍｕｌｔｉｐｏｉｎｔ Ｔｏｕｃｈ Ｓｕｒｆａｃｅ Ｃｏｎｔｒｏｌｌｅｒ」、（２）２００４年５月６日出願の米国特許出願第１０／８４０，８６２号、「Ｍｕｌｔｉｐｏｉｎｔ Ｔｏｕｃｈｓｃｒｅｅｎ」、（３）２００４年７月３０日出願の米国特許出願第１０／９０３，９６４号、「Ｇｅｓｔｕｒｅｓ Ｆｏｒ Ｔｏｕｃｈ Ｓｅｎｓｉｔｉｖｅ Ｉｎｐｕｔ Ｄｅｖｉｃｅｓ」、（４）２００５年１月３１日出願の米国特許出願第１１／０４８，２６４号、「Ｇｅｓｔｕｒｅｓ Ｆｏｒ Ｔｏｕｃｈ Ｓｅｎｓｉｔｉｖｅ Ｉｎｐｕｔ Ｄｅｖｉｃｅｓ」、（５）２００５年１月１８日出願の米国特許出願第１１／０３８，５９０号、「Ｍｏｄｅ−Ｂａｓｅｄ Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅｓ Ｆｏｒ Ｔｏｕｃｈ Ｓｅｎｓｉｔｉｖｅ Ｉｎｐｕｔ Ｄｅｖｉｃｅｓ」、（６）２００５年９月１６日出願の米国特許出願第１１／２２８，７５８号、「Ｖｉｒｔｕａｌ Ｉｎｐｕｔ Ｄｅｖｉｃｅ Ｐｌａｃｅｍｅｎｔ Ｏｎ Ａ Ｔｏｕｃｈ Ｓｃｒｅｅｎ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ」、（７）２００５年９月１６日出願の米国特許出願第１１／２２８，７００号、「Ｏｐｅｒａｔｉｏｎ Ｏｆ Ａ Ｃｏｍｐｕｔｅｒ Ｗｉｔｈ Ａ Ｔｏｕｃｈ Ｓｃｒｅｅｎ Ｉｎｔｅｒｆａｃｅ」、（８）２００５年９月１６日出願の米国特許出願第１１／２２８，７３７号、「Ａｃｔｉｖａｔｉｎｇ Ｖｉｒｔｕａｌ Ｋｅｙｓ Ｏｆ Ａ Ｔｏｕｃｈ−Ｓｃｒｅｅｎ Ｖｉｒｔｕａｌ Ｋｅｙｂｏａｒｄ」、及び（９）２００６年３月３日出願の米国特許出願第１１／３６７，７４９号、「Ｍｕｌｔｉ−Ｆｕｎｃｔｉｏｎａｌ Ｈａｎｄ−Ｈｅｌｄ Ｄｅｖｉｃｅ」。これらの出願は全て、全体が参照により本明細書に組み込まれる。
タッチスクリーン１１２は、任意選択的に、１００ｄｐｉを超えるビデオ解像度を有する。いくつかの実施形態では、タッチスクリーンは、約１６０ｄｐｉのビデオ解像度を有する。ユーザは、任意選択的に、スタイラス、指などの任意の適した物体又は付属物を使用して、タッチスクリーン１１２に接触する。いくつかの実施形態では、ユーザインタフェースは、指ベースの接触及びジェスチャを主に使用して動作するように設計されるが、これは、タッチスクリーン上の指の接触面積がより大きいため、スタイラスベースの入力ほど正確でない可能性がある。いくつかの実施形態では、デバイスは、指による粗い入力を、ユーザによって所望されているアクションを実行するための、正確なポインタ／カーソルの位置又はコマンドに変換する。
いくつかの実施形態では、タッチスクリーンに加えて、デバイス１００は、任意選択的に、特定の機能をアクティブ化又は非アクティブ化するためのタッチパッドを含む。いくつかの実施形態では、タッチパッドは、タッチスクリーンとは異なり、視覚出力を表示しない、デバイスのタッチ感知エリアである。タッチパッドは、任意選択的に、タッチスクリーン１１２とは別個のタッチ感知面又はタッチスクリーンによって形成されるタッチ感知面の拡張部である。
デバイス１００は、様々な構成要素に電力を供給する電力システム１６２もまた含む。電力システム１６２は、任意選択的に、電力管理システム、１つ以上の電源（例えば、バッテリ、交流（ＡＣ））、再充電システム、停電検出回路、電力コンバータ又はインバータ、電力状態インジケータ（例えば、発光ダイオード（ＬＥＤ））、並びにポータブルデバイス内での電力の生成、管理、及び分配に関連付けられた任意の他の構成要素を含む。
また、デバイス１００は、任意選択的に、１つ以上の光センサ１６４を含む。図１Ａは、Ｉ／Ｏサブシステム１０６内の光センサコントローラ１５８に結合された光センサを示す。光センサ１６４は、任意選択的に、電荷結合デバイス（charge-coupled device、ＣＣＤ）又は相補的金属酸化物半導体（complementary metal-oxide semiconductor、ＣＭＯＳ）フォトトランジスタを含む。光センサ１６４は、１つ以上のレンズを通って投影された環境からの光を受信し、その光を、画像を表すデータに変換する。光センサ１６４は、撮像モジュール１４３（カメラモジュールとも呼ばれる）と連携して、任意選択的に、静止画像又は動画をキャプチャする。いくつかの実施形態では、光センサは、デバイスの前面にあるタッチスクリーンディスプレイ１１２とは反対側のデバイス１００の裏面に位置し、したがってタッチスクリーンディスプレイは、静止画像及び／又は動画の取得のためのビューファインダとして使用することが可能である。いくつかの実施形態では、ユーザが他のテレビ会議参加者をタッチスクリーンディスプレイ上で見ている間に、ユーザの画像が、任意選択的に、テレビ会議のために入手されるように、光センサはデバイスの前面に配置される。いくつかの実施形態では、光センサ１６４の位置は、ユーザによって（例えば、デバイス筐体内でレンズ及びセンサを回転させることによって）変更することができ、したがって単一の光センサ１６４が、タッチスクリーンディスプレイとともに、テレビ会議にも静止画像及び／又は動画の取得にも使用される。
デバイス１００は、任意選択的に、１つ以上の深度カメラセンサ１７５もまた含む。図１Ａは、Ｉ／Ｏサブシステム１０６内の深度カメラコントローラ１６９に結合された深度カメラセンサを示す。深度カメラセンサ１７５は、環境からデータを受信して、視点（例えば、深度カメラセンサ）からのシーン内の対象物（例えば、顔面）の３次元モデルを作成する。いくつかの実施形態では、撮像モジュール１４３（カメラモジュールとも呼ばれる）と連携して、深度カメラセンサ１７５は、任意選択的に、撮像モジュール１４３によってキャプチャされた画像の種々の部分の深度マップを決定するために使用される。いくつかの実施形態では、ユーザが他のテレビ会議参加者をタッチスクリーンディスプレイ上で見る間に、任意選択的に、深度情報を有するユーザの画像をテレビ会議のために取得し、また、深度マップデータを有する自撮り画像をキャプチャするために、デバイス１００の前面に深度カメラセンサが配置されている。いくつかの実施形態では、深度カメラセンサ１７５は、デバイスの背面に、あるいはデバイス１００の背面及び前面に配置される。いくつかの実施形態では、深度カメラセンサ１７５の位置は、ユーザによって（例えば、デバイスハウジング内でレンズ及びセンサを回転させることによって）変更することができ、したがって深度カメラセンサ１７５が、タッチスクリーンディスプレイとともに、テレビ会議にも静止画像及び／又は動画の取得にも使用される。
いくつかの実施形態では、深度マップ（例えば、深度マップ画像）は、視点（例えば、カメラ、光センサ、深度カメラセンサ）からのシーン内の対象物の距離に関する情報（例えば、値）を含む。深度マップの一実施形態では、各深度画素は、その対応する２次元画素が位置する視点のＺ軸における位置を定義する。いくつかの実施形態では、深度マップは画素で構成されており、各画素は、値（例えば、０〜２５５）によって定義される。例えば、値「０」は、「３次元」シーン内で最も遠い場所に位置している画素を表し、値「２５５」は、その「３次元」シーン内で視点（例えば、カメラ、光センサ、深度カメラセンサ）の最も近くに位置している画素を表す。他の実施形態では、深度マップは、シーン内の対象物と視点の平面との間の距離を表す。いくつかの実施形態では、深度マップは、深度カメラから見た、関心対象物の様々な特徴部の相対深度（例えば、ユーザの顔面の目、鼻、口、耳の相対深度）に関する情報を含む。いくつかの実施形態では、深度マップは、関心対象物のｚ方向における輪郭をデバイスが判定することを可能にする、情報を含む。
デバイス１００はまた、任意選択的に、１つ以上の接触強度センサ１６５を含む。図１Ａは、Ｉ／Ｏサブシステム１０６内の強度センサコントローラ１５９に結合された接触強度センサを示す。接触強度センサ１６５は、任意選択的に、１つ以上のピエゾ抵抗ひずみゲージ、容量性力センサ、電気力センサ、圧電力センサ、光学力センサ、容量性タッチ感知面、又は他の強度センサ（例えば、タッチ感知面上の接触の力（若しくは圧力）を測定するために使用されるセンサ）を含む。接触強度センサ１６５は、接触強度情報（例えば、圧力情報、又は圧力情報に対するプロキシ）を環境から受信する。いくつかの実施形態では、少なくとも１つの接触強度センサは、タッチ感知面（例えばタッチ感知ディスプレイシステム１１２）と並置される、又はそれに近接される。いくつかの実施形態では、少なくとも１つの接触強度センサは、デバイス１００の前面に配置されたタッチスクリーンディスプレイ１１２の反対側である、デバイス１００の背面に配置される。
デバイス１００は、任意選択的に、１つ以上の近接センサ１６６もまた含む。図１Ａは、周辺機器インタフェース１１８に結合された近接センサ１６６を示す。あるいは、近接センサ１６６は、任意選択的に、Ｉ／Ｏサブシステム１０６内の入力コントローラ１６０に結合される。近接センサ１６６は、任意選択的に、全体が参照により本明細書に組み込まれる、米国特許出願第１１／２４１，８３９号、「Ｐｒｏｘｉｍｉｔｙ Ｄｅｔｅｃｔｏｒ Ｉｎ Ｈａｎｄｈｅｌｄ Ｄｅｖｉｃｅ」、第１１／２４０，７８８号、「Ｐｒｏｘｉｍｉｔｙ Ｄｅｔｅｃｔｏｒ Ｉｎ Ｈａｎｄｈｅｌｄ Ｄｅｖｉｃｅ」、第１１／６２０，７０２号、「Ｕｓｉｎｇ Ａｍｂｉｅｎｔ Ｌｉｇｈｔ Ｓｅｎｓｏｒ Ｔｏ Ａｕｇｍｅｎｔ Ｐｒｏｘｉｍｉｔｙ Ｓｅｎｓｏｒ Ｏｕｔｐｕｔ」、第１１／５８６，８６２号、「Ａｕｔｏｍａｔｅｄ Ｒｅｓｐｏｎｓｅ Ｔｏ Ａｎｄ Ｓｅｎｓｉｎｇ Ｏｆ Ｕｓｅｒ Ａｃｔｉｖｉｔｙ Ｉｎ Ｐｏｒｔａｂｌｅ Ｄｅｖｉｃｅｓ」、及び第１１／６３８，２５１号、「Ｍｅｔｈｏｄｓ Ａｎｄ Ｓｙｓｔｅｍｓ Ｆｏｒ Ａｕｔｏｍａｔｉｃ Ｃｏｎｆｉｇｕｒａｔｉｏｎ Ｏｆ Ｐｅｒｉｐｈｅｒａｌｓ」で記載されているように機能する。いくつかの実施形態では、多機能デバイスが、ユーザの耳の近くに置かれた場合（例えば、ユーザが電話をかけている場合）、近接センサは、タッチスクリーン１１２をオフにして無効化する。
デバイス１００は、任意選択的に１つ以上の触知出力生成器１６７をまた含む。図１Ａは、Ｉ／Ｏサブシステム１０６内の触覚フィードバックコントローラ１６１に結合された触知出力生成器を示す。触知出力生成器１６７は、任意選択的に、スピーカ若しくは他のオーディオ構成要素などの１つ以上の電気音響デバイス、及び／又はモータ、ソレノイド、電気活性ポリマー、圧電アクチュエータ、静電アクチュエータ、若しくは他の触知出力生成構成要素（例えば、デバイス上で電気信号を触知出力に変換する構成要素）などのエネルギーを直線の動きに変換する電気機械デバイスを含む。接触強度センサ１６５ は、触知フィードバック生成命令を触覚フィードバックモジュール１３３から受信し、デバイス１００のユーザが感知することが可能な触知出力をデバイス１００上に生成する。いくつかの実施形態では、少なくとも１つの触知出力生成器は、タッチ感知面（例えば、タッチ感知ディスプレイシステム１１２）と並置される、又はそれに近接しており、任意選択的に、タッチ感知面を垂直方向（例えば、デバイス１００の表面の内／外）に、又は水平方向（例えば、デバイス１００の表面と同じ平面内での往復）に移動させることによって、触知出力を生成する。いくつかの実施形態では、少なくとも１つの触知出力生成器センサは、デバイス１００の前面に配置されたタッチスクリーンディスプレイ１１２の反対側である、デバイス１００の背面に配置される。
また、デバイス１００は、任意選択的に、１つ以上の加速度計１６８を含む。図１Ａは、周辺機器インタフェース１１８に結合された加速度計１６８を示す。あるいは、加速度計１６８は、任意選択的に、Ｉ／Ｏサブシステム１０６内の入力コントローラ１６０に結合される。加速度計１６８は、任意選択的に、どちらも全体が参照により本明細書に組み込まれる、米国特許公開第２００５０１９００５９号、「Ａｃｃｅｌｅｒａｔｉｏｎ−ｂａｓｅｄ Ｔｈｅｆｔ Ｄｅｔｅｃｔｉｏｎ Ｓｙｓｔｅｍ ｆｏｒ Ｐｏｒｔａｂｌｅ Ｅｌｅｃｔｒｏｎｉｃ Ｄｅｖｉｃｅｓ」、及び米国特許公開第２００６００１７６９２号、「Ｍｅｔｈｏｄｓ Ａｎｄ Ａｐｐａｒａｔｕｓｅｓ Ｆｏｒ Ｏｐｅｒａｔｉｎｇ Ａ Ｐｏｒｔａｂｌｅ Ｄｅｖｉｃｅ Ｂａｓｅｄ Ｏｎ Ａｎ Ａｃｃｅｌｅｒｏｍｅｔｅｒ」に記載されているように機能する。いくつかの実施形態では、情報は、１つ以上の加速度計から受信したデータの分析に基づいて、縦長表示又は横長表示でタッチスクリーンディスプレイに表示される。デバイス１００は、加速度計１６８に加えて、磁気計並びにデバイス１００の場所及び向き（例えば、縦方向又は横方向）に関する情報を取得するためのＧＰＳ（又はＧＬＯＮＡＳＳ又は他のグローバルナビゲーションシステム）受信機を任意選択的に含む。
いくつかの実施形態では、メモリ１０２内に記憶されているソフトウェア構成要素は、オペレーティングシステム１２６、通信モジュール（又は命令セット）１２８、接触／動きモジュール（又は命令セット）１３０、グラフィックモジュール（又は命令セット）１３２、テキスト入力モジュール（又は命令セット）１３４、全地球測位システム（Global Positioning System、ＧＰＳ）モジュール（又は命令セット）１３５、及びアプリケーション（又は命令セット）１３６を含む。更に、いくつかの実施形態では、メモリ１０２（図１Ａ）又は３７０（図３）は、図１Ａ及び図３に示すように、デバイス／グローバル内部状態１５７を記憶する。デバイス／グローバル内部状態１５７は、現在アクティブ状態のアプリケーションがある場合に、どのアプリケーションがアクティブであるかを示すアクティブアプリケーション状態、どのアプリケーション、ビュー、又は他の情報がタッチスクリーンディスプレイ１１２の様々な領域を占めているかを示す表示状態、デバイスの様々なセンサ及び入力コントロールデバイス１１６から取得した情報を含むセンサ状態、並びにデバイスの位置、及び／又は姿勢に関する位置情報のうちの１つ以上を含む。
オペレーティングシステム１２６（例えば、Ｄａｒｗｉｎ、ＲＴＸＣ、ＬＩＮＵＸ、ＵＮＩＸ、ＯＳ Ｘ、ｉＯＳ、ＷＩＮＤＯＷＳ、又はＶｘＷｏｒｋｓなどの組込み型オペレーティングシステム）は、全般的なシステムタスク（例えば、メモリ管理、記憶装置制御、電力管理など）を制御及び管理する様々なソフトウェア構成要素及び／又はドライバを含み、様々なハードウェア構成要素とソフトウェア構成要素との間の通信を容易にする。
通信モジュール１２８は、１つ以上の外部ポート１２４を介する他のデバイスとの通信を容易にし、ＲＦ回路１０８及び／又は外部ポート１２４が受信したデータを処理するための様々なソフトウェア構成要素もまた含む。外部ポート１２４（例えば、ユニバーサルシリアルバス（Universal Serial Bus、ＵＳＢ）、ＦＩＲＥＷＩＲＥなど）は、他のデバイスとの直接的な結合、又はネットワーク（例えばインターネット、無線ＬＡＮなど）を介する間接的な結合に適合されている。いくつかの実施形態では、外部ポートは、ｉＰｏｄ（登録商標）（Ａｐｐｌｅ Ｉｎｃ．の商標）デバイス上で使用される３０ピンコネクタと同じ若しくは同様であり、かつ／又はそれに適合しているマルチピン（例えば、３０ピン）コネクタである。
接触／動きモジュール１３０は、任意選択的に、タッチスクリーン１１２及び他のタッチ感知デバイス（例えば、タッチパッド又は物理クリックホイール）との接触を（ディスプレイコントローラ１５６と連携して）検出する。接触／動きモジュール１３０は、接触が生じたかどうかを判定すること（例えば、指ダウンイベントを検出すること）、接触の強度（例えば、接触の力若しくは圧力、又は接触の力若しくは圧力の代替物）を判定すること、接触の移動が存在するかどうかを判定し、タッチ感知面を横断する移動を追跡すること（例えば、指をドラッグする１つ以上のイベントを検出すること）、及び接触が停止したかどうかを判定すること（例えば、指アップイベント又は接触の中断を検出すること）などの、接触の検出に関する様々な動作を実行するための、様々なソフトウェア構成要素を含む。接触／動きモジュール１３０は、タッチ感知面から接触データを受信する。一連の接触データによって表される、接触点の移動を判定することは、任意選択的に、接触点の速さ（大きさ）、速度（大きさ及び方向）、及び／又は加速度（大きさ及び／又は方向の変化）を判定することを含む。これらの動作は、任意選択的に、単一の接触（例えば、１本の指の接触）又は複数の同時接触（例えば、「マルチタッチ」／複数の指の接触）に適用される。いくつかの実施形態では、接触／動きモジュール１３０及びディスプレイコントローラ１５６は、タッチパッド上の接触を検出する。
いくつかの実施形態では、接触／動きモジュール１３０は、ユーザによって動作が実行されたかどうかを判定するために（例えば、ユーザがアイコン上で「クリック」したかどうかを判定するために）、１つ以上の強度閾値のセットを使用する。いくつかの実施形態では、強度閾値の少なくとも１つのサブセットは、ソフトウェアパラメータに従って判定される（例えば、強度閾値は、特定の物理アクチュエータのアクティブ化閾値によって決定されるのではなく、デバイス１００の物理ハードウェアを変更することなく調整することができる）。例えば、トラックパッド又はタッチスクリーンディスプレイのマウス「クリック」閾値は、トラックパッド又はタッチスクリーンディスプレイハードウェアを変更することなく、広範囲の既定閾値のうちのいずれかに設定することができる。加えて、いくつかの実装形態では、デバイスのユーザに、（例えば、個々の強度閾値を調整すること、及び／又は複数の強度閾値をシステムレベルのクリック「強度」パラメータによって一度に調整することによって）強度閾値のセットのうちの１つ以上を調整するソフトウェア設定が提供される。
接触／動きモジュール１３０は、任意選択的に、ユーザによるジェスチャ入力を検出する。タッチ感知面上の異なるジェスチャは、異なる接触パターン（例えば検出される接触の異なる動き、タイミング、及び／又は強度）を有する。したがって、ジェスチャは、任意選択的に、特定の接触パターンを検出することによって検出される。例えば、指タップジェスチャを検出することは、指ダウンイベントを検出し、それに続いて指ダウンイベントと同じ位置（又は実質的に同じ位置）（例えば、アイコンの位置）で指アップ（リフトオフ）イベントを検出することを含む。別の例として、タッチ感知面上で指スワイプジェスチャを検出することは、指ダウンイベントを検出し、それに続いて１つ以上の指ドラッグイベントを検出し、その後それに続いて指アップ（リフトオフ）イベントを検出することを含む。
グラフィックモジュール１３２は、表示されるグラフィックの視覚的な影響（例えば、輝度、透明度、彩度、コントラスト、又は他の視覚的特性）を変化させる構成要素を含む、タッチスクリーン１１２又は他のディスプレイ上にグラフィックをレンダリング及び表示する様々な既知のソフトウェア構成要素を含む。本明細書では、「グラフィック」という用語は、それだけに限定されるものではないが、文字、ウェブページ、アイコン（ソフトキーを含むユーザインタフェースオブジェクトなど）、デジタル画像、動画、アニメーションなどを含む、ユーザに表示することができる任意のオブジェクトを含む。
いくつかの実施形態では、グラフィックモジュール１３２は、使用されることになるグラフィックを表すデータを記憶する。各グラフィックには、任意選択的に、対応するコードが割り当てられる。グラフィックモジュール１３２は、アプリケーションなどから、必要に応じて座標データ及び他のグラフィック特性データと共に表示されることとなる、グラフィックを指定する１つ以上のコードを受信し、次にディスプレイコントローラ１５６に出力する画面の画像データを生成する。
触覚フィードバックモジュール１３３は、触知出力生成器１６７によって使用される命令を生成するための様々なソフトウェア構成要素を含み、触知出力生成器１６７は、ユーザのデバイス１００との対話に応じて、デバイス１００上の１つ以上の位置での触知出力を生成する。
テキスト入力モジュール１３４は、任意選択的に、グラフィックモジュール１３２の構成要素であり、様々なアプリケーション（例えば、連絡先１３７、電子メール１４０、ＩＭ１４１、ブラウザ１４７、及びテキスト入力を必要とする任意の他のアプリケーション）でテキストを入力するためのソフトキーボードを提供する。
ＧＰＳモジュール１３５は、デバイスの位置を判定し、この情報を様々なアプリケーションで使用するために（例えば、位置に基づくダイヤル発呼で使用するために電話１３８に、写真／動画のメタデータとしてカメラ１４３に、並びに、天気ウィジェット、地域の職業別電話帳ウィジェット、及び地図／ナビゲーションウィジェットなどの、位置に基づくサービスを提供するアプリケーションに）提供する。
アプリケーション１３６は、任意選択的に、以下のモジュール（又は命令セット）又はそれらのサブセット若しくはスーパーセットを含む。
●連絡先モジュール１３７（アドレス帳又は連絡先リストと呼ばれることもある）、
●電話モジュール１３８、
●テレビ会議モジュール１３９、
●電子メールクライアントモジュール１４０、
●インスタントメッセージング（Instant messaging、ＩＭ）モジュール１４１、
●トレーニングサポートモジュール１４２、
●静止画像及び／又は動画用のカメラモジュール１４３、
●画像管理モジュール１４４、
●動画プレーヤモジュール、
●音楽プレーヤモジュール、
●ブラウザモジュール１４７、
●カレンダモジュール１４８、
●任意選択的に、天気ウィジェット１４９−１、株価ウィジェット１４９−２、計算機ウィジェット１４９−３、目覚まし時計ウィジェット１４９−４、辞書ウィジェット１４９−５、及びユーザによって入手された他のウィジェット、並びにユーザ作成ウィジェット１４９−６のうちの１つ以上を含むウィジェットモジュール１４９、
●ユーザ作成ウィジェット１４９−６を作成するためのウィジェットクリエータモジュール１５０、
●検索モジュール１５１、
●動画プレーヤモジュール及び音楽プレーヤモジュールを一体化した動画及び音楽プレーヤモジュール１５２、
●メモモジュール１５３、
●地図モジュール１５４、並びに／又は、
●オンラインビデオモジュール１５５。
任意選択的にメモリ１０２に記憶される他のアプリケーション１３６の例としては、他のワードプロセッシングアプリケーション、他の画像編集アプリケーション、描画アプリケーション、プレゼンテーションアプリケーション、ＪＡＶＡ対応アプリケーション、暗号化、デジタル著作権管理、音声認識、及び音声複製が挙げられる。
連絡先モジュール１３７は、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と連携して、任意選択的に、アドレス帳又は連絡先リストを（例えば、メモリ１０２又はメモリ３７０内の連絡先モジュール１３７のアプリケーション内部状態１９２内に記憶して）管理するために使用される。連絡先モジュール１３７による管理には、
アドレス帳に名前を追加すること、アドレス帳から名前（単数又は複数）を削除すること、電話番号（単数又は複数）、電子メールアドレス（単数又は複数）、実際の住所（単数又は複数）、又は他の情報を名前に関連付けること、画像を名前に関連付けること、名前を分類して並べ替えること、電話番号又は電子メールアドレスを提供して、電話１３８、テレビ会議モジュール１３９、電子メール１４０、又はＩＭ１４１による通信を開始かつ／又は促進すること、などが含まれる。
電話モジュール１３８は、ＲＦ回路１０８、オーディオ回路１１０、スピーカ１１１、マイクロフォン１１３、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と連携して、任意選択的に、電話番号に対応する文字シーケンスの入力、連絡先モジュール１３７内の１つ以上の電話番号へのアクセス、入力された電話番号の修正、それぞれの電話番号のダイヤル、通話の実行、並びに通話終了時の接続切断及び通話停止のために使用される。前述したように、無線通信は、任意選択的に、複数の通信規格、プロトコル、及び技術のうちのいずれかを使用する。
テレビ会議モジュール１３９は、ＲＦ回路１０８、オーディオ回路１１０、スピーカ１１１、マイクロフォン１１３、タッチスクリーン１１２、ディスプレイコントローラ１５６、光センサ１６４、光センサコントローラ１５８、接触／動きモジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、連絡先モジュール１３７、及び電話モジュール１３８と連携して、ユーザの指示に従ってユーザと１人以上の他の参加者との間のテレビ会議を開始、実行、及び終了するための実行可能な命令を含む。
電子メールクライアントモジュール１４０は、ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と連携して、ユーザの指示に応じて電子メールを作成、送信、受信、及び管理するための実行可能な命令を含む。電子メールクライアントモジュール１４０は、画像管理モジュール１４４と連携して、カメラモジュール１４３で撮影された静止画像又は動画を含む電子メールの作成及び送信を非常に容易にする。
インスタントメッセージングモジュール１４１は、ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と連携して、インスタントメッセージに対応する文字シーケンスの入力、以前に入力された文字の修正、（例えば、電話通信ベースのインスタントメッセージ向けのショートメッセージサービス（Short Message Service、ＳＭＳ）若しくはマルチメディアメッセージサービス（Multimedia Message Service、ＭＭＳ）プロトコル、又はインターネットベースのインスタントメッセージ向けのＸＭＰＰ、ＳＩＭＰＬＥ、若しくはＩＭＰＳを使用する）それぞれのインスタントメッセージの送信、インスタントメッセージの受信、及び受信したインスタントメッセージの閲覧のための実行可能な命令を含む。いくつかの実施形態では、送信される及び／又は受信されるインスタントメッセージは、任意選択的に、ＭＭＳ及び／又は拡張メッセージングサービス（Enhanced Messaging Service、ＥＭＳ）でサポートされるようなグラフィック、写真、オーディオファイル、動画ファイル、及び／又は他の添付ファイルを含む。本明細書では、「インスタントメッセージング」とは、電話通信ベースのメッセージ（例えば、ＳＭＳ又はＭＭＳを使用して送信されるメッセージ）と、インターネットベースのメッセージ（例えば、ＸＭＰＰ、ＳＩＭＰＬＥ、又はＩＭＰＳを使用して送信されるメッセージ）との両方を指す。
トレーニングサポートモジュール１４２は、ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、ＧＰＳモジュール１３５、地図モジュール１５４、及び音楽プレーヤモジュールと連携して、トレーニング（例えば、時間、距離、及び／又はカロリー燃焼の目標を有する）を作成し、トレーニングセンサ（スポーツデバイス）と通信し、トレーニングセンサデータを受信し、トレーニングをモニタするために使用されるセンサを較正し、トレーニングのための音楽を選択及び再生し、並びに、トレーニングデータを表示、記憶、及び送信するための実行可能な命令を含む。
カメラモジュール１４３は、タッチスクリーン１１２、ディスプレイコントローラ１５６、光センサ１６４、光センサコントローラ１５８、接触／動きモジュール１３０、グラフィックモジュール１３２、及び画像管理モジュール１４４と連携して、静止画像若しくは（動画ストリームを含む）動画のキャプチャ及びメモリ１０２内への記憶、静止画像若しくは動画の特性の修正、又はメモリ１０２からの静止画像若しくは動画の削除のための実行可能な命令を含む。
画像管理モジュール１４４は、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、及びカメラモジュール１４３と連携して、静止画像及び／若しくは動画の配置、修正（例えば、編集）、又はその他の操作、ラベル付け、削除、（例えば、デジタルスライドショー若しくはアルバムにおける）提示、及び記憶のための実行可能な命令を含む。
ブラウザモジュール１４７は、ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と連携して、ウェブページ又はその一部分、並びにウェブページにリンクされた添付ファイル及び他のファイルの検索、リンク、受信、及び表示を含む、ユーザの指示に従ってインターネットをブラウジングするための実行可能な命令を含む。
カレンダモジュール１４８は、ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、電子メールクライアントモジュール１４０、及びブラウザモジュール１４７と連携して、ユーザの指示に従って、カレンダ及びカレンダに関連付けられたデータ（例えば、カレンダアイテム、ｔｏ−ｄｏリストなど）を作成、表示、修正、及び記憶するための実行可能な命令を含む。
ウィジェットモジュール１４９は、ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、及びブラウザモジュール１４７と連携して、任意選択的に、ユーザによってダウンロード及び使用されるミニアプリケーション（例えば、天気ウィジェット１４９−１、株価ウィジェット１４９−２、計算機ウィジェット１４９−３、目覚まし時計ウィジェット１４９−４、及び辞書ウィジェット１４９−５）、又はユーザによって作成されたミニアプリケーション（例えば、ユーザ作成ウィジェット１４９−６）である。いくつかの実施形態では、ウィジェットは、ＨＴＭＬ（Hypertext Markup Language、ハイパーテキストマークアップ言語）ファイル、ＣＳＳ（Cascading Style Sheets、カスケーディングスタイルシート）ファイル、及びＪａｖａＳｃｒｉｐｔファイルを含む。いくつかの実施形態では、ウィジェットは、ＸＭＬ（Extensible Markup Language、拡張可能マークアップ言語）ファイル及びＪａｖａＳｃｒｉｐｔファイル（例えば、Ｙａｈｏｏ！ウィジェット）を含む。
ウィジェットクリエータモジュール１５０は、ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、及びブラウザモジュール１４７と連携して、任意選択的に、ウィジェットを作成する（例えば、ウェブページのユーザ指定部分をウィジェットにする）ために、ユーザによって使用される。
検索モジュール１５１は、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と連携して、ユーザの指示に従って１つ以上の検索基準（例えば、１つ以上のユーザ指定検索語）と一致するメモリ１０２内の文字、音楽、サウンド、画像、動画、及び／又は他のファイルを検索するための実行可能な命令を含む。
動画及び音楽プレーヤモジュール１５２は、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、オーディオ回路１１０、スピーカ１１１、ＲＦ回路１０８、及びブラウザモジュール１４７と連携して、ＭＰ３又はＡＡＣファイルなどの１つ以上のファイル形式で記憶された録音済みの音楽及び他のサウンドファイルをユーザがダウンロード及び再生できるようにする実行可能な命令、並びに動画を（例えば、タッチスクリーン１１２上又は外部ポート１２４を介して接続された外部のディスプレイ上に）表示、提示、又は別の方法で再生するための実行可能な命令を含む。いくつかの実施形態では、デバイス１００は、任意選択的に、ｉＰｏｄ（Ａｐｐｌｅ Ｉｎｃ．の商標）などのＭＰ３プレーヤの機能を含む。
メモモジュール１５３は、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と連携して、ユーザの指示に従ってメモ、ｔｏ−ｄｏリストなどを作成及び管理するための実行可能な命令を含む。
地図モジュール１５４は、ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、ＧＰＳモジュール１３５、及びブラウザモジュール１４７と連携して、任意選択的に、ユーザの指示に従って、地図及び地図に関連付けられたデータ（例えば、運転の道順、特定の場所又はその付近の店舗及び他の見どころに関するデータ、並びに他の場所ベースのデータ）を受信、表示、修正、及び記憶するために使用される。
オンラインビデオモジュール１５５は、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、オーディオ回路１１０、スピーカ１１１、ＲＦ回路１０８、テキスト入力モジュール１３４、電子メールクライアントモジュール１４０、及びブラウザモジュール１４７と連携して、ユーザが特定のオンラインビデオへのアクセス、特定のオンラインビデオのブラウジング、（例えば、ストリーミング及び／又はダウンロードによる）受信、（例えば、タッチスクリーン上又は外部ポート１２４を介して接続された外部ディスプレイ上の）再生、特定のオンラインビデオへのリンクを有する電子メールの送信、並びにＨ．２６４などの１つ以上のファイル形式のオンラインビデオの他の管理を行うことを可能にする命令を含む。いくつかの実施形態では、特定のオンラインビデオへのリンクを送信するために、電子メールクライアントモジュール１４０ではなく、インスタントメッセージングモジュール１４１が使用される。オンラインビデオアプリケーションについての追加の説明は、その内容の全体が参照により本明細書に組み込まれる、２００７年６月２０日出願の米国仮特許出願第６０／９３６，５６２号、「Ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｆｕｎｃｔｉｏｎ Ｄｅｖｉｃｅ，Ｍｅｔｈｏｄ，ａｎｄ Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ ｆｏｒ Ｐｌａｙｉｎｇ Ｏｎｌｉｎｅ Ｖｉｄｅｏｓ」、及び２００７年１２月３１日出願の米国特許出願第１１／９６８，０６７号、「Ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｆｕｎｃｔｉｏｎ Ｄｅｖｉｃｅ，Ｍｅｔｈｏｄ，ａｎｄ Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ ｆｏｒ Ｐｌａｙｉｎｇ Ｏｎｌｉｎｅ Ｖｉｄｅｏｓ」を参照されたい。
上記で特定したモジュール及びアプリケーションはそれぞれ、前述した１つ以上の機能及び本出願に記載した方法（例えば、本明細書に記載したコンピュータにより実装される方法及び他の情報処理方法）を実行する実行可能な命令のセットに対応する。これらのモジュール（例えば、命令セット）は、別個のソフトウェアプログラム、手順、又はモジュールとして実装される必要はなく、したがって、様々な実施形態において、これらのモジュールの様々なサブセットが、任意選択的に、組み合わされ、又は別の方法で再構成される。例えば、動画プレーヤモジュールは、任意選択的に、音楽プレーヤモジュールと組み合わされて、単一のモジュール（例えば、図１Ａの動画及び音楽プレーヤモジュール１５２）にされる。いくつかの実施形態では、メモリ１０２は、任意選択的に、上記で特定されたモジュール及びデータ構造のサブセットを記憶する。更に、メモリ１０２は、上記で説明されていない追加のモジュール及びデータ構造を任意選択的に記憶する。
いくつかの実施形態では、デバイス１００は、そのデバイスにおける既定の機能のセットの動作がタッチスクリーン及び／又はタッチパッドのみを介して実行されるデバイスである。デバイス１００が動作するための主要な入力コントロールデバイスとしてタッチスクリーン及び／又はタッチパッドを使用することにより、任意選択的に、デバイス１００上の物理的な入力コントロールデバイス（プッシュボタン、ダイヤルなど）の数が削減される。
タッチスクリーン及び／又はタッチパッドを通じてのみ実行される既定の機能のセットは、任意選択的に、ユーザインタフェース間のナビゲーションを含む。いくつかの実施形態では、タッチパッドは、ユーザによってタッチされたときに、デバイス１００上に表示される任意のユーザインタフェースから、デバイス１００をメイン、ホーム、又はルートメニューにナビゲートする。そのような実施形態では、「メニューボタン」は、タッチパッドを使用して実装される。いくつかの他の実施形態では、メニューボタンは、タッチパッドではなく、物理プッシュボタン又はその他の物理入力コントロールデバイスである。
図１Ｂは、いくつかの実施形態に係る、イベント処理のための例示的な構成要素を示すブロック図である。いくつかの実施形態では、メモリ１０２（図１Ａ）又は３７０（図３）は、イベントソータ１７０（例えば、オペレーティングシステム１２６内）と、それぞれのアプリケーション１３６−１（例えば、前述のアプリケーション１３７〜１５１、１５５、３８０〜３９０のうちのいずれか）とを含む。
イベントソータ１７０は、イベント情報を受信し、イベント情報を伝送する先である、アプリケーション１３６−１及びアプリケーション１３６−１のアプリケーションビュー１９１を決定する。イベントソータ１７０は、イベントモニタ１７１及びイベントディスパッチャモジュール１７４を含む。いくつかの実施形態では、アプリケーション１３６−１は、アプリケーションがアクティブ又は実行中であるときにタッチ感知ディスプレイ１１２に表示される現在のアプリケーションビューを示すアプリケーション内部状態１９２を含む。いくつかの実施形態では、デバイス／グローバル内部状態１５７は、どのアプリケーション（単数又は複数）が現在アクティブであるかを判定するためにイベントソータ１７０によって使用され、アプリケーション内部状態１９２は、イベント情報が伝送されるアプリケーションビュー１９１を判定するためにイベントソータ１７０によって使用される。
いくつかの実施形態では、アプリケーション内部状態１９２は、アプリケーション１３６−１が実行を再開するときに使用すべき再開情報、アプリケーション１３６−１によって表示されている情報又は表示する準備ができている情報を示すユーザインタフェース状態情報、ユーザがアプリケーション１３６−１の以前の状態又はビューに戻ることを可能にする状態キュー、及びユーザによって行われた以前のアクションのリドゥ／アンドゥキューのうちの１つ以上などの追加の情報を含む。
イベントモニタ１７１は、周辺機器インタフェース１１８からイベント情報を受信する。イベント情報は、サブイベント（例えば、タッチ感知ディスプレイ１１２でのマルチタッチジェスチャの一部としてのユーザタッチ）に関する情報を含む。周辺機器インタフェース１１８は、Ｉ／Ｏサブシステム１０６から受信する情報、あるいは近接センサ１６６、加速度計（単数又は複数）１６８、及び／又は（オーディオ回路１１０を介した）マイクロフォン１１３などのセンサから受信する情報を伝達する。周辺機器インタフェース１１８がＩ／Ｏサブシステム１０６から受信する情報は、タッチ感知ディスプレイ１１２又はタッチ感知面からの情報を含む。
いくつかの実施形態では、イベントモニタ１７１は、所定の間隔で周辺機器インタフェース１１８に要求を送信する。それに応じて、周辺機器インタフェース１１８は、イベント情報を送信する。他の実施形態では、周辺機器インタフェース１１８は、重要なイベント（例えば、所定のノイズ閾値を上回る及び／又は所定の持続時間を超える入力の受信）があるときのみイベント情報を送信する。
いくつかの実施形態では、イベントソータ１７０はまた、ヒットビュー判定モジュール１７２及び／又はアクティブイベント認識部判定モジュール１７３を含む。
ヒットビュー判定モジュール１７２は、タッチ感知ディスプレイ１１２が２つ以上のビューを表示しているときに、サブイベントが１つ以上のビュー内のどこで起きたかを判定するソフトウェア手順を提供する。ビューは、ユーザがディスプレイ上で見ることができる制御部及び他の要素から構成されている。
アプリケーションに関連付けられたユーザインタフェースの別の態様は、本明細書ではアプリケーションビュー又はユーザインタフェースウィンドウと呼ばれることがあるビューのセットであり、その中で情報が表示され、タッチに基づくジェスチャが生じる。タッチが検出される（それぞれのアプリケーションの）アプリケーションビューは、任意選択的に、アプリケーションのプログラム階層又はビュー階層内のプログラムレベルに対応する。例えば、タッチが検出される最下位レベルビューは、任意選択的に、ヒットビューと呼ばれ、また、適切な入力として認識されるイベントのセットは、任意選択的に、タッチによるジェスチャを開始する初期タッチのヒットビューに少なくとも部分的に基づいて判定される。
ヒットビュー判定モジュール１７２は、タッチに基づくジェスチャのサブイベントに関連する情報を受信する。アプリケーションが階層状に構成された複数のビューを有するとき、ヒットビュー判定モジュール１７２は、サブイベントを処理すべき階層内の最下位のビューとして、ヒットビューを特定する。ほとんどの状況では、ヒットビューは、開始サブイベント（例えば、イベント又は潜在的イベントを形成するサブイベントシーケンスにおける第１のサブイベント）が発生する最も低いレベルのビューである。ヒットビューがヒットビュー判定モジュール１７２によって特定されると、ヒットビューは、通常、ヒットビューとして特定されたタッチ又は入力ソースと同じタッチ又は入力ソースに関係する全てのサブイベントを受信する。
アクティブイベント認識部判定モジュール１７３は、ビュー階層内のどのビュー（単数又は複数）がサブイベントの特定のシーケンスを受信すべきかを判定する。いくつかの実施形態では、アクティブイベント認識部判定モジュール１７３は、ヒットビューのみがサブイベントの特定のシーケンスを受信すべきであると判定する。他の実施形態では、アクティブイベント認識部判定モジュール１７３は、サブイベントの物理的位置を含む全てのビューがアクティブに関わりがあるビューであると判定し、したがって、全てのアクティブに関わりがあるビューが、サブイベントの特定のシーケンスを受信すべきであると判定する。他の実施形態では、タッチサブイベントが１つの特定のビューに関連付けられたエリアに完全に限定されている場合でも、階層内の上位のビューは、依然としてアクティブに関わりがあるビューであり続ける。
イベントディスパッチャモジュール１７４は、イベント情報をイベント認識部（例えばイベント認識部１８０）に送り出す。アクティブイベント認識部判定モジュール１７３を含む実施形態では、イベントディスパッチャモジュール１７４は、アクティブイベント認識部判定モジュール１７３により判定されたイベント認識部にイベント情報を伝送する。いくつかの実施形態では、イベントディスパッチャモジュール１７４は、それぞれのイベント受信部１８２によって取得されるイベント情報をイベントキューに記憶する。
いくつかの実施形態では、オペレーティングシステム１２６は、イベントソータ１７０を含む。あるいは、アプリケーション１３６−１がイベントソータ１７０を含む。更に他の実施形態では、イベントソータ１７０は、独立型のモジュールであり、又は接触／動きモジュール１３０などのメモリ１０２内に記憶されている別のモジュールの一部分である。
いくつかの実施形態では、アプリケーション１３６−１は、それぞれがアプリケーションのユーザインタフェースのそれぞれのビュー内で発生するタッチイベントを処理するための命令を含む、複数のイベント処理部１９０及び１つ以上のアプリケーションビュー１９１を含む。アプリケーション１３６−１の各アプリケーションビュー１９１は、１つ以上のイベント認識部１８０を含む。典型的には、それぞれのアプリケーションビュー１９１は、複数のイベント認識部１８０を含む。他の実施形態では、イベント認識部１８０のうちの１つ以上は、ユーザインタフェースキット、又は、アプリケーション１３６−１が方法及び他の属性を継承する上位レベルのオブジェクトなどの、別個のモジュールの一部である。いくつかの実施形態では、それぞれのイベント処理部１９０は、データ更新部１７６、オブジェクト更新部１７７、ＧＵＩ更新部１７８、及び／又はイベントソータ１７０から受信されたイベントデータ１７９、のうちの１つ以上を含む。イベント処理部１９０は、任意選択的に、データ更新部１７６、オブジェクト更新部１７７、又はＧＵＩ更新部１７８を利用し又は呼び出して、アプリケーション内部状態１９２を更新する。あるいは、アプリケーションビュー１９１のうちの１つ以上が、１つ以上のそれぞれのイベント処理部１９０を含む。また、いくつかの実施形態では、データ更新部１７６、オブジェクト更新部１７７、及びＧＵＩ更新部１７８のうちの１つ以上は、それぞれのアプリケーションビュー１９１に含まれる。
それぞれのイベント認識部１８０は、イベントソータ１７０からイベント情報（例えば、イベントデータ１７９）を受信し、イベント情報からイベントを特定する。イベント認識部１８０は、イベント受信部１８２とイベント比較部１８４を含む。いくつかの実施形態では、イベント認識部１８０はまた、メタデータ１８３及びイベント伝送命令１８８（任意選択的にサブイベント伝送命令を含む）の少なくともサブセットも含む。
イベント受信部１８２は、イベントソータ１７０からイベント情報を受信する。イベント情報は、サブイベント、例えば、タッチ又はタッチの移動についての情報を含む。サブイベントに応じて、イベント情報はまた、サブイベントの位置などの追加の情報を含む。サブイベントがタッチの動きに関わるとき、イベント情報は任意選択的に、サブイベントの速さ及び方向もまた含む。いくつかの実施形態では、イベントは、１つの向きから別の向きへの（例えば、縦向きから横向きへ、又はその逆の）デバイスの回転を含み、イベント情報は、デバイスの現在の向き（デバイスの姿勢とも呼ぶ）についての対応する情報を含む。
イベント比較部１８４は、イベント情報を、既定のイベント又はサブイベントの定義と比較し、その比較に基づいて、イベント又はサブイベントを判定するか、あるいはイベント又はサブイベントの状態を判定若しくは更新する。いくつかの実施形態では、イベント比較部１８４は、イベント定義１８６を含む。イベント定義１８６は、例えばイベント１（１８７−１）及びイベント２（１８７−２）などのイベント（例えば、既定のサブイベントのシーケンス）の定義を含む。いくつかの実施形態では、イベント（１８７）内のサブイベントは、例えば、タッチの開始、タッチの終了、タッチの移動、タッチの取り消し、及び複数のタッチを含む。一実施例では、イベント１（１８７−１）についての定義は、表示されたオブジェクト上のダブルタップである。ダブルタップは、例えば、所定の段階に対する表示オブジェクト上の第１のタッチ（タッチ開始）、所定の段階に対する第１のリフトオフ（タッチ終了）、所定の段階に対する表示オブジェクト上の第２のタッチ（タッチ開始）、及び所定の段階に対する第２のリフトオフ（タッチ終了）を含む。別の実施例では、イベント２（１８７−２）の定義は、表示されたオブジェクト上のドラッグである。ドラッグは、例えば、所定の段階に対する表示オブジェクト上のタッチ（又は接触）、タッチ感知ディスプレイ１１２にわたるタッチの移動、及びタッチのリフトオフ（タッチ終了）を含む。いくつかの実施形態では、イベントは、１つ以上の関連付けられたイベント処理部１９０に関する情報も含む。
いくつかの実施形態では、イベント定義１８７は、それぞれのユーザインタフェースオブジェクトについてのイベントの定義を含む。いくつかの実施形態では、イベント比較部１８４は、どのユーザインタフェースオブジェクトがサブイベントに関連付けられているかを判定するヒットテストを実行する。例えば、タッチ感知ディスプレイ１１２に３つのユーザインタフェースオブジェクトが表示されているアプリケーションビュー内で、タッチ感知ディスプレイ１１２上でタッチが検出されると、イベント比較部１８４は、ヒットテストを実行して、３つのユーザインタフェースオブジェクトのうちのどれがタッチ（サブイベント）に関連付けられているかを判定する。表示された各オブジェクトが、それぞれのイベント処理部１９０に関連付けられている場合、イベント比較部は、ヒットテストの結果を用いて、どのイベント処理部１９０をアクティブ化すべきかを判定する。例えば、イベント比較部１８４は、ヒットテストをトリガするサブイベント及びオブジェクトに関連付けられたイベント処理部を選択する。
いくつかの実施形態では、それぞれのイベント１８７の定義は、サブイベントのシーケンスがイベント認識部のイベントタイプに対応するかどうかが判定されるまで、イベント情報の伝送を遅らせる遅延アクションも含む。
それぞれのイベント認識部１８０が一連のサブイベントがイベント定義１８６のイベントのいずれとも一致しないと判断した場合、それぞれのイベント認識部１８０は、イベント不可能、イベント失敗、又はイベント終了の状態に入り、その後は、タッチに基づくジェスチャのその後のサブイベントを無視する。この状況において、ヒットビューについてアクティブのままである他のイベント認識部があれば、そのイベント認識部は、進行中のタッチによるジェスチャのサブイベントの追跡及び処理を続行する。
いくつかの実施形態では、それぞれのイベント認識部１８０は、メタデータ１８３を含み、メタデータ１８３は、イベント伝送システムがどのようにサブイベント伝送を実行すべきかをアクティブに関与しているイベント認識部に示す、構成可能なプロパティ、フラグ、及び／又はリストを有する。いくつかの実施形態では、メタデータ１８３は、イベント認識部が互いにどのように対話するか、又はイベント認識部が互いにどのように対話することが可能とされているかを示す構成可能なプロパティ、フラグ、及び／又はリストを含む。いくつかの実施形態では、メタデータ１８３は、サブイベントがビュー階層又はプログラム階層における多様なレベルに伝送されるかどうかを示す、構成可能なプロパティ、フラグ、及び／又はリストを含む。
いくつかの実施形態では、それぞれのイベント認識部１８０は、イベントの１つ以上の特定のサブイベントが認識されるときに、イベントに関連付けられたイベント処理部１９０をアクティブ化する。いくつかの実施形態では、それぞれのイベント認識部１８０は、イベントに関連付けられたイベント情報をイベント処理部１９０に伝送する。イベント処理部１９０をアクティブ化することは、それぞれのヒットビューにサブイベントを送信する（及び、送信を延期する）こととは別個である。いくつかの実施形態では、イベント認識部１８０は、認識したイベントに関連付けられたフラグを立て、そのフラグに関連付けられたイベント処理部１９０は、そのフラグをキャッチして既定のプロセスを実行する。
いくつかの実施形態では、イベント伝送命令１８８は、サブイベントについてのイベント情報をイベント処理部をアクティブ化することなく伝送するサブイベント伝送命令を含む。代わりに、サブイベント伝送命令は、一連のサブイベントと関連付けられたイベント処理部に、又はアクティブに関与しているビューにイベント情報を伝送する。一連のサブイベント又はアクティブに関与しているビューと関連付けられたイベント処理部は、イベント情報を受信し、所定の処理を実行する。
いくつかの実施形態では、データ更新部１７６は、アプリケーション１３６−１で使用されるデータを作成及び更新する。例えば、データ更新部１７６は、連絡先モジュール１３７で使用される電話番号を更新し、又は動画プレーヤモジュールで使用される動画ファイルを記憶する。いくつかの実施形態では、オブジェクト更新部１７７は、アプリケーション１３６−１で使用されるオブジェクトを作成及び更新する。例えば、オブジェクト更新部１７７は、新たなユーザインタフェースオブジェクトを作成し、又はユーザインタフェースオブジェクトの位置を更新する。ＧＵＩ更新部１７８は、ＧＵＩを更新する。例えば、ＧＵＩ更新部１７８は、表示情報を準備し、タッチ感知ディスプレイ上に表示するために表示情報をグラフィックモジュール１３２に送る。
いくつかの実施形態では、イベント処理部（単数又は複数）１９０は、データ更新部１７６、オブジェクト更新部１７７、及びＧＵＩ更新部１７８を含む又はそれらへのアクセスを有する。いくつかの実施形態では、データ更新部１７６、オブジェクト更新部１７７、及びＧＵＩ更新部１７８は、それぞれのアプリケーション１３６−１又はアプリケーションビュー１９１の単一モジュールに含まれる。他の実施形態では、それらは、２つ以上のソフトウェアモジュールに含まれる。
タッチ感知ディスプレイ上のユーザのタッチのイベント処理に関する前述の記載は、入力デバイスを用いて多機能デバイス１００を動作させるための他の形態のユーザ入力にも適用されるが、それらの全てがタッチスクリーン上で開始されるわけではないことを理解されたい。例えば、キーボードの単一又は複数の押し下げ若しくは保持と任意選択的に連携される、マウスの移動及びマウスボタンの押し下げ、タッチパッド上のタップ、ドラッグ、スクロールなどの接触の移動、ペンスタイラス入力、デバイスの移動、口頭による命令、検出された眼球運動、バイオメトリック入力、並びに／又はそれらの任意の組み合わせが、任意選択的に、認識されるイベントを定義するサブイベントに対応する入力として利用される。
図１Ｃは、様々な実施例による、システム２１００のブロック図を示す。一部の実施例では、システム２１００は、デジタルアシスタントを実装する。用語「デジタルアシスタント」、「仮想アシスタント」、「インテリジェント自動アシスタント」、又は「自動デジタルアシスタント」は、発語形式及び／又はテキスト形式の自然言語入力を解釈することによりユーザ意図を推測して、その推測されたユーザ意図に基づいてアクションを実行する、任意の情報処理システムを指す。例えば、システムは、推測されたユーザ意図に基づいて作用するために、推測されたユーザ意図を実現するように設計されたステップ及びパラメータを有するタスクフローを特定し、推測されたユーザ意図からの具体的な要件を、そのタスクフローに入力すること、プログラム、方法、サービス、又はＡＰＩなどを呼び出すことによって、そのタスクフローを実行すること、及び可聴（例えば、発語）形式及び／又は視覚形態で、ユーザに対する出力応答を生成することのうちの、１つ以上を実行する。
具体的には、デジタルアシスタントは、少なくとも部分的に、自然言語によるコマンド、要求、意見、談話、及び／又は照会の形態で、ユーザ要求を受け入れることが可能である。典型的には、ユーザ要求は、デジタルアシスタントによる情報回答又はタスクの実行のいずれかを求めるものである。ユーザ要求に対する満足な応答は、要求された情報回答の提供、要求されたタスクの実行、又は、それら２つの組み合わせを含む。例えば、ユーザは、デジタルアシスタントに、「私は今どこにいますか？（Where am I right now?）」などの質問をする。ユーザの現在位置に基づいて、デジタルアシスタントは、「あなたは西ゲート付近の中央公園にいます」と応答する。ユーザはまた、例えば、「私の友人を、来週の私のガールフレンドの誕生日パーティーに招待してください。」のように、タスクの実行も要求する。それに応じて、デジタルアシスタントは、「はい、ただ今。」と述べて、その要求に肯定応答することができ、次いで、そのユーザの電子アドレス帳にリストされているユーザの友人のそれぞれに、ユーザに代わって、好適なカレンダ招待状を送信することができる。要求されたタスクの実施中に、デジタルアシスタントは、長時間にわたる複数の情報交換を伴う連続的な会話で、ユーザと対話する場合がある。情報又は様々なタスクの実行を要求するためにデジタルアシスタントと対話する、数多くの他の方法が存在する。言葉による応答を提供してプログラムされたアクションを取ることに加えて、デジタルアシスタントはまた、他の視覚形式又は音声形式で、例えば、テキスト、警報、音楽、動画、アニメーションなどで応答を提供する。
図１Ｃに示すように、一部の実施例では、デジタルアシスタントは、クライアント−サーバモデルに従って実装される。デジタルアシスタントは、ユーザデバイス１０４ 上で実行されるクライアント側部分２１０２（以後、「ＤＡクライアント２１０２」）、及びサーバシステム２１０８上で実行されるサーバ側部分２１０６（以後、「ＤＡサーバ２１０６」）を含む。ＤＡクライアント２１０２は、１つ以上のネットワーク２１１０を通じてＤＡサーバ２１０６と通信する。ＤＡクライアント２１０２は、ユーザ対応入力及び出力処理、並びにＤＡサーバ２１０６との通信などの、クライアント側機能を提供する。ＤＡサーバ２１０６は、各ユーザデバイス２１０４上にそれぞれが常駐する、任意の数のＤＡクライアント２１０２に、サーバ側機能を提供する。
一部の実施例では、ＤＡサーバ２１０６は、クライアント対応Ｉ／Ｏインタフェース２１１２、１つ以上の処理モジュール２１１４、データ及びモデル２１１６、並びに、外部サービスへのＩ／Ｏインタフェース２１１８を含む。クライアント対応Ｉ／Ｏインタフェース２１１２は、ＤＡサーバ２１０６のクライアント対応入力及び出力処理を容易にする。１つ以上の処理モジュール２１１４は、データ及びモデル２１１６を利用して、音声入力を処理し、自然言語入力に基づいてユーザの意図を判定する。更には、１つ以上の処理モジュール２１１４は、タスク実行を、推測されたユーザ意図に基づいて実施する。一部の実施例では、ＤＡサーバ２１０６は、タスクの完了又は情報の取得のために、ネットワーク（単数又は複数）２１１０を通じて外部サービス１２０と通信する。外部サービスへのＩ／Ｏインタフェース２１１８は、そのような通信を容易にする。
ユーザデバイス２１０４は、任意の好適な電子デバイスとすることができる。いくつかの実施例では、ユーザデバイス２１０４は、ポータブル多機能デバイス（例えば、図１Ａを参照して上述されたデバイス１００）、多機能デバイス、又はポータブル多機能デバイス（例えば、デバイス６００，８００，１０００）である。ポータブル多機能デバイスは、例えば、ＰＤＡ及び／又は音楽プレーヤ機能などの他の機能も含む携帯電話である。ポータブル多機能デバイスの具体例としては、Ａｐｐｌｅ Ｉｎｃ．（Ｃｕｐｅｒｔｉｎｏ，Ｃａｌｉｆｏｒｎｉａ）による、Ａｐｐｌｅ Ｗａｔｃｈ（登録商標）、ｉＰｈｏｎｅ（登録商標）、ｉＰｏｄ Ｔｏｕｃｈ（登録商標）、及びｉＰａｄ（登録商標）デバイスが挙げられる。ポータブル多機能デバイスの他の例としては、限定するものではないが、イヤホン／ヘッドホン、スピーカ、及び、ラップトップコンピュータ若しくはタブレットコンピュータが挙げられる。更には、一部の実施例では、ユーザデバイス２１０４は、非ポータブル多機能デバイスである。具体的には、ユーザデバイス２１０４は、デスクトップコンピュータ、ゲームコンソール、スピーカ、テレビ、又はテレビセットトップボックスである。一部の実施例では、ユーザデバイス２１０４は、タッチ感知面（例えば、タッチスクリーンディスプレイ及び／又はタッチパッド）を含む。更に、ユーザデバイス２１０４は、任意選択的に、物理キーボード、マウス、及び／又はジョイスティックなどの、１つ以上の他の物理ユーザインタフェースデバイスを含む。多機能デバイスなどの電子デバイスの様々な実施例が、以下で更に詳細に説明される。
通信ネットワーク（単数又は複数）２１１０の例としては、ローカルエリアネットワーク（local area network；ＬＡＮ）、及びワイドエリアネットワーク（wide area network；ＷＡＮ）、例えば、インターネットが挙げられる。通信ネットワーク（単数又は複数）２１１０は、例えば、イーサネット、ユニバーサルシリアルバス（Universal Serial Bus；ＵＳＢ）、ＦＩＲＥＷＩＲＥ、移動通信用のグローバルシステム（Global System for Mobile Communications；ＧＳＭ）、拡張データＧＳＭ環境（Enhanced Data GSM Environment；ＥＤＧＥ）、符号分割多元接続（code division multiple access；ＣＤＭＡ）、時分割多元接続（time division multiple access；ＴＤＭＡ）、Ｂｌｕｅｔｏｏｔｈ、Ｗｉ−Ｆｉ、ボイスオーバーインターネットプロトコル（voice over Internet Protocol；ＶｏＩＰ）、Ｗｉ−ＭＡＸ、又は任意の他の好適な通信プロトコルなどの、様々な有線若しくは無線プロトコルを含めた、任意の既知のネットワークプロトコルを使用して実装される。
サーバシステム２１０８は、１つ以上のスタンドアロン型データ処理装置、又は分散型のコンピュータネットワーク上に実装される。一部の実施例では、サーバシステム２１０８はまた、サーバシステム２１０８の基本的なコンピューティングリソース及び／又はインフラストラクチャリソースを提供するために、様々な仮想デバイス及び／又は第三者サービスプロバイダ（例えば、第三者クラウドサービスプロバイダ）のサービスも採用する。
一部の実施例では、ユーザデバイス２１０４は、第２のユーザデバイス２１２２を介してＤＡサーバ２１０６と通信する。第２のユーザデバイス２１２２は、ユーザデバイス２１０４と類似又は同一である。ユーザデバイス２１０４は、Ｂｌｕｅｔｏｏｔｈ、ＮＦＣ、ＢＴＬＥなどの直接通信接続を介して、又はローカルＷｉ−Ｆｉネットワークなどの有線又は無線ネットワークを介して第２のユーザデバイス２１２２に通信可能に結合されるように構成される。一部の実施例では、第２のユーザデバイス２１２２は、ユーザデバイス２１０４とＤＡサーバ２１０６との間のプロキシとしての役割を果たすように構成されている。例えば、ユーザデバイス２１０４のＤＡクライアント２１０２は、第２のユーザデバイス２１２２を介して、情報（例えば、ユーザデバイス２１０４で受信されたユーザ要求）をＤＡサーバ２１０６に送信するように構成されている。ＤＡサーバ２１０６は、情報を処理して、第２のユーザデバイス２１２２を介して、関連データ（例えば、ユーザ要求に応答するデータコンテンツ）をユーザデバイス２１０４に返す。
一部の実施例では、ユーザデバイス２１０４は、データに対する短縮化された要求を第２のユーザデバイス２１２２に伝えることにより、ユーザデバイス２１０４から送信される情報の量を低減するように構成されている。第２のユーザデバイス２１２２は、その短縮化された要求に追加するべき補足情報を判定して、ＤＡサーバ２１０６に送信するための完全な要求を生成するように構成されている。このシステムアーキテクチャは、制限された通信能力及び／又は制限されたバッテリ電力を有するユーザデバイス２１０４（例えば、腕時計又は類似の小型電子デバイス）が、ＤＡサーバ２１０６へのプロキシとしてより高い通信能力及び／又はバッテリ電力を有する第２のユーザデバイス２１２２（例えば、携帯電話、ラップトップコンピュータ、タブレットコンピュータなど）を使用することによってＤＡサーバ２１０６によって提供されるサービスにアクセスすることを有利に許容することができる。図１Ｃでは、２つのユーザデバイス２１０４及びユーザデバイス２１２２のみが示されているが、システム２１００は、一部の実施例では、このプロキシ構成でＤＡサーバシステム２１０６と通信するように構成された、任意の数及びタイプのユーザデバイスを含むことを理解されたい。
図１Ｃに示すデジタルアシスタントは、クライアント側部分（例えば、ＤＡクライアント２１０２）とサーバ側部分（例えばＤＡサーバ２１０６）の両方を含むが、いくつかの例では、デジタルアシスタントの機能は、ユーザデバイスにインストールされた独立したアプリケーションとして実装される。更には、デジタルアシスタントのクライアント部分とサーバ部分との間での機能の割り振りは、実装形態によって異なり得る。例えば、一部の実施例では、ＤＡクライアントは、ユーザ対応入力及び出力処理機能のみを提供し、デジタルアシスタントの他の全ての機能をバックエンドサーバに委ねる、シンクライアントである。
図２は、いくつかの実施形態に係る、タッチスクリーン１１２を有するポータブル多機能デバイス１００を示す。タッチスクリーンは、任意選択的に、ユーザインタフェース（user interface、ＵＩ）２００内に１つ以上のグラフィックを表示する。本実施形態、並びに以下で説明される他の実施形態では、ユーザは、例えば、１本以上の指２０２（図には正確な縮尺では描かれていない）又は１つ以上のスタイラス２０３（図には正確な縮尺では描かれていない）を使用して、グラフィック上でジェスチャを実施することによって、それらのグラフィックのうちの１つ以上を選択することが可能となる。いくつかの実施形態では、１つ以上のグラフィックの選択は、ユーザが、その１つ以上のグラフィックとの接触を中断する場合に実施される。いくつかの実施形態では、ジェスチャは、デバイス１００と接触した指の、１回以上のタップ、１回以上のスワイプ（左から右へ、右から左へ、上向きに及び／若しくは下向きに）、並びに／又は、ローリング（右から左へ、左から右へ、上向きに及び／若しくは下向きに）を、任意選択的に含む。一部の実装形態又は状況では、グラフィックとの不測の接触は、そのグラフィックを選択するものではない。例えば、任意選択的に、アプリケーションアイコンの上をスイープするスワイプジェスチャは、選択に対応するジェスチャがタップである場合、対応するアプリケーションを選択しない。
デバイス１００は、任意選択的に、「ホーム」ボタン又はメニューボタン２０４などの１つ以上の物理ボタンをまた含む。前述したように、メニューボタン２０４は、任意選択的にデバイス１００上で実行される１組のアプリケーション内の任意のアプリケーション１３６にナビゲートするために、任意選択的に使用される。あるいは、いくつかの実施形態では、メニューボタンは、タッチスクリーン１１２に表示されるＧＵＩ内のソフトキーとして実装される。
いくつかの実施形態では、デバイス１００は、タッチスクリーン１１２、メニューボタン２０４、デバイスの電源をオン／オフにしてデバイスをロックするプッシュボタン２０６、音量調整ボタン２０８、加入者識別モジュール（ＳＩＭ）カードスロット２１０、ヘッドセットジャック２１２、及びドッキング／充電用外部ポート１２４を含む。プッシュボタン２０６は、任意選択的に、ボタンを押し下げて、既定の時間間隔にわたってボタンを押し下げた状態に保持することによって、デバイスの電源をオン／オフするため、ボタンを押し下げて、既定の時間間隔が経過する前にボタンを解放することによってデバイスをロックするため、及び／又はデバイスをロック解除する、若しくはロック解除プロセスを開始するために、使用される。代替の実施形態では、デバイス１００は、マイクロフォン１１３を介して、いくつかの機能をアクティブ化又は非アクティブ化するための口頭入力もまた受け入れる。デバイス１００は、任意選択的に、タッチスクリーン１１２上の接触の強度を検出する１つ以上の接触強度センサ１６５、及び／又はデバイス１００のユーザに対する触知出力を生成する１つ以上の触知出力生成器１６７もまた含む。
図３は、いくつかの実施形態に係る、ディスプレイ及びタッチ感知面を有する例示的な多機能デバイスのブロック図である。デバイス３００は、ポータブル型である必要はない。いくつかの実施形態では、デバイス３００は、ラップトップコンピュータ、デスクトップコンピュータ、タブレットコンピュータ、マルチメディアプレーヤデバイス、ナビゲーションデバイス、教育的デバイス（子供の学習玩具など）、ゲームシステム、又は制御デバイス（例えば、家庭用又は業務用コントローラ）である。デバイス３００は、通常、１つ以上の処理ユニット（ＣＰＵ）３１０、１つ以上のネットワーク又は他の通信インタフェース３６０、メモリ３７０、及びこれらの構成要素を相互接続する１つ以上の通信バス３２０を含む。通信バス３２０は、任意選択的に、システム構成要素間の通信を相互接続及び制御する回路（チップセットと呼ばれることもある）を含む。デバイス３００は、ディスプレイ３４０を含む入出力（Ｉ／Ｏ）インタフェース３３０を含み、ディスプレイ３４０は、通常、タッチスクリーンディスプレイである。Ｉ／Ｏインタフェース３３０はまた、任意選択的に、キーボード及び／又はマウス（若しくは他のポインティングデバイス）３５０並びにタッチパッド３５５と、デバイス３００上に触知出力を生成する触知出力生成器３５７（例えば、図１Ａを参照して前述した触知出力生成器１６７に類似している）触知出力生成器３５７と、センサ３５９（例えば、光、加速度、近接、タッチ感知、及び／又は図１Ａを参照して前述した、接触強度センサ１６５に類似している接触強度センサ）とを含む。メモリ３７０は、ＤＲＡＭ、ＳＲＡＭ、ＤＤＲ ＲＡＭ、又は他のランダムアクセスソリッドステートメモリデバイスなどの高速ランダムアクセスメモリを含み、任意選択的に、１つ以上の磁気ディスク記憶デバイス、光ディスク記憶デバイス、フラッシュメモリデバイス、又は他の不揮発性ソリッドステート記憶デバイスなどの不揮発性メモリを含む。メモリ３７０は、任意選択的に、ＣＰＵ（単数又は複数）３１０から離れて位置する１つ以上の記憶デバイスを含む。いくつかの実施形態では、メモリ３７０は、ポータブル多機能デバイス１００（図１Ａ）のメモリ１０２内に記憶されているプログラム、モジュール、及びデータ構造に類似したプログラム、モジュール、及びデータ構造、又はそのサブセットを記憶する。更に、メモリ３７０は、任意選択的に、ポータブル多機能デバイス１００のメモリ１０２に存在しない追加のプログラム、モジュール、及びデータ構造を記憶する。例えば、デバイス３００のメモリ３７０は、任意選択的に、描画モジュール３８０、プレゼンテーションモジュール３８２、ワードプロセッシングモジュール３８４、ウェブサイト作成モジュール３８６、ディスクオーサリングモジュール３８８、及び／又はスプレッドシートモジュール３９０を記憶するのに対して、ポータブル多機能デバイス１００（図１Ａ）のメモリ１０２は、任意選択的に、これらのモジュールを記憶しない。
図３の上記で特定した要素はそれぞれ、任意選択的に、前述したメモリデバイスのうちの１つ以上の中に記憶される。上記で特定したモジュールはそれぞれ、前述した機能を実行する命令セットに対応する。上記で特定したモジュール又はプログラム（例えば、命令セット）は、別個のソフトウェアプログラム、手順、又はモジュールとして実装される必要はなく、したがって様々な実施形態では、これらのモジュールの様々なサブセットが、任意選択的に組み合わされ、又は他の方法で再構成される。いくつかの実施形態では、メモリ３７０は、任意選択的に、上記で特定されたモジュール及びデータ構造のサブセットを記憶する。更に、メモリ３７０は、上記で説明されていない追加のモジュール及びデータ構造を任意選択的に記憶する。
次に、任意選択的に、例えばポータブル多機能デバイス１００に実装されるユーザインタフェースの実施形態に注意を向ける。
図４Ａは、いくつかの実施形態に係る、ポータブル多機能デバイス１００上のアプリケーションのメニューの例示的なユーザインタフェースを示す。同様のユーザインタフェースは、デバイス３００上に任意選択的に実装される。いくつかの実施形態では、ユーザインタフェース４００は、以下の要素、又はそれらのサブセット若しくはスーパーセットを含む。
●セルラー信号及びＷｉ−Ｆｉ信号などの無線通信（単数又は複数）用の信号強度インジケータ（単数又は複数）４０２、
●時刻４０４、
●Ｂｌｕｅｔｏｏｔｈインジケータ４０５、
●バッテリ状態インジケータ４０６、
●以下のような、頻繁に使用されるアプリケーションのアイコンを有するトレイ４０８
○不在着信又はボイスメールメッセージの数のインジケータ４１４を任意選択的に含む、「電話」とラベル付けされた、電話モジュール１３８のアイコン４１６、
○未読電子メールの数のインジケータ４１０を任意選択的に含む、「メール」とラベル付けされた、電子メールクライアントモジュール１４０のアイコン４１８、
○「ブラウザ」とラベル付けされた、ブラウザモジュール１４７のアイコン４２０、及び
○「ｉＰｏｄ」とラベル付けされる、ｉＰｏｄ（Ａｐｐｌｅ Ｉｎｃ．の商標）モジュール１５２とも称される動画及び音楽プレーヤモジュール１５２用のアイコン４２２、及び
●以下のような、他のアプリケーションのアイコン、
○「メッセージ」とラベル付けされた、ＩＭモジュール１４１のアイコン４２４、
○「カレンダ」とラベル付けされた、カレンダモジュール１４８のアイコン４２６、
○「写真」とラベル付けされた、画像管理モジュール１４４のアイコン４２８、
○「カメラ」とラベル付けされた、カメラモジュール１４３のアイコン４３０、
○「オンラインビデオ」とラベル付けされた、オンラインビデオモジュール１５５のアイコン４３２、
○「株価」とラベル付けされた、株式ウィジェット１４９−２のアイコン４３４、
○「地図」とラベル付けされた、地図モジュール１５４のアイコン４３６、
○「天気」とラベル付けされた、気象ウィジェット１４９−１のアイコン４３８、
○「時計」とラベル付けされた、アラーム時計ウィジェット１４９−４のアイコン４４０、
○「トレーニングサポート」とラベル付けされた、トレーニングサポートモジュール１４２のアイコン４４２、
○「メモ」とラベル付けされた、メモモジュール１５３のアイコン４４４、及び
○デバイス１００及びその様々なアプリケーション１３６の設定へのアクセスを提供する、「設定」とラベル付けされた、設定アプリケーション又はモジュールのアイコン４４６。
図４Ａに示すアイコンラベルは、単なる例示であることに留意されたい。例えば、動画及び音楽プレーヤモジュール１５２のアイコン４２２は、「音楽」又は「音楽プレーヤ」とラベル付けされる、他のラベルが、様々なアプリケーションアイコンのために、任意選択的に使用される。いくつかの実施形態では、それぞれのアプリケーションアイコンのラベルは、それぞれのアプリケーションアイコンに対応するアプリケーションの名前を含む。いくつかの実施形態では、特定のアプリケーションアイコンのラベルは、その特定のアプリケーションアイコンに対応するアプリケーションの名前とは異なる。
図４Ｂは、ディスプレイ４５０（例えば、タッチスクリーンディスプレイ１１２）とは別個のタッチ感知面４５１（例えば、図３のタブレット又はタッチパッド３５５）を有するデバイス（例えば、図３のデバイス３００）上の例示的なユーザインタフェースを示す。デバイス３００はまた、任意選択的に、タッチ感知面４５１上の接触の強度を検出する１つ以上の接触強度センサ（例えば、センサ３５９のうちの１つ以上）、及び／又はデバイス３００のユーザに対して触知出力を生成する１つ以上の触知出力生成器３５７を含む。
以下の例のうちのいくつかは、タッチスクリーンディスプレイ１１２（タッチ感知面及びディスプレイが組み合わされている）上の入力を参照して与えられるが、いくつかの実施形態では、デバイスは、図４Ｂに示すように、ディスプレイとは別個のタッチ感知面上の入力を検出する。いくつかの実施形態では、タッチ感知面（例えば、図４Ｂの４５１）は、ディスプレイ（例えば、４５０）上の１次軸（例えば、図４Ｂの４５３）に対応する１次軸（例えば、図４Ｂの４５２）を有する。これらの実施形態によれば、デバイスは、ディスプレイ上のそれぞれの位置に対応する位置（例えば、図４Ｂでは、４６０は４６８に対応し、４６２は４７０に対応する）で、タッチ感知面４５１との接触（例えば、図４Ｂの４６０及び４６２）を検出する。このようにして、タッチ感知面（例えば、図４Ｂの４５１）上でデバイスによって検出されるユーザ入力（例えば、接触４６０及び４６２、並びにこれらの動き）は、タッチ感知面がディスプレイとは別個であるとき、多機能デバイスのディスプレイ（例えば、図４Ｂの４５０）上のユーザインタフェースを操作するために、デバイスによって使用される。同様の方法が、本明細書に記載の他のユーザインタフェースに任意選択的に使用されることを理解されたい。
加えて、以下の例は、主に指入力（例えば、指接触、指タップジェスチャ、指スワイプジェスチャ）を参照して与えられる一方、いくつかの実施形態では、指入力のうちの１つ以上が別の入力デバイスからの入力（例えば、マウスベースの入力又はスタイラス入力）に置き換えられることを理解されたい。例えば、スワイプジェスチャは、任意選択的に、（例えば、接触の代わりに、）マウスクリックであって、その後に（例えば、接触の移動の代わりに）スワイプの経路に沿ったカーソルの移動を伴うマウスクリックによって置き換えられる。別の例として、タップジェスチャは、任意選択的に、カーソルがタップジェスチャの位置上に位置する間は、（例えば、接触を検出して、それに続いて接触の検出を停止する代わりに）マウスクリックによって置き換えられる。同様に、複数のユーザ入力が同時に検出されるとき、複数のコンピュータマウスが、任意選択的に、同時に使用され、又はマウス及び指の接触が、任意選択的に、同時に使用されることを理解されたい。
図５Ａは、例示的なパーソナル電子デバイス５００を示す。デバイス５００は、本体５０２を含む。いくつかの実施形態では、デバイス５００は、デバイス１００及び３００（例えば、図１Ａ〜図４Ｂ）に関して説明された特徴のうちのいくつか又は全てを含むことができる。いくつかの実施形態では、デバイス５００は、タッチ感知ディスプレイスクリーン５０４、以下ではタッチスクリーン５０４、を有する。あるいは、又はタッチスクリーン５０４に加えて、デバイス５００は、ディスプレイ及びタッチ感知面を有する。デバイス１００及び３００と同様に、いくつかの実施形態では、タッチスクリーン５０４（又はタッチ感知面）は、任意選択的に、加えられている接触（例えば、タッチ）の強度を検出する１つ以上の強度センサを含む。タッチスクリーン５０４（又はタッチ感知面）の１つ以上の強度センサは、タッチの強度を表す出力データを提供することができる。デバイス５００のユーザインタフェースは、タッチ（複数）に、その強度に基づいて応答することができ、これは、異なる強度のタッチが、デバイス５００上で異なるユーザインタフェース動作を呼び出すことができることを意味する。
タッチ強度を検出し処理する例示的な技法は、例えば、それぞれ全体が参照により本明細書に組み込まれる関連出願である、国際特許第ＷＯ／２０１３／１６９８４９号として公開された、２０１３年５月８日出願の国際特許出願第ＰＣＴ／ＵＳ２０１３／０４００６１号、「Ｄｅｖｉｃｅ，Ｍｅｔｈｏｄ，ａｎｄ Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ ｆｏｒ Ｄｉｓｐｌａｙｉｎｇ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ Ｏｂｊｅｃｔｓ Ｃｏｒｒｅｓｐｏｎｄｉｎｇ ｔｏ ａｎ Ａｐｐｌｉｃａｔｉｏｎ」、及び国際特許第ＷＯ／２０１４／１０５２７６号として公開された、２０１３年１１月１１日出願の国際特許出願第ＰＣＴ／ＵＳ２０１３／０６９４８３号、「Ｄｅｖｉｃｅ，Ｍｅｔｈｏｄ，ａｎｄ Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ ｆｏｒ Ｔｒａｎｓｉｔｉｏｎｉｎｇ Ｂｅｔｗｅｅｎ Ｔｏｕｃｈ Ｉｎｐｕｔ ｔｏ Ｄｉｓｐｌａｙ Ｏｕｔｐｕｔ Ｒｅｌａｔｉｏｎｓｈｉｐｓ」を参照されたい。
いくつかの実施形態では、デバイス５００は、１つ以上の入力機構５０６及び５０８を有する。入力機構５０６及び５０８は、含まれる場合、物理的であり得る。物理的入力機構の例としては、プッシュボタン及び回転可能機構が挙げられる。いくつかの実施形態では、デバイス５００は、１つ以上のアタッチメント機構を有する。そのようなアタッチメント機構は、含まれる場合、例えば帽子、眼鏡類、イアリング、ネックレス、シャツ、ジャケット、ブレスレット、腕時計のバンド、チェーン、ズボン、ベルト、靴、財布、バックパックなどにデバイス５００を取り付けることを可能にすることができる。これらのアタッチメント機構は、ユーザがデバイス５００を着用することを可能にする。
図５Ｂは、例示的なパーソナル電子デバイス５００を示す。いくつかの実施形態では、デバイス５００は、図１Ａ、図１Ｂ、及び図３に関して説明した構成要素のうちのいくつか又は全てを含むことができる。デバイス５００は、Ｉ／Ｏセクション５１４を１つ以上のコンピュータプロセッサ５１６及びメモリ５１８に動作可能に結合するバス５１２を有する。Ｉ／Ｏセクション５１４は、ディスプレイ５０４に接続することができ、ディスプレイ５０４は、タッチ感知構成要素５２２と、任意選択的に強度センサ５２４（例えば、接触強度センサ）とを有することができる。加えて、Ｉ／Ｏセクション５１４は、Ｗｉ−Ｆｉ、Ｂｌｕｅｔｏｏｔｈ、近距離通信（ＮＦＣ）、セルラー、及び／又は他の無線通信技法を使用してアプリケーション及びオペレーティングシステムデータを受信する通信ユニット５３０と接続することができる。デバイス５００は、入力機構５０６及び／又は５０８を含むことができる。入力機構５０６は、任意選択的に、例えば回転可能入力デバイス又は押下可能及び回転可能入力デバイスである。いくつかの例では、入力機構５０８は、任意選択的にボタンである。
いくつかの例では、入力機構５０８は、任意選択的にマイクロフォンである。パーソナル電子デバイス５００は、任意選択的に、ＧＰＳセンサ５３２、加速度計５３４、方向センサ５４０（例えば、コンパス）、ジャイロスコープ５３６、動きセンサ５３８、及び／又はそれらの組合せなどの様々なセンサを含み、それらは全て、Ｉ／Ｏセクション５１４に動作可能に接続することができる。
パーソナル電子デバイス５００のメモリ５１８は、コンピュータ実行可能命令を記憶するための１つ以上の非一時的コンピュータ可読記憶媒体を含むことができ、それらの命令は、１つ以上のコンピュータプロセッサ５１６によって実行されると、例えば、コンピュータプロセッサに、プロセス７００、９００及び１１００（図７Ａ〜図７Ｂ、図９Ａ〜図９Ｂ及び図１１Ａ〜図１１Ｂ）を含めた、以下に説明する技術を実行させることができる。コンピュータ可読記憶媒体は、命令実行システム、装置、若しくはデバイスによって、又は命令実行システム、装置、若しくはデバイスに関連して、使用されるコンピュータ実行可能命令を、有形に含み又は記憶することができる任意の媒体であり得る。いくつかの実施例では、記憶媒体は、一時的コンピュータ可読記憶媒体である。いくつかの実施例では、記憶媒体は、非一時的コンピュータ可読記憶媒体である。非一時的コンピュータ可読記憶媒体は、それらに限定されるものではないが、磁気、光学、及び／又は半導体記憶装置を含むことができる。そのような記憶装置の例としては、磁気ディスク、ＣＤ、ＤＶＤ、又はＢｌｕ−ｒａｙ技術に基づく光学ディスク、並びにフラッシュ、ソリッドステートドライブなどの常駐ソリッドステートメモリなどが挙げられる。パーソナル電子デバイス５００は、図５Ｂの構成要素及び構成に限定されるものではなく、他の又は追加の構成要素を複数の構成で含むことができる。
本明細書で使用される「アフォーダンス」という用語は、任意選択的に、デバイス１００、３００、及び／又は５００（図１Ａ、図３、及び図５Ａ〜図５Ｂ）のディスプレイスクリーンに表示されるユーザ対話グラフィカルユーザインタフェースオブジェクトを指す。例えば、画像（例えば、アイコン）、ボタン、及び文字（例えば、ハイパーリンク）はそれぞれ、任意選択的に、アフォーダンスを構成する。
本明細書で使用される「フォーカスセレクタ」という用語は、ユーザが対話しているユーザインタフェースの現在の部分を示す入力要素を指す。カーソル又は他の位置マーカを含むいくつかの実装形態では、カーソルが「フォーカスセレクタ」として作用し、したがってカーソルが特定のユーザインタフェース要素（例えば、ボタン、ウインドウ、スライダ、又は他のユーザインタフェース要素）の上に位置する間に、入力（例えば、押下入力）がタッチ感知面（例えば、図３のタッチパッド３５５又は図４Ｂのタッチ感知面４５１）上で検出されたとき、特定のユーザインタフェース要素は、検出された入力に従って調整される。タッチスクリーンディスプレイ上のユーザインタフェース要素との直接対話を可能にするタッチスクリーンディスプレイ（例えば、図１Ａのタッチ感知ディスプレイシステム１１２又は図４Ａのタッチスクリーン１１２）を含むいくつかの実装形態では、タッチスクリーン上の検出された接触が「フォーカスセレクタ」として作用し、したがってタッチスクリーンディスプレイ上の特定のユーザインタフェース要素（例えば、ボタン、ウインドウ、スライダ、又は他のユーザインタフェース要素）の位置で入力（例えば、接触による押下入力）が検出されたとき、特定のユーザインタフェース要素が、検出された入力に従って調整される。いくつかの実装形態では、（例えば、フォーカスを１つのボタンから別のボタンへ動かすためにタブキー又は矢印キーを使用することによって）タッチスクリーンディスプレイ上の対応するカーソルの移動又は接触の移動なしに、フォーカスがユーザインタフェースの１つの領域からユーザインタフェースの別の領域に動かされ、これらの実装形態では、フォーカスセレクタは、ユーザインタフェースの種々の領域間でのフォーカスの移動に従って移動する。フォーカスセレクタがとる具体的な形態にかかわらず、フォーカスセレクタは、一般に、ユーザが意図するユーザインタフェースとの対話について（例えば、ユーザがそれを通じて対話することを意図しているユーザインタフェースの要素をデバイスに示すことによって）伝えるためにユーザによって制御されるユーザインタフェース要素（又はタッチスクリーンディスプレイ上の接触）である。例えば、タッチ感知面（例えば、タッチパッド又はタッチスクリーン）上で押下入力が検出されている間に、それぞれのボタンの上にあるフォーカスセレクタ（例えば、カーソル、接触、又は選択ボックス）の位置は、ユーザが、（そのデバイスのディスプレイ上に示される他のユーザインタフェース要素ではなく）それぞれのボタンをアクティブ化することを意図していることを示すものである。
本明細書及び特許請求の範囲において使用されるとき、接触の「特性強度」という用語は、接触の１つ以上の強度に基づく、その接触の特性を指す。いくつかの実施形態では、特性強度は複数の強度サンプルに基づく。特性強度は、任意選択的に、既定の数の強度サンプル、すなわち、既定のイベント（例えば、接触を検出した後、接触のリフトオフを検出する前、接触の移動の開始を検出する前若しくは後、接触の終了を検出する前、接触の強度の増大を検出する前若しくは後、及び／又は、接触の強度の減少を検出する前若しくは後の）に関連する所定の時間（例えば、０．０５、０．１、０．２、０．５、１、２、５、１０秒）の間に収集された強度サンプルのセットに基づく。接触の特性強度は、任意選択的に、接触の強度の最大値、接触の強度の平均（mean）値、接触の強度の平均（average）値、接触の強度の上位１０パーセンタイル値、接触の強度の最大の２分の１の値、接触の強度の最大の９０パーセントの値などのうちの１つ以上に基づいている。一部の実施形態では、特性強度を判定する際に（例えば、特性強度が経時的な接触の強度の平均であるときに）、接触の持続期間が使用される。一部の実施形態では、特性強度は、ユーザによって動作が実行されたかどうかを判定するために、１つ以上の強度閾値のセットと比較される。例えば、１つ以上の強度閾値のセットは、任意選択的に、第１の強度閾値及び第２の強度閾値を含む。この例では、第１の閾値を超えない特性強度を有する接触は第１の動作をもたらし、第１の強度閾値を超えるが第２の強度閾値を超えない特性強度を有する接触は第２の動作をもたらし、第２の閾値を超える特性強度を有する接触は第３の動作をもたらす。いくつかの実施形態では、特性強度と１つ以上の閾値との間の比較は、第１の動作を実行するべきか、それとも第２の動作を実行するべきかを判定するために使用されるのではなく、１つ以上の動作を実行するべきか否か（例えば、それぞれの動作を実行するべきか、それともそれぞれの動作を実行するのを見送るべきか）を判定するために使用される。
一部の実施形態では、特性強度を判定する目的のために、ジェスチャの一部分が特定される。例えば、タッチ感知面は、任意選択的に、開始位置から遷移して終了位置に到達し、その位置で接触の強度が増大している、連続するスワイプ接触を受信する。この例では、終了位置での接触の特性強度は、任意選択的に、スワイプ接触全体ではなく、連続するスワイプ接触の一部分のみ（例えば、スワイプ接触のうち終了位置の部分のみ）に基づいている。いくつかの実施形態では、任意選択的に、接触の特性強度を判定する前に、平滑化アルゴリズムがスワイプ接触の強度に適用される。例えば、平滑化アルゴリズムは、任意選択的に、非加重移動平均平滑化アルゴリズム、三角平滑化アルゴリズム、中央値フィルタ平滑化アルゴリズム、及び／又は指数平滑化アルゴリズムのうちの１つ以上を含む。いくつかの状況では、これらの平滑化アルゴリズムは、特性強度を判定する目的のために、スワイプ接触強度の幅の狭いスパイク又は下落を排除する。
タッチ感知面上の接触の強度は、任意選択的に、接触検出強度閾値、軽い押下の強度閾値、深い押下の強度閾値、及び／又は１つ以上の他の強度閾値などの１つ以上の強度閾値に対して特徴付けられる。一部の実施形態では、軽い押下強度閾値は、通常、物理マウスのボタン又はトラックパッドをクリックすることに関連付けられた動作をデバイスが実行する強度に相当する。一部の実施形態では、深い押下強度閾値は、通常、物理マウスのボタン又はトラックパッドをクリックすることに関連付けられた動作とは異なる動作をデバイスが実行する強度に相当する。いくつかの実施形態では、軽い押下強度閾値を下回る（例えば、かつそれを下回ると接触が検出されなくなる公称接触検出強度閾値を上回る）特性強度を有する接触が検出されたとき、デバイスは、タッチ感知面上の接触の移動に従い、軽い押下強度閾値又は深い押下強度閾値に関連付けられた動作を実行することなく、フォーカスセレクタを動かす。一般に、特に明記しない限り、これらの強度閾値は、ユーザインタフェースの値の様々なセットの間で一貫している。
軽い押下強度閾値を下回る強度から、軽い押下強度閾値と深い押下強度閾値との間の強度への、接触の特性強度の増大は、「軽い押下」の入力と呼ばれることがある。深い押下強度閾値を下回る強度から、深い押圧強度閾値を上回る強度への、接触の特性強度の増大は、「深い押圧」の入力と呼ばれることがある。接触検出強度閾値を下回る強度から、接触検出強度閾値と軽い押圧強度閾値との間の強度への、接触の特性強度の増大は、タッチ面上の接触の検出と呼ばれることがある。接触検出強度閾値を上回る強度から、接触検出強度閾値を下回る強度への、接触の特性強度の減少は、タッチ面からの接触のリフトオフの検出と呼ばれることがある。いくつかの実施形態では、接触検出強度閾値はゼロである。いくつかの実施形態では、接触検出強度閾値はゼロより大きい。
本明細書に記載するいくつかの実施形態では、それぞれの押下入力を含むジェスチャを検出したことに応じて、又はそれぞれの接触（若しくは複数の接触）によって実行されたそれぞれの押下入力を検出したことに応じて、１つ以上の動作が実行され、それぞれの押下入力は、押下入力強度閾値を上回る接触（又は複数の接触）の強度の増大を検出したことに少なくとも部分的に基づいて検出される。いくつかの実施形態では、それぞれの動作は、押下入力強度閾値を上回るそれぞれの接触の強度の増大（例えば、それぞれの押下入力の「ダウンストローク」）を検出したことに応じて実行される。いくつかの実施形態では、押下入力は、押下入力強度閾値を上回るそれぞれの接触の強度の増大、及びそれに続く押下入力強度閾値を下回る接触の強度の減少を含み、それぞれの動作は、それに続く押下入力閾値を下回るそれぞれの接触の強度の減少（例えば、それぞれの押下入力の「アップストローク」）を検出したことに応じて実行される。
一部の実施形態では、デバイスは、「ジッタ」と呼ばれる場合がある偶発的な入力を回避するために強度ヒステリシスを採用し、デバイスは、押下入力強度閾値との既定の関係を有するヒステリシス強度閾値を定義又は選択する（例えば、ヒステリシス強度閾値は、押下入力強度閾値よりもＸ強度単位低い、又はヒステリシス強度閾値は、押下入力強度閾値の７５％、９０％、若しくは何らかの妥当な割合である）。したがって、いくつかの実施形態では、押下入力は、押下入力強度閾値を上回るそれぞれの接触の強度の増大、及びそれに続く押下入力強度閾値に対応するヒステリシス強度閾値を下回る接触の強度の減少を含み、それぞれの動作は、それに続くヒステリシス強度閾値を下回るそれぞれの接触の強度の減少（例えば、それぞれの押下入力の「アップストローク」）を検出したことに応じて実行される。同様に、一部の実施形態では、押下入力は、デバイスが、ヒステリシス強度閾値以下の強度から押下入力強度閾値以上の強度への接触の強度の増大、及び任意選択的に、その後のヒステリシス強度以下の強度への接触の強度の減少を検出するときにのみ検出され、それぞれの動作は、押下入力（例えば、状況に応じて、接触の強度の増大又は接触の強度の減少）を検出したことに応じて実行される。
説明を容易にするために、押下入力強度閾値に関連付けられた押下入力、又は押下入力を含むジェスチャに応じて実行される動作の説明は、任意選択的に、押下入力強度閾値を上回る接触の強度の増大、ヒステリシス強度閾値を下回る強度から押下入力強度閾値を上回る強度への接触の強度の増大、押下入力強度閾値を下回る接触の強度の減少、及び／又は押下入力強度閾値に対応するヒステリシス強度閾値を下回る接触の強度の減少のいずれかを検出したことに応じてトリガされる。更に、押下入力強度閾値を下回る接触の強度の減少を検出したことに応じて実行されるように動作が記載される例では、動作は、任意選択的に、押下入力強度閾値に対応し、かつそれよりも低いヒステリシス強度閾値を下回る接触の強度の減少を検出したことに応じて実行される。
次に、ポータブル多機能デバイス１００、デバイス３００、又はデバイス５００などの電子デバイス上で実施されるユーザインタフェース（「ＵＩ」）及び関連プロセスの実施形態に注意を向ける。
図６Ａ〜図６Ｏは、いくつかの実施形態に係る、一瞥によるコマンド及び音声コマンドを使用して、デジタルアシスタントをアクティブ化しデジタルアシスタントと対話するための例示的なユーザインタフェースを示す。これらの図は、図７Ａ〜図７Ｂのプロセスを含む後述のプロセスを例示するために使用される。
図６Ａ〜図６Ｄは、ユーザ６２０が電子デバイス６００を一瞥することによって電子デバイス６００上の例示的なデジタルアシスタントをアクティブ化することを示す。デジタルアシスタントがアクティブ化されると、ユーザ６２０は、コマンド６２４Ａ〜６２４Ｂをデジタルアシスタントに発語することによってテーブルランプをオンにする。
図６Ａは、ディスプレイ６０２がオフであることによって示される非アクティブ状態にある電子デバイス６００上のデジタルアシスタントを示す。いくつかの実施形態では、デジタルアシスタントは、電子デバイス６００がユーザの凝視、すなわち、ユーザ６２０が電子デバイス６００を見ていることを検出しない場合には非アクティブな状態にある。いくつかの実施形態では、電子デバイス６００がボタン押下（又は他のアクティブ化コマンド）を検出する前、かつ／又は別のデバイス（例えば、腕時計６３０）がアクティブ化コマンドを受信し 、アクティブ化命令を電子デバイスに送信する前は、デジタルアシスタントは非アクティブな状態にある。ユーザ６２０は、ユーザ６２０の凝視に基づく凝視情報が１つ以上のアクティブ化基準のセットを満たすときに、電子デバイス６００を一瞥して、デジタルアシスタントのアクティブ化をトリガすることができる。電子デバイス６００は、ユーザ６２０の凝視について、任意選択的に、外部デバイス６１６Ａ上に設置され、かつ／又はカメラ６１６Ｂなど電子デバイス６００に一体化された１つ以上のカメラセンサを使用して凝視情報を取得する。カメラセンサ６１６Ａは、電子デバイス６００に無線接続され、あるいは有線で接続されてもよい。１つ以上のカメラセンサは、凝視が検出されるとすぐに凝視情報を測定する赤外線カメラセンサ及び／又は可視光センサを含む。凝視情報は、ユーザの頭部位置の場所、凝視の静止時間又は持続時間、凝視の方向、凝視の視野６０６、及び対象物（例えば、電子デバイス６００又はテーブルランプ６１８などの外部デバイス）が凝視の視野６０６内にあるかどうか、のうちの１つ以上を任意選択的に含む。
電子デバイス６００は、１つ以上のカメラセンサ６１６Ａ〜６１６Ｂから取得された凝視情報が１つ以上のアクティブ化基準のセットを満たすかどうかを判定する。換言すれば、電子デバイス６００は、ユーザ６２０がデジタルアシスタントをアクティブ化するために電子デバイス６００を見ることを意図したかどうかを判定する。１つ以上のアクティブ化基準のセットは、ユーザの凝視が電子デバイス６００の方向に向けられるときに満たされる方向基準を任意選択的に含む。１つ以上のアクティブ化基準のセットはまた、電子デバイス６００が、ゼロではない所定の時間（例えば、数秒 ）を超える、電子デバイス６００の方向への凝視の静止時間又は持続時間を検出するときに満たされる静止時間基準も任意選択的に含む。凝視の静止時間又は持続時間が閾値時間未満である場合、このことは、ユーザがデジタルアシスタントをトリガすることを意図しないことを示し得る。したがって、閾値時間未満の静止時間は、アクティブ化基準を満たさないので、デジタルアシスタントはアクティブ化されない。
１つ以上のアクティブ化基準のセットはまた、任意選択的に、視野基準を含む。図６Ａに示すように、ユーザ６２０は電子デバイス６００を見ておらず、電子デバイス６００は、デバイス６００がユーザ６２０の視野６０６内にないと判定する。以下で更に説明するように、視野基準は、電子デバイス６００がユーザ６２０の視野６０６内にあると判定された場合に満たされるが、電子デバイス６００がユーザ ６２０の視野６００ 内にないと判定された場合は、満たされない。視野６０６を使用して、ユーザ６０２が対象の電子デバイス（例えば、デバイス６００）を見ているかどうかを判定することにより、ユーザが対象の電子デバイスを直接見ていないが、それでも対象の電子デバイスを特定（又はアクティブ化）しようとしている場合に、凝視が視野内において検出され得るために、凝視検出率が高くなる。
視野６０６は、閾値オフセット角度６０４によって示される、ユーザの視線６１２の上方及び下方の度値範囲である。いくつかの実施形態では、電子デバイス６００が直接ユーザ６２０の視線６１２内にある、すなわち、判定されたオフセット度がゼロであるときに、視野基準が満たされる。いくつかの実施形態では、凝視の判定されたオフセット角度６２２が閾値オフセット角度６０４（例えば、図６Ｂに示すように、電子デバイスを直接見ているユーザ６２０の視線６１２からの許容可能な最大偏差）未満であるときに、視野基準が満たされる。（本例において）判定されたオフセット角度６２２及び閾値オフセット角度６０４は、ゼロ度よりも大きい（例えば、３０度）。判定されたオフセット角度６２２は、ユーザ６２０の凝視からの視線６１２（例えば、ユーザが実際に見ているところ）と、ユーザ６２０から電子デバイス６００への算出された視線６０８（例えば、ユーザが電子デバイス６００を直接見るのに理想的な経路）との間に形成された角度に基づいて計算される。オフセット角度６２２が閾値オフセット角度６０４よりも大きいとき、図６Ａに示すように、電子デバイス６００が視野６０６の外にあるため、視野基準は満たされず、結果として、デジタルアシスタントはアクティブ化されないままとなる。いくつかの実施形態では、電子デバイス６００が、ユーザ６２０の視野６０６の外のゼロでない閾値度を超えて（例えば、３０度を超えて）位置すると判定される場合、電子デバイス６００はユーザの凝視内にはなく、デジタルアシスタントはアクティブ化されない。いくつかの実施形態では、視線６１２は、ユーザの頭部位置に基づいて測定される。いくつかの実施形態では、ユーザの頭部位置は、ユーザの頭部の傾斜又は回転（例えば、ヨー、ピッチ、及び／又はロール）に基づくものである。
図６Ａでは、上述のように、カメラセンサ（例えば、６１６Ａ，６１Ｂ ）から取得された凝視情報が１つ以上のアクティブ化基準のセットを満たさないので、電子デバイス６００上のデジタルアシスタントはアクティブ化されない。電子デバイス６００は、ユーザ６２０の凝視の静止時間が閾値静止時間未満、又は、電子デバイス６００がユーザ６２０の視野内にない場合、ユーザ６２０が電子デバイス６００を見ていないと判定する。いくつかの実施形態では、ユーザの視線６１２と算出された視線６０８との間の判定されたオフセット角度６２２が閾値オフセット角度６０４よりも大きいとき、視野基準は満たされない。デジタルアシスタントがアクティブ化されず、凝視情報が１つ以上のアクティブ化基準のセットを満たさない場合、電子デバイス６００は、デジタルアシスタントのアクティブ化を見合わせる。デジタルアシスタントがアクティブ化されていないとき、電子デバイス６００は、任意選択的に、マイクロフォン又はスピーカのうちの１つ以上をオンにせず、音声を記録せず、かつ／又は、発語コマンドを実行する目的で記録された音声の処理を可能にしない（例えば、電子デバイス６００は、依然として音声を処理してトリガ語を検出することができるが、アクティブ化以外のコマンドの実行のために音声を処理しない）。いくつかの実施形態では、電子デバイス６００は、デジタルアシスタントがアクティブ化されていないとき（例えば、電子デバイス６００の状態は不変のままである）ときに、視覚的又は音声インジケータを使用して任意の指示を提供しない。いくつかの実施形態では、電子デバイス６００は、凝視情報が１つ以上のアクティブ化基準のセットを満たさなかったとの判定の前の状態である同じ非アクティブな状態に留まる。
図６Ａでは、ユーザ６２０は、デジタルアシスタントがアクティブ化される前に、「Ｔｕｒｎ ｏｎ ｔｈｅ ｔａｂｌｅ ｌａｍｐ（テーブルランプをオンにして）」のコマンド６２４Ａ〜６２４Ｂの部分６２４Ａ「Ｔｕｒｎ．．．」の発語を開始する。いくつかの実施形態では、以下で更に論じるように、デジタルアシスタントがその後、（例えば、設定された（ゼロでない）持続時間内に）アクティブ化されない場合、コマンド６２４Ａ〜６２４Ｂの部分６２４Ａは、デジタルアシスタントによって処理されず、取り消され、かつ／又は無視される。いくつかの実施形態では、以下で更に論じるように、コマンド６２４Ａ〜６２４Ｂを完了する前に（又は、設定された持続時間内に）、デジタルアシスタントが（例えば、ユーザ６２０が電子デバイス６００を見て、１つ以上のアクティブ化基準のセットを満たすことによって）アクティブ化される場合、デジタルアシスタントがアクティブ化される前に電子デバイス６００によって受信されたコマンド６２４Ａ〜６２４Ｂの部分６２４Ａが処理される。
図６Ｂに示すように、ユーザ６２０は電子デバイス６００を見ており、電子デバイス６００は、電子デバイス６００がユーザ６２０の視野６０６内にあると判定する。カメラセンサ（例えば、６１６Ａ，６１６Ｂ）から得られた凝視情報は、１つ以上のアクティブ化基準のセットを満たす。
図６Ｃでは、電子デバイス６００は、カメラセンサ（例えば、６１６Ａ，６１６Ｂ）から取得された凝視情報が１つ以上のアクティブ化基準のセットを満たしていることを判定し、それに応じて、デジタルアシスタントをアクティブ化する。デジタルアシスタントをアクティブ化することは、マイクロフォン又はスピーカをオンにすること、音声を録音すること、及び（単にトリガフレーズを検出するのではなく）発語によるコマンドを実行する目的のため、録音された音声の処理を可能にすること、のうちの１つ以上を任意選択的に含む。電子デバイス６００は、任意選択的に、１つ以上のアクティブ化基準のセットが満たされていること、及び／又はデジタルアシスタントがアクティブ化されているという指示を（例えば、インジケータ６１０Ａ，６１０Ｂ，又は６１０Ｃを介して）提供する。インジケータは、任意選択的に、視覚的指示６１０Ａ、音声による指示６１０Ｂ、デジタルアシスタントが発語する確認６１０Ｃ、又は異なるインジケータの任意の組み合わせである。視覚的指示６１０Ａを提供することは、電子デバイス６００のディスプレイ６０２をオンにすること、電子デバイス６００のＬＥＤをオンにすること、特定の色（例えば、青色又は、デジタルアシスタントがアクティブ化されていないときのデフォルト色以外の色）の光、光パターン、又は電子デバイス６００のディスプレイ６０２上の視覚出力を表示すること、のうちの１つ以上を任意選択的に含む。いくつかの実施形態では、デジタルアシスタントがアクティブ化されていることを示す視覚的インジケータ６１０Ａは、デジタルアシスタントがコマンドを実行したとき、又は非アクティブな状態にあるときを示す視覚的インジケータ６１０Ａとは異なる。例えば、電子デバイスは、１つ以上のアクティブ化条件のセットが満たされたことに応じて視覚的インジケータ６１０Ａの第１の色を表示し、デジタルアシスタントがアクティブ化されていることに応じて視覚的インジケータ６１０Ａの第２の色として 表示し、デジタルアシスタントがコマンドを実行したという判定に応じて視覚的インジケータ６１０Ａの第３の色を表示し、かつ／又はデジタルアシスタントをアクティブ化しないように変更したことに応じて視覚的インジケータ６１０Ａの第４の色を表示する。音声による指示６１０Ｂは、サウンド、フレーズ、単語、又はトーンの再生のうちの１つ以上を任意選択的に含む。いくつかの実施形態では、デジタルアシスタントがアクティブ化されていること（又は１つ以上のアクティブ化基準のセットが満たされたこと）を示す音声による指示６１０Ｂは、デジタルアシスタントがコマンド（例えば、６２４Ａ）を実行したとき、又は非アクティブな状態にあるときを示す音声による指示６１０Ｂとは異なる。デジタルアシスタントは、デジタルアシスタントがアクティブ化されたこと、又は１つ以上のアクティブ化基準のセットが満たされたことを示すデジタルアシスタント音声確認６１０Ｃ（例えば、「どのようなご用件でしょうか？」）を任意選択的に提供する。いくつかの実施例では、図１０Ａ〜図１０Ｄに関して更に詳細に説明されるように、電子デバイスは、検出されたユーザに基づいて、特定の声（例えば、アクセント、男性又は女性の声）を使用して音声確認を出力する。
図６Ｃでは、電子デバイスがデジタルアシスタントをアクティブ化し、ディスプレイ６０２を使用して指示を提供することに続いて、電子デバイスは、コマンド６２４Ｃ「Ｔｕｒｎ ｏｎ ｔｈｅ ｔａｂｌｅ ｌａｍｐ（テーブルランプをオンにして）」のうち残りの部分６２４Ｂ「．．．ｏｎ ｔｈｅ ｔａｂｌｅ ｌａｍｐ」のユーザ６２０の発語が完了したことを検出する。いくつかの実施形態では、電子デバイス６００は、デジタルアシスタントがアクティブ化された後に、ユーザ６２０がコマンド６２４Ｃ全体「ｔｕｒｎ ｏｎ ｔｈｅ ｔａｂｌｅ ｌａｍｐ（テーブルランプをオンにして）」を発語するのを検出する。任意選択的に、電子デバイス６００は、コマンド６２４Ａ〜６２４Ｂの受信を開始する前に１つ以上のアクティブ化基準のセットが満たされたとの判定に従って、指示６１０Ｃを提供し、電子デバイス６００は、コマンド６２４Ａ〜６２４Ｂの受信を開始した後に（前ではなく）１つ以上のアクティブ化基準のセットが満たされたという判定に従って、指示６１０Ｃを提供しない。
いくつかの実施形態では、電子デバイス６００は、コマンド６２４Ａ〜６２４Ｂの残りの部分６２４Ｂを受信する前に、音楽を再生するなど、音声出力を第１の音量で生成している。いくつかの実施形態では、電子デバイス６００がコマンド６２４Ａ〜６２４Ｂの第１の部分６２４Ａを受信したことに応じて、電子デバイス６００は、音声出力の第１の音量を、第１の音量よりも低い第２の音量まで頭を引っ込める（ｄｕｃｋ）ように下げる。この第２の音量は、任意選択的に、ユーザ６２０と電子デバイス６００との間の距離に基づく。音声出力の第１の音量を下げるのは、背景のノイズによる干渉を低減させ、電子デバイス６００が単語をより良好に検出することができるようするためである。いくつかの実施形態では、１つ以上のアクティブ化基準のセットが満たされているという判定に応じて、第１の音量が下げられる。いくつかの実施形態では、音量低減量は、コマンド６２４Ａ〜６２４Ｂの第１の部分６２４Ａ（第２の部分６２４Ｂではなく）が受信される時のユーザ６２０と電子デバイス６００との間の距離に基づく。電子デバイス６００は、外部カメラセンサ６１６Ａ及び／又は電子デバイス６００上のカメラセンサ６１６Ｂを使用して、ユーザ６２０と電子デバイス６００との間の距離を判定する。いくつかの実施形態では、電子デバイス６００は、ユーザ６２０が発語しているのを検出する間、音声出力の音量をミュート又は低下させることによって、音声出力の音量を可変的に低減する。電子デバイス６００は、コマンド６２４Ｂの終わりを検出した後に、音声出力の音量を第１の音量に戻す。音量変更は、要求の内容に基づくものではない。いくつかの実施形態では、デジタルアシスタントをアクティブ化する前に、ユーザ６２０がコマンド６２４Ａ〜６２４Ｂの第１の部分６２４Ａを発語することを電子デバイス６００が検出したとしても、デジタルアシスタントは、それでも、１つ以上の実行基準のセットが満たされた場合にコマンド（６２４Ａを含む）を処理することができる。１つ以上の実行基準のセットが満たされると、デジタルアシスタントは、要求の内容に基づいてコマンドを実行する。１つ以上の実行基準のセットは、コマンド完了基準、実施可能基準、及びアクティブ化基準のうちの１つ以上を任意選択的に含む。コマンド完了基準は、電子デバイス６００が受信した音声コマンド（例えば、音声によるユーザ入力要求）の終わりを検出すると、満たされる。電子デバイス６００が、ゼロでない所定の期間を超えた、受信した音声内の休止（すなわち、ユーザ音声を受信していないこと）を検出することによってコマンド６２４Ａ〜２４Ｂの終わりが判定される。いくつかの実施形態では、検出された休止がゼロでない所定の期間未満である（場合には、コマンド完了基準は満たされない例えば、ユーザはコマンドの発語を完了していない）。電子デバイス６００が、受信したコマンドが実施可能である（例えば、デバイスがコマンドを実行する権限及び／又は能力を有する）と判定すると、実施可能基準が満たされる。いくつかの実施例では、コマンドがアカウントからの情報にアクセスすることであって、電子デバイスがアカウントにアクセスする承認を受信していない場合、デバイスがアカウントにアクセスする権限を有していないため、コマンドは実施可能ではない。いくつかの実施例では、電子デバイス６００が受信した要求を、デジタルアシスタントが実行又は送信できるコマンドとするように処理できないとき、実施可能基準は満たされない（例えば、コマンドは「テレビをオンにする」ことであるが、対応する命令が送信され得る部屋にはテレビが存在しない）。デジタルアシスタントがアクティブ化されたときにアクティブ化基準が満たされる。
図６Ｄは、デジタルアシスタントがアクティブ化されている間に１つ以上の実行基準のセットが満たされると、デジタルアシスタントはコマンドを実行することを示す。デジタルアシスタントがコマンドを正常に処理し、実行基準が満たされたと判定した場合、デジタルアシスタントは、適切なデバイスの状態を変化させる命令を送信する。この例では、オンにするテーブルランプ６１８（外部デバイス）に命令が送信される。いくつかの実施形態では、以下により詳細に記載されるように図８Ａ〜図８Ｃの説明に従って、どの外部デバイスを機能させるかの判定が行われる。デジタルアシスタントがコマンドを実行した後、電子デバイス６００は、コマンド６２４Ａ〜６２４Ｂが正常に実行されたかを示すインジケータ（例えば、インジケータ６１０Ａ，６１０Ｂ，６１０Ｃ）を任意選択的に提供する。いくつかの実施形態では、インジケータは、デジタルアシスタントがコマンド６２４Ａ−６２４Ｂを実行したことを示すために、特定の色の光（例えば、青、又はデジタルアシスタントがアクティブ化されていないときのデフォルトの色以外の色）又は光パターンの光を表示する視覚的インジケータ６１０Ａである。いくつかの実施形態では、インジケータは、サウンド、フレーズ、単語、又はトーンを再生する音声によるインジケータ６１０Ｂである。いくつかの実施形態では、図１０Ａ〜図１０Ｄに関して説明されるように、インジケータは、デジタルアシスタントがコマンド６２４Ａ〜６２４Ｂを実行したとき、特定の音声（例えば、アクセント、男性、又は女性の声）で発語できるデジタルアシスタントによって発語される確認６１０Ｃである。いくつかの実施形態では、ユーザ６２０は、図１０Ａ〜図１０Ｄに関して後述されるように、ユーザのプロファイルに関連付けられた特性（例えば、ユーザ名、明るい色、パターン、サウンド、音声、アクセントに対する特定のユーザの好み）の値を含むように、視覚的インジケータ、音声によるインジケータ、又はデジタルアシスタントインジケータをカスタマイズすることができる。例えば、図６Ｄでは、デジタルアシスタントは、「ジャック、テーブルランプがオンにされました」という確認を提供することができる。ユーザ６２０の名前は、ユーザ６２０が登録中に提供した、ユーザ６２０のユーザプロファイルから取得され、図１０Ａ〜図１０Ｄに関して後述するように判定される。登録プロセスは、図１０Ａ〜図１０Ｄ、及び方法１１００に関して以下で詳細に説明される。デジタルアシスタントは、ユーザ６２０のプロファイルからの設定を利用して、どのユーザ（例えば、ジャック）がコマンドを発語したかを反映するようにインジケータを更にカスタマイズすることができる。
１つ以上の実行基準のセットが満たされない場合、電子デバイス６００は、コマンドの内容に基づくコマンドの実行を見合わせる。いくつかの実施例では、実施可能基準が満たされない場合には、１つ以上の実行基準のセットは満たされない。実施可能基準が満たされない場合、電子デバイス６００は、任意選択的に、図６Ｏに示すようなヘッドシェイクによる指示を生成して、デジタルアシスタントがコマンドを処理できなかったため、承認がないため、又はコマンドを実行する能力がないため、コマンドを実行できないことを示す。図６Ｏのヘッドシェイクによる指示は、（６Ｏ−Ａに示すような）電子デバイス６００のディスプレイ６０２の第１の側の光又は光パターン６０２Ａと、それに続いて、（６Ｏ−Ｂに示すような）ディスプレイ６０２の第２の側の光パターン６０２Ｂと、それに続いて、（６Ｏ−Ｃに示すような）ディスプレイ６０２の第１の側の光パターン６０２Ａとを含み、これは人がかぶりを振ること（ヘッドシェイク）を模擬する。いくつかの実施形態では、実行基準が満たされないときに、特定のインジケータ（例えば、光のパターン、色、又は特定のサウンド）が電子デバイス６００によって生成される。特定のインジケータは、デジタルアシスタントがコマンドを実行できなかった理由を示す特定のエラーコードに対応してもよい（例えば、青色光はコマンドが理解されなかったことを示し、紫色は認可の欠如を示す）。いくつかの実施形態では、デジタルアシスタントがコマンドを実行できないときに生成されるインジケータは、デジタルアシスタントがコマンドを実行することができるときに生成されるインジケータとは異なる。
図６Ｅ〜図６Ｇは、ユーザ６２０がウェアラブル電子デバイス又はモバイル電子デバイス６３０上のデジタルアシスタントをアクティブ化する別の実施形態を示す。図６Ｅでは、電子デバイス６３０がユーザ入力又は手首を持ち上げるなどのジェスチャを検出すると、電子デバイス６３０上のデジタルアシスタントがアクティブ化される。いくつかの実施形態では、ユーザ６２０はまた、任意選択的に、ボタンを押したり、竜頭を回転させたり、又は音声によるユーザ入力を提供したりして、電子デバイス６３０上のデジタルアシスタントをアクティブ化してもよい。デジタルアシスタントがアクティブ化されると、電子デバイス６３０は、任意選択的に、視覚的インジケータ６１０Ａ（例えば、光）、音声によるインジケータ６１０Ｂ（例えば、サウンド、トーン、単語）、又はデジタルアシスタントの音声確認６１０Ｃを提供して、デジタルアシスタントがアクティブ化されたこと、又は１つ以上のアクティブ化基準のセットが満たされたことを示す。様々な種類のインジケータが、図６Ｂに関して上述されている。
図６Ｆでは、電子デバイス６３０は、ユーザ６２０からの「テーブルランプをオンして」というコマンド６２４Ｃを含む発語コマンドを検出する。発語コマンドを受信した後、デジタルアシスタントは、１つ以上の実行基準のセット（例えば、実施可能基準、コマンド完了基準、アクティブ化基準）が満たされたかどうかを判定する。上述のように、１つ以上の実行基準が満たされると、デジタルアシスタントは、音声による入力要求の内容に基づいてコマンドを実行する。図６Ｆに示すように、電子デバイスは、任意選択的に、ユーザの凝視が１つ以上の凝視基準のセットを満たすかどうかをまた判定して、作用する外部デバイスを特定する。以下、１つ以上の凝視基準のセットが更に詳細に説明される。
図６Ｇは、電子デバイス６３０が、テーブルランプをオフ状態からオンにさせる際にコマンドが正常に実行されたというインジケータ（例えば、６１０Ａ，６１０Ｂ，６１０Ｃ）を提供することを示す。コマンドが正常に実行されたことを表示するインジケータは、図６Ｅに関して上述されている。
図６Ｈ〜図６Ｊは、ユーザ６２０がコマンド６４２Ａ〜６２４Ｂを発語中に凝視を中断したために、１つ以上の実行基準のセットが満たされず、デジタルアシスタントが発語コマンド６２４Ａ〜６２４Ｂに関連付けられたコマンドを実行しない場合を示す。１つ以上の実行基準のセットは、ユーザ６２０が、デジタルアシスタントのアクティブ化と発語コマンド６２４Ａ〜６２４Ｂの完了との間に、電子デバイス６００に向けた凝視を閾値持続時間を超えて中断しなかったことを、（例えば、（ユーザ６２０が発語中に）１つ以上のカメラセンサ６１６Ａ，６１６Ｂを使用して電子デバイス６００によって取得された）第２の凝視情報が示すことを、電子デバイス６００が判定したときに満たされる連続凝視基準を含む。いくつかの実施形態では、閾値持続時間はゼロであり、これは、ユーザが発語中、凝視を中断できないことを意味する。いくつかの実施形態では、閾値持続時間は、ゼロでない期間であり、これにより、ユーザは、コマンドを取り消さずに一時的に目をそらすことが可能になる。
図６Ｈ〜図６Ｉでは、ユーザ６０２は、電子デバイス６００がアクティブ化されている間に、「テーブルランプをオンにして」というコマンド６２４Ａ〜６２４Ｂを発語し、その間、電子デバイス６００に向けた凝視を中断する。図６Ｈに示すように、電子デバイス６００が「ｔｕｒｎ．．．」というコマンド６２４Ａ〜６２４Ｂの第１の部分６２４Ａを受信している間、電子デバイス６００は、ユーザ６２０が電子デバイスを見ていると判定する。図６Ｉでは、ユーザがコマンド６２４Ａ〜６２４Ｂの残り６２４Ｂ「．．．ｏｎ ｔｈｅ ｔａｂｌｅ ｌａｍｐ」の発語を完了する前に、ユーザ６２０が電子デバイス６００から１８０度ふり向いて目をそらしたとき、電子デバイス６００は、ユーザの凝視の中断を検出する。ユーザの凝視がゼロでない閾値持続時間（例えば、３秒）を超えて視野基準が満たされないと電子デバイス６００が判定したとき、ユーザの凝視は電子デバイス６００から中断される。
図６Ｊは、１つ以上のアクティブ化基準のセットが満たされた場合であっても（例えば、図６Ｈ）、電子デバイス６００が「ｔｕｒｎ ｏｎ ｔｈａｔ ｌｉｇｈｔ」というコマンド６２４Ａ〜６２４Ｂの実行を見合わせることを示す。結果として、デジタルアシスタントは、テーブルランプ６１８にオンにする命令を送信していないので、テーブルランプ６１８はオフのままである。電子デバイス６００は、コマンドが実行されていないことを示すインジケータ（例えば、６１０Ａ，６１０Ｂ，６１０Ｃ）を任意選択的に生成する。いくつかの実施形態では、インジケータは、上述のような、視覚的インジケータ６１０Ａ（例えば、有色光又は光パターン）、音声インジケータ６１０Ｂ（例えば、サウンド、発語、又は特定の音声）、又はデジタル音声確認６２０Ｃであってもよい。コマンド６２４Ａ〜６２４Ｂが実行されないときに、電子デバイス６００によって提供されるインジケータ（例えば、６１０Ａ，６１０Ｂ，６１０Ｃ）は、任意選択的に、コマンド６２４Ａ〜６２４Ｂが正常に実行されたときに電子デバイス６００によって提供されるインジケータ（例えば、６１０Ａ，６１０Ｂ，６１０Ｃ）とは異なる。
図６Ｋ〜図６Ｎは、電子デバイスがコマンド６２４Ｄ〜６２４Ｆを受信中（電子デバイス６００がアクティブ化されているとき）、ユーザ６２０が電子デバイス６００に向けた凝視を中断したことを電子デバイス６００が検出した場合であっても、凝視の中断が閾値持続時間未満である場合には連続凝視基準が依然として満たされることを示す。図６Ｋは、電子デバイス６００がデジタルアシスタントをアクティブ化しており、コマンド６２４Ｄ〜６２４Ｆの「ｔｕｒｎ ｏｎ ｔｈｅ ｔａｂｌｅ ｌａｍｐ（テーブルランプをオンにして）」のうちの部分６２４Ｄ「ｔｕｒｎ．．．」をユーザ６２０から受信中であることを示す。図６Ｌでは、電子デバイス６００は、コマンド６２４Ｄ〜６２４Ｆのうちの第２の部分６２４Ｅ「．．．ｏｎ ｔｈｅ．．．」をユーザ６２０から継続して受信するが、電子デバイス６００は、ユーザが電子デバイス６００から目をそらすとき、ユーザの凝視の中断を検出する。
図６Ｍでは、電子デバイス６００は、ユーザ６２０が、閾値持続時間（例えば、３秒）以内に、凝視を電子デバイス６００に再び戻したことを検出する。電子デバイスは、コマンド６２４Ｄ〜６２４Ｆのうち最後の部分６２４Ｆ「．．．ｔａｂｌｅ ｌａｍｐ」を継続して受信する。凝視の中断は閾値持続時間未満であるため、連続凝視基準は、依然として満たされる。図６Ｎでは、連続凝視基準が満たされると、デジタルアシスタントは「テーブルランプをオンにして」というコマンド６２４Ｄ〜６２４Ｆを実行し、テーブルランプ６１８がオンになった時点で指示（例えば、視覚６１０Ａ指示，音声６１０Ｂ指示及びデジタルアシスタント確認６１０Ｃ指示）を提供する。
図７Ａ〜図７Ｂは、いくつかの実施形態に係る電子デバイスを使用するための方法７００ を示すフロー図である。方法７００は、電子デバイス（例えば、１００、３００、５００、６００、６３０、８００、１０００）において実行される。方法７００のいくつかの動作は、任意選択的に組み合わされ、いくつかの動作の順序は、任意選択的に変更され、いくつかの動作は、任意選択的に省略される。
以下に説明するように、方法７００は、電子デバイスを一瞥することによって、電子デバイス上のデジタルアシスタントをアクティブ化するための直感的な方法を提供する。この方法は、デジタルアシスタントをアクティブ化するために、ユーザ入力（例えば、発語による音声入力又はボタン押下を介したタッチ入力）を提供するときのユーザの認識的負担を軽減する。いくつかの状況では、ユーザは、音声アクティブ化を効果的に使用することができなかったり（例えば、部屋が騒がしい場合）、又は触知ユーザ入力を提供する（例えば、ボタンを押す）ことができなかったりする。したがって、電子デバイスを見ることでデジタルアシスタントをアクティブ化することができることにより、ユーザは、より効率的なユーザ−・デバイス間インタフェースを使用してデジタルアシスタントと対話することができる。
電子デバイス（例えば、６００）のデジタルアシスタントがアクティブ化されていない間（７０２）、電子デバイス（例えば、６００）は、１つ以上のカメラセンサ（例えば、カメラ６１６Ａ，６１６Ｂ）を使用して、（例えば、ユーザ６２０の）第１の凝視情報を取得する（７０４）。例えば、１つ以上のカメラセンサは、赤外線カメラセンサ（単数又は複数）及び／又は可視光センサ（単数又は複数）である。例えば、１つ以上のカメラセンサは、電子デバイスに無線で接続されていることなどにより、電子デバイス（例えば、６００）の外部にある。
（例えば、デジタルアシスタントがアクティブ化されていない間に）第１の凝視情報が１つ以上のアクティブ化基準のセット（例えば、凝視の角度が視線に対して閾値度未満である、凝視は特定の方向にある、凝視の持続時間は所定の期間以上である）を満たすとの判定にしたがって（７０６）、電子デバイス（例えば、６００）は、電子デバイス（例えば、６００）のデジタルアシスタントを（例えば、マイクロフォンをオンにし、記録された音声の処理を可能にすることによって）アクティブ化する（７０８）。
１つ以上のアクティブ化基準のセットが満たされているときに凝視検出を使用してデジタルアシスタントをアクティブ化することは、特に、ユーザがボタンを押すことができない、又は部屋が騒々しいので音声制御を使用することができないコンテキストにおいて、デジタルアシスタントをアクティブ化するためのより効率的なユーザインタフェースをユーザに提供する。触覚ユーザ入力（例えば、ボタン押下）又は音声入力を必要としない、デジタルアシスタントをアクティブ化するための改善されたユーザインタフェースを提供することにより、デジタルアシスタントの操作性を向上させ、デジタルアシスタントインタフェースのユーザインタフェースをより効率的にする。加えて、視線検出を使用することで、デジタルアシスタントをアクティブ化してコマンドを実行するのに必要なユーザ入力の数が低減され、電子デバイスの操作性が向上する。
いくつかの実施形態では、１つ以上のアクティブ化基準のセットは、判定されたオフセット角度（例えば、６２２）が閾値オフセット角度（例えば、６０４）（例えば、ゼロでない度値であって、デバイスを直接見るユーザからの最大許容可能な偏差）未満であるときに満たされる視野基準を含み、判定されたオフセット角度（例えば、６２２）は、ユーザ（例えば、６２０）の凝視の（例えば、凝視情報から判定された）視線（例えば、６１２）と、ユーザ（例えば、６２０）から電子デバイス（例えば、６００）への算出された視線（例えば、６０８）との間に形成された角度である。
アクティブ化基準として視野基準を使用することにより、ユーザ（例えば、６２０）が直接電子デバイス（例えば、６００）を見なくても、ユーザの凝視を検出することが可能になる。電子デバイス（例えば、６００）がユーザの凝視の視野（例えば、６０６）内にある限り、ユーザの凝視はアクティブ化基準を満たすので、デジタルアシスタントをアクティブ化することが可能になる。視野基準を使用することで、凝視を介してデジタルアシスタントをより正常にアクティブ化することが可能になり、それにより、デジタルアシスタントの操作性が向上し、凝視検出がより効率的になる（例えば、電子デバイス（例えば、６００）がユーザ（例えば、６２０）の直接的な視線（例えば、６１２）内になくてもよいので、デジタルアシスタントは、より高いアクティブ化率を有する）。
いくつかの実施例では、電子デバイス（例えば、６００）が閾値度を超えて（例えば、凝視の視野６０６の外側に）位置すると判定された場合、電子デバイス（例えば、６００）はユーザの凝視内にはなく、デジタルアシスタントはアクティブ化されない。いくつかの実施例では、電子デバイス（例えば、６００）が、閾値度の範囲内にあることによって凝視の視野（例えば、６０６）内にあるとき、デジタルアシスタントはアクティブ化される。
いくつかの実施形態では、ユーザ（例えば、６２０）の凝視の視線（例えば、６１２）は、ユーザ（例えば、６２０）の頭部位置に基づくものである。いくつかの実施例では、ユーザの頭部位置は、傾斜又は回転（例えば、ユーザの頭部のヨー、ピッチ、及びロール）によって影響され得る。
いくつかの実施形態では、１つ以上のアクティブ化基準のセットは、第１の凝視情報から判定された凝視の静止時間（例えば、持続時間）が閾値時間（例えば、ゼロでない閾値時間）を超えるときに満たされる静止時間基準を含む。いくつかの実施例では、凝視の静止時間が閾値時間未満である場合、デジタルアシスタントはアクティブ化されない。
更に、第１の凝視情報が１つ以上のアクティブ化基準のセットを満たすとの判定（７０６）に従って、電子デバイス（例えば、６００）は、１つ以上のアクティブ化基準のセットが満たされていること、及び／又は電子デバイスのデジタルアシスタントが遷移中、若しくは遷移してアクティブ化中であるとの指示を提供する（７１０）。
１つ以上のアクティブ化基準のセットが満たされており、デジタルアシスタントがアクティブ化されているという指示（例えば、６１０Ａ，６１０Ｂ，６１０Ｃ）を提供することにより、デジタルアシスタントの現在の状態に関するフィードバックがユーザに提供される。指示（例えば、６１０Ａ，６１０Ｂ，６１０Ｃ）は、様々なコンテキストに関するカスタマイズ可能なフィードバックを提供する、視覚的確認、音声確認、又はデジタルアシスタントの音声確認であり得る。例えば、サウンドインジケータが聞こえないコンテキスト（例えば、騒々しい部屋）では、視覚的フィードバック（例えば、６１０Ａ）を提供することにより、ユーザ（例えば、６２０）は、デジタルアシスタントがアクティブ化されて、コマンドが処理できるかどうかを知ることができる。デジタルデバイスの状態のカスタマイズされたフィードバックを提供することにより、デジタルアシスタントの操作性が向上し、例えば、デジタルアシスタントがコマンドを処理するために利用可能である（例えば、アクティブ化されている）ときと、利用不可能である（例えば、非アクティブである）ときを、ユーザ（例えば、６２０）に知らせることによって、ユーザ−・デバイス間インタフェースをより効率的にする（例えば、デジタルアシスタントがアクティブでない場合、ユーザ（例えば、６２０）はコマンドを発行しない）。更に、デジタルアシスタントの状態のフィードバックにより、ユーザ（例えば、６２０）がデジタルアシスタントをより効率的に使用することが可能になる。
いくつかの実施形態では、指示（７１２）は、デジタルアシスタントがアクティブ化されていることを示す視覚的指示（例えば、６１０Ａ）（電子デバイス６００が電子デバイス６００のディスプレイ、ＬＥＤ、又は明かりをオンにするなど）である。いくつかの実施形態では、指示（７１４）は、デジタルアシスタントが現在アクティブ化されていることを示すための、音声による指示（例えば、６１０Ｂ）（電子デバイス６００が電子デバイス６００のスピーカを介して音を再生するなど）である。
いくつかの実施形態では、（例えば、デジタルアシスタントがアクティブ化されていない間の）第１の凝視情報が１つ以上のアクティブ化基準のセットを満たさない（例えば、電子デバイス（例えば、６００）がユーザの視野（例えば、６０６）内にはない、凝視が誤った方向にある、凝視の持続時間は所定期間よりも短い）との判定（７１６）に従って、電子デバイス（例えば、６００）は、デジタルアシスタントのアクティブ化を見合わせる。いくつかの実施形態では、デジタルアシスタントのアクティブ化を見合わせることは、デジタルアシスタントをアクティブ化しないままにすること、又は電子デバイス（例えば、６００）がマイクロフォンを有効化しないこと又は記録された音声を処理しないことを含む。いくつかの実施例では、凝視情報の第１のセットが１つ以上のアクティブ化基準のセットを満たさない場合、電子デバイス（例えば、６００）はまた、１つ以上のアクティブ化基準のセットが満たされたというインジケータ（例えば、６１０Ａ，６１０Ｂ，６１０Ｃ）の提供もまた見合わせる。
いくつかの実施形態では、電子デバイス（例えば、６００）は、コマンド（例えば、６２４Ａ〜６２４Ｂ、６２４Ｃ）を実行する音声によるユーザ入力要求を受信する（７１８）。電子デバイス（例えば、６００）がコマンド（例えば、６２４Ａ〜６２４Ｂ、６２４Ｃ）を実行する音声によるユーザ入力要求を受信する（７２０）ことに応じて、（又はデジタルアシスタントがコマンド（例えば、６２４Ａ〜６２４Ｂ、６２４Ｃ）を解釈することに従って）、かつ、１つ以上の実行基準のセット（例えば、実施可能基準、コマンド完了基準、アクティブ化基準）が満たされたとの判定に従って、電子デバイス（例えば、６００）は、音声によるユーザ入力要求の内容に基づいてコマンド（例えば、６２４Ａ〜６２４Ｂ、６２４Ｃ）を実行する（７２２）。いくつかの実施例では、音声入力要求を受信したことに応じて、かつ、コマンド（例えば、６２４Ａ〜６２４Ｂ、６２４Ｃ）の解釈ができなかったことに従って、電子デバイス（例えば、６００）は、コマンド（例えば、６２４Ａ〜６２４Ｂ、６２４Ｃ）の実行を見合わせ、電子デバイス（例えば、６００）は、コマンド（例えば、６２４Ａ〜６２４Ｂ、６２４Ｃ）が解釈されなかったという指示（例えば、６１０Ａ，６１０Ｂ，６１０Ｃ）（例えば、ヘッドシェイクによる指示などの視覚的指示の表示）を提供する。したがって、電子デバイス（例えば、６００）は、デジタルアシスタントが音声入力を理解しない場合、指示（例えば、６１０Ａ，６１０Ｂ，６１０Ｃ）を提供する。いくつかの実施例では、デジタルアシスタントがアクティブ化されていない場合、デジタルアシスタントは、受信したコマンド（例えば、６２４Ａ〜６２４Ｂ、６２４Ｃ）の実行を見合わせる。
いくつかの実施形態では、電子デバイス（例えば、６００）がコマンド（例えば、６２４Ａ〜６２４Ｂ、６２４Ｃ）を実行する音声によるユーザ入力要求を受信したことに応じて、かつ、１つ以上の実行基準のセット（例えば、実施可能基準、コマンド完了基準、アクティブ化基準）が満たされないとの判定に従って、電子デバイス（例えば、６００）は、ヘッドシェイク（かぶりを振ることによる）指示を提供する。ヘッドシェイク指示は、電子デバイス（例えば、６００）が、電子デバイス（例えば、６００）のディスプレイ（例えば、６０２）の第１の側に第１の光パターンを表示することを含む。第１の光パターンを表示したことに続いて、電子デバイス（例えば、６００）は、電子デバイス（例えば、６００）のディスプレイ（例えば、６０２）の第２の側に第２の光パターンを表示する。第２の光パターンを表示したことに続いて、電子デバイス（例えば、６００）は、電子デバイス（例えば、６００）のディスプレイ（例えば、６０２）の第１の側上に第１の光パターンを表示する。
１つ以上の実行基準のセットが満たされないという視覚的指示（例えば、６１０Ａ）（例えば、ヘッドシェイク指示（例えば、６０２Ａ〜６０２Ｂ））を提供することにより、ユーザによって発行されたコマンドが処理できないというフィードバックをユーザに提供する。コマンド（例えば、６２４Ａ〜６２４Ｂ、６２４Ｃ）が処理されない場合を示す、ヘッドシェイク指示（例えば、６０２Ａ〜６０２Ｂ）など、カスタマイズ可能な指示を提供することにより、デジタルアシスタントの操作性が向上し、コマンド（例えば、６２４Ａ〜６２４Ｂ、６２４Ｃ）が実行されないことをユーザ（例えば、６０２）に通知することによってユーザ−・デバイス間インタフェースがより効率的になる。更に、エラーコードに対応するカスタマイズされた指示（例えば、６１０Ａ，６１０Ｂ，６１０Ｃ）は、コマンド（例えば、６２４Ａ〜６２４Ｂ、６２４Ｃ）が実行されなかった理由を伝える、改善されたフィードバックをユーザに提供し、それにより、ユーザ−・デバイス間インタフェースをより効率的にする。
いくつかの実施形態では、１つ以上の実行基準のセットは、電子デバイス（例えば、６００）が、受信された音声コマンドの終わり（例えば、音声によるユーザ入力要求の終わり、所定の期間を超えた音声の休止）を検出するときに満たされる完了基準を含む。いくつかの実施例では、１つ以上の実行基準のセットは、電子デバイス（例えば、６００）が、受信したコマンドが実施可能である（例えば、デジタルアシスタントがコマンドを実行する権限及び／又は能力を有する）と判定する場合に満たされる実施可能基準を含む。
いくつかの実施形態では、電子デバイス（例えば、６００）は、デジタルアシスタントがアクティブ化されていない間に、音声によるユーザ入力要求の受信を開始する。いくつかの実施例では、デジタルアシスタントは、凝視情報が１つ以上のアクティブ化条件のセットをまだ満たしていないため、非アクティブである。これは、例えば、ユーザ（例えば、６２０）がデジタルアシスタントを見る前にコマンド（例えば、６２４Ａ〜６２４Ｂ、６２４Ｃ）の発語を開始するときに起こり得る。いくつかの実施例では、第１の凝視情報は１つ以上のアクティブ化基準のセットを満たし、それに応じて、デジタルアシスタントは、コマンドを実行するための音声によるユーザ入力要求の受信を電子デバイス（例えば、６００）が終了する前にアクティブ化される。
デジタルアシスタントがアクティブ化される前に音声によるユーザ入力要求を受信することができることにより、ユーザ（例えば、６０２）がデジタルアシスタントをまだアクティブ化していない場合であっても、ユーザ（例えば、６０２）は、発語を開始することが可能になる。アクティブ化条件のセットがまだ満たされていないときに音声によるユーザ入力要求を検出することにより、デジタルアシスタントの操作性が向上し、アクティブ化及びコマンド（例えば、６２４Ａ〜６２４Ｂ、６２４Ｃ）の発語が順序通りに実行される必要がないので、デバイス・ユーザ間インタフェースがより効率的になる。
いくつかの実施形態では、電子デバイス（例えば、６００）がコマンド（例えば、１２４Ｃ）を実行するために音声によるユーザ入力要求を受信したことに応じて、かつ、１つ以上の実行基準のセットが満たされないとの判定に従って（例えば、コマンド（例えば、６２４Ａ〜６２４Ｂ、６２４Ｃ）を実行するために電子デバイス（例えば、６００）に対して満たされるべき様々な基準）、電子デバイス（例えば、６００）は、音声によるユーザ入力要求の内容に基づくコマンド（例えば、６２４Ａ〜６２４Ｂ、６２４Ｃ）の実行を見合わせ（７２４）、その１つ以上の実行基準のセットは、（例えば、１つ以上のカメラセンサを使用して電子デバイスによって取得される）第２の凝視情報が、ユーザ（例えば、６０２）が、デジタルアシスタントのアクティブ化と音声によるユーザ入力要求の完了との間の閾値持続時間（例えば、ゼロでない持続時間）を超えて、電子デバイス（例えば、６００）に向けた凝視を中断しないことを示すと、電子デバイス（例えば、６００）が判定した場合に満たされる連続凝視基準を含む。いくつかの実施例では、デジタルアシスタントは、ユーザ（例えば、６０２）がデバイス凝視を中断する（例えば、ユーザ（例えば、６０２）が、コマンドの完了前に目をそらした、ユーザ（例えば、６０２）が一度に１秒以上目をそらした）という理由で、コマンド（例えば、６２４Ａ〜６２４Ｂ、６２４Ｃ）を実行しない。いくつかの実施例では、閾値持続時間は０秒である。いくつかの実施例では、閾値持続時間はゼロでない持続時間（例えば、０．５秒）である。
いくつかの実施形態では、電子デバイス（例えば、６００）は、音声出力を生成し（例えば、電子デバイス（例えば、６００）が楽曲を再生しており）、音声出力は、音声によるユーザ入力要求を受信する前には第１の音量で生成される。音声によるユーザ入力要求の受信を開始したことに応じて、電子デバイス（例えば、６００）は、音声出力の音量を第１の音量よりも小さい第２の音量に低減し、第２の音量は、ユーザ（例えば、音声によるユーザ入力要求を提供するユーザ）と電子デバイス（例えば、６００）との間の距離に基づく。いくつかの実施例では、電子デバイス（例えば、６００）は、外部センサ（例えば、６１６Ａ）又は電子デバイス（例えば、６００）上のセンサ（例えば、６１６Ｂ）を使用して、ユーザ（例えば、６０２）と電子デバイス（例えば、６００）との間の距離を判定し、ユーザ（例えば、６０２）が話している間、音楽の音量をミュート又は低減する（例えば、音声出力を可変的に頭を引っ込めるように下げる）かどうかを判定する。いくつかの実施例では、電子デバイスは、コマンド（例えば、６２４Ｃ）の終わりを検出した後に、音量を第１の音量まで戻してもよい。いくつかの実施例では、音量変更は、要求の内容に基づくものではない。
電子デバイスが音声によるユーザ入力要求を受信するときに、音声出力音量を低減するか、又は音声出力をミュートにすることにより、音声によるユーザ入力要求をより容易に処理することが可能となり、その結果、環境ノイズが低減されるため、音声によるユーザ入力要求から導出されたコマンド（例えば、６２４Ｃ）が、電子デバイスによって理解される可能性が高くなる。デジタルアシスタントによって処理されるコマンド（例えば、６２４Ｃ）と干渉し得る可能性のある環境ノイズ又はサウンドを除去することにより、デジタルアシスタントの操作性が向上し、正しいコマンドを実行する精度を高めることによって、ユーザ−・デバイス間インタフェースがより効率的となり、それにより、デジタルアシスタントがコマンド（例えば、６２４Ｃ）を処理できないときに、ユーザ（例えば、６０２）が再びコマンドを繰り返す必要がないため、ユーザエクスペリエンスが改善する。
方法７００に関して上述したプロセス（例えば、図７Ａ〜図７Ｂ）の詳細はまた、以下で説明する方法にも、類似の方式で適用可能であることに留意されたい。例えば、方法７００は、図９Ａ、図９Ｂ、図１１Ａ、及び図１１Ｂのプロセスを参照して以下に記載する様々な方法の特性のうちの１つ以上を含んでもよい。簡潔にするために、これらの詳細は、以下で繰り返さない。
以下の図９Ａ〜図９Ｂ及び図１１Ａ〜図１１Ｂにおいて動作が記載されている特定の順序は、例示的なものであり、記載された順序が動作を実行し得る唯一の順序であることを示す意図はないことを理解されたい。当業者であれば、特定の動作の除外と並び、本明細書で説明される動作の順序を並べ替える様々な方法を認識するであろう。簡潔にするために、それらの詳細はここでは繰り返さない。更に、この説明全体において説明されている方法及び処理の態様は、互いに統合されてもよいことに留意されたい。
図８Ａ〜図８Ｌは、いくつかの実施形態に係る、電子デバイスが、凝視情報を使用して、デジタルアシスタントがアクティブ化された後にコマンドを実行するためのコンテキスト（例えば、コマンドが向けられた機器）を判定するための例示的なユーザインタフェースを示す。図８Ａ〜図８Ｌに示される技法は、任意選択的に、図６Ａ〜図６Ｏに示される技法と連携して機能するか、又はそれらを含み、それらは、ユーザが、電子デバイスを見てコマンドを発行することによって、デジタルアシスタントをアクティブ化し得る様子を開示している。したがって、以下に記載される技法は、図６Ａ〜図６Ｏ及び方法７００を参照して上述した様々な技法の特性のうちの１つ以上を含む。これらの図中のユーザインタフェースは、図９Ａ、図９Ｂでのプロセスを含めた、以下で説明されるプロセスを例示するために使用される。
図８Ａ〜図８Ｃは、電子デバイス８００が、電子デバイス８００のデジタルアシスタントがアクティブ化されるときに第１のコマンド８２４Ａ〜８２４Ｂを実行するためにユーザ８２０から音声によるユーザ入力要求を受信することを示す。デジタルアシスタントは、トリガ語、（例えば、図６Ａ〜図６Ｏに関して上述したような）凝視、ボタン押下、ユーザがウェアラブル電子デバイス（例えば、腕時計）を着用中の手首の持ち上げ（図６Ｅ〜図６Ｇ）、及び／又は電子デバイス８００においてポイントされた外部デバイス（例えば、電話）の検出に基づいてアクティブ化される。電子デバイス（例えば、８００）は、デジタルアシスタントがアクティブ化されていることを示すために、視覚的指示又は音声による指示８１０Ａ〜８１０Ｂを任意選択的に提供する。
図８Ａでは、ユーザ８２０が、テーブルランプ８１８及びフロアランプ８１４のある部屋で立っている。電子デバイス８００のデジタルアシスタントは、１つ以上のアクティブ化基準のセットが、電子デバイス８００によって、方法７００に関して上述のように満たされていると判定された（例えば、デバイス８００は、ユーザ８２０がデバイス８００を見ていると判定した）ことに基づいて、アクティブ化されている。デジタルアシスタントがアクティブ化されると、電子デバイスは、ユーザ８２０が、フルコマンド８２４Ａ〜８２４Ｂのうちの部分８２４Ａ「ｔｕｒｎ．．．」を発語するのを検出する。いくつかの実施形態では、完全なコマンド８２４Ａ〜８２４Ｂが、部屋に存在し得る複数の外部デバイス（例えば、テーブルランプ８１８，フロアランプ８１４）に適用可能である。いくつかの実施形態では、ユーザのコマンド８２４Ａ〜８２４Ｂは、コマンド８２４Ａ〜８２４Ｂがどの外部デバイス（例えば、テーブルランプ８１８，フロアランプ８１４）に向けられているかをデジタルアシスタントが判定するのに十分な詳細を含まない。したがって、電子デバイス８００は、コマンド８２４Ａ〜８２４Ｂのみに基づいて、「その光」がテーブルランプ８１８を指すか、又はフロアラップ８１４を指すかを判定することができない。
図８Ｂにおいて、ユーザ８２０は、どの外部デバイス（例えば、明かり）を作用させたいかを、テーブルランプ８１８を見ることによって示しつつ、コマンド８２４Ａ〜８２４Ｂ「ｔｕｒｎ ｏｎ ｔｈａｔ ｌｉｇｈｔ（その明かりをオンにして）」のうち残りの部分８２４Ｂ「．．．ｏｎ ｔｈａｔ ｌｉｇｈｔ（その明かりを）」を言い終える。電子デバイスは、ユーザ８２０が発語中、ユーザの凝視に基づいた凝視情報を受信し、それを使用して、ユーザの凝視が１つ以上の凝視基準のセットを満たすとき、テーブルランプ８１８が対象とされたデバイスであると判定する。電子デバイス８００は、外部デバイス８１６Ａ上に配置され得る、及び／又はカメラ８１６Ｂで電子デバイス８００に一体化され得る１つ以上のカメラセンサを介してユーザの凝視に関する情報を取得する。カメラ８１６Ａは、電子デバイス６００に無線接続されるが、代替的に有線であってもよい。１つ以上のカメラセンサは、赤外線カメラセンサ及び／又は可視光センサを含み、凝視が検出されるとすぐに凝視情報を測定する。凝視情報は、任意選択的に、ユーザの頭部位置、凝視の静止時間又は持続時間、凝視の方向、凝視の視野８０６、凝視の方向、及び対象物（例えば、電子デバイス８００又は外部デバイス（例えば、ランプ８１４，８１８）が凝視の視野８０６内にあるかどうか（例えば、外部デバイスは、ユーザの視線８１２から閾値オフセット角度８０４内にある）、のうち１つ以上を含む。
いくつかの実施形態では、電子デバイス８００は、方向基準、静止時間基準、及び／又は視野基準が満たされたときに、１つ以上の凝視基準のセットが満たされたと判定する。１つ以上の凝視基準のセットは、任意選択的に、凝視がテーブルランプ８１８の方向に向けられたときに満たされる方向基準を含む。
１つ以上の凝視基準のセットは、電子デバイス８００が、ゼロではない所定の期間（例えば、２秒、閾値時間）を超えて、テーブルランプ８１８の方向への凝視の静止時間又は持続時間を検出するときに満たされる静止時間基準を含む。いくつかの実施例では、電子デバイス８００は、静止時間を利用して、（例えば、命令を送信するために）どの外部オブジェクトに作用するかを判定するために、ユーザ８２０がテーブルランプ８１８を見ているかどうかを判定する。凝視の静止時間又は持続時間が閾値時間よりもあまりに短い又は閾値時間未満である場合、このことは、ユーザが、特定の外部デバイス（例えば、テーブルランプ８１８）がコマンド８２４Ａ〜８２４Ｂの対象のデバイスであると意図していないことを示す。いくつかの実施形態では、閾値時間未満の静止時間は、凝視基準を満たさず、結果として、コマンド８２４Ａ〜８２４Ｂが電子デバイス８００によって特定された特定の外部デバイスに送信されない。いくつかの実施形態では、閾値時間よりも短い静止時間は、電子デバイス８００がいずれの外部デバイスも特定しないとの結果をもたらす。
１つ以上の凝視基準のセットは任意選択的に、視野基準を含む。テーブルランプ８１８などの外部デバイスがユーザ８２０の視野８０６内にあると判定されたときに、特定の外部デバイスについて視界基準が満たされる。テーブルランプ８１８がユーザの視線８１２から閾値オフセット角度８０４内にあるときに、テーブルランプ８１８は、ユーザ８２０の視野８０６内にあると判定される。視野を使用して、ユーザが対象の外部デバイス（例えば、テーブルランプ８１８，フロアランプ８１４）を見ているかどうかを判定することにより、ユーザが対象のデバイスを直接見ていない場合であっても、凝視が視野内で検出され得るため、凝視検出率が高くなる。いくつかの実施形態では、テーブルランプ８１８が直接ユーザ８２０の視線８１２内にあるときに、テーブルランプ８１８に対して視野基準が満たされる。いくつかの実施形態では、凝視の判定されたオフセット角度が、外部デバイスに対する閾値オフセット角度８０４（例えば、テーブルランプ８１８を直接見ているユーザ８２０の視線８１２からの最大許容可能偏差）未満であるときに、特定の外部デバイスに対して視野基準が満たされる。閾値オフセット角度８０４はゼロ度よりも大きい（例えば、３０度）。判定されたオフセット角度は、ユーザ８２０の凝視からの視線８１２とユーザ８２０から電子デバイス８００への算出された視線との間に形成された角度に基づいて算出される。図８Ｂの例では、ユーザー８２０はテーブルランプ８１８を直接見ている。いくつかの実施例では、テーブルランプ８１８が、ユーザの直接の視線から閾値度の範囲内にあることによって凝視の視野内にあるとき、視野基準は、テーブルランプ８１８に対して満たされ、電子デバイス８００は任意選択的に、テーブルランプ８１８に命令を送信する。オフセット角度が閾値オフセット角度８０４よりも大きいとき、視野基準は満たされず、結果として、デジタルアシスタントは、ユーザ８２０の視野８０６の外側にあるテーブルランプ８１８に命令を送信しない。いくつかの実施形態では、テーブルランプ８１８がユーザ８２０の視野８０８の外側に閾値度を超えて位置していると判定された場合、テーブルランプ８１８は、ユーザの凝視内にないと判定され、電子デバイス８００はテーブルランプ８１８に命令を送信しない。いくつかの実施形態では、視線８１２は、ユーザの頭部位置に基づいて測定される。いくつかの実施形態では、ユーザの頭部位置は、ユーザの頭部の傾斜又は回転（例えば、ヨー、ピッチ、及び／又はロール）に基づくものである。これらの技術の態様は、図６Ｂ〜図６Ｃに関して上記に更に詳細に例示及び説明される。
電子デバイス８００は、１つ以上の凝視基準のセットがテーブルランプ８１８に対して満たされるときに、指示（例えば、インジケータ８１０Ａ，８１０Ｂ、８１０Ｃ）を任意選択的に提供する。指示は、任意選択的に、受信した音声によるユーザ入力要求からのコマンド８２４Ａ〜８２４Ｂがテーブルランプ８１８に関連付けられているか、又はテーブルランプ８１８に向けられていることを示す。指示は、デジタルアシスタントがユーザの凝視に基づいてテーブルランプ８１８を特定したことを示す視覚８１０Ａインジケータ又は音声８１０Ｂインジケータであってもよい。いくつかの実施形態では、インジケータは、デジタルアシスタントがユーザの凝視に基づいてテーブルランプ８１８を特定したことを示すための、特定の色の光（例えば、青色又は、テーブルランプ８１８が特定されたときのデフォルト色以外の色）、又は光パターンを表示する視覚的インジケータ８１０Ａである。いくつかの実施形態では、インジケータは、デジタルアシスタントがテーブルランプ８１８を特定したときに、サウンド、単語、音、トーンを再生する、又は特定の音声（例えば、アクセント、男性、又は女性の声）で発語する音声インジケータ８１０Ｂである。いくつかの実施形態では、デジタルアシスタントは、電子デバイス８００が作用すべき（例えば、オンにすべき）外部デバイスを特定したことを示す音声確認（「テーブルランプをオンにします」）を提供する。
図８Ｃでは、電子デバイスが、１つ以上の凝視基準のセットがテーブルランプ８１８に対して満たされたと判定すると、デジタルアシスタントは、コマンドに作用する命令を送信する。例えば、電子デバイスは、コマンドが「オンにする」機能を実行することであると判定し、その機能が特定のデバイス（テーブルランプ８１８）に向けられるべきであると判定する。したがって、電子デバイスは、命令を（例えば、テーブルランプ８１８に、又はテーブルランプ８１８を制御する別のデバイスに）送信して、テーブルライトをオフ状態からオン状態にする。いくつかの実施形態では、デジタルアシスタントは、外部デバイスが第１の状態から第２の状態へ遷移した結果としてタスクを変更させる命令を送信する。例えば、デジタルアシスタントは、外部デバイス（例えば、コンピュータ又は電話）に、外部デバイスが楽曲を変更するとき、第１の状態から第２の状態に遷移させ、１つのタスクの実行から別のタスクの実行に（例えば、音楽再生から天気の提供に）遷移し、又は非アクティブ状態からアクティブ状態に、また、その逆に遷移する命令を送信してもよい。
図８Ｃに示すように、部屋内に（又は電子デバイス８００によってアクセス可能な）複数の外部デバイス（例えば、テーブルランプ８１８，フロアランプ８１４）が存在する場合、電子デバイス８００は、複数の外部デバイスを区別することができ、意図された外部デバイス（例えば、テーブルランプ８１８，フロアランプ８１４）にだけ命令を送信することができる。電子デバイス８００は、特定の外部デバイス（例えば、テーブルランプ８１８，フロアランプ８１４）に対して１つ以上の凝視基準のセットが満たされているかどうかを判定することによって、意図された外部デバイス（例えば、テーブルランプ８１８，フロアランプ８１４）を特定する。換言すれば、電子デバイス８００は、１つ以上の凝視基準のセットが満たされたときに、凝視情報を使用して、ユーザがどの外部デバイス（例えば、テーブルランプ８１８，フロアランプ８１４）を見ているかを判定する。いくつかの実施形態では、電子デバイス８００が、特定された第１の外部デバイス（テーブルランプ８１８）に命令（例えば、「オンにする」）を送信するとき、部屋内の第２の外部デバイス（フロアランプ８１４）は、凝視情報によって特定された外部デバイスではないため、フロアランプ８１４は影響を受けない。フロアランプ８１４（第２の外部デバイス）は、オン状態であってもよいし、オフ状態であってもよい。例えば、図８Ｃにおいて、命令がテーブルランプ８１８に送信されてテーブルランプ８１８をオンにするが、命令はフロアランプ８１４に送信されず、それは、オフのままである（フロアランプ８１４は以前にオフ状態にあった）。したがって、送信された命令は、フロアランプ８１４の状態を変化させない。いくつかの実施形態では、ユーザ８２０がテーブルランプ８１８ではなく、フロアランプ８１４を一瞥すると、１つ以上の凝視基準のセットは、テーブルランプ８１８ではなく、フロアランプ８１４によって満たされる。したがって、デジタルアシスタントは、テーブルランプ８１８が影響を受けないままである間に、フロアランプ８１４に命令を送信する（例えば、テーブルランプ８１８は、以前にオンであった場合にはオンのままであり、以前にオフの場合はオフのままである）。
デジタルアシスタントが、対応する外部デバイスに命令を送信したとき、電子デバイス８００は、テーブルランプ８１８が第１の状態から第２の状態に遷移したことを示すインジケータ（例えば、インジケータ８１０Ａ，８１０Ｂ，８１０Ｃ）を任意選択的に提供する。いくつかの実施形態では、インジケータは、命令を受信した結果、テーブルランプ８１８がオフ状態からオンにされたことを示すために、特定の色（例えば、青色又はデフォルト色以外の色）の光又は光パターンの光を表示する視覚的インジケータ８１０Ａである。いくつかの実施形態では、インジケータは、サウンド、１つ以上の単語、又はトーンである音声インジケータ８１０Ｂである。いくつかの実施形態では、インジケータは、「Ｏｋ，ジャック、テーブルランプはオンです」などのデジタルアシスタントからの音声確認８１０Ｃである。ユーザは、ユーザ８２０は登録中に提供した、ユーザのプロファイルに関連付けられた特性（例えば、ユーザ名、光の色、パターン、サウンド、音声、アクセントに対する特定のユーザの好み）を含むようにインジケータをカスタマイズすることができる。登録プロセスは、図１０Ａ〜図１０Ｄ及び方法１１００に関連して以下で詳細に説明される。デジタルアシスタントは、図１０Ａ〜図１０Ｄ及び方法１１００に関して後述されるように、どのユーザ（例えば、ジャック）が認識されたかを反映するようにインジケータをカスタマイズする。いくつかの実施形態では、テーブルランプ８１８が実際にオンにされているかどうかにかかわらず、デジタルアシスタントがテーブルランプ８１８に正常に命令を送信したときに、電子デバイス８００は、インジケータ（例えば、８１０Ａ，８１０Ｂ，８１０Ｃ）を提供する。いくつかの実施形態では、電子デバイス８００は、テーブルランプ８１８がオンにされたという判定に応じて、インジケータ（例えば、８１０Ａ，８１０Ｂ，８１０Ｃ）を提供する。任意選択的に、テーブルランプ８１８が「ｔｕｒｎ ｏｎ（オンにする）」コマンドを実行できず、オフのままであるとき、電子デバイス８００は、異なるインジケータ（例えば、８１０Ａ，８１０Ｂ，８１０Ｃ）を提供する。いくつかの実施形態では、コマンド８２４Ａ〜８２４Ｂが実行に失敗したときに、特定のエラーコードを示すために、電子デバイス８００は異なるインジケータ（例えば、８１０Ａ，８１０Ｂ，８１０Ｃ）を提供してもよい。
インジケータ（例えば、８１０Ａ，８１０Ｂ，８１０Ｃ）は、任意選択的にドメイン（例えば、音楽）固有である。いくつかの実施形態では、電子デバイス８００は、コマンドが特定のドメイン内のアクションを指す（例えば、音楽ドメイン内の「Ｌｏｖｅ ｔｈａｔ ｓｏｎｇ（その歌が大好き）」コマンド）と判定する。コマンドが第１のドメイン（例えば、音楽）であるとの判定に従って、指示は、第１のタイプの指示（例えば、特定のサウンド又は光インジケータのセット）である。コマンドが第１のドメインとは異なる第２のドメイン（例えば、電子メール）であるとの判定に従って、指示は、第１のタイプの指示とは異なる第２のタイプの指示（例えば、異なるセットの音又は光インジケータ）である。異なるドメインについて異なるインジケータ（例えば、８１０Ａ，８１０Ｂ，８１０Ｃ）を有することにより、コマンドが正常に実行されたときと、コマンドが実行できなかったときをユーザが容易に認識することができる。
図８Ｄは、デジタルアシスタントが、テーブルランプ８１８をオンにする命令を送信したとき、ユーザ８２０は、第２の外部デバイスに入力を提供することによって（例えば、ユーザ８２０が着用している腕時計８３０の竜頭８３２を回転させることによって）、外部デバイスの設定（例えば、ランプの輝度）を更に変更することができることを示す。腕時計８３０は、どれが制御すべき外部デバイスかについてのコンテキスト情報へアクセスしない。代わりに、ユーザは、単に、ランプを制御するための拡張入力機構として腕時計８３０の竜頭８３２を使用するだけである。腕時計８３０は、ユーザ入力を検出し、ユーザ入力の指示を電子デバイス８００に送信する。電子デバイス８００は、ユーザ入力の指示を受信し、テーブルランプ８１８が、命令を受信すべき意図された外部デバイス（例えば、テーブルランプ８１８，フロアランプ８１４）であると判定する。図８Ｄでは、ユーザ８２０が竜頭８４２を回転させて、テーブルランプ８１８の輝度を輝度８０に増大させる。いくつかの実施例では、電子デバイス８００は、電子デバイス８００がユーザ８２０のアクションに基づいて、テーブルランプ８１８に命令を送信したという最新性に基づいて、テーブルランプ８１８が意図された外部デバイスであると判定する。いくつかの実施形態では、電子デバイス８００は、電子デバイス８００が命じた直近のデバイス（例えば、テーブルランプ８１８）に（腕時計８３０でのユーザ入力に基づいて）命令を送信する。例えば、電子デバイス８００がちょうど音楽を再生するようにコンピュータを命じた場合、ユーザが腕時計８４０上の竜頭８４２を回転させることにより、電子デバイス８００は、命令をコンピュータに送信して、コンピュータの音量を増加させる（又は減少させる）ことになる。いくつかの実施形態では、電子デバイス８００は、テーブルランプ８１８とペアリングされる。いくつかの実施形態では、電子デバイス８００は、腕時計８４０が電子デバイス８００とペアリングされている間にユーザ８２０が腕時計８４０を着用していることを検出する。いくつかの実施形態では、腕時計８４０は、（同様に）テーブルランプ８１８とペアリングされる。電子デバイス８００がテーブルランプ８１８に命令を送信すると、電子デバイス８００は、命令が正常に送信されたことを示すインジケータ（例えば、８１０Ａ，８１０Ｂ，８１０Ｃ）を提供する。いくつかの実施形態では、電子デバイス８００は、命令がテーブルランプ８１８に正常に送られなかったことを示す異なるインジケータ（例えば、８１０Ａ，８１０Ｂ，８１０Ｃ）を提供する。
図８Ｅは、ユーザ８２０による竜頭８３２の回転量に対応する低輝度になるまでテーブルランプ８１８の光を暗くするために、電子デバイス８００が腕時計８３０からのユーザ入力の追加の指示を受信することを示す。腕時計８３０からの入力の指示を受信したことに応じて、電子デバイス８００は、テーブルランプ８１８をオンにするように命じたとの最新性に基づいて、輝度８０から低減した輝度２０まで光を暗くする命令をテーブルランプ８１８に送信する。いくつかの実施形態では、ユーザ８２０は、デジタルアシスタントに追加のコマンドを提供する必要なく、腕時計８３０を使用して、テーブルランプ８１８がオンになった時点でテーブルランプ８１８を直接制御する。電子デバイス８００がテーブルランプ８１８に命令を送信すると、電子デバイス８００は、命令が正常に送信されたことを示すインジケータ（例えば、８１０Ａ，８１０Ｂ，８１０Ｃ）を提供する。いくつかの実施形態では、電子デバイス８００は、命令がテーブルランプ８１８に正常に送信されなかったことを示す異なるインジケータ（例えば、８１０Ａ，８１０Ｂ，８１０Ｃ）を提供する。
いくつかの実施形態では、図８Ｆ〜図８Ｈに示すように、部屋の中に複数の外部デバイス（例えば、フロアランプ８１４，テーブルランプ８１８）が存在する場合、電子デバイス８００は、ユーザの凝視情報を使用して、ユーザの凝視に基づいて、特定の外部デバイスを意図された外部デバイスであると特定する。電子デバイス８００は、凝視情報に基づいて、１つ以上の凝視基準のセットが特定の外部デバイスに対して満たされているかどうかを判定することによって、意図された外部デバイスを特定する。１つ以上の凝視基準のセットが任意の外部デバイスに対して満たされない場合、電子デバイス８００が凝視情報から外部デバイスを判定できないため、電子デバイス８００は命令の送信を見合わせる。結果として、部屋の中の外部デバイスは元の状態のままである。
図８Ｆは、電子デバイス８００がユーザ８２０の凝視情報を検出し、（例えば、図６Ａ〜図６Ｄに関して上述したように）１つ以上のアクティブ化基準のセットが満たされているとの判定に従って、電子デバイスは、デジタルアシスタントをアクティブ化することを示す。電子デバイスは、任意選択的に、デジタルアシスタントがアクティブ化されていることを示すために、視覚的インジケータ８１０Ａ（例えば、ディスプレイ８０２をオンにする）、音声インジケータ８１０Ｂ、又はデジタル音声確認８１０Ｃを提供してもよい。
図８Ｇは、最初にオンであるテーブルランプ８１８と、最初にオフであるフロアランプ８１４を示す。電子デバイス８００は、ユーザ８２０が「その明かりをオンにして」という第２のコマンド８２４Ｃを発語することを検出する。しかし、ユーザ８２０は、コマンド８２６Ｃ の意図された外部デバイスであるフロアランプ８１４を見ていない。電子デバイス８００は、外部デバイス上に位置し得る、かつ／又はカメラ８１６Ｂで電子デバイス８００に一体化され得る１つ以上のカメラセンサ８１６Ａを介して第２の凝視情報を取得する。第２の凝視情報は、任意選択的に、ユーザの頭部位置、凝視の静止時間又は持続時間、凝視の方向、凝視の視野８０６、凝視の方向、及びフロアランプ８１４が凝視の視野８０６内にあるかどうか、のうちの１つ又は２つ以上を含む。
図８Ｈでは、電子デバイス８００は、１つ以上のカメラセンサ８１６から取得された第２の凝視情報が１つ以上の凝視基準のセットを満たさないと判定する。上述のように、１つ又は２つ以上の凝視基準のセットは、任意選択的に、凝視がフロアランプ８１４の方向に向けられたときにフロアランプ８１４に対して満たされる方向基準を含む。１つ以上の凝視基準のセットは、任意選択的に、電子デバイス８００が、所定の期間（例えば、ゼロでない閾値、２秒）を超えた、フロアランプ８１４の方向への凝視の静止時間又は持続時間を検出するときに、フロアランプ８１４に対して満たされる静止時間基準を含む。１つ以上の凝視基準のセットは任意選択的に、視野基準を含む。フロアランプ８１４がユーザ８２０の視野８０８内にあると判定されたときに、フロアランプ８１４に対して視野基準が満たされる。図８Ｇ〜図８Ｈは、判定されたオフセット角度がユーザ８２０の視線８１２からの閾値オフセット角度よりも大きいため、フロアランプ８１４とテーブルランプ８１８がユーザ８２０の視野８０８内にあると判定されないことを示す。閾値オフセット角度８０４はゼロ度よりも大きい（例えば、３０度）。持続時間基準、静止時間基準及び／又は視野基準のうちの１つ以上が任意の外部デバイスに対して満たされないため、１つ以上の凝視基準のセットが満たされない場合、電子デバイス８００は、ユーザ８２０がどの外部デバイス（フロアランプ８１４，テーブルランプ８１８）に作用する（例えば、オンにする）ことを意図するかを判定することができない。
図８Ｈは、１つ以上の凝視基準のセットが任意の外部デバイスに対して満たされなかったため、電子デバイス８００は、外部デバイス、フロアランプ８１４又はテーブルランプ８１８を第１の状態（例えば、オフ）から第２の状態（例えば、オン）に遷移させるための「その明かりをオンにする」命令の送信を見合わせることを示す。結果として、フロアランプ８１４はオフのままであり、テーブルランプ８１８はオフのままであり、それらは、電子デバイス８００が、ユーザ８２０がコマンド８２４Ｃを発語するのを検出する前の外部デバイスの初期状態であった。例えば、テーブルランプ８１８は、その初期のオン状態を変更するためにテーブルランプ８１８にいかなる命令も送信されていないため、そのオン状態のままである。
電子デバイス８００は、ユーザ８２０の凝視情報に基づいて、フロアランプ８１４（又は任意の他のデバイス）を意図された外部デバイスとして特定できなかったために、電子デバイス８００が命令を送信しなかったことを示す、特定のインジケータ（例えば、８１０Ａ，８１０Ｂ，８１０Ｃ）（例えば、ヘッドシェイク指示（例えば、図６Ｏ又はサウンド）などの一連の光）を任意選択的に生成する。いくつかの実施形態では、特定のインジケータ（例えば、光、色、又は特定のサウンドのパターン）は、デジタルアシスタントがコマンド８２４Ｃに関連付けられた外部デバイスを判定できなかった理由についての特定のエラーコードに対応してもよい。デジタルアシスタントが命令を送信できないときに生成されるインジケータは、デジタルアシスタントが命令を送信できるときに生成されるインジケータとは任意選択的に異なる。いくつかの実施形態では、デジタルアシスタントがコマンド８２４Ｃに関連付けられた命令を送信しない場合、いかなるインジケータも生成されない。
図８Ｉは、部屋の中に複数の外部デバイス（例えば、フロアランプ８１４及びテーブルランプ８１８）が存在し、電子デバイス８００とペアリングされている別の実施形態を示す。この実施例では、デジタルアシスタントは、ユーザ８２０が一瞥することによってアクティブ化されている。他の実施例では、デジタルアシスタントは、上述のように、単語、一瞥すること、又はボタン押下によってアクティブ化される。図８Ｉに示すように、図８Ｊ−図８Ｌでのユーザがコマンド８２４Ａ〜８２４Ｂを発語する前に、テーブルランプ８１８は既にオン状態にあり、フロアランプ８１４はオフ状態にある。
図８Ｊでは、電子デバイス８００は、ユーザ８２０がフロアランプ８１４を見ていることを検出している間に、ユーザ８２０が第２のコマンド８２４Ａ〜８２４Ｂ「ｔｕｒｎ ｏｎ ｔｈａｔ ｌｉｇｈｔ（その明かりをオンして）」の部分８２４Ａ「Ｔｕｒｎ．．．」を発語するのを検出する。図８Ｊでは、電子デバイス８００は、外部デバイス上に配置され得る、及び／又はカメラ８１６Ｂにおいて電子デバイス８００に一体化され得る１つ以上のカメラセンサ８１６Ａを介して、フロアランプ８１４をユーザが一瞥することに基づいて第２の凝視情報を取得する。第２の凝視情報は、任意選択的に、ユーザの頭部位置、凝視の静止時間又は持続時間、凝視の方向、凝視の視野、凝視の方向、及びフロアランプ８１４がオフセット角度に基づいて凝視の視野内にあるかどうか、のうちの１つ以上を含む。
電子デバイス８００は、１つ以上のカメラセンサ８１６Ａ〜８１６Ｂから取得された第２の凝視情報が１つ以上の凝視基準のセットを満たすかどうかを判定する。１つ以上の凝視基準のセットがフロアランプ８１４に対して満たされると、電子デバイス８００は、ユーザ８２０が第２のコマンド８２４Ａ〜８２４Ｂをフロアランプ８１４に適用することを意図したと判定することができる。上述のように、１つ以上の凝視基準のセットは、任意選択的に、凝視がフロアランプ８１４の方向に向けられたときにフロアランプ８１４に対して満たされる方向基準を含む。１つ以上の凝視基準のセットは、電子デバイス８００が、ゼロでない所定の時間（例えば、２秒）を超えたフロアランプ８１４の方向における凝視の静止時間又は持続時間を検出するときに満たされる静止時間基準を任意選択的に含む。１つ以上の凝視基準のセットは、任意選択的に、視野基準を含む。外部デバイス、フロアランプ８１４がユーザ８２０の視野８０８内にあると判定されたときに、視野基準が満たされる。フロアランプ８１４がユーザの視線８１２から閾値オフセット角度８０４内にあるとき、フロアランプ８１４がユーザ８２０の視野８０８内にあると判定される。いくつかの実施形態では、図８Ｊに示すように、フロアランプ８１４がユーザ８２０の視線８１２内に直接あるときに、視野基準が満たされる。いくつかの実施形態では、凝視の判定されたオフセット角度が閾値オフセット角度（例えば、フロアランプ８１４を直接見ているユーザ８２０の視線８１２からの最大許容可能な偏差）未満であるときに、視野基準が満たされる。閾値オフセット角度８０４は、任意選択的に０度より大きい（例えば、３０度）。判定されたオフセット角度は、ユーザ８２０の凝視からの視線８１２と、ユーザ８２０から電子デバイス８００への算出された視線８０８との間に形成された角度に基づいて算出される。いくつかの実施例では、フロアランプ８１４がユーザの直接的な視線８１２から閾値度の範囲内にあることにより、凝視の視野内にあるとき、視野基準はフロアランプ８１４に対して満たされる。
いくつかの実施形態では、図８Ｋに示すように、ユーザ８２０は、第２のコマンド８２４Ａ〜８２４Ｂの残りの部分８２４Ｂを発語しながら、フロアランプ８１４への凝視を中断する。図８Ｋは、電子デバイス８００が、ユーザ８２０がフロアランプ８１４から目をそらすことによって、第２のコマンド８２４Ａ〜８２４Ｂの第２の部分８２４Ｂを発語しながら、フロアランプ８１４での視線を遮断することを検出することを示す。いくつかの実施形態では、電子デバイス８００が、ユーザ８２０が目をそらす前に、フロアランプ８１４が意図された外部デバイスであることを既に判定しているとき、ユーザ８２０が第２のコマンド８２４Ａ〜８２４Ｂを完了する前に自分の凝視を中断したとしても、１つ以上の凝視基準のセットは、依然として満たされる。いくつかの実施形態では、電子デバイス８００が、コマンド８２４Ａ〜８２４Ｂを完了する前に、ユーザ８２０が自分の凝視を閾値持続時間以内にフロアランプ８１４に戻したことを検出した場合（例えば、図６Ｅ〜図６Ｇ）、電子デバイス８００は、依然として、フロアランプ８１４を外部デバイスとして特定する。
１つ以上の凝視基準のセットが満たされると、電子デバイスは、フロアランプ８１４に命令を送信し、それにより、図８Ｌに示すように、フロアランプ８１４をオフ状態からオン状態に遷移させる。テーブルランプ８１８は、１つ以上の凝視基準のセットを満たさないので、テーブルランプ８１８は、前のオン状態のままであり、したがって、電子デバイスは、テーブルランプ８１８の状態を変更するための命令を送信しない。いくつかの実施形態では、電子デバイス８００によって受信されたコマンド８２４Ｃがフロアランプ８１４に向けられ、「ｔｕｒｎ ｏｆｆ ｔｈａｔ ｌｉｇｈｔ（その明かりをオフにして）」が含まれると判定した場合、１つ以上の凝視基準のセットがフロアランプ８１４に対して満たされたときに、電子デバイス８００は、フロアランプ８１４をオフにする命令を送信し、一方で、既にオン状態にあったテーブルランプ８１８は、オン状態のままとなる。
図８Ｌは、電子デバイス８００がフロアランプ８１４に命令を送信したとき、電子デバイス８００は、フロアランプ８１４がオフ状態からオン状態に遷移したことを示すインジケータ（例えば、インジケータ８１０Ａ，８１０Ｂ，８１０Ｃ）を任意選択的に提供することを示す。いくつかの実施形態では、インジケータは、命令を受信した結果、テーブルランプ８１８がオフ状態からオンにされたことを示すために、特定の色（例えば、青色又はデフォルト色以外の色）の光又は光パターンを表示する視覚的インジケータ８１０Ａである。いくつかの実施形態では、インジケータは、サウンド、１つ以上の単語、又はトーンを再生する音声インジケータ８１０Ｂである。いくつかの実施形態では、デジタルアシスタントは確認８１０Ｃを発語する。いくつかの実施形態では、ユーザ８２０は、ユーザのユーザプロファイルに関連付けられた特性（例えば、ユーザ名、光の色、パターン、サウンド、音声、アクセントに対する特定のユーザの好み）を含むように、音声インジケータ及び視覚的インジケータをカスタマイズすることができる。図８Ｋでは、デジタルアシスタントは、「ジャック、フロアランプがオンされました」という音声インジケータを提供する。音声インジケータは、命令が実行されたという確認を提供する。音声インジケータはまた、ユーザ８２０が登録中に提供した、ユーザ８２０のユーザプロファイルから取得されたユーザ８２０の名前も含む。登録プロセスは、図１０Ａ〜図１０Ｄに関して以下で詳細に説明される。デジタルアシスタントは、ユーザ８２０のプロファイルから設定を利用して、どのユーザ（例えば、ジャック）がコマンドを発語したかを反映するようにインジケータを更にカスタマイズすることができる。いくつかの実施形態では、電子デバイス８００は、フロアランプ８１４が実際にオンになっているかどうかにかかわらず、電子デバイスが、フロアランプ８１４に「オンにする」命令を正常に送信したときに、インジケータを提供する。任意選択的に、電子デバイス８００は、フロアランプ８１４が「オンにする」コマンドを実行できず、オフのままであるときに、異なるインジケータを提供する。いくつかの実施形態では、コマンド８２４Ｃが失敗して実行されたときのインジケータは、異なるエラーコードの異なるインジケータを含む。
図９Ａ〜図９Ｂは、いくつかの実施形態に係る、電子デバイスを使用する方法９００を示すフロー図である。方法９００は、表示デバイスを有する電子デバイス（例えば、１００、３００、５００、６００、６４０、８００、１０００）において実行される。方法９００のいくつかの動作は、任意選択的に組み合わされ、いくつかの動作の順序は、任意選択的に変更され、いくつかの動作は、任意選択的に省略される。
後述するように、方法９００は、ユーザ（例えば、８２０）が、音声によるユーザ入力要求が作用することを意図した外部デバイス（例えば、８１４，８１８）を一瞥することによって、音声によるユーザ入力要求に関するコンテキストを、電子デバイス（例えば、８００）上のデジタルアシスタントに提供するための直感的な方法を提供する。この方法は、音声によるユーザ入力要求をデジタルアシスタントに提供する（例えば、コマンド内の外部デバイスを忘れずに言う必要がある）際のユーザ（例えば、８２０）の認識的負担を軽減する。したがって、デジタルアシスタントは、ユーザの凝視（例えば、８２０）を監視することによって、コマンドに対する外部デバイス（例えば、８１４，８１８）を判定することができる。
第１の外部デバイス（例えば、８１８）は、第１の状態にある（例えば、第１の外部デバイス（例えば、８１８）がオン又はオフである、第１の外部デバイス（例えば、８１８）は、特定のメディア項目を再生している）間（９０２）、電子デバイス（例えば、８００）は、第１のコマンド（例えば、８２４Ａ〜８２４Ｂ）を実行する（例えば、外部デバイスを第２の状態に遷移させ、デジタルアシスタントに「ｔｕｒｎ ｏｎ ｔｈａｔ ｌｉｇｈｔ（その明かりをオンにして）」と伝える）ための、ユーザ入力要求（例えば、ユーザ発語入力）を受信する（９０４）。いくつかの実施形態では、電子デバイスは、（例えば、トリガ語、凝視、及び／又はボタン押下に基づいて）電子デバイス（例えば、８００）上のデジタルアシスタントがアクティブである間に、音声によるユーザ入力要求を受信する（９０４）。
第１の外部デバイス（例えば、８１８）が第１の状態にある間に（９０２）、電子デバイスは、１つ以上のカメラセンサ（例えば、８１６Ａ，８１６Ｂ）（例えば、赤外線カメラセンサ（単数又は複数）、可視光センサ（単数又は複数））を使用して、電子デバイス（例えば、８００）と、又は電子デバイス（例えば、８００）の一部に無線接続されるなどの電子デバイス（例えば、８００）の外部のカメラ（単数又は複数）から、第１の凝視情報を取得する（９０６）（例えば、電子デバイス（例えば、８００）は、第１の外部デバイス（例えば、８１８）に向けられた凝視情報を検出する）。いくつかの実施例では、電子デバイス（例えば、８００）は、第１の凝視情報を使用して、１つ以上の凝視基準のセットが特定の外部デバイスに対して満たされているかどうかを判定する。
第１の凝視情報を使用して、１つ以上の凝視基準のセットが、第１の外部デバイス（例えば、８１８）（例えば、ランプ、テレビ、又はコンピュータなどの機器）に対して満たされるとの判定に従って（９０８）（かつ、任意選択的に、電子デバイス（例えば、８００）が音声によるユーザ入力要求を受信したことに応じて）、電子デバイス（例えば、８００）は、第１のコマンドに基づいて、第１の外部デバイス（例えば、８１８）を第１の状態から第２の状態へ遷移させる命令を（例えば、第１の外部デバイス（例えば、８１８）に）送信する（９１０）（例えば、デジタルアシスタントは、外部デバイス（例えば、８１８）をオン状態からオフ状態又はオフ状態からオン状態へ遷移させることによって外部デバイス（例えば、８１８）へのアクションを実行する）。
凝視検出を使用して、１つ以上の凝視基準のセットが満たされたときに、どの外部デバイス（例えば、８１４，８１８）がコマンド（例えば、８２４Ａ〜８２４Ｂ）と関連付けられているかを判定することにより、どの外部デバイス（例えば、８１４，８１８）が意図されているかを明らかにするために、デジタルアシスタントからのフォローアップ質問に答える必要なく、単に外部デバイス（例えば、８１４，８１８）を見ることによってデジタルアシスタントにコンテキストを提供する、より効率的なユーザインタフェースをユーザに提供する。デジタルアシスタントがより多くの情報を取得するためにユーザと対話する必要なく、コマンド（例えば、８２４Ａ〜８２４Ｂ）へコンテキストを提供するように改善されたユーザインタフェースをデジタルアシスタントに付与することにより、デジタルアシスタントインタフェースのユーザインタフェースがより効率的になる。加えて、視線検出を使用することにより、デジタルアシスタントをアクティブ化してコマンド（例えば、８２４Ａ〜８２４Ｂ）を実行するために必要とされる入力数が低減され、それにより、デジタルアシスタントの操作性が向上する。
いくつかの実施形態では、１つ以上の凝視基準のセットが、第１の外部デバイス（例えば、８１８）に対して満たされる（例えば、角度、持続時間、及び凝視の方向）との判定に従って、電子デバイス（例えば、８００）は、（例えば、第１のコマンド（例えば、８２４Ａ〜８２４Ｂ）が第１の外部デバイス（例えば、８１８）と関連付けられていることを示す）、１つ以上の凝視基準のセットが満たされるという指示（例えば、８１０Ａ，８１０Ｂ，８１０ｃ）（例えば、視覚的指示又は音声による指示）を提供する（９１２）。
１つ以上の凝視基準のセットが満たされており、デジタルアシスタントが外部デバイス（例えば、８００）に命令を正常に送信したという指示を提供することにより、コマンド（例えば、８２４Ａ〜８２４Ｂ）が実行されたかどうかに関するフィードバックをユーザに提供する。指示（例えば、８１０Ａ，８１０Ｂ，８１０Ｃ）は、様々なコンテキストに関するカスタマイズ可能なフィードバックを提供する視覚的確認、音声確認、又はデジタルアシスタントの音声確認であり得る。例えば、サウンドが聞こえないコンテキスト（例えば、騒々しい部屋）では、視覚的フィードバックを提供することにより、ユーザは、デジタルアシスタントがコマンド（例えば、８２４Ｃ）を送信したかどうかを知ることが可能になる。デジタルデバイスの状態のカスタマイズされたフィードバックを提供することにより、デジタルアシスタントの操作性が向上し、デジタルアシスタントがコマンドを外部デバイスに正常に送信したときをユーザに通知することによって、ユーザ−・デバイス間インタフェースがより効率的になる（例えば、ユーザは、コマンドがデジタルアシスタントによって実行されたかどうかわからないためにコマンドを繰り返す必要がなくなる）。更に、デジタルアシスタントの状態のフィードバックにより、ユーザが素早く効率的にデバイスを使用することが可能になる。
いくつかの実施形態では、指示（例えば、８１０Ａ，８１０Ｂ，８１０Ｃ）（例えば、視覚的又は音声による指示）は、ドメイン固有（９１４）（例えば、音楽ドメイン、天気ドメイン、メッセージングドメイン）である。いくつかの実施例では、電子デバイス（例えば、８００）は、コマンド（例えば、８２４Ｃ）が特定のドメインであると判定する。コマンド（例えば、８２４Ｃ）が第１のドメインであるとの判定に従うと、指示（例えば、８１０Ａ，８１０Ｂ，８１０Ｃ）は、第１のタイプの指示である。コマンド（例えば、８２４Ｃ）が第１のドメインとは異なる第２のドメインであるとの判定に従うと、指示（例えば、８１０Ａ，８１０Ｂ，８１０Ｃ）は、第１のタイプの指示とは異なる第２のタイプの指示である。
ドメイン固有の指示を提供することにより、デジタルアシスタントがコマンド（例えば、８２４Ｃ）の命令を正常に送信できたかどうかをユーザ（例えば、８２０）に迅速に通知する。特定の視覚的インジケータ、音声インジケータ、又はデジタル音声インジケータを特定のドメインと関連付けることにより、コマンド（例えば、８２４Ｃ）が正常に実行されなかった場合に、ユーザが、さらなるアクションをとる必要があるかどうかを迅速に判定することを迅速に可能にする改善されたユーザインタフェースを、ユーザに迅速に提供する。例えば、ユーザが素早く「ｌｏｖｅ ｔｈａｔ ｓｏｎｇ（その曲が大好き）」と言うと、そのユーザ（例えば、８２０）は、コマンドに関連付けられた特定のトーンによって、楽曲がお気に入りリストに追加されたことを素早く知ることができ、ユーザは追加できたかを確認する必要がない。これにより、特定のドメインにおける特定のアクションが成功したトーンとの関連付けが、タスクが実行されたという即時の確認を提供するので、ユーザの認識的負担が迅速に軽減される。更に、デジタルアシスタントの状態のフィードバックにより、ユーザ（例えば、８２０）がデジタルアシスタントをより迅速かつ効率的に使用することが可能になる。
いくつかの実施形態では、電子デバイス（例えば、８００）は、第１の外部デバイス（例えば、８１４，８１８）（例えば、ペアリングされたランプ、テレビ、コンピュータ、電話又は腕時計）とペアリングされる（９１６）。
いくつかの実施形態では、第１の凝視情報を使用して、第１の電子デバイス（例えば、８１４，８１８）について、１つ以上の凝視基準のセットが満たされない（例えば、ユーザが凝視を中断する、ユーザが外部デバイスを閾値時間見ていない）との判定に従って、電子デバイス（例えば、８００）は、第１の状態から第２の状態に第１の外部デバイス（例えば、８１８）を遷移させる命令の送信を見合わせる。いくつかの実施例では、デジタルアシスタントは、１つ以上の凝視基準のセットが満たされないとき、コマンド（例えば、８２４Ｃ）を実行しない。
いくつかの実施形態では、１つ以上のアクティブ化基準のセットは、判定されたオフセット角度（例えば、８１０）が閾値オフセット角度（例えば、８０４）（例えば、デバイスを直接見ているユーザからの最大許容可能偏差、ゼロでない閾値オフセット角度、閾値オフセット角度がゼロ度より大きい）未満であるときに満たされる視野基準を含み、判定されたオフセット角度（例えば、８１０）は、ユーザの凝視の（例えば、凝視情報から判定された）視線（例えば、８１２）と、ユーザ（例えば、８２０）から電子デバイス（例えば、８１８）への算出された視線（例えば、８０８）との間に形成された角度である。いくつかの実施例では、第１の外部デバイス（例えば、８１８）が閾値度を超えて（例えば、凝視の視野（例えば、８０６）の外側に）位置すると判定される場合、第１の外部デバイス（例えば、８１８）はユーザの視線内になく、命令は第１の外部デバイス（例えば、８１８）に送信されない。いくつかの実施例では、第１の外部デバイス（例えば、８１８）が、閾値度の範囲内にあることによって、凝視の視野（例えば、８０６）内にあるとき、デジタルアシスタントは、命令を第１の外部デバイス（例えば、８１８）に送信する。
視野基準を凝視基準として使用することにより、ユーザが外部デバイス（例えば、８１８）を直接見る必要なく、ユーザの凝視を検出することを可能にする。その代わりに、外部デバイス（例えば、８１８）がユーザの凝視の視野内にある限り、ユーザの凝視は凝視基準を満たし、それにより、電子デバイス（例えば、８００）はどの外部デバイス（例えば、８１４，８１８）が意図されているかを判定することが可能になる。視野基準を使用することにより、外部デバイス（例えば、８１８）を、ユーザとの更なる対話を必要とせずに判定することが可能になり、これにより、デジタルアシスタントの操作性が向上し、電子デバイス（例えば、８００）による凝視検出がより効率的になる（例えば、外部デバイス（例えば、８１８）がユーザ（例えば、８２０）の直接的な視線内にある必要がないので、外部デバイス（例えば、８１８）は一層容易に特定される）。
いくつかの実施形態では、ユーザ（例えば、８２０）の凝視の視線（例えば、８１２）は、ユーザ（例えば、８２０）（例えば、音声によるユーザ入力要求をそのユーザから受け取った、同じユーザ）の頭部位置に基づくものである。いくつかの実施例では、ユーザの頭部位置は、ユーザの頭部の傾斜又は回転（例えば、ヨー、ピッチ、及びロール）によって影響され得る。いくつかの実施例では、頭部位置追跡は、第１の外部デバイス（例えば、８１８）が視野（例えば、８０６）内にあるかどうかを判定するために使用される。
いくつかの実施形態では、１つ以上の凝視基準のセットは、第１の凝視情報から判定された凝視の静止時間（例えば、持続時間）が閾値時間（例えば、ゼロでない時間）を超えているときに第１の外部デバイス（例えば、８１８）に対して満たされる、静止時間基準を含む。いくつかの実施例では、ユーザ（例えば、８２０）の凝視の静止時間が閾値時間未満であるとき。
いくつかの実施形態では、電子デバイス（例えば、８０００）が、第１の外部デバイス（例えば、８１８）を第１の状態から第２の状態に遷移させる命令を（例えば、第１の外部デバイス（例えば、８１８）に）送信したことに続いて、電子デバイス（例えば、８００）は、第１の外部デバイス（例えば、８１８）が第２の状態にあるという指示（例えば、８１０Ａ、８１０Ｂ、８１０Ｃ）（例えば、音声又は視覚的）を提供する（例えば、電子デバイス（例えば、８００）が、第１の外部デバイス（例えば、８１８）がオンになったことを示す視覚的指示（例えば、８１０Ａ）を提供する）。いくつかの実施例では、電子デバイス（例えば、８００）は、コマンド（例えば、８２４Ｃ）が実行できなかったとき（例えば、第１の外部デバイス（例えば、８１８）が依然として第１の状態にある）に、異なる指示（例えば、８１０Ａ，８１０Ｂ，８１０Ｃ）を提供する。
いくつかの実施形態では、第１の外部デバイス（例えば、８１８）が第１の状態にあり、第２の外部デバイスが第３の状態にあり、１つ以上の凝視基準のセットが第２の外部デバイス（例えば、ランプ、テレビ、又はコンピュータなどの機器）に対して満たされるとの第１の凝視情報を使用した判定に従って（かつ、任意選択的に、音声によるユーザ入力要求を受信したことに応じて）、電子デバイス（例えば、８００）は、第１のコマンド（例えば、８２４Ｃ）に基づいて、第２の外部デバイス（例えば、８１４）を第３の状態から第４の状態に遷移させる命令を（例えば、第１の外部デバイス（例えば、８１８）に）送信する（例えば、電子デバイス（例えば、８００）は、第２の外部デバイスをオン状態からオフ状態に、又はオフ状態からオン状態に遷移させることによる、第２の外部デバイス（例えば、８１４）に対するアクションを実行する）。
１つ以上の凝視基準のセットが第２の外部デバイス（例えば、８１４）（例えば、ランプ、テレビ、又はコンピュータなどの機器）に対して満たされないとの、第１の凝視情報を使用した判定に従って（かつ、任意選択的に、音声によるユーザ入力要求を受信したことに応じて）、電子デバイス（例えば、８００）は、第１のコマンド（例えば、８２４Ｃ）に基づいて、第２の外部デバイス（例えば、８１４）を第３の状態から第４の状態に遷移させる命令を（例えば、第１の外部デバイスに）送信するのを見合わせる（例えば、電子デバイス（例えば、８００）は、第２の外部デバイスを、オン状態からオフ状態に、又はオフ状態からオン状態に遷移させることを見合わせることなどによる第２の外部デバイスへのアクションを実行するのを見合わせる）。
いくつかの実施形態では、第１の外部デバイス（例えば、８１８）が第２の状態にあり（例えば、第１の外部デバイス９ 例えば、８１８）は第１の状態にもありうる）、第２の外部デバイス（例えば、８１４）が第３の状態（９１８）にある間に、電子デバイス（例えば、８００）は、第２のコマンド（例えば、８２６Ｃ）を含む第２のユーザ入力要求（例えば、ユーザ発語入力）を受信する（９２０）。
電子デバイス（例えば、８００）は、１つ以上のカメラセンサ（例えば、８１６Ａ，８１６Ｂ）を用いて、（例えば、デジタルアシスタントに「その」明かりをオンにするように伝えて、第２の外部デバイス（例えば、８１４）を第２の状態に遷移させるため、）第２の凝視情報を取得する（９２２）。
１つ以上の凝視基準のセットが第２の外部デバイス（例えば、８１４）に対して満たされるという、第２の凝視情報を使用した判定（例えば、凝視の角度が閾値度の範囲内にあり、凝視は特定の方向にあり、持続時間は所定の時間以上であるなどの凝視基準を満たすことによって、第２の凝視が第２の外部デバイス（例えば、８１４）を特定すること）に従って、電子デバイス（例えば、８００）は、第２のコマンド（例えば、８２４Ｃ）に基づいて、第２の外部デバイス（例えば、８１４）を第３の状態から第４の状態に遷移させる命令（例えば、第２の外部デバイス（例えば、８１４）の状態を変更する、すなわち、フロアランプをオンにすること）を送信する（９２４）。一方、第１の外部デバイス（例えば、８１８）は、第２の状態のままである（例えば、第１の外部デバイスの状態が変更されることなく、テーブルランプはオンのままである）。
いくつかの実施形態では、第２の外部デバイス（例えば、８１４）が第３の状態にある間に、かつ、１つ以上の凝視基準のセットが第２の外部デバイス（例えば、８１４）に対して満たされない（例えば、第２の外部デバイスは特定されない）との第２の凝視情報を使用した判定に従って、電子デバイス（例えば、８００）は、第２の外部デバイス（例えば、８１４）を第３の状態から第４の状態に遷移させる命令を送信するのを見合わせる（９２６）（例えば、第２の外部デバイス（例えば、８１４）は、以前と同じ状態のままとなる）。
いくつかの実施形態では、第２の外部デバイス（例えば、８１４）を第３の状態から第４の状態に遷移させる命令を（例えば、第２の外部デバイス（例えば、８１４）に）送信することに続いて、電子デバイス（例えば、８００）は、第２の外部デバイス（例えば、８１４）が第４の状態にあることを示す指示（例えば、８１０Ａ、８１０Ｂ、８１０Ｃ）（例えば、視覚的又は音声による指示）を提供する（例えば、視覚的（例えば、８１０Ａ）指示又は音声（例えば、８１０Ｂ）指示を提供して、第２の外部デバイス（例えば、８１４）の状態が変化したことを示す）。いくつかの実施例では、電子デバイス（例えば、８００）は、第２のコマンド（例えば、８２４Ｃ）が実行できなかったときに異なる指示（例えば、８１０Ａ，８１０Ｂ，８１０Ｃ）を提供する（例えば、第２の外部デバイス（例えば、８１３）は依然として第３の状態にある）。
いくつかの実施形態では、第１の外部デバイス（例えば、８１８）を第１の状態から第２の状態に遷移させる命令を（例えば、第１の外部デバイス（例えば、８１８）に）送信したことに続いて、電子デバイス（例えば、８００）は、第３の外部デバイス（例えば、腕時計又は電話）から、第３の外部デバイス（例えば、８３０）によって受信された入力の指示（例えば、第３の外部デバイス上の竜頭（例えば、８３２）の回転）を受信する。電子デバイス（例えば、８００）は、電子デバイス（例えば、８００）が第１の外部デバイス（例えば、８１８）に、第１の外部デバイス（例えば、８１８）を遷移させる（例えば、テーブルランプがオンにされた後、テーブルランプの明かりの輝度を暗くする）第３の命令を命じた最新性に基づいて、第２の命令を、第１の外部デバイス（例えば、８１８）に送信する。いくつかの実施例では、第３の外部デバイス（例えば、８３０）は、第３の外部デバイス（例えば、８４０）が対話している のはどの外部デバイス（例えば、８１４，８１８）かについて知らない。第３の外部デバイス（例えば、８３０）は、入力を受信しユーザ入力を電子デバイス（例えば、８００）に送信することのみを行い、電子デバイス（例えば、８００）が、命令を（例えば、明かりを暗くする）どの外部デバイス（例えば、８１４，８１８）に送信するかがわかるデバイスである。
第３の外部デバイス（例えば、８３０）を使用して、電子デバイス（例えば、８００）が命令を送信した直近の外部デバイス（例えば、８１８）を更に制御することにより、外部デバイス（例えば、８１８）のさらなる制御を有する追加のユーザインタフェースをユーザ（例えば、８２０）に提供する。
デジタルアシスタントを介する必要なくデバイスを制御する追加のユーザインタフェース及び機構をユーザ（例えば、８２０）に提供することにより、より効率的なユーザインタフェースが提供され、コマンドを実行するのに必要なデジタルアシスタントとの対話の数が低減される。追加のコマンドを処理するためにデジタルアシスタントと対話する必要はなく、ユーザ（例えば、８２０）は、単に外部デバイス（例えば、８３０）を使用して、場合によって言葉では説明が難しい、正確な入力を提供することができる。第３の外部デバイス（例えば、８４０）から受信した入力に基づいて追加のユーザ入力を受信することにより、デジタルアシスタントの操作性が向上し、追加のコマンドが必要とされないので、外部デバイス（例えば、８１８）を制御するユーザインタフェースがより効率的になる。
方法９００（例えば、図９Ａ〜図９Ｂ）に関して上述したプロセスの詳細はまた、以下／上記記載の方法にも類似の方式で適用可能であることに留意されたい。例えば、方法９００は、任意選択的に、方法７００に関して上記した、かつ方法１１００に関して後述する様々な方法の特性の１つ以上を含む。例えば、方法９００は、図７Ａ、図７Ｂ、図１１Ａ、図１１Ｂのプロセスを参照して上述された、かつ後述される様々な方法の特性のうちの１つ以上を含んでもよい。簡潔にするために、これらの詳細は、以下で繰り返さない。
以下の図７Ａ〜図７Ｂ及び図１１Ａ〜図１１Ｂでの動作が説明されている特定の順序は、例示的なものであり、説明される順序は、それらの動作を実行され得る唯一の順序であることを示す意図はないことを理解されたい。当業者であれば、特定の動作の除外と並び、本明細書で説明される動作の順序を並べ替える様々な方法を認識するであろう。簡潔にするために、それらの詳細はここでは繰り返さない。更に、この説明全体において説明されている方法及びプロセスの態様は、互いに統合されてもよいことに留意されたい。
図１０Ａ〜図１０Ｄは、いくつかの実施形態に係る、デジタルアシスタントがアクティブ化された時点で、部屋の中でコマンドを発語する様々なユーザ（例えば、１０２０，１０３０）をデジタルアシスタントが認識することを示す、様々に異なるインジケータを提供するための例示的なユーザインタフェースを示す。デジタルアシスタントは、トリガ語、方法７００に関して上記した凝視、ボタン押下、ユーザがウェアラブル電子デバイス（例えば、腕時計）を着用中の手首の持ち上げ（例えば、図６Ｅ〜図６Ｇ）、及び／又は、ユーザが外部デバイス（例えば、電話）を電子デバイス１０００上でポイントすること、に基づいて、アクティブ化される。いくつかの実施例では、ユーザ（例えば、１０２０，１０３０）が電子デバイス１０００を見ていると判定したことに応じて（例えば、上述のように、凝視情報を使用して、１つ以上のアクティブ化基準のセットが満たされたとの判定に従って）、電子デバイス１０００は、デジタルアシスタントをアクティブ化し、デジタルアシスタントが起動されると、コマンドを受信する。図１０Ａ〜図１０Ｄに示される技法はまた、任意選択的に、方法９００の態様及び図８Ａ〜図８Ｌに関して説明される技法も含み、それは、ユーザの凝視を使用して、コマンドに関連付けられた特定の外部物体（例えば、テーブルランプ１０１８，フロアランプ）を判定する電子デバイスを示す。これらの図の技法は、図１１Ａ〜１１Ｂのプロセスを含む後述のプロセスを例示するために使用される。
図１０Ａ〜図１０Ｄに示されるように、ユーザであるジェーン１０３０及びジャック１０２０は、電子デバイス１０００と同じ部屋にいる。図１０Ａでは、上述した技法の態様を使用するなどにより、電子デバイスのデジタルアシスタントがアクティブ化される。電子デバイス１０００は、１人以上のユーザ（例えば、ジェーン１０３０及びジャック１０２０）から発語コマンド（例えば、１０２４Ａ，１０２４Ｂ）を受信して、部屋の中のフロアランプ１０１４又はテーブルランプ１０１８など、様々な外部デバイスを制御する。電子デバイス１０００がコマンド（例えば、１０２４Ａ，１０２４Ｂ）を受信したことに応じて、電子デバイス１０００は、コマンド（例えば、１０２４Ａ，１０２４Ｂ）を発語した特定のユーザのユーザ識別情報（例えば、１０２０，１０３０）を判定する。いくつかの実施形態では、外部デバイス（例えば、外部カメラ１０１６Ａ、電話、又は一体化型カメラ１０１６Ｂ）は、コマンドに対応するユーザ識別情報を判定し、ユーザ識別情報を電子デバイス１０００に送信する。いくつかの実施形態では、電子デバイス１０００は、外部又は内部デバイス（例えば、外部カメラ１０１６Ａ、電話、又は一体化型カメラ１０１６Ｂ）を使用して発語するユーザに関する情報を取得する。いくつかの実施形態では、電子デバイス１０００は、取得した情報を使用して顔認識、音声認識を実行するか、又は発語するユーザまでの距離を算出して、ユーザ識別情報を判定する。
いくつかの実施形態では、電子デバイスがデジタルアシスタントをアクティブ化する前に、ジェーン１０３０及びジャック１０２０のユーザは、任意選択的に、電子デバイス１０００に記憶されたユーザプロファイルを登録している。いくつかの実施形態では、ユーザプロファイルは、サーバ上に記憶され、電子デバイス１０００によってアクセス可能である。ユーザプロファイルは、デジタルアシスタントがアクティブ化されているか、又はコマンド１０２４Ａ，１０２４Ｂが正常に実行されたか、又は失敗して実行されたかを示すために、電子デバイスによって使用されるインジケータ１０１０Ａ、１０１０Ｂ，１０１０Ｃをカスタマイズするために電子デバイスが使用することができる、設定及び好み（例えば、デジタルアシスタントの音声のアクセントのタイプ、デジタルアシスタントの音声の性別、インジケータのトーン、ＬＥＤ光の色）を含む。例えば、ユーザは、インジケータの各特性の値を提供することによって、デジタルインジケータ設定をカスタマイズすることができる。いくつかの実施例では、インジケータの特性は、タイプ（例えば、視覚的、オーディオ、音声確認、又は種類のいずれかの組み合わせ）、視覚的インジケータのための光の色、音声インジケータのトーン、及びデジタル音声に関するカスタマイズ（例えば、言語、アクセント及び性別のタイプ）が挙げられる。ユーザプロファイルはまた、任意選択的に、ユーザの名前、誕生日、性別、及び／又は住所などの、ユーザであるジェーン１０３０及びジャック１０２０によって、ユーザの承諾を得て登録中に提供されるユーザに関する情報も記憶する。ユーザプロファイル設定及び好みは、任意の時点で更新されてもよい。本明細書に記載される電子デバイス１０００上のユーザ登録のための技術は、上記において、図７Ａ、図７Ｂ、図９Ａ、及び図９Ｂのプロセスを参照して、方法７００及び９００と組み合わせて使用されてもよい。簡潔性のために、これらの詳細は、ここでは繰り返さない。
図１０Ａでは、電子デバイス１０００は、デジタルアシスタントがアクティブ化されているときに、ジェーン１０３０から「テーブルランプをオンにして」とのコマンド１０２４Ａを受信する。電子デバイス１００がジェーン１０３０によって発語されているコマンド１０２４Ａを受信しているとき（又は、ジェーン１０３０によって発語されたコマンド１０２４Ａを受信した後）、電子デバイス１０００は、発語者がジェーン１０３０であると判定する。例えば、デバイス１０００は、外部カメラ１０１６Ｂ、一体化型カメラ１０１６Ｂ、及び／又はマイクロフォンを使用し、受信したコマンド１０２４Ａは、ジェーン１０３０が座っている方向から来ていると判定する。したがって、電子デバイス１０００は、ジェーン１０３０が座っている方向に対応する位置に、ディスプレイ１００２上に光パターン１０１０Ｄ（例えば、３つの照明ドット）を表示する。いくつかの実施形態では、電子デバイス１０００は、ディスプレイ１００２上にアニメーション化された光パターン１０１０Ｄを表示し、光パターンは、ジェーン１０３０が座っている方向を指すようにアニメーション化される。
図１０Ａでは、デジタルアシスタントが、コマンド１０２４Ａの発語者がジェーン１０３０であると判定すると、電子デバイス１０００は、インジケータ（例えば、視覚１０１０Ａ，音声１０１０Ｂ，又はデジタルアシスタント確認１０１０Ｃ）の特性（例えば、光の色、特定のサウンド、単語、又は固別のデジタルアシスタントの音声）の値を、ジェーン１０３０に対応する値（例えば、紫の光、２つの調子があるトーン、ジェーンの名前、ブリティッシュアクセント、女性の声）に更新する。いくつかの実施形態では、特性の値は、ジェーンのユーザプロファイルから得られた値である。例えば、電子デバイスは、ディスプレイ１００２上の光パターン１０１０Ｄ（例えば、３つの照明ドット）の色を、ジェーン１０３０に対応する色（紫色など）に設定する。結果として、電子デバイス１０００は、デバイス１０００が発語者をジェーン１０３０と認識したことと、ジェーン１０３０の好みのうちの１つ以上が使用されることを、ジェーン１０３０とジャック１０２０に示す。
対照的に、図１０Ｃでは、デジタルアシスタントが、コマンド１０２４Ｂの発語者が、ジェーン１０３０とは異なるユーザであるジャック１０２０であると判定すると、電子デバイス１０００は、インジケータ（例えば、視覚的インジケータ又は音声インジケータ）の特性（例えば、光の色、サウンド、又はデジタルアシスタント音声）の値を、ジャック１０２０に対応する値（例えば、青い光、１つの調子のトーン、ジャックの名前、オーストラリアンアクセント、男性の声）に更新し、ジャック１０２０に関連付けられた特性の値は、ジェーン１０３０に関連付けられた特性の値とは異なる。例えば、電子デバイスは、ディスプレイ１００２上の光パターン１０１０Ｅ（例えば、３つの照明ドット）の色を、ジャック１０２０に対応する色（青色など）に設定する。結果として、電子デバイス１０００は、当該デバイス１０００が発語者をジャック１０２０と認識し、ジャック１０２０の好みのうち１つ以上が使用されることを、ジェーン１０３０及びジャック１０２０に示す。
いくつかの実施形態では、ジャック１０２０とジェーン１０３０は、各人に関連付けられ、同一の特性の値を有してもよい。例えば、ジャック１０２０とジェーン１０３０は両方とも、アメリカ人で女性のデジタルアシスタントの音声を選択することができる。いくつかの実施形態では、各ユーザに関連付けられたインジケータの特性の値は固有である。例えば、ジェーン１０３０とジャック１０２０は、それぞれのユーザに関連付けられた異なる光の色（例えば、ジェーンは紫であるのに対し、ジャックは青）及び異なるサウンド（例えば、２つのトーンのサウンドに対し、１つのトーンのサウンド）を有してもよい。
図１０Ｂでは、電子デバイス１０００が、ジェーン１０３０がコマンド１０２４Ａを発語していると特定した後、電子デバイス１０００は、方法９００に関して上述したように、１つ以上の実行基準のセットが満たされているかどうかを判定する。１つ以上の実行基準のセットは、完了基準、実施可能基準、及びアクティブ化基準のうちの１つ以上を含む。１つ以上の実行基準のセットが満たされると、電子デバイス１０００は、フロアランプ１０１４をオンするように命令を送信することなどのアクションを実行する。
電子デバイス１０００がコマンド１０２４Ａを実行したとき、電子デバイス１０００は、任意選択的に、コマンドが正常に実行されたことを示すために、ジェーンの１０３０の好みを使用してインジケータ（例えば、インジケータ１０１０Ａ，１０１０Ｂ，１０１０Ｃ）を提供する。インジケータのタイプ（例えば、視覚的確認、音声確認、及びデジタル音声確認）及びそれらの特性は、方法７００及び９００に関して上述されている。図１０Ｂでは、電子デバイス１０００は、発語者がジェーン１０３０であると判定し、その判定に基づいて、アメリカンアクセントによる女性のデジタルアシスタントの音声確認「ジェーン、フロアランプがオンにされました」を使用して確認を提供する。「ジェーン」という名前は、登録中にジェーン１０３０が提供したジェーン１０３０のユーザプロファイルから取得される。電子デバイス１０００は、ジェーンの１０３０ユーザプロファイルの一部として記憶された以前の好みに基づいて、女性のアメリカンアクセントを使用する。紫色の光パターンは、デジタルアシスタントがジェーンのコマンド１０２４Ａを処理したことを示すために、電子デバイス１０００上の視覚的インジケータとして表示されてもよい。ジェーン１０３０に関連付けられたトーンはまた、デジタルアシスタントがジェーン１０２４Ａのコマンドを処理したことを示すために、電子デバイス１０００上の音声インジケータとして再生されてもよい。結果として、ジェーン１０３０とジャック１０２０の両方が、ジェーンが発語者と特定されたことを認識する。
同様に、図１０Ｃは、ジャック１０２０が「フロアランプをオンにして」というコマンド１０２４Ｂを発語していることを示している。電子デバイス１０００は、例えば、外部カメラ１０１６Ａ、一体化型カメラ１０１６Ｂ及び／又はマイクロフォンを使用して発語者がジャック１０２０であると判定して、コマンド１０２４Ｂが、ジャック１０３０が座っている方向から来ていると判定する。これに応じて、電子デバイス１０００は、ジャック１０２０が立っている方向に対応する位置に、ディスプレイ１００２上に光パターン１０１０Ｅ（例えば、３つの照明ドット）を表示する。いくつかの実施形態では、電子デバイス１０００は、ディスプレイ１００２上にアニメーション化された光パターン１０１０Ｅを表示し、光パターンは、ジャック１０２０が立っている方向を指すようにアニメーション化される。例えば、電子デバイスは、ディスプレイ１００２上の光パターン１０１０Ｅ（例えば、３つの照明ドット）の色を、ジャック１０２０に対応する色（青色など）に設定する。結果として、電子デバイス１０００は、デバイス１０００が発語者をジャック１０２０と認識し、ジャック１０２０の好みの１つ以上が使用されることを、ジェーン１０３０及びジャック１０２０に示す。
図１０Ｄでは、電子デバイス１０００が、ジャック１０２０がコマンド１０２４Ｂを発語していることを特定した後、電子デバイス１０００は、方法９００に関して上述したように、１つ以上の実行基準のセットが満たされているかどうかを判定する。１つ以上の実行基準のセットは、完了基準、実施可能基準、及びアクティブ化基準のうちの１つ以上を含む。１つ以上の実行基準のセットが満たされると、電子デバイス１０００は、フロアランプ１０１４をオンするように命令を送信することなどのアクションを実行する。
電子デバイス１０００がコマンド１０２４Ｂを実行したとき、電子デバイス１０００は、任意選択的に、コマンドが正常に実行されたことを示すために、ジャック１０２０の好みを使用してインジケータ（例えば、インジケータ１０１０Ａ，１０１０Ｂ，１０１０Ｃ）を提供する。インジケータのタイプ（例えば、視覚的確認、音声確認、及びデジタル音声確認）及びそれらの特性は、方法７００及び９００に関して上述されている。図１０Ｄでは、電子デバイス１０００は、発語者がジャック１０２０であると判定し、その判定に基づいて、オーストラリアンアクセントを有する男性のデジタルアシスタント音声を使用して「ジャック、テーブルランプがオンされました」という確認を提供する。「ジャック」という名前は、ジャック１０２０が登録中に提供したジャックの１０３０ユーザプロファイルから得られる。電子デバイス１０００は、ジャックの１０２０ユーザプロファイルの一部として記憶された以前の好みに基づいて、男性のオーストラリアンアクセントを使用する。デジタルアシスタントがジャックのコマンド１０２４Ｂを処理したことを示すために、青色光パターンが電子デバイス１０００上の視覚的インジケータとして表示されてもよい。電子デバイスは、デジタルアシスタントがジャックコマンド１０２４Ｂを処理したことを示すために、音声インジケータとしてジャック１０２０に関連付けられたカスタムトーンを任意選択的に再生する。
図１１Ａ〜図１１Ｂは、いくつかの実施形態に係る、電子デバイスを使用する方法１１００を示すフロー図である。方法１１００は、電子デバイス（例えば、１００、３００、５００、６００、６４０、８００、１０００）において行われる。方法１１００のいくつかの動作は、任意選択的に組み合わされ、いくつかの動作の順序は、任意選択的に変更され、いくつかの動作は、任意選択的に省略される。
以下に記載されるように、方法１１００は、各人物に固有のインジケータを提供することによって、異なるユーザ（例えば、１０２０，１０３０）の認識を示すためのデジタルアシスタントの直感的な方法を提供する。複数のユーザが部屋の中でコマンドを発語しているときに、デジタルアシスタントが特定のユーザのコマンドを処理したことをユーザが確認することができるため、この方法はユーザ（例えば、１０２０，１０３０）の認識的負担を軽減する。したがって、デジタルアシスタントは、どのユーザのコマンドが処理されたかを示すために即時のフィードバックを提供することができる。
電子デバイス（例えば、１０００）上のデジタルアシスタントがトリガ語、凝視、及び／又はボタン押下に基づいてアクティブ化された後、電子デバイス１０００は、音声によるユーザ入力要求（例えば、１０２４Ａ，１０２４Ｂ）を受信する（１１０６）。いくつかの実施例では、音声によるユーザ入力要求（例えば、１０２４Ａ，１０２４Ｂ）を受信したことに応じて、電子デバイス（例えば、１０００）は、音声によるユーザ入力要求（例えば、１０２４Ａ，１０２４Ｂ）に対応するユーザ識別情報（例えば、特定のユーザ（例えば、１０２０，１０３０））を判定する。いくつかの実施例では、リモートデバイス（例えば、カメラ１０１６）は、音声によるユーザ入力要求（例えば、１０２４Ａ，１０２４Ｂ）に対応するユーザ識別情報を判定し、電子デバイス（例えば、１０００）は、判定の結果を受信する。
いくつかの実施形態では、電子デバイス（例えば、１０００）が音声によるユーザ入力要求（例えば、１０２４Ａ，１０２４Ｂ）を受信する前に、電子デバイス（例えば、１０００）は、登録情報（例えば、ユーザプロファイル情報）を受信する（１１０２）。いくつかの実施形態では、電子デバイス（例えば、１０００）は、登録情報を使用して、電子デバイス（例えば、１０００）のインジケータ（例えば、１０１０Ａ，１０１０Ｂ）の特性（例えば、光、サウンド、デジタルアシスタント音声）の第１の値を、第１のユーザ（例えば、１０２０）と関連付け（１１０４）（そして、第２のユーザとは関連付けず）、また、電子デバイス（例えば、１０００）のインジケータの特性の第２の値を、第２のユーザ（例えば、１０３０）と関連付ける（そして、第２のユーザとは関連付けない）。いくつかの実施例では、登録プロセス中に、電子デバイス（例えば、１０００）は、ユーザの名前を受信し、その後、その名前をユーザ（例えば、１０２０，１０３０）の声と関連付ける。いくつかの実施例では、登録プロセス中に、電子デバイス（例えば、１０００）は、視覚的インジケータの色（例えば、ＬＥＤ色）をユーザ（例えば、１０２０，１０３０）と関連付ける。
インジケータ（例えば、１０１０Ａ，１０１０Ｂ，１０１０Ｃ）の特性の値を、ユーザのユーザプロファイルのうちの好みと関連付けることにより、デジタルアシスタントは、デジタルアシスタントがコマンドを発語する特定のユーザ（例えば、１０２０，１０３０）を特定したことを確認するために、フィードバックを提供することが可能になる。ユーザ（例えば、１０２０，１０３０）を確認するためにカスタマイズされたフィードバックを提供することで、デジタルアシスタントの操作性が向上し、インジケータ（例えば、１０１０Ａ，１０１０Ｂ，１０１０Ｃ）にユーザ（例えば、１０２０，１０３０）の好みを使用した確認をユーザ（例えば、１０２０，１０３０）に提供することによってユーザ−デバイス間インタフェースがより効率的になる（例えば、ユーザ（例えば、１０２０，１０３０）は、デジタルアシスタントがユーザのコマンド（１０２４Ａ，１０２４Ｂ）を処理したことを知る）。これにより、成功インジケータと特定のユーザの設定との関連付けることによりタスクが実行されたことという即時確認が提供されるので、ユーザ（例えば、１０２０，１０３０）の認識的負担が軽減され、同時に発語する複数のユーザ、又はバックグラウンドに他の発語者が存在する場合における混乱が低減される。更に、デジタルアシスタントの状態のフィードバックにより、ユーザ（例えば、１０２０，１０３０）は、デジタルアシスタントをより迅速かつ効率的に使用することが可能になる。
電子デバイスは、音声によるユーザ入力要求を受信する（１１０６）。
いくつかの実施形態では、音声によるユーザ入力要求（例えば、１０２４Ａ，１０２４Ｂ）は、ユーザ発語入力（例えば、発言、コマンド）であり、特性（例えば、光、サウンド、デジタルアシスタントの音声）の値の更新（１１０８）は、音声によるユーザ入力要求（例えば、１０２４Ａ，１０２４Ｂ）の書き写したコンテンツに基づくものではない（例えば、特性の値は、ユーザが言った言葉に基づくものではなく、むしろ、ユーザの識別情報に基づくものである）。
音声によるユーザ入力要求が第１のユーザ（例えば、１０２０）に対応するとの判定に従って（かつ、任意選択的に、音声によるユーザ入力要求を受信したことに応じて）、電子デバイス（例えば、１０００）は、インジケータ（例えば、１０１０Ａ、１０１０Ｂ、１０１０Ｃ）（例えば、視覚的インジケータ、音声によるインジケータ、又はデジタルアシスタント音声確認）の特性（例えば、光の色、サウンド、デジタルアシスタントの音声）の値を、第１のユーザ（例えば、１０２０）に対応する第１の値に更新する（１１１０）（例えば、特性の値は第１のユーザの識別情報に関連付けられる）。
音声によるユーザ入力要求が第１のユーザとは異なる第２のユーザ（例えば、１０３０）に対応するとの判定に従って（かつ、任意選択的に、音声によるユーザ入力要求を受信したことに応じて）、電子デバイス（１０００）は、インジケータ（例えば、１０１０Ａ，１０１０Ｂ，１０１０Ｃ）（例えば、視覚的インジケータ、音声によるインジケータ、又はデジタルアシスタントの音声確認）の特性（例えば、光の色、サウンド、デジタルアシスタント音声）の値を、第２のユーザ（例えば、１０３０）に対応する第２の値に更新し（１１１２）（例えば、特性の値は、第２のユーザの識別情報に関連付けられる）、第２の値は第１の値とは異なる。
電子デバイス（例えば、１０００）は、インジケータ（例えば、１０１０Ａ，１０１０Ｂ，１０１０Ｃ）を使用して、音声によるユーザ入力要求（例えば、１０２４Ａ，１０２４Ｂ）に応じる（１１１４）（例えば、電子デバイス（例えば、１０００）は、特定のデジタルアシスタント音声を使用して、又は応答内のユーザの名前を使用して、光を表示し、サウンドを再生する）。インジケータ（例えば、１０１０Ａ，１０１０Ｂ，１０１０Ｃ）は、特性（例えば、光の色、サウンド、又はデジタルアシスタント音声）の更新値を含む。
いくつかの実施形態では、インジケータ（例えば、１０１０Ａ，１０１０Ｂ，１０１０Ｃ）を使用して、音声によるユーザ入力要求（例えば、１０２４Ａ，１０２４Ｂ）に応答する電子デバイス（例えば、１０００）は、音声によるユーザ入力要求（例えば、１０２４Ａ、１０２４Ｂ）に関連付けられたユーザに対応する特性（例えば、光の色、表示された光の位置）の値を使用して、視覚的インジケータ（例えば、１０１０Ａ）（例えば、光）を表示する（１１１６）電子デバイス（例えば、１０００）を含む。
いくつかの実施形態では、インジケータを使用して音声によるユーザ入力要求（例えば、１０２４Ａ，１０２４Ｂ）に応答する電子デバイス（例えば、１０００）は、音声によるユーザ入力要求（例えば、１０２４Ａ，１０２４Ｂ）に関連付けられたユーザ（例えば、１０２０，１０３０）に対応する特性の値（特性の値は、アクセント、性別、ピッチ、音声、サウンド、又はアメリカ人の女性のデジタルアシスタント音声など、特定のデジタルアシスタント音声であり得る）を使用して音声によるインジケータ（例えば、１０１０Ｂ）（例えば、音声、サウンド）を提供する（１１１８）電子デバイス（例えば、１０００）を含む。
いくつかの実施例では、ユーザは、ユーザのユーザプロファイル（例えば、１０２０，１０３０）に示される、デジタルアシスタント音声設定内の、アメリカ人の女性のデジタルアシスタント音声を選択した。
いくつかの実施形態では、インジケータは、視覚的インジケータ（例えば、１０１０Ａ）であり、電子デバイス（例えば、１０００）が音声によるユーザ入力要求（例えば、１０２４Ａ，１０２４Ｂ）を受信したことに応じて、かつ、音声によるユーザ入力要求（例えば、１０２４Ａ，１０２４Ｂ）が特定のユーザ（例えば、１０２０，１０３０）に対応するとの判定の前に、電子デバイス（例えば、１０００）は、特性のデフォルト値（例えば、白色光）を有する視覚的インジケータ（例えば、１０１０Ａ）を表示する（例えば、デジタルアシスタントがアクティブ化されたときに第１の光の色を表示する）。いくつかの実施形態では、特性のデフォルト値は、第１の値及び第２の値と異なる。
いくつかの実施形態では、音声インジケータ（例えば、１０１０Ｂ）（例えば、デジタルアシスタントが単語を使用して確認を提供すること）の特性は、音声によるユーザ入力要求（例えば、１０２４Ａ，１０２４Ｂ）に関連付けられた（例えば、それを提供する）ユーザに対応する用語（例えば、その単語、名前）である。
デジタルアシスタントの音声確認インジケータ（例えば、１０１０Ｃ）内でユーザの名前（例えば、１０２０，１０３０）を使用することにより、デジタルアシスタントは、デジタルアシスタントがコマンドを発語する特定のユーザ（例えば、１０２０、１０３０）を特定したことを確認するためのフィードバックを提供することが可能になる。ユーザ（例えば、１０２０，１０３０）を確認するためのカスタマイズされたフィードバックを提供することにより、デジタルアシスタントの操作性が向上し、ユーザ−デバイス間インタフェースがより効率的になる（例えば、特定のユーザ（例えば、１０２０，１０３０）はデジタルアシスタントがユーザのコマンド（例えば、１０２４Ａ，１０２４Ｂ）を処理したことを知る）。これにより、ユーザ名を使用すると、タスクが実行されたことという即時確認が提供されるので、ユーザ（例えば、１０２０，１０３０）の認識的負担が軽減され、同時に発語する複数のユーザ（例えば、１０２０，１０３０）又はバックグラウンドに他の発語者が存在する場合における混乱が低減される。更に、デジタルアシスタントの状態のフィードバックにより、ユーザ（例えば、１０２０，１０３０）は、デジタルアシスタントをより迅速かつ効率的に使用することが可能になる。
いくつかの実施形態では、電子デバイス（例えば、１０００）は、音声認識、顔認識、及び音声によるユーザ入力要求の方向のうちの１つ以上に基づいて、音声によるユーザ入力要求に関連付けられたユーザを判定する。
上記は、説明を目的として、特定の実施形態を参照して記述されている。しかしながら、上記の例示的な論考は、網羅的であること、又は開示される厳密な形態に本発明を限定することを意図するものではない。上記の教示を考慮して、多くの修正及び変形が可能である。本技術の原理、及びそれらの実際の適用を最もよく説明するために、実施形態が選択及び記載されている。それにより、他の当業者は、意図された具体的な用途に適するような様々な修正を用いて、本技術及び様々な実施形態を最も良好に利用することが可能となる。
添付図面を参照して、本開示及び例を十分に説明してきたが、様々な変更及び修正が、当業者には明らかとなるであろうことに留意されたい。そのような変更及び修正は、特許請求の範囲によって定義されるような、本開示及び例の範囲内に含まれるものとして理解されたい。
上述のように、本技術の一態様は、ユーザの電子デバイスの制御をより良く実現するために、様々なソースから入手可能なデータを収集及び使用することである。本開示は、いくつかの例において、この収集されたデータが、特定の人を一意に特定する個人情報データ、又は特定の人に連絡する若しくはその所在を突き止めるために使用できる個人情報データを含み得ることを考察する。そのような個人情報データとしては、人口統計データ、位置ベースのデータ、電話番号、電子メールアドレス、ツイッターＩＤ、自宅の住所、ユーザの健康若しくはフィットネスのレベルに関するデータ若しくは記録（例えば、バイタルサイン測定値、投薬情報、運動情報）、誕生日、又は任意の他の識別情報若しくは個人情報を挙げることができる。
本開示は、本技術におけるそのような個人情報データの使用がユーザの利益になる使用であり得る点を認識するものである。例えば、個人情報データは、デバイスの相互作用を個人専用にするのに使用することができる。したがって、そのような個人情報データを使用することにより、ユーザは電子デバイスをより一層容易に制御することが可能になる。更に、ユーザに利益をもたらす、個人情報データに関する他の使用もまた、本開示によって考察される。例えば、健康データ及びフィットネスデータは、ユーザの全般的なウェルネスについての洞察を提供するために使用することができ、又は、ウェルネスの目標を追求するための技術を使用している個人への、積極的なフィードバックとして使用することもできる。
本開示は、そのような個人情報データの収集、分析、開示、転送、記憶、又は他の使用に関与するエンティティが、確固たるプライバシーポリシー及び／又はプライバシー慣行を遵守することを考察する。具体的には、そのようなエンティティは、個人情報データを秘密として厳重に保守するための、業界又は政府の要件を満たしているか又は上回るものとして一般に認識されている、プライバシーのポリシー及び慣行を実施し、一貫して使用するべきである。そのようなポリシーは、ユーザによって容易にアクセス可能であるべきであり、データの収集及び／又は使用が変化するにつれて更新されるべきである。ユーザからの個人情報は、そのエンティティの合法的かつ正当な使用のために収集されるべきであり、それらの合法的使用を除いては、共有又は販売されるべきではない。更に、そのような収集／共有は、ユーザに告知して同意を得た後に実施されるべきである。更に、そのようなエンティティは、そのような個人情報データへのアクセスを保護して安全化し、その個人情報データへのアクセスを有する他者が、それらのプライバシーポリシー及び手順を遵守することを保証するための、あらゆる必要な措置を講じることを考慮するべきである。更に、そのようなエンティティは、広く受け入れられているプライバシーのポリシー及び慣行に対する自身の遵守を証明するために、第三者による評価を自らが受けることができる。更に、ポリシー及び慣行は、収集及び／又はアクセスされる具体的な個人情報データのタイプに適合されるべきであり、また、管轄権固有の考慮事項を含めた、適用可能な法令及び規格に適合されるべきである。例えば、アメリカ合衆国では、特定の健康データの収集又はアクセスは、医療保険の相互運用性と説明責任に関する法律（Health Insurance Portability and Accountability Act、ＨＩＰＡＡ）などの、連邦法及び／又は州法によって管理することができ、その一方で、他国における健康データは、他の規制及びポリシーの対象となり得るものであり、それに従って対処されるべきである。それゆえ、各国の異なる個人データのタイプに対して、異なるプライバシー慣行が保たれるべきである。
前述のことがらにもかかわらず、本開示はまた、個人情報データの使用又は個人情報データへのアクセスを、ユーザが選択的に阻止する実施形態も考察する。すなわち、本開示は、そのような個人情報データへのアクセスを防止又は阻止するように、ハードウェア要素及び／又はソフトウェア要素を提供できることを考察する。例えば、デジタルアシスタント、ユーザの凝視、及びユーザプロファイルの場合、サービスの登録中又はその後のいつでも、個人情報データの収集への参加の「参加する（opt in）」又は「参加しない（opt out）」を選択することをユーザが選択できるように、本技術を構成することができる。別の実施例では、ユーザは、の個人情報を提供しないことを選択することができる。更に別の実施例では、ユーザは、個人情報が維持される期間を制限するか、又はベースラインプロファイルの展開を完全に禁止するかを選択することができる。「オプトイン」及び「オプトアウト」の選択肢を提供することに加えて、本開示は、個人情報のアクセス又は使用に関する通知を提供することを考察する。例えば、ユーザの個人情報データにアクセスするアプリ（例えば、デジタルアシスタントアプリ）のダウンロード時にユーザに通知され、その後、個人情報データがアプリによってアクセスされる直前に再びユーザに注意してもよい。
更に、本開示の意図は、個人情報データを、非意図的若しくは無認可アクセス又は使用の危険性を最小限に抑える方法で、管理及び処理するべきであるという点である。データの収集を制限し、データがもはや必要とされなくなった時点で削除することによって、危険性を最小限に抑えることができる。更に、適用可能な場合、特定の健康関連アプリケーションにおいて、ユーザのプライバシーを保護するために、データの非特定化を使用することができる。非特定化は、適切な場合には、特定の識別子（例えば、生年月日など）を除去すること、記憶されたデータの量又は特異性を制御すること（例えば、位置データを住所レベルよりも都市レベルで収集すること）、データがどのように記憶されるかを制御すること（例えば、データをユーザ全体にわたって情報集約すること）及び／又は他の方法によって、容易にすることができる。
それゆえ、本開示は、１つ以上の様々な開示された実施形態を実施するための、個人情報データの使用を広範に網羅するものであるが、本開示はまた、そのような個人情報データにアクセスすることを必要とせずに、それらの様々な実施形態を実施することも可能であることを考察する。すなわち、本技術の様々な実施形態は、そのような個人情報データの全て又は一部分が欠如することにより、実施不可能となるものではない。例えば、ユーザは、非個人情報データ又は最低限の量の個人情報に基づいて電子デバイスと対話することができる。

Claims (52)

  1. 方法であって、
    電子デバイスにおいて、
    前記電子デバイスのデジタルアシスタントがアクティブ化されていない間に、
    １つ以上のカメラセンサを使用して、第１の凝視情報を取得することと、
    前記第１の凝視情報が１つ以上のアクティブ化基準のセットを満たすとの判定に従って、
    前記電子デバイスの前記デジタルアシスタントをアクティブ化することと、
    前記１つ以上のアクティブ化基準のセットが満たされているという指示を提供することと、
    を含む、方法。
  2. 前記第１の凝視情報が前記１つ以上のアクティブ化基準のセットを満たさないとの判定に従って、
    前記デジタルアシスタントのアクティブ化を見合わせる ことと、
    を更に含む、請求項１に記載の方法。
  3. コマンドを実行するための音声によるユーザ入力要求を受信することと、
    前記コマンドを実行するために前記音声によるユーザ入力要求を受信したことに応じて、
    １つ以上の実行基準のセットが満たされたとの判定に従って、前記音声によるユーザ入力要求の内容に基づいて前記コマンドを実行することと、
    を更に含む、請求項１又は２に記載の方法。
  4. 前記電子デバイスは、前記デジタルアシスタントがアクティブ化されていない間に、前記音声によるユーザ入力要求を受信するのを開始する、請求項３に記載の方法。
  5. 前記音声によるユーザ入力要求を受信する前には第１の音量で生成される音声出力を生成することと、
    前記音声によるユーザ入力要求の受信を開始したことに応じて、
    前記音声出力の音量を、前記第１の音量よりも小さい第２の音量であってユーザと前記電子デバイスとの間の距離に基づく前記第２の音量に減らすこと、
    を更に含む、請求項３又は４に記載の方法。
  6. 前記コマンドを実行するための前記音声によるユーザ入力要求を受信したことに応じて、
    前記１つ以上の実行基準のセットであって、第２の凝視情報が、前記ユーザが前記デジタルアシスタントのアクティブ化と前記音声によるユーザ入力要求の終了との間で、閾値持続時間を超えて前記電子デバイスに向けた凝視を中断しないことを示すと前記電子デバイスが判定したときに満たされる、連続凝視基準を含む前記１つ以上の実行基準のセットが満たされていないとの判定に従って、前記音声によるユーザ入力要求の前記内容に基づく前記コマンドを実行することを見合わせること、
    を更に含む、請求項３乃至５のいずれか一項に記載の方法。
  7. 前記コマンドを実行するための前記音声によるユーザ入力要求を受信したことに応じて、
    前記１つ以上の実行基準のセットが満たされていないとの判定に従って、ヘッドシェイクによる指示であって、
    前記電子デバイスのディスプレイの第１の側に第１の光パターンを表示することと、
    前記第１の光パターンを表示したことに続いて、前記電子デバイスの前記ディスプレイの第２の側に第２の光パターンを表示することと、
    前記第２の光パターンを表示したことに続いて、前記電子デバイスの前記ディスプレイの前記第１の側に前記第１の光パターンを表示することと、
    を含む前記ヘッドシェイクによる指示を提供する、請求項３乃至６のいずれか一項に記載の方法。
  8. 前記指示は、前記デジタルアシスタントがアクティブ化されていることを示す視覚的指示である、請求項１乃至７のいずれか一項に記載の方法。
  9. 前記指示は、前記デジタルアシスタントがアクティブ化されていることを示す音声による指示である、請求項１乃至８のいずれか一項に記載の方法。
  10. 前記１つ以上のアクティブ化基準のセットは、判定されたオフセット角度が閾値オフセット角度未満であるときに満たされる視野基準を含み、前記判定されたオフセット角度は、
    ユーザの凝視の視線と、
    前記ユーザから前記電子デバイスへの算出された視線と
    の間に形成される角度である、請求項１乃至９のいずれか一項に記載の方法。
  11. 前記ユーザの前記凝視の前記視線が、前記ユーザの頭部位置に基づくものである、請求項１０に記載の方法。
  12. 前記１つ以上のアクティブ化基準のセットは、前記第１の凝視情報から判定された前記凝視の静止時間が閾値時間を超えるときに満たされる静止時間基準を含む、請求項１乃至１１のいずれか一項に記載の方法。
  13. 電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記１つ以上のプログラムは、請求項１乃至１２のいずれか一項に記載の方法を実行する命令を含む、非一時的コンピュータ可読記憶媒体。
  14. １つ以上のプロセッサと、
    前記１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、
    を備え、前記１つ以上のプログラムは、請求項１乃至１２のいずれか一項に記載の方法を実行するための命令を含む、電子デバイス。
  15. 請求項１乃至１２のいずれか一項に記載の方法を実行する手段を備える、電子デバイス。
  16. 電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記１つ以上のプログラムは、
    前記電子デバイスのデジタルアシスタントがアクティブ化されていない間、
    １つ以上のカメラセンサを使用して、第１の凝視情報を取得する命令と、
    前記第１の凝視情報が１つ以上のアクティブ化基準のセットを満たすとの判定に従って、
    前記電子デバイスの前記デジタルアシスタントをアクティブ化する命令と、
    前記１つ以上のアクティブ化基準のセットが満たされているという指示を提供する命令と、を含む、非一時的コンピュータ可読記憶媒体。
  17. １つ以上のプロセッサと、
    前記１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、を備える電子デバイスであって、前記１つ以上のプログラムは、
    前記電子デバイスのデジタルアシスタントがアクティブ化されていない間に、
    １つ以上のカメラセンサを使用して、第１の凝視情報を取得する命令と、
    前記第１の凝視情報が１つ以上のアクティブ化基準のセットを満たすとの判定に従って、
    前記電子デバイスの前記デジタルアシスタントをアクティブ化する命令と、
    前記１つ以上のアクティブ化基準のセットが満たされているという指示を提供する命令と、を含む、電子デバイス。
  18. 前記電子デバイスのデジタルアシスタントがアクティブ化されていない間に、
    １つ以上のカメラセンサを使用して、第１の凝視情報を取得する手段と、
    前記第１の凝視情報が１つ以上のアクティブ化基準のセットを満たすとの判定に従って、
    前記電子デバイスの前記デジタルアシスタントをアクティブ化し、
    前記１つ以上のアクティブ化基準のセットが満たされているという指示を提供する手段と、
    を備える、電子デバイス。
  19. 方法であって、
    電子デバイスにおいて、
    第１の外部デバイスが第１の状態にある間に、
    第１のコマンドを実行するための音声によるユーザ入力要求を受信することと、
    １つ以上のカメラセンサを使用して、第１の凝視情報を取得することと、
    前記第１の凝視情報を使用した、１つ以上の凝視基準のセットが前記第１の外部デバイスに対して満たされたとの判定に従って、
    前記第１のコマンドに基づいて、前記第１の外部デバイスを前記第１の状態から第２の状態に遷移させる命令を送信することと、
    を含む、方法。
  20. 前記第１の凝視情報を使用した、前記１つ以上の凝視基準のセットが、第１の外部デバイスに対して満たされないとの判定に従って、
    前記第１の外部デバイスを前記第１の状態から前記第２の状態に遷移させる前記命令を送信することを見合わせること、
    を更に含む、請求項１９に記載の方法。
  21. 前記１つ以上の凝視基準のセットは、判定されたオフセット角度が閾値オフセット角度未満であるときに満たされる視野基準を含み、前記判定されたオフセット角度は、
    ユーザの凝視の視線と、
    前記ユーザから前記第１の外部デバイスへの算出された視線との間に形成される角度である、請求項１９又は２０に記載の方法。
  22. 前記ユーザの前記凝視の前記視線は、前記ユーザの頭部位置に基づくものである、請求項２１に記載の方法。
  23. 前記１つ以上の凝視基準のセットは、前記第１の凝視情報から判定された前記凝視の静止時間が閾値時間を超えるときに、前記第１の外部デバイスに対して満たされる静止時間基準を含む、請求項１９乃至２２のいずれか一項に記載の方法。
  24. 前記１つ以上の凝視基準のセットが前記第１の外部デバイスに対して満たされたとの判定に従って、前記１つ以上の凝視基準のセットが満たされたことの指示を提供すること、
    を更に含む、請求項１９乃至２３のいずれか一項に記載の方法。
  25. 前記第１の外部デバイスを前記第１の状態から前記第２の状態に遷移させる前記命令を送信したことに続いて、前記第１の外部デバイスが前記第２の状態にあるという指示を提供すること、
    を更に含む、請求項１９乃至２４のいずれか一項に記載の方法。
  26. 前記指示はドメイン固有である、請求項２４又は２５に記載の方法。
  27. 電子デバイスは前記第１の外部デバイスとペアリングされる、請求項１９乃至２６のいずれか一項に記載の方法。
  28. 前記第１の外部デバイスが前記第１の状態にあり、かつ第２の外部デバイスが第３の状態にある間に、
    前記第１の凝視情報を使用した、前記第２の外部デバイスに対して前記１つ以上の凝視基準のセットが満たされるとの判定に従って、
    前記第１のコマンドに基づいて、前記第２の外部デバイスを前記第３の状態から第４の状態に遷移させる命令を送信することと、
    前記第１の凝視情報を使用した、前記１つ以上の凝視基準のセットが前記第２の外部デバイスに対して満たされないとの判定に従って、
    前記第１のコマンドに基づいて、前記第２の外部デバイスを前記第３の状態から前記第４の状態に遷移させる命令の送信を見合わせることと、
    を更に含む、請求項１９乃至２７のいずれか一項に記載の方法。
  29. 前記第１の外部デバイスが前記第２の状態にあり、かつ第２の外部デバイスが第３の状態にある間に、
    第２のコマンドを含む第２のユーザ入力要求を受信することと、
    １つ以上のカメラセンサを使用して、第２の凝視情報を取得することと、
    前記第２の凝視情報を使用した、前記第２の外部デバイスに対して前記１つ以上の凝視基準のセットが満たされるとの判定に従って、
    前記第２のコマンドに基づいて、前記第１の外部デバイスが前記第２の状態のままである間に、前記第２の外部デバイスを前記第３の状態から第４の状態に遷移させる命令を送信することと、
    を更に含む、請求項１９乃至２８のいずれか一項に記載の方法。
  30. 前記第２の外部デバイスが前記第３の状態にある間に、
    前記第２の凝視情報を使用した、前記１つ以上の凝視基準のセットが、前記第２の外部デバイスに対して満たされないとの判定に応じて、
    前記第２の外部デバイスを前記第３の状態から前記第４の状態に遷移させるように前記命令を送信することを見合わせることと、
    を更に含む、請求項２９に記載の方法。
  31. 前記第２の外部デバイスを前記第３の状態から前記第４の状態に遷移させるように前記命令を送信することに続いて、前記第２の外部デバイスが前記第４の状態にあることを示す指示を提供すること、
    を更に含む、請求項２８乃至３０のいずれか一項に記載の方法。
  32. 前記第１の外部デバイスを前記第１の状態から前記第２の状態に遷移させるように前記命令を送信することに続いて、
    前記第３の外部デバイスから、前記第３の外部デバイスによって受信された入力の指示を受信することと、
    前記第１の外部デバイスに命令した前記電子デバイスの最新性に基づいて、第２の命令を前記第１の外部デバイスに送信することと、
    を更に含む、請求項１９乃至３１のいずれか一項に記載の方法。
  33. 電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記１つ以上のプログラムは、請求項１９〜３２のいずれか一項に記載の方法を実行する命令を含む、非一時的コンピュータ可読記憶媒体。
  34. １つ以上のプロセッサと、
    前記１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、を備える電子デバイスであって、前記１つ以上のプログラムは、請求項１９から３２のいずれか一項に記載の方法を実行するための命令
    を含む、電子デバイス。
  35. 請求項１９乃至３２のいずれか一項に記載の方法を実行する手段
    を備える、電子デバイス。
  36. 電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記１つ以上のプログラムは、
    第１の外部デバイスが第１の状態にある間に、
    第１のコマンドを実行するための音声によるユーザ入力要求を受信する命令と、
    １つ以上のカメラセンサを使用して、第１の凝視情報を取得する命令と、
    前記第１の凝視情報を使用した、１つ以上の凝視基準のセットが前記第１の外部デバイスに対して満たされるとの判定に従って、
    前記第１のコマンドに基づいて、前記第１の外部デバイスを前記第１の状態から第２の状態に遷移させる命令を送信する命令と、を含む、非一時的コンピュータ可読記憶媒体。
  37. １つ以上のプロセッサと、
    前記１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、を備える電子デバイスであって、前記１つ以上のプログラムは、
    第１の外部デバイスが第１の状態にある間に、
    第１のコマンドを実行するための音声によるユーザ入力要求を受信する命令と、
    １つ以上のカメラセンサを使用して、第１の凝視情報を取得する命令と、
    前記第１の凝視情報を使用した、１つ以上の凝視基準のセットが前記第１の外部デバイスに対して満たされるとの判定に従って、
    前記第１のコマンドに基づいて、前記第１の外部デバイスを前記第１の状態から第２の状態に遷移させる命令を送信する命令と、を含む、電子デバイス。
  38. 第１の外部デバイスが第１の状態にある間に、
    第１のコマンドを実行するための音声によるユーザ入力要求を受信し、
    １つ以上のカメラセンサを使用して、第１の凝視情報を取得する手段と、
    前記第１の凝視情報を使用した、１つ以上の凝視基準のセットが前記第１の外部デバイスに対して満たされたという判定に従って、
    前記第１のコマンドに基づいて、前記第１の外部デバイスを前記第１の状態から第２の状態に遷移させる命令を送信する手段と、
    を含む、電子デバイス。
  39. 方法であって、
    電子デバイスにおいて、
    音声によるユーザ入力要求を受信することと、
    前記音声によるユーザ入力要求が第１のユーザに対応するとの判定に従って、インジケータの特性の値を前記第１のユーザに対応する第１の値に更新することと、
    前記音声によるユーザ入力要求が前記第１のユーザとは異なる第２のユーザに対応するとの判定に従って、前記インジケータの前記特性の前記値を前記第２のユーザに対応する、前記第１の値とは異なる第２の値に更新することと、
    前記特性の前記更新された値を含む前記インジケータを使用して前記音声によるユーザ入力要求に応答することと、
    を含む、方法。
  40. 前記音声によるユーザ入力要求がユーザ発語入力であり、前記特性の前記値を更新することは、前記音声によるユーザ入力要求の前記内容に基づくものではない、請求項３９に記載の方法。
  41. 前記インジケータは視覚的インジケータであり、
    前記音声によるユーザ入力要求を受信したことに応じて、かつ前記音声によるユーザ入力要求が特定のユーザに対応するとの前記判定の前に、前記視覚的インジケータを、前記特性のデフォルト値であって前記第１の値及び前記第２の値とは異なるデフォルト値により表示すること
    を更に含む、請求項３９又は４０に記載の方法。
  42. 前記音声によるユーザ入力要求を受信する前に、登録情報を受信することと、前記登録情報を使用して、前記特性の前記第１の値を前記第１のユーザに関連付け、前記特性の前記第２の値を前記第２のユーザに関連付けることと、
    を更に含む、請求項３９乃至４１のいずれか一項に記載の方法。
  43. 音声認識、顔認識、及び前記音声によるユーザ入力要求の方向のうちの１つ以上に基づいて、前記音声によるユーザ入力要求に関連付けられたユーザを判定すること
    を更に含む、請求項３９乃至４２のいずれか一項に記載の方法。
  44. 前記インジケータを使用して前記音声によるユーザ入力要求に応答することは、前記音声によるユーザ入力要求に関連付けられた前記ユーザに対応する前記特性の前記値を使用して、視覚的インジケータを表示することを含む、請求項３９乃至４３のいずれか一項に記載の方法。
  45. 前記インジケータを使用して前記音声によるユーザ入力要求に応答することは、前記音声によるユーザ入力要求に関連付けられた前記ユーザに対応する前記特性の前記値を使用して、音声によるインジケータを提供することを含む、請求項３９乃至４４のいずれか一項に記載の方法。
  46. 前記音声によるインジケータの前記特性は、前記音声によるユーザ入力要求に関連付けられたユーザに対応する用語である、請求項４５に記載の方法。
  47. 電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記１つ以上のプログラムは、請求項３９〜４６のいずれか一項に記載の方法を実行する命令を含む、非一時的コンピュータ可読記憶媒体。
  48. １つ以上のプロセッサと、
    前記１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、を備える電子デバイスであって、前記１つ以上のプログラムは、請求項３９乃至４６のいずれか一項に記載の方法を実行するための命令を含む、電子デバイス。
  49. 請求項３９乃至４６のいずれか一項に記載の方法を実行する手段
    を備える、電子デバイス。
  50. 電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記１つ以上のプログラムは、
    音声によるユーザ入力要求を受信する命令と、
    前記音声によるユーザ入力要求が第１のユーザに対応するとの判定に従って、インジケータの特性の値を前記第１のユーザに対応する第１の値に更新する命令と、
    前記音声によるユーザ入力要求が前記第１のユーザとは異なる第２のユーザに対応するとの判定に従って、前記インジケータの前記特性の前記値を前記第２のユーザに対応する第２の値であって、前記第１の値とは異なる第２の値に更新する命令と、
    前記インジケータであって、前記特性の前記更新された値を含む前記インジケータを使用して前記音声によるユーザ入力要求に応答する命令と、を含む、非一時的コンピュータ可読記憶媒体。
  51. １つ以上のプロセッサと、
    前記１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、を備える電子デバイスであって、前記１つ以上のプログラムは、
    音声によるユーザ入力要求を受信する命令と、
    前記音声によるユーザ入力要求が第１のユーザに対応するとの判定に従って、インジケータの特性の値を前記第１のユーザに対応する第１の値に更新する命令と、
    前記音声によるユーザ入力要求が前記第１のユーザとは異なる第２のユーザに対応するとの判定に従って、前記インジケータの前記特性の前記値を前記第２のユーザに対応する第２の値であって、前記第１の値とは異なる第２の値に更新する命令と、
    前記インジケータであって、前記特性の前記更新された値を含む前記インジケータを使用して前記音声によるユーザ入力要求に応答する命令と、を含む、電子デバイス。
  52. 音声によるユーザ入力要求を受信する手段と、
    前記音声によるユーザ入力要求が第１のユーザに対応するとの判定に従って、インジケータの特性の値を前記第１のユーザに対応する第１の値に更新する手段と、
    前記音声によるユーザ入力要求が前記第１のユーザとは異なる第２のユーザに対応するとの判定に従って、前記インジケータの前記特性の前記値を、前記第２のユーザに対応する第２の値であって、前記第１の値とは異なる第２の値に更新する手段と、
    前記インジケータであって、前記特性の前記更新された値を含む前記インジケータを使用して前記音声によるユーザ入力要求に応答する手段と、
    を備える、電子デバイス。
JP2021131310A 2018-09-28 2021-08-11 凝視情報を用いたデバイス制御 Active JP7209782B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023001790A JP2023052287A (ja) 2018-09-28 2023-01-10 凝視情報を用いたデバイス制御

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862739087P 2018-09-28 2018-09-28
US62/739,087 2018-09-28
JP2020569806A JP6930042B2 (ja) 2018-09-28 2019-08-30 凝視情報を用いたデバイス制御

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2020569806A Division JP6930042B2 (ja) 2018-09-28 2019-08-30 凝視情報を用いたデバイス制御

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023001790A Division JP2023052287A (ja) 2018-09-28 2023-01-10 凝視情報を用いたデバイス制御

Publications (2)

Publication Number Publication Date
JP2021193572A true JP2021193572A (ja) 2021-12-23
JP7209782B2 JP7209782B2 (ja) 2023-01-20

Family

ID=67957439

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2020569806A Active JP6930042B2 (ja) 2018-09-28 2019-08-30 凝視情報を用いたデバイス制御
JP2021131310A Active JP7209782B2 (ja) 2018-09-28 2021-08-11 凝視情報を用いたデバイス制御
JP2023001790A Pending JP2023052287A (ja) 2018-09-28 2023-01-10 凝視情報を用いたデバイス制御

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2020569806A Active JP6930042B2 (ja) 2018-09-28 2019-08-30 凝視情報を用いたデバイス制御

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023001790A Pending JP2023052287A (ja) 2018-09-28 2023-01-10 凝視情報を用いたデバイス制御

Country Status (7)

Country Link
US (3) US10860096B2 (ja)
EP (2) EP4137933A1 (ja)
JP (3) JP6930042B2 (ja)
KR (3) KR20230164199A (ja)
CN (2) CN115543170A (ja)
AU (3) AU2019346842C1 (ja)
WO (1) WO2020068375A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023177077A1 (ko) * 2022-03-15 2023-09-21 삼성전자 주식회사 전자 장치 및 그의 동작 방법

Families Citing this family (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
CN107066862B (zh) 2007-09-24 2022-11-25 苹果公司 电子设备中的嵌入式验证系统
US8600120B2 (en) 2008-01-03 2013-12-03 Apple Inc. Personal computing device control using face detection and recognition
US9002322B2 (en) 2011-09-29 2015-04-07 Apple Inc. Authentication with secondary approver
DE212014000045U1 (de) 2013-02-07 2015-09-24 Apple Inc. Sprach-Trigger für einen digitalen Assistenten
US9898642B2 (en) 2013-09-09 2018-02-20 Apple Inc. Device, method, and graphical user interface for manipulating user interfaces based on fingerprint sensor inputs
US10482461B2 (en) 2014-05-29 2019-11-19 Apple Inc. User interface for payments
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
JP6249263B2 (ja) * 2015-09-08 2017-12-20 日本電気株式会社 顔認識システム、顔認識方法、表示制御装置、表示制御方法および表示制御プログラム
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
DK179186B1 (en) 2016-05-19 2018-01-15 Apple Inc REMOTE AUTHORIZATION TO CONTINUE WITH AN ACTION
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK201770427A1 (en) 2017-05-12 2018-12-20 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
KR102143148B1 (ko) 2017-09-09 2020-08-10 애플 인크. 생체측정 인증의 구현
KR102185854B1 (ko) 2017-09-09 2020-12-02 애플 인크. 생체측정 인증의 구현
US10366291B2 (en) * 2017-09-09 2019-07-30 Google Llc Systems, methods, and apparatus for providing image shortcuts for an assistant application
BR112020010376A2 (pt) * 2017-12-22 2020-11-24 Telefonaktiebolaget Lm Ericsson (Publ) método para iniciar o controle de voz através da detecção de olhar, dispositivo para iniciar o controle de voz através da detecção de olhar, e, mídia legível por computador
US10818288B2 (en) * 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
US11170085B2 (en) 2018-06-03 2021-11-09 Apple Inc. Implementation of biometric authentication
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US11100349B2 (en) 2018-09-28 2021-08-24 Apple Inc. Audio assisted enrollment
US10860096B2 (en) 2018-09-28 2020-12-08 Apple Inc. Device control using gaze information
US11468890B2 (en) 2019-06-01 2022-10-11 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11334174B2 (en) 2019-07-18 2022-05-17 Eyal Shlomot Universal pointing and interacting device
CN110730115B (zh) * 2019-09-11 2021-11-09 北京小米移动软件有限公司 语音控制方法及装置、终端、存储介质
KR20210031265A (ko) * 2019-09-11 2021-03-19 삼성전자주식회사 전자 장치 및 그 동작방법
US11145315B2 (en) * 2019-10-16 2021-10-12 Motorola Mobility Llc Electronic device with trigger phrase bypass and corresponding systems and methods
KR20210066644A (ko) * 2019-11-28 2021-06-07 삼성전자주식회사 단말 장치, 서버 및 그 제어 방법
US11256894B2 (en) * 2019-12-04 2022-02-22 Qualcomm Incorporated Multi-stage biometric authentication
US11749281B2 (en) 2019-12-04 2023-09-05 Soundhound Ai Ip, Llc Neural speech-to-meaning
US11308938B2 (en) * 2019-12-05 2022-04-19 Soundhound, Inc. Synthesizing speech recognition training data
US11175730B2 (en) 2019-12-06 2021-11-16 Facebook Technologies, Llc Posture-based virtual space configurations
CN115210692A (zh) * 2020-02-28 2022-10-18 谷歌有限责任公司 用于数字动作执行的接口和模式选择
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11269667B2 (en) * 2020-07-16 2022-03-08 Lenovo (Singapore) Pte. Ltd. Techniques to switch between different types of virtual assistance based on threshold being met
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
US20220284883A1 (en) * 2021-03-05 2022-09-08 Comcast Cable Communications, Llc Keyword Detection
US11955137B2 (en) * 2021-03-11 2024-04-09 Apple Inc. Continuous dialog with a digital assistant
US11861315B2 (en) 2021-04-21 2024-01-02 Meta Platforms, Inc. Continuous learning for natural-language understanding models for assistant systems
US20220358917A1 (en) * 2021-04-21 2022-11-10 Meta Platforms, Inc. Multi-device Mediation for Assistant Systems
KR20220151474A (ko) * 2021-05-06 2022-11-15 삼성전자주식회사 AI(artificial intelligent) 에이전트 서비스를 통해 업데이트 정보를 제공하기 위한 전자 장치
US11676599B2 (en) * 2021-05-10 2023-06-13 International Business Machines Corporation Operational command boundaries
US20230081605A1 (en) * 2021-09-16 2023-03-16 Apple Inc. Digital assistant for moving and copying graphical elements
US20230214171A1 (en) * 2021-12-30 2023-07-06 Harman International Industries, Incorporated In-vehicle multi-occupant media management
US20230325046A1 (en) * 2022-04-11 2023-10-12 Facebook Technologies, Llc Activating a Snap Point in an Artificial Reality Environment
US11995457B2 (en) 2022-06-03 2024-05-28 Apple Inc. Digital assistant integration with system interface
CN115019798A (zh) * 2022-06-21 2022-09-06 珠海格力电器股份有限公司 语音识别设备的控制方法、装置、电子设备及存储介质
US11902656B2 (en) * 2022-06-29 2024-02-13 Western Digital Technologies, Inc. Audio sensors for controlling surveillance video data capture
EP4321990A1 (en) * 2022-08-11 2024-02-14 Koninklijke Philips N.V. Selectively communicating an audio signal
WO2024063508A1 (ko) * 2022-09-19 2024-03-28 삼성전자 주식회사 전자 장치 및 복수의 장치들의 동작 상태를 제공하는 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0981309A (ja) * 1995-09-13 1997-03-28 Toshiba Corp 入力装置
JP2014230061A (ja) * 2013-05-22 2014-12-08 シャープ株式会社 ネットワークシステム、サーバ、家電、プログラムおよび家電の連携方法
JP2016076799A (ja) * 2014-10-03 2016-05-12 シャープ株式会社 家電管理システム、家電、リモコン装置、ロボット

Family Cites Families (1032)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3859005A (en) 1973-08-13 1975-01-07 Albert L Huebner Erosion reduction in wet turbines
US4826405A (en) 1985-10-15 1989-05-02 Aeroquip Corporation Fan blade fabrication system
US4805222A (en) 1985-12-23 1989-02-14 International Bioaccess Systems Corporation Method and apparatus for verifying an individual's identity
US5265007A (en) 1988-06-07 1993-11-23 Huntington Bancshares Incorporated Central check clearing system
JPH04158434A (ja) 1990-10-23 1992-06-01 Toshiba Corp ディスプレイ装置のポインティングデバイス
US5229764A (en) 1991-06-20 1993-07-20 Matchett Noel D Continuous biometric authentication matrix
US5783808A (en) 1996-01-11 1998-07-21 J. D. Carreker And Associates, Inc. Electronic check presentment system having transaction level reconciliation capability
US5237159A (en) 1991-07-17 1993-08-17 J. D. Carreker And Associates Electronic check presentment system
US5691524A (en) 1991-07-17 1997-11-25 J.D. Carreker And Associates, Inc. Electronic check presentment system having a non-ECP exceptions notification system incorporated therein
EP0593386A3 (en) 1992-10-16 1996-07-31 Ibm Method and apparatus for accessing touch screen desktop objects via fingerprint recognition
US5484988A (en) 1992-11-13 1996-01-16 Resource Technology Services, Inc. Checkwriting point of sale system
JPH06284182A (ja) 1993-03-30 1994-10-07 Fujitsu Ltd 携帯電話機
JP2813728B2 (ja) 1993-11-01 1998-10-22 インターナショナル・ビジネス・マシーンズ・コーポレイション ズーム／パン機能付パーソナル通信機
JP3393691B2 (ja) 1993-11-25 2003-04-07 浜松ホトニクス株式会社 照合装置
US6230148B1 (en) 1994-11-28 2001-05-08 Veristar Corporation Tokenless biometric electric check transaction
US6269348B1 (en) 1994-11-28 2001-07-31 Veristar Corporation Tokenless biometric electronic debit and credit transactions
US6950810B2 (en) 1994-11-28 2005-09-27 Indivos Corporation Tokenless biometric electronic financial transactions via a third party identicator
US5717868A (en) 1995-03-07 1998-02-10 Huntington Bancshares Inc. Electronic payment interchange concentrator
FR2733379B1 (fr) 1995-04-20 1997-06-20 Gemplus Card Int Procede de generation de signatures electroniques, notamment pour cartes a puces
US5838306A (en) 1995-05-05 1998-11-17 Dell U.S.A., L.P. Mouse with security feature
JP3316725B2 (ja) 1995-07-06 2002-08-19 三菱電機株式会社 顔画像撮像装置
US5821933A (en) 1995-09-14 1998-10-13 International Business Machines Corporation Visual access to restricted functions represented on a graphical user interface
CN1163669A (zh) 1995-10-05 1997-10-29 富士通电装株式会社 指纹记录方法和指纹检验装置
US5767457A (en) 1995-11-13 1998-06-16 Cirque Corporation Apparatus and method for audible feedback from input device
US5828773A (en) 1996-01-26 1998-10-27 Harris Corporation Fingerprint sensing method with finger position indication
JP3470327B2 (ja) 1996-02-20 2003-11-25 横河電機株式会社 セキュリティー装置
JPH09269930A (ja) 1996-04-03 1997-10-14 Hitachi Ltd ネットワークシステムの防疫方法及びその装置
GB2312040A (en) 1996-04-13 1997-10-15 Xerox Corp A computer mouse
US6016484A (en) 1996-04-26 2000-01-18 Verifone, Inc. System, method and article of manufacture for network electronic payment instrument and certification of payment and credit collection utilizing a payment
US5748766A (en) 1996-04-30 1998-05-05 Identix Incorporated Method and device for reducing smear in a rolled fingerprint image
DE19620346A1 (de) 1996-05-21 1997-11-27 Bosch Gmbh Robert Grafische Paßworteingabe
FR2749955B1 (fr) 1996-06-14 1998-09-11 Thomson Csf Systeme de lecture d'empreintes digitales
US5933134A (en) 1996-06-25 1999-08-03 International Business Machines Corporation Touch screen virtual pointing device which goes into a translucent hibernation state when not in use
JPH1069346A (ja) 1996-08-28 1998-03-10 Alps Electric Co Ltd 座標入力装置およびその制御方法
US5726034A (en) 1996-09-06 1998-03-10 Protein Technologies International, Inc. Aglucone isoflavone enriched vegetable protein extract and protein material, and high genistein and daidzein content materials and process for producing the same
US6219793B1 (en) 1996-09-11 2001-04-17 Hush, Inc. Method of using fingerprints to authenticate wireless communications
US6175922B1 (en) 1996-12-04 2001-01-16 Esign, Inc. Electronic transaction systems and methods therefor
US6111517A (en) 1996-12-30 2000-08-29 Visionics Corporation Continuous video monitoring using face recognition for access control
US6164528A (en) 1996-12-31 2000-12-26 Chequemark Patent, Inc. Check writing point of sale system
JP3469031B2 (ja) 1997-02-18 2003-11-25 株式会社東芝 顔画像登録装置及びその方法
JPH10247936A (ja) 1997-03-04 1998-09-14 Matsushita Electric Ind Co Ltd 電子メール送受信システム
JPH10255112A (ja) 1997-03-12 1998-09-25 Oki Electric Ind Co Ltd 自動取引装置の監視方法と監視システム
JPH10269358A (ja) 1997-03-25 1998-10-09 Sony Corp 物体認識装置
US6193152B1 (en) 1997-05-09 2001-02-27 Receiptcity.Com, Inc. Modular signature and data-capture system and point of transaction payment and reward system
CA2208179A1 (en) 1997-06-18 1998-12-18 Roland S. Walch Pointing device with optical fingerprint recognition and tracking capability
KR19990009965A (ko) 1997-07-14 1999-02-05 정명식 타자 패턴을 이용한 사용자 인증 방법
JPH1139385A (ja) 1997-07-23 1999-02-12 Oki Electric Ind Co Ltd 送料金額の計算方法及び送料金額の計算プログラムを記録した媒体
US5974150A (en) 1997-09-30 1999-10-26 Tracer Detection Technology Corp. System and method for authentication of goods
US20020097145A1 (en) 1997-11-06 2002-07-25 David M. Tumey Integrated vehicle security system utilizing facial image verification
GB9725571D0 (en) 1997-12-04 1998-02-04 Philips Electronics Nv Electronic apparatus comprising fingerprint sensing devices
JPH11175478A (ja) 1997-12-10 1999-07-02 Nec Corp 本人認証システム
JPH11185016A (ja) 1997-12-24 1999-07-09 Sharp Corp 情報処理装置
US6408087B1 (en) 1998-01-13 2002-06-18 Stmicroelectronics, Inc. Capacitive semiconductor user input device
EP1058924B1 (en) 1998-01-26 2012-06-13 Apple Inc. Method and apparatus for integrating manual input
JP3574559B2 (ja) 1998-01-27 2004-10-06 株式会社エヌ・ティ・ティ・データ 電子チケットシステム、回収端末、サービス提供端末、利用者端末、電子チケット回収方法及び記録媒体
FI980427A (fi) 1998-02-25 1999-08-26 Ericsson Telefon Ab L M Menetelmä, järjestely ja laite todentamiseen
JPH11242745A (ja) 1998-02-25 1999-09-07 Victor Co Of Japan Ltd 顔画像の計測・処理方法
US6104922A (en) 1998-03-02 2000-08-15 Motorola, Inc. User authentication in a communication system utilizing biometric information
US6173402B1 (en) 1998-03-04 2001-01-09 International Business Machines Corporation Technique for localizing keyphrase-based data encryption and decryption
US6141436A (en) 1998-03-25 2000-10-31 Motorola, Inc. Portable communication device having a fingerprint identification system
US6192380B1 (en) 1998-03-31 2001-02-20 Intel Corporation Automatic web based form fill-in
US6618806B1 (en) 1998-04-01 2003-09-09 Saflink Corporation System and method for authenticating users in a computer network
US6189785B1 (en) 1998-04-14 2001-02-20 International Check Services Demand deposit account data processing system
US20010044906A1 (en) 1998-04-21 2001-11-22 Dimitri Kanevsky Random visual patterns used to obtain secured access
US6400836B2 (en) 1998-05-15 2002-06-04 International Business Machines Corporation Combined fingerprint acquisition and control device
US6421453B1 (en) 1998-05-15 2002-07-16 International Business Machines Corporation Apparatus and methods for user recognition employing behavioral passwords
US6573883B1 (en) 1998-06-24 2003-06-03 Hewlett Packard Development Company, L.P. Method and apparatus for controlling a computing device with gestures
US6151208A (en) 1998-06-24 2000-11-21 Digital Equipment Corporation Wearable computing device mounted on superior dorsal aspect of a hand
JPH1173530A (ja) 1998-07-15 1999-03-16 Yokogawa Electric Corp 無線型料金支払いシステム
US7130454B1 (en) 1998-07-20 2006-10-31 Viisage Technology, Inc. Real-time facial recognition and verification system
US6328207B1 (en) 1998-08-11 2001-12-11 Electronic Data Systems Corporation Method and apparatus for automated cashing of checks
US6374145B1 (en) 1998-12-14 2002-04-16 Mark Lignoul Proximity sensor for screen saver and password delay
US6317835B1 (en) 1998-12-23 2001-11-13 Radiant Systems, Inc. Method and system for entry of encrypted and non-encrypted information on a touch screen
US20020059295A1 (en) 1999-01-29 2002-05-16 Harold Aaron Ludtke Method and system for distributed queues in a multimedia network
JP3921865B2 (ja) 1999-03-11 2007-05-30 カシオ計算機株式会社 データ処理システムおよびそのプログラム記録媒体
US7046838B1 (en) 1999-03-30 2006-05-16 Minolta Co., Ltd. Three-dimensional data input method and apparatus
JP4306006B2 (ja) 1999-03-30 2009-07-29 コニカミノルタセンシング株式会社 ３次元データ入力方法及び装置
US7039221B1 (en) 1999-04-09 2006-05-02 Tumey David M Facial image verification utilizing smart-card with integrated video camera
US6337919B1 (en) 1999-04-28 2002-01-08 Intel Corporation Fingerprint detecting mouse
US7089208B1 (en) 1999-04-30 2006-08-08 Paypal, Inc. System and method for electronically exchanging value among distributed users
JP2000315118A (ja) 1999-05-06 2000-11-14 Canon Inc 情報処理装置、情報処理装置制御方法、情報処理装置制御プログラムを格納した記憶媒体
US6795569B1 (en) 1999-05-11 2004-09-21 Authentec, Inc. Fingerprint image compositing method and associated apparatus
US6560711B1 (en) 1999-05-24 2003-05-06 Paul Given Activity sensing interface between a computer and an input peripheral
US6282655B1 (en) 1999-05-24 2001-08-28 Paul Given Keyboard motion detector
US6737591B1 (en) 1999-05-25 2004-05-18 Silverbrook Research Pty Ltd Orientation sensing device
IL147164A0 (en) 1999-06-18 2002-08-14 Echarge Corp Method and apparatus for ordering goods, services and content over an internetwork using a virtual payment account
US7716080B2 (en) 1999-06-23 2010-05-11 Signature Systems, Llc Method and system for using multi-function cards for storing, managing and aggregating reward points
US6639584B1 (en) 1999-07-06 2003-10-28 Chuang Li Methods and apparatus for controlling a portable electronic device using a touchpad
US6609198B1 (en) 1999-08-05 2003-08-19 Sun Microsystems, Inc. Log-on service providing credential level change without loss of session continuity
KR100348521B1 (ko) 1999-08-26 2002-08-14 김운용 생체인식에 의한 출입통제방법 및 그 장치
JP2001092554A (ja) 1999-09-21 2001-04-06 Seiko Instruments Inc 情報処理装置
JP2001092783A (ja) 1999-09-27 2001-04-06 Hitachi Software Eng Co Ltd 個人認証方法およびシステム、記録媒体
JP4518217B2 (ja) 1999-09-30 2010-08-04 ソニー株式会社 通信装置、通信システム及び通信方法
US7030860B1 (en) 1999-10-08 2006-04-18 Synaptics Incorporated Flexible transparent touch sensing system for electronic devices
KR100695509B1 (ko) 1999-11-08 2007-03-15 삼성전자주식회사 지문인식이 가능한 디스플레이시스템 및 시스템 구동방법
JP3738629B2 (ja) 1999-11-25 2006-01-25 三菱電機株式会社 携帯型電子機器
AU784041B2 (en) 1999-11-30 2006-01-19 Citibank, N.A. System and method for performing an electronic transaction using a transaction proxy with an electronic wallet
US20040252867A1 (en) 2000-01-05 2004-12-16 Je-Hsiung Lan Biometric sensor
US6398646B1 (en) 2000-01-06 2002-06-04 Melange Computer Services, Inc. Method and system for storing preselected numbers for use in games of bingo
US7609862B2 (en) 2000-01-24 2009-10-27 Pen-One Inc. Method for identity verification
US6721738B2 (en) 2000-02-01 2004-04-13 Gaveo Technology, Llc. Motion password control system
KR20000030544A (ko) 2000-03-02 2000-06-05 김종완 인터넷 조각 그림 맞추기 홈페이지를 이용한 광고 표현 기법
CN1263324A (zh) 2000-03-20 2000-08-16 后健慈 指纹辨识键盘装置及其辨识方法
DE60119418T2 (de) 2000-03-22 2007-05-24 Kabushiki Kaisha Toshiba, Kawasaki Gesichtsbildaufnehmendes Erkennungsgerät und Passüberprüfungsgerät
US20010039497A1 (en) 2000-03-30 2001-11-08 Hubbard Edward A. System and method for monitizing network connected user bases utilizing distributed processing systems
US7086085B1 (en) 2000-04-11 2006-08-01 Bruce E Brown Variable trust levels for authentication
AU2001249968A1 (en) 2000-04-18 2001-10-30 Bioconx, Inc. System for logging into multiple network systems
US20010047365A1 (en) 2000-04-19 2001-11-29 Hiawatha Island Software Co, Inc. System and method of packaging and unpackaging files into a markup language record for network search and archive services
CN1316384C (zh) 2000-04-26 2007-05-16 电通应用股份有限公司 管理交易和清算的方法，通知关于消费动向的信息的方法
US20020046064A1 (en) 2000-05-19 2002-04-18 Hector Maury Method and system for furnishing an on-line quote for an insurance product
JP2001331758A (ja) 2000-05-22 2001-11-30 Sumisho Computer Systems Corp 認証ワークフローシステム、認証サーバ装置、決裁に関する認証方法、記録媒体
JP4914533B2 (ja) 2000-06-05 2012-04-11 株式会社三井住友銀行 情報処理装置及び情報処理方法
SE517484C2 (sv) 2000-06-30 2002-06-11 Nokia Corp Föräldrakontroll av anordningar som levererar mediainnehåll
US6720860B1 (en) 2000-06-30 2004-04-13 International Business Machines Corporation Password protection using spatial and temporal variation in a high-resolution touch sensitive display
ES2485090T3 (es) 2000-07-10 2014-08-12 Paypal, Inc. Sistema y método para verificar un instrumento financiero
US7359880B2 (en) 2000-07-11 2008-04-15 Abel Luther C System and method for consumer control over card-based transactions
AU2001271039A1 (en) 2000-07-24 2002-02-05 Kabushiki Kaisha Dds Fingerprint collation apparatus, fingerprint collation method, and fingerprint collation program
WO2002008921A1 (fr) 2000-07-25 2002-01-31 Asahi Business Assist Limited Support d'enregistrement d'informations secretes, procede de protection et de stockage protege de telles informations, et systeme de signalement d'une urgence, telle qu'un vol ou une restriction d'acces, lors de l'acces aux informations secretes
JP2002049570A (ja) 2000-08-02 2002-02-15 Ntt Data Corp クライアント・サーバ・システム、サーバ装置、データ中継方法及びそのプログラムを記録した記録媒体
JP4469476B2 (ja) 2000-08-09 2010-05-26 パナソニック株式会社 眼位置検出方法および眼位置検出装置
KR20020022295A (ko) 2000-09-19 2002-03-27 장기화 3차원 정보를 이용한 얼굴 인식 장치 및 방법
JP2002099854A (ja) 2000-09-21 2002-04-05 Sanyo Electric Co Ltd カード決済加盟店端末、カード決済サービスシステム、及びカード決済におけるカード有効性判断方法
WO2002025291A2 (en) 2000-09-21 2002-03-28 American Calcar Inc. Technique for operating a vehicle effectively and safely
GB0023681D0 (en) 2000-09-27 2000-11-08 Canon Kk Image processing apparatus
US7337144B1 (en) 2000-09-28 2008-02-26 Microsoft Corporation Method and system for restricting the usage of payment accounts
US7218226B2 (en) 2004-03-01 2007-05-15 Apple Inc. Acceleration-based theft detection system for portable electronic devices
US7688306B2 (en) 2000-10-02 2010-03-30 Apple Inc. Methods and apparatuses for operating a portable device based on an accelerometer
JP4264564B2 (ja) 2000-11-16 2009-05-20 ソニー株式会社 データ受信装置、受信状況表示方法およびデータ送信方法
JP4590717B2 (ja) 2000-11-17 2010-12-01 ソニー株式会社 顔識別装置及び顔識別方法
JP2002159052A (ja) 2000-11-17 2002-05-31 Nec Kofu Ltd 指紋認証機能付き移動端末
US7346778B1 (en) 2000-11-29 2008-03-18 Palmsource, Inc. Security method and apparatus for controlling the data exchange on handheld computers
US20040143553A1 (en) 2000-12-01 2004-07-22 Torget John W. System and method for remotely generating instruments
JP2002183093A (ja) 2000-12-12 2002-06-28 Canon Inc 制御装置および制御装置の制御方法および記憶媒体
JP2002207525A (ja) 2001-01-10 2002-07-26 Matsushita Electric Ind Co Ltd 指紋センサ付き携帯情報端末
US7921297B2 (en) 2001-01-10 2011-04-05 Luis Melisendro Ortiz Random biometric authentication utilizing unique biometric signatures
US20020091937A1 (en) 2001-01-10 2002-07-11 Ortiz Luis M. Random biometric authentication methods and systems
US20020095588A1 (en) 2001-01-12 2002-07-18 Satoshi Shigematsu Authentication token and authentication system
US7124300B1 (en) 2001-01-24 2006-10-17 Palm, Inc. Handheld computer system configured to authenticate a user and power-up in response to a single action by the user
US6677932B1 (en) 2001-01-28 2004-01-13 Finger Works, Inc. System and method for recognizing touch typing under limited tactile feedback conditions
US8949902B1 (en) 2001-02-06 2015-02-03 Rovi Guides, Inc. Systems and methods for providing audio-based guidance
US6570557B1 (en) 2001-02-10 2003-05-27 Finger Works, Inc. Multi-touch system and method for emulating modifier keys via fingertip chords
US7194618B1 (en) 2001-03-05 2007-03-20 Suominen Edwin A Encryption and authentication systems and methods
TWI282941B (en) 2001-03-15 2007-06-21 Toshiba Corp Entrance management apparatus and entrance management method by using face features identification
US6920236B2 (en) 2001-03-26 2005-07-19 Mikos, Ltd. Dual band biometric identification system
JP2002288137A (ja) 2001-03-27 2002-10-04 Toshiba Corp 電子機器における個人認証方式
US20020141586A1 (en) 2001-03-29 2002-10-03 Aladdin Knowledge Systems Ltd. Authentication employing the bluetooth communication protocol
JP4196973B2 (ja) 2001-04-17 2008-12-17 パナソニック株式会社 個人認証装置および方法
US7079652B1 (en) 2001-05-01 2006-07-18 Harris Scott C Login renewal based on device surroundings
US20040085300A1 (en) 2001-05-02 2004-05-06 Alec Matusis Device and method for selecting functions based on intrinsic finger features
KR20020087665A (ko) 2001-05-15 2002-11-23 엘지전자 주식회사 개인휴대용 통신단말기의 분실모드에 따른 동작방법
US20050024341A1 (en) 2001-05-16 2005-02-03 Synaptics, Inc. Touch screen with user interface enhancement
US7730401B2 (en) 2001-05-16 2010-06-01 Synaptics Incorporated Touch screen with user interface enhancement
US20020190960A1 (en) 2001-06-15 2002-12-19 Shyh-Ren Kuo Method for controlling computer cursor based on identification of user fingerprint
US6709333B1 (en) 2001-06-20 2004-03-23 Sierra Design Group Player identification using biometric data in a gaming environment
JP2003016398A (ja) 2001-06-27 2003-01-17 Sony Corp 携帯端末機
WO2003003278A1 (en) 2001-06-28 2003-01-09 Trek 2000 International Ltd. A portable device having biometrics-based authentication capabilities
US20030141959A1 (en) 2001-06-29 2003-07-31 Keogh Colin Robert Fingerprint biometric lock
WO2003007121A2 (en) 2001-07-12 2003-01-23 Atrua Technologies, Inc. Method and system for determining confidence in a digital transaction
US6930718B2 (en) 2001-07-17 2005-08-16 Eastman Kodak Company Revised recapture camera and method
EP1422589A1 (en) 2001-07-27 2004-05-26 Avimir, LLC Method and device for entering a computer database password
EP1413116A1 (en) 2001-08-03 2004-04-28 Matsushita Electric Industrial Co., Ltd. Access control system
US7099845B2 (en) 2001-08-16 2006-08-29 Ncr Corporation Electronic check presentment with image interchange system and method of operating an electronic check presentment with image interchange system
US20030038754A1 (en) 2001-08-22 2003-02-27 Mikael Goldstein Method and apparatus for gaze responsive text presentation in RSVP display
JP2003067343A (ja) 2001-08-23 2003-03-07 Toshiba Tec Corp 業務端末装置
US8050997B1 (en) 2001-08-23 2011-11-01 Paypal Inc. Instant availability of electronically transferred funds
JP3974375B2 (ja) 2001-10-31 2007-09-12 株式会社東芝 人物認識装置、人物認識方法および通行制御装置
US20030188183A1 (en) 2001-08-27 2003-10-02 Lee Lane W. Unlocking method and system for data on media
US20030048173A1 (en) 2001-09-06 2003-03-13 Satoshi Shigematsu Authentication method, authentication system, and authentication token
US20030046557A1 (en) 2001-09-06 2003-03-06 Miller Keith F. Multipurpose networked data communications system and distributed user control interface therefor
US7027619B2 (en) 2001-09-13 2006-04-11 Honeywell International Inc. Near-infrared method and system for use in face detection
US7099850B1 (en) 2001-09-21 2006-08-29 Jpmorgan Chase Bank, N.A. Methods for providing cardless payment
US20040030934A1 (en) 2001-10-19 2004-02-12 Fumio Mizoguchi User selectable authentication interface and universal password oracle
JP2003143290A (ja) 2001-10-30 2003-05-16 Sanyo Electric Co Ltd 携帯電話機
US20040248548A1 (en) 2001-10-31 2004-12-09 Takanori Niwa Portable terminal and pos terminal
DE10153591A1 (de) 2001-11-02 2003-05-22 Rene Baltus Wiedererkennung einer Person durch die Erfassung und dem Vergleich der personentypischen Betätigungsdynamik an einem Joystick
JP2003150550A (ja) 2001-11-14 2003-05-23 Toshiba Corp 情報処理システム
US7415502B2 (en) 2001-11-16 2008-08-19 Sbc Technology Resources, Inc. Method and system for intelligent routing based on presence detection
US8504652B2 (en) 2006-04-10 2013-08-06 Portulim Foundation Llc Method and system for selectively supplying media content to a user and media storage device for use therein
US8266212B2 (en) 2001-11-23 2012-09-11 Igt Game talk service bus
US20030099379A1 (en) 2001-11-26 2003-05-29 Monk Bruce C. Validation and verification apparatus and method
KR100456619B1 (ko) 2001-12-05 2004-11-10 한국전자통신연구원 에스.브이.엠(ｓｖｍ)을 이용한 얼굴 등록/인증 시스템 및방법
US6644546B2 (en) 2002-01-02 2003-11-11 International Business Machines Corporation System and method for electronic check conversion at a point-of-sale terminal
US7394346B2 (en) 2002-01-15 2008-07-01 International Business Machines Corporation Free-space gesture recognition for transaction security and command processing
US6970855B2 (en) 2002-01-29 2005-11-29 Pitney Bowes Inc. Method and system for enterprise-level unassisted customer shipping
US6850255B2 (en) 2002-02-28 2005-02-01 James Edward Muschetto Method and apparatus for accessing information, computer programs and electronic communications across multiple computing devices using a graphical user interface
AU2002237465A1 (en) 2002-03-04 2003-09-16 Nokia Corporation Method for intermediate unlocking of a keypad on a mobile electronic device
JP2003298689A (ja) 2002-04-02 2003-10-17 Canon Inc 携帯電話
CA2505920A1 (en) 2002-04-03 2003-10-09 Swivel Secure Limited System and method for secure credit and debit card transactions
JP4022861B2 (ja) 2002-04-10 2007-12-19 日本電気株式会社 指紋認証システム、指紋認証方法及び指紋認証プログラム
US7707120B2 (en) 2002-04-17 2010-04-27 Visa International Service Association Mobile account authentication service
US6980081B2 (en) 2002-05-10 2005-12-27 Hewlett-Packard Development Company, L.P. System and method for user authentication
JP2003346059A (ja) 2002-05-24 2003-12-05 Nec Engineering Ltd オンラインショッピングシステム
US7356516B2 (en) 2002-06-13 2008-04-08 Visa U.S.A. Inc. Method and system for facilitating electronic dispute resolution
KR20050013585A (ko) 2002-06-17 2005-02-04 코닌클리케 필립스 일렉트로닉스 엔.브이. 디바이스들간의 인증 방법
US20030236746A1 (en) 2002-06-19 2003-12-25 Turner Michael B. Check and cash dispensing machine and method
FI20021655A (fi) 2002-06-19 2003-12-20 Nokia Corp Menetelmä lukituksen avaamiseksi ja kannettava elektroninen laite
JP2004086866A (ja) 2002-06-25 2004-03-18 Chuo Spring Co Ltd 指紋照合方法及び指紋画像の登録方法
US7543156B2 (en) 2002-06-25 2009-06-02 Resilent, Llc Transaction authentication card
KR20040000954A (ko) 2002-06-26 2004-01-07 삼성전자주식회사 이동통신단말기에 있어서 지문인식 방향 선택 방법
US7243239B2 (en) 2002-06-28 2007-07-10 Microsoft Corporation Click passwords
KR20040005505A (ko) 2002-07-10 2004-01-16 삼성전자주식회사 컴퓨터시스템 및 그 부팅제어방법
US7606560B2 (en) 2002-08-08 2009-10-20 Fujitsu Limited Authentication services using mobile device
US7822688B2 (en) 2002-08-08 2010-10-26 Fujitsu Limited Wireless wallet
PA8581901A1 (es) 2002-09-10 2004-05-21 Ivi Smart Technologies Inc Verificacion biometrica segura de identidad
FI20021682A (fi) 2002-09-20 2004-03-21 Nokia Corp Menetelmä laitteen lukitustilan avaamiseksi ja elektroninen laite
HK1062117A2 (en) 2002-09-25 2004-09-17 Univ Hong Kong Polytechnic Method of palm print identification using geometry, line and/or texture features
US20040229560A1 (en) 2002-10-10 2004-11-18 Maloney William C. Methods of tracking and verifying human assets
US20040073432A1 (en) 2002-10-15 2004-04-15 Stone Christopher J. Webpad for the disabled
US7194105B2 (en) 2002-10-16 2007-03-20 Hersch Roger D Authentication of documents and articles by moiré patterns
US7548746B2 (en) 2002-11-01 2009-06-16 At&T Mobility Ii Llc General purpose automated activation and provisioning technologies
US7278019B2 (en) 2002-11-04 2007-10-02 Hewlett-Packard Development Company, L.P. Method of hindering the propagation of a computer virus
US7676748B1 (en) 2002-11-04 2010-03-09 Sun Microsystems, Inc. System graphics for security shield
US20040091136A1 (en) 2002-11-13 2004-05-13 Dombrowski James Douglas Real-time biometric data extraction and comparison for self identification
JP2004178584A (ja) 2002-11-26 2004-06-24 Asulab Sa 機能、装置、又は所定の場所にアクセスするためのタッチスクリーンによるセキュリティコードの入力方法、及びその方法を実行するためのデバイス
KR100477150B1 (ko) 2002-12-06 2005-03-17 에스케이 텔레콤주식회사 전자지갑을 구비한 이동통신 단말기의 전자지갑 잠금기능해제 관리 시스템 및 방법
US20040122685A1 (en) 2002-12-20 2004-06-24 Daryl Bunce Verification system for facilitating transactions via communication networks, and associated method
US7116805B2 (en) 2003-01-07 2006-10-03 Avagotechnologies Ecbu Ip (Singapore) Pte. Ltd. Fingerprint verification device
US7542945B2 (en) 2003-01-15 2009-06-02 Sanmina-Sci Corporation Authentication device, system and methods
KR100816602B1 (ko) 2003-02-13 2008-03-24 닛본 덴끼 가부시끼가이샤 사칭 검출 장치 및 사칭 검출 방법
JP4293516B2 (ja) 2003-02-20 2009-07-08 株式会社三菱東京Ｕｆｊ銀行 口座振替申込受付システム、方法及びプログラム
US20040172562A1 (en) 2003-03-01 2004-09-02 Vladimir Berger System and method for identity recognition of an individual for enabling an access to a secured system
JP4296008B2 (ja) 2003-03-04 2009-07-15 日本信号株式会社 個人認証システム
US7373657B2 (en) 2003-03-10 2008-05-13 Avaya Technology Corp. Method and apparatus for controlling data and software access
US7369759B2 (en) 2003-03-27 2008-05-06 Matsushita Electric Industrial Co., Ltd. Eye image pickup apparatus, iris authentication apparatus and portable terminal device having iris authentication function
US20040196400A1 (en) 2003-04-07 2004-10-07 Stavely Donald J. Digital camera user interface using hand gestures
JP2004313459A (ja) 2003-04-16 2004-11-11 Seiko Epson Corp 指紋照合装置、電子機器及び指紋の照合方法
US20040250138A1 (en) 2003-04-18 2004-12-09 Jonathan Schneider Graphical event-based password system
US7644019B2 (en) 2003-04-21 2010-01-05 Buysafe, Inc. Safe transaction guaranty
JP2004334788A (ja) 2003-05-12 2004-11-25 Minoru Ikeda 個人認証システム、認証装置、個人認証方法、プログラム、および、記録媒体
AU2003902422A0 (en) 2003-05-19 2003-06-05 Intellirad Solutions Pty. Ltd Access security system
KR20070026809A (ko) 2003-05-21 2007-03-08 가부시키가이샤 히다치 하이테크놀로지즈 지문센서내장 휴대 단말장치
JP2004348600A (ja) 2003-05-23 2004-12-09 Sony Corp 情報処理装置および方法、並びにプログラム
JP4341298B2 (ja) 2003-05-23 2009-10-07 ソニー株式会社 情報処理装置および方法、並びにプログラム
JP2004356816A (ja) 2003-05-28 2004-12-16 Hitachi Ltd 通信システム、通信端末及び通信端末の動作プログラム
CA2857208C (en) 2003-05-30 2018-09-04 Privaris, Inc. An in-circuit security system and methods for controlling access to and use of sensitive data
JP2005004490A (ja) 2003-06-12 2005-01-06 Murata Mach Ltd 文書処理装置及びそのプログラム
US20060274920A1 (en) 2003-06-16 2006-12-07 Osamu Tochikubo Personal identification device and system having personal identification device
FI20030920A0 (fi) 2003-06-19 2003-06-19 Nokia Corp Menetelmä ja järjestelmä graafisen salasanan tuottamiseksi sekä päätelaite
US7088220B2 (en) 2003-06-20 2006-08-08 Motorola, Inc. Method and apparatus using biometric sensors for controlling access to a wireless communication device
WO2005003907A2 (en) 2003-06-26 2005-01-13 Ebay Inc. Method and apparatus to authenticate and authorize user access to a system
US7057607B2 (en) 2003-06-30 2006-06-06 Motorola, Inc. Application-independent text entry for touch-sensitive display
US8043152B2 (en) 2003-07-03 2011-10-25 Igt Methods and system for providing paper-based outcomes
WO2005006611A1 (ja) 2003-07-14 2005-01-20 Sony Corporation 報記録装置、情報記録方法及び情報記録プログラム
KR100538579B1 (ko) 2003-07-14 2005-12-22 이지케어텍(주) 온라인 상에서의 의무기록서식 관리 방법
KR100613697B1 (ko) 2003-07-18 2006-08-21 학교법인연세대학교 손가락의 슬라이딩/롤링에 따른 지문영상획득방법
US7779345B2 (en) 2003-07-30 2010-08-17 Aol Inc. Reverse mapping method and apparatus for form filling
CN1830001A (zh) 2003-08-08 2006-09-06 倍酷国际有限公司 便于证实通过无线通信网络进行的金融交易的方法
US7463238B2 (en) 2003-08-11 2008-12-09 Virtualblue, Llc Retractable flexible digital display apparatus
US7546470B2 (en) 2003-08-13 2009-06-09 International Business Machines Corporation Selective computer component activation apparatus method and system
US20050044387A1 (en) 2003-08-18 2005-02-24 Ozolins Helmars E. Portable access device
US20040230843A1 (en) 2003-08-20 2004-11-18 Wayne Jansen System and method for authenticating users using image selection
JP4633347B2 (ja) 2003-08-27 2011-02-16 ソニー株式会社 電子機器
AU2003259396A1 (en) 2003-08-29 2005-03-16 Nokia Corporation Method and device for customized picture-based user identification and authentication
JP4086740B2 (ja) 2003-09-09 2008-05-14 日本電気株式会社 端末利用者監視システム
US7756726B2 (en) 2003-09-25 2010-07-13 International Business Machines Corporation Secured medical sign-in
EP1521161A3 (en) 2003-09-25 2006-03-15 Matsushita Electric Industrial Co., Ltd. An apparatus and a method for preventing unauthorized use and a device with a function of preventing unauthorized use
JP4495545B2 (ja) 2003-09-25 2010-07-07 パナソニック株式会社 不正使用防止装置及び方法
BRPI0414482B1 (pt) 2003-09-26 2017-11-21 Disney Enterprises, Inc. Parental control of cell phone access
JP2005115480A (ja) 2003-10-03 2005-04-28 Toshiba Social Automation Systems Co Ltd 認証システム及びコンピュータ読み取り可能な記憶媒体
US7280677B2 (en) 2003-10-10 2007-10-09 Authentec, Inc. Electronic device including fingerprint sensor and display having selectable menu items and associated methods
US7231231B2 (en) 2003-10-14 2007-06-12 Nokia Corporation Method and apparatus for locking a mobile telephone touch screen
US7577659B2 (en) 2003-10-24 2009-08-18 Microsoft Corporation Interoperable credential gathering and access modularity
US7532196B2 (en) 2003-10-30 2009-05-12 Microsoft Corporation Distributed sensing techniques for mobile devices
US7492472B2 (en) 2003-10-30 2009-02-17 Xerox Corporation Multimedia communications/collaboration hub
US7415720B2 (en) 2003-10-31 2008-08-19 Samsung Electronics Co., Ltd. User authentication system and method for controlling the same
JP4448000B2 (ja) 2003-11-05 2010-04-07 キヤノン株式会社 情報送信装置および情報送信宛先指定方法および記憶媒体およびプログラム
JP4387764B2 (ja) 2003-11-10 2009-12-24 富士通株式会社 認証装置および認証システム
US7597250B2 (en) 2003-11-17 2009-10-06 Dpd Patent Trust Ltd. RFID reader with multiple interfaces
EP1685794B1 (en) 2003-11-18 2013-02-27 Sony Corporation Input device and input method
KR100580630B1 (ko) 2003-11-19 2006-05-16 삼성전자주식회사 적외선을 이용한 사람 식별 장치 및 방법
TW200517975A (en) 2003-11-20 2005-06-01 Lightuning Tech Inc Sweep-type fingerprint sensor device capable of guiding a finger in a fixed sweeping direction
US20050110801A1 (en) 2003-11-20 2005-05-26 I-Jong Lin Methods and systems for processing displayed images
US20050114686A1 (en) 2003-11-21 2005-05-26 International Business Machines Corporation System and method for multiple users to securely access encrypted data on computer system
JP4131229B2 (ja) 2003-11-25 2008-08-13 日本電気株式会社 折り畳み式携帯電話機及び折り畳み式携帯電話機のロック解除方法
US7835971B2 (en) 2003-12-12 2010-11-16 Michael Stockton Method and system configured for facilitating management of international trade receivables transactions
CN1627317A (zh) 2003-12-12 2005-06-15 北京阳光奥森科技有限公司 利用主动光源获取人脸图像的方法
KR100554129B1 (ko) 2003-12-19 2006-02-20 노틸러스효성 주식회사 인체의 열정보를 이용한 개인인증장치와 그 방법
CN100421058C (zh) 2003-12-23 2008-09-24 奥森泰克公司 具有用于字符输入的手指传感器的电子设备和相关方法
JP2005202578A (ja) 2004-01-14 2005-07-28 Toshiba Corp コミュニケーション装置およびコミュニケーション方法
US7697729B2 (en) 2004-01-29 2010-04-13 Authentec, Inc. System for and method of finger initiated actions
US20090106558A1 (en) 2004-02-05 2009-04-23 David Delgrosso System and Method for Adding Biometric Functionality to an Application and Controlling and Managing Passwords
TWI231689B (en) 2004-02-27 2005-04-21 Htc Corp Handheld electronic device
KR100652624B1 (ko) 2004-03-02 2006-12-06 엘지전자 주식회사 이동통신단말기의 대기화면 표시방법
US20050204173A1 (en) 2004-03-10 2005-09-15 Giga-Byte Technology Co., Ltd. Method for automatically filling in user data using fingerprint identification
US20050206501A1 (en) 2004-03-16 2005-09-22 Michael Farhat Labor management system and method using a biometric sensing device
US7693308B2 (en) 2004-03-24 2010-04-06 Fujifilm Corporation Authentication system, authentication method, machine readable medium storing thereon authentication program, certificate photograph taking apparatus, and certificate photograph taking method
US7542592B2 (en) 2004-03-29 2009-06-02 Siemesn Corporate Research, Inc. Systems and methods for face detection and recognition using infrared imaging
US7378939B2 (en) 2004-03-30 2008-05-27 Sengupta Uttam K Method and apparatus for providing proximity based authentication, security, and notification in a wireless system
JP2005292542A (ja) 2004-04-01 2005-10-20 Matsushita Electric Ind Co Ltd 目画像撮像装置および携帯端末装置
US11475436B2 (en) 2010-01-08 2022-10-18 Blackhawk Network, Inc. System and method for providing a security code
US20140019352A1 (en) 2011-02-22 2014-01-16 Visa International Service Association Multi-purpose virtual card transaction apparatuses, methods and systems
JP4059224B2 (ja) 2004-04-13 2008-03-12 株式会社デンソー 運転者の外観認識システム
WO2005106774A2 (en) 2004-04-23 2005-11-10 Validity Sensors, Inc. Methods and apparatus for acquiring a swiped fingerprint image
US20050250538A1 (en) 2004-05-07 2005-11-10 July Systems, Inc. Method and system for making card-based payments using mobile devices
JP4321350B2 (ja) 2004-05-14 2009-08-26 パナソニック株式会社 パラメタ推定方法、パラメタ推定装置および照合方法
JP2005324450A (ja) 2004-05-14 2005-11-24 Canon Inc 画像形成装置および情報処理装置およびジョブ表示制御方法およびコンピュータが読み取り可能なプログラムを格納した記憶媒体およびプログラム
JP2005339425A (ja) 2004-05-31 2005-12-08 Sanyo Electric Co Ltd 本人認証装置
US8684839B2 (en) 2004-06-18 2014-04-01 Igt Control of wager-based game using gesture recognition
US20060075228A1 (en) 2004-06-22 2006-04-06 Black Alistair D Method and apparatus for recognition and real time protection from view of sensitive terms in documents
US20060021003A1 (en) 2004-06-23 2006-01-26 Janus Software, Inc Biometric authentication system
JP4592341B2 (ja) 2004-06-29 2010-12-01 セコム株式会社 生体情報認証装置
TWI267789B (en) 2004-06-30 2006-12-01 Au Optronics Corp Transparent touch panel for recognizing fingerprint
JP2006018613A (ja) 2004-07-02 2006-01-19 Oki Electric Ind Co Ltd 自動取引装置
JP4281638B2 (ja) 2004-07-13 2009-06-17 ソニー株式会社 情報処理システム、情報処理装置、情報処理方法、および情報記録媒体
US8190907B2 (en) 2004-08-11 2012-05-29 Sony Computer Entertainment Inc. Process and apparatus for automatically identifying user of consumer electronics
US7328850B2 (en) 2004-08-12 2008-02-12 Codecard, Inc. Financial and similar identification cards and methods relating thereto
KR100601963B1 (ko) 2004-08-23 2006-07-14 삼성전자주식회사 시선을 이용한 인증 장치 및 그 방법
JP4699139B2 (ja) 2004-09-14 2011-06-08 富士フイルム株式会社 セキュリティシステム
JP2006085559A (ja) 2004-09-17 2006-03-30 Canon Inc 個人認証装置および個人認証方法および記憶媒体
JP2006093912A (ja) 2004-09-22 2006-04-06 Casio Hitachi Mobile Communications Co Ltd 携帯電話装置およびプログラム
US20060075250A1 (en) 2004-09-24 2006-04-06 Chung-Wen Liao Touch panel lock and unlock function and hand-held device
JP4351982B2 (ja) 2004-10-07 2009-10-28 株式会社東芝 個人認証方法、装置及びプログラム
JP2006107366A (ja) 2004-10-08 2006-04-20 Fujitsu Ltd 生体情報入力装置，生体認証装置，生体情報処理方法，生体情報処理プログラムおよび同プログラムを記録したコンピュータ読取可能な記録媒体
PT1646254E (pt) 2004-10-11 2008-06-12 Swisscom Mobile Ag Método de identificação e/ou autenticação baseado em impressões digitais
JP4442385B2 (ja) 2004-10-13 2010-03-31 株式会社カシオ日立モバイルコミュニケーションズ 携帯端末装置およびプログラム
US20060104224A1 (en) 2004-10-13 2006-05-18 Gurminder Singh Wireless access point with fingerprint authentication
US20100205091A1 (en) 2004-10-22 2010-08-12 Zevez Payments, Inc. Automated payment transaction system
US20060093192A1 (en) 2004-11-03 2006-05-04 Bechtel J S Finger guide device
KR100682898B1 (ko) 2004-11-09 2007-02-15 삼성전자주식회사 적외선을 이용한 영상 장치 및 그의 영상 식별 방법
US7469060B2 (en) 2004-11-12 2008-12-23 Honeywell International Inc. Infrared face detection and recognition system
WO2006051462A1 (en) 2004-11-12 2006-05-18 Koninklijke Philips Electronics N.V. Distinctive user identification and authentication for multiple user access to display devices
US7602942B2 (en) 2004-11-12 2009-10-13 Honeywell International Inc. Infrared and visible fusion face recognition system
US20060107067A1 (en) 2004-11-15 2006-05-18 Max Safal Identification card with bio-sensor and user authentication method
US7138905B2 (en) 2004-11-18 2006-11-21 Honeywell International Inc. Controlled environment thermal image detection system and methods regarding same
US20060115130A1 (en) 2004-11-29 2006-06-01 Douglas Kozlay Eyewear with biometrics to protect displayed data
US8224753B2 (en) 2004-12-07 2012-07-17 Farsheed Atef System and method for identity verification and management
JP2006163960A (ja) 2004-12-09 2006-06-22 Sharp Corp 決済機能付き携帯通信端末、課金決済システム及び課金決済における認証方法
JP2006172180A (ja) 2004-12-16 2006-06-29 Konica Minolta Business Technologies Inc 認証装置及び画像形成装置
JP4079937B2 (ja) 2004-12-17 2008-04-23 シャープ株式会社 画像処理装置
US20060136734A1 (en) 2004-12-21 2006-06-22 Eastman Kodak Company Identification display device
JP4095639B2 (ja) 2004-12-22 2008-06-04 キヤノン株式会社 画像処理装置及び画像処理装置の制御方法
JP2006189999A (ja) 2005-01-04 2006-07-20 Fujitsu Ltd セキュリティ管理方法、プログラム及び情報機器
JP2006191245A (ja) 2005-01-05 2006-07-20 Nec Corp ダイヤルロック機能認証装置及びその方法並びにそれを用いた携帯端末
KR100729280B1 (ko) 2005-01-08 2007-06-15 아이리텍 잉크 스테레오 카메라를 장착한 이동단말기를 이용한 홍채인식시스템 및 그 방법
US8438400B2 (en) 2005-01-11 2013-05-07 Indigo Identityware, Inc. Multiple user desktop graphical identification and authentication
JP2006197071A (ja) 2005-01-12 2006-07-27 Konica Minolta Photo Imaging Inc 無線通信システムの制御方法、無線通信システム、無線端末装置、画像データ通信システム及びプログラム
US20060208060A1 (en) 2005-01-18 2006-09-21 Isaac Mendelovich Method for managing consumer accounts and transactions
US8700729B2 (en) 2005-01-21 2014-04-15 Robin Dua Method and apparatus for managing credentials through a wireless network
US7197324B2 (en) 2005-01-31 2007-03-27 Sweeney Robert J Permission based text messaging
JP2006215705A (ja) 2005-02-02 2006-08-17 Sony Ericsson Mobilecommunications Japan Inc 情報通信装置及び情報通信システム、情報記録装置及び情報再生装置
US8145912B2 (en) 2005-03-01 2012-03-27 Qualcomm Incorporated System and method for using a visual password scheme
EP1856903B1 (en) 2005-03-07 2018-01-24 Nokia Technologies Oy Method and mobile terminal device including smartcard module and near field communications means
JP4696608B2 (ja) 2005-03-15 2011-06-08 オムロン株式会社 被写体認証装置、携帯電話、及び被写体認証プログラム
JP4702598B2 (ja) 2005-03-15 2011-06-15 オムロン株式会社 監視システム、監視装置および方法、記録媒体、並びにプログラム
JP4734980B2 (ja) 2005-03-15 2011-07-27 オムロン株式会社 顔認証装置およびその制御方法、顔認証装置を備えた電子機器、顔認証装置制御プログラム、ならびに該プログラムを記録した記録媒体
JP4739787B2 (ja) 2005-03-28 2011-08-03 富士通株式会社 電子機器
JP2006277670A (ja) 2005-03-30 2006-10-12 Nec Corp 決済手段の選択方法及び決済手段選択システム、ならびにコンピュータプログラム
US7725511B2 (en) 2005-03-31 2010-05-25 Intel Corporation Bio-metric input mechanism
JP2006303701A (ja) 2005-04-18 2006-11-02 Fujitsu Ltd 電子機器、その動作抑止制御方法及び動作抑止制御プログラム
KR20070120125A (ko) 2005-04-19 2007-12-21 마이크로소프트 코포레이션 온라인 거래 허가 방법, 시스템 및 장치
US7590269B2 (en) 2005-04-22 2009-09-15 Microsoft Corporation Integrated control for navigation, authentication, power on and rotation
JP2006308375A (ja) 2005-04-27 2006-11-09 Matsushita Electric Ind Co Ltd 赤外線利用型目位置検出装置
US7793851B2 (en) 2005-05-09 2010-09-14 Dynamics Inc. Dynamic credit card with magnetic stripe and embedded encoder and methods for using the same to provide a copy-proof credit card
US7929946B2 (en) 2005-05-24 2011-04-19 Rathus Spencer A Remote subscriber identification (RSID) system and method
WO2006126310A1 (ja) 2005-05-27 2006-11-30 Sharp Kabushiki Kaisha 表示装置
US20060288226A1 (en) 2005-06-15 2006-12-21 Stelor Productions, Llc. System and method for establishing and authorizing a security code
US8370639B2 (en) 2005-06-16 2013-02-05 Sensible Vision, Inc. System and method for providing secure access to an electronic device using continuous facial biometrics
US8452654B1 (en) 2005-06-16 2013-05-28 Rbs Nb System and method for issuing rewards to card holders
NO324406B1 (no) 2005-06-20 2007-10-08 Telenor Asa SIM RFID-leser med WLAN-tilgang
KR100713494B1 (ko) 2005-06-20 2007-04-30 삼성전자주식회사 카메라부를 이용한 사용자 인증 방법 및 이를 위한이동통신단말기
US7831520B2 (en) 2005-06-28 2010-11-09 Ebay Inc. Mobile device communication system
JP2007011420A (ja) 2005-06-28 2007-01-18 Konami Co Ltd 認証装置及びこれを備えるゲーム装置
JP2007011667A (ja) 2005-06-30 2007-01-18 Matsushita Electric Ind Co Ltd 虹彩認証装置および虹彩認証方法
US20070009139A1 (en) 2005-07-11 2007-01-11 Agere Systems Inc. Facial recognition device for a handheld electronic device and a method of using the same
US20070016958A1 (en) 2005-07-12 2007-01-18 International Business Machines Corporation Allowing any computer users access to use only a selection of the available applications
JP2007052770A (ja) 2005-07-21 2007-03-01 Omron Corp 監視装置
JP4663441B2 (ja) 2005-07-26 2011-04-06 株式会社エヌ・ティ・ティ・ドコモ 移動体端末装置及び電子決済システム
US7438414B2 (en) * 2005-07-28 2008-10-21 Outland Research, Llc Gaze discriminating electronic control apparatus, system, method and computer program product
US7424218B2 (en) 2005-07-28 2008-09-09 Microsoft Corporation Real-time preview for panoramic images
JP2007036928A (ja) 2005-07-29 2007-02-08 Sharp Corp 携帯情報端末装置
CN1908981A (zh) 2005-08-01 2007-02-07 富士通株式会社 用于物理销售点交易的无线计算机钱包
JP4829599B2 (ja) 2005-08-12 2011-12-07 森 直樹 階段室型共同住宅の増築方法及びこの方法で増築された建築物
JP4646734B2 (ja) 2005-08-17 2011-03-09 シャープ株式会社 携帯情報端末装置
EP1760619A1 (en) 2005-08-19 2007-03-07 STMicroelectronics Ltd. System for restricting data access
JP2007058397A (ja) 2005-08-23 2007-03-08 Konica Minolta Holdings Inc 認証システム、登録システム及び証明用媒体
US20070061126A1 (en) 2005-09-01 2007-03-15 Anthony Russo System for and method of emulating electronic input devices
WO2007029710A1 (ja) 2005-09-07 2007-03-15 Matsushita Electric Industrial Co., Ltd. 携帯処理装置
CN100437671C (zh) 2005-09-09 2008-11-26 中国工商银行股份有限公司 异地授权系统及方法
JP2009508240A (ja) 2005-09-12 2009-02-26 サンド ボックス テクノロジーズ インク． 電子情報の配信を制御するためのシステムおよび方法
US8090945B2 (en) 2005-09-16 2012-01-03 Tara Chand Singhal Systems and methods for multi-factor remote user authentication
JP2007102278A (ja) 2005-09-30 2007-04-19 Oki Electric Ind Co Ltd 自動取引装置
US7633076B2 (en) 2005-09-30 2009-12-15 Apple Inc. Automated response to and sensing of user activity in portable devices
US20070081081A1 (en) 2005-10-07 2007-04-12 Cheng Brett A Automated multi-frame image capture for panorama stitching using motion sensor
US7484173B2 (en) 2005-10-18 2009-01-27 International Business Machines Corporation Alternative key pad layout for enhanced security
KR100663437B1 (ko) 2005-11-01 2007-01-02 삼성전자주식회사 지문 인식 센서를 이용한 원격 입력 방법
JP4332803B2 (ja) 2005-11-02 2009-09-16 コニカミノルタビジネステクノロジーズ株式会社 情報処理装置
KR100725057B1 (ko) 2005-11-03 2007-06-08 삼성전자주식회사 휴대용 무선단말기에서 영상 통화 장치 및 방법
JP2007128288A (ja) 2005-11-04 2007-05-24 Fuji Xerox Co Ltd 情報表示システム
JP2007135149A (ja) 2005-11-14 2007-05-31 Nec Corp 移動携帯端末
US7868874B2 (en) 2005-11-15 2011-01-11 Synaptics Incorporated Methods and systems for detecting a position-based attribute of an object using digital codes
JP2007140696A (ja) 2005-11-15 2007-06-07 Nec Corp コミュニケーションシステム、機器およびプログラム
GB0523995D0 (en) 2005-11-25 2006-01-04 Ibm Method,system and computer program product for access control
JP2007148801A (ja) 2005-11-28 2007-06-14 Yamatake Corp 指紋照合装置
SG133415A1 (en) 2005-12-12 2007-07-30 Syed Mahtab Uddin Mahmood Antiphishing login techniques
US20070143628A1 (en) 2005-12-20 2007-06-21 Konica Minolta Business Technologies, Inc. User authentication method, system provided with user authentication function, and, apparatus and computer software provided with user authentication function
JP4826277B2 (ja) 2006-02-21 2011-11-30 コニカミノルタビジネステクノロジーズ株式会社 ユーザ認証方法、ユーザ認証機能を備えるシステム、ユーザ認証機能を備える装置及びコンピュータソフトウェア
CN101341496B (zh) 2005-12-21 2012-05-30 皇家飞利浦电子股份有限公司 使用扫描型成像器的生物特征信息检测
US20070150918A1 (en) 2005-12-22 2007-06-28 Sony Ericsson Mobile Communications Ab Methods, devices, and computer program products for providing parental control over access to media content using a mobile terminal
US7657849B2 (en) 2005-12-23 2010-02-02 Apple Inc. Unlocking a device by performing gestures on an unlock image
JP4881615B2 (ja) 2005-12-23 2012-02-22 パナソニック株式会社 電子機器の認証についての識別管理システム
JP4252994B2 (ja) 2005-12-26 2009-04-08 株式会社日立製作所 携帯電話機
US8018440B2 (en) 2005-12-30 2011-09-13 Microsoft Corporation Unintentional touch rejection
US8352323B2 (en) 2007-11-30 2013-01-08 Blaze Mobile, Inc. Conducting an online payment transaction using an NFC enabled mobile communication device
US7860536B2 (en) 2006-01-05 2010-12-28 Apple Inc. Telephone interface for a portable communication device
WO2007080629A1 (ja) 2006-01-10 2007-07-19 Fujitsu Limited 携帯型端末装置、アドレス帳転送装置、携帯型端末装置における情報の表示方法、アドレス帳転送方法、およびコンピュータプログラム
CN100481001C (zh) 2006-01-17 2009-04-22 大唐移动通信设备有限公司 界面自动生成方法和界面自动生成系统
JP2007199984A (ja) 2006-01-26 2007-08-09 Toshiba Corp 通信端末装置
WO2007089503A2 (en) 2006-01-26 2007-08-09 Imprivata, Inc. Systems and methods for multi-factor authentication
US8858332B2 (en) 2006-01-27 2014-10-14 Wms Gaming Inc. Handheld device for wagering games
US8839065B2 (en) 2011-07-29 2014-09-16 Blackfire Research Corporation Packet loss anticipation and pre emptive retransmission for low latency media applications
US7975287B2 (en) 2006-02-01 2011-07-05 Research In Motion Limited System and method for validating a user of an account using a wireless device
US8078990B2 (en) 2006-02-01 2011-12-13 Research In Motion Limited Secure device sharing
AU2006337227B2 (en) 2006-02-03 2010-09-09 Mideye Ab A system, an arrangement and a method for end user authentication
KR100705598B1 (ko) 2006-02-10 2007-04-09 삼성전자주식회사 얼굴인식을 통한 화상전화기의 사용자 정보 접근제어장치그 방법
KR20070081773A (ko) 2006-02-13 2007-08-17 스마트 와이어레스 가부시키가이샤 적외선 얼굴 인증장치, 이를 구비하는 휴대 단말기 및보안장치
WO2007093035A1 (en) 2006-02-14 2007-08-23 Sand Box Technologies Inc. System and method for searching rights enabled documents
US20070192168A1 (en) 2006-02-15 2007-08-16 Leviathan Entertainment, Llc Map and Inventory-Based On-Line Purchases
JP2007220004A (ja) 2006-02-20 2007-08-30 Funai Electric Co Ltd テレビおよび認証装置
US7353991B2 (en) 2006-02-21 2008-04-08 David Benjamin Esplin System and method for managing wireless point-of-sale transactions
US9830634B2 (en) 2006-02-23 2017-11-28 International Business Machines Corporation Performing secure financial transactions in an instant messaging environment
US20070204037A1 (en) 2006-02-27 2007-08-30 Microsoft Corporation Multiuser Web Service Sign-In
US9250703B2 (en) * 2006-03-06 2016-02-02 Sony Computer Entertainment Inc. Interface with gaze detection and voice input
US7630522B2 (en) 2006-03-08 2009-12-08 Microsoft Corporation Biometric measurement using interactive display systems
JP4853063B2 (ja) 2006-03-15 2012-01-11 オムロン株式会社 利用者機器、通信機器、認証システム、認証方法、認証プログラムおよび記録媒体
CA2647194C (en) 2006-03-20 2016-08-16 Gerald R. Black Mobile communication device
EP1997292B1 (en) 2006-03-20 2018-11-07 British Telecommunications public limited company Establishing communications
US20070226778A1 (en) 2006-03-22 2007-09-27 Jorg Pietruszka Bluetooth theft protection
US7818264B2 (en) 2006-06-19 2010-10-19 Visa U.S.A. Inc. Track data encryption
US9195428B2 (en) 2006-04-05 2015-11-24 Nvidia Corporation Method and system for displaying data from auxiliary display subsystem of a notebook on a main display of the notebook
US9395905B2 (en) 2006-04-05 2016-07-19 Synaptics Incorporated Graphical scroll wheel
KR100847532B1 (ko) 2006-04-06 2008-07-21 재단법인서울대학교산학협력재단 사용자의 행동 패턴 정보를 이용한 사용자 인증에 사용되는사용자 단말기 및 인증 장치
WO2007116521A1 (ja) 2006-04-10 2007-10-18 Panasonic Corporation 携帯端末およびこれを使用したクレジットカード選択方法
US20070249288A1 (en) 2006-04-14 2007-10-25 Kamran Moallemi Distance-based security
JPWO2007119818A1 (ja) 2006-04-14 2009-08-27 日本電気株式会社 機能ロック解除システム、機能ロック解除方法、および機能ロック解除用プログラム
US8396711B2 (en) 2006-05-01 2013-03-12 Microsoft Corporation Voice authentication system and method
US20070260547A1 (en) 2006-05-05 2007-11-08 On Q Technologies Pty Ltd. System and Method for Purchasing Digital Content
DE602007009084D1 (de) 2006-05-05 2010-10-21 Nxp Bv Authentifikation von einrichtungen in einem drahtlosen netz
JP4177858B2 (ja) 2006-05-18 2008-11-05 株式会社カシオ日立モバイルコミュニケーションズ 指紋認証機能付き携帯端末装置及びプログラム
US20070277224A1 (en) 2006-05-24 2007-11-29 Osborn Steven L Methods and Systems for Graphical Image Authentication
JP4077869B2 (ja) 2006-05-29 2008-04-23 松下電器産業株式会社 光源推定装置、光源推定システムおよび光源推定方法、並びに、画像高解像度化装置および画像高解像度化方法
US20110300829A1 (en) 2006-06-09 2011-12-08 Nokia Corporation Fingerprint activated quick function selection
JP4903501B2 (ja) 2006-06-15 2012-03-28 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 認証機能付き携帯端末装置及びプログラム
JP4185533B2 (ja) 2006-06-15 2008-11-26 株式会社カシオ日立モバイルコミュニケーションズ 認証機能付き携帯端末装置及びプログラム
CN101473344A (zh) 2006-06-19 2009-07-01 维萨美国股份有限公司 消费者认证系统和方法
JP2008005180A (ja) 2006-06-22 2008-01-10 Murata Mach Ltd 通信装置
KR100856203B1 (ko) 2006-06-27 2008-09-03 삼성전자주식회사 지문 인식 센서를 이용한 사용자 입력 장치 및 방법
JP4807167B2 (ja) 2006-07-06 2011-11-02 オムロン株式会社 なりすまし検知装置
JP4752660B2 (ja) 2006-07-28 2011-08-17 沖電気工業株式会社 個人認証方法及び個人認証装置
JP2008046692A (ja) 2006-08-10 2008-02-28 Fujitsu Ten Ltd 入力装置
US8095634B2 (en) 2006-08-15 2012-01-10 Hewlett-Packard Development Company, L.P. Device management system for mobile devices that supports multiple-point transport
US7525424B2 (en) 2006-08-15 2009-04-28 Patented Technology Incorporated Illuminated trail marker apparatus
US7886962B2 (en) 2006-08-17 2011-02-15 Verizon Patent And Licensing Inc. Multi-function transaction device
JP5205380B2 (ja) 2006-08-22 2013-06-05 インターデイジタル テクノロジー コーポレーション アプリケーションおよびインターネットベースのサービスに対する信頼されるシングル・サインオン・アクセスを提供するための方法および装置
US7849321B2 (en) 2006-08-23 2010-12-07 Authernative, Inc. Authentication method of random partial digitized path recognition with a challenge built into the path
US7978091B2 (en) 2006-08-24 2011-07-12 Navisense Method and device for a touchless interface
CN100591011C (zh) 2006-08-31 2010-02-17 华为技术有限公司 一种认证方法及系统
US8395658B2 (en) 2006-09-07 2013-03-12 Sony Computer Entertainment Inc. Touch screen-like user interface that does not require actual touching
JP4963388B2 (ja) 2006-09-12 2012-06-27 日立オムロンターミナルソリューションズ株式会社 生体認証装置及び操作案内通知方法
JP4786483B2 (ja) 2006-09-14 2011-10-05 富士通株式会社 生体認証装置の生体誘導制御方法及び生体認証装置
US8452978B2 (en) 2006-09-15 2013-05-28 Identity Metrics, LLC System and method for user authentication and dynamic usability of touch-screen devices
US20080069412A1 (en) 2006-09-15 2008-03-20 Champagne Katrina S Contoured biometric sensor
JP2008075424A (ja) 2006-09-25 2008-04-03 Miwa Lock Co Ltd 指紋錠システム
US20130212655A1 (en) 2006-10-02 2013-08-15 Hector T. Hoyos Efficient prevention fraud
US20080084539A1 (en) 2006-10-06 2008-04-10 Daniel Tyler J Human-machine interface device and method
GB0621189D0 (en) 2006-10-25 2006-12-06 Payfont Ltd Secure authentication and payment system
US20080114980A1 (en) 2006-11-13 2008-05-15 Thangapandi Sridhar System, method and apparatus for using standard and extended storage devices in two-factor authentication
US20080114678A1 (en) 2006-11-15 2008-05-15 David Lawrence Bennett Method and apparatus for remote authorization
WO2008062544A1 (fr) 2006-11-21 2008-05-29 Hitachi, Ltd. Dispositif d'authentification biométrique et terminal portable
JP4946383B2 (ja) 2006-11-22 2012-06-06 富士通株式会社 情報処理装置、情報処理装置の異常検出方法及び制御プログラム
AU2007354267A1 (en) 2006-11-22 2008-12-04 John K. Bona Point0f sale transaction device with magnetic stripe emulator and biometric authentication
US20080141378A1 (en) 2006-12-12 2008-06-12 Mclean Ivan Hugh Method and apparatus for creating licenses in a mobile digital rights management network
KR20080064395A (ko) 2007-01-05 2008-07-09 삼성전자주식회사 카드 결제 정보를 이용한 이동 통신 단말기의 정보 검색방법
US8970503B2 (en) 2007-01-05 2015-03-03 Apple Inc. Gestures for devices having one or more touch sensitive surfaces
US9069745B2 (en) 2007-01-16 2015-06-30 Ebay, Inc. Electronic form automation
US8607359B2 (en) 2007-01-22 2013-12-10 Dell Products L.P. Removable hard disk with front panel input
CN101232631B (zh) 2007-01-23 2011-08-31 阿里巴巴集团控股有限公司 通信终端通过短信息进行安全认证的方法及系统
US8705720B2 (en) 2007-02-08 2014-04-22 Avaya Inc. System, method and apparatus for clientless two factor authentication in VoIP networks
US8793184B2 (en) 2007-02-12 2014-07-29 Visa U.S.A. Inc. Mobile payment services
CN101035335A (zh) 2007-02-13 2007-09-12 中电通信科技有限责任公司 一种手机私密保护方法
US20080208762A1 (en) 2007-02-22 2008-08-28 First Data Corporation Payments using a mobile commerce device
US8362873B2 (en) 2007-03-01 2013-01-29 Deadman Technologies, Llc Control of equipment using remote display
JP4857164B2 (ja) 2007-03-30 2012-01-18 日立オムロンターミナルソリューションズ株式会社 生体情報読取装置および生体情報読取システム
US7941834B2 (en) 2007-04-05 2011-05-10 Microsoft Corporation Secure web-based user authentication
US8111879B2 (en) 2007-04-05 2012-02-07 Honeywell International Inc. Face and iris imaging system and method
CN101299694B (zh) 2007-04-30 2012-04-25 华为技术有限公司 家庭网络中访客管理的方法及系统、家庭网关
US8606512B1 (en) 2007-05-10 2013-12-10 Allstate Insurance Company Route risk mitigation
US8471689B2 (en) 2007-05-11 2013-06-25 Philippe Stanislas Zaborowski Touch-sensitive motion device
US7835988B2 (en) 2007-06-05 2010-11-16 Mastercard International, Inc. Methods and apparatus for preventing fraud in payment processing transactions
US8004493B2 (en) 2007-06-08 2011-08-23 Apple Inc. Methods and systems for providing sensory information to devices and peripherals
US8681104B2 (en) 2007-06-13 2014-03-25 Apple Inc. Pinch-throw and translation gestures
US8733632B2 (en) 2007-06-22 2014-05-27 Visa U.S.A. Inc. Mobile subscriber device for financial transaction tokens
US8027518B2 (en) 2007-06-25 2011-09-27 Microsoft Corporation Automatic configuration of devices based on biometric data
US7835999B2 (en) 2007-06-27 2010-11-16 Microsoft Corporation Recognizing input gestures using a multi-touch input device, calculated graphs, and a neural network with link weights
JP5110983B2 (ja) 2007-06-29 2012-12-26 日立オムロンターミナルソリューションズ株式会社 生体認証処理システム
US8127254B2 (en) 2007-06-29 2012-02-28 Nokia Corporation Unlocking a touch screen device
JP5023389B2 (ja) 2007-07-04 2012-09-12 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 携帯端末装置及びプログラム
US7930249B2 (en) 2007-07-11 2011-04-19 Qualcomm Incorporated Mobile wireless financial instrument for automatically selecting a payment instrument
US8316410B2 (en) 2007-07-23 2012-11-20 At&T Intellectual Property I, Lp Apparatus and method for communicating media between communication devices
JP5340567B2 (ja) 2007-07-24 2013-11-13 株式会社エヌ・ティ・ティ・ドコモ 通信端末、情報管理装置及びプログラム
KR101369676B1 (ko) 2007-07-25 2014-03-04 엘지전자 주식회사 휴대용 컴퓨터의 보조 입출력 장치 및 이를 이용한애플리케이션의 실행 방법
US20090037742A1 (en) 2007-07-31 2009-02-05 International Business Machines Corporation Biometric authentication device, system and method of biometric authentication
US20090055484A1 (en) 2007-08-20 2009-02-26 Thanh Vuong System and method for representation of electronic mail users using avatars
JP5104124B2 (ja) 2007-08-22 2012-12-19 日本電気株式会社 携帯端末及びその利用制限方法
US9477395B2 (en) 2007-09-04 2016-10-25 Apple Inc. Audio file interface
US11126321B2 (en) 2007-09-04 2021-09-21 Apple Inc. Application menu user interface
EP2187333A4 (en) 2007-09-05 2011-09-07 Panasonic Corp ELECTRONIC DEVICE, PASSWORD CONTROL METHOD AND PROGRAM
US20090067685A1 (en) 2007-09-07 2009-03-12 Authentec, Inc. Finger sensing apparatus using template watermarking and associated methods
US20090074255A1 (en) 2007-09-18 2009-03-19 Motorola, Inc. Apparatus and method for capturing skin texture biometric in electronic devices
CN107066862B (zh) 2007-09-24 2022-11-25 苹果公司 电子设备中的嵌入式验证系统
US8159551B2 (en) 2007-09-26 2012-04-17 Sony Ericsson Mobile Communications Ab Portable electronic equipment with automatic control to keep display turned on and method
US8893284B2 (en) 2007-10-03 2014-11-18 Motorola Mobility Llc Method and system for providing extended authentication
TW200935929A (en) 2007-10-04 2009-08-16 Lucent Technologies Inc Network enforced access control for femtocells
JP5267966B2 (ja) 2007-10-19 2013-08-21 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 携帯端末装置および携帯端末処理プログラム
US8154608B2 (en) 2007-11-13 2012-04-10 Olympus Corporation Digital camera security
TW200929974A (en) 2007-11-19 2009-07-01 Ibm System and method for performing electronic transactions
US7689508B2 (en) 2007-11-20 2010-03-30 Wells Fargo Bank N.A. Mobile device credit account
ATE455325T1 (de) 2007-11-30 2010-01-15 Ericsson Telefon Ab L M Tragbare elektronische vorrichtung mit mehr als einem anzeigebereich und verfahren zur steuerung einer benutzerschnittstelle dafür
CN101960896B (zh) 2007-12-03 2014-12-10 蔡如邕 通过通讯网络简化登记电子产品及验证和管理相关信息的系统和方法
US8299889B2 (en) 2007-12-07 2012-10-30 Cisco Technology, Inc. Home entertainment system providing presence and mobility via remote control authentication
US7913167B2 (en) 2007-12-19 2011-03-22 Microsoft Corporation Selective document redaction
US20090159703A1 (en) 2007-12-24 2009-06-25 Dynamics Inc. Credit, security, debit cards and the like with buttons
TWI359381B (en) 2007-12-25 2012-03-01 Htc Corp Method for unlocking a locked computing device and
US8600120B2 (en) 2008-01-03 2013-12-03 Apple Inc. Personal computing device control using face detection and recognition
US8972299B2 (en) 2008-01-07 2015-03-03 Bally Gaming, Inc. Methods for biometrically identifying a player
KR100817767B1 (ko) 2008-01-14 2008-03-31 알서포트 주식회사 아이콘 암호를 이용한 인증방법
JP4728432B2 (ja) 2008-01-16 2011-07-20 旭化成株式会社 顔姿勢推定装置、顔姿勢推定方法、及び、顔姿勢推定プログラム
CN101227359A (zh) 2008-01-25 2008-07-23 华为技术有限公司 控制用户接入的方法、接入点设备和系统
US8424079B2 (en) 2008-01-25 2013-04-16 Research In Motion Limited Method, system and mobile device employing enhanced user authentication
JP2009187146A (ja) 2008-02-04 2009-08-20 Fuji Xerox Co Ltd 情報処理システム及び情報処理プログラム
US9947002B2 (en) 2008-02-15 2018-04-17 First Data Corporation Secure authorization of contactless transaction
KR101335346B1 (ko) 2008-02-27 2013-12-05 소니 컴퓨터 엔터테인먼트 유럽 리미티드 장면의 심도 데이터를 포착하고, 컴퓨터 액션을 적용하기 위한 방법들
JP2009211166A (ja) 2008-02-29 2009-09-17 Toshiba Corp 認証装置、認証方法及び認証プログラム
US20090224874A1 (en) 2008-03-05 2009-09-10 International Business Machines Corporation Apparatus, system, and method for providing authentication and activation functions to a computing device
US8595757B2 (en) 2008-03-05 2013-11-26 At&T Intellectual Property I, L.P. System and method of sharing media content
US8904479B1 (en) 2008-03-28 2014-12-02 Google Inc. Pattern-based mobile device unlocking
JP5065965B2 (ja) 2008-03-31 2012-11-07 富士通株式会社 非接触型生体認証装置の生体誘導制御方法及び非接触型生体認証装置
JP5261009B2 (ja) 2008-04-16 2013-08-14 パナソニック株式会社 顔画像登録装置
US7860936B1 (en) 2008-05-09 2010-12-28 Symantec Corporation Verifying instant messaging aliases via online parental control accounts
US9024890B2 (en) 2008-05-17 2015-05-05 David H. Chin Comparison of an applied gesture on a touch screen of a mobile device with a remotely stored security gesture
US20120081282A1 (en) 2008-05-17 2012-04-05 Chin David H Access of an application of an electronic device based on a facial gesture
US20090288012A1 (en) 2008-05-18 2009-11-19 Zetawire Inc. Secured Electronic Transaction System
US8909940B2 (en) 2008-06-23 2014-12-09 Intel Corporation Extensible pre-boot authentication
JP4459282B2 (ja) 2008-06-30 2010-04-28 株式会社東芝 情報処理装置およびセキュリティ保護方法
JP2010015417A (ja) 2008-07-04 2010-01-21 Hitachi Ltd 着信お知らせサーバ、及びメッセージサーバシステム
KR101517967B1 (ko) 2008-07-07 2015-05-06 엘지전자 주식회사 휴대 단말기 및 그 제어방법
JP2010028404A (ja) 2008-07-18 2010-02-04 Hitachi Ltd 記録再生装置
US8482381B2 (en) 2008-07-31 2013-07-09 Palm, Inc. Multi-purpose detector-based input feature for a computing device
US10983665B2 (en) 2008-08-01 2021-04-20 Samsung Electronics Co., Ltd. Electronic apparatus and method for implementing user interface
US8679012B1 (en) 2008-08-13 2014-03-25 Cleveland Medical Devices Inc. Medical device and method with improved biometric verification
US20100042835A1 (en) 2008-08-18 2010-02-18 Keep Security Inc. System and method for permission confirmation by transmitting a secure request through a central server to a mobile biometric device
JP5308747B2 (ja) 2008-09-03 2013-10-09 オリンパス株式会社 情報提示システム、プログラム及び情報記憶媒体
US8341557B2 (en) 2008-09-05 2012-12-25 Apple Inc. Portable touch screen device, method, and graphical user interface for providing workout support
US20100063926A1 (en) 2008-09-09 2010-03-11 Damon Charles Hougland Payment application framework
US10380573B2 (en) 2008-09-30 2019-08-13 Apple Inc. Peer-to-peer financial transaction devices and methods
KR101217323B1 (ko) 2008-09-30 2012-12-31 애플 인크. 피어 대 피어 금융 트랜잭션 장치들 및 방법들
KR20110086095A (ko) 2008-10-20 2011-07-27 비욘드 오블리비언 인크. 다운로드 트랜잭션과 소셜 네트워크 상호 작용을 처리하는 방법 및 시스템
US9037468B2 (en) 2008-10-27 2015-05-19 Sony Computer Entertainment Inc. Sound localization for user in motion
US8949955B2 (en) 2008-10-29 2015-02-03 Symantec Corporation Method and apparatus for mobile time-based UI for VIP
US20100114731A1 (en) 2008-10-30 2010-05-06 Kingston Tamara S ELECTRONIC WALLET ("eWallet")
US20100125495A1 (en) 2008-11-17 2010-05-20 Smith Steven M System and method of providing a mobile wallet at a mobile telephone
US8584031B2 (en) 2008-11-19 2013-11-12 Apple Inc. Portable touch screen device, method, and graphical user interface for using emoji characters
US20100131300A1 (en) 2008-11-26 2010-05-27 Fred Collopy Visible insurance
US9197738B2 (en) 2008-12-04 2015-11-24 Microsoft Technology Licensing, Llc Providing selected data through a locked display
GB2466038A (en) 2008-12-09 2010-06-16 Alexzandre Anthony Capurro Authorisation of cashless payment using SMS
US20100153265A1 (en) 2008-12-15 2010-06-17 Ebay Inc. Single page on-line check-out
US8605959B2 (en) 2008-12-22 2013-12-10 International Business Machines Corporation Apparatus, system, and method for sequenced biometric authentication
JP5084712B2 (ja) 2008-12-24 2012-11-28 日立オムロンターミナルソリューションズ株式会社 利用者認証端末、認証システム、利用者認証方法、および利用者認証プログラム
US8505078B2 (en) 2008-12-28 2013-08-06 Qualcomm Incorporated Apparatus and methods for providing authorized device access
JP5293206B2 (ja) 2009-01-13 2013-09-18 カシオ計算機株式会社 画像検索装置、画像検索方法及びプログラム
US20100185871A1 (en) 2009-01-15 2010-07-22 Authentiverse, Inc. System and method to provide secure access to personal information
US20100191570A1 (en) 2009-01-23 2010-07-29 Joe Phillip Michaud Loyalty reward program simulators
WO2010086993A1 (ja) 2009-01-30 2010-08-05 富士通フロンテック株式会社 認証装置、撮像装置、認証方法および認証プログラム
US8289130B2 (en) 2009-02-19 2012-10-16 Apple Inc. Systems and methods for identifying unauthorized users of an electronic device
US8548426B2 (en) 2009-02-20 2013-10-01 Boku, Inc. Systems and methods to approve electronic payments
EP2224348A1 (en) 2009-02-26 2010-09-01 Research In Motion Limited System and method for capturing user inputs in electronic forms
US8606638B2 (en) 2009-03-02 2013-12-10 First Data Corporation Systems, methods and apparatus for facilitating transactions using a mobile device
KR101549556B1 (ko) 2009-03-06 2015-09-03 엘지전자 주식회사 휴대 단말기 및 그 제어방법
KR101549557B1 (ko) 2009-03-10 2015-09-03 엘지전자 주식회사 휴대 단말기 및 그 제어방법
JP2010211579A (ja) 2009-03-11 2010-09-24 Hitachi Omron Terminal Solutions Corp 生体認証装置
JP5223736B2 (ja) 2009-03-11 2013-06-26 パナソニック株式会社 情報読取装置
US8554924B2 (en) 2009-03-16 2013-10-08 Apple Inc. Connection to multiple accessories with multiple accessory-specific protocols
US8302858B2 (en) 2009-03-24 2012-11-06 Eng U P Peter Methods and systems for protecting credit card account information
US20100251243A1 (en) 2009-03-27 2010-09-30 Qualcomm Incorporated System and method of managing the execution of applications at a portable computing device and a portable computing device docking station
JP4851556B2 (ja) 2009-04-10 2012-01-11 株式会社エヌ・ティ・ティ・ドコモ 連携サーバ装置、アプリケーション連携判断システム、及び、アプリケーション連携判断方法
US8060571B2 (en) 2009-04-15 2011-11-15 Sling Media, Inc. Sharing of audio/visual content with a selected user
US8157164B1 (en) 2009-04-16 2012-04-17 United Services Automobile Association (Usaa) Systems and methods for providing financial card via automated teller machine
US8131258B2 (en) 2009-04-20 2012-03-06 Boku, Inc. Systems and methods to process transaction requests
US20100265204A1 (en) 2009-04-21 2010-10-21 Sony Ericsson Mobile Communications Ab Finger recognition for authentication and graphical user interface input
KR101557678B1 (ko) 2009-04-22 2015-10-19 삼성전자주식회사 휴대 단말기의 캘리브레이션 방법 및 장치
EP2462567A2 (en) 2009-05-03 2012-06-13 Logomotion, s.r.o. A payment terminal using a mobile communication device, such as a mobile phone; a method of direct debit payment transaction
JP5388114B2 (ja) 2009-05-19 2014-01-15 シャープ株式会社 情報通信システム、通信装置、通信プログラム、および通信方法
CN101567109B (zh) 2009-06-03 2012-01-04 普天信息技术研究院有限公司 一种集成支付和收款功能的装置、系统和交易方法
CN101576989A (zh) 2009-06-09 2009-11-11 阿里巴巴集团控股有限公司 移动终端中实现支付的方法及移动设备
JP2011022687A (ja) 2009-07-14 2011-02-03 Fujitsu Ltd 認証機能を有する電子機器および認証方法
CN101610155A (zh) 2009-07-20 2009-12-23 成都市华为赛门铁克科技有限公司 远程授权方法、装置及系统
US8978130B2 (en) 2009-08-05 2015-03-10 Technology Policy Associates, Llc Method and system for child authentication
EP2465082A4 (en) 2009-08-14 2015-04-01 Payfone Inc SYSTEM AND METHOD FOR PAYING A TRADER USING A CELL PHONE ACCOUNT
US8233272B2 (en) 2009-08-25 2012-07-31 Mindray Ds Usa, Inc. Display units for use in monitoring patients and related systems and methods
KR101615290B1 (ko) 2009-08-26 2016-04-26 삼성전자주식회사 촬영 방법 및 시스템
JP5333068B2 (ja) 2009-08-31 2013-11-06 ソニー株式会社 情報処理装置、表示方法及び表示プログラム
JP2011054120A (ja) 2009-09-04 2011-03-17 Konica Minolta Business Technologies Inc 画像処理装置、画像処理システムおよびユーザ認証方法
US8601573B2 (en) 2009-09-17 2013-12-03 International Business Machines Corporation Facial recognition for document and application data access control
US8131848B1 (en) 2009-09-29 2012-03-06 Jason Adam Denise Image analysis and communication device control technology
TWI416366B (zh) 2009-10-12 2013-11-21 Htc Corp 生物特徵資料建立方法、電子裝置及電腦程式產品
US8924893B2 (en) 2009-10-14 2014-12-30 At&T Mobility Ii Llc Locking and unlocking of an electronic device using a sloped lock track
JP5816677B2 (ja) 2009-10-16 2015-11-18 日立オムロンターミナルソリューションズ株式会社 生体認証装置および生体認証方法
US8374916B2 (en) 2009-10-27 2013-02-12 At&T Mobility Ii Llc Secure mobile-based financial transactions
JP2011097287A (ja) 2009-10-28 2011-05-12 Nikon Corp カメラ
CA2780765A1 (en) 2009-11-13 2011-05-19 Google Inc. Live wallpaper
KR20110056099A (ko) 2009-11-20 2011-05-26 삼성전자주식회사 디지털 촬영장치, 그 제어방법 및 이를 실행시키기 위한 프로그램을 저장한 기록매체
JP2010102718A (ja) 2009-11-27 2010-05-06 Toshiba Corp 情報処理装置
US8763594B2 (en) 2009-12-04 2014-07-01 Ford Global Technologies, Llc Humidity and fuel alcohol content estimation
US20110142234A1 (en) 2009-12-15 2011-06-16 Michael Leonard Rogers Multi-Factor Authentication Using a Mobile Phone
US8411604B2 (en) 2009-12-21 2013-04-02 Research In Motion Limited Methods and apparatus for use in facilitating access to aggregator services for mobile communication devices via wireless communication networks
US8805707B2 (en) 2009-12-31 2014-08-12 Hartford Fire Insurance Company Systems and methods for providing a safety score associated with a user location
US9558520B2 (en) 2009-12-31 2017-01-31 Hartford Fire Insurance Company System and method for geocoded insurance processing using mobile devices
JP2011141683A (ja) 2010-01-06 2011-07-21 Ricoh Co Ltd 画像処理装置、表示装置、認証システム、表示制御方法、表示制御プログラム、及びそのプログラムを記録した記録媒体
US8791792B2 (en) 2010-01-15 2014-07-29 Idex Asa Electronic imager using an impedance sensor grid array mounted on or about a switch and method of making
US20110201306A1 (en) 2010-02-15 2011-08-18 Samama Technologies Systems and methods for unified billing
FR2956502B1 (fr) 2010-02-17 2012-02-10 Sagem Securite Procede et dispositif de detection de l'orientation d'une zone du corps d'un individu posee sur une zone d'apposition d'un support d'un capteur biometrique
CA2692677C (en) 2010-02-26 2017-10-03 Xtreme Mobility Inc. Secure billing system and method for a mobile device
US9195926B2 (en) 2010-03-02 2015-11-24 Gonow Technologies, Llc Portable e-wallet and universal card
US8892474B1 (en) 2010-03-11 2014-11-18 Bank Of America Corporation Virtual purchasing card transaction
JP5035372B2 (ja) 2010-03-17 2012-09-26 カシオ計算機株式会社 三次元モデリング装置、三次元モデリング方法、ならびに、プログラム
JP2011197786A (ja) 2010-03-17 2011-10-06 Sony Corp 情報処理装置および情報処理方法
CN102209321B (zh) 2010-03-31 2013-10-09 华为终端有限公司 一种切换处理方法及通信系统以及相关设备
WO2011124275A1 (en) 2010-04-09 2011-10-13 Jasbir Singh Authentication system and method thereof
US8380177B2 (en) 2010-04-09 2013-02-19 Paydiant, Inc. Mobile phone payment processing methods and systems
US8638222B2 (en) 2010-04-19 2014-01-28 Microsoft Corporation Controllable device selection based on controller location
KR101318958B1 (ko) 2010-05-06 2013-10-29 (주)시루정보 전자결제 서비스 방법과, 이를 실행하는 전자결제 서비스 장치, 이동통신 단말기 및 거래 단말기
AU2011255568A1 (en) 2010-05-18 2012-12-06 Dynamics Inc. Systems and methods for cards and devices operable to communicate via light pulses and touch sensitive displays
KR101005719B1 (ko) 2010-05-18 2011-01-06 주식회사 슈프리마 정합 및 합성의 시작과 종료를 자동으로 인식하는 회전 지문 획득 장치 및 방법
US8694899B2 (en) 2010-06-01 2014-04-08 Apple Inc. Avatars reflecting user states
US20110313779A1 (en) 2010-06-17 2011-12-22 Microsoft Corporation Augmentation and correction of location based data through user feedback
US8488040B2 (en) 2010-06-18 2013-07-16 Microsoft Corporation Mobile and server-side computational photography
JP5023193B2 (ja) 2010-06-28 2012-09-12 株式会社東芝 情報処理装置
JP5589608B2 (ja) 2010-06-28 2014-09-17 富士通株式会社 生体認証装置および生体認証プログラム
US8811948B2 (en) 2010-07-09 2014-08-19 Microsoft Corporation Above-lock camera access
US8233887B2 (en) 2010-07-28 2012-07-31 Sprint Communications Company L.P. Covert message redaction and recovery in a wireless communication device
JP5747916B2 (ja) 2010-07-29 2015-07-15 富士通株式会社 生体認証装置および生体認証プログラム
US20120032891A1 (en) 2010-08-03 2012-02-09 Nima Parivar Device, Method, and Graphical User Interface with Enhanced Touch Targeting
US8311514B2 (en) 2010-09-16 2012-11-13 Microsoft Corporation Prevention of accidental device activation
GB2484268A (en) 2010-09-16 2012-04-11 Uniloc Usa Inc Psychographic profiling of users of computing devices
TWI441072B (zh) 2010-09-21 2014-06-11 Altek Corp 觸控螢幕解鎖方法及其具有攝像功能之電子裝置
US20120078751A1 (en) 2010-09-24 2012-03-29 Macphail William Mobile device point of sale transaction system
JP2012073724A (ja) 2010-09-28 2012-04-12 Nec Casio Mobile Communications Ltd 携帯端末、ユーザ認証方法およびプログラム
US20120078789A1 (en) 2010-09-29 2012-03-29 Ebay Inc. Offline to online payment
JP5491357B2 (ja) 2010-11-04 2014-05-14 ヤフー株式会社 送金システム連携装置及びその方法
US20120267432A1 (en) 2010-11-12 2012-10-25 Kuttuva Avinash Secure payments with global mobile virtual wallet
US8831677B2 (en) 2010-11-17 2014-09-09 Antony-Euclid C. Villa-Real Customer-controlled instant-response anti-fraud/anti-identity theft devices (with true-personal identity verification), method and systems for secured global applications in personal/business e-banking, e-commerce, e-medical/health insurance checker, e-education/research/invention, e-disaster advisor, e-immigration, e-airport/aircraft security, e-military/e-law enforcement, with or without NFC component and system, with cellular/satellite phone/internet/multi-media functions
JP2014501967A (ja) 2010-11-17 2014-01-23 アフェクティヴァ，インコーポレイテッド ソーシャルネットワーク上での感情共有
CN102004908B (zh) 2010-11-30 2012-10-17 汉王科技股份有限公司 一种自适应的人脸识别方法及装置
CA2723647C (en) 2010-12-02 2015-11-24 Philip Y.W. Tsui Remote control device with password functions
AU2011343638B2 (en) 2010-12-17 2015-03-19 Google Llc Digital wallet
CN102096546A (zh) 2010-12-29 2011-06-15 华为终端有限公司 一种操作系统的解锁方法及装置
KR20150094792A (ko) 2010-12-30 2015-08-19 모지도코화이어코리아 유한회사 모바일 지갑 및 그의 관련 정보 관리 시스템 및 방법
CN102065148A (zh) 2011-01-12 2011-05-18 无锡网芯科技有限公司 基于通信网络的存储系统访问授权方法
CN102591889A (zh) 2011-01-17 2012-07-18 腾讯科技（深圳）有限公司 一种基于移动终端浏览器辅助用户输入的方法及装置
KR101228478B1 (ko) 2011-01-19 2013-01-31 브이피 주식회사 어플리케이션 제공 방법, 어플리케이션 제공 시스템, 및 그를 위한 이동 단말기
US20130282577A1 (en) 2012-04-19 2013-10-24 Benjamin P. Milne Social network transaction processing system
US20130030934A1 (en) 2011-01-28 2013-01-31 Zumigo, Inc. System and method for credit card transaction approval based on mobile subscriber terminal location
JP5772023B2 (ja) 2011-02-04 2015-09-02 ソニー株式会社 情報処理システム及び情報処理方法
US20120215553A1 (en) 2011-02-08 2012-08-23 Leston Jeff Method and system of validating and verifying health care transactions
JP5673942B2 (ja) 2011-02-15 2015-02-18 日本電気株式会社 携帯端末における認証情報入力装置、方法およびプログラム
US20120221464A1 (en) 2011-02-28 2012-08-30 Research In Motion Limited Communications system for performing secure transactions based upon mobile wireless communications device proximity and related methods
US8686873B2 (en) 2011-02-28 2014-04-01 Toyota Motor Engineering & Manufacturing North America, Inc. Two-way video and 3D transmission between vehicles and system placed on roadside
JP2012194661A (ja) 2011-03-15 2012-10-11 Kyocera Corp シーケンス表示装置及びシーケンス表示方法
US8994499B2 (en) 2011-03-16 2015-03-31 Apple Inc. Locking and unlocking a mobile device using facial recognition
US8392259B2 (en) 2011-03-17 2013-03-05 Research In Motion Limited Methods and apparatus to obtain transaction confirmation
US20140173717A1 (en) 2011-03-21 2014-06-19 Assa Abloy Ab System and method of secure data entry
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US20120245985A1 (en) 2011-03-24 2012-09-27 Danal Co., Ltd. Method of controlling system and mobile device for processing payment and data
WO2012135115A2 (en) 2011-03-25 2012-10-04 Visa International Service Association In-person one-tap purchasing apparatuses, methods and systems
JP5672109B2 (ja) 2011-03-29 2015-02-18 カシオ計算機株式会社 撮像装置及び撮像方法、並びにプログラム
JP2012215981A (ja) 2011-03-31 2012-11-08 Toshiba Tec Corp 決済装置およびプログラム
US10580049B2 (en) 2011-04-05 2020-03-03 Ingenico, Inc. System and method for incorporating one-time tokens, coupons, and reward systems into merchant point of sale checkout systems
US9225701B2 (en) 2011-04-18 2015-12-29 Intelmate Llc Secure communication systems and methods
US9832183B2 (en) 2011-04-19 2017-11-28 Early Warning Services, Llc Key management using quasi out of band authentication architecture
US9042607B2 (en) 2011-05-02 2015-05-26 Omnicell, Inc. System and method for user access of dispensing unit
US9229489B2 (en) 2011-05-03 2016-01-05 Facebook, Inc. Adjusting mobile device state based on user intentions and/or identity
WO2012154915A1 (en) 2011-05-10 2012-11-15 Dynamics Inc. Systems, devices, and methods for mobile payment acceptance, mobile authorizations, mobile wallets, and contactless communication mechanisms
US9047453B2 (en) 2011-05-10 2015-06-02 Htc Corporation Unlocking method, computer readable storage medium for storing thereof and handheld electrical device applying thereof
US9721243B2 (en) 2011-05-11 2017-08-01 Riavera Corp. Mobile payment system using subaccounts of account holder
US20120310760A1 (en) 2011-06-03 2012-12-06 Simon Phillips Mobile device automatic card account selection for a transaction
US8638385B2 (en) 2011-06-05 2014-01-28 Apple Inc. Device, method, and graphical user interface for accessing an application in a locked device
US20120316933A1 (en) 2011-06-09 2012-12-13 Massachusetts Institute Of Technology Method for promoting behavior change through social reward mediation
KR101121441B1 (ko) 2011-06-16 2012-03-16 에이큐 주식회사 엔에프시 통신방식의 이동통신단말기 및 그 제어방법
KR101121440B1 (ko) 2011-06-16 2012-03-16 에이큐 주식회사 엔에프시 통신방식의 이동통신단말기 및 제어방법
US8902288B1 (en) 2011-06-16 2014-12-02 Google Inc. Photo-image-based 3D modeling system on a mobile device
CN103765861B (zh) 2011-06-27 2016-08-17 亚马逊技术股份有限公司 移动设备的支付选择和授权
US20140094143A1 (en) 2011-06-28 2014-04-03 The Boeing Company Passenger mobile station registration with a passenger communications system using near field communicaitons
WO2013000150A1 (en) 2011-06-30 2013-01-03 Nokia Corporation Method, apparatus and computer program product for retrieval of lost or forgotten passwords
US10121129B2 (en) 2011-07-05 2018-11-06 Visa International Service Association Electronic wallet checkout platform apparatuses, methods and systems
JP5762186B2 (ja) 2011-07-12 2015-08-12 株式会社日本総合研究所 カード不正利用防止システム及びカード不正利用防止方法
US9082235B2 (en) 2011-07-12 2015-07-14 Microsoft Technology Licensing, Llc Using facial data for device authentication or subject identification
JP5673417B2 (ja) 2011-07-29 2015-02-18 富士通株式会社 データ復旧方法，データ復旧装置およびデータ復旧プログラム
JP5818563B2 (ja) 2011-08-02 2015-11-18 株式会社東光高岳 電気移動体用充電システム並びにそれに含まれる電気移動体用充電装置、携帯通信端末及びサーバ装置並びに電気移動体用充電方法
US9171139B2 (en) 2011-08-05 2015-10-27 Vmware, Inc. Lock screens to access work environments on a personal mobile device
US9355394B2 (en) 2011-08-11 2016-05-31 Visa International Service Association Systems and methods of aggregating split payments using a settlement ecosystem
WO2013026047A2 (en) 2011-08-17 2013-02-21 Trans Union Llc Systems and methods for generating vehicle insurance premium quotes based on a vehicle history
US10372712B2 (en) 2011-08-18 2019-08-06 Visa International Service Association Converged merchant processing apparatuses, methods and systems
US8789156B2 (en) 2011-08-19 2014-07-22 International Business Machines Corporation Data management with a networked mobile device
US8806369B2 (en) 2011-08-26 2014-08-12 Apple Inc. Device, method, and graphical user interface for managing and interacting with concurrently open software applications
US20130060678A1 (en) 2011-09-06 2013-03-07 Rawllin International Inc. Electronic payment systems and supporting methods and devices
KR101719994B1 (ko) 2011-09-07 2017-03-27 엘지전자 주식회사 이동단말기 및 그 제어방법
JP2013058828A (ja) 2011-09-07 2013-03-28 Jvc Kenwood Corp 笑顔判定装置及び方法
US10489570B2 (en) 2011-09-09 2019-11-26 Google Llc Preventing computing device from timing out
US20130067545A1 (en) 2011-09-13 2013-03-14 Sony Computer Entertainment America Llc Website Security
US8769286B2 (en) 2011-09-20 2014-07-01 Daon Holdings Limited Methods and systems for increasing the security of electronic messages
CN103020807B (zh) 2011-09-20 2019-08-27 联想(北京)有限公司 一种信息显示方法和系统
US20130080275A1 (en) 2011-09-23 2013-03-28 Bank Of America Corporation Transaction device and processing system
US20130080272A1 (en) 2011-09-23 2013-03-28 Bank Of America Corporation Transaction device and processing system
US8769624B2 (en) 2011-09-29 2014-07-01 Apple Inc. Access control utilizing indirect authentication
US9576284B2 (en) 2011-09-29 2017-02-21 Paypal, Inc. Social proximity payments
US9002322B2 (en) 2011-09-29 2015-04-07 Apple Inc. Authentication with secondary approver
US20130082974A1 (en) 2011-09-30 2013-04-04 Apple Inc. Quick Access User Interface
JP5866728B2 (ja) 2011-10-14 2016-02-17 サイバーアイ・エンタテインメント株式会社 画像認識システムを備えた知識情報処理サーバシステム
KR101160681B1 (ko) 2011-10-19 2012-06-28 배경덕 이동 통신 단말기의 활성화 시에 특정 동작이 수행되도록 하기 위한 방법, 이동 통신 단말기 및 컴퓨터 판독 가능 기록 매체
CN102394919B (zh) 2011-10-20 2013-12-25 福州瑞芯微电子有限公司 基于生理检测的心情交互网络平台系统
JP5739303B2 (ja) 2011-10-25 2015-06-24 京セラ株式会社 携帯端末、ロック制御プログラムおよびロック制御方法
US9305312B2 (en) 2011-10-25 2016-04-05 Theodosios Kountotsis Express easy-pass checkout at grocery stores and retail establishments for preferred members
US20130110675A1 (en) 2011-10-31 2013-05-02 Microsoft Corporation Marketplace for Composite Application and Data Solutions
US10510056B2 (en) 2011-11-02 2019-12-17 Mastercard International Incorporated Method and system for multiple payment applications
US9031847B2 (en) 2011-11-15 2015-05-12 Microsoft Technology Licensing, Llc Voice-controlled camera operations
US9526127B1 (en) 2011-11-18 2016-12-20 Google Inc. Affecting the behavior of a user device based on a user's gaze
US20130129162A1 (en) 2011-11-22 2013-05-23 Shian-Luen Cheng Method of Executing Software Functions Using Biometric Detection and Related Electronic Device
JP5869316B2 (ja) 2011-11-25 2016-02-24 京セラ株式会社 携帯型電子機器
JP5269972B2 (ja) 2011-11-29 2013-08-21 株式会社東芝 電子機器及び三次元モデル生成支援方法
US10169822B2 (en) 2011-12-02 2019-01-01 Spireon, Inc. Insurance rate optimization through driver behavior monitoring
CN103164117A (zh) 2011-12-09 2013-06-19 富泰华工业（深圳）有限公司 外部操作设备、电子装置及其延时锁屏方法
US9246543B2 (en) 2011-12-12 2016-01-26 Futurewei Technologies, Inc. Smart audio and video capture systems for data processing systems
CN103164791B (zh) 2011-12-13 2016-04-06 阿里巴巴集团控股有限公司 一种通过电子终端实现安全支付的方法和装置
US8732822B2 (en) 2011-12-16 2014-05-20 Microsoft Corporation Device locking with hierarchical activity preservation
CN102542444A (zh) 2011-12-22 2012-07-04 大唐微电子技术有限公司 移动支付身份验证方法、装置和系统
US8874162B2 (en) 2011-12-23 2014-10-28 Microsoft Corporation Mobile device safe driving
US20130166325A1 (en) 2011-12-23 2013-06-27 Mohan Ganapathy Apparatuses, systems and methods for insurance quoting
US9292195B2 (en) 2011-12-29 2016-03-22 Apple Inc. Device, method, and graphical user interface for configuring and implementing restricted interactions for applications
US9116611B2 (en) 2011-12-29 2015-08-25 Apple Inc. Devices, methods, and graphical user interfaces for providing multitouch inputs and hardware-based features using a single touch input
WO2013101035A1 (en) 2011-12-29 2013-07-04 Intel Corporation Virtual point of sale
KR20140121764A (ko) 2012-01-05 2014-10-16 비자 인터네셔널 서비스 어소시에이션 트랜잭션 영상 캡처 장치, 방법 및 시스템
CN103593594A (zh) 2012-01-09 2014-02-19 明智视觉有限公司 用于使用脸部生物特征识别和屏幕手势来提供对电子设备的安全访问的系统和方法
JP5715968B2 (ja) 2012-01-23 2015-05-13 富士通フロンテック株式会社 応札装置、せりシステム、および応札方法
US9218624B2 (en) 2012-02-03 2015-12-22 Paypal, Inc. Adding card to mobile/cloud wallet using NFC
US20150348018A1 (en) 2012-02-15 2015-12-03 Blackhawk Network, Inc. System and Method of Registering Stored-Value Cards into Electronic Wallets
US20150109191A1 (en) * 2012-02-16 2015-04-23 Google Inc. Speech Recognition
JP5981984B2 (ja) 2012-02-22 2016-08-31 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 仮想計算機システム、秘匿情報保護方法及び秘匿情報保護プログラム
KR101443960B1 (ko) 2012-02-22 2014-11-03 주식회사 팬택 사용자 인증 전자 장치 및 방법
US9767453B2 (en) 2012-02-23 2017-09-19 XRomb Inc. System and method for processing payment during an electronic commerce transaction
US8763896B2 (en) 2012-02-23 2014-07-01 XRomb Inc. System and method of loading a transaction card and processing repayment on a mobile device
US9778706B2 (en) 2012-02-24 2017-10-03 Blackberry Limited Peekable user interface on a portable electronic device
JP2015513738A (ja) 2012-02-29 2015-05-14 モビーウェイブ インコーポレイテッド 装置上でセキュアな金融取引を行うための方法、装置及びセキュア要素
US9251360B2 (en) 2012-04-27 2016-02-02 Intralinks, Inc. Computerized method and system for managing secure mobile device content viewing in a networked secure collaborative exchange environment
US9177130B2 (en) 2012-03-15 2015-11-03 Google Inc. Facial feature detection
WO2013145564A1 (ja) 2012-03-27 2013-10-03 パナソニック株式会社 電気機器
US9600709B2 (en) 2012-03-28 2017-03-21 Synaptics Incorporated Methods and systems for enrolling biometric data
JP5903190B2 (ja) 2012-04-01 2016-04-13 オーセンティファイ・インクＡｕｔｈｅｎｔｉｆｙ Ｉｎｃ． マルチパーティシステムにおける安全な認証
KR20120040693A (ko) 2012-04-09 2012-04-27 주식회사 비즈모델라인 결제수단 설정 방법
US8583549B1 (en) 2012-04-10 2013-11-12 Hossein Mohsenzadeh Systems, devices, and methods for managing a payment transaction
US8254647B1 (en) 2012-04-16 2012-08-28 Google Inc. Facial image quality assessment
US20130279768A1 (en) 2012-04-19 2013-10-24 Authentec, Inc. Electronic device including finger-operated input device based biometric enrollment and related methods
CN202735894U (zh) 2012-05-03 2013-02-13 北京壹人壹本信息科技有限公司 便携式电子设备
US9423870B2 (en) * 2012-05-08 2016-08-23 Google Inc. Input determination method
US20130304514A1 (en) 2012-05-08 2013-11-14 Elwha Llc Systems and methods for insurance based on monitored characteristics of an autonomous drive mode selection system
KR101956082B1 (ko) 2012-05-09 2019-03-11 애플 인크. 사용자 인터페이스 객체를 선택하는 디바이스, 방법, 및 그래픽 사용자 인터페이스
WO2013169849A2 (en) 2012-05-09 2013-11-14 Industries Llc Yknots Device, method, and graphical user interface for displaying user interface objects corresponding to an application
US9953310B2 (en) 2012-05-10 2018-04-24 Mastercard International Incorporated Systems and method for providing multiple virtual secure elements in a single physical secure element of a mobile device
US9053293B2 (en) 2012-05-15 2015-06-09 Sap Se Personal authentications on computing devices
US9823742B2 (en) 2012-05-18 2017-11-21 Microsoft Technology Licensing, Llc Interaction and management of devices using gaze detection
WO2013177548A1 (en) 2012-05-24 2013-11-28 Paydiant , Inc. Method and systems for wallet enrollment
CN102737313A (zh) 2012-05-25 2012-10-17 天地融科技股份有限公司 一种给电子签名工具授权校验的方法、系统及电子签名工具
WO2013177500A1 (en) 2012-05-25 2013-11-28 On The Block, L.L.C. System and method for using scannable codes for electronic payment
CN104364809A (zh) 2012-05-27 2015-02-18 金燕川 选单层级的推荐及奖励系统
US10025920B2 (en) 2012-06-07 2018-07-17 Early Warning Services, Llc Enterprise triggered 2CHK association
EP2674889B1 (en) 2012-06-11 2018-05-30 Samsung Electronics Co., Ltd Mobile device and control method thereof
US20130332358A1 (en) 2012-06-12 2013-12-12 Ebay, Inc. Fraud detection system
US8842888B2 (en) 2012-06-15 2014-09-23 Aoptix Technologies, Inc. User interface for combined biometric mobile device
US8441548B1 (en) 2012-06-15 2013-05-14 Google Inc. Facial image quality assessment
AU2013206449A1 (en) 2012-06-20 2014-01-16 Visa International Service Association Multi-channel remote payment apparatuses, methods and systems
US10073541B1 (en) 2012-06-22 2018-09-11 Amazon Technologies, Inc. Indicators for sensor occlusion
US9042971B2 (en) 2012-06-22 2015-05-26 Fitbit, Inc. Biometric monitoring device with heart rate measurement activated by a single user-gesture
US20130342672A1 (en) 2012-06-25 2013-12-26 Amazon Technologies, Inc. Using gaze determination with device input
US8396265B1 (en) 2012-06-26 2013-03-12 Google Inc. Facial recognition
KR101887061B1 (ko) 2012-06-27 2018-08-09 엘지전자 주식회사 이동단말기 및 그 제어방법
US9202099B2 (en) 2012-06-29 2015-12-01 Apple Inc. Fingerprint sensing and enrollment
US20140006155A1 (en) 2012-06-30 2014-01-02 Jesus J. Ramirez Instant floor plan and mobile marketing map
US20140013422A1 (en) 2012-07-03 2014-01-09 Scott Janus Continuous Multi-factor Authentication
CN102799383B (zh) 2012-07-18 2014-05-14 腾讯科技（深圳）有限公司 移动终端屏幕截图方法、屏幕截图装置
US9767446B2 (en) 2012-07-19 2017-09-19 Mastercard International Incorporated Touch screen system and methods for multiple contactless payments
CN102841683B (zh) 2012-07-24 2015-07-22 东莞宇龙通信科技有限公司 应用启动的方法及其通信终端
KR101458179B1 (ko) 2012-08-03 2014-11-04 김만근 통합 전자지갑 운용시스템 및 통합 전자지갑 운용방법
CN102843681A (zh) 2012-08-15 2012-12-26 腾讯科技（深圳）有限公司 信息交互方法和装置
US20140058935A1 (en) 2012-08-21 2014-02-27 Noel Mijares Mobile contactless digital watch payment
KR102174437B1 (ko) 2012-08-24 2020-11-04 삼성전자주식회사 화면 상의 이미지를 이용하여 인터랙션 정보를 제공하는 장치 및 방법
WO2014030876A1 (en) 2012-08-24 2014-02-27 Samsung Electronics Co., Ltd. Method and apparatus for determining item based on interaction environment
CA3202407A1 (en) 2012-08-24 2014-02-27 Samsung Electronics Co., Ltd. Apparatus and method for providing interaction information by using image on device display
US10567376B2 (en) 2012-08-24 2020-02-18 Sensible Vision, Inc. System and method for providing secure access to an electronic device using multifactor authentication
GB2505239A (en) 2012-08-24 2014-02-26 Vodafone Ip Licensing Ltd A method of authenticating a user using different illumination conditions
US20140058939A1 (en) 2012-08-24 2014-02-27 Ebay Inc. Method and apparatus for processing payment transactions from a chat application integrated with a payment application that leverages social features from the chat application
US8560004B1 (en) 2012-08-31 2013-10-15 Google Inc. Sensor-based activation of an input device
CA2884096C (en) 2012-09-05 2021-01-26 Element, Inc. System and method for biometric authentication in connection with camera-equipped devices
US8543834B1 (en) 2012-09-10 2013-09-24 Google Inc. Voice authentication and command
US9282893B2 (en) 2012-09-11 2016-03-15 L.I.F.E. Corporation S.A. Wearable communication platform
CN102833423B (zh) 2012-09-24 2014-06-04 武汉大学 一种基于指纹识别的触摸屏手机及登录解锁方法
KR102001913B1 (ko) 2012-09-27 2019-07-19 엘지전자 주식회사 휴대 단말기 및 그 동작 방법
JP5964190B2 (ja) 2012-09-27 2016-08-03 京セラ株式会社 端末装置
EP2717552A1 (en) 2012-10-04 2014-04-09 Nagravision S.A. A portable proximity wireless communication device
CN103092503B (zh) 2012-10-11 2016-08-31 百度在线网络技术（北京）有限公司 移动终端的解锁及验证方法与解锁及验证装置
US9147058B2 (en) 2012-10-12 2015-09-29 Apple Inc. Gesture entry techniques
US20160019536A1 (en) 2012-10-17 2016-01-21 Royal Bank Of Canada Secure processing of data
KR20140051640A (ko) 2012-10-23 2014-05-02 삼성전자주식회사 휴대 단말에서의 결제 수행 방법 및 장치와 그 방법에 대한 프로그램 소스를 저장한 기록 매체
US10140537B2 (en) 2012-10-26 2018-11-27 Daon Holdings Limited Methods and systems for capturing biometric data
US8963806B1 (en) 2012-10-29 2015-02-24 Google Inc. Device authentication
KR101448547B1 (ko) 2012-10-31 2014-10-08 에스케이씨앤씨 주식회사 어플리케이션 통합 관리 방법 및 시스템
US20140129441A1 (en) 2012-11-02 2014-05-08 German Blanco Systems and methods for authorizing sensitive purchase transactions with a mobile device
US11222329B2 (en) 2012-11-05 2022-01-11 Mastercard International Incorporated Electronic wallet apparatus, method, and computer program product
AU2013348399B2 (en) 2012-11-20 2017-05-18 Paypal, Inc. Environment and methods for enabling electronic transactions
US10600128B2 (en) 2012-12-29 2020-03-24 Robert William Graham Mobile expense report system
US20140157153A1 (en) 2012-12-05 2014-06-05 Jenny Yuen Select User Avatar on Detected Emotion
US20140164082A1 (en) 2012-12-06 2014-06-12 Capital One Financial Corporation Systems and methods for social media referrals based rewards
US10121023B2 (en) 2012-12-18 2018-11-06 Oracle International Corporation Unveil information on prompt
US8762272B1 (en) 2012-12-27 2014-06-24 Google Inc. Management of emails containing payments
KR101330962B1 (ko) 2012-12-27 2013-11-18 신한카드 주식회사 결제 방식 선택을 위한 결제 디바이스 제어방법
JP6080548B2 (ja) 2012-12-28 2017-02-15 キヤノン株式会社 通信装置、情報端末、それらの制御方法、プログラム
US20140244365A1 (en) 2012-12-29 2014-08-28 DGRT Software LLC Toll app system
JP6158947B2 (ja) 2012-12-29 2017-07-05 アップル インコーポレイテッド タッチ入力からディスプレイ出力への関係間を遷移するためのデバイス、方法及びグラフィカルユーザインタフェース
KR102010296B1 (ko) 2013-01-07 2019-08-13 엘지전자 주식회사 냉장고를 이용한 식단제공방법 및 그를 이용한 냉장고
DE212014000045U1 (de) 2013-02-07 2015-09-24 Apple Inc. Sprach-Trigger für einen digitalen Assistenten
US9710806B2 (en) 2013-02-27 2017-07-18 Fiserv, Inc. Systems and methods for electronic payment instrument repository
US20140258292A1 (en) 2013-03-05 2014-09-11 Clip Interactive, Inc. Apparatus, system, and method for integrating content and content services
KR101443021B1 (ko) 2013-03-08 2014-09-22 주식회사 슈프리마 얼굴 등록 장치, 방법, 포즈 변화 유도 장치 및 얼굴 인식 장치
US20140257865A1 (en) 2013-03-10 2014-09-11 State Farm Mutual Automobile Insurance Company Systems and methods for processing credits for distance-based insurance policies
US20140258828A1 (en) 2013-03-11 2014-09-11 Brent Lymer Pick-and-place webform autofill
US20140279497A1 (en) 2013-03-12 2014-09-18 Bank Of America Corporation Secure Identity Element
US20140279554A1 (en) 2013-03-12 2014-09-18 Seth Priebatsch Distributed authenticity verification for consumer payment transactions
FI20135248L (fi) 2013-03-14 2014-09-15 Op Palvelut Oy Mobiililaite transaktioinformaation kera
US9298361B2 (en) 2013-03-15 2016-03-29 Apple Inc. Analyzing applications for different access modes
US9262671B2 (en) 2013-03-15 2016-02-16 Nito Inc. Systems, methods, and software for detecting an object in an image
US10270748B2 (en) 2013-03-22 2019-04-23 Nok Nok Labs, Inc. Advanced authentication techniques and applications
FI20135275A (fi) 2013-03-22 2014-09-23 Meontrust Oy Tapahtumien auktorisointimenetelmä ja -järjestelmä
KR102138512B1 (ko) 2013-03-26 2020-07-28 엘지전자 주식회사 디스플레이 디바이스 및 그의 제어 방법
US10229258B2 (en) 2013-03-27 2019-03-12 Samsung Electronics Co., Ltd. Method and device for providing security content
US9565181B2 (en) 2013-03-28 2017-02-07 Wendell D. Brown Method and apparatus for automated password entry
US9253375B2 (en) 2013-04-02 2016-02-02 Google Inc. Camera obstruction detection
KR102080183B1 (ko) 2013-04-18 2020-04-14 삼성전자주식회사 전자 장치 및 전자 장치에서 잠금 해제 방법
US9384751B2 (en) * 2013-05-06 2016-07-05 Honeywell International Inc. User authentication of voice controlled devices
US9591211B2 (en) 2013-05-10 2017-03-07 Huawei Technologies Co., Ltd. Photographing method and apparatus
US9294475B2 (en) 2013-05-13 2016-03-22 Hoyos Labs Ip, Ltd. System and method for generating a biometric identifier
US9104853B2 (en) 2013-05-16 2015-08-11 Symantec Corporation Supporting proximity based security code transfer from mobile/tablet application to access device
KR20140136350A (ko) 2013-05-20 2014-11-28 삼성전자주식회사 전자장치의 사용 방법 및 장치
US9747900B2 (en) * 2013-05-24 2017-08-29 Google Technology Holdings LLC Method and apparatus for using image data to aid voice recognition
US9330513B2 (en) 2013-05-31 2016-05-03 Microsoft Technology Licensing, Llc Resource management based on biometric data
US9497231B2 (en) 2013-06-04 2016-11-15 Echostar Technologies L.L.C. Real-time placeshifting of media content to paired devices
US9626493B2 (en) 2013-06-08 2017-04-18 Microsoft Technology Licensing, Llc Continuous digital content protection
US9055210B2 (en) 2013-06-19 2015-06-09 Blackberry Limited Device for detecting a camera obstruction
CN103294171A (zh) 2013-06-24 2013-09-11 深圳市中兴移动通信有限公司 移动终端的省电方法和省电装置
US20150006386A1 (en) 2013-06-28 2015-01-01 Sap Ag Offline mobile payment process
CN103346957B (zh) 2013-07-02 2016-12-28 北京播思无线技术有限公司 一种根据联系人消息改变联系人头像表情的系统及方法
JP5654642B1 (ja) 2013-07-05 2015-01-14 ソフトバンクモバイル株式会社 認証システム及びプログラム
WO2015009111A1 (ko) 2013-07-18 2015-01-22 삼성전자 주식회사 생체인식 기반 인증 방법 및 장치
CN103413072A (zh) 2013-07-27 2013-11-27 金硕澳门离岸商业服务有限公司 保护应用程序的方法和装置
US9984270B2 (en) 2013-08-05 2018-05-29 Apple Inc. Fingerprint sensor in an electronic device
CN103413218B (zh) 2013-08-07 2017-11-10 天地融科技股份有限公司 移动终端、nfc支付方法、装置及系统
JP5541407B1 (ja) 2013-08-09 2014-07-09 富士ゼロックス株式会社 画像処理装置及びプログラム
CN105659244A (zh) 2013-08-12 2016-06-08 朴炫秀 使用附加代码的安全系统、设备和方法
JP6024617B2 (ja) 2013-08-15 2016-11-16 富士ゼロックス株式会社 情報処理装置及び情報処理プログラム
JP5705929B2 (ja) 2013-08-16 2015-04-22 ファナック株式会社 軸受寿命判定装置
CN104426847A (zh) 2013-08-22 2015-03-18 腾讯科技（深圳）有限公司 互联网服务安全访问和验证的方法、系统和服务器
US10346822B2 (en) 2013-08-23 2019-07-09 Visa International Service Association Dynamic account selection
KR102090750B1 (ko) 2013-08-23 2020-03-18 삼성전자주식회사 지문 인식을 위한 전자 장치 및 방법
US20150066762A1 (en) 2013-08-28 2015-03-05 Geoffrey W. Chatterton Authentication system
US9898642B2 (en) 2013-09-09 2018-02-20 Apple Inc. Device, method, and graphical user interface for manipulating user interfaces based on fingerprint sensor inputs
KR20150029495A (ko) 2013-09-10 2015-03-18 삼성전자주식회사 전자장치에서 센서의 인식 오류를 출력하기 위한 방법 및 장치
JP6102648B2 (ja) 2013-09-13 2017-03-29 ソニー株式会社 情報処理装置及び情報処理方法
JP2015075877A (ja) 2013-10-08 2015-04-20 シャープ株式会社 撮影システム
CN103501304B (zh) 2013-10-12 2017-01-25 深信服网络科技（深圳）有限公司 控制web系统越权访问的方法及装置
CN104579670A (zh) 2013-10-28 2015-04-29 腾讯科技（深圳）有限公司 一种移动终端的身份验证方法和移动终端
KR102091606B1 (ko) 2013-10-30 2020-03-20 엘지전자 주식회사 단말기 및 그 제어 방법
US9706040B2 (en) 2013-10-31 2017-07-11 Udayakumar Kadirvel System and method for facilitating communication via interaction with an avatar
EP3066552B1 (en) 2013-11-05 2019-03-06 Telefonaktiebolaget LM Ericsson (publ) Methods of processing electronic files including combined close and delete, and related systems and computer program products
US10528946B2 (en) 2013-11-06 2020-01-07 Tencent Technology (Shenzhen) Company Limited System and method for authenticating, associating and storing secure information
JP5920894B2 (ja) 2013-11-07 2016-05-18 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および顔識別用データの登録方法
US9110635B2 (en) 2013-12-03 2015-08-18 Lenova (Singapore) Pte. Ltd. Initiating personal assistant application based on eye tracking and gestures
KR102188090B1 (ko) * 2013-12-11 2020-12-04 엘지전자 주식회사 스마트 가전제품, 그 작동방법 및 스마트 가전제품을 이용한 음성인식 시스템
WO2015099677A1 (en) 2013-12-23 2015-07-02 Intel Corporation Computing device authentication based on user's hair follicle pattern
CN103701605A (zh) 2013-12-24 2014-04-02 北京握奇智能科技有限公司 一种数据认证方法及装置
US20150186152A1 (en) 2013-12-27 2015-07-02 Gangatharan Jothiswaran Sensing and assisting computing device connections
US20150187019A1 (en) 2013-12-31 2015-07-02 Hartford Fire Insurance Company Systems and method for autonomous vehicle data processing
KR101569268B1 (ko) 2014-01-02 2015-11-13 아이리텍 잉크 얼굴 구성요소 거리를 이용한 홍채인식용 이미지 획득 장치 및 방법
US9369282B2 (en) 2014-01-29 2016-06-14 Red Hat, Inc. Mobile device user authentication for accessing protected network resources
US9223955B2 (en) 2014-01-30 2015-12-29 Microsoft Corporation User-authentication gestures
US20150220924A1 (en) 2014-02-04 2015-08-06 Outsite Networks, Inc. Method and system for linking a customer identity to a retail transaction
KR102201738B1 (ko) 2014-02-05 2021-01-12 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법
US9208301B2 (en) 2014-02-07 2015-12-08 Bank Of America Corporation Determining user authentication requirements based on the current location of the user in comparison to the users's normal boundary of location
WO2015120019A1 (en) 2014-02-10 2015-08-13 Google Inc. Smart camera user interface
US9569605B1 (en) 2014-02-12 2017-02-14 Symantec Corporation Systems and methods for enabling biometric authentication options
WO2015122716A1 (en) 2014-02-14 2015-08-20 Samsung Electronics Co., Ltd. Electronic device, method for authenticating user, and computer readable recording medium
KR102204247B1 (ko) 2014-02-19 2021-01-18 삼성전자 주식회사 전자 장치의 생체 정보 처리 방법 및 장치
US9537661B2 (en) 2014-02-28 2017-01-03 Verizon Patent And Licensing Inc. Password-less authentication service
US9503894B2 (en) 2014-03-07 2016-11-22 Cellco Partnership Symbiotic biometric security
EP3118761B1 (en) 2014-03-13 2021-05-12 LG Electronics Inc. Mobile terminal and method for controlling same
CN104935497B (zh) 2014-03-20 2020-08-14 腾讯科技（深圳）有限公司 一种通讯会话方法和装置
JP6287450B2 (ja) 2014-03-26 2018-03-07 富士通株式会社 携帯型情報処理装置、及びプログラム
CN112134708A (zh) 2014-04-15 2020-12-25 创新先进技术有限公司 一种授权方法、请求授权的方法及装置
US9679121B2 (en) 2014-05-06 2017-06-13 International Business Machines Corporation Unlocking electronic devices using touchscreen input gestures
US9408076B2 (en) 2014-05-14 2016-08-02 The Regents Of The University Of California Sensor-assisted biometric authentication for smartphones
CN105099861A (zh) 2014-05-19 2015-11-25 阿里巴巴集团控股有限公司 基于用户情绪的显示控制方法和显示控制装置
US10482461B2 (en) 2014-05-29 2019-11-19 Apple Inc. User interface for payments
US20150349959A1 (en) 2014-05-30 2015-12-03 Apple Inc. User Authentication Retry with a Biometric Sensing Device
US10318016B2 (en) 2014-06-03 2019-06-11 Harman International Industries, Incorporated Hands free device with directional interface
US9264423B2 (en) 2014-06-12 2016-02-16 Nadapass, Inc. Password-less authentication system and method
US9715824B2 (en) 2014-06-13 2017-07-25 Huawei Technologies Co., Ltd. Method and control device for selecting controlled device
US9349035B1 (en) 2014-06-13 2016-05-24 Maxim Integrated Products, Inc. Multi-factor authentication sensor for providing improved identification
KR102236279B1 (ko) 2014-06-17 2021-04-02 엘지전자 주식회사 이동단말기 및 그 제어방법
US9766702B2 (en) * 2014-06-19 2017-09-19 Apple Inc. User detection by a computing device
US9817549B2 (en) 2014-06-25 2017-11-14 Verizon Patent And Licensing Inc. Method and system for auto switching applications based on device orientation
CN104112091A (zh) 2014-06-26 2014-10-22 小米科技有限责任公司 文件锁定方法和装置
US9904774B2 (en) 2014-06-26 2018-02-27 Xiaomi Inc. Method and device for locking file
AU2014399149A1 (en) 2014-06-27 2016-11-17 Microsoft Technology Licensing, Llc Data protection based on user and gesture recognition
WO2016013249A1 (ja) 2014-07-24 2016-01-28 株式会社ソニー・コンピュータエンタテインメント 情報処理装置
KR101773233B1 (ko) 2014-07-25 2017-09-12 이동광 생체인증 인식불능 반복 상황 처리 방법
WO2016018028A1 (en) 2014-07-31 2016-02-04 Samsung Electronics Co., Ltd. Device and method of setting or removing security on content
US10621670B2 (en) 2014-08-15 2020-04-14 Scope Technologies Holdings Limited Determination and display of driving risk
US10614204B2 (en) 2014-08-28 2020-04-07 Facetec, Inc. Facial recognition authentication system including path parameters
CA3186147A1 (en) 2014-08-28 2016-02-28 Kevin Alan Tussy Facial recognition authentication system including path parameters
US11256792B2 (en) 2014-08-28 2022-02-22 Facetec, Inc. Method and apparatus for creation and use of digital identification
US9465930B2 (en) 2014-08-29 2016-10-11 Dropbox, Inc. Fingerprint gestures
US10089607B2 (en) 2014-09-02 2018-10-02 Apple Inc. Mobile merchant proximity solution for financial transactions
US9734379B2 (en) 2014-09-03 2017-08-15 Fingerprint Cards Ab Guided fingerprint enrollment
KR101540544B1 (ko) 2014-09-05 2015-07-30 서용창 캐릭터를 이용한 메시지 서비스 방법, 상기 방법을 수행하는 사용자 단말, 상기 방법을 포함하는 메시지 애플리케이션
US10317992B2 (en) * 2014-09-25 2019-06-11 Microsoft Technology Licensing, Llc Eye gaze for spoken language understanding in multi-modal conversational interactions
US20160092665A1 (en) 2014-09-27 2016-03-31 Intel Corporation Liveness Detection for User Authentication
US9269083B1 (en) 2014-09-30 2016-02-23 Wal-Mart Stores, Inc. Mobile device payment
US9430696B2 (en) 2014-10-09 2016-08-30 Sensory, Incorporated Continuous enrollment for face verification
CN104361302B (zh) 2014-10-21 2017-10-17 天津三星电子有限公司 一种基于通讯设备的保护隐私信息的方法和通讯设备
CN107251096B (zh) 2014-11-10 2022-02-11 英特尔公司 图像捕获装置和方法
US10027667B2 (en) 2014-11-12 2018-07-17 Time Warner Cable Enterprises Llc Methods and apparatus for provisioning services which require a device to be securely associated with an account
US9412169B2 (en) 2014-11-21 2016-08-09 iProov Real-time visual feedback for user positioning with respect to a camera and a display
CN104539924A (zh) 2014-12-03 2015-04-22 深圳市亿思达科技集团有限公司 基于人眼追踪的全息显示方法及全息显示装置
US9817956B2 (en) 2014-12-12 2017-11-14 Excalibur Ip, Llc User authentication and data encryption
SE1451598A1 (en) 2014-12-19 2016-06-20 Fingerprint Cards Ab Improved guided fingerprint enrollment
KR101714349B1 (ko) 2014-12-29 2017-03-09 주식회사 슈프리마 생체 인증 장치와 그 생체 영상 출력제어 방법
US10198594B2 (en) 2014-12-30 2019-02-05 Xiaomi Inc. Method and device for displaying notification information
US10111093B2 (en) 2015-01-09 2018-10-23 Qualcomm Incorporated Mobile device to provide continuous and discrete user authentication
US10037528B2 (en) 2015-01-14 2018-07-31 Tactilis Sdn Bhd Biometric device utilizing finger sequence for authentication
US9996728B2 (en) 2015-01-23 2018-06-12 Samsung Electronics Co., Ltd. System and method for partial fingerprint enrollment and matching using small size fingerprint sensors
US20160224973A1 (en) 2015-02-01 2016-08-04 Apple Inc. User interface for payments
US9654978B2 (en) 2015-02-03 2017-05-16 Qualcomm Incorporated Asset accessibility with continuous authentication for mobile devices
US9432193B1 (en) 2015-02-05 2016-08-30 Sensory, Incorporated Face-based authentication with situational adaptivity
KR102338864B1 (ko) 2015-02-12 2021-12-13 삼성전자주식회사 전자 장치 및 전자 장치에서의 지문 등록 방법
US9294476B1 (en) 2015-02-18 2016-03-22 Keeper Security, Inc. User-defined identity verification system
JP6511293B2 (ja) 2015-02-26 2019-05-15 株式会社エヌ・ティ・ティ・データ ユーザ監視システム
CN104753766B (zh) 2015-03-02 2019-03-22 小米科技有限责任公司 表情发送方法及装置
EP3271853A1 (en) 2015-03-17 2018-01-24 Microsoft Technology Licensing, LLC Selectively providing personal information and access to functionality on lock screen based on biometric user authentication
CN104732396A (zh) 2015-03-24 2015-06-24 广东欧珀移动通信有限公司 一种支付控制方法及装置
JP2016194799A (ja) 2015-03-31 2016-11-17 富士通株式会社 画像解析装置及び画像解析方法
US9774453B2 (en) 2015-04-01 2017-09-26 Northrop Grumman Systems Corporation System and method for providing an automated biometric enrollment workflow
JP5920747B1 (ja) 2015-04-07 2016-05-18 エイピーエス．エスエイ アプリケーションプログラムおよびカード
US10305895B2 (en) 2015-04-14 2019-05-28 Blubox Security, Inc. Multi-factor and multi-mode biometric physical access control device
US20180292907A1 (en) * 2015-05-28 2018-10-11 Itay Katz Gesture control system and method for smart home
US20160358133A1 (en) 2015-06-05 2016-12-08 Apple Inc. User interface for loyalty accounts and private label accounts for a wearable device
US9940637B2 (en) 2015-06-05 2018-04-10 Apple Inc. User interface for loyalty accounts and private label accounts
US20160364600A1 (en) 2015-06-10 2016-12-15 Microsoft Technology Licensing, Llc Biometric Gestures
US20160364591A1 (en) 2015-06-15 2016-12-15 Cypress Semiconductor Corporation Fingerprint Sensing Access for Security and Personalization in Apps and Devices
JP6140773B2 (ja) 2015-06-26 2017-05-31 京セラ株式会社 電子機器及び電子機器の動作方法
EP3323083A4 (en) 2015-07-15 2019-04-17 15 Seconds Of Fame, Inc. APPARATUS AND METHODS FOR FACIAL RECOGNITION AND VIDEO ANALYSIS FOR IDENTIFYING INDIVIDUALS IN CONTEXTUAL VIDEO STREAMS
CN104992102A (zh) 2015-07-23 2015-10-21 京东方科技集团股份有限公司 一种消息显示方法及装置
US20170046507A1 (en) 2015-08-10 2017-02-16 International Business Machines Corporation Continuous facial recognition for adaptive data restriction
KR101696602B1 (ko) 2015-08-11 2017-01-23 주식회사 슈프리마 제스처를 이용한 생체 인증
WO2017030223A1 (ko) 2015-08-20 2017-02-23 엘지전자 주식회사 카드유닛을 구비하는 이동 단말기 및 이의 제어방법
KR102387568B1 (ko) 2015-08-31 2022-04-18 삼성전자주식회사 지문 인식 기반 인증 방법 및 장치
WO2017043314A1 (ja) 2015-09-09 2017-03-16 日本電気株式会社 ガイダンス取得装置、ガイダンス取得方法及びプログラム
JP6613740B2 (ja) 2015-09-09 2019-12-04 富士通コネクテッドテクノロジーズ株式会社 表示制御装置、表示制御方法および表示制御プログラム
US10146981B2 (en) 2015-09-10 2018-12-04 Qualcomm Incorporated Fingerprint enrollment and matching with orientation sensor input
US9519901B1 (en) 2015-09-16 2016-12-13 Square, Inc. Biometric payment technology
US9558636B1 (en) 2015-09-28 2017-01-31 Uniloc Luxembourg S.A. Automatic teller machine inventory and distribution system
CN105391843A (zh) 2015-09-28 2016-03-09 努比亚技术有限公司 终端设备、信息发布方法及信息发布系统
US9613245B1 (en) 2015-10-22 2017-04-04 Motorola Mobility Llc Device and method for authentication by a biometric sensor
JP2017091129A (ja) 2015-11-09 2017-05-25 グローリー株式会社 顔認証装置、顔認証装置を備えた管理システム、および、顔認証装置における画面表示制御方法
EP3243128A4 (en) 2015-11-23 2018-11-07 VeriFone, Inc. Systems and methods for authentication code entry in touch-sensitive screen enabled devices
WO2017094052A1 (ja) 2015-11-30 2017-06-08 日立マクセル株式会社 携帯端末及びそれを用いたキーレスエントリシステムまたはセキュリティシステム及びその認証方法
US10210318B2 (en) 2015-12-09 2019-02-19 Daon Holdings Limited Methods and systems for capturing biometric data
US10003738B2 (en) 2015-12-18 2018-06-19 Light Labs Inc. Methods and apparatus for detecting and/or indicating a blocked sensor or camera module
JP2017117159A (ja) 2015-12-24 2017-06-29 シャープ株式会社 端末装置及び双方向通信システム
US10102358B2 (en) 2015-12-29 2018-10-16 Sensory, Incorporated Face-controlled liveness verification
KR102456598B1 (ko) 2016-01-04 2022-10-20 삼성전자주식회사 전자 장치 및 그의 동작 방법
US20170235361A1 (en) 2016-01-20 2017-08-17 Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America Interaction based on capturing user intent via eye gaze
JP2017138846A (ja) 2016-02-04 2017-08-10 レノボ・シンガポール・プライベート・リミテッド 情報処理装置、その表示方法、及びコンピュータが実行可能なプログラム
KR102483832B1 (ko) 2016-02-19 2023-01-03 삼성전자주식회사 생체 정보 기반 인증을 이용한 전자 장치들 간 연결 방법 및 장치
CN105844101A (zh) 2016-03-25 2016-08-10 惠州Tcl移动通信有限公司 一种基于智能手表的情绪数据处理方法、系统及智能手表
US10019904B1 (en) 2016-04-11 2018-07-10 State Farm Mutual Automobile Insurance Company System for identifying high risk parking lots
US20170300897A1 (en) 2016-04-14 2017-10-19 American Express Travel Related Services Company, Inc. Systems and Methods for an Electronic Wallet Payment Tool
KR102480294B1 (ko) 2016-05-04 2022-12-23 엘지전자 주식회사 웨어러블 디바이스 및 웨어러블 디바이스의 제어 방법
DK179186B1 (en) 2016-05-19 2018-01-15 Apple Inc REMOTE AUTHORIZATION TO CONTINUE WITH AN ACTION
CN105868613A (zh) 2016-06-08 2016-08-17 广东欧珀移动通信有限公司 一种生物特征识别方法、装置和移动终端
US11348390B2 (en) 2016-06-10 2022-05-31 Tapplock Corporation Padlock device, systems including a padlock device, and methods of operating therefor
CN114707984A (zh) 2016-06-12 2022-07-05 苹果公司 用于交易的用户界面
US9854156B1 (en) 2016-06-12 2017-12-26 Apple Inc. User interface for camera effects
WO2017218094A1 (en) 2016-06-12 2017-12-21 Apple Inc. User interfaces for transactions
US20180004924A1 (en) 2016-06-30 2018-01-04 Synaptics Incorporated Systems and methods for detecting biometric template aging
US10265856B2 (en) 2016-07-21 2019-04-23 X Development Llc Reorienting a distance sensor using an adjustable leveler
CN106156566A (zh) 2016-07-29 2016-11-23 努比亚技术有限公司 隐式认证装置和方法
US20180063249A1 (en) 2016-08-23 2018-03-01 Vu Trong Nguyen System and method for controlling smart devices
JP6754642B2 (ja) 2016-09-01 2020-09-16 株式会社日立製作所 生体検知装置
CN106355058A (zh) 2016-09-13 2017-01-25 珠海格力电器股份有限公司 一种终端解锁方法及装置
DK179471B1 (en) 2016-09-23 2018-11-26 Apple Inc. IMAGE DATA FOR ENHANCED USER INTERACTIONS
CN106503514A (zh) 2016-09-28 2017-03-15 北京用友政务软件有限公司 基于虹膜识别的电子终端设备的解锁方法及系统
CN106485123A (zh) 2016-10-17 2017-03-08 信利光电股份有限公司 一种冷屏唤醒方法及智能终端
US9739627B1 (en) 2016-10-18 2017-08-22 Allstate Insurance Company Road frustration index risk mapping and mitigation
US20180150627A1 (en) 2016-11-30 2018-05-31 Benjamin Rodefer Authentication using multi-component swipe pattern and color, sound or symbol series unlocking patterns and or codes
CN106778222B (zh) 2016-12-20 2020-06-02 北京小米移动软件有限公司 解锁方法及装置
EP3563373B1 (en) * 2016-12-30 2022-11-30 Harman International Industries, Incorporated Voice recognition system
JP2017102952A (ja) 2017-01-25 2017-06-08 京セラ株式会社 電子機器
US10467509B2 (en) * 2017-02-14 2019-11-05 Microsoft Technology Licensing, Llc Computationally-efficient human-identifying smart assistant computer
KR20180102871A (ko) * 2017-03-08 2018-09-18 엘지전자 주식회사 이동단말기 및 이동단말기의 차량 제어 방법
US10810912B2 (en) 2017-03-15 2020-10-20 Aether Inc. Face recognition triggered digital assistant and LED light ring for a smart mirror
US11250307B2 (en) 2017-03-23 2022-02-15 Idex Biometrics Asa Secure, remote biometric enrollment
EP3602943A1 (en) 2017-03-24 2020-02-05 Intel IP Corporation Techniques to enable physical downlink control channel communications
US10219095B2 (en) 2017-05-24 2019-02-26 Glen A. Norris User experience localizing binaural sound during a telephone call
US10325409B2 (en) * 2017-06-16 2019-06-18 Microsoft Technology Licensing, Llc Object holographic augmentation
KR102185854B1 (ko) 2017-09-09 2020-12-02 애플 인크. 생체측정 인증의 구현
EP3482345B1 (en) 2017-09-09 2021-12-08 Apple Inc. Implementation of biometric authentication with detection and display of an error indication
WO2018226265A1 (en) 2017-09-09 2018-12-13 Apple Inc. Implementation of biometric authentication
KR102143148B1 (ko) 2017-09-09 2020-08-10 애플 인크. 생체측정 인증의 구현
AU2018279788B2 (en) 2017-09-09 2019-11-21 Apple Inc. Implementation of biometric authentication
US20220342972A1 (en) 2017-09-11 2022-10-27 Apple Inc. Implementation of biometric authentication
WO2019216499A1 (ko) 2018-05-08 2019-11-14 엘지전자 주식회사 전자 장치 및 그 제어 방법
US11170085B2 (en) 2018-06-03 2021-11-09 Apple Inc. Implementation of biometric authentication
CN110932673A (zh) 2018-09-19 2020-03-27 恩智浦美国有限公司 一种包含并联陷波滤波器的斩波稳定放大器
US11100349B2 (en) 2018-09-28 2021-08-24 Apple Inc. Audio assisted enrollment
US10860096B2 (en) 2018-09-28 2020-12-08 Apple Inc. Device control using gaze information
EP4264460A1 (en) 2021-01-25 2023-10-25 Apple Inc. Implementation of biometric authentication
US20220284084A1 (en) 2021-03-04 2022-09-08 Apple Inc. User interface for enrolling a biometric feature

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0981309A (ja) * 1995-09-13 1997-03-28 Toshiba Corp 入力装置
JP2014230061A (ja) * 2013-05-22 2014-12-08 シャープ株式会社 ネットワークシステム、サーバ、家電、プログラムおよび家電の連携方法
JP2016076799A (ja) * 2014-10-03 2016-05-12 シャープ株式会社 家電管理システム、家電、リモコン装置、ロボット

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023177077A1 (ko) * 2022-03-15 2023-09-21 삼성전자 주식회사 전자 장치 및 그의 동작 방법

Also Published As

Publication number Publication date
US20230185373A1 (en) 2023-06-15
AU2022231779A1 (en) 2022-10-13
US20210048883A1 (en) 2021-02-18
US10860096B2 (en) 2020-12-08
JP2021521496A (ja) 2021-08-26
EP3788468B1 (en) 2022-11-02
JP6930042B2 (ja) 2021-09-01
AU2021202352A1 (en) 2021-05-13
KR20210041131A (ko) 2021-04-14
US11619991B2 (en) 2023-04-04
AU2021202352B2 (en) 2022-06-16
KR20210002747A (ko) 2021-01-08
CN115543170A (zh) 2022-12-30
EP3788468A1 (en) 2021-03-10
AU2019346842A1 (en) 2020-12-24
AU2019346842C1 (en) 2021-08-05
CN112368674B (zh) 2022-11-18
AU2019346842B2 (en) 2021-02-04
AU2022231779B2 (en) 2024-02-15
KR20230164199A (ko) 2023-12-01
KR102604685B1 (ko) 2023-11-22
CN112368674A (zh) 2021-02-12
JP2023052287A (ja) 2023-04-11
WO2020068375A1 (en) 2020-04-02
JP7209782B2 (ja) 2023-01-20
US20200103963A1 (en) 2020-04-02
EP4137933A1 (en) 2023-02-22
KR102239604B1 (ko) 2021-04-13

Similar Documents

Publication Publication Date Title
JP6930042B2 (ja) 凝視情報を用いたデバイス制御
JP7158509B2 (ja) 拡張されたユーザ対話のための画像データ
JP7077479B2 (ja) 音声通知を提供するためのデバイス、方法、及びユーザインタフェース
US11670144B2 (en) User interfaces for indicating distance
JP7146134B1 (ja) オーディオを共有するための方法及びユーザインタフェース
US20220377431A1 (en) Methods and user interfaces for auditory features
JP7196183B2 (ja) グラフィカルユーザインタフェースのためのメディアキャプチャロックアフォーダンス
US20220078506A1 (en) User interfaces for managing audio for media items
US20240080642A1 (en) Interfaces for device interactions
US20230394955A1 (en) User interfaces for managing a time-based event
AU2024203238A1 (en) Device control using gaze information
WO2024054498A1 (en) Interfaces for device interactions

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210922

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210922

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220816

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220902

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221031

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221209

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230110

R150 Certificate of patent or registration of utility model

Ref document number: 7209782

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150