JP2023051982A - アラートを管理するための小型インターフェース - Google Patents

アラートを管理するための小型インターフェース Download PDF

Info

Publication number
JP2023051982A
JP2023051982A JP2022202284A JP2022202284A JP2023051982A JP 2023051982 A JP2023051982 A JP 2023051982A JP 2022202284 A JP2022202284 A JP 2022202284A JP 2022202284 A JP2022202284 A JP 2022202284A JP 2023051982 A JP2023051982 A JP 2023051982A
Authority
JP
Japan
Prior art keywords
display
alert
notification
detecting
response
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022202284A
Other languages
English (en)
Inventor
ローレンス, ワイ. ヤン,
Y Yang Lawrence
ステファン, オー. レメイ,
Stephen O Lemay
アラン, シー. ダイ,
C Dye Alan
クリストファー, パトリック フォス,
Patrick Foss Christopher
ジョナサン, アール. ダスコラ,
R Dascola Jonathan
イムラン チャウドリ,
Imuran Chaudhuri
ゲーリー, イアン ブッチャー,
Ian Butcher Gary
デイビッド, チャンス グラハム,
Chance Graham David
ジョナサン, ピー. イヴ,
P Ive Jonathan
ケヴィン リンチ,
Lynch Kevin
ナタリア マリック,
Maric Natalia
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of JP2023051982A publication Critical patent/JP2023051982A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0362Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 1D translations or rotations of an operating part of the device, e.g. scroll wheels, sliders, knobs, rollers or belts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0414Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using force sensing means to determine a position
    • G06F3/04142Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using force sensing means to determine a position the force sensing means being located peripherally, e.g. disposed at the corners or at the side of a touch sensing plate
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485Scrolling or panning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/165Management of the audio stream, e.g. setting of volume, audio stream path
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/802D [Two Dimensional] animation, e.g. using sprites
    • GPHYSICS
    • G04HOROLOGY
    • G04GELECTRONIC TIME-PIECES
    • G04G21/00Input or output devices integrated in time-pieces
    • G04G21/08Touch switches specially adapted for time-pieces
    • GPHYSICS
    • G04HOROLOGY
    • G04GELECTRONIC TIME-PIECES
    • G04G9/00Visual time or date indication means
    • G04G9/0064Visual time or date indication means in which functions not related to time can be displayed
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/014Force feedback applied to GUI
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)
  • Digital Computer Display Output (AREA)

Abstract

【課題】ユーザに密着している小型のパーソナル電子デバイスで、アラートのコンテンツが表示される場合と頻度とを制御することができる方法を提供する。【解決手段】ディスプレイを備える電子デバイスは、イベントの発生を検出すると、イベントに対応するアラートを出力する。アラートを出力した後の時間閾値以内に手首を上げるジェスチャでインターフェイスを表示する要求を検出すると、アラートと対応するコンテンツを表示し、時間閾値以内にインターフェイスを表示する要求を検出しなければ、アラートと対応するコンテンツを表示しない。【効果】頻繁に割り込することなく、ユーザが、素早く、容易に、かつ、直観的に、デバイス上のアラートを見たり、それに応答したりすることができる。【選択図】図25

Description

[関連出願の相互参照]
この出願は、2014年9月2日出願の「Reduced-Size Interfaces For Managing Alerts」と題された米国特許仮出願第62/044,894号、及び2015年3月7日出願の「Reduced-Size Interfaces For Managing Alerts」と題された米国特許仮出願第62/129,818号に対する優先権を主張する。これらの出願の内容は、全ての目的で、参照により本明細書に組み込まれる。
この出願は、同時係属中の、2015年3月8日出願の「Reduced-Size Notification Interface」と題された米国特許仮出願第62/129,924号、2014年9月2日出願の「Reduced-Size Notification Interface」と題された米国特許仮出願第62/044,953号、2015年3月8日出願の「User Interface For Receiving User Input」と題された米国特許仮出願第62/129,903号、2015年3月3日出願の「User Interface For Receiving User Input」と題された米国特許仮出願第62/127,800号、2014年9月2日出願の「User Interface For Receiving User Input」と題された米国特許仮出願第62/044,923号、2014年7月18日出願の「Raise Gesture Detection in a Device」と題された米国特許仮出願第62/026,532号、2013年5月8日出願の「Device,Method,and Graphical User Interface for Displaying User Interface Objects Corresponding to an Application」と題された国際出願第PCT/US2013/040061号、2013年11月11日出願の「Device,Method,and Graphical User Interface for Transitioning Between Touch Input to Display Output Relationships」と題された国際出願第PCT/US2013/069483号、及び2014年9月2日出願の米国特許仮出願第62/044,894号に関連する。これらの出願の内容は、その全体が、参照により本明細書に組み込まれる。
開示された例は、一般的には、電子デバイスのユーザインターフェースに関する。
ユーザにより着用されるように構成されている小型電子デバイス(例えば、典型的な携帯電話より小さいデバイス)は、ユーザが、様々な種類のアラート、例えば、テキストメッセージ、電子メール、ボイスメール、及びカレンダーアラートを見たり、それらに応答したりするのを可能にする。アラートを見たり、アラートに応答したりするために小型電子デバイスを効率的に使用できるようにするユーザインターフェースが望まれている。
いくつかの実施形態によれば、ディスプレイを備える電子デバイスにおいて、ある方法が実行される。本方法は、情報を含むアラートを受信することと、アラートの受信に応じて、知覚出力を発することとを含む。本方法は、ユーザ入力を検出することと、ユーザ入力が知覚出力から所定の時間インターバル内で検出されたかどうかを判定することとを含む。本方法は、ユーザ入力が所定の時間インターバル内で検出されたとの判定に従って、ディスプレイ上に通知を表示することを含み、この通知は、情報の第1の部分を含む。
いくつかの実施形態によれば、ディスプレイを備える電子デバイスにおいて、ある方法が実行される。本方法は、第1のアラート及び第2のアラートを受信することを含む。本方法は、第1のアラート及び第2のアラートの受信に応じて、第1のアラート及び第2のアラートがグループ化基準に合致するかどうかを判定することを含む。本方法は、第1のアラート及び第2のアラートがグループ化基準に合致するとの判定に応じて、第1のアラート及び第2のアラートを表すグループ化された通知を表示することを含む。本方法は、第1のアラート及び第2のアラートがグループ化基準に合致しないとの判定に応じて、第1のアラートを表す第1の通知を表示することと、第1の通知の表示を、第2のアラートを表す第2の通知の表示で置き換えることとを含む。
いくつかの実施形態によれば、コンテンツを能動的に表示している電子デバイスにおいて、ある方法が実行される。本方法は、情報を含むアラートを受信することを含む。本方法は、アラートの受信に応じて、通知バナーを、ディスプレイの一部にわたって表示すること含み、本通知バナーは、情報の第1の部分を含み、コンテンツの少なくとも一部分が表示され続ける。本方法は、ディスプレイ上の、通知バナーに対応する位置における接触を検出することと、接触の検出に応じて、情報の第2の部分を表示することを含み、第2の部分は、第1の部分とは異なっている。
いくつかの実施形態によれば、命令を含む1つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体が開示される。命令は、ディスプレイを備える電子デバイスの1つ以上のプロセッサによって実行されると、電子デバイスに、情報を含むアラートを受信することと、アラートの受信に応じて、知覚出力を発することと、ユーザ入力を検出することと、ユーザ入力が知覚出力から所定の時間インターバル内で検出されたかどうかを判定することと、ユーザ入力が所定の時間インターバル内で検出されたとの判定に従って、ディスプレイ上に通知を表示することであって、通知は、情報の第1の部分を含む、ことと、を行わせる。
いくつかの実施形態によれば、命令を含む1つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体が開示される。命令は、ディスプレイを備える電子デバイスの1つ以上のプロセッサによって実行されると、電子デバイスに、複数のアラートを受信することと、複数のアラートの受信に応じて、複数のアラートがグループ化基準に合致するかどうかを判定することと、複数のアラートがグループ化基準に合致するとの判定に従って、複数のアラートを表すグループ化された通知を表示することと、複数のアラートがグループ化基準に合致しないとの判定に応じて、複数のアラートを表す複数の通知を表示することと、を行わせる。
いくつかの実施形態によれば、命令を含む1つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体が開示される。命令は、タッチ感知ディスプレイを備える電子デバイスの1つ以上のプロセッサによって実行されると、電子デバイスに対して、コンテンツを能動的に表示している間に、情報を含むアラートを受信することと、アラートの受信に応じて、通知バナーを、ディスプレイの一部にわたって表示することであって、通知バナーは、情報の第1の部分を含み、コンテンツの少なくとも一部分が表示され続ける、ことと、タッチ感知ディスプレイ上の、通知バナーに対応する位置における接触を検出することと、接触の検出に応じて、情報の第2の部分を表示することであって、第2の部分は、第1の部分とは異なっている、ことと、を行わせる。
いくつかの実施形態によれば、命令を含む1つ以上のプログラムを記憶する一時的コンピュータ可読記憶媒体が開示される。命令は、ディスプレイを備える電子デバイスの1つ以上のプロセッサによって実行されると、電子デバイスに、情報を含むアラートを受信することと、アラートの受信に応じて、知覚出力を発することと、ユーザ入力を検出することと、ユーザ入力が知覚出力から所定の時間インターバル内で検出されたかどうかを判定することと、ユーザ入力が所定の時間インターバル内で検出されたとの判定に従って、ディスプレイ上に通知を表示することであって、通知は、情報の第1の部分を含む、ことと、を行わせる。
いくつかの実施形態によれば、命令を含む1つ以上のプログラムを記憶する一時的コンピュータ可読記憶媒体が開示される。命令は、ディスプレイを備える電子デバイスの1つ以上のプロセッサによって実行されると、電子デバイスに、複数のアラートを受信することと、複数のアラートの受信に応じて、複数のアラートがグループ化基準に合致するかどうかを判定することと、複数のアラートがグループ化基準に合致するとの判定に従って、複数のアラートを表すグループ化された通知を表示することと、複数のアラートがグループ化基準に合致しないとの判定に応じて、複数のアラートを表す複数の通知を表示することと、を行わせる。
いくつかの実施形態によれば、命令を含む1つ以上のプログラムを記憶する一時的コンピュータ可読記憶媒体が開示される。命令は、タッチ感知ディスプレイを備える電子デバイスの1つ以上のプロセッサによって実行されると、電子デバイスに、コンテンツを能動的に表示している間に、情報を含むアラートを受信することと、アラートの受信に応じて、通知バナーを、ディスプレイの一部にわたって表示することであって、通知バナーは、情報の第1の部分を含み、コンテンツの少なくとも一部分が表示され続ける、ことと、タッチ感知ディスプレイ上の、通知バナーに対応する位置における接触を検出することと、接触の検出に応じて、情報の第2の部分を表示することであって、第2の部分は、第1の部分とは異なっている、ことと、を行わせる。
電子デバイスは、ディスプレイと、1つ以上のプロセッサと、メモリと、1つ以上のプログラムとを備え、1つ以上のプログラムは、メモリ内に記憶され、かつ1つ以上のプロセッサによって実行されるように構成されており、1つ以上のプログラムは、情報を含むアラートを受信し、アラートの受信に応じて、知覚出力を発するための命令と、ユーザ入力を検出し、ユーザ入力が知覚出力から所定の時間インターバル内で検出されたかどうかを判定するための命令と、ユーザ入力が所定の時間インターバル内で検出されたとの判定に従って、ディスプレイ上に通知を表示するための命令であって、通知は、情報の第1の部分を含む、命令とを含む。
電子デバイスは、ディスプレイと、1つ以上のプロセッサと、メモリと、1つ以上のプログラムとを備え、1つ以上のプログラムは、メモリ内に記憶され、かつ1つ以上のプロセッサによって実行されるように構成されており、1つ以上のプログラムは、第1のアラート及び第2のアラートを受信し、第1のアラート及び第2のアラートの受信に応じて、第1のアラート及び第2のアラートがグループ化基準に合致するかどうかを判定するための命令と、第1のアラート及び第2のアラートがグループ化基準に合致するとの判定に応じて、第1のアラート及び第2のアラートを表すグループ化された通知を表示するための命令と、第1のアラート及び第2のアラートがグループ化基準に合致しないとの判定に応じて、第1のアラートを表す第1の通知を表示し、第1の通知の表示を、第2のアラートを表す第2の通知の表示で置き換えるための命令とを含む。
電子デバイスは、タッチ感知ディスプレイと、1つ以上のプロセッサと、メモリと、1つ以上のプログラムとを備え、1つ以上のプログラムは、メモリ内に記憶され、かつ1つ以上のプロセッサによって実行されるように構成されており、1つ以上のプログラムは、情報を含むアラートを受信し、アラートの受信に応じて、通知バナーを、ディスプレイの一部にわたって表示するための命令であって、通知バナーは、情報の第1の部分を含み、コンテンツの少なくとも一部分が表示され続ける、命令と、ディスプレイ上の、通知バナーに対応する位置における接触を検出し、接触の検出に応じて、情報の第2の部分を表示するための命令であって、第2の部分は、第1の部分とは異なっている、命令とを含む。
これらの機能を実行するための実行可能命令は、非一時的コンピュータ可読記憶媒体又は1つ以上のプロセッサによって実行されるように構成された他のコンピュータプログラム製品に、任意選択的に、含まれる。これらの機能を実行するための実行可能命令は、一時的コンピュータ可読記憶媒体又は1つ以上のプロセッサによって実行されるように構成された他のコンピュータプログラム製品に、任意選択的に、含まれる。
説明される様々な実施形態のより良好な理解のために、以下の図面と併せて、以下の「発明を実施するための形態」を参照されたく、それらの図面内では、類似の参照番号は、それらの図の全体を通じて対応する部分を指す。
いくつかの実施形態に係る、タッチ感知ディスプレイを備えるポータブル多機能デバイスを示すブロック図である。
いくつかの実施形態に係る、イベント処理のための例示的な構成要素を示すブロック図である。
いくつかの実施形態に係る、タッチスクリーンを有するポータブル多機能デバイスを示す図である。
いくつかの実施形態に係る、ディスプレイ及びタッチ感知面を備える例示的な多機能デバイスのブロック図である。
いくつかの実施形態に係る、ポータブル多機能デバイス上のアプリケーションのメニューに関する例示的なユーザインターフェースを示す図である。
いくつかの実施形態に係る、ディスプレイとは別個のタッチ感知面を備える多機能デバイスに関する例示的なユーザインターフェースを示す図である。
いくつかの実施形態に係る、パーソナル電子デバイスを示す図である。
いくつかの実施形態に係る、パーソナル電子デバイスを示すブロック図である。
強度センサによる接触の検出を示す図である。
接触に対する集合強度の割り当てを示す図である。
接触の強度を有するジェスチャの検出を示す図である。 接触の強度を有するジェスチャの検出を示す図である。 接触の強度を有するジェスチャの検出を示す図である。 接触の強度を有するジェスチャの検出を示す図である。
例示的なユーザインターフェースを示す図である。 例示的なユーザインターフェースを示す図である。 例示的なユーザインターフェースを示す図である。
例示的なユーザインターフェースを示す図である。
例示的なユーザインターフェースを示す図である。
例示的なユーザインターフェースを示す図である。
例示的なユーザインターフェースを示す図である。
例示的なユーザインターフェースを示す図である。
例示的なユーザインターフェースを示す図である。 例示的なユーザインターフェースを示す図である。 例示的なユーザインターフェースを示す図である。
例示的なユーザインターフェースを示す図である。 例示的なユーザインターフェースを示す図である。
例示的なユーザインターフェースを示す図である。
例示的なユーザインターフェースを示す図である。
例示的なユーザインターフェースを示す図である。
例示的なユーザインターフェースを示す図である。
例示的なユーザインターフェースを示す図である。
例示的なユーザインターフェースを示す図である。
例示的なユーザインターフェースを示す図である。
例示的なユーザインターフェースを示す図である。
例示的なユーザインターフェースを示す図である。
例示的なユーザインターフェースを示す図である。 例示的なユーザインターフェースを示す図である。 例示的なユーザインターフェースを示す図である。
例示的なユーザインターフェースを示す図である。
アラートを管理するための例示的なプロセスを示す図である。
アラートを管理するための例示的なプロセスを示す図である。
アラートを管理するための例示的なプロセスを示す図である。
いくつかの実施形態に係る、電子デバイスの例示的な機能ブロック図である。 いくつかの実施形態に係る、電子デバイスの例示的な機能ブロック図である。 いくつかの実施形態に係る、電子デバイスの例示的な機能ブロック図である。 いくつかの実施形態に係る、電子デバイスの例示的な機能ブロック図である。
以下の説明では、例示的な方法、パラメータなどが記載される。ただし、そのような説明は、本開示の範囲に対する制限として意図されるものではなく、例示的な実施形態の説明として提供されることを認識されたい。
上述のとおり、ユーザにより着用されるように構成された小型のパーソナル電子デバイスは、ユーザが、様々なアラート、例えば、テキストメッセージ、電子メール、ボイスメール、音声メッセージ、ストックアラート、クロックアラーム、カレンダーアラート、フィットネスアラート、ストアクーポン又はポイントポログラムアラートを、例えば、ユーザインターフェースを介して見たり、それらに応答したりするのを可能にする。しかしながら、小型デバイスには、アラートを見たり、アラートに応答したりするのに関連するいくつかの課題が存在する。例えば、大きな画面用に設計されたユーザインターフェースアプローチは、小型画面を有する電子デバイス上では、十分に動作しないおそれがある。より小型の画面サイズは、例えば、アラートに関連するテキストコンテンツが読みづらかったり、正確な入力をタッチスクリーンに提供するのが困難であったりするおそれがある。詳細なデバイス利用説明を表示するには画面のスペースが十分でない場合があるため、ユーザインターフェースは、習得したり、使用したりするのに直観的であることが重要である。限られた画面サイズのために、複数のタイル状の画面を表示するのは実用的でない場合があり、このため、ある画面を他の画面で置き換えること、及び単一の画面上に表示される情報量を制限することは、より効果的なユーザインターフェース戦略となり得る。
上記利用上の懸念に加えて、携帯電話又はラップトップコンピュータなどのより大型の電子デバイスによく見られるように、ポケット、ケース、又はハンドバックに入れられるのではなく、小型電子デバイスが、ユーザにより(例えば、シャツ、ベルト、ブレスレット、又はネックレスに取り付けることによって)外側に身に着けられた場合、プライバシーの懸念が存在するおそれがある。ユーザは、近くにいる他人がアラートを見ることができるであろうと懸念する場合があるため、このようなユーザインターフェースは、ユーザが、アラートのコンテンツが表示される場合と頻度とを制御することができることが望ましい。更に、デバイスがユーザにより着用されているため、例えば、携帯電話よりユーザに密着している場合、このようなユーザインターフェースは、頻繁な割り込みによりユーザを困らせないことが望ましい。理想的には、ユーザが、素早く、容易に、かつ直観的に、小型のパーソナル電子デバイス上のアラートを見たり、それに応答したりすることができるユーザインターフェースである。そのような技術は、アラートを使用するユーザの認識的負担を軽減し、それによって生産性を高め得る。更には、そのような技術は、通常であれば冗長なユーザ入力に対して浪費されるプロセッサ及びバッテリの電力を削減することができる。
以下、図1A、図1B、図2、図3、図4A、図4B、図5A、及び図5Bは、アラート通知を管理するための手法を実行するための例示的なデバイスの説明を提供する。図6A~図24は、アラート通知を管理するための、例示的なユーザインターフェースを示す。これらの図のユーザインターフェースはまた、図25~図27のプロセスを含む、以下で説明されるプロセスを示すためにも使用される。
以下の説明では、様々な要素を説明するために、「第1の」、「第2の」などの用語が使用されるが、これらの要素は、これらの用語によって限定されるべきではない。これらの用語は、ある要素を別の要素と区別するためにのみ使用される。例えば、説明される様々な実施形態の範囲から逸脱することなく、第1のタッチを第2のタッチと呼ぶことが可能であり、同様に、第2のタッチを第1のタッチと呼ぶことも可能である。第1のタッチ及び第2のタッチは、双方ともタッチであるが、同じタッチではない。
本明細書で説明される様々な実施形態の説明で使用される用語は、特定の実施形態を説明することのみを目的とするものであって、限定することを意図するものではない。説明される様々な実施形態の説明及び添付の特許請求の範囲で使用されるとき、単数形「a」、「an」、及び「the」は、文脈がそうではないことを明確に示さない限り、複数形もまた含むことが意図されている。本明細書で使用されるとき、用語「及び/又は」は、関連する列挙された項目のうちの1つ以上のあらゆる全ての可能な組み合わせを指し、かつこれを含むことをもまた理解されたい。用語「includes(含む)」、「including(含む)」、「comprises(備える)」及び/又は「comprising(備える)」は、本明細書で使用されるとき、述べられた特徴、整数、ステップ、動作、要素、及び/又は構成要素の存在を指定するが、1つ以上の他の特徴、整数、ステップ、動作、要素、構成要素、及び/又はそれらの群の存在又は追加を除外しないことが更に理解されるであろう。
用語「if(~場合に)」は、文脈に応じて「when(~ときに)」又は「upon(~ときに)」又は「in response to determining(~との判定に応じて)」、又は「in response to detecting(~の検出に応じて)」を意味すると解釈することができる。同様に、句「if it is determined(~と判定される場合に)」又は「if [a stated condition or event] is detected([述べられる条件又はイベント]が検出される場合に)」は、文脈に応じて「upon determining(~と判定されるときに)」又は「in response to determining(~との判定に応じて)」、「upon detecting [the stated condition or event]([述べられる条件又はイベント]の検出時に)」、又は「in response to detecting [the stated condition or event]([述べられる条件又はイベント]の検出に応じて)」を意味すると解釈することができる。
電子デバイス、そのようなデバイス用のユーザインターフェース、及びそのようなデバイスを使用するための関連プロセスの実施形態を説明する。いくつかの実施形態では、このデバイスは、PDA機能及び/又は音楽再生機能などの他の機能をも含む、モバイル電話機などのポータブル通信デバイスである。ポータブル多機能デバイスの例示的な実施形態は、限定を伴わずに、Apple Inc.(Cupertino,California)のiPhone(登録商標)、iPod Touch(登録商標)、及びiPad(登録商標)デバイスを含む。タッチ感知面(例えば、タッチスクリーンディスプレイ及び/又はタッチパッド)を備えたラップトップ又はタブレットコンピュータなどの他のポータブル電子デバイスも、任意選択的に使用する。また、いくつかの実施形態では、このデバイスは、ポータブル通信デバイスではなく、タッチ感知面(例えば、タッチスクリーンディスプレイ及び/又はタッチパッド)を備えたデスクトップコンピュータであることを理解されたい。
以下の論考では、ディスプレイ及びタッチ感知面を備える電子デバイスを説明する。しかし、この電子デバイスが、物理キーボード、マウス、及び/又はジョイスティックなどの1つ以上の他の物理ユーザインターフェースデバイスを任意選択的に含むことを理解されたい。
デバイスは、描画アプリケーション、プレゼンテーションアプリケーション、ワードプロセッシングアプリケーション、ウェブサイト作成アプリケーション、ディスクオーサリングアプリケーション、スプレッドシートアプリケーション、ゲームアプリケーション、電話アプリケーション、テレビ会議アプリケーション、電子メールアプリケーション、インスタントメッセージングアプリケーション、トレーニングサポートアプリケーション、写真管理アプリケーション、デジタルカメラアプリケーション、デジタルビデオカメラアプリケーション、ウェブブラウジングアプリケーション、デジタル音楽再生アプリケーション、及び/又はデジタルビデオ再生アプリケーションのうちの1つ以上など、様々なアプリケーションをサポートしてもよい。
デバイス上で実行される様々なアプリケーションは、タッチ感知面などの、少なくとも1つの共通の物理ユーザインターフェースデバイスを任意選択的に使用する。タッチ感知面の1つ以上の機能並びにデバイス上に表示される対応する情報は、アプリケーションごとに、かつ/又はそれぞれのアプリケーション内で、任意選択的に調整及び/又は変更される。このように、デバイスの共通の(タッチ感知面などの)物理アーキテクチャは、ユーザにとって直観的で分かりやすいユーザインターフェースを有する様々なアプリケーションを任意選択的にサポートする。
ここで、タッチ感知ディスプレイを備えるポータブルデバイスの実施形態に注意を向ける。図1Aは、いくつかの実施形態に係る、タッチ感知ディスプレイシステム112を備えるポータブル多機能デバイス100を示すブロック図である。タッチ感知ディスプレイ112は、便宜上「タッチスクリーン」と呼ばれる場合があり、「タッチ感知ディスプレイシステム」として既知であるか、又はそのように呼ばれる場合がある。デバイス100は、メモリ102(任意選択的に、1つ以上のコンピュータ可読記憶媒体を含む)、メモリコントローラ122、1つ以上の処理ユニット(CPU)120、周辺機器インターフェース118、RF回路108、オーディオ回路110、スピーカ111、マイクロフォン113、入出力(I/O)サブシステム106、他の入力制御デバイス116、及び外部ポート124を含む。デバイス100は、1つ以上の光センサ164を任意選択的に含む。デバイス100は、デバイス100(例えば、デバイス100のタッチ感知ディスプレイシステム112などのタッチ感知面)上の接触の強度を検出するための、1つ以上の接触強度センサ165を任意選択的に含む。デバイス100は、デバイス100上に触知出力を生成する(例えば、デバイス100のタッチ感知ディスプレイシステム112又はデバイス300のタッチパッド355などのタッチ感知面上に触知出力を生成する)ための、1つ以上の触知出力生成器167を任意選択的に含む。これらの構成要素は、1つ以上の通信バス又は信号線103を介して、任意選択的に通信する。
本明細書及び特許請求の範囲で使用するとき、タッチ感知面上の接触の「強度」という用語は、タッチ感知面上の接触(例えば、指接触)の力又は圧力(単位面積当たりの力)、あるいはタッチ感知面上の接触の力又は圧力の代替物(代用物)を指す。接触の強度は、少なくとも4つの異なる値を含み、より典型的には、数百(例えば、少なくとも256)の異なる値を含む、値の範囲を有する。接触の強度は、任意選択的に、様々な手法、及び様々なセンサ又はセンサの組み合わせを使用して、判定(又は、測定)される。例えば、タッチ感知面の下の、又はタッチ感知面に隣接する、1つ以上の力センサを任意選択的に使用して、タッチ感知面上の様々な点での力を測定する。いくつかの実装では、複数の力センサからの力測定値を組み合わせて(例えば、加重平均で)、推定される接触の力を判定する。同様に、スタイラスの感圧性先端部を任意選択的に使用して、タッチ感知面上のスタイラスの圧力を判定する。あるいは、タッチ感知面上で検出される接触領域のサイズ及び/若しくはその変化、接触に近接するタッチ感知面の静電容量及び/若しくはその変化、並びに/又は、接触に近接するタッチ感知面の抵抗及び/若しくはその変化が、タッチ感知面上の接触の力又は圧力の代用物として、任意選択的に用いられる。いくつかの実装では、接触の力又は圧力の代替的測定値は、強度閾値を超えているかどうかを判定するために直接用いられる(例えば、強度閾値は、代替的測定値に対応する単位で記述される)。いくつかの実装では、接触の力又は圧力の代替的測定値は、推定される力又は圧力に変換され、この推定される力又は圧力を使用して、強度閾値を超えているかどうか判定される(例えば、強度閾値は、圧力の単位で測定される圧力閾値である)。接触の強度をユーザ入力の属性として使用することにより、アフォーダンスを(例えば、タッチ感知ディスプレイ上に)表示するための、及び/又は、ユーザ入力を(例えば、タッチ感知ディスプレイ、タッチ感知面、又はノブ若しくはボタンなどの物理的/機械的制御部を介して)受信するための面積が制限されている小型デバイス上で、通常であればユーザによるアクセスは不可能であり得る追加的なデバイス機能への、ユーザのアクセスが可能となる。
本明細書及び特許請求の範囲で使用するとき、用語「触知出力」は、ユーザの触覚を使用してユーザによって検出されることになる、デバイスの従前の位置に対するそのデバイスの物理的変位、デバイスの別の構成要素(例えば、筐体)に対するそのデバイスの構成要素(例えば、タッチ感知面)の物理的変位、又はデバイスの質量中心に対する構成要素の変位を指す。例えば、デバイス又はデバイスの構成要素が、タッチに敏感なユーザの表面(例えば、指、手のひら、又はユーザの手の他の部分)に接触している状況では、物理的変位によって生成される触知出力は、そのデバイス又はデバイスの構成要素の物理的特性の知覚される変化に対応する触感として、ユーザによって解釈されることになる。例えば、タッチ感知面(例えば、タッチ感知ディスプレイ又はトラックパッド)の移動は、ユーザによって、物理アクチュエータボタンの「ダウンクリック」又は「アップクリック」として、任意選択的に解釈される。一部の場合には、ユーザの移動によって物理的に押圧される(例えば、変位される)、タッチ感知面に関連付けられた物理アクチュエータボタンの移動がない場合であっても、ユーザは、「ダウンクリック」又は「アップクリック」などの触感を感じることになる。別の例として、タッチ感知面の移動は、タッチ感知面の平滑度に変化がないときでさえ、タッチ感知面の「粗さ」として、ユーザによって任意選択的に解釈又は感知される。ユーザによるタッチのかかる解釈は、ユーザの個別の感覚認知によるが、大多数のユーザに共通したタッチの感覚認知が数多くある。それゆえ、触知出力が、ユーザの特定の感覚認知(例えば、「アップクリック」、「ダウンクリック」、「粗さ」)に対応するものとして説明される場合、特に明記しない限り、生成される触知出力は、典型的な(又は、平均的な)ユーザに対して、その説明される感覚認知を生じさせる、デバイス又はその構成要素の物理的変位に対応する。
デバイス100は、ポータブル多機能デバイスの一実施例に過ぎず、デバイス100は、示されているものよりも多くの構成要素又は少ない構成要素を任意選択的に有し、2つ以上の構成要素を任意選択的に組み合わせるか、又は、それらの構成要素の異なる構成若しくは配置を任意選択的に有することを理解されたい。図1Aに示される様々な構成要素は、1つ以上の信号処理回路及び/又は特定用途向け集積回路を含む、ハードウェア、ソフトウェア、又はハードウェア及びソフトウェアの双方の組み合わせの形態で実装される。
メモリ102は、1つ以上のコンピュータ可読記憶媒体を含んでもよい。コンピュータ可読記憶媒体は、有形かつ非一時的であってもよい。メモリ102は、高速ランダムアクセスメモリを含んでもよく、また、1つ以上の磁気ディスク記憶デバイス、フラッシュメモリデバイス、又は他の不揮発性ソリッドステートメモリデバイスなどの、不揮発性メモリを含んでもよい。メモリコントローラ122は、デバイス100の他の構成要素によるメモリ102へのアクセスを制御してもよい。
周辺機器インターフェース118を使用して、デバイスの入力及び出力周辺機器を、CPU120及びメモリ102に結合することができる。1つ以上のプロセッサ120は、メモリ102に記憶された様々なソフトウェアプログラム及び/若しくは命令セットを走らせたり、実行したりして、デバイス100に関する様々な機能を実行し、かつデータを処理する。いくつかの実施形態では、周辺機器インターフェース118、CPU120、及びメモリコントローラ122は、チップ104などの単一チップ上に実装されてもよい。一部の他の実施形態では、それらは、別個のチップ上に実装されてもよい。
RF(無線周波数)回路108は、電磁信号とも呼ばれるRF信号を送受信する。RF回路108は、電気信号を電磁信号に、又は電磁信号を電気信号に変換し、電磁信号を介して通信ネットワーク及び他の通信デバイスと通信する。RF回路108は、アンテナシステム、RF送受信機、1つ以上の増幅器、同調器、1つ以上の発振器、デジタル信号プロセッサ、CODECチップセット、加入者識別モジュール(SIM)カード、メモリなどを含むがこれらに限定されない、これらの機能を実行するための周知の回路を任意選択的に含む。RF回路108は、インターネット情報検索システム(WWW)とも呼ばれるインターネットなどのネットワーク、セルラー電話ネットワークなどのイントラネット及び/又は無線ネットワーク、無線ローカルエリアネットワーク(LAN)及び/又はメトロポリタンエリアネットワーク(MAN)、並びに他のデバイスと、無線通信によって、任意選択的に通信する。RF回路108は、短距離通信無線によるものなどの、近距離通信(NFC)フィールドを検出するための、周知の回路機構を任意選択的に含む。無線通信は、複数の通信規格、通信プロトコル、及び通信技術のうちのいずれかを任意選択的に使用し、それらの通信規格、通信プロトコル、及び通信技術としては、移動通信用のグローバルシステム(Global System for Mobile Communications、GSM(登録商標))、拡張データGSM環境(Enhanced Data GSM Environment、EDGE)、高速ダウンリンクパケットアクセス(high-speed downlink packet access、HSDPA)、高速アップリンクパケットアクセス(high-speed uplink packet access、HSUPA)、Evolution,Data-Only(EV-DO)、HSPA、HSPA+、2重セルHSPA(Dual-Cell HSPA、DC-HSPDA)、ロングタームエボリューション(long term evolution、LTE)、近距離無線通信(near field communication、NFC)、広帯域符号分割多元接続(wideband code division multiple access、W-CDMA)、符号分割多元接続(code division multiple access、CDMA)、時分割多元接続(time division multiple access、TDMA)、Bluetooth(登録商標)、Bluetooth Low Energy(BTLE)、Wireless Fidelity(Wi-Fi)(登録商標)(例えば、IEEE802.11a、IEEE802.11b、IEEE802.11g、IEEE802.11n、及び/又はIEEE802.11ac)、ボイスオーバーインターネットプロトコル(voice over Internet Protocol、VoIP)、Wi-MAX、電子メール用のプロトコル(例えば、インターネットメッセージアクセスプロトコル(Internet message access protocol、IMAP)及び/又はポストオフィスプロトコル(post office protocol、POP))、インスタントメッセージング(例えば、拡張可能メッセージング及びプレゼンスプロトコル(extensible messaging and presence protocol、XMPP)、インスタントメッセージング及びプレゼンス利用拡張向けセッション開始プロトコル(Session Initiation Protocol for Instant Messaging and Presence Leveraging Extensions、SIMPLE)、インスタントメッセージング及びプレゼンスサービス(Instant Messaging and Presence Service、IMPS))、及び/又はショートメッセージサービス(Short Message Service、SMS)、あるいは本文書の出願日現在までに未だ開発されていない通信プロトコルを含めた任意の他の好適な通信プロトコルが挙げられるが、これらに限定されない。
オーディオ回路110、スピーカ111、及びマイクロフォン113は、ユーザとデバイス100との間の音声インターフェースを提供する。オーディオ回路110は、周辺機器インターフェース118から音声データを受信し、音声データを電気信号に変換し、電気信号をスピーカ111に送信する。スピーカ111は、電気信号を人間の可聴音波に変換する。オーディオ回路110はまた、マイクロフォン113により音波から変換された電気信号を受信する。オーディオ回路110は、電気信号を音声データに変換し、処理するために音声データを周辺機器インターフェース118に送信する。音声データは、周辺機器インターフェース118によって、メモリ102及び/又はRF回路108から取得され、かつ/あるいはメモリ102及び/又はRF回路108に送信されてもよい。いくつかの実施形態では、オーディオ回路110はまた、ヘッドセットジャック(例えば、図2の212)を備える。ヘッドセットジャックは、オーディオ回路110と、出力専用ヘッドホン又は出力(例えば、片耳又は両耳用のヘッドホン)及び入力(例えば、マイクロフォン)の両方を持つヘッドセットなどの、取り外し可能なオーディオ入出力周辺機器との間のインターフェースを提供する。
I/Oサブシステム106は、周辺機器インターフェース118に、タッチスクリーン112及び他の入力制御デバイス116などのデバイス100の入出力周辺機器を接続する。I/Oサブシステム106は、ディスプレイコントローラ156、光センサコントローラ158、強度センサコントローラ159、触覚フィードバックコントローラ161、及び他の入力又は制御デバイス用の1つ以上の入力コントローラ160を、任意選択的に含む。1つ以上の入力コントローラ160は、他の入力制御デバイス116との間で、電気信号の送受信を行う。他の入力制御デバイス116は、物理ボタン(例えば、プッシュボタン、ロッカボタンなど)、ダイヤル、スライダースイッチ、ジョイスティック、クリックホイールなどを、任意選択的に含む。いくつかの代替的実施形態において、入力コントローラ(1つ又は複数)160は、キーボード、赤外線ポート、USBポート、及びマウスなどのポインタデバイスのうちのいずれかに、任意選択的に接続される(又は、いずれにも接続されない)。1つ以上のボタン(例えば、図2の208)は、スピーカ111及び/又はマイクロフォン113の音量調節のためのアップ/ダウンボタンを任意選択的に含む。1つ以上のボタンは、プッシュボタン(例えば、図2の206)を任意選択的に含む。
2005年12月23日に出願された、米国特許第7,657,849号である米国特許出願第11/322,549号、「Unlocking a Device by Performing Gestures on an Unlock Image」に記載されているように、プッシュボタンの素早い押下により、タッチスクリーン112のロックが解かれるか、又はタッチスクリーン上のジェスチャを用いてデバイスをロック解除する処理が開始されてもよい。同出願は、その全体が本明細書において参照により組み込まれている。プッシュボタン(例えば、206)のより長い押下により、デバイス100の電源を、オン又はオフにすることができる。ユーザは、ボタンのうちの1つ以上の機能をカスタマイズすることが可能であってもよい。タッチスクリーン112は、仮想若しくはソフトボタン並びに1つ以上のソフトキーボードを実装するために用いられる。
タッチ感知ディスプレイ112は、デバイスとユーザとの間の入力インターフェース及び出力インターフェースを提供する。ディスプレイコントローラ156は、タッチスクリーン112との間で、電気信号の送受信を行う。タッチスクリーン112は、ユーザに視覚出力を表示する。この視覚出力は、グラフィック、テキスト、アイコン、ビデオ、及びそれらの任意の組み合わせ(「グラフィック」と総称される)を含み得る。いくつかの実施形態では、これらの視覚出力の一部又は全ては、ユーザインターフェースオブジェクトに対応し得る。
タッチスクリーン112は、触覚及び/若しくは触感の接触に基づくユーザからの入力を受け付けるタッチ感知面、センサ、又はセンサのセットを有している。タッチスクリーン112及びディスプレイコントローラ156は(メモリ102内の任意の関連モジュール及び/又は命令セットと共に)、タッチスクリーン112上で接触(及び任意の移動又は接触の中断)を検出し、検出された接触をタッチスクリーン112上に表示されたユーザインターフェースオブジェクト(例えば、1つ以上のソフトキー、アイコン、ウェブページ、又は画像)との対話に変換する。例示的な実施形態では、タッチスクリーン112とユーザとの間の接触点は、ユーザの指に対応する。
タッチスクリーン112は、LCD(liquid crystal display、液晶ディスプレイ)技術、LPD(light emitting polymer display、発光ポリマーディスプレイ)技術、又はLED(light emitting diode、発光ダイオード)技術を用いてもよいが、他の実施形態では、その他のディスプレイ技術が使用されてもよい。タッチスクリーン112及びディスプレイコントローラ156は、限定するものではないが、静電容量技術、抵抗性技術、赤外線技術、及び表面超音波技術、並びにタッチスクリーン112との1つ以上の接触点を判定するための、他の近接センサアレイ又は他の要素を含む、現在知られているか若しくは今後開発される複数のタッチ感知技術のうちのいずれかを使用して、接触及びそのあらゆる移動若しくは中断を検出してもよい。例示的な実施形態では、Apple Inc.(Cupertino,California)のiPhone(登録商標)及びiPod Touch(登録商標)において見られるものなどの、投影型相互静電容量感知技術が使用されている。
タッチスクリーン112のいくつかの実施形態におけるタッチ感知ディスプレイは、以下の米国特許第6,323,846号(Westerman et al.)、第6,570,557号(Westerman et al.)、及び/若しくは第6,677,932号(Westerman)、並びに/又は米国特許出願公開第2002/0015024(A1)号に記載されているマルチタッチ感知タッチパッドに類似していてもよい。同文献のそれぞれは、その全体が本明細書において参照により組み込まれている。ただし、タッチスクリーン112は、デバイス100からの視覚出力を表示するのに対して、タッチ感知タッチパッドは、視覚出力を提供しない。
タッチスクリーン112のいくつかの実施形態におけるタッチ感知ディスプレイは、以下の出願で説明されているとおりであってもよい。(1)2006年5月2日出願の米国特許出願第11/381,313号、「Multipoint Touch Surface Controller」、(2)2004年5月6日出願の米国特許出願第10/840,862号、「Multipoint Touchscreen」、(3)2004年7月30日出願の米国特許出願第10/903,964号、「Gestures For Touch Sensitive Input Devices」、(4)2005年1月31日出願の米国特許出願第11/048,264号、「Gestures For Touch Sensitive Input Devices」、(5)2005年1月18日出願の米国特許出願第11/038,590号、「Mode-Based Graphical User Interfaces For Touch Sensitive Input Devices」、(6)2005年9月16日出願の米国特許出願第11/228,758号、「Virtual Input Device Placement On A Touch Screen User Interface」、(7)2005年9月16日出願の米国特許出願第11/228,700号、「Operation Of A Computer With A Touch Screen Interface」、(8)2005年9月16日出願の米国特許出願第11/228,737号、「Activating Virtual Keys Of A Touch-Screen Virtual Keyboard」、及び(9)2006年3月3日出願の米国特許出願第11/367,749号、「Multi-Functional Hand-Held Device」。これらの出願の全ては、その全体が参照により本明細書に組み込まれる。
タッチスクリーン112は、100dpiを超えるビデオ解像度を有し得る。いくつかの実施形態では、タッチスクリーンは、約160dpiのビデオ解像度を有する。ユーザは、スタイラス、指などの、任意の好適な物体又は付属物を使用して、タッチスクリーン112に接触してもよい。いくつかの実施形態では、ユーザインターフェースは、主として指に基づく接触及びジェスチャで機能するように設計されるが、これらは、タッチスクリーン上での指の接触面積がより広いことにより、スタイラスに基づく入力よりも精度が低い恐れがある。いくつかの実施形態において、デバイスは、指に基づく粗い入力を、ユーザによって所望されるアクションを実行するための、正確なポインタ/カーソルの位置又はコマンドに変換する。
いくつかの実施形態では、タッチスクリーンに加えて、デバイス100は、特定の機能をアクティブ化又は非アクティブ化するための、タッチパッド(図示せず)を含んでもよい。いくつかの実施形態では、タッチパッドは、タッチスクリーンとは異なり、視覚出力を表示しない、デバイスのタッチ感知エリアである。タッチパッドは、タッチスクリーン112とは別個のタッチ感知面であってもよく、あるいはタッチスクリーンによって形成されるタッチ感知面の拡張部であってもよい。
デバイス100はまた、様々な構成要素に電力を供給するための、電力システム162も含む。電力システム162は、電力管理システム、1つ以上の電源(例えば、バッテリ、交流(AC))、再充電システム、停電検出回路、電力コンバータ又はインバータ、電力状態インジケータ(例えば、発光ダイオード(LED))、並びにポータブルデバイス内での電力の生成、管理、及び分配に関連付けられる任意の他の構成要素を含んでもよい。
デバイス100はまた、1つ以上の光センサ164を含んでもよい。図1Aは、I/Oサブシステム106内の光センサコントローラ158に結合された光センサを示す。光センサ164は、電荷結合素子(CCD)又は相補的金属酸化物半導体(CMOS)フォトトランジスタを含んでもよい。光センサ164は、1つ以上のレンズを通して投影された、環境からの光を受光し、その光を、画像を表すデータに変換する。撮像モジュール143(カメラモジュールとも呼ばれる)と関連して、光センサ164は、静止画像又はビデオを取り込んでもよい。いくつかの実施形態では、光センサは、デバイスの前面上のタッチスクリーンディスプレイ112の反対側である、デバイス100の背面上に配置されることにより、タッチスクリーンディスプレイは、静止画像及び/又はビデオ画像の取得のためのビューファインダとして使用することが可能となる。いくつかの実施形態では、光センサは、デバイスの前面上に配置されることにより、ユーザがタッチスクリーンディスプレイ上で他のテレビ会議の参加者を見ながら、ユーザの画像をテレビ会議のために取得することができる。いくつかの実施形態では、光センサ164の位置は、ユーザによって(例えば、デバイス筐体内のレンズ及びセンサを回転させることによって)変更することができ、それにより、テレビ会議並びに静止画像及び/又はビデオ画像の取得の双方のために、単一の光センサ164を、タッチスクリーンディスプレイと共に使用することができる。
デバイス100はまた、1つ以上の接触強度センサ165を任意選択的に含む。図1Aは、I/Oサブシステム106内の強度センサコントローラ159に結合された接触強度センサを示す。接触強度センサ165は、1つ以上のピエゾ抵抗ひずみゲージ、電気容量式力センサ、電気力センサ、圧電力センサ、光学力センサ、容量式タッチ感知面、又は他の強度センサ(例えば、タッチ感知面上の接触の力(又は圧力)を測定するために使用するセンサ)を任意選択的に含む。接触強度センサ165は、環境から、接触強度情報(例えば、圧力情報又は圧力情報の代用物)を受信する。いくつかの実施形態では、少なくとも1つの接触強度センサは、タッチ感知面(例えば、タッチ感知ディスプレイシステム112)に併置されているか、又は近接している。いくつかの実施形態では、少なくとも1つの接触強度センサは、デバイス100の前面に配置されたタッチスクリーンディスプレイ112の反対側である、デバイス100の背面に配置されている。
デバイス100はまた、1つ以上の近接センサ166を含んでもよい。図1Aは、周辺機器インターフェース118に結合された近接センサ166を示す。あるいは、近接センサ166は、I/Oサブシステム106内の入力コントローラ160に結合されてもよい。近接センサ166は、米国特許出願第11/241,839号、「Proximity Detector In Handheld Device」、同第11/240,788号、「Proximity Detector In Handheld Device」、同第11/620,702号、「Using Ambient Light Sensor To Augment Proximity Sensor Output」、同第11/586,862号、「Automated Response To And Sensing Of User Activity In Portable Devices」、及び同第11/638,251号、「Methods And Systems For Automatic Configuration Of Peripherals」で説明されるように機能し得るものであり、これらの出願は、その全体が参照により本明細書に組み込まれる。いくつかの実施形態では、多機能デバイスが、ユーザの耳の近くに配置される場合(例えば、ユーザが電話通話を行っている場合)、近接センサは、タッチスクリーン112をオフにして無効化する。
デバイス100はまた、1つ以上の触知出力生成器167を任意選択的に含む。図1Aは、I/Oサブシステム106内の触覚フィードバックコントローラ161に結合された触知出力生成器167を示す。触知出力生成器167は、スピーカ又は他のオーディオ構成要素などの1つ以上の電気音響デバイス、及び/又はモータ、ソレノイド、電気活性ポリマー、圧電アクチュエータ、静電アクチュエータ、若しくは他の触知出力構成要素(例えば、デバイス上で電気信号を触知出力に変換する構成要素)などの、エネルギーを直線運動に変換する電気機械デバイスを、任意選択的に含む。接触強度センサ165は、触覚フィードバックモジュール133から触知フィードバック生成命令を受信し、デバイス100のユーザが感知できる触知出力をデバイス100上で生成する。いくつかの実施形態において、少なくとも1つの触知出力生成器は、タッチ感知面(例えば、タッチ感知ディスプレイシステム112)と併置されているか、又は近接しており、任意選択的に、タッチ感知面を垂直方向に(例えば、デバイス100の表面の内/外)又は横方向(例えば、デバイス100の表面と同じ平面の前後方向)に移動させることによって、触知出力を生成する。いくつかの実施形態において、少なくとも1つの触知出力生成器センサは、デバイス100の前面に配置されたタッチスクリーンディスプレイ112の反対側である、デバイス100の背面に配置されている。
デバイス100はまた、1つ以上の加速度計168を含んでもよい。図1Aは、周辺機器インターフェース118に結合された加速度計168を示す。あるいは、加速度計168は、I/Oサブシステム106内の入力コントローラ160に結合されてもよい。加速度計168は、米国特許出願公開第2005/0190059号、「Acceleration-based Theft Detection System for Portable Electronic Devices」、及び同第2006/0017692号、「Methods And Apparatuses For Operating A Portable Device Based On An Accelerometer」で説明されるように機能し得るものであり、これらの文献はどちらも、その全体が参照により本明細書に組み込まれる。いくつかの実施形態では、情報は、1つ以上の加速度計から受信したデータの分析に基づいて、縦長表示又は横長表示でタッチスクリーンディスプレイ上に表示される。デバイス100は、加速度計(1つ又は複数)168に加えて、磁力計(図示せず)並びにデバイス100の位置及び向き(例えば、ポートレート又はランドスケープ)に関する情報を取得するためのGPS(又はGLONASS又は他のグローバルナビゲーションシステム)受信部(図示せず)を任意選択的に含む。
いくつかの実施形態において、メモリ102に記憶されたソフトウェア構成要素は、オペレーティングシステム126、通信モジュール(又は命令セット)128、接触/動きモジュール(又は命令セット)130、グラフィックモジュール(又は命令セット)132、テキスト入力モジュール(又は命令セット)134、全地球測位システム(GPS)モジュール(又は命令セット)135、及びアプリケーション(又は命令セット)136を含む。更に、いくつかの実施形態では、図1A及び図3に示すように、メモリ102(図1A)又はメモリ370(図3)は、デバイス/グローバル内部状態157を記憶する。デバイス/グローバル内部状態157は、現在アクティブ状態のアプリケーションがある場合、どのアプリケーションがアクティブかを示す、アクティブアプリケーション状態と、どのアプリケーション、ビュー、又は他の情報がタッチスクリーンディスプレイ112の様々な領域を占領しているかを示す、表示状態と、デバイスの様々なセンサ及び入力制御デバイス116から得た情報を含む、センサ状態と、デバイスの位置及び/又は姿勢に関する位置情報と、のうちの1つ以上を含む。
オペレーティングシステム126(例えば、Darwin(登録商標)、RTXC(登録商標)、LINUX(登録商標)、UNIX(登録商標)、OS X(登録商標)、iOS(登録商標)、WINDOWS(登録商標)、又はVxWorks(登録商標)などの組み込みオペレーティングシステム)は、一般的なシステムタスク(例えば、メモリ管理、記憶デバイス制御、電力管理など)を制御及び管理するための、様々なソフトウェア構成要素及び/又はドライバを含み、様々なハードウェア構成要素とソフトウェア構成要素との間の通信を容易にする。
通信モジュール128は、1つ以上の外部ポート124を介した他のデバイスとの通信を容易にし、また、RF回路108及び/又は外部ポート124によって受信されたデータを処理するための様々なソフトウェア構成要素も含む。外部ポート124(例えば、ユニバーサルシリアルバス(USB)、FIREWIRE(登録商標)など)は、他のデバイスに直接結合するように、又はネットワーク(例えば、インターネット、無線LANなど)を介して間接的に結合するように、適合される。いくつかの実施形態では、外部ポートは、iPod(登録商標)(AppleInc.の商標)デバイス上で使用される30ピンコネクタと同一の、又はこれに類似した及び/若しくは互換性のあるマルチピン(例えば、30ピン)コネクタである。
接触/動きモジュール130は、(ディスプレイコントローラ156と併せて)タッチスクリーン112との接触、及び他のタッチ感知デバイス(例えば、タッチパッド又は物理クリックホイール)との接触を任意選択的に検出する。接触/動きモジュール130は、接触が生じたか否かを判定すること(例えば、指を下ろすイベントを検出すること)、接触の強度(例えば、接触の力若しくは圧力、又は接触の力若しくは圧力の代替物)を判定すること、接触の移動が存在するか否かを判定し、タッチ感知面を横断する移動を追跡すること(例えば、指をドラッグする1つ以上のイベントを検出すること)、及び接触が停止したか否かを判定すること(例えば、指を上げるイベント又は接触の中断を検出すること)などの、接触の検出に関する様々な動作を実行するための、様々なソフトウェア構成要素を含む。接触/動きモジュール130は、タッチ感知面から接触データを受信する。一連の接触データにより表される接触点の移動を判定することは、接触点の速さ(大きさ)、速度(大きさ及び方向)、及び/又は加速度(大きさ及び/又は方向の変化)を判定することを、任意選択的に含む。これらの動作は、任意選択的に、単一の接触(例えば、1つの指の接触)又は複数の同時接触(例えば、「マルチタッチ」/複数の指の接触)に適用される。いくつかの実施形態では、接触/動きモジュール130及びディスプレイコントローラ156は、タッチパッド上の接触を検出する。
いくつかの実施形態では、接触/動きモジュール130は、1つ以上の強度閾値のセットを使用して、ユーザによって動作が実行されたか否かを判定する(例えば、ユーザがアイコン上で「クリック」したか否かを判定する)。いくつかの実施形態では、少なくとも強度閾値のサブセットが、ソフトウェアパラメータに従って判定される(例えば、強度閾値は、特定の物理アクチュエータのアクティブ化閾値によって判定されず、デバイス100の物理ハードウェアを変更することなく調整され得る)。例えば、トラックパッド又はタッチスクリーンディスプレイのマウス「クリック」閾値は、トラックパッド又はタッチスクリーンディスプレイハードウェアを変更することなく、広範囲の既定閾値のうちのいずれかに設定し得る。更に、いくつかの実装において、デバイスのユーザには、(例えば、個々の強度閾値を調整することにより、及び/又は「強度」パラメータのシステムレベルのクリックにより一度に複数の強度閾値を調整することによって)強度閾値のセットのうちの1つ以上を調整するためのソフトウェア設定が提供されている。
接触/動きモジュール130は、ユーザによるジェスチャ入力を任意選択的に検出する。タッチ感知面上での異なるジェスチャは、異なる接触パターン(例えば、検出された接触の、異なる動き、タイミング、及び/又は強度)を有する。それゆえ、ジェスチャは、特定の接触パターンを検出することによって、任意選択的に、検出される。例えば、指のタップジェスチャを検出することは、指を下ろすイベントを検出し、続いて(例えば、アイコンの位置での)その指を下ろすイベントと同じ位置(又は、実質的に同じ位置)で指を上げる(リフトオフする)イベントを検出することを含む。別の例として、タッチ感知面での指のスワイプジェスチャを検出することは、指を下ろすイベントを検出し、続いて1つ以上の指をドラッグするイベントを検出し、その後、指を上げる(リフトオフする)イベントを検出することを含む。
グラフィックモジュール132は、表示されるグラフィックの視覚的効果(例えば、輝度、透明度、彩度、コントラスト、又は他の視覚特性)を変更するための構成要素を含めた、タッチスクリーン112又は他のディスプレイ上にグラフィックをレンダリングして表示するための、様々な周知のソフトウェア構成要素を含む。本明細書で使用するとき、用語「グラフィック」は、ユーザに対して表示することができる任意のオブジェクトを含み、それらのオブジェクトとしては、テキスト、ウェブページ、アイコン(ソフトキーを含むユーザインターフェースオブジェクトなど)、デジタル画像、ビデオ、アニメーションなどが挙げられるが、これらに限定されない。
いくつかの実施形態では、グラフィックモジュール132は、使用されるグラフィックを表すデータを記憶する。それぞれのグラフィックには、対応するコードが、任意選択的に割り当てられる。グラフィックモジュール132は、アプリケーションなどから、必要に応じて、座標データ及び他のグラフィックプロパティデータと共に表示されるグラフィックを指定する1つ以上のコードを受信し、次いで、ディスプレイコントローラ156に出力する画面画像データを生成する。
触覚フィードバックモジュール133は、デバイス100とのユーザ対話に応じて、デバイス100上の1つ以上の場所で触知出力を生成するために、触知出力生成器(1つ又は複数)167によって使用される命令を生成するための様々なソフトウェア構成要素を含む。
テキスト入力モジュール134は、グラフィックモジュール132の構成要素であってもよく、様々なアプリケーション(例えば、連絡先137、電子メール140、IM141、ブラウザ147、及びテキスト入力を必要とする任意の他のアプリケーション)でテキストを入力するためのソフトキーボードを提供する。
GPSモジュール135は、デバイスの位置を判定し、様々なアプリケーションで使用するために(例えば、位置に基づくダイヤル動作に使用するために電話138へ、ピクチャ/ビデオメタデータとしてカメラ143へ、及び気象ウィジェット、地方イエローページウィジェット、地図/ナビゲーションウィジェットなどの位置に基づくサービスを提供するアプリケーションに対して)この情報を提供する。
アプリケーション136は、以下のモジュール(又は、命令セット)、又はそれらのサブセット若しくはスーパーセットを含み得る。
●連絡先モジュール137(アドレス帳又は連絡先リストとも呼ばれる)、
●電話モジュール138、
●テレビ会議モジュール139、
●電子メールクライアントモジュール140、
●インスタントメッセージング(IM)モジュール141、
●トレーニングサポートモジュール142、
●静止画像及び/又はビデオ画像用のカメラモジュール143、
●画像管理モジュール144、
●ビデオプレーヤモジュール、
●音楽プレーヤモジュール、
●ブラウザモジュール147、
●カレンダーモジュール148、
●気象ウィジェット149-1、株価ウィジェット149-2、計算機ウィジェット149-3、目覚まし時計ウィジェット149-4、辞書ウィジェット149-5、及びユーザによって取得された他のウィジェット、並びにユーザ作成ウィジェット149-6のうちの1つ以上を含み得る、ウィジェットモジュール149、
●ユーザ作成ウィジェット149-6を作成するためのウィジェットクリエータモジュール150、
●検索モジュール151、
●ビデオプレーヤモジュール及び音楽プレーヤモジュールを併合する、ビデオ及び音楽プレーヤモジュール152、
●メモモジュール153、
●地図プモジュール154、及び/又は
●オンラインビデオモジュール155。
メモリ102内に記憶することが可能な他のアプリケーション136の例としては、他のワードプロセッシングアプリケーション、他の画像編集アプリケーション、描画アプリケーション、プレゼンテーションアプリケーション、JAVA(登録商標)対応アプリケーション、暗号化、デジタル著作権管理、音声認識、及び音声複製が挙げられる。
タッチスクリーン112、ディスプレイコントローラ156、接触/動きモジュール130、グラフィックモジュール132、及びテキスト入力モジュール134と関連して、連絡先モジュール137は、(例えば、メモリ102又はメモリ370内の連絡先モジュール137のアプリケーション内部状態192内に記憶される)アドレス帳又は連絡先リストを管理するために使用することができ、この管理には、アドレス帳に名前(1つ又は複数)を追加すること、アドレス帳から名前(1つ又は複数)を削除すること、電話番号(1つ又は複数)、電子メールアドレス(1つ又は複数)、実際の住所(1つ又は複数)、又は他の情報を名前と関連付けること、画像を名前と関連付けること、名前を分類して並べ替えること、電話138、テレビ会議モジュール139、電子メール140、又はIM141による通信を開始及び/又は容易にするために、電話番号又は電子メールアドレスを提供すること、などが含まれる。
RF回路108、オーディオ回路110、スピーカ111、マイクロフォン113、タッチスクリーン112、ディスプレイコントローラ156、接触/動きモジュール130、グラフィックモジュール132、及びテキスト入力モジュール134と関連して、電話モジュール138は、電話番号に対応する一連の文字を入力し、連絡先モジュール137内の1つ以上の電話番号にアクセスし、入力されている電話番号を修正し、それぞれの電話番号をダイヤルし、会話を遂行し、会話が完了した際に接続を切るか又は電話を切るために、使用することができる。上述のように、無線通信は、複数の通信規格、通信プロトコル、及び通信技術のうちのいずれかを使用することができる。
RF回路108、オーディオ回路110、スピーカ111、マイクロフォン113、タッチスクリーン112、ディスプレイコントローラ156、光センサ164、光センサコントローラ158、接触/動きモジュール130、グラフィックモジュール132、テキスト入力モジュール134、連絡先モジュール137、及び電話モジュール138と関連して、テレビ会議モジュール139は、ユーザの指示に従い、ユーザと1人以上の他の参加者との間のテレビ会議を開始し、遂行し、終了するための、実行可能命令を含む。
RF回路108、タッチスクリーン112、ディスプレイコントローラ156、接触/動きモジュール130、グラフィックモジュール132、及びテキスト入力モジュール134と関連して、電子メールクライアントモジュール140は、ユーザの指示に応じて、電子メールを作成し、送信し、受信し、管理するための、実行可能命令を含む。画像管理モジュール144と関連して、電子メールクライアントモジュール140は、カメラモジュール143で撮影した静止画像又はビデオ画像を含む電子メールを作成し、送信することを非常に容易にする。
RF回路108、タッチスクリーン112、ディスプレイコントローラ156、接触/動きモジュール130、グラフィックモジュール132、及びテキスト入力モジュール134と関連して、インスタントメッセージングモジュール141は、インスタントメッセージに対応する一連の文字を入力し、従前に入力された文字を修正し、それぞれのインスタントメッセージを(例えば、電話ベースのインスタントメッセージ用のショートメッセージサービス(SMS)若しくはマルチメディアメッセージサービス(MMS)プロトコルを使用して、又はインターネットベースのインスタントメッセージ用のXMPP、SIMPLE、若しくはIMPSを使用して)送信し、インスタントメッセージを受信し、受信したインスタントメッセージを見るための、実行可能命令を含む。いくつかの実施形態では、送信及び/又は受信されるインスタントメッセージは、MMS及び/又は拡張メッセージングサービス(EMS:Enhanced Messaging Service)でサポートされるような、グラフィック、写真、オーディオファイル、ビデオファイル、及び/又は他の添付ファイルを含んでもよい。本明細書で使用するとき、「インスタントメッセージング」とは、電話ベースのメッセージ(例えば、SMS又はMMSを使用して送信されるメッセージ)及びインターネットベースのメッセージ(例えば、XMPP、SIMPLE、又はIMPSを使用して送信されるメッセージ)の双方を指す。
RF回路108、タッチスクリーン112、ディスプレイコントローラ156、接触/動きモジュール130、グラフィックモジュール132、テキスト入力モジュール134、GPSモジュール135、地図モジュール154、及び音楽プレーヤモジュールと関連して、トレーニングサポートモジュール142は、(例えば、時間、距離、及び/又はカロリー消費目標を有する)トレーニングを生成し、トレーニングセンサ(スポーツデバイス)と通信し、トレーニングセンサデータを受信し、トレーニングをモニタリングするために用いられるセンサを較正し、トレーニング用の音楽を選択して再生し、トレーニングデータを、表示、保存、及び送信するための、実行可能な命令を含む。
タッチスクリーン112、ディスプレイコントローラ156、光センサ(1つ又は複数)164、光センサコントローラ158、接触/動きモジュール130、グラフィックモジュール132、及び画像管理モジュール144と関連して、カメラモジュール143は、静止画像又はビデオ(ビデオストリームを含む)をキャプチャしてメモリ102にそれらを記憶し、静止画像又はビデオの特性を変更し、又はメモリ102から静止画像若しくはビデオを削除するための、実行可能命令を含む。
タッチスクリーン112、ディスプレイコントローラ156、接触/動きモジュール130、グラフィックモジュール132、テキスト入力モジュール134、及びカメラモジュール143と関連して、画像管理モジュール144は、静止画像及び/又はビデオ画像を配列し、修正(例えば、編集)するか又は他の方式で操作し、ラベルを付け、削除し、(例えば、デジタルスライドショー又はアルバム内で)提示し、記憶するための、実行可能命令を含む。
RF回路108、タッチスクリーン112、ディスプレイコントローラ156、接触/動きモジュール130、グラフィックモジュール132、及びテキスト入力モジュール134と関連して、ブラウザモジュール147は、ウェブページ又はその諸部分、並びにウェブページにリンクされた添付ファイル及び他のファイルを検索すること、リンクさせること、受信すること、及び表示することを含めた、ユーザの指示に従ってインターネットを閲覧するための、実行可能命令を含む。
RF回路108、タッチスクリーン112、ディスプレイコントローラ156、接触/動きモジュール130、グラフィックモジュール132、テキスト入力モジュール134、電子メールクライアントモジュール140、及びブラウザモジュール147と関連して、カレンダーモジュール148は、ユーザの指示に従い、カレンダー及びカレンダーに関連付けられたデータ(例えば、カレンダー項目、to doリストなど)を作成し、表示し、修正し、記憶するための、実行可能命令を含む。
RF回路108、タッチスクリーン112、ディスプレイコントローラ156、接触/動きモジュール130、グラフィックモジュール132、テキスト入力モジュール134、及びブラウザモジュール147と関連して、ウィジェットモジュール149は、ユーザによってダウンロードされ、使用することが可能なミニアプリケーション(例えば、気象ウィジェット149-1、株価ウィジェット149-2、計算機ウィジェット149-3、目覚まし時計ウィジェット149-4、及び辞書ウィジェット149-5)、又はユーザによって作成することが可能なミニアプリケーション(例えば、ユーザ作成ウィジェット149-6)である。いくつかの実施形態では、ウィジェットは、HTML(ハイパーテキストマークアップ言語)ファイル、CSS(カスケーディングスタイルシート)ファイル、及びJavaScript(登録商標)ファイルを含む。いくつかの実施形態では、ウィジェットは、XML(拡張可能マークアップ言語)ファイル及びJavaScriptファイル(例えば、Yahoo!(登録商標)ウィジェット)を含む。
RF回路108、タッチスクリーン112、ディスプレイコントローラ156、接触/動きモジュール130、グラフィックモジュール132、テキスト入力モジュール134、及びブラウザモジュール147と関連して、ウィジェットクリエータモジュール150は、ウィジェットを作成する(例えば、ウェブページのユーザ指定箇所をウィジェットに変える)ために、ユーザによって使用されてもよい。
タッチスクリーン112、ディスプレイコントローラ156、接触/動きモジュール130、グラフィクモジュール132、及びテキスト入力モジュール134と関連して、検索モジュール151は、ユーザの指示に従い、1つ以上の検索基準(例えば、1つ以上のユーザ指定の検索語句)と一致する、メモリ102内のテキスト、音楽、音、画像、ビデオ、及び/又は他のファイルを検索するための、実行可能命令を含む。
タッチスクリーン112、ディスプレイコントローラ156、接触/動きモジュール130、グラフィクモジュール132、オーディオ回路110、スピーカ111、RF回路108、及びブラウザモジュール147と関連して、ビデオ及び音楽プレーヤモジュール152は、MP3又はAACファイルなどの1つ以上のファイル形式で記憶された録音済みの音楽又は他のサウンドファイルをユーザがダウンロード及び再生できるようにする実行可能命令と、ビデオを(タッチスクリーン112上又は外部ポート124を介して接続された外部のディスプレイ上に)表示、提示、又は別の方法で再生するための実行可能命令とを含む。いくつかの実施形態では、デバイス100は、iPod(Apple Inc.の登録商標)などのMP3プレーヤの機能を任意選択的に含む。
タッチスクリーン112、ディスプレイコントローラ156、接触/動きモジュール130、グラフィックモジュール132、及びテキスト入力モジュール134と関連して、メモモジュール153は、ユーザの指示に従い、メモ、to doリストなどを作成及び管理するための、実行可能命令を含む。
RF回路108、タッチスクリーン112、ディスプレイコントローラ156、接触/動きモジュール130、グラフィックモジュール132、テキスト入力モジュール134、GPSモジュール135、及びブラウザモジュール147と関連して、地図モジュール154は、ユーザの指示に従い、地図及び地図に関連付けられたデータ(例えば、運転方向、特定の場所若しくはその付近の店舗及び他の関心対象地点についてのデータ、並びに場所に基づく他のデータ)を受信し、表示し、修正し、記憶するために使用することができる。
タッチスクリーン112、ディスプレイコントローラ156、接触/動きモジュール130、グラフィックモジュール132、オーディオ回路110、スピーカ111、RF回路108、テキスト入力モジュール134、電子メールクライアントモジュール140、及びブラウザモジュール147と関連して、オンラインビデオモジュール155は、ユーザが、特定のオンラインビデオにアクセスし、閲覧し、(例えば、ストリーミング及び/又はダウンロードによって)受信し、(例えば、タッチスクリーン上で、又は外部ポート124を介して接続された外部のディスプレイ上で)再生し、そのオンラインビデオへのリンクを含む電子メールを送信し、あるいは他の方法で、H.264などの1つ以上のファイル形式でオンラインビデオを管理することが可能となる、命令を含む。いくつかの実施形態では、電子メールクライアントモジュール140ではなく、インスタントメッセージングモジュール141を使用して、特定のオンラインビデオへのリンクを送信する。オンラインビデオアプリケーションの追加的説明は、2007年6月20日出願の米国特許仮出願第60/936,562号、「Portable Multifunction Device,Method,and Graphical User Interface for Playing Online Videos」、及び2007年12月31日出願の米国特許出願第11/968,067号、「Portable Multifunction Device,Method,and Graphical User Interface for Playing Online Videos」において見出すことができる。これらの出願の内容は、その全体が本明細書において参照により組み込まれる。
上記で識別されたモジュール及びアプリケーションのそれぞれは、1つ以上の上述の機能を実行するための実行可能命令セット及び本出願に記載の方法(例えば、コンピュータにより実行される方法及び本明細書に記載の他の情報処理方法)に対応する。これらのモジュール(例えば、命令のセット)は、別個のソフトウェアプログラム、手順、又はモジュールとして実装される必要はなく、それゆえ、様々な実施形態では、これらのモジュールの様々なサブセットを組み合わせるか、又は他の方式で再編成することができる。例えば、ビデオプレーヤモジュールは、音楽プレーヤモジュールと組み合わせて単一のモジュール(例えば、図1Aのビデオ及び音楽プレーヤモジュール152)としてもよい。いくつかの実施形態では、メモリ102は、上記で識別されたモジュール及びデータ構造のサブセットを記憶することができる。更には、メモリ102は、上述されていない追加的モジュール及びデータ構造を記憶することができる。
いくつかの実施形態では、デバイス100は、デバイス上の機能の既定のセットの動作が、排他的にタッチスクリーン及び/又はタッチパッドを介して実行されるデバイスである。デバイス100の動作に関する主要な入力制御デバイスとして、タッチスクリーン及び/又はタッチパッドを使用することによって、デバイス100上の物理入力制御デバイス(プッシュボタン、ダイヤルなど)の数を低減することができる。
排他的にタッチスクリーン及び/又はタッチパッドを介して実行される、機能の既定のセットは、ユーザインターフェース間のナビゲーションを任意選択的に含む。いくつかの実施形態では、タッチパッドは、ユーザによってタッチされると、デバイス100上に表示されている任意のユーザインターフェースから、メインメニュー、ホームメニュー、又はルートメニューへとデバイス100をナビゲートする。そのような実施形態において、「メニューボタン」は、タッチパッドを使って実装される。いくつかの他の実施形態では、メニューボタンは、タッチパッドの代わりに、物理的なプッシュボタン又は他の物理的な入力制御デバイスである。
図1Bは、いくつかの実施形態に係る、イベント処理のための例示的な構成要素を示すブロック図である。いくつかの実施形態では、メモリ102(図1A)又は370(図3)は、イベントソータ170(例えば、オペレーティングシステム126内)及び対応するアプリケーション136-1(例えば、上述のアプリケーション137~151、155、380~390のいずれか)を含む。
イベントソータ170は、イベント情報を受信して、そのイベント情報の配信先となるアプリケーション136-1及びアプリケーション136-1のアプリケーションビュー191を決定する。イベントソータ170は、イベントモニタ171及びイベントディスパッチャモジュール174を含む。いくつかの実施形態では、アプリケーション136-1は、アプリケーションがアクティブ又は実行中のとき、タッチ感知ディスプレイ112上に表示される現在のアプリケーションビュー(1つ又は複数)を示す、アプリケーション内部状態192を含む。いくつかの実施形態では、デバイス/グローバル内部状態157は、どのアプリケーション(1つ又は複数)が現在アクティブであるかを判定するためにイベントソータ170によって使用され、アプリケーション内部状態192は、イベント情報の配信先となるアプリケーションビュー191を決定するためにイベントソータ170によって使用される。
いくつかの実施形態では、アプリケーション内部状態192は、アプリケーション136-1が実行を再開する際に使用される再開情報、アプリケーション136-1によって情報が表示されているか又は表示の準備が整っていることを示すユーザインターフェース状態情報、ユーザがアプリケーション136-1の以前の状態又はビューに戻ることを可能にするための状態待ち行列、及びユーザが以前に行ったアクションのリドゥ/アンドゥ待ち行列のうちの1つ以上などの、追加情報を含む。
イベントモニタ171は、周辺機器インターフェース118からイベント情報を受信する。イベント情報は、サブイベント(例えば、マルチタッチジェスチャの一部としての、タッチ感知ディスプレイ112上でのユーザのタッチ)についての情報を含む。周辺機器インターフェース118は、I/Oサブシステム106又は近接センサ166、加速度計(1つ又は複数)168、及び/若しくは(オーディオ回路110を介して)マイクロフォン113などのセンサから受信する情報を送信する。周辺機器インターフェース118がI/Oサブシステム106から受信する情報は、タッチ感知ディスプレイ112又はタッチ感知面からの情報を含む。
いくつかの実施形態では、イベントモニタ171は、所定の間隔で周辺機器インターフェース118に要求を送る。これに応じて、周辺機器インターフェース118は、イベント情報を送信する。他の実施形態において、周辺機器インターフェース118は、重要なイベント(例えば、所定のノイズ閾値を超える、及び/又は所定時間より長い入力の受信)がある場合にのみイベント情報を送信する。
いくつかの実施形態では、イベントソータ170はまた、ヒットビュー判定モジュール172及び/又はアクティブイベント認識部判定モジュール173を含む。
ヒットビュー判定モジュール172は、タッチ感知ディスプレイ112が1つ以上のビューを表示した際に、1つ以上のビュー内のどこにおいてサブイベントが発生したかを判定するためのソフトウェア手順を提供する。ビューは、ユーザがディスプレイ上で見ることが可能な、制御部及び他の要素で構成される。
アプリケーションに関連付けられたユーザインターフェースの別の態様は、本明細書では、アプリケーションビュー又はユーザインターフェースウィンドウと呼ばれる場合がある、ビューのセットであり、それらの中で、情報が表示され、タッチに基づくジェスチャが実施される。タッチが検出される(それぞれのアプリケーションの)アプリケーションビューは、そのアプリケーションのプログラム階層内又はビュー階層内のプログラムレベルに対応し得る。例えば、タッチが検出される最下位レベルのビューを、ヒットビューと呼ぶことができ、適切な入力として認識されるイベントのセットは、少なくとも部分的には、タッチに基づくジェスチャを開始する最初のタッチのヒットビューに基づいて、判定されてもよい。
ヒットビュー判断モジュール172は、タッチベースのジェスチャのサブイベントと関連付けられた情報を受信する。アプリケーションが、階層として編成された複数のビューを有する場合、ヒットビュー判定モジュール172は、サブイベントを処理するべき階層内の最下位のビューとして、ヒットビューを特定する。ほとんどの状況では、ヒットビューは、最初のサブイベント(例えば、イベント又は潜在的なイベントを形成するサブイベントのシーケンスにおける最初のサブイベント)が発生する最下位レベルのビューである。ヒットビューが、ヒットビュー判定モジュール172によって特定されると、そのヒットビューは、典型的には、それがヒットビューとして特定された、同じタッチ又は入力ソースに関連する、全てのサブイベントを受信する。
アクティブイベント認識部判定モジュール173は、ビュー階層内のどのビュー(1つ又は複数)が、特定のサブイベントのシーケンスを受信するべきかを判定する。いくつかの実施形態では、アクティブイベント認識部判定モジュール173は、そのヒットビューのみが特定のサブイベントのシーケンスを受信するべきであると判定する。他の実施形態では、アクティブイベント認識部判定モジュール173は、サブイベントの物理的な場所を含む全てのビューが、能動的に関与するビューであると判定することにより、能動的に関与する全てのビューが、特定のサブイベントのシーケンスを受信するべきであると判定する。他の実施形態では、タッチサブイベントが、特定の1つのビューに関連付けられるエリアに完全に限定された場合であっても、階層内のより上位のビューは、依然として、能動的に関与するビューとして維持される。
イベントディスパッチャモジュール174は、イベント情報をイベント認識部(例えば、イベント認識部180)に送付する。アクティブイベント認識部判定モジュール173を含む実施形態では、イベントディスパッチャモジュール174は、アクティブイベント認識部判定モジュール173によって判定されたイベント情報を、イベント認識部に配信する。いくつかの実施形態では、イベントディスパッチャモジュール174は、それぞれのイベント受信部182によって取得されるイベント情報を、イベント待ち行列内に記憶する。
いくつかの実施形態では、オペレーティングシステム126が、イベントソータ170を含む。あるいは、アプリケーション136-1が、イベントソータ170を含む。更に他の実施形態では、イベントソータ170は、スタンドアロンモジュール、又は接触/動きモジュール130などの、メモリ102に記憶された他のモジュールの一部である。
いくつかの実施形態では、アプリケーション136-1は、複数のイベントハンドラ190及び1つ以上のアプリケーションビュー191を含み、そのそれぞれが、アプリケーションのユーザインターフェースの各ビュー内で発生するタッチイベントを処理するための命令を含む。アプリケーション136-1のそれぞれアプリケーションビュー191は、1つ以上のイベント認識部180を含む。典型的には、それぞれのアプリケーョンビュー191は、複数のイベント認識部180を含む。他の実施形態では、イベント認識部180のうちの1つ以上は、ユーザインターフェースキット(図示せず)、又はアプリケーション136-1が方法及び他の特性を継承する、より上位レベルのオブジェクトなどの、別個のモジュールの一部である。いくつかの実施形態では、それぞれのイベントハンドラ190は、データアップデータ176、オブジェクトアップデータ177、GUIアップデータ178、及び/又は、イベントソータ170から受信したイベントデータ179のうちの1つ以上を含む。イベントハンドラ190は、アプリケーション内部状態192を更新するために、データアップデータ176、オブジェクトアップデータ177、又はGUIアップデータ178を利用するか、又は呼び出してもよい。あるいは、アプリケーションビュー191のうちの1つ以上は、1つ以上のそれぞれのイベントハンドラ190を含む。また、いくつかの実施形態では、データアップデータ176、オブジェクトアップデータ177、及びGUIアップデータ178のうちの1つ以上は、それぞれのアプリケーションビュー191内に含まれている。
それぞれのイベント認識部180は、イベントソータ170からイベント情報(例えば、イベントデータ179)を受信して、そのイベント情報からイベントを特定する。イベント認識部180は、イベント受信部182及びイベント比較部184を含む。いくつかの実施形態では、イベント認識部180はまた、メタデータ183及び(サブイベント配信命令を含み得る)イベント配信命令188の、少なくともサブセットも含む。
イベント受信部182は、イベントソータ170からイベント情報を受信する。イベント情報は、サブイベントについての情報、例えば、タッチ又はタッチの移動についての情報を含む。サブイベントによっては、イベント情報はまた、サブイベントの場所などの追加情報も含む。サブイベントが、タッチの動きに関係する場合、イベント情報はまた、そのサブイベントの速さ及び方向を含んでもよい。いくつかの実施形態では、イベントは、1つの向きから別の向きへの(例えば、縦向きから横向きへの、又はその逆の)デバイスの回転を含み、イベント情報は、デバイスの現在の向き(デバイスの姿勢とも呼ばれる)についての対応する情報を含む。
イベント比較部184は、イベント情報を、既定のイベント又はサブイベントの定義と比較し、その比較に基づいて、イベント若しくはサブイベントを判定、又はイベント若しくはサブイベントの状態を判定若しくは更新する。いくつかの実施形態では、イベント比較部184は、イベント定義186を含む。イベント定義186は、例えば、イベント1(187-1)、イベント2(187-2)などの、イベントの定義(例えば、サブイベントの既定のシーケンス)を含む。いくつかの実施形態では、イベント(187)内のサブイベントは、例えば、タッチの開始、タッチの終了、タッチの移動、タッチの中止、及び複数のタッチを含む。一例では、イベント1(187-1)に関する定義は、表示オブジェクト上でのダブルタップである。ダブルタップは、例えば、所定の段階に関する表示オブジェクト上での第1のタッチ(タッチの開始)、所定の段階に関する第1のリフトオフ(タッチの終了)、所定の段階に関する表示オブジェクト上での第2のタッチ(タッチの開始)、及び所定の段階に関する第2のリフトオフ(タッチの終了)を含む。別の例では、イベント2(187-2)に関する定義は、表示オブジェクト上でのドラッギングである。ドラッギングは、例えば、所定の段階に関する表示オブジェクト上でのタッチ(又は、接触)、タッチ感知ディスプレイ112を横断するタッチの移動、及びタッチのリフトオフ(タッチの終了)を含む。いくつかの実施形態では、イベントはまた、1つ以上の関連するイベントハンドラ190に関する情報を含む。
いくつかの実施形態では、イベント定義187は、それぞれのユーザインターフェースオブジェクトに関するイベントの定義を含む。いくつかの実施形態では、イベント比較部184は、どのユーザインターフェースオブジェクトがサブイベントに関連付けられるかを判定するために、ヒットテストを実行する。例えば、3つのユーザインターフェースオブジェクトが、タッチ感知ディスプレイ112上に表示されるアプリケーションビューでは、タッチ感知ディスプレイ112上でタッチが検出されると、イベント比較部184は、ヒットテストを実行して、3つのユーザインターフェースオブジェクトのうちのいずれが、そのタッチ(サブイベント)に関連付けられているかを判定する。各表示オブジェクトが、それぞれのイベントハンドラ190に関連付けられている場合には、イベント比較部184は、ヒットテストの結果を使用して、どのベントハンドラ190をアクティブ化させるべきかを決定する。例えば、イベント比較部184は、サブイベント及びヒットテストのトリガーとなるオブジェクトに関連付けられたイベントハンドラ190を選択する。
いくつかの実施形態では、それぞれのイベント(187)に関する定義はまた、サブイベントのシーケンスがイベント認識部180のイベントタイプに対応するか否かが判定されるまで、イベント情報の配信を遅延させる、遅延アクションを含む。
それぞれのイベント認識部180が、一連のサブイベントがイベント定義186内のイベントのいずれにも一致しないと判定する場合、それぞれのイベント認識部180は、イベント不可能状態、イベント失敗状態、又はイベント終了状態に入り、その後は、タッチに基づくジェスチャの後続のサブイベントを無視する。この状況では、存在する場合には、ヒットビューに関してアクティブのまま維持される他のイベント認識部が、進行中のタッチに基づくジェスチャのサブイベントを、引き続き追跡及び処理する。
いくつかの実施形態では、それぞれのイベント認識部180は、イベント配信システムが能動的に関わっているイベント認識部に対してどのようにサブイベント配信を実行するかについてを示す、構成可能な特性、フラグと、及び/又はリストを有するメタデータ183を含む。いくつかの実施形態では、メタデータ183は、イベント認識部が互いにどのように対話し得るか、又は、どのように対話が有効化されるかを示す、構成可能な特性、フラグ、及び/又はリストを含む。いくつかの実施形態では、メタデータ183は、サブイベントがビュー階層内又はプログラム階層内の様々なレベルに配信されるか否かを示す、構成可能な特性、フラグ、及び/又はリストを含む。
いくつかの実施形態では、それぞれのイベント認識部180は、イベントの1つ以上の特定のサブイベントが認識されると、イベントに関連付けられたイベントハンドラ190をアクティブ化させる。いくつかの実施形態では、それぞれのイベント認識部180は、イベントハンドラ190に、そのイベントに関連付けられたイベント情報を配信する。イベントハンドラ190をアクティブ化させることは、それぞれのヒットビューにサブイベントを送信すること(及び、送信を延期すること)とは異なる。いくつかの実施形態では、イベント認識部180は、認識されたイベントに関連付けられたフラグをスローし、そのフラグに関連付けられたイベントハンドラ190は、フラグをキャッチして、既定のプロセスを実行する。
いくつかの実施形態では、イベント配信命令188は、イベントハンドラをアクティブ化させることなく、サブイベントについてのイベント情報を配信するサブイベント配信命令を含む。その代わりに、サブイベント配信命令は、一連のサブイベントに関連付けられたイベントハンドラに、又は能動的に関与するビューに、イベント情報を配信する。一連のサブイベント又は能動的に関与するビューに関連付けられたイベントハンドラは、イベント情報を受信して、所定のプロセスを実行する。
いくつかの実施形態では、データアップデータ176は、アプリケーション136-1で使用されるデータを作成及び更新する。例えば、データアップデータ176は、連絡先モジュール137で使用される電話番号を更新するか、又はビデオプレーヤモジュールで使用されるビデオファイルを記憶する。いくつかの実施形態では、オブジェクトアップデータ177は、アプリケーション136-1で使用されるオブジェクトを作成及び更新する。例えば、オブジェクトアップデータ177は、新たなユーザインターフェースオブジェクトを作成するか、又はユーザインターフェースオブジェクトの位置を更新する。GUIアップデータ178は、GUIを更新する。例えば、GUIアップデータ178は、表示情報を準備し、その表示情報を、タッチ感知ディスプレイ上に表示するために、グラフィックモジュール132に送信する。
いくつかの実施形態では、イベントハンドラ(1つ又は複数)190は、データアップデータ176、オブジェクトアップデータ177、及びGUIアップデータ178を含むか、又はそれらに対するアクセスを有する。いくつかの実施形態では、データアップデータ176、オブジェクトアップデータ177、及びGUIアップデータ178は、それぞれのアプリケーション136-1又はアプリケーションビュー191の単一のモジュール内に含まれる。他の実施形態では、それらは、2つ以上のソフトウェアモジュール内に含まれる。
タッチ感知ディスプレイ上でのユーザのタッチのイベント処理に関する前述の論考はまた、入力デバイスを使用して多機能デバイス100を動作させるための他の形態のユーザ入力にも適用されるが、その全てがタッチスクリーン上で開始されるわけではない点を理解されたい。例えば、キーボードの単一又は複数の押圧若しくは保持と任意選択的に連携される、マウスの移動及びマウスボタンの押圧、タッチパッド上でのタップ、ドラッグ、スクロールなどの接触移動、ペンスタイラス入力、デバイスの移動、口頭による指示検出される眼球運動、バイオメトリック入力、及び/又はこれらの任意の組み合わせが、認識対象のイベントを定義するサブイベントに対応する入力として、任意選択的に利用される。
図2は、いくつかの実施形態に係る、タッチスクリーン112を有するポータブル多機能デバイス100を示す。タッチスクリーンは、ユーザインターフェース(UI)200内に1つ以上のグラフィックを、任意選択的に表示する。本実施形態並びに後述する実施形態において、ユーザは、例えば、1本以上の指202(図には、正確な縮尺率では描かれていない)又は1つ以上のスタイラス203(図には、正確な縮尺率では描かれていない)を用いて、グラフィック上でジェスチャを行うことにより、グラフィックのうちの1つ以上を選択できる。いくつかの実施形態では、ユーザが1つ以上のグラフィックとの接触を断った際に、1つ以上のグラフィックの選択が生じる。いくつかの実施形態において、ジェスチャは、1回以上のタップ、1回以上のスワイプ(左から右へ、右から左へ、上方向へ、及び/又は下方向へ)、及び/又はデバイス100と接触した指のローリング(右から左へ、左から右へ、上方向へ、及び/又は下方向へ)を、任意選択的に含む。いくつかの実装又は状況において、グラフィックとの偶発的な接触では、グラフィックは選択されない。例えば、選択に対応するジェスチャがタップである場合、アプリケーションアイコンの上をスワイプするスワイプジェスチャは、任意選択的に、対応するアプリケーションを選択するものではない。
デバイス100はまた、「ホーム」又はメニューボタン204などの、1つ以上の物理ボタンも含んでもよい。前述のように、デバイス100上で実行することが可能なアプリケーションのセット内の任意のアプリケーション136へとナビゲートするために、メニューボタン204が使用されてもよい。あるいは、いくつかの実施形態では、メニューボタンは、タッチスクリーン112上に表示されるGUI内のソフトキーとして実装される。
一実施形態では、デバイス100は、タッチスクリーン112、メニューボタン204、デバイスの電源をオン/オフし、デバイスをロックするためのプッシュボタン206、音量調節ボタン(1つ又は複数)208、加入者識別モジュール(SIM)カードスロット210、ヘッドセットジャック212、及びドッキング/充電用外部ポート124を含む。プッシュボタン206は、ボタンを押下して、既定の時間インターバルにわたってボタンを押下された状態で保持することによって、デバイスの電源をオン/オフするため、ボタンを押下して、既定の時間インターバルが経過する前にボタンを解放することによって、デバイスをロックするため、かつ/又は、デバイスをロック解除する、若しくは、ロック解除する処理を開始するために、任意選択的に使用される。代替的実施形態において、デバイス100はまた、マイクロフォン113を通して、一部の機能をアクティブ化又は非アクティブ化するための口頭入力を受け付ける。デバイス100はまた、タッチスクリーン112上の接触の強度を検出するための1つ以上の接触強度センサ165及び/又はデバイス100のユーザの触知出力を生成するための1つ以上の触知出力生成器167を、任意選択的に含む。
図3は、いくつかの実施形態に係る、ディスプレイ及びタッチ感知面を備える例示的な多機能デバイスのブロック図である。デバイス300は、ポータブル型である必要はない。いくつかの実施形態では、デバイス300は、ラップトップコンピュータ、デスクトップコンピュータ、タブレットコンピュータ、マルチメディアプレーヤデバイス、ナビゲーションデバイス、教育用デバイス(子供の学習玩具など)、ゲームシステム、又は制御デバイス(例えば、家庭用又は業務用コントローラ)である。デバイス300は、典型的には、1つ以上の処理ユニット(CPU)310、1つ以上のネットワーク若しくは他の通信インターフェース360、メモリ370、及びこれらの構成要素を相互接続するための1つ以上の通信バス320を含む。通信バス320は、システム構成要素間の通信を相互接続及び制御する回路機構(チップセットと呼ばれる場合もある)を、任意選択的に含む。デバイス300は、典型的にはタッチスクリーンディスプレイである、ディスプレイ340を備える入出力(I/O)インターフェース330を含む。I/Oインターフェース330はまた、キーボード及び/又はマウス(又は他のポインティングデバイス)350、並びにタッチパッド355、デバイス300上に触知出力を生成するための(例えば、図1Aを参照して上述した触知出力生成器167と同様の)触知出力生成器357、センサ359(例えば、図1Aを参照して上述された接触強度センサ165と同様の、光センサ、加速度センサ、近接センサ、タッチ感知センサ、及び/又は接触強度センサ)を任意選択的に含む。メモリ370は、DRAM、SRAM、DDR RAM、又は他のランダムアクセスソリッドステートメモリデバイスなどの高速ランダムアクセスメモリを含み、また、1つ以上の磁気ディスク記憶デバイス、光ディスク記憶デバイス、フラッシュメモリデバイス、又は他の不揮発性ソリッドステート記憶デバイスなどの不揮発性メモリを任意選択的に含む。メモリ370は、CPU(1つ又は複数)310から離れて位置する1つ以上の記憶デバイスを任意選択的に含む。いくつかの実施形態では、メモリ370は、ポータブル多機能デバイス100(図1A)のメモリ102に記憶されたプログラム、モジュール、及びデータ構造に類似する、プログラム、モジュール、及びデータ構造、又はそれらのサブセットを記憶する。更には、メモリ370は、ポータブル多機能デバイス100のメモリ102内には存在しない、追加的なプログラム、モジュール、及びデータ構造を、任意選択的に記憶する。例えば、デバイス300のメモリ370は、描画モジュール380、プレゼンテーションモジュール382、ワードプロセッシングモジュール384、ウェブサイト作成モジュール386、ディスクオーサリングモジュール388、及び/又はスプレッドシートモジュール390を任意選択的に記憶するが、ポータブル多機能デバイス100(図1A)のメモリ102は、これらのモジュールを任意選択的に記憶しない。
上記で識別された図3の要素のそれぞれは、前述のメモリデバイスのうちの1つ以上に記憶されてもよい。上記で識別されたモジュールのそれぞれは、上述した機能を実行するための命令セットに対応する。上記で特定されたモジュール又はプログラム(例えば、命令セット)は、別個のソフトウェアプログラム、手順、又はモジュールとして実装される必要はなく、それゆえ、様々な実施形態では、これらのモジュールの様々なサブセットを組み合わせるか、又は他の方法で再編成することができる。いくつかの実施形態では、メモリ370は、上記で識別されたモジュール及びデータ構造のサブセットを記憶してもよい。更には、メモリ370は、上述されていない追加的モジュール及びデータ構造を記憶してもよい。
ここで、例えばポータブル多機能デバイス100上に実装することが可能な、ユーザインターフェースの実施形態に注意を向ける。
図4Aは、いくつかの実施形態に係る、ポータブル多機能デバイス100上のアプリケーションのメニューに関する例示的ユーザインターフェースを示す。同様のユーザインターフェースを、デバイス300上に実装してもよい。いくつかの実施形態では、ユーザインターフェース400は、以下の要素、又はそれらのサブセット若しくはスーパーセットを含む。
●セルラー信号及びWi-Fi信号などの無線通信(1つ又は複数)に関する信号強度インジケータ(1つ又は複数)402、
●時刻404、
●Bluetoothインジケータ405、
●バッテリ状態インジケータ406、
●下記などの、頻繁に利用されるアプリケーション用のアイコンを含むトレー408、
○不在着信又は留守番電話メッセージの数のインジケータ414を任意選択的に含む、「電話」とラベル付けされた、電話モジュール138用のアイコン416、
○未読電子メールの数のインジケータ410を任意選択的に含む、「メール」とラベル付けされた、電子メールクライアントモジュール140用のアイコン418、
○「ブラウザ」とラベル付けされた、ブラウザモジュール147用のアイコン420、及び
○「iPod」とラベル付けされた、iPod(Apple Inc.の商標)モジュール152とも称される、ビデオ及び音楽プレーヤモジュール152用のアイコン422、並びに
●下記などの、その他のアプリケーション用のアイコン、
○「メッセージ」とラベル付けされた、IMモジュール141用のアイコン424、
○「カレンダー」とラベル付けされた、カレンダーモジュール148用のアイコン426、
○「写真」とラベル付けされた、画像管理モジュール144用のアイコン428、
○「カメラ」とラベル付けされた、カメラモジュール143用のアイコン430
○「オンラインビデオ」とラベル付けされた、オンラインビデオモジュール155用のアイコン432、
○「株価」とラベル付けされた、株価ウィジェット149-2用のアイコン434、
○「マップ」とラベル付けされた、地図モジュール154用のアイコン436、
○「天気」とラベル付けされた、気象ウィジェット149-1用のアイコン438、
○「時計」とラベル付けされた、目覚まし時計ウィジェット149-4用のアイコン440、
○「トレーニングサポート」とラベル付けされた、トレーニングサポートモジュール142用のアイコン442、
○「メモ」とラベル付けされた、メモモジュール153用のアイコン444、及び
○デバイス100及びその様々なアプリケーション136に関する設定へのアクセスを提供する、「設定」とラベル付けされた、設定アプリケーション又はモジュール用のアイコン446。
図4Aに示されるアイコンのラベルは、単なる例示であることに留意されたい。例えば、ビデオ及び音楽プレーヤモジュール152用のアイコン422は、任意選択的に、「音楽」又は「音楽プレーヤ」とラベル付けされてもよい。他のラベルが、様々なアプリケーションアイコンのために、任意選択的に使用される。いくつかの実施形態では、それぞれのアプリケーションアイコンに関するラベルは、それぞれのアプリケーションアイコンに対応するアプリケーションの名前を含む。いくつかの実施形態では、特定のアプリケーションアイコンに関するラベルは、その特定のアプリケーションアイコンに対応するアプリケーションの名前とは異なる。
図4Bは、ディスプレイ450(例えば、タッチスクリーンディスプレイ112)とは別個のタッチ感知面451(例えば、図3のタブレット又はタッチパッド355)を備えるデバイス(例えば、図3のデバイス300)上の、例示的なユーザインターフェースを示す。デバイス300はまた、タッチ感知面451上の接触の強度を検出するための1つ以上の接触強度センサ(例えば、センサ357のうちの1つ以上)、及び/又はデバイス300のユーザに対する触知出力を生成するための1つ以上の触知出力生成器359を、任意選択的に含む。
以下の実施例のうちのいくつかは、タッチスクリーンディスプレイ112上での入力(タッチ感知面とディスプレイとが組み合わされている場合)を参照して説明されるが、いくつかの実施形態では、デバイスは、図4Bに示されるように、ディスプレイとは別個のタッチ感知面上での入力を検出する。いくつかの実施形態では、タッチ感知面(例えば、図4Bの451)は、ディスプレイ(例えば、450)上の主軸(例えば、図4Bの453)に対応する主軸(例えば、図4Bの452)を有する。これらの実施形態によれば、デバイスは、ディスプレイ上のそれぞれの場所に対応する場所(例えば、図4Bでは、460は468に対応し、462は470に対応する)での、タッチ感知面451との接触(例えば、図4Bの460及び462)を検出する。このように、タッチ感知面がディスプレイとは別個のものである場合、タッチ感知面(例えば、図4Bの451)上でデバイスによって検出されたユーザ入力(例えば、接触460及び462、並びにそれらの移動)は、多機能デバイスのディスプレイ(例えば、図4Bの450)上のユーザインターフェースを操作するために、デバイスによって使用される。同様の方法が、本明細書で説明される他のユーザインターフェースに関して、任意選択的に使用されることを理解されたい。
更には、以下の例は、主に指入力(例えば、指の接触、指のタップジェスチャ、指のスワイプジェスチャ)に関連して説明されるが、いくつかの実施形態では、それらの指入力のうちの1つ以上は、別の入力デバイスからの入力(例えば、マウスに基づく入力又はスタイラス入力)で置き換えられることを理解されたい。例えば、スワイプジェスチャは、任意選択的に、(例えば、接触の代わりに)マウスクリックで置換され、その後、(例えば、接触の移動の代わりに)スワイプの経路に沿ってカーソルの移動が行われる。別の例としては、タップジェスチャは、(例えば、接触の検出に続いて、その接触の検出を停止する代わりに)カーソルがタップジェスチャの位置の上に配置されている間、任意選択的に、マウスクリックと置換される。同様に、複数のユーザ入力が同時に検出される場合、複数のコンピュータマウスが任意選択的に同時に使用されるか、又は、マウスと指の接触とが任意選択的に同時に使用されることを理解されたい。
図5Aは、例示的なパーソナル電子デバイス500を示す。デバイス500は、本体502を含む。いくつかの実施形態では、デバイス500は、デバイス100及びデバイス300に関連して説明された機構(例えば、図1A~図4B)の一部又は全てを含み得る。いくつかの実施形態では、デバイス500は、以降ではタッチスクリーン504である、タッチ感知ディスプレイスクリーン504を有する。あるいは、又はタッチスクリーン504に加えて、デバイス500は、ディスプレイ及びタッチ感知面を有する。デバイス100及びデバイス300と同様に、いくつかの実施形態では、タッチスクリーン504(又は、タッチ感知面)は、加えられている接触(例えば、タッチ)の強度を検出するための1つ以上の強度センサを有してもよい。タッチスクリーン504(又は、タッチ感知面)の1つ以上の強度センサは、タッチの強度を表す出力データを提供することができる。デバイス500のユーザインターフェースは、タッチの強度に基づきタッチに応じてもよく、これは、異なる強度のタッチは、デバイス500上で異なるユーザインターフェース動作を呼び出してもよいことを意味する。
タッチ強度を検出して処理するための技術は、例えば、関連出願である、2013年5月8日出願の「Device,Method,and Graphical User Interface for Displaying User Interface Objects Corresponding to an Application」と題された国際出願第PCT/US2013/040061号、及び2013年11月11日出願の「Device,Method,and Graphical User Interface for Transitioning Between Touch Input to Display Output Relationships」と題された国際出願第PCT/US2013/069483号に見出すことができ、これらの文献のそれぞれは、その全体が参照により本明細書に組み込まれる。
いくつかの実施形態では、デバイス500は、1つ以上の入力機構506及び508を有する。入力機構506及び508は、含まれている場合、物理的であってもよい。物理的入力機構の例としては、プッシュボタン及び回転可能機構が挙げられる。いくつかの実施形態では、デバイス500は、1つ以上のアタッチメント機構を有する。そのようなアタッチメント機構は、含まれている場合には、例えば、帽子、アイウェア、イヤリング、ネックレス、シャツ、ジャケット、ブレスレット、時計バンド、チェーン、ズボン、ベルト、靴、財布、バックパックなどへのデバイス500の取り付けを可能にしてもよい。これらのアタッチメント機構は、デバイス500がユーザによって着用されることを可能にしてもよい。
図5Bは、例示的なパーソナル電子デバイス500を示す。いくつかの実施形態では、デバイス500は、図1A、図1B及び図3に関連して記載した構成要素の一部又は全てを含み得る。デバイス500は、I/O部514を1つ以上のコンピュータプロセッサ516及びメモリ518に動作可能に結合する、バス512を有する。I/O部514は、タッチ感知構成要素522及び任意選択的に強度センサ524(例えば、接触強度センサ)を有し得る、ディスプレイ504に接続することができる。更に、I/O部514は、Wi-Fi、Bluetooth、近距離通信(NFC)、セルラー、及び/又は他の無線通信技術を使用して、アプリケーション及びオペレーティングシステムデータを受信するための通信ユニット530に接続することができる。デバイス500は、入力機構506及び/又は508を備え得る。入力機構506は、例えば、回転可能な入力デバイス、又は押下可能かつ回転可能な入力デバイスであってもよい。入力機構508は、いくつかの例では、ボタンであってもよい。
入力機構508は、いくつかの例では、マイクロフォンであってもよい。パーソナル電子デバイス500は、GPSセンサ532、加速度計534、方向センサ540(例えば、コンパス)、ジャイロスコープ536、動きセンサ538、及び/又はこれらの組み合わせなどの、様々なセンサを含み得るものであり、それらの全ては、I/O部514に動作可能に接続することができる。パーソナル電子デバイス500はまた、触覚機構542も含むことができる。触覚機構542は、ユーザにより知覚され得る、振動又は他の触覚出力を発してもよい。いくつかの実施形態では、触覚機構542は、デバイス100の触知出力生成器167に関して記載されたのに類似する方法で、触覚出力を発してもよい。
パーソナル電子デバイス500のメモリ518は、コンピュータ実行可能命令を記憶するための、非一時的コンピュータ可読記憶媒体とすることができ、それらの命令は、1つ以上のコンピュータプロセッサ516によって実行されると、例えば、コンピュータプロセッサに、プロセス2500~2700(図25~図27)を含めた、上述の技術を実行させることができる。コンピュータ実行可能命令はまた、コンピュータベースのシステム、プロセッサを含むシステム、又は、命令実行システム、装置、若しくはデバイスから命令をフェッチし、それらの命令を実行し得る他のシステムなどの、命令実行システム、装置、又はデバイスによって、又はこれらと関連して使用するために、任意の非一時的コンピュータ可読記憶媒体に記憶及び/又は伝送されてもよい。本明細書の目的においては、「非一時的コンピュータ可読記憶媒体」は、命令実行システム、装置、若しくはデバイスによって、又はこれらと関連して使用するためのコンピュータ実行可能命令を有形的に収容又は記憶し得る、任意の媒体であってもよい。非一時的コンピュータ可読記憶媒体は、磁気的記憶装置、光学的記憶装置、及び/又は半導体記憶装置を含み得るが、これらに限定されない。そのような記憶装置の例としては、磁気ディスク、CD、DVD、又はBlu-ray(登録商標)技術に基づく光ディスク、並びに、フラッシュ、ソリッドステートドライブなどの永続的ソリッドステートメモリが挙げられる。パーソナル電子デバイス500は、図5Bの構成要素及び構成に限定されるものではなく、他の構成要素又は追加的構成要素を、複数の構成で含み得る。
本明細書で使用されるとき、用語「アフォーダンス」とは、デバイス100、300、及び/又は500(図1、図3、及び図5)のディスプレイスクリーン上に表示され得るユーザ対話式のグラフィカルユーザインターフェースオブジェクトを指す。例えば、画像(例えば、アイコン)、ボタン、及びテキスト(例えば、ハイパーリンク)がそれぞれ、アフォーダンスを構成してもよい。
本明細書で使用されるとき、用語「フォーカスセレクタ」とは、ユーザが対話しているユーザインターフェースの現在の部分を示す、入力要素を指す。カーソル又は他の位置マーカを含む一部の実装では、カーソルが「フォーカスセレクタ」として機能することにより、特定のユーザインターフェース要素(例えば、ボタン、ウィンドウ、スライダ、又は他のユーザインターフェース要素)の上にカーソルがある間に、タッチ感知面(例えば、図3のタッチパッド355又は図4Bのタッチ感知面451)上で入力(例えば、押圧入力)が検出されると、その特定のユーザインターフェース要素は、検出された入力に従って調節される。タッチスクリーンディスプレイ上のユーザインターフェース要素との直接的な対話を可能にする、タッチスクリーンディスプレイ(例えば、図1Aのタッチ感知ディスプレイシステム112又は図4Aのタッチスクリーン112)を含むいくつかの実装では、タッチスクリーン上で検出された接触が「フォーカスセレクタ」として機能することにより、タッチスクリーンディスプレイ上の特定のユーザインターフェース要素(例えば、ボタン、ウィンドウ、スライダ、又は他のユーザインターフェース要素)の位置で入力(例えば、接触による押圧入力)が検出されると、その特定のユーザインターフェース要素は、検出された入力に従って調節される。いくつかの実装において、(例えば、タブキー又は矢印キーを使ったフォーカスの1つのボタンから別のボタンへの移動により)タッチスクリーンディスプレイ上の対応するカーソルの移動又は接触の移動なしに、フォーカスが、ユーザインターフェースの1つの領域からユーザインターフェースの別の領域に移動される。これらの実装において、フォーカスセレクタは、ユーザインターフェースの異なる領域間でのフォーカスの移動に従って移動する。フォーカスセレクタが取る特定のフォームに関係なく、フォーカスセレクタは、全般的に、ユーザが意図するユーザインターフェースとの対話を(例えば、ユーザが対話したいと思っているユーザインターフェースの要素をデバイスに示すことによって)伝達するために、ユーザによって制御されたユーザインターフェース要素(又は、タッチスクリーンディスプレイ上の接触)である。例えば、タッチ感知面(例えば、タッチパッド又はタッチスクリーン)上で押圧入力が検出されている間の、対応するボタンの上にあるフォーカスセレクタ(例えば、カーソル、接触、又は選択ボックス)の位置は、(デバイスのディスプレイ上に示されている他のユーザインターフェース要素とは反対に)その対応するボタンをアクティブ化することをユーザが意図していることを示すものである。
本明細書及び特許請求の範囲で使用されるとき、接触の「特性強度」という用語は、接触の1つ以上の強度に基づく接触の特性を指す。いくつかの実施形態では、特性強度は、複数の強度サンプルに基づく。特性強度は、任意選択的に、既定数の強度サンプルに基づく、あるいは既定のイベント(例えば、接触を検出した後、接触のリフトオフを検出する前、接触の移動の開始を検出する前若しくは後、接触の終了を検出する前、接触の強度の増大を検出する前若しくは後、及び/又は、接触の強度の減少を検出する前若しくは後)に関連する所定の期間(例えば、0.05、0.1、0.2、0.5、1、2、5、10秒間)に収集されたに強度サンプルのセットに基づく。接触の特性強度は、接触の強度の最大値、接触の強度の平均値(mean value)、接触の強度の平均値(average value)、接触の強度の上位10個のパーセンタイル値、接触の強度の最大値の半分の値、接触の強度の最大値の90パーセントの値などのうちの1つ以上に任意選択的に基づく。いくつかの実施形態では、(例えば、特性強度が、経時的な接触の強度の平均である場合)特性強度を判定する際に接触の持続時間が使用される。いくつかの実施形態では、動作がユーザによって実行されたか否かを判定するために、特性強度は、1つ以上の強度閾値のセットと比較される。例えば、1つ以上の強度閾値のセットは、第1の強度閾値及び第2の強度閾値を含んでもよい。この例では、第1の閾値を超過しない特性強度を有する接触は、結果として第1の動作をもたらし、第1の強度閾値を超過し、かつ第2の強度閾値を超過しない特性強度を有する接触は、結果として第2の動作をもたらし、第2の閾値を超過する特性強度を有する接触は、結果として第3の動作をもたらす。いくつかの実施形態では、特性強度と1つ以上の閾値との比較は、第1の動作又は第2の動作のいずれを実行するかを決定するために使用されるのではなく、1つ以上の動作を実行するか否か(例えば、それぞれの動作を実行するか、又はそれぞれの動作の実行を見合わせるか)を決定するために使用される。
図5Cは、複数の強度センサ524A~524Dによる、タッチ感知ディスプレイスクリーン504上の複数の接触552A~552Eの検出を示す。図5Cは、強度の単位に関する、強度センサ524A~524Dの現在の強度測定値を示す、強度図を更に含む。この例では、強度センサ524A及び524Dの強度測定値はそれぞれ、9単位の強度であり、強度センサ524B及び524Cの強度測定値はそれぞれ、7単位の強度である。いくつかの実装では、集合強度は、複数の強度センサ524A~524Dの強度測定値の合計である。この例では、同集合強度は、32の強度単位である。いくつかの実施形態では、各接触には、集合強度の一部である、対応する強度が割り当てられる。図5Dは、接触552A~552Eに対する、力の中心554からのそれぞれの距離に基づく集合強度の割り当てを示す。この例では、接触552A、552B、及び552Eはそれぞれ、集合強度の8の強度単位の接触の強度が割り当てら、接触552C及び552Dはそれぞれ、集合強度の4の強度単位の接触の強度が割り当てられる。より一般的には、いくつかの実装では、各接触jは、所定の数学関数、Ij=A・(Dj/ΣDi)(式中、Djは、各接触jの力の中心までの距離であり、ΣDiは、各接触全て(例えば、i=1~最後まで)の力の中心までの距離の合計である)に従って、集合強度Aの一部である対応する強度Ijを割り当てられる。図5C及び図5Dを参照して説明された動作は、デバイス100、300、又は500に類似又は同一の電子デバイスを使用して実行され得る。いくつかの実施形態では、接触の特性強度は、1つ以上の接触の強度に基づく。いくつかの実施形態では、強度センサは、単一の特性強度(例えば、単一の接触の単一の特性強度)を判定するために使用される。強度図は、表示されたユーザインターフェースの一部ではなく、読み手を手助けするために図5C及び図5Dに含まれることに留意されたい。
いくつかの実施形態では、特性強度を判定する目的のために、ジェスチャの一部分が識別される。例えば、タッチ感知面は、開始位置から移行して終了位置に到達し、その時点で接触の強度が増大する、連続的なスワイプ接触を受信してもよい。この例では、終了位置での接触の特性強度は、スワイプ接触の全体ではなく、その連続的なスワイプ接触の一部分にのみ(例えば、終了位置におけるスワイプ接触の一部分にのみ)基づいていてもよい。いくつかの実施形態では、接触の特性強度を判定する前に、スワイプ接触の強度に平滑化アルゴリズムを適用してもよい。例えば、平滑化アルゴリズムは、非加重移動平均平滑化アルゴリズム、三角平滑化アルゴリズム、中央値フィルタ平滑化アルゴリズム、及び/又は指数平滑化アルゴリズムのうちの1つ以上を任意選択的に含む。いくつかの状況では、これらの平滑化アルゴリズムは、特性強度の判定を目的として、スワイプ接触の強度の小幅な急上昇又は急降下を排除する。
タッチ感知面上の接触の強度は、接触検出強度閾値、軽い押圧強度閾値、深い押圧強度閾値、及び/又は1つ以上の他の強度閾値などの、1つ以上の強度閾値に関連して特徴付けされてもよい。いくつかの実施形態では、軽い押圧強度閾値は、物理マウスのボタン又はトラックパッドをクリックすることに典型的に関連付けられた動作をデバイスが実行することになる強度に相当する。いくつかの実施形態では、深い押圧強度閾値は、物理マウスのボタン又はトラックパッドをクリックすることに典型的に関連付けられた動作とは異なる動作をデバイスが実行することになる強度に相当する。いくつかの実施形態では、軽い押圧強度閾値を下回る(例えば、かつ、それを下回ると接触がもはや検出されない名目上の接触検出強度閾値を上回る)特性強度で接触が検出される場合、デバイスは、軽い押圧強度閾値又は深い押圧強度閾値に関連付けられた動作を実行することなく、タッチ感知面上での接触の移動に従って、フォーカスセレクタを移動させることになる。全般的には、特に明記しない限り、これらの強度閾値は、異なるユーザインターフェース図のセット間でも一貫している。
軽い押圧強度閾値を下回る強度から、軽い押圧強度閾値と深い押圧強度閾値との間の強度への、接触の特性強度の増大は、「軽い押圧」入力と称される場合がある。深い押圧強度閾値を下回る強度から、深い押圧強度閾値を上回る強度への、接触の特性強度の増大は、「深い押圧」入力と称される場合がある。接触検出強度閾値を下回る強度から、接触検出強度閾値と軽い押圧強度閾値との間の強度への、接触の特性強度の増大は、タッチ面上の接触の検出と称される場合がある。接触検出強度閾値を上回る強度から、接触検出強度閾値を下回る強度への、接触の特性強度の減少は、タッチ面からの接触のリフトオフの検出と称される場合がある。いくつかの実施形態では、接触検出強度閾値は、ゼロである。いくつかの実施形態では、接触検出強度閾値は、ゼロを上回る。
本明細書で説明されるいくつかの実施形態では、1つ以上の動作は、それぞれの押圧入力を含むジェスチャの検出に応じて、又はそれぞれの接触(若しくは、複数の接触)で実行されるそれぞれの押圧入力の検出に応じて実行され、それぞれの押圧入力は、押圧入力強度閾値を上回る接触(又は、複数の接触)の強度の増大の検出に少なくとも部分的に基づいて検出される。いくつかの実施形態では、それぞれの動作は、押圧入力強度閾値を上回るそれぞれの接触の強度の増大(例えば、それぞれの押圧入力の「ダウンストローク」)の検出に応じて実行される。いくつかの実施形態では、押圧入力は、押圧入力強度閾値を上回るそれぞれの接触の強度の増大と、その後続の、押圧入力強度閾値を下回る接触の強度の減少とを含み、それぞれの動作は、後続の押圧入力閾値を下回るそれぞれの接触の強度の減少(例えば、それぞれの押圧入力の「アップストローク」)の検出に応じて実行される。
図5E~図5Hは、図5Eにおける軽い押圧強度閾値(例えば、「IT」)を下回る強度から、図5Hにおける深い押圧強度閾値(例えば、「IT」)を上回る強度への、接触562の強度の増大に対応する押圧入力を含むジェスチャの検出を示す。接触562により実行されたジェスチャは、タッチ感知面560上で検出され、その際カーソル576は、所定領域574内に表示されたアプリケーションアイコン572A~572Dを含む表示されたユーザインターフェース570上において、App2に対応するアプリケーションアイコン572B上に表示されている。いくつかの実施形態では、ジェスチャは、タッチ感知ディスプレイ504上で検出される。強度センサは、タッチ感知面560上での接触の強度を検出する。デバイスは、接触562の強度が、深い押圧強度閾値(例えば、「IT」)を上回ってピークとなったことを判定する。接触562は、タッチ感知面560上で維持される。ジェスチャの検出に応じて、かつ、ジェスチャ中に深い押圧強度閾値(例えば、「IT」)を上回る強度を有する接触562に従って、図5F~図5Hで示されるように、App2に関して現在開かれているドキュメントの縮小表示578A~578C(例えば、サムネイル)が表示される。いくつかの実施形態では、1つ以上の強度閾値と比較される強度は、接触の特性強度である。接触562に関する強度図は、表示されたユーザインターフェースの一部ではなく、読み手を手助けするために、図5E~図5Hに含まれていることに留意されたい。
いくつかの実施形態では、表示578A~578Cの表示は、アニメーションを含む。例えば、表示578Aは、図5Fで示されるように、最初は、アプリケーションアイコン572Bの近くに表示される。アニメーションが進行すると、表示578Aは、上向きに移動し、表示578Bが、図5Gで示されるように、アプリケーションアイコン572Bの近くに表示される。次いで、表示578Aが上向きに移動し、578Bが表示578Aに向かって上向きに移動すると、表示578Cは、図5Hで示されるように、アプリケーションアイコン572Bの近くに表示される。表示578A~578Cは、アイコン572B上に列を形成する。いくつかの実施形態では、図5F及び図5Gで示されるように、アニメーションは、接触562の強度に従って進行し、この場合、接触562の強度が深い押圧強度閾値(例えば、「IT」)に向かって増大すると、表示578A~578Cが出現し、上向きに移動する。いくつかの実施形態では、アニメーションの進行が基づく強度は、接触の特性強度である。図5E~図5Hを参照して説明された動作は、デバイス100、300、又は500に類似又は同一の電子デバイスを使用して実行され得る。
いくつかの実施形態では、デバイスは、「ジッタ」と呼ばれる場合がある偶発的入力を回避するために強度ヒステリシスを採用し、デバイスは、押圧入力強度閾値との既定の関連性を有するヒステリシス強度閾値を、定義又は選択する(例えば、ヒステリシス強度閾値は、押圧入力強度閾値よりも低いX強度単位か、又は、ヒステリシス強度閾値は、押圧入力強度閾値の75%、90%、若しくは何らかの妥当な比率である)。それゆえ、いくつかの実施形態では、押圧入力は、押圧入力強度閾値を上回るそれぞれの接触の強度の増大と、その後続の、押圧入力強度閾値に対応するヒステリシス強度閾値を下回る接触の強度の減少とを含み、それぞれの動作は、ヒステリシス強度閾値を下回る、後続のそれぞれの接触の強度の減少(例えば、それぞれの押圧入力の「アップストローク」)の検出に応じて実行される。同様に、いくつかの実施形態では、押圧入力は、デバイスが、ヒステリシス強度閾値以下の強度から、押圧入力強度閾値以上の強度への、接触の強度の増大を検出した場合にのみ、かつ任意選択的に、ヒステリシス強度以下の強度への、後続の接触の強度の減少を検出した場合に検出され、それぞれの動作は、押圧入力(例えば、状況に応じて、接触の強度の増大又は接触の強度の減少)の検出に応じて実行される。
説明を容易にするために、押圧入力強度閾値に関連付けられた押圧入力に応じて、又は押圧入力を含むジェスチャに応じて実行される動作の説明は、押圧入力強度閾値を上回る接触の強度の増大、ヒステリシス強度閾値を下回る強度から押圧入力強度閾値を上回る強度への接触の強度の増大、押圧入力強度閾値を下回る接触の強度の減少、及び/又は押圧入力強度閾値に対応するヒステリシス強度閾値を下回る接触の強度の減少のいずれかの検出に応じて、任意選択的にトリガーされる。更に加えて、押圧入力強度閾値を下回る接触の強度の減少の検出に応じて、動作が実行されるとして説明される例では、動作は、押圧入力強度閾値に対応し、かつ押圧入力強度閾値よりも低い、ヒステリシス強度閾値を下回る接触の強度の減少の検出に応じて、任意選択的に実行される。ここで、アラートの管理に対するユーザエクスペリエンスを向上させるために、デバイス100、300、及び/又は500などの、ディスプレイ及びタッチ感知面を備える多機能デバイス上で実装することが可能な、ユーザインターフェース並びに関連プロセスの実施形態に注意を向ける。
1.アラートを管理するためのユーザインターフェース
以下で説明されるアラートを管理するためのユーザインターフェースは、デバイス500が、アラートの受信及び様々なユーザ入力の検出に応じて表示し得る、画面の例示的なシーケンスにより示される。これらのシーケンスにおいて、矢印は、画面が表示され得る順序を示す。
a.通知の表示
図6A及び図6Bは、デバイス500がアラートを受信した後に表示し得る、例示的な画面604、612を示す。最初に、タッチスクリーン504は、消えているか、又は、非アクティブ状態でもよい。アラートの受信に応じて、デバイス500は、ユーザにより知覚され得る、可聴出力、可視出力、又は触覚出力などの、知覚出力602を発し得る。いくつかの実施形態では、デバイス500は、デバイス500上の触覚機構に、触覚出力を発しさせることにより、知覚出力を発し得る。いくつかの実施形態では、デバイス500は、ユーザに聞こえる音又は音色を再生することにより、知覚出力を発し得る。いくつかの実施形態では、デバイス500は、タッチスクリーン504上に点滅光又はインジケータなどの可視出力を表示することにより、知覚出力を発し得る。
いくつかの実施形態では、触覚出力を発することは、第1の触覚出力を発することと、第1の触覚出力を発した後に、第2の触覚出力を発することとを含み、第1の触覚出力は、第2の触覚出力とは異なる。ユーザが触覚出力を知覚する顕著性を増大させるために、ユーザは、「プレアラート」触覚出力を受け取ることを望む場合がある。第1の触覚出力は、第2の触覚出力を受け取ることをユーザに「準備させる(prime)」ことをしてもよく、これは、いくつかの実施形態では、以下で説明されるように、特定の情報(例えば、アラートのソース)を示してもよく、あるいは第2の知覚出力(例えば、可聴出力又は可視出力)に関連付けられていてもよい。例えば、動いている間又は何か別のことに注意を払っている間は、触覚出力を知覚することはユーザにとって困難である場合がある。したがって、第2の触覚出力(及び任意選択的に、関連付けられた第2の知覚出力)を知覚することをユーザに「準備させる」第1の触覚出力は、有利であり得る。
ユーザは、アラートのソースに基づいて、触覚出力の受け取りを望む場合がある。例えば、ユーザは、電子メールアラートと留守電話アラートとでは、異なる触覚出力の受け取りを望む場合がある。別個の触覚出力を提供するために、デバイスは、別個の可聴出力又は可視出力を伴う触覚出力を発してもよく、あるいはデバイスは、異なる強度、長さ、及び/又はパターンなどの、異なる特質を伴う触覚出力を発してもよい。アラートのソースを区別する別個の触覚出力をユーザが受け取れることにより、ユーザは、ディスプレイを見る必要なしに、アラートの種類を知覚することができるため、電池寿命を浪費しない。いくつかの実施形態では、第2の触覚出力は、アラームのソースに基づく。いくつかの実施形態では、第2の触覚出力は、可聴出力又は可視出力で発せられる。
いくつかの実施形態では、第1の触覚出力は、第2の触覚出力と比較して、より大きい強度及び/又は長さを有する。これは、例えば、ユーザに対してより強い触覚信号を提供し、第2の触覚信号(例えば、アラートのソースに基づいて別個の態様を有するもの、又は、可聴出力若しくは可視出力に関連付けられたもの)に備えてユーザの注意をデバイス500に引き付けることによって有利であることができる。いくつかの実施形態では、デバイス500は、触覚出力を発することが、第1の「準備用(priming)」触覚出力を発することを含むかどうかを構成するためのユーザインターフェース(図示せず)を含んでもよい。このような実施形態では、デバイス500が「準備用」触覚出力を発しないように構成されている場合、触覚出力を発することは、触覚出力を1つだけ発することを含んでもよい。
図6Aで示されるように、知覚出力602から所定の時間インターバル内での後続のユーザ入力の検出に応じて、デバイス500は、受信したアラートを表す通知606を伴う画面604を表示し得る。いくつかの実施形態では、ユーザ入力は、スワイプ又はタップなどの、タッチスクリーン504上での接触でもよい。いくつかの実施形態では、デバイス500がユーザの手首に装着されている場合、ユーザ入力は、ユーザが手首を上げるか又は回転させることによりデバイス500を視認位置に動かすことを示す信号でもよい。本明細書で使用されるとき、視認位置とは、ユーザがタッチスクリーン504を見ることができるデバイス500の位置である。いくつかの実施形態では、デバイス500は、「Raise Gesture Detection in a Device」と題された、米国特許仮出願第62/026,532号に記載されるように、ユーザが手首を上げるか又は下げることを示す信号を検出してもよい。同出願は、その全体が参照により本明細書に組み込まれる。
受信したアラートは、情報を含む。このような情報は、例えば、テキストコンテンツ、画像コンテンツ、又は音声コンテンツを伴って、アラートのソース、アラートに関連付けられたアプリケーション、並びに/又はアラートに関連付けられた時間及び/若しくは日付を含んでもよい。いくつかの実施形態では、受信したアラートを表す通知は、アラート情報の一部分を含む。例えば、図6Aに示されるように、通知606は、アラートのソース610(Jason Jones)と、アラートに関連付けられたアプリケーション(この例では、テキストメッセージアプリケーション)を示すアプリケーションアフォーダンス608とを含む(画面604上に示された破線の長方形は、通知のコンテンツを示すが、破線の長方形は、表示されなくてもよい)。いくつかの実施形態では、アプリケーションアフォーダンス608の選択の検出に応じて、デバイス500は、アラートに関連付けられたアプリケーションを起動させ得る。いくつかの実施形態では、アプリケーションを起動させることは、タッチスクリーン504上にアプリケーションを表示することと、このアプリケーション内で見たり、編集したり、又は応答したりするために、アラートを開くこととを含む。
上述のとおり、デバイス500は、触覚出力から所定の時間インターバル内でのユーザ入力の検出に応じて、スクリーン604を表示し得る。いくつかの実施形態では、所定の時間インターバルは、0秒~3分の範囲でもよい。他の実施形態では、所定の時間インターバルは、0秒~1分の範囲でもよい。更に他の実施形態では、所定の時間インターバルは、ユーザにより設定されてもよいし、あるいは、ユーザが入力を提供する前に経過した従前の時間の平均などのユーザの以前の行為に基づいてデバイス500により決定されてもよい。
図6Aで示されたシナリオは、アラートの受信に応じてデバイス500により発された知覚出力を知覚したユーザが、受信したアラートを表す通知を即座に見ることを望み、それゆえ、デバイス500を所定の時間インターバル内に(例えば、手首を上げることにより)タッチスクリーン504を見るのに適した位置に動かす場合に対応し得る。
図6Bで示されるように、デバイス500が所定の時間インターバル後にユーザ入力を検出した場合には、デバイス500は、代わりに、時計文字盤612を表示することによって応答し得る。このシナリオは、ユーザが通知を即座に見ることを望んでおらず、知覚出力602から少し経ってから、タッチスクリーン504を見るために手首を上げる場合に対応し得る。いくつかの実施形態では、時計文字盤612は、現在時刻を示すユーザインターフェースオブジェクト616を含んでもよい。いくつかの実施形態では、時計文字盤612は、アラートコンテンツが未だ表示されていないという理由から、受信したアラートに対応する未読のアラートの指標614を含んでもよい。図6Bで示されるように、指標614は、ドットでもよい。図6Cは、指標614がシェブロンである、別の実施形態を示す。いくつかの実施形態では、デバイス500は、シェブロンの代わりに、方向を示す指標を提供する矢印、三角形、又は他のグラフィックオブジェクトを表示する。未読のアラートの指標は、以下でより詳細に説明される。
いくつかの実施形態では、デバイス500は、時計文字盤612ではなく、ホーム画面を表示し得る。例示的なホーム画面706は、図7で示す。ホーム画面は、複数のアプリケーションを表す複数のアフォーダンスを含んでもよく、受信したアラートに対応する未読のアラートの指標を含んでもよい。
デバイス500が、知覚出力から所定の時間インターバル内でユーザ入力を検出しない場合、デバイス500は、画面604を表示することなく、最初の暗い又は非アクティブ状態のままでもよい。このシナリオは、ユーザが、通知を即座に見ることを望まない、あるいは近くにいる他人に通知を見られるのを避けるために、知覚出力を知覚した後、タッチスクリーン504を見るための位置にデバイス500を動かさない場合に対応し得る。
通知606が表示されている間に、デバイス500が、通知が表示されてから第2の所定の時間インターバル内で第2のユーザ入力を検出した場合、デバイス500は、タッチスクリーン504を、最初の暗い又は非アクティブ状態に戻すことができる。第2のユーザ入力は、例えば、ユーザが手首を下げる及び/又は回転させることにより、視認位置の外にデバイス500を動かすことを示す信号でもよい。第2の所定の時間インターバル内での第2のユーザ入力の検出に応じて、デバイス500は、ディスプレイを、最初の暗い又は非アクティブ状態に戻すことができる。このシナリオは、通知を見たユーザが、デバイス500を見続けること又はデバイス500と対話し続けることを望まないため、手首を下げる場合に対応し得る。
いくつかの実施形態では、通知606を表示することは、タッチスクリーン504上で通知606を垂直方向にスライドさせるアニメーションを表示することを含む。例えば、デバイス500は、タッチスクリーン504の下部からタッチスクリーン504の上部へと通知606をスライドさせるアニメーションを表示してもよい。このようなアニメーションは、通知が(例えば)画面の下部から「上昇(rising up)」していることから、通知を「押し下げる(push down)」という、そのアニメーションとは反対方向のタッチスクリーン504との接触(例えば、下向きスワイプ)を行うことによって通知が消去されるであろう、という視覚的な合図をユーザに提供し得る。ユーザはまた、アニメーションと同じ方向のタッチスクリーン504との接触(例えば、上向きスワイプ)が、テキストメッセージの本文、又はカレンダーアラ-トに関連付けられた追加のテキストなどの更なるアラート情報を「引き上げる(pull up)」(例えば、表示する)であろうことを、そのアニメーションから察知し得る。このため、デバイス500により表示されたアニメーションは、ユーザがデバイス500に対して提供し得る可能性のある入力に関する視覚的な合図をユーザに提供することができる。当業者であれば、通知に関するアニメーションの方向が上向き方向である必要はないことを認識するであろう。例えば、通知は、タッチスクリーン上で、画面の上部から下にスライドさせてもよく、この場合、ユーザは、通知を消去するには、上向きスワイプが必要であることを察知し得る。このような視覚的な合図は、小型画面上に詳細な説明の表示を必要とすることなく、ユーザが適切な入力を適用するのをガイドすることにより、マン・マシン・インターフェースを改善することができる。
上述のとおり、いくつかの実施形態では、デバイス500は、アラートの受信に応じて、例えば触覚機構に知覚出力を発することによって知覚出力を発することができ、それにより、アラートを受信したことをユーザに通知する。ただし、いくつかの実施形態では、デバイス500は、ユーザにとってより都合が良いであろうタイミングで知覚出力を伝えるために、アラートの受信に応じて、知覚出力の発生を遅延させ得る。例えば、デバイス500は、ユーザが比較的活動的でないため、知覚出力をより知覚しやすくなるまで知覚出力を遅延させたり、あるいはユーザが能動的に活動に従事しているか、又は眠っているときに、ユーザの邪魔をしないように知覚出力を遅延させたりしてもよい。いくつかの実施形態では、アラートの受信に応じて、デバイス500は、1つ以上の動きセンサ、加速度計、心拍数モニタ、及び/又は他の種類のセンサからデータを取得して、現在のユーザアクティビティレベル(例えば、ユーザが現在、運動中、タイピング中、又は睡眠中であるかどうか)を判断してもよい。デバイス500は、判断されたユーザアクティビティレベルが活動基準に合致するまで、知覚出力を遅延させ得る。いくつかの実施形態では、活動基準としては、例えば、ユーザは(デバイス500上のセンサからの出力により判断して)比較的静止している、物理キーボード上でのタイピングを停止している、会話が止まっている、又は、睡眠中ではない、ことが挙げられる。この方法により、デバイス500は、ユーザの邪魔になりにくく、かつユーザがより知覚しやすいタイミングで、新しいアラートを受信したことをユーザに知らせるための知覚出力を発することができる。
デバイス500が通知を表示した後、ユーザは、他の選択肢の中から、通知を消去することを選択してもよいし、アラートのコンテンツ(例えば、テキストメッセージの本文、又はカレンダーアラ-トに関連付けられたテキスト)を表示することを選択してもよい。
b.通知の消去
図7は、アラートを受信した後、デバイス500がタッチスクリーン504上に表示し得る画面の別の例示的なシーケンスを示す。図6Aに関連して検討されたように、タッチスクリーン504は、最初は、暗い又は非アクティブ状態であってもよい。アラートの受信に応じて、デバイス500は、知覚出力を発し得る。図6Aで記載したように、知覚出力から第1の所定の時間インターバル内でのユーザ入力の受信に応じて、デバイス500は、受信したアラートを表す通知606を含む画面604を表示する。この例示的なシーケンスでは、画面604上に通知606を表示することは、タッチスクリーン504の下部から上向きに通知606をスライドさせるアニメーションを表示することを含む。
通知606が表示されている間に、デバイス500が、消去基準に合致する接触をタッチスクリーン504上で検出した場合には、デバイス500は、通知606を消去し得る。いくつかの実施形態では、通知606を消去することは、通知606をディスプレイから除去すること、及び/又は通知の表示を時計文字盤(例えば、図6Bの時計文字盤612)又はホーム画面706の表示で置き換えることを含む。
いくつかの実施形態では、接触がタッチスクリーン504上でのスワイプ又はフリックである場合、接触は、消去基準に合致する。いくつかの実施形態では、接触がタッチスクリーン504上での特定方向へのスワイプ又はフリック、例えば、アニメーションがタッチスクリーン504上で通知をスライドさせる方向とは反対の方向へのスワイプ又はフリックである場合、接触は、消去基準に合致する。例えば、アニメーションがタッチスクリーン504上で通知を下部から上向きにスライドさせる場合、接触がタッチスクリーン504上での下向き方向へのスワイプである場合に、接触は、消去基準に合致し得る。いくつかの実施形態では、タッチスクリーンにわたるスワイプ又はフリックの距離が閾値距離を超える場合に、接触は、消去基準に合致し得る。いくつかの実施形態では、閾値距離は、タッチスクリーン504の長さの1/4、1/2、又は3/4でもよい。
図7に戻って、いくつかの実施形態では、通知606が表示されている間における、タッチスクリーン504上での接触の移動(例えば、スワイプ)の検出に応じて、デバイス500は、タッチスクリーン上において、接触の移動の方向に通知606をスライドさせ、消去インジケータ714を通知に隣接させて表示することができる。図7で示されるように、いくつかの実施形態では、消去インジケータは、接触の移動の方向が下向きである場合、通知の上に表示されてもよい。消去インジケータ714は、接触の移動が同じ方向に継続される場合、通知が消去されるであろうという視覚的な合図をユーザに提供してもよい。消去インジケータを表示した後、いくつかの実施形態では、接触が閾値基準に合致する場合には、接触の解放の検出に応じて、デバイス500は、通知606を消去し、消去インジケータ714をタッチスクリーン504から除去することができる。接触が、閾値基準に合致しない場合(例えば、接触の移動が閾値距離を超えない場合)、デバイス500は、ディスプレイ上で通知606を初期位置に戻すようにスライドさせるアニメーションを表示させ、消去インジケータ714をディスプレイから除去することができる。このため、この例では、通知を消去するためには、ユーザは、閾値距離を超えるのに十分なほど通知を「押し下げ」なければならず、でなければ、通知が元の位置に戻ることとなる。いくつかの実施形態では、図7で示されるように、通知606を消去することは、通知606をタッチスクリーン504の外へスライドさせるアニメーションを表示することを含む。いくつかの実施形態では、アニメーションは、通知606を、スワイプ又はフリックの方向に、タッチスクリーン504の外へスライドさせる。
上記で検討されたように、ユーザはまた、通知が表示されている間に、(デバイス500により検出される)手首を下げることによって、通知を消去してもよい。いくつかの実施形態では、デバイス500は、(図7に関連して検討された)消去基準に合致する接触の検出に応じて通知が消去される場合と、前述したとおり、ユーザが手首を下げることを示す信号の検出に応じて通知が消去される場合とでは、異なる応答をしてもよい。例えば、デバイス500がユーザの手首に装着されており、デバイス500が、ユーザが手首を下げることを示す信号を検出した場合、デバイス500は、ユーザがもはやタッチスクリーン504を見ていないと推測してもよく、これにより、通知を消去した後に、タッチスクリーン504を消す、又は非アクティブ化してもよい。対照的に、デバイス500が、通知を表示している間に、消去基準に合致する接触(例えば、下向きスワイプ)をタッチスクリーン504上で検出した場合、デバイス500は、ユーザが依然として能動的にタッチスクリーン504を見ていると推測してもよく、デバイス500は、通知を消去し、次いで、時計文字盤、ホーム画面、又はアラートを受信する前に表示されていた画面などの他の画面を表示することにより、接触に応じてもよい。
c.アラートコンテンツの表示
上記で検討されたように、受信したアラートは、情報を含む。同情報は、テキストメッセージ又は電子メールの本文、留守番電話メッセージ、カレンダーリマインダーに関する詳細、又は他の種類のコンテンツなどの(可能性のある)アラートコンテンツと共に、アラートのソース、アラートに関連付けられたアプリケーション、及びアラートの時間を含んでもよい。受信したアラートを表す通知は、アラートのソース、関連付けられたアプリケーション、又は受信した時間などの、このアラート情報の第1の部分を含んでもよい。
図6A、図6B、及び図7に関連して上記で検討されたように、アラートを受信した後、デバイス500は、知覚出力を発し、次いで、ユーザ入力の検出に応じて、知覚出力後の第1の時間インターバル内で通知606を表示することができる。通知を見るために手首を上げた後、ユーザは、関連付けられたアラートコンテンツを見ることを望む場合がある。
いくつかの実施形態では、通知を表示した後、所定の時間インターバルの間、ユーザがデバイス500を視認位置に維持し続けているとデバイス500が判定した場合、デバイス500は、アラートコンテンツの一部又は全てを表示し得る。同アラートコンテンツの一部又は全ては、情報の第2の部分と呼ぶこともできる。すなわち、いくつかの実施形態では、デバイス500は、ユーザがデバイス500を視認位置で保持し、待っている場合、通知の表示から、アラートコンテンツの表示へと自動的に遷移し得る。
図8は、デバイス500がアラートの受信に応じて表示し得る、画面の例示的なシーケンスを示す。タッチスクリーン504は、最初は、暗い又は非アクティブ状態でもよい。アラートの受信に応じて、デバイス500は、知覚出力を発し得る。(図6Aに関連して記載されたように)知覚出力から所定の期間内でのユーザ入力の受信に応じて、デバイス500は、通知606を表示し得る。通知606を表示してから第2の所定期間後もユーザ入力が受信され続けているとの判定に応じて、つまり、デバイス500が視認位置で維持されていることを示す場合、デバイス500は、通知606及びアラートコンテンツ804を含む画面802を表示し得る。いくつかの実施形態では、デバイス500は、通知606を表示してから第2の所定の期間内に第2のユーザ入力が検出されなかったことに応じて、画面802を表示し得る。第2のユーザ入力は、ユーザが手首を下げることを示す信号であってもよく、例えば、このような入力がないことは、デバイス500が視認位置にあるままであることを示す。
この例では、アラートコンテンツ804は、通知606により表されるテキストメッセージの本文である。他の例では、アラートコンテンツは、例えば、受信した電子メールアラートの件名及び本文の一部若しくは全てを含んでもよいし、又は、カレンダーアラ-トに関連付けられたテキストコンテンツの一部若しくは全て、又は、マルチメディアメッセージであってもよい。
図8で示されるように、いくつかの実施形態では、アラートコンテンツ804を表示することは、表示するために、アラートコンテンツ804をタッチスクリーン504の下部から上にスライドさせながら、通知606をタッチスクリーン504上で上向きにスライドさせるアニメーション表示することを含み、これにより、通知及びアラートコンテンツが同じ画面上に表示される。いくつかの実施形態では、デバイス500は、アラートコンテンツを表示するためのスペースを提供するために、通知606を、タッチスクリーン504の上側コーナーにスライドさせ得る。いくつかの実施形態では、デバイス500は、アラートコンテンツを表示するためのスペースを提供するために、通知606の表示サイズを収縮させ得る。
いくつかの実施形態では、アラートコンテンツが長すぎてタッチスクリーン504上で全て表示できない場合、アラートコンテンツをスクロールさせ得る。ユーザ入力の検出に応じて、デバイス500は、アラートコンテンツをスクロールさせて、タッチスクリーン504上の追加のアラートコンテンツをユーザが見られるようにする。このようなスクロール入力は、タッチスクリーン504上での接触(例えば、上向き又は下向きのスワイプ又はフリック)を含んでもよいし、例えば、存在する場合、回転可能入力機構の回転を含んでもよい。いくつかの実施形態では、デバイス500は、ユーザ入力に従って、アラートコンテンツをスクロールさせ得る。例えば、タッチスクリーン504上での上向きスワイプに応じて、デバイス500は、アラートコンテンツを、タッチスクリーン504上で上向きに動かし得る。
図8で示されるように、いくつかの実施形態では、デバイス500は、図7に関連して上記で記載されたように、消去基準に合致する接触の検出に応じて、通知及びアラートコンテンツを消去し得る。いくつかの実施形態では、通知606及びアラートコンテンツ804を消去することは、通知606及びアラートコンテンツ804を、タッチスクリーン504の外にスライドさせることを含む。いくつかの実施形態では、デバイス500は、上述のとおり、接触の移動が閾値距離を超えない場合、消去インジケータを表示し、通知及びアラートコンテンツを「戻し」得る。いくつかの実施形態では、デバイス500は、通知及びアラートコンテンツを消去した後、時計文字盤612を表示し得る。いくつかの実施形態では、アラートコンテンツが消去された後に時計文字盤612が表示される場合、アラートコンテンツが表示された後であるという理由から、時計文字盤は、未読のアラートの指標を伴わずに表示され得る。
上記で検討されたように、通知を表示した後にデバイスが視認位置に維持されているとの検出に応じて、デバイス500は、アラートコンテンツを表示し得る。ただし、いくつかの場合には、所定の時間インターバルの間、デバイス500を視認位置に維持することにより、アラートコンテンツを見るのを待つことをユーザが望まない場合がある。このため、いくつかの実施形態では、デバイス500は、通知606が表示されている間の、タッチスクリーン504との接触の検出に応じて、画面802も表示し得る。いくつかの実施形態では、アラートコンテンツ804の表示を呼び出すための接触は、スワイプ又はフリックなどの、タッチスクリーン504上での接触の移動を含んでもよい。いくつかの実施形態では、スワイプ又はフリックは、タッチスクリーン504上での上向きスワイプなどの、通知606をタッチスクリーン504上でスライドさせるアニメーションと同じ方向でなければならず、通知後により多くのアラート情報を、概念的に「引き上げる」。いくつかの実施形態では、接触は、通知606上又は通知606近くでのタッチ(例えば、指のタップ)であり得る。
図24で示されるように、いくつかの実施形態では、タッチスクリーン504がコンテンツを能動的に表示している間のアラートの受信に応じて、デバイス500は、画面コンテンツの少なくとも一部は表示したままで、通知バナー2402を、タッチスクリーン504の上部にわたって表示し得る。いくつかの実施形態では、タッチスクリーン504がコンテンツを能動的に表示している間のアラートの受信に応じて、デバイス500は、知覚出力702を発してもよい。図24で示された例では、表示されているコンテンツは、ホーム画面706である。スワイプ又はタップなどの、通知バナー2402上での接触の検出に応じて、デバイス500は、アラートコンテンツ804を含む画面802を表示し得る。
いくつかのアラートは、アラートコンテンツを何ら有さなくてもよい。例えば、クロックアラーム、バッテリ残量低下アラート、又はフィットネスアラームは、アラートコンテンツを何ら有さなくてもよい。このため、いくつかの実施形態では、デバイス500は、アラートコンテンツの表示へと遷移することなく、通知を表示し続け得る。
d.アラートコンテンツの自動表示の抑制
いくつかの場合には、ユーザは、プライバシーの懸念又は他の理由から、図8に関連して記載されたように、デバイス500がアラートコンテンツを自動的に表示することを望まない場合がある。このため、いくつかの実施形態では、デバイス500は、デバイス500に記憶された構成データを変更することによってアラートコンテンツのこのような自動表示を抑制する選択肢を、ユーザに対して提供し得る。いくつかの実施形態では、アラートコンテンツの表示に遷移する前に、デバイス500は、構成データを取得して、アラートコンテンツが表示されるべきかどうかを判定し得る。アラートコンテンツが表示されるべきであると構成データが示す場合、デバイス500は、図8に関連して上述したとおり、アラートコンテンツを表示し得る。アラートコンテンツが表示されるべきでないと構成データが示す場合、デバイス500は、アラートコンテンツへと遷移することなく、通知を表示し続け得る。
いくつかの実施形態では、デバイス500がアラートコンテンツの自動表示を(構成データにより)抑制するように構成されている場合であっても、デバイス500は、表示されている通知の上でのタップ又はスワイプなどの接触の検出に応じて、アラートコンテンツを表示してもよい。
e.音声コンテンツを含むアラート
いくつかの受信したアラートは、音声コンテンツを含んでもよい。このようなアラートは、留守番電話メッセージ、音声メッセージ、又は「プッシュ・トゥ・トーク」メッセージを含んでもよい。いくつかの実施形態では、図9で示されるように、表示されたアラートコンテンツは、音声コンテンツを再生するための再生アフォーダンス902を含み得る。再生アフォーダンス902の選択の検出に応じて、デバイス500は、音声コンテンツを再生し得る。いくつかの実施形態では、音声コンテンツが生の音声会話の一部として受信され(例えば、デバイスが「プッシュ・トゥ・トーク」モードで動作している場合)、かつユーザが再生アフォーダンスを選択する場合、デバイス500は、アフォーダンスの選択に応じて、最初の音声メッセージを再生し得、デバイス500は、アフォーダンスの後続の選択を要求することなく、音声メッセージが受信されると、後続の音声メッセージを生で再生し得る。
f.テキストメッセージアラート
いくつかの実施形態では、アラートがテキストメッセージである場合、ユーザは、アラートに関連付けられたテキストメッセ-ジ会話を見ることを望む場合がある。図10は、デバイス500がテキストメッセージアラートを受信した後に示し得る、画面のシーケンスを示す。このシーケンスは、図8で示されたシーケンスに類似し、通知606と、送信者Jason Jonesから受信したテキストメッセージに対応するアラートコンテンツ804とを表示することを示す。ただし、この例では、画面802を表示している間に、デバイス500は、タッチスクリーン504上で接触を検出する。接触は、例えば、タッチスクリーン504上でのアプリケーションアフォーダンス608に対応する位置におけるタッチ若しくはタップ、又は、タッチスクリーン504上での水平スワイプでもよい。タッチスクリーン504との接触の検出に応じて、デバイス500は、画面1002を表示し得る。
画面1002は、ユーザとテキストメッセージアラートのソースとの間のテキストメッセージ会話の一部又は全てを含む。この例では、テキストメッセージ会話は、Jason Jonesとの間で送受信されるテキストメッセージを含む。いくつかの実施形態では、テキストメッセージ会話中のテキストメッセージは、メッセージが送受信された順序に基づいて、経時的に配置される。
g.応答オプション
いくつかの場合には、通知又はアラートコンテンツを見る際、ユーザは、アラートに応答することを望む場合がある。デバイス500が比較的小さなタッチスクリーンを備える小型デバイスであるため、携帯電話などのより大きなデバイス上でアラートに応答するのに使用され得るユーザインターフェースは、タッチスクリーン504上では、効果的でない、かつ/又は、扱いにくい場合がある。ユーザは、小型デバイス上では、困難であるか又は失敗するおそれがある比較的正確なタッチスクリーン入力のシーケンスの提供を必要とすることなく、アラートに応答可能であることを望む場合がある。このため、いくつかの実施形態では、デバイス500は、ユーザが小型画面上でアラートに対してより素早く、より容易に応答することを可能にするユーザインターフェースを提供し得る。
上述のとおり、デバイス500は、タッチスクリーン504上での接触の検出に応じて、あるいは、いくつかの実施形態では、回転可能入力機構の回転に応じて、アラートコンテンツをスクロールさせ得る。いくつかの実施形態では、ユーザがアラートコンテンツの下部(コンテンツの最後)を超えてスクロールさせるのを試みた場合、デバイス500は、アラートに関連付けられたアプリケーションにより実行され得るアクションに関連付けられたユーザインターフェースオブジェクトを表示することにより応答し得る。
例えば、図11は、アラートの受信に応じてデバイス500が表示し得る、画面のシーケンスを示す。これらの画面は、図4に関連して記載された画面と同様である。アラートコンテンツ804(この場合、アラートコンテンツは、テキストメッセージである)の下部を表示している間に、デバイス500は、アラートコンテンツの下部を超えてスクロールさせることを要求するユーザ入力、すなわち、アラートコンテンツを更に表示するためにアラートコンテンツを上向きに移動させることを要求するユーザ入力、を検出する。ユーザ入力は、例えば、タッチスクリーン504上での上向きスワイプ、又は、回転可能入力機構の回転でもよい。ユーザ入力の検出に応じて、デバイス500は、通知606及びアラートコンテンツ804を上向きにスクロールし、ユーザインターフェースオブジェクト1112、1114を、タッチスクリーン504上のアラートコンテンツの下にスクロールし得る。この例では、通知606は、タッチスクリーン504の上部の外へスクロールされ、もはや表示されていない。
図11の例では、アラートは、テキストメッセージである。このため、この実施形態では、タッチスクリーン504上でスクロールされたユーザインターフェースオブジェクト1112、1114は、テキストメッセージアプリケーションに対応するアクションに関連付けられている。具体的には、ユーザインターフェースオブジェクト1112は、返信アクションに関連付けられ、ユーザインターフェースオブジェクト1114は、消去アクションに関連付けられている。他の種類のアラートについては、タッチスクリーン504上でスクロールされるユーザインターフェースオブジェクトは、異なってもよい。例えば、カレンダー招待については、アクションは、出席又は欠席を含んでもよい。留守番電話アラートについては、アクションは、かけ直す又はメッセージ送信を含んでもよい。いくつかの実施形態では、表示されるユーザインターフェースオブジェクトが3つ以上存在してもよい。
いくつかの実施形態では、消去アクションに関連付けられたユーザインターフェースオブジェクト1114の選択の検出に応じて、デバイス500は、図8に関連して上述したとおり、アラートを消去し得る。
いくつかの実施形態では、返信アクションに関連付けられたユーザインターフェースオブジェクト1112の選択の検出に応じて、デバイス500は、画面1120を表示し得る。画面1120は、テキストメッセージに返信するための選択肢に対応する、複数のユーザインターフェースオブジェクト1122、1124、1126、1128を含む。この例では、返信オプションは、「スマートリプライ」、「絵文字」、「音声入力」、及び「KB」(キーボード)を含む。このような返信オプションは、2014年9月2日出願の、Nicholas Zambettiを発明者とする、「Historical Buttons for Input Methods」と題された、米国特許仮出願第62/044,923号、2015年3月3日出願の、Nicholas Zambettiを発明者とする、「Historical Buttons for Input Methods」と題された、米国特許仮出願第62/127,800号、及び2015年3月8日出願の、Nicholas Zambettiを発明者とする、「Historical Buttons for Input Methods」と題された、米国特許仮出願第62/129,903号に記載された機能を含んでもよい。これらの出願は、その全体が参照により組み込まれる。
「スマートリプライ」に対応するユーザインターフェースオブジェクト1122の選択の検出に応じて、デバイス500は、スマートリプライ画面1130を表示し得る。スマートリプライ画面1130は、所定の応答メッセージ1132、1134、1136を選択するためのユーザインターフェースを含む。いくつかの実施形態では、所定の応答メッセージのコンテンツは、デバイス500によりデフォルトとして提供されてもよいし、又は、ユーザによりカスタマイズされてもよい。いくつかの実施形態では、所定の応答メッセージのコンテンツは、外部デバイスから、デバイス500が受信してもよい。
所定の応答メッセージ1132、1134、1136の選択の検出に応じて、デバイス500は、所定の応答メッセージを、アラートソースに送信し、メッセージ送信完了確認画面1140を表示し得る。メッセージ送信完了確認画面1140を所定の時間インターバルの間表示した後、デバイス500は、時計文字盤212又はホーム画面を表示し得る。この例では、アラートコンテンツが表示された後であるという理由から、時計文字盤212は、受信したアラートに対応する未読アラートの指標は含まない。
画面1120に戻って、デバイス500が、1122ではなく、ユーザインターフェースオブジェクト1124の選択を検出した場合、デバイス500は、アラートソースに対する返信として送信するための絵文字(例えば、表意文字、クリップアート、又はアニメーション)を選択するためのユーザインターフェースを表示し得る。絵文字の選択の検出に応じて、デバイス500は、選択された絵文字を、アラートのソースに送信し、メッセージ送信完了確認画面1140を表示し得る。
いくつかの実施形態では、選択直後に所定の応答又は絵文字を送信する代わりに、デバイス500は、確認アフォーダンスを表示し得る。確認アフォーダンスの選択の検出に応じて、デバイス500は、上述のとおり、所定の応答又は絵文字を送信し得る。
いくつかの実施形態では、ユーザインターフェースオブジェクト1126の選択の検出に応じて、デバイス500は、デバイス500上のマイクロフォンからのオーディオ入力を記録し、ソースへの返信として、記録した音声に対応するデータを送信し得る。いくつかの実施形態では、記録した音声は、音声メッセージデータとして送信されてもよい。他の実施形態では、記録した音声は、デバイス500により転記されて、転記データとして送信されてもよい。いくつかの実施形態では、音声記録を表すデータをソースに直ちに送信する代わりに、デバイス500は、送信アフォーダンスと共に、記録した音声をタッチスクリーン504上に表示し、送信アフォーダンスが選択された場合には、デバイス500に、音声に対応するデータをソースに対して送信させる。
いくつかの実施形態では、ユーザインターフェースオブジェクト1128の選択の検出に応じて、デバイス500は、ユーザがアラートに対する応答をタイプすることを可能にする仮想キーボードを表示し得る。
図12Aで示されるように、いくつかの実施形態では、ユーザインターフェースオブジェクト1112、1114をタッチスクリーン504上で上にスクロールさせた後、ユーザインターフェースオブジェクト1114の下部を過ぎてスクロールさせることを要求するユーザ入力の検出に応じて、デバイス500は、タッチスクリーン504上で、ユーザインターフェースオブジェクト1112、1114の下に、返信オプションを表すユーザインターフェースオブジェクト1202、1204、1206、及び1208をスクロールさせ得る。これらの返信オプションは、図11に関連して上述した、2つの所定の応答メッセージ1202、1204、音声入力1208、及び絵文字1206のオプションを含む。返信オプション1202、1204、1206、1208のうちの1つの選択の検出に応じて、デバイス500は、図11に関連して記載されたように応答し得る。
図12Bで示されるように、いくつかの実施形態では、アラートコンテンツの下部の下のユーザインターフェースオブジェクト1112、1114を上にスクロールさせる代わりに、デバイス500は、ユーザインターフェースオブジェクト1202、1204、1206、及び1208を、画面上で、アラートコンテンツの下部の下にスクロールさせ得る。この例では、アラートコンテンツ804の下部を過ぎてスクロールさせることを要求するユーザ入力(例えば、上向きスワイプ)の検出に応じて、デバイス500は、タッチスクリーン504で、アラートコンテンツの下部の下に、これらの返信オプションをスクロールさせる。
図12Cは、図11~図12Bを参照して上述した「スマートリプライ」を使用するためのインターフェースの一部としてデバイス500が表示し得る、例示的なアニメーションを示す。画面1210上に、デバイス500は、アラート(例えば、テキストメッセージ1212)と、返信アクションに関連付けられたユーザインターフェースオブジェクト1214とを表示する。返信アクションに関連付けられたユーザ入力(例えば、タッチスクリーン504上のユーザインターフェースオブジェクト1214の位置におけるタッチ)の受信に応じて、デバイス500は、複数の所定の応答メッセージのアニメーション化された表示(reveal)を表示してもよい。例えば、図12Cで示すように、画面1220は、所定の応答メッセージに対応するユーザインターフェースオブジェクト1222及び1224を、最初に表示する。ユーザインターフェースオブジェクト1222及び1224は、画面1220の下部に出現し、かつ矢印1226により示されるように、上向き方向に画面上を移動するようにアニメーション化されている。一連のアニメーション化された表示に関して、ユーザインターフェースオブジェクト1228、1230、及び1232が画面1220の下に出現すると、ユーザインターフェースオブジェクト1222及び1224は、画面504の上部に移動する。ユーザインターフェースオブジェクト1228は、第3の所定の応答メッセージを示し、ユーザインターフェースオブジェクト1230は、絵文字による応答を示し、ユーザインターフェースオブジェクト1232は、音声入力による応答を示す。
ユーザは、所定の応答メッセージ又は他の応答オプション(例えば、絵文字又は音声入力)の選択を示すユーザ入力を提供してもよい。例えば、ユーザは、タッチスクリーン504上のユーザインターフェースオブジェクト1228の位置において、タッチを提供してもよい。所定の応答メッセージ又は他の応答オプションの選択を示すユーザ入力の検出に応じて、デバイス500は、他の所定の応答メッセージ及び応答オプション(例えば、ユーザにより選択されなかったもの)の表示を除去してもよい。図12Cで示されるように、「分かりません」という所定の応答メッセージ(例えば、ユーザインターフェースオブジェクト1228)の選択を示すユーザ入力の受信に応じて、デバイス500は、ユーザインターフェースオブジェクト1222、1224、1230、及び1232の表示を除去する。その後に、デバイス500は、選択された所定の応答メッセージをアニメ化して一時的に停止させ、次いで、矢印1234が示すように、画面1220の外へ移動させ、消去してもよい。表示された所定の応答メッセージ/他の応答オプションの停止、移動、及び除去後に、デバイス500は、時計文字盤212又はホーム画面などの、第2のユーザインターフェース画面(例えば、画面1240)を表示してもよい。例えば、ユーザインターフェースオブジェクト1224が画面1220の外へ移動した後、デバイス500は、画面1240を、フェードインさせたり、焦点が合っていない状態から焦点が合っている状態へ移行させたりなどすることによって表示してもよい。デバイス500はまた、選択された所定の応答メッセージを、アラートソースに送信してもよい。
デバイス500は、ユーザが他の種類のアラートに応答するのを可能にする、他の応答オプションを表示し得る。例えば、図13A及び図13Bは、ユーザがクロックアラームアラート又はソーシャルメディアの「友達申請」のアラートに応答するのを可能にするようにデバイス500がタッチスクリーン504上に表示し得る、画面の例示的なシーケンスを示す。図13Aで示す例では、デバイス500は、クロックアラームアラートを受信し、知覚出力を発する。知覚出力から所定の時間インターバル内でのユーザ入力の検出に応じて、デバイス500は、クロックアラームアラートに対応する通知1304を含む画面1302を表示する。通知1304上での接触の検出に応じて、デバイス500は、応答画面1330を表示する。接触は、通知1304が表示されている間の、タッチスクリーン504上での上向きスワイプでもよい。この接触に応じて、デバイス500は、画面1330を表示する。この場合、応答オプションは、「スヌーズ」1306及び「停止」1308を含む。
図13Bです例では、デバイス500は、ソーシャルメディアアプリケーションから「友達申請」アラートを受信し、知覚出力を発する。知覚出力から所定の時間インターバル内でのユーザ入力の検出に応じて、デバイス500は、友達申請アラートに対応する通知1312を含む画面1310を表示する。画面1310を表示している間の、タッチスクリーン504との接触の検出に応じて、デバイス500は、応答画面1340を表示する。接触は、例えば、タッチスクリーン504上での上向きスワイプでもよい。この接触の検出に応じて、デバイス500は、画面1340を表示する。この場合、アラートの応答オプションは、ユーザが友達申請を承認又は拒否することを可能にする、「承認」1314及び「拒否」1316を含む。
当業者であれば、他の種類のアラートについて、多くの他の応答オプションが可能であることを認識するであろう。
図8~図11で示された上述の例では、通知が表示されている間のタッチスクリーン504上での上向きスワイプに応じて、デバイス500は、受信したアラートに関連付けられたアラートコンテンツを表示することを留意されたい。しかしながら、図13A及び図13Bで示された例では、受信したアラートは、関連付けられたアラートコンテンツを有していない。いくつかの実施形態では、受信したアラートがアラートコンテンツを有しない場合、デバイス500は、アラートコンテンツを表示するのではなく、応答オプションを表示することにより、通知を表示している間に、タッチスクリーン504上での接触(例えば、上向きスワイプ又はタップ)に応答し得る。
上記で検討されたように、いくつかの実施形態では、デバイス500は、タッチスクリーン504上での接触の強度を(例えば、強度センサ524を使用して)検出し得る。デバイス500は、次いで、接触の強度に基づいて、タッチスクリーン504上での接触に応答し得る。少しの間図11に戻って、いくつかの実施形態では、アラートコンテンツ804を表示している間に、閾値強度を上回る特性強度を有するタッチスクリーン504との接触の検出に応じて、デバイス500は、ユーザインターフェースオブジェクト1122、1124、1126、及び1128の一部又は全てを表示し得る。
いくつかの実施形態では、ユーザは、上述のとおり、アラートコンテンツの下部を超えてスクロールさせるか、あるいは、閾値強度を上回る特性強度でタッチスクリーン504をタッチするか(例えば、強度センサ524により検出されたタッチスクリーン504上での強い押圧など)のいずれかにより、ユーザインターフェースオブジェクト1122、1124、1126、及び/又は1128にアクセスしてもよい。
図14は、ユーザが受信したアラートに応答するのを可能にするために、デバイス500により表示され得る、画面の別のシーケンスを示す。この例では、アラートコンテンツ804が表示されている間に、デバイス500は、閾値強度を上回る特性強度を有するタッチスクリーン504との接触を検出する。閾値を上回る特性強度を有する接触の検出に応じて、デバイス500は、応答画面1402を表示し得る。
応答画面1402は、4つの応答オプションに対応する、4つのユーザインターフェースオブジェクト1404、1406、1408、及び1410を含む。ユーザインターフェースオブジェクト1404の選択を示す入力の検出に応じて、デバイス500は、図11に関連して示され、記載されたように、画面1120を表示し得る。
ユーザインターフェースオブジェクト1406の選択の検出に応じて、デバイス500は、アラートを消去し、時計文字盤又はホーム画面を表示し得る。
ユーザインターフェースオブジェクト1408の選択の検出に応じて、デバイス500は、後続のアラートを、(例えば、アラートの受信に応じて知覚出力を生じさせないことにより、及び/又は、新たな通知を一切表示しないことにより)無期限に又は所定の期間、抑制し得る。
いくつかの実施形態では、ユーザインターフェースオブジェクト1410の選択の検出に応じて、デバイス500は、受信したアラートに関連付けられたアプリケーションを起動させ、アプリケーション内でアラートを表示し得る。アプリケーションを起動させることは、デバイス500の最前面においてアプリケーションを実行すること、及び/又は、タッチスクリーン504上でアプリケーションを表示することに対応し得る。この例では、アラートがテキストメッセージであるため、デバイス500は、テキストメッセージアプリケーションを起動させ得る。他の例では、受信したアラートに応じて、起動されるアプリケーションは、電子メールアプリケーション、カレンダーアプリケーション、天気アプリケーション、ソーシャルネットワークアプリケーション、又はいくつかの他の種類のアプリケーションであってもよい。アプリケーションを起動させた後、ハードウェアボタンの押下又は回転可能かつ押下可能な機構の押下の検出に応じて(図5Aで示されたように、デバイス500にいずれか又は両方が存在する場合)、デバイスは、アプリケーションを終了させ、ホーム画面を表示することができる。
図14で示す例では、応答画面1402は、テキストメッセージ又は電子メールアラートに応答するのに適した、ユーザインターフェースオブジェクト1404、1406、1408、1410を含む。ただし、図12A及び図12Bに関連して上記で検討されたように、応答画面は、異なる種類のアラートに応答するのに適した、異なるユーザインターフェースオブジェクトを有し得る。例えば、アラートがクロックアラームである場合には、「返信」オプション1404の代わりに、応答画面は、「スヌーズ」オプションを提供してもよい。別の例として、アラートが音声メッセージである場合には、ユーザが音声メッセージを再生できるように、応答画面は、「再生」オプションを提供してもよい。いくつかの実施形態では、応答画面は、「電話で開く」オプションを提供してもよい。「電話で開く」オプションの選択の検出に応じて、デバイス500は、アラートに関連付けられたアプリケーションを外部電子デバイスに起動させるために、携帯電話などの、デバイス500との通信状態にある外部電子デバイスにデータを送信し得る。
図13A、図13B、及び図14に関連して記載された応答インターフェースは、関連付けられたアプリケーションの一部ではなく、同アプリケーションは、デバイス500上で実行されてもよいし、実行されなくてもよいが、応答インターフェースは、アラートユーザインターフェースの一部であることに留意されたい。いくつかの実施形態では、第三者は、デバイス500との通信状態にある外部電子デバイス上で実行するアプリケーションのための応答オプションを提供してもよい。
2.複数のアラートの管理
いくつかの実施形態では、デバイス500は、複数のアラートを受信してもよく、複数の連続する通知を表示してもよい。
図15は、複数のアラートの受信に応じて、デバイス500により表示され得る、画面のシーケンスを示す。上述の例におけるのと同様に、タッチスクリーン504は、最初は、暗い又は非アクティブ状態でもよい。第1のアラートの受信に応じて、デバイス500は、第1の知覚出力602を発する。第1の知覚出力602から第1の時間インターバル内でのユーザ入力の受信に応じて、デバイス500は、図6Aに関連して上記で示され、記載されたように、第1の通知606を表示する。
デバイス500は、第1の通知を表示している間に、第2のアラートを受信する。第2のアラートの受信に応じて、デバイス500は、画面604を画面1502で置き換える。いくつかの実施形態では、第2のアラートの受信に応じて、デバイス500はまた、第2の知覚出力1506を発してもよい。画面1502は、第2の受信したアラートを表す第2の通知1504を含む。この例では、第2の受信したアラートは、送信者Julia Smithからの電子メールである。第2の通知は、図8に関連して上記で記載された方法と同様の方法で、画面上でアニメーション化されてもよい。
デバイス500は、図8に関連して上記で検討されたように、消去基準に合致するユーザ入力の検出に応じて、第2の通知1504を消去し得る。第2の通知を消去した後、デバイス500は、ホーム画面706又は時計文字盤612を表示してもよい。図15で示されるように、ホーム画面又は時計文字盤は、第1及び第2のアラートに対応する、2つの未読アラートの指標を含んでもよい。なお、図15の時計文字盤612上に示された未読アラートのインジケータ614が、図6Bの時計文字盤612上に示された未読アラートのインジケータよりも大きいに留意されたい。以下でより詳細に検討されるように、いくつかの実施形態では、指標のサイズは、未読アラート数についての指標を提供してもよい。
図16は、複数のアラートの受信に応じて、デバイス500により表示され得る、画面の別の例示的なシーケンスを示す。この例では、デバイス500は、第1のアラートを受信し、第1の知覚出力602を発し、図8に関連して上述したとおり、様々なユーザ入力に応じて、第1の通知606及び第1のアラートコンテンツ804を表示する。
第1のアラートコンテンツ804を表示している間に、デバイス500は、次いで、情報を含む第2のアラートを受信する。第2のアラートの受信に応じて、デバイス500は、図15に関連して記載されたように、第2の通知1504を含む画面1502を表示し得る。いくつかの実施形態では、第2のアラートの受信に応じて、デバイス500は、第2の知覚出力1506を発してもよい。デバイス500は、図8に関連して上述したとおり、消去基準に合致するユーザ入力に応じて、第2の通知1504を消去し得る。第2の通知1504を消去した後に、デバイス500は、図15に関連して上述したとおり、時計文字盤612又はホーム画面706を表示し得る。いくつかの実施形態では、時計文字盤612又はホーム画面706を表示する代わりに、デバイス500は、第2の通知1504を消去した後に、第1のアラートコンテンツ804を再度表示し得る。
図17は、デバイス500が表示し得る、画面の別のシーケンスを示す。このシーケンスは、図16で示されたシーケンスに類似するが、第2の通知1504を消去する代わりに、ユーザは、第2のアラートコンテンツを見ることを望む。デバイス500は、図8に関連して上述したとおり、ユーザ入力の検出に応じて、第2の通知1504を表示しながら、第2のアラートコンテンツ1712を表示し得る。この例では、第2のアラートコンテンツ1712は、電子メールアラートについての件名1710を含む。ユーザ入力は、例えば、第2の通知上での上向きスワイプ又はタップでもよい。
図17で示す例では、第2のアラートコンテンツ1712を見た後、ユーザは、第2のアラートに関連付けられたアプリケーションの呼び出しを望む。いくつかの実施形態では、タッチスクリーン504上の第2のアラートコンテンツ又は第2のアラート通知に対応する位置における接触の検出に応じて、デバイス500は、第2のアラートに関連付けられたアプリケーションを起動させ、画面1714を表示し得る。いくつかの実施形態では、アプリケーションアフォーダンス1708の選択の検出に応じて、デバイス500は、第2のアラートに関連付けられたアプリケーションを起動させ、画面1714を表示し得る。
この例では、第2のアラートに関連付けられたアプリケーションは、電子メールアプリケーションである。したがって、アプリケーションアフォーダンス1708の選択の検出に応じて、デバイス500は、電子メールアプリケーションを起動させ得る。いくつかの実施形態では、デバイス500がこの方法でアラートに関連付けられたアプリケーションを起動させる場合、画面1714で示されるように、アラートは、アプリケーション内で開かれる。
アプリケーションを起動させ、見た後に、ユーザは、ホーム画面に戻ることを望む場合がある。押下可能なハードウェアボタン又は押下可能かつ回転可能な入力機構であり得る入力ボタン506の押下の検出に応じて、デバイス500は、ホーム画面706を表示し得る。この実施例では、ホーム画面706は、第1のアラート及び第2のアラートに対応する未読アラートの指標なしに表示される。第1のアラートコンテンツ804及び第2のアラートコンテンツ1712が両方とも表示されていたためである。
図18~図20は、上述したとおり、複数のアラートの受信及び入力の検出に応じて、デバイス500が表示し得る、更なる画面シーケンスを示す。
図18で示されたシーケンスでは、デバイス500は、図17に関連して示され、記載されたように、第1のアラートを受信し、第1の通知を表示する。デバイス500は、第1の通知を表示している間に、第2のアラートを受信する。第2のアラートの受信に応じて、デバイス500は、第2の通知を表示する。この例では、ユーザは、図16に関連して上述したとおり、第2の通知を消去する。第2の通知を消去した後に、デバイス500は、第1の通知を再度表示する。ユーザは、次いで、第1の通知を消去し、デバイス500は、ホーム画面を表示する。この例では、ホーム画面は、第1及び第2のアラートに対応する2つの未読アラートの指標を伴って表示される。
図19は、図18に類似する。ただし、この例では、デバイス500が第1の通知を表示した後、ユーザは、デバイス500を視認位置で保持し、デバイス500は、図18に関連して上述したとおり、第1のアラートコンテンツを表示することにより応答する。第1のアラートコンテンツを表示している間に、デバイス500は、第2のアラートを受信し、第2の通知を表示する。ユーザは、第2の通知を消去し、デバイス500は、次いで、第1のアラートコンテンツを再度表示する。ユーザは、第1のアラートコンテンツを消去し、デバイス500は、ホーム画面706を表示する。この例では、ホーム画面は、第2のアラートに対応する1つの未読アラートの指標を伴って表示される。
図20は、図15に類似する。ただし、第2の通知を消去する代わりに、ユーザは、アプリケーションアフォーダンス2002をタップして、第2のアラートに関連付けられたアプリケーションを起動させる。アプリケーションアフォーダンス2002の選択の検出に応じて、デバイス500は、アプリケーションを起動させ、アプリケーション内で第2のアラートコンテンツを表示する。ユーザは、次いで、ハードウェアボタン又は押下可能かつ回転可能な入力機構506を押下することにより、アプリケーションを終了させ、ホーム画面706に戻る。
デバイス500は、複数の通知又はアラートを見るための他のユーザインターフェースを表示してもよい。図21で示されるように、いくつかの実施形態では、第1のアラートを表す通知606上での接触の検出に応じて、デバイス500は、通知606に関連付けられたアラートコンテンツ2106の一部分を含む第1のペインと、受信した他のアラートに関する他のアラートコンテンツを示す1つ以上の更なるペイン2108の一部とを含む、画面2102を表示し得る。いくつかの実施形態では、画面2102は、表示され得る他のペインの数と、現在表示されているペインの位置とをユーザに示すページドット2110を含んでもよい。タッチスクリーン504上でのフリック又はスワイプの検出に応じて、デバイス500は、ペインをスクロールさせて、受信した他のアラートに関するアラートコンテンツを表示し得る。
いくつかの実施形態では、ペイン2104上での接触の検出に応じて、デバイス500は、通知606に関連付けられたアラートコンテンツ2120の全体を含む画面2114を表示し得る。いくつかの実施形態では、画面2114は、テキストメッセージ会話中の他のメッセージなどを表示し得る、他のメッセージの表示をユーザに提供し得る、ページドット2118を更に含む。いくつかの実施形態では、画面2114上のページドット2118の色は、メッセージの種類を示してもよい。例えば、現在のアラートコンテンツ2120を含むペイン2116に関連付けられたページドットは、単色でもよく、一方、返信メッセージなどの他のメッセージは、種々の色のページドットにより示されてもよい。
3.通知のミュート
いくつかの場合には、ソースからアラートを受信した後、ユーザは、同じソースからのアラートに関する後続の知覚出力を抑制すること、かつ/又は、同じソースからのアラートを表す通知の表示を抑制することを望む場合がある。すなわち、ユーザは、後続のアラートが同じソースから受信される場合、知覚出力により通知されることを望まない場合があり、かつ/又は、タッチスクリーン504上に表示される関連付けられた通知を有することを望まない場合がある。図22で示されるように、デバイス500は、ソースからアラートを受信し、通知606を表示し得る。この例では、通知を表示している間に、デバイス500は、閾値強度を上回る特性強度を有するタッチスクリーン504との接触を検出する。閾値強度を上回る特性強度を有する接触の検出に応じて、デバイス500は、同じソースから受信した後続のアラート又は同じアプリケーションに関連付けられたアラートをミュートするためのミュートアフォーダンス2204を表示し得る。ミュートアフォーダンス2204の選択の検出に応じて、デバイス500は、同じソース又はアプリケーションから受信したアラートに関する知覚出力及び通知を、無制限に又は所定の期間、抑制し得る。
4.通知のグループ化
いくつかの場合には、デバイス500は、複数のアラートを、同時に又は短い期間内で受信する場合がある。これは、例えば、デバイス500の電源が一定期間切られていた場合に起こる場合がある。デバイス500の電源が、その後、入れられた際、デバイス500は、デバイス500の電源が切られていなければ受信されていたであろう全てのアラートを受信する場合がある。この場合には、ユーザは、複数の連続する通知を見たり、消去したりしなければならず、煩わしい場合がある。
このため、いくつかの実施形態では、複数のアラートの受信に応じて、デバイス500は、受信したアラートごとに単一の通知を表示するのではなく、複数のアラートを表す単一のグループ化された通知を表示してもよい。デバイス500は、グループ化基準に基づいて、複数のアラートを表すグループ化された通知を表示するかどうかを判定してもよい。例えば、デバイス500は、複数のアラートが所定の時間インターバル内で受信されたかどうか、複数のアラートが同じソースから受信されたかどうか、複数のアラートが同じアプリケーションに関連付けられているかどうか、又はこれらの基準のいくつかの組み合わせに基づいて、単一の通知による表示ためにアラートをグループ化してもよい。いくつかの実施形態では、デバイス500は、時間依存アラートがグループ化された通知に含まれないように除外し、その代わりに、時間依存アラートごとに単一の通知を表示し得る。このような時間依存アラートは、例えば、システムアラート(例えば、電池残量アラート)又は緊急のカレンダーリマインダーを含んでもよい。
図23A~図23Cは、複数のアラートを表すグループ化された通知2302、2304、2306の例を示す。図23A~図23Cで示されるように、いくつかの実施形態では、デバイス500は、グループ化された通知を表示する場合と、単一のアラートを表す通知を表示する場合とでは、ユーザ入力に対して異なる方法で応答し得る。例えば、図8に関連して上述したとおり、単一のアラートを表す通知上での接触(例えば、上向きスワイプ)の検出に応じて、デバイス500は、アラートコンテンツを表示してもよい。対照的に、複数のアラートを表すグループ化された通知上での接触の検出に応じて、デバイス500は、複数のアラートに関連付けられたアプリケーション用のインボックスを表示してもよいし(アラートが全て単一のアプリケーションに関連付けられている場合には、アプリケーションは、インボックスを有する)、あるいは、グループ化されたアラートにより表された、受信したアラートそれぞれに対する個々の通知を含む通知のリストを表示してもよい。図23A~図23Cは、グループ化された通知画面及びユーザ入力に対する応答の例を示す。
図23Aで示す例示的な画面シーケンスでは、デバイス500は、3つのテキストメッセージを、同じソースであるJason Jonesから受信し、テキストメッセージを表すグループ化された通知2302を表示する。グループ化された通知上での接触の検出に応じて、デバイス500は、受信したメッセージのリストと共に、Jason Jones用のテキストメッセージのインボックス2308を表示し得る。接触は、例えば、タップ又はスワイプでもよい。リストにあるメッセージのうちの1つを選択したことの検出に応じて、デバイス500は、関連付けられたアラートコンテンツを表示し得る。
図23Bで示す例示的な画面シーケンスでは、デバイス500は、2つのアラートを、2つの異なるソースであるChris Black及びJason Jonesから受信する。アラートは両方とも、同じアプリケーションに関連付けられている。この例では、アプリケーションは、テキストメッセージアプリケーションである。2つのアラートの受信に応じて、デバイス500は、2つのアラートを表すグループ化された通知2304を表示し得る。グループ化された通知2304上での接触の検出に応じて、デバイス500は、2つのメッセージを列記するテキストメッセージインボックス2310を表示し得る。リストにあるメッセージのうちの1つを選択したことの検出に応じて、デバイス500は、関連付けられたアラートコンテンツを表示し得る。
更に別の例では、図23Cで示されるように、デバイス500は、複数のアプリケーションに関連付けられた複数のアラートを受信する。デバイス500は、複数のアラートを表すグループ化された通知2306を表示し得る。グループ化された通知2306上での接触の検出に応じて、デバイス500は、グループ化された通知により表された、受信したアラートそれぞれに対する個々の通知を含む通知のリスト2312を表示し得る。通知のうちの1つを選択したことの検出に応じて、デバイス500は、関連付けられたアラートコンテンツを表示し得る。
いくつかの実施形態では、グループ化基準に合致する複数のアラートの受信に応じて、デバイス500は、複数の知覚出力を発し得る。いくつかの実施形態では、グループ化基準に合致する複数のアラートの受信に応じて、デバイス500は、アラートごとに知覚出力を発するのではなく、単一の知覚出力を発し得る。
5.未読アラートの指標
図6B、図7、及び図15に関連して上記で検討されたように、いくつかの実施例では、表示された時計文字盤又はホーム画面は、未読アラートの指標を提供するユーザインターフェースオブジェクトを含み得る。未読アラートは、受信したが、ユーザにより見られていないアラートに相当する場合があり、又は、ユーザにより「未読」としてマークしたアラートに相当する場合がある。デバイス500は、例えば、アラートコンテンツの一部若しくは全てがタッチスクリーン504上に表示されていたかどうか、アラートコンテンツがタッチスクリーン504上にどれぐらい長く表示されたかどうか、アラートに関連付けられた任意の音声コンテンツが再生されたかどうか、及び/又はアラートコンテンツが、(例えば、ユーザが手首を上げることを示す信号に応じて)自動的に表示されたか若しくはタッチスクリーン504との接触に応じて表示されたかどうか、に基づいて、アラートが見られたかどうかを判定する。いくつかの実施形態では、アラートがアラートコンテンツを何ら含まない場合には(例えば、クロックアラーム)、デバイス500は、アラートを表す通知が表示されていたら、このアラートは読まれたものとして考慮してもよい。
いくつかの実施形態では、デバイス500は、一時的な通知を生成するアラートを受信してもよい。このような通知は、ユーザにとって、比較的短い期間でのみ有用である場合がある。例えば、ユーザがエクササイズ中であり、フィットネスのマイルストーン(例えば、トレーニングの半分)を達成した場合、デバイス500は、マイルストーンをユーザに通知するこのような一時的なアラートを受信してもよい。この場合、デバイス500が一時的なアラートに関して知覚出力を発してから所定の時間インターバル内でユーザが手首を上げた場合、デバイス500は、アラートを表す通知を表示し得る。ただし、ユーザが少し遅れて手首を上げた場合には、デバイス500は、時計文字盤又はホーム画面を表示してもよく、時計文字盤又はホーム画面は、アラートがもはやユーザには関係がないという理由から、アラートに対応する未読アラートの指標を含んでいなくてもよい。
図7に戻って、例示的なホーム画面706では、ユーザインターフェースオブジェクト708は、未読アラートの数を表示することにより、未読アラートの指標を提供する。他の例では、ユーザインターフェースオブジェクトは、例えば、色が未読アラートの数を表示している(例えば、バナーが暗くなるほど、未読アラートが多いことを示す)場合に、着色されたバナーを表示する、などの異なる方法で、未読アラートの指標を提供してもよい。いくつかの実施形態では、ユーザインターフェースオブジェクトは、未読アラートの数を一切表示せずに、未読アラートが存在することを示してもよい。
いくつかの実施形態では、図6B、図6C、及び図15で示されたように、デバイス500は、表示614のように、ドット、シェブロン、又は他の形状を表示することにより、未読アラート(1つ又は複数)の指標を提供し得る。いくつかの実施形態では、ドット、シェブロン、又は他の形状の色は、未読アラートの存在を示してもよい。例えば、赤色の形状は、未読アラートが存在することを示してもよく、一方、緑色の形状は、未読アラートが存在しないことを示してもよい。いくつかの実施形態では、形状は、未読アラートの数を示す頻度で、点滅し、フラッシュし、又はサイズが変動してもよい。例えば、より多い点滅頻度は、より多くの未読アラートを示してもよい。いくつかの実施形態では、形状のサイズは、未読アラートの数の指標となり得る。例えば、(図6Bのように)小さい形状は、1つの未読アラートを示してもよく、一方、(図15のように)より大きな形状は、より多くの未読アラートを示してもよい。当業者であれば、未読アラートの数を示すためのこれらのアプローチは、多くの種々の方法を組み合わせられ得ることを理解するであろう。
いくつかの実施形態では、形状の表示は、エフェクトを含む。例えば、形状は、タッチスクリーン504上の位置にフェードインしてもよいし、又は、同位置にスライドさせてもよい(例えば、画面の上端からスライドさせる)。任意選択的に、エフェクトは、アニメーション化されている。いくつかの実施形態では、エフェクトは、ユーザ入力(例えば、ユーザが自身の手首を上げること)に応じて実行される。
いくつかの実施形態では、形状の表示は、除去基準に従って除去される。例えば、形状は、形状が所定の期間の間表示された後、又は、ユーザ入力(例えば、ユーザが自身の手首を下げるこ)に応じてこと、除去されてもよい。いくつかの実施形態では、形状の除去は、エフェクトを含む。例えば、形状は、タッチスクリーン504からフェードアウトしてもよいし、又は、タッチスクリーン504の外へスライドさせてもよい(例えば、画面の上端の外へスライドさせる)。任意選択的に、形状の除去は、アニメーション化されている。
上記未読アラートの指標に関連付けられた機構及び/又はエフェクトは、ユーザに対して、未読アラートが存在することを示してもよい。例えば、この指標の外観又はサイズの変動のアニメーションは、未読アラートが存在するという事実に、ユーザの注意を引き付ける場合がある。
更に、一部の形状は、更なる技術的なエフェクトを提供してもよい。いくつかの実施形態では、方向示す指標を提供する矢印、三角形、シェブロン(例えば、図6Cの614)、又は他のグラフィックオブジェクトは、入力によりデバイス500が未読アラートに関連付けられた動作を実行させられるであろうという視覚的な合図を、ユーザに提供してもよい。例えば、図6Cで示されたシェブロン614などの、方向の指標となるグラフィックオブジェクトは、このオブジェクトが示している方向(例えば、図6Cのシェブロン614の場合には、下向き)へのタッチスクリーン504上でのスワイプ、ドラッグ、又はフリックにより、デバイス500が、未読アラートに関連付けられたアクションを実行させられるであろうことを、ユーザに示してもよい。一実施形態において、方向性オブジェクトが指している方向へのスワイプにより、デバイス500は、未読アラートのコンテンツ(例えば、図8の画面802上のアラートコンテント804)を表示する。別の実施形態では、オブジェクトにより示された方向へのスワイプにより、デバイス500は、アラートの通知(例えば、図6Aの通知606)を表示する。更に別の実施形態では、オブジェクトにより示された方向へのスワイプにより、デバイス500は、未読アラートの通知を含み得る1つ以上の通知のリストを表示させ、又は、未読アラートに対応するアプリケーションを起動させる。例えば、デバイス500は、2014年9月2日出願の「Reduced-size Nortification Interface」と題された、同時係属中の米国特許仮出願第62/044,953号に記載されたように、複数の通知を表示してもよく、又は、未読アラートに対応するアプリケーションを起動させてもよい。同出願の内容は、参照により本明細書に組み込まれる。
当業者であれば、未読アラートを示す形状又はオブジェクトの様々な位置及び方向が可能であることを理解するであろう。例えば、タッチスクリーン504の下部における指標は、上向きの方向性を示す上向きの矢印、三角形、シェブロン、又は他のグラフィックオブジェクトを含んでもよく、それらは、未読アラートが存在することを示し、かつタッチスクリーン504上での上向きスワイプにより、デバイス500が、未読アラートのコンテンツ、アラートの通知、通知のリスト、又はアラート及び/若しくは通知に関連付けられた別の表示を表示する。
6.イベントのリマインダーとの対話
いくつかの実施形態では、アラートは、イベント(例えば、パーティー、会議、ゲームなど)に関連付けられている。アラートコンテンツは、イベントの日付、時間、及び場所などの、イベントに関連付けられた情報を含んでもよい。いくつかの実施形態では、イベントのリマインダーは、ユーザがイベントを始めるのにかかるであろう時間の推測に基づいて表示される。推測された時間は、ユーザの位置及びイベントに関連付けられた場所により、任意選択的に決まる。この時間は、例えば、地図アプリケーション、ナビゲーションアプリケーションなどにより生成された、推測される徒歩、自転車、公共交通機関、又は自動車での移動にかかる時間でもよい。いくつかの実施形態では、リマインダーは、ユーザがイベントを始めるのにかかるであろうと推測された時間の分だけ、イベントの時間よりも前に表示される。いくつかの実施形態では、リマインダーは、ユーザがイベントを始めるのにかかるであろうと推測された時間に加えて、時間どおりに到着するためにイベントに出向くのに準備する時間をユーザに与える所定量の時間の分だけ、イベントの時間よりも前に表示される。
いくつかの実施形態では、イベントの通知又はリマインダーは、アフォーダンスを含む。アフォーダンスの選択の検出に応じて、デバイス500は、イベントに関連する人物(例えば、イベントの開催者又はユーザをイベントに招待した人物)宛てのメッセージを作成するメッセージアプリケーションをアクティブ化してもよい。この方法において、ユーザは、イベントに関連する人物に、現在のユーザの状況(例えば、「まだ、向かっていません。10分でそちらに伺います。」)を容易に提供し得る。いくつかの実施形態では、イベントの通知又はリマインダーに関連付けられたアフォーダンスの選択の検出に応じて、デバイス500は、イベントへの進路を提供又は表示する、地図アプリケーション、ナビゲーションアプリケーションなどをアクティブ化してもよい。この進路は、ユーザの現在位置から、イベントに関連する場所への進路を含んでもよい。
7.通知及びアラートを管理するためのプロセス
図25は、通知及びアラートを管理するためのプロセス2500を示すフロー図である。プロセス2500は、デバイス500(図5A)などの、タッチ感知ディスプレイスクリーンを備える電子デバイスにおいて実行されてもよい。ブロック2502において、デバイスは、情報を含むアラートを受信する。ブロック2504において、デバイスは、アラートの受信に応じて、知覚出力を(例えば、触覚機構542を使用して)発する。ブロック2506において、デバイスは、ユーザ入力を検出する。ブロック2508において、デバイスは、ユーザ入力の検出に応じて、ユーザ入力が知覚出力から所定の時間インターバル内で検出されたかどうかを判定する。ユーザ入力が所定の時間インターバル内で検出されたとの判定に従って、ブロック2510において、デバイスは、情報の第1の部分を含む通知を表示する(例えば、任意選択的に、デバイスは、通知を表示してから第2の所定の時間インターバル後もユーザ入力が検出され続けているかどうかを判定する。ユーザ入力が検出され続けているとの判定に従って、デバイスは、情報の第2の部分を表示し、第2の部分は、第1の部分とは異なる。
プロセス2500に関連して上述されたプロセス(例えば、図25及び図6A~図8)の詳細はまた、本明細書で記載された他のプロセスに、類似の方法で適用可能であることに留意されたい。例えば、プロセス2600及びプロセス2700は、プロセス2500に関連して上述された様々なプロセスの特性のうちの1つ以上を含み得る。簡潔のために、これらの詳細は、他のプロセスの説明では繰り返さない。方法2500に関連して上述された様々な方法及び技術は、図5Bに関連して記載されたものなどの、1つ以上のハードウェアユニットとして、任意選択的に実装されてもよい。
図26は、通知及びアラートを管理するためのプロセス2600を示すフロー図である。プロセス2600は、デバイス500(図5A)などの、タッチ感知ディスプレイスクリーンを備える電子デバイスにおいて実行されてもよい。ブロック2602において、デバイスは、複数のアラートを受信する。ブロック2604において、デバイス500は、アラートの受信に応じて、複数のアラートがグループ化基準に合致するかどうかを判定する。ブロック2606において、デバイスは、ユーザ入力を検出する。ブロック2608において、デバイスは、複数のアラートがグループ化基準に合致するとの判定に従い、かつ記ユーザ入力の検出に応じて、複数のアラートを表すグループ化された通知を表示する。複数のアラートがグループ化基準に合致しないとの判定に従い、かつ、ユーザ入力の検出に応じて、ブロック2610において、デバイスは、複数のアラートを表す複数の通知を表示する。任意選択的に、グループ化基準は、複数のアラートが同じソースから受信されているかどうか、複数のアラートがアラートの数値閾値を超えるかどうか、複数のアラートが同じアプリケーションに関連付けられているかどうか、及び/又は複数のアラートが所定の時間インターバル以内で受信されているかどうか、に基づく。
プロセス2600に関連して上述されたプロセス(例えば、図26及び図23)の詳細はまた、本明細書で記載された他のプロセスに、類似の方法で適用可能であることに留意されたい。例えば、プロセス2500及びプロセス2700は、プロセス2600に関連して上述された様々なプロセスの特性のうちの1つ以上を含み得る。簡潔のために、これらの詳細は、他のプロセスの説明では繰り返さない。方法2600を参照して上述された様々な方法及び技術は、図5Bに関連して記載されたものなどの、1つ以上のハードウェアユニットとして、任意選択的に実装されてもよい。
図27は、通知及びアラートを管理するためのプロセス2700を示すフロー図である。プロセス2700は、デバイス500(図5A)などの、タッチ感知ディスプレイスクリーンを備える電子デバイスにおいて実行されてもよい。ブロック2702において、デバイスは、コンテンツを表示している間に、情報を含むアラートを受信する。ブロック2704において、デバイス500は、アラートの受信に応じて、通知バナーを、ディスプレイにわたって表示する。バナーは、情報の一部を含む。コンテンツの少なくとも一部分は、ディスプレイ上に表示され続ける。ブロック2706において、デバイスは、バナー上での接触を検出する。接触の検出に応じて、ブロック2708において、デバイスは、情報の第2の部分を表示する。第2の部分は、第1の部分とは異なる。
プロセス2700に関連して上述されたプロセス(例えば、図27及び図24)の詳細はまた、本明細書で記載された他のプロセスに、類似の方法で適用可能であることに留意されたい。例えば、プロセス2500及びプロセス2600は、プロセス2700に関連して上述された様々なプロセスの特性のうちの1つ以上を含み得る。簡潔のために、これらの詳細は、他のプロセスの説明では繰り返さない。方法2700を参照して上述された様々な方法及び技術は、図5Bに関連して記載されたものなどの、1つ以上のハードウェアユニットとして、任意選択的に実装されてもよい。
図28のユニットは、図25~図27に関連して上述された様々な技術及び方法を実装するために使用されてもよい。
図28に示されるように、電子デバイス2800は、ユーザインターフェーストを表示するように構成されたディスプレイユニット2802を含み、任意選択的に、ユーザ接触を受信するように構成されたタッチ感知面ユニット2804と、タッチ感知面ユニットとの接触の強度を検出するように構成された1つ以上のセンサユニット2806と、ディスプレイユニット2802、タッチ感知面ユニット2804、及びセンサユニット2806に結合された処理ユニット2808とを含む。いくつかの実施形態では、処理ユニット2808は、表示有効化ユニット2810、受信ユニット2812、及び判定ユニット2814を含む。
いくつかの実施形態では、表示有効化ユニット2810は、ディスプレイユニット2802に関連して、通知、アラート情報、又はユーザインターフェース(又はユーザインターフェースの一部)を表示するように構成されている。例えば、表示有効化ユニット2810は、通知を表示するため、ディスプレイ上で第1の通知を第2の通知で置き換えるため、複数のメッセージ処理動作のうちの1つを選択するためのユーザインターフェースを表示するため、に使用されてもよい。
いくつかの実施形態において、受信ユニット2812は、アラート、データ、又は情報を受信するように構成されている。例えば、受信ユニット2812は、情報を含むアラートを受信するのに使用されてもよい。
いくつかの実施形態では、判定ユニット2814は、判定を行うように構成されている。例えば、判定ユニット2814は、知覚出力から所定の時間インターバル以内で信号が受信されたかどうかを判定するため、かつ第2の接触の特性強度が閾値強度を上回るかどうかを判定するために使用されてもよい。
図29は、説明される様々な実施形態の原理に従って構成された電子デバイス2900の機能ブロック図を示す。デバイスの機能ブロックは、任意選択的に、説明される様々な実施形態の原理を遂行するために、ハードウェア、ソフトウェア、又はハードウェアとソフトウェアとの組み合わせによって、実装される。図29で説明される機能ブロックが、任意選択的に、組み合わされ、又はサブブロックに分離されて、説明される様々な実施形態の原理を実施することが当業者には理解されよう。したがって、本明細書における説明は、本明細書で説明されている機能ブロックのあらゆる可能な組み合わせ若しくは分割、又は更なる定義を任意選択的に支持する。
図29に示されるように、電子デバイス2900は、グラフィックユーザインターフェースを表示するように構成されたディスプレイユニット2902、触覚出力を発するように構成された触覚機構ユニット2904、並びにディスプレイユニット2902及び触覚機構ユニット2904に結合された処理ユニット2908を含む。いくつかの実施形態では、電子デバイスは、タッチ入力を受信するように構成され、かつディスプレイユニット2902及び処理ユニット2908に結合された、タッチ感知面ユニット2926を任意選択的に含む。いくつかの実施形態では、電子デバイス2900は、回転可能かつ押下可能な入力機構2906、マイクロフォンユニット2926、及びボタンユニット2928を任意選択的に含む。いくつかの実施形態において、処理ユニット2908は、受信ユニット2910、知覚出力有効化ユニット2912、検出ユニット2914、判定ユニット2916、表示有効化ユニット2918、起動ユニット2920、送信有効化ユニット2922、及び音声有効化ユニット2924を任意選択的に含む。
処理ユニット2908は、(例えば、受信ユニット2910により)情報を含むアラートを受信することと、アラートの受信に応じて、(例えば、知覚出力有効化ユニット2912により)知覚出力を有効にすることとを行うように構成されている。処理ユニット2908は、(例えば、検出ユニット2914により)ユーザ入力を検出することと、(例えば、判定ユニット2916により)知覚出力から所定の時間インターバル内でユーザ入力が検出されたかどうかを判定することと、所定の時間インターバル内でユーザ入力が検出されたとの判定に従って、(例えば、表示有効化ユニット2918により)ディスプレイユニット2902上での通知の表示を有効にすることであって、通知が情報の第1の部分を含む、ことと、を行うように更に構成されている。
いくつかの実施形態では、知覚出力を有効にすることは、触覚機構ユニット2904に、触覚出力を発しさせることを含む。
いくつかの実施形態では、処理ユニット2908は、知覚出力から所定の時間インターバル後にユーザ入力が検出されたとの判定に従って、(例えば、表示有効化ユニット2918により)時計文字盤の表示を有効にすることであって、時計文字盤が、アラートが未読であるとの指標を含む、ことと、を行うように更に構成されている。
いくつかの実施形態では、処理ユニット2908は、知覚出力から所定の時間インターバル後にユーザ入力が検出されたとの判定に従って、(例えば、表示有効化ユニット2918により)ディスプレイユニット2902上でのホーム画面の表示を有効にすることであって、ホーム画面が、複数のアプリケーションを表す複数のユーザインターフェースオブジェクトを含み、ユーザインターフェースオブジェクトが、アクティブ化されると、対応するアプリケーションを起動させ、ホーム画面が、アラートが未読であるとの指標含む、ことを行うように更に構成されている。
いくつかの実施形態では、通知の表示を有効にすることは、ディスプレイユニット2902を非アクティブ状態からアクティブ化することを含む。いくつかの実施形態では、通知を表示することは、ホーム画面の表示を通知の表示で置き換えることを含む。いくつかの実施形態では、通知の表示を有効にすることは、通知をディスプレイ上で第1の方向に移動させるアニメーションの表示を有効にすることを含む。
いくつかの実施形態では、通知は、アラートに関連付けられたアプリケーションを起動させるためのアプリケーションアフォーダンスを含み、処理ユニット2908は、(例えば、検出ユニット2914により)アプリケーションアフォーダンスの選択を検出することと、選択の検出に応じて、(例えば、起動ユニット2920により)アラートに関連付けられたアプリケーションを起動させることと、を行うように更に構成されている。
いくつかの実施形態では、処理ユニット2908は、アラートの受信に応じて、(例えば、判定ユニット2916により)ユーザアクティビティレベルがアクティビティ基準に合致するかどうかを判定することであって、ユーザアクティビティレベルがアクティビティ基準に合致するまで、知覚出力の発生を遅延させる、ことを行うように更に構成されている。
いくつかの実施形態では、電子デバイスは、タッチ感知ディスプレイ上(例えば、タッチ感知面ユニット2926上)での接触の強度を(例えば、検出ユニット2914により)検出するように構成されており、処理ユニット2908は、通知がディスプレイユニット2902上に表示されている間に、(例えば、検出ユニット2914により)タッチ感知ディスプレイ上の接触を検出し、(例えば、判定ユニット2916により)接触の特性強度が閾値強度を上回るかどうかを判定するように更に構成されている。いくつかの実施形態では、処理ユニット2908は、接触の特性強度が閾値強度を上回るとの判定に従って、(例えば、表示有効化ユニット2918により)ミュート基準に合致する1つ以上の後続のアラートを抑制するためのオプションの表示を有効にするように更に構成されている。いくつかの実施形態では、処理ユニット2908は、接触の特性強度が閾値強度を下回るとの判定に従い、かつ、接触がタッチ感知ディスプレイ上のアプリケーションアフォーダンスに対応する位置にあるとの判定に従って、(例えば、起動ユニット2920により)アラートに関連付けられたアプリケーションを起動させるように更に構成されている。いくつかの実施形態では、ミュート基準は、アラートのソースに基づいている。
いくつかの実施形態では、処理ユニット2908は、通知が表示されている間に、(例えば、検出ユニット2914により)タッチ感知ディスプレイ上の第2の接触を検出し、(例えば、判定ユニット2916により)第2の接触が消去基準に合致するかどうかを判定し、第2の接触が消去基準に合致するとの判定に従って、(例えば、表示有効化ユニット2918により)通知のディスプレイからの除去を有効にするように更に構成されている。いくつかの実施形態では、第2の接触がスワイプを含む場合、第2の接触は、消去基準に合致する。いくつかの実施形態では、第2の接触が閾値距離を超える第2の接触の移動を含む場合、第2の接触は、消去基準に合致する。
いくつかの実施形態では、通知の表示を有効にすることは、通知をディスプレイユニット上で第1の方向に移動させるアニメーションの表示を有効にすることを含み、第2の接触が第1の方向とは反対の第2の方向への接触の移動を含む場合、第2の接触は、消去基準に合致する。
いくつかの実施形態では、第2の接触は、第2の接触の移動及び第の2接触の解放を含み、処理ユニット2908は、第2の接触の移動の検出に応じて、(例えば、表示有効化ユニット2918により)第2の接触の移動に従って通知をディスプレイ上でスライドさせることを有効にし、(例えば、表示有効化ユニット2918により)通知に隣接する消去インジケータの表示を有効にするように更に構成されている。任意選択的に、処理ユニット2908は、第2の接触が消去基準に合致するとの判定に従い、かつ、第2の接触の解放の検出に応じて、(例えば、表示有効化ユニット2918により)消去インジケータの除去及び通知のディスプレイからの除去を有効にするように更に構成されている。任意選択的に、処理ユニット2908は、第2の接触が消去基準に合致しないとの判定に従い、かつ、第2の接触の解放の検出に応じて、(例えば、表示有効化ユニット2918により)ディスプレイ上で通知を初期位置に戻すように移動させるアニメーションの表示を有効にし、消去インジケータのディスプレイからの除去を有効にするように更に構成されている。
いくつかの実施形態では、通知を除去することは、通知を第2の方向にディスプレイの外へと移動させるアニメーションを表示することを含む。いくつかの実施形態では、通知をディスプレイから除去することは、ディスプレイを非アクティブ化することを含む。いくつかの実施形態では、通知をディスプレイから除去することは、通知の表示を、ホーム画面の表示で置き換えることを含み、ホーム画面は、アラートが未読であるとの指標を含む。いくつかの実施形態では、通知をディスプレイから除去することは、通知の表示を、時計文字盤の表示で置き換えることを含み、時計文字盤は、アラートが未読であるとの指標を含む。
いくつかの実施形態では、処理ユニット2908は、(例えば、判定ユニット2916により)通知の表示から第2の所定の時間インターバル内で第2のユーザ入力が検出されていたかどうかを判定することと、第2のユーザ入力が第2の所定の時間インターバル内で検出されていたとの判定に従って、(例えば、表示有効化ユニット2918により)通知のディスプレイからの除去を有効にすることと、第2のユーザ入力が第2の所定の時間インターバル内で検出されていなかったとの判定に従って、(例えば、表示有効化ユニット2918により)情報の第2の部分の表示を有効にすることであって、第2の部分が第1の部分とは異なる、ことと、を行うように更に構成されている。
いくつかの実施形態では、処理ユニット2908は、通知の表示から第2の所定の時間インターバル後もユーザ入力が検出され続けているかどうかを(例えば、判定ユニット2916により)判定することと、ユーザ入力が第2の所定の時間インターバル後も検出され続けているとの判定に従って、ディスプレイユニット上において、(例えば、表示有効化ユニット2918により)情報の第2の部分の表示を有効にすることであって、第2の部分が第1の部分とは異なる、ことと、ユーザ入力が第2の所定の時間インターバル後は検出され続けていないとの判定に従って、(例えば、表示有効化ユニット2918により)通知のディスプレイユニットからの除去を有効にすることと、を行うように更に構成されている。
いくつかの実施形態では、処理ユニット2908は、通知を表示している間に、(例えば、検出ユニット2914により)タッチ感知ディスプレイ上(例えば、タッチ感知面ユニット2926上)で第3の接触を検出することと、第3の接触の検出に応じて、ディスプレイユニット2902上において、(例えば、表示有効化ユニット2918により)情報の第2の部分の表示を有効にすることであって、第2の部分が第1の部分とは異なる、ことと、を行うように更に構成されている。いくつかの実施形態では、第2の部分は、通知に隣接して表示される。いくつかの実施形態では、第3の接触は、第1の方向へのスワイプであり、情報の第2の部分の表示を有効にすることは、画面上において、情報の第2の部分を、第1の方向にスライドさせることを含む。
いくつかの実施形態では、情報の第2の部分の表示を有効にすることは、情報の第2の部分を表示するかどうかを示す構成データを(例えば、受信ユニット2910により)取得することと、構成データが情報の第2の部分を表示すべきであると示すとの判定に応じて、情報の第2の部分の表示を有効にすることと、を更に含む。
いくつかの実施形態では、処理ユニット2908は、通知を表示している間に、(例えば、検出ユニット2914により)アプリケーションアフォーダンスの選択を検出し、第4の接触の検出に応じて、(例えば、起動ユニット2920により)アラートに関連付けられたアプリケーションを起動させるように更に構成されている。
いくつかの実施形態では、アラートは、電子メッセージであり、処理ユニットは、情報の第2の部分が表示されている間に、(例えば、検出ユニット2914により)タッチ感知ディスプレイ上で第4の接触を検出し、第4の検出に応じて、ディスプレイユニット上において、電子メッセージのソースとの間で送受信した電子メッセージを含むメッセージ会話の少なくとも一部分の表示を(例えば、表示有効化ユニット2918により)有効にするように更に構成されている。
いくつかの実施形態では、アラートは、音声コンテンツを含み、情報の第2の部分を表示することは、音声コンテンツを再生するオプションを表示することを含み、処理ユニット2908は、(例えば、検出ユニット2914により)音声コンテンツを再生するオプションの選択を検出し、選択の検出に応じて、(例えば、音声有効化ユニット2924により)音声コンテンツの再生を有効にするように更に構成されている。いくつかの実施形態では、音声コンテンツは、第1の音声コンテンツであり、処理ユニット2908は、第1の音声コンテンツを再生するオプションの選択を検出した後に、(例えば、受信ユニット2910により)第2の音声コンテンツを含む第2のアラートを受信し、第2のアラートの受信に応じて、(例えば、音声有効化ユニット2924により)第2の音声コンテンツの再生を有効にするように更に構成されている。
いくつかの実施形態では、処理ユニット2908は、情報の第2の部分を表示している間に、(例えば、検出ユニット2914により)第3のユーザ入力を検出し、第3のユーザ入力の検出に応じて、(例えば、表示有効化ユニット2918により)情報の第2の部分の、第3のユーザ入力に従ったスクロールを有効にするように更に構成されている。いくつかの実施形態では、第3のユーザ入力は、タッチ感知ディスプレイ上(例えば、タッチ感知面ユニット2926上)でのスワイプである。いくつかの実施形態では、第3のユーザ入力は、回転可能かつ押下可能な入力機構2906の回転である。
いくつかの実施形態では、第3のユーザ入力は、下向き方向に関連付けられており、処理ユニット2908は、(例えば、判定ユニット2916により)情報の最初の部分がディスプレイユニット2902上に表示されているかどうかを判定し、情報の最初の部分が表示されているとの判定に従い、かつ、第3のユーザ入力の検出に応じて、(例えば、表示有効化ユニット2918により)情報の第2の部分のディスプレイユニットからの除去を有効にするように更に構成されている。
いくつかの実施形態では、第3のユーザ入力は、上向き方向に関連付けられており、処理ユニット2908は、(例えば、判定ユニット2916により)情報の最後の部分が表示されているかどうかを判定し、情報の最後の部分がディスプレイユニット2902上に表示されているとの判定に従い、かつ、第3のユーザ入力の検出に応じて、(例えば、表示有効化ユニット2918により)第1の複数のユーザインターフェースオブジェクトの、ディスプレイユニット上での表示を有効にするように更に構成されている。任意選択的に、ユーザインターフェースオブジェクトは、アラートに関連付けられたアプリケーションに対応するアクションに関連付けられている。いくつかの実施形態では、情報がディスプレイユニット上を上向きにスクロールされると、第1の複数のユーザインターフェースオブジェクトは、ディスプレイ上で、情報の最後の部分の下へと上向きにスクロールされる。
いくつかの実施形態では、情報の第2の部分のディスプレイユニットからの除去を有効にすることは、ディスプレイユニット上における通知の第2の部分の表示を、ディスプレイユニット上における時間の表示を含むホーム画面の表示で置き換えることを有効にすることであって、ホーム画面は、アラートが未読であるという指標を伴わずに表示される、ことを含む。いくつかの実施形態では、情報の第2の部分の除去を有効にすることは、情報の第2の部分を第2の方向にディスプレイユニットの外へとスライドさせることを有効にすることを含む。
いくつかの実施形態では、電子デバイスは、タッチ感知ディスプレイ上(例えば、タッチ感知面ユニット2926上)での接触の強度を検出するように構成されており、処理ユニット2908は、(例えば、受信ユニット2914により)タッチ感知ディスプレイ上で第5の接触を検出し、(例えば、判定ユニット2916により)第5の接触の特性強度が閾値強度を上回るかどうかを判定するように更に構成されている。いくつかの実施形態では、処理ユニット2908は、第5の接触の特性強度が閾値強度を上回るとの判定に従って、ディスプレイユニット2902上において、(例えば、表示有効化ユニット2918により)第1の複数のユーザインターフェースオブジェクトの表示を有効にすることであって、ユーザインターフェースオブジェクトが、アラートに関連付けられたアプリケーションに対応するアクションに関連付けられている、ことと、第5の接触の特性強度が閾値強度を下回るとの判定に従って、(例えば、起動ユニット2920により)アラートに関連付けられたアプリケーションを起動させることと、を行うように更に構成されている。
いくつかの実施形態では、処理ユニット2908は、(例えば、検出ユニット2914により)第1の複数のユーザインターフェースオブジェクトの第1のユーザインターフェースオブジェクトの選択を検出し、第1のユーザインターフェースオブジェクトの選択の検出に応じて、(例えば、送信有効化ユニット2922により)データを外部電子デバイスに送信して、外部電子デバイスに、(例えば、起動ユニット2920により)アラートに関連付けられたアプリケーションを起動させることを有効にするように更に構成されている。
いくつかの実施形態では、処理ユニット2908は、情報の第2の部分が表示されている間に、(例えば、判定ユニット2916により)第3の所定の時間インターバル内でユーザ入力が受信されていたかどうかを判定し、ユーザ入力が第3の所定の時間インターバル内で受信されていなかったとの判定に従って、(例えば、表示有効化ユニット2918により)ディスプレイユニット2902を非アクティブ化させるように更に構成されている。
いくつかの実施形態では、通知は、情報の第2の部分に隣接してディスプレイユニット2902上に表示され、通知は、アプリケーションアフォーダンスを含み、処理ユニット2908は、情報の第2の部分が表示されている間に、(例えば、受信ユニット2914により)アプリケーションアフォーダンスの選択を検出し、アプリケーションアフォーダンスの選択の検出に応じて、ディスプレイユニット上において、(例えば、表示有効化ユニット2918により)第2の複数のユーザインターフェースオブジェクトの表示を有効にするように更に構成されている。
いくつかの実施形態では、処理ユニット2908は、(例えば、受信ユニット2914により)第2の複数のユーザインターフェースオブジェクトの第1のユーザインターフェースオブジェクトの選択を検出し、第1のユーザインターフェースオブジェクトの選択の検出に応じて、ディスプレイユニット上において、(例えば、表示有効化ユニット2918により)第3の複数のユーザインターフェースオブジェクトの表示を有効にするように更に構成されている。
いくつかの実施形態では、処理ユニット2908は、ボタンユニット2928上での入力を検出し、ボタンユニット2928上での入力の検出に応じて、ディスプレイユニット上において、(例えば、表示有効化ユニット2918により)第3の複数のユーザインターフェースオブジェクトの表示を有効にするように更に構成されている。
いくつかの実施形態では、処理ユニット2908は、(例えば、受信ユニット2914により)第3の複数のユーザインターフェースオブジェクトの第1のユーザインターフェースオブジェクトの選択を検出し、第3の複数のユーザインターフェースオブジェクトの第1のユーザインターフェースオブジェクトの選択の検出に応じて、ディスプレイユニット上において、(例えば、表示有効化ユニット2918により)所定の応答メッセージを選択するためのユーザインターフェースの表示を有効にするように更に構成されている。
いくつかの実施形態では、処理ユニット2908は、(例えば、受信ユニット2914により)第1の所定の応答メッセージの選択を検出し、第1の所定の応答メッセージの選択の検出に応じて、(例えば、送信有効化ユニット2922により)第1の所定の応答メッセージの、アラートのソースへの送信を有効にするように更に構成されている。
いくつかの実施形態では、第1の所定の応答メッセージをアラートのソースに送信することは、確認アフォーダンスを表示することと、確認アフォーダンスの選択を検出することと、確認アフォーダンスの選択の検出に応じて、第1の所定の応答メッセージの、アラートのソースへの送信を可能にすることと、を含む。
いくつかの実施形態では、処理ユニット2908は、第1の所定の応答メッセージの、ソースへの送信を有効にした後、ディスプレイユニット上において、(例えば、表示有効化ユニット2918により)メッセージ送信完了確認画面の表示を有効にすることと、メッセージ送信完了確認画面の表示をホーム画面の表示で置き換えることを有効にすることであって、ホーム画面は、ディスプレイユニット上において、アラートが未読であるという指標を伴わずに表示される、ことと、を行うように更に構成されている。
いくつかの実施形態では、処理ユニット2908は、(例えば、受信ユニット2914により)第3の複数のユーザインターフェースオブジェクトの第2のユーザインターフェースオブジェクトの選択を検出し、第3の複数のユーザインターフェースオブジェクトの第2のユーザインターフェースオブジェクトの選択の検出に応じて、ディスプレイユニット上において、(例えば、表示有効化ユニット2918により)絵文字アイコンを選択するためのユーザインターフェースの表示を有効にするように更に構成されている。
いくつかの実施形態では、処理ユニット2908は、(例えば、受信ユニット2914により)第1の絵文字アイコンの選択を検出し、第1の絵文字アイコンの選択の検出に応じて、(例えば、送信有効化ユニット2922により)第1の絵文字アイコンの、アラートのソースへの送信を有効にするように更に構成されている。いくつかの実施形態では、絵文字アイコンの、アラートのソースへの送信を有効にすることは、ディスプレイユニット2902上において、確認アフォーダンスの表示を有効にすることと、確認アフォーダンスの選択を検出することと、確認アフォーダンスの選択の検出に応じて、絵文字アイコンの、アラートのソースへの送信を有効にすることとを含む。
いくつかの実施形態では、処理ユニット2908は、(例えば、受信ユニット2914により)第2の複数のユーザインターフェースオブジェクトの第2のユーザインターフェースオブジェクトの選択を検出することと、第2の複数のユーザインターフェースオブジェクトの第2のユーザインターフェースオブジェクトの選択の検出に応じて、ディスプレイユニット2902上において、(例えば、判定ユニット2916により)情報の第2の部分が表示されたかどうかを判定することと、情報の第2の部分が表示されたとの判定に従って、ディスプレイユニット上において、(例えば、表示有効化ユニット2918により)ホーム画面の表示を有効にすることであって、ホーム画面は、アラートが未読であるという指標を伴わずに表示される、ことと、情報の第2の部分が表示されなかったとの判定に従って、(例えば、表示有効化ユニット2918により)ホーム画面の表示を有効にすることであって、ホーム画面は、アラートが未読であるという指標を含む、ことと、を行うように更に構成されている。
いくつかの実施形態では、処理ユニット2908は、(例えば、受信ユニット2914により)第2の複数のユーザインターフェースオブジェクトの第2のユーザインターフェースオブジェクトの選択を検出することと、第2の複数のユーザインターフェースオブジェクトの第2のユーザインターフェースオブジェクトの選択の検出に応じて、(例えば、判定ユニット2916により)情報の第2の部分がディスプレイユニット2902上に表示されたかどうかを判定することと、情報の第2の部分が表示されたとの判定に従って、(例えば、表示有効化ユニット2918により)時計文字盤の表示を有効にすることであって、時計文字盤は、アラートが未読であるという指標を伴わずに表示される、ことと、情報の第2の部分が表示されなかったとの判定に従って、(例えば、表示有効化ユニット2918により)時計文字盤の表示を有効にすることであって、時計文字盤は、アラートが未読であるという指標を含む、ことと、を行うように更に構成されている。
いくつかの実施形態では、処理ユニット2908は、(例えば、受信ユニット2914により)第2の複数のユーザインターフェースオブジェクトの第3のユーザインターフェースオブジェクトの選択を検出し、第2の複数のユーザインターフェースオブジェクトの第3のユーザインターフェースオブジェクトの選択の検出に応じて、ディスプレイ上において、(例えば、表示有効化ユニット2918により)仮想キーボードの表示を有効にするように更に構成されている。
いくつかの実施形態では、処理ユニット2908は、(例えば、検出ユニット2914により)第2の複数のユーザインターフェースオブジェクトの第4のユーザインターフェースオブジェクトの選択を検出し、第2の複数のユーザインターフェースオブジェクトの第4のユーザインターフェースオブジェクトの選択の検出に応じて、(例えば、音声有効化ユニット2924により)マイクロフォンユニットからのオーディオ入力の記録を有効にし、(例えば、送信有効化ユニット2922により)記録したオーディオ入力に対応するデータの、アラートのソースへの送信を有効にするように更に構成されている。
いくつかの実施形態では、記録したオーディオ入力に対応するデータの送信を有効にすることは、ディスプレイユニット上において、(例えば、表示有効化ユニット2918により)記録したオーディオ入力の表示及び送信アフォーダンスの表示を有効にすることと、送信アフォーダンスの選択を検出することと、送信アフォーダンスの選択の検出に応じて、記録したオーディオ入力に対応するデータの、アラートのソースへの送信を有効にすることとを含む。
いくつかの実施形態では、処理ユニット2908は、(例えば、検出ユニット2914により)アプリケーションを起動させた後に、回転可能かつ押下可能な入力ユニット2906の押下を検出し、押下の検出に応じて、ディスプレイユニット上において、(例えば、表示有効化ユニット2918により)ホーム画面の表示を有効にするように更に構成されている。
いくつかの実施形態では、回転可能かつ押下可能な入力ユニット2906は、回転可能な機械式ボタンであり、押下は、機械式ボタン上での押圧を表す。いくつかの実施形態では、回転可能かつ押下可能な入力ユニット2906は、回転可能な容量性ボタンであり、押下は、容量性ボタン上でのタッチを表す。
いくつかの実施形態では、通知は、第1の通知であり、処理ユニット2908は、第1の通知がディスプレイユニット2902上に表示されている間に、(例えば、受信ユニット2910により)第2の情報を含む第2のアラートを受信することと、第2のアラートの受信に応じて、ディスプレイユニット上において、(例えば、表示有効化ユニット2918により)第1の通知の表示を第2の通知の表示で置き換えることを有効にすることであって、第2の通知が、第2の情報の第1の部分を含む、ことと、を行うように更に構成されている。
いくつかの実施形態では、処理ユニット2908は、第2のアラートの受信に応じて、(例えば、知覚出力有効化ユニット2912により)第2の知覚出力を有効にするように更に構成されている。
いくつかの実施形態では、処理ユニット2908は、(例えば、検出ユニット2914により)第2の通知を消去する要求を検出し、要求の検出に応じて、(例えば、表示有効化ユニット2918により)第2の通知の消去を有効にし、ディスプレイユニット2902上において、第1の通知の再表示を有効にするように更に構成されている。
いくつかの実施形態では、処理ユニット2908は、(例えば、検出ユニット2914により)第2の通知を消去する要求を検出することと、要求の検出に応じて、第2の通知の消去を有効にすることと、ディスプレイユニット上において、(例えば、表示可能化ユニット2918により)ホーム画面の表示を有効にすることであって、ホーム画面が、第1のアラート及び第2のアラートが未読であるという指標を含む、ことと、を行うように更に構成されている。
いくつかの実施形態では、処理ユニット2908は、(例えば、検出ユニット2914により)第2の通知を消去する要求を検出することと、要求の検出に応じて、第2の通知の消去を有効にすることと、ディスプレイユニット2902上において、(例えば、表示有効化ユニット2918により)時計文字盤の表示を有効にすることであって、時計文字盤が、第1のアラート及び第2のアラートが未読であるという指標を含む、ことと、を行うように更に構成されている。
いくつかの実施形態では、処理ユニット2908は、情報の第2の部分を表示している間に、(例えば、受信ユニット2910により)第2の情報を含む第2のアラートを受信することと、第2のアラートの受信に応じて、ディスプレイユニット2902上において、(例えば、表示有効化ユニット2918により)情報の第2の部分の表示を第2の通知の表示で置き換えることを有効にすることであって、第2の通知が、第2の情報の第1の部分を含む、ことと、を行うように更に構成されている。
いくつかの実施形態では、アラートは、ソースから受信した第1のアラートであり、処理ユニット2908は、情報の第2の部分を表示している間に、(例えば、受信ユニット2910により)第2のアラートをソースから受信し、第2のアラートの受信に応じて、(例えば、表示有効化ユニット2918により)第1のアラート及び第2のアラートを表すグループ化された通知の表示を有効にするように更に構成されている。いくつかの実施形態では、第1のアラート及び第2のアラートは、同じアプリケーションに関連付けられている。
いくつかの実施形態では、処理ユニット2908は、(例えば、検出ユニット2914により)グループ化された通知上で第6の接触を検出することと、第6の接触の検出に応じて、ディスプレイユニット上において、(例えば、表示有効化ユニット2918により)ソースから受信したアラートのリストの表示を有効にすることであって、アラートのリストが、同じアプリケーションに関連付けられている、ことと、を行うように更に構成されている。
いくつかの実施形態では、アラートは、フィットネスアラートであり、処理ユニット2908は、第2の所定の時間インターバル後に、(例えば、表示有効化ユニット2918により)通知のディスプレイユニット2902上の表示を、フィットネスの進捗を表すユーザインターフェースオブジェクトの表示で置き換えることを有効にすることと、第3の所定の時間インターバル後に、(例えば、表示有効化ユニット2918により)ユーザインターフェースオブジェクトのディスプレイユニット上の表示を、情報の第2の部分の表示で置き換えることを有効にすることであって、第2の部分が、第1の部分とは異なる、ことと、を行うように更に構成されている。
図25を参照して上述された動作は、図1A及び図1B又は図29に示される構成要素によって、任意選択的に、実施される。例えば、受信動作2502、発生動作2504、検出動作2506、判定動作2508、及び表示動作2510は、任意選択的に、イベントソータ170、イベント認識部180、及びイベントハンドラ190によって実施される。イベントソータ170内のイベントモニタ171は、タッチ感知ディスプレイ112上の接触を検出し、イベントディスパッチャモジュール174は、イベント情報をアプリケーション136-1に配信する。アプリケーション136-1のそれぞれのイベント認識部180は、イベント情報を、それぞれのイベント定義186と比較し、タッチ感知面上の第1の位置での第1の接触(又は、デバイスの回転又は他の移動)が、ユーザインターフェース上のオブジェクトの選択、又は1つの向きから別の向きへのデバイスの回転などの、既定のイベント又はサブイベントに対応するかどうかを判定する。それぞれの既定のイベント又はサブイベントが検出されると、イベント認識部180は、イベント又はサブイベントの検出に関連付けられたイベントハンドラ190をアクティブ化させる。イベントハンドラ190は、アプリケーション内部状態192を更新するために、データアップデータ176若しくはオブジェクトアップデータ177を、任意選択的に用いるか又は呼び出す。いくつかの実施形態では、イベントハンドラ190は、アプリケーションにより表示されるものを更新するために、それぞれのGUIアップデータ178にアクセスする。同様に、当業者にとって、他の処理が図1A及び図1Bに示される構成要素に基づいてどのように実施されるかは明らかであろう。
いくつかの実施形態によれば、図30は、説明される様々な実施形態の原理に従って構成された、電子デバイス3000の機能ブロック図を示す。デバイスの機能ブロックは、任意選択的に、説明される様々な実施形態の原理を遂行するために、ハードウェア、ソフトウェア、又はハードウェアとソフトウェアとの組み合わせによって、実装される。図30で説明される機能ブロックが、任意選択的に、組み合わされ、又はサブブロックに分離されて、説明される様々な実施形態の原理を実施することが当業者には理解されよう。したがって、本明細書における説明は、本明細書で説明されている機能ブロックのあらゆる可能な組み合わせ若しくは分割、又は更なる定義を任意選択的に支持する。
図30に示されるように、電子デバイス3000は、グラフィックユーザインターフェースを表示するように構成されたディスプレイユニット3002と、ディスプレイユニット3002に結合された処理ユニット3004とを含む。いくつかの実施形態では、電子デバイスは、タッチ入力を受信するように構成され、ディスプレイユニット3002及び処理ユニット3004に結合された、タッチ感知面ユニット3016を任意選択的に含む。いくつかの実施形態では、処理ユニット3004は、受信ユニット3006と、判定ユニット3008と、表示有効化ユニット3010と、検出ユニット3012と、知覚出力有効化ユニット3014とを任意選択的に含む。
処理ユニット3004は、(例えば、受信ユニット3006により)複数のアラートを受信し、複数のアラートの受信に応じて、(例えば、判定ユニット3008により)複数のアラートがグループ化基準に合致するかどうかを判定するように構成されている。処理ユニット3004は、複数のアラートがグループ化基準に合致するとの判定に従って、ディスプレイユニット3002上において、(例えば、表示有効化ユニット3010により)複数のアラートを表すグループ化された通知の表示を有効にし、複数のアラートがグループ化基準に合致しないとの判定に従って、ディスプレイユニット上において、(例えば、表示有効化ユニット3010により)複数のアラートを表す複数の通知の表示を有効にするように更に構成されている。
いくつかの実施形態では、グループ化基準は、複数のアラートが同じソースから受信されているかどうか、複数のアラートがアラートの数値閾値を超えるかどうか、複数のアラートが同じアプリケーションに関連付けられているかどうか、及び、複数のアラートが所定の期間内に受信されているかどうか、からなる群から選択される1つ以上の基準に基づいている。
いくつかの実施形態では、複数のアラートは、同じソースから受信され、かつ同じアプリケーションに関連付けられている第1のアラート及び第2のアラートを含み、第1のアラート及び第2のアラートは、グループ化基準に合致し、第1のアラートは、第1の情報を含み、第2のアラートは、第2の情報を含み、ディスプレイユニットは、タッチ感知ディスプレイユニットである。いくつかの実施形態では、処理ユニット3004は、タッチ感知ディスプレイユニット上(例えば、タッチ感知面ユニット3016上)において、(例えば、検出ユニット3012により)グループ化された通知に対応する位置で第7の接触を検出し、第7の接触の検出に応じて、ディスプレイユニット3002上において、(例えば、表示有効化ユニット3010により)第1の情報及び第2の情報の表示を有効にするように更に構成されている。
いくつかの実施形態では、第1のアラート及び第2のアラートは、異なるソースから受信され、かつ同じアプリケーションに関連付けられており、処理ユニット3004は、タッチ感知ディスプレイユニット上(例えば、タッチ感知面ユニット3016上)において、(例えば、検出ユニット3012により)グループ化された通知に対応する位置で第8の接触を検出することと、第8の接触の検出に応じて、ディスプレイユニット3002上において、(例えば、表示有効化ユニット3010により)アプリケーションに関連付けられたアラートのリストの表示を有効することであって、アラートのリストが、第1のアラート及び第2のアラートを含む、ことと、を行うように更に構成されている。
いくつかの実施形態では、複数のアラートは、複数のアプリケーションに関連付けられ、複数のアラートは、グループ化基準に合致し、ディスプレイユニットは、タッチ感知ディスプレイユニットであり、処理ユニット3004は、(例えば、表示有効化ユニット3010により)複数のアラートを表すグループ化された通知の表示を有効にすることと、タッチ感知ディスプレイ上において、(例えば、検出ユニット3012により)グループ化された通知に対応する位置で第9の接触を検出することと、第9の接触の検出に応じて、(例えば、表示有効化ユニット3010により)複数のアラートを表す通知のリストの表示を有効にすることであって、受信したアラートが、第1のアラート及び第2のアラートを含む、ことと、を行うように更に構成されている。
いくつかの実施形態では、処理ユニット3004は、複数のアラートの受信に更に応じて、(例えば、知覚出力有効化ユニット3014により)知覚出力を有効にするように更に構成されている。いくつかの実施形態では、処理ユニット3004は、複数のアラートがグループ化基準に合致するとの判定に更に従って、(例えば、知覚出力有効化ユニット3014により)単一の知覚出力を有効にし、複数のアラートがグループ化基準に合致しないとの判定に更に従って、(例えば、知覚出力有効化ユニット3014により)複数のアラートに対応する複数の知覚出力を有効にするように更に構成されている。
図26を参照して上述された動作は、図1A及び図1B又は図30に示される構成要素によって、任意選択的に、実施される。例えば、受信動作2602、判定動作2604、検出動作2606、並びに表示動作2608及び2610は、任意選択的に、イベントソータ170、イベント認識部180、及びイベントハンドラ190によって実施される。イベントソータ170内のイベントモニタ171は、タッチ感知ディスプレイ112上の接触を検出し、イベントディスパッチャモジュール174は、イベント情報をアプリケーション136-1に配信する。アプリケーション136-1のそれぞれのイベント認識部180は、イベント情報を、それぞれのイベント定義186と比較し、タッチ感知面上の第1の場所での第1の接触(又は、デバイスの回転又は他の移動)が、ユーザインターフェース上のオブジェクトの選択、又は1つの向きから別の向きへのデバイスの回転などの、既定のイベント又はサブイベントに対応するかどうかを判定する。それぞれの既定のイベント又はサブイベントが検出されると、イベント認識部180は、イベント又はサブイベントの検出に関連付けられたイベントハンドラ190をアクティブ化させる。イベントハンドラ190は、アプリケーション内部状態192を更新するために、データアップデータ176若しくはオブジェクトアップデータ177を、任意選択的に用いるか又は呼び出す。いくつかの実施形態では、イベントハンドラ190は、アプリケーションにより表示されるものを更新するために、それぞれのGUIアップデータ178にアクセスする。同様に、当業者にとって、他の処理が図1A及び図1Bに示される構成要素に基づいてどのように実施されるかは明らかであろう。
いくつかの実施形態によれば、図31は、説明される様々な実施形態の原理に従って構成された、電子デバイス3100の機能ブロック図を示す。デバイスの機能ブロックは、任意選択的に、説明される様々な実施形態の原理を遂行するために、ハードウェア、ソフトウェア、又はハードウェアとソフトウェアとの組み合わせによって、実装される。図31で説明される機能ブロックが、任意選択的に、組み合わされ、又はサブブロックに分離されて、説明される様々な実施形態の原理を実施することが当業者には理解されよう。したがって、本明細書における説明は、本明細書で説明されている機能ブロックのあらゆる可能な組み合わせ若しくは分割、又は更なる定義を任意選択的に支持する。
図31に示されるように、電子デバイス3100は、接触を受信し、かつグラフィックユーザインターフェースを表示するように構成されたタッチ感知ディスプレイユニット3102と、ディスプレイユニット3102に結合された処理ユニット3104とを含む。いくつかの実施形態では、処理ユニット3104は、受信ユニット3106、表示有効化ユニット3108、及び検出ユニット3110を任意選択的に含む。
処理ユニット3104は、ディスプレイユニットがコンテンツを能動的に表示している間に、(例えば、受信ユニット3106により)情報を含むアラートを受信することと、アラートの受信に応じて、(例えば、表示有効化ユニット3108により)通知バナーの、タッチ感知ディスプレイユニット3102の一部分にわたる表示を有効にすることであって、通知バナーが、情報の第1の部分を含み、コンテンツの少なくとも一部分が表示され続ける、ことと、を行うように構成されている。処理ユニット3104は、タッチ感知ディスプレイユニット上において、(例えば、検出ユニット3110により)通知バナーに対応する位置で接触を検出することと、接触の検出に応じて、ディスプレイユニット上において、(例えば、表示有効化ユニット3108により)情報の第2の部分の表示を有効にすることであって、第2の部分が、第1の部分とは異なる、ことと、を行うように更に構成されている。
図27を参照して上述された動作は、図1A及び図1B又は図31に示される構成要素によって、任意選択的に、実施される。例えば、受信動作2702、表示動作2704及び2708、並びに検出動作2706は、任意選択的に、イベントソータ170、イベント認識部180、及びイベントハンドラ190によって実施される。イベントソータ170内のイベントモニタ171は、タッチ感知ディスプレイ112上の接触を検出し、イベントディスパッチャモジュール174は、イベント情報をアプリケーション136-1に配信する。アプリケーション136-1のそれぞれのイベント認識部180は、イベント情報を、それぞれのイベント定義186と比較し、タッチ感知面上の第1の場所での第1の接触(又は、デバイスの回転又は他の移動)が、ユーザインターフェース上のオブジェクトの選択、又は1つの向きから別の向きへのデバイスの回転などの、既定のイベント又はサブイベントに対応するかどうかを判定する。それぞれの既定のイベント又はサブイベントが検出されると、イベント認識部180は、イベント又はサブイベントの検出に関連付けられたイベントハンドラ190をアクティブ化させる。イベントハンドラ190は、アプリケーション内部状態192を更新するために、データアップデータ176若しくはオブジェクトアップデータ177を、任意選択的に用いるか又は呼び出す。いくつかの実施形態では、イベントハンドラ190は、アプリケーションにより表示されるものを更新するために、それぞれのGUIアップデータ178にアクセスする。同様に、当業者にとって、他の処理が図1A及び図1Bに示される構成要素に基づいてどのように実施されるかは明らかであろう。
前述の説明は、説明の目的上、特定の実施形態を参照して説明されている。しかしながら、上記の例示的な論考は、網羅的であること、又は本発明を、開示される厳密な形態に限定することを意図するものではない。上記の教示を鑑みて、多くの修正及び変形が可能である。本発明の原理及びその実際的な応用を最良の形で説明し、それによって他の当業者が、想到される特定の用途に好適な様々な改良で本発明及び様々な実施形態を最良の形で使用することを可能とするために、これらの実施形態を選択し説明した。
[付録]
デバイスにおけるレイズジェスチャ検出
[背景技術]
本開示は、広義には電子デバイスに関し、特に、電子デバイスを身につけているか、又は他の方法で電子デバイスを操作しているユーザによってなされる、特定のカテゴリのジェスチャを検出することに関する。
ユーザは、ますますモバイル技術に頼るようになっている。例えば、携帯電話技術とハイパワーコンピューティングデバイスとを統合した、ユーザが操作をする際に手の中におさめることが可能なほどフォームファクタが小さい「スマートフォン」を、現在、多くのユーザが携帯している。このようなデバイスは、携帯電話通信、メッセージ送信(例えば、SMS/MMSメッセージ送信又は同様のサービス)、内蔵されたデジタルカメラを使った写真撮影、電子メール、ワールドワイドウェブへのアクセス、さらには、機能面で個人の情報管理(例えば、カレンダー、アドレス帳、しなければならないことのリスト)から位置認識によるナビゲーション及び地図、ゲームにまでおよぶ専用のアプリケーションプログラムからなる、一見すると無限のアレイをはじめとする、様々な機能を提供する。この種のデバイスでは、ユーザの指先に情報と娯楽の世界を置くことができる。
しかしながら、スマートフォンですら、情報に容易にアクセスしたがるユーザの要望を満たすには明らかに不十分である。着用可能技術が、少なからぬ関心を集めている。着用可能デバイスを持つことで、ユーザが、さらに便利なモバイル技術の利益を享受できることが望まれる。
[発明の概要]
着用可能技術が広く普及するのを妨げる障害のひとつに、既存の着用可能デバイスの大半が、スマートフォンほど便利に使えないことがある。例えば、着用可能デバイスは、フォームファクタが小さめのことが多く、デバイスに内蔵できるバッテリの大きさが制限されている。このため、利用できる動作電力も限られる。電力の浪費を避けるために、既存の着用可能デバイスでは通常、ユーザがデバイスと能動的に関わっていないときに、電力を消費する様々なコンポーネント(例えば、ディスプレイ)が停止されるか、電源が切断される。
ディスプレイ及び/又はユーザ入力コンポーネントは常にオンであるわけではないため、既存の着用可能デバイスでは通常、ユーザがデバイスを使いたいことを示すために、着用可能デバイスのボタンに触れるなど、ユーザが何らかの予備的な入力をする必要がある。こうして予備的な入力を行うことで、着用可能デバイスに自機のディスプレイ及び/又は電力を消費する他のコンポーネントをアクティブにするトリガーを与えることができる。このように予備的な対話をすると、特に、これより古い技術で慣れている一層自然で直感的にわかる対話とは対照的に、デバイスの使用を不自然又は不便なものと感じさせてしまうことがある。例えば、腕時計をしたことがある人は誰でも、時刻を確認するために手首を上げる及び/又は回転させる動作に慣れている。腕時計をする人々にとって、手首を素早く上げることは、自然で無意識にできる動きになっている。ところが、この自然な動きは、既存の腕時計だけで機能する。なぜなら、時計文字盤が「常時オン」であるため、表示された情報(通常は時刻)を見るのにユーザがしなければならないのは、時計文字盤を視線内に入れることだけだからである。しかしながら、着用可能コンピューティングデバイスなどの一層進歩した電子デバイスでは、ディスプレイが常時オンであると、デバイスを1日中着用するという日常的なことが妨げられるほど、電池寿命に制約が生じる可能性がある。
したがって、手首に着用可能なコンピューティングデバイス側で、ユーザがデバイスを着用した手首を上げていることを検出し、その動きに応じてデバイスのディスプレイ(及び/又は他のコンポーネント)を自動的にアクティブにすると望ましい場合がある。このようにすることで、ユーザは、既存の腕時計と同じように簡単かつ直感的に、手首に着用可能なコンピューティングデバイスから視覚情報を得られるようになる。
本発明による複数の実施形態では、手首を上げる動作などのレイズジェスチャを検出可能なコンピューティングデバイスを提供する。例えば、デバイスは、当該デバイスの移動をリアルタイムで検出でき、なおかつ(例えばデバイスに作用する重力加速度を検出することによって)デバイスの空間的な向きに関する情報を推定できる、加速度計及び/又はジャイロスコープなどのモーションセンサを含むことができる。モーションセンサからの信号に基づいて、デバイスで実行されるアルゴリズムによって、ユーザがデバイスのディスプレイを自分の視線内に移動している又は移動したことを示す動きのパターンと定義できる「レイズジェスチャ」を検出可能である。このようなジェスチャの検出に応じて、デバイスは、当該デバイスのディスプレイ及び/又は他のコンポーネント(例えば、タッチスクリーンオーバーレイ、音声処理サブシステムなど)をアクティブにすることができる。いくつかの実施形態では、レイズジェスチャの検出は、複数の段階でなされてもよく、異なるコンポーネントが異なる段階でアクティブにされてもよい。
レイズジェスチャの検出には、様々な技術を利用できる。いくつかの実施形態では、検出アルゴリズムはヒューリスティックに開発可能であり、(デバイスを着用しているユーザが、デバイスのディスプレイを見ることができるであろう、手首に着用されたコンピューティングデバイスの向きであってもよい)「フォーカス姿勢」と、(フォーカス姿勢にされる前における、手首に着用されたコンピューティングデバイスの向きであってもよい)特定の開始姿勢の両方に想定される特性を考慮できる。よって、例えば、レイズジェスチャは、ユーザが腕を下げた位置(例えば、立っているときや歩いているとき)から始めるか腕を横に向けた位置(例えば、タイピングしているとき)から始めるかとは関係なく、検出可能である。さらに、ユーザの特定の活動に合わせて、レイズジェスチャ検出アルゴリズムを最適化することができる。例えば、ユーザが走っているのであれば、ユーザの腕の自然な動きによって、低電力モーションセンサ(例えば、加速度計)から収集されるデータにノイズが生じることがあり、これがレイズジェスチャの検出に干渉することがある。走ることに合わせて最適化されたアルゴリズムであれば、ユーザに何ら違うことをさせる必要なく、他のセンサ(例えば、ジャイロセンサ)からのデータを取り込んで、レイズジェスチャを高信頼度で検出しやすくすることができる。
いくつかの実施形態では、レイズジェスチャ検出アルゴリズムを、デバイスの低電力コプロセッサ(例えば、モーションコプロセッサ)で実行することができる。このため、デバイスが能動的に使用されていないときには、デバイスのメインプロセッサ又は中央処理装置(本明細書では、アプリケーションプロセッサともいう)を低電力状態すなわちスリープの状態にして、デバイスの電力消費量をさらに抑えることが可能である。このコプロセッサ上で実行されているアルゴリズムによるレイズジェスチャの検出を用いて、アプリケーションプロセッサをウェイクさせることができる。いくつかの実施形態では、アプリケーションプロセッサをウェイクさせるか否かを決めるために別の「プレヒート」アルゴリズムを提供でき、このアルゴリズムは、ディスプレイ及び/又は他のユーザインタフェースコンポーネントをアクティブにするか否かを決めるのに用いられるレイズジェスチャ検出アルゴリズムとは独立に動作可能である。
さらに、デバイスがフォーカス姿勢になった後、コプロセッサは、ユーザがデバイスを見るのをやめたことを示す、デバイスがフォーカス姿勢ではなくなるときを判断するためのアルゴリズムを実行することができる。(デバイスの状態とユーザがデバイスを見ているか見ていないかの実態とが常に一致するわけではないこともあるが、本明細書で説明するアルゴリズムは、必ずしも完全ではないとはいえ高い信頼度でこれを一致させられることを、理解されたい。)デバイスがフォーカス姿勢ではなくなっていること(本明細書では、フォーカス解消イベントとも呼ぶ)の検出は、ディスプレイ及び/又は他のユーザインタフェースコンポーネントを非アクティブにする、アプリケーションプロセッサがスリープ状態に戻れるようにするなど、様々な節電対策のトリガーとなり得る。
いくつかの実施形態では、コプロセッサは、レイズジェスチャイベント、フォーカス解消(loss of focus)イベント及び/又はプレヒートイベントを検出するための様々なアルゴリズムの実行をいつ開始又は終了するかを決定するためのウェイク制御ロジックを実行することができる。また、ウェイク制御ロジックは、様々なアルゴリズムによって検出されるイベントの通知を受信し、アプリケーションプロセッサ及び/又はユーザインタフェースコンポーネントなどのデバイスの他のコンポーネントに対する対応する通知を調整することもできる。例えば、ウェイク制御ロジックは、レイズジェスチャが検出されるとアプリケーションプロセッサに通知することができ、アプリケーションプロセッサは、ディスプレイ及び/又は他のユーザインタフェースコンポーネントをアクティブにすることで、応答することができる。
以下の詳細な説明及び添付の図面を参照することにより、本発明の性質及び利点に関する理解をより深めることができよう。
[図面の簡単な説明]
[図1A] 本発明の一実施形態の一般的な使用事例を示す。
[図1B] 本発明の一実施形態の一般的な使用事例を示す。
[図1C] 本発明の一実施形態の一般的な使用事例を示す。
[図1D] 本発明の一実施形態の一般的な使用事例を示す。
[図2A] 本発明の一実施形態によるデバイスのコンポーネントを示すブロック図である。
[図2B] 本発明の一実施形態によるデバイスのコンポーネントを示すブロック図である。
[図3] 手首に着用可能なデバイス用のデバイス相対座標系の一例を示す。
[図4] 本発明の一実施形態によるレイズジェスチャ検出プロセスのフローチャートである。
[図5] 本発明の一実施形態によるジェスチャ分類部を用いてレイズジェスチャを確認するためのプロセスのフローチャートである。
[図6] 本発明の一実施形態によるレイズジェスチャ検出アルゴリズムの状態を示す状態図である。
[図7] 本発明の一実施形態による自然なレイズジェスチャ検出モジュールの機能ブロック図である。
[図8] 本発明の一実施形態による別のレイズジェスチャ検出プロセスのフローチャートである。
[図9] 本発明の一実施形態による自然なレイズジェスチャ検出モジュールの機能ブロック図である。
[図10A] 本発明の一実施形態の使用事例を示す。
[図10B] 本発明の一実施形態の使用事例を示す。
[図11] 本発明の一実施形態による意図的なレイズジェスチャを検出するためのプロセスのフローチャートである。
[図12] 本発明の一実施形態による意図的なレイズジェスチャ検出モジュールの機能ブロック図である。
[図13] 本発明の一実施形態によるフォーカス解消イベントを検出するためのプロセスのフローチャートである。
[図14] 本発明の一実施形態によるフォーカス解消検出モジュールの機能ブロック図である。
[図15] 本発明の一実施形態によるアプリケーションプロセッサをウェイクさせるか否かを決定するためのプロセスのフローチャートである。
[図16] 本発明の一実施形態によるプレヒート検出モジュールの機能ブロック図である。
[図17] 本発明の一実施形態によるウェイク制御ロジックの状態を示す状態図である。
[図18] 本発明の一実施形態によるウェイク制御ロジックで実装可能なプロセスのフローチャートである。
[発明を実施するための形態]
本発明による複数の実施形態では、ディスプレイが常にオンではない、手首に着用可能なデバイスなどのデバイスのユーザにとって、自然な対話を提供することができる。例えば、デバイスは、当該デバイスの移動をリアルタイムで検出でき、なおかつ(例えばデバイスに作用する重力加速度を検出することによって)デバイスの空間的な向きに関する情報を推定できる、加速度計及び/又はジャイロスコープなどのモーションセンサを含むことができる。モーションセンサからの信号に基づいて、着用可能コンピューティングデバイスで実行されるアルゴリズムによって、ユーザがデバイスのディスプレイを自分の視線内に移動している又は移動したことを示す動きのパターンと定義できる「レイズジェスチャ」を検出可能である。(デバイスの状態とユーザがデバイスを見ているか見ていないかの実態とが常に一致するわけではないこともあるが、本明細書で説明するアルゴリズムは、必ずしも完全ではないとはいえ高い信頼度でこれを一致させられることは、理解できよう。)このようなジェスチャが検出されると、着用可能コンピューティングデバイスは、そのディスプレイをアクティブにすることができる。レイズジェスチャの検出に基づいて、ユーザ入力コンポーネント(例えば、タッチスクリーンオーバーレイ、音声処理サブシステムなど)などの他のコンポーネントをアクティブにすることもできる。いくつかの実施形態では、レイズジェスチャの検出は、複数の段階でなされてもよく、異なるコンポーネントが異なる段階でアクティブにされてもよい。
本明細書で使用する場合、「手首に着用可能なデバイス」(又は「手首に着用可能なコンピューティングデバイス」)とは、広義には、フォームファクタがユーザの手首への着用に適しており、ユーザの手首に着用されているときにユーザに情報を提示してユーザから情報を受信できる電子デバイスをいう。いくつかの実施形態では、手首に着用可能なデバイスは、情報を視覚的に提示し、ユーザの指(又はユーザが操作する他の道具)によって、スクリーン又はスクリーン上の特定の領域でなされる接触ジェスチャとしてのユーザ入力を受信するタッチスクリーンディスプレイを有することができる。タッチスクリーンディスプレイに加えて又はタッチスクリーンディスプレイの代わりに、他のユーザインタフェースコンポーネントを提供することもできる。いくつかの実施形態では、手首に着用可能なデバイスは、スタンドアロンのデバイス(例えば、他のデバイスと通信していないデバイス)又は通信相手となる別の電子デバイスに対するコンパニオンデバイスとして動作可能である。例えば、手首に着用可能なデバイスは、ユーザの携帯電話又はユーザの別のパーソナル電子デバイスとペアリングすることが可能である。また、手首に着用可能なデバイスは、着呼、メッセージ又は他の通信が入ってきていることをユーザに通知するなど、他のデバイスの機能を活用又は強化することができる。
手首に着用可能なデバイスは、ユーザにとって便利なものとなり得る。このデバイスは、ユーザの通常の活動を最小限しか妨害しないか全く妨害する可能性がなく、デバイスを手首に位置させることで、容易にアクセスできるようにすることが可能である。ユーザは、単に手首を上げる及び/又は回転させれば、デバイスのディスプレイを自分の視線内に入れることができる。図1A及び図1Bは、手首に着用可能なデバイス102をユーザ100が着用している一般的な使用事例を示し、このデバイスは、ディスプレイ104を有する。図1Aでは、ユーザの腕106は、ユーザの体側の自然な位置にあり、ディスプレイ104はユーザの視線内にない。この位置で、ユーザエクスペリエンスに影響することなく、ディスプレイ104を非アクティブ(例えば、情報が見えないような低電力状態又は電源オフの状態)にすることができる。図1Bでは、ユーザ100は、ディスプレイ104がユーザの視線内の位置にくるまで、腕106を上げて回転させている。この位置では、ディスプレイ104がアクティブである(例えば、表示された情報をユーザが見ることができるように、電力が投入されて明るくなっている)と望ましい。
図1C及び図1Dは、ユーザ100が、手首に着用可能なデバイス102を着用したままタイピングなどの活動をしている、別の一般的な使用事例を示す。図1Cでは、ユーザの腕106は、前腕が地面とほぼ平行で、指がキーに届くように手首をわずかに回内させた状態で、キーボード120でタイピングをするための位置にある。この位置では、図1A同様に、ユーザエクスペリエンスに影響することなく、ディスプレイ104を非アクティブにすることができる。図1Dでは、ユーザ100は、(指がキーボード120から離れるくらいに)腕106を少しだけ上げて、ディスプレイに104を視線内に入れるよう手首をさらに回内している。この位置では、図1B同様に、ディスプレイ104がアクティブであるのが望ましい。
1つの選択肢として、ディスプレイ104を常にアクティブにしておくことがある。しかしながら、ディスプレイ104が非アクティブのときよりアクティブのときのほうが多くの電力を消費するとすれば、使用していないときにディスプレイ104をアクティブのままにしておくと、デバイス102に電力を供給するバッテリに不必要な消耗を生じる可能性がある。別の選択肢として、ユーザ入力に応答したときだけ、ディスプレイ104をアクティブにすることがある。例えば、ユーザは、ディスプレイ104をウェイクさせるのに、デバイス102のボタンを押すかもしれない。しかしながら、これによって、デバイス102の便利さが損なわれる場合がある。例えば、図1A及び図1Bに示すように、ユーザがもう片方の手で鞄108を持っていると、手首に着用可能なデバイス102のボタンを押すのに不都合が生じる場合がある。
本発明による複数の実施形態によれば、手首に着用可能なデバイス102などのデバイスは、ユーザがデバイスを見ようとしているのを自動的に検出できる。このような検出に基づいて、デバイスは、自機のディスプレイ及び/又は他の電力を消費するコンポーネントをアクティブにすることができる。いくつかの実施形態では、ユーザがデバイスを見ようとしていることの検出には、デバイス内の低電力コプロセッサ(例えば、モーションコプロセッサ)で実行される動き分析アルゴリズムを用いることができる。これによって、デバイスのメインプロセッサ(例えば、アプリケーションプロセッサ)を少なくともいくらかの時間スリープさせることができ、さらに電力が節約される。いくつかの実施形態では、動き分析アルゴリズムは、腕及び/又は手首を上げる及び/又は回転させるなど、ユーザがデバイスを見ようとしていることに関連付けられた動きのカテゴリ(本明細書では「レイズジェスチャ」という)(例えば、図1Aと図1B、又は図1Cと図1Dの腕の位置の差)を検出することができ、レイズジェスチャ又は関連する動きの検出によって、ディスプレイをアクティブにするなどの様々な行為のトリガーとなることができる。レイズジェスチャ検出アルゴリズムは、ユーザの「開始」姿勢を感知できるものであってもよく、特定の開始姿勢が予想されるレイズジェスチャに影響する又はこれを変化させることがある。例えば、最初にユーザの腕が(図1Aに示すように)下がった状態であるか、(例えば図1Bに示すように)肘が曲がった位置にあるかによって、予想されるレイズジェスチャが異なる場合がある。また、このアルゴリズムは、有用なデータのタイプ、開始姿勢及び/又はレイズジェスチャをなす動きの性質に影響する可能性のある、ユーザが走っている場合など動作の多い環境で動作するよう修正可能である。
デバイスを見ることに関連付けられた自然な動きに基づいてレイズジェスチャを検出できる例では、ユーザは、自然に手首を上げる及び/又は回転させて(例えば図1B又は図1Dに示すように)デバイスのディスプレイを視線内に入れ、デバイスに何かを急いで入力しなくても、すみやかに(又は無視できる遅れの後に)表示された情報を見ることができる。しかしながら、状況によっては、このように「自然な」レイズジェスチャを検出することは、実用的ではない場合がある。このため、「意図的な」レイズジェスチャを定義することが可能であり、この意図的なレイズジェスチャの検出が、ディスプレイ及び/又は他のコンポーネントをアクティブにすることにつながるようにすることができる。意図的なレイズジェスチャは、ユーザが、デバイスのディスプレイをアクティブにする意図を持って行うことができる具体的な動作と定義することができる。その動作は、ユーザがディスプレイをアクティブにしようとしていないときには行うことが比較的ないであろう腕又は手首の移動に関する仮定に基づいて、定義することができる。例えば、後述するように、意図的なレイズジェスチャは、短い時間幅内に手首が2回振動した後、デバイスが最終的な姿勢で安定することに対応するものと定義することができる。また、他の定義を使用することもできる。
自然なレイズジェスチャの検出、意図的なレイズジェスチャの検出又はデバイスとユーザとの他の何らかの対話の検出によるか否かを問わず、ユーザがデバイスを見ようとしていると判断されると、デバイスのユーザインタフェースをアクティブにして、ユーザがデバイスと対話できるようにすることが可能である。例えば、ユーザは、デバイスに表示された情報を見て入力コントロールを操作し、デバイスに情報及び/又は命令を与えることができるといった具合である。デバイスを見てデバイスと対話しているとき、おそらくユーザは比較的一定の向きでデバイスを持っているであろう。ユーザが対話を終えると、ユーザの腕はその開始位置に戻るか、デバイスのディスプレイがユーザの視線の方には向いていない別の位置に戻るであろう。いくつかの実施形態では、ユーザの視線からデバイスを外すであろう動きは、「フォーカス解消」ジェスチャとして検出でき、ディスプレイ及び/又は他の電力を消費するコンポーネントを非アクティブにするなど、節電のための様々な動作のトリガーとなり得る。
上記に加えて又は上記に代えて、いくつかの実施形態では、デバイスがアクティブに使用されていないときに、電力消費を抑えるために、デバイスのメインプロセッサ(「アプリケーションプロセッサ」ともいう)が低電力すなわち「スリープ」の状態になることができる。スリープ状態から、デバイスのアクティブな使用に適した「ウェイク」状態への遷移(メインプロセッサを「ウェイクさせる」ともいう)を完了させるには、これに付随していくらか待ち時間が生じることがある。このため、ユーザが実際にデバイスを見る前に、ディスプレイ又は他のユーザインタフェースコンポーネントまでもウェイクさせることなく、メインプロセッサのウェイクを開始すると望ましいことがある。いくつかの実施形態では、おそらくレイズジェスチャが開始されるであろうことを検出し、レイズジェスチャが完了する前にメインプロセッサのウェイクを開始することができる「プレヒート(preheat)」検出アルゴリズムを提供する。この動作によって、ユーザがまさにデバイスを見ている場合に、より短い応答時間とすることができる。プレヒート検出アルゴリズムは、レイズジェスチャ検出アルゴリズムと同時に、かつ通常はレイズジェスチャ検出アルゴリズムとは独立して動作することができる。例えば、これらのアルゴリズムは、受信した同じモーションセンサデータについて、異なる分析を行うことができる。
レイズジェスチャ(自然なレイズジェスチャ及び/又は意図的なレイズジェスチャを含む)及びフォーカス解消ジェスチャの検出を、様々な電子デバイスに実装することができる。図2Aは、本発明の一実施形態によるデバイス200のコンポーネントを示すブロック図である。デバイス200は、例えば、図1Aから図1Dに示す手首に着用可能なデバイス102の一実施例であり得る。デバイス200は、ユーザインタフェース202と、アプリケーションプロセッサ204と、ストレージサブシステム206と、コプロセッサ208と、加速度計210と、ジャイロスコープ212と、を含むことができる。
ユーザインタフェース202には、ユーザとデバイス200との対話を容易にするハードウェアコンポーネント及びソフトウェアコンポーネントを取り入れることができる。このようなコンポーネントは、おおよそ既存の設計のものであってもよいし、他の設計のものであってもよい。例えば、いくつかの実施形態では、ユーザインタフェース202は、ユーザの指及び/又は他の物体の接触を検出できる(例えば、容量方式又は抵抗方式の)タッチ感知式オーバーレイを有するディスプレイ(例えば、LEDベース、LCDベース、OLEDベースなど)を取り入れたタッチスクリーンインタフェースを含むことができる。スクリーンの特定の領域に触れることによって、ユーザは、自分がしようとしている行為を示したり、デバイスからの視覚的なプロンプトに応答したりすることができる。これに加えて又はこれに代えて、ユーザインタフェース202は、オーディオコンポーネント(例えば、スピーカ、マイクロフォン)、ボタン、つまみ、ダイアル、触覚入力又は出力装置などを含んでもよい。
アプリケーションプロセッサ204は、おおよそ既存の設計のものであってもよいし、他の設計のものであってもよい1つ以上の集積回路を用いて実現可能(例えば、1つ以上のコアを備えたプログラム可能なマイクロコントローラ又はマイクロプロセッサ)であり、デバイス200の一次処理サブシステムになり得る。ストレージサブシステム206は、メモリ回路(例えば、DRAM、SRAM、ROM、フラッシュメモリなど)又は他のコンピュータ可読記憶媒体を用いて実装することができ、アプリケーションプロセッサ204による実行用のプログラム命令のみならず、その動作の過程でデバイス200によって生成されたデータ又はデバイス200に供給されたデータも記憶できる。動作時、アプリケーションプロセッサ204は、ストレージサブシステム206に記憶されたプログラム命令を実行し、デバイス200の動作を制御することができる。例えば、プロセッサ204は、オペレーティングシステムのみならず、特定のタスク(例えば、時刻の表示、ユーザに対する情報の提示、ユーザからの情報の取得、対になったデバイスとの通信など)に専用の様々なアプリケーションプログラムも実行することができる。アプリケーションプロセッサ204が、必要な処理タスクであればどのようなものでも実行可能であり、本発明の実施形態がどのような特定のアプリケーションとも独立して機能できることは、理解できよう。
本明細書に記載の実施形態では、アプリケーションプロセッサ204は、アプリケーションプロセッサ204による活動(及び電力消費)を減らす又は最小限にすることのできる「スリープ」状態を少なくとも1つと、アプリケーションプロセッサ204がフルに動作している「ウェイク」状態を持つことができる。例えば、アプリケーションプロセッサ204がスリープ状態にある間、アプリケーションプロセッサ204は、アプリケーション及び/又はオペレーティングシステムのプログラムの実行を中断し、再びウェイク状態になったら実行を再開することができる。
コプロセッサ208は、アプリケーションプロセッサ204と同様に、おおよそ既存の設計のものであってもよいし、他の設計のものであってもよい1つ以上の集積回路(例えば、マイクロプロセッサ及び/又はマイクロコントローラ)を用いて実装することができる。コプロセッサ208は、アプリケーションプロセッサ204がスリープ状態であるかウェイク状態であるかとは独立して、ファームウェアとしてコプロセッサ208内に記憶されているか、又は他の方法でコプロセッサ208がアクセス可能なプログラムコード命令を実行することができる。いくつかの実施形態では、コプロセッサ208は、アクティブな動作時の電力消費をアプリケーションプロセッサ204よりも大幅に少なくすることができる。本明細書に記載する例では、コプロセッサ208は、レイズジェスチャ及び/又はフォーカス解消ジェスチャの検出を含む、動きの検出及び分析と関連する動作を行うことができる。また、いくつかの実施形態では、コプロセッサ208は、本明細書には記載のない他の動作を行うこともできる。
コプロセッサ208は、既存の設計又は他の設計の通信インタフェース(例えば、通信バス)であってもよいアプリケーションプロセッサインタフェース214経由で、アプリケーションプロセッサ204に動きの分析に基づいて通知を送ることができる。いくつかの実施形態では、この通知は、アプリケーションプロセッサ204をスリープ状態からウェイクさせる及び/又はユーザインタフェース202をアクティブにする信号を含んでもよい。いくつかの実施形態では、アプリケーションプロセッサインタフェース214は、さらに、加速度計210及び/又はジャイロスコープ212からアプリケーションプロセッサ204に、未処理のデータ又は部分的に処理されたデータを送ることができる。
動きの検出及び分析を容易にするために、コプロセッサ208は、加速度計210及びジャイロセンサ(ジャイロスコープともいう)212など、デバイス200に内蔵されたモーションセンサから入力を受信することができる。加速度計210は、既存の設計又は他の設計を用いて実現可能であり、1本以上の軸に沿ってデバイス200に生じる加速度(重力加速度のみならず、ユーザの動きによる加速度も含む)を感知できるものとすることができる。いくつかの実施形態では、加速度計210は、3軸低電力MEMS加速度計を取り入れることができ、固定のサンプリングレート(例えば100Hz)で加速度データを提供することができる。ジャイロスコープ212も、既存の設計又は他の設計を用いて実現可能であり、1本以上の軸に沿ったデバイス200の向きの変化を感知できるものとすることができる。また、ジャイロスコープ212は、固定のサンプリングレート(例えば100Hz)で向きのデータを提供することができる。
本明細書に記載された例では、加速度計210及びジャイロスコープ212は、デバイス内で方向づけられて、デバイス相対座標系を定めることができる。図3は、手首に着用可能なデバイス300(これは例えば、図1A及び図1Bに示す手首に着用可能なデバイス102であってもよい)用のデバイス相対座標系の一例を示す。手首に着用可能なデバイス300は、ディスプレイ306がユーザに見えるように、ストラップ又はバンド304によって、ユーザの手首302に固定することができる。図に示すように、ユーザがデバイス300を着用しているとき、ユーザの前腕308と実質的に平行にx軸を定めることができ、x軸と直交してディスプレイ306の平面内でy軸を定めることができ、ディスプレイ306の平面に直交して(観察者の方を指して)z軸を定めることができる。いくつかの実施形態では、加速度計は、重力による加速度のみならず、ユーザの動きによる加速度も検出することができる。例えば、前腕308が水平に保たれている場合、加速度計は、重力の方向に対するy軸の角度が変化する際の開始時刻と終了時刻との間の加速度のy成分の変化として、ユーザの手首の回転(又はx軸を中心とした手首に着用可能なデバイス300の回転)を検出することができる。また、x軸を中心とした回転として、ジャイロスコープを用いて手首の回転を検出することもできる。図3に示す座標系は、本開示全体を通して使用されるが、他の座標系に置き換えてもよいことは、理解できよう。
もう一度図2Aを参照すると、いくつかの実施形態では、コプロセッサ208は、(例えば、ソフトウェア又はファームウェアプログラムコードを使用して)加速度計210及び/又はジャイロスコープ212からの信号を分析するための動作及びアルゴリズムを実現する、様々なモジュールを含むことができる。これらのモジュール(「ジェスチャモジュール」又は「ジェスチャ検出モジュール」など、様々な呼称が使われる)のうちのいくつかには、検出レイズジェスチャ及び/又はフォーカス解消ジェスチャに関連する動作及びアルゴリズムを実装することができる。例えば、コプロセッサ208は、レイズジェスチャの可能性のある開始を検出するための「プレヒート」検出モジュール220と、「動作の少ない」環境における自然なレイズジェスチャを検出するための第1の「メイン」検出モジュール222と、「動作の多い」環境における自然なレイズジェスチャを検出するための第2のメイン検出モジュール224と、意図的なレイズジェスチャを検出するための「軽い揺らし(jiggle)」検出モジュール226と、想定される視線からユーザがデバイスを外したことを検出するためのフォーカス解消モジュール228と、を含むことができる。モジュール220、222、224、226、228に実装することができるアルゴリズムの例については、後述する。
ウェイク制御ロジック230は、分析モジュール220~228の動作を制御することができ、モジュール220~228によって報告されるジェスチャ状態の決定内容を受信することができる。例えば、ウェイク制御ロジックは、現在のジェスチャ状態に基づいて、任意の時点でモジュール220~228のうちのどれをイネーブルにすべきか決定することができ、様々なアルゴリズムを選択的にイネーブル又はディセーブルにすることができる。アルゴリズムを選択的にディセーブルにすることで、コプロセッサ208による電力消費量を減らすことができる。また、ジェスチャ状態の決定内容に基づいて、ウェイク制御ロジック230は、アプリケーションプロセッサインタフェース214経由で、アプリケーションプロセッサ204及び/又はユーザインタフェース202に通知を送ることができる。
いくつかの実施形態では、ウェイク制御ロジック230及び/又は動き分析モジュール220~228は、アルゴリズム又はオペレーションを選択的に又は継続的に実行できる追加のサポートモジュールを利用することができる。例えば、活動分類部232は、加速度計210及び/又はジャイロスコープ212(並びに、デバイス200の中にあってもよい、生理センサなどの他のセンサ)からデータを受信することができ、このデータを分析して、例えば、歩いている、座っている又は静かに立っている、ジョギングしている、走っている、自転車に乗っている、自動車に乗っているなど、ユーザが行っている活動のタイプを決定することができる。活動分類部232には、様々なタイプの活動に関連付けられた特性を特定する機械学習アルゴリズムを実装可能であり、活動分類部232を配備する前にユーザの既知の活動中のセンサのデータを集めることによって、これらのアルゴリズムを訓練することができる。
いくつかの実施形態では、ウェイク制御ロジック230は、活動分類部232の出力を用いて、デバイス200が、ローダイナミックメイン検出モジュール222を使用できる「動作の少ない」環境(例えば、座っている、歩いている又は他の比較的ゆっくりした移動など)にあるか、そうではなくハイダイナミックメイン検出モジュール224を使用すべき「動作の多い」環境(例えば、走っている)にあるかを決定することができる。ウェイク制御ロジック230は、活動分類部232によって示された環境のタイプに応じて、モジュール222又は224を選択的にイネーブル又はディセーブルにすることができる。
いくつかの実施形態では、ジェスチャ分類部234を使用して、メイン検出モジュール222又は224によって検出される自然なレイズジェスチャの検出を確認することができる。後述するように、メイン検出モジュール222及び224は、デバイスの位置を時間の関数として分析し、電力効率のよい方法でレイズジェスチャを検出することができる。しかしながら、これらのアルゴリズムは、視線内に入るまでデバイス200を上げるのと似ている動きを伴うが実際にはそのような作用のないユーザの動作の結果として、時折、誤検出を生じることがある。例えば、ユーザがドアを開けるためにドアの取っ手を回したり、飲み物を飲むためにグラスを持ち上げていたりすることがある。ジェスチャ分類部234には、レイズジェスチャと他の似たような動きとを高信頼度で区別するように訓練された機械学習アルゴリズムを実装することができる。いくつかの実施形態では、ユーザが特定の行動(レイズジェスチャのみならず他の類似の行動を含む)を、実行されるその特定の行動が加速度計データ及び/又はジャイロスコープデータと一緒に記録できる状況で、行っている間に、加速度計データ及び/又はジャイロスコープデータを収集することで、ジェスチャ分類部234を訓練することができる。この情報を使用してアルゴリズムを訓練し、レイズジェスチャと他の似たような行動とを高信頼度で区別する出力を生成することができる。このため、メイン検出モジュール222又は224がジェスチャを検出すると、検出アルゴリズム(又はウェイク制御ロジック230)は、以後の確認又は否認のために、関連する特徴データをジェスチャ分類部234に提供することができる。ジェスチャ分類部234の使用例については、メイン検出モジュール222の実施形態に関連して後述する。いくつかの実施形態では、アプリケーションプロセッサ204がウェイク状態にあるときに、アプリケーションプロセッサ204でジェスチャ分類部234を実行することができる。
図2Bは、本発明の一実施形態によるデバイス250のコンポーネントを示すブロック図である。デバイス250は、例えば、図1Aから図1Dに示す手首に着用可能なデバイス102の一実施例であり得る。デバイス250は、ユーザインタフェースコンポーネント252と、アプリケーション処理ユニット254と、動き処理ユニット258と、モーションセンサ260と、を含むことができる。ユーザインタフェースコンポーネント252は、図2Aに示すユーザインタフェース202(又はタッチスクリーンディスプレイなど、そのコンポーネント)と類似又は同一であってもよい。メイン処理ユニット254は、図2Aに示すアプリケーションプロセッサ204と類似又は同一であってもよい。モーションセンサ260は、図2Aに示す加速度計210及び/又はジャイロセンサ212と類似又は同一であってもよい1つ以上のモーションセンサを含むことができる。他のユーザインタフェースコンポーネント及び/又はモーションセンサを使用することも可能である。
動き処理ユニット258は、図2Aに示すコプロセッサ208と類似又は同一であってもよい。動き処理ユニット258は、様々なジェスチャ検出モジュールを取り入れることができる。例えば、プレヒート検出モジュール270は、図2Aに示すプレヒート検出モジュール220と類似又は同一であってもよい。自然検出モジュール(ローダイナミック)272及び自然検出モジュール(ハイダイナミック)274は、図2Aに示すメイン検出モジュール(ローダイナミック)222及びメイン検出モジュール(ハイダイナミック)224と類似又は同一であってもよい。意図検出モジュール276は、図2Aに示す軽い揺らし検出モジュール226と類似又は同一であってもよい。フォーカス解消検出モジュール278は、図2Aに示すフォーカス解消検出モジュール228と類似又は同一であってもよい。活動分類部モジュール282は、図2Aに示す活動分類部232と類似又は同一であってもよい。ジェスチャ分類部モジュール284は、図2Aに示すジェスチャ分類部234と類似又は同一であってもよい。追加のモジュール又は異なるモジュールを含むことが可能であり、いくつかの実施形態では、図示したよりも多くのモジュール又は少ないモジュールを含むことが可能である。
デバイス200及び250は例示的なものであり、変形及び修正が可能であることが理解されるであろう。デバイス200又は250の実施形態には、図示されたものに加えて、又は図示のものに代えて、他のコンポーネントを含むことができる。例えば、デバイス200又は250は、電源(例えば、バッテリ)及び配電及び/又は電力管理コンポーネントを含んでもよい。デバイス200又は250は、コンパス、温度計又は他の外部温度センサ、絶対位置を決定するための全地球測位システム(GPS)受信機若しくは同様のもの、画像を捕捉するためのカメラ、生理センサ(例えば、脈拍センサ、血圧センサ、皮膚コンダクタンスセンサ、皮膚温度センサなど)などの他のセンサを含んでもよい。デバイス200又は250は、パーソナルデバイス及び/又はネットワークアクセスデバイスをはじめとする他のデバイスとの通信を可能にするための通信コンポーネントを含むことができる。例えば、デバイス200又は250は、RF送受信機及び1つ以上の無線通信標準(例えば、Bluetooth標準、IEEE 802.11ファミリー標準、3G、LTEなどのセルラーデータネットワークデータ標準)を実装している、関連のプロトコルスタックを含むことができる。これに加えて又はこれに代えて、デバイス200又は250は、(例えば、USB、UART、イーサネット又は有線通信プロトコルをサポートしている)レセプタクルコネクタなどの有線通信インタフェースを含んでもよい。
さらに、デバイス200及び250は、特定のブロックを参照して説明されているが、これらのブロックは説明の都合上定義されたものであって、構成部品の特定の物理的構成を意味することを意図したものではないことは、理解できよう。さらに、これらのブロックは、物理的に別個のコンポーネントに相当する必要はなく、物理的に同じコンポーネントを使用して、複数のブロックの態様を実装してもよい。ブロックは、例えば、プロセッサをプログラムすることによって、あるいは適切な制御回路を設けることによって様々な動作を行うように構成することができ、最初の構成がどのように得られるかによって、様々なブロックを再構成できることもあれば、できないこともある。本発明の実施形態は、回路とソフトウェアとの任意の組み合わせを使って実装される電子機器を含む様々な装置において実現することができる。さらに、デバイス200と250は完全に入れ替えが可能であり、デバイス200(又はそのコンポーネント)に言及する説明がいずれもデバイス250にも適用されることは、理解できよう。
動作時、コプロセッサ208は、「常時オン」(例えば、デバイス200が着用されている場合は常に)であってもよく、ウェイク制御ロジック230は、例えば、ユーザがデバイスを見ているか否かに応じて、モジュール220、222、224、226、228のいずれか又は全てを選択的にアクティブにする(又はイネーブルにする)ことができる。これらのアルゴリズムは、レイズジェスチャ、プレヒートイベント、フォーカス解消イベントなどをはじめとする様々なジェスチャ状態イベントを検出し、報告することができる。具体例については後述する。アルゴリズムがイベントを報告すると、ウェイク制御ロジック230は、アプリケーションプロセッサインタフェース214経由で、アプリケーションプロセッサ204にイベントを通知することができる。イベントに応じて、アプリケーションプロセッサ204は、スリープ状態からウェイク状態への遷移及び/又はアクティブな状態と非アクティブな状態との間でのユーザインタフェース202のコンポーネントの遷移など、様々な行動をとることができる。
以下、ジェスチャ関連イベントを検出するための具体的なアルゴリズムの例について説明する。本明細書で使用する場合、「ジェスチャ関連イベント」は概して、モジュール220、222、224、226、228などのモジュール又はアルゴリズムによって検出される、任意のジェスチャに関連した遷移をいう。このようなイベントの例としては、レイズジェスチャ(後述するような「可能性のある」「検出済」及び/又は「確認済」レイズジェスチャの特定を含む)、プレヒートジェスチャ及び/又はフォーカス解消ジェスチャが挙げられる。後述するような種類のアルゴリズムを、例えば、プログラム可能なプロセッサ(例えば、コプロセッサ208)に好適なプログラムコードを与えること及び/又は記載の動作を行うための専用のロジック回路を設けることによって、実装することができる。
いくつかの実施形態では、レイズジェスチャ検出アルゴリズムは、レイズジェスチャが行われたという確信を高める一連の状態を経て進むことができる。例えば、レイズジェスチャ検出アルゴリズムは、対象とする時間幅(例えば、ユーザがレイズジェスチャをするのに、おそらくかかるであろう時間)に対応する、一組のモーションセンサデータサンプル(加速度計及び/又はジャイロセンサのデータを含む)を選択することができる。組の中にある最も古い1つ以上のサンプルを考慮することで、このアルゴリズムは、時間幅の最初におけるデバイスの空間的な向きを反映可能な「開始姿勢」を定めることができる。この向きは、仮定された重力の垂直軸に対して定めることができる。開始姿勢に基づいて、アルゴリズムは、デバイスのディスプレイをユーザが視線内に入れる(デバイスが「フォーカス姿勢」にされているともいう)ためにおそらく生じるであろう動きの量及び/又は1つ以上の方向を、決定することができる。このおそらく生じるであろう動きの量及び/又は1つ以上の方向は、「可能性のある」レイズジェスチャを特定するための基準として表現されることができ、これらの基準を使用して、一組のモーションセンサデータサンプルのうちいくつか又は全てに基づいて、可能性のあるレイズジェスチャが生じているか否かを特定することができる。また、フォーカス姿勢に達しているデバイスが、少なくとも最短の時間、フォーカス姿勢のままであるか否かを決定することで、可能性のあるレイズジェスチャを「検出済」レイズジェスチャとして特定することができる。必要であれば、ジェスチャ分類部を使用して、さらなる確認を行ってもよい。レイズジェスチャ検出アルゴリズムは、可能性のあるレイズジェスチャ、検出済レイズジェスチャ及び/又は確認済レイズジェスチャを特定するたびに、デバイスの他のコンポーネントに通知することができる。
レイズジェスチャ検出の段階的なアプローチの具体例として、図4は、本発明の一実施形態によるレイズジェスチャ検出プロセス400のフローチャートである。プロセス400は、例えば、図2Aに示すメイン検出(ローダイナミック)モジュール222において実行可能である。レイズジェスチャ検出プロセス400は、(可能性のある、検出済の、確認済の)一連のジェスチャ状態を経て進むことができ、各々の状態遷移を、例えば図2Aに示すウェイク制御ロジック230に報告することができる。後述するように、ウェイク制御ロジック230は、ジェスチャ状態遷移を使用して、アプリケーションプロセッサ204をウェイクさせるか否か及びそれをいつするか、並びに/又はユーザインタフェース202をアクティブにするようアプリケーションプロセッサ204に命じるか否か及びそれをいつするかを決定することができる。
プロセス400は、ユーザインタフェース202が非アクティブな状態にあるときに開始することができる(ブロック402)。このとき、アプリケーションプロセッサ204は、必要に応じて、スリープ状態にあってもよいしウェイク状態にあってもよい。加速度計210は、一定のサンプリングレート(例えば100Hz)で、更新されたデータを提供していることができ、このデータは、図3に示すようなデバイス相対座標を使用して、加速度のベクトル成分(a、a、a)を示すことができる。受信したデータについては、例えば、循環バッファ又はFIFOなどを用いてバッファすることができる。
ブロック404において、プロセス400は、加速度計データバッファから、データサンプルを読み出すことができる。データ量は、動きを分析するための所望の時間幅とサンプリングレートに依存する場合がある。例えば、プロセス400は、時間の固定の幅すなわちウィンドウ(例えば、0.5秒、1秒など)に対応するデータを読み出すことができる。
ブロック406では、プロセス400は、時間幅の開始に相当することがある、バッファから読み出された最も古いサンプルなどに基づいて、デバイスの開始姿勢を推測することができる。いくつかの実施形態では、加速度計の測定値は、重力加速度(デバイスの向きに応じた方向で1g)を含む。このため、他の加速度が比較的小さい場合、加速度計データに基づいて、重力に対するデバイスの向きを決定することができる。例えば、図1Aに示す腕を下げた位置では、加速度計210は、約1gのaを検出し、約0のa及びaを検出することがある。図1Cに示すタイピングをする位置では、加速度計210は、約0のa、0から1gの間のa、0からー1gの間のaを検出することがある。よって、ブロック406には、最も古いサンプル(例えば、5~10個のサンプルの平均)と、特定の「基準となる」開始姿勢に関連するサンプルパターンとを比較することを含んでもよい。基準となる開始姿勢は、例えば、デバイスを着用している人が特定の姿勢(例えば、図1A又は図1Cに示す姿勢)であることがわかっている条件下で収集された加速度計の測定値に基づいて、デバイスの配備前に定義することができる。いくつかの実施形態では、開始姿勢は、基準となる複数の開始姿勢を混合したものと定義することができる。例えば、この混合したものは、基準となる開始姿勢の加重平均と定義することができ、基準となる開始姿勢各々の重みは、基準となる開始姿勢に関連付けられたデバイスの向きと測定されたデバイスの向きがどの程度類似しているかの度合いに基づいている。
ブロック408では、推測された開始姿勢に基づいて、プロセス400は、その開始姿勢から実行される「可能性のある」レイズジェスチャを特定するための基準を選択することができる。異なる開始姿勢には、異なる基準を定義してもよい。例えば、開始姿勢が(例えば、図1Aに示すような)腕を下げた状態である場合、レイズジェスチャには前腕を持ち上げて手首を回転させることを伴うと予想され、両方とも主にa及びaの変化を参照して検出できるが、aに対するいくらかの影響も予想されることがある。開始姿勢が(例えば、図1Cに示すような)タイピングをする姿勢である場合、前腕はほとんど持ち上げらないか全く持ち上げらない(結果として、aがほとんど変化しない)可能性があるが、おそらく傾斜には変化が生じているであろう。これを最も高信頼度で検出できるのは、aの変化としてである。(ユーザが経験し得る偶発的な揺れ又は他のランダムな動きとは対照的に、意図的なジェスチャは滑らかになされると仮定して)動きの滑らかさを定量化するパラメータなど、バッファにある加速度計データから導くことが可能な他の基準を使用してもよい。いくつかの実施形態では、開始姿勢を前提とした可能性のあるレイズジェスチャを特定するための一組の基準を、ヒューリスティックに確立することができる。例えば、複数のユーザに、特定の開始姿勢からレイズジェスチャをするよう求め、開始姿勢からレイズジェスチャの完了までの移動の間に、得られる加速度計データを収集することができる。特定の開始姿勢からなされる、可能性のあるレイズジェスチャを認識するための特定の基準(例えば、aの変化の閾値、動きの滑らかさなど)を特定するために、統計的アルゴリズムを適用してこのデータを分析することができる。この段階での基準は、検出漏れ(false negative)は比較的少なく保てるが誤検出(false positive)が起こり得るほど粗いことがある。姿勢依存の閾値基準を確立するために、ヒューリスティックな練習を、基準となる開始姿勢に対して何回でも繰り返すことができる。いくつかの実施形態では、ブロック406で開始姿勢が推測されると、可能性のあるレイズジェスチャを特定するための対応する一組の基準をブロック408においてテーブルを参照して選択できるように、分析の結果を使用して基準のテーブルを生成することができる。いくつかの実施形態では、開始姿勢は、基準となる複数の開始姿勢を混合したものと定義することができ、この場合、ブロック408には、基準となる複数の開始姿勢のために定義された選択基準を混合することを含むことができる。
ブロック410では、プロセス400は、例えば、ブロック408で選択された基準が満たされているか否かなど、可能性のあるレイズジェスチャが特定されたか否かを判定することができる。いくつかの実施形態では、この判定には、特定の加速度計データサンプル及び/又は加速度計データサンプルから計算された他のパラメータを、ブロック408で選択された閾値基準と比較することを含んでもよく、可能性のあるレイズジェスチャは、閾値の基準が満たされた場合に検出される。さらに、レイズジェスチャが行われている場合、このジェスチャが完了すると、デバイスは、自機のディスプレイがユーザの視線内にあることと整合性が取れる向きで静止すると想定されてもよい。このため、ブロック410には、例えば、時間幅の終了に対応し得る、バッファから読み出された最も新しいサンプルに基づいて、デバイスの終了姿勢を推測することを含むことができる。この終了姿勢を、ディスプレイがユーザの視線内にあることと整合性が取れる一定範囲の姿勢(例えば、水平に対してy及び/又はx方向に一定の傾斜角の範囲)と比較することができ、終了姿勢がこの範囲内にある場合に、可能性のあるレイズジェスチャが検出される。「フォーカス姿勢」という用語は、本明細書では、(例えば、傾斜角に基づいて)デバイスがユーザの視線内にあることと整合性が取れると考えられる範囲内の姿勢を総称するのに用いられる。
可能性のあるレイズジェスチャが検出されない場合、プロセス400は、ブロック404に戻り、加速度計データを追加で読み出すことができる。上述したように、ブロック404で読み出されたデータは、実時間の固定幅に対応する固定長のウィンドウであってもよい。ブロック404の連続した繰り返しの際に読み出される連続したデータウィンドウは、重なることできる。例えば、ウィンドウが実時間の1秒に対応する場合、連続した繰り返しが0.1秒ごとなどで起こり得る(あるいは、これよりも速い速度でもよく、繰り返されるたびにウィンドウが少なくとも1サンプル分だけシフトする限り、ブロック406及び408の連続した繰り返しでの分析は冗長にはならない)。このようにすることで、ウィンドウの影響で検出漏れが生じる可能性を減らすことができる。
ブロック410で可能性のあるレイズジェスチャが検出されると、ブロック412において、プロセス400は、可能性のあるジェスチャが検出されたことをウェイク制御ロジック230に通知することができる。後述するように、ウェイク制御ロジック230は、この通知に応じて、アプリケーションプロセッサ204及び/又はユーザインタフェース202に通知をするなどの行動をとることができる。ブロック414では、プロセス400は、加速度計の追加のデータサンプル(例えば、元のウィンドウの外で新たに受信したサンプルを含む)を監視して、デバイスがフォーカス姿勢のままである(例えば、ほぼ同じ位置に保たれている)か移動し続けているかを検出することができる。例えば、上述したように、ユーザがデバイスを見ている間に想定される特定範囲の傾斜角に基づいて、フォーカス姿勢を定めることができる。傾斜角は加速度計データから推定でき、傾斜角がこの範囲に達してこの範囲内にとどまるのであれば、その状態がフォーカス姿勢のままであることに対応している可能性がある。
いくつかの実施形態では、フォーカス姿勢に対応する加速度計データの値の範囲は、少なくとも部分的に開始姿勢に依存することがある。例えば、開始姿勢からフォーカス姿勢への遷移には、y軸に沿った一定量の傾斜(本明細書では「y傾斜」ともいう)の蓄積を伴うことがある。例えば、蓄積したy傾斜は、(ユーザの手首が逸らされている間の)0以上である最初のa成分から(ディスプレイをユーザの目の方に向けるよう手首が回転したときの)0未満である最後のa成分までの正味の変化として測定することができる。ブロック414には、y傾斜が一定のままであるか、蓄積し続けているか、方向が逆になるかを監視することを含むことができ、y傾斜の蓄積がなくなると、動いてフォーカス姿勢から外れた可能性がある。
プロセス400は、持続時間が閾値(例えば、0.1秒、0.5秒など)に達する又はこれを超えるまで、あるいは、フォーカス姿勢ではなくなったことが加速度計データによって示されるまで、ブロック414で持続時間を監視することができる。ブロック416では、持続時間が閾値に達する前にフォーカス姿勢ではなくなった場合、プロセス400はブロック404に戻り、新たな開始姿勢を決定して可能性のある別のレイズジェスチャの検出を試みることができる。
ブロック416でフォーカス姿勢での持続時間が閾値を超えた場合は、以前に検出された可能性のあるレイズジェスチャを、検出済レイズジェスチャとして再分類することができる。ブロック418では、プロセス400は、検出済レイズジェスチャが生じていることを、ウェイク制御ロジック230に通知することができる。後述するように、ウェイク制御ロジック230は、この通知に応じて、ユーザインタフェース202をアクティブにする、アプリケーションプロセッサ204に通知をするなどの行動をとることができる。
いくつかの実施形態では、誤検出を減らすためにレイズジェスチャのさらなる確認をすることが望ましい場合がある。このため、ブロック420において、レイズジェスチャを検出した後、プロセス400は、さらなる分析プロセス、例えば、図2Aに示すジェスチャ分類部234を呼び出すことができる。上述したように、ジェスチャ分類部234は、レイズジェスチャを他の類似のジェスチャと区別するように事前に訓練された機械学習アルゴリズムであってもよい。ジェスチャ分類部234は、ブロック420でプロセス400によって提供されたデータを分析して、検出済レイズジェスチャを確認又は否認のいずれかをすることができる。ブロック422でレイズジェスチャが確認された場合、プロセス400は、ブロック424でウェイク制御ロジック230にその旨を通知することができ、その後、プロセス400を終えることができる(ブロック426)。ブロック422でレイズジェスチャが確認されない場合、プロセス400は、ブロック428でウェイク制御ロジック230にその旨を通知することができ、その後、プロセス400はブロック404に戻り、可能性のある別のレイズジェスチャの検出を試みることができる。いくつかの実施形態では、ブロック426で終了した後、例えば(後述するように)フォーカスの解消が検出されたとき又はユーザインタフェース202が何らかの理由で非アクティブになったときなど、いつでも(ブロック402で)プロセス400を再開することができる。
図5は、本発明の一実施形態によるジェスチャ分類部を使用してジェスチャを確認するためのプロセス500のフローチャートである。プロセス500は、上述した図4に示すプロセス400との関連で使用することができる。プロセス500は、例えばメインジェスチャ検出モジュール222によって実行可能であり、これによってジェスチャ分類部234を呼び出すことができる。
プロセス500は、メインジェスチャ検出モジュール222が、例えばプロセス400のブロック416でレイズジェスチャを検出したときに、ブロック502で開始することができる。ブロック504において、メインジェスチャ検出モジュール222は、検出済レイズジェスチャに信頼スコアを割り当てることができる。いくつかの実施形態では、信頼スコアを、デバイスの姿勢がフォーカス姿勢の予想される特徴といかに良く一致するか(例えば、デバイスの姿勢が、フォーカス姿勢で予想される加速度計データの値及び/又は傾斜値の範囲の端付近にあるか中央付近にあるか)ということと、フォーカス姿勢の持続時間の長さとの組み合わせに基づくものとすることができる。
ブロック506では、プロセス500は、ジェスチャ分類部にとっての目立った開始点を(時刻で)選択することができる。この目立った開始点は、フォーカス姿勢に至る加速度計データサンプルの傾向に基づいて選択可能である。例えば、プロセス500は、加速度計データサンプルが、レイズジェスチャを示す形で変化し始めた時点を特定することができる。これによって、プロセス500は、ユーザが異なる速度でレイズジェスチャを行うことができるという事実を考慮できるようになる。ユーザが素早く移動すると、目立った開始点は、ユーザがゆっくり移動する場合よりも現在(すなわち最新のサンプル)に近づくことになる。このように、ジェスチャ分類に関連するデータのウィンドウを可変にすることができる。
ブロック508では、プロセス500は、目立った開始点から現在まで延びるデータのウィンドウから、ジェスチャ分類部が対象とする特徴を抽出することができる。レイズジェスチャの対象とする特徴は、ジェスチャ分類部がどのように訓練されたかに依存することがある。ジェスチャ分類部が加速度計データに基づいて動作するいくつかの実施形態では、対象とする特徴として、加速度計の実際のサンプル(a、a、a)、滑らかさのパラメータ(例えば、加速度計の連続するサンプル間の変化の標準偏差に基づく)、時間の関数としての蓄積した傾斜(例えば、y傾斜)、開始時及び終了時のデバイスの向き又は姿勢(例えば、開始時と終了時の傾斜値)が挙げられる。ジェスチャ分類部がジャイロスコープデータに基づいて動作するいくつかの実施形態では、対象とする特徴として、ジャイロスコープの実際のサンプル(r、r、r)、水平面(すなわち、重力方向に垂直な面)を横切る円弧の長さ、滑らかさのパラメータ(例えば、ジャイロスコープの連続するサンプル間の変化の標準偏差に基づく)が挙げられる。
ブロック510では、プロセス500は、ジェスチャ分類部234を呼び出して、抽出された特徴を処理することができる。いくつかの実施形態では、ジェスチャ分類部234を、線形判別分析を実行するベイジアン分類部とすることができる。上述したように、配備に先立って線形判別分析アルゴリズムを訓練することができ、これによって、特徴がレイズジェスチャに対応する確率をジェスチャ分類部234で迅速に計算できるようにしている。ブロック512では、プロセス500は、ジェスチャ分類部234からの出力を受信することができる。この出力は、例えば、レイズジェスチャがなされた(0と1との間の)確率を含んでもよい。
ブロック514では、プロセス500は、レイズジェスチャが確認されたか否かを決定することができる。いくつかの実施形態では、この決定は、ジェスチャ分類部234の確率出力についての閾値に基づくことができ、閾値については、例えば0.5、0.75、0.85又は必要に応じて他の何らかの閾値に設定できる。通常、閾値が大きいほど誤検出が少なくなるが、検出漏れが多くなり、所与の実装で許容される誤検出及び/又は検出漏れのレベルに基づいて、最適な閾値を選択することができる。いくつかの実施形態では、閾値を、ブロック504で割り当てられる信頼スコアの関数として選択することができる。例えば、ブロック514での信頼スコアが大きいと、ジェスチャ分類部によって割り当てられる確率に対する閾値が小さくなることがあり、信頼スコアが小さいと、ジェスチャ分類部によって割り当てられる確率に対する閾値が大きくなることがある。
ブロック516では、プロセス500は、判定を下すか、より多くのデータを待つかを決定することができる。例えば、ジェスチャが確認されないが、ジェスチャ分類部からの確率出力が閾値に近い場合、追加のデータを待つことが好ましい場合がある。この場合、プロセス500は、レイズジェスチャの確認、否認のいずれもせずにブロック518で終了することができ、上述したプロセス400のブロック414に制御を戻すことができる。あるいは、プロセス500は、確認又は否認のいずれかをしてブロック520で終了することができ、上述したプロセス400のブロック422に制御を戻すことができる。
プロセス500は例示的であり、変形及び修正が可能であることが理解されるであろう。逐次として説明されたステップを同時並行で行ってもよく、ステップの順序を変更しても、ステップの修正、組み合わせ、追加又は省略をしても構わない。例えば、他の確認アルゴリズムを使用することができる。いくつかの実施形態では、プロセス500は、待機する選択肢なしで、常に確認又は否認の判定をすることができる。
いくつかの実施形態では、ジェスチャ分類部234による確認又は否認によって、デバイスの挙動が変わることがある。例えば、検出済レイズジェスチャが確認されるまで、いくつか又は全てのユーザインタフェースコンポーネントをアクティブにするのを延期することができる。別の例として、検出済レイズジェスチャに応じてユーザインタフェースコンポーネントがアクティブにされた場合、ジェスチャ分類部234によるその後の否認によって、そのユーザインタフェースコンポーネントを非アクティブにすることができる。
図6は、本発明の一実施形態によるプロセス400)を実行するレイズジェスチャ検出モジュール222のジェスチャ状態を示す状態図である。これらの状態間の遷移を、ウェイク制御ロジック230に報告することが可能であり、又は他の方法で、ユーザインタフェース202及び/又はデバイス200の他のコンポーネントの状態に影響を及ぼすのに使用することができる。
状態602は、ジェスチャ検出モジュール222がまだ可能性のあるレイズジェスチャを検出していない「ヌル」状態とすることができる。これは、例えば図4のプロセス400の初期状態であってもよく、可能性のあるレイズジェスチャが(例えば、図4のブロック410で)検出されるまで、モジュール222は、この状態にとどまることができる。状態604は、モジュール222が(例えば、図4のブロック410で)可能性のあるレイズジェスチャを検出した「可能性のあるジェスチャ」状態とすることができる。その後に可能性のあるレイズジェスチャが却下された場合は、モジュール222は、ヌル状態602に戻ることができる。可能性のあるレイズジェスチャが(例えば図4のブロック416で)検出済レイズジェスチャになると、モジュール222は、「検出済ジェスチャ」状態606に遷移することができる。これは、レイズジェスチャが生じている確信度の高まりを反映している。状態606にある間に、(例えば、プロセス400のブロック420及び422で)さらなる分析を行い、検出済レイズジェスチャを確認することができる。検出済レイズジェスチャが確認されない場合、モジュール222は、ヌル状態602に戻ることができる。検出済レイズジェスチャが確認されると、モジュール222は、確認済ジェスチャ状態608に遷移することができる。この時点で、レイズジェスチャの検出が終了し、モジュール222のそれ以上の実行を止めることができる。上述したように、レイズジェスチャの検出が再び有用になる(例えば、フォーカス解消が検出されるか、そうでなければ、ユーザインタフェース202が非アクティブになる)と、モジュール222を再起動することができる。さらに、後述するように、確認済ジェスチャ状態608に達すると、フォーカス解消検出モジュール228などの他のアルゴリズムを使用して、ジェスチャ状態の監視を続けて、確認済ジェスチャ状態608からヌル状態602への遷移を検出することができる。プロセス400は、図6の状態及び遷移を提供するモジュール222の例を提供するものであるが、他のアルゴリズムに置き換えてもよいことは、理解できよう。
図7は、本発明の一実施形態による自然なレイズジェスチャ検出モジュール700の機能ブロック図である。図に示すように、自然なレイズジェスチャ検出モジュール700を、図2Bの動き処理ユニット258内で、例えば自然なレイズジェスチャ検出モジュール272として実装することができる。また、自然なレイズジェスチャ検出モジュール700を、図2Aのメイン(ローダイナミック)検出モジュール222として実装することもできる。自然なレイズジェスチャ検出モジュール700は、開始姿勢推測ユニット702と、基準決定ユニット704と、可能性のあるレイズジェスチャ決定ユニット706と、検出済レイズジェスチャ決定ユニット708と、確認ユニット710と、を含むことができる。それぞれのユニットを、例えば、プロセッサ及び/又は専用の論理回路上で実行可能なプログラムコードを使用して実装することができる。
開始姿勢推測ユニット702は、モーションセンサデータを受信し、モーションセンサデータに基づいて開始姿勢を推測することができる。例えば、開始姿勢推測ユニット702には、上述したプロセス400のブロック406を実装することができる。開始姿勢推測ユニット702は、推定開始姿勢を、基準決定ユニット704に提供することができる。
基準決定ユニット704は、開始姿勢推測ユニット702によって推測された開始姿勢に少なくとも部分的に基づいて、可能性のあるレイズジェスチャを検出するための基準を決定することができる。例えば、基準決定ユニット704には、上述したプロセス400のブロック408を実装することができる。基準決定ユニット704は、可能性のあるレイズジェスチャを検出するための基準を、可能性のあるレイズジェスチャ決定ユニット706に提供することができる。
可能性のあるレイズジェスチャ決定ユニット706は、モーションセンサを受信し、受信データが基準決定ユニット704によって決定された基準を満たすか否かを決定することができる。例えば、可能性のあるレイズジェスチャ決定ユニット706には、上述したプロセス400のブロック410を実装することができる。基準が満たされた場合、可能性のあるレイズジェスチャ決定ユニット706は、他のシステムコンポーネント(例えば、図2Aのウェイク制御ロジック230又は図2Bのウェイク制御ロジックモジュール280)に通知することができる。例えば、可能性のあるレイズジェスチャ決定ユニット706には、上述したプロセス400のブロック412を実装することができる。また、可能性のあるレイズジェスチャ決定ユニット706は、基準が満たされた場合、検出済レイズジェスチャ決定ユニット708にも通知をすることができる。
検出済レイズジェスチャ決定ユニット708は、可能性のあるレイズジェスチャ決定ユニット706から、可能性のあるレイズジェスチャの通知を受信することができ、加速度計データを追加で監視して、最小限の持続時間が生じる及び/又は検出済レイズジェスチャのための他の条件が満たされるか否かを決定することができる。例えば、検出済レイズジェスチャ決定ユニット708には、上述したプロセス400のブロック414及び416を実装することができる。検出済レイズジェスチャのための条件が満たされる場合、検出済レイズジェスチャ決定ユニット708は、他のシステムコンポーネント(例えば、図2Aのウェイク制御ロジック230又は図2Bのウェイク制御ロジックモジュール280)に通知することができる。例えば、検出済レイズジェスチャ決定ユニット708には、プロセス400のブロック418を実装することができる。また、検出済レイズジェスチャ決定ユニット708は、検出済レイズジェスチャのための条件が満たされるか否かを確認ユニット710に通知することもできる。
確認ユニット710は、検出済レイズジェスチャに関連付けられたモーションセンサデータに基づいて、ジェスチャの確認を行うことができる。例えば、確認ユニット710には、上述したプロセス400のブロック420及び422及び/又はプロセス500のブロック504~520を実装することができる。いくつかの実施形態では、確認ユニット710は、図2Aのジェスチャ分類部234又は図2Bのジェスチャ分類部モジュール284を呼び出すことができる。確認ユニット710は、検出済レイズジェスチャが確認されたか否認されたかを、他のシステムコンポーネント(例えば、図2Aのウェイク制御ロジック230又は図2Bのウェイク制御ロジックモジュール280)に通知することができる。
自然なレイズジェスチャ検出モジュール700は例示的なものであり、変形及び変更が可能であることが理解されるであろう。例えば、自然なレイズジェスチャ検出モジュール700は、特定のブロック又はユニットを参照して説明されているが、これらのブロックは説明の都合上定義されたものであって、構成部品の特定の物理的構成を意味することを意図したものではないことは、理解できよう。さらに、これらのブロックは、物理的に別個のコンポーネントに相当する必要はなく、物理的に同じコンポーネントを使用して、複数のブロックの態様を実装してもよい。ブロックは、例えば、プロセッサをプログラムすることによって、あるいは適切な制御回路を設けることによって様々な動作を行うように構成することができ、最初の構成がどのように得られるかによって、様々なブロックを再構成できることもあれば、できないこともある。本発明の実施形態は、回路とソフトウェアとの任意の組み合わせを使って実装される電子機器を含む様々な装置において実現することができる。
自然なレイズジェスチャを検出するためのアルゴリズムの別の例が、図2Aのハイダイナミックメイン検出モジュール224であり、これを、ユーザが走るなどの動作の多い活動をしているときの自然なレイズジェスチャの検出に、適合させることができる。本明細書で使用する場合、「動作の多い活動」とは、加速度計データがレイズジェスチャを検出するには信頼できないものとなり得るような腕又は手首の大きな動きを本来的に伴う活動をいうことができる。ユーザが動作の多い活動をしているとき、ハイダイナミック検出モジュール224は、加速度計データを、ジャイロセンサ212などの他のセンサからのデータで補うか、又はこれで置き換えることができる。
ローダイナミック検出モジュール222を使用するかハイダイナミック検出モジュール224を使用するかを、例えばウェイク制御ロジック230によって決定することができる。例えば、ウェイク制御ロジック230は、ユーザが現在動作の多い活動をしている(例えば、走っている)か、他の活動をしている(例えば、歩いている)か、何も活動していないかを示す情報を、活動分類部232から受信することができる。別の例として、いくつかの実施形態では、ユーザが、動作の多い活動を開始しようとしているという直接的な指示を提供してもよい。例えば、ユーザは、(例えば、デバイス上のトレーニング追跡アプリケーションプログラムと対話することによって)自分が走り始めようとしていることを示すことができ、このことから、トレーニングが終わるまで、ハイダイナミック検出モジュール222を使用すべきであると推定することができる。活動分類部232からの入力及び/又は直接的なユーザ入力を含む利用可能な入力のどのような組み合わせでも、ユーザが動作の多い活動をしているか否かをウェイク制御ロジック230で推定するのに使用することができる。この推測に応じて、ウェイク制御ロジック230は、ローダイナミック検出モジュール222(ユーザが動作の多い活動を行っていない場合)又はハイダイナミック検出モジュール224のいずれかを選択することができる。いくつかの実施形態では、異なるタイプの活動で使用する異なるアルゴリズムを提供することができる。例えば、複数のハイダイナミック検出アルゴリズム(例えば、走ること対ボートを漕ぐことなど)があり得る。
図8は、本発明の一実施形態による動作の多い活動(例えば、走ること)の間に自然なレイズジェスチャを検出するためのプロセス800のフローチャートである。プロセス800は、例えば、図2Aのデバイス200のハイダイナミック検出モジュール224で実装することができる。この例では、ハイダイナミック検出プロセス800は、一連のジェスチャ状態(図6に示す状態と類似又は同一であり得る)を経て進むことができ、各々の状態遷移を、例えば図2Aに示すウェイク制御ロジック230に報告することができる。後述するように、ウェイク制御ロジック230は、ジェスチャ状態遷移を使用して、アプリケーションプロセッサ204をウェイクさせるか否か、及びそれをいつするか、並びに/又はユーザインタフェース202をアクティブにするようアプリケーションプロセッサ204に命じるか否か、及びそれをいつするかを決定することができる。この例では、プロセス800は、(例えば、図2Aの加速度計210からの)加速度計のフィルタリングしたデータで補った状態で、主に(例えば、図2Aのジャイロセンサ212からの)ジャイロスコープデータに頼ることができる。
プロセス400と同様に、プロセス800は、ユーザインタフェース202が非アクティブな状態にあるときに、開始することができる(ブロック802)。このとき、アプリケーションプロセッサ204は、必要に応じて、スリープ状態にあってもよいしウェイク状態にあってもよい。ジャイロセンサ212をアクティブにして、一定のサンプリングレート(例えば、100ヘルツ)で、更新されたデータサンプル(「ジャイロスコープデータ」という)を提供することが可能であり、図3に示すようなデバイス相対座標を使用して、ジャイロスコープの各々のデータサンプルで回転の成分(r、r、r)を示すことができる。ここで、rは、図3のx軸を中心とした回転を示すといった具合である。受信したジャイロスコープデータについては、例えば、循環バッファ又はFIFOなどを用いてバッファすることができる。
ブロック804において、プロセス800は、ジャイロスコープデータバッファから、データサンプルを読み出すことができる。データ量は、サンプリングレート、バッファサイズ及び動きを分析するための所望の時間幅に依存する場合がある。例えば、プロセス800は、実時間の固定の幅、例えば、0.3秒、0.5秒、1秒などに対応する固定長のデータウィンドウを読み出すことができる。
ブロック806では、プロセス800は、デバイスの開始姿勢を推測することができる。走っている状況では、例えば、ユーザの腕は、手のひらが(ユーザの身体に向かって)内側に向けられて自然な曲げ位置に保たれていると仮定することができる。図10A及び図10Bは、手首に着用可能なデバイス102を装着している、走っているユーザの一例を示している。図10Aに示すように、通常の自然な走る位置において、ディスプレイ104は(ユーザの身体から離れる方向に)外側に向いている。厳密な角度はユーザに応じて変化し、ユーザの腕の自然な振れがゆえに、(図3に定義したような)x軸を中心として小さな揺動回転が存在することがある。走りながらデバイスを見るために、ユーザは、図10Bに示すように、(手のひらを下方に回転させて)手首を回内させて、おそらくは腕を上げることで、ディスプレイ104を視線内に入れることができる。このような動作は、走者の典型的な腕の振りよりも、x軸を中心とした大きな回転を伴う。このため、x軸を中心とした蓄積した(accrued)回転を、可能性のあるレイズジェスチャの良好な第1の指標とすることができ、ブロック808で、プロセス800は、バッファされたジャイロスコープデータを分析して、x軸を中心とした蓄積した回転を決定することができる。
ブロック810では、蓄積した回転に基づいて、プロセス800は、可能性のあるレイズジェスチャが検出されているか否かを決定することができる。いくつかの実施形態では、この決定には、時間幅の終了時に回転運動が大幅に遅くなった又は停止したか否かを決定することを含んでもよく、これは、ユーザが、デバイスを見ることができるほど十分に安定してと腕を保っていることを示唆している。可能性のあるレイズジェスチャが検出されない場合、プロセス800は、ブロック804に戻って、データを追加で読み出すことができる。上述したように、ブロック804で読み出されるデータは、固定長のウィンドウであってもよい。ブロック804の連続した繰り返しの際に読み出される連続したデータウィンドウは、重なることができる。例えば、ウィンドウが実時間の0.5秒に対応する場合、連続した繰り返しが0.1秒ごとなどに起こり得る(あるいは、これよりも速い速度で、繰り返されるたびにウィンドウが少なくとも1サンプル分だけシフトする限り、ブロック806及び808の連続した繰り返しでの分析は冗長にはならない)。ウィンドウを重ねることで、ウィンドウの影響で検出漏れが生じる可能性を減らすことができる。
ブロック810で可能性のあるレイズジェスチャが検出されると、ブロック812で、プロセス800は、可能性のあるレイズジェスチャが検出されたことをウェイク制御ロジック230に通知することができる。図6の状態図では、これは、ヌル状態602から可能性のあるジェスチャ状態604への遷移に対応することがある。後述するように、ウェイク制御ロジック230は、この通知に応じて、アプリケーションプロセッサ204に通知をするなどの行動をとることができる。ブロック814では、プロセス800は、加速度計のフィルタリングしたデータを使用して、終了姿勢の推測を確認することができる。加速度計データを大幅にフィルタリングして、走ることに付随する腕の動きのアーチファクトを除去することができ、デバイスのディスプレイがユーザに見えるであろう姿勢に対応する姿勢を確認するのに使用することができる。終了姿勢の推測に基づいて、ブロック816において、プロセス800は、可能性のあるレイズジェスチャを検出済レイズジェスチャとして再分類するか否かを決定することができる。しない場合、プロセス800は、ブロック804に戻って別の可能性のあるレイズジェスチャの検出を試みることができる。
ブロック816でレイズジェスチャが検出された場合、ブロック818で、プロセス800は、検出済レイズジェスチャが生じていることを、ウェイク制御ロジック230に通知することができる。後述するように、ウェイク制御ロジック230は、この通知に応じて、アプリケーションプロセッサ204に通知をする及び/又はユーザインタフェース202をアクティブにするなどの行動をとることができる。この状態で、プロセス800を終えることができる(ブロック820)。あるいは(図8には図示せず)、ジェスチャ分類部234を使用して、検出済レイズジェスチャを確認することができる。上述したように、ジェスチャ分類部234を訓練して、自然なレイズジェスチャを、走っている間にユーザが行うことがある他の類似の行動(例えば、水筒から水を飲む、額の汗を拭うなど)と区別することができ、結果は上述のプロセス400の確認部分と類似のものとなり得る。
レイズジェスチャ検出プロセス400及び800は例示的なものであり、変形及び変更が可能であることが理解されるであろう。逐次として説明されたステップを同時並行で行ってもよく、ステップの順序を変更しても、ステップの修正、組み合わせ、追加又は省略をしても構わない。異なる閾値、基準、及びセンサ入力を使用することができ、必要に応じて、異なる状態の組を定義することができる。いくつかの実施形態では、ユーザが何をしているかに応じて、プロセス400及び800を別の方法で呼び出すことができる。例えば、ジャイロセンサは、加速度計よりも多くの電力を消費する場合がある。このため、ユーザが座っている、立っている又は歩いているなど、加速度計データを十分に信頼できてプロセス400を使用できる状況では、ジャイロセンサの電源を切り、(ジャイロセンサのデータを入力として使用する)プロセス800を非アクティブにすることが望ましいことがある。上述したように、ウェイク制御ロジック230は、活動分類部232からの情報に基づいて、所与の時に1つ以上のジェスチャ検出アルゴリズムのどれをアクティブにすべきか決定することができ、所望の1つ以上のアルゴリズムをアクティブにする(又はイネーブルにする)ことができる。活動情報についての他のソースを利用することもできる。例えば、いくつかの実施形態では、ウェイク制御ロジック230は、受信した加速度計データのデータ品質分析を行い、プロセス400が信頼できそうか否かを決定することができる。信頼できそうな場合、プロセス400を行うことができ、プロセス400が信頼できそうにない場合、プロセス800を使用することができる。
図9は、本発明の一実施形態による自然なレイズジェスチャ検出モジュール900の機能ブロック図である。図に示すように、自然なレイズジェスチャ検出モジュール900は、例えば、自然なレイズジェスチャ検出モジュール274のように、図2Bの動き処理ユニット258で実装することができる。また、自然なレイズジェスチャ検出モジュール900は、図2Aのメイン(ハイダイナミック)検出モジュール224として実装することもできる。自然なレイズジェスチャ検出モジュール900は、開始姿勢推測ユニット902と、可能性のあるレイズジェスチャ決定ユニット906と、検出済レイズジェスチャ決定ユニット908と、を含むことができる。それぞれのユニットを、例えば、プロセッサ及び/又は専用の論理回路上で実行可能なプログラムコードを使用して実装することができる。
開始姿勢推測ユニット902は、モーションセンサデータを受信して、モーションセンサデータに基づいて開始姿勢を推測することができる。例えば、開始姿勢推測ユニット902には、上述したプロセス800のブロック806を実装することができる。開始姿勢推測ユニット902は、推測された開始姿勢を、可能性のあるレイズジェスチャ決定ユニット906に提供することができる。
可能性のあるレイズジェスチャ決定ユニット906は、推測された開始姿勢及びモーションセンサデータを受信して、受信したデータが、可能性のあるレイズジェスチャの基準を満たすか否かを決定することができる。例えば、可能性のあるレイズジェスチャ決定ユニット906には、上述したプロセス800のブロック808及び810を実装することができる。基準が満たされている場合、可能性のあるレイズジェスチャ決定ユニット906は、他のシステムコンポーネント(例えば、図2Aのウェイク制御ロジック230又は図2Bのウェイク制御ロジックモジュール280)に通知することができる。例えば、可能性のあるレイズジェスチャ決定ユニット906には、上述したプロセス800のブロック812を実装することができる。また、可能性のあるレイズジェスチャ決定ユニット906は、基準が満たされた場合に、検出済レイズジェスチャ決定ユニット908に通知することができる。
検出済レイズジェスチャ決定ユニット908は、可能性のあるレイズジェスチャの通知を、可能性のあるレイズジェスチャ決定ユニット906から受信することができ、モーションセンサデータを追加で監視して、検出済レイズジェスチャのための条件が満たされているか否かを決定することができる。例えば、検出済レイズジェスチャ決定ユニット908には、上述したプロセス800のブロック814及び816を実装することができる。検出済レイズジェスチャのため条件が満たされたら、検出済レイズジェスチャ決定ユニット908は、他のシステムコンポーネント(例えば、図2Aのウェイク制御ロジック230又は図2Bのウェイク制御ロジックモジュール280)に通知することができる。例えば、検出済レイズジェスチャ決定ユニット908には、プロセス800のブロック818を実装することができる。
自然なレイズジェスチャ検出モジュール900は例示的なものであり、変形及び修正が可能であることが理解されるであろう。例えば、自然なレイズジェスチャ検出モジュール900は、特定のブロック又はユニットを参照して説明されているが、これらのブロックは説明の都合上定義されたものであって、構成部品の特定の物理的構成を意味することを意図したものではないことは、理解できよう。さらに、これらのブロックは、物理的に別個のコンポーネントに相当する必要はなく、物理的に同じコンポーネントを使用して、複数のブロックの態様を実装してもよい。ブロックは、例えば、プロセッサをプログラムすることによって、あるいは適切な制御回路を設けることによって様々な動作を行うように構成することができ、最初の構成がどのように得られるかによって、様々なブロックを再構成できることもあれば、できないこともある。本発明の実施形態は、回路とソフトウェアとの任意の組み合わせを使って実装される電子機器を含む様々な装置において実現することができる。追加のブロック(例えば、確認が望まれる場合、確認ユニット710と同様のブロック)を加えてもよい。
個別に又は組み合わせて使用することで、プロセス400及び800によって、多岐にわたる条件下で自然なレイズジェスチャを検出することができる。しかしながら、ユーザが、検出されないレイズジェスチャをする可能性が残っている場合もある。例えば、アルゴリズムの詳細によっては、自然なレイズジェスチャは、ユーザが横になっている場合(これは、ユーザの視線内にデバイスを配置する重力に対する向きについての仮定に反する可能性がある)、ディスプレイが手首の内側に来るようにユーザがデバイスを着用している場合(これは、デバイスをユーザの視線内に入れるのに必要な回転の量及び/又は方向についての仮定に反する可能性がある)、ユーザが加速された環境にいる場合(ジェットコースターなど)などに、信頼性が低いことがある。
このため、いくつかの実施形態では、意図的なレイズジェスチャを検出するためのアルゴリズムを追加で提供することができる。これによって、ユーザは、自分がディスプレイをアクティブにすることを望むとき以外は行わないであろう既定のジェスチャを行うことによって、ディスプレイをアクティブにすることができるようになる。例えば、意図的なレイズジェスチャは、(図3に定められているように)x軸を中心としてデバイスを前後に「ねじる」手首の2回の振動として定義することができる。ユーザは、例えば、元の位置から離れる方向に素早く手首を回転させた後、手首が元の位置に戻るように回転を解除することによって、振動させることができる。2回の振動は、回転、解除、回転、解除という順に従えばよい。振動は、モーションセンサデータ(例えば、加速度計又はジャイロスコープデータ)のインパルスピークとして検出可能である。各振動の間に蓄積して喪失される回転の最小限の量と、振動と振動との間の最大時間とを要求することで、ユーザが日常的に行う可能性がある他のほとんどの動き(例えば、ドアを開いたり、ドライバーを操作したりすること)と意図的なレイズジェスチャとを区別することができ、ユーザがディスプレイをアクティブにすることを意図していない場合に意図的なレイズジェスチャが検出されることを起きにくくすることができる。他のジェスチャに置き換えることも可能である。
図11は、本発明の一実施形態による意図的なレイズジェスチャを検出するためのプロセス1100のフローチャートである。この例では、意図的なレイズジェスチャは、ユーザが短時間の間に(視線から離れる方向に続いて、視線に向かう方向に、デバイスを2回回転させる)手首の2回の振動を行う「軽い揺らしの」ジェスチャとして定義されている。プロセス1100は、例えば、図2Aに示す軽い揺らし検出モジュール226で実行することができる。この例では、軽い揺らし検出プロセス1100は、可能性のあるジェスチャの状態を経ることなく、ヌル状態(ジェスチャ検出なし)から直接、検出状態に進むことができる。必要であれば、他の状態を定義することもできる。プロセス1100は、例えば、図2Aのウェイク制御ロジック230に、状態遷移を報告することができる。後述するように、ウェイク制御ロジック230は、ジェスチャ状態遷移を使用して、アプリケーションプロセッサ204をアクティブにするか否か及びいつアクティブにするか並びに/又はアプリケーションプロセッサ204にユーザインタフェース202をアクティブにするよう命令するか否か及びいつ命令するかを決定することができる。
プロセス1100は、ユーザインタフェース202が非アクティブな状態にあるときに開始することができる(ブロック1102)。このとき、アプリケーションプロセッサ204は、必要に応じて、スリープ状態にあってもウェイク状態にあってもよい。加速度計210は、一定のサンプリングレート(例えば、100Hz)で、更新されたデータを提供していることができ、このデータは、図3に示すようなデバイス相対座標を使用して、加速度のベクトル成分(a、a、a)を示すことができる。受信したデータについては、例えば、循環バッファ又はFIFOなどを用いてバッファすることができる。
ブロック1104において、プロセス1100は、加速度計データバッファから、データサンプルを読み出すことができる。データ量は、サンプリングレート、バッファサイズ及び動きを分析するための所望の時間に依存する場合がある。例えば、プロセス1100は、実時間の固定の幅、例えば、0.1秒、0.5秒、1秒などに対応する固定長のデータウィンドウを読み出すことができる。
ブロック1106では、プロセス1100は、加速度計データから腕の位置を決定することができる。このため、ブロック1106には、腕の位置を推定することが可能な加速度計データに基づいて、(重力に対する)デバイスの向きを決定することを含んでもよい。
ブロック1108では、プロセス1100は、ユーザの腕が軽い揺らしジェスチャを行うために「準備されている」か否かを決定することができる。例えば、デバイスが視線内に既にあるときにだけ、ユーザが意図的なレイズジェスチャを実行するであろうと仮定できる場合がある。本明細書中で使用する場合、デバイスが短い時間(例えば、0.2秒、0.5秒、1.0秒)比較的静止して保たれ、ユーザがデバイスを見ようとしていることが示唆されている場合に、ユーザの腕が準備されていると考えることができる。ユーザの腕が準備されているか否かを決定することは、バッファ内のいくつか又は全てのデータサンプルを分析することを含んでもよい。例えば、最も古いサンプルを分析することができる。また、デバイスの空間的な向きに基づく基準など、追加の基準を適用してもよい。例えば、重力加速度が主に(図3に定義されるような)z軸に沿っており、x軸に沿った加速はほとんどないか全くない場合、これは、デバイスのディスプレイが地面にほぼ平行であることすなわち、手首に着用可能なデバイス(又は多くの他のデバイス)をチェックしているユーザに共通の位置を示唆できる。このため、追加の基準は、重力の方向に基づいて定義することができる。準備の基準を満たす必要があることで、手首の偶発的な動きから生じる可能性がある誤検出を減らすことができ、これによって電力が節約される。いくつかの実施形態では、ユーザの頭部が通常の垂直の向きでないかもしれない状況(例えば、ユーザが横たわっている場合)を考慮して、準備の基準を緩和することができるが、この基準を緩和すると、誤検出の割合が増す可能性がある。いくつかの実施形態では、ユーザの頭部が垂直であるか否かを示唆するのに、他の情報を利用できることもある(例えば、心拍モニタなどの生理センサによって、ユーザが横たわっていることを決定できることがある)。このような情報も、準備の基準に取り入れることができる。
ブロック1108で腕が準備されていない場合、プロセス1100は、ブロック1104に戻って加速度計データを追加で読み出すことができる。上述したように、ブロック1104で読み出されるデータは、固定長のウィンドウであってもよい。ブロック1104の連続した繰り返しの際に読み出される連続したデータウィンドウは、重なることができる。例えば、ウィンドウが実時間の1秒に対応する場合、連続した繰り返しが0.1秒ごとなどで起こり得る(あるいは、これよりも速い速度でもよく、繰り返されるたびにウィンドウが少なくとも1サンプル分だけシフトする限り、ブロック1106及び1108の連続した繰り返しでの分析は冗長にはならない)。このようにすることで、ウィンドウの影響で検出漏れが生じる可能性を減らすことができる。
ブロック1108でユーザの腕が準備されていたら、プロセス1100は、軽い揺らしジェスチャの検出を試みることができる。この例における軽い揺らしジェスチャには、x軸を中心とした2回の振動を必要とする。x軸を中心とした回転運動を開始又は停止することには、y軸に沿った加速を伴うため(図3参照)、この例で対象とする振動運動を、加速度のy成分におけるインパルスピークに基づいて検出することができる。したがって、ブロック1110において、プロセス1100は、加速度計データを分析して、そのようなピークを検出することができる。いくつかの実施形態では、躍度(jerk)のy成分(加速度の時間微分)のピーク又はスパイクを使用して、振動を検出することができる。検出対象となるジェスチャが意図的であることを考えると、ピークは、発生し得るランダムな動きによる(例えば、ユーザが歩いている、乗り物に乗っている、ジョギングしているなどによる)サンプルごとの変動のどのような背景に対しても目立つと思われる。このため、ほぼ同時に測定されたサンプルごとの変動の背景に対して、ねじれ又は振動を検出するための基準を定義することができる。ピーク検出のための特定の基準については、例えば、複数のユーザに軽い揺らしジェスチャを行わせ、加速度計データを分析して加速度及び/又は躍度の具体的な閾値を特定することによって、ヒューリスティックに定義することができる。この閾値は、背景変動の現在のレベルに対する1つ以上の絶対値に基づいて定義することができる。
ブロック1112で第1のピークが検出されない場合、プロセス1100は、ブロック1104に戻って加速度計データの監視を継続することができる。第1のピークが検出されると、ブロック1114において、プロセス1100は、第2のピークの検出を試みることができる。この例では、第2のピークは第1のピークと同じ方向にあるはずで、ユーザが振動の動きを繰り返したことを示しており、この基準は、ブロック1112で使用した基準と同一又は類似していてもよい。
ブロック1116で第2のピークが検出されない場合、ブロック1118において、プロセス1100は、ブロック1112で第1のピークを検出して以来、タイムアウト時間が経過しているか否かを判定できる。タイムアウト時間は、意図的な軽い揺らしジェスチャを、手首を回転させる他の動きと区別するのに使用することができ、2回の振動を意図的に行うために様々な個人に必要な時間の測定に基づいて選択することができる。例えば、タイムアウト時間は、0.2秒、0.5秒などであってよい。
第2のピークが検出されるか、タイムアウト時間が経過するまで、プロセス1100は、第2のピークを探し続けることができる。ブロック1118でタイムアウト時間が経過した場合、プロセス1100は、ブロック1104に戻り、加速度計データを追加で収集して2つのピークを再び探すことができる。
ブロック1116で第2のピークが検出されると、ブロック1120において、プロセス1100は、加速度計の追加のデータを分析して、デバイスの位置が安定しているか否かを決定することができる。ブロック1122で位置が安定していない場合、これは振動がデバイスを見ることとは関係ない他の何らかの理由で生じたことを示す可能性があり、プロセス1100は、ブロック1104に戻って加速度計データを追加で収集し、2つのピークを再び探すことができる。
ブロック1122で位置が安定している場合、これは軽い揺らしジェスチャの検出に対応する可能性があり、ブロック1124において、プロセス1100は、軽い揺らしジェスチャが検出されていることを、ウェイク制御ロジック230に通知することができる。後述するように、ウェイク制御ロジック230は、この通知に応じて、ユーザインタフェース202をアクティブにする及び/又はアプリケーションプロセッサ204をウェイクさせるなどの行動をとることができる。
プロセス1100は例示的であり、変形及び修正が可能であることが理解されるであろう。逐次として説明されるステップは並行して行うことができ、ステップの順序を変更することができ、ステップの修正、組み合わせ、追加、又は省略も可能である。異なる閾値、基準、及びセンサ入力を使用することができ、必要に応じて、異なる状態の組を定義することができる。いくつかの実施形態では、デバイスの位置が安定したか否かを決定する前に、第1のピークの検出を可能性のあるレイズジェスチャとして報告してもよいし、2つのピークの検出を可能性のあるレイズジェスチャとして報告してもよい。異なる基準(例えば、より多くの又はより少ないインパルスピーク、異なる方向の加速度など)を定義することによって、他の意図的なレイズジェスチャを検出することもできる。いくつかの実施形態では、プロセス1100は、プロセス400又はプロセス800と同時に実行することが可能である。これにより、ディスプレイが非アクティブなときに、ユーザが自然なレイズジェスチャ又は意図的なレイズジェスチャのいずれかを行っていつでもディスプレイをアクティブにすることができる。
図12は、本発明の実施形態による意図的なレイズジェスチャ検出モジュール1200の機能ブロック図である。図に示すように、意図的なレイズジェスチャ検出モジュール1200は、例えば意図的なレイズジェスチャ検出モジュール276として、図2Bの動き処理ユニット258で実装することができる。また、自然なレイズジェスチャ検出モジュール700が、図2Aの軽い揺らし検出モジュール226として実装されてもよい。意図的なレイズジェスチャ検出モジュール1200は、準備検出ユニット1202と、インパルスピーク検出ユニット1204と、安定性検出ユニット1206と、を含むことができる。それぞれのユニットを、例えば、プロセッサ及び/又は専用の論理回路上で実行可能なプログラムコードを使用して実装することができる。
準備検出ユニット1202は、モーションセンサデータを受信し、このデータから、ユーザの腕が意図的なレイズジェスチャを行うよう準備されているか否かを決定することができる。例えば、準備検出ユニット1202には、上述したプロセス1100のブロック1106及び1108を実装することができる。準備検出ユニット1202が、ユーザの腕が準備されていると決定すると、準備検出ユニット1202は、インパルスピーク検出ユニット1204に通知を送ることができる。
インパルスピーク検出ユニット1204は、モーションセンサデータを追加で受信し、このデータに基づいて、目標数(例えば、1個、2個又は3個)のインパルスピークの存在を検出することができる。例えば、インパルスピーク検出ユニット1204には、上述したプロセス1100のブロック1110から1118を実装することができる。レイズジェスチャを表す数(例えば、上記の例では2個)のインパルスピークが検出されると、インパルスピーク検出ユニット1204は、安定性検出ユニット1206に、通知を送ることができる。
安定性検出ユニット1206は、モーションセンサデータを追加で受信し、そのデータが、1個以上の検出されたインパルスピークの後にデバイスの位置が安定したことを示すか否かを決定することができる。例えば、安定性検出ユニット1206には、上述したプロセス1100のブロック1120及び1122を実装することができる。安定性が検出された場合、安定性検出ユニット1206は、他のシステムコンポーネント(例えば、図2Aのウェイク制御ロジック230又は図2Bのウェイク制御ロジックモジュール280)に通知することができる。例えば、安定性検出ユニット1206には、上述したプロセス1100のブロック1124を実装することができる。
意図的なレイズジェスチャ検出モジュール1200は例示的なものであり、変形及び修正が可能であることが理解されるであろう。例えば、意図的なレイズジェスチャ検出モジュール1200は、特定のブロック又はユニットを参照して説明されているが、これらのブロックは説明の都合上定義されたものであって、構成部品の特定の物理的構成を意味することを意図したものではないことは、理解できよう。さらに、これらのブロックは、物理的に別個のコンポーネントに相当する必要はなく、物理的に同じコンポーネントを使用して、複数のブロックの態様を実装してもよい。ブロックは、例えば、プロセッサをプログラムすることによって、あるいは適切な制御回路を設けることによって様々な動作を行うように構成することができ、最初の構成がどのように得られるかによって、様々なブロックを再構成できることもあれば、できないこともある。本発明の実施形態は、回路とソフトウェアとの任意の組み合わせを使って実装される電子機器を含む様々な装置において実現することができる。
(自然な又は意図的な)レイズジェスチャが検出されると、ユーザが今デバイスにフォーカスしており、デバイスと対話しているかもしれないと仮定することができる。ユーザとのどのようなタイプの対話もサポートすることができ、対話の持続時間は、ユーザが望む間とすることができる。ある時点で、対話が終わるであろうことが想定される。対話が終了すると、節電のために、ディスプレイを非アクティブな状態に戻すことが望ましい場合がある。
いくつかの実施形態では、ユーザは、例えばデバイスのボタンを押してディスプレイを非アクティブにすることによって、対話の終了を明示することができる。これに加えて又はこれに代えて、デバイスは、十分に長い時間にわたってユーザ入力がないことに基づいて、対話が終了していると推定することができる。ただし、ユーザがまだ提示された情報を見ている場合は、そのような推定が正確ではない可能性がある。このため、いくつかの実施形態では、デバイスは、モーションセンサデータに基づいて、ユーザがデバイスに対するフォーカスを外したことを、自動的に検出することができる。例えば、ユーザがデバイスのディスプレイを視線の外に移動した場合、これは、ユーザがフォーカスを外したことを示す可能性がある。このような動きを、本明細書では、「フォーカス解消ジェスチャ」という。
フォーカス解消ジェスチャ(本明細書では、「フォーカス解消イベント」ともいう)の自動検出については、動きベースのアルゴリズムを用いることで、容易にすることができる。図13は、本発明の一実施形態によるフォーカス解消イベントを検出するためのプロセス1300のフローチャートである。プロセス1300は、例えば、図2Aのフォーカス解消検出モジュール228で実行することができる。この例では、デバイスがフォーカス状態にある間に(例えば、上述したプロセス400、800又は1100のいずれかを使用してレイズジェスチャを検出及び/又は確認した後に)プロセス1300を行うことができる。フォーカス解消は、デバイスの傾斜角又は回転の変化、特にy傾斜の変化に基づいて検出することができる。プロセス1300は、例えば、図2Aのウェイク制御ロジック230に、検出されたフォーカス解消イベントを報告することができる。後述するように、ウェイク制御ロジック230は、報告されたイベントを使用して、ユーザインタフェース202を非アクティブにするか否かを決定することができる。
プロセス1300は、ユーザインタフェース202がアクティブな状態にあるときに開始することができる(ブロック1302)。アクティブな状態は、上述したいずれかのジェスチャ検出プロセスの結果として、他のジェスチャ検出プロセスの結果として、あるいは、ユーザからの手動の指示(例えば、デバイス200のボタンに触れるなど)に応じて、達成することができる。このとき、アプリケーションプロセッサ200も、ウェイク状態にあってもよい。加速度計210は、一定のサンプリングレート(例えば、100Hz)で、更新されたデータを提供していることができ、このデータは、図3に示すようなデバイス相対座標を使用して、加速度のベクトル成分(a、a、a)を示すことができる。受信したデータについては、例えば、循環バッファ又はFIFOなどを用いてバッファすることができる。
ブロック1304において、プロセス1300は、加速度計データバッファから、データサンプルを読み出すことができる。データ量は、サンプリングレート、バッファサイズ及び動きを分析するための所望の時間に依存することがある。例えば、プロセス400は、実時間の固定の幅、例えば、0.5秒、1秒などに対応する固定長のデータウィンドウを読み出すことができる。
ブロック1306では、プロセス1300は、例えばバッファの先頭に近いサンプルについて加速度又は回転角の測定されたx成分及び/又はy成分に基づいて、初期傾斜を決定することができる。ユーザが視線内にデバイスを保っている時間は、傾斜(又は少なくともy傾斜)がほぼ一定のままであると予想され、プロセス1300が開始されたときに、基準傾斜を定義することができる。いくつかの実施形態では、レイズジェスチャを自動的に検出することには、傾斜(例えば、y傾斜)の蓄積を検出することを含むことができ、ブロック1306で検出された蓄積した傾斜に基づいて、初期傾斜又は基準傾斜を定義することができる。
ブロック1308では、プロセス1300は、例えば初期傾斜又は基準傾斜に対する傾斜の変化を検出することができる。いくつかの実施形態では、この変化は、それがユーザの視線から離れる方向にディスプレイを移動するものである場合を除いて、無視することができる。例えば、図3のデバイス300を見ているユーザは、デバイス300が地面に対して平行になるように、あるいは、重力加速度がy軸に沿って負の加速度成分を付与するであろうように傾斜して腕を保持することが多いかもしれない。ゼロ又は負のaから正のaへの変化は、ユーザが視線の外にデバイス300を回転したことを示唆している可能性がある。いくつかの実施形態では、レイズジェスチャを自動的に検出することには、(例えば、図4を参照して上述したような)傾斜の蓄積を検出することを含むことができ、ブロック1308は、蓄積した傾斜(例えば、y傾斜)の取り消しの検出(これは、ユーザが、上げられていない位置にデバイスを戻していることを示す)を含むことができる。
ブロック1310で傾斜の十分に大きな変化が検出された場合、ブロック1312において、プロセス1300は、フォーカス解消イベントが検出されたことを、ウェイク制御ロジック230に通知することができる。後述するように、ウェイク制御ロジック230は、この通知に応じて、ユーザインタフェース202を非アクティブにする及び/又はアプリケーションプロセッサ204に通知をするなどの行動をとることができる。
ブロック1310で傾斜の大きな変化が検出されない場合は、ブロック1314において、プロセス1300は、加速度計データに基づいて、ユーザの腕の位置を推測することができる。例えば、ユーザが手首を回転させずに腕を下げることができる可能性がある。上述したように、加速度計データと、ユーザがどのようにデバイスを着用しているかについての仮定に基づいて、腕の位置を推測することができる。ブロック1316では、プロセス1300は、ユーザの腕が下がっているか否かを決定することができる。例えば、図3の座標系では、x軸とほぼ一列になる重力加速度に基づいて、下がった腕を検出することができる。いくつかの実施形態では、ブロック1316は、腕の開始位置と終了位置とを比較して、ユーザが腕を下の方の位置に移動していることを示す変化を検出することを含むことができる。腕が下がっていることが検出されると、ブロック1312において、プロセス1300は、ウェイク制御ロジック230に、フォーカス解消イベントを通知することができる。フォーカス解消イベントが検出されると、プロセス1300を終えることができる。
プロセス1300は例示的であり、変形及び修正が可能であることが理解されるであろう。逐次として説明されたステップを同時並行で行ってもよく、ステップの順序を変更しても、ステップの修正、組み合わせ、追加又は省略をしても構わない。異なる閾値、基準及びセンサ入力を使用することができる。例えば、加速度計データに加えて又はこれに代えて、ジャイロスコープデータを使用してもよい。いくつかの実施形態では、活動分類部232によって報告されるユーザの現在の活動に基づいて、使用するセンサ(例えば、加速度計及び/又はジャイロスコープ)を動的に選択することができる。例えば、ユーザが走っている場合、ジャイロスコープデータのほうが信頼できる場合がある。ユーザが静かに座っている場合は、加速度計データを使用してジャイロセンサ212の電源を切断するほうが電力効率が良い場合がある。また、フォーカス解消を検出する基準を、ユーザの現在の活動に基づいて変更することができる。例えば、ユーザが走っているときには、腕が動かないとは思えないため、フォーカス解消が検出されにくくするために上記の基準を修正してもよい。
さらに、いくつかの実施形態では、一時的な動きによってフォーカス解消が誤って検出されるのを回避することが望ましい場合がある。このため、デバイスがフォーカス姿勢から外れて最小限の時間そのままで保たれた後でないとフォーカス解消が検出されないように、フォーカス解消検出にヒステリシスを取り入れることができる。この時間が経過する前にデバイスが再びフォーカス姿勢になったら、フォーカス解消検出アルゴリズムをリセットすることができる。この最小限の時間は、デバイスがどれだけ長くフォーカス姿勢でいたかに依存することができ、フォーカス姿勢での持続時間が長くなると、これに相関して、フォーカス解消イベントをトリガーするのに必要なフォーカスから外れている時間が長くなる。ユーザが実際にまだディスプレイを見ているときに早まってフォーカス解消イベントを検出する(及びディスプレイを非アクティブにする)より、フォーカス解消イベントの検出(及びディスプレイを非アクティブにすること)が遅れるほうがユーザにとって問題が少ないと思われることに、注意されたい。このため、フォーカス解消アルゴリズムを、フォーカス解消の検出が遅くなる方向に誤るように調整してもよい。
図14は、本発明の一実施形態によるフォーカス解消検出モジュール1400の機能ブロック図である。図に示すように、フォーカス解消検出モジュール1400は、例えばフォーカス解消検出モジュール278として、図2Bの動き処理ユニット258で実装することができる。また、フォーカス解消検出モジュール1400は、図2Aのフォーカス解消検出モジュール228としても実装することができる。フォーカス解消検出モジュール1400は、向き決定ユニット1402と、向き変化検出ユニット1404と、腕位置推測ユニット1406と、フォーカス決定ユニット1408と、を含むことができる。それぞれのユニットを、例えば、プロセッサ及び/又は専用の論理回路上で実行可能なプログラムコードを使用して実装することができる。
向き決定ユニット1402は、モーションセンサデータを受信して、このデータから、デバイスの向きを決定することができる。例えば、向き決定ユニット1402は、上述したプロセス1300のブロック1306を実装することができ、向きは傾斜によって特徴付けられる(これは、加速度計データ、ジャイロスコープの回転角などから決定できる)。向き決定ユニット1402は、決定された向きを、向き変化検出ユニット1404に提供することができる。
向き変化検出ユニット1404は、例えば、向き決定ユニット1402から経時的に受信するデータに基づいて、向きの変化が生じたか否かを決定することができる。例えば、向き変化検出ユニット1404には、上述したプロセス1300のブロック1308を実装することができる。向き変化検出ユニット1404は、向き変化情報(例えば、変化の定量的な測定値)を、フォーカス決定ユニット1408に提供することができる。
腕位置推測ユニット1406は、モーションセンサデータを受信して、このデータから、デバイスが着用されていると思われる腕の推測腕位置を決定することができる。例えば、腕位置推測ユニット1406には、上述したプロセス1300のブロック1314を実装することができる。腕位置推測ユニット1406は、腕位置に関する情報(例えば、推測腕位置又は腕位置の変化)を、フォーカス決定ユニット1408に提供することができる。
フォーカス決定ユニット1408は、向き変化検出ユニット1404から向き変化情報を受信し、腕位置推測ユニット1406から腕位置情報を受信することができる。受信した情報に基づいて、フォーカス決定ユニット1408は、フォーカス解消が生じているか否かを決定することができる。例えば、フォーカス決定ユニット1408には、上述したプロセス1300のブロック1310及び/又は1316を実装することができる。フォーカス決定ユニット1408が、フォーカス解消が生じていると決定した場合、フォーカス決定ユニット1408は、他のシステムコンポーネント(例えば、図2Aのウェイク制御ロジック230又は図2Bのウェイク制御ロジックモジュール280)に通知することができる。例えば、フォーカス決定ユニット1408には、上述したプロセス1300のブロック1312を実装することができる。
フォーカス解消検出モジュール1400は例示的なものであり、変形及び修正が可能であることが理解されるであろう。例えば、フォーカス解消検出モジュール1400は、特定のブロック又はユニットを参照して説明されているが、これらのブロックは説明の都合上定義されたものであって、構成部品の特定の物理的構成を意味することを意図したものではないことは、理解できよう。さらに、これらのブロックは、物理的に別個のコンポーネントに相当する必要はなく、物理的に同じコンポーネントを使用して、複数のブロックの態様を実装してもよい。ブロックは、例えば、プロセッサをプログラムすることによって、あるいは適切な制御回路を設けることによって様々な動作を行うように構成することができ、最初の構成がどのように得られるかによって、様々なブロックを再構成できることもあれば、できないこともある。本発明の実施形態は、回路とソフトウェアとの任意の組み合わせを使って実装される電子機器を含む様々な装置において実現することができる。
上述したものなどのプロセス及びモジュールを一緒に使用すると、ユーザがデバイスを見はじめたとき及びデバイスを見るのをやめたときを、デバイスが検出できるようにすることができる。ユーザが現在見ているか否かに応じて、ユーザインタフェースをアクティブ又は非アクティブにすることができる。いくつかの実施形態では、同一又は類似のプロセスを使用して、ユーザの対話に備えてアプリケーションプロセッサ204及び/又はデバイスの他のコンポーネントを低電力(スリープ)状態からウェイクさせることができる。しかしながら、実装の仕方次第では、アプリケーションプロセッサ204をウェイクさせるのに、ユーザインタフェース202をアクティブにするよりも待ち時間が長くなることがあり、所与の時間、アプリケーションプロセッサ204をアクティブにしておくには、ユーザインタフェース202をアクティブにするより電力消費量が少ないことがある。このため、上述したレイズジェスチャの検出又は確認がなされるのを待つよりも早い段階で(ユーザインタフェース202をアクティブにせずに)アプリケーションプロセッサ204のウェイクを開始すると望ましいことがある。
図15は、本発明の一実施形態によるアプリケーションプロセッサ204をウェイクさせるか否かを決定するためのプロセス1500のフローチャートである。プロセス1500は、例えば、図2Aのプレヒート検出モジュール220で実行することができる。この例では、プロセス1500は、自然な(又は意図的な)レイズジェスチャの初期段階と整合性が取れる加速度計のサンプルのシーケンスを検出することができ、このようなシーケンスが検出されると、ウェイク制御ロジック230に通知することができる。プロセス1500は、他のジェスチャ検出アルゴリズム(例えば、上述したプロセス400、800、1100)と同時にかつそれらとは独立して動作することができる。例えば、ユーザインタフェース202をアクティブにするか否かを決定するには異なるアルゴリズム(例えば、プロセス400又はプロセス800)を使用しながら、アプリケーションプロセッサ204をウェイクさせるか否かを決定するにはプロセス1500を使用できる。
プロセス1500は、アプリケーションプロセッサ204がスリープ状態にあるときに開始(ブロック1502)することができる。加速度計210は、一定のサンプリングレート(例えば、100Hz)で、更新されたデータを提供していることができ、このデータは、図3に示すようなデバイス相対座標を使用して、加速度のベクトル成分(a、a、a)を示すことができる。受信したデータについては、例えば、循環バッファ又はFIFOなどを用いてバッファすることができる。
ブロック1504において、プロセス1500は、加速度計の最新のサンプル(又はサンプルの短いウィンドウ)を評価して、現在の姿勢を決定することができる。ブロック1506では、プロセス1500は、サンプルが、レイズジェスチャの可能のある開始を示す条件を満たすか否かを決定することができる。いくつかの実施形態では、この決定は、連続するサンプル間で測定された加速度の変化に依存することがある。例えば、視線内にデバイスを持ってくるためにユーザが手首を回転させるにつれて、a成分がゼロ又は正の(重力による)開始状態から減少すると予測できる。また、ユーザの腕が最初に下がっている場合、ユーザが自分の腕を上げるにつれてa成分が(重力による)正からゼロに向かって変化する場合がある。このため、ブロック1506での条件が、a成分により大きな重みが与えられた状態で、連続したサンプル間でのaの変化とaの変化の加重和に依存する可能性がある。いくつかの実施形態では、この条件は開始姿勢に依存することがある(例えば、aの相対的な重みは、腕が水平な開始姿勢よりも腕が下がった開始姿勢で大きくなる可能性がある)。プロセス1500は、ブロック1506でレイズジェスチャの可能性のある開始が検出されるまで、加速度計データを監視し続けることができる。例えば、新たな加速度計データサンプルが受信されるごとに、そのデータサンプルに対してブロック1504及び1506を実行することができる。
ブロック1506でレイズジェスチャの可能性のある開始が検出されると、プロセス1500は、その後のサンプルを監視して、レイズジェスチャが進行し続けるか否かを決定することができる。例えば、ブロック1508で、プロセス1500は、NNO及びNYESと呼ばれる2つのカウンターを初期化することができる。これらのカウンターは、例えば0に初期化することができる。ブロック1510では、プロセス1500は、次の加速度計サンプルを評価することができ、ブロック1512で、プロセス1500は、サンプルが進行中のレイズジェスチャと整合性が取れるか否かを決定することができる。この決定は、デバイス位置の変化(例えば、傾斜及び腕の角度)が、レイズジェスチャを続けること、(ランダムな動きはレイズジェスチャほど滑らかではないと仮定して)動きの滑らかさなどと整合性が取れているか否かといった様々な基準に基づくことができる。いくつかの実施形態では、この基準は開始姿勢に依存することがある。例えば、(例えば、図1Aに示すような)腕が下がった開始位置からは、(例えば、図1Cに示すように)前腕が最初から水平であるときよりも、aのより大きな変化が予想される。このため、上記の判定には、加速度計の現在のサンプルのみならず以前のサンプルから推定されたデバイス軌道を取り入れることができる。
ブロック1512で、次のサンプルがジェスチャと整合性が取れる場合、ブロック1514で、カウンターNYESをインクリメントすることができる。ブロック1516では、NYESと閾値「MinYes」(例えば、サンプル10個、サンプル11個、サンプル14個など)とを比較して、レイズジェスチャと整合性が取れる十分なサンプルが検出されたか否かを決定することができる。NYESが閾値MinYesに達している場合、ブロック1518において、プロセス1500は、プレヒートイベント(本明細書では「プレヒートジェスチャ」ともいう)をウェイクロジック230に通知することができる。これに応じて、ウェイクロジック230は、例えば、アプリケーションプロセッサ204をウェイクさせることができる。この実施形態では、プレヒートイベントによってユーザインタフェース202がアクティブになることはなく、ユーザはプレヒートイベントがいつ発生するか又は発生するのか否かを知る必要はない。ブロック1516で閾値を超えない場合、プロセス1500はブロック1510に戻り、加速度計データサンプルを蓄積して評価し続けることができる。
ブロック1512で、加速度計の次のデータサンプルがレイズジェスチャと整合性が取れない場合、ブロック1520で、カウンターNNOをインクリメントすることができる。ブロック1522では、NNOを閾値「MaxNo」(例えば、サンプル2個、サンプル4個、サンプル5個など)と比較して、レイズジェスチャと整合性が取れないサンプルが検出されすぎているか否かを決定することができる。NNOが閾値MaxNoに達すると、ブロック1524で、プロセス1500をリセットしてブロック1504に戻り、レイズジェスチャの新たな可能性のある開始を探すことができる。
このように、プロセス1500がプレヒートイベントを検出するか否かが、閾値MaxNoに達する前に閾値MinYesに達するか否かに依存することがある。例えば、一実施形態では、閾値MinYesを11に設定することができ、閾値MaxNoを5に設定することができる。ブロック1506で、レイズジェスチャの可能性のある開始が検出された後、ジェスチャと整合性が取れない5個のサンプルが受信される前にジェスチャと整合性が取れる11個のサンプルが受信されると、プロセス1500はプレヒートイベントを生成することになる。ジェスチャと整合性が取れない5個のサンプルが受信される前にジェスチャと整合性が取れる11個のサンプルが受信されなかった場合は、プロセス1500はプレヒートイベントを生成せず、代わりにブロック1504に戻って、実質的に最初からやり直しになる。新たなサンプルが100Hzで受信された場合、プロセス1500は、その開始後150ms以内にレイズジェスチャの開始を検出することができる。
プロセス1500は例示的であり、変形及び修正が可能であることが理解されるであろう。逐次として説明されたステップを同時並行で行ってもよく、ステップの順序を変更しても、ステップの修正、組み合わせ、追加又は省略をしても構わない。例えば、サンプリングレート及び判定基準は変更可能である。アプリケーションプロセッサがスリープ状態からウェイク状態に遷移するのに必要な時間に応じて、プレヒート検出の感度を調整することができる。プレヒートイベントは、ユーザがレイズジェスチャを完了するまでに、アプリケーションプロセッサがウェイク状態にあり、ユーザ入力を処理する準備ができている十分に早い段階で検出することができる。いくつかの実施形態では、プレヒートを早期に検出してアプリケーションプロセッサをウェイクさせることが、自然なレイズジェスチャに対するデバイスの応答におけるユーザが知覚可能な遅延を低減又は排除するのに役立つ場合がある。早く検出すればするだけ誤検出が多くなる可能性があり、アプリケーションプロセッサがウェイク状態に遷移できるだけの十分な時間を許容しつつ、ジェスチャのできるだけ後にプレヒートイベントが検出されるように、感度を調整することができる。
いくつかの実施形態では、プレヒート解消を検出するための特定のアルゴリズムは実装されていない。例えば、アプリケーションプロセッサ204は、ウェイク後の一定の時間幅以内に、ユーザ入力、レイズジェスチャ検出又はユーザがデバイス200と対話していることを示す他の活動が生じなければ、自動的にスリープ状態に戻ることができる。あるいは、ウェイク制御ロジック230が、プレヒートイベントの後のある時間幅内に可能性のあるレイズジェスチャが受信されていないかをアプリケーションプロセッサ204に通知し、アプリケーションプロセッサ204は、この情報を使用してスリープ状態に戻るか否かを決定することができる。いくつかの実施形態は、例えば、受信したサンプルがレイズジェスチャと整合性が取れ続けるか否かを検出し、レイズジェスチャと整合性が取れた状態が継続しない場合又はプレヒートイベントの後特定の時間内に検出済レイズジェスチャにならない場合にプレヒート解消を示す、プレヒート解消アルゴリズムを提供することができる。
図16は、本発明の一実施形態によるプレヒート検出モジュール1600の機能ブロック図である。図に示すように、プレヒート検出モジュール1600は、例えば、プレヒート検出モジュール270のように、図2Bの動き処理ユニット258で実装することができる。また、プレヒート検出モジュール1600は、図2Aのプレヒート検出モジュール220として実装することもできる。プレヒート検出モジュール1600は、可能性のあるジェスチャ開始決定ユニット1602と、サンプル評価ユニット1604と、カウンターユニット1606と、プレヒート決定ユニット1608と、を含むことができる。それぞれのユニットを、例えば、プロセッサ及び/又は専用の論理回路上で実行可能なプログラムコードを使用して実装することができる。
可能性のあるジェスチャ開始決定ユニット1602は、モーションセンサデータのサンプルを受信し、このデータサンプルから、可能性のあるジェスチャ開始が生じたか否かを決定することができる。例えば、可能性のあるジェスチャ開始決定ユニット1602には、上述したプロセス1500のブロック1504を実装することができる。可能性のあるジェスチャ開始が生じていると決定されると、可能性のあるジェスチャ開始決定ユニットは、サンプル評価ユニット1604及びカウンターユニット1606に通知することができる。
サンプル評価ユニット1604は、モーションセンサデータのサンプルを受信し、受信時のそれぞれのサンプルを評価して、これが可能性のあるレイズジェスチャの継続と整合性が取れているか否かを決定することができる。例えば、サンプル評価ユニット1604には、上述したプロセス1500のブロック1510及び1512を実装することができる。サンプル評価ユニット1604は、カウンターユニット1606に、サンプルが可能性のあるレイズジェスチャの継続と整合性が取れているか整合性が取れていないかを示す判定出力を提供することができる。
カウンターユニット1606は、第1のカウンターを、サンプル評価ユニット1604によって可能性のあるレイズジェスチャの継続と整合性が取れると決定されたサンプルをカウントするように維持することができ、第2のカウンターを、サンプル評価ユニット1604によって可能性のあるレイズジェスチャの継続と整合性が取れないと決定されたサンプルをカウントするように維持することができる。これらのカウンターは、上述したNYESカウンター及びNNOカウンターに対応してもよい。カウンターユニット1606は、可能性のあるジェスチャ開始決定ユニット1602によって可能性のあるジェスチャ開始を通知されたことに応じて、2つのカウンターを(例えばゼロに)初期化することができる。例えば、カウンターユニット1606には、上述したプロセス1500のブロック1508を実装することができる。2つのカウンターを初期化した後、カウンターユニット1606は、サンプル評価ユニット1604から受信した各判定出力に応じて、2つのカウンターの1つをインクリメントすることができ、可能性のあるレイズジェスチャの継続とサンプルの整合性が取れることを判定出力が示している場合には第1のカウンターをインクリメントし、可能性のあるレイズジェスチャの継続とサンプルの整合性が取れないことを判定出力が示している場合には第2のカウンターをインクリメントする。例えば、カウンターユニット1606には、上述したプロセス1500のブロック1540及び1520を実装することができる。カウンターユニット1606は、第1のカウンター値及び第2のカウンター値を、プレヒート決定ユニット1608に提供することができる。
プレヒート決定ユニット1608は、カウンターユニット1606から第1のカウンター値及び第2のカウンター値を受信することができ、プレヒートイベント又はリセットイベントのいずれかが生じているか否かを決定することができる。例えば、プレヒート決定ユニット1608には、上述したプロセス1500のブロック1516及び1522を実装することができる。プレヒートイベントが発生している場合(例えば、上述したように第1のカウンターが値MinYesを超えている場合)、プレヒート決定ユニット1608は、他のシステムコンポーネント(例えば、図2Aのウェイク制御ロジック230又は図2Bのウェイク制御ロジックモジュール280)に通知することができる。例えば、プレヒート決定ユニット1608には、上述したプロセス1500のブロック1518を実装することができる。リセットイベントが生じている場合(例えば、上述したように第2のカウンターが値MaxNoを超えている場合)、プレヒート決定ユニット1608は、可能性のあるジェスチャ開始決定ユニット1602に通知することができ、可能性のあるジェスチャ開始決定ユニット1602は、可能性のあるジェスチャ開始が生じているか否かの決定を再び始めることができる。また、プレヒート決定ユニット1608も、サンプル評価ユニット1604及び/又はカウンターユニット1606に、プレヒート又はリセットイベントを通知することができ、通知を受けたユニットは、それに応じて応答することができる。例えば、サンプル評価ユニット1604は、次の可能性のあるジェスチャ開始が生じるときまで、プレヒート又はリセットイベントのいずれかの後にサンプルの評価を停止することができる。一方又は他方のカウンターが関連する閾値に達するためにいくつかのサンプルを取ることがあるので、サンプル評価ユニット1604によって評価された全てのサンプルがプレヒート又はリセットイベントのいずれかにつながる必要はないことを理解されたい。
プレヒート検出モジュール1600は例示的なものであり、変形及び修正が可能であることが理解されるであろう。例えば、プレヒート検出モジュール1600は、特定のブロック又はユニットを参照して説明されているが、これらのブロックは説明の都合上定義されたものであって、構成部品の特定の物理的構成を意味することを意図したものではないことは、理解できよう。さらに、これらのブロックは、物理的に別個のコンポーネントに相当する必要はなく、物理的に同じコンポーネントを使用して、複数のブロックの態様を実装してもよい。ブロックは、例えば、プロセッサをプログラムすることによって、あるいは適切な制御回路を設けることによって様々な動作を行うように構成することができ、最初の構成がどのように得られるかによって、様々なブロックを再構成できることもあれば、できないこともある。本発明の実施形態は、回路とソフトウェアとの任意の組み合わせを使って実装される電子機器を含む様々な装置において実現することができる。
上述した様々なジェスチャ検出モジュール及び/又はプロセスを使用して、図2Aのウェイク制御ロジック230(又は図2Bのウェイク制御ロジックモジュール280)には、本発明の一実施形態によるウェイク制御ロジック230の状態を示す状態図である図17に示されるような状態マシン挙動を実装することができる。状態間の遷移は、プレヒート検出モジュール220(例えば、プロセス1500を実行する)、ローダイナミックメイン検出モジュール222(例えばプロセス400)、ハイダイナミックメイン検出モジュール224(例えばプロセス800)、軽い揺らし検出モジュール226(例えば、プロセス1100)、フォーカス解消検出モジュール228(例えば、プロセス1300)からの通知に応じて起こり得る。
状態1702は、デバイス200がアイドル状態であり、アプリケーションプロセッサ204がスリープ状態にあり、ユーザインタフェース202が非アクティブな状態にある「ヌル」状態とすることができる。いくつかの実施形態では、非アクティブ、フォーカス解消及び/又は他の基準に基づいて、状態1702に入ることができる。
状態1704は、(例えば、図15のブロック1518において)プレヒート検出モジュール220によって報告されたプレヒートイベントに応じて入ることが可能な「プレヒート」状態とすることができる。プレヒート状態1704に入ると、ウェイク制御ロジック230は、アプリケーションプロセッサ204に、スリープ状態からのウェイクを開始するように信号を送ることができる。いくつかの実施形態では、アプリケーションプロセッサ204のウェイクには、(おそらくは消費電力が増える以外は)ユーザが認識できる影響がない。ユーザは、アプリケーションプロセッサ204がウェイク状態にあるかスリープ状態にあるかを知らされる必要がない。
状態1706は、(例えば、図4のブロック412又は図8のブロック812において)可能性のあるレイズジェスチャの通知に応じて入ることができる「可能性のあるジェスチャ」状態とすることができる。状態1706には、プレヒート状態1704から入ることもできるし、ヌル状態1702から直接入ることもできる。可能性のあるジェスチャ状態1706に入ると、ウェイク制御ロジック230は、(プレヒート状態1704で既に行われていない場合に)アプリケーションプロセッサ204をウェイクさせることができ、ユーザインタフェース202をアクティブにすることもできる。
状態1708は、(例えば、図4のブロック418、図8のブロック818又は図11のブロック1124において)検出済レイズジェスチャの通知に応じて入ることができる「検出済ジェスチャ」状態とすることができる。状態1708は、可能性のあるジェスチャ状態1706から入ることもできるし、ヌル状態1702から直接入ることも、プレヒート状態1704から直接入ることもできる。例えば、上述の実施形態では、意図的なレイズジェスチャを検出するためのプロセス1100は、ウェイク制御ロジック230に、ヌル状態1702又はプレヒート状態1704のいずれかから生じ得る検出済レイズジェスチャを通知するだけである。この場合、可能性のあるジェスチャ状態1706はスキップされるかもしれない。他の実施形態では、プロセス1100は、(例えば、第1又は第2のピークの検出時に)ウェイク制御ロジック230に可能性のあるウェイクジェスチャを通知することができ、ヌル状態1702又はプレヒート状態1704から検出済ジェスチャ状態1708への直接遷移は起こらない可能性がある。検出済ジェスチャ状態1708に入ると、ウェイク制御ロジック230は、アプリケーションプロセッサ204をウェイクさせる及び/又はユーザインタフェース202をアクティブにすることのいずれか又は両方が以前に生じていない場合に、それをすることができる。
状態1710は、(例えば、図4のブロック424で)確認済レイズジェスチャの通知に応じて入ることができる「確認済ジェスチャ」状態とすることができる。いくつかの実施形態では、ウェイク制御ロジック230は、確認済ジェスチャ状態1710への遷移に応じて何もする必要はない。しかしながら、ウェイク制御ロジック230は、必要であれば、確認の通知をアプリケーションプロセッサ204に送信するなどの様々な行動をとることができ、アプリケーションプロセッサ204で実行されている様々なアプリケーション又は他のプロセスは、必要に応じて、検出済(ただし確認済ではない)レイズジェスチャとは対照的に確認済レイズジェスチャに応じて、異なる挙動をすることができる。
状態1712は、(例えば、図13のブロック1312で)フォーカス解消イベントの通知に応じて入ることができる「フォーカス解消」状態とすることができる。フォーカス解消状態1712に入ると、ウェイク制御ロジック230は、ユーザインタフェース202を非アクティブにすることができ、フォーカス解消をアプリケーションプロセッサ204に通知することができる。いくつかの実施形態では、アプリケーションプロセッサ204は、フォーカス解消に応じてすぐにスリープ状態に入らない可能性がある。例えば、アプリケーションプロセッサ204は、デバイス200がフォーカス状態(例えば、状態1706、1708、1710のいずれか)にある間に開始したプロセスを、そのプロセスが完了するまで実行し続け、その後でスリープ状態に入ることができる。
フォーカス解消状態1712から、アプリケーションプロセッサ204がその後スリープ状態に戻る場合、ウェイク制御ロジック230は、ヌル状態1702に戻ることができる。いくつかの実施形態では、アプリケーションプロセッサ204がスリープ状態に戻る前に、別のフォーカス関連イベント(例えば、プレヒート、可能性のあるレイズジェスチャ、検出済レイズジェスチャ)が生じる可能性があり、この場合、ウェイク制御ロジック230は、破線の矢印によって示されるように、まずヌル状態に戻るのではなく、状態1704、1706、1708のうちの適切な状態に戻ることができる。
図17に示す状態は例示であり、他の実施形態で、これより多い状態、少ない状態又は異なる状態を定義できることは理解できよう。
いくつかの実施形態では、ウェイク制御ロジック230は、ウェイク制御ロジック230の現在の状態に応じて、(例えば、プロセス1500を実装している)プレヒート検出モジュール220、(例えば、プロセス400を実装している)ローダイナミックメイン検出モジュール222、(例えば、プロセス800を実装している)ハイダイナミックメイン検出モジュール224、(例えば、プロセス1100を実装している)軽い揺らし検出モジュール226、(例えば、プロセス1300を実装している)フォーカス解消検出モジュール228のいずれか又は全てを含む、様々なジェスチャ検出アルゴリズム又はモジュールを選択的にイネーブル又はディセーブルにすることができる。
図18は、本発明の一実施形態によるウェイク制御ロジック230で実装できるプロセス1800のフローチャートである。プロセス1800は、図17のヌル状態で開始することができる(ブロック1802)。説明のために、この段階では、アプリケーションプロセッサ204はスリープ状態にあり、ユーザインタフェース202は非アクティブであると仮定する。
ブロック1804において、ウェイク制御ロジック230は、レイズジェスチャを検出するために、1つ以上のジェスチャ検出アルゴリズム又はモジュールをイネーブルにすることができる。例えば、ウェイク制御ロジック230は、プレヒート検出モジュール220、軽い揺らし検出モジュール226並びに、ローダイナミックメイン検出モジュール222又はハイダイナミックメイン検出モジュール224の一方又は他方をイネーブルにすることができる。いくつかの実施形態では、ハイダイナミックメイン検出モジュール224は、ユーザが、上述したように決定できる動作の多い活動をしているときにのみイネーブルにされ、ユーザが動作の多い行動をしていない場合は、動作の少ないメイン検知モジュール222がイネーブルにされる。ユーザの活動が変化した場合、ウェイク制御ロジック230は、どのアルゴリズムをイネーブルにするかを変更することができる。
ブロック1806において、プロセス1800は、ジェスチャ検出アルゴリズム又はモジュールのうちの1つがイベントの通知を提供するまで待機することができる。例えば、プレヒート検出モジュール220が、プレヒートイベントをウェイク制御ロジック230に通知することができ、あるいは、ローダイナミックメイン検出モジュール222又はハイダイナミックメイン検出モジュール224が、ウェイク制御ロジック230に、可能性のあるレイズジェスチャを通知することができる。そのような通知が受信されると、ブロック1808で、プロセス1800はアプリケーションプロセッサ204をウェイクさせ(ウェイクアップしていないと仮定して)、プレヒート検出モジュール220をディセーブルにすることができる。他のレイズジェスチャ検出アルゴリズム又はモジュールが実行され続けてもよい。実装次第で、アプリケーションプロセッサ204がユーザインタフェース202をアクティブにすることもあれば、しないこともある。例えば、いくつかの実施形態では、アプリケーションプロセッサ204は、可能性のあるレイズジェスチャイベントに応じてユーザインタフェース202をアクティブにするが、プレヒートイベントに応じてユーザインタフェース202をアクティブにすることはない。
ブロック1810において、ウェイク制御ロジック230は、検出済レイズジェスチャの通知が受信されているか否かを決定することができる。そのような通知は、例えば、軽い揺らし検出モジュール226、又は動作の少ないモーション検出モジュール222若しくは動作の多いモーション検出モジュール224のいずれかから受信できる。いくつかの実施形態では、検出済レイズジェスチャの通知が、プレヒート又は可能性のあるレイズジェスチャイベント後のタイムアウト時間内に受信されない場合、ウェイク制御ロジック230は、プレヒート又は可能性のあるレイズジェスチャが誤検出されたと推定することができる。よって、ブロック1812において、ウェイク制御ロジック230は、アプリケーションプロセッサ204に誤検出を通知し、プレヒート検出モジュール220を再度イネーブルにして、ブロック1804に戻ることができる。いくつかの実施形態では、閾値数の誤検出プレヒートイベントが短い時間内に生じた場合、プレヒート検出モジュール220は、「バックオフ」状態に入ることができる。この状態では、プレヒート検出モジュールは、誤検出の頻度が閾値を下回るまで、プレヒート通知の送信を停止することができる(あるいは、ウェイク制御ロジック230がプレヒート通知を無視することができる)。これにより、アプリケーションプロセッサによる不要な電力消費を削減する一助となり得る。
ブロック1810で検出済レイズジェスチャの通知が受信された場合、ブロック1814において、プロセス1800は、検出済レイズジェスチャを確認するためにジェスチャ分類部234をイネーブルにすることができ、なおかつ、軽い揺らし検出モジュール226をディセーブルにすることができる。場合によっては、検出済レイズジェスチャの通知が、プレヒートの通知又は可能性のあるレイズジェスチャの通知(例えば、軽い揺らし検出モジュール226が検出済レイズジェスチャの通知を生成する場合)に先行することができる。図18には具体的に示していないが、これが生じると、プロセス1800は、ブロック1814の動作と共にブロック1808の動作を行うことができることを理解されたい。
ブロック1816において、プロセス1800は、検出済レイズジェスチャが確認されたか否かを決定することができる。場合によっては、(例えば、ブロック1810で検出済レイズジェスチャ通知が軽い揺らし検出モジュール226から受信された場合に)ブロック1816での確認を想定してもよく、レイズジェスチャの確認に、ジェスチャ分類部234などを使用する必要がない。他の例では、(例えば、ブロック1810における検出済レイズジェスチャ通知がローダイナミックメイン検出モジュール222から受信された場合など)少なくともいくつかの状況で、確認が必要になることもある。確認が受信されない場合(又は想定されていない場合)又は否認が受信されると、ブロック1818において、ウェイク制御ロジック230は、未確認のレイズジェスチャ又は否認されたレイズジェスチャをアプリケーションプロセッサ204に通知し、プレヒート検出モジュール220及び軽い揺らし検出モジュール226を再びイネーブルにし、ジェスチャ分類部234をディセーブルにすることができる。プロセス1800は、ブロック1804に戻り、確認済レイズジェスチャを待ち続けることができる。
ブロック1816でジェスチャが確認された場合、ブロック1820において、プロセス1800は、アプリケーションプロセッサ204にユーザインタフェース202をアクティブにするように命令し(まだアクティブでない場合)、フォーカス解消検出モジュール228をイネーブルにし、ローダイナミックメイン検出モジュール222又はハイダイナミックメイン検出モジュール224をディセーブルにすることができる。軽い揺らし検出モジュール226又はプレヒートモジュール220が依然としてイネーブルのままである場合、これらのモジュールも、ブロック1820でディセーブルにすることができる。
プロセス1800は、例えばフォーカス解消検出モジュール228から、フォーカス解消ジェスチャの通知が受信されるまで、ブロック1822で待機することができる。この時間の間、デバイス200は、フォーカスされているとみなすことができる。アプリケーションプロセッサ204は、そのウェイク状態のままでいることができ、ユーザインタフェース204はアクティブのままであることができる。
フォーカスが解消されると、ブロック1824で、プロセス1800はアプリケーションプロセッサ204に通知し、ユーザインタフェース202を非アクティブにして、フォーカス解消検出モジュール228をディセーブルにすることができる。プロセス1800は、ブロック1804に戻り、様々なレイズジェスチャ検出モジュール(例えば、軽い揺らし検出モジュール226、ローダイナミックメイン検出モジュール222及びハイダイナミックメイン検出モジュール224のうちの一方又は他方)を再びイネーブルにすることができる。アプリケーションプロセッサ204がスリープ状態に戻った場合は、プロセス1800は、プレヒート検出モジュール220を再びイネーブルにすることができる。
プロセス1800は例示的であり、変形及び修正が可能であることが理解されるであろう。逐次として説明されたステップを同時並行で行ってもよく、ステップの順序を変更しても、ステップの修正、組み合わせ、追加又は省略をしても構わない。ユーザインタフェース204をアクティブにすることは、必要に応じて、ウェイク制御ロジック230によって、あるいは、アプリケーションプロセッサ204内のプロセスによって制御することができる。プレヒート検出モジュール220は、アプリケーションプロセッサ204がそのスリープ状態にある間は連続的に実行することができ、アプリケーションプロセッサ204がウェイク状態にあるときはいつでもディセーブルにされることができる。いくつかの実施形態では、フォーカスが外れても、アプリケーションプロセッサ204がすぐにスリープ状態に戻されることはない。例えば、アプリケーションプロセッサ204上では、実行中の処理タスクのいずれも実行し続けることができ、アプリケーションプロセッサ204は、(さらなるレイズジェスチャ又はプレヒートイベントが発生していないと仮定すると)そのようなタスクが完了したときにスリープ状態に戻ることができる。アプリケーションプロセッサ204は、ウェイク状態とスリープ状態との間で遷移するたびにウェイク制御ロジック230に通知し、ウェイク制御ロジック230も、ユーザインタフェース202における状態変化(例えば、非アクティブな状態とアクティブな状態との間)の通知を受けることができる。ウェイク制御ロジック230は、ジェスチャ検出モジュール又はアルゴリズムから受信した通知に加えて、アプリケーションプロセッサ204からの通知に基づいて、ジェスチャ検出モジュール又はアルゴリズムをイネーブル又はディセーブルにすることができる。
図18に示す例では、レイズジェスチャが検出されて確認されるまで、ユーザインタフェースはアクティブにされない。いくつかの実施形態では、(例えば、可能性のあるレイズジェスチャ又は検出済レイズジェスチャが報告されたとき)より一層早い段階でユーザインタフェースをアクティブにすることが望ましい場合がある。これにより誤検出が増えるが検出漏れは少なくなる可能性があり、より応答性がよく、満足度が高いユーザエクスペリエンスが提供できる。さらに、ユーザインタフェースについては、段階的にアクティブにすることができる。例えば、可能性のあるレイズジェスチャの通知が受信されたときにインタフェースが部分的にイネーブルにされ(例えば、表示されているが、薄暗くされ、タッチオーバーレイはディセーブルにされている又は低解像度でイネーブルにされている)、その後、検出済レイズジェスチャが受信されたときに、完全にイネーブルになるかもしれない。
本発明を特定の実施形態に関して説明してきたが、当業者であれば、多数の修正形態が可能であることを認識するであろう。例えば、上記では様々なアルゴリズム又はモジュールがデバイスのコプロセッサで実行されるものとして説明しているが、メインプロセッサ(例えば、アプリケーションプロセッサ)も上述したジェスチャ検出アルゴリズム又はモジュールのいずれか又は全てを実行できることは、当業者であれば認識するであろう。一例として、上述した実施形態では、アプリケーションプロセッサがウェイク状態にあるときにジェスチャ分類部を選択的に呼び出すことができ、ジェスチャ分類部を、コプロセッサではなくアプリケーションプロセッサ上で実行することができる。また、アプリケーションプロセッサがウェイク状態にあれば、他のアルゴリズムもアプリケーションプロセッサ上で完全に又は部分的に実行することもできる。他の実施形態では、アプリケーションプロセッサは、複数の電力状態を有することができる。例えば、スリープ状態は、プロセッサの1つのセクションが上述したものなどのジェスチャ検出アルゴリズムを実行でき、同時に、プロセッサの他のセクションが節電のために非アクティブである状態を含むことができる。(例えば、マルチコアアプリケーションプロセッサでは、1つのコアがアクティブであり、他のコアが非アクティブである可能性がある)。
可能性のあるレイズジェスチャ若しくは実際のレイズジェスチャの検出、検出済レイズジェスチャの確認及び/又はプレヒートイベント若しくはフォーカス解消イベントの検出に用いられるパラメータに、適応的制御を使用してもよい。適応的制御を使用すると、より甘い又はより厳しい検出基準にパラメータを調整できるようになる。基準が甘くなれば応答速度を上げてトリガーを早めることができるのに対し、基準が厳しくなれば誤検出を減らすことができる(よって、さらに節電になる)。調整可能なパラメータとしては、蓄積したy傾斜の必要量、デバイスのフォーカス姿勢範囲、レイズジェスチャを行うときのデバイス軌道に関する基準が挙げられる。いくつかの実施形態では、調整可能なパラメータを、コンフィギュレーションデータブロックによって変更することができ、随時、新たなコンフィギュレーションデータをデバイスにダウンロードすることができる。調整可能なパラメータを調節するために、ユーザインタフェースを提供することもできる(例えば、甘い基準から厳しい基準へのスライド目盛りで、など)。
別の例として、上述したレイズジェスチャアルゴリズムでは、ジェスチャを検出する前に、最小限の持続時間にわたって、デバイスがフォーカス姿勢にとどまる必要がある場合がある。いくつかの実施形態では、持続時間は、フォーカス姿勢の精度とトレードオフになり得る。例えば、デバイスが、フォーカス姿勢に定められた範囲の近くにあるがその範囲内にはなく(例えば、4つの基準のうちの3つを満たす場合)、その位置で十分な持続時間を経過したら、そのことを、レイズジェスチャとして検出することができる。例えば、y傾斜がゼロ又は負ではなく正であっても、終了姿勢が十分に長く保持されていると仮定すると、大幅な回転の後に終了姿勢が保持されていると認識される場合がある。このようにして持続時間を使用してフォーカス姿勢の全ての基準を完全には満たせなかったことを「相殺」するのであれば、より厳しいフォーカス姿勢基準を指定してもよい。
本明細書に記載のプロセスを使用して、デバイスのユーザインタフェースをいつアクティブにするかを決定することができる。ひとたびアクティブになると、ユーザインタフェースは、望まれるどのような状態でも提示することができる。例えば、デフォルトの「ホーム」状態、ユーザインタフェースが非アクティブになる前の最後の状態、ユーザインタフェースが最後にアクティブであってから受信された最新の通知又は通知に関する情報を提示している状態、あるいは他の何らかの状態で、ユーザインタフェースを提示することができる。
いくつかの実施形態では、ユーザインタフェース又はそのコンポーネントを段階的にアクティブにすることができる。例えば、可能性のあるレイズジェスチャが(例えば、上述のようにして)検出された場合、ユーザインタフェースは、部分的にアクティブになる状態に遷移することができる。そのような部分的にアクティブになる状態には、ディスプレイをアクティブにするが薄暗い照明をしているだけである(「薄暗い照明」は、例えば周囲光、ユーザの好みなどに依存することがある、ディスプレイの通常の動作輝度より低いレベルの光を含むことができる)か、ディスプレイをアクティブにするがタッチ感知式オーバーレイをアクティブにしない、ディスプレイをアクティブにするが音声入力回路をアクティブにしないことなどを含んでもよい。可能性のあるレイズジェスチャが検出済レイズジェスチャになると、ユーザインタフェースは、例えば、ディスプレイが標準的な輝度でオンになり、タッチ感知式オーバーレイがアクティブで、音声入力回路がアクティブにされるなど、完全にアクティブになる状態に遷移することができる。別の例として、ユーザインタフェースの異なるコンポーネントが、レイズジェスチャ検出の異なる段階でアクティブにされてもよい。例えば、(例えば上述したように)可能性のあるレイズジェスチャが検出されると、1つ以上のユーザインタフェースコンポーネント(例えば、マイクロフォン又はディスプレイ)をアクティブにすることができる一方で、他のユーザインタフェースコンポーネント(例えば、ディスプレイのタッチ感知式オーバーレイ、スピーカ、音声認識コプロセッサなど)は、非アクティブのままである。可能性のあるレイズジェスチャが検出済レイズジェスチャになると、1つ以上の他のユーザインタフェースコンポーネント(例えば、タッチ感知式オーバーレイ)をアクティブにすることができる。さらに、検出済レイズジェスチャが確認済レイズジェスチャになるまで、1つ以上の他のユーザインタフェースコンポーネント(例えば、音声認識コプロセッサ)を非アクティブのままにすることができる。異なるユーザインタフェースコンポーネントが異なるジェスチャ状態遷移に応じてアクティブな状態に遷移するように、他のアクティベーションシーケンスを実装することもできる。
いくつかの実施形態では、ウェイク制御ロジック230は、デバイス200がどれだけ長い時間フォーカス状態にあるかを示す情報(例えば、最新の検出済レイズジェスチャイベント又は最新の確認済レイズジェスチャイベントの発生からの経過時間)を、アプリケーションプロセッサ204に提供することができる。上記に加えて又はこれに代えて、アプリケーションプロセッサ204は、ウェイク制御ロジック230が(例えば、検出済レイズジェスチャ又は確認済レイズジェスチャをアプリケーションプロセッサ204に通知することによって)フォーカス状態への遷移を示した後に経過した時間及び/又はアプリケーションプロセッサ204に利用可能な他の情報に基づいて、フォーカス状態の持続時間を推定することができる。フォーカス状態の持続時間を使用して、ユーザエクスペリエンスに影響を及ぼすことができる。例えば、デバイス200が、フォーカス状態にあり、通知(例えば、「Fredからの新しいテキストメッセージ」)を表示していると仮定する。ユーザがどれだけ長く通知を見ているかに応じて、アプリケーションプロセッサ204は、ユーザに制御を操作させなくても通知に関する追加情報(例えば、テキストメッセージの内容)を表示することを選択できる。別の例として、アプリケーションプロセッサ204は、ユーザが予め定められた時間よりも長い時間見ているならば通知が読まれたと推定して、ユーザに制御を操作させなくても自動的に通知を隠すか破棄することができる。例えば、通知又は他のアイテムのリスト全体又はメッセージの内容全体でスクロール又はページングするなど、ユーザがフォーカス姿勢をどれだけ長く保ち続けているかに基づく他のアクションを実装してもよい。
フォーカス解消ジェスチャを検出することで、様々な結果にすることができる。例えば、上述したように、ユーザインタフェースを非アクティブにすることができる。さらに、フォーカス解消時に表示されていた全ての通知を破棄することができるか、通知の既読/未読状態を維持することができる。
さらに、上述したように、アプリケーションプロセッサ204は、ジェスチャ状態遷移又はジェスチャイベント(例えば、可能性のあるレイズジェスチャ、検出済レイズジェスチャ、確認済レイズジェスチャ、フォーカス解消)の通知を、ウェイク制御ロジック230から受けることができる。いくつかの実施形態では、アプリケーションプロセッサ204は、そのクライアント(例えば、アプリケーションプロセッサ上で実行することができる任意のアプリケーション及び/又はオペレーティングシステムプロセス)に、これらの遷移を通知することもでき、クライアントは、必要に応じて応答行為をすることができる。
本発明のいくつかの実施形態では、本明細書に記載される全部のジェスチャ検出モジュールよりも少ない数のジェスチャ検出モジュールを使用できることを、理解されたい。例えば、いくつかの実施形態は、プレヒート検出モジュールだけを含むかもしれない。いくつかの実施形態は、単一の自然なレイズジェスチャ検出モジュール(例えば、上述したようなローダイナミック検出モジュール又はハイダイナミック検出モジュールのいずれかであり得る)だけを含むかもしれないし、複数の自然なレイズジェスチャ検出モジュールを含むかもしれない。いくつかの実施形態は、意図的なレイズジェスチャ検出モジュール(例えば、上述した軽い揺らし検出モジュール)だけを含むかもしれない。いくつかの実施形態は、フォーカス解消検出モジュールだけを含むかもしれない。いくつかの実施形態は、プレヒート検出モジュール及び1つ以上の自然なレイズジェスチャ検出モジュールを含むかもしれない。いくつかの実施形態は、プレヒート検出モジュール及び意図的なレイズジェスチャ検出モジュールを含むかもしれない。いくつかの実施形態は、プレヒート検出モジュール及びフォーカス解消検出モジュールを含むかもしれない。いくつかの実施形態は、プレヒート検出モジュール、1つ以上の自然なレイズジェスチャ検出モジュール及び意図的なレイズジェスチャ検出モジュールを含むかもしれない。いくつかの実施形態は、1つ以上の自然なレイズジェスチャ検出モジュール及び意図的なレイズジェスチャ検出モジュールを含むかもしれない。いくつかの実施形態は、1つ以上の自然なレイズジェスチャ検出モジュール、意図的なレイズジェスチャ検出モジュール及びフォーカス解消検出モジュールを含むかもしれない。いくつかの実施形態は、意図的なレイズジェスチャ検出モジュール及びフォーカス解消検出モジュールを含むかもしれない。加えて、いくつかの実施形態は、上記に具体的に記載されていない追加のジェスチャ検出モジュールを含むかもしれない。
また、上述したようなレイズジェスチャ及び/又はフォーカス解消ジェスチャの自動検出を実装するデバイスで、ユーザインタフェースをアクティブ及び/又は非アクティブにするのに使用できるユーザが操作可能な手動制御(例えば、物理的ボタン、タッチセンサなど)を用いてもよいことは、理解されたい。このような制御が提供される場合、ウェイク制御ロジック230は、手動制御のユーザ操作に起因するユーザインタフェースの状態の変化の通知を受信し、それに応じて自身の状態を調節することができる(例えば、上述した様々なアルゴリズムをイネーブル又はディセーブルにする)。したがって、本明細書に記載された自動化プロセスがユーザの対話を容易にすることができるが、デバイス(及びユーザ)は、これだけに頼る必要はない。
本明細書で説明される様々なアルゴリズム及びパラメータ(例えば、重み、閾値、他の基準)については、上述したように、例えば機械学習及び/又は他の技術を用いてヒューリスティックに調整することができる。機械学習の訓練フェーズは、デバイス開発中に(例えば、広範囲に配布する前に)行うことができ、訓練の結果をデバイスのファームウェアに組み込むことができると考えられる。したがって、ユーザがデバイスの訓練を行う必要はない。いくつかの実施形態では、デバイスは、ユーザが意図的なレイズジェスチャを実行するか手動制御を動作させた場合(これは、自然なレイズジェスチャ検出アルゴリズムが検出漏れを生じたことを示す場合がある)に、モーションセンサデータの関連する間隔を記録するなど、通常動作時にフィードバックを収集することができる場合がある。デバイスは、そのような記録されたデータに基づいて自己のアルゴリズム及びパラメータを改良するために、バックグラウンドで訓練アルゴリズムを実行することができる場合がある。いくつかの実施形態では、デバイス製造業者は、そのようなデータをデバイスの大きなまとまり全体で集約し、その情報を使用してジェスチャ検出アルゴリズム及び/又はパラメータを更新することができる。(ユーザのプライバシーを保護するために、この集約は匿名で行うことができ、モーションセンサデータと、データが検出漏れに相当する可能性があるという指示に限定することができる)。
本開示では、「ほぼ」及び「実質的に」などの用語を使用して、フォーカス姿勢における安定性などの特定の測定値に幅を持たせている。ほとんどのユーザは自分の腕を完全に静止させることができず、これらの用語は、ユーザに自然に生じる不安定さの影響及び様々なモーションセンサの固有の精度を許容できることを示すために使用されることは、当業者であれば理解するであろう。水平、垂直、平行などの他の用語にも同様に幅を持たせて、物理的な完全性が不要であることを示すことができる。また、本明細書で使用する場合、「視線内に」などの表現は概ね、デバイスに対するユーザの頭の向きに関する仮定を示し、そのような仮定は、ユーザの目がデバイスの方に向けられているか否かに必ずしも厳密には一致しないことがある。
さらに、ここでの説明は、着用可能デバイス及び手首に着用可能なデバイスに具体的に言及しているが、本発明の実施形態は、着用可能デバイス又は手首に着用可能なデバイスに限定されるものではない。例えば、上述のアルゴリズム及びモジュールを、ユーザがデバイスとの対話中に持ち上げて保持するかもしれない携帯電話、タブレットなどの他のポータブルデバイスに実装することができる。上述したようなアルゴリズム及び/又はモジュールは、携帯式のデバイスに実装されると、持ち上げられてユーザの視線内に保たれることと整合性が取れるデバイスの向きの変化(あるいは、逆に下げられる又は離されることと整合性が取れる変化)を検出することができ、そのような変化の検出を用いて、デバイス状態の変化(例えば、ディスプレイ又は他のユーザインタフェースコンポーネントをアクティブにすること、プロセッサをスリープ状態からウェイクさせることなど)を、引き起こすことができる。
本発明の実施形態は、専用の構成要素及び/又はプログラマブルプロセッサ、及び/又は他のプログラマブルデバイスの任意の組み合わせを使用して実現することができる。本明細書で述べられる様々なプロセスは、同一プロセッサ又は任意の組み合わせの異なるプロセッサ上で実装可能である。構成要素が特定の動作を実行するように構成されていると説明されている場合、このような構成は、例えばこの動作を実行するように電子回路を設計することにより、この動作を実行するように(マイクロプロセッサなどの)プログラマブルな電子回路をプログラムすることにより、又はこれらの任意の組み合わせにより、達成することができる。さらに、上記の実施形態は、特定のハードウェア及びソフトウェア構成要素を参照し得るが、当業者には、異なる組み合わせのハードウェア及び/又はソフトウェア構成要素も利用でき、ハードウェアで実行されると説明されている特定の動作がソフトウェアでも実行し得、またその逆も可能であることが理解されよう。
本発明の様々な特徴を組み込んだコンピュータプログラムが符号化され、様々なコンピュータ可読記憶媒体上に記憶されてもよい。好適な媒体としては、磁気ディスク若しくはテープ、コンパクトディスク(CD:compact disk)若しくはDVD(digital versatile disk、デジタル多用途ディスク)などの光学記憶媒体、フラッシュメモリ、並びにその他の非一時的媒体が挙げられる。(データの「記憶」は、搬送波などの一時的な媒体を使用するデータの伝播とは異なることが理解される)。プログラムコードで符号化されたコンピュータ可読媒体は、互換性のある電子機器と共にパッケージ化することができ、又はプログラムコードを電子機器とは別個に(例えばインターネットダウンロードにより、若しくは別個にパッケージ化されたコンピュータ可読記憶媒体として)提供することができる。
それゆえ、本発明は、特定の実施形態に関して記載されているが、本発明は、以下の特許請求の範囲内での、全ての修正形態及び均等物を包含することを意図するものであることが理解されるであろう。
[図面]
[図1A]
Figure 2023051982000002
[図1B]
Figure 2023051982000003
[図1C]
Figure 2023051982000004
[図1D]
Figure 2023051982000005
[図2A]
Figure 2023051982000006
[図2B]
Figure 2023051982000007
[図3]
Figure 2023051982000008
[図4]
Figure 2023051982000009
[図5]
Figure 2023051982000010
[図6]
Figure 2023051982000011
[図7]
Figure 2023051982000012
[図8]
Figure 2023051982000013
[図9]
Figure 2023051982000014
[図10A]
Figure 2023051982000015
[図10B]
Figure 2023051982000016
[図11]
Figure 2023051982000017
[図12]
Figure 2023051982000018
[図13]
Figure 2023051982000019
[図14]
Figure 2023051982000020
[図15]
Figure 2023051982000021
[図16]
Figure 2023051982000022
[図17]
Figure 2023051982000023
[図18]
Figure 2023051982000024

Claims (175)

  1. 方法であって、
    ディスプレイを備える電子デバイスにおいて、
    情報を含むアラートを受信することと、
    前記アラートの受信に応じて、知覚出力を発することと、
    ユーザ入力を検出することと、
    前記ユーザ入力が前記知覚出力から所定の時間インターバル内で検出されたかどうかを判定することと、
    前記ユーザ入力が前記所定の時間インターバル内で検出されたとの判定に従って、前記ディスプレイ上に通知を表示することであって、前記通知が、前記情報の第1の部分を含む、ことと、
    を含む、方法。
  2. 前記電子デバイスが、触覚機構を含み、前記知覚出力を発することが、前記触覚機構に触覚出力を発しさせることを含む、請求項1に記載の方法。
  3. 前記ユーザ入力が前記知覚出力から前記所定の時間インターバル後に検出されたとの判定に従って、時計文字盤を表示することを更に含み、前記時計文字盤が、前記アラートが未読であるという指標を含む、請求項1又は2に記載の方法。
  4. 前記ユーザ入力が前記知覚出力から前記所定の時間インターバル後に検出されたとの判定に従って、ホーム画面を表示することを更に含み、前記ホーム画面が、複数のアプリケーションを表す複数のユーザインターフェースオブジェクトを含み、前記ユーザインターフェースオブジェクトが、アクティブ化されると、対応するアプリケーションを起動させ、前記ホーム画面が、前記アラートが未読であるという指標を含む、請求項1又は2に記載の方法。
  5. 前記通知を表示することが、前記ディスプレイを非アクティブ状態からアクティブ化することを含む、請求項1から4のいずれか一項に記載の方法。
  6. 前記通知を表示することが、ホーム画面の表示を前記通知の表示で置き換えることを含む、請求項1から4のいずれか一項に記載の方法。
  7. 前記通知を表示することが、前記通知を前記ディスプレイ上で第1の方向に移動させるアニメーションを表示することを含む、請求項1から6のいずれか一項に記載の方法。
  8. 前記通知が、前記アラートに関連付けられたアプリケーションを起動させるためのアプリケーションアフォーダンスを含み、前記方法が、
    前記アプリケーションアフォーダンスの選択を検出することと、
    前記選択の検出に応じて、前記アラートに関連付けられた前記アプリケーションを起動させることと、
    を更に含む、請求項1から7のいずれか一項に記載の方法。
  9. 前記アラートの受信に応じて、ユーザアクティビティレベルがアクティビティ基準に合致するかどうかを判定することを更に含み、
    前記ユーザアクティビティレベルが前記アクティビティ基準に合致するまで、前記知覚出力の発生を遅延させる、請求項1から8のいずれか一項に記載の方法。
  10. 前記ディスプレイが、タッチ感知ディスプレイであり、前記デバイスが、前記タッチ感知ディスプレイ上での接触の強度を検出するように構成されており、前記方法が、
    前記通知が表示されている間に、前記ディスプレイ上で接触を検出することと、
    前記接触の特性強度が閾値強度を上回るかどうかを判定することと、
    前記接触の特性強度が前記閾値強度を上回るとの判定に従って、ミュート基準に合致する1つ以上の後続のアラートを抑制するためのオプションを表示することと、
    前記接触の特性強度が前記閾値強度を下回るとの判定に従って、かつ、前記接触が前記ディスプレイ上の前記アプリケーションアフォーダンスに対応する位置にあるとの判定に従って、前記アラートに関連付けられた前記アプリケーションを起動させることと、
    を更に含む、請求項1又は2に記載の方法。
  11. 前記ミュート基準が、前記アラートのソースに基づいている、請求項10に記載の方法。
  12. 前記ディスプレイが、タッチ感知ディスプレイであり、前記方法が、
    前記通知が表示されている間に、前記タッチ感知ディスプレイ上で第2の接触を検出することと、
    前記第2の接触が消去基準に合致するかどうかを判定することと、
    前記第2の接触が前記消去基準に合致するとの判定に従って、前記通知を前記ディスプレイから除去することと、
    を更に含む、請求項1から9のいずれか一項に記載の方法。
  13. 前記第2の接触がスワイプを含む場合、前記第2の接触が、前記消去基準に合致する、請求項12に記載の方法。
  14. 前記第2の接触が閾値距離を超える前記第2の接触の移動を含む場合、前記第2の接触が、前記消去基準に合致する、請求項12又は13に記載の方法。
  15. 前記通知を表示することが、前記通知を前記ディスプレイ上で第1の方向に移動させるアニメーションを表示することを含み、前記第2の接触が前記第1の方向とは反対の第2の方向への前記接触の移動を含む場合、前記第2の接触が、前記消去基準に合致する、請求項12から14のいずれか一項に記載の方法。
  16. 前記第2の接触が、前記第2の接触の移動及び前記第の2接触の解放を含み、前記方法が、
    前記第2の接触の前記移動の検出に応じて、
    前記第2の接触の前記移動に従って、前記通知を前記ディスプレイ上でスライドさせることと、
    前記通知に隣接させて、消去インジケータを表示することと、
    前記第2の接触が前記消去基準に合致するとの判定に従って、かつ、前記第2の接触の前記解放の検出に応じて、前記消去インジケータ及び前記通知を、前記ディスプレイから除去することと、
    前記第2の接触が前記消去基準に合致しないとの判定に従って、かつ、前記第2の接触の前記解放の検出に応じて、
    前記通知を初期位置に戻すように前記ディスプレイ上で移動させるアニメーションを表示することと、
    前記消去インジケータを前記ディスプレイから除去することと、
    を更に含む、請求項12から15のいずれか一項に記載の方法。
  17. 前記通知を除去することが、前記通知を前記第2の方向に前記ディスプレイの外へと移動させるアニメーションを表示することを含む、請求項15又は16に記載の方法。
  18. 前記通知を前記ディスプレイから除去することが、前記ディスプレイを非アクティブ化することを含む、請求項12から17のいずれか一項に記載の方法。
  19. 前記通知を前記ディスプレイから除去することが、前記通知の表示を、ホーム画面の表示で置き換えることを含み、前記ホーム画面が、前記アラートが未読であるという指標を含む、請求項12から17のいずれか一項に記載の方法。
  20. 前記通知を前記ディスプレイから除去することが、前記通知の表示を、時計文字盤の表示で置き換えることを含み、前記時計文字盤が、前記アラートが未読であるという指標を含む、請求項12から17のいずれか一項に記載の方法。
  21. 第2のユーザ入力が前記通知の表示後、第2の所定の時間インターバル内で検出されていたかどうかを判定することと、
    前記第2のユーザ入力が前記第2の所定の時間インターバル内で検出されていたとの判定に従って、前記通知を前記ディスプレイから除去することと、
    前記第2のユーザ入力が前記第2の所定の時間インターバル内で検出されていなかったとの判定に従って、前記情報の第2の部分を表示することであって、前記第2の部分が、前記第1の部分とは異なる、ことと、
    を更に含む、請求項1から11のいずれか一項に記載の方法。
  22. 前記ユーザ入力が前記通知の表示後、第2の所定の時間インターバル後も検出され続けているかどうかを判定することと、
    前記ユーザ入力が前記第2の所定の時間インターバル後も検出され続けているとの判定に従って、前記情報の第2の部分を表示することであって、前記第2の部分が、前記第1の部分とは異なる、ことと、
    前記ユーザ入力が前記第2の所定の時間インターバル後は検出され続けていないとの判定に従って、前記通知を前記ディスプレイから除去することと、
    を更に含む、請求項1から11のいずれか一項に記載の方法。
  23. 前記通知を表示している間に、前記ディスプレイ上で第3の接触を検出することと、
    前記第3の接触の検出に応じて、前記情報の第2の部分を表示することであって、前記第2の部分が、前記第1の部分とは異なる、ことと、
    を更に含む、請求項1から11のいずれか一項に記載の方法。
  24. 前記第2の部分が、前記通知に隣接して表示される、請求項22又は23に記載の方法。
  25. 前記第3の接触が、前記第1の方向へのスワイプであり、前記情報の前記第2の部分を表示することが、前記情報の前記第2の部分を前記画面上で前記第1の方向にスライドさせることを含む、請求項23に記載の方法。
  26. 前記情報の前記第2の部分を表示することが、
    前記情報の前記第2の部分を表示するかどうかを示す構成データを取得することと、
    前記構成データが前記情報の前記第2の部分を表示すべきであると示すとの判定に応じて、前記情報の前記第2の部分を表示することと、
    を更に含む、請求項21から23に記載の方法。
  27. 前記通知を表示している間に、前記アプリケーションアフォーダンスの選択を検出することと、
    第4の接触の検出に応じて、前記アラートに関連付けられたアプリケーションを起動させることと、
    を更に含む、請求項1から10のいずれか一項に記載の方法。
  28. 前記アラートが、電子メッセージであり、前記方法が、
    前記情報の前記第2の部分が表示されている間に、前記ディスプレイ上で第4の接触を検出することと、
    前記第4の接触の検出に応じて、前記電子メッセージのソースとの間で送受信した電子メッセージを含むメッセージ会話の少なくとも一部分を表示することと、
    を更に含む、請求項21から25のいずれか一項に記載の方法。
  29. 前記アラートが、音声コンテンツを含み、前記情報の前記第2の部分を表示することが、前記音声コンテンツを再生するオプションを表示することを含み、前記方法が、
    前記音声コンテンツを再生する前記オプションの選択を検出することと、
    前記選択の検出に応じて、前記音声コンテンツを再生することと、
    を更に含む、請求項20から24のいずれか一項に記載の方法。
  30. 前記音声コンテンツが、第1の音声コンテンツであり、前記方法が、
    前記第1の音声コンテンツを再生する前記オプションの選択を検出した後に、第2の音声コンテンツを含む第2のアラートを受信することと、
    前記第2のアラートの受信に応じて、前記第2の音声コンテンツを再生することと、
    を更に含む、請求項29に記載の方法。
  31. 前記情報の前記第2の部分を表示している間に、第3のユーザ入力を検出することと、
    前記第3のユーザ入力の検出に応じて、前記情報の前記第2の部分を、前記第3のユーザ入力に従ってスクロールすることと、
    を更に含む、請求項21から25のいずれか一項に記載の方法。
  32. 前記第3のユーザ入力が、前記ディスプレイ上でのスワイプである、請求項31に記載の方法。
  33. 前記デバイスが、回転可能入力機構を含み、前記第3のユーザ入力が、前記回転可能入力機構の回転である、請求項31に記載の方法。
  34. 前記第3のユーザ入力が、下向き方向に関連付けられており、前記方法が、
    前記情報の最初の部分が表示されているかどうかを判定することと、
    前記情報の前記最初の部分が表示されているとの判定に従って、かつ、前記第3のユーザ入力の検出に応じて、前記情報の前記第2の部分を前記ディスプレイから除去することと、
    を更に含む、請求項31から33のいずれか一項に記載の方法。
  35. 前記第3のユーザ入力が、上向き方向に関連付けられており、前記方法が、
    前記情報の最後の部分が表示されているかどうかを判定することと、
    前記情報の前記最後の部分が表示されているとの判定に従って、かつ、前記第3のユーザ入力の検出に応じて、第1の複数のユーザインターフェースオブジェクトを前記ディスプレイ上に表示することであって、前記ユーザインターフェースオブジェクトが、前記アラートに関連付けられたアプリケーションに対応するアクションに関連付けられている、ことと、
    を更に含む、請求項31から33のいずれか一項に記載の方法。
  36. 前記情報が前記ディスプレイ上で上向きにスクロールされると、前記第1の複数のユーザインターフェースオブジェクトが、前記ディスプレイ上で、前記情報の前記最後の部分の下へと上向きにスクロールされる、請求項35に記載の方法。
  37. 前記情報の前記第2の部分を前記ディスプレイから除去することが、前記通知の前記第2の部分の表示を、時間の指標を含むホーム画面の表示で置き換えることを含み、前記ホーム画面が、前記アラートが未読であるという指標を伴わずに表示される、請求項34に記載の方法。
  38. 前記情報の前記第2の部分を除去することが、前記情報の前記第2の部分を前記第2の方向に前記ディスプレイの外へとスライドさせることを含む、請求項34に記載の方法。
  39. 前記デバイスが、前記タッチ感知ディスプレイ上での接触の強度を検出するように構成されており、前記方法が、
    前記ディスプレイ上で第5の接触を検出することと、
    前記第5の接触の特性強度が閾値強度を上回るかどうかを判定することと、
    前記第5の接触の特性強度が前記閾値強度を上回るとの判定に従って、第1の複数のユーザインターフェースオブジェクトを表示することであって、前記ユーザインターフェースオブジェクトが、前記アラートに関連付けられた前記アプリケーションに対応するアクションに関連付けられている、ことと、
    前記第5の接触の特性強度が前記閾値強度を下回るとの判定に従って、前記アラートに関連付けられたアプリケーションを起動させることと、
    を更に含む、請求項21から23のいずれか一項に記載の方法。
  40. 前記第1の複数のユーザインターフェースオブジェクト中の第1のユーザインターフェースオブジェクトの選択を検出することと、
    前記第1のユーザインターフェースオブジェクトの前記選択の検出に応じて、データを外部電子デバイスに送信して、前記外部電子デバイスに、前記アラートに関連付けられた前記アプリケーションを起動させることと、
    を更に含む、請求項35又は39に記載の方法。
  41. 前記情報の前記第2の部分が表示されている間に、ユーザ入力が第3の所定の時間インターバル内で受信されていたかどうかを判定することと、
    ユーザ入力が前記第3の所定の時間インターバル内で受信されていなかったとの判定に従って、前記ディスプレイを非アクティブ化することと、
    を更に含む、請求項21から25のいずれか一項に記載の方法。
  42. 前記通知が、前記情報の前記第2の部分に隣接して表示され、前記通知が、アプリケーションアフォーダンスを含み、前記方法が、
    前記情報の前記第2の部分が表示されている間に、前記アプリケーションアフォーダンスの選択を検出することと、
    前記アプリケーションアフォーダンスの前記選択の検出に応じて、
    第2の複数のユーザインターフェースオブジェクトを表示することと、
    を更に含む、請求項21から25のいずれか一項に記載の方法。
  43. 前記第2の複数のユーザインターフェースオブジェクトの第1のユーザインターフェースオブジェクトの選択を検出することと、
    前記第1のユーザインターフェースオブジェクトの前記選択の検出に応じて、
    第3の複数のユーザインターフェースオブジェクトを表示することと、
    を更に含む、請求項42に記載の方法。
  44. 前記電子デバイスが、ハードウェアボタンを備え、前記方法が、
    前記ハードウェアボタン上での入力を検出することと、
    前記ハードウェアボタン上での前記入力の検出に応じて、第3の複数のユーザインターフェースオブジェクトを表示することと、
    を更に含む、請求項1から11又は21から23のいずれか一項に記載の方法。
  45. 前記第3の複数のユーザインターフェースオブジェクトの第1のユーザインターフェースオブジェクトの選択を検出することと、
    前記第3の複数のユーザインターフェースオブジェクトの前記第1のユーザインターフェースオブジェクトの前記選択の検出に応じて、所定の応答メッセージを選択するためのユーザインターフェースを表示することと、
    を更に含む、請求項43又は44に記載の方法。
  46. 第1の所定の応答メッセージの選択を検出することと、
    前記第1の所定の応答メッセージの前記選択の検出に応じて、
    前記第1の所定の応答メッセージを前記アラートのソースに送信することと、
    を更に含む、請求項45に記載の方法。
  47. 前記第1の所定の応答メッセージを前記アラートの前記ソースに送信することが、
    確認アフォーダンスを表示することと、
    前記確認アフォーダンスの選択を検出することと、
    前記確認アフォーダンスの前記選択の検出に応じて、前記第1の所定の応答メッセージを前記アラートの前記ソースに送信することと、
    を含む、請求項46に記載の方法。
  48. 前記第1の所定の応答メッセージを前記ソースに送信した後に、
    メッセージ送信完了確認画面を前記ディスプレイ上に表示することと、
    前記メッセージ送信完了確認画面の表示を、前記ホーム画面の表示で置き換えることであって、前記ホーム画面が、前記アラートが未読であるという指標を伴わずに表示される、ことと、
    を更に含む、請求項46又は47に記載の方法。
  49. 前記第3の複数のユーザインターフェースオブジェクトの第2のユーザインターフェースオブジェクトの選択を検出することと、
    前記第3の複数のユーザインターフェースオブジェクトの前記第2のユーザインターフェースオブジェクトの前記選択の検出に応じて、
    絵文字アイコンを選択するためのユーザインターフェースを表示することと、
    を更に含む、請求項43又は44に記載の方法。
  50. 第1の絵文字アイコンの選択を検出することと、
    前記第1の絵文字アイコンの前記選択の検出に応じて、前記第1の絵文字アイコンを前記アラートの前記ソースに送信することと、
    を更に含む、請求項49に記載の方法。
  51. 前記絵文字アイコンを前記アラートの前記ソースに送信することが、
    確認アフォーダンスを表示することと、
    前記確認アフォーダンスの選択を検出することと、
    前記確認アフォーダンスの前記選択の検出に応じて、前記絵文字アイコンを前記アラートの前記ソースに送信することと、
    を含む、請求項50に記載の方法。
  52. 前記第2の複数のユーザインターフェースオブジェクトの第2のユーザインターフェースオブジェクトの選択を検出することと、
    前記第2の複数のユーザインターフェースオブジェクトの前記第2のユーザインターフェースオブジェクトの前記選択の検出に応じて、
    前記情報の前記第2の部分が表示されたかどうかを判定することと、
    前記情報の前記第2の部分が表示されたとの判定に従って、前記ホーム画面を表示することであって、前記ホーム画面が、前記アラートが未読であるという指標を伴わずに表示される、ことと、
    前記情報の前記第2の部分が表示されなかったとの判定に従って、前記ホーム画面を表示することであって、前記ホーム画面が、前記アラートが未読であるという指標を含む、ことと、
    を更に含む、請求項42に記載の方法。
  53. 前記第2の複数のユーザインターフェースオブジェクトの第2のユーザインターフェースオブジェクトの選択を検出することと、
    前記第2の複数のユーザインターフェースオブジェクトの前記第2のユーザインターフェースオブジェクトの前記選択の検出に応じて、
    前記情報の前記第2の部分が表示されたかどうかを判定することと、
    前記情報の前記第2の部分が表示されたとの判定に従って、前記時計文字盤を表示することであって、前記時計文字盤が、前記アラートが未読であるという指標を伴わずに表示される、ことと、
    前記情報の前記第2の部分が表示されなかったとの判定に従って、前記時計文字盤を表示することであって、前記時計文字盤が、前記アラートが未読であるという指標を含む、ことと、
    を更に含む、請求項42に記載の方法。
  54. 前記第2の複数のユーザインターフェースオブジェクトの第3のユーザインターフェースオブジェクトの選択を検出することと、
    前記第2の複数のユーザインターフェースオブジェクトの前記第3のユーザインターフェースオブジェクトの前記選択の検出に応じて、
    前記ディスプレイ上に仮想キーボードを表示することと、
    を更に含む、請求項42に記載の方法。
  55. 前記デバイスが、マイクロフォンを備え、前記方法が、
    前記第2の複数のユーザインターフェースオブジェクトの第4のユーザインターフェースオブジェクトの選択を検出することと、
    前記第2の複数のユーザインターフェースオブジェクトの前記第4のユーザインターフェースオブジェクトの前記選択の検出に応じて、
    前記マイクロフォンからのオーディオ入力を記録することと、
    前記記録したオーディオ入力に対応するデータを前記アラートの前記ソースに送信することと、
    を更に含む、請求項42に記載の方法。
  56. 前記記録したオーディオ入力に対応するデータを送信することが、
    前記記録したオーディオ入力の指標及び送信アフォーダンスを前記ディスプレイ上に表示することと、
    前記送信アフォーダンスの選択を検出することと、
    前記送信アフォーダンスの前記選択の検出に応じて、前記記録したオーディオ入力に対応する前記データを前記アラートの前記ソースに送信することと、
    を含む、請求項55に記載の方法。
  57. 前記電子デバイスが、回転可能かつ押下可能な入力機構を備え、前記方法が、
    前記アプリケーションを起動させた後に、前記回転可能かつ押下可能な入力機構の押下を検出することと、
    前記押下の検出に応じて、前記ホーム画面を前記ディスプレイ上に表示することと、
    を更に含む、請求項8、27、又は39に記載の方法。
  58. 前記回転可能かつ押下可能な入力機構が、回転可能な機械式ボタンであり、前記押下が、前記機械式ボタン上での押圧を表す、請求項57に記載の方法。
  59. 前記回転可能かつ押下可能な入力機構が、回転可能な容量性ボタンであり、前記押下が、前記容量性ボタン上でのタッチを表す、請求項58に記載の方法。
  60. 前記通知が、第1の通知であり、前記方法が、
    前記第1の通知が表示されている間に、第2の情報を含む第2のアラートを受信することと、
    前記第2のアラートの受信に応じて、前記第1の通知の表示を、第2の通知の表示で置き換えることであって、前記第2の通知が、前記第2の情報の第1の部分を含む、ことと、
    を更に含む、請求項1又は2に記載の方法。
  61. 前記第2のアラートの受信に応じて、第2の知覚出力を発することを更に含む、請求項60に記載の方法。
  62. 前記第2の通知を消去する要求を検出することと、
    前記要求の検出に応じて、
    前記第2の通知を消去することと、
    前記第1の通知を再度表示することと、
    を更に含む、請求項60又は61に記載の方法。
  63. 前記第2の通知を消去する要求を検出することと、
    前記要求の検出に応じて、
    前記第2の通知を消去することと、
    前記ホーム画面を表示することであって、前記ホーム画面が、前記第1のアラート及び前記第2のアラートが未読であるという指標を含む、ことと、
    を更に含む、請求項60又は61に記載の方法。
  64. 前記第2の通知を消去する要求を検出することと、
    前記要求の検出に応じて、
    前記第2の通知を消去することと、
    前記時計文字盤を表示することであって、前記時計文字盤が、前記第1のアラート及び前記第2のアラートが未読であるという指標を含む、ことと、
    を更に含む、請求項60又は61に記載の方法。
  65. 前記情報の前記第2の部分を表示している間に、第2の情報を含む第2のアラートを受信することと、
    前記第2のアラートの受信に応じて、前記情報の前記第2の部分の表示を、第2の通知の表示で置き換えることであって、前記第2の通知が、前記第2の情報の第1の部分を含む、ことと、
    を更に含む、請求項21から25のいずれか一項に記載の方法。
  66. 前記アラートが、ソースから受信した第1のアラートであり、前記方法が、
    前記情報の前記第2の部分を表示している間に、前記ソースから第2のアラートを受信することと、
    前記第2のアラートの受信に応じて、前記第1のアラート及び前記第2のアラートを表すグループ化された通知を表示することと、
    を更に含む、請求項21から25に記載の方法。
  67. 前記第1のアラート及び前記第2のアラートが、同じアプリケーションに関連付けられている、請求項66に記載の方法。
  68. 前記グループ化された通知上で第6の接触を検出することと、
    前記第6の接触の検出に応じて、前記ソースから受信したアラートのリストを表示することであって、前記アラートのリストが、同じアプリケーションに関連付けられている、ことと、
    を更に含む、請求項67に記載の方法。
  69. 前記アラートが、フィットネスアラートであり、前記方法が、
    第2の所定の時間インターバル後に、前記通知の表示を、フィットネスの進捗を表すユーザインターフェースオブジェクトの表示で置き換えることと、
    第3の所定の時間インターバル後に、前記ユーザインターフェースオブジェクトの表示を、前記情報の第2の部分の表示で置き換えることであって、前記第2の部分が、前記第1の部分とは異なる、ことと、
    を更に含む、請求項1又は2に記載の方法。
  70. 前記アラートが未読であるという前記指標が、シェブロンの表示を含む、請求項3、4、19、20、52、53、63、及び64のいずれか一項に記載の方法。
  71. 前記シェブロンの前記表示が、アニメーション化されている、請求項70に記載の方法。
  72. 前記シェブロンが、第1の方向に向いており、前記ディスプレイが、タッチ感知ディスプレイであり、前記方法が、
    前記ディスプレイ上での前記第1の方向へのスワイプの検出に応じて、前記通知を前記ディスプレイ上に表示することを更に含む、請求項70に記載の方法。
  73. 方法であって、
    ディスプレイを備える電子デバイスにおいて、
    複数のアラートを受信することと、
    前記複数のアラートの受信に応じて、
    前記複数のアラートがグループ化基準に合致するかどうかを判定することと、
    前記複数のアラートが前記グループ化基準に合致するとの判定に従って、前記複数のアラートを表すグループ化された通知を表示することと、
    前記複数のアラートが前記グループ化基準に合致しないとの判定に応じて、
    前記複数のアラートを表す複数の通知を表示することと、
    を含む、方法。
  74. 前記グループ化基準が、前記複数のアラートが同じソースから受信されているかどうか、前記複数のアラートがアラートの数値閾値を超えるかどうか、前記複数のアラートが同じアプリケーションに関連付けられているかどうか、及び、前記複数のアラートが所定の期間内で受信されているかどうか、からなる群から選択される1つ以上の基準に基づいている、請求項73に記載の方法。
  75. 前記複数のアラートが、同じソースから受信され、かつ同じアプリケーションに関連付けられている第1のアラート及び第2のアラートを含み、前記第1のアラート及び前記第2のアラートが、前記グループ化基準に合致し、前記第1のアラートが、第1の情報を含み、前記第2のアラートが、第2の情報を含み、前記方法が、
    前記ディスプレイ上において、前記グループ化された通知に対応する位置で第7の接触を検出することと、
    前記第7の接触の検出に応じて、前記第1の情報及び前記第2の情報を前記ディスプレイ上に表示することと、
    を更に含む、請求項73に記載の方法。
  76. 前記第1のアラート及び前記第2のアラートが、異なるソースから受信され、かつ同じアプリケーションに関連付けられており、前記方法が、
    前記ディスプレイ上において、前記グループ化された通知に対応する位置で第8の接触を検出することと、
    前記第8の接触の検出に応じて、前記アプリケーションに関連付けられたアラートのリストを表示することであって、前記アラートのリストが、前記第1のアラート及び前記第2のアラートを含む、ことと、
    を更に含む、請求項73に記載の方法。
  77. 前記複数のアラートが、複数のアプリケーションに関連付けられており、前記複数のアラートが、前記グループ化基準に合致し、前記方法が、
    前記複数のアラートを表すグループ化された通知を表示することと、
    前記ディスプレイ上において、前記グループ化された通知に対応する位置で第9の接触を検出することと、
    前記第9の接触の検出に応じて、前記複数のアラートを表す通知のリストを表示することであって、前記受信したアラートが、前記第1のアラート及び前記第2のアラートを含む、ことと、
    を更に含む、請求項73に記載の方法。
  78. 前記複数のアラートの受信に更に応じて、知覚出力を発することを更に含む、請求項73に記載の方法。
  79. 前記複数のアラートが前記グループ化基準に合致するとの判定に更に従って、単一の知覚出力を発することと、
    前記複数のアラートが前記グループ化基準に合致しないとの判定に更に従って、前記複数のアラートに対応する複数の知覚出力を発することと、
    を更に含む、請求項73に記載の方法。
  80. 方法であって、
    タッチ感知ディスプレイを備える電子デバイスにおいて、
    前記ディスプレイがコンテンツを能動的に表示している間に、情報を含むアラートを受信することと、
    前記アラートの受信に応じて、通知バナーを、前記ディスプレイの一部分にわたって表示することであって、前記通知バナーが、前記情報の第1の部分を含み、前記コンテンツの少なくとも一部分が、表示され続ける、ことと、
    前記ディスプレイ上において、前記通知バナーに対応する位置で接触を検出することと、
    前記接触の検出に応じて、前記情報の第2の部分を表示することであって、前記第2の部分が、前記第1の部分とは異なる、ことと、
    を含む、方法。
  81. ディスプレイと、
    1つ以上のプロセッサと、
    メモリと、
    1つ以上のプログラムと、を備える電子デバイスであって、前記1つ以上のプログラムが、前記メモリ内に記憶され、かつ前記1つ以上のプロセッサによって実行されるように構成されており、前記1つ以上のプログラムが、請求項1から72に記載のプロセスのうちのいずれかを実行するための命令を含む、電子デバイス。
  82. 1つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記1つ以上のプログラムが、命令を含み、前記命令が、タッチ感知ディスプレイを備える電子デバイスによって実行されると、前記デバイスに、請求項1から72に記載のプロセスのうちのいずれかを実行させる、非一時的コンピュータ可読記憶媒体。
  83. ディスプレイと、
    請求項1から72に記載の方法のうちのいずれかを実行するための手段と、を含む、電子デバイス。
  84. ディスプレイと、
    1つ以上のプロセッサと、
    メモリと、
    1つ以上のプログラムと、を備える電子デバイスであって、前記1つ以上のプログラムが、前記メモリ内に記憶され、かつ前記1つ以上のプロセッサによって実行されるように構成されており、前記1つ以上のプログラムが、請求項73から79に記載のプロセスのうちのいずれかを実行するための命令を含む、電子デバイス。
  85. 1つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記1つ以上のプログラムが、命令を含み、前記命令が、タッチ感知ディスプレイを備える電子デバイスによって実行されると、前記デバイスに、請求項73から79に記載のプロセスのうちのいずれかを実行させる、非一時的コンピュータ可読記憶媒体。
  86. ディスプレイと、
    請求項73から79に記載の方法のうちのいずれかを実行するための手段と、を含む、電子デバイス。
  87. 1つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記1つ以上のプログラムが、命令を含み、前記命令が、ディスプレイを備える電子デバイスの1つ以上のプロセッサによって実行されると、前記デバイスに、
    情報を含むアラートを受信することと、
    前記アラートの受信に応じて、知覚出力を発することと、
    ユーザ入力を検出することと、
    前記ユーザ入力が前記知覚出力から所定の時間インターバル内で検出されたかどうかを判定することと、
    前記ユーザ入力が前記所定の時間インターバル内で検出されたとの判定に従って、前記ディスプレイ上に通知を表示することであって、前記通知が、前記情報の第1の部分を含む、ことと、
    を行わせる、非一時的コンピュータ可読記憶媒体。
  88. 1つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記1つ以上のプログラムが、命令を含み、前記命令が、ディスプレイを備える電子デバイスの1つ以上のプロセッサによって実行されると、前記デバイスに、
    複数のアラートを受信することと、
    前記複数のアラートの受信に応じて、
    前記複数のアラートがグループ化基準に合致するかどうかを判定することと、
    前記複数のアラートが前記グループ化基準に合致するとの判定に従って、前記複数のアラートを表すグループ化された通知を表示することと、
    前記複数のアラートが前記グループ化基準に合致しないとの判定に応じて、
    前記複数のアラートを表す複数の通知を表示することと、
    を行わせる、非一時的コンピュータ可読記憶媒体。
  89. 1つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記1つ以上のプログラムが、命令を含み、前記命令が、ディスプレイを備える電子デバイスの1つ以上のプロセッサによって実行されると、前記デバイスに、
    前記ディスプレイがコンテンツを能動的に表示している間に、情報を含むアラートを受信することと、
    前記アラートの受信に応じて、通知バナーを、前記ディスプレイの一部分にわたって表示することであって、前記通知バナーが、前記情報の第1の部分を含み、前記コンテンツの少なくとも一部分が、表示され続ける、ことと、
    前記ディスプレイ上において、前記通知バナーに対応する位置で接触を検出することと、
    前記接触の検出に応じて、前記情報の第2の部分を表示することであって、前記第2の部分が、前記第1の部分とは異なる、ことと、
    を行わせる、非一時的コンピュータ可読記憶媒体。
  90. ディスプレイと、
    1つ以上のプロセッサと、
    メモリと、
    1つ以上のプログラムと、を備える電子デバイスであって、前記1つ以上のプログラムが、前記メモリ内に記憶され、かつ前記1つ以上のプロセッサによって実行されるように構成されており、前記1つ以上のプログラムが、
    情報を含むアラートを受信することと、
    前記アラートの受信に応じて、知覚出力を発することと、
    ユーザ入力を検出することと、
    前記ユーザ入力が前記知覚出力から所定の時間インターバル内で検出されたかどうかを判定することと、
    前記ユーザ入力が前記所定の時間インターバル内で検出されたとの判定に従って、前記ディスプレイ上に通知を表示することであって、前記通知が、前記情報の第1の部分を含む、ことと、に関する命令を含む、電子デバイス。
  91. ディスプレイと、
    1つ以上のプロセッサと、
    メモリと、
    1つ以上のプログラムと、を備える電子デバイスであって、前記1つ以上のプログラムが、前記メモリ内に記憶され、かつ前記1つ以上のプロセッサによって実行されるように構成されており、前記1つ以上のプログラムが、
    複数のアラートを受信することと、
    前記複数のアラートの受信に応じて、
    前記複数のアラートがグループ化基準に合致するかどうかを判定することと、
    前記複数のアラートが前記グループ化基準に合致するとの判定に従って、前記複数のアラートを表すグループ化された通知を表示することと、
    前記複数のアラートが前記グループ化基準に合致しないとの判定に従って、
    前記複数のアラートを表す複数の通知を表示することと、に関する命令を含む、電子デバイス。
  92. タッチ感知ディスプレイと、
    1つ以上のプロセッサと、
    メモリと、
    1つ以上のプログラムと、を備える電子デバイスであって、前記1つ以上のプログラムが、前記メモリ内に記憶され、かつ前記1つ以上のプロセッサによって実行されるように構成されており、前記1つ以上のプログラムが、
    前記ディスプレイがコンテンツを能動的に表示している間に、情報を含むアラートを受信することと、
    前記アラートの受信に応じて、通知バナーを、前記ディスプレイの一部分にわたって表示することであって、前記通知バナーが、前記情報の第1の部分を含み、前記コンテンツの少なくとも一部分が、表示され続ける、ことと、
    前記ディスプレイ上において、前記通知バナーに対応する位置で接触を検出することと、
    前記接触の検出に応じて、前記情報の第2の部分を表示することであって、前記第2の部分が、前記第1の部分とは異なる、ことと、
    に関する命令を含む、電子デバイス。
  93. 電子デバイスであって、
    ディスプレイと、
    情報を含むアラートを受信するための手段と、
    前記アラートの受信に応じて、知覚出力を発するための手段と、
    ユーザ入力を検出するための手段と、
    前記ユーザ入力が前記知覚出力から所定の時間インターバル内で検出されたかどうかを判定するための手段と、
    前記ユーザ入力が前記所定の時間インターバル内で検出されたとの判定に従って、前記ディスプレイ上に通知を表示するための手段であって、前記通知が、前記情報の第1の部分を含む、手段と、
    を含む、電子デバイス。
  94. 電子デバイスであって、
    ディスプレイと、
    複数のアラートを受信するための手段と、
    前記複数のアラートの受信に応じて、前記複数のアラートがグループ化基準に合致するかどうかを判定するための手段と、
    前記複数のアラートが前記グループ化基準に合致するとの判定に従って、前記複数のアラートを表すグループ化された通知を表示するための手段と、
    前記複数のアラートが前記グループ化基準に合致しないとの判定に従って、前記複数のアラートを表す複数の通知を表示するための手段と、を含む、電子デバイス。
  95. 電子デバイスであって、
    タッチ感知ディスプレイと、
    前記ディスプレイがコンテンツを能動的に表示している間に、情報を含むアラートを受信するための手段と、
    前記アラートの受信に応じて、通知バナーを、前記ディスプレイの一部分にわたって表示するための手段であって、前記通知バナーが、前記情報の第1の部分を含み、前記コンテンツの少なくとも一部分が、表示され続ける、手段と、
    前記ディスプレイ上において、前記通知バナーに対応する位置で接触を検出するための手段と、
    前記接触の検出に応じて、前記情報の第2の部分を表示するための手段であって、前記第2の部分が、前記第1の部分とは異なる、手段と、を含む、電子デバイス。
  96. ディスプレイユニットと、
    前記ディスプレイユニットに結合された処理ユニットと、を備える電子デバイスであって、前記処理ユニットが、
    情報を含むアラートを受信することと、
    前記アラートの受信に応じて、知覚出力を有効にすることと、
    ユーザ入力を検出することと、
    前記ユーザ入力が前記知覚出力から所定の時間インターバル内で検出されたかどうかを判定することと、
    前記ユーザ入力が前記所定の時間インターバル内で検出されたとの判定に従って、前記ディスプレイユニット上において通知の表示を有効にすることであって、前記通知が、前記情報の第1の部分を含む、ことと、
    を行うように構成されている、電子デバイス。
  97. 前記電子デバイスが、触覚機構ユニットを備え、前記知覚出力を有効にすることが、前記触覚機構ユニットに、触覚出力を発しさせることを含む、請求項96に記載の電子デバイス。
  98. 前記処理ユニットが、
    前記ユーザ入力が前記知覚出力から前記所定の時間インターバル後に検出されたとの判定に従って、前記ディスプレイユニット上において、時計文字盤の表示を有効にすることであって、前記時計文字盤が、前記アラートが未読であるという指標を含む、ことを行うように更に構成されている、請求項96又は97に記載の電子デバイス。
  99. 前記処理ユニットが、
    前記ユーザ入力が前記知覚出力から前記所定の時間インターバル後に検出されたとの判定に従って、前記ディスプレイユニット上において、ホーム画面の表示を有効にすることであって、前記ホーム画面が、複数のアプリケーションを表す複数のユーザインターフェースオブジェクトを含み、前記ユーザインターフェースオブジェクトが、アクティブ化されると、対応するアプリケーションを起動させ、前記ホーム画面が、前記アラートが未読であるという指標を含む、ことを行うように更に構成されている、請求項96又は97に記載の電子デバイス。
  100. 前記通知の表示を有効にすることが、前記ディスプレイユニットを非アクティブ状態からアクティブ化することを含む、請求項96から99のいずれか一項に記載の電子デバイス。
  101. 前記通知を表示することが、前記ディスプレイユニット上において、ホーム画面の表示を前記通知の表示で置き換えることを含む、請求項96から99のいずれか一項に記載の電子デバイス。
  102. 前記通知の表示を有効にすることが、前記通知を前記ディスプレイユニット上で第1の方向に移動させるアニメーションの表示を有効にすることを含む、請求項96から101のいずれか一項に記載の電子デバイス。
  103. 前記通知が、前記アラートに関連付けられたアプリケーションを起動させるためのアプリケーションアフォーダンスを含み、前記処理ユニットが、
    前記アプリケーションアフォーダンスの選択を検出し、
    前記選択の検出に応じて、前記アラートに関連付けられた前記アプリケーションを起動させるように更に構成されている、請求項96から102のいずれか一項に記載の電子デバイス。
  104. 前記処理ユニットが、
    前記アラートの受信に応じて、ユーザアクティビティレベルがアクティビティ基準に合致するかどうかを判定するように更に構成されており、
    前記ユーザアクティビティレベルが前記アクティビティ基準に合致するまで、前記知覚出力の発生を遅延させる、請求項96から103のいずれか一項に記載の電子デバイス。
  105. 前記ディスプレイユニットが、タッチ感知ディスプレイユニットであり、前記電子デバイスが、前記タッチ感知ディスプレイユニット上での接触の強度を検出するように構成されており、前記処理ユニットが、
    前記通知が前記タッチ感知ディスプレイユニット上に表示されている間に、前記タッチ感知ディスプレイユニット上で接触を検出し、
    前記接触の特性強度が閾値強度を上回るかどうかを判定し、
    前記接触の特性強度が前記閾値強度を上回るとの判定に従って、前記タッチ感知ディスプレイユニット上において、ミュート基準に合致する1つ以上の後続のアラートを抑制するためのオプションの表示を有効にし、
    前記接触の特性強度が前記閾値強度を下回るとの判定に従って、かつ、前記接触が前記タッチ感知ディスプレイユニット上の前記アプリケーションアフォーダンスに対応する位置にあるとの判定に従って、前記アラートに関連付けられたアプリケーションを起動させるように更に構成されている、請求項96又は97に記載の電子デバイス。
  106. 前記ミュート基準が、前記アラートのソースに基づいている、請求項105に記載の電子デバイス。
  107. 前記ディスプレイユニットが、タッチ感知ディスプレイユニットであり、前記処理ユニットが、
    前記通知が前記タッチ感知ディスプレイユニット上に表示されている間に、前記タッチ感知ディスプレイユニット上で第2の接触を検出し、
    前記第2の接触が消去基準に合致するかどうかを判定し、
    前記第2の接触が前記消去基準に合致するとの判定に従って、前記通知の、前記タッチ感知ディスプレイユニットからの除去を有効にするように更に構成されている、請求項96から104のいずれか一項に記載の電子デバイス。
  108. 前記第2の接触がスワイプを含む場合、前記第2の接触が、前記消去基準に合致する、請求項107に記載の電子デバイス。
  109. 前記第2の接触が閾値距離を超える前記第2の接触の移動を含む場合、前記第2の接触が、前記消去基準に合致する、請求項107又は108に記載の電子デバイス。
  110. 前記通知の表示を有効にすることが、前記通知を前記ディスプレイユニット上で第1の方向に移動させるアニメーションの表示を有効にすることを含み、前記第2の接触が前記第1の方向とは反対の第2の方向への前記接触の移動を含む場合、前記第2の接触が、前記消去基準に合致する、請求項107から109のいずれか一項に記載の電子デバイス。
  111. 前記第2の接触が、前記第2の接触の移動及び前記第の2接触の解放を含み、前記処理ユニットが、
    前記第2の接触の前記移動の検出に応じて、
    前記第2の接触の前記移動に従って前記通知を前記ディスプレイユニット上でスライドさせることを有効にし、
    前記ディスプレイユニット上において、前記通知に隣接する消去インジケータの表示を有効にし、
    前記第2の接触が前記消去基準に合致するとの判定に従って、かつ、前記第2の接触の前記解放の検出に応じて、前記消去インジケータ及び前記通知の、前記ディスプレイユニットからの除去を有効し、
    前記第2の接触が前記消去基準に合致しないとの判定に従って、かつ、前記第2の接触の前記解放の検出に応じて、
    前記ディスプレイユニット上において、前記通知を初期位置に戻すように前記ディスプレイユニット上で移動させるアニメーションの表示を有効にし、
    前記消去インジケータの、前記ディスプレイユニットからの除去を有効にするように更に構成されている、請求項107から110のいずれか一項に記載の電子デバイス。
  112. 前記通知の除去を有効にすることが、前記通知を前記第2の方向に前記ディスプレイユニットの外へと移動させるアニメーションの表示を有効にすることを含む、請求項110又は111に記載の電子デバイス。
  113. 前記通知の前記ディスプレイユニットからの除去を有効にすることが、前記ディスプレイユニットを非アクティブ化することを含む、請求項107から112のいずれか一項に記載の電子デバイス。
  114. 前記通知の前記ディスプレイユニットからの除去を有効にすることが、前記通知の前記表示をホーム画面の表示で置き換えることを有効にすることであって、前記ホーム画面が、前記アラートが未読であるという指標を含む、ことを含む、請求項107から112のいずれか一項に記載の電子デバイス。
  115. 前記通知の前記ディスプレイユニットからの除去を有効にすることが、前記通知の前記表示を時計文字盤の表示で置き換えることを有効にすることであって、前記時計文字盤が、前記アラートが未読であるという指標を含む、ことを含む、請求項107から112のいずれか一項に記載の電子デバイス。
  116. 前記処理ユニットが、
    第2のユーザ入力が前記通知の表示後、第2の所定の時間インターバル内で検出されていたかどうかを判定することと、
    前記第2のユーザ入力が前記第2の所定の時間インターバル内で検出されていたとの判定に従って、前記通知の前記ディスプレイユニットからの除去を有効にすることと、
    前記第2のユーザ入力が前記第2の所定の時間インターバル内で検出されていなかったとの判定に従って、前記ディスプレイユニット上において、前記情報の第2の部分の表示を有効にすることであって、前記第2の部分が、前記第1の部分とは異なる、ことと、
    を行うように更に構成されている、請求項96から106のいずれか一項に記載の電子デバイス。
  117. 前記処理ユニットが、
    前記ユーザ入力が前記通知の表示後、第2の所定の時間インターバル後も検出され続けているかどうかを判定することと、
    前記ユーザ入力が前記第2の所定の時間インターバル後も検出され続けているとの判定に従って、前記ディスプレイユニット上において、前記情報の第2の部分の表示を有効にすることであって、前記第2の部分が、前記第1の部分とは異なる、ことと、
    前記ユーザ入力が前記第2の所定の時間インターバル後は検出され続けていないとの判定に従って、前記通知の前記ディスプレイユニットからの除去を有効にすることと、
    を行うように更に構成されている、請求項96から106のいずれか一項に記載の電子デバイス。
  118. 前記処理ユニットが、
    前記通知を表示している間に、前記ディスプレイユニット上で第3の接触を検出することと、
    前記第3の接触の検出に応じて、前記ディスプレイユニット上において、前記情報の第2の部分の表示を有効にすることであって、前記第2の部分が、前記第1の部分とは異なる、ことと、
    を行うように更に構成されている、請求項96から106のいずれか一項に記載の電子デバイス。
  119. 前記第2の部分が、前記通知に隣接して表示される、請求項117又は118に記載の電子デバイス。
  120. 前記第3の接触が、前記第1の方向へのスワイプであり、前記情報の前記第2の部分の表示を有効にすることが、前記情報の前記第2の部分を前記ディスプレイユニット上で前記第1の方向にスライドさせることを有効にすることを含む、請求項118に記載の電子デバイス。
  121. 前記情報の前記第2の部分の表示を有効にすることが、
    前記情報の前記第2の部分を表示するかどうかを示す構成データを取得することと、
    前記構成データが前記情報の前記第2の部分を表示すべきであると示すとの判定に応じて、前記情報の前記第2の部分の表示を有効にすることと、
    を更に含む、請求項116から118に記載の電子デバイス。
  122. 前記処理ユニットが、
    前記通知を表示している間に、前記アプリケーションアフォーダンスの選択を検出し、
    前記アプリケーションアフォーダンスの前記選択の検出に応じて、前記アラートに関連付けられたアプリケーションを起動させるように更に構成されている、請求項96から105のいずれか一項に記載の電子デバイス。
  123. 前記アラートが、電子メッセージであり、前記処理ユニットが、
    前記情報の前記第2の部分が前記ディスプレイユニット上に表示されている間に、前記ディスプレイユニット上で第4の接触を検出し、
    前記第4の検出に応じて、前記ディスプレイユニット上において、前記電子メッセージのソースとの間で送受信した電子メッセージを含むメッセージ会話の少なくとも一部分の表示を有効にするように更に構成されている、請求項116から120のいずれか一項に記載の電子デバイス。
  124. 前記アラートが、音声コンテンツを含み、前記情報の前記第2の部分の表示を有効にすることが、前記音声コンテンツを再生するオプションの表示を有効にすることを含み、前記処理ユニットが、
    前記音声コンテンツを再生する前記オプションの選択を検出し、
    前記選択の検出に応じて、前記音声コンテンツの再生を有効にするように更に構成されている、請求項115から119のいずれか一項に記載の電子デバイス。
  125. 前記音声コンテンツが、第1の音声コンテンツであり、前記処理ユニットが、
    前記第1の音声コンテンツを再生する前記オプションの前記選択を検出した後に、第2の音声コンテンツを含む第2のアラートを受信し、
    前記第2のアラートの受信に応じて、前記第2の音声コンテンツの再生を有効にするように更に構成されている、請求項124に記載の電子デバイス。
  126. 前記処理ユニットが、
    前記情報の前記第2の部分を表示している間に、第3のユーザ入力を検出し、
    前記第3のユーザ入力の検出に応じて、前記ディスプレイユニット上において、前記情報の前記第2の部分を、前記第3のユーザ入力に従ってスクロールすることを有効にするように更に構成されている、請求項116から120のいずれか一項に記載の電子デバイス。
  127. 前記第3のユーザ入力が、前記ディスプレイユニット上でのスワイプである、請求項126に記載の電子デバイス。
  128. 前記電子デバイスが、回転可能な入力ユニットを更に備え、前記第3のユーザ入力が、前記回転可能な入力ユニットの回転である、請求項126に記載の電子デバイス。
  129. 前記第3のユーザ入力が、下向き方向に関連付けられており、前記処理ユニットが、
    前記情報の最初の部分が前記ディスプレイユニット上に表示されているかどうかを判定し、
    前記情報の前記最初の部分が表示されているとの判定に従って、かつ、前記第3のユーザ入力の検出に応じて、前記情報の前記第2の部分の、前記ディスプレイユニットからの除去を有効にするように更に構成されている、請求項126から128のいずれか一項に記載の電子デバイス。
  130. 前記第3のユーザ入力が、上向き方向に関連付けられており、前記処理ユニットが、
    前記情報の最後の部分が前記ディスプレイユニット上に表示されているかどうかを判定することと、
    前記情報の前記最後の部分が表示されているとの判定に従って、かつ、前記第3のユーザ入力の検出に応じて、前記ディスプレイユニット上において、第1の複数のユーザインターフェースオブジェクトの表示を有効にすることであって、前記ユーザインターフェースオブジェクトが、前記アラートに関連付けられたアプリケーションに対応するアクションに関連付けられている、ことと、
    を行うように更に構成されている、請求項126から128のいずれか一項に記載の電子デバイス。
  131. 前記情報が前記ディスプレイユニット上で上向きにスクロールされると、前記第1の複数のユーザインターフェースオブジェクトが、前記ディスプレイユニット上で、前記情報の前記最後の部分の下へと上向きにスクロールされる、請求項130に記載の電子デバイス。
  132. 前記情報の前記第2の部分の前記ディスプレイユニットからの除去を有効にすることが、前記ディスプレイユニット上において、前記通知の前記第2の部分の前記表示を、時間の指標を含むホーム画面の表示で置き換えることを有効にすることであって、前記ホーム画面が、前記アラートが未読であるという指標を伴わずに表示される、ことを含む、請求項129に記載の電子デバイス。
  133. 前記情報の前記第2の部分の除去を有効にすることが、前記情報の前記第2の部分を前記第2の方向に前記ディスプレイの外へとスライドさせることを含む、請求項129に記載の電子デバイス。
  134. 前記ディスプレイユニットが、タッチ感知ディスプレイユニットであり、前記電子デバイスが、前記タッチ感知ディスプレイ上での接触の強度を検出するように構成されており、前記処置ユニットが、
    前記タッチ感知ディスプレイユニット上で第5の接触を検出することと、
    前記第5の接触の特性強度が閾値強度を上回るかどうかを判定することと、
    前記第5の接触の特性強度が前記閾値強度を上回るとの判定に従って、前記タッチ感知ディスプレイユニット上において、第1の複数のユーザインターフェースオブジェクトの表示を有効にすることであって、前記ユーザインターフェースオブジェクトが、前記アラートに関連付けられた前記アプリケーションに対応するアクションに関連付けられている、ことと、
    前記第5の接触の特性強度が前記閾値強度を下回るとの判定に従って、前記アラートに関連付けられたアプリケーションを起動させることと、
    を行うように更に構成されている、請求項116から118のいずれか一項に記載の電子デバイス。
  135. 前記処理ユニットが、
    前記第1の複数のユーザインターフェースオブジェクト中の第1のユーザインターフェースオブジェクトの選択を検出し、
    前記第1のユーザインターフェースオブジェクトの前記選択の検出に応じて、データを外部電子デバイスに送信して、前記外部電子デバイスに、前記アラートに関連付けられた前記アプリケーションを起動させるように更に構成されている、請求項130又は134に記載の電子デバイス。
  136. 前記処理ユニットが、
    前記情報の前記第2の部分が前記ディスプレイユニット上に表示されている間に、ユーザ入力が第3の所定の時間インターバル内で受信されていたかどうかを判定し、
    ユーザ入力が前記第3の所定の時間インターバル内で受信されていなかったとの判定に従って、前記ディスプレイユニットを非アクティブ化するように更に構成されている、請求項116から120のいずれか一項に記載の電子デバイス。
  137. 前記通知が、前記情報の前記第2の部分に隣接して表示され、前記通知が、アプリケーションアフォーダンスを含み、前記処理ユニットが、
    前記情報の前記第2の部分が前記ディスプレイユニット上に表示されている間に、前記アプリケーションアフォーダンスの選択を検出し、
    前記アプリケーションアフォーダンスの前記選択の検出に応じて、前記ディスプレイユニット上において、第2の複数のユーザインターフェースオブジェクトの表示を有効にするように更に構成されている、請求項116から120のいずれか一項に記載の電子デバイス。
  138. 前記処理ユニットが、
    前記第2の複数のユーザインターフェースオブジェクトの第1のユーザインターフェースオブジェクトの選択を検出し、
    前記第1のユーザインターフェースオブジェクトの前記選択の検出に応じて、前記ディスプレイユニット上において、第3の複数のユーザインターフェースオブジェクトの表示を有効にするように更に構成されている、請求項137に記載の電子デバイス。
  139. 前記電子デバイスが、ボタンユニットを備え、前記処理ユニットが、
    前記ボタンユニット上での入力を検出し、
    前記ボタンユニット上での前記入力の検出に応じて、前記ディスプレイユニット上において、第3の複数のユーザインターフェースオブジェクトの表示を有効にするように更に構成されている、請求項96から106又は116から118のいずれか一項に記載の電子デバイス。
  140. 前記処理ユニットが、
    前記第3の複数のユーザインターフェースオブジェクトの第1のユーザインターフェースオブジェクトの選択を検出し、
    前記第3の複数のユーザインターフェースオブジェクトの前記第1のユーザインターフェースオブジェクトの前記選択の検出に応じて、前記ディスプレイユニット上において、所定の応答メッセージを選択するためのユーザインターフェースの表示を有効にするように更に構成されている、請求項138又は139に記載の電子デバイス。
  141. 前記処理ユニットが、
    第1の所定の応答メッセージの選択を検出し、
    前記第1の所定の応答メッセージの前記選択の検出に応じて、前記第1の所定の応答メッセージの、前記アラートのソースへの送信を有効にするように更に構成されている、請求項140に記載の電子デバイス。
  142. 前記第1の所定の応答メッセージの、前記アラートの前記ソースへの送信を有効にすることが、
    前記ディスプレイユニット上において、確認アフォーダンスの表示を有効にすることと、
    前記確認アフォーダンスの選択を検出することと、
    前記確認アフォーダンスの前記選択の検出に応じて、前記第1の所定の応答メッセージの、前記アラートの前記ソースへの送信を有効にすることと、
    を含む、請求項141に記載の電子デバイス。
  143. 前記処理ユニットが、
    前記第1の所定の応答メッセージを前記ソースに送信した後に、
    前記ディスプレイユニット上において、メッセージ送信完了確認画面の表示を有効にすることと、
    前記ディスプレイユニット上において、前記メッセージ送信完了確認画面の前記表示を、前記ホーム画面の表示で置き換えることを有効にすることであって、前記ホーム画面が、前記アラートが未読であるという指標を伴わずに表示される、ことと、
    を行うように更に構成されている、請求項141又は142に記載の電子デバイス。
  144. 前記処理ユニットが、
    前記第3の複数のユーザインターフェースオブジェクトの第2のユーザインターフェースオブジェクトの選択を検出し、
    前記第3の複数のユーザインターフェースオブジェクトの前記第2のユーザインターフェースオブジェクトの前記選択の検出に応じて、前記ディスプレイユニット上において、絵文字アイコンを選択するためのユーザインターフェースの表示を有効にするように更に構成されている、請求項138又は139に記載の電子デバイス。
  145. 前記処理ユニットが、
    第1の絵文字アイコンの選択を検出し、
    前記第1の絵文字アイコンの前記選択の検出に応じて、前記第1の絵文字アイコンの、前記アラートの前記ソースへの送信を有効にするように更に構成されている、請求項144に記載の電子デバイス。
  146. 前記絵文字アイコンの、前記アラートの前記ソースへの送信を有効にすることが、
    前記ディスプレイユニット上において、確認アフォーダンスの表示を有効にすることと、
    前記確認アフォーダンスの選択を検出することと、
    前記確認アフォーダンスの前記選択の検出に応じて、前記絵文字アイコンの、前記アラートの前記ソースへの送信を有効にすることと、
    を含む、請求項145に記載の電子デバイス。
  147. 前記処理ユニットが、
    前記第2の複数のユーザインターフェースオブジェクトの第2のユーザインターフェースオブジェクトの選択を検出することと、
    前記第2の複数のユーザインターフェースオブジェクトの前記第2のユーザインターフェースオブジェクトの前記選択の検出に応じて、
    前記情報の前記第2の部分が前記ディスプレイユニット上に表示されたかどうかを判定することと、
    前記情報の前記第2の部分が前記ディスプレイユニット上に表示されたとの判定に従って、前記ディスプレイユニット上において、前記ホーム画面の表示を有効にすることであって、前記ホーム画面が、前記アラートが未読であるという指標を伴わずに表示される、ことと、
    前記情報の前記第2の部分が前記ディスプレイユニット上に表示されなかったとの判定に従って、前記ディスプレイユニット上において、前記ホーム画面の表示を有効にすることであって、前記ホーム画面が、前記アラートが未読であるという指標を含む、ことと、
    を行うように更に構成されている、請求項137に記載の電子デバイス。
  148. 前記処理ユニットが、
    前記第2の複数のユーザインターフェースオブジェクトの第2のユーザインターフェースオブジェクトの選択を検出することと、
    前記第2の複数のユーザインターフェースオブジェクトの前記第2のユーザインターフェースオブジェクトの前記選択の検出に応じて、
    前記情報の前記第2の部分が前記ディスプレイユニット上に表示されたかどうかを判定することと、
    前記情報の前記第2の部分が前記ディスプレイユニット上に表示されたとの判定に従って、前記ディスプレイユニット上において、前記時計文字盤の表示を有効にすることであって、前記時計文字盤が、前記アラートが未読であるという指標を伴わずに表示される、ことと、
    前記情報の前記第2の部分が前記ディスプレイユニット上に表示されなかったとの判定に従って、前記ディスプレイユニット上において、前記時計文字盤の表示を有効にすることであって、前記時計文字盤が、前記アラートが未読であるという指標を含む、ことと、
    を行うように更に構成されている、請求項137に記載の電子デバイス。
  149. 前記処理ユニットが、
    前記第2の複数のユーザインターフェースオブジェクトの第3のユーザインターフェースオブジェクトの選択を検出し、
    前記第2の複数のユーザインターフェースオブジェクトの前記第3のユーザインターフェースオブジェクトの前記選択の検出に応じて、前記ディスプレイユニット上において、仮想キーボードの表示を有効にするように更に構成されている、請求項137に記載の電子デバイス。
  150. 前記電子デバイスが、マイクロフォンユニットを更に備え、前記処理ユニットが、
    前記第2の複数のユーザインターフェースオブジェクトの第4のユーザインターフェースオブジェクトの選択を検出し、
    前記第2の複数のユーザインターフェースオブジェクトの前記第4のユーザインターフェースオブジェクトの前記選択の検出に応じて、
    前記マイクロフォンユニットからのオーディオ入力の記録を有効にし、
    前記記録したオーディオ入力に対応するデータの、前記アラートの前記ソースへの送信を有効にするように更に構成されている、請求項137に記載の電子デバイス。
  151. 前記記録したオーディオ入力に対応する前記データの送信を有効にすることが、
    前記ディスプレイユニット上において、前記記録したオーディオ入力の指標及び送信アフォーダンスの表示を有効にすることと、
    前記送信アフォーダンスの選択を検出することと、
    前記送信アフォーダンスの前記選択の検出に応じて、前記記録したオーディオ入力に対応する前記データの、前記アラートの前記ソースへの送信を有効にすることと、
    を含む、請求項150に記載の電子デバイス。
  152. 前記電子デバイスが、回転可能かつ押下可能な入力ユニットを更に備え、前記処理ユニットが、
    前記アプリケーションを起動させた後に、前記回転可能かつ押下可能な入力ユニットの押下を検出し、
    前記押下の検出に応じて、前記ディスプレイユニット上において、前記ホーム画面の表示を有効にするように更に構成されている、請求項103、122、又は134に記載の電子デバイス。
  153. 前記回転可能かつ押下可能な入力ユニットが、回転可能な機械式ボタンを含み、前記押下が、前記機械式ボタン上での押圧を表す、請求項152に記載の電子デバイス。
  154. 前記回転可能かつ押下可能な入力ユニットが、回転可能な容量性ボタンを含み、前記押下が、前記容量性ボタン上でのタッチを表す、請求項153に記載の電子デバイス。
  155. 前記通知が、第1の通知であり、前記処理ユニットが、
    前記第1の通知が前記ディスプレイユニット上に表示されている間に、第2の情報を含む第2のアラートを受信することと、
    前記第2のアラートの受信に応じて、前記ディスプレイユニット上において、前記第1の通知の表示を、第2の通知の表示で置き換えることを有効にすることであって、前記第2の通知が、前記第2の情報の第1の部分を含む、ことと、
    を行うように更に構成されている、請求項96又は97に記載の電子デバイス。
  156. 前記処理ユニットが、
    前記第2のアラートの受信に応じて、第2の知覚出力を有効にするように更に構成されている、請求項155に記載の電子デバイス。
  157. 前記処理ユニットが、
    前記第2の通知を消去する要求を検出し、
    前記要求の検出に応じて、
    前記第2の通知の前記ディスプレイユニットからの消去を有効にし、
    前記ディスプレイユニット上において、前記第1の通知の再表示を有効にするように更に構成されている、請求項155又は156に記載の電子デバイス。
  158. 前記処理ユニットが、
    前記第2の通知を消去する要求を検出することと、
    前記要求の検出に応じて、
    前記第2の通知の前記ディスプレイユニットからの消去を有効にすることと、
    前記ディスプレイユニット上において、前記ホーム画面の表示を有効にすることであって、前記ホーム画面が、前記第1のアラート及び前記第2のアラートが未読であるという指標を含む、ことと、
    を行うように更に構成されている、請求項155又は156に記載の電子デバイス。
  159. 前記処理ユニットが、
    前記第2の通知を消去する要求を検出することと、
    前記要求の検出に応じて、
    前記第2の通知の前記ディスプレイユニットからの消去を有効にすることと、
    前記ディスプレイユニット上において、前記時計文字盤の表示を有効にすることであって、前記時計文字盤が、前記第1のアラート及び前記第2のアラートが未読であるという指標を含む、ことと、
    を行うように更に構成されている、請求項155又は156に記載の電子デバイス。
  160. 前記処理ユニットが、
    前記情報の前記第2の部分を前記ディスプレイユニット上に表示している間に、第2の情報を含む第2のアラートを受信することと、
    前記第2のアラートの受信に応じて、前記ディスプレイユニット上において、前記情報の前記第2の部分の表示を、第2の通知の表示で置き換えることを有効にすることであって、前記第2の通知が、前記第2の情報の第1の部分を含む、ことと、
    を行うように更に構成されている、請求項116から120のいずれか一項に記載の電子デバイス。
  161. 前記アラートが、ソースから受信した第1のアラートであり、前記処理ユニットが、
    前記情報の前記第2の部分を前記ディスプレイユニット上に表示している間に、前記ソースから第2のアラートを受信し、
    前記第2のアラートの受信に応じて、前記ディスプレイユニット上において、前記第1のアラート及び前記第2のアラートを表すグループ化された通知の表示を有効にするように更に構成されている、請求項116から120に記載の電子デバイス。
  162. 前記第1のアラート及び前記第2のアラートが、同じアプリケーションに関連付けられている、請求項161に記載の電子デバイス。
  163. 前記処理ユニットが、
    前記グループ化された通知上で第6の接触を検出することと、
    前記第6の接触の検出に応じて、前記ディスプレイユニット上において、前記ソースから受信したアラートのリストの表示を有効にすることであって、前記アラートのリストが、同じアプリケーションに関連付けられている、ことと、
    を行うように更に構成されている、請求項162に記載の電子デバイス。
  164. 前記アラートが、フィットネスアラートであり、前記処理ユニットが、
    第2の所定の時間インターバル後に、前記ディスプレイユニット上において、前記通知の表示を、フィットネスの進捗を表すユーザインターフェースオブジェクトの表示で置き換えることを有効にすることと、
    第3の所定の時間インターバル後に、前記ディスプレイユニット上において、前記ユーザインターフェースオブジェクトの表示を、前記情報の前記第2の部分の表示で置き換えることを有効にすることであって、前記第2の部分が、前記第1の部分とは異なる、ことと、
    を行うように更に構成されている、請求項96又は97に記載の電子デバイス。
  165. 前記アラートが未読であるという前記指標が、シェブロンの表示を含む、請求項98、99、114、115、147、148、158、及び159のいずれか一項に記載の電子デバイス。
  166. 前記シェブロンの前記表示が、アニメーション化されている、請求項165に記載の電子デバイス。
  167. 前記シェブロンが、第1の方向に向いており、前記ディスプレイが、タッチ感知ディスプレイであり、前記方法が、
    前記ディスプレイ上での前記第1の方向へのスワイプの検出に応じて、前記通知を前記ディスプレイ上に表示することを更に含む、請求項165に記載の電子デバイス。
  168. ディスプレイユニットと、
    前記ディスプレイユニットに結合された処理ユニットと、を備える電子デバイスであって、前記処理ユニットは、
    複数のアラートを受信し、
    前記複数のアラートの受信に応じて、前記複数のアラートがグループ化基準に合致するかどうかを判定し、
    前記複数のアラートが前記グループ化基準に合致するとの判定に従って、前記ディスプレイユニット上において、前記複数のアラートを表すグループ化された通知の表示を有効にし、
    前記複数のアラートが前記グループ化基準に合致しないとの判定に応じて、前記ディスプレイユニット上において、前記複数のアラートを表す複数の通知の表示を有効にするように構成されている、電子デバイス。
  169. 前記グループ化基準が、
    前記複数のアラートが同じソースから受信されているかどうか、
    前記複数のアラートがアラートの数値閾値を超えるかどうか、
    前記複数のアラートが同じアプリケーションに関連付けられているかどうか、及び、
    前記複数のアラートが所定の期間内で受信されているかどうか、
    からなる群から選択される1つ以上の基準に基づいている、請求項168に記載の電子デバイス。
  170. 前記複数のアラートが、同じソースから受信され、かつ同じアプリケーションに関連付けられている第1のアラート及び第2のアラートを含み、前記第1のアラート及び前記第2のアラートが、前記グループ化基準に合致し、前記第1のアラートが、第1の情報を含み、前記第2のアラートが、第2の情報を含み、前記ディスプレイユニットが、タッチ感知ディスプレイユニットであり、前記処理ユニットが、
    前記タッチ感知ディスプレイユニット上において、前記グループ化された通知に対応する位置で第7の接触を検出し、
    前記第7の接触の検出に応じて、前記タッチ感知ディスプレイユニット上において、前記第1の情報及び前記第2の情報の表示を有効にするように更に構成されている、請求項168に記載の電子デバイス。
  171. 前記第1のアラート及び前記第2のアラートが、異なるソースから受信され、かつ同じアプリケーションに関連付けられており、前記ディスプレイユニットが、タッチ感知ディスプレイユニットであり、前記処理ユニットが、
    前記タッチ感知ディスプレイユニット上において、前記グループ化された通知に対応する位置で第8の接触を検出することと、
    前記第8の接触の検出に応じて、前記タッチ感知ディスプレイユニット上において、前記アプリケーションに関連付けられたアラートのリストの表示を有効にすることであって、前記アラートのリストが、前記第1のアラート及び前記第2のアラートを含む、ことと、
    を行うように更に構成されている、請求項168に記載の電子デバイス。
  172. 前記複数のアラートが、複数のアプリケーションに関連付けられており、前記複数のアラートが、前記グループ化基準に合致し、前記ディスプレイユニットが、タッチ感知ディスプレイユニットであり、前記処理ユニットが、
    前記タッチ感知ディスプレイユニット上において、前記複数のアラートを表すグループ化された通知の表示を有効にすることと、
    前記タッチ感知ディスプレイユニット上において、前記グループ化された通知に対応する位置で第9の接触を検出することと、
    前記第9の接触の検出に応じて、前記タッチ感知ディスプレイユニット上において、前記複数のアラートを表す通知のリストの表示を有効にすることであって、前記受信したアラートが、前記第1のアラート及び前記第2のアラートを含む、ことと、
    を行うように更に構成されている、請求項168に記載の電子デバイス。
  173. 前記処理ユニットが、
    前記複数のアラートの受信に更に応じて、知覚出力を有効にするように更に構成されている、請求項168に記載の電子デバイス。
  174. 前記処理ユニットが、
    前記複数のアラートが前記グループ化基準に合致するとの判定に更に従って、単一の知覚出力を有効にし、
    前記複数のアラートが前記グループ化基準に合致しないとの判定に更に従って、前記複数のアラートに対応する複数の知覚出力を有効にするように更に構成されている、請求項168に記載の電子デバイス。
  175. タッチ感知ディスプレイユニットと、
    前記タッチ感知ディスプレイユニットに結合された処理ユニットと、を備える電子デバイスであって、前記処理ユニットが、
    前記タッチ感知ディスプレイユニットがコンテンツを能動的に表示している間に、情報を含むアラートを受信することと、
    前記アラートの受信に応じて、通知バナーの、前記タッチ感知ディスプレイユニットの一部分にわたる表示を有効にすることであって、前記通知バナーが、前記情報の第1の部分を含み、前記コンテンツの少なくとも一部分が、前記タッチ感知ディスプレイユニット上に表示され続ける、ことと、
    前記タッチ感知ディスプレイユニット上において、前記通知バナーに対応する位置で接触を検出することと、
    前記接触の検出に応じて、前記タッチ感知ディスプレイユニット上において、前記情報の第2の部分の表示を有効にすることであって、前記第2の部分が、前記第1の部分とは異なる、ことと、
    を行うように構成されている、電子デバイス。
JP2022202284A 2014-09-02 2022-12-19 アラートを管理するための小型インターフェース Pending JP2023051982A (ja)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201462044894P 2014-09-02 2014-09-02
US62/044,894 2014-09-02
US201562129818P 2015-03-07 2015-03-07
US62/129,818 2015-03-07
JP2019000698A JP6852952B2 (ja) 2014-09-02 2019-01-07 アラートを管理するための小型インターフェース
JP2021037591A JP7198849B2 (ja) 2014-09-02 2021-03-09 アラートを管理するための小型インターフェース

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2021037591A Division JP7198849B2 (ja) 2014-09-02 2021-03-09 アラートを管理するための小型インターフェース

Publications (1)

Publication Number Publication Date
JP2023051982A true JP2023051982A (ja) 2023-04-11

Family

ID=54064567

Family Applications (5)

Application Number Title Priority Date Filing Date
JP2017510297A Active JP6349030B2 (ja) 2014-09-02 2015-08-06 アラートを管理するための小型インターフェース
JP2018072632A Active JP6464299B2 (ja) 2014-09-02 2018-04-04 アラートを管理するための小型インターフェース
JP2019000698A Active JP6852952B2 (ja) 2014-09-02 2019-01-07 アラートを管理するための小型インターフェース
JP2021037591A Active JP7198849B2 (ja) 2014-09-02 2021-03-09 アラートを管理するための小型インターフェース
JP2022202284A Pending JP2023051982A (ja) 2014-09-02 2022-12-19 アラートを管理するための小型インターフェース

Family Applications Before (4)

Application Number Title Priority Date Filing Date
JP2017510297A Active JP6349030B2 (ja) 2014-09-02 2015-08-06 アラートを管理するための小型インターフェース
JP2018072632A Active JP6464299B2 (ja) 2014-09-02 2018-04-04 アラートを管理するための小型インターフェース
JP2019000698A Active JP6852952B2 (ja) 2014-09-02 2019-01-07 アラートを管理するための小型インターフェース
JP2021037591A Active JP7198849B2 (ja) 2014-09-02 2021-03-09 アラートを管理するための小型インターフェース

Country Status (12)

Country Link
US (6) US9575591B2 (ja)
EP (3) EP3189409B1 (ja)
JP (5) JP6349030B2 (ja)
KR (3) KR101901796B1 (ja)
CN (6) CN205334368U (ja)
AU (7) AU2015312369B2 (ja)
DE (1) DE202015006066U1 (ja)
DK (3) DK178964B1 (ja)
HK (1) HK1220525A1 (ja)
NL (2) NL2015354B1 (ja)
TW (1) TWI625646B (ja)
WO (1) WO2016036472A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024202274A1 (ja) 2023-03-28 2024-10-03 日本ペイント・オートモーティブコーティングス株式会社 塗料組成物、塗装物品および塗装物品の製造方法

Families Citing this family (164)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9190110B2 (en) 2009-05-12 2015-11-17 JBF Interlude 2009 LTD System and method for assembling a recorded composition
US11232458B2 (en) 2010-02-17 2022-01-25 JBF Interlude 2009 LTD System and method for data mining within interactive multimedia
US8893033B2 (en) * 2011-05-27 2014-11-18 Microsoft Corporation Application notifications
US9002322B2 (en) 2011-09-29 2015-04-07 Apple Inc. Authentication with secondary approver
US9009619B2 (en) 2012-09-19 2015-04-14 JBF Interlude 2009 Ltd—Israel Progress bar for branched videos
USD763860S1 (en) * 2013-03-04 2016-08-16 Tixtrack, Inc. Display panel or portion thereof with graphical user interface
US9257148B2 (en) 2013-03-15 2016-02-09 JBF Interlude 2009 LTD System and method for synchronization of selectably presentable media streams
KR101419764B1 (ko) * 2013-06-07 2014-07-17 정영민 휴대단말기의 음성 이모티콘 제어방법
US10448119B2 (en) 2013-08-30 2019-10-15 JBF Interlude 2009 LTD Methods and systems for unfolding video pre-roll
US20160019360A1 (en) 2013-12-04 2016-01-21 Apple Inc. Wellness aggregator
US12080421B2 (en) 2013-12-04 2024-09-03 Apple Inc. Wellness aggregator
US9653115B2 (en) 2014-04-10 2017-05-16 JBF Interlude 2009 LTD Systems and methods for creating linear video from branched video
US9792026B2 (en) 2014-04-10 2017-10-17 JBF Interlude 2009 LTD Dynamic timeline for branched video
US20150350146A1 (en) 2014-05-29 2015-12-03 Apple Inc. Coordination of message alert presentations across devices based on device modes
US9606706B2 (en) 2014-05-30 2017-03-28 Apple Inc. Battery usage tracking user interface
US10382378B2 (en) 2014-05-31 2019-08-13 Apple Inc. Live location sharing
US9185062B1 (en) 2014-05-31 2015-11-10 Apple Inc. Message user interfaces for capture and transmittal of media and location content
EP3195098B1 (en) 2014-07-21 2024-10-23 Apple Inc. Remote user interface
EP3195096B1 (en) 2014-08-02 2020-08-12 Apple Inc. Context-specific user interfaces
CN114115459B (zh) 2014-08-06 2024-04-12 苹果公司 用于电池管理的减小尺寸的用户界面
US10228751B2 (en) 2014-08-06 2019-03-12 Apple Inc. Low power mode
US10452253B2 (en) 2014-08-15 2019-10-22 Apple Inc. Weather user interface
US9647489B2 (en) 2014-08-26 2017-05-09 Apple Inc. Brownout avoidance
CN111180040B (zh) 2014-09-02 2023-11-10 苹果公司 身体活动和健身监视器
CN115623117A (zh) 2014-09-02 2023-01-17 苹果公司 电话用户界面
WO2016036603A1 (en) 2014-09-02 2016-03-10 Apple Inc. Reduced size configuration interface
KR101901796B1 (ko) * 2014-09-02 2018-09-28 애플 인크. 경고를 관리하기 위한 축소된 크기의 인터페이스
US9792957B2 (en) * 2014-10-08 2017-10-17 JBF Interlude 2009 LTD Systems and methods for dynamic video bookmarking
US11412276B2 (en) 2014-10-10 2022-08-09 JBF Interlude 2009 LTD Systems and methods for parallel track transitions
WO2016144385A1 (en) 2015-03-08 2016-09-15 Apple Inc. Sharing user-configurable graphical constructs
WO2016165135A1 (zh) * 2015-04-17 2016-10-20 华为技术有限公司 联系人信息添加方法及用户设备
US10582265B2 (en) 2015-04-30 2020-03-03 JBF Interlude 2009 LTD Systems and methods for nonlinear video playback using linear real-time video players
US20160342327A1 (en) * 2015-05-22 2016-11-24 Lg Electronics Inc. Watch-type mobile terminal and method of controlling therefor
TW201642110A (zh) * 2015-05-22 2016-12-01 富智康(香港)有限公司 通知介面控制系統及方法
US9916075B2 (en) 2015-06-05 2018-03-13 Apple Inc. Formatting content for a reduced-size user interface
KR20160143338A (ko) * 2015-06-05 2016-12-14 엘지전자 주식회사 이동단말기 및 그 제어방법
JP6696737B2 (ja) 2015-06-26 2020-05-20 シャープ株式会社 コンテンツ表示装置及びプログラム
KR20170007940A (ko) * 2015-07-13 2017-01-23 삼성전자주식회사 커버를 착용한 전자 장치 및 그의 표시 제어 방법
US10003938B2 (en) 2015-08-14 2018-06-19 Apple Inc. Easy location sharing
EP4327731A3 (en) 2015-08-20 2024-05-15 Apple Inc. Exercise-based watch face
US10460765B2 (en) 2015-08-26 2019-10-29 JBF Interlude 2009 LTD Systems and methods for adaptive and responsive video
US9916025B2 (en) * 2015-09-08 2018-03-13 Samsung Electronics Co., Ltd. Performing searches using computing devices equipped with pressure-sensitive displays
JP2017079042A (ja) * 2015-10-22 2017-04-27 富士通株式会社 注意喚起対処支援プログラム、注意喚起対処支援装置、及び注意喚起対処支援方法
DE102015016152A1 (de) 2015-12-12 2017-06-14 Daimler Ag Haptische Rückmeldung bei einer Nutzerschnittstelle
US11164548B2 (en) 2015-12-22 2021-11-02 JBF Interlude 2009 LTD Intelligent buffering of large-scale video
US11128853B2 (en) 2015-12-22 2021-09-21 JBF Interlude 2009 LTD Seamless transitions in large-scale video
US20170185275A1 (en) * 2015-12-28 2017-06-29 Sap Se Method and system for integrated application notifications
EP3388930A4 (en) * 2015-12-31 2018-12-26 Huawei Technologies Co., Ltd. Method and terminal for responding to gesture acting on touch screen
US10169560B2 (en) * 2016-02-04 2019-01-01 Lenovo Enterprise Solutions (Singapore) Pte. Ltd. Stimuli-based authentication
WO2017156112A1 (en) * 2016-03-10 2017-09-14 FlyInside, Inc. Contextual virtual reality interaction
EP3425490B1 (en) 2016-03-15 2023-10-04 Huawei Technologies Co., Ltd. Human-machine interface method and device
US10462202B2 (en) 2016-03-30 2019-10-29 JBF Interlude 2009 LTD Media stream rate synchronization
US11856271B2 (en) 2016-04-12 2023-12-26 JBF Interlude 2009 LTD Symbiotic interactive video
US20170329467A1 (en) * 2016-05-13 2017-11-16 Google Inc. Coalescing Notifications Associated with Interactive Digital Content
USD842336S1 (en) 2016-05-17 2019-03-05 Google Llc Display screen with animated graphical user interface
US10345986B1 (en) * 2016-05-17 2019-07-09 Google Llc Information cycling in graphical notifications
DK201770423A1 (en) 2016-06-11 2018-01-15 Apple Inc Activity and workout updates
DK201670622A1 (en) 2016-06-12 2018-02-12 Apple Inc User interfaces for transactions
US10218760B2 (en) 2016-06-22 2019-02-26 JBF Interlude 2009 LTD Dynamic summary generation for real-time switchable videos
US9736810B1 (en) * 2016-06-24 2017-08-15 Lenovo Enterprise Solutions (Singapore) Pte. Ltd. Systems and methods for managing user notifications based on user interaction with a computing device
JP6493329B2 (ja) * 2016-07-29 2019-04-03 京セラドキュメントソリューションズ株式会社 電子機器及び画像形成装置
US11831492B2 (en) * 2016-08-16 2023-11-28 Nicira, Inc. Group-based network event notification
CN106469041A (zh) * 2016-08-30 2017-03-01 北京小米移动软件有限公司 推送消息的方法及装置、终端设备
DK179802B1 (en) * 2016-09-06 2019-06-26 Apple Inc. Devices, methods and graphical user interfaces for generating tactile outputs
US10736543B2 (en) 2016-09-22 2020-08-11 Apple Inc. Workout monitor interface
CN114740963B (zh) 2016-09-23 2024-06-28 苹果公司 观影模式
CN109791528B (zh) * 2016-10-24 2023-04-28 惠普发展公司,有限责任合伙企业 配置坞
US9788298B1 (en) * 2016-12-01 2017-10-10 Immersion Corporation Smart surfaces for visuo-haptics notifications
US10848483B2 (en) * 2016-12-08 2020-11-24 Ricoh Company, Ltd. Shared terminal, communication system, and display control method, and recording medium
US11050809B2 (en) 2016-12-30 2021-06-29 JBF Interlude 2009 LTD Systems and methods for dynamic weighting of branched video paths
WO2018182805A1 (en) 2017-03-27 2018-10-04 Google Llc Dismissing displayed elements
CN108737147B (zh) * 2017-04-25 2021-09-03 中国移动通信集团广东有限公司 一种网络告警事件处理方法及装置
US11402909B2 (en) 2017-04-26 2022-08-02 Cognixion Brain computer interface for augmented reality
US11237635B2 (en) 2017-04-26 2022-02-01 Cognixion Nonverbal multi-input and feedback devices for user intended computer control and communication of text, graphics and audio
US10169979B2 (en) * 2017-05-04 2019-01-01 General Electric Company Communicating alarm trigger status
DK179412B1 (en) 2017-05-12 2018-06-06 Apple Inc Context-Specific User Interfaces
KR102068620B1 (ko) * 2017-05-12 2020-01-21 애플 인크. 상황 특정 사용자 인터페이스
US10845955B2 (en) 2017-05-15 2020-11-24 Apple Inc. Displaying a scrollable list of affordances associated with physical activities
DK179555B1 (en) 2017-05-16 2019-02-13 Apple Inc. USER INTERFACE FOR A FLASHLIGHT MODE ON AN ELECTRONIC DEVICE
US10511707B2 (en) 2017-05-16 2019-12-17 Apple Inc. Voice communication method
WO2018213506A2 (en) * 2017-05-16 2018-11-22 Apple Inc. Voice communication method
CN110720085B (zh) 2017-05-16 2021-06-25 苹果公司 语音通信方法
CN118264635A (zh) 2017-05-16 2024-06-28 苹果公司 用于对等传输的用户界面
CN111343060B (zh) 2017-05-16 2022-02-11 苹果公司 用于家庭媒体控制的方法和界面
US20220279063A1 (en) 2017-05-16 2022-09-01 Apple Inc. Methods and interfaces for home media control
US11765114B2 (en) 2017-05-16 2023-09-19 Apple Inc. Voice communication method
US10466889B2 (en) 2017-05-16 2019-11-05 Apple Inc. Devices, methods, and graphical user interfaces for accessing notifications
US10951043B2 (en) 2017-06-04 2021-03-16 Apple Inc. Multi-device charging user interface
US10650567B2 (en) 2017-06-09 2020-05-12 FlyInside, Inc. Optimizing processing time of a simulation engine
US10347193B2 (en) * 2017-06-23 2019-07-09 Blackberry Limited Electronic device including display and method of applying privacy filter
US10395638B2 (en) * 2017-07-08 2019-08-27 International Business Machines Corporation Natural language processing to merge related alert messages for accessibility
KR102349681B1 (ko) * 2017-07-28 2022-01-12 삼성전자주식회사 결여된 파라미터를 획득하고 기록하는 전자 장치
US10589960B2 (en) * 2017-07-31 2020-03-17 Otis Elevator Company User device including secondary-touch elevator service request interface
US20190068771A1 (en) * 2017-08-24 2019-02-28 Microsoft Technology Licensing, Llc External device for communicating with conferencing client using notification api
US10599199B1 (en) 2017-12-20 2020-03-24 Apple Inc. Systems and methods for power management at device shutdown
US11363133B1 (en) 2017-12-20 2022-06-14 Apple Inc. Battery health-based power management
US10817307B1 (en) 2017-12-20 2020-10-27 Apple Inc. API behavior modification based on power source health
US10257578B1 (en) 2018-01-05 2019-04-09 JBF Interlude 2009 LTD Dynamic library display for interactive videos
DK180241B1 (en) 2018-03-12 2020-09-08 Apple Inc User interfaces for health monitoring
WO2019209391A1 (en) * 2018-04-27 2019-10-31 Dropbox, Inc. Comment previews displayed in context within content item
US11249950B2 (en) 2018-04-27 2022-02-15 Dropbox, Inc. Aggregated details displayed within file browser interface
US11327650B2 (en) 2018-05-07 2022-05-10 Apple Inc. User interfaces having a collection of complications
US11317833B2 (en) 2018-05-07 2022-05-03 Apple Inc. Displaying user interfaces associated with physical activities
US11601721B2 (en) 2018-06-04 2023-03-07 JBF Interlude 2009 LTD Interactive video dynamic adaptation and user profiling
JP7173814B2 (ja) * 2018-09-28 2022-11-16 キヤノン株式会社 情報処理装置、制御方法およびプログラム
CN109739669B (zh) * 2019-01-15 2020-09-18 维沃移动通信有限公司 一种未读消息提示方法及移动终端
CN113795810A (zh) * 2019-05-06 2021-12-14 苹果公司 独立可穿戴设备配置和界面
US11960701B2 (en) 2019-05-06 2024-04-16 Apple Inc. Using an illustration to show the passing of time
DK201970532A1 (en) 2019-05-06 2021-05-03 Apple Inc Activity trends and workouts
US11131967B2 (en) 2019-05-06 2021-09-28 Apple Inc. Clock faces for an electronic device
JP6921338B2 (ja) 2019-05-06 2021-08-18 アップル インコーポレイテッドApple Inc. 電子デバイスの制限された動作
US11646591B2 (en) 2019-05-09 2023-05-09 Apple Inc. Indication for protective charging mode
US11620103B2 (en) 2019-05-31 2023-04-04 Apple Inc. User interfaces for audio media control
DK201970533A1 (en) 2019-05-31 2021-02-15 Apple Inc Methods and user interfaces for sharing audio
US10996917B2 (en) 2019-05-31 2021-05-04 Apple Inc. User interfaces for audio media control
EP3959596A1 (en) * 2019-05-31 2022-03-02 Apple Inc. Methods and user interfaces for sharing audio
US11477609B2 (en) 2019-06-01 2022-10-18 Apple Inc. User interfaces for location-related communications
US11144176B2 (en) * 2019-06-01 2021-10-12 Apple Inc. User interfaces for electronic voice communications
WO2020247289A1 (en) * 2019-06-01 2020-12-10 Apple Inc. User interfaces for managing audio exposure
US11152100B2 (en) 2019-06-01 2021-10-19 Apple Inc. Health application user interfaces
JP7297940B2 (ja) 2019-06-01 2023-06-26 アップル インコーポレイテッド マルチモードの活動追跡ユーザインタフェース
US11481094B2 (en) 2019-06-01 2022-10-25 Apple Inc. User interfaces for location-related communications
US12002588B2 (en) 2019-07-17 2024-06-04 Apple Inc. Health event logging and coaching user interfaces
DK180684B1 (en) 2019-09-09 2021-11-25 Apple Inc Techniques for managing display usage
US11490047B2 (en) 2019-10-02 2022-11-01 JBF Interlude 2009 LTD Systems and methods for dynamically adjusting video aspect ratios
CN113127613B (zh) * 2020-01-10 2024-01-09 北京搜狗科技发展有限公司 聊天信息处理方法及装置
DK202070612A1 (en) 2020-02-14 2021-10-26 Apple Inc User interfaces for workout content
US12096081B2 (en) 2020-02-18 2024-09-17 JBF Interlude 2009 LTD Dynamic adaptation of interactive video players using behavioral analytics
US11245961B2 (en) 2020-02-18 2022-02-08 JBF Interlude 2009 LTD System and methods for detecting anomalous activities for interactive videos
US11137904B1 (en) 2020-03-10 2021-10-05 Apple Inc. Devices, methods, and graphical user interfaces for interacting with user interface objects corresponding to applications
JP2021152879A (ja) * 2020-03-19 2021-09-30 カシオ計算機株式会社 情報処理装置、情報処理方法およびプログラム
CN115904596B (zh) 2020-05-11 2024-02-02 苹果公司 用于管理用户界面共享的用户界面
DK181103B1 (en) 2020-05-11 2022-12-15 Apple Inc User interfaces related to time
US11372659B2 (en) 2020-05-11 2022-06-28 Apple Inc. User interfaces for managing user interface sharing
US11340707B2 (en) * 2020-05-29 2022-05-24 Microsoft Technology Licensing, Llc Hand gesture-based emojis
DK181037B1 (en) 2020-06-02 2022-10-10 Apple Inc User interfaces for health applications
US11816194B2 (en) 2020-06-21 2023-11-14 Apple Inc. User interfaces for managing secure operations
US12047637B2 (en) 2020-07-07 2024-07-23 JBF Interlude 2009 LTD Systems and methods for seamless audio and video endpoint transitions
US11698710B2 (en) 2020-08-31 2023-07-11 Apple Inc. User interfaces for logging user activities
US11392291B2 (en) 2020-09-25 2022-07-19 Apple Inc. Methods and interfaces for media control with dynamic feedback
US11694590B2 (en) 2020-12-21 2023-07-04 Apple Inc. Dynamic user interface with time indicator
CN112612626A (zh) * 2020-12-28 2021-04-06 北京小米移动软件有限公司 信息处理方法及装置、存储介质
US11720239B2 (en) 2021-01-07 2023-08-08 Apple Inc. Techniques for user interfaces related to an event
US20220335696A1 (en) * 2021-04-14 2022-10-20 Cilag Gmbh International Mixed reality feedback systems that cooperate to increase efficient perception of complex data feeds
US11921992B2 (en) 2021-05-14 2024-03-05 Apple Inc. User interfaces related to time
US11938376B2 (en) 2021-05-15 2024-03-26 Apple Inc. User interfaces for group workouts
US11882337B2 (en) 2021-05-28 2024-01-23 JBF Interlude 2009 LTD Automated platform for generating interactive videos
US11847378B2 (en) 2021-06-06 2023-12-19 Apple Inc. User interfaces for audio routing
US11604550B1 (en) * 2021-08-20 2023-03-14 Cirque Corporation Simultaneous use of a capacitance-based track pad
CN113655929A (zh) * 2021-08-26 2021-11-16 维沃移动通信有限公司 界面显示的适配处理方法、装置和电子设备
US11893203B2 (en) 2021-08-31 2024-02-06 Apple Inc. Methods and interfaces for initiating communications
EP4388478A1 (en) * 2021-09-20 2024-06-26 Apple Inc. Requests to add assets to an asset account
US11784956B2 (en) 2021-09-20 2023-10-10 Apple Inc. Requests to add assets to an asset account
JPWO2023047228A1 (ja) 2021-09-22 2023-03-30
US11934477B2 (en) 2021-09-24 2024-03-19 JBF Interlude 2009 LTD Video player integration within websites
USD1029863S1 (en) * 2021-12-15 2024-06-04 Huawei Technologies Co., Ltd. Display screen or portion thereof with transitional graphical user interface
USD1038144S1 (en) * 2021-12-15 2024-08-06 Huawei Technologies Co., Ltd. Display screen or portion thereof with graphical user interface
USD1042496S1 (en) * 2021-12-15 2024-09-17 Huawei Technologies Co., Ltd. Display screen or portion thereof with graphical user interface
US20230236547A1 (en) 2022-01-24 2023-07-27 Apple Inc. User interfaces for indicating time
EP4273678A1 (en) 2022-05-06 2023-11-08 Apple Inc. Devices, methods, and graphical user interfaces for updating a session region
US11842028B2 (en) 2022-05-06 2023-12-12 Apple Inc. Devices, methods, and graphical user interfaces for updating a session region
US12008290B2 (en) 2022-05-16 2024-06-11 Apple Inc. Methods and user interfaces for monitoring sound reduction
US20230390626A1 (en) 2022-06-05 2023-12-07 Apple Inc. User interfaces for physical activity information
US11977729B2 (en) 2022-06-05 2024-05-07 Apple Inc. Physical activity information user interfaces

Family Cites Families (693)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US190059A (en) 1877-04-24 Improvement in screw-cutting dies
US17692A (en) 1857-06-30 Fence
US3859005A (en) 1973-08-13 1975-01-07 Albert L Huebner Erosion reduction in wet turbines
JPS5580084A (en) 1978-12-12 1980-06-16 Seiko Instr & Electronics Ltd Electronic wrist watch with computer
US4826405A (en) 1985-10-15 1989-05-02 Aeroquip Corporation Fan blade fabrication system
KR910007197B1 (ko) 1988-08-23 1991-09-19 삼성전자 주식회사 리모트 콘트롤회로
US5404295A (en) 1990-08-16 1995-04-04 Katz; Boris Method and apparatus for utilizing annotations to facilitate computer retrieval of database material
GB9220404D0 (en) 1992-08-20 1992-11-11 Nat Security Agency Method of identifying,retrieving and sorting documents
US5444823A (en) 1993-04-16 1995-08-22 Compaq Computer Corporation Intelligent search engine for associated on-line documentation having questionless case-based knowledge base
US5495604A (en) 1993-08-25 1996-02-27 Asymetrix Corporation Method and apparatus for the modeling and query of database structures using natural language-like constructs
US5479378A (en) * 1993-12-17 1995-12-26 Seiko Telecommunication Systems Inc. Analog wristwatch paging receiver
US6191807B1 (en) 1994-05-27 2001-02-20 Canon Kabushiki Kaisha Communication apparatus and method for performing a file transfer operation
US5655094A (en) 1995-09-29 1997-08-05 International Business Machines Corporation Pop up scroll bar
US5801700A (en) 1996-01-19 1998-09-01 Silicon Graphics Incorporated System and method for an iconic drag and drop interface for electronic file transfer
US6014429A (en) 1996-08-12 2000-01-11 Lucent Technologies, Inc. Two-way wireless messaging system with transaction server
US6002402A (en) 1997-04-09 1999-12-14 Symantec Corporation System and method for producing a drag-and-drop object from a popup menu item
US6137864A (en) 1997-07-25 2000-10-24 Lucent Technologies Inc. Specifiable delete times for voice messaging
JPH1145117A (ja) 1997-07-25 1999-02-16 Mitsubishi Electric Corp メッセージ表示システム
US6266098B1 (en) 1997-10-22 2001-07-24 Matsushita Electric Corporation Of America Function presentation and selection using a rotatable function menu
EP1717679B1 (en) 1998-01-26 2016-09-21 Apple Inc. Method for integrating manual input
US20060033724A1 (en) 2004-07-30 2006-02-16 Apple Computer, Inc. Virtual input device placement on a touch screen user interface
US7663607B2 (en) 2004-05-06 2010-02-16 Apple Inc. Multipoint touchscreen
US7844914B2 (en) 2004-07-30 2010-11-30 Apple Inc. Activating virtual keys of a touch-screen virtual keyboard
US7614008B2 (en) 2004-07-30 2009-11-03 Apple Inc. Operation of a computer with touch screen interface
US8479122B2 (en) 2004-07-30 2013-07-02 Apple Inc. Gestures for touch sensitive input devices
JP3511462B2 (ja) 1998-01-29 2004-03-29 インターナショナル・ビジネス・マシーンズ・コーポレーション 操作画像表示装置およびその方法
US6253075B1 (en) 1998-05-19 2001-06-26 Nokia Mobile Phones Ltd. Method and apparatus for incoming call rejection
US6484027B1 (en) * 1998-06-15 2002-11-19 Sbc Technology Resources, Inc. Enhanced wireless handset, including direct handset-to-handset communication mode
EP1133878A1 (en) 1998-09-15 2001-09-19 In Touch Technologies Limited Communication services
US20020126135A1 (en) 1998-10-19 2002-09-12 Keith Ball Image sharing for instant messaging
JP2000209660A (ja) 1999-01-01 2000-07-28 Sanyo Electric Co Ltd 通信機
EP1052566A1 (en) 1999-05-14 2000-11-15 Alcatel Graphical user interface
GB2350523B (en) 1999-05-26 2003-11-26 Nokia Mobile Phones Ltd Communication device
US20030181201A1 (en) 1999-07-09 2003-09-25 Daniel S. Bomze Mobile communication device for electronic commerce
US7149893B1 (en) 1999-09-07 2006-12-12 Poofaway.Com, Inc. System and method for enabling the originator of an electronic mail message to preset an expiration time, date, and/or event, and to control processing or handling by a recipient
US7391865B2 (en) 1999-09-20 2008-06-24 Security First Corporation Secure data parser method and system
US20040169722A1 (en) 1999-10-16 2004-09-02 Pena Martin Rangel Method and system for computer-aided telecommunication and financial transactions
CA2321014C (en) 1999-10-20 2012-06-19 Paul M. Toupin Single action audio prompt interface utilising binary state time domain multiple selection protocol
EP2264895A3 (en) 1999-10-27 2012-01-25 Systems Ltd Keyless Integrated keypad system
US6941345B1 (en) 1999-12-03 2005-09-06 Nortel Networks Limited Real-time, text-based messaging between devices in plural communities
US7089292B1 (en) 1999-12-20 2006-08-08 Vulcan Patents, Llc Interface including non-visual display for use in browsing an indexed collection of electronic content
US6597378B1 (en) 2000-01-18 2003-07-22 Seiko Epson Corporation Display device, portable information processing apparatus, information storage medium, and electronic apparatus
US6809724B1 (en) 2000-01-18 2004-10-26 Seiko Epson Corporation Display apparatus and portable information processing apparatus
US6661438B1 (en) 2000-01-18 2003-12-09 Seiko Epson Corporation Display apparatus and portable information processing apparatus
US6587835B1 (en) 2000-02-09 2003-07-01 G. Victor Treyz Shopping assistance with handheld computing device
US7627531B2 (en) 2000-03-07 2009-12-01 American Express Travel Related Services Company, Inc. System for facilitating a transaction
CN100594701C (zh) 2000-03-16 2010-03-17 微软公司 一种通知系统
US6694297B2 (en) 2000-03-30 2004-02-17 Fujitsu Limited Text information read-out device and music/voice reproduction device incorporating the same
US7016707B2 (en) 2000-06-21 2006-03-21 Seiko Epson Corporation Mobile telephone and radio communication device cooperatively processing incoming call
US20020057284A1 (en) 2000-06-29 2002-05-16 Dalby Richard Sean Methods and systems for delivering announcements to users of an information system
US7081905B1 (en) 2000-06-30 2006-07-25 International Business Machines Corporation Method and apparatus for dynamically controlling scroller speed employed for a user interface of a wearable appliance
US6662023B1 (en) 2000-07-06 2003-12-09 Nokia Mobile Phones Ltd. Method and apparatus for controlling and securing mobile phones that are lost, stolen or misused
CA2412184C (en) 2000-07-10 2015-04-07 Paypal, Inc. System and method for verifying a financial instrument
US7302280B2 (en) 2000-07-17 2007-11-27 Microsoft Corporation Mobile phone operation based upon context sensing
US7450969B1 (en) 2000-08-28 2008-11-11 Wideray, Inc. Two radio interface for mobile communication device for electronic commerce
US20070037605A1 (en) 2000-08-29 2007-02-15 Logan James D Methods and apparatus for controlling cellular and portable phones
US7218226B2 (en) 2004-03-01 2007-05-15 Apple Inc. Acceleration-based theft detection system for portable electronic devices
US7688306B2 (en) 2000-10-02 2010-03-30 Apple Inc. Methods and apparatuses for operating a portable device based on an accelerometer
US6590303B1 (en) 2000-10-26 2003-07-08 Motorola, Inc. Single button MP3 player
JP2002163217A (ja) 2000-11-24 2002-06-07 Sharp Corp 電子コミュニケーション方法、電子コミュニケーションシステム及びそれに用いられる端末装置
US6677932B1 (en) 2001-01-28 2004-01-13 Finger Works, Inc. System and method for recognizing touch typing under limited tactile feedback conditions
US6570557B1 (en) 2001-02-10 2003-05-27 Finger Works, Inc. Multi-touch system and method for emulating modifier keys via fingertip chords
US7334267B2 (en) 2001-02-28 2008-02-19 Hall Aluminum Llc Email viewing security
US6990180B2 (en) 2001-04-05 2006-01-24 Nokia Mobile Phones Limited Short voice message (SVM) service method, apparatus and system
JP4860057B2 (ja) * 2001-06-06 2012-01-25 京セラ株式会社 通信端末装置
KR100492976B1 (ko) 2001-06-29 2005-06-07 삼성전자주식회사 단순음성메일서비스를 이용한 이동통신 단말기에서의음성메일 저장 및 전송 방법
US8050997B1 (en) 2001-08-23 2011-11-01 Paypal Inc. Instant availability of electronically transferred funds
US7269737B2 (en) 2001-09-21 2007-09-11 Pay By Touch Checking Resources, Inc. System and method for biometric authorization for financial transactions
JP4123757B2 (ja) 2001-10-30 2008-07-23 ソニー株式会社 ユーザ間の通信機能を備えた情報処理装置及びこれに用いるプログラム並びに情報処理方法
JP2003173226A (ja) 2001-11-27 2003-06-20 Internatl Business Mach Corp <Ibm> 情報処理装置、プログラム及び座標入力方法
US7095442B2 (en) 2002-01-31 2006-08-22 Hewlett-Packard Development Company, L.P. Method and apparatus for capturing an image
US20030158737A1 (en) 2002-02-15 2003-08-21 Csicsatka Tibor George Method and apparatus for incorporating additional audio information into audio data file identifying information
US7461378B2 (en) 2002-06-11 2008-12-02 Siemens Communications, Inc. Methods and apparatus for processing an instant message
US11275405B2 (en) 2005-03-04 2022-03-15 Apple Inc. Multi-functional hand-held device
US7822688B2 (en) 2002-08-08 2010-10-26 Fujitsu Limited Wireless wallet
US20040041841A1 (en) * 2002-08-27 2004-03-04 Lemogne Stephane Enhanced contact navigator with interactive tabs for managing network events in real time
US7523397B2 (en) 2002-09-30 2009-04-21 Microsoft Corporation Centralized alert and notifications repository, manager, and viewer
KR100532273B1 (ko) 2002-10-11 2005-11-29 삼성전자주식회사 복합 단말기에서 동작 모드에 따른 배터리 가용 시간 알림방법
KR100403196B1 (en) 2002-12-11 2003-10-30 Hasung Data System Co Ltd Settling system using mobile communication terminal, method therefor, and recording medium storing program for the setting system
US7111253B2 (en) * 2002-12-16 2006-09-19 Palo Alto Research Center Incorporated Method and apparatus for displaying hierarchical information
EP1435620A1 (en) 2003-01-06 2004-07-07 Thomson Licensing S.A. Method for creating and accessing a menu for audio content without using a display
US9818136B1 (en) 2003-02-05 2017-11-14 Steven M. Hoffberg System and method for determining contingent relevance
US7300429B2 (en) 2003-03-18 2007-11-27 Catharos Medical Systems, Inc. Methods and devices for retrieval of a medical agent from a physiological efferent fluid collection site
JP4812234B2 (ja) 2003-03-19 2011-11-09 ソニー株式会社 決済管理装置、携帯情報端末、並びにプログラム
US7278040B2 (en) 2003-03-21 2007-10-02 Via Technologies, Inc. Mechanism for providing measured power management transitions in a microprocessor
US7457879B2 (en) * 2003-04-01 2008-11-25 Microsoft Corporation Notification platform architecture
KR100504828B1 (ko) 2003-04-11 2005-07-29 엘지전자 주식회사 휴대폰의 단문 메시지 관리 방법
US20050266884A1 (en) 2003-04-22 2005-12-01 Voice Genesis, Inc. Methods and systems for conducting remote communications
US7827232B2 (en) 2003-05-05 2010-11-02 Microsoft Corporation Record button on a computer system
US20050045373A1 (en) 2003-05-27 2005-03-03 Joseph Born Portable media device with audio prompt menu
WO2004107786A1 (en) 2003-05-28 2004-12-09 Nokia Corporation Method and radio terminal equipment arrangement of indicating incoming connection
US7130664B1 (en) 2003-06-12 2006-10-31 Williams Daniel P User-based signal indicator for telecommunications device and method of remotely notifying a user of an incoming communications signal incorporating the same
MXPA05013288A (es) 2003-06-16 2007-04-18 Uru Technology Inc Metodo y sistema para crear y operar aparatos de manejo de credenciales permitidos biometricamente de multiple proposito.
US7707255B2 (en) * 2003-07-01 2010-04-27 Microsoft Corporation Automatic grouping of electronic mail
US7757173B2 (en) 2003-07-18 2010-07-13 Apple Inc. Voice menu system
US7353413B2 (en) 2003-08-18 2008-04-01 Intel Corporation Computer system power policy adjustment in response to an affirmative indication from a user
US8952895B2 (en) 2011-06-03 2015-02-10 Apple Inc. Motion-based device operations
US20050066209A1 (en) 2003-09-18 2005-03-24 Kee Martin J. Portable electronic device having high and low power processors operable in a low power mode
US8078481B2 (en) 2003-12-05 2011-12-13 John Steinbarth Benefits administration system and methods of use and doing business
US7427024B1 (en) 2003-12-17 2008-09-23 Gazdzinski Mark J Chattel management apparatus and methods
US7454716B2 (en) 2003-12-22 2008-11-18 Microsoft Corporation Clustering messages
CN1301027C (zh) 2004-01-14 2007-02-14 杭州波导软件有限公司 带有附属机的移动电话
US7904510B2 (en) 2004-02-23 2011-03-08 Microsoft Corporation Systems and methods for managing discussion threads based on ratings
US7645108B2 (en) 2004-02-26 2010-01-12 Benko John C Stack loading and unloading cart
US7365736B2 (en) 2004-03-23 2008-04-29 Fujitsu Limited Customizable gesture mappings for motion controlled handheld devices
US11475436B2 (en) 2010-01-08 2022-10-18 Blackhawk Network, Inc. System and method for providing a security code
US7697960B2 (en) * 2004-04-23 2010-04-13 Samsung Electronics Co., Ltd. Method for displaying status information on a mobile terminal
JP2007536634A (ja) * 2004-05-04 2007-12-13 フィッシャー−ローズマウント・システムズ・インコーポレーテッド プロセス制御システムのためのサービス指向型アーキテクチャ
WO2005109829A1 (en) 2004-05-06 2005-11-17 Koninklijke Philips Electronics N.V. Method device and program for seamlessly transferring the execution of a software application from a first to a second device
US7353466B2 (en) * 2004-05-28 2008-04-01 Microsoft Corporation System and method for generating message notification objects on dynamically scaled timeline
US7222307B2 (en) 2004-06-16 2007-05-22 Scenera Technologies, Llc Multipurpose navigation keys for an electronic imaging device
WO2005125114A1 (en) 2004-06-21 2005-12-29 Research In Motion Limited System and method for handling electronic messages
US20060021003A1 (en) 2004-06-23 2006-01-26 Janus Software, Inc Biometric authentication system
BRPI0513210A8 (pt) 2004-07-01 2018-04-24 Nokia Corp método para o usuário definir ao menos um aspecto de uma interface do usuário para o dispositivo, ferramenta para permitir ao usuário definir ao menos um aspecto de uma interface do usuário para o dispositivo móvel, terminal móvel, e, produto de programa de computador
US20060026245A1 (en) * 2004-07-07 2006-02-02 Ivy Cunningham System and method for data organization and display in an instant-messaging interface
US20060019649A1 (en) 2004-07-21 2006-01-26 Feinleib David A System and method for remote telephone ringer
US8381135B2 (en) 2004-07-30 2013-02-19 Apple Inc. Proximity detector in handheld device
US7653883B2 (en) 2004-07-30 2010-01-26 Apple Inc. Proximity detector in handheld device
US7519670B2 (en) 2004-08-12 2009-04-14 International Business Machines Corporation Method for disappearing ink for text messaging
JP2006072489A (ja) 2004-08-31 2006-03-16 Toshiba Corp 情報処理装置および表示制御プログラム
JP2006079427A (ja) * 2004-09-10 2006-03-23 Toshiba Tec Corp 携帯情報機器
JP2006129429A (ja) * 2004-10-01 2006-05-18 Haatec:Kk 通信システムの端末機
US7778671B2 (en) 2004-10-08 2010-08-17 Nokia Corporation Mobile communications terminal having an improved user interface and method therefor
JP4127833B2 (ja) * 2004-10-12 2008-07-30 株式会社東芝 携帯端末
US20060092177A1 (en) * 2004-10-30 2006-05-04 Gabor Blasko Input method and apparatus using tactile guidance and bi-directional segmented stroke
US7735012B2 (en) 2004-11-04 2010-06-08 Apple Inc. Audio user interface for computing devices
JP2006135667A (ja) 2004-11-05 2006-05-25 Toshiba Corp データ送信機、データ送信方法、データ受信機、及びデータ受信処理方法
US20060099970A1 (en) 2004-11-10 2006-05-11 Morgan Scott D Method and system for providing a log of mobile station location requests
US7434230B2 (en) 2004-12-02 2008-10-07 International Business Machines Corporation Method and system for time bounding notification delivery in an event driven system
JP2006163960A (ja) 2004-12-09 2006-06-22 Sharp Corp 決済機能付き携帯通信端末、課金決済システム及び課金決済における認証方法
US7869796B2 (en) 2004-12-28 2011-01-11 Samsung Electronics Co., Ltd. Method and apparatus for managing multimedia messages
WO2006075334A2 (en) 2005-01-16 2006-07-20 Zlango Ltd. Iconic communication
US8856223B2 (en) 2005-01-18 2014-10-07 International Business Machines Corporation Limiting access to instant messaging content on a display screen
US8700729B2 (en) 2005-01-21 2014-04-15 Robin Dua Method and apparatus for managing credentials through a wireless network
US20060179404A1 (en) 2005-02-08 2006-08-10 Microsoft Corporation Method for a browser auto form fill
US8107599B2 (en) 2005-02-15 2012-01-31 Fastvdo, Llc Methods and apparatus for the composition and communication of digital composition coded multisensory messages (DCC MSMS)
US7783065B2 (en) 2005-03-18 2010-08-24 Nyko Technologies, Inc. Wireless headphone kit for media players
JP4983005B2 (ja) 2005-04-12 2012-07-25 富士通株式会社 電子機器、優先接続装置、優先接続方法及び優先接続プログラム
CN100502415C (zh) * 2005-04-22 2009-06-17 英华达(上海)电子有限公司 手机中语音自动处理外来通信事件的方法
JP4507980B2 (ja) 2005-05-24 2010-07-21 株式会社リコー 画像形成装置および画像表示方法
NO324406B1 (no) 2005-06-20 2007-10-08 Telenor Asa SIM RFID-leser med WLAN-tilgang
US20060293892A1 (en) 2005-06-22 2006-12-28 Jan Pathuel Biometric control systems and associated methods of use
JP2007006373A (ja) 2005-06-27 2007-01-11 Konica Minolta Business Technologies Inc 書類データ管理システム、画像形成装置、書類データ管理方法、およびコンピュータプログラム
US7831520B2 (en) 2005-06-28 2010-11-09 Ebay Inc. Mobile device communication system
US7831054B2 (en) 2005-06-28 2010-11-09 Microsoft Corporation Volume control
US20070004461A1 (en) 2005-06-30 2007-01-04 Bathina Sridhar N Terminal with messaging application
US9160658B1 (en) 2005-07-12 2015-10-13 Brixham Solutions Ltd. Proxies for pseudo-wire allocation and distribution
US7697926B2 (en) * 2005-07-29 2010-04-13 Research In Motion Limited Device and method for generating user notifications associated with tasks that are pending completion
US20090124376A1 (en) 2007-11-12 2009-05-14 Bally Gaming, Inc. Networked gaming system including anonymous biometric identification
US9629384B2 (en) 2005-09-14 2017-04-25 S & P Ingredient Development, Llc Low sodium salt composition
US20070073823A1 (en) 2005-09-29 2007-03-29 International Business Machines Corporation Method and apparatus to secure and retrieve instant messages
US7728316B2 (en) 2005-09-30 2010-06-01 Apple Inc. Integrated proximity sensor and light sensor
US7633076B2 (en) 2005-09-30 2009-12-15 Apple Inc. Automated response to and sensing of user activity in portable devices
US20070117549A1 (en) 2005-10-06 2007-05-24 Arnos Reed W Wireless handset and methods for use therewith
US7894580B2 (en) 2005-10-26 2011-02-22 Research In Motion Limited Methods and apparatus for reliable voicemail message deletion alerts at mobile communication devices
US20070135043A1 (en) 2005-12-12 2007-06-14 Motorola, Inc. Method and system for accessible contact information on a locked electronic device
US20070131759A1 (en) 2005-12-14 2007-06-14 Cox Mark A Smartcard and magnetic stripe emulator with biometric authentication
US7657849B2 (en) 2005-12-23 2010-02-02 Apple Inc. Unlocking a device by performing gestures on an unlock image
EP1801689A1 (en) 2005-12-23 2007-06-27 Sap Ag Methods, systems and software applications including tab panel elements
US7552399B2 (en) 2005-12-27 2009-06-23 International Business Machines Corporation Extensible icons with multiple drop zones
CN101390371B (zh) * 2005-12-27 2011-12-14 京瓷株式会社 通信设备、服务器设备以及通信控制方法
US7684991B2 (en) 2006-01-05 2010-03-23 Alpine Electronics, Inc. Digital audio file search method and apparatus using text-to-speech processing
RU2008133871A (ru) 2006-01-20 2010-02-27 Конвесейшнл Компьютинг Корпорейшн (Us) Носимый интерфейс-клиент с дисплеем
US8175656B2 (en) * 2006-02-24 2012-05-08 Qualcomm Incorporated System and method of displaying incoming communication alerts at a wireless device
US10521022B2 (en) 2006-03-17 2019-12-31 Conversant Wireless Licensing S.a.r.l. Mobile communication terminal and method therefor
CN100462909C (zh) 2006-03-31 2009-02-18 腾讯科技(深圳)有限公司 一种控制窗口界面显示的方法及装置
US9395905B2 (en) 2006-04-05 2016-07-19 Synaptics Incorporated Graphical scroll wheel
AU2007240955A1 (en) 2006-04-17 2007-11-01 Veritec, Inc. Methods and systems for secure transactions with electronic devices
CA2545339C (en) * 2006-05-01 2014-07-08 Lms Medical Systems Ltd. Method and apparatus for displaying labour related information associated to an obstetrics patient
US8279180B2 (en) 2006-05-02 2012-10-02 Apple Inc. Multipoint touch surface controller
US8989778B2 (en) 2006-06-01 2015-03-24 Green Dot Corporation Secure and private location sharing for location-aware mobile communication devices
CN101489469B (zh) 2006-07-10 2012-12-12 埃森哲环球服务有限公司 用于提供反馈的移动个人服务平台
US7702282B2 (en) 2006-07-13 2010-04-20 Sony Ericsoon Mobile Communications Ab Conveying commands to a mobile terminal through body actions
US8180382B1 (en) 2006-07-14 2012-05-15 At&T Mobility Ii Llc Direct and immediate transmittal of voice messages and handset storage thereof
US7789225B2 (en) 2006-07-27 2010-09-07 David Whiteis Jewelry box
KR100778367B1 (ko) 2006-08-02 2007-11-22 삼성전자주식회사 휴대 단말기 및 그의 이벤트 처리 방법
KR100764649B1 (ko) 2006-08-18 2007-10-08 삼성전자주식회사 휴대용 단말기에서 미디어 플레이어를 제어하기 위한 장치및 방법
US20080052181A1 (en) 2006-08-23 2008-02-28 Taram Devitt-Carolan Integrated system for providing user services
CN101529874A (zh) * 2006-09-06 2009-09-09 苹果公司 用于具有触摸屏显示器的便携式多功能设备的电话呼入管理
US8106856B2 (en) 2006-09-06 2012-01-31 Apple Inc. Portable electronic device for photo management
US8842074B2 (en) 2006-09-06 2014-09-23 Apple Inc. Portable electronic device performing similar operations for different gestures
US9304675B2 (en) 2006-09-06 2016-04-05 Apple Inc. Portable electronic device for instant messaging
US20080055263A1 (en) 2006-09-06 2008-03-06 Lemay Stephen O Incoming Telephone Call Management for a Portable Multifunction Device
US8564544B2 (en) 2006-09-06 2013-10-22 Apple Inc. Touch screen device, method, and graphical user interface for customizing display of content category icons
US7996792B2 (en) 2006-09-06 2011-08-09 Apple Inc. Voicemail manager for portable multifunction device
US8014760B2 (en) 2006-09-06 2011-09-06 Apple Inc. Missed telephone call management for a portable multifunction device
KR100774927B1 (ko) 2006-09-27 2007-11-09 엘지전자 주식회사 이동통신 단말기, 메뉴 및 아이템 선택방법
US7768415B2 (en) 2006-09-28 2010-08-03 Nike, Inc. Sensor device with persistent low power beacon
US20130212655A1 (en) 2006-10-02 2013-08-15 Hector T. Hoyos Efficient prevention fraud
JP2008104068A (ja) 2006-10-20 2008-05-01 Sky Kk 着信通知システムとこのシステムに用いられる携帯通信端末
US8090087B2 (en) 2006-10-26 2012-01-03 Apple Inc. Method, system, and graphical user interface for making conference calls
US7908219B2 (en) 2006-11-03 2011-03-15 Microsoft Corporation Inbox management
KR20080043472A (ko) * 2006-11-14 2008-05-19 삼성전자주식회사 휴대용 단말기의 메시지 관리 방법 및 장치
TW200823678A (en) 2006-11-22 2008-06-01 Acer Inc Method and electronic device for sharing data via instant message
US20080120707A1 (en) 2006-11-22 2008-05-22 Alexander Ramia Systems and methods for authenticating a device by a centralized data server
US8006002B2 (en) 2006-12-12 2011-08-23 Apple Inc. Methods and systems for automatic configuration of peripherals
US20080146289A1 (en) 2006-12-14 2008-06-19 Motorola, Inc. Automatic audio transducer adjustments based upon orientation of a mobile communication device
US7953670B2 (en) 2006-12-27 2011-05-31 Colella Brian A Biometrically secured identification authentication and card reader device
US7957762B2 (en) 2007-01-07 2011-06-07 Apple Inc. Using ambient light sensor to augment proximity sensor output
US8689132B2 (en) 2007-01-07 2014-04-01 Apple Inc. Portable electronic device, method, and graphical user interface for displaying electronic documents and lists
US8091045B2 (en) 2007-01-07 2012-01-03 Apple Inc. System and method for managing lists
KR20080004775U (ko) 2007-04-17 2008-10-22 유한회사 디알텍 외장스피커를 구비하는 손목시계 겸용 블루투스 헤드셋
EP2490432A1 (en) 2007-05-29 2012-08-22 Research In Motion Limited System and method for integrating image upload objects with a message list
CN101329595A (zh) 2007-06-20 2008-12-24 上海华虹集成电路有限责任公司 低功耗模式的仿真器
US9933937B2 (en) * 2007-06-20 2018-04-03 Apple Inc. Portable multifunction device, method, and graphical user interface for playing online videos
US9954996B2 (en) 2007-06-28 2018-04-24 Apple Inc. Portable electronic device with conversation management for incoming instant messages
US8068925B2 (en) 2007-06-28 2011-11-29 Apple Inc. Dynamic routing of audio among multiple audio devices
US20090003552A1 (en) 2007-06-29 2009-01-01 Lucent Technologies Inc. Personal message expiration
EP2020648A3 (en) * 2007-07-25 2010-06-09 TTE Indianapolis Method and apparatus for configurable emergency alert system event notification
US7996473B2 (en) 2007-07-30 2011-08-09 International Business Machines Corporation Profile-based conversion and delivery of electronic messages
CN101796764B (zh) 2007-07-31 2013-05-15 国际商业机器公司 生物特征认证设备、生物特征认证系统和方法
US8990400B2 (en) 2007-08-17 2015-03-24 The Invention Science Fund I, Llc Facilitating communications among message recipients
US9261979B2 (en) 2007-08-20 2016-02-16 Qualcomm Incorporated Gesture-based mobile interaction
JP2009053758A (ja) * 2007-08-23 2009-03-12 Toshiba Corp 通信端末装置
US8265665B2 (en) * 2007-09-21 2012-09-11 Research In Motion Limited Color differentiating a portion of a text message shown in a listing on a handheld communication device
EP2947592B1 (en) 2007-09-24 2021-10-27 Apple Inc. Embedded authentication systems in an electronic device
US8942764B2 (en) 2007-10-01 2015-01-27 Apple Inc. Personal media device controlled via user initiated movements utilizing movement based interfaces
US20090098914A1 (en) 2007-10-15 2009-04-16 Research In Motion Limited Method and system for enabling or disabling features based on a battery level threshold
WO2009070430A2 (en) 2007-11-08 2009-06-04 Suridx, Inc. Apparatus and methods for providing scalable, dynamic, individualized credential services using mobile telephones
US8910073B2 (en) 2007-11-26 2014-12-09 Qualcomm Incorporated Enhancing visual continuity in scrolling operations
WO2009071112A1 (en) 2007-12-03 2009-06-11 Nokia Corporation Media embedded in mobile messaging
WO2009078870A1 (en) 2007-12-18 2009-06-25 Lucent Technologies, Inc. Methods and systems for expiration handling in electronic message systems
US8112281B2 (en) 2007-12-19 2012-02-07 Enbiomedic Accelerometer-based control of wearable audio recorders
WO2009082377A1 (en) 2007-12-26 2009-07-02 Hewlett-Packard Development Company, L.P. Touch wheel zoom and pan
US8706092B2 (en) 2008-01-03 2014-04-22 Apple Inc. Outgoing voice mail recording and playback
US7802720B2 (en) 2008-01-04 2010-09-28 Intuit Inc. Method and system for performing a card-present transaction using image capture on a portable device
US8407603B2 (en) 2008-01-06 2013-03-26 Apple Inc. Portable electronic device for instant messaging multiple recipients
US7996046B2 (en) * 2008-01-10 2011-08-09 Microsoft Corporation Smart alert charms for wireless devices
US20090187842A1 (en) 2008-01-22 2009-07-23 3Dlabs Inc., Ltd. Drag and Drop User Interface for Portable Electronic Devices with Touch Sensitive Screens
US8233943B1 (en) 2008-01-29 2012-07-31 Smith Micro Software, Inc Selective activation of alerts for receipt and availability of data in a communication device
KR101716401B1 (ko) * 2008-01-30 2017-03-14 구글 인코포레이티드 모바일 디바이스 이벤트의 통지
US8677285B2 (en) 2008-02-01 2014-03-18 Wimm Labs, Inc. User interface of a small touch sensitive display for an electronic data and communication device
US8910299B2 (en) 2008-02-08 2014-12-09 Steven Charles Michalske Emergency information access on portable electronic devices
US9054912B2 (en) 2008-02-08 2015-06-09 Voxer Ip Llc Communication application for conducting conversations including multiple media types in either a real-time mode or a time-shifted mode
US8676224B2 (en) 2008-02-19 2014-03-18 Apple Inc. Speakerphone control for mobile device
DE602009001128D1 (de) 2008-03-26 2011-06-09 Honda Motor Co Ltd Vorrichtung zur Regelung einer Radaufhängung
US8077157B2 (en) 2008-03-31 2011-12-13 Intel Corporation Device, system, and method of wireless transfer of files
US20090248751A1 (en) 2008-04-01 2009-10-01 Myman Darin M Destroyable Instant Message (IM)
US8312380B2 (en) 2008-04-04 2012-11-13 Yahoo! Inc. Local map chat
EP2109055A1 (en) 2008-04-11 2009-10-14 Universiteit Maastricht Portable psychological monitoring device
US20090265643A1 (en) 2008-04-18 2009-10-22 Alcatel Lucent Instant messaging reception indication
CN101276255A (zh) 2008-05-05 2008-10-01 中兴通讯股份有限公司 一种移动终端菜单的显示装置及显示方法
US10496753B2 (en) 2010-01-18 2019-12-03 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US9516116B2 (en) 2008-06-06 2016-12-06 Apple Inc. Managing notification service connections
US20140025520A1 (en) 2008-06-06 2014-01-23 Ebay Inc. Biometric authentication of mobile financial transactions by trusted service managers
US20090307140A1 (en) 2008-06-06 2009-12-10 Upendra Mardikar Mobile device over-the-air (ota) registration and point-of-sale (pos) payment
US20090313582A1 (en) 2008-06-11 2009-12-17 Raul Rupsingh System, Method and Computer Program for User-Friendly Social Interaction
US9269010B2 (en) 2008-07-14 2016-02-23 Jumio Inc. Mobile phone payment system using integrated camera credit card reader
US8662401B2 (en) 2008-07-25 2014-03-04 First Data Corporation Mobile payment adoption by adding a dedicated payment button to mobile device form factors
JP4748257B2 (ja) 2008-08-04 2011-08-17 ソニー株式会社 生体認証装置
US20130144653A1 (en) 2008-08-05 2013-06-06 Net.Orange, Inc. System and method for visualizing patient treatment history in a network environment
US20130310089A1 (en) 2008-08-05 2013-11-21 Vasileios John Gianoukos Voice texting over sms
US10375223B2 (en) 2008-08-28 2019-08-06 Qualcomm Incorporated Notifying a user of events in a computing device
US8121586B2 (en) 2008-09-16 2012-02-21 Yellowpages.Com Llc Systems and methods for voice based search
US8620869B2 (en) 2008-09-25 2013-12-31 Microsoft Corporation Techniques to manage retention policy tags
US10380573B2 (en) 2008-09-30 2019-08-13 Apple Inc. Peer-to-peer financial transaction devices and methods
US20100082485A1 (en) 2008-09-30 2010-04-01 Apple Inc. Portable point of purchase devices and methods
US20100078472A1 (en) 2008-09-30 2010-04-01 Apple Inc. Group peer-to-peer financial transactions
US20100078471A1 (en) 2008-09-30 2010-04-01 Apple Inc. System and method for processing peer-to-peer financial transactions
CN102282578A (zh) 2008-09-30 2011-12-14 苹果公司 对等金融交易设备和方法
WO2010042439A2 (en) 2008-10-06 2010-04-15 Canfocus Technologies Inc. Automated systems and methods for time management
EP3258468B1 (en) 2008-11-10 2019-08-21 Google LLC Multisensory speech detection
US20100124906A1 (en) 2008-11-14 2010-05-20 Nokia Corporation Method and Apparatus for Transmitting and Receiving Data
KR101050642B1 (ko) 2008-12-04 2011-07-19 삼성전자주식회사 와치 폰 및 상기 와치 폰에서 통화수행 방법
US8103250B2 (en) 2008-12-04 2012-01-24 At&T Mobility Ii Llc System and method for sharing location data in a wireless communication network
US20100162138A1 (en) 2008-12-23 2010-06-24 At&T Mobility Ii Llc Conversation bubbles including visual cues for threaded messaging applications
US20100162169A1 (en) * 2008-12-23 2010-06-24 Nokia Corporation Method, Apparatus and Computer Program Product for Providing a Dynamic Slider Interface
CN101770299B (zh) 2008-12-26 2013-11-06 深圳富泰宏精密工业有限公司 导航键功能实现系统及方法
US8619083B2 (en) 2009-01-06 2013-12-31 Microsoft Corporation Multi-layer image composition with intermediate blending resolutions
US20110306393A1 (en) 2010-06-15 2011-12-15 Tomasz Goldman Headset base with display and communications base
US8543081B2 (en) 2009-01-28 2013-09-24 Blackberry Limited Method of integrating emergency information in a mobile device
US8572493B2 (en) 2009-01-29 2013-10-29 Rick Qureshi Mobile device messaging application
US8862252B2 (en) 2009-01-30 2014-10-14 Apple Inc. Audio user interface for displayless electronic device
MX2011008925A (es) 2009-02-25 2012-04-02 Miri Systems Llc Sistema y metodo de pago.
US8315606B2 (en) * 2009-02-27 2012-11-20 Research In Motion Limited System and method for intelligent call identification on a mobile communication device
US8606638B2 (en) 2009-03-02 2013-12-10 First Data Corporation Systems, methods and apparatus for facilitating transactions using a mobile device
US8510665B2 (en) 2009-03-16 2013-08-13 Apple Inc. Methods and graphical user interfaces for editing on a multifunction device with a touch screen display
US8370204B2 (en) 2009-04-09 2013-02-05 Cisco Technology, Inc. Providing relevant advertisements and service in communication networks
US8131258B2 (en) 2009-04-20 2012-03-06 Boku, Inc. Systems and methods to process transaction requests
US20100281409A1 (en) 2009-04-30 2010-11-04 Nokia Corporation Apparatus and method for handling notifications within a communications device
US8340646B2 (en) 2009-05-01 2012-12-25 T-Mobile Usa, Inc. Direct voicemailing
US8200323B2 (en) 2009-05-18 2012-06-12 Adidas Ag Program products, methods, and systems for providing fitness monitoring services
US9734496B2 (en) 2009-05-29 2017-08-15 Paypal, Inc. Trusted remote attestation agent (TRAA)
US8095119B2 (en) 2009-06-02 2012-01-10 Microsoft Corporation In-call contact information display
CN101567109B (zh) 2009-06-03 2012-01-04 普天信息技术研究院有限公司 一种集成支付和收款功能的装置、系统和交易方法
US8446398B2 (en) 2009-06-16 2013-05-21 Intel Corporation Power conservation for mobile device displays
US8930438B2 (en) 2009-06-17 2015-01-06 Apple Inc. Push-based location update
US20100321178A1 (en) 2009-06-22 2010-12-23 Douglas Deeds Alert receiver with linking function
KR101590766B1 (ko) * 2009-06-26 2016-02-02 삼성전자주식회사 메시지를 그룹화하고 디스플레이하는 장치 및 방법
US8548523B2 (en) 2009-07-01 2013-10-01 At&T Intellectual Property I, L.P. Methods, apparatus, and computer program products for changing ring method based on type of connected device
US9519417B2 (en) 2009-08-31 2016-12-13 Twin Harbor Labs, LLC System and method for orientation-based object monitoring and device for the same
TWI554076B (zh) 2009-09-04 2016-10-11 普露諾洛股份有限公司 遠距離的電話管理器
US8675084B2 (en) 2009-09-04 2014-03-18 Apple Inc. Systems and methods for remote camera control
KR101651128B1 (ko) 2009-10-05 2016-08-25 엘지전자 주식회사 이동 단말기 이것의 애플리케이션 실행 제어 방법
US8924893B2 (en) 2009-10-14 2014-12-30 At&T Mobility Ii Llc Locking and unlocking of an electronic device using a sloped lock track
JP5419153B2 (ja) 2009-10-22 2014-02-19 Necカシオモバイルコミュニケーションズ株式会社 タッチ検出装置、電子機器、および、プログラム
CA2783988A1 (en) 2009-11-11 2011-05-19 Lifestream Corporation Wireless device emergency services connection and panic button, with crime and safety information system
JP2011107823A (ja) 2009-11-13 2011-06-02 Canon Inc 表示制御装置及び表示制御方法
CN102696248B (zh) * 2009-11-17 2016-03-02 尖端解决方案有限公司 通讯管理功能
GB0920084D0 (en) * 2009-11-23 2009-12-30 Mcalpine & Co Ltd Non-return device
US8421634B2 (en) 2009-12-04 2013-04-16 Microsoft Corporation Sensing mechanical energy to appropriate the body for data input
WO2011070878A1 (ja) 2009-12-11 2011-06-16 シャープ株式会社 光センサ回路、二次元座標検出装置、情報処理装置および光センサ素子のリフレッシュ駆動方法
US8922485B1 (en) 2009-12-18 2014-12-30 Google Inc. Behavioral recognition on mobile devices
US8438592B2 (en) 2009-12-22 2013-05-07 Qualcomm Incorporated Dynamic live content promoter for digital broadcast TV
KR101626621B1 (ko) 2009-12-30 2016-06-01 엘지전자 주식회사 원형 디스플레이부를 구비한 이동 통신 단말기의 데이터 제어 방법 및 이를 적용한 이동 통신 단말기
US8972892B2 (en) 2010-01-05 2015-03-03 Qualcomm Incorporated Notification in immersive applications
US8698845B2 (en) 2010-01-06 2014-04-15 Apple Inc. Device, method, and graphical user interface with interactive popup views
US8301121B2 (en) * 2010-01-22 2012-10-30 Sony Ericsson Mobile Communications Ab Regulating alerts generated by communication terminals responsive to sensed movement
US9230380B2 (en) 2010-02-12 2016-01-05 Digitus Biometrics, Inc. Lockable enclosure having improved access system
DE102010008622A1 (de) 2010-02-19 2011-08-25 Airbus Operations GmbH, 21129 Gehäuseloses Staufach
US8589815B2 (en) * 2010-03-10 2013-11-19 Microsoft Corporation Control of timing for animations in dynamic icons
WO2011112990A1 (en) 2010-03-11 2011-09-15 Wal-Mart Stores, Inc. System and method for transaction payments using a mobile device
US9418205B2 (en) 2010-03-15 2016-08-16 Proxense, Llc Proximity-based system for automatic application or data access and item tracking
EP2369820B1 (en) 2010-03-22 2016-04-06 BlackBerry Limited Management and display of grouped messages on a communication device
US9275376B2 (en) * 2010-03-25 2016-03-01 Nokia Technologies Oy Method and apparatus for providing soft reminders
CN102215374B (zh) 2010-04-07 2015-09-02 苹果公司 在多照相机移动设备的视频会议期间切换照相机
US8380177B2 (en) 2010-04-09 2013-02-19 Paydiant, Inc. Mobile phone payment processing methods and systems
US20110254684A1 (en) * 2010-04-20 2011-10-20 Vito Antoci Bag Attachment for Alert Notification and Device Retrieval
US8719730B2 (en) * 2010-04-23 2014-05-06 Ganz Radial user interface and system for a virtual world game
US20110276901A1 (en) 2010-05-04 2011-11-10 Qwest Communications International Inc. Family chat
US8587476B2 (en) 2010-05-11 2013-11-19 Blackberry Limited System and method for providing location information on mobile devices
CN101873386A (zh) 2010-06-13 2010-10-27 华为终端有限公司 一种移动终端及其来电提示方法
JP3162246U (ja) 2010-06-14 2010-08-26 呂 東霖 携帯電話の着信を通知することが可能な腕時計
KR101672212B1 (ko) 2010-06-15 2016-11-04 엘지전자 주식회사 휴대 단말기 및 그 동작 방법
US9417665B2 (en) 2010-06-28 2016-08-16 Apple Inc. Providing an alternative human interface
CN101877745B (zh) 2010-06-30 2014-04-09 中兴通讯股份有限公司 移动终端节电的系统及方法
US8549617B2 (en) * 2010-06-30 2013-10-01 Juniper Networks, Inc. Multi-service VPN network client for mobile device having integrated acceleration
US8285258B2 (en) 2010-07-07 2012-10-09 Research In Motion Limited Pushed content notification and display
US8284748B2 (en) 2010-07-07 2012-10-09 Apple Inc. Ad hoc formation and tracking of location-sharing groups
CA2806557C (en) 2010-07-26 2014-10-07 Michael Luna Mobile application traffic optimization
WO2013015835A1 (en) 2011-07-22 2013-01-31 Seven Networks, Inc. Mobile application traffic optimization
US20120028609A1 (en) 2010-07-27 2012-02-02 John Hruska Secure financial transaction system using a registered mobile device
US9304591B2 (en) 2010-08-10 2016-04-05 Lenovo (Singapore) Pte. Ltd. Gesture control
US20130268353A1 (en) 2010-08-23 2013-10-10 MobileBits Corporation System and methods for delivering targeted marketing content to mobile device users based on geolocation
US8751838B2 (en) 2010-08-23 2014-06-10 Nokia Corporation Method, apparatus and computer program product for presentation of information in a low power mode
JP5367911B2 (ja) 2010-08-26 2013-12-11 京セラ株式会社 文字列検索装置
KR20120019531A (ko) 2010-08-26 2012-03-07 삼성전자주식회사 휴대 단말기의 gui제공 방법 및 장치
US8311514B2 (en) 2010-09-16 2012-11-13 Microsoft Corporation Prevention of accidental device activation
JP5418454B2 (ja) 2010-09-24 2014-02-19 コニカミノルタ株式会社 画像形成装置および運転計画作成方法
EP3451123B8 (en) 2010-09-24 2020-06-17 BlackBerry Limited Method for conserving power on a portable electronic device and a portable electronic device configured for the same
US8768309B2 (en) 2010-09-29 2014-07-01 At&T Intellectual Property I, L.P. Reminders based on device presence
CN102447778B (zh) 2010-10-13 2013-10-09 腾讯科技(深圳)有限公司 一种展示消息的方法及消息展示装置
US20120209677A1 (en) 2010-10-20 2012-08-16 Mehta Kaushal N Person-2-person social network marketing apparatuses, methods and systems
US20120102437A1 (en) * 2010-10-22 2012-04-26 Microsoft Corporation Notification Group Touch Gesture Dismissal Techniques
US20120108215A1 (en) * 2010-10-29 2012-05-03 Nader Kameli Remote notification device
US8253684B1 (en) 2010-11-02 2012-08-28 Google Inc. Position and orientation determination for a mobile computing device
US9262002B2 (en) 2010-11-03 2016-02-16 Qualcomm Incorporated Force sensing touch screen
US8554170B2 (en) 2010-11-15 2013-10-08 Quid Fit Llc Automated alert generation in response to a predetermined communication on a telecommunication device
US10303357B2 (en) 2010-11-19 2019-05-28 TIVO SOLUTIONS lNC. Flick to send or display content
US8874665B2 (en) * 2010-12-13 2014-10-28 At&T Mobility Ii Llc Systems, apparatus and methods for facilitating display and management of information for communication devices
US8798648B2 (en) 2010-12-14 2014-08-05 Qualcomm Incorporated Methods and apparatus for managing messages
US20140156531A1 (en) 2010-12-14 2014-06-05 Salt Technology Inc. System and Method for Authenticating Transactions Through a Mobile Device
US9131060B2 (en) 2010-12-16 2015-09-08 Google Technology Holdings LLC System and method for adapting an attribute magnification for a mobile communication device
US9244606B2 (en) 2010-12-20 2016-01-26 Apple Inc. Device, method, and graphical user interface for navigation of concurrently open software applications
US8797350B2 (en) 2010-12-20 2014-08-05 Dr Systems, Inc. Dynamic customizable human-computer interaction behavior
US20120158511A1 (en) 2010-12-21 2012-06-21 Microsoft Corporation Provision of contextual advertising
US8369893B2 (en) * 2010-12-31 2013-02-05 Motorola Mobility Llc Method and system for adapting mobile device to accommodate external display
US9471145B2 (en) * 2011-01-06 2016-10-18 Blackberry Limited Electronic device and method of displaying information in response to a gesture
US8380637B2 (en) 2011-01-16 2013-02-19 Yerucham Levovitz Variable fractions of multiple biometrics with multi-layer authentication of mobile transactions
US8775535B2 (en) 2011-01-18 2014-07-08 Voxilate, Inc. System and method for the transmission and management of short voice messages
US9002420B2 (en) 2011-01-19 2015-04-07 Ram Pattikonda Watch having an interface to a mobile communications device
CN201928419U (zh) 2011-01-21 2011-08-10 青岛海信移动通信技术股份有限公司 一种耳机及配置有所述耳机的移动通信终端
US8972286B2 (en) 2011-01-31 2015-03-03 Bank Of America Corporation Transaction authorization system for a mobile commerce device
US8666895B2 (en) 2011-01-31 2014-03-04 Bank Of America Corporation Single action mobile transaction device
US8195576B1 (en) 2011-01-31 2012-06-05 Bank Of America Corporation Mobile transaction device security system
WO2012108213A1 (ja) * 2011-02-10 2012-08-16 京セラ株式会社 入力装置
WO2012112822A2 (en) 2011-02-16 2012-08-23 Visa International Service Association Snap mobile payment apparatuses, methods and systems
US9588669B2 (en) * 2011-02-17 2017-03-07 T-Mobile Usa, Inc. Sticky messages
US10146329B2 (en) 2011-02-25 2018-12-04 Nokia Technologies Oy Method and apparatus for providing different user interface effects for different motion gestures and motion properties
US20130063383A1 (en) 2011-02-28 2013-03-14 Research In Motion Limited Electronic device and method of displaying information in response to detecting a gesture
CN102111505B (zh) * 2011-03-04 2013-06-05 中山大学 一种移动终端短信息提示显示方法
US20120239949A1 (en) 2011-03-14 2012-09-20 Research In Motion Limited Electronic device and method for application and profile sensitive battery power management
JP6034551B2 (ja) 2011-03-16 2016-11-30 任天堂株式会社 情報処理システム、情報処理装置、情報処理プログラム、および画像表示方法
WO2012128824A1 (en) * 2011-03-18 2012-09-27 Villa-Real Antony-Euclid C Global multi-purpose voice-controlled trans-lingual electronic talking and singing watch
JP5729759B2 (ja) * 2011-03-22 2015-06-03 埼玉日本電気株式会社 携帯電子機器、その制御方法及びプログラム
US8880625B2 (en) 2011-03-31 2014-11-04 Loment, Inc. Automatic expiration of messages communicated among end user communication devices
US9331972B2 (en) 2011-03-31 2016-05-03 Loment, Inc. Automatic expiration of messages communicated to an end user communication device
US10402898B2 (en) 2011-05-04 2019-09-03 Paypal, Inc. Image-based financial processing
US10949844B2 (en) 2011-05-09 2021-03-16 Intuit Inc. Processing electronic payment involving mobile communication device
WO2012154915A1 (en) 2011-05-10 2012-11-15 Dynamics Inc. Systems, devices, and methods for mobile payment acceptance, mobile authorizations, mobile wallets, and contactless communication mechanisms
KR101891803B1 (ko) 2011-05-23 2018-08-27 삼성전자주식회사 터치스크린을 구비한 휴대 단말기의 화면 편집 방법 및 장치
US8971924B2 (en) 2011-05-23 2015-03-03 Apple Inc. Identifying and locating users on a mobile network
US20120310760A1 (en) 2011-06-03 2012-12-06 Simon Phillips Mobile device automatic card account selection for a transaction
JP5802830B2 (ja) * 2011-06-05 2015-11-04 アップル インコーポレイテッド 複数のアプリケーションから受信した通知を表示するためのシステムおよび方法
US20120313847A1 (en) 2011-06-09 2012-12-13 Nokia Corporation Method and apparatus for contextual gesture recognition
US20160270717A1 (en) 2011-06-10 2016-09-22 Aliphcom Monitoring and feedback of physiological and physical characteristics using wearable devices
KR101121441B1 (ko) 2011-06-16 2012-03-16 에이큐 주식회사 엔에프시 통신방식의 이동통신단말기 및 그 제어방법
KR101121440B1 (ko) 2011-06-16 2012-03-16 에이큐 주식회사 엔에프시 통신방식의 이동통신단말기 및 제어방법
JP5829982B2 (ja) 2011-06-28 2015-12-09 京セラ株式会社 電子機器、報知制御方法および制御プログラム
JP5762850B2 (ja) * 2011-06-28 2015-08-12 京セラ株式会社 携帯端末装置
CN102395128B (zh) 2011-06-30 2015-12-09 北京邮电大学 一种移动智能终端的恶意信息发送防御方法及其系统
US9355393B2 (en) 2011-08-18 2016-05-31 Visa International Service Association Multi-directional wallet connector apparatuses, methods and systems
EP2733591B1 (en) 2011-07-11 2019-05-08 KDDI Corporation User interface device capable of execution of input by finger contact in plurality of modes, input operation assessment method, and program
EP2551784A1 (en) 2011-07-28 2013-01-30 Roche Diagnostics GmbH Method of controlling the display of a dataset
US20150172393A1 (en) 2011-07-29 2015-06-18 Google Inc. Temporal Location Sharing
JP6010621B2 (ja) 2011-08-09 2016-10-19 カティーバ, インコーポレイテッド 下向き印刷装置および方法
US9355394B2 (en) 2011-08-11 2016-05-31 Visa International Service Association Systems and methods of aggregating split payments using a settlement ecosystem
US20130053007A1 (en) 2011-08-24 2013-02-28 Microsoft Corporation Gesture-based input mode selection for mobile devices
EP2748927B1 (en) 2011-08-26 2017-05-17 Azoteq (Pty) Limited Intelligent capacitive swipe switch
JP2013048389A (ja) * 2011-08-29 2013-03-07 Fujitsu Mobile Communications Ltd 電子装置、そのカメラ制御プログラムおよびカメラ制御方法
KR101873415B1 (ko) 2011-09-08 2018-07-02 엘지전자 주식회사 이동 단말기 및 이의 제어방법
KR20130028598A (ko) 2011-09-09 2013-03-19 삼성전자주식회사 장치 및 장치의 이미지 파일의 sns 업로드방법
US8976128B2 (en) 2011-09-12 2015-03-10 Google Technology Holdings LLC Using pressure differences with a touch-sensitive display screen
TW201314979A (zh) 2011-09-19 2013-04-01 Chief Land Electronic Co Ltd 換能器與能量轉換模組
US20130078958A1 (en) 2011-09-23 2013-03-28 Research In Motion Limited System and method for managing transient notifications using sensors
US9576284B2 (en) 2011-09-29 2017-02-21 Paypal, Inc. Social proximity payments
WO2013048880A1 (en) 2011-09-30 2013-04-04 Apple Inc. Automatically adapting user interfaces for hands-free interaction
KR101643829B1 (ko) 2011-09-30 2016-08-10 지티이 코포레이션 네트워크 요소의 집중된 과부하의 제어(cofo-ne)의 클라우드 기반 구현을 위한 시스템 및 방법
US9678578B2 (en) 2011-10-03 2017-06-13 Furuno Electric Co., Ltd. Device having touch panel, display control program and display control method
US8880055B1 (en) 2011-10-06 2014-11-04 Marvell International Ltd. Method and apparatus for using near field communication (NFC) to perform transactions on a mobile device
US9031540B2 (en) 2011-10-07 2015-05-12 Newaer Inc. Automatication of a user transaction based upon scanned wireless signals
KR101789626B1 (ko) 2011-10-10 2017-10-25 엘지전자 주식회사 휴대 단말기 및 그 제어 방법
US9313633B2 (en) * 2011-10-10 2016-04-12 Talko Inc. Communication system
US8848932B2 (en) 2011-10-13 2014-09-30 Blackberry Limited Proximity sensing for user detection and automatic volume regulation with sensor interruption override
EP2582120A1 (en) 2011-10-14 2013-04-17 Research In Motion Limited User interface methods and apparatus for use in communicating text and photo messages
US8819154B2 (en) 2011-10-14 2014-08-26 Blackberry Limited User interface methods and apparatus for use in communicating text and photo messages
US20130097566A1 (en) 2011-10-17 2013-04-18 Carl Fredrik Alexander BERGLUND System and method for displaying items on electronic devices
US20160180305A1 (en) 2011-10-24 2016-06-23 Bc Investments & Leasing, Inc. Payment Method Linked To A Mobile Number
US9305312B2 (en) 2011-10-25 2016-04-05 Theodosios Kountotsis Express easy-pass checkout at grocery stores and retail establishments for preferred members
WO2013063083A1 (en) 2011-10-27 2013-05-02 Zte Corporation System and method for cloud-based implementation of control of focused overload of service element (cofo-se) via explicit (or virtualized) machine-to-machine (m2m) gateway element
US10510056B2 (en) 2011-11-02 2019-12-17 Mastercard International Incorporated Method and system for multiple payment applications
US20130120106A1 (en) 2011-11-16 2013-05-16 Motorola Mobility, Inc. Display device, corresponding systems, and methods therefor
US8594921B2 (en) 2011-11-30 2013-11-26 At&T Mobility Ii Llc Comparison of multi-dimensional datasets
US9154901B2 (en) 2011-12-03 2015-10-06 Location Labs, Inc. System and method for disabling and enabling mobile device functional components
US9380623B2 (en) 2011-12-20 2016-06-28 Lg Electronics Inc. Network-initiated control method and apparatus for providing proximity service
WO2013093558A1 (en) * 2011-12-21 2013-06-27 Nokia Corporation Apparatus and method for collating application events with contacts of an electronic device.
US9467834B2 (en) 2011-12-23 2016-10-11 Microsoft Technology Licensing, Llc Mobile device emergency service
CN102404458A (zh) * 2011-12-27 2012-04-04 上海华勤通讯技术有限公司 移动终端和联系人信息排序方法
RU2601831C2 (ru) 2011-12-28 2016-11-10 Нокиа Текнолоджиз Ой Предоставление открытого экземпляра приложения
EP2610701B1 (en) 2011-12-29 2015-04-01 Research in Motion Corporation Power supply management for portable electronic devices
AU2013207407A1 (en) 2012-01-05 2013-10-24 Visa International Service Association Transaction visual capturing apparatuses, methods and systems
WO2013102908A1 (en) 2012-01-08 2013-07-11 Powermat Technologies Ltd System and method for providing and controlling inductive power charging
KR101595431B1 (ko) 2012-01-16 2016-02-18 엘지전자 주식회사 무선 통신 시스템에서 근접 서비스 제공 방법 및 장치
CN107516008B (zh) 2012-01-19 2021-04-13 耐克创新有限合伙公司 多活动平台和接口
US20130198112A1 (en) 2012-01-30 2013-08-01 Verizon Patent And Licensing Inc. Capacity Management Methods and Systems
US8995960B2 (en) 2012-02-10 2015-03-31 Dedo Interactive, Inc. Mobile device authentication
US10289660B2 (en) 2012-02-15 2019-05-14 Apple Inc. Device, method, and graphical user interface for sharing a content object in a document
JP5853112B2 (ja) 2012-02-22 2016-02-09 エルジー エレクトロニクス インコーポレイティド 無線通信システムにおいて音声サービス支援方法及び装置
US9081498B2 (en) 2012-02-24 2015-07-14 Blackberry Limited Method and apparatus for adjusting a user interface to reduce obscuration
EP2631743B1 (en) * 2012-02-24 2018-05-02 BlackBerry Limited Handheld device with notification message viewing
KR101891536B1 (ko) 2012-02-24 2018-08-27 삼성전자주식회사 휴대단말기의 응급콜 발신 방법 및 장치
CA2865263C (en) 2012-02-24 2017-06-27 Blackberry Limited Electronic device and method of controlling a display
KR101253451B1 (ko) 2012-02-29 2013-04-11 주식회사 팬택 음원의 위치를 감지할 수 있는 모바일 디바이스 및 그 제어 방법
KR101921203B1 (ko) 2012-03-02 2018-11-22 삼성전자 주식회사 녹음 기능이 연동된 메모 기능 운용 방법 및 장치
US20130232073A1 (en) 2012-03-05 2013-09-05 John F. Sheets Authentication Using Biometric Technology Through a Consumer Device
US9189062B2 (en) 2012-03-07 2015-11-17 Google Technology Holdings LLC Portable electronic device and method for controlling operation thereof based on user motion
WO2013135270A1 (en) 2012-03-13 2013-09-19 Telefonaktiebolaget L M Ericsson (Publ) An apparatus and method for navigating on a touch sensitive screen thereof
US9247525B2 (en) * 2012-03-16 2016-01-26 Qualcomm Incorporated Systems and methods for providing notifications
CN103327159B (zh) 2012-03-19 2016-07-06 联想(北京)有限公司 一种低电提示方法及电子设备
KR20130107974A (ko) 2012-03-23 2013-10-02 삼성전자주식회사 플로팅 사용자 인터페이스 제공 장치 및 방법
US9600709B2 (en) 2012-03-28 2017-03-21 Synaptics Incorporated Methods and systems for enrolling biometric data
US9934713B2 (en) 2012-03-28 2018-04-03 Qualcomm Incorporated Multifunction wristband
US8459545B1 (en) 2012-03-29 2013-06-11 Cisco Technology, Inc. Image-based point-of-sale mobile settlement system
US20130275924A1 (en) 2012-04-16 2013-10-17 Nuance Communications, Inc. Low-attention gestural user interface
CN102663303A (zh) 2012-04-17 2012-09-12 李凯 移动设备行使权限的方法
JP2013222410A (ja) 2012-04-18 2013-10-28 Fujitsu Frontech Ltd 非接触icカード機能付携帯端末、そのプログラム
US20130282564A1 (en) 2012-04-21 2013-10-24 Research In Motion Limited System and method for transmitting application data between two communication devices
US20130282844A1 (en) 2012-04-23 2013-10-24 Contact Solutions LLC Apparatus and methods for multi-mode asynchronous communication
US20130290879A1 (en) 2012-04-30 2013-10-31 Research In Motion Tat Ab Displaying notification messages and messages on a portable electronic device
US20130297414A1 (en) 2012-05-07 2013-11-07 Flint Mobile, Inc. Method, apparatus, and computer-readable medium for managing mobile payment transactions
WO2013169842A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for selecting object within a group of objects
WO2013169875A2 (en) * 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for displaying content associated with a corresponding affordance
WO2013169865A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for moving a user interface object based on an intensity of a press input
KR101683868B1 (ko) * 2012-05-09 2016-12-07 애플 인크. 제스처에 응답하여 디스플레이 상태들 사이를 전이하기 위한 디바이스, 방법, 및 그래픽 사용자 인터페이스
US9953310B2 (en) 2012-05-10 2018-04-24 Mastercard International Incorporated Systems and method for providing multiple virtual secure elements in a single physical secure element of a mobile device
CN103425119B (zh) 2012-05-23 2018-10-19 株式会社堀场制作所 测试系统、设备管理装置和车辆性能测试系统
US9191988B2 (en) 2012-05-26 2015-11-17 Qualcomm Incorporated Smart pairing using bluetooth technology
US8948821B2 (en) 2012-05-27 2015-02-03 Qualcomm Incorporated Notification based on user context
US9798457B2 (en) 2012-06-01 2017-10-24 Microsoft Technology Licensing, Llc Synchronization of media interactions using context
KR101395480B1 (ko) * 2012-06-01 2014-05-14 주식회사 팬택 필기 입력에 기초하여 어플리케이션을 실행하는 방법 및 그 단말
US9800532B2 (en) 2012-06-04 2017-10-24 International Business Machines Corporation Intelligent presentation of multiple proximate audible alerts
US10156455B2 (en) 2012-06-05 2018-12-18 Apple Inc. Context-aware voice guidance
KR102049999B1 (ko) 2012-06-11 2019-11-28 삼성전자주식회사 쇼핑 서비스를 제공하는 사용자 단말 장치, 이를 포함하는 쇼핑 시스템 및 그 서비스 방법
US20130332358A1 (en) 2012-06-12 2013-12-12 Ebay, Inc. Fraud detection system
KR101941510B1 (ko) 2012-06-13 2019-01-23 삼성전자주식회사 전력 소모를 줄이기 위한 방법 및 그 전자 장치
CN102695302B (zh) 2012-06-15 2014-12-24 吴芳 用于扩展便携终端电子设备移动通信功能的系统和方法
US8949363B2 (en) * 2012-06-19 2015-02-03 Blackberry Limited Delayed or suspended alerts with multiple devices in proximity
US20130347018A1 (en) 2012-06-21 2013-12-26 Amazon Technologies, Inc. Providing supplemental content with active media
US20130346922A1 (en) 2012-06-26 2013-12-26 Google Inc. Insitu actions within presentation of notifications
US20140005947A1 (en) 2012-06-28 2014-01-02 Korea Electronics Technology Institute Health care system and method using stress index acquired from heart rate variation
WO2014008956A1 (en) 2012-07-10 2014-01-16 Telefonaktiebolaget L M Ericsson (Publ) Method; apparatuses and computer program product for providing application service platform with access to core network information comprising context data
US9461833B1 (en) * 2012-07-13 2016-10-04 Google Inc. Coalesced notifications for social groups
CN102799382A (zh) 2012-07-16 2012-11-28 华为终端有限公司 用户设备的系统栏的控制方法和用户设备
US8666361B2 (en) 2012-07-17 2014-03-04 Blackberry Limited System and method of providing information access on a portable device
EP2688283B1 (en) 2012-07-20 2020-03-18 BlackBerry Limited Dynamic region of interest adaptation and image capture device providing same
US9953584B2 (en) 2012-07-24 2018-04-24 Nook Digital, Llc Lighting techniques for display devices
US9560006B2 (en) 2012-07-26 2017-01-31 Google Inc. Method and apparatus for expiring messages in electronic communications
CN103581413A (zh) * 2012-08-01 2014-02-12 中兴通讯股份有限公司 一种会话管理方法及终端
US20140036099A1 (en) 2012-08-03 2014-02-06 Be Labs, Llc Automated Scanning
US20140045463A1 (en) 2012-08-10 2014-02-13 Silverplus, Inc. Wearable Communication Device
US9779396B2 (en) 2012-08-14 2017-10-03 Chijioke Chukwuemeka UZO Method of making mobile payments to a recipient lacking a wireless or contactless terminal
CN103596126A (zh) 2012-08-15 2014-02-19 中兴通讯股份有限公司 一种个性化的增强服务方法及网络侧设备及移动用户设备
CN102843681A (zh) 2012-08-15 2012-12-26 腾讯科技(深圳)有限公司 信息交互方法和装置
US20140058935A1 (en) 2012-08-21 2014-02-27 Noel Mijares Mobile contactless digital watch payment
US20140058873A1 (en) * 2012-08-22 2014-02-27 Scanavo North America Ltd. Virtual packaging and electronic gifting system and methodology
CA3202407A1 (en) 2012-08-24 2014-02-27 Samsung Electronics Co., Ltd. Apparatus and method for providing interaction information by using image on device display
KR101901919B1 (ko) 2012-08-27 2018-09-27 삼성전자주식회사 휴대 단말기 및 메신저 영상 서비스 운용 방법
KR102020335B1 (ko) 2012-08-27 2019-09-10 삼성전자 주식회사 메시지 운용 방법 및 이를 지원하는 단말기
EP2703946B1 (en) 2012-08-28 2016-10-05 Samsung Electronics Co., Ltd Low power detection apparatus and method
US8787888B2 (en) 2012-08-29 2014-07-22 Facebook, Inc. Sharing location information during a communication session
KR101399112B1 (ko) 2012-08-31 2014-05-30 주식회사 팬택 휴대용 전자 기기 및 이를 위한 배터리 관리 방법
US8826415B2 (en) 2012-09-04 2014-09-02 Apple Inc. Automated device access
US9131332B2 (en) 2012-09-10 2015-09-08 Qualcomm Incorporated Method of providing call control information from a mobile phone to a peripheral device
JP5884689B2 (ja) * 2012-09-11 2016-03-15 カシオ計算機株式会社 携帯機器及びその制御方法、並びに、携帯機器の制御プログラム
US8488752B1 (en) 2012-09-14 2013-07-16 Google Inc. System and method for recording voicemail
US8823507B1 (en) 2012-09-19 2014-09-02 Amazon Technologies, Inc. Variable notification alerts
US10042603B2 (en) 2012-09-20 2018-08-07 Samsung Electronics Co., Ltd. Context aware service provision method and apparatus of user device
KR102013443B1 (ko) 2012-09-25 2019-08-22 삼성전자주식회사 이미지를 전송하기 위한 방법 및 그 전자 장치
EP2717552A1 (en) 2012-10-04 2014-04-09 Nagravision S.A. A portable proximity wireless communication device
US9792035B2 (en) 2012-10-09 2017-10-17 Mastercard International Incorporated System and method for payment using a mobile device
US20140108558A1 (en) 2012-10-12 2014-04-17 Citrix Systems, Inc. Application Management Framework for Secure Data Sharing in an Orchestration Framework for Connected Devices
US10158391B2 (en) * 2012-10-15 2018-12-18 Qualcomm Incorporated Wireless area network enabled mobile device accessory
US8942420B2 (en) 2012-10-18 2015-01-27 Qualcomm Incorporated Detecting embossed characters on form factor
KR20140051640A (ko) 2012-10-23 2014-05-02 삼성전자주식회사 휴대 단말에서의 결제 수행 방법 및 장치와 그 방법에 대한 프로그램 소스를 저장한 기록 매체
WO2014065846A1 (en) 2012-10-25 2014-05-01 Blackberry Limited Electronic device and method of displaying information in response to detecting a gesture
US9152211B2 (en) 2012-10-30 2015-10-06 Google Technology Holdings LLC Electronic device with enhanced notifications
US20140129441A1 (en) 2012-11-02 2014-05-08 German Blanco Systems and methods for authorizing sensitive purchase transactions with a mobile device
US20140129007A1 (en) 2012-11-06 2014-05-08 Aliphcom General health and wellness management method and apparatus for a wellness application using data associated with a data-capable band
US9250660B2 (en) 2012-11-14 2016-02-02 Laserlock Technologies, Inc. “HOME” button with integrated user biometric sensing and verification system for mobile device
WO2014078598A1 (en) 2012-11-14 2014-05-22 invi Labs, Inc. System for and method of embedding rich media into text messages
US9606695B2 (en) 2012-11-14 2017-03-28 Facebook, Inc. Event notification
US9628424B2 (en) * 2012-11-15 2017-04-18 Samsung Electronics Co., Ltd. Apparatus and method for sharing time-sensitive data between devices with intermittent connectivity
US10551928B2 (en) 2012-11-20 2020-02-04 Samsung Electronics Company, Ltd. GUI transitions on wearable electronic device
CA2886182C (en) 2012-11-20 2018-01-16 Ebay Inc. Environment and methods for enabling electronic transactions
US9756049B2 (en) 2012-11-22 2017-09-05 8303142 Canada Inc. System and method for managing several mobile devices simultaneously
JP6144354B2 (ja) * 2012-11-28 2017-06-07 モントレー・ラドー・エス アー 携帯用タッチ式電子物品
KR20140071157A (ko) 2012-12-03 2014-06-11 삼성전자주식회사 단말기의 정보 운용 방법 이를 지원하는 단말기
US9549323B2 (en) 2012-12-03 2017-01-17 Samsung Electronics Co., Ltd. Method and mobile terminal for controlling screen lock
JP5796789B2 (ja) 2012-12-20 2015-10-21 カシオ計算機株式会社 情報処理システムにおける無線端末、無線端末による携帯情報端末の起動方法
JP6075055B2 (ja) * 2012-12-20 2017-02-08 カシオ計算機株式会社 表示端末装置、情報表示システム、情報表示制御方法、及び、プログラム
US9769106B2 (en) 2012-12-28 2017-09-19 Intel Corporation Displaying notifications on a mobile computing device
EP2939098B1 (en) 2012-12-29 2018-10-10 Apple Inc. Device, method, and graphical user interface for transitioning between touch input to display output relationships
US20140189533A1 (en) * 2012-12-30 2014-07-03 Avaya Inc. Dynamic notification system and method
US20140187856A1 (en) 2012-12-31 2014-07-03 Lee D. Holoien Control System For Modular Imaging Device
US8909219B2 (en) 2013-01-17 2014-12-09 Qualcomm Incorporated Methods and apparatus for providing unified wireless communication through efficient memory management
US20140213295A1 (en) * 2013-01-30 2014-07-31 Whoozat Inc. Systems and methods for location-based group tracking and notifications
CN103199311B (zh) 2013-02-05 2015-08-12 北京奇虎科技有限公司 便携式电子产品的电池省电方法、设备及移动终端
KR102097495B1 (ko) 2013-02-06 2020-04-06 엘지전자 주식회사 디지털 디바이스 및 그 제어 방법
JP2014165663A (ja) * 2013-02-25 2014-09-08 Kyocera Corp 携帯端末装置、プログラムおよび携帯端末装置の制御方法
US10122827B2 (en) 2013-02-25 2018-11-06 Microsoft Technology Licensing, Llc Interaction between devices displaying application status information
US9503409B2 (en) 2013-02-25 2016-11-22 Google Inc. Suppression of extraneous alerts on multiple devices
US20140244514A1 (en) 2013-02-26 2014-08-28 Digimarc Corporation Methods and arrangements for smartphone payments and transactions
US9553486B2 (en) 2013-03-04 2017-01-24 Hello Inc. Monitoring system and device with sensors that is remotely powered
US9042218B2 (en) 2013-03-07 2015-05-26 Qualcomm Incorporated Apparatus, method, and system for incentivizing open access to closed subscriber group low-power base stations
US20140279554A1 (en) 2013-03-12 2014-09-18 Seth Priebatsch Distributed authenticity verification for consumer payment transactions
FI20135248L (fi) 2013-03-14 2014-09-15 Op Palvelut Oy Mobiililaite transaktioinformaation kera
US10025459B2 (en) 2013-03-14 2018-07-17 Airwatch Llc Gesture-based workflow progression
US20140279728A1 (en) * 2013-03-15 2014-09-18 Gary Skole System and Method for Caring for a Person Afflicted with Dementia
US9183371B2 (en) 2013-03-15 2015-11-10 Tyfone, Inc. Personal digital identity device with microphone
WO2014143776A2 (en) 2013-03-15 2014-09-18 Bodhi Technology Ventures Llc Providing remote interactions with host device using a wireless device
CN103207674B (zh) 2013-03-21 2016-06-22 苏州展科光电科技有限公司 基于体感技术的电子演示系统
JP6052004B2 (ja) 2013-03-27 2016-12-27 富士通株式会社 端末装置および端末制御プログラム
WO2014157893A1 (en) 2013-03-27 2014-10-02 Samsung Electronics Co., Ltd. Method and device for providing a private page
KR101472397B1 (ko) 2013-04-04 2014-12-12 주식회사 팬택 휴대용 단말 및 노티피케이션 정보 처리 방법
US20140316984A1 (en) 2013-04-17 2014-10-23 International Business Machines Corporation Mobile device transaction method and system
KR102171444B1 (ko) 2013-04-22 2020-10-29 엘지전자 주식회사 스마트 워치 및 제어 방법
CN103260059B (zh) 2013-04-26 2016-03-30 华为技术有限公司 控制机顶盒设备、位置信息确定和信息发布的方法和设备
US9075612B2 (en) 2013-05-10 2015-07-07 Jinrong Yang System and method for managing display power consumption
US10019710B2 (en) 2013-05-16 2018-07-10 Avant-Garde Ip Llc System, method and article of manufacture to facilitate a financial transaction without unlocking a mobile device
US9300617B2 (en) 2013-05-17 2016-03-29 Blackberry Limited Method and device for graphical indicator of electronic messages
US10078372B2 (en) 2013-05-28 2018-09-18 Blackberry Limited Performing an action associated with a motion based input
US20140365944A1 (en) 2013-06-09 2014-12-11 Apple Inc. Location-Based Application Recommendations
CN203311163U (zh) 2013-06-18 2013-11-27 深圳市益威科电子有限公司 一种智能蓝牙手表
US10620785B2 (en) * 2013-06-27 2020-04-14 Micro Focus Llc Device for displaying electronic communications received from communications services
US9338116B2 (en) * 2013-06-28 2016-05-10 Blackberry Limited Device and method for displaying and interacting with display objects
US20150012417A1 (en) 2013-07-08 2015-01-08 Raymond Anthony Joao Apparatus and method for providing transaction security and/or account security
US9254633B2 (en) 2013-07-09 2016-02-09 Apple Inc. Environmental seal maximizing sensor space beneath a button positioned in trim
KR101474467B1 (ko) * 2013-07-09 2014-12-19 엘지전자 주식회사 이동 단말기 및 그것의 제어방법
CN103440247A (zh) 2013-07-19 2013-12-11 张佳佩 发送照片的方法及其设备
EP3025270A1 (en) 2013-07-25 2016-06-01 Nymi inc. Preauthorized wearable biometric device, system and method for use thereof
US9419935B2 (en) 2013-08-02 2016-08-16 Whatsapp Inc. Voice communications with real-time status notifications
US10778680B2 (en) 2013-08-02 2020-09-15 Alibaba Group Holding Limited Method and apparatus for accessing website
KR102047703B1 (ko) 2013-08-09 2019-11-22 엘지전자 주식회사 이동 단말기 및 이의 제어 방법
US9720640B2 (en) 2013-08-20 2017-08-01 Hallmark Cards, Incorporated Multifunction button
US9100944B2 (en) 2013-08-28 2015-08-04 Qualcomm Incorporated Wireless connecting mobile devices and wearable devices
KR102194795B1 (ko) 2013-08-29 2020-12-23 삼성전자주식회사 전력 제어를 위한 전자 장치 및 방법
KR101670808B1 (ko) 2013-09-03 2016-10-31 삼성전자주식회사 알림을 제공하는 방법 및 그 전자 장치
US10143425B1 (en) 2013-09-09 2018-12-04 Scanadu Incorporated Methods of data acquisition quality and data fusion for personal portable wireless vital signs scanner
CN203520050U (zh) 2013-09-09 2014-04-02 李晓 具有超级电容的智能手表
WO2015038684A1 (en) * 2013-09-10 2015-03-19 Polyera Corporation Attachable article with signaling, split display and messaging features
US9959431B2 (en) * 2013-09-16 2018-05-01 Google Technology Holdings LLC Method and apparatus for displaying potentially private information
KR102109617B1 (ko) 2013-09-16 2020-05-13 주식회사 팬택 지문 인식기를 구비한 단말 및 이 지문 인식기를 통한 사용자 입력의 처리 방법
CN103500079A (zh) 2013-09-17 2014-01-08 小米科技有限责任公司 通知消息显示方法、装置及电子设备
CN103576902A (zh) 2013-09-18 2014-02-12 酷派软件技术(深圳)有限公司 控制终端设备的方法及系统
US9723354B2 (en) 2013-09-20 2017-08-01 Echostar Technologies L.L.C. Wireless tuner sharing
US9727752B2 (en) 2013-09-25 2017-08-08 Kairos Social Solutions, Inc. Device, system, and method of identifying a specific user from a profile image containing multiple people
CN103473004A (zh) 2013-09-29 2013-12-25 小米科技有限责任公司 一种显示消息的方法、装置及终端设备
US20150100537A1 (en) 2013-10-03 2015-04-09 Microsoft Corporation Emoji for Text Predictions
US20150100348A1 (en) 2013-10-08 2015-04-09 Ims Health Incorporated Secure Method for Health Record Transmission to Emergency Service Personnel
US9230486B2 (en) 2013-10-10 2016-01-05 Google Technology Holdings LLC Method and apparatus for displaying content on a display of an electronic device during different device operating modes
US9572171B2 (en) 2013-10-31 2017-02-14 Intel IP Corporation Systems, methods, and devices for efficient device-to-device channel contention
CN103604272B (zh) 2013-11-13 2016-01-13 四川长虹电器股份有限公司 智能冰箱系统及手势控制接听电话的方法
KR102125834B1 (ko) 2013-11-29 2020-06-23 삼성전자주식회사 모바일 단말기 및 그의 전력 관리 방법
CN103677520B (zh) 2013-12-04 2017-07-21 深圳市朗强科技有限公司 基于Android平台的应用程序评论方法及装置
KR102019314B1 (ko) 2013-12-04 2019-09-06 애플 인크. 생리학적 데이터의 제시
KR102114616B1 (ko) 2013-12-06 2020-05-25 엘지전자 주식회사 스마트 와치 및 제어 방법
US9785794B2 (en) 2013-12-12 2017-10-10 Citrix Systems, Inc. Securing sensitive data on a mobile device
US20150181441A1 (en) 2013-12-20 2015-06-25 Cisco Technology, Inc. Telecommunications Networks
JP6644466B2 (ja) 2013-12-31 2020-02-12 イマージョン コーポレーションImmersion Corporation 触覚通知を提供するシステム及び方法
US10033679B2 (en) 2013-12-31 2018-07-24 Google Llc Systems and methods for displaying unseen labels in a clustering in-box environment
US8811951B1 (en) 2014-01-07 2014-08-19 Google Inc. Managing display of private information
US20160320959A1 (en) 2014-01-15 2016-11-03 Yulong Computer Telecommunication Scientific (Shenzhen) Co., Ltd. Terminal Operation Apparatus and Terminal Operation Method
KR102218906B1 (ko) 2014-01-17 2021-02-23 엘지전자 주식회사 이동 단말기 및 이의 제어 방법
WO2015107681A1 (ja) 2014-01-17 2015-07-23 任天堂株式会社 情報処理システム、情報処理サーバ、情報処理プログラム、および情報提供方法
CN104811423B (zh) 2014-01-24 2019-03-01 腾讯科技(深圳)有限公司 位置信息的共享方法和装置
US10013601B2 (en) * 2014-02-05 2018-07-03 Facebook, Inc. Ideograms for captured expressions
US20160012465A1 (en) 2014-02-08 2016-01-14 Jeffrey A. Sharp System and method for distributing, receiving, and using funds or credits and apparatus thereof
US20150227245A1 (en) * 2014-02-10 2015-08-13 Polyera Corporation Attachable Device with Flexible Electronic Display Orientation Detection
US20150227937A1 (en) 2014-02-10 2015-08-13 Mastercard International Incorporated Random biometric authentication method and apparatus
CN103793075B (zh) 2014-02-14 2017-02-15 北京君正集成电路股份有限公司 一种应用在智能手表上的识别方法
US9483529B1 (en) 2014-02-14 2016-11-01 Twitter, Inc. Selection and presentation of unviewed messages
US9031812B2 (en) 2014-02-27 2015-05-12 Fitbit, Inc. Notifications on a user device based on activity detected by an activity monitoring device
US9772985B2 (en) * 2014-02-28 2017-09-26 Microsoft Technology Licensing, Llc Communications control for resource constrained devices
CN103838992B (zh) 2014-03-03 2017-07-14 宇龙计算机通信科技(深圳)有限公司 一种指纹识别方法及终端
US20150264303A1 (en) 2014-03-17 2015-09-17 Microsoft Corporation Stop Recording and Send Using a Single Action
CN104123333B (zh) 2014-03-17 2017-02-15 腾讯科技(深圳)有限公司 用于位置共享的数据处理方法和装置
US9722962B2 (en) 2014-03-21 2017-08-01 Facebook, Inc. Providing message status notifications during electronic messaging
EP3382443B1 (en) 2014-03-21 2023-07-26 Samsung Electronics Co., Ltd. Head-mounted display and method of operating the same
KR20160143752A (ko) * 2014-04-04 2016-12-14 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 확장가능한 애플리케이션 표시 및 태스크바
US20150286391A1 (en) * 2014-04-08 2015-10-08 Olio Devices, Inc. System and method for smart watch navigation
CN106415556B (zh) 2014-04-10 2020-09-08 德克斯康公司 血糖紧迫性评估和警告界面
US20150301506A1 (en) 2014-04-22 2015-10-22 Fahad Koumaiha Transparent capacitive touchscreen device overlying a mechanical component
CN105005457B (zh) 2014-04-25 2019-04-09 腾讯科技(深圳)有限公司 地理位置展示方法及装置
US10845982B2 (en) 2014-04-28 2020-11-24 Facebook, Inc. Providing intelligent transcriptions of sound messages in a messaging application
KR102069629B1 (ko) 2014-05-08 2020-01-23 삼성전기주식회사 칩 전자부품 및 그 제조방법
CN106489260B (zh) 2014-05-12 2019-10-18 诺基亚通信有限责任两合公司 包括虚拟化网络功能的通信网络的控制方法及装置
GB201408408D0 (en) 2014-05-12 2014-06-25 Tomlinson Martin Method and apparatus for time limited messages in packet communications
CN103944811B (zh) * 2014-05-15 2018-09-21 广州博冠信息科技有限公司 一种邮件提示方法和设备
CN104023126B (zh) 2014-05-16 2017-01-25 北京金山安全软件有限公司 签到方法及其装置
US9614804B2 (en) 2014-05-16 2017-04-04 Dropbox, Inc. Managing messages based on expiration dates
CN104038256A (zh) 2014-05-28 2014-09-10 南京邮电大学 一种基于生物特征识别的nfc传输方法
US20150350146A1 (en) 2014-05-29 2015-12-03 Apple Inc. Coordination of message alert presentations across devices based on device modes
CN115496491A (zh) 2014-05-29 2022-12-20 苹果公司 用于支付的用户接口
WO2015183755A1 (en) 2014-05-31 2015-12-03 Apple Inc. Message user interfaces for captured and transmittal of media and location
EP4053767A1 (en) 2014-05-30 2022-09-07 Apple Inc. Method for displaying and selecting data
US10236079B2 (en) 2014-05-30 2019-03-19 Apple Inc. Managing user information—authorization masking
US9762573B2 (en) 2014-05-30 2017-09-12 Verizon Patent And Licensing Inc. Biometric framework allowing independent application control
US10382378B2 (en) 2014-05-31 2019-08-13 Apple Inc. Live location sharing
US9185062B1 (en) 2014-05-31 2015-11-10 Apple Inc. Message user interfaces for capture and transmittal of media and location content
CN118192869A (zh) 2014-06-27 2024-06-14 苹果公司 尺寸减小的用户界面
US9445248B2 (en) 2014-07-25 2016-09-13 Qualcomm Incorporated Radio-agnostic message translation service
EP2998822B1 (en) 2014-07-31 2018-09-12 Samsung Electronics Co., Ltd Mobile communication device using a plurality of wearable devices in parallel
US20160036996A1 (en) 2014-08-02 2016-02-04 Sony Corporation Electronic device with static electric field sensor and related method
CN114115459B (zh) 2014-08-06 2024-04-12 苹果公司 用于电池管理的减小尺寸的用户界面
CN111180040B (zh) 2014-09-02 2023-11-10 苹果公司 身体活动和健身监视器
KR101901796B1 (ko) 2014-09-02 2018-09-28 애플 인크. 경고를 관리하기 위한 축소된 크기의 인터페이스
WO2016036546A2 (en) * 2014-09-02 2016-03-10 Apple Inc. Reduced-size notification interface
CN115623117A (zh) 2014-09-02 2023-01-17 苹果公司 电话用户界面
US20160073223A1 (en) 2014-09-10 2016-03-10 Microsoft Corporation Real-time location sharing to facilitate a physical meet-up
US20160080552A1 (en) 2014-09-17 2016-03-17 Qualcomm Incorporated Methods and systems for user feature tracking on a mobile device
US9992207B2 (en) 2014-09-23 2018-06-05 Qualcomm Incorporated Scalable authentication process selection based upon sensor inputs
US20160088146A1 (en) 2014-09-23 2016-03-24 Mcafee, Inc. Device lock while in motion
US9367845B2 (en) 2014-09-23 2016-06-14 Sony Corporation Messaging customer mobile device when electronic bank card used
US20160098522A1 (en) 2014-10-07 2016-04-07 David Roey Weinstein Method and system for creating and managing permissions to send, receive and transmit patient created health data between patients and health care providers
US20160125412A1 (en) 2014-11-05 2016-05-05 Royce E. Cannon Method and system for preventing identity theft and increasing security on all systems
AR102615A1 (es) 2014-11-14 2017-03-15 Bayer Healthcare Llc Analizador de analitos
US9648615B2 (en) 2014-12-02 2017-05-09 Cisco Technology, Inc. Location measurement optimized off-channel scanning and grouping of access points
KR102256642B1 (ko) 2014-12-04 2021-05-27 삼성전자주식회사 메시지 송수신 장치 및 메시지 송수신 방법
KR20160076264A (ko) 2014-12-22 2016-06-30 엘지전자 주식회사 이동 단말기 및 그것의 제어방법
US9954991B2 (en) 2014-12-31 2018-04-24 Xiaomi Inc. Status notification method and device
JP6938378B2 (ja) 2015-01-21 2021-09-22 デックスコム・インコーポレーテッド 複数のディスプレイ装置との連続グルコースモニタ通信
US20160224973A1 (en) 2015-02-01 2016-08-04 Apple Inc. User interface for payments
CN104567863A (zh) 2015-02-11 2015-04-29 英华达(上海)科技有限公司 智能进场导引系统与方法
US10216351B2 (en) 2015-03-08 2019-02-26 Apple Inc. Device configuration user interface
KR20160126446A (ko) 2015-04-23 2016-11-02 엘지전자 주식회사 웨어러블 디바이스 및 그 제어방법
KR20160142527A (ko) 2015-06-03 2016-12-13 엘지전자 주식회사 디스플레이 장치 및 제어 방법
US9661117B2 (en) 2015-07-16 2017-05-23 Plantronics, Inc. Wearable devices for headset status and control
US10003938B2 (en) 2015-08-14 2018-06-19 Apple Inc. Easy location sharing
KR102469562B1 (ko) 2015-12-18 2022-11-22 삼성전자주식회사 개인의 전자 헬스 자료를 공유하기 위한 장치 및 방법
JP6603576B2 (ja) 2015-12-25 2019-11-06 富士フイルム株式会社 診療支援装置とその作動方法および作動プログラム、並びに診療支援システム
WO2017113366A1 (zh) 2015-12-31 2017-07-06 华为技术有限公司 基于位置的提醒方法、指示设备、提醒设备和移动终端
US10150002B2 (en) 2016-02-10 2018-12-11 Accenture Global Solutions Limited Health tracking devices
US10549173B2 (en) 2016-03-28 2020-02-04 Apple Inc. Sharing updatable graphical user interface elements
JP6490023B2 (ja) 2016-03-30 2019-03-27 富士フイルム株式会社 生体情報通信装置、サーバ、生体情報通信方法及び生体情報通信プログラム
US9801033B1 (en) 2016-04-08 2017-10-24 Vivint, Inc. Family member tracking
US9769610B1 (en) 2016-05-12 2017-09-19 Google Inc. Adaptive location sharing based on proximity
US20170364637A1 (en) 2016-05-24 2017-12-21 ICmed, LLC Mobile health management database, targeted educational assistance (tea) engine, selective health care data sharing, family tree graphical user interface, and health journal social network wall feed, computer-implemented system, method and computer program product
US20180056130A1 (en) 2016-08-31 2018-03-01 Microsoft Technology Licensing, Llc Providing insights based on health-related information
US10817488B2 (en) 2016-09-16 2020-10-27 Oracle International Corporation Historical data representation in cloud service
US11221749B2 (en) 2016-10-31 2022-01-11 Lenovo (Singapore) Pte. Ltd. Electronic device with touchpad display
US20180189343A1 (en) 2016-12-30 2018-07-05 Dropbox, Inc. Notifications system for content collaborations
US10903964B2 (en) 2017-03-24 2021-01-26 Apple Inc. Techniques to enable physical downlink control channel communications
GB201706543D0 (en) 2017-04-25 2017-06-07 Anitech Solutions Ltd Geo-location fences-based transient messages
US10845955B2 (en) 2017-05-15 2020-11-24 Apple Inc. Displaying a scrollable list of affordances associated with physical activities
US10481856B2 (en) 2017-05-15 2019-11-19 Microsoft Technology Licensing, Llc Volume adjustment on hinged multi-screen device
US10699247B2 (en) 2017-05-16 2020-06-30 Under Armour, Inc. Systems and methods for providing health task notifications
US10817173B2 (en) 2017-07-14 2020-10-27 Motorola Mobility Llc Visually placing virtual control buttons on a computing device based on grip profile
KR102390342B1 (ko) 2017-08-31 2022-04-26 삼성전자주식회사 사용자의 체중 관리를 위한 방법 및 그 전자 장치
JP6382433B1 (ja) 2017-11-30 2018-08-29 ユニファ株式会社 保育管理システム、サーバ装置、保育管理プログラム及び保育管理方法
CN110932673A (zh) 2018-09-19 2020-03-27 恩智浦美国有限公司 一种包含并联陷波滤波器的斩波稳定放大器
US11481094B2 (en) 2019-06-01 2022-10-25 Apple Inc. User interfaces for location-related communications
US11152100B2 (en) 2019-06-01 2021-10-19 Apple Inc. Health application user interfaces
US11477609B2 (en) 2019-06-01 2022-10-18 Apple Inc. User interfaces for location-related communications

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024202274A1 (ja) 2023-03-28 2024-10-03 日本ペイント・オートモーティブコーティングス株式会社 塗料組成物、塗装物品および塗装物品の製造方法

Also Published As

Publication number Publication date
EP3373122B1 (en) 2022-04-06
JP2017526073A (ja) 2017-09-07
US20190286301A1 (en) 2019-09-19
KR101901796B1 (ko) 2018-09-28
CN117519532A (zh) 2024-02-06
CN105388998A (zh) 2016-03-09
AU2016102002A4 (en) 2016-12-15
KR20190101510A (ko) 2019-08-30
DK179417B1 (en) 2018-06-18
JP6464299B2 (ja) 2019-02-06
KR102016160B1 (ko) 2019-08-29
AU2017100197B4 (en) 2017-10-26
US20170147197A1 (en) 2017-05-25
CN117519533A (zh) 2024-02-06
EP3189409B1 (en) 2020-01-29
EP3189409A1 (en) 2017-07-12
EP4027227A1 (en) 2022-07-13
EP3373122A1 (en) 2018-09-12
JP2021108132A (ja) 2021-07-29
TW201633063A (zh) 2016-09-16
JP6852952B2 (ja) 2021-03-31
CN205334368U (zh) 2016-06-22
NL2019878B1 (en) 2018-08-31
AU2017100198A4 (en) 2017-03-23
AU2016102002B4 (en) 2017-01-19
AU2015101188A4 (en) 2015-10-08
US20160062540A1 (en) 2016-03-03
AU2018204430A1 (en) 2018-07-05
NL2015354A (en) 2016-08-18
KR102143308B1 (ko) 2020-08-10
JP7198849B2 (ja) 2023-01-04
CN206649467U (zh) 2017-11-17
DK201570550A1 (en) 2016-03-14
AU2015312369A1 (en) 2017-03-23
US11379071B2 (en) 2022-07-05
US10379714B2 (en) 2019-08-13
US11989364B2 (en) 2024-05-21
JP6349030B2 (ja) 2018-06-27
DK201770126A1 (en) 2017-03-20
NL2019878A (en) 2017-12-20
CN109062463A (zh) 2018-12-21
AU2015101188B4 (en) 2016-10-20
DE202015006066U1 (de) 2015-12-14
US20240176441A1 (en) 2024-05-30
WO2016036472A1 (en) 2016-03-10
DK201770125A1 (en) 2017-03-13
KR20180107296A (ko) 2018-10-01
WO2016036472A8 (en) 2017-03-30
US9977579B2 (en) 2018-05-22
TWI625646B (zh) 2018-06-01
DK178964B1 (en) 2017-07-10
US20170153795A1 (en) 2017-06-01
HK1220525A1 (zh) 2017-05-05
US9575591B2 (en) 2017-02-21
AU2017100198B4 (en) 2017-10-26
AU2018204430B2 (en) 2019-07-11
JP2019083036A (ja) 2019-05-30
KR20170029014A (ko) 2017-03-14
AU2019246830B1 (en) 2019-11-07
CN105388998B (zh) 2019-08-27
JP2018152085A (ja) 2018-09-27
NL2015354B1 (en) 2017-11-16
US20220300108A1 (en) 2022-09-22
CN109062463B (zh) 2023-12-15
AU2018204430C1 (en) 2020-01-30
AU2017100197A4 (en) 2017-03-23
AU2015312369B2 (en) 2018-04-05

Similar Documents

Publication Publication Date Title
JP7198849B2 (ja) アラートを管理するための小型インターフェース
WO2016036546A2 (en) Reduced-size notification interface
US12131616B2 (en) User interfaces for facilitating operations
US11837067B2 (en) User interfaces for facilitating operations
US20240062640A1 (en) User interfaces for facilitating operations

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230118

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240325

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20240920