JP2023040093A - 可変触覚出力のための意味論的フレームワーク - Google Patents

可変触覚出力のための意味論的フレームワーク Download PDF

Info

Publication number
JP2023040093A
JP2023040093A JP2022208689A JP2022208689A JP2023040093A JP 2023040093 A JP2023040093 A JP 2023040093A JP 2022208689 A JP2022208689 A JP 2022208689A JP 2022208689 A JP2022208689 A JP 2022208689A JP 2023040093 A JP2023040093 A JP 2023040093A
Authority
JP
Japan
Prior art keywords
haptic
output
alert
event
alert condition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022208689A
Other languages
English (en)
Inventor
カミール ムセット,
Moussette Camille
ゲイリー ブッチャー,
Butcher Gary
ユーゴー ヴェルウェイジ,
VERWEIJ Hugo
ジョナサン イヴ,
Ive Jonathan
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of JP2023040093A publication Critical patent/JP2023040093A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00Tactile signalling systems, e.g. personal calling systems
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B3/00Focusing arrangements of general interest for cameras, projectors or printers
    • G03B3/10Power-operated focusing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0706Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment
    • G06F11/0745Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment in an input/output transactions management context
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0751Error or fault detection not based on redundancy
    • G06F11/0763Error or fault detection not based on redundancy by bit configuration check, e.g. of formats or tags
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/30Semantic analysis
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B3/00Audible signalling systems; Audible personal calling systems
    • G08B3/10Audible signalling systems; Audible personal calling systems using electric transmission; using electromagnetic transmission
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/21Monitoring or handling of messages
    • H04L51/224Monitoring or handling of messages providing notification on incoming messages, e.g. pushed notifications of received messages
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M19/00Current supply arrangements for telephone systems
    • H04M19/02Current supply arrangements for telephone systems providing ringing current or supervisory tones, e.g. dialling tone or busy tone
    • H04M19/04Current supply arrangements for telephone systems providing ringing current or supervisory tones, e.g. dialling tone or busy tone the ringing-current being generated at the substations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/014Force feedback applied to GUI
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B7/00Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00
    • G08B7/06Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00 using electric transmission, e.g. involving audible and visible signalling through the use of sound and light sources

Abstract

【課題】複数の触覚出力変化を、アラート条件及びトリガ、アプリケーションコンテキスト並びに他の条件に関する様々な情報を用いる結束性意味論的フレームワークに体系化し、関連イベント間で特性を共用する触覚出力のシステム、方法及び装置を提供する。【解決手段】イベントクラス又はアプリケーションクラスは、対応する触覚出力のための根拠となり、アラート顕著性設定がオンであるかどうかが、顕著性が増大した触覚出力をアラート用標準触覚出力に加えるための根拠となり、一貫した触覚により、関連するアプリケーションクラス、アプリケーション及び/又はコンテキストの種類分けを提供する。【選択図】図33a

Description

本開示は、概ね、触覚フィードバックを提供するための方法及び装置に関し、より具体的には、デバイス又はアプリケーションと関連付けられた条件に対応する触覚フィードバックの意味論的(semantic)フレームワークのための方法及び装置に関する。
触感フィードバックシステムにより、ユーザは、タッチ又は接触によりサブシステムとやりとりすることができる。触覚システムにより、アクチュエータ、センサ、又は両方を使用することによって、これら触感によるやりとりが容易になる。
本明細書に記載された実施形態は、複数の触覚出力の変化を、アラート条件及びトリガ、アプリケーションコンテキスト、並びに他の条件に関する様々な情報を用いる結束型(cohesive)意味論的フレームワークに体系化して、関連イベント間で特徴を共用する触覚出力のシステムを提供する触覚フィードバックの方法及び装置を開示する。本開示は、様々な条件における触覚応答を提供するためのシステム及び方法に関する。開示された触覚応答のアプローチは、任意の好適なソフトウェア、ハードウェア、又はその両方を用いて実行することができる。
いくつかの実施形態では、アプリケーションと関連付けられた検出されたアラート条件と関連付けられた時点における、アプリケーションと関連付けられた状態は、対応する触覚出力を提供するための根拠となる。例えば、アラート条件の検出に応じて、アラート条件と関連付けられた時点における、アプリケーションと関連付けられた状態が判定される。アラート条件と関連付けられた時点においてアプリケーションがアクティブ状態であった場合、アラート条件の発生を表す第1の触覚出力が提供され、アラート条件と関連付けられた時点においてアプリケーションが非アクティブ状態であった場合、アラート条件の発生を表し、第1の触覚出力と異なる、第2の触覚出力が提供される。
いくつかの実施形態では、検出されたアラート条件が手動でトリガーされたか、又は自動でトリガーされたかどうかが、対応する触覚出力を提供するための根拠となる。例えば、アラート条件の検出応じて、アラート条件が手動で開始されたイベントによってトリガーされたかどうかが判定される。アラート条件が手動で開始されたイベントによってトリガーされた場合、手動で開始されたイベントの通知に対応して第1の触覚出力が提供される。アラート条件が自動で開始されたイベントによってトリガーされた場合、自動で開始されたイベントの通知に対応して第2の触覚出力が提供され、第2の触覚出力は、第1の触覚出力と異なる。
いくつかの実施形態では、検出されたアラート条件がユーザ入力に関連付けられているか、又は所定のシステムイベントに関連付けられているかどうかが、対応する触覚出力を提供するための根拠となる。例えば、アプリケーションに対するユーザ入力の受信に関連付けられた第1のアラート条件の検出に応じて、第1の触覚出力がユーザ入力に対応して提供される。第1の触覚出力に続いて、アプリケーションでの所定のシステムイベントの受信に関連付けられた第2のアラート条件の検出に応じて、第1の触覚出力よりも大きい強度の第2の触覚出力が所定のシステムイベントに対応して提供される。
いくつかの実施形態では、検出されたアラート条件がマルチパート動作の一部分かどうかが、対応する触覚出力を提供するための根拠となる。例えば、マルチパート動作の第1の部分に対応する入力の受信に応じて、継続的な触覚出力シーケンスが開始される。開始後かつマルチパート動作の第2の部分に対応する入力の受信に応じて、継続的な触覚出力シーケンスが停止される。
いくつかの実施形態では、動作を実行するための検出された要求が別の動作のサブセットであるかどうかが、対応する触覚出力を提供するための根拠となる。例えば、第1の動作を実行するための要求に対応する第1の入力の検出に応じて、触覚構成要素を含む第1の出力が提供され、第1の動作が実行される。第1の動作の実行後、かつ第1の動作及び追加動作を含む第2の動作を実行するための要求に対応する第2の入力の検出に応じて、触覚構成要素を含み、追加動作に対応する追加出力を加えた第1の出力を含む第2の出力が提供され、第2の動作が実行される。
いくつかの実施形態では、検出された2つのアラート条件が同じアラート条件のクラスまたはアプリケーションのクラスか、又は異なるアラート条件のクラスまたはアプリケーションのクラスであるかどうかが、対応する触覚出力を提供するための根拠となる。例えば、第1のアラート条件の発生の検出に応じて、第1の触覚構成要素及び第1の非触覚構成要素を含む第1の出力が提供される。第1の出力後、かつ第2のアラート条件の発生の検出に応じて、第2の触覚構成要素及び第2の非触覚構成要素を含む第2の出力が提供される。第1のアラート条件及び第2のアラート条件がアラート条件の同じクラスである異なるアラート条件である場合、第1の出力及び第2の出力は、1つ又は2つ以上の同じ構成要素を共用し、1つ又は2つ以上の異なる構成要素を有するが、第1のアラート条件及び第2のアラート条件がアラート条件の異なるクラスである異なるアラート条件である場合、第1の触覚構成要素は、第2の触覚構成要素と異なり、第1の非接触構成要素は、第2の非接触構成要素と異なる。別の例では、
いくつかの実施形態では、
本明細書に記載された方法の様々な実施形態は、本明細書に記載された他の任意の実施形態と組み合わせることができることに留意されたい。本明細書に記載された特徴及び利点は、包括的であるとは限らない。具体的には、多数の更なる特徴及び利点が、図面、明細書、及び特許請求の範囲に照らして当業者にとって明らかとなるであろう。更に、本明細書において使用される文言は、専ら読みやすさ及び説明の目的で選択されたものであり、本発明の主題を画定又は制限するために選択されたものではない点には留意されたい。
いくつかの実施形態に係る、タッチ感知ディスプレイを備えたポータブル多機能デバイスを示すブロック図である。
いくつかの実施形態に係る、イベント処理のための例示的な構成要素を示すブロック図である。
いくつかの実施形態に係る、タッチスクリーンを備えたポータブル多機能デバイスの図である。
いくつかの実施形態に係る、ディスプレイ及びタッチ感知面を備える例示的な多機能デバイスのブロック図である。
いくつかの実施形態に係る、ポータブル多機能デバイスにおけるアプリケーションのメニューのための例示的なユーザインタフェースの図である。
いくつかの実施形態に係る、ディスプレイとは別個のタッチ感知面を有する多機能デバイスのための例示的なユーザインタフェースの図である。
いくつかの実施形態による、様々な触覚波形形態の例の図である。
いくつかの実施形態による、様々なオーディオ波形形態の例の図である。
いくつかの実施形態による、アプリケーションと関連付けられたアラート条件を検出し、対応する触覚出力を提供する方法のフロー図である。
いくつかの実施形態による、電子メールアプリケーションの例示的なユーザインタフェースの図である。
いくつかの実施形態による、アプリケーションと関連付けられたアラート条件を検出し、条件が手動で開始されたイベントによってトリガーされたか、又は自動で開始されたイベントによってトリガーされたかに応じて触覚出力を提供する方法のフロー図である。
いくつかの実施形態による、ユーザ入力から第1のアラート条件を検出し、アプリケーションと関連付けられた所定のイベントから第2のアラート条件を検出し、対応する触覚出力を提供する方法のフロー図である。
いくつかの実施形態による、マルチパート動作に関連付けられたアラート条件を検出し、対応する触覚出力を提供する方法のフロー図である。
いくつかの実施形態による、第1及び第2の動作を実行するための第1及び第2の入力を検出し、動作を実行し、対応する出力を提供する方法のフロー図である。
いくつかの実施形態による、第1及び第2のアラート条件を検出し、対応する出力を提供する方法のフロー図である。
いくつかの実施形態に係る、電子デバイスの機能ブロック図である。
いくつかの実施形態に係る、電子デバイスの機能ブロック図である。
いくつかの実施形態に係る、電子デバイスの機能ブロック図である。
いくつかの実施形態に係る、電子デバイスの機能ブロック図である。
いくつかの実施形態に係る、電子デバイスの機能ブロック図である。
いくつかの実施形態に係る、電子デバイスの機能ブロック図である。
いくつかの実施形態による、第1の音響ポートを含むデバイスハウジングの図である。
いくつかの実施形態による、自己静電容量式タッチピクセル電極に対応するタッチセンサ回路及びセンシング回路の図である。
いくつかの実施形態による、自己静電容量式タッチセンサの図である。
いくつかの実施形態による、触覚アクチュエータの図である。
いくつかの実施形態による、触覚アクチュエータの図である。
いくつかの実施形態による、ウェアラブルデバイスの図である。
いくつかの実施形態による、ウェアラブル電子デバイスを装着しているユーザが、第2の電子デバイスを自身のポケットに有している図である。
いくつかの実施形態による、ウェアラブル電子デバイスの模式図である。
いくつかの実施形態による、クラスに応じた様々な触覚アラート及び他のフィードバックアラートを提供する方法のフロー図である。
いくつかの実施形態による、様々な触覚に対する選択的な顕著性の増大を提供する方法のフロー図である。
いくつかの実施形態に係る、デバイス上でアラート顕著性を設定するための例示的なユーザインタフェースの図である。
いくつかの実施形態に係る、電子デバイスの機能ブロック図である。
いくつかの実施形態に係る、電子デバイスの機能ブロック図である。
いくつかの実施形態による、第1の条件及び第2の条件を検出し、触覚出力及びオーディオ出力を含む対応するアラートを生成する方法のフロー図である。
いくつかの実施形態による、波形の様々な事例の図である。
いくつかの実施形態による、第1及び第2のコンテキストで第1の条件を検出し、触覚出力及びオーディオ出力を含む対応するアラートを生成する方法のフロー図である。
いくつかの実施形態による、様々な触覚波形及びオーディオ波形が、時間的に分離している図及び一致している図の両方の図である。
いくつかの実施形態による、様々な触覚波形及びオーディオ波形が時間的に重なっている図である。
いくつかの実施形態による、様々な触覚波形及びオーディオ波形が時間的に重なっている図である。
いくつかの実施形態による、電子デバイスの機能ブロック図である。
いくつかの実施形態による、電子デバイスの機能ブロック図である。
本明細書における実施形態は、アラート条件及びトリガに関する様々な情報、アプリケーションコンテキスト、並びに触覚出力に対応する他の条件を用いて、関連イベント間で特徴を共用する触覚出力のシステムを提供する、結束型意味論的フレームワークに複数の触覚出力の変化を体系化する触覚フィードバックの方法及び装置を開示する。
いくつかの実施形態では、アプリケーションと関連付けられた検出されたアラート条件と関連付けられた時点における、アプリケーションと関連付けられた状態は、対応する触覚出力を提供するための根拠となる。いくつかの実施形態では、検出されたアラート条件が手動でトリガーされたか、又は自動でトリガーされたかどうかが、対応する触覚出力を提供するための根拠となる。いくつかの実施形態では、検出されたアラート条件がユーザ入力に関連付けられているか、又は所定のシステムイベントに関連付けられているかどうかが、対応する触覚出力を提供するための根拠となる。
いくつかの実施形態では、検出されたアラート条件がマルチパート動作の一部分かどうかが、対応する触覚出力を提供するための根拠となる。いくつかの実施形態では、動作を実行するための検出された要求が別の動作のサブセットであるかどうかが、対応する触覚出力を提供するための根拠となる。いくつかの実施形態では、検出された2つのアラート条件が同じアラート条件のクラスか、又は異なるアラート条件のクラスであるかどうかが、対応する触覚出力を提供するための根拠となる。
例示的なデバイス
ここで、添付図面に実施例が示される実施形態を詳細に参照する。以下の詳細な説明では、説明されている様々な実施形態の完全な理解を提供するために、数多くの具体的な詳細が記載されている。しかし、説明されている様々な実施形態は、これらの具体的な詳細を伴わずとも実施し得ることが、当業者には明らかであろう。他の例においては、周知の方法、手順、構成要素、回路、及びネットワークは、実施形態の態様を不必要に不明瞭なものとしないよう、詳細には説明されていない。
本明細書では、第1の、第2のなどの用語が、いくつかの事例において、様々な要素を説明するために使用されるが、これらの要素は、それらの用語によって限定されるべきではないことも理解されるであろう。これらの用語は、ある要素を別の要素と区別するためにのみ使用される。例えば、説明されている様々な実施形態の範囲から逸脱することなく、第1の接触は、第2の接触と称することができ、同様に、第2の接触は、第1の接触と称することができると考えられる。第1の接触及び第2の接触は、双方共に接触であるが、それらは同じ接触ではない。
本明細書で説明される様々な実施形態の説明で使用される用語は、特定の実施形態を説明することのみを目的とするものであって、限定することを意図するものではない。説明される様々な実施形態の説明及び添付の特許請求の範囲で使用されるとき、単数形「a」、「an」、及び「the」は、文脈がそうではないことを明確に示さない限り、複数形もまた含むことが意図されている。本明細書で使用されるときに、用語「及び/又は」は、関連する列挙された項目のうちの1つ又は2つ以上の任意の全ての可能な組合せを指し、これを含むことをもまた理解されたい。用語「includes(含む)」、「including(含む)」、「comprises(含む)」及び/又は「comprising(含む)」は、本明細書で使用されるとき、述べられた特徴、整数、ステップ、動作、要素、及び/又は構成要素の存在を指定するが、1つ又は2つ以上の他の特徴、整数、ステップ、動作、要素、構成要素、及び/又はそれらの群、の存在又は追加を除外しないことが更に理解されるであろう。
本明細書で使用されるとき、用語「if(~の場合には)」は、任意選択的に、文脈に応じて「when(のとき~)」、「upon(~する際)」、「in response to determining(~という判定に応じて)」、又は「in response to detecting(~の検出に応じて)」を意味するものと解釈される。同様に、句「if it is determined(~と判定される場合に)」又は「if(a stated condition or event)is detected((述べられる条件又はイベント)が検出される場合に)」を、文脈に応じて「upon determining(~と判定される時に)」、「in response to determining(~との判定に応じて)」、「upon detecting(the stated condition or event)((述べられる条件又はイベント)の検出時に)」、又は「in response to detecting(the stated condition or event)((述べられる条件又はイベント)の検出に応じて)」を意味するものと、任意選択的に解釈する。
電子デバイス、かかるデバイス用のユーザインタフェース、及びかかるデバイスを使用するための関連プロセス、の実施形態を説明する。いくつかの実施形態では、このデバイスは、PDA機能及び/又は音楽再生機能などの、他の機能も含む、モバイル電話機などのポータブル通信デバイスである。ポータブル多機能デバイスの例示的な実施形態としては、限定を伴わずに、Apple Inc.(Cupertino、California)製のiPhone(登録商標)、iPod Touch(登録商標)、及びiPad(登録商標)デバイスが挙げられる。タッチ感知面(例えば、タッチスクリーンディスプレイ及び/又はタッチパッド)を備えたラップトップ又はタブレットコンピュータなど他のポータブル電子デバイスも任意選択的に使用できる。また、いくつかの実施形態では、このデバイスは、ポータブル通信デバイスではなく、タッチ感知面(例えば、タッチスクリーンディスプレイ及び/又はタッチパッド)を備えたデスクトップコンピュータであることを理解されたい。
以下の説明では、ディスプレイ及びタッチ感知面を備える電子デバイスを説明する。しかし、この電子デバイスが、物理キーボード、マウス、及び/又はジョイスティックなどの1つ又は2つ以上の他の物理ユーザインタフェースデバイスを任意選択的に含むことを理解されたい。
このデバイスは、一般的に、描画アプリケーション、プレゼンテーションアプリケーション、ワードプロセッシングアプリケーション、ウェブサイト作成アプリケーション、ディスクオーサリングアプリケーション、スプレッドシートアプリケーション、ゲームアプリケーション、電話アプリケーション、テレビ会議アプリケーション、電子メールアプリケーション、インスタントメッセージングアプリケーション、トレーニングサポートアプリケーション、写真管理アプリケーション、デジタルカメラアプリケーション、デジタルビデオカメラアプリケーション、ウェブブラウジングアプリケーション、デジタル音楽再生アプリケーション、及び/又はデジタルビデオ再生アプリケーションのうちの1つ又は2つ以上などの様々なアプリケーションをサポートする。
このデバイス上で実行される様々なアプリケーションは、タッチ感知面などの、少なくとも1つの共通の物理ユーザインタフェースデバイスを、任意選択的に使用する。タッチ感知面の1つ又は2つ以上の機能及びデバイス上に表示される対応する情報は、1つのアプリケーションから次のアプリケーションへ、かつ/又は対応するアプリケーションの中で任意選択的に、調整、及び/又は変更される。このように、そのデバイスの共通の(タッチ感知面などの)物理アーキテクチャは、ユーザにとって直感的かつ透過的なユーザインタフェースを有する様々なアプリケーションを任意選択的にサポートする。
ここで、タッチ感知ディスプレイを備えるポータブルデバイスの実施形態に注意を向ける。図1Aは、いくつかの実施形態による、タッチ感知ディスプレイ112を有するポータブル多機能デバイス100を示すブロック図である。タッチ感知ディスプレイ112は、便宜上「タッチスクリーン」と称される場合があり、タッチ感知ディスプレイシステムとして既知であるか、又はそのように称される場合がある。デバイス100は、(任意選択的に、1つ又は2つ以上のコンピュータ可読記憶媒体を含む)メモリ102、メモリコントローラ122、1つ又は2つ以上の処理ユニット(CPU)120、周辺機器インタフェース118、RF回路108、オーディオ回路110、スピーカ111、マイクロフォン113、入出力(I/O)サブシステム106、他の入力又は制御デバイス116、及び外部ポート124を含む。デバイス100は、1つ又は2つ以上の光学センサ164を任意選択的に含む。デバイス100は、デバイス100上の接触の強度(例えば、デバイス100のタッチ感知ディスプレイシステム112などのタッチ感知面)を検出するための1つ又は2つ以上の強度センサ165を、任意選択的に含む。デバイス100は、デバイス100上で触感出力を生成する(例えば、デバイス100のタッチ感知ディスプレイシステム112又はデバイス300のタッチパッド355などのタッチ感知面上で触感出力を生成する)ための1つ又は2つ以上の触感出力生成器167を、任意選択的に含む。これらの構成要素は、1つ以上の通信バス又は信号ライン103を介して任意選択的に通信する。
本明細書及び特許請求の範囲で使用されるとき、タッチ感知面上の接触の「強度」という用語は、タッチ感知面上の接触(例えば、指接触)の力又は圧力(単位面積当りの力)、あるいはタッチ感知面上の接触の力又は圧力の代替物(代用物)を指す。接触の強度は、少なくとも4つの異なる数値を含み、より典型的には、何百もの異なる数値(例えば、少なくとも256個)を含む、数値の範囲を有する。接触の強度は、様々な手法及び様々なセンサ、又はセンサの組み合わせを使用して任意選択的に、判定(又は、測定)される。例えば、タッチ感知面の下に又は隣接して配置された1つ以上のセンサは、タッチ感知面上の様々な点における力を測定するために任意選択的に用いられる。いくつかの実施では、複数の力センサの力測定値を組み合わせて(例えば、加重平均)、接触力の推定値を判定する。同様に、タッチ感知面上のスタイラスの圧力を判定するために、スタイラスの圧力感知チップが、任意選択的に用いられる。別の方法としては、タッチ感知面上で検出される接触領域のサイズおよび/またはその変化、接触に近接するタッチ感知面の電気容量および/またはその変化、並びに/又は接触に近接するタッチ感知面の抵抗および/またはその変化が、タッチ感知面上の接触の力又は圧力の代用物として任意選択的に用いられる。いくつかの実施では、接触の力又は圧力の代替的測定値は、強度閾値を超えているかを判定するために直接用いられる(例えば、強度閾値は、代替的測定値に対応する単位で記述される)。いくつかの実施では、接触の力又は圧力の代替的測定値は、推定される力又は圧力に変換され、この推定される力又は圧力を用いて、強度閾値を超えているか否かを判定する(例えば、強度閾値は、圧力の単位で測定された圧力閾値である)。接触の強度をユーザ入力の属性として使用することにより、アフォーダンスを(例えば、タッチ感知ディスプレイ上に)表示するための、かつ/又はユーザ入力を(例えば、タッチ感知ディスプレイ、タッチ感知面、又はノブまたはボタンなどの物理的/機械的制御部を介して)受信するための面積が制限されている、低減されたサイズのデバイス上で、通常であればユーザによってアクセスすることが不可能であり得る、追加的なデバイス機能への、ユーザのアクセスが可能となる。
本明細書及び特許請求の範囲で使用されるとき、用語「触感出力」は、ユーザの触覚でユーザによって検出されることとなる、デバイスの従前の位置に対するデバイスの物理的変位、デバイスの構成要素(例えば、タッチ感知面)の、デバイスの別の構成要素(例えば、ハウジング)に対する物理的変位、又はデバイスの質量中心に対する構成要素の変位を指す。例えば、デバイス又はデバイスの構成要素が、タッチに敏感なユーザの表面(例えば、ユーザの手の指、手のひら、又は他の部分)に接触している状況において、物理的移動によって生成された触感出力は、デバイス又はデバイスの構成要素の物理的特性の知覚された変化に対応する触感として、ユーザによって解釈される。例えば、タッチ感知面(例えば、タッチ感知ディスプレイ又はトラックパッド)の移動は、ユーザによって、物理アクチュエータボタンの「ダウンクリック」又は「アップクリック」として任意選択的に解釈される。いくつかの場合、ユーザの動作により物理的に押された(例えば、変位された)タッチ感知面に関連付けられた物理アクチュエータボタンの移動がない時でさえ、ユーザは「ダウンクリック」又は「アップクリック」などの触感を感じる。別の実施例として、タッチ感知面の移動は、タッチ感知面の平滑度に変化がない時でさえ、タッチ感知面の「粗さ」としてユーザによって、任意選択的に解釈又は感じられる。ユーザによるタッチのかかる解釈は、ユーザの個別の感覚認知によるが、大多数のユーザに共通したタッチの感覚認知が数多くある。したがって、触感出力が、ユーザの特定の感覚知覚(例えば、「アップクリック」、「ダウンクリック」、「粗さ」)に対応するものと記述される場合、別途記載のない限り、生成された触感出力は、典型的な(又は、平均的な)ユーザの記述された感覚知覚を生成するデバイス、又はデバイスの構成要素の物理的変位に対応する。
デバイス100は、ポータブル多機能デバイスの一例に過ぎず、デバイス100は、図に示されるものよりも多いか又は少ない構成要素を任意選択的に有するか、2つ以上の構成要素を任意選択的に組み合わせるか、又は構成要素の異なる構成または配置を任意選択的に有することを理解されたい。図1Aに示される様々な構成要素は、1つ又は2つ以上の信号処理回路、及び/又は特定用途向け集積回路を含む、ハードウェア、ソフトウェア、又はハードウェア及びソフトウェアの両方の組み合わせで実装される。
メモリ102は、高速ランダムアクセスメモリを任意選択的に含み、また任意選択的に、1つ又は2つ以上の磁気ディスク記憶デバイス、フラッシュメモリデバイス、又は他の不揮発性半導体メモリデバイスなどの、不揮発性メモリも含む。CPU120及び周辺デバイスインタフェース118などの、デバイス100の他の構成要素によるメモリ102へのアクセスは、メモリコントローラ122により任意選択的に制御される。
周辺機器インタフェース118を使用して、このデバイスの入力及び出力周辺機器を、CPU120及びメモリ102に連結することができる。1つ又は2つ以上のプロセッサ120は、デバイス100のための様々な機能を実行するために、かつデータ処理を行うために、メモリ102に記憶された様々なソフトウェアプログラムおよび/または命令セットを動作させたり、又は実行したりする。
いくつかの実施形態では、周辺機器インタフェース118、CPU120、及びメモリコントローラ122は、任意選択的に、チップ104などの単一チップ上に実装される。いくつかの他の実施形態では、これらは、任意選択的に個別のチップ上に実装される。
RF(無線周波数)回路108は、電磁信号とも呼ばれるRF信号を送受信する。RF回路108は、電気信号を電磁信号に/電磁信号を電気信号に変換し、その電磁信号を介して、通信ネットワーク及び他の通信デバイスと通信する。RF回路108は、アンテナシステム、RF送受信機、1つ又は2つ以上の増幅器、同調器、1つ又は2つ以上の発振器、デジタル信号プロセッサ、CODECチップセット、加入者識別モジュール(SIM)カード、メモリなどを含むがこれらに限定されない、上記の機能を実行するための周知の回路を任意選択的に含む。RF回路108は、ワールドワイドウェブ(WWW)とも呼ばれるインターネットなどのネットワーク、イントラネット及び/又はセルラー電話ネットワークなどの無線ネットワーク、無線ローカルエリアネットワーク(LAN)及び/又はメトロポリタンエリアネットワーク(MAN)、並びに他のデバイスと無線通信によって任意選択的に通信する。無線通信は、Global System for Mobile Communications(GSM)(登録商標)、Enhanced Data GSM Environment(EDGE)(登録商標)、高速ダウンリンクパケットアクセス(HSDPA)、高速アップリンクパケットアクセス(HSUPA)、Evolution、Data-Only(EV-DO)、HSPA、HSPA+、Dual-Cell HSPA(DC-HSPDA)、ロングタームエボリューション(LTE)、近距離無線通信(NFC)、広帯域符号分割多元接続(W-CDMA)(登録商標)、符号分割多元接続(CDMA)、時分割多元接続(TDMA)、Bluetooth(登録商標)、ワイヤレスフィデリティ(Wi-Fi)(登録商標)(例えば、IEEE802.1la、IEEE 802.1lb、IEEE 802.1lg及び/又はIEEE802.1ln)を含むが、これらに限定されない複数の通信規格、プロトコル及び技術のいずれかを任意選択的に用い、オーディオ回路110、スピーカ111、及びマイクロフォン113は、ユーザとデバイス100との間のオーディオインタフェースを提供する。オーディオ回路110は、周辺機器インタフェース118から音声データを受信し、音声データを電気信号に変換し、電気信号をスピーカ111に送信する。スピーカ111は、電気信号を人間の耳に聞こえる音波に変換する。音声回路110はまた、マイクロフォン113により音波から変換された電気信号を受信する。オーディオ回路110は、電気信号を音声データに変換し、処理するために音声データを周辺機器インタフェース118に送出する。音声データは、周辺デバイスインタフェース118によって任意選択的に、メモリ102および/またはRF回路108から取り込まれ、かつ/又はメモリ102および/またはRF回路108へ送出される。いくつかの実施形態では、オーディオ回路110は、ヘッドセットジャック(例えば、図2の212)を更に含む。ヘッドセットジャックは、オーディオ回路110と、出力専用ヘッドホン又は出力(例えば、片耳又は両耳用のヘッドホン)及び入力(例えば、マイクロフォン)の双方を有するヘッドセットなどの、取り外し可能なオーディオ入出力周辺デバイスとの間のインタフェースを提供する。
I/Oサブシステム106は、周辺機器インタフェース118に、タッチスクリーン112及び他の入力制御デバイス116などのデバイス100の入出力周辺デバイスを連結する。I/Oサブシステム106は、ディスプレイコントローラ156、光学センサコントローラ158、強度センサコントローラ159、触覚フィードバックコントローラ161、及び他の入力又は制御デバイス用の1つ以上の入力コントローラ160を任意選択的に含む。1つ又は2つ以上の入力コントローラ160は、他の入力又は制御デバイス116から電気信号を受信し、他の入力又は制御デバイスス116へ電気信号を送信する。他の入力制御デバイス116は、物理ボタン(例えば、プッシュボタン、ロッカボタンなど)、ダイアル、スライダスイッチ、ジョイスティック、クリックホイールなどを任意選択的に含む。いくつかの代替的実施形態では、(複数の)入力コントローラ160は、キーボード、赤外線ポート、USBポート、及びマウスなどのポインタデバイスのうちのいずれかに任意選択的に連結される(又は、いずれにも連結されない)。1つ又は2つ以上のボタン(例えば、図2の208)は、スピーカ111及び/又はマイクロフォン113の音量調節のためのアップ/ダウンボタンを、任意選択的に含む。1つ又は2つ以上のボタンは、プッシュボタン(例えば、図2の206)を、任意選択的に含む。
タッチ感知ディスプレイ112は、デバイスとユーザとの間の入力インタフェース及び出力インタフェースを提供する。ディスプレイコントローラ156は、タッチスクリーン112から電気信号を受信し、タッチスクリーン112へ電気信号を送信する。タッチスクリーン112は、ユーザに視覚出力を表示する。視覚出力は、グラフィック、テキスト、アイコン、映像、及びこれらの任意の組み合わせ(総称して「グラフィック」と称する)を任意選択的に含む。いくつかの実施形態では、視覚出力の一部又は全ては、ユーザインタフェースオブジェクトに対応する。
タッチスクリーン112は、触覚および/または触感の接触に基づくユーザからの入力を受け付けるタッチ感知面、センサ、又はセンサのセットを有している。タッチスクリーン112及びディスプレイコントローラ156は(メモリ102内の任意の関連モジュール及び/又は命令セットと共に)、タッチスクリーン112上で接触(及び任意の動作又は接触の中断)を検出し、検出された接触をタッチスクリーン112上に表示されたユーザインタフェースオブジェクト(例えば、1つ又は2つ以上のソフトキー、アイコン、ウェブページ、又は画像)とのやりとりに変換する。ある例示的な実施形態では、タッチスクリーン112とユーザとの間の接触点は、ユーザの指に対応する。
タッチスクリーン112は、任意選択的に、LCD(液晶ディスプレイ)技術、LPD(発光ポリマーディスプレイ)技術、又はLED(発光ダイオード)技術を使用するが、いくつかの実施形態では、他のディスプレイ技術が使用される。タッチスクリーン112及びディスプレイコントローラ156は、静電容量技術、抵抗性技術、赤外線技術、及び表面音響波技術、並びに、タッチスクリーン112との1つ又は2つ以上の接触点を判定するための他の近接センサアレイ又は他の要素を含むが、これらに限定されない、現在公知のまたは後日に開発される複数のタッチ感知技術のうちのいずれかを使用して、接触及び任意の移動又はその中断を任意選択的に検出する。ある例示的な実施形態では、Apple Inc.(Cupertino、California)製のiPhone(登録商標)、iPod Touch(登録商標)、及びiPad(登録商標)などにおいて見られるような、投影された相互キャパシタンス感知技術が使用されている。
タッチスクリーン112は、100dpiを超える映像解像度を任意選択的に有する。いくつかの実施形態では、タッチスクリーンは、約160dpiの映像解像度を有する。ユーザは、スタイラス、指などの任意の好適なオブジェクト又は付属器具を使用して、タッチスクリーン112と任意選択的に接触する。いくつかの実施形態では、ユーザインタフェースは、主として指に基づく接触及びジェスチャで機能するように設計され、タッチスクリーン上の指の接触面積がより広いため、スタイラスに基づく入力よりも精度が低いことがある。いくつかの実施形態において、デバイスは、指に基づく粗い入力を正確なポインタ/カーソル位置又はユーザの望むアクションを実行するためのコマンドに変換する。
いくつかの実施形態では、タッチスクリーンに加えて、デバイス100は、特定の機能をアクティブ化又は非アクティブ化させるためのタッチパッド(図示せず)を任意選択的に含む。いくつかの実施形態では、タッチパッドは、タッチスクリーンとは異なり、視覚出力を表示しない、デバイスのタッチ感知領域である。タッチパッドは、任意選択的に、タッチスクリーン112とは別個のタッチ感知面、又はタッチスクリーンによって形成されたタッチ感知面の延長部である。
デバイス100はまた、様々な構成要素に電力を供給するための電力システム162も備えている。電力システム162は、電力管理システム、1つ又は2つ以上の電源(例えば、バッテリ、交流(AC))、再充電システム、停電検出回路、電力コンバータ又はインバータ、電力状態インジケータ(例えば、発光ダイオード(LED))、及びポータブルデバイスにおける電力の発電、管理、及び配電に関連付けられた任意の他の構成要素を任意選択的に含む。
デバイス100はまた、1つ又は2つ以上の光学センサ164も任意選択的に含む。図1Aは、I/Oサブシステム106内の光学センサコントローラ158に連結された光学センサを示す。光学センサ164は、電荷結合デバイス(CCD)又は相補的金属酸化物半導体(CMOS)フォトトランジスタを、任意選択的に含む。光学センサ164は、1つ又は2つ以上のレンズを通して投影された、環境からの光を受光し、その光を、画像を表すデータに変換する。撮像モジュール143(カメラモジュールとも称する)と併用して、光学センサ164は、静止画像又は映像を任意選択的にキャプチャする。いくつかの実施形態では、タッチスクリーンディスプレイを静止画像及び/又は映像取得のためのビューファインダとして有効化するように、光学センサは、デバイスの前面のタッチスクリーンディスプレイ112の反対側である、デバイス100の背面に配置されている。いくつかの実施形態において、ユーザがタッチスクリーンディスプレイ上で他のテレビ会議参加者を見ている間に、ユーザの画像を、テレビ会議のために任意選択的に得るように、別の光学センサは、デバイスの前面に配置される。
デバイス100はまた、1つ又は2つ以上の接触強度センサ165も任意選択的に含む。図1Aは、I/Oサブシステム106内の強度センサコントローラ159に連結された接触強度センサを示す。接触強度センサ165は、1つ又は2つ以上のピエゾ抵抗ひずみゲージ、電気容量式力センサ、電気力センサ、圧電力センサ、光学力センサ、容量式タッチ感知面、又は他の強度センサ(例えば、タッチ感知面上の接触の力(又は圧力)を測定するために使用するセンサ)を任意選択的に含む。接触強度センサ165は、環境から接触強度情報(例えば、圧力情報又は圧力情報の代用物)を受信する。いくつかの実施形態では、少なくとも1つの接触強度センサが、タッチ感知面(例えば、タッチ感知ディスプレイシステム112)に併置されているか、又は近接している。いくつかの実施形態において、少なくとも1つの接触強度センサは、デバイス100の前面に配置されたタッチスクリーンディスプレイ112の反対側である、デバイス100の背面に配置されている。
デバイス100はまた、1つ又は2つ以上の近接センサ166も任意選択的に含む。図1Aは、周辺機器インタフェース118と連結された近接センサ166を示す。あるいは、近接センサ166は、I/Oサブシステム106内の入力コントローラ160に連結される。いくつかの実施形態では、多機能デバイスがユーザの耳の近くに配置されているとき(例えば、ユーザが電話通話を行っているとき)、近接センサは、オフになり、タッチスクリーン112は、無効になる。
デバイス100はまた、1つ又は2つ以上の触感出力生成器167も任意選択的に含む。図1Aは、I/Oサブシステム106内の触覚フィードバックコントローラ161に連結された触感出力生成器を示す。触感出力生成器167は、スピーカ又は他のオーディオ構成要素などの1つ以上の電気音響デバイス、及び/又はモータ、ソレノイド、電気活性ポリマー、圧電アクチュエータ、静電アクチュエータ、または他の触感出力生成構成要素(例えば、デバイス上で電気信号を触感出力に変換する構成要素)などの、エネルギーを直線運動に変換する電気機械デバイスを、任意選択的に含む。接触強度センサ165は、触覚フィードバックモジュール133から触感フィードバック生成命令を受信し、デバイス100のユーザが感知できる触感出力をデバイス100上で生成する。いくつかの実施形態では、少なくとも1つの触感出力生成器は、タッチ感知面(例えば、タッチ感知ディスプレイシステム112)と併置されているか、又は近接しており、選択的に、タッチ感知面を垂直方向に(例えば、デバイス100の表面の内/外)又は横方向(例えば、デバイス100の表面と同じ平面の前後方向)に移動することによって、触感出力を生成する。いくつかの実施形態では、少なくとも1つの触感出力生成器センサは、デバイス100の前面に配置されたタッチスクリーンディスプレイ112の反対側である、デバイス100の背面に配置されている。
デバイス100はまた、1つ又は2つ以上の加速度計168も任意選択的に含む。図1Aは、周辺機器インタフェース118に連結された加速度計168を示す。あるいは、加速度計168は、I/Oサブシステム106内の入力コントローラ160に、任意選択的に連結される。いくつかの実施形態では、情報は、1つ又は2つ以上の加速度計から受信したデータの分析に基づいて、縦長表示又は横長表示でタッチスクリーンディスプレイ上に表示される。デバイス100は、その開示全体が参照により本明細書に援用される米国特許出願第11/969,800号(2008年1月4日出願)に記載されたとおり、(複数の)加速度計168に加えて、磁力計(図示せず)並びにデバイス100の位置及び向き(例えば、縦長又は横長)に関する情報を取得するためのGPS(又はGLONASS又は他のグローバルナビゲーションシステム)受信部(図示せず)を任意選択的に含む。
いくつかの実施形態では、メモリ102に記憶されたソフトウェア構成要素は、オペレーティングシステム126、通信モジュール(又は命令セット)128、接触/動きモジュール(又は命令セット)130、グラフィックモジュール(又は命令セット)132、テキスト入力モジュール(又は命令セット)134、全地球測位システム(GPS)モジュール(又は命令セット)135、及びアプリケーション(又は命令セット)136を含む。更に、いくつかの実施形態では、図1A及び図3に示すように、メモリ102は、デバイス/グローバル内部状態157を記憶する。デバイス/グローバル内部状態157は、以下のうち1つ又は2つ以上を含む。現在アクティブ状態のアプリケーションがある場合、どのアプリケーションがアクティブかを示す、アクティブアプリケーション状態、どのアプリケーション、ビュー、又は他の情報がタッチスクリーンディスプレイ112の様々な領域を占領しているかを示す、表示状態、デバイスの様々なセンサ及び入力制御デバイス116から得られた情報並びにデバイスの位置及び/又は高度に関する位置情報を含む、センサ状態。
オペレーティングシステム126(例えば、Darwin(登録商標)、RTXC(登録商標)、LINUX(登録商標)、UNIX(登録商標)、OS X(登録商標)、WINDOWS(登録商標)、又はVxWorks(登録商標)などの組み込みオペレーティングシステム)は、一般的なシステムタスク(例えば、メモリ管理、記憶デバイス制御、電力管理など)を制御及び管理するための様々なソフトウェア構成要素及び/又はドライバを含み、様々なハードウェア構成要素とソフトウェア構成要素との間の通信を容易にする。
通信モジュール128は、1つ又は2つ以上の外部ポート124を介して他のデバイスとの通信を容易にし、RF回路108及び/又は外部ポート124が受信したデータを処理するための様々なソフトウェア構成要素もまた含む。外部ポート124(例えば、ユニバーサルシリアルバス(USB)、FIREWIRE(登録商標)など)は、直接的に、又はネットワーク(例えば、インターネット、無線LANなど)を介して間接的に他のデバイスに連結するように適応している。いくつかの実施形態において、外部ポートは、iPod(Apple Inc.の商標)デバイス上で使用される30ピンコネクタと同じ、又はこれに類似したかつ/または互換性のあるマルチピン(例えば、30ピン)コネクタである。
接触/動きモジュール130は、(ディスプレイコントローラ156と併せて)タッチスクリーン112との接触、及び他のタッチ感知デバイス(例えば、タッチパッド又は物理クリックホイール)との接触を任意選択的に検出する。接触/動きモジュール130は、接触が発生したかどうかの判定(例えば、フィンガダウンイベントの検出)、接触の強度(例えば、接触の力または圧力、又は、接触の力または圧力の代替物)の判定、接触の移動及びタッチ感知面にわたる移動の追跡があるかどうかの判定(例えば、1つ又は2つ以上のフィンガドラッグイベントの検出)、及び接触が停止したかどうかの判定(例えば、フィンガアップイベント又は接触の中断の検出)などの、接触の検出に関係する様々な動作を実行するための様々なソフトウェア構成要素を含む。接触/動きモジュール130は、タッチ感知面から接触データを受信する。一連の接触データにより表される接触点の移動を判定することは、接触点の速さ(大きさ)、速度(大きさ及び方向)、及び/又は加速度(大きさ及び/又は方向の変化)を判定することを任意選択的に含む。これらの動作は、任意選択的に、単一の接触(例えば、指の1つの接触)又は複数の同時接触(例えば、「マルチタッチ」/指の複数の接触)に適用される。いくつかの実施形態では、接触/動きモジュール130及びディスプレイコントローラ156は、タッチパッド上の接触を検出する。
いくつかの実施形態では、接触/動きモジュール130は、ユーザによって動作が実行されたかを判定するための(例えば、ユーザがアイコン上で「クリック」したかを判定するための)、1つ又は2つ以上の強度閾値のセットを使用する。いくつかの実施形態では、少なくとも強度閾値のサブセットが、ソフトウェアパラメータに従って判定される(例えば、強度閾値は、特定の物理アクチュエータのアクティブ化閾値によって判定されず、デバイス100の物理ハードウェアを変更することなく調整し得る)。例えば、トラックパッド又はタッチスクリーンディスプレイのマウス「クリック」閾値は、トラックパッド又はタッチスクリーンディスプレイのハードウェアを変更することなく広範囲の既定の閾値のうちのいずれかに設定し得る。更に、いくつかの実施では、デバイスのユーザには、(例えば、個々の強度閾値を調整することにより、かつ/又は「強度」パラメータのシステムレベルのクリックにより一度に複数の強度閾値を調整することによって)強度閾値のセットのうちの1つ又は2つ以上を調整するためのソフトウェア設定が提供されている。
本明細書及び特許請求の範囲で使用されるとき、接触の「特性強度」という用語は、接触の1つ又は2つ以上の強度に基づく、その接触の特性を指す。いくつかの実施形態では、特性強度は、複数の強度サンプルに基づく。特性強度は、任意選択的に、既定数の強度サンプル、すなわち、既定のイベントに関連する(例えば、接触を検出した後、接触のリフトオフを検出する前、接触の移動の開始を検出する前または後、接触の終了を検出する前、接触の強度の増大を検出する前または後、及び/又は、接触の強度の減少を検出する前または後の)所定の時間周期(例えば、0.05、0.1、0.2、0.5、1、2、5、10秒間)に収集された、強度サンプルのセットに基づく。接触の特性強度は、任意選択的に、接触の強度の最大値、接触の強度の平均値(mean value)、接触の強度の平均値(average value)、接触の強度の上位10個のパーセンタイル値、接触の強度の最大値の半分の値、接触の強度の最大値の90パーセントの値などのうちの1つ又は2つ以上に基づく。いくつかの実施形態では、特性強度を判定する際に、(例えば、特性強度が、経時的な接触の強度の平均である場合)接触の持続時間が使用される。いくつかの実施形態では、動作がユーザによって実行されたかどうかを判定するために、特性強度は、1つ又は2つ以上の強度閾値のセットと比較される。例えば、1つ又は2つ以上の強度閾値のセットは、第1の強度閾値及び第2の強度閾値を含んでもよい。この実施例では、第1の閾値を上回らない特性強度を有する接触の結果として第1の動作が実行され、第1の強度閾値を上回り、第2の強度閾値を上回らない特性強度を有する接触の結果として第2の動作が実行され、第3の閾値を上回る特性強度を有する接触の結果として第3の動作が実行される。いくつかの実施形態では、特性強度と1つ又は2つ以上の閾値との間の比較が、第1の動作又は第2の動作のいずれを実行するかを判定するために使用されるのではなく、1つ又は2つ以上の動作を実行するかどうか(例えば、それぞれのオプションを実行するのか、又はそれぞれの動作を実行しないのか)を判定するために使用される。
いくつかの実施形態では、特性強度を判定する目的のために、ジェスチャの一部分が特定される。例えば、タッチ感知面は、開始位置から移行して終了位置に到達し、その時点で接触の強度が増大する、連続的なスワイプ接触を受信することができる。この実施例では、終了位置での接触の特性強度は、スワイプ接触の全体ではなく、その連続的なスワイプ接触の一部分のみ(例えば、終了位置におけるスワイプ接触の部分のみ)に基づいてもよい。いくつかの実施形態では、接触の特性強度を判定する前に、そのスワイプ接触の強度に、平滑化アルゴリズムを適用してもよい。例えば、この平滑化アルゴリズムは、非加重移動平均平滑化アルゴリズム、三角平滑化アルゴリズム、中央値フィルタ平滑化アルゴリズム、及び/又は指数平滑化アルゴリズムのうち1つ又は2つ以上を任意選択的に含む。状況によっては、これらの平滑化アルゴリズムは、特性強度の判定を目的として、スワイプ接触の強度の小幅な急上昇又は急降下を排除する。
接触/動きモジュール130は、ユーザによるジェスチャ入力を任意選択的に検出する。タッチ感知面上での異なるジェスチャは、異なる接触パターン(例えば、検出された接触の、異なる動き、タイミング、及び/又は強度)を有する。したがって、ジェスチャは、特定の接触パターンを検出することによって任意選択的に検出される。例えば、フィンガタップジェスチャを検出することは、フィンガダウンイベントを検出し、続いて(例えば、アイコンの位置での)そのフィンガダウンイベントと同じ位置(又は、実質的に同じ位置)でフィンガアップ(リフトオフ)イベントを検出することを含む。他の実施例として、タッチ感知面でのフィンガスワイプジェスチャの検出は、フィンガダウンイベントを検出し、続いて1つ又は2つ以上のフィンガドラッグイベントを検出し、その後、フィンガアップ(リフトオフ)イベントを検出することを含む。
グラフィックモジュール132は、表示されるグラフィックの視覚的効果(例えば、輝度、透明度、彩度、コントラスト、又は他の視覚特性)を変更するための構成要素を含めた、タッチスクリーン112又は他のディスプレイ上にグラフィックをレンダリングして表示するための、様々な既知のソフトウェア構成要素を含む。本明細書で使用するとき、用語「グラフィック」は、ユーザに対して表示することができる任意のオブジェクトを含み、それらのオブジェクトとしては、テキスト、ウェブページ、アイコン(ソフトキーを含むユーザインタフェースオブジェクトなど)、デジタル画像、ビデオ、アニメーションなどが挙げられるが、これらに限定されない。
いくつかの実施形態では、グラフィックモジュール132は、使用されるグラフィックを表すデータを記憶する。各グラフィックには、対応するコードが、任意選択的に割り当てられる。グラフィックモジュール132は、アプリケーションなどから、必要に応じて座標データ及び他のグラフィック特性データと共に、表示されるグラフィックを指定する1つ又は2つ以上のコードを受信して、次いで、ディスプレイコントローラ156に出力するためのスクリーン画像データを生成する。
触覚フィードバックモジュール133は、デバイス100とのユーザインタラクションに応じて、デバイス100上の1つ又は2つ以上の場所で触感出力を生成するために、触感出力生成器167によって使用される命令を生成するための、様々なソフトウェア構成要素を含む。
テキスト入力モジュール134は、任意選択的に、グラフィックモジュール132の構成要素であり、様々なアプリケーション(例えば、連絡先137、電子メール140、IM141、ブラウザ147、及びテキスト入力を必要とする任意の他のアプリケーション)でテキストを入力するための、ソフトキーボードを提供する。
GPSモジュール135は、デバイスの位置を判定し、この情報を、様々なアプリケーションで使用するために(例えば、位置に基づくダイアル発呼で使用するために電話138へ、写真/ビデオのメタデータとしてカメラ143へ、並びに、天気ウィジェット、地域のイエローページウィジェット、及び地図/ナビゲーションウィジェットなどの、位置に基づくサービスを提供するアプリケーションへ)提供する。
アプリケーション136は、以下のモジュール(又は、命令のセット)、又はそれらのサブセットまたはスーパーセットを任意選択的に含む。
・連絡先モジュール137(アドレス帳または連絡先リストとも呼ばれる場合もある)、
・電話モジュール138、
・テレビ会議モジュール139、
・電子メールクライアントモジュール140、
・インスタントメッセージング(IM)モジュール141、
・トレーニングサポートモジュール142、
・静止画像および/またはビデオ画像用のカメラモジュール143、
・画像管理モジュール144、
・ブラウザモジュール147、
・カレンダーモジュール148、
・天気ウィジェット149-1、株価ウィジェット149-2、計算機ウィジェット149-3、アラーム時計ウィジェット149-4、辞書ウィジェット149-5、及びユーザによって取得された他のウィジェット、並びにユーザ作成ウィジェット149-6のうち1つ以上を任意選択的に含む、ウィジェットモジュール149、
・ユーザ作成ウィジェット149-6を作成するためのウィジェットクリエータモジュール150、
・検索モジュール151、
・ビデオ再生モジュール及び音楽再生モジュールから任意選択的に構成される、ビデオ及び音楽再生モジュール152、
・メモモジュール153、
・地図モジュール154、並びに/又は
・オンラインビデオモジュール155。
任意選択的にメモリ102内に記憶される他のアプリケーション136の例としては、他のワードプロセッシングアプリケーション、他の画像編集アプリケーション、描画アプリケーション、プレゼンテーションアプリケーション、JAVA(登録商標)対応アプリケーション、暗号化、デジタル著作権管理、音声認識、及び音声複製が挙げられる。
タッチスクリーン112、ディスプレイコントローラ156、接触モジュール130、グラフィックモジュール132、及びテキスト入力モジュール134と併せて、連絡先モジュール137は、(例えば、メモリ102又はメモリ370内の連絡先モジュール137のアプリケーション内部状態192に記憶される)アドレス帳又は連絡先リストを管理するために任意選択的に用いられ、それには、アドレス帳に(複数の)名前を加えること、アドレス帳から(複数の)名前を削除すること、(複数の)電話番号、(複数の)電子メールアドレス、(複数の)実際の住所、又は他の情報を名前と関連付けること、画像を名前と関連付けること、名前を分類して並べ替えること、電話138、テレビ会議139、電子メール140、又はIM141などによる通信を開始するため、かつ/又は容易にするために、電話番号又は電子メールアドレスを提供することなどが含まれる。
RF回路108、オーディオ回路110、スピーカ111、マイクロフォン113、タッチスクリーン112、ディスプレイコントローラ156、接触モジュール130、グラフィックモジュール132、及びテキスト入力モジュール134と併せて、電話モジュール138は、電話番号に対応する一連の文字を入力し、アドレス帳137内の1つ又は2つ以上の電話番号にアクセスし、入力済みの電話番号を修正し、対応する電話番号をダイアルし、会話を行い、会話が完了した際に接続を切るか又は電話を切るために任意選択的に使用される。上述のように、無線通信は、複数の通信規格、プロトコル、及び技術のうちのいずれかを任意選択的に使用する。
RF回路108、オーディオ回路110、スピーカ111、マイクロフォン113、タッチスクリーン112、ディスプレイコントローラ156、光学センサ164、光学センサコントローラ158、接触モジュール130、グラフィックモジュール132、テキスト入力モジュール134、連絡先リスト137、及び電話モジュール138と併せて、テレビ会議モジュール139は、ユーザの指示に従って、ユーザと1人又は2人以上の他の参加者との間のテレビ会議を開始し、実施し、終了するための、実行可能命令を含む。
RF回路108、タッチスクリーン112、ディスプレイコントローラ156、接触モジュール130、グラフィックモジュール132、及びテキスト入力モジュール134と併せて、電子メールクライアントモジュール140は、ユーザの指示に応じて、電子メールを作成し、送信し、受信し、管理するための、実行可能命令を含む。画像管理モジュール144と併せて、電子メールクライアントモジュール140は、カメラモジュール143で撮影された静止画像又はビデオ画像を有する電子メールを作成かつ送信することを、非常に容易にする。
RF回路108、タッチスクリーン112、ディスプレイコントローラ156、接触モジュール130、グラフィックモジュール132、及びテキスト入力モジュール134と併せて、インスタントメッセージングモジュール141は、インスタントメッセージに対応する文字列を入力し、入力済みの文字を修正し、(例えば、電話ベースのインスタントメッセージのためのショートメッセージサービス(SMS)またはマルチメディアメッセージサービス(MMS)プロトコルを使用して、又はインターネットベースのインスタントメッセージのためのXMPP、SIMPLE、またはIMPSを使用して)対応するインスタントメッセージを送信し、インスタントメッセージを受信し、その受信したインスタントメッセージを表示するための、実行可能命令を含む。いくつかの実施形態では、送信されたかつ/又は受信されたインスタントメッセージは、MMS及び/又は拡張メッセージングサービス(EMS)でサポートされるように、グラフィック、写真、オーディオファイル、映像ファイル、及び/又は他の添付を、任意選択的に含む。本明細書で使用されるとき、「インスタントメッセージング」とは、電話ベースのメッセージ(例えば、SMS又はMMSを使用して送信されたメッセージ)及びインターネットベースのメッセージ(例えば、XMPP、SIMPLE、又はIMPSを使用して送信されたメッセージ)の両方を意味する。
RF回路108、タッチスクリーン112、ディスプレイコントローラ156、接触モジュール130、グラフィックモジュール132、テキスト入力モジュール134、GPSモジュール135、地図モジュール154、及び音楽再生モジュール146と併せて、トレーニングサポートモジュール142は、(例えば、時間、距離、及び/又はカロリー消費目標を有する)トレーニングを考案する、トレーニングセンサ(スポーツデバイス)と通信する、トレーニングセンサデータを受信する、トレーニングをモニタするために用いられるセンサを較正する、トレーニング用の音楽を選択かつ再生する、トレーニングデータを表示し、記憶し、送信する、ための実行可能命令を含む。
タッチスクリーン112、ディスプレイコントローラ156、(複数の)光学センサ164、光学センサコントローラ158、接触モジュール130、グラフィックモジュール132、及び画像管理モジュール144と併せて、カメラモジュール143は、静止画像又はビデオ(ビデオストリームを含む)をキャプチャしてメモリ102にそれらを記憶し、静止画像又はビデオの特徴を修正し、又はメモリ102から静止画像またはビデオを削除するための、実行可能命令を含む。
タッチスクリーン112、ディスプレイコントローラ156、接触モジュール130、グラフィクモジュール132、テキスト入力モジュール134、及びカメラモジュール143と併せて、画像管理モジュール144は、静止画像および/またはビデオ画像を配置し、修正(例えば、編集)又は、別の方法で操作し、ラベルを付け、削除、提示(例えば、デジタルスライドショー又はアルバム内で)、並びに記憶するための実行可能命令を含む。
RF回路108、タッチスクリーン112、ディスプレイシステムコントローラ156、接触モジュール130、グラフィックモジュール132、及びテキスト入力モジュール134と併せて、ブラウザモジュール147は、ウェブページ又はそれらの一部、並びにウェブページにリンクされた添付及び他のファイル全体にわたって検索し、リンク付け、受信し、表示することを含むユーザの指示に従い、インターネットをブラウズするための実行可能命令を含む。
タッチスクリーン112、ディスプレイシステムコントローラ156、接触モジュール130、グラフィックモジュール132、オーディオ回路110、スピーカ111、RF回路108、テキスト入力モジュール134、電子メールクライアントモジュール140、及びブラウザモジュール147と併せて、オンラインビデオモジュール155は、ユーザがH.264などの1つ又は2つ以上のファイル形式のオンラインビデオにアクセスし、ブラウズし、(例えば、ストリーミング及び/又はダウンロードにより)受信し、(例えば、タッチスクリーン上で又は外部ポート124を介して接続された外部のディスプレイ上で)再生し、特定のオンラインビデオへのリンクを含む電子メールを送信し、別の方法で管理できるようにする命令を含む。いくつかの実施形態では、特定のオンラインビデオへのリンクを送信するために、電子メールクライアントモジュール140ではなく、インスタントメッセージングモジュール141が、用いられる。
上記の識別されたモジュール及びアプリケーションのそれぞれは、上記の1つ又は2つ以上の機能及び方法を実行するための実行可能命令セットに対応する。
RF回路108、タッチスクリーン112、ディスプレイシステムコントローラ156、接触モジュール130、グラフィックモジュール132、テキスト入力モジュール134、電子メールクライアントモジュール140、及びブラウザモジュール147と併せて、カレンダーモジュール148は、ユーザの指示に従い、カレンダー及びカレンダーに関連付けられたデータ(例えば、カレンダー項目、ToDoリストなど)を作成、表示、修正、記憶するための実行可能命令を含む。
RF回路108、タッチ画面112、ディスプレイシステムコントローラ156、接触モジュール130、グラフィックモジュール132、テキスト入力モジュール134、及びブラウザモジュール147と併せて、ウィジェットモジュール149は、ユーザによって任意選択的にダウンロードされて使用されるミニアプリケーション(例えば、天気ウィジェット149-1、株価ウィジェット149-2、計算機ウィジェット149-3、アラーム時計ウィジェット149-4、及び辞書ウィジェット149-5)、又はユーザによって作成されるミニアプリケーション(例えば、ユーザ作成ウィジェット149-6)である。いくつかの実施形態では、ウィジェットは、ハイパーテキストマークアップ言語(HTML)ファイル、カスケーディングスタイルシート(CSS)ファイル、及びJavaScript(登録商標)ファイルを含む。いくつかの実施形態では、ウィジェットは、拡張可能マークアップ言語(XML)ファイル及びJavaScript(登録商標)ファイル(例えば、Yahoo!(登録商標)ウィジェット)を含む。
RF回路108、タッチスクリーン112、ディスプレイシステムコントローラ156、接触モジュール130、グラフィックモジュール132、テキスト入力モジュール134、及びブラウザモジュール147と併せて、ウィジェットクリエータモジュール150は、ウィジェットを作成する(例えば、ウェブページのユーザ指定箇所をウィジェットに変える)ために、ユーザによって任意選択的に使用される。
タッチスクリーン112、ディスプレイシステムコントローラ156、接触モジュール130、グラフィックモジュール132、及びテキスト入力モジュール134と併せて、検索モジュール151は、ユーザの指示に従い、1つ又は2つ以上の検索基準(例えば、1つ又は2つ以上のユーザ指定の検索語句)と一致する、メモリ102内のテキスト、音楽、音声、画像、ビデオ、及び/又は他のファイルを検索するための実行可能命令を含む。
タッチスクリーン112、ディスプレイシステムコントローラ156、接触モジュール130、グラフィックモジュール132、オーディオ回路110、スピーカ111、RF回路108、及びブラウザモジュール147と併せて、ビデオ及び音楽再生モジュール152は、MP3又はAACファイルなどの1つ又は2つ以上のファイル形式で記憶された録音済みの音楽及び他のサウンドファイルをユーザがダウンロード及び再生できるようにする実行可能命令、並びにビデオを(例えば、タッチスクリーン112上又は外部ポート124を介して接続された外部のディスプレイ上に)表示、提示、又は別の方法で再生するための実行可能命令を含む。いくつかの実施形態では、デバイス100は、iPod(Apple Inc.の登録商標)などのMP3プレーヤの機能を任意選択的に含む。
タッチスクリーン112、ディスプレイコントローラ156、接触モジュール130、グラフィックモジュール132、及びテキスト入力モジュール134と併せて、メモモジュール153は、ユーザの指示に従って、メモ、ToDoリストなどを作成かつ管理するための実行可能命令を含む。
RF回路108、タッチスクリーン112、ディスプレイシステムコントローラ156、接触モジュール130、グラフィックモジュール132、テキスト入力モジュール134、GPSモジュール135、及びブラウザモジュール147と併せて、地図モジュール154は、任意選択的に、ユーザの指示に従って、地図及び地図に関連付けられたデータ(例えば、運転方向、特定の場所又は特定の場所の近辺の商店及び他の対象地点に関するデータ、並びに他の位置関連データ)を、受信、表示、修正、かつ記憶するために使用される。
タッチスクリーン112、ディスプレイシステムコントローラ156、接触モジュール130、グラフィックモジュール132、オーディオ回路110、スピーカ111、RF回路108、テキスト入力モジュール134、電子メールクライアントモジュール140、及びブラウザモジュール147と併せて、オンラインビデオモジュール155は、ユーザがH.264などの1つ又は2つ以上のファイル形式のオンラインビデオにアクセスし、ブラウズし、(例えば、ストリーミング及び/又はダウンロードにより)受信し、(例えば、タッチスクリーン上で又は外部ポート124を介して接続された外部のディスプレイ上で)再生し、特定のオンラインビデオへのリンクを含む電子メールを送信し、別の方法で管理できるようにする命令を含む。いくつかの実施形態では、特定のオンラインビデオへのリンクを送信するために、電子メールクライアントモジュール140ではなく、インスタントメッセージングモジュール141が用いられる。
上記で識別されたモジュール及びアプリケーションのそれぞれは、1つ又は2つ以上の上記の機能を実行するための実行可能命令セット及び本出願に記載の方法(例えば、コンピュータにより実行される方法及び本明細書に記載の他の情報処理方法)に対応する。これらのモジュール(すなわち、命令セット)は、別個のソフトウェアプログラム、手順、又はモジュールとして実装される必要はなく、したがって、これらのモジュールの様々なサブセットは、様々な実施形態において任意選択的に、組み合わせ、又は再配置される。いくつかの実施形態では、メモリ102は、上述の識別されたモジュール及びデータ構造のサブセットを任意選択的に記憶する。更に、メモリ102は、上述されていない追加のモジュール及びデータ構造を任意選択的に記憶する。
いくつかの実施形態では、デバイス100は、デバイス上の機能の既定のセットの動作が排他的にタッチ画面及び/又はタッチパッドを介して実行されるデバイスである。デバイス100の動作のための主要入力制御機器としてタッチ画面及び/又はタッチパッドを使用することにより、デバイス100上の物理的な入力制御機器(プッシュボタン、ダイアル、及び類似物など)の数を、任意選択的に減らす。
排他的にタッチ画面及び/又はタッチパッドを介して実行される、既定の機能のセットは、ユーザインタフェース間のナビゲーションを任意選択的に含む。いくつかの実施形態では、タッチパッドは、ユーザによってタッチされると、デバイス100上に表示される任意のユーザインタフェースから、メインメニュー、ホームメニュー、又はルートメニューへデバイス100をナビゲートする。かかる実施形態では、「メニューボタン」は、タッチパッドを用いて実装される。いくつかの実施形態では、メニューボタンは、タッチパッドの代わりに、物理的なプッシュボタン又は他の物理的な入力制御デバイスである。
図1Bは、いくつかの実施形態による、イベント処理のための例示的な構成要素を示すブロック図である。いくつかの実施形態では、メモリ102(図1A内)又は370(図3)は、イベントソータ170(例えば、オペレーティングシステム126内)及び対応するアプリケーション136-1(例えば、上述のアプリケーション137-13、155、及び380~390のいずれか)を含む。
イベントソータ170は、イベント情報を受信し、イベント情報を配信するアプリケーション136-1及びアプリケーション136-1のアプリケーションビュー191を判定する。イベントソータ170は、イベントモニタ171及びイベントディスパッチャモジュール174を含む。いくつかの実施形態では、アプリケーション136-1は、アプリケーションがアクティブ又は実行中の時、タッチ感知ディスプレイ112上に表示される現在の(複数の)アプリケーションビューを示す、アプリケーション内部状態192を含む。いくつかの実施形態では、デバイス/グローバル内部状態157は、いずれの(複数の)アプリケーションが現在アクティブであるかを判定するために、イベントソータ170によって使用され、アプリケーション内部状態192は、イベント情報の配信先となるアプリケーションビュー191を判定するために、イベントソータ170によって使用される。
いくつかの実施形態では、アプリケーション内部状態192は、アプリケーション136-1が実行を再開する際に使用される再開情報、アプリケーション136-1によって情報が表示されているか又は表示の準備が整っていることを示すユーザインタフェース状態情報、ユーザがアプリケーション136-1の以前の状態又はビューに戻ることを可能にするための状態待ち行列、及びユーザが以前に行ったアクションのリドゥ/アンドゥ待ち行列のうちの1つ又は2つ以上などの、追加情報を含む。
イベントモニタ171は、周辺機器インタフェース118からイベント情報を受信する。イベント情報は、サブイベント(例えば、マルチタッチジェスチャの一部としての、タッチ感知ディスプレイ112上のユーザタッチ)についての情報を含む。周辺機器インタフェース118は、I/Oサブシステム106又は(オーディオ回路機構110を介して)近接センサ166、(複数の)加速度計168、および/またはマイクロフォン113などのセンサから受信する情報を送信する。周辺機器インタフェース118がI/Oサブシステム106から受信する情報は、タッチ感知ディスプレイ112又はタッチ感知面からの情報を含む。
いくつかの実施形態では、イベントモニタ171は、所定のインターバルで周辺デバイスインタフェース118にリクエストを送信する。これに応じて、周辺機器インタフェース118は、イベント情報を送信する。実施形態では、周辺機器インタフェース118は、重要なイベント(例えば、所定のノイズ閾値を超え、かつ/又は所定時間より長い入力を受信すること)がある場合にのみイベント情報を送信する。
いくつかの実施形態では、イベントソータ170はまた、ヒットビュー判定モジュール172及び/又はアクティブイベント認識部判定モジュール173も含む。
ヒットビュー判定モジュール172は、タッチ感知ディスプレイ112が1つ以上のビューを表示した際に、1つ以上のビュー内のどこにおいてサブイベントが発生したかを判定するためのソフトウェア手続きを提供する。ビューは、ユーザがディスプレイ上で見ることが可能な、制御部及び他の要素で構成される。
アプリケーションと関連付けられたユーザインタフェースの別の態様は、本明細書では、アプリケーションビュー又はユーザインタフェースウィンドウと呼ばれる場合がある、ビューのセットであり、それらの中で、情報が表示され、タッチに基づくジェスチャが実施される。タッチが検出される(それぞれのアプリケーションの)アプリケーションビューは、アプリケーションのプログラム階層又はビュー階層内のプログラムレベルに、任意選択的に対応する。例えば、タッチが検出される最低レベルのビューは、任意選択的に、ヒットビューと呼ばれ、適切な入力として認識されるイベントのセットは、少なくとも部分的に、タッチベースのジェスチャを開始する最初のタッチのヒットビューに基づいて任意選択的に判定される。
ヒットビュー判定モジュール172は、タッチベースのジェスチャのサブイベントと関連付けられた情報を受信する。アプリケーションが、階層として編成された複数のビューを有するとき、ヒットビュー判定モジュール172は、そのサブイベントを処理すべき階層内の最下位のビューとしての、ヒットビューを特定する。ほとんどの状況では、ヒットビューは、起因となるサブイベント(すなわち、イベント又は潜在的なイベントを形成するサブイベントのシーケンスにおける最初のサブイベント)が発生する最低レベルのビューである。ヒットビューがヒットビュー判定モジュールによって識別されると、ヒットビューは、それがヒットビューとして識別された、同じタッチ又は入力ソースに関連する全てのサブイベントを通常は受信する。
アクティブイベント認識部判定モジュール173は、ビュー階層内のどの(複数の)ビューがサブイベントの特定のシーケンスを受信すべきかを判定する。いくつかの実施形態では、アクティブイベント認識部判定モジュール173は、ヒットビューのみがサブイベントの特定のシーケンスを受信すべきであると判定する。いくつかの実施形態では、アクティブイベント認識部判定モジュール173は、サブイベントの物理的な位置を含む全てのビューはアクティブに関与するビューであると判定し、したがって、全てのアクティブに関与するビューは、サブイベントの特定のシーケンスを受け付けるべきであると判定する。いくつかの実施形態では、タッチサブイベントが、特定の1つのビューに関連付けられる区域に完全に限定された場合であっても、その階層内のより上位のビューは、依然として、アクティブに関与するビューとして維持される。
イベントディスパッチャモジュール174は、イベント情報をイベント認識部(例えば、イベント認識部180)にすぐに送信する。アクティブイベント認識部判定モジュール173を含む実施形態では、イベントディスパッチャモジュール174は、アクティブイベント認識部判定モジュール173により判定されたイベント認識部にイベント情報を配信する。いくつかの実施形態では、イベントディスパッチャモジュール174は、それぞれのイベントレシーバモジュール182により取得されるイベント情報をイベント待ち行列内に記憶する。
いくつかの実施形態では、オペレーティングシステム126は、イベントソータ170を含む。あるいは、アプリケーション136-1が、イベントソータ170を含む。しかし、いくつかの実施形態では、イベントソータ170は、スタンドアロンモジュール、又は接触/動きモジュール130などのメモリ102に記憶された他のモジュールの一部である。
いくつかの実施形態では、アプリケーション136-1は、それぞれがアプリケーションのユーザインタフェースのそれぞれのビュー内で発生するタッチイベントを処理する命令を含む、複数のイベントハンドラ190及び1つ又は2つ以上のアプリケーションビュー191を含む。アプリケーション136-1の各アプリケーションビュー191は、1つ又は2つ以上のイベント認識部180を含む。通常は、それぞれのアプリケーションビュー191は、複数のイベント認識部180を含む。いくつかの実施形態では、イベント認識部180のうち1つ又は2つ以上は、ユーザインタフェースキット(図示せず)又はアプリケーション136-1が方法及び他の性質を継承する上位レベルのオブジェクトなど、別個のモジュールの一部である。いくつかの実施形態では、それぞれのイベントハンドラ190は、データアップデータ176、オブジェクトアップデータ177、GUIアップデータ178、及び/又はイベントソータ170から受信したイベントデータ179のうち1つ又は2つ以上を含む。イベントハンドラ190は、アプリケーション内部状態192を更新するために、データアップデータ176、オブジェクトアップデータ177、またはGUIアップデータ178を、任意選択的に利用するか、又は呼び出す。あるいは、アプリケーションビュー191のうち1つ又は2つ以上は、1つ又は2つ以上のそれぞれのイベントハンドラ190を含む。また、いくつかの実施形態では、データアップデータ176、オブジェクトアップデータ177、及びGUIアップデータ178のうち1つ又は2つ以上がそれぞれのアプリケーションビュー191内に含まれている。
各イベント認識部180は、イベントソータ170からイベント情報(例えば、イベントデータ179)を受信して、そのイベント情報からイベントを特定する。イベント認識部180は、イベント受信部182及びイベント比較部184を含む。いくつかの実施形態において、イベント認識部180はまた、メタデータ183及び(任意選択的に、サブイベント配信命令を含む)イベント配信命令188の少なくともサブセットを含む。
イベント受信部182は、イベントソータ170からイベント情報を受信する。このイベント情報は、サブイベントについての情報、例えば、タッチ又はタッチの移動についての情報を含む。サブイベントによっては、イベント情報はまた、サブイベントの場所などの追加情報も含む。サブイベントが、タッチの動きに関わるとき、イベント情報はまた、サブイベントの速度及び方向も、任意選択的に含む。いくつかの実施形態では、イベントは、ある向きから別の向きへ(例えば、縦長の向きから横長の向きへ、又はその逆)のデバイスの回転を含み、イベント情報は、デバイスの現在の向き(デバイスの姿勢とも呼ばれる)についての相当する情報を含む。
イベント比較部184は、イベント情報を既定のイベント又はサブイベントの定義と比較し、その比較により、イベントまたはサブイベントを判定、又はイベントまたはサブイベントの状態を判定または更新する。いくつかの実施形態では、イベント比較部184は、イベント定義186を含む。イベント定義186は、例えば、イベント1(187-1)、イベント2(187-2)などの、イベントの定義(例えば、サブイベントの既定のシーケンス)を含む。いくつかの実施形態では、イベント187内のサブイベントは、例えば、タッチ開始、タッチ終了、タッチの移動、タッチの中止、及び複数のタッチを含む。ある実施例において、イベント1(187-1)の定義は、表示されたオブジェクト上のダブルタップである。ダブルタップは、例えば、表示されたオブジェクト上の所定の段階についての第1のタッチ(タッチ開始)、所定の段階についての第1のリフトオフ(タッチ終了)、表示されたオブジェクト上の所定の段階についての第2のタッチ(タッチ開始)、及び所定の段階についての第2のリフトオフ(タッチ終了)を含む。別の実施例では、イベント2(187-2)の定義は、表示されたオブジェクト上のドラッグ動作である。ドラッグ動作は、例えば、表示されたオブジェクト上の所定の段階についてのタッチ(又は接触)、タッチ感知ディスプレイ112にわたるタッチの移動、及びタッチのリフトオフ(タッチ終了)を含む。いくつかの実施形態では、イベントはまた、1つ又は2つ以上の関連付けられたイベントハンドラ190についての情報も含む。
いくつかの実施形態では、イベント定義187は、それぞれのユーザインタフェースオブジェクトに関するイベントの定義を含む。いくつかの実施形態では、イベント比較部184は、サブイベントに関連付けられたユーザインタフェースオブジェクトを判定するヒットテストを実行する。例えば、3つのユーザインタフェースオブジェクトがタッチ感知ディスプレイ112に表示されるアプリケーションビューにおいて、タッチ感知ディスプレイ112上でタッチが検出されると、イベント比較部184は、3つのユーザインタフェースオブジェクトのうちのどれがタッチ(サブイベント)に関連付けられているかを判定するためのヒットテストを行う。表示されたそれぞれのオブジェクトが、それぞれのイベントハンドラ190に関連付けられている場合、イベント比較部は、ヒットテストの結果を用いて、どのイベントハンドラ190をアクティブ化すべきかを決定する。例えば、イベント比較部184は、サブイベント及びヒットテストのトリガーとなるオブジェクトに関連付けられたイベントハンドラを選択する。
いくつかの実施形態では、それぞれのイベント187の定義はまた、サブイベントのシーケンスが、イベント認識部のイベントタイプに対応するか又は相当しないかが判定されるまで、イベント情報の配信を遅延させる、遅延作用も含む。
一連のサブイベントがイベント定義186のイベントのいずれとも一致しないとそれぞれのイベント認識部180が判定した場合、それぞれのイベント認識部180は、イベント不可能、イベント失敗、又はイベント終了の状態に入り、その後は、タッチに基づくジェスチャのそれに続くサブイベントを無視する。この状況では、存在する場合には、そのヒットビューに関してアクティブのまま維持される他のイベント認識部が、進行中のタッチに基づくジェスチャのサブイベントを、引き続き追跡かつ処理する。
いくつかの実施形態では、それぞれのイベント認識部180は、イベント配信システムがアクティブに関わっているイベント認識部にどのようにサブイベント配信を実行するかについて示す、構成可能なプロパティ、フラグ、及び/又はリストを有するメタデータ183を含む。いくつかの実施形態では、メタデータ183は、イベント認識部が互いにどのように対話し得るか又は対話が可能になるかについて示す、構成可能なプロパティ、フラグ、及び/又はリストを含む。いくつかの実施形態では、メタデータ183は、サブイベントがビュー階層内の様々なレベルか配信されるか、又はプログラム階層内の様々なレベルに配信されるかを示す、構成可能なプロパティ、フラグ、及び/又はリストを含む。
いくつかの実施形態では、それぞれのイベント認識部180は、イベントの1つ又は2つ以上の特定のサブイベントが認識されたとき、イベントに関連付けられたイベントハンドラ190をアクティブ化させる。いくつかの実施形態では、それぞれのイベント認識部180は、イベントハンドラ190に、そのイベントに関連付けられたイベント情報を配信する。イベントハンドラ190をアクティブ化させることは、それぞれのヒットビューにサブイベントを送信すること(及び、送信を延期すること)とは異なる。いくつかの実施形態では、イベント認識部180は、認識されたイベントに関連付けられたフラグをスローし、そのフラグに関連付けられたイベントハンドラ190は、フラグをキャッチして、既定のプロセスを実行する。
いくつかの実施形態では、イベント配信命令188は、イベントハンドラをアクティブ化させることなく、サブイベントについてのイベント情報を配信するサブイベント配信命令を含む。その代わりに、サブイベント配信命令は、一連のサブイベントに関連付けられたイベントハンドラ、又はアクティブに関与するビューに、イベント情報を配信する。一連のサブイベント又はアクティブに関与するビューに関連付けられたイベントハンドラは、そのイベント情報を受信して、所定のプロセスを実行する。
いくつかの実施形態では、データアップデータ176は、アプリケーション136-1で使用されるデータを作成かつ更新する。例えば、データアップデータ176は、連絡先モジュール137で使用される電話番号を更新するか、又はビデオ再生モジュール145で使用されるビデオファイルを記憶する。いくつかの実施形態では、オブジェクトアップデータ177は、アプリケーション136-1で使用されるオブジェクトを作成かつ更新する。例えば、オブジェクトアップデータ176は、新たなユーザインタフェースオブジェクトを作成するか、又はユーザインタフェースオブジェクトの位置を更新する。GUIアップデータ178は、GUIを更新する。例えば、GUIアップデータ178は、表示情報を準備し、タッチ感知ディスプレイ上に表示するために表示情報をグラフィックモジュール132に送信する。
いくつかの実施形態では、(複数の)イベントハンドラ190は、データアップデータ176、オブジェクトアップデータ177、及びGUIアップデータ178を含むか、又はそれらに対するアクセスを有する。いくつかの実施形態では、データアップデータ176、オブジェクトアップデータ177、及びGUIアップデータ178は、それぞれのアプリケーション136-1又はアプリケーションビュー191の単一のモジュール内に含まれる。いくつかの実施形態では、それらは、2つ以上のソフトウェアモジュール内に含まれる。
タッチ感知ディスプレイ上のユーザのタッチのイベント処理に関する上述の説明はまた、入力デバイスを使用して多機能デバイス100を動作させるための他の形態のユーザ入力にも適用されるが、その全てがタッチスクリーン上で開始されるわけではないことが理解されよう。例えば、キーボードの単一又は複数の押圧または保持と任意選択的に連携される、マウスの移動及びマウスボタンの押圧、タッチパッド上でのタップ、ドラッグ、スクロールなどの接触移動、ペンスタイラス入力、デバイスの移動、口頭による指示、検出された眼球運動、バイオメトリック入力、及び/又はこれらの任意の組み合わせが、認識対象のイベントを定義するサブイベントに対応する入力として任意選択的に利用される。
図2は、いくつかの実施形態による、タッチ画面112を有するポータブル多機能デバイス100を示す。タッチ画面は、ユーザインタフェース(UI)200内に1つ又は2つ以上のグラフィックを、任意選択的に表示する。本実施形態並びに後述する他の実施形態では、ユーザは、例えば、1本または2本以上の(図には、正確な縮尺率では描かれていない)指202又は1つ以上の(図には、正確な縮尺率では描かれていない)スタイラス203を用いてグラフィック上でジェスチャを行うことにより、グラフィックのうちの1つ又は2つ以上を選択できる。いくつかの実施形態では、ユーザが1つ又は2つ以上のグラフィックとの接触を断ったとき、1つ又は2つ以上のグラフィックの選択が生じる。いくつかの実施形態では、ジェスチャは、1回又は2回以上のタップ、1回又は2回以上のスワイプ(左から右へ、右から左へ、上方向へ、及び/又は下方向へ)、及び/又はデバイス100と接触した指のローリング(右から左へ、左から右へ、上方向へ、及び/又は下方向へ)を、任意選択的に含む。いくつかの実施又は状況では、グラフィックとの偶発的な接触は、グラフィックを選択しない。例えば、選択に対応するジェスチャがタップであるとき、アプリケーションアイコンの上をスワイプするスワイプジェスチャは、対応するアプリケーションを、任意選択的に選択しない。
デバイス100はまた、「ホーム」又はメニューボタン204などの、1つ又は2つ以上の物理ボタンも任意選択的に含む。前述のように、メニューボタン204は、デバイス100上で任意選択的に実行されるアプリケーションのセット内の任意のアプリケーション136へのナビゲーションに、任意選択的に使用される。いくつかの実施形態では、メニューボタン204は、メニューボタン204上の指紋を識別する指紋センサを含む。指紋センサは、メニューボタン204上の指がデバイス100のロック解除に使用される指紋と一致する指紋を有するかどうかを判定するために、任意選択的に使用される。あるいは、いくつかの実施形態では、メニューボタンは、タッチスクリーン112に表示されたGUIにおけるソフトキーとして実装されている。
一実施形態では、デバイス100は、タッチスクリーン1I2、メニューボタン204、デバイスへの電源をオン/オフしてデバイスをロックするためのプッシュボタン206、(複数の)音量調整ボタン208、加入者識別モジュール(SIM)カードスロット210、ヘッドセットジャック212、及びドッキング/充電用外部ポート124を含む。プッシュボタン206は、ボタンを押下して、既定の時間インターバルにわたってボタンを押下された状態で保持することによって、デバイス上の電源をオン/オフするため、ボタンを押下して、既定の時間インターバルが経過する前にボタンを解放することによってデバイスをロックするため、かつ/又はデバイスをロック解除するまたはロック解除プロセスを開始するために、任意選択的に使用される。代替的実施形態では、デバイス100はまた、マイクロフォン113を通して、一部の機能をアクティブ化するか、又は非アクティブ化するための口頭入力も受け付ける。また、デバイス100は、タッチスクリーン112への接触の強度を検出するための1つ又は2つ以上の接触強度センサI65及び/又はデバイス100のユーザの触感出力を生成するための1つ又は2つ以上の触感出力生成器I67を、任意選択的に含む。
図3は、いくつかの実施形態による、ディスプレイ及びタッチ感知面を備える例示的な多機能デバイスのブロック図である。デバイス300は、ポータブル型である必要はない。いくつかの実施形態では、デバイス300は、ラップトップコンピュータ、デスクトップコンピュータ、タブレットコンピュータ、マルチメディア再生デバイス、ナビゲーションデバイス、(子供の学習玩具などの)教育的デバイス、ゲームシステム、又は制御デバイス(例えば、家庭用又は業務用コントローラ)である。デバイス300は、典型的には、1つ又は2つ以上の処理ユニット(CPU)310と、1つ又は2つ以上のネットワーク又は他の通信インタフェース360と、メモリ370と、これらの構成要素を相互接続するための1つ又は2つ以上の通信バス320と、を含む。通信バス320は、システム構成要素間の通信を相互接続及び制御する(チップセットと称することがある)回路を任意選択的に含む。デバイス300は、通常はタッチスクリーンディスプレイである、ディスプレイ340を備える入出力(I/O)インタフェース330を含む。I/Oインタフェース330はまた、キーボード及び/又はマウス(又は他のポインティングデバイス)350並びにタッチパッド355、デバイス300上に触感出力を生成するための(例えば、図1Aを参照して上述された(複数の)触感出力生成器167と同様の)触感出力生成器357、センサ359(例えば、光学センサ、加速度センサ、近接センサ、タッチ感知センサ、及び/又は図1Aを参照して上述された(複数の)接触強度センサ165と同様の接触強度センサ)も、任意選択的に含む。メモリ370は、DRAM、SRAM、DDR RAM、又は他のランダムアクセス固体メモリデバイスなどの、高速ランダムアクセスメモリを含み、また任意選択的に、1つ以上の磁気ディスク記憶デバイス、光ディスク記憶デバイス、フラッシュメモリデバイス、又は他の不揮発性固体記憶デバイスなどの、不揮発性メモリを含む。メモリ370は、(複数の)CPU310から離れて位置する1つ又は2つ以上の記憶デバイスを、任意選択的に含む。いくつかの実施形態では、メモリ370は、ポータブル多機能デバイス100(図1A)のメモリ102に記憶されたプログラム、モジュール、及びプログラムに類似するプログラム、モジュール、及びデータ構造、又はそれらのサブセットを記憶する。更に、メモリ370は、ポータブル多機能デバイス100のメモリ102内に存在しない追加プログラム、モジュール、及びデータ構造を、任意選択的に記憶する。例えば、デバイス300のメモリ370は、描画モジュール380、プレゼンテーションモジュール382、ワードプロセッシングモジュール384、ウェブサイト作成モジュール386、ディスクオーサリングモジュール388、及び/又はスプレッドシートモジュール390を、任意選択的に記憶するが、その一方でポータブル多機能デバイス100(図1A)のメモリ102は、これらのモジュールを、任意選択的に記憶しない。
上記で特定された図3の要素のそれぞれは、上述のメモリデバイスのうち1つ又は2つ以上に、任意選択的に記憶される。上記で識別されたモジュールのそれぞれは、上述した機能を実行する命令セットに対応する。上述の識別されたモジュール又はプログラム(すなわち、命令セット)は、別個のソフトウェアプログラム、手順、又はモジュールとして実装される必要はなく、したがって、様々な実施形態では、これらのモジュールの様々なサブセットは、任意選択的に組み合わされるか、又は別の方法で再編成される。いくつかの実施形態では、メモリ370は、上述の識別されたモジュール及びデータ構造のサブセットを任意選択的に記憶する。更に、メモリ370は、上述されていない追加のモジュール及びデータ構造を任意選択的に記憶する。
ここで、ポータブル多機能デバイス100上に任意選択的に実装される、ユーザインタフェース(「UI」)の実施形態に着目する。
図4Aは、いくつかの実施形態による、ポータブル多機能デバイス100上のアプリケーションのメニューに関する、例示的なユーザインタフェースを示す。同様のユーザインタフェースは、デバイス300上に、任意選択的に実装される。いくつかの実施形態では、ユーザインタフェース400は、以下の要素、又はそれらのサブセットまたはスーパーセットを含む。
セルラー信号及びWi-Fi信号などの(複数の)無線通信に関する(複数の)信号強度インジケータ402、時刻404、Bluetooth(登録商標)インジケータ405、バッテリ状態インジケータ406、頻繁に使用されるアプリケーション用のアイコンを有するトレイ408、例えば、不在着信又は音声メールメッセージの数のインジケータ414を任意選択的に含む、「電話」とラベル付けされる、電話モジュール138用のアイコン416、未読電子メールの数のインジケータ410を任意選択的に含む、「メール」とラベル付けされた、電子メールクライアントモジュール140用のアイコン418、「ブラウザ」とラベル付けされた、ブラウザモジュール147用のアイコン420、「iPod」とラベル付けされる、iPod(Apple Inc.の商標)モジュール152とも称されるビデオ及び音楽再生モジュール152用のアイコン422、並びに他のアプリケーション用のアイコンとして、例えば、「テキスト」とラベル付けされた、IMモジュール141用のアイコン424、「カレンダー」とラベル付けされた、カレンダーモジュール148用のアイコン426、「写真」とラベル付けされた、画像管理モジュール144用のアイコン428、「カメラ」とラベル付けされた、カメラモジュール143用のアイコン430、「オンラインビデオ」とラベル付けされた、オンラインビデオモジュール155用のアイコン432、「株価」とラベル付けされた、株価ウィジェット149-2用のアイコン434、「地図」とラベル付けされた、地図モジュール154のアイコン436、「天気」とラベル付けされた、天気ウィジェット149-1用のアイコン438、「時計」とラベル付けされる、アラーム時計ウィジェット149-4用のアイコン440、「トレーニングサポート」とラベル付けされる、トレーニングサポートモジュール142用のアイコン442、「メモ」とラベル付けされた、メモモジュール153用のアイコン444。デバイス100及びその様々なアプリケーション136に関する設定へのアクセスを提供する、設定アプリケーションまたはモジュール用のアイコン446。
図4Aに示されているアイコンのラベルは、単に例示的であることに留意されたい。例えば、ビデオ及び音楽再生モジュール152用のアイコン422は、「音楽」又は「音楽プレーヤ」とラベル付けされる。他のラベルが、様々なアプリケーションアイコン用に、任意選択的に使用される。いくつかの実施形態では、それぞれのアプリケーションアイコンに関するラベルは、それぞれのアプリケーションアイコンに対応するアプリケーションの名前を含む。いくつかの実施形態では、特定のアプリケーションアイコンのラベルは、特定のアプリケーションアイコンに対応するアプリケーションの名前とは異なる。
図4Bは、ディスプレイ450(例えば、タッチスクリーンディスプレイ112)とは別個のタッチ感知面451(例えば、図3のタブレット又はタッチパッド355)を備えたデバイス(例えば、図3のデバイス300)上の例示的なユーザインタフェースを示す。デバイス300はまた、タッチ感知面451上の接触の強度を検出するための、1つ以上の接触強度センサ(例えば、センサ357のうち1つ又は2つ以上)、及び/又はデバイス300のユーザに対する触感出力を生成するための、1つ以上の触感出力生成器359を、任意選択的に含む。
以下の実施例のいくつかは、(タッチ感知面とディスプレイとが組み合わされている)タッチスクリーンディスプレイ112上の入力を参照して説明されるが、いくつかの実施形態では、デバイスは、図4Bに示すように、ディスプレイとは別個のタッチ感知面上で入力を検出する。いくつかの実施形態では、タッチ感知面(例えば、図4Bの451)は、ディスプレイ(例えば、450)上の主軸(例えば、図4Bの453)に対応する主軸(例えば、図4Bの452)を有する。これらの実施形態によれば、デバイスは、ディスプレイ上のそれぞれの位置に対応する位置(例えば、図4Bにおいて、460は、468に相当し、462は、470に対応する)でのタッチ感知面451との接触(例えば、図4Bの460及び462)を検出する。このように、タッチ感知面がディスプレイとは別個のものであるとき、タッチ感知面(例えば、図4Bの451)上でデバイスによって検出されたユーザ入力(例えば、接触460及び462、並びにそれらの移動)は、多機能デバイスのディスプレイ(例えば、図4Bの450)上のユーザインタフェースを操作するためにデバイスによって使用される。同様の方法が、本明細書に記載の他のユーザインタフェースに任意選択的に使用されることを理解されたい。
更に加えて、以下の説明は、主に指入力(例えば、指の接触、指のタップジェスチャ、指のスワイプジェスチャ)を参照して説明されるが、いくつかの実施形態では、それらの指入力のうちの1つ又は2つ以上は、別の入力デバイスからの入力(例えば、マウスに基づく入力又はスタイラス入力)で置き換えられることを理解されたい。例えば、スワイプジェスチャは、任意選択的に、(例えば、接触の代わりに)マウスクリックと置換され、その後、(例えば、接触の移動の代わりに)スワイプの経路に沿ってカーソルの移動が行われる。別の実施例として、タップジェスチャは、(例えば、接触の検出に続いて接触の検出を停止する代わりに)カーソルがタップジェスチャの位置上に配置される間、任意選択的に、マウスクリックと置換される。同様に、複数のユーザ入力が同時に検出されるとき、複数のコンピュータマウスが同時に任意選択的に用いられ、又はマウスと指接触が同時に任意選択的に用いられることが理解されよう。
本明細書で使用されるとき、用語「フォーカスセレクタ」とは、ユーザが対話しているユーザインタフェースの現在の部分を示す、入力要素を指す。カーソル又は他のロケーションマーカを含むいくつかの実施では、カーソルは、タッチ感知面(例えば、図3のタッチパッド355、又は図4Bのタッチ感知面451)上で入力(例えば、押下げ入力)が検出されたときに、カーソルが特定のユーザインタフェース要素(例えば、ボタン、ウィンドウ、スライダ、又は他のユーザインタフェース要素)の上にあるとき、「フォーカスセレクタ」として機能し、特定のユーザインタフェース要素が、検出された入力に従って調整される。タッチスクリーンディスプレイ上のユーザインタフェース要素との直接的な対話を可能にする、タッチスクリーンディスプレイ(例えば、図1Aのタッチ感知ディスプレイシステム112、又は図4Aのタッチスクリーン112)を含むいくつかの実施では、タッチスクリーン上で検出される接触が「フォーカスセレクタ」の役割を果たすため、入力(例えば、接触による押圧入力)が、タッチスクリーンディスプレイ上の特定のユーザインタフェース要素(例えば、ボタン、ウィンドウ、スライダ、又は他のユーザインタフェース要素)の位置で検出されると、その特定のユーザインタフェース要素が、検出された入力に従って調節される。いくつかの実施では、(例えば、タブキー又は矢印キーを使ったフォーカスの1つのボタンから別のボタンへの移動により)タッチスクリーン上のカーソルの対応する移動又は接触の移動なしに、フォーカスが、ユーザインタフェースの1つの領域からユーザインタフェースの別の領域に移動される。これらの実施では、フォーカスセレクタは、ユーザインタフェースの異なる領域間でのフォーカスの移動に従って移動する。フォーカスセレクタが取る特定のフォームに関係なく、フォーカスセレクタは、概ね、ユーザのユーザインタフェースとの意図した(例えば、ユーザが対話したいと思っているユーザインタフェースの要素をデバイスに指示することによる)対話を伝達するように、ユーザによって制御されたユーザインタフェース要素(又は、タッチスクリーンディスプレイ上の接触)である。例えば、押下げ入力がタッチ感知面(例えば、タッチパッド又はタッチスクリーン)上で検出されたときにそれぞれのボタンの上にあるフォーカスセレクタ(例えば、カーソル、接触、又は選択ボックス)の位置は、(デバイスのディスプレイ上に示されている他のユーザインタフェース要素とは反対に)ユーザが、それぞれのボタンをアクティブ化しようとしていることを指示することとなる。
触覚出力及び関連プロセス
ここで、デバイス300又はポータブル多機能デバイス100などの、電子デバイスに実装することができる触覚出力及び関連プロセスの実施形態に注目する。以下の説明は、デバイス100に関するが、本明細書の実施形態は、デバイス300に援用することができる。
図5は、いくつかの実施形態による、様々な触覚波形形態の例の図である。様々な触覚タイプは、別個の意味を持つ様々な触覚波形を生成する様々な組み合わせで使用される極小の触覚構成要素として機能する。以下の実施例は、本明細書における触覚出力タイプを区別する用語を確立するために記載されている。本明細書に記載された触覚出力タイプは、網羅的であることを意図せず、他の触覚波形が使用されてもよい。
いくつかの実施形態による、波形505は、単一のタップであったとしても触覚を出力するデバイスのユーザによってすぐに知覚できる(例えば、所定の触覚デバイスのタッチ知覚性の絶対閾値を顕著に超える)比較的大きな振幅を有する触覚波形、又は「タップ」タイプの触覚出力の例を表す。様々なタップ触覚出力505a~505eで見られるように、波形は、振幅、継続時間、及び頻度が変化する。通常、ヒトは、5Hz~29Hzの周波数、及び0N~1.0Nの振幅(ソーン、約0~40dBAと等価)を知覚できるが、kHzに依存する。可聴振幅のヒトの聴覚は、1~4kHzで最も鋭敏である。
いくつかの実施形態に従って、波形510は、単一のマイクロタップとして検知するために触覚を出力するデバイスのユーザに対して、すぐには知覚できないが、複数のマイクロタップが連続して出力される場合には容易に知覚できる(例えば、所定の触覚デバイスのタッチ知覚性の低い閾値付近の)波形505と比較して比較的小さな振幅(及び、任意選択的に、より短い持続時間)を有する触覚波形、又は「マイクロタップ」タイプの触覚出力の例を表す。マイクロタップ波形510a~510cはまた、振幅、継続時間、及び頻度も変化する。
波形515は、タップに続く2つのマイクロタップの組み合わせ触覚の例を表す。マイクロタップは、単独では容易に知覚できないため、マイクロタップに先行するタップを有する波形は、タップでユーザの注意を引くことによって、ユーザがマイクロタップをより速やかに知覚するように「準備させる」ことができる。
波形520は、徐々に振幅が減少するより長い継続時間の波を有する「フェード」タイプの波形の例を表す。波形520aは、より大きなタップレベルの振幅で始まり、マイクロタップレベルの振幅で終わる「タップフェード」であり、波形520bは、より小さなマイクロタップレベルの振幅で始まり、より低い振幅で終わるマイクロタップフェードである。
波形525は、通常は全体でより長い継続時間(例えば、0.5秒から1秒の間)続く、連続した高頻度である「バズ」タイプの波形の例を表す。バズは、様々な実施形態に従って、より高い又はより低い振幅を有してもよく、一貫した振動としてユーザが知覚可能である。
様々なオーディオ波形は、オーディオドメインにおいて触覚出力の頻度、振幅、及び継続時間特性に対応するように、又はそれらから区別するために、様々な触覚波形に対して同期して、任意選択的に出力される。上述したような様々な極小の触覚構成要素は、オーディオ波形に対応する様々な触覚波形を生成するために様々な組み合わせで使用される。極小の触覚構成要素は、様々なパラメータ(例えば、振幅、回数/反復、タイミングオフセット)を用いて変調され、オーディオ波形が触覚波形に対応するように、触覚デバイス自体から直接様々なオーディオパターンを発生させる。加えて、触覚アクチュエータ(例えば、(複数の)触感出力生成器167)によって生成されたいくつかの波形は、いくつかの実施形態による「カチカチ音」などの機械様サウンドの可聴出力を生成する。あるいは、いくつかの実施形態では、別個のオーディオ信号生成器及び出力デバイス(例えば、音色生成器及びスピーカ)は、触覚波形と区別された波形を有するオーディオ波形を同期して出力するために使用することができる。
図6は、いくつかの実施形態による、様々なオーディオ波形形態の例の図である。波形605は、様々な振幅、継続時間、及び頻度のオーディオ波形の例を表す。オーディオが対となるべきアクティビティと相関する通常のサウンドを模倣するために特殊な波形が生成される場合がある。波形610は、特殊な波形の例である。波形610aは、トランシーバの音を模倣した波形であり、波形610bは、心拍音を模倣した波形である。
いくつかの実施形態では、触覚波形及びオーディオ波形が対応する形態を有するとき、例えば、触覚波形及びオーディオ波形が、2つの波形が互いに類似して見えるように同様の時間に同様の継続時間のピークを有している場合、これらの波形は、同期して出力されている。波形615(触覚、点線)及び620(オーディオ、実線)は、別々に示してあり、次いで位置合わせされ、時間同期される。この例では、時間アラインメントは、触覚波形を、心拍音のオーディオ波形を有する一連のタップと同調させて、結合サウンドを生成し、例えば、心拍モニタと併せて使用するために、心拍の感覚を生成する。
いくつかの実施形態では、オーディオ構成要素は、属性を共用するが、依然異なる。例えば、異なるピッチで、又は異なる楽器を使用して再生された同じ着信音又は楽譜(同じ振幅、頻度、及び継続時間)が使用される。同じ触覚出力に異なるオーディオ(例えば、高いピッチと低いピッチ、金属音とガラス音とセラミック音で再生された同じオーディオなど)を重ね合わせることは、異なる意味論的構成要素を生成する。これらの例は、網羅的であることを意図せず、他のオーディオ波形を使用してもよい。
例えば、それぞれの触覚出力は、対応するオーディオ出力が付随してもよく、それぞれの触覚出力の少なくとも一部と併用されるそれぞれのオーディオ出力の少なくとも一部を伴ってもよく、又はそれぞれのオーディオ出力は、それぞれの触覚出力及びそれぞれのオーディオ出力が知覚的に同時または同調するように、それぞれの触覚出力に時間的に近接して起こる。触覚波形及びオーディオ波形は、完全に位置合わせする必要はなく、デバイスは、触覚出力及びオーディオ出力の特定のクラスに対して、触覚出力及びオーディオ出力が時間的にややずれていたとしてもユーザに同時であるか、又は同調していると知覚されることとなる事実を考慮してもよい(例えば、オーディオ出力は、触覚出力よりもすばやく処理されるため、オーディオ出力を提供する前に触覚出力を提供することは、場合によっては、オーディオ出力及び触覚出力が同時又は同調して起きているとしてユーザに知覚させることとなる)。付随するオーディオ部分における変化はまた、オーディオ出力を含む実施形態間で変化し得る。例えば、第1の出力に関連付けられたオーディオ構成要素の振幅、第1の出力に関連付けられたオーディオ構成要素の継続時間、第1の出力に関連付けられたオーディオ構成要素に関連付けられた1つ又は2つ以上の音質(例えば、ピッチ、音色など)のそれぞれは、特定の状況で変化し得る。
アプリケーションの状態に基づく触覚出力
いくつかの実施形態に従って、アプリケーション用に検出されたアラート条件と関連付けられた時点におけるアプリケーションと関連付けられた1つ又は2つ以上の状態は、対応する触覚出力を提供するための根拠となる。アプリケーションの状態と相関する触覚出力を提供することは、より効率的なヒューマン・マシン・インタフェースを生み出し、それによって、ユーザが動作を実行するためにかかる時間を減らし、その結果として、エネルギー使用を減らし、デバイスに電力を供給するバッテリのバッテリ寿命を増大させる。図7は、いくつかの実施形態による、アプリケーションと関連付けられたアラート条件を検出し、対応する触覚出力を提供する方法700のフロー図である。いくつかの実施形態では、図7に示した工程とは異なる工程を実施してもよいことに留意されたい。
本方法は、いくつかの実施形態によるコンピューティングデバイス100上で実行しているアプリケーションと関連付けられたアラート条件を705で検出するデバイス100によって開始する。コンピューティングデバイス100上で実行しているアプリケーションに対して、アラート条件は、様々な実施形態に従って様々な形態をとる。アラート条件は、デバイスのユーザ宛の任意のイベント、通知、又は他のアラートである。あるタイプのアラート条件は、アプリケーションによって自動でトリガーされるか、又はアプリケーション内からトリガーされるイベントに対応する。例えば、アプリケーションによってトリガーされるアラート条件は、リマインダ、スケジュールされた通知、又はアプリケーションによって生成されたアラームなどの所定の又はスケジュールされたアラートを含む。第2のタイプのアラート条件は、デバイスの外部の発信元からアプリケーションによって受信される、自動で開始されたイベント通知である。例えば、大量の一斉送信電子メール、スパム、メーリングリスト宛のシステムによって生成された電子メール、又は任意の他のシステムによって生成された通信などの、システムによって生成された電子メールまたはメッセージである。第3のタイプのアラート条件は、デバイスを操作しているユーザ以外の人間のユーザからの、アプリケーションによって受信された、手動で開始されたイベント通知である。例えば、ユーザの連絡先リストにある既知の電子メールアドレス又は電話番号からの着信メッセージ又は入呼である。様々なアラート条件を検出することができ、例えば、電子メール又はメッセージングアプリケーションのユーザインタフェースがデバイスのディスプレイ上に表示されている間に電子メール又はテキストメッセージの受信の検出を行う。
いくつかの実施形態に従って、アラート条件に応じて、デバイス100は、アラート条件と関連付けられた時点における、アプリケーションと関連付けられた状態を710で判定する。1つの例では、アラート条件と関連付けられる時点は、アラートを受信する時点である。第2の例では、アラート条件と関連付けられる時点は、アラートを検出する時点である。
いくつかの実施形態では、アラート条件と関連付けられた時点における、アプリケーションと関連付けられた状態を710で判定することは、アプリケーション用のユーザインタフェースがアラート条件の時点において又はその前後にデバイス上に表示されたかどうか判定することを含む。状況によっては、その時点は、アラート条件の時点であり、他の状況では、対象の時間は、アラート条件と関連付けられた時点周辺の特定の時間インターバル、例えば、アラート条件と関連付けられた時点の前及び/又は後のインターバルに広がる規定の時間ウィンドウの間を含む。
いくつかの実施形態に従って、状態は、アラート条件と関連付けられた時点において、アプリケーションがコンピューティングデバイス上で実行していたか否かに基づいて710で判定することができる。かかる判定は、アプリケーションがフォアグランドで実行していることに基づいて、アプリケーションがアクティブ状態であったという判定によってなされる。例えば、ユーザインタフェース要素は、アプリケーションが実行中、デバイスのディスプレイ上で見ることができる。この場合、アプリケーションがコンピューティングデバイス上で実行していない又はバックグラウンドで実行していることに基づいて、アプリケーションは、非アクティブ状態にあったと判定される。例えば、デバイスは、アクティブには使用されていなかったか、又はアプリケーションの指示で計算を実行していなかったか、又はアプリケーションのアクティブ状態を示すユーザインタフェース要素を表示していなかった。ユーザインタフェースディスプレイの状況及びアプリケーションのアクティブ状態の両方の組み合わせは、710での判定に任意選択的に使用される。
図8を参照すると、いくつかの実施形態による、デバイス100上でフォアグラウンドでアクティブに実行している電子メールアプリケーション800の例が示され、そのアプリケーション用のユーザインタフェースを見ることができる。この例では、電子メールアプリケーション800は、アクティブ状態にある。反対に、デバイス100上で非アクティブである電子メールアプリケーションの例は、図4Aに示され、電子メールアプリケーション800は、デバイス100上に見えないため、実行していないか又はバックグラウンドで実行しているかのいずれか一方である。
再度、図7を参照すると、この例では、アラート条件と関連付けられた時点における、アプリケーションと関連付けられた状態は、アプリケーションに対応するそれぞれのユーザインタフェースウィンドウが、アラート条件と関連付けられた時点におけるマルチアプリケーションウィンドウのユーザインタフェースのフォアグラウンドに表示されたかどうかに基づいて710で判定される。例えば、マルチアプリケーションウィンドウが重ねて表示されている場合、z層の一番手前の位置のアプリケーションは、アクティブなアプリケーションであるとみなされる。当該技術分野で周知のように、それぞれのユーザインタフェースウィンドウは、ユーザ入力又はユーザインタラクションを受容する、かつ/又は受信するように構成されている、フォーカスを有するウィンドウと称される場合がある、アプリケーションウィンドウである。
いくつかの実施形態に従って、1つ又は2つ以上の他のユーザインタフェースウィンドウは、アラート条件と関連付けられた時点においてデバイス上のマルチアプリケーションウィンドウのユーザインタフェースに同時に表示され、この場合、アラート条件と関連付けられた時点における、アプリケーションと関連付けられた状態を710で判定することは、アプリケーションに対応するそれぞれのユーザインタフェースウィンドウが、アプリケーションと関連付けられた時点にマルチアプリケーションウィンドウのユーザインタフェースに表示されたかどうか判定することを含む。
いくつかの実施形態に従って、アラート条件と関連付けられた時点における、アプリケーションと関連付けられた状態を710で判定する別の方法は、アプリケーションに対するユーザ入力がアラート条件と関連付けられた時点に検出されたかどうかを、アラート条件と異なるユーザインタラクションで判定すること含む。例えば、様々な状況でのユーザ入力は、ユーザタッチ入力、音声入力、または視覚/凝視に基づく入力、又はアプリケーションに対するユーザ入力を受信する任意の手段を含む。場合によっては、アラートに関連付けられた時点は、アラート条件の時点であり、他の状況では、アラート条件と関連付けられた時点周辺の特定の時間インターバル、例えば、アラート条件と関連付けられた時点の前及び/又は後のインターバルに広がる規定の時間ウィンドウの間を含む。
アラート条件と関連付けられた時点に検出されたユーザインタラクションに基づいて、アプリケーションがアクティブな状態にあったことを710で判定するいくつかの実施形態では、デバイス100は、アラート条件と関連付けられた時点におけるユーザインタラクションに関連付けられたユーザ関与のレベルを更に判定する。いくつかの状況でのユーザ関与は、アプリケーションとの可能性のあるユーザインタラクションの範囲であり、視線のみなどの最小の関与レベルから、音声又はタッチのみなどの中程度の関与レベルを経過して、アプリケーションにフォーカスするために組み合わされたタッチ、音声、及び視線などのより大きい関与レベルまでに及ぶ(例えば、現在の関与レベル、所定の時間にわたるこれまでの関与レベルのいずれか一方、又はその2つの組み合わせなど)。
アラート条件と関連付けられた時点における、アプリケーションと関連付けられた状態を710で判定することは、いくつかの実施形態では、アラート条件と関連付けられた時点のコンピューティングデバイスの状態を判定することを含む。この例では、アプリケーションがアクティブ状態にあったと判定することは、コンピューティングデバイスがアラート条件と関連付けられた時点においてアクティブであったことを判定することを含む。いくつかの実施形態に従って、例えば、アクティブなデバイスは、電源がオンであり(例えば、ディスプレイがオンであり)、かつ/又はアクティブ・ユースの状態であるデバイスを含む。同様に、アプリケーションが非アクティブ状態にあったと判定することは、コンピューティングデバイスがアラート条件と関連付けられた時点において、何らかの形で非アクティブであったと判定することを含む。例えば、電源が切られたデバイス、スリープモード又はハイバネーションモードにあるデバイス、アクティブ・ユース中ではないデバイス、ディスプレイが消されているデバイスであり、様々な状況における非アクティブなデバイスにそれぞれ相当する。
いくつかの実施形態に従って、アプリケーションがアラート条件と関連付けられた時点においてアクティブ状態であったという判定に従って、デバイス100は、第1のセットの出力特性を有する第1の触覚出力を715で提供する。
第1の触覚出力用の第1のセットの特性は、第1の触覚出力の振幅、継続時間、規則性、繰り返し頻度、又は極小の触覚的特徴の変化のうち1つ又は2つ以上を含む。状況によっては、第1の触覚出力は、第1のオーディオ出力が付随する。例えば、それぞれの触覚出力は、対応するオーディオ出力が付随してもよく、それぞれの触覚出力の少なくとも一部と併用されるそれぞれのオーディオ出力の少なくとも一部を伴ってもよく、又はそれぞれのオーディオ出力は、それぞれの触覚出力及びそれぞれのオーディオ出力が知覚的に同時または同調するように、それぞれの触覚出力に時間的に近接して起こる。触覚波形及びオーディオ波形は、完全に位置合わせする必要はなく、デバイス100は、触覚出力及びオーディオ出力の特定のクラスに対して、触覚出力及びオーディオ出力が時間的にややずれていたとしても、同時に又は同調して起きているとユーザによって知覚されることとなる事実を考慮してもよい(例えば、オーディオ出力は、触覚出力よりもすばやく処理されるため、オーディオ出力を提供する前に触覚出力を提供することは、状況によっては、オーディオ出力及び触覚出力が同時に又は同調して起きているとしてユーザに知覚させることとなる)。付随するオーディオ部分における変化はまた、オーディオ出力を含む実施形態間で変化し得る。例えば、第1の出力に関連付けられたオーディオ構成要素の振幅、第1の出力に関連付けられたオーディオ構成要素の継続時間、第1の出力に関連付けられたオーディオ構成要素に関連付けられた1つ又は2つ以上の音質(例えば、ピッチ、音色など)のそれぞれは、特定の状況で変化し得る。
いくつかの実施形態に従って、第1及び第2のセットの特性は、コンピューティングデバイスのデバイス種類に対応する。例えば、同じイベントに対して、デバイス100は、デバイスの種類(例えば、電話対腕時計対ラップトップコンピュータ対他のハンドヘルドデバイス)に基づいて異なる触覚出力を任意選択的に提供する。しかし、いくつかの実施形態では、第1の出力の触覚構成要素と第2の出力の触覚構成要素との間の差異は、これらの出力が実行されるデバイスとは無関係に保持される。この状況では、全種類のデバイス上で、同じパターンの触覚出力が提供されるが、触覚出力の振幅における差異は、その出力が実施されるデバイスに基づく。
デバイス自体における変化、ひいては触覚出力の詳細は、様々な実施形態に従って変化する。例えば、状況によっては、デバイスは、タッチ感知ディスプレイを有する。いくつかの実施形態では、第1の触覚出力及び第2の触覚出力は、コンピューティングデバイス上のタッチ感知ディスプレイを介して提供される。この例では、デバイス100は、タッチ感知ディスプレイを介してユーザのタッチ入力を受信することと、及び同じタッチ感知ディスプレイを介して触覚出力を提供することとの両方が可能である。いくつかの実施形態に従って、この2方向性タッチ感度により、デバイス100は、受信されたユーザ入力に基づくフィードバックを提供することができる。
上述のように、デバイス100は、アラート条件と関連付けられた時点におけるユーザインタラクションに関連付けられたユーザ関与のレベルを任意選択的に判定する。これらの状況では、デバイス100は、判定された関与のレベルに基づいて第1の触覚出力用の出力特性の第1のセットのうち1つ又は2つ以上を更に判定する。いくつかの実施形態では、オーディオ構成要素及び/又は触覚構成要素の振幅、継続時間、繰り返し頻度は、アプリケーションとのユーザインタラクション/関与の程度と反比例して変化してもよい。したがって、より高度なユーザインタラクションに対して、第1のセットの出力特性は、より捉えにくく、より知覚しにくくなるように、より低い強度を第1の出力に持たせるように選択される。したがって、ユーザは、ユーザが既にアプリケーションとの高度な関与又は対話をしているとき、極度に強力な信号にさらされることはない。いくつかの実施形態に従って、ユーザがあまり関与していない場合、デバイス又はアプリケーションに更なる注意を引くためにより高い強度の信号がユーザに提供される。例えば、検出されたユーザインタラクションが高いレベルのユーザインタラクション/関与を反映するタッチ入力又はタッチジェスチャ(及び/又はユーザの凝視)を含む場合、ユーザは、(視覚又はタッチを介してアプリケーションと対話して)アプリケーションとより関与していることからアラート条件におそらく気付いているため、より弱く又はより小さく発声される出力がユーザに提供される。検出されたユーザインタラクションが、音声入力を含むが、アプリケーションとのより低いレベル又は程度の関与を反映するタッチ又は凝視を伴わない場合、アラート条件に更なる注意を引くために、より強くかつより大きく発声される出力が任意選択的に提供される。
アラート条件と関連付けられた時点においてアプリケーションが非アクティブ状態であったという判定に従って、デバイス100は、アラート条件の発生を表す第2の触覚出力を720で任意選択的に提供し、第2の触覚出力は、第2のセットの出力特性を有し、第2の触覚出力は、第1の触覚出力と異なる。
いくつかの実施形態に従って、第2の触覚出力は、第1の触覚出力と異なり、かつ第1の触覚出力よりも大きな強度を有する。例えば、任意選択的に、第1の触覚出力よりも、信号振幅はより大きく、頻度はより高く、かつ/又は継続時間はより長い。第2の触覚出力は、状況によっては、第1の触覚出力よりも大きな強度を有する。いくつかの実施形態では、第1の出力の触覚構成要素は、第1のセットのパラメータ(例えば、より小さい振幅、より小さい周期性/定常性、イベントのより小さい繰り返し頻度又は回数、出力のより短い継続時間、あまり邪魔をしない/知覚されない/発声されない)を有し、第2の状態の間の第2のセットのパラメータよりも、デバイスのアクティブ状態の間により弱く発声される第1のセットの触覚的特徴又は極小の触覚構成要素(例えば、マイクロタップ)から構成される。同様に、それぞれのオーディオ構成要素が付随する場合、第1の出力のオーディオ構成要素は、アクティブ状態の間の第1のセットのパラメータ(例えば、より小さい振幅、出力のより短い継続時間、あまり邪魔をしない/知覚されない/強くないオーディオメモ)及び非アクティブ状態の間の第2のセットのパラメータを有する。いくつかの実施形態に従って、より高い強度の出力の目的は、アプリケーションが非アクティブ状態にあるとき、アラート条件にユーザの注意を高めて引くことである。
上記で論じたように、デバイス100の状態は、触覚出力の変調、又は出力特性を判定するために任意選択的に使用される。例えば、いくつかの実施形態に従って、デバイスが(例えば、デバイスのバッテリ寿命が所定の閾値未満、例えば、5%、10%、15%、又は20%に低下したため)電力節約状態にあるとき、電力を節約する触覚出力(例えば、より小さい振幅、より短い継続時間、及び/又はより低い頻度の触覚出力)は、たとえこれらの触覚出力がユーザによって知覚されにくいとしても使用される。デバイスが電力節約状態にはないとき、初期設定の触覚出力は、これらの触覚出力が電力を節約していなくても(例えば、電力を節約する触覚出力に比べて、比較的大きな振幅、より長い継続時間、及び/又はより高い頻度の触覚出力)、状況によって使用される。いくつかの実施形態では、第1の出力の触覚構成要素と第2の出力の触覚構成要素との間の差違は、電力を節約する触覚出力が使用されるときであっても、デバイスが電力節約状態にあるため、維持される。
第1の触覚出力と同様に、第2の触覚出力は、オーディオ出力が任意選択的に付随し、付随するオーディオ出力の波形に基づいて、これを反映して、かつこれに同期して生成された第2の触覚出力の波形を伴う。いくつかの実施形態では、触覚構成要素の波形は、図6と併せて論じたように、それぞれのオーディオ構成要素の波形から生成され、かつその波形に一致するか、その波形を模倣するか、反映するか、又はその波形と同期している。
触覚及びオーディオの様々な組み合わせは、デバイスによって出力されて、ユーザに異なる意味論的情報を提供することができる。第1の例として、第1の触覚出力は、オーディオ出力が付随しないが、第2の触覚出力は、オーディオ出力が付随する。第2の例として、第1の触覚出力は、第1のオーディオ出力が付随し、第2の触覚出力は、第1のオーディオ出力と異なる第2のオーディオ出力が付随する。
所与の触覚波形は、異なる知覚を生成できるので、異なるオーディオ波形が付随するときに意味論的情報を生成できる。例えば、高周波数のオーディオ音を伴う触覚構成要素の出力は、異なる知覚可能単位をもたらすので、低周波数のオーディオ音を伴う同じ触覚構成要素の出力と比較すると、意味論的情報をもたらす。高周波数音は、触覚出力によって表されるイベントのクラスにおける重要な発生にユーザの注意を高めて引くために使用してもよいが、その一方で、低周波数音は、イベントのクラスにおける状態変化を示すために使用してもよい。例えば、所与の触覚出力は、テキストメッセージの受信を示すために使用してもよく、緊急メッセージ(または指定送信者からのメッセージ)に対する高周波数音、又は非緊急メッセージまたは非指定送信者から受信したメッセージに対する低周波数音のいずれか一方が付随してもよい。加えて、2つの関連アラートに対して(例えば、テキストメッセージの受信に対応するアラート及び電子メールメッセージの受信に対応するアラートは)、別々に対応する同じ韻律を有するオーディオ構成要素を有するので、同じ触覚構成要素を使用する(例えば、共用触覚構成要素は、2つのアラートがメッセージ受信アラートに対応するという情報を提供するが、その一方で、異なるオーディオ構成要素は、どの種類のメッセージを受信したのかという情報を提供する)。
いくつかの実施形態では、第1の触覚出力は、第2の触覚出力と類似、同一、又は略同一である。1つの例において、第1の触覚出力は、オーディオ出力が付随し、第2の触覚出力は、同じオーディオ出力が付随する。この例では、第1の触覚出力は、第2の触覚出力と異なる。図8のアクティブな電子メールアプリケーション800及び図4Aの非アクティブな電子メールアプリケーション800の上記例を再度参照のこと。以下は、電子メールアプリケーション800用の例示的アラート条件情報、並びに様々な条件、状態、モード、及び条件に対応する出力を示す表である。
Figure 2023040093000002
表1は、受信している電子メールの単一のアラート条件の変化に基づく可能性のある出力の変化を示す。最初の7行は、電子メールを受信したときにアプリケーションがとることになる様々なモード、すなわち、アプリケーションを用いて、メールボックススクリーンを表示する、受信箱を表示する、選択されたメッセージを表示する、送信済みメッセージボックスを表示する、作成中の下書きを表示する、電子メール検索フィールド、及びアプリケーションがバックグラウンドで実行しているとき、に従って新規メッセージがないアクティブ状態のアプリケーションを示す。最初の8行では新規メッセージが受信されていないため、出力(触覚又はその他)は存在しない。
しかし、残りの8行は、新規メッセージが受信されている条件及び対応する出力を示す。表に示すように、大部分のアクティブモードに対して、触覚出力は、マイクロタップであり、オーディオ出力は、電子メール受信の初期設定オーディオである。しかし、アプリケーションが非アクティブである最後の行、及びアプリケーションがアクティブであるがバックグラウンドで実行している最後から2つ目の行は、触覚出力は、フェードタップであり、オーディオ出力は、電子メール受信の初期設定のままである。したがって、オーディオ出力は、アプリケーションがアクティブかどうかに無関係に保持されるが、触覚出力は、アプリケーションが非アクティブであるか、又はバックグラウンドで実行しているときにより強い強度(マイクロタップに対してフェードタップ)を有する。表1は、いくつかの実施形態による条件及び対応する出力を提供するが、これは単なる例示である。アラート、状態、モード、条件、及び出力の他の組合せが、異なる実施形態により使用される。
1つの例において、第1の時点で、アプリケーションがアクティブ状態にある間、デバイス100は、アプリケーションと関連付けられた第1のアラート条件を705で検出し、第1のアプリケーションがアクティブ状態にある間に第1のアラート条件を検出することに応じて、第1のアラート条件を表す第1の出力を715で提供する。第2の時点で、第1のアプリケーションが非アクティブ状態にある間、デバイス100は、第2のアラート条件を検出し、アプリケーションが非アクティブ状態にある間に第2のアラート条件を検出することに応じて、第2のアラート条件を表す第2の触覚出力を720で提供する。第2の触覚出力は、第1の触覚出力と異なる。
図7における動作について説明された特定の順序は単なる例示であり、説明された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書に記載された動作の順序換えをする様々な方法を認識するであろう。加えて、本明細書に記載の他の方法(例えば、方法900、1000、1100、1200、1300、2500、2600、3000、及び3200)に関して本明細書で記載されている他のプロセスの詳細はまた、図7に関連して上述されている方法700に類似の方法で適用可能であることも留意されたい。例えば、方法700を参照して上述した入力、アラート条件、アプリケーション、状態、及び触覚出力は、本明細書に記載された他の方法(例えば、方法900、1000、1100、1200、1300、2500、2600、3000、及び3200)を参照して本明細書に記載された入力、アラート条件、アプリケーション、状態、及び触覚出力の特性のうち1つ又は2つ以上を、任意選択的に有する。簡潔性のために、これらの詳細は、ここでは繰り返さない。
アラート条件のトリガーに基づく触覚出力
アラート条件は、手動又は自動でトリガーすることができる。いくつかの実施形態に従って、検出されたアラート条件が手動でトリガーされたか又は自動でトリガーされたかが、対応する触覚出力を提供するための根拠となる。アラート条件が手動でトリガーされたか又は自動でトリガーされたかに相関する触覚出力を提供することは、より効率的なヒューマン・マシン・インタフェースを生み出し、それによって、ユーザが動作を実行するためにかかる時間を減らし、その結果として、エネルギー消費を減らし、デバイスに電力を供給するバッテリのバッテリ寿命を増大させる。図9は、いくつかの実施形態による、アプリケーションと関連付けられたアラート条件を検出し、条件が手動で開始されたイベントによってトリガーされたか、又は自動で開始されたイベントによってトリガーされたかどうかに応じて触覚出力を提供する方法900のフロー図である。いくつかの実施形態では、図9に示した工程とは異なる工程を実施してもよいことに留意されたい。
本方法は、アプリケーションと関連付けられたアラート条件を905で検出するデバイス100によって開始する。コンピューティングデバイス100上で実行しているアプリケーションに対して、アラート条件は、様々な実施形態に従って様々な形態をとる。アラート条件は、デバイスのユーザ宛の任意のイベント、通知、又は他のアラートである。あるタイプのアラート条件は、手動で開始されたイベントによってトリガーされるイベントに相当し、第2のタイプのアラート条件は、自動で開始されたイベントによってトリガーされるイベントに対応する。状況によっては、デバイス100は、タッチ感知ディスプレイを有する。
アラート条件の検出に応じて、デバイス100は、アラート条件が手動で開始されたイベントによってトリガーされたかどうかを910で判定する。この工程は、アラート条件が人間のユーザによって開始されたイベントに対応するかどうかを判定することを含む。様々な状況は、表2と併せて以下で更に論じるように、イベントが人間のユーザによって開始されたか否かをデバイス100によって判定するために寄与することができる。
いくつかの実施形態では、アラート条件が手動で開始されたイベントによってトリガーされたことをアラート条件特性が示すことを910で判定することは、アラート条件が、コンピューティングデバイスのユーザ以外の人間のユーザによって開始されたイベントに対応するかどうか判定することを含む。この判定に関するいくつかの例示的な条件はまた、以下で説明するように表2にも示してある。
アラート条件が手動で開始されたイベントによってトリガーされたと判定することは、いくつかの実施形態では、アラート条件が人間のユーザから受信した入力に対応するかどうかを判定することと、コンピューティングデバイスのユーザを特定することと、コンピューティングデバイスのユーザに入力に関してアラートを送るための人間のユーザからの指示を含むことと、を含む。いくつかの実施形態では、人間のユーザから受信した入力は、デバイス100のユーザからであるが、いくつかの実施形態では、入力は、別のデバイス上の別のユーザ(例えば、他のユーザからデバイスユーザへの個人メッセージの送信者)から受信される。
表2は、いくつかの例示的な状況を示し、この状況下で、デバイス100は、アラート条件が手動で開始されたイベントによってトリガーされたかどうか、イベントが人間のユーザによって開始されたかどうか、かつユーザがデバイス100のユーザと異なるユーザかどうかを910で判定するために使用される情報を有する。表2に示したアプリケーションは、メッセージ、電子メール、電話、カレンダー、タイマ、アクティビティモニタ、及びソーシャルネットワーキングを含むが、この判定を行うためにデバイス100に類似の情報を提供する任意の他のアプリケーションであることも考えられる。
Figure 2023040093000003
表に示した例について、人為的/自動の列は、特定のアラート、条件、及びアプリケーションが、手動で(人為的に)開始されると考えられるアラートに対応するか、又は自動で開始されると考えられるアラートに対応するか、すなわち、アラートが人為的手段によって開始されるのか、又は自動手段によって開始されるのかを示している。例えば、第2行、第4行、第6行、及び第7行はそれぞれ、人間のユーザによる手動アクションを示している。これらの例では、アクションは、デバイスのユーザ(ユーザの列)によって、デバイス上のアプリケーション(例えば、メッセージ、電子メール、又は電話アプリケーション)へのユーザ入力などによって明確に行われるので、デバイス100は、ユーザが人間のユーザであったこと、及びより明確にはデバイスユーザであったことを容易に判定できる。しかし、他の状況では、いくつかのアラート条件は、手動で、人間のユーザにより、又は自動でのいずれかで生成できるものとして、デバイス100に既知のタイプに属する。例えば、1行、3行、及び5行は、このカテゴリのアラート条件を有する。特に、メッセージアプリケーションにおいて受信された新規メッセージは、通常は、手動の(人為的に開始された)イベント、例えば、異なるデバイスユーザによって送信されたテキスト又は他のメッセージである。しかし、メッセージはまた、スパム又は広告テキストメッセージなどのシステムによって自動生成することもできる。同様に、新規電子メールメッセージは、人間のユーザによってか、又はシステム(例えば、ボットによって生成されると考えられる、大量電子メール、スパム電子メール、又は定期購読者向けlistserv(登録商標)電子メールなど)によって自動的にか、のいずれか一方で開始することができる。最後の例では、電話アプリケーションにおける入呼は、通常は、人為的に開始されたイベントであるが、発信者のリスト、例えば、寄付の勧誘又は政治運動の一部としてシステムが自動ダイアルすることによって、自動で開始された呼び出しでもあり得る。これらの状況のそれぞれにおいて、イベントが手動で開始されたか又は自動で開始されたかに関してより決定的に判定できるようにするために、アラート条件の発信元に関する更なる情報が必要である。
例えば、電子メール又はメッセージに対して、デバイス100は、管理され、作成され、制御され、又は更にはユーザに関連付けられている連絡先リスト内の送信者からの個人通信にアラート条件が対応するかどうかを判定できる。最も簡単な例は、電子メールアドレス又は電話番号を伴う連絡先カードなどの実際の連絡先ファイルであるが、他の連絡先リストはまた、状況によっては、ユーザが以前通信したか、又は通信を受けた電子メールアドレス又は電話番号を含む。これらの例は単に、通信が人間のユーザによって手動で開始されたと思われるかどうかをデバイス100が確認すると考えられる他の手段が多く存在するということである。
他の例を表2の第2行から最後の行において示している。この例では、ソーシャルネットワーキングアプリケーションは、ユーザが投稿にタグ付けしたという通知を送信する。通信自体がソーシャルネットワーキングサーバから届いた一方で、通知の内容は、投稿がソーシャルネットワーキングアプリケーション内のデバイスユーザに接続された人間のユーザによって手動で開始されたことを示す。
いくつかの実施形態に従って、アラート条件が手動で開始されたイベントによってトリガーされたという判定に従って、デバイス100は、手動で開始されたイベントの通知に対応する第1の触覚出力を915で提供する。
アラート条件が手動のイベントによって開始されたことをデバイス100が判定すると、触覚出力は、アラート条件に対応して提供される。いくつかの実施形態に従って、第1の触覚出力は、コンピューティングデバイスのタッチ感知ディスプレイを介して提供される。いくつかの実施形態では、この判定は、手動で開始されたイベントに関連付けられた緊急性の程度を判定することと、緊急性の程度に基づいて第1の触覚出力の強度を912で変調することと、を更に含む。例えば、デバイス100は、別のエンドユーザからの着信メッセージの内容を分析して、メッセージの緊急性を判定する。したがって、デバイス100は、電子メール内の日付情報またはメッセージの題名/内容、題名またはメッセージ内に使用されているキーワード(例えば、「緊急」)を検証するか、又はいくつかの実施形態では、「重要」フラグなどのメッセージ内に含まれるメタデータを検証する。いくつかの実施形態に従って、デバイス100は、メッセージの送信者又は受信者が、重要人物としてユーザによってフラグが付けられた個人を含むか、又はいくつかの他の特別な記号表示を伴う個人を含むかを判定する。その後、デバイス100は、着信メッセージの内容に関連付けられた緊急性に強度(例えば、振幅、継続時間、頻度)が比例する触覚出力及び/又はオーディオ出力を915で提供する。いくつかの実施形態に従って、通常、予想された又は緊急性がない通知/出力は、1つのセットの出力特性を有し、不測の通知は、ユーザの注意を高めて引くことを試みるために、より強い第2のセットの出力特性を有する。
状況によっては、デバイス100は、手動で開始されたイベントに関連付けられた1つ又は2以上のコンテキストの属性を判定し、その根拠に基づく触覚出力の強度を912で変調する。例えば、様々な因子は、着信する手動通知に関連付けられたコンテキストの属性及び提供されるべき触覚通知又はオーディオ通知の強度を評価するために考慮することができる。コンテキストの属性には、メッセージを送信する受信者の身元、メッセージの他の受信者の包含及び特定、メッセージ受信のタイミング、通知を受信したときのユーザの位置、通知を受信したときにユーザによって実施されるアクティビティ、メッセージを伝達するために使用されるメディアなどが挙げられるが、この列挙は、網羅的であるわけではない。
いくつかの実施形態に従って、このとき、手動で開始されたイベントの通知に対応する第1の触覚出力は、自動で開始されたイベントの通知に対応する第2の触覚出力よりも強い。例えば、より強い出力は、手動で開始されたイベントにユーザの注意を高めて引くと思われる。状況によっては、より個人的で、的が絞られ、デバイスのユーザに直接関連する可能性がより高いことから、手動で開始されたアラートに対する触覚は、ユーザがすぐに注目することをより必要とするシステムによって判定されたイベントにユーザの速やかな注意を引くために役立つ。
例えば、いくつかの実施形態に従って、第1の触覚出力は、第1の触覚出力の振幅、第1の触覚出力の継続時間、第1の触覚出力に関連付けられた規則性、第1の触覚出力における触覚的特徴の繰り返し頻度、及び第1の触覚出力を構成する触覚的特徴の選択のうち1つ又は2つ以上を含む第1のセットの特性によって特徴付けられる。例えば、第2の触覚出力は、第2の触覚出力の振幅、第2の触覚出力の継続時間、第2の触覚出力に関連付けられた規則性、第2の触覚出力における触覚的特徴の繰り返し頻度、及び第2の触覚出力を構成する触覚的特徴の選択のうち1つ又は2つ以上を含む第2のセットの特性によって特徴付けられる。
状況によっては、手動で開始された2つのイベントを連続で受信することができる。第1のアラート条件は、第1の人間の送信者からの着信電子メールメッセージに対応して検出することができ、着信電子メールメッセージが手動で開始されたイベントに対応するという判定に応じて、デバイス100は、第1の触覚出力を提供する。第2のアラート条件は、第2の人間の送信者からの着信テキストメッセージに対応して検出され、着信テキストメッセージが手動で開始されたイベントに対応するという判定に応じて、デバイス100は、第1の触覚出力を提供する。いくつかの実施形態に従って、多数の他の変化が可能である。
アプリケーションと関連付けられたアラート条件の検出に応じて、アラート条件が自動で開始されたイベントによってトリガーされたという判定に従って、デバイス100は、自動で開始されたイベントの通知に対応する第2の触覚出力を920で提供する。第2の触覚出力は、第1の触覚出力とは異なる。
自動で開始されたイベントによってトリガーされたアラート条件の多数の例が存在する。表2を再度参照すると、カレンダー、タイマ、及びアクティビティモニタアプリケーション用のアラート条件はそれぞれ、多様な自動化の例であり、アプリケーション自体によって生成される。少し異なる例では、最後の行は、電子メールの形式のソーシャルネットワーキング用のアクティビティの概要であるアラート条件を示している。この例では、アラート条件がスケジュールされ、定期的に発生する。したがって、概要がユーザが開始したアクション(例えば、別のユーザによって投稿にタグ付けされた上記の例)に関連するいくつかのイベント情報を含んでもよいが、ソーシャルネットワークからの電子メールは、特定の投稿を含む1日又は1週の間にわたるアクティビティを集約する。しかし、電子メールは、人間のユーザからの要求又は指示によってトリガーされなかったため、手動で開始されたイベントとはみなされない(電子メールは、手動で開始されたイベントの情報をほとんど含まない)。いくつかの実施形態に従って、第2の触覚出力は、コンピューティングデバイスのタッチ感知ディスプレイを介して提供される。
いくつかの実施形態に従って、デバイス100は、アラート条件がアプリケーションによって自動でトリガーされたこと(例えば、アプリケーションによって生成されたリマインダ通知または自動化アラームなどの所定の又はスケジュールされたアラート)、又はデバイスの外部の送信元からアプリケーションによって受信された自動で開始されたイベントの通知(例えば、自動で/システムで生成された電子メールまたはメッセージ)であったと判定する。例えば、送信者の電子メールアドレスnoreply@domain.comは、電子メールに応じて返信するための実際の人間の送信者がいないため、この電子メールが自動的手段によって送信されたことを示唆する。
いくつかの実施形態に従って、自動で開始されたイベントがデバイス100の外部で発生しているイベントに対応するという判定に従って、デバイス100は、外部で発生している自動で開始されたイベントの通知に対応する第2の触覚出力の第1の変形例を提供する。同様に、自動で開始されたイベントがデバイス内で開始されたイベントに対応するという判定に従って、デバイス100は、内部で生成され、自動で開始されたイベントの通知に対応する第2の触覚出力の第2の変形例を提供する。したがって、いくつかの実施形態に従って、イベントが着信メッセージによって生成されたかどうかに応じて、同じアプリケーションに対して異なる通知が提供される。
いくつかの実施形態に従って、アラート条件が所定の時点において発生するか、又は所定のトリガー条件を満たすと報告するとデバイス100が判定することにより、アラート条件が自動トリガーを有することが示される。例えば、いくつかの所定のトリガー条件(例えば、その日の自身のアクティビティゴール(activity goal)を達成した、ジオフェンス(geo-fenced)領域を離れたなど)を満たすことは、自動型トリガーである。
手動で開始されたアラートトリガと同様に、デバイス100は、アラート条件と関連付けられた特性を分析して、自動で開始されたイベントに関連付けられた1つ又は2つ以上のコンテキストの属性を判定し、1つ又は2つ以上のコンテキストの属性に基づく第2の出力の強度を912で変調する。自動通知に関連付けられたコンテキストの属性及び、様々な状況により、提供されるべき触覚通知又はオーディオ通知の強度を評価する際、様々な因子が考慮される。例えば、通知のタイプ(例えば、1回限りのイベント対周期的/繰り返しアラームなどの繰り返しイベント)、イベントの発生時点のユーザの位置、外部でトリガーされたか又は内部でトリガーされた通知か、通知を受信した時点においてユーザによって実施されるアクティビティ、外部通知に対するアクティビティ、メッセージを伝達するために使用される媒体。
手動でトリガーされたイベントと同様に、自動で開始されたイベントに対して、デバイス100は、自動で開始されたイベントに関連付けられた緊急性が時間的に変化する程度を判定し、特定の時間ウィンドウにわたって、第2の触覚出力を912で変調して、緊急性が時間的に変化する程度を示す。例えば、自動で開始された(例えば、内部で、予めスケジュールされた)トリガーに対して、触覚パラメータのセットは、通知に関連付けられたイベントの緊急性又はタイミングに基づいて912で変調される。例えば、いくつかの実施形態に従って、カメラアプリケーションに対して、デバイス100は、写真が撮影されるまで増大する一連のマイクロタップ出力を提供し、このマイクロタップ間のインターバルは、写真を撮影する時点に接近するにつれて次第に減少し、緊急性の意識を増大させるか、又はタイミング因子をユーザが理解する助けとなる時間的に変化する出力を提供する。
いくつかの実施形態では、第1の触覚出力用の特性の第1のセットは、第2の触覚出力用の特性の第2のセットと異なる。同様に、それぞれのオーディオ構成要素が付随する場合、第1の出力のオーディオ構成要素は、自動で開始されたイベントの通知に対してではなく、手動で開始されたイベントの通知に対して、第1のセットのパラメータ(より大きい振幅、出力のより長い継続時間、より強い/より知覚される/より発声されるオーディオ符号)を有する。
特定の例は、アプリケーションと関連付けられたアラート条件を検出することと、個人アラート通知に対応する第1の触覚出力が提供される場合、ユーザに関連付けられた連絡先のリスト内の送信者からの個人通信にアラート条件が対応するかどうかを応答可能なように判定し、又は自動アラート通知に対応する第2の触覚出力が提供される場合、ユーザに関連付けられた連絡先のリスト内の送信者からの個人通信にアラート条件が対応しないかどうかを判定することと、を含む。ここで、第1の触覚出力は、第2の触覚出力よりも大きい強度を有する。
触覚出力は、対応するオーディオ出力が任意選択的に付随し、それぞれの触覚出力の少なくとも一部と併用されるそれぞれのオーディオ出力の少なくとも一部を伴い、又はそれぞれのオーディオ出力は、それぞれの触覚出力及びそれぞれのオーディオ出力が知覚的に同時であるか、または同調するように、それぞれの触覚出力に時間的に近接して起こる。触覚波形及びオーディオ波形は、完全に位置合わせする必要はなく、デバイス100は、触覚出力及びオーディオ出力の特定のクラスに対して、触覚出力及びオーディオ出力が時間的にややずれていたとしても、同時に又は同調して起きているとユーザによって知覚されることとなる事実を考慮してもよい(例えば、オーディオ出力は、触覚出力よりもすばやく処理されるため、オーディオ出力を提供する前に触覚出力を提供することは、状況によっては、オーディオ出力及び触覚出力が同時に又は同調して起きているとしてユーザに知覚させることとなる)。付随するオーディオ部分における変化はまた、オーディオ出力を含む実施形態間で変化し得る。例えば、第1の出力に関連付けられたオーディオ構成要素の振幅、第1の出力に関連付けられたオーディオ構成要素の継続時間、第1の出力に関連付けられたオーディオ構成要素に関連付けられた1つ又は2つ以上の音質(例えば、ピッチ、音色など)のそれぞれは、特定の状況で変化し得る。
いくつかの実施形態に従って、第1の触覚出力と同様に、第2の触覚出力は、オーディオ出力が付随し、付随するオーディオ出力の波形に基づいて、酷似させて、かつ同期して生成された第2の触覚出力の波形を伴う。いくつかの実施形態では、触覚構成要素の波形は、図6と併せて論じたように、それぞれのオーディオ構成要素の波形から生成され、かつその波形に一致するか、その波形を模倣するか、反映するか、又はその波形と同期している。
いくつかの実施形態に従って、触覚波形及びオーディオ波形の様々な組み合わせが出力される。いくつかの実施形態に従って、第1の触覚出力は、オーディオ出力が付随しないが、第2の触覚出力は、オーディオ出力が付随する。1つの例において、第1の触覚出力は、第1のオーディオ出力が付随し、第2の触覚出力は、第2のオーディオ出力が付随する。この場合、第1の触覚出力は、第2の触覚出力と同一であり、第1のオーディオ出力は、第2のオーディオ出力とは異なる。いくつかの実施形態では、同じ触覚波形は、異なるオーディオ波形が付随するとき、異なる知覚を生成する。例えば、オーディオ(着信)音が低いピッチに対して高いピッチで再生され、同じ触覚構成要素(又は通常のユーザがそれらを区別できないであろう略類似した触覚構成要素)が付随する場合、触覚構成要素の知覚は、同一の触覚であっても異なる。着信音のより高いピッチの又は甲高いバージョンは、ユーザの注意を高めて引くために第2の出力と共に使用されると考えられる。いくつかの実施形態では、第1の触覚出力は、第2の触覚出力と類似、同一、又は略同一である。
別の例として、第1の触覚出力は、オーディオ出力が付随し、第2の触覚出力は、同じオーディオ出力が付随する。この例では、第1の触覚出力は、第2の触覚出力と異なる。
図9における動作について説明された特定の順序は単なる例示であり、説明された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書に記載された動作の順序換えをする様々な方法を認識するであろう。加えて、本明細書に記載の他の方法(例えば、方法700、1000、1100、1200、1300、2500、2600、3000、及び3200)に関して本明細書で記載されている他のプロセスの詳細はまた、図9に関連して上述されている方法900に類似の方法で適用可能であることも留意されたい。例えば、方法900を参照して上述した入力、アラート条件、イベント、アプリケーション、状態、及び触覚出力は、本明細書に記載された他の方法(例えば、方法700、1000、1100、1200、1300、2500、2600、3000、及び3200)を参照して本明細書に記載された入力、アラート条件、イベント、アプリケーション、状態、及び触覚出力の特性のうち1つ又は2つ以上を任意選択的に有する。簡潔性のために、これらの詳細は、ここでは繰り返さない。
フィードバック対通知に基づく触覚出力
アラート条件は、ユーザ入力によって又は所定のシステムイベント(例えば、リマインダ、通知)によってトリガーすることができる。いくつかの実施形態に従って、検出されたアラート条件がユーザ入力に関連付けられているか、又は所定のシステムイベントに関連付けられているかが、対応する触覚出力を提供するための根拠となる。アラート条件のタイプに相関する触覚出力を提供することは、より効率的なヒューマン・マシン・インタフェースを生み出し、それによって、ユーザが動作を実行するためにかかる時間を減らし、その結果として、エネルギー消費を減らし、デバイスに電力を供給するバッテリのバッテリ寿命を増大させる。図10は、いくつかの実施形態による、ユーザ入力からの第1のアラート条件及びアプリケーションと関連付けられた所定のイベントからの第2のアラート条件を検出し、対応する触覚出力を提供する方法1000のフロー図である。いくつかの実施形態では、図10に示した工程とは異なる工程を実施してもよいことに留意されたい。
本方法は、アプリケーションに対するユーザ入力の受信に関連付けられたコンピューティングデバイス100上で第1のアラート条件を1005で検出することによって開始する。いくつかの実施形態に従って、第1のアラート条件は、本明細書の他の部分に記載された様々なアラート条件のうち任意であり得、アプリケーションは、デバイス100上で実行している任意のアプリケーションであり得る。いくつかの実施形態に従って、コンピューティングデバイス100は、ユーザ入力の受信用のタッチ感知ディスプレイを備える。
いくつかの実施形態に従って、第1のアラート条件の検出に応じて、デバイス100は、第1の強度を有し、アプリケーションに対するユーザ入力に対応する第1の触覚出力を1010で提供する。第1の触覚出力は、任意選択的にユーザ入力に直接応じて、かつユーザ入力の結果として提供されるフィードバックである。いくつかの実施形態に従って、より強い触覚(例えば、より大きな振幅又はより長い触覚)は、ユーザ入力に直接応答するフィードバックに対して使用される触覚ではなく、ユーザ入力への応答ではない不測のアラート用に使用される。いくつかの実施形態では、不測のアラートは、ユーザの注目がデバイスに向けられているコンテキスト外で発生するアラート(例えば、ユーザがデバイスをアクティブに使用していない間か、又はユーザがデバイスを見ていない間に発生するアラート)である。例えば、デバイスのユーザがデバイスを装着しているがデバイスを見ておらずメッセージングアプリと対話していない間にデバイスによって生成される電子メッセージアラートは、不測のアラートであり、その一方で、ユーザがデバイスを見ている間、及び/又はデバイス上でメッセージアプリケーションを開いている間に受信した同じアラートは、予測されたアラートであると考えられる。同様に、特定のユーザ入力(例えば、ユーザが地図上にピンを置くときの「クリック」)に対するフィードバックがユーザによって予測される。なぜなら、ユーザがデバイスとアクティブに関与しているので、強くない触覚アラートに、より気付きやすいためである。いくつかの実施形態に従って、第1の触覚出力は、コンピューティングデバイス100上のタッチ感知ディスプレイを介して提供される。第1の強度は、本明細書の他の部分に記載されたように、触覚波形の振幅、頻度、及び/又は継続時間の所定の又は調節可能な組み合わせであることができる。
デバイス100はまた、アプリケーションでの所定のシステムイベントの受信に関連付けられた第2のアラート条件を1015で検出する。例えば、第2のアラート条件は、アプリケーションによって、又はアプリケーション内から自動でトリガーされるイベントに対応する。かかるイベントには、様々な実施形態に従って、所定の時点に発生するか、または所定の基準を満たすことを報告するアラート、アプリケーションによって生成されたリマインダ通知またはアラート、アプリケーションによって受信された自動で開始されたイベントの通知(例えば、システムが生成した大量メール、スパム、メーリングリスト宛にシステムが生成した電子メールなどの自動/システム生成電子メールまたはメッセージ)、又はアプリケーションによって受信された手動で開始されたイベントの通知(例えば、ユーザの連絡先リストにある既知の電子メールアドレスまたは電話番号からの着信メッセージまたは入呼などの、人間のユーザによって開始されたイベント)が挙げられる。
第2のアラート条件の検出に応じて、デバイス100は、第2の強度を有し、所定のシステムイベントに対応する、第2の触覚出力を1020で提供し、第2の強度は、第1の強度よりも大きい。第2の強度は、振幅、頻度、及び/又は継続時間のうち1つ又は2つ以上において第1の強度よりも大きい。コンピューティングデバイス100がタッチ感知ディスプレイを備えるとき、第2の触覚出力は、コンピューティングデバイス上のタッチ感知ディスプレイを介して提供される。
第2の触覚出力のより大きな第2の強度は、ユーザ入力の結果として生じないアラート条件にユーザの注意を高めて引くように設計されている。例えば、アプリケーションを使用中(この場合は、指は、デバイス100に既にタッチしていてもよい)のユーザフィードバックは、指でデバイスにタッチしていないユーザと比較して、ユーザがフィードバックに気付くためにはより弱い触覚出力で済む。デバイスに接触中のフィードバックは、ユーザによって予測されるので、不測の出力よりも、任意選択的に、より捉えにくく、小さめであってもよい。いくつかの実施形態に従って、直接操作は、短くすばやい触覚フィードバック(<100ミリ秒)をもたらすべきである。触覚フィードバックは、それがユーザ入力への応答であるとき、あまり強くない(例えば、より低い振幅、より少ない触覚的特徴、より長い周期性/繰り返し、より短い継続時間、より弱い触覚的特徴など)。その一方で、通知は、多くの場合、不測の出力であり、それゆえに、状況によっては、ユーザの注意を高めて引くためにより強い必要がある。したがって、通知は、任意選択的に長め(約1.5秒)かつ強めである。
例として、いくつかの実施形態に従って、デバイス100は、第1のアプリケーションと関連付けられたアプリケーションユーザインタフェース上に表示されたユーザインタフェース要素のユーザの選択に対応する第1のアラート条件を1005で検出し、第1のアラート条件に応じて、ユーザインタフェース要素のユーザの選択を表すそれぞれの第1の触覚出力を1010で提供し、それぞれの第1の触覚出力は、第1の強度及び第1の継続時間の第1の触覚的特徴を含む第1の触覚構成要素を含む。いくつかの実施形態に従って、それぞれの第1の触覚出力を提供後、デバイス100は、第1のアプリケーションによって受信されたアラート通知に対応する第2のアラート条件を1015で検出し、第2のアラート条件に応じて、アラート通知の受信を表すそれぞれの第2の触覚出力を1020で提供し、それぞれの第2の触覚出力は、以下を含む第2の触覚構成要素を含む。(1)第2の強度及び第2の継続時間の第2の触覚的特徴、並びに(2)第2の触覚的特徴が第1の触覚的特徴よりもより発声される、第2の強度が第1の強度よりも大きい、又は第2の継続時間が第1の継続時間よりも長いことに基づいて、それぞれの第1の触覚出力と異なり、より発声されること。例えば、着信電話呼は、電話アプリケーション上で入呼に応答するか、又は入呼を切るよりも強い触覚出力を有すると考えられる。
Figure 2023040093000004
表3は、電話アプリケーション、並びに3つの異なるアラート条件である入呼、入呼への応答、及び入呼を切るに対応する出力を示す。この例では、入呼に応答するか、又は入呼を切るユーザ、アクションをとるユーザによって予測されたアクションであるので、アクションを付随する対応する触覚出力は、ユーザに対するフィードバックとみなされる。この2つのアラート条件に対して、触覚出力はあまり強くない(例えば、マイクロタップ)。対照的に、入呼は、アラート条件のより不測のタイプであり、実際に、限られた時間に存在するものであるので、ユーザの注目を引くことを意図してより大きな強度を伴う触覚(例えば、ダブルバズ)を有する。いくつかの実施形態に従って、より強い触覚(例えば、より大きな振幅又はより長い触覚)は、ユーザ入力に直接応答するフィードバックに対して使用される触覚ではなく、ユーザ入力への応答ではない不測のアラート用に使用される。
表3は、いくつかの実施形態による条件及び対応する出力を提供するが、これは単なる例示である。アラート、状態、モード、条件、及び出力の他の組合せが異なる実施形態により使用される。
状況によっては、触覚出力は、触覚出力が特定のユーザ入力の結果として生じるか否かに基づいて変化し得る。いくつかの実施形態では、デバイス100は、第1のアプリケーションと関連付けられた第1のアラート条件を最初に検出し、第1のアラート条件は、それぞれのユーザ入力の結果として生じる。例えば、タッチを与えるユーザは、電子メールアプリケーションで電子メールメッセージを入力して、タイプする。いくつかの実施形態に従って、デバイス100は、第1のアラート条件を表すそれぞれの第1の触覚出力を提供する。上記の例に続けて、デバイスは、それぞれのユーザ接触の入力に対して小さい強度で短いインターバルのバズを提供する。それぞれの第1の触覚出力を提供後、デバイス100は、第1のアプリケーションと関連付けられた第2のアラート条件を検出する。第2のアラート条件は、ユーザ入力の受信からは生じない。電子メールアプリケーションのコンテキストでは、このアラート条件は、任意選択的に、電子メールアプリケーション内の着信電子メールである。いくつかの実施形態に従って、デバイス100は、第2のアラート条件を表すそれぞれの第2の触覚出力を次いで提供し、それぞれの第2の触覚出力は、それぞれの第1の触覚出力と異なり、より大きな強度を有する。例えば、第2の触覚出力は、着信メッセージのデバイスのユーザに通知するためにより大きい強度及び/又はタップの長期化を任意選択的に有する。
いくつかの実施形態に従って、第1及び第2の触覚出力は、ユーザの注意を引くためにその強度及びその能力に影響を与える様々な特性を有することができる。例えば、第1の触覚出力は、第1の触覚出力の振幅、第1の触覚出力の継続時間、第1の触覚出力に関連付けられた規則性、第1の触覚出力における触覚的特徴の繰り返し頻度、第1の触覚出力を構成する触覚的特徴の選択のうち1つ又は2つ以上を含む第1のセットの特性を有し、第2の触覚出力は、第2の触覚出力の振幅、第2の触覚出力に関連付けられた触覚構成要素の継続時間、第2の触覚出力に関連付けられた規則性、第2の触覚出力における触覚的特徴の繰り返し頻度、第2の触覚出力を構成する触覚的特徴の選択のうち1つ又は2つ以上を含む第2のセットの特性を有する。様々な実施形態に従って、特性のうち任意は、第1の触覚と第2の触覚との間で異なってもよく、又は特性の全てが異なってもよい。
いくつかの実施形態に従って、触覚及びオーディオの様々な組み合わせが出力される。いくつかの実施形態に従って、第1の触覚出力は、オーディオ出力が付随しないが、第2の触覚出力は、オーディオ出力が付随する。1つの例において、第1の触覚出力は、第1のオーディオ出力が付随し、第2の触覚出力は、第2のオーディオ出力が付随する。この場合、第1の触覚出力は、第2の触覚出力と同一であり、第1のオーディオ出力は、第2のオーディオ出力と異なる。いくつかの実施形態では、同じ触覚波形は、異なるオーディオ波形が付随するとき、異なる知覚を生じる。例えば、オーディオ(着信)音が低いピッチに対して高いピッチで再生され、同じ触覚構成要素(又は通常のユーザがそれらを区別できないであろう略類似した触覚構成要素)が付随する場合、触覚構成要素の知覚は、同一の触覚であっても異なる。着信音のより高いピッチの又は甲高いバージョンは、ユーザの注意を高めて引くために第2の出力とともに使用されると考えられる。いくつかの実施形態では、第1の触覚出力は、第2の触覚出力と類似、同一、又は略同一である。
いくつかの実施形態に従って、触覚出力のうち任意は、オーディオ出力を付随させることができ、付随するオーディオ出力の波形に基づいて、反映して、かつ同期させて生成された第2の触覚出力の波形を伴う。いくつかの実施形態では、触覚構成要素の波形は、図6と併せて論じたように、それぞれのオーディオ構成要素の波形から生成され、かつその波形に一致するか、その波形を模倣するか、反映するか、又はその波形と同期している。触覚波形及びオーディオ波形は、完全に位置合わせする必要はなく、デバイス100は、触覚出力及びオーディオ出力の特定のクラスに対して、触覚出力及びオーディオ出力が時間的にややずれていたとしても、同時に又は同調して起きているとユーザによって知覚されることとなる事実を考慮してもよい(例えば、オーディオ出力は、触覚出力よりもすばやく処理されるため、オーディオ出力を提供する前に触覚出力を提供することは、状況によっては、オーディオ出力及び触覚出力が同時に又は同調して起きているとしてユーザに知覚させることとなる)。付随するオーディオ部分における変化はまた、オーディオ出力を含む実施形態間で変化し得る。例えば、第1の出力に関連付けられたオーディオ構成要素の振幅、第1の出力に関連付けられたオーディオ構成要素の継続時間、第1の出力に関連付けられたオーディオ構成要素に関連付けられた1つ又は2つ以上の音質(例えば、ピッチ、音色など)のそれぞれは、特定の状況で変化し得る。
いくつかの実施形態では、触覚強度とデバイスの音量との間に連携がある。例えば、第1の触覚出力の第1の強度及び第2の触覚出力の第2の強度は、オーディオチャネルが切られているか、又は弱められている場合、触覚出力が独立にか、又は初期設定強度/所定の強度に加えてかのいずれか一方で、任意選択的に増大されるように、デバイス上の音量設定に反比例して調節される。
いくつかの実施形態では、第1の触覚出力の提供前に、デバイス100は、入力に基づく変調条件が存在するかどうかを1025で判定し、入力に基づく変調条件が存在するという判定に応じて、第1の触覚出力の提供前に、デバイス100は、第1の触覚出力を1030で修正する。
例えば、入力に基づく1つの変調条件は、ユーザの関与である。この事例では、デバイス100は、それぞれのアラート条件を検出し、それぞれのアラート条件がコンピューティングデバイス上で受信されたそれぞれのユーザ入力から生じたと判定する。次いで、いくつかの実施形態に従って、デバイス100は、検出されたユーザ入力に関連付けられたユーザ関与の程度を特定し、ユーザ関与の程度に基づいて、第1の触覚出力の第1の信号強度を変調する。例えば、いくつかの実施形態では、オーディオ構成要素及び/又は触覚構成要素の強度(例えば、振幅、継続時間、繰り返し頻度)は、アプリケーション/デバイスとのユーザ入力の対話/ユーザの関与の程度と反比例して変化してもよい。ユーザの対話/関与のより高い度合/程度(タッチ又は直接操作など)に対して、出力特性は、第1の出力をより捉えにくく、又はより弱く/より知覚されないようにするように選択される。したがって、ユーザは、ユーザがアプリケーション/デバイスとの高い度合の関与又は対話をしているとき、極度に強力なフィードバック信号を受けることはない。例えば、タッチ/直接操作に対して最も弱い出力が提供される。例えば、ユーザが入力を与えながらデバイスと接触している場合、ユーザは、極度に強力なフィードバック信号を受けるべきではない。その一方で、ユーザがあまり関与していない場合、更なる注意を引くためにユーザに対してより強い信号が提供される。
Figure 2023040093000005
表4は、ユーザのフォーカスにおける変化を伴うアラート条件に対するユーザ関与の様々なレベル、及び結果としての触覚出力レベルを示す。表に示した触覚出力レベルは、主要なかつ副次的なユーザのフォーカスを考慮して、ユーザの注意を引くために必要な触覚強度のレベルのスライディングスケールとして考えることができる。例えば、最も高いレベルのユーザ関与は、アラート条件がフィードバックの形式であるときの、アラート条件を生成するアプリケーションの直接操作である。例えば、ユーザがアプリケーションに情報を入力している場合、アプリケーションは、既にユーザの主要なフォーカスであり、ユーザの注意を引くためにはわずかな触覚があればよく、最も低いレベルの触覚「レベル1」を出力することができる。これは、できる限り最も小さな触覚、例えば、1回のマイクロタップであってもよい。
第3行に飛ぶと、ユーザがデバイスにタッチしているが、異なるアプリケーションに入力している場合、ユーザは、デバイスに集中しているので、あるレベルの関与をしているが、ユーザは、アラートを提供するアプリケーションとは異なるアプリケーションを使用しているため、ユーザは、ユーザがアラートを提供するアプリケーションに入力していた場合よりも低い関与をしている。この場合、適切な出力は、「レベル2」の触覚出力である。例えば、レベル2の出力は、連続した2回のマイクロタップであると考えられる。
第2行から最後の行まで飛ぶと、ユーザは、アラートをアクティブに発するがバックグラウンドで動作するアプリケーションを有することができ、アラート条件の時点においてデバイスにタッチしていなくてもよい。結果として、デバイスは、この状況では、ユーザの注意を得るためにより大きな触覚を選んでもよい。したがって、「レベル3」の触覚出力は、適切な、例えば、プライミングタップであってもよく、1回のマイクロタップ又は連続するマイクロタップが続いてもよい。
最後に、最後の行は、非アクティブ状態でアラートを発するアプリケーションを有するユーザを示す。状況によっては、アプリケーションは、バックグラウンドであっても実行してないか、又はデバイスは、スリープ状態にある。この例では、最大の触覚の「レベル4」が、ユーザの注意を得るために適切である。例えば、ダブルバズの触覚出力が、状況によっては、適切であると考えられる。いくつかの実施形態に従って、より強い触覚(例えば、より大きな振幅又はより長い触覚)は、ユーザ入力に直接応答するフィードバックに対して使用される触覚ではなく、ユーザ入力への応答ではない不測のアラート用に使用される。
これは、限定された数の状況及び触覚出力例を用い、全てのアプリケーション及びアラートが同じように扱われると仮定した単なる一例であり、他の状況においてはその限りではない場合がある。加えて、触覚出力の特定のレベルは、「初期設定の」出力、例えば、レベル2であってもよく、その場合、ユーザのフォーカスに応じて、デバイスは、触覚出力の強度を上下に調節してもよい。表4は、いくつかの実施形態による条件及び対応する出力を提供するが、これは単なる例示である。アラート、状態、フォーカス、条件、及び出力の他の組合せが様々な実施形態に従って使用される。
いくつかの実施形態では、触覚出力は、ユーザ入力の位置に基づいて修正される。この例では、デバイス100は、それぞれのアラート条件を検出し、それぞれのアラート条件がデバイス上の触感ユーザ入力の受信から生じたと判定する。デバイス100は、第1の触覚出力の空間触覚エネルギープロファイルを、デバイス上の触感ユーザ入力を受信している位置で触覚出力を知覚できるように、第1の触覚出力の触覚エネルギーの振幅を低減することによって、変調する。いくつかの実施形態に従って、触覚エネルギーの振幅は、ユーザの指/触感入力の位置から離れた位置では知覚できないように低減することができる。例えば、低い振幅は、接触点で指によって知覚することができるが、残りの手及び/又は手首では知覚することができない。同様に、いくつかの実施形態では、デバイス100は、それぞれのアラート条件を検出し、それぞれのアラート条件がデバイス上の触感ユーザ入力の受信から生じたと判定するが、その場合、デバイス上の触感ユーザ入力を受信した位置を具体的に特定し、デバイス上の触感ユーザ入力を受信した位置の特定の半径閾値内で、第1の触覚出力の特定の割合よりも大きく提供することによって、第1の触覚出力の空間触覚エネルギープロファイルを変調する。いくつかの実施形態に従って、デバイス上の触感ユーザ入力を受信した位置は、時間と共に変化するので、空間触覚エネルギーもまた、デバイス上の触感ユーザ入力を受信した時間的に変化する位置に対応して、時間と共に変化する。
いくつかの実施形態に従って、触覚出力の形態学的特性は、触感入力を模倣する。例えば、デバイス100は、それぞれのアラート条件を検出し、それぞれのアラート条件が触感ユーザ入力の受信から生じたと判定し、次いで、触感ユーザ入力の時間的に変化する形態学的属性を特定する。様々な実施形態に従って、触感入力の時間的に変化する形態学的属性には、タッチ感知面上の接触の検出、その接触が感知面と維持されているか、どのくらい離れているか、どの向きに動いているかをモニタすること、接触点に置かれた圧力の量を決定することなどが挙げられる。次いで、デバイス100は、触感ユーザ入力の時間的に変化する形態学的属性を模倣するために、第1の触覚出力の形態学的特性を経時的に修正する。例えば、模倣するための第1の触覚出力の形態学的特性は、触感入力を再現するために触覚出力の振幅、継続時間、頻度などを変化させることを含む。
いくつかの実施形態では、触覚構成要素の波形は、ユーザ触感入力と完全に位置合わせされる必要はなく、デバイス100は、触覚出力が時間的にややずれていたとしても同時に又は同調して起きているとユーザによって知覚されることとなる事実を考慮してもよい(例えば、触覚出力は、遅延した応答としてユーザが知覚することができるよりもすばやく処理されるため、同時に又は同調して起きているとしてユーザに触覚を知覚させることとなる)。いくつかの実施形態では、利用可能な所定のセットの触覚的特徴のうち特定の触覚的特徴は、第1の出力の触覚構成要素を構成するために、触覚的特徴がユーザ入力を最も良好に模倣していることに基づいて選択される。いくつかの例として、単純なタッチに対するマイクロタップ、より長い/より押し込んだタッチに対するペンクリックタップ、スワイプに対するバズ、指を持ち上げて終了するスワイプに対する終了時に大きくなるバズが挙げられる。例えば、いくつかの実施形態に従って、時間的に変化する形態学的属性は、触感ユーザ入力とタッチ感知面との間の時間依存型接触圧プロファイルを含み、修正することは、触感ユーザ入力とコンピューティングデバイスのタッチ感知面との間の時間依存型接触圧プロファイルを再現するために第1の触覚出力のエネルギープロファイルを時間と共に変調することを含む。
いくつかの実施形態に従って、触覚出力は、持続的なユーザ入力、ジェスチャ、機械的調節、又はユーザによる他のデバイス操作の時間幅を模倣できる。例えば、デバイス100は、それぞれのアラート条件を最初に検出し、それぞれのアラート条件が持続的なユーザ入力から生じたと判定する。いくつかの実施形態に従って、持続的なユーザ入力には、コンピューティングデバイス上のタッチ感知面での触感ユーザ入力、ノブの回転、ボタンの押し下げ、又は検出可能な開始/終了時点を伴うデバイス操作の任意の他のユーザ入力が挙げられる。いくつかの実施形態では、デバイスは、アラート条件がジェスチャ、機械的調節などから生じたと判定できる。その判定に応じて、デバイス100は、持続的なユーザ入力の開始時点において第1の触覚出力を開始し、持続的なユーザ入力の終了を検出し、次いで、持続的なユーザ入力の終了時点において第1の触覚出力(例えば、ユーザ入力を模倣すること)を終了する。いくつかの実施形態では、触覚出力は、ユーザ入力によって、ユーザ入力の開始時点に開始され、ユーザ入力の終了時点に終了する。したがって、触覚フィードバック/触覚出力は、ユーザ入力の継続時間をほぼ通して継続する。触覚出力は、タッチ感知面に限定されず、ユーザ入力の位置で提供されると考えられる。例えば、腕時計の側面の回転ノブを回すと、クリックのように感じる触覚により、ユーザがノブを回すに従って、持続したフィードバックを提供すると考えられる。
いくつかの実施形態では、第2の触覚出力の提供前に、デバイス100は、周囲条件に基づく変調条件が存在するかどうかを1035で判定し、周囲条件に基づく変調条件が存在するという判定に応じて、第2の触覚出力の提供前に、デバイスは、第2の触覚出力を1040で修正する。
例えば、デバイス100は、周囲条件が触覚出力のユーザ知覚に対して潜在的妨害として存在するかどうかを判定する。この例では、デバイス100は、1つ又は2つ以上の周囲条件がそれぞれのアラート条件の発生時点に触覚出力の潜在的干渉としてデバイスに対して存在しているかどうかを判定する。いくつかの実施形態に従って、周囲条件には、(測定された周囲ノイズ、並びにユーザが図書館、博物館、映画館、病院、又は静寂であると一般的に既知である他の場所にいると特定することを含む)ノイズ、触覚感覚に対するユーザの身体的受容力に影響を及ぼす移動/振動、デバイスとの関与レベル(例えば、上記で論じたように、ビューイング、タッチ、会話など)、デバイスへのユーザの近接度(例えば、ユーザの身体上のデバイス対デバイスからの特定の近接閾値よりも離れて位置するなど)が挙げられる。
Figure 2023040093000006
表5は、いくつかの実施形態に従って、アラート条件の間に存在し得る、様々なアプリケーション状態に対する様々な周囲条件、及びこれらの条件に基づいて提供される触覚出力へのあり得る修正を示す。表に示した周囲条件には、低いノイズレベル及び高いノイズレベル、低い振動レベル及び高い振動レベル、デバイスへの短い距離及び長い距離、並びに上記セクション及び表4に関連する高いユーザ関与レベル及び低いユーザ関与レベルが挙げられる。この表は、様々な周囲条件の例を備え、所与のアプリケーションの状態(アクティブ又は非アクティブ)に対して、触覚出力が周囲条件に合わせて調節するためにどのように修正されると考えられるかを示している。表5は、触覚出力に対する修正を示すのみであるが、オーディオなどの非触覚出力に対して類似の調節が行われると考えられる。触覚修正の列は、多くの変形例が可能ではあるが、なし(アラートに対する初期設定の触覚を維持)、増加1、2、又は3、及び低下1の可能な修正を列挙している。これらは単なる例である。高ノイズ、低振動(非アクティブ)、高振動(アクティブ)、及びデバイスへの長い距離(行3、行4、行6、行7、及び行11)などのいくつかの条件に対して、デバイスは、ユーザをある程度、注意散漫にさせる場合がある周囲条件において、初期設定の触覚を1つ又は2つの工程、例えば、1回のマイクロタップをタップまたは2回のマイクロタップに、又はタップをバズになどに増加させることによって修正することができる。高振動(非アクティブ)又はデバイスへの長い距離(行8及び行12)など他の条件に対して、デバイスは、ユーザをより大きい程度に注意散漫にさせる場合がある周囲条件において、初期設定の触覚をより大きな量だけ、例えば、マイクロタップをバズなどに増加させることによって修正することができる。状況によっては、触覚は、修正の一部としてオーディオ出力が付随してもよい。触覚の強度の修正に対して代替的に又は追加的に、デバイスは、例えば、増加3と表記された周囲条件に対する触覚出力を受け取るユーザに対して、周囲条件が向上するまで触覚出力を遅延してもよい。この例では、デバイスは、干渉する周囲条件が治まったので触覚を出力することができるかどうかを究明するために、周囲条件を定期的に判定することができる。他の状況では、遅延は、適用されない。これらの例は、限られた数の状況及び触覚出力例を用いた非常に限定されたものであり、全てのアプリケーション及びアラートが同一に扱われると仮定したもので、他の状況においてはその限りではない場合がある。
いくつかの実施形態では、周囲条件は、もしあったとしてもユーザをそれほど注意散漫にしないため、修正は必要ない(例えば、修正の列で「なし」とした行)。最後に、周囲条件下によっては、デバイスは、例えば、ユーザが関与しているため小さめの出力が必要とされる場合、高い関与レベルに対して、アラート条件と関連付けられた初期設定の触覚を低下させることができる。表5は、いくつかの実施形態による条件及び対応する出力を提供するが、これは単なる例示である。周囲条件、アラート、状態、及び出力の他の組合せが様々な実施形態により使用される。
いくつかの実施形態に従って、デバイス100は、触覚出力を遅延させる。最初に、デバイス100は、干渉する周囲条件がデバイスに対して存在しないという判定を行う。この例では、デバイス100は、ユーザの受容力の状態に基づいてそれぞれの第2の触覚出力を提供し、1つ又は2つ以上の周囲条件が触覚出力への潜在的干渉としてデバイスに対して存在するという判定に従って、デバイス100は、ユーザに対するそれぞれの第2の出力の提供を遅延させる。例えば、遅延は、後続のインスタンスにおいて干渉する周囲条件が存在しなくなるまで継続してもよい(例えば、デバイス100は、いくらか後の時点で再度、干渉する周囲条件が存在するかどうかを判定する)。例えば、通知を受信したときにユーザが非常に活動的(例えば、ランニング又はトレーニングの最中)であり、そのため触覚感覚を知覚できない場合、デバイスは、ユーザが活動を完了するまで待機するなど、活動が完了するまで触覚出力を遅延させることができ、次いで、通知に対応する触覚出力を提供できる。他の状況下において、アラートは、デバイスが周囲条件と無関係にアラートを遅延させることができない十分な緊急性である場合がある。これらの例では、周囲条件の判定は、触覚感覚に対するユーザの身体の受容力を、例えば、ユーザの現在の周辺の特性に基づいて推定するための代用として機能する。
いくつかの実施形態に従って、デバイス100は、触覚出力の変形例、例えば、表5と併せて記載した修正例を提供する。この例では、デバイス100は、それぞれのアプリケーションと関連付けられたそれぞれのアラート条件を検出し、それぞれのアラート条件がユーザ入力の受信から生じなかったと判定する。それぞれのアラート条件がユーザ入力の受信から生じなかったという判定に応じて、デバイス100は、1つ又は2つ以上の周囲条件がそれぞれのアラート条件の発生時点において触覚出力に対する潜在的干渉としてデバイスに対して存在するかどうかを判定し、干渉する周囲条件がデバイスに存在しないという判定に従って、デバイス100は、ユーザに第2の触覚出力の第1の変形例を提供し、第2の触覚出力の第1の変形例は、第1のセットの出力特性を有している。例えば、いくつかの実施形態に従って、変形例は、よりソフトで、より短い継続時間の、より捉えにくい触覚特性(例えば、マイクロタップ)を含む触覚出力であり得る。1つ又は2つ以上の周囲条件が触覚出力に対する潜在的干渉としてデバイスに対して存在するという判定に従って、デバイス100は、ユーザに第2の触覚出力の第2の変形例を提供し、第2の触覚出力の第2の変形例は、第2のセットの出力の特性を有し、第2のセットの特性は、第1のセットの特性と異なり、第2の触覚出力の第2の変形例は、第2の触覚出力の第1の変形例よりも大きな強度を有する。
いくつかの実施形態では、デバイス100は、ユーザに「準備させる」ために触覚出力を修正できる。例えば、デバイス100は、それぞれのアプリケーションと関連付けられたそれぞれのアラート条件を最初に検出し、次いで、それぞれのアラート条件がユーザ入力の受信から生じなかったと判定する。いくつかの実施形態に従って、それぞれのアラート条件がユーザ入力の受信から生じなかったという判定に応じて、デバイスは、第2の触覚出力に対する前兆としてプライミング触覚出力を提供し、プライミング触覚出力は、デバイスを操作するユーザの関与レベルを第2の触覚出力に対して増加させるように設計され、プライミング触覚出力の少なくとも一部は、第2の触覚出力よりもより発声される。デバイス100は、プライミング触覚出力の提供に続いて、かつ提供の特定の時間インターバル内で、第2の触覚出力を任意選択的に提供する。
いくつかの実施形態に従って、デバイス100は、プライミングの変形例を提供できる。1つの例において、プライミング触覚出力は、時間と共に次第に増大する触覚構成要素の強度によって特徴付けられる時間的に変化する波形形態を伴うプライミング触覚構成要素を含む。いくつかの実施形態では、プライミング触覚出力は、通知に対してユーザを無意識のうちに準備させるために、徐々に増大する触覚波形の強度を含む。いくつかの実施形態に従って、プライミング後、オーディオ音量の大幅な増大が、触覚構成要素に呼応して発生する。別の例では、プライミング触覚出力は、触覚構成要素の強度が次第に低下する前に、強調された触覚的特徴によって特徴付けられる時間的に変化する波形形態を伴うプライミング触覚構成要素を任意選択的に含む。あるいは、いくつかの実施形態に従って、デバイス100は、より強いプライミング触覚(及び任意選択的にオーディオ)出力を最初に提供することによって、ユーザの感受性を意図的に準備させることができ、次いで、ユーザの感知が準備されると、その出力に中程度の出力を続けることができる。いくつかの実施形態に従って、第2の触覚出力に先行してプライミング触覚出力があり、第1の触覚出力は、対応する先行プライミング触覚出力なしに、受信したユーザ入力から生じる対応するアラート条件に応じて、直接提供される。様々な実施形態では、プライミング触覚出力の特性は、アラート条件と関連付けられた緊急性又はコンテキストに基づいて選択され、アラート条件の緊急性を反映した出力の強度を伴う。
図10における動作について説明された特定の順序は単なる例示であり、説明された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書に記載された動作の順序換えをする様々な方法を認識するであろう。加えて、本明細書に記載の他の方法(例えば、方法700、900、1100、1200、1300、2500、2600、3000、及び3200)に関して本明細書で記載されている他のプロセスの詳細はまた、図10に関連して上述されている方法1000に類似の方法で適用可能であることも留意されたい。例えば、方法1000を参照して上述した入力、アラート条件、アプリケーション、及び触覚出力は、本明細書に記載された他の方法(例えば、方法700、900、1100、1200、1300、2500、2600、3000、及び3200)を参照して本明細書に記載された入力、アラート条件、アプリケーション、及び触覚出力の特性のうち1つ又は2つ以上を、任意選択的に有する。簡潔性のために、これらの詳細は、ここでは繰り返さない。
マルチパート動作に対する触覚出力
いくつかの実施形態に従って、検出されたアラート条件がマルチパート動作の一部分かどうかが、対応する触覚出力を提供するための根拠となる。アラート条件がマルチパート動作の一部分であるかどうかに関連する触覚出力を提供することは、より効率的なヒューマン・マシン・インタフェースを生み出し、それによって、ユーザが動作を実行するためにかかる時間を減らし、その結果として、エネルギー消費を減らし、デバイスに電力を供給するバッテリのバッテリ寿命を増大させる。図11は、いくつかの実施形態による、マルチパート動作に関連付けられたアラート条件を検出し、対応する触覚出力を提供する方法1100のフロー図である。いくつかの実施形態では、図11に示した工程とは異なる工程を実施してもよいことに留意されたい。
本方法は、コンピューティングデバイス100上で実行しているアプリケーションによって実施されるマルチパート動作の第1の部分に対応する入力を1105で受信することによって開始する。いくつかの実施形態では、マルチパート動作の第1の部分に対応する入力は、デバイス100のタッチ感知面上で検出される。
マルチパート動作の第1の部分に対応する入力の受信に応じて、デバイス100は、継続触覚出力シーケンスを1110で開始する。継続触覚出力シーケンスは、第2の入力が受信されるまでシーケンスが続く限り、様々な実施形態に従って、保持され、一定であり、変化するがある時間にわたって継続するか、又は断続的であるとういう意味において継続することができる。いくつかの実施形態では、マルチパート動作の第1の部分に対応する入力の検出に応じて、デバイスはまた、継続触覚出力シーケンスを付随させるために継続オーディオ出力シーケンスを開始する。
いくつかの実施形態に従って、デバイス100は、タッチ感知面を有し、触覚出力シーケンスは、タッチ感知面を介して提供される。例えば、触覚出力は、タッチ感知面をタッチしているデバイスのユーザに知覚可能である所定のパターンでのタッチ感知面の触覚振動を含む。
いくつかの実施形態では、継続触覚出力シーケンスに加えて、デバイス100は、マルチパート動作の第1の部分に対応する入力の受信に応答した第1の触覚フィードバックを1115で提供する。第1の触覚フィードバックは、イベントに基づいて選択され、イベントの開始を示し、状況によっては、継続触覚出力シーケンスと異なる。例えば、いくつかの実施形態に従って、第1の触覚フィードバックは、継続触覚出力シーケンスよりも大きな強度の触覚出力を有する。
いくつかの実施形態に従って、継続触覚出力シーケンスの開始後、デバイス100は、マルチパート動作の第2の部分に対応する入力を1120で受信する。タッチ感知面を有するデバイス100に対して、マルチパート動作の第2の部分に対応する入力は、タッチ感知面上で検出される。
いくつかの実施形態では、2つのデバイスは、関係している。したがって、マルチパート動作の第1の部分及びマルチパート動作の第2の部分の両方に対応する入力は、デバイス100によって検出される。しかし、いくつかの実施形態では、マルチパート動作の第1の部分に対応する入力は、デバイス100によって検出され、マルチパート動作の第2の部分に対応する入力は、第2のデバイスによって検出される。
いくつかの実施形態に従って、追加のユーザ入力は、デバイス100によって受信することができる。例えば、いくつかの実施形態に従って、マルチパート動作の第1の部分に応答した継続触覚出力シーケンスの1110での開始後、かつマルチパート動作の第2の部分に対応する入力の1120での受信前に、デバイス100は、マルチパート動作の第2の部分に対応する入力と異なる、1つ又は2つ以上の追加のユーザ入力を1125で受信する。これらの状況では、いくつかの実施形態に従って、デバイスは、マルチパート動作の第2の部分に対応する入力を受信するまで、追加のユーザ入力と無関係に継続触覚出力の提供を継続する。
いくつかの実施形態に従って、マルチパート動作の第2の部分に対応する入力の受信に応じて、デバイス100は、継続触覚出力シーケンスを1130で終了する。いくつかの実施形態では、マルチパート動作の第2の部分に対応する入力の検出に応じて、デバイス100はまた、任意の継続オーディオ出力シーケンスを終了する。
マルチパート動作の第2の部分に対応する入力は、マルチパート動作の第1の部分に対応する入力に続き、いくつかの実施形態に従って、イベントの継続時間に対応する時間の特定のインターバルによって、マルチパート動作の第1の部分に対応する入力からやがて分離される。更に、状況によっては、継続触覚出力シーケンスは、イベントの継続時間全体にわたって提供され、イベントの発生を示す。
いくつかの実施形態に従って、デバイスはまた、マルチパート動作の第2の部分に対応する入力の受信に応答した第2の触覚フィードバックを1135で提供する。第2の触覚フィードバックは、継続触覚出力シーケンスと異なる。状況によっては、第2の触覚フィードバックは、イベントの終了を示し、継続触覚出力シーケンスと異なる。例えば、いくつかの実施形態に従って、第2の触覚フィードバックは、継続触覚出力シーケンスよりも大きな強度の触覚出力を有する。
様々な実施形態に従って、マルチパート動作は、様々な形態をとることができる。いくつかの実施形態に従って、マルチパート動作は、安全なトランザクションであり、安全なトランザクションを認証するためにデバイスを保護することを含むマルチパート動作の第1の部分を伴う。この例では、信用証明書、例えば、パスワード又は指紋などのバイオメトリック認証を提供するユーザに応じて、デバイスは、決済情報を近距離無線通信(NFC)サブシステムを介して決済端末に提供できる決済モードに移される。したがって、デバイスを保護することは、第1の部分であり、対応する継続触覚出力を開始させると考えられる。加えて、マルチパート動作の第2の部分は、この例により、安全なトランザクションを認証することを含む。したがって、いくつかの実施形態に従って、認証は、第2の工程であり、例えば、NFCサブシステムが第1の工程から保護されている間にNFCサブシステムが決済端末のNFC領域の範囲に入ったとき、決済端末に決済情報を提供することを含む。
NFCマルチパート安全トランザクションのいくつかの実施形態では、マルチパート動作の第1の部分は、安全なトランザクションを完了するためにユーザ認証が必要であると判定することを含む。例えば、決済端末のNFC領域の範囲に入るNFCサブシステムに応じて、決済端末は、安全なトランザクションを認証するためにパスワード又は指紋などのバイオメトリック認証などの信用証明書を提供するようにユーザに促す。この例では、マルチパート動作の第2の部分は、安全なトランザクションのためのユーザ認証の受信を含む。例えば、触覚出力は、決済プロセスが開始できる前にユーザ認証情報をユーザが提供する必要があることをユーザに気付かせるために提供され、ユーザ認証情報は、パスコードに基づくか、又はバイオメトリックに基づく認証を任意選択的に含む。いくつかの実施形態では、第1の触覚出力パターンは、ユーザ認証の必要性が判定されたときと、ユーザ認証が受信されたときとの間(例えば、ユーザ認証の要求とユーザ認証の受信との間)に、ユーザ認証情報を提供することをユーザに気付かせるために、デバイスによって提供され、第2の触覚出力パターンは、ユーザ認証情報が受信されたときと、安全なトランザクションが承認されたときとの間(例えば、ユーザ認証の受信と決済端末への決済情報の提供との間)に、デバイスによって提供される。この例では、いくつかの実施形態に従って、第2の触覚出力パターンは、NFCサブシステムが決済端末の近くに置かれたことをユーザに気付かせるために、第1の触覚出力パターンと異なる。
他の決済の実施形態によれば、入力は、NFCを使用しない安全なトランザクションに対応している。この例では、マルチパート動作の第1の部分は、トランザクションを開始する第1のユーザインタフェース要素の選択である。オンライン購入などの金融トランザクションに対して、オンライン決済のアクティブ化に対応する要素の選択により、安全情報又は機密情報を入力するためのユーザインタフェースにユーザが入力できるようになる。別の例として、ユーザは、安全な電子メールアカウント又はオンライン店舗などの安全な場所へのログインを要求する。上記の例を続けると、マルチパート動作は、トランザクションを処理するために必要な情報のエントリのための1つ又は2つ以上の入力を含む。例えば、クレジットカード情報又は金融トランザクションの認証に必要な他の照合情報のエントリ及び対応する継続触覚出力シーケンスは、情報のエントリの継続時間を通して提供される。同様に、入力は、安全なウェブアカウントにログインするためのユーザ名及びパスワードのエントリであってもよい。いくつかの実施形態では、イベントは、トランザクションを処理するために必要な情報を受信する1つ又は2つ以上のデータエントリフィールドの数に対応し、マルチパート動作の第2の部分に対応する入力は、トランザクションの完了を認証するユーザインタフェース要素、例えば、決済認証ユーザインタフェース要素の選択である。
いくつかの実施形態に従って、マルチパート動作の第1の部分は、文書の下書きを閉じることを含み、マルチパート動作の第2の部分は、文書の下書きに戻ることを含む。文書を閉じる例は、様々な実施形態に従って、電子メール又はテキストメッセージの下書きを閉じて、別のタスクに切り替えるか、又は他のアプリケーションを開くことを含み、文書に戻ることは、他のタスク又は他のアプリケーションから電子メール又はテキストメッセージの下書きに切り替えて戻ることを含む。
いくつかの実施形態では、入力は、時間的に互いに接近して発生している個別の入力である。例えば、いくつかの実施形態に従って、マルチパート動作の第1の部分に対応する入力は、デバイス上で実行しているアプリケーションと対話する第1のユーザ入力であり、マルチパート動作の第2の部分に対応する入力は、アプリケーションと対話する第2のユーザ入力であり、第2のユーザ入力は、第1のユーザ入力と異なる。例えば、アプリケーションへの第1のユーザ入力は、第1のタップ及びリフトオフであると考えられ、第2のユーザ入力は、同じアプリケーション内での第2のタップ及びリフトオフであると考えられる。
状況によっては、マルチパート動作は、マルチパートジェスチャである。例えば、いくつかの実施形態に従って、動作は、マルチパート動作の第1の部分に対応する入力をデバイス100のタッチ感知面上の接触として最初に検出することを含み、マルチパート動作の第2の部分に対応する入力の検出は、タッチ感知面上の接触の移動を検出することを含む。スワイプジェスチャの例では、第1の部分は、ユーザがタッチ感知面にタッチすることであり、第2の部分は、ユーザがタッチ面にわたって接触を動かす間、ユーザがタッチ感知面との接触を維持していることである。別の例では、動作は、マルチパート動作の第1の部分に対応する入力をタッチ感知面上の接触の移動として最初に検出することと、タッチ感知面からの接触のリフトオフの検出としてマルチパート動作の第2の部分に対応する入力を検出することと、を含む。
いくつかの実施形態に従って、マルチパート動作の第1及び第2の部分に対応する入力は、単一のジェスチャを含み、マルチパート動作の第1の部分に対応する入力は、ジェスチャの初期の部分(例えば、指の接触によるタッチ及びホールド)であり、マルチパート動作の第2の部分に対応する入力は、ジェスチャの後続の部分(例えば、指の接触のリフトオフ)である。例えば、テキスト編集又はビューイングアプリケーションでは、単語の上に指を置いて下方へホールドすると、その単語が最初にハイライトされ、次いでハイライトされた単語の上に指を置いて下方へホールドすることを継続すると、切り取り-コピー-貼り付けメニューが起動する。この例では、接触のリフトオフは、タッチ・アンド・ホールドに対応する表示された態様の選択を表すと考えられる。
いくつかの実施形態では、ジェスチャは、デバイス100のディスプレイ上に表示されたユーザインタフェース内の第1の位置に対応するタッチ感知面のある部分上で開始され、第1の位置と異なるユーザインタフェース内の第2の位置に対応するタッチ感知面の第2の部分上で終了する。例えば、いくつかの実施形態に従って、タッチ・スワイプ・リフトオフシーケンスは、ドラッグ及びドロップを実施するために、又はカメラビューア内の焦点領域を移動させるために使用することができる。
いくつかの実施形態に従って、マルチパート動作の第1の部分に対応する入力は、それぞれのアプリケーションと関連付けられたイベントを開始し、イベントは、マルチパート動作の第2の部分に対応する入力を受信するまで持続され、その時点で、マルチパート動作の第2の部分に対応する入力は、それぞれのアプリケーションと関連付けられたイベントを終了する。例えば、いくつかの実施形態に従って、第1の入力は、アプリケーションと関連付けられたイベントを開始する(例えば、アプリケーションのアプリケーションユーザインタフェース上に提供された)ユーザインタフェース要素の選択であり、第2の入力は、アプリケーションと関連付けられたイベントを終了する(例えば、同じアプリケーションのアプリケーションユーザインタフェース上の)異なるユーザインタフェース要素の選択である。
いくつかの実施形態に従って、アプリケーションは、テキスト編集アプリケーションであり、マルチパート動作の第1の部分に対応する入力は、テキスト編集アプリケーションのテキストエントリモードを有効化する第1のユーザインタフェース要素の選択である。この例では、マルチパート動作は、テキスト編集アプリケーションにテキストエントリするための1つ又は2つ以上の入力を含み、イベントは、テキストエントリのための入力に応答したテキスト編集文書内のテキスト操作に相当し、マルチパート動作の第2の部分に対応する入力は、テキスト編集アプリケーションのテキストエントリモードを無効化するユーザインタフェース要素の選択である。いくつかの実施形態に従って、テキスト編集アプリケーションは、デバイスユーザが他のユーザと通信できるようにする電子メール又はメッセージングアプリケーションなどの通信アプリケーションである。いくつかの実施形態に従って、テキスト編集アプリケーションは、ワードプロセッサアプリケーション、メモ帳または付箋アプリケーション、又はテキストエントリを可能にするが独自の通信機能を提供しない他のアプリケーションなどの非通信テキスト編集アプリケーションである。
いくつかの実施形態に従って、継続触覚出力シーケンスの特性は、マルチパート動作の第1の部分に対応する入力によって開始されるイベントに基づいて選択される。例えば、呼び出しを保留にすると、金融トランザクションイベント又は安全なログインよりも弱い強度の(例えば、より低いエネルギーの、より弱い、より知覚されない)触覚出力シーケンスが付随する。金融トランザクションイベント又は安全なログインに対して、ユーザは、機密情報又は安全情報を提供するので、更なる注意を引くべきトランザクションである。この例では、マルチパート動作の継続時間にわたって(例えば、機密情報が入力された後であるがトランザクションが終了する前)、ユーザは、事前エントリに気付かされ、その結果、エントリされている情報の機密性を損なわないためにトランザクションを速やかに完了する。状況によっては、機密情報を利用可能なまま残さないために時間切れ機能が使用される。加えて、異なる触覚出力パターンは、ユーザに、そのパターンが完了する途中でどのタスクに対するものなのかという情報を任意選択的に提供する。
いくつかの実施形態に従って、マルチパート動作の第1の部分に対応する入力は、アプリケーションと関連付けられた継続イベントを一時停止し、マルチパート動作の第2の部分に対応する入力は、アプリケーションと関連付けられた継続イベントを再開する。例えば、状況によっては、第1の部分は、継続イベントにおける一時中断を開始する。いくつかの実施形態では、第1の入力は、マルチメディアファイル、ビデオクリップ、歌、又は進行中の電話呼び出しの再生などのアクションを一時中断するユーザインタフェース要素の選択に対応し、第2の入力は、アクションを再開する異なる)ユーザインタフェース要素の選択である。
いくつかの実施形態に従って、継続触覚出力シーケンスの強度は、マルチパート動作に対応する後続の入力が受信されるまで、時間と共に増大する。例えば、継続触覚出力シーケンスの触覚エネルギー(例えば、振幅、頻度、触覚的特徴)は、(例えば、強度又は触覚エネルギーを増加させることで)経時的に変調され、マルチパート動作に対応する更なる入力を提供する緊急性が増大していることをユーザに気付かせる。かかる増大する出力は、様々な実施形態に従って、マルチパート動作の第1の部分によって開始されたイベントを終了するか、又はマルチパート動作の第1の部分によって一時停止されたイベントを再開するためのリマインダに対応することができる。
いくつかの実施形態では、触覚出力シーケンスの時間的に変化する触覚エネルギープロファイルは、オーディオ出力シーケンスの時間的に変化する音響エネルギープロファイルを模倣する。図6と併せて論じたように、いくつかの実施形態に従って、触覚シーケンス及びオーディオシーケンスの時間的に変化する波形形態は、互いに、模倣、反映、位置合わせ、及び/又は同調する。
いくつかの実施形態に従って、出力は、マルチパート動作の第1の部分が新しいイベントを開始するか、又は継続するイベントを一時中断するかに応じるオーディオ出力を含む。いくつかの実施形態に従って、マルチパート動作の第1の部分に対応する入力が継続するイベントを一時中断しないが、それぞれのアプリケーションと関連付けられたイベントを開始するという判定に応じて、デバイス100は、付随するオーディオ出力シーケンスを持たない触覚出力シーケンスを提供し、マルチパート動作の第1の部分に対応する入力がそれぞれのアプリケーションと関連付けられた継続するイベントを一時中断するという判定に応じて、デバイス100は、継続触覚出力に付随する継続オーディオ出力シーケンスを提供する。いくつかの実施形態では、オーディオ出力シーケンスは、マルチパート動作の第1の部分が継続するイベント又はアクションを一時中断するか又は一時停止するときのみ、触覚出力シーケンスを付随する。一時中断の間、ユーザは、デバイス及び/又はアプリケーションとおそらく関与していない。例えば、ユーザは、伝達される通話を受動的に待機することができ、それゆえに、オーディオ出力に関連付けられた更なる刺激を許容できる。しかし、いくつかの実施形態では、オーディオシーケンスは、ユーザが電子メールメッセージを能動的にタイプしているか、又は安全な金融情報またはログイン情報をエントリしているなど、実際のイベントがいくつかの実施形態によるマルチパート動作の第1の部分によって開始された場合、触覚シーケンスを付随しない。
いくつかの実施形態に従って、アプリケーションは、音声通信アプリケーションである。例えば、いくつかの実施形態に従って、アプリケーションは、通常の電話アプリケーション、Skype(登録商標)などのボイスオーバーインターネット・アプリケーション、又はGchatなどの電子メールアプリケーションに埋め込まれた音声通信アプリケーションであり得る。いくつかの実施形態に従って、イベントは、マルチパート動作の第1の部分に対応する入力を受信した時点において発生している継続中の音声通信であり、マルチパート動作の第1の部分に対応する入力は、音声通信アプリケーションの第1のユーザインタフェース要素の選択であり、その選択は、継続中の音声通信を一時停止させる。例えば、音声通話は、通話転送又は通話保留要求のため一時中断される。いくつかの実施形態に従って、マルチパート動作の第2の部分に対応する入力は、音声通信を再開する第2のユーザインタフェース要素の選択である。
図11における動作について説明された特定の順序は単なる例示であり、説明された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書に記載された動作の順序換えをする様々な方法を認識するであろう。加えて、本明細書に記載の他の方法(例えば、方法700、900、1000、1200、1300、2500、2600、3000、及び3200)に関して本明細書で記載されている他のプロセスの詳細はまた、図11に関連して上述されている方法1100に類似の方法で適用可能であることも留意されたい。例えば、方法1100を参照して上述した入力、動作、アプリケーション、及び触覚出力は、本明細書に記載された他の方法(例えば、方法700、900、1000、1200、1300、2500、2600、3000、及び3200)を参照して本明細書に記載された入力、動作、アプリケーション、及び触覚出力の特性のうち1つ又は2つ以上を、任意選択的に有する。簡潔性のために、これらの詳細は、ここでは繰り返さない。
サブセット動作に対する触覚出力
いくつかの実施形態に従って、動作を実施するために検出された要求が別の動作のサブセットである動作に関連したかどうかは、対応する触覚出力を提供するための根拠となる。動作を実施するための要求が別の動作のサブセットである動作に付随するかどうかに相関する触覚出力を提供することは、より効率的なヒューマン・マシン・インタフェースを生み出し、それによって、ユーザが動作を実施するためにかかる時間を減らし、その結果として、エネルギー消費を減らし、デバイスに電力を供給するバッテリのバッテリ寿命を増大させる。図12は、いくつかの実施形態による、第1及び第2の動作を実施するための第1及び第2の入力を検出し、動作を実施し、対応する出力を提供する方法1200の例示的な方法フロー図である。いくつかの実施形態では、図12に示した工程とは異なる工程を実施してもよいことに留意されたい。
本方法は、第1の動作を実施する要求に対応する第1の入力を1205で検出することによって開始する。いくつかの実施形態に従って、コンピューティングデバイス100は、タッチ感知ディスプレイを備え、第1の入力は、いくつかの実施形態によるタッチ感知ディスプレイを介して受信される。
いくつかの実施形態に従って、第1の入力の検出に応じて、デバイス100は、触覚構成要素を含む第1の出力を1210で提供する。タッチ感知ディスプレイを備えている場合、第1の出力の触覚構成要素は、いくつかの実施形態によるタッチ感知ディスプレイを介して提供される。
また、いくつかの実施形態による第1の入力の検出に応じて、デバイス100は、第1の動作を1215で実施する。第1の動作は、入力に応じて、デバイス100によって実施される任意の動作であり得る。後述する例には、様々な実施形態に従って、カメラを用いた画像のキャプチャ、デバイスが安全なトランザクションを認証できるようにするためのトランザクション有効化動作、既存ファイル内にコンテンツを保存するための保存動作、及びメッセージ受信箱内にあるメッセージに対する返信を送信するための送信動作が挙げられるが、この列挙は、網羅的であることを意図しない。デバイス100による他の動作は、以下の本方法の工程として想定される。
第1の動作の実施後、デバイス100は、いくつかの実施形態による第1の動作及び追加動作を含む第2の動作を実施するための要求に対応する第2の入力を1220で検出する。いくつかの実施形態に従って、コンピューティングデバイス100がタッチ感知ディスプレイを備える場合、第2の入力は、タッチ感知ディスプレイを介して受信される。
いくつかの実施形態に従って、第2の入力の検出に応じて、デバイス100は、触覚構成要素を含む第2の出力を1225で提供し、第2の出力は、追加動作に対応する追加出力の提供と併せた第1の出力を含む。タッチ感知ディスプレイを備えている場合、第2の出力の触覚構成要素は、いくつかの実施形態によるタッチ感知ディスプレイを介して提供される。
いくつかの実施形態では、第2の出力に対応する触覚構成要素は、第1の出力に対応する第1の触覚構成要素及び追加出力に対応する第2の触覚出力構成要素を含み、第2の触覚出力構成要素は、第1の触覚構成要素と異なる。例えば、第2の触覚構成要素は、いくつかの実施形態による第1の触覚構成要素よりも大きい強度(例えば、振幅、継続時間、頻度)を有する。
いくつかの実施形態に従って、追加出力は、非触覚構成要素を含む。様々な実施形態に従って、非触覚構成要素は、オーディオ又は視覚(例えば、グラフィック、テキスト)のうち任意であることができる。いくつかの実施形態では、追加出力は、オーディオ構成要素を含むが、第1の出力は、オーディオ構成要素を含まない。例えば、オーディオ出力は、カメラアプリケーションが画像キャプチャに対してカウントダウンする時間の特定のインターバルを測定するインターバルの間に提供されるが、画像のキャプチャの動作自体は、オーディオサウンドが付随しない。
オーディオ出力を含む追加出力に対して、触覚出力は、いくつかの実施形態による対応するオーディオ出力が付随し、オーディオ部分及び触覚部分は、オーディオ出力の少なくとも一部が触覚出力の少なくとも一部と同時であるときに位置合わせされ、又はオーディオ出力は、いくつかの実施形態による触覚出力とほぼ同時に発生する。触覚波形及びオーディオ波形は、完全に位置合わせする必要はなく、デバイス100は、触覚出力及びオーディオ出力の特定のクラスに対して、触覚出力及びオーディオ出力が時間的にややずれていたとしても、同時に又は同調して起きているとユーザによって知覚されることとなる事実を考慮してもよい(例えば、オーディオ出力は、触覚出力よりもすばやく処理されるため、オーディオ出力を提供する前に触覚出力を提供することは、状況によっては、オーディオ出力及び触覚出力が同時に又は同調して起きているとしてユーザに知覚させることとなる)。付随するオーディオ部分における変化はまた、オーディオ出力を含む実施形態間で変化し得る。例えば、第1の出力に関連付けられたオーディオ構成要素の振幅、第1の出力に関連付けられたオーディオ構成要素の継続時間、第1の出力に関連付けられたオーディオ構成要素に関連付けられた1つ又は2つ以上の音質(例えば、ピッチ、音色など)のそれぞれは、特定の状況で変化し得る。
いくつかの実施形態では、同じ触覚波形は、異なるオーディオ波形が付随するとき、異なる知覚を生じる。例えば、オーディオ(着信)音が低いピッチに対して高いピッチで再生され、同じ触覚構成要素(又は通常のユーザがそれらを区別できないであろう略類似した触覚構成要素)が付随する場合、触覚構成要素の知覚は、同一の触覚であっても異なる。着信音のより高いピッチの又は甲高いバージョンは、ユーザの注意を高めて引くために第2の出力と共に使用されると考えられる。いくつかの実施形態では、第1の触覚出力は、第2の触覚出力と類似、同一、又は略同一である。
いくつかの実施形態に従って、第2の出力は、追加動作が第1の動作と異なると特定するテキスト構成要素を含む。例えば、テキスト構成要素は、補足情報を記載してもよい。例えば、送信動作及びアーカイブ動作に対応する出力は、メッセージがアーカイブ済みであることを示すテキスト情報を提供する。別の例として、決済成功メッセージに対応する出力は、安全情報が検証済みであることを示す。
いくつかの実施形態に従って、追加動作は、様々な値を有し、追加出力は、可変属性の値に基づく。例えば、カメラによって写真を撮る前の時間インターバルは、様々な実施形態に従って、5秒、10秒、15秒などであってもよい。いくつかの実施形態に従って、10秒のカメラタイマに対して、追加出力は、対応して10秒間続く。
いくつかの実施形態に従って、その後、デバイス100は、第2の動作を1230で実施する。第1及び第2の動作の実施のタイミングは、それぞれ変化し得る。いくつかの実施形態に従って、第1の動作は、第1の出力の提供と同時に実施され、追加動作は、追加出力の提供と同時に実施される。例えば、シャッタセルフタイマに対して、第1の動作に対応する第1の出力は、タイマがカウントダウンするときに提供され、追加動作に対応する追加出力は、シャッタが写真を撮影するときに提供される。
第1の動作は、追加動作及びいくつかの実施形態による追加出力の提供前に提供された第1の出力の実施前に実施することができる。例えば、メッセージ送信(例えば、電子メール)機能に対応する第1の動作に対して、第2の動作は、送信動作及びアーカイブ動作であり、送信動作は、アーカイブ部分である追加動作の前に実施される。
いくつかの実施形態に従って、第1の動作の少なくとも一部は、追加動作の一部と同時に実施され、第1の出力の少なくとも一部は、追加出力の一部と同時に提供される。
以下は、方法1200の工程の例示に役立ついくつかの例である。第1の例では、第1の動作は、カメラを用いた画像のキャプチャに対応する。様々な実施形態に従って、カメラは、デバイス100に一体化されているか、又はデバイスから離れているが、デバイスによって遠隔制御される。この例での第2の動作は、時間の特定のインターバル後の画像のキャプチャに対応する。特に、この例の方法は、カメラを用いて第1の画像をキャプチャする要求に対応する第1の入力を検出することによって開始し、第1の入力の検出に応じて、いくつかの実施形態による触覚構成要素を含む第1の出力を提供する。また、第1の入力の検出に応じて、デバイス100は、第1の画像をキャプチャする。第1の画像をキャプチャ後、デバイス100は、時間の特定のインターバル後に第2の画像をキャプチャする要求に対応する第2の入力を検出し、第2の入力の検出に応じて、いくつかの実施形態による触覚構成要素を含む第2の出力を提供する。この例では、第2の出力は、時間の特定のインターバルの経過の測定に対応する追加出力を提供することに関連した第1の出力を含み、第2の画像は、時間の特定のインターバル後にキャプチャされる。
別の例では、第1の動作は、デバイスが安全なトランザクションを認証することを有効化するためのトランザクション有効化動作に対応し、第2の動作は、デバイスが安全なトランザクションを認証することを有効化し、いくつかの実施形態による安全なトランザクションを認証することに対応する。例えば、クレジットカード情報が必要なオンライン決済コンテキストでは、有効な動作は、決済端末または販売の他の時点、又はユーザの信用証明書及びパスワードを必要とするユーザログイン要求時において、決済信用証明書を提供するためにNFCサブシステムを準備する。具体的には、この例に従って、本方法は、デバイスが安全なトランザクションを認証できるようにするためのトランザクション有効化動作を実施するための要求に対応する第1の入力を検出することによって開始し、第1の入力の検出に応じて、触覚構成要素を含む第1の出力を提供する。また、第1の入力の検出に応じて、デバイスが安全なトランザクションを認証することを有効化する。トランザクション有効化動作の実施後、安全なトランザクションを認証するための要求に対応する第2の入力を検出し、第2の入力の検出に応じて、触覚構成要素を含む第2の出力を提供する。第2の出力は、安全なトランザクション及び追加動作の認証に対応する追加出力の提供に関連する第1の出力を含む。また、第2の入力の検出に応じて、安全なトランザクションを認証する。
いくつかの実施形態に従って、第1の動作は、既存ファイル内のコンテンツを保存するための保存動作に対応し、第2の動作は、既存ファイル内のコンテンツを新規ファイルに保存するための、名前を付けて保存の動作に対応する。この例では、保存動作を実施するための要求に対応する第1の入力が検出され、第1の入力の検出に応じて、触覚構成要素を含む第1の出力が提供される。また、第1の入力の検出に応じて、保存動作は、既存ファイル内のコンテンツを保存するために実施される。保存動作の実施後、既存ファイル内のコンテンツを新規ファイルに保存するための名前を付けて保存の動作を実施するための要求に対応する第2の入力が検出され、第2の入力の検出に応じて、触覚構成要素を含む第2の出力が提供される。第2の出力は、いくつかの実施形態による新規ファイルの作成に対応する追加出力の提供と併せた第1の出力を含む。また、第2の入力の検出に応じて、名前を付けて保存の動作が実施される。
いくつかの実施形態に従って、第1の動作は、メッセージ受信箱内にあるメッセージへの返信を送信するための送信動作に対応し、第2の動作は、メッセージ受信箱内にあるメッセージへの返信を送信し、その返信をメッセージ受信箱から除くための送信動作及びアーカイブ動作に対応する。
図12における動作について説明された特定の順序は単なる例示であり、説明された順序は、動作を実施することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書に記載された動作の順序換えをする様々な方法を認識するであろう。加えて、本明細書に記載の他の方法(例えば、方法700、900、1000、1100、1300、2500、2600、3000、及び3200)に関して本明細書で記載されている他のプロセスの詳細はまた、図12に関連して上述されている方法1200に類似の方法で適用可能であることも留意されたい。例えば、方法1200を参照して上述した入力、動作、アプリケーション、及び触覚出力は、本明細書に記載された他の方法(例えば、方法700、900、1000、1100、1300、2500、2600、3000、及び3200)を参照して本明細書に記載された入力、動作、アプリケーション、及び触覚出力の特性のうち1つ又は2つ以上を、任意選択的に有する。簡潔性のために、これらの詳細は、ここでは繰り返さない。
アラート条件クラスに関連付けられた触覚出力
いくつかの実施形態に従って、検出された2つのアラート条件がアラート条件の同じクラスであるか又は異なるクラスであるかが、対応する触覚出力を提供するための根拠となる。アラート条件が、アラート条件の同じクラス内にあるか又は異なるクラス内にあるかに相関する触覚出力を提供することは、より効率的なヒューマン・マシン・インタフェースを生み出し、それによって、ユーザが動作を実施するためにかかる時間を減らし、その結果として、エネルギー消費を減らし、デバイスに電力を供給するバッテリのバッテリ寿命を増大させる。図13は、いくつかの実施形態に従って、第1及び第2のアラート条件を検出し、対応する出力を提供する方法1300の例示的な方法フロー図である。いくつかの実施形態では、図13に示した工程とは異なる工程を実施してもよいことに留意されたい。
いくつかの実施形態に従って、本方法は、第1のアラート条件の発生を1305で検出することによって開始する。第1のアラート条件は、本明細書の他の部分に記載された様々なアラート条件のうち任意であることができる。
いくつかの実施形態に従って、第1の出力は、第1のアラート条件の発生の検出に応じて、第1の触覚構成要素及び第1の非触覚構成要素を含む1310で提供される。様々な実施形態に従って、非触覚構成要素は、オーディオ又は視覚(例えば、グラフィック、テキスト)のうち任意であることができる。いくつかの実施形態に従って、オーディオ構成要素が含まれるとき、オーディオ構成要素及び触覚構成要素は、位置合わせされる。触覚波形及びオーディオ波形は、完全に位置合わせする必要はなく、デバイス100は、触覚出力及びオーディオ出力の特定のクラスに対して、触覚出力及びオーディオ出力が時間的にややずれていたとしても、同時に又は同調して起きているとユーザによって知覚されることとなる事実を考慮してもよい(例えば、オーディオ出力は、触覚出力よりもすばやく処理されるため、オーディオ出力を提供する前に触覚出力を提供することは、状況によっては、オーディオ出力及び触覚出力が同時に又は同調して起きているとしてユーザに知覚させることとなる)。いくつかの実施形態に従って、非触覚部分は、テキスト構成要素を含む。
いくつかの実施形態に従って、第1の出力の提供後、デバイス100は、第2のアラート条件の発生を1315で検出し、第2のアラート条件の発生の検出に応じて、第2の触覚構成要素及び第2の非触覚構成要素を含む第2の出力を1320で提供する。いくつかの実施形態に従って、第1のアラート条件及び第2のアラート条件が、アラート条件の同じクラス内にある異なるアラート条件のとき、第1の出力及び第2の出力は、1つ又は2つ以上の同じ構成要素を共用し、1つ又は2つ以上の異なる構成要素を有する。あるいは、第1のアラート条件及び第2のアラート条件が、アラート条件の同じクラス内にあるとき、第1及び第2の出力は、1つ又は2つ以上の共通の構成要素を有する。いくつかの実施形態に従って、第1のアラート条件及び第2のアラート条件が、アラート条件の異なるクラス内にある異なるアラート条件のとき、第1の触覚構成要素は、第2の触覚構成要素と異なり、第1の非触覚構成要素は、第2の非触覚構成要素と異なる。あるいは、第1のアラート条件及び第2のアラート条件が、アラート条件の異なるクラス内にあるとき、第1及び第2の出力は、共通の構成要素を有しない。
いくつかの実施形態に従って、アラート条件のクラスには、メッセージ、アクティビティアラート、メディア再生アラート、バーチャルアシスタントアラート、システムアラート、スケジュールリマインダ、及びインターネットブラウザ更新が挙げられる。
いくつかの実施形態に従って、第1のアラート条件及び第2のアラート条件が、同じアラート条件の別個の例に対応するとき、第1の出力は、第2の出力と同一である。コンピューティングデバイス100がタッチ感知ディスプレイを有する場合、第1の出力の第1の触覚構成要素及び第2の出力の第2の触覚構成要素は、コンピューティングデバイス上のタッチ感知ディスプレイを介して提供される。
いくつかの実施形態では、第1及び第2の非触覚構成要素は、オーディオ出力である。オーディオ出力を含む非触覚出力に対して、触覚出力は、いくつかの実施形態による対応するオーディオ出力が付随し、オーディオ部分及び触覚部分は、オーディオ出力の少なくとも一部が触覚出力の少なくとも一部と同時であるときに位置合わせされ、又はオーディオ出力は、いくつかの実施形態による触覚出力とほぼ同時に発生する。触覚波形及びオーディオ波形は、完全に位置合わせする必要はなく、デバイス100は、触覚出力及びオーディオ出力の特定のクラスに対して、触覚出力及びオーディオ出力が時間的にややずれていたとしても、同時に又は同調して起きているとユーザによって知覚されることとなる事実を考慮してもよい(例えば、オーディオ出力は、触覚出力よりもすばやく処理されるため、オーディオ出力を提供する前に触覚出力を提供することは、状況によっては、オーディオ出力及び触覚出力が同時に又は同調して起きているとしてユーザに知覚させることとなる)。付随するオーディオ部分における変化はまた、オーディオ出力を含む実施形態間で変化し得る。例えば、第1の出力に関連付けられたオーディオ構成要素の振幅、第1の出力に関連付けられたオーディオ構成要素の継続時間、第1の出力に関連付けられたオーディオ構成要素に関連付けられた1つ又は2つ以上の音質(例えば、ピッチ、音色など)のそれぞれは、特定の状況で変化し得る。
いくつかの実施形態では、同じ触覚波形は、異なるオーディオ波形が付随するとき、異なる知覚を生じる。例えば、オーディオ(着信)音が低いピッチに対して高いピッチで再生され、同じ触覚構成要素(又は通常のユーザがそれらを区別できないであろう略類似した触覚構成要素)が付随する場合、触覚構成要素の知覚は、同一の触覚であっても異なる。着信音のより高いピッチの又は甲高いバージョンは、ユーザの注意を高めて引くために第2の出力と共に使用されると考えられる。いくつかの実施形態では、第1の触覚出力は、第2の触覚出力と類似、同一、又は略同一である。
いくつかの実施形態では、第1及び第2の非触覚構成要素は、テキスト、グラフィック、又はメタデータ出力などの視覚出力である。
いくつかの実施形態に従って、第1のアラート条件及び第2のアラート条件は、アラート条件の同じクラスにあり、このクラスは、アプリケーション用のアラート条件と関連付けられている。この例では、それぞれのアプリケーションに由来する全てのアラートは、共通のクラスに分類され、クラスは、アプリケーションによって区別される。例えば、全てのバーチャルアシスタントイベントは、異なるオーディオ構成要素を伴う同じ触覚構成要素を任意選択的に有する。別の例では、着信メッセージ及び発信メッセージは、異なるオーディオを伴う同じ触覚出力を有し、同じ触覚出力は、共通のインスタントメッセージングアプリケーションと関連付けられることに任意選択的に基づく。共通の構成要素(この例では、触覚構成要素)は、アプリケーションを特定する。更に別の例では、確認イベント、キャンセルイベント、及び起動イベントを含む個人自動アシスタント(personal automated assistant)用のイベントは、任意選択的に全て、同じオーディオを有するが、触覚出力は異なる。
Figure 2023040093000007
表6は、いくつかの実施形態による、メッセージングアプリケーションに対するメッセージ受信アラート及びメッセージ送信アラートを示す。この例では、様々なモードが、アクティブなアプリケーション状態に対して列挙されている。新規メッセージ受信の場合では、5行、6行、及び7行に示すように、タップタイプの触覚が出力され、メッセージ受信の初期設定のオーディオが出力される。新規メッセージ送信の場合では、最後の行に示すように、タップタイプの触覚が出力され、メッセージ送信の初期設定のオーディオが出力される。メッセージ受信(第1のアラート条件)及びメッセージ送信(第2のアラート条件)は、クラスがアプリケーション(メッセージング)に関連付けられているアラート条件の同じクラス内にあるため、両方のアラート条件の触覚出力は同じであるが、オーディオ出力は異なる。表6は、いくつかの実施形態による条件及び対応する出力を提供するが、これは単なる例示である。アラート、状態、モード、条件、及び出力の他の組合せが様々な実施形態により使用される。
いくつかの実施形態に従って、第1のアラート条件及び第2のアラート条件は、アラート条件の同じクラスにあり、このクラスは、アプリケーションのカテゴリに関連付けられている。例えば、いくつかの実施形態に従って、アプリケーションのクラスには、メッセージングアプリケーション、ゲームアプリケーション、健康/フィットネスアプリケーション、生産性アプリケーション、又はソーシャルネットワーキングアプリケーションが挙げられる。いくつかの実施形態では、共通の又は類似の機能を有するか、又は実施するアプリケーションは、アプリケーションの共通のクラスに任意選択的に属する。アプリケーションのクラスの例には、テキストベースの通信アプリケーション(インスタントメッセージング、電子メール、ソーシャルメディア)、音声ベースの通信アプリケーション(電話、ボイスオーバーインターネット)、マルチメディアアプリケーション(写真ビューアアプリケーション、カメラアプリケーション、音楽プレーヤ、ビデオプレーヤ)、テキスト編集アプリケーション(word(登録商標)、メモ帳)、スケジュール作成アプリケーション(カレンダー、アラーム)、及びインターネットブラウザアプリケーション(chrome(登録商標)、safari(登録商標))が挙げられる。したがって、いくつかの実施形態に従って、クラスは、アプリケーションにわたる機能によって区別される。1つの例として、いくつかの実施形態に従って、電子メールメッセージ及びテキストメッセージは異なるアプリケーション(電子メール及びインスタントメッセージング)に属しているが、アプリケーションの同じクラス(両方ともテキストベースの通信アプリケーション)にあるアプリケーションと関連付けられているため、同じ触覚出力及び異なるオーディオ出力を有する。
いくつかの実施形態に従って、第1のアラート条件及び第2のアラート条件は、アラート条件の同じクラスにあり、このクラスは、機能の定義済みのクラス内の機能に対応する。例えば、アクティビティモニタリングアプリケーション内でアクティビティゴールの成果について報告するアラート(例えば、ゴールに接近、ゴールを下回る、ゴール達成、目標の10%達成、目標の50%達成など)は、アラートの同じクラス内に任意選択的に分類される。いくつかの実施形態に従って、同じスケジュール作成アプリケーション内の様々なアラーム又はリマインダは、様々な定義済みの時間インスタンスに対して設定されるか、又は様々な異なる定義済みの基準を満たすことについて報告するように設定される。
Figure 2023040093000008
表7は、いくつかの実施形態による、様々なアクティビティ関連のゴールを示す。この例では、同じアラート条件クラスに属する3つの異なるアラート条件、すなわち、固定終了タイマ、目標の50%のアクティビティ、及び目標に到達したアクティビティを示す。示されるアラート条件のクラスは、アクティビティモニタリングアプリケーション内でアクティビティゴールの成果について伝えるアラートの機能の定義済みのクラス内の機能に対応する。表中のそれぞれのイベントに対して、触覚出力は、タップタイプの出力であるが、オーディオ出力は、異なるタイプ毎に変化する(例えば、初期設定のアクティビティチャイム、オーディオなし、強いアクティビティチャイム)。表7は、いくつかの実施形態による条件及び対応する出力を提供するが、これは単なる例示である。アラート、状態、モード、条件、及び出力の他の組合せが様々な実施形態により使用される。
いくつかの実施形態に従って、第1のアラート条件及び第2のアラート条件は、2つの異なるアプリケーションと関連付けられ、第1のアラート条件及び第2のアラート条件は、アラート条件の同じクラスにあり、クラスは、2つの異なるアプリケーション内の機能の定義済みのクラス内の機能に対応する。いくつかの実施形態に従って、機能の定義済みのクラスの例には、同じクラスに分類されるアプリケーションにわたる別のユーザからの着信テキスト通信(着信電子メール、着信インスタントメッセージ、着信ソーシャルメディアメッセージ)について伝えるアラート、共通のクラスに分類される全てのアプリケーションにわたる別のユーザからの着信音声通信(電話、ボイスオーバーインターネット、電子メールアプリケーション内の音声通話)について伝えるアラート、共通のクラスに分類される全てのアプリケーションに対するアプリケーションソフトウェアアップグレードを伝えるシステムアラート、デバイスの様々な状態(Wi-Fi(登録商標)に接続済み/利用できない、GPSのオン/オフ、バッテリ寿命インジケータ、デバイスのオン/オフ)について伝えるシステムアラートが挙げられる。
Figure 2023040093000009
表8は、4つの異なるアプリケーションタイプである、カレンダー、メッセージ、ソーシャルネットワーキング、及びゲームに対する、ソフトウェアアップグレードが利用可能な様々なアラート条件を含む。これらのアラート条件はそれぞれ、異なるアプリケーションと関連付けられているが、機能の定義済みのクラス内の機能に対応するアラート条件の同じクラスにある。この場合、全てのアプリケーションに対するアプリケーションソフトウェアのアップグレードとなる。それぞれのアラート条件に対して、バズ・タップの触覚は、出力である。アラート条件の一部はまた、非触覚出力を有する。ソーシャルネットワーキング又はゲームアプリケーションの場合、触覚出力は、ポップアップタイプの通知によって挨拶を受ける。表8は、いくつかの実施形態による条件及び対応する出力を提供するが、これは単なる例示である。アラート、状態、モード、条件、及び出力の他の組合せが様々な実施形態により使用される。
いくつかの実施形態に従って、第1のアラート条件及び第2のアラート条件が、アラート条件の同じクラス内にある異なるアラート条件のとき、第1の出力の第1の触覚構成要素は、第2の出力の第2の触覚構成要素と同一(又は略同一)であり、第1の出力の第1の非触覚構成要素(例えば、オーディオ又は視覚)は、第2の出力の第2の非触覚構成要素と異なる。上記の表4、表5、及び表6の例のそれぞれは、共通の触覚構成要素及び異なる非触覚構成要素を共用するため、このカテゴリに分類される。いくつかの実施形態では、「同一の」触覚構成要素は、触覚出力生成器(場合により類似の構成要素)が(通常のユーザには知覚的に略同一であったとしても)いくらか異なる触覚出力を生成する場合であっても、触覚出力生成器に配信される同じ触覚出力命令に基づいて生成される触覚構成要素である。いくつかの実施形態では、オーディオ構成要素は属性を共有することができるが、依然異なっている。例えば、異なるピッチ又は異なる楽器を使用して演奏された同じ着信音又は楽譜である。同じ触覚出力に異なるオーディオを重ね合わせること(例えば、高いピッチ対低いピッチ、金属音対ガラス音対セラミック音で再生された同じオーディオ)は、異なる知覚を生成する。いくつかの実施形態では、異なる触覚構成要素は、通常のユーザによって知覚的に区別できる触覚出力を生成するように触覚出力生成器に配信される異なる触覚出力命令に基づいて生成される触覚構成要素である)。
いくつかの実施形態に従って、その反対の関係が、触覚対非触覚の類似性及び差異に対して、これらのそれぞれの出力において適用される。第1のアラート条件及び第2のアラート条件が、アラート条件の同じクラス内にある異なるアラート条件のとき、第1の出力の第1の非触覚構成要素は、第2の出力の第2の非触覚構成要素と同一(又は略同一)であり、第1の出力の第1の触覚構成要素は、第2の出力の第2の触覚構成要素と異なる。
いくつかの実施形態に従って、第1のアラート条件及び第2のアラート条件が同じアラート条件に対応するとき、第1の出力は、第2の出力に付随する第2の追加構成要素と異なる第1の追加構成要素が付随する。例えば、第1及び第2の着信インスタントメッセージは両方とも、着信インスタントメッセージであり、それゆえに、同じアラート条件である。この例では、第1の追加構成要素は、第1のアラート条件をトリガーした第1のイベントに特有であり、第2の追加構成要素は、第2のアラート条件をトリガーした第2のイベントに特有であり、例えば、いくつかの実施形態に従って、第1の着信インスタントメッセージの追加構成要素は、第1のインスタントメッセージ(例えば、送信者の名前、送信者の連絡先情報、メッセージの本文/内容)に特有な視覚構成要素(テキスト、メタデータ、グラフィック)を含む。同様に、第2の着信インスタントメッセージの追加構成要素は、第2のインスタントメッセージ(例えば、送信者の名前、送信者の連絡先情報、メッセージの本文/内容)に特有な視覚構成要素(テキスト、メタデータ、グラフィック)を含む。いくつかの実施形態に従って、第1の出力に付随する第1の追加構成要素は、第1のアラート(例えば、メッセージの断片又は自動補助応答のテキスト版)をトリガーした第1のイベントを記述する情報(例えば、テキスト情報)を任意選択的に提供し、第2の出力に付随する第2の追加構成要素は、第2のアラートをトリガーした第2のイベントを記述する情報(例えば、テキスト情報)を提供する。
いくつかの実施形態に従って、第2の出力を1320で提供後、デバイス100は、第3のアラート条件の発生を1325で検出し、第3のアラート条件の発生の検出に応じて、第3の触覚構成要素及び第3の非触覚構成要素を含む第3の出力を1330で提供する。第1のアラート条件、第2のアラート条件、及び第3のアラート条件が、アラート条件の同じクラス内にある異なるアラート条件のとき、第1の出力、第2の出力、及び第3の出力は、1つ又は2つ以上の同じ構成要素を任意選択的に共用し、1つ又は2つ以上の異なる構成要素を有する。第3のアラート条件が、第1のアラート条件及び第2のアラート条件と異なるアラート条件のクラス内にあるとき、第3の触覚構成要素は、第1の触覚構成要素及び第2の触覚構成要素の両方と任意選択的に異なり、第3の非触覚構成要素は、第1の非触覚構成要素及び第2の非触覚構成要素の両方と任意選択的に異なる。あるいは、いくつかの実施形態に従って、第1のアラート条件、第2のアラート条件、及び第3のアラート条件が、アラート条件の同じクラス内にある異なるアラート条件であるとき、第1の出力、第2の出力、及び第3の出力は、1つ又は2つ以上の共通の構成要素(例えば、触覚、非触覚)を有し、第3のアラート条件が、第1のアラート条件及び第2のアラート条件と異なるアラート条件のクラス内にあるとき、第3の触覚出力は、第1の出力及び第2の出力と共通の構成要素を有しない。
図13における動作について説明された特定の順序は単なる例示であり、説明された順序は、動作を実施することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書に記載された動作の順序換えをする様々な方法を認識するであろう。加えて、本明細書に記載の他の方法(例えば、方法700、900、1000、1100、1200、2500、2600、3000、及び3200)に関して本明細書に記載の他のプロセスの詳細はまた、図13に関連して上述されている方法1300に類似の方法で適用可能であることも留意されたい。例えば、方法1300を参照して上述した入力、アラート条件、アプリケーション、及び触覚出力は、本明細書に記載された他の方法(例えば、方法700、900、1000、1100、1200、2500、2600、3000、及び3200)を参照して本明細書に記載された入力、アラート条件、アプリケーション、及び触覚出力の特性のうち1つ又は2つ以上を、任意選択的に有する。簡潔性のために、これらの詳細は、ここでは繰り返さない。
図7、図9~図13を参照して上述した動作は、任意選択的に、図1A及び図1B及び図14~図19に示す構成要素により実施される。例えば、入力の受信、アラート条件の検出、状態の判定、アラート条件トリガーの判定、触覚出力及びオーディオ出力の提供、並びに動作の実施は、イベントソータ170、イベント認識部180、及びイベントハンドラ190によって任意選択的に実施される。イベントソータ170内のイベントモニタ171は、タッチ感知ディスプレイ112上の接触を検出し、イベントディスパッチャモジュール174は、イベント情報をアプリケーション136-1に配信する。アプリケーション136-1のそれぞれのイベント認識部180は、イベント情報をそれぞれのイベント定義186と比較し、タッチ感知面上の第1の位置の第1の接触がユーザインタフェース上のオブジェクトの選択などの、既定のイベント又はサブイベントに対応するかどうかを判定する。それぞれの既定のイベント又はサブイベントが検出されると、イベント認識部180は、イベント又はサブイベントの検出に関連付けられたイベントハンドラ190をアクティブ化させる。イベントハンドラ190は、アプリケーション内部状態192を更新するために、データアップデータ176またはオブジェクトアップデータ177を任意選択的に利用するか又は呼び出す。いくつかの実施形態では、イベントハンドラ190は、アプリケーションにより表示されるものを更新するためのそれぞれのGUIアップデータ178にアクセスする。同様に、当業者にとって、他の処理が図1A及び図1B及び図14~図19に示される構成要素に基づいてどのように実施されるかは明らかであろう。
上述したように、図7及び図9~図13を参照して記載した動作は、図14~図19に示す構成要素により、任意選択的に実施される。図14は、説明される様々な実施形態の原理に従って構成されたデバイス100の、例示的な機能ブロック図を示す。図14で説明される機能ブロックが、説明される様々な実施形態の原理を実施するように任意選択的に組み合わされ、又はサブブロックに分離されることが当業者には理解されよう。したがって、本明細書における説明は、本明細書で説明されている機能ブロックのあらゆる可能な組み合わせまたは分割、又は更なる定義を任意選択的に支持する。
図14に示すように、デバイス100は、アプリケーションを表示するように構成された表示ユニット1401、ユーザ接触を受信するように構成されたタッチ感知面ユニット1403、並びに表示ユニット1401及びタッチ感知面ユニット1403に連結された処理ユニット1405を含む。いくつかの実施形態では、処理ユニット1405は、検出ユニット1410、状態判定ユニット1415、触覚提供ユニット1420、関与判定ユニット1425、及び出力判定ユニット1430を含む。
処理ユニット1405は、(例えば、検出ユニット1410を用いて)コンピューティングデバイス上で実行しているアプリケーションと関連付けられたアラート条件を検出するように構成される。処理ユニット1405はまた、(例えば、状態判定ユニット1415を用いて)アラート条件の検出に応答したアラート条件と関連付けられた時点における、アプリケーションと関連付けられた状態を判定するように構成される。アラート条件と関連付けられた時点においてアプリケーションがアクティブ状態であったという判定に従って、処理ユニット1405は、(例えば、触覚提供ユニット1420を用いて)アラート条件の発生を表す第1の触覚出力を提供し、第1の触覚出力は、第1のセットの出力特性を有し、アラート条件と関連付けられた時点においてアプリケーションが非アクティブ状態であったという判定に従って、(例えば、触覚提供ユニット1420を用いて)アラート条件の発生を表す第2の触覚出力を提供し、第2の触覚出力は、第2のセットの出力特性を有し、第2の触覚出力は、第1の触覚出力と異なる。
以下の段落[0335]~[0347]は、図14に例示したデバイス100によって、個別に又は任意の組み合わせで実施されてもよい異なる実施形態を説明する。
処理ユニット1405は、アラート条件と関連付けられた時点においてアプリケーションと関連付けられた状態を、(例えば、状態判定ユニット1415を用いて)アプリケーション用のユーザインタフェースがアラート条件と関連付けられた時点においてデバイスのタッチスクリーン上に表示されていたかどうかを判定することによって判定する。
処理ユニット1405は、アラート条件と関連付けられた時点における、アプリケーションと関連付けられた状態を、(例えば、状態判定ユニット1415を用いて)アプリケーションに対するユーザ入力がアラート条件をトリガーしたかどうかを、アラート条件と異なるユーザインタラクションによって判定することによって判定する。
アプリケーションがアラート条件の時点において検出されたユーザインタラクションに基づいてアクティブ状態にあった場合、処理ユニット1405は、(例えば、関与判定ユニット1425を用いて)アラート条件の時点におけるユーザインタラクションに関連付けられたユーザ関与のレベルを判定し、(例えば、出力判定ユニットを用いて)判定された関与のレベルに基づいて第1の触覚出力に対する第1のセットの出力特性のうち1つ又は2つ以上を判定する。
アプリケーションがアクティブ状態にあったと判定する処理ユニット1405は、アラート条件と関連付けられた時点においてコンピューティングデバイス上でフォアグラウンドでアプリケーションが実行していたことを判定することを含む。アプリケーションが非アクティブ状態にあったと判定する処理ユニット1405は、アラート条件と関連付けられた時点におけるコンピューティングデバイス上でアプリケーションが実行していなかったか、又はバックグラウンドで実行していたと判定することを含む。
表示ユニット1401は、デバイス上のマルチアプリケーションウィンドウのユーザインタフェース上の1つ又は2つ以上の他のユーザインタフェースウィンドウと同時にアプリケーションに対応するそれぞれのユーザインタフェースウィンドウを表示する。処理ユニット1405は、(例えば、状態判定ユニット1415を用いて)アプリケーションに対応するそれぞれのユーザインタフェースウィンドウが、アラート条件と関連付けられた時点におけるマルチアプリケーションウィンドウのユーザインタフェースのフォアグラウンドに表示されたかどうかを判定する。
表示ユニット1401は、アラート条件と関連付けられた時点におけるデバイス上のマルチアプリケーションウィンドウのユーザインタフェース上に同時にある、1つ又は2つ以上の他のユーザインタフェースウィンドウを表示し、処理ユニット1405は、アラート条件と関連付けられた時点における、アプリケーションと関連付けられた状態を(例えば、判定ユニット1415を用いて)判定し、アプリケーションに対応するそれぞれのユーザインタフェースウィンドウが、アラート条件と関連付けられた時点におけるマルチアプリケーションウィンドウのユーザインタフェースに表示されたかどうかの判定を含む。
いくつかの実施形態では、アラート条件は、アプリケーションによって自動でトリガーされたイベント、デバイスの外部の発信元からアプリケーションによって受信された自動で開始されたイベントの通知、又はデバイスを操作するユーザ以外の人間のユーザからアプリケーションによって受信された手動で開始されたイベントの通知に対応する。
処理ユニット1405は、(例えば、出力判定ユニット1430を用いて)第1のオーディオ出力が付随する第1の触覚出力及び第2のオーディオ出力が付随する第2の触覚出力を含む出力を提供し、第1の触覚出力は、第2の触覚出力と同一であり、第1のオーディオ出力は、第2のオーディオ出力と異なる。あるいは、処理ユニット1405は、(例えば、出力判定ユニット1430を用いて)オーディオ出力が付随する第1の触覚出力及び同じオーディオ出力が付随する第2の触覚出力を含む出力を提供し、第1の触覚出力は、第2の触覚出力と異なる。
処理ユニット1405は、オーディオ出力によって出力された第2の触覚出力に付随し、第2の触覚出力の波形は、付随するオーディオ出力の波形に基づいて生成され、これを再現し、かつこれに同期させて生成される。処理ユニット1405は、(例えば、出力判定ユニット1430を用いて)オーディオ出力が付随しない第1の触覚出力及びオーディオ出力が付随する第2の触覚出力を含む出力を提供する。いくつかの実施形態では、第1の触覚出力は、第2の触覚出力と類似している。いくつかの実施形態では、第2の触覚出力は、第1の触覚出力よりも大きな強度を有する。
(例えば出力判定ユニット1430によって提供された)第1のセットの触覚出力の特性は、振幅、継続時間、規則性、繰り返し頻度、又は第1の触覚出力の触覚的特徴の選択のうち1つ又は2つ以上を含む。いくつかの実施形態では、第2の触覚出力は、第1の触覚出力と異なり、かつ第1の触覚出力よりも大きな強度を有する。
処理ユニット1405は、(例えば、状態判定ユニットを用いて)アラート条件と関連付けられた時点におけるコンピューティングデバイスの状態を、コンピューティングデバイスがアラート条件と関連付けられた時点においてアクティブであったと判定することによって、判定し、アプリケーションが非アクティブ状態であったという判定は、コンピューティングデバイスがアラート条件と関連付けられた時点において非アクティブであったという判定を含む。いくつかの実施形態に従って、第1及び第2のセットの特性は、コンピューティングデバイスのデバイスタイプに対応する。
いくつかの実施形態では、第1の時点で、アプリケーションがアクティブ状態にある間、処理ユニット1405は、(例えば、検出ユニット1410を用いて)アプリケーションと関連付けられた第1のアラート条件を検出し、第1のアプリケーションがアクティブ状態にある間に第1のアラート条件を検出することに応じて、処理ユニット1404は、(例えば、出力判定ユニット1430を用いて)第1のアラート条件を表す第1の出力を提供する。第2の時点で、第1のアプリケーションが非アクティブ状態にある間、処理ユニット1405は、第2のアラート条件を検出し、アプリケーションが非アクティブ状態にある間に第2のアラート条件を検出することに応じて、処理ユニット1405は、(例えば、出力判定ユニット1440を用いて)第2のアラート条件を表す第2の触覚出力を提供する。第2の触覚出力は、第1の触覚出力と異なる。
いくつかの実施形態では、デバイスは、(例えば、タッチ感知面ユニット1403によって提供される)タッチ感知ディスプレイを有し、第1の触覚出力及び第2の触覚出力は、(例えば、出力判定ユニット1430を用いて)コンピューティングデバイス上のタッチ感知ディスプレイを介して提供される。上述したように、図7及び図9~図13を参照して記載した動作は、図14~図19に示す構成要素により、任意選択的に実施される。図14は、説明される様々な実施形態の原理に従って構成されたデバイス100の、例示的な機能ブロック図を示す。図14で説明される機能ブロックが、説明される様々な実施形態の原理を実施するように任意選択的に組み合わされ、又はサブブロックに分離されることが当業者には理解されよう。したがって、本明細書における説明は、本明細書で説明されている機能ブロックのあらゆる可能な組み合わせまたは分割、又は更なる定義を任意選択的に支持する。
上述したように、図7及び図9~図13を参照して記載した動作は、図14~図19に示す構成要素により、任意選択的に実施される。図15は、説明される様々な実施形態の原理に従って構成されたデバイス100の、例示的な機能ブロック図を示す。図15で説明される機能ブロックが、説明される様々な実施形態の原理を実施するように任意選択的に組み合わされ、又はサブブロックに分離されることが当業者には理解されよう。したがって、本明細書における説明は、本明細書で説明されている機能ブロックのあらゆる可能な組み合わせまたは分割、又は更なる定義を任意選択的に支持する。
図15に示すように、デバイス100は、アプリケーションを表示するように構成された表示ユニット1501、ユーザ接触を受信するように構成されたタッチ感知面ユニット1503、並びに表示ユニット1501及びタッチ感知面ユニット1503に連結された処理ユニット1505を含む。いくつかの実施形態では、処理ユニット1505は、検出ユニット1510、トリガー判定ユニット1515、触覚提供ユニット1520、外部イベント判定ユニット1525、出力変形提供ユニット1530、緊急性判定ユニット1535、コンテキスト判定ユニット1540、変調ユニット1545、及び個人通信判定ユニット1550を含む。
処理ユニット1505は、(例えば、検出ユニット1510を用いて)アプリケーションと関連付けられたアラート条件の発生を検出するように構成され、アラート条件の発生の検出に応じて、(例えば、トリガー判定ユニット1515を用いて)アラート条件が手動で開始されたイベントによってトリガーされたかどうかを判定する。アラート条件が手動で開始されたイベントによってトリガーされたという判定に従って、処理ユニット1505は、(例えば、触覚提供ユニット1520を用いて)手動で開始したイベント通知に対応する第1の触覚出力を提供し、アラート条件が自動で開始されたイベントによってトリガーされたという判定に従って、処理ユニット1505は、(例えば、触覚提供ユニット1520を用いて)自動で開始したイベント通知に対応する第2の触覚出力を提供し、第2の触覚出力は、第1の触覚出力と異なる。
以下の段落[0353]~[0364]は、図15に例示したデバイス100によって、個別に又は任意の組み合わせで実施されてもよい様々な実施形態を説明する。
いくつかの実施形態に従って、処理ユニット1505は、アラート条件が手動で開始されたイベントによってトリガーされたことを、(例えば、トリガー判定ユニット1515を用いて、)アラート条件が人間のユーザによって開始されたイベントに対応するかどうかを判定することによって判定する。いくつかの実施形態では、処理ユニット1505は、アラート条件が手動で開始されたイベントによってトリガーされたことを、(例えば、トリガー判定ユニット1515を用いて、)アラート条件がコンピューティングデバイスのユーザ以外の人間のユーザによって開始されたイベントに対応するかどうかを判定することによって判定する。
いくつかの実施形態に従って、処理ユニット1505は、アラート条件が手動で開始されたイベントによってトリガーされたことを、(例えば、トリガー判定ユニット1515を用いて、)アラート条件が人間のユーザから受信した入力に対応するかどうかを判定することによって判定する。入力は、コンピューティングデバイスのユーザを特定し、入力は、コンピューティングデバイスのユーザに入力に関してアラートを送るための人間のユーザからの指示を含む。
いくつかの実施形態に従って、処理ユニット1505は、(例えば、トリガー判定ユニット1515を用いて、)アラート条件がアプリケーションによって自動でトリガーされたかどうか、又はデバイスの外部の送信元からアプリケーションによって受信された自動で開始されたイベントの通知であるかどうかを判定する。あるいは、処理ユニット1505は、アラート条件が自動で開始されたイベントによってトリガーされたことを、(例えば、トリガー判定ユニット1515を用いて、)アラート条件が所定の時点に発生するか、又は所定のトリガー条件を満たすことを伝えると判定することによって判定する。
いくつかの実施形態に従って、アラート条件が自動で開始されたイベントによってトリガーされたという判定に従って、処理ユニット1505は、(例えば、外部イベント判定ユニット1525を用いて)自動で開始されたイベントが、デバイスの外部で発生している自動で開始されたイベントに対応するかどうかを判定する。自動で開始されたイベントがデバイスの外部で発生しているイベントに対応するという判定に従って、処理ユニット1505は、(例えば、出力変形提供ユニット1530を用いて)外部で発生している自動で開始されたイベントの通知に対応する、第2の触覚出力の第1の変形を提供する。自動で開始されたイベントがデバイス内で開始されたイベントに対応するという判定に従って、処理ユニット1505は、(例えば、出力変形提供ユニット1530を用いて)内部で生成され、自動で開始されたイベントの通知に対応する、第2の触覚出力の第2の変形例を提供する。
いくつかの実施形態に従って、アラート条件が手動で開始されたイベントによってトリガーされたという判定に従って、処理ユニット1505は、(例えば、緊急性判定ユニット1535を用いて)手動で開始されたイベントに関連付けられた緊急性の程度を判定し、(例えば、変調ユニット1545を用いて)緊急性の程度に基づく第1の触覚出力の強度を変調する。いくつかの実施形態に従って、アラート条件が手動で開始されたイベントによってトリガーされたという判定に従って、いくつかの実施形態による処理ユニット1505は、(例えば、コンテキスト判定ユニット1540を用いて)手動で開始されたイベントに関連付けられた1つ又は2つ以上のコンテキストの属性を判定し、(例えば、変調ユニット1545を用いて)1つ又は2つ以上のコンテキストの属性に基づいて第1の触覚出力の強度を変調する。
いくつかの実施形態に従って、アラート条件が自動で開始されたイベントによってトリガーされたという判定に従って、処理ユニット1505は、アラート条件と関連付けられた特性を分析し、(例えば、コンテキスト判定ユニット1540を用いて)自動で開始されたイベントに関連付けられた1つ又は2つ以上のコンテキストの属性を判定し、(例えば、変調ユニット1545を用いて)1つ又は2つ以上のコンテキストの属性に基づく第2の触覚出力の強度を変調する。
いくつかの実施形態に従って、アラート条件が自動で開始されたイベントによってトリガーされたという判定に従って、処理ユニット1505は、(例えば、緊急性判定ユニット1535を用いて)自動で開始されたイベントに関連付けられた時間的に変化する緊急性の程度を判定し、(例えば、変調ユニット154を用いて)時間的に変化する緊急性の程度を示すために、第2の触覚出力の強度を、特定の時間ウィンドウにわたって変調する。
いくつかの実施形態では、第1の触覚出力は、第1のオーディオ出力が付随し、第2の触覚出力は、第2のオーディオ出力が付随し、第1の触覚出力は、第2の触覚出力に類似し、第1のオーディオ出力は、第2のオーディオ出力と異なる。いくつかの実施形態では、第1の触覚出力は、第1のオーディオ出力が付随し、第2の触覚出力は、第2のオーディオ出力が付随し、第1のオーディオ出力は、第2のオーディオ出力に類似し、第1の触覚出力は、第2の触覚出力と異なる。いくつかの実施形態では、第1の触覚出力は、第1のオーディオ出力が付随し、第2の触覚出力は、オーディオ出力が付随しない。第1の触覚出力は、任意選択的に第2の触覚出力と類似している。
いくつかの実施形態に従って、手動で開始されたイベントの通知に対応する第1の触覚出力は、自動で開始されたイベントの通知に対応する第2の触覚出力よりも強い。状況によっては、第1の触覚出力は、第1の触覚出力の振幅、第1の触覚出力の継続時間、第1の触覚出力に関連付けられた規則性、第1の触覚出力における触覚的特徴の繰り返し頻度、第1の触覚出力を構成する触覚的特徴の選択のうち1つ又は2つ以上を含む特性の第1のセットにより特徴付けられ、第2の触覚出力は、第2の触覚出力の振幅、第2の触覚出力の継続時間、第2の触覚出力に関連付けられた規則性、第2の触覚出力における触覚的特徴の繰り返し頻度、第2の触覚出力を構成する触覚的特徴の選択のうち1つ又は2つ以上を含む特性の第2のセットにより特徴付けられる。
いくつかの実施形態に従って、処理ユニット1505は、(例えば、検出ユニット1510を用いて)第1の人間の送信者からの着信電子メールメッセージに対応する第1のアラート条件を検出する。着信電子メールメッセージが手動で開始されたイベントに対応するという判定に応じて、処理ユニット1505は、(例えば、触覚提供ユニット1520を用いて)第1の触覚出力を提供する。処理ユニット1505は、(例えば、検出ユニット1510を用いて)第2の人間の送信者からの着信テキストメッセージに対応する第2のアラート条件を検出し、着信テキストメッセージが手動で開始されたイベントに対応するという判定に応じて、(例えば、触覚提供ユニット1520を用いて)第1の触覚出力を提供する。
いくつかの実施形態では、デバイスは、(例えば、タッチ感知面ユニット1503によって提供される)タッチ感知ディスプレイを有し、第1の触覚出力及び第2の触覚出力は、(例えば、触覚提供ユニット1520を用いて)コンピューティングデバイス上のタッチ感知ディスプレイを介して提供される。
いくつかの実施形態に従って、処理ユニット1505は、(例えば、検出ユニット1510を用いて)アプリケーションと関連付けられたアラート条件の発生を検出し、アラート条件の発生の検出に応じて、(例えば、個人通信判定ユニット1550を用いて)アラート条件がユーザに関連付けられた連絡先リスト内の送信者からの個人通信に対応するかどうかを判定する。ユーザに関連付けられた連絡先のリスト内の送信者からの個人通信にアラート条件が相当するという判定に従って、処理ユニット1505は、(例えば、触覚提供ユニット1520を用いて)個人アラート通知に対応する第1の触覚出力を提供し、ユーザに関連付けられた連絡先のリスト内の送信者からの個人通信にアラート条件が相当しないという判定に従って、処理ユニット1505は、(例えば、触覚提供ユニット1520を用いて)自動アラート通知に対応する第2の触覚出力を提供する。ここで、第1の触覚出力は、第2の触覚出力よりも規模が大きい。
上述したように、図7及び図9~図13を参照して記載した動作は、図14~図19に示す構成要素により、任意選択的に実施される。図16は、説明される様々な実施形態の原理に従って構成されたデバイス100の、例示的な機能ブロック図を示す。図16で説明される機能ブロックが、説明される様々な実施形態の原理を実施するように任意選択的に組み合わされ、又はサブブロックに分離されることが当業者には理解されよう。したがって、本明細書における説明は、本明細書で説明されている機能ブロックのあらゆる可能な組み合わせまたは分割、又は更なる定義を任意選択的に支持する。
図16に示すように、デバイス100は、アプリケーションを表示するように構成された表示ユニット1601、ユーザ接触を受信するように構成されたタッチ感知面ユニット1603、並びに表示ユニット1601及びタッチ感知面ユニット1603に連結された処理ユニット1605を含む。いくつかの実施形態では、処理ユニット1605は、検出ユニット1610、出力提供ユニット1615、変調条件判定ユニット1620、出力修正ユニット1625、関与測定ユニット1630、触感入力判定ユニット1635、出力終了ユニット1640、周囲条件判定ユニット1645、出力遅延ユニット1650、及びプライミング提供ユニット1655を含む。
処理ユニット1605は、(例えば、検出ユニット1610を用いて)アプリケーションに対するユーザ入力の受信に関連付けられたコンピューティングデバイス上で第1のアラート条件を検出するように構成され、第1のアラート条件の検出に応じて、(例えば、出力提供ユニット1615を用いて)第1の強度を有し、アプリケーションに対するユーザ入力に対応する第1の触覚出力を提供する。第1の触覚出力の提供後、処理ユニット1605は、(例えば、検出ユニット1610を用いて)アプリケーションでの所定のシステムイベントの受信に関連付けられた第2のアラート条件を検出し、第2のアラート条件の検出に応じて、(例えば、出力提供ユニット1615を用いて)第2の強度を有し、所定のシステムイベントに対応する第2の触覚出力を提供する。第2の強度は、第1の強度よりも大きい。
以下の段落[036]~[0386]は、図16に例示したデバイス100によって、個別に又は任意の組み合わせで実施することができる様々な実施形態を説明する。
いくつかの実施形態では、第1の触覚出力は、ユーザ入力に直接応じて、かつユーザ入力の結果として提供されるフィードバックである。いくつかの実施形態に従って、第2のアラート条件は、アプリケーションによって自動でトリガーされたイベント、アプリケーションによって受信された自動でトリガーされたイベントの通知、又はアプリケーションによって受信された手動で開始されたイベントの通知に対応する。
いくつかの実施形態に従って、処理ユニット1605は、(例えば、変調条件判定ユニット1620を用いて)入力に基づく変調条件が存在するかどうかを判定し、入力に基づく変調条件が存在するという判定に応じて、第1の触覚出力を提供する前に、処理ユニット1605は、(例えば、出力修正ユニット1625を用いて)第1の触覚出力を修正する。
いくつかの実施形態では、それぞれのアラート条件を検出後、処理ユニット1605は、それぞれのアラート条件がコンピューティングデバイス上で受信されたそれぞれのユーザ入力から生じたと判定し、(例えば、関与測定ユニット1630を用いて)検出されたユーザ入力に関連付けられたユーザ関与の程度を特定する。処理ユニット1605は、(例えば、出力修正ユニット1625を用いて)ユーザ関与の程度に基づいて第1の触覚出力の第1の信号強度を変調する。
いくつかの実施形態では、それぞれのアラート条件を検出後、処理ユニット1605は、(例えば、触感入力判定ユニット1635を用いて)それぞれのアラート条件がデバイス上での触感ユーザ入力の受信から生じたと判定し、デバイス上の触感ユーザ入力を受信する位置を特定する。処理ユニット1605は、(例えば、出力修正ユニット1625を用いて)第1の触覚出力の空間触覚エネルギープロファイルを、デバイス上の触感ユーザ入力を受信している位置の特定の半径閾値内で、第1の触覚出力の触覚エネルギーの特定の比率よりも大きく提供することによって変調する。
いくつかの実施形態では、それぞれのアラート条件の検出後、処理ユニット1605は、(例えば、触感入力判定ユニット1635を用いて)それぞれのアラート条件がデバイス上での触感ユーザ入力の受信から生じたと判定し、(例えば、出力修正ユニット1625を用いて)第1の触覚出力の空間触覚エネルギープロファイルを、デバイス上の触感ユーザ入力を受信している位置で第1の触覚出力が知覚可能であるように、第1の触覚出力の触覚エネルギーの振幅を減少させることによって、変調する。デバイス上の触感ユーザ入力を受信する位置は、時間と共に変化してもよく、空間触覚エネルギーは、触感ユーザ入力を受信した時間的に変化する位置に対応して、時間と共に変化してもよい。
いくつかの実施形態では、それぞれのアラート条件を検出後、処理ユニット1605は、(例えば、触感入力判定ユニット1635を用いて)それぞれのアラート条件が触感ユーザ入力の受信から生じたと判定し、触感ユーザ入力の時間的に変化する形態学的属性を特定する。処理ユニット1605は、(例えば、出力修正ユニット1625を用いて)触感ユーザ入力の時間的に変化する形態学的属性を模倣するために、第1の触覚出力の形態学的特性を、徐々に修正する。いくつかの実施形態に従って、時間的に変化する形態学的属性は、触感ユーザ入力とコンピューティングデバイスのタッチ感知面との間の時間依存型接触圧プロファイルを含み、修正することは、(例えば、出力修正ユニット1625を用いて)触感ユーザ入力とコンピューティングデバイスのタッチ感知面との間の時間依存型接触圧プロファイルを再現するための第1の触覚出力のエネルギープロファイルを時間と共に変調することを含む。
いくつかの実施形態では、それぞれのアラート条件を検出後、処理ユニット1605は、(例えば、触感入力判定ユニット1635を用いて)それぞれのアラート条件が持続的なユーザ入力から生じたことを判定し、この判定に応じて、(例えば、出力提供ユニット1615を用いて)持続的なユーザ入力の開始時点において第1の触覚出力を開始する。処理ユニット1605は、持続的なユーザ入力の終了を検出し、(例えば、出力終了ユニット1640を用いて)持続的なユーザ入力の終了時点において第1の触覚出力を終了する。
処理ユニット1605は、(例えば、周囲条件判定ユニット1645を用いて)周囲条件に基づく変調条件が存在するかどうかを判定し、周囲条件に基づく変調条件が存在するという判定に応じて、第2の触覚出力を提供する前に、(例えば、出力修正ユニット1625を用いて)第2の触覚出力を修正する。
いくつかの実施形態では、それぞれのアプリケーションと関連付けられたそれぞれのアラート条件を検出後、処理ユニット1605は、それぞれのアラート条件がユーザ入力の受信から生じなかったと判定し、それぞれのアラート条件がユーザ入力の受信から生じなかったという判定に応じて、処理ユニット1605は、(例えば、周囲条件判定ユニット1645を用いて)1つ又は2つ以上の周囲条件がそれぞれのアラート条件の発生時点において触覚出力に対する潜在的な干渉としてデバイスに存在するかどうかを判定する。干渉する周囲条件がデバイスに存在しないという判定に従って、処理ユニット1605は、(例えば、出力提供ユニット1615を用いて)ユーザの受容力の状態に基づくそれぞれの第2の触覚出力を提供する。1つ又は2つ以上の周囲条件が触覚出力に対する潜在的な干渉としてデバイスに対して存在するという判定に従って、処理ユニット1605は、(例えば、出力遅延ユニット1650を用いて)ユーザへのそれぞれの第2の出力の提供を遅延させる。
いくつかの実施形態では、それぞれのアプリケーションと関連付けられたそれぞれのアラート条件を検出後、処理ユニット1605は、それぞれのアラート条件がユーザ入力の受信から生じなかったと判定し、それぞれのアラート条件がユーザ入力の受信から生じなかったという判定に応じて、処理ユニット1605は、(例えば、周囲条件判定ユニット1645を用いて)1つ又は2つ以上の周囲条件がそれぞれのアラート条件の発生時点に触覚出力に対する潜在的な干渉としてデバイスに存在するかどうかを判定する。干渉する周囲条件がデバイスに対して存在しないとの判定に従って、処理ユニット1605は、(例えば、出力修正ユニット1625を用いて)ユーザに第2の触覚出力の第1の変形例を提供し、第2の触覚出力の第1の変形例は、出力特性の第1のセットを有する。1つ又は2つ以上の周囲条件が触覚出力に対する潜在的干渉としてデバイスに対して存在するという判定に従って、処理ユニット1605は、(例えば、出力修正ユニット1625を用いて)ユーザに第2の触覚出力の第2の変形例を提供し、第2の触覚出力の第2の変形例は、第2のセットの出力特性を有し、第2のセットの特性は、第1のセットの特性と異なり、第2の触覚出力の第2の変形例は、第2の触覚出力の第1の変形例よりも大きな強度を有する。
いくつかの実施形態では、それぞれのアプリケーションと関連付けられたそれぞれのアラート条件を検出後、処理ユニット1605は、それぞれのアラート条件がユーザ入力の受信から生じなかったと判定し、それぞれのアラート条件がユーザ入力の受信から生じなかったという判定に応じて、処理ユニット1605は、(例えば、プライミング提供ユニット1655を用いて)第2の触覚出力の前兆としてプライミング触覚出力を提供し、プライミング触覚出力は、デバイスを操作しているユーザの関与レベルを第2触覚出力に対して増大し、プライミング触覚出力の少なくとも一部は、第2触覚出力よりも大きく発声される。加えて、処理ユニット1605は、(例えば、出力提供ユニット1615を用いて)プライミング触覚出力の提供に続き、かつプライミング触覚出力の提供の特定の時間インターバル内の第2の触覚出力を提供する。いくつかの実施形態では、プライミング触覚出力は、時間とともに触覚構成要素の強度が次第に増加することによって特徴付けられる時間的に変化する波形形態を伴うプライミング触覚構成要素を含む。いくつかの実施形態では、プライミング触覚出力は、強調された触覚的特徴の後で触覚構成要素の強度が次第に減少することによって特徴付けられる時間的に変化する波形形態を伴うプライミング触覚構成要素を含む。
いくつかの実施形態では、第2の触覚出力に先行してプライミング触覚出力があり、第1の触覚出力は、対応する先行プライミング触覚出力なしに、受信したユーザ入力から生じる対応するアラート条件に応じて、直接提供される。いくつかの実施形態では、プライミング触覚出力の特性は、アラート条件と関連付けられた緊急性又はコンテキストに基づいて選択される。
いくつかの実施形態では、処理ユニット1605は、(例えば、検出ユニット1610を用いて)第1のアプリケーションと関連付けられたアプリケーションユーザインタフェース上に表示されたユーザインタフェース要素のユーザの選択に対応する第1のアラート条件を検出する。第1のアラート条件に応じて、処理ユニット1605は、(例えば、出力提供ユニット1615を用いて)ユーザインタフェース要素のユーザの選択を表すそれぞれの第1の触覚出力を提供し、それぞれの第1の触覚出力は、第1の強度及び第1の継続時間の第1の触覚的特徴を含む第1の触覚構成要素を含む。それぞれの第1の触覚出力を提供後、処理ユニット1605は、(例えば、検出ユニット1610を用いて)第1のアプリケーションによって受信されたアラート通知に対応する第2のアラート条件を検出し、第2のアラート条件に応じて、処理ユニット1605は、(例えば、出力提供ユニット1615を用いて)アラート通知の受信を表すそれぞれの第2の触覚出力を提供し、それぞれの第2の触覚出力は、第2の強度及び第2の継続時間の第2の触覚的特徴を含む第2の触覚構成要素を含み、それぞれの第2の触覚出力は、第2の触覚的特徴が第1の触覚的特徴よりもより発声される、第2の強度が第1の強度よりも大きい、又は第2の継続時間が第1の継続時間よりも長いことに基づいて、それぞれの第1の触覚出力と異なり、より発声される。
いくつかの実施形態では、処理ユニット1605は、(例えば、検出ユニット1610を用いて)第1のアプリケーションと関連付けられた第1のアラート条件、すなわち、それぞれのユーザ入力から生じる第1のアラート条件を検出し、(例えば、出力提供ユニット1615を用いて)第1のアラート条件を表すそれぞれの第1の触覚出力を提供する。それぞれの第1の触覚出力の提供後、処理ユニット1605は、(例えば、検出ユニット1610を用いて)第1のアプリケーションと関連付けられた第2のアラート条件、すなわち、それぞれのユーザ入力から生じない第2のアラート条件を検出し、(例えば、出力提供ユニット1615を用いて)第2のアラート条件を表すそれぞれの第2の触覚出力を提供し、それぞれの第2の触覚出力は、それぞれの第1の出力と異なり、より大きな強度を有する。
いくつかの実施形態では、第1の触覚出力は、第1の触覚出力の振幅、第1の触覚出力の継続時間、第1の触覚出力に関連付けられた規則性、第1の触覚出力における触覚的特徴の繰り返し頻度、第1の触覚出力を構成する触覚的特徴の選択のうち1つ又は2つ以上を含む特性の第1のセットを有し、第2の触覚出力は、第2の触覚出力の振幅、第2の触覚出力に関連付けられた触覚構成要素の継続時間、第2の触覚出力に関連付けられた規則性、第2の触覚出力における触覚的特徴の繰り返し頻度、第2の触覚出力を構成する触覚的特徴の選択のうち1つ又は2つ以上を含む特性の第2のセットを有する。
いくつかの実施形態では、第1の触覚出力は、第1のオーディオ出力が付随し、第2の触覚出力は、第2のオーディオ出力が付随し、第1の触覚出力は、第2の触覚出力に類似し、第1のオーディオ出力は、第2のオーディオ出力と異なる。いくつかの実施形態では、第1の触覚出力は、第1のオーディオ出力が付随し、第2の触覚出力は、第2のオーディオ出力が付随し、第1のオーディオ出力は、第2のオーディオ出力に類似し、第1の触覚出力は、第2の触覚出力と異なる。
いくつかの実施形態では、第1の触覚出力の第1の強度及び第2の触覚出力の第2の強度は、デバイス上の音量設定に反比例して更に調節される。いくつかの実施形態に従って、第2の触覚出力は、オーディオ出力が付随し、第1の触覚出力は、オーディオ出力が付随しない。
いくつかの実施形態では、コンピューティングデバイスは、(例えば、タッチ感知面ユニット1603によって)ユーザ入力を受信するためのタッチ感知ディスプレイを備え、第1の触覚出力及び第2の触覚出力は、(例えば、出力提供ユニット1615を用いて)コンピューティングデバイス上のタッチ感知ディスプレイを介して提供される。
上述したように、図7及び図9~図13を参照して記載した動作は、図14~図19に示す構成要素により、任意選択的に実施される。図17は、説明される様々な実施形態の原理に従って構成されたデバイス100の、例示的な機能ブロック図を示す。図17で説明される機能ブロックが、説明される様々な実施形態の原理を実施するように任意選択的に組み合わされ、又はサブブロックに分離されることが当業者には理解されよう。したがって、本明細書における説明は、本明細書で説明されている機能ブロックのあらゆる可能な組み合わせまたは分割、又は更なる定義を任意選択的に支持する。
図17に示すように、デバイス100は、アプリケーションを表示するように構成された表示ユニット1701、ユーザ接触を受信するように構成されたタッチ感知面ユニット1703、並びに表示ユニット1701及びタッチ感知面ユニット1703に連結された処理ユニット1705を含む。いくつかの実施形態では、処理ユニット1705は、入力受信ユニット1710、継続出力開始ユニット1715、継続出力終了ユニット1720、フィードバック提供ユニット1725、及び追加入力受信ユニット1730を含む。
処理ユニット1705は、(例えば、入力受信ユニット1710を用いて)コンピューティングデバイス上で実行しているアプリケーションによって実施されるマルチパート動作の第1の部分に対応する入力を受信するように構成され、マルチパート動作の第1の部分に対応する入力の受信に応じて、(例えば、継続出力開始ユニット1715を用いて)継続触覚出力シーケンスを開始する。継続触覚出力シーケンスの開始後、処理ユニット1705は、(例えば、入力受信ユニット1710を用いて)マルチパート動作の第2の部分に対応する入力を受信し、マルチパート動作の第2の部分に対応する入力の受信に応じて、(例えば、継続終了ユニット1720を用いて)継続触覚出力シーケンスを終了する。
以下の段落[0391]~[0406]は、図17に例示したデバイス100によって、個別に又は任意の組み合わせで実施されてもよい様々な実施形態を説明する。
いくつかの実施形態では、マルチパート動作の第1の部分に対応する入力の検出は、(例えば、タッチ感知面ユニット1703を用いて)デバイスのタッチ感知面上で検出され、マルチパート動作の第2の部分に対応する入力は、(例えば、入力受信ユニット1710を用いて)デバイスのタッチ感知面上で検出される。いくつかの実施形態に従って、触覚出力シーケンスは、(例えば、継続出力開始ユニット1715を用いて)タッチ感知面を介して提供される。
いくつかの実施形態では、マルチパート動作の第1の部分に対応する入力は、(例えば、入力受信ユニット1710を用いて)デバイスによって検出され、マルチパート動作の第2の部分に対応する入力は、第2のデバイスによって検出される。いくつかの実施形態では、マルチパート動作の第1の部分に対応する入力及びマルチパート動作の第2の部分に対応する入力は、(例えば、入力受信ユニット1710を用いて)デバイスによって検出される。
いくつかの実施形態に従って、マルチパート動作は、安全なトランザクションであり、マルチパート動作の第1の部分は、安全なトランザクションを認証するためにデバイスを保護することを含み、マルチパート動作の第2の部分は、安全なトランザクションを認証することを含む。いくつかの実施形態に従って、マルチパート動作は、安全なトランザクションであり、マルチパート動作の第1の部分は、安全なトランザクションを遂行するためにユーザ認証が必要であると判定することを含み、マルチパート動作の第2の部分は、安全なトランザクションのためにユーザ認証を受信することを含む。
いくつかの実施形態では、マルチパート動作の第1の部分は、文書の下書きを閉じることを含み、マルチパート動作の第2の部分は、文書の下書きに戻ることを含む。いくつかの実施形態では、マルチパート動作の第1の部分に対応する入力は、デバイス上で実行しているアプリケーションやりとりする第1のユーザ入力であり、マルチパート動作の第2の部分に対応する入力は、アプリケーションとやりとりする第2のユーザ入力であり、第2のユーザ入力は、第1のユーザ入力と異なる。
いくつかの実施形態に従って、マルチパート動作の第1の部分に対応する入力を検出することは、(例えば、入力受信ユニット1710を用いて)タッチ感知面上の接触を検出することを含み、マルチパート動作の第2の部分に対応する入力を検出することは、(例えば、入力受信ユニット1710を用いた)タッチ感知面上の接触の移動を検出することを含む。いくつかの実施形態では、マルチパート動作の第1の部分に対応する入力を検出することは、(例えば、入力受信ユニット1710を用いて)タッチ感知面上の接触の移動を検出することを含み、マルチパート動作の第2の部分に対応する入力を検出することは、(例えば、入力受信ユニット1710を用いて)タッチ感知面上の接触のリフトオフを検出することを含む。
いくつかの実施形態では、マルチパート動作の第1及び第2の部分に対応する入力は、単一のジェスチャを含み、マルチパート動作の第1の部分に対応する入力は、ジェスチャの初期の部分であり、マルチパート動作の第2の部分に対応する入力は、ジェスチャの後続の部分である。いくつかの実施形態に従って、ジェスチャは、(例えば、タッチ感知面ユニット1703を用いて)デバイスのディスプレイ上に表示されたユーザインタフェース内の第1の位置に対応するタッチ感知面のある部分上で開始され、第1の位置と異なるユーザインタフェース内の第2の位置に対応するタッチ感知面の第2の部分上で終了する。
いくつかの実施形態では、マルチパート動作の第1の部分に対応する入力は、それぞれのアプリケーションと関連付けられたイベントを開始し、イベントは、マルチパート動作の第2の部分に対応する入力を受信するまで持続され、マルチパート動作の第2の部分に対応する入力は、(例えば、継続出力終了ユニット1720を用いて)それぞれのアプリケーションと関連付けられたイベントを終了する。
いくつかの実施形態に従って、アプリケーションは、テキスト編集アプリケーションであり、マルチパート動作の第1の部分に対応する入力は、テキスト編集アプリケーションのテキストエントリモードを有効化する第1のユーザインタフェース要素の選択である。いくつかの実施形態に従って、マルチパート動作は、テキスト編集アプリケーションへのテキストエントリに対する1つ又は2つ以上の入力を含み、イベントは、テキストエントリに対する入力に応答したテキスト編集文書内のテキスト操作に対応する。マルチパート動作の第2の部分に対応する入力は、テキスト編集アプリケーションのテキストエントリモードを無効化するユーザインタフェース要素の選択である。
いくつかの実施形態では、マルチパート動作の第1の部分に対応する入力は、トランザクションを開始するユーザインタフェース要素の選択であり、マルチパート動作は、トランザクションを処理するために必要な情報のエントリに対する1つ又は2つ以上の入力を含む。いくつかの実施形態でのイベントは、トランザクションを処理するために必要な情報を受信する1つ又は2つ以上のデータエントリフィールドの数に対応し、マルチパート動作の第2の部分に対応する入力は、トランザクションの遂行を認証するユーザインタフェース要素の選択である。
いくつかの実施形態では、マルチパート動作の第2の部分に対応する入力は、マルチパート動作の第1の部分に対応する入力の後に行われ、イベントの継続時間に対応する時間の特定のインターバルによって、マルチパート動作の第1の部分に対応する入力からやがて分離され、継続触覚出力シーケンスは、イベントの継続時間全体にわたって提供され、イベントの発生を示す。継続触覚出力シーケンスの特性は、マルチパート動作の第1の部分に対応する入力によって開始されるイベントに基づいて任意選択的に選択される。
いくつかの実施形態では、処理ユニット1705は、(例えば、フィードバック提供ユニット1725を用いて)マルチパート動作の第1の部分に対応する入力の受信に応答した第1の触覚フィードバックを提供し、第1の触覚フィードバックは、イベントに基づいて選択され、イベントの開始を示し、第1の触覚フィードバックは、継続触覚出力シーケンスと異なる。処理ユニット1705は、(例えば、フィードバック提供ユニット1725を用いて)マルチパート動作の第2の部分に対応する入力の受信に応答した第2の触覚フィードバックを更に提供し、第2の触覚フィードバックは、継続触覚出力シーケンスと異なる。
いくつかの実施形態に従って、マルチパート動作の第1の部分に対応する入力は、アプリケーションと関連付けられた継続イベントを一時停止し、マルチパート動作の第2の部分に対応する入力は、アプリケーションと関連付けられた継続イベントを再開する。
いくつかの実施形態では、アプリケーションは、音声通信アプリケーションであり、イベントは、マルチパート動作の第1の部分に対応する入力の受信の時点において発生している進行中の音声通信である。いくつかの実施形態では、マルチパート動作の第1の部分に対応する入力は、音声通信アプリケーションの第1のユーザインタフェース要素の選択であり、この選択は、進行中の音声通信を一時停止させ、マルチパート動作の第2の部分に対応する入力は、音声通信を再開させる第2のユーザインタフェース要素の選択である。
いくつかの実施形態では、マルチパート動作の第1の部分に応答した継続触覚出力シーケンスの開始後、かつマルチパート動作の第2の部分に対応する入力の受信前に、処理ユニット1705は、(例えば、追加入力受信ユニット1730を用いて)マルチパート動作の第2の部分に対応する入力と異なる1つ又は2つ以上の追加のユーザ入力を受信する。処理ユニット1705は、(例えば、継続出力開始ユニット1715を用いて)追加のユーザ入力とは無関係に継続触覚出力の提供を、マルチパート動作の第2の部分に対応する入力の受信まで継続する。いくつかの実施形態では、継続触覚出力シーケンスの強度は、マルチパート動作に対応する後続の入力が受信されるまで、時間とともに増大する。
いくつかの実施形態に従って、(例えば、入力受信ユニット1710を用いた)マルチパート動作の第1の部分に対応する入力の検出に応じて、処理ユニット1705は、(例えば、継続出力開始ユニット1715を用いて)継続触覚出力シーケンスに付随する継続オーディオ出力シーケンスを開始し、(例えば、入力受信ユニット1710を用いた)マルチパート動作の第2の部分に対応する入力の検出に応じて、(例えば、継続出力終了ユニット1720を用いて)継続オーディオ出力シーケンスを終了する。
いくつかの実施形態では、触覚出力シーケンスの時間的に変化する触覚エネルギープロファイルは、オーディオ出力シーケンスの時間的に変化する音響エネルギープロファイルを模倣する。状況によっては、マルチパート動作の第1の部分に対応する入力が継続するイベントを一時中断しないが、それぞれのアプリケーションと関連付けられたイベントを開始するという判定に応じて、処理ユニット1705は、(例えば、継続出力開始ユニット1715を用いて)付随するオーディオ出力シーケンスを持たない触覚出力シーケンスを提供し、マルチパート動作の第1の部分に対応する入力がそれぞれのアプリケーションと関連付けられた継続するイベントを一時中断するという判定に応じて、処理ユニット1705は、(例えば、継続出力開始ユニット1715を用いて)継続触覚出力シーケンスが付随する継続オーディオ出力シーケンスを提供する。
上述したように、図7及び図9~図13を参照して記載した動作は、図14~図19に示す構成要素により、任意選択的に実施される。図18は、説明される様々な実施形態の原理に従って構成されたデバイス100の、例示的な機能ブロック図を示す。図18で説明される機能ブロックが、説明される様々な実施形態の原理を実施するように任意選択的に組み合わされ、又はサブブロックに分離されることが当業者には理解されよう。したがって、本明細書における説明は、本明細書で説明されている機能ブロックのあらゆる可能な組み合わせまたは分割、又は更なる定義を任意選択的に支持する。
図18に示すように、デバイス100は、アプリケーションを表示するように構成された表示ユニット1801、ユーザ接触を受信するように構成されたタッチ感知面ユニット1803、並びに表示ユニット1801及びタッチ感知面ユニット1803に連結された処理ユニット1805を含む。いくつかの実施形態では、処理ユニット1805は、入力検出ユニット1810、出力提供ユニット1815、動作実施ユニット1820、画像キャプチャユニット1825、安全トランザクション認証ユニット1830、及び保存動作実施ユニット1835を含む。
処理ユニット1805は、(例えば、入力検出ユニット1810を用いて)第1の動作を実施する要求に対応する第1の入力を検出するように構成され、第1の入力の検出に応じて、(例えば、出力提供ユニット1815を用いて)触覚構成要素を含む第1の触覚出力を提供するように構成されている。また、第1の入力の検出に応じて、処理ユニット1805は、(例えば、動作実施ユニット1820を用いて)第1の動作を実施するように構成されている。第1の動作の実施後、処理ユニット1805は、(例えば、入力検出ユニット1810を用いて)第1の動作及び追加動作を含む第2の動作を実施する要求に対応する第2の入力を検出するように構成され、第2の入力の検出に応じて、(例えば、出力提供ユニット1815を用いて)触覚構成要素を含む第2の出力を提供し、第2の出力は、追加動作に対応する追加出力の提供と併せた第1の出力を含む。また、第2の入力の検出に応じて、処理ユニット1805は、(例えば、動作実施ユニット1820を用いて)第2の動作を実施するように構成される。
以下の段落[0411]~[0420]は、図18に例示したデバイス100によって、個別に又は任意の組み合わせで実施することができる様々な実施形態を説明する。
いくつかの実施形態では、第2の入力の検出に応じて、処理ユニット1805は、(例えば、動作実施ユニット1820及び出力提供ユニット1815を用いて)第1の動作を実施し、第1の出力を同時に提供し、追加動作を実施し、追加出力を同時に提供する。
いくつかの実施形態では、第2の入力の検出に応じて、処理ユニット1805は、(例えば、動作実施ユニット1820を用いて)追加動作を実施する前に第1の動作を実施し、(例えば、出力提供ユニット1815を用いて)追加出力を提供する前に第1の出力を提供する。いくつかの実施形態では、第2の入力の検出に応じて、処理ユニット1805は、(例えば、動作実施ユニット1820を用いて)追加動作を実施した後に第1の動作を実施し、(例えば、出力提供ユニット1815を用いて)追加出力を提供した後に第1の出力を提供する。
いくつかの実施形態では、第2の入力の検出に応じて、処理ユニット1805は、(例えば、動作実施ユニット1820を用いて)追加動作の一部と同時に第1の動作の少なくとも一部を実施し、(例えば、出力提供ユニット1815を用いて)追加出力の一部と同時に第1の出力の少なくとも一部を提供する。
いくつかの実施形態では、第1の動作は、カメラを用いる画像のキャプチャに相当し、第2の動作は、時間の特定のインターバル後の画像のキャプチャに対応する。いくつかの実施形態では、第1の動作は、デバイスが安全なトランザクションを認証することを有効化するためのトランザクション有効化動作に対応し、第2の動作は、デバイスが安全なトランザクションを認証することを有効化し、安全なトランザクションを認証することに対応する。
いくつかの実施形態に従って、第1の動作は、既存ファイル内のコンテンツを保存するための保存動作に対応し、第2の動作は、既存ファイル内のコンテンツを新規ファイルに保存するための、名前を付けて保存する動作に対応する。いくつかの実施形態に従って、第1の動作は、メッセージ受信箱内にあるメッセージへの返信を送信するための送信動作に対応し、第2の動作は、メッセージ受信箱内にあるメッセージへの返信を送信し、その返信をメッセージ受信箱から除くための送信動作及びアーカイブ動作に対応する。いくつかの実施形態では、追加動作は、様々な値を有し、追加出力は、可変属性の値に基づく。
いくつかの実施形態では、第2の出力に対応する触覚構成要素は、第1の出力に対応する第1の触覚構成要素及び追加出力に対応する第2の触覚構成要素を含み、第2の触覚出力構成要素は、第1の触覚構成要素と異なる。状況によっては、追加出力は、非触覚構成要素を含む。いくつかの実施形態では、第2の出力は、追加動作が第1の動作と異なるとして特定するテキスト構成要素を含む。また、場合によっては、追加出力は、オーディオ構成要素を含むが、第1の出力は、オーディオ構成要素を含まない。
いくつかの実施形態に従って、コンピューティングデバイスは、タッチ感知ディスプレイを備え、第1及び第2の入力は、(例えば、タッチ感知面ユニット1803を用いて)タッチ感知ディスプレイを介して受信される。いくつかの実施形態では、第1の出力の触覚構成要素及び第2の出力の触覚構成要素は、(例えば、出力提供ユニット1815を用いて)タッチ感知ディスプレイを介して提供される。
いくつかの実施形態では、処理ユニット1805は、(例えば、入力検出ユニット1810を用いて)カメラを用いて第1の画像をキャプチャする要求に対応する第1の入力を検出し、第1の入力の検出に応じて、処理ユニット1805は、(例えば、出力提供ユニット1815を用いて)触覚構成要素を含む第1の出力を提供する。また、第1の入力の検出に応じて、処理ユニット1805は、(例えば、画像キャプチャユニット1825を用いて)第1の画像をキャプチャし、第1の画像のキャプチャ後、(例えば、入力検出ユニット1810を用いて)時間の特定のインターバル後に第2の画像をキャプチャする要求に対応する第2の入力を検出する。第2の入力の検出に応じて、処理ユニット1805は、(例えば、出力提供ユニット1815を用いて)触覚構成要素を含む第2の出力を提供し、第2の出力は、時間の特定のインターバルの経過の測定に対応する追加出力を提供することと併せた第1の出力を含み、処理ユニット1805は、(例えば、画像キャプチャユニット1825を用いて)は、時間の特定のインターバル後に第2の画像をキャプチャする。
いくつかの実施形態では、処理ユニット1805は、(例えば、入力検出ユニット1810を用いて)デバイスが安全なトランザクションを認証できるようにするためのトランザクション有効化動作を実施する要求に対応する第1の入力を検出し、第1の入力の検出に応じて、(例えば、出力提供ユニット1815を用いて)触覚構成要素を含む第1の出力を提供する。また、第1の入力の検出に応じて、処理ユニット1805は、(例えば、安全トランザクション認証ユニット1830を用いて)デバイスが安全なトランザクションを認証できるようにする。トランザクション有効化動作の実施後、処理ユニット1805は、(例えば、入力検出ユニット1810を用いて)安全なトランザクションを認証するための要求に対応する第2の入力を検出し、第2の入力の検出に応じて、(例えば、出力提供ユニット1815を用いて)触覚構成要素を含む第2の出力を提供し、第2の出力は、安全なトランザクションの認証に対応する追加出力の提供と共に第1の出力を含む。また、第2の入力の検出に応じて、処理ユニット1805は、(例えば、安全トランザクション認証ユニット1830を用いて)安全なトランザクションを認証する。
いくつかの実施形態では、処理ユニット1805は、(例えば、入力検出ユニット1810を用いて)保存動作を実施する要求に対応する第1の入力を検出し、第1の入力の検出に応じて、(例えば、出力提供ユニット1815を用いて)触覚構成要素を含む第1の出力を提供する。また、第1の入力の検出に応じて、処理ユニット1805は、(例えば、保存動作実施ユニット1835を用いて)既存ファイル内のコンテンツを保存するための保存動作を実施し、保存動作の実施後、処理ユニット1805は、(例えば、入力検出ユニット1810を用いて)既存ファイル内のコンテンツを新規ファイルに保存するための名前を付けて保存の動作を実施する要求に対応する第2の入力を検出し、第2の入力の検出に応じて、(例えば、出力提供ユニット1815を用いて)触覚構成要素を含む第2の出力を提供する。第2の出力は、新規ファイルの作成に対応する追加出力の提供と共に第1の出力を含む。また、第2の入力の検出に応じて、処理ユニット1805は、(例えば、保存動作実施ユニット1835を用いて)動作として保存を実施する。
上述したように、図7及び図9~図13を参照して記載した動作は、図14~図19に示す構成要素により、任意選択的に実施される。図19は、説明される様々な実施形態の原理に従って構成されたデバイス100の、例示的な機能ブロック図を示す。図19で説明される機能ブロックが、説明される様々な実施形態の原理を実施するように任意選択的に組み合わされ、又はサブブロックに分離されることが当業者には理解されよう。したがって、本明細書における説明は、本明細書で説明されている機能ブロックのあらゆる可能な組み合わせまたは分割、又は更なる定義を任意選択的に支持する。
図19に示すように、デバイス100は、アプリケーションを表示するように構成された表示ユニット1901、ユーザ接触を受信するように構成されたタッチ感知面ユニット1903、並びに表示ユニット1901及びタッチ感知面ユニット1903に連結された処理ユニット1905を含む。いくつかの実施形態では、処理ユニット1905は、アラート条件検出ユニット1910及び出力提供ユニット1915を含む。
処理ユニット1905は、(例えば、アラート条件検出ユニット1910を用いて)第1のアラート条件の発生を検出するように構成され、第1のアラート条件の発生の検出に応じて、(例えば、出力提供ユニット1915を用いて)第1の触覚構成要素及び第1の非触覚構成要素を含む第1の出力を提供する。第1の出力の提供後、処理ユニット1905は、(例えば、アラート条件検出ユニット1910を用いて)第2のアラート条件の発生を検出するように構成され、第2のアラート条件の発生の検出に応じて、(例えば、出力提供ユニット1915を用いて)第2の触覚構成要素及び第2の非触覚構成要素を含む第2の出力を提供する。第1のアラート条件及び第2のアラート条件がアラート条件の同じクラス内にある異なるアラート条件である場合、第1の出力及び第2の出力は、1つ又は2つ以上の同じ構成要素を共用し、1つ又は2つ以上の異なる構成要素を有し、第1のアラート条件及び第2のアラート条件がアラート条件の異なるクラス内にある異なるアラート条件である場合、第1の触覚構成要素は、第2の触覚構成要素と異なり、第1の非接触構成要素は、第2の非接触構成要素と異なる。
以下の段落[0425]~[0431]は、図19に例示したデバイス100によって、個別に又は任意の組み合わせで実施することができる様々な実施形態を説明する。
いくつかの実施形態では、第1のアラート条件及び第2のアラート条件は、アラート条件の同じクラスにあり、このクラスは、アプリケーション用のアラート条件と関連付けられている。いくつかの実施形態では、第1のアラート条件及び第2のアラート条件は、アラート条件の同じクラスにあり、このクラスは、アプリケーションのカテゴリに関連付けられている。いくつかの実施形態では、第1のアラート条件及び第2のアラート条件は、2つの異なるアプリケーションと関連付けられ、第1のアラート条件及び第2のアラート条件は、アラート条件の同じクラスにあり、クラスは、2つの異なるアプリケーション内の機能の定義済みのクラス内の機能に対応する。いくつかの実施形態に従って、第1のアラート条件及び第2のアラート条件は、共通のアプリケーションと関連付けられ、第1のアラート条件及び第2のアラート条件は、アラート条件の同じクラスにあり、クラスは、機能の定義済みのクラス内の機能に対応する。
いくつかの実施形態では、アラート条件のクラスには、メッセージ、アクティビティアラート、メディア再生アラート、バーチャルアシスタントアラート、システムアラート、スケジューリングリマインダ、及びインターネットブラウザ更新が挙げられる。いくつかの実施形態では、第1のアラート条件及び第2のアラート条件は、同じアラート条件の別個の例に相当し、第1の出力は、第2の出力と同一である。いくつかの実施形態に従って、第1及び第2の非触覚構成要素は、オーディオ出力である。いくつかの実施形態に従って、第1及び第2の非触覚構成要素は、視覚出力である。
いくつかの実施形態では、第1のアラート条件及び第2のアラート条件が、アラート条件の同じクラス内にある異なるアラート条件のとき、第1の出力の第1の触覚構成要素は、第2の出力の第2の触覚構成要素と同一であり、第1の出力の第1の非触覚構成要素は、第2の出力の第2の非触覚構成要素と異なる。いくつかの実施形態では、第1のアラート条件及び第2のアラート条件が、アラート条件の同じクラス内にある異なるアラート条件のとき、第1の出力の第1の非構成要素は、第2の出力の第2の非触覚構成要素と同一であり、第1の出力の第1の触覚構成要素は、第2の出力の第2の触覚構成要素と異なる。
いくつかの実施形態に従って、第1のアラート条件及び第2のアラート条件は、同じアラート条件に相当し、第1の出力は、第2の出力に付随する第2の追加構成要素と異なる第1の追加構成要素が付随する。
いくつかの実施形態では、第1の出力に付随する第1の追加構成要素は、第1のアラートをトリガーした第1のイベントを記述している情報を提供し、第2の出力に付随する第2の追加構成要素は、第2のアラートをトリガーした第2のイベントを記述している情報を提供する。
いくつかの実施形態では、第2の出力の提供後、処理ユニット1905は、(例えば、アラート条件検出ユニット1910を用いて)第3のアラート条件の発生を検出し、第3のアラート条件の発生の検出に応じて、(例えば、出力提供ユニット1915を用いて)第3の触覚構成要素及び第3の非触覚構成要素を含む第3の出力を提供し、第1のアラート条件、第2のアラート条件、及び第3のアラート条件が、アラート条件の同じクラスの異なるアラート条件であるとき、第1の出力、第2の出力、及び第3の出力は、1つ又は2つ以上の同じ構成要素を共用し、1つ又は2つ以上の異なる構成要素を有し、第3のアラート条件が、第1のアラート条件及び第2のアラート条件と異なるアラート条件のクラス内にあるとき、第3の触覚構成要素は、第1の触覚構成要素及び第2の触覚構成要素の両方と異なり、第3の非触覚構成要素は、第1の非触覚構成要素及び第2の非触覚構成要素の両方と異なる。
いくつかの実施形態では、コンピューティングデバイスは、(例えば、タッチ感知面ユニットを伴う)タッチ感知ディスプレイを有し、第1の触覚出力の第1の触覚構成要素及び第2の触覚出力の第2の触覚構成要素は、(例えば、出力提供ユニット1915を用いて)コンピューティングデバイス上のタッチ感知ディスプレイを介して提供される。
ハードウェアの仕様
特定の実施形態では、デバイス100は、単純化した模式形態で示される、音響エネルギーを送受信するための1つ又は2つ以上の音響モジュール2006を備えることができる。音響モジュール2006は、非限定例として、電子デバイスのスピーカ又はマイクロフォンであってもよい。
図20に示すように、デバイスハウジングは、音響モジュール2006に連結された第1の音響ポート2020を含む。いくつかの例では、音響モジュール2006は、デバイス100のためのマイクロフォン又はスピーカ要素のいずれか一方として機能するように構成される。しかし、以下の説明の目的のために、音響モジュール2006は、スピーカ要素又はモジュールとして説明される。音響ポート2020は、音響モジュール2006からユーザの耳への可聴信号の送信を容易にするオリフィス2031、2032を含む。この例では、オリフィスは、ハウジング101を貫いて延在し、音響モジュールの内部構成要素を外部環境と音響的に接続する。他の例では、単一の音響ポートが、複数のオリフィス又は単一のオリフィスを含んでもよい。いくつかの実施形態では、音響ポート2020はまた、液体又はその他の異物の進入を抑制するように構成されたハウジング構造2021(「天蓋(umbrella)」)、スクリーンメッシュ2015、又はその他の保護要素を含んでもよい。
天蓋構造2021は、水又は流体2001が音響モジュール2006に直接激突することを概ね阻止する。1つの例において、音響ポート2001は、モジュールの音響チャンバ(例えば、天蓋2021とメッシュ2015との間の、オリフィス2031、2032を含む空間)に対してずらされた1つ以上のオリフィス又は開口部2031、2032を含む。天蓋構造は、ケース又はハウジング101の外面になるように形成されてもよい。例えば、天蓋構造2021は、音響チャンバに対してずらされた2つ以上のオリフィス又は開口部2031、2032の間に配置された材料から形成されてもよい。
更に、特定の実施形態は、音響チャンバを、水がチャンバ内又はオリフィスの他の部分内に溜まる可能性を低減する形状であってもよい。スクリーン2015は、音響空洞2011を外部環境から分離することができ、外部環境から音響空洞2011内への液体又はその他の異物の進入を妨げることができる。例えば、(複数の)オリフィス2031、2032の側壁は、オリフィス内又はチャンバ内の水の表面張力を低減するために、スクリーン2015の略表面まで延在してもよい。同様に、オリフィスの外側は、オリフィスに隣接する液体の表面張力を低減し、かくして液体の除去を促進するために、面取りされていてもよい。
図20に示した本例では、音響モジュール2006は、スピーカモジュールである。図20に示すように、スピーカ音響モジュールは、振動板2010、ボイスコイル2009、中心磁石2008、及び側方磁石/コイル2007を含む、音を生成し、送信するための様々な構成要素を含んでもよい。典型的な実施では、振動板2010は、ボイスコイル2009内の刺激信号に応じて音波又は音響信号を生成するように構成される。すなわち、ボイスコイル2009内の変調された刺激信号は、振動板2010の運動を生じさせる。振動板2010の運動は、音波を作り出し、音波は、音響モジュール2006の音響空洞2011を通って伝搬し、最終的にポート2020から外部環境へ出る。場合によっては、音響空洞106は、振動板2010の運動によって生成された音波を増幅し、かつ/又は減衰させるように構成された形状及びサイズを有する音響共振器として機能する。
特定の実施形態では、音響モジュール2006はまた、端壁2013及び基部2014などの、構造支持要素を含む。これらの要素は、スピーカ要素のための物理的支持を提供することができる。様々なヨーク、コネクタなどもまた、このような支持を提供することができる。特定の実施形態は、デバイスの内部を環境に対して密閉するためのガスケット2016を含んでもよい。本明細書において挙げられている構造は一例として意図されており、限定を意図されていないことを理解されたい。例えば、代替実施形態では、音響空洞は、追加の構成要素から形成されてもよいか、又は単一の構成要素から形成されてもよい。
図20に示された音響モジュール2006は、スピーカ音響モジュールの一種の一例として提供されている。いくつかの実施形態は、異なる種類のスピーカ、マイクロフォンなどを用いてもよい。更に、スピーカとの関連で説明されているが、上述のことはマイクロフォンに同等に適用可能であり、多くの実施形態は、マイクロフォンを同様に組み込んでもよい。
本明細書に記載された実施形態は、タッチの位置を検出するための1つ又は2つ以上のセンサを備えてもよい。特に、タッチセンサは、タッチ感知面を形成するためにウェアラブル電子デバイスのディスプレイに対して配置することができる。タッチの位置を判定するために使用することができる個別のタッチセンサに関して以下に説明される。
一実施形態では、デバイスは、自己静電容量式ピクセル又は電極のアレイから形成することができる自己静電容量式タッチセンサを備えることができる。図21Aは、自己静電容量式タッチピクセル電極に対応するタッチセンサ回路及びセンシング回路を示す。タッチセンサ回路2109は、タッチピクセル電極に関連付けられたアース端子に対する固有自己静電容量を伴うタッチピクセル電極2102を有することができ、また、指2112などの物体がタッチピクセル電極2102に近接しているか、又はタッチしているときに形成することができるアース端子に対する追加の自己静電容量を有することができる。タッチピクセル電極2102のアースに対する全自己静電容量は、容量2104として示すことができる。タッチピクセル電極2102は、センシング回路2114に連結することができる。センシング回路2114は、オペアンプ2108、フィードバック抵抗器2116、フィードバックコンデンサ2110、及び入力電源2106を含むことができるが、他の構成も採用することができる。例えば、フィードバック抵抗器2116は、スイッチコンデンサ抵抗器と置き換えることができる。タッチピクセル電極2102は、オペアンプ2108の反転入力に連結することができる。AC電源2106は、オペアンプ2108の非反転入力に連結することができる。タッチセンサ回路2109は、指2112がタッチセンサパネルにタッチするか、又は近接するかのいずれか一方によって引き起こされる、タッチピクセル電極2102の全自己静電容量2104の変化を感知するように構成することができる。出力2120は、近接イベントまたはタッチイベントの存在を判定するためにプロセッサによって使用することができるか、又は出力は、タッチイベントまたは近接イベントの存在を判定するためにディスクリート・ロジックネットワークに入力することができる。
図21Bは、例示的な自己静電容量式タッチセンサ2130を示す。タッチセンサ2130は、表面に配置され、タッチコントローラ2106内の感知チャネルと連結された複数のタッチピクセル電極2102を含むことができ、駆動/感知インタフェース2125を介して感知チャネルからの刺激信号によって駆動することができ、駆動/感知インタフェース2125を介して同様に感知チャネルによって感知することができる。タッチコントローラ2106が、それぞれのタッチピクセル電極2102で検出されたタッチの量を判定した後、タッチが発生したタッチスクリーンパネル内のタッチピクセルのパターンは、タッチの「画像」(例えば、タッチスクリーンにタッチするか、又はごく接近する物体のパターン)として考えることができる。図21Bでのタッチピクセル電極2102の配置は、一例として提供されているが、タッチピクセル電極の配置及び/又は幾何学形状は、実施形態に応じて変化してもよい。
特定の実施形態は、異なるタッチセンシング機構を採用してもよい。例えば、特定の実施形態は、タッチの検出のために相互容量センサアレイを使用してもよい。いくつかの実施形態は、抵抗膜式タッチセンサ、光学式タッチセンサ、又は本明細書で論じられた任意のタッチセンシング技術の任意の組み合わせを使用してもよい。したがって、自己静電容量式タッチセンシングは、いくらか詳細に記載されているが、タッチセンシングなどに関する本明細書における参考文献は、任意の所与の実施形態で使用されるタッチセンサの特定の種類とは無関係に、タッチの検出を対象に含むことを意図していると理解及び認識されたい。
特定の実施形態では、電子デバイスは、触覚フィードバックをユーザに提供するための1つ又は2つ以上の触覚モジュールを備えてもよい。本明細書において説明されている諸実施形態は、知覚可能な触覚フィードバックを提供するために好適な1つ又は2つ以上の触覚アクチュエータに関するか、又はその形態をとってもよい。このようなアクチュエータは、電磁コイル、永久磁石又はその他の磁界源を含んでもよい。コイルが励磁されると、磁界が、塊体にローレンツ力を及ぼすことによって、触覚アクチュエータの塊体における運動を誘導し得る。コイルを流れる電流方向は、塊体の運動方向を決定し、その一方で、磁界の強度は、塊体の速度及びそれゆえ触覚出力の大きさを決定する。
概して、電子デバイスの非常にコンパクトなフォームファクタを所与として、いくつかの実施形態において実装される触覚アクチュエータは、結果として生じる機械的エネルギーを最大化するか、又は向上させるように構成されてもよい。
一実施形態では、図22A及び図22Bに示すように、触覚アクチュエータ2450は、塊体が静止状態になっているときにコイル2200内に少なくとも部分的に配置されている塊体を有してもよい。この塊体は、フレーム2260内に付着させた磁石アレイとして実装される反対の極性の2つの磁石2211、2212を含んでもよい。フレーム2260は、塊体に余分の重量を提供することができ、それゆえ、より強い触覚出力が生成される場合がある。中心ブロック2270は、任意選択的であるが、磁石を分離してもよい。シャフト2250は、塊体を貫いて延在してもよく、それにより、塊体は、シャフト上を自由に摺動することができる。
(磁石2211、2212、及び中心ブロック2270から形成される)磁石アレイは、コイルに電流が流れているとき、コイル2200の磁界と相互作用する放射状磁界(図22Bを参照のこと)を生成することができる。磁界同士の相互作用の結果生じたローレンツ力によって、塊体は、シャフト2250に沿って第1の方向に運動する。コイル2200内の電流の流れを反転させると、ローレンツ力は、反転する。その結果、磁石2211、2212上の磁界又は磁力はまた、反転され、塊体は、第2の方向に運動し得る。したがって、塊体は、コイルを通る電流の方向に依存して、シャフトに沿って双方向に運動し得る。コイル2200内に交流電流を流すことによって、中心磁石アレイは、シャフトに沿って後方及び前方へ運動することができる。この運動は、アクチュエータのハウジング2220における運動を誘導することができ、それが今度は電子デバイスのハウジングにおける運動を誘導することができる。
中心磁石アレイがシャフト2250へ引き付けられ、これが両者の間の摩擦を増大させ、それにより、中心磁石アレイ及びフレーム2260を運動させるために必要な力を増大させ得るであろうことを阻止するために、シャフトは、タングステン、チタン、ステンレス鋼などの非フェライト系材料から形成することができ、塊体は、軸受上でシャフトに沿って摺動することができる。
アクチュエータはまた、塊体に復元力を提供する構造を有してもよい。例えば、ばね2210は、シャフトの両端部に配置されてもよい。塊体がばねを押し込むにつれて、ばねは、収縮し、運動エネルギーを蓄積する。この運動エネルギーは、解放され、塊体をシャフト2250に沿って戻し、それにより、塊体を最初の出発位置へ、又はその近くへ送ることができる。(複数の)ばね内の運動エネルギーは、コイルと連携して磁石をかかる様式で運動させることができる。
本明細書においては、線形アクチュエータが説明されているが、異なる実施形態では、他の種類のアクチュエータが用いられてもよいことを理解されたい。例えば、いくつかの実施形態は、回転型アクチュエータ、圧電アクチュエータ、又は任意の他の好適な線形または非線形アクチュエータを用いてもよい。同様に、特定の実施形態は、協調して作動する複数のアクチュエータを用いてもよい。
本明細書において説明されている諸実施形態は、好適な電子デバイスの形態をとるか、それに組み込まれるか、又はそれと共に動作してもよい。かかるデバイスの一例は、図23Aに示されており、ウェアラブル機構の形態をとる。図示のように、この機構は、ユーザの手首に装着され、バンドによって手首に固定することができる。この機構は、以下の多様な機能を有することができるが、これらに限定されない。時間を刻むこと、ユーザの生理学的信号をモニタし、これらの信号に基づく健康関連情報を提供すること、異なる機能性を有する異なる種類のデバイスであり得る他の電子デバイスと(有線又は無線方式で)通信すること、ユーザに、オーディオ、触覚、視覚、及び/又は他の感覚的出力を含んでもよいアラートを提供すること(そのアラートのいずれか又は全てを互いに同期させてもよい)、ディスプレイ上にデータを視覚的に表現すること、デバイスの動作を開始、制御、又は修正するために使用することができる1つ又は2つ以上のセンサからデータを収集すること、デバイスの表面上でのタッチの位置及び/又はデバイス上に付与された力の量を決定し、そのいずれか一方又は両方を入力として使用すること、1つ又は2つ以上の機能を制御するために音声入力を受け取ること、1つ又は2つ以上の機能を制御するために触感入力を受け取ること、など。
好適な電子デバイスの代替実施形態は、電話、タブレットコンピューティングデバイス、ポータブルメディアプレーヤ、又は図4Aに示すような他のポータブル多機能デバイス100を含む。更に他の好適な電子デバイスは、ラップトップ/ノートブックコンピュータ、パーソナルデジタルアシスタント、タッチスクリーン、入力感知パッド又は面などを含んでもよい。
図24は、ウェアラブル電子デバイスの例示的な模式図を示す。図24に示すように、デバイス100は、メモリ2410であって、それに記憶された命令を有するメモリ2410にアクセスするように構成された1つ又は2つ以上の処理ユニット2405を含む。命令又はコンピュータプログラムは、デバイス100に関して説明される動作又は機能のうち1つ又は2つ以上を実行するように構成されてもよい。例えば、命令は、デバイスの様々な構成要素の動作を制御又は調整するように構成されてもよい。かかる構成要素は、限定するものではないが、ディスプレイ2415、1つ以上の入力/出力構成要素2420、1つ以上の通信チャネル2425、1つ以上のセンサ2430、2435、スピーカ2440、マイクロフォン2445、及び/又は1つ以上の触覚フィードバックデバイス2450を含む。いくつかの実施形態では、スピーカ及びマイクロフォンは、単一のユニットに組み合わせられてもよく、かつ/又はデバイスのハウジングを貫く共通ポートを共用してもよい。いくつかの実施形態はまた、バッテリ2455又は無線電力2460を含む。図24に示したようなデバイス100の構成要素のそれぞれは、代わりに、対応する名称又は機能を有する別の形状の構成要素であってもよい。
図24の処理ユニット2405は、データ又は命令を処理、受信、又は送信することができる任意の電子デバイスとして実装されてもよい。例えば、処理ユニット2405は、マイクロプロセッサ、中央演算処理装置(CPU)、特定用途向け集積回路(ASIC)、デジタル信号プロセッサ(DSP)、又はかかるデバイスの組み合わせのうちの1つ以上を備えてもよい。本明細書に記載する場合、用語「プロセッサ」とは、単一のプロセッサまたは処理ユニット、複数のプロセッサまたは複数の処理ユニット、他の適切に構成された(複数の)コンピューティング要素を包含することを意図するものである。
いくつかの実施形態では、電子デバイスは種々のバンド、ストラップ、又はその他の保持機構(まとめて、「バンド」)を受容し得る。これらのバンドは、デバイス内の凹部又はその他の孔内に受容され、それにロックするラグによって、電子デバイスに取り外し可能に接続されてもよい。ラグはバンドの一部であってもよいか、又はバンドから分離可能であってもよい(および/または分離していてもよい)。概して、ラグは電子デバイスの凹部内にロックし、それにより、バンドとデバイスとの間の接続を維持してもよい。ユーザは、ラグが摺動するか、又は別の仕方で動いて凹部から出ることを可能にするために、ロック機構を解除してもよい。いくつかの実施形態では、凹部はバンド内に形成されてもよく、ラグはデバイス内に付着されるか、又は組み込まれてもよい。
ユーザはバンドと電子デバイスの組み合わせを変更することができ、それにより、2つのカテゴリの混合及び適合を可能にする。他の形態及び/又は機能を有するデバイスが同様の凹部を含んでもよく、ラグ、及び/又はラグを組み込んだバンドと解除可能に結合してもよいことを理解されたい。このように、各々が別のものに適合する、バンドとデバイスのエコシステムが構想されてもよい。1つの更なる例として、デバイスを接続するための単一のバンドが用いられてもよい。このような実施形態では、バンドは、2つのデバイスが信号を互いへ送信し、それにより、互いにやりとりすることを可能にする電気的相互接続部を含んでもよい。
多くの実施形態では、電子デバイスは、時間を刻み、それを表示することができ、本質的に、とりわけ、腕時計として機能する。時間は、デバイス、その設定、及び(場合によっては)ユーザの好みに依存して、アナログ又はデジタル形式で表示することができる。通例、時間は、デバイスの外面の一部を形成するデジタルディスプレイ積層体上に表示される。
ディスプレイ積層体は、ディスプレイの上に重なる、カバーガラスなどの、カバー要素を含んでもよい。カバーガラスは必ずしもガラスから形成される必要はない。ガラスは1つのオプションである。それは、サファイア、ジルコニア、アルミナ、化学強化ガラス、硬化プラスチックなどから形成されてもよい。同様に、ディスプレイは、液晶ディスプレイ、有機発光ダイオードディスプレイ、又は任意のその他の好適なディスプレイ技術であってもよい。要素の中でもとりわけ、ディスプレイ積層体は、いくつかの実施形態では、バックライトを含んでもよい。
デバイスはまた、カバーガラス上におけるタッチのロケーションを判定するための1つ以上のタッチセンサを備えてもよい。タッチセンサは、タッチのロケーションを判定するためにディスプレイ積層体内、又はその上に組み込まれてもよい。タッチセンサは、特定の実施形態においては、自己静電容量式、他のものにおいては、相互容量式、又はそれらの組み合わせであってもよい。
同様に、デバイスは、カバーガラスに加えられる力の量を判定するための力センサを含んでもよい。力センサは、いくつかの実施形態では静電容量センサであってもよく、いくつかの実施形態では歪みセンサであってもよい。どちらの実施形態においても、力センサは概して透明であり、透明材料から作製されているか、又はディスプレイの視野に干渉しないようにディスプレイの真下、又はそれから離れて配置される。力センサは、例えば、シリコーン又は別の変形可能材料によって分離された2枚の静電容量性プレートの形態をとってもよい。静電容量性プレートが外力を受けて互いに近づくにつれて、キャパシタンスの変化が測定されてもよく、キャパシタンス変化から外力の値が相関関係により求められてもよい。更に、力センサ上の複数の地点からの、又は複数の力センサからの相対的なキャパシタンス変化を比較することによって、力が及ぼされているロケーション又はロケーション群が判定されてもよい。一実施形態では、力センサは、ディスプレイの周囲の真下に延在するガスケットの形態をとってもよい。ガスケットは、実施形態に依存して、区分化されているか、又は単体であってもよい。
電子デバイスはまた、アラートをユーザに提供してもよい。アラートは、以下に応じて生成されてもよい。デバイスの状態の変化(その一例は、電力の低下である)、デバイスによる(メッセージの受信などの)情報の受信、デバイスと別の機構/デバイス(メッセージが待機状態であるか、又は通信が進行中であることをデバイスに通知する第2のタイプのデバイスなど)との間の通信、アプリケーションの動作状態(ゲームの一部として、またはカレンダー予約が直前に迫ったときなど)又はオペレーティングシステムの動作状態(デバイスの電源がオンとなったときまたは電源を切ったときなど)、など。アラートのためのトリガの数及び種類は、様々であり、広範囲にわたる。
アラートは、聴覚的なもの、視覚的なもの、触覚的なもの、又はそれらの組み合わせであってもよい。触覚アクチュエータがデバイス内に収容されてもよく、直線運動して触覚出力を生成しもよい(ただし、代替実施形態では、触覚アクチュエータは回転型であるか、又は任意のその他の種類のものであってもよい)。スピーカがアラートの聴覚構成要素を提供してもよく、上述のディスプレイが視覚アラート構成要素を提供してもよい。いくつかの実施形態では、専用ライト、ディスプレイ、又はその他の視覚出力構成要素がアラートの一部として用いられてもよい。
アラートの聴覚、触覚及び/又は視覚構成要素は、総合的な経験をユーザに提供するために同期されてもよい。1つ以上の構成要素は、それらの間の所望の同期を作り出すために他の構成要素に対して遅延されてもよい。構成要素は、それらが実質的に同時に知覚されるように同期されてもよい。一例として、触覚出力は聴覚的なものよりも知覚されるのに時間がかかり得るため、触覚出力は聴覚出力の少し前に開始されてもよい。別の例として、触覚出力(又はその一部)は、聴覚出力の相当前に、ただし、弱いレベル、又は更に、閾下レベルで開始されてもよく、それにより、聴覚出力を受信することを装着者に事前に教える。
例示的な電子デバイスは、有線接続を通じてか、又は無線でかのいずれか一方で他の電子デバイスと通信してもよい。データは、デバイス間で受け渡されてもよく、一方のデバイスが他方に情報を中継すること、他方を制御すること、他方のセンサ、出力、及び/又は入力を利用することなどを可能にする。図23Bは、サンプル電子デバイス100を装着しているユーザ2310が、第2の電子デバイス2320を自身のポケットに入れている様子を示す。第2のデバイスは、デバイス100及び300に関して本明細書に記載された性能のうち任意を任意選択的に有する。データは、電子デバイス100、2320の間で無線送信されてもよく、それにより、ユーザ210が第1の電子デバイス100を用いて第2のデバイス2320からのデータを受信すること、データを見ること、かつデータとやりとりすることを可能にする。したがって、ユーザ2310は、第2のデバイスと直接やりとりすることを実際に必要とすることなく、第1の電子デバイス100を通じて第2のデバイスの機能の一部又は全てへのアクセスを有することができる。
更に、電子デバイス100、2320は、データを共有するだけでなく、機能性をも共有するように協働することができる。例えば、2つのデバイスのうちの一方は、他方が欠いているセンサ、アプリケーション、又は機能を組み込んでいてもよい。このような能力を欠いている電子デバイスは、それらを、要求側デバイスと無線共用していてもよい他方のデバイスから要求してもよい。それゆえ、複数のデバイスは、拡張された機能、ソフトウェア、アクセス及び同様のものを両者の間で提供し、最終的にはユーザに提供するように、協力して動作し得る。1つの非限定例として、電子デバイス100は電話をかけるか、又は電話を受けることができなくてもよく、その一方で、第2のデバイス2320はそれを行うことができてもよい。それにもかかわらず、ユーザは、第1のデバイス100を通じて電話をかけ、及び/又は電話を受けることができる。第1のデバイスは、実際に電話をかけるか、又は電話を受けるために、第2のデバイス2320を用いてもよい。
別の非限定例として、電子デバイス100は近くの販売端末と無線で通信してもよく、かくして、ユーザが商品の販売、購入、又は返品などの取引を迅速かつ効率的に遂行することを可能にする。電子デバイスは、これら及び他の機能を実行するために近距離通信技術を用いてもよい。
上述されたように、バンドが2つの電子デバイスに接続されてもよく、両者の間の有線通信経路の役割を果たしてもよい。別の例として、デバイスは無線で通信してもよく、それにより、一方のデバイスが第2のデバイスからの情報をユーザへ中継することを可能にする。この後者の例は、第2のデバイスに近づきにくい場合に特に有用になり得る。
特定の実施形態は、ユーザの特定の生理学的特性を測定するための1つ又は2つ以上の生体センサを組み込んでいてもよい。デバイスは、例えば、ユーザの心拍数又は血液酸素化レベルを判定するためのフォトプレシモグラム(photoplesymogram)センサを含んでもよい。デバイスは、更に、又は代わりに、デバイスが体脂肪率、身体の電気的活動、身体インピーダンスなどを推定することを可能にし得る、ユーザの身体インピーダンスを測定するための電極を含んでもよい。また、血圧、紫外線暴露などを含む。電子デバイス内に組み込まれているか、又はそれに関連付けられているセンサに依存して、種々のユーザ特性が測定かつ/又は推定されてもよく、それにより、異なる健康情報がユーザに提供されることを可能にする。
特定の実施形態は、無線で充電されてもよい。例えば、誘導充電台が、デバイスのバッテリを充電するためにデバイス内の誘導受電器へ電力を送電してもよい。更に、デバイスと台との間の誘導電磁界を変化させることによって、データが両者の間で通信されてもよい。1つの単純な非限定例として、この通信は、デバイスが台の上に置かれると、台を低電力休止状態から活動充電状態へ起こすために用いられてもよい。その他の無線充電システム(例えば、近傍磁界共鳴及び無線周波数)が同様に用いられてもよい。代替的に、デバイスはまた、電極を通じた有線充電を用いてもよい。
特定の実施形態では、デバイスは、心棒の付いた竜頭の形態をとり得る、回転入力を含んでもよい。竜頭及び心棒は、回転入力を提供するために、回転させられてもよい。心棒及び/又は竜頭の回転は、光学的に、電気的に、磁気的に、又は機械的に感知されてもよい。更に、いくつかの実施形態では、竜頭及び心棒はまた、横方向にも動いてもよく、それにより、第2の種類の入力をデバイスに提供する。
電子デバイスは、1つ又は2つ以上のボタンを同様に含んでもよい。(複数の)ボタンは、押されて、更に別の入力をデバイスに提供することができる。様々な実施形態では、ボタンは、ドームスイッチ、ロッカスイッチ、電気接点、磁気スイッチなどであってもよい。いくつかの実施形態では、ボタンは防水性であるか、又は他の様態で環境に対して密閉されていてもよい。
様々な実施形態は、1つ又は2つ以上の運動センサを含むか、又は他の様態でそれを組み込んでいてもよい。運動センサは、デバイスの動きを検出し、その動きに基づいてデバイス又は関連アプリケーションの状態、出力、又は入力を提供するか、修正するか、停止するか、又は他の様態でそれに影響を及ぼしてもよい。非限定例として、動きは、デバイスを沈黙させるか、又はデバイスによって生成されたアラートに確認応答するために用いられてもよい。運動センサのサンプルとしては、加速度計、ジャイロセンサ、磁気計、GPSセンサ、距離センサなどが挙げられる。いくつかの実施形態は、位置特定及び/又はナビゲーション補助を促進するか、又はそれを可能にするために、GPSセンサを用いてもよい。
図24に示すように、デバイス100はまた、スピーカ2440及び/又はマイクロフォン2445を含む、1つ又は2つ以上の音響要素を含んでもよい。スピーカ2440は、駆動電子機器回路又は回路機構を含んでもよく、コマンド又は入力に応じて可聴音又は音響信号を作り出すように構成されてもよい。同様に、マイクロフォン2445もまた、駆動電子機器回路又は回路機構を含んでもよく、コマンド又は入力に応じて可聴音又は音響信号を受信するように構成される。スピーカ2440及びマイクロフォン2445は、音響エネルギーが通過することを許すが、液体及びその他のごみの進入を阻止し得るケース内のポート又は開口部に音響的に結合されてもよい。
特定の実施形態は、周辺光センサを組み込んでいてもよい。周辺光センサは、デバイスがその環境の明るさを感知し、それに応じて特定の動作パラメータを調節することを可能にし得る。例えば、電子デバイスは、感知された周辺光に応じてディスプレイの明るさを変更することができる。別の例として、光が、ある期間の間、ほとんど又は全く感知されなければ、電子デバイスはディスプレイをオフにしてもよい。
電子デバイスのこれら及び他の機能、動作、及び能力は、本明細書全体を読むことによって明らかになるであろう。
アラートクラスに基づく触覚出力
いくつかの実施形態に従って、アラート条件は、多くの異なる手法でトリガーすることができる。例えば、いくつかのアラートは、電子メールを受信する、音声メールメッセージを受信する、テキストメッセージを受信するなどの他者からの通信によってトリガーされる。他のアラートは、カレンダーアラート又はリマインダなどのユーザ設定通知によってトリガーされる。更に他のアラートは、アプリケーションに基づくか、又はデバイスに基づくアラートなど、金融トランザクションイベント又はデバイスのペアリングイベントなどのシステムに基づく通知によってトリガーされる。いくつかのアラートは、サードパーティのアプリケーションによってトリガーされ、一方、他のアラートは、デバイス用に作られたアプリケーション又は他の態様からトリガーされる。いくつかの実施形態に従って、どのタイプでトリガーされてアラートが生じたのかが、対応する触覚出力を提供するための根拠となる。
いくつかの実施形態に従って、対応する触覚は、アラートクラスに関連付けられ、ユーザは、触覚フィードバックを、特定の触覚及び特定のアラートクラスに関連付けられた他の出力を伴う言語として、徐々に理解するようになる。様々なアラートのクラスに相関する触覚出力を提供することは、より効率的なヒューマン・マシン・インタフェースを生み出し、それによって、ユーザがアラートを理解して、動作を実行するためにかかる時間を減らし、その結果として、エネルギー消費を減らし、デバイスに電力を供給するバッテリのバッテリ寿命を増大させる。図25は、いくつかの実施形態による、異なるアラートクラスにそれぞれ対応する、様々な触覚アラート及び他のフィードバックアラートを提供するための方法2500のフロー図である。いくつかの実施形態では、図25に示した工程とは異なる工程を実施してもよいことに留意されたい。
本方法は、イベントを2505で検出するデバイス100によって開始する。触感出力生成器を有するコンピューティングデバイス100上で実行しているアプリケーションに対して、イベントは、様々な実施形態による様々な形態をとる。イベントは、デバイスのユーザ宛の任意の通知、アラート、又は他のイベントである。状況によっては、デバイス100は、タッチ感知ディスプレイを有する。
いくつかの実施形態に従って、アラートイベントの異なるタイプは、異なるイベントクラスに対応する。特定のクラスに分類するイベントタイプの判定に従って、アラートは、イベントクラスに対応して提供される。例えば、イベントが第1のイベントクラスにおけるイベントのタイプであるという判定に従って、第1のアラートは、触感出力生成器によって生成された第1の触覚構成要素を含む2515で提供される。同様に、イベントが複数の異なるイベントタイプを含む第2のイベントクラス内のイベントのタイプであるという判定に従って、第2のアラートは、触感出力生成器で生成され、第1の触覚構成要素と異なる第2の触覚構成要素を含む2520で提供される。同様に、イベントが複数の異なるイベントタイプを含む第3のイベントクラス内のイベントのタイプであるという判定に従って、触感出力生成器で生成され、第1の触覚構成要素及び第2の触覚構成要素と異なる第3の触覚構成要素を含む第3のアラートは、2525で提供される。したがって、いくつかの実施形態に従って、触覚出力は、イベントが属しているイベントクラスに依存する。
いくつかの実施形態に従って、第1の触覚構成要素は、触覚出力間の間隔のうち1つ又は2つ以上、触覚出力の数、及び触覚構成要素の間に徐々に触覚出力の振幅が変化することに基づいて、第2の触覚構成要素及び第3の触覚構成要素と異なる。
いくつかの実施形態では、先に図25と併せて論じたように、触覚構成要素は、アラートのオーディオ構成要素がデバイスによって提供されるかどうかを問わず、アラートの異なるクラスの間でユーザが容易に区別できるようにするために略異なるように設計される。例えば、デバイスは、異なるイベントに対応する複数の固有のアラートを有してもよく、第1のイベントクラス、第2のイベントクラス、及び第3のイベントクラスは、固有のアラートに対応するイベントよりもより頻繁に通常は発生するイベントのタイプに対応する。
状況によっては、イベントクラスは、異なる因子に基づいて生成されたイベントに対応する。例えば、いくつかの実施形態に従って、イベントの第1のクラスは、他のユーザからの通信に基づいて生成されたイベントを含み、イベントの第2のクラスは、デバイスのユーザによって入力された定義済みの基準に基づいて生成されたイベントを含み、イベントの第3のクラスは、デバイスにモニタされる基準の達成に基づいて生成されたイベントを含む。
いくつかの実施形態に従って、イベントクラスは、表9と併せて以下に更に論じるように、様々なイベントに対応する。例えば、いくつかの実施形態に従って、イベントの第1のタイプは、個人イベントクラスにあり、イベントの第2のタイプは、ユーザ設定イベントクラスにあり、イベントの第3のタイプは、システムベントクラスにある。個人イベントクラスは、着信メッセージ、着信電子メール、着信音声メールなどを含んでもよい。ユーザ設定イベントクラスは、カレンダー通知、リマインダ通知、タイマ/アラームイベントなどのイベントを含んでもよい。システムイベントクラスは、ペアリングイベント、金融トランザクションイベント、又はバッテリ残量イベントなどを含んでもよい。いくつかの実施形態に従って、それぞれのクラスに対応するアラートは、クラスが触覚出力の1つ又は2つ以上の属性を共有するように、そのクラス用にあらかじめ設定される。いくつかの実施形態に従って、クラスに対応する触覚は、デバイス100のユーザによって設定される。
いくつかの実施形態に従って、2506でのイベントの検出に応答し、イベントが複数の異なるイベントタイプを含む第4のイベントクラス内のイベントのタイプであるという判定に従って、第1の触覚構成要素、第2の触覚構成要素、及び第3の触覚構成要素と異なる、触感出力生成器で生成された、第4の触覚構成要素を含む第4のアラートを2530で提供する。いくつかの実施形態に従って、第4のイベントクラスは、サードパーティのアプリケーションによって生成されたイベントに対応し、このイベントとしては、様々なセカンドパーティ又はサードパーティのイベント、例えば、ソーシャルネットワーキングメッセージを提供するソーシャルネットワーク又はゲーム通知を提供するゲームアプリケーションが挙げられる。
いくつかの実施形態に従って、第4の触覚構成要素は、第1の触覚構成要素、第2の触覚構成要素、又は第3の触覚構成要素に含まれない触覚出力要素によって、第1の触覚構成要素、第2の触覚構成要素、及び第3の触覚構成要素と区別される。例えば、サードパーティのアプリケーションによって生成されたイベントに対応する第4のイベントのクラスの場合では、第4の触覚構成要素は、アラートがネィティブアプリケーションのうち任意のもの又はデバイスによって供給された機構由来ではなく、サードパーティのアプリケーション由来であるとユーザが容易に見分けられるように、サードパーティのイベントに固有の触覚構成要素(例えば、特定の振動パターン)を含んでもよく、他のクラスに対応して提供された触覚出力に含まれなくてもよい。この例では、第1、第2、及び第3のイベントクラスは、デバイスから直接、又はデバイス用に作られたアプリケーションから開始するイベントに対応する。しかし、いくつかの実施形態では、所与のクラスに対応する触覚構成要素は、他のクラスから区別してアラートが特定のイベントクラス由来であることを触覚出力からユーザが容易に見分けられるように、そのクラスに固有であってもよく、他のクラスに対応して提供された触覚出力に含まれなくてもよい。
いくつかの実施形態では、触覚出力にそれぞれのオーディオ構成要素が付随する場合、オーディオ構成要素は、同様にイベントを反映している。例えば、クラス用のオーディオ構成要素は、他のクラスから区別してアラートが特定のイベントクラス由来であることをオーディオ出力からユーザが容易に見分けられるように、そのクラスに固有であってもよく(例えば、サウンドの特定のタイプ)、他のクラスに対応して提供された触覚出力に含まれなくてもよい。
表9は、検出されたイベントが既知のイベントであるという判定に使用される情報をデバイス100が有する、いくつかの例示的状況を示す。示した例は、4つのイベントクラス、個人、ユーザ設定、システム、及びサードパーティを表すが、任意のイベントクラスであると考えられる。表9に示したイベントタイプには、電子メールメッセージ、テキストメッセージ、及び音声メールメッセージ(個人)、カレンダー及びリマインダ通知、タイマ及びアラームアラート(ユーザ設定)、デバイスのペアリング、金融トランザクション、及びバッテリ残量表示(システム)、並びにサードパーティのメッセージ及び通知(サードパーティ)が挙げられるが、この判定を行うためにデバイス100に類似の情報を提供する任意の他のイベントであると考えられる。
Figure 2023040093000010
示した例に対して、イベントクラスの列は、イベントが分類される4つのクラスである、個人、ユーザ設定、システム、又はサードパーティのうちいずれかを示す。それぞれのクラス内で、様々なイベントタイプがイベントタイプの列ごとに列挙されている。それぞれのイベントクラスに対して数例が列挙されているが、この列挙は、他のイベントタイプを排除することを意味するものではない。いくつかの実施形態では、個人イベントは、通常は別のユーザによってデバイスユーザに個人的に送信された、電子メール、テキスト、又は音声メールなどのイベントである。いくつかの実施形態に従って、ユーザ設定イベントは、その名称が示すように、デバイスのユーザによって設定されたイベントであり、例えば、カレンダー通知、リマインダ、タイマ期限、アラーム作動などである。いくつかの実施形態では、システムイベントは、デバイス又はシステム自体によって生成される、デバイスのペアリング又はバッテリ残量表示などのイベントである。いくつかの実施形態に従って、サードパーティのイベントは、大幅に変化し得るが、デバイス上で実行するサードパーティのアプリケーションによってトリガーされたイベントに概ね相当する。サードパーティのイベントの例には、ソーシャルネットワーキングアプリケーションに対応するメッセージ又は通知、ゲームアプリケーションに対応する通知又はリマインダ、フィットネスアプリケーションに対応するアクティビティアラートなどが挙げられる。
示した例では、イベントタイプとは無関係に、所与のイベントクラスに対応する全てのイベントが同じ触覚出力及びオーディオ出力を有することに留意されたい。いくつかの実施形態に従って、全ての個人イベントクラスのイベントは、速いダブルタップと、それに続く長いフェードを伴うリーンというオーディオ構成要素を含む触覚構成要素の出力をもたらす。この例では、出力は、タップ-タップ-リーン(フェード)としてユーザによって知覚される。いくつかの実施形態に従って、全てのユーザ設定イベントクラスのイベントは、最初に遅いダブルタップと、それに続くチャイムのオーディオ構成要素を含む触覚構成要素の出力をもたらす。この例では、出力は、タップ---タップ-チャイムとしてユーザによって知覚される。
いくつかの実施形態に従って、全てのシステムイベントクラスのイベントは、より静かな「トン」というオーディオ構成要素を伴うランブルの終了時に重なる触覚ランブルの出力をもたらし、そのランブルの完了後に始まる、短いフェードを伴うリーンというオーディオ構成要素が続く。この例では、出力は、ランブル...(トン)...-リーン(フェード)としてユーザによって知覚される。いくつかの実施形態に従って、全てのサードパーティのイベントクラスのイベントは、速いダブルタップ及びバズフェードを含むサードパーティのアプリケーションに対応する一貫した触覚構成要素の出力をもたらし、オーディオ構成要素と部分的に重なるバズフェードを伴い、オーディオ構成要素は、サードパーティのアプリケーションと関連付けられたイベントタイプ又は条件によって変化してもよい。この例では、出力は、タップ-タップ-リーン(音量アップ又はダウン)...(バズ(フェード))...としてユーザによって知覚される。
これらの例では、触覚構成要素及びオーディオ構成要素の両方は、他のクラスから区別してアラートが特定のイベントクラス由来であることを出力からユーザが容易に見分けられるように、所与のクラスに一意的に対応することに留意されたい。サードパーティのアプリケーションクラスの例では、触覚は同一であり、オーディオはクラスの特性であるが、イベントタイプ又は条件に応じて変化する。加えて、ユーザが自身のデバイス上でサウンドをオフしていたとしても、アラートが特定のイベントクラス由来であることを触覚出力のみからユーザが容易に見分けられるように、触覚出力単独でもまた、これらの例の所与のクラスに一意的に対応する。ユーザに一貫した容易に理解できるアラート言語を提供するために、アラートの異なるクラスは、複数の異なるイベントにそれぞれ対応し、アラートがユーザに選択可能(又はユーザに変更可能)である実施形態では、ユーザは、イベントクラスに関連付けられたサウンド又は触覚出力を変更するオプションを任意選択的に提供されるが、そのサウンド又は触覚出力の変更により、サウンド又は触覚出力は、アラートのそのクラスに関連付けられた全てのイベントに対して変わることとなる。加えて、いくつかの実施形態では、ユーザは、イベントを異なるイベントクラスに割り当てるためのオプションが提供される。このカスタマイズ可能性により、アラートの効率及び効果を高める一貫したアラート言語がまだ保持されている間、ユーザは、自身のデバイスによって提供されるアラートをカスタマイズできるようになる。
図25における動作について説明された特定の順序は単なる例示であり、説明された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書に記載された動作の順序換えをする様々な方法を認識するであろう。加えて、本明細書に記載の他の方法(例えば、方法700、900、1000、1100、1200、1300、2600、3000、及び3200)に関して本明細書で記載されている他のプロセスの詳細はまた、図25に関連して上述されている方法2500に類似の方法で適用可能であることも留意されたい。例えば、方法2500を参照して上述した入力、アラート条件、アプリケーション、及び触覚出力は、本明細書に記載された他の方法(例えば、方法700、900、1000、1100、1200、1300、2600、3000、及び3200)を参照して本明細書に記載された入力、アラート条件、アプリケーション、及び触覚出力の特性のうち1つ又は2つ以上を、任意選択的に有する。簡潔性のために、これらの詳細は、ここでは繰り返さない。
触覚出力に対する選択的アラートの顕著性
いくつかの実施形態に従って、アラート条件は、触覚出力の顕著性の増大に選択的に依存する。いくつかの実施形態では、デバイス100は、ユーザに「準備させる」ために触覚出力の顕著性を変更でき、これにより、アラートに対してより注意を引かせる。例えば、デバイス100は、別の触覚出力の前兆としてプライミング(priming)触覚出力を提供でき、プライミング触覚出力は、デバイス100を操作しているユーザの注目度を他の触覚出力に対して増大させるように設計されている。状況によっては、顕著性は、いくつかの触覚に対して増大し、その他に対しては増大しない。これは、感覚障害を持つユーザ(例えば、可聴アラートを聴くことができないユーザ、又は振動アラートに対する感受性が低下しているユーザ)にとって特に重要である。
図26は、いくつかの実施形態による、様々な触覚用の選択的顕著性を増大させる方法2600のフロー図である。いくつかの実施形態では、図26に示した工程とは異なる工程を実施してもよいことに留意されたい。
方法2600は、触感出力生成器を有するコンピューティングデバイスでの第1のイベントの発生を2605で検出することによって開始する。イベントは、図25と併せて先に論じたイベントタイプを含む、任意のタイプであってもよい。第1のイベントの発生の検出に応じて、異なるタイプのイベントが、異なる顕著性を有する異なるアラートを提供することができる。例えば、第1のイベントがイベントの第1のタイプであるという判定に従って、第1の触覚構成要素を含む第1のアラートは、触感出力生成器を用いて2610で提供され、触覚構成要素は、デバイスのアラート顕著性設定に少なくとも部分的に基づいて選択される。第1のイベントがイベントの第2のタイプであるという判定に従って、デバイスのアラートの顕著性設定とは無関係に選択された第2の触覚構成要素を含む第2のアラートは、触感出力生成器を用いて2630で提供される。
いくつかの実施形態に従って、デバイスのアラート顕著性設定は、2つの値、すなわち、増大するアラート顕著性に対応する1つの値及び増大しないアラート顕著性に対応する第2の値を有する。図27は、いくつかの実施形態によるデバイス100上でのアラート顕著性設定用の例示的なユーザインタフェースの図である。図に示すように、顕著性増大アラート選択器2710は、「オン」は、特定のアラートの顕著性が増大することとなることを示し、「オフ」は、顕著性が増大することとなるアラートがないことを示すように、ユーザが顕著性の増大の使用をオン又はオフにできるようにする。本明細書で論じたように、一部のアラートは、この設定がオンのときに顕著性の増大を有することとなり、一部のアラートは、この設定を考慮しないこととなる。例えば、いくつかの実施形態に従って、図25と併せて論じた例示的なクラスを使用して、アラート顕著性設定がオンのとき、個人及びユーザ設定イベントクラス内のイベントは、顕著性の増大を伴う触覚出力をもたらすこととなり、システム及びサードパーティのイベントクラス内のイベントは、アラート顕著性設定がオンであるにもかかわらず変化しないこととなる。
いくつかの実施形態に従って、イベントタイプが、関連するイベントの一対のセットの一部であるとき、2つのイベントのうち一方は、顕著性が増大した触覚を受信するイベントとして指定することができる。例えば、友人とのペアリングが試みられる場合、成功した友人とのペアリング又は失敗した友人とのペアリングという2つの結果のみが存在する。成功した友人とのペアリングは、予測された結末であるため、これに対して顕著性の増大は必要ではない。しかし、ペアリングの失敗は、予測することができず、それゆえに、ユーザの注目をより容易に集めるために顕著性が増大した触覚を介してユーザの注意をひくことができる。このように、いくつかの実施形態に従って、一対の選択肢のうち友人とのペアリングイベントの失敗の結果に対しては、顕著性が増大した触覚がもたらされると考えられ、その一方で、友人とのペアリングの成功に対しては、標準的な触覚出力が提供されると考えられる。
いくつかの実施形態では、顕著性の増大の設定がオンのときにアラートが顕著性の増大を有するかどうかは、アラートをトリガーしたイベントの重要性に基づく。例えば、いくつかの実施形態では、イベントは、電子メール上の緊急または重要フラグ、VIP連絡先から受信したメッセージ、又はイベントがある意味で他のイベントよりも重要であることを示す他の類似の情報などのイベントの重要性又は緊急性に対応する(例えば、メタデータの形式の)情報を含むことができる。いくつかの実施形態では、「緊急」、「重要性大」などの重要性を示すキーワードについて、イベントの内容を調べることができる。いくつかの実施形態では、2つ以上の顕著性増大インジケータを伴うイベントに更に高度な顕著性を追加することができる。例えば、メッセージを受信し、顕著性の増大がオフのとき、そのメッセージは、個人イベントクラス用の標準的な触覚をトリガーする。しかし、同じメッセージをVIP連絡先から受信し、顕著性設定がオフのとき、VIP連絡先を他のメッセージの連絡先と比較して区別するために、顕著性をいくらか増大させてもよい。また、顕著性の増大がオンのとき、受信したメッセージは、顕著性を増大させた。したがって、いくつかの実施形態に従って、1つのトリガ(例えば、個人用の顕著性増大設定)由来の増大は、「追加の顕著性(extra salience)」出力を生成するために、別のトリガ(例えば、VIP連絡先からのメッセージ)由来の増加と組み合わせることができる。例えば、追加の顕著性出力は、イベントクラス用の標準的な触覚に先行する3つの個別のプライミング触覚構成要素であると考えられる。
いくつかの実施形態に従って、いくつかのイベントタイプは、イベントの性質によってより重要であるとみなされる。例えば、いくつかの例における金融トランザクションをトリガーしたイベントは、金融トランザクションに分類されるイベントクラスとは無関係に、他のイベントよりも重要であると考えられる。したがって、金融トランザクションの例では、より感知しやすいと考えられるイベントの特定のカテゴリは、バンキングまたは株取引アプリケーションと関連付けられた任意のアクティビティ、又は金融に関連し、かつ/または不正行為を被りやすい他のイベントを含むと考えられる。別の例は、デバイスを操作しているユーザ以外の人間のユーザから直接受信したと思われるメッセージイベントタイプでもある、顕著性の増大(例えば、個人)に依存するイベントクラス内のイベントである。例えば、ユーザの連絡先リストにある既知の電子メールアドレス又は電話番号からの着信メッセージ又は呼び出しである。デバイスを操作するユーザ以外の人間のユーザから受信したと思われるイベントタイプの更なる検討については、表2を参照のこと。この例では、人間のユーザから受信したと思われる全てのメッセージのイベントタイプ(例えば、メール、メッセージ、及び音声メール)は、顕著性が増大した触覚を有するが、クラス内の他のイベントタイプ(例えば、フォトストリームアクティビティ)は、それを有さない。
いくつかの実施形態に従って、イベントクラス内の他のイベントクラスが顕著性増大設定に対応する顕著性が増大した出力を提供することができる場合であっても、増大した触覚出力の顕著性から特定のイベントタイプを排除することができる。例えば、顕著性の増大がオンのイベントクラス(例えば、個人)内で、UIインタラクション(例えば、スクロール、アイテム全体にわたるナビゲーション、UIボタンの押し下げ、又は他のユーザ入力)に対する応答によってトリガーされたイベントは、設定がオンであっても、顕著性増大のアラートを有しない。いくつかの例では、ユーザ入力は、アプリケーション又はデバイスとの高いレベルのユーザ関与の特性であり、それゆえに、顕著性の増大を必要としないイベントである。したがって、ユーザは、ユーザがアプリケーションとの高度な関与又はやりとりをしているとき、極度に強力なフィードバック信号を受けることはない。
イベントクラス内の他のイベントタイプが顕著性増大設定に対応する顕著性が増大した出力を提供する場合であっても、増大した触覚出力の顕著性から特定のイベントタイプを排除することができる別の条件は、アラートを提供するアプリケーションがアクティブ状態にある(例えば、デバイスユーザによって使用されている)場合である。例えば、受信メッセージのイベントタイプは、個人イベントクラスであり、それゆえに、設定がオンのとき、通常は顕著性増大のアラートを受けると考えられる。しかし、デバイスのユーザがメッセージを受信した時点においてメッセージングアプリケーションを使用しているイベントでは、顕著性が増大した触覚は、提供されないと考えられる。その一方で、同じ受信メッセージイベントは、ユユーザがメッセージを受信したときにメッセージングアプリケーションを使用しなかった場合、顕著性の増大をトリガーすると考えられる。
第1のイベントタイプが、アラート顕著性設定に少なくとも基づいて選択された触覚構成要素を含むアラートをもたらし、第2のイベントタイプが、アラート顕著性設定と無関係に触覚構成要素を選択する上記の例では、設定値がアラートの顕著性の増大に対応するとき、第1のアラートは、顕著性の増大を有し、第2のアラートは、これを有しない。したがって、アラート顕著性設定がアラートの顕著性の増大に対応する値を有するにもかかわらず、全てのアラートが顕著性の増大を有することはないと考えられる。上記からの例を続けると、イベントの第1のタイプは、イベントの個人イベントクラスに対応する着信メッセージイベントであり、イベントの第2のタイプは、イベントのシステムイベントクラスに対応する支払いイベントであり、設定値は、アラートの顕著性の増大に対応し、メッセージ(個人クラス)イベントは、顕著性増大を有すると考えられるが、決済(システムクラス)イベントは、第2のタイプが設定を考慮しないため、これを有しないと考えられる。いくつかの実施形態に従って、個人及びユーザ設定のイベントクラスは、アラートの顕著性設定がオンのとき、アラート用の顕著性が増大した触覚を有すると考えられるが、その一方で、システム及びサードパーティのイベントクラスは、アラートの顕著性設定値とは無関係に標準的な触覚アラートを有すると考えられる。
いくつかの実施形態に従って、第1のアラートは、第2のアラートと異なる。例えば、第1のアラートは、第2のアラートと異なる触覚構成要素を含むと考えられるか、又は第1のアラートは、第2のアラートと異なるオーディオ構成要素を含むと考えられるか、又は第1のアラートは、異なる触覚構成要素及び異なるオーディオ構成要素の両方を含むと考えられる。
しかし、いくつかの実施形態では、デバイスは、追加の触覚構成要素を実施せず、アラートの顕著性設定が第2の値を有するとき、第1の複数のイベントクラス内のイベントに応じてトリガーされたアラート用の標準的な触覚構成要素を2625で提供するだけである。クラスに関する上記の例を進めると、標準的な触覚構成要素は、アラートの顕著性設定が第2の値(オフ)を有するとき、個人又はユーザ設定のイベントクラスのイベントに応じてトリガーされたアラートから生じると考えられる。同様に、いくつかの実施形態では、デバイスは、追加の触覚構成要素を提供することを実施せず、アラートの顕著性設定が第1の値又は第2の値を有することとは無関係に、第2の複数のイベントクラス内のイベントに応じてトリガーされたアラート用の標準的な触覚構成要素を2625で提供するだけである。クラスに関する上記の例を進めると、標準的な触覚構成要素はまた、アラートの顕著性設定の値に無関係に、システム又はサードパーティのイベントクラスのイベントに応じてトリガーされたアラートから生じると考えられる。いくつかの事例では、第2の複数のイベントクラスは、第1の複数のイベントクラスと区別できる。したがって、いくつかの例では、着信イベントが、デバイスがアラートの顕著性を増加させるイベントクラスであり、アラート顕著性値がアラートの顕著性を増大させるように設定されているイベントクラスの両方である場合にのみ、追加の触覚構成要素が提供される。例えば、アラート顕著性設定が「オン」のとき、個人又はユーザ設定のイベントクラス内のイベントである。
いくつかの実施形態に従って、様々な触覚に対して選択的な顕著性の増大を提供するための方法は、アラート顕著性設定値を2615で最初に判定することを含む。アラート顕著性設定が第1の値を有するという判定に従って、第1のアラートは、2620で第1の触覚構成要素及び第2の触覚構成要素を含み、一方、アラート顕著性設定が第1の値と異なる第2の値を有するという判定に従って、第1のアラートは、2625で、第1の触覚構成要素を含むが、第2の触覚構成要素を含まない。例として、第1の値は、「増大するアラート顕著性」の値であると考えられ、第2の値は、「増大しないアラート顕著性」の値であると考えられる。上記の例を続けると、いくつかの実施形態に従って、個人又はユーザ設定のイベントクラス内のイベント、及び「増大するアラート顕著性」(オン)のアラート顕著性設定に対して、アラートは、第1の触覚構成要素(対応するイベントクラス用の標準的な触覚構成要素)及びアラートに関連付けられた触覚出力の顕著性を増大させるための第2の触覚構成要素の両方を含むと考えられる。いくつかの実施形態に従って、システム又はサードパーティのイベントクラスにおけるイベントに対して、「増大するアラート顕著性」(オン)のアラート顕著正設定を伴うとしても、アラートは、クラスに対応するイベント用の第1の、標準的な触覚構成要素のみを含むと考えられる。いくつかの実施形態に従って、本方法は、第1のイベントがイベントの第3のタイプであるという判定に従って、デバイスのアラート顕著性設定に少なくとも部分的に基づいて選択された触覚構成要素を含む第3のアラートを提供することを更に含む。この例では、デバイスのアラート顕著性設定に少なくとも部分的に基づいて選択された触覚構成要素を含む第3のアラートを提供することは、(例えば、上記の工程2615に類似する)アラート顕著性設定の値を判定することを含む。イベントクラスの例を再度参照すると、いくつかの実施形態に従って、個人のイベントクラスが第1のタイプであった場合、ユーザ設定のイベントクラスは、この例の第3のタイプである。
いくつかの実施形態に従って、アラートの顕著性設定が第1の値を有するという判定に従って、第3のアラートは、第3の触覚構成要素及び第4の触覚構成要素を含み、アラートの顕著性設定が第1の値と異なる第2の値を有するという判定に従って、第3のアラートは、第3の触覚構成要素を含むが、第4の触覚構成要素を含まない。先行例と同様に、いくつかの実施形態に従って、第1の値は、増大するアラート顕著性の値であり、第2の値は増大しない顕著性の値である。例えば、第3の触覚構成要素(対応するイベントクラス用の標準的な構成要素)は、アラートに関連付けられた触覚出力の顕著性を増大させるために、第4の触覚構成要素と対になると考えられる。加えて、いくつかの実施形態において、第4の触覚構成要素は、第2の触覚構成要素と同じである。例えば、第1の触覚構成要素及び第2の触覚構成要素は両方共、アラートが緊急であることをユーザに通知するために使用される、顕著性が増大した触覚構成要素又はプライミング構成要素である。いくつかの実施形態では、デバイスは、プライミング触覚出力の提供に続いて、かつ提供の特定の時間インターバル内で、第2の触覚出力を提供する。イベントクラスの例を続けると、ユーザ設定のイベントクラス内のイベント用のイベントアラートの顕著性の増大に対応する第4の触覚は、個人のイベントクラス内のイベント用のイベントアラートの顕著性の増大に対応する第2の触覚と同じであり、両方の触覚構成要素は、それぞれのクラス用の標準触覚に先行するプライミング触覚である。
いくつかの実施形態に従って、本方法は、第1のアラートが、デバイスのアラート顕著性設定が第1の値を有している間に検出されるとき、第1のイベントに応じて提供される第1のアラートが、第1の触覚構成要素及び第2の触覚構成要素を含み、第1のイベントに応じて提供される第2のアラートが、第2のアラートの触覚構成要素を含むことを、更に含む。いくつかの実施形態では、本方法は続いて、デバイスのアラート顕著性設定が第1の値を有している間に、デバイスのアラート顕著性設定を第2の値に変更する要求を受信し、アラート顕著性設定を変更する要求の受信に応じて、アラート顕著性設定を第2の値に変更する。例えば、個人のイベントクラスのイベントに対して、第1及び第2の触覚構成要素が、アラート顕著性設定がオンであるため提供された場合、要求は、アラート顕著性設定をオフにするための要求である。同様に、いくつかの実施形態では、本方法は、デバイスのアラート顕著性設定が第2の値を有している間に、第2のイベントが第1のタイプのイベントであるという判定に従った第3のアラートの提供に応じて、第2のイベントの発生を検出することを含む。第3のアラートは、第1の触覚構成要素を含むが、第2の触覚構成要素は含まない。例えば、第3の触覚構成要素は、アラート顕著性設定がオフにされるため、ユーザ設定のイベントクラスのイベント用に提供されただけである。同様に、第2のイベントがイベントの第2のタイプであるという判定に従って、本方法は、第2のアラートの触覚構成要素を含む第2のアラートを提供し始める。いくつかの実施形態では、第2のアラートは、第2の触覚構成要素を含まない(例えば、アラート顕著性設定が「増大するアラート顕著性」、「増大しないアラート顕著性」に設定されていたとしても、第2のアラートは、アラート顕著性設定に影響されず、第2の「追加の顕著性」の触覚構成要素を含まない。例えば、イベントの第2のタイプは、システムのイベントクラスのイベントであり、第2の触覚構成要素は、アラート顕著性設定とは無関係に出力に含まれない。
いくつかの実施形態に従って、第1の触覚構成要素は、触覚出力間の間隔のうち1つ又は2つ以上、触覚出力の数、及び触覚構成要素の間に徐々に触覚出力の振幅が変化することに基づいて、第2の触覚構成要素及び第3の触覚構成要素と異なる。
いくつかの実施形態では、先に図25と併せて論じたように、触覚構成要素は、アラートのオーディオ構成要素がデバイスによって提供されるかどうかを問わず、アラートの異なるクラスの間でユーザが容易に区別できるようにするために略異なるように設計されている。例えば、デバイスは、異なるイベントに対応する複数の固有のアラートを有してもよく、第1のイベントクラス、第2のイベントクラス、及び第3のイベントクラスは、固有のアラートに対応するイベントよりもより頻繁に通常は発生するイベントのタイプに対応する。アラートは、クラスに関連するため、第1のイベントクラス内のイベントに対するアラートの触覚構成要素は、第2のイベントクラス内のイベントに対するアラートの触覚構成要素とはユーザによって区別可能であり、両方とも、第3のイベントクラス内のイベントに対するアラートの触覚構成要素とはユーザによって区別可能である。場合によっては、通常はより頻繁に発生するイベントは、統計学的に言えば、他のイベントよりも頻繁に発生するイベントである。表9と併せて先に論じたように、いくつかの実施形態では、より頻繁に発生するイベントは、イベントクラスに一緒にグループ化され、頻繁に発生するイベントの異なるタイプ間の区別をユーザが行なうことができるように、一貫したアラートが提供される。
いくつかの実施形態では、イベントに関連付けられたイベントクラスは、追加の触覚構成要素が、トリガーされたアラートと併せて提供されるかどうかに影響する。いくつかの実施形態に従って、追加の触覚構成要素は、アラート顕著性設定が第1の値を有するとき、第1の複数のイベントクラス内のイベント(例えば、個人)に応じてトリガーされたアラートに2620で提供される。例えば、第1のイベントクラスに関連付けられた触覚に加えて、追加の触覚が同様に提供される。追加の触覚は、いくつかの実施形態では、プライミング触覚である。例えば、状況によっては、第2の触覚構成要素は、第1の触覚構成要素に先行する。
状況によっては、イベントクラスは、異なる因子に基づいて生成されたイベントに対応する。例えば、いくつかの実施形態に従って、イベントの第1のクラスは、他のユーザからの通信に基づいて生成されたイベントを含み、イベントの第2のクラスは、デバイスのユーザによって入力された定義済みの基準に基づいて生成されたイベントを含み、イベントの第3のクラスは、デバイスにモニタされる基準の達成に基づいて生成されたイベントを含む。いくつかの実施形態に従って、イベントクラスは、図25と併せて論じられたイベントクラス、すなわち、個人、ユーザ設定、システム、及びサードパーティに類似して、イベント情報によってクラスに属するように特徴付けられる。
いくつかの実施形態では、イベントクラスは、デバイスがユーザにイベントのどのタイプがイベントクラスに分類されるのか選択できるようにするように設定可能である。しかし、いくつかの実施形態では、イベントクラスに分類されるイベントのタイプは、定義済みであり、デバイスは、デバイスのユーザにどのイベントタイプが特定のイベントクラスに分類されるのか選択できるようにはしない。
同様に、いくつかの実施形態に従って、アラート顕著性設定は、特定のイベントクラス、又はユーザが触覚出力における顕著性の増大を好むと考えられる個々のイベントタイプでさえも、ユーザが選択できるようにユーザ設定可能である。ユーザがより重要だと考えるイベントに相関する触覚出力をユーザがカスタマイズできるようにすることは、より効率的なヒューマン・マシン・インタフェースを生み出し、それによって、ユーザが動作を実行するためにかかる時間を減らし、その結果として、エネルギー消費を減らし、デバイスに電力を供給するバッテリのバッテリ寿命を増大させる。
表10は、アラート顕著性設定に基づいて顕著性を選択的に増大させるための情報をデバイス100が有する、いくつかの例示的状況を示す。示した例は、表9で先に示したイベントクラスと同じ4つのイベントクラスである、個人、ユーザ設定、システム、及びサードパーティを表すが、任意のイベントクラスであってもよい。
Figure 2023040093000011
示した例に対して、イベントクラスの列は、イベントが分類される4つのクラス、個人、ユーザ設定、システム、又はサードパーティを示す。それぞれのクラス内で、様々なイベントタイプが、イベントタイプの列ごとに列挙されている。それぞれのイベントクラスに対して数例が列挙されているが、この列挙は、他のイベントタイプを排除することを意味しない。先のチャートと同様に、イベントタイプとは無関係に、所与のイベントクラスに対応するあらゆるイベントが、同じ標準触覚及びそのクラスのオーディオ出力特性を有し、それぞれのクラスは、イベントクラスに対応する任意のイベントに対するのと同様に同じ顕著性が増大した出力を共有する。サードパーティのアプリケーションクラスの例では、触覚は、同一であり、付随するオーディオ構成要素は、オーディオがイベントタイプ又は条件に応じて変化するにもかかわらず、サードパーティのアプリケーションに特有である。
表10は、アラート顕著性設定に対応する追加の列を含む。顕著性の増大を使用してはならないことを示す、アラート顕著性設定がオフのとき、表9の例に対応する、標準的な触覚及びオーディオ出力が示されることに留意されたい。これにより、所与のクラスに一意的に対応する触覚構成要素及びオーディオ構成要素の両方のゴールを、他のクラスから区別してアラートが特定のイベントクラス由来であることを出力からユーザが容易に見分けられるように維持することができる。
イベントクラスのうち2つ、すなわち、個人及びユーザ設定に対して、顕著性の増大を使用すべきであることを示す、アラート顕著性がオンになっているとき、顕著なバズ触覚がそのクラス用の標準的な出力に追加される。いくつかの実施形態に従って、標準的な出力に先行するようにアラートの初期に追加の触覚が追加される。この例では、より長い継続時間及び高い頻度の一連のタップである、顕著なバズ触覚構成要素は、持続する振動又は「バズ」をユーザが感じるように追加される。いくつかの実施形態に従って、顕著なバズは、0.5秒以上の継続時間を有し、強度は、バズの開始から終了時まで上昇し、標準的な出力に比べてユーザの注意を引くことに役立つ。また、アラート顕著性設定がオンのときであっても、イベントクラスのうち2つ、すなわち、システム及びサードパーティは、出力の顕著性において増大を示さない、すなわち、設定とは無関係に標準的な出力が使用されることに留意されたい。
Figure 2023040093000012
Figure 2023040093000013
上に示した表11に、異なるイベントに対応する異なるオーディオ出力及び触覚出力を示す。イベントは、通知、フィードバック、及びアラートに分けられる。同じ名称のオーディオ出力は、同じ(又は略同じ)オーディオ出力(オーディオ波形)に対応する。異なる名称のオーディオ出力は、異なる(又は物質的/感覚的に異なる)オーディオ出力(オーディオ波形)に対応する。同じ名称の触覚出力は、同じ(又は略同じ)触覚出力(触覚波形)に対応する。異なる名称の触覚出力は、異なる(又は物質的/感覚的に異なる)触覚出力(触覚波形)に対応する。括弧()で囲まれた触覚/オーディオ出力名は、任意選択的に割愛され、オーディオ出力又は触覚出力が存在しないことと置き換えられる。
いくつかの実施形態では、触覚/オーディオ出力は、上記の通知クラスに加えて、複数のタイプ及び又はクラスにグループ化される。通知は、ユーザがデバイスに注意を払っていないとき(例えば、新規メッセージを受信したとき、又はカレンダーイベントが発生する時間であるとき)に、ユーザの注意を引くように設計された触覚/オーディオ出力に概ね相当する。アラートは、(例えば、ユーザが徒歩中又は運転中のナビゲーション指示、デバイスのロック解除の失敗/成功など)ユーザがデバイスに注意を払っている間に、デバイスで実施されている動作(又はデバイスの条件)についてユーザにアラートを送るように設計された触覚/オーディオ出力に概ね相当する。フィードバックは、(例えば、スクロール入力、ボタン選択入力、送信メッセージなど)ユーザからの入力がデバイスによって検出されたことをユーザにフィードバックするように、又は入力がデバイスにいくつかの閾値(例えば、スクロール限界、ズーム限界、代替メニューが表示される力/圧力閾値)に到達させたことを示すように設計された触覚/オーディオ出力に概ね相当する。いくつかの実施形態では、顕著性増大設定が「オン」のとき、顕著性が増大した触覚/オーディオ出力は、ユーザが注意を払っていないときにユーザの注意を引くように設計された通知に提供されるが、フィードバックには提供されない(例えば、ユーザは、既にデバイスに注意を払っており、デバイスとアクティブにやりとりしているからである)。いくつかの実施形態では、顕著性が増大した触覚/オーディオ出力は、アプリケーションが閉じているときのアプリケーションと関連付けられたいくつかの通知(例えば、メッセージ通知)に提供されるが、アプリケーションが開いているときにアプリケーションと関連付けられたフィードバック(例えば、メッセージングアプリケーションが開いているときの送信及び受信メッセージアラート)には提供されない。表11の例に対して、メッセージ通知は、顕著性増大設定に基づいて異なる触覚出力(例えば、顕著性増大設定がオフのときに触覚出力H001、顕著性増大設定がオンのときに触覚出力H066)を使用するが、メッセージが送信されるときのメッセージフィードバックは、顕著性増大設定とは無関係に同じ触覚出力を使用する(例えば、顕著性増大設定がオン又はオフの場合に触覚出力H023が使用される)。
いくつかの実施形態では、アラート顕著性設定は、対応するオーディオ出力の顕著性を変更せずに、触覚出力の顕著性を変更する。例えば、先に表11に示したように、メッセージ通知は、顕著性増大設定がオンであるかを問わず、同じオーディオ出力(A001)を使用するが、顕著性増大設定に応じた異なる触覚出力を使用する(例えば、顕著性増大設定がオフのときに触覚出力H001が使用され、顕著性増大設定がオンのときに触覚出力H066が使用される)。
図26における動作について説明された特定の順序は単なる例示であり、説明された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書に記載された動作の順序換えをする様々な方法を認識するであろう。加えて、本明細書に記載の他の方法(例えば、方法700、900、1000、1100、1200、1300、2500、3000、及び3200)に関して本明細書に記載の他のプロセスの詳細はまた、図26に関連して上述された方法2600に類似の方法で適用可能であることも留意されたい。例えば、方法2600を参照して上述した入力、アラート条件、アプリケーション、及び触覚出力は、本明細書に記載された他の方法(例えば、方法700、900、1000、1100、1200、1300、2500、3000、及び3200)を参照して本明細書に記載された入力、アラート条件、アプリケーション、及び触覚出力の特性のうち1つ又は2つ以上を、任意選択的に有する。簡潔性のために、これらの詳細は、ここでは繰り返さない。
図25~図27を参照して記載した動作は、図28及び図29に示す構成要素により任意選択的に実施される。図28は、説明される様々な実施形態の原理に従って構成されたデバイス100の例示的な機能ブロック図を示す。図28で説明される機能ブロックが、説明される様々な実施形態の原理を実施するように任意選択的に組み合わされ、又はサブブロックに分離されることが当業者には理解されよう。したがって、本明細書における説明は、本明細書で説明されている機能ブロックのあらゆる可能な組み合わせまたは分割、又は更なる定義を任意選択的に支持する。
図28に示すように、デバイス100は、アプリケーションを表示するように構成された表示ユニット2801、ユーザ接触を受信するように構成されたタッチ感知面ユニット2803、並びに表示ユニット2801及びタッチ感知面ユニット2803に連結された処理ユニット2085を含む。いくつかの実施形態では、処理ユニット2805は、検出ユニット2810及びアラート提供ユニット2815を含む。
以下の段落[0524]~[0527]は、図28に例示したデバイス100によって、個別に又は任意の組み合わせで実施することができる様々な実施形態を説明する。
処理ユニット2805は、(例えば、検出ユニット2810を用いて)触感出力生成器を有するデバイスでイベントを検出するように構成され、イベントの検出に応じて、イベントが複数の異なるイベントタイプを含む第1のイベントクラス内のイベントのタイプであるという判定に従って、触感出力生成器によって生成された第1の触覚構成要素を含む第1のアラートを(例えば、アラート提供ユニット2815を用いて)提供する。
イベントが複数の異なるイベントタイプを含む第2のイベントクラス内のイベントのタイプであるという判定に従って、処理ユニット2805は、触感出力生成器で生成され、第1の触覚構成要素と異なる第2の触覚構成要素を含む第2のアラートを(例えば、アラート提供ユニット2815を用いて)提供するように構成される。イベントが複数の異なるイベントタイプを含む第3のイベントクラス内のイベントのタイプであるという判定に従って、処理ユニット2805は、触感出力生成器で生成され、第1の触覚構成要素及び第2の触覚構成要素と異なる、第3の触覚構成要素を含む第3のアラートを(例えば、アラート提供ユニット2815を用いて)提供するように構成される。
いくつかの実施形態に従って、イベントの第1のクラスは、他のユーザからの通信に基づいて生成されたイベントを含み、イベントの第2のクラスは、デバイスのユーザによって入力された定義済みの基準に基づいて生成されたイベントを含み、イベントの第3のクラスは、デバイスにモニタされる基準の達成に基づいて生成されたイベントを含む。いくつかの実施形態に従って、第1の触覚構成要素は、触覚出力間の間隔、触覚出力の数、及び触覚構成要素の間の経時的な触覚出力(例えば、アラート提供ユニット2815によって提供された出力)の振幅の変化のうち少なくとも1つに基づいて、第2の触覚構成要素及び第3の触覚構成要素と異なる。
いくつかの実施形態に従って、デバイスは、(例えば、アラート提供ユニット2815によって提供された)異なるイベントに対応する複数の固有のアラートを有してもよく、第1のイベントクラス、第2のイベントクラス、及び第3のイベントクラスは、固有のアラートに対応するイベントよりもより頻繁に通常は発生するイベントのタイプに対応する。
イベントの検出に応じて、イベントが複数の異なるイベントタイプを含む第4のイベントクラス内のイベントのタイプであるという判定に従って、処理ユニット2805は、触感出力生成器で生成され、第1の触覚構成要素、第2の触覚構成要素、及び第3の触覚構成要素と異なる第4の触覚構成要素を含む第4のアラートを(例えば、アラート提供ユニット2815を用いて)提供するように構成されている。いくつかの実施形態に従って、第4のイベントクラスは、サードパーティのアプリケーションによって生成されたイベントに対応する。いくつかの実施形態に従って、第4の触覚構成要素は、第1の触覚構成要素、第2の触覚構成要素、又は第3の触覚構成要素に含まれない触覚出力要素によって、第1の触覚構成要素、第2の触覚構成要素、及び第3の触覚構成要素と区別される。
上述したように、図25~図27を参照して記載した動作は、図28及び図29に示す構成要素により任意選択的に実施される。図29は、説明される様々な実施形態の原理に従って構成されたデバイス100の、例示的な機能ブロック図を示す。図29で説明される機能ブロックが、説明される様々な実施形態の原理を実施するように任意選択的に、組み合わされ、又はサブブロックに分離されることが当業者には理解されよう。したがって、本明細書における説明は、本明細書で説明されている機能ブロックのあらゆる可能な組み合わせまたは分割、又は更なる定義を任意選択的に支持する。
図29に示すように、デバイス100は、アプリケーションを表示するように構成された表示ユニット2901、ユーザ接触を受信するように構成されたタッチ感知面ユニット2903、並びに表示ユニット2901及びタッチ感知面ユニット2903に連結された処理ユニット2905を含む。いくつかの実施形態では、処理ユニット2905は、検出ユニット2910、アラート提供ユニット2915、アラート顕著性判定ユニット2920、及び設定変更ユニット2925を含む。
以下の段落[0532]~[0540]は、図29に例示したデバイス100によって、個別に又は任意の組み合わせで実施されてもよい異なる実施形態を説明する。
処理ユニット2905は、(例えば、検出ユニット2910を用いて)触感出力生成器を備えたコンピューティングデバイスでの第1のイベントの発生を検出するように構成され、第1のイベントがイベントの第1のタイプであるという判定に従って、(例えば、アラート提供ユニット2915を用いて)デバイスのアラート顕著性設定に少なくとも部分的に基づいて選択された第1の触覚構成要素を含む第1のアラートを触感出力生成器を用いて提供する。第1のイベントがイベントの第2のタイプであるという判定に従って、処理ユニット2905は、(例えば、アラート提供ユニット2915を用いて)デバイスのアラート顕著性設定とは無関係に選択された第2の触覚構成要素を含む第2のアラートを触感出力生成器を用いて提供するように構成される。いくつかの実施形態に従って、第1のアラートは、第2のアラートと異なる。
いくつかの実施形態に従って、デバイスのアラート顕著性設定に少なくとも部分的に基づいて選択された触覚構成要素を含む第1のアラートの提供は、(例えば、アラート顕著性判定ユニット2920を用いた)アラート顕著性設定の値の判定を含む。いくつかの実施形態に従って、アラート顕著性設定が第1の値を有するという判定に従って、(例えば、アラート提供ユニット2915によって提供された)第1のアラートは、第1の触覚構成要素及び第2の触覚構成要素を含む。いくつかの実施形態に従って、アラート顕著性設定が第1の値と異なる第2の値を有するという判定に従って、(例えば、アラート提供ユニット2915によって提供された)第1のアラートは、第1の触覚構成要素を含むが第2の触覚構成要素を含まない。いくつかの実施形態に従って、アラート顕著性設定の第1の値はオンであり、アラート顕著性設定の第2の値はオフである。いくつかの実施形態に従って、第2の触覚構成要素は、第1の触覚構成要素に先行する。
第1のイベントがイベントの第3のタイプであるという判定に従って、処理ユニット2905は、(例えば、アラート提供ユニット2915を用いて)デバイスのアラート顕著性設定に少なくとも部分的に基づいて選択された触覚構成要素を含む第3のアラートを提供するように構成される。いくつかの実施形態に従って、デバイスのアラート顕著性設定に少なくとも部分的に基づいて選択された触覚構成要素を含む第3のアラートを提供する処理ユニット2905は、(例えば、アラート顕著性判定ユニット2920を用いて)アラート顕著性設定の値を判定するように構成されている処理ユニット2905を含む。
いくつかの実施形態に従って、アラート顕著性設定が第1の値を有するという判定に従って、第3のアラートは、第3の触覚構成要素及び第4の触覚構成要素を含む。いくつかの実施形態に従って、アラート顕著性設定が第1の値と異なる第2の値を有するという判定に従って、第3のアラートは、第3の触覚構成要素を含むが第4の触覚構成要素を含まない。いくつかの実施形態に従って、第4の触覚構成要素は、第2の触覚構成要素と同じである。
いくつかの実施形態に従って、デバイスのアラート顕著性設定が第1の値を有している間に第1のアラートが検出されると、第1のイベントに応じて提供される第1のアラートは、第1の触覚構成要素及び第2の触覚構成要素を含み、第1のイベントに応じて提供される第2のアラートは、第2のアラートの触覚構成要素を含む(例えば、アラートは、アラート提供ユニット2915によって提供される)。いくつかの実施形態に従って、デバイスのアラート顕著性設定が第1の値を有している間、処理ユニット2905は、(例えば、設定変更ユニット2925を用いて)デバイスのアラート顕著性設定を第2の値に変更する要求を受信するように構成される。また、いくつかの実施形態に従って、アラート顕著性設定を第2の値に変更する要求の受信に応じて、処理ユニット2905は、(例えば、設定変更ユニット2925を用いて)アラート顕著性設定を第2の値に変更するように構成される。
いくつかの実施形態に従って、デバイスのアラート顕著性設定が第2の値を有している間、処理ユニット2905は、(例えば、検出ユニット2910を用いて)第2のイベントの発生を検出するように構成され、第2のイベントの発生の検出に応じて、第2のイベントがイベントの第1のタイプであるという判定に従って、処理ユニット2905は、(例えば、アラート提供ユニット2915を用いて)第1の触覚構成要素を含むが第2の触覚構成要素を含まない第3のアラートを提供するように構成される。いくつかの実施形態に従って、第2のイベントがイベントの第2のタイプであるという判定に従って、処理ユニット2905は、(例えば、アラート提供ユニット2915を用いて)第2のアラート触覚構成要素を含む第2のアラートを提供するように構成されている。
いくつかの実施形態に従って、処理ユニット2905は、アラート顕著性設定が第1の値を有するとき、(例えば、アラート提供ユニット2915を用いて)第1の複数のイベントクラス内のイベントに応じてトリガーされたアラート用の追加の触覚構成要素を提供するように構成されている。いくつかの実施形態に従って、処理ユニット2905は、アラート顕著性設定が第2の値を有するとき、第1の複数のイベントクラス内のイベントに応じてトリガーされたアラート用の追加の触覚構成要素を(例えば、アラート提供ユニット2915を用いて)提供しないように構成される。いくつかの実施形態に従って、処理ユニット2905は、アラート顕著性設定が第1の値又は第2の値を有することとは無関係に、第1の複数のイベントクラスとは異なる第2の複数のイベントクラス内のイベントに応じてトリガーされたアラート用の追加の触覚構成要素を(例えば、アラート提供ユニット2915を用いて)提供しないように構成される。
いくつかの実施形態に従って、イベントの第1のクラスは、他のユーザからの通信に基づいて生成されたイベントを含み、イベントの第2のクラスは、デバイスのユーザによって入力された定義済みの基準に基づいて生成されたイベントを含み、イベントの第3のクラスは、デバイスにモニタされる基準の達成に基づいて生成されたイベントを含む。いくつかの実施形態に従って、第1の触覚構成要素は、触覚出力間の間隔、触覚出力の数、及び触覚構成要素の間の経時的な触覚出力(例えば、アラート提供ユニット2915によって提供された出力)の振幅のうち少なくとも1つに基づいて、第2の触覚構成要素及び第3の触覚構成要素と異なる。
いくつかの実施形態に従って、デバイスは、(例えば、アラート提供ユニット2915によって提供された)異なるイベントに対応する複数の固有のアラートを有し、第1のイベントクラス、第2のイベントクラス、及び第3のイベントクラスは、固有のアラートに対応するイベントよりもより頻繁に通常は発生するイベントのタイプに対応する。
アプリケーション固有の触覚/オーディオ出力
アラート条件は、様々な異なるアプリケーションクラス(例えば、ファーストパーティのアプリケーション、サードパーティのアプリケーション)内でトリガーすることができ、様々なアプリケーション(例えば、電子メール、カレンダー、テキストメッセージ、決済アプリケーション、タイマアプリケーションなど)によってトリガーすることができ、多くの異なるコンテキスト(例えば、アクション成功、アクション失敗など)でトリガーすることができる。いくつかの実施形態に従って、どのアプリケーションクラスが、どのアプリケーションが、かつ/又はどのコンテキスト内で検出された条件が、検出されるのかが、対応する出力を生成する根拠となる。アプリケーションクラス、アプリケーション、及び/又はコンテキストに相関する触覚出力及び/又はオーディオ出力を提供することは、出力に対する触覚及びオーディオの種類分けを一貫させ、それゆえに、より効率的なヒューマン・マシン・インタフェースを生み出すことができ、それによって、ユーザが動作を実行するためにかかる時間を減らし、その結果として、エネルギー消費を減らし、デバイスに電力を供給するバッテリのバッテリ寿命を増大させる。
表12は、触覚出力及びオーディオ出力の両方を使用する出力の種類分けの一貫性の例として、様々なアプリケーションクラス、アプリケーション、及びコンテキストの概要を提供する。
Figure 2023040093000014
表12の最初の2行は、第1のアプリケーション、すなわち、ファーストパーティのアプリケーション、及び第2のアプリケーション、すなわち、サードパーティのアプリケーションを示す。それぞれのクラス内のアプリケーションに対して、アラートは、そのアプリケーションクラスに特有の波形変形を含むオーディオ出力構成要素と組み合わせたアプリケーションのクラスに対応する触覚出力構成要素であり、例えば、ファーストパーティのアプリケーションアラートは、第1の触覚構成要素及び第1のクラスの波形の変形例を含むが、その一方で、サードパーティのアプリケーションアラートは、第2の触覚構成要素及び第2のクラスの波形の変形例を含む。これにより、それぞれのアプリケーションクラスに関連付けられた一貫した触覚を維持することができる。しかし、ファーストパーティのアプリケーションはそれぞれ、それ自体の触覚を通常は有するが、その一方で、サードパーティのアプリケーションは、単一の触覚を通常は共用する。より具体的な例は、表13と併せて以下で検討される。
表12の第3行及び第4行は、単一のクラス(ファーストパーティのアプリケーション)内の2つの異なるアプリケーションを、任意のトリガ条件に基づいて示す。両方のアプリケーションは、ファーストパーティのアプリケーションクラスに対応する同じ(第1の)触覚出力をもたらすが、それぞれは、特定のアプリケーションと関連付けられた波形に対する波形変形例に対応する異なるオーディオ出力を有する。例えば、第1のアプリケーションは、第1のアプリケーションと関連付けられた波形変形例を伴う第1の触覚出力を、第1のアプリケーション内の異なる条件に対する異なる変形例と対にする。同様に、第2のアプリケーションは、第2のアプリケーションと関連付けられた波形変形例を伴う第1の触覚出力を、第2のアプリケーション内の異なる条件に対する異なる変形例と対にする。これにより、それぞれのアプリケーションと関連付けられた一貫した触覚を維持することができる。より具体的な例は、表14と併せて以下で検討される。
表12の最後の4行は、2つの異なる条件(成功、失敗)を、条件にわたって一貫した触覚出力及び特定のコンテキストに基づいて変化可能なオーディオ出力を伴って示す。例えば、成功の条件は、成功に関連付けられた一貫した第1の触覚を提供するが、その一方で、コンテキスト1は、コンテキスト1に関連付けられた第1のセットの波形を提供し、コンテキスト2は、コンテキスト2に関連付けられた第2のセットの波形を提供する。同様に、失敗の条件は、失敗に関連付けられた一貫した第1の触覚を提供するが、その一方で、コンテキスト1は、コンテキスト1に関連付けられた第1のセットの波形を提供し、コンテキスト2は、コンテキスト2に関連付けられた第2のセットの波形を提供する。これにより、それぞれの条件(成功、失敗)に関連付けられた一貫した触覚を維持することができる。より具体的な例は、表15と併せて以下で検討される。
いくつかの実施形態に従って、アラート条件がどのアプリケーション内でトリガーされるのかが、対応する出力を生成するための根拠となる。図30は、いくつかの実施形態による、第1の条件及び第2の条件を検出し、触覚出力及びオーディオ出力を含む対応するアラートを生成する方法3000のフロー図である。いくつかの実施形態では、図30に示した工程とは異なる工程を実施してもよいことに留意されたい。
本方法は、1つ又は2つ以上の触覚出力デバイス及び1つ又は2つ以上のオーディオ出力デバイスを有する電子デバイスで、第1の条件のデバイスでの発生を3005で検出することによって開始する。いくつかの実施形態に従って、第1の条件は、本明細書の他の部分に記載された様々なアラート条件のうち任意であってもよく、アプリケーションは、デバイス100上で実行している任意のアプリケーションであってもよい。例えば、いくつかの実施形態では、条件の発生は、数例を挙げると、通信の受信(例えば、外部発信元からのメッセージ)のうち1つ以上、ユーザからの入力(例えば、タッチ、音声、またはフィードバックに関連付けられた機械的入力)の検出、又はトリガ基準の達成の検出(例えば、アラームの期限、トレーニングの完了としてなど)を含む。いくつかの実施形態に従って、コンピューティングデバイス100は、ユーザ入力の受信用のタッチ感知ディスプレイを備える。
第1の条件の発生の検出に応じて、デバイス100は、アプリケーションの第1のクラス内のそれぞれのアプリケーションに対応する第1のアラートを3010で生成する。第1のアラートは、この例では、1つ又は2つ以上の触覚出力デバイスを介して出力される第1の触覚構成要素3012、及び1つ又は2つ以上のオーディオ出力デバイスを介して出力される第1のオーディオ構成要素3014を含む。この事例では、オーディオ構成要素は、アプリケーションの第1のクラス内のそれぞれのアプリケーションによる使用のために指定されたオーディオ波形から構成される。いくつかの実施形態では、アプリケーションの第1のクラスは、ファーストパーティのアプリケーションを含み、オーディオ構成要素は、それぞれのアプリケーション用のアラートを他のアプリケーション用のアラートから区別するために使用される固有のオーディオサンプルである。いくつかの実施形態に従って、第1の触覚出力は、コンピューティングデバイス100上のタッチ感知ディスプレイを介して提供される。
デバイス100はまた、第2の条件のデバイス100での発生を3015で、任意選択的にしばらく経過してから、検出する。第2の条件の発生の検出に応じて、デバイスは、アプリケーションの第1のクラスと異なるアプリケーションの第2のクラス内のそれぞれのアプリケーションに対応する第2のアラートを3020で生成し、第2のアラートは、1つ又は2つ以上の触覚出力デバイスを介して出力される第2の触覚構成要素3022と、1つ又は2つ以上のオーディオ出力デバイスを介して出力される第2のオーディオ構成要素3024と、を含む。この事例では、オーディオ構成要素は、アプリケーションの第2のクラス内のアプリケーションによる使用のために指定されたオーディオ波形から構成される。いくつかの実施形態では、アプリケーションの第2のクラスは、サードパーティのアプリケーションを含み、オーディオ構成要素は、サードパーティのアプリケーション用のアラートをファーストパーティのアプリケーション用のアラートから区別するために使用されるオーディオサンプルである。いくつかの実施形態に従って、第1の触覚出力は、コンピューティングデバイス100上のタッチ感知ディスプレイを介して提供される。
表13は、様々なアプリケーションクラス用のアラートに対応する例示的な触覚出力及びオーディオ出力を示す。この表の最初の3行は、第1のアプリケーションクラス、例えば、ファーストパーティのアプリケーションに対応するアラートを示す。ファーストパーティの電子メール、カレンダー、及びテキストメッセージアプリケーションのそれぞれに対して、出力は、第1のアプリケーションクラス(ファーストパーティのアプリケーション)に対応する第1の触覚出力及び第1のアプリケーションクラス(ファーストパーティのアプリケーション)に対応する波形インスタンスを含むオーディオ出力を含む。波形の変形例は、図31と併せて以下でより詳細に検討される。アプリケーションクラスに相関する触覚出力及びオーディオ出力を提供することにより、ユーザに、アプリケーションクラスに関連付けられた出力に対する種類分けにおいて一貫性が提供される。上記の表9及び表10はまた、ファーストパーティ及びサードパーティの両方のアラートの例を提供する。
同様に、この表の最後の3行は、第2のアプリケーションクラス、例えば、サードパーティのアプリケーションに対応するアラートを示す。サードパーティのメッセージ、通知、及びアラートのそれぞれに対して、出力は、いくつかの実施形態に従って、ファーストパーティのアプリケーションに対応する第1の触覚と異なる、第2のアプリケーションクラス(サードパーティのアプリケーション)に対応する第2の触覚出力及び第2のアプリケーションクラス(サードパーティのアプリケーション)に対応する波形インスタンスを含むオーディオ出力を含む。アプリケーションクラスに相関する触覚出力及びオーディオ出力を提供することにより、ユーザに、アプリケーションクラスに関連付けられた出力に対する種類分けにおいて一貫性が提供される。
Figure 2023040093000015
加えて、サードパーティのアプリケーションは、触覚出力の固有のセットを有するが、サードパーティのアプリケーションはまた、同じ触覚フィードバックのいくつかを共用できる。例えば、触覚/オーディオクリックなどの身体的フィードバックをシミュレートするアラート、又はスクロール可能なリストビューがディスプレイの端に到達したときに跳ね返るなどユーザインタフェース要素と連動して提供されるシミュレートされた跳ね返り(ゴムバンド様)効果を提供する触覚は、使用中のアプリケーションのクラスとは無関係に利用可能であると考えられる。アプリケーションがスクロール可能なリストを含む場合、出力は、アプリケーションのクラスとは無関係に、そのアクションに関するアプリケーション内での使用に利用可能である。
いくつかの実施形態に従って、本方法の第1のアラートを3010で生成することは、アラートがアプリケーションの第1のクラス内のそれぞれのアプリケーションに対応するという判定に従い、第2のアラートを3020で生成することは、アプリケーションの第1のクラスと異なるアプリケーションの第2のクラス内のそれぞれのアプリケーションに対応するという判定に従う。
いくつかの実施形態に従って、第1の触覚構成要素及び第2の触覚構成要素は、アプリケーションの第1のクラス及びアプリケーションの第2のクラスの両方に利用可能な1つ又は2つ以上の触覚波形から構成される。例えば、本明細書に記載された様々な波形のうち任意は、例えば、ミニタップ、マイクロタップ、タップ、正弦波などである。上述した図5は、様々な触覚波形形態の例を示す。
いくつかの実施形態に従って、デバイス100は、様々なアラートを3010、3020で生成するように構成されている。様々なアラートは、アプリケーションの第1のクラスには利用可能であり、アプリケーションの第2のクラスには利用できないオーディオ構成要素を含む2つ以上のアラートの第1のサブセットを含む。例えば、特定のオーディオ構成要素は、ファーストパーティのアプリケーションによる使用のために指定されてもよいが、サードパーティのアプリケーションによる使用には利用できない。異なるアラートはまた、アプリケーションの第2のクラスには利用可能であり、アプリケーションの第2のクラスによる使用のために指定されたオーディオ波形から構成されるオーディオ出力を含む2つ以上のアラートの第2のサブセットを含む。例えば、特定のオーディオ波形は、サードパーティのアプリケーションによる使用に特異的であってもよく、それゆえに、サードパーティのアプリケーションの一貫したオーディオ特性を提供する。上述した図6は、様々なオーディオ波形形態の例を示す。
いくつかの実施形態に従って、アラートの第2のサブセットは、アプリケーションの第2のクラスに関連付けられた同じそれぞれのオーディオサンプル(例えば、マイクロフォンを用いたサウンドの録音である自然オーディオサンプル又はデジタル的に生成された合成オーディオサンプル)に異なる変換を適用することによって生成された2つのアラートを含む。いくつかの実施形態では、2つのアラートは、アプリケーションの第2のクラスに関連付けられたそれぞれのオーディオサンプルに第1の変換を適用することによって生成されたオーディオ構成要素を含むアラートを含む。いくつかの実施形態では、このアラートは、アプリケーションの第2のクラス内の複数のアプリケーションに利用可能である。2つのアラートはまた、アプリケーションの第2のクラスに関連付けられたそれぞれのオーディオサンプルに第2の変換を適用することによって生成されたオーディオ構成要素を含む異なるアラートを任意選択的に含み、第1の変換は、第2の変換と異なる。いくつかの実施形態では、この異なるアラートは、アプリケーションの第2のクラス内の複数のアプリケーションに利用可能である。波形に適用された変換は、例えば、オーディオサンプルの振幅、継続時間、ピッチ、又は繰り返しの数を変化させることを含む。
同様に、いくつかの実施形態に従って、アラートの第1のサブセットは、アプリケーションの第1のクラス内の第1のアプリケーションと関連付けられた(同じ)それぞれのオーディオサンプルに異なる変換を適用することによって生成された2つのアラート含む。いくつかの実施形態では、2つのアラートは、アプリケーションの第1のクラス内の第1のアプリケーションと関連付けられたそれぞれのオーディオサンプルに第1の変換を適用することによって生成されたオーディオ構成要素を含むアラートを含む。いくつかの実施形態では、このアラートは、アプリケーションの第1のクラス内の複数のアプリケーションに利用可能である。いくつかの実施形態では、このアラートは、アプリケーションの第1のクラス内の第1のアプリケーションにのみ利用可能である。2つのアラートはまた、アプリケーションの第1のクラス内の第1のアプリケーションと関連付けられたそれぞれのオーディオサンプルに第2の変換を適用することによって生成されたオーディオ構成要素を含む異なるアラートを任意選択的に含み、第1の変換は、第2の変換と異なる。いくつかの実施形態では、この異なるアラートは、アプリケーションの第1のクラス内の複数のアプリケーションに利用可能である。いくつかの実施形態では、この異なるアラートは、アプリケーションの第1のクラス内の第1のアプリケーションにのみ利用可能である。
同様に、いくつかの実施形態に従って、アラートの第1のサブセットは、アプリケーションの第1のクラス内の第2のアプリケーションと関連付けられた同じそれぞれのオーディオサンプルに異なる変換を適用することによって生成された2つのアラートを含み、第2のアプリケーションと関連付けられたそれぞれのオーディオサンプルは、第1のアプリケーションと関連付けられたそれぞれのオーディオサンプルと異なる。例えば、第1のアプリケーション及び第2のアプリケーションはそれぞれ、アプリケーションに対する「種類分け」として役立つ特徴的なサウンドを有し、例えば、決済アプリケーションは、決済アプリケーション用の決済成功、決済失敗、及び口座有効化が認識可能に類似のサウンドを有するように、決済アプリケーションに固有のサウンドサンプルを用いて生成されたアラートを使用する。比較すると、バーチャルアシスタントアプリケーションは、バーチャルアシスタント成功、バーチャルアシスタント失敗、及びバーチャルアシスタント準備完了の全てが、決済アプリケーション用のアラートの認識可能な類似のサウンドと異なる認識可能な類似のサウンドを持つように、バーチャルアシスタントアプリケーションに固有のサウンドサンプルを用いて生成されたアラートを使用する。いくつかの実施形態では、2つのアラートは、アプリケーションの第1のクラス内の第2のアプリケーションと関連付けられたそれぞれのオーディオサンプルに第1の変換を適用することによって生成されたオーディオ構成要素を含むアラートを含む。いくつかの実施形態では、このアラートは、アプリケーションの第1のクラス内の複数のアプリケーションに利用可能である。いくつかの実施形態では、このアラートは、アプリケーションの第1のクラス内の第2のアプリケーションにのみ利用可能である。2つのアラートはまた、アプリケーションの第1のクラス内の第2のアプリケーションと関連付けられたそれぞれのオーディオサンプルに第2の変換を適用することによって生成されたオーディオ構成要素を含む異なるアラートを任意選択的に含み、第1の変換は、第2の変換と異なる。いくつかの実施形態では、この異なるアラートは、アプリケーションの第1のクラス内の複数のアプリケーションに利用可能である。いくつかの実施形態では、この異なるアラートは、アプリケーションの第1のクラス内の第2のアプリケーションにのみ利用可能である。
いくつかの実施形態に従って、アラート条件がどのアプリケーション内でトリガーされるのかが、対応する出力を生成するための根拠となる。表14は、単一のアプリケーションクラス(ファーストパーティのアプリケーション)内の2つの異なるアプリケーション(電子メール、決済)用のアラートに対応する例示的な触覚及びオーディオ出力を示す。この表の最初の3行は、第1のアプリケーション、例えば、電子メールに対応するアラートを示す。電子メール条件の電子メール受信、電子メール送信、及び電子メール削除のそれぞれに対して、出力は、第1のアプリケーションクラス(ファーストパーティのアプリケーション)に対応する第1の触覚及び電子メールアプリケーションに対応する波形インスタンスを含むオーディオ出力を含む。それぞれの電子メールアプリケーションの条件は、電子メールの波形の波形変形例、すなわち、第1のアプリケーションの波形1、2、3を有する。波形変形例は、図31と併せて以下でより詳細に検討される。電子メールアプリケーションに相関するオーディオ出力を提供することにより、ユーザに、電子メールアプリケーションと関連付けられた出力に対する種類分けにおいて一貫性が提供される。
同様に、この表の最後の3行は、第2のアプリケーション、例えば、決済に対応するアラートを示す。決済条件の決済成功、決済失敗、口座有効化のそれぞれに対して、出力は、第1のアプリケーションクラス(ファーストパーティのアプリケーション)に対応する第1の触覚及び決済アプリケーションに対応する波形インスタンスを含むオーディオ出力を含む。それぞれの決済アプリケーションの条件は、決済の波形の波形変形例、すなわち、第2のアプリケーションの波形1、2、3を有する。決済アプリケーションに相関するオーディオ出力を提供することにより、ユーザに、決済アプリケーションと関連付けられた出力に対する種類分けにおいて一貫性が提供される。
Figure 2023040093000016
いくつかの実施形態に従って、アラートの第2のサブセットは、アプリケーションの第1のクラスに利用できない。例えば、ファーストパーティのアプリケーションは、サードパーティのアプリケーションのアラートサウンドを使用することはできず、任意選択的に逆も同様である。いくつかの実施形態に従って、アラートの第1及び第2のサブセットの両方は、両方のサードパーティのアプリケーションが共用触覚構成要素を使用してもよいように、アプリケーションの第1のクラス及びアプリケーションの第2のクラスに利用可能な触覚構成要素を含む。
いくつかの実施形態に従って、異なるアラートは、アプリケーションの第2のクラス及びアプリケーションの第1のクラスに利用可能な、例えば、両方が共同使用のために指定されている、オーディオ構成要素を含む2つ以上のアラートの第3のサブセットを含む。例えば、触覚/オーディオクリックなどの身体的フィードバックをシミュレートするアラート、又はスクロール可能なリストビューがディスプレイの端に到達したときに跳ね返るなどユーザインタフェース要素と連動して提供されるシミュレートされた跳ね返り(ゴムバンド様)効果を提供する触覚は、使用中のアプリケーションのクラスとは無関係に利用可能であると考えられる。アプリケーションがスクロール可能なリストを含む場合、出力は、アプリケーションのクラスとは無関係に、そのアクションに関するアプリケーション内での使用に利用可能である。したがって、サードパーティのアプリケーションは、表13と併せて先に指摘したように、触覚アラートの固有のセットを有するが、サードパーティのアプリケーションはまた、同じ触覚フィードバックのいくつかを共用できる。
いくつかの実施形態に従って、1つ又は2つ以上のオーディオ出力デバイスを介して出力される第1のオーディオ構成要素は、アプリケーションの第1のクラス(例えば、ファーストパーティのアプリケーション)内の第1のアプリケーション(例えば、決済アプリケーション)による使用のために指定されたオーディオ波形から構成される。例えば、オーディオ構成要素は、任意選択的に、第1のアプリケーション用のアラートを他のアプリケーション用のアラートから区別するために使用される固有のオーディオサンプルである。いくつかの実施形態に従って、1つ又は2つ以上のオーディオ出力デバイスを介して出力される第1のオーディオ構成要素は、アプリケーションの第1のクラス(例えば、ファーストパーティのアプリケーション)内の第2のアプリケーション(例えば、バーチャルアシスタントアプリケーション)による使用のために指定されたオーディオ波形から構成される。例えば、オーディオ構成要素は、任意選択的に、第2のアプリケーション用のアラートを他のアプリケーション用のアラートから区別するために使用される固有のオーディオサンプルである。
いくつかの実施形態に従って、1つ又は2つ以上のオーディオ出力デバイスを介して出力される第2のオーディオ構成要素は、アラートがアプリケーションの第2のクラス(例えば、ファーストパーティのアプリケーション)内の第3のアプリケーション(例えば、決済アプリケーション)に対応するとき、アプリケーションの第2のクラス内のアプリケーションによる使用のために指定されたオーディオ波形から構成される。例えば、オーディオ構成要素は、任意選択的に、第1のアプリケーション用のアラートを他のアプリケーション用のアラートから区別するために使用される固有のオーディオサンプルである。
いくつかの実施形態に従って、1つ又は2つ以上のオーディオ出力デバイスを介して出力される第1のオーディオ構成要素は、アラートがアプリケーションの第2のクラス(例えば、ファーストパーティのアプリケーション)内の第2のアプリケーション(例えば、バーチャルアシスタントアプリケーション)に対応するとき、アプリケーションの第2のクラス内のアプリケーションによる使用のために指定されたオーディオ波形から構成される。例えば、オーディオ構成要素は、第1のアプリケーション用のアラートを他のアプリケーション用のアラートから区別するために使用される固有のオーディオサンプルである。
図30における動作について説明された特定の順序は単なる例示であり、説明された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書に記載された動作の順序換えをする様々な方法を認識するであろう。加えて、本明細書に記載の他の方法(例えば、方法700、900、1000、1100、1200、1300、2500、2600、及び3200)に関して本明細書に記載の他のプロセスの詳細はまた、図30に関連して上述された方法3000に類似の方法で適用可能であることも留意されたい。例えば、方法3000を参照して上述した入力、アラート条件、アプリケーション、及び触覚出力は、本明細書に記載された他の方法(例えば、方法700、900、1000、1100、1200、1300、2500、2600、及び3200)を参照して本明細書に記載された入力、アラート条件、アプリケーション、及び触覚出力の特性のうち1つ又は2つ以上を、任意選択的に有する。簡潔性のために、これらの詳細は、ここでは繰り返さない。
図31は、いくつかの実施形態による、波形の様々な事例を示す。波形は、触覚又はオーディオであり得る。図に示すように、波形3105は、その特徴に関連付けられた特定の振幅3110、並びに全継続時間3115及び波形の特徴間の頻度3120を有する。波形3125は、振幅3110には影響しないが、より長い全継続時間3130及び波形の特徴間のより低い頻度3135をもたらす変換を適用した波形3105である。波形3410は、両方の振幅3145に影響し、より短い全継続時間3150及び波形の特徴間のより高い頻度31555をもたらす変換を適用した波形3105である。
上述したこれらの変換された波形に関連して、波形3105は、特定のアプリケーションクラス又はアプリケーションとの使用に指定される。例えば、いくつかの実施形態に従って、決済アプリケーションは、オーディオ波形3105に関連付けられている。この例では、アラートは、波形インスタンス3125がその決済成功を示し、波形インスタンス3140が決済失敗を示し、波形インスタンス3105が決済アプリケーション用の口座有効化を示すように、決済アプリケーションに固有のサウンドサンプルを用いて生成される。それぞれの波形インスタンス3105、3125、3140は、波形3105の同じサウンドサンプルに基づくため、3つ全ては、ユーザが決済アプリケーションと関連付けることとなる認識可能な類似のサウンドを有する。
いくつかの実施形態に従って、アラート条件がどのコンテキスト内でトリガーされるのかが、対応する出力を生成するための根拠となる。コンテキストに相関する触覚出力及び/又はオーディオ出力を提供することは、出力に対する触覚及びオーディオの種類分けにおける一貫性を可能にし、それゆえに、より効率的なヒューマン・マシン・インタフェースを生み出し、それによって、ユーザが動作を実行するためにかかる時間を減らし、その結果として、エネルギー消費を減らし、デバイスに電力を供給するバッテリのバッテリ寿命を増大させる。図32は、くつかの実施形態による、第1及び第2のコンテキストにおいて第1の条件を検出し、触覚出力及びオーディオ出力を含む対応するアラートを生成するための方法3200のフロー図である。いくつかの実施形態では、図32に示した工程とは異なる工程を実施してもよいことに留意されたい。
本方法は、1つ又は2つ以上の触覚出力デバイス及び1つ又は2つ以上のオーディオ出力デバイスを有する電子デバイス100で、デバイスでの第1のコンテキストにおける第1の条件の発生を3205で検出することによって開始する。例えば、条件は、失敗条件であり、失敗イベントのコンテキストは、その失敗イベントが第1のアプリケーションで発生したことである。いくつかの実施形態に従って、条件の発生は、数例を挙げると、通信の受信(例えば、外部発信元からのメッセージ)、ユーザからの入力(例えば、タッチ、音声、又はフィードバックに関連付けられた機械的入力)の検出、及びトリガ基準の達成の検出(例えば、アラームの期限、トレーニングの完了としてなど)のうち1つ又は2つ以上を含む。いくつかの実施形態に従って、コンピューティングデバイス100は、ユーザ入力の受信用のタッチ感知ディスプレイを備える。
第1のコンテキストでの第1の条件の発生の検出に応じて、デバイス100は、発生した条件の種類(例えば、失敗イベントが発生した)を示す第1の触覚構成要素3212、及び第1の条件が第1のコンテキスト(例えば、特定のアプリケーション内で発生したことを示す第1のオーディオ構成要素3214を含む、第1の条件に対応する第1のアラートを3210で生成する。いくつかの実施形態に従って、第1の触覚出力は、コンピューティングデバイス100上のタッチ感知ディスプレイを介して提供される。
デバイス100はまた、第1のコンテキストと異なる第2のコンテキストでの(例えば、第1のアプリケーションと異なる第2のアプリケーションでの)第1の条件の発生を3215で検出する。第2のコンテキストでの第1の条件の発生の検出に応じて、デバイス100は、第1の条件が発生したことを示す第1の触覚構成要素3212、例えば、第2のアプリケーションコンテキストでの失敗に対応する同じ触覚構成要素、及び第1のコンテキストと異なる第2のコンテキストで発生した第1の条件を示す、第1のオーディオ構成要素と異なる第2のオーディオ構成要素3222を含む、第1の条件に対応する第2のアラートを3220で生成する。例えば、失敗イベントは、第1のアプリケーションと異なる第2のアプリケーションで発生した、又は失敗イベントは、失敗した動作を実施するための別の要求をユーザが提出する選択肢を含み、それゆえに、出力のオーディオ部分は、第1のコンテキストでの同じ条件(失敗)の出力のオーディオ部分と異なる。
いくつかの実施形態に従って、本方法の第1のアラートを3210で生成することは、アラートが第1のコンテキストで発生した第1の条件に対応するという判定に従い、第2のアラートを3220で生成することは、第1の条件が第2のコンテキストで発生したという判定に従う。
条件(例えば、失敗)に対する一貫した触覚を維持することによって、触覚波形は、意味論的意味を有する。同様に、条件に関連付けられた触覚の意味は、オーディオ構成要素の意味論的意味とは無関係である。例えば、触覚に対してよりもオーディオに対してより広いダイナミックレンジがあるため、オーディオアラートは、いくつかの実施形態による触覚アラートに対するコンテキストを提供する。
いくつかの実施形態に従って、本方法は、第1及び第2のコンテキストと異なる第3のコンテキストで、デバイスで第1の条件(例えば、失敗)の発生を3230で検出することを更に含む。第3のコンテキストにおけるデバイスでの第1の条件の発生の検出に応じて、デバイス100は、発生した条件の種類を示す第1の触覚構成要素3212(例えば、失敗イベントが発生したことを示す同じ触覚構成要素)、及び第3のコンテキストで発生した第1の条件(例えば、第1のアプリケーションと異なる第3のアプリケーションで発生した失敗イベント)を示す、第1のオーディオ構成要素及び第2のオーディオ構成要素と異なる第3のオーディオ構成要素3242を含む、第3のコンテキストでの第1の条件に対応する第3のアラートを3240で生成する。いくつかの実施形態に従って、本方法の第3のアラートを3240で生成することは、アラートが第3のコンテキストで発生した第1の条件に対応するという判定に従う。
いくつかの実施形態に従って、アラート条件がトリガーされたコンテキストが、対応する出力を生成するための根拠となる。表13は、2つの異なるアプリケーションクラスにわたる、異なるコンテキストでの、2つの異なる条件(成功、失敗)に対するアラートに対応する例示的な触覚及びオーディオ出力を示す。この表の最初の2行は、第1の条件(成功)に対応するアラートを示す。成功のそれぞれのコンテキスト(決済アプリケーション、電子メールアプリケーション)に対して、出力は、条件(成功)に対応する第1の触覚、及び成功のコンテキスト(決済、メッセージ送信)に対応する波形インスタンスを含むオーディオ出力を含む。
この表の第3行及び第4行は、第2の条件(失敗)に対応するアラートを示す。失敗のそれぞれのコンテキスト(決済アプリケーション、電子メールアプリケーション)に対して、出力は、条件(失敗)に対応する第2の触覚、及び成功のコンテキスト(決済、メッセージ送信)に対応する波形インスタンスを含むオーディオ出力を含む。
この表の最初の4行はまた、第1のアプリケーションクラス、すなわち、ファーストパーティのアプリケーションに対応する。表の最後の2行は、アプリケーションの第2のクラス、例えば、サードパーティのアプリケーションのコンテキストでの成功及び失敗の条件に対応するアラートを示す。この例では、アプリケーションは、同じであるが、オーディオ出力は、変化する。なぜなら、提供されたオーディオは、アプリケーションクラスをコンテキストとして使用し、条件(成功、失敗)に対応する触覚を伴う第2のクラスの波形1、2を提供するからである。コンテキストとは無関係に条件(成功、失敗)と一貫して相関する触覚出力を提供することによって、ユーザは、条件に関連付けられた出力に対する種類分けにおける一貫性が提供され、触覚に対してよりもオーディオに対してより広いダイナミックレンジがあるため、オーディオアラートは、触覚アラートに対するコンテキストを提供する。
Figure 2023040093000017
いくつかの実施形態に従って、第1の触覚構成要素は、ユーザによって要求された動作の発生が失敗したことを示し、第1のオーディオ構成要素は、第1のアプリケーションで動作の発生が失敗したこと(例えば、ファーストパーティの決済アプリケーションを用いる決済の失敗)を示し、第2のオーディオ構成要素は、第2のアプリケーションでの動作の発生が失敗したこと(例えば、サードパーティのメッセージングアプリケーションでのメッセージ送信の失敗)を示す。したがって、触覚構成要素は、共用され、オーディオ構成要素は、失敗が発生したアプリケーションに基づいて変化する。
いくつかの実施形態に従って、第1の触覚構成要素は、ユーザによって要求された動作の発生が成功したことを示し、第1のオーディオ構成要素は、第1のアプリケーションでの動作が発生したこと(例えば、ファーストパーティの決済アプリケーションを用いる成功した決済)を示し、第2のオーディオ構成要素は、動作が第2のアプリケーションで発生したことを示す。(例えば、サードパーティのメッセージングアプリケーションにおいて送信が成功したメッセージ)。したがって、触覚構成要素は、共用され、オーディオ構成要素は、成功が発生したアプリケーションに基づいて変化する。いくつかの実施形態に従って、第1のオーディオ構成要素は、第1のアプリケーションによる使用のために指定されたオーディオ波形に基づいて生成される。いくつかの実施形態では、第1のアプリケーションによる使用のために指定されたオーディオ波形はまた、例えば、図30と併せて先により詳細に記載したように、第1のアプリケーションに対応するアラート用の他のオーディオ構成要素を生成するために使用される。第2のオーディオ構成要素は、第1のアプリケーションと異なる第2のアプリケーションによる使用のために指定されたオーディオ波形に基づいて生成される。いくつかの実施形態では、第2のアプリケーションによる使用のために指定されたオーディオ波形はまた、例えば、図30と併せて先により詳細に記載したように、第2のアプリケーションに対応するアラート用の他のオーディオ構成要素を生成するために使用される。
いくつかの実施形態に従って、第1のオーディオ構成要素は、アプリケーションの第1のクラス内のアプリケーションによる使用のために指定されたオーディオ波形に基づいて生成される。いくつかの実施形態では、ファーストパーティのアプリケーションによる使用のために指定されたオーディオ波形はまた、例えば、図30と併せて先により詳細に記載したように、ファーストパーティのアプリケーションに対応するアラート用の他のオーディオ構成要素を生成するために使用される。第2のオーディオ構成要素は、アプリケーションの第1のクラスと異なるアプリケーションの第2のクラス内のアプリケーションによる使用のために指定されたオーディオ波形に基づいて生成される。いくつかの実施形態では、サードパーティのアプリケーションによる使用のために指定されたオーディオ波形はまた、例えば、図30と併せて先により詳細に記載したように、サードパーティのアプリケーションに対応するアラート用の他のオーディオ構成要素を生成するために使用される。
いくつかの実施形態に従って、デバイスは、複数の異なる条件及び複数の異なるコンテキストに応じて触覚構成要素及びオーディオ構成要素を含むアラートを提供するように構成される。例えば、第1の条件は、第1の触覚構成要素によって表され、第1の条件と異なる第2の条件は、第1の触覚構成要素と異なる第2の触覚構成要素によって表される。いくつかの実施形態では、第1の触覚構成要素と第2の触覚構成要素とは、異なる継続時間、強度、又は波形を有するため、異なっている。いくつかの実施形態では、第1のオーディオ構成要素と第2のオーディオ構成要素とは、異なる数の一連の触覚出力を含むため、異なっている。いくつかの実施形態に従って、第1のコンテキストは、第1のオーディオ構成要素によって表され、第1のコンテキストと異なる第2のコンテキストは、第1のオーディオ構成要素と異なる第2のオーディオ構成要素によって表される。いくつかの実施形態では、第1のオーディオ構成要素と第2のオーディオ構成要素とは、異なるオーディオサンプルに基づくため、異なっている。いくつかの実施形態では、第1のオーディオ構成要素と第2のオーディオ構成要素とは、異なる数の連続した楽譜を含むため、異なっている。
いくつかの実施形態に従って、第1の条件は、要求された動作の成功を示し、第1の触覚構成要素は、第1のオーディオ構成要素内の特徴と位置合わせされた一連の触覚出力を含む。例えば、位置合わせは、同期している、互いに模倣している、かつ/又は互いに反映している触覚出力とオーディオ出力との間の特徴、例えば、触覚構成要素内の個別の触覚出力は、オーディオ構成要素内の連続した楽譜に対応して生成されることを意味してもよい。例えば、いくつかの実施形態に従って、触覚出力は、オーディオ構成要素内の連続した楽譜の直前又は連続した楽譜の間に提供される。いくつかの実施形態に従って、第1の条件は、要求された動作の失敗を示し、第1の触覚構成要素は、第1のオーディオ構成要素内の形状と位置合わせされていない、例えば、触覚構成要素内の触覚出力は、オーディオ構成要素内の連続した楽譜に対応せずに生成される。例えば、オーディオ構成要素内の複数の連続した楽譜にわたって延在する連続する触覚出力が提供される。
いくつかの実施形態に従って、第1の条件は、要求された動作の成功を示し、第1の触覚構成要素は、第2のオーディオ構成要素内の形状と位置合わせされた一連の触覚出力を含み、例えば、触覚構成要素内の個別の触覚出力は、オーディオ構成要素内の連続した楽譜に対応して生成される。例えば、いくつかの実施形態に従って、触覚出力は、オーディオ構成要素内の連続した楽譜の直前又は連続した楽譜の間に提供される。いくつかの実施形態に従って、第1の条件は、要求された動作の失敗を示し、第1の触覚構成要素は、第2のオーディオ構成要素内の形状と位置合わせされていない、例えば、触覚構成要素内の触覚出力は、オーディオ構成要素内の連続した楽譜に対応せずに生成される。例えば、いくつかの実施形態に従って、オーディオ構成要素内の複数の連続した楽譜にわたって延在する連続する触覚出力が提供される。
図6と併せて論じたように、それぞれの触覚出力は、対応するオーディオ出力が付随してもよく、それぞれの触覚出力の少なくとも一部と併用されるそれぞれのオーディオ出力の少なくとも一部を伴ってもよく、又は、それぞれのオーディオ出力は、それぞれの触覚出力及びそれぞれのオーディオ出力が知覚的に同時であるか、または同期するように、それぞれの触覚出力に時間的に近接して起こる。触覚波形及びオーディオ波形は、完全に位置合わせする必要はなく、デバイスは、触覚出力及びオーディオ出力の特定のクラスに対して、触覚出力及びオーディオ出力が時間的にややずれていたとしてもユーザに同時であるか、又は同調していると知覚されることとなる事実を考慮してもよい(例えば、オーディオ出力は、触覚出力よりもすばやく処理されるため、オーディオ出力を提供する前に触覚出力を提供することは、場合によっては、オーディオ出力及び触覚出力が同時又は同調して起きているとしてユーザに知覚させることとなる)。
図32における動作について説明された特定の順序は単なる例示であり、説明された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書に記載された動作の順序換えをする様々な方法を認識するであろう。加えて、本明細書に記載の他の方法(例えば、方法700、900、1000、1100、1200、1300、2500、2600、及び3000)に関して本明細書で記載されている他のプロセスの詳細はまた、図32に関連して上述されている方法3000に類似の方法で適用可能であることも留意されたい。例えば、方法3000を参照して上述した入力、アラート条件、アプリケーション、及び触覚出力は、本明細書に記載された他の方法(例えば、方法700、900、1000、1100、1200、1300、2500、2600、及び3000)を参照して本明細書に記載された入力、アラート条件、アプリケーション、及び触覚出力の特性のうち1つ又は2つ以上を、任意選択的に有する。簡潔性のために、これらの詳細は、ここでは繰り返さない。
図33aは、いくつかの実施形態による、様々な触覚波形及びオーディオ波形が、時間的に離れている図及び一致している図の両方を示す。触覚波形3305及びオーディオ波形3310は、例えば、アラート用出力として一緒に使用することができる。混合出力3315で図示するように、触覚波形3305及びオーディオ波形3310は、位置合わせされておらず、触覚に続いてオーディオ、続いて触覚、続いてオーディオのようにユーザによって知覚されることとなる。しかし、触覚波形3305及びオーディオ波形3310は、混合出力3325において図示しするように一緒に使用されるとき、位置合わせさが完璧ではなかったとしても、オーディオ出力は、触覚出力と同時であるとユーザによって知覚されるように、位置合わせされる。
図33bは、いくつかの実施形態による、様々な触覚波形及びオーディオ波形が、時間的に重なっている図を示す。いくつかの実施形態に従って、触覚波形3330は、例えば、失敗イベント用の触覚波形である。いくつかの実施形態に従って、失敗触覚3330は、長く続くバズである。失敗触覚3330が異なるオーディオ出力と併せて使用されるとき、図32と併せて記載したように、異なる失敗のタイプ及び又は異なるコンテキストにおける失敗を知らせる。オーディオ波形3335は、サードパーティのオーディオ波形を表し、この例では、リーン・リーン・ダンのように聞こえる失敗オーディオサンプルである。混合出力3340に示すように、触覚波形3330及びオーディオ波形3335は、位置合わせされている。オーディオ波形3345は、異なるサードパーティのオーディオ波形を表し、この例では、ダン・ダン・ダンのように聞こえる再試行オーディオサンプルである。これは、サードパーティのオーディオ波形の変形として失敗オーディオ波形3335に類似したオーディオサンプルであるが、ある形体及び異なる3番目の形体の2つよりもむしろ類似した3つの形体を有する。失敗触覚3330と組み合わせると、組み合わせ波形3350が生じる。組み合わせた波形3350は、失敗触覚3330を共用するが、コンテキスト、それゆえにオーディオ波形3335由来のオーディオ出力が異なる。
図33cは、いくつかの実施形態による、様々な触覚波形及びオーディオ波形が、時間的に重なっている図を示す。いくつかの実施形態に従って、触覚波形3330は、例えば、図33bのような失敗イベント用の同じ触覚波形である。失敗触覚3330は、異なる2つのファーストパーティのオーディオ波形(3355、3365)と併せて使用されて、異なるが関連した2つのファーストパーティのアラートを生成する。オーディオ波形3355は、ダ・ダン、ダ・ダンのように聞こえる決済失敗オーディオサンプル用のファーストパーティのオーディオ波形を表す。組み合わせた出力3360は、位置合わせさした触覚波形3330及びオーディオ波形3335を示す。オーディオ波形3365は、ファーストパーティのオーディオ波形を表し、この例では、ダ・ダン、ダ・ダン、ダ・ダンのように聞こえるパスコードエントリ失敗オーディオサンプルである。失敗触覚3330と組み合わせたとき、組み合わせた波形3370が生じる。組み合わせた波形3370は、失敗触覚3330を共用するが、コンテキストにおいて、それゆえに、オーディオ波形3355由来のオーディオ出力において異なる。
図30及び図32を参照して上述した動作は、任意選択的に、図1A及び図1B及び図34及び図35に示す構成要素により実施される。図34は、説明される様々な実施形態の原理に従って構成されたデバイス100の、例示的な機能ブロック図を示す。図34で説明される機能ブロックが、説明される様々な実施形態の原理を実施するように任意選択的に組み合わされ、又はサブブロックに分離されることが当業者には理解されよう。したがって、本明細書における説明は、本明細書で説明されている機能ブロックのあらゆる可能な組み合わせまたは分割、又は更なる定義を任意選択的に支持する。
図34に示すように、デバイス100は、アプリケーションを表示するように構成された表示ユニット3401、ユーザ接触を受信するように構成されたタッチ感知面ユニット3403、並びに表示ユニット3401及びタッチ感知面ユニット3403に連結された処理ユニット3405を含む。いくつかの実施形態では、処理ユニット3405は、検出ユニット3410及びアラート生成ユニット3415を含む。
以下の段落[0594]~[0602]は、図34に例示したデバイス100によって、個別に又は任意の組み合わせで実施されてもよい異なる実施形態を説明する。
処理ユニット3405は、1つ又は2つ以上の触覚出力デバイスを備えた電子デバイスで、(例えば、検出ユニット3410を用いて)デバイスでの第1の条件の発生を検出するように構成され、その発生の検出に応じて、任意選択的に、アラートがアプリケーションの第1のクラス内のそれぞれのアプリケーションに対応するという判定に従って、(例えば、アラート生成ユニット3415を用いて)アプリケーションの第1のクラス内のそれぞれのアプリケーションに対応する第1のアラートを生成する。処理ユニット3405はまた、(例えば、検出ユニット3410を用いて)デバイスでの第2の条件の発生を検出し、応じて、(例えば、アラート生成ユニット3415を用いて)アプリケーションの第1のクラスと異なるアプリケーションの第2のクラス内のそれぞれのアプリケーションに対応する第2のアラートを生成するように構成され、第2のアラートは、1つ又は2つ以上の触覚出力デバイスを介して出力される第2の触覚構成要素、及びアプリケーションの第2のクラス内のアプリケーションによる使用のために指定されたオーディオ波形から構成される、1つ又は2つ以上のオーディオ出力デバイスを介して出力される第2のオーディオ構成要素、を含む。
いくつかの実施形態に従って、第1の触覚構成要素及び第2の触覚構成要素は、アプリケーションの第1のクラス及びアプリケーションの第2のクラスの両方に利用可能な1つ又は2つ以上の触覚波形から構成される。
いくつかの実施形態に従って、デバイス100は、(例えば、アラート生成ユニット3415によって)複数の異なるアラートを生成するように構成される。複数の異なるアラートは、アプリケーションの第1のクラスに利用可能であるがアプリケーションの第2のクラスに利用できないオーディオ構成要素を含む2つ以上のアラートの第1のサブセットを含み、複数の異なるアラートは、アプリケーションの第2のクラスに利用可能であり、アプリケーションの第2のクラスによる使用のために指定されたオーディオ波形から構成されるオーディオ構成要素を含む2つ以上のアラートの第2のサブセットを含む。
いくつかの実施形態に従って、アラートの第2のサブセットは、アプリケーションの第2のクラスに関連付けられたそれぞれのオーディオサンプルに異なる変換を適用することによって(例えば、アラート生成ユニット3415によって)生成された2つのアラートを含む。いくつかの実施形態に従って、アラートの第1のサブセットは、アプリケーションの第1のクラス内の第1のアプリケーションと関連付けられたそれぞれのオーディオサンプルに異なる変換を適用することによって(例えば、アラート生成ユニット3415によって)生成された2つのアラートを含む。
いくつかの実施形態に従って、アラートの第1のサブセットは、アプリケーションの第1のクラス内の第2のアプリケーションと関連付けられたそれぞれのオーディオサンプルに異なる変換を適用することによって(例えば、アラート生成ユニット3415によって)生成された2つのアラートを含み、第2のアプリケーションと関連付けられたそれぞれのオーディオサンプルは、第1のアプリケーションと関連付けられたそれぞれのオーディオサンプルと異なる。いくつかの実施形態に従って、アラートの第2のサブセットは、アプリケーションの第1のクラスに利用できない。
いくつかの実施形態に従って、(例えば、アラート生成ユニット3415によって生成された)2つ以上のアラートの第1のサブセットは、アプリケーションの第1のクラス及びアプリケーションの第2のクラスに利用可能な触覚構成要素を含み、2つ以上のアラートの第2のサブセットは、アプリケーションの第2のクラス及びアプリケーションの第1のクラスに利用可能な触覚構成要素を含む。
いくつかの実施形態に従って、(例えば、アラート生成ユニット3415によって生成された)複数の異なるアラートは、アプリケーションの第2のクラス及びアプリケーションの第1のクラスに利用可能なオーディオ構成要素を含む、2つ以上のアラートの第3のサブセットを含む。
いくつかの実施形態に従って、(例えば、アラート生成ユニット3415によって)1つ又は2つ以上のオーディオ出力デバイスを介して出力される第1のオーディオ構成要素は、アプリケーションの第1のクラス内の第1のアプリケーションによる使用のために指定されたオーディオ波形から構成され、1つ又は2つ以上のオーディオ出力デバイスを介して出力される第1のオーディオ構成要素は、アプリケーションの第1のクラス内の第2のアプリケーションによる使用のために指定されたオーディオ波形から構成される。
いくつかの実施形態に従って、(例えば、アラート生成ユニット3415によって)1つ又は2つ以上のオーディオ出力デバイスを介して出力される第2のオーディオ構成要素は、アプリケーションの第2のクラス内のアプリケーションによる使用のために指定されたオーディオ波形から構成され、1つ又は2つ以上のオーディオ出力デバイスを介して出力される第1のオーディオ構成要素は、アラートがアプリケーションの第2のクラス内の第2アプリケーションに対応するとき、アプリケーションの第2のクラス内のアプリケーションによる使用のために指定されたオーディオ波形から構成される。
図35は、説明される様々な実施形態の原理に従って構成されたデバイス100の、例示的な機能ブロック図を示す。図35で説明される機能ブロックが、説明される様々な実施形態の原理を実施するように任意選択的に組み合わされ、又はサブブロックに分離されることが当業者には理解されよう。したがって、本明細書における説明は、本明細書で説明されている機能ブロックのあらゆる可能な組み合わせまたは分割、又は更なる定義を任意選択的に支持する。
図35に示すように、デバイス100は、アプリケーションを表示するように構成された表示ユニット3501、ユーザ接触を受信するように構成されたタッチ感知面ユニット3503、並びに表示ユニット3501及びタッチ感知面ユニット3503に連結された処理ユニット3505を含む。いくつかの実施形態では、処理ユニット3505は、検出ユニット3510及びアラート生成ユニット3515を含む。
以下の段落[0606]~[0615]は、図35に例示したデバイス100によって、個別に又は任意の組み合わせで実施することができる様々な実施形態を説明する。
処理ユニット3505は、1つ又は2つ以上の触覚出力デバイスを備えた電子デバイスで、(例えば、検出ユニット3510を用いて)第1のコンテキストでの第1の条件の発生を検出するように構成され、その発生の検出に応じて、(例えば、アラート生成ユニット3515を用いて)発生した条件の種類を示す第1の触覚構成要素、及び第1の条件が第1のコンテキストで発生したことを示す第1のオーディオ構成要素を含む第1の条件に対応する第1のアラートを生成する。
処理ユニット3505はまた、(例えば、検出ユニット3510を用いて)第1のコンテキストと異なる第2のコンテキストでの第1の条件のデバイスでの発生を検出するように構成され、その発生の検出に応じて、(例えば、アラート生成ユニット3515を用いて)第1の条件が発生したことを示す第1の触覚構成要素、及び第1の条件が第1のコンテキストと異なる第2のコンテキストで発生したことを示す、第1のオーディオ構成要素と異なる第2のオーディオ構成要素を含む第1の条件に対応する第2のアラートを生成する。
処理ユニット3505はまた、(例えば、検出ユニット3510を用いて)第1及び第2のコンテキストと異なる第3のコンテキストのデバイスでの第1の条件のデバイスでの発生を検出するように構成され、第3のコンテキストのデバイスでの第1の条件の発生の検出に応じて、(例えば、アラート生成ユニット3515を用いて)発生した条件の種類を示す第1の触覚構成要素、及び第1の条件が2番目の第3のコンテキストで発生したことを示す、第1のオーディオ構成要素及び第2のオーディオ構成要素と異なる第3のオーディオ構成要素を含む第3のコンテキストにおける第1の条件に対応する第3のアラートを生成する。
いくつかの実施形態に従って、第1の触覚構成要素は、ユーザによって要求された動作の発生が失敗したことを示し、第1のオーディオ構成要素は、動作の第1のアプリケーションでの発生が失敗したことを示し、第2のオーディオ構成要素は、動作の第2のアプリケーションでの発生が失敗したことを示す。
いくつかの実施形態に従って、第1の触覚構成要素は、ユーザによって要求された動作の発生が成功したことを示し、第1のオーディオ構成要素は、動作が第1のアプリケーションで発生したことを示し、第2のオーディオ構成要素は、動作が第2のアプリケーションで発生したことを示す。
いくつかの実施形態に従って、第1のオーディオ構成要素は、第1のアプリケーションによる使用のために指定されたオーディオ波形に基づいて生成され、第2のオーディオ構成要素は、第1のアプリケーションと異なる第2のアプリケーションによる使用のために指定されたオーディオ波形に基づいて生成される。
いくつかの実施形態に従って、第1のオーディオ構成要素は、アプリケーションの第1のクラス内のアプリケーションによる使用のために指定されたオーディオ波形に基づいて生成され、第2のオーディオ構成要素は、アプリケーションの第1のクラスと異なるアプリケーションの第2のクラス内のアプリケーションによる使用のために指定されたオーディオ波形に基づいて生成される。
いくつかの実施形態に従って、デバイスは、複数の異なる条件及び複数の異なるコンテキストに応答する触覚構成要素及びオーディオ構成要素を含むアラートを(例えば、アラート生成ユニット3515を用いて)提供するように構成され、第1の条件は、第1の触覚構成要素によって示され、第1の条件と異なる第2の条件は、第1の触覚構成要素と異なる第2の触覚構成要素によって示され、第1のコンテキストは、第1のオーディオ構成要素によって示され、第1のコンテキストと異なる第2のコンテキストは、第1のオーディオ構成要素と異なる第2のオーディオ構成要素によって示される。
いくつかの実施形態に従って、第1の条件は、要求された動作の成功を示し、第1の触覚構成要素は、第1のオーディオ構成要素内の形体と位置合わせされた一連の触覚出力を含み、第1の条件は、要求された動作の失敗を示し、第1の触覚構成要素は、(例えば、アラート生成ユニット3515によって生成される)第1のオーディオ構成要素内の形体と位置合わせされていない。
いくつかの実施形態に従って、第1の条件は、要求された動作の成功を示し、第1の触覚構成要素は、第2のオーディオ構成要素内の形体と位置合わせされた一連の触覚出力を含み、第1の条件は、要求された動作の失敗を示し、第1の触覚構成要素は、第2のオーディオ構成要素内の形体と位置合わせされていない。
前述の説明は、説明の目的上、特定の実施形態を参照して説明されている。しかしながら、上記の例示的な論考は、網羅的であること、又は本発明を、開示される厳密な形態に限定することを意図するものではない。上記の教示を鑑みて、多くの修正及び変形が可能である。本発明の原理及びその実際的な応用を最良の形で説明し、それによって他の当業者が、想到される特定の用途に好適な様々な改良で本発明及び様々な実施形態を最良の形で使用することを可能とするために、これらの実施形態を選択し説明した。
本明細書中に記載される工程、動作、又はプロセスのいずれも、1つ以上のハードウェア又はソフトウェアモジュールにより、単独でまたは他のデバイスと組み合わせて実行又は実装してもよい。いくつかの実施形態では、ソフトウェアモジュールは、記載した工程、動作、又はプロセスの一部又は全部を実行するためのコンピュータプロセッサによって実行され得るコンピュータプログラムコードを含む、コンピュータ可読媒体を含むコンピュータプログラム製品に実装される。
本発明の実施形態は、本明細書において動作を実施するための装置にも関する。この装置は、必要な目的のために特別に構築されてもよく、かつ/又はコンピュータに記憶されたコンピュータプログラムにより選択的に作動されるかまたは再構成される汎用コンピューティングデバイスを含んでもよい。かかるコンピュータプログラムは、有形コンピュータ可読記憶媒体又は電子命令の記憶に適した任意の種類の媒体に記憶することができ、コンピュータシステムバスに連結することができる。更に、本明細書で言及された任意のコンピューティングシステムは、単一のプロセッサを含んでもよく、又は高度なコンピューティング機能向けのマルチプロセッサを含む設計を採用するアーキテクチャであってもよい。
本発明の実施形態は、また、搬送波に組み込まれるコンピュータデータ信号に関連し得る。コンピュータデータ信号は、本明細書中に記載されるコンピュータプログラム製品の任意の実施形態又は他のデータの組み合わせを含む。コンピュータデータ信号は、有形媒体又は搬送波中に存在し、搬送波中で変調又は更には符号化される製品であり、有形であり、任意の適切な送信方法に従い送信される。
最後に、本明細書において使用される文言は、専ら読みやすさ及び説明の目的で選択されたものであり、本発明の主題を限定又は制限するために選択されたものではない。本発明の範囲は、この発明を実施する形態によってではなく、むしろ本明細書に基づく出願において発行するいずれかの特許請求の範囲によって制限されるものとする。したがって、本発明の実施形態の開示は、以下の特許請求の範囲に記載される本発明の範囲を例示することを目的としたものであって、その限定を目的としたものではない。

Claims (196)

  1. コンピューティングデバイス上で実行される、プロセッサによって実行される方法であって、
    前記コンピューティングデバイス上で実行中のアプリケーションと関連付けられたアラート条件を検出することと、
    前記アラート条件を検出したことに応じて、
    前記アラート条件と関連付けられた時期における、前記アプリケーションと関連付けられた状態を判定することと、
    前記アラート条件と関連付けられた前記時期に前記アプリケーションがアクティブ状態にあったという判定に従って、前記アラート条件の発生を表す第1の触覚出力であって、出力特性の第1のセットを有する、第1の触覚出力を提供することと、
    前記アラート条件と関連付けられた前記時期に前記アプリケーションが非アクティブ状態にあったという判定に従って、前記アラート条件の前記発生を表す第2の触覚出力であって、出力特性の第2のセットを有する前記第2の触覚出力を提供することと、
    を含み、前記第2の触覚出力が前記第1の触覚出力とは異なる、方法。
  2. 前記アラート条件と関連付けられた時期における、前記アプリケーションと関連付けられた前記状態を判定することが、前記アプリケーション用のユーザインタフェースが、前記アラート条件と関連付けられた前記時期に前記デバイスのタッチスクリーンに表示されたかどうかを判定することを含む、請求項1に記載の方法。
  3. 前記アラート条件の前記時期における、前記アプリケーションと関連付けられた前記状態を判定することが、前記アプリケーションに対するユーザ入力であって、前記アラート条件とは異なるユーザ入力が、前記アラート条件をトリガーしたかどうかを判定することを含む、請求項1に記載の方法。
  4. 検出されたユーザ入力に基づいて、前記アラート条件の前記時期に前記アプリケーションが前記アクティブ状態にあったと判定することと、
    前記アラート条件の前記時期における、前記ユーザ入力と関連付けられたユーザ関与のレベルを判定することと、
    前記判定された関与のレベルに基づいて、前記第1の触覚出力の前記出力特性の第1のセットのうちの1つ以上を判定することと、
    を更に含む、請求項3に記載の方法。
  5. 前記アラート条件と関連付けられた時期における、前記アプリケーションと関連付けられた状態を判定することが、前記アラート条件と関連付けられた前記時期に前記アプリケーションが前記タッチスクリーンコンピューティングデバイス上で実行中だったかどうかを判定することを含み、
    前記アプリケーションが前記アクティブ状態にあったと判定することが、前記アラート条件と関連付けられた前記時期に前記アプリケーションが前記タッチスクリーンコンピューティングデバイス上のフォアグランドで実行中であったと判定することを含み、
    前記アプリケーションが前記非アクティブ状態にあったと判定することが、前記アプリケーションが前記タッチスクリーンコンピューティングデバイス上で実行中でなかったか、又は前記アラート条件と関連付けられた前記時期に前記タッチスクリーンコンピューティングデバイス上のバックグランドで実行中であったと判定することを含む、請求項1又は2に記載の方法。
  6. 前記アプリケーションに対応するそれぞれのユーザインタフェースウィンドウが、前記デバイス上のマルチアプリケーションウィンドウユーザインタフェースに1つ以上の他のユーザインタフェースウィンドウと同時に表示され、
    前記アラート条件と関連付けられた前記時期における、前記アプリケーションと関連付けられた前記状態を判定することが、前記アプリケーションに対応する前記それぞれのユーザインタフェースウィンドウが、前記アラート条件と関連付けられた前記時期に前記マルチアプリケーションウィンドウユーザインタフェースの前記フォアグランドに表示されたかどうかを判定することを含む、請求項1から5のいずれか一項に記載の方法。
  7. 1つ以上の他のユーザインタフェースウィンドウが、前記アラート条件と関連付けられた前記時期に、前記デバイス上でマルチアプリケーションウィンドウユーザインタフェースに同時に表示され、
    前記アラート条件と関連付けられた前記時期における、前記アプリケーションと関連付けられた前記状態を判定することが、前記アプリケーションに対応するそれぞれのユーザインタフェースウィンドウが、前記アラート条件と関連付けられた前記時期に前記マルチアプリケーションウィンドウユーザインタフェースに表示されたかどうかを判定することを含む、請求項1から5のいずれか一項に記載の方法。
  8. 前記アラート条件が、前記アプリケーションによって自動的にトリガーされるイベント、前記デバイスの外部のソースから前記アプリケーションによって受信される自動開始イベント通知、又は前記デバイスを操作しているユーザ以外の人間ユーザから前記アプリケーションによって受信される手動開始イベント通知に対応する、請求項1から7のいずれか一項に記載の方法。
  9. 前記第1の触覚出力が第1のオーディオ出力を伴い、
    前記第2の触覚出力が第2のオーディオ出力を伴い、
    前記第1の触覚出力が前記第2の触覚出力と同一であり、
    前記第1のオーディオ出力が前記第2のオーディオ出力とは異なる、請求項1から8のいずれか一項に記載の方法。
  10. 前記第1の触覚出力がオーディオ出力を伴い、
    前記第2の触覚出力が前記オーディオ出力を伴い、
    前記第1の触覚出力が前記第2の触覚出力とは異なる、請求項1から8のいずれか一項に記載の方法。
  11. 前記第2の触覚出力がオーディオ出力に伴い、前記第2の触覚出力の波形が、前記付随オーディオ出力の波形に基づいて生成され、ミラーリングし、及び同期する、請求項1から8のいずれか一項に記載の方法。
  12. 前記第1の触覚出力がオーディオ出力を伴わず、
    前記第2の触覚出力がオーディオ出力を伴う、請求項1から8のいずれか一項に記載の方法。
  13. 前記第1の触覚出力が前記第2の触覚出力と類似している、請求項12に記載の方法。
  14. 前記第2の触覚出力が前記第1の触覚出力よりも高い強度を有する、請求項1から8、12又は13のいずれか一項に記載の方法。
  15. 前記特性の第1のセットが、前記第1の触覚出力の振幅、期間、規則性、反復周波数、又は触覚的特徴の選択のうちの1つ以上を含む、請求項1から8、12、又は13のいずれか一項に記載の方法。
  16. 前記第2の触覚出力が前記第1の触覚出力とは異なり、前記第1の触覚出力よりも高い強度を有する、請求項1から8、12、又は13のいずれか一項に記載の方法。
  17. 前記アラート条件と関連付けられた時期における、前記アプリケーションと関連付けられた前記状態を判定することが、前記アラート条件と関連付けられた前記時期における前記タッチスクリーンコンピューティングデバイスの状態を判定することを含み、
    前記アプリケーションが前記アクティブ状態にあったと判定することが、前記アラート条件と関連付けられた前記時期に前記タッチスクリーンコンピューティングデバイスがアクティブであったと判定することを含み、
    前記アプリケーションが前記非アクティブ状態にあったと判定することが、前記アラート条件と関連付けられた前記時期に前記タッチスクリーンコンピューティングデバイスが非アクティブであったと判定することを含む、請求項1に記載の方法。
  18. 前記第1及び第2のセット特性が、前記タッチスクリーンコンピューティングデバイスのデバイスタイプに対応する、請求項1又は17に記載の方法。
  19. 第1の時点において、前記アプリケーションが前記アクティブ状態にある間に、前記アプリケーションと関連付けられた第1のアラート条件を検出することと、
    前記第1のアプリケーションが前記アクティブ状態にある間に前記第1のアラート条件を検出したことに応じて、前記第1のアラート条件を表す第1の出力を提供することと、
    第2の時点において、前記第1のアプリケーションが非アクティブ状態にある間に、第2のアラート条件を検出することと、
    前記アプリケーションが前記非アクティブ状態にある間に前記第2のアラート条件を検出したことに応じて、前記第2のアラート条件を表す、前記第1の触覚出力とは異なる前記第2の触覚出力を提供することと、
    を更に含む、請求項1から8、12、13、17、又は18のいずれか一項に記載の方法。
  20. 前記デバイスがタッチ感知ディスプレイを有し、
    前記第1の触覚出力及び前記第2の触覚出力が、前記コンピューティングデバイス上のタッチ感知ディスプレイを介して提供される、請求項1から8、12、13、17、18、又は19のいずれか一項に記載の方法。
  21. 実行されると、請求項1から20のうちの一項に記載のステップをプロセッサに実行させる実行可能なコードを記憶する非一時的コンピュータ可読記憶媒体を備えるコンピュータプログラム製品。
  22. ディスプレイと、
    タッチ感知面と、
    請求項1から20のいずれか一項を実行する手段と、
    を備えるコンピュータプログラム製品。
  23. ディスプレイとタッチ感知面とを有する電子デバイスで使用するための情報処理装置であって、
    請求項1から20のいずれか一項を実行する手段を備えるコンピュータプログラム製品。
  24. コンピューティングデバイス上で実行されるプロセッサによって実行される方法であって、
    アプリケーションと関連付けられたアラート条件の発生を検出することと、
    前記アラート条件の前記発生を検出したことに応じて、
    前記アラート条件が手動開始イベントによってトリガーされたかどうかを判定することと、
    前記アラート条件が手動開始イベントによってトリガーされたという判定に従って、手動開始イベント通知に対応する第1の触覚出力を提供することと、
    前記アラート条件が自動開始イベントによってトリガーされたという判定に従って、自動開始イベント通知に対応する第2の触覚出力であって、前記第1の触覚出力とは異なる、第2の触覚出力を提供することと、
    を含む方法。
  25. 前記アラート条件が手動開始イベントによってトリガーされたと判定することが、前記アラート条件が人間ユーザによって開始されたイベントに対応するかどうかを判定することを含む、請求項24に記載の方法。
  26. 前記アラート条件が手動開始イベントによってトリガーされたことを前記アラート条件特性が示すと判定することが、前記アラート条件が、前記コンピューティングデバイスのユーザ以外の人間ユーザによって開始されたイベントに対応するかどうかを判定することを含む、請求項24又は25に記載の方法。
  27. 前記アラート条件が手動開始イベントによってトリガーされたと判定することが、前記アラート条件が人間ユーザから受信した入力に対応するかどうかを判定することを含み、前記入力が前記コンピューティングデバイスのユーザを特定し、前記入力が、前記コンピューティングデバイスの前記ユーザに前記入力について注意を促す前記人間ユーザからの合図を含む、請求項24又は25に記載の方法。
  28. 前記アラート条件が自動開始イベントによってトリガーされたと判定することが、前記アラート条件が前記アプリケーションによって自動的にトリガーされたか、又は前記デバイスの外部のソースから前記アプリケーションによって受信された自動開始イベント通知だったと判定することを含む、請求項24に記載の方法。
  29. 前記アラート条件が自動開始イベントによってトリガーされたと判定することが、前記アラート条件が、所定の時期に発生するか、又は所定のトリガー条件の充足について報告すると判定することを含む、請求項24又は28に記載の方法。
  30. 前記アラート条件が自動開始イベントによってトリガーされたという判定に従って、
    前記自動開始イベントが前記デバイスの外部で発生している自動開始イベントに対応するかどうかを判定し、
    前記自動開始イベントが、前記デバイスの外部で発生しているイベントに対応するという判定に従って、外部で発生している自動開始イベントの通知に対応する、前記第2の触覚出力の第1の変形例を提供し、
    前記自動開始イベントが、前記デバイス内で開始されたイベントに対応するという判定に従って、内部で生成された自動開始イベントの通知に対応する、前記第2の触覚出力の第2の変形例を提供する、請求項24又は29に記載の方法。
  31. 前記判定することが、前記アラート条件が手動開始イベントによってトリガーされたという判定に従って、
    前記手動開始イベントと関連付けられた緊急度を判定することと、
    前記緊急度に基づいて前記第1の触覚出力の強度を変調することと、
    を更に含む、請求項24から27のいずれか一項に記載の方法。
  32. 前記アラート条件が手動開始イベントによってトリガーされたという判定に従って、
    前記手動開始イベントと関連付けられた1つ以上のコンテキスト属性を判定することと、
    前記1つ以上のコンテキスト属性に基づいて前記第1の触覚出力の強度を変調することと、
    を更に含む、請求項24から27のいずれか一項に記載の方法。
  33. 前記アラート条件が自動開始イベントによってトリガーされたという判定に従って、
    前記自動開始イベントと関連付けられた1つ以上のコンテキスト属性を判定するために、前記アラート条件と関連付けられた特性を分析することと、
    前記1つ以上のコンテキスト属性に基づいて前記第2の出力の強度を変調することと、
    を更に含む、請求項24、28から30のいずれか一項に記載の方法。
  34. 前記アラート条件が自動開始イベントによってトリガーされたという判定に従って、
    前記自動開始イベントと関連付けられた時変性緊急度を判定することと、
    前記時変性緊急度を示すために、指定された時間窓にわたって前記第2の触覚出力の強度を変調することと、
    を更に含む、請求項24、28から30のいずれか一項に記載の方法。
  35. 前記第1の触覚出力が第1のオーディオ出力を伴い、
    前記第2の触覚出力が第2のオーディオ出力を伴い、
    前記第1の触覚出力が前記第2の触覚出力と類似しており、
    前記第1のオーディオ出力が前記第2のオーディオ出力とは異なる、請求項24から34のいずれか一項に記載の方法。
  36. 前記第1の触覚出力が第1のオーディオ出力を伴い、
    前記第2の触覚出力が第2のオーディオ出力を伴い、
    前記第1のオーディオ出力が前記第2のオーディオ出力と類似しており、
    前記第1の触覚出力が前記第2の触覚出力とは異なる、請求項24から34のいずれか一項に記載の方法。
  37. 前記第1の触覚出力が第1のオーディオ出力を伴い、
    前記第2の触覚出力がオーディオ出力を伴わない、請求項24から34のいずれか一項に記載の方法。
  38. 前記第1の触覚出力が前記第2の触覚出力と類似している、請求項37に記載の方法。
  39. 前記手動開始イベント通知に対応する前記第1の触覚出力の強度が、前記自動開始イベント通知に対応する前記第2の触覚出力よりも高い、請求項24から34のいずれか一項に記載の方法。
  40. 前記第1の触覚出力が、前記第1の触覚出力の振幅と、前記第1の触覚出力の期間と、前記第1の触覚出力と関連付けられた規則性と、前記第1の触覚出力における触覚的特徴の反復周波数と、前記第1の触覚出力を成す触覚的特徴の選択と、のうちの1つ以上を含む特性の第1のセットによって特徴付けられ、
    前記第2の触覚出力が、前記第2の触覚出力の振幅と、前記第2の触覚出力の期間と、前記第2の触覚出力と関連付けられた規則性と、前記第2の触覚出力における触覚的特徴の反復周波数と、前記第2の触覚出力を成す触覚的特徴の選択と、のうちの1つ以上を含む特性の第2のセットによって特徴付けられる、請求項24から39のいずれか一項に記載の方法。
  41. 第1の人間送信者からの着信電子メールメッセージに対応する第1のアラート条件を検出することと、
    前記着信電子メールメッセージが手動開始イベントに対応すると判定したことに応じて、前記第1の触覚出力を提供することと、
    第2の人間送信者からの着信テキストメッセージに対応する第2のアラート条件を検出することと、
    前記着信テキストメッセージが手動開始イベントに対応すると判定したことに応じて、前記第1の触覚出力を提供することと、
    を更に含む、請求項24に記載の方法。
  42. 前記デバイスがタッチ感知ディスプレイを有し、
    前記第1の触覚出力及び前記第2の触覚出力が、前記コンピューティングデバイス上のタッチ感知ディスプレイを介して提供される、請求項24から41のいずれか一項に記載の方法。
  43. コンピューティングデバイス上で実行されるプロセッサによって実行される方法であって、
    アプリケーションと関連付けられたアラート条件の発生を検出することと、
    前記アラート条件の前記発生を検出したことに応じて、
    前記アラート条件が、前記ユーザと関連付けられた連絡先一覧内の送信者からの個人的な通信に対応するかどうかを判定することと、
    前記アラート条件が、前記ユーザと関連付けられた連絡先一覧内の送信者からの個人的な通信に対応するという判定に従って、個人的なアラート通知に対応する第1の触覚出力を提供することと、
    前記アラート条件が、前記ユーザと関連付けられた連絡先一覧内の送信者からの個人的な通信に対応しないという判定に従って、自動アラート通知に対応する第2の触覚出力を提供することと、
    を含み、前記第1の触覚出力の規模が前記第2の触覚出力よりも大きい、方法。
  44. 実行されると、請求項24から43のうちの一項に記載のステップをプロセッサに実行させる実行可能なコードを記憶する非一時的コンピュータ可読記憶媒体を備えるコンピュータプログラム製品。
  45. ディスプレイと、
    タッチ感知面と、
    請求項24から43のいずれか一項を実行する手段と、
    を備えるコンピュータプログラム製品。
  46. ディスプレイとタッチ感知面とを有する電子デバイスで使用するための情報処理装置であって、
    請求項24から43のいずれか一項を実行する手段を備えるコンピュータプログラム製品。
  47. コンピューティングデバイス上で実行されるプロセッサによって実行される方法であって、
    アプリケーションに対するユーザ入力を受信することと関連付けられた第1のアラート条件を前記コンピューティングデバイスで検出することと、
    前記第1のアラート条件を検出したことに応じて、第1の強度を有し、前記ユーザ入力に対応する第1の触覚出力を前記アプリケーションに提供することと、
    前記第1の触覚出力を提供した後に、前記アプリケーションにおける所定のシステムイベントを受信することと関連付けられた第2のアラート条件を検出することと、
    前記第2のアラート条件を検出したことに応じて、前記第1の強度よりも大きい第2の強度を有し、前記所定のシステムイベントに対応する第2の触覚出力を提供することと、含む方法。
  48. 前記第1の触覚出力が、前記ユーザ入力に直接応じて、かつ前記ユーザ入力の結果として提供されるフィードバックである、請求項47に記載の方法。
  49. 前記第2のアラート条件が、前記アプリケーションによって自動的にトリガーされるイベント、前記アプリケーションによって受信される自動開始イベント通知、又は前記アプリケーションによって受信される手動開始イベント通知に対応する、請求項47又は48に記載の方法。
  50. 入力に基づく変調条件が存在するかどうかを判定することと、
    入力に基づく変調条件が存在すると判定したことに応じて、前記第1の触覚出力を提供する前に、前記第1の触覚出力を修正することと、
    を更に含む、請求項47から49のいずれか一項に記載の方法。
  51. それぞれのアラート条件を検出することと、
    前記それぞれのアラート条件が前記コンピューティングデバイス上で受信したそれぞれのユーザ入力から生じたと判定することと、
    前記検出されたユーザ入力と関連付けられたユーザ関与の程度を特定することと、
    ユーザ関与の前記程度に基づいて前記第1の触覚出力の前記第1の信号強度を変調することと、
    を更に含む、請求項47から49のいずれか一項に記載の方法。
  52. それぞれのアラート条件を検出することと、
    前記それぞれのアラート条件が、前記デバイス上で触感ユーザ入力を受信したことから生じたと判定することと、
    前記触感ユーザ入力を受信した前記デバイス上の位置を特定することと、
    前記触感ユーザ入力を受信した前記デバイス上の前記位置の指定半径閾値内で、指定された割合の前記第1の触覚出力の触覚エネルギーよりも大きな触覚エネルギーを提供することによって前記第1の触覚出力の空間触覚エネルギープロファイルを変調することと、
    を更に含む、請求項47から49のいずれか一項に記載の方法。
  53. それぞれのアラート条件を検出することと、
    前記それぞれのアラート条件が、前記デバイスで触感ユーザ入力を受信したことから生じたと判定することと、
    前記触感ユーザ入力を受信した前記デバイス上の前記位置で知覚できるように前記第1の触覚出力の触覚エネルギーの前記振幅を低減することによって、前記第1の触覚出力の空間触覚エネルギープロファイルを変調することと、
    を更に含む、請求項47から49のいずれか一項に記載の方法。
  54. 前記触感ユーザ入力を受信した前記デバイス上の前記位置が時間とともに変わり、
    前記触感ユーザ入力を受信した前記時変性位置に対応する前記空間触覚エネルギーが、時間とともに変わる、請求項53に記載の方法。
  55. それぞれのアラート条件を検出することと、
    前記それぞれのアラート条件が、触感ユーザ入力を受信したことから生じたと判定することと、前記触感ユーザ入力の時変的な形態学的特性を特定することと、
    前記第1の触覚出力の形態学的特性を時間とともに修正して前記触感ユーザ入力の前記時変的な形態学的特性を模倣することと、
    を更に含む、請求項47から49のいずれか一項に記載の方法。
  56. 前記時変的な形態学的特性が、前記触感ユーザ入力と前記コンピューティングデバイスのタッチ感知面との間の時間依存型接触圧プロファイルを含み、
    前記修正することが、前記第1の触覚出力のプロファイルを時間とともに変調して、前記触感ユーザ入力と前記コンピューティングデバイスの前記タッチ感知面との間の前記時間依存型接触圧プロファイルを模倣することを含む、請求項55に記載の方法。
  57. それぞれのアラート条件を検出することと、
    前記それぞれのアラート条件が持続的なユーザ入力から生じたと判定することと、
    前記判定したことに応じて、前記持続的なユーザ入力の開始時期に前記第1の触覚出力を開始することと、
    前記持続的なユーザ入力の終了を検出することと、
    前記持続的なユーザ入力の終了時期に前記第1の触覚出力を終了することと、
    を更に含む、請求項47から49のいずれか一項に記載の方法。
  58. 周囲条件に基づく変調条件が存在するかどうかを判定することと、
    周囲条件に基づく変調条件が存在すると判定したことに応じて、前記第2の触覚出力を提供する前に、前記第2の触覚出力を修正することと、
    を更に含む、請求項47から57のいずれか一項に記載の方法。
  59. それぞれのアプリケーションと関連付けられたそれぞれのアラート条件を検出することと、
    前記それぞれのアラート条件が、ユーザ入力を受信したことから生じたものでないと判定することと、
    前記それぞれのアラート条件が、ユーザ入力を受信したことから生じたものでないと判定したことに応じて、
    前記それぞれのアラート条件の発生時に、1つ以上の周囲条件が触覚出力に対する潜在的干渉として前記デバイスに対して存在するかどうかを判定することと、
    干渉する周囲条件が前記デバイスに対して存在しないという判定に従って、前記ユーザの受容力の状態に基づいてそれぞれの第2の触覚出力を提供することと、
    1つ以上の周囲条件が触覚出力に対する潜在的干渉として前記デバイスに対して存在するという判定に従って、前記ユーザに対する前記それぞれの第2の出力の提供を遅らせることと、
    を更に含む、請求項47、49、又は50のいずれか一項に記載の方法。
  60. それぞれのアプリケーションと関連付けられたそれぞれのアラート条件を検出することと、
    前記それぞれのアラート条件が、ユーザ入力を受信したことから生じたものでないと判定することと、
    前記それぞれのアラート条件が、ユーザ入力を受信したことから生じたものでないと判定したことに応じて、
    前記それぞれのアラート条件の発生時に、1つ以上の周囲条件が触覚出力に対する潜在的干渉として前記デバイスに対して存在するかどうかを判定することと、
    干渉する周囲条件が前記デバイスに対して存在しないという判定に従って、出力特性の第1のセットを有する前記第2の触覚出力の第1の変形例を前記ユーザに提供することと、
    1つ以上の周囲条件が触覚出力に対する潜在的干渉として前記デバイスに対して存在するという判定に従って、出力特性の前記第1のセットとは異なる第2のセットを有し、前記第2の触覚出力の前記第1の変形例よりも高い強度を有する前記第2の触覚出力の第2の変形例を前記ユーザに提供することと、
    を更に含む、請求項47、49、又は50のいずれか一項に記載の方法。
  61. それぞれのアプリケーションと関連付けられたそれぞれのアラート条件を検出することと、
    前記それぞれのアラート条件が、ユーザ入力を受信したことから生じたものでないと判定することと、
    前記それぞれのアラート条件が、ユーザ入力を受信したことから生じたものでないと判定したことに応じて、
    前記デバイスを操作しているユーザの関与レベルを前記第2の触覚出力に対して高めるためのプライミング触覚出力であって、少なくとも一部分が前記第2の触覚出力よりも大きく発声される、プライミング触覚出力を、前記第2の触覚出力の前兆として提供することと、
    前記プライミング触覚出力の提供に続き、かつ指定された時間間隔内に前記第2の触覚出力を提供することと、
    を更に含む、請求項47、49、又は50のいずれか一項に記載の方法。
  62. 前記プライミング触覚出力が、時間とともに次第に高まる前記触覚構成要素の強度によって特徴付けられる時変的な波形形態を有するプライミング触覚構成要素を含む、請求項61に記載の方法。
  63. 前記プライミング触覚出力が、強調された触覚的特徴に続いて次第に減少する前記触覚構成要素の強度によって特徴付けられる時変的な波形形態を有するプライミング触覚構成要素を含む、請求項61に記載の方法。
  64. 前記第2の触覚出力が前記プライミング触覚出力に先行し、
    前記第1の触覚出力が、対応する先行プライミング触覚出力なしで、受信したユーザ入力から生じる対応アラート条件に応じて直接提供される、請求項61に記載の方法。
  65. 前記プライミング触覚出力の特性が、前記アラート条件と関連付けられた緊急性又はコンテキストに基づいて選択される、請求項61に記載の方法。
  66. 第1のアプリケーションと関連付けられたアプリケーションユーザインタフェースに表示されたユーザインタフェース要素のユーザ選択に対応する第1のアラート条件を検出することと、
    前記第1のアラート条件に応じて、ユーザインタフェース要素の前記ユーザ選択を表すそれぞれの第1の触覚出力であって、第1の強度の第1の触覚的特徴と第1の期間とを含む第1の触覚構成要素を含む、それぞれの第1の触覚出力を提供することと、
    前記それぞれの第1の触覚出力を提供した後に、前記第1のアプリケーションによって受信されたアラート通知に対応する第2のアラート条件を検出することと、
    前記第2のアラート条件に応じて、前記アラート通知の受信を表すそれぞれの第2の触覚出力を提供することと、
    を更に含み、前記それぞれの第2の触覚出力が、第2の強度の第2の触覚的特徴と第2の期間とを含む第2の触覚構成要素を含み、前記それぞれの第2の触覚出力が、前記それぞれの第1の出力とは異なり、前記第2の触覚的特徴が前記第1の触覚的特徴よりも大きく発声されるか、前記第2の強度が前記第1の強度よりも大きいか、又は前記第2の期間が前記第1の期間よりも長い、ことに基づいて前記それぞれの第1の出力よりも大きく発声される、請求項47に記載の方法。
  67. 第1のアプリケーションと関連付けられた第1のアラート条件であって、それぞれのユーザ入力から生じた、第1のアラート条件を検出することと、
    前記第1のアラート条件を表すそれぞれの第1の触覚出力を提供することと、
    前記それぞれの第1の触覚出力を提供した後に、前記第1のアプリケーションと関連付けられた第2のアラート条件であって、ユーザ入力を受信したことから生じたものではない、第2のアラート条件を検出することと、
    前記第2のアラート条件を表すそれぞれの第2の触覚出力であって、前記それぞれの第1の出力とは異なり、前記それぞれの第1の出力よりも高い強度を有する、それぞれの第2の触覚出力を提供することと、
    を更に含む、請求項47に記載の方法。
  68. 前記第1の触覚出力が、前記第1の触覚出力の振幅と、前記第1の触覚出力の期間と、前記第1の触覚出力と関連付けられた規則性と、前記第1の触覚出力における触覚的特徴の反復周波数と、前記第1の触覚出力を成す触覚的特徴の選択と、のうちの1つ以上を含む特性の第1のセットを有し、
    前記第2の触覚出力が、前記第2の触覚出力の振幅と、前記第2の触覚出力と関連付けられた前記触覚構成要素の期間と、前記第2の触覚出力と関連付けられた規則性と、前記第2の触覚出力における触覚的特徴の反復周波数と、前記第2の触覚出力を成す触覚的特徴の選択と、のうちの1つ以上を含む特性の第2のセットを有する、請求項47から49、50から53、又は55 1のいずれか一項に記載の方法。
  69. 前記第1の触覚出力が第1のオーディオ出力を伴い、
    前記第2の触覚出力が第2のオーディオ出力を伴い、
    前記第1の触覚出力が前記第2の触覚出力と類似しており、
    前記第1のオーディオ出力が前記第2のオーディオ出力とは異なる、請求項47から68のいずれか一項に記載の方法。
  70. 前記第1の触覚出力が第1のオーディオ出力を伴い、
    前記第2の触覚出力が第2のオーディオ出力を伴い、
    前記第1のオーディオ出力が前記第2のオーディオ出力と類似しており、
    前記第1の触覚出力が前記第2の触覚出力とは異なる、請求項47から68のいずれか一項に記載の方法。
  71. 前記第1の触覚出力の前記第1の強度及び前記第2の触覚出力の前記第2の強度が、前記デバイス上の容量設定に対して逆相関的に更に調節される、請求項70に記載の方法。
  72. 前記第2の触覚出力がオーディオ出力を伴い、
    前記第1の触覚出力がオーディオ出力を伴わない、請求項47から68のいずれか一項に記載の方法。
  73. 前記コンピューティングデバイスが、前記ユーザ入力を受信するためのタッチ感知ディスプレイを含み、
    前記第1の触覚出力及び前記第2の触覚出力が、前記コンピューティングデバイス上の前記タッチ感知ディスプレイを介して提供される、請求項47から72のいずれか一項に記載の方法。
  74. 実行されると、請求項47から73のうちの一項に記載のステップをプロセッサに実行させる実行可能なコードを記憶する非一時的コンピュータ可読記憶媒体を備えるコンピュータプログラム製品。
  75. ディスプレイと、
    タッチ感知面と、
    請求項47から73のいずれか一項を実行する手段と、
    を備えるコンピュータプログラム製品。
  76. ディスプレイとタッチ感知面とを有する電子デバイスで使用するための情報処理装置であって、
    請求項47から73のいずれか一項を実行する手段を備えるコンピュータプログラム製品。
  77. コンピューティングデバイス上で実行されるプロセッサによって実行される方法であって、
    前記コンピューティングデバイス上で実行中のアプリケーションによって実行されたマルチパート動作の第1の一部に対応する入力を受信することと、
    前記マルチパート動作の前記第1の一部に対応する前記入力を受信したことに応じて、継続的な触覚出力シーケンスを開始することと、
    前記継続的な触覚出力シーケンスを開始した後に、前記マルチパート動作の第2の一部に対応する入力を受信することと、
    前記マルチパート動作の前記第2の一部に対応する前記入力を受信したことに応じて、前記継続的な触覚出力シーケンスを終了することと、
    を含む方法。
  78. 前記マルチパート動作の前記第1の一部に対応する前記入力が前記デバイスのタッチ感知面上で検出され、
    前記マルチパート動作の前記第2の一部に対応する前記入力が前記デバイスの前記タッチ感知面上で検出され、
    前記触覚出力シーケンスが前記タッチ感知面を介して提供される、請求項77に記載の方法。
  79. 前記マルチパート動作の前記第1の一部に対応する前記入力が前記デバイスによって検出され、
    前記マルチパート動作の前記第2の一部に対応する前記入力が第2のデバイスによって検出される、請求項77又は78に記載の方法。
  80. 前記マルチパート動作の前記第1の一部に対応する前記入力が前記デバイスによって検出され、
    前記マルチパート動作の前記第2の一部に対応する前記入力が前記デバイスによって検出される、請求項77又は78に記載の方法。
  81. 前記マルチパート動作が安全なトランザクションであり、
    前記マルチパート動作の前記第1の一部が、前記安全なトランザクションを許可するように前記デバイスを保護することを含み、
    前記マルチパート動作の前記第2の一部が、前記安全なトランザクションを許可することを含む、請求項77から80のいずれか一項に記載の方法。
  82. 前記マルチパート動作が安全なトランザクションであり、
    前記マルチパート動作の前記第1の一部が、前記安全なトランザクションを完了するのにユーザ認証が必要とされると判定することを含み、
    前記マルチパート動作の前記第2の一部が、前記安全なトランザクションのためのユーザ認証を受信することを含む、請求項77から80のいずれか一項に記載の方法。
  83. 前記マルチパート動作の前記第1の一部が、文書の下書きを閉じることを含み、
    前記マルチパート動作の前記第2の一部が、前記文書の前記下書きに戻ることを含む、請求項77から80のいずれか一項に記載の方法。
  84. 前記マルチパート動作の前記第1の一部に対応する前記入力が、前記デバイス上で実行中のアプリケーションとやりとりする第1のユーザ入力であり、
    前記マルチパート動作の前記第2の一部に対応する前記入力が、前記アプリケーションとやりとりする第2のユーザ入力であって、前記第1のユーザ入力とは別個である、第2のユーザ入力である、請求項77又は78に記載の方法。
  85. 前記マルチパート動作の前記第1の一部に対応する前記入力を検出することが、前記タッチ感知面上での接触を検出することを含み、
    前記マルチパート動作の前記第2の一部に対応する前記入力を検出することが、前記タッチ感知面上での前記接触の移動を検出することを含む、請求項77又は78に記載の方法。
  86. 前記マルチパート動作の前記第1の一部に対応する前記入力を検出することが、
    前記タッチ感知面上での接触の移動を検出することを含み、
    前記マルチパート動作の前記第2の一部に対応する前記入力を検出することが、
    前記タッチ感知面からの前記接触のリフトオフを検出することを含む、請求項77又は78に記載の方法。
  87. 前記マルチパート動作の前記第1及び第2の一部に対応する前記入力が単一ジェスチャを含み、
    前記マルチパート動作の前記第1の一部に対応する前記入力が前記ジェスチャの初期の一部であり、
    前記マルチパート動作の前記第2の一部に対応する前記入力が前記ジェスチャの後続の一部である、請求項77又は78に記載の方法。
  88. 前記ジェスチャが、前記デバイスのディスプレイに表示されたユーザインタフェース内の第1の位置に対応する前記タッチ感知面の一部分で開始され、前記第1の位置とは異なる前記ユーザインタフェース内の前記第1の位置とは異なる前記ユーザインタフェース第2の位置に対応する前記タッチ感知面の第2の一部分で終了する、請求項87に記載の方法。
  89. 前記マルチパート動作の前記第1の一部に対応する前記入力が、前記それぞれのアプリケーションと関連付けられたイベントを開始し、
    前記イベントが、前記マルチパート動作の前記第2の一部に対応する前記入力の受信まで持続し、
    前記マルチパート動作の前記第2の一部に対応する前記入力が、前記それぞれのアプリケーションと関連付けられた前記イベントを終了する、請求項77から88のいずれか一項に記載の方法。
  90. 前記アプリケーションがテキスト編集アプリケーションであり、
    前記マルチパート動作の前記第1の一部に対応する前記入力が、前記テキスト編集アプリケーションのテキスト入力モードを有効化する第1のユーザインタフェース要素の選択であり、
    前記マルチパート動作が、前記テキスト編集アプリケーションへのテキスト入力用の1つ以上の入力を含み、
    前記イベントが、テキスト入力用の前記入力に応答する前記テキスト編集文書内でのテキスト操作に対応し、
    前記マルチパート動作の前記第2の一部に対応する前記入力が、前記テキスト編集アプリケーションの前記テキスト入力モードを無効化するユーザインタフェース要素の選択である、請求項89に記載の方法。
  91. 前記マルチパート動作の前記第1の一部に対応する前記入力が、トランザクションを開始する第1のユーザインタフェース要素の選択であり、
    前記マルチパート動作が、前記トランザクションを処理するのに必要な情報の入力用の1つ以上の入力を含み、
    前記イベントが、前記トランザクションを処理するのに必要な前記情報を受信する1つ以上のデータ入力フィールドへの入力に対応し、
    前記マルチパート動作の前記第2の一部に対応する前記入力が、前記トランザクションの完了を許可するユーザインタフェース要素の選択である、請求項89に記載の方法。
  92. 前記マルチパート動作の前記第2の一部に対応する前記入力が、前記マルチパート動作の前記第1の一部に対応する前記入力に続いて行われ、前記マルチパート動作の前記第1の一部に対応する前記入力とは、前記イベントの期間に対応する指定された時間間隔分だけ時間的に切り離されており、
    前記継続的な触覚出力シーケンスが、前記イベントの前記期間全体にわたって提供され、前記イベントの発生を示す、請求項89に記載の方法。
  93. 前記継続的な触覚出力シーケンスの特性が、前記マルチパート動作の前記第1の一部に対応する前記入力によって開始される前記イベントに基づいて選択される、請求項89に記載の方法。
  94. 前記マルチパート動作の前記第1の一部に対応する前記入力を受信したことに応じて第1の触覚フィードバックを提供することを更に含み、前記第1の触覚フィードバックが、前記イベントに基づいて選択され、前記イベントの開始を示し、記第1の触覚フィードバックが前記継続的な触覚出力シーケンスとは別個である、請求項89に記載の方法。
  95. 前記マルチパート動作の前記第2の一部に対応する前記入力を受信したことに応じて、前記継続的な触覚出力シーケンスとは別個である第2の触覚フィードバックを提供することを更に含む、請求項194に記載の方法。
  96. 前記マルチパート動作の前記第1の一部に対応する前記入力が、前記アプリケーションと関連付けられた継続的なイベントを保留にし、
    前記マルチパート動作の前記第2の一部に対応する前記入力が、前記アプリケーションと関連付けられた前記継続的なイベントを再開する、請求項77から80のいずれか一項に記載の方法。
  97. 前記アプリケーションが音声通信アプリケーションであり、
    前記イベントが、前記マルチパート動作の前記第1の一部に対応する前記入力の受信時に行われる継続的な音声通信であり、
    前記マルチパート動作の前記第1の一部に対応する前記入力が、前記継続的な音声通信を保留にする、前記音声通信アプリケーションの第1のユーザインタフェース要素の選択であり、
    前記マルチパート動作の前記第2の一部に対応する前記入力が、前記音声通信を再開する、第2のユーザインタフェース要素の選択である、請求項89に記載の方法。
  98. マルチパート動作の前記第1の一部に応じて継続的な触覚出力シーケンスを開始した後、及び前記マルチパート動作の第2の一部に対応する入力を受信する前に、
    前記マルチパート動作の前記第2の一部に対応する前記入力とは別個である1つ以上の追加ユーザ入力を受信することと、
    前記追加ユーザ入力に関係なく、前記マルチパート動作の前記第2の一部に対応する前記入力の受信まで、前記継続的な触覚出力を提供し続けることと、
    を更に含む、請求項77から80のいずれか一項に記載の方法。
  99. 前記マルチパート動作に対応する後続の入力が受信されるまで、時間とともに前記継続的な触覚出力シーケンスの強度が高まる、請求項77から98のいずれか一項に記載の方法。
  100. 前記マルチパート動作の前記第1の一部に対応する前記入力を検出したことに応じて、前記継続的な触覚シーケンスに伴う継続的なオーディオ出力シーケンスを開始することと、
    前記マルチパート動作の前記第2の一部に対応する前記入力を検出したことに応じて、前記継続的なオーディオ出力シーケンスを終了することと、
    を更に含む、請求項77から98のいずれか一項に記載の方法。
  101. 前記触覚出力シーケンスの時変的な触覚エネルギープロファイルが、前記オーディオ出力シーケンスの時変的な音響エネルギープロファイルを模倣する、請求項100に記載の方法。
  102. 前記マルチパート動作の前記第1の一部に対応する前記入力が、継続的なイベント一時中断するのではなく、前記それぞれのアプリケーションと関連付けられたイベントを開始すると判定したことに応じ、付随するオーディオ出力シーケンスなしで前記触覚出力シーケンスを提供することと、
    前記マルチパート動作の前記第1の一部に対応する前記入力が、前記それぞれのアプリケーションと関連付けられた継続的なイベントを一時中断すると判定したことに応じて、前記継続的な触覚出力シーケンスに付随する継続的なオーディオ出力シーケンスを提供することと、
    を更に含む、請求項77から80のいずれか一項に記載の方法。
  103. 実行されると、請求項77から102のうちの一項に記載のステップをプロセッサに実行させる実行可能なコードを記憶する非一時的コンピュータ可読記憶媒体を備えるコンピュータプログラム製品。
  104. ディスプレイと、
    タッチ感知面と、
    請求項77から102のいずれか一項を実行する手段と、
    を備えるコンピュータプログラム製品。
  105. ディスプレイとタッチ感知面とを有する電子デバイスで使用するための情報処理装置であって、
    請求項77から102のいずれか一項を実行する手段を備えるコンピュータプログラム製品。
  106. 第1の動作を実行するための要求に対応する第1の入力を検出することと、
    前記第1の入力を検出したことに応じて、
    触覚構成要素を含む第1の出力を提供することと、
    前記第1の動作を実行することと、
    前記第1の動作を実行した後に、前記第1の動作と、補完的動作を含む第2の動作と、を実行するための要求に対応する第2の入力を検出することと、
    前記第2の入力を検出したことに応じて、
    触覚構成要素を含む第2の出力であって、前記第1の出力を含む、第2の出力を、前記補完的動作に対応する補完的出力を提供することと併せて提供することと、
    前記第2の動作を実行することと、
    を含む、コンピューティングデバイス上で実行されるプロセッサによって実行される方法。
  107. 前記第2の入力を検出したことに応じて、
    前記第1の動作を実行すること、及び同時に前記第1の出力を提供することと、
    前記補完的動作を実行すること、及び同時に前記補完的出力を提供することと、
    を更に含む、請求項106に記載の方法。
  108. 前記第2の入力を検出したことに応じて、
    前記補完的動作を実行する前に前記第1の動作を実行することと、
    前記補完的出力を提供する前に前記第1の出力を提供することと、
    を更に含む、請求項106に記載の方法。
  109. 前記第2の入力を検出したことに応じて、
    前記補完的動作を実行した後に前記第1の動作を実行することと、
    前記補完的出力を提供した後に前記第1の出力を提供することと、
    を更に含む、請求項106に記載の方法。
  110. 前記第2の入力を検出したことに応じて、
    前記補完的動作の一部分と同時に前記第1の動作の少なくとも一部分を実行することと、
    前記補完的出力の一部分と同時に前記第1の出力の少なくとも一部分を提供することと、
    を更に含む、請求項106に記載の方法。
  111. 前記第1の動作が、カメラでの画像のキャプチャに対応し、
    前記第2の動作が、指定された時間間隔の後に画像をキャプチャすることに対応する、請求項106から110のいずれか一項に記載の方法。
  112. 前記第1の動作が、前記デバイスが安全なトランザクションを許可できるようにするためのトランザクション有効化動作に対応し、
    前記第2の動作が、前記デバイスが安全なトランザクションを許可できるようにすることと、前記安全なトランザクションを許可することと、に対応する、請求項106から110のいずれか一項に記載の方法。
  113. 前記第1の動作が、既存のファイル内にコンテンツを保存するための保存動作に対応し、
    前記第2の動作が、既存のファイル内のコンテンツを新しいファイルに保存するための、名前を付けて保存する動作に対応する、請求項106から110のいずれか一項に記載の方法。
  114. 前記第1の動作が、メッセージ受信箱の中にあるメッセージへの返信を送信するための送信動作に対応し、
    前記第2の動作が、前記メッセージ受信箱の中にあるメッセージへの返信を送信するため、及び前記メッセージ受信箱から削除するための送信及びアーカイブ動作に対応する、請求項106から110のいずれか一項に記載の方法。
  115. 前記補完的動作が可変値を有し、
    前記補完的出力が、前記可変属性の前記値に基づく、請求項106から114のいずれか一項に記載の方法。
  116. 前記第2の出力に対応する前記触覚構成要素が、前記第1の出力に対応する第1の触覚構成要素と、前記補完的出力に対応する第2の触覚構成要素であって、前記第1の触覚構成要素とは別個である、第2の触覚構成要素と、を含む、請求項106から115のいずれか一項に記載の方法。
  117. 前記補完的出力が非触覚構成要素を含む、請求項106、110から116のいずれか一項に記載の方法。
  118. 前記第2の出力が、前記補完的動作を前記第1の動作とは異なるものとして特定するテキスト構成要素を含む、請求項106、110から116のいずれか一項に記載の方法。
  119. 前記補完的出力がオーディオ構成要素を含み、
    前記第1の出力がオーディオ構成要素を含まない、請求項106、110から116のいずれか一項に記載の方法。
  120. 前記コンピューティングデバイスがタッチ感知ディスプレイを含み、
    前記第1及び第2の入力が前記タッチ感知ディスプレイを通じて受信され、
    前記第1の出力の前記触覚構成要素及び前記第2の出力の前記触覚構成要素が、前記タッチ感知ディスプレイを介して提供される、請求項106、110から116のいずれか一項に記載の方法。
  121. カメラで第1の画像をキャプチャするための要求に対応する第1の入力を検出することと、前記第1の入力を検出したことに応じて、
    触覚構成要素を含む第1の出力を提供することと、
    前記第1の画像をキャプチャすることと、
    前記第1の画像をキャプチャした後、指定された時間間隔の後に第2の画像をキャプチャするための要求に対応する第2の入力を検出することと、
    前記第2の入力を検出したことに応じて、
    触覚構成要素を含む第2の出力であって、前記第1の出力を含む、第2の出力を、前記指定された時間間隔の経過を測定することに対応する補完的出力を提供することと併せて提供することと、
    前記指定された時間間隔の後に前記第2の画像キャプチャすることと、
    を含む、プロセッサによって実行される方法。
  122. 前記デバイスが安全なトランザクションを許可できるようにするためのトランザクション有効化動作を実行するための要求に対応する第1の入力を検出することと、
    前記第1の入力を検出したことに応じて、
    触覚構成要素を含む第1の出力を提供することと、
    前記デバイスが安全なトランザクションを許可できるようにすることと、
    前記トランザクション有効化動作を実行した後に、安全なトランザクションを許可するための要求に対応する第2の入力を検出することと、
    前記第2の入力を検出したことに応じて、
    触覚構成要素を含む第2の出力であって、前記第1の出力を含む、第2の出力を、前記安全なトランザクションを許可することに対応する補完的出力を提供することと併せて提供することと、
    前記安全なトランザクションを許可することと、
    を含む、プロセッサによって実行される方法。
  123. 保存動作を実行するための要求に対応する第1の入力を検出することと、
    前記第1の入力を検出したことに応じて、
    触覚構成要素を含む第1の出力を提供することと、
    既存のファイル内にコンテンツを保存するための前記保存動作を実行することと、
    前記保存動作を実行した後に、既存のファイル内のコンテンツを新しいファイルに保存するための、名前を付けて保存する動作を実行するための要求に対応する第2の入力を検出することと、
    前記第2の入力を検出したことに応じて、
    触覚構成要素を含む第2の出力であって、前記第1の出力を含む第2の出力を、前記新しいファイルの作成に対応する補完的出力を提供することと併せて提供することと、
    前記名前を付けて保存する動作を実行することと、
    を含む、プロセッサによって実行される方法。
  124. 実行されると、請求項106から123のうちの一項に記載のステップをプロセッサに実行させる実行可能なコードを記憶する非一時的コンピュータ可読記憶媒体を備えるコンピュータプログラム製品。
  125. ディスプレイと、
    タッチ感知面と、
    請求項106から123のいずれか一項を実行する手段と、
    を備えるコンピュータプログラム製品。
  126. ディスプレイとタッチ感知面とを有する電子デバイスで使用するための情報処理装置であって、請求項106から123のうちのいずれか一項を実行する手段を備える情報処理装置。
  127. コンピューティングデバイス上で実行されるプロセッサによって実行される方法であって、
    第1のアラート条件の発生を検出することと、
    前記第1のアラート条件の前記発生を検出したことに応じて、第1の触覚構成要素及び第1の非触覚構成要素を含む第1の出力を提供することと、
    前記第1の出力を提供した後に、第2のアラート条件の発生を検出することと、
    前記第2のアラート条件の前記発生を検出したことに応じて、
    第2の触覚構成要素及び第2の非触覚構成要素を含む第2の出力を提供することと、
    を含み、前記第1のアラート条件及び前記第2のアラート条件が、同じアラート条件クラス内にある異なるアラート条件だと、前記第1の出力及び前記第2の出力が1つ以上の同じ構成要素を共有し、かつ1つ以上の異なる構成要素を有し、
    前記第1のアラート条件及び前記第2のアラート条件が、異なるアラート条件クラス内にある異なるアラート条件だと、前記第1の触覚構成要素が前記第2の触覚構成要素とは異なり、前記第1の非触覚構成要素が前記第2の非触覚構成要素とは異なる、方法。
  128. 前記第1のアラート条件及び前記第2のアラート条件が前記同じアラート条件クラス内にあり、前記クラスが、アプリケーション用のアラート条件と関連付けられている、請求項127に記載の方法。
  129. 前記第1のアラート条件及び前記第2のアラート条件が前記同じアラート条件クラス内にあり、前記クラスがアプリケーションのカテゴリと関連付けられている、請求項127に記載の方法。
  130. 前記同じアラート条件クラス内にある前記第1のアラート条件及び前記第2のアラート条件が2つの異なるアプリケーションと関連付けられており、前記クラスが、前記2つの異なるアプリケーション内にある既定クラスの機能内の機能に対応する、請求項127に記載の方法。
  131. 前記同じアラート条件クラス内にある前記第1のアラート条件及び前記第2のアラート条件が共通のアプリケーションと関連付けられており、前記クラスが既定クラスの機能内の機能に対応する、請求項127に記載の方法。
  132. アラート条件のクラスが、メッセージ、アクティビティアラート、メディア再生アラート、仮想アシスタントアラート、システムアラート、スケジューリングリマインダ、及びインターネットブラウザアップデートを含む、請求項127から131のいずれか一項に記載の方法。
  133. 前記第1のアラート条件及び前記第2のアラート条件が前記同じアラート条件の別個のインスタンスに対応する場合に、前記第1の出力が前記第2の出力と同一である、請求項127から132のいずれか一項に記載の方法。
  134. 前記第1及び第2の非触覚構成要素がオーディオ出力である、請求項127から133のいずれか一項に記載の方法。
  135. 前記第1及び第2の非触覚構成要素が視覚出力である、請求項127から133のいずれか一項に記載の方法。
  136. 前記第1のアラート条件及び前記第2のアラート条件が、同じアラート条件クラス内にある異なるアラート条件であり、
    前記第1の出力の前記第1の触覚構成要素が前記第2の出力の前記第2の触覚構成要素と同一であり、
    前記第1の出力の前記第1の非触覚構成要素が前記第2の出力の前記第2の非触覚構成要素とは異なる、請求項127から133のいずれか一項に記載の方法。
  137. 前記第1のアラート条件及び前記第2のアラート条件が、同じアラート条件クラス内にある異なるアラート条件であり、
    前記第1の出力の前記第1の非触覚構成要素が前記第2の出力の前記第2の非触覚構成要素と同一であり、
    前記第1の出力の前記第1の触覚構成要素が前記第2の出力の前記第2の触覚構成要素とは異なる、請求項127から133のいずれか一項に記載の方法。
  138. 前記第1のアラート条件及び前記第2のアラート条件が同じアラート条件に対応し、
    前記第1の出力が、前記第2の出力を伴う第2の追加構成要素とは異なる第1の追加構成要素を伴う、請求項127から137のいずれか一項に記載の方法。
  139. 前記第1のアラートをトリガーした前記第1のイベントについて記述している
    前記第2の出力に伴う前記第2の追加構成要素が、前記第2のアラートをトリガーした前記第2のイベントについて記述している情報を提供する、請求項138に記載の方法。
  140. 前記第2の出力を提供した後に、第3のアラート条件の発生を検出することと、
    前記第3のアラート条件の前記発生を検出したことに応じて、
    第3の触覚構成要素及び第3の非触覚構成要素を含む第3の出力を提供することと、
    を更に含み、前記第1のアラート条件、前記第2のアラート条件、及び前記第3のアラート条件が、同じアラート条件クラス内にある異なるアラート条件だと、前記第1の出力、前記第2の出力、及び前記第3の出力が1つ以上の同じ構成要素を共有し、かつ1つ以上の異なる構成要素を有し、
    前記第3のアラート条件が前記第1のアラート条件及び前記第2のアラート条件とは異なるアラート条件クラス内にあると、前記第3の触覚構成要素が、前記第1の触覚構成要素及び前記第2の触覚構成要素のどちらとも異なり、前記第3の非触覚構成要素が、前記第1の非触覚構成要素及び前記第2の非触覚構成要素のどちらとも異なる、請求項127から133のいずれか一項に記載の方法。
  141. 前記コンピューティングデバイスがタッチ感知ディスプレイを有し、
    前記第1の出力の前記第1の触覚構成要素及び前記第2の出力の前記第2の触覚構成要素が、前記コンピューティングデバイス上の前記タッチ感知ディスプレイを介して提供される、請求項127から141のいずれか一項に記載の方法。
  142. 実行されると、請求項127から141のうちの一項に記載のステップをプロセッサに実行させる実行可能なコードを記憶する非一時的コンピュータ可読記憶媒体を備えるコンピュータプログラム製品。
  143. ディスプレイと、
    タッチ感知面と、
    請求項127から141のうちのいずれか一項を実行する手段と、
    を備えるコンピュータプログラム製品。
  144. ディスプレイとタッチ感知面とを有する電子デバイスで使用するための情報処理装置であって、
    請求項127から141のうちのいずれか一項を実行する手段を備えるコンピュータプログラム製品。
  145. 方法であって、
    触感出力生成器を備えるコンピューティングデバイスにおいて、
    第1のイベントの発生を検出することと、
    前記第1のイベントの前記発生を検出したことに応じて、
    前記第1のイベントが、前記アラート顕著性設定によって影響される複数のタイプのイベントのうち第1のタイプのイベントであるという判定に従って、前記デバイスのアラート顕著性設定に少なくとも部分的に基づいて選択された第1の触覚構成要素を含む第1のアラートを前記触感出力生成器を用いて提供することと、
    前記第1のイベントが、前記アラート顕著性設定によって影響されない複数のタイプのイベントのうち第2のタイプのイベントであるという判定に従って、前記デバイスの前記アラート顕著性設定に関わらず選択された第2の触覚構成要素を含む第2のアラートを前記触感出力生成器を用いて提供することと、
    を含む方法。
  146. 前記第1のアラートが前記第2のアラートとは異なる、請求項145に記載の方法。
  147. 前記デバイスの前記アラート顕著性設定に少なくとも部分的に基づいて選択された前記第1の触覚構成要素を含む前記第1のアラートを提供することが、
    前記アラート顕著性設定の値を判定することと、
    前記アラート顕著性設定が第1の値を有するという判定に従って、第3の触覚構成要素及び第4の触覚構成要素を含む前記第1の触覚構成要素を含む前記第1のアラートを提供することと、
    前記アラート顕著性設定が、前記第1の値とは異なる第2の値を有するという判定に従って、前記第3の触覚構成要素を含むが前記第4の触覚構成要素を含まない前記第1の触覚構成要素を含む前記第1のアラートを提供することと、
    を含む、請求項145又は146に記載の方法。
  148. 前記第4の触覚構成要素が前記第3の触覚構成要素に先行する、請求項147に記載の方法。
  149. 前記第1のイベントが、前記アラート顕著性設定によって影響される前記複数のタイプのイベントのうち第3のタイプのイベントであるという判定に従って、前記デバイスの前記アラート顕著性設定に少なくとも部分的に基づいて選択された触覚構成要素を含む第3のアラートを提供することを含み、前記デバイスの前記アラート顕著性設定に少なくとも部分的に基づいて選択された前記触覚構成要素を含む前記第3のアラートを提供することが、
    前記アラート顕著性設定の値を判定することを含み、
    前記アラート顕著性設定が前記第1の値という判定に従って、前記第3のアラートが第5の触覚構成要素及び第6の触覚構成要素を含み、
    前記アラート顕著性設定が前記第1の値と異なる前記第2の値を有するという判定に従って、前記第3のアラートが、前記第5の触覚構成要素を含むが前記第6の触覚構成要素を含まない、請求項147又は148のいずれか一項に記載の方法。
  150. 前記第6の触覚構成要素が前記第4の触覚構成要素と同一である、請求項149に記載の方法。
  151. 前記デバイスの前記アラート顕著性設定が前記第1の値を有する間に、前記第1のイベントの前記発生が検出され、
    前記第1のイベントに応じて提供される前記第1のアラートが、前記第1の触覚構成要素及び前記第2の触覚構成要素を含み、
    前記第1のイベントに応じて提供される前記第2のアラートが、第2のアラート触覚構成要素を含み、
    前記方法が、
    前記デバイスの前記アラート顕著性設定が前記第1の値を有する間に、前記デバイスの前記アラート顕著性設定を前記第2の値に変更する要求を受信することと、
    前記アラート顕著性設定を前記第2の値に変更する前記要求を受信したことに応じて、前記アラート顕著性設定を前記第2の値に変更することと、
    前記デバイスの前記アラート顕著性設定が前記第2の値を有する間に、
    第2のイベントの前記発生を検出することと、
    前記第2のイベントの前記発生を検出したことに応じて、
    前記第2のイベントが前記第1のタイプのイベントであるという判定に従って、前記第3の触覚構成要素を含み、前記第4の触覚構成要素を含まない第3のアラートを提供することと、
    前記第2のイベントが前記第2のタイプのイベントであるという判定に従って、前記第2の触覚構成要素を含む前記第2のアラートを提供することと、
    を更に含む、請求項147から150のいずれか一項に記載の方法。
  152. 前記アラート顕著性設定の前記第1の値がオンであり、前記アラート顕著性設定の前記第2の値がオフである、請求項147から151のいずれか一項に記載の方法。
  153. 前記アラート顕著性設定が第1の値を有する場合に、第1の複数のイベントクラスにおけるイベントに応じてトリガーされたアラートに対する追加の触覚構成要素を提供することと、
    前記アラート顕著性設定が前記第2の値を有する場合に、前記第1の複数のイベントクラスにおけるイベントに応じてトリガーされたアラートに対する前記追加の触覚構成要素を提供することを差し控えることと、
    前記アラート顕著性設定が前記第1の値を有するか、又は前記第2の値を有するかに関わらず、前記第1の複数のイベントクラスと異なる第2の複数のイベントクラスにおけるイベントに応じてトリガーされたアラートに対する前記追加の触覚構成要素を提供することを差し控えることと、
    を更に含む、請求項145から152のいずれか一項に記載の方法。
  154. 前記デバイスがタッチ感知ディスプレイを有し、
    前記触覚構成要素が、前記コンピューティングデバイス上のタッチ感知ディスプレイを介して提供される、請求項145から153のいずれか一項に記載の方法。
  155. 実行されると、請求項145から154のうちの一項に記載のステップをプロセッサに実行させる実行可能なコードを記憶する非一時的コンピュータ可読記憶媒体を備えるコンピュータプログラム製品。
  156. ディスプレイと、
    タッチ感知面と、
    請求項145から154のいずれか一項を実行する手段と、
    を備えるコンピュータプログラム製品。
  157. ディスプレイとタッチ感知面とを有する電子デバイスで使用するための情報処理装置であって、
    請求項145から154のいずれか一項を実行する手段を備えるコンピュータプログラム製品。
  158. 方法であって、
    触感出力生成器を有するデバイスにおいて、
    イベントを検出することと、
    前記イベントを検出したことに応じて、
    前記イベントが、複数の異なるイベントタイプを含む第1のイベントクラス内のあるタイプのイベントであるという判定に従って、前記触感出力生成器によって生成された第1の触覚構成要素を含む第1のアラートを提供することと、
    前記イベントが、複数の異なるイベントタイプを含む第2のイベントクラス内のあるタイプのイベントであるという判定に従って、前記触感出力生成器によって生成された、前記第1の触覚構成要素とは異なる第2の触覚構成要素を含む第2のアラートを提供することと、
    前記イベントが、複数の異なるイベントタイプを含む第3のイベントクラス内のあるタイプのイベントであるという判定に従って、前記第1の触覚構成要素及び前記第2の触覚構成要素とは異なる、前記触感出力生成器によって生成された第3の触覚構成要素を含む第3のアラートを提供することと、
    を含む方法。
  159. 前記イベントを検出したことに応じて、前記イベントが、複数の異なるイベントタイプを含む第4のイベントクラス内のあるタイプのイベントであるという判定に従って、前記第1の触覚構成要素、前記第2の触覚構成要素、及び前記第3の触覚構成要素とは異なる、前記触感出力生成器によって生成された第4の触覚構成要素を含む第4のアラートを提供することを含む、請求項158に記載の方法。
  160. 前記第4のイベントクラスが、サードパーティのアプリケーションによって生成されたイベントに対応する、請求項159に記載の方法。
  161. 前記第4の触覚構成要素が、前記第1の触覚構成要素、前記第2の触覚構成要素、又は前記第3の触覚構成要素に含まれない触覚出力要素により、前記第1の触覚構成要素、前記第2の触覚構成要素、及び前記第3の触覚構成要素と区別される、請求項159に記載の方法。
  162. 前記第1の触覚構成要素が、触覚出力間の間隔、触覚出力の数、及び前記触覚構成要素中の時間経過に伴う触覚出力の前記振幅の変化うちの少なくとも1つに基づいて、前記第2の触覚構成要素及び前記第3の触覚構成要素とは異なる、請求項158に記載の方法。
  163. イベントの前記第1のクラスが、他のユーザからの通信に基づいて生成されたイベントを含み、
    イベントの前記第2のクラスが、前記デバイスのユーザによって入力された既定の基準に基づいて生成されたイベントを含み、
    イベントの前記第3のクラスが、デバイスによって監視される基準の前記充足に基づいて生成されたイベントを含む、請求項158又は159に記載の方法。
  164. 前記デバイスが、異なるイベントに対応する複数の一意のアラートを有し、前記第1のイベントクラス、前記第2のイベントクラス、及び前記第3のイベントクラスが、一意のアラートに対応する前記イベントよりも頻繁に発生するのが典型的であるタイプのイベントに対応する、請求項158から163のいずれか一項に記載の方法。
  165. 前記デバイスがタッチ感知ディスプレイを有し、
    前記触覚構成要素が、前記コンピューティングデバイス上のタッチ感知ディスプレイを介して提供される、請求項158から164のいずれか一項に記載の方法。
  166. 実行されると、請求項158から165のうちの一項に記載のステップをプロセッサに実行させる実行可能なコードを記憶する非一時的コンピュータ可読記憶媒体を備えるコンピュータプログラム製品。
  167. ディスプレイと、
    タッチ感知面と、
    請求項158から165のいずれか一項を実行する手段と、
    を備えるコンピュータプログラム製品。
  168. ディスプレイとタッチ感知面とを有する電子デバイスで使用するための情報処理装置であって、
    請求項158から165のいずれか一項を実行する手段を備えるコンピュータプログラム製品。
  169. 1つ以上の触覚出力デバイス及び1つ以上のオーディオ出力デバイスを有する電子デバイスにおいて、
    前記デバイスにおける第1の条件の発生を検出することと、
    前記第1の条件の前記発生を検出したことに応じて、アプリケーションの第1のクラス内のそれぞれのアプリケーションに対応する第1のアラートであって、
    前記1つ以上の触覚出力デバイスを介して出力される第1の触覚構成要素と、
    アプリケーションの前記第1のクラス内の前記それぞれのアプリケーションによる使用のために指定されているオーディオ波形から構成され、前記1つ以上のオーディオ出力デバイスを介して出力される第1のオーディオ構成要素と、
    を含む第1のアラートを生成することと、
    前記デバイスにおける第2の条件の発生を検出することと、
    前記第2の条件の前記発生を検出したことに応じて、アプリケーションの前記第1のクラスとは異なる第2のアプリケーションのクラス内のそれぞれのアプリケーションに対応する第2のアラートであって、
    前記1つ以上の触覚出力デバイスを介して出力される第2の触覚構成要素と、
    アプリケーションの前記第2のクラス内のアプリケーションによる使用のために指定されているオーディオ波形から構成され、前記1つ以上のオーディオ出力デバイスを介して出力される第2のオーディオ構成要素と、
    を含む、第2のアラートを生成することと、
    を含む、コンピュータによって実行される方法。
  170. 前記第1の触覚構成要素及び前記第2の触覚構成要素が、アプリケーションの前記第1のクラス及びアプリケーションの前記第2のクラスの両方に利用可能な1つ以上の触覚波形から構成される、請求項169に記載の方法。
  171. 前記デバイスが複数の異なるアラートを生成するように構成されており、
    前記複数の異なるアラートが、アプリケーションの前記第1のクラスに利用可能であり、アプリケーションの前記第2のクラスに利用可能でないオーディオ構成要素を含む2つ以上のアラートの第1のサブセットを含み、
    前記複数の異なるアラートが、アプリケーションの前記第2のクラスに利用可能であり、アプリケーションの前記第2のクラスによる使用のために指定されている前記オーディオ波形から構成されているオーディオ構成要素を含む2つ以上のアラートの第2のサブセットを含む、請求項169又は170に記載の方法。
  172. アラートの前記第2のサブセットが、アプリケーションの前記第2のクラスと関連付けられているそれぞれのオーディオサンプルに異なる変換を適用することによって生成された2つのアラートを含む、請求項171に記載の方法。
  173. アラートの前記第1のサブセットが、アプリケーションの前記第1のクラス内の第1のアプリケーションと関連付けられているそれぞれのオーディオサンプルに異なる変換を適用することによって生成された2つのアラートを含む、請求項171に記載の方法。
  174. アラートの前記第1のサブセットが、アプリケーションの前記第1のクラス内の第2のアプリケーションと関連付けられているそれぞれのオーディオサンプルに異なる変換を適用することによって生成された2つのアラートを含み、前記第2のアプリケーションと関連付けられている前記それぞれのオーディオサンプルが、前記第1のアプリケーションと関連付けられている前記それぞれのオーディオサンプルとは異なる、請求項173に記載の方法。
  175. アラートの前記第2のサブセットが、アプリケーションの前記第1のクラスに利用可能でない、請求項171から174のいずれか一項に記載の方法。
  176. 2つ以上のアラートの前記第1のサブセットが、アプリケーションの前記第1のクラス及びアプリケーションの前記第2のクラスに利用可能である触覚構成要素を含み、
    2つ以上のアラートの前記第2のサブセットが、アプリケーションの前記第2のクラス及びアプリケーションの前記第1のクラスに利用可能である触覚構成要素を含む、請求項171から174のいずれか一項に記載の方法。
  177. 前記複数の異なるアラートが、アプリケーションの前記第2のクラス及びアプリケーションの前記第1のクラスに利用可能であるオーディオ構成要素を含む2つ以上のアラートの第3のサブセットを含む、請求項171から176のいずれか一項に記載の方法。
  178. 前記1つ以上のオーディオ出力デバイスを介して出力される前記第1のオーディオ構成要素が、アプリケーションの前記第1のクラス内の第1のアプリケーションによる使用のために指定されているオーディオ波形から構成され、
    前記1つ以上のオーディオ出力デバイスを介して出力される前記第1のオーディオ構成要素が、アプリケーションの前記第1のクラス内の第2のアプリケーションによる使用のために指定されているオーディオ波形から構成される、請求項169又は177に記載の方法。
  179. 前記1つ以上のオーディオ出力デバイスを介して出力される前記第2のオーディオ構成要素が、アプリケーションの前記第2のクラス内のアプリケーションによる使用のために指定されている前記オーディオ波形から構成され、前記アラートが、アプリケーションの前記第2のクラス内の第3のアプリケーションに対応し、
    前記1つ以上のオーディオ出力デバイスを介して出力される前記第1のオーディオ構成要素が、アプリケーションの前記第2のクラス内のアプリケーションによる使用のために指定されている前記オーディオ波形から構成され、前記アラートが、アプリケーションの前記第2のクラス内の第2のアプリケーションに対応する、請求項169又は177に記載の方法。
  180. 前記デバイスがタッチ感知ディスプレイを有し、
    前記第1の触覚構成要素及び前記第2の触覚構成要素が、前記コンピューティングデバイス上のタッチ感知ディスプレイを介して提供される、請求項169から179のいずれか一項に記載の方法。
  181. 実行されると、請求項169から180のうちの一項に記載のステップをプロセッサに実行させる実行可能なコードを記憶する非一時的コンピュータ可読記憶媒体を備えるコンピュータプログラム製品。
  182. ディスプレイと、
    タッチ感知面と、
    請求項169から180のいずれか一項を実行する手段と、
    を備えるコンピュータプログラム製品。
  183. ディスプレイとタッチ感知面とを有する電子デバイスで使用するための情報処理装置であって、
    請求項169から180のいずれか一項を実行する手段を備えるコンピュータプログラム製品。
  184. 方法であって、
    1つ以上の触覚出力デバイス及び1つ以上のオーディオ出力デバイスを有する電子デバイスにおいて、
    前記電子デバイスにおける、第1のソフトウェアアプリケーションにおける第1のタイプの第1の条件の発生を検出することと、
    前記第1のソフトウェアアプリケーションにおける前記第1の条件の前記発生を検出したことに応じて、
    発生した前記第1の条件が前記第1のタイプであることを示す第1の触覚構成要素と、
    前記第1のソフトウェアアプリケーションにおいて前記第1の条件が発生したことを示す第1のオーディオ構成要素と、
    を含む、前記第1の条件に対応する第1のアラートを生成することと、
    前記電子デバイスおける、前記第1のソフトウェアアプリケーションとは異なる第2のソフトウェアアプリケーションにおける前記第1のタイプの前記第1の条件の発生を検出することと、
    前記第2のソフトウェアアプリケーションにおける前記第1の条件の前記発生を検出したことに応じて、
    発生した前記第1の条件が前記第1のタイプであることを示す前記第1の触覚構成要素と、
    前記第1のソフトウェアアプリケーションとは異なる前記第2のソフトウェアアプリケーションにおいて前記第1の条件が発生したことを示す、前記第1のオーディオ構成要素とは異なる第2のオーディオ構成要素と、
    を含む、前記第1の条件に対応する第2のアラートを生成することと、
    を含む方法。
  185. 前記電子デバイスにおける、前記第1及び第2のソフトウェアアプリケーションとは異なる第3のソフトウェアアプリケーションにおける前記第1の条件の前記発生を検出することと、
    前記電子デバイスにおける、前記第3のソフトウェアアプリケーションにおける前記第1の条件の前記発生を検出したことに応じて、
    発生した前記第1の条件が前記第1のタイプであることを示す前記第1の触覚構成要素と、
    前記第3のソフトウェアアプリケーションにおいて前記第1の条件が発生したことを示す、前記第1のオーディオ構成要素及び前記第2のオーディオ構成要素とは異なる第3のオーディオ構成要素と、
    を含む、前記第3のソフトウェアアプリケーションにおける前記第1の条件に対応する第3のアラートを生成することと、
    を更に含む、請求項184に記載の方法。
  186. 前記ユーザによって要求された動作が発生していないことを前記第1の触覚構成要素が示し、
    前記第1のアプリケーションにおいて前記動作が発生していないことを前記第1のオーディオ構成要素が示し、
    前記第2のアプリケーションにおいて前記動作が発生していないことを前記第2のオーディオ構成要素が示す、請求項184又は185に記載の方法。
  187. 前記ユーザによって要求された動作が正常に発生したことを前記第1の触覚構成要素が示し、
    前記第1のアプリケーションにおいて前記動作が発生したことを前記第1のオーディオ構成要素が示し、
    前記第2のアプリケーションにおいて前記動作が発生したことを前記第2のオーディオ構成要素が示す、請求項184又は185に記載の方法。
  188. 前記第1のオーディオ構成要素が、前記第1のアプリケーションによる使用のために指定されているオーディオ波形に基づいて生成され、
    前記第2のオーディオ構成要素が、前記第2のアプリケーションによる使用のために指定されているオーディオ波形に基づいて生成される、請求項184から187のいずれか一項に記載の方法。
  189. 前記第1のオーディオ構成要素が、アプリケーションの第1のクラス内のアプリケーションによる使用のために指定されているオーディオ波形に基づいて生成され、
    前記第2のオーディオ構成要素が、アプリケーションの前記第1のクラスとは異なる第2のアプリケーションのクラス内のアプリケーションによる使用のために指定されているオーディオ波形に基づいて生成される、請求項184から187のいずれか一項に記載の方法。
  190. 前記電子デバイスが、複数の異なる条件及び複数の異なるソフトウェアアプリケーションに応じて、触覚構成要素及びオーディオ構成要素を含むアラートを提供するように構成されており、
    前記第1の条件が前記第1の触覚構成要素によって表され、
    前記第1の条件とは異なる第2の条件が、前記第1の触覚構成要素とは異なる第2の触覚構成要素によって表され、
    前記第1のソフトウェアアプリケーションが、前記第1のオーディオ構成要素によって表され、
    前記第1のソフトウェアアプリケーションとは異なる前記第2のソフトウェアアプリケーションが、前記第1のオーディオ構成要素とは異なる前記第2のオーディオ構成要素によって表される、請求項184から189のいずれか一項に記載の方法。
  191. 前記第2の条件が、要求された動作の成功を示し、前記第2の触覚構成要素が、前記第1のオーディオ構成要素内の特徴と整合する一連の触覚出力を含み、
    前記第1の条件が、要求された動作の失敗を示し、前記第1の触覚構成要素が、前記第1のオーディオ構成要素内の特徴と整合しない、請求項190に記載の方法。
  192. 前記第2の条件が、要求された動作の成功を示し、前記第2の触覚構成要素が、前記第2のオーディオ構成要素内の特徴と整合する一連の触覚出力を含み、
    前記第1の条件が、要求された動作の失敗を示し、前記第1の触覚構成要素が、前記第2のオーディオ構成要素内の特徴と整合しない、請求項190に記載の方法。
  193. 前記電子デバイスがタッチ感知ディスプレイを有し、
    前記第1の触覚構成要素及び前記第2の触覚構成要素が、前記電子デバイス上の前記タッチ感知ディスプレイを介して提供される、請求項184から192のいずれか一項に記載の方法。
  194. 実行されると、請求項184から193のうちの一項に記載のステップをプロセッサに実行させる実行可能なコードを記憶する非一時的コンピュータ可読記憶媒体を備えるコンピュータプログラム製品。
  195. ディスプレイと、
    タッチ感知面と、
    請求項184から193のいずれか一項を実行する手段と、
    を備えるコンピュータプログラム製品。
  196. ディスプレイとタッチ感知面とを有する電子デバイスで使用するための情報処理装置であって、
    請求項184から193のいずれか一項を実行する手段を備えるコンピュータプログラム製品。
JP2022208689A 2014-09-02 2022-12-26 可変触覚出力のための意味論的フレームワーク Pending JP2023040093A (ja)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
US201462044870P 2014-09-02 2014-09-02
US62/044,870 2014-09-02
US201562129905P 2015-03-08 2015-03-08
US62/129,905 2015-03-08
US201562172122P 2015-06-07 2015-06-07
US62/172,122 2015-06-07
JP2019046172A JP6849722B2 (ja) 2014-09-02 2019-03-13 可変触覚出力のための意味論的フレームワーク
JP2021034605A JP7203135B2 (ja) 2014-09-02 2021-03-04 可変触覚出力のための意味論的フレームワーク

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2021034605A Division JP7203135B2 (ja) 2014-09-02 2021-03-04 可変触覚出力のための意味論的フレームワーク

Publications (1)

Publication Number Publication Date
JP2023040093A true JP2023040093A (ja) 2023-03-22

Family

ID=53794510

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2017509011A Active JP6538825B2 (ja) 2014-09-02 2015-07-23 可変触覚出力のための意味論的フレームワーク
JP2019046172A Active JP6849722B2 (ja) 2014-09-02 2019-03-13 可変触覚出力のための意味論的フレームワーク
JP2021034605A Active JP7203135B2 (ja) 2014-09-02 2021-03-04 可変触覚出力のための意味論的フレームワーク
JP2022208689A Pending JP2023040093A (ja) 2014-09-02 2022-12-26 可変触覚出力のための意味論的フレームワーク

Family Applications Before (3)

Application Number Title Priority Date Filing Date
JP2017509011A Active JP6538825B2 (ja) 2014-09-02 2015-07-23 可変触覚出力のための意味論的フレームワーク
JP2019046172A Active JP6849722B2 (ja) 2014-09-02 2019-03-13 可変触覚出力のための意味論的フレームワーク
JP2021034605A Active JP7203135B2 (ja) 2014-09-02 2021-03-04 可変触覚出力のための意味論的フレームワーク

Country Status (8)

Country Link
US (10) US9542820B2 (ja)
EP (2) EP3964931A1 (ja)
JP (4) JP6538825B2 (ja)
KR (8) KR102096146B1 (ja)
CN (5) CN115756154A (ja)
AU (5) AU2015312344B2 (ja)
TW (2) TWI604302B (ja)
WO (1) WO2016036447A2 (ja)

Families Citing this family (180)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7469381B2 (en) 2007-01-07 2008-12-23 Apple Inc. List scrolling and document translation, scaling, and rotation on a touch-screen display
US9417754B2 (en) 2011-08-05 2016-08-16 P4tents1, LLC User interface system, method, and computer program product
DE112013002381T5 (de) 2012-05-09 2015-02-26 Apple Inc. Vorrichtung, Verfahren und grafische Benutzeroberfläche für die Bewegung und Ablegen eines Benutzerschnittstellenobjekts
WO2013169851A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for facilitating user interaction with controls in a user interface
CN108241465B (zh) 2012-05-09 2021-03-09 苹果公司 用于针对在用户界面中执行的操作提供触觉反馈的方法和装置
WO2013169843A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for manipulating framed graphical objects
KR101670570B1 (ko) 2012-05-09 2016-10-28 애플 인크. 사용자 인터페이스 객체를 선택하는 디바이스, 방법, 및 그래픽 사용자 인터페이스
WO2013169845A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for scrolling nested regions
EP2847662B1 (en) 2012-05-09 2020-02-19 Apple Inc. Device, method, and graphical user interface for providing feedback for changing activation states of a user interface object
WO2013169849A2 (en) 2012-05-09 2013-11-14 Industries Llc Yknots Device, method, and graphical user interface for displaying user interface objects corresponding to an application
WO2013169842A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for selecting object within a group of objects
WO2013169875A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for displaying content associated with a corresponding affordance
KR101823288B1 (ko) 2012-05-09 2018-01-29 애플 인크. 제스처에 응답하여 디스플레이 상태들 사이를 전이하기 위한 디바이스, 방법, 및 그래픽 사용자 인터페이스
WO2013169865A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for moving a user interface object based on an intensity of a press input
CN104487929B (zh) 2012-05-09 2018-08-17 苹果公司 用于响应于用户接触来显示附加信息的设备、方法和图形用户界面
CN105264479B (zh) 2012-12-29 2018-12-25 苹果公司 用于对用户界面分级结构进行导航的设备、方法和图形用户界面
EP2912542B1 (en) 2012-12-29 2022-07-13 Apple Inc. Device and method for forgoing generation of tactile output for a multi-contact gesture
CN104885050B (zh) 2012-12-29 2017-12-08 苹果公司 用于确定是滚动还是选择内容的设备、方法和图形用户界面
WO2014105279A1 (en) 2012-12-29 2014-07-03 Yknots Industries Llc Device, method, and graphical user interface for switching between user interfaces
US10691230B2 (en) 2012-12-29 2020-06-23 Apple Inc. Crown input for a wearable electronic device
EP2939095B1 (en) 2012-12-29 2018-10-03 Apple Inc. Device, method, and graphical user interface for moving a cursor according to a change in an appearance of a control icon with simulated three-dimensional characteristics
US10275117B2 (en) 2012-12-29 2019-04-30 Apple Inc. User interface object manipulations in a user interface
AU2013368443B2 (en) 2012-12-29 2016-03-24 Apple Inc. Device, method, and graphical user interface for transitioning between touch input to display output relationships
US10578499B2 (en) 2013-02-17 2020-03-03 Microsoft Technology Licensing, Llc Piezo-actuated virtual buttons for touch surfaces
USD738889S1 (en) * 2013-06-09 2015-09-15 Apple Inc. Display screen or portion thereof with animated graphical user interface
US10503388B2 (en) * 2013-09-03 2019-12-10 Apple Inc. Crown input for a wearable electronic device
CN105683877B (zh) 2013-09-03 2019-05-28 苹果公司 用于操纵用户界面对象的用户界面
US10545657B2 (en) 2013-09-03 2020-01-28 Apple Inc. User interface for manipulating user interface objects
US11068128B2 (en) 2013-09-03 2021-07-20 Apple Inc. User interface object manipulations in a user interface
US10001817B2 (en) 2013-09-03 2018-06-19 Apple Inc. User interface for manipulating user interface objects with magnetic properties
US9448631B2 (en) 2013-12-31 2016-09-20 Microsoft Technology Licensing, Llc Input device haptics and pressure sensing
US9330547B2 (en) * 2014-05-20 2016-05-03 Immersion Corporation Haptic effect authoring tool based on a haptification model
US10523622B2 (en) * 2014-05-21 2019-12-31 Match Group, Llc System and method for user communication in a network
US9588586B2 (en) * 2014-06-09 2017-03-07 Immersion Corporation Programmable haptic devices and methods for modifying haptic strength based on perspective and/or proximity
US9607507B1 (en) * 2014-06-25 2017-03-28 Amazon Technologies, Inc. User activity-based actions
CN116301544A (zh) 2014-06-27 2023-06-23 苹果公司 尺寸减小的用户界面
US10073590B2 (en) 2014-09-02 2018-09-11 Apple Inc. Reduced size user interface
CN111210891B (zh) 2014-09-02 2023-08-25 苹果公司 身体活动和健身监视器
USD763285S1 (en) * 2014-09-02 2016-08-09 Apple Inc. Display screen or portion thereof with graphical user interface
CN115756154A (zh) 2014-09-02 2023-03-07 苹果公司 用于可变触觉输出的语义框架
WO2016036510A1 (en) 2014-09-02 2016-03-10 Apple Inc. Music user interface
WO2016036414A1 (en) 2014-09-02 2016-03-10 Apple Inc. Button functionality
WO2016036509A1 (en) 2014-09-02 2016-03-10 Apple Inc. Electronic mail user interface
US20160217681A1 (en) * 2015-01-23 2016-07-28 Honeywell International Inc. Method to invoke backup input operation
US10365807B2 (en) 2015-03-02 2019-07-30 Apple Inc. Control of system zoom magnification using a rotatable input mechanism
USD765098S1 (en) * 2015-03-06 2016-08-30 Apple Inc. Display screen or portion thereof with graphical user interface
US9632664B2 (en) 2015-03-08 2017-04-25 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10095396B2 (en) 2015-03-08 2018-10-09 Apple Inc. Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object
US9990107B2 (en) 2015-03-08 2018-06-05 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US10048757B2 (en) 2015-03-08 2018-08-14 Apple Inc. Devices and methods for controlling media presentation
US9645732B2 (en) 2015-03-08 2017-05-09 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US9639184B2 (en) 2015-03-19 2017-05-02 Apple Inc. Touch input cursor manipulation
US9785305B2 (en) 2015-03-19 2017-10-10 Apple Inc. Touch input cursor manipulation
US20170045981A1 (en) 2015-08-10 2017-02-16 Apple Inc. Devices and Methods for Processing Touch Inputs Based on Their Intensities
US10152208B2 (en) 2015-04-01 2018-12-11 Apple Inc. Devices and methods for processing touch inputs based on their intensities
US9830048B2 (en) 2015-06-07 2017-11-28 Apple Inc. Devices and methods for processing touch inputs with instructions in a web page
US10200598B2 (en) 2015-06-07 2019-02-05 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US9674426B2 (en) 2015-06-07 2017-06-06 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US10346030B2 (en) 2015-06-07 2019-07-09 Apple Inc. Devices and methods for navigating between user interfaces
US9860451B2 (en) 2015-06-07 2018-01-02 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US9891811B2 (en) 2015-06-07 2018-02-13 Apple Inc. Devices and methods for navigating between user interfaces
US10416800B2 (en) 2015-08-10 2019-09-17 Apple Inc. Devices, methods, and graphical user interfaces for adjusting user interface objects
US9880735B2 (en) 2015-08-10 2018-01-30 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10248308B2 (en) 2015-08-10 2019-04-02 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interfaces with physical gestures
US10235035B2 (en) 2015-08-10 2019-03-19 Apple Inc. Devices, methods, and graphical user interfaces for content navigation and manipulation
JP6222186B2 (ja) * 2015-08-11 2017-11-01 コニカミノルタ株式会社 操作パネル、およびそれを備えた画像形成装置
CN113521710A (zh) 2015-08-20 2021-10-22 苹果公司 基于运动的表盘和复杂功能块
US20170091753A1 (en) * 2015-09-28 2017-03-30 Paypal, Inc. Sensory feedback payment system
US10331873B1 (en) 2015-10-09 2019-06-25 United Services Automobile Association (“USAA”) Graphical event-based password system
US10088906B2 (en) * 2015-11-10 2018-10-02 Joyhaptics Oy Method and apparatus for recognizing swipe operation of a user on a user interface
US9880627B2 (en) * 2015-12-15 2018-01-30 Immersion Corporation Automated haptic setting generation
US10164849B2 (en) * 2015-12-18 2018-12-25 Facebook, Inc. Techniques to detect foreground processes
US10061385B2 (en) * 2016-01-22 2018-08-28 Microsoft Technology Licensing, Llc Haptic feedback for a touch input device
USD801388S1 (en) * 2016-02-11 2017-10-31 Sears Brands, L.L.C. Display screen or portion thereof with icon
WO2017159886A1 (ko) * 2016-03-14 2017-09-21 엘지전자(주) 무선 통신 시스템에서 상향링크 데이터의 전송 방법 및 이를 위한 장치
US9679547B1 (en) * 2016-04-04 2017-06-13 Disney Enterprises, Inc. Augmented reality music composition
US11416212B2 (en) * 2016-05-17 2022-08-16 Microsoft Technology Licensing, Llc Context-based user agent
JP6691434B2 (ja) * 2016-06-07 2020-04-28 株式会社Nttドコモ コンテンツ提示装置
DK201770423A1 (en) 2016-06-11 2018-01-15 Apple Inc Activity and workout updates
DK179823B1 (en) * 2016-06-12 2019-07-12 Apple Inc. DEVICES, METHODS, AND GRAPHICAL USER INTERFACES FOR PROVIDING HAPTIC FEEDBACK
DK179657B1 (en) 2016-06-12 2019-03-13 Apple Inc. Devices, methods and graphical user interfaces for providing haptic feedback
US10346825B2 (en) * 2016-06-27 2019-07-09 Paypal, Inc. Pressure sensitive device casings to enable device functionality
EP3270262A1 (en) * 2016-07-12 2018-01-17 Vestel Elektronik Sanayi ve Ticaret A.S. Touch-screen control device with haptic feedback
JP2018030107A (ja) * 2016-08-26 2018-03-01 レノボ・シンガポール・プライベート・リミテッド 触覚フィードバック・システム、電子機器および触覚フィードバックの生成方法
DK179278B1 (en) 2016-09-06 2018-03-26 Apple Inc Devices, methods and graphical user interfaces for haptic mixing
EP3291054B8 (en) * 2016-09-06 2019-07-24 Apple Inc. Devices, methods, and graphical user interfaces for haptic mixing
DK201670720A1 (en) 2016-09-06 2018-03-26 Apple Inc Devices, Methods, and Graphical User Interfaces for Generating Tactile Outputs
DK179082B1 (en) * 2016-09-06 2017-10-16 Apple Inc Devices, methods and graphical user interfaces for haptic mixing
US10469971B2 (en) * 2016-09-19 2019-11-05 Apple Inc. Augmented performance synchronization
DK179978B1 (en) * 2016-09-23 2019-11-27 Apple Inc. IMAGE DATA FOR ENHANCED USER INTERACTIONS
US10073548B2 (en) * 2016-11-08 2018-09-11 Wacom Co., Ltd. Stylus having variable transmit signal strength, and sensor for detecting such stylus
US10599823B2 (en) * 2016-11-18 2020-03-24 Invensense, Inc. Systems and methods for coordinating applications with a user interface
JP2018097706A (ja) * 2016-12-15 2018-06-21 株式会社東海理化電機製作所 触聴覚呈示装置
US10732954B2 (en) 2016-12-30 2020-08-04 Dropbox, Inc. User engagement aware auto-updater
US10733054B2 (en) * 2016-12-30 2020-08-04 Dropbox, Inc. User engagement aware auto-restart
DE112018000310T5 (de) 2017-01-04 2019-10-02 Joyson Safety Systems Acquisition Llc Schalterbaugruppe mit kraftabhängiger variabler Scroll-Geschwindigkeit und Verwendungsverfahren
JP6868397B2 (ja) * 2017-01-12 2021-05-12 任天堂株式会社 振動制御システム、振動制御装置、振動制御プログラムおよび振動制御方法
EP3573525B1 (en) * 2017-01-27 2023-06-07 Northwestern University Epidermal virtual reality devices
US10423276B2 (en) * 2017-01-30 2019-09-24 Atmel Corporation Applying a signal to a touch sensor
WO2018147850A1 (en) * 2017-02-09 2018-08-16 Sony Mobile Communications Inc. System and method for controlling notifications in an electronic device according to user status
US10976925B2 (en) 2017-03-09 2021-04-13 Google Llc Notification shade with animated reveal of notification indications
US10373474B2 (en) * 2017-03-09 2019-08-06 Keithley Instruments, Llc Auto setting of alarm limits
US10938767B2 (en) * 2017-03-14 2021-03-02 Google Llc Outputting reengagement alerts by a computing device
US20180287987A1 (en) * 2017-03-29 2018-10-04 NURO Secure Messaging Ltd. System and method thereof for contextual customization of notifications
DE112017007223T5 (de) * 2017-04-10 2019-12-05 Mitsubishi Electric Corporation Benutzerschnittstellenvorrichtung
US11651336B1 (en) * 2017-04-27 2023-05-16 United Services Automobile Association (Usaa) Time-varying haptic alerts for computing devices
US10464569B2 (en) * 2017-04-28 2019-11-05 Nxp B.V. Vibration sensor
US10396272B2 (en) * 2017-05-04 2019-08-27 International Business Machines Corporation Display distortion for alignment with a user gaze direction
DK201770372A1 (en) 2017-05-16 2019-01-08 Apple Inc. TACTILE FEEDBACK FOR LOCKED DEVICE USER INTERFACES
AU2017421181B2 (en) * 2017-06-30 2022-08-04 Razer (Asia-Pacific) Pte. Ltd. Adjustable tactile feedback with force sensors and haptic actuators
US20190027000A1 (en) * 2017-07-19 2019-01-24 Kovacorp Interactive Alert Notification System
RU173988U1 (ru) * 2017-07-28 2017-09-25 Открытое акционерное общество "Исток-Аудио Интернэшнл" (ОАО "Исток-Аудио Интернэшнл") Приемник универсальный для системы оповещения
CN107479816B (zh) * 2017-07-28 2019-09-24 Oppo广东移动通信有限公司 黑屏手势的识别方法、装置、存储介质及移动终端
CN107589698B (zh) * 2017-09-20 2021-05-25 友达光电股份有限公司 应用于物联网中的感测装置及控制方法
US10509473B2 (en) * 2017-09-21 2019-12-17 Paypal, Inc. Providing haptic feedback on a screen
US10564741B2 (en) * 2017-10-19 2020-02-18 Microsoft Technology Licensing, Llc Active stylus pairing with a digitizer
KR102440291B1 (ko) 2017-11-15 2022-09-07 삼성디스플레이 주식회사 전자장치 및 전자장치 제어방법
CN109963205A (zh) * 2017-12-25 2019-07-02 上海全土豆文化传播有限公司 多媒体剪辑方法及装置
US10204336B1 (en) 2018-01-12 2019-02-12 Capital One Services, Llc Generating a sensory indication
CN108446007B (zh) * 2018-02-02 2020-11-20 华东师范大学 一种基于手势事件频率学习的手机浏览器功耗节约方法
CN108388403B (zh) * 2018-02-07 2020-05-12 维沃移动通信有限公司 一种处理消息的方法及终端
US10216231B1 (en) * 2018-02-20 2019-02-26 Nvf Tech Ltd Moving magnet actuator for haptic alerts
CN111801145A (zh) * 2018-03-29 2020-10-20 科乐美数码娱乐株式会社 信息处理装置以及在其中记录有用于信息处理装置的程序的记录介质
US11317833B2 (en) * 2018-05-07 2022-05-03 Apple Inc. Displaying user interfaces associated with physical activities
US11132406B2 (en) * 2018-05-18 2021-09-28 Google Llc Action indicators for search operation output elements
US11030921B2 (en) 2018-06-08 2021-06-08 Wells Fargo Bank, N.A. Change data driven tactile response
US10345910B1 (en) * 2018-06-15 2019-07-09 Immersion Corporation Haptic actuator assembly with a spring pre-load device
US10917180B2 (en) * 2018-07-24 2021-02-09 Comcast Cable Communications, Llc Controlling vibration output from a computing device
US11016587B2 (en) 2018-09-11 2021-05-25 Apple Inc. Watch crown haptic support to provide detent-like operation
US11435830B2 (en) 2018-09-11 2022-09-06 Apple Inc. Content-based tactile outputs
US10712824B2 (en) 2018-09-11 2020-07-14 Apple Inc. Content-based tactile outputs
US11484267B2 (en) * 2018-09-11 2022-11-01 Apple Inc. Contact detection for physiological sensor
US10719130B1 (en) * 2018-12-27 2020-07-21 Apple Inc. Haptic actuator including overmolded field member and related methods
EP3677996B1 (en) * 2019-01-07 2022-03-23 Goodix Technology (HK) Company Limited Audio-haptic signal generator
US11086431B2 (en) * 2019-01-30 2021-08-10 Samsung Display Co., Ltd. Display device and method for providing haptic feedback by display device
US10921892B2 (en) * 2019-02-04 2021-02-16 Subpac, Inc. Personalized tactile output
US11670962B2 (en) * 2019-04-09 2023-06-06 Apple Inc. Electronic device with coil for wireless charging and haptic outputs
WO2020211919A1 (en) * 2019-04-15 2020-10-22 Safetyn Alerting system for a light aircraft
DK201970532A1 (en) 2019-05-06 2021-05-03 Apple Inc Activity trends and workouts
CN112015308B (zh) * 2019-05-31 2022-07-15 北京小米移动软件有限公司 内容展示方法及装置
US10996761B2 (en) 2019-06-01 2021-05-04 Apple Inc. User interfaces for non-visual output of time
CN110231869B (zh) * 2019-06-11 2022-08-05 Oppo广东移动通信有限公司 一种触摸电极的控制方法、装置、存储介质及电子设备
KR20200144785A (ko) * 2019-06-19 2020-12-30 삼성전자주식회사 사용자 입력에 대응되는 피드백의 속성을 조정하는 전자 장치 및 방법
US11637921B2 (en) * 2019-09-09 2023-04-25 Motorola Mobility Llc Enabling vibration notification based on environmental noise
US11662820B2 (en) 2020-01-08 2023-05-30 Dell Products, Lp System for a solid-state keyboard and touchpad providing haptic feedback
US11646020B2 (en) * 2020-01-24 2023-05-09 International Business Machines Corporation Communication notification management
US11067269B1 (en) 2020-01-31 2021-07-20 Dell Products, Lp System and method for backlight integration with electrical contact foil in piezoelectric haptic keyboard
US10860112B1 (en) 2020-01-31 2020-12-08 Dell Products, Lp System for a solid-state keyboard and touchpad with a single sheet cover for providing haptic feedback
US11579695B2 (en) 2020-01-31 2023-02-14 Dell Products, Lp System and method for generating sound effects on fingertips with piezoelectric actuators of a haptic keyboard
US11106772B2 (en) 2020-01-31 2021-08-31 Dell Products, Lp System and method for continuous user identification via piezo haptic keyboard and touchpad dynamics
US11079849B1 (en) 2020-01-31 2021-08-03 Dell Products, Lp System for extended key actions and haptic feedback and optimized key layout for a solid-state keyboard and touchpad
US11294469B2 (en) 2020-01-31 2022-04-05 Dell Products, Lp System and method for processing user input via a reconfigurable haptic interface assembly for displaying a modified keyboard configuration
US11093048B1 (en) 2020-01-31 2021-08-17 Dell Products, Lp System for modified key actions and haptic feedback for smart typing assist with a solid-state keyboard and touchpad
US11301053B2 (en) 2020-01-31 2022-04-12 Dell Products, Lp System for providing haptic feedback across full palm rest in fixed position of information handling system
US10936073B1 (en) 2020-01-31 2021-03-02 Dell Products, Lp System and method for generating high-frequency and mid-frequency audible sound via piezoelectric actuators of a haptic keyboard
US11079816B1 (en) 2020-01-31 2021-08-03 Dell Products, Lp System and method for vapor chamber directional heat dissipation for a piezoelectric keyboard assembly
US11175745B2 (en) 2020-01-31 2021-11-16 Dell Products, Lp System and method for application of piezo electric haptic keyboard personal typing profile
US11106286B2 (en) 2020-01-31 2021-08-31 Dell Products, Lp System and method for mood detection via piezo haptic keyboard dynamics
DK202070613A1 (en) 2020-02-14 2021-10-15 Apple Inc User interfaces for workout content
US11209929B2 (en) * 2020-02-17 2021-12-28 Robert Bosch Gmbh Faulty pressure sensor determination of a portable communication device touch display
US20210337000A1 (en) * 2020-04-24 2021-10-28 Mitel Cloud Services, Inc. Cloud-based communication system for autonomously providing collaborative communication events
US11340738B2 (en) * 2020-08-18 2022-05-24 Novatek Microelectronics Corp. Method for force sensing, electronic module capable of facilitating force sensing, and computing apparatus
US11343460B2 (en) 2020-09-10 2022-05-24 Atlassian Pty Ltd. Participation management system for videoconferencing
DE112020007633T5 (de) * 2020-09-22 2023-08-31 Google Llc Führen von fingerabdruckerfassung über benutzerrückmeldung
US11334166B2 (en) 2020-09-30 2022-05-17 International Business Machines Corporation Multi-sensory notifications
FI130484B (en) 2021-02-26 2023-09-29 Amer Sports Digital Services Oy Delivery of content and/or functional features to wearable devices
US11775084B2 (en) * 2021-04-20 2023-10-03 Microsoft Technology Licensing, Llc Stylus haptic component arming and power consumption
WO2022240310A1 (ru) * 2021-05-13 2022-11-17 Евгений Уралович ХАФИЗОВ Система управления тестированием программного обеспечения
EP4323992A1 (en) 2021-05-15 2024-02-21 Apple Inc. User interfaces for group workouts
US11915805B2 (en) 2021-06-06 2024-02-27 Apple Inc. User interfaces for shared health-related data
CN113323515B (zh) * 2021-06-07 2022-07-22 北京京东方技术开发有限公司 基于触觉反馈的密码输出装置、身份认证装置及其方法
US11531398B1 (en) * 2021-08-20 2022-12-20 Apple Inc. Gyroscopic precession engine for wearable devices
US11645871B1 (en) 2021-11-18 2023-05-09 International Business Machines Corporation Engagement based contextual feedback for devices
US11954256B2 (en) 2021-12-17 2024-04-09 Google Llc Haptic interface for computing devices
US20230237287A1 (en) * 2022-01-25 2023-07-27 Apple Inc. Managing information on a computer system
WO2023163490A1 (ko) * 2022-02-25 2023-08-31 삼성전자주식회사 터치 인식을 위한 인식 감도를 조정하는 방법 및 이를 수행하는 전자 장치
US11809630B1 (en) 2022-04-21 2023-11-07 Meta Platforms Technologies, Llc Using a haptic effects library to determine whether to provide predefined or parametrically-defined haptic responses, and systems and methods of use thereof
US11896871B2 (en) 2022-06-05 2024-02-13 Apple Inc. User interfaces for physical activity information
CN115079915B (zh) * 2022-07-19 2023-06-23 荣耀终端有限公司 日历视图的显示方法、电子设备及可读存储介质
US20240061505A1 (en) * 2022-08-19 2024-02-22 Qualcomm Incorporated Adjusting haptic rendering based on contextual awareness

Family Cites Families (461)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6433771B1 (en) 1992-12-02 2002-08-13 Cybernet Haptic Systems Corporation Haptic device attribute control
EP0760125B1 (en) 1994-05-16 2002-04-03 Apple Computer, Inc. A system and method for customizing appearance and behavior of graphical user interfaces
US20030040361A1 (en) 1994-09-21 2003-02-27 Craig Thorner Method and apparatus for generating tactile feedback via relatively low-burden and/or zero burden telemetry
US6219032B1 (en) 1995-12-01 2001-04-17 Immersion Corporation Method for providing force feedback to a user of an interface device based on interactions of a controlled cursor with graphical elements in a graphical user interface
US5990869A (en) 1996-08-20 1999-11-23 Alliance Technologies Corp. Force feedback mouse
JP3655438B2 (ja) 1997-07-17 2005-06-02 任天堂株式会社 ビデオゲームシステム
JP3138666B2 (ja) 1997-08-21 2001-02-26 日本電気通信システム株式会社 携帯電話機
US6211861B1 (en) * 1998-06-23 2001-04-03 Immersion Corporation Tactile mouse device
US8479122B2 (en) 2004-07-30 2013-07-02 Apple Inc. Gestures for touch sensitive input devices
US6429846B2 (en) 1998-06-23 2002-08-06 Immersion Corporation Haptic feedback for touchpads and other touch controls
JP2000209311A (ja) * 1999-01-13 2000-07-28 Yazaki Corp 車両用呼出応対方法
US7469381B2 (en) 2007-01-07 2008-12-23 Apple Inc. List scrolling and document translation, scaling, and rotation on a touch-screen display
US7561142B2 (en) 1999-07-01 2009-07-14 Immersion Corporation Vibrotactile haptic feedback devices
WO2001024158A1 (en) 1999-09-28 2001-04-05 Immersion Corporation Controlling haptic sensations for vibrotactile feedback interface devices
US6424251B1 (en) 1999-11-10 2002-07-23 Matthew T. Byrne Personal electronic device notification system
US6560165B1 (en) 2000-03-28 2003-05-06 Diane K. Barker Medical information appliance
US7016707B2 (en) 2000-06-21 2006-03-21 Seiko Epson Corporation Mobile telephone and radio communication device cooperatively processing incoming call
AU2001294852A1 (en) 2000-09-28 2002-04-08 Immersion Corporation Directional tactile feedback for haptic feedback interface devices
US6791536B2 (en) 2000-11-10 2004-09-14 Microsoft Corporation Simulating gestures of a pointing device using a stylus and providing feedback thereto
GB0029622D0 (en) 2000-12-05 2001-01-17 Nokia Networks Oy Improved user interface
JP4327369B2 (ja) * 2001-02-23 2009-09-09 ヤマハ株式会社 携帯端末、着信通知制御プログラム及び着信通知制御プログラムを記録した記録媒体
US6703550B2 (en) 2001-10-10 2004-03-09 Immersion Corporation Sound data output and manipulation using haptic feedback
EP2793101A3 (en) 2001-11-01 2015-04-29 Immersion Corporation Method and apparatus for providing tactile feedback sensations
WO2003046732A1 (fr) * 2001-11-27 2003-06-05 Matsushita Electric Industrial Co., Ltd. Unite de notification d'informations de port
US6690387B2 (en) 2001-12-28 2004-02-10 Koninklijke Philips Electronics N.V. Touch-screen image scrolling system and method
JP2003288158A (ja) 2002-01-28 2003-10-10 Sony Corp タクタイル・フィードバック機能を持つ携帯型機器
JP2004064117A (ja) * 2002-07-24 2004-02-26 Kenwood Corp 移動体通信端末、着信報知方法及びプログラム
EP1406150A1 (en) 2002-10-01 2004-04-07 Sony Ericsson Mobile Communications AB Tactile feedback method and device and portable device incorporating same
US20040095311A1 (en) 2002-11-19 2004-05-20 Motorola, Inc. Body-centric virtual interactive apparatus and method
AU2003298038A1 (en) * 2002-12-08 2004-06-30 Immersion Corporation Using haptic effects to enhance information content in communications
US8165640B2 (en) 2003-03-14 2012-04-24 Jeffrey D Mullen Systems and methods for providing remote incoming call notification for cellular phones
US7886236B2 (en) 2003-03-28 2011-02-08 Microsoft Corporation Dynamic feedback for gestures
US7454009B2 (en) 2003-04-25 2008-11-18 International Business Machines Corporation Ring-tone identification of urgent phone calls
JP4240293B2 (ja) 2003-05-27 2009-03-18 株式会社ソニー・コンピュータエンタテインメント マルチメディア再生装置およびマルチメディア再生方法
JP2004363999A (ja) * 2003-06-05 2004-12-24 Hitachi Ltd 携帯電話機、携帯電話基地局サーバ及びip電話装置と電子メールシステム
US7130664B1 (en) 2003-06-12 2006-10-31 Williams Daniel P User-based signal indicator for telecommunications device and method of remotely notifying a user of an incoming communications signal incorporating the same
US7669177B2 (en) * 2003-10-24 2010-02-23 Microsoft Corporation System and method for preference application installation and execution
US20060066569A1 (en) * 2003-12-08 2006-03-30 Immersion Corporation, A Delaware Corporation Methods and systems for providing haptic messaging to handheld communication devices
JP2005276089A (ja) * 2004-03-26 2005-10-06 Seiko Epson Corp 入力装置、画像表示装置及びプロジェクタ
US20050231489A1 (en) 2004-04-15 2005-10-20 Research In Motion Limited System and method for providing dynamic tactile feedback on hand-held electronic devices
US7305257B2 (en) 2004-04-16 2007-12-04 Research In Motion Limited Portable alerter for wireless device
JP2006011646A (ja) 2004-06-23 2006-01-12 Pioneer Electronic Corp 触覚表示装置及び触覚表示機能付タッチパネル装置
US7308253B2 (en) 2004-06-30 2007-12-11 Avaya Technology Corp. Log-based ringtone service
US8867724B2 (en) * 2004-08-31 2014-10-21 At&T Intellectual Property I, L.P. Distinctive ring tones prompted by call urgency and context
US8232969B2 (en) 2004-10-08 2012-07-31 Immersion Corporation Haptic feedback for button and scrolling action simulation in touch input devices
US9591345B2 (en) 2004-10-21 2017-03-07 Core Wireless Licensing S.A.R.L. Group editing of media content stored on wireless portable devices
US7720213B2 (en) * 2004-12-30 2010-05-18 Alcatel Lucent Parameter dependent ring tones
US8768838B1 (en) 2005-02-02 2014-07-01 Nexus Payments, LLC Financial transactions using a rule-module nexus and a user account registry
US8082292B2 (en) 2005-04-18 2011-12-20 Research In Motion Limited Method and system for centralized user notification and application execution control
US20060248183A1 (en) * 2005-04-28 2006-11-02 Microsoft Corporation Programmable notifications for a mobile device
US7911983B2 (en) * 2005-07-29 2011-03-22 Cisco Technology, Inc. Selective mute/unmute control over applications running on a PC
KR100714725B1 (ko) 2005-08-29 2007-05-07 삼성전자주식회사 입력 정보의 노출을 방지하기 위한 입력 장치 및 입력 방법
US9166823B2 (en) * 2005-09-21 2015-10-20 U Owe Me, Inc. Generation of a context-enriched message including a message component and a contextual attribute
US20070088560A1 (en) * 2005-10-14 2007-04-19 Motorola, Inc. Method and system for conveying context information in a personal and family security environment
US20070106457A1 (en) 2005-11-09 2007-05-10 Outland Research Portable computing with geospatial haptic compass
US20070132789A1 (en) 2005-12-08 2007-06-14 Bas Ording List scrolling in response to moving contact over list of index symbols
US7958456B2 (en) 2005-12-23 2011-06-07 Apple Inc. Scrolling list with floating adjacent index symbols
CN101375582A (zh) * 2006-01-19 2009-02-25 高通股份有限公司 将已分类源地址群组与振动模式相关联的方法
US7710958B2 (en) 2006-01-20 2010-05-04 Iona Technologies Limited Method for recoverable message exchange independent of network protocols
JP5129478B2 (ja) 2006-03-24 2013-01-30 株式会社デンソーアイティーラボラトリ 画面表示装置
US8144125B2 (en) 2006-03-30 2012-03-27 Cypress Semiconductor Corporation Apparatus and method for reducing average scan rate to detect a conductive object on a sensing device
US7751542B2 (en) 2006-05-04 2010-07-06 Avaya Inc. Feeble ring tones
US20070283239A1 (en) 2006-05-30 2007-12-06 Robert Paul Morris Methods, systems, and computer program products for providing a user interaction model for use by a device
JP2008033739A (ja) 2006-07-31 2008-02-14 Sony Corp 力覚フィードバックおよび圧力測定に基づくタッチスクリーンインターラクション方法および装置
US9304675B2 (en) 2006-09-06 2016-04-05 Apple Inc. Portable electronic device for instant messaging
US8564544B2 (en) 2006-09-06 2013-10-22 Apple Inc. Touch screen device, method, and graphical user interface for customizing display of content category icons
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US7809406B2 (en) 2006-09-15 2010-10-05 Sony Ericsson Mobile Communications Ab Continued transfer or streaming of a data file after loss of a local connection
US7890863B2 (en) * 2006-10-04 2011-02-15 Immersion Corporation Haptic effects with proximity sensing
DE102006048833A1 (de) 2006-10-16 2008-04-17 Universität Rostock Behandlung von Osteoporose
WO2008075082A1 (en) 2006-12-21 2008-06-26 Symbian Software Limited Mobile device and method of operation thereof
US8583189B2 (en) 2006-12-28 2013-11-12 Motorola Mobility Llc Method and apparatus for the selective use of imperceptible invites
US7844915B2 (en) 2007-01-07 2010-11-30 Apple Inc. Application programming interfaces for scrolling operations
CN101232665B (zh) 2007-01-24 2012-02-22 北京三星通信技术研究有限公司 用于移动通信终端的回电设定及自动提示的方法
JP2008181365A (ja) * 2007-01-25 2008-08-07 Mitsubishi Electric Corp 携帯機器
US8098234B2 (en) 2007-02-20 2012-01-17 Immersion Corporation Haptic feedback system with stored effects
KR100835297B1 (ko) 2007-03-02 2008-06-05 광주과학기술원 촉감 정보 표현을 위한 노드 구조 및 이를 이용한 촉감정보 전송 방법과 시스템
US7801569B1 (en) 2007-03-22 2010-09-21 At&T Intellectual Property I, L.P. Mobile communications device with distinctive vibration modes
TWI351638B (en) 2007-04-27 2011-11-01 Htc Corp Touch-based tab navigation method and related devi
US8144126B2 (en) 2007-05-07 2012-03-27 Cypress Semiconductor Corporation Reducing sleep current in a capacitance sensing system
JP4803105B2 (ja) * 2007-05-09 2011-10-26 ソニー株式会社 電子機器
US9954996B2 (en) 2007-06-28 2018-04-24 Apple Inc. Portable electronic device with conversation management for incoming instant messages
US8258986B2 (en) 2007-07-03 2012-09-04 Cypress Semiconductor Corporation Capacitive-matrix keyboard with multiple touch detection
US8026814B1 (en) * 2007-07-25 2011-09-27 Pinpoint Technologies Inc. Wireless mesh network for an asset tracking system
US8331268B2 (en) 2007-08-31 2012-12-11 At&T Intellectual Property I, L.P. Methods, systems, and computer-readable media for providing an event alert
US9619143B2 (en) 2008-01-06 2017-04-11 Apple Inc. Device, method, and graphical user interface for viewing application launch icons
EP2040146B1 (en) 2007-09-18 2020-12-09 Microsoft Technology Licensing, LLC Mobile terminal and method of controlling operation of the same
US8098235B2 (en) 2007-09-28 2012-01-17 Immersion Corporation Multi-touch device having dynamic haptic effects
US7768838B2 (en) 2007-10-30 2010-08-03 Micron Technology, Inc. Operating memory cells
US20090128581A1 (en) 2007-11-20 2009-05-21 Microsoft Corporation Custom transition framework for application state transitions
US20090135142A1 (en) 2007-11-27 2009-05-28 Motorola, Inc. Data entry device and method
US9509829B2 (en) 2007-12-28 2016-11-29 Apple, Inc. Urgent communications
US8373549B2 (en) * 2007-12-31 2013-02-12 Apple Inc. Tactile feedback in an electronic device
US9857872B2 (en) 2007-12-31 2018-01-02 Apple Inc. Multi-touch display screen with localized tactile feedback
US8577423B2 (en) 2008-02-27 2013-11-05 Palm, Inc. Vibration tone differentiation
US20090219252A1 (en) 2008-02-28 2009-09-03 Nokia Corporation Apparatus, method and computer program product for moving controls on a touchscreen
US10015158B2 (en) 2008-02-29 2018-07-03 Blackberry Limited Methods and apparatus for use in enabling a mobile communication device with a digital certificate
US8205157B2 (en) 2008-03-04 2012-06-19 Apple Inc. Methods and graphical user interfaces for conducting searches on a portable multifunction device
BRPI0804355A2 (pt) * 2008-03-10 2009-11-03 Lg Electronics Inc terminal e método de controle do mesmo
US9513704B2 (en) 2008-03-12 2016-12-06 Immersion Corporation Haptically enabled user interface
JP2009265818A (ja) 2008-04-23 2009-11-12 Denso Corp ドライバ覚醒装置
EP2112579B1 (en) * 2008-04-25 2013-05-22 Research In Motion Limited Electronic device comprising touch-sensitive input surface and method of determining user-selected input
JP2009278294A (ja) * 2008-05-13 2009-11-26 Sony Ericsson Mobilecommunications Japan Inc 情報処理装置、情報処理方法、情報処理プログラム、及び携帯端末装置
KR101456001B1 (ko) 2008-05-23 2014-11-03 엘지전자 주식회사 단말기 및 그 제어 방법
US8266550B1 (en) 2008-05-28 2012-09-11 Google Inc. Parallax panning of mobile device desktop
US9357052B2 (en) 2008-06-09 2016-05-31 Immersion Corporation Developing a notification framework for electronic device events
US8203444B2 (en) * 2008-06-10 2012-06-19 Silent Call Corporation Alerting device with supervision
KR101498622B1 (ko) 2008-06-25 2015-03-04 엘지전자 주식회사 촉각 효과를 제공하는 휴대 단말기 및 그 제어방법
US8306576B2 (en) 2008-06-27 2012-11-06 Lg Electronics Inc. Mobile terminal capable of providing haptic effect and method of controlling the mobile terminal
KR101556522B1 (ko) 2008-06-27 2015-10-01 엘지전자 주식회사 촉각 효과를 제공하는 휴대 단말기 및 그 제어방법
KR101443341B1 (ko) 2008-06-30 2014-11-03 엘지전자 주식회사 휴대 단말기 및 그 동작제어 방법
KR101474963B1 (ko) * 2008-07-01 2014-12-19 엘지전자 주식회사 휴대 단말기 및 그 제어방법
US9600175B2 (en) 2008-07-14 2017-03-21 Sony Corporation Method and system for classification sign display
KR101404367B1 (ko) 2008-07-15 2014-06-20 임머숀 코퍼레이션 메시지 콘텐츠를 진동촉각 메시징을 위한 가상 물리적 속성들로 맵핑하기 위한 시스템 및 방법
GB2462465B (en) 2008-08-08 2013-02-13 Hiwave Technologies Uk Ltd Touch sensitive device
US8604364B2 (en) 2008-08-15 2013-12-10 Lester F. Ludwig Sensors, algorithms and applications for a high dimensional touchpad
US8402381B2 (en) 2008-09-23 2013-03-19 International Business Machines Corporation Automatically arranging widgets of a model within a canvas using iterative region based widget relative adjustments
GB2464117B (en) * 2008-10-03 2015-01-28 Hiwave Technologies Uk Ltd Touch sensitive device
EP3654141A1 (en) 2008-10-06 2020-05-20 Samsung Electronics Co., Ltd. Method and apparatus for displaying graphical user interface depending on a user's contact pattern
KR101529502B1 (ko) 2008-10-16 2015-06-17 엘지전자 주식회사 인스턴트 메시지 제어방법과 이를 이용한 이동 단말기
KR101569176B1 (ko) 2008-10-30 2015-11-20 삼성전자주식회사 오브젝트 실행 방법 및 장치
JP5003655B2 (ja) * 2008-11-07 2012-08-15 富士通株式会社 携帯端末装置
EP2187290A1 (en) * 2008-11-18 2010-05-19 Studer Professional Audio GmbH Input device and method of detecting a user input with an input device
JP5227769B2 (ja) 2008-12-05 2013-07-03 ソニーモバイルコミュニケーションズ, エービー 携帯端末およびコンピュータプログラム
JP5181093B2 (ja) 2008-12-08 2013-04-10 韓國電子通信研究院 タッチスクリーン及びその動作方法
US8886252B2 (en) 2008-12-22 2014-11-11 Htc Corporation Method and apparatus for automatically changing operating modes in a mobile device
US8686952B2 (en) 2008-12-23 2014-04-01 Apple Inc. Multi touch with multi haptics
JP4746085B2 (ja) 2008-12-25 2011-08-10 京セラ株式会社 入力装置
US8378979B2 (en) * 2009-01-27 2013-02-19 Amazon Technologies, Inc. Electronic device with haptic feedback
EP2396958B1 (en) 2009-02-11 2013-01-02 Nxp B.V. Controlling an adaptation of a behavior of an audio device to a current acoustic environmental condition
GB2480418B (en) * 2009-02-20 2013-11-13 Solocem Systems Oy Short-range communication-enabled mobile device, method and related server arrangement
US9746923B2 (en) 2009-03-12 2017-08-29 Immersion Corporation Systems and methods for providing features in a friction display wherein a haptic effect is configured to vary the coefficient of friction
US8572513B2 (en) 2009-03-16 2013-10-29 Apple Inc. Device, method, and graphical user interface for moving a current position in content at a variable scrubbing rate
KR101553842B1 (ko) 2009-04-21 2015-09-17 엘지전자 주식회사 멀티 햅틱 효과를 제공하는 휴대 단말기 및 그 제어방법
US9658760B2 (en) 2009-05-07 2017-05-23 Creative Technology Ltd. Methods for searching digital files on a user interface
JP2010268086A (ja) * 2009-05-13 2010-11-25 Nec Saitama Ltd 携帯端末装置およびその着信報知出力制御方法
US8279194B2 (en) 2009-05-22 2012-10-02 Elo Touch Solutions, Inc. Electrode configurations for projected capacitive touch screen
KR101597553B1 (ko) 2009-05-25 2016-02-25 엘지전자 주식회사 기능 실행 방법 및 그 장치
US20100302042A1 (en) 2009-05-28 2010-12-02 David Barnett Sensor-based independent living assistant
US8271898B1 (en) 2009-06-04 2012-09-18 Mellmo Inc. Predictive scrolling
US8254957B2 (en) 2009-06-16 2012-08-28 Intel Corporation Context-based limitation of mobile device operation
KR20100136156A (ko) 2009-06-18 2010-12-28 삼성전자주식회사 터치스크린을 구비하는 휴대 단말기의 화면 스크롤 방법 및 장치
US8310458B2 (en) 2009-07-06 2012-11-13 Research In Motion Limited Electronic device including a moveable touch-sensitive input and method of controlling same
US20110017828A1 (en) * 2009-07-24 2011-01-27 Jadak, Llc Handheld optical imaging device and method
US8378798B2 (en) 2009-07-24 2013-02-19 Research In Motion Limited Method and apparatus for a touch-sensitive display
US8477106B2 (en) 2009-07-29 2013-07-02 Elo Touch Solutions, Inc. System and method for a projected capacitive touchscreen having weight based coordinate determination
US20110053577A1 (en) * 2009-08-31 2011-03-03 Lee Changkee Methods and apparatus for communicating by vibrating or moving mobile devices
US20110055753A1 (en) 2009-08-31 2011-03-03 Horodezky Samuel J User interface methods providing searching functionality
US9176962B2 (en) 2009-09-07 2015-11-03 Apple Inc. Digital media asset browsing with audio cues
US20110074695A1 (en) 2009-09-25 2011-03-31 Peter William Rapp Device, Method, and Graphical User Interface Using Mid-Drag Gestures
US20130053657A1 (en) 2009-09-28 2013-02-28 Illuminare Holdings Ltd. Intravaginal monitoring device and network
US8131848B1 (en) 2009-09-29 2012-03-06 Jason Adam Denise Image analysis and communication device control technology
US8487759B2 (en) 2009-09-30 2013-07-16 Apple Inc. Self adapting haptic device
US9338274B2 (en) 2009-10-02 2016-05-10 Blackberry Limited Method of interacting with electronic devices in a locked state and handheld electronic device configured to permit interaction when in a locked state
US8279052B2 (en) 2009-11-04 2012-10-02 Immersion Corporation Systems and methods for haptic confirmation of commands
US9128602B2 (en) 2009-11-25 2015-09-08 Yahoo! Inc. Gallery application for content viewing
EP2328063B1 (en) 2009-11-30 2018-01-10 BlackBerry Limited Portable electronic device and method of controlling same to provide tactile feedback
US8204548B1 (en) 2009-12-01 2012-06-19 Sprint Communications Company L.P. System and method for mobile device application pre-emption
US8347238B2 (en) 2009-12-16 2013-01-01 Apple Inc. Device, method, and graphical user interface for managing user interface content and user interface elements by dynamic snapping of user interface elements to alignment guides
US20110148608A1 (en) 2009-12-18 2011-06-23 Research In Motion Limited Portable electronic device and method of control
JP5437786B2 (ja) 2009-12-21 2014-03-12 京セラ株式会社 触感呈示装置
US8386965B2 (en) 2010-01-15 2013-02-26 Apple Inc. Techniques and systems for enhancing touch screen device accessibility through virtual containers and virtually enlarged boundaries
US20110202843A1 (en) 2010-02-15 2011-08-18 Robert Paul Morris Methods, systems, and computer program products for delaying presentation of an update to a user interface
US8548418B1 (en) 2010-01-25 2013-10-01 Sprint Spectrum L.P. Methods and devices for distributing ringtone
JP5635274B2 (ja) 2010-01-27 2014-12-03 京セラ株式会社 触感呈示装置および触感呈示方法
JP5360499B2 (ja) * 2010-02-01 2013-12-04 国立大学法人東北大学 力覚提示方法および力覚提示装置
TW201205910A (en) 2010-02-03 2012-02-01 Bayer Materialscience Ag An electroactive polymer actuator haptic grip assembly
US9361018B2 (en) 2010-03-01 2016-06-07 Blackberry Limited Method of providing tactile feedback and apparatus
US8957981B2 (en) 2010-03-03 2015-02-17 Intellectual Ventures Fund 83 Llc Imaging device for capturing self-portrait images
US9170708B2 (en) 2010-04-07 2015-10-27 Apple Inc. Device, method, and graphical user interface for managing folders
KR101657543B1 (ko) 2010-06-14 2016-09-22 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
EP2378406B1 (en) 2010-04-13 2018-08-22 LG Electronics Inc. Mobile terminal and method of controlling operation of the mobile terminal
US8698766B2 (en) 2010-04-22 2014-04-15 Maxim Integrated Products, Inc. System integration of tactile feedback and touchscreen controller for near-zero latency haptics playout
CN107102721A (zh) * 2010-04-23 2017-08-29 意美森公司 用于提供触觉效果的系统和方法
US8671504B2 (en) * 2010-04-28 2014-03-18 Denso Corporation Cover of vehicle optical sensor and vehicle optical sensor device
US20110271181A1 (en) 2010-04-28 2011-11-03 Acer Incorporated Screen unlocking method and electronic apparatus thereof
US20110267294A1 (en) 2010-04-29 2011-11-03 Nokia Corporation Apparatus and method for providing tactile feedback for user
US20110267181A1 (en) 2010-04-29 2011-11-03 Nokia Corporation Apparatus and method for providing tactile feedback for user
US20110270358A1 (en) 2010-04-30 2011-11-03 Medtronic, Inc. Implantable medical device programming using gesture-based control
US8451255B2 (en) 2010-05-14 2013-05-28 Arnett Ryan Weber Method of providing tactile feedback and electronic device
EP2386935B1 (en) 2010-05-14 2015-02-11 BlackBerry Limited Method of providing tactile feedback and electronic device
US8466889B2 (en) 2010-05-14 2013-06-18 Research In Motion Limited Method of providing tactile feedback and electronic device
US20120327006A1 (en) 2010-05-21 2012-12-27 Disney Enterprises, Inc. Using tactile feedback to provide spatial awareness
US9749176B2 (en) 2010-06-29 2017-08-29 Nokia Technologies Oy Systems, methods, and apparatuses for providing adaptive user notifications
US8798534B2 (en) 2010-07-09 2014-08-05 Digimarc Corporation Mobile devices and methods employing haptics
EP2407896A1 (en) 2010-07-16 2012-01-18 Research In Motion Limited Systems and methods of user interface for image display
JP2012027875A (ja) 2010-07-28 2012-02-09 Sony Corp 電子機器、処理方法及びプログラム
US8766984B2 (en) 2010-08-20 2014-07-01 Qualcomm Incorporated Graphics rendering methods for satisfying minimum frame rate requirements
US9069760B2 (en) 2010-08-24 2015-06-30 Lg Electronics Inc. Mobile terminal and controlling method thereof
JP5656511B2 (ja) 2010-08-26 2015-01-21 京セラ株式会社 表示装置
US8676274B2 (en) 2010-08-27 2014-03-18 At&T Intellectual Property I, L.P. Devices, systems, and methods for notification of events on a wireless communication device
FR2964761B1 (fr) 2010-09-14 2012-08-31 Thales Sa Dispositif d'interaction haptique et procede de generation d'effets haptiques et sonores
DE112011101209T5 (de) 2010-09-24 2013-01-17 Qnx Software Systems Ltd. Warnmeldungs-Anzeige auf einer tragbaren elektronischen Vorrichtung
DE102010048745A1 (de) 2010-10-16 2012-04-19 Volkswagen Ag Benutzerschnittstelle und Verfahren zum Bedienen einer Benutzerschnittstelle
US20120105367A1 (en) 2010-11-01 2012-05-03 Impress Inc. Methods of using tactile force sensing for intuitive user interface
US8914743B2 (en) 2010-11-12 2014-12-16 Apple Inc. Device, method, and graphical user interface for navigating a list of identifiers
JPWO2012081182A1 (ja) 2010-12-13 2014-05-22 パナソニック株式会社 電子機器
US9223471B2 (en) 2010-12-28 2015-12-29 Microsoft Technology Licensing, Llc Touch screen control
US9052758B2 (en) 2010-12-31 2015-06-09 Blackberry Limited System and method for detecting accidental peripheral device disconnection
KR101785323B1 (ko) 2011-01-05 2017-10-17 삼성전자주식회사 휴대 단말기의 사용자 인터페이스 제공 방법 및 장치
CN102609078B (zh) 2011-01-20 2014-12-31 宏达国际电子股份有限公司 具有触觉反馈的电子装置及提供触觉反馈的方法
US8615511B2 (en) 2011-01-22 2013-12-24 Operational Transparency LLC Data visualization interface
US9158378B2 (en) 2011-02-10 2015-10-13 Kyocera Corporation Electronic device and control method for electronic device
EP2677433B1 (en) 2011-02-15 2016-05-04 NEC Corporation Portable terminal device and screen display method thereof
CN102651920A (zh) 2011-02-24 2012-08-29 腾讯科技(深圳)有限公司 基于移动通信终端的操作提示方法及移动通信终端
US8749349B2 (en) * 2011-03-11 2014-06-10 Nokia Corporation Method apparatus and computer program
US20120249461A1 (en) 2011-04-01 2012-10-04 Analog Devices, Inc. Dedicated user interface controller for feedback responses
JPWO2012137946A1 (ja) 2011-04-06 2014-07-28 京セラ株式会社 電子機器、操作制御方法および操作制御プログラム
US9448713B2 (en) 2011-04-22 2016-09-20 Immersion Corporation Electro-vibrotactile display
US9218727B2 (en) 2011-05-12 2015-12-22 Apple Inc. Vibration in portable devices
US8717151B2 (en) 2011-05-13 2014-05-06 Qualcomm Incorporated Devices and methods for presenting information to a user on a tactile output surface of a mobile device
US20120306790A1 (en) 2011-06-02 2012-12-06 Electronics And Telecommunications Research Institute Film type apparatus for providing haptic feedback and touch screen including the same
US9383820B2 (en) 2011-06-03 2016-07-05 Apple Inc. Custom vibration patterns
US9083821B2 (en) 2011-06-03 2015-07-14 Apple Inc. Converting audio to haptic feedback in an electronic device
EP2712441B1 (en) * 2011-06-05 2020-09-23 Apple Inc. Systems and methods for displaying notifications received from multiple applications
EP2535134B1 (de) 2011-06-16 2018-01-24 Klingelnberg AG Verfahren zum Vorverzahnen mehrerer unterschiedlicher Kegelräder
CN102330123A (zh) 2011-07-27 2012-01-25 太仓市金鹿电镀有限公司 一种连续镀金工艺
US20130031507A1 (en) 2011-07-28 2013-01-31 Moses George Systems and methods for scrolling a document by providing visual feedback of a transition between portions of the document
US9880640B2 (en) 2011-10-06 2018-01-30 Amazon Technologies, Inc. Multi-dimensional interface
GB2495486A (en) 2011-10-07 2013-04-17 Hiwave Technologies Uk Ltd Contextual haptic feedback in response to touch input
JP5899845B2 (ja) 2011-11-15 2016-04-06 セイコーエプソン株式会社 画像記録装置
CN102420906A (zh) * 2011-12-01 2012-04-18 华为终端有限公司 提示方法和用户终端
KR101597561B1 (ko) * 2011-12-15 2016-03-07 엘지전자 주식회사 햅틱 전송 방법 및 그 이동 단말기
US9223472B2 (en) 2011-12-22 2015-12-29 Microsoft Technology Licensing, Llc Closing applications
KR101919617B1 (ko) 2011-12-27 2018-11-16 엘지전자 주식회사 어포던스와 인터랙션이 강화된 사용자 인터페이스
US9032385B2 (en) 2011-12-28 2015-05-12 Lg Electronics Inc. Mobile terminal and control method thereof
US8812994B2 (en) 2011-12-29 2014-08-19 Apple Inc. Device, method, and graphical user interface for configuring restricted interaction with a user interface
US9092953B1 (en) 2012-01-24 2015-07-28 Bruce J. P. Mortimer System and method for providing a remote haptic stimulus
JP5590345B2 (ja) * 2012-02-01 2014-09-17 シャープ株式会社 入出力装置、入出力方法、及び入出力プログラム
US9411423B2 (en) 2012-02-08 2016-08-09 Immersion Corporation Method and apparatus for haptic flex gesturing
US8493354B1 (en) 2012-08-23 2013-07-23 Immersion Corporation Interactivity model for shared feedback on mobile devices
WO2013124099A1 (en) * 2012-02-20 2013-08-29 Sony Mobile Communications Ab Touch screen interface with feedback
CN102622175B (zh) 2012-02-24 2019-03-12 中兴通讯股份有限公司 一种在触摸屏设备上新建文件夹的方法及终端
US20130222224A1 (en) * 2012-02-24 2013-08-29 Marcus Eriksson Device, System and Method for Generating Display Data
US20130225300A1 (en) 2012-02-28 2013-08-29 Timothy J. Brinlee Apparatus for personalized gaming environment
US20130234929A1 (en) 2012-03-07 2013-09-12 Evernote Corporation Adapting mobile user interface to unfavorable usage conditions
US9247525B2 (en) 2012-03-16 2016-01-26 Qualcomm Incorporated Systems and methods for providing notifications
US9934713B2 (en) 2012-03-28 2018-04-03 Qualcomm Incorporated Multifunction wristband
US8881269B2 (en) 2012-03-31 2014-11-04 Apple Inc. Device, method, and graphical user interface for integrating recognition of handwriting gestures with a screen reader
WO2013156815A1 (en) 2012-04-18 2013-10-24 Nokia Corporation A display apparatus with haptic feedback
JP5987443B2 (ja) 2012-04-19 2016-09-07 富士通株式会社 操作動作検出装置、操作動作検出方法、及びプログラム
US9317119B2 (en) 2012-04-27 2016-04-19 Panasonic Intellectual Property Management Co., Ltd. Haptic feedback device, haptic feedback method, driving signal generating device and driving signal generation method
US20130290442A1 (en) * 2012-04-30 2013-10-31 Emoze Ltd. Downloaded attachments flow
CN108241465B (zh) 2012-05-09 2021-03-09 苹果公司 用于针对在用户界面中执行的操作提供触觉反馈的方法和装置
WO2013169875A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for displaying content associated with a corresponding affordance
US10097496B2 (en) 2012-05-09 2018-10-09 Apple Inc. Electronic mail user interface
CN104487929B (zh) 2012-05-09 2018-08-17 苹果公司 用于响应于用户接触来显示附加信息的设备、方法和图形用户界面
US9804759B2 (en) 2012-05-09 2017-10-31 Apple Inc. Context-specific user interfaces
KR101670570B1 (ko) 2012-05-09 2016-10-28 애플 인크. 사용자 인터페이스 객체를 선택하는 디바이스, 방법, 및 그래픽 사용자 인터페이스
DE112013002381T5 (de) 2012-05-09 2015-02-26 Apple Inc. Vorrichtung, Verfahren und grafische Benutzeroberfläche für die Bewegung und Ablegen eines Benutzerschnittstellenobjekts
KR101823288B1 (ko) 2012-05-09 2018-01-29 애플 인크. 제스처에 응답하여 디스플레이 상태들 사이를 전이하기 위한 디바이스, 방법, 및 그래픽 사용자 인터페이스
WO2013169865A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for moving a user interface object based on an intensity of a press input
EP2847662B1 (en) 2012-05-09 2020-02-19 Apple Inc. Device, method, and graphical user interface for providing feedback for changing activation states of a user interface object
WO2013169849A2 (en) 2012-05-09 2013-11-14 Industries Llc Yknots Device, method, and graphical user interface for displaying user interface objects corresponding to an application
WO2013169303A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Adaptive haptic feedback for electronic devices
WO2013169842A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for selecting object within a group of objects
US20130300684A1 (en) * 2012-05-11 2013-11-14 Samsung Electronics Co. Ltd. Apparatus and method for executing multi applications
US8570296B2 (en) * 2012-05-16 2013-10-29 Immersion Corporation System and method for display of multiple data channels on a single haptic display
US9891709B2 (en) 2012-05-16 2018-02-13 Immersion Corporation Systems and methods for content- and context specific haptic effects using predefined haptic effects
CN106133748B (zh) 2012-05-18 2020-01-31 苹果公司 用于基于指纹传感器输入来操纵用户界面的设备、方法和图形用户界面
US20130318437A1 (en) 2012-05-22 2013-11-28 Samsung Electronics Co., Ltd. Method for providing ui and portable apparatus applying the same
US8948821B2 (en) * 2012-05-27 2015-02-03 Qualcomm Incorporated Notification based on user context
US9348607B2 (en) 2012-06-07 2016-05-24 Apple Inc. Quiet hours for notifications
KR101305735B1 (ko) 2012-06-15 2013-09-06 성균관대학교산학협력단 촉각 효과의 제공 방법 및 장치
US8712383B1 (en) * 2012-06-21 2014-04-29 Google Inc. Tactile output device for computing device notifications
US8886576B1 (en) 2012-06-22 2014-11-11 Google Inc. Automatic label suggestions for albums based on machine learning
US9641239B2 (en) 2012-06-22 2017-05-02 Fitbit, Inc. Adaptive data transfer using bluetooth
DE102012211163A1 (de) 2012-06-28 2014-06-26 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Empfangen einer Eingabe auf einem berührungsempfindlichen Feld
US20140007005A1 (en) 2012-06-29 2014-01-02 Evernote Corporation Scrollable calendar with combined date and time controls
US20140002376A1 (en) 2012-06-29 2014-01-02 Immersion Corporation Method and apparatus for providing shortcut touch gestures with haptic feedback
US9110562B1 (en) 2012-07-26 2015-08-18 Google Inc. Snapping a pointing-indicator to a scene boundary of a video
US20150156196A1 (en) 2012-07-31 2015-06-04 Intellectual Discovery Co., Ltd. Wearable electronic device and method for controlling same
US9256366B2 (en) 2012-08-14 2016-02-09 Google Technology Holdings LLC Systems and methods for touch-based two-stage text input
CN102843681A (zh) 2012-08-15 2012-12-26 腾讯科技(深圳)有限公司 信息交互方法和装置
US9280206B2 (en) 2012-08-20 2016-03-08 Samsung Electronics Co., Ltd. System and method for perceiving images with multimodal feedback
US8896524B2 (en) * 2012-08-24 2014-11-25 Immersion Corporation Context-dependent haptic confirmation system
EP2703947B1 (de) 2012-08-27 2019-02-27 Siemens Aktiengesellschaft Bedieneinrichtung für ein technisches System
KR102008916B1 (ko) 2012-09-07 2019-08-08 삼성전자주식회사 미확인 콘텐츠 표시 방법 및 그 전자 장치
US10042603B2 (en) 2012-09-20 2018-08-07 Samsung Electronics Co., Ltd. Context aware service provision method and apparatus of user device
WO2014049392A1 (en) 2012-09-25 2014-04-03 Nokia Corporation Method and display device with tactile feedback
US20150234464A1 (en) 2012-09-28 2015-08-20 Nokia Technologies Oy Apparatus displaying animated image combined with tactile output
US8743072B2 (en) 2012-09-28 2014-06-03 Lg Electronics Inc. Display device and control method thereof
US9178509B2 (en) 2012-09-28 2015-11-03 Apple Inc. Ultra low travel keyboard
US9196134B2 (en) 2012-10-31 2015-11-24 Immersion Corporation Method and apparatus for simulating surface features on a user interface with haptic effects
CN103809884B (zh) 2012-11-07 2019-02-05 联想(北京)有限公司 一种触控反馈方法、触控反馈屏及电子设备
US9836150B2 (en) * 2012-11-20 2017-12-05 Immersion Corporation System and method for feedforward and feedback with haptic effects
US20150301697A1 (en) 2012-11-20 2015-10-22 Jolla Oy A graphical user interface for a portable computing device
CN104395866B (zh) 2012-11-30 2018-02-23 松下知识产权经营株式会社 触觉提示装置及触觉提示方法
CN103843842A (zh) 2012-12-03 2014-06-11 青岛艾华隆生物科技有限公司 一种高效无毒农药及其制备方法
KR102091077B1 (ko) 2012-12-14 2020-04-14 삼성전자주식회사 입력 유닛의 피드백을 제어하는 휴대 단말 및 방법과, 이를 제공하는 상기 입력 유닛 및 방법
JP6094198B2 (ja) 2012-12-17 2017-03-15 カシオ計算機株式会社 携帯型電子装置、通信システム、報知動作制御方法、及び、プログラム
CN103869960B (zh) 2012-12-18 2018-02-23 富泰华工业(深圳)有限公司 触感反馈系统及其提供触感反馈的方法
US9202350B2 (en) 2012-12-19 2015-12-01 Nokia Technologies Oy User interfaces and associated methods
US9223403B2 (en) 2012-12-19 2015-12-29 Panasonic Intellectual Property Management Co., Ltd. Tactile input and output device
US9128523B2 (en) 2012-12-20 2015-09-08 Amazon Technologies, Inc. Dynamically generating haptic effects from audio data
US9213478B2 (en) 2012-12-21 2015-12-15 Business Objects Software Visualization interaction design for cross-platform utilization
US9432323B2 (en) 2012-12-21 2016-08-30 Blackberry Limited Method, system and apparatus for providing notifications for different workspaces
US9323327B2 (en) 2012-12-22 2016-04-26 Intel Corporation System and method for providing tactile feedback
US9285880B2 (en) 2012-12-26 2016-03-15 Panasonic Intellectual Property Management Co., Ltd. Touch panel device and method of controlling a touch panel device
CN104885050B (zh) 2012-12-29 2017-12-08 苹果公司 用于确定是滚动还是选择内容的设备、方法和图形用户界面
EP2939095B1 (en) 2012-12-29 2018-10-03 Apple Inc. Device, method, and graphical user interface for moving a cursor according to a change in an appearance of a control icon with simulated three-dimensional characteristics
EP2912542B1 (en) 2012-12-29 2022-07-13 Apple Inc. Device and method for forgoing generation of tactile output for a multi-contact gesture
KR101727047B1 (ko) 2012-12-31 2017-04-14 엘지전자 주식회사 진동 발생 장치 및 방법
US9417740B2 (en) 2013-01-03 2016-08-16 Nokia Technologies Oy Capacitive sensing apparatus with a shield electrode
KR20140090318A (ko) 2013-01-07 2014-07-17 삼성전자주식회사 햅틱 기반 카메라 운용 지원 방법 및 이를 지원하는 단말기
US9098991B2 (en) 2013-01-15 2015-08-04 Fitbit, Inc. Portable monitoring devices and methods of operating the same
US9088668B1 (en) 2013-01-24 2015-07-21 Amazon Technologies, Inc. Configuring notification intensity level using device sensors
US9699130B2 (en) 2013-01-24 2017-07-04 International Business Machines Corporation User interface with recipient status indication
KR20140095712A (ko) 2013-01-25 2014-08-04 삼성전자주식회사 알림 제어 방법 및 그 전자 장치
KR102087005B1 (ko) 2013-01-31 2020-03-11 삼성전자 주식회사 페이지 검색 방법 및 이를 지원하는 단말기
KR20140098384A (ko) * 2013-01-31 2014-08-08 삼성전자주식회사 복수의 터치스크린을 가지는 휴대 장치 및 복수의 터치스크린을 가지는 휴대 장치의 사운드 출력방법
US10775888B2 (en) 2013-02-15 2020-09-15 Facebook, Inc. Method and system for integrating haptic feedback into portable electronic devices
US20140232679A1 (en) 2013-02-17 2014-08-21 Microsoft Corporation Systems and methods to protect against inadvertant actuation of virtual buttons on touch surfaces
WO2014128021A1 (en) 2013-02-19 2014-08-28 Thomson Licensing Method and apparatus for notifying missed events
US10504339B2 (en) 2013-02-21 2019-12-10 Immersion Corporation Mobile device with instinctive alerts
KR102104910B1 (ko) 2013-02-28 2020-04-27 삼성전자주식회사 입력 유닛에 촉각 피드백을 제공하는 휴대 장치 및 그 방법
US8754757B1 (en) 2013-03-05 2014-06-17 Immersion Corporation Automatic fitting of haptic effects
US10795528B2 (en) 2013-03-06 2020-10-06 Nuance Communications, Inc. Task assistant having multiple visual displays
US9854084B2 (en) 2013-03-06 2017-12-26 Google Llc Contextual alarm and notification management
US9189098B2 (en) 2013-03-14 2015-11-17 Immersion Corporation Systems and methods for syncing haptic feedback calls
US9436282B2 (en) 2013-03-14 2016-09-06 Immersion Corporation Contactor-based haptic feedback generation
US9632986B2 (en) 2013-03-14 2017-04-25 Aol Inc. Systems and methods for horizontally paginating HTML content
US9471200B2 (en) 2013-03-15 2016-10-18 Apple Inc. Device, method, and graphical user interface for organizing and presenting a collection of media items
WO2014149498A2 (en) 2013-03-15 2014-09-25 First Data Corporation Remote secure transactions
US20140267076A1 (en) 2013-03-15 2014-09-18 Immersion Corporation Systems and Methods for Parameter Modification of Haptic Effects
KR101666393B1 (ko) 2013-03-27 2016-10-14 한국전자통신연구원 음향효과를 이용한 촉각효과 재생 장치 및 방법
US20140292668A1 (en) 2013-04-01 2014-10-02 Lenovo (Singapore) Pte. Ltd. Touch input device haptic feedback
KR102115397B1 (ko) 2013-04-01 2020-05-26 삼성전자주식회사 휴대 장치 및 휴대 장치의 재생목록 표시 방법
US20140292706A1 (en) 2013-04-01 2014-10-02 Lenovo (Singapore) Pte. Ltd. Non-visual touch input targeting
US9507495B2 (en) 2013-04-03 2016-11-29 Blackberry Limited Electronic device and method of displaying information in response to a gesture
US9997032B2 (en) 2013-04-09 2018-06-12 Immersion Corporation Offline haptic conversion system
US9075435B1 (en) 2013-04-22 2015-07-07 Amazon Technologies, Inc. Context-aware notifications
JP6131091B2 (ja) 2013-04-22 2017-05-17 シャープ株式会社 情報処理装置および制御プログラム
JP6297787B2 (ja) 2013-04-25 2018-03-20 京セラ株式会社 携帯電子機器
KR20160002941A (ko) 2013-04-26 2016-01-08 임머숀 코퍼레이션 플렉서블 디스플레이를 위한 수동 강성 및 능동 변형 햅틱 출력 장치
US9939900B2 (en) 2013-04-26 2018-04-10 Immersion Corporation System and method for a haptically-enabled deformable surface
US20140329567A1 (en) 2013-05-01 2014-11-06 Elwha Llc Mobile device with automatic volume control
US20140331162A1 (en) 2013-05-06 2014-11-06 Sap Ag Quick time-related data entry
US20140340316A1 (en) 2013-05-14 2014-11-20 Microsoft Corporation Feedback for Gestures
JP6157215B2 (ja) 2013-05-23 2017-07-05 キヤノン株式会社 表示制御装置及びその制御方法
US9274603B2 (en) 2013-05-24 2016-03-01 Immersion Corporation Method and apparatus to provide haptic feedback based on media content and one or more external parameters
KR102161230B1 (ko) 2013-05-28 2020-09-29 삼성전자주식회사 멀티미디어 콘텐츠 검색을 위한 사용자 인터페이스 방법 및 장치
US20140358709A1 (en) 2013-05-31 2014-12-04 Mastercard Asia Pacific Pte. Ltd. Card Present Transaction Authentication by Short Messaging Service
DE102013210522A1 (de) 2013-06-06 2014-12-11 Aktiebolaget Skf Wälzlager
US9103681B2 (en) * 2013-06-08 2015-08-11 Apple Inc. Navigation application with several navigation modes
JP6093659B2 (ja) 2013-06-24 2017-03-08 シャープ株式会社 情報処理装置、および情報処理プログラム
US9804675B2 (en) 2013-06-27 2017-10-31 Elwha Llc Tactile feedback generated by non-linear interaction of surface acoustic waves
US9729730B2 (en) 2013-07-02 2017-08-08 Immersion Corporation Systems and methods for perceptual normalization of haptic effects
JP2015015600A (ja) 2013-07-04 2015-01-22 シャープ株式会社 携帯端末、制御方法
US10359857B2 (en) 2013-07-18 2019-07-23 Immersion Corporation Usable hidden controls with haptic feedback
US10037081B2 (en) 2013-08-12 2018-07-31 Immersion Corporation Systems and methods for haptic fiddling
KR101375613B1 (ko) 2013-08-14 2014-03-20 건국대학교 산학협력단 레이저를 이용하여 촉감을 제공하는 전자 장치 및 이를 이용한 방법
US9124720B2 (en) * 2013-08-19 2015-09-01 Lisa Marie West Driving cannot text noncontrolling cell phone app system and method
US20150054727A1 (en) * 2013-08-23 2015-02-26 Immersion Corporation Haptically enabled viewing of sporting events
US9652945B2 (en) 2013-09-06 2017-05-16 Immersion Corporation Method and system for providing haptic effects based on information complementary to multimedia content
US9898085B2 (en) 2013-09-06 2018-02-20 Immersion Corporation Haptic conversion system using segmenting and combining
US9514620B2 (en) 2013-09-06 2016-12-06 Immersion Corporation Spatialized haptic feedback based on dynamically scaled values
JP6667987B2 (ja) 2013-09-06 2020-03-18 イマージョン コーポレーションImmersion Corporation 触覚フィードバックを提供するための制御トラックを変換する方法及び装置
US9558637B2 (en) 2013-09-10 2017-01-31 Immersion Corporation Systems and methods for performing haptic conversion
JP6127853B2 (ja) 2013-09-13 2017-05-17 富士通株式会社 情報処理装置、方法及びプログラム
US20150078586A1 (en) 2013-09-16 2015-03-19 Amazon Technologies, Inc. User input with fingerprint sensor
US9892200B2 (en) 2013-09-18 2018-02-13 Ebay Inc. Location-based and alter-ego queries
US9553872B2 (en) * 2013-09-20 2017-01-24 Verizon Patent And Licensing Inc. Method and system for providing zero sign on user authentication
US9213408B2 (en) * 2013-10-08 2015-12-15 Immersion Corporation Generating haptic effects while minimizing cascading
US20150103015A1 (en) * 2013-10-10 2015-04-16 Blackberry Limited Devices and methods for generating tactile feedback
US9430796B1 (en) * 2013-10-16 2016-08-30 Google Inc. Direct purchase from user-received advertisement
GB2519558A (en) 2013-10-24 2015-04-29 Ibm Touchscreen device with motion sensor
CN104599121B (zh) 2013-10-30 2017-04-12 腾讯科技(深圳)有限公司 一种信息传输方法、装置和系统
US9189932B2 (en) 2013-11-06 2015-11-17 Andrew Kerdemelidis Haptic notification apparatus and method
KR101504237B1 (ko) 2013-11-15 2015-03-19 엘지전자 주식회사 이동 단말기 및 그 제어방법
US9639158B2 (en) 2013-11-26 2017-05-02 Immersion Corporation Systems and methods for generating friction and vibrotactile effects
US9671826B2 (en) 2013-11-27 2017-06-06 Immersion Corporation Method and apparatus of body-mediated digital content transfer and haptic feedback
US9411422B1 (en) 2013-12-13 2016-08-09 Audible, Inc. User interaction with content markers
GB2521225A (en) 2013-12-16 2015-06-17 Vicast Ltd A method and apparatus for cataloguing data items
KR102225031B1 (ko) 2014-01-14 2021-03-09 엘지전자 주식회사 단말기 및 그 동작 방법
US9766852B2 (en) 2014-01-15 2017-09-19 Lenovo (Singapore) Pte. Ltd. Non-audio notification of audible events
WO2015116056A1 (en) 2014-01-29 2015-08-06 Hewlett-Packard Development Company, L.P. Force feedback
US10726018B2 (en) 2014-02-10 2020-07-28 Microsoft Technology Licensing, Llc Semantic matching and annotation of attributes
EP2908236A1 (en) 2014-02-13 2015-08-19 Samsung Electronics Co., Ltd Electronic device and index display method thereof
US9836123B2 (en) 2014-02-13 2017-12-05 Mide Technology Corporation Bussed haptic actuator system and method
WO2015126095A1 (ko) 2014-02-21 2015-08-27 삼성전자 주식회사 전자 장치
KR102102647B1 (ko) 2014-02-21 2020-04-21 엘지전자 주식회사 무선 리시버 및 그 제어 방법
JP2015166890A (ja) 2014-03-03 2015-09-24 ソニー株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
KR102335217B1 (ko) 2014-03-05 2021-12-03 삼성전자 주식회사 전류 또는 전력 소모량을 이용한 애플리케이션 프로세서의 구동 방법 및 모바일 장치
US10417570B2 (en) 2014-03-06 2019-09-17 Verizon Patent And Licensing Inc. Systems and methods for probabilistic semantic sensing in a sensory network
JP2015170173A (ja) 2014-03-07 2015-09-28 ソニー株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
JP6381240B2 (ja) 2014-03-14 2018-08-29 キヤノン株式会社 電子機器、触感制御方法及びプログラム
US9639231B2 (en) 2014-03-17 2017-05-02 Google Inc. Adjusting information depth based on user's attention
CN104932681B (zh) 2014-03-21 2019-09-20 意美森公司 触觉效果的自动调整
CN106104426B (zh) 2014-03-21 2020-04-03 意美森公司 用于基于力的对象操纵和触觉检测的系统、方法和计算机可读介质
JP2015185137A (ja) 2014-03-26 2015-10-22 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
KR102243680B1 (ko) 2014-04-07 2021-04-23 엘지전자 주식회사 투명 플렉서블 디스플레이 장치 및 그 장치의 제어 방법
KR20150118813A (ko) 2014-04-15 2015-10-23 삼성전자주식회사 햅틱 정보 운용 방법 및 이를 지원하는 전자 장치
US10162505B2 (en) 2014-04-17 2018-12-25 Blackberry Limited System and method for enabling customized notifications on an electronic device
JP6322830B2 (ja) 2014-05-09 2018-05-16 任天堂株式会社 情報処理装置、情報処理プログラム、情報処理システム、および情報処理方法
US9507420B2 (en) 2014-05-13 2016-11-29 Qualcomm Incorporated System and method for providing haptic feedback to assist in capturing images
CN105099688B (zh) * 2014-05-15 2018-12-21 阿里巴巴集团控股有限公司 一种电子账户的操作方法、支付页面的展示方法及装置
KR102204554B1 (ko) 2014-05-27 2021-01-19 엘지전자 주식회사 이동 단말기 및 그것의 제어방법
US11343335B2 (en) 2014-05-29 2022-05-24 Apple Inc. Message processing by subscriber app prior to message forwarding
US9733880B2 (en) 2014-05-30 2017-08-15 Immersion Corporation Haptic notification manager
US11256294B2 (en) 2014-05-30 2022-02-22 Apple Inc. Continuity of applications across devices
US9898162B2 (en) 2014-05-30 2018-02-20 Apple Inc. Swiping functions for messaging applications
US9971500B2 (en) 2014-06-01 2018-05-15 Apple Inc. Displaying options, assigning notification, ignoring messages, and simultaneous user interface displays in a messaging application
US9588586B2 (en) 2014-06-09 2017-03-07 Immersion Corporation Programmable haptic devices and methods for modifying haptic strength based on perspective and/or proximity
US9648062B2 (en) 2014-06-12 2017-05-09 Apple Inc. Systems and methods for multitasking on an electronic device with a touch-sensitive display
US20140320402A1 (en) 2014-07-14 2014-10-30 Immersion Corporation Self calibration for haptic devices
US9710063B2 (en) 2014-07-21 2017-07-18 Immersion Corporation Systems and methods for determining haptic effects for multi-touch input
WO2016017978A1 (en) 2014-07-31 2016-02-04 Samsung Electronics Co., Ltd. Device and method for performing functions
US20160036996A1 (en) 2014-08-02 2016-02-04 Sony Corporation Electronic device with static electric field sensor and related method
DE202015005999U1 (de) 2014-08-26 2015-11-26 Apple Inc. Benutzerschnittstelle zum Einschränken von Meldungen und Alarmen
WO2016036509A1 (en) 2014-09-02 2016-03-10 Apple Inc. Electronic mail user interface
KR102019505B1 (ko) 2014-09-02 2019-09-06 애플 인크. 햅틱 통지
CN115756154A (zh) 2014-09-02 2023-03-07 苹果公司 用于可变触觉输出的语义框架
US9659482B2 (en) 2014-09-02 2017-05-23 Apple Inc. Context-based alerts for an electronic device
US9977573B2 (en) 2014-10-31 2018-05-22 Microsoft Technology Licensing, Llc Facilitating interaction between users and their environments using a headset having input mechanisms
GB2532766A (en) 2014-11-27 2016-06-01 Ibm Interaction with a graph for device control
KR101666532B1 (ko) 2014-12-01 2016-10-14 김정훈 실시간 진동 피드백을 제공하는 진동 마우스
US10764424B2 (en) 2014-12-05 2020-09-01 Microsoft Technology Licensing, Llc Intelligent digital assistant alarm system for application collaboration with notification presentation
KR102230523B1 (ko) 2014-12-08 2021-03-19 신상현 이동 단말기
CN104536643B (zh) 2014-12-10 2018-05-29 广东欧珀移动通信有限公司 一种图标拖动方法及终端
GB2533572A (en) 2014-12-22 2016-06-29 Nokia Technologies Oy Haptic output methods and devices
US9665960B1 (en) 2014-12-22 2017-05-30 Amazon Technologies, Inc. Image-based item location identification
US9466188B2 (en) * 2014-12-24 2016-10-11 Immersion Corporation Systems and methods for haptically-enabled alarms
US9851805B2 (en) 2014-12-24 2017-12-26 Immersion Corporation Systems and methods for haptically-enabled holders
DE102015200036A1 (de) 2015-01-05 2016-07-07 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung in einem Kraftfahrzeug zur Eingabe von Daten mit zwei Eingabearten und haptischer Rückkopplung
US9794402B2 (en) 2015-01-12 2017-10-17 Apple Inc. Updating device behavior based on user behavior
US9619034B2 (en) 2015-02-25 2017-04-11 Immersion Corporation Overlaying of haptic effects
US9600094B2 (en) 2015-03-04 2017-03-21 Lenovo (Singapore) Pte. Ltd. Apparatus, method, and program product for directing motion of a writing device
US10055121B2 (en) 2015-03-07 2018-08-21 Apple Inc. Activity based thresholds and feedbacks
US9632664B2 (en) 2015-03-08 2017-04-25 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US9542037B2 (en) 2015-03-08 2017-01-10 Apple Inc. Device, method, and user interface for processing intensity of touch contacts
US9788138B2 (en) 2015-04-03 2017-10-10 Snaptrack, Inc. Methods and systems of allocating application functions to motion-correlated devices
US10466861B2 (en) 2015-04-21 2019-11-05 Apple Inc. Adaptive user interfaces
WO2016171848A1 (en) 2015-04-23 2016-10-27 Thomson Licensing Vibration signatures for intelligent alerts
KR102307303B1 (ko) * 2015-05-20 2021-09-30 엘지전자 주식회사 이동단말기 및 그 제어방법
US9844984B2 (en) * 2015-05-22 2017-12-19 General Motors Llc Vehicle tire gauge systems
KR102423184B1 (ko) 2015-05-29 2022-07-21 삼성전자주식회사 화면 출력 방법 및 이를 지원하는 전자 장치
US20160357354A1 (en) 2015-06-04 2016-12-08 Apple Inc. Condition-based activation of a user interface
US9529500B1 (en) * 2015-06-05 2016-12-27 Apple Inc. Application recommendation based on detected triggering events
US10275116B2 (en) 2015-06-07 2019-04-30 Apple Inc. Browser with docked tabs
US9891811B2 (en) 2015-06-07 2018-02-13 Apple Inc. Devices and methods for navigating between user interfaces
US9658704B2 (en) 2015-06-10 2017-05-23 Apple Inc. Devices and methods for manipulating user interfaces with a stylus
US10055048B2 (en) 2015-07-31 2018-08-21 Apple Inc. Noise adaptive force touch
US9880735B2 (en) 2015-08-10 2018-01-30 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10034129B1 (en) 2015-08-24 2018-07-24 Groupon, Inc. Mobile proximity based messages
US11099650B1 (en) 2015-09-07 2021-08-24 Oliver Markus Haynold Camera with improved shutter button
US9928029B2 (en) 2015-09-08 2018-03-27 Apple Inc. Device, method, and graphical user interface for providing audiovisual feedback
UA118951U (uk) 2015-09-17 2017-09-11 Микола Сергійович Лещенко Спосіб представлення контенту користувачу
CN107735749A (zh) 2015-09-22 2018-02-23 意美森公司 基于压力的触觉
KR101708319B1 (ko) 2015-10-12 2017-02-20 엘지전자 주식회사 와치 타입 단말기
US20170185729A1 (en) 2015-11-18 2017-06-29 Srinidhi Boray Methods and systems of a hyperbolic-dirac-net-based bioingine platform and ensemble of applications
KR102521214B1 (ko) 2016-01-19 2023-04-13 삼성전자주식회사 사용자 인터페이스를 표시하는 방법 및 이를 지원하는 전자 장치
DK179657B1 (en) 2016-06-12 2019-03-13 Apple Inc. Devices, methods and graphical user interfaces for providing haptic feedback
DK179823B1 (en) 2016-06-12 2019-07-12 Apple Inc. DEVICES, METHODS, AND GRAPHICAL USER INTERFACES FOR PROVIDING HAPTIC FEEDBACK
DK179278B1 (en) 2016-09-06 2018-03-26 Apple Inc Devices, methods and graphical user interfaces for haptic mixing
DK201670720A1 (en) 2016-09-06 2018-03-26 Apple Inc Devices, Methods, and Graphical User Interfaces for Generating Tactile Outputs
DK201770372A1 (en) 2017-05-16 2019-01-08 Apple Inc. TACTILE FEEDBACK FOR LOCKED DEVICE USER INTERFACES
US11036387B2 (en) 2017-05-16 2021-06-15 Apple Inc. Devices, methods, and graphical user interfaces for navigating between user interfaces and interacting with control objects
US10365719B2 (en) 2017-07-26 2019-07-30 Google Llc Haptic feedback of user interface scrolling with synchronized visual animation components
US10712824B2 (en) * 2018-09-11 2020-07-14 Apple Inc. Content-based tactile outputs
US10674072B1 (en) 2019-05-06 2020-06-02 Apple Inc. User interfaces for capturing and managing visual media

Also Published As

Publication number Publication date
KR20190140095A (ko) 2019-12-18
AU2018202796A1 (en) 2018-05-10
AU2020202916B9 (en) 2021-07-08
US9542820B2 (en) 2017-01-10
KR102096146B1 (ko) 2020-04-28
US20200111334A1 (en) 2020-04-09
AU2023204608A1 (en) 2023-08-03
KR20170037664A (ko) 2017-04-04
WO2016036447A4 (en) 2016-07-28
KR102174122B1 (ko) 2020-11-04
US20160062464A1 (en) 2016-03-03
AU2015312344B2 (en) 2018-04-19
TWI621011B (zh) 2018-04-11
JP6538825B2 (ja) 2019-07-03
US20160063825A1 (en) 2016-03-03
US10089840B2 (en) 2018-10-02
KR102056298B1 (ko) 2019-12-16
JP7203135B2 (ja) 2023-01-12
KR102373337B1 (ko) 2022-03-11
KR20230025717A (ko) 2023-02-22
US10504340B2 (en) 2019-12-10
KR102521953B1 (ko) 2023-04-14
WO2016036447A3 (en) 2016-06-09
TW201629762A (zh) 2016-08-16
US11790739B2 (en) 2023-10-17
US10977911B2 (en) 2021-04-13
AU2021203205B2 (en) 2023-04-13
US20160063827A1 (en) 2016-03-03
US9830784B2 (en) 2017-11-28
AU2021203205A1 (en) 2021-06-10
KR20220032655A (ko) 2022-03-15
US20160063828A1 (en) 2016-03-03
US20160062466A1 (en) 2016-03-03
TW201712539A (zh) 2017-04-01
CN115700434A (zh) 2023-02-07
AU2018202796B2 (en) 2020-03-05
KR20210087571A (ko) 2021-07-12
AU2015312344A1 (en) 2017-03-09
AU2020202916A1 (en) 2020-05-21
US10417879B2 (en) 2019-09-17
KR20220166376A (ko) 2022-12-16
US9928699B2 (en) 2018-03-27
JP2021101350A (ja) 2021-07-08
CN115963922A (zh) 2023-04-14
KR20200124779A (ko) 2020-11-03
US20180082552A1 (en) 2018-03-22
KR102475306B1 (ko) 2022-12-08
US20210192904A1 (en) 2021-06-24
US20230351869A1 (en) 2023-11-02
JP2019133693A (ja) 2019-08-08
JP2017531850A (ja) 2017-10-26
KR102497720B1 (ko) 2023-02-10
EP3189395A2 (en) 2017-07-12
KR20190004845A (ko) 2019-01-14
WO2016036447A2 (en) 2016-03-10
CN115756154A (zh) 2023-03-07
AU2020202916B2 (en) 2021-07-01
EP3964931A1 (en) 2022-03-09
CN115756151A (zh) 2023-03-07
JP6849722B2 (ja) 2021-03-24
US20160062465A1 (en) 2016-03-03
KR102275700B1 (ko) 2021-07-09
CN106575230A (zh) 2017-04-19
TWI604302B (zh) 2017-11-01

Similar Documents

Publication Publication Date Title
JP7203135B2 (ja) 可変触覚出力のための意味論的フレームワーク

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230112

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230112

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240308