JP2018110000A - 触覚効果によるフィードフォワード及びフィードバックのためのシステム及び方法 - Google Patents

Abstract

【課題】触覚効果によるフィードフォワード及びフィードバックのためのシステム及び方法を提供する。【解決手段】システム１００において、コンピュータ装置１０１は、タッチ面１１６との相互作用を検出して相互作用に関係付けられるセンサ信号を送信するように構成されるセンサ１０８と、コンピュータ装置１０１で利用可能な、第１のユーザ相互作用に関係付けられる動作を決定し、動作に関係付けられるシミュレートされるテクスチャを決定し、シミュレートされるテクスチャに関係付けられる触覚信号を出力し、第２のユーザ相互作用に基づいて動作を実行するかどうかを決定する、センサと通信可能なプロセッサ１０２と、プロセッサ１０２と通信し、且つ、タッチ面１１６に結合され、触覚信号を受信して、触覚信号に部分的に基づいてタッチ面１１６においてテクスチャをシミュレートする触覚出力装置１１８と、を含む。【選択図】図１Ａ

Description

本発明は、触覚効果によるフィードフォワード及びフィードバックのためのシステム及び方法に関する。

（関連出願への相互参照）
本願は、２０１２年１１月２０日に提出され、“Ｓｙｓｔｅｍｓ ａｎｄ Ｍｅｔｈｏｄｓ ｆｏｒ Ｐｒｏｖｉｄｉｎｇ Ｍｏｄｅ ｏｒ Ｓｔａｔｅ Ａｗａｒｅｎｅｓｓ
ｗｉｔｈ Ｐｒｏｇｒａｍｍａｂｌｅ Ｓｕｒｆａｃｅ Ｔｅｘｔｕｒｅ”と題された仮出願第６１／７２８，６６５号、２０１２年１１月２０日に提出され、“Ｓｙｓｔｅｍ
ａｎｄ Ｍｅｔｈｏｄ ｆｏｒ Ｆｅｅｄｆｏｒｗａｒｄ ａｎｄ Ｆｅｅｄｂａｃｋ
ｗｉｔｈ Ｅｌｅｃｔｒｏｓｔａｔｉｃ Ｆｒｉｃｔｉｏｎ”と題された仮出願第６１／７２８，６６１号、２０１２年１１月２０日に提出され、“Ｓｙｓｔｅｍ ａｎｄ Ｍｅｔｈｏｄ ｆｏｒ Ｓｉｍｕｌａｔｅｄ Ｐｈｙｓｉｃａｌ Ｉｎｔｅｒａｃｔｉｏｎｓ ｗｉｔｈ Ｅｌｅｃｔｒｏｓｔａｔｉｃ Ｆｒｉｃｔｉｏｎ”と題された仮出願第６１／７２８，７２７号、及び２０１３年３月１４日に提出され、“Ｓｙｓｔｅｍ ａｎｄ
Ｍｅｔｈｏｄ ｆｏｒ Ｆｅｅｄｆｏｒｗａｒｄ ａｎｄ Ｆｅｅｄｂａｃｋ ｗｉｔｈ Ｈａｐｔｉｃ Ｅｆｆｅｃｔｓ”と題された正規の出願第１３／８３０，１６２号への優先権を主張し、これらの全体が参照により本明細書に組み込まれる。

タッチ可能装置はますます人気になってきている。例えば、ユーザがタッチセンサ式ディスプレイのタッチ部分で入力を提供できるように、携帯及び他の装置はタッチセンサ式ディスプレイと共に構成される場合がある。別の例示として、トラックパッド、マウス又は他の装置等のディスプレイとは別のタッチ可能表面が入力に使用される場合がある。更に、一部のタッチ可能装置は、触覚効果、例えば、ユーザがタッチ面上に感じる摩擦係数を変更する触覚効果を利用する。この種類の触覚効果は、ユーザに様々な情報を提供するために使用され得る。従って、フィードフォワード及びフィードバックのためのシステム及び方法が必要とされている。

本開示の実施形態は、タッチ領域において１つ以上の特徴をシミュレートする表面ベースの触覚効果を特徴付ける装置を含む。限定されないが、特長には、質感（ｔｅｘｔｕｒｅ）、摩擦係数及び／又は境界、障害物のシミュレーション、又は表面と接触しているオブジェクトの使用を通じて知覚され得るタッチ面の他の不連続性の変化が含まれてもよい。表面ベースの触覚効果を有する装置は、よりユーザフレンドリであり、より説得力のあるユーザ体験を提供してもよい。

一実施形態では、本開示のシステムは、タッチ面との相互作用を検出して相互作用に関係付けられるセンサ信号を送信するように構成されるセンサと、センサと通信するプロセッサであって、装置で利用可能な、第１のユーザ相互作用に関係付けられる操作を決定し、操作に関係付けられるシミュレートされる質感を決定し、シミュレートされる質感に関係付けられる触覚信号を出力し、第２のユーザ相互作用に基づいて操作を実行するかどうかを決定するように構成されるプロセッサと、プロセッサと通信し且つタッチ面に結合される触覚出力装置であって、触覚信号を受信して、触覚信号に部分的に基づいてタッチ面において質感をシミュレートするように構成される触覚出力装置とを備えてもよい。

この例示の実施形態は、本主題を限定又は定義するためではなく、その理解を支援するための例示を提供するために言及されるものである。例示の実施形態は、詳細な説明において検討され、そこでは更なる説明が提供される。本明細書を吟味することによって、及び／又は請求項に記載の主題の１つ以上の実施形態を実施することによって、様々な実施形態によってもたらされる利点が更に理解され得る。

本明細書の以下の部分には完全且つ実施可能な開示がより詳細に説明される。本明細書は以下の添付の図面を参照する。

触覚効果によるフィードフォワード及びフィードバックのための例示的な システムを示す。 図１Ａで示されたシステムの一実施形態の外観図を示す。 図１Ａで示されたシステムの別の実施形態の外観図を示す。 触覚効果によるフィードフォワード及びフィードバックのための例示的な システムを示す。 触覚効果によるフィードフォワード及びフィードバックのための例示的な システムを示す。 触覚効果によるフィードフォワード及びフィードバックのための例示的な システムを示す。 触覚効果によるフィードフォワード及びフィードバックのための例示的な システムを示す。 触覚効果によるフィードフォワード及びフィードバックのための例示的な システムを示す。 触覚効果によるフィードフォワード及びフィードバックのための例示的な システムを示す。 触覚効果によるフィードフォワード及びフィードバックのためのシステムの 例示である。 触覚効果によるフィードフォワード及びフィードバックのための方法を実行 するステップのフローチャートである。

次に、多様な及び代替的な例示の実施形態並びに添付の図面を詳細に参照する。各例示は、限定としてではなく、説明目的で提供される。修正及び変更が行われ得ることは、当業者には明らかであろう。例えば、一実施形態の一部として例示され又は記載された特徴は、更なる実施形態をもたらすために別の実施形態において使用されてもよい。従って、本開示は、添付の請求項及び均等物の範囲に入る修正及び変形を含むことが意図されている。

（触覚効果によるフィードフォワード及びフィードバックを提供するための装置の例示）
本開示の例示的な実施形態の１つは、スマートフォン、タブレット又は携帯型ミュージック装置等のコンピュータシステムを含む。コンピュータシステムは、この例示において、装置の画面に対応する表示領域に対するタッチの場所を決定するために加速度計及びセンサ（例えば、光学、抵抗性又は容量性）等の１つ以上のセンサを含み及び／又はこれらと通信してもよい。

ユーザが装置と相互作用すると、触覚効果を提供するために、１つ以上の触覚出力装置、例えば、アクチュエータが使用される。例えば、触覚効果は、装置の表面における摩擦係数を変化させるように構成されてもよい。例えば、表面上をユーザの指が動くと、ユーザによって感知される摩擦係数を変化させるために、振動、電磁場又は他の効果が出力されてもよい。どのように摩擦が変化するかによって、ユーザは、表面摩擦が変化しなかった場合には同じように（又は全く）感知されないであろうタッチ面における特徴を感知してもよい。特定の例示として、ユーザがスクリーン上のボタンの端部に対応する隆起、境界又は他の障害物を感知するように、摩擦が変化させられてもよい。

例えば、本開示の一実施形態は、コンピュータプログラム（例えば、ミュージックの再生、Ｅメールの送受信又はインターネットの閲覧のためのアプリケーション）に関係付けられる複数のアイコンを表示するように構成されるタッチスクリーンディスプレイを備えるタブレット、スマートフォン又はミュージックプレーヤ等の装置を含んでもよい。ユーザがタブレット上のアイコンと相互作用すると、プロセッサはアイコンに関係付けられるプログラムを実行するであろう。更に、このような実施形態では、装置は、タッチスクリーンの表面上をユーザの指が動くときにユーザによって感知される摩擦係数を調節するように構成される静電アクチュエータを備えてもよい。従って、例えば、タッチスクリーンがユーザ相互作用を検出すると、プロセッサは、摩擦係数を変更するように構成される触覚効果を生成するための信号をアクチュエータに出力してもよい。

一部の実施形態では、摩擦係数は、ユーザに情報を提供するために変化させられてもよい。一部の実施形態では、この情報は、不可逆的なアクションをユーザが遂行する前にユーザに警告するためにフィードフォワードされてもよい。例えば、一実施形態では、ユーザがアイテムを削除することに関係付けられるアクションを行う場合に、装置はユーザの動きを遅延させるために摩擦係数を増加させるように構成される効果を出力してもよい。
一部の実施形態では、この摩擦の増加は、ユーザの動きを止めるのではなく、アクションが不可逆的であることをユーザに警告するように構成されてもよい。別の実施形態では、ユーザは、ウェブサイトにおいて．ｈｔｍｌ形式でテキストを入力していてもよい。このような実施形態では、ユーザがウェブサイトを最小化すると、ユーザはその時点までに入力したテキストを失う場合がある。従って、このような実施形態では、装置は、質感をシミュレートするように構成される触覚効果を出力し、又はユーザがウェブサイトを最小化することに関係付けられるジェスチャを行うと摩擦係数を変化させるように構成される触覚効果を出力するように構成されてもよい。この場合も先と同様に、このシミュレートされる質感又は摩擦係数の変化は、ユーザの動きを止めるのではなく、アクションが不可逆的であることをユーザに警告するように構成されてもよい。同様に、一部の実施形態では、装置は、同様の警告をユーザに提供するために質感をシミュレートするように構成される効果を出力してもよい。

一部の実施形態では、フィードフォワードは他の目的で使用されてもよい。例えば、一実施形態では、フィードフォワードは、確認として使用されてもよい。このような実施形態では、ユーザがテキストメッセージを入力すると、装置はユーザが入力している可能性がある単語を決定するために予測テキストアプリケーションを使用してもよい。このような実施形態では、装置は、質感をシミュレートする又はユーザがタイピングしている単語の隣の文字に関係付けられるタッチスクリーンの場所において摩擦係数を変化させるように構成される効果を更に出力してもよい。例えば、一実施形態では、ユーザが“ｏｍｅｌ”をタイピングすると、予測テキストソフトウェアは、ユーザが“ｏｍｅｌｅｔ”という単語をタイピングしていると判断して、質感をシミュレートするように構成される触覚効果を出力し、又はユーザがキーを識別するのを支援するために“ｅ”及び“ｔ”という文字に関係付けられるタッチスクリーンの場所で摩擦係数を変化させてもよい。

一部の実施形態では、装置は、摩擦係数を増加させ、又は質感をシミュレートし、ジェスチャが利用可能であることの確認をユーザに提供するように構成される効果を出力してもよい。例えば、一実施形態では、ユーザがタッチスクリーンの表面で指を動かすと、ユーザはタッチスクリーンの表面におけるボタン、スライダ又は他の入力装置を横切ってもよい。ユーザの指がこの入力装置を横切ると、装置は、ユーザに自身の指が入力装置上を横切ったことを知らせるために、摩擦係数を変化させ又は質感をシミュレートするように構成される触覚効果を出力してもよい。例えば、一実施形態では、ユーザの指がボタンの上を移動すると、装置は、ユーザに自身の指がボタンを横切ったことを知らせるために、摩擦係数を増加させるように構成される触覚効果を出力してもよい。

更に、一部の実施形態では、装置は、異なる種類の相互作用がシミュレートされる入力装置（即ち、ボタン、スイッチ、スライダ、又はタッチスクリーンディスプレイ上の他の入力装置）を制御するために使用され得ることの確認をユーザに提供するために、摩擦係数を増加させ、又は質感をシミュレートするように構成される効果を出力してもよい。例えば、一実施形態では、ユーザがタッチスクリーンの表面で自身の指を動かすと、ユーザは上記のボタンを知覚してもよい。更に、装置は、所定の操作が利用可能であることを識別するように構成される触覚効果を出力してもよい。例えば、一実施形態では、装置は、指を持ち上げてボタンから離すことがそれをアクティブ化することを示す質感を出力してもよい。別の実施形態では、ユーザは、タッチスクリーンの表面で指を動かすと、スライダの端部を知覚する。このような実施形態では、ユーザがスライダ上で指を動かすと、装置は、スライダがスワイプ操作によってアクティブ化し得ることを示すために、知覚された摩擦係数を変化させ、又は質感をシミュレートする効果を出力してもよい。更に他の実施形態では、触覚効果は、所定の相互作用が利用可能でないことを示すために使用されてもよい。例えば、一実施形態では、ユーザが現在アクティブでないボタンに関係付けられるタッチスクリーンの一部において自身の指を動かす場合に、装置は、ボタンが現在アクティブでないことをユーザに知らせるために、触覚効果（例えば、鈍い質感をシミュレートするように構成される効果）を出力してもよい。

同様に、一部の実施形態では、タッチスクリーン上のアイテムが、その重要度を識別するために関連する触覚効果を有してもよい。例えば、一実施形態では、ボタン等の仮想入力装置が、他の仮想入力装置よりも重要な操作を有してもよい。例えば、一実施形態では、ボタンは、装置をオフにすること又は装置を「機内モード」に設定することに関係付けられてもよい。他の実施形態では、装置は、重要度の他の指標を使用してもよい。例えば、一実施形態では、ユーザは装置でニュースアプリケーションを閲覧していてもよい。このような実施形態では、装置は、見出しに関係付けてシミュレートされる質感又は変化させられる摩擦係数を適用するように構成されてもよい。同様に、ユーザが「高い重要度」の印をつけたメッセージを受信する場合、装置は、シミュレートされる質感又は摩擦係数をこのメッセージと関係付けるように構成されてもよい。

他の実施形態では、シミュレートされる質感又は摩擦係数の変化は、アクション又はモードのアクティブ化の確認を提供するために使用されてもよい。例えば、タッチパッド又はタッチスクリーン上で様々なジェスチャを行うと、装置はジェスチャが受信されたことを示すために、摩擦係数を変化させ又は質感をシミュレートしてもよい。例えば、一実施形態では、シミュレートされる質感又は摩擦係数の変化は、ジェスチャをズームイン又はズームアウトするためのピンチ操作に関係付けられてもよい。このような実施形態では、装置は、ジェスチャをズームするためのピンチ操作を検出すると、ジェスチャが受信されたことを確認するために質感又は摩擦係数の変化をシミュレートするように構成される効果を出力してもよい。別の実施形態では、シミュレートされる質感又は摩擦係数の変化は、ホームスクリーンに戻るための４本指ジェスチャの受信を確認するために出力されてもよい。更に他の実施形態では、シミュレートされる質感又は摩擦係数の変化は、左／右、又は上／下にスクロールする等のジェスチャに関係付けられてもよい。一部の実施形態では、これによって、ユーザが即座に次の相互作用に進むことができるように、シミュレートされる質感又は摩擦係数の変化が相互作用が受信されたことを識別するので、ユーザが間断なく複数のジェスチャによる装置との相互作用を使用することが可能になる。

更に、一部の実施形態では、シミュレートされる質感又は摩擦係数の変化は、特定の装置の操作、例えば、ボイスメールに呼び出しを送ること、テキストメッセージを送信すること、Ｅメールを送信すること、更新をダウンロードすること、又は何らかの他の操作に関係付けられてもよい。このような実施形態では、ユーザがこうしたアクション（例えば、メッセージの送信）の１つを行うと、シミュレートされる質感又は摩擦係数の変化は、装置が予測されたアクションを行っていること又は適切なモードに入ったことを確認するために出力されてもよい。

更に以下に詳細に検討されるように、表面上の質感をシミュレートすること又は摩擦係数を変化させることは、ユーザに情報を提供するために様々なやり方で使用され得る。更に、タッチ面における特徴の存在が、質感をシミュレートすること又は摩擦係数を変化させることに追加の又はその代わりの効果を使用してシミュレートされ得る。同様に、ディスプレイ以外の装置の表面において質感の感覚をシミュレートするために触覚効果が出力され得る。

（触覚効果によるフィードフォワード及びフィードバックを提供するためのシステムの例示）
図１Ａは、触覚効果によるフィードフォワード及びフィードバックのための例示的なシステム１００を示す。特に、この例示では、システム１００は、バス１０６を介して他のハードウェアとインターフェース接続されるプロセッサ１０２を有するコンピュータ装置１０１を含む。ＲＡＭ、ＲＯＭ又はＥＥＰＲＯＭ等の任意の適切な有形の（及び非一時的な）コンピュータ可読媒体を含み得るメモリ１０４が、コンピュータ装置の動作を構成するプログラム要素を具現化する。この例示では、コンピュータ装置１０１は、１つ以上のネットワークインターフェース装置１１０、入力／出力（Ｉ／Ｏ）インターフェース要素１１２、及び追加の記憶装置１１４を更に含む。

ネットワーク装置１１０は、ネットワーク接続を容易にする１つ以上の任意の構成要素を表し得る。限定されないが、例示には、Ｅｔｈｅｒｎｅｔ（登録商標）、ＵＳＢ、ＩＥＥＥ１３９４等の有線インターフェース、及び／又はＩＥＥＥ８０２．１１、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の無線インターフェース、又は携帯電話ネットワークにアクセスするための無線インターフェース（例えば、ＣＤＭＡ、ＧＳＭ（登録商標）、ＵＭＴＳ又は他の移動通信ネットワーク）が含まれる。

Ｉ／Ｏ構成要素１１２は、１つ以上のディスプレイ、キーボード、マウス、スピーカ、マイクロホン、及び／又はデータの入力又は出力に使用される他のハードウェア等の装置への接続を容易にするために使用されてもよい。記憶装置１１４は、装置１０１に含まれる磁気、光学、又は他の記憶媒体等の不揮発性記憶装置を表す。

システム１００は、この例示では、装置１０１に統合されるタッチ面１１６を更に含む。タッチ面１１６は、ユーザの触覚入力を感知するように構成される任意の表面を表す。
１つ以上のセンサ１０８は、物体がタッチ面に接触する場合に接触領域における接触を検出して、プロセッサ１０２によってユーザに適切なデータを提供するように構成される。
センサの任意の適切な数、種類、又は配置が使用され得る。例えば、抵抗性及び／又は容量性のセンサが、タッチ面１１６に組み込まれて、タッチの場所及び圧力等の他の情報を検出するために使用されてもよい。別の例示として、接触位置を決定するためにタッチ面のビューを備える光学センサが使用されてもよい。一部の実施形態では、センサ１０８及びタッチ面１１６は、タッチスクリーン又はタッチパッドを含んでもよい。例えば、一部の実施形態では、タッチ面１１６及びセンサ１０８は、表示信号を受信して、ユーザに画像を出力するように構成されるディスプレイの上に取り付けられるタッチスクリーンを含んでもよい。他の実施形態では、センサ１０８は、ＬＥＤ検出器を含んでもよい。例えば、一実施形態では、タッチ面１１６は、ディスプレイの側部に取り付けられるＬＥＤ指検出器を含んでもよい。一部の実施形態では、プロセッサは単一のセンサ１０８と通信し、他の実施形態では、プロセッサは複数のセンサ１０８、例えば、第１のタッチスクリーン及び第２のタッチスクリーンと通信する。センサ１０８は、ユーザ相互作用を検出し、ユーザ相互作用に基づいて、プロセッサ１０２に信号を送信するように構成される。一部の実施形態では、センサ１０８は、ユーザ相互作用の複数の態様を検出するように構成されてもよい。例えば、センサ１０８は、ユーザ相互作用の速度及び圧力を検出して、この情報をインターフェース信号に組み込んでもよい。

この例示では、触覚出力装置１１８がプロセッサ１０２と通信し、タッチ面１１６に結合される。一部の実施形態では、触覚出力装置１１８は、触覚信号に応じてタッチ面において質感をシミュレートする触覚効果を出力するように構成される。追加的又は代替的に、触覚出力装置１１８は、制御されるようにタッチ面を動かす振動触覚効果を提供してもよい。一部の触覚効果は、装置の筐体に結合されるアクチュエータを利用してもよい。また、一部の触覚効果は、順番に及び／又は同時に複数のアクチュエータを使用してもよい。例えば、一部の実施形態では、表面の質感がシミュレートされてもよく、又は異なる周波数で表面を振動させることによって感知された摩擦係数が変化（例えば、減少又は増加）させられてもよい。このような実施形態では、触覚出力装置１１８は、例えば、圧電アクチュエータ、電気モータ、電磁アクチュエータ、音声コイル、形状記憶合金、電気活性ポリマ、ソレノイド、偏心回転質量モータ（ＥＲＭ）又は線形共振アクチュエータ（ＬＲＡ）の１つ以上を含んでもよい。一部の実施形態では、触覚出力装置１１８は、複数のアクチュエータ、例えば、ＥＲＭ及びＬＲＡを含んでもよい。

本明細書では単一の触覚出力装置１１８が示されているが、複数の実施形態では、タッチ面において表面質感をシミュレートするために同じ又は異なる種類の複数の触覚出力装置が使用されてもよい。例えば、一実施形態では、超音波周波数で、例えば、２０ｋＨｚよりも高い周波数で動作しているアクチュエータを使用することによって、垂直に及び／又は水平にタッチ面１１６の一部又は全部を移動するために圧電アクチュエータが使用されてもよい。一部の実施形態では、偏心回転質量モータ及び線形共振アクチュエータ等の複数のアクチュエータが、異なる質感及び他の触覚効果を与えるために単独で又は同時に使用され得る。

更に他の実施形態では、触覚出力装置１１８は、タッチ面１１６の表面における質感をシミュレートするため又はユーザがタッチ面１１６上で指を動かすときに感じる摩擦係数を変化させるために、例えば、静電表面アクチュエータの使用により、静電引力を使用してもよい。例えば、一実施形態では、触覚出力装置１１８は、触覚効果を生成するために機械的な動きの代わりに電圧及び電流を加える電気振動触覚ディスプレイ又は任意の他の装置を含んでもよい。このような実施形態では、静電アクチュエータは、導電層及び絶縁層を含んでもよい。このような実施形態では、導電層は、任意の半導体又は銅、アルミニウム、金又は銀等の他の導電性材料であってもよい。また、絶縁層は、ガラス、プラスチック、ポリマ、又は任意の他の絶縁性材料であってもよい。更に、プロセッサ１０２は、導電層に電気信号を加えることによって静電アクチュエータを動作させてもよい。一部の実施形態では、電気信号は、導電層をタッチ面１１６に近くの又は接触しているオブジェクトと容量結合するＡＣ信号であってもよい。一部の実施形態では、ＡＣ信号は、高圧増幅器によって生成されてもよい。他の実施形態では、容量結合は、タッチ面１１６の表面における摩擦係数又は質感をシミュレートしてもよい。例えば、一実施形態では、タッチ面１１６の表面は円滑であるが、容量結合はタッチ面１１６の表面の付近のオブジェクト間に引力を生み出してもよい。一部の実施形態では、オブジェクトと導電層との間の引力レベルの変化は、タッチ面１１６の表面で動くオブジェクトにおけるシミュレートされる質感を変化させることができる。更に、一部の実施形態では、静電アクチュエータが、タッチ面１１６の表面においてシミュレートされる質感を変化させるために従来のアクチュエータと共に使用されてもよい。例えば、アクチュエータはタッチ面１１６の表面の質感の変化をシミュレートするように振動してもよい。一方では同時に、静電アクチュエータがタッチ面１１６の表面において異なる質感をシミュレートしてもよい。

当業者であれば、摩擦係数を変化させることに加えて、表面上の質感をシミュレートするために他の技術又は方法が使用され得ることを理解するであろう。例えば、一部の実施形態では、質感は、表面再構成可能な触覚基板（限定されないが、例えば、繊維、ナノチューブ、電気活性ポリマ、圧電要素、又は形状記憶合金を含む）又は磁性流体からの接触に基づいてその質感を変化させるように構成される可撓性表面層を使用してシミュレートされ又は出力されてもよい。別の実施形態では、表面の質感は、例えば、変形機構、空気若しくは流体ポケット、材料の局部変形、共振機構要素、圧電性材料、微小電気機械システム（“ＭＥＭＳ”）要素、熱流体ポケット、ＭＥＭＳポンプ、可変多孔性膜（ｖａｒｉａｂｌｅ ｐｏｒｏｓｉｔｙ ｍｅｍｂｒａｎｅｓ）、又は層流変調で、１つ以上の表面特徴を上げる又は下げることによって変化させられてもよい。

一部の実施形態では、タッチ面１１６に近接した又は接触する体の部分をシミュレートすることによって触覚効果を生成するために静電アクチュエータが使用されてもよい。例えば、一部の実施形態では、ユーザの指の皮膚の神経終端又は静電アクチュエータに応答することができるスタイラスの構成要素をシミュレートしてもよい。例えば、皮膚の神経終端は、刺激されて、振動又は何らかのより具体的な感覚として静電アクチュエータ（例えば、容量結合）を感知してもよい。例えば、一実施形態では、静電アクチュエータの導電層が、ユーザの指の導電部分と結合するＡＣ電圧信号を受信してもよい。ユーザがタッチ面１１６に触れてタッチ面上で自身の指を動かすと、ユーザは、チクチク、ザラザラ、ガタガタ、でこぼこ、粘々、又は何らかの他の質感を感知してもよい。

メモリ１０４に関しては、例示のプログラム構成要素１２４、１２６及び１２８は、触覚効果によるフィードフォワード及びフィードバックを与えるために一部の実施形態では、装置がどのように構成され得るかを示すように描かれている。この例示では、検出モジュール１２４が、タッチの位置を決定するためにセンサ１０８を介してタッチ面１１６を監視するようにプロセッサ１０２を構成する。例えば、モジュール１２４は、タッチの存在又は不存在を追跡して、タッチが存在する場合、場所、経路、速度、加速度、圧力及び／又は経時的なタッチの他の特性を追跡するためにセンサをサンプリングしてもよい。

触覚効果決定モジュール１２６は、生成すべき触覚効果を選択するためのタッチ特性に関するデータを分析するプログラム構成要素を表す。特に、モジュール１２６は、タッチの場所に基づいて、生成すべきタッチ面のシミュレートされる特徴を決定するコード、及び特徴をシミュレートするために与えるべき１つ以上の触覚効果を選択するコードを含む。例えば、タッチ面１１６の一部又は全部の領域が、グラフィカルユーザインターフェースにマッピングされてもよい。特徴の対応表現がインターフェースに見られるときに特徴が感じられるように、接触面１１６の表面において質感をシミュレートすることによって特徴の存在をシミュレートするために、タッチの場所に基づいて異なる触覚効果が選択されてもよい。しかしながら、触覚効果は、対応要素がインターフェースに表示されなくても、タッチ面１１６を介して与えられてもよい（例えば、インターフェースの境界が横断される場合に、境界が表示されていなくても、触覚効果が与えられてもよい）。

触覚効果生成モジュール１２８は、少なくともタッチが起こっているときに選択された触覚効果を生成するためにプロセッサ１０２に触覚信号を生成させてアクチュエータ１１８へと送信させるプログラミングを表す。例えば、生成モジュール１２８は、記憶された波形又はコマンドにアクセスして、触覚出力装置１１８に送信してもよい。別の例示として、触覚効果生成モジュール１２８は、所望の種類の質感を受信して、適切な信号を生成して触覚出力装置１１８に送信するために、信号処理アルゴリズムを利用してもよい。更なる例示として、質感に関する目標座標と共に所望の質感が示されて、表面（及び／又は他の装置要素）の適切な移動を生成して質感を与えるために１つ以上のアクチュエータに適切な波形が送信されてもよい。一部の実施形態は、一致協力して特徴をシミュレートするために複数の触覚出力装置を利用してもよい。例えば、インターフェース上のボタンの間の境界の横断をシミュレートするために質感の変化が使用されてもよい。一方で、触覚振動効果が、ボタンを押したときの応答をシミュレートする。

コンピュータシステムの特定の実施形態によっては、タッチ面がディスプレイを覆ってもよく、又は覆わなくてもよい（或いは、対応しても、対応してなくてもよい）。図１Ｂでは、コンピュータシステム１００Ｂの外観図が示される。コンピュータ装置１０１は、装置のタッチ面及びディスプレイを組み合わせたタッチ可能ディスプレイ１１６を含む。
タッチ面は、ディスプレイ外部又は実際のディスプレイ構成要素上の１つ以上の材料層に対応してもよい。

図１Ｃは、タッチ面がディスプレイをオーバレイしないタッチ可能コンピュータシステムの別の例を示す。この例示では、コンピュータ装置１０１は、装置１０１とインターフェース接続されたコンピュータシステム１２０に含まれるディスプレイ１２２に設けられるグラフィカルユーザインターフェースにマッピングされ得るタッチ面１１６を含む。例えば、コンピュータ装置１０１は、マウス、トラックパッド、又は他の装置を含んでもよいが、コンピュータシステム１２０は、デスクトップ若しくはラップトップコンピュータ、セットトップボックス（例えば、ＤＶＤプレーヤ、ＤＶＲ、ケーブルテレビボックス）、又は別のコンピュータシステムを含んでもよい。別の例示として、タッチ面１１６及びディスプレイ１２２は、ディスプレイ１２２備えるラップトップコンピュータにおけるタッチ可能トラックパッド等の同じ装置に配置されてもよい。ディスプレイと統合されるか否かに関わらず、本明細書の例示における平面的なタッチ面の描写は、限定することを意図していない。他の実施形態は、表面ベースの触覚効果を与えるように更に構成される湾曲した又は不規則なタッチ可能面を含む。

図２Ａ−２Ｂは、触覚効果によるフィードフォワード及びフィードバックのためのシステム及び方法の例示的な実施形態を示す。図２Ａは、タッチ可能ディスプレイ２０２を備えるコンピュータ装置２０１を含むシステム２００の外観図を示す図面である。図２Ｂは、装置２０１の断面図を示す。装置２０１は図１Ａの装置１０１と同様に構成され得るが、プロセッサ、メモリ及びセンサ等は明確のためこの図面には示されていない。

図２Ｂに見られるように、装置２０１は、複数の触覚出力装置２１８及び追加の触覚出力装置２２２を備える。触覚出力装置２１８−１は、ディスプレイ２０２に垂直の力を与えるように構成されるアクチュエータを含んでもよいが、一方で２１８−２は横方向にディスプレイ２０２を動かしてもよい。この例では、触覚出力装置２１８、２２２はディスプレイに直接結合されているが、触覚出力装置２１８、２２２は別のタッチ面、例えば、ディスプレイ２０２の上にある材料の層に結合され得ることが理解されるべきである。更に、１つ以上の触覚出力装置２１８又は２２２が上記の静電アクチュエータを含んでもよいことが理解されるべきである。更に、触覚出力装置２２２は、装置２０１の構成要素を保持する筐体に結合されてもよい。図２Ａ−２Ｂの例では、ディスプレイ２０２の領域はタッチ領域に対応するが、原理は、ディスプレイとは完全に分離したタッチ面に適用され得る。

一実施形態では、触覚出力装置２１８の各々は圧電アクチュエータを含むが、追加の触覚出力装置２２２は、偏心回転質量モータ、線形共振アクチュエータ又は別の圧電アクチュエータを含む。触覚出力装置２２２は、プロセッサからの触覚信号に応答して振動触覚効果を提供するように構成され得る。振動触覚効果は、表面ベースの触覚効果と併せて及び／又は他の目的で利用され得る。例えば、ディスプレイ２０２の表面における質感をシミュレートするために各アクチュエータが併せて使用されてもよい。

一部の実施形態では、触覚出力装置２１８−１及び２１８−２のいずれか又は両方は、圧電アクチュエータ以外のアクチュエータを含み得る。いずれのアクチュエータも、例えば、圧電アクチュエータ、電磁アクチュエータ、電気活性ポリマ、形状記憶合金、可撓性複合圧電アクチュエータ（例えば、可撓性材料を含むアクチュエータ）、静電、及び／又は磁歪アクチュエータを含み得る。更に、触覚出力装置２２２が示されているが、複数の他の触覚出力装置が装置２０１の筐体に結合可能であり、及び／又は触覚出力装置２２２は別の場所に結合されてもよい。装置２０１は、異なる場所でもタッチ面に結合される複数の触覚出力装置２１８−１／２１８−２を特徴としてもよい。

次に図３Ａを参照すると、システム３００は、触覚効果によるフィードフォワード及びフィードバックの例示である。図３Ａは、タッチ可能ディスプレイ３０２を備えるコンピュータ装置３０１を含むシステム３００の外観図を示す図面である。一実施形態では、コンピュータ装置３０１は、多機能コントローラを備えてもよい。例えば、キオスク、ＡＴＭ又は他の種類のコンピュータ装置で使用されるコントローラである。別の実施形態では、コンピュータ装置は、スマートフォン、タブレット、又は他の種類のコンピュータを含んでもよい。一実施形態では、コンピュータ装置３０１は、ミュージックプレーヤモードを備えてもよい。このような実施形態では、コンピュータ装置３０１は、ディスプレイ３０２上に１つ以上の仮想コントローラを備えてもよい。こうしたコントローラはミュージックプレーヤの機能に関係付けられてもよい。従って、ユーザはミュージックプレーヤの機能を制御するコントローラと相互作用してもよい。例えば、図３Ａに示される実施形態では、コンピュータ装置３０１はコントローラ３０４及びコントローラ３０６を備えてもよい。このような実施形態では、コントローラ３０４は、ミュージックプレーヤの設定を制御するように構成されるノブの画像、即ち、ラジオ局を同調し、新しい歌を選択し、又は音量を調節するためのノブを含んでもよい。同様に、コントローラ３０６は、ミュージックプレーヤの別の特徴を調節するように構成されるスライダの画像を含んでもよい。他の実施形態では、コンピュータ装置３０１は、タッチ可能ディスプレイ上に複数の他の仮想コントローラを含んでもよい。仮想コントローラの各々は、ミュージックプレーヤの他の側面又は他のアプリケーションを制御するように構成されてもよい。

上記の実施形態では、コンピュータ装置３０２は、ミュージックプレーヤアプリケーションからカーステレオに音楽を出力するために使用され、又はステレオ自体の構成要素であってもよい。このような実施形態では、ユーザは、ミュージックプレーヤアプリケーションにおける設定を調節するために、道路から目を離すことを望まない運転者であってもよい。このような実施形態では、コンピュータ装置３０１は、タッチ可能ディスプレイ３０２に焦点を合わせことなくユーザが利用可能な機能を識別できるようにする触覚効果を実装してもよい。例えば、一実施形態では、装置３０１は、タッチ可能ディスプレイ３０２の表面における質感をシミュレートするために触覚出力装置を使用してもよい。例えば、触覚出力装置は、砂利、砂土、研磨紙、フェルト、皮革、金属、氷、水、草又は別のオブジェクトの質感をシミュレートするように構成される触覚効果を出力してもよい。この質感に基づいて、ユーザは、コンピュータ装置が現在どのモードを制御しているかを決定することが可能であってもよい。例えば、一実施形態では、ユーザは、ある質感、例えば、砂利の質感がミュージックプレーヤコントロールに関係付けられることが分かってもよい。このような実施形態では、ユーザがタッチ可能ディスプレイの表面で砂利の質感を感じると、ユーザは、コントロールを見なくてもコンピュータ装置３０１がミュージックプレーヤの音量を現在制御していることが分かる。更なる実施形態では、ユーザは、コンピュータ装置３０１が制御し得る様々なモードに質感を割り当てることが可能であってもよい。従って、例えば、ユーザは、コンピュータ装置３０１が制御し得る様々な機能に関係付けられる特定の質感を選択することが可能であってもよい。

更なる実施形態では、装置は、ユーザがコントロール３０４及び３０６をそれぞれタッチし又は動かすと別の触覚効果を更に出力してもよい。例えば、一実施形態では、ユーザがノブ３０４にタッチすると、ユーザは、ノブ３０４にタッチしていることをユーザに知らせるように構成される所定の触覚効果を感じてもよい。例えば、一実施形態では、ノブ３０４は、タッチ可能ディスプレイ３０２上のバックグラウンドの質感とは異なる質感を有してもよい。従って、ユーザは、タッチ可能ディスプレイ上で指を走らせて、質感の変化によってノブ３０４にタッチしていることが分かってもよい。更に別の実施形態では、コンピュータ装置３０１は、ユーザがノブ３０４を調節すると異なる質感を出力してもよい。例えば、一実施形態では、ノブ３０４は、ラジオの音量を制御してもよい。このような実施形態では、コンピュータ装置３０１は、ユーザが音量を調節するときにタッチ可能ディスプレイの表面でシミュレートされる質感を調節してもよい。従って、例えば、ユーザが音量を大きくすると、ユーザがタッチ可能ディスプレイの表面で感じる質感はより粗くなってもよい。このような触覚効果は、コンピュータ装置３０１がユーザ入力を受信したことの確認として機能してもよい。

次に図３Ｂを参照すると、システム３５０は、図３Ａに関して記載されたコンピュータ装置３０１の別の実施形態である。図３Ｂに示される実施形態では、コンピュータ３０１はアイコン３５４を含む。一部の実施形態では、アイコン３５４は、コンピュータ装置３０１上にあるコンピュータプログラムに関係付けられてもよい。従って、ユーザがアイコン３５４に関係付けられるタッチ可能ディスプレイ３０２の一部と相互作用すると、コンピュータ装置３０１はそのプログラムを開いてもよい。同様に、一部の実施形態では、アイコン３５４は、コンピュータ装置３０１上にあるデータファイル（例えば、ミュージックファイル、ビデオファイル、当技術分野で周知の何らかの他の種類のファイル）に関係付けられてもよい。このような実施形態では、ユーザがアイコン３５４と相互作用すると、ユーザは、ファイルを開くことが可能であってもよい（例えば、アイコン３５４に関係付けられるミュージックファイルを聴く又はビデオ若しくは画像を閲覧する）。

更に、図３Ｂに示される実施形態では、アイコン３５６は、ゴミ箱（“ｒｅｃｙｃｌｅ
ｂｉｎ”又は“ｔｒａｓｈ ｃａｎ”）に関係付けられてもよい。従って、ユーザがタッチ可能ディスプレイ３０２を使用してアイコン３５６上にアイコンを動かす場合、これはアイコン及びその関連するプログラム又はデータファイルを消去する機能を果たしてもよい。このような実施形態では、コンピュータ装置３０１は、ユーザが行おうとしているアクションが不可逆的なものであることをユーザに警告するためにタッチ可能ディスプレイ３０２を介して触覚効果を出力するように構成されてもよい。例えば、一実施形態では、コンピュータ装置３０１は、タッチ可能ディスプレイ３０２の表面における質感をシミュレートするように構成される触覚効果を出力してもよい。例えば、強い質感はアクションが可逆的でないことを警告する。同様に、一実施形態では、コンピュータ装置３０１は、タッチ可能ディスプレイ３０２の表面における摩擦係数を変化させるように構成される触覚効果を出力してもよい。その後、ユーザは、例えば、アイコン３５４をアイコン３５６に向かって動かし続けることによって、アクションを行いたいことを確認する必要があってもよい。

当業者であれば、他の実施形態では、コンピュータ装置は他のアクションを完了する前に警告として触覚効果を出力してもよいことを理解するであろう。例えば、システム設定の変更、古い装置データの消去、装置の電源切断、オンラインフォームからの離脱、ファイルを他のユーザに送信するために別のユーザに関係付けられるアイコン上へのファイルのドロップ、又はコンピュータ装置３０１に関係付けられる何らかの他のアクションである。一部の実施形態では、こうした触覚効果は、ユーザが不可逆的な又は潜在的に危険なアクションを行っていることの警告としての役割を果たしてもよく、従って、アクションを確認する機会をユーザに与えてもよい。

次に図４Ａを参照すると、システム４００は、図３Ａ及び３Ｂに関して記載されたコンピュータ装置３０１の別の実施形態である。図４Ａに示された実施形態では、コンピュータ装置３０１は、タッチ可能ディスプレイ３０２に示されるニュースアプリケーションを含む。図４Ａに示される実施形態では、タッチ可能ディスプレイ３０２は、２つの見出し４０４、及びニュース記事４０６の冒頭を示す。一部の実施形態では、コンピュータ装置３０１は、ユーザがより重要なアイコンを識別するのに役立つ触覚効果を出力するように構成されてもよい。例えば、図４Ａに示された実施形態では、ユーザがディスプレイ３０２の表面で指を動かすと、コンピュータ装置３０１が触覚効果を出力してもよい。例えば、一実施形態では、コンピュータ装置３０１は、ユーザが見出し４０４に関係付けられるタッチ可能ディスプレイ３０２の部分上に指を動かすと、触覚効果を出力してもよい。例えば、ユーザが見出し４０４と相互作用すると、コンピュータ装置３０１は、ユーザがタッチ可能ディスプレイ３０２の表面で指を動かすときに感じる質感をシミュレートし又は摩擦係数を変化させるように構成される触覚効果を出力してもよい。これは、ユーザが見出しにタッチしていることのユーザへの識別としての役割を果たしてもよい。更に、一部の実施形態では、ユーザは、見出しに関係付けられるニュース記事の全部を閲覧するために、タッチ可能ディスプレイ３０１の一部と相互作用してもよい。

他の実施形態では、ユーザは、特定の見出し又はコンピュータ装置３０１における他の操作に重要度を割り当ててもよい。例えば、ユーザは、ビジネス分野の見出しに指定された触覚効果を割り当ててもよい。このような実施形態では、コンピュータ装置３０１は、ユーザがビジネス分野の見出しと相互作用すると指定された触覚効果を出力するように構成されてもよい。他の実施形態では、異なる見出しは、人気（即ち、どれくらいの頻度で記事が読まれているか、Ｅメールされているか、ソーシャルネットワークに投稿されているか、又は何らかの他の人気の尺度）に基づいて、シミュレートされる質感又は摩擦係数の変化を有してもよい。例えば、一実施形態では、所定回数よりも多くソーシャルネットワークに投稿されている記事は強い質感を含んでもよい。他の実施形態では、ユーザは触覚効果を他の種類の情報、例えば、コンピュータ装置３０１の操作又はコンピュータ装置３０１で実行されているアプリケーションの操作に割り当ててもよい。更に他の実施形態では、ユーザ又はコンピュータ装置３０１で実行されているソフトウェアは、コンピュータ装置３０１の操作又はコンピュータ装置３０１で実行されているアプリケーションに重要度を割り当ててもよい。例えば、重要度の割り当ては、過去のユーザの好みに基づいてもよい。このような実施形態では、コンピュータ装置３０１は、割り当てられた又は決定された重要度に基づいて触覚効果を決定するように更に構成されてもよい。

次に図４Ｂを参照すると、システム４５０は、図３Ａ、３Ｂ及び４Ａに関して記載されたコンピュータ装置３０１の別の実施形態である。図４Ｂに示される実施形態では、タッチ可能ディスプレイ３０２が電話アプリケーションを示す。電話アプリケーションでは、タッチ可能ディスプレイ３０２は、ユーザが着呼４５２を受信したことを示している。タッチ可能ディスプレイ３０２は、ユーザが着呼に応じるための２つの選択肢、応答４５４又はボイスメールに送信４５６を更に示している。このような実施形態では、ユーザが応答４５４に関係付けられるタッチ可能ディスプレイ３０２の部分と相互作用すると、コンピュータ装置３０１が着呼に応答してもよい。同様に、ユーザがボイスメールに送信４５６に関係付けられるタッチ可能ディスプレイ３０２の部分と相互作用すると、コンピュータ装置３０１は呼び出しをボイスメールに送信してもよい。

一部の実施形態では、コンピュータ装置３０１は、ディスプレイ３０２に焦点を合わせずに、ユーザが呼び出しに応答４５４又はボイスメールに送信４５６に関係付けられるタッチ可能ディスプレイ３０２の部分にタッチしているかどうかをユーザが判断できるように触覚効果を出力してもよい。例えば、一実施形態では、コンピュータ装置３０１は、ユーザがタッチ可能ディスプレイ３０２の表面上で指を動かすときに感じるシミュレートされる質感又は摩擦係数を変化させるように構成される触覚効果を出力してもよい。一部の実施形態では、コンピュータ装置３０１は、ユーザが呼び出しに応答４５４又はボイスメールに送信４５６に関係付けられるタッチ可能ディスプレイ３０２の部分と相互作用すると、異なる触覚効果（例えば、異なるシミュレートされる質感及び／又は摩擦係数）を出力してもよい。これによって、ユーザがどのアイコンにタッチしているかを判断することが可能になる。例えば、ユーザがミーティング中であり、コンピュータ装置３０１がポケットに入っているときに電話呼び出しを受信してもよい。このような実施形態では、ユーザは、コンピュータ装置３０１をポケットから出すことなく、呼び出しをボイスメールに送信することができてもよい。

次に図５を参照すると、プログラム可能な表面の質感を有するモード又は状態認識の例示的な実施形態を示す。図５は、タッチ可能ディスプレイ５０２を備えるコンピュータ装置５０１を含むシステム５００の外観図を示す図面である。一部の実施形態では、コンピュータ装置５０１は、ハンドヘルド装置、例えば、スマートフォン、タブレット、ポケットシステム手帳、ＧＰＳ受信機、又は当技術分野で周知の他のハンドヘルド装置を含んでもよい。

図５は、３つの異なるジェスチャによる相互作用５０４、５０６及び５０８を更に描く。ジェスチャによる相互作用５０４、５０６及び５０８の各々は、タッチ可能ディスプレイ５０２とのユーザ相互作用を含む。例えば、左／右スクロール５０４は、ユーザがタッチ可能ディスプレイ５０２の表面上で指を左又は右にスワイプする相互作用を含む。当技術分野で周知のように、このようなジェスチャは、タッチ可能ディスプレイ５０２に示されたスクリーンを左又は右にスクロールさせる。同様に、上／下スクロール５０６は、ユーザがタッチ可能ディスプレイ５０２の表面上で指を上又は下にスワイプする相互作用を含む。このようなジェスチャは、タッチ可能ディスプレイ５０２に示されたスクリーンを上又は下にスクロールするようにコンピュータ装置５０１に変化させてもよい。最後に、４本の指によるピンチ操作５０８が４又は５本の指を用いる場合に行われてもよく、ユーザは、タッチ可能ディスプレイ５０２の表面でピンチ操作のジェスチャを行う。このようなジェスチャは、タッチ可能ディスプレイ５０２においてコンピュータ装置に「ホーム」スクリーンを表示させてもよい。他の実施形態では、タッチ可能表面５０２によって検出される他のジェスチャがコンピュータ装置５０１を制御してもよい。例えば、何らかの既知のジェスチャが、ズームのためのジェスチャであり、プログラムを変更するためのジェスチャであり、又は前に戻るためのジェスチャであってもよい。

更に、図５に示された実施形態では、コンピュータ装置５０１は、ジェスチャの受信を確認するために触覚効果を出力してもよい。例えば、ユーザが左／右スクロールのジェスチャを行うと、コンピュータ装置５０１は、このジェスチャの受信を確認するための触覚効果を出力してもよい。一部の実施形態では、この触覚効果は、タッチ可能ディスプレイ５０２の表面における質感をシミュレートするように構成される触覚効果を含んでもよい。他の実施形態では、この触覚効果は、ユーザがタッチ可能ディスプレイの表面上で指を動かすときに感じる摩擦係数を変化させるように構成される触覚効果を含んでもよい。このような実施形態では、ユーザは、例えば、写真集をスクロールしていてもよい。このような実施形態では、ユーザが各写真をスクロールすると、コンピュータ装置５０１は、ユーザが各写真を左又は右にスワイプするときに強度を高めるシミュレートされる質感を出力してもよい。更に、コンピュータ装置５０１は、タッチ可能ディスプレイ５０２上で以前の写真の場所に次の写真が交換されると鋭敏なデテント（ｄｅｔｅｎｔ）を出力してもよい。

同様に、一部の実施形態では、上／下スクロール５０６又は４本指のピンチ操作５０８等のジェスチャの受信を確認するための追加の触覚効果が出力されてもよい。一部の実施形態では、こうした触覚効果は、異なる触覚効果を含んでもよい。このような実施形態では、触覚効果は、装置がジェスチャを受信したことをユーザが知ることを可能にしてもよい。従って、ユーザは別のジェスチャに素早く進むことができるので、コンピュータ装置５０１をより素早く制御することができてもよい。例えば、ユーザが新しいページへとスクロールするために１つのジェスチャを行うと、触覚的確認によって、ユーザは相互作用が受信されたことを素早く判断して、新しいジェスチャ、例えば、プログラムを開くことに関係付けられるジェスチャに移ることが可能になってもよい。更に、触覚効果はプログラムが開いていることを確認してもよく、それによりユーザはそのプログラムの操作に関係付けられるジェスチャに素早く移ることができる。

（触覚効果によるフィードフォワード及びフィードバックを提供するための例示的な方法）
図６は、触覚効果によるフィードフォワード又はフィードバックを提供するための例示的な方法６００を示すフローチャートである。一部の実施形態では、図６のステップは、例えば、汎用コンピュータ、移動装置又はサーバにおけるプロセッサによって実行されるプログラムコードで実装されてもよい。一部の実施形態では、こうしたステップは一群のプロセッサによって実装されてもよい。以下のステップは図１に示されたシステムに関して記載された構成要素を参照して記載される。

方法６００は、センサ１０８がタッチ面１１６との第１の相互作用を検出すると開始する。センサ１０８は当技術分野で周知の複数のセンサの１つ以上のを含む。例えば、抵抗性及び／又は容量性のセンサが、タッチ面１１６に組み込まれて、タッチの場所及び圧力等の他の情報を検出するために使用されてもよい。別の例示として、接触位置を決定するためにタッチ面のビューを備える光学センサが使用されてもよい。更に他の実施形態では、センサ１０８及びタッチ面１１６は、タッチスクリーンディスプレイを含んでもよい。
更に、第１の相互作用を検出すると、センサ１０８は、その相互作用に関係付けられる信号をプロセッサ１０２に送信してもよい。

プロセッサ１０２が操作を決定すると、方法６００は継続する（６０４）。一部の実施形態では、操作はユーザ相互作用に関係付けられてもよい。更に一部の実施形態では、操作は、コンピュータ装置１０１の特定のモードに関係付けられてもよい。例えば、コンピュータ装置１０１は、複数のモードを制御するように構成されてもよい。一部の実施形態では、複数のモードの各々は、同様にコンピュータ装置１０２によって制御される複数の機能を含む。例えば、ナビゲーションモードにおいて、コンピュータ装置１０１は、ナビゲーションシステムの目的地を制御するように構成されてもよい。例えば、ナビゲーションモードである場合に、ユーザは、ナビゲーションデータを入力するためにタッチ面１１６と相互作用し、又はナビゲーションモードに関係付けられる設定を修正してもよい。このような実施形態では、ユーザはモードを別のモードに変更することが更に可能であってもよい。例えば、このような実施形態では、ユーザは、ミュージックプレーヤ等の別のモードに変更してもよく、コンピュータ装置１０１は、ミュージックプレーヤの様々な機能（例えば、音量、歌曲選択、一時停止等）を制御するように構成されてもよい。プロセッサ１０１は、ユーザ相互作用及びモードに関係付けられる操作を決定してもよい。例えば、一部の実施形態では、ユーザ相互作用は、モードにおける特定の操作に関係付けられてもよい。例えば、一実施形態では、ユーザ相互作用は、ミュージックプレーヤアプリケーションに歌曲をスキップさせるように構成されてもよい。このような実施形態では、特定のジェスチャの検出器が、プロセッサ１０２に歌曲をスキップさせてもよい。

操作に関係付けられる触覚効果を決定すると、方法６００は継続する（６０６）。プロセッサは、触覚効果を決定するために触覚効果決定モジュール１２６に含まれるプログラミングを利用してもよい。例えば、プロセッサ１０２は、メモリ１０４内に記憶されて特定の触覚効果に関係付けられる駆動信号にアクセスしてもよい。別の例示として、信号は、効果に関係付けられる記憶済みアルゴリズム及び入力パラメータにアクセスすることによって生成されてもよい。例えば、アルゴリズムは、振幅及び周波数パラメータに基づいて駆動信号を生成するのに使用されるデータを出力してもよい。別の例として、触覚信号は、アクチュエータによって復号するためにアクチュエータに送信されるデータを含んでもよい。例えば、アクチュエータ自体が、振幅及び周波数等のパラメータを特定するコマンドに応答してもよい。一部の実施形態では、触覚効果は、複数の利用可能な質感の１つであってもよい。例えば、複数の質感は、水、草、氷、金属、砂土、砂利、レンガ、毛皮、皮革、皮膚、繊維、ゴム、葉の質感、又は任意の他の利用可能な質感、例えば、爆発又は炎に関係付けられる質感の１つ以上を含んでもよい。一部の実施形態では、シミュレートされる質感は、モード又はモード内の機能に関係付けられてもよい。例えば、一実施形態では、特定の質感がミュージックプレーヤモードに関係付けられてもよい。このような実施形態では、砂土の質感がミュージックプレーヤモードに関係付けられてもよい。更に、このような実施形態では、異なる種類のミュージックの各々が別個の質感を含む。例えば、ブルーグラスの歌曲が再生される場合、質感は草に関係付けられる質感を含んでもよい。また、ヘビーメタルが再生される場合、質感は金属の質感を含んでもよい。

触覚出力装置１１８が触覚効果を出力すると、方法６００は継続する（６０８）。一部の実施形態では、プロセッサ１０２は、触覚出力装置１１８に触覚効果を生成させるように構成される触覚信号を出力する。一部の実施形態では、触覚出力装置１１８は、タッチ面１１６又はコンピュータ装置１０１内の他の構成要素に結合される圧電アクチュエータ又は電気モータ等の従来のアクチュエータを含んでもよい。他の実施形態では、触覚出力装置１１８は、静電界を使用して質感をシミュレートする又はタッチ面１１６における摩擦係数を変化させるように構成される静電アクチュエータを含んでもよい。

Ｉ／Ｏ構成要素１１２が表示信号に関係付けられる画像を表示すると、方法６００は継続する（６１０）。例えば、一部の実施形態では、Ｉ／Ｏ構成要素１１２は、ディスプレイ又はタッチスクリーンディスプレイを含んでもよい。このような実施形態では、ディスプレイはモードに関係付けられる画像を示してもよい。例えば、一実施形態では、ディスプレイは、図３Ａ、３Ｂ、４Ａ、４Ｂ又は５に関して記載されたシステムの１つに関係付けられる画像を含んでもよい。

プロセッサ１０２が表示信号の少なくとも１つの特徴を修正すると、方法６００は継続する（６１２）。例えば、一実施形態では、ユーザは、タッチ面１１６と相互作用することによって操作のモードを変更してもよい。プロセッサ１０２は、操作のモードの変化を決定して、ディスプレイに示される画像に対応する変更を行ってもよい。例えば、ユーザは、図５に関して記載されたジェスチャの１つを入力することによって図４Ａに示された新しいモードから変更してもよい。

プロセッサ１０２が操作を実行するかどうかを決定すると、方法６００は継続する。例えば、一実施形態では、プロセッサ１０２は、第２のユーザ相互作用に基づいて操作を実行するかどうかを決定してもよい。例えば、上記のように、一実施形態では、ステップ６０８で出力された触覚効果は、ユーザが不可逆的なアクションを行おうとしていることへの警告を含んでもよい。このような実施形態では、ユーザは、アクションが行われるべきであることを更に確認する必要があってもよい。例えば、延長期間の間、ゴミ箱の上にアイコンを保持することによって、又は確認アイコンと相互作用することによってである。
他の実施形態では、確認は不要であってもよく、プロセッサは以下のステップ６１６へとスキップしてもよい。

プロセッサ１０２が操作を実行すると、方法６００は継続する（６１６）。従って、一部の実施形態では、プロセッサは、ユーザのジェスチャによって示されるアクションを行ってもよい。例えば、一実施形態では、プロセッサは、図５に関して記載されたユーザのジェスチャに基づいて、スクリーンを上／下又は左／右にスクロールさせてもよい。更に、一部の実施形態では、プロセッサは、図４Ｂに関して検討されたように、呼び出しに応答し、又は呼び出しをボイスメールに転送してもよい。他の実施形態では、プロセッサは、タッチ面１１６におけるユーザ入力に関係付けられる何らかの他のアクションを行ってもよい。

次に、プロセッサ１０２は第２の触覚効果を決定する（６１８）。一部の実施形態では、第２の触覚効果は、ステップ６１６に関して検討された操作が完了したことの確認を含んでもよい。他の実施形態では、触覚効果は、ステップ６１６に関して検討された操作が完了しなかったことへの警告を含んでもよい。プロセッサは、第２の触覚効果を決定するために触覚効果決定モジュール１２６に含まれるプログラミングを利用してもよい。例えば、プロセッサ１０２は、メモリ１０４内に記憶されて特定の触覚効果に関係付けられる駆動信号にアクセスしてもよい。別の例示として、信号は、効果に関係付けられる記憶済みアルゴリズム及び入力パラメータにアクセスすることによって生成されてもよい。例えば、アルゴリズムは、振幅及び周波数パラメータに基づいて駆動信号を生成するのに使用されるデータを出力してもよい。別の例として、触覚信号は、アクチュエータによって復号するためにアクチュエータに送信されるデータを含んでもよい。例えば、アクチュエータ自体が、振幅及び周波数等のパラメータを特定するコマンドに応答してもよい。一部の実施形態では、触覚効果は、複数の利用可能な質感の１つであってもよい。例えば、複数の質感は、水、草、氷、金属、砂土、砂利、レンガ、毛皮、皮革、皮膚、繊維、ゴム、葉の質感、又は任意の他の利用可能な質感の１つ以上を含んでもよい。一部の実施形態では、シミュレートされる質感は、モード又はモード内の機能に関係付けられてもよい。例えば、一実施形態では、特定の質感がミュージックプレーヤモードに関係付けられてもよい。このような実施形態では、砂土の質感がミュージックプレーヤモードに関係付けられてもよい。更に、このような実施形態では、異なる種類のミュージックの各々が別個の質感を含む。例えば、ブルーグラスの歌曲が再生される場合、質感は草に関係付けられる質感を含んでもよい。また、ヘビーメタルが再生される場合、質感は金属の質感を含んでもよい。

触覚出力装置１１８が第２の触覚効果を出力すると、方法６００は継続する（６２０）。一部の実施形態では、プロセッサ１０２は、触覚出力装置１１８に触覚効果を生成させるように構成される触覚信号を出力する。一部の実施形態では、触覚出力装置１１８は、タッチ面１１６又はコンピュータ装置１０１内の他の構成要素に結合される圧電アクチュエータ又は電気モータ等の従来のアクチュエータを含んでもよい。他の実施形態では、触覚出力装置１１８は、静電界を使用して質感をシミュレートするように構成される静電アクチュエータを含んでもよい。

（触覚効果によるフィードフォワード及びフィードバックの利点）
触覚効果によるフィードフォワード及びフィードバックには数多くの利点がある。触覚効果によるフィードフォワード及びフィードバックは、ユーザが装置を見なくても状態判断（即ち、装置が現在のモードの決定）を行うことを可能にしてもよい。従って、ユーザは、他の仕事に集中を維持することができてもよい。例えば、ユーザは、ディスプレイに焦点を合わせなくても、ユーザインターフェースで利用可能な操作に関する判断を行うことができてもよい。同様に、触覚効果は、操作が利用可能である、完了している、又は所定レベルの重要度を有することの確認として機能してもよい。

他の実施形態では、触覚効果によるフィードフォワード及びフィードバックは、ユーザがソフトウェア及びユーザインターフェースをより効果的に使用することを可能にしてもよい。例えば、ユーザは、ディスプレイに焦点を合わせなくても、プログラムで利用可能な操作に関する判断を行うことができてもよい。更に、触覚効果によるフィードフォワード及びフィードバックは、ユーザが気付かずに不可逆的アクションを行うことを防ぐための警告として機能してもよい。例えば、触覚効果によるフィードフォワード及びフィードバックは、ファイルを消去する前に触覚的警告をユーザに与えることでユーザがファイルを消去することを防いでもよい。

（概論）
上記の方法、システム及び装置は例示である。様々な構成が、適宜、様々な手続き又は構成要素を省略、置換、又は追加してもよい。例えば、代替的な構成では、方法は記載されたものとは異なる順序で実行されてもよく、及び／又はステージが追加、省略及び／又は結合されてもよい。また、所定の構成に関して記載された機能は、様々な他の構成に結合されてもよい。構成の異なる態様及び要素が、同様に結合されてもよい。また、技術は進歩するものであり、そのため要素の多くは例示であり、本開示又は請求項の範囲を限定しない。

例示的な構成（実装を含む）の十分な理解を与えるために説明の中で特定の詳細が与えられている。しかしながら、こうした構成は特定の詳細なしで実施されてもよい。例えば、周知の回路、工程、アルゴリズム、構造及び技術が、構成を不明確にするのを避けるために不要な詳細なしで示されている。この説明は、例示的な構成のみを提供するものであり、請求項の範囲、応用性又は構成を限定しない。むしろ、構成の上記説明は、当業者に記載された技術を実装するための実施可能な説明を提供するであろう。本開示の精神又は範囲から逸れることなく、要素の機能及び配置の様々な変更が行われてもよい。

また、構成は、流れ図又はブロック図として描かれる処理として記載されてもよい。各々が連続した工程として操作を説明している場合があるが、こうした操作の多くは並列的又は同時に行われ得る。更に、操作の順序は並び替えられてもよい。工程は、図面に含まれない追加のステップを有してもよい。更に、方法の例示は、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、又はこれらの任意の組み合わせによって実装されてもよい。ソフトウェア、ファームウェア、ミドルウェア又はマイクロコードで実装される場合、必要なタスクを実行するためのプログラムコード又はコードセグメントは、記憶媒体等の非一時的なコンピュータ可読媒体に記憶されてもよい。プロセッサは、記載されたタスクを実行してもよい。

複数の例示的な構成が記載されているが、本開示の精神から逸脱することなく、様々な修正、代替構造及び均等物が使用されてもよい。例えば、上記の要素は、より大きなシステムの構成要素であってもよく、他の規則が本発明のアプリケーションに優先し又はそれを修正してもよい。また、上記の要素が検討される前、間、又は後で多くのステップが行われてもよい。従って、先の記載は請求項の範囲を縛らない。

本明細書における「適合される」又は「構成される」の使用は、追加のタスク又はステップを実行するように適合又は構成される装置を排除しない開放的且つ包括的な言語を意図している。更に、「基づいて」の使用は開放的且つ包括的であることが意図されており、即ち、１つ以上の記載された条件又は値に「基づく」処理、ステップ、計算、又は他の動作が、実際には、記載されたものを越える追加の条件又は値に基づいてもよい。本明細書に含まれる表題、リスト、及び番号は、単に説明を容易にするためのものであって、限定することを意図していない。

本主題の態様に従う実施形態は、デジタル電子回路、コンピュータハードウェア、ファームウェア、ソフトウェア、又はこれらの組み合わせに実装され得る。一実施形態では、コンピュータは、１つ又は複数のプロセッサを備えてもよい。プロセッサは、プロセッサに結合されるＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）等のコンピュータ可読媒体を備え、又はそれへのアクセスを有する。プロセッサは、センササンプリングルーチン、選択ルーチン、及び上述の方法を実行する他のルーチン等、メモリに記憶されたコンピュータ実行可能プログラム命令を実行する。

このようなプロセッサは、マイクロプロセッサ、ＤＳＰ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、ＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ−ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）、ＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、及び状態機械を含む。このようなプロセッサは、ＰＬＣ、ＰＩＣ（ｐｒｏｇｒａｍｍａｂｌｅ ｉｎｔｅｒｒｕｐｔ ｃｏｎｔｒｏｌｌｅｒ）、ＰＬＤ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅ）、ＰＲＯＭ（ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｉｅ）、ＥＰＲＯＭ又はＥＥＰＲＯＭ（ｅｌｅｃｔｒｏｎｉｃａｌｌｙ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｉｅ）、又は他の類似の装置等のプログラム可能電子装置を更に備えてもよい。

このようなプロセッサは、媒体、例えば、プロセッサによって実行されると、プロセッサによって遂行又は支援される本明細書に記載のステップをプロセッサに実行させることが出来る命令を記憶し得る有形のコンピュータ可読媒体を備え、又はこれと通信してもよい。コンピュータ可読媒体の実施形態は、限定されないが、プロセッサ、例えばウェブサーバのプロセッサにコンピュータ可読命令を提供することが出来る全ての電子、光学、磁気、又は他の記憶装置を備えてもよい。媒体の他の例は、限定されないが、フロッピー（登録商標）ディスク、ＣＤ−ＲＯＭ、磁気ディスク、メモリチップ、ＲＯＭ、ＲＡＭ、ＡＳＩＣ、構成プロセッサ、全ての光学媒体、全ての磁気テープ若しくは他の磁気媒体、又はコンピュータプロセッサが読み取り可能な任意の他の媒体を含む。また、様々な他の装置は、ルータ、プライベート若しくはパブリックネットワーク、又は他の伝送装置等のコンピュータ可読媒体を含んでもよい。記載されたプロセッサ及び処理は、１つ以上の構造内にあってもよく、１つ以上の構造を通じて分散されてもよい。プロセッサは、本明細書に記載の１つ以上の方法（又は方法の一部）を実行するためのコードを備えてもよい。

本主題はその特定の実施形態に関して詳細に記載されているが、上記のことを理解すると、このような実施形態の変形、変化、及び均等物を当業者であれば容易に生み出し得ることが理解されるであろう。従って、本開示は、限定ではなく例示を目的として提示されており、当業者には容易に明らかとなる本主題への修正、変更及び／又は追加を含むことを排除しないことが理解されるべきである。

Claims (20)

1. タッチ面との相互作用を検出して、前記相互作用に関係付けられるセンサ信号を送信するように構成されるセンサと、
   前記センサと通信するプロセッサであって、
   装置で利用可能な操作であって第１の相互作用に関係付けられる操作を決定し、
   前記操作に関係付けられる触覚効果を決定し、
   前記触覚効果に関係付けられる触覚信号を出力するように構成されるプロセッサと、
   前記プロセッサ触覚と通信し且つ前記タッチ面に結合される触覚出力装置であって、前記触覚信号を受信して、前記タッチ面に前記触覚効果を出力するように構成される触覚出力装置と
   を備える、システム。
2. 前記プロセッサは、
   第２の相互作用に基づいて前記操作を実行するかどうかを決定し、
   前記操作を実行するように更に構成される、請求項１に記載のシステム。
3. 前記プロセッサは、
   前記操作を実行することに関係付けられる第２の触覚効果を決定し、
   前記触覚出力装置に前記第２の触覚効果に関係付けられる信号を出力するように更に構成される、請求項２に記載のシステム。
4. 前記触覚効果は、前記タッチ面においてシミュレートされる質感又は前記タッチ面における摩擦係数の変化の１つを含む、請求項１に記載のシステム。
5. 前記触覚効果は、前記操作の警告、確認、又は重要度の１つ以上に関係付けられる、請求項１に記載のシステム。
6. 前記触覚出力装置は、超音波周波数で振動を出力するように構成されるアクチュエータを含む、請求項１に記載のシステム。
7. 前記触覚出力装置は、静電界を生成するように構成される装置を含む、請求項１に記載のシステム。
8. 表示信号を受信して、前記表示信号に関係付けられる画像を表示するように構成されるディスプレイを更に備え、前記プロセッサは、前記相互作用に部分的に基づいて前記表示信号の少なくとも１つの特徴を修正するように構成される、請求項１に記載のシステム。
9. 前記ディスプレイは前記センサを備える、請求項８に記載のシステム。
10. タッチ面との第１の相互作用を検出するステップと、
    装置で利用可能な操作を決定するステップであって、前記操作は前記第１の相互作用に関係付けられるステップと、
    前記操作に関係付けられる触覚効果を決定するステップと、
    前記タッチ面に前記触覚効果を出力するステップと
    を含む、方法。
11. 表示信号に関係付けられる画像を表示するステップと、
    前記第１の相互作用に部分的に基づいて前記表示信号の少なくとも１つの特徴を修正するステップと
    を更に含む、請求項１０に記載の方法。
12. 前記タッチ面との第２の相互作用に基づいて前記操作を実行するかどうかを決定するステップと、
    前記操作を実行するステップと
    を更に含む、請求項１０に記載の方法。
13. 前記操作を実行することに関係付けられる第２の触覚効果を決定するステップと、
    前記第２の触覚効果を出力するステップと
    を更に含む、請求項１１に記載の方法。
14. 前記触覚効果は、前記タッチ面の表面におけるシミュレートされる質感又は前記タッチ面の表面の摩擦係数の変化の１つを含む、請求項１０に記載の方法。
15. 前記触覚効果は、前記操作の警告、確認、又は重要度の１つ以上を含む、請求項１０に記載の方法。
16. プロセッサによって実行されると、
    タッチ面との第１の相互作用を検出すること、
    前記第１の相互作用に関係付けられるセンサ信号を送信すること、
    装置で利用可能な、前記第１の相互作用に関係付けられる操作を決定すること、
    前記操作に関係付けられる触覚効果を決定すること、及び
    前記タッチ面に前記触覚効果を出力すること
    を前記プロセッサに行なわせるように構成されるプログラムコードを含む非一時的なコンピュータ可読媒体。
17. プロセッサによって実行されると、
    ディスプレイに出力する画像を含む表示信号を出力すること、及び
    前記第１の相互作用に部分的に基づいて前記表示信号の少なくとも１つの特徴を修正すること
    を前記プロセッサに行なわせるように構成されるプログラムコードを更に含む、請求項１６に記載の非一時的なコンピュータ可読媒体。
18. プロセッサによって実行されると、
    前記タッチ面との第２の相互作用に基づいて前記操作を実行するかどうかを決定すること、及び
    前記操作を実行すること
    を前記プロセッサに行なわせるように構成されるプログラムコードを更に含む、請求項１６に記載の非一時的なコンピュータ可読媒体。
19. プロセッサによって実行されると、前記プロセッサに
    前記操作を実行することに関係付けられる第２の触覚効果を決定すること、及び
    前記第２の触覚効果を出力すること
    を前記プロセッサに行なわせるように構成されるプログラムコードを更に含む、請求項１６に記載の非一時的なコンピュータ可読媒体。
20. 前記触覚効果は、前記タッチ面の表面におけるシミュレートされる質感又は前記タッチ面の表面の摩擦係数の変化の１つを含む、請求項１６に記載の非一時的なコンピュータ可読媒体。
    

Images