JP2014179089A - 触覚及びジェスチャ駆動型ペーパーシミュレーションのためのシステム及び方法 - Google Patents

Abstract

【課題】触覚及びジェスチャ駆動型ペーパーシミュレーションのためのシステム及び方法を提供する。
【解決手段】電子文書を受信するステップと、電子文書に関連するメタデータを受信するステップであって、メタデータはペーパーの種類を示す特徴を含むステップと、文書の少なくとも一部を表示させるように構成される表示信号を生成及び送信するステップと、ペーパーの種類に基づいて触覚信号を生成及び送信するステップであって、触覚信号は触覚出力装置に触覚効果を生成させるように構成されるステップとを有する。
【選択図】図６

Description

本開示は、一般的にコンピュータシステムに関し、より詳細には触覚及びジェスチャ駆動型ペーパーシミュレーションに関する。

電子文書及び文書リーダの使用がより普及してきている。電子書籍（ｅ−ｂｏｏｋ）及びスマートフォン、専用電子書籍リーダ、タブレット及び他の携帯型装置の到来により、ユーザは携帯性の強化及びアクセスの容易性のために電子形態で記憶された大量の資料を有することに慣れてきている。しかし、このような電子書籍リーダがディスプレイスクリーンでコンテンツを閲覧するための基本的な能力をユーザに提供する一方で、スクリーンに示される「ページ」又は文書は、ページが印刷されていたなら有していたかもしれないペーパーの感覚を何ら伝えることがない。タブレット又は他の携帯型装置に記憶されている電子書籍は小型で軽い形態要因を提供し得るが、書籍を保持してそのページを感じ、又は所望の場所を探すために地図に触って動かすという体験を伝えることができない。

本開示による実施形態は、触覚及びジェスチャ駆動型ペーパーシミュレーションのためのシステム及び方法を提供する。例えば、１つの開示された実施形態は、電子文書を受信するステップと、電子文書に関連するメタデータを受信するステップであって、メタデータはペーパーの種類を示す特徴を含むステップと、文書の少なくとも一部を表示させるように構成される表示信号を生成及び送信するステップと、ペーパーの種類に基づいて触覚信号を生成及び送信するステップであって、触覚信号は触覚出力装置に触覚効果を生成させるように構成されるステップとを有する方法を含む。別の実施形態では、コンピュータ可読媒体が、プロセッサにこのような方法を実行させるプログラムコードを含む。

こうした例示の実施形態は、本発明を限定又は定義するために言及されるのではなく、その理解を支援するための例示を提供するものである。例示の実施形態が、詳細な説明において検討されており、そこには本発明の更なる説明が提供されている。本発明の様々な実施形態によってもたらされる利点は、本明細書を吟味することにより更に理解され得る。

本明細書に組み込まれてその一部を構成する添付の図面は、１つ以上の例示的な実施形態を示しており、例示的な実施形態の説明と共に、実施形態の原理及び実装を説明する役割を果たす。

本開示の実施形態による触覚及びジェスチャ駆動型ペーパーシミュレーションのための例示のシステムを示す。 本開示の実施形態による触覚及びジェスチャ駆動型ペーパーシミュレーションのための例示のシステムを示す。 本開示の実施形態による触覚及びジェスチャ駆動型ペーパーシミュレーションのための例示のシステムを示す。 本開示の実施形態による触覚及びジェスチャ駆動型ペーパーシミュレーションのためのシステムを示す。 本開示の一実施形態によってシミュレートされたペーパーの実施形態を示す。 本開示の実施形態によってシミュレートされたペーパーと相互作用するためのジェスチャを示す。 本開示の実施形態によってシミュレートされたペーパーと相互作用するためのジェスチャを示す。 本開示の実施形態によってシミュレートされたペーパーと相互作用するためのジェスチャを示す。 本開示の実施形態によってシミュレートされたペーパーと相互作用するためのジェスチャを示す。 本開示の実施形態によってシミュレートされたペーパーと相互作用するためのジェスチャを示す。 本開示の実施形態による触覚及びジェスチャ駆動型ペーパーシミュレーションのための方法を示す。 本開示の実施形態による触覚及びジェスチャ駆動型ペーパーシミュレーションのための方法を示す。

触覚及びジェスチャ駆動型ペーパーシミュレーションのためのシステム及び方法との関連で、例示的な実施形態が本明細書に記載される。当業者であれば、以下の記載は例示目的であり、如何なる限定も意図していないことを理解するであろう。他の実施形態も、本開示の利益を有する当業者に容易に示唆されるであろう。次に、添付の図面に示された例示的な実施形態の実装の詳細な参照が行われる。同じ参照記号が同じ又は同様の項目を参照するために図面及び以下の記載を通じて使用されるであろう。

明確のため、本明細書に記載の実装の定型的な特徴の全てが示されて記載されてはいない。勿論、このような実際の実装の開発において、アプリケーション及びビジネス関連の制約の遵守等の多くの実装固有の決定が開発者固有の目的を達成するために行われなければならず、こうした固有の目的は実装ごとに又は開発者ごとに変化することが理解されるであろう。

（触覚及びジェスチャ駆動型ペーパーシミュレーションのための例示的なシステム）
次に図１を参照すると、図１は、触覚及びジェスチャ駆動型ペーパーシミュレーションのための例示的なシステムを示す。図１に示される実施形態では、システムは、筐体１１０においてタッチセンサ式ディスプレイスクリーン１２０及びボタン１３０−３４並びにユーザがディスプレイと接触するときにテクスチャをシミュレートすることができる触覚出力装置を有する携帯型電子書籍（ｅブック）リーダ１００を含む。更に、リーダは、振動効果をタッチセンサ式ディスプレイに出力することができる別の触覚出力装置を含む。リーダ１００によって、ユーザは様々な電子書籍をダウンロードし、読む（購入する）ことが可能になる。例えば、ユーザが、コンテンツプロバイダから電子書籍を購入し、コンテンツプロバイダから書籍をダウンロードし、且つスクリーン１２０を使用して書籍を読んでもよい。書籍内を操作するために、例えばページをめくるために、ユーザはボタン１３２又は１３４（物理的ボタン又はタッチスクリーン上に表示される仮想ボタンであってもよい）を使用してもよく、又はユーザはページをめくるためにスクリーンの右端から左端に指をスワイプすること等によって、ディスプレイスクリーンに接触してジェスチャを行ってもよい。

この例示の実施形態では、購入した電子書籍は、書籍の実際のコンテンツ、例えば、書籍内の単語、並びに書籍に関するメタデータ等の様々な情報を含む。この例示では、書籍は、書籍が「印刷」されているペーパーの種類を記述するメタデータを含むが、場合によっては、ユーザはペーパーの種類を選択することができてもよく、又は装置は装置上で利用可能な擬似ペーパーデータに基づいてペーパーの種類を提供してもよい。この場合、メタデータは、書籍が典型的な文庫本であることを示す。電子書籍リーダ１００は、電子書籍に関するメタデータを読み込んで、メタデータが書籍のページに関する触覚情報を提供することを決定する。この場合、メタデータは、書籍のページが文庫本内の典型的なペーパーをシミュレートすることが意図されていることを示す。メタデータを読み込んだ後、電子書籍リーダ１００は、触覚情報に関係付けられるテクスチャを決定して、ユーザがタッチセンサ式ディスプレイ１２０に接触していることを決定すると、テクスチャの触覚効果を生成してディスプレイ１２０に効果を出力する。従って、ユーザがディスプレイに接触し又はその上で指を動かすこと等によって書籍のページと相互作用すると、ユーザはメタデータに基づいて実際のペーパーのテクスチャをエミュレートするテクスチャを感じる。

電子書籍を読んでいる間、ユーザはディスプレイスクリーン１００上で右から左に指をスワイプすることによってページをめくる。上記のように、ユーザはページをめくるとページのテクスチャを感じる。しかしながら、テクスチャ効果を提供することに加えて、リーダ１００はめくられた本のページの表示画像も変更する。例えば、ユーザが単にページの右端に接触して左に指をスワイプすると、リーダ１００は基本的なページめくりジェスチャを決定して、ユーザがページの右端に指を置いて左にページの端を押したとしたならば物理的な本におけるページに生じた可能性がある僅かな折り目又は「しわ寄せ」を生じさせるようにページを変形する。更に、装置１００は、ユーザが右から左に指をスライドさせると書籍内の次のページを擦るページの感覚をエミュレートする振動効果を生成する。従って、単にページをめくるジェスチャを行う際に、ユーザは、物理的な書籍と相互作用する感覚が提供される。即ち、ユーザはペーパーのテクスチャを感じることができ、ページめくりを行うとページが変形するのを見ることができ、ページ同士がスライドするときに互いに対して擦れる書籍のページを感じることができる。この電子書籍リーダ１００の一部のバージョンでは、聴覚効果も生成されて、ペーパーに対してスライドするペーパー及びページめくりの音をエミュレートするために出力されてもよい。

ユーザが書籍の次のページを読むとき、特に好みである引用句に出くわす。次に、ユーザは図１Ｂに見られるようにページの左上の角に１本の指１４０ａを接触させて、親指１４０ｂをページの中央に近接させて、親指１４０ｂを適所に保っている間、指１４０ａを親指１４０ｂに向かってドラッグする。リーダ１００は、ユーザがページの一部のみを動かしていることを決定し、本の中央に向かってページの左上の角が折られていること、即ち、ユーザが本の仮想ページに「ドッグイア（ｄｏｇ−ｅａｒ）」を作っていることを表示することにより応答する。ユーザがジェスチャを行っている間、リーダ１００は、ページがそれ自身を擦ることをエミュレートするための振動と共に、ペーパーの表面のテクスチャをエミュレートするための触覚効果を出力する。ユーザが親指に向かって人差しをピンチした後で、リーダはペーパーが折り重なっていること１５０を表示し、ユーザは図１Ｃに示されるようにページの折り畳みをシミュレートすることにより生成される「折り目」の表示に沿って指１４０ｃを動かすことにより「ドッグイア」１５０を完了する。ユーザが折り目に触れる場合に、折り目１５２に沿って指１４０ｃをドラッグすると、リーダは、ページにおける折り目の生成をシミュレートするために接触領域の一部が別の部分よりも高いようにスクリーンの表面を変形させる。従って、リーダは、ページにおける折り目１５２の触感をシミュレートする。更に、ユーザが「折り目」を完了した後で、リーダ１００は、ページの隅が折られたままになるように、ユーザが本を閉じた後であっても、「ドッグイア」を保存すると共に、後になってドッグイアのあるページにユーザが容易に戻ることができるように電子書籍と共にメタデータを生成して記憶する。

この例示の実施形態は本明細書で検討される一般的な主題に読者に紹介するために与えられており、本開示はこの例示に限定されない。以下の部分では様々な追加の非限定的な実施形態、並びに触覚及びジェスチャ駆動型ペーパーシミュレーションのための装置、システム及び方法の例を記載する。

次に図２を参照すると、図２は、一実施形態による触覚及びジェスチャ駆動型ペーパーシミュレーションのためのシステムを示す。図２に示される実施形態では、システム２００は、筐体２１０、プロセッサ２２０、メモリ２３０、タッチセンサ式ディスプレイ２５０、触覚出力装置２４０、通信インターフェース２６０及びスピーカ２７０を備える。更に、システム２００は、一部の実施形態に選択的に結合され又は組み込まれ得る触覚出力装置２８０と通信する。プロセッサ２２０はメモリ２３０と通信しており、この実施形態では、プロセッサ２２０及びメモリ２３０は共に筐体２１０の中に配置される。タッチセンサ式表面を備え又はこれと通信するタッチセンサ式ディスプレイ２５０は、タッチセンサ式ディスプレイ２５０の少なくとも一部がシステム２００のユーザに露出されるように筐体２１０の中に部分的に配置される。一部の実施形態では、タッチセンサ式ディスプレイ２５０は、筐体２１０の中に配置されなくてもよい。例えば、システム２００は、別の筐体の中に配置されるタッチセンサ式ディスプレイ２５０と接続され又は通信してもよい。一部の実施形態では、筐体２１０は、互いにスライド可能に結合され、互いに枢動可能に結合され又は互いに解放可能に結合され得る２つの筐体を備えてもよい。

図２に示される実施形態では、タッチセンサ式ディスプレイ２５０は、プロセッサ２２０と通信し、プロセッサ２２０又はメモリ２３０に信号を提供し、且つプロセッサ２２０又はメモリ２３０から信号を受信するように構成される。メモリ２３０は、プロセッサ２２０によって使用されるプログラムコード若しくはデータ、又はその両方を記憶するように構成される。プロセッサ２１０は、メモリ２３０に記憶されたプログラムコードを実行して、タッチセンサ式ディスプレイ２５０に信号を送信し且つタッチセンサ式ディスプレイ２３０から信号を受信するように構成される。図２に示される実施形態では、プロセッサ２２０は通信インターフェース２６０とも通信し、通信インターフェース２６０から信号を受信して、１つ以上の遠隔コンピュータ又はサーバ等の他の構成要素又は装置と通信するために通信インターフェース２６０に信号を出力するように構成される。更に、プロセッサ２２０は、触覚出力装置２４０及び触覚出力装置２８０と通信し、触覚出力装置２４０若しくは触覚出力装置２８０又はその両方に１つ以上の触覚効果を出力させるための信号を出力するように更に構成される。更に、プロセッサ２２０は、スピーカ２７０と通信し、スピーカ２７０に音声を出力させるように構成される。様々な実施形態では、システム２００は、より少ない又は追加の構成要素又は装置を備え又はこれらと通信してもよい。例えば、マウス若しくはキーボード又はその両方等の他のユーザ入力装置、又は追加のタッチセンサ式装置が、システム２００の中に含まれ又はシステム２００と通信してもよい。別の例示として、システム２００は、１つ以上の加速度計、ジャイロスコープ、デジタルコンパス、及び／又は他のセンサを備え及び／又はこれらと通信してもよい。図２に示されたシステム２００の構成要素及びシステム２００に関係付けられ得る構成要素の詳細な説明が以下に記載される。

システム２００は、ユーザ入力を受信して電子文書を表示することが可能な任意の装置であり得る。例えば、図２におけるシステム２００は、タッチセンサ式表面を備えるタッチセンサ式ディスプレイ２５０を含む。一部の実施形態では、タッチセンサ式表面は、タッチセンサ式ディスプレイ２５０上にオーバレイされてもよい。他の実施形態では、システム２００は、ディスプレイ及び別のタッチセンサ式表面を備え又はこれらと通信してもよい。更に他の実施形態では、システム２００は、ディスプレイを備え又はこれと通信してもよく、マウス、キーボード、ボタン、ノブ、スライダコントロール、スイッチ、ホイール、ローラ、ジョイスティック、他の操作子、又はこれらの組み合わせ等の他のユーザ入力装置を備え又はこれと通信してもよい。

一部の実施形態では、１つ以上のタッチセンサ式表面が、システム２００の１つ以上の側部に含まれ又は中に配置されてもよい。例えば、一実施形態では、タッチセンサ式表面は、システム２００の後面の中に配置され又はこれを備える。別の実施形態では、第１のタッチセンサ式表面が、システム２００の後面の中に配置され又はこれを備え、第２のタッチセンサ式表面が、システム２００の側面の中に配置され又はこれを備える。一部の実施形態では、システムは、二つ折り（ｃｌａｍｓｈｅｌｌ）配置又はスライド式配置等で２つ以上の筐体要素を備えてもよい。例えば、一実施形態は、タッチセンサ式ディスプレイが二つ折りの各部分に配置される二つ折り構成を有するシステムを備える。更に、システム２００がシステム２００の１つ以上の側部に少なくとも１つのタッチセンサ式表面を備える実施形態において、又はシステム２００が外部のタッチセンサ式表面と通信する実施形態において、ディスプレイ２５０は、タッチセンサ式表面を備えてもよく又は備えなくてもよい。一部の実施形態では、１つ以上のタッチセンサ式表面は、柔軟性のタッチセンサ式表面を有してもよい。他の実施形態では、１つ以上のタッチセンサ式表面は、剛性であってもよい。様々な実施形態では、システム２００は、柔軟性及び剛性の双方のタッチセンサ式表面を備えてもよい。

様々な実施形態では、システム２００は、図２に示された実施形態よりも少ない又は追加の構成要素を備え又はこれらと通信してもよい。例えば、一実施形態では、システム２００はスピーカ２７０を備えない。別の実施形態では、システム２００は、タッチセンサ式ディスプレイ２５０を備えないが、タッチセンサ式表面を備え、ディスプレイと通信する。他の実施形態では、システム２００は、触覚出力装置２４０、２８０を全く備えず又はこれらと通信しなくてもよい。従って、本明細書に開示の様々な実施形態及び当業者には明白である変形等、様々な実施形態において、システム２００は、任意の数の構成要素を備え又はこれらと通信してもよい。

図２に示されたシステム２００の筐体２１０は、システム２００の構成要素の少なくとも一部に対する保護を提供する。例えば、筐体２１０は、雨等の外来物からプロセッサ２２０及びメモリ２３０を保護するプラスチックケースであってもよい。一部の実施形態では、筐体２１０は、システム２００がユーザによって落とされた場合の損傷から筐体２１０内の構成要素を保護する。筐体２１０は、限定されないが、プラスチック、ゴム又は金属等を含む任意の適切な材料から作られ得る。様々な実施形態は、異なる種類の筐体又は複数の筐体を含んでもよい。例えば、一部の実施形態では、システム２００は、携帯装置、ハンドヘルド装置、ゲームコンソール、ハンドヘルドビデオゲームシステム、ゲームパッド、ゲームコントローラ、デスクトップコンピュータ、電子書籍リーダ、携帯電話、スマートフォン、個人用デジタル補助装置（ＰＤＡ）、ラップトップ、タブレットコンピュータ、デジタル音楽プレーヤ等の携帯型多機能装置であってもよい。他の実施形態において、システム２００は、腕時計の別の装置、他の宝飾品類、手袋等に組み込まれてもよい。従って、複数の実施形態において、システム２００は装着式である。

図２に示される実施形態では、タッチセンサ式ディスプレイ２５０は、ユーザをシステム２００と相互作用させるための機構を提供する。例えば、タッチセンサ式ディスプレイ２５０は、ユーザがタッチセンサ式ディスプレイ２５０上を覆うこと、接触すること、又は押すこと（これらは全て、本明細書では接触と呼ばれる）に応じてユーザの指の場所若しくは圧力、又はその両方を検出する。一実施形態では、接触はカメラの使用を通じて生じ得る。例えば、ユーザがシステム２００のディスプレイ２５０に表示されたコンテンツを観察するときに観察者の目の動きを追跡するためにカメラが使用されてもよい。又は、ページをめくる又はテキストの一部をハイライト等するために装置にコマンドを送信するためにユーザの目の動きが使用されてもよい。この実施形態では、観察者の目の動きに少なくとも部分的に基づいて触覚効果が引き起こされてもよい。例えば、観察者がディスプレイ２５０の特定の場所にあるコンテンツを観察しているという決定が行われると触覚効果が出力されてもよい。一部の実施形態では、タッチセンサ式ディスプレイ２５０は、タッチセンサ式ディスプレイ２５０上の１つ以上の接触の場所、圧力、接触面の大きさ、又はこれらの全てを決定する１つ以上のセンサを備え、これらと接続され又は通信してもよい。一部の実施形態では、タッチセンサ式ディスプレイ２５０は、複数の同時接触に関する情報を感知及び提供することができる複数接触型タッチセンサ式ディスプレイを含んでもよい。例えば、一実施形態では、タッチセンサ式ディスプレイ２５０は、相互キャパシタンス（ｍｕｔｕａｌ ｃａｐａｃｉｔａｎｃｅ）システムを備え又はこれと通信する。一部の実施形態は、圧力又は擬似圧力を感知する能力を有しており、１つ以上の接触場所において感知された圧力又は擬似圧力に関係付けられる情報をプロセッサに提供してもよい。別の実施形態では、タッチセンサ式ディスプレイ２５０は、絶対キャパシタンス（ａｂｓｏｌｕｔｅ ｃａｐａｃｉｔａｎｃｅ）システムを備え又はこれと通信する。一部の実施形態では、タッチセンサ式ディスプレイ２５０は、抵抗性パネル、容量性パネル、赤外線ＬＥＤ、光検出器、画像センサ、光学カメラ、又はこれらの組み合わせを備え又はこれらと通信してもよい。従って、タッチセンサ式ディスプレイ２５０は、例えば、抵抗性、容量性、赤外線、光学、熱、分散信号、又は音響パルス技術、又はこれらの組み合わせ等のタッチセンサ式表面上の接触を決定するための任意の適切な技術を組み込んでもよい。

図２に示された実施形態では、触覚出力装置２４０及び２８０は、プロセッサ２２０と通信して、１つ以上の触覚効果を提供するように構成される。例えば、一実施形態では、プロセッサ２２０によって、作動信号が触覚出力装置２４０、触覚出力装置２８０、又はその両方に提供されると、各触覚出力装置２４０、２８０は、作動信号に基づいて触覚効果を出力する。例えば、図示の実施形態では、プロセッサ２２０は、アナログ駆動信号を含む触覚出力装置２４０に触覚出力信号を送信するように構成される。一部の実施形態では、プロセッサ２２０は、触覚出力装置２８０に高レベルコマンドを送信するように構成される。コマンドは、触覚出力装置２８０に触覚効果を出力させる適切な駆動信号を生成するために使用されるコマンド識別子及びゼロ以上のパラメータを含む。他の実施形態では、異なる信号及び異なる信号タイプが１つ以上の触覚出力装置の各々に送信されてもよい。例えば、一部の実施形態では、プロセッサは、触覚出力装置を駆動して触覚効果を出力するために低レベル駆動信号を送信してもよい。このような駆動信号は、増幅器によって増幅されてもよく、又は駆動される特定の触覚出力装置に対応する適切なプロセッサ又は回路を使用してデジタルからアナログ信号に又はアナログからデジタル信号に変換されてもよい。

触覚出力装置２４０又は２８０等の触覚出力装置は、１つ以上の触覚効果を出力することが可能な任意の構成要素又は構成要素の集合であり得る。例えば、触覚出力装置は、限定されないが、偏心回転質量（ＥＲＭ）アクチュエータ、線形共振アクチュエータ（ＬＲＡ）、圧電性アクチュエータ、音声コイルアクチュエータ、電気活性ポリマ（ＥＡＰ）アクチュエータ、形状記憶合金、ページャ、ＤＣモータ、ＡＣモータ、可動磁石アクチュエータ、スマートゲル、静電アクチュエータ、電気触覚アクチュエータ、変形可能表面、静電摩擦（ＥＳＦ）装置、超音波摩擦（ＵＳＦ）装置、又は触覚出力装置の機能を実行する若しくは触覚効果を出力ことができる任意の他の触覚出力装置若しくは構成要素の集合を含む様々な種類の１つであり得る。複数の触覚出力装置又は異なる大きさの触覚出力装置が、所定範囲の振動周波数を提供するために使用されてもよく、個々に又は同時に作動されてもよい。様々な実施形態が、単一又は複数の触覚出力装置を含んでもよく、同じ種類の又は異なる種類の触覚出力装置の組み合わせを有してもよい。

他の実施形態では、触覚効果を生成するために、１つ以上の構成要素の変形が使用され得る。例えば、表面の形状又は表面の摩擦係数を変えるために、１つ以上の触覚効果が出力されてもよい。一実施形態では、表面の摩擦を変更するために使用される静電力及び／又は超音波力を生成することによって、１つ以上の触覚効果が生成される。他の実施形態では、触覚効果を生成するために、スマートゲルを含む１つ以上の領域等の透明変形要素の配列が使用されてもよい。また、触覚出力装置は、静電摩擦（ｅｌｅｃｔｒｏｓｔａｔｉｃ ｆｒｉｃｔｉｏｎ；ＥＳＦ）、超音波表面摩擦（ｕｌｔｒａｓｏｎｉｃ ｓｕｒｆａｃｅ、ＵＳＦ）、又は超音波触覚トランスデューサによる音響放射圧を含むもの、又は触覚基板及び可撓性若しくは変形可能表面を使用するもの、又は空気ジェットを使用する空気の吹き出し等の投射触覚出力を提供するものを広く含む。摩擦又は変形を生成することができる触覚出力装置２４０、２８０を備える一部の実施形態では、触覚出力装置２４０又は２８０は、タッチセンサ式ディスプレイ上に重ね合わされてもよく、又は摩擦若しくは変形効果がユーザによって接触されるように構成されるタッチセンサ式表面に加えられ得るようにタッチセンサ式ディスプレイ２５０に結合されてもよい。一部の実施形態では、システムの他の部分が、例えば、ユーザによって接触され得る筐体の部分又はシステムに結合される別個のタッチセパレート入力装置において、このような力を提供してもよい。２０１１年４月２２日に出願され、参照により全体が本明細書に組み込まれる“Ｓｙｓｔｅｍｓ ａｎｄ Ｍｅｔｈｏｄｓ ｆｏｒ Ｐｒｏｖｉｄｉｎｇ Ｈａｐｔｉｃ Ｅｆｆｅｃｔｓ”と題される同時係属の米国特許出願第１３／０９２，４８４号には、１つ以上の触覚効果が生成され得る手法が記載され、様々な触覚出力装置が記載されている。

限定されないが、以下の表１に列記される合成方法の例示を含む１つ以上の触覚効果信号から相互作用パラメータを生成するために任意の種類の入力合成方法が用いられてもよいことが理解されるであろう。

図２では、通信インターフェース２６０は、プロセッサ２２０と通信し、システム２００から他の構成要素又は他の装置への有線又は無線通信を提供する。例えば、通信インターフェース２６０は、システム２００と通信ネットワークとの間の無線通信を提供してもよい。一部の実施形態では、通信インターフェース２６０は、別のシステム２００及び／又は１つ以上の他の装置等の１つ以上の他の装置に通信を提供してもよい。通信インターフェース２６０は、システム２００が別の構成要素又は装置と通信することを可能にする任意の構成要素又は構成要素の集合であり得る。例えば、通信インターフェース２６０は、ＰＣＩ通信アダプタ、ＵＳＢネットワークアダプタ、又はＥｔｈｅｒｎｅｔアダプタを含んでもよい。通信インターフェース２６０は、８０２．１１ａ，ｇ，ｂ又はｎ標準を含む無線Ｅｔｈｅｒｎｅｔ（登録商標）を使用して通信してもよい。一実施形態では、通信インターフェース２６０は、無線周波数（ＲＦ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＣＤＭＡ、ＴＤＭＡ、ＦＤＭＡ、ＧＳＭ（登録商標）、Ｗｉ−Ｆｉ、衛星又は他のセルラ若しくは無線技術を使用して通信できる。他の実施形態では、通信インターフェース２６０は、有線接続を介して通信してもよく、Ｅｔｈｅｒｎｅｔ、トークンリング、ＵＳＢ、ＦｉｒｅＷｉｒｅ１３９４、光ファイバ等の１つ以上のネットワークと通信してもよい。一部の実施形態では、システム２００は、単一の通信インターフェース２６０を備える。他の実施形態では、システム２００は、２つ、３つ又は４つ以上の通信インターフェースを備える。

（触覚及びジェスチャ駆動型ペーパーシミュレーションの例示）
電子書籍及び他の種類の電子文書がより普及してきているが、このような技術のユーザは、物理的な本、装丁されたページ、地図、ペーパーの束等の従来の印刷媒体との相互作用に関係付けられる物理的な感覚から切り離されている。また、電子的に記憶された文書には利点がある一方で、このような電子文書の多くのユーザは、本を読み、新聞を読み、地図又は地図帳を広げて折り畳み、文書内のページをパラパラとめくり、その他の物理的なオブジェクトと相互作用する感覚を楽しんでいる。本開示による実施形態は、ユーザが電子文書とより完全に相互作用することができ、物理媒体との相互作用に更に似ている体験を提供するために、視覚、聴覚、触覚及び他のフィードバックを電子文書のユーザに提供する。

本開示を通じて、「電子文書」という用語は、コンピュータメモリ又は１つ以上のコンピュータファイル若しくはデータベース等に電子的に記憶されたデータ、又はコンピュータ装置によって解釈可能であり且つディスプレイスクリーン上又は接触、味覚、嗅覚、視覚及び聴覚を含む感覚を通じて解釈され得る効果を出力することができる他の装置での表示に適している他の情報を一般的に意味する広義語として用いられる。それはコンテンツが電子的に表示可能である従来型の文書、書籍又は雑誌に限定されることは意図されておらず、何らかの態様でユーザに提示可能なデータの任意の電子的表現がこの用語に包含されており、「電子文書」という用語は何らかの狭い定義に限定されるべきではない。本開示での使用に適した一部の電子文書の例は、電子書籍、ワードプロセッシング文書、ＰＤＦ（ｐｏｒｔａｂｌｅ ｄｏｃｕｍｅｎｔ ｆｏｒｍａｔ）文書、グラフィカルファイル、ビデオファイル、ビデオゲーム、Ｅメール、テキストメッセージ及びＳＭＳ（ｓｈｏｒｔ ｍｅｓｓａｇｅ ｓｅｒｖｉｃｅ）メッセージ、ＭＭＳ（ｍｕｌｔｉｍｅｄｉａ ｍｅｓｓａｇｉｎｇ ｓｅｒｖｉｃｅ）メッセージ、ウェブページ、フォーム、アニメーション、並びに多くの他の適切な種類の電子的に記憶された又は表現されたデータを含む。以下の例示の多くはペーパー等の従来の物理媒体をシミュレートする電子文書との相互作用に関連する。しかしながら、上記のように、電子文書はそのように限定されない。

本開示による実施形態は、複数の異なる刺激を介して電子文書の再現を可能にする電子文書の表現を提供してもよい。また、例えば、実質的なコンテンツ（例えば、写真及びテキスト）によって表されることに加えて、電子文書は、文書の個々の構成要素（例えば、ページ、カバー、タブ、仕切り等）の物理的な又はシミュレートされた物理的な特性を示すメタデータを含んでもよい。例えば、電子文書は、実質的なコンテンツと共に電子文書の特徴を記述するパラメータを記憶するためのメタデータフィールドを含むＳＧＭＬ（ｓｔａｎｄａｒｄ ｇｅｎｅｒａｌｉｚｅｄ ｍａｒｋｕｐ ｌａｎｇｕａｇｅ）ベースの文書、例えば、拡張マークアップ言語又はＸＭＬを使用して表されてもよい。一実施形態では、少なくとも部分的に、視覚、触覚、聴覚又は文書の他の特性に関するフィールドを含むＸＭＬ文書によって、電子文書が表されてもよい。触覚特性は、摩擦係数、粗さ又は滑らかさの指示及び表面特徴の変動性の指示（例えば、ペーパーが製造工程又は損耗よるテクスチャの大きな変化を有してもよい）、１つ又は複数の柔軟性又は適合性の値、復元性の指示（例えば、折り畳み又は引き裂き等を介した恒久的な変形に対する抵抗）、吸収性パラメータ、又は文書の構成要素の物理的品質を表し得る他のパラメータを含んでもよい。

触覚パラメータに加えて、電子文書の構成要素の物理的特長を記述する他のパラメータが提供されてもよい。例えば、構成要素の色、構成要素上の印、構成要素上に表示されるテクスチャ、反射性、シミュレートされた液漏れによる色変化パラメータ、年、文書の１つ以上の構成要素の外観に影響を与え得る他のパラメータ等の視覚的特長が識別されてもよい。埃っぽさ、かび臭さ、インク臭等の嗅覚情報が提供されてもよい。文書の構成要素が互いに対して滑ることの録音（例えば、ページが擦れることの記録）、カバーが開けられること、カバーが閉じられること、ページがめくられること、ページがパラパラとめくられること、ページが折り畳まれ又は引き裂かれること等の１つ以上の録音等の聴覚情報が提供されてもよい。更に、任意の特性に複数の録音が提供されて、音声応答の僅かな変化を提供してもよく、従ってユーザにより現実的な体験を提供してもよい。一部の実施形態では、可聴応答を生成するために聴覚パラメータが提供されてもよい。例えば、粗さ、動作の速度等のパラメータに基づいて変形又は変化され得る基本的な音声波形が提供されてもよい。

メタデータが電子文書と共に提供されてもよく、又は後で電子文書に関係付けられてもよいが、一部の実施形態では、ユーザが電子文書に関係付けられるメタデータを変更又は生成することができる。例えば、ユーザが文書を折り畳み又は引き裂くことによって電子文書と相互作用してもよい。このような動作が、電子文書に関係付けられ且つ文書の後の閲覧がユーザによって実行される操作を保持するように記憶され得るメタデータを生成してもよい。ゲーム等の一部の状況では、ユーザが電子文書に液体をこぼして、一時的に又は恒久的にその外観又は重量を変化させてもよく、これが電子文書に関係付けられるメタデータとして記憶されてもよい。ユーザが電子書籍を読む実施形態では、ユーザは、ページを折り畳み又は引き裂くことによって印を付けることによって、メタデータが生成されて、文書に関係付けられてもよい。従って、本開示による実施形態は、シミュレートされたペーパーと共に経時的な電子文書の使用及び経年劣化のシミュレーションを提供してもよい。物理的なオブジェクトが損耗の印を蓄積すると、本開示による実施形態は、電子文書において仮想的な「損耗」を提供するための機構を提供してもよい。更に、このような蓄積されたメタデータは、例えば、ユーザが別の人物と電子文書を共有する場合に、電子文書と共に送信されてもよい。又は蓄積されたメタデータは、電子文書を「元」の状態に回復するために部分的に又は完全に除去されてもよい。

一部の実施形態では、メタデータは電子文書と共に提供されてもよい。一方で、一部の実施形態では、メタデータは電子文書に適合される実施形態によるシステムによって記憶されてもよい。例えば、一実施形態では、電子書籍リーダは、文庫本、ハードカバー本、教科書、新聞、雑誌等の異なる種類の本に関するメタデータ情報のライブラリを有してもよい。従って、新しい電子書籍を受信するとき、新しい電子書籍がそれ自身のメタデータを有していなければ（又は一部の実施形態では、それを有していても）、ユーザが電子書籍と相互作用するときに様々な感覚をユーザに提供するために電子書籍にリーダー自身のメタデータのライブラリが電子書籍に適用されてもよい。一部の実施形態では、メタデータのライブラリは、リーダから遠隔で記憶されてもよく、インターネットに接続されたリモートサーバー等から必要又は要求に応じてアクセスされてもよい。一部の実施形態では、電子文書は、電子文書に関係付けられる遠隔で記憶されたメタデータの場所を示すメタデータを含んでもよい。こうした変形の各々が、一般に本開示による任意の及び全ての実施形態に適用可能である。これらは電子書籍リーダの上記例示に限定されず、むしろ任意の適切な実施形態で及び任意の組み合わせで使用されてもよい。

次に図３を参照すると、図３は、様々な実施形態によってシミュレートされ得る物理媒体の例を示す。図３に示された実施形態の各々は、一枚のペーパーの表現である。例えば、シート３１０は一枚の経年劣化したペーパーの例示である。知られているように、古いペーパーは、乾燥して脆くなる傾向があり、亀裂を生じる場合があり、又は触れるとバラバラになる場合がある。しかしながら、場合によっては、古い数枚のペーパーは、例えば、動物の皮（例えば、上質皮紙）、木材パルプ、パピルス、木綿等の異なる種類の材料から作られてもよい。こうした異なる種類のペーパーの各々は、経年劣化した場合に、例えば、暗い外観、増加した脆さ、テキストの退色等の異なる物理特性を有してもよい。更に、ペーパーが年を経ると、汚れ又は破れ等の印又は欠陥を蓄積してもよい。従って、一部の実施形態は、例えば、各使用後に値が増加又は減少すること、又は結果として生ずる追加のパラメータ情報等によって、経時的に変化する又は変化し得るメタデータを提供してもよい。シート３２０は、より曲げる又は畳むのが困難であるより厚くて重いことが理解されるカードストックを表す。厚み、材料特性、任意の表面特徴（例えば、折り畳み又は欠陥）等によって、異なる種類のカードストックが異なるテクスチャを有してもよい。更に、例えば、カードストックから作られた文書のページをめくること、又はカードストック上に招待状を折ること等、カードストックを操作することはより難しくてもよい。こうしたパラメータの各々は、他のパラメータと共に、シート３２０を記述するメタデータによって表されてもよい。シート３３０は、容易に操作される等（例えば、折り曲げられる、引き裂かれる、新しいページをめくる、印をつける等）の比較的よく知られている、比較的滑らか且つ特徴のない、及び他の数枚のペーパーを横切って滑り、手帳から引き裂かれ、又は大量のペーパーにザッと目を通すときに一般に周知の応答を提供する、物理特性の組を提供する一枚の薄い手帳ペーパーである。図３に示される数枚のペーパーの各々は、１つ以上の実施形態に従ってメタデータにより表示されてもよく、上記のように、経時的に追加のメタデータを蓄積してもよい。

次に図４及び５を参照すると、図４及び５は、電子文書と相互作用するときに用いられ得るジェスチャの例を示す。例えば、電子文書４１０に関してドッグイアを作るジェスチャが図４Ａに示されており、図１Ａ−Ｃに関して検討された実施形態に似ている。図４Ｂに示された実施形態は、電子文書における破れをもたらし得るジェスチャの例を示す。例えば、ユーザが文書の一部に第１の指４２２ａを接触させて第２の指４２２ｂを第１の指４２２ａに隣接させる。そして、第１の指４２２ａを固定させたまま、ユーザはせん断運動で第２の指４２２ｂを下にそして第１の指４２２ａから離れてドラッグする。理解されるように、一枚のペーパーのこのような操作は、ペーパーの破れ等の一枚のペーパーの変形をもたらすであろう。既に検討された２つの例示において１つの接触点が固定されており別の点が動いている間、本明細書で開示される実施形態による装置は、電子文書に結果として生ずる効果を決定するために接触点の相対運動を分析してもよい。例えば、２つの接触点が互いに近づくと、装置は折り畳みの効果を解釈してもよい。一方で、２つの接触点が離れると、装置は引き伸ばし又は引き裂きの効果を解釈してもよい。

接触点４２４ａ及び４２４ｂに関して類似のジェスチャが示される。ここで、ユーザは、電子文書において水平の引き裂きを生成すると解釈され得るジェスチャを行っている。図５Ａでは、２つの異なるジェスチャが示される。接触点５１２ａ及び５１２ｂを含む第１のジェスチャは、電子文書に対する２つの接触点、及び各接触点の実質的に同時の左方向の移動を示す。これはページめくり、又は複数のページめくりと解釈されてもよい。互いに向かう接触点５２０ａ及び５２０ｂの動きは、折り畳みジェスチャと解釈されてもよい。図５Ｂでは、３つの接触点５３０ａ−ｃ、及び実質的に同時の左方向の移動が、検索ジェスチャ又は「ザッと目を通す」ジェスチャと解釈されてもよい。このようなジェスチャによって、１つ以上のユーザが適用した特長、例えば、ドッグイア又は引き裂きを有するページが見つかるまで、文書の最後に向かって間断なく複数のページがめくられる。一部の実施形態では、「ザッと目を通す」ジェスチャを生成する別の方法は、本における追加のページを意味する、シミュレートされた大量のペーパーに親指を置くことであろう。次に、装置を傾けるジェスチャ等の補助ジェスチャ、又は曲げ可能／可撓性ディスプレイの場合、装置を曲げるジェスチャが、立て続けに電子書籍のページをめくる、「流し読み」相互作用を引き起こすために使用され得る。以前に「ドッグイア」を作ったページが山の中にある場合、それが山の頂上に来る瞬間に異なる触感をもたらしてもよく、ページネーション（ｐａｇｉｎａｔｉｏｎ）の速度が一時的に遅くされ、又は他の指示が行われてもよい。代替的に、接触点５４０ａ−ｃは接触点５３０ａ−ｃと同じジェスチャと解釈されてもよいが、電子文書の最後に向かってではなく、文書の開始に向かってである。図５Ｃに示される実施形態では、ユーザが２本の指５５２ａ−ｂを素早くスワイプして前後に「擦る」動作を行ってもよい。装置は、こうした動作を「擦り」ジェスチャとして認識してもよい。これにより、一実施形態では、間断なくページがめくられて、ユーザが生成したメタデータ（例えば、折り目、裂け目、ハイライト）を有するページを過ぎると触覚キューを提供してもよい。一部の実施形態では、システムは、このようなメタデータを有するページに遭遇すると、一時的に中断してもよい。このようなジェスチャによって、ユーザは以前の覚書又は注釈を検索するために本又は文書を素早く「ザッと目を通す」こと、又はコンテンツをザッと読むことが可能になってもよい。

先に検討された例示では、ジェスチャは、本開示の実施形態に従うシステムによって認識される事前定義されたジェスチャであってもよく、又は受信した入力に基づいてページ又は文書への変形を決定するルーチンへの単なる入力であってもよいことに留意するべきである。例えば、「ドッグイア」ジェスチャは、文書のページに事前定義された効果を有するものと一実施形態に従うシステムによって認識されてもよく、例えば、ページの角にドッグイアが作られ、ジェスチャに対する事前定義された応答をトリガしてもよい。しかしながら、一部の実施形態では、システムは、文書の一部が動かされているが、別の部分は静止したままであることを単に決定してもよく、次に、媒体の厚み、弾性、脆さ等の電子文書の特性に基づいて入力への応答を決定し、又はこのように決定された応答に基づいて視覚、触覚、聴覚又は他の応答を提供してもよい。従って、本開示は単に事前定義されたジェスチャ及び応答に制限されず、受信した相互作用に対する電子文書の計算された応答も含む。

次に図６を参照すると、図６は、一実施形態による触覚及びジェスチャ駆動型ペーパーシミュレーションのためのシステムを示す。図６は、図２に示されたシステムによって実行されるソフトウェアアプリケーションに関して記載される。しかしながら、本明細書に記載の方法は、図２に示されたシステムのみによる実行に限定されるのではなく、任意の適切な電子システムによって実行されてもよい。

図６に示される方法は、ブロック６０２において、電子文書を受信することで開始する。電子文書は、多様な方法で受信されてもよい。例えば、ネットワークを介してリモートサーバー等のリモート装置から、リモート装置と接続し且つネットワークを介して通信するために通信インターフェース２６０等を利用することによって、電子文書が受信されてもよい。一実施形態では、電子文書は、メモリ２３０等、装置内のコンピュータ可読媒体に記憶されてもよい。一部の実施形態では、コンピュータ可読媒体はフラッシュメモリ等の不揮発性媒体を含んでもよいが、一部の実施形態では、コンピュータ可読媒体はＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）等の揮発性媒体を含んでもよい。例えば、一実施形態では、システム２００は、１つ以上の電子文書が記憶されたフラッシュドライブ又はメモリチップ等のメモリモジュールを受け入れるように構成されてもよい。

一部の実施形態では、システム２００は、電子文書を含む装置との接続を受信すること等によって、電子文書を受信してもよい。一部の実施形態では、システム２００によって実行されるソフトウェアアプリケーションが電子文書を受信してもよい。例えば、一実施形態では、システム２００は、電子文書を読んで解釈するためにソフトウェアアプリケーションを実行してもよい。ソフトウェアアプリケーションは、取得され且つ読み込まれる電子文書の位置を提供されてもよい。一実施形態では、位置は、ＷＷＷ（Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ）アドレス等のＵＲＬ（ｕｎｉｆｏｒｍ ｒｅｓｏｕｒｃｅ ｌｏｃａｔｏｒ）、又はクラウドの記憶場所等の電子文書を提供することができる装置のアドレスを含んでもよい。一実施形態では、位置は、システム２００内で記憶された又はアクセス可能なファイルシステム内の位置を含んでもよい。一実施形態では、位置は、電子文書がアクセスされ得るＲＡＭにおける位置へのポインタ又は参照を含んでもよい。ソフトウェアアプリケーションは、任意のこうした位置から又は電子文書を提供可能な他のソースから電子文書を受信してもよい。電子文書が受信された後で、方法は、ブロック６０４に進む。

ブロック６０４では、電子文書に関係付けられるメタデータが受信される。上記のように、メタデータは、電子文書に関係付けられてもよく、多様な情報を含んでもよい。例えば、メタデータは、電子文書に関係付けられるペーパーの１つ又は複数の種類に関する情報を含んでもよく、又は触覚情報、視覚情報、聴覚情報、又は他の情報若しくは事前定義される触覚、視覚、聴覚効果、若しくは電子文書に関係付けられる他の種類の効果若しくは情報への参照を含んでもよい。一部の実施形態では、電子文書は、電子文書のメタデータも含み得る単一のファイル内で記憶されてもよい。一部の実施形態では、メタデータは、１つの別個のファイル又は複数の別個のファイルに記憶されてもよい。例えば、一実施形態では、触覚効果に関するメタデータが第１のファイルに記憶され、視覚効果に関するメタデータが第２のファイルに記憶され、ペーパーの種類に関するメタデータが第３のファイルに記憶され、一方で聴覚効果の種類に関するメタデータが第４のファイルに記憶される。次に、異なるファイルが電子文書に関係付けられる。例えば、異なるファイルは、電子文書によって、例えば、電子文書内の情報によって参照されてもよく、又はファイルは、電子文書のファイル名に関連するファイル名を有してもよい。一部の実施形態では、他の構成のメタデータが使用されてもよい。例えば、遠隔地から動的に提供され、又は折ること、裂くこと、印を付けること若しくは他の電子文書との相互作用等による電子文書とのユーザ相互作用に基づいてオンザフライで生成される。一部の実施形態では、動的なメタデータが、１つ以上のユーザ構成設定に基づいて動的に提供されてもよい。例えば、一実施形態では、ユーザの視野が減少していることを示す構成設定に基づいて、変形可能なディスプレイにおいて点字効果を提供すること等のために、触覚情報がオンザフライで生成されてもよい。一実施形態では、構成設定に基づいて、電子文書から単語を読み上げるための合成音声等、聴覚情報を識別し記述するメタデータが生成されてもよい。

一実施形態では、電子文書を読むためのソフトウェアアプリケーションが、電子文書のコンテンツから電子文書に関連するメタデータを受信し且つアクセスするように構成されてもよい。例えば、ソフトウェアアプリケーションは、電子文書を含む電子ファイルを読んで解釈してもよい。この工程の一部として、ソフトウェアアプリケーションは、メタデータとして識別されたデータを読んで解釈して、次にメタデータを解釈してもよい。一実施形態では、電子文書はＸＭＬ文書を含んでもよい。ＸＭＬ文書を読んで解釈する間に、ソフトウェアアプリケーションは、＜ｍｅｔａ ｈａｐｔｉｃ−ｅｆｆｅｃｔ＝“ｓａｎｄｐａｐｅｒ”＞タグ等の触覚効果を示すメタデータタグに遭遇してもよい。ソフトウェアアプリケーションは、摩擦効果等の「サンドペーパー」の触覚効果が示されることをそのタグが示すと解釈してもよい。他の実施形態は、他のソースからメタデータを受信してもよい。

例えば、一部の実施形態では、ソフトウェアアプリケーションが、１つ以上のメタデータファイルから電子書籍に関係付けられるメタデータを受信してもよい。例えば、当技術分野で周知のように、ウェブベースの文書が、ＨＴＭＬ又はＸＭＬ文書、及び１つ以上のＣＳＳ（ｃａｓｃａｄｉｎｇ ｓｔｙｌｅ ｓｈｅｅｔ）ファイル等の関連するスタイルシート文書を含んでもよい。本開示による実施形態は、１つ以上の電子文書に関係付けられるメタデータを提供するために、１つ以上のＣＳＳファイル又は他のＣＳＳに類似のファイルを利用してもよい。更なる実施形態は、１つ以上の電子文書に関係付けられるメタデータを提供するために他のファイルの種類を利用してもよい。

一部の実施形態は、例えば、メタデータに対する要求に応じて又は電子文書を提供することと併せて、他のコンピュータ又は記憶装置からメタデータを受信してもよい。例えば、一実施形態では、メタデータは、電子文書を使用又は提供するためにソフトウェアアプリケーションによってアクセスされ得るデータベースに記憶される。このような実施形態では、電子文書又は電子文書に関係付けられる１つ以上のファイルは、関連するメタデータを提供するときにデータベースへの１つ以上の参照を提供してもよい。一部の実施形態では、ソフトウェアアプリケーションは、電子文書が自身のメタデータを有していない又はそれに関係付けられるメタデータを有していない場合に電子文書にメタデータを補強するためにデータベースにアクセスしてもよく、又は電子文書に関係付けられるメタデータに加えて又は代わりにこのようなメタデータを適用してもよい。従って、一部の実施形態では、ソフトウェアアプリケーションは、電子文書を読んで解釈する間に、前から存在するメタデータを適用してもよく、又はオンザフライでメタデータを生成してもよい。一部の実施形態では、ソフトウェアアプリケーションは、クラウドの記憶場所等におけるソフトウェアアプリケーションから、又は電子文書に関係付けられ得るメタデータのサービスプロバイダ又はライブラリから、遠隔で記憶されたメタデータにアクセスしてもよい。例えば、一実施形態では、本開示によるソフトウェアアプリケーションは、１つ又は複数のリモートサーバーから、例えば、電子文書のプロバイダから又は電子文書に無関係なパーティからメタデータを要求及び受信してもよい。

従って、本開示は、電子文書自体、電子文書に関係付けられる１つ以上のファイル、データベース、クラウドストレージ、及び他のローカル又はリモートの場所を含む多様なソースからメタデータを受信することを考えている。ソフトウェアアプリケーションが電子文書に関係付けられるメタデータを受信した後で、方法はブロック６０６に進む。

ブロック６０６では、ソフトウェアアプリケーションは電子文書を表示する。一実施形態では、ソフトウェアアプリケーションは電子文書を表示する。例えば、一実施形態では、ソフトウェアアプリケーションは、電子文書の一部又は全ての画像を表示するための信号を生成してディスプレイ２５０に送信する。更に、ソフトウェアアプリケーションは、触覚効果、聴覚効果、又は他の効果を表示するための１つ以上の信号を生成してもよい。本開示による「表示」という用語は、光学、触覚、聴覚、又は他の種類の情報を含み得る情報の提示を含むことに留意するべきである。従って、一部の実施形態では、閲覧及び知覚のために電子文書が表示されてもよい。更に、一部の実施形態では、表示された情報は、例えば、変化する表示効果を特定するユーザ相互作用又はメタデータに基づいて、経時的に変化してもよい。例えば、ユーザが電子書籍のページをめくってもよく、これが電子文書に関係付けられる新しい情報の表示を引き起こしてもよい。

電子文書が表示された後で、方法は、ブロック６０８に進む。

ブロック６０８では、ソフトウェアアプリケーションは触覚信号を出力する。例えば、一実施形態では、ソフトウェアアプリケーションは、触覚信号を生成して触覚出力装置２４０に出力する。触覚信号を生成するために、ソフトウェアアプリケーションは、出力される触覚効果に関係付けられるパラメータを記述する電子に関係付けられるメタデータを解釈する。例えば、触覚効果が振動である場合、パラメータは、振動に関する周波数及び振幅を含んでもよく、一部の実施形態では、変調のパラメータ又は触覚効果を変調するためのエンベロープ信号も含んでもよい。一部の実施形態では、パラメータは、摩擦効果の摩擦係数、サイズ、形状及び場所、表面に対する変形のサイズ、形状及び場所、触覚効果の持続時間、又は触覚効果の強度を含んでもよい。更なるパラメータが提供されてもよい。一部の実施形態では、触覚効果は、事前定義された触覚効果への参照を識別することによって生成されてもよい。例えば、電子文書に関係付けられるメタデータが、「サンドペーパー」効果を参照してもよい。次に、「サンドペーパー」の触覚効果がデータベース内で見つけられて、「サンドペーパー」の触覚効果に関連付けられるパラメータが受信されて触覚効果を生成し且つ出力するために使用されてもよい。

一部の実施形態では、触覚効果が動的に生成されてもよい。例えば、一部の実施形態では、触覚効果は、ユーザが電子文書と相互作用するときにだけ生成されて出力されてもよい。例えば、ユーザがディスプレイスクリーン上で指をスライドさせる場合、触覚効果はその場所で、又はタッチセンサ式表面の全体ではなく接触が次に予想される場所でのみ生成されてもよい。このような実施形態は、触覚出力装置によって消費される電力を有利に減らすことができる。例えば、ソフトウェアアプリケーションは、接触の方向及び速さを検出して、ユーザの指が遭遇すると予想される次の場所に対して触覚効果をキューしてもよい。一方で、ユーザがもはや接触していない場所に加えられた触覚効果は中止されてもよい。

触覚効果が出力された後で、方法は、追加のメタデータを受信し又は電子文書の同じ若しくは異なる部分を表示するためにブロック６０４又は６０６に戻ってもよい。次に、方法は電子文書と相互作用する経験を提供するために繰り返されてもよく、又は方法は追加の又は新しい電子文書が受信される場合にブロック６０２に戻ってもよい。

次に図７を参照すると、図７は、一実施形態による触覚及びジェスチャ駆動型ペーパーシミュレーションのための方法を示す。図７は、図２に示されたシステムによって実行されるソフトウェアアプリケーションに関して記載される。しかしながら、本明細書に記載の方法は、図２に示されたシステムのみによる実行に限定されるのではなく、任意の適切な電子システムによって実行されてもよい。

図７に示される方法は、ブロック７０２において、電子文書を受信することで開始する。ブロック７０２−７０６は図６のブロック６０２−６０６に関して先に開示された機能を記載しており、こうした機能に関連する詳細な開示は図６に関して先に提供されている。

ブロック７０８において、ソフトウェアアプリケーションは、タッチセンサ式ディスプレイ２５０等のタッチセンサ式入力装置との接触に関連する接触データを受信する。接触データを受信するために、ソフトウェアアプリケーションは、感知されたタッチセンサ式入力装置との相互作用に基づく情報を受信してもよい。例えば、ユーザがタッチセンサ式入力装置に接触して、表示された電子文書と相互作用してもよい。接触データは、１つ又は複数のｘ，ｙ座標等の位置情報、１つ（又は複数）の接触領域のサイズ、圧力又は擬似圧力情報、移動情報、ジェスチャ情報、及び適切なタッチセンサ式入力装置によって提供され得る他の情報を含んでもよい。

タッチセンサ式入力装置から接触データを受信した後で、ソフトウェアアプリケーションは、接触データに基づいて１つ以上のジェスチャを決定してもよい。一部の実施形態では、タッチセンサ式入力データは、周期的に又は非同期的に、接触データが感知された相互作用に基づいて変化すると更新された接触データを提供してもよい。ソフトウェアアプリケーションは、例えば、１つ（又は複数）の接触点の移動を感知するために、経時的に受信された接触データに基づいてジェスチャを決定してもよい。例えば、タッチセンサ式入力装置は、受信した接触データに基づいて、押すこと、ドラッグすること、裂くこと、折ること、スワイプすること、スクロールすること、擦ること、及びその他を含むジェスチャを決定してもよい。接触データを受信し、一部の実施形態では、接触データに関係付けられるジェスチャを決定した後で、方法はブロック７１０に進む。

ブロック７１０において、ソフトウェアアプリケーションは、接触データに基づいて文書との相互作用を決定する。例えば、一部の実施形態では、ソフトウェアアプリケーションは、電子文書の一部に対応する位置でタッチセンサ式ディスプレイ２５０における接触を決定してもよい。このような実施形態では、ソフトウェアアプリケーションは、ユーザが文書に「接触」していること、例えば、ユーザが文書の一部を表示している位置でタッチセンサ式ディスプレイ２５０に接触していることを決定してもよい。しかしながら、一部の実施形態では、ユーザは、例えば、別個のタッチパッドに接触することによって、ディスプレイ２５０とは異なるタッチセンサ式入力装置に接触してもよい。ソフトウェアアプリケーションは、接触が表示された電子文書とは異なる位置で生じているにもかかわらず、表示された電子文書に対する「接触」としてこのような接触の一部を解釈してもよい。

一部の実施形態では、ソフトウェアアプリケーションは、タッチセンサ式入力装置から接触データに基づいて一連の接触を決定してもよい。例えば、ソフトウェアアプリケーションは、タッチセンサ式入力装置から連続的な接触データ情報を経時的に受信することによってユーザが指を左に動かしていることを決定してもよい。一部の実施形態では、ソフトウェアアプリケーションは、ジェスチャを決定するのではなく、１つ（又は複数）の各々別個の接触データ点を使用して、電子文書との個別の相互作用を決定してもよい。例えば、一実施形態では、図５Ａに見られるように、ユーザは、２本の指を用いて電子文書の２箇所５２０ａ，ｂに接触して、例えば、ピンチ動作のように２本の指を一緒に動かす。一部の実施形態では、ソフトウェアアプリケーションは、このジェスチャを「ズーム」ジェスチャとして認識してもよいが、一部の実施形態では、ソフトウェアアプリケーションは、ジェスチャを決定しようとするのではなく、電子文書が表示されている「ペーパー」との相互作用として移動する接触点の位置を使用してもよい。

例えば、図５Ａに示される実施形態では、ユーザが２つの接触点５２０ａ，ｂを互いに向かってドラッグすると、ソフトウェアアプリケーションは、ユーザの接触を電子文書の「ペーパー」を変形させようとする試みと解釈してもよい。従って、ソフトウェアアプリケーションは、「ペーパー」上の接触点が最初の接触点５２０ａ，ｂでユーザの指に「粘着」することを決定し、ユーザが２つの接触点を互いに引くと、ペーパー上の２つの接触した点自体が接近し、それによりペーパー自体が変形する。即ち、このようにして操作されたときに一枚のペーパーがなると予測され得るように、それは皺が寄り又は折れて、２つの接触点の間のペーパーの領域は「上方」に押されてもよい。同様に、図１Ａ−Ｃ，４Ａ−Ｂ，及び５Ａ−Ｃに見られるように、ユーザが電子文書と相互作用するときにソフトウェアアプリケーションは必ずしもジェスチャ（例えば、スワイプ又は押すこと）を決定するのではなく、あたかも接触及び移動が一枚のペーパーとの相互作用であるかのようにユーザの接触及び移動をシミュレートする。従って、２本の指が２つの異なる接触点で電子文書に接触すること、及び互いから離れて又は互いを越えて（例えば、図４Ｂに見られるように）接触点をスライドすることによって、ペーパーが引き伸ばされ又は引き裂かれることになってもよい。或いは、図１Ａ−Ｃに見られるように、ピンチ動作によって、シミュレートされたペーパーが折れることになってもよい。

ペーパーを正確にシミュレートするために、弾性、復元力、重量、及び先により詳細に検討されたその他のように、ペーパーに関連するパラメータが利用されてもよい。例えば、ユーザが互いから離れて２つの接触点をスライドさせるとき、ペーパーが高い復元特性を有する場合、ペーパーは引き裂かれる前にやや引き伸ばされてもよく、又は全く引き裂かれなくてもよい。ユーザは、次に、ペーパーに加えられる増加した力をエミュレートするために、４本の指、即ち、各方向に２つの「引っ張り」を用いて引き裂きジェスチャを再実行してもよい。従って、相互作用は、接触点の動作の種類又は相対動作の種類によって共に影響されてもよい。また、相互作用は、相互作用の「力」を増加又は減少させ得る感知された圧力等の他のパラメータによって影響されてもよい。例えば、感知される高圧力（又は擬似圧力）は、特定の接触位置により大きな力を割り当てていると解釈されてもよい。一方で、感知される低圧力（又は擬似圧力）は、より小さな力と解釈されてもよい。例えば、一実施形態では、対応する力の尺度と共に感知される圧力（又は擬似圧力）に基づいて、線形相関が確立されてもよい。

擬似圧力が言及されており、タッチセンサ式入力装置が実際の圧力情報、例えば、タッチセンサ式入力装置に加えられる力の測定値を提供しなくてもよい又は提供しない実施形態で使用されてもよい。擬似圧力は、接触領域のサイズに基づいて生成されてもよい。例えば、大きな接触領域が、小さな接触領域よりも大きな「圧力」を有すると解釈されてもよい。一部の実施形態では、タッチセンサ式入力装置は、真の圧力値ではなく「擬似圧力」値を報告してもよい。本開示の目的で、電子文書との相互作用を決定するときに何れか又は双方の種類の情報を使用することが可能であってもよい。

先に検討されたように、ユーザは、電子文書のページの「折り畳み」を引き起こすために電子文書と相互作用してもよい。例えば、図１Ａ−Ｃに関して検討されたように、ユーザは、ページの角を折って、後で参照するためにページに「ドッグイア」を作ってもよい。しかしながら、ページは他のやり方で「折り畳み」されてもよい。例えば、ユーザは、電子文書のページの右端に指を接触させて、例えば、本のページをめくるために、左に指をドラッグしてもよい。別の実施形態では、ユーザは、地図を含む電子文書と相互作用してもよい。ユーザは、従来の地図（例えば、ロードマップ）がどのように比較的大きなサイズから小さな携帯サイズの形状要因に折り畳まれ得るかの概念と同様に、地図を折り畳んで、より小さな形状要因にしようとしてもよい。ユーザは、文書をそれ自体の上に折り畳むために文書の一部に接触してドラッグしてもよい。そうするために、ユーザは、地図全体がディスプレイスクリーン上に見えるように文書のビューをズームしてもよく、又はユーザは、興味のある領域のより小さな地図を「カット」して生成するためにより大きな地図の一部を選択してもよく、それが次にスクリーンに表示されてもよい。次に、ユーザは、地図の異なる部分に接触してドラッグして、地図を折り畳み又は繰り返して折り畳んでもよい。以下により詳細に検討されるように、このような折り畳みは、地図が印刷される「ペーパー」に基づいてメタデータを生成し又はメタデータのアクセスを開始してもよい。このような情報は、連続した折り畳みに対する地図の抵抗に影響を与え、以前の折り畳みに関する折り目情報（従来の折り畳み地図の場合にあるようにユーザに案内を与えるために使用されてもよい）を提供し、又は地図が折り畳まれるように厚みの増した感覚を提供してもよい。

一部の実施形態では、ソフトウェアアプリケーションは、例えば、初期の接触の位置及び接触点の左へのスワイプに基づいて、「ページめくり」ジェスチャとして相互作用を認識してもよい。しかしながら、一部の実施形態では、ソフトウェアアプリケーションは、ユーザが指を動かすにつれてユーザによって接触された電子文書の表示された部分が動いて、電子文書が変形することを決定してもよい。電子文書が電子書籍を含み且つペーパーが書籍内のページをエミュレートする実施形態では、ユーザの動きによって、あたかもページがめくられているかのように、本のページが折られ始めてもよい。ユーザが指を更に左に動かせば動かすほど、ページの端はページの残部に対して更に折られる。従って、例えば、指を持ち上げることによって、ユーザがページを開放すると、ソフトウェアアプリケーションは、ページがめくられることを引き起こすのに十分なほどページが折り畳まれているかどうかを決定し、又はページが開かれて（又は展開されて）元の位置に戻るかどうか、例えば、ユーザが次のページをめくるのに十分な程度にページを動かさなかったと決定してもよい。このような相互作用は、電子文書の「ページ」と相互作用するときに現実感覚を提供してもよい。即ち、ページが物理的なページのように振る舞う。

電子文書の「ペーパー」との相互作用をエミュレートすることに加えて、システムは、ペーパーとの相互作用から独立したジェスチャを認識してもよい。例えば、ソフトウェアアプリケーションは、１本以上の指が実質的に均一な方向に動くスワイプジェスチャを認識してもよい。又は、ピンチ又は「広げる」ジェスチャ（例えば、接触点が互いに向かって又は互いから離れて動くこと）を、電子文書の一部の表示された「ズーム」を増加又は減少させるためのジェスチャと認識してもよい。一部の実施形態では、ジェスチャは、非ジェスチャの相互作用と組み合わせて使用されてもよい。

例えば、一実施形態では、ユーザは、一枚のペーパーを引き裂くのではなくカットすることを望んでもよい。そうするために、ユーザは、電子文書の表示された部分に接触して、「カット」又は「かみそり」機能を呼び出すために「プレス」ジェスチャを行ってもよい。ソフトウェアアプリケーションは、「プレス」ジェスチャを認識して、「カット」機能を開始する。次に、ユーザは電子文書に沿って指をドラッグして、（例えば、別の場所にペーストするため、又は文書から編集するために）文書の一部をカットしてもよい。ユーザが指をドラッグしている間、ソフトウェアアプリケーションは、ドラッグジェスチャを認識するのではなく、単に接触点の変化する位置に基づいて相互作用を解釈して、電子文書が「カット」されることを引き起こしてもよい。

電子文書との相互作用を決定した後で、方法はブロック７１２に進むが、一部の実施形態では、方法はブロック７１２に進む代わりにブロック７０６に戻ってもよい。

ブロック７１２では、ソフトウェアアプリケーションは、触覚信号を生成及び出力する。ユーザが電子書籍と相互作用すると、ソフトウェアアプリケーションは、相互作用に関係付けられる触覚効果を生成してもよい。例えば、ユーザが電子文書の一部に対応する位置でタッチセンサ式入力装置に接触する場合、ソフトウェアアプリケーションは、摩擦の触覚効果を生成して触覚出力装置（例えば、触覚出力装置２４０又は２６０）に触覚信号を出力して、一枚のペーパーへの接触をシミュレートするためにユーザに触感を提供してもよい。このような触覚効果は、電子文書に関係付けられるメタデータに基づいて生成されてもよい。例えば、一枚のペーパーの「感覚」は、ペーパーの年、重量、厚み及び材料等のメタデータパラメータに基づいてもよい。一部の実施形態では、触覚出力装置は、タッチセンサ式入力装置の接触面を変形するように構成されてもよい。

一部の実施形態では、ソフトウェアアプリケーションは、電子文書との他の相互作用に関係付けられる触覚効果を生成してもよい。例えば、検討されたように、ユーザが電子文書の２箇所に接触してその２箇所を互いから離して動かす場合、ソフトウェアアプリケーションは、ジェスチャがペーパーの引き裂きをもたらすことを決定してもよい。更に、ソフトウェアアプリケーションは、このような相互作用に関係付けられる触覚効果を生成してもよい。例えば、ユーザが接触点を広げると、ソフトウェアアプリケーションは、ペーパーが引き裂きに抵抗することをエミュレートする大きさを増加させる摩擦効果等の摩擦の触覚効果を生成してもよい。摩擦効果を提供することができない実施形態では、例えば、摩擦力に対応するように振動を出力することによって、このような効果がエミュレートされてもよい。例えば、摩擦を増加させるのではなく、触覚出力装置は、低振幅の振動を開始して、ペーパーが引き伸ばされると、引き裂きが開始されるまで振幅を増加させてもよい。

ペーパーの「引き裂き」が開始されると、ソフトウェアアプリケーションは、摩擦効果を減少させて、更に、ペーパーが引き裂かれる感覚をエミュレートするために振動効果を生成してもよい。一実施形態では、引き先をエミュレートするための振動は、ユーザがペーパーを引き裂いている速度に基づく振動パラメータを有してもよい。例えば、ペーパーがゆっくりと引き裂かれていれば、振動は低周波数を有してもよい。一方で、ペーパーが素早く引き裂かれていれば、高周波数の振動がもたらされてもよい。このような触覚効果を提供することによって、ソフトウェアアプリケーションは、電子文書とのより現実的で没入感のある相互作用を提供してもよい。又は、先に検討されたように、摩擦効果を提供する能力を欠いた実施形態では、ペーパーの引き裂きをエミュレートする振動は、単独で、又は以下により詳細に検討されるように他の効果を併せて出力されてもよい。

先に検討されたように、電子文書のペーパーとの相互作用に加えて、ソフトウェアアプリケーションは、スワイプ、スクロール等の接触データに基づいてジェスチャを認識してもよい。こうしたジェスチャは、先に検討された非ジェスチャの相互作用に代えて又は加えて使用されてもよい。先に検討されたように、ユーザは、電子文書内の所定の位置を「プレス」して「カット」機能を開始してもよく、次に指をドラッグして電子文書から一部を「カット」してもよい。「プレス」ジェスチャの認識後、ソフトウェアアプリケーションは、「カット」機能がアクティブ化されたことを示すために、短い振動等の触覚効果を出力してもよい。次に、ユーザが文書に沿って指をドラッグすると、ソフトウェアアプリケーションは、電子文書のペーパーをカットすることをエミュレートするために低振幅振動を生成して出力してもよい。一部の実施形態では、振動は、ペーパーをカットすることへの抵抗をエミュレートするために、摩擦触覚効果を伴って、又は置き換えられてもよい。

別の例示では、ユーザが電子書籍のページの右端に触れて接触部を左にドラッグすると、ソフトウェアアプリケーションは、「ドラッグ」ジェスチャを検出して、そのジェスチャに「ページめくり」効果を関連付けて、ページをめくってもよい。ジェスチャを決定することに加えて、ソフトウェアアプリケーションは、非ジェスチャの相互作用に関係付けられる触覚効果を出力してもよい。例えば、ソフトウェアアプリケーションは、ペーパーの移動及び折り畳みに関する摩擦又は振動効果を出力してもよい。加えて又は代わりに、ソフトウェアアプリケーションは、ジェスチャが認識されたこと及び機能が実行されるであろうことを示すために触覚効果を出力してもよい。例えば、ユーザがスワイプ動作でこの指を動かす場合、「パニング（ｐａｎｎｉｎｇ）」ジェスチャが検出されたこと及びディスプレイが地図の異なる領域等の電子文書の異なる部分にパンするように変化してもよいことを示すために触覚効果が出力されてもよい。

一部の実施形態では、ジェスチャは、非ジェスチャの相互作用と併せて使用されてもよい。例えば、ユーザがページの端を左にドラッグすると、ソフトウェアアプリケーションは、ドラッグジェスチャを検出するが、ページめくりアクションを即座に実行しない。むしろ、ソフトウェアアプリケーションは、ページとの非ジェスチャの相互作用を継続させ続けることで、ユーザが指をドラッグするときにページが折り重なるのを見ることを可能にする。しかしながら、ユーザが指を持ち上げると、ソフトウェアアプリケーションは、「ドラッグ」ジェスチャに基づいて、例えば、完全にめくられるまでペーパーの表示が折り畳まれ続けることによって、自動的にページめくりを発生させる。このような実施形態では、非ジェスチャの相互作用及び検出されたジェスチャに基づいて触覚効果が生成及び出力されてもよい。例えば、ペーパーが他のペーパーに対してスライドする又はペーパーが引き裂かれる感覚をエミュレートする触覚効果が生成されて出力されてもよい。更に、ズーム機能又はページめくり機能等の機能が実行されることを示す触覚効果が生成されて出力されてもよい。従って、ユーザは、電子文書自体のペーパーと共に、電子文書とユーザの相互作用に基づいて実行される機能を伝達する情報の双方をエミュレートする没入感のある効果を体験し得る。

触覚効果に加えて、他の効果が生成されて出力されてもよい。例えば、電子文書との相互作用は、聴覚応答と共に触感をもたらしてもよい。例えば、一実施形態では、ユーザが電子文書の一部と相互作用すると、ペーパーが他のペーパーに対してスライドすることに関連付けられる音が生成されて出力されてもよい。例えば、一実施形態では、事前に記録されたスライド効果が再生されてもよい。一部の実施形態では、複数の事前に記録された聴覚効果が記録されていてもよく、ペーパーの種類、ペーパーの厚み、ペーパーの材料等、電子文書に関係付けられるメタデータパラメータに基づいて、１つが選択されて再生されてもよい。又は、ランダムに、事前に記録された効果の全部又は一部（例えば、電子文書に関するメタデータに基づいて決定される一部）から、１つの聴覚効果が選択されて、例えば、ユーザ期間がページをめくり、一枚のペーパーを引き裂き、大きな文書に沿ってパンする度に僅かに変化する聴覚応答が提供されてもよい。一部の実施形態は事前に記録された音声を使用して聴覚フィードバックを提供し得るが、一部の実施形態は聴覚応答を動的に生成してもよい。例えば、一実施形態では、ソフトウェアアプリケーションは、ペーパー、又はペーパーの一部をモデル化することによって音声応答をシミュレートし、ペーパーの繊維又は一枚のエミュレートされたペーパーの大きな要素をモデル化するために物理モデル化合成アルゴリズムを使用すること等によって、ペーパーの震動特性をシミュレートしてもよい。

ソフトウェアアプリケーションが触覚効果又は他の効果を生成して出力した後で、方法はブロック７１４に進むが、一部の実施形態では、方法はブロック７１４に進む代わりにブロック７０６に戻ってもよい。

ブロック７１４では、ソフトウェアアプリケーションは、触覚信号を生成及び出力する。先に検討されたように、電子文書との相互作用は、電子文書の外観又はコンテンツを変更してもよい。例えば、ユーザは、文書のページに「ドッグイア」を作ってもよく、又は文書から一部をカットしてもよい。このような変更を保持するために、ソフトウェアアプリケーションは、電子文書との相互作用に関連するメタデータを生成して記憶してもよい。例えば、一実施形態では、ソフトウェアアプリケーションは、電子文書の１つ以上の部分に作られた折り目に関連するメタデータを生成して記憶してもよい。このようなメタデータは、電子文書自身の中に記憶されてもよく、又は電子文書に関係付けられるファイルに記憶されてもよい。更に、このような変更への容易なアクセスを可能にするメタデータが生成されて記憶されてもよい。例えば、折り目がメタデータとして記憶されてもよいが、電子文書のページの角を含む折り目等、「ドッグイア」の可能性がある折り目を示すために追加のメタデータが記憶されてもよい。このようなメタデータは、後になって容易に識別するために異なる変更（例えば、カット、ペースト、折り目、ドッグイア等）をソフトウェアアプリケーションの検索機能が容易に分類することを可能にしてもよい。１つ以上の相互作用に関係付けられるメタデータを生成した後で、方法はブロック７０６に戻り、決定された相互作用に基づいて文書が再表示される。

本明細書に記載の方法及びシステムは様々な機械で実行するソフトウェアに関して記載されているが、方法及びシステムは、例えば、様々な方法を特別に実行するためのＦＰＧＡ（ｆｉｅｌｄ−ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）等の特別に構成されたハードウェアとして実装されてもよい。例えば、実施形態は、デジタル電子回路で、又はコンピュータハードウェア、ファームウェア、ソフトウェア若しくはこれらの組み合わせで実装され得る。一実施形態では、装置は、１つ又は複数のプロセッサを備えてもよい。プロセッサは、プロセッサに結合されるＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）等のコンピュータ可読媒体を備える。プロセッサは、メモリに記憶されたコンピュータ実行可能プログラム命令を実行する。例えば、画像を編集するために１つ以上のコンピュータプログラムを実行する。このようなプロセッサは、マイクロプロセッサ、ＤＳＰ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、ＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ−ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）、ＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、及び状態機械を含む。このようなプロセッサは、ＰＬＣ、ＰＩＣ（ｐｒｏｇｒａｍｍａｂｌｅ ｉｎｔｅｒｒｕｐｔ ｃｏｎｔｒｏｌｌｅｒ）、ＰＬＤ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅ）、ＰＲＯＭ（ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｉｅ）、ＥＰＲＯＭ又はＥＥＰＲＯＭ（ｅｌｅｃｔｒｏｎｉｃａｌｌｙ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｉｅ）、又は他の類似の装置等のプログラム可能電子装置を更に備えてもよい。

このようなプロセッサは、媒体、例えば、プロセッサによって実行されると、プロセッサによって遂行又は支援される本明細書に記載のステップをプロセッサに実行させることが出来る命令を記憶し得るコンピュータ可読媒体を備え、又はこれと通信してもよい。コンピュータ可読媒体の実施形態は、限定されないが、プロセッサ、例えばウェブサーバのプロセッサにコンピュータ可読命令を提供することが出来る電子、光学、磁気又は他の記憶装置を備えてもよい。媒体の他の例は、限定されないが、フロッピー（登録商標）ディスク、ＣＤ−ＲＯＭ、磁気ディスク、メモリチップ、ＲＯＭ、ＲＡＭ、ＡＳＩＣ、構成プロセッサ、全ての光学媒体、全ての磁気テープ若しくは他の磁気媒体、又はコンピュータプロセッサが読み取り可能な任意の他の媒体を含む。記載されたプロセッサ及び処理は、１つ以上の構造内にあってもよく、１つ以上の構造を通じて分散されてもよい。プロセッサは、本明細書に記載の１つ以上の方法（又は方法の一部）を実行するためのコードを備えてもよい。

本発明の一部の実施形態の上記の説明は、例示及び説明のためにのみ示されているのであって、網羅的であること又は開示された厳密な形態に本発明を限定することは意図されていない。その多くの修正及び適合が、本発明の精神及び範囲から逸脱することなく当業者には明らかであろう。

本明細書における「一実施形態」又は「ある実施形態」への言及は、特定の機能、構造、操作、又は実施形態と関連して記載される他の特徴が本発明の少なくとも１つの実装に含まれ得ることを意味する。本発明は、このように記載された特定の実施形態に制限されない。明細書の様々な場所における「一実施形態において」又は「ある実施形態において」という句の出現は、必ずしも同じ実施形態への言及ではない。任意の特定の機能、構造、操作、又は「一実施形態」に関連する本明細書に記載の他の特徴は、他の機能、構造、操作、又は任意の他の実施形態に関して記載された他の特徴と結合されてもよい。

Claims (24)

1. 電子文書を受信するステップと、
   前記電子文書に関係付けられるメタデータを受信するステップであって、前記メタデータはペーパーの種類を示す特徴を含むステップと、
   少なくとも前記文書の一部を表示させるように構成される表示信号を生成及び送信するステップと、
   前記ペーパーの種類に基づいて触覚信号を生成及び送信するステップであって、前記触覚信号は触覚出力装置に触覚効果を生成させるように構成されるステップと
   を含む、方法。
2. タッチセンサ式入力装置との相互作用に基づく接触データを受信するステップであって、前記接触データは前記文書の一部に関係付けられるステップと、
   前記接触データに基づいてジェスチャを決定するステップと、
   前記ジェスチャに基づいて前記文書の一部の変形を決定するステップと、
   前記変形を含む前記文書の一部を表示させるように構成される第２の表示信号を生成及び送信するステップと、
   前記ペーパーの種類及び前記変形に基づいて第２の触覚信号を生成及び送信するステップであって、前記第２の触覚信号は触覚出力装置に第２の触覚効果を生成させるように構成され、前記第２の触覚効果は前記変形を示すように構成されるステップと
   を更に含む、請求項１に記載の方法。
3. 前記ジェスチャはページめくりのジェスチャ又は複数ページめくりのジェスチャを含み、前記変形は前記ジェスチャ及び前記メタデータに基づき、前記第２の触覚効果はテクスチャ又は摩擦の変化を含む、請求項２に記載の方法。
4. 前記接触データは圧力データを含み、前記摩擦の変化は前記圧力データに基づく、請求項３に記載の方法。
5. 前記ジェスチャ及び前記メタデータに基づいて聴覚信号を生成及び送信するステップを更に含む、請求項３に記載の方法。
6. 前記電子文書は複数のページを含み、前記複数ページめくりのジェスチャは擦るジェスチャを含み、前記第２の触覚信号を送信することは、変形を含む前記擦るジェスチャによってアクセスされる前記電子文書の各ページに対して前記第２の触覚信号を送信することを含む、請求項３に記載の方法。
7. 前記ジェスチャを決定するステップは前記メタデータに更に基づく、請求項３に記載の方法。
8. 前記ジェスチャは折り畳みジェスチャを含み、前記変形は前記文書の一部の折り畳みを含み、前記第２の触覚効果はテクスチャ又は摩擦の変化を含む、請求項２に記載の方法。
9. 前記折り畳みの変形は、前記ジェスチャ及び前記メタデータに基づいて前記折り畳みのサイズ及び形状をシミュレートするように構成される、請求項８に記載の方法。
10. 前記ジェスチャはカットのジェスチャを含み、前記変形は前記文書の一部のカットすることを含み、前記第２の触覚効果は振動を含む、請求項２に記載の方法。
11. 前記メタデータは、粗さの特徴、色彩の特徴、重量の特徴、経年の特徴、脆さの特徴、又は適合性の特徴の少なくとも１つを更に含む、請求項１に記載の方法。
12. プロセッサに方法を実行させるためのプログラムコードを含むコンピュータ可読媒体であって、前記プログラムコードは、
    電子文書を受信するためのプログラムコードと、
    前記電子文書に関係付けられるメタデータを受信するためのプログラムコードであって、前記メタデータはペーパーの種類を示す特徴を含むプログラムコードと、
    少なくとも前記文書の一部を表示させるように構成される表示信号を生成及び送信するためのプログラムコードと、
    前記ペーパーの種類に基づいて触覚信号を生成及び送信するためのプログラムコードであって、前記触覚信号は触覚出力装置に触覚効果を生成させるように構成されるプログラムコードと
    を含む、コンピュータ可読媒体。
13. タッチセンサ式入力装置との相互作用に基づく接触データを受信するためのプログラムコードであって、前記接触データは前記文書の一部に関係付けられるプログラムコードと、
    前記接触データに基づいてジェスチャを決定するためのプログラムコードと、
    前記ジェスチャに基づいて前記文書の一部の変形を決定するためのプログラムコードと、
    前記変形を含む前記文書の一部を表示させるように構成される第２の表示信号を生成及び送信するためのプログラムコードと、
    前記ペーパーの種類及び前記変形に基づいて第２の触覚信号を生成及び送信するためのプログラムコードであって、前記第２の触覚信号は触覚出力装置に第２の触覚効果を生成させるように構成され、前記第２の触覚効果は前記変形を示すように構成されるプログラムコードと
    を更に含む、請求項１２に記載のコンピュータ可読媒体。
14. 前記ジェスチャはページめくりのジェスチャ又は複数ページめくりのジェスチャを含み、前記変形は前記ジェスチャ及び前記メタデータに基づき、前記第１３の触覚効果はテクスチャ又は摩擦の変化を含む、請求項１３に記載のコンピュータ可読媒体。
15. 前記接触データは圧力データを含み、前記摩擦の変化は前記圧力データに基づく、請求項１４に記載のコンピュータ可読媒体。
16. 前記ジェスチャ及び前記メタデータに基づいて聴覚信号を生成及び送信するためのプログラムコードを更に含む、請求項１４に記載のコンピュータ可読媒体。
17. 前記電子文書は複数のページを含み、前記複数ページめくりのジェスチャは擦るジェスチャを含み、前記第２の触覚信号を送信するためのプログラムコードは、変形を含む前記擦るジェスチャによってアクセスされる前記電子文書の各ページに対して前記第２の触覚信号を送信するためのプログラムコードを含む、請求項１４に記載のコンピュータ可読媒体。
18. 前記ジェスチャを決定するためのプログラムコードは前記メタデータに更に基づく、請求項１４に記載のコンピュータ可読媒体。
19. 前記ジェスチャは折り畳みジェスチャを含み、前記変形は前記文書の一部の折り畳みを含み、前記第２の触覚効果はテクスチャ又は摩擦の変化を含む、請求項１３に記載のコンピュータ可読媒体。
20. 前記折り畳みの変形は、前記ジェスチャ及び前記メタデータに基づいて前記折り畳みのサイズ及び形状をシミュレートするように構成される、請求項１９に記載のコンピュータ可読媒体。
21. 前記ジェスチャはカットのジェスチャを含み、前記変形は前記文書の一部のカットすることを含み、前記第２の触覚効果は振動を含む、請求項１３に記載のコンピュータ可読媒体。
22. 前記メタデータは、粗さの特徴、色彩の特徴、重量の特徴、経年の特徴、脆さの特徴、又は適合性の特徴の少なくとも１つを更に含む、請求項１２に記載のコンピュータ可読媒体。
23. コンピュータ可読媒体と、
    タッチセンサ式入力装置と、
    ディスプレイと、
    前記コンピュータ可読媒体、前記タッチセンサ式入力装置、及び前記ディスプレイと通信するプロセッサであって、
    電子文書を受信すること、
    前記電子文書に関係付けられるメタデータを受信することであって、前記メタデータはペーパーの種類を示す特徴を含むこと、
    少なくとも前記文書の一部を表示させるように構成される表示信号を生成及び送信すること、及び
    前記ペーパーの種類に基づいて触覚信号を生成及び送信することであって、前記触覚信号は触覚出力装置に触覚効果を生成させるように構成されること
    を行うように構成されるプロセッサと
    を備える、システム。
24. 前記プロセッサは、
    タッチセンサ式入力装置との相互作用に基づく接触データを受信することであって、前記接触データは前記文書の一部に関係付けられること、
    前記接触データに基づいてジェスチャを決定すること、
    前記ジェスチャに基づいて前記文書の一部の変形を決定すること、
    前記変形を含む前記文書の一部を表示させるように構成される第２の表示信号を生成及び送信すること、及び
    前記ペーパーの種類及び前記変形に基づいて第２の触覚信号を生成及び送信することであって、前記第２の触覚信号は触覚出力装置に第２の触覚効果を生成させるように構成され、前記第２の触覚効果は前記変形を示すように構成されること
    を行うように更に構成される、請求項２３に記載のシステム。