JP2015115076A - 触覚ディスプレイパラメータの光学的伝送のためのシステム及び方法 - Google Patents

Abstract

【課題】触覚ディスプレイパラメータの光学的伝送のためのシステム及び方法を提供する。
【解決手段】画像に関係付けられる画像信号を画像センサから受信するステップ３１０、３２０と、触覚信号に少なくとも部分的に基づいて触覚信号を決定するステップ３３０と、触覚信号に少なくとも部分的に基づいて触覚効果信号を生成するステップ３４０と、触覚効果信号を触覚出力装置に送信するステップ３５０とを含む。
【選択図】図３

Description

本開示は、概して、触覚ディスプレイパラメータの光学的伝送のためのシステム及び方法に関する。

タッチ可能装置はますます人気になってきている。例えば、周辺機器、アクセサリ、及び他の装置は、様々なイベントの発生の指示等の情報をユーザに提供するための触覚的感覚を提供できるように触覚出力装置を用いて構成されてもよい。例えば、このような効果は、視覚的又は聴覚的な効果を置換又は補強するために使用されてもよい。このような周辺機器は、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷｉ−Ｆｉ等の無線通信チャネルを介して触覚効果を生成するための情報を受信し得るが、時により、このような通信チャネルは、通信にレイテンシをもたらして、触覚効果を効率的及び効果的に提供するための周辺機器の能力を阻害する恐れがある。効果を生成するために使用される少なくとも一部のパラメータの光学的伝送は、触覚効果を提供するための装置の能力を改善するのに役立ち得る。

実施形態は、触覚ディスプレイパラメータの光学的伝送のためのシステム及び方法を提供する。例えば、１つの開示された方法は、画像に関係付けられる画像信号を画像センサから受信するステップと、触覚信号に少なくとも部分的に基づいて触覚信号を決定するステップと、触覚信号に少なくとも部分的に基づいて触覚効果信号を生成するステップと、触覚効果信号を触覚出力装置に送信するステップとを含む。別の実施形態では、コンピュータ可読媒体が、このような方法を実装するためのプログラムコードを含む。

一実施形態では、装置が、画像に関係付けられる画像信号を生成するように構成される画像センサと、触覚信号を受信して触覚効果信号に少なくとも部分的に基づいて触覚効果を生成するように構成される触覚出力装置と、画像センサ及び触覚出力装置と通信するプロセッサとを備える。このような装置において、プロセッサは、画像信号に少なくとも部分的に基づいて触覚信号を決定し、触覚信号に少なくとも部分的に基づいて触覚効果信号を生成し、触覚効果信号を触覚出力装置に送信するように構成される。

こうした例示の実施形態は、本発明を限定又は定義するために言及されるのではなく、その理解を支援するための例示を提供するものである。例示の実施形態が、詳細な説明において検討されており、そこには本発明の更なる説明が提供されている。本発明の様々な実施形態によってもたらされる利点は、本明細書を吟味することにより更に理解され得る。

本明細書に組み込まれてその一部を構成する添付の図面は、１つ以上の例示的な実施形態を示しており、例示的な実施形態の説明と共に、実施形態の原理及び実装を説明する役割を果たす。
一実施形態による触覚ディスプレイパラメータの光学的伝送のための電子装置を示す。 一実施形態による触覚ディスプレイパラメータの光学的伝送のための電子装置を示す。 一実施形態による触覚ディスプレイパラメータの光学的伝送のための方法を示すフローチャートである。 一実施形態による触覚ディスプレイパラメータの光学的伝送のための方法において色彩信号を評価するための方法を示すフローチャートである。

例示的な実施形態は、触覚ディスプレイパラメータの光学的伝送のためのシステム及び方法との関連で本明細書に記載される。当業者であれば、以下の記載は例示目的であり、如何なる限定も意図していないことを理解するであろう。他の実施形態も、本開示の利益を有する当業者に容易に示唆されるであろう。次に、添付の図面に示された例示的な実施形態の実装の詳細な参照が行われる。同じ参照記号が同じ又は同様の項目を参照するために図面及び以下の記載を通じて使用されるであろう。

明確のため、本明細書に記載の実装の定型的な特徴の全てが示されて記載されてはいない。勿論、このような実際の実装の開発において、アプリケーション及びビジネス関連の制約の遵守等の多くの実装固有の決定が開発者固有の目的を達成するために行われなければならず、こうした固有の目的は実装ごとに又は開発者ごとに変化することが理解されるであろう。

（例示的なシステム及び実施形態）
図１は、触覚ディスプレイパラメータの光学的伝送のための電子装置１００を示す。図示の実施形態では、電子装置１００はタブレットである。装置１００は、ディスプレイ１２０及びＩＲダイオード１３０が配置される筐体１１０を含む。図示の実施形態は、スタイラス１４０も含む。

図示のスタイラス１４０は、光学的ディスプレイ情報を検出及び処理してリアルタイム又はニアリアルタイムで触覚効果を生成及び再生することができる。光学的情報は、ディスプレイ表面、装置、又は他の光アレイに入射し、投影され、又はそれにより送信され得る。スタイラスにおける触覚プレイバックが、表面ディスプレイ１２０からの光学的伝送を介して開始される。例えば、小型埋め込みカメラを介して光学的情報を処理して、スタイラスに収容される触覚効果生成器を介して触覚的感覚を与えることができるスタイラス１４０、「アクティブ」スタイラスが生成され得る。専用の光学的署名がディスプレイ表面に埋め込まれて、スタイラスの場所、状態及び動きによってどのような触覚効果がスタイラスで再生されるかをアプリケーション開発者が制御することができる。このような実施形態では、エンドユーザは、容量性タッチスクリーン等のディスプレイ表面を横切るスタイラスの先端の速度、位置、傾斜等に基づいて変調され得る触覚効果をスタイラス１４０において感じるであろう。

他の多くの例示が本明細書に開示され、他の様々な変形が本開示の範囲内にある。例えば、スタイラス以外の周辺機器又はアクセサリは、画像センサを含んでおり、光学的触覚パラメータを感知することが可能であってもよい。例えば、ハンドヘルドスキャナが、スキャナのユーザに情報を与えるために本明細書に記載の方法を実装してもよい。同様に、カメラを含む携帯電話が、本明細書に記載されたような方法を実装してもよい。これらは単なる追加の例示であり、本開示の範囲を限定することを意図していない。

図示の例示は、本明細書で検討される一般的な主題を読者に紹介するために与えられる。本発明は、この例示に限定されない。以下の部分では様々な追加の非限定的な実施形態、並びに触覚効果のパラメータ変更のための装置、システム及び方法の例が記載される。

（例示的な装置）
図２は、一実施形態による触覚ディスプレイパラメータの光学的伝送のためのスタイラス１４０を示す。スタイラス１４０は、プロセッサ２１０及びプロセッサ２１０と通信するメモリ２２０を含む。また、スタイラス１４０は、通信インターフェース２３０も含む。

図２では、通信インターフェース２３０は、プロセッサ２１０と通信し、スタイラス１４０から他の構成要素又は他の装置への有線又は無線通信を提供する。例えば、通信インターフェース２３０は、スタイラス１４０と無線センサ又は無線作動装置との間の無線通信を提供してもよい。一部の実施形態では、通信インターフェース２３０は、個々の装置においてユーザが互いと相互作用することを可能にするために、別のスタイラス１４０等の１つ以上の他の装置に通信を提供してもよい。通信インターフェース２３０は、複圧式タッチセンサ式入力スタイラス１４０が別の構成要素又は装置と通信することを可能にする任意の構成要素又は構成要素の集合であり得る。例えば、通信インターフェース２３０は、ＰＣＩネットワークアダプタ、ＵＳＢネットワークアダプタ、又はＥｔｈｅｒｎｅｔ（登録商標）アダプタを含んでもよい。通信インターフェース２３０は、８０２．１１ａ、ｇ、ｂ、又はｎ標準を含む無線Ｅｔｈｅｒｎｅｔ（登録商標）を使用して通信してもよい。一実施形態では、通信インターフェース２３０は、無線周波数（ＲＦ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＣＤＭＡ、ＴＤＭＡ、ＦＤＭＡ、ＧＳＭ（登録商標）、ＷｉＦｉ、衛星又は他のセルラ若しくは無線技術を使用して通信できる。他の実施形態では、通信インターフェース２３０は、有線接続を介して通信してもよく、Ｅｔｈｅｒｎｅｔ（登録商標）、トークンリング、ＵＳＢ、ＦｉｒｅＷｉｒｅ１３９４、光ファイバ等の１つ以上のネットワークと通信してもよい。一部の実施形態では、スタイラス１４０は、単一の通信インターフェース２３０を備える。他の実施形態では、スタイラス１４０は、２つ、３つ又は４つ以上の通信インターフェースを備える。従って、実施形態では、スタイラス１４０は、１つ以上の通信インターフェースを介して１つ以上の構成要素及び／又は装置と通信することができる。他の実施形態では、スタイラス１４０は、通信インターフェース２３０を含まなくてもよい。

また、図１に示されたスタイラス１４０は、１つ以上の触覚効果を出力できる任意の構成要素又は一群の構成要素であり得る触覚出力装置２４０も含む。例えば、触覚出力装置は、限定されないが、偏心回転質量（ＥＲＭ）アクチュエータ、線形共振アクチュエータ（ＬＲＡ）、圧電性アクチュエータ、音声コイルアクチュエータ、電気活性ポリマ（ＥＡＰ）アクチュエータ、形状記憶合金、ページャ、ＤＣモータ、ＡＣモータ、可動磁石アクチュエータ、Ｅコアアクチュエータ、スマートゲル、静電アクチュエータ、電気触覚アクチュエータ、変形可能表面、静電摩擦（ＥＳＦ）装置、超音波摩擦（ＵＳＦ）装置、又は表面温度を変化させる熱アクチュエータ、又は触覚出力装置の機能を実行する若しくは触覚効果を出力ことができる任意の他の触覚出力装置若しくは構成要素の集合を含む様々な種類の１つであり得る。複数の触覚出力装置又は異なる大きさの触覚出力装置が、所定範囲の振動周波数を提供するために使用されてもよく、個々に又は同時に作動されてもよい。様々な実施形態が、単一又は複数の触覚出力装置を含んでもよく、同じ種類の又は異なる種類の触覚出力装置の組み合わせを有してもよい。一部の実施形態では、１つ以上の触覚出力装置は、有線又は無線通信等の電子装置と直接又は間接的に通信する。一実施形態では、電子装置は車内に配置され又は車両に統合され得る。また、１つ以上の触覚出力装置が車両に組み込まれる。例えば、スタイラス１４０は、車両のダッシュボードに搭載されるディスプレイスクリーンと相互作用するために使用されてもよい。一部の実施形態では、触覚出力装置２４０を有する代わりに、又は触覚出力装置２４０を有することに加えて、スタイラス１４０は１つ以上の他の出力装置を有する。例えば、スタイラス１４０は、スピーカ及び／又は小型ディスプレイを有してもよい。一実施形態では、スタイラス１４０は、１つ以上の触覚出力装置、１つ以上のスピーカ、及び１つ以上のディスプレイを有する。他の多くの例示が本明細書に開示され、他の様々な変形が本開示の範囲内にある。

様々な実施形態では、１つ以上の触覚効果が、様々な手法で又は手法の組み合わせで生成されてもよい。例えば、一実施形態では、偏心質量を回転させることにより又は質量を線形的に振動させること等により、１つ以上の振動が触覚効果を生成するために使用されてもよい。一部のこうした実施形態では、触覚効果は、電子装置全体に又は電子装置の表面のみ若しくは限定された部分に振動を与えるように構成されてもよい。別の実施形態では、２つ以上の構成要素間の摩擦又は少なくとも１つの構成要素と少なくとも１つの接触との間の摩擦が、構成要素の動きに抵抗を与え又はトルク等を与えるために、移動する構成要素にブレーキを加えること等によって、触覚効果を生成するために使用されてもよい。振動効果を生成するために、多くの装置が何らかの種類のアクチュエータ及び／又は他の触覚出力装置を利用する。このために使用される既知の触覚出力装置は、偏心質量がモータによって動かされるＥＲＭ（Ｅｃｃｅｎｔｒｉｃ Ｒｏｔａｔｉｎｇ Ｍａｓｓ）、バネに取り付けられた質量が前後に駆動されるＬＲＡ（Ｌｉｎｅａｒ Ｒｅｓｏｎａｎｔ Ａｃｔｕａｔｏｒ）、又は圧電性物質、電気活性ポリマ若しくは形状記憶合金等の「スマート材料」を含む。

他の実施形態では、触覚効果を生成するために、１つ以上の構成要素の変形が使用され得る。例えば、表面の形状又は表面の摩擦係数を変えるために、１つ以上の触覚効果が出力されてもよい。一実施形態では、表面の摩擦を変更するために使用される静電力及び／又は超音波力を生成することによって、１つ以上の触覚効果が生成される。他の実施形態では、触覚効果を生成するために、スマートゲルを含む１つ以上の領域等の透明変形要素の配列が使用されてもよい。また、触覚出力装置は、静電摩擦（ｅｌｅｃｔｒｏｓｔａｔｉｃ ｆｒｉｃｔｉｏｎ；ＥＳＦ）、超音波表面摩擦（ｕｌｔｒａｓｏｎｉｃ ｓｕｒｆａｃｅ、ＵＳＦ）、又は超音波触覚トランスデューサによる音響放射圧を含むもの、又は触覚基板及び可撓性若しくは変形可能表面を使用するもの、又は空気ジェットを使用する空気の吹き出し等の投射触覚出力を提供するものを広く含む。一部の実施形態では、触覚効果は運動感覚効果である。米国特許出願第１３／０９２，４８４号は、１つ以上の触覚効果が生成され得るやり方を記載し、様々な触覚出力装置を記載する。２０１１年４月２２日に提出された米国特許出願第１３／０９２，４８４号の全体は参照により本明細書に組み込まれる。

また、図２では、スタイラス１４０は、スタイラス１４０、電子装置、及び／又は表面の移動又はこれらとの相互作用を検出するためのセンサ２５０も含む。センサ２５０は、プロセッサ２１０と通信して、プロセッサ２１０にセンサ情報を提供する。例えば、センサ２５０は、１つ以上の相互作用をプロセッサ２１０に提供してもよい。センサ２５０は、１つ以上の相互作用を示す入力信号を提供してもよい。別の例示として、センサ２５０は、スタイラス１４０との１つ以上の相互作用に対応する情報をプロセッサ２１０に提供することができる。実施形態では、センサ２５０がプロセッサ２１０に提供する情報は、ユーザがスタイラス１４０を振る等のスタイラス１４０全体との相互作用に対応する。他の実施形態では、センサ２５０がプロセッサ２１０に提供する情報は、スタイラス１４０の先端等のスタイラス１４０の一部との相互作用に対応する。

センサ２５０は、１つ以上の様々な状態を検出するために利用されてもよい。例えば、一実施形態では、加速度計、ジャイロスコープ又はコンパス等のセンサがペンの傾斜を検出することができる。別の実施形態では、センサは、ユーザの書く速度を測定することができる加速度計を含む。別の実施形態は、ユーザの書く速度を検出するためにセンサ２５０の代わりに又は加えてカメラ２６０を使用する。更に別の実施形態では、センサ２５０は、例えば、スタイラス１４０の表面における圧力センサを用いてスタイラス１４０に対するユーザのグリップの圧力を検出する。更に別の実施形態では、センサ２５０は、ペンの先端における圧力センサを用いて書き込み表面に対してユーザによって加えられる圧力を検出する。

本発明の一実施形態では、センサ２５０は、ユーザの気分（例えば、リラックス又は興奮）を検出又は測定するためにペンに搭載され得る１つ以上の生体センサを含む。生体センサからの入力は、触覚効果を変化させるために使用され得る。例えば、触覚フィードバックは、ユーザが興奮していると決定される場合、周波数及び／又は振幅を増加させること等によって、強化されてもよい。

図２に示された実施形態は、単一のセンサ２５０を描いている。一部の実施形態では、多数のセンサが使用され得る。更に、センサは、スタイラス１４０の他の構成要素と同じ構成要素の中に又は別の構成要素の中に収容されてもよい。例えば、一部の実施形態では、プロセッサ２１０、メモリ２２０、及びセンサ２５０は、スタイラス１４０に全て含まれる。一部の実施形態では、センサは、ユーザが握るスタイラス１４０の部分とは別の構成要素に配置される。例えば、装着可能センサが、プロセッサ２１０と通信して、スタイラスに関する情報を提供してもよい。

センサ２５０は、任意の数及び／又は種類の感知要素を含んでもよい。例えば、センサ２５０は、加速度計及び／又はジャイロスコープを含み得る。センサ及び相互作用の例示の非限定的なリストが以下に示される。

また、図２に示されるスタイラス１４０は、カメラ２６０も含む。カメラ２６０は、書き込み表面、例えば、図１に示されたような一緒に配置されたビジュアルディスプレイ（ホスト装置）を有するタッチスクリーンセンサ式装置を「見る」ために使用される。スタイラス１４０のペン先は、ユーザが容量性センサ式タッチスクリーン上でペンを握ると容量性タッチスクリーンをアクティブ化できる導電性材料を含んでもよい。様々な実施形態において、スタイラス１４０は、既定のパターンが表示又は印刷される様々な表面で使用され得る（例えば、紙、壁、及びテーブル）。スタイラス１４０は、カメラ２６０及び対応するソフトウェア及び／又はファームウェアでこうしたパターンを認識して、カメラ２６０によって認識された表面の光学的パターンに基づいて触覚効果を生成することができる。

一実施形態では、カメラ２６０は書き込み表面を見るために用いられてもよく、これは一緒に配置されたビジュアルディスプレイを有するタッチセンサ式装置であってもよい。このような実施形態におけるペン先は、ユーザが容量性センサ式タッチスクリーン上でペンを握ると容量性タッチスクリーンをアクティブ化するために導電性材料で作られ得る。既定のパターン（例えば、紙、壁、及びテーブル）を有する他の表面で同じペンが使用され、カメラ２６０によって認識され得る表面の光学パターンに基づいて触覚効果を生成することができる。

一実施形態では、スタイラス１４０はスマートペンを含む。スマートペンは、最長で数時間、手書き及び音声を同時に記録することができるペン型装置である。このようなペンは、書き込まれ又は描画されている情報を記録するためにパターン化された紙を見渡すペン先（カートリッジ）の背後にあるカメラを備える。

当業者には明白であるが、他の多くの例示が本明細書に開示され、変形が本開示の範囲内にある。

（触覚効果のパラメータ修正の例示的な方法）
図３は、一実施形態による触覚ディスプレイパラメータの光学的伝送の方法３００に関するフローチャートを示す。図３に示される方法３００は、図１及び２に示されるスタイラス１４０に関して記載される。

方法３００は、カメラ２６０を介して第１の画像信号が受信されるとブロック３１０で開始する。例えば、スタイラス１４０が画像を通過すると、カメラ２６０は画像をキャプチャ及び処理して、プロセッサ２１０に画像信号を伝達する。

次にブロック３２０では、プロセッサ２１０は、センサ２５０からセンサ信号を受信する。例えば、センサ信号は、スタイラス１４０が動かされていることを示してもよい。

次にブロック３３０では、プロセッサ２１０は、画像信号及びセンサ信号に少なくとも部分的に基づいて触覚効果を決定する。一部の実施形態では、プロセッサ２１０は、画像信号にのみ依存する。

次にブロック３４０では、プロセッサ２１０は、触覚効果に少なくとも部分的に基づいて触覚効果信号を生成する。一部の実施形態では、触覚効果に加えて、プロセッサ２１０は、例えば、触覚効果信号を生成するときに触覚出力装置２４０の種類又は数を考慮に入れてもよい。

最後にブロック３５０では、プロセッサ２１０は、効果を出力するために触覚出力装置２４０に触覚効果信号を送信する。それから、効果は、例えば、スタイラスの振動としてユーザに感知され得る。

一実施形態では、ディスプレイ１２０を収容する装置１００がオンにされると、初期同期手順が実行される。ここでは、ディスプレイ１２０において装置１００によって提示される現在のグラフィカルユーザインターフェース（「ＧＵＩ」）の初期状態がスタイラス１４０に送信され、それによって触覚効果を生成するために必要な情報をアクティブスタイラスに準備させる。このような実施形態では、スタイラス１４０が装置１００から離れていて接続が再確立される場合、同期処理が実行される。同期は、例えば、装置１００がＧＵＩ又は特定のアプリケーションを表示しているかどうかを含んでもよい。この情報を用いて、スタイラスは、検出された光学パターンに応じてどのような種類の効果を生成すべきか又はいつディスプレイ１２０に描画しているかを決定することができる。

図４は、一実施形態による触覚ディスプレイパラメータの光学的伝送のための方法において色彩信号を評価するための方法を示すフローチャートである。図示の実施形態は、画像に使用される何らかのステガノグラフィ技術と類似している。最初に、プロセッサ２１０は、画像の色彩を評価する（４１０）。

画像の色彩は、ＲＧＢ値を含む様々な種類の情報を含む。一実施形態では、プロセッサは、ＲＧＢ値の下位２ビットを評価する（３２０）。次に、プロセッサ２１０は、ＲＧＢ値の下位２ビットに少なくとも部分的に基づいて触覚効果の振幅を決定する（４３０）。

別の実施形態では、プロセッサ２１０は、描画の色彩及び幅を利用して、再生される触覚効果の種類及び使用される振幅、又は使用される変調／テクスチャを決定する。

別の実施形態では、ディスプレイ１２０の一領域が、特別なピクセルパターン又はグリッドを含んでもよい。カメラ２６０がプロセッサ２１０に画像信号を提供すると、プロセッサ２１０は、ディスプレイ１２０のその領域における「テクスチャ」に対応する触覚効果、又はユーザがスタイラスでその領域を横切っている速度によって変調される触覚効果を生成することができる。更に別の実施形態では、１つ以上のボタンがディスプレイ１２０に表示されると、触覚情報は、アイコン／ボタンの端部に表示される色彩パターンに符号化され得る。

一部の実施形態では、装置１００は、人間の目には見えない赤外（「ＩＲ」）光が備えられてもよく、これはスタイラス１４０が装置１００にごく接近しているときにスタイラス１４０がＩＲ光を検出できるように設置される。一部の実施形態では、ＩＲ光はダイオードＬＥＤを用いて放射されるが、他の実施形態では、ビジュアルディスプレイに光生成器が埋め込まれてもよい。

このような実施形態では、装置１００は、Ｗｉ−Ｆｉ又はＢｌｕｅｔｏｏｔｈ（登録商標）等の何らかの他の手段を介するよりも、装置１００からスタイラス１４０に追加の情報を伝達することが可能であってもよい。１つのこのような実施形態では、パルス幅変調（「ＰＷＭ」）信号が、触覚効果の生成に関する情報を符号化する。１つのこのような実施形態では、触覚情報の光学的伝達を確立するための完全なプロトコルが利用される。例えば、ＰＷＭ信号は５ミリ秒の期間で１６ビット数の触覚効果の振幅及びテクスチャを示すことができ、複数の実施形態において、これは触覚情報を正確に出力するための十分に多いリフレッシュレートである。ペン内の触覚ループはより高速であることに留意されたい。一部の実施形態では、ＰＷＭを生成するために使用されるクロック及び送信される情報の量により、より複雑な情報がスタイラス１４０に送信される。

（更なる例示の実施形態）
１つの例示の実施形態では、タッチスクリーンタブレット装置１００において、ユーザが「アクティブ」スタイラス１４０を使用する。スタイラス１４０は、カメラ２６０、プロセッサ２１０及び触覚アクチュエータ２５０と共に容量性チップを含む。特別な光学的署名（エンドユーザには見えない又は知覚するのが困難なディスプレイ表面１２０内の「グリッド」又は「パターン」）が、スタイラス１４０が紙の表面に書き込んでいるとき又はメニューから書き込み道具を選択するために使用されているときを示すことができる。また、カメラ２５０はスタイラスの角度に関する位置情報を検出してもよく、この情報はそれに応じてスタイラスで再生される触覚効果を変調するために使用されるかもしれない。スタイラスが表面に触れているか又は触れていない場合に、カメラは表面上のスタイラスの速度に関する情報を検出してもよく、全てのこの情報がユーザに表示される触覚効果を変調するために使用されてもよい。様々な実施形態において、選択された書き込み器具、選択された紙の種類、及び書き込み速度によって異なる触覚効果（異なる振動周波数又は効果強度）がユーザに提供されてもよい。

別の実施形態では、スタイラス１４０を用いてタッチスクリーン装置１００上でユーザがゲームをプレーする。スタイラス１４０は、カメラ２６０、プロセッサ２１０及び触覚出力装置２４０と共に容量性チップを含む。ユーザがゲーム要素に対してディスプレイ１２０に触れると、装置のカメラ２６０は、バックグラウンドから要素を区別する光学的情報、例えば、ＲＧＢ色、明度、又はピクセル密度を検出する。スタイラス１４０は、この光学的情報を処理して、アクチュエータを介して触覚効果を伝達する。一例では、ユーザが、スタイラス１４０で泡をはじけさせて、スタイラス１４０における触覚振動効果として「ポップ」を感じることができるゲームをプレーしている。

更に別の実施形態では、一群のユーザが、グループスケッチを描いて注釈を付けるために多数のスタイラスで大きな卓上ディスプレイを操作している。卓上ディスプレイ装置は、タッチ検出のためにＦＴＩＲ（Ｆｒｕｓｔｒａｔｅｄ Ｔｏｔａｌ Ｉｎｔｅｒｎａｌ Ｒｅｆｌｅｃｔｉｏｎ）を使用する。各ユーザは、ディスプレイ表面によってもたらされる光学的情報を読み取って、ユーザの手に触覚効果を与えることが可能なスタイラスを有する。各ユーザは、同時に書き込んで、効果を独立して感じることができる。このような構成は、独立した装置の数により無線プロトコルを使用して達成するのは非常に挑戦しがいがあろう。

更なる実施形態では、ユーザが、人体のジェスチャ及び動きを検出するためにＩＲ光アレイを用いるゲームコントローラ又は家庭用娯楽システムでプレーしている。ユーザは、光アレイを検出できる光学センサを有するコントローラユニットを握ることができる。検出された遷移又は信号変調が、コントローラに異なる触覚効果を再生させることを引き起こしてもよい。システムは、装置が画面上のゲーム要素を指しているときを検出して、効果を再生することができる。例えば、ユーザは、仮想バットが仮想ベースボールと接触するときに効果を感じてもよい。

（触覚パラメータの光学的伝送の利点）
レイテンシは、送信信号を受信してユーザに触覚情報を表示するために、無線通信プロトコル（例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ−Ｆｉ、又はＮＦＣ）を使用する装置の相互作用における主要なユーザビリティの課題であり得る。例えば、タッチスクリーン移動装置でスタイラスを操作するユーザは、この装置が触覚情報を表示するためにスタイラスに無線で情報を送信する場合、ユーザビリティ及び性能に悪影響するレイテンシに遭遇する可能性がある。

触覚効果の光学的伝送を使用することの１つの利点は、触覚装置が触覚効果再生を開始するための無線通信信号に依存することなくリアルタイムで開始信号を受信できることである。また、通信プロトコルを確立するためにハンドシェイクを介して装置を「ペアリング」するユーザビリティの負担を軽減してもよい。この「ペアリング」はＢｌｕｅｔｏｏｔｈ（登録商標）又はＷｉ−Ｆｉネットワーク接続の場合に煩雑であり得る。更に、光学検出触覚装置が、サードパーティ装置として販売され、それが認識できる光学的署名を表示している任意のディスプレイ表面又は装置と共に使用され得る。

一実施形態では、アプリケーション開発者が、光学検出触覚スタイラス又は他の装置を有するユーザに強化された経験を提供するアプリケーションに特定の光学的情報を埋め込むことができる。更に、予め決定された光学的署名が、これらを読み込んで触覚効果を与えるための技術と共にアプリケーション開発者に利用可能とされ得る。

本明細書に記載の一部の装置は、ホスト装置で触覚効果を引き起こすための信号を開始することによって、現実感を生成し且つユーザビリティを向上するように触覚出力を伝達してもよい。次に、ホスト装置は、特定のソフトウェアアプリケーションに対する触覚要求を処理し、その触覚信号／情報を生成して、触覚装置に送信することで、触覚フィードバックを提供する装置に対する要求を軽減する。この処理は処理サイクル、メモリ及び時間を必要とするので、無線通信チャネルにおける限定されたスループットにより付加される制限を克服できる装置が有利であろう。更に、光学的情報として表示される、グラフィカルユーザインターフェースから直接的に触覚パラメータを読み込む触覚装置が、無線通信チャネルに固有のレイテンシを実質的にほぼ無くすことができ、ほぼ即座にユーザに感じるように触覚効果が生成されることを可能にする。

（一般事項）
本明細書に記載の方法及びシステムは様々な機械で実行するソフトウェアに関して記載されているが、方法及びシステムは、例えば、様々な方法を実行するように専用に構成されるＦＰＧＡ（ｆｉｅｌｄ−ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）等の専用に構成されたハードウェアとして実装されてもよい。例えば、実施形態は、デジタル電子回路で、又はコンピュータハードウェア、ファームウェア、ソフトウェア若しくはこれらの組み合わせで実装され得る。一実施形態では、装置は、１つ又は複数のプロセッサを備えてもよい。プロセッサは、プロセッサに結合されるＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）等のコンピュータ可読媒体を備える。プロセッサは、メモリに記憶されたコンピュータ実行可能プログラム命令を実行する。例えば、画像を編集するために１つ以上のコンピュータプログラムを実行する。このようなプロセッサは、マイクロプロセッサ、ＤＳＰ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、ＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ−ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）、ＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、及び状態機械を含む。このようなプロセッサは、ＰＬＣ、ＰＩＣ（ｐｒｏｇｒａｍｍａｂｌｅ ｉｎｔｅｒｒｕｐｔ ｃｏｎｔｒｏｌｌｅｒ）、ＰＬＤ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅ）、ＰＲＯＭ（ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ）、ＥＰＲＯＭ又はＥＥＰＲＯＭ（ｅｌｅｃｔｒｏｎｉｃａｌｌｙ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ）、又は他の類似の装置等のプログラム可能電子装置を更に備えてもよい。

このようなプロセッサは、媒体、例えば、プロセッサによって実行されると、プロセッサによって遂行又は支援される本明細書に記載のステップをプロセッサに実行させることが出来る命令を記憶し得るコンピュータ可読媒体を備え、又はこれと通信してもよい。コンピュータ可読媒体の実施形態は、限定されないが、プロセッサ、例えばウェブサーバのプロセッサにコンピュータ可読命令を提供することが出来る電子、光学、磁気又は他の記憶装置を備えてもよい。媒体の他の例は、限定されないが、フロッピー（登録商標）ディスク、ＣＤ−ＲＯＭ、磁気ディスク、メモリチップ、ＲＯＭ、ＲＡＭ、ＡＳＩＣ、構成プロセッサ、全ての光学媒体、全ての磁気テープ若しくは他の磁気媒体、又はコンピュータプロセッサが読み取り可能な任意の他の媒体を含む。記載されたプロセッサ及び処理は、１つ以上の構造内にあってもよく、１つ以上の構造を通じて分散されてもよい。プロセッサは、本明細書に記載の１つ以上の方法（又は方法の一部）を実行するためのコードを備えてもよい。

本発明の一部の実施形態の上記の説明は、例示及び説明のためにのみ示されているのであって、網羅的であること又は開示された厳密な形態に本発明を限定することは意図されていない。その多くの修正及び適合が、本発明の精神及び範囲から逸脱することなく当業者には明らかであろう。

本明細書における「一実施形態」又は「ある実施形態」への言及は、特定の機能、構造、操作、又は実施形態と関連して記載される他の特徴が本発明の少なくとも１つの実装に含まれ得ることを意味する。本発明は、このように記載された特定の実施形態に制限されない。明細書の様々な場所における「一実施形態において」又は「ある実施形態において」という句の出現は、必ずしも同じ実施形態への言及ではない。任意の特定の機能、構造、操作、又は「一実施形態」に関連する本明細書に記載の他の特徴は、他の機能、構造、操作、又は任意の他の実施形態に関して記載された他の特徴と組み合わされてもよい。

Claims (21)

1. 画像に関係付けられる画像信号を画像センサから受信するステップと、
   前記画像信号に少なくとも部分的に基づいて触覚信号を決定するステップと、
   前記触覚信号に少なくとも部分的に基づいて触覚効果信号を生成するステップと、
   前記触覚効果信号を触覚出力装置に送信するステップと
   を含む、方法。
2. 前記触覚信号を決定するステップは、前記画像の色彩を評価することを含む、請求項１に記載の方法。
3. 前記触覚信号を決定するステップは、前記触覚効果の振幅を決定するために各ＲＧＢ値の下位２ビットを評価することを含む、請求項２に記載の方法。
4. 前記触覚効果を決定するステップは、描画の幅を決定することを含む、請求項１に記載の方法。
5. 前記触覚効果を決定するステップは、描画の幅を決定することを含む、請求項１に記載の方法。
6. 前記触覚効果を決定するステップは、前記触覚効果の基づく１つ以上の振幅、変調、又はテクスチャを決定することを含む、請求項１に記載の方法。
7. センサからセンサ信号を受信するステップを更に含み、前記触覚効果を決定するステップは、前記センサ信号に少なくとも部分的に基づいて前記触覚効果を決定することを含む、請求項１に記載の方法。
8. 前記センサは、加速度計、ジャイロスコープ、コンパス、バイオセンサ、又は圧力センサの１つを含む、請求項７に記載の方法。
9. 前記センサ信号は、ユーザの書く速度に関係付けられる、請求項７に記載の方法。
10. 前記センサ信号は、ユーザによって前記センサに加えられる圧力に関係付けられる、請求項７に記載の方法。
11. 前記センサ信号は、前記画像に加えられる圧力に関係付けられる、請求項７に記載の方法。
12. 前記画像センサ及び触覚出力装置はスタイラスの中に含まれる、請求項１に記載の方法。
13. 前記触覚出力装置は、振動触覚アクチュエータ、変形アクチュエータ、又は熱アクチュエータの１つ以上を含む、請求項１に記載の方法。
14. 画像に関係付けられる画像信号を画像センサから受信し、
    前記画像信号に少なくとも部分的に基づいて触覚信号を決定し、
    前記触覚信号に少なくとも部分的に基づいて触覚効果信号を生成し、且つ
    前記触覚効果信号を触覚出力装置に送信する
    ための実行可能プログラムコードを含む、一時的でないコンピュータ可読媒体。
15. 前記触覚信号を決定するためのプログラムコードは、前記画像の色彩を評価することを含む、請求項１４に記載のコンピュータ可読媒体。
16. 画像に関係付けられる画像信号を生成するように構成される画像センサと、
    触覚効果信号を受信して、前記触覚効果信号に少なくとも部分的に基づいて触覚効果を生成するように構成される触覚出力装置と、
    前記画像センサ及び前記触覚出力装置と通信するプロセッサであって、
    前記画像信号に少なくとも部分的に基づいて触覚信号を決定し、
    前記触覚信号に少なくとも部分的に基づいて触覚効果信号を生成し、且つ
    前記触覚効果信号を前記触覚出力装置に送信する
    ように構成されるプロセッサと
    を備える、入力装置。
17. 発光素子からの光を検出するための受信器を更に備える、請求項１６に記載の入力装置。
18. 前記発光素子は、ＩＲエミッタを含む、請求項１７に記載の入力装置。
19. センサを更に備え、前記センサは、加速度計、ジャイロスコープ、コンパス、バイオセンサ、又は圧力センサの１つを含む、請求項１６に記載の入力装置。
20. 前記触覚出力装置は、振動触覚アクチュエータ、変形アクチュエータ、又は熱アクチュエータの１つ以上を含む、請求項１６に記載の入力装置。
21. 前記入力装置は、スタイラスを含む、請求項１６に記載の入力装置。

Images