JP2019192268A - 近接感知による触覚的効果 - Google Patents

Abstract

【課題】近接感知を用いる触覚フィードバックシステムを提供する。【解決手段】本発明における装置において触覚的効果を生成する方法は、該装置の入力領域近傍における、物体の存在を検出することと、該存在検出に応答して、該装置において触覚的効果を生成することを含み、物体が該入力領域に触れる概算時間を判断することと、物体が該入力領域に触れるのとほぼ同時に該触覚的効果が実行されるように、該触覚的効果を生成するを含む。【選択図】図２

Description

本発明の一実施形態は、触覚フィードバックシステムに関する。特に、本発明の一実施形態は、近接感知を用いる触覚フィードバックシステムに関する。

電子装置の製造者は、ユーザにとって豊富なインターフェースを製造しようと努力している。従来の装置は、ユーザにフィードバックを提供するために、視覚的および聴覚的合図を用いている。いくつかのインターフェース装置において、より一般的には総括して「触覚フィードバック」として知られる、運動感覚フィードバック（素早いおよび抵抗力フィードバック等）および／またはタクタイルフィードバック（振動、触感、および熱等）もまた、ユーザに提供される。触覚フィードバックは、ユーザインターフェースを強化および単純化するきっかけを提供し得る。具体的に、振動効果または振動触覚的効果は、ユーザに特定のイベントを通知するために、電子装置のユーザへの合図を提供するのに有用であり得るか、またはシミュレートもしくは仮想環境内でより大きく感覚を集中させるために、現実的なフィードバックを提供し得る。

また、触覚フィードバックは、携帯電話機、携帯情報端末（ＰＤＡ）、携帯ゲーム機、および様々な他の携帯電子装置等の携帯電子装置に、増大的に組み込まれてきた。例えば、触覚フィードバックを提供するように構成される、より大きな規模のゲームシステムで使用される制御装置（例えば、ジョイスティック等）と同様の方法で、振動することが可能な携帯ゲームアプリケーションもある。さらに、携帯電話機およびＰＤＡ等の装置は、振動によりユーザに様々な通知を提供することが可能である。例えば、携帯電話機は、振動によりユーザに着信を通知することができる。同様に、ＰＤＡは、ユーザに予定されている予定事項を通知するか、またはユーザに行動一覧事項もしくは予定されている約束事項の注意を喚起することができる。

徐々に、携帯装置は、タッチパネルのみのインターフェースにとって有利になり、物理的なボタンから脱却しつつある。この移行は、柔軟性を増加させ、パーツ点数を減少させ、および故障しやすい機械的ボタンへの依存を減少させることを可能にし、製品設計の新たな傾向に即したものである。タッチパネル入力装置を使用する場合、ボタン押圧操作の機械的確認、または他のユーザインターフェース操作を、触覚によりシミュレートすることができる。

携帯装置に関して、コストは重要な促進要因である。したがって、触覚的効果を生成するために、例えば、偏心回転質量（「ＥＲＭ」）モータまたは電磁モータ等の、単一の低コストのアクチュエータが一般的に使用される。これらのアクチュエータは、強い振幅で触覚出力を生成することができる。しかしながら、それらはまた、最大触覚出力を達成するために一定の時間（例えば、約５０ｍｓ）を必要とする。また、これらのアクチュエータは、タッチパネル装置のタッチセンサ入力を操作する場合、ユーザにフィードバックを提供するためにも使用される。例えば、ユーザが、タッチパネル上のボタンを押圧する場合、機械的ボタンを押圧する感覚を与えるために、触覚的効果が出力される。ユーザがインターフェースのボタンを選択したと同時に、触覚的効果を出力することが望ましい。しかしながら、アクチュエータを望ましい振幅に到達させるために時間がかかるため、触覚的効果は、ボタン押圧事象に遅れる。これが遅れ過ぎると、ユーザは、ボタンの押圧と触覚的効果を単一の事象として認識することはない。

上記に基づき、タッチパネルのために触覚的効果を生成するためのシステムおよび方法の改善が必要とされている。

一実施形態は、装置上の触覚的効果を生成する方法である。該方法は、装置の入力領域近傍における、物体の存在を検出することと、存在検出に応答して、装置における触覚的効果を生成することを含む。

一実施形態による携帯電話機のブロック図である。 一実施形態によるユーザのタッチパネルへの近接に応答して触覚的効果を生成する際に、電話機が果たす機能のフロー図である。 一実施形態によるユーザのタッチパネルへの近接に応答して触覚的効果を生成する際に、電話機が果たす機能のフロー図である。

一実施形態は、近接感知による触覚フィードバックシステムを含む、携帯装置である。触覚システムは、近接情報に基づき、ユーザがタッチパネルまたは他の入力領域に実際に触れる前に、触覚フィードバックを開始する。

図１は、一実施形態による携帯電話機１０のブロック図である。電話機１０は、スクリーン１１と、「キー」を含み、メニュー等を含む他のタイプのユーザインターフェースを含み得る入力領域であるタッチパネル１３とを含む。他の実施形態において、電話機１０のキーは、機械的タイプキーであり得る。電話機１０の内部には、電話機１０において振動を生成する触覚フィードバックシステムがある。一実施形態においては、電話機１０全体に振動が生成される。他の実施形態において、タッチパネル１３全体またはタッチパネル１３の個々のキーを含む、電話機１０の特定部分は、触覚フィードバックシステムにより触覚的に作動可能とすることができる。

触覚フィードバックシステムは、プロセッサ１２を含む。プロセッサ１２には、メモリ２０と、振動アクチュエータ１８に連結されるアクチュエータ駆動回路１６とが連結される。図１の実施形態は携帯電話機であるが、実施形態は、任意のタイプの送受器もしくはモバイル／携帯装置、または振動を生成するためにアクチュエータを使用するいかなる装置にも実装され得る。例えば、他の実施形態は、タッチパネルを含まない場合があるが、他のタイプの入力領域を有する触覚装置である。タッチパネル以外の他の入力領域は、ミニジョイスティック、スクロールホイール、リモコンスティックとしてのＤパッド、キーボード、タッチセンサ面等であり得る。携帯電話機のように、これらの装置に対しても、触覚的効果が入力領域および／または装置全体に生成されることが望ましい。

プロセッサ１２は、任意のタイプの汎用プロセッサであり得るか、または特定用途向け集積回路（「ＡＳＩＣ」）等の、触覚的効果を提供するように特別に設計されたプロセッサであり得る。プロセッサ１２は、電話機１０全体を操作するプロセッサと同一であってもよいし、または別々のプロセッサであってもよい。プロセッサ１２は、高レベルパラメータに基づき、どのような触覚的効果を奏するようにさせるか、および、触覚的効果が奏される順番を決定し得る。一般に、特定の触覚的効果を定義する高レベルパラメータは、振幅、周波数、および持続時間を含む。また、ストリーミングモータコマンド等の低レベルパラメータも、特定の触覚的効果を決定するために使用され得る。

プロセッサ１２は、駆動回路１６に制御信号を出力し、該駆動回路１６は、所望の触覚的効果をもたらすために必要とされる電流および電圧をアクチュエータ１８に供給するために使用される電子要素および回路を含む。アクチュエータ１８は、電話機１０において振動を生成する触覚装置である。アクチュエータ１８は、電話機１０のユーザに振動触覚力を（例えば、電話機１０のハウジングを介して）印加することが可能な、１つ以上の力印加機構を含み得る。メモリ装置２０は、ランダムアクセスメモリ（「ＲＡＭ」）またはリードオンリーメモリ（「ＲＯＭ」）等の、任意のタイプの記憶装置であり得る。メモリ２０は、プロセッサ１２によって実行される命令を記憶する。また、メモリ２０は、プロセッサ１２の内部に位置してもよいし、内部および外部メモリの任意の組み合わせであってもよい。

近接センサ１４は、プロセッサ１２に連結される。近接センサ１４は、指（またはスタイラス）が、タッチパネル１３に接触していなくても、ごく接近しているときを検出する。また、近接センサ１４は、タッチパネル１３に対する指の位置（例えば、ｘ、ｙ、ｚ）、方向、速度、および加速度、配向（例えば、ロール、ピッチ、ヨー）等も検出し得る。近接センサ１４は、指が、タッチパネル１３の上方に置かれると、プロセッサ１２に入力としてのその情報を提供する。この入力は、電話機１０に対する触覚フィードバックを生成する場合、プロセッサ１２により使用され得る。

近接センサ１４は、タッチパネル１３への指または他の物体の近接が感知されることを可能にする、いかなる技術も使用し得る。例えば、それは、容量、電場、誘導、ホール効果、リード、渦電流、磁気抵抗、光学的影、光学的可視光、光学的ＩＲ、光学的色認識、超音波、アコースティックエミッション、レーダ、熱、ソナー、導電、または抵抗等を含む、感知技術に基づくことができる。

一実施形態において、近接センサ１４は、それぞれが、タッチパネル１３の上方で感知領域を生成し、物体が感知領域を乱しまたは遮断する場合、信号を生成する、１つ以上の近接センサを含む。各感知領域は、典型的には妨害された場合、それぞれの信号を生成する。一実施形態においては、単一の感知領域が設けられていて、タッチパネル１３の表面全体をカバーしている。他の実施形態においては、単一の感知領域は、タッチパネル１３の表面の一部のみをカバーしている。他の実施形態においては、複数の感知領域が使用されてタッチパネル１３の表面全体をカバーしている。いかなる数の感知領域も使用され得る。場合によっては、追跡を行うために、感知領域はさらに、画素化した一連のノードとして分布され得る。

図２は、一実施形態による、タッチパネル１３へのユーザの近接に応答して触覚的効果を生成する際の、電話機１０により実行される機能のフロー図である。一実施形態において、図２の機能は、メモリに記憶され、プロセッサにより実行されるソフトウェアにより実行される。他の実施形態において、機能は、ハードウェア、またはハードウェアおよびソフトウェアのいかなる組み合わせによっても実行され得る。

１０２において、近接センサ１４は、電話機１０のタッチパネル１３または他の入力領域の上方における、または他の何らかの方法でその近傍における、指、スタイラス、または他の物体の存在を感知する。

１０４において、近接センサ１４は、タッチパネル１３の表面に対する指の位置、速度、および／または加速度を判断する。これにより、プロセッサ１２は、ユーザの指がタッチパネル１３に実際に接触するかどうかを判断することが可能である。例えば、近接信号が、一定の速度で増加している場合、ユーザがタッチパネル１３に接触し、ボタンを押圧する可能性は高い。

１０６において、１０４における判断に基づき、プロセッサ１２は、指がタッチパネル１３に接触すると予測される時間を計算することができる。この接触を予想して、プロセッサ１２は、実際の接触前に触覚的効果を開始するので、アクチュエータ１８により引き起こされる遅延時間を回避する。プロセッサ１２は、どれほど前もって触覚的効果を開始し、アクチュエータ１８を電気的に付勢するのかを判断するために、指の加速度およびアクチュエータ１８により必要とされる開始時間を使用してもよい。したがって、触覚的効果は、指がタッチパネル１３に実際に接触するのとほぼ同時に実行され、ボタン押圧イベントと触覚的効果のより良好な同期性をもたらす。他の実施形態において、プロセッサ１２は、１０２において指の存在のみを感知することにより、触覚的効果を開始してもよい。

携帯電話機またはＰＤＡの典型的な使用において、ユーザは、一般に、片手で装置を持ち、タッチパネル１３等のユーザインターフェースと接触するために、もう一方の手を使用する。近接感知による手持ち式の触覚装置に関して、これは、指が表面に触れていなくても、ユーザが装置を持つ手で触覚フィードバックを感知し得ることを意味する。したがって、指がタッチパネル１３に全く触れない場合も、近接性に応じて有用な触覚的効果が形成され得る。

一実施形態において、ユーザが、タッチパネル上方で指を迷わせて、表示されたボタンのグリッド上方を移動している場合において、ユーザが指を１つのボタンの上方から次のボタンの上方へと移動させると、第１の触覚的効果が奏される。第１の触覚的効果は、１つのボタンの縁部から次へボタンへと移動する感覚をシミュレートするために、短くソフトな触覚的効果とすることができる。この第１の触覚的効果は、ユーザがボタンを作動させることなく、ボタンの位置の表示をユーザに提供する。第２の触覚的効果は、ユーザがスクリーンに実際に触れ、ボタンを選択しようと行動する場合に奏される。第２の触覚的効果は、はっきりとしたボタンクリックをシミュレートする、強い触覚的効果であり得る。

図３は、一実施形態による、タッチパネル１３へのユーザの近接に応答して触覚的効果を生成する際の、電話機１０により実行される機能のフロー図である。一実施形態において、図３の機能は、メモリに記憶され、プロセッサにより実行されるソフトウェアにより実行される。他の実施形態において、機能は、ハードウェア、またはハードウェアおよびソフトウェアのいかなる組み合わせによっても実行され得る。

２０２において、近接センサ１４は、タッチパネル１３の上方における、または他の何らかの方法でその近傍における、指、スタイラス、または他の物体の存在および位置を感知する。感知された位置は、タッチパネル１３に対する指のｘおよびｙ座標を含み得る。

２０４において、タッチパネル上の機能は、指の位置に基づき決定される。例えば、タッチパネル１３上の複数ボタンのグラフィカルユーザインターフェースが表示されると、指が上方にある最も近いボタンおよびそのボタンの機能が決定される。

２０６において、プロセッサ１２は、機能および指の位置に基づき、触覚的効果を開始する。タッチパネル上の機能に応じて、異なる触覚的効果が、プロセッサ１２により生成され得る。本実施形態において、指は、タッチパネル１３に実際に触れないため、触覚的効果は、電話機１０を持っているもう一方の手により感じられる。

一実施形態において、触覚的効果は、様々なメニューナビゲーションステップに適用され得る。手持ち式の触覚デバイスを持つユーザに対して、該デバイスを持つユーザの手が触覚的効果を体験するように、触覚作用をハウジングに向けることができる。例えば、タッチパネルを使用する際、ユーザがトップレベルメニュー選択上において迷い、その選択に対してサブメニューが存在する場合において、画面表示としてプレビューサブメニューアイテムが表示される際に、ソフトなボタンクリックをシミュレートする軽い触覚的効果（第１の触覚的効果）が奏される。その特定のメニューアイテムに付随するサブメニューがない（または有効な選択肢が存在しない）場合において、例えば、一連のパルスにより生成されるブザー等の、第２の触覚的効果が生成され得る。次いで、ユーザがトップレベルメニューアイテムを選択する場合、はっきりとしたボタンクリックをシミュレートする強い触覚的効果（第３の触覚的効果）が奏される。ユーザが他のトップレベルメニューに移動することを決定する場合、新しいメニューを入力する際、第４の触覚的効果が奏される。第４の触覚的効果は、それが同様のメニューアイテムである場合、第１の触覚的効果と同一であり得る。ユーザの指が表面上方で迷っている間、すなわち、接触する前に得られるこれらの触覚的効果は、触覚装置を持っているもう一方の手に向けられる。

一実施形態において、タッチパネル領域の使用目的に応じて、異なる触覚的効果が適用され得る。例えば、ユーザの指が、携帯電話機またはＰＤＡに組み込まれたタッチパネルの上方で迷っている場合において、温度調節をしている場合または手書きメモを入力している場合と、マップ／ＧＰＳナビゲーションモードにある場合とでは、携帯電話機において異なる触覚的効果が生成され得る。

一実施形態において、携帯電話機の典型的な操作中、ユーザは、装置との多くの異なる近接関係を有し得る。例えば、携帯電話機は、ユーザの手の中、ユーザのポケットの中、またはユーザの顔のすぐ横にあり得る。これらの異なる操作条件は、ユーザに対して異なるレベルの触覚フィードバックが必要とされる。近接センサは、これらの異なる操作条件を検出するために使用され得る。また、加速度および／または方位測定値の使用を通じて、これらのユーザ条件を検出することが可能である。一旦、例えば、耳の隣に電話機を保持している等の、装置の現在の操作条件が分かると、異なる操作状態に対して広範囲な触覚のボリューム（量感）調節が行われ得る。一実施例において、ユーザは、リマインダ（合図）イベントのための特定の振動パターンセットを有し得る。ユーザが、ベルトクリップに取り付けられた電話機を有する場合、振動パターンは、リマインダイベントを知らせるために、強い触覚的効果を含み得る。ユーザが、電話機を実際に使用し、電話機をユーザの顔の隣に押し付けて持ち、ユーザが触覚的効果に対してより敏感である場合、リマインダイベントがトリガされる際、そのイベントに対して触覚の振幅を減少させることが有用となり得る。

一実施形態において、仮想ジョグダイアルのように、手まね即ちジェスチャを認識することができる。ジョグダイアルは、回転を認識し、近接アクティブ表面の上方で実行される場合、表面が触れられることなく認識され得る。また、ｘ、ｙおよび／またはｚ方向への移動も認識され得る。一実施例として、触覚的効果は、仮想ジョグホイールの使用に付随し得る。第１の触覚的効果は、ユーザにホイールの移動の進捗の表示または確認を提供するために、ジョグホイールの一定間隔で奏するように利用され得る。ユーザが、ジョグホイールが制御しているリストの最後に達する際、第２の触覚的効果が出力され得る。今日ほとんどの携帯電話機上に存在するような機械的アルファベット／数字キーパッド上で、近接感知で実行される場合でさえ、これらのジョグおよび／またはｘ、ｙ、ｚ運動は認識され得る。

開示されたいくつかの実施形態は、本明細書において具体的に説明および／または記載されている。しかしながら、当然のことながら、本発明の精神および意図する範囲から逸脱することなく、改良形態および変形形態は上記した教示により包含され、添付の特許請求の範囲内にあるものである。

Claims (26)

1. 装置において触覚的効果を生成する方法であって、
   前記装置の入力領域近傍における、物体の存在を検出するステップと、
   前記存在検出に応答して、前記装置上の触覚的効果を生成するステップと、
   を含むことを特徴とする方法。
2. 前記物体が前記入力領域に触れる概算時間を判断するステップと、
   前記物体が前記入力領域に触れるのとほぼ同時に前記触覚的効果が実行されるように、前記触覚的効果を生成するステップと、
   をさらに含むことを特徴とする請求項１に記載の方法。
3. 前記生成ステップは、前記物体が前記入力領域に触れる前に、アクチュエータを電気的に付勢するステップを含むことを特徴とする請求項２に記載の方法。
4. 前記触覚的効果は、前記入力領域上に振動を生成するステップを含むことを特徴とする請求項１に記載の方法。
5. 前記装置は、ハウジングを備え、前記触覚的効果は、前記ハウジング上に振動を生成するステップを含むことを特徴とする請求項１に記載の方法。
6. 前記装置は、携帯電話機であることを特徴とする請求項１に記載の方法。
7. 前記入力領域は、タッチセンサ面であることを特徴とする請求項１に記載の方法。
8. 前記入力領域に対する前記物体の位置を判定するステップと、
   前記位置に基づき、前記入力領域上の機能を決定するステップと、
   をさらに含み、
   前記触覚的効果を生成する前記ステップは、前記機能に基づき、前記触覚的効果の第１のタイプを選択するステップを含むことを特徴とする請求項１に記載の方法。
9. 前記触覚的効果を生成する前記ステップは、前記機能に基づき、前記触覚的効果の第２のタイプを選択するステップを含み、前記第２のタイプは、前記第１のタイプと異なることを特徴とする請求項８に記載の方法。
10. 触覚的に作動可能な装置であって、
    入力領域と、
    前記入力領域に連結される近接センサと、
    前記入力領域に連結される触覚フィードバックシステムと、
    を備えることを特徴とする装置。
11. 前記近接センサは、前記入力領域近傍における、物体の存在を検出するようにされており、前記触覚フィードバックシステムは、前記存在検出に応答して、前記装置において触覚的効果を生成するようにされていることを特徴とする請求項１０に記載の装置。
12. 前記触覚フィードバックシステムは、前記物体が前記入力領域に触れる概算時間を判定し、かつ前記物体が前記入力領域に触れるのとほぼ同時に前記触覚的効果が実行されるように前記触覚的効果を生成するようにされていることを特徴とする請求項１１に記載の装置。
13. 前記触覚フィードバックシステムは、アクチュエータを備え、前記システムは、前記物体が前記入力領域に触れる前に、前記アクチュエータが電気的に付勢されることを特徴とする請求項１２に記載の装置。
14. 前記入力領域は、タッチセンサ面を備えることを特徴とする請求項１０に記載の装置。
15. 前記タッチセンサ面は、タッチパネルであることを特徴とする請求項１４に記載の装置。
16. コンピュータにより読み取り可能な媒体であって、プロセッサにより、装置の入力領域の近傍における物体の存在を検出させ、前記存在検出に応答して、前記装置に触覚的効果を生成させるように、該プロセッサをして実行される指令が記憶されている、コンピュータにより読み取り可能な媒体。
17. 前記プロセッサはさらに、
    前記物体が入力領域に触れる概算時間を判定し、かつ前記物体が前記入力領域に触れるのとほぼ同時に前記触覚的効果が実行されるように、前記触覚的効果を生成させることを特徴とする請求項１６に記載のコンピュータにより読み取り可能な媒体。
18. 前記触覚的効果を生成させることは、前記物体が前記入力領域に触れる前に、アクチュエータを電気的に付勢させることを含むことを特徴とする請求項１７に記載のコンピュータにより読み取り可能な媒体。
19. 前記触覚的効果は、前記入力領域上に振動を生成することを含むことを特徴とする請求項１６に記載のコンピュータにより読み取り可能な媒体。
20. 前記装置はハウジングを備え、前記触覚的効果は、前記ハウジング上に振動を生成することを含むことを特徴とする請求項１６に記載のコンピュータにより読み取り可能な媒体。
21. 前記装置は、携帯電話機であることを特徴とする請求項１６に記載のコンピュータにより読み取り可能な媒体。
22. 前記入力領域は、タッチセンサ面であることを特徴とする請求項１６に記載のコンピュータにより読み取り可能な媒体。
23. 前記プロセッサは、さらに、前記入力領域に対する前記物体の位置を判定し、かつ
    前記位置に基づき入力領域上の機能を決定し、
    前記触覚的効果を生成することは、前記機能に基づいて前記触覚的効果の第１のタイプを選択することを含むことを特徴とする請求項１６に記載のコンピュータにより読み取り可能な媒体。
24. 前記触覚的効果を生成することは、前記機能に基づいて前記触覚的効果の第２のタイプを選択することを含み、前記第２のタイプは、前記第１のタイプと異なることを特徴とする請求項２３に記載のコンピュータにより読み取り可能な媒体。
25. 装置の入力領域の近傍における、物体の存在を検出するための手段と、
    前記存在検出に応答して、前記装置において触覚的効果を生成するための手段と、
    を備えることを特徴とする触覚的に作動可能な装置。
26. 前記物体が入力領域に触れる概算時間を判定するための手段と、
    前記物体が前記入力領域に触れるのとほぼ同時に前記触覚的効果が実行されるように、前記触覚的効果を生成するための手段と、
    をさらに備えることを特徴とする請求項２５に記載の触覚的に作動可能な装置。

Images