JP2016504683A - ユーザ・インタフェースおよび関連する方法 - Google Patents

ユーザ・インタフェースおよび関連する方法 Download PDF

Info

Publication number
JP2016504683A
JP2016504683A JP2015548415A JP2015548415A JP2016504683A JP 2016504683 A JP2016504683 A JP 2016504683A JP 2015548415 A JP2015548415 A JP 2015548415A JP 2015548415 A JP2015548415 A JP 2015548415A JP 2016504683 A JP2016504683 A JP 2016504683A
Authority
JP
Japan
Prior art keywords
user interface
haptic feedback
interface elements
differential
spatial interaction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015548415A
Other languages
English (en)
Other versions
JP6046833B2 (ja
Inventor
ビヒトリ キュッロネン ヤンネ
ビヒトリ キュッロネン ヤンネ
コリー アシュリー
コリー アシュリー
Original Assignee
ノキア テクノロジーズ オサケユイチア
ノキア テクノロジーズ オサケユイチア
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ノキア テクノロジーズ オサケユイチア, ノキア テクノロジーズ オサケユイチア filed Critical ノキア テクノロジーズ オサケユイチア
Publication of JP2016504683A publication Critical patent/JP2016504683A/ja
Application granted granted Critical
Publication of JP6046833B2 publication Critical patent/JP6046833B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00Tactile signalling systems, e.g. personal calling systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/014Force feedback applied to GUI

Abstract

【課題】ユーザ・インタフェースおよびユーザ・インタフェース要素に関連する方法、コンピュータ・プログラム、ならびに、装置。【解決手段】少なくとも1つのプロセッサと、コンピュータ・プログラム・コードを含む少なくとも1つのメモリとを備える装置であって、前記少なくとも1つのメモリと、前記プログラム・コードとは、前記少なくとも1つのプロセッサにより、前記装置に、少なくとも、グラフィカル・ユーザ・インタフェースの複数のユーザ・インタフェース要素の間での特定の空間インタラクションに基づいて、差動的触覚フィードバックの供給を可能にすることを実行させるように構成される、装置。【選択図】図4c

Description

本願開示は、ユーザ・インタフェースおよびユーザ・インタフェース要素に関連する方法、コンピュータ・プログラム、ならびに、装置に関するものである。ある開示された態様/実施形態は、ポータブル電子デバイス、特に、(使用中にクレードルに置くことができるが)使用においてハンドヘルドでありえる、いわゆる、ハンド・ポータブル電子デバイスに関するものである。そのようなハンド・ポータブル電子デバイスは、いわゆるパーソナル携帯情報機器(PDA)、自動車電話、スマートフォンおよび他のスマート・デバイス、そして、タブレットPCを含む。
1つ以上の開示された態様/実施形態にしたがう携帯用電子デバイス/装置は、1つ以上のオーディオ/テキスト/ビデオ通信機能(例えば、遠隔通信、ビデオ通信、および/または、テキスト伝送(ショート・メッセージ・サービス(SMS)/マルチメディア・メッセージ・サービス(MMS)/eメール)機能))、インタラクティブ/非インタラクティブ視聴機能(例えば、ウェブ・ブラウジング、ナビゲーション、テレビ/プログラム視聴機能)、音楽録音/再生機能(例えば、MP3または他フォーマットや、(FM/AM)ラジオ放送録音/再生)、データ・ダウンロード/送信機能、(例えば、(ビルトインなど)デジタル・カメラを用いた)画像キャプチャー機能、および、ゲーム機能を提供することができる。
電子デバイスが、ユーザ・インタフェース(例えば、グラフィカル・ユーザ・インタフェースなど)を提供することは、一般的である。ユーザ・インタフェースは、例えば、アプリケーション・アイコンを用いてアプリケーションを開くために、メニューからメニュー項目を選択するコマンドを入力する、あるいは,仮想キーパッドを用いて文字を入力するなど、ユーザが、電子デバイスとインタラクトすることを可能にすることができる。
先行文献のリストあるいは議論、または、本願明細書の背景技術のいかなるものも、必ずしも、その文献または背景技術が、技術水準の一部である、あるいは、普通の一般知識であることの承認であるとして解釈されてはならない。本願開示の1つ以上の態様/実施形態は、背景技術の問題の1つ以上について触れることできるし、触れないこともできる。
第1の態様において、装置が提供される。この装置は、少なくとも1つのプロセッサと、コンピュータ・プログラム・コードを含む少なくとも1つのメモリとを備える。この少なくとも1つのメモリと、そして、このコンピュータ・プログラム・コードは、少なくとも1つのプロセッサにより、この装置に、少なくとも、グラフィカル・ユーザ・インタフェースの複数のユーザ・インタフェース要素の間での特定の空間インタラクションに基づいて、差動的触覚フィードバックの供給を可能にすることを実行させるように構成される。
そのような差動的触覚フィードバックは、ユーザが、タッチの感覚を用いて、複数のユーザ・インタフェース要素の間での空間インタラクションを認識/検査することを可能にする。これは、(例えば、全体、または、部分的に、ユーザの指/スタイラスにより、あるいは,ユーザ・インタフェース要素自体の1つ以上によるなど)空間インタラクションが隠されているときに、特に役に立つことができる。これは、差動的触覚フィードバックを提供するために、適切な信号伝達の供給によって可能にすることができることが理解される。このインタラクションは、2Dまたは3D平面のうちの1つ以上であることができる。
前記差動的触覚フィードバックが、複数のユーザ・インタフェース要素が、空間的にインタラクトしているとき、提供された追加的触覚フィードバックであることができる(または、できない)。これは、複数のユーザ・インタフェース要素が、インタラクトしていないときには、提供されない。
この装置は、前記複数のユーザ・インタフェース要素の空間インタラクション領域において、差動的触覚フィードバックの供給を可能にするように構成することができ、この装置は、複数のユーザ・インタフェース要素の空間インタラクション領域における第1の触覚フィードバック、および、前記複数のユーザ・インタフェース要素のインタラクション領域の外部の空間領域における第2の異なる触覚フィードバックの提供を可能にするように構成することができる。これは、位置特有の差動的触覚フィードバックであると考えることができる。これは、ユーザが、空間インタラクションに関して、ユーザが空間インタラクション領域でインタラクトしているかどうかの情報を受信することを可能にすることができる。
この装置は、その空間インタラクション領域に関連がない位置において、差動的触覚フィードバックを提供するように構成することができる。これは、グローバル差動的触覚フィードバックであると考えることができる。
複数のユーザ・インタフェース要素は、それらが接触する(例えば、接する、あるいは、接するエッジや表面を持つ)ときに、および/または、それらが、オーバラップする(例えば、その上を覆ったり、広がって部分を覆ったり、あるいは,共通した領域、広がり、または、範囲を有する)ときに、インタラクトすると考えることができる。
この装置は、この触覚フィードバックは、複数のユーザ・インタフェース要素(例えば、共通部分の領域またはオーバラップのボリュームなど)の間のオーバラップの特定の程度、および、複数のユーザ・インタフェース要素(例えば、ライン・セグメントの長さ、または、複数のユーザ・インタフェース要素隣接する境界によって共有される表面の領域に関係があるなど)の間の接触の特定の程度、の1つ以上に依存しているように構成することができる。
この装置は、複数のユーザ・インタフェース要素の間で空間的なインタラクションが変化しているとき、触覚フィードバックの提供を可能にするように構成することができる。この装置は、複数のユーザ・インタフェース要素の間の空間インタラクションが変化していないとき、触覚フィードバックの提供を可能にするように構成することができる。
この装置は、グラフィカル・ユーザ・インタフェースの検出範囲において、検出されるスタイラスに応じて、差動的触覚フィードバックの供給を可能にするように構成することができる。この装置は、前記ユーザが前記ユーザ・インタフェース要素とインタラクトしているときに(例えば、そのユーザが例えば、グラフィカル・ユーザ・インタフェースへ静止またはスライド入力などの入力を提供するときなど)、リアルタイムで、差動的触覚フィードバックの供給を可能にするように構成することができる。連続的に差動的触覚フィードバックを提供しないことが、エネルギー要求を減らすことができることが理解される。
スタイラス入力は、単一タッチまたはマルチ・タッチ・ジェスチャを含むことができる。この入力は、もちろん、タッチ入力でないが、しかし、マウス、タッチパッド、または、他の別々のおよび/または外部入力デバイスなどを使用した入力であることができる。
この装置は、ユーザ・インタフェース要素が空間的にインタラクトしていないときに、ユーザ・インタフェース要素に結びついた触覚フィードバックに基づいて、複数のユーザ・インタフェース要素のうちの1つに提供された差動的触覚フィードバックを提供するように構成することができる。例えば、複数のユーザ・インタフェース要素が布のテクスチャを持つならば、前記差動的触覚フィードバックは、また、布のテクスチャ(例えば、よりラフな布のテクスチャ)を持つことができる。これは、より一貫したおよび/または直観的なユーザ経験を提供することができる。
この装置は、前記差動的触覚フィードバックが、空間的にインタラクトしている他のユーザ・インタフェース要素を前記複数のユーザ・インタフェース要素のうちのどれが覆うのかに依存しているように構成することができる。これは、ユーザに、どのユーザ・インタフェース要素が、どの他のユーザ・インタフェース要素の上を覆っているかに関する触覚情報を提供することができる。
この装置は、前記触覚フィードバックの波形(すなわち、触覚波の形状や周波数)、触覚フィードバックの一貫性(例えば、触覚フィードバックが断続的に、または、コンスタントに提供されるかどうか)、触覚フィードバックの強度(例えば、電子触覚波の振幅など)、のうちの1つ以上を変更することによって、差動的触覚フィードバックを提供するように構成することができる。これら例が、触覚フィードバックのタイプを変えると考えることができることが理解される。
この装置は、空間インタラクションを決定する構成することができる。
この空間インタラクションは、一次元、二次元、三次元のうちの少なくとも1つにおいて、空間インタラクションを含むことができる。
前記複数のユーザ・インタフェース要素のうちの少なくとも1つは、電子デバイスを用いて実行可能な関連機能を作動するために選択可能でありえる。その機能は、アプリケーションを開くこと、ファイルを開くこと、または、テキスト文字を入力またはフォーマットすることを含むことができる。テキスト文字は、単語、(例えば、ローマ、ギリシア、アラビアまたはキリル文字のアルファベットからの)文字、図形文字(例えば、漢字、日本カナまたは韓国表記、数字、フレーズ、音節、発音記号、絵文字(emoticon)、および、句読記号など)のうちの1つ以上の組合せを含むことができる。
上記のユーザ・インタフェース要素は、ユーザが操作することができるグラフィカル・ユーザ・インタフェースにより提供されるオブジェクトであることができる。そのようなオブジェクトは、電子デバイスの機能(例えば、CAD計画ツールの要素)を実行するのに用いることができない。空間インタラクションは、複数のユーザ・インタフェース要素の1つ以上の(例えばユーザによる)操作から生じることができる。
触覚フィードバックは、タッチ・スクリーン、触覚アクチュエータのアレイ、圧電トランスデューサ、電気活性ポリマー、および、電気触覚材料(electro tactile material)、のうちの1つ以上を用いて提供することができる。
前記差動的触覚フィードバックを提供するために、この装置は、タッチ・スクリーン、触覚アクチュエータのアレイ、圧電トランスデューサ、電気活性ポリマー、および、電気触覚材料(electro tactile material)、のうちの1つ以上を備えることができる。この装置は、ディスプレイ出力として、複数のユーザ・インタフェース要素を提供するためにグラフィカル・ユーザ・インタフェースを備えることができる。
この装置は、スタイラス(例えば、親指を含む指)、手袋をした指、ワンド、ポインティングは刺さる)、マウス、タッチパッド、タッチ・スクリーン、ジョイスティック、または外部的であるの入力デバイスのうちの1つ以上を通して、差動的触覚フィードバックを提供することができる。
この装置は、ポータブル電子デバイス、ラップトップ・コンピュータ、携帯電話、多機能電話、スマート・テレビ、タブレット型コンピュータ、パーソナル携帯情報機器、デジタル・カメラ、腕時計、サーバ、非ポータブル電子デバイス、デスクトップ・コンピュータ、モニター、サーバ、ワンド、ポインティング・スティック、タッチパッド、タッチ・スクリーン、マウス、ジョイスティック、または、それらの1つ以上に対するモジュール/回路であることができる。
更なる態様にしたがって、方法が提供される。この方法は、グラフィカル・ユーザ・インタフェースの複数のユーザ・インタフェース要素の間での特定の空間インタラクションに基づいて、差動的触覚フィードバックの供給を可能にするステップを備える。
更なる態様にしたがって、コンピュータ・プログラム・コードを備えるコンピュータ・プログラムが提供される。このコンピュータ・プログラム・コードは、少なくとも、グラフィカル・ユーザ・インタフェースの複数のユーザ・インタフェース要素の間での特定の空間インタラクションに基づいて、差動的触覚フィードバックの供給を可能にすることを実行するように構成されている。
コンピュータ・プログラムは、ストレージ・メディアに(例えば、CD、DVD、メモリ・スティック、または他の固定メディアの上で)保存することができる。コンピュータ・プログラムは、アプリケーションとしてデバイスまたは装置上で動作するように構成することができる。アプリケーションは、オペレーティング・システムを介して、デバイスまたは装置により、動くことができる。コンピュータ・プログラムは、コンピュータ・プログラム・プロダクトの部品を形成することができる。
更なる態様にしたがって、グラフィカル・ユーザ・インタフェースの複数のユーザ・インタフェース要素の間での特定の空間インタラクションに基づいて、差動的触覚フィードバックの供給を可能にする手段を備える装置が提供される。
この装置は、前記複数のユーザ・インタフェース要素の空間インタラクション領域において第1の触覚フィードバック、および、前記複数のユーザ・インタフェース要素の外側の空間インタラクション領域において第2の異なる触覚フィードバックの供給を可能にする手段を備えることができる。
この装置は、その触覚フィードバックが、前記複数のユーザ・インタフェース要素の間のオーバラップの特定の程度、および、前記複数のユーザ・インタフェース要素の間の接触の特定の程度、のうちの1つ以上に依存するようにすることを可能にする手段を備えることができる。
この装置は、スタイラスがグラフィカル・ユーザ・インタフェースの検出範囲の中で検出されるとき、差動的触覚フィードバックの供給を可能にするための手段を備えることができる。
この装置は、ユーザ・インタフェース要素が空間的にインタラクトしていないときに、ユーザ・インタフェース要素に結びついた触覚フィードバックに基づいて、複数のユーザ・インタフェース要素のうちの1つに提供された差動的触覚フィードバックの供給を可能にするための手段を備えることができる。
この装置は、差動的触覚フィードバックは、空間的にインタラクトしている他のユーザ・インタフェース要素を前記複数のユーザ・インタフェース要素のうちのどれが覆うのかに依存しているようにすることを可能にする手段を備えることができる。
この装置は、前記触覚フィードバックの波形、触覚フィードバックの期間、触覚フィードバックの一貫性、触覚フィードバックの強度、のうちの1つ以上を変更することによって、差動的触覚フィードバックの供給を可能にするための手段を備えることができる。
この装置は、空間インタラクションを決定するための手段を備えることができる。この空間インタラクションは、一次元、二次元、三次元のうちの少なくとも1つにおける、空間インタラクションを含むことができる。
前記複数のユーザ・インタフェース要素のうちの少なくとも1つは、電子デバイスを用いて実行可能な関連機能を作動するために選択可能であるように構成することができる。
この複数のユーザ・インタフェース要素のうちの少なくとも1つは、グラフィカル・ユーザ・インタフェースにより提供されるオブジェクトであることができる。そして、これは、そのユーザによって操作されることができるが、その電子デバイスで機能を実行するために使用されることはできない。
空間インタラクションは、その複数のユーザ・インタフェース要素の1つ以上の操作を用いて可能にすることができる。
この装置は、ユーザがユーザ・インタフェース要素とインタラクトしているときに、リアルタイムで、差動的触覚フィードバックの供給を可能にするための手段を備えることができる。
触覚フィードバックは、触覚アクチュエータのアレイ、圧電トランスデューサ、電気活性ポリマー、および、電気触覚材料(electro tactile material)、のうちの1つ以上、または、同様のものを提供するための手段を用いて提供することができる。
この装置は、触覚アクチュエータのアレイ、圧電トランスデューサ、電気活性ポリマー、および、電気触覚材料(electro tactile material)、のうちの1つ以上、または、前記差動的触覚フィードバックを提供するための同様のものを提供するための手段を備えることができる。
この装置は、ディスプレイ出力として、複数のユーザ・インタフェース要素を提供するように構成されるグラフィカル・ユーザ・インタフェースを備えることができる。
この装置は、スタイラス、マウス、タッチパッド、タッチ・スクリーン、ジョイスティック、または、外部入力デバイスのうちの1つ以上を通して、差動的触覚フィードバックの供給を可能にするための手段を備えることができる。
この装置は、グラフィカル・ユーザ・インタフェース、ポータブル電子デバイス、ラップトップ・コンピュータ、携帯電話、多機能電話、スマート・テレビ、タブレット・コンピュータ、パーソナル携帯情報機器、デジタル・カメラ、腕時計、サーバ、非ポータブル電子デバイス、デスクトップ・コンピュータ、モニター、サーバ、ワンド、ポインティング・スティック、タッチパッド、タッチ・スクリーン、マウス、ジョイスティック、または、それらの1つ以上に対するモジュール/回路であることができる、
更なる態様にしたがって、グラフィカル・ユーザ・インタフェースの複数のユーザ・インタフェース要素の間で特定の空間インタラクションに基づいて、差動的触覚フィードバックの供給を可能にするように構成されたイネーブラを備える装置が提供される。
更なる態様にしたがって、装置が提供される。この装置は、少なくとも1つのプロセッサと、コンピュータ・プログラム・コードを含む少なくとも1つのメモリとを備える。この少なくとも1つのメモリと、プログラム・コードとは、前記少なくとも1つのプロセッサにより、前記装置に、少なくとも、ユーザ・インタフェース要素が占めるグラフィカル・ユーザ・インタフェースのレイヤに基づくユーザ・インタフェース要素と結びついている差動的触覚フィードバックの供給を可能にすることを実行するようにさせるように構成される。
更なる態様にしたがって、方法が提供される。この方法は、ユーザ・インタフェース要素が占めるグラフィカル・ユーザ・インタフェースのレイヤに基づくユーザ・インタフェース要素と結びついている差動的触覚フィードバックの供給を可能にするステップを備える。
更なる態様にしたがって、コンピュータ・プログラム・コードを備えるコンピュータ・プログラムが提供される。このコンピュータ・プログラム・コードは、少なくとも、ユーザ・インタフェース要素が占めるグラフィカル・ユーザ・インタフェースのレイヤに基づくユーザ・インタフェース要素と結びついている差動的触覚フィードバックの供給を可能にすることを実行するように構成されている。
本願開示は、1つ以上の対応する態様、実施形態または特徴を、単独に、あるいは、種々の組合せにおいて、(請求項を含み)その組合せであるいは単独において、特に述べられるか否かを問わず、含む。議論された機能の1つ以上を実行するための対応する手段および対応する機能ユニット(例えば、決定器、イネーブラ)は、また、本願開示の範囲内である。
開示された方法の1つ以上をインプリメントするための対応するコンピュータ・プログラムは、また、本願開示の範囲内にあり、そして、記載された実施形態の1つ以上によって、含まれるものである。
上の概要は、単に、例示的であることを意図するものであり、非限定的なものである。
次に、添付の図面を参照して、例を示すだけのために、説明が与えられる。ここで、
図1は、いくつかの電子部品を備え、メモリとプロセッサとを含む例示的装置の実施形態を表す。 図2は、いくつかの電子部品を備え、メモリ、プロセッサ、および、通信ユニットを含む例示的装置の実施形態を表す。 図3は、いくつかの電子部品を備え、メモリ、プロセッサ、および、通信ユニットを含む例示的装置の実施形態を表す。 図4a−図4dは、ユーザ・インタフェース要素がウィンドウである、例示的実施形態を表す。 図4a−図4dは、ユーザ・インタフェース要素がウィンドウである、例示的実施形態を表す。 図4a−図4dは、ユーザ・インタフェース要素がウィンドウである、例示的実施形態を表す。 図4a−図4dは、ユーザ・インタフェース要素がウィンドウである、例示的実施形態を表す。 図5a−図5dは、ユーザ・インタフェース要素が、アイコンである、更なる例示的実施形態を表す。 図5a−図5dは、ユーザ・インタフェース要素が、アイコンである、更なる例示的実施形態を表す。 図5a−図5dは、ユーザ・インタフェース要素が、アイコンである、更なる例示的実施形態を表す。 図5a−図5dは、ユーザ・インタフェース要素が、アイコンである、更なる例示的実施形態を表す。 図6a−図6dは、ユーザ・インタフェース要素は、ユーザによって操作することができる、更なる例示的実施形態を表す。 図6a−図6dは、ユーザ・インタフェース要素は、ユーザによって操作することができる、更なる例示的実施形態を表す。 図6a−図6dは、ユーザ・インタフェース要素は、ユーザによって操作することができる、更なる例示的実施形態を表す。 図6a−図6dは、ユーザ・インタフェース要素は、ユーザによって操作することができる、更なる例示的実施形態を表す。 図7a−図7bは、リモート・サーバ/クラウドと通信を行う例示的装置を図示する。 図7a−図7bは、リモート・サーバ/クラウドと通信を行う例示的装置を図示する。 図8は、本願開示の例示的方法にしたがって、フローチャートを図示する。 図9は、プログラムを提供するコンピュータ読取り可能メディアを概略的に図示する。
情報を入力および/または情報とインタラクトするために、電子回路デバイスが、ユーザがデバイスとインタラクトするのを可能にするユーザ・インタフェースを有する(視覚ベースであるか否かにかかわらず)ことは一般的である。例えば、ユーザは、テキストを入力したり、または、アプリケーションを開くのにアイコンを使用したりするのにキーボード・ユーザ・インタフェースを使用することができる。いくつかのユーザ・インタフェースは、例えば、タッチ・スクリーンなどディスプレイを含む。これは、ユーザに情報を示すことができる。
タッチ・スクリーン上で、複数の(例えば、アイコン、ウィンドウなどの)ユーザ・インタフェース要素を配置するとき、ユーザは、オブジェクト相対位置の視覚フィードバックを受信するだけでよく、そして、これは、ユーザ・インタフェース要素をコントロールしている指によっていくぶん隠されることがあり得る。
この開示は、複数のユーザ・インタフェース要素の間での空間インタラクションを基づいた差動的触覚フィードバックを提供することに関連がある。これは、ユーザが、視覚情報とならんで、または、その代わりに、空間インタラクションに関して触覚情報を受信することを可能にする。前記差動的触覚フィードバックは、いつアイテムが互いに接触するか、および/または、オーバラップするか、また、いくつかの場合において、それらのアイテムが、どの程度に、オーバラップしているかの情報を提供することができる。差動的触覚フィードバックを提供することによって、ユーザ・インタフェースは、物理オブジェクトとインタラクトするときにユーザが体験する触覚をより正確に複製することができることが理解される。したがって、実施形態は、より直観的でイマーシブ(immersive)なユーザ体験を提供することができる。
図に表された他の実施形態は、それより前に記述された実施形態の同様の特徴に対応する参照番号を備えている。例えば、特徴番号1は、また、番号101、201、301その他に対応することができる。これらの特徴番号は、図に現れることができるが、しかし、これらの特定の実施形態の説明のなかで、直接参照することはできない。これらは、依然、特に、類似した以前に記述された実施形態の特徴に関して、更なる実施形態の理解を助けるために、図に提供される。
図1は、メモリ107、プロセッサ108、入力I、および、出力Oを備える装置101を示す。この実施の形態において、唯一のプロセッサ、および、1つのメモリが、示されているが、他の例示的実施形態は、1つより多いプロセッサ、および/または、1つより多いメモリ(例えば、同一または異なるタイプのプロセッサ/メモリ)を利用することができることが理解される。
この実施の形態において、装置101は、タッチ・センシティブ・ディスプレイを有するポータブル電子デバイスにための特定用途向け集積回路(ASIC)である。他の実施形態において、装置101は、そのようなデバイスのためのモジュールでありえる、あるいは、そのデバイス自体であり得る。ここで、プロセッサ108は、デバイスの汎用CPUである。および、このメモリ107は、デバイスに含まれる汎用メモリである。
入力Iは、(タッチ・センシティブ・ディスプレイのような)ポータブル電子デバイスのコンポーネント、その他更なるコンポーネントから装置101への信号伝達の受信を可能にする。出力Oは、装置101内から更なるコンポーネントへの信号伝達の前方への供給を可能にする。この実施の形態において、入力Iと出力Oとは、装置101の更なるコンポーネントへの接続を可能にする接続バスの部品である。
プロセッサ108は、メモリ107の上のコンピュータ・プログラム・コードの形で保存された命令に従って、入力Iを介して受信された情報を実行/処理するために専用とされた汎用プロセッサである。プロセッサ108から、そのような動作によって生成された出力信号伝達は、出力Oを介して更なるコンポーネントに、前方へと提供される。
メモリ107(必然的にでなく単一の記憶装置)は、コンピュータ読取り可能メディアである(この例において、ソリッド・ステート・メモリであるが、しかし、コンピュータ・プログラム・コードを格納する(ハード・ディスク、ROM、RAM、フラッシュ、その他)他のタイプのメモリであることができる。このコンピュータ・プログラム・コードは、プログラム・コードがプロセッサ108で動作するときに、プロセッサ108により実行可能である命令を格納する。メモリ107とプロセッサ108との間の内部接続は、1つ以上の例示的実施形態において、プロセッサ108が、メモリ107に保存されたコンピュータ・プログラム・コードにアクセスすることを可能にする、プロセッサ108とメモリ107との間でのアクティブ・カップリングを提供することを理解することができる。
この例において、入力I、出力O、プロセッサ108およびメモリ107は、すべて、内部的にお互いに電気的に接続しており、それぞれのコンポーネントI、O、108、107の間で電気的通信を可能にする。この例において、コンポーネントは、ASICとして一緒に形成されるように、つまり、電子デバイスにインストールすることができるシングルチップ/回路として一緒に集積されるように、互いに近くに配置されている。他の例において、1つ以上の、または、すべてのコンポーネントを、別々に離して配置することができる。
図2は、携帯電話などの更なる例示的実施形態の装置201を表す、他の例示的実施形態において、装置201は、モバイル電話(またはPDAまたはオーディオ/ビデオ・プレーヤー)のためのモジュールを備えることができる。そして、ちょうど適切に構成されたメモリ207およびプロセッサ208を備えることができる。ある実施形態において、この装置は、ポータブル電子デバイス、ラップトップ・コンピュータ、携帯電話多機能電話、タブレット型コンピュータ、パーソナル携帯情報機器、デジタル・カメラ、腕時計、サーバ、非ポータブル電子デバイス、デスクトップ・コンピュータ、モニター、サーバ、ワンド、ポインティング・スティック、タッチパッド、タッチ・スクリーン、マウス、ジョイスティック、または、それらの1つ以上に対するモジュール/回路であり得る。
図2の例示的実施形態は、この場合、例えば、液晶ディスプレイ(LCD)、または、タッチ・スクリーン・ユーザ・インタフェースなどのディスプレイ装置204を含む。図2の装置201は、データを受信することができ、含むことができ、および/または、さもなければアクセスすることができるように構成される。例えば、この例示的実施形態201は、データが1つ以上のタイプのネットワークを介して受信できるようにネットワークに物理的接続を受け入れるために、ワイヤレス・ネットワークおよび/またはポート(図示せず)に接続するためにアンテナ202で通信を行う受信器、送信器および/または、トランシーバなどの通信装置203を備える。この例示的実施形態は、おそらく、アンテナ202またはポートを介して受信した後に、または、ユーザ・インタフェース205において発生した後に、データを格納するメモリ207を備える。プロセッサ208は、ユーザ・インタフェース205から、メモリ207から、または、通信ユニット203からデータを受信することができる。ある例示的実施形態において、ディスプレイ装置204は、ユーザ・インタフェース205を組み込むことができることが理解される。データの起源に関係なく、これらデータは、ディスプレイ装置204および/また、任意の他の装置に提供された出力装置を介して装置201のユーザに出力することができる。プロセッサ208は、また、データを、メモリ207に、後の使用のために格納することができる。このメモリ207は、(例えば、読み出し、書き込み、削除、編集または、データ処理などの)機能を実行することを、プロセッサ208に指示/可能にするのに用いることができるコンピュータ・プログラム・コードおよび/またはやアプリケーションを格納することができる。
図3は、タブレット・パソコン、ポータブル電子デバイス、ポータブル・テレコミュニケーション・デバイス、サーバ、または、そのようなデバイスのためのモジュール、図1の装置101を備えるデバイスなどの電子デバイス301の更なる例示的実施形態を表す。装置101は、デバイス301のためのモジュールとして、または、そのようなデバイス301のためのモジュールのデバイス301またはプロセッサ/メモリのためのプロセッサ/メモリとしてさえ、提供することができる。このデバイス301は、プロセッサ308とストレージ・メディア307を備え、これらは、データバス380によって(例えば、電気的に、および/または、ワイヤレスで)接続されている。このデータバス380は、プロセッサ308とプロセッサ308がコンピュータ・プログラム・コードにアクセスすることを可能にするために、ストレージ・メディア307との間でのアクティブ・カップリングを提供することができる。このデバイス/装置のコンポーネント(例えば、メモリ、プロセッサ)は、クラウド・コンピューティング・アーキテクチャを介してリンクすることができることが理解される。例えば、ストレージ・デバイスは、プロセッサにより、インターネットを介してアクセスされるリモート・サーバであり得る。
図3の装置101は、装置101からの出力を受信し、そして、データバス380を介してこれをデバイス301に送信する入出力インタフェース370に(例えば、電気的に、および/または、ワイヤレスで)接続している。インタフェース370は、データバス380を介して、装置101からの情報をユーザに提供するディスプレイ304(タッチ・センシティブであってもなくても)接続することができる。ディスプレイ304は、デバイス301の一部、あるいは,別々でありえる。このデバイス301は、また、動作を管理するために、他のデバイス・コンポーネントに信号伝達したり、信号伝達を受信したりすることによって、デバイス301と並んで装置101の一般的なコントロールのために構成されたプロセッサ308を備える。
ストレージ・メディア307は、装置101の動作を実行、コントロール、あるいは、可能にするように構成されたコンピュータ・コードを格納するように構成される。ストレージ・メディア307は、他のデバイス・コンポーネントの設定を格納するように構成することができる。プロセッサ308は、ストレージ・メディア307にアクセスし、他のデバイス・コンポーネントの動作を管理するために、コンポーネントの設定を読み出すことができる。ストレージ・メディア307は、揮発性ランダム・アクセス・メモリなどの一時的なストレージ・メディアであり得る。ストレージ・メディア307は、また、ハード・ディスク・ドライブ、フラッシュ・メモリ、リモート・サーバ(クラウド・ストレージなど)または、不揮発性RAMなどのパーマネント・ストレージ・メディアであることもできる。このストレージ・メディア307は、同様の、または、異なるメモリ・タイプの異なる組合せから成ることができる。
図4a−図4dは、例えば、携帯電話など、タッチ・スクリーン・ユーザ・インタフェース405、404を含むユーザ・インタフェース、メモリ(図示せず)、(電子メール、テキスト・メッセージ、電話、ウェブページに対応する情報など)データを送受信するためのプロセッサ(図示せず)およびアンテナ(図示せず)を有するポータブル電子通信デバイス401を備える図2で表される装置の例示的実施形態を表す。タッチ・スクリーン405、404は、この場合、静電触覚技術を使用して触覚フィードバックを提供するように構成される。
この場合、装置/デバイスは、空間インタラクションを決定し、そして、グラフィカル・ユーザ・インタフェースの複数のユーザ・インタフェース要素の間での特定の空間インタラクションに基づいて、差動的触覚フィードバックの供給を可能にする(少なくとも、この信号伝達は、差動的触覚フィードバックを提供することを要求する)ように構成される。この装置のある実施形態は、例えば、装置(例えばプロセッサ/メモリ)が、差動的触覚フィードバックの供給を可能にするのに適切な信号伝達を提供するように構成される限り、必ずしも、グラフィカル・ユーザ・インタフェースまたは触覚アクチュエータを備える必要はないことが理解される。
この場合、この装置は、(例えば、ユーザがスクリーンのどこで対話しているかに関係なく、空間インタラクションは変化していることをユーザに警告するためなど)インタラクション領域に関連していない領域で、空間インタラクションを変更ために、ユーザがユーザ・インタフェース要素を操作しているときに、グローバル差動的触覚フィードバックを提供するように、また、複数のユーザ・インタフェース要素の間で、空間インタラクションが、変化していないときに(例えば、ユーザが、複数のユーザ・インタフェース要素の間で、空間インタラクションを調べているときに)、空間インタラクションを位置や範囲を示す位置特有差動的触覚フィードバックを提供するように、構成される。他の実施形態において、位置特有、および、グローバル差動的触覚フィードバックのうちの1つを、提供することができる。位置特有差動的触覚フィードバックは、また、複数のユーザ・インタフェース要素の間での空間インタラクションが、変化しているときに、提供されることが理解される。
図4aで示される状況において、ユーザは、第1および第2のウィンドウ・グラフィカル・ユーザ・インタフェース要素411、412を、ユーザの指491、492を用いて、スクリーンを横切って、動かしている。これらのウィンドウ・グラフィカル・ユーザ・インタフェース要素411、412は、テキスト文書やウェブ・ブラウザ・ウインドウなどのアプリケーション・インスタンスを表す。この場合、装置/デバイスは、複数のウィンドウ・グラフィカル・ユーザ・インタフェース要素の間で空間インタラクションが、変化しているとき、グローバル差動的触覚フィードバックを提供するように構成される。図4aにおいて、グラフィカル・ユーザ・インタフェース要素411、412は、間隔をあけて離れている、そして、それで、タッチ・スクリーン404、405の上で、空間的にインタラクトしていない。この場合、グラフィカル・ユーザ・インタフェースが、空間的にインタラクトしていないとき、グローバル差動的触覚フィードバックは、提供されない。
ユーザがグラフィカル・ユーザ・インタフェース要素を(ユーザの指491、492または他のスタイラスを用いたドラグ操作によって)まとめて動かすので、図4bで示すように、ウィンドウ・グラフィカル・ユーザ・インタフェース要素411、412は接触する(そして、それによって空間的にインタラクトする)。複数のユーザ・インタフェース要素411、412が、空間的にインタラクトするとき、装置/デバイスは、特定の空間インタラクションに基づいて、ユーザの指への、グローバル差動的触覚フィードバック421、422の供給を可能にするように構成される。ある実施形態において、(非インタラクト構成に関して)この差動的触覚フィードバックは、インタラクションの程度に拘わらず、一定のままでありえる。また、他の実施例においては、前記差動的触覚フィードバックは、初期に検出されたインタラクションの後に、停止することがあり得る。
しかしながら、この場合、グローバル差動的触覚フィードバックの強度は、複数のユーザ・インタフェース要素411、412の間での(すなわち、オーバラップ領域431の領域上の)特定のオーバラップの程度に依存している。接触の場合には、図4bに図示されるように、オーバラップの範囲は、小さく、それで、グローバル差動的触覚フィードバック421、422の強度は、対応して小さい。この場合、それらを動かすことによって、ユーザがユーザ・インタフェース要素を操作しているときに、装置/デバイスは、図4bで示すように、スタイラス(この場合には、ユーザの指491、492である)の位置において、グローバル差動的触覚フィードバック421、422を提供するように構成される。すなわち、差動的触覚フィードバックは、ユーザがユーザ・インタフェース要素とインタラクトしていると、リアルタイムに提供される。
提供されたグローバル差動的触覚フィードバックは、ユーザ・インタフェース要素が空間的にインタラクトしていないときに、提供された触覚フィードバックに加えて、および、それとは異なったある実施形態におけるものであることが理解される。
この実施形態において、ユーザが、ウィンドウ・ユーザ・インタフェース要素を、(図4cで示すように)そのオーバラップが増加するように一緒に動かすとき、グローバル差動的触覚フィードバック421、422の強度は、(例えば、電子触覚型の波形の振幅を増加することによってなど)対応して増加する。
この実施の形態において、ユーザがウィンドウ・ユーザ・インタフェース要素411、412をリリースするとき、それらは、その場所に静止したままであるように構成される。ユーザ・インタフェース要素が静止していると、複数のユーザ・インタフェース要素の間での空間インタラクションは、変化せず、それで、グローバル差動的触覚フィードバックはなくなる。しかしながら、複数のユーザ・インタフェース要素の間での空間インタラクションが、変化していないときに、この装置は、タッチ・スクリーン・ユーザ・インタフェースの異なる位置において、位置特有の差動的触覚フィードバックを提供するように構成される。すなわち、装置/デバイスは、複数のユーザ・インタフェース要素411、412の空間インタラクション領域431において第1の触覚フィードバック、および、複数のユーザ・インタフェース要素411、412のインタラクション領域の外の空間領域において第2の異なる触覚フィードバックを提供するように構成される。この場合、第1および第2の触覚フィードバックが、インタラクション領域の外のユーザ・インタフェース要素の部分に対してよりも、インタラクション領域431に対して(例えば、異なるテクスチャに対応する)異なる波形を提供することによって発生する。
この場合、複数のユーザ・インタフェース要素のどの部分がインタラクトしているかを示す位置特有差動的空間触覚フィードバックを提供することによって、ユーザは、タッチ・スクリーンの表面を横切るようにユーザの指を動かすことによって、ユーザ・インタフェース要素のオーバラップしている部分431とユーザ・インタフェース要素411、412のオーバラップしていない部分との間での異なる表面テクスチャを検出することができる。すなわち、この場合、2つのユーザ・インタフェース要素のオーバラップ領域431のテクスチャは、非オーバラップ領域の触覚テクスチャと異なる。
このデバイス/装置は、スタイラスが、グラフィカル・ユーザ・インタフェースの検出範囲の中で検出されたときにだけ、差動的触覚フィードバックの供給を可能にするように構成することができることが理解される。
図5aは、例えば、タッチ・スクリーン・ユーザ・インタフェース505、504、メモリ(図示せず)、プロセッサ(図示せず)、および、(例えば、電子メール、テキスト・メッセージ、電話、ウェブページに対応する情報などの)データを送受信するためのアンテナ(図示せず)を備えるユーザ・インタフェースを有するモバイル電話などポータブル電子通信デバイス501を備える図2で表される装置の更なる例示的実施形態を示す。
この例において、携帯電話のディスプレイは、いくつかのアイコン・ユーザ・インタフェース要素511−514を表示するように構成される。各々のアイコン・ユーザ・インタフェース要素511−514は、その電子デバイスを用いて実行可能な関連機能を動かすように選択可能である。この場合、電子デバイス511のホーム・スクリーンにナビゲートすること、ゲーム・アプリケーション512を開くこと、電話呼アプリケーション513を開くこと、そして、セッティング・メニュー514を開くこと、の機能に対応するアイコン・ユーザ・インタフェース要素が存在する。この場合、ユーザ・インタフェース要素の各々は、アイコンを移動し、および/または、アイコンの大きさを変更するように、ユーザによって操作することができる。
この例において、ユーザは、最も頻繁に電話アイコン・ユーザ・インタフェース要素を使用するので、使いやすさのために、それが上にきて、拡大されることを望む。こうするために、ユーザは、電話アイコン・ユーザ・インタフェース要素513を選択し、移動する。そして、タッチ・スクリーン・グラフィカル・ユーザ・インタフェースを使い、ドラッグ・ジェスチャーを用いて、トップの方にそれを移動する。この実施の形態において、各々のユーザ・アイコンは、それらが、オーバラップするときに、どのユーザ・インタフェース要素が、他のどのユーザ・インタフェース要素を覆うかをのべるグラフィカル・ユーザ・インタフェースの中で異なる層を占める。この場合、電話ユーザ・インタフェース要素513は、ホーム・スクリーン・ユーザ・インタフェース要素511によって占められる層より上にある層を占める。
この場合、ユーザ・インタフェースは、ユーザは、感触によってユーザ・インタフェース要素を区別することができるように、(例えば、それらが空間的にインタラクトしていないときでさえ)異なるテクスチャを有するユーザ・インタフェース要素511−514の各々を提供するように構成される。この場合、電話ユーザ・インタフェース要素513は、ざらざらした感じを有するように構成される。しかるに、ホーム・スクリーン・ユーザ・インタフェース要素511は、布のような感覚を有するように構成される。この場合、その触覚フィードバックは、電気活性ポリマー(Electro Active Polymer)技術を使用して提供される。他の例示的実施形態は、触覚アクチュエータ、圧電トランスデューサ、電気活性ポリマー、または、他の触覚テクノロジーを使用することができることが理解される。
ユーザが、電話ユーザ・インタフェース要素513を、ホーム・スクリーン・ユーザ・インタフェース要素511の方へ持ってくるときに(図5cで示すように)、電話ユーザ・インタフェース要素513は、ホーム・スクリーン・ユーザ・インタフェース要素511にオーバラップする。電話ユーザ・インタフェース要素513が、ホーム・スクリーン・ユーザ・インタフェース要素511より上の層を占めるので、2つのユーザ・インタフェース要素がオーバラップしているとき、電話ユーザ・インタフェース要素513は、ホーム・スクリーン・ユーザ・インタフェース要素を隠す。それがホーム・スクリーン・ユーザ・インタフェース要素511を覆うからである。
この場合、電話ユーザ・インタフェース要素が、ホーム・スクリーン・ユーザ・インタフェース要素にオーバラップすることによって、ホーム・スクリーン・ユーザ・インタフェース要素と空間的にインタラクトしているとき、装置/デバイスは、グラフィカル・ユーザ・インタフェースの複数のユーザ・インタフェース要素の間での特定の空間インタラクションに基づいて、位置特有差動的触覚フィードバックの供給を可能にするように構成される。この場合、装置/デバイスは、空間的にインタラクトしている領域において覆っているユーザ・インタフェース要素(この場合は、電話ユーザ・インタフェース要素513)のテクスチャの粗さを増加するように構成される(すなわち、それによって、空間インタラクション領域の外で提供される第2の触覚フィードバックよりも、複数のユーザ・インタフェース要素の空間インタラクション領域531において異なる第1の触覚フィードバックを提供する)。
したがって、この例では、電話ユーザ・インタフェースのざらざらしたテクスチャの粗さが、ホーム・スクリーン・ユーザ・インタフェース要素とオーバラップしている部分において増加される。ホーム・スクリーン・ユーザ・インタフェース要素が、電話ユーザ・インタフェース要素の上にある、あるいは、覆っているならば、オーバラップしている空間インタラクション領域531は、布の感覚、複数のユーザ・インタフェース要素の空間領域のインタラクション領域の外にあるホーム・スクリーン・ユーザ・インタフェース要素の部分の感触よりラフな布のテクスチャを有することが理解される。
ユーザが、オーバラップの程度(領域)が増加するように電話ユーザ・インタフェース要素を動かすと、オーバラップしている空間インタラクション領域のユーザが検出する粗さは増加する。
図5dで表される状況において、ユーザは、電話ユーザ・インタフェース要素の配置を終え、そして、ホーム・スクリーン・ユーザ・インタフェース要素511を完全に覆うように電話ユーザ・インタフェース要素を拡大した。下にあるホーム・スクリーン・ユーザ・インタフェース要素511は、オーバラップ/非オーバラップ(両方とも下にあるオブジェクトを隠している)のそれぞれの領域で差動的触覚フィードバックを提供することによって、完全に隠された(図5cと図5dの点線はガイダンスだけのためである)けれども、ユーザは、(例えば、もし、このケースの場合のように、ホーム・スクリーン・ユーザ・インタフェース要素が、覆っているユーザ・インタフェース要素によって視覚的に隠されているとしても)感触を用いてホーム・スクリーン・ユーザ・インタフェース要素が、どこに位置するかを決定することができる。すなわち、異なるフィードバックが、531によって規定され、そして、周辺部531の外であるが、ユーザ・インタフェース素子513の領域の中である周辺部の中で提供される。
ユーザ・インタフェース要素が異なる層を占めるように構成された実施形態は、ユーザ・インタフェース要素が占めるグラフィカル・ユーザ・インタフェースのレイヤに基づくユーザ・インタフェース要素と結びついている差動的触覚フィードバックの供給を可能にすることができることが理解される。例えば、トップに向かうユーザ・インタフェース要素は、ボトムに向かうユーザ・インタフェース要素よりも滑らかなテクスチャを持つことができる。これは、ユーザが、(可視表示を得るために)オーバラップするようにユーザ・インタフェース要素をまわりに動かさなければならないこともなく、特定のユーザ・インタフェース要素が、どの層を占めるのかを決定することを可能にする。
図6は、例えば、(図4および図5のタッチ・スクリーン・ユーザ・インタフェースと異なり)ディスプレイ604およびマウス605を有するユーザ・インタフェース、メモリ(図示せず)、プロセッサ(図示せず)、および、(例えば、電子メール、テキスト・メッセージ、電話、ウェブページに対応する情報などの)データを送受信するためのネットワーク接続(図示せず)を備えるデスクトップ・コンピュータなど、電子デバイス601を備える図2で表される装置の更なる例示的実施形態を示す。これは、ユーザが、他のユーザ・インタフェース要素をまわりに動かさなければならないこともなく、隠されたユーザ・インタフェース要素を見つけることを可能にする。
この場合、ユーザは、(例えば、コンピュータ支援設計アプリケーションを使用するなど)仮想ルームに家具を配置するための電子デバイスのホーム・プラニング・アプリケーションを使用している。この場合、この仮想ルームは、2席ソファー611、3席ソファー613、テーブル612、机614、および、椅子615を表すアイコン・ユーザ・インタフェース要素を含む。
この場合、ユーザは、より大きなテーブルを持っていたい。それで、マウスを使用して、テーブル・ユーザ・インタフェース要素612を選ぶようにカーソル695を動かす。ユーザは、次に、(図6bで示すように)テーブル・ユーザ・インタフェース要素の左端を左にドラグすることによって、テーブルを拡大する。
ユーザ・テーブル・ユーザ・インタフェース要素612が拡大されると、それは、2席ソファー・ユーザ・インタフェース要素611と、空間的にインタラクトする。この場合、このデバイス/装置は、グラフィカル・ユーザ・インタフェースの複数のユーザ・インタフェース要素611−615の間での特定の空間インタラクションに基づいて、グローバル差動的触覚フィードバック631の供給を可能にするように構成される。
この場合、このデバイス/装置は、複数のユーザ・インタフェース要素間の空間インタラクションが変化していると、グローバル差動的触覚フィードバック621を提供するように構成される。この場合、マウス605は、オーバラップの領域に比例している周波数で振動するように構成されることによって,グローバル差動的触覚フィードバック621を提供するために使用可能である。図6bで表される状況において、ユーザが、それが、2席ソファー・ユーザ・インタフェース要素611と、空間的にインタラクトするようにテーブル・ユーザ・インタフェース要素612を拡大しているとき、マウス605は、低周波で振動に触覚フィードバック621を提供するように構成される。オーバラップ631の程度が比較的小さいからである。
(図6cで示すように)オーバラップの程度がより大きいように、ユーザが、さらにテーブル・ユーザ・インタフェース要素612を拡大したとき、マウス振動差動的触覚フィードバック621の周波数が増加される。この実施の形態において、ユーザがユーザ・インタフェース要素を操作することを完成したとき、装置/デバイスは、グローバル差動的触覚フィードバックを提供するのを止めるように構成される。
図4の実施形態のように、この実施形態は、また、位置特定触覚フィードバックを提供するように構成される。すなわち、装置/デバイスは、マウスが、カーソルが、複数のユーザ・インタフェース要素のインタラクション領域の外に位置するように構成されるよりも、カーソルが、複数のユーザ・インタフェース要素611−615の空間インタラクション領域631の中に配置されるときに、異なる態様で振動するように構成される。このように、ユーザは、ディスプレイ周辺のマウス運動を用いて、空間インタラクションの位置と範囲を探索することができる。
他の実施例においては、装置/デバイスは、異なるように、差動的触覚フィードバックを提供するように構成することができることが理解される。例えば、装置/デバイスは、触覚フィードバックの一貫性を変化するように構成することができる。例えば、空間インタラクションの程度が少ないとき、このデバイス/装置は、大きなギャップで分離された触覚フィードバックの小さなバーストを有する断続的な触覚フィードバックを提供するように構成することができる。空間インタラクションの程度が増加すると、装置/デバイスは、触覚フィードバック・バーストの期間を増加し、および/または、分離しているギャップの期間を減少させるように構成することができる。大きな空間インタラクションがあるとき、このデバイス/装置は、連続的に触覚フィードバックを提供するように構成することができる。
他の例示的実施形態は、ユーザが、3次元でユーザ・インタフェース要素を操作することを可能にすることが理解される。この場合、空間インタラクションの程度を、ボリュームに関して測定することができる。
図7aは、リモート・サーバと通信している装置の例示的実施形態を示す。図7bは、クラウド・コンピューティングのために、クラウドと通信を行っている装置の例示的実施形態を示す。図7aと図7bとにおいて、装置701(これは、装置101、201または301であり得る)は、ディスプレイ704と通信を行っている。もちろん、装置701とディスプレイ704とは、同じ装置/デバイスの部品を形成することができる、ただし、図に示されるように、それらは、別々でありえる。装置701は、また、リモート・コンピューティング要素と通信を行っている。そのような通信は、例えば、通信ユニットを介することができる。図7aは、リモート・コンピューティング要素が、リモート・サーバ795であることを示す。これにより、装置は、(例えば、インターネット、ブルートゥース、USB接続、あるいは、当業者に知られているような他の適当な接続などを介して)有線または無線通信を行うことができる。図7bにおいて、装置701は、リモート・クラウド796と通信している(これは、たとえば、インターネット、または、クラウド・コンピューティングのために構成されたリモート・コンピューターのシステムによることができる)。ユーザ・インタフェース要素と関連した機能を、リモート・コンピューティング要素795、796に格納し、そして、ディスプレイ704のために、装置701によりアクセスすることができる。これは、リモート・コンピューティング要素795、796において実行可能にすることができる。装置701は、実際に、リモート・サーバ795またはリモート・クラウド796の部品を形成することができる。そのような実施形態においては、フィードバックの供給は、サーバにより、または、サーバの使用とともに可能にできる。
図8は、本願開示の例示的実施形態にしたがって、プロセス・フローを図示する。このプロセスは、グラフィカル・ユーザ・インタフェースの複数のユーザ・インタフェース要素の間での特定の空間インタラクションに基づいて、差動的触覚フィードバックの供給を可能にすること881を含む。
図9は、実施形態にしたがってコンピュータ/プロセッサ読取り可能メディア(900)を概略的に図示する。この例において、コンピュータ/プロセッサ読取り可能メディアは、デジタル多用途ディスク(DVD)またはコンパクト・ディスク(CD)などのディスクである。他の実施形態においては、コンピュータ読取り可能メディアは、ここに記述された機能性を実行するようにプログラムされたいかなるメディアでもあり得る。コンピュータ・プログラム・コードは、ROM、RAM、フラッシュ、ハード・ディスク、ソリッド・ステートなどの同一タイプのメモリまたは、異なるタイプのマルチプル・メモリの間で、配布することができる。
この特定の記載された装置/デバイス/サーバのいかなる記載された装置/デバイス/サーバや他の特徴も、例えば、スイッチを入れる、その他により使用可能となったときにのみ、所望の活動を実行するように構成されるように準備された装置によって、提供することができる。そのような場合において、それらは、必ずしも、非使用可能である(例えば、スイッチ・オフ状態の)アクティブ・メモリへロードされた適切なソフトウェアを持つことができるというわけではなく、そして、使用可能(例えば、オン状態)で適切なソフトウェアをロードできるだけである。この装置は、ハードウェア回路やファームウェアを備えることができる。この装置は、メモリの上へロードされるソフトウェアを備えることができる。そのようなソフトウェア/コンピュータ・プログラムは、同一のメモリ/プロセッサ/機能ユニットの上に、および/または、1つ以上のメモリ/プロセッサ/機能ユニットの上に記録することができる。
いくつかの実施形態において、特定の記載された装置/デバイス/サーバは、所望の動作を実行するために、適切なソフトウェアで前もってプログラムすることができる。ここで、例えば、ソフトウェアとその関連機能をアンロック/使用可能にするために、ユーザが、「鍵(key)」をダウンロードすることによって、適切なソフトウェアを使用可能にすることができる。そのような実施形態に結びついた利点は、デバイスに対して更なる機能を要求されたとき、データをダウンロードする要求を少なくすることを含むことができる。そして、これは、例えば、ユーザが使用可能にすることができない機能のためにそのような前もってプログラムされたソフトウェアをストアするのに、デバイスに十分な能力があると認められるような場合に有用である。
いかなる記載された装置/回路/要素/プロセッサでも、前述の機能に加えて、他の機能を持つことができる。そして、これらの機能は、同じ装置/回路/素子/プロセッサにより実行することができる。1つ以上の開示された態様は、付随するコンピュータ・プログラム、および、適切なキャリア(例えば、メモリ、信号、など)の上に記録されたコンピュータ・プログラム(これは、ソースあるいは搬送コード化できる)の電子配信を含むことができる。
ここに記述されるいかなる「コンピュータ」も、同じ回路基板に、または、回路基板の、あるいは、同じデバイスの上でさえも同じ領域/位置に配置できても配置できなくても1つ以上の個々のプロセッサ/処理要素の集合を備えることができる。いくつかの実施形態において、いかなる記載されたプロセッサの1つ以上を、複数のデバイスに配布することができる。同一の、あるいは、異なるプロセッサ/処理要素は、ここに記述された1つ以上の機能を実行することができる。
「信号伝達(signalling)」という用語は、送信されたおよび/または受信された電気/光学信号のシリーズとして送信された1つ以上の信号を指すことができる。この信号のシリーズは、その信号伝達を構成するために、1つ、2つ、3つ、4つ、またはさらに多くの個別の信号コンポーネントまたは別個の信号をふくむことができる。これら個々の信号のいくつかまたは全てが、無線または有線通信で、同時に、シーケンスで、および/または、それらが互いに時間的にオーバラップするように、送受信されることができる。
すべての上述されたコンピュータやプロセッサ、および、(例えば、ROM、CD−ROMその他を含む)メモリのすべての議論を参照すると、これらは、コンピュータ・プロセッサ、特定用途向け集積回路(ASIC)、フィールド・プログラマブル・ゲート、アレイ(FPGA)、および/または、本願発明の機能を実行するようにプログラムされた他のハードウェアコンポーネントを備えることができる。
出願人は、ここに記述した個々の特徴を、単独で、および、2つ以上のそれらの特徴の任意の組合せで、そのような特徴、または、それらの組合せが、そのような特徴、あるいは、特徴の組合せが、ここに開示された、いかなる問題も解決するかどうかにかかわりなく、そして、本願特許請求の範囲に制限することなく、当業者の一般的共通知識に照らして、全体として本願仕様に基づいて、実行することが可能である範囲で、開示する。本願出願人は、開示された態様/実施形態は、いかなるそのような特徴、あるいは、特徴の組合せをも含むことができることを示す。前述の説明の観点から、種々の修正が、本願開示の範囲内で行うことができることは、当業者には明白である。
基本的な新規な特徴を、それらの例示的実施形態に適用されるように、示し、記載し、指摘してきたが、記述されたデバイスおよび方法の形と詳細における種々の省略および代替および変更、当業者によって、本願開示の趣旨を逸脱することなく、作られることができることが理解される。例えば、同一の結果を達成するために、実質的に同一の方法で実質的に同一の機能を実行する、それらの要素や方法ステップのすべての組合せは、本願開示の範囲内であることが、明確に意図されている。さらに、すべての開示された形式または実施形態に関連して示され、および/または、記述された構造や要素や方法ステップは、設計選択の一般的な問題として、任意の他の開示さえた、または、記載された、または、示唆された形式または、実施形態に組み込むことができることは認められなければならない。更にまた、特許請求の範囲において、ミーンズ・プラス・ファンクション・クローズは、述べられた機能を実行するような、ここに記述される構造をカバーすることを意図するものである。また、構造的等価物だけではなく、等価的な構成をもカバーするものである。したがって、釘とネジとは、木の部品を固定する環境でネジが螺旋形の表面を使用するのに対して、木の部品を一緒に固定するのに釘が円筒周面を使用するという点で構造的等価物ではあり得ないけれども、釘とネジとは、等価的な構成であり得る。

Claims (20)

  1. 少なくとも1つのプロセッサと、コンピュータ・プログラム・コードを含む少なくとも1つのメモリとを備える装置であって、
    前記少なくとも1つのメモリと、前記プログラム・コードとは、前記少なくとも1つのプロセッサにより、前記装置に、
    少なくとも、グラフィカル・ユーザ・インタフェースの複数のユーザ・インタフェース要素の間での特定の空間インタラクションに基づいて、差動的触覚フィードバックの供給を可能にすることを実行させるように構成される、装置。
  2. 前記装置は、前記複数のユーザ・インタフェース要素の空間インタラクション領域において第1の触覚フィードバック、および、前記複数のユーザ・インタフェース要素の外側の空間インタラクション領域において第2の異なる触覚フィードバックの供給を可能にするように構成される、請求項1に記載の装置。
  3. 前記装置は、触覚フィードバックが、前記複数のユーザ・インタフェース要素の間のオーバラップの特定の程度、および、前記複数のユーザ・インタフェース要素の間の接触の特定の程度、の1つ以上に依存しているように構成される、請求項1または請求項2に記載の装置。
  4. 前記装置は、グラフィカル・ユーザ・インタフェースの検出範囲において、スタイラスが検出されたときに、差動的触覚フィードバックの提供を可能にするように構成される、請求項1ないし3のいずれか1項に記載の装置。
  5. 前記装置は、前記ユーザ・インタフェース要素が空間的にインタラクトしていないときに、前記ユーザ・インタフェース要素に結びついた触覚フィードバックに基づいて、前記複数のユーザ・インタフェース要素のうちの1つに提供された差動的触覚フィードバックを提供するように構成される、請求項1ないし4のいずれか1項に記載の装置。
  6. 前記装置は、前記差動的触覚フィードバックが、ユーザ・インタフェース要素と空間的にインタラクトしている他のものを覆う前記複数のユーザ・インタフェース要素のうちのどれに依存しているように構成される、請求項1ないし5のいずれか1項に記載の装置。
  7. 前記装置は、前記触覚フィードバックの波形、触覚フィードバックの期間、触覚フィードバックの一貫性、触覚フィードバックの強度、のうちの1つ以上を変更することによって、差動的触覚フィードバックを提供するように構成される、請求項1ないし6のいずれか1項に記載の装置。
  8. 前記装置は、前記空間インタラクションを決定するように構成される、請求項1ないし7のいずれか1項に記載の装置。
  9. 前記空間インタラクションは、一次元、二次元、三次元のうちの少なくとも1つにおいて、空間インタラクションを含む、請求項1ないし8のいずれか1項に記載の装置。
  10. 前記複数のユーザ・インタフェース要素の少なくとも1つは、電子デバイスを用いて実行可能な関連機能を作動させるために選択可能であるように構成される、請求項1ないし9のいずれか1項に記載の装置。
  11. 前記複数のユーザ・インタフェース要素のうちの少なくとも1つは、前記グラフィカル・ユーザ・インタフェースによって提供されたオブジェクトであり、そして、それは、前記ユーザによって操作されることができるが、前記電子デバイスで機能を実行するために使用されることはできない、請求項1ないし10のいずれか1項に記載の装置。
  12. 前記空間インタラクションは、前記複数のユーザ・インタフェース要素のうちの1つ以上の操作を用いて、可能となる、請求項1ないし11のいずれか1項に記載の装置。
  13. 前記装置は、前記ユーザが前記ユーザ・インタフェース要素とインタラクトしているときに、リアルタイムで、差動的触覚フィードバックの供給を可能にするように構成される、請求項1ないし12のいずれか1項に記載の装置。
  14. 前記触覚フィードバックは、触覚アクチュエータのアレイ、圧電トランスデューサ、電気活性ポリマー、および、電気触覚材料(electro tactile material)、のうちの1つ以上を使って提供される、請求項1ないし13のいずれか1項に記載の装置。
  15. 前記差動的触覚フィードバックを提供するために、前記装置は、触覚アクチュエータのアレイ、圧電トランスデューサ、電気活性ポリマー、および、電気触覚材料(electro tactile material)、のうちの1つ以上を備える、請求項1ないし14のいずれか1項に記載の装置。
  16. 前記装置は、ディスプレイ出力として、前記複数のユーザ・インタフェース要素を提供するように構成される前記グラフィカル・ユーザ・インタフェースを備える、請求項1ないし15のいずれか1項に記載の装置。
  17. 前記装置は、スタイラス、マウス、タッチパッド、タッチ・スクリーン、ジョイスティック、または、外部入力デバイスのうちの1つ以上を通して、差動的触覚フィードバックの供給を可能にするように構成される、請求項1ないし16のいずれか1項に記載の装置。
  18. 前記装置は、前記グラフィカル・ユーザ・インタフェース、ポータブル電子デバイス、ラップトップ・コンピュータ、携帯電話、多機能電話、スマート・テレビ、タブレット・コンピュータ、パーソナル携帯情報機器、デジタル・カメラ、腕時計、サーバ、非ポータブル電子デバイス、デスクトップ・コンピュータ、モニター、サーバ、ワンド、ポインティング・スティック、タッチパッド、タッチ・スクリーン、マウス、ジョイスティック、または、それらの1つ以上に対するモジュール/回路である、請求項1ないし17のいずれか1項に記載の装置。
  19. グラフィカル・ユーザ・インタフェースの複数のユーザ・インタフェース要素の間での特定の空間インタラクションに基づいて、差動的触覚フィードバックの供給を可能にするステップを含む方法。
  20. コンピュータ・プログラム・コードを備えるコンピュータ・プログラムであって、該コンピュータ・プログラム・コードは、少なくとも、グラフィカル・ユーザ・インタフェースの複数のユーザ・インタフェース要素の間での特定の空間インタラクションに基づいて、差動的触覚フィードバックの供給を可能にすることを実行するように構成されている、コンピュータ・プログラム。
JP2015548415A 2012-12-19 2013-12-16 ユーザ・インタフェースおよび関連する方法 Active JP6046833B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/720,228 US9202350B2 (en) 2012-12-19 2012-12-19 User interfaces and associated methods
US13/720,228 2012-12-19
PCT/EP2013/076758 WO2014095756A1 (en) 2012-12-19 2013-12-16 User interfaces and associated methods

Publications (2)

Publication Number Publication Date
JP2016504683A true JP2016504683A (ja) 2016-02-12
JP6046833B2 JP6046833B2 (ja) 2016-12-21

Family

ID=49956132

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015548415A Active JP6046833B2 (ja) 2012-12-19 2013-12-16 ユーザ・インタフェースおよび関連する方法

Country Status (5)

Country Link
US (2) US9202350B2 (ja)
EP (1) EP2936280A1 (ja)
JP (1) JP6046833B2 (ja)
CN (1) CN105074616B (ja)
WO (1) WO2014095756A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018109974A (ja) * 2016-12-27 2018-07-12 イマージョン コーポレーションImmersion Corporation 視野を用いる触覚フィードバック
JP6366863B1 (ja) * 2017-04-10 2018-08-01 三菱電機株式会社 ユーザインタフェース装置

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5641367B2 (ja) * 2012-03-19 2014-12-17 アイシン・エィ・ダブリュ株式会社 操作入力システム
CN103235662B (zh) * 2013-04-18 2018-09-14 广东欧珀移动通信有限公司 实现输入模式自动切换的方法及其终端
KR102096146B1 (ko) 2014-09-02 2020-04-28 애플 인크. 가변 햅틱 출력을 위한 시맨틱 프레임워크
US20160334901A1 (en) * 2015-05-15 2016-11-17 Immersion Corporation Systems and methods for distributing haptic effects to users interacting with user interfaces
DK179657B1 (en) 2016-06-12 2019-03-13 Apple Inc. Devices, methods and graphical user interfaces for providing haptic feedback
DK179823B1 (en) 2016-06-12 2019-07-12 Apple Inc. DEVICES, METHODS, AND GRAPHICAL USER INTERFACES FOR PROVIDING HAPTIC FEEDBACK
CN108369455B (zh) * 2016-09-06 2020-03-31 苹果公司 用于提供触觉反馈的设备、方法和图形用户界面
DK201670720A1 (en) 2016-09-06 2018-03-26 Apple Inc Devices, Methods, and Graphical User Interfaces for Generating Tactile Outputs
DK179278B1 (en) 2016-09-06 2018-03-26 Apple Inc Devices, methods and graphical user interfaces for haptic mixing
CN106774948A (zh) * 2017-02-16 2017-05-31 南昌欧菲显示科技有限公司 触摸屏及电子装置
DK201770372A1 (en) 2017-05-16 2019-01-08 Apple Inc. TACTILE FEEDBACK FOR LOCKED DEVICE USER INTERFACES
CN110908580B (zh) * 2019-11-11 2021-11-02 广州视源电子科技股份有限公司 控制应用的方法和装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080229206A1 (en) * 2007-03-14 2008-09-18 Apple Inc. Audibly announcing user interface elements
US20090219252A1 (en) * 2008-02-28 2009-09-03 Nokia Corporation Apparatus, method and computer program product for moving controls on a touchscreen
JP2009217816A (ja) * 2008-03-10 2009-09-24 Lg Electronics Inc 端末機及びその制御方法
JP2010015239A (ja) * 2008-07-01 2010-01-21 Sony Corp 情報処理装置、及び情報処理装置における振動制御方法
US20100156818A1 (en) * 2008-12-23 2010-06-24 Apple Inc. Multi touch with multi haptics
WO2014006799A1 (ja) * 2012-07-05 2014-01-09 日本電気株式会社 電子機器、その制御方法及び制御プログラムが格納された非一時的なコンピュータ可読媒体

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6219032B1 (en) * 1995-12-01 2001-04-17 Immersion Corporation Method for providing force feedback to a user of an interface device based on interactions of a controlled cursor with graphical elements in a graphical user interface
US6429846B2 (en) * 1998-06-23 2002-08-06 Immersion Corporation Haptic feedback for touchpads and other touch controls
EP2385518A3 (en) 2000-05-24 2012-02-15 Immersion Medical, Inc. Haptic devices using electroactive polymers
US8059088B2 (en) 2002-12-08 2011-11-15 Immersion Corporation Methods and systems for providing haptic messaging to handheld communication devices
US7336266B2 (en) 2003-02-20 2008-02-26 Immersion Corproation Haptic pads for use with user-interface devices
US20060066569A1 (en) 2003-12-08 2006-03-30 Immersion Corporation, A Delaware Corporation Methods and systems for providing haptic messaging to handheld communication devices
JP2005190290A (ja) * 2003-12-26 2005-07-14 Alpine Electronics Inc 入力制御装置及び入力応答方法
KR100682901B1 (ko) 2004-11-17 2007-02-15 삼성전자주식회사 화상표시장치에서 전기활성폴리머를 사용하여 영상정보의핑거팁 햅틱을 제공하는 장치 및 방법
US20070106457A1 (en) 2005-11-09 2007-05-10 Outland Research Portable computing with geospatial haptic compass
KR100791378B1 (ko) 2005-12-29 2008-01-07 삼성전자주식회사 다양한 입력 모드를 지원하는 사용자 명령 입력 장치 및이를 이용한 기기
KR100877067B1 (ko) 2006-01-03 2009-01-07 삼성전자주식회사 햅틱 버튼 및 이를 이용한 햅틱 기기
KR101384434B1 (ko) 2006-04-06 2014-04-10 임머숀 코퍼레이션 햅틱 효과 개선을 위한 시스템들 및 방법들, 및 기록 매체
JP2008033739A (ja) * 2006-07-31 2008-02-14 Sony Corp 力覚フィードバックおよび圧力測定に基づくタッチスクリーンインターラクション方法および装置
BRPI0622003A2 (pt) 2006-09-27 2012-10-16 Nokia Corp tela sensìvel ao toque, dispositivo eletrÈnico, método para operar tela sensìvel ao toque de dispositivo eletrÈnico e produto de software
US20080303796A1 (en) 2007-06-08 2008-12-11 Steven Fyke Shape-changing display for a handheld electronic device
US7741979B2 (en) 2007-07-06 2010-06-22 Pacinian Corporation Haptic keyboard systems and methods
US7847677B2 (en) 2007-10-04 2010-12-07 International Business Machines Corporation Method and system for providing auditory feedback for the visually impaired when defining visual models
US8866641B2 (en) 2007-11-20 2014-10-21 Motorola Mobility Llc Method and apparatus for controlling a keypad of a device
US8310444B2 (en) 2008-01-29 2012-11-13 Pacinian Corporation Projected field haptic actuation
US7906891B2 (en) 2008-02-05 2011-03-15 Sony Ericsson Mobile Communications Ab Light control of an electronic device
US9696803B2 (en) * 2009-03-12 2017-07-04 Immersion Corporation Systems and methods for friction displays and additional haptic effects
WO2011011552A1 (en) * 2009-07-22 2011-01-27 Immersion Corporation Interactive touch screen gaming metaphors with haptic feedback across platforms
US20110029864A1 (en) 2009-07-30 2011-02-03 Aaron Michael Stewart Touch-Optimized Approach for Controlling Computer Function Using Touch Sensitive Tiles
KR20130088035A (ko) 2010-06-14 2013-08-07 톰슨 라이센싱 코딩된 멀티-컴포넌트 비디오를 인캡슐레이팅하기 위한 방법 및 장치
JP5589625B2 (ja) * 2010-07-08 2014-09-17 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US8576171B2 (en) * 2010-08-13 2013-11-05 Immersion Corporation Systems and methods for providing haptic feedback to touch-sensitive input devices
KR101690595B1 (ko) * 2010-09-01 2016-12-28 엘지전자 주식회사 이동 단말기 및 이동 단말기의 아이콘 관리 방법
EP2649504A1 (en) * 2010-12-10 2013-10-16 Sony Ericsson Mobile Communications AB Touch sensitive haptic display
WO2012135378A1 (en) * 2011-04-01 2012-10-04 Analog Devices, Inc. Method and apparatus for haptic vibration response profiling and feedback
US9448713B2 (en) * 2011-04-22 2016-09-20 Immersion Corporation Electro-vibrotactile display
KR102047689B1 (ko) * 2012-12-17 2019-11-22 엘지전자 주식회사 택타일 사용자 인터페이스의 미니-맵을 제공하는 터치 센서티브 디바이스 및 제어 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080229206A1 (en) * 2007-03-14 2008-09-18 Apple Inc. Audibly announcing user interface elements
US20090219252A1 (en) * 2008-02-28 2009-09-03 Nokia Corporation Apparatus, method and computer program product for moving controls on a touchscreen
JP2009217816A (ja) * 2008-03-10 2009-09-24 Lg Electronics Inc 端末機及びその制御方法
JP2010015239A (ja) * 2008-07-01 2010-01-21 Sony Corp 情報処理装置、及び情報処理装置における振動制御方法
US20100156818A1 (en) * 2008-12-23 2010-06-24 Apple Inc. Multi touch with multi haptics
WO2014006799A1 (ja) * 2012-07-05 2014-01-09 日本電気株式会社 電子機器、その制御方法及び制御プログラムが格納された非一時的なコンピュータ可読媒体

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018109974A (ja) * 2016-12-27 2018-07-12 イマージョン コーポレーションImmersion Corporation 視野を用いる触覚フィードバック
JP6366863B1 (ja) * 2017-04-10 2018-08-01 三菱電機株式会社 ユーザインタフェース装置

Also Published As

Publication number Publication date
US20140167942A1 (en) 2014-06-19
JP6046833B2 (ja) 2016-12-21
US20160070351A1 (en) 2016-03-10
CN105074616B (zh) 2017-03-29
US9665177B2 (en) 2017-05-30
CN105074616A (zh) 2015-11-18
WO2014095756A1 (en) 2014-06-26
EP2936280A1 (en) 2015-10-28
US9202350B2 (en) 2015-12-01

Similar Documents

Publication Publication Date Title
JP6046833B2 (ja) ユーザ・インタフェースおよび関連する方法
US10915225B2 (en) User terminal apparatus and method of controlling the same
US20210191582A1 (en) Device, method, and graphical user interface for a radial menu system
US9766739B2 (en) Method and apparatus for constructing a home screen in a terminal having a touch screen
JP6226574B2 (ja) ハプティックフィードバックコントロールシステム
AU2014312481B2 (en) Display apparatus, portable device and screen display methods thereof
KR102052424B1 (ko) 단말에서 애플리케이션 실행 윈도우 표시 방법 및 이를 위한 단말
KR101126394B1 (ko) 이동 단말기 및 이동 단말기를 이용한 정보 표시 방법
EP2778884A2 (en) Electronic device and method for controlling screen display using temperature and humidity
KR102190904B1 (ko) 윈도우 제어 방법 및 이를 지원하는 전자장치
EP3211515B1 (en) Display device and method for controlling display device
KR20140073396A (ko) 복수 어플리케이션을 실행하는 디스플레이 장치 및 그 제어 방법
US20160224221A1 (en) Apparatus for enabling displaced effective input and associated methods
CN111684402B (zh) 触摸输入表面上的触觉效果
KR102098258B1 (ko) 콘텐츠 편집 방법 및 이를 구현하는 전자기기
CN104035710B (zh) 具有在对象上的预执行的功能的移动设备及其控制方法
WO2014207288A1 (en) User interfaces and associated methods for controlling user interface elements
JP6434339B2 (ja) 電子機器、制御方法、及び制御プログラム

Legal Events

Date Code Title Description
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20151214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160401

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160628

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160916

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160921

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161018

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161117

R150 Certificate of patent or registration of utility model

Ref document number: 6046833

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250