JP2010015239A - 情報処理装置、及び情報処理装置における振動制御方法 - Google Patents

情報処理装置、及び情報処理装置における振動制御方法 Download PDF

Info

Publication number
JP2010015239A
JP2010015239A JP2008172408A JP2008172408A JP2010015239A JP 2010015239 A JP2010015239 A JP 2010015239A JP 2008172408 A JP2008172408 A JP 2008172408A JP 2008172408 A JP2008172408 A JP 2008172408A JP 2010015239 A JP2010015239 A JP 2010015239A
Authority
JP
Japan
Prior art keywords
vibration
amount
data
information processing
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008172408A
Other languages
English (en)
Other versions
JP4561888B2 (ja
Inventor
Tetsuo Ikeda
哲男 池田
Takeshi Miyashita
健 宮下
Tatsushi Nashida
辰志 梨子田
Koichi Matsuda
晃一 松田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2008172408A priority Critical patent/JP4561888B2/ja
Priority to US12/494,647 priority patent/US8314777B2/en
Priority to CN200910151850A priority patent/CN101620510A/zh
Publication of JP2010015239A publication Critical patent/JP2010015239A/ja
Application granted granted Critical
Publication of JP4561888B2 publication Critical patent/JP4561888B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/014Force feedback applied to GUI

Abstract

【課題】直感的な操作体系を実現することが可能な情報処理装置を提供すること。
【解決手段】オブジェクトが表示された画面上の位置が接触されたまま移動された場合に、前記接触位置の移動に応じて前記オブジェクトの表示位置を移動させる表示制御部(104)と、前記オブジェクトの表示位置が移動する際に、当該オブジェクトに対応付けられたデータのパラメータ量に応じた振動量で前記接触位置を振動させる振動制御部(110)とを備える、情報処理装置(100)が提供される。
【選択図】図7

Description

本発明は、情報処理装置、及び情報処理装置における振動制御方法に関する。
近年、小型の電子機器や自動取引装置には、ユーザが表示画面に直接接触して画面内に表示されたオブジェクトを操作するためのタッチパネルが搭載されていることが多い。タッチパネルを用いることにより、直感的な操作感が実現され、キーボードやキーパッド等の操作に不慣れなユーザでも容易に操作が行えるという利点が得られる。最近の電子機器には、ユーザがタッチパネルを操作することにより、画面内に表示された表示オブジェクトが移動されたり、この移動操作により所定の処理が実行されたりするものもある。
こうした技術に関連し、例えば、下記の特許文献1には、表示オブジェクトの動作に応じて電子機器に振動を与える技術が開示されている。また、下記の特許文献2、3には、ユーザによりタッチされたタッチパネル上の位置に応じて振動量を変化させる技術が開示されている。さらに、下記の特許文献4には、ユーザによりタッチパネルがタッチされた時点からタッチ操作に対応する処理が確定するまで振動量を徐々に変化させる技術が開示されている。このように、タッチパネルの操作と振動とを組み合わせることにより、ユーザの操作感を向上させることが可能になる。
特開2002−149312号公報 特開2004− 86711号公報 特開2004−309962号公報 特開2005−149197号公報
上記の通り、タッチパネルの操作感を改善させるため、タッチパネルと振動とを組み合わせる技術に関して多くの研究開発が行われている。しかしながら、表示オブジェクトに対応付けられたデータの属性又は特性を振動により検知できるようにする技術については未だ知られていない。上記のように、タッチパネルを用いると、ユーザは、表示オブジェクトを直接的に操作して所定の処理を実行することができる。このようなタッチパネル操作の利便性を生かし、表示オブジェクトに対応付けられたデータの情報をユーザに対して効果的に伝達するための技術的な工夫が求められている。
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、表示オブジェクトを用いてユーザが処理しようとしているデータのパラメータ量を振動によりユーザに伝達することが可能な、新規かつ改良された情報処理装置、及び情報処理装置における振動制御方法を提供することにある。
上記課題を解決するために、本発明のある観点によれば、オブジェクトが表示された画面上の位置が接触されて移動された場合に、前記接触位置の移動に応じて前記オブジェクトの表示位置を移動させる表示制御部と、前記オブジェクトの表示位置が移動する際に、当該オブジェクトに対応付けられたデータのパラメータ量に応じた振動量で前記接触位置を振動させる振動制御部と、を備える、情報処理装置が提供される。
また、前記表示制御部は、画面上に表示された他のオブジェクトに移動中の前記オブジェクトが当接した場合、当該他のオブジェクトと前記移動中のオブジェクトとを共に移動させるように構成されていてもよい。この場合、前記振動制御部は、前記共に移動する両オブジェクトの合計パラメータ量に応じた振動量で前記接触位置を振動させるように構成される。
また、前記振動制御部は、前記オブジェクトが移動を開始する際の所定期間だけ、前記オブジェクトの移動中における振動量よりも大きな振動量で前記接触位置を振動させるように構成されていてもよい。
また、前記振動制御部は、前記移動中のオブジェクトが前記他のオブジェクトに当接した際に、所定期間だけ両オブジェクトが共に移動する際の移動中における振動量よりも大きな振動量で前記接触位置を振動させるように構成されていてもよい。
また、前記パラメータ量としては、前記オブジェクトに対応付けられたデータの取得時点又は更新時点から当該オブジェクトの移動開始時点までの期間が用いられうる。この場合、前記振動制御部は、前記期間が長いほど、大きな振動量で前記接触位置を振動させるように構成される。
また、前記パラメータ量としては、前記オブジェクトに対応付けられたデータのデータサイズが用いられてもよい。
また、前記データとしては、映像データ又は音楽データが用いられてもよい。この場合、前記パラメータ量には、前記オブジェクトに対応付けられたデータの再生時間が用いられる。
また、前記データとしては、画像データが用いられてもよい。この場合、前記パラメータ量には、前記オブジェクトに対応付けられたデータの画像サイズが用いられる。
また、前記データには、複数のコンテンツが含まれていてもよい。この場合、前記パラメータ量には、前記データに含まれるコンテンツ数が用いられる。
また、指により表示画面が接触されて前記オブジェクトの表示位置が移動される場合、前記振動制御部は、前記表示画面に接触された指の本数に応じて前記振動量を変化させるように構成されていてもよい。
また、前記振動制御部は、前記指の本数が増えた場合に前記振動量を低減させるように構成されていてもよい。
また、上記課題を解決するために、本発明の別の観点によれば、オブジェクトが表示された画面上の位置が接触されて移動された場合に、前記接触位置の移動に応じて前記オブジェクトの表示位置が移動制御される移動制御ステップと、前記オブジェクトの表示位置が移動制御される際に、当該オブジェクトに対応付けられたデータのパラメータ量に応じた振動量で前記接触位置が振動するように制御される振動制御ステップと、を含む、情報処理装置における振動制御方法が提供される。
以上説明したように本発明によれば、表示オブジェクトを用いてユーザが処理しようとしているデータのパラメータ量を振動によりユーザに伝達することが可能になる。その結果、より直感的な操作体系が実現される。
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
[説明の流れについて]
ここで、以下に記載する本発明の実施形態に関する説明の流れについて簡単に述べる。まず、図1、図2を参照しながら、タッチパネルを用いた一般的な表示オブジェクトの移動操作、及び表示制御方法について具体例を挙げて説明する。この中で、本発明の実施形態が目的とするところについて説明する。次いで、図3、図4を参照しながら、本発明の一実施形態に係る情報処理装置100の表示構成、及び振動制御方法について、具体的な例を挙げて説明する。
次いで、図5、図6を参照しながら、本実施形態の振動制御方法に係る振動量の制御パターンについて具体的な例を挙げて説明する。次いで、図7を参照しながら、本実施形態に係る情報処理装置100の機能構成について説明する。この中で、図3〜図6で説明した技術的構成と情報処理装置100の各機能構成との間の対応関係等についても説明する。また、図8を参照しながら、本実施形態に係る情報処理装置100の機能を実現することが可能なハードウェア構成の一例について説明する。最後に、本実施形態に係る技術的構成が奏する作用効果について纏める。
[目的]
まず、本発明の実施形態ついて説明するに先立ち、図1、図2を参照しながら、タッチパネルを用いた一般的な表示オブジェクトの移動操作、及び表示制御方法について簡単に説明する。図1、図2は、一般的な表示オブジェクトの移動操作、及び表示制御方法の一例を示す説明図である。なお、ここで示す処理は、例えば、タッチパネル機能を有する表示画面12を備えた情報処理装置10により実現される。
まず、図1を参照する。図1には、表示画面構成の一例として、写真データの閲覧に用いられるフォトビューワの動作画面が示されている。図1に例示したフォトビューワは、複数の写真データが所定の方向に沿って配列され、ユーザが所定の方向に沿って指をスライド操作することで前後の写真にフォーカスを移動できるように構成されている。例えば、右側に配置された次の写真にフォーカスを当てて表示したい場合、ユーザは、表示画面12上を指で左方向にスライド操作すればよい。このとき、フォトビューワは、ユーザに対してスライド操作における抵抗感を与える。
ここで言うスライド操作の抵抗感とは、例えば、普段の生活の中で日常的に遭遇する現象(以下、日常現象)の1つを表現したものである。身の回りの日常現象としては、例えば、ボールを力一杯投げた場合にボールが勢い良く遠くまで飛んで行くことや、引っ張った輪ゴムから手を離した場合に元に戻ってしまうということが挙げられる。その他にも、重いものは動き難いが、軽いものは小さな力でも動くというのも日常現象の1つである。また、単純な例であるが、1人で押しても動かないものが2人で押すことで動くというのも日常現象の1つと言える。但し、これらの日常現象は物理現象(又は物理法則)に基づくものである。
一方で、身の回りにある生活用品の動作が日常現象になっているものもある。例えば、バネ仕掛けによりボタン1つで開動作ができる傘が良い例である。この傘を畳む際、ユーザは、把持部材に設けられた嵌合部分が柄のフックに掛かるまで、強い力で把持部材を柄に向かって引き寄せる。引き寄せる力が弱いとバネの抵抗力で傘が再び開いてしまう。同様の例として、例えば、扉を完全に開き切った状態にしなかったために、扉が開いた状態で固定されず、すぐに扉が閉じてしまったということを経験したことがあるだろう。このような場面を経験することにより、ユーザは、例えば、強い力で又は最後まで所定操作を実行した場合には目的の動作が完了し、弱い力で又は途中まで所定操作を実行した場合には再び動作前の状態に戻ってしまうということを日常現象として認識しているのである。
ここで挙げた2つの例は、ユーザが日常的に経験する「抵抗感」を示すものである。このような「抵抗感」は、例えば、図1、図2に示すようなグラフィックスのフィードバックにより表現することができる。
図1は、ユーザが少しだけ指をスライドさせて写真の表示位置を移動させた状態を示すものである。写真P.1が中央に表示された状態からユーザがスライド操作することで、スライドされた距離だけ写真P.1がスライド方向に移動する。但し、スライド距離が所定の閾値よりも短いものとする。スライド操作の後、ユーザが表示画面12から指を離すと、情報処理装置10は、スライド距離が短いと判断して、写真P.1が中央に配置された元の表示位置に戻す処理を行う。つまり、スライド距離が短いと、スライド操作を行っても写真の表示配置が更新されないことになる。
図2は、ユーザが大きく指をスライドさせて写真の表示位置を移動させた状態を示すものである。写真P.1が中央に表示された状態からユーザがスライド操作することで、スライドされた距離だけ写真P.1がスライド方向に移動する。但し、スライド距離が所定の閾値よりも長いものとする。スライド操作の後、ユーザが表示画面12から指を離すと、情報処理装置10は、スライド距離が長いと判断して、次の写真P.2が中央に配置された表示位置に遷移させる処理を行う。つまり、スライド距離が長い場合、表示画面12は、スライド操作に応じて次の写真がフォーカスされるように配置された表示構成に更新されることになる。
では、図1、図2で示したグラフィックスによるフィードバックは、ユーザにどのような感覚を与えるのであろうか。既に述べた通り、ユーザは、自身の経験から様々な日常現象を無意識に知覚している。上記の傘や扉もその一例である。また、ユーザは、電子機器に設けられたボタン等の操作手段に関する日常現象についても知覚している。例えば、ボタンを十分な深さで押下しなければボタンの押下に対応付けられた処理が実行されないという現象が1つの例として挙げられる。この場合、ユーザは、ボタンの感触を頼りに、ボタンが十分な深さで押下されたか否かを知覚している。そのため、ユーザは、ボタンが深く押し込まれていないと感じられたら、ボタンを押し直す操作を行ったりする。
しかし、タッチパネルに接触した指のスライド操作と、表示画面12に表示されたオブジェクトの移動との連携動作により実現される操作体系においては、ユーザが「感触」を頼りにして何かを実行するという機会は少ない。もちろん、このような操作体系であっても、ユーザは、グラフィックスを移動させたり、表示されたボタンを押下することができるであろう。但し、ユーザに対して感覚又は感触のフィードバックが与えられない。そのため、ユーザは、操作結果を確認しながら次の操作を進めたり、操作を続行又は中断する判断をすることになる。
そこで、ユーザが無意識に知覚している日常現象に比較的近い振る舞いをする操作体系が実現できれば、操作結果を確認しながら操作を進めずに済むため、ユーザの操作感をより向上させることができる。さらに、このような操作感の向上が操作ミスの低減や操作速度の向上をもたらすことも期待される。
図1、図2に示した例の場合、スライド距離が短い場合に元の表示配置に戻るという日常現象に近い振る舞いが実現されるため、ユーザは、視覚を通じて自然な操作感を体験することができるようになる。この例では「抵抗感」を表現したが、例えば、「勢いの強さ」や「惰性」等を表現することもできる。
しかしながら、視覚を通じて表現する場合、指で対象物(例えば、写真等)が隠れると、ユーザに「感触」が伝わらなくなってしまう。また、このような表現形態を用いても、視覚を通じて操作結果を確認しながら操作を進める操作体系には違いないため、ユーザの操作感に対する格別に有利な効果は与えられない。こうした点を考慮し、ユーザに対してデータの情報を視覚以外の手段で「感触」として伝える技術の実現が求められているのである。以下で説明する実施形態は、このような技術的な要求を実現することを目的とするものである。
<実施形態>
以下、本発明の一実施形態について説明する。本実施形態は、グラフィックスの表示動作に連動して振動をユーザにフィードバックする技術に関するものである。より詳細には、グラフィックスに対応付けられたデータのパラメータ量に応じて振動量を制御し、より直感的な表現を持つ操作体系をユーザに提供する技術に関するものである。つまり、当該技術は、処理動作の完了や接触位置をユーザに振動で通知するだけの単純な技術とは異なり、操作対象に関する情報に基づいて制御される振動量で、ユーザに対して振動による「感触」を提供するものである。
[振動制御方法について]
まず、図3、図4を参照しながら、本実施形態に係る振動制御方法について説明する。
図3は、1つのオブジェクトの移動開始時及び移動中における振動制御方法を示す説明図である。図4は、複数のオブジェクトの衝突時及び移動中における振動制御方法を示す説明図である。なお、以下の説明の中で、各種のデータに対応付けられた操作対象のことを表示オブジェクト又は単にオブジェクトと呼ぶことにする。また、図3、図4に例示された表示構成、及び振動制御処理は、後述する情報処理装置100の機能構成により実現される。さらに、オブジェクトが表示される表示画面は、情報処理装置100が備える入出力部102に対応し、例えば、タッチパネル等により実現される。
(1オブジェクトの移動時における振動制御について)
図3を参照する。図3には、一例として、3つのオブジェクトが画面上に表示された情報処理装置100の表示画面が示されている。ここで示した各オブジェクトは、写真データ、音楽データ、又はビデオデータに対応付けられている。もちろん、表示画面には、他の種類のデータに対応付けられたオブジェクトが表示されていてもよい。さらに、この表示画面には、1つのオブジェクトだけが表示されていてもよいし、2つ又は4つ以上のオブジェクトが表示されていてもよい。そして、1つのオブジェクトに複数のデータが対応付けられていてもよい。
また、図3に例示した情報処理装置100の画面上には、移動先領域が表示されている。この移動先領域とは、オブジェクトが移動される移動先を表す表示領域である。移動先領域にオブジェクトが移動されると、例えば、当該オブジェクトに対応付けられたデータが情報処理装置100に保存される。このとき、情報処理装置100は、各種のデータを配信するコンテンツサーバ等から、移動先領域に移動されたオブジェクトに対応付けられたデータを取得して保存するように構成されていてもよい。
他の構成として、例えば、移動先領域にオブジェクトが移動されると、そのオブジェクトに対応付けられたデータが所定の外部記憶装置に記録されるように構成されていてもよい。さらに、移動先領域には、データの保持や記録以外にも、様々な機能が割り当てられていてもよい。例えば、移動先領域には、情報処理装置100に有線又は無線で接続されたサーバ等の機器に対し、移動先領域に移動されたオブジェクトに対応するデータがアップロードされる機能が割り当てられていてもよい。また、移動先領域には、その領域に移動されたオブジェクトに対応するデータが破棄される機能が割り当てられていてもよい。
このように、移動先領域には任意の機能が割り当てられうる。但し、以下の説明においては、説明の都合上、移動先領域に移動されたオブジェクトのデータが情報処理装置100に保存される構成を例に挙げて説明する。また、ユーザが音楽データのオブジェクトを移動させる操作、及びこの操作に応じた情報処理装置100の動作について説明する。
まず、ユーザは、音楽データのオブジェクトが表示された画面上の位置を指で接触する。以下、ユーザが接触している位置を接触部分と呼ぶことにする。さらに、ユーザは、音楽データのオブジェクトを移動先領域に向けて移動させるため、指を音楽データのオブジェクトに接触させたまま左方向に移動させる。但し、音楽データのオブジェクトが表示された位置から見て移動先領域が左側に配置されているものとする。
このようにしてスライド操作が行われると、音楽データのオブジェクトは、接触部分のスライド動作に伴って情報処理装置100により表示位置が移動される。つまり、ユーザのスライド操作に連動して音楽データのオブジェクトが移動される。
音楽データのオブジェクトが移動されると、音楽データのオブジェクトに接触しているユーザの指(接触部分)には情報処理装置100により振動が与えられる。但し、ユーザの指に与えられる振動の振動量は、移動されるオブジェクトに対応付けられた音楽データのパラメータ量に依存して決定される。このパラメータ量としては、例えば、音楽データのデータサイズ、再生時間、再生頻度、曲数、又は価格等が用いられる。
また、オブジェクトに対応付けられているデータの種類が写真データであれば、例えば、写真データのデータサイズ、写真の大きさ、撮影日時の古さ、表示頻度、編集頻度、又は価格等が振動量の決定要因として用いられる。さらに、オブジェクトに対応付けられているデータの種類がビデオデータであれば、例えば、ビデオデータのデータサイズ、再生時間、撮影日時の古さ、チャプター数、視聴頻度、編集頻度、又は価格等が用いられる。
また、この振動量は、オブジェクトが移動される際の移動距離や移動方向、或いは、移動速度等に基づいて決定されるように構成されていてもよい。さらに、オブジェクトに対応付けられたデータの種類に応じて振動量が異なるように構成されていてもよい。もちろん、この振動量は、これらの任意の決定要因を複数個組み合わせて設定されるように構成されていてもよい。以下の説明においては、上記のような任意の決定要因のことを総称してデータのパラメータ量と呼ぶことにする。
このようにして振動量が決定されることにより、ユーザは、接触部分から受ける振動量に応じて移動中のオブジェクトに対応付けられたデータのパラメータ量を把握することができる。この場合、オブジェクト及びこれに関連した表示情報が指等により隠れてしまっていても、ユーザは、確実にデータのパラメータ量を知覚することができるようになる。なお、携帯型の電子機器は、鞄やポケット等に入れて携帯し、そのままの状態で表示画面を見ずに操作することも多い。こうした場合に、振動により操作対象のデータに関する情報が得られることで、より正確な操作が実現され、操作性の向上に大きく寄与する。
(静止摩擦力の表現1)
さらに、本実施形態では、上記の「日常現象」の1つを振動により実現するため、オブジェクトの移動時における振動制御に関して次のような工夫が施される。ここで例示する「日常現象」は、物体の移動時に発生する静止摩擦力である。例えば、床の上に置かれた静止物体を押して移動させる際、物体と床との間には摩擦が発生する。そのため、静止物体を押して移動させるには、静止物体と床との間に働く摩擦力に抗して押圧力を加える必要がある。なお、摩擦力には静止摩擦力と動摩擦力がある。静止摩擦力は、静止物体が動き出すまでにかかる摩擦力である。動摩擦力は、動き出した物体にかかる摩擦力である。
静止摩擦力は動摩擦力よりも大きい。そのため、ユーザは、静止物体が動き出すまでは非常に重く感じ、物体が動き始めると比較的軽く感じるのである。本実施形態では、一例として、このような「静止摩擦」を振動量により表現する手法が提案される。図3の例では、音楽データのオブジェクトがユーザにより接触され、所定距離だけ移動される間、接触部分が比較的大きな振動量で振動される。所定距離だけ移動した後、接触部分の振動は、比較的小さな振動量に制御される。但し、この所定距離は任意に決定できる。また、振動量は、オブジェクトの移動距離が所定距離に達した瞬間に切り替えられてもよいし、振動量が漸減するように切り替えられてもよい。
このようにして静止摩擦力を表現することにより、静止状態から移動状態へと遷移する過程が「日常現象」とほぼ合致する形で表現され、ユーザは、「データ」の移動という操作を日常的な「物体」の移動という操作になぞらえて知覚することができるようになる。また、ユーザは、オブジェクトに接触して移動を開始した位置をより明確に知覚することができるようになる。
例えば、オブジェクトの表示位置を確認せずに、ユーザが右側から左側に向かって画面上を指でなぞっている状況を考えてみよう。仮に、静止摩擦力を表現した上記の構成を用いないとすると、ユーザの指がオブジェクトに接触したところから、接触部分に所定の振動量で振動が発生する。この場合、ユーザは、振動が開始された時点を移動開始の時点として知覚するであろう。しかし、人間の感覚は比較的鈍感である。もし、移動の開始時点が何らかの処理を開始するトリガーになっているような場合、このような構成では操作ミスが発生する確率が高まってしまう。例えば、オブジェクトの移動操作に応じて音楽の再生/停止/頭出し等が制御されるような場合、オブジェクトの移動開始時点をより正確に知覚することが可能な「静止摩擦力」の構成がより好適である。
(静止摩擦力に付随するグラフィックスの表現)
上記のように静止摩擦力が表現されることで、ユーザに対して「日常現象」に類似した「感覚」を与えることができるが、さらに、グラフィックスによる表現を付随させることにより、その効果を増進させることができる。例えば、図3に示すように、静止した状態のオブジェクトを移動させる場合、オブジェクトに指が接触した瞬間にはすぐにオブジェクトが移動せず、ある程度指を動かした段階でオブジェクトが移動するように構成される。さらに、指が接触した後、オブジェクトが移動せずに静止している間、比較的大きな振動量で接触部分が振動されるように構成される。
このようにしてオブジェクトの移動と振動量とが連動して制御されることにより、「静止物体は移動し難い」という「日常現象」が表現され、よりリアルな「感覚」がユーザに与えられる。また、重いファイル(例えば、データサイズの大きいファイル等)ほど、画面上で重い動作(動き難い)が表現されることで、よりリアリティの高い表現形態が実現される。指に伝達される振動と視覚情報とが連動してユーザに現実世界の現象に類似した感覚を与えることで、タッチパネルのような操作体系であっても、ユーザに対して、よりリアルな操作感を提供することができる。
(複数オブジェクトの移動時における振動制御について)
次に、図4を参照する。図4には、複数のオブジェクトが共に移動する場合の表示構成が示されている。一例として、図3に示したように、ユーザにより音楽データのオブジェクトが移動されている状況について考える。まず、その移動中に、音楽データのオブジェクトが写真データのオブジェクトに衝突した場合の振動制御方法について説明する。但し、衝突後もユーザはドラッグ操作を継続するものと仮定する。
(オブジェクト同士の衝突による複数オブジェクトの移動)
図4に示すように、音楽データのオブジェクトが写真データのオブジェクトに衝突すると、写真データのオブジェクトは、音楽データのオブジェクトと共に移動を開始する。なお、図4の例では、説明の都合上、音楽データのオブジェクトと写真データのオブジェクトとが衝突部分で重ならないように描画されているが、一部又は全部が重なって表示されてもよい。仮に、写真データのオブジェクトが全部隠れるように重なって表示されていたとしても、後述する振動量の制御方法を用いることで、ユーザは、複数のオブジェクトが重なっているか否かを容易に判断することができる。
音楽データのオブジェクトと写真データのオブジェクトとが共に移動する場合、ユーザの指に与えられる振動の振動量は、両オブジェクトの合計パラメータ量に基づいて決定される。例えば、パラメータ量としてデータサイズが用いられる場合、音楽データのデータサイズと写真データのデータサイズとの合計データサイズに応じて振動量が決定される。
そのため、ユーザは、表示画面を見ていなくても、オブジェクトが衝突したか否かを判別することができるようになる。また、既に述べた通り、複数のオブジェクトが重ねて表示されるような表示構成であっても、ユーザは、移動しているオブジェクトが重なっているのか否かを容易に判断できるようになる。さらに、ユーザは、「複数の物体を同時に移動させるには大きな力が必要になる」という「日常現象」に合致した操作感を得ることができるようになる。そのため、より操作感のリアリティが向上する。
(静止摩擦力の表現2)
さらに、衝突の時点においても、静止摩擦力の効果を振動により表現するように構成されていてもよい。図4の例では、衝突を受ける側である写真データのオブジェクトが静止している。例えば、写真データのオブジェクトについて、静止摩擦力が働くように表現することができる。
この場合、例えば、音楽データのオブジェクトにかかる動摩擦力に、写真データのオブジェクトにかかる静止摩擦力を加えた摩擦力が振動により表現される。但し、音楽データのオブジェクトにかかる静止摩擦力に、写真データのオブジェクトにかかる静止摩擦力を加えた摩擦力が振動により表現されてもよい。或いは、音楽データのオブジェクトが衝突した際に写真データのオブジェクトに撃力が与えられる効果を表現するために、静止摩擦力が作用する期間を短くしたりすることもできる。
このような表現を用いることにより、ユーザは、オブジェクトが衝突した時点を明確に知覚することができるようになる。また、「重い」オブジェクトに「軽い」オブジェクトが衝突したのか、「軽い」オブジェクトに「重い」オブジェクトが衝突したのかを「感覚」として知覚することができるようになる。ここで言う「重い」「軽い」という表現は、そのオブジェクトに対応付けられたデータのパラメータ量が「大きい」「小さい」等に相当する。このように振動を制御することで、複数のオブジェクトを同時にドラッグ操作する場合にも、より直感的な操作フィーリングをユーザに提供することが可能になる。
(指の接触による複数オブジェクトの移動)
さて、上記の例においては、複数のオブジェクトが衝突し、両オブジェクトが共に移動される場合の表示構成及び振動制御方法について説明した。複数のオブジェクトが同時にドラッグ操作される動作例としては、例えば、ユーザの指に複数のオブジェクトが接触している状況が挙げられる。図4には、音楽データ及び写真データのオブジェクトを移動中に、ユーザの指がビデオオブジェクトに接触した状況が示されている。
この例の中で、ユーザの指は、接触部分Aで音楽データのオブジェクトに接触しており、接触部分Bでビデオデータのオブジェクトに接触している。この場合、情報処理装置100は、接触部分Aに対して「音楽データ+写真データ」に対応する振動量で振動を与え、接触部分Bに対して「ビデオデータ」に対応する振動量で振動を与える。また、接触部分Bがビデオデータのオブジェクトに接触した際、音楽データのオブジェクトの場合と同様に、接触部分Bに対し、振動量及びグラフィックスの動作により「静止摩擦」が表現される。接触部分Bでビデオデータのオブジェクトに接触した後もドラッグ操作を続けると、音楽データ、写真データ、及びビデオデータのオブジェクトが共に移動される。そして、移動先領域まで移動されたオブジェクトのデータは情報処理装置100に保存される。
上記の例は、接触部分に対応する個々の位置で振動する場合について述べたが、ユーザの指全体又は情報処理装置100の筐体全体が振動するように構成されていてもよい。この場合、ユーザの指に接触されているオブジェクトや、一緒に移動しているオブジェクトの全パラメータ量に基づいて振動量が決定される。このような構成にすることで、ユーザは、画面上に表示されたオブジェクトを目で確認しなくても、オブジェクトの静止状態、移動状態、衝突状態、移動中のオブジェクトの個数、そのオブジェクトに対応するデータのパラメータ量を知覚することができる。このとき、ユーザは、操作中に、「日常現象」に類似した「感覚」を知覚することができるため、より直感的な操作が可能になる。
[振動量の設定例]
ここで、図5及び図6を参照しながら、上記の振動制御方法に係る振動量の設定例について説明する。図5は、図3及び図4に示したユーザの操作過程における振動量の変化を表すグラフである。図6は、図5に示したグラフの一部を拡大して示した説明図である。
(全体的な流れについて)
図5を参照する。図5に示すグラフでは、横軸が移動距離を表し、縦軸が振動量を表す。また、図5のグラフにおいては、図3及び図4に示したユーザ操作の過程に合うように、音楽データのオブジェクトに接触するまでの期間をT0、そのオブジェクトが写真データのオブジェクトに接触するまでの期間をT1と表記している。さらに、ユーザの指がビデオデータのオブジェクトに接触するまでの期間をT2と表記している。
そして、写真データのオブジェクトが移動先領域に移動されるまでの期間をT3、音楽データのオブジェクトが移動先領域に移動されるまでの期間をT4、ビデオデータのオブジェクトが移動先領域に移動されるまでの期間をT5と表記している。但し、写真データ、音楽データ、ビデオデータの順でオブジェクトが移動先領域に移動されるものとしている。また、音楽データのパラメータ量に対応する振動量をΔV1(=V1)、写真データのパラメータ量に対応する振動量をΔV2(=V2−V1)、ビデオデータのパラメータ量に対応する振動量をΔV3(=V3−V2)と表記している。
ここで、V1は期間T1における振動量であり、V2は期間T2における振動量であり、V3は期間T3における振動量である。ユーザの指が音楽データのオブジェクトに接触するまでの期間T0においては振動量が0である。次いで、ユーザの指が音楽データのオブジェクトに接触すると、一旦振動量がV1よりも大きくなり、所定距離だけ移動した後で振動量V1に落ち着き、期間T1が終了するまで振動量V1で振動される。ここで、一旦振動量がV1よりも大きくなる領域X1は、上記の「静止摩擦」を表現した部分である。この部分については図6を参照しながら後述する。
次いで、音楽データのオブジェクトが写真データのオブジェクトに衝突すると、一旦振動量がV2よりも大きくなり、所定距離だけ移動した後で振動量V2に落ち着き、期間T2が終了するまで振動量V2で振動される。このとき、振動量V2は、音楽データのパラメータ量に対応する振動量ΔV1と、写真データのパラメータ量に対応する振動量ΔV2との合計値である。但し、振動量V2は、音楽データのパラメータ量と写真データのパラメータ量とを合計して得られる合計パラメータ量に基づいて決定されたものでもよい。
次いで、ユーザの指がビデオデータのオブジェクトに接触すると、一旦振動量がV3よりも大きくなり、所定距離だけ移動した後で振動量V3に落ち着き、期間T3が終了するまで振動量V3で振動される。この例においては、振動量V3が、振動量V2にビデオデータのパラメータ量に対応する振動量ΔV3を合計した値に設定されている。既に述べたように、各オブジェクトが接触した各接触部分(接触部分A、接触部分B)に対して振動を与える場合には、接触部分Aが振動量V2で振動され、接触部分Bが振動量ΔV3で振動される。
次いで、写真データのオブジェクトが移動先領域に移動されると、写真データのパラメータ量に対応する振動量ΔV2の分だけ振動量が低下する。さらに、音楽データのオブジェクトが移動先領域に移動されると、音楽データのパラメータ量に対応する振動量ΔV1の分だけ振動量が低下する。最後に、ビデオデータのオブジェクトが移動先領域に移動されると振動量が0に低下する。但し、期間T3から期間T4に遷移する過程、期間T4から期間T5に遷移する過程、及び期間T5が終了する過程においては振動量が漸減する。この点に関し、後段において、期間T5が終了する過程を示す領域X2を例に挙げ、図6を参照しながら説明する。
(静止摩擦及び振動量の漸減について)
図6を参照する。図6は、図5のグラフの中で、期間T1の開始部分に相当する領域X1と、期間T5の終了部分に相当する領域X2とを拡大して示したものである。まず、領域X1の部分を参照しながら、「静止摩擦」の表現について再び説明する。さらに、期間T1の開始部分において見られる「振動量を漸増する」表現について説明する。次いで、領域X2の部分を参照しながら、「振動量を漸減する」表現について説明する。但し、上記と重複する内容については詳細な説明を割愛する。
既に述べた通り、「静止摩擦」を表現するため、静止しているオブジェクトを移動する際に、移動開始から所定距離だけ指が移動する間、オブジェクトの移動中よりも大きな振動量がユーザの指に与えられるように構成されている。図6の例では、「静止摩擦」を表現するために移動中の振動量V1(=ΔV1)よりもδV1だけ大きな振動量が割り当てられている。この振動量δV1は、予め任意に決められていてもよいが、例えば、オブジェクトに対応付けられたデータのパラメータ量に基づいて決められていてもよい。図5に示したグラフの期間T2、期間T3の開始部分に見られる振動量の増加についても同様である。このようにして「静止摩擦」が表現される。
次に、「振動量を漸増する」表現について説明する。図6に例示した通り、オブジェクトが移動される際、徐々に振動量が増加するように構成されている。グラフで表現すると、振動量が増加する傾きθ<90°と表現される。もちろん、θ=90°となるように構成してもよいが、θ<90°に設定することにより、静止物体に加圧した力がじわじわと蓄積されていく様子を振動により表現することができる。
次に、「振動量を漸減する」表現について説明する。この表現は、期間T3、期間T4、期間T5の終了部分に共通して見られる。図6に示すようにグラフに傾きφを設けることで、移動先領域に移動されたオブジェクトの割合を表現することができる。実際には、移動先領域にオブジェクトの全体が移動されてから情報処理装置100にデータが保存されることが多い。しかし、オブジェクトがどのくらい移動先領域に移動されたかを表現するために、敢えて傾きφを設け、オブジェクトが移動先領域に移動した割合に応じて振動量が減少するように構成されている。従って、図5、図6の例では、グラフが直線的であるが、実際にはユーザの指の動きに応じて曲線的になることもある。
このように、図5、図6のグラフは、指がオブジェクトに触れた瞬間は抵抗が強く、ある程度動かすと抵抗が少なくなるように構成されている。この構成は、静止摩擦係数と動摩擦係数とを表現したものであり、実世界で物を動かす際に、最初は力が必要で、動き始めると少ない力で動かせるという現象を表現したものである。さらに、グラフの高さの差分は、例えば、ファイルサイズを表現している。この場合、ファイルサイズが大きいものは高さの変化が大きくなり、より大きな振動がユーザにフィードバックされる。このような表現は、実世界で物を動かす際に、より重いものを動かすのに、より大きい力が必要であるという現象を表現したものである。
以上説明したように、グラフィックスによる表現に加え、実世界で経験として得られる抵抗感・摩擦感・重量感などを振動により表現することで、より直感的な操作体系が実現される。また、操作する指でグラフィックスが隠れてしまった場合にも、振動によりユーザにフィードバックを与えることが可能になる。
[情報処理装置100の機能構成]
次に、図7を参照しながら、本実施形態に係る情報処理装置100の機能構成について説明する。図7は、これまで説明してきた表示構成、及び振動制御方法を実現することが可能な情報処理装置100の機能構成を示す説明図である。
図7に示すように、情報処理装置100は、主に、入出力部102と、表示制御部104と、記憶部106と、接触情報検出部108と、振動量算出部110と、振動制御部112とにより構成される。
なお、入出力部102の機能は、図8に示すハードウェア構成のうち、入力部912、出力部918等により実現される。また、表示制御部104、接触情報検出部108、振動量算出部110、振動制御部112の機能は、ROM904、RAM906、記憶部920、リムーバブル記録媒体928等に記録されたプログラムに基づいてCPU902により実現される。
(入出力部102)
入出力部102は、表示部132と、接触位置検出部134と、振動部136とにより構成される。具体例を挙げれば、入出力部102は、振動機能を有するタッチパネル等である。表示部132は、情報処理装置100の表示画面を構成する。また、表示部132の表示内容は、表示制御部104により制御される。表示部132には、例えば、音楽データや画像データ等に対応するオブジェクトや移動先領域等が表示される。さらに、表示部132には、音楽データを再生するためのアプリケーションの動作画面が表示されたり、フォトビューワの動作画面が表示され、その中に写真が表示されたりする。
また、表示部132には接触位置検出部134が接続されており、ユーザにより接触された表示部132の画面内における位置が接触位置検出部134により検出される。つまり、表示部132は、接触位置検出部134と組み合わせてタッチパネル等を構成する。接触位置検出部134により検出された接触位置の情報は、表示制御部104、及び接触情報検出部108に入力される。また、表示部132には振動部136が接続されており、表示部132の画面に表示されたオブジェクトに移動に応じて振動部136によりユーザに振動が与えられる。
振動部136は、接触位置検出部134により検出された接触位置に対してピンポイントで振動を与えることができるように構成されていてもよい。また、振動部136は、表示部132又は情報処理装置100の筐体全体を振動させるように構成されていてもよい。この振動部136は、振動制御部112から入力された振動制御情報に基づいてユーザに振動を与える。この振動制御情報には、例えば、振動量や振動させるべき接触位置の情報等が含まれている。
(表示制御部104)
表示制御部104は、記憶部106に格納されたオブジェクト等を読み出し、図3及び図4に示すように、表示部132に対して各種データに対応付けられたオブジェクトや移動先領域等を表示させる。つまり、表示制御部104は、画面内における各オブジェクトの位置情報及び移動先領域の位置情報を管理している。また、表示制御部104は、接触位置検出部134から入力された接触位置の情報に基づいてオブジェクトを移動させる。さらに、表示制御部104は、複数のオブジェクト間の位置関係に基づいて衝突したオブジェクトを判断し、衝突した複数のオブジェクトを共に移動させたりする。表示制御部104により管理される位置情報は、オブジェクトの位置等が更新される度に振動量算出部110に入力される。なお、表示制御部104は、後述する振動制御に連動してグラフィックスによるユーザへのフィードバックも行うことができる。
(記憶部106)
記憶部106には、表示部132に表示されるオブジェクトと、当該オブジェクトに対応付けられたデータとが格納されている。さらに、記憶部106には、各データが持つパラメータ量が格納されている。つまり、記憶部106には、各オブジェクトと、データと、パラメータ量とが対応付けて格納されている。記憶部106に格納されているオブジェクトは、表示制御部104により読み出されて表示部132に表示される。記憶部106に格納されているパラメータ量は、振動量算出部110により読み出されて振動量の算出処理に用いられる。
(接触情報検出部108)
接触情報検出部108は、接触位置検出部134から入力された接触位置の情報(例えば、座標等)に基づいて接触位置の移動方向や移動速度、或いは、接触面積等を検出する。これらの情報は、接触位置検出部134から逐次入力される接触位置の情報に基づいて算出することができる。また、接触情報検出部108は、表示部132に接触された指の本数を検出するように構成されていてもよい。接触情報検出部108により検出された情報は、接触位置の情報と共に振動量算出部110に入力される。
(振動量算出部110)
振動量算出部110には、表示制御部104からオブジェクトの表示位置に関する情報が入力され、接触情報検出部108から接触位置、接触面積、移動速度、移動方向等の情報が入力される。さらに、振動量算出部110は、記憶部106から各オブジェクトに対応付けられたデータのパラメータ量を読み出すことができる。そこで、振動量算出部110は、これらの情報を用いてユーザに与えられる振動の振動量を算出する。具体的には、ユーザ操作に応じて、図5、図6に示したグラフのような振動量が算出される。
まず、振動量算出部110は、接触位置が存在するか否かを判断する。接触位置が存在しない場合、振動量算出部110は、振動量0を振動制御部112に入力する。一方、接触位置が存在する場合、振動量算出部110は、接触後の移動距離が所定距離より短いか否かを判断する。所定距離より短い場合、振動量算出部110は、接触されたオブジェクトに対応するデータのパラメータ量に基づいて静止摩擦係数が表現された振動量を算出して振動制御部112に入力する。一方、所定距離より長い場合、振動量算出部110は、接触されたオブジェクトに対応するデータのパラメータ量に基づいて動摩擦係数が表現された振動量を算出して振動制御部112に入力する。
さらに、振動量算出部110は、表示制御部104から入力されたオブジェクトの表示位置の情報に基づいて、接触されたオブジェクトが他のオブジェクトと衝突しているか否かを判断する。衝突している場合、振動量算出部110は、例えば、両オブジェクトの合計パラメータ量を算出し、この合計パラメータ量に基づいて振動量を算出する。また、振動量算出部110は、接触位置が複数存在する場合、各接触位置に対応するオブジェクト及び当該オブジェクトに衝突しているオブジェクトの合計パラメータ量を算出し、この合計パラメータ量に基づいて振動量を算出する。
なお、接触情報検出部108により指の本数に関する情報が検出された場合、振動量算出部110は、指の本数が増加するに連れて振動量が小さくなるように振動量を算出する。例えば、指の本数が2本になると振動量が半分になるように構成される。このようにして算出された振動量の情報は、接触位置の情報と共に振動制御部112に入力される。
(振動制御部112)
振動制御部112は、振動量算出部110から入力された振動量で、接触位置が振動されるように入出力部102に含まれる振動部136を制御する。そのため、振動制御部112は、接触位置、及び接触位置毎の振動量が含まれる振動制御情報を振動部136に入力する。但し、振動制御部112は、表示部132の全体又は情報処理装置100の筐体全体が振動するように振動部136を制御するように構成されていてもよい。その場合、振動制御部112は、振動制御情報として振動量だけを振動部136に入力するように構成されてもよい。
このような構成にすることで、図3、図4等に示した表示構成、及び振動制御方法が実現され、ユーザに直感的な操作感を与えることが可能な操作体系を実現することができる。例えば、振動により、抵抗感・摩擦感・質量感などを表現することが可能になる。また、ユーザの触覚にフィードバックを与えることが可能になる。その結果、実世界での体験を振動で表現することにより、より直感的な操作体系が実現されるのである。また、画面上に表示されたグラフィックスが操作する指で隠れてしまった場合でも、ユーザには振動を用いてフィードバックが与えられる。
[ハードウェア構成(情報処理装置100)]
上記装置が有する各構成要素の機能は、例えば、図8に示すハードウェア構成を有する情報処理装置により、上記の機能を実現するためのコンピュータプログラムを用いて実現することが可能である。図8は、上記装置の各構成要素が有する機能を実現することが可能な情報処理装置のハードウェア構成を示す説明図である。この情報処理装置の形態は任意であり、例えば、パーソナルコンピュータ、携帯電話、PHS(Personal Handy−phone System)、PDA(Personal Digital Assistant)等の携帯情報端末、ゲーム機、又は各種の情報家電等の形態がこれに含まれる。
図8に示すように、前記の情報処理装置は、主に、CPU(Central Processing Unit)902と、ROM(Read Only Memory)904と、RAM(Random Access Memory)906と、ホストバス908と、ブリッジ910と、外部バス912と、インターフェース914と、入力部916と、出力部918と、記憶部920と、ドライブ922と、接続ポート924と、通信部926とにより構成される。
CPU902は、例えば、演算処理装置又は制御装置として機能し、ROM904、RAM906、記憶部920、又はリムーバブル記録媒体928に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。ROM904は、例えば、CPU902に読み込まれるプログラムや演算に用いるデータ等を格納する。RAM906は、例えば、CPU902に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等を一時的又は永続的に格納する。これらの構成要素は、例えば、高速なデータ伝送が可能なホストバス908によって相互に接続されている。また、ホストバス908は、例えば、ブリッジ910を介して比較的データ伝送速度が低速な外部バス912に接続されている。
入力部916は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等の操作手段である。また、入力部916は、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントロール手段(所謂、リモコン)であってもよい。なお、入力部916は、上記の操作手段を用いて入力された情報を入力信号としてCPU902に伝送するための入力制御回路等により構成されている。
出力部918は、例えば、CRT(Cathode Ray Tube)、LCD(Liquid Crystal Display)、PDP(Plasma DisplayPanel)、又はELD(Electro−Luminescence Display)等のディスプレイ装置、スピーカ、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。
記憶部920は、各種のデータを格納するための装置であり、例えば、ハードディスクドライブ(HDD;Hard Disk Drive)等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等により構成される。
ドライブ922は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体928に記録された情報を読み出し、又はリムーバブル記録媒体928に情報を書き込む装置である。リムーバブル記録媒体928は、例えば、DVDメディア、Blu−rayメディア、HD DVDメディア、コンパクトフラッシュ(登録商標)(CF;CompactFlash)、メモリースティック、又はSDメモリカード(Secure Digital memory card)等である。もちろん、リムーバブル記録媒体928は、例えば、非接触型ICチップを搭載したICカード(Integrated Circuit Card)、又は電子機器等であってもよい。
接続ポート924は、例えば、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)、RS−232Cポート、又は光オーディオ端子等のような外部接続機器930を接続するためのポートである。外部接続機器930は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はICレコーダ等である。
通信部926は、ネットワーク932に接続するための通信デバイスであり、例えば、有線又は無線LAN(Local Area Network)、Bluetooth(登録商標)、又はWUSB(Wireless USB)用の通信カード、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ、又は各種通信用のモデム等である。また、通信部926に接続されるネットワーク932は、有線又は無線により接続されたネットワークにより構成され、例えば、インターネット、家庭内LAN、赤外線通信、可視光通信、放送、又は衛星通信等である。
[まとめ]
最後に、本実施形態の情報処理装置が有する機能構成と、当該機能構成が奏する作用効果について簡単に纏める。
まず、本実施形態に係る情報処理装置の機能構成は次のように表現することができる。当該情報処理装置は、次のような表示制御部及び振動制御部を備える。この表示制御部は、オブジェクトが表示された画面上の位置が接触されたまま移動された場合に、前記接触位置の移動に応じて前記オブジェクトの表示位置を移動させるものである。また、この振動制御部は、前記オブジェクトの表示位置が移動する際に、当該オブジェクトに対応付けられたデータのパラメータ量に応じた振動量で前記接触位置を振動させるものである。
このように、上記の情報処理装置は、表示制御部により、画面上に表示されたオブジェクトのドラッグ操作に係る操作体系を実現している。さらに、上記の情報処理装置は、振動制御部により、移動されるオブジェクトに対応付けられたデータのパラメータ量に応じて振動量を制御し、その振動量でユーザに振動を与えている。その結果、ユーザは、画面上に表示されたオブジェクトを指等の操作手段で隠してしまった場合でも、情報処理装置からのフィードバックを振動により知覚することができるようになる。さらに、この振動によるフィードバックを知覚することで、ユーザは、実際に移動されるデータのパラメータ量の大きさを知ることができる。また、ユーザの接触位置が振動されるため、ユーザがオブジェクトの存在を実感することが可能になり、より直感的な操作が実現される。
また、前記表示制御部は、画面上に表示された他のオブジェクトに移動中の前記オブジェクトが当接した場合、当該他のオブジェクトと前記移動中のオブジェクトとを共に移動させるように構成されていてもよい。この場合、前記振動制御部は、前記共に移動する両オブジェクトの合計パラメータ量に応じた振動量で前記接触位置を振動させるように構成される。このような構成にすることで、複数のオブジェクトが重畳表示される表示構成であっても、ユーザが移動しているオブジェクトの増減を容易に知覚することができるようになる。さらに、現実世界で経験する「重いものを動かすには大きな力が必要になる」という現象が振動により表現されるため、より直感的な操作体系を実現することができる。
また、前記振動制御部は、前記オブジェクトが移動を開始する際の所定期間だけ、前記オブジェクトの移動中における振動量よりも大きな振動量で前記接触位置を振動させるように構成されていてもよい。このように構成することで、現実世界で経験する「静止摩擦」が振動により表現されるため、より直感的な操作体系が実現される。
また、前記振動制御部は、前記移動中のオブジェクトが前記他のオブジェクトに当接した際に、所定期間だけ両オブジェクトが共に移動する際の移動中における振動量よりも大きな振動量で前記接触位置を振動させるように構成されていてもよい。このように構成することで、複数のオブジェクトが当接した場合においても、現実世界で経験する「静止摩擦」が振動により表現されるため、より直感的な操作体系が実現される。
また、前記パラメータ量としては、前記オブジェクトに対応付けられたデータの取得時点又は更新時点から当該オブジェクトの移動開始時点までの期間が用いられてもよい。この場合、前記振動制御部は、前記期間が長いほど、大きな振動量で前記接触位置を振動させるように構成される。このように構成することで、現実世界で経験する「古いものは張り付いて動きにくくなる」という現象が振動により表現されるため、より直感的な操作体系が実現される。
また、前記パラメータ量は、例えば、前記オブジェクトに対応付けられたデータのデータサイズであってもよい。他の例として、前記データは、映像データ又は音楽データであってもよい。この場合、前記パラメータ量には、前記オブジェクトに対応付けられたデータの再生時間が用いられる。さらに他の例として、前記データは、画像データであってもよい。この場合、前記パラメータ量には、前記オブジェクトに対応付けられたデータの画像サイズが用いられる。また、前記データには、複数のコンテンツが含まれていてもよい。この場合、前記パラメータ量には、前記データに含まれるコンテンツ数が用いられる。
また、指により表示画面が接触されて前記オブジェクトの表示位置が移動される場合、前記振動制御部は、前記表示画面に接触された指の本数に応じて前記振動量を変化させるように構成されていてもよい。このように構成することで、複数の手を用いることにより、より大きな力を作用させることができるという現象を振動により表現することが可能になる。例えば、前記振動制御部は、前記指の本数が増えた場合に前記振動量を低減させるように構成される。このように構成することにより、より直感的な操作体系が実現されるのである。
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
上記の説明においては、ユーザの入力手段としてタッチパネルを想定していたが、本実施形態に係る技術の適用範囲はこれに限定されるものではない。例えば、ディスプレイ等の表示装置とタッチパッド等の入力装置とを組み合わせたデバイスに対しても適用できる。この場合、表示装置が振動するのではなく、タッチパッド等が単独で、又はタッチパッド等と表示装置とを含む筐体全体が振動するように構成される。さらに、上記の説明においては、ユーザが指でオブジェクトを操作する形態を想定していたが、本実施形態に係る技術の適用範囲はこれに限定されるものではない。例えば、指に代えてスタイラスペンを用いてもよい。また、上記の説明の中で、オブジェクトの表示形態については詳しく触れなかったが、例えば、音楽データのオブジェクトには、アルバムジャケットのグラフィックスが表示されていてもよい。また、写真データやビデオデータのオブジェクトには、写真やビデオの一場面を縮小したサムネイル画像が表示されていてもよい。このように、本実施形態に係る技術には種々の変形が可能である。
タッチパネルを用いた表示オブジェクトの移動方法を示す説明図である。 タッチパネルを用いた表示オブジェクトの移動方法を示す説明図である。 本発明の一実施形態に係る表示オブジェクトの移動方法の一例、及び振動制御方法の一例を示す説明図である。 本実施形態に係る表示オブジェクトの移動方法の一例、及び振動制御方法の一例を示す説明図である。 本実施形態に係る振動制御方法の一例を示す説明図である。 本実施形態に係る振動制御方法の一例を示す説明図である。 本実施形態に係る情報処理装置の機能構成例を示す説明図である。 本実施形態に係る情報処理装置のハードウェア構成例を示す説明図である。
符号の説明
100 情報処理装置
102 入出力部
104 表示制御部
106 記憶部
108 接触情報検出部
110 振動量算出部
112 振動制御部
132 表示部
134 接触位置検出部
136 振動部

Claims (12)

  1. オブジェクトが表示された画面上の位置が接触されて移動された場合に、前記接触位置の移動に応じて前記オブジェクトの表示位置を移動させる表示制御部と、
    前記オブジェクトの表示位置が移動する際に、当該オブジェクトに対応付けられたデータのパラメータ量に応じた振動量で前記接触位置を振動させる振動制御部と、
    を備える、情報処理装置。
  2. 前記表示制御部は、画面上に表示された他のオブジェクトに移動中の前記オブジェクトが当接した場合、当該他のオブジェクトと前記移動中のオブジェクトとを共に移動させ、
    前記振動制御部は、前記共に移動する両オブジェクトの合計パラメータ量に応じた振動量で前記接触位置を振動させる、請求項1に記載の情報処理装置。
  3. 前記振動制御部は、前記オブジェクトが移動を開始する際の所定期間だけ、前記オブジェクトの移動中における振動量よりも大きな振動量で前記接触位置を振動させる、請求項1に記載の情報処理装置。
  4. 前記振動制御部は、前記移動中のオブジェクトが前記他のオブジェクトに当接した際に、所定期間だけ両オブジェクトが共に移動する際の移動中における振動量よりも大きな振動量で前記接触位置を振動させる、請求項3に記載の情報処理装置。
  5. 前記パラメータ量は、前記オブジェクトに対応付けられたデータの取得時点又は更新時点から当該オブジェクトの移動開始時点までの期間であり、
    前記振動制御部は、前記期間が長いほど、大きな振動量で前記接触位置を振動させる、請求項2に記載の情報処理装置。
  6. 前記パラメータ量は、前記オブジェクトに対応付けられたデータのデータサイズである、請求項2に記載の情報処理装置。
  7. 前記データは、映像データ又は音楽データであり、
    前記パラメータ量は、前記オブジェクトに対応付けられたデータの再生時間である、請求項2に記載の情報処理装置。
  8. 前記データは、画像データであり、
    前記パラメータ量は、前記オブジェクトに対応付けられたデータの画像サイズである、請求項2に記載の情報処理装置。
  9. 前記データには、複数のコンテンツが含まれており、
    前記パラメータ量は、前記データに含まれるコンテンツ数である、請求項2に記載の情報処理装置。
  10. 指により表示画面が接触されて前記オブジェクトの表示位置が移動される場合、前記振動制御部は、前記表示画面に接触された指の本数に応じて前記振動量を変化させる、請求項1に記載の情報処理装置。
  11. 前記振動制御部は、前記指の本数が増えた場合に前記振動量を低減させる、請求項10に記載の情報処理装置。
  12. オブジェクトが表示された画面上の位置が接触されて移動された場合に、前記接触位置の移動に応じて前記オブジェクトの表示位置が移動制御される移動制御ステップと、
    前記オブジェクトの表示位置が移動制御される際に、当該オブジェクトに対応付けられたデータのパラメータ量に応じた振動量で前記接触位置が振動するように制御される振動制御ステップと、
    を含む、情報処理装置における振動制御方法。
JP2008172408A 2008-07-01 2008-07-01 情報処理装置、及び情報処理装置における振動制御方法 Expired - Fee Related JP4561888B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2008172408A JP4561888B2 (ja) 2008-07-01 2008-07-01 情報処理装置、及び情報処理装置における振動制御方法
US12/494,647 US8314777B2 (en) 2008-07-01 2009-06-30 Information processing apparatus and vibration control method in information processing apparatus
CN200910151850A CN101620510A (zh) 2008-07-01 2009-07-01 信息处理设备和信息处理设备中的振动控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008172408A JP4561888B2 (ja) 2008-07-01 2008-07-01 情報処理装置、及び情報処理装置における振動制御方法

Publications (2)

Publication Number Publication Date
JP2010015239A true JP2010015239A (ja) 2010-01-21
JP4561888B2 JP4561888B2 (ja) 2010-10-13

Family

ID=41200741

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008172408A Expired - Fee Related JP4561888B2 (ja) 2008-07-01 2008-07-01 情報処理装置、及び情報処理装置における振動制御方法

Country Status (3)

Country Link
US (1) US8314777B2 (ja)
JP (1) JP4561888B2 (ja)
CN (1) CN101620510A (ja)

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011150624A (ja) * 2010-01-25 2011-08-04 Kyocera Corp 電子機器
WO2011093045A1 (ja) * 2010-01-27 2011-08-04 京セラ株式会社 触感呈示装置および触感呈示方法
JP2011198316A (ja) * 2010-03-24 2011-10-06 Nec Casio Mobile Communications Ltd 端末装置及びプログラム
JP2011221828A (ja) * 2010-04-09 2011-11-04 Sony Computer Entertainment Inc 情報処理装置
JP4943553B1 (ja) * 2011-08-31 2012-05-30 楽天株式会社 情報処理装置、情報処理装置の制御方法、プログラム、及び情報記憶媒体
JP2012184972A (ja) * 2011-03-03 2012-09-27 Horiba Ltd 測定装置
WO2012169176A1 (ja) * 2011-06-07 2012-12-13 パナソニック株式会社 電子機器
JP2013156685A (ja) * 2012-01-26 2013-08-15 Kddi Corp パラメータ設定部をエミュレートしたユーザインタフェース装置、パラメータ設定方法及びプログラム
JP2013157842A (ja) * 2012-01-31 2013-08-15 Xacti Corp 画像再生装置
JP2013175158A (ja) * 2012-01-24 2013-09-05 Panasonic Corp 電子機器
JP2013543618A (ja) * 2010-10-01 2013-12-05 ゼット124 ユーザインタフェースにおける長時間ドラッグジェスチャ
JP2013544559A (ja) * 2010-10-19 2013-12-19 コーニンクレッカ フィリップス エヌ ヴェ 医用画像システム
JP2014021882A (ja) * 2012-07-23 2014-02-03 Canon Inc 操作装置、その制御方法及びプログラム並びに記録媒体
JP2014194718A (ja) * 2013-03-29 2014-10-09 Denso Corp 入力装置
US9001057B2 (en) 2011-03-03 2015-04-07 Horiba, Ltd. Measurement device
JP2015526810A (ja) * 2012-07-24 2015-09-10 ▲騰▼▲訊▼科技(深▲セン▼)有限公司 電子装置でアプリケーションと対話するための電子装置および方法
JP2015194729A (ja) * 2014-03-26 2015-11-05 ヤマハ株式会社 楽譜表示装置
JP2015230516A (ja) * 2014-06-03 2015-12-21 富士通株式会社 電子書籍装置および電子書籍プログラム
JP2016504683A (ja) * 2012-12-19 2016-02-12 ノキア テクノロジーズ オサケユイチア ユーザ・インタフェースおよび関連する方法
US9372618B2 (en) 2010-10-01 2016-06-21 Z124 Gesture based application management
JP2016119056A (ja) * 2015-09-08 2016-06-30 ヤフー株式会社 情報表示プログラム、配信装置、情報表示方法および情報表示装置
JP2017005736A (ja) * 2010-04-07 2017-01-05 アップル インコーポレイテッド 通話中のテレビ会議の確立
JP2018005763A (ja) * 2016-07-07 2018-01-11 本田技研工業株式会社 操作入力装置
JP2018067048A (ja) * 2016-10-17 2018-04-26 コニカミノルタ株式会社 表示装置および表示装置の制御プログラム
JP6366863B1 (ja) * 2017-04-10 2018-08-01 三菱電機株式会社 ユーザインタフェース装置

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9772751B2 (en) 2007-06-29 2017-09-26 Apple Inc. Using gestures to slide between user interfaces
US8127254B2 (en) 2007-06-29 2012-02-28 Nokia Corporation Unlocking a touch screen device
JP2010286986A (ja) * 2009-06-10 2010-12-24 Funai Electric Co Ltd 携帯端末装置
US8839128B2 (en) * 2009-11-25 2014-09-16 Cooliris, Inc. Gallery application for content viewing
US8638371B2 (en) * 2010-02-12 2014-01-28 Honeywell International Inc. Method of manipulating assets shown on a touch-sensitive display
US8570286B2 (en) * 2010-02-12 2013-10-29 Honeywell International Inc. Gestures on a touch-sensitive display
US20110199386A1 (en) * 2010-02-12 2011-08-18 Honeywell International Inc. Overlay feature to provide user assistance in a multi-touch interactive display environment
JP2011221607A (ja) * 2010-04-05 2011-11-04 Sony Corp 情報処理装置、情報処理方法及びプログラム
JP2011221676A (ja) * 2010-04-07 2011-11-04 Sony Corp 情報提示装置、触覚提示方法及びプログラム
US9417695B2 (en) 2010-04-08 2016-08-16 Blackberry Limited Tactile feedback method and apparatus
EP2375306B1 (en) * 2010-04-08 2014-07-30 BlackBerry Limited Tactile feedback method and apparatus
JP2012010212A (ja) * 2010-06-28 2012-01-12 Casio Comput Co Ltd 画像表示装置及びプログラム
JP2012027855A (ja) 2010-07-27 2012-02-09 Kyocera Corp 触感呈示装置及び触感呈示装置の制御方法
US8854318B2 (en) 2010-09-01 2014-10-07 Nokia Corporation Mode switching
US9244606B2 (en) 2010-12-20 2016-01-26 Apple Inc. Device, method, and graphical user interface for navigation of concurrently open software applications
WO2012105273A1 (ja) 2011-02-04 2012-08-09 パナソニック株式会社 電子機器
US8836802B2 (en) 2011-03-21 2014-09-16 Honeywell International Inc. Method of defining camera scan movements using gestures
WO2012144632A1 (ja) * 2011-04-20 2012-10-26 Necカシオモバイルコミュニケーションズ株式会社 情報処理装置、情報処理方法及びプログラムを記録したコンピュータ読み取り可能な記録媒体
JPWO2012165098A1 (ja) * 2011-06-02 2015-02-23 Necカシオモバイルコミュニケーションズ株式会社 入力装置、入力装置の制御方法、および、プログラム
US20140204063A1 (en) * 2011-09-05 2014-07-24 Nec Casio Mobile Communications, Ltd. Portable Terminal Apparatus, Portable Terminal Control Method, And Program
US9830049B2 (en) * 2011-12-12 2017-11-28 Nokia Technologies Oy Apparatus and method for providing a visual transition between screens
CN103314347A (zh) * 2012-01-17 2013-09-18 松下电器产业株式会社 电子设备
JP2013200863A (ja) * 2012-02-23 2013-10-03 Panasonic Corp 電子機器
US20150070283A1 (en) * 2013-09-06 2015-03-12 Linkedln Corporation Techniques for providing a scrolling carousel
CN103530040B (zh) * 2013-10-22 2016-03-30 腾讯科技(深圳)有限公司 目标元素移动方法、装置及电子设备
US11016643B2 (en) * 2019-04-15 2021-05-25 Apple Inc. Movement of user interface object with user-specified content
CN110362200A (zh) * 2019-06-24 2019-10-22 瑞声科技(新加坡)有限公司 触觉反馈的生成方法与装置
JP2022012116A (ja) * 2020-07-01 2022-01-17 コニカミノルタ株式会社 情報処理装置、情報処理装置の制御方法及びプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001296950A (ja) * 2000-04-14 2001-10-26 Fuji Xerox Co Ltd 触力覚呈示装置及び記録媒体
JP2003337649A (ja) * 2002-05-20 2003-11-28 Sony Corp 入力方法及び入力装置
JP2004094666A (ja) * 2002-08-30 2004-03-25 Sony Corp 画像処理装置
JP2005267080A (ja) * 2004-03-17 2005-09-29 Sony Corp 触覚機能付き入力装置、情報入力方法及び電子機器
JP2005332063A (ja) * 2004-05-18 2005-12-02 Sony Corp 触覚機能付き入力装置、情報入力方法及び電子機器

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8479122B2 (en) * 2004-07-30 2013-07-02 Apple Inc. Gestures for touch sensitive input devices
US6552722B1 (en) * 1998-07-17 2003-04-22 Sensable Technologies, Inc. Systems and methods for sculpting virtual objects in a haptic virtual reality environment
US6822635B2 (en) * 2000-01-19 2004-11-23 Immersion Corporation Haptic interface for laptop computers and other portable devices
JP3949912B2 (ja) 2000-08-08 2007-07-25 株式会社エヌ・ティ・ティ・ドコモ 携帯型電子機器、電子機器、振動発生器、振動による報知方法および報知制御方法
DE10046099A1 (de) * 2000-09-18 2002-04-04 Siemens Ag Berührungssensitive Anzeige mit taktiler Rückkopplung
JP4125932B2 (ja) 2002-08-28 2008-07-30 シャープ株式会社 タッチパネルを有する装置
JP2004309962A (ja) 2003-04-10 2004-11-04 Denso Corp タッチパネル付き表示装置
EP1644816B1 (en) * 2003-06-20 2016-09-14 Apple Inc. Computer interface having a virtual single-layer mode for viewing overlapping objects
JP4478436B2 (ja) 2003-11-17 2010-06-09 ソニー株式会社 入力装置、情報処理装置、リモートコントロール装置および入力装置の制御方法
KR101130150B1 (ko) * 2003-11-17 2012-03-28 소니 주식회사 입력 장치, 정보 처리 장치, 리모트 컨트롤 장치 및 입력장치의 제어 방법
US20060061545A1 (en) * 2004-04-02 2006-03-23 Media Lab Europe Limited ( In Voluntary Liquidation). Motion-activated control with haptic feedback
US7411590B1 (en) * 2004-08-09 2008-08-12 Apple Inc. Multimedia file format
DE102005011356B3 (de) * 2005-03-04 2006-11-02 Hannes Perkunder Eingabevorrichtung mit Drehregler und Eingabeverfahren sowie ein entsprechendes computerlesbares Speichermedium
KR100703701B1 (ko) * 2005-06-14 2007-04-06 삼성전자주식회사 촉각 정보를 효율적으로 제공하기 위한 방법 및 장치
US8010646B2 (en) * 2006-06-27 2011-08-30 Palo Alto Research Center Incorporated Method, apparatus, and program product for efficiently defining relationships in a comprehension state of a collection of information
CN101506758A (zh) * 2006-09-27 2009-08-12 诺基亚公司 触觉型触摸屏

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001296950A (ja) * 2000-04-14 2001-10-26 Fuji Xerox Co Ltd 触力覚呈示装置及び記録媒体
JP2003337649A (ja) * 2002-05-20 2003-11-28 Sony Corp 入力方法及び入力装置
JP2004094666A (ja) * 2002-08-30 2004-03-25 Sony Corp 画像処理装置
JP2005267080A (ja) * 2004-03-17 2005-09-29 Sony Corp 触覚機能付き入力装置、情報入力方法及び電子機器
JP2005332063A (ja) * 2004-05-18 2005-12-02 Sony Corp 触覚機能付き入力装置、情報入力方法及び電子機器

Cited By (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011150624A (ja) * 2010-01-25 2011-08-04 Kyocera Corp 電子機器
WO2011093045A1 (ja) * 2010-01-27 2011-08-04 京セラ株式会社 触感呈示装置および触感呈示方法
JP2011154559A (ja) * 2010-01-27 2011-08-11 Kyocera Corp 触感呈示装置および触感呈示方法
US10627903B2 (en) 2010-01-27 2020-04-21 Kyocera Corporation Tactile sensation providing apparatus and method for providing tactile sensation
JP2011198316A (ja) * 2010-03-24 2011-10-06 Nec Casio Mobile Communications Ltd 端末装置及びプログラム
US8806382B2 (en) 2010-03-24 2014-08-12 Nec Casio Mobile Communications, Ltd. Terminal device and control program thereof
JP2017005736A (ja) * 2010-04-07 2017-01-05 アップル インコーポレイテッド 通話中のテレビ会議の確立
US10462420B2 (en) 2010-04-07 2019-10-29 Apple Inc. Establishing a video conference during a phone call
JP2011221828A (ja) * 2010-04-09 2011-11-04 Sony Computer Entertainment Inc 情報処理装置
US9098181B2 (en) 2010-04-09 2015-08-04 Sony Corporation Information processing apparatus
US11182046B2 (en) 2010-10-01 2021-11-23 Z124 Drag move gesture in user interface
JP2013543618A (ja) * 2010-10-01 2013-12-05 ゼット124 ユーザインタフェースにおける長時間ドラッグジェスチャ
US11068124B2 (en) 2010-10-01 2021-07-20 Z124 Gesture controlled screen repositioning for one or more displays
US10613706B2 (en) 2010-10-01 2020-04-07 Z124 Gesture controls for multi-screen hierarchical applications
US9372618B2 (en) 2010-10-01 2016-06-21 Z124 Gesture based application management
US10558321B2 (en) 2010-10-01 2020-02-11 Z124 Drag move gesture in user interface
US11599240B2 (en) 2010-10-01 2023-03-07 Z124 Pinch gesture to swap windows
JP2017170172A (ja) * 2010-10-19 2017-09-28 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 医用画像システム
US9529508B2 (en) 2010-10-19 2016-12-27 Koninklijke Philips N.V. Medical image system
JP2013544559A (ja) * 2010-10-19 2013-12-19 コーニンクレッカ フィリップス エヌ ヴェ 医用画像システム
JP2012184972A (ja) * 2011-03-03 2012-09-27 Horiba Ltd 測定装置
US9001057B2 (en) 2011-03-03 2015-04-07 Horiba, Ltd. Measurement device
JPWO2012169176A1 (ja) * 2011-06-07 2015-02-23 パナソニック株式会社 電子機器
JP2013200879A (ja) * 2011-06-07 2013-10-03 Panasonic Corp 電子機器
WO2012169176A1 (ja) * 2011-06-07 2012-12-13 パナソニック株式会社 電子機器
JP5265819B2 (ja) * 2011-06-07 2013-08-14 パナソニック株式会社 電子機器
JP4943553B1 (ja) * 2011-08-31 2012-05-30 楽天株式会社 情報処理装置、情報処理装置の制御方法、プログラム、及び情報記憶媒体
JP2013175158A (ja) * 2012-01-24 2013-09-05 Panasonic Corp 電子機器
JP2013156685A (ja) * 2012-01-26 2013-08-15 Kddi Corp パラメータ設定部をエミュレートしたユーザインタフェース装置、パラメータ設定方法及びプログラム
JP2013157842A (ja) * 2012-01-31 2013-08-15 Xacti Corp 画像再生装置
JP2014021882A (ja) * 2012-07-23 2014-02-03 Canon Inc 操作装置、その制御方法及びプログラム並びに記録媒体
JP2015526810A (ja) * 2012-07-24 2015-09-10 ▲騰▼▲訊▼科技(深▲セン▼)有限公司 電子装置でアプリケーションと対話するための電子装置および方法
US9244594B2 (en) 2012-07-24 2016-01-26 Tencent Technology (Shenzhen) Company Limited Electronic apparatus and method for interacting with application in electronic apparatus
US9665177B2 (en) 2012-12-19 2017-05-30 Nokia Technologies Oy User interfaces and associated methods
JP2016504683A (ja) * 2012-12-19 2016-02-12 ノキア テクノロジーズ オサケユイチア ユーザ・インタフェースおよび関連する方法
JP2014194718A (ja) * 2013-03-29 2014-10-09 Denso Corp 入力装置
JP2015194729A (ja) * 2014-03-26 2015-11-05 ヤマハ株式会社 楽譜表示装置
US10156973B2 (en) 2014-03-26 2018-12-18 Yamaha Corporation Score displaying method and storage medium
JP2015230516A (ja) * 2014-06-03 2015-12-21 富士通株式会社 電子書籍装置および電子書籍プログラム
JP2016119056A (ja) * 2015-09-08 2016-06-30 ヤフー株式会社 情報表示プログラム、配信装置、情報表示方法および情報表示装置
US10248228B2 (en) 2016-07-07 2019-04-02 Honda Motor Co., Ltd. Operation input device
JP2018005763A (ja) * 2016-07-07 2018-01-11 本田技研工業株式会社 操作入力装置
JP2018067048A (ja) * 2016-10-17 2018-04-26 コニカミノルタ株式会社 表示装置および表示装置の制御プログラム
JP6366863B1 (ja) * 2017-04-10 2018-08-01 三菱電機株式会社 ユーザインタフェース装置

Also Published As

Publication number Publication date
JP4561888B2 (ja) 2010-10-13
US8314777B2 (en) 2012-11-20
CN101620510A (zh) 2010-01-06
US20090262091A1 (en) 2009-10-22

Similar Documents

Publication Publication Date Title
JP4561888B2 (ja) 情報処理装置、及び情報処理装置における振動制御方法
AU2020223716B2 (en) Identifying applications on which content is available
AU2021203022B2 (en) Multifunction device control of another electronic device
AU2017100490A4 (en) User interfaces for navigating and playing content
CN104081319B (zh) 信息处理设备和信息处理方法
US8610678B2 (en) Information processing apparatus and method for moving a displayed object between multiple displays
US20230221856A1 (en) System and method of controlling devices using motion gestures
JP4148187B2 (ja) 携帯型電子機器、入力操作制御方法及びそのプログラム
CA2799440C (en) Content gestures
US9519402B2 (en) Screen display method in mobile terminal and mobile terminal using the method
KR102113683B1 (ko) 문지르기 제스처를 검출하여 미리보기를 제공하는 모바일 장치 및 그 제어 방법
KR101364849B1 (ko) 방향성 터치 원격 제어장치
EP2182431A1 (en) Information processing
WO2017218073A1 (en) Accelerated scrolling
WO2015052961A1 (ja) 情報処理装置
EP2521020A1 (en) Systems and methods for interface management
US20160253087A1 (en) Apparatus and method for controlling content by using line interaction
JP6082190B2 (ja) プログラム、情報処理装置、画像表示方法及び表示システム
JP2013250772A (ja) プログラム、情報処理装置、画像表示方法及び表示システム
US20220248101A1 (en) User interfaces for indicating and/or controlling content item playback formats
JP2014154908A (ja) 動画再生装置およびプログラム
KR20140091929A (ko) 사용자 단말 장치 및 그의 제어 방법

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100416

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100511

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100615

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100706

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100719

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130806

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130806

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees