JP5310403B2 - 情報処理装置、情報処理方法およびプログラム - Google Patents

情報処理装置、情報処理方法およびプログラム Download PDF

Info

Publication number
JP5310403B2
JP5310403B2 JP2009202957A JP2009202957A JP5310403B2 JP 5310403 B2 JP5310403 B2 JP 5310403B2 JP 2009202957 A JP2009202957 A JP 2009202957A JP 2009202957 A JP2009202957 A JP 2009202957A JP 5310403 B2 JP5310403 B2 JP 5310403B2
Authority
JP
Japan
Prior art keywords
pressure value
drag
contact
unit
detection unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009202957A
Other languages
English (en)
Other versions
JP2011053972A (ja
Inventor
文規 本間
辰志 梨子田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2009202957A priority Critical patent/JP5310403B2/ja
Priority to EP10168271A priority patent/EP2299351A2/en
Priority to US12/861,463 priority patent/US8854317B2/en
Priority to CN201010265467.0A priority patent/CN102004604B/zh
Publication of JP2011053972A publication Critical patent/JP2011053972A/ja
Application granted granted Critical
Publication of JP5310403B2 publication Critical patent/JP5310403B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04808Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Description

本発明は、情報処理装置、情報処理方法およびプログラムに関する。
近年、タッチパネルを使用したUI(User Interface)の機能を有する機器が広く普及している。PC(Personal Computer)のUI上では、スクロールバーによって画面スクロールを行うことが一般的であったが、タッチパネルを使用したUIの普及により、指などの操作体によって画面上をドラッグすることで、画面スクロールを行うことが可能となった。このように、タッチパネルを使用したUIでは、ユーザのジェスチャによって直感的な操作を行うことが可能である。
しかし、例えば、タッチパネルを使用したUIでは、ドラッグによるテキストや画像などの選択といった操作と、ドラッグによる画面スクロールの操作が衝突してしまうという問題がある。この問題に対処するために、例えば、テキスト選択用に新しいジェスチャを機器に学習させることが想定されるが、操作性の低下の要因になるという問題がある。
また、例えば、ドラッグによるスクロールが可能な画面上に、操作体によるタッチ操作によって選択してドラッグによって移動させることができるオブジェクトが張り巡らされている場合などがある。このような場合には、画面スクロールの操作とオブジェクトの移動の操作とを区別することができない。
さらに、ペイントアプリケーションを実行している際に、ドラッグによるスクロールが可能なキャンバス上でペンを用いたドラッグによって描画を行う場合に、キャンバスのスクロール操作と描画操作とが重複してしまうという問題がある。
このような問題に対処するために、例えば、操作体がタッチパネルに接触した面積を検出し、検出した面積によってペンと指とを区別することによって、ペンによる操作と指による操作とに対して異なる動作を割り当てる技術が開示されている(例えば、特許文献1参照)。
特開2008−84119号公報
しかしながら、特許文献1に開示された技術では、例えば、操作体として指のみを用いて操作を行う場合に、複数の操作を区別することが困難であり、複数の操作に対して異なる動作を割り当てることは困難であるという問題があった。
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、操作体によるタッチパネルに対する複数の操作を区別することが可能な、新規かつ改良された技術を提供することにある。
上記課題を解決するために、本発明のある観点によれば、表示面を有するとともに表示面に情報を表示させることが可能である表示部と、接触面を有するとともに操作体によって接触された接触面における位置を接触位置として検出することが可能であるタッチパネルと、操作体と接触面との接触によって接触面に加えられる圧力の大きさである圧力値を検出する圧力値検出部と、圧力値検出部によって検出される圧力値の変化に応じて第1処理または第2処理を実行対象の処理として決定する処理制御部と、処理制御部によって第1処理が実行対象の処理として決定された場合に第1処理を実行する第1処理部と、処理制御部によって第2処理が実行対象の処理として決定された場合に第2処理を実行する第2処理部と、を備える、情報処理装置が提供される。
情報処理装置は、圧力値検出部によって検出される圧力値を経過時間とともに監視する圧力値監視部と、操作体が接触面に接触しながら移動する操作であるドラッグを検出するドラッグ検出部と、をさらに備え、処理制御部は、ドラッグ検出部によってドラッグが検出された場合に、圧力値監視部によって監視される圧力値の所定時間内における変化量に応じて第1処理または第2処理を実行対象の処理として決定することとしてもよい。
ドラッグ検出部は、ドラッグが開始された時刻をドラッグ開始時刻としてさらに検出し、処理制御部は、所定時間内における変化量として、ドラッグ検出部によって検出されたドラッグ開始時刻より所定時間前における圧力値に対するドラッグ開始時刻における圧力値の割合を使用することとしてもよい。
処理制御部は、割合が所定値以下であるという条件を満たす場合に第1処理を実行対象の処理として決定し、条件を満たさない場合に第2処理を実行対象の処理として決定することとしてもよい。
情報処理装置は、操作体が接触面に対する接触を開始した位置を接触開始位置として検出する接触開始検出部をさらに備え、第1処理部は、第1処理として接触開始検出部によって検出された接触開始位置を使用した処理を実行することとしてもよい。
ドラッグ検出部は、ドラッグによって操作体が接触面に接触しながら移動した距離と方向とをさらに検出し、第1処理部は、表示面に表示されている情報のうちで、接触開始検出部によって検出された接触開始位置に対応する位置に表示されているオブジェクトをドラッグ検出部によって検出された方向と距離とに基づいて移動させる処理を第1処理として実行することとしてもよい。
第2処理部は、表示面に表示されている情報のうちで、表示面に表示されている画面をドラッグ検出部によって検出された方向と距離とに基づいてスクロールさせる処理を第2処理として実行することとしてもよい。
第1処理部は、表示面に表示されている情報のうちで、接触開始位置と接触開始位置からドラッグ検出部によって検出された方向および距離に基づいて移動した位置とに基づいて決定される領域に存在する情報を選択する処理を第1処理として実行することとしてもよい。
第1処理部は、表示面の接触開始位置に操作体によってコマンドを指定するためのボタンが内部に配置されたウィンドウを表示させる処理を第1処理として実行することとしてもよい。
第1処理部は、操作体によってウィンドウに配置されたボタンが選択されたと判断すると、選択されたボタンによって指定されるコマンドに従った処理をさらに実行することとしてもよい。
第2処理部は、ドラッグ検出部によって検出された方向と距離とに基づいて表示面に表示される映像の早送りまたは巻き戻しを行うこととしてもよい。
第1処理部は、接触開始位置を開始点とし、接触開始位置からドラッグ検出部によって検出された方向および距離に基づいて移動した位置を終了点とした場合に、開始点から終了点までに対応する表示面における位置にラインを引く処理を第1処理として実行することとしてもよい。
以上説明したように本発明によれば、操作体によるタッチパネルに対する複数の操作を区別することが可能となる。
本発明の第1実施形態に係る情報処理装置が操作される様子を示す図である。 同実施形態に係る情報処理装置の分解斜視図である。 同実施形態に係る情報処理装置のハードウェア構成を示す図である。 タッチなしのドラッグ操作が行われた場合の圧力値変化を示す図である。 タッチありのドラッグ操作が行われた場合の圧力値変化を示す図である。 同実施形態に係る情報処理装置の動作の様子を示す図である。 同実施形態に係る情報処理装置の機能構成を示す図である。 同実施形態に係る情報処理装置の動作の流れを示すフローチャートである。 同実施形態の変形例1に係る情報処理装置の動作の様子を示す図である。 同実施形態の変形例2に係る情報処理装置の動作の様子を示す図である。 同実施形態の変形例3に係る情報処理装置の動作の様子を示す図である。
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.第1実施形態
1−1.情報処理装置が操作される様子
1−2.情報処理装置の分解斜視図
1−3.情報処理装置のハードウェア構成
1−4.タッチなしのドラッグ操作が行われた場合の圧力値変化
1−5.タッチありのドラッグ操作が行われた場合の圧力値変化
1−6.情報処理装置の動作の様子
1−7.情報処理装置の機能構成
1−8.情報処理装置の動作の流れ
2.第1実施形態の変形例
2−1.変形例1
2−2.変形例2
2−3.変形例3
3.まとめ
<1.第1実施形態>
[1−1.情報処理装置が操作される様子]
図1は、本発明の第1実施形態に係る情報処理装置が操作される様子を示す図である。図1を参照して、本発明の第1実施形態に係る情報処理装置が操作される様子について説明する。
本発明の第1実施形態に係る情報処理装置100は、タッチパネル102を備えるものである。ユーザは、タッチパネル102に対して操作体210を接触させることにより、操作を行うことができる。以下では、操作体210としてユーザの右手の人差し指を使用することとして説明するが、これらの指に限定されず、ユーザ自身が使いやすい指を使用することとすればよい。例えば、左手の指を使用することとしてもよく、他の指(親指、中指、薬指、小指など)を使用することとすればよい。
[1−2.情報処理装置の分解斜視図]
図2は、本発明の第1実施形態に係る情報処理装置の分解斜視図である。図2を参照して、本発明の第1実施形態に係る情報処理装置のハードウェア構成について説明する。図2には、情報処理装置100の上面から下面に向けて、タッチパネル102、圧力センサ(感圧センサ)105、表示装置101および基盤109の順に積層される例について示されているが、積層される順については特に限定されるものではない。
図2に示すように、情報処理装置100の上面には、タッチパネル102が配設されている。タッチパネル102は、ユーザの操作体210が接触することが可能な接触面102aを有しており、接触面102aにおける操作体210との接触位置を示す位置情報を取得することが可能である。タッチパネル102は、取得した位置情報をCPU108(図3参照)に情報信号として出力する。情報処理装置100のユーザは、タッチパネル102に対して操作体210を接触させることにより、情報処理装置100に対して各種のデータを入力したり処理動作を指示したりすることができる。タッチパネル102としては、操作体210が接触した接触面102a上における位置を検出できるものであればどのようなものを使用してもよい。
タッチパネル102の下面には、圧力センサ105が配設されている。圧力センサ105は、図2に示したように、タッチパネル102の下面の全面に配設されていることとしてもよいし、所定の箇所(4隅等)に設置されることとしてもよいが、圧力センサ105が配設される位置は特に限定されるものではない。圧力センサ105は、ユーザが操作体210によってタッチパネル102を押下した際に、操作体210から接触面102aが受けた圧力を検出することが可能な位置に配置されていればよい。
圧力センサ105の下面には、表示装置101が配設されている。表示装置101は、情報を表示することが可能にされたものである。表示装置101は、例えば、LCD(Liquid Crystal Display)、有機EL(Electroluminescence)ディスプレイ装置など、情報をユーザに対して視覚的に通知することが可能な装置で構成される。表示装置101は、例えば、情報処理装置100が行った各種処理により得られた結果を出力する。具体的には、表示装置101は、情報処理装置100が行った各種処理により得られた結果を、テキストまたはイメージで表示する。また、本実施形態では、表示装置101は、圧力センサ105の下面に配設されることとするが、配設される場所については特に限定されるものではない。例えば、表示装置101は、情報処理装置100の外部に存在することとしてもよい。
表示装置101の下面には、基盤109が配設されている。基盤109には、情報処理装置100で使用される様々な部品、装置などが取り付けられている。具体的には、図3を用いて後述する、不揮発性メモリ106、RAM(Random Access Memory)107、CPU108などの装置が取り付けられている。
[1−3.情報処理装置のハードウェア構成]
図3は、本発明の第1実施形態に係る情報処理装置のハードウェア構成を示す図である。図3を参照して、本発明の第1実施形態に係る情報処理装置のハードウェア構成について説明する。
図3に示すように、情報処理装置100は、表示装置101と、タッチパネル102と、圧力センサ105と、不揮発性メモリ106と、RAM107と、CPU108とを備えるものである。ただし、上記したように、表示装置101は、情報処理装置100の外部に存在することとしてもよい。ここでは、不揮発性メモリ106と、RAM107と、CPU108とについて説明する。
不揮発性メモリ106は、データ格納用の装置であり、例えば、HDD(Hard Disk Drive)等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイス等により構成される。不揮発性メモリ106は、CPU108が実行するプログラムや各種データを格納する。
RAM107は、CPU108において使用するプログラムや、その実行において適宜変化するパラメータ等を一次記憶するものである。
CPU108は、演算処理装置および制御装置として機能し、不揮発性メモリ106、RAM107に記録された各種プログラムにしたがって、情報処理装置100内の動作全般またはその一部を制御するものである。
以上、本発明の各実施形態に係る情報処理装置100の機能を実現可能なハードウェア構成の一例を示した。上記した各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。したがって、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
[1−4.タッチなしのドラッグ操作が行われた場合の圧力値変化]
図4は、タッチなしのドラッグ操作が行われた場合の圧力値変化を示す図である。図4を参照して、タッチなしのドラッグ操作が行われた場合の圧力値変化について説明する。
図4に示すように、操作体210がタッチパネル102に対してタッチ(指を停止)せずに接触開始位置T1から接触終了位置T4までドラッグ(以下、「タッチなしドラッグ」とも言う。)した場合を想定する。この場合には、タッチパネル102に加えられる圧力の大きさである圧力値(以下、単に「圧力値」とも言う。)はほぼ一定であり、時間の経過とともに圧力値が変化する様子は、図4に示すグラフのようになる。
より具体的には、操作体210がタッチパネル102に接触を開始した時刻t1から操作体210がタッチパネル102上を移動し始める時刻t3まで、圧力値は、比較的緩やかに上昇する。このように、時刻t3よりも前に(急激な)圧力変化を検出しない場合には、情報処理装置100は、第2処理を実行することが可能である。第2処理としては、例えば、表示部150に表示される画面全体に対してスクロールを行う処理などが想定される。
[1−5.タッチありのドラッグ操作が行われた場合の圧力値変化]
図5は、タッチありのドラッグ操作が行われた場合の圧力値変化を示す図である。図5を参照して、タッチありのドラッグ操作が行われた場合の圧力値変化について説明する。
図5に示すように、操作体210がタッチパネル102に対してタッチした後に接触開始位置T1から接触終了位置T4までドラッグ(以下、「タッチ&ドラッグ」とも言う。)した場合を想定する。この場合には、圧力値が時間の経過とともに変化する様子は、図5に示すグラフのようになる。操作体210がタッチパネル102に対してタッチしてからドラッグすると、タッチした直後の圧力値にはドラッグ安定時の圧力値から大きく外れたオーバーシュートが見られる。
より具体的には、操作体210がタッチパネル102に接触を開始した時刻t1から操作体210がタッチパネル102上を移動し始める時刻t3までに、圧力値にオーバーシュートが見られる時刻t2が存在する。例えば、時刻t2から時刻t3までの時間は、例えば、経験的に20msであることが想定されるが、ユーザの個人差や環境などによって様々に変更されるものである。時刻t2における圧力値に対する時刻t3における圧力値は、例えば、経験的に70%(30%減少)程度であることが想定されるが、ユーザの個人差や環境などによって様々に変更されるものである。このように、時刻t3よりも前に(急激な)圧力変化を検出した場合には、情報処理装置100は、第1処理を実行することが可能である。第1処理としては、例えば、表示部150に表示される画面のうち、操作体210がタッチしたオブジェクトを移動させる処理などが想定される。
[1−6.情報処理装置の動作の様子]
図6は、本発明の第1実施形態に係る情報処理装置の動作の様子を示す図である。図6を参照して、本発明の第1実施形態に係る情報処理装置の動作の様子について説明する。
図6に示すように、例えば、情報処理装置100がマップビューアを起動し、表示装置101の表示面101aにマップを表示する場合を想定する。さらに、表示面101aには、オブジェクトの一例として、GPS情報に紐づけされたピン221が表示されている。本実施形態に係る情報処理装置100によれば、例えば、マップをスクロールさせる操作とピン221を移動させる操作とを区別することが可能である。
より具体的には、操作体210がタッチパネル102をタッチしてからドラッグすると、情報処理装置100は、タッチされた位置に存在するオブジェクトを移動する処理を実行する。表示面101bには、情報処理装置100によって移動前のオブジェクトの一例であるピン221’が移動後のオブジェクトの一例であるピン221に移動された様子が示されている。
一方で、表示装置101に表示されているマップに対するスクロールも操作体210によるドラッグ操作によって行うことが可能である。ここで、オブジェクトを移動させる処理と、画面全体をスクロールさせる処理とには違いがあり、前者では、情報処理装置100は、操作体210によってタッチされた位置を検出する必要があるのに対し、後者では、情報処理装置100は、相対的な移動量を取得できればよいので、操作体210によってタッチされた位置を検出する必要がない点である。本実施形態では、この違いを利用して、ドラッグによるインタラクションを区別する。
より具体的には、操作体210がタッチパネル102をタッチせずにドラッグすると、情報処理装置100は、画面をスクロールさせる処理を実行する。表示面101cには、情報処理装置100によってスクロール後の画面が示されている。
[1−7.情報処理装置の機能構成]
図7は、本発明の第1実施形態に係る情報処理装置の機能構成を示す図である。図7を参照して、本発明の第1実施形態に係る情報処理装置の機能構成について説明する。
図7に示すように、情報処理装置100は、制御部110と、記憶部120と、圧力値検出部130と、タッチパネル102と、表示部150とを備えるものである。
記憶部120は、例えば、不揮発性メモリ106などによって構成されるものであり、プログラムや、制御部110が処理を実行するに際して使用するデータなどを記憶する機能を有するものである。
表示部150は、例えば、表示装置101などによって構成されるものであり、表示面を有するとともに表示面に情報を表示させることが可能である。表示面に表示させるための情報は、例えば、第1処理部116や第2処理部117から出力される。また、上記したように、表示部150は、情報処理装置100の外部に存在することとしてもよい。
タッチパネル102は、例えば、静電容量式タッチパネルなどによって構成されるものであり、接触面102aを有するとともに操作体210によって接触された接触面102aにおける位置を接触位置として検出することが可能である。上記したように、タッチパネル102は、静電容量式タッチパネルに限定されるものではない。
圧力値検出部130は、例えば、圧力センサ105などによって構成されるものであり、操作体210によって接触面102aに加えられる圧力の大きさである圧力値を検出する。なお、圧力値検出部130は、直接的には、圧力値検出部130に加えられる圧力の大きさである圧力値を検出することができる。したがって、圧力値検出部130は、操作体210によって接触面102aを介して、間接的に、圧力値検出部130に加えられる圧力の大きさである圧力値を検出することによって接触面102aに加えられる圧力の大きさである圧力値を検出する。
制御部110は、例えば、CPU108、RAM107などによって構成されるものであり、処理制御部115、第1処理部116、第2処理部117などを備えるものである。制御部110が有する機能は、例えば、CPU108が記憶部120によって記憶されるプログラムをRAM107に展開し、RAM107に展開したプログラムを実行することによって実現される。
処理制御部115は、圧力値検出部130によって検出される圧力値の変化に応じて第1処理または第2処理を実行対象の処理として決定する。決定の手法については、様々なものが想定され、特に限定されるものではない。処理制御部115は、第1処理を実行対象の処理として決定した場合には、その旨を第1処理部116に出力し、第2処理を実行対象の処理として決定した場合には、その旨を第2処理部117に出力する。
第1処理部116は、処理制御部115によって第1処理が実行対象の処理として決定された場合に第1処理を実行する。第1処理部116は、例えば、処理制御部115から第1処理を実行対象の処理として決定した旨の入力を受け付けた場合に、処理制御部115によって第1処理が実行対象の処理として決定されたと判断する。第1処理は、特に限定されるものではないが、上記した例では、オブジェクトを移動させる処理などが該当する。
第2処理部117は、処理制御部115によって第2処理が実行対象の処理として決定された場合に第2処理を実行する。第2処理部117は、例えば、処理制御部115から第2処理を実行対象の処理として決定した旨の入力を受け付けた場合に、処理制御部115によって第2処理が実行対象の処理として決定されたと判断する。第2処理は、特に限定されるものではないが、上記した例では、画面をスクロールさせる処理などが該当する。
制御部110は、圧力値監視部112とドラッグ検出部113とをさらに備えることとしてもよい。圧力値監視部112は、圧力値検出部130によって検出される圧力値を経過時間とともに監視する。圧力値監視部112は、監視した圧力値と経過時間とを対応付けて保持する。経過時間の基準時刻については特に限定されるものではなく、情報処理装置100の電源がONにされた直後の時刻を基準としてもよいし、CPU108によってプログラムが起動された時刻であってもよい。ドラッグ検出部113は、操作体210が接触面102aに接触しながら移動する操作であるドラッグを検出する。
処理制御部115は、ドラッグ検出部113によってドラッグが検出された場合に、圧力値監視部112によって監視される圧力値の所定時間内における変化量に応じて第1処理または第2処理を実行対象の処理として決定する。所定時間は、特に限定されるものではなく、所定時間内とは、所定時間の範囲内であれば特に限定されるものではない。
ドラッグ検出部113は、ドラッグが開始された時刻をドラッグ開始時刻としてさらに検出することとしてもよい。その場合には、処理制御部115は、所定時間内における変化量として、ドラッグ検出部113によって検出されたドラッグ開始時刻より所定時間前における圧力値に対するドラッグ開始時刻における圧力値の割合を使用することとしてもよい。図5に示した例では、ドラッグ開始時刻は時刻t3に相当し、ドラッグ開始時刻よりも所定時間(例えば、20ms)前は時刻t2に相当する。
処理制御部115は、その割合が所定値以下であるという条件を満たす場合に第1処理を実行対象の処理として決定し、条件を満たさない場合に第2処理を実行対象の処理として決定することとしてもよい。所定値は特に限定されるものではないが、図5に示した例では、所定値は70%に相当する。
制御部110は、接触開始検出部111をさらに備えることとしてもよい。その場合には、接触開始検出部111は、操作体210が接触面102aに対する接触を開始した位置を接触開始位置として検出する。第1処理部116は、第1処理として接触開始検出部111によって検出された接触開始位置を使用した処理を実行する。接触開始位置を使用した処理は、特に限定されるものではないが、上記した例では、接触開始位置に存在するオブジェクトを移動させる処理に相当する。
ドラッグ検出部113は、ドラッグによって操作体210が接触面102aに接触しながら移動した距離と方向とをさらに検出することとしてもよい。その場合には、第1処理部116は、表示面に表示されている情報のうちで、接触開始検出部111によって検出された接触開始位置に対応する位置に表示されているオブジェクトをドラッグ検出部113によって検出された方向と距離とに基づいて移動させる処理を第1処理として実行する。
制御部110は、接触面102a上の位置と表示面上の位置との対応を把握することが可能である。接触面102a上の位置と表示面上の位置との対応は、1対1に対応することとしてもよいし、1対Nに対応することとしてもよい。例えば、接触面102aよりも表示面のほうが大きい場合には、Nは1より大きい値となる。
第2処理部117は、例えば、表示面に表示されている情報のうちで、表示面に表示されている画面をドラッグ検出部113によって検出された方向と距離とに基づいてスクロールさせる処理を第2処理として実行することとしてもよい。
制御部110は、接触終了検出部114などを備えることとしてもよい。接触終了検出部114は、操作体210が接触面102aに対してタッチを終了した旨を検出するものである。
[1−8.情報処理装置の動作の流れ]
図8は、本発明の第1実施形態に係る情報処理装置の動作の流れを示すフローチャートである。図8を参照して、本発明の第1実施形態に係る情報処理装置の動作の流れについて説明する。
情報処理装置100の接触開始検出部111は、ユーザの指などの操作体210がタッチパネル102に対して接触したか否かをチェックする(ステップS101)。接触開始検出部111によって操作体210がタッチパネル102に対して接触したと判断した場合には(ステップS101で「Yes」)、第1処理部116は、操作体210によって接触された接触面102a上の位置を座標P1(接触位置)として記憶する(ステップS102)。圧力値監視部112は、圧力値検出部130によって検出される圧力値の監視を開始する(ステップS103)。
ドラッグ検出部113は、ドラッグを検出するか否かを判断する(ステップS104)。接触終了検出部114は、ドラッグ検出部113によってドラッグが検出されないと判断された場合には(ステップS104で「No」)、操作体210によるタッチパネル102への接触が終了したか否かを判断する(ステップS105)。接触終了検出部114によって接触が終了したと判断された場合には(ステップS105で「Yes」)、制御部110は、タッチパネル102に対してタップがされた場合に実行される任意の処理などを実行し、ステップS101に戻る。接触終了検出部114によって接触が終了されないと判断した場合には(ステップS105で「No」)、ステップS104に戻る。
圧力値監視部112は、ドラッグ検出部113によってドラッグが検出されたと判断された場合には(ステップS104で「Yes」)、圧力値検出部130によって検出される圧力値の監視を終了する(ステップS106)。処理制御部115は、圧力値監視部112によって監視された圧力値が所定時間内に30%低下したか否かを判断する(ステップS107)。第2処理部117は、処理制御部115によって圧力値が所定時間内に30%低下していないと判断された場合には(ステップS107で「No」)、第2処理の一例として、表示部150に表示されている画面全体に対するスクロールを行い、ステップS110に進む。
第1処理部116は、処理制御部115によって圧力値が所定時間内に30%低下したと判断された場合には(ステップS107で「No」)、第1処理の一例として、表示部150に表示されている情報のうちで、座標P1上にあるオブジェクトに対する移動を行い、ステップS110に進む。
接触終了検出部114は、操作体210によるタッチパネル102への接触が終了したか否かを判断する(ステップS110)。接触が終了したと判断した場合には(ステップS110で「Yes」)、ステップS101に戻る。接触が終了されないと判断した場合には(ステップS110で「No」)、ステップS107に戻る。
<2.第1実施形態の変形例>
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
例えば、上記実施形態では、第1処理部116が実行する第1処理としてオブジェクトを移動させる処理とし、第2処理部117が実行する第2処理として画面をスクロールさせる処理としたが、本発明はかかる例に限定されない。
[2−1.変形例1]
図9は、本発明の第1実施形態の変形例1に係る情報処理装置の動作の様子を示す図である。図9を参照して、本発明の第1実施形態の変形例1に係る情報処理装置の動作について説明する。
図9に示すように、第1処理部116は、Webブラウザなどが起動されることで表示面101dに表示されている情報のうちで、接触開始位置Q1と接触開始位置Q1からドラッグ検出部113によって検出された方向および距離に基づいて移動した位置Q4とに基づいて決定される領域に存在する情報を選択する処理を第1処理として実行することとしてもよい。その領域は、表示面101eには、選択領域222として示されている。図9には、選択領域222がテキストデータである例について示されているが、テキストデータに限定されるものではない。
表示面101fには、第2処理部117が、ドラッグ検出部113によって検出された方向および距離に基づいてスクロールした後に表示される画面が示されている。
[2−2.変形例2]
図10は、本発明の第1実施形態の変形例2に係る情報処理装置の動作の様子を示す図である。図10を参照して、本発明の第1実施形態の変形例2に係る情報処理装置の動作について説明する。
図10に示すように、情報処理装置100によって映像再生のためのアプリケーションが起動された場合、第1処理部116は、表示面101gの接触開始位置にウィンドウ223を表示させる処理を第1処理として実行することとしてもよい。ウィンドウ223には、操作体210によってコマンドを指定するためのボタンが内部に配置されている。第1処理部116は、操作体210によってウィンドウ223に配置されたボタンが選択されたと判断すると、選択されたボタンによって指定されるコマンドに従った処理をさらに実行することとしてもよい。
第1処理部116は、例えば、接触開始位置R1からドラッグ検出部113によって検出された方向および距離に基づいて移動した位置R4に、早送り再生を行うためのボタンが表示されている場合に速度を上げて映像を再生することとしてもよい。表示面101hには、早送り再生を行うためのボタンが位置R4に表示されている場合について示されている。また、第1処理部116は、例えば、早送り再生を行うためのボタンが表示されている位置に対応するタッチパネル102上の位置に対して操作体210が接触したと判断した場合に速度を上げて映像を再生することとしてもよい。
第2処理部117は、ドラッグ検出部113によって検出された方向と距離とに基づいて表示面101gに表示される映像の早送りまたは巻き戻しを行うこととしてもよい。第2処理部117は、例えば、ドラッグ検出部113によって検出された方向と距離によって与えられるベクトルの右向き成分を判定し、右向き成分に応じて表示面101gに表示される映像の早送りをする。また、第2処理部117は、例えば、ドラッグ検出部113によって検出された方向と距離によって与えられるベクトルの左向き成分を判定し、左向き成分に応じて表示面101gに表示される映像の巻き戻しをする。
表示面101iには、第2処理部117が、右向き成分に応じて表示される映像の早送りをした例について示されている。ここでは、第2処理の例として、ドラッグの方向と距離に応じて映像の早送りまたは巻き戻しを行う処理について示したが、他のジェスチャ操作を第2処理として行うこととしてもよい。
[2−3.変形例3]
図11は、本発明の第1実施形態の変形例3に係る情報処理装置の動作の様子を示す図である。図11を参照して、本発明の第1実施形態の変形例3に係る情報処理装置の動作について説明する。
図11に示すように、ペイントツールなどが情報処理装置100によって起動され、接触開始位置S1を開始点とし、接触開始位置S1からドラッグ検出部113によって検出された方向および距離に基づいて移動した位置S4を終了点とする。その場合に、第1処理部116は、開始点から終了点までに対応する表示面101jにおける位置にライン224を引く処理を第1処理として実行することとしてもよい。表示面101kには、第2処理部117が、ドラッグ検出部113によって検出された方向および距離に基づいてライン224を引いた後に表示される画面が示されている。
表示面101lには、第2処理部117が、ドラッグ検出部113によって検出された方向および距離に基づいてスクロールした後に表示される画面が示されている。
<3.まとめ>
本実施形態とその変形例によれば、情報処理装置は、ユーザに新しい操作を学習させずに、ユーザによるドラッグ操作の違いによって、実行するべき処理(例えば、画面スクロールとオブジェクト選択)を、切り分けることができるようになる。また、情報処理装置によって実行される処理は、画面スクロールやオブジェクト選択に限定されることなく、ドラッグ操作によって実行される処理であればよい。本実施形態とその変形例に係る情報処理装置は、メディアプレーヤー(登録商標)、ペイントツール、WEBブラウザ、マップビューアなどのアプリケーションを起動し、ドラッグ操作によってユーザからコマンドを受け付ける装置全般に対して広く応用できる。
100 情報処理装置
101 表示装置
102 タッチパネル
102a 接触面
105 圧力センサ
106 不揮発性メモリ
107 RAM
108 CPU
109 基盤
110 制御部
111 接触開始検出部
112 圧力値監視部
113 ドラッグ検出部
114 接触終了検出部
115 処理制御部
116 第1処理部
117 第2処理部
120 記憶部
130 圧力値検出部
150 表示部
210 操作体

Claims (13)

  1. 表示面を有するとともに前記表示面に情報を表示させることが可能である表示部と、
    接触面を有するとともに操作体によって接触された前記接触面における位置を接触位置として検出することが可能であるタッチパネルと、
    前記操作体と前記接触面との接触によって前記接触面に加えられる圧力の大きさである圧力値を検出する圧力値検出部と、
    前記圧力値検出部によって検出される前記圧力値の変化に応じて第1処理または第2処理を実行対象の処理として決定する処理制御部と、
    前記処理制御部によって前記第1処理が前記実行対象の処理として決定された場合に前記第1処理を実行する第1処理部と、
    前記処理制御部によって前記第2処理が前記実行対象の処理として決定された場合に前記第2処理を実行する第2処理部と、
    前記圧力値検出部によって検出される前記圧力値を経過時間とともに監視する圧力値監視部と、
    前記操作体が前記接触面に接触しながら移動する操作であるドラッグを検出するドラッグ検出部と、
    を備え
    前記処理制御部は、
    前記ドラッグ検出部によって前記ドラッグが検出された場合に、前記ドラッグ開始前の前記圧力値監視部によって監視された前記圧力値の所定時間内における変化量に応じて前記第1処理または前記第2処理を前記実行対象の処理として決定する、情報処理装置。
  2. 前記ドラッグ検出部は、
    前記ドラッグが開始された時刻をドラッグ開始時刻としてさらに検出し、
    前記処理制御部は、
    前記所定時間内における変化量として、前記ドラッグ検出部によって検出された前記ドラッグ開始時刻より前記所定時間前における前記圧力値に対する前記ドラッグ開始時刻における前記圧力値の割合を使用する、
    請求項に記載の情報処理装置。
  3. 前記処理制御部は、
    前記割合が所定値以下であるという条件を満たす場合に前記第1処理を前記実行対象の処理として決定し、前記条件を満たさない場合に前記第2処理を前記実行対象の処理として決定する、
    請求項に記載の情報処理装置。
  4. 前記操作体が前記接触面に対する接触を開始した位置を接触開始位置として検出する接触開始検出部をさらに備え、
    前記第1処理部は、
    前記第1処理として前記接触開始検出部によって検出された前記接触開始位置を使用した処理を実行する、
    請求項1に記載の情報処理装置。
  5. 前記ドラッグ検出部は、
    前記ドラッグによって前記操作体が前記接触面に接触しながら移動した距離と方向とをさらに検出し、
    前記第1処理部は、
    前記表示面に表示されている情報のうちで、前記接触開始検出部によって検出された前記接触開始位置に対応する位置に表示されているオブジェクトを前記ドラッグ検出部によって検出された前記方向と前記距離とに基づいて移動させる処理を前記第1処理として実行する、
    請求項に記載の情報処理装置。
  6. 前記第2処理部は、
    前記表示面に表示されている情報のうちで、前記表示面に表示されている画面を前記ドラッグ検出部によって検出された前記方向と前記距離とに基づいてスクロールさせる処理を前記第2処理として実行する、
    請求項に記載の情報処理装置。
  7. 前記第1処理部は、
    前記表示面に表示されている情報のうちで、前記接触開始位置と前記接触開始位置から前記ドラッグ検出部によって検出された前記方向および前記距離に基づいて移動した位置とに基づいて決定される領域に存在する情報を選択する処理を前記第1処理として実行する、
    請求項に記載の情報処理装置。
  8. 前記第1処理部は、
    前記表示面の前記接触開始位置に前記操作体によってコマンドを指定するためのボタンが内部に配置されたウィンドウを表示させる処理を前記第1処理として実行する、
    請求項に記載の情報処理装置。
  9. 前記第1処理部は、
    前記操作体によって前記ウィンドウに配置された前記ボタンが選択されたと判断すると、選択された前記ボタンによって指定される前記コマンドに従った処理をさらに実行する、
    請求項に記載の情報処理装置。
  10. 前記第2処理部は、
    前記ドラッグ検出部によって検出された前記方向と前記距離とに基づいて前記表示面に表示される映像の早送りまたは巻き戻しを行う、
    請求項に記載の情報処理装置。
  11. 前記第1処理部は、
    前記接触開始位置を開始点とし、前記接触開始位置から前記ドラッグ検出部によって検出された前記方向および前記距離に基づいて移動した位置を終了点とした場合に、前記開始点から前記終了点までに対応する前記表示面における位置にラインを引く処理を前記第1処理として実行する、
    請求項に記載の情報処理装置。
  12. 表示面を有するとともに前記表示面に情報を表示させることが可能である表示部と、接触面を有するとともに操作体によって接触された前記接触面における位置を接触位置として検出することが可能であるタッチパネルと、圧力検出部と、処理制御部と、第1処理部と、第2処理部と、圧力値監視部と、ドラッグ検出部とを備える情報処理装置の前記圧力検出部により、前記操作体と前記接触面との接触によって前記接触面に加えられる圧力の大きさである圧力値を検出するステップと、
    前記処理制御部により、前記圧力値検出部によって検出される前記圧力値の変化に応じて第1処理または第2処理を実行対象の処理として決定するステップと、
    前記第1処理部により、前記処理制御部によって前記第1処理が前記実行対象の処理として決定された場合に前記第1処理を実行するステップと、
    前記第2処理部により、前記処理制御部によって前記第2処理が前記実行対象の処理として決定された場合に前記第2処理を実行するステップと、
    前記圧力値監視部により、前記圧力値検出部によって検出される前記圧力値を経過時間とともに監視するステップと、
    前記ドラッグ検出部により、前記操作体が前記接触面に接触しながら移動する操作であるドラッグを検出するステップと、
    を含み、
    前記処理制御部は、
    前記ドラッグ検出部によって前記ドラッグが検出された場合に、前記ドラッグ開始前の前記圧力値監視部によって監視された前記圧力値の所定時間内における変化量に応じて前記第1処理または前記第2処理を前記実行対象の処理として決定する、情報処理方法。
  13. コンピュータを、
    表示面を有するとともに前記表示面に情報を表示させることが可能である表示部と、
    接触面を有するとともに操作体によって接触された前記接触面における位置を接触位置として検出することが可能であるタッチパネルと、
    前記操作体と前記接触面との接触によって前記接触面に加えられる圧力の大きさである圧力値を検出する圧力値検出部と、
    前記圧力値検出部によって検出される前記圧力値の変化に応じて第1処理または第2処理を実行対象の処理として決定する処理制御部と、
    前記処理制御部によって前記第1処理が前記実行対象の処理として決定された場合に前記第1処理を実行する第1処理部と、
    前記処理制御部によって前記第2処理が前記実行対象の処理として決定された場合に前記第2処理を実行する第2処理部と、
    前記圧力値検出部によって検出される前記圧力値を経過時間とともに監視する圧力値監視部と、
    前記操作体が前記接触面に接触しながら移動する操作であるドラッグを検出するドラッグ検出部と、
    を備える、情報処理装置として機能させるためのプログラムであって、
    前記処理制御部は、
    前記ドラッグ検出部によって前記ドラッグが検出された場合に、前記ドラッグ開始前の前記圧力値監視部によって監視された前記圧力値の所定時間内における変化量に応じて前記第1処理または前記第2処理を前記実行対象の処理として決定する、プログラム。
JP2009202957A 2009-09-02 2009-09-02 情報処理装置、情報処理方法およびプログラム Expired - Fee Related JP5310403B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2009202957A JP5310403B2 (ja) 2009-09-02 2009-09-02 情報処理装置、情報処理方法およびプログラム
EP10168271A EP2299351A2 (en) 2009-09-02 2010-07-02 Information processing apparatus, information processing method and program
US12/861,463 US8854317B2 (en) 2009-09-02 2010-08-23 Information processing apparatus, information processing method and program for executing processing based on detected drag operation
CN201010265467.0A CN102004604B (zh) 2009-09-02 2010-08-26 信息处理装置、信息处理方法和程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009202957A JP5310403B2 (ja) 2009-09-02 2009-09-02 情報処理装置、情報処理方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2011053972A JP2011053972A (ja) 2011-03-17
JP5310403B2 true JP5310403B2 (ja) 2013-10-09

Family

ID=43531142

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009202957A Expired - Fee Related JP5310403B2 (ja) 2009-09-02 2009-09-02 情報処理装置、情報処理方法およびプログラム

Country Status (4)

Country Link
US (1) US8854317B2 (ja)
EP (1) EP2299351A2 (ja)
JP (1) JP5310403B2 (ja)
CN (1) CN102004604B (ja)

Families Citing this family (73)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9268518B2 (en) 2011-09-27 2016-02-23 Z124 Unified desktop docking rules
US9715252B2 (en) 2011-08-24 2017-07-25 Z124 Unified desktop docking behavior for window stickiness
US9405459B2 (en) 2011-08-24 2016-08-02 Z124 Unified desktop laptop dock software operation
JP4824805B2 (ja) * 2009-09-28 2011-11-30 京セラ株式会社 携帯端末装置
WO2011076248A1 (en) 2009-12-21 2011-06-30 Promethean Limited Multi-point contacts with pressure data on an interactive surface
WO2011105009A1 (ja) * 2010-02-23 2011-09-01 京セラ株式会社 電子機器
US20120242620A1 (en) * 2011-03-22 2012-09-27 Research In Motion Limited Combined optical navigation and button
CN102236521B (zh) * 2011-04-13 2017-01-25 北京南昊科技股份有限公司 交互系统的显示方法
US9417754B2 (en) 2011-08-05 2016-08-16 P4tents1, LLC User interface system, method, and computer program product
US9182935B2 (en) 2011-09-27 2015-11-10 Z124 Secondary single screen mode activation through menu option
JP5520918B2 (ja) * 2011-11-16 2014-06-11 富士ソフト株式会社 タッチパネル操作方法及びプログラム
US9164544B2 (en) 2011-12-09 2015-10-20 Z124 Unified desktop: laptop dock, hardware configuration
WO2013169846A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for displaying additional information in response to a user contact
EP2847661A2 (en) 2012-05-09 2015-03-18 Apple Inc. Device, method, and graphical user interface for moving and dropping a user interface object
EP3410287B1 (en) 2012-05-09 2022-08-17 Apple Inc. Device, method, and graphical user interface for selecting user interface objects
WO2013169870A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for transitioning between display states in response to gesture
WO2013169843A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for manipulating framed graphical objects
WO2013169851A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for facilitating user interaction with controls in a user interface
WO2013169302A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Varying output for a computing device based on tracking windows
WO2013169845A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for scrolling nested regions
CN104471521B (zh) 2012-05-09 2018-10-23 苹果公司 用于针对改变用户界面对象的激活状态来提供反馈的设备、方法和图形用户界面
EP3185116B1 (en) 2012-05-09 2019-09-11 Apple Inc. Device, method and graphical user interface for providing tactile feedback for operations performed in a user interface
WO2013169849A2 (en) 2012-05-09 2013-11-14 Industries Llc Yknots Device, method, and graphical user interface for displaying user interface objects corresponding to an application
WO2013169875A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for displaying content associated with a corresponding affordance
WO2013169842A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for selecting object within a group of objects
WO2013170099A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Calibration of haptic feedback systems for input devices
WO2013169865A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for moving a user interface object based on an intensity of a press input
US20150109223A1 (en) 2012-06-12 2015-04-23 Apple Inc. Haptic electromagnetic actuator
KR20130143381A (ko) 2012-06-21 2013-12-31 삼성전자주식회사 디지털 촬영 장치 및 그의 제어 방법
JP2014010777A (ja) * 2012-07-02 2014-01-20 Fujitsu Ltd 表示プログラム、表示方法、及び情報処理装置
TWI475435B (zh) * 2012-07-09 2015-03-01 Wistron Corp 壓力感應觸控方法及其觸控顯示裝置
US9886116B2 (en) 2012-07-26 2018-02-06 Apple Inc. Gesture and touch input detection through force sensing
KR20140049254A (ko) * 2012-10-17 2014-04-25 삼성전자주식회사 단말기의 데이터표시 장치 및 방법
CN105144057B (zh) 2012-12-29 2019-05-17 苹果公司 用于根据具有模拟三维特征的控制图标的外观变化来移动光标的设备、方法和图形用户界面
CN109375853A (zh) 2012-12-29 2019-02-22 苹果公司 对用户界面分级结构导航的设备、方法和图形用户界面
CN107831991B (zh) * 2012-12-29 2020-11-27 苹果公司 用于确定是滚动还是选择内容的设备、方法和图形用户界面
WO2014105279A1 (en) 2012-12-29 2014-07-03 Yknots Industries Llc Device, method, and graphical user interface for switching between user interfaces
KR101958582B1 (ko) 2012-12-29 2019-07-04 애플 인크. 터치 입력에서 디스플레이 출력으로의 관계들 사이에서 전환하기 위한 디바이스, 방법, 및 그래픽 사용자 인터페이스
KR101755029B1 (ko) 2012-12-29 2017-07-06 애플 인크. 다중 접촉 제스처에 대한 촉각적 출력의 발생을 보류하는 디바이스, 방법, 및 그래픽 사용자 인터페이스
JP2015026257A (ja) * 2013-07-26 2015-02-05 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US9665206B1 (en) 2013-09-18 2017-05-30 Apple Inc. Dynamic user interface adaptable to multiple input tools
US20150242037A1 (en) 2014-01-13 2015-08-27 Apple Inc. Transparent force sensor with strain relief
US9760275B2 (en) * 2014-04-11 2017-09-12 Intel Corporation Technologies for skipping through media content
KR102206385B1 (ko) 2014-04-11 2021-01-22 엘지전자 주식회사 이동 단말기 및 이의 제어방법
JP6478502B2 (ja) * 2014-07-11 2019-03-06 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
US10297119B1 (en) 2014-09-02 2019-05-21 Apple Inc. Feedback device in an electronic device
JP5992976B2 (ja) * 2014-09-24 2016-09-14 レノボ・シンガポール・プライベート・リミテッド ポインティング・スティックの入力を処理する方法、コンピュータおよびコンピュータ・プログラム
US9939901B2 (en) 2014-09-30 2018-04-10 Apple Inc. Haptic feedback assembly
US9798409B1 (en) 2015-03-04 2017-10-24 Apple Inc. Multi-force input device
US9632664B2 (en) 2015-03-08 2017-04-25 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10048757B2 (en) 2015-03-08 2018-08-14 Apple Inc. Devices and methods for controlling media presentation
US10095396B2 (en) 2015-03-08 2018-10-09 Apple Inc. Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object
US9990107B2 (en) 2015-03-08 2018-06-05 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US9645732B2 (en) 2015-03-08 2017-05-09 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US9785305B2 (en) 2015-03-19 2017-10-10 Apple Inc. Touch input cursor manipulation
US9639184B2 (en) 2015-03-19 2017-05-02 Apple Inc. Touch input cursor manipulation
US20170045981A1 (en) 2015-08-10 2017-02-16 Apple Inc. Devices and Methods for Processing Touch Inputs Based on Their Intensities
US10152208B2 (en) 2015-04-01 2018-12-11 Apple Inc. Devices and methods for processing touch inputs based on their intensities
US10346030B2 (en) 2015-06-07 2019-07-09 Apple Inc. Devices and methods for navigating between user interfaces
US10200598B2 (en) 2015-06-07 2019-02-05 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US9860451B2 (en) 2015-06-07 2018-01-02 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US9674426B2 (en) 2015-06-07 2017-06-06 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US9891811B2 (en) 2015-06-07 2018-02-13 Apple Inc. Devices and methods for navigating between user interfaces
US9830048B2 (en) 2015-06-07 2017-11-28 Apple Inc. Devices and methods for processing touch inputs with instructions in a web page
US10235035B2 (en) 2015-08-10 2019-03-19 Apple Inc. Devices, methods, and graphical user interfaces for content navigation and manipulation
US10248308B2 (en) 2015-08-10 2019-04-02 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interfaces with physical gestures
US9880735B2 (en) 2015-08-10 2018-01-30 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10416800B2 (en) 2015-08-10 2019-09-17 Apple Inc. Devices, methods, and graphical user interfaces for adjusting user interface objects
JP6786245B2 (ja) * 2016-04-07 2020-11-18 ソニーモバイルコミュニケーションズ株式会社 情報処理装置
JP2017224220A (ja) * 2016-06-17 2017-12-21 カシオ計算機株式会社 出力制御装置、出力制御方法及びプログラム
GB201610752D0 (en) * 2016-06-20 2016-08-03 Flavourworks Ltd Method for delivering an interactive video
DK179411B1 (en) 2016-09-06 2018-06-06 Apple Inc Devices and methods for processing and rendering touch inputs unambiguous using intensity thresholds based on a prior input intensity
JP6971573B2 (ja) * 2016-12-27 2021-11-24 キヤノン株式会社 電子機器、その制御方法およびプログラム

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5991441A (en) * 1995-06-07 1999-11-23 Wang Laboratories, Inc. Real time handwriting recognition system
JP3568638B2 (ja) * 1995-06-27 2004-09-22 Smk株式会社 タブレットポインタ
JPH0969025A (ja) * 1995-08-31 1997-03-11 Canon Inc ポインティングデバイス
JPH11203044A (ja) * 1998-01-16 1999-07-30 Sony Corp 情報処理システム
US20020015064A1 (en) * 2000-08-07 2002-02-07 Robotham John S. Gesture-based user interface to multi-level and multi-modal sets of bit-maps
US6590568B1 (en) * 2000-11-20 2003-07-08 Nokia Corporation Touch screen drag and drop input technique
US7656393B2 (en) * 2005-03-04 2010-02-02 Apple Inc. Electronic device having display and surrounding touch sensitive bezel for user interface and control
US11275405B2 (en) * 2005-03-04 2022-03-15 Apple Inc. Multi-functional hand-held device
JP4115198B2 (ja) * 2002-08-02 2008-07-09 株式会社日立製作所 タッチパネルを備えた表示装置
JP2004104594A (ja) * 2002-09-11 2004-04-02 Toshiba Corp デジタルスチルカメラ及びユーザ指示入力方法
EP1569140A3 (en) * 2004-01-30 2006-10-25 Hewlett-Packard Development Company, L.P. Apparatus, methods and software for associating electronic and physical documents
US20060007174A1 (en) * 2004-07-06 2006-01-12 Chung-Yi Shen Touch control method for a drag gesture and control module thereof
US20080094367A1 (en) * 2004-08-02 2008-04-24 Koninklijke Philips Electronics, N.V. Pressure-Controlled Navigating in a Touch Screen
US7629966B2 (en) * 2004-12-21 2009-12-08 Microsoft Corporation Hard tap
JP2006345209A (ja) * 2005-06-08 2006-12-21 Sony Corp 入力装置、情報処理装置、情報処理方法、及びプログラム
CN100583014C (zh) * 2005-09-30 2010-01-20 鸿富锦精密工业(深圳)有限公司 页面信息处理装置及方法
JP5129478B2 (ja) * 2006-03-24 2013-01-30 株式会社デンソーアイティーラボラトリ 画面表示装置
KR100771626B1 (ko) * 2006-04-25 2007-10-31 엘지전자 주식회사 단말기 및 이를 위한 명령 입력 방법
JP2008033739A (ja) * 2006-07-31 2008-02-14 Sony Corp 力覚フィードバックおよび圧力測定に基づくタッチスクリーンインターラクション方法および装置
JP5080773B2 (ja) 2006-09-28 2012-11-21 京セラ株式会社 携帯端末及びその制御方法
EP2071436B1 (en) * 2006-09-28 2019-01-09 Kyocera Corporation Portable terminal and method for controlling the same
US7956847B2 (en) * 2007-01-05 2011-06-07 Apple Inc. Gestures for controlling, manipulating, and editing of media files using touch sensitive devices
US8665225B2 (en) * 2007-01-07 2014-03-04 Apple Inc. Portable multifunction device, method, and graphical user interface for interpreting a finger gesture
CN101308417A (zh) * 2007-05-15 2008-11-19 宏达国际电子股份有限公司 电子装置与其软件的使用者界面操作方法
KR20080104858A (ko) * 2007-05-29 2008-12-03 삼성전자주식회사 터치 스크린 기반의 제스쳐 정보 제공 방법 및 장치, 그장치를 포함하는 정보 단말 기기
JP2008305174A (ja) * 2007-06-07 2008-12-18 Sony Corp 情報処理装置、情報処理方法、プログラム
US20090046110A1 (en) * 2007-08-16 2009-02-19 Motorola, Inc. Method and apparatus for manipulating a displayed image
JP5256755B2 (ja) * 2008-02-01 2013-08-07 株式会社リコー 情報処理方法及び情報処理装置
US8526767B2 (en) * 2008-05-01 2013-09-03 Atmel Corporation Gesture recognition
JP4885911B2 (ja) * 2008-06-27 2012-02-29 京セラ株式会社 携帯端末
EP3258361B1 (en) * 2008-07-01 2020-08-12 LG Electronics Inc. -1- Mobile terminal using pressure sensor and method of controlling the mobile terminal
KR101495559B1 (ko) * 2008-07-21 2015-02-27 삼성전자주식회사 사용자 명령 입력 방법 및 그 장치
CN102246126B (zh) * 2008-12-15 2015-11-25 惠普开发有限公司 基于手势的编辑模式
US20100156814A1 (en) * 2008-12-23 2010-06-24 Research In Motion Limited Portable electronic device including tactile touch-sensitive input device and method of controlling same
JP5157969B2 (ja) * 2009-03-09 2013-03-06 ソニー株式会社 情報処理装置、閾値設定方法及びそのプログラム
JP4723660B2 (ja) * 2009-04-24 2011-07-13 京セラ株式会社 入力装置
CA2761700C (en) * 2009-07-24 2014-12-02 Research In Motion Limited Method and apparatus for a touch-sensitive display
US20110283212A1 (en) * 2010-05-13 2011-11-17 Nokia Corporation User Interface

Also Published As

Publication number Publication date
JP2011053972A (ja) 2011-03-17
CN102004604A (zh) 2011-04-06
CN102004604B (zh) 2017-09-12
EP2299351A2 (en) 2011-03-23
US8854317B2 (en) 2014-10-07
US20110050608A1 (en) 2011-03-03

Similar Documents

Publication Publication Date Title
JP5310403B2 (ja) 情報処理装置、情報処理方法およびプログラム
EP2494697B1 (en) Mobile device and method for providing user interface (ui) thereof
TWI461973B (zh) 用於視覺式回饋顯示之方法、系統及電腦可讀取媒體
US9250787B2 (en) Playback control method for multimedia device using multi-touch-enabled touchscreen
US8217905B2 (en) Method and apparatus for touchscreen based user interface interaction
US20160124515A1 (en) Interaction with a computing device via movement of a portion of a user interface
JP2011053971A (ja) 情報処理装置、情報処理方法およびプログラム
US20170131865A1 (en) Electronic device with electromagnetic sensor and method for controlling the same
US20130227464A1 (en) Screen change method of touch screen portable terminal and apparatus therefor
US20110283212A1 (en) User Interface
JP2014510337A (ja) 少なくとも2つのタッチスクリーンを含む情報表示装置及びその情報表示方法
KR20070113018A (ko) 터치스크린 장치 및 그 실행방법
WO2012159254A1 (en) Invisible control
WO2013051181A1 (en) Information processing device, information processing method and computer program
JP6141301B2 (ja) 間接的対話装置の対話モデル
CN103809903B (zh) 用于控制虚拟屏幕的方法和装置
KR102161061B1 (ko) 복수의 페이지 표시 방법 및 이를 위한 단말
JP5605911B2 (ja) タッチスクリーンデバイスの制御装置、その制御方法及びプログラム
CN103959221A (zh) 用于执行缩放动作的方法和设备
CN102707869B (zh) 电子装置以及其控制方法
KR20070113019A (ko) 터치스크린 장치와 이의 파일선택방법
JP2015069540A (ja) 情報機器端末および情報機器端末のデータ保存方法
KR20150017399A (ko) 터치스크린 입력 방법 및 장치
KR101136327B1 (ko) 휴대 단말기의 터치 및 커서 제어방법 및 이를 적용한 휴대 단말기
JP6475883B2 (ja) タッチ入力表示装置、表示制御方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120710

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121121

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121225

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130214

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130604

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130617

R151 Written notification of patent or utility model registration

Ref document number: 5310403

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees