JP2013186702A - 入力処理装置、入力処理プログラム及び入力処理方法 - Google Patents

入力処理装置、入力処理プログラム及び入力処理方法 Download PDF

Info

Publication number
JP2013186702A
JP2013186702A JP2012051336A JP2012051336A JP2013186702A JP 2013186702 A JP2013186702 A JP 2013186702A JP 2012051336 A JP2012051336 A JP 2012051336A JP 2012051336 A JP2012051336 A JP 2012051336A JP 2013186702 A JP2013186702 A JP 2013186702A
Authority
JP
Japan
Prior art keywords
touch
input processing
transition
gesture
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012051336A
Other languages
English (en)
Inventor
Nobuyoshi Miyokawa
信義 三代川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2012051336A priority Critical patent/JP2013186702A/ja
Priority to CN201310065347XA priority patent/CN103309607A/zh
Priority to US13/781,887 priority patent/US20130234997A1/en
Publication of JP2013186702A publication Critical patent/JP2013186702A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04808Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Abstract

【課題】利便性に優れるタッチジェスチャ入力が可能な入力処理装置、入力処理プログラム及び入力処理方法を提供すること。
【解決手段】本技術に係る入力処理装置は、タッチ検出部と、タッチ遷移取得部と、入力処理部とを具備する。タッチ検出部は、マルチタッチの検出が可能である。タッチ遷移取得部は、タッチ検出部からタッチの始点からのタッチ位置座標の遷移であるタッチ遷移を取得する。入力処理部は、タッチ検出部によるタッチの検出結果に基づいて、タッチ遷移をタッチジェスチャとして認識するか否かを決定する。
【選択図】図3

Description

本技術は、タッチ入力が可能な入力処理装置、入力処理プログラム及び入力処理方法に関する。
近年、ひとつの機器(操作対象機器)のUI(user intaerface)を別の機器(遠隔機器)の画面上へ表示し、ユーザが遠隔機器の画面を利用して操作対象機器の操作をできるようにするRUI(remote user interface)が普及している。
RUIにおいては、操作対象機器(TV等)のUIがリモートコントローラによる操作を前提としており、遠隔機器(スマートフォン等)ではタッチパネルによる操作が必要となる場合がある。このような場合、操作対象機器の操作を遠隔機器においてエミュレートするため、遠隔機器の画面上に仮想的なキーを表示する方法が考えられる。
例えば特許文献1に開示されている「プログラマブルリモコン装置」では、画面上に仮想的なキーが表示され、その領域へのタッチ入力をキー入力として扱う構成となっている。また、特許文献2に開示されている「マルチポイント感知装置でのジェスチャー」では、タッチパネルへのタッチジェスチャ入力(タッチの軌跡に応じた入力)によりキー操作による入力をエミュレートする構成となっている。
特開H5−145973号公報 特表2010−517197号公報
しかしながら、特許文献1に記載のように、画面上に仮想的なキーを表示する装置においては、装置の画面が仮想的なキーに覆われてしまい、リモートコントローラとしての利用中には他の用途に用いることが困難となる。一方、特許文献2に記載のように、ジェスチャ入力を利用する装置においては、ユーザがジェスチャ入力とキー入力の対応を記憶しなければならず、ジェスチャ入力の誤操作も生じるおそれがある。また、ジェスチャ入力は、入力が開始されると取り消すことができず、利便性の点で改善が期待される。
以上のような事情に鑑み、本技術の目的は、利便性に優れるタッチジェスチャ入力が可能な入力処理装置、入力処理プログラム及び入力処理方法を提供することにある。
以上のような事情に鑑み、本技術の一形態に係る入力処理装置は、タッチ検出部と、タッチ遷移取得部と、入力処理部とを具備する。
上記タッチ検出部は、マルチタッチの検出が可能である。
上記タッチ遷移取得部は、上記タッチ検出部からタッチの始点からのタッチ位置座標の遷移であるタッチ遷移を取得する。
上記入力処理部は、上記タッチ検出部によるタッチの検出結果に基づいて、上記タッチ遷移をタッチジェスチャとして認識するか否かを決定する。
この構成によれば、ユーザがタッチジェスチャ入力とタッチジェスチャではない入力(画面スクロール等)をタッチの方法によって切り替えることが可能であり、入力処理装置をタッチジェスチャ入力専用の状態にする必要がないため、利便性の高いものとすることが可能である。
上記入力処理部は、上記タッチ遷移を形成したタッチの数に基づいて上記タッチ遷移をタッチジェスチャとして認識するか否かを決定するものであってもよい。
この構成によれば、ユーザはタッチ遷移を形成した操作子(指やスタイラス)の数(数の変動も含む)によって、タッチジェスチャ入力が否かを切り替えることが可能となる。
上記入力処理部は、上記タッチ遷移を形成した複数のタッチの全部が同時に上記タッチ検出部から離間されたときは上記タッチ遷移をタッチジェスチャとして認識し、上記タッチ遷移を形成した複数のタッチの一部が上記タッチ検出部から離間されたときは上記タッチ遷移をタッチジェスチャとして認識しないものであってもよい。
この構成によれば、ユーザはタッチ遷移後に操作子の一部をタッチ検出部から離間させることによってタッチ遷移をタッチジェスチャ入力ではないものとすることができ、即ちタッチジェスチャをキャンセルさせることが可能となる。一方、ユーザは、タッチ遷移後に操作子の全部を同時(わずかに時間差がある場合も含む)にタッチ検出部から離間させることにより、タッチジェスチャ入力をすることが可能となる。
上記入力処理部は、上記タッチ遷移を形成した複数のタッチの数が所定数以上であるときには上記タッチ遷移をタッチジェスチャとして認識し、上記タッチ遷移を形成した複数のタッチの数が上記所定数未満であるときには上記タッチ遷移をタッチジェスチャとして認識しないものであってもよい。
この構成によれば、ユーザは所定数以上の操作子でタッチ検出部にタッチ遷移を形成することによりタッチジェスチャ入力をすることができ、所定数未満の操作子でタッチ検出部にタッチ遷移を形成することによりタッチジェスチャ入力としないことができる。
上記入力処理部は、タッチの検出領域内に規定された判定領域へのタッチの有無に基づいて、上記タッチ遷移をタッチジェスチャとして認識するか否かを決定するものであってもよい。
この構成によれば、ユーザは、判定領域をタッチするか否かによって、タッチジェスチャ入力が否かを切り替えることが可能となる。
上記入力処理部は、上記タッチ遷移を形成したタッチが上記タッチ検出部から離間されたときに、上記判定領域においてタッチが検出されている場合には上記タッチ遷移をタッチジェスチャとして認識し、上記判定領域においてタッチが検出されていない場合には上記タッチ遷移をタッチジェスチャとして認識しないものであってもよい。
この構成によれば、ユーザはタッチ遷移を形成したタッチを離間させる前に判定領域へのタッチを離間させることによってタッチ遷移をタッチジェスチャ入力ではないものとすることができ、即ちタッチジェスチャをキャンセルさせることが可能となる。
上記入力処理部は、上記判定領域においてタッチが検出されているときには上記タッチ遷移をタッチジェスチャとして認識し、上記判定領域にておいてタッチが検出されていないときには上記タッチ遷移をタッチジェスチャとして認識しないものであってもよい。
この構成によれば、ユーザは、タッチ遷移中に判定領域をタッチすることによってタッチジェスチャ入力をすることができ、タッチ遷移中に判定領域をタッチしないことによって、タッチジェスチャ入力としないことができる。
以上のような事情に鑑み、本技術の一形態に係る入力処理プログラムは、タッチ遷移取得部と、入力処理部とを具備する。
上記タッチ遷移取得部は、マルチタッチ検出が可能なタッチ検出部から、タッチの始点からのタッチ位置座標の遷移であるタッチ遷移を取得する。
上記入力処理部は、上記タッチ検出部によるタッチの検出結果に基づいて、上記タッチ遷移をタッチジェスチャとして認識するか否かを決定する。
以上のような事情に鑑み、本技術の一形態に係る入力処理方法は、タッチ遷移取得部が、マルチタッチ検出が可能なタッチ検出部から、タッチの始点からのタッチ位置座標の遷移であるタッチ遷移を取得する。
入力処理部が、上記タッチ検出部によるタッチの検出結果に基づいて、上記タッチ遷移をタッチジェスチャとして認識するか否かを決定する。
以上のように、本技術によれば、利便性に優れるタッチジェスチャ入力が可能な入力処理装置、入力処理プログラム及び入力処理方法を提供することが可能である。
本技術の第1の実施形態に係る入力処理装置の外観を示す斜視図である。 同入力処理装置のハードウェア構成を示す模式図である。 同入力処理装置の機能的構成を示す模式図である。 同入力処理装置の表示画像を示す模式図である。 同入力処理装置の動作を示す模式図である。 同入力処理装置の動作を示す模式図である。 同入力処理装置の動作を示す模式図である。 同入力処理装置の動作を示す模式図である。 同入力処理装置の動作を示すフローチャートである。 同入力処理装置の動作を示すフローチャートである。 本技術の第2の実施形態に係る入力処理装置の機能的構成を示す模式図である。 同入力処理装置の表示画像を示す模式図である。 同入力処理装置の動作を示す模式図である。 同入力処理装置の動作を示す模式図である。 同入力処理装置の動作を示すフローチャートである。
(第1の実施形態)
第1の実施形態に係る入力処理装置について説明する。図1は本実施形態に係る入力処理装置100の外観を示す模式図であり、図2は入力処理装置100のハードウェア構成を示すブロック図である。入力処理装置100は、タッチ(操作子の物理的接触)を検出することが可能な装置であればよく、例えば、タッチパネルを備えるタブレット型パーソナルコンピュータ、スマートフォン等の情報処理装置や別の情報処理装置を遠隔操作するためのリモートコントローラであるものとすることができる。
図1に示すように、入力処理装置100は、筐体101に設けられたタッチパネル102を有する。タッチパネル102は、画像の表示とともにパネル上への操作子(ユーザの指やスタイラス)のタッチを検出可能であり、マルチタッチ検出(多点同時検出)が可能なものである。タッチパネル102のタッチの検出方式は特に限定されないが、例えば静電容量方式のものを用いることができる。
図2に示すように、入力処理装置100は、タッチパネル102に加えてCPU(Central Processing Unit)103、主記憶部104、表示インターフェイス(以下、表示IF)105、入力インターフェイス(以下、入力IF)106を有するものとすることができる。これらはバス107によって互いに接続され、表示IF105及び入力IF106はタッチパネル102に接続されている。主記憶部104には、タッチ遷移(後述)を記憶するためのタッチ遷移記憶領域やタッチ遷移に基づいて動作するタッチ遷移アプリケーションが記憶されている。
CPU103は、主記憶部104に記憶されたソフトウェア(タッチ遷移アプリケーション等)を読み込み、タッチパネル102に表示される表示画像を生成して表示IF105に供給する。表示IF105はタッチパネル102を制御して表示画像を表示させる。入力IF106はタッチパネル102において検出されたタッチ位置座標に基づくタッチ遷移を主記憶部104のタッチ遷移記憶領域に供給する。
入力処理装置100は、このようなハードウェア構成とソフトウェアの協働によって次のような機能的構成を実現する。図3は、入力処理装置100の機能的構成を示すブロック図である。同図に示すように、入力処理装置100はタッチ遷移取得部121と入力処理部122とを有する。
タッチ遷移取得部121は、タッチパネル102において検出され、入力IF106を介して供給されたタッチ位置座標を基に「タッチ遷移」を取得する。タッチ遷移とは、タッチパネル102上の新規にタッチが検出された位置であるタッチの始点からの遷移であり、即ちタッチパネル102に接触した操作子の移動経路である。
具体的にはタッチ遷移取得部121は、タッチパネル102において検出された単位時間(例えば0.1秒)毎のタッチ箇所の位置座標を取得する。タッチ遷移取得部121は、位置座標が供給されていない(タッチが検出されていない)時間が所定時間にわたって継続した状態で位置座標が供給されると、その位置座標をタッチの始点とする。タッチ遷移取得部121は、次の位置座標が継続して供給されている場合には、タッチが継続しているものと判断し、始点からの位置座標の遷移をタッチ遷移とする。
なお、上述のようにタッチパネル102は多点検出が可能な検出方式であるため、タッチ遷移取得部121は操作子が複数(例えばユーザの指が2本)である場合には、それぞれのタッチ遷移を検出する。タッチ遷移取得部121は、検出したタッチ遷移を入力処理部122に供給する。
入力処理部122は、タッチパネル102によるタッチの検出結果に基づいて、タッチ遷移をタッチジェスチャとして認識するか否かを決定する。ここで、本実施形態に係る入力処理部122は、タッチジェスチャとして認識するか否かの決定に、タッチ遷移を形成したタッチの数(数の変動も含む)を利用する。
詳細は後述するが、入力処理部122は、タッチ遷移を形成したタッチの数が所定数以上であるときにはタッチ遷移をタッチジェスチャとして認識する。一方、入力処理部122はタッチ遷移を形成したタッチの数が所定数の数未満であるときにはタッチ遷移をタッチジェスチャとして認識しないものとすることができる。
また、入力処理部122は、タッチ遷移を形成した複数のタッチの全部が同時にタッチパネル102から離間されたときは上記タッチ遷移をタッチジェスチャとして認識する。なお、「同時」には、わずかな時間差が存在する場合も含まれるものとする。一方、入力処理部122は、タッチ遷移を形成した複数のタッチの一部がタッチパネル102から離間されたときは上記タッチ遷移をタッチジェスチャとして認識しないものとすることができる。
入力処理装置100は、入力処理部122によってタッチ遷移がタッチジェスチャとして認識された場合にはそのタッチジェスチャに割り当てられている動作を実行する。また、タッチ遷移がタッチジェスチャとして認識されなかった場合には、タッチ遷移アプリケーションに応じて各種の機能を発動させる。
[入力処理装置の動作]
以下、入力処理装置100の動作を説明する。なお、以下の説明においてタッチパネル102の操作子はユーザの指であるものとして説明する。
図4は、タッチパネル102の表示画面を示す模式図である。同図に示すように、タッチパネル102の表示画面には、任意のユーザインターフェイスが表示されている。また、表示画面には、ジェスチャ認識領域Aが表示されている。ジェスチャ認識領域Aは、タッチジェスチャによる入力が可能な領域であり、ユーザに明示されてもよく、内部的に設定されていてもよい。
詳細な説明の前に、動作の概要について説明する。図5及び図6は、入力処理装置100の動作を示す模式図である。
図5に示すように、ユーザが所定数以上(例えば2本)の指でジェスチャ認識領域Aをタッチして指を移動(以下、ドラッグ)させ、所定の図形を描くと、入力処理装置100はタッチジェスチャであるものと認識する。入力処理装置100は、そのタッチジェスチャに割り当てられている操作入力、例えば、キー押し下げの擬制がなされたものとして動作する。
また、図6に示すように、ユーザが所定数未満(例えば1本)の指でタッチパネル102をドラッグすると、入力処理装置100はタッチジェスチャではないものとして認識する。入力処理装置100は、例えば、そのドラッグに追随してタッチパネル102の表示画像をスクロールさせる。この他にも入力処理装置100は、タッチ遷移アプリケーションに応じた各種機能(以下、アプリケーション基本機能とする)を発動させる。
即ちユーザは、ドラッグを何本の指でするかによって、タッチジェスチャとアプリケーション基本機能を使い分けることができる。
なお入力処理装置100は、タッチジェスチャによりキー押し下げを擬制する際、
ユーザを補助するメッセージをタッチパネル102に表示するものとすることも可能である。図7及び図8は、タッチパネル102に表示されるメッセージの例を示す図である。
入力処理装置100は、所定数以上の指でドラッグがされていることを検出し、タッチジェスチャであるものと認識すると、タッチジェスチャの解析を開始する。入力処理装置100は、タッチジェスチャとタッチジェスチャの解析プログラム内のデータを照合し、最も合致する可能性が高い文字又は記号として認識する。入力処理装置100は、図7に示すように、認識された文字又は記号、それによって発動する機能等をメッセージとして表示する。
入力処理装置100は、タッチジェスチャの途中において特定の文字や記号として認識できない場合には、図8に示すようにそれまでのタッチジェスチャから推測可能な文字又は記号、それによって発動する機能等をメッセージとして表示する。入力処理装置100はタッチジェスチャが進行すると、文字や記号の絞り込み状況に応じてメッセージを変化させる。
また、ユーザが所定数以上の指でタッチパネル102をドラッグしている場合において、ユーザがドラッグ後に全ての指を同時(わずかな時間差も含む)にタッチパネル102から離すと、入力処理装置100はタッチジェスチャとして認識する。一方、ユーザがドラッグ中あるいはドラッグ後に少なくとも1本の指を残して、他の指をタッチパネル102から離すと、入力処理装置100はタッチジェスではないものとして認識する。
即ち、ユーザは、ドラッグ後に全ての指を同時にタッチパネル102から離すことでタッチジェスチャを動作させることができ、ドラッグ中あるいはドラッグ後に一部の指をタッチパネル102から離すことにより、タッチジェスチャをキャンセルすることができる。
以上のような動作を可能とする入力処理装置100の詳細な動作について説明する。図9は入力処理装置100の動作を示すフローチャートである。
まず、タッチ遷移取得部121がタッチ遷移を取得する(St101)。上記のようにタッチ遷移取得部121は単位時間毎のタッチの位置座標に基づくタッチ遷移を取得し、保持しておく。
入力処理部122は、タッチの位置座標がひとつ以上消失すると(St102)、一定時間待機する(St103)。これは、ユーザが複数の指でタッチパネル102に触れているときに、同時に全ての指をタッチパネル102から離そうとしても、厳密にはそれぞれの指が離れるまでに多少の時間差が生じるためである。
一定時間待機の後、入力処理部122は、所定数以上のタッチ遷移が保持されているかを確認する(St104)。タッチ遷移が所定数未満である場合(St104:No)には、入力処理部122はタッチ遷移をタッチジェスチャではないものと認識し、アプリケーション基本機能を実行させる(St105)。これにより、ユーザが所定数未満の指でジェスチャ認識領域Aをドラッグしている場合には、アプリケーション基本機能が実行され、例えばドラッグに追随して表示画像のスクロール等がなされる。
タッチ遷移が所定数以上である場合(St104:Yes)には、入力処理部122は、タッチの位置座標がひとつ以上存在しているかどうかを確認する(St106)。タッチの位置座標がひとつ以上存在している場合(St106:No)には、入力処理部122はタッチ遷移がタッチジェスチャではないものと認識し、即ち、タッチジェスチャをキャンセルする(St107)。
タッチの位置座標がひとつも存在していない場合(St106:Yes)には、入力処理部122はタッチ遷移がタッチジェスチャであるものと認識する(St108)。これにより、ユーザがタッチパネル102に触れている指を全て同時に離した場合には、タッチジェスチャによる操作入力が有効となり、タッチパネル102に触れている指を少なくとも1本以上残して離した場合にはタッチジェスチャによる操作入力がキャンセルされる。
以上のような入力処理装置100の動作によって、ユーザはドラッグする指の本数によりタッチジェスチャとアプリケーション基本機能を切り替えること、及びタッチジェスチャの途中でその入力をキャンセルすることが可能となる。
[入力処理装置のリモートコントローラとしての動作]
上述のように、ユーザは入力処理装置100を利用することによって、タッチジェスチャとアプリケーション基本機能を切り替えることが可能である。これは特に、入力処理装置100が別の装置のリモートコントローラとして動作する際に利便性が高い。
具体的には、入力処理装置100は、タッチ遷移をタッチジェスチャとして認識する場合にはタッチジェスチャによって別の入力処理装置のキー押し下げを擬制し、タッチ遷移をタッチジェスチャとして認識しない場合には、タッチ遷移を入力処理装置100の操作に利用するものとすることができる。
これにより、入力処理装置100は、タッチパネル102に別の入力処理装置用の仮想的なキーを表示する必要がなく、仮想的なキーによってタッチパネル102の表示画像が覆い隠されることを防止することが可能となる。即ちユーザは、入力処理装置100を別の情報装置のリモートコントローラとして利用する間であっても、別の入力処理装置の操作と並行して入力処理装置100の操作をすることが可能である。
図10は、入力処理装置100が図示しない別の入力処理装置のリモートコントローラとして動作する際のフローチャートである。入力処理装置100は、クライアント(別の入力処理装置)からUI(user interface)要求を受信(St121)すると、ユーザエージョンとによりクライアントを判別する(St122)。
入力処理装置100は、当該クライアントのUIセットを有している場合(St123:Yes)には標準のUIセットを選択する(St124)。入力処理装置100がそのクライアントのUIセットを有していない場合(St123:No)には、当該クライアント用のUIセットを選択する(St125)。入力処理装置100は、選択したUIセットをクライアントに送出する(St126)。
このようにして、入力処理装置100は別の入力処理装置のリモートコントローラとして動作することが可能である。
以上のように、本実施形態に係る入力処理装置100においては、タッチ遷移を形成したタッチの数に基づいてタッチ遷移をタッチジェスチャとして認識するか否かを決定する。これにより、ユーザは、ドラッグする指の本数によってドラッグにより動作させる機能を切り替えることが可能となると共に、タッチジェスチャをキャンセルすることも可能となる。
(第2の実施形態)
第2の実施形態に係る入力制御装置について説明する。なお、本実施形態において第1の実施形態と共通する構成については同一の符号を付し、説明を省略する。
図11は、入力処理装置200の機能的構成を示すブロック図である。同図に示すように、入力処理装置200はタッチパネル202、タッチ遷移取得部221及び入力処理部222とを有する。
タッチ遷移取得部221は、第1の実施形態と同様にタッチパネル202において検出されたタッチ情報を基に「タッチ遷移」を取得する。
なお、上述のようにタッチパネル202は多点検出が可能な検出方式であるため、タッチ遷移取得部221は操作子が複数(例えばユーザの指が2本)である場合には、それぞれのタッチ遷移を検出する。タッチ遷移取得部221は、検出したタッチ遷移を入力処理部222に供給する。
入力処理部222は、タッチパネル202によるタッチの検出結果に基づいて、タッチ遷移をタッチジェスチャとして認識するか否かを決定する。ここで、本実施形態に係る入力処理部222は、タッチジェスチャとして認識するか否かの決定に、判定領域へのタッチの有無を利用する。判定領域は、タッチパネル202においてタッチを検出することが可能な領域であるタッチ検出領域に規定された領域である。
詳細は後述するが、入力処理部222は、判定領域においてタッチが検出されているときにはタッチ遷移をタッチジェスチャとして認識し、判定領域にておいてタッチが検出されていないときにはタッチ遷移をタッチジェスチャとして認識しないものとすることができる。
また、入力処理部222は、タッチ遷移を形成したタッチがタッチパネル202から離間されたときに、判定領域においてタッチが検出されている場合にはタッチ遷移をタッチジェスチャとして認識し、判定領域においてタッチが検出されていない場合にはタッチ遷移をタッチジェスチャとして認識しないものとすることができる。
入力処理装置200は、入力処理部222によってタッチ遷移がタッチジェスチャとして認識された場合にはそのタッチジェスチャに割り当てられている動作を実行する。また、タッチ遷移がタッチジェスチャとして認識されなかった場合には、起動しているアプリケーションに応じて各種の機能を発動させる。
[入力処理装置の動作]
以下、入力処理装置200の動作を説明する。なお、以下の説明においてタッチパネル202の操作子はユーザの指であるものとして説明する。
図12は、タッチパネル202の表示画面を示す模式図である。同図に示すように、タッチパネル202の表示画面には、任意のユーザインターフェイスが表示されている。また、表示画面には、ジェスチャ認識領域A及び判定領域Bが表示されている。ジェスチャ認識領域Aは、タッチジェスチャによる入力が可能な領域であり、ユーザに明示されてもよく、内部的に設定されていてもよい。判定領域Bは、タッチジェスチャの認識に利用される領域であり、ユーザに明示されている。
詳細な説明の前に、動作の概要について説明する。図13及び14は、入力処理装置100の動作を示す模式図である。
図13に示すように、ユーザが判定領域Bに指でタッチしている状態で、ジェスチャ認識領域Aにおいてドラッグすると、入力処理装置200はタッチジェスチャであるものと認識する。入力処理装置200は、そのタッチジェスチャに割り当てられている操作入力、例えば、キー押し下げの擬制がなされたものとして動作する。
また、図14に示すように、ユーザが判定領域Bに指でタッチしない状態で、ジェスチャ認識領域Aにおいてドラッグすると、入力処理装置200はタッチジェスチャではないものとして認識する。入力処理装置200は、例えば、そのドラッグに追随してタッチパネル202の表示画像をスクロールさせる。この他にも入力処理装置200は、起動しているアプリケーションに応じた各種機能(以下、アプリケーション基本機能とする)を発動させる。
即ちユーザは、判定領域Bをタッチするか否かによって、タッチジェスチャとアプリケーション基本機能を使い分けることができる。
また、ユーザが判定領域Bをタッチしている場合において、ドラッグ後に判定領域Bから指を離すと、入力処理装置200はタッチジェスチャとして認識する。一方、ユーザがドラッグ後に、ジェスチャ認識領域Aから指を離す前に、判定領域Bから指を離すと、入力処理装置200はタッチジェスではないものとして認識する。
即ち、ユーザはドラッグ後に、ジェスチャ認識領域Aをタッチしている指を先に離すことによってタッチジェスチャを動作させることができ、判定領域Bをタッチしている指を先に放すことによってタッチジェスチャをキャンセルさせることができる。
以上のような動作を可能とする入力処理装置200の詳細な動作について説明する。図15は入力処理装置200の動作を示すフローチャートである。
まず、入力処理部222が判定領域B内でタッチが検出されているかどうかを判定する(St201)。入力処理部222は、判定領域B内でタッチが検出されていない場合(St201:No)には、タッチ遷移をタッチジェスチャではないものと認識し、アプリケーション基本機能を実行させる(St202)。これにより、ユーザがジェスチャ認識領域A内をドラッグしている際に判定領域B内にタッチしていない場合には、アプリケーション基本機能が実行され、例えばドラッグに追随して表示画像のスクロール等がなされる。
タッチ遷移検出部201は、判定領域B内でタッチが検出されている場合(St201:Yes)には、タッチ遷移を取得する(St203)。上記のようにタッチ遷移取得部221は単位時間毎のタッチの位置座標に基づくタッチ遷移を取得し、保持しておく。タッチ遷移はユーザが複数本の指でジェスチャ認識領域Aに触れている場合には複数となる。
入力処理部222は、タッチの位置座標がひとつ以上消失すると(St204)、判定領域B内でタッチが検出されているかどうかを確認する(St205)。判定領域B内でタッチが検出されていない場合(St205:No)には、入力処理部122、はタッチ遷移がタッチジェスチャではないものと認識し、即ち、タッチジェスチャをキャンセルする(St206)。
判定領域B内でタッチが検出されている場合(St025:Yes)には、入力処理部222は、タッチ遷移がタッチジェスチャであるものと認識する(St207)。これにより、ユーザがドラッグ後にジェスチャ認識領域Aから指を離す際、判定領域Bをタッチしていればタッチジェスチャによる操作入力が有効となり、判定領域Bをタッチしていなければタッチジェスチャによる操作入力がキャンセルされる。
以上のような入力処理装置200の動作によって、ユーザは判定領域へのタッチの有無に基づいてタッチジェスチャとアプリケーション基本機能を切り替えること、及びタッチジェスチャの途中でその入力をキャンセルすることが可能となる。
本技術は、上記各実施形態にのみ限定されるものではなく、本技術の要旨を逸脱しない範囲内において変更することが可能である。
上記実施形態においては、タッチはタッチパネルによって検出されるものとしたがこれに限られない。タッチパネルに替わり、画像表示機能を有しないタッチパッドによってタッチが検出されるものとすることも可能である。
なお、本技術は以下のような構成も採ることができる。
(1)
マルチタッチ検出が可能なタッチ検出部と、
上記タッチ検出部から、タッチの始点からのタッチ位置座標の遷移であるタッチ遷移を取得するタッチ遷移取得部と、
上記タッチ検出部によるタッチの検出結果に基づいて、上記タッチ遷移をタッチジェスチャとして認識するか否かを決定する入力処理部と
を具備する入力処理装置。
(2)
上記(1)に記載の入力処理装置であって、
上記入力処理部は、上記タッチ遷移を形成したタッチの数に基づいて上記タッチ遷移をタッチジェスチャとして認識するか否かを決定する
を具備する入力処理装置。
(3)
上記(1)又は(2)に記載の入力処理装置であって、
上記入力処理部は、上記タッチ遷移を形成した複数のタッチの全部が同時に上記タッチ検出部から離間されたときは上記タッチ遷移をタッチジェスチャとして認識し、上記タッチ遷移を形成した複数のタッチの一部が上記タッチ検出部から離間されたときは上記タッチ遷移をタッチジェスチャとして認識しない
入力処理装置。
(4)
上記(1)から(3)のうちいずれかひとつに記載の入力処理装置であって、
上記入力処理部は、上記タッチ遷移を形成した複数のタッチの数が所定数以上であるときには上記タッチ遷移をタッチジェスチャとして認識し、上記タッチ遷移を形成した複数のタッチの数が上記所定数未満であるときには上記タッチ遷移をタッチジェスチャとして認識しない
入力処理装置。
(5)
上記(1)から(4)のうちいずれかひとつに記載の入力処理装置であって、
上記入力処理部は、タッチの検出領域内に規定された判定領域へのタッチの有無に基づいて、上記タッチ遷移をタッチジェスチャとして認識するか否かを決定する
入力処理装置。
(6)
上記(1)から(5)のうちいずれかひとつに記載の入力処理装置であって、
上記入力処理部は、上記タッチ遷移を形成したタッチが上記タッチ検出部から離間されたときに、上記判定領域においてタッチが検出されている場合には上記タッチ遷移をタッチジェスチャとして認識し、上記判定領域においてタッチが検出されていない場合には上記タッチ遷移をタッチジェスチャとして認識しない
入力処理装置。
(7)
上記(1)から(6)のうちいずれかひとつに記載の入力処理装置であって、
上記入力処理部は、上記判定領域においてタッチが検出されているときには上記タッチ遷移をタッチジェスチャとして認識し、上記判定領域にておいてタッチが検出されていないときには上記タッチ遷移をタッチジェスチャとして認識しない
入力処理装置。
(8)
マルチタッチ検出が可能なタッチ検出部から、タッチの始点からのタッチ位置座標の遷移であるタッチ遷移を取得するタッチ遷移取得部と、
上記タッチ検出部によるタッチの検出結果に基づいて、上記タッチ遷移をタッチジェスチャとして認識するか否かを決定する入力処理部と
としてコンピュータを機能させる入力処理プログラム。
(9)
タッチ遷移取得部が、マルチタッチ検出が可能なタッチ検出部から、タッチの始点からのタッチ位置座標の遷移であるタッチ遷移を取得し、
入力処理部が、上記タッチ検出部によるタッチの検出結果に基づいて、上記タッチ遷移をタッチジェスチャとして認識するか否かを決定する
入力処理方法。
100、200…入力処理装置
102、202…タッチパネル
121、221…タッチ遷移取得部
122、222…入力処理部

Claims (9)

  1. マルチタッチ検出が可能なタッチ検出部と、
    前記タッチ検出部から、タッチの始点からのタッチ位置座標の遷移であるタッチ遷移を取得するタッチ遷移取得部と、
    前記タッチ検出部によるタッチの検出結果に基づいて、前記タッチ遷移をタッチジェスチャとして認識するか否かを決定する入力処理部と
    を具備する入力処理装置。
  2. 請求項1に記載の入力処理装置であって、
    前記入力処理部は、前記タッチ遷移を形成したタッチの数に基づいて前記タッチ遷移をタッチジェスチャとして認識するか否かを決定する
    入力処理装置。
  3. 請求項2に記載の入力処理装置であって、
    前記入力処理部は、前記タッチ遷移を形成した複数のタッチの全部が同時に前記タッチ検出部から離間されたときは前記タッチ遷移をタッチジェスチャとして認識し、前記タッチ遷移を形成した複数のタッチの一部が前記タッチ検出部から離間されたときは前記タッチ遷移をタッチジェスチャとして認識しない
    入力処理装置。
  4. 請求項2に記載の入力処理装置であって、
    前記入力処理部は、前記タッチ遷移を形成した複数のタッチの数が所定数以上であるときには前記タッチ遷移をタッチジェスチャとして認識し、前記タッチ遷移を形成した複数のタッチの数が前記所定数未満であるときには前記タッチ遷移をタッチジェスチャとして認識しない
    入力処理装置。
  5. 請求項1に記載の入力処理装置であって、
    前記入力処理部は、タッチの検出領域内に規定された判定領域へのタッチの有無に基づいて、前記タッチ遷移をタッチジェスチャとして認識するか否かを決定する
    入力処理装置。
  6. 請求項5に記載の入力処理装置であって、
    前記入力処理部は、前記タッチ遷移を形成したタッチが前記タッチ検出部から離間されたときに、前記判定領域においてタッチが検出されている場合には前記タッチ遷移をタッチジェスチャとして認識し、前記判定領域においてタッチが検出されていない場合には前記タッチ遷移をタッチジェスチャとして認識しない
    入力処理装置。
  7. 請求項5に記載の入力処理装置であって、
    前記入力処理部は、前記判定領域においてタッチが検出されているときには前記タッチ遷移をタッチジェスチャとして認識し、前記判定領域においてタッチが検出されていないときには前記タッチ遷移をタッチジェスチャとして認識しない
    入力処理装置。
  8. マルチタッチ検出が可能なタッチ検出部から、タッチの始点からのタッチ位置座標の遷移であるタッチ遷移を取得するタッチ遷移取得部と、
    前記タッチ検出部によるタッチの検出結果に基づいて、前記タッチ遷移をタッチジェスチャとして認識するか否かを決定する入力処理部と
    としてコンピュータを機能させる入力処理プログラム。
  9. タッチ遷移取得部が、マルチタッチ検出が可能なタッチ検出部から、タッチの始点からのタッチ位置座標の遷移であるタッチ遷移を取得し、
    入力処理部が、前記タッチ検出部によるタッチの検出結果に基づいて、前記タッチ遷移をタッチジェスチャとして認識するか否かを決定する
    入力処理方法。
JP2012051336A 2012-03-08 2012-03-08 入力処理装置、入力処理プログラム及び入力処理方法 Pending JP2013186702A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2012051336A JP2013186702A (ja) 2012-03-08 2012-03-08 入力処理装置、入力処理プログラム及び入力処理方法
CN201310065347XA CN103309607A (zh) 2012-03-08 2013-03-01 输入处理装置、输入处理程序和输入处理方法
US13/781,887 US20130234997A1 (en) 2012-03-08 2013-03-01 Input processing apparatus, input processing program, and input processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012051336A JP2013186702A (ja) 2012-03-08 2012-03-08 入力処理装置、入力処理プログラム及び入力処理方法

Publications (1)

Publication Number Publication Date
JP2013186702A true JP2013186702A (ja) 2013-09-19

Family

ID=49113673

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012051336A Pending JP2013186702A (ja) 2012-03-08 2012-03-08 入力処理装置、入力処理プログラム及び入力処理方法

Country Status (3)

Country Link
US (1) US20130234997A1 (ja)
JP (1) JP2013186702A (ja)
CN (1) CN103309607A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017027404A (ja) * 2015-07-23 2017-02-02 京セラドキュメントソリューションズ株式会社 画像修正装置及び画像形成装置

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150127785A (ko) * 2012-03-20 2015-11-18 삼성전자주식회사 휴대단말기의 이메일작성 장치 및 방법
KR20150050882A (ko) * 2013-11-01 2015-05-11 삼성전자주식회사 다국어 입력 방법 및 이를 이용하는 다국어 입력 장치
KR101564907B1 (ko) * 2014-01-09 2015-11-13 주식회사 투게더 터치 스크린용 식별 패턴 형성 장치 및 방법
US9880733B2 (en) * 2015-02-17 2018-01-30 Yu Albert Wang Multi-touch remote control method
CN112051953B (zh) * 2020-09-29 2021-09-14 中国银行股份有限公司 一种页面栏位的输出控制方法、装置及电子设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090213083A1 (en) * 2008-02-26 2009-08-27 Apple Inc. Simulation of multi-point gestures with a single pointing device
WO2012037664A1 (en) * 2010-09-24 2012-03-29 Research In Motion Limited Portable electronic device and method of controlling same

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017027404A (ja) * 2015-07-23 2017-02-02 京セラドキュメントソリューションズ株式会社 画像修正装置及び画像形成装置

Also Published As

Publication number Publication date
CN103309607A (zh) 2013-09-18
US20130234997A1 (en) 2013-09-12

Similar Documents

Publication Publication Date Title
JP6009454B2 (ja) コンピューティング装置の動きを利用するコンピューティング装置と相互作用するときに発生する入力イベントの解釈の強化
US10198109B2 (en) Supplementing a touch input mechanism with fingerprint detection
KR101361214B1 (ko) 터치스크린의 제어영역을 설정하는 인터페이스 장치 및 방법
JP6054892B2 (ja) 複数のディスプレイに対するアプリケーション画像の表示方法、電子機器およびコンピュータ・プログラム
CN102221957B (zh) 电子设备的操作控制的方法及电子设备
EP3557395B1 (en) Information processing apparatus, information processing method, and computer program
US8581869B2 (en) Information processing apparatus, information processing method, and computer program
CN109643213B (zh) 用于协同编辑工具的触摸屏用户界面的系统和方法
US20140223299A1 (en) Gesture-based user interface method and apparatus
JP2013186702A (ja) 入力処理装置、入力処理プログラム及び入力処理方法
JP5915143B2 (ja) 電子情報ボード装置
TW201531925A (zh) 多點觸控虛擬滑鼠
US20150077358A1 (en) Electronic device and method of controlling the same
US20150033328A1 (en) Information terminal and execution control method
JP5373467B2 (ja) ユーザインターフェイス装置
TWI615747B (zh) 虛擬鍵盤顯示系統及方法
US10642481B2 (en) Gesture-based interaction method and interaction apparatus, and user equipment
TWI662452B (zh) 可攜式電子裝置及解鎖方法
JP2012113645A (ja) 電子機器
JP2004030536A (ja) 情報処理装置および同装置で使用される文字入力支援方法
US20150153925A1 (en) Method for operating gestures and method for calling cursor
CN101615100B (zh) 一种计算机和笔记本电脑
JP2011209822A (ja) 情報処理装置及びプログラム
JP5586764B2 (ja) ユーザインターフェイス装置
WO2016070465A1 (zh) 多事件输入的方法和终端