JP2012190215A - 入力処理装置、入力処理方法、プログラム - Google Patents
入力処理装置、入力処理方法、プログラム Download PDFInfo
- Publication number
- JP2012190215A JP2012190215A JP2011052518A JP2011052518A JP2012190215A JP 2012190215 A JP2012190215 A JP 2012190215A JP 2011052518 A JP2011052518 A JP 2011052518A JP 2011052518 A JP2011052518 A JP 2011052518A JP 2012190215 A JP2012190215 A JP 2012190215A
- Authority
- JP
- Japan
- Prior art keywords
- input
- display
- user
- target area
- input target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Abandoned
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0482—Interaction with lists of selectable items, e.g. menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
Abstract
【課題】タッチパネル操作等による連続的な操作の操作性の向上
【解決手段】入力処理装置1は、表示画面に対する連続した入力操作の開始から終了までの入力過程で、表示画面に対する入力位置情報を検知して記憶していく。そして各時点で逐次、記憶されている各入力位置情報から、表示画面上での入力目的位置又は入力目的領域を算出する。また入力操作過程での表示も行う。その後、入力操作終了時点で算出される入力目的位置又は入力目的領域を、当該連続した入力操作による入力目的位置又は入力目的領域と認識する。例えば入力目的位置又は入力目的領域のオブジェクトの選択操作として認識する。
【選択図】図1
【解決手段】入力処理装置1は、表示画面に対する連続した入力操作の開始から終了までの入力過程で、表示画面に対する入力位置情報を検知して記憶していく。そして各時点で逐次、記憶されている各入力位置情報から、表示画面上での入力目的位置又は入力目的領域を算出する。また入力操作過程での表示も行う。その後、入力操作終了時点で算出される入力目的位置又は入力目的領域を、当該連続した入力操作による入力目的位置又は入力目的領域と認識する。例えば入力目的位置又は入力目的領域のオブジェクトの選択操作として認識する。
【選択図】図1
Description
本開示は、入力処理装置、入力処理方法、プログラムに関し、特に表示画面を用いた入力操作に対応する入力処理の技術に関する。
例えば液晶パネルなどの表示画面上に、アイコンその他の操作用の画像を表示させ、ユーザがタッチパネル方式で各種の操作入力を行うことが一般化している。なお、アイコン、メニュー項目、キー表示等の各種の操作用の画像を、本明細書では「オブジェクト」と総称する。
タッチパネル方式の入力では、多くの場合、ユーザが画面上のオブジェクト表示部分を押圧することで行われる。例えば「処理A」の機能に対応するオブジェクトが押されると、「処理A」の操作が確定(エンター)され、その「処理A」の機能が発動される。
また、或るエンター操作の前段階として、オブジェクトの選択を行うものもある。或るオブジェクトの選択操作を行うと、そのオブジェクトが選択状態となり、その後の確定(エンター)操作により、当該選択されたオブジェクトに対応する処理が発動するというものである。
また、或るエンター操作の前段階として、オブジェクトの選択を行うものもある。或るオブジェクトの選択操作を行うと、そのオブジェクトが選択状態となり、その後の確定(エンター)操作により、当該選択されたオブジェクトに対応する処理が発動するというものである。
上記特許文献1では、画面上でのカーソル操作軌跡の交差を検出し、交差点が生じた際に操作軌跡から閉空間を抽出し、その中のオブジェクトを選択状態とする技術が開示されている。
ところで、タッチパネル操作等、表示画面上で連続的な操作入力が可能な操作方式においては、よりユーザにとってなじみやすい操作、感覚的な操作が求められる。
その点、例えば上記特許文献1の技術は、感覚的な操作を可能とするものではあるが、問題が残されている。例えば操作軌跡の閉空間がなければ選択対象のオブジェクトを特定できない。したがって、選択までにユーザにある一定の動作を要求する。例えばユーザが入力軌跡の交差点を作らなかった場合、選択操作がなされない。またオブジェクトが画面の端に表示されている場合、そのオブジェクトを囲むような軌跡の入力を行うことができず、交差点を作れないこと、つまり選択不能の場合もある。さらに、閉空間が作成されるようにユーザが交差点を作る必要があるため時間を要する。
その点、例えば上記特許文献1の技術は、感覚的な操作を可能とするものではあるが、問題が残されている。例えば操作軌跡の閉空間がなければ選択対象のオブジェクトを特定できない。したがって、選択までにユーザにある一定の動作を要求する。例えばユーザが入力軌跡の交差点を作らなかった場合、選択操作がなされない。またオブジェクトが画面の端に表示されている場合、そのオブジェクトを囲むような軌跡の入力を行うことができず、交差点を作れないこと、つまり選択不能の場合もある。さらに、閉空間が作成されるようにユーザが交差点を作る必要があるため時間を要する。
本開示では、表示画面上のオブジェクトに対して、選択や確定等の各種操作入力を行う場合に、よりユーザにとって良好な操作性、わかりやすい操作性を提供することを目的とする。
本開示の入力処理装置は、表示画面に対する入力を検知し、入力位置情報を得る入力検知部と、上記入力位置情報を記憶する記憶部と、上記表示画面に対する連続した入力操作の開始から終了までの入力過程で逐次、上記記憶部に記憶されている各入力位置情報から、上記表示画面上での入力目的位置又は入力目的領域を算出していくとともに、入力操作終了時点で算出される入力目的位置又は入力目的領域を、当該連続した入力操作による入力目的位置又は入力目的領域と認識する入力目的認識部とを備える。
また、入力処理装置は、上記入力過程において入力操作に応じた表示を上記表示画面上で実行させる表示制御部を、さらに備えてもよい。
また、入力処理装置は、上記入力過程において入力操作に応じた表示を上記表示画面上で実行させる表示制御部を、さらに備えてもよい。
本開示の入力処理方法は、表示画面に対する入力を検知し、入力位置情報を得、上記入力位置情報を記憶し、上記表示画面に対する連続した入力操作の開始から終了までの入力過程で逐次、上記記憶部に記憶されている各入力位置情報から、上記表示画面上での入力目的位置又は入力目的領域を算出していくとともに、入力操作終了時点で算出される入力目的位置又は入力目的領域を、当該連続した入力操作による入力目的位置又は入力目的領域と認識する入力処理方法である。
本開示のプログラムは、この入力処理方法の処理を、演算処理装置に実行させるプログラムである。
本開示のプログラムは、この入力処理方法の処理を、演算処理装置に実行させるプログラムである。
即ち本開示では、タッチパネル入力等における連続的な入力において、その入力終了までの各入力位置情報を記憶しておく。そして入力終了までの各時点において逐次、その時点までの各入力位置情報から、入力目的位置又は入力目的領域を算出する。入力目的位置や入力目的領域とは、ユーザが連続的なタッチ操作で指定しようとしている画面上の位置や領域のことである。
ユーザの連続した入力操作の終了は、ユーザの任意であるが、操作入力が終了した時点で求められる入力目的位置又は入力目的領域を、最終的に今回の入力でユーザが指定しようとして位置又は領域として認識する。入力操作過程で、逐次、入力目的位置又は入力目的領域を算出していくため、ユーザがどの時点で入力操作を終了させても、最終的な入力目的の位置/領域を判定することができる。
また、逐次算出している入力目的位置又は入力目的領域に関する表示制御を行うようにすれば、よりユーザに良好な操作性を提供できる。
ユーザの連続した入力操作の終了は、ユーザの任意であるが、操作入力が終了した時点で求められる入力目的位置又は入力目的領域を、最終的に今回の入力でユーザが指定しようとして位置又は領域として認識する。入力操作過程で、逐次、入力目的位置又は入力目的領域を算出していくため、ユーザがどの時点で入力操作を終了させても、最終的な入力目的の位置/領域を判定することができる。
また、逐次算出している入力目的位置又は入力目的領域に関する表示制御を行うようにすれば、よりユーザに良好な操作性を提供できる。
本開示の技術によれば、タッチパネルなど、表示画面に対する入力に関し、ユーザにわかりやすい感覚的な操作性や、レスポンスのよい操作性を提供できる。
以下、本開示の実施の形態を次の順序で説明する。
<1.実施の形態の入力処理装置の基本構成>
<2.実施の形態の入力処理装置を備えた電子機器の構成例>
<3.第1の実施の形態の入力処理>
[3−1:処理手順]
[3−2:入力目的位置認識による選択操作例]
[3−3:入力目的領域認識による選択操作例]
[3−4:第1の実施の形態のまとめ]
<4.第2の実施の形態の入力処理>
[4−1:処理手順]
[4−2:操作過程での入力目的位置表示例]
[4−3:操作過程での入力目的領域表示例]
[4−4:第2の実施の形態のまとめ]
<5.第3の実施の形態の入力処理>
[5−1:処理手順]
[5−2:方向性に応じた処理内容認例]
<6.プログラム>
<7.変形例>
<1.実施の形態の入力処理装置の基本構成>
<2.実施の形態の入力処理装置を備えた電子機器の構成例>
<3.第1の実施の形態の入力処理>
[3−1:処理手順]
[3−2:入力目的位置認識による選択操作例]
[3−3:入力目的領域認識による選択操作例]
[3−4:第1の実施の形態のまとめ]
<4.第2の実施の形態の入力処理>
[4−1:処理手順]
[4−2:操作過程での入力目的位置表示例]
[4−3:操作過程での入力目的領域表示例]
[4−4:第2の実施の形態のまとめ]
<5.第3の実施の形態の入力処理>
[5−1:処理手順]
[5−2:方向性に応じた処理内容認例]
<6.プログラム>
<7.変形例>
<1.実施の形態の入力処理装置の基本構成>
実施の形態の入力処理装置の基本構成を図1で説明する。
入力処理装置1は、まず最小限の構成として、入力検知部2、座標記憶部3、入力目的認識部4を備える。
また図1では表示制御部7や操作内容判定部8を示しているが、これらが入力処理装置1としての構成に含まれる場合もある。
このような入力処理装置1の構成要素(入力検知部2、座標記憶部3、入力目的認識部4、場合によってはさらに表示制御部7、操作内容判定部8)は、それぞれハードウエアとしても実現可能であり、また例えばCPU(Central Processing Unit)を備えたマイクロコンピュータ内等で機能するソフトウエアとしても実現できる。
実施の形態の入力処理装置の基本構成を図1で説明する。
入力処理装置1は、まず最小限の構成として、入力検知部2、座標記憶部3、入力目的認識部4を備える。
また図1では表示制御部7や操作内容判定部8を示しているが、これらが入力処理装置1としての構成に含まれる場合もある。
このような入力処理装置1の構成要素(入力検知部2、座標記憶部3、入力目的認識部4、場合によってはさらに表示制御部7、操作内容判定部8)は、それぞれハードウエアとしても実現可能であり、また例えばCPU(Central Processing Unit)を備えたマイクロコンピュータ内等で機能するソフトウエアとしても実現できる。
また図1では表示部6、入力部5を示しているが、実施の形態の入力処理装置1は、これらの部位と一体の機器内に搭載される場合もあるし、別体の機器として構成される場合もある。
図1に示した各構成について説明する。
表示部6は、例えば液晶ディスプレイ装置、有機EL(Electroluminescence)ディスプレイ装置、プラズマディスプレイ装置、CRTディスプレイ装置などの表示デバイスによって、ユーザに対して画像を表示する部位である。
この表示部6は、表示制御部7によって表示動作が制御され、各種の表示を行う。特にタッチパネル入力に対応して、アイコン等のオブジェクトの表示を行う。
表示部6は、例えば液晶ディスプレイ装置、有機EL(Electroluminescence)ディスプレイ装置、プラズマディスプレイ装置、CRTディスプレイ装置などの表示デバイスによって、ユーザに対して画像を表示する部位である。
この表示部6は、表示制御部7によって表示動作が制御され、各種の表示を行う。特にタッチパネル入力に対応して、アイコン等のオブジェクトの表示を行う。
入力部5は、例えばタッチパネルデバイス等で構成され、表示部6に対するユーザのタッチ入力等を検出する。例えば表示部6の画面上に貼り合わせられたタッチセンサ部などとされる。
なお本開示の入力処理はタッチパネル方式だけでなく、光照射によるポインティングデバイスによる入力をマウスによる入力にも適用できる。そのため入力部5とは、画面上のポインティングデバイスによる光入力位置を検出する光センサアレイとされる場合や、マウス及びマウス操作の検出部として構成される場合もある。
なお本開示の入力処理はタッチパネル方式だけでなく、光照射によるポインティングデバイスによる入力をマウスによる入力にも適用できる。そのため入力部5とは、画面上のポインティングデバイスによる光入力位置を検出する光センサアレイとされる場合や、マウス及びマウス操作の検出部として構成される場合もある。
入力処理装置1を構成する入力検知部2は、表示部6の表示画面に対する入力を検知し、入力位置情報を得る。即ち入力検知部2は、入力部5の検出情報から、ユーザのタッチ位置を検知し、画面平面に対応するX−Y座標の座標値に変換する処理を行う。
座標記憶部3は、入力検知部2が検知した座標値を入力位置情報として記憶する。特にユーザによる連続的な入力の場合は、入力検知部2から座標を連続的に受理し、一連の座標群を保持する。例えば連続的な入力として、ユーザが、画面上のある位置を起点として、画面上をなぞっていくようなタッチ操作を行った場合、入力検知部2は、逐次、ユーザ入力に係る座標値を検出していくが、座標記憶部3は、これらの座標値を逐次記憶していく。
入力目的認識部4は、座標記憶部3に記憶された座標値(入力位置情報)を用いた算出処理で、ユーザのタッチ操作の目的となる(ユーザが意図した)位置や領域を認識する。たとえば、一連の座標群から重心を算出することで、一意の座標を決定することができる。あるいは、一連の座標群から閉空間を生成することで面上の領域を決定することができる。
そしてこの入力目的認識部4は、例えばユーザが画面上の或る位置を押すようなタッチ操作を行った場合、入力検知部2はその位置の座標値を検出し、座標記憶部3に記憶させる。この場合、入力目的認識部4は、その1つの座標値から、ユーザの入力目的位置(又は入力目的領域)を判定する。
また、ユーザが、表示部6の記表示画面に対する連続した入力操作を行うことがある。例えば画面上をなぞるような操作入力である。その場合、上述のように操作入力の開始から終了までの入力過程で逐次、座標記憶部3に座標が記憶されていく。入力目的認識部4は、入力操作過程の各時点で、その時点で記憶されている各入力位置情報から、表示画面上での入力目的位置又は入力目的領域を算出していく。さらに、ユーザの連続したタッチ操作が終了したら(例えばユーザの指が表示画面から離れたら)、その時点で、記憶されている各座標値から算出される入力目的位置又は入力目的領域を、当該連続した入力操作による入力目的位置又は入力目的領域と認識する。
そしてこの入力目的認識部4は、例えばユーザが画面上の或る位置を押すようなタッチ操作を行った場合、入力検知部2はその位置の座標値を検出し、座標記憶部3に記憶させる。この場合、入力目的認識部4は、その1つの座標値から、ユーザの入力目的位置(又は入力目的領域)を判定する。
また、ユーザが、表示部6の記表示画面に対する連続した入力操作を行うことがある。例えば画面上をなぞるような操作入力である。その場合、上述のように操作入力の開始から終了までの入力過程で逐次、座標記憶部3に座標が記憶されていく。入力目的認識部4は、入力操作過程の各時点で、その時点で記憶されている各入力位置情報から、表示画面上での入力目的位置又は入力目的領域を算出していく。さらに、ユーザの連続したタッチ操作が終了したら(例えばユーザの指が表示画面から離れたら)、その時点で、記憶されている各座標値から算出される入力目的位置又は入力目的領域を、当該連続した入力操作による入力目的位置又は入力目的領域と認識する。
表示制御部7は、表示部6の表示内容を制御する。例えば各種アプリケーションの指示に応じて必要なオブジェクトの表示を表示部6に実行させる。
また後述する第2の実施の形態では、表示制御部7が、ユーザの連続的な入力操作の過程で、入力操作に応じた表示を表示部6の表示画面上で実行させる表示制御処理を行う。後述するが、例えば操作軌跡や、各時点で求められる入力目的位置/入力目的領域、或いはオブジェクトのハイライト表示などを行う。
このようにユーザの一連の入力操作が終了せずとも、入力目的認識部4からの認識情報(入力目的位置/入力目的領域の情報)に基づいて、表示制御を行うことで、リアルタイムにユーザに一連の動作をフィードバックできる。これは、操作過程で今どの座標や領域をユーザ自身が示しているのかを気づかせるように働く。
また後述する第2の実施の形態では、表示制御部7が、ユーザの連続的な入力操作の過程で、入力操作に応じた表示を表示部6の表示画面上で実行させる表示制御処理を行う。後述するが、例えば操作軌跡や、各時点で求められる入力目的位置/入力目的領域、或いはオブジェクトのハイライト表示などを行う。
このようにユーザの一連の入力操作が終了せずとも、入力目的認識部4からの認識情報(入力目的位置/入力目的領域の情報)に基づいて、表示制御を行うことで、リアルタイムにユーザに一連の動作をフィードバックできる。これは、操作過程で今どの座標や領域をユーザ自身が示しているのかを気づかせるように働く。
操作内容判定部8は、例えばオブジェクトの「選択」「確定」等の入力内容の決定処理に関する処理機能である。
例えば操作内容判定部8は、ユーザの一連の入力操作が終了したときに、入力目的認識部4から通知された座標や領域(入力目的位置/入力目的領域)に基づいて、操作内容を判定するUIアプリケーションとして実現できる。
この操作内容判定部8は、操作内容を判定し、それに応じてUI(ユーザインターフェース)オブジェクトに対して選択処理やエンター処理を実行する。
たとえば、通知された座標上に存在するオブジェクトを選択状態にしたり、通知された領域内に含まれるオブジェクトを選択状態にしたりする。通知された領域内に選択可能なオブジェクトが複数ある場合は、同じく通知された座標にもっとも近いオブジェクトを選択状態にしても良い。
また第3の実施の形態で述べるが、ユーザの一連の動作が時計回りの場合は通知された座標と領域により一つのオブジェクトの選択を行い、反時計回りの場合は通知された領域に含まれる複数のすべてのオブジェクトを選択状態にするなどの応用をしても良い。
例えば操作内容判定部8は、ユーザの一連の入力操作が終了したときに、入力目的認識部4から通知された座標や領域(入力目的位置/入力目的領域)に基づいて、操作内容を判定するUIアプリケーションとして実現できる。
この操作内容判定部8は、操作内容を判定し、それに応じてUI(ユーザインターフェース)オブジェクトに対して選択処理やエンター処理を実行する。
たとえば、通知された座標上に存在するオブジェクトを選択状態にしたり、通知された領域内に含まれるオブジェクトを選択状態にしたりする。通知された領域内に選択可能なオブジェクトが複数ある場合は、同じく通知された座標にもっとも近いオブジェクトを選択状態にしても良い。
また第3の実施の形態で述べるが、ユーザの一連の動作が時計回りの場合は通知された座標と領域により一つのオブジェクトの選択を行い、反時計回りの場合は通知された領域に含まれる複数のすべてのオブジェクトを選択状態にするなどの応用をしても良い。
以上の図1に示した各構成要素が、本開示の入力処理装置1の基本構成と、関連する周辺の構成である。
このような構成において、タッチパネル入力等における連続的な入力時に、その入力終了までの各入力位置情報の座標を座標記憶部3に記憶していく。そして入力目的認識部4は、入力終了までの各時点において逐次、その時点までの各座標値から、ユーザが連続的なタッチ操作で指定しようとしている入力目的位置又は入力目的領域を算出する。
ユーザの連続した入力操作の終了は、ユーザの任意であるが、操作入力が終了した時点で求められる入力目的位置又は入力目的領域を、最終的に今回の連続的な入力でユーザが指定しようとして位置又は領域として認識する。入力操作過程で、逐次、入力目的位置又は入力目的領域を算出していくため、ユーザがどの時点で入力操作を終了させても、最終的な入力目的の位置/領域を判定することができる。
また、表示制御部7が逐次算出している入力目的位置又は入力目的領域に関する表示制御を行うようにすれば、よりユーザに良好な操作性を提供できる。
さらに操作内容判定部8が、入力目的位置又は入力目的領域に加えて入力操作の方向性に応じてユーザの求める操作内容を判定することで、指でなぞるような単純な操作でありながら、多様な操作内容をユーザに提供することもできる。
これらによりタッチパネルなど、表示画面に対する入力に関し、ユーザにわかりやすい感覚的な操作性や、レスポンスのよい操作性を提供できる。
このような構成において、タッチパネル入力等における連続的な入力時に、その入力終了までの各入力位置情報の座標を座標記憶部3に記憶していく。そして入力目的認識部4は、入力終了までの各時点において逐次、その時点までの各座標値から、ユーザが連続的なタッチ操作で指定しようとしている入力目的位置又は入力目的領域を算出する。
ユーザの連続した入力操作の終了は、ユーザの任意であるが、操作入力が終了した時点で求められる入力目的位置又は入力目的領域を、最終的に今回の連続的な入力でユーザが指定しようとして位置又は領域として認識する。入力操作過程で、逐次、入力目的位置又は入力目的領域を算出していくため、ユーザがどの時点で入力操作を終了させても、最終的な入力目的の位置/領域を判定することができる。
また、表示制御部7が逐次算出している入力目的位置又は入力目的領域に関する表示制御を行うようにすれば、よりユーザに良好な操作性を提供できる。
さらに操作内容判定部8が、入力目的位置又は入力目的領域に加えて入力操作の方向性に応じてユーザの求める操作内容を判定することで、指でなぞるような単純な操作でありながら、多様な操作内容をユーザに提供することもできる。
これらによりタッチパネルなど、表示画面に対する入力に関し、ユーザにわかりやすい感覚的な操作性や、レスポンスのよい操作性を提供できる。
<2.実施の形態の入力処理装置を備えた電子機器の構成例>
実施の形態のより具体的な構成及び動作を、以下、説明していく。
図2は、実施の形態の入力処理装置1が搭載された電子機器10の構成例を示している。ここで電子機器10とは、タッチパネル入力を行う機器としている。電子機器10は、具体的にはオーディオデータやビデオデータの再生装置や記録装置、テレビジョン装置などの放送受信機器、パーソナルコンピュータやPDA(Personal Digital Assistant)等の情報処理装置、携帯電話機、ネットワーク端末等の通信機器、家電機器などが想定される。
実施の形態のより具体的な構成及び動作を、以下、説明していく。
図2は、実施の形態の入力処理装置1が搭載された電子機器10の構成例を示している。ここで電子機器10とは、タッチパネル入力を行う機器としている。電子機器10は、具体的にはオーディオデータやビデオデータの再生装置や記録装置、テレビジョン装置などの放送受信機器、パーソナルコンピュータやPDA(Personal Digital Assistant)等の情報処理装置、携帯電話機、ネットワーク端末等の通信機器、家電機器などが想定される。
図2に示すように電子機器10は、CPU11、記憶部12、入力インターフェース(I/F)18、表示ドライバ16、主機能部15を備える。さらに電子機器10は一体又は別体の構成として入力部19、表示部17を備える。
これらはCPUバス等の内部バスにより構成されるホストバスおよびPCI(Peripheral Component Interconnect/Interface)バスなどの外部バスから構成されるシステムバス20により、相互に接続されている。
これらはCPUバス等の内部バスにより構成されるホストバスおよびPCI(Peripheral Component Interconnect/Interface)バスなどの外部バスから構成されるシステムバス20により、相互に接続されている。
CPU11は、演算処理装置および制御装置として機能し、記憶部12等に記録された各種プログラムに従って、電子機器10内の動作全般またはその一部を制御する。
記憶部12は、各種の記憶手段を包括的に示している。記録部12としては、例えばRAM(Random Access Memory)、ROM(Read Only Memory)、不揮発性メモリ(例えばEEPROM(Electronically Erasable and Programmable Read Only Memory))を備える。またHDD(Hard Disk Drive)やメモリカードなどを備えても良い。
例えばROMやEEPROMは、CPU11が使用するプログラムや演算パラメータ等を記憶する。プログラム(アプリケーションプログラム等)はHDD等に記憶されていてもよい。
RAMは、CPU11の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一次記憶する。
記憶部12は、各種の記憶手段を包括的に示している。記録部12としては、例えばRAM(Random Access Memory)、ROM(Read Only Memory)、不揮発性メモリ(例えばEEPROM(Electronically Erasable and Programmable Read Only Memory))を備える。またHDD(Hard Disk Drive)やメモリカードなどを備えても良い。
例えばROMやEEPROMは、CPU11が使用するプログラムや演算パラメータ等を記憶する。プログラム(アプリケーションプログラム等)はHDD等に記憶されていてもよい。
RAMは、CPU11の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一次記憶する。
表示ドライバ16及び表示部17は、図1で説明した表示部6に相当する。即ち表示ドライバ16は、CPU11の表示制御や表示データの供給に従って表示部17を駆動し、指示された内容の表示を実行させる。表示部17には、タッチパネル入力に関しては、各種のオブジェクトを表示させることになる。
入力部19及び入力インターフェース18は、図1で説明した入力部5に相当する。即ち入力部19は、表示部17の画面上に対するユーザのタッチ操作を検出し、入力インターフェース18は、当該タッチ操作の情報をCPU11に通知する。
入力部19及び入力インターフェース18は、図1で説明した入力部5に相当する。即ち入力部19は、表示部17の画面上に対するユーザのタッチ操作を検出し、入力インターフェース18は、当該タッチ操作の情報をCPU11に通知する。
主機能部15は、当該電子機器10の主な機能を実行する部位を総括的に示している。例えばこの電子機器10が記録装置、再生装置であれば、主機能部15は記録回路系、再生回路系となる。また電子機器10がテレビジョン装置であれば放送信号の受信系回路などである。電子機器10が携帯電話機であれば主機能部15は通信系回路などとなる。パーソナルコンピュータ等の情報処理装置の場合、CPU11が主機能部15としての機能を実行する構成も想定される。
このような電子機器10において、本実施の形態の入力処理装置1は、CPU11内の機能構成(記憶部12の記憶領域を利用した動作を含む)によって実現される。
CPU11には、図1に示した入力処理装置1を実現する機能構成が例えばソフトウエアにより形成される。この図2では、機能構成として入力検知部21、座標記憶処理部22、入力目的認識部23、操作内容判定部24、表示制御部25、主機能制御部26を示している。
CPU11には、図1に示した入力処理装置1を実現する機能構成が例えばソフトウエアにより形成される。この図2では、機能構成として入力検知部21、座標記憶処理部22、入力目的認識部23、操作内容判定部24、表示制御部25、主機能制御部26を示している。
入力検知部21は、図1の入力検知部2に相当し、入力部19の検出情報から、ユーザのタッチ位置を検知し、表示部17の画面平面に対応するX−Y座標の座標値に変換する処理を行う。
座標記憶処理部22は、図1の座標記憶部3を実現する処理を行う。即ち入力検知部21から供給される座標値を、例えば記憶部12の所定の記憶領域(例えばRAM)に記憶させる処理を行う。なお、座標記憶処理部22は、CPU11の内部レジスタ等を用いて座標値を記憶させるようにしてもよい。
入力目的認識部23は、図1の入力目的認識部4に相当し、座標記憶処理部22の処理によって記憶部12等に記憶された座標値を用いた算出処理で、ユーザのタッチ操作の目的となる位置や領域を認識する。図1で説明したように、ユーザの連続したタッチ操作の過程でも逐次、このような認識処理を行う。
座標記憶処理部22は、図1の座標記憶部3を実現する処理を行う。即ち入力検知部21から供給される座標値を、例えば記憶部12の所定の記憶領域(例えばRAM)に記憶させる処理を行う。なお、座標記憶処理部22は、CPU11の内部レジスタ等を用いて座標値を記憶させるようにしてもよい。
入力目的認識部23は、図1の入力目的認識部4に相当し、座標記憶処理部22の処理によって記憶部12等に記憶された座標値を用いた算出処理で、ユーザのタッチ操作の目的となる位置や領域を認識する。図1で説明したように、ユーザの連続したタッチ操作の過程でも逐次、このような認識処理を行う。
表示制御部25は、図1の表示制御部7に相当し、表示部17での表示動作を制御する。
操作内容判定部24は、図1の操作内容判定部8に相当し、入力目的認識部23から通知された座標や領域(入力目的位置/入力目的領域)に基づいて、該当するオブジェクトに関する操作内容を判定し、操作内容に応じた処理(表示上の変化や、操作内容のアプリケーションへの通知等)を行う。
操作内容判定部24は、図1の操作内容判定部8に相当し、入力目的認識部23から通知された座標や領域(入力目的位置/入力目的領域)に基づいて、該当するオブジェクトに関する操作内容を判定し、操作内容に応じた処理(表示上の変化や、操作内容のアプリケーションへの通知等)を行う。
主機能制御部26は、この電子機器10の主機能の実行のための各種制御を行う部位であり、例えば電子機器10が記録装置であれば主機能部15の記録動作の制御プログラム、テレビジョン装置であれば主機能部15での受信処理動作の制御プログラムなどとなる。また主機能制御部24は、当該電子機器10が情報処理装置の場合、各種アプリケーションプログラムに基づく処理機能部となる。
主機能制御部24は、操作内容判定部24で判定されたユーザの操作内容に応じて、必要な処理を実行し、ユーザの求めた動作を実現する。
主機能制御部24は、操作内容判定部24で判定されたユーザの操作内容に応じて、必要な処理を実行し、ユーザの求めた動作を実現する。
なお本実施の形態の入力処理装置は、上記のように多様な機器に搭載が想定されるため、図2では電子機器10として示したが、具体的な装置種別に応じて図示しない構成が加わることは当然に想定される。
例えば情報処理装置、通信装置等であれば、各種の外部インターフェース、ネットワーク通信部、ディスクドライブ、カードドライブなども設けられる。
また図2の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
例えば情報処理装置、通信装置等であれば、各種の外部インターフェース、ネットワーク通信部、ディスクドライブ、カードドライブなども設けられる。
また図2の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
<3.第1の実施の形態の入力処理>
[3−1:処理手順]
例えば図2の電子機器10において、入力処理装置1としての機能を備えたCPU11による入力処理としての第1の実施の形態を説明する。
[3−1:処理手順]
例えば図2の電子機器10において、入力処理装置1としての機能を備えたCPU11による入力処理としての第1の実施の形態を説明する。
まず図3に、表示部17の画面上でのオブジェクトの表示例を示す。図3では多数のオブジェクト30がそれぞれ画面上の所定位置に配置して表示されている例を示している。
なお、各オブジェクトには「A」〜「Q」の文字を便宜上付しているが、以下の説明上では、各オブジェクトの個々を指す場合は、例えば「オブジェクトA」「オブジェクトB」・・・「オブジェクトQ」というように、「A」〜「Q」の文字を用いる。
実際には、これらのオブジェクト30は、アプリケーションプログラムや機器の機能に応じて、操作内容となるアイコンやメニュー項目等が文字や図形等で表示される。
なお、各オブジェクトには「A」〜「Q」の文字を便宜上付しているが、以下の説明上では、各オブジェクトの個々を指す場合は、例えば「オブジェクトA」「オブジェクトB」・・・「オブジェクトQ」というように、「A」〜「Q」の文字を用いる。
実際には、これらのオブジェクト30は、アプリケーションプログラムや機器の機能に応じて、操作内容となるアイコンやメニュー項目等が文字や図形等で表示される。
第1の実施の形態では、ユーザの表示画面に対する連続的なタッチ操作(画面上をなぞるようなタッチ操作)により、ユーザが或るオブジェクトを選択状態とする操作を実現する。
図4(a)(b)には、ユーザのタッチ操作によりオブジェクトHが選択状態となった場合の表示例を示している。
図4(a)は、選択されたオブジェクトHがハイライト表示(図では斜線で示す)とされるとともに、そのオブジェクトHの機能説明35が表示される例を示している。例えばユーザは、機能説明35の内容を読んで、目的のオブジェクトであるか否かを判断できる。そしてその後の確定(エンター)操作(例えばオブジェクトHを押したり、実行ボタンとされているオブジェクトにタッチするなど)を行うことで、オブジェクトHに対応づけられた機能を発現させることができる。
図4(b)は、選択されたオブジェクトHを単にハイライト表示する例である。ユーザはこのようにオブジェクトHを選択状態とした後、確定操作を行うことでオブジェクトHに対応づけられた機能を発現させることができる。
図4(a)(b)には、ユーザのタッチ操作によりオブジェクトHが選択状態となった場合の表示例を示している。
図4(a)は、選択されたオブジェクトHがハイライト表示(図では斜線で示す)とされるとともに、そのオブジェクトHの機能説明35が表示される例を示している。例えばユーザは、機能説明35の内容を読んで、目的のオブジェクトであるか否かを判断できる。そしてその後の確定(エンター)操作(例えばオブジェクトHを押したり、実行ボタンとされているオブジェクトにタッチするなど)を行うことで、オブジェクトHに対応づけられた機能を発現させることができる。
図4(b)は、選択されたオブジェクトHを単にハイライト表示する例である。ユーザはこのようにオブジェクトHを選択状態とした後、確定操作を行うことでオブジェクトHに対応づけられた機能を発現させることができる。
以下では、この図4(a)又は図4(b)のように、或るオブジェクトを選択状態とするためのユーザの操作態様と、CPU11の操作に対する入力処理について説明していく。
図5はCPU11の入力処理のフローチャートである。この第1の実施の形態の場合、CPU11の入力検知部21、座標記憶処理部22、入力目的認識部23、操作内容判定部24の機能により図5の処理が実行される。
CPU11(入力検知部21)は、図5のステップF101でユーザのタッチ入力の開始を検知したら、処理をステップF102に進める。
ステップF102でCPU11(入力検知部21)は、入力インターフェース18を介して供給された入力部19からのタッチ検出情報を、入力位置情報としての座標値に変換する。
次にCPU11(座標記憶処理部22)は、座標値を記憶する。
さらにCPU11(入力目的認識部23)は、ユーザの入力開始から現時点までにステップF103の処理で記憶されている座標値から、入力目的位置(以下では「入力目的座標」ともいう)又は入力目的領域を算出する。
ステップF102でCPU11(入力検知部21)は、入力インターフェース18を介して供給された入力部19からのタッチ検出情報を、入力位置情報としての座標値に変換する。
次にCPU11(座標記憶処理部22)は、座標値を記憶する。
さらにCPU11(入力目的認識部23)は、ユーザの入力開始から現時点までにステップF103の処理で記憶されている座標値から、入力目的位置(以下では「入力目的座標」ともいう)又は入力目的領域を算出する。
ステップF105でCPU11はユーザ入力が完了したか否かを判別する。ユーザ入力が完了していなければ、再びステップF102〜F104の処理を行う。
ユーザの入力完了とは、タッチパネル方式の場合は、ユーザのタッチ操作が終了したとき、つまりユーザの指が表示部17の画面上から離れたときなどとする。
例えばユーザが、ある程度の時間、画面上に触れている場合(例えば画面上をなぞっている場合)は、ある程度の時間、ユーザ入力完了と判断されず、ステップF102〜F104の処理が繰り返される。
この結果、座標値としては、そのユーザの連続的なタッチ操作の軌跡に応じた各画面上のポイントの座標が記憶されていくこととなる。
ユーザの入力完了とは、タッチパネル方式の場合は、ユーザのタッチ操作が終了したとき、つまりユーザの指が表示部17の画面上から離れたときなどとする。
例えばユーザが、ある程度の時間、画面上に触れている場合(例えば画面上をなぞっている場合)は、ある程度の時間、ユーザ入力完了と判断されず、ステップF102〜F104の処理が繰り返される。
この結果、座標値としては、そのユーザの連続的なタッチ操作の軌跡に応じた各画面上のポイントの座標が記憶されていくこととなる。
上記ステップF104での入力目的座標の算出としては、CPU11は、例えばその時点で記憶されている1又は複数の座標値から重心位置を算出し、それを入力目的位置とすればよい。
またステップF104で入力目的領域を算出する場合は、CPU11は、例えばその時点で記憶されている1又は複数の座標値を結んで得られる領域を、入力目的領域として算出すればよい。
またステップF104で入力目的領域を算出する場合は、CPU11は、例えばその時点で記憶されている1又は複数の座標値を結んで得られる領域を、入力目的領域として算出すればよい。
ユーザが指を離すなどしてユーザ入力完了と判断したら、CPU11(操作内容判定部24)はステップF106に進む。その場合CPU11は、その時点で最新の算出座標又は領域に基づいて、或るオブジェクトを選択状態とする処理を行う。
最新の算出座標又は領域とは、ユーザ入力完了の直前のステップF104で算出された入力目的座標又は入力目的領域である。
例えばCPU11は、ユーザの入力完了時点での入力目的座標により、その座標に存在するオブジェクトの選択を求めた操作であると操作内容を判定し、当該オブジェクトを選択状態とする処理を行う。
或いはCPU11は、ユーザの入力完了時点での入力目的領域により、その領域内に存在する1又は複数のオブジェクトの選択を求めた操作であると操作内容を判定し、当該1又は複数のオブジェクトを選択状態とする処理を行う。
最新の算出座標又は領域とは、ユーザ入力完了の直前のステップF104で算出された入力目的座標又は入力目的領域である。
例えばCPU11は、ユーザの入力完了時点での入力目的座標により、その座標に存在するオブジェクトの選択を求めた操作であると操作内容を判定し、当該オブジェクトを選択状態とする処理を行う。
或いはCPU11は、ユーザの入力完了時点での入力目的領域により、その領域内に存在する1又は複数のオブジェクトの選択を求めた操作であると操作内容を判定し、当該1又は複数のオブジェクトを選択状態とする処理を行う。
[3−2:入力目的位置認識による選択操作例]
上記図5の処理で実現されるオブジェクト選択操作のための入力態様について説明する。まずここでは、入力目的位置の認識による選択操作例を述べる。
上記図5の処理で実現されるオブジェクト選択操作のための入力態様について説明する。まずここでは、入力目的位置の認識による選択操作例を述べる。
図6(a)は、ユーザが画面上を、開始位置PSから終了位置PEまで、破線矢印で示す軌跡でなぞる操作を行った場合を示している。
この一連の入力操作に対して、図5の処理は次のように行われる。
まず開始位置PSにユーザの指が触れた時点で、CPU11の処理はステップF101からF102に進み、ステップF103,F104で開始位置PSに相当する座標値の記憶、及びその座標値からの入力目的座標を算出する。その時点では、開始位置PSの座標が入力目的座標として算出される。
この一連の入力操作に対して、図5の処理は次のように行われる。
まず開始位置PSにユーザの指が触れた時点で、CPU11の処理はステップF101からF102に進み、ステップF103,F104で開始位置PSに相当する座標値の記憶、及びその座標値からの入力目的座標を算出する。その時点では、開始位置PSの座標が入力目的座標として算出される。
その後、ユーザの操作が破線矢印のように進む過程で、CPU11はステップF102からF105の処理を繰り返していく。つまり各時点でユーザが触れている座標値を記憶し、また、入力開始時点からその時点までに記憶された複数の座標値について、重心位置を求めて、それを入力目的座標としていく。従って、ユーザの操作が進むにつれ、入力目的座標は変化していくことになる。
ユーザの操作が終了位置PEまで進み、その時点で指を離したとする。その際には、開始位置PSから終了位置PEに至るまでの軌跡上の各座標値が記憶され、その各座標値の重心位置が求められている。例えば図中、重心GPで示す位置が、入力目的座標として算出されている。CPU11は、ユーザが指を離したことでステップF105で入力完了と判断し、ステップF106で、その時点で算出されている入力目的座標を、当該一連の操作の目的たる入力目的座標とする。そしてその入力目的座標、つまり重心GPの位置に表示されているオブジェクトHについて、選択操作がなされたものとし、オブジェクトHをハイライト表示(斜線で示す)とさせる。
従ってユーザとしては、選択しようとするオブジェクトHの周囲を囲むように指をなぞらせれば良い。またこのとき、オブジェクトHの周囲を閉空間として交差が生じるように囲む必要は無く、大まかに、オブジェクトHの周囲をなぞるような感覚でよい。このためユーザに対して、丁寧に円を描くような操作を行わなければならないなどの負担をかけないものとできる。
CPU11では、操作過程において常時、入力目的座標を算出しているので、単にユーザが指を離した時点の最新の入力目的座標を、ユーザが操作目的とした入力目的座標として、該当するオブジェクトを選択状態とすればよい。これは、ユーザが任意に指を離すことに対応できることを意味する。つまりCPU11は、いつユーザが指を離して操作を完了させても、その操作の目的である入力目的座標を認識できるものとなる。
なお、複数の座標値からの重心位置の算出は、演算処理負担は比較的軽いものである。従って重心を入力目的座標とすることは、操作過程で常時入力目的座標を算出する本例の処理として、CPU11の処理負担をかけないという利点もある。
CPU11では、操作過程において常時、入力目的座標を算出しているので、単にユーザが指を離した時点の最新の入力目的座標を、ユーザが操作目的とした入力目的座標として、該当するオブジェクトを選択状態とすればよい。これは、ユーザが任意に指を離すことに対応できることを意味する。つまりCPU11は、いつユーザが指を離して操作を完了させても、その操作の目的である入力目的座標を認識できるものとなる。
なお、複数の座標値からの重心位置の算出は、演算処理負担は比較的軽いものである。従って重心を入力目的座標とすることは、操作過程で常時入力目的座標を算出する本例の処理として、CPU11の処理負担をかけないという利点もある。
次に図6(b)の操作入力態様を説明する。
この図6(b)は表示画面の隅付近に表示されたオブジェクトを選択する場合の例である。ユーザは、オブジェクトPを選択するための操作として、開始位置PSから終了位置PEまで指をなぞらせる。この場合も、ユーザの操作が破線矢印のように進む過程で、CPU11は図5のステップF102からF105の処理を繰り返し、重心位置として入力目的座標を算出していく。そして終了位置PEでユーザが指を離したら、その時点での重心GPの位置を今回の一連の操作の入力目的座標とし、重心GPに表示されているオブジェクトPを選択状態とする。
本実施の形態の場合、ユーザは必ずしも選択したいオブジェクトの周囲を丁寧に囲む用にする必要はない。このため、画面の隅にあって、周囲をなぞりにくいようなオブジェクトが存在しても、そのオブジェクトの選択操作も困難となることはない。
この図6(b)は表示画面の隅付近に表示されたオブジェクトを選択する場合の例である。ユーザは、オブジェクトPを選択するための操作として、開始位置PSから終了位置PEまで指をなぞらせる。この場合も、ユーザの操作が破線矢印のように進む過程で、CPU11は図5のステップF102からF105の処理を繰り返し、重心位置として入力目的座標を算出していく。そして終了位置PEでユーザが指を離したら、その時点での重心GPの位置を今回の一連の操作の入力目的座標とし、重心GPに表示されているオブジェクトPを選択状態とする。
本実施の形態の場合、ユーザは必ずしも選択したいオブジェクトの周囲を丁寧に囲む用にする必要はない。このため、画面の隅にあって、周囲をなぞりにくいようなオブジェクトが存在しても、そのオブジェクトの選択操作も困難となることはない。
さらに例示すれば、本実施の形態では、必ずしも目的のオブジェクトの周囲を囲うようにする必要がないことから、図7(a)(b)のようなタッチ操作でのオブジェクトの選択も可能となる。
図7(a)は、開始位置PSから終了位置PEまで指で略直線的になぞった場合を示している。この場合も図5の処理が同様に行われるが、操作完了時点(終了位置PEに達して指を離した時点)での重心GPの位置は、図示のようにオブジェクトH上となっている。この場合CPU11は、オブジェクトHの選択操作がなされたと判断すればよい。
図7(a)は、開始位置PSから終了位置PEまで指で略直線的になぞった場合を示している。この場合も図5の処理が同様に行われるが、操作完了時点(終了位置PEに達して指を離した時点)での重心GPの位置は、図示のようにオブジェクトH上となっている。この場合CPU11は、オブジェクトHの選択操作がなされたと判断すればよい。
また図7(b)は、ユーザがオブジェクトAの付近で、開始位置PSから終了位置PEまでの軌跡がレ点状になるように入力操作した場合である。操作完了時点での重心GPの位置は、図示のようにオブジェクトA上となっているため、CPU11は、オブジェクトAの選択操作がなされたと判断すればよい。
本実施の形態では、例えばこのようにユーザの多様なタッチ入力の軌跡に対応して、オブジェクト選択が可能となる。ユーザからすれば、さほど注意を払わずに目的のオブジェクトの周囲や付近をなぞればよいという認識のみで、選択操作を行うことができ、ユーザにとって感覚的にわかりやすく簡易な操作を実現できるものとなる。
本実施の形態では、例えばこのようにユーザの多様なタッチ入力の軌跡に対応して、オブジェクト選択が可能となる。ユーザからすれば、さほど注意を払わずに目的のオブジェクトの周囲や付近をなぞればよいという認識のみで、選択操作を行うことができ、ユーザにとって感覚的にわかりやすく簡易な操作を実現できるものとなる。
[3−3:入力目的領域認識による選択操作例]
次に、同じく上記図5の処理で実現されるオブジェクト選択操作のための入力態様として、入力目的領域の認識による選択操作例を述べる。
次に、同じく上記図5の処理で実現されるオブジェクト選択操作のための入力態様として、入力目的領域の認識による選択操作例を述べる。
図8(a)は、ユーザが画面上を、開始位置PSから終了位置PEまで、破線矢印で示す軌跡でなぞる操作を行った場合を示している。
この一連の入力操作に対して、図5の処理は次のように行われる。
まず開始位置PSにユーザの指が触れた時点で、CPU11の処理はステップF101からF102に進み、ステップF103,F104で開始位置PSに相当する座標値の記憶、及びその座標値からの入力目的領域を算出する。
この一連の入力操作に対して、図5の処理は次のように行われる。
まず開始位置PSにユーザの指が触れた時点で、CPU11の処理はステップF101からF102に進み、ステップF103,F104で開始位置PSに相当する座標値の記憶、及びその座標値からの入力目的領域を算出する。
上述のように、入力目的領域は、記憶された各座標値を結んで得られる領域とする。即ち、各座標値間を線分で結んで、それによって囲まれる多角形状の領域とすればよい。
開始位置PSのときは記憶された座標値は1つのみのため、最初に算出される入力目的領域は、実際には「領域」とは成らず1つの点である。2番目の座標値が得られた時点では、2つの座標値を結んだ線分が入力目的領域とされる。3番目の座標値が得られた時点では、三角形状の入力目的領域が算出される。以降、記憶される座標値が増えていくに従って多角形状の入力目的領域が算出されるとなるのが、一つの典型的な入力目的領域の算出状況となる。
操作入力過程において、図5のステップF102〜F104として、このような処理が繰り返されていく。従って、ユーザの操作が進むにつれ、入力目的領域は変化していくことになる。
開始位置PSのときは記憶された座標値は1つのみのため、最初に算出される入力目的領域は、実際には「領域」とは成らず1つの点である。2番目の座標値が得られた時点では、2つの座標値を結んだ線分が入力目的領域とされる。3番目の座標値が得られた時点では、三角形状の入力目的領域が算出される。以降、記憶される座標値が増えていくに従って多角形状の入力目的領域が算出されるとなるのが、一つの典型的な入力目的領域の算出状況となる。
操作入力過程において、図5のステップF102〜F104として、このような処理が繰り返されていく。従って、ユーザの操作が進むにつれ、入力目的領域は変化していくことになる。
ユーザの操作が終了位置PEまで進み、その時点で指を離したとする。その際には、開始位置PSから終了位置PEに至るまでの軌跡上の各座標値が記憶され、その各座標値を結んだ多角形状の入力目的領域が求められている。図8(a)で言えば、その際の入力目的領域は、図示した波線矢印で囲まれた領域と考えて良い。
CPU11は、ユーザが指を離したことでステップF105で入力完了と判断し、ステップF106で、その時点で算出されている入力目的領域を、当該一連の操作の目的たる入力目的領域とする。そしてその入力目的領域に含まれている一又は複数のオブジェクトHについて選択操作がなされたものとし、該当するオブジェクトをハイライト表示とさせる。
CPU11は、ユーザが指を離したことでステップF105で入力完了と判断し、ステップF106で、その時点で算出されている入力目的領域を、当該一連の操作の目的たる入力目的領域とする。そしてその入力目的領域に含まれている一又は複数のオブジェクトHについて選択操作がなされたものとし、該当するオブジェクトをハイライト表示とさせる。
ここで、入力目的領域に含まれているというのは、2つの考え方を採ることができる。図8(a)は、入力目的領域内に全体が入っているオブジェクトを、「含まれている」オブジェクトとしている。
つまり図8(a)では、ほぼ波線矢印で囲まれた範囲となる入力目的領域内には、オブジェクトC、H、Mが完全に含まれている。そこでCPU11はオブジェクトC、H、Mについて選択操作がなされたと判断し、オブジェクトC、H、Mをハイライト表示(斜線で示す)させる。
つまり図8(a)では、ほぼ波線矢印で囲まれた範囲となる入力目的領域内には、オブジェクトC、H、Mが完全に含まれている。そこでCPU11はオブジェクトC、H、Mについて選択操作がなされたと判断し、オブジェクトC、H、Mをハイライト表示(斜線で示す)させる。
一方、入力目的領域内に一部でも入っているオブジェクトであれば、「含まれている」とするようにしてもよい。
図8(b)は、同様の操作軌跡の場合であるが、この場合、オブジェクトB、G、L、C、H、Mは、それぞれ、少なくとも一部が入力目的領域内に存在する。そこでCPU11はオブジェクトB、G、L、C、H、Mについて選択操作がなされたものと判断し、これらをハイライト表示させるようにしてもよい。
図8(b)は、同様の操作軌跡の場合であるが、この場合、オブジェクトB、G、L、C、H、Mは、それぞれ、少なくとも一部が入力目的領域内に存在する。そこでCPU11はオブジェクトB、G、L、C、H、Mについて選択操作がなされたものと判断し、これらをハイライト表示させるようにしてもよい。
該当するオブジェクトを、入力目的領域に完全に含まれているオブジェクトとするか、少なくとも一部が含まれているオブジェクトとするかは、機器の種別、各種オブジェクトの内容、表示レイアウト等を考慮して選定されればよい。また入力設定としてユーザが選択的に設定できるようにしてもよい。
上記のように、従ってユーザとしては、1又は複数のオブジェクトを選択しようとする場合、目的のオブジェクト群の周囲を囲むように指をなぞらせれば良い。またこのとき、オブジェクト群の周囲を閉空間として交差が生じるように囲む必要は無く、大まかにオブジェクト群の周囲をなぞるような感覚でよい。このためユーザに対して、丁寧に円を描くような操作を行わなければならないなどの負担をかけないものとできる。
CPU11では、操作過程において常時、入力目的領域を算出しているので、単にユーザが指を離した時点の最新の入力目的領域から、該当するオブジェクトを選定し、それらを選択状態とすればよい。つまりCPU11にとっては、ユーザがいつ指を離したとしても、その操作完了に対応して入力目的領域を認識できる。
CPU11では、操作過程において常時、入力目的領域を算出しているので、単にユーザが指を離した時点の最新の入力目的領域から、該当するオブジェクトを選定し、それらを選択状態とすればよい。つまりCPU11にとっては、ユーザがいつ指を離したとしても、その操作完了に対応して入力目的領域を認識できる。
このように、1又は複数のオブジェクトを容易に選択できることは、例えばオブジェクトがパーソナルコンピュータやデジタルスチルカメラ等で用いるファイルやフォルダを示すオブジェクトである場合などに有用である。
例えば表示部17にオブジェクト30として多数の画像データのサムネイル画像が表示されている場合を考える。ここで、ユーザがある一群の画像データを選択状態としたいときに、それらの周囲をなぞればよいという、簡易な入力インターフェースが実現できる。
例えば表示部17にオブジェクト30として多数の画像データのサムネイル画像が表示されている場合を考える。ここで、ユーザがある一群の画像データを選択状態としたいときに、それらの周囲をなぞればよいという、簡易な入力インターフェースが実現できる。
入力目的領域は、通常は上記のように多数の座標値を結んだ多角形状の領域となると述べたが、ユーザの操作は任意であるため、多様な形状の領域が想定される。
例えばユーザが、入力部19の分解能に対して完全に直線状となるように指をなぞらせた場合は、操作完了時点でも入力目的領域が直線として認識されるものとなる。上記図8(b)のように、オブジェクトの一部でも入っていたら、そのオブジェクトは「含まれている」とする場合、直線状の入力目的領域が算出された場合でも、適正な選択操作とすることができる。例えば図8等に示す画面で、ユーザがオブジェクトA、F、K上を、まっすぐ指をなぞらせ、これによりCPU11で直線状の入力目的領域が算出された場合、CPU11はオブジェクトA,F,Kを選択状態とする処理を行えばよい。
例えばユーザが、入力部19の分解能に対して完全に直線状となるように指をなぞらせた場合は、操作完了時点でも入力目的領域が直線として認識されるものとなる。上記図8(b)のように、オブジェクトの一部でも入っていたら、そのオブジェクトは「含まれている」とする場合、直線状の入力目的領域が算出された場合でも、適正な選択操作とすることができる。例えば図8等に示す画面で、ユーザがオブジェクトA、F、K上を、まっすぐ指をなぞらせ、これによりCPU11で直線状の入力目的領域が算出された場合、CPU11はオブジェクトA,F,Kを選択状態とする処理を行えばよい。
さらに、ユーザが8の字状になぞったとしたら、CPU11は、隣接した2つの入力目的領域として認識し、それら2つの領域に含まれるオブジェクトの選択操作と判断すればよい。
ユーザの入力における操作軌跡は全く多様であるが、入力目的領域として、点、線分、領域が把握できるような操作軌跡である限り、多様な操作軌跡に対応することは可能である。
ユーザの入力における操作軌跡は全く多様であるが、入力目的領域として、点、線分、領域が把握できるような操作軌跡である限り、多様な操作軌跡に対応することは可能である。
また、一旦連続した入力操作が完了しても、次に他の位置で連続した入力操作が行われた場合、2つの領域が入力目的領域として指定されたと判断するようにしてもよい。
例えば図8(a)のようにオブジェクトC、H、Mを選択した状態で、確定操作などの他の操作を行わずに、オブジェクトE,J,Oに対して同様の選択操作を行ったとする。その場合に、オブジェクトC、H、M、E、J、Oが選択されたと判断するような例である。
例えば図8(a)のようにオブジェクトC、H、Mを選択した状態で、確定操作などの他の操作を行わずに、オブジェクトE,J,Oに対して同様の選択操作を行ったとする。その場合に、オブジェクトC、H、M、E、J、Oが選択されたと判断するような例である。
[3−4:第1の実施の形態のまとめ]
以上のように第1の実施の形態では、表示画面に対する連続した入力操作の開始から終了までの入力過程で逐次、記憶されている各座標値から入力目的位置又は入力目的領域を算出していく。そして入力操作終了時点で算出される入力目的位置又は入力目的領域を、当該連続した入力操作による入力目的位置又は入力目的領域と認識する。その入力目的位置又は入力目的領域から、該当するオブジェクトを選定して、それが「選択」されたものとして処理する。
以上のように第1の実施の形態では、表示画面に対する連続した入力操作の開始から終了までの入力過程で逐次、記憶されている各座標値から入力目的位置又は入力目的領域を算出していく。そして入力操作終了時点で算出される入力目的位置又は入力目的領域を、当該連続した入力操作による入力目的位置又は入力目的領域と認識する。その入力目的位置又は入力目的領域から、該当するオブジェクトを選定して、それが「選択」されたものとして処理する。
これにより、ユーザは、感覚的かつ容易な(負担のない)操作で、オブジェクト選択操作が可能となり、また閉空間を作る等のユーザの負担はないため、選択操作の時短化もできる。そしてその後の確定操作等までをスムースに行うことができ、軽快な操作感を実現できる。
また、特にタッチパネル方式では「選択」の操作は、通常は存在しない。例えば多くの場合、タッチパネル方式で画面上のオブジェクトに触れる(タップする)ことは「確定」に相当するような操作となる。
一方で「選択」の操作を設ける場合、1回目に触れたときに「選択」とし、続けて再度触れたら「確定」とするようにする。これはユーザにとってわかりにくいことが多い。
本実施の形態の場合、指でなぞる操作で「選択」を行い、その後、選択状態のオブジェクトや確定キーとしてのオブジェクトを触れることで「確定」を行うようにしている。これは、「選択」と「確定」の操作の違いが明確であり、ユーザにとってわかりやすい操作性を提供できるものとなる。
一方で「選択」の操作を設ける場合、1回目に触れたときに「選択」とし、続けて再度触れたら「確定」とするようにする。これはユーザにとってわかりにくいことが多い。
本実施の形態の場合、指でなぞる操作で「選択」を行い、その後、選択状態のオブジェクトや確定キーとしてのオブジェクトを触れることで「確定」を行うようにしている。これは、「選択」と「確定」の操作の違いが明確であり、ユーザにとってわかりやすい操作性を提供できるものとなる。
また、本実施の形態では、特許文献1のようにユーザが交点を必ずしも作成する必要がないので、例えば図6(b)で説明したように、画面端のオブジェクトも選択可能である。
またテレビジョン装置やビデオ機器など、リモートコントローラを前提としていた装置がタッチパネルを供えた装置へ移行・対応する場合に、本実施の形態を用いれば、カーソルUIとタッチUI(タッチパネル方式)の両立を図りつつ、スムーズに対応していける。
カーソルUIではリモートコントローラの上下左右ボタンによって選択対象のオブジェクトを切り替えることができ、リモートコントローラの確定ボタンによって選択対象のオブジェクトに既定の動作を実行させることができた。また、選択対象を切り替えた際に選択対象の詳細情報を画面上に表示更新することができた。
上述したが、タッチUIでは、カーソルUIにあった「選択」という動作が通常存在しない。ユーザが表示された画面を見て画面上の対象を指でタップすると、そのタップしたオブジェクトへの選択と確定が同時に行われ、既定の動作が実行される。このタッチUIにおいては、カーソルUIにあった選択対象の切り替え及び選択対象の情報表示が出来ない。ところが本実施の形態によれば、タッチUIにおいて、「選択」操作を含み、ユーザに直感的で軽快な操作感を提供できる。またこれによって、選択対象を切り替えた際に選択対象の詳細情報を画面上に表示更新すること、即ち図4(a)に示した機能説明35の表示を行うことも、そのまま適用できる。
カーソルUIではリモートコントローラの上下左右ボタンによって選択対象のオブジェクトを切り替えることができ、リモートコントローラの確定ボタンによって選択対象のオブジェクトに既定の動作を実行させることができた。また、選択対象を切り替えた際に選択対象の詳細情報を画面上に表示更新することができた。
上述したが、タッチUIでは、カーソルUIにあった「選択」という動作が通常存在しない。ユーザが表示された画面を見て画面上の対象を指でタップすると、そのタップしたオブジェクトへの選択と確定が同時に行われ、既定の動作が実行される。このタッチUIにおいては、カーソルUIにあった選択対象の切り替え及び選択対象の情報表示が出来ない。ところが本実施の形態によれば、タッチUIにおいて、「選択」操作を含み、ユーザに直感的で軽快な操作感を提供できる。またこれによって、選択対象を切り替えた際に選択対象の詳細情報を画面上に表示更新すること、即ち図4(a)に示した機能説明35の表示を行うことも、そのまま適用できる。
<4.第2の実施の形態の入力処理>
[4−1:処理手順]
CPU11による入力処理としての第2の実施の形態を説明する。第2の実施の形態も、基本的には上記第1の実施の形態と同様に、ユーザの連続的なタッチ操作に応じて入力目的座標又は入力目的領域を認識し、それに応じて該当するオブジェクトを選択状態とする。この第2の実施の形態は、CPU11(表示制御部25)が、ユーザの操作入力過程で入力操作に応じた表示を表示部17の画面上で実行させることで、ユーザの操作性を格段に向上させるものである。
[4−1:処理手順]
CPU11による入力処理としての第2の実施の形態を説明する。第2の実施の形態も、基本的には上記第1の実施の形態と同様に、ユーザの連続的なタッチ操作に応じて入力目的座標又は入力目的領域を認識し、それに応じて該当するオブジェクトを選択状態とする。この第2の実施の形態は、CPU11(表示制御部25)が、ユーザの操作入力過程で入力操作に応じた表示を表示部17の画面上で実行させることで、ユーザの操作性を格段に向上させるものである。
図9はCPU11の入力処理のフローチャートである。上述した図5と同一の処理は同一のステップ番号を付し、説明を省略する。この第2の実施の形態の場合、CPU11の入力検知部21、座標記憶処理部22、入力目的認識部23、操作内容判定部24の機能に加え、表示制御部25の機能により図9の処理が実行される。
第1の実施の形態と異なるのは、ステップF110としてCPU11(表示制御部25)が、入力操作に応じた表示制御を行うことである。具体的にはCPU11は算出した入力目的座標又は入力目的領域に応じた表示制御を行う。
ステップF105で入力完了と判断されるまで、ステップF102、F103,F104、F110が繰り返されるため、入力操作過程において、画面上で即時にユーザに対するフィードバック表示が行われるものとなる。
ステップF105で入力完了と判断されるまで、ステップF102、F103,F104、F110が繰り返されるため、入力操作過程において、画面上で即時にユーザに対するフィードバック表示が行われるものとなる。
その後、ユーザが指を離すなどしてユーザ入力完了と判断したら、CPU11はステップF106で、その時点で最新の算出座標又は領域に基づいて、或るオブジェクトを選択状態とする処理を行う。この場合、上記のフィードバック表示により、表示画面上でも、選択される対象となるオブジェクトが、ユーザには明示的に提示されていることとなる。換言すれば、ユーザは画面上を指でなぞりながら、その表示の変化で、選択対象を明確に知ることができるため、希望の選択状態となることを確認して、操作を終了すればよい。
[4−2:操作過程での入力目的位置表示例]
上記図9の処理で実現される、操作過程での入力目的位置(入力目的座標)の表示例について説明する。
まず図10で、ユーザの操作過程において、操作軌跡と重心位置を逐次表示する例を説明する。
上記図9の処理で実現される、操作過程での入力目的位置(入力目的座標)の表示例について説明する。
まず図10で、ユーザの操作過程において、操作軌跡と重心位置を逐次表示する例を説明する。
図10(a)は、ユーザが開始位置PSから位置PM1まで操作入力を進めた状態を示している。
位置PM1に至るまで、図9のステップF102〜F110の処理が何度も繰り返されるが、その結果、画面上には、図示のように操作軌跡31の表示が行われる。操作軌跡31は、その時点で記憶されている各座標値を結んだ線として表示される。
さらに、複数の矢印32によって、その時点(位置PM1に進んだ時点)での重心位置が提示される。重心位置は、その時点で記憶されている各座標値から求められる。
重心位置は、ユーザの操作の進行によって逐次変化していくため、位置PM1に至るまでも、矢印32の画像は変化していたことになる。
位置PM1に至るまで、図9のステップF102〜F110の処理が何度も繰り返されるが、その結果、画面上には、図示のように操作軌跡31の表示が行われる。操作軌跡31は、その時点で記憶されている各座標値を結んだ線として表示される。
さらに、複数の矢印32によって、その時点(位置PM1に進んだ時点)での重心位置が提示される。重心位置は、その時点で記憶されている各座標値から求められる。
重心位置は、ユーザの操作の進行によって逐次変化していくため、位置PM1に至るまでも、矢印32の画像は変化していたことになる。
図10(b)は、その後さらに位置PM2までユーザの操作が進んだ状態を示している。この時点では、位置PM2に至る操作軌跡31と、その時点での重心位置が、矢印32によって提示される。
図10(c)は、ユーザが操作を終了位置PEまで進めて指を離す直前の状態を示している。この時点では、終了位置PEに至る操作軌跡31と、その時点での重心位置が、矢印32によって提示される。
そしてユーザは指を離して操作を完了すると、CPU11はその時点の重心位置の座標を入力目的座標として該当するオブジェクトを選択状態とする。この場合重心位置にはオブジェクトHが存在している。このため表示上では、図10(d)のように、オブジェクトHが選択状態のハイライト表示される。
図10(c)は、ユーザが操作を終了位置PEまで進めて指を離す直前の状態を示している。この時点では、終了位置PEに至る操作軌跡31と、その時点での重心位置が、矢印32によって提示される。
そしてユーザは指を離して操作を完了すると、CPU11はその時点の重心位置の座標を入力目的座標として該当するオブジェクトを選択状態とする。この場合重心位置にはオブジェクトHが存在している。このため表示上では、図10(d)のように、オブジェクトHが選択状態のハイライト表示される。
従ってユーザは、操作軌跡31や矢印32による重心位置を確認しながら操作を進め、選択したいオブジェクト上に重心位置が重なったときに、指を離せばよい。
なお、操作軌跡31のみ表示して、矢印32による重心位置提示を行わない例も考えられる。
或いは、矢印32による重心位置提示を行うが、操作軌跡31は表示しないという例も考えられる。
或いは、矢印32による重心位置提示を行うが、操作軌跡31は表示しないという例も考えられる。
次に図11で、重心位置自体の提示ではなく、操作過程で選択状態とされうるオブジェクトを提示する例を説明する。
図11(a)は、ユーザが開始位置PSから位置PM1まで操作入力を進めた状態を示している。
位置PM1に至るまでの図9のステップF102〜F110の処理により、画面上には、図示のように操作軌跡31の表示が行われる。さらに、その時点(位置PM1に進んだ時点)で算出された重心位置に基づいて、選択状態となりうるオブジェクトが例えばハイライト表示などによりユーザに提示される。
即ちこの図11(a)のように操作が位置PM1に進んだ時点では、重心位置はオブジェクトL上に位置するため、これに応じてオブジェクトLが他のオブジェクトよりも強調提示される。これは、「今、操作を終了したらオブジェクトLが選択される」ということをユーザに伝えるものとなる。
位置PM1に至るまでの図9のステップF102〜F110の処理により、画面上には、図示のように操作軌跡31の表示が行われる。さらに、その時点(位置PM1に進んだ時点)で算出された重心位置に基づいて、選択状態となりうるオブジェクトが例えばハイライト表示などによりユーザに提示される。
即ちこの図11(a)のように操作が位置PM1に進んだ時点では、重心位置はオブジェクトL上に位置するため、これに応じてオブジェクトLが他のオブジェクトよりも強調提示される。これは、「今、操作を終了したらオブジェクトLが選択される」ということをユーザに伝えるものとなる。
図11(b)は、その後さらに位置PM2までユーザの操作が進んだ状態を示している。この時点では、位置PM2に至る操作軌跡31と、その時点での重心位置に基づいて選択されうるオブジェクトが提示される。この場合、重心位置がオブジェクトG上に移動していることから、オブジェクトGがハイライト表示されることとなる。
図11(c)は、ユーザが操作を終了位置PEまで進めて指を離す直前の状態を示している。この時点では、終了位置PEに至る操作軌跡31と、その時点での重心位置に応じたオブジェクト(この例ではオブジェクトH)が提示される。
そしてユーザは指を離して操作を完了すると、CPU11はその時点の重心位置の座標を入力目的座標として、該当するオブジェクトを選択状態とする。この場合、オブジェクトHを選択状態とし、図11(d)のように、オブジェクトHがハイライト表示される。
図11(c)は、ユーザが操作を終了位置PEまで進めて指を離す直前の状態を示している。この時点では、終了位置PEに至る操作軌跡31と、その時点での重心位置に応じたオブジェクト(この例ではオブジェクトH)が提示される。
そしてユーザは指を離して操作を完了すると、CPU11はその時点の重心位置の座標を入力目的座標として、該当するオブジェクトを選択状態とする。この場合、オブジェクトHを選択状態とし、図11(d)のように、オブジェクトHがハイライト表示される。
従ってユーザは、操作軌跡31や、操作過程での各時点で選択状態となりうるオブジェクトを確認しながら操作を進め、選択したいオブジェクトがハイライト表示されたときに指を離せばよい。
なお、このように操作過程で選択されうるオブジェクトを提示することに加え、上記図10のように、矢印32で重心位置を示す表示を行うようにしてもよい。
また、操作過程で選択されうるオブジェクトの提示を行うが、操作軌跡31は表示しないという例も考えられる。
また、操作過程で選択したいオブジェクトを提示する際に、オブジェクトを単にハイライト表示するだけでなく、図4(a)に示したように、そのオブジェクトの機能説明35の表示を行うようにしても良い。これにより、ユーザは目的のオブジェクトを探しながら入力操作を続けるということが可能となる。
また、操作過程で選択されうるオブジェクトの提示を行うが、操作軌跡31は表示しないという例も考えられる。
また、操作過程で選択したいオブジェクトを提示する際に、オブジェクトを単にハイライト表示するだけでなく、図4(a)に示したように、そのオブジェクトの機能説明35の表示を行うようにしても良い。これにより、ユーザは目的のオブジェクトを探しながら入力操作を続けるということが可能となる。
図12は、図10と同様に、ユーザの操作過程において、操作軌跡と重心位置を逐次表示する他の例を示している。ここでは矢印32ではなく、所定の形状(図では星形としている)の重心マークGMにより、重心位置を提示する。
図12(a)は、ユーザが開始位置PSから位置PM1まで操作入力を進めた状態を示している。この時点までの操作軌跡31の表示が行われ、さらに、重心マークGMによってその時点での重心位置が提示される。
図12(b)は、その後さらに位置PM2までユーザの操作が進んだ状態を示している。この時点でも、位置PM2に至る操作軌跡31と、その時点での重心位置が、重心マークGMによって提示される。
図12c)は、ユーザが操作を終了位置PEまで進めて指を離す直前の状態を示している。この時点では、終了位置PEに至る操作軌跡31と、その時点での重心位置が、重心マークGMによって提示される。
そしてユーザは指を離して操作を完了すると、CPU11はその時点の重心位置の座標を入力目的座標として該当するオブジェクトを選択状態とする。この場合、表示上では、図11(d)のように、オブジェクトHが選択状態のハイライト表示される。
図12(b)は、その後さらに位置PM2までユーザの操作が進んだ状態を示している。この時点でも、位置PM2に至る操作軌跡31と、その時点での重心位置が、重心マークGMによって提示される。
図12c)は、ユーザが操作を終了位置PEまで進めて指を離す直前の状態を示している。この時点では、終了位置PEに至る操作軌跡31と、その時点での重心位置が、重心マークGMによって提示される。
そしてユーザは指を離して操作を完了すると、CPU11はその時点の重心位置の座標を入力目的座標として該当するオブジェクトを選択状態とする。この場合、表示上では、図11(d)のように、オブジェクトHが選択状態のハイライト表示される。
従ってユーザは、操作軌跡31や重心マークGMによる重心位置を確認しながら操作を進め、選択したいオブジェクト上に重心位置が重なったときに、指を離せばよい。操作の進行に応じて重心マークGMが移動していくことから、重心マークGMを目的のオブジェクト上に置くような感覚で操作を行うことができる。
なお、操作軌跡31を表示せず、重心マークGMによる重心位置提示のみを行う例も考えられる。
また、重心位置を、図10の矢印32と、重心マークGMの両方で提示することも考えられる。
さらに図11の例を組み合わせ、操作過程で重心位置に該当するオブジェクトをハイライト表示させていくようにしてもよい。
また、重心位置を、図10の矢印32と、重心マークGMの両方で提示することも考えられる。
さらに図11の例を組み合わせ、操作過程で重心位置に該当するオブジェクトをハイライト表示させていくようにしてもよい。
[4−3:操作過程での入力目的領域表示例]
続いて、上記図9の処理で実現される、操作過程での入力目的領域の表示例について説明する。
図13は、ユーザの操作過程において、操作軌跡と入力目的領域を表示していく例を示している。
続いて、上記図9の処理で実現される、操作過程での入力目的領域の表示例について説明する。
図13は、ユーザの操作過程において、操作軌跡と入力目的領域を表示していく例を示している。
図13(a)は、ユーザが開始位置PSから位置PM1まで操作入力を進めた状態を示している。
位置PM1に至るまで、図9のステップF102〜F110の処理が何度も繰り返されるが、その結果、画面上には、図示のように操作軌跡31の表示が行われ、さらに、図では斜線部としてしめすように、その時点(位置PM1に進んだ時点)での入力目的領域画像34が提示される。第1の実施の形態で説明したように、入力目的領域は、例えば、その時点で記憶された各座標値を結んで得られる領域である。表示上の入力目的領域画像34は、このように算出された領域を示すものとなる。
なお、例えば実際には、入力目的領域表示34は、他の部分よりハイライトさせたり、異なる色で表示するなど、多様な表示態様が考えられる。
位置PM1に至るまで、図9のステップF102〜F110の処理が何度も繰り返されるが、その結果、画面上には、図示のように操作軌跡31の表示が行われ、さらに、図では斜線部としてしめすように、その時点(位置PM1に進んだ時点)での入力目的領域画像34が提示される。第1の実施の形態で説明したように、入力目的領域は、例えば、その時点で記憶された各座標値を結んで得られる領域である。表示上の入力目的領域画像34は、このように算出された領域を示すものとなる。
なお、例えば実際には、入力目的領域表示34は、他の部分よりハイライトさせたり、異なる色で表示するなど、多様な表示態様が考えられる。
図13(b)は、その後さらに位置PM2までユーザの操作が進んだ状態を示している。この時点では、位置PM2に至る操作軌跡31と、その時点での入力目的領域画像34が提示される。
図13(c)は、ユーザが操作を終了位置PEまで進めて指を離す直前の状態を示している。この時点でも、終了位置PEに至る操作軌跡31と入力目的領域画像34が提示される。
そしてユーザは指を離して操作を完了すると、CPU11はその時点の入力目的領域に該当するオブジェクトを選択状態とする。例えばオブジェクトB、G、L、C、H、M,D、I、Nが該当する場合、表示上では、図13(d)のように、オブジェクトB、G、L、C、H、M,D、I、Nが選択状態としてハイライト表示される。
図13(c)は、ユーザが操作を終了位置PEまで進めて指を離す直前の状態を示している。この時点でも、終了位置PEに至る操作軌跡31と入力目的領域画像34が提示される。
そしてユーザは指を離して操作を完了すると、CPU11はその時点の入力目的領域に該当するオブジェクトを選択状態とする。例えばオブジェクトB、G、L、C、H、M,D、I、Nが該当する場合、表示上では、図13(d)のように、オブジェクトB、G、L、C、H、M,D、I、Nが選択状態としてハイライト表示される。
従ってユーザは、操作軌跡31や入力目的領域画像34を確認しながら操作を進め、選択したい1又は複数のオブジェクトが入力目的領域画像34内となったときに、指を離せばよい。
ところで、図8(a)のように、全て含まれているオブジェクトを該当オブジェクトとする場合、図13(c)のような状態で操作入力を完了したら、オブジェクトH、Mのみが選択状態となることとなる。
なお、入力目的領域画像34の表示を行うが、操作軌跡31は表示しないという例も考えられる。但しこの場合、入力目的領域画像34の輪郭線として、操作軌跡が提示されることとなる。
次に図14で、入力目的領域自体の提示ではなく、操作過程で選択状態とされうるオブジェクトを提示する例を説明する。
図14(a)は、ユーザが開始位置PSから位置PM1まで操作入力を進めた状態を示している。
位置PM1に至るまでの図9のステップF102〜F110の処理により、画面上には、図示のように操作軌跡31の表示が行われる。さらに、その時点(位置PM1に進んだ時点)で算出された入力目的領域に基づいて、選択状態となりうるオブジェクトが例えばハイライト表示などによりユーザに提示される。
この図14(a)の場合、開始位置PSから位置PM1までの各座標値から算出される入力目的領域に対しては、オブジェクトL、Gの一部が含まれている。そこで、「今、操作を終了したらオブジェクトL、Gが選択される」ということをユーザに伝えるように、オブジェクトL、Gが強調表示される。
位置PM1に至るまでの図9のステップF102〜F110の処理により、画面上には、図示のように操作軌跡31の表示が行われる。さらに、その時点(位置PM1に進んだ時点)で算出された入力目的領域に基づいて、選択状態となりうるオブジェクトが例えばハイライト表示などによりユーザに提示される。
この図14(a)の場合、開始位置PSから位置PM1までの各座標値から算出される入力目的領域に対しては、オブジェクトL、Gの一部が含まれている。そこで、「今、操作を終了したらオブジェクトL、Gが選択される」ということをユーザに伝えるように、オブジェクトL、Gが強調表示される。
図14(b)は、その後さらに位置PM2までユーザの操作が進んだ状態を示している。この時点では、位置PM2に至る操作軌跡31と、その時点での入力目的領域に基づいて選択されうるオブジェクトが提示される。この場合、オブジェクトB、G、L、C、Hが入力目的領域に含まれ、これらがハイライト表示されることとなる。
図14(c)は、ユーザが操作を終了位置PEまで進めて指を離す直前の状態を示している。この時点では、終了位置PEに至る操作軌跡31と、その時点での入力目的領域に含まれるオブジェクト(この例ではオブジェクトB、G、L、C、H、M)が提示される。
そしてユーザは指を離して操作を完了すると、CPU11はその時点の入力目的領域に含まれるオブジェクトを選択状態とする。この場合、オブジェクトB、G、L、C、H、Mを選択状態とし、図14(d)のように、これらがハイライト表示される。
図14(c)は、ユーザが操作を終了位置PEまで進めて指を離す直前の状態を示している。この時点では、終了位置PEに至る操作軌跡31と、その時点での入力目的領域に含まれるオブジェクト(この例ではオブジェクトB、G、L、C、H、M)が提示される。
そしてユーザは指を離して操作を完了すると、CPU11はその時点の入力目的領域に含まれるオブジェクトを選択状態とする。この場合、オブジェクトB、G、L、C、H、Mを選択状態とし、図14(d)のように、これらがハイライト表示される。
従ってユーザは、操作軌跡31や、操作過程での各時点で選択状態となりうるオブジェクトを確認しながら操作を進め、選択したい1又は複数のオブジェクトがハイライト表示されたときに指を離せばよい。
なお、このように操作過程で選択されうるオブジェクトを提示することに加え、上記図13のように、入力目的領域画像34で入力目的領域を示す表示を行うようにしてもよい。
また、操作過程で選択されうるオブジェクトの提示を行うが、操作軌跡31は表示しないという例も考えられる。
また、操作過程で選択したいオブジェクトを提示する際に、オブジェクトを単にハイライト表示するだけでなく、図4(a)に示したように、そのオブジェクトの機能説明35の表示を行うようにしても良い。
また、操作過程で選択されうるオブジェクトの提示を行うが、操作軌跡31は表示しないという例も考えられる。
また、操作過程で選択したいオブジェクトを提示する際に、オブジェクトを単にハイライト表示するだけでなく、図4(a)に示したように、そのオブジェクトの機能説明35の表示を行うようにしても良い。
[4−4:第2の実施の形態のまとめ]
以上、第2の実施の形態での操作過程での表示例を説明した。
第2の実施の形態では、以上の各例ように、CPU11(表示制御部25)は入力過程において入力操作に応じた表示を表示画面上で実行させる。
例えばCPU11は、入力操作に応じた表示として、連続した入力操作による各座標値から認識される操作軌跡31を示す表示を実行制御する。
またCPU11は、入力操作に応じた表示として、連続した入力操作による各座標値から認識される入力目的座標(重心位置)を提示する表示として、例えば矢印32や重心マークGMの表示の実行を制御する。
またCPU11は、入力目的位置を提示する表示として、入力目的座標に該当するオブジェクトを例えばハイライト表示などとして提示する表示を実行させる。
以上、第2の実施の形態での操作過程での表示例を説明した。
第2の実施の形態では、以上の各例ように、CPU11(表示制御部25)は入力過程において入力操作に応じた表示を表示画面上で実行させる。
例えばCPU11は、入力操作に応じた表示として、連続した入力操作による各座標値から認識される操作軌跡31を示す表示を実行制御する。
またCPU11は、入力操作に応じた表示として、連続した入力操作による各座標値から認識される入力目的座標(重心位置)を提示する表示として、例えば矢印32や重心マークGMの表示の実行を制御する。
またCPU11は、入力目的位置を提示する表示として、入力目的座標に該当するオブジェクトを例えばハイライト表示などとして提示する表示を実行させる。
またCPU11は、入力操作に応じた表示として、連続した入力操作による各座標値から認識される入力目的領域を、入力目的領域画像34により提示する表示の実行を制御する。
またCPU11は、入力目的領域を提示する表示として、入力目的領域に含まれるオブジェクトを提示する表示を実行させる。
またCPU11は、入力目的領域を提示する表示として、入力目的領域に含まれるオブジェクトを提示する表示を実行させる。
このように入力操作過程での表示を行うことにより、ユーザは指を動かし、確認しながら所望のオブジェクトの選択操作を行うことができ、これによって誤選択を軽減し、またわかりやすい操作とすることができる。
<5.第3の実施の形態の入力処理>
[5−1:処理手順]
CPU11による入力処理としての第3の実施の形態を説明する。第3の実施の形態も、基本的には上記第1の実施の形態と同様に、ユーザの連続的なタッチ操作に応じて入力目的座標又は入力目的領域を認識する。但し、この第3の実施の形態は、CPU11(操作内容判定部24)が、ユーザの操作入力の態様により、操作内容を判定する。特には操作軌跡から判定される方向性によって操作内容を判定する。
[5−1:処理手順]
CPU11による入力処理としての第3の実施の形態を説明する。第3の実施の形態も、基本的には上記第1の実施の形態と同様に、ユーザの連続的なタッチ操作に応じて入力目的座標又は入力目的領域を認識する。但し、この第3の実施の形態は、CPU11(操作内容判定部24)が、ユーザの操作入力の態様により、操作内容を判定する。特には操作軌跡から判定される方向性によって操作内容を判定する。
図15はCPU11の入力処理のフローチャートである。上述した図5、図9と同一の処理は同一のステップ番号を付し、説明を省略する。この図15の場合、ユーザが操作入力を完了した後のステップF120、F121が、図9と異なる。
即ち、ユーザの入力完了に応じて、CPU11(入力目的認識部23)は、その時点での最新の入力目的座標又は入力目的領域を判定し、ユーザの操作内容を判定するのであるが、この場合CPU11(入力目的認識部23)は、ユーザ入力が完了したステップF120の時点で、それまでの記憶されている座標値から、入力操作の方向性を判定する。例えば右回り操作か、左回り操作かを判定する。
そしてCPU11(操作内容判定部24)はステップF121で、入力目的座標又は入力目的領域と、判定された方向性に基づいて、ユーザの意図した操作内容を判定して、その操作内容に対応する処理を行う。
そしてCPU11(操作内容判定部24)はステップF121で、入力目的座標又は入力目的領域と、判定された方向性に基づいて、ユーザの意図した操作内容を判定して、その操作内容に対応する処理を行う。
[5−2:方向性に応じた処理内容認例]
具体例を説明する。図16は、ユーザが右回りの軌跡で操作を行った場合は、入力目的座標(重心)による選択操作、左回りの軌跡で操作を行った場合は、入力目的領域による選択操作とする例である。
具体例を説明する。図16は、ユーザが右回りの軌跡で操作を行った場合は、入力目的座標(重心)による選択操作、左回りの軌跡で操作を行った場合は、入力目的領域による選択操作とする例である。
図16(a)は、ユーザが波線矢印で示すように右回りの軌跡でオブジェクトHの周囲をなぞった操作を示している。
この場合、CPU11は右回り軌跡であることから、ステップF121で、重心位置に存在するオブジェクトHに対する選択操作と認識し、図16(b)のようにオブジェクトHをハイライト表示させる。
この場合、CPU11は右回り軌跡であることから、ステップF121で、重心位置に存在するオブジェクトHに対する選択操作と認識し、図16(b)のようにオブジェクトHをハイライト表示させる。
一方、図16(c)は、ユーザが波線矢印で示すように左回りの軌跡で入力操作を行った場合を示している。
この場合、CPU11は左回り軌跡であることから、ステップF121では、ユーザの操作は入力目的領域の指定とし、入力目的領域に含まれるオブジェクトに対する選択操作と認識する。この場合、図16(d)のようにオブジェクトC,H,M,D,I,Oをハイライト表示させる。
この場合、CPU11は左回り軌跡であることから、ステップF121では、ユーザの操作は入力目的領域の指定とし、入力目的領域に含まれるオブジェクトに対する選択操作と認識する。この場合、図16(d)のようにオブジェクトC,H,M,D,I,Oをハイライト表示させる。
このように操作方向で、入力目的座標による選択と、入力目的領域による選択とを実行できることで、ユーザは、簡易な選択操作で多様な選択を行うことができる。
図16には示していないが、実際には、ステップF110の処理で、操作過程での表示も行われる。その場合、操作過程では、逐次、右回りか左回りかも判定するようにし、右回りと判定した時点では、図10〜図12で説明したような表示を行い、左回りと判定した時点では図13、図14で説明したような表示を行うと良い。このようにすれば、ユーザが特に右回りと左回りの操作の違いを理解していなくとも、現在の操作がどういう操作であるかわかりやすい。従って多様な操作を可能としながら、ユーザの直感的な操作性を維持できる。
図16には示していないが、実際には、ステップF110の処理で、操作過程での表示も行われる。その場合、操作過程では、逐次、右回りか左回りかも判定するようにし、右回りと判定した時点では、図10〜図12で説明したような表示を行い、左回りと判定した時点では図13、図14で説明したような表示を行うと良い。このようにすれば、ユーザが特に右回りと左回りの操作の違いを理解していなくとも、現在の操作がどういう操作であるかわかりやすい。従って多様な操作を可能としながら、ユーザの直感的な操作性を維持できる。
図17は他の例を示している。
図17(a)は、ユーザが波線矢印で示すように右回りの軌跡でオブジェクトHの周囲をなぞった操作を示している。
この場合、CPU11は右回り軌跡であることから、ステップF121で、重心位置に存在するオブジェクトHに対する選択操作と認識し、図16(b)のようにオブジェクトHをハイライト表示させる。ここでは機能説明35も表示させる例としている。
図17(a)は、ユーザが波線矢印で示すように右回りの軌跡でオブジェクトHの周囲をなぞった操作を示している。
この場合、CPU11は右回り軌跡であることから、ステップF121で、重心位置に存在するオブジェクトHに対する選択操作と認識し、図16(b)のようにオブジェクトHをハイライト表示させる。ここでは機能説明35も表示させる例としている。
一方、図17(c)は、ユーザが波線矢印で示すように左回りの軌跡で入力操作を行った場合を示している。
この場合、CPU11は左回り軌跡であることから、ステップF121では、ユーザの操作は確定操作とし、重心位置に存在するオブジェクトHが確定されたとして、オブジェクトHに割り当てられた機能を実行する。
この場合、CPU11は左回り軌跡であることから、ステップF121では、ユーザの操作は確定操作とし、重心位置に存在するオブジェクトHが確定されたとして、オブジェクトHに割り当てられた機能を実行する。
このように、例えば右回りは「選択」、左回りは「確定」というように操作内容を区別できるようにしてもよい。もちろん「選択」と「確定」だけでなく、各種の操作内容を右回りと左回りに割り当てることが考えられる。
さらに方向性としては、軌跡が上昇傾向、下降傾向で区別したり、左向き傾向、右向き傾向で区別することも考えられる。
さらには、軌跡の方向性の組み合わせから判定される形状で区別することも考えられる。例えば連続した入力操作の軌跡が、結果として略円形となっているか、略三角形になっているか、略レ点状になっているか、などの違いに応じて操作内容を判定しても良い。
さらに方向性としては、軌跡が上昇傾向、下降傾向で区別したり、左向き傾向、右向き傾向で区別することも考えられる。
さらには、軌跡の方向性の組み合わせから判定される形状で区別することも考えられる。例えば連続した入力操作の軌跡が、結果として略円形となっているか、略三角形になっているか、略レ点状になっているか、などの違いに応じて操作内容を判定しても良い。
これらのように、ユーザの入力操作の軌跡の方向性により操作内容を判定することとすれば、例えば図16の例の単独選択、複数選択などの従来のカーソルUIにて難しかった操作を可能としたり、図17の例のように、多様な操作内容をユーザに提供することが可能となる。
<6.プログラム>
本開示の実施の形態のプログラムは、CPU11等の演算処理装置に図5、図9、又は図15の処理を実行させるプログラムである。
このプログラムにより、上述した効果を得る入力処理装置を、特別な専用装置を用いずに実現できる。従って図2の電子機器10として説明した多様な種類の機器において、本開示の入力処理装置を容易に搭載できることとなる。
さらに、そのようなプログラムが記録されたプログラム記録媒体によれば、各種の電子機器10において、本開示の入力処理装置としての機能を備えた機器を実現することも容易となる。
本開示の実施の形態のプログラムは、CPU11等の演算処理装置に図5、図9、又は図15の処理を実行させるプログラムである。
このプログラムにより、上述した効果を得る入力処理装置を、特別な専用装置を用いずに実現できる。従って図2の電子機器10として説明した多様な種類の機器において、本開示の入力処理装置を容易に搭載できることとなる。
さらに、そのようなプログラムが記録されたプログラム記録媒体によれば、各種の電子機器10において、本開示の入力処理装置としての機能を備えた機器を実現することも容易となる。
本実施の形態のプログラムは、パーソナルコンピュータその他の各種電子機器に内蔵されている記録媒体としてのHDDや、CPUを有するマイクロコンピュータ内のROM等に予め記録しておくことができる。
あるいはまた、フレキシブルディスク、CD−ROM(Compact Disc Read Only Memory)、MO(Magnet optical)ディスク、DVD(Digital Versatile Disc)、ブルーレイディスク(Blu-ray Disc:登録商標)、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納(記録)しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、本開示のプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、LAN(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。
あるいはまた、フレキシブルディスク、CD−ROM(Compact Disc Read Only Memory)、MO(Magnet optical)ディスク、DVD(Digital Versatile Disc)、ブルーレイディスク(Blu-ray Disc:登録商標)、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納(記録)しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、本開示のプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、LAN(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。
<7.変形例>
本開示の技術は上述した実施の形態の例に限定されず、多様な変形例が想定される。
第1,第2の実施の形態では、選択操作を目的とする入力操作として説明したが、当然、確定(エンター)操作を目的とする操作や、他の操作内容を目的とする操作にも、第1,第2の実施の形態は適用できる。
本開示の技術は上述した実施の形態の例に限定されず、多様な変形例が想定される。
第1,第2の実施の形態では、選択操作を目的とする入力操作として説明したが、当然、確定(エンター)操作を目的とする操作や、他の操作内容を目的とする操作にも、第1,第2の実施の形態は適用できる。
また実施の形態の処理では、長押しを判定することも可能である。例えばユーザが画面上の或る一点を押し続けた場合、記憶される各座標値が殆ど変化しないこととなる。その場合、CPU11は、ユーザが長押しを行っていると判断し、例えば所定時間経過や、ユーザの指の離れによって長押し操作が完了したと認識してもよい。つまり、長押しの座標値に該当するオブジェクトに対して、長押しに対応づけられた機能内容の操作が行われたとして処理すればよい。
また実施の形態ではユーザが指で画面に触れるタッチパネル方式の例で述べたが、本開示の技術は、表示画面上の位置を指定するように入力を行う各種のUIに適用できる。
例えばユーザが画面上に指を近接させる入力方式、ペン型のポインタで画面上の位置を示す入力方式、光学式のポインティングデバイスで、画面上に光を当てて画面上の位置を示す入力方式、マウス的な入力方式などに、本開示の技術は適用できる。
例えばユーザが画面上に指を近接させる入力方式、ペン型のポインタで画面上の位置を示す入力方式、光学式のポインティングデバイスで、画面上に光を当てて画面上の位置を示す入力方式、マウス的な入力方式などに、本開示の技術は適用できる。
なお本技術は以下のような構成も採ることができる。
(1)表示画面に対する入力を検知し、入力位置情報を得る入力検知部と、
上記入力位置情報を記憶する記憶部と、
上記表示画面に対する連続した入力操作の開始から終了までの入力過程で逐次、上記記憶部に記憶されている各入力位置情報から、上記表示画面上での入力目的位置又は入力目的領域を算出していくとともに、入力操作終了時点で算出される入力目的位置又は入力目的領域を、当該連続した入力操作による入力目的位置又は入力目的領域と認識する入力目的認識部と、
を備えた入力処理装置。
(2)上記入力過程において入力操作に応じた表示を上記表示画面上で実行させる表示制御部を、さらに備えた上記(1)に記載の入力処理装置。
(3)上記表示制御部は、上記入力操作に応じた表示として、連続した入力操作による各入力位置情報から上記入力目的認識部が認識する操作軌跡を示す表示の実行を制御する上記(2)に記載の入力処理装置。
(4)上記表示制御部は、上記入力操作に応じた表示として、連続した入力操作による各入力位置情報から上記入力目的認識部が認識する入力目的位置を提示する表示の実行を制御する上記(2)又は(3)に記載の入力処理装置。
(5)上記表示制御部は、上記入力目的位置を提示する表示として、入力目的位置となる重心位置を提示する表示を実行させる上記(4)に記載の入力処理装置。
(6)上記表示制御部は、上記入力目的位置を提示する表示として、入力目的位置に該当するオブジェクトを提示する表示を実行させる上記(4)又は(5)に記載の入力処理装置。
(7)上記表示制御部は、上記入力操作に応じた表示として、連続した入力操作による各入力位置情報から上記入力目的認識部が認識する入力目的領域を提示する表示の実行を制御する上記(2)乃至(6)のいずれかに記載の入力処理装置。
(8)上記表示制御部は、上記入力目的領域を提示する表示として、入力目的領域に含まれるオブジェクトを提示する表示を実行させる上記(7)に記載の入力処理装置。
(9)上記入力目的認識部は、上記記憶部に記憶されている各入力位置情報から求められる重心位置を、上記入力目的位置として算出する上記(1)乃至(8)のいずれかに記載の入力処理装置。
(10)上記入力目的認識部は、上記記憶部に記憶されている各入力位置情報を結んで得られる領域を、上記入力目的領域として算出する上記(1)乃至(9)のいずれかに記載の入力処理装置。
(11)上記連続した入力操作の操作内容は、入力操作終了時点で上記入力目的認識部により算出される入力目的位置に該当するオブジェクト又は入力目的領域に含まれるオブジェクトの選択操作であるとする操作内容判定部を、さらに備えた上記(1)乃至(10)のいずれかに記載の入力処理装置。
(12)上記入力目的認識部は、さらに、上記連続した入力操作により上記記憶部に記憶されている各入力位置情報から上記連続した入力操作の方向性を検出するとともに、
上記入力目的認識部により、入力操作終了時点で算出される入力目的位置又は入力目的領域と、上記方向性に基づいて、上記連続した入力操作の操作内容を判定する操作内容判定部を、さらに備えた上記(1)乃至(11)のいずれかに記載の入力処理装置。
(1)表示画面に対する入力を検知し、入力位置情報を得る入力検知部と、
上記入力位置情報を記憶する記憶部と、
上記表示画面に対する連続した入力操作の開始から終了までの入力過程で逐次、上記記憶部に記憶されている各入力位置情報から、上記表示画面上での入力目的位置又は入力目的領域を算出していくとともに、入力操作終了時点で算出される入力目的位置又は入力目的領域を、当該連続した入力操作による入力目的位置又は入力目的領域と認識する入力目的認識部と、
を備えた入力処理装置。
(2)上記入力過程において入力操作に応じた表示を上記表示画面上で実行させる表示制御部を、さらに備えた上記(1)に記載の入力処理装置。
(3)上記表示制御部は、上記入力操作に応じた表示として、連続した入力操作による各入力位置情報から上記入力目的認識部が認識する操作軌跡を示す表示の実行を制御する上記(2)に記載の入力処理装置。
(4)上記表示制御部は、上記入力操作に応じた表示として、連続した入力操作による各入力位置情報から上記入力目的認識部が認識する入力目的位置を提示する表示の実行を制御する上記(2)又は(3)に記載の入力処理装置。
(5)上記表示制御部は、上記入力目的位置を提示する表示として、入力目的位置となる重心位置を提示する表示を実行させる上記(4)に記載の入力処理装置。
(6)上記表示制御部は、上記入力目的位置を提示する表示として、入力目的位置に該当するオブジェクトを提示する表示を実行させる上記(4)又は(5)に記載の入力処理装置。
(7)上記表示制御部は、上記入力操作に応じた表示として、連続した入力操作による各入力位置情報から上記入力目的認識部が認識する入力目的領域を提示する表示の実行を制御する上記(2)乃至(6)のいずれかに記載の入力処理装置。
(8)上記表示制御部は、上記入力目的領域を提示する表示として、入力目的領域に含まれるオブジェクトを提示する表示を実行させる上記(7)に記載の入力処理装置。
(9)上記入力目的認識部は、上記記憶部に記憶されている各入力位置情報から求められる重心位置を、上記入力目的位置として算出する上記(1)乃至(8)のいずれかに記載の入力処理装置。
(10)上記入力目的認識部は、上記記憶部に記憶されている各入力位置情報を結んで得られる領域を、上記入力目的領域として算出する上記(1)乃至(9)のいずれかに記載の入力処理装置。
(11)上記連続した入力操作の操作内容は、入力操作終了時点で上記入力目的認識部により算出される入力目的位置に該当するオブジェクト又は入力目的領域に含まれるオブジェクトの選択操作であるとする操作内容判定部を、さらに備えた上記(1)乃至(10)のいずれかに記載の入力処理装置。
(12)上記入力目的認識部は、さらに、上記連続した入力操作により上記記憶部に記憶されている各入力位置情報から上記連続した入力操作の方向性を検出するとともに、
上記入力目的認識部により、入力操作終了時点で算出される入力目的位置又は入力目的領域と、上記方向性に基づいて、上記連続した入力操作の操作内容を判定する操作内容判定部を、さらに備えた上記(1)乃至(11)のいずれかに記載の入力処理装置。
1 入力処理装置、2 入力検知部、3 座標記憶部、4 入力目的認識部、5 入力部、6 表示部、7 表示制御部、8 操作内容判定部、10 電子機器、11 CPU、12 記憶部、18 表示部、19 入力部、21 入力検知部、22 座標記憶処理部、23 座標記憶部、23 入力目的認識部、24 操作内容判定部、25 表示制御部、26 主機能制御部、30 オブジェクト
Claims (14)
- 表示画面に対する入力を検知し、入力位置情報を得る入力検知部と、
上記入力位置情報を記憶する記憶部と、
上記表示画面に対する連続した入力操作の開始から終了までの入力過程で逐次、上記記憶部に記憶されている各入力位置情報から、上記表示画面上での入力目的位置又は入力目的領域を算出していくとともに、入力操作終了時点で算出される入力目的位置又は入力目的領域を、当該連続した入力操作による入力目的位置又は入力目的領域と認識する入力目的認識部と、
を備えた入力処理装置。 - 上記入力過程において入力操作に応じた表示を上記表示画面上で実行させる表示制御部を、さらに備えた請求項1に記載の入力処理装置。
- 上記表示制御部は、上記入力操作に応じた表示として、連続した入力操作による各入力位置情報から上記入力目的認識部が認識する操作軌跡を示す表示の実行を制御する請求項2に記載の入力処理装置。
- 上記表示制御部は、上記入力操作に応じた表示として、連続した入力操作による各入力位置情報から上記入力目的認識部が認識する入力目的位置を提示する表示の実行を制御する請求項3に記載の入力処理装置。
- 上記表示制御部は、上記入力目的位置を提示する表示として、入力目的位置となる重心位置を提示する表示を実行させる請求項4に記載の入力処理装置。
- 上記表示制御部は、上記入力目的位置を提示する表示として、入力目的位置に該当するオブジェクトを提示する表示を実行させる請求項4に記載の入力処理装置。
- 上記表示制御部は、上記入力操作に応じた表示として、連続した入力操作による各入力位置情報から上記入力目的認識部が認識する入力目的領域を提示する表示の実行を制御する請求項2に記載の入力処理装置。
- 上記表示制御部は、上記入力目的領域を提示する表示として、入力目的領域に含まれるオブジェクトを提示する表示を実行させる請求項7に記載の入力処理装置。
- 上記入力目的認識部は、上記記憶部に記憶されている各入力位置情報から求められる重心位置を、上記入力目的位置として算出する請求項1に記載の入力処理装置。
- 上記入力目的認識部は、上記記憶部に記憶されている各入力位置情報を結んで得られる領域を、上記入力目的領域として算出する請求項1に記載の入力処理装置。
- 上記連続した入力操作の操作内容は、入力操作終了時点で上記入力目的認識部により算出される入力目的位置に該当するオブジェクト又は入力目的領域に含まれるオブジェクトの選択操作であるとする操作内容判定部を、さらに備えた請求項1に記載の入力処理装置。
- 上記入力目的認識部は、さらに、上記連続した入力操作により上記記憶部に記憶されている各入力位置情報から上記連続した入力操作の方向性を検出するとともに、
上記入力目的認識部により、入力操作終了時点で算出される入力目的位置又は入力目的領域と、上記方向性に基づいて、上記連続した入力操作の操作内容を判定する操作内容判定部を、さらに備えた請求項1に記載の入力処理装置。 - 表示画面に対する入力を検知し、入力位置情報を得、
上記入力位置情報を記憶し、
上記表示画面に対する連続した入力操作の開始から終了までの入力過程で逐次、上記記憶部に記憶されている各入力位置情報から、上記表示画面上での入力目的位置又は入力目的領域を算出していくとともに、入力操作終了時点で算出される入力目的位置又は入力目的領域を、当該連続した入力操作による入力目的位置又は入力目的領域と認識する入力処理方法。 - 表示画面に対する入力を検知して入力位置情報を得、
上記入力位置情報を記憶し、
上記表示画面に対する連続した入力操作の開始から終了までの入力過程で逐次、上記記憶部に記憶されている各入力位置情報から、上記表示画面上での入力目的位置又は入力目的領域を算出していくとともに、入力操作終了時点で算出される入力目的位置又は入力目的領域を、当該連続した入力操作による入力目的位置又は入力目的領域と認識する処理を、
演算処理装置に実行させるプログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011052518A JP2012190215A (ja) | 2011-03-10 | 2011-03-10 | 入力処理装置、入力処理方法、プログラム |
US13/358,024 US20120229392A1 (en) | 2011-03-10 | 2012-01-25 | Input processing apparatus, input processing method, and program |
EP12156509A EP2498176A2 (en) | 2011-03-10 | 2012-02-22 | Input processing apparatus, input processing method, and program |
CN2012100516158A CN102681772A (zh) | 2011-03-10 | 2012-03-02 | 输入处理设备、输入处理方法和程序 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011052518A JP2012190215A (ja) | 2011-03-10 | 2011-03-10 | 入力処理装置、入力処理方法、プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012190215A true JP2012190215A (ja) | 2012-10-04 |
JP2012190215A5 JP2012190215A5 (ja) | 2014-03-13 |
Family
ID=45656418
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011052518A Abandoned JP2012190215A (ja) | 2011-03-10 | 2011-03-10 | 入力処理装置、入力処理方法、プログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US20120229392A1 (ja) |
EP (1) | EP2498176A2 (ja) |
JP (1) | JP2012190215A (ja) |
CN (1) | CN102681772A (ja) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013045175A (ja) * | 2011-08-22 | 2013-03-04 | Rakuten Inc | データ処理装置、データ処理方法、データ処理プログラム、及びそのプログラムを記録するコンピュータ読み取り可能な記録媒体 |
JP5489377B1 (ja) * | 2012-12-28 | 2014-05-14 | パナソニック株式会社 | 表示装置、表示方法及び表示プログラム |
JP2014170349A (ja) * | 2013-03-04 | 2014-09-18 | Sharp Corp | 操作制御装置及びプログラム |
JP2015032271A (ja) * | 2013-08-06 | 2015-02-16 | パイオニア株式会社 | タッチ操作位置判定装置 |
JP2017004338A (ja) * | 2015-06-12 | 2017-01-05 | クラリオン株式会社 | 表示装置 |
JP2017050013A (ja) * | 2013-01-25 | 2017-03-09 | 株式会社モルフォ | 画像表示装置、画像表示方法およびプログラム |
JP2017084408A (ja) * | 2017-01-20 | 2017-05-18 | シャープ株式会社 | 画像形成装置及びプログラム |
JP2017120546A (ja) * | 2015-12-28 | 2017-07-06 | シャープ株式会社 | 画像処理装置、画像処理方法、画像処理プログラム、および撮像装置 |
JP2018039270A (ja) * | 2017-11-15 | 2018-03-15 | シャープ株式会社 | 画像形成装置及びプログラム |
JP2018092638A (ja) * | 2018-01-09 | 2018-06-14 | パイオニア株式会社 | タッチ操作位置判定装置 |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5882087B2 (ja) * | 2012-03-07 | 2016-03-09 | 船井電機株式会社 | 端末装置、操作キーの表示順変更方法 |
JP5974657B2 (ja) * | 2012-06-15 | 2016-08-23 | 株式会社リコー | 情報処理装置、情報処理方法および情報処理プログラム |
CN103713810B (zh) * | 2012-10-09 | 2019-05-31 | 腾讯科技(深圳)有限公司 | 一种移动终端列表数据交互方法及装置 |
CN103389857A (zh) * | 2013-07-24 | 2013-11-13 | 珠海市魅族科技有限公司 | 虚拟控件的调整方法和终端 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060227115A1 (en) * | 2005-03-31 | 2006-10-12 | Tyco Electronic Corporation | Method and apparatus for touch sensor with interference rejection |
US7932895B2 (en) * | 2005-05-24 | 2011-04-26 | Nokia Corporation | Control of an electronic device using a gesture as an input |
KR100672605B1 (ko) * | 2006-03-30 | 2007-01-24 | 엘지전자 주식회사 | 아이템 선택 방법 및 이를 위한 단말기 |
US8086971B2 (en) * | 2006-06-28 | 2011-12-27 | Nokia Corporation | Apparatus, methods and computer program products providing finger-based and hand-based gesture commands for portable electronic device applications |
WO2009007704A1 (en) * | 2007-07-12 | 2009-01-15 | Qrg Limited | Two-dimensional touch panel |
JP2009110135A (ja) | 2007-10-29 | 2009-05-21 | Panasonic Corp | オブジェクト選択装置 |
EP2227737A2 (en) * | 2007-11-28 | 2010-09-15 | Koninklijke Philips Electronics N.V. | Sensing device and method |
CN101477426B (zh) * | 2009-01-07 | 2011-02-16 | 广东国笔科技股份有限公司 | 一种识别手写输入的方法及系统 |
-
2011
- 2011-03-10 JP JP2011052518A patent/JP2012190215A/ja not_active Abandoned
-
2012
- 2012-01-25 US US13/358,024 patent/US20120229392A1/en not_active Abandoned
- 2012-02-22 EP EP12156509A patent/EP2498176A2/en not_active Withdrawn
- 2012-03-02 CN CN2012100516158A patent/CN102681772A/zh active Pending
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013045175A (ja) * | 2011-08-22 | 2013-03-04 | Rakuten Inc | データ処理装置、データ処理方法、データ処理プログラム、及びそのプログラムを記録するコンピュータ読み取り可能な記録媒体 |
US8963873B2 (en) | 2011-08-22 | 2015-02-24 | Rakuten, Inc. | Data processing device, data processing method, data processing program, and computer-readable recording medium which records program |
JP5489377B1 (ja) * | 2012-12-28 | 2014-05-14 | パナソニック株式会社 | 表示装置、表示方法及び表示プログラム |
US8988380B2 (en) | 2012-12-28 | 2015-03-24 | Panasonic Intellectual Property Corporation Of America | Display apparatus, display method, and display program |
JP2017050013A (ja) * | 2013-01-25 | 2017-03-09 | 株式会社モルフォ | 画像表示装置、画像表示方法およびプログラム |
JP2014170349A (ja) * | 2013-03-04 | 2014-09-18 | Sharp Corp | 操作制御装置及びプログラム |
JP2015032271A (ja) * | 2013-08-06 | 2015-02-16 | パイオニア株式会社 | タッチ操作位置判定装置 |
JP2017004338A (ja) * | 2015-06-12 | 2017-01-05 | クラリオン株式会社 | 表示装置 |
JP2017120546A (ja) * | 2015-12-28 | 2017-07-06 | シャープ株式会社 | 画像処理装置、画像処理方法、画像処理プログラム、および撮像装置 |
JP2017084408A (ja) * | 2017-01-20 | 2017-05-18 | シャープ株式会社 | 画像形成装置及びプログラム |
JP2018039270A (ja) * | 2017-11-15 | 2018-03-15 | シャープ株式会社 | 画像形成装置及びプログラム |
JP2018092638A (ja) * | 2018-01-09 | 2018-06-14 | パイオニア株式会社 | タッチ操作位置判定装置 |
Also Published As
Publication number | Publication date |
---|---|
CN102681772A (zh) | 2012-09-19 |
EP2498176A2 (en) | 2012-09-12 |
US20120229392A1 (en) | 2012-09-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2012190215A (ja) | 入力処理装置、入力処理方法、プログラム | |
JP5718042B2 (ja) | タッチ入力処理装置、情報処理装置およびタッチ入力制御方法 | |
US9524097B2 (en) | Touchscreen gestures for selecting a graphical object | |
US8933910B2 (en) | Information input apparatus, information input method, and program | |
US8519986B2 (en) | User interface device and user interface method | |
EP2141577B1 (en) | Information display device, information display method, and program | |
JP4818036B2 (ja) | タッチパネル制御装置およびタッチパネル制御方法 | |
US9280265B2 (en) | Input control device, input control method, and input control program for controlling display target upon receiving input on display screen of display device | |
WO2011145330A1 (ja) | 座標決定装置、座標決定方法及び座標決定プログラム | |
WO2010032354A1 (ja) | 画像オブジェクト制御システム、画像オブジェクト制御方法およびプログラム | |
JP2008146243A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
US20130100051A1 (en) | Input control device, input control method, and input control program for controlling display target upon receiving input on display screen of display device | |
EP1969450A1 (en) | Mobile device and operation method control available for using touch and drag | |
JP2009110286A (ja) | 情報処理装置、ランチャー起動制御プログラムおよびランチャー起動制御方法 | |
KR101392936B1 (ko) | 사용자 맞춤형 인터페이스 시스템 및 그 구현 방법 | |
CN107533424A (zh) | 用户终端设备及其控制方法 | |
JP2008065504A (ja) | タッチパネル制御装置およびタッチパネル制御方法 | |
JP2011210083A (ja) | 表示装置 | |
KR20130054759A (ko) | 리모트 컨트롤러와, 이를 이용한 제어 시스템 및 제어 방법 | |
US10921982B2 (en) | Device and method for operating a device | |
US20150169122A1 (en) | Method for operating a multi-touch-capable display and device having a multi-touch-capable display | |
JP2014191612A (ja) | 情報端末、情報入力補助方法、及び情報入力補助プログラム | |
US20130100050A1 (en) | Input control device, input control method, and input control program for controlling display target upon receiving input on display screen of display device | |
JP5275429B2 (ja) | 情報処理装置、プログラムおよびポインティング方法 | |
JP4879933B2 (ja) | 画面表示装置、画面表示方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140129 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140129 |
|
A762 | Written abandonment of application |
Free format text: JAPANESE INTERMEDIATE CODE: A762 Effective date: 20140919 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140926 |