JP2011253284A - 情報処理装置、情報処理方法及びプログラム - Google Patents
情報処理装置、情報処理方法及びプログラム Download PDFInfo
- Publication number
- JP2011253284A JP2011253284A JP2010125777A JP2010125777A JP2011253284A JP 2011253284 A JP2011253284 A JP 2011253284A JP 2010125777 A JP2010125777 A JP 2010125777A JP 2010125777 A JP2010125777 A JP 2010125777A JP 2011253284 A JP2011253284 A JP 2011253284A
- Authority
- JP
- Japan
- Prior art keywords
- screen
- button
- stamp
- information processing
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【課題】ユーザにとって分かりやすい操作画面を表示できるようにする。
【解決手段】GUI操作を行う情報処理装置であって、ユーザからの指示を入力手段と、前記入力手段から入力された軌跡を認識する認識手段と、前記認識手段により認識された軌跡認識結果と関連するGUI部品を特定する特定手段と、前記軌跡認識結果を表示するとともに、前記入力手段と前記表示した軌跡認識結果と関連するGUI部品とを結合線で結んで表示する表示手段とを有する。
【選択図】図2
【解決手段】GUI操作を行う情報処理装置であって、ユーザからの指示を入力手段と、前記入力手段から入力された軌跡を認識する認識手段と、前記認識手段により認識された軌跡認識結果と関連するGUI部品を特定する特定手段と、前記軌跡認識結果を表示するとともに、前記入力手段と前記表示した軌跡認識結果と関連するGUI部品とを結合線で結んで表示する表示手段とを有する。
【選択図】図2
Description
本発明は情報処理装置、情報処理方法及びプログラムに関し、特に、タッチパネル等に表示される画面に用いて好適な技術に関する。
近年、デジタル機器が進歩し、機器に搭載されている機能が増加している。単に、機能の種類が増加しているだけでなく、一つの機能に対してより詳細な設定が可能になってきている。このため、機器のUI画面には、例えば操作ボタンやアイコンなど多数のGUI部品が配置されることになる。また、画面を階層構造に分割することにより、更なる詳細設定を実現している。
ところが、UI画面上に配置されるGUI部品が多く、階層構造に分けられた画面構造が複雑であるため、必ずしもユーザにとって使いやすいものであるとは言えない。そこで、例えば、特許文献1に記載された技術のように、ユーザが入力した番号に関連する帳票項目を検索し、検索された帳票項目を強調表示するUIが知られている。また、入力方法についても、モバイル機器の登場により変化が見られる。モバイル化、更には、機能増加によるUI画面拡大の要求から、キーボード等のハードウエアを配置できなくなっている。そこで、UI画面に手書き入力枠を設け、手書き入力で入力を行うようになってきている。
上述したように、検索されたGUI部品をユーザに提示する方法としては、GUI部品の色や形状を変化させて強調する方法が一般的である。ところが、最近のデジタル機器のUIでは、既に様々な色や形状のGUI部品が混在して配置されている。そのため、色や形状の変化によって強調表示を行う方法は、必ずしもユーザにとってわかりやすいものであるとは言えない。
本発明は前述の問題点に鑑み、ユーザにとって分かりやすい操作画面を表示できるようにすることを目的としている。
本発明の情報処理装置は、GUI操作を行う情報処理装置であって、ユーザからの指示を入力手段と、前記入力手段から入力された軌跡を認識する認識手段と、前記認識手段により認識された軌跡認識結果と関連するGUI部品を特定する特定手段と、前記軌跡認識結果を表示するとともに、前記入力手段と前記表示した軌跡認識結果と関連するGUI部品とを結合線で結んで表示する表示手段とを有することを特徴とする。
本発明によれば、ユーザが、選択すべきGUI部品を結合線により目で追うことができ、所望するGUI部品を容易に発見することができる。
(第1の実施形態)
以下、図面を参照して本発明の第1の実施形態を詳細に説明する。本実施形態では、情報処理装置としてプリンタを例として説明する。
図1は、本実施形態に係るプリンタの表示画面の概観例を示す図である。
図1において、101はプリンタ本体である。102はタッチパネルであり、画面を表示する。103はペンであり、タッチパネル102に対してタッチ入力や手書き入力を行うことができる。
以下、図面を参照して本発明の第1の実施形態を詳細に説明する。本実施形態では、情報処理装置としてプリンタを例として説明する。
図1は、本実施形態に係るプリンタの表示画面の概観例を示す図である。
図1において、101はプリンタ本体である。102はタッチパネルであり、画面を表示する。103はペンであり、タッチパネル102に対してタッチ入力や手書き入力を行うことができる。
113はタッチパネル102が表示する画面であり、スクロール操作等を行わせるGUI操作のための手書き入力枠と各種ボタン(スクロール操作部)等のGUIとが表示されている。画面113においては、階層移動操作部であるボタン操作により別階層に画面遷移でき、各画面は階層構造化されている。104は、手書き入力枠であり、手書き入力を行うことができる。105〜112は、各種ボタンであり、画面遷移やプリンタの操作、設定の変更を行うことができる。114はプリントボタンであり、ボタンを押下するとプリントされる。
図6は、タッチパネル102に表示する各画面間の階層関係の一例を示す図である。
図6において、ルート画面が最上位の階層になり、ボタン操作により矢印の方向に、押下されたボタンに応じて画面遷移が行われる。
図6において、ルート画面が最上位の階層になり、ボタン操作により矢印の方向に、押下されたボタンに応じて画面遷移が行われる。
図7は、階層移動操作のためのタッチパネル102に表示する画面、画面に表示されるボタン、ボタンをタッチした時の動作の一覧を示す図である。
列701は、タッチパネル102が表示する画面の一覧であり、列702は、各画面に表示されているボタンの一覧である。列703は、ボタンをタッチした時の動作の一覧であり、列704は、ボタンをタッチした時の動作が画面遷移の時、画面遷移後の画面の一覧である。また、列705は、各画面に画面遷移する前の画面の一覧である。
列701は、タッチパネル102が表示する画面の一覧であり、列702は、各画面に表示されているボタンの一覧である。列703は、ボタンをタッチした時の動作の一覧であり、列704は、ボタンをタッチした時の動作が画面遷移の時、画面遷移後の画面の一覧である。また、列705は、各画面に画面遷移する前の画面の一覧である。
図2は、本実施形態に係るプリンタの機能構成例を示すブロック図である。
図2において、201はスクロール操作等のGUI操作のための手書き入力部であり、ペン103による手書き入力枠104への手書き入力を受け付ける。202はボタン特定部であり、手書き入力部201に入力した文字に関連するボタンを特定する。203は画面遷移特定部であり、ボタン特定部202で特定されたボタンが下位階層にある場合に、画面遷移方法を特定する。204は表示部であり、手書き入力の軌跡、結合線の表示、画面やボタンをタッチパネル102上に表示する。
図2において、201はスクロール操作等のGUI操作のための手書き入力部であり、ペン103による手書き入力枠104への手書き入力を受け付ける。202はボタン特定部であり、手書き入力部201に入力した文字に関連するボタンを特定する。203は画面遷移特定部であり、ボタン特定部202で特定されたボタンが下位階層にある場合に、画面遷移方法を特定する。204は表示部であり、手書き入力の軌跡、結合線の表示、画面やボタンをタッチパネル102上に表示する。
図3は、本実施形態に係るプリンタのハードウエア構成例を示すブロック図である。
図3において、301はCPUであり、後述する軌跡認識部として機能するプリンタの動作手順を実現するプログラムに従って動作する。302はRAMであり、上記プログラムの動作に必要な記憶領域を提供する。303はROMであり、上記プログラムの動作手順を実現するプログラムやデータベースなどを保持する。304はタッチパネルであり、表示部204はこのタッチパネル304上に各種表示を行う。305はバスである。
図3において、301はCPUであり、後述する軌跡認識部として機能するプリンタの動作手順を実現するプログラムに従って動作する。302はRAMであり、上記プログラムの動作に必要な記憶領域を提供する。303はROMであり、上記プログラムの動作手順を実現するプログラムやデータベースなどを保持する。304はタッチパネルであり、表示部204はこのタッチパネル304上に各種表示を行う。305はバスである。
本実施形態では、タッチパネル102には、プリンタの電源をONにした時にルート画面が表示される。図7に示すように、ルート画面の一覧には、図1に示す縮小ボタン105、拡大ボタン106、−ボタン107、+ボタン108、レイアウトボタン109、応用ボタン110、スタンプスキャンボタン111、及び決定ボタン112が含まれている。例えば、−ボタン107をタッチすると、プリントサイズを縮小し、応用ボタン110をタッチすると、応用モード画面に遷移する。図8には、応用モード画面801の一例を示している。
ユーザが、手書き入力枠104に手書き入力すると、その指示に従い、画面特定データベースを参照し、文字列に関連したボタンもしくは画面を特定する。そして、手書き入力枠104から特定(軌跡認識)されたボタンもしくは画面に結合線が引かれる。
図4は、特定されたボタンもしくは画面に結合線を引く処理手順の一例を示すフローチャートである。本実施形態では、具体例として、プリント対象のコンテンツに対してOKのスタンプを付与しプリントする例について説明する。
まず、ユーザにより手書き入力枠104に手書きがなされると処理を開始し、「スタンプ」の文字列を手書き入力する。そして、一定期間、手書き入力がないことにより入力を確定し、軌跡認識結果を手書き入力枠104に表示する(ステップS401)。例えば、「スタンプ」の文字列はスタンプの設定に関連がある文字列と判断する。そこで、プリンタ101は、画面特定データベースを参照し、手書き入力された文字列に関連するK(Kは自然数)個の画面もしくはボタンを特定する(ステップS402)。
まず、ユーザにより手書き入力枠104に手書きがなされると処理を開始し、「スタンプ」の文字列を手書き入力する。そして、一定期間、手書き入力がないことにより入力を確定し、軌跡認識結果を手書き入力枠104に表示する(ステップS401)。例えば、「スタンプ」の文字列はスタンプの設定に関連がある文字列と判断する。そこで、プリンタ101は、画面特定データベースを参照し、手書き入力された文字列に関連するK(Kは自然数)個の画面もしくはボタンを特定する(ステップS402)。
図9は、画面特定データベースの対応を示す図である。
まず、「スタンプ」に完全一致する文字列を列903の入力文字列から特定する。その結果、列902のスタンプスキャンボタンと列901のスタンプモード2画面との2個(K=2)が特定される。以下、スタンプスキャンボタンの番号を1とし、スタンプモード2画面の番号を2とする。
まず、「スタンプ」に完全一致する文字列を列903の入力文字列から特定する。その結果、列902のスタンプスキャンボタンと列901のスタンプモード2画面との2個(K=2)が特定される。以下、スタンプスキャンボタンの番号を1とし、スタンプモード2画面の番号を2とする。
図4の説明に戻り、次に、特定されたボタンと画面とについて、順次処理するために、N=1とする(ステップS403)。そして、ルート画面に属するか否かを判定する(ステップS404)。番号1のスタンプスキャンボタンの場合は、図7に示すように、ルート画面(手書き入力した画面)に属する。このような場合は、結合線を手書き入力枠からボタンに引く(ステップS405)。番号1のスタンプスキャンボタンの場合は、図10に示すように、手書き入力枠104から、スタンプスキャンボタン111に対して結合線1001を引く。そして、N=Kであるか否かを判定する(ステップS409)。この判定の結果、N=Kでない場合は、Nを1加える(ステップS410)。番号1のスタンプスキャンボタンの場合は、N≠K(N=1,K=2)なので、N=2とし、次に、番号2のスタンプモード2画面に対する処理を行う。
スタンプモード2画面は、ルート画面(手書き入力した画面)に属するボタンではない。したがって、このような場合(ステップS404/No)は、ルート画面(手書き入力した画面)からスタンプモード2画面(ターゲット画面)までの画面遷移プロセスを特定する(ステップS406)。
図5は、ステップS406の処理の詳細な手順の一例を示すフローチャートである。
まず、対象となるものがボタンであるか否かを判定する(ステップS501)。ボタンである場合は、ボタンが存在する画面をカレント画面とする(ステップS502)。なお、スタンプモード2画面(ターゲット画面)の場合は、ボタンではなく画面であるため(ステップS501/No)、特定された画面(スタンプモード2画面)をカレント画面とする(ステップS503)。そして、図7に示すスタンプモード2画面(カレント画面)の行を参照し、遷移前画面をスタンプモード1画面と特定する(ステップS504)。さらに、図7に示すスタンプモード1(遷移前画面)の行を参照し、次へボタンをタッチするとスタンプモード2画面へ遷移することを特定する(ステップS505)。
まず、対象となるものがボタンであるか否かを判定する(ステップS501)。ボタンである場合は、ボタンが存在する画面をカレント画面とする(ステップS502)。なお、スタンプモード2画面(ターゲット画面)の場合は、ボタンではなく画面であるため(ステップS501/No)、特定された画面(スタンプモード2画面)をカレント画面とする(ステップS503)。そして、図7に示すスタンプモード2画面(カレント画面)の行を参照し、遷移前画面をスタンプモード1画面と特定する(ステップS504)。さらに、図7に示すスタンプモード1(遷移前画面)の行を参照し、次へボタンをタッチするとスタンプモード2画面へ遷移することを特定する(ステップS505)。
次に、遷移前画面がルート画面(手書き入力画面)であるか否かを判定する(ステップS506)。スタンプモード1画面の場合は、ルート画面(手書き入力した画面)ではない。このような場合は、スタンプモード1画面をカレント画面とする(ステップS507)。そして、ステップS504に戻り、図7に示すスタンプモード1(カレント画面)の行を参照し、遷移前画面が応用モード画面と特定することになる。
以上のように、応用モード画面(遷移前画面)の行を参照すると、スタンプモード1ボタンをタッチするとスタンプモード1画面に遷移することが特定される。応用モード画面は、ルート画面(手書き入力した画面)ではないので、応用モード画面をカレント画面とする。そして、図7に示す応用モード(カレント画面)の行を参照すると、遷移前画面がルート画面と特定される。ルート画面(遷移前画面)の行を参照すると、応用ボタンをタッチすると応用モード画面に遷移することが特定される。ルート画面(遷移前画面)はルート画面(手書き入力した画面)なので(S506/Yes)、ルート画面(手書き入力した画面)からスタンプモード2画面(ターゲット画面)までの画面遷移プロセスが特定されることになる。このように、ルート画面の応用ボタンから、応用モード画面に画面遷移する。そして、応用モード画面のスタンプモード1画面に画面遷移し、さらに、スタンプモード1画面の次へボタンから、応用モード2画面に遷移する。
図4の説明に戻り、以上のように特定された画面遷移プロセスより、次に、ルート画面(手書き入力した画面)の応用ボタンがタッチされて応用モード画面に遷移する(ステップS407)。そして、図10に示すように、手書き入力枠104から、応用ボタン110に対して結合線1002を引く(ステップS408)。このように、ユーザは、2つの結合線を目で追うことによって、所望のスタンプに関連するボタンを容易に見つけることができる。
ユーザはスタンプの設定が目的なので、ユーザの所望するボタンは、応用ボタン以下の下位階層の画面にある。下位階層の画面設定を行う方法を以下に説明する。
すなわち、下位階層の画面設定を、画面遷移によって行う方法である。まず、ユーザは、結合線1002を手掛かりに、ボタンタッチで画面遷移し、所望の設定をすることができる。応用ボタン110をタッチすると、タッチパネル102は、図14に示すように応用モード画面1401を表示する。結合線1402、結合線1403(ステップS406の画面遷移プロセスで特定されたボタンには結合線が引かれる)を手掛かりに、スタンプボタン1404をタッチすると、タッチパネル102には、図13に示すようにスタンプモード1画面1306が表示される。
すなわち、下位階層の画面設定を、画面遷移によって行う方法である。まず、ユーザは、結合線1002を手掛かりに、ボタンタッチで画面遷移し、所望の設定をすることができる。応用ボタン110をタッチすると、タッチパネル102は、図14に示すように応用モード画面1401を表示する。結合線1402、結合線1403(ステップS406の画面遷移プロセスで特定されたボタンには結合線が引かれる)を手掛かりに、スタンプボタン1404をタッチすると、タッチパネル102には、図13に示すようにスタンプモード1画面1306が表示される。
ここで、スタンプの付与する位置が、デフォルトで左端に設定されている。これは、左端設定ボタン1307の色が他のボタンと異なっていることにより確認できる(デフォルト設定のボタンは色が塗りつぶされている)。そのため、右端設定ボタン1301をタッチし、右端に設定を変更する。
結合線1303、結合線1304を手掛かりに次へボタン1302をタッチすると、タッチパネル102には、図15に示すようにスタンプモード2画面1502が表示される。図15に示す例では、既に、OKのスタンプがデフォルトで設定されている。これは、OKスタンプ設定ボタン1503の色が他のボタンと異なっていることにより確認できる。決定ボタン1501をタッチすると、設定が決定される。プリントボタン114を押下すると、決定された設定でプリントされる。
また、下位階層の画面設定を行う別の方法として、画面遷移プロセスを表示し、表示されたデフォルトの設定に基づいて設定してもよい。図11は、画面プロセスを表示して設定を行う処理手順の一例を示すフローチャートである。
まず、ユーザにより結合線1002がタッチされ、タッチを検出する(ステップS1101)。そして、図12に示すように、ステップS406で特定されたスタンプモード2画面への画面遷移プロセスをタッチパネル102に表示する(ステップS1102)。
まず、ユーザにより結合線1002がタッチされ、タッチを検出する(ステップS1101)。そして、図12に示すように、ステップS406で特定されたスタンプモード2画面への画面遷移プロセスをタッチパネル102に表示する(ステップS1102)。
図12において、1201、1202、1203はそれぞれ、応用モード画面、スタンプモード1画面、スタンプモード2画面である。そして、1204、1205はそれぞれ、スタンプボタン、次へボタンであり、各画面間を画面遷移するボタンが、結合線1206、1207、1208で結ばれている。これにより、ユーザは、所望のスタンプモード2画面の画面を確認できるだけでなく、途中の遷移画面を確認できる。また、各画面間を画面遷移するボタンを結合線で結ぶことにより、画面遷移するボタンを確認できる。デフォルトの設定は、左端にOKスタンプ付与であり、スタンプモード1画面1202の左端設定ボタン1209、スタンプモード2画面1203のOKスタンプ設定ボタン1210の色が他のボタンと異なっていることで確認できる。
ここで、再度、結合線1001をタッチされたか否かを判定する(ステップS1103)。そして、再度タッチされた場合(ステップS1103/Yes)は、デフォルトの設定に決定する(ステップS1104)。このように、画面遷移プロセスを表示し、デフォルトの設定に決定できる。
これに対してし、左端ではなく右端にスタンプを設定する場合は、設定を変更しなければならない。そこで、再度タッチされなかった場合(ステップS203/No)は、スタンプモード1画面1202がタッチされたことを検出する(ステップS1105)。そして、図13に示すように、タッチパネル102にスタンプモード1画面1306を表示する(ステップS1106)。次に、右端設定ボタン1301がタッチされると、右端設定に変更される。そして、決定ボタン1305がタッチされることにより、設定を決定る(ステップS1107)。このように、画面遷移プロセスの操作で、必要な画面に画面遷移して設定をすることができる。
また、下位階層の画面設定を行う別の方法として、ユーザが所望する画面にショートカットして画面遷移してもよい。例えば、結合線1002をタッチすると、図13のようにスタンプモード1画面1306を表示する。スタンプモード1画面1306では、デフォルトで左端設定になっている。右端に設定を変更する場合には、右端設定ボタン1301をタッチすればよい。そして、決定ボタン1305をタッチすると設定が決定される。ただし、ここで再度、結合線1304、もしくは結合線1303をダブルタッチすると、応用モード2画面に画面遷移する。デフォルト設定が、OKスタンプの付与になっているが、秘スタンプ設定ボタン1504をタッチし、秘スタンプに変更できる。そして、決定ボタン1501をタッチすると設定が決定される。このように、ユーザが所望する画面にショートカットして画面遷移して設定をすることができる。
また、図29に示すように、結合線2901、2902、2903を表示して、3つの選択肢をつくることができる。この場合、結合線2901をタッチすると、画面遷移が行われ、結合線2902をタッチすると、画面遷移プロセスが表示される。さらに、結合線2903をタッチすると、ユーザが所望する画面にショートカットして画面遷移する。また、以上の3つの選択肢は、3本の結合線として表示するのではなく、一本の線として表示し、結合線もしくは結合線が引かれているボタン等のタッチする部位で選択肢を3つ持たせてもよい。更に、シングルタッチ、ダブルタッチ、長時間タッチ等、タッチの仕方で3つの選択肢を区別してもよい。
ここで、各ボタンに引いた結合線を区別して表示する方法がある。例えば、手書き入力した画面上に特定されたボタンと、画面遷移をするボタンとを区別し、結合線1001と結合線1002を区別して表示する。また、ボタンの重要度や使用頻度等によって、ボタンに引かれる結合線を区別してもよい。区別する方法としては、色や太さの変化、点線や実践の区別等、線を区別する方法ならどんな方法でもよい。
また、本実施形態では、ある一定期間手書き入力がないと、手書き入力を確定したが、入力確定ボタン等を設け、ユーザが入力確定ボタンをタッチすると入力が確定されるようにしてもよい。さらに、本実施形態では、手書き入力に関連するボタンを特定し、特定されたボタンに結合線を引いた。特定されるGUI部品は、ボタンに限らず他のどんなものでもよい。GUI部品とは、設定や画面遷移の操作のボタンだけでなく、アイコン等、タッチパネルに表示できる全てである。
また、本実施形態では、手書き入力枠を始点に結合線を引いていたが、手書き入力枠に限らず、タッチパネルに表示できるGUI部品ならどれを始点に引いてもよい。さらに、本実施形態では、手書き入力枠に入力される軌跡は文字列であったが、記号や線やアイコン等、他のどんなものでもよい。
また、本実施形態では、タッチパネルに対し、ペンによる入力を行っていたが、指による入力など他のどんな方法でもよい。また、タッチパネルにも限定されず、キーボードやマウス等のポインティングデバイスで入力するようにしてもよい。さらに、本実施形態では、プリンタを例にしていたが、他のいかなるデジタル機器でもよい。
(第2の実施形態)
第1の実施形態では、手書き入力枠104に手書き入力された文字列を1つの文字列として扱っていた。このことから、第1の実施形態は、ユーザが、1つの機能の設定を行う場合を想定した例である。これに対し、複数の機能の設定変更する場合もある。例えば、文書を80%に縮小し、OKスタンプを左端に付与してプリントをするような2つの機能を設定する場合である。この場合は、手書き入力枠に複数に関連する文字列をそれぞれ入力する。具体的には、「80」と「OKスタンプ」を手書き入力することが考えられる。以下、この場合について説明する。なお、本実施形態においては、第1の実施形態と異なる点を中心に説明する。
第1の実施形態では、手書き入力枠104に手書き入力された文字列を1つの文字列として扱っていた。このことから、第1の実施形態は、ユーザが、1つの機能の設定を行う場合を想定した例である。これに対し、複数の機能の設定変更する場合もある。例えば、文書を80%に縮小し、OKスタンプを左端に付与してプリントをするような2つの機能を設定する場合である。この場合は、手書き入力枠に複数に関連する文字列をそれぞれ入力する。具体的には、「80」と「OKスタンプ」を手書き入力することが考えられる。以下、この場合について説明する。なお、本実施形態においては、第1の実施形態と異なる点を中心に説明する。
ユーザは、図16に示すように、手書き入力枠104に「80」と「OKスタンプ」とを手書き入力する。「80」と「OKスタンプ」との間にはある一定の空白を設けると、プリンタ101は、2つの文字列として認識する。プリンタ101は、「80」及び「OKスタンプ」の二つの文字列に対して、第1の実施形態と同様に図4のフローチャートに示す処理を行う。すなわち、ステップS402において、「80」の文字列に対しては80%ボタン、「OKスタンプ」に対してはOKスタンプ設定ボタンを特定する。また、それぞれのボタンまでの画面遷移プロセスを特定し(ステップS406)、手書き入力した画面から次の画面へ画面遷移するボタンは、それぞれ縮小ボタンと応用ボタンと決定される。
ここで、図30に示すように、手書き入力枠に手書き入力した「80」の文字列から縮小ボタン105へ結合線3001が、「OKスタンプ」の文字列からは応用ボタン110へ結合線3002が引かれる。すなわち、プリンタ101が、手書き入力枠104に手書き入力された文字列を2つの文字列として扱った場合には、それぞれの文字列に対して、第1の実施形態と同様の処理が行われる。そして、各文字列から結合線が引かれる。ユーザは、80%に縮小設定するために、縮小ボタン以下にある画面へ画面遷移して設定することができ、OKスタンプを付与するために、応用ボタン以下にある画面へ画面遷移して設定することができる。
ここで、図31に示すように、「80」及び「OKスタンプ」の文字列を、図16の文字列の順序とは逆に手書き入力したとする。すると、図23に示すように、縮小ボタン105へ結合線2301を引き、応用ボタン110へ結合線2302を引くと、両者の結合線が交差する。そこで、結合線の交差を避けるために、図30に示すように、「OKスタンプ」及び「80」の文字列を入れ替えて表示し、結合線3001と結合線3002とを引いてもよい。
(第3の実施形態)
第1の実施形態では、タッチパネル102が表示する画面は、階層構造を持つ画面間であり、ボタン操作で画面遷移することを想定していた。これに対して本実施形態では、スクロールを持つ画面を表示し、画面をスクロール操作で移動できる例について説明する。
第1の実施形態では、タッチパネル102が表示する画面は、階層構造を持つ画面間であり、ボタン操作で画面遷移することを想定していた。これに対して本実施形態では、スクロールを持つ画面を表示し、画面をスクロール操作で移動できる例について説明する。
図17は、本実施形態に係るプリンタの表示画面の概観例を示す図である。
図17において、101〜104、114はそれぞれ、第1の実施形態における図1の101〜104、114と同様である。1701はスクロールであり、スクロール操作により画面を移動させることができる。1702はスクロール操作で移動できる画面であり、手書き入力枠と各種ボタンとスクロールとが表示されている。1703〜1704は、各種ボタンであり、プリンタの操作、設定の変更を行うことができる。
図17において、101〜104、114はそれぞれ、第1の実施形態における図1の101〜104、114と同様である。1701はスクロールであり、スクロール操作により画面を移動させることができる。1702はスクロール操作で移動できる画面であり、手書き入力枠と各種ボタンとスクロールとが表示されている。1703〜1704は、各種ボタンであり、プリンタの操作、設定の変更を行うことができる。
図24は、タッチパネル102に表示する画面と各画面間との関係を示す図である。スクロール1701の操作により、各画面は矢印で結ばれている画面に移動できる。すなわち、スクロール1701を左に操作すると左の画面へ移動でき、右に操作すると右の画面へ移動できる。
図25は、タッチパネル102に表示する画面、画面に表示されるボタン、ボタンをタッチした時の動作の一覧を示す図である。
列2501は、タッチパネル102に表示される画面の一覧であり、列2502は、各画面に表示されているボタンの一覧である。また、列2503は、ボタンをタッチした時の動作の一覧である。
列2501は、タッチパネル102に表示される画面の一覧であり、列2502は、各画面に表示されているボタンの一覧である。また、列2503は、ボタンをタッチした時の動作の一覧である。
図21は、本実施形態に係るプリンタの機能構成例を示すブロック図である。
図21において、2101は、図2の手書き入力部201と同じであり、2102は、図2のボタン特定部202と同じである。また、2103は、図2の表示部204と同じである。このように本実施形態では、図2の画面遷移特定部203を備えていない。なお、本実施形態に係るプリンタのハードウエアの構成は、第1の実施形態における図3と同じである。
図21において、2101は、図2の手書き入力部201と同じであり、2102は、図2のボタン特定部202と同じである。また、2103は、図2の表示部204と同じである。このように本実施形態では、図2の画面遷移特定部203を備えていない。なお、本実施形態に係るプリンタのハードウエアの構成は、第1の実施形態における図3と同じである。
本実施形態では、タッチパネル102には、プリンタの電源をONにした時にルート画面を表示する。図25に示すように、ルート画面には、スタンプスキャンボタン1703、決定ボタン1704が表示される。例えば、スタンプスキャンボタン1703をタッチすると、スキャンしてスタンプ登録する。また、スクロール1701を右にスクロールすると、図18に示すような縮小設定画面1802に移動する。また、スクロール1701を左にスクロールすると、図19に示すようなスタンプモード1画面1902に移動する。ユーザが、手書き入力枠104に手書き入力すると、画面特定データベースを参照し、文字列に関連したボタンもしくは画面を特定する。そして、手書き入力枠104から特定されたボタンもしくは画面に結合線が引かれる。
図22は、特定されたボタンもしくは画面に結合線を引く処理手順の一例を示すフローチャートである。本実施形態では、具体例として、プリント対象のコンテンツに対してOKのスタンプを付与しプリントする例について説明する。なお、ステップS2201〜S2205は、図4のステップS401〜S405と同様である。また、ステップS2207及びS2208もそれぞれ、図4のステップS409及びS410と同様である。
図26は、画面特定データベースの対応を示す図である。
まず、ステップS2202では、「スタンプ」に該当する文字列を列2603の入力文字列から特定する。その結果、列2602のスタンプスキャンボタンとOKスタンプ設定ボタンとの2個(K=2)が特定される。本実施形態では、列2601からは特定されていない例を説明する。以下、スタンプスキャンボタンの番号を1とし、OKスタンプ設定ボタンの番号を2とする。
まず、ステップS2202では、「スタンプ」に該当する文字列を列2603の入力文字列から特定する。その結果、列2602のスタンプスキャンボタンとOKスタンプ設定ボタンとの2個(K=2)が特定される。本実施形態では、列2601からは特定されていない例を説明する。以下、スタンプスキャンボタンの番号を1とし、OKスタンプ設定ボタンの番号を2とする。
番号1のスタンプスキャンボタンの場合は、図25に示すようにルート画面(手書き入力した画面)に属する。したがって、図27に示すように、手書き入力枠104から、スタンプスキャンボタン1703に対して結合線2701を引く(ステップS2205)。ここで、N≠K(N=1,K=2)なので(ステップS2207/No)、ステップS2208において、N=2とし、次に番号2のOKスタンプ設定ボタンに対する処理を行う。
OKスタンプ設定ボタンは、ルート画面(手書き入力した画面)に属するボタンではなく、ルート画面1702の左スクロール方向に存在するボタンである。よって、手書き入力枠104から、左方向に結合線2702を引く(ステップS2206)。具体的には、例えば図28に示すように、スタンプモード1画面2802とスタンプモード2画面2803とをルート画面1702の左側に仮想配置する。そして、仮想配置された画面上で、手書き入力枠104からOKスタンプ設定ボタン2801に結合線2702を引く。この結合線2702が、図27に示す結合線2702となる。そして、結合線2702の方向と角度によって、スクロール移動距離を推測できる。
第1の実施形態と同様に、結合線2702をタッチすると、図20に示すようにタッチパネル102にはスタンプモード2画面2002を表示する。OKスタンプボタン2001の色が他のボタンと異なっており、デフォルトの設定になっている。結合線2702を、再度タッチすると、デフォルト設定に決定される。ここで、秘スタンプボタン2003をタッチすると秘スタンプに設定が変更される。その後、決定ボタン2004をタッチすると、設定が決定される。
(その他の実施形態)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
201 手書き入力部、202 ボタン特定部、204 表示部
Claims (7)
- GUI操作を行う情報処理装置であって、
ユーザからの指示を入力手段と、
前記入力手段から入力された軌跡を認識する認識手段と、
前記認識手段により認識された軌跡認識結果と関連するGUI部品を特定する特定手段と、
前記軌跡認識結果を表示するとともに、前記入力手段と前記表示した軌跡認識結果と関連するGUI部品とを結合線で結んで表示する表示手段とを有することを特徴とする情報処理装置。 - 前記GUI部品は、階層を移動するための階層移動操作部を有し、
前記特定手段は、前記軌跡認識結果と関連するGUI部品が別階層にあるときは、前記階層移動操作部を特定し、前記表示手段は、前記特定手段により特定された階層移動操作部と前記入力手段とを結合線で結んで表示することを特徴とする請求項1に記載の情報処理装置。 - 前記特定手段は、前記認識手段により複数の軌跡認識結果が認識された場合には、それぞれの認識結果に関連するGUI部品を特定することを特徴とする請求項1に記載の情報処理装置。
- 前記階層移動操作部は、GUI部品を操作し、別階層へ移動させることを特徴とする請求項2に記載の情報処理装置。
- 前記GUI部品は、画面をスクロールさせるスクロール操作部を有し、
前記表示手段は、前記軌跡認識結果と関連するGUI部品が前記スクロール操作部のスクロールによって表示されるGUI部品にあるときは、仮想のGUI部品と前記入力手段とを結合線で結んで表示することを特徴とする請求項1に記載の情報処理装置。 - タッチパネルによりGUI操作を行う情報処理方法において、
入力された軌跡を認識する認識工程と、
前記認識工程において認識した軌跡の認識結果と関連するGUI部品を特定する特定工程と、
前記認識結果を表示するとともに、前記特定工程において特定したGUI部品とを結合線で結んで表示手段に表示する表示工程とを有することを特徴とする情報処理方法。 - 請求項6に記載の情報処理方法の各工程をコンピュータに実行させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010125777A JP2011253284A (ja) | 2010-06-01 | 2010-06-01 | 情報処理装置、情報処理方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010125777A JP2011253284A (ja) | 2010-06-01 | 2010-06-01 | 情報処理装置、情報処理方法及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2011253284A true JP2011253284A (ja) | 2011-12-15 |
Family
ID=45417188
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010125777A Pending JP2011253284A (ja) | 2010-06-01 | 2010-06-01 | 情報処理装置、情報処理方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2011253284A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020204986A (ja) * | 2019-06-19 | 2020-12-24 | カシオ計算機株式会社 | 表示制御装置及びプログラム |
-
2010
- 2010-06-01 JP JP2010125777A patent/JP2011253284A/ja active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020204986A (ja) * | 2019-06-19 | 2020-12-24 | カシオ計算機株式会社 | 表示制御装置及びプログラム |
JP7318341B2 (ja) | 2019-06-19 | 2023-08-01 | カシオ計算機株式会社 | 表示制御装置及びプログラム |
JP7501745B2 (ja) | 2019-06-19 | 2024-06-18 | カシオ計算機株式会社 | 表示制御装置及びプログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5427279B2 (ja) | タッチイベントモデル | |
US10379626B2 (en) | Portable computing device | |
WO2014007381A1 (ja) | 情報処理装置、情報処理装置の制御方法、制御プログラム、コンピュータ読み取り可能な記録媒体 | |
JP2011128962A (ja) | 画像処理装置、画像処理方法、及びコンピュータプログラム | |
JP2009151638A (ja) | 情報処理装置及びその制御方法 | |
US20150169122A1 (en) | Method for operating a multi-touch-capable display and device having a multi-touch-capable display | |
JP6191567B2 (ja) | 操作画面表示装置、画像形成装置および表示プログラム | |
JP5710944B2 (ja) | 文字入力装置、文字入力方法、及び文字入力プログラム | |
CN114764304A (zh) | 一种屏幕显示方法 | |
CN102841752B (zh) | 一种人机交互设备的字符输入方法和装置 | |
JP5512379B2 (ja) | 入力装置、入力方法および入力プログラム | |
JP2014164368A (ja) | 入力支援装置、キーボード、情報処理端末、入力支援方法、及びプログラム | |
JP6029038B2 (ja) | 文字入力装置、文字入力方法、及び文字入力プログラム | |
JP6330348B2 (ja) | 情報処理装置 | |
JP2009151646A (ja) | 文字入力装置 | |
JP5437899B2 (ja) | 入力装置、入力方法および入力プログラム | |
WO2013047023A1 (ja) | 表示装置、表示方法およびプログラム | |
JP2011253284A (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP2012146017A (ja) | 電子黒板システム、電子黒板システムの制御方法、プログラムおよびその記録媒体 | |
US20140210732A1 (en) | Control Method of Touch Control Device | |
JP6188405B2 (ja) | 表示制御装置、表示制御方法、及びプログラム | |
TWI403932B (zh) | 操作觸控螢幕之方法、於觸控螢幕定義觸控手勢之方法及其電子裝置 | |
KR20100045617A (ko) | 멀티 터치 인식 터치스크린을 이용한 한글 입력 방법 | |
KR101050671B1 (ko) | 터치스크린을 이용한 한글 입력 장치, 그 방법 | |
JP2011164953A (ja) | 携帯用電子機器及び表示制御方法 |