JP2011253284A - 情報処理装置、情報処理方法及びプログラム - Google Patents

Abstract

【課題】ユーザにとって分かりやすい操作画面を表示できるようにする。
【解決手段】ＧＵＩ操作を行う情報処理装置であって、ユーザからの指示を入力手段と、前記入力手段から入力された軌跡を認識する認識手段と、前記認識手段により認識された軌跡認識結果と関連するＧＵＩ部品を特定する特定手段と、前記軌跡認識結果を表示するとともに、前記入力手段と前記表示した軌跡認識結果と関連するＧＵＩ部品とを結合線で結んで表示する表示手段とを有する。
【選択図】図２

Description

本発明は情報処理装置、情報処理方法及びプログラムに関し、特に、タッチパネル等に表示される画面に用いて好適な技術に関する。

近年、デジタル機器が進歩し、機器に搭載されている機能が増加している。単に、機能の種類が増加しているだけでなく、一つの機能に対してより詳細な設定が可能になってきている。このため、機器のＵＩ画面には、例えば操作ボタンやアイコンなど多数のＧＵＩ部品が配置されることになる。また、画面を階層構造に分割することにより、更なる詳細設定を実現している。

ところが、ＵＩ画面上に配置されるＧＵＩ部品が多く、階層構造に分けられた画面構造が複雑であるため、必ずしもユーザにとって使いやすいものであるとは言えない。そこで、例えば、特許文献１に記載された技術のように、ユーザが入力した番号に関連する帳票項目を検索し、検索された帳票項目を強調表示するＵＩが知られている。また、入力方法についても、モバイル機器の登場により変化が見られる。モバイル化、更には、機能増加によるＵＩ画面拡大の要求から、キーボード等のハードウエアを配置できなくなっている。そこで、ＵＩ画面に手書き入力枠を設け、手書き入力で入力を行うようになってきている。

特開２００２−７９５１号公報

上述したように、検索されたＧＵＩ部品をユーザに提示する方法としては、ＧＵＩ部品の色や形状を変化させて強調する方法が一般的である。ところが、最近のデジタル機器のＵＩでは、既に様々な色や形状のＧＵＩ部品が混在して配置されている。そのため、色や形状の変化によって強調表示を行う方法は、必ずしもユーザにとってわかりやすいものであるとは言えない。

本発明は前述の問題点に鑑み、ユーザにとって分かりやすい操作画面を表示できるようにすることを目的としている。

本発明の情報処理装置は、ＧＵＩ操作を行う情報処理装置であって、ユーザからの指示を入力手段と、前記入力手段から入力された軌跡を認識する認識手段と、前記認識手段により認識された軌跡認識結果と関連するＧＵＩ部品を特定する特定手段と、前記軌跡認識結果を表示するとともに、前記入力手段と前記表示した軌跡認識結果と関連するＧＵＩ部品とを結合線で結んで表示する表示手段とを有することを特徴とする。

本発明によれば、ユーザが、選択すべきＧＵＩ部品を結合線により目で追うことができ、所望するＧＵＩ部品を容易に発見することができる。

第１の実施形態に係るプリンタの表示画面の概観例を示す図である。 第１、第２の実施形態に係るプリンタの機能構成例を示すブロック図である。 実施形態に係るプリンタのハードウエア構成例を示すブロック図である。 結合線を引く処理手順の一例を示すフローチャートである。 ステップＳ４０６の処理の詳細な手順の一例を示すフローチャートである。 タッチパネルに表示する各画面間の階層関係の一例を示す図である。 タッチパネルに表示する画面動作の一覧を示す図である。 応用モード画面の一例を示す図である。 画面特定データベースの対応を示す図である。 結合線が引かれた状態の画面の一例を示す図である。 画面プロセスを表示して設定する手順例を示すフローチャートである。 画面遷移プロセスを表示した画面の一例を示す図である。 スタンプモード１画面の一例を示す図である。 応用モード画面の一例を示す図である。 スタンプモード２画面の一例を示す図である。 第２の実施形態に係るプリンタの表示画面の概観例を示す図である。 第３の実施形態に係るプリンタの表示画面の概観例を示す図である。 縮小設定画面の一例を示す図である。 スタンプモード１画面の一例を示す図である。 スタンプモード２画面の一例を示す図である。 第３の実施形態に係るプリンタの機能構成例を示すブロック図である。 結合線を引く処理手順の一例を示すフローチャートである。 結合線が交差した場合の画面の一例を示す図である。 タッチパネルに表示する画面と各画面間との関係を示す図である。 タッチパネルに表示する画面動作の一覧を示す図である。 画面特定データベースの対応を示す図である。 結合線が引かれた状態の画面の一例を示す図である。 複数の画面が仮想配置された状態を示す図である。 ３つの結合線が引かれた状態のルート画面の一例を示す図である。 結合線が引かれた状態の画面の一例を示す図である。 文字列の順序を逆にした場合の画面の一例を示す図である。

（第１の実施形態）
以下、図面を参照して本発明の第１の実施形態を詳細に説明する。本実施形態では、情報処理装置としてプリンタを例として説明する。
図１は、本実施形態に係るプリンタの表示画面の概観例を示す図である。
図１において、１０１はプリンタ本体である。１０２はタッチパネルであり、画面を表示する。１０３はペンであり、タッチパネル１０２に対してタッチ入力や手書き入力を行うことができる。

１１３はタッチパネル１０２が表示する画面であり、スクロール操作等を行わせるＧＵＩ操作のための手書き入力枠と各種ボタン（スクロール操作部）等のＧＵＩとが表示されている。画面１１３においては、階層移動操作部であるボタン操作により別階層に画面遷移でき、各画面は階層構造化されている。１０４は、手書き入力枠であり、手書き入力を行うことができる。１０５〜１１２は、各種ボタンであり、画面遷移やプリンタの操作、設定の変更を行うことができる。１１４はプリントボタンであり、ボタンを押下するとプリントされる。

図６は、タッチパネル１０２に表示する各画面間の階層関係の一例を示す図である。
図６において、ルート画面が最上位の階層になり、ボタン操作により矢印の方向に、押下されたボタンに応じて画面遷移が行われる。

図７は、階層移動操作のためのタッチパネル１０２に表示する画面、画面に表示されるボタン、ボタンをタッチした時の動作の一覧を示す図である。
列７０１は、タッチパネル１０２が表示する画面の一覧であり、列７０２は、各画面に表示されているボタンの一覧である。列７０３は、ボタンをタッチした時の動作の一覧であり、列７０４は、ボタンをタッチした時の動作が画面遷移の時、画面遷移後の画面の一覧である。また、列７０５は、各画面に画面遷移する前の画面の一覧である。

図２は、本実施形態に係るプリンタの機能構成例を示すブロック図である。
図２において、２０１はスクロール操作等のＧＵＩ操作のための手書き入力部であり、ペン１０３による手書き入力枠１０４への手書き入力を受け付ける。２０２はボタン特定部であり、手書き入力部２０１に入力した文字に関連するボタンを特定する。２０３は画面遷移特定部であり、ボタン特定部２０２で特定されたボタンが下位階層にある場合に、画面遷移方法を特定する。２０４は表示部であり、手書き入力の軌跡、結合線の表示、画面やボタンをタッチパネル１０２上に表示する。

図３は、本実施形態に係るプリンタのハードウエア構成例を示すブロック図である。
図３において、３０１はＣＰＵであり、後述する軌跡認識部として機能するプリンタの動作手順を実現するプログラムに従って動作する。３０２はＲＡＭであり、上記プログラムの動作に必要な記憶領域を提供する。３０３はＲＯＭであり、上記プログラムの動作手順を実現するプログラムやデータベースなどを保持する。３０４はタッチパネルであり、表示部２０４はこのタッチパネル３０４上に各種表示を行う。３０５はバスである。

本実施形態では、タッチパネル１０２には、プリンタの電源をＯＮにした時にルート画面が表示される。図７に示すように、ルート画面の一覧には、図１に示す縮小ボタン１０５、拡大ボタン１０６、−ボタン１０７、＋ボタン１０８、レイアウトボタン１０９、応用ボタン１１０、スタンプスキャンボタン１１１、及び決定ボタン１１２が含まれている。例えば、−ボタン１０７をタッチすると、プリントサイズを縮小し、応用ボタン１１０をタッチすると、応用モード画面に遷移する。図８には、応用モード画面８０１の一例を示している。

ユーザが、手書き入力枠１０４に手書き入力すると、その指示に従い、画面特定データベースを参照し、文字列に関連したボタンもしくは画面を特定する。そして、手書き入力枠１０４から特定（軌跡認識）されたボタンもしくは画面に結合線が引かれる。

図４は、特定されたボタンもしくは画面に結合線を引く処理手順の一例を示すフローチャートである。本実施形態では、具体例として、プリント対象のコンテンツに対してＯＫのスタンプを付与しプリントする例について説明する。
まず、ユーザにより手書き入力枠１０４に手書きがなされると処理を開始し、「スタンプ」の文字列を手書き入力する。そして、一定期間、手書き入力がないことにより入力を確定し、軌跡認識結果を手書き入力枠１０４に表示する（ステップＳ４０１）。例えば、「スタンプ」の文字列はスタンプの設定に関連がある文字列と判断する。そこで、プリンタ１０１は、画面特定データベースを参照し、手書き入力された文字列に関連するＫ（Ｋは自然数）個の画面もしくはボタンを特定する（ステップＳ４０２）。

図９は、画面特定データベースの対応を示す図である。
まず、「スタンプ」に完全一致する文字列を列９０３の入力文字列から特定する。その結果、列９０２のスタンプスキャンボタンと列９０１のスタンプモード２画面との２個（Ｋ＝２）が特定される。以下、スタンプスキャンボタンの番号を１とし、スタンプモード２画面の番号を２とする。

図４の説明に戻り、次に、特定されたボタンと画面とについて、順次処理するために、Ｎ＝１とする（ステップＳ４０３）。そして、ルート画面に属するか否かを判定する（ステップＳ４０４）。番号１のスタンプスキャンボタンの場合は、図７に示すように、ルート画面（手書き入力した画面）に属する。このような場合は、結合線を手書き入力枠からボタンに引く（ステップＳ４０５）。番号１のスタンプスキャンボタンの場合は、図１０に示すように、手書き入力枠１０４から、スタンプスキャンボタン１１１に対して結合線１００１を引く。そして、Ｎ＝Ｋであるか否かを判定する（ステップＳ４０９）。この判定の結果、Ｎ＝Ｋでない場合は、Ｎを１加える（ステップＳ４１０）。番号１のスタンプスキャンボタンの場合は、Ｎ≠Ｋ（Ｎ＝１，Ｋ＝２）なので、Ｎ＝２とし、次に、番号２のスタンプモード２画面に対する処理を行う。

スタンプモード２画面は、ルート画面（手書き入力した画面）に属するボタンではない。したがって、このような場合（ステップＳ４０４／Ｎｏ）は、ルート画面（手書き入力した画面）からスタンプモード２画面（ターゲット画面）までの画面遷移プロセスを特定する（ステップＳ４０６）。

図５は、ステップＳ４０６の処理の詳細な手順の一例を示すフローチャートである。
まず、対象となるものがボタンであるか否かを判定する（ステップＳ５０１）。ボタンである場合は、ボタンが存在する画面をカレント画面とする（ステップＳ５０２）。なお、スタンプモード２画面（ターゲット画面）の場合は、ボタンではなく画面であるため（ステップＳ５０１／Ｎｏ）、特定された画面（スタンプモード２画面）をカレント画面とする（ステップＳ５０３）。そして、図７に示すスタンプモード２画面（カレント画面）の行を参照し、遷移前画面をスタンプモード１画面と特定する（ステップＳ５０４）。さらに、図７に示すスタンプモード１（遷移前画面）の行を参照し、次へボタンをタッチするとスタンプモード２画面へ遷移することを特定する（ステップＳ５０５）。

次に、遷移前画面がルート画面（手書き入力画面）であるか否かを判定する（ステップＳ５０６）。スタンプモード１画面の場合は、ルート画面（手書き入力した画面）ではない。このような場合は、スタンプモード１画面をカレント画面とする（ステップＳ５０７）。そして、ステップＳ５０４に戻り、図７に示すスタンプモード１（カレント画面）の行を参照し、遷移前画面が応用モード画面と特定することになる。

以上のように、応用モード画面（遷移前画面）の行を参照すると、スタンプモード１ボタンをタッチするとスタンプモード１画面に遷移することが特定される。応用モード画面は、ルート画面（手書き入力した画面）ではないので、応用モード画面をカレント画面とする。そして、図７に示す応用モード（カレント画面）の行を参照すると、遷移前画面がルート画面と特定される。ルート画面（遷移前画面）の行を参照すると、応用ボタンをタッチすると応用モード画面に遷移することが特定される。ルート画面（遷移前画面）はルート画面（手書き入力した画面）なので（Ｓ５０６／Ｙｅｓ）、ルート画面（手書き入力した画面）からスタンプモード２画面（ターゲット画面）までの画面遷移プロセスが特定されることになる。このように、ルート画面の応用ボタンから、応用モード画面に画面遷移する。そして、応用モード画面のスタンプモード１画面に画面遷移し、さらに、スタンプモード１画面の次へボタンから、応用モード２画面に遷移する。

図４の説明に戻り、以上のように特定された画面遷移プロセスより、次に、ルート画面（手書き入力した画面）の応用ボタンがタッチされて応用モード画面に遷移する（ステップＳ４０７）。そして、図１０に示すように、手書き入力枠１０４から、応用ボタン１１０に対して結合線１００２を引く（ステップＳ４０８）。このように、ユーザは、２つの結合線を目で追うことによって、所望のスタンプに関連するボタンを容易に見つけることができる。

ユーザはスタンプの設定が目的なので、ユーザの所望するボタンは、応用ボタン以下の下位階層の画面にある。下位階層の画面設定を行う方法を以下に説明する。
すなわち、下位階層の画面設定を、画面遷移によって行う方法である。まず、ユーザは、結合線１００２を手掛かりに、ボタンタッチで画面遷移し、所望の設定をすることができる。応用ボタン１１０をタッチすると、タッチパネル１０２は、図１４に示すように応用モード画面１４０１を表示する。結合線１４０２、結合線１４０３（ステップＳ４０６の画面遷移プロセスで特定されたボタンには結合線が引かれる）を手掛かりに、スタンプボタン１４０４をタッチすると、タッチパネル１０２には、図１３に示すようにスタンプモード１画面１３０６が表示される。

ここで、スタンプの付与する位置が、デフォルトで左端に設定されている。これは、左端設定ボタン１３０７の色が他のボタンと異なっていることにより確認できる（デフォルト設定のボタンは色が塗りつぶされている）。そのため、右端設定ボタン１３０１をタッチし、右端に設定を変更する。

結合線１３０３、結合線１３０４を手掛かりに次へボタン１３０２をタッチすると、タッチパネル１０２には、図１５に示すようにスタンプモード２画面１５０２が表示される。図１５に示す例では、既に、ＯＫのスタンプがデフォルトで設定されている。これは、ＯＫスタンプ設定ボタン１５０３の色が他のボタンと異なっていることにより確認できる。決定ボタン１５０１をタッチすると、設定が決定される。プリントボタン１１４を押下すると、決定された設定でプリントされる。

また、下位階層の画面設定を行う別の方法として、画面遷移プロセスを表示し、表示されたデフォルトの設定に基づいて設定してもよい。図１１は、画面プロセスを表示して設定を行う処理手順の一例を示すフローチャートである。
まず、ユーザにより結合線１００２がタッチされ、タッチを検出する（ステップＳ１１０１）。そして、図１２に示すように、ステップＳ４０６で特定されたスタンプモード２画面への画面遷移プロセスをタッチパネル１０２に表示する（ステップＳ１１０２）。

図１２において、１２０１、１２０２、１２０３はそれぞれ、応用モード画面、スタンプモード１画面、スタンプモード２画面である。そして、１２０４、１２０５はそれぞれ、スタンプボタン、次へボタンであり、各画面間を画面遷移するボタンが、結合線１２０６、１２０７、１２０８で結ばれている。これにより、ユーザは、所望のスタンプモード２画面の画面を確認できるだけでなく、途中の遷移画面を確認できる。また、各画面間を画面遷移するボタンを結合線で結ぶことにより、画面遷移するボタンを確認できる。デフォルトの設定は、左端にＯＫスタンプ付与であり、スタンプモード１画面１２０２の左端設定ボタン１２０９、スタンプモード２画面１２０３のＯＫスタンプ設定ボタン１２１０の色が他のボタンと異なっていることで確認できる。

ここで、再度、結合線１００１をタッチされたか否かを判定する（ステップＳ１１０３）。そして、再度タッチされた場合（ステップＳ１１０３／Ｙｅｓ）は、デフォルトの設定に決定する（ステップＳ１１０４）。このように、画面遷移プロセスを表示し、デフォルトの設定に決定できる。

これに対してし、左端ではなく右端にスタンプを設定する場合は、設定を変更しなければならない。そこで、再度タッチされなかった場合（ステップＳ２０３／Ｎｏ）は、スタンプモード１画面１２０２がタッチされたことを検出する（ステップＳ１１０５）。そして、図１３に示すように、タッチパネル１０２にスタンプモード１画面１３０６を表示する（ステップＳ１１０６）。次に、右端設定ボタン１３０１がタッチされると、右端設定に変更される。そして、決定ボタン１３０５がタッチされることにより、設定を決定る（ステップＳ１１０７）。このように、画面遷移プロセスの操作で、必要な画面に画面遷移して設定をすることができる。

また、下位階層の画面設定を行う別の方法として、ユーザが所望する画面にショートカットして画面遷移してもよい。例えば、結合線１００２をタッチすると、図１３のようにスタンプモード１画面１３０６を表示する。スタンプモード１画面１３０６では、デフォルトで左端設定になっている。右端に設定を変更する場合には、右端設定ボタン１３０１をタッチすればよい。そして、決定ボタン１３０５をタッチすると設定が決定される。ただし、ここで再度、結合線１３０４、もしくは結合線１３０３をダブルタッチすると、応用モード２画面に画面遷移する。デフォルト設定が、ＯＫスタンプの付与になっているが、秘スタンプ設定ボタン１５０４をタッチし、秘スタンプに変更できる。そして、決定ボタン１５０１をタッチすると設定が決定される。このように、ユーザが所望する画面にショートカットして画面遷移して設定をすることができる。

また、図２９に示すように、結合線２９０１、２９０２、２９０３を表示して、３つの選択肢をつくることができる。この場合、結合線２９０１をタッチすると、画面遷移が行われ、結合線２９０２をタッチすると、画面遷移プロセスが表示される。さらに、結合線２９０３をタッチすると、ユーザが所望する画面にショートカットして画面遷移する。また、以上の３つの選択肢は、３本の結合線として表示するのではなく、一本の線として表示し、結合線もしくは結合線が引かれているボタン等のタッチする部位で選択肢を３つ持たせてもよい。更に、シングルタッチ、ダブルタッチ、長時間タッチ等、タッチの仕方で３つの選択肢を区別してもよい。

ここで、各ボタンに引いた結合線を区別して表示する方法がある。例えば、手書き入力した画面上に特定されたボタンと、画面遷移をするボタンとを区別し、結合線１００１と結合線１００２を区別して表示する。また、ボタンの重要度や使用頻度等によって、ボタンに引かれる結合線を区別してもよい。区別する方法としては、色や太さの変化、点線や実践の区別等、線を区別する方法ならどんな方法でもよい。

また、本実施形態では、ある一定期間手書き入力がないと、手書き入力を確定したが、入力確定ボタン等を設け、ユーザが入力確定ボタンをタッチすると入力が確定されるようにしてもよい。さらに、本実施形態では、手書き入力に関連するボタンを特定し、特定されたボタンに結合線を引いた。特定されるＧＵＩ部品は、ボタンに限らず他のどんなものでもよい。ＧＵＩ部品とは、設定や画面遷移の操作のボタンだけでなく、アイコン等、タッチパネルに表示できる全てである。

また、本実施形態では、手書き入力枠を始点に結合線を引いていたが、手書き入力枠に限らず、タッチパネルに表示できるＧＵＩ部品ならどれを始点に引いてもよい。さらに、本実施形態では、手書き入力枠に入力される軌跡は文字列であったが、記号や線やアイコン等、他のどんなものでもよい。

また、本実施形態では、タッチパネルに対し、ペンによる入力を行っていたが、指による入力など他のどんな方法でもよい。また、タッチパネルにも限定されず、キーボードやマウス等のポインティングデバイスで入力するようにしてもよい。さらに、本実施形態では、プリンタを例にしていたが、他のいかなるデジタル機器でもよい。

（第２の実施形態）
第１の実施形態では、手書き入力枠１０４に手書き入力された文字列を１つの文字列として扱っていた。このことから、第１の実施形態は、ユーザが、１つの機能の設定を行う場合を想定した例である。これに対し、複数の機能の設定変更する場合もある。例えば、文書を８０％に縮小し、ＯＫスタンプを左端に付与してプリントをするような２つの機能を設定する場合である。この場合は、手書き入力枠に複数に関連する文字列をそれぞれ入力する。具体的には、「８０」と「ＯＫスタンプ」を手書き入力することが考えられる。以下、この場合について説明する。なお、本実施形態においては、第１の実施形態と異なる点を中心に説明する。

ユーザは、図１６に示すように、手書き入力枠１０４に「８０」と「ＯＫスタンプ」とを手書き入力する。「８０」と「ＯＫスタンプ」との間にはある一定の空白を設けると、プリンタ１０１は、２つの文字列として認識する。プリンタ１０１は、「８０」及び「ＯＫスタンプ」の二つの文字列に対して、第１の実施形態と同様に図４のフローチャートに示す処理を行う。すなわち、ステップＳ４０２において、「８０」の文字列に対しては８０％ボタン、「ＯＫスタンプ」に対してはＯＫスタンプ設定ボタンを特定する。また、それぞれのボタンまでの画面遷移プロセスを特定し（ステップＳ４０６）、手書き入力した画面から次の画面へ画面遷移するボタンは、それぞれ縮小ボタンと応用ボタンと決定される。

ここで、図３０に示すように、手書き入力枠に手書き入力した「８０」の文字列から縮小ボタン１０５へ結合線３００１が、「ＯＫスタンプ」の文字列からは応用ボタン１１０へ結合線３００２が引かれる。すなわち、プリンタ１０１が、手書き入力枠１０４に手書き入力された文字列を２つの文字列として扱った場合には、それぞれの文字列に対して、第１の実施形態と同様の処理が行われる。そして、各文字列から結合線が引かれる。ユーザは、８０％に縮小設定するために、縮小ボタン以下にある画面へ画面遷移して設定することができ、ＯＫスタンプを付与するために、応用ボタン以下にある画面へ画面遷移して設定することができる。

ここで、図３１に示すように、「８０」及び「ＯＫスタンプ」の文字列を、図１６の文字列の順序とは逆に手書き入力したとする。すると、図２３に示すように、縮小ボタン１０５へ結合線２３０１を引き、応用ボタン１１０へ結合線２３０２を引くと、両者の結合線が交差する。そこで、結合線の交差を避けるために、図３０に示すように、「ＯＫスタンプ」及び「８０」の文字列を入れ替えて表示し、結合線３００１と結合線３００２とを引いてもよい。

（第３の実施形態）
第１の実施形態では、タッチパネル１０２が表示する画面は、階層構造を持つ画面間であり、ボタン操作で画面遷移することを想定していた。これに対して本実施形態では、スクロールを持つ画面を表示し、画面をスクロール操作で移動できる例について説明する。

図１７は、本実施形態に係るプリンタの表示画面の概観例を示す図である。
図１７において、１０１〜１０４、１１４はそれぞれ、第１の実施形態における図１の１０１〜１０４、１１４と同様である。１７０１はスクロールであり、スクロール操作により画面を移動させることができる。１７０２はスクロール操作で移動できる画面であり、手書き入力枠と各種ボタンとスクロールとが表示されている。１７０３〜１７０４は、各種ボタンであり、プリンタの操作、設定の変更を行うことができる。

図２４は、タッチパネル１０２に表示する画面と各画面間との関係を示す図である。スクロール１７０１の操作により、各画面は矢印で結ばれている画面に移動できる。すなわち、スクロール１７０１を左に操作すると左の画面へ移動でき、右に操作すると右の画面へ移動できる。

図２５は、タッチパネル１０２に表示する画面、画面に表示されるボタン、ボタンをタッチした時の動作の一覧を示す図である。
列２５０１は、タッチパネル１０２に表示される画面の一覧であり、列２５０２は、各画面に表示されているボタンの一覧である。また、列２５０３は、ボタンをタッチした時の動作の一覧である。

図２１は、本実施形態に係るプリンタの機能構成例を示すブロック図である。
図２１において、２１０１は、図２の手書き入力部２０１と同じであり、２１０２は、図２のボタン特定部２０２と同じである。また、２１０３は、図２の表示部２０４と同じである。このように本実施形態では、図２の画面遷移特定部２０３を備えていない。なお、本実施形態に係るプリンタのハードウエアの構成は、第１の実施形態における図３と同じである。

本実施形態では、タッチパネル１０２には、プリンタの電源をＯＮにした時にルート画面を表示する。図２５に示すように、ルート画面には、スタンプスキャンボタン１７０３、決定ボタン１７０４が表示される。例えば、スタンプスキャンボタン１７０３をタッチすると、スキャンしてスタンプ登録する。また、スクロール１７０１を右にスクロールすると、図１８に示すような縮小設定画面１８０２に移動する。また、スクロール１７０１を左にスクロールすると、図１９に示すようなスタンプモード１画面１９０２に移動する。ユーザが、手書き入力枠１０４に手書き入力すると、画面特定データベースを参照し、文字列に関連したボタンもしくは画面を特定する。そして、手書き入力枠１０４から特定されたボタンもしくは画面に結合線が引かれる。

図２２は、特定されたボタンもしくは画面に結合線を引く処理手順の一例を示すフローチャートである。本実施形態では、具体例として、プリント対象のコンテンツに対してＯＫのスタンプを付与しプリントする例について説明する。なお、ステップＳ２２０１〜Ｓ２２０５は、図４のステップＳ４０１〜Ｓ４０５と同様である。また、ステップＳ２２０７及びＳ２２０８もそれぞれ、図４のステップＳ４０９及びＳ４１０と同様である。

図２６は、画面特定データベースの対応を示す図である。
まず、ステップＳ２２０２では、「スタンプ」に該当する文字列を列２６０３の入力文字列から特定する。その結果、列２６０２のスタンプスキャンボタンとＯＫスタンプ設定ボタンとの２個（Ｋ＝２）が特定される。本実施形態では、列２６０１からは特定されていない例を説明する。以下、スタンプスキャンボタンの番号を１とし、ＯＫスタンプ設定ボタンの番号を２とする。

番号１のスタンプスキャンボタンの場合は、図２５に示すようにルート画面（手書き入力した画面）に属する。したがって、図２７に示すように、手書き入力枠１０４から、スタンプスキャンボタン１７０３に対して結合線２７０１を引く（ステップＳ２２０５）。ここで、Ｎ≠Ｋ（Ｎ＝１，Ｋ＝２）なので（ステップＳ２２０７／Ｎｏ）、ステップＳ２２０８において、Ｎ＝２とし、次に番号２のＯＫスタンプ設定ボタンに対する処理を行う。

ＯＫスタンプ設定ボタンは、ルート画面（手書き入力した画面）に属するボタンではなく、ルート画面１７０２の左スクロール方向に存在するボタンである。よって、手書き入力枠１０４から、左方向に結合線２７０２を引く（ステップＳ２２０６）。具体的には、例えば図２８に示すように、スタンプモード１画面２８０２とスタンプモード２画面２８０３とをルート画面１７０２の左側に仮想配置する。そして、仮想配置された画面上で、手書き入力枠１０４からＯＫスタンプ設定ボタン２８０１に結合線２７０２を引く。この結合線２７０２が、図２７に示す結合線２７０２となる。そして、結合線２７０２の方向と角度によって、スクロール移動距離を推測できる。

第１の実施形態と同様に、結合線２７０２をタッチすると、図２０に示すようにタッチパネル１０２にはスタンプモード２画面２００２を表示する。ＯＫスタンプボタン２００１の色が他のボタンと異なっており、デフォルトの設定になっている。結合線２７０２を、再度タッチすると、デフォルト設定に決定される。ここで、秘スタンプボタン２００３をタッチすると秘スタンプに設定が変更される。その後、決定ボタン２００４をタッチすると、設定が決定される。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

２０１ 手書き入力部、２０２ ボタン特定部、２０４ 表示部

Claims (7)

1. ＧＵＩ操作を行う情報処理装置であって、
   ユーザからの指示を入力手段と、
   前記入力手段から入力された軌跡を認識する認識手段と、
   前記認識手段により認識された軌跡認識結果と関連するＧＵＩ部品を特定する特定手段と、
   前記軌跡認識結果を表示するとともに、前記入力手段と前記表示した軌跡認識結果と関連するＧＵＩ部品とを結合線で結んで表示する表示手段とを有することを特徴とする情報処理装置。
2. 前記ＧＵＩ部品は、階層を移動するための階層移動操作部を有し、
   前記特定手段は、前記軌跡認識結果と関連するＧＵＩ部品が別階層にあるときは、前記階層移動操作部を特定し、前記表示手段は、前記特定手段により特定された階層移動操作部と前記入力手段とを結合線で結んで表示することを特徴とする請求項１に記載の情報処理装置。
3. 前記特定手段は、前記認識手段により複数の軌跡認識結果が認識された場合には、それぞれの認識結果に関連するＧＵＩ部品を特定することを特徴とする請求項１に記載の情報処理装置。
4. 前記階層移動操作部は、ＧＵＩ部品を操作し、別階層へ移動させることを特徴とする請求項２に記載の情報処理装置。
5. 前記ＧＵＩ部品は、画面をスクロールさせるスクロール操作部を有し、
   前記表示手段は、前記軌跡認識結果と関連するＧＵＩ部品が前記スクロール操作部のスクロールによって表示されるＧＵＩ部品にあるときは、仮想のＧＵＩ部品と前記入力手段とを結合線で結んで表示することを特徴とする請求項１に記載の情報処理装置。
6. タッチパネルによりＧＵＩ操作を行う情報処理方法において、
   入力された軌跡を認識する認識工程と、
   前記認識工程において認識した軌跡の認識結果と関連するＧＵＩ部品を特定する特定工程と、
   前記認識結果を表示するとともに、前記特定工程において特定したＧＵＩ部品とを結合線で結んで表示手段に表示する表示工程とを有することを特徴とする情報処理方法。
7. 請求項６に記載の情報処理方法の各工程をコンピュータに実行させるためのプログラム。

Images