JP2007305039A - 情報処理装置および方法、並びにプログラム - Google Patents

情報処理装置および方法、並びにプログラム Download PDF

Info

Publication number
JP2007305039A
JP2007305039A JP2006135126A JP2006135126A JP2007305039A JP 2007305039 A JP2007305039 A JP 2007305039A JP 2006135126 A JP2006135126 A JP 2006135126A JP 2006135126 A JP2006135126 A JP 2006135126A JP 2007305039 A JP2007305039 A JP 2007305039A
Authority
JP
Japan
Prior art keywords
input
application program
graphic
displayed
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006135126A
Other languages
English (en)
Inventor
Akiyoshi Takigawa
晶義 瀧川
Tetsuji Ando
徹次 安藤
Hideshi Ichikawa
英志 市川
Kazuya Suzuki
一也 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2006135126A priority Critical patent/JP2007305039A/ja
Publication of JP2007305039A publication Critical patent/JP2007305039A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Stored Programmes (AREA)

Abstract

【課題】より簡単な操作で所望する処理を実行させることができるようにする。
【解決手段】図形認識部73は、タッチパネル23からの信号に基づいて、ユーザにより入力された図形を認識し、その認識結果を制御部77に供給する。検出部76は処理の対象となっているアプリケーションプログラムを検出し、その検出結果を制御部77に供給する。制御部77は、検出されたアプリケーションプログラムおよび入力された図形により特定される処理を選択し、選択した処理の実行を処理実行部78に指示する。処理実行部78は、指示された処理を実行する。本発明は、携帯型のパーソナルコンピュータに適用することができる。
【選択図】図4

Description

本発明は情報処理装置および方法、並びにプログラに関し、特に、より簡単に操作できるようにした情報処理装置および方法、並びにプログラに関する。
従来の携帯型のパーソナルコンピュータは、持ち運びに便利であるという利点がある反面、パーソナルコンピュータそのものが小さくて持ちにくかったり、表示画面に表示されるボタンなどが小さかったりして操作が困難であるという短所があった。
例えば、出力される音声の音量を調節する場合、ユーザは表示画面に小さく表示されたアイコンを操作してメニューを表示させてから、そのメニューの項目を階層的に選択しなければならなかった。
そこで、携帯型のパーソナルコンピュータにワンタッチボタンなどと称されるボタンを設けることで、ハードウェアにより操作性を向上させているものもある。このパーソナルコンピュータでは、ユーザがワンタッチボタンを操作すると、そのワンタッチボタンに割り当てられた処理が実行されるため、ユーザは表示画面に小さく表示されたボタンやアイコンを選択することなく、所定の処理を実行させることができる。
また、携帯型のパーソナルコンピュータには、表示画面にタッチパネルを重畳させることによって、タッチペンによる操作を行うことができるようにしたものもある。さらに、タッチパネルを用いた技術として、ナビゲーション装置の表示画面にタッチパネルを重畳させ、タッチパネルを利用して入力された符号に応じた処理をナビゲーション装置に実行させる技術もある(例えば、特許文献1参照)。
特開2005−62044号公報
しかしながら、上述した技術では、簡単な操作でユーザが所望する処理を実行させることは困難であった。
例えば、ワンタッチボタンを設ける方法においては、ワンタッチボタンの設置位置やコストなどの制約により、設けることのできるボタンの数には限りがあった。また、ワンタッチボタンには、1つの処理しか割り当てることができず、割り当てることのできる処理も予め定められた処理から選択することしかできなかった。そのため、ユーザが頻繁に利用する機能の処理をワンタッチボタンに割り当てることができるとは限らず、ワンタッチボタンにより実行させることのできる処理の数も充分とはいえなかった。
また、タッチパネルを用いて入力された符号に応じた処理を実行させる方法においては、複数の機能が実現されている場合には、入力された符号に応じた処理がどの機能に対する処理であるかを特定することができないので、ユーザが意図しない処理が実行されてしまう恐れがあった。
本発明は、このような状況に鑑みてなされたものであり、より簡単な操作で所望する処理を実行させることができるようにするものである。
本発明の一側面の情報処理装置は、複数のアプリケーションプログラムのそれぞれについて、同一または異なる所定の処理が対応付けられた図形を入力する入力手段と、入力された前記図形を認識する認識手段と、入力された前記図形に対応付けられた所定の処理を実行させようとする、操作の対象となるアプリケーションプログラムを検出する検出手段と、認識された図形および検出されたアプリケーションプログラムから特定される、認識された図形に対応付けられた前記所定の処理を実行させる実行手段とを備える。
前記入力手段には、ユーザの手書き入力操作による指示位置の座標を検出することにより前記図形を入力させ、前記認識手段には、前記入力手段により検出された座標に基づいて、入力された前記図形を認識させることができる。
情報処理装置には、前記入力手段の操作に応じた処理を実行する第1のモードと、前記入力手段により入力された図形に対応付けられた前記所定の処理を実行する第2のモードとの切り替えを行う切り替え手段をさらに設けることができる。
情報処理装置には、前記所定の処理が対応付けられた複数の図形のそれぞれと、それらの図形に対応付けられた、検出されたアプリケーションプログラムの前記所定の処理のそれぞれとの一覧を表示させる表示手段をさらに設けることができる。
前記検出手段には、前記入力手段により図形が入力されるまで操作の対象となっていたアプリケーションプログラムを、操作の対象となるアプリケーションプログラムとして検出させることができる。
前記入力手段には、表示手段の所定の領域に図形を入力させ、前記検出手段には、図形が入力された前記表示手段の領域に対応付けられたアプリケーションプログラムを、操作の対象となるアプリケーションプログラムとして検出させることができる。
情報処理装置には、アプリケーションプログラムにより所定の機能が実行されるときに表示される、アプリケーションプログラムに対応するウィンドウを表示する表示手段をさらに設け、前記入力手段には、前記表示手段の所定の領域に図形を入力させ、前記検出手段には、前記ウィンドウ上に図形が入力された場合、そのウィンドウに対応するアプリケーションプログラムを、操作の対象となるアプリケーションプログラムとして検出させることができる。
本発明の一側面の情報処理方法またはプログラムは、複数のアプリケーションプログラムのそれぞれについて、同一または異なる所定の処理が対応付けられた図形を入力し、入力された前記図形を認識し、入力された前記図形に対応付けられた所定の処理を実行させようとする、操作の対象となるアプリケーションプログラムを検出し、認識された図形および検出されたアプリケーションプログラムから特定される、認識された図形に対応付けられた前記所定の処理を実行させるステップを含む。
本発明の一側面においては、複数のアプリケーションプログラムのそれぞれについて、同一または異なる所定の処理が対応付けられた図形が入力され、入力された前記図形が認識され、入力された前記図形に対応付けられた所定の処理を実行させようとする、操作の対象となるアプリケーションプログラムが検出され、認識された図形および検出されたアプリケーションプログラムから特定される、認識された図形に対応付けられた前記所定の処理が実行される。
本発明の一側面によれば、処理を実行させることができる。特に、本発明の一側面によれば、より簡単な操作で所望する処理を実行させることができる。
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
本発明の一側面の情報処理装置は、複数のアプリケーションプログラムのそれぞれについて、同一または異なる所定の処理が対応付けられた図形を入力する入力手段(例えば、図4のタッチパネル23)と、入力された前記図形を認識する認識手段(例えば、図4の図形認識部73)と、入力された前記図形に対応付けられた所定の処理を実行させようとする、操作の対象となるアプリケーションプログラムを検出する検出手段(例えば、図4の検出部76)と、認識された図形および検出されたアプリケーションプログラムから特定される、認識された図形に対応付けられた前記所定の処理を実行させる実行手段(例えば、図4の制御部77)とを備える。
前記入力手段には、ユーザの手書き入力操作による指示位置の座標を検出することにより前記図形を入力させ(例えば、図14のステップS101の処理)、前記認識手段には、前記入力手段により検出された座標に基づいて、入力された前記図形を認識させることができる(例えば、図14のステップS102の処理)。
情報処理装置には、前記入力手段の操作に応じた処理を実行する第1のモードと、前記入力手段により入力された図形に対応付けられた前記所定の処理を実行する第2のモードとの切り替えを行う切り替え手段(例えば、図4のモード設定部72)をさらに設けることができる。
情報処理装置には、前記所定の処理が対応付けられた複数の図形のそれぞれと、それらの図形に対応付けられた、検出されたアプリケーションプログラムの前記所定の処理のそれぞれとの一覧を表示させる表示手段(例えば、図4の表示部22)をさらに設けることができる。
前記検出手段には、前記入力手段により図形が入力されるまで操作の対象となっていたアプリケーションプログラムを、操作の対象となるアプリケーションプログラムとして検出させる(例えば、図14のステップS103の処理)ことができる。
前記入力手段には、表示手段の所定の領域に図形を入力させ(例えば、図16のステップS131の処理)、前記検出手段には、図形が入力された前記表示手段の領域に対応付けられたアプリケーションプログラムを、操作の対象となるアプリケーションプログラムとして検出させる(例えば、図16のステップS133の処理)ことができる。
情報処理装置には、アプリケーションプログラムにより所定の機能が実行されるときに表示される、アプリケーションプログラムに対応するウィンドウを表示する表示手段(例えば、図4の表示部22)をさらに設け、前記入力手段には、前記表示手段の所定の領域に図形を入力させ(例えば、図18のステップS161の処理)、前記検出手段には、前記ウィンドウ上に図形が入力された場合、そのウィンドウに対応するアプリケーションプログラムを、操作の対象となるアプリケーションプログラムとして検出させる(例えば、図18のステップS163の処理)ことができる。
本発明の一側面の情報処理方法またはプログラムは、複数のアプリケーションプログラムのそれぞれについて、同一または異なる所定の処理が対応付けられた図形を入力し(例えば、図14のステップS101)、入力された前記図形を認識し(例えば、図14のステップS102)、入力された前記図形に対応付けられた所定の処理を実行させようとする、操作の対象となるアプリケーションプログラムを検出し(例えば、図14のステップS103)、認識された図形および検出されたアプリケーションプログラムから特定される、認識された図形に対応付けられた前記所定の処理を実行させる(例えば、図14のステップS105、ステップS107、またはステップS108)ステップを含む。
以下、図面を参照して本発明を適用した実施の形態について説明する。
図1は、本発明を適用した携帯型の情報処理装置の外観の構成例を示す図である。
情報処理装置11の本体21には、液晶ディスプレイなどからなる表示部22が設けられており、表示部22にはタッチパネル23が重畳されている。ユーザは、図示せぬタッチペンやユーザ自身の指などを表示部22の表示画面上において動かして、表示部22に表示されているマウスカーソルを移動させたり、タッチペンやユーザの指により表示部22を押圧することで、表示部22に表示されたボタンやアイコンなどを選択したりすることができる。
また、本体21には、本体21と重なるようにキーボードブロック24が設けられている。キーボードブロック24には、キーやボタンなどからなるキーボード25が設けられており、キーボードブロック24は、本体21に対して引き出し自在とされている。
図1では、キーボードブロック24は、本体21に対して引き出された状態とされており、キーボードブロック24は本体21に対して図中、上方向に押し上げられると、本体21と重なって、キーボード25が本体21に収納された状態となる。
ところで、タッチパネル23は、本来、マウスなどの入力デバイスに替わるヒューマンインターフェースデバイスとして用いられているが、タッチパネル23には自由曲線を描きやすいなど、マウスとは異なる利点がある。そこで情報処理装置11では、その利点を生かし、タッチパネル23を用いて所定の図形を入力することで、入力された図形に割り当てられた処理を実行させることができるようになされている。
すなわち、情報処理装置11においては、図2に示すように、ユーザは情報処理装置11を操作する操作モードとして、タッチパネル23やキーボード25の操作に応じて通常の処理を行わせる入力デバイスモードと、タッチパネル23により入力された図形に応じた処理を実行させるタッチコマンドモードとを切り替えることができる。
情報処理装置11の電源がオンされると、操作モードは、入力デバイスモードに設定される。この状態において、ユーザがタッチペンなどによりタッチパネル23を所定の時間以上押圧すると、操作モードは入力デバイスモードからタッチコマンドモードに移行する。そして、タッチコマンドモードにおいて、タッチパネル23により所定の図形が入力されると、入力された図形に応じた処理が実行される。
また、タッチコマンドモードに移行してから所定の時間が経過しても図形が入力されなかった場合、または図形が入力されてタッチペンがタッチパネル23から離れてから、すなわち図形が入力されてから所定の時間が経過した場合、操作モードはタッチコマンドモードから入力デバイスモードに移行する。
タッチコマンドモードにおいては、処理を実行させるために入力される図形には、複数のアプリケーションプログラムのそれぞれについて、同一または異なる所定の処理が対応付けられている。例えば、図3に示すようにユーザがタッチペン41を操作してタッチパネル23上に図中、右方向に向かう直線を描いた場合、操作の対象となっているアプリケーションプログラム、すなわちアクティブなアプリケーションプログラムが音楽や動画像を再生するためのアプリケーションプログラムであるとき、情報処理装置11は、入力された図形としての直線に対応付けられた処理として、音楽や動画像の再生または一時停止する処理を行う。これに対して、アクティブなアプリケーションプログラムがウェブページを閲覧するためのブラウザであるとき、情報処理装置11は、入力された図形としての直線に対応付けられた処理として、表示するウェブページのページ送りの処理を行う。
このように、同じ図形が入力された場合においても、処理の対象となるアプリケーションプログラムごとに異なる処理を実行させることによって、ユーザは図形を入力するという簡単な操作だけで、アプリケーションプログラムごとに所望する処理を実行させることができ、情報処理装置11の操作性を向上させることができる。
また、タッチパネル23を入力デバイスとしてだけではなく、キーボード25に設けられるボタンの代用のように使用することができるので、ハードウェアであるボタンを設けるコストを削減することができ、キーボードブロック24における物理的な空間も有効に活用することができる。
図4は、情報処理装置11の機能的な構成例を示すブロック図である。なお、図4において、図1における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
情報処理装置11は、表示部22、タッチパネル23、入力部71、モード設定部72、図形認識部73、登録部74、記録部75、検出部76、制御部77、および処理実行部78から構成される。
入力部71は、例えばキーボード25、マウスなどからなりユーザの操作に応じた信号を登録部74および制御部77に供給する。タッチパネル23は、ユーザによる操作に応じた信号をモード設定部72、図形認識部73、登録部74、または制御部77に供給する。
モード設定部72は、タッチパネル23から供給される信号に応じて操作モードの設定を行う。また、モード設定部72は、操作モードとして、入力デバイスモードに設定されているか、またはタッチコマンドモードに設定されているかを示す操作モード情報を記憶する。
図形認識部73は、タッチパネル23から供給される信号に基づいて、ユーザにより入力された図形を認識し、その認識結果を登録部74または制御部77に供給する。登録部74は、所定の図形にアプリケーションプログラムごとの所定の処理を割り当てる処理を行う。すなわち、登録部74は、記録部75に記録されている、複数の図形と、それらの図形に対応付けられたアプリケーションプログラムごとの処理のそれぞれとを示す情報である登録情報をユーザの操作に応じて更新する。
記録部75は、例えばハードディスクなどからなり、登録情報やプログラム、各種のデータなどを記録する。検出部76は、表示部22に表示されているウィンドウのアプリケーションプログラムを検出する。制御部77は、情報処理装置11の全体の動作を制御する。処理実行部78は制御部77に指示された処理を実行する。
ところで、ユーザは、タッチコマンドモード時に入力する図形に割り当てる処理を選択することができる。ユーザが入力する図形に所定の処理を割り当てようとする場合、ユーザは、入力部71またはタッチパネル23を操作して、入力する図形に所定の処理を割り当てるための設定画面を表示させ、設定画面において図形ごとに所望する処理を選択する。
ユーザが設定画面の表示を指示すると、表示部22には、例えば図5に示す設定画面が表示される。
設定画面には、文字“ブラウザ”、“マルチメディア”、および“その他”のそれぞれが表示されたタブ101乃至タブ103のそれぞれが設けられており、ユーザはタブ101乃至タブ103の何れかを選択することで画面の表示を切り替えることができる。
タブ101乃至タブ103のそれぞれが選択されて表示される画面には、タッチコマンドモード時に所定の処理を実行させるために入力する図形と、その図形に割り当てる、所定のカテゴリに属すアプリケーションプログラムの処理を選択するためのプルダウンメニューとが表示される。
ここで、アプリケーションプログラムが属すカテゴリとして、例えばウェブページの閲覧を行うためのアプリケーションプログラムが属すカテゴリ、音楽や動画像を再生するためのアプリケーションプログラムが属すカテゴリ、およびその他のアプリケーションプログラム、すなわちウェブページの閲覧を行うためのアプリケーションプログラムおよび音楽や動画像を再生するためのアプリケーションプログラム以外のアプリケーションプログラムが属すカテゴリの3つのカテゴリが予め定められている。
図5の例では、文字“ブラウザ”が表示されたタブ101が選択されており、タブ101が選択されて表示されている画面には、入力する図形と、ウェブページの閲覧を行うためのアプリケーションプログラム、すなわちブラウザが属すカテゴリに割り当てる処理を選択するためのプルダウンメニューとが表示されている。
より具体的には、図5に示す画面には、プルダウンメニュー111−1乃至プルダウンメニュー111−10のそれぞれが表示されており、それらのプルダウンメニューの図中、左側には処理を実行させるために入力する図形が表示されている。
プルダウンメニュー111−1の左側には、入力する図形として、右端を始点とし、左端を終点とする左方向に向かう直線が表示されている。また、プルダウンメニュー111−1には文字“戻る(ブラウザ)”が表示されており、その左側に表示された図形に対応する処理として、ブラウザにより表示されているウェブページの直前に表示されていたウェブページを表示させる処理、すなわちページ戻りさせる処理が割り当てられていることを示している。
プルダウンメニュー111−2の左側には、入力する図形として、左端を始点とし、右端を終点とする右方向に向かう直線が表示されている。また、プルダウンメニュー111−2には文字“進む(ブラウザ)”が表示されており、その左側に表示された図形に対応する処理として、ブラウザにより表示されているウェブページの直後に表示されたことのあるウェブページを表示させる処理、すなわちページ送りさせる処理が割り当てられていることを示している。
プルダウンメニュー111−3の左側には、入力する図形として、下端を始点とし、上端を終点とする上方向に向かう直線が表示されている。また、プルダウンメニュー111−3には文字“音量大”が表示されており、その左側に表示された図形に対応する処理として、再生する音声の音量を大きくする処理が割り当てられていることを示している。
プルダウンメニュー111−4の左側には、入力する図形として、上端を始点とし、下端を終点とする下方向に向かう直線が表示されている。また、プルダウンメニュー111−4には文字“音量小”が表示されており、その左側に表示された図形に対応する処理として、再生する音声の音量を小さくする処理が割り当てられていることを示している。
プルダウンメニュー111−5の左側には、入力する図形として、時計回りの方向に描かれた円が表示されている。また、プルダウンメニュー111−5には文字“更新(ブラウザ)”が表示されており、その左側に表示された図形に対応する処理として、ブラウザにより表示されているウェブページの表示の更新を行う処理が割り当てられていることを示している。
また、プルダウンメニュー111−6の左側には、入力する図形として、反時計回りの方向に描かれた円が表示されている。また、プルダウンメニュー111−6には文字“ミュート”が表示されており、その左側に表示された図形に対応する処理として、再生する音声を消音する処理が割り当てられていることを示している。
プルダウンメニュー111−7の左側には、入力する図形として、右端を始点とし、左端を終点とする山形の図形、すなわち上に凸の鉤形の図形が表示されている。また、プルダウンメニュー111−7には文字“なし”が表示されており、その左側に表示された図形には、まだ対応する処理が割り当てられていないことを示している。
プルダウンメニュー111−8の左側には、入力する図形として、左端を始点とし、右端を終点とする山形の図形、すなわち上に凸の鉤形の図形が表示されている。また、プルダウンメニュー111−8には文字“なし”が表示されており、その左側に表示された図形には、まだ対応する処理が割り当てられていないことを示している。
プルダウンメニュー111−9の左側には、入力する図形として、右端を始点とし、左端を終点とする谷形の図形、すなわち下に凸の鉤形の図形が表示されている。また、プルダウンメニュー111−9には文字“なし”が表示されており、その左側に表示された図形には、まだ対応する処理が割り当てられていないことを示している。
プルダウンメニュー111−10の左側には、入力する図形として、左端を始点とし、右端を終点とする谷形の図形、すなわち下に凸の鉤形の図形が表示されている。また、プルダウンメニュー111−10には文字“なし”が表示されており、その左側に表示された図形には、まだ対応する処理が割り当てられていないことを示している。
したがって、ウェブページの閲覧を行うためのアプリケーションプログラムのうちの何れかがアクティブであり、タッチコマンドモード時に、図5に示される図形の何れかが入力された場合、入力された図形の右側のプルダウンメニューにより示される処理が実行される。なお、以下、プルダウンメニュー111−1乃至プルダウンメニュー111−10のそれぞれを個々に区別する必要のない場合、単にプルダウンメニュー111と称する。
また、設定画面の図中、下側にはボタン112乃至ボタン114のそれぞれが設けられている。ボタン112には文字“OK”が表示されており、ボタン112は、プルダウンメニュー111により示される処理の選択を決定するときに操作される。
ボタン113には、文字“キャンセル”が表示され、ボタン113は、プルダウンメニュー111により示される処理の選択を取り消すときに操作される。さらに、ボタン114には、文字“ヘルプ”が表示されており、ボタン114が操作されると、設定画面におけるボタンの操作方法や、プルダウンメニュー111による処理の選択時の操作方法を説明する画面が表示される。
ユーザは、プルダウンメニュー111を操作して、プルダウンメニュー111の左側に表示された図形に対応する処理を選択する場合、プルダウンメニュー111を操作することにより表示されるメニューから、所望する処理を示す文字が表示されている項目を選択することで図形に対応する処理を選択する。
例えば、ユーザは、プルダウンメニュー111を操作することにより、図形に対応する処理、つまり図形に割り当てるブラウザが属すカテゴリの処理として、ページ戻りさせる処理、ページ送りさせる処理、表示の更新を行う処理、消音する処理、音声の音量を大きくする処理、音声の音量を小さくする処理、またはキーコマンドにより実行される処理の何れかを選択することができる。
ここで、キーコマンドにより実行される処理とは、キーボード25に設けられたいくつかのキーが同時に選択されたときに実行される処理、すなわちキーボード25の操作によりショートカットされて実行される処理をいう。なお、キーコマンドにより実行される処理の詳細については後述する。
また、ユーザによりタブ102が選択されると、設定画面の表示は、例えば図6に示す画面に切り替わる。
図6に示す設定画面では、文字“マルチメディア”が表示されたタブ102が選択されており、タブ102が選択されて表示されている画面には、処理を実行させるために入力する図形と、音楽や動画像を再生するためのアプリケーションプログラムが属すカテゴリに割り当てる処理を選択するためのプルダウンメニューとが表示されている。
すなわち、図6に示す画面には、図5のプルダウンメニュー111−1乃至プルダウンメニュー111−10のそれぞれに対応する、プルダウンメニュー141−1乃至プルダウンメニュー141−10のそれぞれが表示されている。プルダウンメニュー141−1乃至プルダウンメニュー141−10のそれぞれの図中、左側には、図5におけるプルダウンメニュー111−1乃至プルダウンメニュー111−10のそれぞれの図5中、左側に表示された図形と同じ図形が表示されている。
プルダウンメニュー141−1には文字“停止(マルチメディア)”が表示されており、その左側に表示された図形に対応する処理として、音声または動画像の再生を停止させる処理が割り当てられていることを示している。プルダウンメニュー141−2には文字“再生(マルチメディア)”が表示されており、その左側に表示された図形に対応する処理として、音声または動画像を再生させるか、一時停止させる処理が割り当てられていることを示している。
プルダウンメニュー141−3には文字“音量大”が表示されており、その左側に表示された図形に対応する処理として、再生する音声の音量を大きくする処理が割り当てられていることを示している。プルダウンメニュー141−4には文字“音量小”が表示されており、その左側に表示された図形に対応する処理として、再生する音声の音量を小さくする処理が割り当てられていることを示している。
プルダウンメニュー141−5には文字“なし”が表示されており、その左側に表示された図形には、まだ対応する処理が割り当てられていないことを示している。プルダウンメニュー141−6には文字“ミュート”が表示されており、その左側に表示された図形に対応する処理として、再生する音声を消音する処理が割り当てられていることを示している。
また、プルダウンメニュー141−7には文字“前へ(マルチメディア)”が表示されており、その左側に表示された図形に対応する処理として、再生されている音声または動画像の前の音声または動画像を再生させる処理が割り当てられていることを示している。プルダウンメニュー141−8には文字“次へ(マルチメディア)”が表示されており、その左側に表示された図形に対応する処理として、再生されている音声または動画像の次の音声または動画像を再生させる処理が割り当てられていることを示している。
プルダウンメニュー141−9には文字“巻き戻し(マルチメディア)”が表示されており、その左側に表示された図形に対応する処理として、再生されている音声または動画像の巻き戻しを行う処理が割り当てられていることを示している。プルダウンメニュー141−10には文字“早送り(マルチメディア)”が表示されており、その左側に表示された図形に対応する処理として、再生されている音声または動画像の早送りを行う処理が割り当てられていることを示している。
したがって、音楽や動画像を再生するためのアプリケーションプログラムのうちの何れかがアクティブであり、タッチコマンドモード時に、図6に示される図形の何れかが入力された場合、入力された図形の右側のプルダウンメニューにより示される処理が実行される。なお、以下、プルダウンメニュー141−1乃至プルダウンメニュー141−10のそれぞれを個々に区別する必要のない場合、単にプルダウンメニュー141と称する。
ユーザは、プルダウンメニュー141を操作して、プルダウンメニュー141の左側に表示された図形に対応する処理を選択する場合、プルダウンメニュー141を操作することにより表示されるメニューから、所望する処理を示す文字が表示されている項目を選択することで図形に対応する処理を選択する。
例えば、ユーザは、プルダウンメニュー141を操作することにより、図形に対応する処理、つまり図形に割り当てる音楽や動画像を再生するためのアプリケーションプログラムが属すカテゴリの処理として、音量を大きくする処理、音量を小さくする処理、消音する処理、再生若しくは一時停止させる処理、再生を停止させる処理、前の音声若しくは動画像を再生させる処理、次の音声若しくは動画像を再生させる処理、巻き戻しを行う処理、早送りを行う処理、またはキーコマンドにより実行される処理の何れかを選択することができる。
また、ユーザによりタブ103が選択されると、設定画面の表示は、例えば図7に示す画面に切り替わる。
図7に示す設定画面では、文字“その他”が表示されたタブ103が選択されており、タブ103が選択されて表示されている画面には、処理を実行させるために入力する図形と、その他のアプリケーションプログラムが属すカテゴリに割り当てる処理を選択するためのプルダウンメニューとが表示されている。
すなわち、図7に示す画面には、図5のプルダウンメニュー111−1乃至プルダウンメニュー111−10のそれぞれに対応する、プルダウンメニュー171−1乃至プルダウンメニュー171−10のそれぞれが表示されている。プルダウンメニュー171−1乃至プルダウンメニュー171−10のそれぞれの図中、左側には、図5におけるプルダウンメニュー111−1乃至プルダウンメニュー111−10のそれぞれの図5中、左側に表示された図形と同じ図形が表示されている。
プルダウンメニュー171−1乃至プルダウンメニュー171−10のそれぞれには文字“なし”が表示されており、それらの左側に表示された図形には、まだ対応する処理が割り当てられていないことを示している。
したがって、アクティブであるアプリケーションプログラムが、ブラウザ、および音楽や動画像を再生するためのアプリケーションプログラム以外のアプリケーションプログラムであり、タッチコマンドモード時に、図7に示される図形の何れかが入力された場合、図形には処理が割り当てられていないので処理は実行されない。なお、以下、プルダウンメニュー171−1乃至プルダウンメニュー171−10のそれぞれを個々に区別する必要のない場合、単にプルダウンメニュー171と称する。
ユーザは、プルダウンメニュー171を操作して、プルダウンメニュー171の左側に表示された図形に対応する処理を選択する場合、プルダウンメニュー171を操作することにより表示されるメニューから、所望する処理を示す文字が表示されている項目を選択することで図形に対応する処理を選択する。
例えば、ユーザは、プルダウンメニュー171を操作することにより、図形に対応する処理、つまり図形に割り当てる、ブラウザ、および音楽や動画像を再生するためのアプリケーションプログラム以外のアプリケーションプログラムが属すカテゴリの処理として、テレビジョン放送番組を表示させるアプリケーションプログラムにおいて、チャンネルを示す数字が増加するように選局する処理、テレビジョン放送番組を表示させるアプリケーションプログラムにおいて、チャンネルを示す数字が減少するように選局する処理、キーコマンドにより実行される処理、または所定のアプリケーションプログラムを起動させる処理の何れかを選択することができる。
また、設定画面のプルダウンメニュー111、プルダウンメニュー141、またはプルダウンメニュー171が操作されて、キーコマンドにより実行される処理が選択されると、表示部22には、例えば図8に示すコマンド設定画面が表示される。
図8に示すコマンド設定画面には、キーコマンドを実行させるときに操作されるキーボード25のキーを選択するためのチェックボックス201乃至チェックボックス210が設けられている。
図中、チェックボックス201の右側には、文字“Ctrl”が表示されており、チェックボックス201が操作されて、チェックボックス201にチェック記号が表示されると、文字“Ctrl”が印字されたコントロールキーが選択される。
チェックボックス202の右側には、文字“Shift”が表示されており、チェックボックス202が操作されて、チェックボックス202にチェック記号が表示されると、文字“Shift”が印字されたシフトキーが選択される。チェックボックス203の右側には、文字“Esc”が表示されており、チェックボックス203が操作されて、チェックボックス203にチェック記号が表示されると、文字“Esc”が印字されたエスケープキーが選択される。
また、チェックボックス204の右側には、文字“Back space”が表示されており、チェックボックス204が操作されて、チェックボックス204にチェック記号が表示されると、文字“Back space”が印字されたバックスペースキーが選択される。チェックボックス205の右側には、文字“Alt”が表示されており、チェックボックス205が操作されて、チェックボックス205にチェック記号が表示されると、文字“Alt”が印字されたオルトキーが選択される。
チェックボックス206の右側には、文字“Delete”が表示されており、チェックボックス206が操作されて、チェックボックス206にチェック記号が表示されると、文字“Delete”が印字されたデリートキーが選択される。チェックボックス207の右側には、文字“Start menu”が表示されており、チェックボックス207が操作されて、チェックボックス207にチェック記号が表示されると、OS(Operating System)のスタートメニューを表示させるキーが選択される。
チェックボックス208の右側には、文字“Cursor”が表示されており、チェックボックス208が操作されて、チェックボックス208にチェック記号が表示されると、矢印が印字された十字キーの何れかが選択される。ユーザは、チェックボックス208の右側に設けられたプルダウンメニュー211を操作することにより所望する十字キーを選択する。
チェックボックス209の右側には、文字“F1-F12”が表示されており、チェックボックス209が操作されて、チェックボックス209にチェック記号が表示されると、文字“F1”乃至“F12”の何れかが印字されたファンクションキーの何れかが選択される。ユーザは、チェックボックス209の右側に設けられたプルダウンメニュー212を操作することにより所望するファンクションキーを選択する。
チェックボックス210の右側には、文字“A-Z”が表示されており、チェックボックス210が操作されて、チェックボックス210にチェック記号が表示されると、文字“A”乃至“Z”の何れかが印字された文字キーの何れかが選択される。ユーザは、チェックボックス210の右側に設けられたプルダウンメニュー213を操作することにより所望する文字キーを選択する。
さらに、図中、設定画面の下側にはボタン214およびボタン215が設けられている。ボタン214には文字“OK”が表示されており、ボタン214は、キーコマンドを実行させるときに操作されるキーボード25のキーの選択を決定するときに操作される。ボタン215には、文字“キャンセル”が表示され、ボタン215は、コマンド設定画面におけるキーの選択を取り消すときに操作される。
例えば、ユーザが表示部22に表示されているウィンドウの所定の領域の文字または画像を複写させたい場合、ユーザはコマンド設定画面において、チェックボックス201およびチェックボックス210を選択してチェック記号を表示させ、さらにプルダウンメニュー213を操作して、文字“C”が印字された文字キーを選択する。これにより、キーコマンドとして、コントロールキーおよび文字“C”が印字された文字キーが同時に操作されたときに実行される、所定の領域の文字または画像を複写する処理が設定される。
また、ユーザが表示部22に表示されているアクティブなウィンドウを閉じさせたい場合、ユーザはコマンド設定画面において、チェックボックス205およびチェックボックス209を選択してチェック記号を表示させ、さらにプルダウンメニュー212を操作して、文字“F4”が印字されたファンクションキーを選択する。これにより、キーコマンドとして、オルトキーおよび文字“F4”が印字されたファンクションキーが同時に操作されたときに実行される、アクティブなウィンドウを閉じる処理が設定される。
このように、キーボード25に設けられた複数のキーを組み合わせて選択し、それらの選択されたキーが同時に操作されたときに実行される処理をキーコマンドとすることで、キーボード25が操作されて実行される処理を含む、より多くの処理を入力する図形に割り当てることができる。また、ユーザは、所定の図形を入力するという簡単な操作で、キーボード25やマウスの操作を必要とすることなく、アプリケーションプログラムにおける煩雑な操作を必要としていた処理を実行させることができる。
さらに、設定画面のプルダウンメニュー171が操作されて、所定のアプリケーションプログラムを起動させる処理が選択されると、表示部22には、例えば図9に示すプログラム設定画面が表示される。
図9に示すプログラム設定画面には、文字“実行するプログラムの選択”が表示されている。また、図中、プログラム設定画面の右側にはボタン241が設けられており、ボタン241には文字“参照”が表示されている。このボタン241が操作されると、表示部22には、起動させるアプリケーションプログラムを選択する画面が表示される。ユーザは、ボタン241が操作されて表示された画面において、例えば電子メールソフトウェア、電卓機能を実現するアプリケーションプログラムなど、所望するアプリケーションプログラムを選択する。
ボタン241の下には、ボタン242およびボタン243が設けられている。ボタン242には文字“OK”が表示されており、ボタン242は、起動させるアプリケーションプログラムの選択を決定するときに操作される。ボタン243には、文字“キャンセル”が表示され、ボタン243は、プログラム設定画面におけるアプリケーションプログラムの選択を取り消すときに操作される。
例えば、プログラム設定画面において、ユーザの使用頻度の高いアプリケーションプログラムを起動させるようにアプリケーションプログラムを選択することで、ユーザは、より迅速に所望するアプリケーションプログラムを起動させることができる。
以上のようにして、ユーザは設定画面を表示させて、入力する図形ごとに所望する処理を選択する。なお、設定画面のプルダウンメニュー111、プルダウンメニュー141、またはプルダウンメニュー171に、ユーザがキーボード25を操作することにより、図形に割り当てる処理を示す文字を直接入力できるようにしてもよい。
また、複数のユーザが1つの情報処理装置11を共有して使用する場合、ユーザごとに、アプリケーションプログラムごとの処理を図形に割り当てることができるようにしてもよいし、所定の図形が入力された場合に、ユーザにより指定されたファイルが開かれるようにしてもよい。
次に、図10のフローチャートを参照して、情報処理装置11がユーザの操作に応じて入力する図形に所定の処理を割り当てる処理である、登録情報更新処理について説明する。この登録情報更新処理は、ユーザにより設定画面の表示が指示されると開始される。
ステップS11において、登録部74は記録部75から設定画面を表示させるための画像データを取得して表示部22に供給する。表示部22は、登録部74から供給された画像データに基づいて設定画面を表示する。これにより表示部22には、例えば、図5に示した設定画面が表示される。
ステップS12において、登録部74は処理が選択されたか否かを判定する。例えば、ユーザによりプルダウンメニュー111、プルダウンメニュー141、またはプルダウンメニュー171が操作されて、入力される図形に対応する処理が選択され、入力部71から登録部74にユーザの操作に応じた信号が供給されると、処理が選択されたと判定される。
ステップS12において処理が選択されたと判定された場合、ステップS13に進み、登録部74は選択された処理を一時的に記憶する。例えば、ユーザが図5に示した設定画面において、プルダウンメニュー111−1を操作して、音量を大きくする処理を選択した場合、登録部74は入力部71からの信号に基づいて、プルダウンメニュー111−1により示される処理、すなわちブラウザが属すカテゴリの左方向に向かう直線に割り当てる処理として選択された、音量を大きくする処理を示す情報を一時的に記憶する。
また、ステップS12において、処理が選択されなかったと判定された場合、ステップS14に進み、登録部74はユーザの操作に応じた処理を行う。例えば、ユーザが図5に示した設定画面においてタブ102を選択した場合、登録部74は、表示部22を制御して、設定画面の表示を切り替えさせる。
ステップS13において選択された処理が一時的に記憶されるか、ステップS14において操作に応じた処理が行われると、ステップS15において、登録部74は処理を終了するか否かを判定する。例えば、図5に示した設定画面において、ボタン112またはボタン113が選択された場合、登録部74は処理を終了すると判定する。
ステップS15において処理を終了すると判定されなかった場合、ステップS12に戻り、上述した処理が繰り返される。
これに対して、ステップS15において処理を終了すると判定された場合、ステップS16において、登録部74は選択された処理の設定が指示されたか否かを判定する。例えば、設定画面において、ボタン112が選択された場合、設定が指示されたと判定され、ボタン113が選択された場合、設定が指示されなかったと判定される。
ステップS16において、設定が指示されなかったと判定された場合、入力される図形と、図形に対応付けられたアプリケーションプログラムごとの処理とを示す登録情報は更新されず、ステップS17の処理はスキップされて登録情報更新処理は終了する。
一方、ステップS16において、設定が指示されたと判定された場合、ステップS17に進み、登録部74は、ステップS13の処理において記憶した、入力する図形に割り当てる処理を示す情報に基づいて、記録部75に記録されている登録情報を更新する。例えば、登録部74がプルダウンメニュー111−1により示される処理として、音量を大きくする処理を示す情報を記憶している場合、登録部74は、登録情報により示されるプルダウンメニュー111−1により示される処理が、これまで割り当てられていた処理から音量を大きくする処理に変更されるように登録情報を更新する。登録情報が更新されると、登録情報更新処理は終了する。
このようにして情報処理装置11は、ユーザの操作に応じて登録情報を更新し、入力する図形にアプリケーションプログラムごとの所定の処理を割り当てる。
このように、入力する図形にアプリケーションプログラムごとの所定の処理を割り当てることによって、ユーザは入力する図形ごとに、それぞれの図形からユーザがイメージし易い処理を割り当てることができる。
次に、図11のフローチャートを参照して、情報処理装置11がユーザの操作に応じて入力デバイスモードとタッチコマンドモードとを切り替える処理である、モード設定処理について説明する。このモード設定処理は、情報処理装置11の電源がオンされると開始される。
情報処理装置11の電源がオンされて情報処理装置11が起動すると、ステップS41において、モード設定部72は、操作モードを入力デバイスモードに設定する。そして、モード設定部72は、操作モードとして、入力デバイスモードに設定されていることを示す操作モード情報を記憶する。
ステップS42において、モード設定部72は、タッチペンやユーザの指により表示部22、すなわちタッチパネル23が所定の時間以上押圧されたか否かを判定する。なお、タッチパネル23が所定の時間以上押圧されたと判定されるまでの時間の長さは、ユーザにより自由に設定することができる。
ステップS42において、所定の時間以上押圧されていないと判定された場合、ステップS42に戻り、所定の時間以上押圧されたと判定されるまで判定の処理が繰り返される。
これに対して、ステップS42において、所定の時間以上押圧されたと判定された場合、ステップS43に進み、モード設定部72は、操作モードをタッチコマンドモードに設定する。そして、モード設定部72は、記憶している操作モード情報を更新し、操作モードとしてタッチコマンドモードに設定されていることを示す操作モード情報を記憶する。
また、モード設定部72は操作モード情報を更新すると、制御部77を介して記録部75からタッチコマンドモードであることを示す画像を表示させるための画像データを取得し、表示部22に供給する。
ステップS44において、表示部22は、モード設定部72から供給された画像データに基づいて、タッチコマンドモードであることを示す画像を表示する。これにより、表示部22には、例えば、図12に示す画像が表示される。
図12には、表示部22の図中、上側にタッチコマンドモードであることを示す画像271が表示されている。画像271には、その左側にタッチコマンドモードであることを想起させる画像が表示され、その画像の右側には文字“TOUCH COMMAND”が表示されている。ユーザは、この画像271を見ることにより、タッチコマンドモードであるか否かを瞬時に判断することができる。
なお、ユーザがタッチコマンドモードであることを容易に知ることができるように、画像271を表示させると説明したが、マウスカーソルの形状を変化させたり、情報処理装置11に設けられたLED(Light Emitting Diode)を点灯させたりしてもよい。また、その他、表示画面をフラッシュ表示したり、グレースケール表示したりして、入力デバイスモード時とは異なる表示形式で表示するようにしてもよい。
図11のフローチャートの説明に戻り、ステップS45において、モード設定部72は、図形に対応する処理が実行されたか否かを判定する。例えば、タッチコマンドモードとなってから、ユーザにより所定の処理を実行させるための図形が入力され、入力された図形および操作の対象となるアプリケーションプログラムにより特定される処理が実行された場合、処理が実行されたと判定される。
ステップS45において、処理が実行されていないと判定された場合、ステップS46に進み、モード設定部72は、タッチコマンドモードに設定されてから所定の時間が経過したか否かを判定する。なお、タッチコマンドモードに設定されてから所定の時間が経過したと判定されるまでの時間の長さは、ユーザにより自由に設定することができる。
ステップS46において、所定の時間が経過していないと判定された場合、まだ入力デバイスモードには移行しないので、処理はステップS45に戻る。
これに対して、ステップS46において、所定の時間が経過したと判定された場合、タッチコマンドモードから入力デバイスモードに移行するので、処理はステップS49に進む。
また、ステップS45において、処理が実行されたと判定された場合、ステップS47に進み、モード設定部72は、タッチパネル23に新たな図形が入力されたか否かを判定する。ステップS47において、新たな図形が入力されたと判定された場合、処理はステップS45に戻り、新たに入力された図形に対応する処理が実行されたか否かの判定が行われる。
一方、ステップS47において、新たな図形が入力されていないと判定された場合、ステップS48に進み、モード設定部72は、最後に図形が入力されてから所定の時間が経過したか否かを判定する。なお、最後に図形が入力されてから所定の時間が経過したと判定されるまでの時間の長さは、ユーザにより自由に設定することができる。
ステップS48において、所定の時間が経過していないと判定された場合、処理はステップS47に戻り、上述した処理が繰り返される。
これに対して、ステップS48において、所定の時間が経過したと判定された場合、タッチコマンドモードから入力デバイスモードに移行するので、処理はステップS49に進む。
ステップS46において所定の時間が経過したと判定されるか、ステップS48において所定の時間が経過したと判定されると、ステップS49において、表示部22はモード設定部72の制御のもと、タッチコマンドモードであることを示す画像271の表示を消去して、処理はステップS41に戻り、上述した処理が繰り返される。なお、より詳細には、モード設定処理は情報処理装置11の電源がオフされると終了される。
このようにして、情報処理装置11は、ユーザの操作に応じて入力デバイスモードとタッチコマンドモードとの切り替えを行う。
このように、ユーザの操作に応じて入力デバイスモードとタッチコマンドモードとの切り替えを行うことにより、よりシームレスに操作モードの切り替えを行うことができる。
また、タッチコマンドモードに設定されてから、図形が入力されずに所定の時間が経過するか、最後に図形が入力されてから所定の時間が経過した場合に、タッチコマンドモードから入力デバイスモードに移行するようにすることで、ユーザは1回の操作だけではなく、所望する回数だけ連続して図形を入力し、処理を実行させることができる。
なお、タッチパネル23が所定の時間以上押圧されると、入力デバイスモードからタッチコマンドモードに移行すると説明したが、その他、タッチパネル23が所定の回数押圧された場合、キーボード25やマウスによる所定の操作が行われた場合、タッチパネル23とキーボード25またはマウスとによる所定の操作が行われた場合などにタッチコマンドモードに移行するようにしてもよい。
また、タッチコマンドモードから入力デバイスモードへの移行においても、タッチパネル23に所定の図形が入力された場合、キーボード25やマウスによる所定の操作が行われた場合などに入力デバイスモードに移行するようにしてもよい。
ユーザの操作により操作モードがタッチコマンドモードに設定されると、情報処理装置11は、ユーザにより入力される図形に対応する処理を実行する処理である、コマンド実行処理を開始する。以下、図13のフローチャートを参照して、情報処理装置11によるコマンド実行処理について説明する。
ステップS71において、制御部77は、モード設定部72に記憶されている操作モード情報を参照して、タッチコマンドモードであるか否かを判定する。
ステップS71において、タッチコマンドモードであると判定された場合、ステップS72に進み、制御部77は、タッチコマンドモードとなってから所定の時間内に図形が入力されたか否かを判定する。なお、ここでいう所定の時間の長さは、図11のステップS46における、タッチコマンドモードに設定されてから所定の時間が経過したと判定されるまでの時間の長さと同じとされる。
ステップS72において、図形が入力されたと判定された場合、ステップS73に進み、情報処理装置11はタッチコマンド実行処理を行い、コマンド実行処理は終了する。なお、タッチコマンド実行処理の詳細は後述するが、このタッチコマンド実行処理において、入力された図形に対応する処理が実行される。
一方、ステップS72において図形が入力されなかったと判定された場合、図形に対応する処理は実行されないので、コマンド実行処理は終了する。
また、ステップS71において、タッチコマンドモードでないと判定された場合、すなわち入力デバイスモードであると判定された場合、ステップS74にすすむ。ステップS74において、処理実行部78は、ユーザの操作に応じた処理を行い、コマンド実行処理は終了する。すなわち、制御部77は、ユーザの操作に応じて入力部71またはタッチパネル23から供給される信号に基づいて、ユーザの操作に応じた処理の実行を処理実行部78に指示する。処理実行部78は、制御部77からの指示に基づいて、指示された処理を実行する。
このようにして、情報処理装置11は、ユーザの操作に応じて所定の処理を実行する。次に、図14のフローチャートを参照して、図13のステップS73の処理に対応する処理である、タッチコマンド実行処理について説明する。
ステップS101において、タッチパネル23は、ユーザの操作に応じて所定の図形を入力する。すなわち、タッチパネル23は、ユーザにより入力された図形を示す信号を図形認識部73に供給する。より詳細には、タッチパネル23は、ユーザの手書き入力操作による指示位置の座標を検出し、その検出された座標を示す信号を図形認識部73に供給する。
ステップS102において、図形認識部73は、タッチパネル23から供給された信号に基づいて、入力された図形を認識する。図形認識部73は図形が認識されると、その認識結果を制御部77に供給する。例えば、図形認識部73は、タッチパネル23から供給された座標を示す信号に基づいて、入力された図形を認識する。
ステップS103において、検出部76は処理の対象となっているウィンドウ、すなわちアクティブなウィンドウのアプリケーションプログラムを検出し、その検出結果を制御部77に供給する。例えば、検出部76は、表示部22に表示されているウィンドウのうち、最も前面に表示されているウィンドウのウィンドウクラス名またはキャプション名を取得してアプリケーションプログラムを示す情報を抽出することにより、処理の対象となっているアプリケーションプログラムを検出する。
ステップS104において、制御部77は、検出部76から供給された検出結果に基づいて、検出されたアプリケーションプログラムが、ウェブページの閲覧を行うためのアプリケーションプログラム、すなわちブラウザであるか否かを判定する。
例えば、記録部75に記録されている登録情報には、各カテゴリに属すアプリケーションプログラムを示す情報が含まれており、制御部77は登録情報を参照して、検出されたアプリケーションプログラムと、ブラウザが属すカテゴリのアプリケーションプログラムとを比較することにより、ブラウザであるか否かを判定する。
ステップS104において、ブラウザであると判定された場合、ステップS105に進み、制御部77は、図形認識部73からの認識結果および検出部76からの検出結果に基づいて、記録部75に記録されている登録情報を参照し、ブラウザが属すカテゴリおよび入力された図形により特定される処理を選択する。すなわち、制御部77は、検出されたアプリケーションプログラムおよび入力された図形により特定される処理を選択する。
例えば、入力された図形が時計回りの方向に描かれた円であり、図5の設定画面により示されるように、ブラウザが属すカテゴリに割り当てる処理を選択するためのプルダウンメニュー111−5に文字“更新(ブラウザ)”が表示されている場合、プルダウンメニュー111−5により示される処理、すなわちブラウザが属すカテゴリ、および時計回りの方向に描かれた円により特定される処理は、ブラウザにより表示されているウェブページの表示の更新を行う処理であるので、制御部77は、検出されたアプリケーションプログラムおよび入力された図形により特定される処理として、ウェブページの表示の更新を行う処理を選択する。
制御部77は、処理を選択すると、その選択された処理の実行を処理実行部78に指示し、処理はステップS109に進む。より詳細には、制御部77は、選択された処理を検出されたアプリケーションプログラムに実行させる。
また、ステップS104において、ブラウザでないと判定された場合、ステップS106に進み、制御部77は、検出されたアプリケーションプログラムは音楽や動画像を再生するためのアプリケーションプログラムであるか否かを判定する。
ステップS106において、音楽や動画像を再生するためのアプリケーションプログラムであると判定された場合、ステップS107に進み、制御部77は、図形認識部73からの認識結果および検出部76からの検出結果に基づいて、記録部75に記録されている登録情報を参照し、音楽や動画像を再生するためのアプリケーションプログラムが属すカテゴリおよび入力された図形により特定される処理を選択する。
すなわち、制御部77は、検出されたアプリケーションプログラムおよび入力された図形により特定される処理を選択する。制御部77は、処理を選択すると、その選択された処理の実行を処理実行部78に指示し、処理はステップS109に進む。より詳細には、制御部77は、選択された処理を検出されたアプリケーションプログラムに実行させる。
一方、ステップS106において、音楽や動画像を再生するためのアプリケーションプログラムでないと判定された場合、ステップS108に進み、制御部77は、図形認識部73からの認識結果および検出部76からの検出結果に基づいて、記録部75に記録されている登録情報を参照し、その他のアプリケーションプログラム、つまりウェブページの閲覧を行うためのアプリケーションプログラムおよび音楽や動画像を再生するためのアプリケーションプログラム以外のアプリケーションプログラムが属すカテゴリ、および入力された図形により特定される処理を選択する。
換言すれば、制御部77は、検出されたアプリケーションプログラムおよび入力された図形により特定される処理を選択する。制御部77は、処理を選択すると、その選択された処理の実行を処理実行部78に指示し、処理はステップS109に進む。より詳細には、制御部77は、選択された処理を検出されたアプリケーションプログラムに実行させる。
ステップS105、ステップS107、またはステップS108において、入力された図形に対応する処理が選択されると、ステップS109において、処理実行部78は、制御部77により指示された処理を実行する。すなわち、処理実行部78は、タッチコマンドモードとなるまで処理の対象となっていたウィンドウを対象として、指示された処理を実行する。
ステップS110において、制御部77は、最後に図形が入力されてから所定の時間内に新たな図形が入力されたか否かを判定する。なお、ここでいう所定の時間の長さは、図11のステップS48における、最後に図形が入力されてから所定の時間が経過したと判定されるまでの時間の長さと同じとされる。
ステップS110において、図形が入力されたと判定された場合、処理はステップS101に戻り、上述した処理が繰り返される。
これに対してステップS110において、図形が入力されなかったと判定された場合、処理は終了する。
このようにして、情報処理装置11は、入力された図形および検出されたアプリケーションプログラムにより特定される処理を実行する。
このように、入力された図形および検出されたアプリケーションプログラムにより特定される処理を実行することで、ユーザは、所定の図形を入力するという簡単かつ感覚的な操作で、所望する処理を実行させることができる。すなわち、ユーザは、表示部22に小さく表示されるボタンやメニューを選択するように情報処理装置11を操作する必要がなく、簡単な操作で処理を実行させることができる。
また、アクティブなアプリケーションプログラムを操作の対象となるアプリケーションプログラムとして検出することで、情報処理装置11により、ユーザが意図しない処理が実行されることを防止することができる。
さらに、ユーザは、情報処理装置11を持って、キーボード25やマウスなどを操作する必要がないので、所望する処理を実行させるときに情報処理装置11を持ち替える必要もなく、比較的手を動かさずに操作することができる。
さらに、また、タッチコマンドモード時に、表示部22の表示画面全体を入力エリアとして図形を入力することができるため、ユーザは、図形を入力する領域を気にすることなく図形を描くことができる。
なお、以上においては、アプリケーションプログラムごとの処理を図形に割り当てると説明したが、入力される図形の数やアプリケーションプログラムの数が多くなると、ユーザが、どの図形にどの処理を割り当てたかを思い出せなくなってしまう恐れがある。
そこで、タッチコマンドモード時に、ユーザが所定の図形、例えば、単語“HELP”の先頭の文字“H”などを入力することによって、入力される図形のそれぞれと、それらの図形に割り当てられた、アクティブなアプリケーションプログラムの処理のそれぞれとの一覧を表示する画面、すなわちいわゆるヘルプ画面を表示させるようにしてもよい。
そのような場合、ヘルプ画面を表示させるための図形が入力されると、制御部77は、図形認識部73からの認識結果および検出部76からの検出結果に基づいて、処理実行部78にヘルプ画面の表示を指示する。処理実行部78は、制御部77からの指示にしたがって、表示部22にヘルプ画面を表示させる。これにより表示部22には、例えば、図15に示すヘルプ画面が表示される。
図15に示す表示部22の表示画面には、入力される図形のそれぞれと、それらの図形に割り当てられた、アクティブなアプリケーションプログラムの処理のそれぞれとの一覧を表示するヘルプ画面301が表示されている。
ヘルプ画面301には、入力する図形として、左方向に向かう直線、右方向に向かう直線、上方向に向かう直線、下方向に向かう直線、時計回りの方向に描かれた円、反時計回りの方向に描かれた円、左方向に向かう山形の図形、右方向に向かう山形の図形、左方向に向かう谷形の図形、および右方向に向かう谷形の図形のそれぞれが表示されており、それらの図形の右側には、それらの図形に対応付けられた処理を示す文字“Back”、“Next”、“Volume up”、“Volume down”、“Mute”、“Refresh”、“None”、“None”、“None”、および“None”が表示されている。
このように、ヘルプ画面301を表示させることによって、ユーザは、入力する図形と、その図形が入力されることにより実行される処理とを確認しながら図形を入力することができ、操作性を向上させることができる。なお、タッチコマンドモードに設定されたときや、入力された図形が図形認識部73において認識できなかったときにヘルプ画面301が表示されるようにしてもよい。
なお、タッチパネル23を用いて入力された図形に対して、ヘルプ画面が表示されるようにしてもよい。そのような場合、ヘルプ画面には入力された図形と、その図形に対応付けられた処理を示す文字とが表示される。このように、入力された図形に対応する処理を示す文字をヘルプ画面に表示することによって、ユーザはヘルプ画面を見ることで、自分が入力した図形に対してこれから実行される処理を明確に認識することができる。
また、入力された図形に対してヘルプ画面を表示することで、入力された図形が正しく認識されず、ユーザが意図しない図形として認識された場合にも、ユーザはヘルプ画面を見ることで、図形認識部73において誤認識が生じたことを的確に認識することができる。
さらに、以上においては、図形が入力されると、アクティブなウィンドウに対して処理が実行されると説明したが、表示部22における図形が入力された領域に割り当てられたアプリケーションプログラムの処理を実行するようにしてもよい。
以下、図16のフローチャートを参照して、領域に割り当てられたアプリケーションプログラムの処理が実行される場合におけるタッチコマンド実行処理について説明する。なお、ステップS131の処理およびステップS132の処理は、図14におけるステップS101の処理およびステップS102の処理と同様であるので、その説明は省略する。
ステップS133において、検出部76は処理の対象となるアプリケーションプログラムを検出し、その検出結果を制御部77に供給する。例えば、図17に示すように、表示部22の表示画面を構成する領域331乃至領域334のそれぞれには、アプリケーションプログラムが割り当てられている。図17では、領域331乃至領域334のそれぞれは面積の等しい領域とされており、表示部22の表示画面は領域331乃至領域334により4等分されている。
検出部76は、領域331乃至領域334のうちの何れの領域に図形が入力されたかを検出し、検出された領域に割り当てられたアプリケーションプログラムを処理の対象となるアプリケーションプログラムとする。
ステップS134において、制御部77は、図形認識部73からの認識結果および検出部76からの検出結果に基づいて、記録部75に記録されている登録情報を参照し、検出されたアプリケーションプログラムおよび入力された図形により特定される処理を選択する。
例えば、図5に示した10種類の図形のそれぞれには、領域331乃至領域334それぞれに割り当てられたアプリケーションプログラムごとの所定の処理が割り当てられている。すなわち、例えば、図5に示した左方向に向かう直線には、領域331に対応するアプリケーションプログラムの処理、領域332に対応するアプリケーションプログラムの処理、領域333に対応するアプリケーションプログラムの処理、および領域334に対応するアプリケーションプログラムの処理が対応付けられている。
したがって、例えば、認識結果により示される図形が左方向に向かう直線であり、検出結果により示されるアプリケーションプログラムが、領域331に対応するアプリケーションプログラムである場合、制御部77は、左方向に向かう直線に割り当てられた領域331に対応するアプリケーションプログラムの処理を選択する。
ステップS134において実行される処理が選択されると、その後、ステップS135の処理およびステップS136の処理が行われるが、これらの処理は図14のステップS109の処理およびステップS110の処理と同様であるのでその説明は省略する。
このようにして、情報処理装置11は、図形が入力された領域に割り当てられたアプリケーションプログラムの処理を実行する。
このように、図形が入力された領域に割り当てられたアプリケーションプログラムの処理を実行することで、ユーザはタッチコマンドモードに移行するように操作するときに、処理の対象としたいアプリケーションプログラムのウィンドウをいちいちアクティブにする必要がなく、より簡単に所望する処理を実行させることができる。
また、表示部22の表示画面を構成する領域にアプリケーションプログラムを割り当てずに、図形が入力された位置に表示されているウィンドウのアプリケーションプログラムの処理が実行されるようにしてもよい。そのような場合、入力される図形には、アプリケーションプログラムごとの処理が割り当てられ、ユーザは、処理の対象としたいアプリケーションプログラムのウィンドウ上に、所望する処理を実行させるための図形を入力する。
以下、図18のフローチャートを参照して、図形が入力された位置に表示されているウィンドウのアプリケーションプログラムの処理が実行される場合における、タッチコマンド実行処理について説明する。なお、ステップS161の処理およびステップS162の処理は、図14におけるステップS101の処理およびステップS102の処理と同様であるので、その説明は省略する。
ステップS163において、検出部76は、図形が入力されたウィンドウのアプリケーションプログラムを検出し、その検出結果を制御部77に供給する。例えば、アプリケーションプログラムにより所定の機能が実行される場合、表示部22にはそのアプリケーションプログラムに対応するウィンドウが表示される。検出部76は、ユーザにより図形が入力された位置にあるウィンドウのウィンドウクラス名またはキャプション名を取得してアプリケーションプログラムを示す情報を抽出することにより、処理の対象となるアプリケーションプログラムを検出する。
ステップS164において、制御部77は、図形認識部73からの認識結果および検出部76からの検出結果に基づいて、記録部75に記録されている登録情報を参照し、検出されたアプリケーションプログラムおよび入力された図形により特定される処理を選択する。その後、ステップS165の処理およびステップS166の処理が行われるが、これらの処理は図14のステップS109の処理およびステップS110の処理と同様であるのでその説明は省略する。
このようにして、情報処理装置11は、図形が入力された位置に表示されているウィンドウのアプリケーションプログラムの処理を実行する。
このように、図形が入力された位置に表示されているウィンドウのアプリケーションプログラムの処理を実行することで、より簡単かつ直感的に所望する処理を実行させることができる。また、ユーザはより多くのアプリケーションプログラムに対して、図形の入力による処理を実行させることができる。
また、以上においては、所定の処理を実行させるために入力される図形は予め定められていると説明したが、ユーザが入力する図形を変更できるようにしてもよい。そのような場合、例えば、図5に示した設定画面が表示されている状態において、ユーザが設定画面に表示されている図形を選択することにより、変更する図形を指定する。ユーザが変更する図形を指定すると、情報処理装置11は、ユーザの操作に応じて図形を変更する処理である図形登録処理を行う。
以下、図19のフローチャートを参照して、情報処理装置11による図形登録処理について説明する。なお、この図形登録処理は、図10の登録情報更新処理におけるステップS14の処理に対応する処理であり、ユーザにより変更する図形が指定されると開始される。
ステップS191において、登録部74は入力部71またはタッチパネル23からの信号に基づいて、ユーザにより指定された図形を選択する。そして、登録部74は、記録部75から、入力する図形を変更するか否かを確認するダイアログを表示させる画像データを取得して表示部22に供給する。表示部22は、登録部74から供給された画像データに基づいて、ダイアログを表示する。
ステップS192において、登録部74は、入力部71またはタッチパネル23からの信号に基づいて、図形の変更が指示されたか否かを判定する。例えば、ユーザによりダイアログに設けられたボタンが操作されて変更が指示された場合、登録部74は図形の変更が指示されたと判定する。
ステップS192において、図形の変更が指示されなかったと判定された場合、入力する図形を変更しないので、ステップS193の処理乃至ステップS196の処理はスキップされて、図形登録処理は終了する。
これに対して、ステップS192において、図形の変更が指示されたと判定された場合、登録部74は、記録部75から図形を入力するための図形入力画面の画像データを取得して表示部22に供給し、処理はステップS193に進む。
ステップS193において、表示部22は、登録部74から供給された画像データに基づいて、図形入力画面を表示する。これにより、表示部22には、例えば図20に示す図形入力画面が表示される。図20に示す図形入力画面には、図形を入力するための正方形の領域361が設けられている。ユーザは、タッチペンを用いて領域361上に所望する図形を描き、変更後の図形としたい図形を入力する。
図19のフローチャートの説明に戻り、領域361に図形が入力されると、ステップS194において、図形認識部73は、タッチパネル23からの信号に基づいて、入力された図形を認識し、その認識結果を登録部74に供給する。登録部74は、図形認識部73から認識結果が供給されると、図形を登録するか否かを確認するためのダイアログを表示させるための画像データを記録部75から取得して表示部22に供給する。表示部22は、登録部74から供給された画像データに基づいて、ユーザにより入力された図形を、所定の処理を実行させるときに入力される図形として登録するか否かを確認するためのダイアログを表示する。
ステップS195において、登録部74は、入力された図形を登録するか否かを判定する。例えばユーザによりダイアログに設けられたボタンが操作されて登録が指示された場合、登録部74は登録すると判定する。
ステップS195において、登録しないと判定された場合、ステップS196の処理はスキップされて図形登録処理は終了する。
これに対して、ステップS195において、登録すると判定された場合、ステップS196に進み、登録部74は、図形認識部73から供給された認識結果に基づいて、記録部75に記録されている登録情報を更新し、図形登録処理は終了する。この場合、登録部74は、ユーザにより指定された図形が、ユーザにより入力された図形に変更されるように登録情報を更新する。
以上の処理により、設定画面において指定された図形が、ユーザにより入力された図形に変更される。例えば、図5に示した設定画面において、左方向に向かう直線が変更の対象となる図形として指定され、ユーザにより三角形の図形が入力された場合、プルダウンメニュー111−1により示される処理に対応付けられる図形が、これまで対応付けられていた左方向に向かう直線から、新たに入力された三角形に変更されるように登録情報が更新される。したがって、タッチコマンドモード時に処理を実行させるための図形として三角形が入力され、ブラウザがアクティブであった場合、その三角形に対応付けられた、プルダウンメニュー111−1により示される処理が実行されることになる。
このようにして、情報処理装置11は、指定された図形がユーザにより入力された図形に変更されるように登録情報を更新する。
このように、登録情報を更新して、処理を実行させるときに入力される図形を任意の図形に変更することによって、ユーザは、自分の好みの図形に所望する処理を割り当てることができ、入力される図形と、その図形に対応付けられた処理との相関関係をより分かりやすくすることができる。
なお、入力する図形を変更するだけでなく、新たな図形を登録し、その図形にアプリケーションプログラムごとの処理を割り当てるようにしてもよい。また、ユーザが所望するアプリケーションプログラムの処理を図形の入力により実行させることができるように、新たなアプリケーションプログラムが登録されるようにしてもよい。
そのような場合、ユーザは図5に示した設定画面のタブ101乃至タブ103のうちの何れかを、例えば右クリックなどの操作により選択し、ウェブページの閲覧を行うためのアプリケーションプログラムが属すカテゴリ、音楽や動画像を再生するためのアプリケーションプログラムが属すカテゴリ、またはその他のアプリケーションプログラムが属すカテゴリの何れかに、新たなアプリケーションプログラムを登録できるようにする。
すなわち、タブ101が選択された場合、新たなアプリケーションプログラムは、ウェブページの閲覧を行うためのアプリケーションプログラムが属すカテゴリに登録され、そのカテゴリに属すアプリケーションプログラムとされる。
また、タブ102が選択された場合、新たなアプリケーションプログラムは、音楽や動画像を再生するためのアプリケーションプログラムが属すカテゴリに登録され、そのカテゴリに属すアプリケーションプログラムとされる。同様に、タブ103が選択された場合、新たなアプリケーションプログラムは、その他のアプリケーションプログラムが属すカテゴリに登録され、そのカテゴリに属すアプリケーションプログラムとされる。
以下、図21のフローチャートを参照して、情報処理装置11がユーザの操作に応じて新たなアプリケーションプログラムを登録する処理であるアプリケーションプログラム登録処理について説明する。なお、このアプリケーションプログラム登録処理は、図10の登録情報更新処理におけるステップS14の処理に対応する処理であり、ユーザによりタブ101乃至タブ103のうちの何れかが選択されると開始される。
ステップS221において、表示部22は、アプリケーションプログラムを追加するためのダイアログを表示する。すなわち、登録部74は、ダイアログを表示させるための画像データを記録部75から取得して表示部22に供給する。表示部22は、登録部74からの画像データに基づいて、ダイアログを表示する。
ステップS222において、登録部74は、アプリケーションプログラムの追加が指示されたか否かを判定する。例えば、ユーザがダイアログに設けられたボタンを操作して、新たなアプリケーションプログラムの登録を指示した場合、すなわち新たなアプリケーションプログラムの追加が指示された場合、追加が指示されたと判定される。
ステップS222において、追加が指示されなかったと判定された場合、アプリケーションプログラムの登録は行われないので、ステップS223の処理乃至ステップS226の処理はスキップされて、アプリケーションプログラム登録処理は終了する。
これに対して、ステップS222において、追加が指示されたと判定された場合、ステップS223に進み、登録部74は、入力部71またはタッチパネル23からの信号に基づいて、ユーザにより指定されたウィンドウを選択する。
例えば、ユーザは、アプリケーションプログラムの追加を指示した後、新たに登録したいアプリケーションプログラムにより所定の機能が実行されるときに表示されるウィンドウを、タッチペンにより押圧することによって指定する。登録部74は、このようにしてユーザにより指定されたウィンドウを選択する。
ステップS224において、検出部76は選択されたウィンドウのアプリケーションプログラムを検出し、その検出結果を登録部74に供給する。例えば、検出部76は、選択されたウィンドウのウィンドウクラス名またはキャプション名を取得してアプリケーションプログラムを示す情報を抽出することにより、処理の対象となるアプリケーションプログラムを検出する。
登録部74は、検出部76から検出結果が供給されると、記録部75から画像データを取得して表示部22に供給し、表示部22にアプリケーションプログラムを登録するか否かを確認するためのダイアログを表示させる。
ステップS225において、登録部74は、ユーザにより新たなアプリケーションプログラムの登録が指示されたか否かを判定する。例えば、ユーザが、表示部22に表示されたダイアログに設けられたボタンを操作し、検出されたアプリケーションプログラムの登録を指示すると、登録部74は、登録が指示されたと判定する。
ステップS225において、登録が指示されたと判定されなかった場合、処理はステップS221に戻り、上述した処理が繰り返される。
一方、ステップS225において、登録が指示されたと判定された場合、ステップS226に進み、登録部74は、検出されたアプリケーションプログラムが所定のカテゴリに属すアプリケーションプログラムとされるように、記録部75に記録されている登録情報を更新し、アプリケーションプログラム登録処理は終了する。
このようにして、情報処理装置11は、新たなアプリケーションプログラムを登録する。
このように、新たなアプリケーションプログラムを登録することによって、情報処理装置11に新たなアプリケーションプログラムがインストールされた場合においても、そのアプリケーションプログラムの処理を、タッチコマンドモード時に図形を入力することで実行させることができる。
さらに、キーコマンドとして、いくつかのキー操作により実行される処理を実行できるようにしてもよい。そのような場合、ユーザは設定画面においてプルダウンメニューを操作し、図形に対応する処理としてキーコマンドにより実行される処理を選択することによって、コマンド設定画面を表示させる。そして、ユーザは、キーボード25を操作して所望するキー操作を行い、その操作を記録させる。このとき、ユーザによりキーコマンドにより実行される処理が選択されると、表示部22は、例えば図22に示すコマンド設定画面を表示する。
図22に示すコマンド設定画面には、図8に示したコマンド設定画面に、新たにチェックボックス381およびボタン382が設けられている。図中、チェックボックス381の右側には、文字“動作の記録”が表示されており、チェックボックス381が選択されて、チェックボックス381にチェック記号が表示されると、キーコマンドを記録するためのダイアログが表示される。
また、ボタン382には、文字“記録実行”が表示されており、ボタン382が選択されると、キーコマンドを記録するためのダイアログが表示される。キーコマンドを記録するためのダイアログが表示されると、ユーザは記録の開始を指示してキー操作を行う。
次に、図23のフローチャートを参照して、情報処理装置11がユーザの操作に応じてキーコマンドを記録する処理であるコマンド登録処理について説明する。なお、このコマンド登録処理は、図10の登録情報更新処理におけるステップS14の処理に対応する処理であり、チェックボックス381が操作されて、チェックボックス381にチェック記号が表示されるか、ボタン382が選択されると開始される。
ステップS251において、表示部22は、キーコマンドを記録するためのダイアログを表示する。すなわち、登録部74は、ダイアログを表示させるための画像データを記録部75から取得して表示部22に供給し、表示部22は、登録部74からの画像データに基づいて、キーコマンドを記録するためのダイアログを表示する。
ステップS252において、登録部74は、入力部71またはタッチパネル23からの信号に基づいて、キーコマンドの記録を開始するか否かを判定する。例えば、ユーザがダイアログに設けられているボタンを操作して、キーコマンドの記録の開始を指示すると、登録部74は記録を開始すると判定する。
ステップS252において、記録を開始しないと判定された場合、ステップS253の処理乃至ステップS256の処理はスキップされて、コマンド登録処理は終了する。
これに対して、ステップS252において、記録を開始すると判定された場合、ステップS253に進み、登録部74は入力部71からユーザにより入力されたキーコマンドを取得する。
例えば、ユーザは、キーコマンドの記録の開始を指示すると、入力部71としてのキーボード25を操作して、キーコマンドを入力する。ここで、入力されるキーコマンドは、例えば、コントロールキーと文字“C”が印字された文字キーとを同時に操作するだけといった、1段階の操作であってもよいし、オルトキーと文字“F”が印字された文字キーとを同時に操作した後、文字“N”が印字された文字キーを操作し、さらに文字“W”が印字された文字キーを操作するといった複数の段階の操作であってもよい。
登録部74は、ユーザの操作に応じて入力部71から供給される信号を取得することによって、入力されたキーコマンドを取得する。また、登録部74は、キーコマンドを取得すると、そのキーコマンドを表示部22に供給する。
ステップS254において、表示部22は、登録部74から供給されたキーコマンドを表示する。より詳細には、表示部22は、キーコマンドを示す文字を表示する。
ステップS255において、登録部74は、表示されたキーコマンドの登録が指示されたか否かを判定する。例えば、ユーザが表示されたキーコマンドを確認して、そのキーコマンドの記録を指示した場合、登録部74は記録が指示されたと判定する。
ステップS255において、登録が指示されなかったと判定された場合、ステップS251に戻り、上述した処理が繰り返される。
これに対して、ステップS255において、登録が指示されたと判定された場合、ステップS256に進み、登録部74は、ユーザにより入力されたキーコマンドが、所定の図形が入力されたときに実行される処理となるように記録部75に記録されている登録情報を更新し、コマンド登録処理は終了する。
以上の処理により、設定画面において操作されたプルダウンメニューにより示される処理が、これまで設定されていた処理から、ユーザにより入力されたキーコマンドにより実行される処理に変更される。例えば、図5に示した設定画面において、プルダウンメニュー111−1が操作されてキーコマンドにより実行される処理が選択され、図22に示したコマンド設定画面が表示されて、ユーザによりキーコマンドが入力された場合、プルダウンメニュー111−1により示される処理が、これまで選択されていた処理から、ユーザにより入力されたキーコマンドにより実行される処理に変更されるように登録情報が更新される。したがって、タッチコマンドモード時に処理を実行させるための図形として左方向に向かう直線が入力され、ブラウザがアクティブであった場合、プルダウンメニュー111−1により示される処理、すなわちユーザにより入力されて記録された、キーコマンドにより実行される処理が実行されることになる。
このようにして、情報処理装置11は、ユーザの操作に応じてキーコマンドを記録して、登録情報を更新する。
このように、キーコマンドを記録して、登録情報を更新することによって、複数の段階の操作を必要とする処理を、所定の図形を入力するという簡単な操作だけで実行させることができる。
以上のように、入力された図形および検出されたアプリケーションプログラムにより特定される処理を実行することで、所定の図形を入力するという簡単な操作で所望する処理を実行させることができる。
なお、以上においては、タッチパネル23を利用して所望する処理を実行させるための図形を入力すると説明したが、タッチパネルに限らず、タブレット、タッチパッド、またはマウスなどの座標を検出できる入力デバイスであればよい。したがって、上述した一連の処理は、携帯型の情報処理装置に限らず、図形を入力する入力デバイスが設けられた装置において実行させることができる。
また、所定の図形を入力することにより、処理を実行させると説明したが、所定の文字、または文字や図形を含む記号などを入力して処理を実行させるようにしてもよい。
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
図24は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータの構成の例を示すブロック図である。パーソナルコンピュータ401のCPU(Central Processing Unit)411は、ROM(Read Only Memory)412、または記録部418に記録されているプログラムに従って各種の処理を実行する。RAM(Random Access Memory)413には、CPU411が実行するプログラムやデータなどが適宜記憶される。これらのCPU411、ROM412、およびRAM413は、バス414により相互に接続されている。
CPU411にはまた、バス414を介して入出力インターフェース415が接続されている。入出力インターフェース415には、キーボード、マウス、マイクロホンなどよりなる入力部416、ディスプレイ、スピーカなどよりなる出力部417が接続されている。CPU411は、入力部416から入力される指令に対応して各種の処理を実行する。そして、CPU411は、処理の結果を出力部417に出力する。
入出力インターフェース415に接続されている記録部418は、例えばハードディスクからなり、CPU411が実行するプログラムや各種のデータを記録する。通信部419は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。
また、通信部419を介してプログラムを取得し、記録部418に記録してもよい。
入出力インターフェース415に接続されているドライブ420は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア431が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記録部418に転送され、記録される。
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図24に示すように、磁気ディスク(フレキシブルディスクを含む)、光ディスク(CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む)、光磁気ディスクを含む)、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア431、または、プログラムが一時的もしくは永続的に格納されるROM412や、記録部418を構成するハードディスクなどにより構成される。プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインターフェースである通信部419を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。
なお、本明細書において、プログラム記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
本発明を適用した情報処理装置の外観の構成例を示す図である。 操作モードについて説明するための図である。 タッチコマンドモードについて説明するための図である。 情報処理装置の機能の構成例を示すブロック図である。 設定画面の表示例を示す図である。 設定画面の表示例を示す図である。 設定画面の表示例を示す図である。 コマンド設定画面の表示例を示す図である。 プログラム設定画面の表示例を示す図である。 登録情報更新処理を説明するフローチャートである。 モード設定処理を説明するフローチャートである。 タッチコマンドモード時の表示画面の表示例を示す図である。 コマンド実行処理を説明するフローチャートである。 タッチコマンド実行処理を説明するフローチャートである。 ヘルプ画面の表示例を示す図である。 タッチコマンド実行処理を説明するフローチャートである。 アプリケーションプログラムが割り当てられる領域を説明する図である。 タッチコマンド実行処理を説明するフローチャートである。 図形登録処理を説明するフローチャートである。 図形入力画面の表示例を示す図である。 アプリケーションプログラム登録処理を説明するフローチャートである。 コマンド設定画面の他の表示例を示す図である。 コマンド登録処理を説明するフローチャートである。 パーソナルコンピュータの構成例を示すブロック図である。
符号の説明
11 情報処理装置, 22 表示部, 23 タッチパネル, 25 キーボード, 71 入力部, 72 モード設定部, 73 図形認識部, 75 記録部, 76 検出部, 77 制御部, 78 処理実行部

Claims (9)

  1. 複数のアプリケーションプログラムのそれぞれについて、同一または異なる所定の処理が対応付けられた図形を入力する入力手段と、
    入力された前記図形を認識する認識手段と、
    入力された前記図形に対応付けられた所定の処理を実行させようとする、操作の対象となるアプリケーションプログラムを検出する検出手段と、
    認識された図形および検出されたアプリケーションプログラムから特定される、認識された図形に対応付けられた前記所定の処理を実行させる実行手段と
    を備える情報処理装置。
  2. 前記入力手段は、ユーザの手書き入力操作による指示位置の座標を検出することにより前記図形を入力し、
    前記認識手段は、前記入力手段により検出された座標に基づいて、入力された前記図形を認識する
    請求項1に記載の情報処理装置。
  3. 前記入力手段の操作に応じた処理を実行する第1のモードと、前記入力手段により入力された図形に対応付けられた前記所定の処理を実行する第2のモードとの切り替えを行う切り替え手段をさらに備える
    請求項1に記載の情報処理装置。
  4. 前記所定の処理が対応付けられた複数の図形のそれぞれと、それらの図形に対応付けられた、検出されたアプリケーションプログラムの前記所定の処理のそれぞれとの一覧を表示させる表示手段をさらに備える
    請求項1に記載の情報処理装置。
  5. 前記検出手段は、前記入力手段により図形が入力されるまで操作の対象となっていたアプリケーションプログラムを、操作の対象となるアプリケーションプログラムとして検出する
    請求項1に記載の情報処理装置。
  6. 前記入力手段は、表示手段の所定の領域に図形を入力し、
    前記検出手段は、図形が入力された前記表示手段の領域に対応付けられたアプリケーションプログラムを、操作の対象となるアプリケーションプログラムとして検出する
    請求項1に記載の情報処理装置。
  7. アプリケーションプログラムにより所定の機能が実行されるときに表示される、アプリケーションプログラムに対応するウィンドウを表示する表示手段をさらに備え、
    前記入力手段は、前記表示手段の所定の領域に図形を入力し、
    前記検出手段は、前記ウィンドウ上に図形が入力された場合、そのウィンドウに対応するアプリケーションプログラムを、操作の対象となるアプリケーションプログラムとして検出する
    請求項1に記載の情報処理装置。
  8. 複数のアプリケーションプログラムのそれぞれについて、同一または異なる所定の処理が対応付けられた図形を入力し、
    入力された前記図形を認識し、
    入力された前記図形に対応付けられた所定の処理を実行させようとする、操作の対象となるアプリケーションプログラムを検出し、
    認識された図形および検出されたアプリケーションプログラムから特定される、認識された図形に対応付けられた前記所定の処理を実行させる
    ステップを含む情報処理方法。
  9. 複数のアプリケーションプログラムのそれぞれについて、同一または異なる所定の処理が対応付けられた図形を入力し、
    入力された前記図形を認識し、
    入力された前記図形に対応付けられた所定の処理を実行させようとする、操作の対象となるアプリケーションプログラムを検出し、
    認識された図形および検出されたアプリケーションプログラムから特定される、認識された図形に対応付けられた前記所定の処理を実行させる
    ステップをコンピュータに実行させるプログラム。
JP2006135126A 2006-05-15 2006-05-15 情報処理装置および方法、並びにプログラム Pending JP2007305039A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006135126A JP2007305039A (ja) 2006-05-15 2006-05-15 情報処理装置および方法、並びにプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006135126A JP2007305039A (ja) 2006-05-15 2006-05-15 情報処理装置および方法、並びにプログラム

Publications (1)

Publication Number Publication Date
JP2007305039A true JP2007305039A (ja) 2007-11-22

Family

ID=38838888

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006135126A Pending JP2007305039A (ja) 2006-05-15 2006-05-15 情報処理装置および方法、並びにプログラム

Country Status (1)

Country Link
JP (1) JP2007305039A (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010108011A (ja) * 2008-10-28 2010-05-13 Sony Corp 情報処理装置、情報処理方法およびプログラム
JP2010250614A (ja) * 2009-04-16 2010-11-04 Toshiba Tec Corp 情報処理装置
JP2013097643A (ja) * 2011-11-02 2013-05-20 Konica Minolta Business Technologies Inc 手書き入力装置及び手書き入力制御プログラム
JP2014048676A (ja) * 2012-08-29 2014-03-17 Kyocera Document Solutions Inc 操作装置および電子機器
JP2015103132A (ja) * 2013-11-27 2015-06-04 京セラドキュメントソリューションズ株式会社 表示入力装置およびそれを備えた画像形成装置
JP2017068752A (ja) * 2015-10-01 2017-04-06 中国電力株式会社 情報処理装置、及び情報処理装置の制御方法
JP2019135831A (ja) * 2012-09-20 2019-08-15 三星電子株式会社Samsung Electronics Co.,Ltd. ユーザデバイスの状況認識サービス提供方法および装置
WO2019167272A1 (ja) * 2018-03-02 2019-09-06 日本電気株式会社 画像識別レジ装置、画像識別レジシステム、会計処理方法、およびプログラム
US10684821B2 (en) 2012-09-20 2020-06-16 Samsung Electronics Co., Ltd. Context aware service provision method and apparatus of user device

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05216648A (ja) * 1991-10-21 1993-08-27 Internatl Business Mach Corp <Ibm> ジェスチャ認識を行うグラフィッカル・ユーザ・インターフェース及びその方法
JP2000137555A (ja) * 1998-11-02 2000-05-16 Sony Corp 情報処理装置及び方法並びに記録媒体
JP2006099468A (ja) * 2004-09-29 2006-04-13 Toshiba Corp ジェスチャ入力装置、ジェスチャ入力方法及びジェスチャ入力プログラム
JP2006099389A (ja) * 2004-09-29 2006-04-13 Sharp Corp 情報処理システム、及び該システムの機能を実現するプログラム及び記録媒体

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05216648A (ja) * 1991-10-21 1993-08-27 Internatl Business Mach Corp <Ibm> ジェスチャ認識を行うグラフィッカル・ユーザ・インターフェース及びその方法
JP2000137555A (ja) * 1998-11-02 2000-05-16 Sony Corp 情報処理装置及び方法並びに記録媒体
JP2006099468A (ja) * 2004-09-29 2006-04-13 Toshiba Corp ジェスチャ入力装置、ジェスチャ入力方法及びジェスチャ入力プログラム
JP2006099389A (ja) * 2004-09-29 2006-04-13 Sharp Corp 情報処理システム、及び該システムの機能を実現するプログラム及び記録媒体

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4666053B2 (ja) * 2008-10-28 2011-04-06 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP2010108011A (ja) * 2008-10-28 2010-05-13 Sony Corp 情報処理装置、情報処理方法およびプログラム
JP2010250614A (ja) * 2009-04-16 2010-11-04 Toshiba Tec Corp 情報処理装置
US8341388B2 (en) 2009-04-16 2012-12-25 Toshiba Tec Kabushiki Kaisha Information processing apparatus and setup program execution method
JP2013097643A (ja) * 2011-11-02 2013-05-20 Konica Minolta Business Technologies Inc 手書き入力装置及び手書き入力制御プログラム
US9158450B2 (en) 2011-11-02 2015-10-13 Konica Minolta Business Technologies, Inc. Handwriting input device and handwriting input control program
JP2014048676A (ja) * 2012-08-29 2014-03-17 Kyocera Document Solutions Inc 操作装置および電子機器
US11048474B2 (en) 2012-09-20 2021-06-29 Samsung Electronics Co., Ltd. Context aware service provision method and apparatus of user device
JP2019135831A (ja) * 2012-09-20 2019-08-15 三星電子株式会社Samsung Electronics Co.,Ltd. ユーザデバイスの状況認識サービス提供方法および装置
US11907615B2 (en) 2012-09-20 2024-02-20 Samsung Electronics Co., Ltd. Context aware service provision method and apparatus of user device
US10684821B2 (en) 2012-09-20 2020-06-16 Samsung Electronics Co., Ltd. Context aware service provision method and apparatus of user device
JP2015103132A (ja) * 2013-11-27 2015-06-04 京セラドキュメントソリューションズ株式会社 表示入力装置およびそれを備えた画像形成装置
JP2017068752A (ja) * 2015-10-01 2017-04-06 中国電力株式会社 情報処理装置、及び情報処理装置の制御方法
JPWO2019167272A1 (ja) * 2018-03-02 2021-02-18 日本電気株式会社 画像識別レジ装置、画像識別レジシステム、会計処理方法、およびプログラム
JP7006767B2 (ja) 2018-03-02 2022-01-24 日本電気株式会社 画像識別レジ装置、画像識別レジシステム、会計処理方法、およびプログラム
US11599867B2 (en) 2018-03-02 2023-03-07 Nec Corporation Image identification register apparatus, image identification register system, checkout processing method, and program
WO2019167272A1 (ja) * 2018-03-02 2019-09-06 日本電気株式会社 画像識別レジ装置、画像識別レジシステム、会計処理方法、およびプログラム

Similar Documents

Publication Publication Date Title
JP2007305039A (ja) 情報処理装置および方法、並びにプログラム
JP6965319B2 (ja) 文字入力インターフェース提供方法及び装置
US10732807B2 (en) Input device and user interface interactions
JP6640265B2 (ja) 複数のアプリケーションから受信した通知を表示するためのシステムおよび方法
JP5666122B2 (ja) 表示情報制御装置および方法
US10782816B2 (en) Electronic apparatus and method for implementing user interface
JP4577428B2 (ja) 表示装置、表示方法及びプログラム
KR101391602B1 (ko) 터치 스크린 기반의 사용자 인터페이스 인터렉션 방법 및 멀티 미디어 단말 기기
TWI397844B (zh) 觸摸感應裝置和用於提供側觸摸板的方法
US20090179867A1 (en) Method for providing user interface (ui) to display operating guide and multimedia apparatus using the same
US20130254714A1 (en) Method and apparatus for providing floating user interface
CN108052265B (zh) 用于使用图形对象控制内容的方法和设备
JP5593655B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP2018077867A (ja) 携帯端末機のユーザインターフェース提供方法および装置
KR101971067B1 (ko) 휴대 단말기의 사용자 인터페이스 제공 방법 및 장치
US20110115728A1 (en) Method and apparatus for displaying screens in a display system
US20090189868A1 (en) Method for providing user interface (ui) to detect multipoint stroke and multimedia apparatus using the same
KR20080104858A (ko) 터치 스크린 기반의 제스쳐 정보 제공 방법 및 장치, 그장치를 포함하는 정보 단말 기기
KR20140142546A (ko) 전자 기기 및 그의 애플리케이션 제어 방법
US20120030619A1 (en) Method for providing user interface and display apparatus applying the same
KR20160094790A (ko) 디스플레이 장치의 이의 디스플레이 방법
JP2010157820A (ja) 制御システム、及び制御方法
JP4770904B2 (ja) 電子機器、電子機器における制御方法およびプログラム
KR20160018268A (ko) 라인 인터랙션을 이용하여 컨텐트를 제어하는 방법 및 장치
US5469192A (en) Method and apparatus for increasing the functionality of computer system pointing devices by simultaneous actuation of buttons thereon

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090512

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110210

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110217

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110628