JP2008282092A

JP2008282092A - ジェスチャーコマンドを覚えながら操作できる情報処理装置

Info

Publication number: JP2008282092A
Application number: JP2007123562A
Authority: JP
Inventors: Masanori Wakai; 聖範若井
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2007-05-08
Filing date: 2007-05-08
Publication date: 2008-11-20

Abstract

【課題】ジェスチャーコマンドによる直接的で軽快な操作性は維持しつつ、ジェスチャーコマンドを覚えていない人は操作できないという、メニュー操作では発生しなかった問題を解決することを目的とする。
【解決手段】ペン又はマウスの軌跡により指示するジェスチャーコマンド指示手段と、ジェスチャーコマンドを解釈するジェスチャーコマンド解釈手段と、前記解釈結果にしたがって実行するジェスチャーコマンド実行手段と、を備えることを特徴とする情報処理装置において、ジェスチャーコマンドの軌跡を例示するジェスチャーコマンド一覧表示手段と、操作開始後、一定時間操作が無い場合の処理を実行させるジェスチャーコマンドタイムアウト実行手段と、を備え、前記ジェスチャーコマンドタイムアウト実行手段は、前記ジェスチャーコマンド一覧表示手段により、ジェスチャーコマンドの一覧を表示することを特徴とする。
【選択図】図５

Description

本発明は、ペンやマウスを用いた操作によって指示可能な情報処理技術であって、特にペンやマウスによる軌跡を解釈したジェスチャーコマンド処理技術に関する。

従来技術により、ペンやマウスの軌跡をジェスチャーコマンドとして解釈し、対応する処理を実行させることが可能である。これにより、一般的なメニューを用いた操作と比較して、操作ステップを省略し、軽快な操作を実現している。

図１は、従来技術におけるジェスチャーコマンドを用いた情報処理装置を構成する中核部分となる、操作者により行われたペン操作に対応したペン操作対応処理の流れを示した図の一例である。

同図において、ステップｓ１０１で、行われたペン操作が図２で後述する画面上のモード変更指示領域２７で行われたかどうか判断し、その結果、領域内で行われたと判断された場合には、ステップｓ１０２でジェスチャーモードを切替えて処理を終了する。

ステップｓ１０１でモード変更指示領域と判断されなかった場合、ステップｓ１０３でジェスチャーモードかどうか判断する。

ステップｓ１０３でジェスチャーモードと判断された場合、ステップｓ１０４のジェスチャーコマンド解釈処理により、操作者により行われたペン操作の結果発生したペン軌跡からジェスチャーコマンドとして解釈する。その結果、ステップｓ１０５で解釈成功と判断されなかった場合、処理を終了する。

ステップｓ１０５で解釈成功と判断された場合、ステップｓ１０６のジェスチャーコマンド実行処理により、解釈されたジェスチャーコマンドに対応した処理を実行し、処理を終了する。

ステップｓ１０３でジェスチャーモードと判断されなかった場合、ステップｓ１０７のカーソル移動処理により、通常のペン操作に対応してカーソルを移動させ、処理を終了する。

図２は、前述の従来技術における、ペン操作対応処理の対象となった操作が行われた画面の一例である。

同図において、データ２１〜２５が表示され、そのうちデータ２２、２３、２５が選択状態にある。その状態で、「ジェスチャーＯＮ」ボタン２７をタップすることで前述のジェスチャーモードを切替え、ジェスチャーコマンド入力を可能とした後で、ペン２６を用いてジェスチャーコマンド２８が入力された様子を示している。

このように、従来技術によれば、メニュー操作による項目選択操作と比較して、直接的で軽快な指示操作を実現している。

このように、従来技術によれば、ジェスチャーコマンドによる指示を可能とすることで、メニュー操作と比較した直接的で軽快な指示操作を実現している反面、ジェスチャーコマンドを覚えていない人は操作できないという、メニュー操作では発生しなかった問題を抱えていた。

また、特開平９−３１９７３６によれば、手書き文字入力中にジェスチャーコマンドを受け付けるための方式であり、ある意味常にジェスチャー解釈を行っており、ジェスチャーコマンドを覚えていない人は操作できないという課題は解決できなかった。

また、特開平１１−１１０１１９によれば、スケジューラにおけるジェスチャーコマンドの利用応用方法であり、ジェスチャーコマンドを覚えていない人は操作できないという課題は解決できなかった。

また、特開２０００−１３７５７１によれば、カーソル移動と手書き文字入力モードの切替え手段について述べているが、エリア外のタップで実現しており、ジェスチャーコマンドを覚えていない人は操作できないという課題は解決できなかった。
特開平９−３１９７３６号公報特開平１１−１１０１１９号公報特開２０００−１３７５７１号公報

本発明は上記課題を解決する為のものであり、ジェスチャーコマンドによる直接的で軽快な指示操作を実現しつつ、ジェスチャーコマンドを覚えていない人も操作可能とすることを目的としている。

また、更に操作者のジェスチャーコマンドの習得をサポートすることを目的としている。

また、更に通常操作と、ジェスチャーコマンド操作の切替えを、スムーズに実現することで、操作性を向上させることを目的としている。

本発明によれば、ペン又はマウスの軌跡により指示するジェスチャーコマンド指示手段と、ジェスチャーコマンドを解釈するジェスチャーコマンド解釈手段と、前記解釈結果にしたがって実行するジェスチャーコマンド実行手段と、を備えることを特徴とする情報処理装置において、ジェスチャーコマンドの軌跡を例示するジェスチャーコマンド一覧表示手段と、操作開始後、一定時間操作が無い場合の処理を実行させるジェスチャーコマンドタイムアウト実行手段と、を備え、前記ジェスチャーコマンドタイムアウト実行手段は、前記ジェスチャーコマンド一覧表示手段により、ジェスチャーコマンドの一覧を表示することを特徴とする情報処理装置が提供される。

また、本発明によれば、ペン又はマウスの軌跡により指示するジェスチャーコマンド指示ステップと、ジェスチャーコマンドを解釈するジェスチャーコマンド解釈ステップと、前記解釈結果にしたがって実行するジェスチャーコマンド実行ステップと、を備えることを特徴とする情報処理方法において、ジェスチャーコマンドの軌跡を例示するジェスチャーコマンド一覧表示ステップと、操作開始後、一定時間操作が無い場合の処理を実行させるジェスチャーコマンドタイムアウト実行ステップと、を備え、前記ジェスチャーコマンドタイムアウト実行ステップは、前記ジェスチャーコマンド一覧表示ステップにより、ジェスチャーコマンドの一覧を表示することを特徴とする情報処理方法が提供される。

また、本発明によれば、ペン又はマウスの軌跡により指示するジェスチャーコマンド指示ステップと、ジェスチャーコマンドを解釈するジェスチャーコマンド解釈ステップと、前記解釈結果にしたがって実行するジェスチャーコマンド実行ステップと、を備えることを特徴とする情報処理方法において、ジェスチャーコマンドの軌跡を例示するジェスチャーコマンド一覧表示ステップと、操作開始後、一定時間操作が無い場合の処理を実行させるジェスチャーコマンドタイムアウト実行ステップと、を備え、前記ジェスチャーコマンドタイムアウト実行ステップは、前記ジェスチャーコマンド一覧表示ステップにより、ジェスチャーコマンドの一覧を表示することを特徴とするプログラムを記録した記録媒体が提供される。

以上説明したように、本発明によれば、操作者がジェスチャーコマンドの入力を誤った場合や、思い出せずに操作が一定時間以上中断した場合に、ジェスチャーコマンド一覧画面を表示することで、ジェスチャーコマンドによる直接的で軽快な指示操作を実現しつつ、ジェスチャーコマンドを覚えていない人も操作可能とする効果がある。また、更に操作者のジェスチャーコマンドの習得をサポートする効果がある。

以下、図面を参照して本発明の好適な実施形態を詳細に説明する。

図３は実施形態１の情報処理装置のハードウェア構成を示すブロック図である。

同図において、１は情報（データ）を入力するための入力部である。２はＣＰＵであり、各種処理のための演算、論理判断等を行ない、バス６に接続された各構成要素を制御する。３は情報（データ）を出力する出力部である。出力部３としては、ＬＣＤやＣＲＴ等のディスプレイや、プリンタ等の記録装置がある。

４はプログラムメモリであり、後述するフローチャートの処理手順を含むＣＰＵ２による制御のためのプログラムを格納するメモリである。プログラムメモリ４は、ＲＯＭであってもよいし、外部記憶装置等からプログラムがロードされるＲＡＭであってもよい。

５はデータメモリであり、各種処理で生じたデータを格納する。データメモリ５は、例えば、ＲＡＭとするが、不揮発な外部記憶媒体から、処理に先立ってロードしておく、あるいは必要があるごとに参照するものとする。

６はＣＰＵ２の制御の対象とする各構成要素を指示するアドレス信号、各構成要素を制御するためのコントロール信号、各構成要素間で相互にやりとりされるデータの転送を行うためのバスである。

＜実施形態１＞
図４は、実施形態１において、全体処理の流れを示した図の一例である。

同図において、ステップｓ４０１のイベント入力処理で、ユーザーによる操作、発生したイベントが入力検知される。

その結果、続くステップｓ４０２で終了が指示されたと判断された場合、処理を終了する。

ステップｓ４０２でペン操作として判断された場合、ステップｓ４０３のペン操作対応処理により、行われたペン操作に対応した処理を実行し、ステップｓ４０１に戻り、処理を繰り返す。

ステップｓ４０２で、発生したイベントが、ジェスチャーコマンド入力中に一定時間以上操作しなかった場合に発生するジェスチャーコマンドタイムアウトと判断された場合、ステップｓ４０４のジェスチャーコマンドタイムアウト実行処理を実行し、ステップｓ４０１に戻り、処理を繰り返す。

ステップｓ４０２で、発生したイベントが、ジェスチャーコマンド一覧表示中に一定時間以上操作しなかった場合に発生するジェスチャーコマンド一覧タイムアウトと判断された場合、ステップｓ４０４のジェスチャーコマンド一覧タイムアウト実行処理を実行し、ステップｓ４０１に戻り、処理を繰り返す。

ステップｓ４０２で上記以外のその他の処理が指示されたと判断された場合、ステップｓ４０６の個別処理で対応する処理が実行された後、ステップｓ４０１に戻り、処理を繰り返す。

図５は、実施形態１において、ペン操作対応処理の流れを示した図の一例である。前述の従来技術の説明で用いた図１の流れと比較して、本発明の特徴を表す好適な例である。

同図において、ステップｓ５０１のジェスチャーコマンド入力開始判断処理によりジェスチャーコマンドの入力開始を判断し、続くステップｓ５０２で入力開始と判断された場合、ステップｓ５０３でジェスチャーモードに変更し、処理を終了する。

ステップｓ５０２で入力開始と判断されなかった場合、ステップｓ５０４でジェスチャーモードかどうか判断する。

ステップｓ５０４でジェスチャーモードと判断された場合、従来技術同様、ステップｓ５０５のジェスチャーコマンド解釈処理により、ペン操作による軌跡をジェスチャーコマンドとして解釈し、ステップｓ５０６でジェスチャーコマンド実行かどうか判断する。その結果、実行と判断されなかった場合、処理を終了する。

ステップｓ５０６で、ジェスチャーコマンド実行と判断された場合、ステップｓ５０７のジェスチャーコマンド実行処理により、解釈されたジェスチャーコマンドに対応する処理を実行し、続くステップｓ５０８でジェスチャーモードを終了し、処理を終了する。

ステップｓ５０４でジェスチャーモードと判断されなかった場合、ステップｓ５０９で、本発明の特徴的な部分であるジェスチャーコマンド一覧が表示中かどうか判断する。

ステップｓ５０９でジェスチャーコマンド一覧が表示中と判断された場合、ステップｓ５１０のジェスチャーコマンド一覧選択処理により、表示されているジェスチャーコマンド一覧の選択操作に対応した処理を実行する。その結果、ステップｓ５１１で、選択されたジェスチャーコマンドに対応した処理を実行と判断されなかった場合、処理を終了する。

ステップ５１１で、ジェスチャーコマンド実行と判断された場合、ステップｓ５１２のジェスチャーコマンド実行処理により、解釈されたジェスチャーコマンドに対応する処理を実行し、処理を終了する。

ステップｓ５０９でジェスチャーコマンド一覧が表示中と判断されなかった場合、ステップｓ５１３のカーソル移動処理により、従来技術同様に、通常の操作に対応したカーソル移動処理を実行し、処理を終了する。

図６は、実施形態１において、ジェスチャーコマンド解釈処理の流れを示した図の一例である。

同図において、ステップｓ６０１のジェスチャーコマンドタイムアウトクリア処理により、ジェスチャーコマンド入力中に一定時間以上操作しなかった場合に発生させるジェスチャーコマンドタイムアウトを無効化し、続くステップｓ６０２の軌跡解析処理により、従来技術同様、ペン操作により行われた軌跡を、図８で後述するようなジェスチャーコマンドとして解釈する。

その結果、ステップｓ６０３で解釈成功と判断された場合、対応処理実行として、処理を終了する。

ステップｓ６０３で解釈失敗と判断された場合、操作者が正しいジェスチャーコマンドを知りたいものと判断し、操作者に操作方法を例示する為に、ステップｓ６０４のジェスチャーコマンド一覧表示処理により、図９で後述するようなジェスチャーコマンド一覧９７を表示する。

ステップｓ６０３で、ジェスチャーコマンド入力途中等、上記以外であると判断された場合、ステップｓ６０５のジェスチャーコマンドタイムアウト登録処理により、ジェスチャーコマンド入力中に一定時間以上操作しなかった場合に発生させるジェスチャーコマンドタイムアウトを有効化し、処理を終了する。

図７は、実施形態１において、ジェスチャーコマンドタイムアウト実行処理の流れを示した図の一例である。

同図において、ステップｓ７０１のジェスチャーコマンド一覧表示処理により、操作者が指示したい内容に対応するジェスチャーコマンドを知りたいものと判断し、操作者に操作方法を例示する為に、図９で後述するようなジェスチャーコマンド一覧９７を表示する。

図８は、実施形態１において、前述の軌跡解析処理、及び、ジェスチャーコマンド一覧表示処理の対象となる、ジェスチャーコマンドの情報が格納されているデータベースの一例である。

該データベースに記憶される各エントリには、ジェスチャーコマンドの指示内容に対応するタイプ、更にジェスチャーコマンドに対応する軌跡定義、更にジェスチャーコマンドを有効とする為の条件が格納されている。

図９は、実施形態１における、ジェスチャーコマンド一覧表示処理で表示される画面の一例である。

同図において、ジェスチャーコマンド一覧９７が表示されている。

このように、実施形態１で示した本発明により、操作者がジェスチャーコマンドの入力を誤った場合や、思い出せずに操作が一定時間以上中断した場合に、ジェスチャーコマンド一覧画面を表示することで、ジェスチャーコマンドによる直接的で軽快な指示操作を実現しつつ、ジェスチャーコマンドを覚えていない人も操作可能とする効果がある。また、更に操作者のジェスチャーコマンドの習得をサポートする効果がある。

また、ジェスチャーコマンド入力開始と終了を自然な操作の流れで実現することで、通常操作とジェスチャーコマンド操作の切替えを、スムーズに実現し、操作性を向上させる効果がある。

＜実施形態２＞
図１０は、実施形態１におけるジェスチャーコマンド解釈処理及びジェスチャーコマンドタイムアウト実行処理で利用されている、実施形態２におけるジェスチャーコマンド一覧表示処理の流れを示した図の一例である。

同図において、ステップｓ１００１のジェスチャーコマンド一覧タイムアウトクリア処理により、ジェスチャーコマンド一覧操作中に一定時間以上操作しなかった場合に発生させるジェスチャーコマンド一覧タイムアウトを無効化し、続くステップｓ１００２のジェスチャーコマンド類推処理により、操作状況から類推されるジェスチャーコマンドを決定する。

その結果、ステップｓ１００３で類推に成功したと判断された場合、以下の処理により一覧表示される対象を、ステップｓ１００４で類推されたジェスチャーコマンドに決定する。一方、類推に成功したと判断されなかった場合には、ステップｓ１００５で全てのジェスチャーコマンドに決定する。

続くステップｓ１００６のジェスチャーコマンド一覧描画処理では、表示対象として決定されたジェスチャーコマンドを表示し、ステップｓ１００７のジェスチャーコマンド一覧タイムアウト登録処理により、ジェスチャーコマンド一覧操作中に一定時間以上操作しなかった場合に発生させるジェスチャーコマンド一覧タイムアウトを有効化し、処理を終了する。

図１１は、実施形態２におけるジェスチャーコマンド類推処理の流れを示した図の一例である。

同図において、ステップｓ１１０１の実行可能ジェスチャーコマンド抽出処理により、図８を用いて説明したジェスチャーコマンド定義の、ジェスチャーコマンドが有効となる条件を参照し、適合するジェスチャーコマンドを抽出する。例えば、後述する図１２を用いた操作例のようなデータが１つも選択されていない状態では、「選択状態」であることが条件にあるジェスチャーコマンドは抽出されないことになる。

その結果、ステップｓ１１０２で抽出成功と判断されなかった場合、抽出失敗として、処理を終了する。

ステップｓ１１０２で抽出成功と判断された場合、更なる絞込みを進める為に、ステップｓ１１０３の軌跡適合ジェスチャーコマンド抽出処理により、これまでペン操作された軌跡と部分一致するジェスチャーコマンドが抽出される。後述する図１３を用いた操作例のような、ジェスチャーコマンドの入力を途中まで行った状態で操作に迷って、一定時間以上操作が行われなかった場合には、それまでに行われたペン操作の軌跡１３８に適合するジェスチャーコマンド１３７だけに絞り込まれる。

その結果、ステップｓ１１０４で抽出成功と判断された場合には抽出成功として処理を終了し、抽出成功と判断されなかった場合には抽出失敗として処理を終了する。

図１２は、実施形態２における、ジェスチャーコマンド一覧表示処理で表示される画面の一例である。

同図において、前述のジェスチャーコマンド類推処理により適合したジェスチャーコマンド一覧１２７が表示されている。具体的には、図８を用いて説明したジェスチャーコマンド定義の、ジェスチャーコマンドが有効となる条件に適合するジェスチャーコマンドとして、条件を持たないジェスチャーコマンドだけが表示されている。

図１３は、実施形態２における、ジェスチャーコマンド一覧表示処理で表示される画面の他の例である。

同図において、前述のジェスチャーコマンド類推処理により適合したジェスチャーコマンド一覧１３７が表示されている。具体的には、図１２で表示されているジェスチャーコマンドの中から、それまで行われたペン操作の軌跡１３８に部分一致するジェスチャーコマンドだけが表示されている。

このように、実施形態２で示した本発明により、操作者がジェスチャーコマンドの入力を誤った場合や、思い出せずに操作が一定時間以上中断した場合に表示されるジェスチャーコマンド一覧を、状況に適合したジェスチャーコマンドに絞り込むことで、更なる操作性の向上を実現する効果がある。

＜実施形態３＞
図１４は、実施形態２におけるジェスチャーコマンド一覧表示処理で登録され、実施形態１における全体処理で実行される、実施形態３におけるジェスチャーコマンド一覧タイムアウト実行処理の流れを示した図の一例である。

同図において、ステップｓ１４０１で現在表示されているジェスチャーコマンド一覧が全項目の一覧かどうか判断される。

その結果、ステップｓ１４０１で全項目の一覧と判断された場合、ステップｓ１４０２のジェスチャーコマンド一覧終了処理により、表示中のジェスチャーコマンドを消去して、処理を終了する。

ステップｓ１４０１で全項目の一覧と判断されなかった場合、ステップｓ１４０３のジェスチャーコマンド全一覧表示処理により、全ジェスチャーコマンドを一覧表示して、処理を終了する。

このように、実施形態３で示した本発明により、操作者がジェスチャーコマンドの入力を誤った場合や、思い出せずに操作が一定時間以上中断した場合に表示されるジェスチャーコマンド一覧画面を段階的に表示することで、ジェスチャーコマンド選択の効率化と、より広い範囲からの選択の可能性を同時に提供し、更なる操作性向上を実現する効果がある。

また、ジェスチャーコマンド一覧の表示が不要となった場合には、自然に一覧が消えることで、更なる操作性向上を実現する効果がある。

＜実施形態４＞
図１５は、実施形態３におけるジェスチャーコマンド一覧タイムアウト実行処理の他の例である、実施形態４における流れを示した図の一例である。

同図において、ステップｓ１５０１のジェスチャーコマンド次一覧表示処理により、現在表示中の一覧の次に表示する一覧を表示する。その結果、ステップｓ１５０２で表示に成功したと判断された場合、処理を終了する。

ステップｓ１５０２で表示に成功したと判断されなかった場合、ステップｓ１５０３のジェスチャーコマンド先頭一覧表示処理により、最初に表示したジェスチャーコマンドを表示して、処理を終了する。

図１６は、実施形態４における、ジェスチャーコマンド次一覧表示処理で表示される画面の例である。

同図において、表示されているジェスチャーコマンド一覧１６７は、前述の図１３で絞り込まれたジェスチャーコマンド以外の一覧だけが表示されている。

図１７は、実施形態４における、ジェスチャーコマンド次一覧表示処理の流れを示した図の一例である。

同図において、ステップｓ１７０１のジェスチャーコマンド未表示一覧取得処理により、現在の絞込条件で表示対象となっているジェスチャーコマンドのうち、未表示のジェスチャーコマンドが取得される。

その結果、ステップｓ１７０２で未表示一覧があると判断された場合、ステップｓ１７０３のジェスチャーコマンド一覧表示処理により、ジェスチャーコマンドが表示され、処理を終了する。

ステップｓ１７０２で未表示一覧があると判断されなかった場合、絞込条件を緩和する為に、以下の処理が実行される。まず、ステップｓ１７０４の実行可能ジェスチャーコマンド抽出処理により、前述の図１１のジェスチャーコマンド類推処理と同様に、適合するジェスチャーコマンドを抽出し、以降の処理の対象とする。これにより、それまで行われた類推条件より緩和した条件でジェスチャーコマンドが抽出される。

続くステップｓ１７０５のジェスチャーコマンド未表示一覧絞込み処理により、前記抽出されたジェスチャーコマンドのうち未表示な一覧だけに絞り込まれ、次のステップｓ１７０６で成功かどうか判断する。その結果、絞込みが成功し、一覧があると判断されなかった場合、表示失敗として処理を終了する。

ステップｓ１７０６で絞り込み成功と判断された場合、ステップｓ１７０３のジェスチャーコマンド一覧表示処理により、ジェスチャーコマンドが表示し、処理を終了する。

このように、実施形態４で示した本発明により、操作者がジェスチャーコマンドの入力を誤った場合や、思い出せずに操作が一定時間以上中断した場合に表示されるジェスチャーコマンド一覧画面を順次表示することで、限られた操作画面の中で効率的にジェスチャーコマンドが一覧され、更なる操作性向上を実現する効果がある。

また、表示が繰り返されることで、求めるジェスチャーコマンドを見過ごした場合にも、ジェスチャーコマンドを見つけ直すことが可能となり、更なる操作性の向上効果を生み出した。

また、表示される毎に、類推条件を緩和することで、可能性が高いジェスチャーコマンドから一覧しつつ、求めるジェスチャーコマンドを見つけることが可能となり、更なる操作性の向上効果を生み出した。

＜実施形態５＞
図１８は、実施形態１で説明した図９のジェスチャーコマンド表示画面を用いて、ジェスチャーコマンドを選択している様子を表した画面を示す一例である。

同図において、データ１８１〜１８５が表示されている状態で、データ１８２、１８３、１８５が選択されており、ジェスチャーコマンド入力開始操作に対応したペン操作後、一定時間以上操作しなかった為に、ジェスチャーコマンド一覧１８７が表示されている。その上で、ペン１８６を用いて、ジェスチャーコマンド一覧上から、ジェスチャーコマンド１８８が選択されている。

図１９は、実施形態１におけるペン操作対応処理で実行される、実施形態５におけるジェスチャーコマンド一覧選択処理の流れを示した図の一例である。

同図において、ステップｓ１９０１で行われたペン操作が、一覧表示されているジェスチャーコマンドの選択操作かどうか判断される。その結果、選択操作と判断された場合、ステップｓ１９０２のジェスチャーコマンド一覧終了処理により、表示中のジェスチャーコマンド一覧を消去し、続くステップｓ１９０３のジェスチャーコマンド一覧更新処理により、選択されたジェスチャーコマンドを元に一覧を更新し、ジェスチャーコマンド実行として処理を終了する。

ステップｓ１９０１で選択操作として判断されなかった場合、ステップｓ１９０４のジェスチャーコマンド一覧ジェスチャー解釈処理により、一覧表示中に行われたペン操作を、一覧表示中のジェスチャーコマンドのジェスチャーとして解釈し、続くステップｓ１９０５で実行可能ジェスチャーコマンドかどうか判断する。その結果、実行と判断された場合、ステップｓ１９０２のジェスチャーコマンド一覧終了処理により、表示中のジェスチャーコマンド一覧を消去し、続くステップｓ１９０３のジェスチャーコマンド一覧更新処理により、選択されたジェスチャーコマンドを元に一覧を更新し、ジェスチャーコマンド実行として処理を終了する。

ステップｓ１９０５で実行と判断されなかった場合、ステップｓ１９０６のジェスチャーコマンド一覧終了ジェスチャー解釈処理により、一覧の終了を指示するジェスチャーかどうか解釈する。その結果、ステップｓ１９０７で終了と判断されなかった場合、ジェスチャーコマンド非実行として処理を終了する。

ステップｓ１９０７で終了と判断された場合、ステップｓ１９０８のジェスチャーコマンド一覧終了処理により、表示中のジェスチャーコマンド一覧を消去し、ジェスチャーコマンド非実行として処理を終了する。

このように、実施形態５で示した本発明により、操作者がジェスチャーコマンドの入力を誤った場合や、思い出せずに操作が一定時間以上中断した場合に表示されるジェスチャーコマンド一覧画面上での操作が可能となり、更なる操作性向上を実現する効果がある。

また、一覧表示の終了をジェスチャーで指示可能とすることで、一覧表示終了のための指示領域を設ける必要が無くなり、更なる操作性向上を実現する効果がある。

また、一覧表示されているジェスチャーコマンドの中から、行われたジェスチャーを解釈可能とすることで、より精度の高い指示操作を可能とし、更なる操作性向上を実現する効果がある。

＜実施形態６＞
図２０は、実施形態４で説明した図１６のジェスチャーコマンド表示画面を用いて、ジェスチャーコマンドを選択している様子を表した画面を示す一例である。

同図において、データ２０１〜２０５が表示されている状態で、データ非選択で、ジェスチャーコマンド入力開始操作に対応したペン操作後、一定時間以上操作しなかった為に、ジェスチャーコマンド一覧表示後、更に一定時間経過後、ジェスチャーコマンド一覧２０７が表示されている。その上で、ペン２０６を用いて、ジェスチャーコマンド一覧上から、ジェスチャーコマンド２０８が選択されている。

その結果、前述の図１９で説明したジェスチャーコマンド一覧選択処理で実行される、ジェスチャーコマンド一覧更新処理により、選択されたジェスチャーコマンドが、最初に表示される一覧に追加され、代わりに一覧末尾のジェスチャーコマンドが順次、後続する一覧に移動される。

図２１は、図２０で行われた選択操作の結果、実施形態２で説明した図１３のジェスチャーコマンド表示画面が変化した様子を示す一例である。

同図において、図２０で選択されたジェスチャーコマンドが、一覧先頭に追加され、代わりに一覧末尾のジェスチャーコマンドが表示されなくなったことが表現されている。

このように、実施形態６で示した本発明により、操作者がジェスチャーコマンドの入力を誤った場合や、思い出せずに操作が一定時間以上中断した場合に表示されるジェスチャーコマンド一覧画面での選択されたジェスチャーコマンドを、最初に表示される一覧に表示することで、より使用されやすいジェスチャーコマンドに対する操作が効率的なり、更なる操作性向上を実現する効果がある。

＜実施形態７＞
図２２は、実施形態２におけるジェスチャーコマンド一覧表示処理で実行される、実施形態７におけるジェスチャーコマンド一覧描画処理の流れを示した図の一例である。

同図において、ステップｓ２２０１でジェスチャーコマンド一覧の表示方法を指定した描画モードがチェックされ、「固定位置」が指定されている場合には固定位置に描画し、「操作位置」が指定されている場合には操作位置に描画し、「操作位置外」が指定されている場合には操作位置外に描画され、処理を終了する。なお、描画モードは、独立した設定画面等で設定可能であっても良い。

このように、実施形態７で示した本発明により、操作者がジェスチャーコマンドの入力を誤った場合や、思い出せずに操作が一定時間以上中断した場合に表示されるジェスチャーコマンド一覧を、「固定位置」又は「操作位置」又は「操作位置外」に描画可能となり、更なる操作性向上を実現する効果がある。

＜実施形態８＞
図２３は、実施形態１におけるペン操作対応処理で実行される、実施形態８におけるジェスチャーコマンド入力開始判断処理の流れを示した図の一例である。

同図において、ステップｓ２３０１でペンタップ中かどうか判断し、ペンタップ中でない場合、ジェスチャーコマンド入力開始でないとして処理を終了する。

更に、ステップｓ２３０２でペンタップ回数を判断し、１回タップの場合、ジェスチャーコマンド入力開始でないとして処理を終了し、２回以上タップの場合、ジェスチャーコマンド入力開始として処理を終了する。

図２４は、実施形態１におけるペン操作対応処理で実行される、実施形態８におけるカーソル移動処理の流れを示した図の一例である。

同図において、ステップｓ２４０１の操作タイムアウトクリア処理により、一定時間以上操作が行われなかった場合に実行される操作タイムアウト処理を無効化し、続くステップｓ２４０２のカーソル移動対応処理により、操作に対応してカーソルを移動させる。続くステップｓ２４０３の操作タイムアウト登録処理により、一定時間以上操作が行われなかった場合に実行される操作タイムアウト処理を登録し、処理を終了する。

図２５は、実施形態８における操作タイムアウト実行処理の流れを示した図の一例である。

同図において、ステップｓ２５０１でジェスチャーモードかどうか判断し、ジェスチャーモードと判断された場合、ステップｓ２５０２のジェスチャーコマンド一覧表示処理により、ジェスチャーコマンド一覧を表示し、処理を終了する。

ステップｓ２５０１でジェスチャーモードと判断されなかった場合、ステップｓ２５０３の操作項目一覧表示処理により、後述する図２６の操作項目一覧２６７を表示し、処理を終了する。

図２６は、実施形態８における、操作項目一覧が表示されている画面の一例を示した図である。

同図において、ペンタップされた位置中心に、操作項目２６７が表示されている。

このように、実施形態８で示した本発明により、操作者がジェスチャーコマンドの入力を誤った場合や、思い出せずに操作が一定時間以上中断した場合に表示されるジェスチャーコマンド一覧とは別に、通常の操作項目一覧を表示することが可能となり、更に、タップ回数によって表示される一覧を指定可能とすることで、更なる操作性向上を実現する効果がある。

＜実施形態９＞
図２７は、実施形態８で説明した、実施形態９における操作タイムアウト実行処理の流れを示した図の一例である。

同図において、ステップｓ２７０１でペンタップ中かどうか判断し、ペンタップ中と判断されなかった場合、何もせずに処理を終了する。

ステップｓ２７０１でペンタップ中と判断された場合、ステップｓ２７０２でペンタップ回数を判断し、２回以上タップされた場合、ステップｓ２７０３の操作項目全一覧表示処理により、全ての操作項目一覧を表示し、処理を終了する。

ステップｓ２７０２でタップ１回と判断された場合、ステップｓ２７０４の操作項目一覧表示処理により、操作項目一覧を表示し、処理を終了する。

このように、実施形態９で示した本発明により、ペンタップ回数に応じて、対応する項目を一覧表示することが可能となり、ジェスチャーコマンド以外の操作においても、本発明の効果が得られることが示されている。

尚、本発明は、複数の機器（例えばホストコンピュータ、インタフェース機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。

また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。

この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。

また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

更に、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した図に示すフローチャートに対応するプログラムコードが格納されることになる。

また、実施形態１によれば、更に、ジェスチャーコマンド入力開始と終了を自然な操作の流れで実現することで、通常操作とジェスチャーコマンド操作の切替えを、スムーズに実現し、操作性を向上させる効果がある。

また、実施形態２によれば、更に、操作者がジェスチャーコマンドの入力を誤った場合や、思い出せずに操作が一定時間以上中断した場合に表示されるジェスチャーコマンド一覧を、状況に適合したジェスチャーコマンドに絞り込むことで、更なる操作性の向上を実現する効果がある。

また、実施形態３によれば、更に、操作者がジェスチャーコマンドの入力を誤った場合や、思い出せずに操作が一定時間以上中断した場合に表示されるジェスチャーコマンド一覧画面を段階的に表示することで、ジェスチャーコマンド選択の効率化と、より広い範囲からの選択の可能性を同時に提供し、更なる操作性向上を実現する効果がある。また、ジェスチャーコマンド一覧の表示が不要となった場合には、自然に一覧が消えることで、更なる操作性向上を実現する効果がある。

また、実施形態４によれば、更に、操作者がジェスチャーコマンドの入力を誤った場合や、思い出せずに操作が一定時間以上中断した場合に表示されるジェスチャーコマンド一覧画面を順次表示することで、限られた操作画面の中で効率的にジェスチャーコマンドが一覧され、更なる操作性向上を実現する効果がある。また、表示が繰り返されることで、求めるジェスチャーコマンドを見過ごした場合にも、ジェスチャーコマンドを見つけ直すことが可能となり、更なる操作性の向上効果を生み出した。また、表示される毎に、類推条件を緩和することで、可能性が高いジェスチャーコマンドから一覧しつつ、求めるジェスチャーコマンドを見つけることが可能となり、更なる操作性の向上効果を生み出した。

また、実施形態５によれば、更に、操作者がジェスチャーコマンドの入力を誤った場合や、思い出せずに操作が一定時間以上中断した場合に表示されるジェスチャーコマンド一覧画面上での操作が可能となり、更なる操作性向上を実現する効果がある。また、一覧表示の終了をジェスチャーで指示可能とすることで、一覧表示終了のための指示領域を設ける必要が無くなり、更なる操作性向上を実現する効果がある。また、一覧表示されているジェスチャーコマンドの中から、行われたジェスチャーを解釈可能とすることで、より精度の高い指示操作を可能とし、更なる操作性向上を実現する効果がある。

また、実施形態６によれば、更に、操作者がジェスチャーコマンドの入力を誤った場合や、思い出せずに操作が一定時間以上中断した場合に表示されるジェスチャーコマンド一覧画面での選択されたジェスチャーコマンドを、最初に表示される一覧に表示することで、より使用されやすいジェスチャーコマンドに対する操作が効率的なり、更なる操作性向上を実現する効果がある。

また、実施形態７によれば、更に、操作者がジェスチャーコマンドの入力を誤った場合や、思い出せずに操作が一定時間以上中断した場合に表示されるジェスチャーコマンド一覧を、「固定位置」又は「操作位置」又は「操作位置外」に描画可能となり、更なる操作性向上を実現する効果がある。

また、実施形態８によれば、更に、操作者がジェスチャーコマンドの入力を誤った場合や、思い出せずに操作が一定時間以上中断した場合に表示されるジェスチャーコマンド一覧とは別に、通常の操作項目一覧を表示することが可能となり、更に、タップ回数によって表示される一覧を指定可能とすることで、更なる操作性向上を実現する効果がある。

また、実施形態９によれば、更に、ペンタップ回数に応じて、対応する項目を一覧表示することが可能となり、ジェスチャーコマンド以外の操作においても、本発明の効果が得られる。

従来技術において、ペン操作対応処理を示すフローチャートである。従来技術において、ペン操作を示す図である。本実施形態の情報処理装置のハードウェア構成を示すブロック図である。実施形態１において、全体処理を示すフローチャートである。実施形態１において、ペン操作対応処理を示すフローチャートである。実施形態１において、ジェスチャーコマンド解釈処理を示すフローチャートである。実施形態１において、ジェスチャーコマンドタイムアウト実行処理を示すフローチャートである。実施形態１において、ジェスチャーコマンドデータを示す図である。実施形態１において、表示されたジェスチャーコマンド一覧を示す図である。実施形態２において、ジェスチャーコマンド一覧表示処理を示すフローチャートである。実施形態２において、ジェスチャーコマンド類推処理を示すフローチャートである。実施形態２において、表示されたジェスチャーコマンド一覧を示す図である。実施形態２において、表示されたジェスチャーコマンド一覧を示す図である。実施形態３において、ジェスチャーコマンド一覧タイムアウト実行処理を示すフローチャートである。実施形態４において、ジェスチャーコマンド一覧タイムアウト実行処理を示すフローチャートである。実施形態４において、表示されたジェスチャーコマンド一覧を示す図である。実施形態４において、ジェスチャーコマンド次一覧表示処理を示すフローチャートである。実施形態５において、表示されたジェスチャーコマンド選択を示す図である。実施形態５において、ジェスチャーコマンド一覧選択処理を示すフローチャートである。実施形態６において、表示されたジェスチャーコマンド選択を示す図である。実施形態６において、表示されたジェスチャーコマンド表示を示す図である。実施形態７において、ジェスチャーコマンド一覧描画処理を示すフローチャートである。実施形態８において、ジェスチャーコマンド入力開始判断処理を示すフローチャートである。実施形態８において、カーソル移動処理を示すフローチャートである。実施形態８において、操作タイムアウト実行処理を示すフローチャートである。実施形態８において、表示された操作項目表示を示す図である。実施形態９において、操作タイムアウト実行処理を示すフローチャートである。

Claims

ペン又はマウスの軌跡により指示するジェスチャーコマンド指示手段と、
ジェスチャーコマンドを解釈するジェスチャーコマンド解釈手段と、
前記解釈結果にしたがって実行するジェスチャーコマンド実行手段と、
を備えることを特徴とする情報処理装置において、
ジェスチャーコマンドの軌跡を例示するジェスチャーコマンド一覧表示手段と、
操作開始後、一定時間操作が無い場合の処理を実行させるジェスチャーコマンドタイムアウト実行手段と、
を備え、
前記ジェスチャーコマンドタイムアウト実行手段は、
前記ジェスチャーコマンド一覧表示手段により、ジェスチャーコマンドの一覧を表示することを特徴とする情報処理装置。
ペン又はマウスの軌跡により指示するジェスチャーコマンド指示手段と、
ジェスチャーコマンドを解釈するジェスチャーコマンド解釈手段と、
前記解釈結果にしたがって実行するジェスチャーコマンド実行手段と、
を備えることを特徴とする情報処理装置において、
ジェスチャーコマンドの軌跡を例示するジェスチャーコマンド一覧表示手段と、
を備え、
前記ジェスチャーコマンド解釈手段により解釈が失敗した場合、
前記ジェスチャーコマンド一覧表示手段により、ジェスチャーコマンドの一覧を表示することを特徴とする情報処理装置。
前記ジェスチャーコマンド一覧表示手段は、
ジェスチャーコマンドを類推するジェスチャーコマンド類推手段と、
を備え、類推されたジェスチャーコマンドだけを例示することを特徴とする請求項１及び２記載の情報処理装置。
前記ジェスチャーコマンド類推手段は、
操作時点で可能なジェスチャーコマンドとして類推することを特徴とする請求項３記載の情報処理装置。
前記ジェスチャーコマンド類推手段は、
ジェスチャーコマンド指示手段により指示された軌跡から類推することを特徴とする請求項３記載の情報処理装置。
前記ジェスチャーコマンド一覧表示手段は、
表示後、一定時間操作が無い場合の処理を実行させるジェスチャーコマンド一覧表示タイムアウト実行手段と、
を備えることを特徴とする請求項１及び２記載の情報処理装置。
前記ジェスチャーコマンド一覧表示タイムアウト実行手段は、
前記ジェスチャーコマンド一覧表示手段により表示された一覧表示を終了するジェスチャーコマンド一覧表示終了手段と、
を備えることを特徴とする請求項６記載の情報処理装置。
前記ジェスチャーコマンド一覧表示タイムアウト実行手段は、
前記ジェスチャーコマンド一覧表示手段により表示された一覧とは異なる一覧を表示する第二のジェスチャーコマンド一覧表示手段と、
を備えることを特徴とする請求項６記載の情報処理装置。
前記ジェスチャーコマンド一覧表示手段により、最初に表示される一覧は、次に表示される一覧の一部であることを特徴とする請求項８記載の情報処理装置。
前記ジェスチャーコマンド一覧表示手段により、全ての一覧の表示後、最初の一覧が表示されることを特徴とする請求項８記載の情報処理装置。
前記ジェスチャーコマンド一覧表示手段により、次に表示される一覧は、
前記ジェスチャーコマンド類推手段により類推される条件を緩和して抽出されるジェスチャーコマンドを含むことを特徴とする請求項３及び８記載の情報処理装置。
一覧表示された項目を選択するジェスチャーコマンド一覧選択手段と、
を備え、
前記ジェスチャーコマンド実行手段は、
前記ジェスチャーコマンド一覧選択手段により選択されたジェスチャーコマンドを実行することを特徴とする請求項１又は２記載の情報処理装置。
前記ジェスチャーコマンド一覧選択手段により選択後、表示を終了することを特徴とする請求項１２記載の情報処理装置。
前記ジェスチャーコマンド一覧選択手段は、
ジェスチャーコマンド一覧表示終了のジェスチャーを解釈するジェスチャーコマンド一覧終了ジェスチャー解釈手段と、
を備え、表示終了と解釈された場合に、表示を終了することを特徴とする請求項１２記載の情報処理装置。
前記ジェスチャーコマンド一覧選択手段は、
指示されたジェスチャーコマンドを、表示中のジェスチャーコマンド一覧から解釈するジェスチャーコマンド一覧ジェスチャー解釈手段と、
を備えることを特徴とする請求項１２記載の情報処理装置。
前記ジェスチャーコマンド一覧表示手段により表示される項目を指定するジェスチャーコマンド一覧設定手段と、
を備えることを特徴とする請求項１又は２記載の情報処理装置。
前記ジェスチャーコマンド一覧設定手段は、前記第二のジェスチャーコマンド一覧表示手段から選択された項目を、前記第一のジェスチャーコマンド一覧表示手段に追加することを特徴とする請求項８及び１６記載の情報処理装置。
前記ジェスチャーコマンド一覧表示手段は、
操作を行った位置を避けて表示することを特徴とする請求項１又は２記載の情報処理装置。
前記ジェスチャーコマンド一覧表示手段は、
操作を行った位置に表示することを特徴とする請求項１又は２記載の情報処理装置。
前記ジェスチャーコマンド一覧表示手段は、
固定位置に表示することを特徴とする請求項１又は２記載の情報処理装置。
ペン又はマウスの軌跡により指示するジェスチャーコマンド指示手段と、
ジェスチャーコマンドを解釈するジェスチャーコマンド解釈手段と、
前記解釈結果にしたがって実行するジェスチャーコマンド実行手段と、
を備えることを特徴とする情報処理装置において、
ジェスチャーコマンド入力開始を判断するジェスチャーコマンド入力開始判断手段と、
を備えることを特徴とする情報処理装置。
前記ジェスチャーコマンド入力開始判断手段は、
ペンタップ又はマウスクリックの回数で判断することを特徴とする請求項２１記載の情報処理装置。
操作項目の一覧を表示する操作項目一覧表示手段と、
ジェスチャーコマンドの軌跡を例示するジェスチャーコマンド一覧表示手段と、
操作開始後、一定時間操作が無い場合の処理を実行させる操作タイムアウト実行手段と、
を備え、
前記操作タイムアウト実行手段は、
前記ジェスチャーコマンド入力開始判断手段による判断結果がジェスチャーコマンド入力中の場合、前記ジェスチャーコマンド一覧表示手段によりジェスチャーコマンドを一覧表示し、
ジェスチャーコマンド入力中でない場合、操作項目一覧表示手段により操作項目を一覧表示すること、
を特徴とする請求項２１記載の情報処理装置。
ペン又はマウスにより指示する指示手段と、
ペンタップ時間又はマウスクリック時間が一定時間を超えた場合、項目を表示する項目表示手段と、
を備えることを特徴とする情報処理装置において、
ペンタップ又はマウスクリック前に行った操作によって表示する項目を決定する表示項目決定手段と、
を備えることを特徴とする情報処理装置。
前記表示項目決定手段は、
ペンタップ又はマウスクリックの回数に応じて表示する項目を決定することを特徴とする請求項２４記載の情報処理装置。
前記表示項目決定手段は、
ペンタップ又はマウスクリックの回数が１回の場合には表示項目を一定数以下で決定し、２回の場合には表示項目を全項目で決定することを特徴とする請求項２５記載の情報処理装置。
ペン又はマウスにより指示する指示手段と、
ペンタップ時間又はマウスクリック時間が一定時間を超えた場合、項目を表示する第一の項目表示手段と、
を備えることを特徴とする情報処理装置において、
前記第一の項目表示手段により項目表示後、ペンタップ時間又はマウスクリック時間が更に一定時間を超えた場合、前記第一の項目表示手段によって表示されなかった項目を含む項目を表示する第二の動作項目表示手段と、
を備えることを特徴とする情報処理装置。
前記第二の項目表示手段により表示される項目は、全項目であることを特徴とする請求項２７記載の情報処理装置。
前記第二の項目表示手段により項目表示後、ペンタップ時間又はマウスクリック時間が更に一定時間を超えた場合、前記第二の項目表示手段によって表示されなかった項目を含む項目を表示する第三の項目表示手段と、
を備え、以降、一定時間ごとに表示される項目を切替えて表示することを特徴とする請求項２７記載の情報処理装置。
前記全ての切替え完了後、再び最初に表示された項目を表示することを特徴とする請求項２９記載の情報処理装置。
前記指示手段により、第二の項目表示手段で表示された項目が指示された場合、
第一の項目と、第二の項目を入れ替える、項目入れ替え手段と、
を備えることを特徴とする請求項２７記載の情報処理装置。
請求項１から３１記載の情報処理方法。
請求項１から３１記載の処理を機能させるプログラムを記録した記録媒体。
請求項１から３１記載の処理をコンピュータによって実現させるための制御プログラム。