JP2014021864A - 入力支援プログラム及び入力支援装置 - Google Patents

Abstract

【課題】効率的な入力操作を実現するための入力支援プログラム及び入力支援装置を提供する。
【解決手段】タブレット端末２０は、制御部２１、通常辞書記憶部２２及びジェスチャ辞書記憶部２４を備える。ジェスチャ辞書の作成処理において、制御部２１は、ジェスチャと動作イベントとを対応付けて、ジェスチャ辞書記憶部２４に登録する。そして、入力支援処理においては、制御部２１は、操作を検知し、入力メモリに一時記憶する。検知した操作内容がジェスチャ辞書記憶部２４に登録されており、登録ジェスチャと判定した場合、制御部２１は、第１アクション処理を実行する。次に、制御部２１は、入力メモリに一時記憶された操作内容に基づいて複合ジェスチャかどうかについての判定処理を実行する。複合ジェスチャと判定した場合、制御部２１は、第２アクション処理を実行し、一時記憶のクリア処理を実行する。
【選択図】図１

Description

本発明は、コンピュータ端末において、文字入力を支援するための入力支援プログラム及び入力支援装置に関する。

タブレット端末等のコンピュータ端末において、キーボードを画面上に表示し、その上でカーソルを移動させて文字を選択し入力するソフトウェアキーボードが提案されている（例えば、特許文献１を参照。）。この文献に記載された技術では、表示画面上にソフトウェアキーボードを表示し、画面を触れることで情報を入力する機能を有する。更に、この文献には、ユーザの操作位置のバラツキに基づいて、各キーの表示を変更することが記載されている。

特開２０１１−１５０４８９号公報（第１頁、図１）

上述のソフトウェアキーボードでは、ソフトウェアキーボード上のタッチ位置により、選択されたキーを特定する。しかしながら、ソフトウェアキーボードの場合、物理的キーボードのような指先感覚によるキーの認識ができないことから、利用者が想定しているソフトウェアキーボードの各キーの位置と実際のソフトウェアキーボードの各キーの位置との間にずれが生じやすい。一方、タブレット端末においては、タッチ方法やタッチ位置など、各種入力方法を検知することができる。また、各種入力方法は、利用者や利用環境に応じて異なるものである。従来、このような入力方法や利用環境を考慮した入力装置はなかったため、効率的な入力をできないという課題があった。

本発明は、上記問題点を解決するためになされたものであり、効率的な入力操作を実現するための入力支援プログラム及び入力支援装置を提供することにある。

上記問題点を解決するために、請求項１に記載の発明は、利用者の操作を検知する操作検知手段と、入力操作に関するジェスチャ定義に対応する動作イベント定義が登録されたジェスチャ辞書を記憶したジェスチャ辞書記憶部と、動作イベントを実行する制御手段とを備えたコンピュータ端末において、入力を支援するためのプログラムであって、前記制御手段を、前記操作検知手段において操作を検知した場合、この操作内容を順次、記憶し、記憶された一連の操作内容に基づいてジェスチャ定義を特定し、このジェスチャ定義に対応する動作イベント定義を前記ジェスチャ辞書記憶部において特定するジェスチャ特定手段、前記動作イベント定義に特定される動作イベントを実行する動作イベント実行手段として機能させることを要旨とする。

請求項２に記載の発明は、請求項１に記載の入力支援プログラムにおいて、前記ジェスチャ辞書記憶部には、文字列を入力する際のキーボード打鍵軌跡をキー配置に対応させた打鍵軌跡パターンがジェスチャ定義として登録されており、前記ジェスチャ特定手段は、前記操作検知手段においてタッチ入力を検知した場合には、タッチ入力に応じた打鍵軌跡を特定し、この特定した打鍵軌跡に近似する打鍵軌跡パターンを前記ジェスチャ辞書記憶部において特定することを要旨とする。

請求項３に記載の発明は、請求項２に記載の入力支援プログラムにおいて、前記コンピュータ端末は文字を表示する表示手段を備えており、前記制御手段を、前記表示手段にソフトウェアキーボードを出力し、前記ソフトウェアキーボードにおいて選択された文字により構成された単語を特定するキーボード制御手段として更に機能させ、前記ジェスチャ特定手段は、前記打鍵軌跡と、前記ジェスチャ辞書記憶部に記憶された打鍵軌跡パターンとに基づいて特定された単語と、前記キーボード制御手段において特定された単語とに基づいて、入力された単語の予測を行なうことを要旨とする。

請求項４に記載の発明は、請求項２又は３に記載の入力支援プログラムにおいて、前記制御手段を、文章作成時の文法規則により、入力される単語の品詞を予測する文法規則判定手段として更に機能させ、前記ジェスチャ特定手段は、文字入力状況に応じて、前記文法規則判定手段から次に入力される単語の品詞情報を取得し、前記品詞情報を用いて、前記打鍵軌跡と前記打鍵軌跡パターンとに基づいて単語を特定することを要旨とする。

請求項５に記載の発明は、請求項１〜４のいずれか１項に記載の入力支援プログラムにおいて、前記ジェスチャ辞書記憶部に記憶されたジェスチャ定義は、利用環境情報に関連付けて記憶されており、前記制御手段を、前記ジェスチャを検知したときの入力状況を取得する手段として更に機能させ、前記ジェスチャ特定手段は、前記入力状況に対応する利用環境情報に関連付けられている動作イベントを特定することを要旨とする。

請求項６に記載の発明は、請求項１〜５のいずれか１項に記載の入力支援プログラムにおいて、前記ジェスチャ辞書記憶部には、利用者情報が記憶されており、前記制御手段を、前記特定したジェスチャ定義に基づいて、前記ジェスチャ辞書記憶部から利用者情報を取得し、前記操作検知手段において検知した操作と、前記ジェスチャ辞書記憶部において特定したジェスチャ定義との間の差異に基づいて、前記コンピュータ端末の利用者についての本人確認を行なう手段として更に機能させることを要旨とする。

請求項７に記載の発明は、利用者の操作を検知する操作検知手段と、入力操作に関するジェスチャ定義に対応する動作イベント定義が登録されたジェスチャ辞書を記憶したジェスチャ辞書記憶部と、動作イベントを実行する制御手段とを備えて、入力を支援するための入力支援装置であって、前記制御手段が、前記操作検知手段において操作を検知した場合、この操作内容を順次、記憶し、記憶された一連の操作内容に基づいてジェスチャ定義を特定し、このジェスチャ定義に対応する動作イベント定義を前記ジェスチャ辞書記憶部において特定するジェスチャ特定手段と、前記動作イベント定義に特定される動作イベントを実行する動作イベント実行手段とを備えたことを要旨とする。

（作用）
請求項１又は７に記載の発明によれば、制御手段が、操作検知手段において操作を検知した場合、この操作内容を順次、記憶し、記憶された一連の操作内容に基づいてジェスチャ定義を特定し、このジェスチャ定義に対応する動作イベント定義を前記ジェスチャ辞書記憶部において特定する。そして、制御手段が、この動作イベント定義に特定される動作イベントを実行する。これにより、入力されたジェスチャから、利用者が所望する動作イベントを、効率的に実行させることができる。

請求項２に記載の発明によれば、制御手段が、操作検知手段においてタッチ入力を検知した場合には、タッチ入力に応じた打鍵軌跡を特定し、特定した打鍵軌跡に近似する打鍵軌跡パターンをジェスチャ辞書記憶部において特定する。これにより、入力された打鍵軌跡に応じた打鍵軌跡パターンから、利用者が入力したい文字列を特定し、この文字列の入力を効率的に行なうことができる。

請求項３に記載の発明によれば、制御手段が、表示手段にソフトウェアキーボードを出力し、ソフトウェアキーボードにおいて選択された文字により構成された単語を特定する。制御手段が、打鍵軌跡と、ジェスチャ辞書記憶部に記憶された打鍵軌跡パターンとに基づいて特定された単語と、特定された単語とに基づいて、入力された単語の予測を行なう。これにより、打鍵軌跡パターンとソフトウェアキーボードにおいて選択された文字により構成された単語から、利用者が指定したはずの単語を効率的に入力することができる。

請求項４に記載の発明によれば、制御手段が、文章作成時の文法規則により、入力される単語の品詞を予測する。制御手段が、文字入力状況に応じて、文法規則判定手段から次に入力される単語の品詞情報を取得し、品詞情報を用いて、打鍵軌跡と打鍵軌跡パターンを用いて単語を特定する。これにより、単語の品詞を特定することにより単語の絞り込みを行なって、打鍵軌跡パターンを用いて、より効率よく単語を特定することができる。

請求項５に記載の発明によれば、制御手段が、ジェスチャを検知したときのジェスチャの入力状況を取得する。制御手段が、この入力状況に対応する利用環境情報に関連付けられている動作イベントを特定する。これにより、そのときの入力状況を考慮して、動作イベントを特定して実行することができる。

請求項６に記載の発明によれば、制御手段が、特定したジェスチャに基づいて、ジェスチャ辞書記憶部から利用者情報を取得し、操作検知手段において検知した操作と、ジェスチャ辞書記憶部において特定したジェスチャ定義との間の差異に基づいて、コンピュータ端末の利用者についての本人確認を行なう。これにより、登録されたジェスチャ定義を用いて、本人確認を行なうことができる。

本発明によれば、効率的な入力操作を実現するための入力支援プログラム及び入力支援装置を提供することができる。

本発明の実施形態の入力支援装置の機能ブロックの説明図。 本発明の実施形態におけるジェスチャ辞書の作成処理の説明図。 本発明の実施形態における入力支援処理の説明図。 本発明の実施形態における打鍵軌跡パターン辞書の作成処理の説明図。 本発明の実施形態における文字入力支援処理の説明図。

以下、本発明を具体化した入力支援装置の一実施形態を図１〜図５に従って説明する。本実施形態では、図１に示すように、タブレット端末２０に、一連の入力操作（ジェスチャ）によって、所定の処理内容（動作イベント）の実行を指示する場合を説明する。また、本実施形態では、ソフトウェアキーボード上で選択された各キーや、タブレット端末２０において検知したジェスチャに対応する英文字を入力する場合を想定する。ここで、ジェスチャには、ソフトウェアキーボード上で検知した特定のタッチや、加速度センサにおいて検知した特定の動きがある。

タブレット端末２０は、利用者が用いるコンピュータ端末であって、各種アプリケーションを実行させることにより、情報の出力や入力に用いられる。本実施形態では、このタブレット端末２０は、制御部２１、通常辞書記憶部２２、ジェスチャ辞書記憶部２４、加速度センサ２７、タッチパネルディスプレイ３０を備えている。

タッチパネルディスプレイ３０は、表示手段及び入力手段として機能する。具体的には、パネル上に情報を出力するとともに、パネル表面を軽く叩く操作（タップ）等のタッチ状況や加速度に応じた表示内容に基づいて各種操作（ポインティング、キー入力等）を行なうことができる。本実施形態では、このタッチパネルディスプレイ３０には、ソフトウェアキーボード５００が表示される。このソフトウェアキーボード５００には、文字の入力や、削除やカーソル移動等の操作を行なうためのキーが含まれている。

制御部２１は、制御手段（ＣＰＵ、ＲＡＭ、ＲＯＭ等）を備え、後述する処理（表示制御段階、画面操作段階、センサ情報取得段階、アプリケーション実行段階、辞書作成段階、操作処理段階等の各処理等）を行なう。そして、制御部２１は、表示制御手段２１１、画面操作手段２１２、センサ情報取得手段２１３、アプリケーション実行手段２１４として機能する。更に、制御部２１は、入力支援プログラムを実行することにより、辞書作成手段２１５、及びジェスチャに応じた動作イベントを特定する操作処理手段２１６として機能する。ここで、画面操作手段２１２、センサ情報取得手段２１３は、利用者の操作を検知する操作検知手段として機能する。また、操作処理手段２１６は、ジェスチャ特定手段として機能する。

表示制御手段２１１は、タッチパネルディスプレイ３０における表示を制御する処理を実行する。
画面操作手段２１２は、タッチパネルディスプレイ３０における操作（ジェスチャ）を検知する処理を実行する。このジェスチャには、タッチパネルディスプレイ３０上でのタッチやピンチ（２本の指における間隔の変更動作）などがある。この場合、画面操作手段２１２は、タッチパネルディスプレイ３０上でタッチされた座標（タッチ位置）や、ピンチにおける動き（動きの方向や大きさ）を特定する。更に、画面操作手段２１２は、タッチパネルディスプレイ３０上にソフトウェアキーボード５００を出力し、ソフトウェアキーボード５００において選択された文字により構成された単語を特定するキーボード制御手段として機能する。

センサ情報取得手段２１３は、加速度センサ２７からの加速度情報（加速度の方向、大きさ及びパターン等）を取得する処理を実行する。
アプリケーション実行手段２１４は、動作イベント実行手段として機能し、タブレット端末２０に格納されたアプリケーション（例えば、文章作成、表計算、ブラウザ等）の起動、実行等の管理を行なう。本実施形態においては、このアプリケーションの実行により、キー入力対象である文字入力画面をタッチパネルディスプレイ３０に出力する。

辞書作成手段２１５は、ジェスチャ定義に対応する動作イベント定義をジェスチャ辞書記憶部２４に記録する。このため、辞書作成手段２１５は、ジェスチャ登録画面をタッチパネルディスプレイ３０に出力し、このジェスチャ登録画面において設定されたジェスチャ定義、動作イベント定義を取得して、ジェスチャ辞書記憶部２４に記録する。更に、ジェスチャにおいて、タッチパネルディスプレイ３０のタッチ位置（絶対位置座標）を取得して、ジェスチャ辞書記憶部２４に記録する。

操作処理手段２１６は、ジェスチャに応じた動作イベントの実行をアプリケーション実行手段２１４やＯＳ（オペレーションシステム）等に指示する処理を実行する。動作イベントとしては、文字入力やコマンド実行等がある。この操作処理手段２１６は、検知したジェスチャに応じた動作イベント定義をジェスチャ辞書記憶部２４において特定し、特定した動作イベント（第１アクション）の指示を行なう。また、操作処理手段２１６は、本来、タブレット端末２０が対応可能な基本ジェスチャについての基本ジェスチャテーブルを保持している。この基本ジェスチャテーブルには、操作内容（ジェスチャ）に対して動作イベントが記録されている。そして、操作処理手段２１６は、検知したジェスチャに応じた動作を基本ジェスチャテーブルにおいて特定し、特定した動作イベント（第１アクション）を実行する。

また、操作処理手段２１６は、一連の操作内容を時系列に一時記憶する入力メモリを備えている。そして、操作処理手段２１６は、入力メモリに記録された一連の操作内容に基づいて、ジェスチャ辞書記憶部２４において複合ジェスチャと判定した場合には、この複合ジェスチャに応じた動作（第２アクション）の指示を行なう。また、操作処理手段２１６は、区切りを検知した場合や第２アクションを実行した場合には、入力メモリに一時記憶された一連の操作内容の記録を消去（クリア）する。

更に、制御部２１は、利用者を認証する利用者認証手段として機能する。このため、制御部２１は、このタブレット端末２０の利用者を認証するための利用者情報（利用者ＩＤ、パスワード）を記憶している。

また、制御部２１は、入力の区切りを特定するための区切り情報（例えば、コマンド実行、区切り文字（デリミタ）の入力）を記憶した区切り情報メモリを備えている。このデリミタとして、例えば、「カンマ」、「スペース」、「タブ」等の区切り文字に関するデータが記憶されている。

通常辞書記憶部２２には、一般的に用いられる単語（見出し語）をスペル表記した辞書データが記録されている。この見出し語は、複数の文字からなる文字列によって構成される。

ジェスチャ辞書記憶部２４には、ジェスチャに基づいて、実行させる動作イベント（システムに対する指示）を特定するためのジェスチャ管理レコードが記録される。このジェスチャ管理レコードは、ジェスチャ定義が登録された場合に記録される。このジェスチャ管理レコードには、利用者ＩＤ、利用環境、ジェスチャ定義に対して、絶対位置指標、動作イベント定義が記憶されている。

利用者ＩＤデータ領域には、各利用者を特定するための識別子に関するデータが記録される。
利用環境データ領域には、ジェスチャ入力を利用する利用環境を特定するための識別子に関するデータが記録される。利用環境として、年月日や時刻に対応するタイムゾーン、入力先のアプリケーションやファイル名が用いられる。

ジェスチャ定義データ領域には、タブレット端末２０において入力するジェスチャ（操作内容）に関するデータが記録される。ジェスチャ定義として、画面操作手段２１２において検知したタッチパターン（キー操作、マルチタッチ、タッチ時間、タッチリズム、タッチ軌跡、タッチ位置等）や、加速度センサ２７において検知した加速度パターンが記憶されている。ここで、タッチ時間は、一箇所を継続的にタッチされた時間の長さ（タッチ継続時間）である。タッチリズムは、基準時間内にタッチされたリズム（タッチの時間間隔とタッチ継続時間）である。

絶対位置指標データ領域には、ジェスチャを特定するためのタッチ位置が、タッチパネルディスプレイ３０上の絶対位置（座標）において固定されているかどうかを判定するための指標に関するデータが記録される。この絶対位置指標は、ジェスチャ定義データ領域に記録されたタッチ位置の座標と、実際のタッチ位置の座標とのずれの許容度を示す。例えば、タッチパネルディスプレイ３０上でジェスチャを検知する座標が決められている場合には、絶対位置指標を高く設定しておく。一方、タッチパネルディスプレイ３０上でジェスチャを検知する座標が決められていない場合には、絶対位置指標を低く設定しておく。本実施形態では、絶対位置指標：「低」〜「高」までの間において、任意の値を設定することができる。そして、操作処理手段２１６は、この絶対位置指標に応じて、ジェスチャ定義のタッチ位置と実際のタッチ位置とのずれの許容範囲を決める座標位置許容度を定める。

動作イベント定義データ領域には、検知したジェスチャに基づいて実行される動作イベントを特定するためのデータが記録される。この動作イベント定義には、ジェスチャ定義に応じた文字列の入力やコマンド実行等が設定される。

加速度センサ２７は、タブレット端末２０において生じた加速度を３次元で測定するための加速度計測手段である。そして、加速度センサ２７は、所定期間分の加速度情報を仮記憶する。

（ジェスチャ辞書の作成処理）
次に、ジェスチャ辞書の作成処理について図２に従って説明する。
まず、タブレット端末２０の制御部２１は、メニュー画面の出力処理を実行する（ステップＳ１−１）。タブレット端末２０の使用時には、制御部２１は、利用者の特定処理を実行する。具体的には、制御部２１は、利用者認証画面をタッチパネルディスプレイ３０に出力する。この利用者認証画面には、利用者ＩＤ、パスワードを入力するための入力欄が設けられている。ここで、利用者ＩＤ、パスワードが入力された場合、制御部２１は、記憶している利用者ＩＤ、パスワードと照合する。そして、制御部２１は、照合を完了した場合、利用者ＩＤを仮記憶し、表示制御手段２１１により、タッチパネルディスプレイ３０にメニュー画面を表示する。このメニュー画面には、起動可能な各種アプリケーションのアイコンが表示されており、各アイコンを選択することにより、各アプリケーションを起動することができる。

この場合、タブレット端末２０の制御部２１は、ジェスチャ登録画面の出力処理を実行する（ステップＳ１−２）。ここで、利用者は、タッチパネルディスプレイ３０のメニュー画面において、ジェスチャ登録アプリケーションのアイコンを選択する。これにより、タブレット端末２０の制御部２１は、ジェスチャ登録アプリケーションの起動処理を実行する。具体的には、制御部２１の辞書作成手段２１５は、ジェスチャ登録画面をタッチパネルディスプレイ３０に表示する。

ジェスチャ登録画面には、ジェスチャ開始ボタン、ジェスチャ終了ボタン、利用環境設定欄、利用環境設定ボタン、絶対位置指標設定欄、動作イベント定義欄及び終了ボタンが含まれる。ジェスチャ開始ボタンは、登録対象のジェスチャの入力を開始する場合に用いられる。ジェスチャ終了ボタンは、登録対象のジェスチャの入力を終了する場合に用いられる。

利用環境設定欄は、登録するジェスチャが用いられる利用環境の設定を行なうための入力欄である。この利用環境設定欄においては、例えば、このジェスチャを利用できる時間帯を設定することができる。このため、辞書作成手段２１５は、現在日時に対応するタイムゾーンを、利用環境として特定し、利用環境設定欄に表示する。この場合、必要に応じて、利用者は利用環境設定欄を修正する。なお、このジェスチャを、利用環境を限定せずに汎用的に利用する場合には、利用環境設定欄を空欄にしておく。

また、タブレット端末２０において利用可能なアプリケーションを設定することができる。この場合、辞書作成手段２１５は、インストールされているアプリケーションや、利用実績があるアプリケーションを特定し、利用環境設定欄に表示する。この場合も、必要に応じて、利用者は利用環境設定欄に表示されたアプリケーションを修正する。

なお、利用環境に依存しないジェスチャについては、利用環境設定欄を空欄にしておく。利用環境設定ボタンは、利用環境設定欄において設定された利用環境を、ジェスチャに関連付けて登録するために用いられる。

絶対位置指標設定欄には、ジェスチャについてのタッチ位置が、タッチパネルディスプレイ３０上の絶対位置（座標）において固定されているかどうかを特定するためのスライダが表示される。このスライダを用いて、絶対位置指標として、「低」〜「高」までの間において、任意の値を設定することができる。絶対位置指標として「低」が設定されている場合には、タッチパネルディスプレイ３０上の任意座標でジェスチャを検知した場合に、動作イベントを実行する。一方、絶対位置指標として「高」が設定されている場合には、タッチパネルディスプレイ３０上で辞書登録された座標でジェスチャを検知した場合のみ、動作イベントを実行する。

終了ボタンは、ジェスチャ登録アプリケーションを終了するために用いられる。
動作イベント定義欄は、ジェスチャに対応させて実行させる動作イベント（文字列の入力やコマンド実行）を登録するために用いられる。

そして、タブレット端末２０の制御部２１は、ジェスチャの定義処理を実行する（ステップＳ１−３）。ここでは、タブレット端末２０を用いて、模擬操作によって手本を示すことにより、ジェスチャを指定する。具体的には、制御部２１の辞書作成手段２１５は、ジェスチャ開始ボタンの選択を検知してからジェスチャ終了ボタンの選択を検知するまでの間に取得した操作内容をジェスチャ定義として特定する。ここでは、辞書作成手段２１５は、タッチパネルディスプレイ３０においてタッチを検知し、画面操作手段２１２から取得したタッチパターンや、加速度センサ２７において検知し、センサ情報取得手段２１３から取得した加速度パターンをジェスチャ定義として特定する。

例えば、タッチパネルディスプレイ３０において、特定のキー操作や、同時期に複数の位置におけるマルチタッチやピンチを検知した場合には、これらの位置の座標をキー操作パターンとして特定する。また、一連のタッチ間隔からなるタッチリズムや、タッチ状態を維持して指を動かした軌跡をジェスチャ定義として特定する。また、タブレット端末２０は、左右等の特定方向の振動について、加速度センサ２７において水平方向の往復運動の加速度を検知した場合には、この加速度の時系列変化からなる加速度パターンをジェスチャ定義として特定する。

次に、タブレット端末２０の制御部２１は、ジェスチャに対応させる動作イベントの定義処理を実行する（ステップＳ１−４）。具体的には、制御部２１の辞書作成手段２１５は、動作イベント定義欄において、ジェスチャ定義に対応させて実行させる動作イベントを特定する。この動作イベント定義欄では、文字列の入力や、特定のコマンド実行を指定することができる。

次に、タブレット端末２０の制御部２１は、ジェスチャと動作イベントとを対応付けて登録処理を実行する（ステップＳ１−５）。具体的には、制御部２１の辞書作成手段２１５は、利用環境設定ボタンの選択を検知した場合、利用者ＩＤに関連付けて、特定した操作内容（ジェスチャ）をジェスチャ定義データ領域に記録したジェスチャ管理レコードを生成する。また、辞書作成手段２１５は、利用環境設定欄において利用環境情報が設定されている場合には、この利用環境情報をジェスチャ管理レコードに記録する。更に、辞書作成手段２１５は、ジェスチャ登録画面において設定された絶対位置指標や動作イベント定義を、絶対位置指標、動作イベント定義の各データ領域に記録する。そして、辞書作成手段２１５は、生成したジェスチャ管理レコードをジェスチャ辞書記憶部２４に記録する。

（入力支援処理）
次に、タブレット端末２０において行なわれる入力支援処理について図３に従って説明する。タブレット端末２０を使用する場合には、タブレット端末２０の制御部２１は、利用者のログイン認証を行ない、認証した利用者ＩＤを仮記憶する。

そして、タブレット端末２０の制御部２１は、アプリケーションの起動処理を実行する。具体的には、制御部２１は、タッチパネルディスプレイ３０のアプリケーション選択画面において指定されたアプリケーションを起動する。ここでは、文字入力を行なうアプリケーション（例えば文書作成アプリケーション）を起動する場合を想定する。この場合、操作処理手段２１６は、起動されたアプリケーションに用いられるファイルの拡張子を特定して仮記憶する。また、特定のファイルが選択された場合には、操作処理手段２１６は、このファイルのファイル名とファイル拡張子を特定して仮記憶する。そして、アプリケーション実行手段２１４は、タッチパネルディスプレイ３０に表示画面（文字入力画面）を出力する。

更に、タブレット端末２０の制御部２１は、ソフトウェアキーボードの表示処理を実行する（ステップＳ２−１）。具体的には、制御部２１のアプリケーション実行手段２１４は、文字入力領域の選択を検知した場合、表示制御手段２１１に対して、ソフトウェアキーボード５００の出力を指示する。この場合、表示制御手段２１１は、タッチパネルディスプレイ３０に、ソフトウェアキーボード５００を表示させる。

そして、タブレット端末２０の制御部２１は、操作検知処理を実行する（ステップＳ２−２）。ここでは、タッチパネルディスプレイ３０におけるタッチやピンチ、加速度センサ２７における加速度の検知を行なう。具体的には、制御部２１の操作処理手段２１６は、画面操作手段２１２からタッチ位置情報やピンチ操作情報を取得する。また、操作処理手段２１６は、センサ情報取得手段２１３から、加速度センサ２７において検知した加速度情報を取得する。

次に、タブレット端末２０の制御部２１は、一時記憶処理を実行する（ステップＳ２−３）。具体的には、制御部２１の操作処理手段２１６は、利用環境（タイムゾーン、ファイル拡張子及びファイル名）に関連付けて、操作内容を入力メモリに記憶する。なお、操作内容が、部分的にもジェスチャ辞書記憶部２４に記録されていない操作についてはフィルタリングして、入力メモリをリセットする。

次に、タブレット端末２０の制御部２１は、登録ジェスチャかどうかについての判定処理を実行する（ステップＳ２−４）。ここでは、タブレット端末２０の利用者や利用環境に対応するジェスチャ管理レコードを用いて、操作内容に対応するジェスチャ定義を検索する。具体的には、制御部２１の操作処理手段２１６は、システムタイマにおいて現在日時を特定し、この現在日時に対応するタイムゾーンを特定する。そして、操作処理手段２１６は、利用者や利用環境（タイムゾーン、ファイル拡張子及びファイル名）に対応するジェスチャ管理レコードをジェスチャ辞書記憶部２４において検索する。この場合、利用者ＩＤ、利用環境データ領域が空欄となっている汎用レコードを検索対象に含める。そして、操作処理手段２１６は、ジェスチャ辞書記憶部２４において、座標位置許容度を考慮して、ジェスチャ管理レコードを検索する。利用者ＩＤや利用環境に関連付けられ、操作内容に対応するジェスチャ定義が記録されたジェスチャ管理レコードを、ジェスチャ辞書記憶部２４から抽出した場合には登録ジェスチャと判定する。

検知した操作内容がジェスチャ辞書記憶部２４に登録されており、登録ジェスチャと判定した場合（ステップＳ２−４において「ＹＥＳ」の場合）、タブレット端末２０の制御部２１は、第１アクション処理を実行する（ステップＳ２−５）。具体的には、制御部２１の操作処理手段２１６は、ジェスチャ辞書記憶部２４において、登録ジェスチャに関連付けて記録された動作イベント定義を特定する。そして、操作処理手段２１６は、この動作イベント定義に特定される動作イベントの実行を指示する。

一方、ジェスチャ辞書記憶部２４に操作内容が登録されておらず、登録ジェスチャでないと判定した場合（ステップＳ２−４において「ＮＯ」の場合）、タブレット端末２０の制御部２１は、基本ジェスチャかどうかについての判定処理を実行する（ステップＳ２−６）。具体的には、制御部２１の操作処理手段２１６は、検知した操作内容について、保持している基本ジェスチャテーブルを検索する。

基本ジェスチャと判定した場合（ステップＳ２−６において「ＹＥＳ」の場合）、タブレット端末２０の制御部２１は、第１アクション処理を実行する（ステップＳ２−５）。具体的には、制御部２１の操作処理手段２１６は、基本ジェスチャテーブルにおいて、検知したジェスチャに関連付けて記録された動作イベントを特定する。そして、操作処理手段２１６は、特定した動作イベントを実行する。

一方、基本ジェスチャでないと判定した場合（ステップＳ２−６において「ＮＯ」の場合）、タブレット端末２０の制御部２１は、第１アクション処理（ステップＳ２−５）をスキップする。

次に、タブレット端末２０の制御部２１は、複合ジェスチャかどうかについての判定処理を実行する（ステップＳ２−７）。具体的には、制御部２１の操作処理手段２１６は、利用者ＩＤや利用環境に関連付けられたジェスチャ管理レコードであって、入力メモリに記録された一連の操作内容がジェスチャ定義として記録されたジェスチャ管理レコードを、ジェスチャ辞書記憶部２４において検索する。

入力メモリに一時記憶された操作内容がジェスチャ定義として記録されたジェスチャ管理レコードがジェスチャ辞書記憶部２４に登録されており、複合ジェスチャと判定した場合（ステップＳ２−７において「ＹＥＳ」の場合）、タブレット端末２０の制御部２１は、第２アクション処理を実行する（ステップＳ２−８）。具体的には、制御部２１の操作処理手段２１６は、ジェスチャ辞書記憶部２４において、ジェスチャ管理レコードに記録された動作イベント定義を特定する。そして、操作処理手段２１６は、タッチパネルディスプレイ３０に、置き換え確認画面を出力する。この置き換え確認画面には、ジェスチャ辞書記憶部２４において特定した動作イベント定義の内容を含める。更に、置き換え確認画面には、先に行なわれた動作イベントに対して、一連の操作内容に対応して特定した動作イベントに置き換え要否を選択させるためのアイコンを含める。置き換え要アイコンが選択された場合には、操作処理手段２１６は、アプリケーション実行手段２１４に対して、第２アクションとして、入力メモリに記録された先行動作イベントを、操作された順番の逆順で取り消し、新たに特定した動作イベントを実行する指示を行なう。一方、置き換え不要アイコンが選択された場合には、タブレット端末２０の制御部２１は、第２アクション処理（ステップＳ２−８）をスキップする。

一方、入力メモリに記録された一連の操作内容がジェスチャ辞書記憶部２４に登録されておらず、複合ジェスチャでないと判定した場合（ステップＳ２−７において「ＮＯ」の場合）、タブレット端末２０の制御部２１は、区切りかどうかについての判定処理を実行する（ステップＳ２−９）。具体的には、制御部２１の操作処理手段２１６は、検知した操作内容が、区切り情報メモリに記録された区切り操作かどうかについて判定する。

区切りでないと判定した場合（ステップＳ２−９において「ＮＯ」の場合）、タブレット端末２０の制御部２１は、ステップＳ２−２から繰り返す。
そして、区切りと判定した場合（ステップＳ２−９において「ＹＥＳ」の場合）や第２アクション処理（ステップＳ２−８）の実行後には、タブレット端末２０の制御部２１は、一時記憶のクリア処理を実行する（ステップＳ２−１０）。具体的には、制御部２１の操作処理手段２１６は、入力メモリに記録された一連の操作内容を消去する。

〔文字入力〕
次に、ソフトウェアキーボードを用いて、文字入力を行なう場合の具体例を説明する。この場合には、通常辞書記憶部２２に登録されている単語（見出し語）を用いてジェスチャ辞書（打鍵軌跡パターン辞書）を作成する。そして、文字入力時には、必要に応じてソフトウェアキーボード５００における入力を、ジェスチャ辞書を用いて修正する。ここでも、打鍵軌跡パターン辞書の作成処理（図４）、入力支援処理（図５）の順番に説明する。

（打鍵軌跡パターン辞書の作成処理）
まず、打鍵軌跡パターン辞書の作成処理について図４に従って説明する。
ここでは、タブレット端末２０の制御部２１は、ステップＳ１−１と同様に、メニュー画面の出力処理を実行する（ステップＳ３−１）。

この場合、タブレット端末２０の制御部２１は、文字列登録画面の出力処理を実行する（ステップＳ３−２）。ここで、利用者は、タッチパネルディスプレイ３０のメニュー画面において、打鍵軌跡登録アプリケーションのアイコンを選択する。これにより、タブレット端末２０の制御部２１は、打鍵軌跡登録アプリケーションの起動処理を実行する。具体的には、制御部２１の辞書作成手段２１５は、文字登録画面をタッチパネルディスプレイ３０に表示する。

文字登録画面には、打鍵軌跡を登録する文字を指定する指定欄が含まれる。この指定欄においては、任意の単語を入力したり、通常辞書記憶部２２に含まれる見出し語を指定したりすることができる。任意の単語についての打鍵軌跡を登録する場合には、この単語を入力することができる。また、通常辞書記憶部２２に含まれる単語（見出し語）についての打鍵軌跡を登録する場合には、登録する見出し語の対象を指定することができる。

そして、タブレット端末２０の制御部２１は、登録する文字列の特定処理を実行する（ステップＳ３−３）。具体的には、制御部２１の辞書作成手段２１５は、文字登録画面において入力され、又は指定された単語を構成する各文字（構成文字）を特定する。通常辞書記憶部２２に記録されている見出し語の範囲が指定された場合には、この範囲に含まれる見出し語の文字列を、順次、特定する。一方、通常辞書記憶部２２に記録されていない単語が入力された場合には、この単語の文字列を特定する。

次に、タブレット端末２０の制御部２１は、文字列についてキーボード上の打鍵軌跡の特定処理を実行する（ステップＳ３−４）。具体的には、制御部２１の辞書作成手段２１５は、特定した各文字に対応するキーの位置を、操作処理手段２１６に記憶されているキー配置情報を用いて特定する。具体的には、制御部２１の辞書作成手段２１５は、特定した各文字に対応するキーの認識領域の中心座標を、単語を構成する文字の順番に連結した軌跡により、打鍵軌跡パターンを特定する。

次に、タブレット端末２０の制御部２１は、文字列と打鍵軌跡とを対応付けて登録処理を実行する（ステップＳ３−５）。具体的には、制御部２１の辞書作成手段２１５は、特定した打鍵軌跡パターンをジェスチャ定義データ領域に記録したジェスチャ管理レコードを生成する。このジェスチャ管理レコードにおいては、利用者ＩＤ、利用環境データ領域が空欄となっている場合には、利用者や利用環境に限定されることなく汎用的に利用されるレコード（汎用レコード）とする。また、絶対位置指標としては「高」を設定する。動作イベント定義領域には、登録文字列（見出し語）を設定する。そして、辞書作成手段２１５は、生成したジェスチャ管理レコードをジェスチャ辞書記憶部２４に記録する。

（文字入力支援処理）
次に、タブレット端末２０において行なわれる文字入力支援処理について図５に従って説明する。ここでは、アプリケーションの利用時にキー入力を行なう場面を想定する。タブレット端末２０を使用する場合には、タブレット端末２０の制御部２１は、利用者のログイン認証を行ない、認証した利用者ＩＤを記憶する。

そして、タブレット端末２０の制御部２１は、アプリケーションの起動処理を実行する。具体的には、制御部２１は、タッチパネルディスプレイ３０のアプリケーション選択画面において指定されたアプリケーションを起動する。ここでは、文字入力を行なうアプリケーション（例えば文書作成アプリケーション）を起動する場合を想定する。この場合、操作処理手段２１６は、起動されたアプリケーションに用いられるファイルの拡張子を特定して仮記憶する。また、特定のファイルが選択された場合には、操作処理手段２１６は、このファイルのファイル名とファイル拡張子を特定して仮記憶する。そして、アプリケーション実行手段２１４は、タッチパネルディスプレイ３０に表示画面（文字入力画面）を出力する。

更に、タブレット端末２０の制御部２１は、ステップＳ２−１と同様に、ソフトウェアキーボードの表示処理を実行する（ステップＳ４−１）。
そして、タブレット端末２０の制御部２１は、操作検知処理を実行する（ステップＳ４−２）。ここでは、タッチパネルディスプレイ３０におけるタッチ位置の検知を行なう。具体的には、制御部２１の操作処理手段２１６は、画面操作手段２１２から取得したタッチ位置情報を特定する。

次に、タブレット端末２０の制御部２１は、一時記憶処理を実行する（ステップＳ４−３）。具体的には、制御部２１の操作処理手段２１６は、利用環境（タイムゾーン、ファイル拡張子及びファイル名）に関連付けて、操作内容を入力メモリに記憶する。なお、ジェスチャ辞書記憶部２４に記録されていない操作についてはフィルタリングして、入力メモリをリセットする。

次に、タブレット端末２０の制御部２１は、登録ジェスチャかどうかについての判定処理を実行する（ステップＳ４−４）。具体的には、制御部２１の操作処理手段２１６は、タブレット端末２０の利用者や利用環境に対応するジェスチャ管理レコードを用いて、操作内容に対応するジェスチャ定義を検索する。

検知した操作内容がジェスチャ辞書記憶部２４に登録されており、登録ジェスチャと判定した場合（ステップＳ４−４において「ＹＥＳ」の場合）、タブレット端末２０の制御部２１は、文字入力処理を実行する（ステップＳ４−５）。具体的には、制御部２１の操作処理手段２１６は、ジェスチャ辞書記憶部２４において、登録ジェスチャに関連付けて記録された文字を特定する。そして、操作処理手段２１６は、特定した文字をアプリケーション実行手段２１４に引き渡す。これにより、タッチパネルディスプレイ３０には、入力された文字が表示される。

一方、ジェスチャ辞書記憶部２４に操作が登録されておらず、登録ジェスチャでないと判定した場合（ステップＳ４−４において「ＮＯ」の場合）、タブレット端末２０の制御部２１は、キー入力かどうかについての判定処理を実行する（ステップＳ４−６）。具体的には、制御部２１の操作処理手段２１６は、検知したジェスチャについて、タッチパネルディスプレイ３０上のソフトウェアキーボード５００のキー配置と比較する。そして、ソフトウェアキーボード５００のいずれかのキーの認識領域がタッチされた場合にはキー入力と判定する。

キー入力と判定した場合（ステップＳ４−６において「ＹＥＳ」の場合）、タブレット端末２０の制御部２１は、文字入力処理を実行する（ステップＳ４−５）。具体的には、制御部２１の操作処理手段２１６は、アプリケーション実行手段２１４に対して、ソフトウェアキーボード５００の配置において特定した文字の入力を指示する。

一方、キー入力でないと判定した場合（ステップＳ４−６において「ＮＯ」の場合）、タブレット端末２０の制御部２１は、文字入力処理（ステップＳ４−５）をスキップする。

次に、タブレット端末２０の制御部２１は、登録チャンクかどうかについての判定処理を実行する（ステップＳ４−７）。具体的には、制御部２１の操作処理手段２１６は、入力メモリに記録された一連の文字入力におけるタッチ位置を繋げて構成された打鍵軌跡を特定する。ここで、打鍵軌跡は、ひとまとまりのデータ（複数の文字）の塊であるチャンク（単語）において、この単語を構成する文字の順番に各文字のキーボード上の位置を繋げた軌跡を意味する。そして、操作処理手段２１６は、特定した打鍵軌跡について、ジェスチャ辞書記憶部２４を検索する。この場合には、この相似形と打鍵軌跡とのずれが座標位置許容度の許容範囲内の場合には、登録チャンクと判定する。

入力メモリに一時記憶された操作内容がジェスチャ定義として記録されたジェスチャ管理レコードがジェスチャ辞書記憶部２４に登録されており、登録チャンクと判定した場合（ステップＳ４−７において「ＹＥＳ」の場合）、タブレット端末２０の制御部２１は、文字の置き換え処理を実行する（ステップＳ４−８）。具体的には、制御部２１の操作処理手段２１６は、ジェスチャ辞書記憶部２４において、一連の操作内容に関連付けて記録された単語を特定する。そして、操作処理手段２１６は、タッチパネルディスプレイ３０に、入力メモリに記録された先行入力文字を取得する。そして、操作処理手段２１６は、アプリケーション実行手段２１４に対して、先に入力された文字を取り消し、新たに特定した単語を入力する指示を行なう。

一方、入力メモリに記録された一連の操作内容がジェスチャ辞書記憶部２４に登録されておらず、登録チャンクでないと判定した場合（ステップＳ４−７において「ＮＯ」の場合）、タブレット端末２０の制御部２１は、区切りかどうかについての判定処理を実行する（ステップＳ４−９）。具体的には、制御部２１の操作処理手段２１６は、検知した操作において入力されたキーが、区切り情報メモリに記録された区切りかどうかについて判定する。

区切りでないと判定した場合（ステップＳ４−９において「ＮＯ」の場合）、タブレット端末２０の制御部２１は、ステップＳ４−２から繰り返す。
一方、区切りと判定した場合（ステップＳ４−９において「ＹＥＳ」の場合）や文字の置き換え処理（ステップＳ４−８）の実行後には、タブレット端末２０の制御部２１は、ステップＳ２−１０と同様に、一時記憶のクリア処理を実行する（ステップＳ４−１０）。具体的には、制御部２１の操作処理手段２１６は、入力メモリに記録された一連の操作内容をリセットする。

本実施形態によれば、以下に示す効果を得ることができる。
（１）本実施形態では、ジェスチャ辞書の作成処理において、タブレット端末２０の制御部２１は、ジェスチャの定義処理（ステップＳ１−３）、ジェスチャに対応させる動作イベントの定義処理（ステップＳ１−４）、ジェスチャと動作イベントとを対応付けて登録処理（ステップＳ１−５）を実行する。そして、入力支援処理において、タブレット端末２０の制御部２１は、登録ジェスチャかどうかについての判定処理を実行する（ステップＳ２−４）。ここで、登録ジェスチャと判定した場合（ステップＳ２−４において「ＹＥＳ」の場合）、タブレット端末２０の制御部２１は、第１アクション処理を実行する（ステップＳ２−５）。これにより、利用者は、タブレット端末２０を用いて、登録されたジェスチャにより、入力操作を効率的に行なうことができる。

（２）本実施形態では、入力支援処理において、タブレット端末２０の制御部２１は、一時記憶処理を実行する（ステップＳ２−３）。そして、タブレット端末２０の制御部２１は、複合ジェスチャかどうかについての判定処理を実行する（ステップＳ２−７）。入力メモリに一時記憶された操作内容がジェスチャ定義として記録されたジェスチャ管理レコードがジェスチャ辞書記憶部２４に登録されており、複合ジェスチャと判定した場合（ステップＳ２−７において「ＹＥＳ」の場合）、タブレット端末２０の制御部２１は、第２アクション処理を実行する（ステップＳ２−８）。これにより、利用者は、一連の複数の操作を組み合わせた複合ジェスチャにより、入力操作を効率的に行なうことができる。

この第２アクション処理（ステップＳ２−８）において、置き換え要アイコンが選択された場合には、操作処理手段２１６は、先に行なわれた動作イベントを取り消し、新たに特定した動作イベントの実行を指示する。これにより、個々の操作を、複合ジェスチャに対応した動作イベントに変更することができる。

（３）本実施形態では、タブレット端末２０の制御部２１は、利用者によって特定したジェスチャ定義、利用環境及び動作イベント定義を関連付けて、ジェスチャ辞書記憶部２４に記録する。この場合、利用環境として、操作された日時に対応するタイムゾーン、入力先となるアプリケーションやファイル名を用いる。これにより、操作時の状況に応じて、ジェスチャ定義を特定することができるので、状況に応じて動作イベントを効率的に実行させることができる。

（４）本実施形態では、入力支援処理において、区切りと判定した場合（ステップＳ２−９、Ｓ４−９において「ＹＥＳ」の場合）、タブレット端末２０の制御部２１は、一時記憶のクリア処理を実行する（ステップＳ２−１０、Ｓ４−１０）。これにより、複合ジェスチャの可能性がなくなった場合、入力メモリに記録された一連の操作内容を消去し、新たな複合ジェスチャやチャンクを検知することができる。

（５）本実施形態では、打鍵軌跡パターン辞書の作成処理において、タブレット端末２０の制御部２１は、登録する文字列の特定処理を実行する（ステップＳ３−３）。タブレット端末２０の制御部２１は、文字列についてキーボード上の打鍵軌跡の特定処理を実行する（ステップＳ３−４）。タブレット端末２０の制御部２１は、文字列と打鍵軌跡とを対応付けて登録処理を実行する（ステップＳ３−５）。ここで、通常辞書記憶部２２に記録されている見出し語の範囲が指定された場合には、この範囲に含まれる見出し語を、順次、特定する。これにより、通常辞書記憶部２２を用いて、打鍵軌跡パターンを登録することができる。

（６）本実施形態では、タブレット端末２０の制御部２１は、登録チャンクかどうかについての判定処理を実行する（ステップＳ４−７）。ここで、入力メモリに一時記憶された操作内容がジェスチャ定義として記録されたジェスチャ管理レコードがジェスチャ辞書記憶部２４に登録されており、登録チャンクと判定した場合（ステップＳ４−７において「ＹＥＳ」の場合）、タブレット端末２０の制御部２１は、文字の置き換え処理を実行する（ステップＳ４−８）。これにより、打鍵軌跡に基づいて単語を特定することで、より確からしい単語を特定することができる。

また、上記実施形態は、以下の態様に変更してもよい。
・ 上記各実施形態では、入力支援装置としてタブレット端末２０を用いたが、これに限定されるものではない。例えば、タッチ入力可能なスマートフォン端末等にも適用することが可能である。

・上記実施形態においては、入力メモリに一時記憶された操作内容がジェスチャ定義として記録されたジェスチャ管理レコードがジェスチャ辞書記憶部２４に登録されており、登録チャンクと判定した場合（ステップＳ４−７において「ＹＥＳ」の場合）、タブレット端末２０の制御部２１は、文字の置き換え処理を実行する（ステップＳ４−８）。この場合、第２アクション処理（ステップＳ２−８）と同様に、置き換え確認画面を出力し、文字列の置き換え要否を確認するようにしてもよい。

・上記実施形態においては、複合ジェスチャと判定した場合（ステップＳ２−７において「ＹＥＳ」の場合）、タブレット端末２０の制御部２１は、第２アクション処理を実行する（ステップＳ２−８）。また、登録チャンクと判定した場合（ステップＳ４−７において「ＹＥＳ」の場合）、タブレット端末２０の制御部２１は、文字の置き換え処理を実行する（ステップＳ４−８）。ここで、置き換えの頻度に応じて、置き換えの要否を判断するようにしてもよい。この場合に、ジェスチャ辞書記憶部２４に記録されたジェスチャ定義に関連付けて、置き換え頻度を登録しておく。そして、ジェスチャ定義に対応する操作を検知した場合に、置き換えの有無に応じて置き換え頻度を更新する。そして、タブレット端末２０の制御部２１は、置き換え頻度が基準値（例えば５０％）を超えている場合には、置き換えを実行する。

・上記実施形態においては、登録チャンクと判定した場合（ステップＳ４−７において「ＹＥＳ」の場合）、タブレット端末２０の制御部２１は、文字の置き換え処理を実行する（ステップＳ４−８）。ここで、タブレット端末２０の制御部２１が、キー入力された文字列とジェスチャ辞書記憶部２４に記録された登録チャンクとを比較するようにしてもよい。そして、登録チャンクとキー入力された文字列とが一致した場合には、操作処理手段２１６は、キー入力された文字列（単語）を維持するとともに、一時記憶のクリア処理を実行する（ステップＳ２−１０）。一方、両者が異なる場合には、入力候補として登録チャンクを文字入力画面に出力する。また、両者が異なる場合には、使用頻度が高い単語を特定してもよい。これにより、キー入力の文字列と登録チャンクとを併用しながら、利用者が入力したはずの単語を、より適切に特定することができる。
また、通常辞書記憶部２２において見出し語を特定できない場合のみ、操作処理手段２１６が打鍵軌跡パターンを利用して単語を特定するようにしてもよい。

・ 上記実施形態では、利用環境として、タイムゾーン、入力先となるアプリケーションやファイル名を用いたが、利用環境はこれに限定されるものではない。加速度センサ２７によって検知されるタブレット端末２０の周囲環境を利用環境として用いることも可能である。また、先行入力文字、タップ速度、キー入力開始からの経過時間を用いることも可能である。

ここで、先行入力文字については、ジェスチャ辞書記憶部２４において、先に入力された文字や単語を、ジェスチャ管理レコードの利用環境データ領域に登録しておく。そして、パターンマッチングを行なう場合、操作処理手段２１６は、直前に入力された単語を特定して、この先行入力単語に応じた利用環境に関連付けられたジェスチャ定義を特定する。

また、タップ速度については、ジェスチャ辞書記憶部２４において、ジェスチャ管理レコードの利用環境データ領域にタップ速度範囲を登録しておく。そして、パターンマッチングを行なう場合、操作処理手段２１６は、所定の基準時間内にタップされた回数をカウントし、タップ速度を算出する。そして、操作処理手段２１６は、算出したタップ速度に応じた利用環境（タップ速度範囲）に関連付けられたジェスチャ定義を特定する。

また、キー入力開始からの経過時間については、ジェスチャ辞書記憶部２４において、ジェスチャ管理レコードの利用環境データ領域に経過時間範囲を登録しておく。そして、パターンマッチングを行なう場合、操作処理手段２１６は、キー入力開始時刻を仮記憶し、このキー入力開始時刻からの経過時間を算出する。そして、操作処理手段２１６は、算出した経過時間に応じた利用環境（経過時間範囲）に関連付けられたジェスチャ定義を変更する。

・ 上記実施形態では、登録チャンクと判定した場合（ステップＳ４−７において「ＹＥＳ」の場合）、タブレット端末２０の制御部２１は、文字の置き換え処理を実行する（ステップＳ４−８）。これに代えて、検知した操作内容（ジェスチャ）に基づいて、本人確認を行なうようにしてもよい。この場合には、本人確認の基準とする基準文字列に応じて、利用者毎に、この基準文字の打鍵軌跡パターンを登録しておく。基準文字列として、例えば、本人の名前や、よく使用する単語を用いることができる。そして、操作処理手段２１６は、基準文字列を特定した場合に、この基準文字に対応する打鍵軌跡を用いて、入力操作の特徴（打鍵位置）を特定して本人確認を行なう。具体的には、打鍵軌跡パターンに対して打鍵位置のずれが所定範囲内にある場合のみ、本来の利用者と判定する。これにより、利用者の本人確認を継続的に行なうことができるので、セキュリティを向上させることができる。

更に、タブレット端末２０の制御部２１において、利用者の打鍵軌跡から利用者の入力操作の特徴（例えば癖）を学習するようにしてもよい。具体的には、制御部２１は、利用者によって入力された単語についての打鍵軌跡を、見出し語に関連付けて記憶する。また、利用者の修正入力によって単語が修正された場合、修正前の単語のキーの位置と修正後の単語のキーの位置とを比較し、これらが所定範囲に含まれる場合には、修正後の単語（見出し語）に関連付けて、修正前の打鍵軌跡を記憶する。これらの打鍵軌跡は、利用者ＩＤに関連付けて記憶する。これにより、利用者に応じた入力支援を行なうことができる。

更に、利用者の入力操作の特徴から、この利用者のソフトウェアキーボード５００のキー配置を変更するようにしてもよい。例えば、制御部２１は、打鍵軌跡に基づいて単語が特定できた場合、この単語の文字列に応じて、この文字のキーの中心を、打鍵位置に一致するように、キー位置を変更する。

また、打鍵軌跡パターンと入力された打鍵軌跡とを比較し、キーボード全体がずれている場合には、制御部２１は、このずれ量に応じて、キーボード全体の配置を変更（平行移動や回転）するようにしてもよい。

・ 上記実施形態では、操作内容（ジェスチャ）を特定するために、タッチパネルディスプレイ３０や加速度センサを用いる。ここで、ジェスチャを特定する手段は、これに限定されるものではなく、タブレット端末２０に設けられた各種センサ（例えば、カメラやマイク等）を用いることができる。この場合には、各種センサにおいて検知できる情報についてのパターンをジェスチャ辞書記憶部２４において登録しておく。

・ 上記実施形態では、タブレット端末２０の制御部２１は、登録ジェスチャかどうかについての判定処理を実行する（ステップＳ２−４、Ｓ４−４）。また、タブレット端末２０の制御部２１は、複合ジェスチャ、登録チャンクかどうかについての判定処理（ステップＳ２−７、Ｓ４−７）。この場合に、操作内容に対応して、近似する複数のジェスチャ定義を抽出できる場合には、一致度が高いパターンに応じた動作イベント定義を特定するようにしてもよい。

・ 上記実施形態では、操作処理手段２１６は、この絶対位置指標に応じて、ジェスチャ定義のタッチ位置と実際のタッチ位置とのずれの許容範囲を決める座標位置許容度を定める。このずれの許容範囲は、単語によって変更するようにしてもよい。この場合、ジェスチャ辞書記憶部２４において、単語毎にずれの許容範囲を記録する。具体的には、タブレット端末２０の制御部２１は、ジェスチャ辞書記憶部２４に記録された打鍵軌跡パターンを相互に比較し、類似した打鍵軌跡パターンの有無を判定する。そして、制御部２１は、類似した打鍵軌跡パターンがないと判定した場合には、ジェスチャ辞書記憶部２４において、この単語に関連付けて、ずれの許容範囲を大きく設定する。この場合、例えば、制御部２１に大きさが異なる許容範囲を予め保持させておき、打鍵軌跡パターンがないと判定した場合には大きい許容範囲を設定する。一方、類似した打鍵軌跡パターンがある場合には、ジェスチャ辞書記憶部２４において、この単語に関連付けて、ずれの許容範囲を小さく設定する。この場合には、打鍵軌跡パターンがないと判定した場合よりも小さい許容範囲を設定する。これにより、類似する打鍵軌跡パターンがない場合には、許容範囲を大きくして効率的に単語を特定できるとともに、類似する打鍵軌跡パターンがある場合には、許容範囲を小さくして的確な単語を特定することができる。

・ 上記実施形態では、タブレット端末２０の制御部２１は、登録チャンクかどうかについての判定処理を実行する（ステップＳ４−７）。ここで、登録チャンクを特定する場合に、文字入力状況に応じて、単語の絞り込みを実行してもよい。具体的には、公知の技術を用いて、制御部２１を、文章作成時の文法規則により、入力される単語の品詞を予測する文法規則判定手段として更に機能させる。更に、ジェスチャ辞書記憶部２４のジェスチャ管理レコードに記録された単語に対して、品詞を登録しておく。そして、制御部２１の操作処理手段２１６は、文字入力状況に応じて、文法規則判定手段から次に入力される単語の品詞情報を取得する。そして、操作処理手段２１６は、この品詞情報を用いて、ジェスチャ定義（打鍵軌跡パターン）を基づいて単語を特定する。これにより、品詞情報に基づいて入力される単語を絞り込むことができるので、効率的かつ的確に単語の特定を行なうことができる。

・ 上記実施形態では、この操作処理手段２１６は、画面操作手段２１２からタッチ情報（タッチ位置、タッチ軌跡等）を取得する。タッチ情報は、これらに限定されるものではない。例えば、タッチ強度を用いることも可能である。このタッチ強度を用いる場合には、操作処理手段２１６は、一箇所をタッチされたときの加速度パターンを用いて、ジェスチャを特定する。なお、タッチパネルディスプレイ３０に圧力センサを設けて、操作処理手段２１６は、この圧力センサからタッチ強度を取得して、ジェスチャを特定するようにしてもよい。

・ 上記実施形態では、一連の入力操作を判定するために、区切り情報メモリを用いて、タブレット端末２０の制御部２１は、区切りかどうかについての判定処理を実行する（ステップＳ２−９、Ｓ４−９）。一連の入力操作の判定方法はこれに限定されるものではない。例えば、操作処理手段２１６は、タッチパネルディスプレイ３０におけるタッチ操作情報（タッチリズムやタッチ軌跡等）を取得した場合には、操作開始から、一定の時間間隔が空くまでに連続して行なわれたタッチ操作を、一連の操作内容として特定する。また、操作処理手段２１６は、加速度センサ２７から加速度情報を取得した場合には、一定時間内の加速度情報を、一連の操作内容として特定する。

２０…タブレット端末、２１…制御部、２２…通常辞書記憶部、２４…ジェスチャ辞書記憶部、２７…加速度センサ、３０…タッチパネルディスプレイ、２１１…表示制御手段、２１２…画面操作手段、２１３…センサ情報取得手段、２１４…アプリケーション実行手段、２１５…辞書作成手段、２１６…操作処理手段、５００…ソフトウェアキーボード。

Claims (7)

1. 利用者の操作を検知する操作検知手段と、
   入力操作に関するジェスチャ定義に対応する動作イベント定義が登録されたジェスチャ辞書を記憶したジェスチャ辞書記憶部と、
   動作イベントを実行する制御手段とを備えたコンピュータ端末において、入力を支援するためのプログラムであって、
   前記制御手段を、
   前記操作検知手段において操作を検知した場合、この操作内容を順次、記憶し、記憶された一連の操作内容に基づいてジェスチャ定義を特定し、このジェスチャ定義に対応する動作イベント定義を前記ジェスチャ辞書記憶部において特定するジェスチャ特定手段、
   前記動作イベント定義に特定される動作イベントを実行する動作イベント実行手段
   として機能させることを特徴とする入力支援プログラム。
2. 前記ジェスチャ辞書記憶部には、文字列を入力する際のキーボード打鍵軌跡をキー配置に対応させた打鍵軌跡パターンがジェスチャ定義として登録されており、
   前記ジェスチャ特定手段は、前記操作検知手段においてタッチ入力を検知した場合には、タッチ入力に応じた打鍵軌跡を特定し、
   特定した打鍵軌跡に近似する打鍵軌跡パターンを前記ジェスチャ辞書記憶部において特定することを特徴とする請求項１に記載の入力支援プログラム。
3. 前記コンピュータ端末は文字を表示する表示手段を備えており、
   前記制御手段を、前記表示手段にソフトウェアキーボードを出力し、前記ソフトウェアキーボードにおいて選択された文字により構成された単語を特定するキーボード制御手段として更に機能させ、
   前記ジェスチャ特定手段は、前記打鍵軌跡と、前記ジェスチャ辞書記憶部に記憶された打鍵軌跡パターンとに基づいて特定された単語と、前記キーボード制御手段において特定された単語とに基づいて、入力された単語の予測を行なうことを特徴とする請求項２に記載の入力支援プログラム。
4. 前記制御手段を、文章作成時の文法規則により、入力される単語の品詞を予測する文法規則判定手段として更に機能させ、
   前記ジェスチャ特定手段は、文字入力状況に応じて、前記文法規則判定手段から次に入力される単語の品詞情報を取得し、
   前記品詞情報を用いて、前記打鍵軌跡と前記打鍵軌跡パターンとに基づいて単語を特定することを特徴とする請求項２又は３に記載の入力支援プログラム。
5. 前記ジェスチャ辞書記憶部に記憶されたジェスチャ定義は、利用環境情報に関連付けて記憶されており、
   前記制御手段を、前記ジェスチャを検知したときの入力状況を取得する手段として更に機能させ、
   前記ジェスチャ特定手段は、前記入力状況に対応する利用環境情報に関連付けられている動作イベントを特定することを特徴とする請求項１〜４のいずれか１項に記載の入力支援プログラム。
6. 前記ジェスチャ辞書記憶部には、利用者情報が記憶されており、
   前記制御手段を、
   前記特定したジェスチャ定義に基づいて、前記ジェスチャ辞書記憶部から利用者情報を取得し、
   前記操作検知手段において検知した操作と、前記ジェスチャ辞書記憶部において特定したジェスチャ定義との間の差異に基づいて、前記コンピュータ端末の利用者についての本人確認を行なう手段として更に機能させることを特徴とする請求項１〜５のいずれか１項に記載の入力支援プログラム。
7. 利用者の操作を検知する操作検知手段と、
   入力操作に関するジェスチャ定義に対応する動作イベント定義が登録されたジェスチャ辞書を記憶したジェスチャ辞書記憶部と、
   動作イベントを実行する制御手段とを備えて、入力を支援するための入力支援装置であって、
   前記制御手段が、
   前記操作検知手段において操作を検知した場合、この操作内容を順次、記憶し、記憶された一連の操作内容に基づいてジェスチャ定義を特定し、このジェスチャ定義に対応する動作イベント定義を前記ジェスチャ辞書記憶部において特定するジェスチャ特定手段と、
   前記動作イベント定義に特定される動作イベントを実行する動作イベント実行手段と
   を備えたことを特徴とする入力支援装置。

Images