JP2010238211A - 入力補助装置、入力補助装置用プログラム及び入力補助システム - Google Patents

Abstract

【課題】入力操作の際に入力補助画像を適切な表示状態で見ることができる入力補助装置を提供する。
【解決手段】指の空間的な動作に対応する入力コードを決定する入力装置に対して、入力動作を補助する入力補助装置は、利用者の指又は手の装着部に装着され、前記指の前記動作を検出して検出信号を生成する検出手段と、前記検出手段からの検出信号に対応する入力コードを決定する入力コード決定手段と、前記検出手段からの検出信号に基づき、前記入力コードの決定結果が表示される表示画面に表示され且つ前記指の動作を補助するための入力補助画像の表示状態を決定する制御手段と、を含む。
【選択図】図８

Description

本発明は、入力補助装置の技術分野に属し、より詳細には、指の空間的な動作に対応する入力コードを決定する入力装置に対して、入力動作を補助する入力補助装置の技術分野に属する。

コンピュータ装置等において、アルファベット等の文字を入力する際の入力装置として、各文字に対応し指により操作されるキーが配列されたキーボードが使用されている。このキーボードは、その配置のためのスペースが必要であり、省スペースの観点からキーボードの小型化が望まれている。しかし、キーボードのキーが指により操作される点を考慮すると、操作性の観点から、キーボードの小型化には限界がある。

そこで、現在、入力装置として、キーボードの配置のためのスペースが不要である仮想キーボード装置が提案されている。この種のキーボード装置では、指にセンサを装着し、当該センサにより指の空間的な動作を検出し、当該検出した動作を示す動作信号に対応する入力コードが出力される。

上述した仮想キーボード装置においては、実際のキーボードが存在しないために、入力操作者は、いずれのキーが指により操作されるかを容易に認識することができない。そこで、入力の補助となる情報を入力操作者に提示する入力補助装置が提案されており、例えば、下記特許文献１乃至特許文献２に記載される従来技術がある。

特許文献１に記載される従来技術では、キーボードの入力操作を行う際に、手袋が装着される。この手袋には、各指が担当するキーを示す図が配列表示されている。また、特許文献２に記載される従来技術では、仮想キーボード装置において、表示装置の表示画面に仮想キーボードの画像を表示する。この仮想キーボードの画像には、操作者の指先位置情報が表示される。

特開平１１−２９３５０８号公報 特開２０００−２４２３９４号公報

特許文献１に示されるように、各指が担当するキーを示す図が配列表示された手袋を装着する場合には、キーボードの入力操作者は、視線を手袋に向ける必要があり、すなわち視線を下に向ける必要があるので、入力された文字を表示するための表示装置の表示画面を見ることができないという問題がある。また、特許文献２に示されるように、表示装置の表示画面に仮想キーボードの画像を表示する場合には、当該表示画面において、入力された文字を表示するための本来の表示領域が小さくなるという問題がある。

本発明は、上記の問題点等に鑑みて為されたものであり、その目的の一例は、入力操作の際に入力補助画像を適切な表示状態で見ることができる入力補助装置を提供することにある。

上記の課題を解決するために、請求項１に記載の発明は、指の空間的な動作に対応する入力コードを決定する入力装置に対する入力動作を補助する入力補助装置において、利用者の指又は手の装着部に装着され、前記指の前記動作を検出して検出信号を生成する検出手段と、前記検出手段からの検出信号に対応する入力コードを決定する入力コード決定手段と、前記検出手段からの検出信号に基づき、前記入力コードの決定結果が表示される表示画面に表示され且つ前記指の動作を補助するための入力補助画像の表示状態を決定する制御手段と、を含むことを特徴とする入力補助装置である。

上記の課題を解決するために、請求項２に記載の発明は、請求項１に記載の入力補助装置において、前記入力補助画像は、前記指の動作の対象となる入力インターフェースの画像であることを特徴とする入力補助装置である。

上記の課題を解決するために、請求項３に記載の発明は、請求項１又は２に記載の入力補助装置において、前記制御手段は、前記検出手段からの検出信号に基づき、指の動作がある場合には、入力補助画像を非表示状態にし、指の動作がない場合には、入力補助画像を表示状態にすることを特徴とする入力補助装置である。

上記の課題を解決するために、請求項４に記載の発明は、請求項１又は２に記載の入力補助装置において、前記制御手段は、前記検出手段からの検出信号に基づき、指の動作がある場合と比較して、指の動作がない場合には、入力補助画像の表示状態を視認容易にする入力補助装置である。

上記の課題を解決するために、請求項５に記載の発明は、請求項１又は２に記載の入力補助装置において、前記制御手段は、前記検出手段からの検出信号に基づき、指の動作の速度が所定速度以上である場合と比較して、指の動作の速度が所定速度未満である場合には、入力補助画像の表示状態を視認容易にする入力補助装置である。

上記の課題を解決するために、請求項６に記載の発明は、請求項１又は２に記載の入力補助装置において、前記制御手段は、前記検出手段からの検出信号に基づき、文字の削除を行うためのキーについての指の動作の頻度が所定頻度以上である場合には、入力補助画像の表示状態を視認容易にする入力補助装置である。

上記の課題を解決するために、請求項７に記載の発明は、請求項４乃至６のうちいずれか１項に記載の入力補助装置において、前記入力補助画像の表示状態が視認容易である状態は、入力補助画像が拡大表示される表示状態である入力補助装置である。

上記の課題を解決するために、請求項８に記載の発明は、請求項４乃至６のうちいずれか１項に記載の入力補助装置において、前記入力補助画像の表示状態が視認容易である状態は、入力補助画像が濃く表示される表示状態である入力補助装置である。

上記の課題を解決するために、請求項９に記載の発明は、指の空間的な動作に対応する入力コードを決定する入力装置に対して、入力動作を補助する入力補助装置であって、利用者の指又は手の装着部に装着され、前記指の前記動作を検出して検出信号を生成する検出手段を備えた入力補助装置のコンピュータを、前記検出手段からの検出信号に対応する入力コードを決定する入力コード決定手段と、前記検出手段からの検出信号に基づき、前記入力コードの決定結果が表示される表示画面に表示され且つ前記指の動作を補助するための入力補助画像の表示状態を決定する制御手段と、して機能させることを特徴とする入力補助装置用プログラムである。

上記の課題を解決するために、請求項１０に記載の発明は、請求項１乃至８のうちいずれか１項に記載の入力補助装置と、前記入力補助装置に接続され、表示画面を有する表示装置と、を含み、前記入力補助装置の制御手段からの制御信号に基づき、前記表示装置の表示画面に表示される入力補助画像の表示状態が決定される入力補助システムである。

請求項１に記載の本発明によれば、検出手段からの検出信号に基づき表示画面に表示されるべき入力補助画像の表示状態が決定されるので、入力操作者は、入力補助画像を適切な表示状態で見ることができる。

請求項２に記載の本発明によれば、請求項１に記載の発明の効果に加えて、入力操作者は、入力補助画像としての入力インターフェースの画像を適切な表示状態で見ることができる。入力補助画像として、例えば、キーボード画像、テンキー画像、任意の入力装置画像などの入力インターフェースの画像が挙げられる。

請求項３に記載の本発明によれば、請求項１又は２に記載の発明の効果に加えて、指の動作がある場合には、入力補助画像が非表示状態であるので、表示画面上において入力補助画像が入力操作者の入力操作の支障になることがなく、一方、指の動作がない場合には、入力補助画像が表示されるので、入力操作者が入力操作に戸惑っている場合に入力操作者は入力補助画像を容易に見ることができる。

請求項４に記載の本発明によれば、請求項１又は２に記載の発明の効果に加えて、指の動作がある場合と比較して、指の動作がない場合には、入力補助画像の表示状態が視認容易であるので、入力操作者が入力操作に戸惑っている場合に入力操作者は入力補助画像を容易に見ることができる。

請求項５に記載の本発明によれば、請求項１又は２に記載の発明の効果に加えて、指の動作の速度が所定速度以上である場合と比較して、指の動作の速度が所定速度未満である場合には、入力補助画像の表示状態が視認容易であるので、入力操作者が入力操作に戸惑っている場合に入力操作者は入力補助画像を容易に見ることができる。

請求項６に記載の本発明によれば、請求項１又は２に記載の発明の効果に加えて、文字の削除を行うためのキーについての指の動作の頻度が所定頻度未満である場合と比較して、文字の削除を行うためのキーについての指の動作の頻度が所定頻度以上である場合には、入力補助画像の表示状態が視認容易であるので、入力操作者が入力操作に戸惑っている場合に入力操作者は入力補助画像を容易に見ることができる。

請求項７に記載の本発明によれば、請求項４乃至６のうちいずれか１項に記載の発明の効果に加えて、入力補助画像が拡大表示されるので、入力操作者が入力操作に戸惑っている場合に入力操作者は入力補助画像を容易に見ることができる。

請求項８に記載の本発明によれば、請求項４乃至６のうちいずれか１項に記載の発明の効果に加えて、入力補助画像が濃く表示されるので、入力操作者が入力操作に戸惑っている場合に入力操作者は入力補助画像を容易に見ることができる。

請求項９に記載の本発明によれば、入力補助装置用プログラムにより、入力補助装置のコンピュータを入力補助装置の入力コード決定手段、および制御手段として機能させることができる。

請求項１０に記載の本発明によれば、請求項１に記載の発明の効果に加えて、入力補助装置の制御手段からの制御信号に基づき表示装置の表示画面に表示される入力補助画像の表示状態が決定されるので、入力操作者は、表示装置の表示画面上において入力補助画像を適切な表示状態で見ることができる。

仮想キーボード装置の構成を示す図である。 仮想キーボード装置の他の構成を示す図である。 指センサを示す図である。 静止状態での指センサの出力電圧を示すグラフ図である。 キー押下げ時における指センサの出力電圧を示すグラフ図である。 パターン判断部を含む入力コード出力部の構成を示す図である。 仮想キーボード装置の学習動作を示すフローチャート図である。 本願の実施の形態による仮想キーボード装置を含む入力補助装置を示す図である キーボード画像が表示画面の下の領域において充分な大きさで表示されている表示状態を示す図である。 キーボード画像が表示画面に表示されていない状態を示す図である。 キーボード画像が薄く表示されている表示状態を示す図である。 キーボード画像が縮小されて表示画面の左下の領域に表示されている表示状態を示す図である。 指の動作の有無に基づくキーボード画像の非表示／表示を示すフローチャートである。 指の動作の有無に基づくキーボード画像の表示状態の決定を示すフローチャートである。 指の動作の速度に基づくキーボード画像の表示状態の決定を示すフローチャートである。 削除キー又はバックスペースキー等の削除を行うためのキーについての動作に基づくキーボード画像の表示状態の決定を示すフローチャートである。

以下、本発明を実施するための形態について、図面を参照しながら説明する。なお、以下に説明する実施の形態は、仮想キーボード装置に対して本発明を適用した場合の実施の形態である。

仮想キーボード装置の概略
まず、仮想キーボード装置の概略について説明する。

図１には、仮想キーボード装置の構成が示されている。図１において、利用者の装着部としての左手１０Ｌ及び右手１０Ｒの指１４−１乃至１４−５及び１４−６乃至１４−１０には、それぞれ、指センサ１６−１乃至１６−５及び１６−６乃至１６−１０が装着されている。この指センサ１６は、指の空間的な動作に伴って変化する動作信号を検出するセンサであり、例えば、加速度センサ又はジャイロセンサから構成されている。なお、指センサ１６の詳細については、後述する。左手１０Ｌ及び右手１０Ｒの例えば手の甲には、それぞれ、データ収集部１８、２０が装着されており、当該データ収集部１８、２０には、指センサ１６−１乃至１６−５及び１６−６乃至１６−１０からの動作信号がハーネス２２−１乃至２２−５及び２２−６乃至２２−１０を介して供給される。データ収集部１８、２０は、それぞれ、無線部２４、２６を有しており、当該無線部２４、２６からの動作信号は、入力コード出力部２８の無線部３０に受信される。データ収集部１８、２０に収集された動作信号は有線（ハーネス）を介して、入力コード出力部２８に受信されてもよい。

入力コード出力部２８は、無線部３０に加え、動作パターン辞書部３２、及び動作パターン判断部３４を備えている。動作パターン辞書部３２は、指の動作信号のパターンを示すパターン情報を記憶する記憶部である。前記動作パターン判断部３４は、前記動作パターン辞書部３２に記憶されているパターン情報に対応する動作信号と、前記無線部３０から供給された動作信号とを比較し、検出された動作信号に対応する入力コードを出力する。前記出力された入力コードは、入力コード出力部２８に設けられた無線部３６から、文字表示器３８の無線部４０に送信される。文字表示器３８は、表示部４２を有しており、当該表示部４２には、指の動作により入力された入力コードとして例えば文字コード４４が表示される。この場合も、入力コード出力部２８と文字表示器３８は有線（ハーネス）で接続され、通信されてもよい。

図２には、仮想キーボード装置の他の構成が示されている。前記図１の構成では、左手１０Ｌ及び右手１０Ｒにそれぞれデータ収集部１８、２０が装着されていたが、図２の構成では、データ収集部が設けられていない。そして、指センサ１６−１乃至１６−５及び１６−６乃至１６−１０からの動作信号は、ハーネス２２−１乃至２２−５及び２２−６乃至２２−１０を介して、入力コード出力部２８の動作パターン判断部３４に供給されることとなる。

図３には、前記指センサ１６の例として加速度センサが示されている。図３において、指センサ１６は、３軸加速度センサであり、Ｘ軸、Ｙ軸、及びＺ軸のそれぞれについて指の動作による加速度を検出する。なお、Ｚ軸は、重力加速度の方向４４を示す。

図４には、指の静止状態での指センサ１６の出力電圧の例が示されている。図４において、Ｚ軸方向の出力電圧は、Ｘ軸方向及びＹ軸方向の出力電圧と比較して、重力加速度分（符号４６を参照）だけ異なることが分かる。

図５には、空間内でキー押下げ動作をした時の指センサ１６の出力電圧が示されている。図５は、仮想キーボードにおいて文字Ｑのキーを押下げるように左手１０Ｌの指を動作させた場合の指センサの出力電圧を示している。なお、本発明の仮想キーボードのキー配列はＪＩＳ配列を採用している。図５の上段、中段、及び下段のグラフは、それぞれ、小指１４−５、薬指１４−４、及び親指１４−１に装着された加速度センサのＸ軸方向、Ｙ軸方向、及びＺ軸方向の出力電圧を示す。なお、他の指に装着された加速度センサのＸ軸方向、Ｙ軸方向、及びＺ軸方向の出力電圧については、図示を省略する。そして、図５において、文字Ｑのキーを押下げる際（符合４８で示す時間を参照）には、小指１４−５の動作が大きく、すなわち、図５の上段に示されるように、小指１４−５に装着された加速度センサのＸ軸方向、Ｙ軸方向、及びＺ軸方向の出力電圧の変化は、他の指に装着された加速度センサのＸ軸方向、Ｙ軸方向、及びＺ軸方向の出力電圧の変化と比較して、大きいことが分かる。

図６には、動作パターン判断部３４を含む入力コード出力部の構成が示されている。図６において、例えば左手について考えると、指１４のそれぞれについて指センサ１６が装着され、１つの指センサ１６は、３軸（Ｘ軸、Ｙ軸、及びＺ軸）の動作信号を出力する。従って、動作パターン判断部３４には、５×３＝１５個の動作信号５０が供給される。なお、１５個の動作信号５０、すなわち、１５個のデータを、ニューラルネットワークを用いて各文字５２にマッピングすることにより学習を行い、動作パターン辞書部３２における辞書パターンを作成又は更新する。この学習動作について、図７を用いて説明する。

図７には、仮想キーボード装置の学習動作を示すフローチャートが示されている。図７において、ステップＳ１０で電源をオンにし、ステップＳ１２に進む。そして、ステップＳ１２で入力操作者の判断により学習モードであると、ステップＳ１４に進み、キーボードを入力コード出力部２８（図１、２を参照）に接続する。ステップＳ１６でキーボードを打鍵し、ステップＳ１８で、この打鍵時の指センサ１６の加速度データの読み込みを行い、ステップＳ２０で、加速度データの必要個所のデータ加工（例えば加速度データの変化時点から±５００ｍｓにおけるデータ加工）を行う。ステップＳ２２で、ニューラルネットワークで学習し、ステップＳ２４で、新しい辞書パターンを構築し、ステップＳ２６で入力操作者の判断により学習終了でないと、ステップＳ１６に戻り、一方、ステップＳ２６で入力操作者の判断により学習終了であると、ステップＳ２８に進む。なお、前記ステップＳ１２で入力操作者の判断により学習モードでないと、ステップＳ２８に進む。

ステップＳ２８で、指センサの加速度データの読込みが行われ、ステップＳ３０で、加速度データをデータテーブル値と比較し、手、指が動いたか否かが判断される。ステップＳ３０でＮｏの場合には、ステップＳ２８に戻り、ステップＳ３０でＹｅｓの場合には、ステップＳ３２に進み、加速度データの必要個所のデータ加工（例えば指センサの変化時点から±５００ｍｓにおけるデータ加工）を行う。ステップＳ３４で、加速度データに基づく指の動作がデータベースとして保有されている辞書パターンと比較され、ステップＳ３６で、最も近い入力コードに対応した入力コードが出力され、ステップＳ３８で、当該入力コードは、パーソナルコンピュータ等の文字出力機器に送信され、ステップＳ４０に進む。

ステップＳ４０で入力操作者の判断により入力を継続しない場合には、ステップＳ４２で電源がオフにされ、一方、ステップＳ４０で入力操作者の判断により入力を継続する場合には、ステップＳ４４に進む。ステップＳ４４で、入力操作者が表示画面６０（後述する図８を参照）を見ることにより入力操作者の判断により正確な文字入力がされている場合には、ステップＳ２８に進み、一方、ステップＳ４４で、入力操作者が表示画面６０（後述する図８を参照）を見ることにより入力操作者の判断により正確な文字入力がされていない場合には、ステップＳ１２に進む。

なお、上記図７のフローチャートにおいて、ステップＳ１２、Ｓ２６、Ｓ４０、及びＳ４４における入力操作者の判断について説明すると、データ収集部１８、若しくは２０に操作ボタンを設け、入力操作者（すなわち利用者）は、判断に応じた操作を当該操作ボタンに対して行い、仮想キーボード装置は、当該操作ボタンに対して行われた操作に応じて判断を行う。

本願の実施の形態による仮想キーボード装置を含む入力補助装置
図８には、本願の実施の形態による仮想キーボード装置を含む入力補助装置が示されている。なお、入力補助装置は、後述するパーソナルコンピュータ５６（図８を参照）をも含む。

図８において、各指に装着される指センサ１６としての加速度センサからの検出信号は、動作パターン判断部３４に供給され、当該動作パターン判断部３４は、加速度センサ１６からの検出信号に基づく動作と、動作パターン辞書部３２に記憶されているパターン情報に対応する動作とを比較し、検出信号に基づく動作に対応する文字コードをパーソナルコンピュータ５６に供給する。パーソナルコンピュータ５６は、文字コードを表示装置５８に出力し、文字コードにより示される文字の列、例えば文字Ａ、Ｂ、Ｃ、・・・の列６２が表示装置５８の表示画面６０に表示されるようにする。なお、表示装置５８は、パーソナルコンピュータ５６に並べて机の上等に配置されている。

パーソナルコンピュータ５６は、入力操作時に指の動作を補助するための入力補助画像としてキーボード画像６４を表示装置５８の表示画面６０に表示する。ここで、パーソナルコンピュータ５６は、加速度センサ１６からＡ／Ｄ変換部５４及び動作パターン判断部３４を介して供給される検出信号に基づき、指の動作の態様を検出し、当該指の動作の態様に基づき、表示画面６０におけるキーボード画像６４の表示状態を決定する。

以下、指の動作の態様に基づくキーボード画像６４の表示状態の具体的な決定方法について、図９乃至図１２の表示画面の状態、及び図１３乃至図１６のフローチャートに基づいて説明する。なお、図９では、キーボード画像６４が表示画面６０の下の領域において充分な大きさで表示されている。一方、図１０では、キーボード画像６４が表示画面６０に表示されておらず、図１１では、図９と比較して、キーボード画像６４が薄く表示されており、図１２では、図９と比較して、キーボード画像６４が縮小されて表示画面６０の左下の領域に表示されている。また、図１３乃至図１６のフローチャートでは、指の動作の態様に基づくキーボード画像６４の表示態様の各種の決定方法が示されている。

まず、図１３は、指の動作の有無に基づくキーボード画像の非表示／表示を示すフローチャートである。図１３において、ステップＳ５０でスタートし、ステップＳ５２でパーソナルコンピュータ５６（図８を参照）内のタイマーがスタートし、ステップＳ５４に進む。ステップＳ５４でキー入力があると、すなわち指の動きがあると、ステップＳ５６に進み、キーボード画像が非表示の状態になる（図１０の状態）。図１０では、キーボード画像６４が表示画面６０に表示されておらず、これにより、入力操作に慣れている入力操作者にとって、キーボード画像が入力操作の支障になることがない。なお、ステップＳ５６からは、ステップＳ５２に戻る。

一方、前記ステップＳ５４でキー入力がないと、すなわち指の動きがないと、ステップＳ５８に進む。ステップＳ５８でタイムアップしていないと、ステップＳ５４に戻るが、ステップＳ５８でタイムアップすると、ステップＳ６０に進み、キーボード画像６４が表示される（図９を参照）。なお、前記タイムアップは、パーソナルコンピュータ５６（図８を参照）で計算される。図９では、キーボード画像６４が表示画面６０の下の領域において充分な大きさで表示されており、これにより、入力操作に慣れていない入力操作者は、表示画面６０上においてキーボード画像６４を容易に見ることができる。

次に、図１４のフローチャートを説明する。前記図１３のフローチャートでは、指の動作の有無に基づきキーボード画像６４を非表示にしたりあるいは表示していたが、図１４のフローチャートでは、指の動作の有無に基づきキーボード画像６４の表示が薄くされ又は小さくされ、あるいは、濃くされ又は大きくされる。図１４において、ステップＳ７０、Ｓ７２、Ｓ７４、及びＳ７８は、前記図１３のステップＳ５０、Ｓ５２、Ｓ５４、及びＳ５８と同様であるので、説明を省略する。ステップＳ７４でキー入力があると、すなわち指の動きがあると、ステップＳ７６に進み、キーボード画像の表示が１段階薄くされ又は小さくされる（図１１又は図１２の状態）。

なお、１段階薄く又は小さくの変化の度合いの基準としては、例えば、入力が1文字あるごとに、画像の透過性を１０ずつ上げる、あるいは、入力が1文字あるごとに、補助画像の縦・横のサイズを８０％にする、あるいは、ある既定のサイズ（最大画像サイズの１０％程度）になったら、補助画像を表示しない等である。

図１１では、図９と比較して、キーボード画像６４が薄く表示されており、図１２では、図９と比較して、キーボード画像６４が縮小されて表示画面６０の左下の領域に表示されている。これにより、入力操作に慣れている入力操作者にとって、キーボード画像６４が入力操作の支障になることがない。なお、ステップＳ７６からは、ステップＳ７２に戻る。

一方、ステップＳ７４でキー入力がないと、すなわち指の動きがないと、ステップＳ７８に進み、ステップＳ７８でタイムアップすると、ステップＳ８０に進み、キーボード画像６４の表示が１段濃く又は大きくされる（図９を参照）。

なお、１段階濃く又は大きくの変化の度合いの基準としては、例えば、入力が１０秒間ないごとに、画像の透過性を１０％ずつ下げる、あるいは、入力が１０秒間ないごとに、補助画像の縦・横のサイズを１２０％にする、あるいは、最大画像サイズ（表示領域の１／８程度）になったら、それ以上は大きくしない等である。

図９では、キーボード画像６４が表示画面６０の下の領域において充分な大きさ及び濃さで表示されており、これにより、入力操作に慣れていない入力操作者は、表示画面６０上においてキーボード画像６４を容易に見ることができる。

次に、図１５のフローチャートを説明する。前記図１３、及び図１４のフローチャートでは、指の動作の有無に基づきキーボード画像６４の表示状態を決定したが、図１５のフローチャートでは、指の動作の速度に基づきキーボード画像６４の表示状態が決定される。図１５において、ステップＳ９０でスタートし、ステップＳ９２でキー入力間隔の初期値が設定され、ステップＳ９４でパーソナルコンピュータ５６（図８を参照）内のタイマーがスタートし、ステップＳ９６に進む。ステップＳ９６でキー入力があると、すなわち指の動きがあると、ステップＳ９８に進み、キー入力間隔が取得され、ステップＳ１００に進む。ステップＳ１００でキー入力の速度が低下していないと、入力操作が慣れていると判断し、ステップＳ１０２に進み、キーボード画像６４の表示が１段階薄くされ又は小さくされる（図１１又は図１２の状態）。

なお、キー入力の速度の低下の基準としては、例えば、平均入力速度から１０％遅くなるごとに、表示を小さく・薄くする、あるいは、1文字前の入力速度より、５０％遅くなるごとに、表示を小さく・薄くする等である。

なお、ステップＳ１０２からは、ステップＳ９４に戻る。また、前記ステップＳ１００でキー入力の速度が低下していると、入力操作が慣れていないと判断し、ステップＳ１０４に進み、キーボード画像６４の表示が１段階濃くされ又は大きくされる（図９の状態）。なお、ステップＳ１０４からは、ステップＳ９４に戻る。

一方、前記ステップＳ９６でキー入力がないと、すなわち指の動きがないと、ステップＳ１０６に進み、ステップＳ１０６でタイムアップしていないと、ステップＳ９６に戻る。前記ステップＳ１０６でタイムアップすると、ステップＳ１０４に進み、入力操作が慣れていないと判断し、キーボード画像６４の表示が１段階濃くされ又は大きくされる（図９の状態）。なお、ステップＳ１０４からは、ステップＳ９４に戻る。

更に、図１６は、削除キー又はバックスペースキー等の削除を行うためのキーについての動作に基づくキーボード画像６４の表示状態の決定を示すフローチャートである。図１６において、ステップＳ１１０でスタートし、ステップＳ１１２で削除キー（又はバックスペースキー）の入力間隔の初期値が設定され、ステップＳ１１４でパーソナルコンピュータ５６（図８を参照）内のタイマーがスタートし、ステップＳ１１６に進む。ステップＳ１１６で削除キー（又はバックスペースキー）の入力がないと、ステップＳ１１４に戻るが、ステップＳ１１６で削除キー（又はバックスペースキー）の入力があると、ステップＳ１１８に進み、削除キー（又はバックスペースキー）の入力間隔が取得され、ステップＳ１２０に進む。ステップＳ１２０で削除キー（又はバックスペースキー）の入力の頻度が上昇していないと、入力操作が慣れていると判断し、ステップＳ１２２に進み、キーボード画像６４の表示が１段階薄くされ又は小さくされる（図１１又は図１２の状態）。

なお、削除キーの入力の頻度の基準としては、例えば、前回の間隔と比べて、５０％以上短くなった、あるいは、１分間に５回以上削除キーが押された等である。

なお、ステップＳ１２２からは、ステップＳ１１４に戻る。

一方、前記ステップＳ１２０で削除キー（又はバックスペースキー）の入力の頻度が上昇していると、入力操作が慣れていないと判断し、ステップＳ１２４に進み、キーボード画像６４の表示が１段階濃くされ又は大きくされる（図９の状態）。なお、ステップＳ１２４からは、ステップＳ１１４に戻る。

以上説明したように、本願の実施の形態による仮想キーボード装置を含む入力補助装置によれば、指センサ１６からの検出信号に基づき、表示画面６０に表示されるべき入力補助画像としてのキーボード画像６４の表示状態が決定されるので、入力操作者は、キーボードの画像６４を適切な表示状態で見ることができる。

また、指の動作がある場合には、キーボード画像６４が非表示状態であるので、表示画面６０上においてキーボード画像６４が入力操作者の入力操作の支障になることがなく、一方、指の動作がない場合には、キーボード画像６４が表示されるので、入力操作者が入力操作に戸惑っている場合に入力操作者はキーボード画像６４を容易に見ることができる。

また、指の動作がある場合と比較して、指の動作がない場合には、キーボード画像６４が拡大して表示されあるいは濃く表示されるので、入力操作者が入力操作に戸惑っている場合に入力操作者はキーボード画像６４を容易に見ることができる。

更に、指の動作の速度が所定速度以上である場合と比較して、指の動作の速度が所定速度未満である場合には、キーボード画像６４が拡大して表示されあるいは濃く表示されるので、入力操作者が入力操作に戸惑っている場合に入力操作者はキーボード画像６４を容易に見ることができる。

更に、文字の削除を行うためのキーについての指の動作の頻度が所定頻度未満である場合と比較して、文字の削除を行うためのキーについての指の動作の頻度が所定頻度以上である場合には、キーボード画像６４が拡大して表示されあるいは濃く表示されるので、入力操作者が入力操作に戸惑っている場合に入力操作者はキーボード画像６４を容易に見ることができる。

なお、本願の実施の形態による入力装置においては、指センサ１６の装着部として手の指が設定されているが、指センサ１６を手の甲に装着してもよい。あるいは、指センサ１６を全ての指に装着せず、全ての指の空間的な動きを検出できるような特定の指にだけ指センサ１６を装着してもよい。

以上説明したように、本発明は入力補助装置の分野に利用することが可能であり、特に仮想キーボードを用いた入力補助装置の分野に適用すれば特に顕著な効果が得られる。

１０、１０Ｌ、１０Ｒ：手
１４、１４−１〜１４−１０：指
１６、１６−１〜１６−１０：指センサ
２８：入力コード出力部
３２：動作パターン辞書部
３４：動作パターン判断部
５６：パーソナルコンピュータ
５８：表示装置
６０：表示画面
６４：キーボード画像

Claims (10)

1. 指の空間的な動作に対応する入力コードを決定する入力装置に対して、入力動作を補助する入力補助装置において、
   利用者の指又は手の装着部に装着され、前記指の前記動作を検出して検出信号を生成する検出手段と、
   前記検出手段からの検出信号に対応する入力コードを決定する入力コード決定手段と、
   前記検出手段からの検出信号に基づき、前記入力コードの決定結果が表示される表示画面に表示され且つ前記指の動作を補助するための入力補助画像の表示状態を決定する制御手段と、を含むことを特徴とする入力補助装置。
2. 請求項１に記載の入力補助装置において、
   前記入力補助画像は、前記指の動作の対象となる入力ユーザインターフェースの画像であることを特徴とする入力補助装置。
3. 請求項１又は２に記載の入力補助装置において、
   前記制御手段は、前記検出手段からの検出信号に基づき、指の動作がある場合には、入力補助画像を非表示状態にし、指の動作がない場合には、入力補助画像を表示状態にすることを特徴とする入力補助装置。
4. 請求項１又は２に記載の入力補助装置において、
   前記制御手段は、前記検出手段からの検出信号に基づき、指の動作がある場合と比較して、指の動作がない場合には、入力補助画像の表示状態を視認容易にする入力補助装置。
5. 請求項１又は２に記載の入力補助装置において、
   前記制御手段は、前記検出手段からの検出信号に基づき、指の動作の速度が所定速度以上である場合と比較して、指の動作の速度が所定速度未満である場合には、入力補助画像の表示状態を視認容易にする入力補助装置。
6. 請求項１又は２に記載の入力補助装置において、
   前記制御手段は、前記検出手段からの検出信号に基づき、文字の削除を行うためのキーについての指の動作の頻度が所定頻度以上である場合には、入力補助画像の表示状態を視認容易にする入力補助装置。
7. 請求項４乃至６のうちいずれか１項に記載の入力補助装置において、
   前記入力補助画像の表示状態が視認容易である状態は、入力補助画像が拡大表示される表示状態である入力補助装置。
8. 請求項４乃至６のうちいずれか１項に記載の入力補助装置において、
   前記入力補助画像の表示状態が視認容易である状態は、入力補助画像が濃く表示される表示状態である入力補助装置。
9. 指の空間的な動作に対応する入力コードを決定する入力装置に対して、入力動作を補助する入力補助装置であって、
   利用者の指又は手の装着部に装着され、前記指の前記動作を検出して検出信号を生成する検出手段を備えた入力補助装置のコンピュータを、
   前記検出手段からの検出信号に対応する入力コードを決定する入力コード決定手段と、
   前記検出手段からの検出信号に基づき、前記入力コードの決定結果が表示される表示画面に表示され且つ前記指の動作を補助するための入力補助画像の表示状態を決定する制御手段と、
   して機能させることを特徴とする入力補助装置用プログラム。
10. 請求項１乃至８のうちいずれか１項に記載の入力補助装置と、
    前記入力補助装置に接続され、表示画面を有する表示装置と、を含み、
    前記入力補助装置の制御手段からの制御信号に基づき、前記表示装置の表示画面に表示される入力補助画像の表示状態が決定される入力補助システム。

Images