JP2013114282A - 入力システム - Google Patents

Abstract

【課題】文字等の入力を行う際にユーザが手の位置をその都度確認しなくとも、通常のキーボードを操作する感覚で、誤入力の発生を抑制しつつ入力操作を行うこと。
【解決手段】記憶部２３が、情報の入力候補に対応付けて手の形状の情報を記憶し、形状検出部２２が、入力操作が行われる際の手の形状を検出し、入力情報決定部２４ｄが、形状検出部２２により検出された手の形状、および、記憶部２３に記憶された手の形状の情報に基づいて、情報の入力候補の中から、入力操作により入力される情報を決定する。
【選択図】図２

Description

本発明は、情報の入力操作を受け付ける入力システムに関する。

近年普及が進むスマートテレビでは、タッチパネルを備える入力装置が一般に用いられている。ユーザが文字を入力する場合、手元にある入力装置のタッチパネルにはスクリーンキーボードが表示される。しかし、入力された文字が表示されるのはテレビ画面上であるので、キーボードの操作に慣れたユーザは、スクリーンキーボードを見ることなく、テレビ画面を見ながら文字入力を行っている。そして、ユーザがタッチパネルに表示されたスクリーンキーボードを見ることなく文字の入力を続けていると、次第に手の位置がずれ、誤入力が発生する可能性が生じる。

例えば、特許文献１には、手の指に複数の座標指示器を装着し、特定の指に装着された少なくとも２つの座標指示器の位置を基準として、座標検出部上にキーボードを仮想的に構成し、座標検出部上に置かれた座標指示器の位置からキーボード上のどのキーが押されたかを検出する情報入力方法が開示されている。

座標指示器は、手に嵌められるように構成されたグローブ状の装着具の親指から小指の各々に取り付けられる。そして、ユーザは、その装着具を手に嵌めることにより、座標指示器を手の指に装着する。

この情報入力方法では、手の指に装着した少なくとも２つの座標指示器の位置を基準としてキーボードを構成するので、手の位置がずれたとしても、ユーザは所望の情報を入力することができる。

特開平７−３２５６５５号公報

しかしながら、上述した特許文献１の従来技術では、入力装置を使用する前にユーザは指に複数の座標指示器を装着する必要があり、たとえ複数の座標指示器を予めグローブ状の装着具に取り付けておき、ユーザがその装着具を手に嵌めるだけで複数の座標指示器を装着できるようにしたとしても、装着が面倒であるという問題がある。また、そのような装着具を嵌めたままでしか文字等の入力ができないことは、ユーザにとって不便であり、暑い日などには不快感を与える可能性もある。

本発明は、上記実情に鑑み、文字等の入力を行う際にユーザが手の位置をその都度確認しなくとも、通常のキーボードを操作する感覚で、誤入力の発生を抑制しつつ入力操作を行うことが可能な入力システムを提供することを目的とする。

上記課題を解決する為に、本発明の第１の技術手段は、情報の入力操作を受け付ける入力システムであって、前記情報の入力候補に対応付けて手の形状の情報を記憶する記憶部と、前記入力操作が行われる際の手の形状を検出する形状検出部と、該形状検出部により検出された手の形状、および、前記記憶部に記憶された前記手の形状の情報に基づいて、前記情報の入力候補の中から前記入力操作により入力される情報を決定する入力情報決定部と、を備えることを特徴とする。

本発明の第２の技術手段は、第１の技術手段において、前記記憶部に記憶された前記手の形状の情報は、所定位置から手の複数の部分までの距離の情報であり、前記手の形状の検出は、前記所定位置から手の複数の部分までの距離を測定することによりなされることを特徴とする。

本発明の第３の技術手段は、第２の技術手段において、前記距離の測定は、３Ｄタッチセンサによりなされることを特徴とする。

本発明の第４の技術手段は、第１〜第３のいずれか１つの技術手段において、前記記憶部に記憶された手の形状の情報を、前記入力操作を行っている間の前記手の形状の変化に応じて更新することを特徴とする。

本発明の第５の技術手段は、第１〜第４のいずれか１つの技術手段において、前記入力情報決定部は、前記形状検出部により検出された手の形状の情報が前記記憶部に記憶された手の形状の情報に一致または類似すると判定された場合に、該手の形状の情報に対応付けて記憶されている前記情報の入力候補を前記入力操作により入力される情報として決定し、前記形状検出部により検出された手の形状の情報が前記記憶部に記憶された手の形状の情報のいずれにも一致も類似もしない場合に、警告メッセージの出力指示を出力することを特徴とする。

本発明によれば、情報の入力候補に対応付けて手の形状の情報を記憶し、入力操作が行われる際の手の形状を検出し、検出された手の形状、および、記憶された情報に基づいて、上記情報の入力候補の中から入力操作により入力される情報を決定することとしたので、文字等の入力を行う際にユーザが手の位置をその都度確認しなくとも、通常のキーボードを操作する感覚で、誤入力の発生を抑制しつつ入力操作を行うことができる。

本発明の実施形態に係る情報入力処理の一例を示す図である。 本発明の実施形態に係る入力装置の構成を示すブロック図である。 ３Ｄタッチセンサの機能について説明する図である。 ユーザが文字入力を行う際の手の形状の検出の一例について説明する図である。 入力パターン情報の一例を示す図である。 評価値の算出方法の一例について説明する図である。 評価値の算出方法の一例について説明する図である。 本発明の実施形態に係る入力パターン情報の登録処理の処理手順の一例を示すフローチャートである。 本発明の実施形態に係る文字入力操作受付処理の処理手順の一例を示すフローチャートである。 左手用距離テーブルおよび右手用距離テーブルの更新処理について説明する図である。 ユーザに手の形状をもとに戻すように促す警告メッセージの表示処理の一例について説明する図である。

以下、本発明の実施形態について図面を参照して詳細に説明する。なお、以下では、ユーザにより入力される情報が文字である場合について説明するが、それに限定されず、数字や制御情報などの他の情報であってもよい。

図１は、本発明の実施形態に係る情報入力処理の一例を示す図である。なお、この情報入力処理では、従来の情報入力処理のように、文字を入力するためのスクリーンキーボードを表示する表示装置がない場合でも、文字入力が可能となる。図１（Ａ）に示すように、まず、入力装置２０は、ユーザが文字の情報を入力する際の手の形状を、入力パターン情報２３ａとして記憶する処理を行う。

例えば、入力装置２０は、表示装置１０に「「Ａ」を入力して下さい。」というメッセージを表示させる。そして、キーボードで「Ａ」を入力するような動作をユーザが行うと、入力装置２０はその際のユーザの手の形状を検出し、その手の形状の情報を「Ａ」という文字と対応付けて記憶する。そして、入力装置２０は、このような処理を各文字について行い、入力パターン情報２３ａを生成する。

図１（Ｂ）は、入力装置２０が実際にユーザから文字の入力操作を受け付ける際の処理について説明する図である。ユーザが入力装置２０に対して文字の入力操作を行うと、入力装置２０は、その際の手の形状を検出する。そして、入力装置２０は、入力パターン情報２３ａに登録された手の形状の情報の中に、検出した手の形状の情報と一致する情報があるか否かを判定し、そのような情報がある場合、その情報に対応付けて入力パターン情報２３ａに記憶されている文字を、ユーザによる入力文字として選択する。

そして、図１（Ｃ）に示されるように、選択された入力文字の情報が表示装置１０に送信され、その入力文字が表示装置１０に表示される。

このように、手の形状の情報に基づいて入力文字を決定することにより、入力操作を行っている間にユーザの手の位置が変化したとしても、ユーザは意図する文字を入力することができる。

図２は、本発明の実施形態に係る入力装置２０の構成を示すブロック図である。入力装置２０は、通信部２１、形状検出部２２、記憶部２３、制御部２４を備える。

通信部２１は、表示装置１０と無線通信または有線通信を行う通信装置である。形状検出部２２は、ユーザが文字を入力する際の手の形状を検出する装置である。この形状検出部２２は、例えば、３Ｄタッチセンサにより構成される。図３は、３Ｄタッチセンサの機能について説明する図である。

図３（Ａ）に示すように、３Ｄタッチセンサは、ノート型パーソナルコンピュータのタッチパッドのように、数ｃｍから数十ｃｍ四方の平面２２ａを有する。この平面２２ａ上には、手の形状を検出するための検出点２２ｂが格子状に等間隔に配置されている。

３Ｄタッチセンサは、各検出点２２ｂから、平面２２ａの法線方向において数ｃｍの範囲内に存在する物体までの距離を計測することができる。すなわち、検出点２２ｂを配置した範囲と、平面２２ａの法線方向において平面２２ａからの距離が０〜数ｃｍである範囲とから構成される３次元空間が、３Ｄタッチセンサの物体検出空間となる。

図３（Ｂ）に示すように、例えば、ユーザが平面２２ａの上方に左手をかざした場合、３Ｄタッチセンサは、各検出点２２ｂから左手の各部までの平面２２ａの法線方向の距離を検出する。そして、図３（Ｃ）に示すように、３Ｄタッチセンサは、各検出点２２ｂにおいて検出された距離の情報を含む左手の距離テーブル３０を出力する。この左手の距離テーブル３０は、ユーザの左手の形状を表す情報である。

このように手の形状を平面２２ａからの距離を用いて表すことにより、効率的に手の形状を把握することができる。また、距離の測定を３Ｄタッチセンサを用いて行うことにより、平面２２ａから手の各部までの距離を容易に測定することができる。

なお、ここでは、手の形状を平面２２ａからの距離を用いて表すこととしたが、所定の点から手の各部までの距離を測定するセンサにより測定された距離、あるいは、所定の線から手の各部までの距離を測定するセンサにより測定された距離を用いて、手の形状を表すこととしてもよい。また、手の各部までの距離は、表示装置１０に内蔵された距離を測定するセンサを用いて測定してもよいし、距離を測定するセンサを表示装置１０とは独立に設置し（例えば、手の正面などに設置し）、そのセンサを用いて測定してもよい。

図４は、ユーザが文字入力を行う際の手の形状の検出の一例について説明する図である。図４（Ａ）には、ユーザが両手を用いて文字の入力操作を行う様子が示されている。この例では、ユーザは左手小指を用いて入力装置２０にタッチしている。

また、図４（Ｂ）には、図３（Ｂ）を用いて説明したような各検出点２２ｂから左手および右手の各部までの平面２２ａの法線方向の距離の情報が登録された左手の距離テーブル３０および右手の距離テーブル３１が示されている。左手の距離テーブル３０および右手の距離テーブル３１の列数や行数は、手の大きさにより変化する。

また、距離の検出は所定の時間間隔で行われる。そして、所定の時間内に距離が「０．０」から「０．０」よりも大きい値に変化したことを検出することにより、指が入力装置２０に継続的に接触している状態にあるのではなく、ユーザが入力装置２０にタッチ操作を行ったことを検出でき、また、タッチ操作を行った指の位置を判定することができる。図４（Ｂ）の例では、左手の距離テーブル３０の１列、２行目のセルが、入力装置２０にタッチ操作を行った指の位置に対応している。

なお、図４（Ｂ）の例では、手の形状の検出点２２ｂを縦１０点、横２０点と荒く設定しているため、左右の手の位置が近い場合には、左手の距離テーブル３０と右手の距離テーブル３１とが繋がってしまう可能性があるが、実際の検出点２２ｂは１ｍｍ以下の間隔で配置されるため、そのような可能性はほとんどなくなる。

また、ここでは、所定の時間内に距離が「０．０」から「０．０」よりも大きい値に変化したことを検出することにより、ユーザが入力装置２０にタッチ操作を行ったことを検出することとしたが、所定の時間内に距離が「０．０」よりも大きい値から「０．０」に変化したこと、または、所定の時間内に距離が「０．０」よりも大きい値から「０．０」に変化し、その後「０．０」から「０．０」よりも大きい値に変化したことを検出することにより、ユーザが入力装置２０にタッチ操作を行ったことを検出することとしてもよい。

形状検出部２２は、各検出点２２ｂにおいて検出された距離の情報を含む左右２つの矩形領域の情報を、左手の距離テーブル３０および右手の距離テーブル３１として出力する。

図２の説明に戻ると、記憶部２３は、フラッシュメモリなどの記憶デバイスである。記憶部２３は、入力パターン情報２３ａや入力キーコード情報２３ｂなどを記憶する。

図５は、入力パターン情報２３ａの一例を示す図である。入力パターン情報２３ａは、番号、入力文字候補、入力キーコード、左手用距離テーブル、右手用距離テーブル、タッチ座標の情報を含む。

番号は、入力パターン情報２３ａに登録された情報の通し番号である。入力文字候補は、ユーザの入力操作により入力される文字の候補である。入力キーコードは、入力文字候補に対応する文字コードである。例えば、文字コードとしてＡＳＣＩＩコードなどが用いられる。

左手用距離テーブル、および、右手用距離テーブルは、それぞれ各入力文字候補が入力される際のユーザの左手、および、右手の形状の情報である。例えば、左手、および、右手の形状の情報として、図３、図４で説明した距離の情報を用いる。

タッチ座標は、左手用距離テーブルおよび右手用距離テーブルのセルのうち、ユーザがタッチ操作を行った位置に対応するセルがどれであるかを示す情報である。具体的には、（左，ｘ，ｙ）は、左手用距離テーブルのｘ列、ｙ行目のセルが、ユーザがタッチ操作を行った位置に対応するセルであることを示し、（右，ｘ，ｙ）は、右手用距離テーブルのｘ列、ｙ行目のセルが、ユーザがタッチ操作を行った位置に対応するセルであることを示す。なお、列はテーブルの右側から、行はテーブルの上側から数えるものとする。

例えば、図５の番号「１」の登録データの左手用距離テーブル、および、右手用距離テーブルには、距離が「０．０」であるセルが複数あるが、タッチ座標に（左，２，１）という情報が登録されているので、左手用距離テーブルの２列、１行目のセルが、ユーザがタッチ操作を行った位置に対応するセルであることがわかる。

ここで、ユーザがタッチ操作を行ったか否かの判定は、所定の時間間隔で距離を測定している場合に、所定の時間内に距離が「０．０」から「０．０」よりも大きい値に変化したことを検出することにより行うことができる。

また、所定の時間内に距離が「０．０」よりも大きい値から「０．０」に変化したこと、または、所定の時間内に距離が「０．０」よりも大きい値から「０．０」に変化し、その後「０．０」から「０．０」よりも大きい値に変化したことを検出することにより、ユーザがタッチ操作を行ったか否かを判定することとしてもよい。

ユーザがタッチ操作を行った位置に対応するセル以外で、距離が「０．０」となっているセルは、図３（Ａ）に示した平面２２ａに上記所定の時間を超えてユーザが継続的に指を触れている位置に対応するセルである。

図２の説明に戻ると、入力キーコード情報２３ｂは、入力キーコードと入力文字候補とを対応付けて記憶したデータである。入力キーコード情報２３ｂは、入力パターン情報２３ａを生成する際に用いられる。これについては後に詳しく説明する。

制御部２４は、入力装置２０を制御するＣＰＵ（Central Processing Unit）などの制御デバイスである。制御部２４は、タッチ検出部２４ａ、入力パターン登録部２４ｂ、評価値算出部２４ｃ、入力情報決定部２４ｄ、入力キーコード出力部２４ｅを備える。

タッチ検出部２４ａは、図３（Ａ）に示した平面２２ａにユーザがタッチ操作を行ったか否かを検出する処理部である。具体的には、タッチ検出部２４ａは、形状検出部２２が所定の時間間隔で物体までの距離を測定している場合に、形状検出部２２から出力される左手の距離テーブル３０および右手の距離テーブル３１において、所定の時間内に距離が「０．０」から「０．０」より大きい値に変化したセルがあるか否かを判定する。

あるいは、タッチ検出部２４ａは、所定の時間内に距離が「０．０」よりも大きい値から「０．０」に変化したセル、または、所定の時間内に距離が「０．０」よりも大きい値から「０．０」に変化し、その後「０．０」から「０．０」よりも大きい値に変化したセルがあるか否かを判定することとしてもよい。

そして、タッチ検出部２４ａは、そのようなセルがあった場合に、平面２２ａにユーザがタッチ操作を行ったと判定する。また、タッチ検出部２４ａは、そのセルを特定する図５を用いて説明したタッチ座標の情報を入力パターン登録部２４ｂに出力する。

入力パターン登録部２４ｂは、図５に一例を示した入力パターン情報２３ａに各情報を登録する処理部である。具体的には、入力パターン登録部２４ｂは、入力文字候補の入力操作をユーザが行った場合に、その入力文字候補に対応する入力キーコードの情報を入力キーコード情報２３ｂから読み出し、読み出した入力キーコードの情報を、その入力文字候補に対応付けて入力パターン情報２３ａに登録する。

また、入力パターン登録部２４ｂは、タッチ検出部２４ａによりユーザがタッチ操作を行ったことが検出された場合に、ユーザがタッチ操作を行った際の左手の距離テーブル３０および右手の距離テーブル３１を、左手用距離テーブルおよび右手用距離テーブルとして入力パターン情報２３ａに登録する。さらに、入力パターン登録部２４ｂは、タッチ検出部２４ａからタッチ座標の情報を取得して、取得したタッチ座標の情報を入力パターン情報２３ａに登録する。

評価値算出部２４ｃは、文字の入力操作中のユーザの手の形状を表す左手の距離テーブル３０および右手の距離テーブル３１と、図５に一例を示した入力パターン情報２３ａに登録されている左手用距離テーブルおよび右手用距離テーブルとの間の類似度を判定するために用いられる評価値を算出する処理部である。

図６、図７は、評価値の算出方法の一例について説明する図である。図６（Ａ）は、ユーザが図３（Ａ）に示した平面２２ａを左手でタッチした際の左手の距離テーブル３０を示す。図６（Ｂ）は、図５に一例を示した入力パターン情報２３ａに登録された左手用距離テーブル４０を示す。

ここで、左手の距離テーブル３０と左手用距離テーブル４０とで行数および列数が異なるが、これは左手用距離テーブル４０を登録した時点と、左手の距離テーブル３０が検出された時点とで手の形状が異なることによる。すなわち、両時点で距離が検出される手の部分の範囲が異なるため、行数や列数の違いが生じる。

図６（Ａ）に示す左手の距離テーブル３０において、ユーザがタッチ操作を行った位置に対応するセルは、１列、２行目のセル３０ａであるものとし、図６（Ｂ）の左手用距離テーブル４０において、ユーザがタッチ操作を行った位置に対応するセルは、２列、１行目のセル４０ａであるものとする。

評価値算出部２４ｃは、図６（Ｃ）に示すように、ユーザがタッチ操作を行った位置に対応するセル３０ａ、４０ａを基準として左手の距離テーブル３０と左手用距離テーブル４０とを重ね合わせた場合に、重なり合うセルがあるか否か、また、重なり合うセルがある場合、重なり合うセルの一方あるいは両方に、距離の情報が登録されているか否かを判定する。

重なり合うセルがあって、重なり合うセルの両方に距離の情報が登録されている場合、評価値算出部２４ｃは、それらのセルの距離の差の２乗を算出する。例えば、図６（Ａ）の左手の距離テーブル３０の２列、３行目のセル３０ｂと、図６（Ｂ）の左手用距離テーブル４０の３列、２行目のセル４０ｂとが重なり合うことになるが、この場合、距離の差の２乗は、（０．５−０．２）^２＝０．０９と算出される。

あるセルに重なり合うセルがない場合、あるいは、重なり合うセルはあるが、重なり合うセルの一方にのみ距離の情報が登録されている場合、評価値算出部２４ｃは、登録されているセルの距離と図３（Ａ）に示した最大検出距離の差の２乗を算出する。例えば、図６（Ｂ）の左手用距離テーブル４０の１列、４行目のセル４０ｃに重なり合うセルは、図６（Ａ）の左手の距離テーブル３０に存在しない。最大検出距離が３．０ｃｍであるものとすると、この場合の距離の差の２乗は（３．０−０．０）^２＝９．０と算出される。

また、図６（Ｂ）の左手用距離テーブル４０の３列、１行目のセル４０ｄは、図６（Ａ）の左手の距離テーブル３０の２列、２行目のセル３０ｃに重なり合うが、距離が未検出である。この場合も、その距離が最大検出距離に設定され、距離の差の２乗が算出される。例えば、最大検出距離が３．０ｃｍであるものとすると、上記セル間の距離の差の２乗は（０．３−３．０）^２＝７．２９と算出される。

重なり合う２つのセルの両方に距離の情報が登録されていない場合、評価値算出部２４ｃは、それらのセルを距離の差の２乗の計算対象から除外する。

評価値算出部２４ｃは、同様の計算をすべてのセルについて行う。そして、評価値算出部２４ｃは、各セルについて算出された距離の差の２乗の平均値を算出する。以下、この平均値を左手距離２乗平均値と呼ぶ。

また、評価値算出部２４ｃは、ユーザがタッチ操作を行わなかった右手の距離テーブル３１についても同様の処理を行う。図７（Ａ）は、ユーザが図３（Ａ）に示した３Ｄタッチセンサの平面２２ａを左手でタッチした際に検出された右手の距離テーブル３１を示す。図７（Ｂ）は、図５に示した入力パターン情報２３ａに登録された右手用距離テーブル４１を示す。

この場合、図７（Ａ）の右手の距離テーブル３１については、ユーザは右手でタッチ操作を行っていないので、ユーザがタッチ操作を行った位置に対応するセルは存在しない。そのため、右手の距離テーブル３１において距離が「０．０」であるセルのうち、列番号と行番号の和が最も小さいセル３１ａが選択され、また、右手用距離テーブル４１において距離が「０．０」であるセルのうち、列番号と行番号の和が最も小さいセル４１ａが選択される。なお、列番号と行番号の和が等しいセルがある場合には、例えば、行番号の小さいセルが選択される。

そして、それらのセル３１ａ、４１ａを基準として右手の距離テーブル３１と右手用距離テーブル４１とを重ね合わせた場合に、重なり合うセルがあるか否か、また、重なり合うセルがある場合、重なり合うセルの一方あるいは両方に、距離の情報が登録されているか否かが判定される。

後の処理は、左手の距離テーブル３０と左手用距離テーブル４０とから左手距離２乗平均値を算出する場合と同様である。以下、右手の距離テーブル３１と右手用距離テーブル４１とから各セルについて算出された距離の差の２乗の平均値を、右手距離２乗平均値と呼ぶ。

左手距離２乗平均値と右手距離２乗平均値とが得られた後、評価値算出部２４ｃは、例えば、以下のような式により、評価値を算出する。
（評価値）＝ｗ×（左手距離２乗平均値）
＋（１−ｗ）×（右手距離２乗平均値） ・・・（式１）
ここで、ｗは、左手距離２乗平均値に対する重み係数である。

このようにして、評価値算出部２４ｃは、図５に示した入力パターン情報２３ａに登録された各入力文字候補に対して評価値を算出する。

入力情報決定部２４ｄは、評価値算出部２４ｃにより算出された評価値を用いて、ユーザの入力操作により入力される情報を決定する処理部である。具体的には、入力情報決定部２４ｄは、評価値算出部２４ｃにより算出された評価値のうち、値が最も小さい評価値を選択し、その評価値に対応する入力文字候補を、ユーザの入力操作により入力される文字として決定する。なお、選択された評価値が所定の閾値よりも大きい場合、入力情報決定部２４ｄは、入力が失敗したものとして、ユーザのタッチ操作を無視し、入力される文字の決定処理を行わない。

入力キーコード出力部２４ｅは、入力情報決定部２４ｄにより入力される文字が決定された場合に、その文字に対応する入力キーコードの情報を図５に示した入力パターン情報２３ａから読み出し、読み出した情報を通信部２１を介して表示装置１０に出力する処理部である。この情報を受信した表示装置１０は、入力キーコードを解析し、図１（Ｃ）に示したように、それに対応する文字を画面に表示する。

つぎに、本発明の実施形態に係る入力パターン情報２３ａの登録処理の処理手順について説明する。図８は、本発明の実施形態に係る入力パターン情報２３ａの登録処理の処理手順の一例を示すフローチャートである。

まず、入力装置２０の入力パターン登録部２４ｂは、入力パターン情報２３ａに含まれるすべての入力文字候補について、各情報の登録が完了したか否かを判定する（ステップＳ１０１）。各情報とは、入力キーコード、左手用距離テーブル４０、右手用距離テーブル４１、タッチ座標の情報である。

なお、入力パターン情報２３ａにおいて、番号および入力文字候補の情報は予め登録されているものとする。例えば、アルファベットの２６文字と０から９までの数字の３６文字の入力操作を行う場合は、３６個の番号と、それら３６文字を入力パターン情報２３ａに予め登録しておく。

すべての入力文字候補について各情報の登録が完了している場合（ステップＳ１０１においてＹＥＳの場合）、この登録処理は終了する。すべての入力文字候補についての各情報の登録が完了していない場合（ステップＳ１０１においてＮＯの場合）、入力パターン登録部２４ｂは、各情報の登録が未完了の入力文字候補を１つ選択する（ステップＳ１０２）。

そして、入力パターン登録部２４ｂは、形状検出部２２を制御して、ユーザが入力操作を行う際の手の形状の検出を開始する（ステップＳ１０３）。また、入力パターン登録部２４ｂは、選択した入力文字候補の入力操作を行うことをユーザに促すメッセージの表示指示を、通信部２１を介して、表示装置１０に出力する（ステップＳ１０４）。この表示指示を受信した表示装置１０は、図１（Ａ）で説明したように、そのメッセージを表示する。

その後、形状検出部２２は、ユーザがタッチ操作を行った際の手の形状を検出する（ステップＳ１０５）。さらに、入力パターン登録部２４ｂは、検出した手の形状の情報を含む各情報を入力文字候補と対応付けて入力パターン情報２３ａに記憶する（ステップＳ１０６）。

具体的には、入力文字候補に対応する入力キーコードの情報を入力キーコード情報２３ｂから読み出して入力パターン情報２３ａに記憶するとともに、ユーザがタッチ操作を行った際の左手の距離テーブル３０および右手の距離テーブル３１、および、タッチ座標の情報を入力パターン情報２３ａに記憶する。

その後、形状検出部２２は、ユーザが入力操作を行う際の手の形状の検出を終了する（ステップＳ１０７）。そして、ステップＳ１０１に移行して、それ以後の処理を継続する。

つぎに、本発明の実施形態に係る文字入力操作受付処理の処理手順について説明する。図９は、本発明の実施形態に係る文字入力操作受付処理の処理手順の一例を示すフローチャートである。

まず、入力装置２０の形状検出部２２は、ユーザが入力操作を行う際の手の形状の検出を開始する（ステップＳ２０１）。そして、形状検出部２２は、文字入力の終了操作をユーザから受け付けたか否かを判定する（ステップＳ２０２）。文字入力の終了操作は、予め設定されているものとする。例えば、図３（Ａ）に示した３Ｄタッチセンサの平面２２ａ上でユーザが指を左右に２往復所定の距離以上スライドさせる操作を、文字入力の終了操作として設定することができる。

文字入力の終了操作をユーザから受け付けた場合（ステップＳ２０２においてＹＥＳの場合）、形状検出部２２は、ユーザが入力操作を行う際の手の形状の検出を終了する（ステップＳ２０８）。そして、この文字入力操作受付処理は終了する。

文字入力の終了操作をユーザから受け付けていない場合（ステップＳ２０２においてＮＯの場合）、形状検出部２２は、ユーザによるタッチ操作があったか否かを判定する（ステップＳ２０３）。ユーザによるタッチ操作がない場合（ステップＳ２０３においてＮＯの場合）、ステップＳ２０２に移行して、それ以後の処理を継続する。

ユーザによるタッチ操作があった場合（ステップＳ２０３においてＹＥＳの場合）、形状検出部２２は、タッチ時の左手の距離テーブル３０および右手の距離テーブル３１を取得する（ステップＳ２０４）。そして、評価値算出部２４ｃは、取得した左手の距離テーブル３０および右手の距離テーブル３１と、入力パターン情報２３ａに登録された左手用４０および右手用距離テーブル４１とを比較し、式１から各入力文字候補に対する評価値を算出する（ステップＳ２０５）。

そして、入力情報決定部２４ｄは、取得した左手の距離テーブル３０および右手の距離テーブル３１に一致または類似する左手用距離テーブル４０および右手用距離テーブル４１が、入力パターン情報２３ａに登録されているか否かを判定する（ステップＳ２０６）。

具体的には、入力情報決定部２４ｄは、各入力文字候補に対する評価値の中から最も小さい評価値を選択し、選択した評価値が所定の閾値以下である場合に、取得した左手の距離テーブル３０および右手の距離テーブル３１に一致または類似する左手用距離テーブル４０および右手用距離テーブル４１が、入力パターン情報２３ａに登録されていると判定し、選択した評価値が所定の閾値より大きい場合に、取得した左手の距離テーブル３０および右手の距離テーブル３１に一致または類似する左手用距離テーブル４０および右手用距離テーブル４１が、入力パターン情報２３ａに登録されていないと判定する。

取得した左手の距離テーブル３０および右手の距離テーブル３１に一致または類似する左手用距離テーブル４０および右手用距離テーブル４１が、入力パターン情報２３ａに登録されていない場合（ステップＳ２０６においてＮＯの場合）、ステップＳ２０２に移行して、それ以後の処理を継続する。

取得した左手の距離テーブル３０および右手の距離テーブル３１に一致または類似する左手用距離テーブル４０および右手用距離テーブル４１が、入力パターン情報２３ａに登録されている場合（ステップＳ２０６においてＹＥＳの場合）、登録されている左手用距離テーブル４０および右手用距離テーブル４１に対応する入力キーコードの情報を、通信部２１を介して表示装置１０に送信する（ステップＳ２０７）。この情報を受信した表示装置１０は、入力キーコードを解析し、図１（Ｃ）に示したように、それに対応する文字を画面に表示する。そして、ステップＳ２０２に移行して、それ以後の処理を継続する。

また、本発明は上述した実施形態に限定されず、本発明の要旨を逸脱しない範囲内で各種の変形、修正が可能である。

例えば、上記実施形態では、文字入力の例について説明したが、ゲーム機の操作などの機器制御にも本発明を適用することができる。この場合、手の形状の情報が機器の制御内容を示すキーコードに対応付けて記憶される。そして、ユーザが入力操作を行う際に検出された手の形状に対応するキーコードが制御対象となる機器に送信され、そのキーコードに対応する処理がその機器により実行される。

また、、入力パターン情報２３ａに含まれる左手用距離テーブル４０および右手用距離テーブル４１は、更新されることとしてもよい。以下に、この変形例について説明する。

ユーザが文字の入力操作を継続していると、姿勢の変化などによりタッチ操作を行う際の手の形状が少しずつ変化することがある。そのため、ユーザは自然に入力操作を行っているつもりでも、誤入力が発生する可能性が高くなる。

そのため、一定時間ごと、または、一定数のタッチ操作が行われるごとに、入力パターン情報２３ａに登録された左手用距離テーブル４０および右手用距離テーブル４１が、現在の手の形状に合わせて更新される。これにより、たとえタッチ操作を行う際の手の形状が変化したとしても、ユーザに負担をかけることなく、誤入力の発生を抑制することができる。

図１０は、左手用距離テーブル３０および右手用距離テーブル３１の更新処理について説明する図である。図１０（Ａ）には、例えば、ユーザが「Ａ」という文字を入力するためのタッチ操作を行う様子が示されている。そして、図１０（Ｂ）には、その時点で入力パターン情報２３ａに登録されている左手用距離テーブル４０の一例が示されている。

上述したように、ユーザが入力操作を継続していると、手の形状が少しずつ変化してくる場合がある。図１０（Ｃ）は、手の形状が変化した場合に検出された左手の距離テーブル５０の一例である。この時点ではまだ、手の形状が「Ａ」という文字に対応するものとして正常に認識されているものとする。しかし、時間の経過に伴い、手の形状がさらに変化すると、手の形状が、「Ａ」という文字に対応する形状として認識されない可能性が出てくる。

このような問題を解消するため、入力パターン登録部２４ｂは、図１０（Ｃ）に示した左手の距離テーブル５０を入力パターン情報２３ａに左手用距離テーブル４０として登録する。図１０には示していないが、右手用距離テーブルについても、入力パターン登録部２４ｂは、同様の処理を行う。

この登録処理は、例えば、所定時間ごと、または、所定数のタッチ操作が行われるごとに実行される。具体的には、入力パターン登録部２４ｂは、所定時間ごとに、あるいは、所定数のタッチ操作が行われるごとに、タッチ操作が行われた際に入力文字として決定された文字に対応する左手用距離テーブル４０および右手用距離テーブル４１を、そのタッチ操作が行われた際に形状検出部２２により検出された左手の距離テーブル５０および右手の距離テーブルで更新する。

また、図１０（Ｃ）に示したような左手の距離テーブル５０をそのまま入力パターン情報２３ａに登録するのではなく、図１０（Ｂ）に示したような入力パターン情報２３ａに登録されている左手用距離テーブル４０と、図１０（Ｃ）に示したような左手の距離テーブル５０とを単純平均または加重平均して得た距離テーブルを入力パターン情報２３ａに左手用距離テーブル４０として登録することとしてもよい。この場合、右手用距離テーブルについても同様の処理が行われる。

図１０（Ｄ）には、図１０（Ｂ）に示した入力パターン情報２３ａに登録されている左手用距離テーブル４０のセルの値と図１０（Ｃ）に示した左手の距離テーブル５０のセルの値とを平均して得た距離テーブル５１が示されている。ここで、平均値の算出に用いられる左手用距離テーブル４０のセルと、左手の距離テーブル５０のセルとの間の対応付けは、図６、図７を用いて説明した方法と同様の方法で行うことができる。

例えば、図１０（Ｂ）に示す左手用距離テーブル４０と、図１０（Ｃ）に示す左手の距離テーブル５０とが、ユーザがタッチ操作を行った位置に対応するセル４０ａ、５０ａを基準として重ね合わされ、図１０（Ｄ）に示すように、重なり合ったセル間で平均値が算出される。

なお、図１０では、左手用距離テーブル４０と左手の距離テーブル５０とで列数および行数が等しい場合について説明したが、列数や行数が異なる場合、距離の情報が登録されたセルと重なるセルが存在しない可能性がある。また、重なり合うセルは存在するが、一方のセルに距離の情報が登録されていない可能性もある。このような場合、距離の情報が登録されているセルと、図３（Ａ）に示した最大検出距離との間で算出した平均値を距離テーブル５１に登録することとしてもよい。

上述した左手用距離テーブル４０および右手用距離テーブル４１の更新処理は、手の形状が変化しているものの、どの文字を入力しているのかが依然として判定可能な場合に適用できるが、どの文字を入力しているのかが判定できない場合は、表示装置１０の画面に警告メッセージを表示して、ユーザに手の形状をもとに戻すように促すこととしてもよい。これにより、文字入力が適切に行われるようにユーザの入力操作を修正することができる。

図１１は、手の形状をもとに戻すようにユーザに促す警告メッセージの表示処理の一例について説明する図である。図１１（Ａ）に示すように、入力操作を行う際の右手の向きや角度が、入力パターン情報２３ａに登録されている右手用距離テーブル４１により示される手の向きや角度と著しく異なった場合、どの文字を入力しているのかが判定できなくなる可能性がある。

また、図１１（Ｂ）に示すように、入力パターン情報２３ａに登録されている右手用距離テーブル４１ではすべての指先についての距離の情報が登録されていたが、ユーザがタッチ操作を行った際の右手小指の指先の位置が形状検出部２２の検出範囲から外れており、右手用距離テーブル４１と照合が取れない場合も、どの文字を入力しているのかが判定できなくなる可能性がある。

そのため、入力情報決定部２４ｄは、形状検出部２２により検出された左手の距離テーブル３０および右手の距離テーブル３１が、入力パターン情報２３ａに登録された左手用距離テーブル４０および右手用距離テーブル４１のいずれにも一致も類似もしない場合に、警告メッセージの出力指示を表示装置１０に出力する。そして、この出力指示を受け付けた表示装置１０は、図１１（Ｃ）に示すように、その警告メッセージを表示する。

また、上記実施形態では、図２に示すように、入力パターン情報２３ａや入力キーコード情報２３ｂを記憶した記憶部２３、入力パターン登録部２４ｂ、評価値算出部２４ｃ、入力情報決定部２４ｄ、入力キーコード出力部２４ｅを入力装置２０に備えることとしたが、これらのすべてまたは一部を表示装置１０に備えることとしてもよい。

１０…表示装置、２０…入力装置、２１…通信部、２２…形状検出部、２２ａ…平面、２２ｂ…検出点、２３…記憶部、２３ａ…入力パターン情報、２３ｂ…入力キーコード情報、２４…制御部、２４ａ…タッチ検出部、２４ｂ…入力パターン登録部、２４ｃ…評価値算出部、２４ｄ…入力情報決定部、２４ｅ…入力キーコード出力部、３０，５０…左手の距離テーブル、３０ａ，３１ａ，４０ａ，４１ａ，５０ａ…セル、３１…右手の距離テーブル、４０，５１…左手用距離テーブル、４１…右手用距離テーブル。

Claims (5)

1. 情報の入力操作を受け付ける入力システムであって、
   前記情報の入力候補に対応付けて手の形状の情報を記憶する記憶部と、
   前記入力操作が行われる際の手の形状を検出する形状検出部と、
   該形状検出部により検出された手の形状、および、前記記憶部に記憶された前記手の形状の情報に基づいて、前記情報の入力候補の中から前記入力操作により入力される情報を決定する入力情報決定部と、
   を備えることを特徴とする入力システム。
2. 前記記憶部に記憶された前記手の形状の情報は、所定位置から手の複数の部分までの距離の情報であり、前記手の形状の検出は、前記所定位置から手の複数の部分までの距離を測定することによりなされることを特徴とする請求項１に記載の入力システム。
3. 前記距離の測定は、３Ｄタッチセンサによりなされることを特徴とする請求項２に記載の入力システム。
4. 前記記憶部に記憶された手の形状の情報を、前記入力操作を行っている間の前記手の形状の変化に応じて更新することを特徴とする請求項１〜３のいずれか１項に記載の入力システム。
5. 前記入力情報決定部は、前記形状検出部により検出された手の形状の情報が前記記憶部に記憶された手の形状の情報に一致または類似すると判定された場合に、該手の形状の情報に対応付けて記憶されている前記情報の入力候補を前記入力操作により入力される情報として決定し、前記形状検出部により検出された手の形状の情報が前記記憶部に記憶された手の形状の情報のいずれにも一致も類似もしない場合に、警告メッセージの出力指示を出力することを特徴とする請求項１〜４のいずれか１項に記載の入力システム。

Images