JP2018173961A - 入力デバイス、入力方法及び入力プログラム - Google Patents

Abstract

【課題】入力の仕方が柔軟であり、ユーザの体への負担も小さい入力方法、入力デバイスおよび入力プログラムを提供する。【解決手段】入力方法は、ユーザの指が所定角度より曲がっている第１姿勢と、指が所定角度より曲がっていない第２姿勢とを検出する検出装置により、ユーザの指が第１姿勢または第２姿勢であるかを検出し、検出データを制御装置に送信する検出ステップと、検出データに基づいて、第１姿勢である複数の指のうち、少なくとも１つの指が第２姿勢となる動きがあると判断される場合、制御装置により、記憶装置に記憶された、第１姿勢である指または前記第２姿勢である指の組み合わせと文字との対応関係に基づいて、検出データに対応する文字を出力する出力ステップと、を備える。【選択図】図５

Description

本発明は、ヒューマンマシンインタフェースとの相互作用の方法に関する。具体的には、ユーザの各指の動きを検出することにより、文字等の情報の入力を実現する入力方法、入力デバイス及び入力プログラムに関する。

現有のデジタル情報入力方法では、大体キーボード入力方法またはタッチパネルにおける手書き入力方法により情報をコンピュータなどのデバイスに入力する。手書き入力方法は識別率が高くなく、入力効率が低いため、応用は明らかに制限され、キーボード入力方法は近年の主要な入力方法であり続いている。

キーボード入力方法を採用する際に、普通にはキーボード上の各キーを入力対象の文字や符号にそれぞれ対応する。文字または符号の数が多いため、キーボード上のキーも多い。一般的なキーボードは８６キー、１０１キーまたは１０８キーなどの仕様である。

キーが多ければ、初心者にとって、キーボードにおけるキーの配置位置に慣れるのに時間かかる。速い入力スピードを求める上級者にとって、手がキーボードにおいて移動し繰り返して具体的なキーを探す過程は、手間がかかる上に時間もかかる。

さらにキーポイントになるのは、キーボードによる入力には、ユーザの長時間、キーボードの前に居続けることが求められるため、ユーザの体に負担がかかる。例えば、ユーザの頚椎と腰椎に関わる問題が起きることがあり、手根管症候群が起こることもありえる。

また、センサに関わる技術の普及につれて、ユーザの手や指の姿勢によるジェスチャ入力は、ヒューマンマシンインタフェースに使われる入力方法の新しい開発トレンドになりつつあり、次世代の入力方法に対する革命のきっかけになる可能性がある。しかしながら、現有のジェスチャ入力技術はマウスやトラックボールなどの方向・座標入力デバイスに対応できるが、キーボードの代わりにコンピュータに文字を入力することができない。

本発明は上述問題点を解決するために提供され、発明の目的は新しい入力方法、この方法に対応する入力デバイス及び入力プログラムを提供することであり、この入力方法は、入力の仕方が柔軟であり、ユーザの体への負担も小さい。

上述技術的問題を解決するために、本発明は入力方法を提供する。入力方法は、ユーザの指が所定角度より曲がっている第１姿勢と、指が所定角度より曲がっていない第２姿勢とを検出する検出装置により、ユーザの指が第１姿勢または第２姿勢であるかを検出し、検出データを制御装置に送信する検出ステップと、検出データに基づいて、第１姿勢である複数の指のうち、少なくとも１つの指が第２姿勢となる動きがあると判断される場合、制御装置により、記憶装置に記憶された、第１姿勢である指または第２姿勢である指の組み合わせと文字との対応関係に基づいて、検出データに対応する文字を出力する出力ステップと、を備える。

さらに、本発明は入力デバイス提供する。入力デバイスは、検出装置と記憶装置と制御装置とを備える。検出装置は、複数のセンサを備え、ユーザの指が所定角度より曲がっている第１姿勢と、指が所定角度より曲がっていない第２姿勢とが検出可能で、ユーザの指が第１姿勢または第２姿勢であるかを検出し、検出データを送信する。記憶装置は、第１姿勢である指または第２姿勢である指の組み合わせと文字との対応関係を記憶する。制御装置は、検出装置から検出データを受信し、検出データに基づいて、第１姿勢である複数の指のうち、少なくとも１つの指が第２姿勢となる動きがあると判断される場合、対応関係に基づいて、検出データに対応する文字を出力する。

また、本発明は入力プログラム提供する。入力プログラムは、コンピュータに前述した入力方法を実行させる。

本発明の実施の形態によれば、ユーザの指の動が判断され、予め記憶された対応関係に基づいて制御装置により指の動きを文字に変換することによって、指の動きとコンピュータの文字との対応を実現する。

また、本発明の実施の形態によれば、ユーザの指のタッチや曲がりを検出することにより、異なる指の組み合わせに基づき、豊富な数の入力に使える動きを提供し、十分な柔軟性を有するため、大量な文字や符号に適切に投影することができる。使用中、１つの指が異なる位置に配置された複数のキーボードを順次押していくなどの動作を行う必要がないため、入力効率が大幅に上がる。

好ましくは、検出装置は、指の画像を撮像する撮像装置を有し、撮像装置により撮像された画像データに基づいて、指が第１姿勢または第２姿勢であるかを検出する。或いは、好ましくは、検出装置は、指の画像を撮像する撮像装置と、撮像された画像データに基づいて、指の姿勢を判断する判断手段とを有する。

撮像装置を有する検出装置などの様々な検出装置により、ユーザの各指の姿勢を検出してもよい。センサと無線通信技術を採用すれば、特定な作業台または作業場所による制限をなくすことができるため、入力動作は縛られず、入力しやすさがさらに高められる。

好ましくは、検出装置はタッチパネルであり、タッチパネルは複数の指とそれぞれ対応する複数の検出領域を有する。タッチパネルは、指が対応の検出領域に接触しているときに第１姿勢として検出し、指が対応の検出領域に接触していないときに第２姿勢として検出する。

現有技術にとっては、指が曲がっているか否か、または指がタッチパネルに接触しているか否かとの検出の信頼性（精度）が高く、誤認識が少ない。また、曲がりやタッチなどの動きを組み合わせることにより、入力動作の種類が大幅に増え、多くの文字や符号をカバーすることができる。

好ましくは、入力方法は、出力ステップにおいて、検出データに基づいて、第２姿勢である少なくとも１つの指が第１姿勢となる動きがあると判断される場合、制御装置により、対応関係に基づいて、検出データに対応する文字を出力する。

ユーザが少なく１つの指を第２姿勢または第１姿勢にするだけで文字等を入力できるため、入力効率がキーボード入力など現有の入力方法より高い。

好ましくは、入力方法は、出力ステップにおいて、第２姿勢となる動きがあると判断される場合、制御装置により、検出データに対応する文字が存在するかを判断し、存在すると判断する場合、対応する文字を出力し、存在していないと判断する場合、後の指の動きを待ち、当該後の指の動きによる検出データ及び対応関係に基づいて、後の指の動きによる検出データに対応する文字を出力する。

対応する文字が存在するときに、姿勢によりトリガーされるとすぐ文字を出力すると、効率を高めることができる。一方、対応する文字が存在していないときに、後の動きを待ち、文字に対応する指の組み合わせを完成させると、複数の動きが要る組み合わせにより文字等を正確的に識別することができ、入力の信頼性を高めることができる。

好ましくは、入力方法は、検出データに部分対応する文字が複数存在する場合、ユーザに選択させるように、表示装置により、少なくとも２つの検出データに部分対応する文字を候補文字として表示する。

検出データが複数の文字に完全対応または一部対応している場合、表示装置により候補文字を表示すること、またはこれらの候補文字に対応する指の組み合わせをさらに表示することによって、合理的な入力方法を提供することができる。表示装置により入力のヒントを提示すれば、ユーザが簡単に入力したい文字を選択でき、入力方法または入力デバイスの使用の難しさが下がる。

好ましくは、入力方法は、出力ステップにおいて、検出データに対応する文字を仮出力モードで出力し、すべての指が第２姿勢となる動きがあると判断される場合、仮出力モードの文字を確定モードで出力しなおす。

仮出力モードと確定モードを使い分けることにより、出力した文字の修正や変換がしやすく、ユーザが柔軟に入力することができる。また、すべての指が第２姿勢となる動きにより、ユーザが楽に仮出力モードの文字を確定モードに転換することができる。

好ましくは、入力方法は、第１姿勢である指のすべてが所定時間において動きがあると判断されていない場合、ユーザに選択させるように、表示装置により、文字変換表に基づいて仮出力モードの文字に対応する少なくとも１つの変換文字を表示する。

文字変換表により、アルファベットの文字を漢字や中国語の文字に変換することができる。また、入力方法または入力デバイスは所定時間において指の動きがあると判断されていないと候補の変換文字を表示するため、ユーザは簡単に変換文字を選択して入力することができる。

好ましくは、入力方法は、候補文字を表示している間に、第１姿勢である指のうち、少なくとも１つの指がスライドまたはフリックする動きがあると判断される場合、スライドまたはフリックする動きに基づいて、１つの候補文字を選択して仮出力モードで出力する。また、好ましくは、入力方法は、変換文字を表示している間に、第１姿勢である指のうち、少なくとも１つの指がスライドまたはフリックする動きがあると判断される場合、仮出力モードの文字を消し、スライドまたはフリックする動きに基づいて、１つの変換文字を選択して確定モードで出力する

第１姿勢である指がスライドまたはフリックすることにより、候補文字または変換文字が選択されて出力されるため、ユーザが簡単に候補文字または変換文字を選択するこができる。

好ましくは、対応関係は、文字の軟口蓋音、歯茎音、後部歯茎音、歯茎摩擦音、両唇音、もしくは唇歯音という文字の調音、入力のしやすさ、または文字の使用頻度に基づいて決められている。

上述要素を考量した対応関係であれば、対応関係はユーザに覚えされやすく、入力しやすい指の組み合わせにより構成することができる。

好ましくは、第１姿勢である複数の指、または第２姿勢となる動きを行う指は、同じ手の指である。

すなわち、ユーザが片手だけで入力方法により文字を入力することができる。そのため、歩いているとき、電話をしているとき、片手で子供や荷物を持っているときなど、普段に入力しにくいときでも、ユーザが簡単で楽に文字を入力することができる。

好ましくは、検出装置は第１サブ検出装置と第２サブ検出装置とを備え、第１サブ検出装置と第２サブ検出装置それぞれは、ユーザの両手に対応し、対応する手の指の姿勢を検出し、検出データを制御装置に送信する。

ユーザの両手にそれぞれ対応する２つのサブ検出装置を用いることにより、両手の指の動きに対応する文字が入力されるため、入力効率が２倍になる。

好ましくは、入力デバイスは、ユーザに選択させるように、少なくとも２つの検出データに部分対応する文字を候補文字として表示する、または、文字変換表に基づいて仮出力モードの文字に対応する少なくとも１つの変換文字を表示する、制御装置に接続する表示装置をさらに備える。

表示装置の利用により、入力効率が高められ、本発明の実施の形態にかかる入力デバイスが初心者にとってはやさしい。

結論を述べると、本発明が提供する入力方法、入力デバイス及び入力プログラムを用いることにより、伝統的なキーボード入力方法と異なる斬新な入力体験を提供する。指の動きと文字等との対応関係に慣れると、本発明によってやりやすくて効率が高くてエラー率が低い入力を実現することができる。

本発明によれば、新しい入力方法、この方法に対応する入力デバイス及び入力プログラムを提供することができ、この入力方法は、入力の仕方が柔軟であり、ユーザの体への負担も小さい。

添付図面に合わせて提供される好ましい実施形態の以下の記載により、本発明の上述目的及び技術的な特徴が明らかになる。
本発明の１つの実施形態に基づく入力デバイスの構成及び外部電子装置との関係を示すブロック図 本発明の１つの実施形態に基づく第１姿勢と第２姿勢の概念図 本発明の１つの実施形態に基づく第１姿勢と第２姿勢の概念図 本発明の１つの実施形態に基づく検出領域の概念図 本発明の１つの実施形態に基づく検出装置の概念図 本発明の１つの実施形態に基づく第１姿勢と第２姿勢の概念図 本発明の１つの実施形態に基づく第１姿勢と第２姿勢の概念図 本発明の１つの実施形態に基づく入力方法のフローチャート 本発明の１つの実施形態に基づく対応関係の概念図 本発明の１つの実施形態に基づき、文字の調音による対応関係の概念図 本発明の１つの実施形態に基づく入力例の概念図 本発明の１つの実施形態に基づく出力ステップのフローチャート 本発明の１つの実施形態に基づく入力例の概念図 本発明の１つの実施形態に基づく出力ステップのフローチャート 本発明の１つの実施形態に基づく出力ステップのフローチャート 本発明の１つの実施形態に基づく出力ステップのフローチャート 本発明の１つの実施形態に基づく入力デバイスの応用例の概念図 本発明の１つの実施形態に基づく入力デバイスの応用例の概念図 本発明の１つの実施形態に基づく入力デバイスの応用例の概念図

本発明の実施の形態にかかる入力方法、入力デバイス及び入力プログラムを、以下に図面を用いて詳細を説明する。本実施の形態の入力デバイスは入力方法を実行することができる。本実施の形態の入力プログラムはコンピュータに入力方法を実行させる。

まずは本実施の形態の入力デバイスについて説明する。図１に示されるように、入力デバイス１０は、検出装置１２と記憶装置１４と制御装置１６とを備える。検出装置１２は、複数のセンサを備え、ユーザの指が所定角度より曲がっている第１姿勢と、指が所定角度より曲がっていない第２姿勢とを検出し、ユーザの指が第１姿勢または第２姿勢であるかを検出し、検出データを送信する。

記憶装置１４は、第１姿勢である指または第２姿勢である指の組み合わせと文字との対応関係を記憶する。記憶装置１４は、例えば、ＨＤＤ、ＳＤＤ、ＲＡＭ、ＲＯＭなど、半導体や、磁気、光学、光磁気ディスクを用いてデジタルデータを一時的にまたは長期間で記憶することができる装置である。また、記憶装置１４は、入力デバイス１０に内蔵されてもよく、入力デバイス１０の外部に設けられてもよく、入力デバイス１０と無線通信でまたは有線通信で接続している外部装置に内蔵されてもよい。例えば、入力デバイス１０がタブレットコンピュータである場合、記憶装置１４はタブレットコンピュータ内部のメモリであってもよい。例えば、入力デバイス１０がデスクトップコンピュータと接続している独立したデバイスである場合、記憶装置１４はデスクトップコンピュータ内部のメモリであってもよく、デスクトップコンピュータと無線通信または有線通信で接続しているサーバーの大容量ストレージ装置であってもよい。

制御装置１６は、検出装置１２から検出データを受信し、検出データに基づいて、第１姿勢である複数の指のうち、少なくとも１つの指が第２姿勢となる動きがあると判断される場合、対応関係に基づいて、検出データに対応する文字を出力する。制御装置１６は、例えば、ＣＰＵなどのプロセッサに対応する処理回路を備え、プロセッサがプログラムを実行することでこの要素として機能してもよい。検出装置１２と制御装置１６との間は、無線または有線の通信により接続してもよい。入力デバイス１０が実行する入力方法については後に詳述する。

検出装置１２は、ユーザの指が所定角度より曲がっている第１姿勢と、指が所定角度より曲がっていない第２姿勢とが検出可能である。検出装置１２は、ユーザの複数の指に個別に対応する複数の検出領域、または、ユーザの複数の指に個別に対応する複数の検出部分を有し、検出領域または検出部分は対応する指が第１姿勢または第２姿勢であるかを検出してもよい。例えば、複数の検出領域または検出部分はユーザの複数の指に一対一に対応してもよい。例えば、検出装置１２は、ユーザの複数の指に個別に対応し、センサによって、指との接触を検出する複数の検出領域を有するタッチパネルであってもよい。検出装置１２は、ユーザの複数の指に個別に対応し、指を覆う複数のセンサによって指の形状を検出する複数の検出部分を有するモーションキャプチャ装置であってもよい。検出装置１２は、ユーザの複数の指に個別に対応する複数のスイッチを有してもよい。ここでスイッチというのは、押すボタン、キー、シーソースイッチなど、ユーザの指に押されることによって少なくともオンとオフとの２つ以上の状態の間で切り替えられる電子式または機械式の部品であり、検出装置１２が備えるセンサとなる。検出装置１２は、指の画像を撮像する撮像装置と、この撮像装置により撮像された画像データに基づいて、指の姿勢を判断する判断手段とを有する撮像装置であってもよい。判断手段は、例えば、指の画像データを予め設定された基準データと比較することにより、指の姿勢が第１姿勢または第２姿勢であるかを判断するようなプログラムを処理回路が実行することにより実現される。すなわち、検出装置１２は、指の画像を撮像する撮像装置を有し、撮像装置により撮像された画像データに基づいて、指が第１姿勢または第２姿勢であるかを検出してもよい。検出装置１２は、可視光の投影、赤外線もしくは超音波により、ユーザの複数の指に個別に対応する複数の検出領域を仮想的に生成してもよい。

検出装置１２は、例えば、接触を検出する装置（例えば、ユーザの指に接触するように配置された複数の検出領域を有するタッチパネル、各指の形に対応するように配置されるデータグローブ、または、複数のスイッチを備える球状装備もしくは柱状装置）であってもよく、光学的に検出する装置（例えば、ユーザの手の画像を撮るように配置されたカメラ）であってもよく、波の反射を検出する装置（例えば、赤外線または超音波によりユーザの指に仮想接触する仮想キーボードまたは仮想パッドを生成する装置）であってもよく、電磁的に検出する装置（例えば、ユーザの指が近づくとその指と静電容量結合する、複数の検出領域を有するパネル）であってもよい。

入力デバイス１０は、上述検出装置１２と記憶装置１４と制御装置１６とを備える電子デバイスである。例えば、入力デバイス１０は、タッチパネルを備えるスマートフォン、ノートパソコンまたは主に入力に使われるデバイスであってもよく、無線または有線の通信によりデータグローブやカメラに接続するスマートフォン、ノートパソコンまたは主に入力に使われるデバイスであってもよい。

検出データに基づいて、第１姿勢である複数の指のうち、少なくとも１つの指が第２姿勢となる動きがあるという判断は、検出装置１２または制御装置１６のどちらによって行われてもよい。すなわち、検出装置１２は、ユーザの指が第１姿勢または第２姿勢であるかを検出して、検出データに基づいて、第１姿勢である複数の指のうち、少なくとも１つの指が第２姿勢となる動きがあると判断し、そして、判断結果を検出データとして制御装置１６に送信し、判断結果を検出データの代わりに制御装置１６に送信し、または、判断結果を検出データとともに制御装置１６に送信してもよい。

図２Ａに示されている実施形態において、検出装置１２により、ユーザの指が所定角度より曲がっているときに、第１姿勢として検出される。指が伸びているときに、第２姿勢として検出される。「指が伸びている」というのは、指が完全に伸びていることに限らず、力を入れていなく指全体が自然に湾曲している状態や、多少曲がっているが姿勢判断用の所定角度より曲がっていない状態であれば第２姿勢として検出される。すなわち、ユーザに意図的に曲げられてはなく、無意識的に湾曲している状態にある指は第２姿勢として検出されてもよい。例えば、図２Ａに示されているように、指が自然に湾曲している状態から近位指節間関節（第２関節）が所定角度より曲がると、第１姿勢として検出され、その曲がっている状態から所定角度より曲がっていない状態に戻ると、第２姿勢として検出される。

検出装置１２がユーザの各指または手の全体につけるデータグローブである場合、センサはタッチセンサと湾曲センサとを含んでもよい。タッチセンサは、データグローブの指先部に設置された圧力センサまたは振動センサであってもよい。湾曲センサはグローブの関節部に設置された抵抗性導電帯センサまたはジャイロセンサーであってもよい。抵抗性導電帯センサは、帯状に形成されており、指先、指腹または関節に配置又は固定しやすく、コストが低いので好ましい。もちろん、本発明の目的を達成できれば他の種類のセンサを採用してもよい。

なお、第１姿勢と第２姿勢とは区別されて、直接的または間接的に検出できるものである。直接的に検出するものとしては、例えば、検出装置１２を用いてある指が所定角度より曲がっていると検出していると、その指が第１姿勢にあることとする。一方、間接的に検出するものとしては、例えば、検出装置１２を用いてある指が所定角度より曲がっていると検出していないと、その指が第２姿勢にあることとする。すなわち、第１姿勢および第２姿勢のいずれか一方を検出することで、検出しない場合は、いずれか他方の姿勢であると推定してもよい。

また、図２Ｂと図３に示されている実施形態において、検出装置１２はタッチパネルであり、タッチパネルは複数の指とそれぞれ対応する複数の検出領域３２を有する場合、ユーザの指が所定角度より曲がってタッチパネルの検出領域３２に接触（タッチ）しているときに、第１姿勢として検出され、指が検出領域３２に接触していないときに、第２姿勢として検出される。検出領域３２は図３に示されているように各指に対応する位置と大きさと形状（例えば縦長の楕円形または大略円形）に配置してもよい。例えば、ユーザの右手の各指に対応するように、図３において、最も左端の検出領域３２は親指に対応し、最も右端の検出領域３２は小指に対応する。さらに、例えば、図３において、最も上にあって横軸からみると全ての検出領域の真ん中にある検出領域３２は中指に対応し、親指に対応する検出領域３２と中指に対応する検出領域３２との間の検出領域３２は人差し指と対応し、小指に対応する検出領域３２と中指に対応する検出領域３２との間の検出領域３２は薬指と対応する。検出領域３２は単なる各指の位置に対応して平行に並ぶ複数の四角形であってもよい。例えば、矩形のタッチパネルを対応して平行に並ぶ５つの四角形の区域に分割し、ユーザの右手の各指に対応するように、左端の区域から右端の区域までを、親指から小指までの右手の各指に対応する検出領域３２と設定してもよい。もちろん、ユーザの左手の各指に対応するように親指から小指までの順番を正反対にしてもよい。

全ての検出領域３２の大きさが同一であってもよく、対応する指の太さに基づいて検出領域３２の大きさを決めてもよい。例えば、親指に対応する検出領域３２が最も大きく、直径が３センチである大略円形であってもよく、小指に対応する検出領域３２が最も小さく、直径が２センチである大略円形であってもよい。

注意すべきなのは、検出領域３２は複数であるが、異なる対応関係に基づければ必ず５つの指に全部対応して５つの検出領域３２を配置する必要がない。例えば、比較的に動きにくい小指を使わずに、親指から薬指までの４つの指に対応する４つの検出領域３２のみを配置してもよい。この場合、４つの指の組み合わせと文字との対応関係（未図示）は、５つの指の組み合わせと文字との対応関係（例えば、図６に示された対応表）と異なるが、４つの指の組み合わせに基づいて文字を入力することができる対応関係であればよい。また、図３に示された検出領域３２はあくまで例示的なものであり、様々な形状や色でデザインを施してもよい。

図４Ａに示されている実施形態において、入力デバイス１０はスマートウォッチまたはスマートバンド、検出装置１２はユーザの手の画像を撮るように入力デバイス１０に配置されたカメラである。検出装置１２は、ユーザの手の画像を撮り、指の相対位置等により撮った画像にどの指の爪が写っているかを判断し、指の爪が写っている指を第１姿勢として検出してもよい。逆に、爪が写っていない指を第２姿勢として検出してもよい。それは、カメラの目線から見れば、ある指が所定角度より曲がってくると、この指の爪が見えてくるためである。例えば、図４Ｂに示された親指及び人差し指が第２姿勢として検出され、中指、薬指及び小指が第１姿勢として検出される。図４Ｃに示された人差し指及び中指が第２姿勢として検出され、親指、薬指及び小指が第１姿勢として検出される。どの指の爪が写っているかについての判断は検出装置１２自身のプロセッサによって行われてもよく、検出装置１２が撮った画像を制御装置１６に送信して制御装置１６がその判断を行われてもよい。また、カメラの配置によって、第１姿勢と第２姿勢とが逆の場合もある。例えば、検出装置１２であるカメラがユーザの手の上方に配置された場合、爪が写っていない指を第１姿勢として検出し、爪が写っている指を第２姿勢として検出してもよい。

もう１つの実施形態において、検出装置１２はアレイ配列または線配列の赤外線もしくは超音波の送受信器を備え、送受信器は仮想キーボードまたは仮想パッドを生成する。ユーザの指が仮想キーボードまたは仮想パッドに仮想接触するとき、送受信器が指にトリガーされることにより、仮想キーボードまたは仮想パッドにおける指の接触位置が検出される。仮想キーボードまたは仮想パッドに複数の検出領域３２を設定すれば、上述の実施形態のようにユーザのどの指が第１姿勢であるかまたは第２姿勢であるかを検出することができる。例えば、ユーザの手の大きさに適した間隔を取って１×５の行列で配置された５つの赤外線送受信器は５つの検出領域を形成し、検出領域のそれぞれは左からユーザの親指から小指まで対応してもよい。

本発明の実施の形態によれば、第１姿勢と第２姿勢を区別する際に用いられる所定角度について制限をしない。曲がる関節は、遠位指節間関節（第１関節）、近位指節間関節（第２関節）及び中手指節関節（第３関節）の少なくとも１つ、またはこれらの関節の組み合わせであってもよい。

例えば、検出装置１２がタッチパネルである場合、ある指の中手指節関節が曲がり、手の甲とその指の基節骨となす鋭角または手の甲とその指の先端（すなわち、末節骨）となす鋭角は４５度以上であると検出すれば、その指は第１姿勢にあると判断し、さもないと第２姿勢にあると判断してもよい。また、誤判断を回避するために、所定角度は一定な範囲であってもよい。例えば、検出装置１２がタッチパネルである場合、前述した鋭角が６０度〜９０度であるとその指は第１姿勢にあると判断し、０度〜３０度であると第２姿勢にあると判断してもよい。

検出装置１２が、各指の形に対応するように配置されるデータグローブ、ユーザの手の画像を撮るように配置されたカメラ、または、赤外線もしくは超音波によりユーザの指に仮想接触する仮想キーボードもしくは仮想パッドを生成する装置である場合、入力する際に手の動きは、検出装置１２がタッチパネルである場合と類似しているので、同様な所定角度を用いてもよい。もちろん、検出装置１２の種類に基づいて所定角度を設定してもよい。

例えば、検出装置１２が複数のスイッチまたはキーを備える球状装備または柱状装置であるである場合、指が少し曲がるだけでスイッチまたはキーを押せるので、比較的に小さい所定角度を設定してもよい。例えば、検出装置１２が複数のスイッチを備える柱状装置であるである場合、ある指の遠位指節間関節が曲がった鋭角が１０度以上に曲がると対応するスイッチが押されれば、その指は第１姿勢にあると判断されてもよく、または、ある指の遠位指節間関節および近位指節間関節が曲がって基節骨と末節骨となす鋭角が、３０度以下になると対応するスイッチが押されれば、その指は第１姿勢にあると判断されてもよい。判断基準となる関節または所定角度は、検出装置１２の形や大きさ、またはユーザの手の大きさなどに基づいて設定してもよい。第１姿勢でない指を第２姿勢にあると判断してもよい。

上述の実施形態において、検出領域の配置や指の相対位置などの設定は主に右手に対応して設定されているが、左手に対応するように設定してもよい。また、指の動きが不自由または指が欠損しているユーザに対して、特別な検出領域の配置や対応関係を設定してもよい。

上述のように、様々な検出装置１２を介してユーザの各指の動きまたは指の状態を検出してもよい。センサと無線通信技術を採用すれば、特定な作業台または作業場所による制限をなくすことができるため、入力動作は縛られず、入力しやすさがさらに高められる。例えば、入力デバイス１０がデスクトップコンピュータと無線通信で接続しているデバイスである場合、通信範囲内であれば、ユーザはコンピュータ机の前に居続ける必要がなく、例えばソファー上またはベッド上にいても入力デバイス１０を用いて文字を入力することができる。入力デバイス１０がスマートフォンと無線通信で接続している小型デバイスである場合、ユーザは入力デバイス１０を上着またはズボンのポケットに入れて、入力デバイス１０を用いて歩きながら文字を入力することができる。

また、本発明の実施の形態によれば、ユーザの指の複数種類の姿勢または動きを検出することにより、異なる指の組み合わせに基づき、豊富な数の入力に使える動きを提供し、十分な柔軟性を有するため、大量な文字や符号に適切に投影することができる。第１姿勢または第２姿勢とする動きが簡単に達成できるため、ユーザにとっては覚えやすい。使用中、ユーザの腕はキーボードを使っているようにキーボードの上に移動し繰り返す必要がないため、入力効率が大幅に上がる。

現有技術にとっては、指が曲がっているか否か、または指がタッチパネルに接触しているか否かとの検出の信頼性が高く、誤認識が少ない。また、曲がりやタッチなどの動きを組み合わせることにより、入力動作の種類が大幅に増え、多くの文字や符号をカバーすることができる。

好ましくは、入力デバイス１０は制御装置１６に接続する表示装置１８をさらに備える。表示装置は、図３のように、グラフィカルユーザーインターフェース（graphical user interface、ＧＵＩ）を用いて検出領域３２を表示してもよい。ユーザに入力する文字の認識または確認をさせるために、表示装置１８は出力する文字を表示してもよい。また、ＧＵＩを用いて後述の入力モード、候補文字、変換文字などを表示することもできる。表示装置の利用により、入力効率が高められ、本発明の実施の形態にかかる入力デバイスが初心者にとってはやさしい。

また、制御装置１６は、無線又は有線の通信により、パソコン、タブレット、携帯電話、工業用コンピュータ、ゲーム機、バーチャルリアリティー装置（ＶＲ装置）などの外部電子装置２０に接続してもよい。制御装置１６は出力した文字を外部電子装置２０に送信してもよく、外部電子装置２０は文字を更なる処理または利用を行ってもよい。文字以外、数字、符号などのキャラクター、または機能キー（例えば改行（enter）またはバックスペース（backspace））等の情報がユーザに入力されて送信できる。文字等の情報は、文字がキーボードに対応するキーの位置や、ＡＳＣＩＩコード、ＵＮＩＣＯＤＥなどの形式により送信されてもよい。

続いて、本発明が提供する入力方法について説明する。図５は本発明の実施形態に基づく入力方法のフローチャートである。入力方法において、ユーザの指が所定角度より曲がっている第１姿勢と、指が所定角度より曲がっていない第２姿勢とを上述のように検出する検出装置により、ユーザの指が第１姿勢または第２姿勢であるかを検出して、検出装置が検出データを制御装置に送信する（ステップＳ１００）。そして、検出データに基づいて、第１姿勢である複数の指のうち、少なくとも１つの指が第２姿勢となる動きがあるかが判断される（ステップＳ２００）。

一例として、検出装置は、どの指が第１姿勢または第２姿勢であるという現在の状態を定期的に（０．１秒ごとに、０．２秒ごとになど）確認し、確認結果を検出データとして送信してもよい。例えば、確認する時点で、親指と人差し指が第１姿勢でるという検出データとして送信してもよい。また、今回の確認結果と前回の確認結果を比較し（すなわち、連続２回の確認結果を比較し）、前回の状態に対して変化があるときに差分を検出データとして送信してもよい。例えば、前回では親指と人差し指が第１姿勢であったが、今回では親指しかが第１姿勢である場合、人差し指が第１姿勢から第２姿勢となることが判断され、制御装置に送信される。

本発明の他の実施形態に基づくと、指が第１姿勢または第２姿勢となるかについては、制御装置で判断してもよい。すなわち、検出装置が定期的に前回との差分を備わっている現在の状態を確認して送信し、制御装置がどの指の姿勢が変わったかを抽出（判断）してもよい。

他には、湾曲センサなどを備える検出装置が指の動きにトリガーされることにより、どの指の姿勢が変わったかを直接に検出することが可能である。この場合に、以前の状態に関わらずどの指の姿勢がどう変わったかを検出データとして制御装置に送信する。

第２姿勢となる動きがあると判断される場合、制御装置により、記憶装置に記憶された、第１姿勢である指または第２姿勢である指の組み合わせと文字との対応関係に基づいて、検出データに対応する文字を出力する（ステップＳ３００）。制御装置は、検出データを対応関係と対照するように検出データを分析し、検出データに対応する文字を出力してもよい。本発明が提供する入力方法は主に文字を入力することを目的とするが、この入力方法に基づき、文字以外、様々な機能キー、符号、数字等も入力可能である。また、文字というのは、ローマ字、日本語の漢字、平仮名、片仮名、中国語の漢字等世界中使われるあらゆる文字を含める。

対応関係は、第１姿勢である指の組み合わせと文字との１対１関係であり、対応表の形式で記憶されてもよい。記憶装置はデフォルトの１セットの対応関係を記憶してもよく、ソフトウエアの変更またはハードウェアの切り替えによりこの対応関係の変更、リセットまたは追加をしてもよい。また、記憶装置は異なるモードに対応する複数セットの対応関係を記憶し、ユーザのニーズに応じて切り替えることもできる。例えば、対応関係は、複数種類の言語に対応する言語モード、日本語モードにおけるカタカナサブモード、漢字サブモードもしくは人名・地名優先サブモード、またはローマ字モードにおける大文字サブモードもしくは小文字サブモード等にそれぞれ対応するものであってもよい。

１セットの対応関係が含む文字等の数は、用いられる指の組み合わせの数で決められてもよい。例えば、５つの指の動きの組み合わせであれば、すべてのローマ字に対応できる。対応性が高い対応関係を記憶しておければ、ユーザが頻繁に対応関係を変更する必要がないため、使いやすい。

また、検出装置または制御装置により、検出データに基づいて、第２姿勢である少なくとも１つの指が第１姿勢となる動きがあることが判断されてもよい。例えば、検出装置が現在の状態を定期的に確認して確認結果を検出データとして送信し、制御装置が現在の状態を定期的に確認し比較し、どの指が第１姿勢となったまたは／及びどの指が第２姿勢となったかを判断してもよい。また、例えば、検出装置は現在の状態を定期的に確認し比較し、どの指が第１姿勢となったまたは／及びどの指が第２姿勢となったかを判断し、判断結果を備わった前回の状態との差分を検出データとして送信してもよい。あるいは、検出装置が定期的にそういう前回との差分を備わっている現在の状態を確認して送信してもよい。あるいは、検出装置がどの指の姿勢がどう変わったかを検出データとして制御装置に送信してもよい。

制御装置は、どの指が第１姿勢となったまたは／及びどの指が第２姿勢となったという情報を含む検出データを受信し、ステップ３００において対応関係に基づいてこの検出データに対応する文字を出力する。ユーザが少なく１つの指を第２姿勢または第１姿勢にするだけで文字等を入力できるため、入力効率がキーボード入力など現有の入力方法より高い。

図６は例示的な対応関係を示しており、この実施形態において、第１姿勢である指の組み合わせと、ローマ字（英語アルファベット）、数字及び符号とのキャラクターとの対応関係を対応表で実施する。この対応関係がローマ字入力モードと数字記号入力モードとを有し、ローマ字入力モードが小文字サブモードと大文字サブモードとを有し、数字記号入力モードが符号１サブモードと符号２サブモードを有する。例えば、ローマ字入力モードの小文字サブモードにおいて、親指のみが第１姿勢である場合、「ｕ」に対応するので、このモードにおいて、ユーザが親指のみを第１姿勢にすれば、検出装置は親指のみが第１姿勢であることを検出して制御装置に送信し、制御装置が文字「ｕ」を出力する。

第１姿勢である指の組み合わせと文字との対応関係は、第２姿勢である指の組み合わせと文字との対応関係で定義されてもよい。例えば、図６の文字「ｕ」は、親指のみが第１姿勢であるという第１姿勢である指の組み合わせで定義されているが、人差し指、中指、薬指および小指が第２姿勢であるという第２姿勢である指の組み合わせで定義されてもよい。

対応関係は、図７に示された文字の軟口蓋音、歯茎音、後部歯茎音、歯茎摩擦音、両唇音、もしくは唇歯音という文字の調音や、入力のしやすさ、または文字の使用頻度に基づいて決められていってもよい。

対応関係を文字の調音により設定すれば、ユーザは容易に対応関係を覚えられる。文字の使用頻度を考量して対応関係を設定すれば、よく使う文字等（例えば「ｕ」）を比較的に動き安い指（例えば親指）で入力し、使用頻度が比較的に低い文字等（例えば「ｖ」）を比較的に動きにくい指（例えば薬指）で入力することができる。また、文字の頻度はスクラブルにおける駒の数など、ローマ字や日本語のかなについて異なる計算方法によって定義されてもよい。すなわち、上述要素を考量した対応関係であれば、対応関係はユーザに覚えされやすく、入力しやすい指の組み合わせにより構成することができる。

図６に示された対応関係に基づき、仮にデフォルトではローマ字入力モードの小文字サブモードであり、ローマ字「ａ」を入力したい場合、ユーザは薬指を第１姿勢にするだけで、ローマ字「ａ」を入力することができる。

注意すべきなのは、「ａ」を入力する前に薬指と他の指が既に第１姿勢である場合、薬指以外の第１姿勢である指が第２姿勢となれば、「ａ」も入力される。

大文字の「Ａ」を入力したい場合、親指、人差し指、中指、薬指及び小指全部を第１姿勢にして大文字サブモードに変更し、親指、人差し指、中指及び小指を第２姿勢にすれば、第１姿勢のままである薬指により大文字の「Ａ」を入力することができる。

他の文字についても類似な論理にしたがって入力できる。例えば、ユーザは中指と薬指とを第１姿勢にすることにより「ｈ」を入力することができ、親指、人差し指、中指、薬指及び小指全部を第１姿勢にしてから親指、人差し指及び小指のみ第２姿勢することにより「Ｈ」を入力することができる。

さらに、検出装置または制御装置によって、指がスライドまたはフリックする動きがあると判断されることができる。スライドまたはフリックする動きを対応関係に加えることにより、さらに豊富な入力が可能となる。

例えば、「改行（enter）」、「スペース（space）」、「バックスペース（backspace）」を含むキーボードの常用機能キーに対応する対応関係も、図６に示された対応関係に定義されている。ユーザは第１姿勢である指の少なくとも１つが右へフリックすれば、スペースが入力される。ユーザは第１姿勢である指の少なくとも１つが右へフリックして所定時間（例えば０．８秒）においてこの指を第１姿勢に保持すれば、改行が入力される。

符号または数字を入力したい場合、親指、人差し指、中指、薬指及び小指全部を第１姿勢に今のモードによって１回または連続複数回にして符号１サブモードまたは符号２サブモードに変更すれば、対応の姿勢により入力できる。例えば、符号２サブモードにおいて親指と中指を第１姿勢にすれば「！」が入力され、符号１サブモードにおいて人差し指を第１姿勢にすれば「１」が入力される。

本発明の実施形態に基づく入力方法はユーザの指の連続な動きにより連続に複数の文字を入力してもよい。図８は本発明の実施形態に基づく入力例の概念図であり、以下は図６及び８を用い、連続に文字を入力する例を説明する。この例は小文字サブモードにおいて行われる。

最初に、ユーザが親指を第１姿勢にし、このとき、親指のみが第１姿勢であるため、制御装置が文字「ｕ」を出力する。続いて、ユーザが人差し指を第１姿勢にし、このとき、親指及び人差し指が第１姿勢であるため、制御装置が文字「ｍ」を出力する。そして、ユーザが第１姿勢である親指を第２姿勢にする。このとき、第１姿勢である親指及び人差し指のうち親指が第２姿勢となる動きがあると判断され、制御装置は文字「ｉ」を出力する。

検出装置がタッチパネルである場合、ユーザが「親指をタッチパネルに接触する」、「人差し指をタッチパネルに接触する」、「親指をタッチパネルから離れる」との３つの動きだけをすれば、「ｕｍｉ」との文字を入力することができる。

注意すべきなのは、ユーザは少なく１つの指を第２姿勢または第２姿勢にするだけで文字等を入力でき、特に、指を第２姿勢にする（指をタッチパネルから離れる、指を伸ばすなど）だけでも文字等を入力できる。多くの状況で、新たに指１つを第１姿勢にしたり、逆に第２姿勢にしたりすることで、次の文字の入力が行われる。そのため、連続の文字を入力する際に、キーボード入力方法より入力効率が極めて高く、入力スピードが速い。

キーボードはキーにおける弾性要素により、キーを押した指を伸ばす状態に戻すから、キーボードのユーザは実質に伸ばすとの動きを意識して行う必要がないが、弾性要素により指を戻すという動きも時間かかり、指をキーボードにおいて移動させることはさらに時間がかかる。例えば、キーボードにより「ｕｍｉ」を入力するために、一般的には、右手の人差し指をデフォルト位置（一般的には「ｊ」キーの位置）から「ｕ」キーの位置に移動して「ｕ」キーを押し、右手の人差し指を「ｕ」キーの位置から「ｍ」キーの位置に移動して「ｍ」キーを押し、右手の中指をデフォルト位置（一般的には「ｋ」キーの位置）から「ｉ」キーの位置に移動して「ｉ」キーを押す、という移動及び押しの６つの動きが必要となり、必要な動き数は本発明が提供する入力方法の２倍もある。したがって、通常のオフィス環境下でも、本発明が提供する入力方法によれば従来のキーボードよりも速く入力することができる。

本発明の異なる実施形態に基づく入力方法の出力ステップ（上述ステップＳ３００に対応）において、様々な状況に応じて処理できる。以下は実施形態をそれぞれ説明するが、上述実施形態と下記実施形態は自由に組み合わせられる。実際のニーズに応じて、これらの実施形態は単独で実施できれば、複数の技術的特徴をまとめて１つのソフトウエアとしても実施できる。

１つの実施形態において、検出データに対応する文字が存在しない場合、制御装置は後の指の動きと合わせて文字を出力してもよい。図９はこの実施形態に基づく出力ステップのフローチャートである。

ステップＳ３００において、制御装置は検出データを対応関係と対照し、対応関係において検出データに対応する文字が存在するかを判断する（ステップＳ３１０）。対応する文字が存在する場合、制御装置はこの対応する文字を出力する（ステップＳ３２０）。一方、対応する文字が存在しない場合、後の指の動きを待ち、当該後の指の動きによる検出データ及び対応関係に基づいて、後の指の動きによる検出データに対応する文字を出力する（ステップＳ３３０）。

すなわち、第１姿勢または第２姿勢となる動きがされて、現在に第１姿勢または第２姿勢である指の組み合わせはいずれかの文字の入力条件にも満たしていないとき、制御装置は出力せずに後の指の動きを待ち。後の指の動きがあり、検出装置から新しい検出データを受信するとき、新しい検出データに対応する文字が存在するかをまた判断し、存在すればその文字を出力する。

例えば、図６に示された小文字入力モードにおいて、図１０に示されているように、中指と小指が第１姿勢であるとの検出データを受信するとき、制御装置は出力せずに後の指の動きを待ち。後に薬指も第２姿勢から第１姿勢となり、中指と薬指と小指が第１姿勢であるとの検出データを受信するとき、制御装置は対応関係に基づいて、新しい検出データに対応する文字「ｔ」を出力する。あるいは、後に小指が第１姿勢から第２姿勢となり、中指のみが第１姿勢であるとの検出データを受信するとき、制御装置は対応関係に基づいて、新しい検出データに対応する文字「ｅ」を出力する。

対応する文字が存在するときに、姿勢によりトリガーされるとすぐ文字を出力すると、効率を高めることができる。一方、対応する文字が存在していないときに、後の動きを待ち、文字に対応する指の組み合わせを完成させると、複数の動きが要る組み合わせにより文字等を正確的に識別することができ、入力の信頼性を高めることができる。

１つの実施形態において、制御装置は文字を仮出力モードまたは確定モードで出力することができる。図１１はこの実施形態に基づく出力ステップのフローチャートである。

ステップＳ３００において、制御装置は対応関係に基づいて、検出データに対応する文字を仮出力モードで出力する（ステップＳ４１０）。制御装置は、仮出力モードをデフォルトモードとして文字を出力してもよい。そして、後の検出データを分析し、すべての指が第２姿勢となる動きがあるかを判断する（ステップＳ４２０）。すべての指が第２姿勢である検出データを受信するとき、制御装置は仮出力モードの文字を確定モードで出力しなおす（ステップＳ４３０）。複数の文字が順番に仮出力モードで出力されてからすべての指が第２姿勢となっても、すべての指が第２姿勢であるとの検出データを受信すれば、制御装置は現時点で仮出力モードの文字を確定モードで出力しなおす。

仮出力モードである文字は、バックスペースなどにより削除できるほか、後に他の文字に変換や修正できる。例えば、仮出力モードで出力される「ｕｍｉ」との文字は、「うみ」または「海」に変換しえる。確定モードで出力される文字はもう確定されて変換できないが、削除できる。仮出力モードと確定モードである文字を区別するために、表示装置により、仮出力モードである文字に下線を付けたりや異なるフォント色をつけたりして、様々な書式を用いて表示してもよい。

すべての指が第２姿勢となる動きというのは、対応関係に用いられる指がすべて第２姿勢であることである。指が動く前にすでに第２姿勢である指は、第２姿勢のままであり、対応関係に用いられる指ならどの姿勢であっても構わない。

すべての指が第２姿勢である検出データを受信していないとき、入力方法は検出ステップであるステップＳ１００に戻って、所定時間を経ったらまたは指の動きがあると判断されたら、次の検出データを取得してもよい。

仮出力モードと確定モードを使い分けることにより、出力した文字の修正や変換がしやすく、ユーザが柔軟に入力することができる。また、すべての指が第２姿勢となる動きにより、例えば、すべての指をタッチパネルから離れることにより、ユーザが楽に仮出力モードの文字を確定モードに転換することができる。

１つの実施形態において、入力デバイスはＧＵＩを表示する表示装置を備え、制御装置は候補文字を表示してユーザに選択させてもよい。図１２はこの実施形態に基づく出力ステップのフローチャートである。

ステップＳ３００において、制御装置は検出データに部分対応する文字が複数存在するかを判断する（ステップＳ５１０）。検出データに部分対応する文字が複数存在する場合、ユーザに選択させるように、表示装置により、少なくとも２つの検出データに部分対応する文字を候補文字として表示する（ステップＳ５２０）。ここで、部分対応というのは、ある文字が対応する指の組み合わせの全部または一部が、検出データに示された第１姿勢である指と一致することである。例えば、図６に示された小文字サブモードにおいて、「ｍ」、「ｚ」及び「ｘ」は親指と人差し指との組み合わせに部分対応する。そのため、親指と人差し指が第１姿勢であるとの検出データを受信するとき、「ｍ」、「ｚ」、「ｂ」、「ｐ」、「ｘ」、及び「ｒ」は候補文字とされ、ＧＵＩに表示される。

候補文字を表示する際に、ユーザにフリックさせるように候補文字を十文字状または円形状に配置して表示してもよく、列に表示してもよい。候補文字の数が所定数に超える場合、全部の候補文字を表示すれば逆にユーザに混乱させる可能性があるため、一部の候補文字のみを表示してもよい。例えば、候補文字の数が４に超えると、４つの候補文字のみを十文字状に配列して表示してもよい。候補文字の数が多い場合、候補文字を分けて複数のタブまたはページで表示してもよい。また、候補文字を固定の特定時間（例えば１秒間）で表示してもよく、ユーザの指の次の動きがあると判断されていない間にずっと表示してもよい。

制御装置は検出データに部分対応する文字が複数存在していないということは、検出データに部分対応する文字が唯一であるか、対応する文字が存在していない。この場合には、ステップＳ３１０に戻り判断して、後続のステップＳ３２０またはステップＳ３３０にしたがって出力を行ってもよい。

候補文字が表示されている間に、第１姿勢である指のうち、少なくとも１つの指がスライドまたはフリックする動きがあるかを判断する（ステップＳ５３０）。第１姿勢である指のうち、少なくとも１つの指がスライドまたはフリックする動きがあると判断される場合、制御装置はこのスライドまたはフリックする動きの方向や位置に基づいて、１つの候補文字を選択して仮出力モードで出力する（ステップＳ５４０）。

例えば、ユーザが親指と人差し指を第１姿勢にするとき、「ｍ」、「ｚ」、「ｂ」及び「ｐ」との候補文字がＧＵＩの特定な表示領域において十文字状の上、左、下及び右にそれぞれ配置されて表示される。ユーザが親指または／及び人差し指を左へフリックすると、制御装置はこの左へフリックする動きに基づき、左に配置された「ｚ」を選択して出力する。

ユーザがスライドまたはフリックする動きにより文字を入力してから次の文字を入力したいときに、第１姿勢である指をいったん第２姿勢にする必要がなく、そのまま次の文字に対応する指の組み合わせを第１姿勢または第２姿勢にすればよい。例えば、ユーザが親指と人差し指を第１姿勢にし、左へフリックして「ｚ」を入力した後、親指のみを第２姿勢にすれば「ｉ」が入力され、親指と人差し指に加えて薬指も第１姿勢にすれば「ｂ」が入力される。

候補文字が表示されている間に、第１姿勢である指のうち、少なくとも１つの指がスライドまたはフリックする動きがあると判断されていない場合、ステップＳ３１０に戻って、検出データに完全対応する文字が存在すればその文字を出力してもよい。

検出データが複数の文字に完全対応または一部対応している場合、表示装置により候補文字を表示すること、またはこれらの候補文字に対応する指の組み合わせをさらに表示することによって、合理的な入力方法を提供することができる。表示装置により入力のヒントを提示すれば、ユーザが簡単に入力したい文字を選択でき、入力方法または入力デバイスの使用の難しさが下がる。また、第１姿勢である指がスライドまたはフリックすることにより、候補文字が選択されて出力されるため、ユーザが簡単に候補文字を選択するこができる。

なお、ステップ５２０において、候補文字以外、表示装置により、候補文字の入力を促すメッセージとして、候補文字に対応する動きのヒントを表示してもよい。候補文字を表示するために、純粋な文字だけではなく、音声や図形を用いて表示することもできる。そうすると、ユーザは、スライドまたはフリックをせずに、ヒントを参考して指を第１姿勢または第２姿勢にすることにより、仮出力モードにおいて文字を入力し続くことができる。

例えば、入力デバイスがスピーカなどの音声装置を備える場合、特にユーザは目が不自由である適用例において、音声を用いてユーザにヒントを提供してもよい。ユーザが親指と人差し指を第１姿勢にするとき、「さらに薬指をパネルにタッチすれば『ｂ』が入力される」という音声ヒントを提供してもよい。

１つの実施形態において、入力デバイスは表示装置を備え、制御装置は指が第１姿勢または第２姿勢となる動きに基づいて仮出力モードで文字を出力した後、直前に出力した文字を含む仮出力モードである文字に対応の漢字や片仮名などの変換文字を表示してユーザに選択させてもよい。図１３はこの実施形態に基づく出力ステップのフローチャートである。

ステップＳ３００において、制御装置が指の動きに基づいて仮出力モードで文字を出力した後、さらに次の検出データを受信し、この次の検出データに基づいて第１姿勢である指のすべてが所定時間（例えば０．８秒）において動きがあるかを判断してもよい（ステップＳ６１０）。第１姿勢である指のすべてが所定時間内に動いていないと判断する場合には、ユーザに選択させるように、表示装置により、文字変換表に基づいて仮出力モードの文字に対応する少なくとも１つの変換文字を表示する（ステップＳ６２０）。

文字変換表には、仮出力モードである文字に対して、特定の言語モードにおいてその仮出力モードである文字の発音と同様な文字や、決まったルールにしたがってその仮出力モードである文字と等価である文字などの情報が含まれている。異なる言語のモード、または日本語モードにおけるカタカナサブモード、漢字サブモードもしくは人名・地名優先サブモードなど様々なモードにおいては異なる文字変換表を適用してもよい。例えば、仮出力モードで出力される「ｕｍｉ」との文字は、日本語の平仮名モードにおいては「うみ」に変換でき、日本語の漢字モードにおいては「海」、「膿」、「生み」等に変換でき、日本語の人名優先モードにおいては「宇美」に変換できる。また、中国語のピンインのルールしたがえば、ローマ字から中国語の簡体字の漢字へ変換できる。例えば、「ｈａｉ」から中国語の漢字「海」へ変換できる。同様に、文字変換表により他の言語の文字への変換もできる。

制御装置は文字変換表に基づいて仮出力モードの文字に対応する変換文字を検索し、表示装置により検索した変換文字を表示する。ここで、ステップ５２０と類似の表示仕様で、ユーザにフリックさせるように、一定数量以内の変換文字を十文字状または列に配置して表示してもよい。

所定時間においてある指が第２姿勢となるなど他の動きがあると判断される場合、変換文字の有無を判断せずに、ステップＳ１００に戻って検出した新しい検出データに基づいて後続の処理を行ってもよい。

変換文字を表示している間に、第１姿勢である指のうち、少なくとも１つの指がスライドまたはフリックする動きがあるかを判断する（ステップＳ６３０）。第１姿勢である指のうち、少なくとも１つの指がスライドまたはフリックする動きがあると判断される場合、制御装置は、仮出力モードの文字を消し、このスライドまたはフリックする動きの方向や位置に基づいて、１つの変換文字を選択して確定モードで出力する（ステップＳ６４０）。変換文字の表示及び選択については、ステップＳ５２０からステップＳ５４０と類似の方式で行ってもよい。

変換文字を表示している間に、スライドまたはフリックする動きがあると判断されていない場合、ステップＳ１００に戻って検出した新しい検出データに基づいて後続の処理を行ってもよい。

文字変換表により、アルファベットの文字を漢字や中国語の文字に変換してもよい。入力方法または入力デバイスは所定時間において指の動きがあると判断されていないと候補の変換文字を表示するため、ユーザは簡単に変換文字を選択して入力することができる。また、第１姿勢である指がスライドまたはフリックすることにより、変換文字が選択されて出力されるため、ユーザが簡単に変換文字を選択するこができる。

上述各実施形態に開示されたステップは実際のニーズに応じて組み合わせてもよい。例えば、候補文字を表示するときに、候補文字と対応する変換文字も併せて表示してユーザに選択させてもよい。こうすれば、表示と選択と入力の効率が向上される。

入力の精度及び効率を上げるために、ユーザが指を動かすときに発生しえる時間的なまたは空間的な誤差を考量し、検出する際に様々な閾値を設けてもよい。

１つの実施形態において、現在の姿勢と異なる第１姿勢または第２姿勢にしようとする指の曲がりなどの動きが所定幅より小さい場合、指がその異なる姿勢にしていないとして判断する。人のある指を動かすときに、他の指や手の全体がとも動く現象があるので、動く幅に閾値を設ければ、検出精度が上がる。また、ユーザの習慣または好みにより閾値を設定または調整してもよい。

１つの実施形態において、指が第１姿勢または第２姿勢となる動きが連続に判断され、前後の動きとの時間差が時間閾値より短い場合、この２つの動きが同時に行われるとして判断する。例えば、人差し指が第２姿勢から第１姿勢となってから時間閾値以内に中指も第２姿勢から第１姿勢となれば、人差し指と中指が同時に第１姿勢となる動きを行うとして判断する。所定時間は実際の状況によりユーザに設定させてもよい。反応の比較的に速い青少年には比較的に短い時間閾値、例えば、０．２秒から１秒、を設定してもよい。他方、反応の比較的に遅い高齢者には比較的に長い時間閾値、例えば、０．５秒から２秒、を設定してもよい。ユーザが入力する途中に、動きは誤動作であることに気をつければ、時間閾値を過ごすのを待つことにより誤動作の入力を取り消すことができるため、削除またはバックスペースを入力し繰り返す必要がなくなり、入力効率が上がる。また、時間閾値の設定により、検出されてから所定時間を過ごした動きは取り消されるとみられれば、誤動作が新しい入力動きへの影響を避けることができる。

１つの実施形態において、検出装置または制御装置は、検出した指の位置と所定の基準位置とを比較することにより、第１姿勢となるやフリックなどの指の動きを判断する。基準位置との比較によれば、指の動き及び位置をさらによく検出でき、検出の精度が上がる。

本発明が提供する入力デバイス、入力方法または入力プログラムは、ユーザに片手又は両手の入力形態を提供することができる。

１つの実施形態において、第１姿勢である複数の指、または第２姿勢となる動きを行う指は、同じ手の指である。すなわち、本発明が提供する入力方法は片手で実行できる。ユーザは片手だけで入力方法により文字を入力することができるため、歩いているとき、電話をしているとき、片手で子供や荷物を持っているときなど、普段に入力しにくいときでも、ユーザが簡単で楽に文字を入力することができる。

特に注意すべきなのは、片手の５つの指の組み合わせであれば、合計３１通の組み合わせがあるため、最小限の動きで２６つのローマ字に対しては充分にカバーできる。そして、モード変更や文字変換によれば、２６つのローマ字から平仮名、漢字、外国文字等に変換できる。一方、２６つのローマ字にカバーするために、キーボードは２６つのキーを設けなければならないので、どうしてもスペースが多くかかる。

１つの実施形態において、検出装置は第１サブ検出装置と第２サブ検出装置とを備え、第１サブ検出装置と第２サブ検出装置それぞれは、ユーザの両手に対応し、対応する手の指の姿勢や動きを検出し、検出データを制御装置に送信する。すなわち、ユーザは２つのサブ検出装置を使用することによりさらに効率よく入力することができる。

第１サブ検出装置と第２サブ検出装置は分離した別体の２つの装置であってよく、同一の入力デバイスにおける違う部分であってもよい。例えば、ユーザの左手と右手にそれぞれ対応する２つのデータグローブを第１サブ検出装置と第２サブ検出装置としてもよい。入力デバイスはタッチスクリーンを備えるノートパソコンであって、タッチスクリーンにおいて左右に２つ部分を第１サブ検出装置と第２サブ検出装置とし、それぞれに検出領域を配置してもよい。

第１サブ検出装置と第２サブ検出装置が送信する検出データは互いにしなくてもよい。制御装置は両者から受信する検出データそれぞれに基づいて受信順で文字を出力できる。この場合に、ユーザは入力しようとする文字により第１サブ検出装置と第２サブ検出装置を使い分けてもよい。例えば、片手を母音の文字（ａ、ｅ、ｉ、ｏ、ｕ）入力用とし、もう片手を子音の文字入力用としてもよい。あるいは、片手は親指または人差し指を中心とする入力を行い、もう片手はその他の指を中心とする入力を行うという使い分けもできる。２つのサブ検出装置を用いることにより、入力効率がほぼ２倍になる。

図１４から図１６は本発明の実施形態に基づく入力デバイスの複数の応用例の概念図である。図１４に示されているように、入力デバイス１０をパッドパソコンである外部電子装置２０に接続してもよく、片手または両手による文字入力の機能をユーザに提供する。例えば、ユーザはパッドパソコン及び入力デバイス１０を図１４に示されているようにデスクの上に置き、キーボードの代わりに入力デバイス１０を使用し文字を入力してもよい。

図１５に示されているように、入力デバイス１０をスマートフォンである外部電子装置２０に接続してもよく、片手または両手による文字入力の機能をユーザに提供する。ユーザはスマートフォンを図１５に示されているようにポケット内など入力デバイス１０と違う場所に置き、歩きながら入力デバイス１０を使用し文字を入力することができる。

図１６に示されているように、入力デバイス１０をＶＲ装置である外部電子装置２０に接続してもよく、片手または両手による文字入力の機能をユーザに提供する。ユーザは入力デバイス１０をＶＲ装置に接続させ、ＶＲ空間内にいながら入力デバイス１０を使用し文字を入力することができる。

結論を述べると、本発明が新しい入力デバイス、入力方法及び入力プログラムを提供し、これらの入力デバイス、入力方法及び入力プログラムは、ユーザの指が所定角度より曲がっている第１姿勢である複数の指のうち、少なくとも１つの指が所定角度より曲がっていない第２姿勢となる動きが判断され、対応関係に基づいて対応の文字を出力することにより、ユーザの体への負担が小さく、入力しやすくて、入力効率が高い等効果を達成する。

理解されるべきなのは、上述実施形態においては当業者に本発明をよく理解させるために様々な技術の細目を詳細に説明したが、本発明は上述記載または図面に示された詳細構成に限定することなく、本発明の範囲から離脱せずに様々な変化または変更をすることができる。したがって、本発明の範囲は特許請求の範囲のみによって定義される。

Claims (16)

1. ユーザの指が所定角度より曲がっている第１姿勢と、指が前記所定角度より曲がっていない第２姿勢とを検出する検出装置により、ユーザの指が前記第１姿勢または前記第２姿勢であるかを検出し、検出データを制御装置に送信する検出ステップと、
   前記検出データに基づいて、前記第１姿勢である複数の指のうち、少なくとも１つの指が前記第２姿勢となる動きがあると判断される場合、前記制御装置により、記憶装置に記憶された、前記第１姿勢である指または前記第２姿勢である指の組み合わせと文字との対応関係に基づいて、前記検出データに対応する文字を出力する出力ステップと、を備える入力方法。
2. 前記検出装置は、ユーザの複数の指に個別に対応する複数の検出領域、もしくは、ユーザの複数の指に個別に対応する複数の検出部分を有し、前記検出ステップにおいて、前記検出領域または前記検出部分は対応するユーザの指が前記第１姿勢または前記第２姿勢であるかを検出し、または、
   前記検出装置は、指の画像を撮像する撮像装置を有し、前記検出ステップにおいて、前記撮像装置により撮像された画像データに基づいて、ユーザの指が前記第１姿勢または前記第２姿勢であるかを検出する、
   請求項１に記載の入力方法。
3. 前記出力ステップにおいて、前記検出データに基づいて、前記第２姿勢である少なくとも１つの指が前記第１姿勢となる動きがあると判断される場合、前記制御装置により、前記対応関係に基づいて、前記検出データに対応する文字を出力する、請求項１または２に記載の入力方法。
4. 前記出力ステップにおいて、前記第２姿勢となる動きがあると判断される場合、前記制御装置により、前記検出データに対応する文字が存在するかを判断し、
   存在すると判断する場合、前記対応する文字を出力し、
   存在していないと判断する場合、後の指の動きを待ち、当該後の指の動きによる検出データ及び前記対応関係に基づいて、前記後の指の動きによる検出データに対応する文字を出力する、請求項１から請求項３のいずれか１項に記載の入力方法。
5. 前記検出データに部分対応する文字が複数存在する場合、ユーザに選択させるように、表示装置により、少なくとも２つの前記検出データに部分対応する文字を候補文字として表示する、請求項４に記載の入力方法。
6. 前記出力ステップにおいて、
   前記検出データに対応する文字を仮出力モードで出力し、
   すべての指が前記第２姿勢となる動きが判断される場合、前記仮出力モードの文字を確定モードで出力しなおす、請求項５に記載の入力方法。
7. 前記第１姿勢である指のすべてが所定時間において動きがあると判断されていない場合、ユーザに選択させるように、前記表示装置により、文字変換表に基づいて前記仮出力モードの文字に対応する少なくとも１つの変換文字を表示する、請求項６に記載の入力方法。
8. 前記候補文字を表示している間に、前記第１姿勢である指のうち、少なくとも１つの指がスライドまたはフリックする動きがあると判断される場合、当該スライドまたはフリックする動きに基づいて、１つの前記候補文字を選択して仮出力モードで出力し、
   前記変換文字を表示している間に、前記第１姿勢である指のうち、少なくとも１つの指がスライドまたはフリックする動きがあると判断される場合、前記仮出力モードの文字を消し、当該スライドまたはフリックする動きに基づいて、１つの前記変換文字を選択して前記確定モードで出力する、請求項７に記載の入力方法。
9. 前記対応関係は、文字の軟口蓋音、歯茎音、後部歯茎音、歯茎摩擦音、両唇音、もしくは唇歯音という文字の調音、入力のしやすさ、または文字の使用頻度に基づいて決められている、請求項１から請求項８のいずれか１項に記載の入力方法。
10. 前記第１姿勢である複数の指、または前記第２姿勢となる動きを行う指は、同じ手の指である、請求項１から請求項９のいずれか１項に記載の入力方法。
11. 前記検出装置は第１サブ検出装置と第２サブ検出装置とを備え、前記第１サブ検出装置と前記第２サブ検出装置それぞれは、ユーザの両手に対応し、対応する手の指が前記第１姿勢または前記第２姿勢であるかを検出し、前記検出データを制御装置に送信する、請求項１から請求項９のいずれか１項に記載の入力方法。
12. コンピュータに、請求項１から１１のいずれか１項に記載の入力方法を実行させる入力プログラム。
13. 複数のセンサを備える検出装置であって、ユーザの指が所定角度より曲がっている第１姿勢と、指が前記所定角度より曲がっていない第２姿勢とが検出可能で、ユーザの指が前記第１姿勢または前記第２姿勢であるかを検出し、検出データを送信する検出装置と、
    前記第１姿勢である指または前記第２姿勢である指の組み合わせと文字との対応関係を記憶する記憶装置と、
    前記検出装置から前記検出データを受信し、前記検出データに基づいて、前記第１姿勢である複数の指のうち、少なくとも１つの指が前記第２姿勢となる動きがあると判断される場合、前記対応関係に基づいて、前記検出データに対応する文字を出力する制御装置と、を備える、入力デバイス。
14. 前記検出装置はユーザの複数の指に個別に対応する複数の検出領域、または、ユーザの複数の指に個別に対応する複数の検出部分を有し、前記検出領域または前記検出部分は対応する指が前記第１姿勢または前記第２姿勢であるかを検出する、請求項１３に記載の入力デバイス。
15. 前記検出装置は、指の画像を撮像する撮像装置と、前記撮像装置により撮像された画像データに基づいて、指の姿勢を判断する判断手段とを有する、請求項１３に記載の入力デバイス。
16. ユーザに選択させるように、少なくとも２つの前記検出データに部分対応する文字を候補文字として表示する、または、文字変換表に基づいて仮出力モードの文字に対応する少なくとも１つの変換文字を表示する、前記制御装置に接続する表示装置をさらに備える、請求項１３から１５のいずれか１項に記載の入力デバイス。

Images