JP2019121008A - 入力システム、入力装置、および入力方法 - Google Patents

Abstract

【課題】自然な動作でタッチセンサを利用し、文字入力が出来る入力システムの提供。【解決手段】ネットワーク接続された、入力装置と情報処理装置とを含み、入力装置は、媒体表面をなぞって文字を入力するユーザの指を挿入する穴と、文字をなぞる際の当該入力装置の媒体表面への接触を検知するタッチセンサと、タッチセンサが媒体表面への接触を検知しているとき、指の動きをキャプチャするモーションセンサと、モーションセンサがキャプチャした指の動きを動きデータとして情報処理装置に送信する動きデータ送信部を備え、情報処理装置は、各文字を入力する際の動きデータを予め収集し格納した動きデータＤＢが記憶された記憶部と、入力装置から動きデータを受信する動きデータ受信部と、動きデータ受信部が受信した動きデータを動きデータＤＢに格納された動きデータと照合し、なぞられた文字を認識する文字認識部とを備える。【選択図】図４

Description

本発明は、指でなぞった文字を入力する入力システム、入力装置、および入力方法に関する。

従来、キーボードや音声を使わずに、情報処理装置へのジェスチャーによる入力を簡単に行うための様々な工夫がなされてきた。

例えば、特許文献１において開示されている装置は人差し指にはめる指輪型の装置であり、人差し指の動きを検出するためのＸ軸ジャイロとＹ軸ジャイロとを備えている。

また、特許文献２の技術は、Ｘ軸、Ｙ軸、Ｚ軸それぞれの加速度センサーを内蔵した携帯電話機を振り回して文字を書き、文字入力を行うものである。

また、特許文献３の技術では、タッチセンサーとモーションセンサーを備えたリモートコントローラーなどの入力装置が、特定条件、例えば、タッチセンサーがタッチされている状態で動きを感知することによって、入力装置の誤作動を防止することができるというものである。

特開２００１−２３６１７４号公報 特開２００６−７９２２１号公報 特開２０１３−１４３７７５号公報

例えば、特許文献３の技術では、入力装置の誤動作を防止するためには、ユーザーが明示的にリモートコントローラーのタッチセンサーにタッチしなければならず、不自然な操作を行なわなければならないので、ユーザーにとっては手間であった。

以上のような事情に鑑み、本発明の目的は、自然な動作でタッチセンサーを利用し、文字入力が出来る入力システム、入力装置、および入力方法を提供することにある。

上記目的を達成するため、本発明の一形態に係る入力システムは、ネットワーク接続された、入力装置と情報処理装置とを含み、前記入力装置は、媒体表面をなぞって文字を入力するユーザーの指を挿入する穴と、文字をなぞる際の当該入力装置の前記媒体表面への接触を検知するタッチセンサーと、前記タッチセンサーが前記媒体表面への接触を検知しているとき、前記指の動きをキャプチャーするモーションセンサーと、前記モーションセンサーがキャプチャーした前記指の動きを動きデータとして前記情報処理装置に送信する動きデータ送信部と、前記タッチセンサー、前記モーションセンサー、および前記動きデータ送信部に電力を供給するバッテリーとを備え、前記情報処理装置は、前記入力装置と通信可能な通信部と、各文字を入力する際の動きデータを予め収集し格納した動きデータデータベースが記憶された記憶部と、前記入力装置から前記通信部経由で動きデータを受信する動きデータ受信部と、前記動きデータ受信部が受信した動きデータを前記動きデータデータベースに格納された動きデータと照合し、なぞられた文字を認識する文字認識部とを備える。

そのため、自然な動作でタッチセンサーを利用し、文字入力が出来る。

上記目的を達成するため、本発明の一形態に係る入力装置は、媒体表面をなぞって文字を入力するユーザーの指を挿入する穴と、文字をなぞる際の入力装置の前記媒体表面への接触を検知するタッチセンサーと、前記タッチセンサーが前記媒体表面への接触を検知しているとき、前記指の動きをキャプチャーするモーションセンサーと、前記モーションセンサーがキャプチャーした前記指の動きを動きデータとしてなぞられた文字を認識する情報処理装置に送信する動きデータ送信部と、前記タッチセンサー、前記モーションセンサー、および前記動きデータ送信部に電力を供給するバッテリーとを備える。

上記目的を達成するため、本発明の一形態に係る入力方法は、ネットワーク接続された、入力装置と情報処理装置とを含んだ入力システムにおける入力方法であって、媒体表面をなぞって文字を入力するユーザーの指を前記入力装置の穴に挿入し、前記入力装置のタッチセンサーが、文字をなぞる際の当該入力装置の前記媒体表面への接触を検知し、前記タッチセンサーが前記媒体表面への接触を検知しているとき、前記入力装置のモーションセンサーが、前記指の動きをキャプチャーし、前記入力装置の動きデータ送信部が、前記モーションセンサーがキャプチャーした前記指の動きを動きデータとして前記情報処理装置に送信し、前記情報処理装置の動きデータ受信部が、前記入力装置から動きデータを受信し、前記情報処理装置の文字認識部が、前記動きデータ受信部が受信した動きデータを、各文字を入力する際の動きデータを予め収集し格納した動きデータデータベースに格納された動きデータと照合し、なぞられた文字を認識する。

以上のように、本発明によれば、自然な動作でタッチセンサーを利用し、文字入力が出来る。

入力システム１００の全体構成図である。 入力装置１０の構成例を示す図である。 情報処理装置２０が一般的なコンピューターにより構成される場合の構成図である。 入力システム１００における処理の流れについて説明するためのフローチャートである。

以下、図面を参照しながら、本発明の実施形態を説明する。

［概要と効果］
最初に、概要について説明する。

本発明の一実施形態に係る入力システム１００は、ユーザーが文字をなぞって入力する指にはめて使用する指サック形状の入力装置１０と、入力装置１０でキャプチャーされた、入力装置１０をはめている指の動きから、入力された文字を認識する情報処理装置２０とから構成される。

入力システム１００では、ユーザーは、文字をなぞって入力する際に使用する指（右利きのユーザーであれば、例えば右の人差し指）に入力装置１０をはめて、ペンにより文字を記入する要領で、媒体表面３０（例えば、入力装置１０を右の人差し指に装着した場合は、もう一方の手の平や、太もも、机の上面、壁面など）に入力装置１０と指を押しつけてなぞり文字を入力する。媒体表面３０は、タッチセンサー１１が動作する表面であれば、種類を問わない。

入力装置１０は、入力装置１０を装着し、文字を書く指の動きを検知するモーションセンサー１２に加えて、指および入力装置１０が媒体表面に接触しているか接触していないかを検知するタッチセンサー１１を備えている。

そのため、例えば、タッチセンサーを備えていない特許文献１または２のような指輪型の入力装置では、入力した文字を構成する線の始点と終点を判別するためのデータ処理が必要であるのに対し、入力システム１００では、入力する文字を構成する線の始点と終点をタッチセンサー１１で容易に検出することが出来る。

入力する文字を構成する線の始点と終点が明確に検出できるので、精度良く文字認識を行うことが出来る。

空中に文字を書く場合の始点と終点を判別するためのデータ処理が不要になり、終点から次の始点に移動する間のモーションキャプチャーも不要になるため、その分消費電力を削減することが出来、消費電力が小さくなる分、使用するバッテリーを小型化し、入力装置１０全体の小型化も実現することが出来る。

また、ユーザーとしても、空中で指を動かすのに較べ、実際に媒体表面に指と入力装置１０を接触させて、文字を記入する要領で文字入力が出来るので、慣れ親しんだ通常の紙とペンを用いた文字記入に近い感覚で文字入力をすることが出来、文字入力に対する安心感（感覚的な文字入力のしやすさ）を得ることが出来る。

また、入力システム１００では、入力装置１０を装着した指（以下、仮想ペンと呼ぶ）で、紙に文字を書く要領で仮想ペンを媒体表面３０に接触させる自然な動作を行うだけで、タッチセンサー１１による仮想ペンの上げ下げ動作を検出させることが出来、ユーザーがタッチセンサー１１を明示的にオンオフさせる必要がないので、タッチセンサー１１をオンオフするための不自然な動作を省くことが出来る。

入力システム１００では、入力に音声を用いないため、声を出すことが難しい環境でも周囲に気兼ねすることなく入力を行うことが出来る。

ウェアラブルのディスプレイデバイスなどと一緒に使うことにより、ユーザーが歩きながらでも入力を行うことが出来る。

以上、概要について説明した。

［全体構成］
次に、入力システム１００の全体構成について説明する。図１は、入力システム１００の全体構成図である。

入力システム１００は、ネットワーク接続された、入力装置１０と情報処理装置２０とを含んで構成される。

入力装置１０は、媒体表面３０をなぞる指に装着して用いられ、その指の動きをキャプチャーし、キャプチャーした動きデータを情報処理装置２０へ送信する。

情報処理装置２０は、スマートフォン、タブレット端末、ＰＣ（Personal Computer）などのコンピューターであり、入力装置１０から送られてきた指の動きデータを予め記憶している各文字の動きデータと照合し、指により書かれた文字を認識する。

入力装置１０を使用して文字を入力する際には、必ず媒体表面３０の上をなぞらなければならない。なぞる指および入力装置１０を媒体表面３０に接触させることにより、接触がタッチセンサー１１により検知され、仮想ペンが媒体表面３０に下ろされた状態になり、仮想ペンの動きがキャプチャーされる。

なお、上記の説明では、入力装置１０から送られた動きデータから入力された文字を認識する処理は、情報処理装置２０において行なわれるとしたが、この構成に限らず、例えば、クラウド上で行なわれてもよい。その場合、情報処理装置２０は、入力装置１０から送られてきた動きデータをクラウドに中継する。

なお、入力装置１０と情報処理装置２０との間の通信は有線、無線どちらであってもよい。無線の場合、Bluetooth（登録商標）や無線LAN（Local Area Network）など動きデータが送受信出来るものであれば、どのような技術を用いてもよい。

以上、入力システム１００の全体構成について説明した。

［入力装置の構成］
次に、入力装置１０の構成について説明する。図２は、入力装置１０の構成例を示す図である。

入力装置１０は、タッチセンサー１１、モーションセンサー１２、動きデータ送信部１３、バッテリー１４、指を挿入する穴１５を備えている。

タッチセンサー１１は、ユーザーが入力装置１０を指に装着し、文字をなぞるために媒体表面３０にタッチする位置に設けられ、文字をなぞる際の入力装置１０の媒体表面３０へのタッチを検出する。言い換えれば、仮想ペンのペンダウン、ペンアップを検出している。

モーションセンサー１２は、入力装置１０の中で、指で文字をなぞった際に最も良く動く箇所に設置されるとよい。図２では、入力装置１０に挿入した指の爪の上部に設けられている。モーションセンサー１２には、ジャイロセンサー、加速度センサーなどが含まれており、ユーザーが媒体表面３０に文字を書くためになぞった指の動きを検出する。

なお、モーションセンサー１２は、タッチセンサー１１と連動するように構成されており、タッチセンサー１１がオン（仮想ペンがダウンされている）状態の場合だけ指の動きを検知することにより入力装置１０の消費電力を削減する。

動きデータ送信部１３は、モーションセンサー１２がキャプチャーした指（仮想ペン）の動きを動きデータとして、情報処理装置２０に送信する。

バッテリー１４は、タッチセンサー１１、モーションセンサー１２、動きデータ送信部１３に対し、電力を供給する。

指を挿入する穴１５の周囲は、ゴムなど柔軟に変形可能な素材で形成されていることが好ましい。その場合、ユーザーの指の大小に応じて穴１５が変形し指に密着するので、ユーザーのどのような大きさの指であっても対応することが出来ると共に、媒体表面３０で文字をなぞる指の動きに入力装置１０を適切に追従させることが出来る。

以上、入力装置１０の構成について説明した。

［情報処理装置の構成］
次に、情報処理装置２０の構成について説明する。情報処理装置２０は、専用のハードウェアやソフトウェアにより構成されていてもよいし、一般的なコンピューターにより構成されてもよい。情報処理装置２０が一般的なコンピューターにより構成される場合の構成図を図３に示す。

同図に示すように、情報処理装置２０は、ＣＰＵ（Central Processing Unit）２１、ＲＯＭ（Read Only Memory）２２、ＲＡＭ（Random Access Memory）２３、操作入力部２４、通信部２５、表示部２６、および記憶部２７を有し、これら各ブロックがバス２８を介して接続されている。

ＲＯＭ２２は、各種の処理を実行するためのファームウェア等の複数のプログラムやデータを記憶する。ＲＡＭ２３は、ＣＰＵ２１の作業用領域として用いられ、ＯＳ（Operating System）、実行中の各種アプリケーション、処理中の各種データを一時的に保持する。

記憶部２７は、例えばＨＤＤ（Hard Disk Drive）や、フラッシュメモリー、その他の不揮発性メモリーである。記憶部２７には、ＯＳや各種アプリケーション、各種データ、動きデータＤＢ（データベース）２７ａが記憶される。動きデータＤＢ２７ａは、入力装置１０が検出する指の動きを予め文字ごとに収集したデータベースであり、実際に検出された指の動きと動きデータＤＢ２７ａ内の動きデータを照合することにより、ユーザーが書いた文字を認識するものである。

通信部２５は、ネットワーク上の入力装置１０等と情報のやりとりを行う為のネットワークと結ばれている。

ＣＰＵ２１は、ＲＯＭ２２や記憶部２７に格納された複数のプログラムのうち、操作入力部２４から与えられる命令に対応するプログラムをＲＡＭ２３に展開し、この展開されたプログラムにしたがって、表示部２６及び記憶部２７を適宜制御する。

操作入力部２４は、例えばマウス等のポインティングデバイス、キーボード、タッチパネル、その他の操作装置である。

表示部２６は、例えば液晶ディスプレイ、ＥＬ（Electro-Luminescence）ディスプレイ、プラズマディスプレイ等である。

次に、ＣＰＵ２１においてプログラムが実行されることにより実現される機能ブロックについて説明する。

情報処理装置２０のＣＰＵ２１において実現される機能ブロックは、動きデータ受信部２１ａおよび文字認識部２１ｂである。

動きデータ受信部２１ａは、入力装置１０から、文字を書く指の動きに関してモーションセンサー１２で検出された動きデータを通信部２５経由で受信し、文字認識部２１ｂに渡す。

文字認識部２１ｂは、データ受信部２１ａから渡された動きデータを、動きデータＤＢ２７ａに記憶されている文字ごとの動きデータと照合し、なぞられた文字を認識する。

以上、情報処理装置２０の構成について説明した。

［処理の流れ］
次に、入力システム１００における処理の流れについて説明する。図４は、入力システム１００における処理の流れについて説明するためのフローチャートである。

まず、入力装置１０のタッチセンサー１１が、入力装置１０が媒体表面３０にタッチしたか否かを検出する（ステップＳ１）。

タッチが検出されない場合（ステップＳ１のＮ）、ステップＳ１に戻り、待機する。

タッチが検出された場合（ステップＳ１のＹ）、次に、入力装置１０のモーションセンサー１２が文字をなぞる指の動きを動きデータとしてキャプチャーする（ステップＳ２）。

次に、入力装置１０の動きデータ送信部１３が、モーションセンサー１２によりキャプチャーされた指の動きデータを情報処理装置２０に送信する（ステップＳ３）。

次に、情報処理装置２０の動きデータ受信部２１ａが、入力装置１０から動きデータを受信する（ステップＳ４）。

次に、情報処理装置２０の文字認識部２１ｂが、動きデータ受信部２１ａにより受信された動きデータと、記憶部２７に記憶している、動きデータＤＢ２７ａ内に格納された文字ごとの動きデータと照合する（ステップＳ５）。

次に、情報処理装置２０の文字認識部２１ｂが、照合結果に基づき、入力された文字を認識する（ステップＳ６）。

以上、入力システム１００における処理の流れについて説明した。

［補足事項］
以上のように、本発明に係る入力システム１００は、ネットワーク接続された、入力装置１０と情報処理装置２０とを含み、前記入力装置１０は、媒体表面３０をなぞって文字を入力するユーザーの指を挿入する穴１５と、文字をなぞる際の当該入力装置１０の前記媒体表面３０への接触を検知するタッチセンサー１１と、前記タッチセンサー１１が前記媒体表面３０への接触を検知しているとき、前記指の動きをキャプチャーするモーションセンサー１２と、前記モーションセンサー１２がキャプチャーした前記指の動きを動きデータとして前記情報処理装置２０に送信する動きデータ送信部１３と、前記タッチセンサー１１、前記モーションセンサー１２、および前記動きデータ送信部１３に電力を供給するバッテリー１４とを備え、前記情報処理装置２０は、前記入力装置１０と通信可能な通信部２５と、各文字を入力する際の動きデータを予め収集し格納した動きデータデータベース２７ａが記憶された記憶部２７と、前記入力装置１０から前記通信部２５経由で動きデータを受信する動きデータ受信部２１ａと、前記動きデータ受信部２１ａが受信した動きデータを前記動きデータデータベース２７ａに格納された動きデータと照合し、なぞられた文字を認識する文字認識部２１ｂとを備える。

そのため、自然な動作でタッチセンサーを利用し、文字入力が出来る。

その他、本発明は、上述の実施形態にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。

１０ … 入力装置
１１ … タッチセンサー
１２ … モーションセンサー
１３ … 動きデータ送信部
１４ … バッテリー
１５ … 穴
２０ … 情報処理装置
２１ … ＣＰＵ
２１ａ… 動きデータ受信部
２１ｂ… 文字認識部
２２ … ＲＯＭ
２３ … ＲＡＭ
２４ … 操作入力部
２５ … 通信部
２６ … 表示部
２７ … 記憶部
２７ａ… 動きデータＤＢ
２８ … バス

Claims (3)

1. ネットワーク接続された、入力装置と情報処理装置とを含み、
   前記入力装置は、
   媒体表面をなぞって文字を入力するユーザーの指を挿入する穴と、
   文字をなぞる際の当該入力装置の前記媒体表面への接触を検知するタッチセンサーと、
   前記タッチセンサーが前記媒体表面への接触を検知しているとき、前記指の動きをキャプチャーするモーションセンサーと、
   前記モーションセンサーがキャプチャーした前記指の動きを動きデータとして前記情報処理装置に送信する動きデータ送信部と、
   前記タッチセンサー、前記モーションセンサー、および前記動きデータ送信部に電力を供給するバッテリーと
   を備え、
   前記情報処理装置は、
   前記入力装置と通信可能な通信部と、
   各文字を入力する際の動きデータを予め収集し格納した動きデータデータベースが記憶された記憶部と、
   前記入力装置から前記通信部経由で動きデータを受信する動きデータ受信部と、
   前記動きデータ受信部が受信した動きデータを前記動きデータデータベースに格納された動きデータと照合し、なぞられた文字を認識する文字認識部と
   を備えた
   入力システム。
2. 媒体表面をなぞって文字を入力するユーザーの指を挿入する穴と、
   文字をなぞる際の入力装置の前記媒体表面への接触を検知するタッチセンサーと、
   前記タッチセンサーが前記媒体表面への接触を検知しているとき、前記指の動きをキャプチャーするモーションセンサーと、
   前記モーションセンサーがキャプチャーした前記指の動きを動きデータとしてなぞられた文字を認識する情報処理装置に送信する動きデータ送信部と、
   前記タッチセンサー、前記モーションセンサー、および前記動きデータ送信部に電力を供給するバッテリーと
   を備えた
   入力装置。
3. ネットワーク接続された、入力装置と情報処理装置とを含んだ入力システムにおける入力方法であって、
   媒体表面をなぞって文字を入力するユーザーの指を前記入力装置の穴に挿入し、
   前記入力装置のタッチセンサーが、文字をなぞる際の当該入力装置の前記媒体表面への接触を検知し、
   前記タッチセンサーが前記媒体表面への接触を検知しているとき、前記入力装置のモーションセンサーが、前記指の動きをキャプチャーし、
   前記入力装置の動きデータ送信部が、前記モーションセンサーがキャプチャーした前記指の動きを動きデータとして前記情報処理装置に送信し、
   前記情報処理装置の動きデータ受信部が、前記入力装置から動きデータを受信し、
   前記情報処理装置の文字認識部が、前記動きデータ受信部が受信した動きデータを、各文字を入力する際の動きデータを予め収集し格納した動きデータデータベースに格納された動きデータと照合し、なぞられた文字を認識する
   入力方法。

Images