JP2019121008A - 入力システム、入力装置、および入力方法 - Google Patents

入力システム、入力装置、および入力方法 Download PDF

Info

Publication number
JP2019121008A
JP2019121008A JP2017253436A JP2017253436A JP2019121008A JP 2019121008 A JP2019121008 A JP 2019121008A JP 2017253436 A JP2017253436 A JP 2017253436A JP 2017253436 A JP2017253436 A JP 2017253436A JP 2019121008 A JP2019121008 A JP 2019121008A
Authority
JP
Japan
Prior art keywords
motion
motion data
input device
input
finger
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017253436A
Other languages
English (en)
Inventor
真之 織田
Masayuki Oda
真之 織田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Document Solutions Inc
Original Assignee
Kyocera Document Solutions Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Document Solutions Inc filed Critical Kyocera Document Solutions Inc
Priority to JP2017253436A priority Critical patent/JP2019121008A/ja
Publication of JP2019121008A publication Critical patent/JP2019121008A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Character Input (AREA)
  • Character Discrimination (AREA)
  • Position Input By Displaying (AREA)

Abstract

【課題】自然な動作でタッチセンサを利用し、文字入力が出来る入力システムの提供。【解決手段】ネットワーク接続された、入力装置と情報処理装置とを含み、入力装置は、媒体表面をなぞって文字を入力するユーザの指を挿入する穴と、文字をなぞる際の当該入力装置の媒体表面への接触を検知するタッチセンサと、タッチセンサが媒体表面への接触を検知しているとき、指の動きをキャプチャするモーションセンサと、モーションセンサがキャプチャした指の動きを動きデータとして情報処理装置に送信する動きデータ送信部を備え、情報処理装置は、各文字を入力する際の動きデータを予め収集し格納した動きデータDBが記憶された記憶部と、入力装置から動きデータを受信する動きデータ受信部と、動きデータ受信部が受信した動きデータを動きデータDBに格納された動きデータと照合し、なぞられた文字を認識する文字認識部とを備える。【選択図】図4

Description

本発明は、指でなぞった文字を入力する入力システム、入力装置、および入力方法に関する。
従来、キーボードや音声を使わずに、情報処理装置へのジェスチャーによる入力を簡単に行うための様々な工夫がなされてきた。
例えば、特許文献1において開示されている装置は人差し指にはめる指輪型の装置であり、人差し指の動きを検出するためのX軸ジャイロとY軸ジャイロとを備えている。
また、特許文献2の技術は、X軸、Y軸、Z軸それぞれの加速度センサーを内蔵した携帯電話機を振り回して文字を書き、文字入力を行うものである。
また、特許文献3の技術では、タッチセンサーとモーションセンサーを備えたリモートコントローラーなどの入力装置が、特定条件、例えば、タッチセンサーがタッチされている状態で動きを感知することによって、入力装置の誤作動を防止することができるというものである。
特開2001−236174号公報 特開2006−79221号公報 特開2013−143775号公報
例えば、特許文献3の技術では、入力装置の誤動作を防止するためには、ユーザーが明示的にリモートコントローラーのタッチセンサーにタッチしなければならず、不自然な操作を行なわなければならないので、ユーザーにとっては手間であった。
以上のような事情に鑑み、本発明の目的は、自然な動作でタッチセンサーを利用し、文字入力が出来る入力システム、入力装置、および入力方法を提供することにある。
上記目的を達成するため、本発明の一形態に係る入力システムは、ネットワーク接続された、入力装置と情報処理装置とを含み、前記入力装置は、媒体表面をなぞって文字を入力するユーザーの指を挿入する穴と、文字をなぞる際の当該入力装置の前記媒体表面への接触を検知するタッチセンサーと、前記タッチセンサーが前記媒体表面への接触を検知しているとき、前記指の動きをキャプチャーするモーションセンサーと、前記モーションセンサーがキャプチャーした前記指の動きを動きデータとして前記情報処理装置に送信する動きデータ送信部と、前記タッチセンサー、前記モーションセンサー、および前記動きデータ送信部に電力を供給するバッテリーとを備え、前記情報処理装置は、前記入力装置と通信可能な通信部と、各文字を入力する際の動きデータを予め収集し格納した動きデータデータベースが記憶された記憶部と、前記入力装置から前記通信部経由で動きデータを受信する動きデータ受信部と、前記動きデータ受信部が受信した動きデータを前記動きデータデータベースに格納された動きデータと照合し、なぞられた文字を認識する文字認識部とを備える。
そのため、自然な動作でタッチセンサーを利用し、文字入力が出来る。
上記目的を達成するため、本発明の一形態に係る入力装置は、媒体表面をなぞって文字を入力するユーザーの指を挿入する穴と、文字をなぞる際の入力装置の前記媒体表面への接触を検知するタッチセンサーと、前記タッチセンサーが前記媒体表面への接触を検知しているとき、前記指の動きをキャプチャーするモーションセンサーと、前記モーションセンサーがキャプチャーした前記指の動きを動きデータとしてなぞられた文字を認識する情報処理装置に送信する動きデータ送信部と、前記タッチセンサー、前記モーションセンサー、および前記動きデータ送信部に電力を供給するバッテリーとを備える。
上記目的を達成するため、本発明の一形態に係る入力方法は、ネットワーク接続された、入力装置と情報処理装置とを含んだ入力システムにおける入力方法であって、媒体表面をなぞって文字を入力するユーザーの指を前記入力装置の穴に挿入し、前記入力装置のタッチセンサーが、文字をなぞる際の当該入力装置の前記媒体表面への接触を検知し、前記タッチセンサーが前記媒体表面への接触を検知しているとき、前記入力装置のモーションセンサーが、前記指の動きをキャプチャーし、前記入力装置の動きデータ送信部が、前記モーションセンサーがキャプチャーした前記指の動きを動きデータとして前記情報処理装置に送信し、前記情報処理装置の動きデータ受信部が、前記入力装置から動きデータを受信し、前記情報処理装置の文字認識部が、前記動きデータ受信部が受信した動きデータを、各文字を入力する際の動きデータを予め収集し格納した動きデータデータベースに格納された動きデータと照合し、なぞられた文字を認識する。
以上のように、本発明によれば、自然な動作でタッチセンサーを利用し、文字入力が出来る。
入力システム100の全体構成図である。 入力装置10の構成例を示す図である。 情報処理装置20が一般的なコンピューターにより構成される場合の構成図である。 入力システム100における処理の流れについて説明するためのフローチャートである。
以下、図面を参照しながら、本発明の実施形態を説明する。
[概要と効果]
最初に、概要について説明する。
本発明の一実施形態に係る入力システム100は、ユーザーが文字をなぞって入力する指にはめて使用する指サック形状の入力装置10と、入力装置10でキャプチャーされた、入力装置10をはめている指の動きから、入力された文字を認識する情報処理装置20とから構成される。
入力システム100では、ユーザーは、文字をなぞって入力する際に使用する指(右利きのユーザーであれば、例えば右の人差し指)に入力装置10をはめて、ペンにより文字を記入する要領で、媒体表面30(例えば、入力装置10を右の人差し指に装着した場合は、もう一方の手の平や、太もも、机の上面、壁面など)に入力装置10と指を押しつけてなぞり文字を入力する。媒体表面30は、タッチセンサー11が動作する表面であれば、種類を問わない。
入力装置10は、入力装置10を装着し、文字を書く指の動きを検知するモーションセンサー12に加えて、指および入力装置10が媒体表面に接触しているか接触していないかを検知するタッチセンサー11を備えている。
そのため、例えば、タッチセンサーを備えていない特許文献1または2のような指輪型の入力装置では、入力した文字を構成する線の始点と終点を判別するためのデータ処理が必要であるのに対し、入力システム100では、入力する文字を構成する線の始点と終点をタッチセンサー11で容易に検出することが出来る。
入力する文字を構成する線の始点と終点が明確に検出できるので、精度良く文字認識を行うことが出来る。
空中に文字を書く場合の始点と終点を判別するためのデータ処理が不要になり、終点から次の始点に移動する間のモーションキャプチャーも不要になるため、その分消費電力を削減することが出来、消費電力が小さくなる分、使用するバッテリーを小型化し、入力装置10全体の小型化も実現することが出来る。
また、ユーザーとしても、空中で指を動かすのに較べ、実際に媒体表面に指と入力装置10を接触させて、文字を記入する要領で文字入力が出来るので、慣れ親しんだ通常の紙とペンを用いた文字記入に近い感覚で文字入力をすることが出来、文字入力に対する安心感(感覚的な文字入力のしやすさ)を得ることが出来る。
また、入力システム100では、入力装置10を装着した指(以下、仮想ペンと呼ぶ)で、紙に文字を書く要領で仮想ペンを媒体表面30に接触させる自然な動作を行うだけで、タッチセンサー11による仮想ペンの上げ下げ動作を検出させることが出来、ユーザーがタッチセンサー11を明示的にオンオフさせる必要がないので、タッチセンサー11をオンオフするための不自然な動作を省くことが出来る。
入力システム100では、入力に音声を用いないため、声を出すことが難しい環境でも周囲に気兼ねすることなく入力を行うことが出来る。
ウェアラブルのディスプレイデバイスなどと一緒に使うことにより、ユーザーが歩きながらでも入力を行うことが出来る。
以上、概要について説明した。
[全体構成]
次に、入力システム100の全体構成について説明する。図1は、入力システム100の全体構成図である。
入力システム100は、ネットワーク接続された、入力装置10と情報処理装置20とを含んで構成される。
入力装置10は、媒体表面30をなぞる指に装着して用いられ、その指の動きをキャプチャーし、キャプチャーした動きデータを情報処理装置20へ送信する。
情報処理装置20は、スマートフォン、タブレット端末、PC(Personal Computer)などのコンピューターであり、入力装置10から送られてきた指の動きデータを予め記憶している各文字の動きデータと照合し、指により書かれた文字を認識する。
入力装置10を使用して文字を入力する際には、必ず媒体表面30の上をなぞらなければならない。なぞる指および入力装置10を媒体表面30に接触させることにより、接触がタッチセンサー11により検知され、仮想ペンが媒体表面30に下ろされた状態になり、仮想ペンの動きがキャプチャーされる。
なお、上記の説明では、入力装置10から送られた動きデータから入力された文字を認識する処理は、情報処理装置20において行なわれるとしたが、この構成に限らず、例えば、クラウド上で行なわれてもよい。その場合、情報処理装置20は、入力装置10から送られてきた動きデータをクラウドに中継する。
なお、入力装置10と情報処理装置20との間の通信は有線、無線どちらであってもよい。無線の場合、Bluetooth(登録商標)や無線LAN(Local Area Network)など動きデータが送受信出来るものであれば、どのような技術を用いてもよい。
以上、入力システム100の全体構成について説明した。
[入力装置の構成]
次に、入力装置10の構成について説明する。図2は、入力装置10の構成例を示す図である。
入力装置10は、タッチセンサー11、モーションセンサー12、動きデータ送信部13、バッテリー14、指を挿入する穴15を備えている。
タッチセンサー11は、ユーザーが入力装置10を指に装着し、文字をなぞるために媒体表面30にタッチする位置に設けられ、文字をなぞる際の入力装置10の媒体表面30へのタッチを検出する。言い換えれば、仮想ペンのペンダウン、ペンアップを検出している。
モーションセンサー12は、入力装置10の中で、指で文字をなぞった際に最も良く動く箇所に設置されるとよい。図2では、入力装置10に挿入した指の爪の上部に設けられている。モーションセンサー12には、ジャイロセンサー、加速度センサーなどが含まれており、ユーザーが媒体表面30に文字を書くためになぞった指の動きを検出する。
なお、モーションセンサー12は、タッチセンサー11と連動するように構成されており、タッチセンサー11がオン(仮想ペンがダウンされている)状態の場合だけ指の動きを検知することにより入力装置10の消費電力を削減する。
動きデータ送信部13は、モーションセンサー12がキャプチャーした指(仮想ペン)の動きを動きデータとして、情報処理装置20に送信する。
バッテリー14は、タッチセンサー11、モーションセンサー12、動きデータ送信部13に対し、電力を供給する。
指を挿入する穴15の周囲は、ゴムなど柔軟に変形可能な素材で形成されていることが好ましい。その場合、ユーザーの指の大小に応じて穴15が変形し指に密着するので、ユーザーのどのような大きさの指であっても対応することが出来ると共に、媒体表面30で文字をなぞる指の動きに入力装置10を適切に追従させることが出来る。
以上、入力装置10の構成について説明した。
[情報処理装置の構成]
次に、情報処理装置20の構成について説明する。情報処理装置20は、専用のハードウェアやソフトウェアにより構成されていてもよいし、一般的なコンピューターにより構成されてもよい。情報処理装置20が一般的なコンピューターにより構成される場合の構成図を図3に示す。
同図に示すように、情報処理装置20は、CPU(Central Processing Unit)21、ROM(Read Only Memory)22、RAM(Random Access Memory)23、操作入力部24、通信部25、表示部26、および記憶部27を有し、これら各ブロックがバス28を介して接続されている。
ROM22は、各種の処理を実行するためのファームウェア等の複数のプログラムやデータを記憶する。RAM23は、CPU21の作業用領域として用いられ、OS(Operating System)、実行中の各種アプリケーション、処理中の各種データを一時的に保持する。
記憶部27は、例えばHDD(Hard Disk Drive)や、フラッシュメモリー、その他の不揮発性メモリーである。記憶部27には、OSや各種アプリケーション、各種データ、動きデータDB(データベース)27aが記憶される。動きデータDB27aは、入力装置10が検出する指の動きを予め文字ごとに収集したデータベースであり、実際に検出された指の動きと動きデータDB27a内の動きデータを照合することにより、ユーザーが書いた文字を認識するものである。
通信部25は、ネットワーク上の入力装置10等と情報のやりとりを行う為のネットワークと結ばれている。
CPU21は、ROM22や記憶部27に格納された複数のプログラムのうち、操作入力部24から与えられる命令に対応するプログラムをRAM23に展開し、この展開されたプログラムにしたがって、表示部26及び記憶部27を適宜制御する。
操作入力部24は、例えばマウス等のポインティングデバイス、キーボード、タッチパネル、その他の操作装置である。
表示部26は、例えば液晶ディスプレイ、EL(Electro-Luminescence)ディスプレイ、プラズマディスプレイ等である。
次に、CPU21においてプログラムが実行されることにより実現される機能ブロックについて説明する。
情報処理装置20のCPU21において実現される機能ブロックは、動きデータ受信部21aおよび文字認識部21bである。
動きデータ受信部21aは、入力装置10から、文字を書く指の動きに関してモーションセンサー12で検出された動きデータを通信部25経由で受信し、文字認識部21bに渡す。
文字認識部21bは、データ受信部21aから渡された動きデータを、動きデータDB27aに記憶されている文字ごとの動きデータと照合し、なぞられた文字を認識する。
以上、情報処理装置20の構成について説明した。
[処理の流れ]
次に、入力システム100における処理の流れについて説明する。図4は、入力システム100における処理の流れについて説明するためのフローチャートである。
まず、入力装置10のタッチセンサー11が、入力装置10が媒体表面30にタッチしたか否かを検出する(ステップS1)。
タッチが検出されない場合(ステップS1のN)、ステップS1に戻り、待機する。
タッチが検出された場合(ステップS1のY)、次に、入力装置10のモーションセンサー12が文字をなぞる指の動きを動きデータとしてキャプチャーする(ステップS2)。
次に、入力装置10の動きデータ送信部13が、モーションセンサー12によりキャプチャーされた指の動きデータを情報処理装置20に送信する(ステップS3)。
次に、情報処理装置20の動きデータ受信部21aが、入力装置10から動きデータを受信する(ステップS4)。
次に、情報処理装置20の文字認識部21bが、動きデータ受信部21aにより受信された動きデータと、記憶部27に記憶している、動きデータDB27a内に格納された文字ごとの動きデータと照合する(ステップS5)。
次に、情報処理装置20の文字認識部21bが、照合結果に基づき、入力された文字を認識する(ステップS6)。
以上、入力システム100における処理の流れについて説明した。
[補足事項]
以上のように、本発明に係る入力システム100は、ネットワーク接続された、入力装置10と情報処理装置20とを含み、前記入力装置10は、媒体表面30をなぞって文字を入力するユーザーの指を挿入する穴15と、文字をなぞる際の当該入力装置10の前記媒体表面30への接触を検知するタッチセンサー11と、前記タッチセンサー11が前記媒体表面30への接触を検知しているとき、前記指の動きをキャプチャーするモーションセンサー12と、前記モーションセンサー12がキャプチャーした前記指の動きを動きデータとして前記情報処理装置20に送信する動きデータ送信部13と、前記タッチセンサー11、前記モーションセンサー12、および前記動きデータ送信部13に電力を供給するバッテリー14とを備え、前記情報処理装置20は、前記入力装置10と通信可能な通信部25と、各文字を入力する際の動きデータを予め収集し格納した動きデータデータベース27aが記憶された記憶部27と、前記入力装置10から前記通信部25経由で動きデータを受信する動きデータ受信部21aと、前記動きデータ受信部21aが受信した動きデータを前記動きデータデータベース27aに格納された動きデータと照合し、なぞられた文字を認識する文字認識部21bとを備える。
そのため、自然な動作でタッチセンサーを利用し、文字入力が出来る。
その他、本発明は、上述の実施形態にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
10 … 入力装置
11 … タッチセンサー
12 … モーションセンサー
13 … 動きデータ送信部
14 … バッテリー
15 … 穴
20 … 情報処理装置
21 … CPU
21a… 動きデータ受信部
21b… 文字認識部
22 … ROM
23 … RAM
24 … 操作入力部
25 … 通信部
26 … 表示部
27 … 記憶部
27a… 動きデータDB
28 … バス

Claims (3)

  1. ネットワーク接続された、入力装置と情報処理装置とを含み、
    前記入力装置は、
    媒体表面をなぞって文字を入力するユーザーの指を挿入する穴と、
    文字をなぞる際の当該入力装置の前記媒体表面への接触を検知するタッチセンサーと、
    前記タッチセンサーが前記媒体表面への接触を検知しているとき、前記指の動きをキャプチャーするモーションセンサーと、
    前記モーションセンサーがキャプチャーした前記指の動きを動きデータとして前記情報処理装置に送信する動きデータ送信部と、
    前記タッチセンサー、前記モーションセンサー、および前記動きデータ送信部に電力を供給するバッテリーと
    を備え、
    前記情報処理装置は、
    前記入力装置と通信可能な通信部と、
    各文字を入力する際の動きデータを予め収集し格納した動きデータデータベースが記憶された記憶部と、
    前記入力装置から前記通信部経由で動きデータを受信する動きデータ受信部と、
    前記動きデータ受信部が受信した動きデータを前記動きデータデータベースに格納された動きデータと照合し、なぞられた文字を認識する文字認識部と
    を備えた
    入力システム。
  2. 媒体表面をなぞって文字を入力するユーザーの指を挿入する穴と、
    文字をなぞる際の入力装置の前記媒体表面への接触を検知するタッチセンサーと、
    前記タッチセンサーが前記媒体表面への接触を検知しているとき、前記指の動きをキャプチャーするモーションセンサーと、
    前記モーションセンサーがキャプチャーした前記指の動きを動きデータとしてなぞられた文字を認識する情報処理装置に送信する動きデータ送信部と、
    前記タッチセンサー、前記モーションセンサー、および前記動きデータ送信部に電力を供給するバッテリーと
    を備えた
    入力装置。
  3. ネットワーク接続された、入力装置と情報処理装置とを含んだ入力システムにおける入力方法であって、
    媒体表面をなぞって文字を入力するユーザーの指を前記入力装置の穴に挿入し、
    前記入力装置のタッチセンサーが、文字をなぞる際の当該入力装置の前記媒体表面への接触を検知し、
    前記タッチセンサーが前記媒体表面への接触を検知しているとき、前記入力装置のモーションセンサーが、前記指の動きをキャプチャーし、
    前記入力装置の動きデータ送信部が、前記モーションセンサーがキャプチャーした前記指の動きを動きデータとして前記情報処理装置に送信し、
    前記情報処理装置の動きデータ受信部が、前記入力装置から動きデータを受信し、
    前記情報処理装置の文字認識部が、前記動きデータ受信部が受信した動きデータを、各文字を入力する際の動きデータを予め収集し格納した動きデータデータベースに格納された動きデータと照合し、なぞられた文字を認識する
    入力方法。
JP2017253436A 2017-12-28 2017-12-28 入力システム、入力装置、および入力方法 Pending JP2019121008A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017253436A JP2019121008A (ja) 2017-12-28 2017-12-28 入力システム、入力装置、および入力方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017253436A JP2019121008A (ja) 2017-12-28 2017-12-28 入力システム、入力装置、および入力方法

Publications (1)

Publication Number Publication Date
JP2019121008A true JP2019121008A (ja) 2019-07-22

Family

ID=67307822

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017253436A Pending JP2019121008A (ja) 2017-12-28 2017-12-28 入力システム、入力装置、および入力方法

Country Status (1)

Country Link
JP (1) JP2019121008A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112540683A (zh) * 2020-12-08 2021-03-23 维沃移动通信有限公司 智能指环及手写文字的识别方法和电子设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112540683A (zh) * 2020-12-08 2021-03-23 维沃移动通信有限公司 智能指环及手写文字的识别方法和电子设备
CN112540683B (zh) * 2020-12-08 2022-09-02 维沃移动通信有限公司 智能指环及手写文字的识别方法和电子设备

Similar Documents

Publication Publication Date Title
JP5422724B1 (ja) 電子機器および描画方法
US9459704B2 (en) Method and apparatus for providing one-handed user interface in mobile device having touch screen
JP6180888B2 (ja) 電子機器、方法およびプログラム
US20140325351A1 (en) Electronic device and handwritten data processing method
JP5728592B1 (ja) 電子機器および手書き入力方法
JP2013546110A (ja) コンピューティング装置の動きを利用するコンピューティング装置と相互作用するときに発生する入力イベントの解釈の強化
JP5925957B2 (ja) 電子機器および手書きデータ処理方法
US20190138178A1 (en) Detecting primary hover point for multi-hover point device
US9383920B2 (en) Method for controlling two or three dimensional figure based on touch and apparatus thereof
WO2016115881A1 (zh) 手写记录装置和手写记录方法
JP5634617B1 (ja) 電子機器および処理方法
KR20140044585A (ko) 휴대단말기의 사용 방법 및 장치
TWI511030B (zh) 使用者介面顯示方法及其電子裝置
US8948514B2 (en) Electronic device and method for processing handwritten document
JP5284523B1 (ja) 情報処理システム、プログラムおよび情報処理システムの処理方法
JP2019121008A (ja) 入力システム、入力装置、および入力方法
TW201504929A (zh) 電子裝置及其手勢控制方法
CN108780383B (zh) 基于第二输入选择第一数字输入行为
Mankar et al. Review on hand gesture based mobile control application
JP2016189035A (ja) 情報処理装置、情報処理プログラム及び情報処理方法
JP2013077180A (ja) 認識装置およびその制御方法
JP2015176483A (ja) 画像処理プログラム、画像処理方法、及び情報処理装置
US10908705B2 (en) Electronic device and controlling method therefor
EP2677401B1 (en) Image data generation using a handheld electronic device
US20150063701A1 (en) Electronic device