JP2016525235A - 文字入力のための方法及びデバイス - Google Patents

Abstract

カメラ及びセンサを備えたデバイスによって文字入力を認識する方法が提供される。カメラは、入力オブジェクトの移動軌跡を捕捉し、センサは、入力オブジェクトからセンサまでの距離を検出する。方法は、入力オブジェクトからセンサまでの距離を検出するステップと、入力オブジェクトが空間領域内で動く場合に入力オブジェクトの移動軌跡を記録するステップと、記録された移動軌跡に基づき文字を認識するステップとを有する。空間領域は、センサに対する最短距離値及び最長距離値を有する。入力オブジェクトの移動軌跡は、入力オブジェクトが空間領域の外を動く場合に記録されない。

Description

本発明は、ユーザインタラクションに関し、特に、文字入力のための方法及びデバイスに関する。

ジェスチャ認識技術の発展に伴って、人々は、入力手段として手書きを使用することにますます前向きになっている。手書き認識の基本は、機械学習及びトレーニングライブラリである。たとえどのようなトレーニングデータベースが使用されようとも、ストロークの妥当なセグメンテーションが重要である。今のところ、手書き入力の大部分は、タッチスクリーンにおいて行われている。ユーザが文字の１ストロークを終えた後、彼は、自身の手をタッチスクリーンから離すので、入力デバイスは、ストロークどうしを容易に区別することができる。

３Ｄ（３次元）デバイスの発展に伴って、空中で手書き入力を認識することに対する要求は、ますます強くなっている。

本発明の態様に従って、カメラ及びセンサを備えたデバイスによって文字入力を認識する方法が提供される。カメラは、入力オブジェクトの移動軌跡を捕捉し、センサは、入力オブジェクトからセンサまでの距離を検出する。方法は、入力オブジェクトからセンサまでの距離を検出するステップと、入力オブジェクトが空間領域内で動く場合に入力オブジェクトの移動軌跡を記録するステップと、記録された移動軌跡に基づき文字を認識するステップとを有する。空間領域は、センサに対する最短距離値及び最長距離値を有する。入力オブジェクトの移動軌跡は、入力オブジェクトが空間領域の外を動く場合に記録されない。

更に、文字を認識するステップの前に、方法は、入力オブジェクトがある期間の間前記空間領域内に依然としてあることを検出するステップを更に有する。

更に、文字を認識するステップの前に、方法は、現在のストロークが新しい文字の開始ストロークであると決定するステップを更に有する。ストロークは、入力オブジェクトが前記空間領域の外から該空間領域の中に入ることを検出される場合に開始し、入力オブジェクトが前記空間領域から該空間領域の外へ出ることを検出される場合に終了する期間の間の入力オブジェクトの移動軌跡に対応する。

更に、前記決定するステップは、第１のマッピングされたライン及び第２のマッピングされたラインを得るよう、現在のストローク及び前のストロークを、表示面レベルから地面レベルの間にある交差ラインに平行な同じラインにマッピングするステップと、１）第１のマッピングされたラインが第２のマッピングされたラインによって含まれること、２）第２のマッピングされたラインが第１のマッピングされたラインによって含まれること、及び３）第１のマッピングされたラインと第２のマッピングされたラインとの和集合に対する第１のマッピングされたラインと第２のマッピングされたラインとの共通部分の割合がある値を上回ることのうちのいずれかの条件を満たさない場合は、現在のストロークが新しい文字の開始ストロークであると決定するステップとを有する。

更に、デバイスは、文字認識のための作業モード及び待機モードを有し、方法は、第１のジェスチャの検出時にデバイスを前記作業モードに入らせるステップと、第２のジェスチャの検出時にデバイスを前記待機モードに入らせるステップとを更に有する。

更に、方法は、入力オブジェクトが空間領域内で動く場合に、カメラが入力オブジェクトの移動軌跡を出力できるようにするステップと、入力オブジェクトが空間領域の外を動く場合に、カメラが入力オブジェクトの移動軌跡を出力できないようにするステップとを更に有する。

本発明の態様に従って、文字入力を認識するデバイスが提供される。デバイスは、カメラ１０１、センサ１０２及びプロセッサ１０３を備える。カメラ１０１は、入力オブジェクトの移動軌跡を捕捉し出力する。センサ１０２は、入力オブジェクトとセンサ１０２との間の距離を検出し出力する。プロセッサ１０３は、ａ）センサ１０２によって出力された距離が最長距離値及び最短距離値を有する範囲内にある場合には、カメラ１０１によって出力された入力オブジェクトの前記移動軌跡を記録し、センサ１０２によって出力された距離が前記範囲に属さない場合には、入力オブジェクトの移動軌跡が記録されず、ｂ）記録された移動軌跡に基づき文字を認識する。

更に、プロセッサ１０３は、ｃ）第１のジェスチャの検出時に、文字認識のために、作業モード及び待機モードのうちの前記作業モードにデバイスを入らせ、ｄ）第１のジェスチャが検出される時点でセンサ１０２によって出力された距離に基づき最長距離値及び最短距離値を決定するために更に使用される。

更に、プロセッサ１０３は、ｃ′）第１のジェスチャの検出時に、文字認識のために、作業モード及び待機モードのうちの作業モードにデバイスを入らせ、ｄ′）入力オブジェクトがある期間の間静止していることを検出し、ｅ）入力オブジェクトが静止していると検出される時点でセンサ１０２によって出力された距離に基づき最長距離値及び最短距離値を決定するために更に使用される。

更に、プロセッサ１０３は、ｇ）現在のストロークが新しい文字の開始ストロークであると決定するために更に使用される。ストロークは、センサ１０２によって出力される距離が前記範囲内になる場合に開始し、センサ１０２によって出力される距離が前記範囲外になる場合に終了する期間の間の入力オブジェクトの移動軌跡に対応する。

本発明の更なる態様及び利点は、本発明の以下の詳細な説明において見受けられることが理解されるべきである。

添付の図面は、本発明の更なる理解を提供するために含まれ、本願に組み込まれてその一部を構成する。図面は、本明細書によって説明される本発明の実施形態を表すために使用される。本発明は、その実施形態に制限されない。
本発明の実施形態に従って文字を空間的に入力するシステムを概略的に示す図である。 本発明の実施形態に従う空間領域の定義を示す図である。 本発明を用いずにカメラ１０１によって捕捉されて出力されるユーザの手の移動軌跡を示す図である。 本発明の実施形態に従って無効な入力を除外した後のユーザの手の移動軌跡を示す図である。 本発明の実施形態に従って文字の入力を認識する方法を示すフローチャートである。 本発明の実施形態に従って先の文字と後の文字との間の位置関係を示す図である。 本発明の実施形態に従って先のストロークと後のストロークとの間の全ての可能な水平位置関係を示す図である。

本発明の実施形態は、これより、図面に関連して詳細に記載される。以下の記載では、既知の機能及び構成のいくつかの詳細な説明は、明りょうさ及び簡潔さのために省略されることがある。

図１は、本発明の実施形態に従って文字を空間的に入力するシステムを概略的に示す図である。システムは、カメラ１０１、深さセンサ１０２、プロセッサ１０３及びディスプレイ１０４を有する。プロセッサ１０３は、カメラ１０１及び深さセンサ１０２及びディスプレイ１０４と接続されている。この例では、カメラ１０１及び深さセンサ１０２は、ディスプレイ１０４の上に置かれている。カメラ１０１及び深さセンサ１０２は、他の場所、例えば、ディスプレイフレームの下側、又はディスプレイ１０４を支持する机の上、等に置かれてよいことが留意されるべきである。ここでは、空間的に入力された文字を認識する認識デバイスは、カメラ１０１、深さセンサ１０２及びプロセッサ１０３を有する。更には、空間的に入力された文字を認識するデバイスは、カメラ１０１、深さセンサ１０２、プロセッサ１０３及びディスプレイ１０４を有する。システムのコンポーネントは、次の基本機能を持つ：
・カメラ１０１は、デジタル画像を捕捉し出力するために使用される；
・深さセンサ１０２は、手から深さセンサ１０２までの距離を検出し出力するために使用される。深さセンサの候補としては、次のセンサが使用されてよい。ＯｐｔｒｉＣａｍは、３Ｄタイム・オブ・フライト（ＴＯＦ；time of flight）並びに他の独自仕様の及び特許された技術を持った深さセンサであり、ＮＩＲスペクトルで動作し、顕著なバックライト光抑制、極めて限られたモーションブラー及び低い画像ラグを提供する。ＧｒａｙＰｏｉｎｔ社のＢｕｍｂｌｅＢｅｅは、ステレオ画像及びサブピクセル補間技術に基づいており、深さ情報を実時間で得ることができる。ＰｒｉｍｅＳｅｎｓｅ（登録商標）の光符号化深さセンサは、レーザースペックル及び他の技術を使用する；
・プロセッサ１０３は、データを処理して、データをディスプレイ１０４へ出力するために使用される；
・ディスプレイ１０４は、プロセッサ１０３から受信したデータを表示するために使用される。

本発明が解決する課題は、ユーザがカメラ１０１及び深さセンサ１０２によって認識可能な自身の手又は他のオブジェクトを使用して、空中で文字の２つ以上のストロークを空間的に入力又は手書きする場合に、如何にしてシステムが、ストロークの開始とその前のストロークの終わりとの間（例えば、文字の二番目のストロークの開始と最初のストロークの終わりとの間）の手の移動軌跡を無視し、文字のストロークごとを正確に認識するのかである。課題を解決するために、空間認識が使用される。一例として、空間認識は、２つの距離パラメータ、すなわち、最短距離パラメータ及び最長距離パラメータによって定義される。図２は、本発明の実施形態に従う空間領域の定義を示す図である。図１において、最短距離パラメータの値はＺに等しく、最長距離パラメータの値はＺ＋Ｔに等しい。

ユーザインタラクションの観点からすれば、空間領域は、ユーザが文字のストロークを入力するために使用される。ユーザが文字を入力したい場合に、彼は、自身の手を空間領域内に動かし、最初のストロークを入力する。ユーザが最初のストロークを入力し終えた後、彼は、自身の手を空間領域外に動かし、次いで、文字の次のストロークを入力するために自身の手を空間領域内に動かす。上記のステップは、全てのストロークが入力されるまで繰り返される。例えば、ユーザは、数字の４を入力したい。図３Ａは、本発明を使用せずにカメラ１０１によって捕捉されて出力されるユーザの手の移動軌跡を示す図である。言い換えると、図３Ａはまた、深さ情報を伴わないユーザの手の移動軌跡を示す（すなわち、手から深さセンサまでの距離に関する情報と呼ばれる。）。ここでは、我々は、図３を使用して、ユーザが４を入力したい場合の手の空間移動軌跡を示す。最初に、ユーザは、点１から点２までの最初のストロークを書くために自身の手を空間領域内に動かし、次いで、自身の点を空間領域外に動かし、自身の手を点２から点３へ動かし、次いで、点３から点４までの文字４の二番目のストロークを書くために自身の手を空間領域内に動かす。

データ処理の観点からすれば、空間領域は、有効な入力と無効な入力とを区別するためにプロセッサ１０３によって使用される（プロセッサ１０３は、データを処理することができるコンピュータ又はあらゆる他のハードウェアであることもできる。）。有効な入力は、空間領域内での手の動きであり、文字の１ストロークに対応し、無効な入力は、空間領域外での手の動きであり、ストロークの開始とその前のストロークの終わりとの間の手の動きに対応する。

空間領域を使用することによって、無効な入力は除外され、文字のストロークは正確に区別されて認識される。図３Ａは、カメラの前で数字の４を入力する場合に、本発明を使用せずにカメラ１０１によって捕捉されて出力されるユーザの手の移動軌跡を示す図である。数字の４は、２つのストローク、すなわち、点１から点２までの軌跡、及び点３から点４までの軌跡から成る。ユーザの手の動きは、点１から始まって点４まで点２及び点３を通る。しかし、文字認識アルゴリズムは、点２から点３までの移動軌跡のために、手の動きを数字の４として正確に認識することができない。図３Ｂは、本発明の実施形態に従って無効な入力を除外した後のユーザの手の移動軌跡を示す図である。

図４は、本発明の実施形態に従って文字の入力を認識する方法を示すフローチャートである。方法は、次のステップを有する。

ステップ４０１で、空間的に入力された文字を認識するデバイスは、文字認識に関して待機モードにある。言い換えると、空間的に入力された文字を認識するデバイスの機能は、非アクティブ又は無効にされている。

ステップ４０２で、デバイスは、プロセッサ１０３がカメラ１０１を使用して開始ジェスチャを検出する場合に、文字認識に関して作業モードへ切り替えられる。ここでは、開始ジェスチャは、デバイスのストレージ（例えば、不揮発性メモリ）（図１に図示せず。）において記憶されている予め定義されたジェスチャである。様々な既存のジェスチャ認識アプローチは、開始ジェスチャを検出するために使用され得る。

ステップ４０３で、デバイスは空間領域を決定する。それは、予め定義された期間の間ユーザが自身の手を挙げていることによって、実施される。深さセンサ１０２とユーザの手との間の距離は、図２に示されるＺ、すなわち、最短距離パラメータ値として、デバイスのストレージにおいて記憶される。図２におけるＴは、予め定義された値であり、人間の腕の長さ、すなわち、１５ｃｍにほぼ等しい。当業者は、Ｔのための他の値、例えば、腕の長さの１／３、が可能であることに留意すべきである。故に、最長距離パラメータの値はＺ＋Ｔである。他の例では、深さセンサから手までの検出された距離は、最短距離パラメータ値として使用されず、最短距離パラメータ値及び最長距離パラメータ値を決定するために使用される。例えば、検出された距離にある値を加えた値、例えば、７ｃｍ、が最長距離パラメータ値であり、検出された距離からある値を引いた値、例えば、７ｃｍ、が最短距離パラメータ値である。

ステップ４０４で、ユーザは、自身の手を空間領域内に動かし、入力したい文字のストロークを入力する。ユーザがストロークを入力し終えた後、ステップ４０５で、彼は、そのストロークが文字の最後のストロークであるかどうかを判断する。そうでない場合は、ステップ４０６及び４０４で、彼は、自身の手を引き寄せることによって自身の手を空間領域外に動かし、次いで、文字の次のストロークを入力するために自身の手を空間領域内に押し入れる。当業者は、ステップ４０４、４０５及び４０６が、文字の全てのストロークが入力されることを確かにすることに留意すべきである。文字の全てのストロークのユーザ入力の間、認識デバイスの観点からすれば、プロセッサ１０３は、手の全ての移動軌跡をメモリにおいて記録するわけではない。代わりに、プロセッサ１０３は、手が深さセンサ１０２によって空間領域内にあると検出される場合にのみ、手の移動軌跡を記録する。一例において、カメラは、手が空間領域内にあるか否かにかかわらず、手の捕捉された移動軌跡を出力し続け、深さセンサは、手から深さセンサまでの検出された距離を出力し続ける。プロセッサは、深さセンサの出力が予め定義された要件、すなわち、最長距離パラメータ及び最短距離パラメータによって定義された範囲内、を満足すると決定する場合に、カメラの出力を記録する。他の例では、カメラは、ステップ４０２の後にオフされ、手が空間領域内に移動し始める（すなわち、検出された距離が最長距離パラメータ及び最短距離パラメータによって定義された範囲内に入り始める）と検出される場合にオンされ、手が空間領域内にある間オンのままであるよう、プロセッサによって指示される。それらのステップの間、認識デバイスのプロセッサは、容易に、文字のストロークを決定し、それらを互いに区別することができる。１ストロークは、手が空間領域内に移動する場合に開始し、手が移動領域外に移動する場合に終了する期間中にカメラによって出力される手の移動軌跡である。認識デバイスの観点からすれば、その期間は、検出された距離が、最長距離パラメータ及び最短距離パラメータによって定義された範囲内に入り始める場合に開始し、検出された距離が範囲外になり始める場合に終了する。

ステップ４０７で、ユーザが文字の全てのストロークを入力し終える場合に、彼は、自身の手を空間領域内に動かし、それを予め定義された期間の間保持する。認識デバイスの観点からすれば、手が予め定義された期間の間実質的に静止（人が手を空中で完全に静止したままとすることは困難であるため。）したままであるとプロセッサ１０３が検出すると、プロセッサ１０３は、記憶されている全てのストローク、すなわち、記憶されている全ての移動軌跡に基づき、文字を認識することを開始する。この記憶されている移動軌跡は、図３Ｂのように見える。

ステップ４０８で、停止ジェスチャ（現実に、予め定義された認識可能なジェスチャ）を検出すると、デバイスは待機モードへ切り替えられる。ユーザが停止ジェスチャを行う場合に手は必ずしも空間領域内にある必要はないことが留意されるべきである。カメラがオンされたままである例では、ユーザは、手が空間領域外である場合に停止ジェスチャを行うことができる。手が空間領域内にある場合にカメラがオンされたままである他の例では、ユーザは、手が空間領域内にある場合にのみ停止ジェスチャを行うことができる。

変形例に従って、空間領域は予め定義される。すなわち、最短距離パラメータ及び最長距離パラメータの各値は予め定義される。この場合に、ステップ４０３は不必要であり、結果として削除され得る。

他の変形例に従って、空間領域は、開始ジェスチャを検出する場合の手から深さセンサまでの距離を使用することによって、ステップ４０２において決定される。

上記の説明は、１つの文字を入力するための方法を提供する。加えて、本発明の実施形態は、前の文字の最後のストロークと、後の文字の開始ストロークとを正確に認識することによって、２つ以上の文字を連続して入力するための方法を提供する。言い換えると、ステップ４０２における開始ジェスチャの後、且つ、ステップ４０７において予め定義された期間の間手を保持することの前に、２よりも多い文字が入力される。開始ストロークはデバイスによって認識され得るので、デバイスは、移動軌跡を２よりも多いセグメントに分け、夫々のセグメントは文字を表す。空中でユーザによって入力された２つの連続した文字の間の位置関係を考えると、先の文字の最後のストロークの左側又は右側の位置に後の文字の全てのストロークを書くことが、ユーザにとって、より自然である。図５は、ユーザによって認識される地面に垂直な仮想平面において先の文字と後の文字との間の位置関係を示す図である。実線５０１における長方形は、先の文字を入力するための領域を表し、破線５０２及び５０３における長方形は、後の文字を入力するための２つの可能な領域を表す（例示列挙）。この例では、位置関係は、水平位置関係を意味することが留意されるべきである。以下は、２つ以上の文字が連続して入力される場合に文字の最初のストロークを決定する方法について説明する。

座標系の原点を左上角に仮定すると、Ｘ軸（表示面レベルと地面レベルとの間の交差のラインに平行）は右方向に増大し、Ｙ軸（地面に垂直）は下方向に増大する。そして、ユーザの書き癖は、左から右へ水平に書かれる。各ストロークの幅（Ｗ）はこのように定義される：Ｗ＝ｍａｘ＿ｘ−ｍｉｎ＿ｘ。ｍａｘ＿ｘは、１ストロークの最大Ｘ軸値であり、ｍｉｎ＿ｘは、そのストロークの最小ｘ軸値であり、Ｗは、それら２つの値の間の差である。図６は、先のストローク及び後のストロークがＸ軸にマッピングしている場合の先のストローク（ストロークａ）と後のストローク（ストロークｂ０、ｂ１、ｂ２及びｂ３）との間の全ての可能な水平位置関係を示す。核となる概念は、次の条件のいずれかが満たされる場合に後のストローク及び先のストロークが同じ文字に属することである：１）後のストロークの水平にマッピングされたラインは、先のストロークの水平にマッピングされたラインによって含まれる；２）先のストロークの水平にマッピングされたラインは、後のストロークの水平にマッピングされたラインによって含まれる；３）先のストロークの水平にマッピングされたラインと後のストロークの水平にマッピングされたラインとの和集合に対する先のストロークの水平にマッピングされたラインと後のストロークの水平にマッピングされたラインとの共通部分の割合は、予め定義された値を上回る。以下は、ストロークが後の文字の開始ストロークであると如何にして判断すべきかを示す擬似コードである：

ＴＨ＿ＲＡＴＥは、２つの連続したストロークの交差部分の割合を示し、この値は前もって設定され得る。

上記の実施形態に従って、デバイスは、そうするようデバイスに指示する信号がある場合に、文字を認識することを開始する。例えば、ステップ４０７で、ユーザが予め定義された期間の間自身の手を留めておく場合に、信号は生成される。それに加えて、２つよりも多い文字が入力される場合に、後の文字の最初のストロークの認識は、信号の生成をトリガする。変形例に従って、新しいストロークがデバイスによって捕捉されるたびに、デバイスは、過去に捕捉された移動軌跡に基づき文字を認識しようとする。文字の認識が成功すると、デバイスは、次のストローク及びそれに続くストロークに基づき新しい文字を認識し始める。

多数の実施が記載されてきた。そうでもなお、様々な変更がなされてよいことが理解されるであろう。例えば、異なった実施の要素は、他の実施を生じするように結合され、補足され、変更され、又は除外されてよい。加えて、当業者は、他の構造及びプロセスが、開示されているものに取って代わってよく、結果として得られる実施が、開示されている実施と少なくとも実質的に同じ結果を達成するよう少なくとも実質的に同じ方法で少なくとも実質的に同じ機能を実行することを理解するである。然るに、それら及び他の実施は、本願によって企図され、添付の特許請求の範囲によって定義される発明の適用範囲内にある。

多数の実施が記載されてきた。そうでもなお、様々な変更がなされてよいことが理解されるであろう。例えば、異なった実施の要素は、他の実施を生じするように結合され、補足され、変更され、又は除外されてよい。加えて、当業者は、他の構造及びプロセスが、開示されているものに取って代わってよく、結果として得られる実施が、開示されている実施と少なくとも実質的に同じ結果を達成するよう少なくとも実質的に同じ方法で少なくとも実質的に同じ機能を実行することを理解するである。然るに、それら及び他の実施は、本願によって企図され、添付の特許請求の範囲によって定義される発明の適用範囲内にある。
上記の実施形態に加えて、以下の付記が開示される。
（付記１）
入力オブジェクトの移動軌跡を捕捉するカメラと、前記入力オブジェクトからセンサまでの距離を検出する前記センサとを備えるデバイスによって、文字入力を認識する方法であって、
前記入力オブジェクトから前記センサまでの距離を検出するステップと、
前記入力オブジェクトが空間領域内で動く場合に前記入力オブジェクトの移動軌跡を記録するステップであって、前記空間領域は、前記センサに対する最短距離値及び最長距離値を有し、前記入力オブジェクトの移動軌跡は、前記入力オブジェクトが前記空間領域の外を動く場合に記録されない、ステップと、
前記記録された移動軌跡に基づき文字を認識するステップと
を有する方法。
（付記２）
前記文字を認識するステップの前に、当該方法は、
前記入力オブジェクトがある期間の間前記空間領域内に依然としてあることを検出するステップ
を更に有する、付記１に記載の方法。
（付記３）
前記文字を認識するステップの前に、当該方法は、
現在のストロークが新しい文字の開始ストロークであると決定するステップ
を有し、
ストロークは、前記入力オブジェクトが前記空間領域の外から該空間領域の中に入ることを検出される場合に開始し、前記入力オブジェクトが前記空間領域から該空間領域の外へ出ることを検出される場合に終了する期間の間の前記入力オブジェクトの移動軌跡に対応する、
付記１に記載の方法。
（付記４）
前記決定するステップは、
第１のマッピングされたライン及び第２のマッピングされたラインを得るよう、前記現在のストローク及び前のストロークを、表示面レベルから地面レベルの間にある交差ラインに平行な同じラインにマッピングするステップと、
１）前記第１のマッピングされたラインが前記第２のマッピングされたラインによって含まれること、２）前記第２のマッピングされたラインが前記第１のマッピングされたラインによって含まれること、及び３）前記第１のマッピングされたラインと前記第２のマッピングされたラインとの和集合に対する前記第１のマッピングされたラインと前記第２のマッピングされたラインとの共通部分の割合がある値を上回ることのうちのいずれかの条件を満たさない場合は、前記現在のストロークが前記新しい文字の前記開始ストロークであると決定するステップと
を有する、付記３に記載の方法。
（付記５）
前記デバイスは、文字認識のための作業モード及び待機モードを有し、当該方法は、
第１のジェスチャの検出時に前記デバイスを前記作業モードに入らせるステップと、
第２のジェスチャの検出時に前記デバイスを前記待機モードに入らせるステップと
を更に有する、付記１に記載の方法。
（付記６）
前記入力オブジェクトが空間領域内で動く場合に、前記カメラが前記入力オブジェクトの移動軌跡を出力できるようにするステップと、
前記入力オブジェクトが前記空間領域の外を動く場合に、前記カメラが前記入力オブジェクトの移動軌跡を出力できないようにするステップと
を更に有する付記１に記載の方法。
（付記７）
文字入力を認識するデバイスであって、
入力オブジェクトの移動軌跡を捕捉し出力するカメラと、
前記入力オブジェクトとセンサとの間の距離を検出し出力する前記センサと、
ａ）前記センサによって出力された前記距離が最長距離値及び最短距離値を有する範囲内にある場合には、前記カメラによって出力された前記入力オブジェクトの前記移動軌跡を記録し、前記センサによって出力された前記距離が前記範囲に属さない場合には、前記入力オブジェクトの移動軌跡が記録されず、ｂ）前記記録された移動軌跡に基づき文字を認識するプロセッサと
を有するデバイス。
（付記８）
前記プロセッサは、
ｃ）第１のジェスチャの検出時に、文字認識のために、作業モード及び待機モードのうちの前記作業モードに前記デバイスを入らせ、
ｄ）前記第１のジェスチャが検出される時点で前記センサによって出力された距離に基づき前記最長距離値及び前記最短距離値を決定する
ために更に使用される、付記７に記載のデバイス。
（付記９）
前記プロセッサは、
ｃ′）第１のジェスチャの検出時に、文字認識のために、作業モード及び待機モードのうちの前記作業モードに前記デバイスを入らせ、
ｄ′）前記入力オブジェクトがある期間の間静止していることを検出し、
ｅ）前記入力オブジェクトが静止していると検出される時点で前記センサによって出力された距離に基づき前記最長距離値及び前記最短距離値を決定する
ために更に使用される、付記７に記載のデバイス。
（付記１０）
前記プロセッサは、
ｇ）現在のストロークが新しい文字の開始ストロークであると決定する
ために更に使用され、
ストロークは、前記センサによって出力される前記距離が前記範囲内になる場合に開始し、前記センサによって出力される前記距離が前記範囲外になる場合に終了する期間の間の前記入力オブジェクトの移動軌跡に対応する、
付記７に記載のデバイス。

Claims (10)

1. 入力オブジェクトの移動軌跡を捕捉するカメラと、前記入力オブジェクトからセンサまでの距離を検出する前記センサとを備えるデバイスによって、文字入力を認識する方法であって、
   前記入力オブジェクトから前記センサまでの距離を検出するステップと、
   前記入力オブジェクトが空間領域内で動く場合に前記入力オブジェクトの移動軌跡を記録するステップであって、前記空間領域は、前記センサに対する最短距離値及び最長距離値を有し、前記入力オブジェクトの移動軌跡は、前記入力オブジェクトが前記空間領域の外を動く場合に記録されない、ステップと、
   前記記録された移動軌跡に基づき文字を認識するステップと
   を有する方法。
2. 前記文字を認識するステップの前に、当該方法は、
   前記入力オブジェクトがある期間の間前記空間領域内に依然としてあることを検出するステップ
   を更に有する、請求項１に記載の方法。
3. 前記文字を認識するステップの前に、当該方法は、
   現在のストロークが新しい文字の開始ストロークであると決定するステップ
   を有し、
   ストロークは、前記入力オブジェクトが前記空間領域の外から該空間領域の中に入ることを検出される場合に開始し、前記入力オブジェクトが前記空間領域から該空間領域の外へ出ることを検出される場合に終了する期間の間の前記入力オブジェクトの移動軌跡に対応する、
   請求項１に記載の方法。
4. 前記決定するステップは、
   第１のマッピングされたライン及び第２のマッピングされたラインを得るよう、前記現在のストローク及び前のストロークを、表示面レベルから地面レベルの間にある交差ラインに平行な同じラインにマッピングするステップと、
   １）前記第１のマッピングされたラインが前記第２のマッピングされたラインによって含まれること、２）前記第２のマッピングされたラインが前記第１のマッピングされたラインによって含まれること、及び３）前記第１のマッピングされたラインと前記第２のマッピングされたラインとの和集合に対する前記第１のマッピングされたラインと前記第２のマッピングされたラインとの共通部分の割合がある値を上回ることのうちのいずれかの条件を満たさない場合は、前記現在のストロークが前記新しい文字の前記開始ストロークであると決定するステップと
   を有する、請求項３に記載の方法。
5. 前記デバイスは、文字認識のための作業モード及び待機モードを有し、当該方法は、
   第１のジェスチャの検出時に前記デバイスを前記作業モードに入らせるステップと、
   第２のジェスチャの検出時に前記デバイスを前記待機モードに入らせるステップと
   を更に有する、請求項１に記載の方法。
6. 前記入力オブジェクトが空間領域内で動く場合に、前記カメラが前記入力オブジェクトの移動軌跡を出力できるようにするステップと、
   前記入力オブジェクトが前記空間領域の外を動く場合に、前記カメラが前記入力オブジェクトの移動軌跡を出力できないようにするステップと
   を更に有する請求項１に記載の方法。
7. 文字入力を認識するデバイスであって、
   入力オブジェクトの移動軌跡を捕捉し出力するカメラと、
   前記入力オブジェクトとセンサとの間の距離を検出し出力する前記センサと、
   ａ）前記センサによって出力された前記距離が最長距離値及び最短距離値を有する範囲内にある場合には、前記カメラによって出力された前記入力オブジェクトの前記移動軌跡を記録し、前記センサによって出力された前記距離が前記範囲に属さない場合には、前記入力オブジェクトの移動軌跡が記録されず、ｂ）前記記録された移動軌跡に基づき文字を認識するプロセッサと
   を有するデバイス。
8. 前記プロセッサは、
   ｃ）第１のジェスチャの検出時に、文字認識のために、作業モード及び待機モードのうちの前記作業モードに前記デバイスを入らせ、
   ｄ）前記第１のジェスチャが検出される時点で前記センサによって出力された距離に基づき前記最長距離値及び前記最短距離値を決定する
   ために更に使用される、請求項７に記載のデバイス。
9. 前記プロセッサは、
   ｃ′）第１のジェスチャの検出時に、文字認識のために、作業モード及び待機モードのうちの前記作業モードに前記デバイスを入らせ、
   ｄ′）前記入力オブジェクトがある期間の間静止していることを検出し、
   ｅ）前記入力オブジェクトが静止していると検出される時点で前記センサによって出力された距離に基づき前記最長距離値及び前記最短距離値を決定する
   ために更に使用される、請求項７に記載のデバイス。
10. 前記プロセッサは、
    ｇ）現在のストロークが新しい文字の開始ストロークであると決定する
    ために更に使用され、
    ストロークは、前記センサによって出力される前記距離が前記範囲内になる場合に開始し、前記センサによって出力される前記距離が前記範囲外になる場合に終了する期間の間の前記入力オブジェクトの移動軌跡に対応する、
    請求項７に記載のデバイス。
    

Images