JP2009531962A - 移動通信装置用のモーションセンサによる文字生成 - Google Patents

Abstract

動きを検出し、追跡し、移動通信装置のディスプレイ１５０上に描画することができる画像へ変換するための移動通信装置１００が開示される。移動通信装置１００内に含まれ、プロセッサ１１０と接続されていてるモーションセンサ１３０は、２次元平面において動きを検出し、追跡することができる。モーションセレクタボタン１４０が、移動通信装置１００のハウジング上に配置され、また、これは、プロセッサ１１０に接続されている。モーションセレクタボタン１４０は、モーションセンサ１３０の作動と停止とを行うものであり、これによって、モーションセレクタボタンが作動している間、動きのみが検出されると共に、動きデータがプロセッサへ転送されることになる。移動通信装置１００は、更に、検出された動きに対応する画像を描画するためのディスプレイ１５０を含んでいる。プロセッサ１１０は、キャプチャされた動きデータを、移動通信装置のディスプレイ１５０上に完全に描画されるスケールされた２次元画像に変換する。
【選択図】 なし

Description

本発明は、携帯用移動通信装置及びシステムに関するものであり、特に、移動通信装置の動き（モーション：motion）に基づいて文字を作成し、認識することができる携帯用移動通信装置、システム及び方法に関するものである。

いくつかの移動通信装置には、加速度計とジャイロスコープの少なくともいずれかの形でモーション検知機能が装備されている。これらの検知機能が含まれている一般的な理由として、ゲーム用アプリケーション、拡張メニューナビゲーション／選択用、又はスポーツ／フィットネス用アプリケーション（歩数計等）等のサポートが含まれる。移動通信装置内の組込型モーションセンサの別の可能性及び新規の利用として、グラフィック画像として追跡される動き（モーション）のレンダリング（rendering：描画）がある。移動通信装置は、文字又は画像をトレースするためにモーションセンサを使用する筆記用具と考えることができる。しかしながら、克服すべき１つの障害として、意図しない動きから意図的な動きを判定する可能性があることである。

そこで必要なものとしては、移動通信装置の意図されたモーションの追跡に基づいて、移動通信装置のディスプレイ上に画像を描画する手段がある。

本発明の１つの実施形態に従えば、動きを検出し、追跡し、次いで、移動通信装置のディスプレイ上に描画することができる画像に変換する移動通信装置が開示される。移動通信装置内に含まれ、プロセッサと接続されているモーションセンサは、２次元平面において動きを検出し、追跡することができる。移動通信装置のハウジング上にモーションセレクタボタンが配置され、また、これは、プロセッサに接続されている。モーションセレクタボタンは、モーションセンサの作動と停止とを行うものであり、これによって、モーションセレクタボタンが作動している間、動きのみが検出されると共に、動きデータがプロセッサへ転送されることになる。移動通信装置は、検出された動きに対応する画像を描画するためのディスプレイをさらに含んでいる。プロセッサは、キャプチャされた動きデータをスケールされた２次元画像に変換する。この２次元画像は、移動通信装置のディスプレイ上に完全に描画される。

画像を文字認識処理に適用して、他の様々なアプリケーションのためのテキスト入力を支援することもできる。移動通信装置は、更に、記憶された参照文字セットと、スケールされた２次元画像が記憶された参照文字セットに含まれる文字に実質的にマッチするかどうかを判定するための、プロセッサによって実行可能な文字認識手段とを含んでいる。

移動通信装置のディスプレイ上に描画される画像は、２次元画像である。プロセッサは、移動通信装置の面に対して平行になる、モーションセンサによって追跡される動きの２次元平面を判定する。プロセッサは、移動通信装置の配向の意図しない微妙な変化を調整するために、モーションセンサによって追跡される動きの２次元平面を連続的に再判定する。キャプチャされた動きデータを、移動通信装置のディスプレイ上に完全に描画されるスケールされた２次元画像に変換する場合に、移動通信装置の面に平行な平面に対して垂直な３次元成分を有する動きは無視される。

しかしながら、移動通信装置の面に平行な平面に対して垂直な３次元成分を有する動きは、スペース、キャリッジリターン、又は文字の区切りを示す終端部を含む非文字入力を表すことができる。急激な捻じれの動きに起因して生じる移動通信装置の面の配向の検出された急激な変化は、スケールされた２次元画像を処理するために使用することができる。急激な捻じれの動きは、ラインストロークのデフォルト幅を変更することによって、スケールされた２次元画像を処理し、それによって画像を太くすることができる。

モーションセンサは、加速度計又はジャイロスコープ装置であってもよい。

本発明の別の実施形態に従えば、動きを検出し、追跡し、画像に変換することができる移動通信装置用アクセサリが開示される。この画像は、移動通信装置のディスプレイへ送信され、移動通信装置のディスプレイ上に描画することができる。アクセサリ内に含まれ、プロセッサと接続されているモーションセンサは、２次元平面における動きを検出し、追跡することができる。モーションセレクタボタンは、アクセサリのハウジング上に配置され、また、これは、プロセッサに接続されている。このモーションセレクタボタンは、モーションセンサの作動と停止とを行うものであり、これによって、モーションセレクタボタンが作動している間、動きのみが検出されると共に、動きデータがプロセッサへ転送されることになる。プロセッサは、キャプチャされた動きデータをスケールされた２次元画像に変換することができる。この２次元画像は、移動通信装置のディスプレイへ送信され、移動通信装置のディスプレイ上に描画される。

画像を文字認識処理に適用して、他の様々なアプリケーションのためのテキスト入力を支援することもできる。アクセサリは、更に、記憶された参照文字セットと、スケールされた２次元画像が記憶された参照文字セットに含まれる文字に実質的にマッチしているかどうかを判定するための、プロセッサによって実行可能な文字認識手段とを含んでいる。

プロセッサは、アクセサリの縦軸に対して垂直になる、モーションセンサにより追跡される動きの２次元平面を判定する。プロセッサは、アクセサリの配向の意図しない微妙な変化を調整するために、モーションセンサによって追跡される動きの２次元平面を連続的に再判定する。キャプチャされた動きデータを、スケールされた２次元画像に変換する場合に、アクセサリの縦軸に沿った３次元成分を有する動きは無視される。

しかしながら、アクセサリの縦軸に沿った成分を有する動きは、スペース、キャリッジリターン、又は文字の区切りを示す終端部を含む非文字入力を表すことができる。急激なチルトする動きに起因して生じる移動通信装置の面の配向の検出された急激な変化は、スケールされた２次元画像を処理するために使用することができる。急激なチルトする動きは、ラインストロークのデフォルト幅を変更することによって、スケールされた２次元画像を処理し、それによって画像を太くすることができる。

本発明は、移動通信装置のディスプレイ上で画像の描画を管理するソフトウェアアプリケーションとともに、モーションセンサ又はモーション検知機能の調整を行うものである。本発明は、更に、作動中に容易にトグルすることができるモーション選択ボタンを利用する。このモーション選択ボタンは、意図的なモーション及び意図しないモーションを識別するメカニズムを提供する。意図的な動きのみがキャプチャされ、移動通信装置のディスプレイ上に描画される。意図しない動きは無視される。ユーザがモーションセレクタボタンを作動させている限り、動きは意図的なものである考えられる。

本発明は２つの主要な構成要素に分けることができる。第１の構成要素は、モーションセンサを使用して、動きをキャプチャすることと、検知された動きに対応するグラフィックを移動通信装置のディスプレイ上に描画することとを含んでいる。第２の構成要素は、キャプチャされ、レンダリングされたグラフィックをソフトウェアアプリケーションを使用して処理することを含んでいる。

キャプチャされたグラフィック（群）に対しては、多くの潜在的な用途が存在する。例えば、キャプチャされたグラフィック（群）は、ショートメッセージサービス（ＳＭＳ）、マルチメディアメッセージングサービス（ＭＭＳ）、インスタントメッセージ処理（ＩＭ：instant messaging）、又は電子メールのような、メッセージ処理システムへの入力として使用することができる。さらに、キャプチャされたグラフィックは、文字認識プログラムにより処理されて、フリースタイルの動き入力を認識された英数字文字に変換することができる。このような機能は、単にテキストメッセージを手書きで「書き」、次いで、この入力を認識された文字に変換させることによって、テキストメッセージの作成を可能にすることになる。これは、移動通信装置のキーパッドを用いてテキストメッセージを作成する代替物を提供するものとなる。

他の文字も同様に認識することができる。例えば、たとえ移動通信装置が漢字を認識しない場合であっても、漢字を描画することができる。ストロークを太くするための指示として左右への捻じれのような微妙な配向を認識するように、ソフトウェアをプログラムすることができる。

実施形態についての以下の詳細な説明は、本発明の具体的な実施形態を示す添付の図面を参照する。異なる構造及び動作を有する別の実施形態も、本発明の範囲から外れるものではない。

図１は本発明の実施形態に従う例示の移動通信装置１００のブロック図である。図１に例示の構成要素は、完全な移動通信装置１００を形成するものではない。むしろ、本発明に適用可能な構成要素のみが示され、記載されている。構成要素の中には、移動通信装置１００内の別のアプリケーションによって、又は、追加機能を実行するために再使用されるものもある。

移動通信装置は、動き検出に関係するデータを受信し、処理する役割を果たすプロセッサ１１０と、モーションキャプチャアプリケーション１２０とを含んでいる。動き検出は、プロセッサ１１０に接続されている内蔵モーションセンサ１３０を介して達成される。モーションセンサは、移動通信装置１００の内部に複数の機能を有することができる。本発明の目的として、モーションセンサ１３０は、モーションキャプチャアプリケーション１２０によって、アクティブ（active）状態とインアクティブ（inactive）状態との間でトグルを行うことができる。アクティブ状態とインアクティブ状態との間でモーションセンサをトグルするために使用されるメカニズムは、モーションキャプチャアプリケーション１２０を介してプロセッサ１１０と接続されているモーションセレクタボタン１４０である。ユーザがモーションセレクタボタン１４０を物理的に押下し、保持すると、モーションセレクタボタン１４０が作動される。これによって、モーションキャプチャアプリケーション１２０に信号が送信され、モーションセンサ１３０により判定される位置データがプロセッサによりキャプチャされ、処理される。キャプチャされた位置データは追跡され、２次元グラフィック画像を形成するためにプロットされる。次いで、移動通信装置１００のディスプレイ１５０上に２次元グラフィック画像を描画することができる。

モーションキャプチャアプリケーション１３０は、２つの基本モードで動作することができる。第１のモードは、追跡対象の動きがスケールされ、キャプチャされた状態をそのまま正確に移動通信装置のディスプレイ１５０上に描画する単純画像キャプチャモードである。次いで、ＪＰＥＧファイル、ＧＩＦファイル、ビットマップファイル（但しこれらのみに限定されない）等を含む任意の数の標準画像ファイル形式のグラフィックファイルとしてレンダリングされた画像を保存することができる。例えば、特定の文字に対して定義されている２次元平面のＸとＹ方向における最大の偏差を判定し、次いで、Ｘ×Ｙフレームの範囲内でキャプチャされた動きを正規化することによって、スケーリングを決定することができる。

第２の動作モードは、文字認識機能を追加するものである。このモードで動作する場合、キャプチャされた画像は、マッチするものを発見することを期待して記憶済の参照文字セット１６０と比較される。マッチが発見された場合、画像をキャプチャする代わりに参照文字が移動通信装置に表示される。ユーザがメッセージを作成したい場合、このモードは特に有用である。一旦、モーションキャプチャによる文字入力が完了すると、メッセージ通信用アプリケーション１７０への入力としてマッチング用参照文字が使用される。この参照文字セットは、ＡＳＣＩＩ文字セット、漢字、日本語の文字、ギリシャ文字、数学の演算子又は括弧等のような、その他の一般的な記号を含むものであってもよい（但しこれらのみに限定されない）。

図２は、グラフィック画像を作成するモーションキャプチャ処理について説明するフローチャートである。第１のステップは、モーションセレクタボタンが作動される（２０５）時点を検出することである。一旦、モーションセレクタボタンが作動されると、移動通信装置は、例えば、移動通信装置の面に対して平行な２次元座標系を判定する（２１０）ことによって自身の配向を確認する。この配向は、ユーザにより引き起こされる配向の微妙な、しかし意図しない変化の調整を行うためにある程度連続的に行われる。追跡及び画像形成を行う目的のために、２次元レンダリングのみが作成される。モーションセレクタボタンの作動は、モーションセレクタボタンが解除されるまで移動通信装置の動きが検知され、追跡される（２１５）ことを示している。選択的には、追跡の開始を指示するために、そして、再び追跡の停止を指示するために、モーションセレクタボタンを一度押圧することができる。この代替例では、所望の動きの追跡を行いながら、ユーザによるモーションセレクタボタンの押下を行う必要はない。モーションセレクタボタンの作動によって、モーションキャプチャアプリケーションがプロセッサ及びモーションセンサ（群）と協同して実行される。

検知され、追跡され、キャプチャされた動きは、入力文字の形状を示すために予め定められている２次元座標系において処理される（２２０）。２次元座標系は、追跡対象の動きの垂直な変動を無視しながら画像表現を行う。例えば、ユーザは、移動通信装置を手に把持した状態でフリースタイルで文字をトレースすることができる。ユーザは、単に移動通信装置の面に対して平行な２次元画像を意図しているが、意図する文字をトレースしながら第３の（垂直な）座標軸の変化を不注意により引き起こす場合がある。追跡対象の動きの垂直成分は、入力の処理時に単に無視される。その結果、意図された２次元平面において移動通信装置のディスプレイ上にトレースによる表現が生じることになる。

意図される入力には一般的には２つのタイプが存在する。第１のタイプは、フリースタイルの描画であり、第２のタイプは文字生成である。したがって、現在ユーザがどちらの入力タイプを要望しているかを判定するために、ステップ２２５が存在する。ユーザがフリースタイル入力を要望している場合には、ユーザが画像をトレースする方法について正確に上述したように、２次元でトレースされた画像がキャプチャされる。トレースデータが処理されることで、移動通信装置のディスプレイの制約の範囲内に収まるように画像のスケーリングが行われ、それによって、移動通信装置のディスプレイ上に画像全体を描画することが可能となる（２３０）。例えば、ユーザは、大きな幅の広い身振り（ジェスチャー）を使用して、移動通信装置のディスプレイサイズをはるかに上回るような画像を作成することができる。このような場合、追跡される動きは、移動通信装置のディスプレイ内に収まるサイズに比例して縮小されることになる。一旦、移動通信装置のディスプレイに対応するサイズに収まると、モーションキャプチャアプリケーションは、キャプチャ済の画像をさらに処理すること、及び更なる処理用の画像処理アプリケーションへの入力として画像を提供することの少なくともいずれかを行うことができる。更なる処理には、線幅又はストローク幅を変更して、より太くしたり細くしたりすること、画像によって作成される囲い込み領域を種々の色又はシェーディングで充填すること、画像を定義する線又はストロークを様々な種類の破線又は点線にすること、及び、画像の中でテキスト編集を行って、キャプション等を作成できるようにすることを含むことができる（但しこれらのみに限定されない）。一旦、画像がキャプチャされ、必要に応じて編集されると、移動通信装置は、任意の数の標準的仕様又は独自仕様の画像フォーマットで画像を保存することが指示され得る（２３５）。ＪＰＥＧ、ＧＩＦ、ＴＩＦ、ビットマップ等のファイル形式は使用できる多くのファイル形式のうちのほんの２、３の例にすぎない。

ユーザが文字認識モードを選択している場合、モーションキャプチャアプリケーションは、移動通信装置のディスプレイをテキスト入力又は文字入力モード用として準備する（２４０）。文字認識モードは、別の移動通信装置のテキスト又はメッセージ処理機能用に対する代替の入力手段を提供することが意図されるものである。テキスト及びメッセージ処理機能には、ショートメッセージサービス（ＳＭＳ）、マルチメディアメッセージングサービス（ＭＭＳ）、インスタントメッセージ処理（ＩＭ）、電子メール、連絡先用データエントリ、モバイルデバイスプロファイル設定用のデータエントリ等が含まれるが、これらのみに限定されるわけではない。典型的には、テキスト及びメッセージ処理は、データエントリ用キーパッドを利用する。このキーパッドは、そのかなり小さなサイズに起因して操作が難しい場合がある。従って、テキスト入力又は文字入力の代替メカニズムが望まれる場合がある。

検知され、追跡された動きをレンダリングされた画像に変換するための、上述のメカニズムに加えて、文字認識モードは、更なる改善を提供する。例えば、面に平行な平面に対する垂直方向の動きは、望ましくないものとして事前に無視される。文字認識モードにおいて、この方向の急激な微妙でない変化は意図的なものとして処理され、ある特定の意味を割り当てることができる（２４５）。例えば、この動きは、スペース、文字の区切りを示す終端部、又はキャリッジリターン（改行）のような非文字入力と解釈することができる。検知できる別のタイプの動きとして、予め定められたしきい値を上回る意図的な捻じれの動きがある（２５０）。上述の垂直な動きと同様に、意図的な左（又は右）向きの捻じれは、上記のようなある特定の非文字入力に割り当てたり、最新のストロークのライン幅（太さ）を変更するために使用したりすることさえ可能である。

図３は文字認識に関係するポストキャプチャ処理についてさらに説明するフローチャートである。モーションセレクタボタンが作動している間で、一旦、文字の動きが検知され、追跡され、トレースされると、文字は、記憶されている参照文字セットと比較される（３０５）。様々な種類の参照文字については、本明細書で既に説明している。満足するマッチが検出されない場合（３１０）、「マッチ無し」エラー（又は同種のもの）を表示することができる（３１５）。前回の入力は消去することができ（３２０）、モーションキャプチャアプリケーションは、モーションセレクタボタン３２５の次の作動を待機し、そうすることで新たな文字入力が可能となる。

時には、２以上の満足するマッチが検出されることがある。多くの文字と数字が互いに似通っている場合がある。例えば、文字「ｌ」と数字「１」とは互いに誤認される場合がある。数字「０」と文字「ｏ」もまた互いに誤認される場合がある。このような場合、文字認識処理は、参照セットの中から可能性のあるマッチング対象文字リストを移動通信装置のディスプレイ上に表示する（３２２）ことができる。次いで、ユーザはマッチする可能性のある文字のうちのどの文字が意図された文字であるかを選択することができる（３２５）。次いで、移動通信装置は、参照文字セットの中から選択されたマッチする文字を表示する（３３０）。

マッチが検出された場合（３１０）、移動通信装置は参照文字セットの中からマッチする文字を表示する（３３０）。同様に、上述の非文字入力が認識されている場合、それは移動通信装置によって表示される又は処理されて、移動通信装置の現在の表示に影響を与えることになる。一旦、文字が表示される、または非文字入力が処理されると、移動通信装置は次のテキスト（文字）のエントリポイントへシフトする（３３５）。移動通信装置は、テキスト入力又は文字入力の完了であるかの判定を行うようにユーザに指示することができる（３４０）。さらに多くのテキスト入力又は文字入力が要望される場合には、モーションキャプチャアプリケーションは、モーションセレクタボタンの次の作動を待機し（３２５）、それによって新たな文字入力を行うことができる。

テキスト入力又は文字入力が完了している場合、移動通信装置は、動きが検知され、入力として認識されている文字を使用することになる適当なテキスト又はメッセージ通信用アプリケーションへ制御を引き渡すことができる（３４５）。起動されるアプリケーションは、次にそれ自身の機能によりデータ処理を行うことができる。

図４はフリースタイルの描画モードで、移動通信装置を動かして、画像を形成することを示す一例を示す図である。移動通信装置１００は、移動通信装置１００の右上部分に配置されるモーションセレクタボタン１４０を有するものとして示されている。移動通信装置１００におけるモーションセレクタボタン１４０の配置及び位置は例示的なものであり、設計上の選択肢の対象となる。左上部分に、動きの追跡を例示するために意図される様々な位置での移動通信装置１００が示されている。具体的には、この追跡された動きは「Ｈｉ Ｊｏｈｎ」という言葉を描く動きである。図４の右側には、移動通信装置のディスプレイ１５０に収まるようにスケールされた後の、検知され、そして追跡される動きのレンダリング４１０を示している。

フリー形式の画像のスケーリングには２段階の処理が含まれる。第１に、モーションキャプチャアプリケーションは、動き追跡入力セッションの開始及び停止ポイントについての情報が通知される必要がある。モーションキャプチャアプリケーションは、また、動き追跡の開始と停止とが行われるサブセッションを認知していることが望ましい。この認知を達成する方法の１つとして、入力セッション全体用及び入力サブセッション用として別様にモーションセレクタボタン１４０を使用する方法がある。例えば、（コンピュータマウスで行うように）モーションセレクタボタン１４０をダブルクリックすることで、入力セッションの開始点を示すことができる。これによって、入力の準備ができていることをモーションキャプチャアプリケーションに通知する。この場合、モーションセレクタボタン１１０のシングルクリックの間で、又はモーションセレクタボタン１４０が押下されている時間中に実際のフリー形式の入力を受け付けることができる。ユーザは、セッション全体が完了であることを示すために、モーションセレクタボタン１４０を再度ダブルクリックすることになる。

セッション全体が完了した後になってやっと、モーションキャプチャアプリケーションはサブセッションのキャプチャされた動きのスケーリングを行うことになる。このスケーリングは、上記処理の第２の部分である。スケーリングは、各サブセッションに対して等量のスクリーンスペースを割り当てることにより達成することができる。ユーザは、レンダリングされた画像を縦長に表示すべきか、横長に表示すべきかを選択することも可能である。ユーザは、サブセッション入力を上下形式で提示すべきか、左右形式で提示すべきかをさらに指定することができる。さらに、ジグゾーパズルのピースを再び並べ変えるのと同様に、ディスプレイ内の別の位置へ描画を行いながら各サブセッション画像を動かす機能をユーザに与えることができる。

図５は文字認識モードにおいて画像を形成するために動かしている移動通信装置を示す一例を例示する図である。左側に、動きの追跡を示すことが意図される様々な位置での移動通信装置１００が示されている。具体的には、追跡対象の動きは「Ｈｉ Ｊｏｈｎ」という言葉を描いている。図５の右側には、文字認識モードにおいて検知され追跡される動きを処理した後の、その動きの描画（レンダリング）５１０が示されている。各文字は、移動通信装置のディスプレイ１５０において認識され、予約されているグリッドスペースに入力される。テキスト入力又は文字入力の完了時に、ユーザは、認識された文字を入力として使用できる複数の常駐しているメッセージ処理又はテキスト用アプリケーションの内の任意の１つを起動することができる。

テキスト又はメッセージ通信用アプリケーション内の機能としてモーションキャプチャアプリケーションを実装することも可能である。この実装構成において、ユーザはテキスト又はメッセージ通信用アプリケーションを最初に起動し、入力メカニズムとして「モーションキャプチャ」を選択することができる。

図６は、本発明の実施形態に従う例示の携帯用移動通信装置、及び、付属の細長形状のアクセサリを示すブロック図である。ここまでは、移動通信装置１００内に一緒に配置されているモーションセンサに焦点を合わせて説明している。別の代替例は、モーションセンサ６４０を含む移動通信装置１００にアクセサリ６２０を提供するものである。ブルートゥース（登録商標）のような短距離無線ＲＦリンクを介して、移動通信装置１００とモーションセンサアクセサリ６２０とで通信可能にすることができる。この実施形態は、図１〜図５の記載及び処理の場合と類似している。この場合、ブルートゥース（登録商標）モジュール６１０は、移動通信装置１００に含まれる。第２のブルートゥース（登録商標）モジュール６３０は、モーションセンサアクセサリ６２０に含まれ、ペアリングに成功すると、これら２つの装置は互いに通信可能になる。モーションセンサアクセサリ６２０は、更に、モーションセンサ６４０及びブルートゥース（登録商標）モジュール６３０とに接続されているプロセッサ６５０をさらに含んでいる。モーションセレクタボタン６６０もまたモーションセンサアクセサリ６２０の中に含まれる。

モーションセンサアクセサリ６２０は、通常、細長く、ペンの形状に成形されたものであってもよい。モーションセレクタボタン６６０は、モーションセンサアクセサリ６２０のハウジング上のどこにでも配置することができる。例示を目的として、モーションセレクタボタン６６０が、モーションセンサアクセサリ６２０の下部にある場合が示される。この位置において、ユーザはさらに容易にかつ自然にモーションセレクタボタン６６０を作動させることが可能となる。一旦、移動通信装置１００とペアリングされ、作動されると、追跡対象の２次元の動きに関係するデータを収集し、転送することに関して上述したように、モーションセンサアクセサリ６２０は作動する。この時点では、関心対象の２次元平面は、モーションセンサアクセサリ６２０の縦軸に対して垂直になる。

収集されたデータは、リアルタイムベースでそれぞれのブルートゥース（登録商標）モジュールを介して移動通信装置へ転送される。モーションセンサアクセサリ６２０を文字認識モードにセットすることも可能であり、この文字認識モードで、モーションセンサアクセサリ６２０は、記憶済の文字セット内の文字に入力をマッチさせるために必要な処理を実行する。明確に示されてはいないが、参照文字のデータベースは、モーションセンサアクセサリ６２０内に含まれるものであってもよい。このモードでは、モーションセンサアクセサリ６２０は、それぞれのブルートゥース（登録商標）モジュール６１０、６３０を介して認識済の文字を移動通信装置１００へ転送することになる。この入力は、移動通信装置１００において実行するテキスト又はメッセージ通信用アプリケーションへ直接適用することができる。

ＵＳＢ、ＲＳ２３２等のような有線ケーブル接続６７０を使用して、モーションセンサ６４０を含む移動通信装置１００とつながるアクセサリ６２０を実装することも可能である。本例では、アクセサリ６２０はモーションセンサ６４０を含むことになる。そして、モーションセンサ６４０が生成するすべてのデータは、処理用として移動通信装置１００へ直接渡されることになる。アクセサリ６２０は、ブルートゥース（登録商標）モジュールを含む必要はない。それは、ケーブル６７０を介してデータが引き渡されるからである。

当業者には理解されるように、本発明は、方法、システム、又はコンピュータプログラム製品として実現することができる。従って、本発明は、ハードウェアのみによる実施形態、ソフトウェアのみによる実施形態（ファームウェア、常駐ソフトウェア、マイクロコード等を含む）、あるいは、ソフトウェアとハードウェアとの態様を組み合わせた実施形態という形を取り得る。本明細書では、これらすべてを一般的に「回路」、「モジュール」又は「システム」と呼ぶことがある。さらに、本発明は、コンピュータで使用可能な記憶媒体上のコンピュータプログラム製品の形態をとることが可能であり、このコンピュータプログラム製品は、媒体に組み込まれたコンピュータで使用可能なプログラムコードを有する。

任意の好適なコンピュータ可読媒体を利用することが可能である。コンピュータで使用可能な媒体、又は、コンピュータ可読媒体は、例えば、電子的、磁気的、光学的、電磁的、赤外線の、又は半導体のシステム、装置、デバイス、又は伝播媒体であるが、これらに限定されるわけではない。コンピュータ可読媒体のさらに詳細な例（非包括的なリスト）には、１つ以上の配線を有する電気接続、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、消去可能なプログラム可能リードオンリメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスクリードオンリメモリ（ＣＤ−ＲＯＭ）、光記憶装置、インターネット又はイントラネットをサポートするような送信媒体、あるいは磁気記憶装置が含まれる。尚、コンピュータで使用可能な媒体又はコンピュータ可読媒体は、プログラムが印刷されている紙又は他の適切な媒体であってもよい。これは、例えば、紙又は他の媒体を光走査し、その後、必要に応じてコンパイル、変換又は適切な方法で処理を行い、次いでコンピュータメモリに記憶することによって、プログラムを電子的に取り込むことができるからである。本明細書の内容において、コンピュータで使用可能な媒体又はコンピュータ可読媒体は、命令実行システム、装置又はデバイスにより、又は、命令実行システム、装置又はデバイスと共に使用されるプログラムを収容し、記憶し、通信し、伝播し、又は転送できるあらゆる媒体であってもよい。

本発明の演算を実行するためのコンピュータプログラムコードは、Ｊａｖａ（登録商標）、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋等のようなオブジェクト指向プログラミング言語で記述されても良い。しかしながら、本発明の演算を実行するためのコンピュータプログラムコードは、従来の手続型プログラミング言語、例えば、Ｃプログラミング言語あるいは同様のプログラミング言語で記述されていても良い。プログラムコードは、ユーザのコンピュータでその全体を実行してもよいし、ユーザのコンピュータでその一部を、ユーザのコンピュータでスタンドアローン型のソフトウェアパッケージとしてその一部を、及び、リモートコンピュータにおいてその一部を、あるいはリモートコンピュータ又はサーバでその全体を実行してもよい。後者のシナリオでは、ローカルエリアネットワーク（ＬＡＮ）又は広域ネットワーク（ＷＡＮ）を介してリモートコンピュータをユーザのコンピュータに接続してもよい。あるいは、この接続は、（インターネットサービスプロバイダを使用するインターネットを通じて）外部のコンピュータと行うようにしてもよい。

本発明の実施形態に従う方法、装置（システム）、コンピュータプログラム製品のフローチャート及びブロック図の少なくともいずれかを参照しながら、本発明について以下に説明する。フローチャート図とブロック図の少なくともいずれかの個々のブロック、及び、フローチャート図内のブロックとブロック図の少なくともいずれかの組み合わせは、コンピュータプログラム命令により実現可能であることは理解できよう。これらのコンピュータプログラム命令は、汎用コンピュータ、特定用途向けコンピュータ、機械を生産するための他のプログラム可能なデータ処理装置のプロセッサに対して提供される。コンピュータと、その他のプログラム可能なデータ処理装置のプロセッサとにより実行される命令は、フローチャートとブロック図のブロック又はブロック群との少なくともいずれかのブロックで特定される機能／動作を実行する手段を生成することができる。

これらのコンピュータプログラム命令は、また、コンピュータ可読メモリに記憶することが可能であり、該コンピュータプログラム命令は、コンピュータあるいは他のプログラム可能なデータ処理装置に対して、特定の方法で機能するように指示を与え、それによって、コンピュータ可読メモリに記憶されているこれらの命令は、フローチャートのブロックあるいはブロック群と、ブロック図中のブロックあるいはブロック群との少なくともいずれかにおいて特定される機能／動作の実行命令を含む製造品目を生成することになる。

これらのコンピュータプログラム命令は、また、コンピュータ又は他のプログラム可能なデータ処理装置にロードされて、該コンピュータ又は他のプログラム可能な装置上で実行されるべき一連の処理ステップを行わせて、コンピュータにより実行される処理を生成するようにすることも可能であり、それによって、コンピュー又は他のプログラム可能な装置において実行する命令は、フローチャートのブロックあるいはブロック群と、ブロック図のブロックあるいはブロック群ととの少なくともいずれかにおいて特定される機能／動作を実行するステップを提供することになる。

図中のフローチャート及びブロック図は、本発明の各種の実施形態に係るシステム、方法並びにコンピュータプログラム製品のアーキテクチャ、機能及び可能な実装構成の動作を例示するものである。この点に関して、フローチャート又はブロック図の個々のブロックは、特定されている論理機能（群）を実現する１つ以上の実行可能な命令を備えるモジュール、セグメント、又はコードの一部を表現することも可能である。いくつかの代替実現例では、上記ブロックにおいて上述した機能が図中で示される順序とは異なる順序で行われる場合もあることにも留意されたい。例えば、続けて示される２つのブロックを、実際には、機能に応じてほぼ同時に実行したり、又は、逆の順序で実行したりする場合も時としてある。ブロック図の個々のブロックとフローチャート図の少なくともいずれか、並びに、ブロック図内のブロックの組み合わせとフローチャート図内のブロックの組み合わせの少なくともいずれかは、指定の機能又は動作あるいは特定用途向けハードウェアとコンピュータ命令との組み合わせを実行する、特定用途向けハードウェアベースのシステムによって実現が可能であることも注意されたい。

本明細書で使用されている用語法は、特定の実施形態について単に説明することを目的とするものであって、本発明の限定を意図するものではない。本明細書で使用されているように、文脈が別様に示していない限り、単数形を示す「ａ」、「ａｎ」及び「ｔｈｅ」は複数形も同様に含むことを意図するものである。「備える（comprises）」と、「備えている（comprising）」という用語は、本明細書で使用される場合、上述の特徴、数値、ステップ、処理、要素、構成要素のうちの少なくともいずれかの存在を特定する用語ではあるが、１つ以上の他の特徴、数値、ステップ、処理、要素、構成要素及びこれらのグループのうちの少なくともいずれかの存在又は追加を除外するものではないことをさらに理解されたい。

特定の実施形態について本明細書で図示され説明されているが、当業者が認識するように、図示される特定の実施形態の代わりに同じ目的を達成するように考慮される任意の構成を用いてよく、また、本発明は他の環境において別のアプリケーションを有するものであってもよい。本願は、本発明の全ての適用又は変形をカバーすることが可能である。特許請求の範囲は、本発明の範囲を上述の特定の実施形態に限定する意図は全くない。

本発明の実施形態に従う例示の携帯用移動通信装置を示すブロック図である。 グラフィック画像に対するモーションキャプチャ処理を示すフローチャートである。 文字認識に関係するポストキャプチャ処理を示すフローチャートである。 画像を形成するためにフリースタイルの描画モードで動かされる移動通信装置を示す例を示す図である。 文字認識モードで画像を形成するために動かされる移動通信装置を示す一例を示す図である。 本発明の実施形態に従う例示の携帯用移動通信装置と、その付属品であるアクセサリとを示すブロック図である。

しかしながら、アクセサリの縦軸に沿った成分を有する動きは、スペース、キャリッジリターン、又は文字の区切りを示す終端部を含む非文字入力を表すことができる。急激なチルトする動きに起因して生じる移動通信装置の面の配向の検出された急激な変化は、スケールされた２次元画像を処理するために使用することができる。急激なチルトする動きは、ラインストロークのデフォルト幅を変更することによって、スケールされた２次元画像を処理し、それによって画像を太くすることができる。
動きを検出し、追跡し、更に処理するために、動きデータを、移動通信装置１００との直接ケーブル接続６７０を介して移動通信装置１００へ転送することができる、前記移動通信装置１００用の細長形状のアクセサリ６２０であって、前記アクセサリ６２０内に含まれ、前記ケーブル接続６７０を介して前記移動通信装置１００のプロセッサ１１０と接続されているモーションセンサ６４０であって、２次元平面において動きを検出し、追跡し、キャプチャすることができるモーションセンサ６４０と、前記アクセサリ６２０のハウジング上に配置され、前記ケーブル接続６７０を介して前記移動通信装置１００の前記プロセッサ１１０と接続されているモーションセレクタボタン６６０であって、前記モーションセレクタボタン６６０が作動している間だけ、動きのみを検出し、動きデータを前記移動通信装置１００の前記プロセッサ１１０へ転送するようにする、前記モーションセンサ６４０の作動と停止を行うためのモーションセレクタボタン６６０と、を備える。
前記アクセサリ６２０において、前記モーションセンサ６４０は、加速度計から構成される。前記アクセサリ６２０において、前記モーションセンサ６４０は、ジャイロスコープ装置から構成される。

ＵＳＢ、ＲＳ２３２等のような有線ケーブル接続６７０を使用して、モーションセンサ６４０を含む移動通信装置１００とつながるアクセサリ６２０を実装することも可能である。本例では、アクセサリ６２０はモーションセンサ６４０を含むことになる。そして、モーションセンサ６４０が生成するすべてのデータは、処理用として移動通信装置１００へ直接渡されることになる。アクセサリ６２０は、ブルートゥース（登録商標）モジュールを含む必要はない。それは、ケーブル６７０を介してデータが引き渡されるからである。
本発明に従う実施形態は、動きを検出し、追跡し、更なる処理のために動きデータを移動通信装置へ転送することができる、移動通信装置と共に使用する細長形状のアクセサリ６２０を含むことができる。このアクセサリは、プロセッサ６５０と、無線ＲＦモジュール６３０と、アクセサリ６２０内に含まれ、かつプロセッサ６５０と接続されているモーションセンサ６４０であって、２次元平面において動きを検出し、追跡し、キャプチャすることができるモーションセンサ６４０と、アクセサリ６２０のハウジング上に配置され、プロセッサ６５０と接続されているモーションセレクタボタン６６０であって、モーションセレクタボタン６６０が作動している間だけ、動きのみを検出し、動きデータをプロセッサ６５０へ転送するようにする、モーションセンサ６４０の作動と停止を行うためのモーションセレクタボタン６６０とを備え、プロセッサ６５０は、キャプチャされた動きデータを無線ＲＦモジュール６３０に送信させる。
アクセサリ６０２は、更に、記憶された参照文字セットと、スケールされた２次元画像は、記憶された参照文字セットに含まれる文字に実質的にマッチするかどうかを判定するための、プロセッサにより実行可能な文字認識手段とを備えても良い。プロセッサは、アクセサリ６２０の縦軸に対して垂直になる、モーションセンサ６４０によって追跡される動きの２次元平面を判定しても良い。プロセッサ６５０は、アクセサリ６２０の配向の意図しない微妙な変化を調整するために、モーションセンサ６３０によって追跡される動きの２次元平面を連続的に再判定する。
アクセサリ６２０の縦軸に沿って３次元成分を有する動きは、無視されても良い。アクセサリ６２０の縦軸に沿って３次元成分を有する動きは、非文字入力を表しても良い。非文字入力は、スペース、キャリッジリターン、又は文字の区切りを示す終端部のうちのいずれかを含むことができる。意図的なチルトの動きに起因して生じるアクセサリ６２０の縦軸の配向の検出された急激な変化は、スケールされた２次元画像を処理するために使用されても良い。急激なチルトする動きは、ラインストロークのデフォルト幅を変更し、それによって画像の一部をより太くすることによって、スケールされた２次元画像を処理することができる。モーションセンサ６４０は、加速度計あるいはジャイロスコープ装置から構成されても良い。
本発明に従う実施形態は、また、動きを検出し、追跡し、更に処理するために、動きデータを、移動通信装置１００との直接ケーブル接続６７０を介して移動通信装置１００へ転送することができる、移動通信装置１００用の細長形状のアクセサリ６２０を含んでも良い。このアクセサリ６２０は、アクセサリ６２０内に含まれ、ケーブル接続６７０を介して移動通信装置１００のプロセッサ１１０と接続されているモーションセンサ６４０であって、２次元平面において動きを検出し、追跡し、キャプチャすることができるモーションセンサ６４０と、アクセサリ６２０のハウジング上に配置され、ケーブル接続６７０を介して移動通信装置１００のプロセッサ１１０と接続されているモーションセレクタボタン６６０であって、モーションセレクタボタン６６０が作動している間だけ、動きのみを検出し、動きデータを移動通信装置１００のプロセッサ１１０へ転送するようにする、モーションセンサ６４０の作動と停止を行うためのモーションセレクタボタン６６０と、を備える。モーションセンサ６４０は、加速度計あるいはジャイロスコープ装置から構成されても良い。

Claims (25)

1. 動きを検出し、追跡し、移動通信装置のディスプレイ上に描画することができる画像に変換する移動通信装置１００であって、
   プロセッサ１１０と、
   前記移動通信装置１００内に含まれ、前記プロセッサ１１０と接続されているモーションセンサ１３０であって、２次元平面において動きを検出し、追跡することができるモーションセンサ１３０と、
   前記移動通信装置１００のハウジング上に配置され、前記プロセッサ１１０と接続されているモーションセレクタボタン１４０であって、前記モーションセレクタボタン１４０が作動している間だけ、動きのみを検出し、動きデータを前記プロセッサ１１０へ転送するようにする、前記モーションセンサ１３０の作動と停止を行うためのモーションセレクタボタン１４０と、
   前記検出された動きに対応する画像を描画するためのディスプレイ１５０と、を備え、
   前記プロセッサ１１０は、前記キャプチャされた動きデータを、前記移動通信装置のディスプレイ１５０上に完全に描画される、スケールされた２次元画像に変換する
   ことを特徴とする移動通信装置１００。
2. 記憶された参照文字セット１６０と、
   前記スケールされた２次元画像は、前記記憶された参照文字セット１６０に含まれる文字に実質的にマッチするかどうかを判定するための、前記プロセッサ１１０によって実行可能な文字認識手段と
   を更に備えることを特徴とする請求項１に記載の移動通信装置１００。
3. 前記プロセッサ１１０は、前記移動通信装置１００の面に対して平行になる、前記モーションセンサ１３０によって追跡される前記動きの２次元平面を判定する
   ことを特徴とする請求項２に記載の移動通信装置１００。
4. 前記プロセッサ１１０は、前記移動通信装置１００の配向の意図しない微妙な変化を調整するために、前記モーションセンサ１３０によって追跡される前記動きの２次元平面を連続的に再判定する
   ことを特徴とする請求項３に記載の前記移動通信装置１００。
5. 前記キャプチャされた動きデータを、前記移動通信装置のディスプレイ１５０上に完全に描画されるスケールされた２次元画像に変換する場合に、前記移動通信装置１００の面に平行な平面に対して垂直な３次元成分を有する動きは無視される
   ことを特徴とする請求項４に記載の移動通信装置１００。
6. 前記移動通信装置１００の面に平行な平面に対して垂直な３次元成分を有する動きは、非文字入力を表す
   ことを特徴とする請求項４に記載の移動通信装置１００。
7. 前記非文字入力は、スペース、キャリッジリターン、又は文字の区切りを示す終端部のうちのいずれかを含む
   ことを特徴とする請求項６に記載の移動通信装置１００。
8. 意図的な捻じれの動きに起因して生じる前記移動通信装置１００の面の配向の検出された急激な変化は、前記スケールされた２次元画像を処理するために使用される
   ことを特徴とする請求項４に記載の移動通信装置１００。
9. 急激な捻じれる動きは、ラインストロークのデフォルト幅を変更し、それによって前記画像の一部をより太くすることによって、前記スケールされた２次元画像を処理することができる
   ことを特徴とする請求項８に記載の移動通信装置１００。
10. 前記モーションセンサ１３０は、加速度計から構成される
    ことを特徴とする請求項１に記載の移動通信装置１００。
11. 前記モーションセンサ１３０は、ジャイロスコープ装置から構成される
    ことを特徴とする請求項１に記載の移動通信装置１００。
12. 動きを検出し、追跡し、更なる処理のために動きデータを移動通信装置へ転送することができる、移動通信装置と共に使用する細長形状のアクセサリ６２０であって、
    プロセッサ６５０と、
    無線ＲＦモジュール６３０と、
    前記アクセサリ６２０内に含まれ、前記プロセッサ６５０と接続されているモーションセンサ６４０であって、２次元平面において動きを検出し、追跡し、キャプチャすることができるモーションセンサ６４０と、
    前記アクセサリ６２０のハウジング上に配置され、前記プロセッサ６５０と接続されているモーションセレクタボタン６６０であって、前記モーションセレクタボタン６６０が作動している間だけ、動きのみを検出し、動きデータを前記プロセッサ６５０へ転送するようにする、前記モーションセンサ６４０の作動と停止を行うためのモーションセレクタボタン６６０とを備え、
    前記プロセッサ６５０は、前記キャプチャされた動きデータを前記無線ＲＦモジュール６３０に送信させる
    ことを特徴とするアクセサリ６２０。
13. 記憶された参照文字セット１６０と、
    前記スケールされた２次元画像は、前記記憶された参照文字セットに含まれる文字に実質的にマッチするかどうかを判定するための、前記プロセッサにより実行可能な文字認識手段と
    を更に備えることを特徴とする請求項１２に記載のアクセサリ６２０。
14. 前記プロセッサは、前記アクセサリ６２０の縦軸に対して垂直になる、前記モーションセンサ６４０によって追跡される前記動きの２次元平面を判定する
    ことを特徴とする請求項１３に記載のアクセサリ６２０。
15. 前記プロセッサ６５０は、前記アクセサリ６２０の配向の意図しない微妙な変化を調整するために、前記モーションセンサ６３０によって追跡される前記動きの２次元平面を連続的に再判定する
    ことを特徴とする請求項１４に記載のアクセサリ６２０。
16. 前記アクセサリ６２０の縦軸に沿って３次元成分を有する動きは、無視される
    ことを特徴とする請求項１５に記載のアクセサリ６２０。
17. 前記アクセサリ６２０の縦軸に沿って３次元成分を有する動きは、非文字入力を表す
    ことを特徴とする請求項１５に記載のアクセサリ６２０。
18. 前記非文字入力は、スペース、キャリッジリターン、又は文字の区切りを示す終端部のうちのいずれかを含む
    ことを特徴とする請求項１７に記載のアクセサリ６２０。
19. 意図的なチルトの動きに起因して生じる前記アクセサリ６２０の縦軸の配向の検出された急激な変化は、前記スケールされた２次元画像を処理するために使用される
    ことを特徴とする請求項１５に記載のアクセサリ６２０。
20. 急激なチルトする動きは、ラインストロークのデフォルト幅を変更し、それによって前記画像の一部をより太くすることによって、前記スケールされた２次元画像を処理することができる
    ことを特徴とする請求項１９に記載のアクセサリ６２０。
21. 前記モーションセンサ６４０は、加速度計から構成される
    ことを特徴とする請求項１２に記載のアクセサリ６２０。
22. 前記モーションセンサ６４０は、ジャイロスコープ装置から構成される
    ことを特徴とする請求項１２に記載のアクセサリ６２０。
23. 動きを検出し、追跡し、更に処理するために、動きデータを、移動通信装置１００との直接ケーブル接続６７０を介して移動通信装置１００へ転送することができる、前記移動通信装置１００用の細長形状のアクセサリ６２０であって、
    前記アクセサリ６２０内に含まれ、前記ケーブル接続６７０を介して前記移動通信装置１００のプロセッサ１１０と接続されているモーションセンサ６４０であって、２次元平面において動きを検出し、追跡し、キャプチャすることができるモーションセンサ６４０と、
    前記アクセサリ６２０のハウジング上に配置され、前記ケーブル接続６７０を介して前記移動通信装置１００の前記プロセッサ１１０と接続されているモーションセレクタボタン６６０であって、前記モーションセレクタボタン６６０が作動している間だけ、動きのみを検出し、動きデータを前記移動通信装置１００の前記プロセッサ１１０へ転送するようにする、前記モーションセンサ６４０の作動と停止を行うためのモーションセレクタボタン６６０と、を備える
    ことを特徴とするアクセサリ６２０。
24. 前記モーションセンサ６４０は、加速度計から構成される
    ことを特徴とする請求項２３に記載のアクセサリ６２０。
25. 前記モーションセンサ６４０は、ジャイロスコープ装置から構成される
    ことを特徴とする請求項２３に記載のアクセサリ６２０。

Images