JP2006195995A - データ入力の終了を識別するシステム及び方法 - Google Patents

Abstract

【課題】データを入力する、コンピュータによって実施される方法及びシステムを記載する。
【解決手段】データを入力する方法は、ユーザ記述データを表す情報を受信する工程を含み、ユーザ記述データは、表面上に筆記器具によって作成される。方法は更に、ユーザ記述データを取り囲む、表面上のアクティブな領域を規定する工程と、ユーザ記述データの完了を示す旨の、筆記器具による所定の動作をユーザが行うことを認識する工程とを含む。認識する工程に応じて、方法は、受信を終結させる工程を含み、終結させる工程に応じて、方法は更に、情報を処理して、ユーザ記述データを自動的に認識する工程を含む。
【選択図】図7

Description

本発明は、コンピュータ・ユーザ・インタフェースの分野に関する。特に、本発明の実施例は、ユーザによって作成されるインタアクティブなインタフェースにおけるデータ入力の終了の識別に関する。

光学式読み取り装置や光学式ペンなどのデバイスは、通常、検出器やイメージャに向けて表面を反射する光を発出する。デバイスを表面に向けて（か、その逆に）移動させると、連続した画像がすばやく捕捉される。画像を解析することによって、表面に対する、光デバイスの移動を追跡することができる。

1つのタイプの光学式ペンは、非常に小さな点が上に印刷される紙に用いる。点は、ページ上に、間隔がわずかに約0.3ミリメートルであるパターンで印刷される。ページ上の何れかの領域内の点のパターンは、その領域に一意である。光学式ペンは事実上、場合によっては一秒間に100回以上表面のスナップショットを得るものである。各スナップショットにおいて捕捉される点位置を解釈することによって、光学式ペンは、その、ページに対する位置を高精度で判定することができる。

表面に対する光学式ペンの位置についての情報を利用するアプリケーションが考え出されてきたか、考え出されている。ブルートゥースや他の無線機能を備える光学式ペンを、他のデバイスにリンクし、電子メールやファクシミリを送るのに用いることができる。

光学式ペンを用いて、印刷可能な表面を介してアプリケーションにデータを入力し得る。例えば、デバイスは、手書き記号に対してリアルタイム文字認識を行い得る。しかし、データ入力の完了時点を判定するのは難しいことがあり得る。例えば、ユーザが数字１を入力し、次に数字2を入力する場合、ユーザが数字12の入力を意図したか、個々の数字１及び２の入力を意図したかを判定するのは難しい。同じことは、ユーザが語を記述する場合にあてはまる。デバイスは、語が完了した時点が分かる必要がある。よって、データ入力の終了を判定することは、問題があり得る。

よって、データ入力の終了を判定することができる光学式ペンが、有用なものになる。本発明による実施例は、こうした効果や他の効果を備える。

本発明の実施例は、ユーザ記述データを表す情報を受信する工程を含む、データを入力する方法を含み、ユーザ記述データは、表面上に筆記器具によって作成される。方法は更に、ユーザ記述データを取り囲む、表面上のアクティブな領域を規定する工程と、ユーザ記述データの終了を示す旨の、筆記器具による所定の動作をユーザが行うことを認識する工程とを含む。認識する工程に応じて、方法は、受信する工程を終結させる工程を含み、終結させる工程に応じて、方法は更に、情報を処理してユーザ記述データを自動的に認識する工程を含む。

本発明の一実施例では、所定の動作は、表面上のアクティブな領域内で筆記器具が軽く触れることを判定する工程を備える。本発明の一実施例では、ユーザ記述データに隣接して軽く触れることは、表面のその領域におけるデータ入力の終了を示す。更に、アクティブ領域において2度軽く触れることは、表面のその領域におけるデータ入力の終了を示す。

本発明の別の実施例では、所定の動作は、筆記器具が、所定の期間、使用されていないということを判定する工程を備える。本発明のこの実施例では、記述タイムアウト閾値を用いて、表面のその領域におけるデータ入力の終了を判定する。本発明の一実施例では、閾値時間は、筆記器具が表面から持ち上げられ次第、始まる。

本発明の別の実施例では、所定の動作は、表面上の所定の位置において筆記器具が軽く触れることを判定する工程を備える。本発明の一実施例では、所定の位置は、予め印刷された画像を備える。別の実施例では、所定の動作は、上記の2つ以上のものの組み合わせであり得る。

本発明の別の実施例では、所定の動作は、アプリケーションに依存する。例えば、第１のアプリケーションによって、データ入力のタイムアウト終了が可能になり得るものであり、第２のアプリケーションによって、アクティブ領域内を軽く触れてデータ入力を終結させることが可能になり得る。本発明のこうした目的及び効果や他の目的及び効果は、種々の添付図面に示す以下の詳細な説明を検討した後、当業者によって認識されるものである。

本明細書に組み入れられ、本明細書の一部を構成する添付図面は、本発明の実施例を示し、本明細書とともに本発明の原理を説明する役目を担う。

本発明の以下の詳細な説明では、数多くの特定の詳細を表して、本発明が徹底的に分かるようにしている。しかし、本発明を、こうした特定の詳細なしで実施してもよく、その均等物によって実施してもよいということが当業者によって認識されるものである。一方、周知の方法、手順、構成部分及び回路は、本発明の局面を不必要にわかりにくくすることがないように、詳細には説明していない。

以下の、詳細な説明の一部分は、コンピュータ・メモリ上で行うことができる、データ・ビットに対する演算の手順、工程、論理ブロック、処理や他の記号表現によって表す。こうした記述や表現は、成果の本質を最も効果的にデータ処理技術分野の当業者が他の当業者に伝えるのに用いる手段である。手順、コンピュータ実行工程、論理ブロック、処理等は、本明細書及び特許請求の範囲でも一般的にも、所望の結果につながる、自己整合性を有する一連の工程や命令であるものとして考えられている。工程は、物理的数量の物理的操作を必要とするものである。必然的にではないが通常は、こうした数量は、コンピュータ・システムでの記憶、転送、合成、比較や他の方法による操作が可能な電気信号又は磁気信号の形式を呈する。こうした信号をビット、値、要素、記号、文字、項、数等として表すことが場合によっては主に、慣用の理由で好都合であることが明らかになった。

しかし、こうした語や同様な語は、適切な物理的数量と関連付けられることとし、こうした数量に付される好都合なラベルに過ぎないということを念頭におくこととする。以下の記載から明らかであるように、別途明記しない限り、本発明を通して、「コード化」、「判定」、「識別」、「アクセス」、「レンダリング」、「読み取り」、「受信」、「識別」、「終結」、「実行」等などの語を利用した記載は、コンピュータ・システムのレジスタ内及びメモリ内の物理的（電子的）数量として表すデータを操作し、コンピュータ・システムのメモリ内若しくはレジスタ内や、他のそうした情報記憶装置内、伝送装置内又は表示装置内に物理的数量として同様に表す他のデータに変換する、コンピュータ・システムの動作及び処理（例えば、図7及び図8の流れ図700並びに流れ図800）や同様な電子計算機装置を表すということが分かる。

図1は、本発明の実施例を実施することができるデバイス100の構成図である。一般的に、デバイス100は、光デバイス、特に、光学式読み取り装置、光学式ペン又はディジタル・ペンとして表し得る。

図1の実施例では、デバイス100は、ハウジング62内にプロセッサ32を含む。一実施例では、ハウジング62は、ペンや他の筆記具（例えば、筆記器具）の形態を有する。プロセッサ32は、以下に記載する、デバイス100の機能を実施するのに用いる情報及び命令を処理するよう動作可能である。

本実施例では、デバイス100は、プロセッサ32に結合されるオーディオ出力装置36及び表示装置40を含む。他の実施例では、オーディオ出力装置及び/又は表示装置は、デバイス100とは物理的に分離されている一方、有線接続又は無線接続によってデバイス100と通信する。無線通信の場合、デバイス100は、送受信器又は送信器（図1に示していない）を含み得る。オーディオ出力装置36は、スピーカ又はオーディオ・ジャック（例えば、イヤフォン用若しくはヘッドフォン用）を含み得る。表示装置40は、液晶表示（LCD）や特定の他の適切なタイプの表示であり得る。

図1の実施例では、デバイス100は、プロセッサ32に結合され、デバイス100を駆動させ、制御する入力ボタン38を含む。例えば、入力ボタン38によって、ユーザが、情報及びコマンドをデバイス100に入力するか、デバイス100をオン/オフにすることが可能になる。デバイス100は、バッテリなどの電源34も含む。

デバイス100は、プロセッサ32に結合される、光源又は光エミッタ44及び、光センサ又は光検出器42も含む。光エミッタ44は、例えば発光ダイオード(LED)であってよく、光検出器42は、例えば、電荷結合素子(CCD)や相補型金属酸化物半導体(CMOS)のイメ―ジャ・アレイであってよい。光エミッタ44は表面70又はその一部分を照射する。表面70を反射する光は、光検出器42によって受光され、記録される。

表面70は、上に記述するのに適切な何れかの表面、例えば、紙であり得るが、本発明はそのように限定されるものでない。一実施例では、マーキングのパターンが表面70上に印刷される。本発明の別の実施例では、表面は、電子インク、フラット・パネル・ディスプレイ、LCDディスプレイや何れかの他の表面又はディスプレイを備える材料である。光エミッタ44及び光検出器42を収容するデバイス100の端部は、表面70に押し当てられるか表面70の近くに配置される。デバイス100が表面70に対して移動するにつれ、マーキングのパターンが光エミッタ44及び光検出器42によって読み取られ、記録される。以下に更に詳細に記載するように、一実施例では、表面70上のマーキングを用いて、表面に対するデバイス100の位置を判定する（図3及び図4参照。）。別の実施例では、表面70上のマーキングを用いて情報をコード化する（図5及び6参照。）。表面70の捕捉画像は、デバイス100によって解析（処理）して、マーキングを復号化し、コード化情報を復元することができる。

電子デバイスによる、情報のコード化と、そうしたマーキングの読み取り/記録とを行うための表面マーキングに関する更なる情報は、アノト社に譲渡され、内容全体を本明細書及び特許請求の範囲に援用する、米国特許第6,502,756号明細書、西暦2002年6月26日付出願の米国特許出願公開10/179,966号明細書、国際公開第01/95559号パンフレット、国際公開第01/71473号パンフレット、国際公開第01/75723号パンフレット、国際公開第01/26032号パンフレット、国際公開第01/75780号パンフレット、国際公開第01/01670号パンフレット、国際公開第01/75773号パンフレット、国際公開第01/71475号パンフレット、国際公開第01/73983号パンフレット及び国際公開第01/16691号パンフレットで見つけることができる。

図1のデバイス100は、プロセッサ32に結合されるメモリ装置48も含む。一実施例では、メモリ装置48は、メモリ・カートリッジ又はメモリ・カードとして実施される取り外し可能なメモリ装置である。別の実施例では、メモリ装置48は、プロセッサ32用情報及び命令を記憶するランダム・アクセス（揮発性）メモリ（ＲＡＭ）並びに読み取り専用（非揮発性）メモリ（ＲＯＭ）を含む。メモリ装置を用いて、ユーザ記述データ、例えば、記号、数字、語を表す情報を記憶し得る。

図1の実施例では、デバイス100は、光検出器42及び光エミッタ44と同じ、デバイス100の端部に配置される筆記具エレメント52を含む。筆記具エレメント52は、例えば、ペン、鉛筆、マーカ等であり得るものであり、格納式であってもなくてもよい。特定のアプリケーションでは、筆記具エレメント52は必要でない。他のアプリケーションでは、ユーザは、筆記具エレメント52を用いて、レター、数字、数学記号等などの文字を含む、表面70上のマークを作成することができる。こうしたマークを、走査（イメージング）し、表面70上の位置によって、デバイス100によって解釈することができる。ユーザ作成マークの位置は、表面70上に印刷されるマーク・パターンを用いて判定することができる。以下の図3及び4の記載参照。一実施例では、ユーザ作成マーキングは、手書き文字を認識する光学式文字認識(OCR)手法を用いてデバイス100によって解釈することができる。

上記の通り、表面70は、紙であり得るが、紙以外の材料から成る表面も用い得る。更に、表面70は平坦であってもなくてもよい。例えば、表面70は、球体の表面として実施し得る。更に、表面70は通常の（例えば、216mm×279.5mm（レターサイズ）の）ページに対して大きくても小さくてもよい。

図2は、本発明の実施例を実施することができる別のデバイス200の構成図である。デバイス200は、本明細書に前述した、プロセッサ32、電源34、オーディオ出力装置36、入力ボタン38、メモリ装置48、光検出器42、光エミッタ44及び筆記具エレメント52を含む。しかし、図2の実施例では、光検出器42、光エミッタ44及び筆記具エレメント52は、ハウジング62内に光デバイス201として実施され、プロセッサ３２、電源34、オーディオ出力装置36、入力ボタン38及びメモリ装置48は、ハウジング74内にプラットフォーム202として実施される。本実施例では、光デバイス201は、ケーブル102によってプラットフォーム202に結合される。しかし、無線接続をかわりに用いることができる。図2によって示すエレメントは、上記のもの以外の組み合わせで光デバイス201とプラットフォーム202との間に分布させ得る。

図3は、本発明の一実施例による、マークのパターンを備えた紙15を示す。図3の実施例では、紙15は、マーク18のパターンから成る光学的に読み取り可能な位置コード17の形式のコード化パターンを備える。図3のマーク18は、分かりやすくするために大いに拡大されている。実際には、マーク18は、人間の視覚系によって容易に区別可能でないことがあり得るものであり、紙15上ではグレイスケールとして見えることがあり得る。一実施例では、マーク18は点として実施される。しかし、本発明はそのように限定されるものでない。

図4は、図3の位置コード17の拡大部分19を示す。デバイス100やデバイス200（図1及び2）などの光デバイスは、位置コード17の領域の画像を記録するよう配置される。一実施例では、光デバイスは、ラスタ点22で交差するラスタ・ライン21を備えるラスタの形式の基準系にマーク18を合わせる。マーク18の各々は、ラスタ点22と関連付けられる。例えば、マーク23は、ラスタ点24と関連付けられる。画像/ラスタ内のマークについて、マークに関連付けられるラスタ点からのマークの変位が判定される。こうした変位を用いて、画像/ラスタ内のパターンが、基準系におけるパターンと比較される。基準系におけるパターン各々は、表面70上の特定の位置と関連付けられる。よって、画像/ラスタ内のパターンを基準系におけるパターンと照合することによって、表面70上のパターンの位置と、よって、表面70に対する光デバイスの位置を判定することができる。

図1をもう一度参照すれば、表面70上の4つの位置又は領域をレターA、B、C及びDによって示す（こうした文字は、表面70上に印刷されないが、表面70上の位置を示すのに本明細書では用いている。）表面70上にはそうした領域が多く存在し得る。表面70上の各領域と関連付けられるのは、一意のマーク・パターンである。表面70上の領域は重なり得るが、それは、重なる領域間で一部のマークが共有されても、領域内の、マークのパターンは、その領域になお一意であるからである。

図1の例では、デバイス100を用いて（特に、筆記具エレメント52を用いて）、ユーザは、例えば、表面70上の位置Aにある、丸を付けたレター「M」から成る文字を作成し得る（一般的に、ユーザは、表面70上の何れかの位置に文字を作成し得る。）。ユーザは、そうした文字をデバイス100からのプロンプト（例えば、可聴プロンプト）に応じて作成し得る。ユーザが文字を作成すると、デバイス100は、文字が作成される位置に一意に存在するマーキング・パターンを記録する。デバイス100は、このマーキング・パターンを、直近に作成された文字と関連付ける。丸を付した「M」の上にデバイス100が後に配置されると、デバイス100は、それと関連付けられるマーク・パターンを認識し、丸を付した「M」と関連付けられるものとして位置を認識する。事実上、デバイス100は、文字自体を認識することによるのではなく、文字が配置される位置にあるマーキング・パターンを用いて文字を認識する。

一実施例では、文字は特定のコマンドと関連付けられる。直近で説明した例では、ユーザは、特定のコマンドを識別する文字を作成（記述）することができ、記述された文字の上にデバイス100を単に配置させることによって繰り返しそのコマンドを引き起こすことができる。すなわち、ユーザは、コマンドを引き起こすこととする都度、コマンドに対する文字を記述しなくてよい。その代わりに、ユーザは、コマンドに対する文字を一度、記述し、同じ記述文字を用いて繰り返しコマンドを引き起こすことができる。

図5は、本発明の実施例によるメニュー・アイテム・ツリー・ディレクトリを示す。メニュー・アイテム・ツリー・ディレクトリは、メニューのMの記号から始めて、オーディオ・メニューを実施することができる。メニュー・ツリーは、アプリケーションと関連したメニュー・オプションを備える。

図5の最上部から始めれば、第１のオーディオ・サブディレクトリは、ツールＴのサブディレクトリであり得る。ツールＴのサブディレクトリの下には、翻訳TRのサブディレクトリ、電卓Ｃのサブディレクトリ、スペルチェックＳＣのサブディレクトリ、秘書ＰＡのサブディレクトリ、目覚まし時計ＡＬのサブディレクトリ、及び家庭教師Ｔの機能があり得る。翻訳ＴＲのサブディレクトリの下には、スペイン語ＳＰの翻訳機能、フランス語ＦＲの翻訳機能、及びドイツ語ＧＥの翻訳機能（例えば、アプリケーション）があり得る。秘書ＰＡのサブディレクトリの下には、カレンダーＣ、電話帳PL及び予定表ＴＤの機能又はサブディレクトリがあることになる。

参考書Rのサブディクトリの下には、類語辞典THの機能と、辞書Dのサブディレクトリと、ヘルプHの機能があり得る。辞書Dのサブディレクトリの下には、英語Eの機能、スペイン語SFの機能、及びフランス語FRの機能があり得る。

ゲームGのサブディレクトリの下には、ワードスクラブルWS、青色ポテトFPや手書きメモDOなどのゲームがあり得る。他のゲームも本発明の別の実施例にあり得る。

システムＳのサブディレクトリの下には、セキュリティＳＥの機能と、個人化Ｐの機能があり得る。メニュー・アイテム・ツリー・ディレクトリによって示されるように、ユーザは、種々のメニュー・アイテムの復唱を聴き、更に、所望のメニュー・アイテムを選択することによって何れかの所望のパスを先に進み得る。所望のメニュー・アイテムの後の選択は、何れかの適切な方法で行い得る。

例えば、一部の実施例では、ユーザは、作成グラフィック・エレメント上の筆記器具による「ダウンタッチ」によってオーディオ・メニューをインタアクティブな装置にスクロールさせることができる。「ダウンタッチ」は、インタアクティブな装置内のエレクトロニクスによって、何れかの適切な機構を用いて認識し得る。例えば、インタアクティブな装置を、選択グラフィック・エレメントに向けてそれを下方に移動させることに関連した画像の変化を認識するようプログラムし得る。別の例では、圧力感応型スイッチを、インタアクティブな装置の端部によって、紙に圧力が印加されると圧力スイッチが起動するようにインタアクティブな装置に備え得る。これによって、オーディオ・メニューをスクロールする旨をインタアクティブな装置に通知する。

例えば、インタアクティブな装置によって、丸を付したレター「Ｍ」を選択した後、（又は、丸を付したレター「Ｍ」を選択して、それによってインタアクティブな装置内の圧力スイッチを起動させた後、）インタアクティブな装置内のオーディオ出力装置は、「ツール」のみを復唱し得る。ユーザは、丸を付したレター「M」の2度目の選択を行って、「参考書」というメニュー・アイテムをオーディオ出力装置に復唱させ得る。このことを、所望の回数、繰り返してオーディオ・メニューをスクロールし得る。特定のメニュー・アイテムを選択するために、ユーザは、紙上に特徴的なマークを作成し得るものであり、筆記器具によって特定のジェスチャ（例えば、所定の動作）を備え得るものでもある。

例えば、ユーザは、「ツール」という語を聴いた後に、丸を付したレター「M」の隣に「チェックマーク」（や他のグラフィック・エレメント）を描いてサブディレクトリ「ツール」を選択し得る。こうしたものなどの方法を用いて、ユ―ザは、メニュー・アイテム・ツリー内を、意図されたディレクトリ、サブディレクトリ又は機能に向けてたどり得る。別の所定の動作を用いて、インタアクティブな装置に他の処理を行わせ得る。例えば、本発明の実施例は、特定のアプリケーション用データをユーザが入力し終わった時点を所定の動作に基づいて認識する方法を備える。

本発明の一実施例では、データ入力動作は、例えば、語の最終文字に軽く触れるという所定の動作の検出に応じて終結される。本発明の別の実施例では、データ入力動作は、ユーザ入力が何ら検出されない閾値タイムアウトが経過するという所定の動作の検出に応じて終結される。本発明のこの実施例では、所定の動作は動作が何らないというものである。本発明の別の実施例では、データ入力動作は、紙上の所定の領域に軽く触れるという所定の動作の検出に応じて終結される。本発明のこの実施例では、所定の領域は、ユーザ生成グラフィックス又は予め印刷されたグラフィックスを備え得る。

他の実施例では、丸を付したレター「Ｍ」を作成した後、ユーザは、丸を付したレター「Ｍ」を選択し得る。走査装置内のソフトウェアは、丸を付したレター「Ｍ」をメニュー記号として認識し、ユーザによるダウンタッチなしで、「ツール」と、「参考書」と、「ゲーム」と、「システム」とのメニュー・アイテムを順次にかつ、間を空けた時間間隔で走査装置に復唱させる。本発明の一実施例では、丸を付したレターを選択することによって、相当するアプリケーションがアクティブなアプリケーションになる。本発明の一実施例では、ユーザ作成マークは、アクティブなアプリケーションに関連したアクティブな領域を規定する。

図6Aは、辞書アプリケーションに関連した記述エレメント又は印刷エレメントを備える印刷可能な表面601を示す。ユーザは、まず、空白の紙から始め得るものであり、図に示すように丸を付したレター「D」602を描き得る。更に、ユーザは、例えば、丸を付したレター「D」602に軽く触れることや、レターに隣接して描かれたチェックマークを選択することによって、丸を付した「D」602を「選択」し得る。本発明の一実施例では、ユーザ選択に応じて、インタアクティブな装置は可聴音を生成する。例えば、「辞書」という語が復唱される。

本発明の実施例では、ユーザは、印刷可能な表面601上の、予め印刷された画像から始め得る。例えば、辞書専用の印刷可能な表面601を、予め印刷された、丸を付した「D」602と、予め印刷されたチェックマーク604とに用い得る。本発明のこの実施例では、ユーザは、予め印刷された、丸を付した「D」602に軽く触れることによって辞書アプリケーションを選択し得る。

アクティブなアプリケーション（例えば、辞書）の選択後、インタアクティブな装置は更に、データを入力する（例えば、印刷可能な表面601上に記述する）旨をユーザにプロンプトし得る。例えば、辞書アプリケーションでは、ユーザは更に、図６Aに示すように「マジック」607という語を記述し得る。「マジック」607という語を記載している間、インタアクティブな装置は、印刷可能な表面601上のアクティブな表面620として「マジック」607という語の文字の周りの領域を判定する。本発明の一実施例では、所定の動作が、アクティブな領域620におけるデータ入力を終結させるよう識別される。アクティブな領域620は、表面上の位置を規定する。

本発明の一実施例では、アクティブな領域620において（例えば、語の最後に）軽く触れることによって、意図された語をユーザが記述し終わったという旨と、インタアクティブな装置は語を認識し、更に辞書の定義を作成すべきであるという旨がインタアクティブな装置に示される。本発明の一実施例では、アクティブな領域620内で2度軽く触れることは、意図された語をユーザが記述し終わったという旨を示す。点650は、筆記器具によってアクティブ領域内で2度軽く触れることから生じる、印刷可能な表面601上でかつアクティブ領域620内のユーザ記述マークである。

あるいは、閾値タイムアウト期間、待つことは、意図された語をユーザが記述し終わっているということと、インタアクティブな装置が辞書の定義を作成すべきであるということとをインタアクティブな装置に示す。本発明の別の実施例では、印刷可能な表面601の所定の領域610が選択されることは、意図された語をユーザが記述し終わったということと、インタアクティブな装置が辞書の定義を作成すべきであるということとをインタアクティブな装置に示す。

本発明の一実施例では、アクティブな領域620は、ユーザ記述データの文字の何れか又は全ての周りの仮想ボックスである。ユーザがこの仮想ボックス内の何れかの領域を選択する場合、このことは、意図された語をユーザが記述し終わったということをインタアクティブな装置に示し得る。本発明の一実施例では、アクティブな領域620内で一度又は2度軽く触れることは、アクティブな領域におけるデータ入力の終了を示す。デバイス上のプロセッサをプログラムして、ユーザ終了イベントとして上記例の何れか又は全てを認識し得る。

図6Bは、本発明の実施例による、アクティブな領域に軽く触れることによってデータ入力が終了する電卓アプリケーションに関連したユーザ記述データを備える例示的な印刷可能表面を示す。本発明のこの実施例では、印刷可能な表面601は、電卓アプリケーションに相当する、丸を付したレター「C」を備える。本発明のこの実施例では、ユーザは、数字0乃至9、＋の演算子記号、−の演算子記号、乗算演算子記号及び除算演算子記号を記述することによって電卓を作成するようプロンプトし得る。

個々の数字の終了を示す動作が何らなしでユーザが数字を記述したと仮定する。1-2-3の列は、1と2と3という、意図された別個の数字の代わりに123という数字として解釈され得る。この課題を解決するよう、本発明の実施例は、データ入力の、ユーザが意図した終了を示す所定のユーザ実行動作を認識する。上記のように、そうした動作の１つとして、ユーザ作成データのアクティブな領域内に軽く触れるということがある。図6Bは、各文字のアクティブな領域内に2度軽く触れることから生じる、各数字及び各演算子記号の隣のユーザ作成マーク650を示す。図6Bでは、各文字のアクティブな領域は示していないが、アクティブな領域を、各文字又は各文字列を取り囲む、印刷可能な表面の領域として規定し得る。

図6Cは、本発明の実施例による、印刷可能な表面の所定の領域680を軽く触れることによってデータ入力が終了する電卓アプリケーションに関連したユーザ記述データを備える例示的な印刷可能表面を示す。この例では、印刷可能な表面601は、選択されるとデータ入力を終結させるのに適した所定の領域680を備える。

本発明のこの実施例では、ユーザは、所定の領域680に軽く触れて、データ入力を終結させる。例えば、数字1を記述した後、ユーザは所定の領域680に軽く触れて、終結が文
字のアクティブな領域に軽く触れることを必要とした、図6Bに示す終了動作に反したデータ入力を終結させ得る。その結果、図6Cの数字は、図6Bに示す、文字のアクティブな領域内にユーザ作成マークを有するものでない。

本発明の一実施例では、所定の領域680は、ユーザ選択可能であり得る。本発明のこの実施例では、ユーザは、周りに境界を描くことによって所定の領域680を図表によってバインドし得る。

本発明の別の実施例では、所定の領域680は、予め印刷された画像を備える。例えば、図6Cでは、所定の領域680は、「終了」という語を備える。本発明の一実施例では、予め印刷された表面はアプリケーション特有であり得る。

図6B及び図6Cは、データ入力を終結させることができるユーザ動作の例を示す。アプリケーションは、2つ以上の所定の動作がデータ入力を終結し得る。例えば、図6Cを参照すれば、ユーザは、所定の位置680に軽く触れて、数字0乃至9の入力を終結させたことがあり得るものであり、各数学演算子記号のアクティブ領域内で2度軽く触れて、各演算子記号の入力を終結させたことがあり得る。

本発明の別の実施例では、ユーザ動作は所定の期間、記述するのを止めることを含み得る。本発明のこの実施例では、ユーザは、文字の記述の間に中断して、意図された文字各々を区別し得る。

図7は、本発明の実施例による、所定のユーザ・データ入力終了イベントを含む、データを入力する例示的なコンピュータ実施方法の流れ図700である。

工程702では、処理700は、ユーザ記述データを表す、光センサからの情報を受信する工程を含み、ユーザ記述データは、表面上に筆記器具（例えば、図１及び図２のデバイス100又は200）によって作成される。この情報は、コード化された紙から収集される位置情報を含み得る、記述情報の画像に関するコード化データ、例えば、筆触データを含み得る。

本発明の一実施例では、記述表面は、表面上の特定の位置を判定するのに用いることができるコード化位置情報を備える。本発明の一実施例では、表面は、複数の領域として規定することができ、複数の領域の各々は、一意の印刷画像と関連付けられる。この場合、データは、ユーザの記述に際した、表面上の筆記器具のリアルタイムの位置を表す。

本発明の一実施例では、一意の印刷された画像は、点パターンである。本発明の一実施例では、ユーザ記述データを表す情報は、無線で（例えば、ブルートゥース無線接続や何れかの他の公知の無線接続を介して）受信し得る。

工程704では、処理700は、ユーザ記述データを取り囲む、表面上のアクティブな領域を自動的に規定する工程を含む。本発明の一実施例では、ユーザ記述データを包含する領域がアクティブな領域を規定する。ユーザが記述する際に、プロセッサは、ユーザ記述データを包含するよう表面領域を規定する。

工程706では、処理700は、ユーザ記述データの完了を示す、筆記器具による所定の動作又はイベントをユーザが行うことを認識する工程を含む。本発明の一実施例では、所定の動作は、アクティブな領域内に筆記器具が軽く触れることを含む。この実施例では、筆記器具は、アクティブな領域内に所定回数、軽く触れ得る。更に、本発明のこの実施例では、筆記器具は、ユーザ記述データのレター上又は数字上に軽く触れ得る。軽く触れることは、ユーザ記述データの最終文字上又は最終文字付近で行い得る。

本発明の別の実施例では、所定の動作は、所定期間（例えば、閾値時間）、ユーザ記述データを記述するのに筆記器具を用いることを止めることを含む。本発明のこの実施例では、所定の期間、ユーザ記述データを表す情報を何ら受信しないことは、ユーザ記述データの終了を示す。本発明の一実施例では、期間は、印刷可能な表面から筆記器具が持ち上げられ次第始まる。本発明の別の実施例では、ユーザ記述データを表す情報の受信が終わり次第、期間が始まる。

本発明の別の実施例では、所定の動作は、筆記器具が、所定の表面位置内で軽く触れることを含む。本発明の一実施例では、表面上の所定の位置が、終了する語を含み得る予め印刷された画像を備える。例えば、予め印刷された画像は、表面上に印刷された「終了」の語であり得る。本発明のこの実施例では、予め印刷された語「終了」を選択することによって、ユーザ記述データを表す情報の受信が終了する。アプリケーションをプログラムして、上記終了イベントの１つ、２つ又は全てに応答し得る。

本発明の一実施例では、所定の動作はアプリケーション特有である。例えば、第１のアプリケーションによって、第２のアプリケーションとは別の所定動作が可能になり得る。本発明の別の実施例では、アプリケーションによって、複数の所定動作によってイベントを終結させることが可能になり得る。

工程708では、処理700は、終了イベントが認識されることに応じて、ユーザ記述データの受信を終結させる工程を含む。本発明の一実施例では、所定の動作が識別されることによって、受信が終了する。

工程710では、処理700は、ユーザ記述データが認識されることが終結されることに応じて、情報を処理して、ユーザ記述データを自動的に認識する工程を含む。本発明の一実施例では、ユーザ記述データは、受信の終結後に認識することができる。この工程は、データの自動的な認識を含み得るものであり、データが認識された後、プロセッサは語に関する特定の動作を実施し得る、例えば、プロセッサは語を定義し、語を変換し得る、等である。

例えば、辞書モードでは、ユーザは、複数の語を記述し得る。各語の後の終了イベントを用いて、辞書アプリケーションに関する動作が、各終了イベント後に行われることになる。ユーザは更に、先行して定義された語に戻り、これを選択し得る。語はなお認識されることになり、定義は、語の選択に応じて呈示されることになる。別の例では、ユーザが語を記述し、更にその最終文字に軽く触れた後に、プロセッサは更に語の識別を行い、定義が更にレンダリングされる。本発明の一実施例では、情報を処理する工程は、オーディオ応答を生成する工程を含む。

図8は、本発明の実施例による、ユーザ記述語が完了し、ユーザ記述語に対して応答されたという旨のユーザへのフィードバックとして可聴音が生成される、データ入力の終了を判定する、例示的な、コンピュータ実施処理800の流れ図である。

工程802では、処理800は、アクティブなアプリケーションに関連したアクティブな領域を判定する工程を含み、アクティブな領域は、ユーザ記述データを備える、印刷可能な表面上の領域に関連付けられる。本発明の一実施例では、ユーザ記述データを包含する領域がアクティブな領域を定める。

工程804では、処理800は、アクティブ領域に関連したユーザ記述データを表す、光センサからの情報を受信する工程を含む。

工程806では、処理800は、ユーザ記述データの終了イベントを示すユーザ入力を検出する工程を含む。本発明の一実施例では、ユーザ記述データの終了イベントを示すユーザ入力は、アプリケーション特有である。ユーザ入力は、図６A乃至図6Cに関して説明した所定の動作の何れか又は全てであり得る。

工程808では、処理800は、アプリケーションに関連した、アクティブな領域におけるユーザ記述データのデータ入力を終結させる工程を含む。本発明の一実施例では、データ入力の終結によって、ユーザによって記述された文字又は語の区別が可能になる。例えば、上記所定の動作のうちの１つを行うことによって、数字12を数字1及び数字2と区別することができる。

工程810では、処理800は、アクティブな領域におけるデータ入力の終了を示す音を生成する工程を含む。一実施例では、複数の音を生成して、例えば、データ入力終結動作間で区別することができる。後の工程、例えば、光学式文字認識（OCR）は更に、ユーザ記述データを処理し得る。

概して、本書面は、データを入力する、コンピュータによって実施される方法及びシステムを記載した。データを入力する方法は、ユーザ記述データを表す情報を受信する工程を含み、ユーザ記述データは、表面上に筆記器具によって作成される。方法は更に、ユーザ記述データを取り囲む、表面上のアクティブな領域を規定する工程と、ユーザ記述データの完了を示す旨の、筆記器具による所定の動作をユーザが行うことを認識する工程とを含む。認識する工程に応じて、方法は、受信を終結させる工程と、終結させる工程に応じて、方法は更に、情報を処理して、ユーザ記述データを自動的に認識する工程を含む。

本発明の実施例をよって説明した。本発明は特定の実施例において説明したが、本発明がそうした実施例によって限定されるものとして解されないこととし、むしろ、本特許請求の範囲によって解されることとする。

本発明の実施例を実施することができるデバイスを示す構成図である。 本発明の実施例を実施することができる別のデバイスを示す構成図である。 本発明の一実施例による、マーク・パターンを備えた例示的な紙を示す構成図である。 本発明の一実施例による、例示的な紙上のマーク・パターンを示す拡大図である。 本発明の実施例による、例示的なツリー・メニューを示す拡大図である。 本発明の実施例による、辞書アプリケーションに関連したユーザ記述データを備える例示的な表面を示す図である。 本発明の実施例による、アクティブ領域を軽く触れることがデータ入力を終結させる、電卓アプリケーションに関連したユーザ記述データを備える例示的な表面を示す図である。 本発明の実施例による、所定の領域を軽く触れることがデータ入力を終結させる、電卓アプリケーションに関連したユーザ記述データを備える例示的な表面を示す図である。 本発明の実施例による、データを入力する例示的なコンピュータ実施方法を示す流れ図である。 本発明の実施例による、データ入力の終結を判定する例示的なコンピュータ実施方法を示す流れ図である。

符号の説明

15 紙
17 位置符号
18 マーク
19 17の拡大部分
21 ラスタ・ライン
22 ラスタ点
23 マーク
24 ラスタ点
32 プロセッサ
34 電源
36 オーディオ出力装置
38 入力ボタン
40 表示装置
42 光検出器
44 光エミッタ
48 メモリ装置
52 筆記具エレメント
62 ハウジング
70 表面
74 ハウジング
100 デバイス
102 ケーブル
200 デバイス
201 光デバイス
202 プラットフォーム
601 印刷可能な表面
602 レター
604 チェックマーク
607 語
610 所定の領域
620 アクティブな表面
650 ユーザ作成マーク
680 所定の領域

Claims (43)

1. データを入力する、コンピュータによって実施される方法であって、
   ユーザ記述データを表す情報を受信する工程を備え、
   前記ユーザ記述データは表面上に筆記器具によって作成され、
   更に、前記ユーザ記述データを取り囲む、前記表面上のアクティブな領域を規定する工程と、
   前記ユーザ記述データの完了を示す旨の、前記筆記器具によって所定の動作をユーザが行うことを認識する工程と、
   該認識する工程に応じて、前記受信する工程を終結させる工程と、
   該終結させる工程に応じて、前記情報を処理して、前記ユーザ記述データを自動的に認識する工程とを備えることを特徴とする方法。
2. 請求項1記載の方法であって、
   前記所定の動作が、前記アクティブな領域内で前記筆記器具を軽く触れることであることを特徴とする方法。
3. 請求項2記載の方法であって、
   前記筆記器具を、前記ユーザ記述データの端部付近に軽く触れることを特徴とする方法。
4. 請求項1記載の方法であって、
   前記所定の動作が、前記アクティブ領域内で前記筆記器具を2度、軽く触れることであることを特徴とする方法。
5. 請求項1記載の方法であって、
   前記所定の動作が、所定の期間、ユーザ記述データを記述するのに前記筆記器具を用いるのを止めることであることを特徴とする方法。
6. 請求項1記載の方法であって、
   前記所定の動作が、前記表面の所定の位置において前記筆記器具を軽く触ることであり、
   前記所定の位置には、予め印刷された画像が前記所定の位置の上に表示されていることを特徴とする方法。
7. 請求項1記載の方法であって、
   前記筆記器具は、複数のアプリケーションを実行するよう動作可能なプロセッサを備え、
   前記所定の動作は、アプリケーション特有であることを特徴とする方法。
8. 請求項1記載の方法であって、
   前記ユーザ記述データは、ユーザによって記述される記号、文字、語又は数字であることを特徴とする方法。
9. 請求項8記載の方法であって、
   前記ユーザ記述データは丸を付していることを特徴とする方法。
10. 請求項1記載の方法であって、
    前記ユーザ記述データは、ユーザによって記述される複数の語又は数字であることを特徴とする方法。
11. コンピュータ・システムであって、
    バスに結合されるプロセッサと、
    表面上の画像を検出するセンサと、
    筆記器具と、
    前記バスに結合され、実行されるとデータを入力する方法を実施する命令を備えるメモリとを備え、前記方法は、
    ユーザ記述データを表す情報を前記センサから受信する工程を備え、
    前記ユーザ記述データは前記表面上に前記筆記器具によって作成され、
    前記方法は更に、前記ユーザ記述データを取り囲む、前記表面上のアクティブな領域を規定する工程と、
    前記ユーザ記述データの完了を示す旨の、複数の所定の動作のうちの１つを前記筆記器具によってユーザが行うことを認識する工程と、
    該認識する工程に応じて、前記受信する工程を終結させる工程と、
    該終結させる工程に応じて、前記情報を処理して、前記ユーザ記述データを自動的に認識する工程とを備えることを特徴とするコンピュータ・システム。
12. 請求項11記載のコンピュータ・システムであって、
    前記複数の所定の動作のうちの１つが、前記アクティブ領域内で前記筆記器具を軽く触れることであることを特徴とするコンピュータ・システム。
13. 請求項12記載のコンピュータ・システムであって、
    前記筆記器具を、前記ユーザ記述データの端部付近に軽く触れることを特徴とするコンピュータ・システム。
14. 請求項12記載のコンピュータ・システムであって、
    前記複数の所定の動作のうちの１つが、前記アクティブ領域内で前記筆記器具を2度、軽く触れることであることを特徴とするコンピュータ・システム。
15. 請求項12記載のコンピュータ・システムであって、
    前記複数の所定の動作のうちの１つが、所定の期間、ユーザ記述データを記述するのに前記筆記器具を用いるのを止めることであることを特徴とするコンピュータ・システム。
16. 請求項15記載のコンピュータ・システムであって、
    前記複数の所定の動作のうちの１つが、前記表面の所定の位置において前記筆記器具を軽く触れることであり、
    前記所定の位置には、予め印刷された画像が前記所定の位置の上に表示されていることを特徴とするコンピュータ・システム。
17. 請求項11記載のコンピュータ・システムであって、
    前記プロセッサは、複数のアプリケーションを実行するよう動作可能であり、
    前記複数の所定の動作は、アプリケーション特有であることを特徴とするコンピュータ・システム。
18. 請求項11記載のコンピュータ・システムであって、
    前記ユーザ記述データは、ユーザによって記述される語であることを特徴とするコンピュータ・システム。
19. 請求項11記載のコンピュータ・システムであって、
    前記ユーザ記述データは、ユーザによって記述される複数の語であることを特徴とするコンピュータ・システム。
20. データ入力の終了を判定する方法であって、
    アクティブなアプリケーションに関連したアクティブな領域を判定する工程を備え、
    該アクティブな領域は、ユーザ記述データを備える、印刷可能な表面上の領域に関連し、
    更に、前記アクティブな領域に関連したユーザ記述データを表す情報を受信する工程と、
    前記ユーザ記述データの終了イベントを示すユーザ入力を検出する工程と、
    前記アプリケーションに関連した前記アクティブな領域における前記ユーザ記述データのデータ入力を終結させる工程とを備えることを特徴とする方法。
21. 請求項20記載の方法であって、
    前記アクティブな領域は、前記ユーザ記述データを取り囲む領域であることを特徴とする方法。
22. 請求項20記載の方法であって、
    前記検出する工程は、
    前記アクティブな領域内に前記筆記器具が軽く触れることを検出する工程を備えることを特徴とする方法。
23. 請求項22記載の方法であって、
    前記アクティブな領域内に前記筆記器具が軽く触れることを検出する工程が、
    前記アクティブ領域内に前記筆記器具が2度、軽く触れることを検出する工程を備えることを特徴とする方法。
24. 請求項22記載の方法であって、
    前記アクティブな領域内に前記筆記器具が軽く触れることを検出する工程が、
    前記アクティブな領域外の、前記印刷可能な表面の所定の領域内で前記筆記器具が軽く触れることを検出する工程を更に備えることを特徴とする方法。
25. 請求項22記載の方法であって、
    前記アクティブな領域内に前記筆記器具が軽く触れることを検出する工程が、
    所定の閾値時間よりも大きな記述タイムアウトを検出する工程を更に備えることを特徴とする方法。
26. 請求項23記載の方法であって、
    前記アクティブな領域におけるデータ入力の終了を示す可聴信号を生成する工程を更に備えることを特徴とする方法。
27. 請求項26記載の方法であって、
    前記アクティブな領域内での初回の、前記筆記器具の軽い接触に応じて第１の可聴信号を生成する工程と、
    前記アクティブな領域内での2回目の、前記筆記器具の軽い接触に応じて第２の可聴信号を生成する工程とを更に備えることを特徴とする方法。
28. 請求項20記載の方法であって、
    前記印刷可能な表面は、位置コード化情報を備えることを特徴とする方法。
29. 請求項22記載の方法であって、
    前記アクティブな領域内に前記筆記器具が軽く触れることによって、前記印刷可能な表面上にユーザ記述マ―クを生成することを特徴とする方法。
30. 請求項22記載の方法であって、
    前記アクティブな領域内で前記筆記器具を軽く触れることが、
    前記ユーザ記述データに隣接して前記筆記器具が触れることを検出することを備えることを特徴とする方法。
31. 請求項20記載の方法であって、
    前記終了イベントがアプリケーション特有であることを特徴とする方法。
32. データ入力の終了を判定する方法であって、
    アクティブなアプリケーションに関連したアクティブな領域を判定する工程を備え、
    該アクティブな領域は、ユーザ記述データを備える、印刷可能な表面上の領域に関連し、
    更に、前記アクティブな領域に関連したユーザ記述データを表す情報を受信する工程と、
    ユーザ記述データが何ら受信されない所定の閾値時間の経過に応じて、前記アクティブなアプリケーションに関連した前記アクティブな領域における前記ユーザ記述データのデータ入力を終結させる工程とを備えることを特徴とする方法。
33. 請求項32記載の方法であって、
    前記所定の閾値時間が前記アクティブなアプリケーションによって変わってくることを特徴とする方法。
34. 請求項32記載の方法であって、
    前記所定の閾値時間は、筆記器具が前記印刷可能な表面から持ち上げられた後に始まることを特徴とする方法。
35. 請求項32記載の方法であって、
    前記所定の閾値時間は、筆記器具が前記印刷可能な表面に接触した後に始まることを特徴とする方法。
36. データ入力の終了を判定する方法であって、
    アクティブなアプリケーションに関連したアクティブな領域を判定する工程を備え、
    該アクティブな領域は、ユーザ記述データを備える、印刷可能な表面上の領域に関連し、
    更に、前記アクティブな領域に関連したユーザ記述データを表す情報を受信する工程と、
    前記印刷可能な表面の所定の領域のユーザ選択を検出する工程と、
    前記アプリケーションに関連した前記アクティブな領域における前記ユーザ記述データのデータ入力を、前記ユーザ選択に応じて終結させる工程とを備えることを特徴とする方法。
37. 請求項36記載の方法であって、
    前記印刷可能な表面の前記所定の領域は、予め印刷された画像を備えることを特徴とする方法。
38. 請求項37記載の方法であって、
    前記予め印刷された画像は、インタアクティブなコンピュータ・システムによって分かる終了命令に関連付けられることを特徴とする方法。
39. デバイスであって、
    筆記器具と、
    表面からの画像を光学的に検出するセンサと、
    該センサに結合されるプロセッサと、
    該プロセッサに結合されるメモリとを備え、
    メモリ装置は、実行されるとデータ入力終了を認識する方法を実施する命令を含み、
    前記方法は、
    アクティブなアプリケーションに関連したアクティブな領域を判定する工程を備え、
    前記アクティブな領域は、ユーザ記述データを備える、印刷可能な表面上の領域に関連し、
    前記方法は更に、前記アクティブな領域に関連したユーザ記述データを表す情報を受信する工程と、
    前記ユーザ記述データの終了イベントを示すユーザ入力を検出する工程と、
    前記アプリケーションに関連した前記アクティブな領域における前記ユーザ記述データのデータ入力を終結させる工程とを備えることを特徴とするデバイス。
40. 請求項39記載のデバイスであって、前記検出する工程は、
    前記アクティブな領域内で前記筆記器具が軽く触れることを検出する工程を備えることを特徴とするデバイス。
41. 請求項40記載のデバイスであって、前記アクティブな領域内で前記筆記器具が軽く触れることを検出する工程は、
    所定の閾値時間よりも大きな記述タイムアウトを検出する工程を備えることを特徴とするデバイス。
42. 請求項39記載のデバイスであって、前記方法は、
    前記アクティブな領域におけるデータ入力の終了を示す音を生成する工程を更に備えることを特徴とするデバイス。
43. 請求項39記載のデバイスであって、前記終了イベントは、アプリケーション特有であることを特徴とするデバイス。

Images