JP2005517226A - 協調手書き入力のシステムおよび方法 - Google Patents

協調手書き入力のシステムおよび方法 Download PDF

Info

Publication number
JP2005517226A
JP2005517226A JP2003519868A JP2003519868A JP2005517226A JP 2005517226 A JP2005517226 A JP 2005517226A JP 2003519868 A JP2003519868 A JP 2003519868A JP 2003519868 A JP2003519868 A JP 2003519868A JP 2005517226 A JP2005517226 A JP 2005517226A
Authority
JP
Japan
Prior art keywords
recognition
computer
input
user
digital ink
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2003519868A
Other languages
English (en)
Inventor
スー、ホイ
ワン、チンタオ
在正 内藤
淳 熊木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of JP2005517226A publication Critical patent/JP2005517226A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233Character input methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/142Image acquisition using hand-held instruments; Constructional details of the instruments
    • G06V30/1423Image acquisition using hand-held instruments; Constructional details of the instruments the instrument generating sequences of position coordinates corresponding to handwriting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Character Discrimination (AREA)
  • User Interface Of Digital Computer (AREA)
  • Calculators And Similar Devices (AREA)

Abstract

【課題】協調手書き入力のシステムおよび方法
【解決手段】入力ハンドヘルド・コンピュータは、ユーザからのインク情報を取り込み、記憶し、再表示し、通信接続を介して認識コンピュータにそのインク情報を転送する。次いで認識コンピュータは、そのインク情報を認識し認識結果を出力する。また、そうしたシステムでは、協調手書き入力の方法も用いられる。また、一実施形態では、このシステムは1台の認識コンピュータおよび複数の入力ハンドヘルド・コンピュータを含むことができる。

Description

本発明は、一般に、コンピュータの手書き入力に関し、詳細には、2台のコンピュータ間での協調手書き入力のシステムおよび方法に関する。
手書き入力は一般的な入力方法となっている。この方法は、その文字の性質のために従来のキーボードによるテキスト入力作業時に不都合を生じるアジアの国々においては特に重要である。
これまでに、手書き文字認識技術では大きな前進があり、認識精度は大幅に向上した。例えば、ケネス・ジェイ・グジック(Kenneth J. Guzik)およびジョン・エル・シー・シーボルト(John L.C. Seybold)による、1996年7月17日出願、1998年5月12日特許の、「手書き入力の分割方法(Methodof Splitting Handwriting Input)」という名称の米国特許第5,751,851号には、手書き入力ストロークの分割および機械認識の方法が開示されている。その全体を参照によって本明細書に組み込む。
一般的な手書き入力装置は、手書き入力タブレット、電子スタイラスおよび接続ケーブルからなり、一般に、シリアル・ポートやUSBなどの周辺装置を介してコンピュータに接続される。入力ストロークおよび認識された文字は、手書き入力時にコンピュータ画面上にエコー出力することができる。しかし、前述の方法には、通常、以下の限界がある。第1は、入力と表示が分離されているため手書き入力タブレット上に視覚的フィードバックがないことである。第2は、特にエラー修正時の手と目の協調が困難であることである。第3は、手書き入力タブレットおよび関連ケーブルの持ち運びでの不便さであり、この問題は、モバイル・ラップトップ・ユーザには特に深刻である。
しかし、ペン入力のハンドヘルド・コンピュータは広範に使用されており、そうしたコンピュータの例には、携帯情報端末(PDA)(IBMワークパッド(IBM Workpad)(登録商標)など)や、ペン入力インターフェイス付きスマート・モバイル電話などがある。こうしたコンピュータのすべては、一般に、ペン入力を用い、タッチ・パネル(touch-sensitivepanel)やその他のタイプの入力タブレットを表示画面と組み合わせることによって、対応する入力ストロークを再表示する。ジャック・リー(Jack Lee)による、1993年3月2日出願、1994年9月13日特許の、「ペン入力型コンピュータ(Pen-basedForm Computer)」という名称の米国特許第5,347,477号には、そうしたタイプのコンピュータが開示されている。その全体を参照によって本明細書に組み込む。そうしたコンピュータは、サイズが小さく、持ち運びに便利で直感的な入力が可能であるが、そうしたハンドヘルド・コンピュータの計算能力および記憶容量、あるいはそのプロセッサの処理能力および記憶容量が限られており、デスクトップ・コンピュータやラップトップ・コンピュータのものにはるかに劣ることを考えると、完全で効果的な手書き文字認識はほとんど得られないであろう。
米国特許第5,751,851号 米国特許第5,347,477号
一方、ラップトップ・コンピュータのユーザは、可搬性が高く、容易かつ効果的に操作できる入力方法を必要としている。したがって、ハンドヘルド・コンピュータをラップトップ・コンピュータやデスクトップ・コンピュータ用の入力装置として使用する協調手書き入力の必要が生じてきた。ハンドヘルド・コンピュータは手書き文字を直感的に表示すると共に持ち運びに便利であり、他方、ラップトップ・コンピュータやデスクトップ・コンピュータは強力な処理能力を備えるので、それらを組み合わせればそれぞれの役割を最大限に利用することができる。
本発明の目的は、ユーザの既存のコンピュータを物理的に変更せずに、異なるタイプの2台以上のコンピュータ間での協調手書き入力の装置、システムおよび方法を提供することによって、前述の問題を解決することである。協調手書き入力時には、2台のコンピュータ間に接続が確立され、入力ストロークの収集および認識が異なるコンピュータ上で完了される。
本発明は協調手書き入力のシステムを提供する。このシステムは、デジタル化タブレットとして働く入力コンピュータ(PDAやスマート・フォンなど)および認識コンピュータを含む。前記ハンドヘルド・コンピュータは、標準通信プロトコルに基づき手書き入力のための通信接続を確立する第1のプロトコル抽象化層手段と、ユーザによって書かれたデジタル・インク即ち印字の情報を収集し記憶するデジタル・インク取り込み手段と、取り込まれたデジタル・インク情報を表示するデジタル・インク表示手段と、取り込まれたデジタル・インク情報を前記第1のプロトコル抽象化層手段を介して認識コンピュータに伝送するデジタル・インク情報転送手段とを含む。前記認識コンピュータは、標準通信プロトコルに基づき手書き入力のための通信接続を確立する第2のプロトコル抽象化層手段と、前記入力ハンドヘルド・コンピュータからのデジタル・インク情報を受信するデジタル・インク情報受信手段と、受信したデジタル・インク情報を認識する手書き文字認識機構と、認識結果を出力する結果出力手段とを含む。
また、本発明は、情報処理システムにおいて協調手書き入力を実行する方法をも提供する。この方法は、認識コンピュータと入力コンピュータ(ハンドヘルドPDAなど)の間で通信接続を確立するステップと、入力ハンドヘルド・コンピュータ上でユーザからのデジタル・インク情報を取り込み、記憶し、表示するステップと、取り込んだデジタル・インク情報を認識コンピュータに転送するステップと、認識コンピュータ上でデジタル・インク情報を認識するステップと、認識結果を出力するステップとを含む。
図1は本発明の一実施形態による協調手書き入力のシステムを示す概略図である。手書き入力を、ペン入力ハンドヘルド・コンピュータ20とラップトップ・コンピュータ10が協調して完了する。前記ハンドヘルド・コンピュータ20は、デジタル・インク情報を収集、表示し、候補文字を選択するために使用され、一方、前記ラップトップ・コンピュータ10は、手書き文字認識のために使用される。特定の物理通信接続(赤外線やUSBなど)を介してハンドヘルド・コンピュータ20とラップトップ・コンピュータ10の間でデータがやりとりされる。
図2は本発明の一実施形態による手書き入力認識用コンピュータ10を示す概略構成図である。認識コンピュータ10は、一般的PCやラップトップ・コンピュータ、あるいは、手書き文字認識のコアの利用可能性を完全にするためにハンドヘルド・コンピュータ20のものより強力な計算能力および記憶容量を備えることができる他の任意のコンピュータとすることができる。コンピュータ10は、デスクトップ・コンピュータ、ラップトップ・コンピュータ、サーバ、またはトップ・セット・ボックスなどとすることができ、不可欠の構成要素(図面には示さず)であるCPU、バス、メモリ、永久記憶装置(すなわちハード・ディスク、フレキシブル・ディスク、コンパクト・ディスクなど)、表示アダプタ、ディスプレイおよびキーボードを備えるとともに、シリアル・ポート、パラレル・ポート、USB、IRCOMM、無線UDP、ネットワーク・インターフェイス・カードなどの通信ポートのうち1つまたは複数を備える必要がある。
図2に示すように、ユーザが文字を入力する先の認識コンピュータ10上にはユーザ・アプリケーション100が走っている。このアプリケーションは、ワード・プロセッサ、スプレッドシート・プログラム、電子メール・プログラムなど任意のものとすることができ、ソフトウェア開発アプリケーションとすることさえできる。プロトコル抽象化層109は、ハンドヘルド・コンピュータ内のプロトコル抽象化層209に対応して、コンピュータ10とハンドヘルド・コンピュータ20の間の通信リンクを確立するように設計される。例えば、シリアル・ポート、USB、IRCOMM、無線UDP、各種のネットワーク・インターフェイス・カード、SMS、IRDAなど、コンピュータに使用される多くの公知の通信プロトコルおよび装置がある。プロトコル抽象化層109は、前述の標準通信プロトコルに基づき手書き入力認識のための通信リンクを確立する。プロトコル抽象化層109は、標準の通信プロトコルを抽象化してカプセル化し、物理プロトコル間の差異をマスキングし、上位層のために統一されたサービス・インターフェイスを提供する、プロトコル抽象化層である。本発明の残りの構成要素は、下にある特定の通信プロトコルを知る必要はなく、プロトコル抽象化層109とのインターフェイスだけを必要とする。これによって本発明の拡張可能性が増し、プロトコル抽象化層上で新しい特定の通信プロトコルのサポートを付加することができるようになる。
認識コンピュータ10はさらに、前記プロトコル抽象化層を介してハンドヘルド・コンピュータ20からデジタル・インク情報を受信しそのデジタル・インク情報を手書き文字認識機構102に転送するデジタル・インク情報受信手段106も含む。手書き文字認識機構102は、米国特許第5,751,851号で提案されている手書き文字認識方法や、例えばIBM(登録商標)日本語手書き文字認識エンジン(Japanese Handwriting Recognition Engine)など他の手書き文字認識エンジンなど、どんな手書き文字認識計算に基づく手書き文字認識エンジンでもよい。デジタル・インク情報を認識した後、手書き文字認識機構102は、認識結果を認識結果転送手段107に転送する。認識結果は一群の候補文字および類似性パラメータ、または類似性(または蓋然性)順の一群の候補文字であり、それらは認識結果転送手段107によって通信プロトコル手段109を介してハンドヘルド・コンピュータ20に転送される。
図2の選択情報受信手段108は、ユーザが候補から選択した選択情報を受信し、その選択情報を出力手段103に転送するように設計される。次いで、出力手段103は、ユーザが選択した認識済み文字をユーザ・アプリケーション100に入力する。
図2にさらに示すように、認識コンピュータ10はまた、デジタル・インク情報受信手段106に接続されたデジタル・インク表示手段101も含み、ユーザが比較できるように受信したデジタル・インク情報をそのコンピュータの画面上の適当な位置に表示するために使用される。記憶手段110は、本発明のその他の構成要素が一時情報を記憶するために使用される。選好(preference)受信手段105は、プロトコル抽象化層109を介してハンドヘルド・コンピュータ20からユーザ選好を受信し、そのユーザ選好を選好セットアップ手段104に送信するように設計される。選好セットアップ手段104は、それ自体または選好受信手段105からユーザ選好情報を受信し、手書き文字認識機構102の選好(言語、文字セット、および精度または速度の好み)、デジタル・インク表示手段101の選好(ストロークの太さおよび色)、プロトコル抽象化層109の選好(特定の転送プロトコル、速度および検査方法など)、認識の時間遅延といった他の選好設定などの選好情報に従って、本発明の他の構成要素の動作を制御することができる。ユーザ・マネージャ111はプロトコル抽象化層109に接続され、ユーザ識別(ID)を検証するために使用され、様々なユーザに対応するユーザ・インスタンスを開始する。
図3は、本発明の一実施形態による手書き入力用ハンドヘルド・コンピュータ20を示す概略的構成図である。このハンドヘルド・コンピュータは、ハンドヘルドPC(例えばIBMのWorkPad)、携帯情報端末(PDA)、コンピュータ機能付きモバイル電話などのペン入力コンピュータとすることができる。ハンドヘルド・コンピュータには、プロセッサ、記憶装置、ディスプレイ(LCDなど)、タッチ・パネルその他のタイプの入力タブレットおよび電子スタイラスなどを備える必要があり、そのうちディスプレイと入力タブレットは、一般にタッチ・スクリーンまたは入力スクリーンと呼ばれる1つの本体に統合することができる。現在のハンドヘルド・コンピュータでは、例えば、シリアル・ポート、パラレル・ポート、USBポート、IRCOMM、無線UDP、ネットワーク・インターフェイス・カードなど様々な通信ポートが広範に使用される。本発明では、手書き入力用ハンドヘルド・コンピュータ20は、前述の通信ポートの1つまたは複数を含む。
図3に示すように、プロトコル抽象化層209は、認識コンピュータ10内のプロトコル抽象化層に対応して、ハンドヘルド・コンピュータ20と認識コンピュータ10の間で通信リンクを確立するように設計される。前述の認識コンピュータ10内のプロトコル抽象化層109に対応して、プロトコル抽象化層209は、シリアル・ポート、USB、IRCOMM、無線UDP、全種類のネットワーク・インターフェイス・カード、SMS、IRDAなど様々な通信プロトコルに基づき、手書き入力認識のために認識コンピュータ10への通信リンクを確立する。
図3では、デジタル・インク取り込み手段200は、入力タブレット上でのペンの動き、ペンの上下情報を含むペン操作アクティビティ、すなわちデジタル・インク情報をある一定のやり方で記録し、その情報を適当なデータベースに記憶するように設計される。この情報は、ラスタ・イメージまたはベクトル・イメージの形式で記録することができ、両者とも従来技術で広範に使用されている。ベクトル形式で記録されたデジタル・インク情報はラスタ形式に変換することができる。デジタル・インク表示装置208は、デジタル・インク取り込み手段200によって取り込まれたデジタル・インク情報をユーザに再表示する。デジタル・インク情報転送手段201は、デジタル・インク取り込み手段200によって取り込まれたデジタル・インク情報を、プロトコル抽象化層209を介して前述の認識コンピュータ10内のデジタル・インク情報受信手段106に転送する。
認識結果受信装置203は、プロトコル抽象化層209を介して認識コンピュータ10内の認識結果転送手段107から認識結果を受信し、その認識結果を候補表示/選択手段202に送信する。候補表示/選択手段202は、ユーザが選択できるように認識された文字および候補文字を画面上に表示し、ユーザによる候補の選択を受け入れ、その選択情報を選択情報転送手段204に送信する。選択情報転送手段204は、ユーザの選択を認識コンピュータ10内の選択情報受信手段108に転送する。
図3に示すハンドヘルド・コンピュータ20はさらに、本発明のハンドヘルド・コンピュータ20の協調入力アプリケーションの選好をセットアップし、コンピュータ10の選好を識別する選好セットアップ手段205も含む。認識コンピュータ10側の選好情報については、選好セットアップ手段205はそれらの選好を選好転送手段206に送信することができる。選好転送手段206は、プロトコル抽象化層209を介して認識コンピュータ10内の選好受信手段105に認識コンピュータ10側の選好を転送する。クライアント・ユーザ・マネージャ211はプロトコル抽象化層209に接続され、そのハンドヘルド・コンピュータを識別する一意のユーザIDを維持するように設計され、そのユーザIDを認識コンピュータに送信する。
図4は本発明の一実施形態による協調手書き入力認識を実行する方法を示す流れ図である。図に示すように、ステップ300から開始する。ステップ310で、前記の認識コンピュータ10内のプロトコル抽象化層109と前記の入力ハンドヘルド・コンピュータ内のプロトコル抽象化層209を介して通信リンクを確立する。また、コンピュータ10およびハンドヘルド・コンピュータ20は、このステップでそれら自体を開始し相互に認知し合う。ステップ320で、入力コンピュータ上でユーザによるデジタル・インク情報入力を取り込み、記憶し、再表示する。デジタル・インク情報は、ラスタ形式やベクトル形式など、様々な形式を取ることができる。現在は、ベクトル形式のデジタル・インク情報が広範に使用されている。というのは、この形式がデジタル・インクの形だけでなく、手書き文字認識ではやはり非常に重要なストロークの順序も記録することができるためである。本発明では、取り込まれたデジタル・インク情報は、ラスタ形式を取ることもベクトル形式を取ることもできる。
ステップ330で、入力コンピュータ20上に取り込まれたデジタル・インク情報を、ステップ310で確立した通信リンクを介して認識コンピュータ10に転送する。ステップ340で、認識コンピュータに転送されたデジタル・インク情報を、認識コンピュータ10の手書き文字認識機構102が認識する。認識結果は、一群の候補文字および類似性(可能性)パラメータ、または類似性順の一群の候補文字である。ステップ350で、認識結果を認識コンピュータ10から入力コンピュータ20に送信する。
次いでステップ360で、認識結果中の候補文字を入力コンピュータ上に表示し、ユーザが選択を行えるようにする。ステップ370で、ユーザによる選択を受け入れる。次いで、ステップ380で、ユーザの選択情報を入力コンピュータ20から認識コンピュータ10に送信する。ステップ390で、ユーザが選択した文字を認識コンピュータ上の指定されたアプリケーションに出力する。ステップ395で、手書き入力を続行するかどうか決定する。YESの場合は、ステップ320に戻って次の文字入力を続行し、そうでない場合は、終了ステップ400に進む。
本発明の一実施形態によれば、取り込んだデジタル・インク情報を入力コンピュータ20から認識コンピュータ10に転送した後で、そのデジタル・インク情報をデジタル・インク・イメージに復元し表示することができる。
本発明の別の実施形態によれば、デジタル・インク取り込みおよびデジタル・インク情報の転送は同時に実行される。したがって、先の実施形態による、認識コンピュータ上で再表示されたデジタル・インクを用いて、入力コンピュータ20上と認識コンピュータ10上での手書き入力の同時表示が実現される。
別の実施形態によれば、図5に示すように、ステップ310の後、ステップ320で、ユーザからのデジタル・インク情報を入力コンピュータ上で取り込み、記憶し、再表示し、ステップ330で、取り込んだデジタル・インク情報をリアル・タイムで認識コンピュータ10に転送するが、コンピュータ10はそれに応答して転送デジタル・インク情報の認識を実施しない。このプロセスでユーザが所定の時間、例えば0.5秒間にわたってストローク行為を停止した場合、手書き文字認識機構102が活動化されて認識を行う。
本発明の別の実施形態によれば、図6に示すように、ステップ340で、転送されたデジタル・インク情報を認識コンピュータ上で認識する。ステップ341で、認識結果中で最大の類似性を有する文字を指定されたアプリケーションに出力する。本明細書では最高の類似性とは、手書き文字認識機構102から見て、ユーザの要求に対する蓋然性が最高である文字を指す。次いで、ステップ350で、認識コンピュータ10から入力コンピュータ20に認識結果を転送する。ステップ360で、ユーザの選択のために認識結果中のその他の候補文字を入力コンピュータ20上に表示する。この場合、ユーザは別の候補文字を選択することも、次の入力に進むこともできる。ユーザが入力を続行する場合は、この場合もステップ320に戻る。ユーザが別の候補文字を選択した場合は、ステップ370でユーザの選択を受け入れ、ステップ380で、入力コンピュータ20から認識コンピュータ10にユーザの選択情報を転送する。次いで、ステップ391で、ステップ341で出力した文字を認識コンピュータ上でユーザが選択した文字で置き換え、次いでステップ395に進む。このように、手書き文字認識機構によって文字が正しく認識される場合、ユーザは単に入力を続けるだけでよく、選択や決定を行う必要がない。
本発明の別の実施形態によれば、本発明の協調手書き入力システムは、図7に示すように、1台の認識コンピュータ10が複数の入力コンピュータに接続され、各入力コンピュータへの接続を異なるプロトコルを介して確立できるように構築することができる。これは、本発明で使用されるプロトコル抽象化層109および209の前述の説明と組み合わせればよりよく理解することができる。この実施形態では、認識コンピュータ10は複数の協調手書き入力用ハンドヘルド・コンピュータ20に接続される。この実施形態では、認識コンピュータ内のプロトコル抽象化層109はその上位にユーザ・マネージャ111を備え、入力コンピュータ20のプロトコル抽象化層209もクライアント・ユーザ・マネージャ211を備える。
接続確立中に、まず入力コンピュータ20内のクライアント・ユーザ・マネージャ211が、そのコンピュータのユーザIDを認識コンピュータ10に送信し、次いで、認識コンピュータ内のユーザ・マネージャ111がそのユーザIDを受信し検証する。ユーザIDが検証された場合、ユーザ・マネージャ111は入力コンピュータに対応するユーザ・インスタンスを開始する。図2に示すように、ユーザ・インスタンスは、ユーザ・マネージャ111とプロトコル抽象化層109を除く、そのユーザの認識コンピュータ10に関するすべての構成要素を含む。ユーザ・マネージャ111は、ユーザ・インスタンスの各構成要素と対話する。
さらに、本発明の一実施形態では、入力コンピュータ20上で、入力コンピュータ20および認識コンピュータ10に関するユーザ選好をセットアップするステップと、その選好情報を入力コンピュータ20から認識コンピュータ10に送信するステップも含む。したがって、ユーザは入力コンピュータによって自分の好みの入力方法をカスタマイズすることができる。
以上、本発明をいくつかの具体的な実施形態を使って説明したが、本発明の精神および範囲を逸脱することなく様々な変更および改変を行うことができることは、当分野の技術者には自明である。したがって、前述の実施形態は単に例示のための限定的なものにすぎない。本発明の真の範囲は、添付の特許請求の範囲によってのみ示されるものである。
本発明の一実施形態による協調手書き入力のシステムを示す概略図である。 本発明の一実施形態による手書き入力認識用コンピュータ10を示す概略構成図である。 本発明の一実施形態による手書き入力用ハンドヘルド・コンピュータ20を示す概略構成図である。 本発明の一実施形態による協調手書き入力認識を実行する方法を示す流れ図である。 本発明の別の実施形態による協調手書き入力認識を実行する方法を示す流れ図である。 本発明の別の実施形態による協調手書き入力認識を実行する方法を示す流れ図である。 本発明の一実施形態によると複数のハンドヘルド・コンピュータ20が1台の手書き入力認識コンピュータと協調してどのように手書き入力認識を完了するかを示す概略図である。

Claims (13)

  1. 標準通信プロトコルに基づき手書き入力のための通信接続を確立する第1のプロトコル抽象化層手段、
    ユーザからのデジタル・インク情報を収集し記憶するデジタル・インク取り込み手段、
    前記取り込まれたデジタル・インク情報を表示する第1のデジタル・インク表示手段、
    前記第1のプロトコル抽象化層手段を介して認識コンピュータに前記取り込まれたデジタル・インク情報を送信するデジタル・インク情報転送手段
    を備える入力ハンドヘルド・コンピュータと、
    標準通信プロトコルに基づき手書き入力のための通信接続を確立する第2のプロトコル抽象化層手段、
    前記入力ハンドヘルド・コンピュータから前記デジタル・インク情報を受信するデジタル・インク情報受信手段、
    前記受信したデジタル・インク情報を認識して認識候補を含む認識結果を生成する手書き文字認識機構、
    前記認識結果を出力する結果出力手段
    を備える前記認識コンピュータと
    を含む協調手書き入力システム。
  2. 前記入力ハンドヘルド・コンピュータが、
    前記認識コンピュータからの前記認識結果を受信する認識結果受信手段と、
    前記受信した認識結果中の前記認識候補を表示し、前記ユーザによる前記候補での選択を受け入れる候補表示/選択手段と、
    前記第1のプロトコル抽象化層手段を介して前記認識コンピュータに前記ユーザの前記選択情報を送信する選択情報転送手段と
    をさらに備え、
    前記認識コンピュータが、
    前記第2のプロトコル抽象化層手段を介して前記入力ハンドヘルド・コンピュータに前記認識結果を送信する認識結果転送手段と、
    前記第2のプロトコル抽象化層手段を介して前記入力ハンドヘルド・コンピュータから前記選択情報を受信する選択情報受信手段と
    をさらに備える請求項1に記載のシステム。
  3. 前記認識コンピュータが前記受信したデジタル・インク情報を再表示する第2のデジタル・インク表示手段をさらに備える請求項2に記載のシステム。
  4. 前記入力ハンドヘルド・コンピュータが、
    手書き入力のユーザ選好を設定する第1の選好セットアップ手段と、
    第1のプロトコル抽象化層手段を介して前記認識コンピュータに前記ユーザ選好を送信する選好転送手段と
    をさらに備え、
    前記認識コンピュータが、
    手書き入力のユーザ選好を設定する第2の選好セットアップ手段と、
    第2のプロトコル抽象化層手段を介して前記入力ハンドヘルド・コンピュータから前記ユーザ選好を受信する選好受信手段と
    をさらに備える請求項2に記載のシステム。
  5. 前記入力ハンドヘルド・コンピュータが、前記入力ハンドヘルド・コンピュータを識別する一意のユーザIDを維持し、前記第1のプロトコル抽象化層手段を介して前記認識コンピュータに前記ユーザIDを送信するクライアント・ユーザ・マネージャをさらに含み、
    前記認識コンピュータが、前記入力ハンドヘルド・コンピュータから受信した前記ユーザIDを検証し対応するユーザ・インスタンスを開始するユーザ・マネージャをさらに含む請求項2に記載のシステム。
  6. 1台の認識コンピュータおよび複数の入力ハンドヘルド・コンピュータを含む請求項5に記載のシステム。
  7. 認識コンピュータおよび入力ハンドヘルド・コンピュータを含む情報処理システムにおける協調手書き入力方法であって、
    前記認識コンピュータと前記入力ハンドヘルド・コンピュータの間で通信接続を確立すること、
    前記入力ハンドヘルド・コンピュータ上でユーザからのデジタル・インク情報を取り込み、記憶し、表示すること、
    取り込んだデジタル・インク情報を前記認識コンピュータに転送すること、
    前記認識コンピュータ上で前記デジタル・インク情報を認識すること、および
    認識結果を出力すること
    を含む前記の方法。
  8. 前記認識するステップが、
    前記認識コンピュータから前記入力ハンドヘルド・コンピュータに前記認識結果を転送すること、
    前記入力ハンドヘルド・コンピュータ上で前記認識結果中の認識候補を表示すること、
    前記候補に関する前記ユーザの選択を受け入れること、および
    前記入力ハンドヘルド・コンピュータから前記認識コンピュータに前記ユーザの前記選択情報を転送すること
    をさらに含む請求項7に記載の方法。
  9. 前記取り込むステップと前記転送するステップが同時に実行され、前記ユーザが所定の時間入力アクティビティを停止したかどうか判定するステップをさらに含む請求項7に記載の方法。
  10. デジタル・インク情報を転送する前記ステップが、前記認識コンピュータ上で前記入力デジタル・インクを再表示するステップをさらに含む請求項7に記載の方法。
  11. 前記認識するステップが、
    前記認識結果中で最高の蓋然性を有する文字を特定のアプリケーションに出力すること、
    前記認識コンピュータから前記入力ハンドヘルド・コンピュータに前記認識結果を転送すること、
    前記入力ハンドヘルド・コンピュータ上で前記認識結果中の認識候補を表示すること、
    前記ユーザが訂正を選択したかどうか判定し、選択しなかった場合、取り込むステップに戻ること、
    前記ユーザによる前記候補に関する選択を受け入れること、
    前記入力ハンドヘルド・コンピュータから前記認識コンピュータに前記選択情報を転送すること、および
    前記特定のアプリケーションへの前記文字出力を前記ユーザが選択した前記文字で置き換えること
    をさらに含む請求項7に記載の方法。
  12. 前記確立するステップが、
    前記入力ハンドヘルド・コンピュータから前記認識コンピュータにユーザIDを送信すること、
    前記認識コンピュータ上で前記ユーザIDを検証すること、
    前記認識コンピュータ上で各ユーザIDに対応するユーザ・インスタンスを開始すること、および
    前記認識コンピュータと前記入力ハンドヘルド・コンピュータの間の通信接続を確立すること
    を含む請求項7に記載の方法。
  13. 前記情報処理システムが認識コンピュータおよび複数の入力ハンドヘルド・コンピュータを含む請求項12に記載の方法。
JP2003519868A 2001-08-08 2002-07-23 協調手書き入力のシステムおよび方法 Pending JP2005517226A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CNB011247878A CN1190721C (zh) 2001-08-08 2001-08-08 协同手写输入的系统和方法
PCT/US2002/023574 WO2003015013A1 (en) 2001-08-08 2002-07-23 System and method for collaborative handwriting input

Publications (1)

Publication Number Publication Date
JP2005517226A true JP2005517226A (ja) 2005-06-09

Family

ID=4665801

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003519868A Pending JP2005517226A (ja) 2001-08-08 2002-07-23 協調手書き入力のシステムおよび方法

Country Status (9)

Country Link
US (1) US20050147301A1 (ja)
EP (1) EP1425706A4 (ja)
JP (1) JP2005517226A (ja)
KR (1) KR100648161B1 (ja)
CN (1) CN1190721C (ja)
AU (1) AU2002327333B2 (ja)
CA (1) CA2451450A1 (ja)
IL (1) IL160071A0 (ja)
WO (1) WO2003015013A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013505631A (ja) * 2009-09-22 2013-02-14 サムスン エレクトロニクス カンパニー リミテッド ディスプレイ装置及び携帯電話の制御方法

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060197755A1 (en) * 2005-03-02 2006-09-07 Bawany Muhammad A Computer stylus cable system and method
CN101650595A (zh) * 2009-05-14 2010-02-17 上海闻泰电子科技有限公司 一种实现移动终端向计算机输入文字的方法及装置
CN102147660B (zh) * 2011-03-22 2015-08-05 百度在线网络技术(北京)有限公司 一种基于多个用户协同编辑的输入的方法与设备
CN102455866A (zh) * 2011-09-29 2012-05-16 北京壹人壹本信息科技有限公司 一种手写文字信息的匹配处理方法及装置
US9620122B2 (en) 2011-12-08 2017-04-11 Lenovo (Singapore) Pte. Ltd Hybrid speech recognition
US9148537B1 (en) 2012-05-18 2015-09-29 hopTo Inc. Facial cues as commands
US8738814B1 (en) 2012-05-25 2014-05-27 hopTo Inc. System for and method of translating motion-based user input between a client device and an application host computer
US9395826B1 (en) * 2012-05-25 2016-07-19 hopTo Inc. System for and method of translating motion-based user input between a client device and an application host computer
US8745280B1 (en) 2012-05-25 2014-06-03 hopTo, Inc. System for and method of translating motion-based user input between a client device and an application host computer
US20140087714A1 (en) * 2012-09-26 2014-03-27 Tencent Technology (Shenzhen) Company Limited Device control method and apparatus
CN103116421A (zh) * 2013-02-19 2013-05-22 广州市渡明信息技术有限公司 一种手持电子设备中手写输入的检测方法和系统
CN103645849A (zh) * 2013-12-20 2014-03-19 广东威创视讯科技股份有限公司 一种对浏览器页面操作的处理方法
CN104093074B (zh) * 2014-07-11 2017-05-24 四川金网通电子科技有限公司 串口控制台应用于机顶盒的方法
CN105357207B (zh) * 2015-11-19 2019-01-29 广州视睿电子科技有限公司 一种同步书写方法、移动终端、服务器及系统
CN105549894A (zh) * 2016-01-28 2016-05-04 上海海漾软件技术有限公司 触摸信息处理、获取的方法、装置及触摸信息处理系统
US10607606B2 (en) 2017-06-19 2020-03-31 Lenovo (Singapore) Pte. Ltd. Systems and methods for execution of digital assistant

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5226091A (en) * 1985-11-05 1993-07-06 Howell David N L Method and apparatus for capturing information in drawing or writing
US5133076A (en) * 1989-06-12 1992-07-21 Grid Systems Corporation Hand held computer
JPH04238525A (ja) * 1991-01-22 1992-08-26 Sony Corp 文字入力制御装置および方法
US5946406A (en) * 1991-06-17 1999-08-31 Microsoft Corporation Method and system for data entry of handwritten symbols
US5347477A (en) * 1992-01-28 1994-09-13 Jack Lee Pen-based form computer
CA2089784C (en) * 1992-04-15 1996-12-24 William Joseph Anderson Apparatus and method for disambiguating an input stream generated by a stylus-based user interface
US5367453A (en) * 1993-08-02 1994-11-22 Apple Computer, Inc. Method and apparatus for correcting words
US5454046A (en) * 1993-09-17 1995-09-26 Penkey Corporation Universal symbolic handwriting recognition system
US5546538A (en) 1993-12-14 1996-08-13 Intel Corporation System for processing handwriting written by user of portable computer by server or processing by the computer when the computer no longer communicate with server
IL108566A0 (en) * 1994-02-04 1994-05-30 Baron Research & Dev Company L Handwriting input apparatus using more than one sensing technique
AU684872B2 (en) * 1994-03-10 1998-01-08 Cable And Wireless Plc Communication system
US6154758A (en) * 1994-05-13 2000-11-28 Apple Computer, Inc. Text conversion method for computer systems
US5812697A (en) * 1994-06-10 1998-09-22 Nippon Steel Corporation Method and apparatus for recognizing hand-written characters using a weighting dictionary
US5666438A (en) * 1994-07-29 1997-09-09 Apple Computer, Inc. Method and apparatus for recognizing handwriting of different users of a pen-based computer system
US5768417A (en) * 1994-09-09 1998-06-16 Motorola, Inc. Method and system for velocity-based handwriting recognition
US5845255A (en) * 1994-10-28 1998-12-01 Advanced Health Med-E-Systems Corporation Prescription management system
US5737443A (en) * 1994-11-14 1998-04-07 Motorola, Inc. Method of joining handwritten input
US6055333A (en) * 1995-12-28 2000-04-25 Motorola, Inc. Handwriting recognition method and apparatus having multiple selectable dictionaries
US5818425A (en) 1996-04-03 1998-10-06 Xerox Corporation Mapping drawings generated on small mobile pen based electronic devices onto large displays
JPH1115914A (ja) * 1997-06-09 1999-01-22 Internatl Business Mach Corp <Ibm> 文字データ入力装置およびその方法
US6163274A (en) * 1997-09-04 2000-12-19 Ncr Corporation Remotely updatable PDA
US20100008551A9 (en) * 1998-08-18 2010-01-14 Ilya Schiller Using handwritten information
US6345389B1 (en) * 1998-10-21 2002-02-05 Opentv, Inc. Interactive television system and method for converting non-textual information to textual information by a remote server

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013505631A (ja) * 2009-09-22 2013-02-14 サムスン エレクトロニクス カンパニー リミテッド ディスプレイ装置及び携帯電話の制御方法
US9298519B2 (en) 2009-09-22 2016-03-29 Samsung Electronics Co., Ltd. Method for controlling display apparatus and mobile phone

Also Published As

Publication number Publication date
KR20040019036A (ko) 2004-03-04
IL160071A0 (en) 2004-06-20
CN1400518A (zh) 2003-03-05
US20050147301A1 (en) 2005-07-07
EP1425706A1 (en) 2004-06-09
WO2003015013A1 (en) 2003-02-20
KR100648161B1 (ko) 2006-11-24
EP1425706A4 (en) 2009-06-24
CN1190721C (zh) 2005-02-23
AU2002327333B2 (en) 2008-01-17
CA2451450A1 (en) 2003-02-20

Similar Documents

Publication Publication Date Title
US9679400B2 (en) Pictoral methods for application selection and activation
JP2005517226A (ja) 協調手書き入力のシステムおよび方法
JP3900605B2 (ja) データ送信/受信/送受信装置、データ伝送システム、及び、データ送信/受信/送受信/伝送方法
JP6090413B2 (ja) ログイン時の自動的動作実行
AU2002327333A1 (en) System and method for collaborative handwriting input
US20140152543A1 (en) System, data providing method and electronic apparatus
US11620414B2 (en) Display apparatus, display method, and image processing system
US11132122B2 (en) Handwriting input apparatus, handwriting input method, and non-transitory recording medium
TW200401998A (en) Auxiliary input device
JP2020064625A (ja) 入力装置、入力方法、プログラム、入力システム
CN111813254B (zh) 手写输入装置、手写输入方法以及记录介质
US11693557B2 (en) Systems and methods for non-contacting interaction with user terminals
JP6095103B2 (ja) 電子機器、通信方法及びプログラム
WO2020140819A1 (zh) 一种检测图像的方法和设备
JPH10293813A (ja) 手書き入力認識システムおよびその方法
US9769355B2 (en) Method and apparatus for gesture-based device access
JP5611380B2 (ja) 端末装置、入力制御方法、及びプログラム
WO2016121403A1 (en) Information processing apparatus, image processing system, and program
KR20030081741A (ko) 개인용 휴대 단말기 및 그의 이미지 인식 방법
TWI475399B (zh) 資料傳輸方法與系統
JPH10255063A (ja) 画像処理システム

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060314

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20060407

RD12 Notification of acceptance of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7432

Effective date: 20060407

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20060407

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20070410