JP2004342101A

JP2004342101A - データ処理装置及び方法

Info

Publication number: JP2004342101A
Application number: JP2004139615A
Authority: JP
Inventors: Alan Blount; ブラント、アラン; Todd Pinkerton; ピンカートン、トッド
Original assignee: Orange SA
Current assignee: Orange SA
Priority date: 2003-05-08
Filing date: 2004-05-10
Publication date: 2004-12-02
Also published as: EP1475741B1; ATE313832T1; DE60302875T2; ES2252629T3; US7562314B2; EP1475741A1; DE60302875D1; US20040223647A1

Abstract

【課題】手書き文字によってデータをタッチスクリーン上に入力するデータ処理装置を提供する。
【解決手段】データ処理装置は、タッチスクリーン上にユーザが手書きした文字の推定値を生成する文字認識プロセッサと、文字認識プロセッサによって生成された推定文字が供給されるデータ処理部と、データ処理部から推定文字が供給され、タッチスクリーンの入力テキストウィンドウ内に文字の推定値を表示するグラフィクスディスプレイドライバとを備える。データ処理部は、グラフィクスディスプレイドライバと協働して、推定文字を、実質的にタッチスクリーンのユーザが文字を手書きした位置に表示する。その結果、ユーザは文字を書いた位置と同じ位置において認識された文字を確認することができ、テキストデータをより効率的に入力することができる。すなわち、ユーザはテキストを書いた位置と文字の推定値が表示される位置との間で注意の焦点を移動させる必要がなく、少なくともある程度は入力効率を上げることができる。
【選択図】図１

Description

本発明は、テキストを手書きすることによりデータを入力するデータ処理装置及び方法、このデータ処理装置を備えた携帯情報端末及び移動通信装置、このデータ処理方法を実現するコンピュータプログラム、このコンピュータプログラムを格納した媒体に関する。

例えば携帯情報端末（ＰＤＡ）、移動通信装置等のデータ処理装置は、タッチスクリーン（touch sensitive display screen）上に英数字を手書きすることによってテキスト情報を入力する機能を備えることができる。手書きされた英数字は、文字認識プロセッサによって認識される。認識された文字は、通常、スクリーン上のダイアログボックス又は入力テキストウィンドウ内に表示される。通常、人間の手で文字を書くのに必要な領域は、認識された文字を表示するのに必要な領域よりも広いので、テキストは、ユーザが手書きにより文字を入力する位置から外れた位置により小さな形状で表示される。

非特許文献１には、手書き文字を認識することによりテキストを入力する処理装置が開示されている。文字は、タッチスクリーン上に書かれる。文字認識処理プロセッサは、手書き文字を推定し、演算処理装置は、推定文字が供給され、この推定文字を、手書き文字に代えてタッチスクリーン上に表示する。

特許文献１には、手書き文字を認識することによりテキストを入力するコンピュータシステムが開示されている。ユーザは、入力するテキストの文字をタブレットの入力グリッド上に手書きする。手書きされたテキストは、コンピュータのスクリーンの第１の領域上に表示される。文字認識プロセッサは、手書き推定文字をＡＳＣＩ文字の形式で生成し、推定した文字を、コンピュータスクリーンの異なる領域に表示された文書処理中の文書の挿入位置に表示する。

２００２年３月７日に公開された米国特許出願公開第２００２／００２７５５０Ａ１号１９９１年１１月１１日に開催されたＵＩＳＴ’９１のユーザインタフェースソフトウェア及び技術に関するＡＣＭシンポジウムの予稿集の１２７〜１３５頁（ＸＰ０００３１５０７３）、ディ・ゴールドバーグ他著（D. Goldberg et al, published on 11 November 1991, at UIST '91, Proceedings of the ACM Symposium on User Interface Software and Technology pages 127-135 (XP0003 15073)）「テキストを操作するためのスタイラスユーザインタフェース（Stylus User Interfaces for Manipulating Text）」

図８は、テキスト情報を手書きによって入力することができるユーザインタフェースを備えた携帯情報端末（以下、ＰＤＡという。）１を示す図である。タッチスクリーン２は、ペン、指、ワンド又は他の道具のストロークを認識する。ペン又は指のストロークは、文字認識プロセッサによって認識され、文字の推定値が生成される。図８に示す具体例の場合、数字の「２」４が、タブレットペン６を用いてタッチスクリーン２上に書かれている。ＰＤＡ１は、数字「２」を認識し、認識した数字「２」の文字を入力テキストダイアログボックス８内の位置９に生成する。入力テキストダイアログボックス８内に示すように、数字「２」が認識され、入力テキストダイアログボックス８の入力行１０に表示される。

ＰＤＡ１は、メニューバー１２上にメニューの選択肢を提供するウィンドウタイプインタフェースも備えていてもよく、更に入力キー、すなわちキー１４を備えていてもよい。

図９は、移動無線電話機の具体例を示す図であり、移動無線電話機２０は、タッチスクリーン２２を備え、ユーザは、指又はタブレットペン２４等を用いてタッチスクリーン２２上に文字を書き、これらの文字から成るテキスト情報を入力することができる。図９に示す具体例においては、移動無線電話機２０内の文字認識プロセッサによって認識される文字は、タッチスクリーン２２上におけるタブレットペンのストロークから推定され、入力表示領域２６上に表示される。

しかしながら、図８及び図９に示す具体的な用途から明らかなように、ユーザは、タッチスクリーン２、２２上に文字を書いた後、入力した文字が文字認識プロセッサによって正しく推定されたことを確認するために、ＰＤＡ１の入力行１０又は移動無線電話機２０の入力表示領域２６へ注意を移さなければならない。このように、ユーザは、自分自身の注意を、テキストを書いた位置から認識及び推定文字が表示される入力テキスト表示領域の位置に移さなければならず、テキストを入力する速度が遅くなってしまうことがある。

ここで、図１０及び図１１を用いて、このような従来のＰＤＡや移動無線電話機に内蔵されているデータ処理装置の動作をより詳細に説明する。

図１０において、タブレットペン１４０は、タッチスクリーン１３０上に文字１４２を書くために用いられる。従来のデータ処理装置内の文字認識プロセッサは、タブレットペン１４０のストロークの動きを表すデータから手書き文字と一致するアルファベット文字又は数字（以下、英数字という。）を検出する。その結果、文字認識プロセッサは、手書き文字の推定値を生成し、入力テキスト表示領域１４４内に表示する。この具体例においては、ユーザはフレーズ「I am going to the pub」を入力している。

当業者には明らかなように、文字認識プロセッサが検出できる手書き文字の精度には、限界がある。すなわち、手書き文字と一致すると推定されたテキスト文字は、実際に意図したもの、すなわちユーザによって書かれたものと一致しない場合がある。その結果、従来の手書き文字認識データ処理装置を用いてテキスト情報を入力すると、文字認識プロセッサは、誤って手書き文字を意図されたものと異なる文字と判断することがある。その結果、図１１に示すように、ユーザは単語「ｔｈｅ」の２番目の文字である文字「ｈ」を書くことを意図していたが、文字認識プロセッサは矢印１４６によって示される入力テキスト表示領域内の入力文字位置に表示されるように、文字「ｎ」として検出した。従来のデータ処理装置の動作の場合、ユーザは、右から左に水平にペンを動かす等のバックスペース又は「文字消去」コマンドを入力して誤った文字を消去し、この文字を再入力しなければならない。

上述のように、従来のデータ処理装置においては、認識された手書き文字は入力テキスト表示領域１４４内に表示され、この位置は、タッチスクリーン１３０上の実際に文字を手書き入力した位置とは別の位置である。その結果、ユーザは、絶えず注意の焦点を図１０及び図１１に示す手書き入力領域１４８によって表されるテキストが書かれる領域から入力テキスト表示領域１４４に移さなければならない。これは、テキスト情報を入力する進行の妨げとなることがある。

本発明は、文字をタッチスクリーン上に手書きすることによってデータを入力するデータ処理装置を提供する。データ処理装置は、タッチスクリーンの手書き領域にユーザが手書きした文字の推定値を生成する文字認識プロセッサと、文字認識プロセッサによって生成された推定文字が供給されるデータ処理部と、グラフィクスディスプレイドライバとを備える。グラフィクスディスプレイドライバは、データ処理部から推定文字が供給され、タッチスクリーンの入力テキストウィンドウ内に推定文字を表示する。入力テキストウィンドウは、タッチスクリーンの手書き領域から離れている。データ処理部は、グラフィクスディスプレイドライバと協働して、推定文字を、実質的にタッチスクリーンの手書き領域の文字が手書きされた位置に、有限の所定継続時間表示する。

従来の手書きテキストの形式でデータを入力する機能を有するデータ処理装置は、通常、ユーザが文字を書いた領域から離れた入力テキストウィンドウに書かれた推定文字を表示する。手書き領域と入力テキストウィンドウを離す理由の１つとして、人間が書くことのできる文字の大きさは、一般に人間の目で認識することのできるテキストの文字よりも大きいという点がある。このため、従来、認識されたテキストは、ユーザが文字を書いた領域から離れた入力テキストウィンドウ内に、通常、書かれた文字よりも小さく表示されている。

本発明は、携帯情報端末（ＰＤＡ）又は移動通信装置等に用いられるデータ処理装置及びタッチスクリーン上に文字を効率的に手書き入力する機能を提供する。タッチスクリーン上のユーザが文字を手書きした位置に推定文字を表示することによって、ユーザの注意の焦点を別の位置に移動させずに認識された文字の確認を得ることができる。その結果、ユーザが手書きによってテキストを入力する速度を速める効果が得られる。文字認識プロセッサによって認識された文字が誤っていた場合、ユーザは素早くその表示を見て誤った文字を訂正することができる。

幾つかの実施例において、文字の推定値は、ユーザが次の文字を書くことを指示（indicate）するまで、ユーザが文字を書いた位置の近傍に表示するようにしてもよい。指示とは、例えば、ユーザが前の文字を書き終え、次の文字を書き始めるためにスクリーンに触れることであってもよい。なお、本発明の実施例は、文字が書かれた位置の近傍に、推定文字を所定継続時間表示する装置を提供する。所定継続時間は、推定文字の表示がタッチスクリーン上に文字を書く速さを妨げず、且つ、ユーザによって表示された文字を確認することができる程度の長さである。例えば、所定継続時間は０．０５〜０．２秒である。

本発明の更なる目的及び特徴は、特許請求の範囲により定義される。本発明の他の目的は、携帯情報端末、移動通信装置及び手書き文字入力方法、並びにコンピュータプログラムを提供することである。

本発明に係るテキストを手書きすることによりデータを入力するデータ処理装置及び方法、このデータ処理装置を備えた携帯情報端末及び移動通信装置、このデータ処理方法を実現するコンピュータプログラム、このコンピュータプログラムを格納した媒体では、タッチスクリーン上のユーザが文字を手書きした位置に推定文字を表示することによって、ユーザの注意の焦点を別の位置に移動させずに認識された文字の確認を得ることができる。その結果、ユーザが手書きによってテキストを入力する速度を速める効果が得られる。文字認識プロセッサによって認識された文字が誤っていた場合、ユーザは素早くその表示を見て誤った文字を訂正することができる。

以下、本発明に係るデータ処理装置及び方法、このデータ処理装置を備えた携帯情報端末及び移動通信装置、このデータ処理方法を実現するコンピュータプログラム、このコンピュータプログラムを格納した媒体の実施例について、図面を参照して説明する。

この実施例は、テキストの文字をタッチスクリーン（touch sensitive display screen）上に手書きすることによってテキスト情報の入力を容易にするものである。図１は、本発明を適用したデータ処理装置の具体的な構成を示すブロック図である。

このデータ処理装置は、図１に示すように、タッチスクリーン３０の手書き領域にユーザが手書きした文字の推定値を生成する文字認識プロセッサ３２と、文字認識プロセッサ３２によって生成された推定文字が供給されるデータ処理部３４と、データ処理部から推定文字が供給され、推定文字を、タッチスクリーン３０の手書き領域から離れたタッチスクリーン３０の入力テキストウィンドウ内に表示するグラフィクスディスプレイドライバ３６とを備える。

図１において、タッチスクリーン３０は、指又はタブレットペンのストロークを介して入力されたデータを検出する。タブレットペンのストロークを示すデータは、文字認識プロセッサ３２に供給される。文字認識プロセッサ３２は、タッチスクリーン３０上に手書きされた文字の推定値を生成する。文字認識プロセッサ３２によって認識された推定文字は、データ処理部３４に供給される。データ処理部３４は、グラフィクスディスプレイドライバ３６と協働して、文字認識プロセッサ３２により推定された文字をタッチスクリーン３０上に表示する。

ここまでに述べた図１に示すデータ処理装置の構成は、実質的に、従来のテキスト情報を生成するデータ処理装置の構成と同じである。

上述した本発明の実施例によって解決しようとする技術的課題は、手書き入力からテキスト情報を生成する従来のデータ処理装置においては、ユーザの注意の焦点を、文字が書かれた位置から文字認識プロセッサによって生成された手書き文字の推定値が表示される入力テキスト表示領域内の位置まで移す必要があるという点である。

本発明を適用した図１に示すデータ処理装置の動作を、図２乃至５を用いて具体的に説明する。図２において、タブレットペン４０は、タッチスクリーン３０上に文字を書くために用いられる。上述のように、文字認識プロセッサ３２は、手書き文字の推定値を生成し、入力テキスト表示領域４４に文字を表示する。図２及び図３に示す具体例においても、図１０及び図１１に示す従来の具体例と同様に、文字認識プロセッサ３２は、文字「ｈ」を文字「ｎ」と誤って判断したものとする。しかしながら、本発明を適用したデータ処理部３４は、図１０及び図１１に示す具体例の従来のデータ処理装置とは異なり、文字認識プロセッサ３２によって認識された文字を、実質的にユーザが所望の文字を書いた図２に示す手書き入力領域４８に表示する。このように、ユーザは、自分自身の注意を手書き入力領域４８から入力テキスト表示領域４４へ移動させずに、文字認識プロセッサ３２によって認識された文字を確認することができる。その結果、ユーザは、より効率的にデータ処理装置を用いてテキストを入力することができる。

図２のペンのストロークから文字認識プロセッサ３２によって認識された文字は、図１０及び図１１に示す従来の具体例と同様に、図３に示すように、文字「ｎ」である。そこで、ユーザは、注意の焦点を移さずに、文字「ｎ」を削除するバックスペースを実行し、図４及び図５に示すように所望の文字「ｈ」を再度書くことができる。したがって、図５に示すように、文字認識プロセッサ３２は、文字「ｈ」を正しく認識し、タッチスクリーン３０上のユーザが意図した文字「ｈ」を手書きした手書き入力領域４８と略同じ位置に再び表示する。

一実施例においては、認識された文字は、手書き入力領域４８の文字を手書き入力した位置の近傍に表示され、その大きさは、実質的にユーザによって書かれた文字の大きさに等しい。したがって、ユーザは、文字が実際に手書きしたかのように表示され、文字を十分に確認することができる。

一実施例においては、推定文字は、ユーザが文字を手書き入力した位置の近傍に表示され、その表示は、ユーザが次の文字を入力するためにタッチスクリーンに再びタブレットペン４０を当てるまで維持される。なお、この実施例では、推定文字の表示は、ユーザによって入力した文字の推定値が確認できるような所定の時間継続される。この所定継続時間は、ユーザが推定文字を確認することができる程度の長さであり、且つ、ユーザが次の文字を入力するのを妨げない程度に短いという基準に従って設定される。例えば、０．０５〜０．２秒の継続時間が所望の基準を実現すると見い出された。このため、データ処理装置は、図１に示すように、所定継続時間を決定するための時計３８を備えている。

図６は、図１に示すデータ処理装置の動作を説明するためのフローチャートである。データ処理装置で実行される処理の要点は、以下の通りである。

ステップＳ１において、ユーザは、タッチスクリーン３０上に文字を手書きする。

ステップＳ２において、文字認識プロセッサ３２は、ステップＳ１で入力された手書き文字の推定値を生成する。

ステップＳ４において、推定文字は、タッチスクリーン３０上の入力テキスト表示領域４４に表示される。

ステップＳ５において、推定文字は、認識された文字のユーザによる確認のために、手書き入力領域４８の近傍に表示される。すなわち、推定文字は、検出され、ユーザが推定文字を確認するために、ユーザ自身の注意を他の位置へ移す必要がない位置に表示される。

ステップＳ６において、推定文字は、所定の時間の経過後、手書き入力領域４８の近傍から消去される。継続時間は、ユーザが検出された文字を確認することができ、且つ、ユーザが次の文字を入力するのを妨げないように設定されている。

他の実施例において、手書き入力位置の近傍に表示された推定文字は、ユーザが次の文字を書くと直ちにスクロールし、入力テキスト表示領域全体４４に亘って、手書き入力の結果を確認できるように、移動される。図１に示すデータ処理装置での具体例を、図７に示す。図７に示すように、ユーザが新しい文字６０をタッチスクリーン３０上に書き始めると、矢印６４によって示されるように、既に確認された文字６２は左にスクロールされる。したがって、更に容易に手書きによってテキスト情報を入力することができる。

なお、本発明は、上述した実施例に限定されるものではなく、本発明を適用していかなる種類の文字を認識及び表示してもよいことは明らかである。本発明は、アラビア文字、数字又はローマ文字、数字に限定されず、中国語、日本語、ギリシア語を含む人間が使用する他のいかなる言語にも用いることができる。

また、上述した実施例のデータ処理装置は、様々な機器又は装置に組み込むことができ、例えば、従来の技術で述べた図１に示す携帯情報端末、図２に示す移動通信装置等に組み込むことができる。更に、上述したデータ処理装置は、ハードウェアだけではなく、ファームウェア、ソフトウェア、又はこれらの組合せによって実現することができる。そして、例えばマイクロプロセッサ、デジタルシグナルプロセッサ（ＤＳＰ）等に組み込まれた場合に、文字を認識し、手書き文字が入力された位置の近傍にその文字を表示するように動作するプログラム、このプログラムを格納した媒体も、本発明に含まれるとは言うまでもない。

更に、本発明は、上述した実施例に限定されものではなく、特許請求の範囲及びその趣旨に逸脱することなく様々な変更を行うことができる。

本発明を適用したデータ処理装置の具体的な構成を示すブロック図である。データ処理装置のタッチスクリーンを示す図である。図２に示すタッチスクリーンの他の状態を示す図である。図２に示すタッチスクリーンの更に他の状態を示す図である。図２に示すタッチスクリーンの更に他の状態を示す図である。文字を手書きすることによってデータを入力する方法を説明するためのフローチャートである。図２に示すタッチスクリーンの他の状態を示す図である。従来の携帯情報端末の外観を示す図である。従来の移動無線電話機の外観を示す図である。本発明が解決しようとする問題を示すタッチスクリーンの具体例を示す図である。図１０に示すタッチスクリーンの他の状態を示す図である。

符号の説明

３０タッチスクリーン、３２文字認識プロセッサ、３４データ処理部、３６グラフィックスディスプレイドライバ、３８時計

Claims

文字をタッチスクリーン上に手書きすることによってデータを入力するデータ処理装置において、
上記タッチスクリーンの手書き領域にユーザが手書きした文字の推定値を生成する文字認識プロセッサと、
上記文字認識プロセッサによって生成された推定文字が供給されるデータ処理部と、
上記データ処理部から上記推定文字が供給され、該推定文字を、上記タッチスクリーンの手書き領域から離れた該タッチスクリーンの入力テキストウィンドウ内に表示するグラフィクスディスプレイドライバとを備え、
上記データ処理部は、上記グラフィクスディスプレイドライバと協働して、上記推定文字を、実質的に上記タッチスクリーンの上記手書き領域の文字が手書きされた位置に、有限の所定継続時間表示することを特徴とするデータ処理装置。
上記推定文字を表示する所定継続時間は、該推定文字の表示がタッチスクリーン上に文字を書く速さを妨げず、且つ、ユーザによって表示された文字を確認することができる程度の長さであることを特徴とする請求項１記載のデータ処理装置。
上記所定継続時間は、０．０５〜０．２秒であることを特徴とする請求項２記載のデータ処理装置。
上記文字が手書きされた位置の近傍に上記所定継続時間表示される上記推定文字は、上記手書きされた文字に実質的に対応した大きさを有することを特徴とする請求項１乃至３いずれか１項記載のデータ処理装置。
複数の推定文字を該文字が書かれた位置の近傍に表示し、前に書かれた推定文字を現在の文字に対してスクロールすることを特徴とする請求項１乃至４いずれか１項記載のデータ処理装置。
携帯情報端末において、
文字をタッチスクリーン上に手書きすることによってデータを入力するデータ処理装置を備え、
上記データ処理装置は、
上記タッチスクリーンの手書き領域にユーザが手書きした文字の推定値を生成する文字認識プロセッサと、
上記文字認識プロセッサによって生成された推定文字が供給されるデータ処理部と、
上記データ処理部から上記推定文字が供給され、該推定文字を、上記タッチスクリーンの手書き領域から離れた該タッチスクリーンの入力テキストウィンドウ内に表示するグラフィクスディスプレイドライバとを備え、
上記データ処理部は、上記グラフィクスディスプレイドライバと協働して、上記推定文字を、実質的に上記タッチスクリーンの上記手書き領域の文字が手書きされた位置に、有限の所定継続時間表示することを特徴とする携帯情報端末。
移動通信装置において、
文字をタッチスクリーン上に手書きすることによってデータを入力するデータ処理装置を備え、
上記データ処理装置は、
上記タッチスクリーンの手書き領域にユーザが手書きした文字の推定値を生成する文字認識プロセッサと、
上記文字認識プロセッサによって生成された推定文字が供給されるデータ処理部と、
上記データ処理部から上記推定文字が供給され、該推定文字を、上記タッチスクリーンの手書き領域から離れた該タッチスクリーンの入力テキストウィンドウ内に表示するグラフィクスディスプレイドライバとを備え、
上記データ処理部は、上記グラフィクスディスプレイドライバと協働して、上記推定文字を、実質的に上記タッチスクリーンの上記手書き領域の文字が手書きされた位置に、有限の所定継続時間表示することを特徴とする移動通信装置。
移動無線電話機であることを特徴とする請求項７記載の移動通信装置。
文字をタッチスクリーン上に手書きすることによってデータを入力する手書き文字入力方法において、
上記タッチスクリーンの手書き領域にユーザが手書きした文字の推定値を生成する推定文字生成ステップと、
上記推定文字を、上記タッチスクリーンの手書き領域から離れた該タッチスクリーンの入力テキストウィンドウ内に表示する推定文字表示ステップとを有し、
上記推定文字表示ステップは、上記推定文字を、実質的に上記タッチスクリーンの手書き領域の文字が手書きされた位置に、有限の所定継続時間表示することを特徴とする手書き文字入力方法。
上記推定文字をユーザに表示する所定継続時間は、該推定文字の表示がタッチスクリーン上に文字を書く速さを妨げず、且つ、ユーザによって表示された文字を確認することができる程度の長さであることを特徴とする請求項９記載の手書き文字入力方法。
上記所定継続時間は、０．０５〜０．２秒であることを特徴とする請求項１０記載の手書き文字入力方法。
上記推定文字表示ステップは、上記推定文字を、上記文字が手書きされた位置の近傍に、該手書きされた文字に実質的に対応する大きさで上記所定継続時間表示することを特徴とする請求項９乃至１１いずれか１項記載の手書き文字入力方法。
上記推定文字表示ステップは、複数の推定文字を該文字が書かれた位置の近傍に表示し、前に書かれた推定文字を、現在の文字に対してスクロールすることを特徴とする請求項９乃至１２いずれか１項記載の手書き文字入力方法。
データ処理装置にロードされ、文字をタッチスクリーン上に手書きすることによってデータを入力する手書き文字入力方法をコンピュータに実行させるコンピュータプログラムにおいて、
上記手書き文字入力方法は、
上記タッチスクリーンの手書き領域にユーザが手書きした文字の推定値を生成する推定文字生成ステップと、
上記推定文字を、上記タッチスクリーンの手書き領域から離れた該タッチスクリーンの入力テキストウィンドウ内に表示する推定文字表示ステップとを有し、
上記推定文字表示ステップは、上記推定文字を、実質的に上記タッチスクリーンの手書き領域の文字が手書きされた位置に、有限の所定継続時間表示することを特徴とするコンピュータプログラム。
請求項１４に記載のコンピュータプログラムを表す情報を格納した媒体。