JP2010113656A - 手書き入力機能を有する情報処理装置 - Google Patents

Abstract

【課題】手書き入力機能を有する情報処理装置において、手書き入力情報の誤入力の低減と、手書き入力の操作負担の軽減を図ることを課題とする。
【解決手段】情報を入力する入力部と、前記入力部に入力が行われていることを検知する第１入力検知部と、前記入力部とは異なる領域に入力があることを検知する第２入力検知部とを備え、前記第１入力検知部により前記入力部に入力が行われなくなったと検知され、かつ第２入力検知部により、入力があることを検知した場合に、前記入力部に入力された情報が継続されていると判断する制御部とを備えたことを特徴とする。
【選択図】図８

Description

この発明は、手書き入力機能を有する情報処理装置に関し、特に、ペン等を用いて手書きされた文字等を認識して情報を入力することの可能な情報処理装置に関する。

従来から、電子辞書，ＰＤＡ，パソコン等の情報処理装置において、いわゆるタブレットやタッチパネルなどの入力領域を設け、この入力領域に、ペンを用いて文字や記号を手書き入力し、その文字等の入力終了後に入力された文字を認識して、所望の情報を入力するものがある（特許文献１参照）。

たとえば、和英辞典を有する電子辞書で、「木」という文字を手書き入力した場合、まず、入力された「木」という文字の認識をした後、「木」に対応する英語である「tree」が辞書検索され、「tree」が表示される。
また、国語辞典を有する電子辞書で、「木」という文字を手書き入力した場合、「木」を文字認識した後、その文字の読みである「き，もく」を表示したり、その意味内容や用例を表示したりする。この場合、電子辞書に組み込まれた情報処理モジュールが、「木」という文字の入力が終了したことを認識する必要がある。

また、手書き入力する文字が２字以上の場合もあるが、この場合は、１文字ごとに入力が終了したことを認識する必要がある。
このような文字の入力が終了したことを情報処理装置が認識する方法として、主として、次の２つの方法が用いられている。
（１）入力終了を意味する特定のキーの入力を検出したこと（入力操作検出）。
（２）ペンによる入力が一定時間以上なかったことを検出したこと（時間経過検出）。

上記（１）の入力操作検出の方法では、キーボードの中で、予め入力終了を意味するキーを決めておき、利用者が、その終了キーを入力した時に、そのキー入力の直前に手書き入力された文字等について入力が終了したと判断する。その後、入力された文字等の認識処理を実行する。
あるいは、キーボードがなく、タブレット上やタッチパネル上の画面に特定の終了キーが表示されている場合、利用者が、その終了キーの表示領域を指やペンで入力した時に、その直前に手書き入力されていた文字等の入力が終了したと判断する。

また、上記（２）の時間経過検出方法では、たとえば、手書き入力モードで、手書き入力の有無の時間を監視するタイマーを設け、利用者がペンで所望の手書き文字の入力を開始した後、ペンがタッチパネルから離れている時間が一定時間以上経過したことを検出した場合、その文字入力が終了したとみなし、その後、入力された文字の認識処理を実行する。

すなわち、いずれの場合も、手書き入力する利用者の「手」の位置に関係なく、情報処理装置は、利用者に自らの意思で入力が終了したことを知らせる操作をしてもらうか、あるいは、手書き入力を終了してペンをタッチパネルから離した後一定時間が経過するのを待って、手書き入力が終了したことを検知していた。
特開平４−１４８４１２号公報

しかし、上記入力操作検出の方法では、利用者が自らの意思でキー入力をする必要があるので、確実に入力の終了を検出することができるものの、手書き入力をしてから所望の情報の表示等までの一連の処理の中で、利用者は終了キーの入力操作が面倒と感じることがある。
すなわち、利用者にとっては少しでも入力操作を減らして、一連の処理がスムーズに実行されることが望ましい。

また、上記時間経過検出の方法では、入力終了とみなす一定時間をどのように設定するかが問題となる。
たとえば、ペンがタッチパネルを離れてからの一定時間をあまり長く設定しすぎると、利用者から見ると、手書き入力を終了した後、認識された結果が表示等されるまでの時間が長く感じる場合があり、入力終了とみなす一定時間をもう少し短く設定することが望まれる。
一方、上記一定時間が短い場合、認識結果が短時間で表示され好ましい場合もあるが、利用者が入力に手間どっているときや、複雑な文字をゆっくり入力しているときに、まだ入力途中であるのにもかかわらず、手書き入力が終了したと判断されてしまう場合もある。

このとき、文字の入力途中で文字認識が実行され意味不明な認識結果が表示されたとすると、利用者は、手書き文字を再入力しなければならない場合もあり、かえって利用者の操作負担が大きくなる。
したがって、上記（２）の方法の場合、利用者の入力のペースや、一時的にペンを紙面から離している時間が長いというような入力のくせに対応して、その利用者ごとに適切な入力終了の検出が望まれるが、一定時間を可変にしたとしても、常に利用者が意図するような入力終了の検出をすることは難しい。

ところで、ペンを用いて文字を書く場合、ノートやタブレット上に対してペン先を押しつけているのに加えて、文字を書く手をノートやタブレットの上に置いて書くのが通常と考えられる。

そこで、この発明は、以上のような事情を考慮してなされたものであり、文字等を手書き入力する手が、所定の位置に置かれていることを検出することにより、手書き入力が終了したことの検出を、より確実かつ迅速にし、入力終了の誤検出を低減して、利用者の操作負担を軽減させ、手書き入力操作を容易にすることのできる手書き入力機能を有する情報処理装置を提供することを課題とする。

この発明は、情報を入力する入力部と、前記入力部に入力が行われていることを検知する第１入力検知部と、前記入力部とは異なる領域に入力があることを検知する第２入力検知部とを備え、前記第１入力検知部により前記入力部に入力が行われなくなったと検知され、かつ第２入力検知部により、入力があることを検知した場合に、前記入力部に入力された情報が継続されていると判断する制御部とを備えたことを特徴とする情報処理装置を提供するものである。

この発明は、手書きにより情報を入力する手書き描画部と、前記情報を入力する手が所定の接触検知領域に接触していることを検知する接触検知部と、前記接触検知部によって検知されていた手の接触が検知されなくなった場合に、前記情報の入力が終了したと判断する制御部とを備えたことを特徴とする手書き入力機能を有する情報処理装置を提供するものである。
また、前記手書き描画部に前記情報が入力されていることを検知する入力検知部をさらに備え、前記制御部が、前記入力検知部によって検知されていた情報の入力が検知されなくなり、かつ前記接触検知部によって検知されていた手の接触が検知されなくなった場合に、前記情報の入力が終了したと判断するようにしてもよい。
これによれば、手書き入力の終了を確実かつ迅速に判断することができ、手書き入力された文字等の誤入力を低減させ、利用者の手書き入力における操作負担を軽減できる。

この発明において、前記接触検知領域は、情報を入力している手が接触する位置を含む領域であって、前記手書き描画部の近傍に配置される。
前記情報の入力がペンで行われる場合、前記入力検知部は、ペンが前記手書き描画部に接触していることを検知する。このとき、前記制御部は、前記ペンが手書き描画部に接触していること、および手が前記接触検知領域に接触していることのいずれか一方が検知されている場合には、前記ペンで入力されている情報の入力が継続していると判断する。
さらに、制御部は、領域設定部を備え、前記接触検知領域は、領域設定部によって、その位置，大きさおよび形状を変更できるように設定されることが好ましい。

また、この発明は、情報を入力する入力部と、前記入力部に入力が行われていることを検知する第１入力検知部と、前記入力部とは異なる領域に入力があることを検知する第２入力検知部とを備えた情報処理装置の情報入力判断方法であって、前記第１入力検知部が前記入力部に入力が行われなくなったことを検知し、かつ前記第２入力検知部が前記領域に入力があることを検知した場合、前記入力部に入力されている情報の入力が継続されていると判断することを特徴とする情報入力判断方法を提供するものである。

さらに、この発明は、手書きにより情報を入力する手書き描画部と、前記手書き描画部に前記情報が入力されていることを検知する入力検知部と、前記情報を入力する手が所定の接触検知領域に接触していることを検知する接触検知部とを備えた手書き入力機能を有する情報処理装置の情報入力判断方法であって、前記入力検知部が情報が入力されていることを検知している第１検知状態、および前記接触検知部が手が接触検知領域に接触していることを検知している第２検知状態のいずれの状態も継続している場合は、前記情報の入力が継続中であると判断し、前記第２検知状態が検知されなくなった場合は、前記入力されていた情報の入力が終了したと判断することを特徴とする情報入力判断方法を提供するものである。

この発明によれば、文字等の情報を手書き入力する場合において、情報の入力そのものを検知するのとは別に、情報を入力する手の接触検知領域への接触を検知するので、情報の入力終了を確実かつ迅速に判断することができ、情報の入力終了が誤検出されることにより手書き入力された文字等が誤入力されることを低減させ、利用者の操作負担を軽減させることができる。

以下、図面を使用して本発明の実施の形態を説明する。なお、以下の実施例の記載によって、この発明が限定されるものではない。
＜この発明の情報処理装置の構成＞
図１に、この発明の手書き入力機能を有する情報処理装置の一実施例の構成ブロック図を示す。
図１において、この発明の情報処理装置は、主として、表示部１，表示制御部２，手書き描画部３，記憶部４，文字認識部５，キー入力部６，ペン入力検知部７，接触検知部８，ペン９，制御部１０とから構成される。

この情報処理装置は、手書きした情報を入力する専用の装置として提供するだけでなく、今日利用されている電子辞書，ＰＤＡ，携帯電話，パソコンなどの情報機器に組み込まれて、その一機能として実現することもできる。

表示部１は、入力された文字や図形，文字認識結果，検索結果など種々の情報を表示する部分であり、たとえばＬＣＤ，ＰＤＰ，有機ＥＬなどを用いることができる。
表示制御部２は、文字認識などの結果を表示データに変換して、表示部１に表示させる部分である。
手書き描画部３は、利用者の手書きにより情報を入力する部分であり、タブレットに相当する部分である。また、ペン等を用いて文字，記号，図形等の情報を入力する領域（手書き描画領域）を構成する部分である。この領域に手書き入力された情報は座標値を有する線画の情報（手書き描画情報４１）として取得され、記憶部４に記憶される。手書き描画部３には、圧電素子などの圧力センサや歪検出センサが多数配置され、ペンで押された位置にあるセンサから検出信号が出力される。この検出信号により、手書き入力された位置を検出することができ、また、入力された情報の軌跡を認識することができる。

文字認識部５は、手書き入力された文字等を認識する部分であり、文字認識ＤＢ４４に記憶された情報を用いて、入力された手書き描画情報４１に一致可能な文字等を抽出する部分である。
抽出された文字等は、認識結果４２として、記憶部４に記憶される。一致可能な文字等が複数個ある場合は、認識候補として複数個の認識結果を記憶する。

キー入力部６は、文字，記号または特定の機能の入力を行う部分であり、いわゆるキーボードに相当する部分である。キーボードの各キーの機能は固定的なものであってもよく、また必要に応じてキーに設定された入力機能を変更できるものであってもよい。
ペン入力検知部７は、ペン９による入力の有無を検知する部分である。たとえば、ペン９のペン先が手書き描画部３に接触していることを検知するものであり、手書き描画部３に配置された圧力センサや歪検出センサなどが、ペン入力検知部７としても機能する。
また、ペン入力検知部７は、情報をペンで入力する場合において、情報が入力されていることを検知する入力検知部に相当する。ペンの軌跡を追うことにより情報が入力されていることが検知されるとともに、入力情報の描画データが生成される。

接触検知部８は、利用者の手を検知する部分であり、特定の接触検知領域に、手が接触しているか否かを検知する。たとえば、圧力センサ，歪検出センサなどが用いられる。
表示部１の上に重ねてタッチパネルを設置する場合は、そのタッチパネルの中の予め設定された特定の領域が、ペン入力検知部７や接触検知部８となる。タッチパネルとしては、表示部の画面を押さえた時にその圧力を検知する抵抗膜方式や、押さえた時に流れる微弱電流の変化を測定する静電容量方式などを用いることができる。

タッチパネルのどの領域を手書き描画部３およびペン入力検知部７の領域とするか、あるいは接触検知部８の領域とするかは必要に応じて設定変更できるようにすればよい。たとえば、右ききの利用者の場合は、ペンで描画する領域のすぐ右側でやや下方の領域に右手を接触させて描画することが多いと考えられるので、手書き描画領域が決定された後、その領域の右側やや下方の領域を、手の接触を検出する接触検知領域に設定する。
左ききの場合は、手書き描画領域の左側やや下方の領域を接触検知領域に設定する。
このような領域の位置の設定変更は、後述する領域設定部によって行う。

利用者が右ききか左ききかは、手書き入力をする前にキー入力部６の特定のキーを押すことにより予め入力してもらえばよい。あるいは、手書き描画領域を予め固定的に設定している場合は、手書き描画領域の右側やや下方の領域と左側やや下方の領域の両方を予め接触検知領域として設定しておいてもよい。

また、表示部１，手書き描画部３，ペン入力検知部７，および接触検知部８として、これらの各領域に対応する機能をすべて有する光センサ液晶を利用してもよい。
光センサ液晶は、いわゆる表示機能を持つ液晶表示素子に加えて、光を検知する光センサを備えたものである。たとえば、表示画面の１画素ごとに、バックライトの光の出力を制御する液晶を駆動する液晶表示素子と、表示のために出力された光が画面に接触された指などによって反射され戻ってくる光を検出する光センサとを設ける。

すなわち、光センサ液晶は、情報を表示する表示部１の機能を持つ液晶表示素子と、手書き入力された描画情報，ペンの位置，手の接触の有無および手の位置などを検知する機能を持つ光センサとから構成されるものである。
光センサ液晶の特定の位置に情報を表示しておき、その表示位置をペンで押さえることにより、その表示機能を選択するような機能を実行させることができる。

また、光センサ液晶の全領域を必要に応じて機能ごとに分けて使用することもできる。たとえば、情報を表示する領域（表示部）を予め設定し、その表示部の領域に、ペン等による入力がされてもその入力は無視し、ペン等の入力可能領域として予め設定された領域に入力があったときにその入力を機能させるというような利用形態をさせることができる。
また、光センサによる入力検出は、１点のみではなく、同時に複数の位置を押さえた場合でも、その入力位置をスキャンして、すべて検出することができる。

したがって、たとえば、ある１点のみの入力が検出された場合は、その位置にペンによる入力がされたと判断することができ、ある領域に属する複数点の入力が検出された場合は、その領域に手が接触されたと判断することができる。また、光センサ液晶でスキャンした画像が、画面上に乗せている手であるとパターン認識された場合に、その領域に手が接触されたと判断することも可能である。
すなわち、光センサ液晶を用いた場合、その光センサ液晶が存在する領域を、表示部１，手書き描画部３，ペン入力検知部７，および接触検知部８のいずれか１つ以上の領域として機能させることができる。

記憶部４は、この発明の情報処理装置を利用するのに必要となる情報を記憶しておく部分であり、たとえば、ＲＡＭ，ＲＯＭ，ハードディスク，フラッシュメモリなどを用いることができる。
特に、この発明の手書き入力機能を実行する場合に記憶される情報としては、たとえば、手書き描画情報４１，認識結果４２，表示データ４３，文字認識ＤＢ４４，および辞書４５がある。

手書き描画情報４１は、ペン９で手書き描画部３に描かれた文字，記号，図形などの線画情報（座標位置，描画速度，方向など）を記憶したものである。
文字認識ＤＢ４４は、入力された手書き描画情報４１をもとに手書き入力された文字を、文字データとして認識するのに利用する情報である。
認識結果４２は、手書き入力された文字を認識した結果である文字データであり、１つの場合もあれば、１つの文字データに特定できない場合や、多数の文字データに一致する可能性がある場合は、認識結果が複数になる場合もある。

表示データ４３は、表示部１に表示させるデータであり、認識結果４２の他に辞書検索した結果や各種機能を実行させるときに利用者に提示される情報などが含まれ、表示制御部２によって生成されるデータである。
辞書４５は、いわゆる電子辞書であり、この発明の情報処理装置を電子辞書として用いる場合に記憶される。たとえば、手書き入力された文字の読みや意味内容の検索、あるいは日本語と英語の置換などに用いられる。

制御部１０は、図１に示した他の各機能ブロックの動作を制御する部分であり、主として、ＣＰＵ，ＲＯＭ，ＲＡＭ，Ｉ／Ｏコントローラ，タイマー等からなるマイクロコンピュータによって実現される。このとき、ＲＯＭやＲＡＭに記憶された制御プログラムに基づいて、ＣＰＵが各種ハードウェアを動作させることにより、各機能ブロックの動作を実現させる。

制御プログラムは、予めＲＯＭ等に固定的に記憶してもよいが、後から機能の追加や変更をするために、交換可能な記録媒体や持ち運び可能な記録媒体，不揮発性の書き替え可能な記録媒体に記憶してもよく、遠隔地にあるサーバから通信回線を経由して更新プログラムをダウンロードをすることにより自動的に更新ができるようにしてもよい。
また、制御部１０は、前記したように、手書き描画部３や接触検知領域などの位置，大きさおよび形状を変更するための領域設定部を備える。領域設定部は、利用者が位置等を変更するための手助けとなる選択メニューを表示部に表示し、その選択メニューに従って利用者がペンを用いて、位置，大きさおよび形状を指示して、接触検知領域等を設定する部分である。

また、制御部１０は、特に手書き入力が開始されたこと、情報の入力が継続していること、および手書き入力が終了したことを判断する入力判断部を備える。
たとえば、入力判断部は、ペンによる入力の有無にかかわらず、手が接触検知領域から離れた場合は、常に情報の入力が終了したと判断する。
ただし、ペン９が手書き描画部３に接触していることと、手が接触検知領域に接触していることのいずれか一方が検知されている場合、制御部１０の入力判断部は、ペンで入力されている情報の入力が継続中であると判断してもよい。
また、制御部１０の入力判断部は、入力検知部７によって今まで検知されていた情報の入力が検知されなくなり、かつ接触検知部８によって検知されていた手の接触が検知されなくなった場合に、情報の手書き入力が終了したと判断してもよい。

＜情報処理装置の機能説明＞
この発明の情報処理装置は、従来の電子辞書と同様に、情報の表示機能と、ペン等を用いた手書きによる情報入力機能を有するのに加えて、利用者の手の接触の有無およびその接触位置を検出する機能を有することを特徴とする。
図２に、この発明の情報処理装置１００の一実施例の情報の入出力に関する構成の説明図を示す。

図２において、表示領域１１は、表示部１に相当し、表示制御部２によって生成された表示データを表示する領域である。
キー入力部６は、複数のキーが配置された領域であり、いずれかのキーを押すことになり、そのキーに割り当てられた文字の入力や機能の入力が行われる。
手書き描画領域３１は、手書き描画部３に相当し、ここに、ペン９を用いて、入力したい文字等の情報が手書きで入力される。
接触検知領域（８０，８１）は、接触検知部８が手の接触を検知する領域に相当し、手書き描画部３に情報を手書き入力をするときに、利用者の手が置かれるであろう位置に配置される。言いかえれば、接触検知領域は、情報を入力している手が接触する位置を含む領域であって、手書き描画部３の近傍に配置される。

図２では、左手で手書き入力される場合に、左手の小指側の側面が接触すると考えられる領域である接触検知領域８０と、右手で手書き入力される場合に、右手の小指側の側面が接触すると考えられる領域である接触検知領域８１を示している。
ただし、この２つの領域（８０，８１）を両方とも設ける必要はなく、キー入力部６の特定のキー入力操作により、右手で入力をすることを意味するキーが入力された場合は、領域８１の部分のみを、手の接触を検知する領域として設定すればよい。
また、接触検知領域８１は、手が接触するであろう位置を含めばよいので、図示したような正方形的形状ではなく、長方形状、その他の多角形状、あるいは、手の接触領域に対応した複雑な形状に設定してもよい。

図２のように、出荷時において、各領域（１１，６，３１，８０，８１）を、後から変更できないように固定的に設定してもよいが、各領域の位置や大きさは図２のものに限定するものではない。
また、情報処理装置１００の表面全体にタッチパネルを設けた場合や、光センサ液晶を設けた場合は、各領域の位置等を、領域設定部によっていつでも設定変更できるようにすることが好ましい。
たとえば、キー入力部６が必要なければ、キー入力部６の領域を削除し、表示領域１１をもう少し大きく設定してもよい。
さらに、利用者によって、手の大きさや手書き入力時の手を置く位置が違うので、利用者が、接触検知領域（８０，８１）の位置，大きさおよび形状を、自由に変更できるように設定することが好ましい。

また、利用者が手書き入力に右手しか利用しない場合は、領域３１と領域８１のみ設定し、左側の接触検知領域８０を設けないように予め設定してもよい。
さらに、装置１００の全面が光センサ液晶の場合、設定した接触検知領域（８０，８１）や、手書き描画領域３１がどの位置にあるかがわかるようにするために、それらの領域の外周ラインを表示してもよく、また、それらの領域内部を色分けして表示してもよい。たとえば描画領域３１を白色で塗りつぶし、接触検知領域（８０，８１）を、緑色で塗りつぶしてもよい。

図３は、右手で手書き描画領域３１に、ペン９を用いて文字を手書き入力している様子の説明図である。
図３では、右手の小指側の側面が右側の接触検知領域８１に接触しており、右手が領域８１に接触していることは、接触検知部８によって検知される。
また、文字の描画をしている時は、手が接触検知領域８１に接触しているのと同時に、ペン９のペン先が、描画領域３１に接触している。ペン先が描画領域３１に接触していることは、ペン入力検知部７によって検知される。

したがって、この発明では、接触検知部８によって手の接触が検知され、かつペン入力検知部７によってペン９の接触が検知された場合に、描画領域３１への手書き入力が開始されると判断される。
また、手書き入力が開始されたと判断された後、ペン９によって描画領域３１に情報が描画入力されるが、ペンを領域３１に接触させて情報を入力している間は、ペン入力検知部７が、情報が入力されていることを検知している状態（第１検知状態）となる。

また、情報を入力している間は、接触検知部８が、手が接触検知領域に接触していることを検知している状態（第２検知状態）でもある。
この発明では、原則として、上記第１検知状態の有無にかかわらず、上記第２検知状態が継続している場合は、現在入力されている情報の入力が継続中であり、一方、第２検知状態が検知されなくなった場合は、情報の入力が終了したと判断する。
ただし、上記第１検知状態および第２検知状態の少なくともいずれか一方の状態が継続している場合、現在入力されている情報の入力がまだ継続中であると判断してもよい。
また、第１検知状態と第２検知状態のどちらも検知されなくなった場合に、入力されていた情報の入力が終了したと判断してもよい。この判断の具体例については後述する。

図４に、この発明の情報処理装置の各領域の設定状態の一実施例を示す。
図４（ａ）では、表示領域１１と、キー入力部６を固定配置し、手書き入力をする領域として、入力検知領域３２を設けたものを示している。ここで、入力検知領域３２は、手書き描画領域３１と接触検知領域（８０，８１）を含む領域であり、初期状態では、これらの領域（３１，８０，８１）がどこに配置されるか未確定の状態であることを示している。

入力検知領域３２には、タッチパネルや光センサ液晶が設置され、実際に手書き入力を行う前に、手書き描画領域３１と接触検知領域（８０，８１）が設定される。
図４（ｂ）は、入力検知領域３２として、手書き描画領域３１と、その右側に接触検知領域８１を配置したものを示している。右手による手書き入力をする場合は、この配置が好ましい。
図４（ｃ）は、入力検知領域３２として、手書き描画領域３１とその左側に接触検知領域８０を配置したものを示している。左手による手書き入力の場合は、この配置が好ましい。
図４（ｂ）や図４（ｃ）のような各領域の位置情報は予め記憶部４に記憶しておき、どちらの配置をするかを決定したときに、決定された配置に関する位置情報を記憶部４から読み出し、各領域の位置を設定すればよい。

検知領域等を図４（ｂ）のような配置とするか、または図４（ｃ）のような配置とするかは、たとえば、キー入力部６の特定のキー入力により決定すればよい。キー入力部６に、「右きき入力」キー，「左きき入力」キーのような特定のキーを設け、利用者が「右きき入力」キーを押したとき、図４（ｂ）のような領域配置とし、「左きき入力」キーを押したとき、図４（ｃ）のような領域配置とすればよい。

あるいは、装置１０の実行機能を手書き入力モードに設定した後、入力検知領域３２の中の右側半分の任意の位置にペン又は手を接触したとき、その接触を「右きき入力」の指示と判断し、図４（ｂ）のような配置に設定してもよい。
あるいは、左側半分の任意の位置に、ペン又は手を接触したときは、「左きき入力」の指示と判断し、図４（ｃ）のような配置に設定する。

図５に、この発明の情報処理装置の各領域の他の設定状態の一実施例を示す。
図５（ａ）では、表示および入力の領域が共有して利用される１つの表示入力検知領域９０が存在するものを示している。この表示入力検知領域９０は、表示領域および入力領域が自由に設定可能な光センサ液晶を用いる。

初期状態では、どこに何の領域を配置するかは未確定であるが、出荷時の初期設定および利用者が使用する前の設定により、たとえば図５（ｂ）に示すように、表示領域９１，キー入力部９２，手書き描画領域９３，接触検知領域（９４，９５）が設定されるようにする。このとき、どこに、どの領域設定されたかがわかるように、各領域の外周ラインを表示したり、各領域内を色分け表示することが好ましい。
また、図５（ｂ）に示した各領域の位置は、一実施例であってこれに限定するものではない。初期設定により予め記憶部４に記憶された各領域の位置情報を読み出して図５（ｂ）のように設定した後、利用者の操作により、各領域の位置の変更や、形状および大きさを変更してもよい。位置の変更等は、ペンで位置をポイントしたり、領域の四隅をポイントすることにより行えばよい。

特に、接触検知領域（９４，９５）は、手書き描画領域９３の位置との関係で、配置すべき好ましい位置はほぼ決定されるが、利用者の手書き入力の操作性を向上させるため、利用者によってその位置，大きさ，形状等を変更できるようにすることが好ましい。

＜手書き入力の終了の検知の説明＞
上記したように、この発明では、手の接触と、ペンの接触とが同時に検知されたとき、手書き入力が開始されたと判断し、その後、ペン９で描画することにより、文字等が手書き入力される。原則として、手が接触検知領域（８０，８１）に接触している状態であれば、手書き入力状態が継続される。

＜入力終了の検知例１＞
ここでは、手が接触検知領域から離れた状態が検出されたとき、手書き入力された文字等の入力が終了したと判断する例を示す。すなわち、ペン先の接触の有無にかかわらず、利用者の手の接触が有りから無しに変化したとき、手書き入力が終了したと判断し、文字認識処理を実行させ、入力された文字を確定する。
図９に、この発明の手書き入力終了の検知例１のフローチャートを示す。
図９のステップＳ１において、描画データを初期化する。ここでは、具体的には、新しい文字入力の開始をすることにより、描画データを初期化（消去）する。

ステップＳ２において、ペン先が接触したことがペン入力検知部７により検知され、かつ手が接触検知領域に接触したことが検知された場合、タッチされたペンの座標に基づいて、描画データを追加する。
ステップＳ３において、手が接触検知領域に接触しているか否かをチェックする。
まだ手が接触している場合は、ステップＳ２へ戻る。一方、手が離れたことが検知されると、ステップＳ４へ進む。
ステップＳ４において、描画データを基にして、文字認識処理を実行する。
ステップＳ５において、文字認識の結果、手書き入力された文字の候補が複数あれば、その候補から１つの文字を選択し、文字を確定する。
以上が、手が接触検知領域から離れたことをもって手書き文字入力が終了したと判断する検知例である。これによれば、入力終了が手の接触がなくなったことによって判断されるので、入力終了の誤検出を低減させ、利用者の操作負担を軽減できる。

＜入力終了の検知例２＞
また、以下に示すように、手の接触検出とペン先の接触検出とを組み合わせることにより、手書き入力された文字等の入力の終了を検出する。
たとえば、接触検知部８によって利用者の手の接触があることが検知され、かつペン入力検知部７によってペン先の接触が検知されているとき、利用者による手書き入力がされている状態であると判断される。この状態では、文字等の手書き入力がまだ終了していないので、文字認識部５による文字認識の機能は実行しない。

また、接触検知部８によって利用者の手の接触のあることが検知されているが、ペン入力検知部７によってペン先の接触が検知されていないときは、まだ入力途中であると判断される。たとえば、次の線分を書くためにペンを一時的にアップさせている場合や、利用者が次の線の描画位置を考えている場合や、描画を一時的に中止している場合であると考えられるので、入力しようとしている文字についての手書き入力がまだ終了していないと判断し、文字認識等の他の機能は実行しない。したがって、このような状態が継続しているときは、同じ文字の次の線の入力待ち状態となる。
このように、手の接触状態が維持され、かつペンの接触がない状態では入力の終了とみなさないようにすることにより、従来ペン先がアップされた後に一定時間が経過したとき、自動的に文字認識が実行され不都合が生じていたことが防止される。

また、逆に、ペン先が描画領域３１に接触しているペンダウン状態であって、かつ接触検知部８によって手の接触がないと検知された場合も、まだ入力途中であると判断し、同じ文字の次の線分の入力待ち状態とする。

さらに、接触検知部８によって手の接触が検知されず、かつ、ペン入力検知部７によってペン先の接触も検知されない状態となったとき、手書き文字の入力が終了したと判断し、その後、自動的に手書き入力された文字の文字認識等の処理を実行する。
これによれば、ペン先の接触のみならず、手の接触も検知しているので、文字の手書き入力の終了の判断をより確実かつ迅速にすることができる。
ただし、誤検出を防止する観点から、手の接触とペン先の接触とがどちらも検知されなくなってから一定時間を経過したときに、入力が終了したと判断してもよい。

また、ペン先と手の接触がないことを検知した場合に、手書き入力が終了したと判断し、次の文字認識処理等を実行するようにすれば、利用者が自らの意思で入力が終了したことを示すキー入力をする必要がないので、利用者の操作負担を軽減でき、電子辞書などにおける手書き入力，文字認識，辞書検索といった一連の処理を、よりスムーズに実行できる。

また、ペン先と手の接触がないことを検知する場合、ペンがアップしたことのみを検知して入力終了と判断する場合に比べて、より正確に手書き文字入力が終了したと判断できる可能性が高い。
したがって、その後に行われる文字認識処理の誤認識を低減させることができ、利用者の利便性を向上できる。

図１０に、この発明の手書き入力終了の検知側２のフローチャートを示す。
図１０において、ステップＳ２１，Ｓ２２およびＳ２３は、図９のステップＳ１，Ｓ２およびＳ３と同じ処理をする。
ステップＳ２３において、反応無しの場合、まだ手が接触検知領域に接触されていないので、ステップＳ２２へ戻る。
ステップＳ２３において、手の接触が検知された場合、ステップＳ２４へ進む。
ステップＳ２４では、ステップＳ２と同様にペンで入力された描画データを追加する。
ステップＳ２５において、手の接触状態が検知されているか否かチェックする。
ここで、まだ手の接触が検知されている場合は、ステップＳ２４へ戻る。

一方、ステップＳ２５で、手が離れたことが検知された場合、ステップＳ２６へ進む。
ステップＳ２６において、ペンタッチの状態が検知されているか否かチェックする。ペンタッチがあることが検知されている場合は、ステップＳ２４へ戻る。
一方、ペンタッチが検知されなくなり、ペンが離れた場合は、ステップＳ２７へ進む。その後、ステップＳ４およびＳ５と同様に、ステップＳ２７で文字認識処理を実行し、ステップＳ２８で、認識候補の選択と入力文字の確定処理を行う。
この検知側２の場合も、入力終了の誤検出を防止し、利用者の負担を軽減できる。

＜実施例１＞
以下、この発明の手書き入力操作について、「木」あるいは「本」を手書き入力する場合を一実施例として説明する。
図６に、この発明の手書き入力操作の一実施例の説明図を示す。ここでは、「木」を手書き入力し、その入力の終了を検知した後、手書き入力した文字を文字認識し、その認識した文字データ「木」について辞書検索した結果を表示する実施例を示している。

図６（ａ）は、利用者が、右手１００で、ペン９によって「木」を手書き入力している状態を示している。ここで、利用者は、右手１００を接触検知領域８１の上に置き、ペン先を手書き描画領域３１に接触させて、文字を手書き入力する。
この状態では、接触検知部８によって領域８１に右手を接触していることが検知され、かつ、ペン入力検知部７によって領域３１にペン先が接触していることが検知されているので、手書き入力の継続中であると判断される。また、手１００が領域８１に接触している限り、ペン先が領域３１から離れていたとしても、手書き入力の継続中であると判断される。
たとえペン先が領域３１から離れている時間が長時間となったとしても手が領域８１に接触したままであれば、手書き入力されている文字の入力途中であると判断され、入力終了とは判断されない。

図６（ｂ）は、手書き入力が終了した後の表示状態を示している。すなわち、ペン先が領域３１から離れ、かつ右手１００が領域８１から離れたことが検出された場合、描画領域３１への手書き文字の入力が終了したと判断される。

図６（ｂ）の表示領域１１には、「木」という文字の手書き入力が終了し、文字認識が行われた後の認識文字データ「木」が表示されている。手書き入力が終了したと判断されると、手書き入力された文字に対する手書き描画情報４１が、記憶部４に記憶される。
この描画情報４１を用いて、文字認識ＤＢ４４を検索し、描画情報４１に一致可能な文字データを抽出する。一致可能な文字データがあったときは、それを認識結果４２として記憶し、表示データ４３に変換して表示部１に表示させる。

図６（ｂ）では、文字認識の結果として、「木」という１つの文字データを表示した状態を示しているが、２つ以上の認識候補がある場合は、それらすべてを表示してもよい。
また、図６（ｃ）は、図６（ｂ）の後、文字認識された「木」という文字データについて、たとえば国語辞書４５を用いて辞書検索が行われた結果、「木」の読み「き，もく」を表示した状態を示している。

図６（ｂ）において、利用者は、「木」という文字を最後まで手書き入力した後、ペンを領域３１から離し、かつ右手１００を領域８１から離す操作をするだけで、入力終了の確定により、文字認識が自動的に開始されるものとする。すなわち、入力終了が検出されたとき、文字認識処理が自動的にスタートするように、制御プログラムを予め作成しておく。

これによれば、利用者は、手書き文字の入力が終わったときに、ペンと手をそれぞれ接触面から離すという通常日常的に行っている「書く操作」とほぼ同じ操作をするだけで、入力した手書き文字の認識結果が表示されるので、入力終了を意図する特別な操作をすることがなく、利用者の入力操作の手間を省くことができ、入力操作の負担を軽減できる。
また、手とペンが離れた場合に入力が終了したと判断するので、従来のように一定時間の経過を待つことなく、文字の入力が実際に終了した時点で確実に入力が終了したとみなされ、入力途中で誤って入力終了と判断されることを低減でき、迅速な手書き入力が可能となる。

＜実施例２＞
図７に、「本」という文字を手書き入力する場合の実施例の説明図を示す。
図７（ａ）は、利用者が、右手で、「本」という文字を手書き入力している途中の状態を示した図である。ここで、領域３１に、「本」という文字のうち「木」まで描画された状態を示しており、右手１００は、領域８１に接触したままである。このとき、まだ入力終了とは判断されない。
さらに、図７（ｂ）のように、「木」が入力された状態で、一時的にペン９が領域３１から遠く離されたとしても、右手１００が領域８１に接触している場合には、入力継続中であるとみなされ、入力終了とは判断されない。

すなわち、図７（ｂ）の状態で、ペンが離されたまま、一定時間が経過したとしても、入力終了とは判断されないので、文字認識の処理は実行されない。したがって、従来のように一定時間が経過したことをもって入力終了と判断していた場合には、図７（ｂ）で、「木」という文字入力が終了したと判断され、「木」が文字認識結果として表示されてしまい、続いて本来入力したいと思っている「本」が、入力できなくなってしまっていたのに対して、この発明では、図７（ｂ）の「木」の状態ではまだ文字認識処理は実行されず、利用者が本来入力したいと思っている「本」を継続して入力できる。

図７（ｂ）の状態から、利用者が再度ペンを領域３１に接触させた場合、引き続いて現在入力中の文字に対する線分の入力が行われる。たとえば、図７（ｃ）に示すように、「本」という文字の入力が継続して行われることになる。
図７の実施例の場合、図７（ａ）から（ｃ）までの間において、右手１００が領域８１の上に接触した状態のままにしているので、この間のペン９による描画入力は、１つの文字に対する入力として処理される。

その後、利用者が、ペンおよび手をそれぞれの接触領域（３１，８１）から離した場合、手書き入力が終了したものと判断され、上記したような文字認識処理および辞書検索処理が実行される。このとき、図７（ｄ）に示すように、認識結果の文字データ「本」と、その文字データに対する辞書検索の結果である読み「ほん，もと」が表示される。ここでは、「木」ではなく、「本」の情報が表示される。
なお、手書き文字の入力の終了を検出した後に行われる処理は、文字認識処理と辞書検索処理に限定されるものではない。この他に、たとえば、入力されるものがジェスチャーであったならば、手が離れた時点で、そのジェスチャー入力の終了を検出し、その後に行われる処理は、動作しているアプリケーションが、入力されたジェスチャーに対応した処理を行っても構わない。また、手が接触している間に複数のジェスチャーが入力された場合は、手が離れた時点で、複数のジェスチャーに対応したそれぞれの処理を連続して行ってもよいし、複数のジェスチャーが１つの処理に対応している場合は、その１つの処理を行っても構わない。

＜実施例３＞
図８に、この発明の一連の手書き入力操作において、ペンと手の接触の有無によって変化する処理状態の説明図を示す。
ここで、ペンの「オン」および「オフ」は、それぞれペンを領域３１に接触した状態および領域３１から離した状態にすることを意味する。
また、手の「オン」および「オフ」は、それぞれ、手を領域８１に接触した状態および領域８１から離した状態にすることを意味する。また、利用者は、「木」または「本」を手書き入力しようとしているものとする。
図８（ａ）は、利用者が、文字を手書き入力している途中の状態を示している。ここでは、ペンも手も、「オン」状態である。また、「木」まで手書き入力されていたとする。

次に、図８（ａ）の状態において、ペンも手も、どちらも「オフ」状態になったとすると、手書き入力が終了したと判断され、その時点までに入力された文字「木」について文字認識が行われ、さらに辞書検索が行われる。このとき、図８（ｂ）の状態となり、表示領域１１に、認識された文字データ「木」が表示され、その読み「き，もく」も表示される。

一方、図８（ａ）の状態で、ペンのみが「オフ」とされ、手はまだ「オン」の状態であったとすると、図８（ｃ）の状態となる。このとき、まだ入力途中であって、入力終了とは判断されない。したがって、その後に行われるはずの文字認識等の処理はまだ実行されない。
また、図８（ａ）の状態で、ペンは「オン」状態で領域３１に接触したままであるが、一時的に手が「オフ」状態となったとすると、図８（ｄ）のような状態となる。このとき、「手」が領域８１から離れているが、ペンがまだ接触状態にあるので、入力途中であり、入力終了とは判断されない。したがって、文字認識等の処理はまだ実行されない。

図８（ｃ）の状態から、ペンが再度「オン」状態となり、手書き入力がされたとすると、現在の手書き文字についての入力が引き続き行われたとみなされ、図８（ｅ）のような状態となる。ここでは、「本」の最後の横線が手書き入力されたとする。
また、図８（ｄ）の状態から、手が再度「オン」状態となり、ペンによって手書き入力がされたとすると、同様に図８（ｅ）の状態となる。すなわち、同じ文字についての続きの手書き入力が行われる。ここで、「本」の字を構成する線分がすべて入力された状態となる。

次に、図８（ｅ）の状態において、ペンおよび手が、ともに「オフ」状態となったとき、手書き入力が終了されたとみなされる。このとき、入力終了後の処理である文字認識処理と辞書検索処理が実行されると、図８（ｆ）に示したように、認識結果である「本」と、その読み「ほん，もと」が表示される。

図６，図７および図８に、「木」または「本」を手書き入力する操作を一つの実施例として示したが、このような漢字の手書き入力だけでなく、記号，かな文字，英単語などその他の情報の手書き入力の開始や継続中の判断も、その入力終了の判断も同様にして行うことができる。

この発明の情報処理装置の一実施例の構成ブロック図である。 この発明の情報処理装置の入出力領域の説明図である。 この発明の情報処理装置における手書き入力操作の説明図である。 この発明の情報処理装置の各領域の一実施例の設定状態の説明図である。 この発明の情報処理装置の他の設定状態の説明図である。 この発明の情報処理装置の手書き入力操作の一実施例の説明図である。 この発明の情報処理装置の手書き入力操作の一実施例の説明図である。 この発明の一連の手書き入力操作において変化する処理状態の説明図である。 この発明の手書き入力終了の検知例１のフローチャートである。 この発明の手書き入力終了の検知例２のフローチャートである。

符号の説明

１ 表示部
２ 表示制御部
３ 手書き描画部
４ 記憶部
５ 文字認識部
６ キー入力部
７ ペン入力検知部
８ 接触検知部
９ ペン
１０ 制御部
１１ 表示領域
３１ 手書き描画領域
４１ 手書き描画情報
４２ 認識結果
４３ 表示データ
４４ 文字認識ＤＢ
４５ 辞書
８０ 接触検知領域
８１ 接触検知領域
１００ 情報処理装置

Claims (8)

1. 情報を入力する入力部と、
   前記入力部に入力が行われていることを検知する第１入力検知部と、
   前記入力部とは異なる領域に入力があることを検知する第２入力検知部とを備え、
   前記第１入力検知部により前記入力部に入力が行われなくなったと検知され、かつ第２入力検知部により、入力があることを検知した場合に、前記入力部に入力された情報が継続されていると判断する制御部とを備えたことを特徴とする情報処理装置。
2. 手書きにより情報を入力する手書き描画部と、
   前記情報を入力する手が所定の接触検知領域に接触していることを検知する接触検知部と、
   前記接触検知部によって検知されていた手の接触が検知されなくなった場合に、前記情報の入力が終了したと判断する制御部とを備えたことを特徴とする手書き入力機能を有する情報処理装置。
3. 前記手書き描画部に前記情報が入力されていることを検知する入力検知部をさらに備え、
   前記制御部が、前記入力検知部によって検知されていた情報の入力が検知されなくなり、かつ前記接触検知部によって検知されていた手の接触が検知されなくなった場合に、前記情報の入力が終了したと判断することを特徴とする請求項２の手書き入力機能を有する情報処理装置。
4. 前記情報の入力がペンで行われる場合、前記入力検知部はペンが前記手書き描画部に接触していることを検知し、
   前記制御部は、前記ペンが手書き描画部に接触していること、および手が前記接触検知領域に接触していることのいずれか一方が検知されている場合には、前記ペンで入力されている情報の入力が継続していると判断することを特徴とする請求項３の手書き入力機能を有する情報処理装置。
5. 前記接触検知領域は、情報を入力している手が接触する位置を含む領域であって、前記手書き描画部の近傍に配置されることを特徴とする請求項２，３または４のいずれかに記載の手書き入力機能を有する情報処理装置。
6. 前記制御部は、領域設定部を備え、前記領域設定部が、前記接触検知領域の位置，大きさおよび形状を変更することを特徴とする請求項１乃至５のいずれかに記載の手書き入力機能を有する情報処理装置。
7. 情報を入力する入力部と、前記入力部に入力が行われていることを検知する第１入力検知部と、前記入力部とは異なる領域に入力があることを検知する第２入力検知部とを備えた情報処理装置の情報入力判断方法であって、前記第１入力検知部が前記入力部に入力が行われなくなったことを検知し、かつ前記第２入力検知部が前記領域に入力があることを検知した場合、前記入力部に入力されている情報の入力が継続されていると判断することを特徴とする情報入力判断方法。
8. 手書きにより情報を入力する手書き描画部と、前記手書き描画部に前記情報が入力されていることを検知する入力検知部と、前記情報を入力する手が所定の接触検知領域に接触していることを検知する接触検知部とを備えた手書き入力機能を有する情報処理装置の情報入力判断方法であって、
   前記入力検知部が情報が入力されていることを検知している第１検知状態、および前記接触検知部が手が接触検知領域に接触していることを検知している第２検知状態のいずれの状態も継続している場合は、前記情報の入力が継続中であると判断し、前記第２検知状態が検知されなくなった場合は、前記入力されていた情報の入力が終了したと判断することを特徴とする情報入力判断方法。

Images