JP2010128666A - 情報処理装置 - Google Patents

Abstract

【課題】手書き文字などを入力する場合に、利用者の入力操作を容易かつ確実にして、入力操作の負担を軽減させることを課題とする。
【解決手段】手書きにより情報を入力する手書き描画部と、前記情報を入力する手が、複数の検出領域からなる接触検知領域に接触していることを検知する接触検知部と、前記接触検知部が手の接触を検知した場合に、手が接触した検出領域を特定し、前記手書き描画部に情報が入力できる状態になったと判断する制御部とを備えることを特徴とする。
【選択図】図３

Description

この発明は、情報処理装置に関し、特に、ペン等を用いて手書きされた文字等を認識して情報を入力することの可能な手書き入力機能を有する情報処理装置に関する。

従来から、電子辞書，ＰＤＡ，パソコン等の情報処理装置において、いわゆるタブレットやタッチパネルなどの入力領域を設け、この入力領域に、ペンを用いて文字や記号を手書き入力し、その文字等の入力終了後に入力された文字を認識して、所望の情報を入力するものがある（特許文献１参照）。

たとえば、和英辞典を有する電子辞書で、「木」という文字を手書き入力した場合、まず、入力された「木」という文字の認識をした後、「木」に対応する英語である「tree」が辞書検索され、「tree」が表示される。
また、国語辞典を有する電子辞書で、「木」という文字を手書き入力した場合、「木」を文字認識した後、その文字の読みである「き，もく」を表示したり、その意味内容や用例を表示したりする。この場合、電子辞書に組み込まれた情報処理モジュールが、「木」という文字の入力が終了したことを認識する必要がある。

また、手書き入力する文字が２字以上の場合もあるが、この場合は、１文字ごとに入力が終了したことを認識する必要がある。
このような文字の入力が終了したことを情報処理装置が認識する方法として、主として、次の２つの方法が用いられている。
（１）入力終了を意味する特定のキーの入力を検出したこと（入力操作検出）。
（２）ペンによる入力が一定時間以上なかったことを検出したこと（時間経過検出）。

上記（１）の入力操作検出の方法では、キーボードの中で、予め入力終了を意味するキーを決めておき、利用者が、その終了キーを入力した時に、そのキー入力の直前に手書き入力された文字等について入力が終了したと判断する。その後、入力された文字等の認識処理を実行する。
あるいは、キーボードがなく、タブレット上やタッチパネル上の画面に特定の終了キーが表示されている場合、利用者が、その終了キーの表示領域を指やペンで入力した時に、その直前に手書き入力されていた文字等の入力が終了したと判断する。

また、上記（２）の時間経過検出方法では、たとえば、手書き入力モードで、手書き入力の有無の時間を監視するタイマーを設け、利用者がペンで所望の手書き文字の入力を開始した後、ペンがタッチパネルから離れている時間が一定時間以上経過したことを検出した場合、その文字入力が終了したとみなし、その後、入力された文字の認識処理を実行する。

すなわち、いずれの場合も、手書き入力する利用者の「手」の位置に関係なく、情報処理装置は、利用者に自らの意思で入力が終了したことを知らせる操作をしてもらうか、あるいは、手書き入力を終了してペンをタッチパネルから離した後一定時間が経過するのを待って、手書き入力が終了したことを検知していた。
特開平４−１４８４１２号公報

しかし、上記入力操作検出の方法では、利用者が自らの意思でキー入力をする必要があるので、確実に入力の終了を検出することができるものの、手書き入力をしてから所望の情報の表示等までの一連の処理の中で、利用者は終了キーの入力操作が面倒と感じることがある。
すなわち、利用者にとっては少しでも入力操作を減らして、一連の処理がスムーズに実行されることが望ましい。

また、上記時間経過検出の方法では、入力終了とみなす一定時間をどのように設定するかが問題となる。
たとえば、ペンがタッチパネルを離れてからの一定時間をあまり長く設定しすぎると、利用者から見ると、手書き入力を終了した後、認識された結果が表示等されるまでの時間が長く感じる場合があり、入力終了とみなす一定時間をもう少し短く設定することが望まれる。
一方、上記一定時間が短い場合、認識結果が短時間で表示され好ましい場合もあるが、利用者が入力に手間どっているときや、複雑な文字をゆっくり入力しているときに、まだ入力途中であるのにもかかわらず、手書き入力が終了したと判断されてしまう場合もある。

このとき、文字の入力途中で文字認識が実行され意味不明な認識結果が表示されたとすると、利用者は、手書き文字を再入力しなければならない場合もあり、かえって利用者の操作負担が大きくなる。
したがって、上記（２）の方法の場合、利用者の入力のペースや、一時的にペンを紙面から離している時間が長いというような入力のくせに対応して、その利用者ごとに適切な入力終了の検出が望まれるが、一定時間を可変にしたとしても、常に利用者が意図するような入力終了の検出をすることは難しい。

ところで、ペンを用いて文字を書く場合、ノートやタブレット上に対してペン先を押しつけているのに加えて、文字を書く手をノートやタブレットの上に置いて書くのが通常と考えられる。

そこで、この発明は、以上のような事情を考慮してなされたものであり、文字等を手書き入力する手が所定の位置に置かれていることや、手が移動したことを検出することにより、１つの文字の手書き入力が終了したことの検出や次の文字の入力操作を、より確実かつ迅速にし、利用者の操作負担を軽減させ、手書き入力操作を容易にすることのできる情報処理装置を提供することを課題とする。

この発明は、手書きにより情報を入力する手書き描画部と、前記情報を入力する手が、複数の検出領域からなる接触検知領域に接触していることを検知する接触検知部と、前記接触検知部が手の接触を検知した場合に、手が接触した検出領域を特定し、前記手書き描画部に情報が入力できる状態になったと判断する制御部とを備えることを特徴とする情報処理装置を提供するものである。
これによれば、情報を入力する利用者の手が接触検知部に接触したことを検出した後に、情報の入力が可能となるので、利用者は、情報の入力操作を確実にかつ容易に行うことができる。

また、前記手書き描画部に重畳させて配置された表示部をさらに備え、前記接触検知部によって手の接触が検知された場合、前記制御部は、手の接触を検知した検出領域の近傍であって、情報を入力することが可能な範囲内にある表示部の一部に、情報を入力する領域を示す入力枠を表示させることを特徴とする。
これによれば、手の接触検知領域の近傍であって、情報を入力することが可能な範囲内の表示部に入力枠を表示させるので、利用者は、情報を入力することのできる位置を容易に知ることができ、手を接触検知領域に接触させたままの状態で、情報を容易に入力することができる。

また、記憶部をさらに備え、前記接触検知部が、第１の検出領域において手の接触を検知した後、前記第１の検出領域による手の接触の検知がされたままの状態で、前記手書き描画部によって情報が入力されている場合、その情報は、１つの文字についての手書き描画情報として、前記記憶部に記憶されることを特徴とする。
これによれば、手を接触させたまま動かさない状態で、１つの文字を入力することが可能となる。

さらに、前記接触検知部が、第１の検出領域において手の接触を検知した後、手の接触検知位置が第２の検出領域に移動したとき、その移動方向が所定の第１方向である場合、前記制御部は、手の接触が前記第１の検出領域にあるときに入力された情報を確定する処理を行うことを特徴とする。
これによれば、手の接触位置を第１方向に移動させる操作をするだけで、入力された情報を確定させることができる。

また、前記制御部が行う情報を確定する処理は、その情報を文字認識する処理を含み、前記文字認識によって抽出された認識候補群を、前記表示部に表示させることを特徴とする。
さらに、前記制御部は、前記表示部に表示された認識候補群の表示位置とは異なる位置であり、前記第２の検出領域の近傍であって、情報を入力することが可能な位置に、前記入力枠を表示させることを特徴とする。
これによれば、手の接触位置を移動させるだけで、次の情報の入力が可能となる。

また、前記接触検知部が、第１の検出領域において手の接触を検知した後、手の接触検知位置が第３の検出領域に移動したとき、その移動方向が所定の第２方向である場合、前記制御部は、手の接触が前記第３の検出領域にあるときに入力された情報を修正する処理を行うことを特徴とする。
これによれば、手の接触位置を第２方向へ移動させる操作をするだけで、すでに入力された情報を修正させることができる。

さらに、前記制御部が行う情報を修正する処理は、以前にその情報を文字認識した結果、抽出されていた認識候補群を、前記表示部に表示させる処理を含むことを特徴とする。
これによれば、すでに入力された情報についての認識候補群を再表示させることができる。
ここで、前記第１方向は右方向であり、また、前記第２方向は左方向であることが好ましい。

また、この発明は、情報を入力する手書き描画部と、前記情報を入力する手が複数の検出領域からなる接触検知領域に接触していることを検知する接触検知部と、制御部と、前記手書き描画部に重畳させて配置された表示部とを備えた情報処理装置の情報入力方法であって、前記接触検知部が手の接触を検知した場合に、前記制御部が、手が接触した検出領域を特定し、前記手書き描画部に情報が入力できる状態になったと判断し、前記表示部に情報を入力させることが可能な入力枠を表示させ、その後前記入力枠の中に入力された情報を、前記表示部に表示させることを特徴とする情報処理装置の情報入力方法を提供するものである。

この発明によれば、手の接触を検知した後に、情報入力を許容し、あるいは入力枠の表示を行い、さらに手の移動を検出することにより情報の入力確定や修正を行うようにしているので、主として手書きにより情報を入力する場合において、利用者の入力操作をより容易かつ確実にし、利用者の入力操作の負担を軽減することができる。

以下、図面を使用して本発明の実施の形態を説明する。なお、以下の実施例の記載によって、この発明が限定されるものではない。
＜この発明の情報処理装置の構成＞
図１に、この発明の手書き入力機能を有する情報処理装置の一実施例の構成ブロック図を示す。
図１において、この発明の情報処理装置は、主として、表示部１，表示制御部２，手書き描画部３，記憶部４，文字認識部５，キー入力部６，ペン入力検知部７，接触検知部８，ペン９，制御部１０とから構成される。

この情報処理装置は、手書きした情報を入力する専用の装置として提供するだけでなく、今日利用されている電子辞書，ＰＤＡ，携帯電話，パソコンなどの情報機器に組み込まれて、その一機能として実現することもできる。

表示部１は、入力された文字，記号および図形などの情報，情報を入力する領域を示す入力枠，文字認識結果，検索結果などを表示する部分であり、たとえばＬＣＤ，ＰＤＰ，有機ＥＬなどを用いることができる。表示部１は、手書き描画部３に重畳させて配置される。
表示制御部２は、文字認識などの結果を表示データに変換して、表示部１に表示させる部分である。

手書き描画部３は、利用者が手書きにより情報を入力する部分であり、タブレットに相当する部分である。また、ペン等を用いて文字，記号，図形等の情報を入力する領域（手書き描画領域）を構成する部分である。この領域に手書き入力された情報は座標値を有する線画の情報（手書き描画情報４１）として取得され、記憶部４に記憶される。手書き描画部３には、圧電素子などの圧力センサや歪検出センサが多数配置され、ペンで押された位置にあるセンサから検出信号が出力される。この検出信号により、手書き入力された位置を検出することができ、また、入力された情報の軌跡を認識することができる。

文字認識部５は、手書き入力された文字等を認識する部分であり、文字認識ＤＢ４４に記憶された情報を用いて、入力された手書き描画情報４１に一致可能な文字等を抽出する部分である。
抽出された文字等は、認識結果４２として、記憶部４に記憶される。一致可能な文字等が複数個ある場合は、認識候補として複数個の認識結果を記憶する。

キー入力部６は、文字，記号または特定の機能の入力を行う部分であり、いわゆるキーボードに相当する部分である。キーボードの各キーの機能は固定的なものであってもよく、また必要に応じてキーに設定された入力機能を変更できるものであってもよい。
ペン入力検知部７は、ペン９による入力の有無を検知する部分である。たとえば、ペン９のペン先が手書き描画部３に接触していることを検知するものであり、手書き描画部３に配置された圧力センサや歪検出センサなどが、ペン入力検知部７としても機能する。
また、ペン入力検知部７は、情報をペンで入力する場合において、情報が入力されていることを検知する入力検知部に相当する。ペンの軌跡を追うことにより情報が入力されていることが検知されるとともに、入力情報の描画データが生成される。

接触検知部８は、利用者の手を検知する部分であり、複数の検出領域からなる接触検知領域に、手が接触しているか否かを検知する。たとえば、圧力センサ，歪検出センサなどが用いられる。接触検知領域に手が接触された場合は、後述するように、複数の検出領域のうち、手がどの検出領域に接触されたかを特定する。
表示部１の上に重ねてタッチパネルを設置する場合は、そのタッチパネルの中の予め設定された特定の領域が、ペン入力検知部７や接触検知部８となる。タッチパネルとしては、表示部の画面を押さえた時にその圧力を検知する抵抗膜方式や、押さえた時に流れる微弱電流の変化を測定する静電容量方式などを用いることができる。

タッチパネルのどの領域を手書き描画部３およびペン入力検知部７の領域とするか、あるいは接触検知部８の領域とするかは必要に応じて設定変更できるようにしてもよい。たとえば、右ききの利用者の場合は、ペンで描画する領域のすぐ右側でやや下方の領域に右手を接触させて描画することが多いと考えられるので、手の接触を検出した接触検知領域を認識した後、その領域の左側やや上方の領域を、手書き描画領域に設定すればよい。
左ききの場合は、手を置いた接触検知領域の右側やや上方の領域を手書き描画領域に設定すればよい。

利用者が右ききか左ききかは、手書き入力をする前にキー入力部６の特定のキーを押すことにより予め入力してもらうようにしてもよい。あるいは、手の接触位置を検知した後、その接触位置の右側やや上方の領域と左側やや上方の領域の両方を、手書き描画領域として設定してもよい。

また、表示部１，手書き描画部３，ペン入力検知部７，および接触検知部８として、これらの各領域に対応する機能をすべて有する光センサ液晶を利用してもよい。
光センサ液晶は、いわゆる表示機能を持つ液晶表示素子に加えて、光を検知する光センサを備えたものである。たとえば、表示画面の１画素ごとに、バックライトの光の出力を制御する液晶を駆動する液晶表示素子と、表示のために出力された光が画面に接触された指などによって反射され戻ってくる光を検出する光センサとを設ける。

すなわち、光センサ液晶は、情報を表示する表示部１の機能を持つ液晶表示素子と、手書き入力された描画情報，ペンの位置，手の接触の有無および手の位置などを検知する機能を持つ光センサとから構成されるものである。
光センサ液晶の特定の位置に情報を表示しておき、その表示位置をペンで押さえることにより、その表示機能を選択するような機能を実行させることができる。

また、光センサ液晶の全領域を必要に応じて機能ごとに分けて使用することもできる。たとえば、情報を表示する領域（表示部）を予め設定し、その表示部の領域に、ペン等による入力がされてもその入力は無視し、ペン等の入力可能領域として予め設定された領域に入力があったときにその入力を機能させるというような利用形態をさせることができる。
また、光センサによる入力検出は、１点のみではなく、同時に複数の位置を押さえた場合でも、その入力位置をスキャンして、すべて検出することができる。

したがって、たとえば、ある１点のみの入力が検出された場合は、その位置にペンによる入力がされたと判断することができ、ある領域に属する複数点の入力が検出された場合は、その領域に手が接触されたと判断することができる。また、光センサ液晶でスキャンした画像が、画面上に乗せている手であるとパターン認識された場合に、その領域に手が接触されたと判断することも可能である。
すなわち、光センサ液晶を用いた場合、その光センサ液晶が存在する領域を、表示部１，手書き描画部３，ペン入力検知部７，および接触検知部８のいずれか１つ以上の領域として機能させることができる。

記憶部４は、この発明の情報処理装置を利用するのに必要となる情報を記憶しておく部分であり、たとえば、ＲＡＭ，ＲＯＭ，ハードディスク，フラッシュメモリなどを用いることができる。
特に、この発明の手書き入力機能を実行する場合に記憶される情報としては、たとえば、手書き描画情報４１，認識結果４２，表示データ４３，文字認識ＤＢ４４，および辞書４５がある。

手書き描画情報４１は、ペン９で手書き描画部３に描かれた文字，記号，図形などの線画情報（座標位置，描画速度，方向など）を記憶したものである。
文字認識ＤＢ４４は、入力された手書き描画情報４１をもとに手書き入力された文字を、文字データとして認識するのに利用する情報である。
認識結果４２は、手書き入力された文字を認識した結果である文字データであり、１つの場合もあれば、１つの文字データに特定できない場合や、多数の文字データに一致する可能性がある場合は、認識結果が複数になる場合もある。

表示データ４３は、表示部１に表示させるデータであり、認識結果４２の他に辞書検索した結果や各種機能を実行させるときに利用者に提示される情報などが含まれ、表示制御部２によって生成されるデータである。
辞書４５は、いわゆる電子辞書であり、この発明の情報処理装置を電子辞書として用いる場合に記憶される。たとえば、手書き入力された文字の読みや意味内容の検索、あるいは日本語と英語の置換などに用いられる。

制御部１０は、図１に示した他の各機能ブロックの動作を制御する部分であり、主として、ＣＰＵ，ＲＯＭ，ＲＡＭ，Ｉ／Ｏコントローラ，タイマー等からなるマイクロコンピュータによって実現される。このとき、ＲＯＭやＲＡＭに記憶された制御プログラムに基づいて、ＣＰＵが各種ハードウェアを動作させることにより、各機能ブロックの動作を実現させる。

制御プログラムは、予めＲＯＭ等に固定的に記憶してもよいが、後から機能の追加や変更をするために、交換可能な記録媒体や持ち運び可能な記録媒体，不揮発性の書き替え可能な記録媒体に記憶してもよく、遠隔地にあるサーバから通信回線を経由して更新プログラムをダウンロードをすることにより自動的に更新ができるようにしてもよい。

また、制御部１０は、接触検知部８が手の接触を検知した場合に、手が接触した検出領域を特定し、さらに、手書き描画部３に情報が入力できる状態になったと判断する。すなわち、手の接触があったことが検知された場合、たとえば、図３（ｃ）に示すように、その後に、ペンなどを用いた手書きによる情報の入力を受け入れる。
また、利用者に情報を入力してもらう位置を視覚的に知らせるために、手の接触が検知された後、制御部１０は、手の接触を検知した検出領域の近傍であって、情報を入力することが可能な範囲内にある表示部１の一部に、入力枠を表示させる。たとえば、図３（ｂ）のように、検出領域Ｈで手の接触を検知した場合、２つの入力枠３２を表示させる。

また、制御部１０は、特に手書き入力が開始されたこと、情報の入力が継続していること、および手書き入力が終了したことを判断する入力判断部を備える。
たとえば、入力判断部は、ペンによる入力の有無にかかわらず、手が接触検知領域から離れた場合は、常に情報の入力が終了したと判断する。
ただし、ペン９が手書き描画部３に接触していることと、手が接触検知領域に接触していることのいずれか一方が検知されている場合、制御部１０の入力判断部は、ペンで入力されている情報の入力が継続中であると判断してもよい。
また、制御部１０の入力判断部は、ペン入力検知部７によって今まで検知されていた情報の入力が検知されなくなり、かつ接触検知部８によって検知されていた手の接触が検知されなくなった場合に、情報の手書き入力が終了したと判断してもよい。

＜情報処理装置の機能説明＞
この発明の情報処理装置は、従来の電子辞書と同様に、情報の表示機能と、ペン等を用いた手書きによる情報入力機能を有するのに加えて、利用者の手の接触の有無、手の接触位置と手の移動を検出する機能を有することを特徴とする。
図２に、この発明の情報処理装置１００の一実施例の情報の入出力に関する構成の説明図を示す。

図２において、表示領域１１は、表示部１に相当し、表示制御部２によって生成された表示データを表示する領域である。この表示領域１１には、たとえば辞書４５などに含まれるコンテンツ情報が表示される。また、表示部１は、この領域１１に限定されるものではなく、手書き描画部３に重畳させて配置される。すなわち、図２の手書き描画領域３１も、表示部１の一部分である。
キー入力部６は、複数のキーが配置された領域であり、いずれかのキーを押すことになり、そのキーに割り当てられた文字の入力や機能の入力が行われる。

手書き描画領域３１は、手書き描画部３に相当し、ここに、ペン９を用いて、入力したい文字等の情報が手書きで入力される。
接触検知領域８１は、接触検知部８が手の接触を検知する領域に相当し、手書き描画部３に情報を手書き入力をするときに、利用者の手が置かれるであろう位置に配置される。言いかえれば、接触検知領域８１は、情報を入力している手が接触する位置を含む領域であって、手書き描画部３の近傍に配置される。

また、装置１００の全面が光センサ液晶の場合、設定した接触検知領域８１や、手書き描画領域３１がどの位置にあるかがわかるようにするために、それらの領域の外周ラインを表示してもよく、また、それらの領域内部を色分けして表示してもよい。たとえば描画領域３１を白色で塗りつぶし、接触検知領域８１を、緑色で塗りつぶしてもよい。

また、図２において、接触検知領域８１は、複数個の検出領域に分割され、各領域ごとに、検出用センサを設ける。図２の符号Ａ〜Ｎが、各検出領域に相当する。
たとえば、検出領域Ｇに手が置かれたとすると、領域Ｇのセンサが反応し、検出信号を出力する。制御部１０が、この検出信号を解析することにより、利用者の手が領域Ｇに置かれたことが検出される。このような検出領域の数，位置，大きさは、図２のものに限定されるものではなく、設計により適切なものに設定，変更できることが好ましい。
ただし、一般的な手書き入力を行う態様を考慮すると、文字を描く手書き領域３１に近接しそのやや下方に、接触検知領域８１を設けることが好ましい。
また、各検出領域の大きさを小さくして多数のセンサを設けた方が、詳細に手の位置を検出することができる点で好ましいが、利用者の手の大きさや手の置き方によっては隣接する２以上の検出領域で、手を検出してしまう可能性がある。

このように、複数の検出領域によって手が検出された場合、それらの検出領域のほぼ中央付近に、手が置かれたと判断すればよい。たとえば、３つの検出領域（Ｃ，Ｄ，Ｅ）が反応し、手が置かれたことが検出された場合、それらの中央の検出領域Ｄに、手が置かれたと判断すればよい。
また、偶数個の検出領域（たとえば、Ｊ，Ｋ，Ｌ，Ｍ）が反応した場合は、中央の２つの検出領域（ＫとＬ）の真ん中の位置に、手が置かれたと判断すればよい。
また、接触検知領域８１の全体の位置や各検出領域（Ａ〜Ｎ）の位置が利用者に視覚的にわかるように、その外枠の表示や色分け表示をしてもよい。

また、図２に示すように、手書き描画領域３１に、ペンで文字を入力するための入力枠３２を表示する。入力枠３２は、初期値として、手書き描画領域３１の中の任意の位置に、少なくとも１つ表示すればよい。
あるいは、入力枠３２は、初期状態では表示せずに、接触検知領域８１に手が接触されたことを検出したときに、表示するようにしてもよい。

また、手の接触を検出したとき、その検出領域の位置に対応させて、入力枠３２を表示位置を決定することが、利用者の入力を容易なものとするために好ましい。
たとえば、図３（ｂ）に示すように、検出領域Ｈの位置で手の接触が検出された場合、この領域Ｈの左側近傍および右側近傍の手書き描画領域３１内であって、手に持ったペンで文字が書ける領域に入力枠３２を表示すればよい。

図３（ｂ）において、左側の入力枠３２は、右ききの利用者用の入力枠であり、右側の入力枠３２は、左ききの利用者用の入力枠である。ただし、利用者が予め左ききであるか右ききであるかを設定入力しているような場合は、その入力に基づいて、どちらか一方の入力枠のみを表示するようにしてもよい。
また、手の接触を検知した直後は、図３（ｂ）のように２つの入力枠３２を表示させるが、その後、どちらかの入力枠の中にペン入力が開始されたときに、ペン入力のなかった方の入力枠を消去してもよい。

また、接触検知領域８１の中のある第１の検知領域において、手の接触が検知された後に、その第１の検知領域による手の接触が検知されたままの状態で、利用者がペン等によって、手書き描画領域３１の中に、文字を手書き入力した場合、その手書き入力された情報は、１つの文字についての手書き描画情報４１と判断され、記憶部４に記憶される。

さらに、後述するように、接触検知領域８１の第１の検出領域において手の接触が検知された後、手の接触検知位置が第１の検出領域と異なる第２の検出領域に移動した場合、１つの文字の手書き入力が終了したと判断し、手の接触が第１の検出領域にあるときに入力された文字を確定する処理を行う。たとえば、図４（ｃ）から、図４（ｄ）の状態へ変化したような場合である。この場合は、１つの文字は、手の位置を移動せずに描画入力されるものとする。

このときの移動方向は、原則として右方向、すなわち上記した第１方向である。
たとえば、手の検出位置が領域Ｈであり、その後領域Ｈで手の検出がされたままの状態で、文字の入力がされ一定時間が経過した後、領域Ｋで手が検出されたとする。このとき、手が領域Ｈから領域Ｋまで右方向（第１方向）に移動したので、領域Ｈの位置で入力されていた文字の手書き入力が終了したと判断し、その文字の確定処理をする。

また、手の接触が第１の検出領域で検出された後、手の接触検知位置が、第１の検出領域とは異なる第３の検出領域に移動したとき、以前に手の接触が第３の検出領域にあったときに入力された情報を修正するようにしてもよい。
ここで、原則として、第３の検出領域は第１の検出領域よりも左側にある領域であり、手の移動方向は、左方向、すなわち上記した第２方向である。たとえば、図５（ｄ）から図５（ｅ）の状態へ変化したような場合であり、このとき手の検出領域が、領域Ｉから領域Ｈに移動している。

以前に、利用者が領域Ｈに手を接触した状態で文字を入力し、その文字が文字認識され、認識の結果、複数の候補からなる認識候補群が抽出され、所望の１つの文字が確定されていたとする。その後、手が領域Ｉに接触したが、手を領域Ｉから領域Ｈに戻す操作をした場合、この操作をその確定文字の修正を意味する操作と判断する。そして、すでに確定されていた文字を修正するために、再度、抽出されていた認識候補群を表示させる。

また、いずれかの検知領域で手の接触が検知されていたが、その後接触検知領域８１のすべての領域で、手の接触が検知されなくなった場合、手が接触検知領域８１から離されたことを意味するので、手書き文字の入力が終了したと判断し、文字の確定処理を行う。
たとえば、図６（ｆ）から図６（ｈ）の状態へ変化したような場合である。

手書き入力が終了したと判断された場合、制御部１０が、入力された文字を確定する処理を行う。この文字を確定する処理とは、たとえば、文字を認識する処理である。すなわち、利用者の特別な入力操作を要求することなく、入力枠３２に入力された手書き文字について文字認識を実行する。文字認識は従来から行われているのと同様の方法により行えばよい。文字認識処理により、１または複数個の文字からなる認識候補群が抽出される。抽出された認識候補群は、表示部１に表示させる。

また、文字認識をした結果、認識候補が１つしかない場合は、その認識候補を、入力枠３２の近傍あるいは入力枠の領域内の一部に表示すればよい。
一方、認識候補が２つ以上存在し、１つに特定できない場合は、その複数の認識候補（認識候補群）を、入力枠３２の近傍に表示する。たとえば、図４（ｄ）のように表示する。その後、利用者に、１つの認識候補を選択入力してもらうようにすればよい。選択入力された候補が、入力文字に確定される。

また、上記したように、手の接触位置が右方向（第１方向）へ移動し、認識候補群を表示させた場合、制御部は、この認識候補群と異なる表示位置であり、移動後の第２の検出領域の近傍であって、文字を入力することが可能な位置に、新たな次の文字を入力するための入力枠を表示してもよい。たとえば、図４（ｄ）に示すように、入力枠３２を表示させる。
これにより、移動後の手の位置の近傍に、文字を入力することができる入力枠を表示するので、利用者は次の文字の入力を容易にすることができる。

＜手書き入力の実施例＞
図３から図６に、この発明の手書き入力処理の一実施例の説明図を示す。
ここでは、図２の手書き描画領域３１と接触検知領域８１の部分のみを示す。
また、以下の実施例では、手の接触は１つの検出領域でのみ検知されるものとして説明するが、上記したように、隣接する複数の検出領域で検出される場合があってもよい。

図３（ａ）は、手書き入力をする前の初期状態を示している。この状態では、手書き描画領域３１の中には何も表示されず、接触検知領域８１の各検出領域（Ａ〜Ｎ）では、何も検出されていないものとする。ただし、利用者にペンによる手書き入力を求めるために、上記したように、手書き描画領域３１に、任意の位置に入力枠３２を表示してもよい。

この発明では、上記したように、接触検知部８によって手が置かれたことを検知した後に、手書き描画領域３１に、文字を入力することができるものとしている。すなわち、接触検知領域８１に手を置かない場合は、入力枠内に文字を入力することはできない。
したがって、手書き描画領域３１の入力枠３２に文字を入力することができるようにするために、手の接触があることを検知する必要があるので、初期状態では、制御部１０は、接触検知部８からの「検知（反応）あり」の入力があるか否かをチェックする。

図３（ｂ）において、利用者が接触検知領域８１の中の領域Ｈに、手を置いたとする。このとき、領域Ｈのセンサが反応し、領域Ｈの位置情報が接触検知部８から制御部１０へ送られる。制御部１０は、手の接触位置を検出領域Ｈと特定し、手書き描画部３に文字を入力することが可能な状態になったと判断する。領域Ｈは手の検知位置として記憶される。手の検知位置が領域Ｈと認識されたので、領域Ｈの左側近傍と右側近傍であって、手書き描画領域３１の中に、入力枠３２を表示させる。
この入力枠３２を表示することにより、利用者が文字を入力することのできる領域を知ることができる。

２つの入力枠３２を表示するのは上記したように、利用者が左ききか右ききかわからない場合を考慮したものである。きき手がどちらであるかが予め設定入力されている場合は、そのきき手に対応した側の入力枠３２のみ表示してもよい。
この後、利用者は、どちらかの入力枠３２に、ペン９で文字を入力することができる。利用者がどちらかの入力枠３２にペン入力を開始した場合、その描画した線をその描画どおりに表示する。このとき、入力がされなかった方の入力枠３２は消去してもよい。
たとえば、図３（ｃ）に示すように、利用者は、右手でペン９を持ち、手を領域Ｈに接触させたままの状態で、入力枠３２の中に、文字「平」を入力する。この入力中においては描画された線分の位置情報等からなる手書き描画情報４１が、記憶される。

図４において、図４（ｃ）は図３（ｃ）と同一図面である。
図４（ｄ）に示すように、図４（ｃ）から、利用者は「平」の字を形成する線分をすべて入力した後、手の位置を隣接する右側の領域Ｉへ、移動させたとする。このとき、手の検出位置が、領域Ｈから、領域Ｉに変化する。
このように、手の接触の検出位置が、他の領域に変化した場合、手が移動したと判断する。そして、この手が移動したと判断した場合、領域Ｈに手を置いて描画された文字の入力が終了したと判断する。

文字の入力が終了したと判断されると、利用者の文字認識開始を意図する入力操作を待つことなく、記憶された手書き描画情報４１を用いて、文字認識処理を実行する。認識の結果、候補が複数個ある場合は、それらを、手書き描画領域３１の中に表示する。
図４（ｄ）では、「平」を手書き入力した場合に、文字認識処理によって抽出された３つの認識候補３３からなる認識候補群を表示した状態を示している。ここで、認識候補３３のうち最も確からしい認識結果（第１候補）を、他の候補と区別して表示してもよい。たとえば、反転表示してもよい。
また、手書き描画領域３１に、次の文字を入力するための入力枠３２を、領域Ｉの左側近傍に表示する。

図４（ｃ）の表示状態から、図４（ｄ）の表示状態への変化は、利用者が手を領域Ｈから領域Ｉへ移動させることにより起こる。すなわち、利用者が手の接触位置を少し右側へずらす操作をするだけで、１つの手書き文字の入力が終了したと判断され、その後利用者の入力操作がされることなく、手書き入力した文字の文字認識の実行と、その認識候補３３の表示と、次の文字入力のための入力枠３２の表示が行われる。したがって、１つの手書き文字の入力から認識候補を表示するまでの利用者の入力操作の負担を軽減できる。

図４（ｄ）において、認識候補群として、３つの認識候補３３が表示されているが、たとえば、最も確からしい認識結果である第１候補を１番上に表示し、この第１候補を仮に入力文字と決定しておき、新しい入力枠３２に利用者が次の文字を手書き入力し始めたときに、その第１候補「平」を手書き入力された文字に確定してもよい。
この場合、図５（ｄ）の状態から図５（ｆ）の表示状態に変化する。図５（ｆ）に、利用者が入力枠３２に次の文字を入力し始めた場合に、確定文字３５として「平」を表示した状態を示す。
あるいは、利用者が入力した文字が第１候補でなく他の候補である場合は、利用者に、その候補の表示部分をペンで選択入力してもらうことにより、入力文字を確定すればよい。

図５において、図５（ｄ）は、図４（ｄ）と同一図面である。
図５（ｄ）において、利用者は、認識候補３３のうち、いずれかを選択入力するために、手の接触位置を、領域Ｉからその左側の領域Ｈへ戻したとする。手の位置が移動したので、図５（ｅ）に示すように、再び領域Ｈで手の接触が検出される。制御部１０は、手の接触検出位置が領域Ｉから領域Ｈへ左方向に移動したことを認識すると、利用者が認識候補３３のうちいずれかを選択するのを待つ。

このとき、図５（ｄ）で表示された３つの候補のみを表示したままにしておいてもよいが、他に認識候補が存在する場合は、図５（ｅ）に示すように、認識候補群として、すべての認識候補３４を表示するようにしてもよい。
この後、利用者は、ペンで所望の文字が表示されている領域を押下げることにより、認識候補３４のうち１つの文字を選択入力する。この選択入力により、制御部１０は、どの文字の表示位置が押下されたかを判断し、入力文字を確定する。入力文字が確定した後は、その確定文字３５のみを、手書き描画領域３１に表示すればよい。

図５（ｅ）に示したように、認識候補群が表示されている状態で、手の接触位置を戻したとき、この後利用者が認識候補を選択入力する操作を行うと判断し、すべての認識候補を表示するようにすれば、選択可能な文字数が増えるので、特に図５（ｄ）の状態で選択したい文字がなかった場合の利用者の選択入力操作を、より容易なものとすることができる。

また、図５（ｄ）の状態で利用者が入力枠に文字を入力し始めると、図５（ｆ）に示したように、認識候補３３のうち仮に入力文字に決定されていた第１候補「平」が入力文字として確定され、「平」のみが確定文字３５として表示される。
このとき利用者が、この確定文字３５を見て、意図した文字と異なると判断した場合、手の位置を領域Ｉから領域Ｈへ戻したときにも、図５（ｅ）に示すように、再度、認識候補３４を表示するようにしてもよい。そして、利用者は、認識候補３４の中から、意図した文字を選択入力すればよい。これにより、確定文字３５が変更される。

すなわち、利用者が次の文字を入力し始めることにより、一旦入力文字が確定され、図５（ｄ）から図５（ｆ）に表示状態が変化したが、その後利用者が手の位置をもとへ戻す操作をした場合、図５（ｆ）から図５（ｅ）に表示状態を変化させる。これにより、利用者は、手の位置をもとへ戻すという容易な操作をするだけで、一旦確定した入力文字の修正をすることができる。また、その後、文字入力を続ける場合は、手の位置を右方向へ移動させれば、図５（ｆ）のように表示枠が表示され、入力可能状態となる。

図６において、図６（ｆ）は、図５（ｆ）と同一画面である。
図６（ｆ）の後、利用者が、入力枠３２において、手書き文字の入力を継続した場合、図６（ｇ）のように、入力された文字「林」が表示される。
その後、手の位置がさらに右側に移動したとすると、図４（ｄ）に示したのと同様に、手書き入力された文字「林」について認識候補の表示と、次の入力枠３２の表示が行われる。

また、図６（ｆ）の「木」を手書き入力した状態で、利用者がペン９を手書き描画領域３１から離し、かつ手を接触検知領域８１から離したとすると、図６（ｈ）のように表示状態を変更する。
すなわち、手の接触が検知されなくなり、ペンの入力も検知されなくなった場合、手書き文字の入力が終了したと判断し、入力枠３２に入力されていた文字の認識処理を開始する。ここでは、「木」についての文字認識を行い、その認識結果を認識候補３４として表示させる。

図６（ｈ）では、すでに確定文字３５として「平」が表示されているので、「平」の右横に、「木」についての複数の認識候補３４を表示する。
この後、認識候補３４のいずれかを選択するための利用者による選択入力を待つ。
また、図６（ｈ）の後、利用者がさらに認識候補３４のうちいずれかを選択するために、手を接触検知領域８１に置き、ペンで選択入力をした場合は、確定文字「平」の右横に新たな確定文字３５を表示すればよい。さらに、次の文字を入力できるようにするために、図３（ｂ）などに示したように、入力枠３２を表示してもよい。

以上が、この発明の手書き入力の一実施例である。
以上のような入力操作およびその操作に伴う手位置検出処理，移動検出処理，表示処理，文字認識処理などを実行するようにすれば、利用者の手書き文字入力における入力の継続，認識候補の選択，入力文字の修正，次の文字入力などの操作を容易なものとし、利用者の操作負担を軽減でき、入力時間の短縮や誤入力の防止も可能となる。

なお、上記実施例では、手の位置を右方向へ移動した場合に、入力文字の確定と次の文字入力のための入力枠の表示をし、手の位置を左方向へ移動した場合に、認識候補からの文字の選択入力または入力文字の修正をするものとして説明した。
これは、一般的に、文字列は左側から右側の方向に向かって入力されていくことを考慮したものである。ただし、これに限るものではない。

＜手位置検出および手書き入力処理のフロー＞
図７に、この発明の手位置検出と手書き入力処理の一実施例のフローチャートを示す。
図７のステップＳ１において、制御部１０は、接触検知部８の状態を監視する。
接触検知部８のいずれかの検出領域のセンサが反応した場合、ステップＳ２へ進み、その検出領域に手が置かれたと判断し、検出位置を記憶する。
ステップＳ３において、手書き描画部３に入力枠３２を表示する位置を設定し、表示制御部２によって、その設定された位置に入力枠３２を表示させる。このとき、たとえば、図３（ｂ）のような状態となる。この後、利用者は、ペン９で、入力枠３２に文字を入力することができる。

ステップＳ４において、利用者がペン９で文字を入力した場合、ペン入力検知部７がそのペン入力座標を検出し、描画されたデータを、手書き描画情報４１として記憶する。
ステップＳ５において、接触検知部８の状態をチェックする。その状態に変化がない場合は、ステップＳ１３へ進み、文字候補群（認識候補群）を選択入力する操作がされたか否か、チェックする。
ステップＳ１３において、利用者の選択入力がなければ、ステップＳ４へ戻り、選択入力があれば、ステップＳ１７へ進む。

一方、ステップＳ５において、検知状態に変化があった場合は、ステップＳ６へ進む。
ステップＳ６において、接触検知状態の変化は、手の移動であるか、あるいは手が接触面から離れたこと（検知なし）か否かをチェックする。
手の移動である場合は、ステップＳ７へ進み、移動後の新しい検出位置を記憶する。
一方、手が離れたことが検知された場合は、ステップＳ１４へ進む。

ステップＳ７の後、ステップＳ８において、移動前後の検出位置を比較する。新しい検出位置が前の位置から右方向へ移動した位置であると判断された場合は、ステップＳ９へ進む。一方、左方向への移動であると判断された場合は、ステップＳ１５へ進む。
ステップＳ９において、すでに入力された描画データがあるか否か、チェックする。描画データがない場合は、ステップＳ１２へ進み、描画データがある場合は、ステップＳ１０へ進む。
ステップＳ１０において、すでに入力されていた描画データについて、文字認識処理を実行する。
ステップＳ１１において、文字認識の結果、抽出した文字候補群（認識候補群）を設定し、あるいは更新する。また、このとき、文字候補群に複数の候補があるとき、その中の第１候補を、仮の入力文字として決定しておく。

ステップＳ１２において、文字候補群を、移動後の手の位置に対応させて、手書き描画部３に表示させる。さらに、移動後の手の位置に対応させて、次の文字の入力用の入力枠３２も表示させる。このとき、たとえば、図４（ｄ）のような表示状態となる。この後、ステップＳ４へ戻る。

ステップＳ１４において、描画データの文字認識処理を実行し、認識した結果の文字候補群（認識候補群）を設定、あるいは更新する。
ステップＳ１５において、設定された文字候補群を手書き描画部３に表示する。
ステップＳ１６において、利用者が、文字候補群の選択入力をするのを待ち、選択入力があれば、ステップＳ１７へ進む。
ステップＳ１７において、選択入力された文字を、入力文字として確定する。
ステップＳ１８において、確定された文字を表示するとともに、文字候補群の表示を更新する。この後、ステップＳ４へ戻る。

以上が、この発明の手書き入力処理等の一実施例のフローチャートである。ただし、上記した手書き入力の実施例で説明したように、手の移動状態などについて他の処理を実行してもよい場合は、必要に応じてこのフローチャートを変更してもよい。

この発明の情報処理装置の一実施例の構成ブロック図である。 この発明の情報処理装置の入出力領域の説明図である。 この発明の情報処理装置における手書き入力操作の一実施例の説明図である。 この発明の情報処理装置における手書き入力操作の一実施例の説明図である。 この発明の情報処理装置における手書き入力操作の一実施例の説明図である。 この発明の情報処理装置における手書き入力操作の一実施例の説明図である。 この発明の情報処理装置の手書き入力処理などの一実施例のフローチャートである。

符号の説明

１ 表示部
２ 表示制御部
３ 手書き描画部
４ 記憶部
５ 文字認識部
６ キー入力部
７ ペン入力検知部
８ 接触検知部
９ ペン
１０ 制御部
１１ 表示領域
１５ 手
３１ 手書き描画領域
３２ 入力枠
３３ 認識候補
３４ 認識候補
３５ 確定文字
４１ 手書き描画情報
４２ 認識結果
４３ 表示データ
４４ 文字認識ＤＢ
４５ 辞書
８１ 接触検知領域
１００ 情報処理装置

Claims (11)

1. 手書きにより情報を入力する手書き描画部と、
   前記情報を入力する手が、複数の検出領域からなる接触検知領域に接触していることを検知する接触検知部と、
   前記接触検知部が手の接触を検知した場合に、手が接触した検出領域を特定し、前記手書き描画部に情報が入力できる状態になったと判断する制御部とを備えることを特徴とする情報処理装置。
2. 前記手書き描画部に重畳させて配置された表示部をさらに備え、
   前記接触検知部によって手の接触が検知された場合、前記制御部は、手の接触を検知した検出領域の近傍であって、情報を入力することが可能な範囲内にある表示部の一部に、情報を入力する領域を示す入力枠を表示させることを特徴とする請求項１の情報処理装置。
3. 記憶部をさらに備え、
   前記接触検知部が、第１の検出領域において手の接触を検知した後、前記第１の検出領域による手の接触の検知がされたままの状態で、前記手書き描画部によって情報が入力されている場合、その情報は、１つの文字についての手書き描画情報として、前記記憶部に記憶されることを特徴とする請求項１または２の情報処理装置。
4. 前記接触検知部が、第１の検出領域において手の接触を検知した後、手の接触検知位置が第２の検出領域に移動したとき、その移動方向が所定の第１方向である場合、前記制御部は、手の接触が前記第１の検出領域にあるときに入力された情報を確定する処理を行うことを特徴とする請求項２の情報処理装置。
5. 前記制御部が行う情報を確定する処理は、その情報を文字認識する処理を含み、前記文字認識によって抽出された認識候補群を、前記表示部に表示させることを特徴とする請求項４の情報処理装置。
6. 前記制御部は、前記表示部に表示された認識候補群の表示位置とは異なる位置であり、前記第２の検出領域の近傍であって、情報を入力することが可能な位置に、前記入力枠を表示させることを特徴とする請求項５の情報処理装置。
7. 前記接触検知部が、第１の検出領域において手の接触を検知した後、手の接触検知位置が第３の検出領域に移動したとき、その移動方向が所定の第２方向である場合、前記制御部は、手の接触が前記第３の検出領域にあったときに入力された情報を修正する処理を行うことを特徴とする請求項２の情報処理装置。
8. 前記制御部が行う情報を修正する処理は、以前にその情報を文字認識した結果、抽出されていた認識候補群を、前記表示部に表示させる処理を含むことを特徴とする請求項７の情報処理装置。
9. 前記第１方向は、右方向であることを特徴とする請求項４，５または６のいずれかの情報処理装置。
10. 前記第２方向は、左方向であることを特徴とする請求項７または８の情報処理装置。
11. 情報を入力する手書き描画部と、前記情報を入力する手が複数の検出領域からなる接触検知領域に接触していることを検知する接触検知部と、制御部と、前記手書き描画部に重畳させて配置された表示部とを備えた情報処理装置の情報入力方法であって、
    前記接触検知部が手の接触を検知した場合に、前記制御部が、手が接触した検出領域を特定し、前記手書き描画部に情報が入力できる状態になったと判断し、
    前記表示部に情報を入力させることが可能な入力枠を表示させ、その後前記入力枠の中に入力された情報を、前記表示部に表示させることを特徴とする情報処理装置の情報入力方法。

Images