JP2011232953A - 情報処理装置、情報処理方法、およびプログラム、並びに情報処理システム - Google Patents

Abstract

【課題】手書きされた文字や記号などに応じて所定の処理を実行する。
【解決手段】メーラに対応する手書き記号５１を検出した場合、その近傍の領域を文字認識し、その結果得られる文字列を新規メールの件名とする。また、ユーザに指定させた領域６５を文字認識し、その結果得られる文字列を新規メールの本文とする。さらに、ユーザに指定させた領域６５を切り出して添付画像とすることもできる。本発明は、手書き入力装置を用いた情報処理システムに適用することができる。
【選択図】図９

Description

本発明は、情報処理装置、情報処理方法、およびプログラム、並びに情報処理システムに関し、特に、手書きされた文字や記号などに基づいて所定の処理を実行するようにした情報処理装置、情報処理方法、およびプログラム、並びに情報処理システムに関する。

従来、スキャナなどを用いて、紙面に印刷されている文書を画像として読み取り、読み取った画像上の文字を認識して文字列を生成するOCR(Optical Character Recognition)と称する技術が存在する。

また、近年、任意の紙面に文字などが手書きされているときのペンの動きを読み取り、これに基づいて手書きされた内容をパーソナルコンピュータなどに入力することができる手書き入力装置が開発されている（例えば、特許文献１参照）。

図１は、当該手書き入力装置の一例を示している。手書き入力装置１は、電子ペン２とレシーバ３から構成される。電子ペン２は赤外線信号と超音波信号を送信するようになされている。レシーバ３は電子ペン２からの赤外線信号と超音波信号に基づき、所定のサンプリング周期で電子ペン２の位置を検出する。そして、検出した時系列の位置を示す手書き情報をパーソナルコンピュータ(PC)５に出力するようになされている。

ユーザが、電子ペン２を用いて任意の紙面４に対して文字などを記載すると、その間、電子ペン２からは赤外線信号と超音波信号が送信され、それらがレシーバ３によって受信されて、電子ペン２の位置が検出される。そして、電子ペン２の時系列の位置の変化を示す手書き情報がPC５に出力する。

PC５においては、手書き情報に基づいて、電子ペン２によるユーザの筆跡が手書き画像として再現される。この手書き画像に対し、上述したOCRと同様に文字認識処理を行うことにより、紙面４に書かれた文字などが文字列（テキストデータ）に変換される。

特開２００７−１２２６５９号公報

上述したように、手書き入力装置１およびPC５を用いることにより、任意の紙面４に手書きされた文字などを文字列（テキストデータ）に変換することができる。

しかしながら、任意の紙面４に手書きされた文字や記号などに応じて所定の処理を実行するようなことは実現されていない。

具体的には、例えば、ユーザがメールを送信しようと思い、その旨を紙面４にメモ書きしたとする。PC５では、メモ書きが文字列に変換されるものの、その文字列をユーザが見てメーラを起動し、文章を入力するなどの操作を行わなければメールを送信することができない。例えばメールすることを覚書としてメモしても従来ではメモしたことを思い出せなければ、メモしたことが実行されることはなかった。これに対して、上記した処理を自動化して実行するようにすれば。ユーザが忘却したとしても実行すべき処理が実行されるという利点がある。

本発明はこのような状況に鑑みてなされたものであり、手書きされた文字や記号などに応じて所定の処理を実行できるようにするものである。

本発明の第１の側面である情報処理装置は、筆記用具を用いて手書きが行われたときの前記筆記用具の時系列の位置変化を示す手書き情報を取得する取得手段と、取得された前記手書き情報に基づいて手書き記号を検出する検出手段と、取得された前記手書き情報に基づいて手書き画像を生成し、前記手書き画像に対して文字認識処理を行うことによって文字列に変換する変換手段と、前記手書き記号が検出されたことに応じ、前記手書き記号に対応する所定の処理を実行し、前記所定の処理に前記文字列を適用する手書き記号対応手段とを含む。

前記手書き記号対応手段は、前記手書き記号が検出されたことに応じてアプリケーションプログラムを起動し、起動した前記アプリケーションプログラムに前記文字列を適用するようにすることができる。

前記変換手段は、前記手書き画像の全領域のうち、前記手書き記号が検出された近傍の領域に対して文字認識処理を行うことによって第１の文字列に変換するようにすることができる。

前記変換手段は、さらに、前記手書き画像の全領域のうち、ユーザによって指定された領域に文字認識処理を行うことによって第２の文字列に変換するようにすることができる。

前記手書き記号対応手段は、前記手書き記号が検出されたことに応じてメーラを起動し、新規メールの件名に前記第１の文字列を適用し、新規メールの本文に前記第２の文字列を適用するようにすることができる。

前記手書き記号が外字として予め外字として登録されている場合、前記変換手段が前記検出手段を兼ねるようにすることができる。

本発明の第１の側面である情報処理方法は、情報処理装置の情報処理方法において、前記情報処理装置による、筆記用具を用いて手書きが行われたときの前記筆記用具の時系列の位置変化を示す手書き情報を取得する取得ステップと、取得された前記手書き情報に基づいて手書き記号を検出する検出ステップと、取得された前記手書き情報に基づいて手書き画像を生成し、前記手書き画像に対して文字認識処理を行うことによって文字列に変換する変換ステップと、前記手書き記号が検出されたことに応じ、前記手書き記号に対応する所定の処理を実行し、前記所定の処理に前記文字列を適用する手書き記号対応ステップとを含む。

本発明の第１の側面であるプログラムは、コンピュータを、筆記用具を用いて手書きが行われたときの前記筆記用具の時系列の位置変化を示す手書き情報を取得する取得手段と、取得された前記手書き情報に基づいて手書き記号を検出する検出手段と、取得された前記手書き情報に基づいて手書き画像を生成し、前記手書き画像に対して文字認識処理を行うことによって文字列に変換する変換手段と、前記手書き記号が検出されたことに応じ、前記手書き記号に対応する所定の処理を実行し、前記所定の処理に前記文字列を適用する手書き記号対応手段として機能させる。

本発明の第１の側面においては、取得された手書き情報に基づいて手書き記号が検出され、取得された手書き情報に基づいて手書き画像が生成されて手書き画像が文字認識処理よって文字列に変換される。また、手書き記号が検出されたことに応じ、手書き記号に対応する所定の処理が実行され、所定の処理に文字列が適用される。

本発明の第２の側面である情報処理システムは、手書き入力装置と情報処理装置とから成る情報処理システムにおいて、前記手書き入力装置が、ユーザが筆記用具を用いて手書きしたときの前記筆記用具の時系列の位置変化を示す手書き情報を取得して前記情報処理装置に供給する供給手段を含み、前記情報処理装置が、前記手書き入力装置から供給された前記手書き情報を取得する取得手段と、取得された前記手書き情報に基づいて手書き記号を検出する検出手段と、取得された前記手書き情報に基づいて手書き画像を生成し、前記手書き画像に対して文字認識処理を行うことによって文字列に変換する変換手段と、前記手書き記号が検出されたことに応じ、前記手書き記号に対応する所定の処理を実行し、前記所定の処理に前記文字列を適用する手書き記号対応手段とを含む。

本発明の第２の側面においては、手書き入力装置により、ユーザが筆記用具を用いて手書きしたときの筆記用具の時系列の位置変化を示す手書き情報が取得されて情報処理装置に供給される。また、情報処理装置により、取得された手書き情報に基づいて手書き記号が検出され、取得された手書き情報に基づいて手書き画像が生成されて手書き画像が文字認識処理よって文字列に変換される。また、手書き記号が検出されたことに応じ、手書き記号に対応する所定の処理が実行され、所定の処理に文字列が適用される。

本発明の第１の側面によれば、手書きされた文字や記号などに応じて所定の処理を実行することができる。

本発明の第２の側面によれば、ユーザによって手書きされた文字や記号などを入力することができ、手書きされた文字や記号などに応じて所定の処理を実行することができる。

従来存在する手書き入力装置の概要を説明する図である。 本発明を適用した手書き入力システムの構成例を示すブロック図である。 図２のレシーバの構成例を示すブロック図である。 図２の情報処理装置の構成例を示すブロック図である。 第１の手書き情報対応処理を説明するフローチャートである。 第１の手書き記号（メール作成）検出時の処理を説明するフローチャートである。 手書きされた紙面の例を示す図である。 第２の手書き記号（メール作成）検出時の処理を説明するフローチャートである。 情報処理装置の画面の表示例を示す図である。 第２の手書き情報対応処理を説明するフローチャートである。 手書き記号の例を示す図である。 コンピュータの構成例を示すブロック図である。

以下、発明を実施するための最良の形態（以下、実施の形態と称する）について、図面を参照しながら詳細に説明する。
１．実施の形態

＜１．実施の形態＞
［手書き入力システムの構成例］
図２は、本発明の一実施の形態である手書き入力システムの構成例を示している。この手書き入力システム１０は、図１に示された既存の手書き入力装置１と情報処理装置３０から構成される。

手書き入力装置１は、上述したように、電子ペン２とレシーバ３から構成され、ユーザが電子ペン２を用いて紙面４に文字などを記載しているときの電子ペン２のリアルタイムの位置を検出する。そして、電子ペン２の時系列の位置変化を示す手書き情報を情報処理装置３０に送信する。

情報処理装置３０は、レシーバ３から送信される手書き情報を解析することにより所定の処理を実行する（詳細後述）。なお、レシーバ３を情報処理装置３０に組み込むようにしてもよい。

図３は、手書き入力装置１のレシーバ３の構成例を示すブロック図である。レシーバ３は、超音波受信部２１Ｌ，２１Ｒ、赤外線受信号２２、位置検出部２３、および送信部２４から構成される。

超音波受信部２１Ｌ，２１Ｒは、それぞれ電子ペン２から送信される超音波信号を受信し、その受信タイミングを位置検出部２３に出力する。赤外線受信部２２は、電子ペン２から送信される赤外線信号を受信し、その受信タイミングを位置検出部２３に出力する。

位置検出部２３は、赤外線信号の受信時を開始タイミングとして、超音波検出部２１Ｌの受信タイミングと超音波検出部２１Ｒの受信タイミングとの時間差に基づいて、レシーバ３から電子ペン２までの相対的な位置を検出し、内蔵するメモリ（不図示）に保持する。送信部２４は、情報処理装置３０からの要求に従い、位置検出部２３に保持されている、電子ペン２の時系列の位置を読み出し、電子ペン２の時系列の位置変化を示す手書き情報として情報処理装置３０に送信する。

なお、レシーバ３と情報処理装置３０の間の通信経路は、所定の規格に準拠したケーブルを介したものであってもよいし、所定の規格に準拠した無線通信を用いるものであってもよい。

また、手書き入力装置１の構成は上述したものに限定されず、電子ペンの時系列の位置を取得できるものであればよい。例えば、紙面上に予め印刷されているマークを電子ペン２が読み出すことにより、電子ペン２の紙面上における位置を検出するような構成としてもよい。

図４は、情報処理装置３０により手書き情報対応処理を実行するために実現される機能ブロックの構成例を示している。すなわち、情報処理装置３０は、手書き情報取得部３１、手書き記号検出部３２、文字認識部３３、アプリ連携部３４、操作入力部３５、およびアプリ起動部３６から構成される。

手書き情報取得部３１は、有線または無線により手書き入力装置１のレシーバ３と接続を確立した後、レシーバ３に手書き情報を要求する。そして、レシーバ３から送信される手書き情報を取得して、手書き記号検出部３２、および文字認識部３３に出力する。

手書き記号検出部３２は、電子ペン２の時系列の位置の変化を示す手書き情報に基づき、予め図形として登録されている手書き記号を検出する。そして、手書き記号を検出した場合、その旨をアプリ連携部３４に通知する。また、手書き記号検出部３２は、手書き情報をアプリ連携部３４に供給する。

ここで、手書き記号とは、例えば、図２の紙面４に手書きされている「サンプルの件」の左側の記号であり、パターン認識技術などを用いて検出する。なお、図２に示された手書き記号は、電子メールを作成、送信するためのメーラ（アプリケーションプログラム）との連携した動作を実行させるためのものである。このように、各種の手書き記号（図１１を参照して詳述）は、所定のアプリケーションプログラムなどと連携して動作するように対応付けられている。

文字認識部３３は、手書き情報に基づき、紙面４に文字や記号、図形などが手書きされた状態に相当する手書き画像を生成し、アプリ連携部３４に出力する。また、文字認識部３３は、手書き画像上の、アプリ連携部３４から指定される領域に文字認識処理を行い、手書きの文字を文字列（テキストデータ）に変換し、その文字列をアプリ連携部３４に出力する。

アプリ連携部３４は、文字認識部３３で生成された手書き画像や変換された文字列を、手書き記号検出部３２で検出された手書き記号に対応するアプリケーションプログラムに引き渡すための連携処理を行う。また、アプリ連携部３４は、外字に有無を検出する。アプリ起動部３６は、手書き記号検出部３２で検出された手書き記号に対応するアプリケーションプログラムを起動する。

なお、文字認識部３３に対して、手書き記号を外字として登録しておくようにしてもよい。その場合、手書き記号は手書きの文字などとともに文字認識処理の結果の文字列に変換されることになる。したがって、アプリ連携部３４にて、変換結果の文字列に外字としての手書き記号が含まれているかどうかの検出処理を行わせ、検出した場合に連携処理を実行するようにすればよい。この場合、手書き記号検出部３２は不要となる

［動作説明］
次に、情報処理装置３０による基本的な手書き情報対応処理（以下、第１の手書き情報対応処理と称する）について説明する。図５は、第２の手書き情報対応処理を説明するフローチャートである。

ステップＳ１において、手書き情報取得部３１は、手書き入力装置１のレシーバ３と接続を確立し、レシーバ３に対して手書き情報を要求する。この要求に応じてレシーバ３が手書き情報を送信すると、手書き情報取得部３１は、送信された手書き情報を取得して、手書き記号検出部３２、および文字認識部３３に出力する。

ステップＳ２において、手書き記号検出部３２は、入力された手書き情報に基づき、予め登録されている手書き記号の検出を行う。検出できた場合、処理はステップＳ３に進められる。

ステップＳ３において、手書き記号検出部３２は、手書き記号が検出できた旨と、検出できた手書き記号の種類をアプリ連携部３４に通知する。アプリ連携部３４は、例えばポップアップ表示にて、手書き記号に対応する処理を実行するか否かユーザに確認する。ユーザから実行する旨の操作が行われたと判定された場合、処理はステップＳ４に進められる。

ステップＳ４において、文字認識部３３は、アプリ連携部３４からの指示に従い、手書き情報に基づいて手書き画像を生成してアプリ連携部３４に出力する。さらに、文字認識部３３は、アプリ連携部３４からの指示に従い、手書き画像に文字認識処理を行い文字列（テキストデータ）に変換し、その文字列をアプリ連携部３４に出力する。

ステップＳ５において、アプリ連携部３４は、アプリ起動部３６に対して、手書き記号に対応するアプリケーションプログラムを起動させる。なお当然ながら、既に手書き記号に対応するアプリケーションプログラムが起動されていた場合には、ステップＳ５の処理を省略し、ステップＳ４からステップＳ６に処理を進めるようにする。ステップＳ６において、アプリ連携部３４は、起動されたアプリケーションプログラムに文字認識処理の結果得られた文字列を供給して所定の処理を実行させる。以上で、第１の手書き情報対応処理は終了される。

なお、ステップＳ２において、予め登録されている手書き記号が検出できなかった場合には、その旨がアプリ連携部３４に通知されて、処理はステップＳ７に進められる。

また、ステップＳ３において、手書き記号に対応する処理の実行を指示する操作がユーザから行われなかった場合（例えば、キャンセルを指示する操作が行われた場合など）、処理はステップＳ４に進められる。

ステップＳ７において、文字認識部３３は、アプリ連携部３４からの指示に従い、手書き情報に基づいて手書き画像を生成する。さらに、文字認識部３３は、アプリ連携部３４からの指示に従い、手書き画像に文字認識処理を行い文字列（テキストデータ）に変換し、手書き画像と文字列とを対応付けて所定の記録媒体に記録する。以上で、第１の手書き情報対応処理は終了される。

以上説明したように、第１の手書き情報対応処理によれば、ユーザは紙面４に手書き記号を描くことにより、それに対応するアプリケーションプログラムを起動させることができ、さらに、手書きした文字を文字列（テキストデータ）として、起動させたアプリケーションプログラムに供給することができる。

次に、第１の手書き情報対応処理の具体例について、例えば、電子メール送受信用のメーラに対応付けられている手書き記号が検出された場合を例にして説明する。なお、以下の説明は、上述した第１の手書き情報対応処理のステップＳ４以降の処理に相当する。

図６は、メーラに対応付けられている手書き記号が検出された場合の処理の第１の例（以下、第１の手書き記号（メール作成）検出時の処理と称する）を説明するフローチャートである。

例えば、ユーザが手書き入力装置１を用い、図７に示すような手書き記号５１（実際の封筒の外観を模した記号）と、その他の文字を手書きしたとする。そして、それらの手書き情報が情報処理装置３０に入力され、手書き記号５１が検出され、ユーザから手書き記号に対応する処理の実行が指示されたことに応じて、第１の手書き記号（メール作成）検出時の処理が開始される。

ステップＳ１１において、文字認識部３３は、アプリ連携部３４からの指示に従い、手書き情報に基づいて手書き画像を生成してアプリ連携部３４に出力する。アプリ連携部３４は、手書き画像を画面に表示させる。さらに、文字認識部３３は、アプリ連携部３４からの指示に従い、手書き画像のうち、検出された手書き記号５１の近傍の領域（例えば、手書き記号の右側に連なる領域）に文字認識処理を行い、その結果得られる文字列（いまの場合、「サンプルの件について」）を件名文字列としてアプリ連携部３４に出力する。

ステップＳ１２において、アプリ連携部３４は、アプリ起動部３６に対して、手書き記号に対応するアプリケーションプログラムとしてメーラを起動させる。ステップＳ１３において、アプリ連携部３４は、起動されたメーラに新規メール作成用の画面を表示させ、さらに、文字認識処理の結果得られた件名文字列「サンプルの件について」をメーラに供給して件名として適用させる。以上で、第１の手書き記号（メール作成）検出時の処理は終了される。

以上に説明した第１の手書き記号（メール作成）検出時の処理によれば、紙面４に対してユーザがメーラに対応する手書き記号を書き、それに続けて件名を手書きしておけば、それらの手書き情報が情報処理装置３０に入力されたときに、自動的にメーラを起動させることができ、さらに、新規メール作成用の画面を表示させて、その件名まで自動的に入力させることができる。

上述した第１の手書き記号（メール作成）検出時の処理をさらに発展させ、メーラの起動、新規メール作成用の画面の表示、件名の入力に加えて、メールの本文などとして手書きされた文字な適用する処理（以下、第２の手書き記号（メール作成）検出時の第２の処理と称する）も考えられる。

図８は、第２の手書き記号（メール作成）検出時の処理を説明するフローチャートである。

例えば、ユーザが手書き入力装置１を用い、図７に示すような手書き記号５１（封筒の形を模した記号）と、その他の文字や図形（図７におけるカップの絵）などを手書きしたとする。そして、それらの手書き情報が情報処理装置３０に入力され、手書き記号５１が検出され、ユーザから手書き記号に対応する処理の実行が指示されたことに応じて、第２の手書き記号（メール作成）検出時の処理が開始される。

ステップＳ２１において、文字認識部３３は、アプリ連携部３４からの指示に従い、手書き情報に基づいて手書き画像を生成してアプリ連携部３４に出力する。アプリ連携部３４は、例えば、図９に示すように画面６１の手書き画像表示領域６２に手書き画像を表示させる。さらに、文字認識部３３は、アプリ連携部３４からの指示に従い、手書き画像のうち、検出された手書き記号５１の近傍の領域（例えば、手書き記号の右側に連なる領域）に文字認識処理を行い、その結果得られる文字列（いまの場合、「サンプルの件について」）を件名文字列としてアプリ連携部３４に出力する。

ステップＳ２２において、アプリ連携部３４は、画面６１のアプリケーション連携領域６３の件名入力エリア６４に、文字認識処理の結果得られた件名文字列「サンプルの件について」を適用して表示させる。

ステップＳ２３において、アプリ連携部３４は、手書き画像表示領域６２に表示されている手書き画像のうちで本文となる領域の指定操作を行うように、ポップアップ表示などを用いてユーザに操作を促す。この促しに応じたユーザが図９に示されるように領域６５を指定すると、処理はステップＳ２４に進められる。

ステップＳ２４において、アプリ連携部３４は、指定された領域６５を文字列（テキストデータ）として本文に採用するか否かをユーザに指定させる。そして、領域６５を文字列（テキストデータ）として本文に採用するとユーザが指定した場合、処理はステップＳ２５に進められる。

ステップＳ２５において、文字認識部３３は、アプリ連携部３４からの指示に従い、手書き画像のうち、ユーザにより指定された領域６５に対して文字認識処理を行い、その結果得られる文字列（いまの場合、「先日お願いした・・・この箇所」）を本文文字列としてアプリ連携部３４に出力する。アプリ連携部３４は、アプリケーション連携領域６３の本文入力エリア６６に、文字認識処理の結果得られた本文文字列「先日お願いした・・・この箇所」を適用して表示させる。この本文入力エリア６６に対しては、ユーザがさらに文字列を追加したり、削除したり、編集したりすることができる。

なお、ステップＳ２４において、領域６５を文字列（テキストデータ）として本文に採用しないとユーザが指定した場合、ステップＳ２５はスキップされて、処理はステップＳ２６に進められる。

ステップＳ２６において、アプリ連携部３４は、指定された領域６５を画像としてメールに添付するか否かをユーザに指定させる。そして、領域６５を画像としてメールに添付するとユーザが指定した場合、処理はステップＳ２７に進められる。

ステップＳ２７において、アプリ連携部３４は、手書き画像から領域６５を切り出して所定のフォーマット（例えば、bmp，gif，jpg，pdfなど）の添付画像を生成する。さらに、アプリ連携部３４は、アプリケーション連携領域６３の添付画像表示エリア６７に、切り出された添付画像を表示させる。なお、添付画像として切り出す領域を改めてユーザに指定させるようにしてもよい。また、手書き画像のうち、文字列に変換できなかった部分を図形と判断するようにし、図形と判断した部分を自動的に指定して添付画像として切り出すようにしてもよい。

なお、ステップＳ２６において、領域６５を画像としてメールに添付しないとユーザが指定した場合、ステップＳ２７はスキップされて、処理はステップＳ２８に進められる。

ステップＳ２８において、アプリ連携部３４は、アプリ起動部３６に対して、手書き記号に対応するアプリケーションプログラムとしてメーラを起動させる。

ステップＳ２９において、アプリ連携部３４は、起動されたメーラに新規メール作成用の画面を表示させる。さらに、アプリ連携部３４は、アプリケーション連携領域６３の件名入力エリア６４、本文入力エリア６６、および添付画像表示エリア６７に適用されている文字列や添付画像をメーラに供給して件名、本文、添付画像として適用させる。なお、当然ながら、ステップＳ２５の処理、ステップＳ２７の処理がスキップされている場合、本文や添付画像はメーラに対して適用されない。以上で、第２の手書き記号（メール作成）検出時の処理は終了される。

なお、ステップＳ２３において、ユーザが領域６５を指定しなかった場合（指定の促しに対して、指定しないことを意味する操作を行った場合など）、処理はステップＳ２８に進められて、上述したように、ステップＳ２８以降の処理が行われる。

以上に説明した第２の手書き記号（メール作成）検出時の処理によれば、紙面４に対してユーザがメーラに対応する手書き記号を書き、それに続けて件名や本文、図形などを手書きしておけば、それらの手書き情報が情報処理装置３０に入力されたときに、自動的にメーラを起動させることができ、さらに、新規メール作成用の画面を表示させて、件名、本文、添付画像までも入力させることができる。

さらに、第２の手書き記号（メール作成）検出時の処理を発展させ、文字認識結果の本文文字列から、例えば、http://やftp://で始まるURL(Uniform Resource Locator)、\\で始まるパスを検出した場合には、新規メールに適用されたそれらの文字列（URL、パスなど）に対してハイパーリンクを設定するようにしてもよい。

また、メーラに対応する手書き記号の近傍に手書きされたメールアドレスを検出し、その文字列をメールの宛先に設定するようにしてもよい。さらに、複数のメールアドレスが検出された場合、それらのうちから宛先とすべきものをユーザに選択させるようにしてもよい。

[変形例]
次に、図１０は、図５を参照して説明した第１の手書き情報対応処理に対する変形例としての、第２の手書き情報対応処理を説明するフローチャートである。

第２の手書き情報対応処理は、手書き記号が予め外字として登録されており、紙面４に書かれた手書き記号が文字認識部３３による文字認識処理によって、登録されている外字に変換される場合に対応する。

ステップＳ４１において、手書き情報取得部３１は、手書き入力装置１のレシーバ３と接続を確立し、レシーバ３に対して手書き情報を要求する。この要求に応じてレシーバ３が手書き情報を送信すると、手書き情報取得部３１は、送信された手書き情報を取得して文字認識部３３に出力する。

ステップＳ４２において、文字認識部３３は、手書き情報に基づいて手書き画像を生成してアプリ連携部３４に出力する。さらに、文字認識部３３は、アプリ連携部３４からの指示に従い、手書き画像の全域に文字認識処理を行う。なお、ここでの文字認識処理は手書き記号を外字に変換できる程度の精度があればよい。

ステップＳ４３において、文字認識部３３は、文字認識処理の結果得られた文字列に、手書き記号に対応する外字が含まれているか否かを判定する。含まれていると判定された場合、処理はステップＳ４４に進められる。

ステップＳ４４において、文字認識部３３は、手書き記号に対応する外字をアプリ連携部３４に通知する。アプリ連携部３４は、例えばポップアップ表示にて、手書き記号に対応する処理を実行するか否かユーザに確認する。そしてユーザから実行する旨の操作が行われたと判定された場合、処理はステップＳ４５に進められる。

ステップＳ４５において、文字認識部３３は、アプリ連携部３４からの指示に従い、手書き画像に対して改めて文字認識処理を行い文字列（テキストデータ）に変換し、その文字列をアプリ連携部３４に出力する。なお、ステップＳ４２における文字認識処理の精度を、外字以外を認識できる程度に上げるようにして、ステップＳ４５での文字認識処理を省略し、ステップＳ４２における文字認識結果の文字列を流用するようにしてもよい。

ステップＳ４６において、アプリ連携部３４は、アプリ起動部３６に対して、手書き記号に対応するアプリケーションプログラムを起動させる。ステップＳ４７において、アプリ連携部３４は、起動されたアプリケーションプログラムに文字認識処理の結果得られた文字列を供給して所定の処理を実行させる。以上で、第２の手書き情報対応処理は終了される。

なお、ステップＳ４３において、文字認識処理の結果得られた文字列に、手書き記号に対応する外字が含まれていないと判定された場合には、その旨がアプリ連携部３４に通知されて、処理はステップＳ４８に進められる。

また、ステップＳ４４において、手書き記号に対応する処理の実行を指示する操作がユーザから行われなかった場合（例えば、キャンセルを指示する操作が行われた場合など）、処理はステップＳ４８に進められる。

ステップＳ４８において、文字認識部３３は、アプリ連携部３４からの指示に従い、手書き画像に文字認識処理を行い文字列（テキストデータ）に変換し、手書き画像と文字列とを対応付けて所定の記録媒体に記録する。以上で、第２の手書き情報対応処理は終了される。

以上説明したように、第２の手書き情報対応処理によれば、ユーザは紙面４に手書き記号を描くことにより、それに対応するアプリケーションプログラムを起動させることができ、さらに、手書きした文字を文字列（テキストデータ）として、起動させたアプリケーションプログラムに供給することができる。

[手書き記号の他の例]
ここまでは、メーラに対応付けられた手書き記号を例にして説明したが、メーラ以外のアプリケーションプログラムに手書き記号を対応付けるようにしてもよい。

図１１は、手書き記号の他の例を示している。

同図Ａに示す矩形の中にｂを描いた手書き記号は、ブログへのアップロードに対応付けられている。

上述した第１の手書き記号（メール作成）検出時の処理と同様、紙面４に対してユーザが当該手書き記号を書き、それに続けてブログの記事のタイトルを手書きしておけば、それらの手書き情報が情報処理装置３０に入力されたときに、自動的にブラウザを起動させて、ブログ書き込み用のサーバに接続し、ブログの新規記事作成用の画面を表示させて、そのタイトルまで自動的に入力させることができる。

あるいは、上述した第２の手書き記号（メール作成）検出時の処理と同様、紙面４に対してユーザが当該手書き記号を書き、それに続けてブログの記事のタイトル、記事の内容等を手書きしておけば、それらの手書き情報が情報処理装置３０に入力されたときに、自動的にブラウザを起動させて、ブログ書き込み用のサーバに接続し、ブログの新規記事作成用の画面を表示させて、そのタイトルと記事内容を自動的に入力させた後に、その新規記事をサーバにアップロードさせることができる。

同図Ｂに示す矩形の中にｗを描いた手書き記号は、クラウドコンピューティングサービスとして提供されているWeb上のスクラップブックへのアップロードに対応付けられている。同図Ｃに示す矩形の中にｓを描いた手書き記号は、スケジューラへのアップロードに対応付けられている。同図Ｄに示す矩形の中にｔを描いた手書き記号は、ToDoリストへのアップロードに対応付けられている。同図Ｅに示す矩形の中に？を描いた手書き記号は、キーワード検索に対応付けられている。同図Ｆに示す矩形の中にＢを描いた手書き記号は、文字列のボールド処理に対応付けられている。同図Ｇに示す矩形の中にＩを描いた手書き記号は、文字列のイタリック処理に対応付けられている。同図Ｈに示す矩形の中にＵを描いた手書き記号は、文字列のアンダーライン処理に対応付けられている。

上述した手書き記号の例は、いずれも矩形に１文字を書き加えたものであるが、手書き記号の形状等は任意である。

また、手書き記号の代わりに、手書きされた文字列を検知したことに応じて、所定の処理を実行するようにしてもよい。

ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

図１２は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

このコンピュータ１００において、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。

バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、キーボード、マウス、マイクロホンなどよりなる入力部１０６、ディスプレイ、スピーカなどよりなる出力部１０７、ハードディスクや不揮発性のメモリなどよりなる記憶部１０８、ネットワークインタフェースなどよりなる通信部１０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア１１１を駆動するドライブ１１０が接続されている。

以上のように構成されるコンピュータ１００では、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５およびバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであってもよいし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであってもよい。

また、プログラムは、１台のコンピュータにより処理されるものであってもよいし、複数のコンピュータによって分散処理されるものであってもよい。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであってもよい。

また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。

なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

１ 手書き入力装置， ２ 電子ペン， ３ レシーバ， ４ 紙面， １０ 手書き入力システム， ３０ 情報処理装置， ３１ 手書き情報取得部， ３２ 手書き記号検出部， ３３ 文字認識部， ３４ アプリ連携部， ３５ 操作入力部， ３６ アプリ起動部， ５１ 手書き記号， １００ コンピュータ， １０１ CPU

Claims (9)

1. 筆記用具を用いて手書きが行われたときの前記筆記用具の時系列の位置変化を示す手書き情報を取得する取得手段と、
   取得された前記手書き情報に基づいて手書き記号を検出する検出手段と、
   取得された前記手書き情報に基づいて手書き画像を生成し、前記手書き画像に対して文字認識処理を行うことによって文字列に変換する変換手段と、
   前記手書き記号が検出されたことに応じ、前記手書き記号に対応する所定の処理を実行し、前記所定の処理に前記文字列を適用する手書き記号対応手段と
   を含む情報処理装置。
2. 前記手書き記号対応手段は、前記手書き記号が検出されたことに応じてアプリケーションプログラムを起動し、起動した前記アプリケーションプログラムに前記文字列を適用する
   請求項２に記載の情報処理装置。
3. 前記変換手段は、前記手書き画像の全領域のうち、前記手書き記号が検出された近傍の領域に対して文字認識処理を行うことによって第１の文字列に変換する
   請求項２に記載の情報処理装置。
4. 前記変換手段は、さらに、前記手書き画像の全領域のうち、ユーザによって指定された領域に文字認識処理を行うことによって第２の文字列に変換する
   請求項３に記載の情報処理装置。
5. 前記手書き記号対応手段は、前記手書き記号が検出されたことに応じてメーラを起動し、新規メールの件名に前記第１の文字列を適用し、新規メールの本文に前記第２の文字列を適用する
   請求項４に記載の情報処理装置。
6. 前記手書き記号が外字として予め外字として登録されている場合、前記変換手段が前記検出手段を兼ねる
   請求項１に記載の情報処理装置。
7. 情報処理装置の情報処理方法において、
   前記情報処理装置による、
   筆記用具を用いて手書きが行われたときの前記筆記用具の時系列の位置変化を示す手書き情報を取得する取得ステップと、
   取得された前記手書き情報に基づいて手書き記号を検出する検出ステップと、
   取得された前記手書き情報に基づいて手書き画像を生成し、前記手書き画像に対して文字認識処理を行うことによって文字列に変換する変換ステップと、
   前記手書き記号が検出されたことに応じ、前記手書き記号に対応する所定の処理を実行し、前記所定の処理に前記文字列を適用する手書き記号対応ステップと
   を含む情報処理方法。
8. コンピュータを、
   筆記用具を用いて手書きが行われたときの前記筆記用具の時系列の位置変化を示す手書き情報を取得する取得手段と、
   取得された前記手書き情報に基づいて手書き記号を検出する検出手段と、
   取得された前記手書き情報に基づいて手書き画像を生成し、前記手書き画像に対して文字認識処理を行うことによって文字列に変換する変換手段と、
   前記手書き記号が検出されたことに応じ、前記手書き記号に対応する所定の処理を実行し、前記所定の処理に前記文字列を適用する手書き記号対応手段と
   して機能させるプログラム。
9. 手書き入力装置と情報処理装置とから成る情報処理システムにおいて、
   前記手書き入力装置は、
   ユーザが筆記用具を用いて手書きしたときの前記筆記用具の時系列の位置変化を示す手書き情報を取得して前記情報処理装置に供給する供給手段を含み、
   前記情報処理装置は、
   前記手書き入力装置から供給された前記手書き情報を取得する取得手段と、
   取得された前記手書き情報に基づいて手書き記号を検出する検出手段と、
   取得された前記手書き情報に基づいて手書き画像を生成し、前記手書き画像に対して文字認識処理を行うことによって文字列に変換する変換手段と、
   前記手書き記号が検出されたことに応じ、前記手書き記号に対応する所定の処理を実行し、前記所定の処理に前記文字列を適用する手書き記号対応手段と
   を含む
   情報処理システム。

Images