【０００１】
【発明の属する技術分野】
本発明は、デジタルペーパ上に印刷されたドットパターンをデジタルペンで読み取ることによってデジタルペーパ上に手書きした文字や図形をデジタル化するデジタルペンシステムに関するものである。
【０００２】
【従来の技術】
計算を行うための従来技術として、そろばん、電卓、ＰＣなど様々なものがある。これら従来技術により計算を実行するには、特に複雑な計算式を解く場合、自分である程度計算式を解いて簡略化し、さらに、そろばん、電卓、ＰＣなどに計算式を入力する必要があり、面倒な作業が発生する。
【０００３】
これに対し、手書きの文字や図形などのデータをデジタル化してパソコンやワープロなどに取り込むことを可能にする電子ペンが開発・実用化されている。手書きの文字や図形をデジタル化するには紙に書いたものをスキャナで読み取るという方法もあるが、紙を一枚一枚スキャンするのは非常に面倒であり、電子ペンを使う方が遥かにシンプルで実用的である。電子ペンであれば気軽に会議や打合せの場に持ち込むことができ、メモ書きした内容をすぐにデジタル化しディスプレイに表示させて大勢で確認することも可能となる。このような手書きの文字・図形データをデジタル化して所定の機器に送信できるペン技術として、例えば下記する特許文献１に記載の技術がある。またこの技術は下記する非特許文献１においても紹介され製品化されている。
【０００４】
上記従来技術では、ある特殊な電子ペンと電子ペーパとを用いることにより、電子ペンを使って電子ペーパ上に書き込んだ文字・図形の軌跡をベクトル化して保存・送信できるようになっている。ここで図３を用いてその仕組みについて簡単に説明しておく。電子ペーパ３０２には約０．３ｍｍ格子ごとにドットパターン３１０が印刷されており、その位置は格子点から微妙にずれている。電子ペン３０１では内蔵カメラによってこのドットパターン３１０を読み込むことにより、電子ペン３０１のペン先が電子ペーパ空間上のどの位置にいるかその絶対座標を正確に特定することができる。電子ペーパ空間の大きさは約６千万平方キロメートルに及ぶが、この広大な電子ペーパ空間の中から任意の６×６ドットの領域を切り出したとき、１つとして重複するものがないことが数学的に保証されている。
【０００５】
電子ペン３０１はカメラ３０３、インクカートリッジ３０４、筆圧センサ３０５、プロセッサ３０６、メモリ３０７、バッテリ３０８、ｂｌｕｅｔｏｏｔｈトランシーバ３０９を内蔵している。筆圧センサ３０５が作動しているときのみカメラ３０３は電子ペーパのドットパターン情報を読み込み、プロセッサ３０６によってペン先の位置情報を取得する。すなわち電子ペーパ３０２に書き込まれた文字や図形の軌跡をデジタル化して取得する。このデジタル軌跡情報はメモリ３０７上に蓄積され、あるタイミング（指定可能）でＢｌｕｅｔｏｏｔｈ仕様によるデータの送信を行う。一般には電子ペーパ３０２上に印刷された選択ボックス３１０のいずれかをチェックすることによってデータの送信先（例えばパソコンのワープロソフトやＦＡＸ、ｅ−ｍａｉｌなど）を指定し、送信ボックス３１１をチェックすることによりデータの送信が行われる。
【０００６】
また、一般に、ペン装置は、人が文字や図形を書くための道具として、広く利用されているものであり、その人の思い通りの記述を行うことができる。さらに、上記のデジタルペンを使えば、紙に計算式を記述することにより、計算式を読み込み、デジタル化してサーバ装置に送信することが可能になり、ペン装置と変わりない操作によって、デジタル化された計算式を扱うことが可能になるため、ＰＣや電卓への入力による転記の面倒さ、煩わしさを軽減し、効率的な作業を行うことが可能である。
【０００７】
【特許文献１】
ＷＯ ０１／２６０３３号公報
【非特許文献１】
「日経デザイン２００１年７月号８０〜８１ページ」
【０００８】
【発明が解決しようとする課題】
かかる従来の技術を使用した場合、計算式の計算結果を得るには、電卓やＰＣを利用した場合では、各々の装置に対し、計算式の入力を行う必要が生じる。また、デジタルペンを使用してもデジタル化された計算式のデータを利用できるのみで、計算結果が得られるわけではない。
【０００９】
本発明の目的は、デジタルペンを用いて計算式を記述することによって、その計算結果を把握できることを可能にするデジタルペンおよびデジタルペーパを利用した計算システムを提供することにある。
【００１０】
【課題を解決するための手段】
本発明では、上記目的達成のため、次の手段を設ける。
（手段１）
ペーパ上に印刷されたドットパターンをペンで読み取って、その書き込み内容をデジタル化するデジタルペンとデジタルペーパを利用したシステムにおいて、本発明における計算システムは、デジタル化された書き込み内容から数値および演算子を認識する認識手段と、上記認識された数値および演算子から計算式を構築し、その計算を行う計算手段と、上記計算結果を所定の機器に対して出力する出力手段と、を有することを特徴とする。
（手段２）
ペーパ上に印刷されたドットパターンをペンで読み取って、その書き込み内容をデジタル化するデジタルペンとデジタルペーパを利用したシステムにおいて、本発明におけるコンピュータ装置は、デジタルペンによってデジタル化された書き込み内容を受信する受信手段と、上記デジタル化された書き込み内容から数値および演算子を認識する認識手段と、上記認識された数値および演算子から計算式を構築し、その計算を行う計算手段と、上記計算結果を所定の機器に対して出力する出力手段と、を有することを特徴とする。
（手段３）
本発明における手段１および手段２を満たす計算システムにおいて、さらに、上記出力手段は、上記計算結果を所定のディスプレイ上に表示するか、または上記計算結果を所定のスピーカを用いて音声再生するか、または上記計算結果を所定のプリンタを用いて印刷するか、のいずれかであることを特徴とする。
（手段４）
ペーパ上に印刷されたドットパターンをペンで読み取って、その書き込み内容をデジタル化するデジタルペンとデジタルペーパを利用したシステムにおいて、本発明におけるデジタルペンは、デジタル化された書き込み内容から数値および演算子を認識する認識手段と、上記認識された数値および演算子から計算式を構築し、その計算を行う計算手段と、上記計算結果を表示または音声再生するディスプレイまたはスピーカと、を有することを特徴とする。
（手段５）
ペーパ上に印刷されたドットパターンをペンで読み取って、その書き込み内容をデジタル化するデジタルペンとデジタルペーパを利用したシステムにおいて、本発明におけるデジタルペーパは、数値を記入するエリアと演算子を記入するエリアとをそれぞれ個別に配置したことを特徴とする。
（手段６）
ペーパ上に印刷されたドットパターンをペンで読み取って、その書き込み内容をデジタル化するデジタルペンとデジタルペーパを利用したシステムにおいて、本発明におけるデジタルペーパは、所定の演算子を配置し、上記演算子の近傍に数値を記入するエリアをそれぞれ配置したことを特徴とする。
【００１１】
【発明の実施の形態】
以下、本発明におけるデジタルペンおよびデジタルペーパを利用した計算システムの実施の形態を図面により、詳細に説明する。
（第一の実施の形態）
＜システム構成＞
まず、図１を用いて、デジタルペンおよびデジタルペーパを利用した計算システムの構成を示す。図１に示すデジタルペンおよびデジタルペーパを利用した計算システムは、デジタルペーパ１００、デジタルペン１０１、コンピュータ１０２から構成される。
【００１２】
ここで、上記デジタルペーパ１００は、従来技術において説明した書き込み位置特定のためのドットパターンの印刷された電子ペーパである。
【００１３】
また、デジタルペン１０１は、従来技術で説明したデジタルペンであり、デジタル化手段１０３、文字認識手段１０４、文字識別手段１０５、計算手段１０６、出力手段１０７、送受信手段１０８、文字データベース１０９を有する。以下、デジタルペン１０１を構成する１０３〜１０９について述べる。上記デジタル化手段１０３は、従来技術に含まれるものであり、メモリ３０７の処理プログラムであり、カメラ３０３で撮影されたペーパ３０２のドットパターンに基づいて書き込み内容のデジタル化（座標データ化）を行う。上記文字認識手段１０４は、メモリ３０７上の処理プログラムであり、上記デジタル化されたデータの文字認識を行う。上記文字識別手段１０５は、上記文字認識された文字データの１文字毎に、文字データベース１０９に登録された文字か否かを判断する。上記計算手段１０６は、メモリ３０７上の処理プログラムであり、上記認識された文字データに基づき、計算式を構築し、上記計算式の計算を行う。上記出力手段１０７は、例えば、デジタルペン１０１に搭載された小型のディスプレイ、スピーカ、プリンタ、メール送信機などであり、上記計算結果の出力を行う。上記送受信手段１０８は、Ｂｌｕｅｔｏｏｔｈトランシーバ３０９により、上記コンピュータ１０２へデジタルデータの送信および上記コンピュータ１０２から送信されたデータを受信する。上記文字データベース１０９は、アラビア数字および四則演算記号（＋、−、×、÷）および等号記号（＝）が登録されたデータベースである。
【００１４】
さらに、コンピュータ１０２は、ＣＰＵ、メモリ、ハードディスク、キーボード、マウス、ディスプレイ、スピーカなどで構成されたＰＣであり、送受信手段１１０、文字認識手段１１１、計算手段１１２、出力手段１１３、定数値データベース１１４、演算子データベース１１５を有する。以下、コンピュータ１０２を構成する１１０〜１１５について述べる。上記送受信手段１１０は、Ｂｌｕｅｔｏｏｔｈにより、上記デジタルペン１０１から送信されたデジタルデータを受信および上記デジタルペン１０１へデータを送信する。上記文字認識手段１１１は、メモリ上の処理プログラムであり、上記送受信手段１１０で受信したデジタルデータの文字認識を行う。上記計算手段１１２は、メモリ上のプログラムであり、上記認識された文字データに基づき、上記定数値データベース１１４および上記演算子データベース１１５を参照することにより計算式を構築し、上記計算式の計算を行う。上記出力手段１１３は、例えば、コンピュータ１０２に搭載されたディスプレイ、スピーカ、プリンタ、メール送信機などであり、上記計算結果の出力を行う。上記定数値データベース１１４は、例として、π（パイ、円周率）＝３．１４・・・・、Ｇ（重力定数）＝９．８、ｈ（プランク定数）＝６．６２６×１０＾−３４（１０の−３４乗）など、定数およびその数値が登録されたデータベースである。上記演算子データベース１１５は、例として、四則演算記号を表す＋、−、×、÷、累乗を表す＾または＊＊、平方根を表す√（ルート）、分数を表す−（分子、分母の区切りの線）または／（例えば３分の４は３／４で表す）、補数を表す％、階乗を表す！、計算優先度を示す括弧（、）、｛、｝、［、］、積分を表す∫、∬（インテグラル）、さらに、特別な演算子として計算処理の実行を表す＝（イコール）など様々な演算子が登録されたデータベースである。
＜処理フローの説明＞
図２は、図１のデジタルペンおよびデジタルペーパを利用した計算システムを用いて、デジタルペン１０１によりデジタルペーパ１００に手書き文字による計算式を記述してから、上記計算式の計算結果を把握するまでの処理のフローを示している。図２に従い、処理のフローを説明する。
＜フロー１（識別ＯＫ）：簡単な計算の時、デジタルペンのみで文字認識と計算を実行＞
（ステップ２００）図１において、デジタル化手段１０３は、デジタルペン１０１を用いてデジタルペーパ１００に記述された文字（画像情報）を読み込み、上記読み込んだ文字（画像情報）をデジタル化（座標データ化）してデジタルデータを得る。
（ステップ２０１）デジタルペン１０１が有する文字認識手段１０４は、上記デジタルデータに基づき文字認識を行う。
（ステップ２０２）文字識別手段１０５は、上記文字データベース１０９を参照することにより、上記文字認識の結果データにおける各文字が、上記文字データベース１０９に登録されているか否かを判断する。全ての文字が登録されている時、識別ＯＫとなり、（ステップ２０３）に進む。登録されていない文字があった時、識別ＮＧとなり、（ステップ２０５）に進む。
＜計算式の文字識別後、計算式を構築し、計算処理を実行する＞
（ステップ２０３）デジタルペン１０１が有する計算手段１０６は、上記より、デジタルペン１０１が有する文字識別手段１０５で、識別ＯＫの時、上記文字認識の結果データに基づき計算式を構築し、さらに、上記計算式の計算を実行し、計算結果を得る。ここで、割る数が０（ゼロ）の割り算や計算処理時のオーバーフローなどにより、計算異常が生じた場合、計算結果は、エラーとなる。また、構築された計算式が式として意味を成さない場合もエラーとなり、その旨を（ステップ２０４）にて出力する。
（ステップ２０４）最後に、デジタルペン１０１が有する出力手段１０７は、上記計算結果について、ディスプレイによる文字表示、スピーカによる音声出力、プリンタによる印刷、メール送信機によるメール送信などを行う。
【００１５】
以上、第一の実施の形態において、（ステップ２００）から（ステップ２０４）の処理フローで示した上記デジタルペンおよびデジタルペーパを利用した計算システムは、上記本発明の目的である、デジタルペンを用いて計算式を記述することによって、その計算結果を把握することを実現可能である。
＜フロー２（識別ＮＧ）：複雑な計算式の時、コンピュータに送信して文字認識と計算を実行＞
（ステップ２０５）デジタルペン１０１が有する送受信手段１０８は、上記（ステップ２０２）より、文字識別手段１０５の結果が、識別ＮＧの時、上記デジタル化手段１０３が得たデジタルデータをコンピュータ１０２に送信する。
（ステップ２０６）コンピュータ１０２が有する受信手段１１０は、上記デジタルペン１０１が有する送信手段１０８により送信された上記デジタルデータを受信する。
（ステップ２０７）コンピュータ１０２が有する文字認識手段１１１は、上記受信されたデジタルデータに基づき文字認識を行う。
＜計算式の構築＞
（ステップ２０８）コンピュータ１０２が有する計算手段１１２は、上記定数値データベース１１４および上記演算子データベース１１５を参照することで、上記文字認識の結果データに基づき計算式を構築し、さらに、上記計算式の計算を実行することにより、計算結果を得る。
【００１６】
ここで、上記文字認識の結果データに基づく計算式の構築において、計算可能な計算式とならない場合、計算結果は計算式エラーとなる。また、割る数が０（ゼロ）の割り算や計算処理時のオーバーフローなどにより、計算異常が生じた場合、計算結果は、計算エラーとなる。
【００１７】
また、コンピュータ１０２が有する計算手段１１２が行う上記計算式の構築において、上記定数値データベース１１４および上記演算子データベース１１５を参照することで、上記文字認識の結果データに基づき数値および演算子の認識を行うが、この時、認識される数値および演算子について以下に述べる。
＜認識可能な数値について＞
ここで、コンピュータ１０２が有する計算手段１１２が認識する数値は、アラビア数字、ローマ数字、漢数字、アルファベット、プラス記号、マイナス記号、プラスマイナス記号、マイナスプラス記号、小数点記号、カンマ記号等によって表現される数値である。また、上記数値において、ｎ進数を表現するために、０ｘを数値の先頭に付加することで１６進数の数値（例：０ｘ０１ＡＢ）を表現することや、数値の直後にｎ進数の基数を示す記号や数値などの文字を付加することで、例えば２進数、８進数、１０進数、１６進数などの数値を表現する。例として、２進数はｂ、８進数はｏ、１０進数はｄ、１６進数はｈなどで表現する。ここで、上記基数を数値表現部と明確に分離するために括弧（）付きの文字となっている場合がある。例えば、００１０ｂは、２進数の００１０を表し、４Ａ（１６）は、１６進数の４Ａを表す。また、数値の数値表現部として、アルファベットやギリシャ文字などで表現される定数などが含まれることもある。また、認識される定数として、定数値データベース１１４に登録された定数であるΠ（パイ、円周率）＝３．１４・・・・、Ｇ（重力定数）＝９．８、ｈ（プランク定数）＝６．６２６×１０＾−３４（１０の−３４乗）などがある。この他に認識される数値として、Ｌｏｇ１０（Ｌｏｇは自然対数ｅを底とする対数関数）および√２やｌｉｍ｛ｘ→１｝（ｘ＾２＋３ｘ＋５）など数値を表す関数も含まれる。ここで、ｌｉｍ｛ｘ→１｝（ｘ＾２＋３ｘ＋５）は、関数極限で数値９を表す。
＜認識可能な演算子について＞
また、コンピュータ１０２が有する計算手段１１２が認識する演算子は、演算子データベース１１５に登録された演算子である四則演算記号を表す＋、−、×、÷、累乗を表す＾または＊＊、平方根を表す√（ルート）、分数を表す−（分子、分母の区切りの線）または／（例えば３分の４は３／４で表す）、補数を表す％、階乗を表す！、計算優先度を示す括弧（、）、｛、｝、［、］、積分を表す∫、∬（インテグラル）、さらに、特別な演算子として計算処理の実行を表す＝（イコール）など様々な演算子である。
（ステップ２０９）コンピュータ１０２が有する出力手段１１３は、上記計算結果について、ディスプレイによる文字表示やスピーカによる音声出力などを行う。
（ステップ２１０）コンピュータ１０２が有する送受信手段１１０は、上記計算結果をデジタルペン１０１に送信する。
（ステップ２１１）デジタルペン１０１が有する送受信手段１０８は、上記送信された計算結果を受信する。
（ステップ２１２）最後に、デジタルペン１０１が有する出力手段１０７は、上記受信した計算結果について、ディスプレイによる文字表示やスピーカによる音声出力などを行う。
【００１８】
以上、第一の実施の形態において、（ステップ２００）から（ステップ２０２）および（ステップ２０５）から（ステップ２１２）の処理フローで示した上記デジタルペンおよびデジタルペーパを利用した計算システムにより、上記本発明の目的である、デジタルペンを用いて計算式を記述することによって、その計算結果を把握することが実現可能となる。
＜計算結果を出力する装置および手段について＞
以上、第一の実施の形態において、上記計算結果の出力は、デジタルペン１０１が有する出力手段１０７またはコンピュータ１０２が有する出力手段１１３を用いて行ったが、図１に示されていない装置が有するディスプレイ、スピーカ、プリンタ、メール送信機等の出力手段において上記計算結果を出力しても良く、上記実施形態に制限されるものではない。
＜手書きの書き込みデータに基づく、文字認識結果、計算式構築結果の例＞
図４は、ペンで記述した手書きの書き込みデータ４０１から上記第一の実施形態における処理により得られる文字認識結果４０２および計算式構築結果４０３の例を示している。ここで、手書きの書き込みデータ４０１は、デジタルペン１０１で読み込まれたデータである。さらに、上記文字認識手段１１１は、上記手書きの書き込みデータ４０１に基づき、文字認識処理２０７を実行することにより、書き込み内容の一文字毎に文字認識処理を実行することで、文字認識結果４０２を得る。続いて、計算手段１１２は、上記文字認識結果４０２に基づき、数値および演算子の認識を行った後、上記認識した数値および演算子に基づき計算式の構築を行うことで、計算式構築結果４０２を得る。ここで、計算手段１１２における計算処理２０８は、上記文字認識結果４０２において、定数値データベース１１４の参照により、数値πは３．１４、数値１１１１（２）は１５（１０進数表現）にそれぞれ変換を行い、また、演算子データベース１１５の参照により、√、（、）はそれぞれ演算子として評価することで、上記計算式構築結果４０３に示す計算式を構築する。
（第二の実施の形態）
＜第一の実施の形態と第二の実施の形態の違いについて＞
第一の実施の形態では、デジタルペーパは、位置を特定するためのドットパターン印刷のみが施されている。これに対し、第二の実施の形態では、デジタルペーパに、計算式の記述における数値および演算子などの記述を支援するエリアまたは演算子自体が設けられており、第一の実施の形態とは異なるため、第二の実施の形態として、以下で説明する。
＜システム構成＞
まず、図５を用いて、デジタルペンおよびデジタルペーパを利用した計算システムの構成を示す。図５に示すデジタルペンおよびデジタルペーパを利用した計算システムは、デジタルペーパ５００、デジタルペン５０１、コンピュータ５０２から構成される。
【００１９】
ここで、上記デジタルペーパ５００は、従来技術において説明した書き込み位置特定のためのドットパターンの印刷された電子ペーパである。さらに、デジタルペーパ５００には、上記デジタルペーパの拡大図５２８に示すように、第一の実施の形態と異なり、数値エリア５１７、演算子エリア５１８、足し算数値エリア５１９、引き算数値エリア５２０、掛け算数値エリア５２１、割り算数値エリア５２２、総和演算子５２３、総和開始数値エリア５２４、総和終了数値エリア５２５、総和計算式エリア５２６の印刷が施されている。
【００２０】
また、デジタルペン５０１は、従来技術で説明したデジタルペンであり、デジタル化手段５０３、文字認識手段５０４、文字識別手段５０５、計算手段５０６、出力手段５０７、送受信手段５０８、文字データベース５３０、エリアデータベース５３１を有する。以下、デジタルペン５０１を構成する５０３〜５０８および５３０、５３１について述べる。上記デジタル化手段５０３は、従来技術に含まれるものであり、メモリ３０７の処理プログラムであり、カメラ３０３で撮影されたペーパ３０２のドットパターンに基づいて書き込み内容のデジタル化（座標データ化）を行う。上記文字認識手段５０４は、メモリ３０７上の処理プログラムであり、上記デジタル化されたデータの文字認識を行う。上記文字識別手段５０５は、上記文字認識された文字データの１文字毎に、文字データベース５３０に登録された文字か否かを判断する。上記計算手段５０６は、メモリ３０７上の処理プログラムであり、上記認識された文字データに基づき、エリアデータベース５３１を参照することにより、数値および演算子の認識を行い、計算式を構築し、上記計算式の計算を行う。上記出力手段５０７は、例えば、デジタルペン５０１に搭載された小型のディスプレイ、スピーカ、プリンタ、メール送信機であり、上記計算結果の出力を行う。上記送受信手段５０８は、Ｂｌｕｅｔｏｏｔｈトランシーバ３０９により、上記コンピュータ５０２へデジタルデータの送信および上記コンピュータ５０２から送信されたデータを受信する。上記文字データベース５３０は、アラビア数字および四則演算記号（＋、−、×、÷）および等号記号（＝）が登録されたデータベースである。上記エリアデータベース５３１は、例として、図６に示すように、デジタルペーパ上の所定のエリアに関する数値エリアや演算子エリア等のエリア属性情報が登録されたデータベースである。
【００２１】
さらに、コンピュータ５０２は、ＣＰＵ、メモリ、ハードディスク、キーボード、マウス、ディスプレイ、スピーカなどで構成されたＰＣであり、送受信手段５０９、文字認識手段５１０、計算手段５１１、出力手段５１２、定数値データベース５１３、演算子データベース５１４、エリアデータベース５１５を有する。以下、コンピュータ５０２を構成する５０９〜５１５について述べる。上記送受信手段５０９は、Ｂｌｕｅｔｏｏｔｈにより、上記デジタルペン５０１から送信されたデジタルデータを受信および上記デジタルペン５０１へデータを送信する。上記文字認識手段５１０は、メモリ上の処理プログラムであり、上記送受信手段５０９で受信したデジタルデータの文字認識を行う。上記計算手段５１１は、メモリ上のプログラムであり、上記認識された文字データに基づき、上記定数値データベース１１４、上記演算子データベース１１５、エリアデータベース５３１をそれぞれ参照することにより、数値および演算子の認識を行い、計算式を構築し、上記計算式の計算を行う。上記出力手段５１２は、例えば、コンピュータ５０２に搭載されたディスプレイ、スピーカ、プリンタ、メール送信機などであり、上記計算結果の出力を行う。上記定数値データベース５１３は、上記第一の実施の形態における定数値データベース１１４と同様のものであり、例として、π（パイ、円周率）＝３．１４・・・・、Ｇ（重力定数）＝９．８、ｈ（プランク定数）＝６．６２６×１０＾−３４（１０の−３４乗）など、定数およびその数値が登録されたデータベースである。上記演算子データベース５１４は、上記第一の実施の形態における演算子データベース１１５と同様のものであり、例として、四則演算記号を表す＋、−、×、÷、累乗を表す＾または＊＊、平方根を表す√（ルート）、分数を表す−（分子、分母の区切りの線）または／（例えば３分の４は３／４で表す）、補数を表す％、階乗を表す！、計算優先度を示す括弧（、）、｛、｝、［、］、積分を表す∫、∬（インテグラル）、さらに、特別な演算子として計算処理の実行を表す＝（イコール）など様々な演算子が登録されたデータベースである。上記エリアデータベース５１６は、例として、図６に示すように、デジタルペーパ上の所定のエリアに関する数値エリアや演算子エリア等のエリア属性情報が登録されたデータベースである。
＜エリアデータベースのテーブルの説明＞
図６は、エリアデータベース５３１および５１６の具体例であり、デジタルペーパ上の所定のエリアに関する数値エリアや演算子エリア等の属性情報が登録されたデータベースのテーブル構造を示している。以下、図６を用いて、エリアデータベースのテーブル構造を説明する。
【００２２】
エリアデータベースは、テーブル６００を有しており、上記テーブル６００にはフィールドとして、ペーパＩＤフィールド６０１、エリアＮｏフィールド６０２、左上座標フィールド６０３、右下座標フィールド６０４、エリア属性フィールド６０５が定義されている。ここで、上記エリアデータベースのテーブル６００のフィールド６０１〜６０５について説明する。上記ペーパＩＤフィールド６０１は、複数のデジタルペーパを識別するために割り当てられた識別情報が登録されているフィールドである。上記エリアＮｏフィールド６０２は、デジタルペーパ上に指定されたエリアに割り当てられた番号が登録されているフィールドである。上記左上座標フィールド６０３は、デジタルペーパ上で矩形のエリアを特定するときに使用する左上の座標データが登録されているフィールドである。上記右下座標フィールド６０４は、デジタルペーパ上で矩形のエリアを特定するときに使用する右下の座標データが登録されているフィールドである。上記エリア属性フィールド６０５は、上記左上座標フィールド６０３および右下座標フィールド６０４で指定された矩形のエリアに関して、数値エリアや演算子エリア等のエリア属性情報が登録されているフィールドである。
＜エリア属性情報の説明＞
ここで、上記エリア属性情報について説明する。エリア属性情報とは、矩形エリアで指定された所定のエリアにおいて、記述された文字に付加される、数値や演算子など計算式の構築に関わる条件情報である。具体的なエリア属性情報として、数値エリア、演算子エリア、足し算数値エリア、引き算数値エリア、掛け算数値エリア、割り算数値エリア、総和開始数値エリア、総和終了数値エリア、総和計算式エリアなどがある。以下、上記の具体的なエリア属性情報の各々について、条件情報の内容について説明する。
【００２３】
数値エリアは、エリア内に手書きされた文字が、計算式における数値であることを条件として文字認識を行うエリアである。
【００２４】
演算子エリアは、エリア内に手書きされた文字が、計算式における演算子であることを条件として文字認識を行うエリアである。
【００２５】
足し算数値エリアは、エリア内に手書きされた文字が、計算式における数値または四則演算子（＋、−、×、÷）以外の演算子であることを条件として文字認識を行い、さらに、認識結果の前に、足し算演算子を付加するエリアである。
【００２６】
引き算数値エリアは、エリア内に手書きされた文字が、計算式における数値または四則演算子（＋、−、×、÷）以外の演算子であることを条件として文字認識を行い、さらに、認識結果の前に、引き算演算子を付加するエリアである。
【００２７】
掛け算数値エリアは、エリア内に手書きされた文字が、計算式における数値または四則演算子（＋、−、×、÷）以外の演算子であることを条件として文字認識を行い、さらに、認識結果の前に、掛け算演算子を付加するエリアである。
【００２８】
割り算数値エリアは、エリア内に手書きされた文字が、計算式における数値または四則演算子（＋、−、×、÷）以外の演算子であることを条件として文字認識を行い、さらに、認識結果の前に、割り算演算子を付加するエリアである。
【００２９】
総和開始数値エリアは、エリア内に手書きされた文字が、総和演算（Σ）を行う関数式において、変数の総和開始の数値を示す情報であり、変数、演算子（＝）、数値等で構成される計算式であることを条件として文字認識を行うエリアである。
【００３０】
総和終了数値エリアは、エリア内に手書きされた文字が、総和演算（Σ）を行う関数式において、変数の総和終了の数値を示す情報であり、数値であることを条件として文字認識を行うである。
【００３１】
第二の実施の形態において、ペンで書き込んだ位置情報（座標データ）を用いて、エリアデータベース６００を参照することにより、書き込み内容のエリア属性情報（演算子エリアのデータ等）を得ることが可能であり、上記エリア属性情報は、書き込み内容のデータとともに、計算式の構築に利用する。
＜処理フローの説明＞
図７は、図５のデジタルペンおよびデジタルペーパを利用した計算システムを用いて、デジタルペン５０１によりデジタルペーパ５００に手書き文字による計算式を記述してから、上記計算式の計算結果を把握するまでの処理のフローを示している。図７に従い、処理のフローを説明する。
＜フロー１（識別ＯＫ）：簡単な計算の時、デジタルペンのみで文字認識と計算を実行＞
（ステップ７００）図５において、デジタル化手段５０３は、デジタルペン５０１を用いてデジタルペーパ５００に記述された文字（画像情報）を読み込み、上記読み込んだ文字（画像情報）をデジタル化（座標データ化）してデジタルデータを得る。
（ステップ７０１）デジタルペン５０１が有する文字認識手段５０４は、上記デジタルデータの座標データに基づき、エリアデータベース５３１を参照することで、エリア属性情報を取得し、上記エリア属性情報を条件情報とした上記デジタルデータに基づく文字認識を行う。上記文字認識において、上記エリア属性情報を条件情報とした認識処理を行うことで、認識結果の精度向上が期待できる。
（ステップ７０２）文字識別手段５０５は、上記文字データベース５３０を参照することにより、上記文字認識の結果データにおける各文字が、上記文字データベース５３０に登録されているか否かを判断する。全ての文字が登録されている時、識別ＯＫとなり、（ステップ７０３）に進む。登録されていない文字があった時、識別ＮＧとなり、（ステップ７０５）に進む。本ステップの処理により、文字データベース５３０に登録された文字によって構成される簡単な計算式（識別ＯＫ）に関して、引き続きデジタルペン５０１内部の手段を利用して以後の処理を実行する。これに対し、文字データベース５３０に登録されていない文字が含まれる計算式（識別ＮＧ）に関して、以後の主要な処理を、コンピュータ５０２で実行する。
＜計算式の文字識別後、計算式を構築し、計算処理を実行する＞
（ステップ７０３）デジタルペン５０１が有する計算手段５０６は、上記より、デジタルペン５０１が有する文字識別手段５０５で、識別ＯＫの時、上記エリア属性情報に基づき、上記文字認識結果から計算式を構築し、さらに、上記計算式の計算を実行し、計算結果を得る。ここで、割る数が０（ゼロ）の割り算や計算処理時のオーバーフローなどにより、計算異常が生じた場合、計算結果は、エラーとなる。また、構築された計算式が式として意味を成さない場合もエラーとなり、その旨を（ステップ７０４）にて出力する。
（ステップ７０４）最後に、デジタルペン５０１が有する出力手段５０７は、上記計算結果について、ディスプレイによる文字表示、スピーカによる音声出力、プリンタによる印刷、メール送信機によるメール送信などを行う。
【００３２】
以上、第二の実施の形態において、（ステップ７００）から（ステップ７０４）の処理フローで示した上記デジタルペンおよびデジタルペーパを利用した計算システムは、上記本発明の目的である、デジタルペンを用いて計算式を記述することによって、その計算結果を把握することを実現可能である。
＜フロー２（識別ＮＧ）：複雑な計算式の時、コンピュータに送信して文字認識と計算を実行＞
（ステップ７０５）デジタルペン５０１が有する送受信手段５０８は、上記（ステップ７０２）より、文字識別手段５０５の結果が、識別ＮＧの時、上記デジタル化手段５０３が得たデジタルデータをコンピュータ５０２に送信する。
（ステップ７０６）コンピュータ５０２が有する受信手段５０９は、上記デジタルペン５０１が有する送信手段５０８により送信された上記デジタルデータを受信する。
（ステップ７０７）コンピュータ５０２が有する文字認識手段５１０は、上記受信されたデジタルデータに基づき文字認識を行う。このとき、上記受信されたデジタルデータの座標データに基づき、エリアデータベース５１５を参照することで、エリア属性情報を取得し、上記エリア属性情報を条件情報として上記受信されたデジタルデータに基づく文字認識を行う。上記文字認識の処理において、上記エリア属性情報に基づき、定数値データベース５１３および演算子データベース５１４を適宜参照することで、数値および演算子の候補となる文字の認識が可能である。上記文字認識において、上記エリア属性情報を条件情報として利用し、上記定数値データベース５１３および演算子データベース５１４を参照した認識処理を行うことで、上記受信したデジタルデータの認識結果の精度向上が期待できる。
＜計算式の構築＞
（ステップ７０８）コンピュータ５０２が有する計算手段５１１は、上記受信したデジタルデータ、上記デジタルデータの位置情報、上記文字認識結果、上記定数値データベース５１３、上記演算子データベース５１４、上記エリアデータベース５１５をそれぞれ参照し、各文字の位置情報（座標データ）に基づくエリア属性情報により、各文字の数値や演算子としての認識が可能となり、上記文字認識の結果データに基づく計算式を構築し、さらに、上記計算式の計算を実行し、計算結果を得る。
【００３３】
ここで、上記文字認識の結果データに基づく計算式の構築において、計算可能な計算式とならない場合、計算結果は計算式エラーとなる。また、割る数が０（ゼロ）の割り算や計算処理時のオーバーフローなどにより、計算異常が生じた場合、計算結果は、計算エラーとなる。
【００３４】
また、コンピュータ５０２が有する計算手段５１１が行う上記計算式の構築において、上記定数値データベース５１３および上記演算子データベース５１４を参照することで、上記文字認識の結果データに基づき数値および演算子の認識を行うが、この時、認識される数値および演算子について以下に述べる。ここで、上記定数値データベース５１３および上記演算子データベース５１４は、それぞれ第一の実施の形態における上記定数値データベース１１４および上記演算子データベース１１５と同様のデータベースである。
＜認識可能な数値について＞
ここで、コンピュータ５０２が有する計算手段５１１が認識する数値は、アラビア数字、ローマ数字、漢数字、アルファベット、プラス記号、マイナス記号、プラスマイナス記号、マイナスプラス記号、小数点記号、カンマ記号等によって表現される数値である。また、上記数値において、ｎ進数を表現するために、０ｘを数値の先頭に付加することで１６進数の数値（例：０ｘ０１ＡＢ）を表現することや、数値の直後にｎ進数の基数を示す記号や数値などの文字を付加することで、例えば２進数、８進数、１０進数、１６進数などの数値を表現する。例として、２進数はｂ、８進数はｏ、１０進数はｄ、１６進数はｈなどで表現する。ここで、上記基数を数値表現部と明確に分離するために括弧（）付きの文字となっている場合がある。例えば、００１０ｂは、２進数の００１０を表し、４Ａ（１６）は、１６進数の４Ａを表す。また、数値の数値表現部として、アルファベットやギリシャ文字などで表現される定数などが含まれることもある。また、認識される定数として、定数値データベース１１４に登録された定数であるπ（パイ、円周率）＝３．１４・・・・、Ｇ（重力定数）＝９．８、ｈ（プランク定数）＝６．６２６×１０＾−３４（１０の−３４乗）などがある。この他に認識される数値として、Ｌｏｇ１０（Ｌｏｇは自然対数ｅを底とする対数関数）および√２やｌｉｍ｛ｘ→１｝（ｘ＾２＋３ｘ＋５）など数値を表す関数も含まれる。ここで、ｌｉｍ｛ｘ→１｝（ｘ＾２＋３ｘ＋５）は、関数極限で数値９を表す。
＜認識可能な演算子について＞
また、コンピュータ５０２が有する計算手段５１１が認識する演算子は、演算子データベース５１４に登録された演算子である四則演算記号を表す＋、−、×、÷、累乗を表す＾または＊＊、平方根を表す√（ルート）、分数を表す−（分子、分母の区切りの線）または／（例えば３分の４は３／４で表す）、補数を表す％、階乗を表す！、計算優先度を示す括弧（、）、｛、｝、［、］、積分を表す∫、∬（インテグラル）、さらに、特別な演算子として計算処理の実行を表す＝（イコール）など様々な演算子である。
（ステップ７０９）コンピュータ５０２が有する出力手段５１２は、上記計算結果について、ディスプレイによる文字表示やスピーカによる音声出力などを行う。
（ステップ７１０）コンピュータ５０２が有する送受信手段５０９は、上記計算結果をデジタルペン５０１に送信する。
（ステップ７１１）デジタルペン５０１が有する送受信手段５０８は、上記送信された計算結果を受信する。
（ステップ７１２）最後に、デジタルペン５０１が有する出力手段５０７は、上記受信した計算結果について、ディスプレイによる文字表示、スピーカによる音声出力、プリンタにより印刷、メール送信機によるメール送信などを行う。
【００３５】
以上、第二の実施の形態において、（ステップ７００）から（ステップ７０２）および（ステップ７０５）から（ステップ７１２）の処理フローで示した上記デジタルペンおよびデジタルペーパを利用した計算システムにより、上記本発明の目的である、デジタルペンを用いて計算式を記述することによって、その計算結果を把握することが実現可能となる。
＜計算結果を出力する装置および手段について＞
以上、第二の実施の形態において、上記計算結果の出力は、デジタルペン５０１が有する出力手段５０７またはコンピュータ５０２が有する出力手段５１２を用いて行ったが、図５に示されていない装置が有するディスプレイ、スピーカ、プリンタ、メール送信機等の出力手段において上記計算結果を出力しても良く、上記実施形態に制限されるものではない。
＜手書きの書き込みデータに基づく、文字認識結果、計算式構築結果の例（１）＞
図８は、図５の数値エリア５１７および演算子エリア５１８を交互に配置したデジタルペーパを用いて、ペンで記述した手書きの書き込みデータ８０１から、上記第二の実施形態における処理により得られる文字認識結果８０２および計算式構築結果８０３の例を示している。ここで、手書きの書き込みデータ８０１は、デジタルペン５０１で読み込まれたデータである。さらに、上記文字認識手段５１０は、上記手書きの書き込みデータ８０１に基づき、文字認識処理７０７を実行することにより、書き込み内容の一文字毎に文字認識処理を実行することで、文字認識結果８０２を得る。続いて、計算手段５１１は、上記文字認識結果８０２に基づき、各文字の位置情報（座標データ）から、エリアデータベース５１５を参照することで、エリア属性情報により、各文字について、数値および演算子の認識を行った後、上記認識した数値および演算子に基づき計算式の構築を行うことで、計算式構築結果８０２を得る。ここで、計算手段５１１における計算処理７０８は、上記文字認識結果８０２において、定数値データベース５１３の参照により、数値πは３．１４、数値１１１１（２）は１５（１０進数表現）にそれぞれ変換を行い、また、演算子データベース５１４の参照により、√、（、）はそれぞれ演算子として評価することで、上記計算式構築結果８０３に示す計算式を構築する。
＜手書きの書き込みデータに基づく、文字認識結果、計算式構築結果の例（２）＞
図９は、図５の加算数値エリア５１９、減算数値エリア５２０、掛け算数値エリア５２１、割り算数値エリア５２２が設けられたデジタルペーパを用いて、ペンで記述した手書きの書き込みデータ９０１から、上記第二の実施形態における処理により得られる文字認識結果９０２、計算式構築結果（１）９０３、計算式構築結果（２）９０４の例を示している。ここで、手書きの書き込みデータ９０１は、デジタルペン５０１で読み込まれたデータである。また、手書きの書き込みデータ９０１には、説明のため、点線の矩形で書き込んだ文字列を示し、さらに、書き込み順序を▲１▼〜▲４▼の番号および破線矢印を明記した。さらに、上記文字認識手段５１０は、上記手書きの書き込みデータ９０１に基づき、文字認識処理７０７を実行することにより、書き込み内容の一文字毎に文字認識処理を実行することで、文字認識結果９０２を得る。続いて、計算手段５１１は、上記文字認識結果９０２に基づき、各文字の位置情報（座標データ）から、エリアデータベース５１５を参照することで、エリア属性情報により、各文字について、数値および演算子の認識を行った後、書き込み順序を考慮し、上記認識した数値および演算子に基づき計算式の構築を行うことで、上記計算式構築結果（１）９０３を得る。さらに、計算手段５１１における計算処理７０８は、上記文字認識結果（１）９０３において、定数値データベース５１３の参照により、数値πは３．１４、数値１１１１（２）は１５（１０進数表現）にそれぞれ変換を行い、また、演算子データベース５１４の参照により、√、（、）はそれぞれ演算子として評価することで、上記計算式構築結果（２）９０４に示す計算式を構築する。
＜手書きの書き込みデータに基づく、文字認識結果、計算式構築結果の例（３）＞
図１０は、図５の総和演算子５２３、総和開始数値エリア５２４、総和終了数値エリア５２５、総和計算式エリア５２６が設けられたデジタルペーパを用いて、ペンで記述した手書きの書き込みデータ１００１から、上記第二の実施形態における処理により得られる文字認識結果１００２、計算式構築結果１００３の例を示している。ここで、手書きの書き込みデータ１００１は、デジタルペン５０１で読み込まれたデータである。さらに、上記文字認識手段５１０は、上記手書きの書き込みデータ１００１に基づき、文字認識処理７０７を実行することにより、書き込み内容の一文字毎に文字認識処理を実行することで、文字認識結果１００２を得る。続いて、計算手段５１１は、上記文字認識結果１００２に基づき、各文字の位置情報（座標データ）から、エリアデータベース５１５を参照することで、エリア属性情報により、各文字について、数値および演算子（関数式）等の認識を行った後、上記認識した数値および演算子（関数式）に基づき計算式の構築を行うことで、上記計算式構築結果９０３を得る。
【００３６】
【発明の効果】
本発明によれば、デジタルペーパ上に印刷されたドットパターンをデジタルペンで読み取ることによってデジタルペーパ上に手書きした文字や図形をデジタル化するデジタルペンシステムにおいて、デジタルペンを用いて、デジタルペーパに手書き文字で記述した計算式の認識と計算により、計算結果の把握が可能となるため、複雑な計算作業の効率化を図ることが可能となる。
【図面の簡単な説明】
【図１】本発明の第一の実施形態におけるデジタルペンおよびデジタルペーパを利用した計算システムのシステム構成を示す図である。
【図２】本発明の第一の実施形態におけるデジタルペンおよびデジタルペーパを利用した計算システムの処理フローを示す図である。
【図３】本発明の実施形態におけるデジタルペンとデジタルペーパの仕組みを示す図である。
【図４】本発明の第一の実施形態における手書き書き込みデータ、文字認識結果、計算式構築結果の例を示す図である。
【図５】本発明の第二の実施形態におけるデジタルペンおよびデジタルペーパを利用した計算システムのシステム構成を示す図である。
【図６】本発明の第二の実施形態におけるデジタルペンおよびデジタルペーパを利用した計算システムのエリアデータベースのテーブル構造の例を示す図である。
【図７】本発明の第二の実施形態におけるデジタルペンおよびデジタルペーパを利用した計算システムの処理フローを示す図である。
【図８】本発明の第二の実施形態における、数値エリアおよび演算子エリアが設けられたデジタルペーパを用いた時の、手書き書き込みデータ、文字認識結果、計算式構築結果の例を示す図である。
【図９】本発明の第二の実施形態における、足し算数値エリア、引き算数値エリア、掛け算数値エリア、割り算数値エリアが設けられたデジタルペーパを用いた時の、手書き書き込みデータ、文字認識結果、計算式構築結果（１）、計算式構築結果（２）の例を示す図である。
【図１０】本発明の第二の実施形態における、総和演算子、総和開始数値エリア、総和終了数値エリア、総和計算式エリアが設けられたデジタルペーパを用いた時の、手書き書き込みデータ、文字認識結果、計算式構築結果の例を示す図である。
【符号の説明】
１００…デジタルペーパ、１０１…デジタルペン、１０２…コンピュータ、１０３…デジタル化手段、１０４…文字認識手段、１０５…文字識別手段、１０６…計算手段、１０７…出力手段、１０８…送受信手段、１０９…文字データベース、１１０…送受信手段、１１１…文字認識手段、１１２…計算手段、１１３…出力手段、１１４…定数値データベース、１１５…演算子データベース、５００…デジタルペーパ、５０１…デジタルペン、５０２…コンピュータ、５０３…デジタル化手段、５０４…文字認識手段、５０５…文字識別手段、５０６…計算手段、５０７…出力手段、５０８…送受信手段、５３０…文字データベース、５３１…エリアデータベース、５０９…送受信手段、５１０…文字認識手段、５１１…計算手段、５１２…出力手段、５１３…定数値データベース、５１４…演算子データベース、５１５…エリアデータベース、５２８…デジタルペーパの拡大図、５１７…数値エリア、５１８…演算子エリア、５１９…足し算数値エリア、５２０…引き算数値エリア、５２１…掛け算数値エリア、５２２…割り算数値エリア、５２３…総和演算子、５２４…総和開始数値エリア、５２５…総和終了数値エリア、５２６…総和計算式エリア。[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a digital pen system for digitizing a character or a figure handwritten on digital paper by reading a dot pattern printed on digital paper with a digital pen.
[0002]
[Prior art]
There are various conventional techniques for performing calculations, such as an abacus, a calculator, and a PC. In order to perform calculations using these conventional techniques, it is necessary to solve the calculation formulas to some extent, especially when solving complicated calculation formulas, and to input the calculation formulas into the abacus, calculator, PC, etc. Work occurs.
[0003]
On the other hand, electronic pens have been developed and put into practical use that enable digitization of data such as handwritten characters and figures and taking them into personal computers and word processors. There is a method of digitizing handwritten characters and figures by reading what is written on paper with a scanner, but it is very troublesome to scan each paper and it is far more difficult to use an electronic pen Simple and practical. If it is an electronic pen, it can be easily brought to a meeting or meeting place, and the contents of the memo can be immediately digitized and displayed on a display for a large number of confirmations. As a pen technique capable of digitizing such handwritten character / graphic data and transmitting the digitized data to a predetermined device, there is a technique described in, for example, Patent Document 1 described below. This technology is also introduced and commercialized in Non-Patent Document 1 described below.
[0004]
In the above-mentioned conventional technology, by using a special electronic pen and electronic paper, the trajectory of characters / graphics written on the electronic paper using the electronic pen can be vectorized and stored / transmitted. Here, the mechanism will be briefly described with reference to FIG. A dot pattern 310 is printed on the electronic paper 302 for every 0.3 mm grid, and the position is slightly shifted from the grid point. By reading the dot pattern 310 with the built-in camera, the electronic pen 301 can accurately specify the absolute coordinates of the position of the pen tip of the electronic pen 301 in the electronic paper space. The size of the e-paper space is about 60 million square kilometers, but when an arbitrary 6 x 6 dot area is cut out from this vast e-paper space, it is mathematically clear that there is no overlapping area. Guaranteed to.
[0005]
The electronic pen 301 includes a camera 303, an ink cartridge 304, a pen pressure sensor 305, a processor 306, a memory 307, a battery 308, and a Bluetooth transceiver 309. Only when the pen pressure sensor 305 is operating, the camera 303 reads the dot pattern information of the electronic paper, and acquires the position information of the pen tip by the processor 306. That is, the trajectory of the character or figure written on the electronic paper 302 is digitized and obtained. The digital trajectory information is stored in the memory 307, and data is transmitted at a certain timing (specifiable) according to the Bluetooth specification. In general, a destination of data (for example, word processing software of a personal computer, FAX, e-mail, etc.) is designated by checking any of the selection boxes 310 printed on the electronic paper 302, and the transmission box 311 is checked. Transmits data.
[0006]
In general, a pen device is widely used as a tool for a person to write a character or a figure, and can make a description as desired by the person. Furthermore, if the above digital pen is used, it is possible to read the calculation formula by writing the calculation formula on paper, to digitize the calculation formula and transmit it to the server device. Since it is possible to handle the calculated formula, it is possible to reduce troublesome and troublesome transcription by inputting to a PC or a calculator, and to perform an efficient operation.
[0007]
[Patent Document 1]
WO 01/26033
[Non-patent document 1]
"Nikkei Design July 2001 Issue 80-81"
[0008]
[Problems to be solved by the invention]
When such a conventional technique is used, in order to obtain a calculation result of a calculation formula, it is necessary to input a calculation formula to each device when using a calculator or a PC. Further, even if a digital pen is used, only the data of the digitized calculation formula can be used, and the calculation result cannot be obtained.
[0009]
SUMMARY OF THE INVENTION It is an object of the present invention to provide a digital pen and a calculation system using digital paper, which enable a user to grasp a calculation result by describing a calculation formula using the digital pen.
[0010]
[Means for Solving the Problems]
In the present invention, the following means are provided to achieve the above object.
(Means 1)
In a system using a digital pen and digital paper, which reads a dot pattern printed on paper with a pen and digitizes the written content, a calculation system according to the present invention uses numerical values and operators based on the digitized written content. Recognizing means, constructing a calculation formula from the recognized numerical values and operators, calculating means for performing the calculation, and output means for outputting the calculation result to a predetermined device. Features.
(Means 2)
In a system using a digital pen and digital paper that reads a dot pattern printed on paper with a pen and digitizes the written content, the computer device according to the present invention receives the written content digitized by the digital pen. Receiving means, a recognizing means for recognizing a numerical value and an operator from the digitized written contents, a calculating means for constructing a calculation formula from the recognized numerical value and the operator and performing the calculation, and the calculation result And output means for outputting to a predetermined device.
(Means 3)
In the calculation system satisfying the means 1 and the means 2 according to the present invention, further, the output means displays the calculation result on a predetermined display, or reproduces the calculation result by sound using a predetermined speaker, Alternatively, the calculation result is printed using a predetermined printer.
(Means 4)
In a system using a digital pen and digital paper, which reads a dot pattern printed on paper with a pen and digitizes the written content, the digital pen according to the present invention employs a numerical value and an operator based on the digitized written content. Recognizing means, constructing a calculation formula from the recognized numerical values and operators, calculating means for performing the calculation, and a display or speaker for displaying or playing back the calculation result, I do.
(Means 5)
In a system using a digital pen and digital paper, which reads a dot pattern printed on paper with a pen and digitizes the written content, the digital paper in the present invention writes an area and an operator for writing numerical values. The areas are individually arranged.
(Means 6)
In a system using a digital pen and digital paper that reads a dot pattern printed on paper with a pen and digitizes the written content, the digital paper according to the present invention includes a predetermined operator, , Areas for writing numerical values are arranged in the vicinity of.
[0011]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, an embodiment of a calculation system using a digital pen and digital paper according to the present invention will be described in detail with reference to the drawings.
(First embodiment)
<System configuration>
First, the configuration of a calculation system using a digital pen and digital paper will be described with reference to FIG. The computing system using the digital pen and the digital paper shown in FIG. 1 includes a digital paper 100, a digital pen 101, and a computer 102.
[0012]
Here, the digital paper 100 is electronic paper on which a dot pattern for specifying a writing position described in the related art is printed.
[0013]
The digital pen 101 is a digital pen described in the related art, and includes a digitizing unit 103, a character recognizing unit 104, a character identifying unit 105, a calculating unit 106, an output unit 107, a transmitting / receiving unit 108, and a character database 109. Hereinafter, 103 to 109 constituting the digital pen 101 will be described. The digitizing means 103 is included in the prior art and is a processing program of the memory 307. The digitizing means 103 digitizes the writing contents (coordinate data) based on the dot pattern of the paper 302 photographed by the camera 303. . The character recognition means 104 is a processing program in the memory 307, and performs character recognition of the digitized data. The character identification means 105 determines, for each character of the character data recognized, whether or not the character data is a character registered in the character database 109. The calculating means 106 is a processing program on the memory 307, constructs a calculating formula based on the recognized character data, and calculates the calculating formula. The output unit 107 is, for example, a small display, a speaker, a printer, a mail transmitter, or the like mounted on the digital pen 101, and outputs the calculation result. The transmission / reception means 108 transmits digital data to the computer 102 and receives data transmitted from the computer 102 by the Bluetooth transceiver 309. The character database 109 is a database in which Arabic numerals, arithmetic symbols (+,-, x, ÷) and equal signs (=) are registered.
[0014]
Further, the computer 102 is a PC including a CPU, a memory, a hard disk, a keyboard, a mouse, a display, a speaker, and the like, and includes a transmission / reception unit 110, a character recognition unit 111, a calculation unit 112, an output unit 113, a constant value database 114, It has an operator database 115. Hereinafter, 110 to 115 constituting the computer 102 will be described. The transmission / reception unit 110 receives digital data transmitted from the digital pen 101 and transmits data to the digital pen 101 via Bluetooth. The character recognition means 111 is a processing program on a memory, and performs character recognition of the digital data received by the transmission / reception means 110. The calculation means 112 is a program on a memory, constructs a calculation formula by referring to the constant value database 114 and the operator database 115 based on the recognized character data, and performs calculation of the calculation formula. Do. The output unit 113 is, for example, a display, a speaker, a printer, a mail transmitter, or the like mounted on the computer 102, and outputs the calculation result. The constant value database 114 stores, for example, π (pi, pi) = 3.14..., G (gravity constant) = 9.8, h (Planck constant) = 6.626 × 10 × − This is a database in which constants and their numerical values, such as 34 (10 to the power of −34), are registered. The operator database 115 includes, for example, +,-, x, を, representing a four arithmetic operation symbol, ＾ or **, representing a power, √ (root), representing a square root,-(representing a numerator, denominator delimiter). (Line) or / (eg, 4/3 is represented by 3/4),% for complement, factorial! , Parentheses (,), ｛,｝, [,] indicating calculation priority, ∫, ∬ (integral) indicating integration, and = (equal) indicating execution of calculation processing as a special operator. This is a database where operators are registered.
<Explanation of processing flow>
FIG. 2 is a diagram illustrating a calculation system using handwritten characters written on a digital paper 100 by a digital pen 101 using a digital pen and a calculation system using digital paper of FIG. 3 shows the flow of the processing. The processing flow will be described with reference to FIG.
<Flow 1 (Identification OK): At the time of simple calculation, character recognition and calculation are performed only with the digital pen>
(Step 200) In FIG. 1, the digitizing means 103 reads characters (image information) described on the digital paper 100 using the digital pen 101, and digitizes the read characters (image information) (converts them into coordinate data). ) To obtain digital data.
(Step 201) The character recognition means 104 of the digital pen 101 performs character recognition based on the digital data.
(Step 202) The character identification unit 105 determines whether each character in the character recognition result data is registered in the character database 109 by referring to the character database 109. When all the characters are registered, the identification is OK, and the process proceeds to (Step 203). If there is a character that has not been registered, it becomes identification NG, and the process proceeds to (Step 205).
<After character recognition of the calculation formula, construct the calculation formula and execute the calculation process>
(Step 203) As described above, the calculation means 106 of the digital pen 101 is constructed by the character identification means 105 of the digital pen 101, and when the identification is OK, a calculation formula is constructed based on the result data of the character recognition. Executes the calculation formula and obtains the calculation result. Here, if a calculation error occurs due to division by 0 (zero) or an overflow during calculation processing, the calculation result becomes an error. An error also occurs when the constructed calculation formula does not make sense as a formula, and that fact is output in (step 204).
(Step 204) Finally, the output means 107 of the digital pen 101 performs, for the calculation result, character display on a display, voice output by a speaker, printing by a printer, mail transmission by a mail transmitter and the like.
[0015]
As described above, in the first embodiment, the digital pen and the calculation system using digital paper shown in the processing flow from (Step 200) to (Step 204) use the digital pen, which is the object of the present invention. By describing the calculation formula, it is feasible to grasp the calculation result.
<Flow 2 (identification NG): When a complicated calculation formula is used, it is sent to a computer to perform character recognition and calculation>
(Step 205) The transmitting / receiving means 108 of the digital pen 101 transmits the digital data obtained by the digitizing means 103 to the computer 102 when the result of the character identifying means 105 is the identification NG from the above (Step 202). .
(Step 206) The receiving means 110 of the computer 102 receives the digital data transmitted by the transmitting means 108 of the digital pen 101.
(Step 207) The character recognition means 111 of the computer 102 performs character recognition based on the received digital data.
<Construction of calculation formula>
(Step 208) The calculating means 112 of the computer 102 constructs a calculation formula based on the character recognition result data by referring to the constant value database 114 and the operator database 115, and further calculates the calculation formula. By performing the calculation, a calculation result is obtained.
[0016]
Here, in the construction of the calculation formula based on the result data of the character recognition, if the calculation formula cannot be calculated, the calculation result becomes a calculation formula error. Further, if a calculation error occurs due to division of the number to be divided by 0 (zero) or overflow during calculation processing, the calculation result will be a calculation error.
[0017]
Further, in the construction of the calculation formula performed by the calculation means 112 included in the computer 102, the recognition of the numerical value and the operator based on the character recognition result data is performed by referring to the constant value database 114 and the operator database 115. At this time, the numerical values and operators recognized at this time will be described below.
<Recognizable numbers>
Here, the numerical values recognized by the calculating means 112 of the computer 102 are expressed by Arabic numerals, Roman numerals, Chinese numerals, alphabets, plus signs, minus signs, plus minus signs, minus plus signs, decimal signs, comma signs, and the like. Value. In addition, in the above numerical values, a hexadecimal number (eg, 0x01AB) can be expressed by adding 0x to the head of the numerical value to represent an n-ary number, or a symbol indicating an n-radix base immediately after the numerical value. By adding characters such as numbers and numerical values, numerical values such as binary numbers, octal numbers, decimal numbers, and hexadecimal numbers are expressed. As an example, a binary number is represented by b, an octal number is represented by o, a decimal number is represented by d, and a hexadecimal number is represented by h. Here, in order to clearly separate the radix from the numerical expression part, the radix may be a character with parentheses (). For example, 0010b represents binary 0010, and 4A (16) represents hexadecimal 4A. Further, the numerical value expressing portion of the numerical value may include a constant represented by an alphabet, a Greek character, or the like. Further, the recognized constants are the constants registered in the constant value database 114, Π (pi, pi) = 3.14..., G (gravity constant) = 9.8, h (Planck constant) ) = 6.626 × 10 ＾ −34 (10 to the −34 power). Other recognized numerical values include Log10 (Log is a logarithmic function having a natural logarithm e) and functions representing numerical values such as {2 and lim {x → 1} (x ^ 2 + 3x + 5). Here, lim ｛x → 1｝ (x ＾ 2 + 3x + 5) represents the numerical value 9 in the function limit.
<About recognizable operators>
The operators recognized by the calculation means 112 included in the computer 102 are +,-, x, を, which represent operators, which are operators registered in the operator database 115, ＾ or **, which represent powers, and square roots. Represents a root (root), represents a fraction-(a line separating a numerator and a denominator) or / (for example, 4/3 is represented by 3/4),% represents a complement, and represents a factorial! , Parentheses (,), ｛,｝, [,] indicating calculation priority, ∫, ∬ (integral) indicating integration, and = (equal) indicating execution of calculation processing as a special operator. Operator.
(Step 209) The output unit 113 included in the computer 102 performs, for the calculation result, character display on a display, audio output from a speaker, and the like.
(Step 210) The transmitting / receiving means 110 included in the computer 102 transmits the calculation result to the digital pen 101.
(Step 211) The transmitting / receiving means 108 of the digital pen 101 receives the transmitted calculation result.
(Step 212) Finally, the output unit 107 of the digital pen 101 performs, for the received calculation result, character display on a display, voice output from a speaker, and the like.
[0018]
As described above, in the first embodiment, the digital pen and the calculation system using the digital paper shown in the processing flow from (Step 200) to (Step 202) and (Step 205) to (Step 212) use the above-described book. By describing a calculation formula using a digital pen, which is the object of the invention, it is possible to realize the calculation result.
<About the device and means for outputting the calculation result>
As described above, in the first embodiment, the output of the calculation result is performed using the output unit 107 of the digital pen 101 or the output unit 113 of the computer 102. The calculation result may be output by output means such as a display, a speaker, a printer, and a mail transmitter, and is not limited to the above embodiment.
<Example of character recognition result and calculation formula construction result based on handwritten data>
FIG. 4 shows an example of a character recognition result 402 and a calculation formula construction result 403 obtained from the handwritten writing data 401 described with a pen by the processing in the first embodiment. Here, the handwritten data 401 is data read by the digital pen 101. Further, the character recognizing unit 111 performs a character recognition process 207 based on the handwritten write data 401, thereby performing a character recognition process for each character of the written content, thereby obtaining a character recognition result 402. Subsequently, the calculating unit 112 recognizes the numerical value and the operator based on the character recognition result 402, and then constructs a calculation formula based on the recognized numerical value and operator, thereby obtaining the calculation formula construction result 402. Get. Here, the calculation process 208 in the calculation means 112 converts the value π into 3.14 and the value 1111 (2) into 15 (decimal notation) in the character recognition result 402 by referring to the constant value database 114. Then, by referring to the operator database 115, √ and (,) are evaluated as operators, thereby constructing the calculation formula shown in the calculation formula construction result 403.
(Second embodiment)
<About the difference between the first embodiment and the second embodiment>
In the first embodiment, only the dot pattern printing for specifying the position is performed on the digital paper. On the other hand, in the second embodiment, the digital paper is provided with an area or operator itself that supports the description of numerical values and operators in the description of the calculation formula. Since they are different, they will be described below as a second embodiment.
<System configuration>
First, the configuration of a calculation system using a digital pen and digital paper will be described with reference to FIG. The digital pen and the calculation system using the digital paper shown in FIG. 5 include a digital paper 500, a digital pen 501, and a computer 502.
[0019]
Here, the digital paper 500 is electronic paper on which a dot pattern for specifying a writing position described in the related art is printed. Further, unlike the first embodiment, the digital paper 500 has a numerical area 517, an operator area 518, an addition numerical area 519, a subtraction numerical area 520, a multiplication numerical area, as shown in the enlarged view 528 of the digital paper. An area 521, a division value area 522, a sum operator 523, a sum start value area 524, a sum end value area 525, and a sum calculation formula area 526 are printed.
[0020]
The digital pen 501 is a digital pen described in the related art, and includes a digitizing unit 503, a character recognizing unit 504, a character identifying unit 505, a calculating unit 506, an output unit 507, a transmitting / receiving unit 508, a character database 530, and an area database. 531. Hereinafter, 503 to 508 and 530 and 531 constituting the digital pen 501 will be described. The digitizing means 503 is included in the prior art and is a processing program of the memory 307. The digitizing means 503 digitizes the writing contents (coordinate data) based on the dot pattern of the paper 302 photographed by the camera 303. . The character recognition means 504 is a processing program on the memory 307, and performs character recognition of the digitized data. The character identification unit 505 determines, for each character of the character data that has been recognized, whether or not the character data is a character registered in the character database 530. The calculation means 506 is a processing program on the memory 307, and recognizes numerical values and operators by referring to the area database 531 based on the recognized character data, constructs a calculation formula, and executes the calculation. Calculate the formula. The output unit 507 is, for example, a small display, a speaker, a printer, and a mail transmitter mounted on the digital pen 501, and outputs the calculation result. The transmission / reception unit 508 transmits digital data to the computer 502 and receives data transmitted from the computer 502 by the Bluetooth transceiver 309. The character database 530 is a database in which Arabic numerals, arithmetic symbols (+,-, x, ÷) and equal signs (=) are registered. The area database 531 is, for example, a database in which area attribute information such as a numerical area and an operator area relating to a predetermined area on digital paper is registered as shown in FIG.
[0021]
Further, the computer 502 is a PC including a CPU, a memory, a hard disk, a keyboard, a mouse, a display, a speaker, etc., and includes a transmission / reception unit 509, a character recognition unit 510, a calculation unit 511, an output unit 512, a constant value database 513, An operator database 514 and an area database 515 are provided. Hereinafter, 509 to 515 constituting the computer 502 will be described. The transmission / reception unit 509 receives digital data transmitted from the digital pen 501 and transmits data to the digital pen 501 via Bluetooth. The character recognition means 510 is a processing program on a memory, and performs character recognition of the digital data received by the transmission / reception means 509. The calculation means 511 is a program on a memory, and recognizes numerical values and operators by referring to the constant value database 114, the operator database 115, and the area database 531 based on the recognized character data. Is performed, a calculation formula is constructed, and the calculation of the above calculation formula is performed. The output unit 512 is, for example, a display, a speaker, a printer, a mail transmitter, or the like mounted on the computer 502, and outputs the calculation result. The constant value database 513 is the same as the constant value database 114 in the first embodiment. For example, π (pi, pi) = 3.14. ) = 9.8, h (Planck's constant) = 6.626 × 10 ＾ −34 (10 to the −34 power) and the like, and a database in which constants and their numerical values are registered. The operator database 514 is the same as the operator database 115 in the first embodiment, and includes, for example, +,-, x, を representing a four arithmetic operation symbol, ＾ or ** representing a power, or Represents a square root (root), represents a fraction-represents a numerator, denominator dividing line or / (for example, 4/3 is represented by 3/4), represents a complement, and represents a factorial! , Parentheses (,), ｛,｝, [,] indicating calculation priority, ∫, ∬ (integral) indicating integration, and = (equal) indicating execution of calculation processing as a special operator. This is a database where operators are registered. The area database 516 is, for example, a database in which area attribute information such as a numerical area and an operator area relating to a predetermined area on digital paper is registered as shown in FIG.
<Description of area database table>
FIG. 6 is a specific example of the area databases 531 and 516, and shows a table structure of a database in which attribute information such as a numerical area and an operator area relating to a predetermined area on digital paper is registered. Hereinafter, the table structure of the area database will be described with reference to FIG.
[0022]
The area database has a table 600. In the table 600, a paper ID field 601, an area No. field 602, an upper left coordinate field 603, a lower right coordinate field 604, and an area attribute field 605 are defined as fields. . Here, the fields 601 to 605 of the table 600 of the area database will be described. The paper ID field 601 is a field in which identification information assigned to identify a plurality of digital papers is registered. The area No. field 602 is a field in which a number assigned to an area designated on digital paper is registered. The upper left coordinate field 603 is a field in which upper left coordinate data used when specifying a rectangular area on digital paper is registered. The lower right coordinate field 604 is a field in which lower right coordinate data used to specify a rectangular area on digital paper is registered. The area attribute field 605 is a field in which area attribute information such as a numerical area and an operator area is registered for the rectangular area specified by the upper left coordinate field 603 and the lower right coordinate field 604.
<Description of area attribute information>
Here, the area attribute information will be described. The area attribute information is condition information relating to the construction of a calculation formula, such as a numerical value or an operator, which is added to a described character in a predetermined area designated by a rectangular area. Specific area attribute information includes a numerical value area, an operator area, an addition numerical area, a subtraction numerical area, a multiplication numerical area, a division numerical area, a sum starting numerical area, a sum ending numerical area, a sum calculating formula area, and the like. Hereinafter, the content of the condition information will be described for each of the above specific area attribute information.
[0023]
The numerical value area is an area where character recognition is performed on condition that the character handwritten in the area is a numerical value in a calculation formula.
[0024]
The operator area is an area for performing character recognition on condition that a character handwritten in the area is an operator in a calculation formula.
[0025]
The addition numerical value area performs character recognition on condition that the character handwritten in the area is a numerical value or an operator other than the four arithmetic operators (+,-, x, ÷) in the calculation formula. Is an area where an addition operator is added before.
[0026]
The subtraction numerical value area performs character recognition on the condition that the character handwritten in the area is a numerical value or an operator other than the four arithmetic operators (+,-, ×, ÷) in the calculation formula. This is the area where the subtraction operator is added before.
[0027]
The multiplication numerical area performs character recognition on the condition that the character handwritten in the area is a numerical value or an operator other than the four arithmetic operators (+,-, x, ÷) in the calculation formula. This is an area where a multiplication operator is added before.
[0028]
The division numerical value area performs character recognition on the condition that the character handwritten in the area is a numerical value or an operator other than the four arithmetic operators (+,-, ×, ÷) in the calculation formula. This is the area where the division operator is added before.
[0029]
The sum total numerical value area is information indicating a numerical value of a variable sum total start in a function formula in which a character handwritten in the area performs a sum operation (Σ), and includes a variable, an operator (=), a numerical value, and the like. This is an area where character recognition is performed on condition that the calculation formula is used.
[0030]
The sum end numerical value area is information indicating the numerical value of the end of the sum of the variables in the function formula for performing the sum operation (Σ), and the character handwritten in the area is used to perform character recognition on condition that it is a numerical value. is there.
[0031]
In the second embodiment, it is possible to obtain area attribute information (such as data of an operator area) of written contents by referring to the area database 600 using position information (coordinate data) written with a pen. The area attribute information is used for constructing a calculation formula together with the data of the written contents.
<Explanation of processing flow>
FIG. 7 is a diagram illustrating a process of writing a calculation formula using handwritten characters on a digital paper 500 with the digital pen 501 using the digital pen and the calculation system using digital paper of FIG. 3 shows the flow of the processing. The processing flow will be described with reference to FIG.
<Flow 1 (Identification OK): At the time of simple calculation, character recognition and calculation are performed only with the digital pen>
(Step 700) In FIG. 5, the digitizing means 503 reads a character (image information) described on the digital paper 500 using the digital pen 501, and digitizes the read character (image information) (coordinate data conversion). ) To obtain digital data.
(Step 701) The character recognizing means 504 of the digital pen 501 acquires area attribute information by referring to the area database 531 based on the coordinate data of the digital data, and uses the area attribute information as condition information. Performs character recognition based on digital data. In the character recognition, by performing a recognition process using the area attribute information as the condition information, it is expected that the accuracy of the recognition result is improved.
(Step 702) The character identification means 505 determines whether each character in the character recognition result data is registered in the character database 530 by referring to the character database 530. When all the characters have been registered, the identification is OK, and the process proceeds to (Step 703). When there is a character that has not been registered, it becomes identification NG and proceeds to (Step 705). With the processing in this step, the subsequent processing is continuously executed using the internal means of the digital pen 501 with respect to the simple calculation formula (identification OK) constituted by the characters registered in the character database 530. On the other hand, with respect to a calculation formula (identification NG) including a character which is not registered in the character database 530, the computer 502 executes the main processing thereafter.
<After character recognition of the calculation formula, construct the calculation formula and execute the calculation process>
(Step 703) The calculation means 506 of the digital pen 501 uses the character identification means 505 of the digital pen 501 to construct a calculation formula from the character recognition result based on the area attribute information when the identification is OK. Further, the calculation of the above formula is executed to obtain a calculation result. Here, if a calculation error occurs due to division by 0 (zero) or an overflow during calculation processing, the calculation result becomes an error. An error also occurs when the constructed calculation expression does not make sense as an expression, and that fact is output in (step 704).
(Step 704) Finally, the output unit 507 of the digital pen 501 performs the above-described calculation results such as displaying characters on a display, outputting voices using a speaker, printing using a printer, and transmitting a mail using a mail transmitter.
[0032]
As described above, in the second embodiment, the digital pen and the calculation system using digital paper shown in the processing flow from (Step 700) to (Step 704) use the digital pen, which is the object of the present invention. By describing the calculation formula, it is feasible to grasp the calculation result.
<Flow 2 (identification NG): When a complicated calculation formula is used, it is sent to a computer to perform character recognition and calculation>
(Step 705) The transmitting / receiving means 508 of the digital pen 501 transmits the digital data obtained by the digitizing means 503 to the computer 502 when the result of the character identifying means 505 is the identification NG from the above (Step 702). .
(Step 706) The receiving means 509 of the computer 502 receives the digital data transmitted by the transmitting means 508 of the digital pen 501.
(Step 707) The character recognition means 510 of the computer 502 performs character recognition based on the received digital data. At this time, area attribute information is acquired by referring to the area database 515 based on the coordinate data of the received digital data, and character recognition based on the received digital data is performed using the area attribute information as condition information. Do. In the above-described character recognition process, by referring to the constant value database 513 and the operator database 514 as needed based on the area attribute information, it is possible to recognize characters that are candidates for numerical values and operators. In the character recognition, by using the area attribute information as condition information and performing recognition processing with reference to the constant value database 513 and the operator database 514, it is expected that the accuracy of the received digital data recognition result is improved. .
<Construction of calculation formula>
(Step 708) The calculating means 511 of the computer 502 refers to the received digital data, the position information of the digital data, the character recognition result, the constant value database 513, the operator database 514, and the area database 515, respectively. The area attribute information based on the position information (coordinate data) of each character makes it possible to recognize each character as a numerical value or an operator, constructs a calculation formula based on the character recognition result data, and further calculates Execute the calculation of the formula and obtain the calculation result.
[0033]
Here, in the construction of the calculation formula based on the result data of the character recognition, if the calculation formula cannot be calculated, the calculation result becomes a calculation formula error. Further, if a calculation error occurs due to division of the number to be divided by 0 (zero) or overflow during calculation processing, the calculation result will be a calculation error.
[0034]
In the construction of the calculation formula performed by the calculation means 511 of the computer 502, the constant value database 513 and the operator database 514 are referred to recognize the numerical value and the operator based on the character recognition result data. At this time, the numerical values and operators recognized at this time will be described below. Here, the constant value database 513 and the operator database 514 are databases similar to the constant value database 114 and the operator database 115 in the first embodiment, respectively.
<Recognizable numbers>
Here, the numerical values recognized by the calculating means 511 of the computer 502 are represented by Arabic numerals, Roman numerals, Chinese numerals, alphabets, plus signs, minus signs, plus minus signs, minus plus signs, decimal signs, comma signs, and the like. Value. In addition, in the above numerical values, a hexadecimal number (eg, 0x01AB) can be expressed by adding 0x to the head of the numerical value to represent an n-ary number, or a symbol indicating an n-radix base immediately after the numerical value. By adding characters such as numbers and numerical values, numerical values such as binary numbers, octal numbers, decimal numbers, and hexadecimal numbers are expressed. As an example, a binary number is represented by b, an octal number is represented by o, a decimal number is represented by d, and a hexadecimal number is represented by h. Here, in order to clearly separate the radix from the numerical expression part, the radix may be a character with parentheses (). For example, 0010b represents binary 0010, and 4A (16) represents hexadecimal 4A. Further, the numerical value expressing portion of the numerical value may include a constant represented by an alphabet, a Greek character, or the like. Further, as the recognized constants, π (pi, pi) = 3.14..., G (gravity constant) = 9.8, h (Planck constant) which are constants registered in the constant value database 114 ) = 6.626 × 10 ＾ −34 (10 to the −34 power). Other recognized numerical values include Log10 (Log is a logarithmic function having a natural logarithm e) and functions representing numerical values such as {2 and lim {x → 1} (x ^ 2 + 3x + 5). Here, lim ｛x → 1｝ (x ＾ 2 + 3x + 5) represents the numerical value 9 in the function limit.
<About recognizable operators>
The operators recognized by the calculating means 511 of the computer 502 are +,-, ×, を representing four arithmetic symbols, ＾ or ** representing powers, and square roots, which are operators registered in the operator database 514. Represents a root (root), represents a fraction-(a line separating a numerator and a denominator) or / (for example, 4/3 is represented by 3/4),% represents a complement, and represents a factorial! , Parentheses (,), ｛,｝, [,] indicating calculation priority, ∫, ∬ (integral) indicating integration, and = (equal) indicating execution of calculation processing as a special operator. Operator.
(Step 709) The output unit 512 included in the computer 502 performs, for the calculation result, character display on a display, audio output from a speaker, and the like.
(Step 710) The transmitting / receiving means 509 of the computer 502 transmits the above calculation result to the digital pen 501.
(Step 711) The transmitting / receiving means 508 of the digital pen 501 receives the transmitted calculation result.
(Step 712) Finally, the output means 507 of the digital pen 501 performs the display of the received calculation result, such as character display on a display, voice output by a speaker, printing by a printer, and mail transmission by a mail transmitter.
[0035]
As described above, in the second embodiment, the book system is executed by the calculation system using the digital pen and the digital paper shown in the processing flows of (Step 700) to (Step 702) and (Step 705) to (Step 712). By describing a calculation formula using a digital pen, which is the object of the invention, it is possible to realize the calculation result.
<About the device and means for outputting the calculation result>
As described above, in the second embodiment, the output of the calculation result is performed using the output unit 507 included in the digital pen 501 or the output unit 512 included in the computer 502. However, an apparatus not illustrated in FIG. The calculation result may be output by output means such as a display, a speaker, a printer, and a mail transmitter, and is not limited to the above embodiment.
<Example of character recognition result and calculation formula construction result based on handwritten data (1)>
FIG. 8 shows character recognition obtained by the processing in the second embodiment from handwritten writing data 801 described with a pen using digital paper in which the numerical area 517 and the operator area 518 of FIG. 5 are alternately arranged. An example of a result 802 and a calculation formula construction result 803 are shown. Here, the handwritten data 801 is data read by the digital pen 501. Further, the character recognizing unit 510 performs a character recognition process 707 based on the handwritten writing data 801 to perform a character recognition process for each character of the written content, thereby obtaining a character recognition result 802. Subsequently, based on the character recognition result 802, the calculating unit 511 refers to the area database 515 from the position information (coordinate data) of each character, and, based on the area attribute information, calculates the numerical value and operator of each character. After the recognition, a calculation formula is constructed based on the recognized numerical values and operators, thereby obtaining a calculation formula construction result 802. Here, the calculation processing 708 in the calculation means 511 converts the value π into 3.14 and the value 1111 (2) into 15 (decimal notation) in the character recognition result 802 by referring to the constant value database 513. Then, by referring to the operator database 514, √ and (,) are evaluated as operators, thereby constructing the calculation formula shown in the calculation formula construction result 803.
<Example of character recognition result and calculation formula construction result (2) based on handwritten data>
FIG. 9 is a diagram showing the second handwritten writing data 901 described with a pen using digital paper provided with an addition value area 519, a subtraction value area 520, a multiplication value area 521, and a division value area 522 in FIG. 9 shows an example of a character recognition result 902, a calculation formula construction result (1) 903, and a calculation formula construction result (2) 904 obtained by the processing in the embodiment. Here, the handwritten data 901 is data read by the digital pen 501. In the handwritten writing data 901, a character string written by a dotted rectangle is shown for the sake of explanation, and the writing order is indicated by numbers (1) to (4) and dashed arrows. Further, the character recognizing unit 510 performs a character recognition process 707 based on the handwritten write data 901 to perform a character recognition process for each character of the written content, thereby obtaining a character recognition result 902. Subsequently, based on the character recognition result 902, the calculating unit 511 refers to the area database 515 from the position information (coordinate data) of each character, and according to the area attribute information, calculates the numerical value and operator of each character. After the recognition, the calculation formula construction result (1) 903 is obtained by constructing a calculation formula based on the recognized numerical values and operators in consideration of the writing order. Further, in the character recognition result (1) 903, the calculation processing 708 in the calculation means 511 refers to the constant value database 513, where the numerical value π is 3.14 and the numerical value 1111 (2) is 15 (decimal notation). The conversion is performed, and by referring to the operator database 514, √ and (,) are each evaluated as operators, thereby constructing the calculation formula shown in the calculation formula construction result (2) 904.
<Example of character recognition result and calculation formula construction result based on handwritten data (3)>
FIG. 10 is a diagram illustrating a handwritten writing data 1001 described with a pen using digital paper provided with a sum operator 523, a sum start numerical area 524, a sum end numerical area 525, and a sum formula area 526 of FIG. An example of a character recognition result 1002 and a calculation formula construction result 1003 obtained by the processing in the second embodiment is shown. Here, the handwritten data 1001 is data read by the digital pen 501. Further, the character recognition unit 510 performs a character recognition process 707 based on the handwritten writing data 1001 to execute a character recognition process for each character of the written content, thereby obtaining a character recognition result 1002. Subsequently, based on the character recognition result 1002, the calculating unit 511 refers to the area database 515 from the position information (coordinate data) of each character, and, based on the area attribute information, calculates a numerical value and an operator ( After the recognition of the function formula, etc., the calculation formula is constructed based on the recognized numerical value and the operator (function formula), whereby the calculation formula construction result 903 is obtained.
[0036]
【The invention's effect】
According to the present invention, in a digital pen system for digitizing a character or a figure handwritten on a digital paper by reading a dot pattern printed on the digital paper with the digital pen, a digital pen is used to handwrite the digital paper. By recognizing and calculating the calculation formula described in characters, the calculation result can be grasped, so that the efficiency of complicated calculation work can be improved.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating a system configuration of a calculation system using a digital pen and digital paper according to a first embodiment of the present invention.
FIG. 2 is a diagram showing a processing flow of a calculation system using a digital pen and digital paper according to the first embodiment of the present invention.
FIG. 3 is a diagram illustrating a mechanism of a digital pen and digital paper according to the embodiment of the present invention.
FIG. 4 is a diagram illustrating an example of handwritten data, a character recognition result, and a calculation formula construction result according to the first embodiment of the present invention.
FIG. 5 is a diagram illustrating a system configuration of a calculation system using a digital pen and digital paper according to a second embodiment of the present invention.
FIG. 6 is a diagram illustrating an example of a table structure of an area database of a calculation system using a digital pen and digital paper according to a second embodiment of the present invention.
FIG. 7 is a diagram showing a processing flow of a calculation system using a digital pen and digital paper according to a second embodiment of the present invention.
FIG. 8 is a diagram showing an example of handwritten data, a character recognition result, and a calculation formula construction result when using digital paper provided with a numerical value area and an operator area in the second embodiment of the present invention. is there.
FIG. 9 shows handwritten data, character recognition results, and calculations when using digital paper provided with an addition value area, a subtraction value area, a multiplication value area, and a division value area in the second embodiment of the present invention. It is a figure showing an example of a formula construction result (1) and a calculation formula construction result (2).
FIG. 10 shows handwritten data and character recognition when using digital paper provided with a sum operator, a sum start numerical area, a sum end numerical area, and a sum calculation formula area in the second embodiment of the present invention. It is a figure showing an example of a result and a calculation formula construction result.
[Explanation of symbols]
100: Digital paper, 101: Digital pen, 102: Computer, 103: Digitizing means, 104: Character recognition means, 105: Character identification means, 106: Calculation means, 107: Output means, 108: Transmission / reception means, 109: Characters Database 110, transmission / reception means 111 character recognition means 112 calculation means 113 output means 114 constant value database 115 operator database 500 digital paper 501 digital pen 502 computer 503 ... digitizing means, 504 ... character recognition means, 505 ... character identification means, 506 ... calculation means, 507 ... output means, 508 ... transmission / reception means, 530 ... character database, 531 ... area database, 509 ... transmission / reception means, 510 ... characters Recognition means, 511 ... calculation means, 512 ... Force means, 513: constant value database, 514 ... operator database, 515 ... area database, 528 ... enlarged view of digital paper, 517 ... numerical area, 518 ... operator area, 519 ... addition numerical area, 520 ... subtraction numerical area 521: Multiplication numerical area, 522: Division numerical area, 523: Sum operator, 524: Total starting numerical area, 525: Total ending numerical area, 526: Total calculating area.
