JP2007048217A - 手書き情報入力装置 - Google Patents

Abstract

【課題】 簡易な構成で紙文書の位置ずれを検出し、手書きされた内容の座標情報の補正が可能な手書き情報入力装置を提供すること。
【解決手段】 紙文書の紙面に手書きされた手書きパターンを座標情報として取得する手書き情報入力装置１０であって、当該紙文書００１を識別するための文書識別情報を取得する文書識別情報取得部２０１と、文書識別情報に基づき入力領域定義部から入力領域の座標を取得する入力領域座標取得部２０９と、手書きパターンの座標情報に基づき、入力領域に手書きされた手書きパターンの手書き領域を検出する手書き領域検出部２０４と、手書き領域検出部２０４が検出した手書き領域の座標と入力領域座標取得部が取得した入力領域の座標とに基づき、手書き領域と前記入力領域とを関連づける領域関連付け部２０５と、領域関連付け部２０５により入力領域に関連づけられた手書き領域と入力領域との位置ずれを補正するため、手書き領域の座標を変換する手書き座標変換部２０６と、を有することを特徴とする。
【選択図】 図３

Description

本発明は、予め各種情報が印刷された媒体に手書きされた情報を、当該媒体の電子文書に反映させる手書き情報入力装置に関する。

業務の電子化が進展しており流通する電子文書が増大している一方、CRT,LCDなどのディスプレイの品質はいまだ紙への印刷に劣る点も多いために、電子的に作成された文書を紙文書として紙に印刷する機会は増大している。これら電子文書が印刷された紙文書に対し手書きが行われた場合、手書きの内容を有効に利用するため加筆情報を電子化する手段が要請されている。しかし、現在使われている手書き情報の入力装置は、未だ、ユーザにとって十分な使い勝手であるとはいえない。

たとえば、タブレット、デジタイザとよばれ、板状のセンサーとペン型の装置を用いてコンピュータへ手書き入力を行う装置が存在しているが、これらの装置は単純に加筆座標情報を取得するだけであり、電子文書が印刷された紙文書への手書き作業を、当該電子文書に反映するためには不具合が生ずる。たとえば電子文書が印刷された紙の上への加筆した場合、元の電子文書に加筆の内容を反映することが望ましいにもかかわらず不可能であった。

スキャナ装置を用いても紙文書を電子文書とすることが可能であるが、スキャナ装置を用いた場合も、紙文書への手書き内容を電子文書に反映するためには不具合が生ずる。たとえば、電子文書を印刷した紙文書をスキャナで再び電子化した場合、ワープロソフトなどで作成した元の電子文書が存在するにもかかわらず、画像データとして別の画像文書が作成されるだけであり、もとの電子文書に加筆情報が反映されたものではない。

すなわち、これらの従来の装置では加筆座標を取得する機能、又は、画像を取得する機能しかなく、紙に印刷された元の電子文書が識別不可能であり、取得した加筆座標を挿入すべき電子文書が不明なために上記の不具合が生じている。

こうした問題を解決するために、まず電子的に作成された文書を印刷する際に、バーコードなどの機械が識別しやすい模様など、印刷の対象となった電子文書を特定する文書識別情報を電子文書の内容と共に印刷する技術が提案されている（例えば、特許文献１、２参照。）。文書識別情報とは、紙文書に印刷された元となる電子ファイルの保存場所、ファイル名、ページ番号などを表す情報、又はそれらを管理する情報であり、たとえば『//C:\MyDocument￥tmp.doc、pp１』などの情報である。

印刷された紙文書への手書き入力時には、加筆された手書き入力の座標情報と共に文書識別情報を取得する。つぎに加筆情報を電子文書に反映するとき、文書識別情報に従って、手書きの加えられた紙文書がどの電子文書を印刷したものかを識別し、加筆情報を印刷された電子文書へ反映することを可能としている。特許文献２によれば、手書き情報入力装置上に複数の紙文書を設置し、めくりながら自動的に識別することが可能になっており、大量の紙へ施された手書き入力を印刷された電子文書に反映し、電子文書と紙文書とを相互に用いて業務をより効率よく実施することが可能になっている。

図１は、従来の手書き情報入力装置９００の概略図を示す。手書き情報入力装置９００は、紙文書９０１へ加えられた手書き動作による手書き情報９０２を、適切な電子文書（例えば印刷された電子文書）へ反映させるための装置である。手書き情報入力装置は、筆記動作による手書き情報を取得する手書き入力部９０３、文書識別情報９０４を読み取る文書識別情報読取装置９０５を備え、文書識別情報９０４は、印刷された紙文書への手書き入力を行う際に、手書き情報と共に文書識別情報を取得する。

このとき、専用入力ペン９０６は、鉛筆やボールペンのペン先を備え実際に紙に筆記できることができ、取得された手書き情報９０２は、文書識別情報に従って適切な電子文書へ反映させることを可能とする。

ところで、特許文献２記載の手書き情報入力装置９００においては、手書き入力部９03がいわゆるデジタイザ技術により手書き情報を取得するが、工業製品として必然の製造上の誤差、装置に設置する紙文書の位置ずれ、また、装置上に設置する紙文書９０１の印刷ずれなどによって、必ずしも正確に座標を取得できるわけではない。こうした誤差の存在によって紙文書９01には所望の位置に手書き情報９０２が筆記されているにもかかわらず、電子文書には適切な位置に手書き情報９０２が反映されない状況が発生する。ずれたままに入力された手書き情報は文字認識やチェックボックス処理によるデータ化が適切に実施されないため、紙への手書き入力を正確に電子化するため、手書き情報の入力位置の誤差を解消する手段が提案されている（例えば、特許文献３参照。）。

特許文献３に記載された筆記データ入力装置では、設置された紙文書の位置検出手段と、検出された位置がずれているかどうかを判断する判別手段を備える。図２（ａ）は特許文献２記載の筆記データ入力装置の断面図を、図２（ｂ）は紙文書の位置ずれの検出方法を説明するための図をそれぞれ示す。

紙文書は、図２（ａ）のタブレット９１０上に配置される。紙文書をタブレット９１０上に重ね合せた場合に、予め定められている正規の重ね合せ位置から用紙が位置ずれしているか否かを検出するために、図２（ｂ）に示すようにレーザ光によって用紙の角部付近を順にスキャンする。用紙の上下方向、左右方向の他、回転方向のずれを検出するために、左側角部及び右側角部の位置を斜め方向にスキャンする。スキャンされたレーザ光が紙文書の角部にさしかかると、レーザ光が反射して受光量が急激に増加するので、そのときのスキャン位置とピーク位置とにより紙文書の角部の位置が検出される。検出の結果、位置ずれしていると判断された場合、位置ずれにあわせて手書き入力座標情報を補正する。
特開平９−９１０８３号公報 特開２０００−１１２６４６号公報 特開平１０−３０１７０１号公報

しかしながら、特許文献３記載の位置ずれの検出では、レーザ発信器とレーザ光をスキャンさせる偏向ミラーを有しているため、レーザ発信器の消費電力が大きくなり、また、偏向ミラーは機械的な可動部を持つと考えられるため機械的な寿命も短いという問題を有する。

本発明は、上記問題に鑑み、簡易な構成で紙文書の位置ずれを検出し、手書きされた内容の座標情報の補正が可能な手書き情報入力装置を提供することを目的とする。

上記課題に鑑み、本発明は、紙文書の紙面に手書きされた手書きパターンを座標情報として取得する手書き情報入力装置であって、紙文書が有する当該紙文書を識別するための文書識別情報を取得する文書識別情報取得部と、文書識別情報取得手段が取得した文書識別情報に基づき、紙文書に定められた手書きのための入力領域の座標が格納された入力領域定義部から入力領域の座標を取得する入力領域座標取得部と、手書きパターンの座標情報に基づき、入力領域に手書きされた手書きパターンの手書き領域を検出する手書き領域検出部と、手書き領域検出部が検出した手書き領域の座標と入力領域座標取得部が取得した入力領域の座標とに基づき、手書き領域と入力領域とを関連づける領域関連付け部と、領域関連付け部により前記入力領域に関連づけられた前記手書き領域と前記入力領域との位置ずれを補正するため、手書き領域の座標を変換する手書き座標変換部と、を有することを特徴とする。

本発明によれば、簡易な構成で紙文書の位置ずれを検出し、手書きされた内容の座標情報の補正が可能である。位置ずれか補正されれば、手書きパターンを正確に取得して、文字認識などのその後の作業の効率が向上する。なお、入力領域定義部は手書き情報入力装置が有していてもよいし、外部装置にあってもよい。

本発明の一形態において、領域関連付け部は、入力領域の重心と手書き領域の重心との距離が所定以下である場合、入力領域と手書き領域とを関連づけることを特徴とする。

本発明によれば、入力領域の重心と手書き領域の重心の距離という算出の容易な指標により入力領域と手書き領域を関連づけることができる。

また、本発明の一形態において、領域関連付け部は、入力領域と手書き領域の重複領域の面積が所定以上である場合、入力領域と手書き領域とを関連づけることを特徴とする。

本発明によれば、入力領域と手書き領域の重複領域の面積という算出の容易な指標により入力領域と手書き領域を関連づけることができる。

また、本発明の一形態において、手書き座標変換部は、領域関連付け部により関連づけられた入力領域と手書き領域のそれぞれの重心が合致するように手書き領域の座標を変換する、ことを特徴とする。

本発明によれば、重心が合致させることで手書き領域と入力領域との位置ずれを補正することができる。

また、本発明の一形態において、手書き座標変換部は、領域報関連付け部により関連づけられた入力領域と手書き領域のそれぞれの原点が合致するように手書き領域の座標を変換する、ことを特徴とする。

本発明によれば、原点を合致させることで手書き領域と入力領域との位置ずれを補正することができる。原点とは、好適には手書き領域又は入力領域の頂点のいずれかであるが、例えば重心など互いに対応する手書き領域又は入力領域の所定位置を原点としてもよい。

また、本発明の一形態において、領域関連付け部は、入力領域の重心と手書き領域の重心との距離が所定以下である手書き領域が複数ある場合、又は、入力領域と手書き領域の重複領域の面積が所定以上である手書き領域が複数ある場合、複数の手書き領域のうち、新しい手書き領域を前記入力領域に関連付ける、ことを特徴とする。

本発明によれば、１つの入力領域に対し書き直し等が行われた場合、書き直された新しい手書きパターンに基づく手書き領域を入力することができる。

また、本発明の一形態において、領域関連付け部は、入力領域の重心と手書き領域の重心との距離が所定以下である入力領域が複数ある場合、又は、入力領域と手書き領域の重複領域の面積が所定以上である入力領域が複数ある場合、複数の入力領域のうち、手書き領域の面積に近い面積を有する入力領域を当該手書き領域に関連づける、ことを特徴とする。

本発明によれば、例えば、帳票のように紙文書が複数の入力領域を持つ場合、適切な入力領域に手書き領域を関連づけることができる。

また、本発明の一形態において、手書き座標変換部は、領域報関連付け部により入力領域に関連づけられた手書き領域の大きさを当該入力領域の大きさに合わせて縮小又は拡大するように手書き領域の座標を変換する、ことを特徴とする。

本発明によれば、入力領域に対して適切な大きさの手書き領域を入力することが可能となり、枠なしなどの自然な手書き入力に対応することができる。

また、本発明の一形態において、紙文書に複数の前記入力領域がある場合、手書き座標変換部は、領域関連付け部により関連づけられた、複数の入力領域と手書き領域との位置ずれを平均化し、平均化された位置ずれ量に基づき手書き領域の座標を変換する、ことを特徴とする。

本発明によれば、複数の入力領域を持つ紙文書に対し座標変換を正確に実施することが可能となる。

簡易な構成で紙文書の位置ずれを検出し、手書きされた内容の座標情報の補正が可能な手書き情報入力装置を提供することができる。

以下、本発明を実施するための最良の形態について、図面を参照しながら実施例をあげて説明する。

図３（ａ）は、紙文書と電子文書の関係を、図３（ｂ）は本実施例の手書き情報入力装置の斜視図を示す。

電子文書はサーバなどのコンピュータ１１の記憶装置やコンピュータ１１に接続された記憶装置１３に電子的なファイルとして電子文書００１ＤＡＴＡのように格納されている。電子文書００１ＤＡＴＡの管理者等が印刷を指示すると、プリンタ１２から所定の用紙に電子文書００１ＤＡＴＡが紙文書００１として印刷される。したがって、紙文書００１には、電子文書００１ＤＡＴＡの内容００８が印刷される。

また、紙文書００１には文書識別情報００４が印刷されている。文書識別情報００４は、電子文書００１ＤＡＴＡの保存場所、フォルダ及びファイル名、印刷された電子文書００１ＤＡＴＡのページ番号、作成日、印刷日、などの情報をバーコードや２次元コードで表示したものである。したがって、文書識別情報００４をスキャナで光学的に読み取れば紙文書００１の印刷元となった電子文書００１ＤＡＴＡにアクセスするための情報を取得できる。

紙文書００１を手書き情報入力装置１０に設置して手書き入力することで、印刷された紙文書００１に手書きした手書きパターン００２が、手書き入力部００３により取得され電子文書００１ＤＡＴＡに反映される。

紙文書００１は、全体が紙状に形成されたもので、例えばＡ４判サイズのものが用いられている。紙文書００１は一枚であっても複数枚であってもよい。上述したように、紙文書００１には、電子文書００１ＤＡＴＡの内容００８、及び、所定の位置に文書識別情報００４が印刷されている。なお、紙文書００１は紙以外の媒体、例えば、樹脂等であってもよい。

紙文書００１は、手書き入力部００３にバインダ７により固定される。手書き入力部００３は電磁誘導式のデジタイザを有しており、また、デジタイザにより取得される手書きパターンの座標情報を処理する情報処理装置を有する。情報処理装置は、情報蓄積媒体としてのメモリ、コンピュータ１１やネットワークと通信するための無線ＬＡＮ等の通信インタフェース、ＣＰＵ（Ｃentral Ｐrocessing Ｕnit）、プログラムを格納しておくＲＯＭ等により構成される。

専用入力ペン００６は、手書き入力している間に電磁場を放射すると共に、紙文書に手書きパターンを書き込みできる。手書き入力部００３のデジタイザは、専用入力ペン００６のペン先から電磁波を受信してその位置座標を検出する。専用入力ペン００６は、ペン先を所定以上の力で紙文書００１に押しつけると電磁波を放射するので、デジタイザはペン先が紙文書００１にふれてから離されるまでの１ストロークの入力を座標情報として経時的に記録する。設置された紙文書００１で専用入力ペン００６を通じて手書き入力部００３に文字や線などストロークが手書き入力されると、手書き入力部００３はその入力パターンを手書きパターン００２として取得する。この方式であれば、紙厚が５ｍｍ程度であっても手書きパターン００２を検出可能である。

手書き入力部００３の側方には文書識別情報００４を読み取る文書識別情報読み取り装置００５が備えられている。文書識別情報読み取り装置００４は、例えば、バーコードリーダであり読み取った文書識別情報００４を解析して紙文書００１の保存場所等を取得する。

手書き情報入力装置１０は、電子文書００１ＤＡＴＡが格納されている外部のコンピュータ（例えばコンピュータ１１）と接続可能とされており、入力された手書き情報を蓄積後又は入力されたら順次、外部のコンピュータに送信し、電子文書００１ＤＡＴＡに手書きパターンを反映させる。

入力欄について説明する。本実施例の電子文書００１ＤＡＴＡは、予め定められた入力領域を有するように構成される。図４は電子文書００１ＤＡＴＡに定められている入力領域の一例を示す。図４では、電子文書の一例としてアンケートの一部を表示した。図４（ａ）では、「リンゴとなしのどちらが好きですか」という問いに対し、入力領域１００が予め定められている。アンケートに答える場合、回答者は入力領域１００にリンゴ又はなし等と記入する。

図４（ｂ）は、問いに対する回答を選択するように入力領域１００を設けた電子文書００１ＤＡＴＡの一例を示す。回答者は、性別の問いに対し「男」又は「女」の横に設けられた入力領域１００のいずれかにチェックマークや塗りつぶしを記入する。また、「〜を支持しますか」の問いに対し「はい」又は「いいえ」の横の欄に設けられた入力領域１００のいずれかにチェックマークや塗りつぶしを記入する。

電子文書００１ＤＡＴＡの入力欄の座標は、後述するように入力領域定義部２０３に保持されている。図４（ｃ）は入力領域の座標を説明するための図である。入力領域１００の座標は、例えば、電子文書００１ＤＡＴＡの左上角１１０を原点に取り、横方向をＸ座標、縦方向をＹ座標とし、それぞれの入力欄１００の左上部１１１と右下部１１２の座標を指定することで特定できる。

なお、図４ではアンケートを例にしたが、帳票や試験用紙、入会書のように入力領域が定められている電子文書であればどのようなものであってもよい。また、入力領域１００は、下線部のみであってもよいし、枠や下線は可視でなくてもよい。

本実施例における手書き情報入力装置１０の手書きパターンの入力の流れを図５のフローチャート図に基づき簡単に説明する。本実施例の手書き情報入力装置１０は、紙文書００１の位置ずれに対応して、手書きパターンの座標情報を補正する。

まず、手書きされた手書きパターン００２を、あらかじめ定義した手順に従って座標情報に変換する（Ｓ１）。

次に、手書き情報入力装置１０は、設置された紙文書００１を識別し紙文書００１の原文書である電子文書００１ＤＡＴＡに定められた入力領域１００の座標を取得する（Ｓ２）。

次に、手書きパターンの座標情報に基づき手書き領域を検出し、手書き領域を入力領域に関連づける（Ｓ３）。

次に、関連付けられた手書き座標情報と手書き入力領域が一致するように、手書き座標情報の座標を変換する（Ｓ４）。

これによって、手書きパターン００２は入力領域１００に収まるように座標変換され、手書き情報入力装置１０に設置された紙文書００１に印刷ずれや、設置時の位置ずれが生じたままの状態で取得された手書きパターンも適切に処理することができる。以下、詳細に説明する。

図６は、手書き情報入力装置１０のブロック図を示す。手書き情報入力装置１０は、文書識別情報取得部２０１、座標読み取り部２０２、入力領域定義部２０３、手書き領域検出部２０４、領域関連づけ部２０５、手書き座標変換部２０６、電子文書保存部２０７、電子文書印刷部２０８及び入力領域座標取得部２０９を有している。

文書識別情報取得部２０１は、手書き情報入力装置１０に設置された紙文書００１に印刷された文書識別情報００４を読み取り、電子文書００１ＤＡＴＡの保存場所やファイル名、ページ番号等を取得する。座標読み取り部２０２は、紙文書００１へ手書きされた手書きパターンの座標を、手書き入力部００３のデジタイザにより取得する。

手書き領域定義部203は、図４のような電子文書００１ＤＡＴＡの入力領域１００（手書き文字入力欄、チェックボックス）の座標を保持しているので、入力領域座標取得部２０９は、文書識別情報取得部２０１が取得した文書識別情報００４に基づき、予め定められた手書きのための入力領域１００の座標を取得する。

手書き領域検出部２０４は、取得された手書きパターンの座標情報から一まとまりの手書きパターンを判別し、一まとまりの手書きパターンを包含する入力欄と同様の形状（入力欄が矩形であれば矩形）の手書き領域を検出する。

領域関連付け部２０５は、入力領域１００と手書き領域とを関連付ける。手書き座標変換部２０６は、手書きパターンから検出された手書き領域の座標及び入力領域の座標に基づき、手書き領域と入力領域の位置ずれを補正する。すなわち、座標変換部２０６は、手書き領域の座標と入力領域の座標とが合致するように手書き領域の座標を変換する。

電子文書は、図３（ａ）に示したように、作成された電子文書を保存する記憶装置１３やコンピュータ１１に格納されているが、手書きする際には、記憶装置１３やコンピュータ１１から複写されて手書き情報入力装置１０の電子文書保存部２０７に格納される。なお、次述するように手書き情報入力装置１０は文書識別情報取得部２０１及び座標読み取り部２０２と以外と一体でなくてもよいので、記憶装置１３やコンピュータ１１を電子文書保存部２０７としてもよい。

また、電子文書印刷部２０８は、電子文書保存部２０７に保存されている電子文書を印刷する。印刷の際には、文書識別情報００４を生成又は取得し、電子文書の内容と共に印刷する。

これら各ブロックは、互いにデータバスで接続されており、それぞれのブロック間でデータの送受信が可能である。なお、座標読み取り部２０２と文書識別情報読み取り部２０１は手書き情報入力装置１０として一体に構成されていることが望ましいが、そのほかのブロックは、必ずしも手書き情報入力装置１０に一体に構成される必要はなく、例えば、接続されたコンピュータ１１や、ネットワークを介して接続された座標情報の処理を行うコンピュータに構成されていてもよい。

（Ｓ１）
図７は、紙文書００１に手書きされた手書きパターン００２の一例を示す。なお、図７では電子文書００１ＤＡＴＡの内容００８は省略した。 図７では、「手」、「２」、「の」の各文字が手書きパターン００２として手書きされている。各文字は、各ストロークを構成する（X,Y）の座標値で表される複数のサンプリング座標によって構成されている。手書き情報入力装置１０に設置された紙文書００１に手書きすると、座標読み取り部００３によってX,Y座標で表された一連の手書きパターン００２の座標情報が取得される。このとき読み取られた座標情報は、紙文書００１を手書き情報入力装置１０に設置する際のずれや、紙文書００１を印刷する際のずれなどが含まれたものである。

（Ｓ２）
紙文書００１を設置してから手書きパターン００２を手書きしている間に、文書識別情報取得部２０１が文書識別情報００４を読み取る。文書識別情報００４には、上述した『//C:\MyDocument￥tmp.doc、pp１』のように、ファイル名、当該ファイルの保存場所、ページ番号等が含まれている。

図８は、入力領域定義部２０３に保持されている電子文書の入力領域の座標を示す。各電子文書の各ページには、識別するための識別番号、電子文書の保存場所を示すファイル保存場所（ファイルＵＲＬ）、電子文書のページ番号、各入力領域（１〜Ｎ）の座標、が格納されている。識別番号、ファイル保存場所、ファイル名及びページ番号は、文書識別情報００４に含まれているので、文書識別情報００４に基づき入力領域定義部２０３を参照すれば入力領域１００の座標が判別する。

（Ｓ３）
次に、手書き座標情報生成部２０４は、取得された手書きパターンからいくつかの手書き領域を検出する。手書きパターンから一まとまりの手書きを検出するため、本実施例では周知のクラスタリングの手法を用いる。クラスタリングとは、特徴空間中で距離が近いデータをまとめグループ化するための手法であり、特徴空間を距離に取れば互いに近い座標情報同士をひとつの座標情報群にまとめ、特徴空間として時間を取れば互いに近い時間に筆記された座標情報を同士をひとつの座標情報部群としてまとめることができる。本実施例ではこの座標情報群を手書き領域と称す。

図７では、「手」、「２」、「の」の3文字を一まとまりとしてひとつの手書き領域２００を検出した。これにより、「手」、「２」、「の」の3文字が、１つの入力領域１００に記入されたものと推定できる。

手書き領域２００は、手書き領域２００に含まれる座標情報を包含する四辺形の対角の座標情報｛（X₁、Y₁）（X₂、Y₂）｝などで表される。この座標は、紙文書００１ではなく手書き入力部００３の所定点（例えば、左上角）を原点とした座標である。したがって、電子文書００１ＤＡＴＡの所定点（例えば、左上角）を原点として定義されている入力領域の座標とは異なる場合がある。

そこで、手書き領域２００の座標が入力領域の座標にあうように補正する。まず、入力領域座標取得部２０９が電子文書００１ＤＡＴＡに対づけて入力領域定義部２０３に格納されている電子文書００１ＤＡＴＡの入力領域１００の座標情報を取得する。

次いで、領域関連づけ部２０５は、手書き領域２００と入力領域１００との関連付けを行う。関連づけとは、手書きパターンが入力されるべき入力領域１００（例えば、アンケートであれば手書きされた回答が入力されるべき入力領域１００）を決定することを言う。

関連付けの方法の一例として、手書き領域２００と入力領域１００のそれぞれの重心の距離を算出し、当該距離があらかじめ設定した距離よりも短ければ関連付ける。重心の位置は、長方形であれば、入力領域の２つの対角線の交点として求められる。

図９（ａ）は、入力領域１００と手書き領域２００との関連付けの一例を示す。領域関連づけ部２０５は、手書き領域２００の重心３０１と入力領域１００の重心３０２との距離を算出する。そして、手書き領域２００の重心３０１と入力領域の重心３０２との距離ｌがあらかじめ設定した距離ｌ_thよりも小さいか否かに応じて、小さければ関連付けする。

また、領域関連づけ部２０５は、重心間の距離でなく、手書き領域２００と入力領域１００が互いに重なった重複領域の面積が、あらかじめ設定した面積よりも大きければ関連付けることとしてもよい。図９（ｂ）は、入力領域と手書き領域２００を囲む領域とが重なり、所定の面積を有している場合の一例を示す。領域関連づけ部２０５は、手書き領域２００と入力領域１００とが重複する領域の面積を算出する。そして、手書き領域２００と入力領域１００とが重なっている重複領域３０３の面積Aが、あらかじめ設定した面積A_thよりも大きいか否かに応じて、大きければ関連付けする。

（Ｓ４）
次に、手書き座標変換部２０６は、それぞれの入力領域１００にあわせて、関連付けられた手書き領域２００の座標を変換する。手書き座標変換部２０６は、手書き領域２００の重心３０１が、入力領域の重心３０２に合致するように、手書き領域２００の座標を変換する。

座標を変換する変換式の算出手順について説明する。座標の変換は、周知の幾何座標変換法を用いる。
（ｉ） あらかじめ位置がわかっている複数の実際の座標（以後、変換基準点とする） と、それぞれに対応する座標（変換計測点） を計測する。
（ｉｉ）それぞれの対応する座標との間で、拡大/縮小、回転、平行移動などの変換・補正式を決定する。たとえば、幾何的な変形が移動のみと仮定した単純な場合にはその変換式は、
ｘ=Ｘ_m−（Xt−Xc）
ｙ=Ｙ_m−（Yt−Yc） …（１）となる。

ただし、（x,y）はそれぞれ変換後の座標（変換座標）、（Ｘm,Ｙm）は計測された座標（計測座標）、（Xt,Yt）は変換基準点の座標（基準座標）、（Xc,Yc）は変換式算出時に計測された変換基準点に対応した変換計測点の座標（計測基準座標）である。
（ｉｉｉ）以後、計測された座標を、決定した変換式に基づいて変換する。

したがって、（xm,ym）は手書きパターンのストロークを構成する座標点の座標である。
変換基準点の座標（Xt,Yt）は、例えば、
・重心により手書き領域２００と入力領域１００を重心により関連づけた場合、あらかじめ定義された入力領域１００の重心の座標である。
・重複する面積により手書き領域２００と入力領域１００を重複する面積により関連づけた場合、あらかじめ定義された入力領域の原点の座標である。なお、原点とは、例えば、入力領域の４つの角部のうちの１つである。
変換式算出時に計測された変換基準点に対応した変換計測点の座標（Xc,Yc）は、例えば、
・重心により手書き領域２００と入力領域１００を重心により関連づけた場合、手書き領域２００の重心の座標である。
・重複する面積により手書き領域２００と入力領域１００を重複する面積により関連づけた場合、手書き領域２００の原点の座標である。なお、原点とは、例えば、手書き領域２００の４つの角部のうちの１つである。

図１０は、重心間の距離に基づき座標を変換した座標変換の例を示す。図１０（ａ）は座標変換前の重心間の距離により関連付けられた入力領域１００と手書き領域２００を、図１０（ｂ）は座標変換後の入力領域１００と手書き領域２００をそれぞれ示す。図１０に示すように、手書き座標情報変換部２０６が、手書き領域２００の座標を変換したので、入力領域１００の重心３０２と手書き領域２００の重心３０１とが合致している。

また、図１１は、重複する面積に基づき座標を変換した座標変換の一例を示す。図１１（ａ）は座標変換互前の重複する面積に基づき関連付けられた入力領域と手書き領域２００を示し、図１１（ｂ）は座標変換後の入力領域と手書き領域２００をそれぞれ示す。図１１では、手書き領域２００の原点３０４が入力領域の原点３０５に合致するように手書き領域２００の座標を変換したので、図１１（ｂ）に示すように、手書き領域２００の原点３０４と入力領域の原点３０５とが合致している。

以上のようにして、手書き情報入力装置１０は、手書き情報入力装置１０に設置された紙文書００１に印刷ずれや、設置時の位置ずれが生じた状態で手書きパターンが入力されても、取得された手書きパターンの位置を補正できる。このため、文字認識の精度が向上し、実用性に優れた手書き情報入力装置１０を提供できる。

続いて、１つの入力領域に対し、複数の手書き領域２００が関連付けられた場合について説明する。手書き情報入力装置１０のブロック図は図６と同様であるので説明は省略する。

図１２は、１つの入力領域１００と関連づけられた２つの手書き領域２００ａ及び２００ｂとを示す。入力領域１００と手書き領域２００とが関連づけられるとは、互いの重心位置が所定以下又は重複面積が所定以下の場合、又は、入力領域１００と手書き領域２００との重複面積が所定以上の場合であるので、この条件を満たす複数の手書き領域が関連づけられる場合がある。

本実施例では、領域定義部２０３は、より新しく入力された手書き領域２００を入力領域１００に関連付ける。手書きパターンの座標情報は時系列を示す情報（例えば時刻）を有するので、手書きの新旧を簡単に判別できる。手書き領域２００ａは、手書き領域２００ｂにくらべ古い手書きパターンが記録されている場合、領域定義部２０３は、手書き領域２００ｂを入力領域１００に関連付けられる。
ある入力領域１００に一旦誤って手書き入力した後に、改めて正しい内容を手書きする場合、より新しい手書きの内容が正しい入力である可能性が高い。

したがって、本実施例によれば、複数の手書き領域が１つの入力領域１００に関連付けられた場合、より新しい手書き領域を正しい内容として、文字認識などの後処理に利用することができる。

続いて、１つの手書き領域２００に対し、複数の入力領域１００が関連付けられた場合について説明する。手書き情報入力装置１０のブロック図は図６と同様であるので説明は省略する。

図１３は、手書き領域２００と関連付けられた複数の入力領域１００を示す。実施例２と同様に、互いの重心位置が所定以下又は重複面積が所定以下、又は、入力領域１００と手書き領域２００との重複面積が所定以上、の条件を１つの手書き領域２００が複数の入力領域１００に対し満たす場合がある。

図１３では、手書き領域２００ｃと入力領域１００ａの重複領域３１０の面積がＡｔｈ以上であり、手書き領域２００ｃと入力領域１００ｂの重複領域３１２の面積がＡｔｈ以上であるため、手書き領域２００ｃに入力領域１００ａと１００ｂが関連づけられている。また、手書き領域２００ｄと入力領域１００ａの重複領域３１１の面積がＡｔｈ以上であり、手書き領域２００ｄと入力領域１００ｂの重複領域３１３の面積がＡｔｈ以上であるため、手書き領域２００ｄに入力領域１００ａと１００ｂが関連づけられている。

このように、１つの手書き領域に対し、複数の入力領域１００が関連付けられた場合、領域定義部２０３は、手書き領域の面積に最も近い入力領域１００を関連づける。図１３では、手書き領域２００ｃの面積と入力領域１００ａの面積が近く、また、手書き領域２００ｄの領域の面積と入力領域１００ｂの面積が近いので、手書き領域２００ｃには入力領域１００ａが関連付けられ、手書き領域２００ｄには入力領域１００ｂが関連付けられる。

入力領域１００の面積は、住所や名前などの手書きパターンを入力する入力領域は広く、チェックボックスなどは狭い。また、手書きパターンを入力する入力領域であっても、入力内容に応じて面積が定められている場合がある。

本実施例によれば、１つの手書き領域に対し、複数の入力領域１００が関連付けられた場合でも、手書き領域の面積に最も近い入力領域１００を関連づけることで、入力領域を誤らずに手書きパターンを適切に処理することが可能となる。

続いて、座標変換した後、手書き領域２００が関連付けられた入力領域１００よりも大きい場合について説明する。手書き情報入力装置１０のブロック図は図６と同様であるので説明は省略する。

手書き領域２００は、クラスタリングによりまとめられた一以上のストローク又は一以上の文字を包含するように決定されているので、手書き領域２００が入力領域１００に収まりきらない場合がある。本実施例では、入力領域１００に収まるように手書き領域２００の面積をスケーリングする（縮小する）。

図１４は、関連付けられた入力領域１００に包含されるように手書き領域２００をスケーリングする説明図を示す。図１４（ａ）は、互いに関連づけられた入力領域１００と手書き領域２００を、図１４（ｂ）は互いの重心の位置が合致するように座標変換した入力領域と手書き領域２００を示す。図１４（ｂ）に示すように、手書き領域２００は、横方向において入力領域１００よりも大きい。

図１４（ｃ）は、手書き領域２００をスケーリングした手書き領域２００ｓと入力領域１００を示す。スケーリングすることで、手書き領域２００ｓは入力領域１００に収まる大きさになっている。

スケーリングの方法について説明する。縮小する場合、手書き座標変換部２０６は、手書き領域２００を１画素毎又はストロークを構成する各座標点毎に、重心位置の方向に移動する。重心位置からの距離に応じて移動量は異なり、例えば、重心位置は移動する必要がないので重心位置の移動量はゼロとなり、手書き領域２００の４つの頂点はもっとも大きく移動する。

重心位置から最も遠い４つの頂点は、入力領域１００に収まるように移動されればよい。例えば、手書き座標変換部２０６は、重心と頂点を結ぶ線分を求め、手書き領域２００の頂点の座標を、当該線分が入力領域１００の外縁と交わる交点に移動する。図１４（ｃ）では、重心位置から頂点までの線分の長さをａ、頂点の移動量をｂとした。

手書き領域２００のその他の画素又は座標点については、重心位置からの距離に応じて重心方向に移動する。例えば、重心位置からの距離がｍ（＜ａ）の座標点の場合、手書き座標変換部２０６は、（ｍ／ａ）×ｂだけ当該座標点を重心に向け移動する。

なお、入力領域１００と手書き領域２００の原点が合致するように座標変換された場合、原点からの距離に応じて、原点方向に画素又は座標点を移動する。

本実施例によれば、筆記された手書きパターンが大きすぎた場合でも、スケーリングを施し適切に処理することが可能となる。

なお、本実施例では、手書き領域２００が入力領域１００よりも大きい場合について説明したが、手書き領域２００が入力領域１００よりも小さい場合にスケーリングしてもよい。例えば、筆記された手書きパターンが入力領域１００に比べ小さすぎるような場合である。このような場合、手書き座標変換部２０６は、重心位置からの距離に応じて、画素又は手書きパターンの座標点の座標を、重心位置から遠ざかる方向に移動することで、手書きパターンを適切に拡大できる。

本実施例では、一枚の紙文書００１に対し、複数の入力領域が設定されている場合の座標変換について説明する。図１５は、本実施例の手書き情報入力装置１０のブロック図を示す。なお、図１５において図６と同一部分には同一の符号を伏しの説明は省略する。

図１５のブロック図では手書き座標情報変換部２０６が、座標変換値記憶部２０６ａ、座標変換値平均部２０６ｂを有する。座標変換値記憶部２０６ａは、複数の入力領域１００にそれぞれ関連付けられた手書き領域２００の、それぞれの座標変換に用いられた座標変換値を記憶する。座標変換値は、例えば、式（１）における（Xt−Xc）、（Yt−Yc）である。（Xt−Xc）はＸ方向の重心又は原点間の変位を、（Yt−Yc）はＹ方向の重心又は原点間の変位を示すので、この値を座標変換値として各入力領域毎に記憶する。なお、実施例４のようにスケーリングした場合には、重心位置から頂点までの線分の長さをａ、頂点の移動量ｂをさらに記憶してもよい。

座標変換値平均部２０６ｂは、座標変換値記憶部２０６ａに記憶された複数の座標変換値を平均する。したがって、一枚の紙文書００１に対し、複数の入力領域が設定されている場合、複数の入力領域にたいし手書き領域２００の座標をそれぞれ変換した変換値を平均化できる。

一枚の紙文書００１に複数の入力領域１００が設定されている場合、座標情報のずれの要因となることの多い紙文書の設置ずれや印刷時のずれは、一枚の紙文書００１に対して一様であることが多い。このため、複数の手書き領域２００の座標変換値を平均化して、座標変換を行うことでよりばらつきの少ない座標変換を実施できる。

座標変換値平均部２０６ｂが座標変換値を平均化したら、手書き座標変換部２０６は複数の手書き領域２００の座標を、平均化された座標変換値に基づき変換する。

本実施例によれば、複数の入力領域が設定されている場合、複数の入力領域に対する手書き領域の座標変換値を平均化できるので、紙文書００１に対し正確な座標変換を実施できる。

以上のように、本実施の形態の手書き情報入力装置は、レーザ等を必要とせずに簡易な構成で紙文書の位置ずれを検出し、手書きされた内容の座標情報を補正することができる。位置ずれを補正することで、手書きパターンを精度よく入力でき文字の認識率の向上が図られ、また、紙文書が正規の位置からずれていても手書きパターンが精度よく入力できるので実用性が高い。

従来の手書き情報入力装置の概略図である。 紙文書の位置ずれの検出方法を説明するための図である。 手書き情報入力装置の斜視図である。 電子文書に予め定められている入力領域の一例を示す図である。 手書きパターンの入力の流れを示すフローチャート図である。 手書き情報入力装置のブロック図である。 紙文書に手書きされた手書きパターンの一例を示す図である。 入力領域定義部に保持されている電子文書の入力領域の座標を示す図である。 入力領域と関連づけられた手書き領域の一例を示す図である。 重心間の距離に基づき関連づけし座標を変換した座標変換の例を示す図である。 重複する面積に基づき関連づけし座標を変換した座標変換の例を示す図である。 １つの入力領域と関連づけられた２つの手書き領域を示す図である。 手書き領域と関連付けられた複数の入力領域を示す図である。 関連付けられた入力領域に包含されるように手書き領域をスケーリングする説明図である。 実施例５の手書き情報入力装置のブロック図である。

符号の説明

００１ 紙文書
００２ 手書きパターン
００３ 手書き入力部
００４ 文書識別情報
００５ 文書識別情報読み取り装置
００６ 専用入力ペン
００７ バインダ
００８ 電子文書００１ＤＡＴＡの内容

Claims (9)

1. 紙文書の紙面に手書きされた手書きパターンを座標情報として取得する手書き情報入力装置であって、
   前記紙文書が有する当該紙文書を識別するための文書識別情報を取得する文書識別情報取得部と、
   前記文書識別情報取得手段が取得した前記文書識別情報に基づき、前記紙文書に定められた手書きのための入力領域の座標が格納された入力領域定義部から前記入力領域の座標を取得する入力領域座標取得部と、
   前記手書きパターンの座標情報に基づき、前記入力領域又はその周辺に手書きされた手書きパターンの手書き領域を検出する手書き領域検出部と、
   前記手書き領域検出部が検出した前記手書き領域の座標と前記入力領域座標取得部が取得した前記入力領域の座標とに基づき、前記手書き領域と前記入力領域とを関連づける領域関連付け部と、
   前記領域関連付け部により前記入力領域に関連づけられた前記手書き領域と前記入力領域との位置ずれを補正するため、前記手書き領域の座標を変換する手書き座標変換部と、
   を有することを特徴とする手書き情報入力装置
2. 前記領域関連付け部は、前記入力領域の重心と前記手書き領域の重心との距離が所定以下である場合、前記入力領域と前記手書き領域とを関連づける、
   ことを特徴とする請求項１記載の手書き情報入力装置
3. 前記領域関連付け部は、前記入力領域と前記手書き領域の重複領域の面積が、所定以上である場合、前記入力領域と前記手書き領域とを関連づける、
   ことを特徴とする請求項１記載の手書き情報入力装置。
4. 前記手書き座標変換部は、前記領域関連付け部により関連づけられた前記入力領域と前記手書き領域のそれぞれの重心が合致するように前記手書き領域の座標を変換する、
   ことを特徴とする請求項１記載の手書き情報入力装置。
5. 前記手書き座標変換部は、前記領域報関連付け部により関連づけられた前記入力領域と前記手書き領域のそれぞれの原点が合致するように前記手書き領域の座標を変換する、
   ことを特徴とする請求項１記載の手書き情報入力装置。
6. 前記領域関連付け部は、前記入力領域の重心と前記手書き領域の重心との距離が所定以下である前記手書き領域が複数ある場合、又は、
   前記入力領域と前記手書き領域の重複領域の面積が所定以上である前記手書き領域が複数ある場合、
   複数の前記手書き領域のうち、新しい前記手書き領域を前記入力領域に関連付ける、
   ことを特徴とする請求項１ないし３いずれか記載の手書き情報入力装置。
7. 前記領域関連付け部は、前記入力領域の重心と前記手書き領域の重心との距離が所定以下である前記入力領域が複数ある場合、又は、
   前記入力領域と前記手書き領域の重複領域の面積が所定以上である前記入力領域が複数ある場合、
   複数の前記入力領域のうち、前記手書き領域の面積に近い面積を有する前記入力領域を当該手書き領域に関連づける、
   ことを特徴とする請求項１ないし３いずれか記載の手書き情報入力装置。
8. 前記手書き座標変換部は、
   前記領域報関連付け部により前記入力領域に関連づけられた前記手書き領域の大きさを当該入力領域の大きさに合わせて縮小又は拡大するように前記手書き領域の座標を変換する、
   ことを特徴とする請求項１記載の手書き情報入力装置。
9. 前記紙文書に複数の前記入力領域がある場合、
   前記手書き座標変換部は、
   前記領域関連付け部により関連づけられた、複数の前記入力領域と前記手書き領域との前記位置ずれを平均化し、
   平均化された前記位置ずれに基づき前記手書き領域の座標を変換する、
   ことを特徴とする請求項１記載の手書き情報入力装置。

Images