JP2006092027A - 文字認識装置、文字認識方法および文字認識プログラム - Google Patents

Abstract

【課題】 活字と手書き文字が混在した文書の電子化を可能とした文字認識装置、文字認識方法および文字認識プログラムを提供する。
【解決手段】 画像入力部１１によって、活字と手書き文字が混在した原稿の画像が生成され、この画像は活字部／手書き部分離処理部１２によって、前記活字による活字部と前記手書き文字による手書き部とに分離される。それぞれに対し、活字部ＯＣＲ処理部１３と手書き部ＯＣＲ処理部１８によりＯＣＲ処理が行われ、活字ＯＣＲの結果は登録辞書１７に登録される。手書き部ＯＣＲ処理部１８による手書き部の認識候補が複数で、その近傍の活字ＯＣＲ結果に一致する活字があったとき、この活字を利用して手書き部のＯＣＲ処理を行い、この結果をＯＣＲ結果合成処理部２１で活字ＯＣＲに合成する。
【選択図】 図１

Description

本発明は、原稿の文字認識装置、文字認識方法および文字認識プログラムに関し、特に、活字と手書き文字が混在した文書の電子化を可能とした文字認識装置、文字認識方法および文字認識プログラムに関する。

近年、Ｅメールなど電子による文書の流通が増加しているが、その一方で、紙として出力される文書も多く存在する。これは、紙面への手書きによる追記が容易であるということが、理由の一つになっている。

文字コードなどの電子情報を紙で出力した活字文字に対しては、光学的文字認識（ＯＣＲ：Optical Character Reader）ソフトウェアを用いることにより、高い確率でデジタル化した電子情報に戻すことができる。しかし、手書きで記述した文字情報は、従来、マス目指定、数字のみ等の条件を厳しく制限しなければ、実用的な認識率が得られず、オンライン／オフライン情報変換の妨げとなっていた。

手書き文字を認識する従来の文字認識装置として、例えば、文字読み取り手段からの文字データに対し、パターンマッチングにより認識する印刷文字認識手段と特徴抽出による手書き文字認識手段とによって同時に認識し、それぞれの認識結果を比較して、いずれか結果の良い方を選択する読み取り装置が知られている（例えば、特許文献１参照。）。

また、例えば、ＦＡＸの送り状などは、文面が形式化されており、その文面中の送信者、所属部所などの一部の項目についてのみ手書きをして送信する場合が多い。このような場合、手書き部分を認識することかできれば、受信文書を電子情報にして転送したり保存したりすることが容易になる。

このような用途に使用できる可能性の高い文字認識装置として、特許文献２に示されるものがある。この特許文献２に記載された光学読取方法は、読取シート上のマークと印刷または手書きされた文字等の情報とを光学的に読み取り、光学的に読み取られた文字データを複数の認識手段に送信し、これら複数の認識手段によって文字データを認識し、マークデータと複数の認識手段によって認識された文字認識データとを合成し、マークと印刷または手書きで書かれた文字が混在する読取シートを高速に読み取ることができるようにしている。
特開平７−３７０３４号公報（［００１９］、［００２３］、［００２４］、図１、図３） 特開２０００−３１５２４６号公報（［００２０］〜［００３６］、図１、図２、図３）

しかし、従来の文字認識装置によると、特許文献１の場合、活字認識と手書き認識を単独に処理しており、例えば、活字データを手書きの認識処理に反映させるような処理はなされておらず、従って、手書き認識のための制限が多くなり、郵便物、帳票、申込書のような大量用途など特定の場面でしか手書き入力を利用できなかった。

また、特許文献２によると、読取シート上のマークと活字／手書き文字が対象であり、適用対象の原稿は限られ、マークを含まない一般的な文書の手書き認識は行えない。また、読取シートを登録する負荷が大きく、柔軟な書式変更が難しい。更に、マス目指定、数字のみ等の条件が厳しいため、一般的な文書では、実用的な認識率は得られず、オンライン／オフライン情報変換に用いることは難しい。

従って、本発明の目的は、活字と手書き文字が混在した文書の電子化を可能とした文字認識装置、文字認識方法および文字認識プログラムを提供することにある。

本発明は、上記目的を達成するため、活字と手書き文字が混在した文書データを活字部と手書き部とに分離する分離処理部と、前記活字部を文字認識する活字部認識処理部と、前記活字部の文字認識結果を利用して前記手書き部を文字認識する手書き部認識処理部とを備えたことを特徴とする文字認識装置を提供する。

活字部の文字認識率の方が手書き部の文字認識率よりも高いことから、活字部の文字認識結果を利用して手書き部を文字認識することにより、手書き部の文字認識率を高めることが可能となる。

上記手書き部認識処理部は、活字部の文字の位置あるいは使用頻度に基づいて利用する範囲を決定し、その決定した範囲の活字部の文字認識結果を利用して手書き部を文字認識してもよい。手書き部に近い活字、あるいは使用頻度の高い活字に関連して手書き部が追記される傾向にあることから、手書き部に近い活字、頻度の高い活字を利用する範囲と決定し、その決定した範囲の活字部の文字認識結果を利用することにより、手書き文字の認識率が高くなる。

また、上記手書き部認識処理部は、活字部の文字認識結果、およびその関連語、類義語および反対語を利用して手書き部を文字認識してもよい。手書き部と同じ文字の活字部が存在しない場合でも、手書き部に何らかの関係を有する活字部を利用することができるため、手書き文字の認識率が高くなる。

さらに、上記手書き部認識処理部は、活字部の文字認識結果を活字部の文字の位置あるいは使用頻度に応じて重み付けを付加して利用し、手書き部を文字認識してもよい。手書き部に近い活字、あるいは使用頻度の高い活字に関連して手書き部が追記される傾向にあることから、手書き部に近い活字ほど、使用頻度が高いほど重み付けを大きくすることにより、手書き文字の認識率が高くなる。

本発明は、上記目的を達成するため、活字と手書き文字が混在した文書データを活字部と手書き部とに分離する分離処理部と、前記活字部を文字認識する活字部認識処理部と、
前記活字部の文字認識結果を利用して前記手書き部を文字認識する手書き部認識処理部と、
前記活字部の文字認識結果と前記手書き部の文字認識結果とを合成する合成処理部とを備えたことを特徴とする文字認識装置を提供する。

活字部の文字認識結果と手書き部の文字認識結果とを合成して出力することによって活字と手書き文字が混在した文書データを電子データの形態に変換することができる。

本発明は、上記目的を達成するため、活字と手書き文字が混在した文書データを活字部と手書き部とに分離する分離処理部と、属性に関する辞書を参照して前記活字部を文字認識する活字部認識処理部と、前記手書き部を文字認識する手書き部認識処理部と、前記活字部の文字認識結果のうち前記属性に対応する手書き部の文字列を対応させるマッチング処理部とを備えたことを特徴とする文字認識装置を提供する。

属性に関する辞書を参照することにより文書データ中の活字部に含まれる属性を認識することができ、属性に対応する手書き部をマッチングさせることができる。

本発明は、上記目的を達成するため、活字と手書き文字が混在した複数の文書データを活字部と手書き部とに分離する分離処理部と、前記複数の文書データの前記活字部を文字認識するとともに、頻度の高い文字列を属性として記憶する活字部認識処理部と、前記手書き部を文字認識する手書き部認識処理部と、前記活字部の文字認識結果のうち前記属性に対応する手書き部の文字列を対応させるマッチング処理部とを備えたことを特徴とする文字認識装置を提供する。

属性に関する辞書を用いなくても、複数の文書データで頻度の高い文字列を属性とすることにより、属性に対応する手書き部をマッチングさせることができる。

上記マッチング処理部は、手書き部の文字認識結果を、活字部の文字認識結果のうち手書き部の周辺に位置する活字と関連づけて記憶する構成としてもよい。また、上記マッチング処理部は、手書き部の文字認識結果を、活字部の文字認識結果のうち手書き部の上、下、左または右に位置する活字と関連づけて記憶する構成としてもよい。

本発明は、上記目的を達成するため、活字と手書き文字が混在した文書データを活字部と手書き部とに分離し、前記活字部を文字認識し、前記活字部の文字認識結果を利用して前記手書き部を文字認識することを特徴とする文字認識方法を提供する。

本発明は、上記目的を達成するため、活字と手書き文字が混在した文書データを活字部と手書き部とに分離し、属性に関する辞書を参照して前記活字部を文字認識し、前記手書き部を文字認識し、前記活字部の文字認識結果のうち前記属性に対応する手書き部の文字列を対応させることをマッチング処理部とを特徴とする文字認識方法を提供する。

本発明は、上記目的を達成するため、活字と手書き文字が混在した複数の文書データを活字部と手書き部とに分離し、前記複数の文書データの前記活字部を文字認識するとともに、頻度の高い文字列を属性として記憶し、前記手書き部を文字認識し、前記活字部の文字認識結果のうち前記属性に対応する手書き部の文字列を対応させることを特徴とする文字認識方法を提供する。

本発明は、上記目的を達成するため、活字と手書き文字が混在した文書データを活字部と手書き部とに分離する分離処理手段と、前記活字部を文字認識する活字部認識処理手段と、前記活字部の文字認識結果を利用して前記手書き部を文字認識する手書き部認識処理手段とをコンピュータに実行させるための文字認識プログラムを提供する。

本発明は、上記目的を達成するため、活字と手書き文字が混在した文書データを活字部と手書き部とに分離する分離処理手段と、属性に関する辞書を参照して前記活字部を文字認識する活字部認識処理手段と、前記手書き部を文字認識する手書き部認識処理手段と、前記活字部の文字認識結果のうち前記属性に対応する手書き部の文字列を対応させるマッチング処理手段とをコンピュータに実行させるための文字認識プログラムを提供する。

本発明は、上記目的を達成するため、活字と手書き文字が混在した複数の文書データを活字部と手書き部とに分離する分離処理手段と、前記複数の文書データの前記活字部を文字認識するとともに、頻度の高い文字列を属性として記憶する活字部認識処理手段と、前記手書き部を文字認識する手書き部認識処理手段と、前記活字部の文字認識結果のうち前記属性に対応する手書き部の文字列を対応させるマッチング処理手段とをコンピュータに実行させるための文字認識プログラムを提供する。

本発明によれば、活字と手書き文字が混在した文書の電子化が可能となる。

［第１の実施の形態］
図１は、本発明の第１の実施の形態に係る文字認識装置を示す。この文字認識装置１は、スキャナ等により原稿を読み取って画像データを入力する画像入力部１１と、画像入力部１１により読み取られた画像データを活字部と手書き部に分離する活字部／手書き部分離処理部１２と、活字部の文字認識処理を実行する活字部ＯＣＲ処理部１３と、活字ＯＣＲのための辞書が格納されている活字部ＯＣＲ辞書１４と、登録辞書１７への登録処理を行う辞書登録処理部１５と、関連語、類義語および反対語が格納されている関連語・類義語・反対語辞書１６と、活字ＯＣＲによる文字、単語群が登録される登録辞書１７と、特徴抽出法等によって手書き部の文字認識処理を実行する手書き部ＯＣＲ処理部１８と、手書きＯＣＲのための辞書が格納されている手書きＯＣＲ辞書１９と、活字部および手書き部の文字認識結果が格納されるＯＣＲ結果記憶部２０と、活字部と手書き部の文字認識結果を合成するＯＣＲ結果合成処理部２１と、ＯＣＲ結果合成処理部２１によって合成された結果を出力するＯＣＲ結果出力部２２と、ＯＣＲ結果出力部２２から出力された内容を格納する最終ＯＣＲ結果記憶部２３とを備える。なお、手書き部ＯＣＲ処理部１８とＯＣＲ結果合成処理部２１により、出力処理部を構成している。

活字部／手書き部分離処理部１２は、画像データ内の画素の濃淡および文字色等に基づいてヒストグラムを生成し、これに基づいて画像データを活字部からなる画像データと手書き部からなる画像データとに分離するものである。なお、活字部からなる画像データを特定できれば、それ以外の場所に存在する画像部分を手書き部と見なしてもよい。

活字部ＯＣＲ処理部１３は、切り出された活字の文字パターンと活字ＯＣＲ辞書１４に登録されている活字パターンとをパターンマッチング法により比較し、類似度の最も高いものを活字部の認識結果として出力するものである。

活字部ＯＣＲ辞書１４、関連語・類義語・反対語辞書１６、登録辞書１７、手書きＯＣＲ辞書１９、ＯＣＲ結果記憶部２０、および最終ＯＣＲ結果記憶部２３は、それぞれ１または複数のハードディスクにそれぞれの領域を確保する構成にすることができる。

登録辞書１７は、登録辞書情報として、活字内の個別文字／単語（名詞／固有名詞）、および活字内の単語の類義語（意味的に似ている単語）、関連語、分野に対応する用語等が登録される。分野に対応する用語としては、例えば、「弊社」、「貴社」等の文字に対してはビジネス用語辞書、「氏名」等の文字に対しては人名辞書、「メモリ」、「ＣＰＵ」等に対しては「コンピュータ用語辞書」がある。

手書き部ＯＣＲ処理部１８は、傾き補正や、画像データから文字を含む矩形領域を１文字ずつ切り出す等の前処理を行う前処理部１８０と、前処理部１８０によって切り出された矩形領域について手書きＯＣＲ辞書１９を用いて１文字ずつ文字認識処理を行う個別文字認識部１８１と、登録辞書１７を用いて単語単位等の文字列で言語処理等を行う後処理部１８２とを備える。

個別文字認識部１８１は、切り出された手書き文字から抽出した特徴データと手書きＯＣＲ辞書１９に登録されている文字の特徴データとを比較し、類似度の最も高いものを手書き文字の認識結果として出力するものである。

また、手書き部ＯＣＲ処理部１８は、活字部ＯＣＲ処理部１３による活字部の認識結果を利用して手書き部の文字認識を行うものであり、その利用する活字の範囲および処理は以下のものが考えられる。
（１）段落または文字ブロック内、ページ内、文書内、同文書群内とする。
（２）手書き文字と、活字文字との近接度合いや使用頻度によって利用する活字の範囲を決定する。
（３）手書き文字と活字文字との近接度合いや使用頻度によって活字登録情報の重み付けを行う。なお、文書校正で使用する場合、最も近いものは誤字の可能性があるため、最も位置的に近いものは除外する。
（４）他の手書き文字周辺の活字は、同じものを訂正している場合があるので、重み付けを上げる。

（第１の実施の形態の動作）
次に、第１の実施の形態の動作を図２〜図５を参照して説明する。図２は、活字および手書きが混在したＯＣＲ対象の原稿の一例を示す。図３は、取り込んだ画像から活字部分と手書き部分を分離した認識結果を示し、（ａ）は活字部認識結果、（ｂ）は手書き認識結果を示す。図４は、登録辞書１７における登録内容を示し、図５は、ＯＣＲ結果合成処理部２１による処理結果を示す。

図２に示すスキャン原稿２５は、パーソナルコンピュータやワードプロセッサで原稿を作製し、プリントアウトした活字部２５０による文書中に、ユーザの手書きによる手書き部２５１として、例えば、「自動で」の文字を追記したものである。この手書き部２５１は、本実施の形態では、活字領域との区別を容易にするため、活字部２５０の色とは異なる赤色等の色の筆記具を用いて記入している。

画像入力部１１によってスキャン原稿２５を読み取ると、スキャン原稿２５はデジタル信号化され、活字部／手書き部分離処理部１２に出力される。

活字部／手書き部分離処理部１２は、入力されたスキャン原稿２５の画像データを、図３（ａ）に示すように、活字部２５０を含んだ活字画像データ２６と、同図（ｂ）に示すように、手書き部２５１を含んだ手書き画像データ２７とに分離する。

次に、活字部ＯＣＲ処理部１３は、活字部ＯＣＲ辞書１４を参照して図３（ａ）の活字部２５０について文字認識処理を行い、その結果を活字認識結果としてＯＣＲ結果記憶部２０に保存する。

次に、辞書登録処理部１５は、図４に示すように、活字部２５０内の語句の出現する頻度、語句の位置（座標）を把握し、更に、各語句に対する関連語、類義語、反対語を、関連語・類義語・反対語辞書１６を参照して抽出し、それらを登録辞書１７に保存する。例えば、「インストール」の語句は、図３の（ａ）に示す活字部２５０内には、１行目、３行目、７行目の３箇所に表記されている。従って、「インストール」の頻度は「３」であり、その反対語として「アンインストール」が有るが、類義語はない。また、「マニュアル」の語句は、１行目のみであるため、その頻度は「１」であり、反対語は無いが、類義語として「説明書」がある。その他の語句についても、同様にして辞書登録の処理が行われる。

次に、手書き部ＯＣＲ処理部１８は、図３（ｂ）に示す手書き部２５１に対するＯＣＲ処理を行う。すなわち、前処理部１８０によって切り出しなどを行った後、個別文字認識部１８１によって「自動で」の文を１文字単位で認識し、更に後処理部１８２で言語処理が行われる。この段階では、「自動」、「で」に対する認識候補が決定されている。手書き文字は、書いた人によって様々な字体になるため、候補単語が１つとは限らない。そのため、通常は、「自動」が「自動」として確定される機会は少なく、近いと判定された複数の単語が認識候補として提示される。表１は、その認識候補の一例を示す。なお、認識候補が１つだけであれば、それを選択する。

表１は、手書き部２５１の内容に対して、複数の認識候補が示されている場合を示す。ここでは、「自動」、「自働」、「自衛」、「白線」が手書き部２５１の文に対する候補単語として示されている。このとき、それぞれの単語について、「自動で」の「自動」の部分に対するＯＣＲ処理上の信頼度が％で算出される。ここでは、３つの単語が同じ３０％になっている。

後処理部１８２は、登録辞書１７を参照し、「自動」、「自働」、「自衛」、「白線」の内のいずれを選択すべきかを決定する。それぞれの単語について、スキャン原稿２５上の「自動」に対する位置の近さや活字の出現頻度を用いて、複数の単語のそれぞれの確からしさを算出する。図３および図４に示すように、「自動」が活字部２５０内に存在し、その頻度も多く、手書き部２５１に近い位置に「自動」の活字が存在するため、４つの候補単語の内、「自動」の優先順位（信頼度）を上げ、これをＯＣＲ結果として確定する。確定した結果は、手書き認識結果としてＯＣＲ結果記憶部２０に保存される。

次に、手書き部ＯＣＲ処理部１８の処理が終了すると、ＯＣＲ結果合成処理部２１は、ＯＣＲ結果記憶部２０から活字部２５０に対するＯＣＲ処理結果と手書き部２５１に対するＯＣＲ処理結果を読み出して図５のように活字部２５０と活字部２５２とを合成してＯＣＲ結果合成画像２８を得る。このＯＣＲ結果合成画像２８は、ＯＣＲ結果出力部２２によって最終ＯＣＲ結果記憶部２３に保存される。以上により、原稿画像の電子化が完了する。

（第１の実施の形態の効果）
この第１の実施の形態によれば、以下の効果が得られる。
（イ）手書きＯＣＲよりも認識率の高い活字ＯＣＲの結果を利用して手書き部２５１の文字または文字列のＯＣＲ処理を手書き部ＯＣＲ処理部１８によって行うようにしたため、手書き文字の認識率を向上させることができる。
（ロ）手書き認識に制限がなくなり、特定の帳票等に頼らない手書き文字の電子化や活用を可能にすることができる。

［第２の実施の形態］
図６は、本発明の第２の実施の形態に係る文字認識装置を示す。この文字認識装置１は、第１の実施の形態において、辞書登録処理部１５、関連語・類義語・反対語辞書１６、登録辞書１７およびＯＣＲ結果記憶部２０を除くとともに、画像入力部１１による画像入力に際して属性を定義する属性定義部３１を付加し、ＯＣＲ結果合成処理部２１に代えてマッチング処理部３２を設けたものであり、その他の構成は、第１の実施の形態と同様である。

属性定義部３１は、ユーザの入力操作によって読取対象の原稿、例えば、ＦＡＸ送付票から取り出したい送付先、送信者、枚数等の属性に対応する項目名と、これらの項目名に対する類義語等の見出し語群を属性定義として活字ＯＣＲ辞書１４に登録するものである。

活字部ＯＣＲ処理部１３は、この実施の形態では、見出し語群も単語認識結果として出力するようになっている。

マッチング処理部３２は、活字部ＯＣＲ処理部１３および手書き部ＯＣＲ処理部１８によるＯＣＲ結果のマッチング処理を行うものである。

（第２の実施の形態の動作）
次に、第２の実施の形態の動作を図７を参照して説明する。

図７は、第２の実施の形態で扱われる活字および手書きが混在したＯＣＲ対象の原稿の一例を示し、同図中、（ａ）は原稿としてのＦＡＸ送付票を示し、（ｂ）は別のＦＡＸ送付票を示す。原稿としてのＦＡＸ送付票３３は、送付先、送信者、送信枚数、送信内容等の項目名を含む活字部３３０による属性と、この属性に対して役職名、送信者の氏名、送信枚数を示す数字、送信内容を示す文章等が手書きで書き込まれた手書き部３３１とを有している。

ユーザは、予め図７に示すＦＡＸ送付票３３から取り出したい属性と、類義語などの見出し語群を属性定義として、活字ＯＣＲ辞書１４に表２のように登録しておく。これによって、図７の（ａ）のＦＡＸ送付票３３の「送付先」も図７の（ｂ）のＦＡＸ送付票３４の「宛先」も、共に「属性：送信先」が割り当てられる。

次に、画像入力部１１によりＦＡＸ送付票３３をスキャナ等でスキャンして入力する。活字部／手書き部分離処理部１２は、入力されたＦＡＸ送付票３３の画像データを、第１の実施の形態で説明したように、活字部３３０と手書き部３３１に分離する。活字部ＯＣＲ処理部１３は、活字ＯＣＲ辞書１４を参照して活字部３３０のＯＣＲ処理を行い、手書き部ＯＣＲ処理部１８は、手書きＯＣＲ辞書１９を参照して手書き部３３１のＯＣＲ処理を行う。

マッチング処理部３２は、活字部ＯＣＲ処理部１３および手書き部ＯＣＲ処理部１８によるＯＣＲ結果のマッチング処理を行う。この処理は、登録されている見出し語群と手書き部ＯＣＲ処理部１８によるＯＣＲ結果をマッチングさせ、記入位置に最も近い属性を手書き部ＯＣＲ処理部１８によるＯＣＲ結果に割り当てる。また、ＦＡＸ送付票３３上における手書き部３３１の位置情報も保存する。次に、活字部３３０と手書き部３３１の位置関係から、両者をマッチングさせる。図７の（ａ）のＦＡＸ送付票３３では、活字ＯＣＲ結果の「送付先」と、手書きＯＣＲ結果の「海外事業部長殿」がマッチングされる。このとき、属性が付与されている活字だけをマッチングさせても良い。

最後に、ＯＣＲ結果出力部２２は、組となった属性（送付先、送信者等）と属性値（海外事業部長殿、Ａ社中央支社山田等）、属性および属性値が活字部３３０，３３１として活字化された電子情報を最終ＯＣＲ結果記憶部２３に保存する。

（第２の実施の形態の効果）
この第２の実施の形態によれば、下記の効果が得られる。
（イ）活字部３３０と手書き部３３１が混在するＦＡＸ送付票３３に対し、属性と手書きによる属性値との組を認識し、ＦＡＸ送付票３３から電子情報へのフォームの変更を行うことにより、決まったフォームを厳密に登録することなく手書きデータの収集を容易に行うことができる。
（ロ）フォームを厳密に登録する必要がないため、フォームの変更を容易にすることができ、手書き部３３１と活字部３３０の厳密な位置合わせが不要なため、位置合わせ処理の時間短縮が可能になる他、読み取りエラーを減少させることができる。
（ハ）属性と属性値とをマッチングしているので、ＦＡＸ送信票を受信したとき、これを電子情報にして、ＦＡＸ送信票とは異なるフォーマットのＥメールにより、送信先の“海外事業部長”へ転送することも可能になる。

［第３の実施の形態］
図８は、本発明の第３の実施の形態に係る文字認識装置を示す。本実施の形態は、第２の実施の形態において、属性定義は行わず、最終ＯＣＲ結果記憶部２３に代えて属性・属性値抽出結果記憶部４１を設け、この属性・属性値抽出結果記憶部４１に活字部ＯＣＲ処理部１３および手書き部ＯＣＲ処理部１８によるＯＣＲ結果を保存する構成にしたものであり、他の構成は、第２の実施の形態と同様である。

活字部ＯＣＲ処理部１３は、この実施の形態では、抽出した単語をカウントし、頻度が多い単語を属性として属性・属性値抽出結果記憶部４１に登録するようにしている。

（第３の実施の形態の動作）
次に、第３の実施の形態の動作を図９〜図１１を参照して説明する。

図９は、画像入力部１１に入力される原稿としての会員申込書を示す。図１０は、図９の会員申込書から活字部ＯＣＲ処理部により抽出された属性の一例を示し、図１１は、属性・属性値抽出結果記憶部４１に保存された属性と属性値の一例を示す。

会員申込書４２は、規定の印刷フォームが活字による活字部４２０と罫線により形成されており、この印刷フォーム内に手書きによる氏名、住所等が手書き部４２１として記入されている。この会員申込書４２は、氏名等の異なる複数枚が用意されている。

まず、複数枚の会員申込書４２が、スキャナ等により順次スキャンされることによって画像入力部１１に入力される。次に、活字部／手書き部分離処理部１２は、第１の実施の形態で説明したように、画像データを活字部４２０と手書き部４２１に分離する。活字部ＯＣＲ処理部１３は、活字ＯＣＲ辞書１４を参照して活字部４２０のＯＣＲ処理を行い、手書き部ＯＣＲ処理部１８は、手書きＯＣＲ辞書１９を参照して手書き部４２１のＯＣＲ処理を行う。

活字部ＯＣＲ処理部１３の処理においては、抽出された単語をカウントし、会員申込書４２の全枚数に対する割合が大きい、すなわち頻度が多い単語を属性とした登録内容４３が、図１０のように、属性・属性値抽出結果記憶部４１に登録される。また、それぞれの会員申込書４２ごとに、会員申込書４２上の単語の位置も属性・属性値抽出結果記憶部４１に保存する。なお、予め属性を属性・属性値抽出結果記憶部４１に登録しておいてもよい。

次に、活字部４２０と手書き部４２Ｂの距離、手書き部４２１の上下、左右にある活字部４２０等の位置関係から、マッチング処理部３２によって両者をマッチングさせる。ここでは、同じ罫線内、枠内、下地の色内の活字部４２０と、手書き部４２１とをマッチングさせるルールとしている。なお、二重の関連づけを回避するため、一度関連づけられた活字部４２０はリストから除外する。最後に、ＯＣＲ結果出力部２２により、組となった属性と属性値が、図１１のような形で属性・属性値抽出結果記憶部４１に登録内容４４として保存される。

（第３の実施の形態の効果）
この第３の実施の形態によれば、以下の効果が得られる。
（イ）予めフォームを登録しておくことなく、属性を付与した手書きデータの収集を行うことができる。
（ロ）アンケートを集計する際、質問票をスキャンすると、質問と回答を組にして蓄積するといった用途にも適用することができる。

なお、第３の実施の形態においては、会員申込書４２を例に説明したが、本発明は、会員申込書４２に限定されるものではなく、同一のフォームを有し、かつ活字部と手書き部を有する複数の原稿の全てに適用可能である。

［他の実施の形態］
なお、本発明は、上記各実施の形態に限定されず、その要旨を変更しない範囲内で種々の変形が可能であり、各実施の形態間で構成要素の組み合わせを任意に行うことができる。

本発明の第１の実施の形態に係る文字認識装置を示すブロック図である。 活字および手書きが混在したＯＣＲ対象の原稿の一例を示す平面図である。 図１の画像入力部に取り込んだ画像から活字部分と手書き部分を分離した画像データを示し、（ａ）は活字部の画像データを示す図、（ｂ）は手書き部の画像データを示す図である。 登録辞書における登録内容を示す説明図である。 図１のＯＣＲ結果合成処理部による処理結果を示す画像図である。 本発明の第２の実施の形態に係る文字認識装置を示すブロック図である。 第２の実施の形態で扱われる活字および手書きが混在したＯＣＲ対象の原稿の一例を示し、（ａ）は原稿としてのＦＡＸ送付票を示す平面図、（ｂ）は別のＦＡＸ送付票を示す平面図である。 本発明の第３の実施の形態に係る文字認識装置を示すブロック図である。 画像入力部に入力される原稿としての会員申込書を示す。 図９の会員申込書から活字部ＯＣＲ処理部により抽出された属性の登録内容を示す説明図である。 図８の属性・属性値抽出結果記憶部に保存された属性と属性値の登録内容を示す説明図である。

符号の説明

１ 文字認識装置
１１ 画像入力部
１２ 活字部／手書き部分離処理部
１３ 活字部ＯＣＲ処理部
１４ 活字部ＯＣＲ辞書
１５ 辞書登録処理部
１６ 関連語・類義語・反対語辞書
１７ 登録辞書
１８ 手書き部ＯＣＲ処理部
１９ 手書きＯＣＲ辞書
２０ ＯＣＲ結果記憶部
２１ ＯＣＲ結果合成処理部
２２ ＯＣＲ結果出力部
２３ 最終ＯＣＲ結果記憶部
２５ スキャン原稿
２６ 活字認識結果
２７ 手書き認識結果
２８ ＯＣＲ結果合成画像
３１ 属性定義部
３２ マッチング処理部
３３ ＦＡＸ送付票
３４ ＦＡＸ送付票
４１ 属性・属性値抽出結果記憶部
４２ 会員申込書
４３，４４ 登録内容
１８０ 前処理部
１８１ 個別文字認識部
１８２ 後処理部
２５０ 活字部
２５１ 手書き部
２５２ 活字部
３３０ 活字部
３３１，３３２ 手書き部
４２０ 活字部
４２１ 手書き部

Claims (15)

1. 活字と手書き文字が混在した文書データを活字部と手書き部とに分離する分離処理部と、
   前記活字部を文字認識する活字部認識処理部と、
   前記活字部の文字認識結果を利用して前記手書き部を文字認識する手書き部認識処理部とを備えたことを特徴とする文字認識装置。
2. 前記手書き部認識処理部は、前記活字部の文字の位置あるいは使用頻度に基づいて利用する範囲を決定し、その決定した範囲の前記活字部の文字認識結果を利用して前記手書き部を文字認識することを特徴とする請求項１に記載の文字認識装置。
3. 前記手書き部認識処理部は、前記活字部の文字認識結果、およびその関連語、類義語および反対語を利用して前記手書き部を文字認識することを特徴とする請求項１に記載の文字認識装置。
4. 前記手書き部認識処理部は、前記活字部の文字認識結果を前記活字部の文字の位置あるいは使用頻度に応じて重み付けを付加して利用し、前記手書き部を文字認識することを特徴とする請求項１に記載の文字認識装置。
5. 活字と手書き文字が混在した文書データを活字部と手書き部とに分離する分離処理部と、
   前記活字部を文字認識する活字部認識処理部と、
   前記活字部の文字認識結果を利用して前記手書き部を文字認識する手書き部認識処理部と、
   前記活字部の文字認識結果と前記手書き部の文字認識結果とを合成する合成処理部とを備えたことを特徴とする文字認識装置。
6. 活字と手書き文字が混在した文書データを活字部と手書き部とに分離する分離処理部と、
   属性に関する辞書を参照して前記活字部を文字認識する活字部認識処理部と、
   前記手書き部を文字認識する手書き部認識処理部と、
   前記活字部の文字認識結果のうち前記属性に対応する手書き部の文字列を対応させるマッチング処理部とを備えたことを特徴とする文字認識装置。
7. 活字と手書き文字が混在した複数の文書データを活字部と手書き部とに分離する分離処理部と、
   前記複数の文書データの前記活字部を文字認識するとともに、頻度の高い文字列を属性として記憶する活字部認識処理部と、
   前記手書き部を文字認識する手書き部認識処理部と、
   前記活字部の文字認識結果のうち前記属性に対応する手書き部の文字列を対応させるマッチング処理部とを備えたことを特徴とする文字認識装置。
8. 前記マッチング処理部は、前記手書き部の文字認識結果を、前記活字部の文字認識結果のうち前記手書き部の周辺に位置する活字と関連づけて記憶することを特徴とする請求項６又は７に記載の文字認識装置。
9. 前記マッチング処理部は、前記手書き部の文字認識結果を、前記活字部の文字認識結果のうち前記手書き部の上、下、左または右に位置する活字と関連づけて記憶することを特徴とする請求項６又は７に記載の文字認識装置。
10. 活字と手書き文字が混在した文書データを活字部と手書き部とに分離し、
    前記活字部を文字認識し、
    前記活字部の文字認識結果を利用して前記手書き部を文字認識することを特徴とする文字認識方法。
11. 活字と手書き文字が混在した文書データを活字部と手書き部とに分離し、
    属性に関する辞書を参照して前記活字部を文字認識し、
    前記手書き部を文字認識し、
    前記活字部の文字認識結果のうち前記属性に対応する手書き部の文字列を対応させることをマッチング処理部とを特徴とする文字認識方法。
12. 活字と手書き文字が混在した複数の文書データを活字部と手書き部とに分離し、
    前記複数の文書データの前記活字部を文字認識するとともに、頻度の高い文字列を属性として記憶し、
    前記手書き部を文字認識し、
    前記活字部の文字認識結果のうち前記属性に対応する手書き部の文字列を対応させることを特徴とする文字認識方法。
13. 活字と手書き文字が混在した文書データを活字部と手書き部とに分離する分離処理手段と、
    前記活字部を文字認識する活字部認識処理手段と、
    前記活字部の文字認識結果を利用して前記手書き部を文字認識する手書き部認識処理手段とをコンピュータに実行させるための文字認識プログラム。
14. 活字と手書き文字が混在した文書データを活字部と手書き部とに分離する分離処理手段と、
    属性に関する辞書を参照して前記活字部を文字認識する活字部認識処理手段と、
    前記手書き部を文字認識する手書き部認識処理手段と、
    前記活字部の文字認識結果のうち前記属性に対応する手書き部の文字列を対応させるマッチング処理手段とをコンピュータに実行させるための文字認識プログラム。
15. 活字と手書き文字が混在した複数の文書データを活字部と手書き部とに分離する分離処理手段と、
    前記複数の文書データの前記活字部を文字認識するとともに、頻度の高い文字列を属性として記憶する活字部認識処理手段と、
    前記手書き部を文字認識する手書き部認識処理手段と、
    前記活字部の文字認識結果のうち前記属性に対応する手書き部の文字列を対応させるマッチング処理手段とをコンピュータに実行させるための文字認識プログラム。