JP2007249580A - 画像処理装置、画像処理プログラムおよび画像処理方法 - Google Patents

Abstract

【課題】ＦＡＸ−ＯＣＲ装置に用いる帳票の外観を損ねることがなく、また帳票のスペースを有効に利用できるようにする。
【解決手段】このＦＡＸ−ＯＣＲ装置は、帳票の画像を取得するファクシミリ１２とＰＣ１０とからなる。ＰＣ１０は、画像整形部５を備える。画像整形部５は、ファクシミリ１２により取得された帳票２０の画像２５から横罫線４４を検出し、その横罫線４４が含まれる画像を一定間隔ｗで短冊状に切り出し、切り出した各短冊画像同士の罫線の中心を予め定義された罫線の位置に一致させるように、短冊画像を再配置することで画像を整形（補正）する。
【選択図】図１

Description

本発明は、例えばファクシミリなどで受信された帳票のイメージデータを処理する画像処理装置、画像処理プログラムおよび画像処理方法に関する。

電話回線を通じて受信された帳票のイメージデータ（以下「画像」と称す。）を文字認識処理（以下「ＯＣＲ」と称す）することで、帳票に記入された文字を読み取るＦＡＸ−ＯＣＲ装置がある。
ＦＡＸ−ＯＣＲ装置では、受信された帳票の画像をＯＣＲする際に、受信画像自体に既に帳票の縦方向のみが伸縮されていたり、または画像にゆがみが発生していることがある。この場合、画像に生じた伸縮やゆがみを補正する処理を行った後、文字認識することが行われる。
ＦＡＸ−ＯＣＲ装置では、ゆがみや伸縮が大きく、補正無しでは、正しい読取位置を得ることができないことが多い。
そこで、ＦＡＸ−ＯＣＲ専用の帳票にガイドマークを印刷して読取位置の目印としたり、あるいは帳票に二次元バーコードで帳票定義を印刷しておくことで読取位置を決定するなど、さまざまな工夫がなされている（特許文献１参照）。
特開平１１-２５２０９号公報

しかしながら、上記した従来技術においては、ガイドマークや二次元バーコードが帳票の表面に印刷されているため帳票の外観を損ねるという問題がある。
また、ガイドマークや二次元バーコードのための印刷エリアを帳票上に確保しなければならず、帳票のスペースを有効に利用できないという問題があった。

本発明はこのような課題を解決するためになされたもので、帳票の外観を損ねることがなく、また帳票のスペースを有効に利用できる画像処理装置、画像処理プログラムおよび画像処理方法を提供することを目的としている。

上記した目的を達成するために、本発明の画像処理装置は、帳票の画像を取得する画像取得手段と、前記画像取得手段により取得された帳票の画像の画素の配列から罫線を検出する罫線検出手段と、前記罫線検出手段により検出された前記罫線を含む画像を、前記罫線とほぼ直交する方向に所定間隔で短冊状に切り出す切出手段と、切り出された短冊状の画像に含まれる罫線の中心を、予め設定された帳票定義データ上の罫線の位置に一致させるように、前記短冊状の各画像を再配置し前記各画像を結合することで整形した画像を生成する整形手段とを具備したことを特徴とする。

本発明の画像処理プログラムは、画像処理装置に文字認識処理を実行させる画像処理プログラムであって、前記画像処理装置を、帳票の画像を取得する画像取得手段と、前記画像取得手段により取得された帳票の画像の画素の配列から罫線を検出する罫線検出手段と、前記罫線検出手段により検出された前記罫線を含む画像を、前記罫線とほぼ直交する方向に所定間隔で短冊状に切り出す切出手段と、切り出された短冊状の画像に含まれる罫線の中心を、予め設定された帳票定義データ上の罫線の位置に一致させるように、前記短冊状の各画像を再配置し前記各画像を結合することで整形した画像を生成する整形手段として機能させることを特徴とする。

本発明の画像処理方法は、コンピュータが画像を処理する画像処理方法であって、前記コンピュータが帳票の画像を取得するステップと、前記コンピュータが取得した帳票の画像の画素の配列から罫線を検出するステップと、前記コンピュータが検出した前記罫線を含む画像を、前記罫線とほぼ直交する方向に所定間隔で短冊状に切り出すステップと、前記コンピュータが切り出した短冊状の画像に含まれる罫線の中心を、予め設定された帳票定義データ上の罫線の位置に一致させるように、前記短冊状の各画像を再配置し前記各画像を結合することで整形した画像を生成するステップとを有することを特徴とする。

本発明では、文字の記入位置が線によって予め定められた帳票の画像を取得し、帳票の画像の画素の配列状況、つまり隣接する画素の連続性から罫線を検出し、その罫線を含む画像の範囲を罫線とほぼ直交する方向に所定間隔で短冊状に切り出して、切り出した画像同士の罫線の中心を一致させるように短冊状の各画像を再配置し元の画像を整形した画像を生成するので、ゆがんだ線はほぼ直線状に見えるようになる。また縦または横の一方のみ縮尺された画像の線などは、縮尺前の長さで見えるようになる。
すなわち、ガイドマークを設けることなく画像のゆがみや伸縮を補正するので、帳票の外観を損ねることがなく、また帳票のスペースを有効に利用できる。

以上説明したように本発明によれば、帳票の外観を損ねることがなく、また帳票のスペースを有効に利用できる画像処理装置、画像処理プログラムおよび画像処理方法を提供することができる。

以下、本発明の実施の形態を図面を参照して詳細に説明する。
図１は本発明に係る一つの実施形態のＦＡＸ−ＯＣＲ装置の構成を示す図、図２はＦＡＸ−ＯＣＲ装置の処理対象の帳票の一例であるＦＡＸ−ＯＣＲ専用帳票を示す図である。

図１に示すように、このＦＡＸ−ＯＣＲ装置は、ハードウェア構成としては、ファクシミリ１２と、電話回線１１などの公衆通信網を介して接続されたパーソナルコンピュータ１０（以下ＰＣ１０と称す）とから構成されている。

ファクシミリ１２は、読み取り台にセットされた帳票の表面をＣＣＤセンサなどでイメージスキャンして帳票のイメージデータ（以下、「画像」と称す。）を生成し、電話回線を通じてＰＣ１０へ送信する。

ＰＣ１０は、通信部２、制御部３、画像記憶部４、画像整形部５、帳票定義記憶部６、文字認識部７、認識結果記憶部８などを有している。これら各部は必要に応じてその機能を用いるものであり、すべての構成が必須とは限らない。例えば画像整形部５が画像記憶部４から読み出した帳票の画像から得た帳票の定義を文字認識部７がそのまま利用すれば、帳票定義記憶部６などは不要である。また画像取得部がファクシミリ１２ではなくスキャナなどであった場合もファクシミリ１２を利用した場合とほほ同じことが言える。さらにファクシミリ１２を用いずに帳票の画像をファイルの形態でネットワークや記憶媒体などを介してＰＣ１０に直接入力し、通信部２を通じて画像記憶部４に保存しても良い。

ＰＣ１０の機能は、ＣＰＵ、ＲＡＭ、ＲＯＭなどのメモリ、ハードディスク装置などの補助記憶装置、キーボードなどの入力装置およびマウスなどの指示装置、モニタなどの表示装置、ファクシミリ１２とのインターフェースボードなどのハードウェアと、オペレーティングシステム（以下ＯＳと称す）および画像処理アプリケーションソフトウェアなどのプログラムとが協動して実現される。

通信部２は、ＦＡＸモデムボードなどの通信インターフェースボードなどにより実現される。通信部２は、ファクシミリ１２から電話回線１１を通じて送信されてきた画像を受信する画像取得部として機能する。
制御部３は、ＯＳおよび文字認識アプリケーションソフトウェアなどにより実現される。画像記憶部４および帳票定義記憶部６は、ＲＡＭなどに設けられる記憶領域であり、情報を一時的に記憶しておくための領域である。認識結果記憶部８は、ハードディスク装置などの記憶領域であり、情報を保存しておくための領域である。
制御部３は、ファクシミリ１２から受信された帳票の画像を画像記憶部４に記憶する。その後、画像記憶部４に記憶された画像は、画像整形部５により読み出されて整形される。

画像整形部５は、画像記憶部４に記憶された帳票の画像を読み出して、画像の画素を走査して黒画素と白画素の配列状況が予めメモリに記憶された罫線の画素配列と適合する画素部分を罫線として検出する罫線検出手段として機能する。画像整形部５は、検出した罫線が含まれる画像を、罫線とほぼ直交する方向に一定間隔で短冊状に切り出す切出手段として機能する。

画像整形部５は、切り出した短冊画像に含まれる罫線の中心を、短冊画像同士で一致させるように、各短冊画像を再配置し、各短冊画像を結合することで帳票の画像を整形した画像を生成する整形手段として機能する。

文字認識部７は、帳票定義記憶部６から読み出した帳票定義データに基づき、整形された画像の該当箇所を切り出して、切り出した画像から文字を認識し文字認識結果（テキストデータや対応する切り出し部分画像など）を認識結果記憶部８に記憶する。

文字認識処理としては、予め登録されている文字認識用の辞書を参照して、切り出した文字のイメージデータと辞書のイメージデータとのパターンマッチングを行うものである。文字認識用の辞書には、文字のテキストデータとイメージデータが対応して記憶されている。

このＦＡＸ−ＯＣＲ装置に用いる帳票としては、例えばＦＡＸ−ＯＣＲ専用の帳票がある。
図２に示すように、ＦＡＸ−ＯＣＲ専用の帳票２０には、ファクシミリ１２において、原稿台から帳票２０をＣＣＤセンサの位置へフィードする方向、つまり搬送方向に沿って、少なくとも一つの罫線２１が引かれており、このような配置の罫線の位置座標が帳票定義のデータとして記憶されているものとする。罫線の位置座標として最低下必要なのは、横罫線の始点、終点の座標である。この例では、帳票２０に４本の横罫線が存在する。

以下、このＦＡＸ−ＯＣＲ装置の動作を説明する。
帳票２０をファクシミリ１２にセットして送信操作を行うと、ファクシミリ１２は、帳票２０を装置内部に引き込んで、ＣＣＤセンサによる読み取り動作を行い、宛先のＰＣ１０へ送信される。

帳票２０をファクシミリ１２で読み取った場合、搬送系の搬送速度のずれなどの影響で、図３に示すように、一部領域２４が上方へずれた（ゆがんだ）画像２５が得られることがある。この画像２５がＰＣ１０によって受信されることになる。

ＰＣ１０では、ファクシミリ１２から送信された画像２５が通信部２により受信されて制御部３へ入力される。制御部３は、入力された画像２５を画像記憶部４に画像ファイルとして記憶する。

次に、制御部３は、画像整形部５を制御して画像整形処理を実行させる。
画像整形部５は、画像記憶部４より画像ファイルを読み出して画像データをメモリに展開し、展開した画像内の画素を走査し、黒画素と白画素の配置状況、つまり各画素の位置座標を検出することで、画像に含まれる罫線を検出する。

（罫線検出）
画像を走査するにあたり、画像整形部５は、図４に示すように、一定間隔おきに列４１ごとの白画素と黒画素との配列（白、白、黒、黒、黒など）を記録しておき、一定の幅で黒が繋がっているところ（符号４２の箇所）を罫線として検出する。

一定の幅とは、この例の場合、黒画素が３つ連続する場所のことをさす。罫線検出には、一時的に幅が異なる場合を除外するようにしておくことで、途中に縦罫線４３が存在するような場合であっても横罫線４４を正しく検出することができる。

この罫線検出方法によれば、罫線が直線でなく、ゆがんでいても一本の線として抽出することができ、どこでゆがみが発生しているのかも知ることができる。なお、上記横罫線４４の検出方法の例は一例であり、他の方法により罫線を検出しても良い。

（短冊分割およびゆがみ補正）
図５に示すように、罫線が含まれる画像に歪みが生じている場合、画像整形部５は、画像全体を、検出した罫線の方向と直交（縦）する方向に一定間隔で短冊状に区切って細長い画像（以下、短冊画像と称す。）を切り出す。

そして、画像整形部５は、図６に示すように、隣接する短冊画像同士に含まれる罫線がほぼ横に並ぶように個々の短冊画像を上下にずらして再配置し、画像全体の整形（補正）を行い、整形した画像を文字認識対象の画像として画像記憶部４に記憶する。

図７を参照して短冊画像の再配置方法について説明する。
上記罫線検出処理において、白画素と黒画素との配列を一定間隔ｗとして横罫線４４を追跡した場合、画像上の横罫線４４を点列として取得することができる。

画像整形部５は、ゆがみ補正を行うにあたり、帳票定義記憶部６から帳票定義データを読み出し、個々の短冊画像に含まれる罫線（横罫線４４が一定間隔ｗの幅で分断されたもの）の中心位置を、帳票定義データで予め設定された罫線の位置に一致させるように、短冊画像全体を上下に移動する。

すなわち、画像整形部５は、画像を短冊状に区切る位置（ｘ座標）を、図７に示すように、横罫線４４上の一定間隔ｗで隣り合う２点の中点とし、検出した横罫線４４上の点○が、帳票定義されている罫線の正しい位置に来るように短冊画像を上下に移動させる。

以上の処理により、帳票２０にガイドマークが印刷されていない場合でも、帳票２０の画像に含まれる横罫線４４を利用することにより、画像のゆがみを補正することができる。
上記のようにして補正後の画像が画像記憶部４に記憶されると、文字認識部７は、帳票定義記憶部６より帳票定義を読み出し、読み出した帳票定義に基づいて画像記憶部４の画像に対して文字認識処理を実行し、認識結果を認識結果記憶部８に記憶する。

このようにこの第１実施例のＦＡＸ−ＯＣＲ装置によれば、検出した罫線の位置座標を用いて、ゆがみや伸縮の補正を行うことで、ガイドマークを配置することなく、精度の高いＯＣＲ処理可能なシステムを提供することができる。
また、検出する罫線として、一般的な帳票に設けられている文字の記入枠などを用いるので、ＦＡＸ−ＯＣＲ専用の帳票ではなく、一般の記入用紙などを文字認識処理の対象とすることができる。

すなわち、画像から罫線を検出して、検出した罫線を基に画像のゆがみを補正する機能を付加したことで、ガイドマークを配置することなく、ゆがみを補正することができるようになり、従来のようにガイドマークのためにエリアを確保する必要がなくなる。また、帳票にガイドマークを印刷するのに比べて帳票の外観を損ねることもなくなる。

次に、第２実施例のＦＡＸ−ＯＣＲ装置について説明する。この第２実施例は、画像の伸縮を補正する例である。
この第２実施例のＦＡＸ−ＯＣＲ装置は、ハードウェアとしては、図１の構成と同じであり、帳票２０の画像２５を取得する画像取得手段としてのファクシミリ１２および通信部２を備える。

画像整形部５は、通信部２により取得された帳票２０の画像２５の画素の配列から縦または横いずれかの方向の罫線を検出する罫線検出手段として機能する。また画像整形部５は、検出した一方向の罫線の幅で画像をいくつかの領域に分割した画像（以下、領域画像と称す。）を切り出す切出手段として機能する。

画像整形部５は、画像の端部から各罫線までの間隔を検出する手段として機能する。画像整形部５は、検出した画像の端部から罫線までの間隔と予め定義されている帳票の該当罫線の間隔とを対比して伸縮倍率を計算する手段として機能する。

画像整形部５は、画像の罫線の始点から終点までの長さと帳票定義記憶部６から読み出した帳票定義のデータ上の罫線の長さとの比が上記伸縮倍率と同じになるように、切り出した領域画像を伸縮し、各部分領域の画像を結合することで整形画像を生成する整形手段として機能する。

この例の伸縮の補正にも、帳票定義記憶部６に記憶された帳票定義データ（帳票の基準位置（例えば４つの角の中の一つの角）からの罫線の始点、終点の位置座標）を用いる。

この第２実施例では、ゆがみ補正を行った画像の罫線の開始位置および終了位置の座標と帳票２０の端の位置とが、帳票定義記憶部６の帳票定義データ上の罫線の開始および終了位置と帳票２０の端の位置とが同じ位置になるように、短冊画像を線形に拡大または縮小を行い、拡大または縮小したそれぞれの短冊画像を結合することで画像を整形（補正）する。

（伸縮補正の領域分け）
図２に示したように、罫線２１で囲まれた領域が帳票２０の中心を挟んで左右に２つあるように帳票が定義されている場合には、画像整形部５は、帳票２０の画像２５全体を走査して、図８に示すように、走査した画素の配列から縦または横いずれかの方向の罫線、例えば縦罫線を検出し、検出した一方向の罫線（縦罫線）の幅で画像をいくつかの領域、この場合、５つの領域８１〜８５に区分し、それぞれの領域を切り出することで部分領域の画像を生成しメモリに記憶する。なお、符号８７は帳票の左角、符号８８は帳票の右角を示している。

そして、切り出したそれぞれの部分領域の画像の幅が帳票定義通りになるように拡大、縮小、つまり伸縮を行うことにより画像を整形（補正）する。

以下、図８、図９を参照して、画像の伸縮補正処理について説明する。図８は帳票の画像の領域の区分の仕方を説明するための図、図９はこのＦＡＸ−ＯＣＲ装置の伸縮補正処理を示すフローチャートである。

このＦＡＸ−ＯＣＲ装置では、帳票２０をファクシミリ１２にセットして送信操作を行うと、ファクシミリ１２は、帳票２０を装置内部に引き込んで、ＣＣＤセンサによる読み取り動作を行い、宛先のＰＣ１０へ送信される。
ＰＣ１０では、ファクシミリ１２から送信された画像が通信部２により受信されて制御部３へ入力される。制御部３は、入力された画像を画像記憶部４に画像ファイルとして記憶する。

次に、制御部３は、画像整形部５を制御して画像整形処理（画像の補正）を実行させる。
この場合、画像整形部５は、画像記憶部４より画像ファイルを読み出して画像データをメモリに展開し、展開した画像内の画素をスキャンし、黒画素と白画素の配置状況、つまり各画素の位置座標を検出する。

位置座標の検出にあたり、画像整形部５は、図９のフローチャートの動作を行う。なお、図９のフローチャートでは、DLines[]：帳票定義された横罫線を始点x座標の昇順に並べ替えたもの、Lines[]：ゆがみ補正に使った横罫線を始点x座標の昇順に並べ替えたもの、lnum：横罫線の数と定義する。

画像整形部５は、まず最初に、補正処理で使う変数xs, xe, dxs, dxeと計数値iをメモリに設定し、各変数xs, xe, dxs, dxeに初期値を与える（図９のＳ１０１）。
なお、変数xs, xe は、処理している画像上の座標を表しており、変数dxs, dxe は、帳票定義上の座標を表している。例えば変数xe は帳票８７のＸ座標を示す。

画像整形部５は、メモリに設定した計数値i を0とする（Ｓ１０２）。
画像整形部５は、変数xs, xe, dxs, dxe の値をそれぞれ以下のように更新する（Ｓ１０３）。

変数xsの値を変数xeに設定する。Line[i]の始点Ｘ座標を変数xeに設定する。変数dxeの値を変数dxsに設定する。DLine[i]の始点Ｘ座標を変数dxeに設定する。

例えば、変数xs, xeは、計数値i = 0 の場合には、図８の領域８１の両端の座標を示す。計数値i = 1 の場合は、図８の領域８３の両端の座標を示す。また、変数dxs, dxe は同じ領域の帳票定義上の座標を表す。

画像整形部５は、変数xs, xeの間の距離が変数dxs, dxeの間の距離と一致するように、各画素の位置座標を(dxe − dxs + 1 ) / (xe − xs + 1)倍して、伸縮後の画像の各画素の位置座標を求め、元の画像を補正する（Ｓ１０４）。

画像整形部５は、変数xs, xe, dxs, dxe の値をそれぞれフローチャートのように更新する（Ｓ１０５）。
この更新により、変数xs, xeは、例えば計数値i = 0 の場合には、図８の領域８２の両端の座標を示すことになり、計数値i = 1 の場合は、図８の領域８４の両端の座標を表すことになる。また、変数dxs, dxe は同じ領域の帳票定義上の座標を表す。

画像整形部５は、Ｓ１０４の処理と同様に画像の補正処理を実行する（Ｓ１０６）。
画像整形部５は、メモリに設定した計数値i をインクリメント、つまり1を足す（Ｓ１０７）。

画像整形部５は、計数値iと横罫線の数lnum とを比較する（Ｓ１０８）。
この比較の結果、計数値i が横罫線の数lnum よりも小さい場合（Ｓ１０８のＹｅｓ）、画像整形部５は、Ｓ１０３の変数設定処理に戻り、変数xs, xe, dxs, dxeに次の値を設定する。

また、比較の結果、計数値i の値が横罫線の数lnum 以上の場合（Ｓ１０８のＮｏ）、画像整形部５は、変数xs, xe, dxs, dxe の値をそれぞれフローチャートのように更新する（Ｓ１０９）。

この更新により、変数xs,xeは、図８の領域８５の両端の座標を表すことになる。また、変数dxs, dxe は、同じ領域の帳票定義上の座標を表す。

画像整形部５は、上記Ｓ１０４の処理と同様に補正処理を実行する（Ｓ１１０）。
以上の処理によって、ガイドマークの代わりに、画像から検出した罫線を使うことで、ファックス送信時に伸縮した画像を、元の画像に近い形に補正することができる。
このように、ガイドマークの代わりに罫線情報を使うことにより、イメージの伸縮を補正することが可能になる。

以上のように、罫線情報を用いて、ゆがみや伸縮の補正を行う方法により、ガイドマークを配置することなく、精度の高いＯＣＲ処理可能なシステムを提供することができるようになる。また、罫線情報としては記入枠などを用いるため、ＦＡＸ−ＯＣＲ専用の帳票ではなく、一般の記入用紙を処理対象の帳票とすることができるという利点がある。
上記の結果、ガイドマークの代わりに罫線を用いることにより、帳票の全領域を自由に設計でき、帳票の外観にも影響を与えない画像処理装置を提供することができる。

ここで、画像整形部５の電子透かしの解読方法について詳述する。
画像整形部５は、画像記憶部４より読み出した画像ファイルのデータを、例えば横方向などの一定の方向に走査して、まず、白・黒の画素列を取得し、黒画素が一定数連続する部分を検出する。つまり、文字記入枠の横罫線を検出する。

黒画素が一定数連続する部分を検出すると、画像整形部５は、続いて、その横罫線の上または下の画素列を走査して、予め自身に設定されている探索パターンと比較して一致する画素パターンの有無を確認する。

この結果、探索パターンと一致した画素パターンが存在した場合、画像整形部５は、それが電子透かしと特定し、その後に続く画素パターンを帳票定義のデータ本体として取り出し、帳票定義記憶部６に記憶する。
帳票定義は、帳票上の文字記入位置に関する情報、つまり文字枠に関する情報であり、具体的には、Ｘ座漂、Ｙ座漂、文字ピッチ、文字数、字種などである。

なお、電子透かしが帳票のどこにあるか分からないような場合、文字記入枠の横罫線の検出処理を始めに行う方が処理速度としては速いが、横方向の走査を画像全体に対して行い、一列毎に順に探索パターンと比較し電子透かしを特定するようにすれば、文字記入枠の横線の検出処理は省略しても良い。

この場合、画像整形部５は、画像記憶部４に記憶された帳票の画像を読み出してその画像に予め埋め込まれている電子透かしを読み取り解読することによりその帳票の帳票定義データを取り出し帳票定義記憶部６に記憶する。
つまり、画像整形部５は、帳票２０の罫線に沿って並べられた白と黒の画素の配列より帳票定義の位置を特定し、帳票の画像から帳票定義のデータを取り出す。

ここで、文字認識部７の文字認識処理について詳述する。
文字認識部７は、帳票定義記憶部６より帳票定義を読み出し、読み出した帳票定義より文字記入枠の位置を特定し、文字単位に文字画像を切り出し、切り出した文字画像と辞書の文字画像とを比較、つまりイメージマッチングを行い、合致または類似した文字画像に対応するテキストデータを、辞書より呼び出して認識結果として出力、つまり認識結果記憶部８に記憶する。

次に、帳票上の罫線の位置を検出するために電子透かしを用いる場合について説明する。
申込者が名前や住所、電話番号などの必要事項（文字）を記入する欄、つまり枠線が黒い線（連続する黒画素）で印刷されているものとする。枠線は文字の記入位置を定めるものである。枠線の外側に、１または数ドット分、はみ出す形で黒画素と白画素とから構成される画素列を設ける。この画素列が電子透かしである。なお枠線の外側にはみ出させる形で電子透かしを設ける以外に枠線の内側に設けても良い。

電子透かしは、画像部分を拡大すると、例えば黒画素０．３ｍｍ，白画素０．３ｍｍ、黒画素０．９ｍｍ，白画素０．３ｍｍ、黒画素０．９ｍｍなどのような所定の間隔の探索パターンと、その後に続けて設けられた黒画素と白画素とを組み合わせた画素列から成るデータ本体とで構成されている。

つまり、帳票の表面の文字記入用の枠線や罫線の部分に、線からはみ出す方向にほんのわずかな凹（白画素が構成する空白部分）、凸（黒画素）を印刷したものであり、画像整形部５は、帳票から取得した画像を横方向に走査したときの白画素と黒画素の並び具合で帳票定義の探索パターンを特定し、探索パターンに続く帳票定義データであるデータ本体を取り出す。データ本体において、黒画素は２値の「１」に対応付けられ、白画素は２値の「０」に対応づけられている。従って、データ本体は、黒画素と白画素とで表現される複数の２値データであり、これにより帳票定義データが設けられることになる。

この帳票定義データは、ヘッダー情報や帳票定義データ名及び帳票定義データとから構成される。この帳票定義データの設け方は、任意に決めればよく、特に限定されない。要するに、帳票定義データとして、黒画素と白画素とで表現される２値データで構成されれば、どのようなデータ構成でも良い。

次に、図１０〜図１２を参照し第３実施形態の画像処理装置について説明する。
この第３実施形態のハードウェア構成は、図１と同じである。上記第１実施例では、帳票定義のデータを帳票定義記憶部６に予め記憶しておくか、または電子透かしなどの技法によって利用者には見えないように帳票に埋め込んでおく必要があったが、この第３実施例では、帳票定義のデータを予め用意しておくことなく画像を補正する。つまり、画像から検出した罫線だけを用いてゆがみを補正する。

すなわち、この第３実施例のＦＡＸ−ＯＣＲ装置において、ＰＣ１０が有する画像整形部５は、画像記憶部４より読み出した帳票の画像全体から白画素と黒画素の配列を検出し、複数の横罫線の始点と終点の位置座標を検出する手段として機能する。

また、画像整形部５は、検出した複数の罫線の始点と終点の位置座標から各罫線の長さ（幅）を求め、検出した罫線の中から最も長い（最も幅の広い）罫線を選出し、選出した罫線を短冊状に切り出して、切り出した画像同士の罫線がほぼ直線になるように各画像を再配置し、ゆがみを補正する手段として機能する。

さらに、画像整形部５は、選出した罫線を除いた残りの罫線の中から、補正に使った罫線とｘ座標が重ならない罫線を選出し、選出した罫線により画像の補正処理を実行する手段として機能する。

この第３実施例の画像処理装置の概要動作を、図１０を用いて説明する。
この場合、画像整形部５は、図１０に示すように、画像記憶部４より読み出した帳票２０の画像２５全体から上記第１実施例のように白画素と黒画素の配列状況を調べ、初めに検出された横罫線９１の始点と終点の位置座標を検出する。
画像整形部５は、検出した罫線の始点と終点の位置座標から罫線９１の長さ（幅）を求め、検出した罫線９１にユニークな番号を振って、その罫線９１の番号と長さとを対応させてメモリに記憶する。

上記罫線検出および記憶動作を、画素をｘ方向へ順次走査して罫線９１，９３，９５，９７，９６，９８，９９，９４，９２が検出されるたび行い、検出した罫線９１，９３，９５，９７，９６，９８，９９，９４，９２の中から最も長い罫線、この場合、罫線９１を選択し、選択した罫線９１が直線になるように、その罫線９１の幅の範囲を一定間隔で短冊状に区切り、上記実施例１で説明したゆがみ補正を実施する。
次に、画像整形部５は、選択した罫線９１以外の残りの罫線９３，９５，９７，９６，９８，９９，９４，９２の中から、補正に使った罫線９１とｘ座標が重ならない罫線、この場合、ほぼ同じ長さ（幅）の罫線９３と罫線９４があるがそのうち少しでも長い方を選出し、罫線９１の場合と同様の処理を実施する。

次に、図１１を参照して第３実施形態の画像処理装置による画像整形処理について詳細に説明する。
この第３実施例の場合、画像整形部５は、検出した横罫線を長い順に配列Lines[]に格納し、横罫線の数をlnum と設定する（図１１のＳ２０１）。

画像整形部５は、配列x[]を用意し、各要素を0で初期化する。配列x[] の大きさは、画像の横幅とし、後の処理で画像上のピクセル列kにおいて補正を実施したかどうかをk番目の配列x[k]に記録するために利用する（Ｓ２０２）。
画像整形部５は、計数値i = 0 とする（Ｓ２０３）。

画像整形部５は、 検出した罫線Lines[i]を用いて画像のゆがみ部分の補正処理を実施する（Ｓ２０４）。なおこのＳ２０４の画像のゆがみの補正処理の詳細動作については、図１２のフローチャートで説明する。

画像整形部５は、補正処理の後、検出した値i に１を足す（Ｓ２０５）。
画像整形部５は、計数値i がlnumより小さい場合（Ｓ２０６のＹｅｓ）、次の画像について補正を行うため、Ｓ２０４の処理に戻る。計数値i がlnum以上となった場合（Ｓ２０６のＮｏ）、画像整形部５は、補正処理の対象となる画像はないものと判定し処理を終了する。

ここで、図１２を参照して上記Ｓ２０４のゆがみ補正処理の詳細動作について説明する。
画像のゆがみ補正処理を行う場合、画像整形部５は、変数xs をLines[i]の始点のx 座標、変数xe をLines[i]の終点のx座標としてメモリに設定する（Ｓ３０１）。

画像整形部５は、Lines[i] を用いた罫線補正を実施するかどうかを判定する（Ｓ２１２〜Ｓ２１５）。

画像整形部５は、変数xsを計数値j に代入して（Ｓ３０２）、x[j]の値が0か否かを判定する（Ｓ３０３）。
この判定結果、x[j]の値が0でない場合（Ｓ３０３のＮｏ）、つまり1であれば、画像整形部５は、Lines[i]上には、既に補正された部分があるものと判定し、Lines[i]を用いたゆがみの補正処理を実行せずに処理を終了する。

一方、上記判定結果、x[j] の値が0の場合（Ｓ３０３のＹｅｓ）、画像整形部５は、画像上のjピクセル列目はまだ補正されていないものと判定し、計数値jに１を足す（Ｓ３０４）。
次に画像整形部５は、計数値j が変数xe 以下か否かを判定する。
この判定結果、計数値j が変数xe 以下であれば（Ｓ３０５のＹｅｓ）、Ｓ３０３の処理に戻り上記計数処理を繰り返す。

また、画像整形部５は、計数値j が変数xe を越えた場合（Ｓ３０５のＮｏ）、Lines[i]の始点xsから終点xeまでの全てのピクセル列はまだ補正されていないため、画像整形部５は、Lines[i]を用いて始点xs、終点xe間の画像のゆがみの補正処理を実行する（Ｓ３０６）。

補正処理の後、画像整形部５は、ピクセル列x[k]は、補正済みとして、x[k]に１を設定し(k=xs, …,xe)（Ｓ３０７）、罫線補正を終了する。

なお、上記Ｓ３０２〜Ｓ３０５で各罫線について補正処理を実施するかどうかを判定するのは、x座標の位置が近い複数の罫線（図１０参照）を用いて、同じピクセル列を何度も補正するのを防ぐためである。
以上の処理により、帳票定義をしない場合でも画像から検出した罫線を用いて帳票のゆがみを補正することができる。

このようにこの第３実施例によれば、帳票全体から罫線を検出し、罫線の長さと位置座標から、ゆがみ補正に利用する罫線を選択して、選択した罫線を用いて画像のゆがみを補正するので、帳票定義を行うことなく画像のゆがみを補正できる。

本発明の一つの実施形態のＦＡＸ−ＯＣＲ装置の構成を示す図。 ファクシミリで送信する帳票の形式と帳票の読み取り方向の一例を示す図。 図２の帳票から読み取られた実際の画像を示す図。 帳票画像の拡大図。 画像のゆがみを補正する前の画像を示す図。 画像のゆがみを補正した後の画像を示す図。 短冊画像の再配置方法を説明するための図。 帳票の画像の領域の区分の仕方を説明するための図。 第２実施例のＦＡＸ−ＯＣＲ装置の伸縮補正処理を示すフローチャート。 帳票定義を使わない罫線検出動作を説明するための図。 第３実施例のＦＡＸ−ＯＣＲ装置の伸縮補正処理を示すフローチャート。 図１１のＳ２０４の処理の詳細を示すフローチャート。

符号の説明

２…通信部、３…制御部、４…画像記憶部、５…解読部、６…帳票定義記憶部、７…文字認識部、８…認識結果記憶部、９…ディスプレイ、１０…パーソナルコンピュータ（ＰＣ）、１１…電話回線、１２…ファクシミリ。

Claims (6)

1. 帳票の画像を取得する画像取得手段と、
   前記画像取得手段により取得された帳票の画像の画素の配列から罫線を検出する罫線検出手段と、
   前記罫線検出手段により検出された前記罫線を含む画像を、前記罫線とほぼ直交する方向に所定間隔で短冊状に切り出す切出手段と、
   切り出された短冊状の画像に含まれる罫線の中心を、予め設定された帳票定義データ上の罫線の位置に一致させるように、前記短冊状の各画像を再配置し前記各画像を結合することで整形した画像を生成する整形手段と
   を具備したことを特徴とする画像処理装置。
2. 前記罫線検出手段は、
   前記画像取得手段により取得された前記帳票の画像に電子透かしの形態で埋め込まれた前記罫線の位置を定義した帳票定義データを読み出すことで前記罫線を検出することを特徴とする請求項１記載の画像処理装置。
3. 画像処理装置に文字認識処理を実行させる画像処理プログラムであって、
   前記画像処理装置を、
   帳票の画像を取得する画像取得手段と、
   前記画像取得手段により取得された帳票の画像の画素の配列から罫線を検出する罫線検出手段と、
   前記罫線検出手段により検出された前記罫線を含む画像を、前記罫線とほぼ直交する方向に所定間隔で短冊状に切り出す切出手段と、
   切り出された短冊状の画像に含まれる罫線の中心を、予め設定された帳票定義データ上の罫線の位置に一致させるように、前記短冊状の各画像を再配置し前記各画像を結合することで整形した画像を生成する整形手段
   として機能させることを特徴とする画像処理プログラム。
4. コンピュータが画像を処理する画像処理方法であって、
   前記コンピュータが帳票の画像を取得するステップと、
   前記コンピュータが取得した帳票の画像の画素の配列から罫線を検出するステップと、
   前記コンピュータが検出した前記罫線を含む画像を、前記罫線とほぼ直交する方向に所定間隔で短冊状に切り出すステップと、
   前記コンピュータが切り出した短冊状の画像に含まれる罫線の中心を、予め設定された帳票定義データ上の罫線の位置に一致させるように、前記短冊状の各画像を再配置し前記各画像を結合することで整形した画像を生成するステップと
   を有することを特徴とする画像処理方法。
5. 帳票の画像を取得する画像取得手段と、
   前記画像取得手段により取得された帳票の画像の画素の配列から縦または横いずれかの方向の罫線を検出する罫線検出手段と、
   前記罫線検出手段により検出された一方向の罫線の幅で部分領域の画像を切り出す切出手段と、
   前記画像の端部から各罫線までの間隔を検出する手段と、
   検出した前記画像の端部から前記罫線までの間隔と予め定義されている帳票の該当罫線の間隔とを対比して伸縮倍率を計算する手段と、
   前記画像の罫線の始点から終点までの長さと前記定義された罫線の長さとの比が前記伸縮倍率と同じになるように前記切出手段により切り出された部分領域の画像を伸縮し、各部分領域の画像を結合することで整形画像を生成する整形手段と、
   を具備したことを特徴とする画像処理装置。
6. 前記罫線検出手段は、
   前記画像取得手段により取得された帳票の画像全体から白画素と黒画素の配列を検出し、複数の横罫線の始点と終点の位置座標を検出する手段と、
   検出した複数の罫線の始点と終点の位置座標から各罫線の長さを求め、検出した罫線の中から最も長い罫線を選出する手段と
   を具備したことを特徴とする請求項１または５いずれか記載の画像処理装置。

Images