JP2005234776A

JP2005234776A - 画像歪み補正処理装置と画像歪み補正方法

Info

Publication number: JP2005234776A
Application number: JP2004041444A
Authority: JP
Inventors: Katsuhiko Aoki; 勝彦青木
Original assignee: Oki Electric Industry Co Ltd
Current assignee: Oki Electric Industry Co Ltd
Priority date: 2004-02-18
Filing date: 2004-02-18
Publication date: 2005-09-02

Abstract

【課題】ディジタルカメラ等の非接触型のイメージ読取装置で読み取られた、補正用の基準位置を示すマークのない画像の歪みを補正する画像歪み補正処理装置を提供する。
【解決手段】ディジタルカメラ等の非接触型の画像読取部１で背景と共に読み取られた帳票のイメージは、入力画像メモリ４に一旦格納された後、帳票検出部６によって読み出され、その４辺の境界線に基づいて４隅の位置座標が算出される。パラメータ生成部７によって、４隅の位置座標に従って入力画像メモリ４中の４辺形を出力画像メモリ５中の長方形の画像に変換するための透視変換パラメータが生成される。補正処理部８によって、透視変換パラメータを用いて出力画像メモリ５の各画素位置に対応する入力画像メモリ４の位置座標が計算され、該当する入力画像メモリ４の値が読み出されて出力画像メモリ５の対応する画素位置にコピーされる。
【選択図】図１

Description

本発明は、ディジタルカメラ等の非接触型のイメージ読取装置で読み取った画像の歪みを補正する画像歪み補正処理装置と、画像歪み補正方法に関するものである。

特開２００２−１９７４５２号公報

上記特許文献１には、帳票の４隅の所定位置に歪み補正用のマークが付けられた基準媒体を用いる画像歪み補正処理装置が記載されている。この画像歪み補正処理装置では、まず、スキャナによって基準媒体の画像を読み取って入力画像メモリに格納し、この入力画像メモリ中の画像データから歪み補正用の４か所のマークの中心座標を検出する。続いて、検出されたマークの中心座標と、基準媒体上のマークの実際の中心座標に従って、透視変換パラメータを計算する。更に、この透視変換パラメータを用いて、補正後の基準媒体の画像における各画素の位置座標と入力画像メモリ中の画素の対応関係を示す歪み補正データを作成し、歪み補正データメモリに格納しておく。

次に、読み取り対象の帳票の画像を読み取って入力画像メモリに格納し、歪み補正データメモリに格納された歪み補正データを参照して、この入力画像メモリ中の各画素の値を順次読み出し、出力画像メモリの対応する格納場所にコピーする。従って、帳票とスキャナの位置関係が変化しない限り、基準媒体を使用して作成した歪み補正データに従って、入力画像メモリから出力画像メモリへ画素毎のコピーを行うことができる。これにより、読み取り対象の帳票毎に透視変換の計算を行う必要がなくなり、歪みを補正するためのデータ処理量を削減することができる。

しかしながら、例えば、ディジタルカメラ等の非接触型のイメージ読取装置を用いて帳票を読み取る場合、読み取り毎に帳票とスキャナの位置関係が変化する。このため、前記特許文献１のような方法を適用することができない。また、前記特許文献１の装置では、基準媒体の４隅に付加された歪み補正用のマークを検出して、透視変換パラメータを計算しているので、歪み補正用のマークが付加されていない帳票等の歪みを補正することができないという課題があった。

本発明は、ディジタルカメラ等の非接触型のイメージ読取装置で読み取られ、かつ歪み補正用のマークが付加されていない帳票等の画像の歪みを補正することができる画像歪み補正処理装置と画像歪み補正方法を提供することを目的としている。

本発明の画像歪み補正処理装置は、画像読取手段で読み取られた帳票とその背景を含む補正前画像の画像データを格納する入力画像メモリと、前記補正前画像中の帳票の歪みが補正された補正後の帳票の画像データを格納するための出力画像メモリと、前記入力画像メモリ中の画像データから、前記帳票の境界線を検出して該入力画像メモリにおける該帳票の４隅の位置座標を算出する帳票検出部と、前記帳票検出部で算出された前記帳票の４隅の位置座標と前記出力画像メモリに格納する補正後の帳票の画像データの４隅の位置座標に基づいて歪み補正用の変換パラメータを作成するパラメータ作成部と、前記変換パラメータを用いて前記補正後の画像の各画素に対応する前記補正前画像の画素の位置座標を計算し、前記入力画像メモリの該位置座標に格納された画素の値を前記出力画像メモリの対応する位置にコピーすることによって歪みを補正する補正処理部とを備えたことを特徴としている。

また、本発明の画像歪み補正処理は、帳票のイメージを読み取って該帳票とその背景を含む補正前画像の画像データを入力画像メモリに格納する読取処理と、前記入力画像メモリ中の画像データから前記帳票の境界線を検出して該入力画像メモリにおける該帳票の４隅の位置座標を算出する位置算出処理と、前記位置算出処理で算出された前記帳票の４隅の位置座標と出力画像メモリに格納する補正後の帳票の画像データの４隅の位置座標に基づいて歪み補正用の変換パラメータを作成するパラメータ作成処理と、前記変換パラメータを用いて前記補正後の画像の各画素に対応する前記補正前画像の画素の位置座標を計算し、前記入力画像メモリの該位置座標に格納された画素の値を前記出力画像メモリの対応する位置にコピーする座標変換処理とを、順次行うことを特徴としている。

本発明では、帳票検出部によって、入力画像メモリ中の画像データから帳票の境界線を検出して該入力画像メモリにおける該帳票の４隅の位置座標を算出し、パラメータ作成部によって、前記帳票検出部で算出された帳票の４隅の位置座標と出力画像メモリに格納する補正後の帳票の画像データの４隅の位置座標に基づいて歪み補正用の変換パラメータを作成し、補正処理部によって、変換パラメータを用いて補正後の画像の各画素に対応する補正前画像の画素の位置座標を計算し、入力画像メモリの位置座標に格納された画素の値を出力画像メモリの対応する位置にコピーすることによって歪みを補正するようにしている。これにより、補正用の基準位置を示すマークが付加されていなくても、ディジタルカメラ等の非接触型のイメージ読取装置で読み取られて歪んだ帳票等の画像を、所定の長方形の画像に補正することができるという効果がある。

この発明の前記並びにその他の目的と新規な特徴は、次の、好ましい実施例の説明を添付図面と照らし合わせて読むと、より完全に明らかになるであろう。但し、図面は、もっぱら解説のためのものであって、この発明の範囲を限定するものではない。

図１は、本発明の実施例１を示す画像歪み補正処理装置の構成図である。
この画像歪み補正処理装置は、例えば、金融機関の窓口において帳票のイメージを取得するイメージファイリング、ＯＣＲ（光学式文字読み取り）、印鑑照合等に使用されるものである。読み取り対象の画像としては、入出金依頼書、振込依頼書等の制定帳票と、免許証等の本人確認用の資料等の自由形式の書類が含まれる。

この画像歪み補正処理装置は、一般的なパーソナル・コンピュータを用いて構成され、画像読取部１、表示部２、入力部３、入力画像メモリ４、出力画像メモリ５、帳票検出部６、パラメータ作成部７、補正処理部８及び制御部９等を備え、これらがシステムバス１０を介して接続された構成となっている。

画像読取部１は、例えばディジタルカメラ等の非接触型のイメージスキャナであり、表示部２は、読み取られた画像イメージ等のオペレータに対する情報を表示するためのディスプレイであり、入力部３は、オペレータからの入力を受け付けるためのキーボードやマウスである。

入力画像メモリ４は、画像読取部１によって読み取られた帳票とその背景の画像データを処理のために一時的に格納する記憶装置であり、出力画像メモリ５は、歪み補正処理によって正常なイメージに補正された帳票の画像データを次の処理（例えば、文字認識等）のために一時的に格納する記憶装置である。これらの入力画像メモリ４や出力画像メモリ５は、パーソナル・コンピュータにおけるＲＡＭ（Random Access Memory）等の記憶装置の一部の領域が使用される。

帳票検出部６は、入力画像メモリ４に格納された画像データから、帳票と背景の境界部を検出することによってこの帳票の４辺の境界線を抽出し、これらの境界線の交点を計算することにより、この入力画像メモリ４における帳票の４つの角の位置座標を求めるものである。パラメータ作成部７は、帳票検出部６で求められた４つの角を結ぶ４辺形を、所定の形状をした長方形に補正するために必要な変換パラメータを生成するものである。

また、補正処理部８は、パラメータ作成部７で生成された変換パラメータを使用し、補正後の帳票の画像の各画素に対応する入力画像メモリ４の画素の位置座標を計算し、この計算された位置座標に格納されている画素の値を読み出して、出力画像メモリ５の対応する位置にコピーするものである。更に、制御部９は装置全体の制御を行うものである。

これらの帳票検出部６、パラメータ作成部７、補正処理部８及び制御部９は、ＣＰＵ（Central Processing Unit)等のハードウエアと、ＯＳ（Operating System）やアプリケーション・プログラム等のソフトウエアで構成されている。

図２は、図１の動作を示すフローチャートであり、図３は、図１による歪み補正処理の説明図である。以下、これらの図２及び図３を参照しつつ、図１の動作を説明する。

オペレータは、帳票のイメージが背景から識別できるように、例えば黒色の撮影台の上に読み取り対象の帳票を置き、ディジタルカメラ等の画像読取部１をその帳票に向けてセットする。

図２のステップＳ１において、入力部３を通して行われるオペレータからの指示に応じて、制御部９から画像読取部１が制御され、読み取り対象の帳票のイメージが読み取られる。画像読取部１で読み取られた帳票とその背景を含むイメージは、表示部２に表示されるので、オペレータは帳票全体が読み取られているか否かをチェックする。帳票の一部が読み取り範囲から外れている場合には、帳票全体のイメージが読み取られるように、ディジタルカメラ等の向きや帳票の位置を調整する。

読み取られた帳票全体のイメージは、オペレータの指示に従って、入力画像メモリ４に格納される。図３（ａ）に示すように、読み取られた帳票のイメージは、ディジタルカメラ等の画像読取部１の撮影角度による影響で、正確な長方形とはならず、歪んだ４辺形になると共に、そのサイズや位置も一定ではない。

ステップＳ２において帳票検出部６が起動され、まず、帳票と背景の境界部が検出される。例えば、入力画像メモリ４中のイメージを横軸（Ｘ座標）の値を固定して縦軸（Ｙ座標）の値を順次増加させて画素の値を読み取り、読み取った画素の値が閾値を越える箇所を検索する。この検索処理を各Ｘ座標の値に対して順次行うことにより、帳票の底辺の境界部を構成する点の位置座標の集合が得られる。同様に、イメージを上から下に検索することにより、帳票の上辺の境界部を構成する点の位置座標の集合が得られる。また、イメージを左から右へ、及び右から左へ検索することにより、それぞれ帳票の左辺と右辺の境界部を構成する点の位置座標の集合が得られる。

ステップＳ３において、例えばハフ変換（Hough transform)を用いて、上下左右の各境界部を構成する点の位置座標の集合から、上下左右の各境界線の傾きと切片の値を抽出する。

ハフ変換では、ｘｙ画像空間中の直線ｌ（ｙ＝ａ_ｊｘ＋ｂ_ｊ）は、傾きａ_ｊとｙ軸切片ｂ_ｊで特徴付けられ、ａｂパラメータ空間では点（ａ_ｊ，ｂ_ｊ）として表される。一方、ｘｙ画像空間中の直線ｌ上の点（ｘ_ｉ，ｙ_ｉ）は、式ｂ＝−ｘ_ｉａ＋ｙ_ｉでａｂパラメータ空間に写像される。即ち、ｘｙ画像空間中の点（ｘ_ｉ，ｙ_ｉ）は、ａｂパラメータ空間では傾き−ｘ_ｉとｂ軸切片ｙ_ｉで特徴付けられる。点（ｘ_ｉ，ｙ_ｉ）は直線ｌの上にあるので、ａｂパラメータ空間に描かれるこの直線は、点（ａ_ｊ，ｂ_ｊ）を通過する。

従って、直線ｌ上の複数の点をａｂパラメータ空間に写像すると、その点の数だけａｂパラメータ空間に直線が描かれ、それらの直線はａｂパラメータ空間の点（ａ_ｊ，ｂ_ｊ）で交差する。この交差する点を検出することにより、ｘｙ画像空間中の直線ｌの傾きと切片を決定することができる。

ステップＳ２で検出された帳票の境界部を構成する点の位置座標（ここでは、線候補画素という）は、完全な直線上に並んでいる訳ではないので、ハフ変換を用いた直線の具体的な検出は、次のように行われる。

ａｂパラメータ空間を小さなセルに分割し、線候補画素に対応するａｂパラメータ空間中の直線が通過するセルの値を１だけ増加する。これを投票と呼び、すべての線候補画素について投票を行う。この結果、各セルは直線が通過した回数に相当する値（投票度数）を持つことになる。最後に、投票度数の一番大きなセルを調べ、そのセルのａｂパラメータ空間における座標を、求めるｘｙ画像空間中の直線ｌの傾きａとｙ軸切片ｂに対応させる。

このようなハフ変換により、入力画像メモリ４に格納された帳票を形成する４辺の直線Ｌ１，Ｌ２，Ｌ３，Ｌ４が決定される。なお、境界線を検出する方法は、ハフ変換に限らず、VanderBrug，Paton ，Kasvand 等のテンプレートマッチングによる方法でも良い。

ステップＳ４において、ステップＳ３で決定された境界線の直線Ｌ１〜Ｌ４の交点の座標を計算する。これにより、入力画像メモリ４に格納された帳票のイメージにおける４隅の点Ｍ１，Ｍ２，Ｍ３，Ｍ４の位置座標が求められる。

ステップＳ５において、パラメータ作成部７が起動され、入力画像メモリ４の点Ｍ１〜Ｍ４の位置座標を頂点とする４辺形を、図３（ｂ）に示すように、出力画像メモリ５上の点Ｎ１，Ｎ２，Ｎ３，Ｎ４の位置座標を頂点とする長方形に透視変換するための透視変換パラメータを計算する。透視変換では、出力画像メモリ５の位置座標を（ｘ，ｙ）で表し、入力画像メモリ４中の画像上の位置座標を（Ｘ，Ｙ）で表すと、次の（１），（２）式の関係が成り立つ。
Ｘ＝（Ａｘ＋Ｂｙ＋Ｃ）／（Ｐｘ＋Ｑｙ＋１）・・・（１）
Ｙ＝（Ｄｘ＋Ｅｙ＋Ｆ）／（Ｐｘ＋Ｑｙ＋１）・・・（２）

ここで、Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，Ｐ及びＱが、透視変換パラメータである。従って、上記（１），（２）式において、出力画像メモリ５の４つの点Ｎ１〜Ｎ４の位置座標（ｘ，ｙ）と、入力画像メモリ４の４つの点Ｍ１〜Ｍ４の位置座標（Ｘ，Ｙ）を代入し、連立８元１次方程式を解くことにより、透視変換パラメータＡ〜Ｑを求めることができる。なお、歪み補正の方法は、透視変換に限定されず、アフィン変換等の幾何学変換を用いることも可能である。

ステップＳ６において、補正処理部８が起動され、出力画像メモリ５の各位置座標（ｘ，ｙ）毎に、対応する入力画像メモリ４の位置座標（Ｘ，Ｙ）を（１），（２）式を用いて計算し、算出した位置座標（Ｘ，Ｙ）の画素の値を読み出して、出力画像メモリ５の位置座標（ｘ，ｙ）にコピーする。これにより、入力画像メモリ４中の４辺形の帳票のイメージが、透視変換によって所定の長方形となるように補正され、出力画像メモリ５に格納される。

以上のように、この実施例１の画像歪み補正処理装置は、入力画像メモリ４に格納された画像データから、帳票の４隅の位置座標を求める帳票検出部６と、入力画像メモリ４中の４辺形を所定の形状をした長方形に補正するために必要な変換パラメータを生成するパラメータ作成部７と、変換パラメータを使用して補正後の帳票の画像の各画素に対応する入力画像メモリ４中の画素の位置座標を計算し、その画素の値を出力画像メモリ５の対応する位置にコピーする補正処理部８を備えている。これにより、ディジタルカメラ等の非接触型のイメージ読取装置で読み取られて歪んだ任意の画像イメージを、補正用のマークを必要とせずに所定の長方形の画像に補正することができるという利点がある。

図４は、本発明の実施例２を示す画像歪み補正処理の説明図であり、図２中の要素と共通の要素には共通の符号が付されている。この画像歪み補正処理に用いる装置は、帳票検出部６の処理内容が若干異なるほかは、図１と同様である。

図４のステップＳ１において、入力部３を通して行われるオペレータからの指示に応じて、制御部９から画像読取部１が制御され、読み取り対象の帳票とその背景を含むイメージが読み取られ、入力画像メモリ４に格納される

ステップＳ１１において、帳票検出部６が起動され、入力画像メモリ４中の帳票イメージの上下左右の各辺毎に数点の境界部が検出され、概略の境界線ｌ１，ｌ２，ｌ３，ｌ４が算出される。

ステップＳ１２において、境界線ｌ１〜ｌ４の交点の座標が計算され、帳票の概略の４隅の点ｍ１，ｍ２，ｍ３，ｍ４の位置座標が求められる。求められた点ｍ１〜ｍ４毎に、それぞれ次のステップＳ１３〜Ｓ１６の処理が行われる。

まず、ステップＳ１３において、入力画像メモリ４から点ｍ１とその周囲の画像イメージが切り出される。続いて、ステップＳ１４において、実施例１中のステップＳ２と同様の方法で、切り出された画像イメージを対象として帳票の縦方向と横方向の境界部が検出される。更に、ステップＳ１５において、実施例１中のステップＳ３と同様に、ハフ変換を用いて縦方向と横方向の２本の境界線が求められる。そして、ステップＳ１６において、２本の境界線の交点の座標を計算することにより、入力画像メモリ４に格納された帳票のイメージにおける４隅の内の点Ｍ１の位置座標が求められる。

ステップＳ１３〜Ｓ１６の繰り返し処理の結果、ステップＳ１２で求められた点ｍ１〜ｍ４に対応する帳票の４隅の点Ｍ１〜Ｍ４の位置座標が算出された後、ステップＳ５へ進む。

ステップＳ５において、実施例１と同様に、パラメータ作成部７が起動され、（１），（２）式に従って透視変換パラメータが計算される。

ステップＳ６において、補正処理部８が起動され、出力画像メモリ５の各位置座標（ｘ，ｙ）毎に、対応する入力画像メモリ４の位置座標（Ｘ，Ｙ）が計算され、算出した位置座標（Ｘ，Ｙ）の画素の値が出力画像メモリ５の位置座標（ｘ，ｙ）にコピーされる。これにより、帳票のイメージが、所定の長方形となるように補正される。

以上のように、この実施例２の画像歪み補正処理は、ステップＳ１１において、入力画像メモリ４中の帳票イメージの上下左右の各辺毎に数点の境界部を検出して概略の境界線ｌ１，ｌ２，ｌ３，ｌ４を計算し、ステップＳ１２において、境界線ｌ１〜ｌ４に基づいて帳票の概略の４隅の点ｍ１，ｍ２，ｍ３，ｍ４の位置座標を求め、ステップＳ１２〜Ｓ１６において、各点ｍ１〜ｍ４毎にその周囲の画像イメージから帳票の４隅の点Ｍ１〜Ｍ４の位置座標を計算するようにしている。

これにより、実施例１に比べて境界線を算出するための処理時間を短縮することができる。また、読み取られた帳票の画像イメージが反っている場合に、誤った境界線に基づいてこの帳票の４隅の点の位置座標を算出するおそれがないという利点がある。

本発明の実施例１を示す画像歪み補正処理装置の構成図である。図１の動作を示すフローチャートである。図１による歪み補正処理の説明図である。本発明の実施例２を示す画像歪み補正処理の説明図である。

符号の説明

１画像読取部
４入力画像メモリ
５出力画像メモリ
６帳票検出部
７パラメータ作成部
８補正処理部

Claims

画像読取手段で読み取られた帳票とその背景を含む補正前画像の画像データを格納する入力画像メモリと、
前記補正前画像中の帳票の歪みが補正された補正後の帳票の画像データを格納するための出力画像メモリと、
前記入力画像メモリ中の画像データから、前記帳票の境界線を検出して該入力画像メモリにおける該帳票の４隅の位置座標を算出する帳票検出部と、
前記帳票検出部で算出された前記帳票の４隅の位置座標と前記出力画像メモリに格納する補正後の帳票の画像データの４隅の位置座標に基づいて歪み補正用の変換パラメータを作成するパラメータ作成部と、
前記変換パラメータを用いて前記補正後の画像の各画素に対応する前記補正前画像の画素の位置座標を計算し、前記入力画像メモリの該位置座標に格納された画素の値を前記出力画像メモリの対応する位置にコピーすることによって歪みを補正する補正処理部とを、備えたことを特徴とする画像歪み補正処理装置。
前記帳票検出部は、
まず前記入力画像メモリ中の画像データから、前記帳票の概略の境界線を検出して該入力画像メモリにおける該帳票の４隅の概略の位置座標を算出し、
次に前記４隅の概略の位置座標を中心とする画像データを用いてそれぞれの隅毎に境界線を検出して前記入力画像メモリにおける前記帳票の４隅の位置座標を算出することを特徴とする請求項１記載の画像歪み補正処理装置。
帳票のイメージを読み取って該帳票とその背景を含む補正前画像の画像データを入力画像メモリに格納する読取処理と、
前記入力画像メモリ中の画像データから前記帳票の境界線を検出して該入力画像メモリにおける該帳票の４隅の位置座標を算出する位置算出処理と、
前記位置算出処理で算出された前記帳票の４隅の位置座標と出力画像メモリに格納する補正後の帳票の画像データの４隅の位置座標に基づいて歪み補正用の変換パラメータを作成するパラメータ作成処理と、
前記変換パラメータを用いて前記補正後の画像の各画素に対応する前記補正前画像の画素の位置座標を計算し、前記入力画像メモリの該位置座標に格納された画素の値を前記出力画像メモリの対応する位置にコピーする座標変換処理とを、
順次行うことを特徴とする画像歪み補正方法。
前記位置算出処理は、
まず前記入力画像メモリ中の画像データから、前記帳票の概略の境界線を検出して該入力画像メモリにおける該帳票の４隅の概略の位置座標を算出し、
次に前記４隅の概略の位置座標を中心とする画像データを用いてそれぞれの隅毎に境界線を検出して前記入力画像メモリにおける前記帳票の４隅の位置座標を算出することを特徴とする請求項３記載の画像歪み補正方法。