JP2008077489A

JP2008077489A - 画像処理装置、方法、プログラムおよび記憶媒体

Info

Publication number: JP2008077489A
Application number: JP2006257345A
Authority: JP
Inventors: Hiroaki Ikeda; 裕章池田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2006-09-22
Filing date: 2006-09-22
Publication date: 2008-04-03

Abstract

【課題】デジカメ等で撮影された、斜めから見た文書画像を自動補正する。
【解決手段】斜めから見た文書画像から複数の部分画像を決定する手段、複数の部分画像から行射影を取得する手段、取得した射影情報から行高さを決定し、行高さの変化から歪みを補正するための情報を取り出す手段、取り出された補正情報を用いて、文書画像を補正する手段を有する。
【選択図】図２

Description

本発明は撮影された画像の歪み補正に係わる画像処理装置方法、プログラムおよび記憶媒体に関する。

これまで、イメージスキャナ等から読み取った文書画像を文字認識する場合、行方向の射影を用いて行切り出しを行う際、文書に傾きがあると行の切り出し精度が低下するため、傾き量を自動的に求め、補正することで精度向上を行うようにしている。

一方、近年、デジタルカメラ等の普及が目覚しく、撮像素子の解像度も向上したため、文字認識に使用することも可能になってきた。デジタルカメラ等で撮影された画像は、イメージスキャナで読み取った場合と異なり三次元の歪み、すなわち遠近の歪みが発生する。

特開２００２−３３４３２７では、文書画像内の小さな画素の塊を取り出し、隣接した画素塊をまとめていくことで細長い画素の塊とし、取り出されたいくつかの細長い塊を文字行束としてから遠近歪みを補正するように構成されている。

また、特開２００１−１３４７５１では、同一の被写体に視差をつけて撮影し、その違いから斜め撮影による歪みを補正するように構成されている。

また、特開２００２−５７８７９では、撮影された画像に対し、補正のための二組の線分を外挿し、これらの線分の交点を算出して得られた変換式により歪みを補正するように構成されている。
特開２００２−３３４３２７号公報特開２００１−１３４７５１号公報特開２００２−５７８７９号公報

しかしながら上記第一の従来例では、大きい文字や文字間隔が大きいと文字行を抽出できず、また画素塊をまとめていく過程で多くのメモリと計算量が必要となる欠点があった。

上記第二の従来例では、複数の画像を撮影する必要がある欠点があった。

上記第三の従来例では、画像の補正にオペレータの操作が必要であり、また、外挿した線分により補正精度が落ちる欠点があった。

本発明は上記の課題を解決するためになされたもので、撮影された文書画像から文字行の高さの変化を用いて、歪みを補正するための情報を自動的に取り出すこと目的とする。

かかる課題を解決するため、例えば本発明の画像処理装置は以下の構成を備える。すなわち、斜めから見た文書画像から複数の部分画像を決定する手段、複数の部分画像から行射影を取得する手段、取得した射影情報から行高さを決定し、行高さの変化から歪みを補正するための情報を取り出す手段、取り出された補正情報を用いて、文書画像を補正する手段を有し、遠近歪みがある文書画像から自動的に補正情報を抽出し、遠近歪みのある画像を補正する。

本発明の請求項１〜５記載の実施形態により、撮影された文書画像の歪みを自動的に補正することが可能となり、文字認識等の精度向上が可能である。

［第１の実施形態］
図１は本発明を実施するための画像処理装置の構成を示すブロック図である。１０１はＲＯＭ１０２に格納されている制御プログラムに従って本装置全体の制御を行うＣＰＵ、１０２はＣＰＵ１０１が実行する後述するフローチャートに示す処理等本装置の制御プログラム等を格納するＲＯＭ、１０３は文書画像等を記憶するＲＡＭ、１０４は磁気ディスク等の外部記憶装置であり、１０５はディスプレイ、１０６はキーボード、１０７はマウス等のポインティングデバイスである。１０８はデジタルカメラ等を接続できる周辺機器インターフェイスである。

本発明は汎用的なコンピュータでも実施可能であり、その場合、媒体等で提供される制御プログラムを外部記憶装置１０４に記憶し、オペレータの指示等によりＣＰＵ１０１で実行するように構成されてもよい。また、１０９はネットワークインターフェースであり、図示しない遠隔地に存在する装置と通信し、プログラムやデータなどを読み込んだり、書き込んだりする。

また、ディスプレイ１０５などがインターフェイスを介して接続された構成でもよい。

画像は周辺機器インターフェイス１０８、あるいは外部記憶装置１０４に保存されているあらかじめ読み取られたもの、あるいは、他の画像入力装置からネットワークインターフェース１０９を介して受信されたものなどである。

図１に示す構成の画像処理装置が実行する、遠近歪み補正のための情報抽出処理を図２のフローチャートを用いて説明する。

Ｓ２０１で、Ｓ２０２以降の処理が所定回数行われたかの判断を行う。所定回数以下ならＳ２０２に進む。

Ｓ２０２では文書画像の中から検知位置を決定する。これは事前に決めた方法で決定すればよく、ランダムに決めてもあるいは等間隔としてもよい。

Ｓ２０３で、決定された検知位置での行方向を決定する。例えば画素塊を抽出し、それぞれの画素塊の間隔を求め、左右方向の画素塊同士が近ければ行方向は水平方向とし、上下方向の画素塊同士が近ければ垂直方向とする。

Ｓ２０４で、検知位置付近に後述する処理を行うための検知窓を設定する。検知窓の大きさは事前に決定しておく。

Ｓ２０５で検知窓に含まれる画素を行方向に射影し、行射影を取り出す。射影の大きさから文字サイズを推定することが可能なので、検知窓の大きさを推定された文字サイズで変更してもよい。最初に設定された検知窓に対し行方向に隣接した検知窓を設定する。新たな検知窓からも行射影を取り出し、元の行射影との連続性を確認する。行射影の連続性を確認しながら両方の検知窓を行方向にずらし、できる限り両検知窓を離して配置する。

Ｓ２０６では、２つの検知窓から抽出された行射影の位置と行高さを記憶する。

図３は、検知窓とそこから抽出される行射影の様子を示したものである。撮影された文書画像３０１に対し、検知窓３０２、３０３を取る。検知窓に文字行が含まれると行射影３０４が抽出される。

すべての検知位置で処理が終了したら、記憶した行射影の位置と高さから、Ｓ２０７で１組の検知窓の、同一行と判断された行高さと位置の変化から、遠近歪みの消失点となる位置を決定する。行は遠方になるほど高さが小さくなっていくため、同一行の２つ以上行射影上部の座標から、行射影上部の座標位置を示す一次式が求まる。同様に行射影下部の座標から同様に一次式が求まる。両一次式の交差する点が消失点となる。同一行の射影上部の座標が３点以上あれば、最小自乗法などにより一次式が求まる。１組の検知窓に複数の行射影が存在し、しかも複数の検知窓の組みを用いているので、平均値などを使用して消失点の位置の精度を向上することができる。

Ｓ２０８では、行と垂直方向の消失点を決定する。同一検知窓内の行であっても、遠方の行の高さが小さくなることを利用して、同一検知窓内の行高さの変化から、行と垂直方向の消失点までの距離を求めることができる。これは、行高さと位置の示す一次式を求め、行高さが０となる位置を求めればよい。Ｓ２０７で、既に行方向の消失点が求まっているため、３次元上に原稿が存在する面が特定できている。行と垂直方向の消失点までの距離により、原稿が存在する行方向の消失点からの距離が決定され、既に求められている行の傾きから水平方向からのずれ量が決定される。その結果、行に垂直方向の消失点も決定される。

このようにＳ２０７、Ｓ２０８で得られた情報から、撮影された画像の遠近の歪みを補正する。補正方法については従来例で使用されている公知技術を用いることで可能である。

例えば、被写体におけるあおり歪みを補正するための変換を行う。射影変換行列をＢとすると

射影変換式は

射影変換行列Ｂは以下のように求まる。

焦点距離ｆとしたとき、消失点１および消失点２を

なるベクトルで表すと、被写体面の向きはベクトルｖ1、ベクトルｖ2の両方に直交し、

なる単位ベクトルnで表すことができる。

あおり歪みの補正はベクトルｎを法線ベクトルとする平面にすることである。光軸をベクトルｎに一致させる座標変換を示す回転行列Ｒは

が成り立つ。回転行列Ｒを

と定義する。これは、最初にｙ軸周りに角度β回転し、回転により得られた新たな座標系のｘ軸周りに角度α回転する。

ベクトルｎを

以上により、回転角は以下のように導かれる。

この回転角より回転行列Ｒを一意に定めることができる。この回転行列Ｒを用いて画像面上の任意の点（ｘ，ｙ，ｆ）を被投影面上の点（ｘ’，ｙ’，ｚ’）に変換するには、

ただし、ｋは補正画像の大きさを示す係数であり、ｓは変換後のベクトルｚ’をｋにするための定数である。

これらにより、射影変換行列を、

とすればよい。

以上説明したように、本実施形態により、その一部の画像情報を用いることで少ないメモリと計算量で遠近の歪みがある文書画像の補正情報を取得できる効果がある。

なお、上記実施例では、本発明を実施するための最低限の構成要件で説明を行っているが、例えば汎用コンピュータに、本発明を実施する処理を行うプログラム等のデータを外部から提供し、あるいは、あらかじめ外部記憶１０７に記憶しておき、ＲＡＭ１０３に格納するように構成されていてもよい。また、あらかじめ外部記憶１０７に記憶した入力画像を処理するように構成されていてもよい。

図４は本発明に係る画像処理装置で読みだし可能な各種データ処理プログラムを格納する記憶媒体のメモリマップを説明する図である。

本発明の実施形態に係る画像処理装置のブロック図である。実施形態１に係る遠近歪み画像を自動的に補正する処理を説明するフローチャートである。実施形態１に係る検知窓とそこから抽出される行射影を説明する図である。本発明に係る画像処理装置で読みだし可能な各種データ処理プログラムを格納する記憶媒体のメモリマップを説明する図である。

符号の説明

１０１ＣＰＵ
１０２ＲＯＭ
１０３ＲＡＭ
１０４外部記憶装置
１０５ディスプレイ
１０６キーボード
１０７ポインティングデバイス
１０８スキャナ部
１０９ネットワークインターフェース

Claims

斜めから見た文書画像から複数の部分画像を決定する手段、複数の部分画像から行射影を取得する手段、取得した射影情報から行高さを決定し、行高さの変化から歪みを補正するための情報を取り出す手段、取り出された補正情報を用いて、文書画像を補正する手段を有することを特徴とする画像処理装置。
複数の部分画像は、行射影取得手段で得られた射影の連続性を検査しながら決定することを特徴とする請求項１に記載の画像処理装置。
複数の部分画像を決定する手段で得られた部分画像の組を、複数組用いて歪みを補正するための情報を決定することを特徴とする請求項１に記載の画像処理装置。
複数の部分画像にまたがる同一行の行射影の高さの変化から、歪みを補正するための情報を決定することを特徴とする請求項１に記載の画像処理装置。
部分画像内にある複数の行射影の高さの変化から、歪みを補正するための情報を決定することを特徴とする請求項１に記載の画像処理装置。
斜めから見た文書画像から複数の部分画像を決定する工程、複数の部分画像から行射影を取得する工程、取得した射影情報から行高さを決定し、行高さの変化から歪みを補正するための情報を取り出す工程、取り出された補正情報を用いて、文書画像を補正する工程を有することを特徴とする画像処理方法。
複数の部分画像は、行射影取得工程で得られた射影の連続性を検査しながら決定することを特徴とする請求項６に記載の画像処理方法。
複数の部分画像を決定する工程で得られた部分画像の組を、複数組用いて歪みを補正するための情報を決定することを特徴とする請求項６に記載の画像処理方法。
複数の部分画像にまたがる同一行の行射影の高さの変化から、歪みを補正するための情報を決定することを特徴とする請求項６に記載の画像処理方法。
部分画像内にある複数の行射影の高さの変化から、歪みを補正するための情報を決定することを特徴とする請求項６に記載の画像処理方法。
請求項６〜１０のいずれかに記載の画像処理方法をコンピュータによって実現させるためのコンピュータ実行可能プログラム。
請求項６〜１０のいずれかに記載の画像処理方法をコンピュータによって実現させるためのコンピュータ読取可能なプログラムを格納する記憶媒体。