JP2010271873A - 画像の傾き角検出方法 - Google Patents

Abstract

【課題】斜線を含んだ画像であっても、画像の傾き角を正しく検出する方法、およびこれを用いた読取画像の傾き補正方法を提供する。
【解決手段】本発明による読取画像の傾き角検出方法は、読取画像１１の傾き角を検出する方法であって、読取画像１１を空間周波数変換するステップと、変換された空間周波数に基づいて、直流を原点とし、該原点を中心とした関心領域１３内で、水平周波数成分１４、垂直周波数成分１５のいずれかを基準とした偏角θ毎にパワースペクトル１２の積分値を算出するステップと、算出されたパワースペクトル１２の積分値と、更に偏角θが直交するパワースペクトル１２の積分値とを演算処理して、パワースペクトル１２の直交成分相関値を算出するステップと、算出したパワースペクトル１２の直交成分相関値のうちから最大値１７を与える偏角θを検出して、読取画像１１の傾き角を特定するステップとを有する。
【選択図】図１

Description

本発明は、例えばコピー機等の画像読取装置において、読取基準方向から傾いて撮影された読取画像の傾き角を検出する方法、およびこれを用いた読取画像の傾き補正方法に関する。

上記のような画像傾き角検出方法に関する先行技術として、次の特許文献１には、画像データを入力し、この画像データをフーリエ変換することにより、パワースペクトルを求め、そのパワースペクトルのピーク位置（主軸）を検出し、このピーク位置に基づいて回転角度を検出するようにした方法が開示されている。

特開2003-97930号公報

特許文献１の方法によれば、画像データをフーリエ変換して得たパワースペクトルで、最大ピークを与える回転角度を検出している。従って、その画像データが水平に近い線、あるいは垂直に近い線を多く含んだものであれば、得られた回転角に基づいて画像データを傾き補正することで、それらの線が水平、あるいは垂直に補正された良好な結果が得られる。しかしながら、画像データが斜線等を多く含んでいるような場合は、その斜線を水平、あるいは垂直に補正してしまうことになるため、望ましい結果は得られない。

そこで、本発明は、斜線を含んだ画像であっても、画像の傾き角を正しく検出できる傾き角検出方法、およびこれを用いた読取画像の傾き補正方法を提供することを課題とする。

本発明による傾き角検出方法は、読取画像の傾き角を検出する方法であって、読取画像を空間周波数変換するステップと、変換された空間周波数に基づいて、直流を原点とし、該原点を中心とした関心領域内で、水平周波数成分、垂直周波数成分のいずれかを基準とした偏角毎にパワースペクトルの積分値を算出するステップと、算出されたパワースペクトルの積分値と、更に偏角が直交するパワースペクトルの積分値とを演算処理して、パワースペクトルの直交成分相関値を算出するステップと、算出したパワースペクトル直交成分相関値のうちから最大値を与える偏角を検出して、前記読取画像の傾き角を特定するステップとを有する。なお、上記演算処理は、積分値同士の加算処理を含んでいてもよく、乗算処理を含んでいてもよい。

ここに、前記読取画像は、原画像の空間周波数の規則性を阻害しない程度の前処理が施されていてもよい。前処理の例としては、例えば、解像度変換がある。偏角検出の対象となる図形、模様の変形等は、原画像の空間周波数の規則性を大きく変えるので、前処理とするには不適当である。しかしながら、偏角検出の対象となる図形、模様の範囲を限定すべく、読取画像の一部を切り出す処理を施してもよい。ただし、この場合も、偏角検出の対象となる図形、模様については、空間周波数の規則性を維持しておく必要がある。

なお、前記パワースペクトルには、所定のフィルタ処理を施してから、積分値を算出してもよい。フィルタ処理には、例えば、ローパスフィルタ、バンドパスフィルタ、ガウス分布ローパスフィルタ等がある。

そして、本発明による読取画像の傾き補正方法は、読取画像を空間周波数変換するステップと、変換された空間周波数に基づいて、直流を原点とし、該原点を中心とした関心領域内で、水平周波数成分、垂直周波数成分のいずれかを基準とした偏角毎にパワースペクトルの積分値を算出するステップと、算出されたパワースペクトルの積分値と、更に偏角が直交するパワースペクトルの積分値とを演算処理して、パワースペクトルの直交成分相関値を算出するステップと、算出したパワースペクトル直交成分相関値のうちから最大値を与える偏角を検出して、前記読取画像の傾き角を特定するステップと、特定した傾き角と、上記基準線との角度差分に応じて、上記読取画像を回転させて、傾きを補正するステップとを有する。

本発明による傾き補正方法は、次のようなプログラムによって実行することができる。すなわち、本発明による読取画像の傾き補正プログラムは、画像読取読手段によって原画像を読み取り、空間周波数変換するステップと、変換された空間周波数に基づいて、直流を原点とし、該原点を中心とした関心領域内で、水平周波数成分、垂直周波数成分のいずれかを基準とした偏角毎にパワースペクトルの積分値を算出するステップと、算出されたパワースペクトルの積分値と、更に偏角が直交するパワースペクトルの積分値とを演算処理して、パワースペクトルの直交成分相関値を算出するステップと、算出したパワースペクトル直交成分相関値のうちから最大値を与える偏角を検出して、前記読取画像の傾き角を特定するステップと、検出した傾き角と、上記基準線との角度差分に応じて、上記読取画像を回転させて、傾きを補正するステップとを備える。そして、本発明による画像処理装置は、上記プログラムを内蔵したものであり、画像処理装置の例は、コピー、スキャナー、ＦＡＸ複合機等がある。

本発明によれば、偏角毎にパワースペクトルの積分値を算出し、算出されたパワースペクトルの積分値と、更に偏角が直交するパワースペクトルの積分値とを演算処理して、パワースペクトルの直交成分相関値を算出し、更に、算出したパワースペクトル直交成分相関値のうちから最大値を与える偏角を検出して、読取画像の傾き角を特定する。

読み取った読取画像が、矩形状の輪郭線、枠線、罫線、漢字文字の縦横線等、互いに直交した直線からなる図形、模様を含んでおれば、それらに関連した直交成分相関値が最大になることから、その直交成分値相関値を与える偏角が検出され、その偏角が読取画像の傾き角として特定される。すなわち、これらの図形、模様に基づいて傾き角が特定されることになる。従って、その傾き角に基づいて、読取画像を傾き補正すれば、多くの場合、輪郭線、枠線、罫線、漢字文字の縦横線等が、垂直あるいは水平に整列した良好な補正画像が得られる。

これに対して、読取画像が複数の斜線等を含んでいる場合、その斜線に直交する直線がなければ、その斜線に関連した直交成分相関値は大きな値とはならず、その斜線に基づいて傾き角が特定されることはない。従って、本発明による方法によって特定した傾き角に基づいて、読取画像を傾き補正しても、読取画像に含まれた斜線を、垂直あるいは水平に整列させてしまうことはない。なお、このような斜線を垂直あるいは水平に整列させた補正画像は、望ましいものではない。上記特許文献１の技術でも、望ましい結果は得られないことは同様である。

本発明による方法は、輪郭線、枠線、罫線等を含んだ画像において特に有効であるが、風景写真等も、建物の輪郭等、相互に直交した直線を含むので、本発明による方法が適用できる。また、文書ドキュメントは、漢字を含んだテキストからなるが、漢字は、文字自身が、多くの縦線、横線からできていることが多いため、このような漢字の縦線、横線に関連した直交成分相関値は、大きな値となるので、本発明による方法によって、傾き角を正しく検出することができる。

読取画像は、原画像の空間周波数の規則性を阻害しない程度の前処理が施されていてもよいが、その前処理として解像度変換によって低解像度化した場合は、計算量を減らして処理を高速化させることができる。また、グレー化することで、本発明をカラー画像にも適用できる。

パワースペクトルには、所定のフィルタ処理を施してから、積分値を算出してもよいが、そのフィルタ処理として、ローパスフィルタを施せば、読取画像中の比較的大きな図形、模様等だけを対象として、読取画像の傾き角を検出することになる。一方、バンドパスフィルタを施せば、特定の範囲の大きさの図形、模様等だけを対象として読取画像の傾き角を検出することになる。従って、フィルタ処理によって、図形、模様の大小を考慮して傾き角検出を行うことが可能になる。例えば、高い周波数成分で表現される印刷物の網点処理の影響や、細かいノイズなどの影響を減らすこともできる。

本発明による読取画像の傾き補正方法を実行するプログラムによれば、読取画像の傾き補正を簡単に行える。また、このプログラムを内蔵した画像処理装置は、読取画像の種別、つまり図形を含んだもの、文字を含んだもの、風景写真を含んだもの等に関わらず、傾き角を自動的に特定して、傾き補正することができる。また、人手によって、読取画像に基準線等を設定する必要がないので、手間も掛からない。

は、本発明の手順を示したフローチャートである。 は、パワースペクトルの積分値を算出する際の関心領域の一例である。 は、パワースペクトルの直交成分相関値の算出を説明する図面である。 は、傾き補正前の読取画像の具体的な例である。 は、図４の読取画像をフーリエ変換して得られたパワースペクトルである。 は、直交成分相関値のヒストグラムである。 は、傾き補正後の読取画像の例である。 （ａ）は、ローパスフィルタのイメージ図、（ｂ）は関数グラフである。 （ａ）は、バンドパスフィルタのイメージ図、（ｂ）は関数グラフである。 （ａ）は、ガウス分布ローパスフィルタのイメージ図、（ｂ）は関数グラフである。

本発明は、例えばコピー機等の画像読取装置において、読取基準方向から傾いて撮影された読取画像１１の傾き角検出方法を提供するものである。この方法によって検出した傾き角θは、傾き補正処理（画像の回転処理）の際に参照される。

この傾き角検出方法は、図１のフローチャートに示しているように、基本的な手順として、読取画像１１をフーリエ変換等によって空間周波数変換するステップ（Ｓ１０１）と、変換された空間周波数に基づいて、直流を原点としたパワースペクトル１２を生成するステップ（Ｓ１０２）と、このパワースペクトル１２の原点を中心とした関心領域１３内で、水平周波数成分１４、垂直周波数成分１５のいずれかを基準とした偏角θ毎にパワースペクトル１２の積分値を算出するステップ（Ｓ１０２〜Ｓ１０５）と、算出されたパワースペクトル１２の積分値と、更に偏角θが直交するパワースペクトル１２の積分値とを演算処理して、パワースペクトル１２の直交成分相関値を算出するステップ（Ｓ１０６〜Ｓ１０８）と、算出したパワースペクトル１２の直交成分相関値のうちから最大値を与える偏角θを検出して、読取画像１１の傾き角を特定するステップとを有している（Ｓ１０９、Ｓ１１０）。なお、上記演算処理は、積分値同士の加算処理を含んでいてもよく、乗算処理を含んでいてもよく、積分値同士の相関性が数値化されるならば、特に限定されない。

上記方法によって得られた傾き角θは、傾き補正処理において利用できる。すなわち、上記方法によって、傾き角を特定した後、特定した傾き角が、０°あるいは９０°（水平周波数成分１４、垂直周波数成分１５のいずれを基準としたかによる）になるように、上記読取画像１１を回転させて、傾きを補正するステップ実行することで、傾き補正ができる。

ここで、読取画像１１が、矩形状の輪郭線、枠線、罫線、漢字文字の縦横線等、互いに直交した直線からなる図形、模様を含んでおれば、それらに関連した直交成分相関値が最大になることから、その直交成分相関値を与える偏角θが検出され、その偏角θが読取画像１１の傾き角として特定される。すなわち、これらの図形、模様に基づいて傾き角が特定されることになる。従って、その傾き角に基づいて、傾き補正すれば、多くの場合、輪郭線、枠線、罫線、漢字文字の縦横線等が、垂直あるいは水平に整列した良好な補正画像が得られる。

これに対して、読取画像１１が複数の斜線等を含んでいる場合、その斜線に直交する直線がなければ、その斜線に関連した直交成分相関値は大きな値とはならず、その斜線に基づいて傾き角が特定されることはない。従って、本発明による方法によって特定した傾き角に基づいて、傾き補正しても、読取画像１１に含まれた斜線を、垂直あるいは水平に整列させてしまうことはない。なお、このような斜線を垂直あるいは水平に整列させた補正画像は、望ましいものではない場合が多い。

本発明による方法は、輪郭線、枠線、罫線等を含んだ画像において特に有効であるが、風景写真等も、建物の輪郭等、相互に直交した直線を含むので、本発明による方法が適用できる。また、文書ドキュメントは、漢字を含んだテキストからなるが、漢字は、文字自身が、多くの縦線、横線からできていることが多い。このような漢字の縦線、横線に関連した直交成分相関値は、大きな値となるので、本発明による方法によって、傾き角を正しく検出することができる。

図２は、パワースペクトル１２の積分値を算出する際の関心領域１３の一例で、パワースペクトル１２の原点を中心として、水平周波数成分１４、垂直周波数成分１５の前後に扇状の関心領域１３、１３´が設定されている。なお、１２ａは、パワースペクトル１２中に表出したスペクトル像である。

図３は、パワースペクトル１２の直交成分相関値の算出を説明する図面で、この例の関心領域１３、１３´（１３から９０°進んだ領域）から、直交成分相関値として、相互に直交した太線部分１６から算出された積分値同士が演算処理される。演算処理は、それらの積分値間の加算であってもよいし、乗算であってもよい。それらの積分値間の相関性を数値化できるならば、演算処理を特に限定しない。

図４は、傾き補正前の読取画像１１の具体的な例であって、文字、図形、罫線等を含んでいる。ここに、読取画像１１は、多値の灰色（グレー）画像を想定している。すなわち、各画素は、所定範囲の濃度情報として、例えば０〜２５５の値を有する。そのような読取画像１１であれば、そのまま入力用データとしてもよい。しかしながら、原稿の撮影後に所定の画像処理を施してから、入力用データとしてもよい。具体的には、読取画像１１がカラー画像であれば、灰色化すべきである。また、計算量を少なくするために、解像度を下げてもよい。本発明による画像の傾き角検出処理では、解像度を下げた画像、すなわち、文字が判読不可能になっても、原画像の空間周波数成分の情報が維持されていれば、検出される傾き角θにほとんど誤差が生じない。

偏角検出の対象となる図形、模様の変形等は、原画像の空間周波数の規則性を大きく変えるので、上記画像処理とするには不適当である。しかしながら、偏角検出の対象となる図形、模様の範囲を限定すべく、読取画像１１の一部を切り出す処理を施してもよい。ただし、この場合も、偏角検出の対象となる図形、模様については、空間周波数の規則性を維持しておく必要がある。

空間周波数変換としては、処理速度の観点から、一般に高速フーリエ変換（Fast Fourier Transform, FFT）として知られているアルゴリズムを用いることが望ましい。近時、このアルゴリズムに基づいたコンピュータプログラムが、ソフトウェアベンダあるいは半導体ベンダから入手可能である。なお、フーリエ変換の代わりに、コサイン変換を行ってもよい。

本発明は、画像読取装置による読取画像１１を対象としているので、空間周波数変換は、２次元で実行される。一般に、２次元画像信号を ｆ [m,n] 、画素数をM×Nとすると、２次元フーリエ変換は次式として表される。なお、次式は離散フーリエ変換になっている。

式１

これに、各行（ｎ＝0,1,2,…,N-1）について１次元フーリエ変換を行い、その結果に対して各列（ｋ＝0,1,2,3,…,M-1）について１次元フーリエ変換を行えばよい。

図５は、図４の読取画像１１をフーリエ変換して得られたパワースペクトル１２の例で、直流を原点としたものである。読取画像１１の全体を横断するような長い直線は、デルタ関数をフーリエ変換すると、同一方向の振動関数を全ての周波数に渡って重ね合わせたものになることから容易に想像できるように、原点を通過する直線のパワースペクトル像として現れる。なお、読取画像１１における直線の方向と、そのパワースペクトル像の方向は、９０°で交差する関係にある。また、読取画像１１上の比較的短い直線は、有限な長さを有していることから、原点を通過する直線のパワースペクトル像と、原点を通過しない直線のパワースペクトル像とに分解される。

パワースペクトル１２は、そのグラフ上の水平周波数成分１４、垂直周波数成分１５が横、縦の座標軸となっており、その座標軸との偏角θが規定できる。この偏角θ毎に、原点から径方向にパワースペクトルの値を積分処理すれば、偏角θに対するパワースペクトル１２の積分値を算出できる。

パワースペクトル１２の積分値は、パワースペクトル１２の原点を中心とした関心領域１３で算出するが、この算出の前に、パワースペクトル１２に対して、所定のフィルタ処理を施してもよい。このフィルタ処理については後述する。

図６のヒストグラム１６は、上記のようにして得た積分値の中で、偏角θ毎に、該角度における積分値と、該角度から９０°ずれた角度における積分値とを演算処理（ここでは加算処理）して、該偏角θにおける直交成分相関値とし、その直交成分相関値を、偏角θ順に並べたものである。ヒストグラム１６では、水平周波数成分１４の位置が０°になっており、ここでは、関心領域の範囲に対応して、―４０°〜４０°（左周りがプラス）の偏角の中から、傾き角を検知する。

読取画像１１の傾き角θは、図６のヒストグラム１６で最大ピーク２１を与える偏角θを選択すればよい。ここで、０°すなわち、水平周波数成分１４の位置と、最大値１７の位置との間隔が傾き角となる。図６のヒストグラム１６において、最大値１７は、水平周波数成分（０°）に対してややプラスの位置（右側）にある。

なお、画像読取装置では、通常の使用形態において、読取画像１１が読取基準方向から大きく傾いて撮影されることはない。従って、読取画像の傾き角は、読取基準方向から前後方に予め設定された関心領域１３内で検出することが望ましい。このようにすれば、極端な傾き角を除外して傾き角検出の処理を行うことになるので、計算量が少なくて済み、高速化できる。

例えば、傾き角が１４°であれば、傾き補正処理では、−１４°の回転処理がなされる。なお、傾き補正処理としては、アフィン変換を用いることができる。アフィン変換後の画素の位置は一般に実数になるため、補間等によって、正規の位置に表示すべき画素を算出することが必要である。

図７は、読取画像１１を傾き補正処理した補正画像１８を示している。ここでは、傾き補正処理によって、水平枠線１２ａ、垂直枠線１２ｂが、水平あるいは垂直になっていることが判る。

次いで、上記パワースペクトル１２に施すフィルタ処理を説明する。フィルタ処理は、例えば、次のようなローパスフィルタ、バンドパスフィルタ、ガウス分布ローパスフィルタ等が考えられる。

図８は、ローパスフィルタを視覚的に示した図面である。このフィルタ関数は、原点を中心とした円状領域内では、値「１」となり、円状領域外では、値「０」となる。フィルタ処理では、パワースペクトル１２の各位置での値に、フィルタ関数の該位置での値との乗算を行う。

図９は、バンドパスフィルタを視覚的に示した図面である。このフィルタ関数は、原点を中心とした環状領域内では、値「１」となり、環状領域外では、値「０」となる。フィルタ処理の方法は、上記と同様である。

図１０は、ガウス分布ローパスフィルタを視覚的に示した図面である。このフィルタ関数は、原点から遠ざかる程、より小さな値となる。フィルタの効果としては、ローパスフィルタに類似している。

例えば、文字列からなる読取画像１１の場合、文字列の概輪郭を線と見なして処理するには、フィルタ処理によって、周波数の低い領域を選択すればよい。すなわち、パワースペクトル１２にローパスフィルタを施してから、偏角θ毎に積分値を算出すればよい。一方、文字列の個々の文字における縦線、横線を対象として処理するには、周波数の高い領域を選択すればよい。すなわち、パワースペクトル１２にバンドパスフィルタを施してから、偏角θ毎に積分値を算出すればよい。

このように、パワースペクトル１２にフィルタ処理を施すことは、検出の対象となる図形、模様、文字の細かさを絞り込むことに相当する。

本発明による読取画像１１の傾き補正は、コンピュータ用のプログラムとすることができる。すなわち、そのプログラムは、画像読取読手段によって原画像を読み取り、空間周波数変換するステップと、変換された空間周波数に基づいて、直流を原点とし、該原点を中心とした関心領域１３内で、水平周波数成分１４、垂直周波数成分１５のいずれかを基準線とした偏角θ毎にパワースペクトル１２の積分値を算出するステップと、算出されたパワースペクトル１２の積分値と、更に偏角θが直交するパワースペクトル１２の積分値とを演算処理して、パワースペクトル１２の直交成分相関値を算出するステップと、算出したパワースペクトル１２の直交成分相関値のうちから最大値を与える偏角θを検出して、読取画像１１の傾き角を特定するステップと、特定した傾き角と、上記基準線との角度差分に応じて、読取画像１１を回転させて、傾きを補正するステップを有している。

従って、パーソナルコンピュータあるいはワークステーションの記憶装置に上記コンピュータ用のプログラムを蓄積しておき、他の装置から取り込んだ読取画像１１を、そのプログラムによって処理するようにすれば、このコンピュータを、読取画像１１の傾き補正処理するための画像処理装置として利用できる。また、上記コンピュータプログラムは、コピー、スキャナー、ＦＡＸなどの画像処理装置、それらの複合機能を備えた複合機に組み込んで利用してもよい。

１１ 読取画像
１２ パワースペクトル
１３ 関心領域
１４ 水平周波数成分
１５ 垂直周波数成分
１６ ヒストグラム
１７ 最大値
θ 偏角

Claims (6)

1. 読取画像の傾き角を検出する方法であって、
   読取画像を空間周波数変換するステップと、
   変換された空間周波数に基づいて、直流を原点とし、該原点を中心とした関心領域内で、水平周波数成分、垂直周波数成分のいずれかを基準とした偏角毎にパワースペクトルの積分値を算出するステップと、
   算出されたパワースペクトルの積分値と、更に偏角が直交するパワースペクトルの積分値とを演算処理して、パワースペクトルの直交成分相関値を算出するステップと、
   算出したパワースペクトル直交成分相関値のうちから最大値を与える偏角を検出して、前記読取画像の傾き角を特定するステップとを有した画像の傾き角検出方法。
2. 請求項１において、
   前記読取画像は、原画像の空間周波数の規則性を阻害しない前処理が施されていることを特徴とした画像の傾き角検出方法。
3. 請求項１または２において、
   前記パワースペクトルには、所定のフィルタ処理を施すことを特徴とした画像の傾き角検出方法。
4. 読取画像を空間周波数変換するステップと、
   変換された空間周波数に基づいて、直流を原点とし、該原点を中心とした関心領域内で、水平周波数成分、垂直周波数成分のいずれかを基準とした偏角毎にパワースペクトルの積分値を算出するステップと、
   算出されたパワースペクトルの積分値と、更に偏角が直交するパワースペクトルの積分値とを演算処理して、パワースペクトルの直交成分相関値を算出するステップと、
   算出したパワースペクトル直交成分相関値のうちから最大値を与える偏角を検出して、前記読取画像の傾き角を特定するステップと、
   特定した傾き角と、上記基準線との角度差分に応じて、上記読取画像を回転させて、傾きを補正するステップとを備えたことを特徴とした、読取画像の傾き補正方法。
5. 画像読取読手段によって原画像を読み取り、空間周波数変換するステップと、
   変換された空間周波数に基づいて、直流を原点とし、該原点を中心とした関心領域内で、水平周波数成分、垂直周波数成分のいずれかを基準とした偏角毎にパワースペクトルの積分値を算出するステップと、
   算出されたパワースペクトルの積分値と、更に偏角が直交するパワースペクトルの積分値とを演算処理して、パワースペクトルの直交成分相関値を算出するステップと、
   算出したパワースペクトル直交成分相関値のうちから最大値を与える偏角を検出して、前記読取画像の傾き角を特定するステップと、
   検出した傾き角と、上記基準線との角度差分に応じて、上記読取画像を回転させて、傾きを補正するステップとを備えたプログラム。
6. 請求項５に記載されたプログラムを内蔵している画像処理装置。

Images