JP2008011135A - 画像処理装置および画像処理プログラム - Google Patents

Abstract

【課題】画像全体に対してハフ変換処理やヒストグラム生成処理を行う構成を採ると、２値化画像にＯＮ画素数が多い場合に、ハフ変換処理の際の演算処理に時間がかかることになるために、スキュー角検出の処理速度が遅くなる。
【解決手段】２値化画像において連続する画素に対してラベリング部２０２によって同一ラベルを付与して連続画素群とし、複数の連続画素群のうち、特徴量が所定基準を満たす連続画素群を特定画素群抽出部２０３によって特定画素群として抽出し、この抽出した特定画素群のみを用いて、ハフ変換部２０５および角度算出部２０６によってハフ変換によるスキュー角検出を行う。そして、この検出したスキュー角を基に、スキュー補正部２０７によって入力画像に対するスキュー補正を行う。
【選択図】図２

Description

本発明は、画像処理装置および画像処理プログラムに関し、特に画像読み取りの際に傾いて読み込まれた文書画像の傾き角度を検出し、その傾き補正を行う画像処理装置および画像処理プログラムに関する。

文書画像をイメージスキャナで読み取った際に得られる画像データや、ファクシミリ装置が受信する画像データを解析し、文書画像から領域の切り出しを行うとともに、文書中に含まれる画像の種類や属性を判別し、そのうち文字と判別された領域に対しては文字認識処理を施し、画像として読み取った文書から文字あるいは文章を抽出する技術が知られている。

この種の画像処理の分野において、領域の切り出しや文字認識などの処理を正しく実行するためには、イメージスキャナや送信側のファクシミリ装置で読み取った文書画像に傾きが無いことが前提となる。したがって、読み込まれた画像に傾きがある場合には、領域の切り出しや文字認識などの処理を行う前処理として、画像の傾き角度（以下、「スキュー角」と記述する）を検出してその傾きを補正する、いわゆるスキュー（ｓｋｅｗ）補正を行う必要がある。

従来、文書画像のスキュー角を検出し、その検出結果を基にしてスキュー補正を行う技術として、ハフ（Ｈｏｕｇｈ）変換を用いた技術が知られている（例えば、特許文献１参照）。この特許文献１記載の従来技術では、スキュー角の検出に当たって次のような処理を行うようにしている。

先ず、入力画像に対してフィルタリング処理を行い、当該フィルタリング処理によって濃淡差が強調された画像に対して２値化処理を行い２値画像を生成する。次に、生成した２値画像の各画素に対してハフ変換を行い、ハフ空間上にヒストグラムを作成し、ハフ空間上で頻度が所定の閾値以上となる座標を抽出する。そして、抽出した座標をグループ化した後、グループごとに代表点座標を抽出し、抽出した座標から画像のスキュー角を推定する。

また、特許文献１には、ハフ空間上で頻度が所定の閾値以上となる座標を抽出した後、抽出した座標の個数を角度ごとに積算してヒストグラムを生成し、頻度が最大となる角度を画像のスキュー角として推定する技術も記載されている。

特開平１１−３２８４０８号公報

しかしながら、上述した従来技術では、文書画像全体に対してハフ変換処理やヒストグラム生成処理を行う構成を採っているために、２値化画像にＯＮ画素（例えば、白を背景としたときの黒画素）の画素数が多いと、ハフ変換処理の際の演算処理に時間がかかることになるために、スキュー角検出の処理速度が遅くなるという問題がある。具体的には、ＯＮ画素数が少ない画像、例えば縮小画像の場合は、画像全体に対してハフ変換処理を行ってもスキュー角検出の処理速度へのインパクトがそれほど大きくないが、元解像度の画像の場合は、ＯＮ画素数が多く、演算処理に時間がかかるために、スキュー角検出の処理速度へのインパクトが大きい。

また、画像全体に対してハフ変換処理を行うことにより、無用のＯＮ画素に対してもスキュー角検出の処理が行われることになるために、場合によっては、スキュー角の誤検出が発生することもある。

スキュー角検出の処理速度を向上させるために、２値画像の輪郭を抽出することによってＯＮ画素数を減らし、輪郭画素の座標を基にスキュー角を検出する手法も考えられる。しかし、この手法を採ると、ＯＮ画素数が減ることによって演算の処理時間を短縮できるために、スキュー角検出の処理速度を向上できる反面、演算対象のＯＮ画素数が減ることによって検出精度が低下するという問題がある。

本発明は、上記課題に鑑みてなされたものであって、その目的とするところは、ハフ変換を用いた技術によってスキュー角を検出する処理において、検出精度を低下させることなく、スキュー角検出の処理速度の向上を可能にした画像処理装置および画像処理プログラムを提供することにある。

上記目的を達成するために、本発明は、次のような構成を採っている。すなわち、入力画像を２値化した２値画像において連続する画素に対して同一ラベルを付与し、この同一ラベルが付与された連続画素群のうち、特徴量が所定基準を満たす連続画素群を特定画素群として抽出する。そして、この抽出した特定画素群に対してハフ変換による角度検出を行い、この検出した角度（スキュー角）を基に入力画像に対するスキュー補正を行うようにする。

スキュー角検出・補正を行う画像処理において、ハフ変換を用いた技術によって入力画像のスキュー角を検出するのに最もふさわしく、最も簡単で、最も精度が高い図形は、例えば、長い直線や細長い矩形、あるいは大きめの矩形である。そこで、特定画素群として抽出する所定基準を適宜設定することで、特定画素群として直線や細長い矩形、あるいは大きめの矩形などの図形を形成する連続画素群を抽出できる。そして、この抽出した特定画素群に対してハフ変換による角度検出を行ってスキュー角を検出することで、スキュー角の検出に最もふさわしく、最も簡単で、最も精度が高い図形を形成する連続画素群に対してのみハフ変換処理が行われることになる。

また、上記目的を達成するために、本発明は、入力画像を２値化した２値画像の輪郭を示す画素を抽出し、この輪郭抽出した２値画像データに対するハフ変換処理によって前記入力画像の傾き角度を段階的に検出するとともに、多段階の角度検出処理の相互間において前段の角度検出処理でのハフ変換処理による極座標空間中で頻度の多い１つ以上のポイントを基にｘ−ｙ平面上での有用画素群を抽出して後段の角度検出処理に渡す。そして、最終段の角度検出処理で検出した角度（スキュー角）を基に入力画像に対するスキュー補正を行うようにする。

上記のスキュー角検出・補正処理において、輪郭抽出した２値画像データに対してハフ変換処理を実施後、ハフ変換処理による極座標空間中で頻度の多い１つ以上のポイントを基にｘ−ｙ平面上での有用画素群を抽出することで、当該有用画素群として直線や細長い矩形、あるいは大きめの矩形などの図形を形成する画素群を抽出できる。そして、この抽出した画素群に対してハフ変換による角度検出を行ってスキュー角を検出することで、スキュー角の検出に最もふさわしく、最も簡単で、最も精度が高い図形を形成する画素群に対してのみハフ変換処理が行われることになる。

本発明によれば、画像全体に対してではなく、スキュー角の検出に最もふさわしく、最も簡単で、最も精度が高い図形を形成する連続画素群（特定画素群）に対してハフ変換処理を行うことで、スキュー角検出を高精度に行うことができ、また演算処理の対象となる画素数を最小限に抑えることができるために、演算時間を短縮できることによってスキュー角検出・補正の処理速度を向上できる。

以下、本発明の実施の形態について図面を参照して詳細に説明する。

図１は、本発明による画像処理装置を含む画像処理システムの構成例を示すブロック図である。図１に示すように、本画像処理システムは、画像データ入力部１０、画像処理部２０および画像データ出力部３０を有する構成となっている。

画像データ入力部１０は、イメージスキャナ等の画像読取装置からなり、文書原稿の画像を読み取ってその画像データを画像処理部２０に入力する。なお、イメージスキャナ等の画像読取装置で読み取った画像データをサーバなどの記憶装置に一旦格納しておくシステム構成を採る場合には、サーバが画像データ入力部１０として機能することになる。また、ファクシミリ装置にあっては、受信側のファクシミリ装置が画像データ入力部１０として機能することになる。

画像処理部２０は、本発明による画像処理装置に相当し、画像データ入力部１０から入力される画像データに基づく画像（入力画像）のスキュー角（傾き角度）を検出し、その検出角度を基に画像データに対してスキュー補正を行う。

画像処理部２０は、ＣＰＵ(Central Processing Unit:中央演算装置)２１、Ｉ／Ｏ回路２２、ＲＯＭ２３、ＲＡＭ２４およびＨＤＤ（ハードディスクドライブ）装置２５などを有し、これら構成要素がバスライン２６を介して相互に通信可能に接続された構成となっている。

ＣＰＵ２１は、演算処理を含む本画像処理部２０全体の処理の制御を行う。Ｉ／Ｏ回路２２は、画像データ入力部１０および画像データ出力部３０を含む周辺機器との入出力を管理する。ＲＯＭ２３は、ＣＰＵ２１による制御の下に実行される各種処理の処理プログラムを格納する。ＲＡＭ２４は、各種処理の実行時に使用される一次記憶装置である。ＨＤＤ２５は、ＣＰＵ２１による制御の下に処理された画像データや、外部から取り込んだ画像データなどを記憶する。

画像データ出力部３０は、画像処理部２０でスキュー補正された画像データを、次段の例えば文字認識装置などの画像処理装置（図示せず）に対して出力する。なお、画像データ出力部３０をプリンタやディスプレイ等の出力装置とその制御手段によって構成し、画像処理部２０でスキュー補正された画像データに基づく画像を印刷（記録）紙に印刷出力したり、あるいは、表示画面上に表示出力したりすることも可能である。

［第１実施形態］
図２は、本発明の第１実施形態に係る画像処理装置（画像処理部）２０Ａの機能構成例を示すブロック図である。

図２に示すように、本実施形態に係る画像処理装置２０Ａは、２値化部２０１、ラベリング部２０２、特定画素群抽出部２０３、座標抽出部２０４，ハフ（Ｈｏｕｇｈ）変換部２０５、角度算出部２０６およびスキュー補正部２０７を有する構成となっている。

２値化部２０１は、図１の画像データ入力部１０から入力される、濃淡が複数ビットで表されている画像データを、入力画像中に含まれる例えば文字や線、絵柄や写真などの前景に属する画素を画素値が論理「１」のＯＮ画素（例えば、黒画素）、背景領域に属する画素を画素値が論理「０」のＯＦＦ画素（例えば、白画素）とした各画素値が１ビットの２値画像データに２値化してラベリング部２０２に供給する。

ラベリング部２０２は、２値化部２０１で２値化された２値画像（データ）において連続する画素（具体的には、ＯＮ画素）に対して同一ラベルを付与するラベリング処理を実行する。以下、同一ラベルが付与された連続する画素の集合を連続画素群と言う。

特定画素群抽出部２０３は、ラベリング部２０２でのラベリング処理によって同一ラベルが付与された連続画素群において、その特徴量が所定基準を満たす連続画素群については特定画素群として抽出する。ここに、連続画素群の特徴量は、当該連続画素群の外接矩形サイズ（縦・横の長さや縦横比）や連続画素群の画素数などである。

特定画素群抽出部２０３における特定画素群の抽出手法としては、次のような手法が考えられる。ただし、これらは一例に過ぎず、これらに限定されるものではない。

手法１：連続画素群の外接矩形のサイズ（縦・横の長さや矩形面積）が予め決められた所定サイズ以上の連続画素群を特定画素群として抽出する。
手法２：連続画素群の外接矩形の中でサイズ（縦・横の長さや矩形面積）が一番大きい連続画素群を特定画素群として抽出する。
手法３：連続画素群の画素数が予め決められた範囲（以上なども含む）の連続画素群を特定画素群として抽出する。
手法４：連続画素群の中で画素数が最も多い連続画素群を特定画素群として抽出する。

手法５：連続画素群の外接矩形のサイズ（縦・横の長さや縦横比）と連続画素群の画素数とより直線性を算出し、その直線性が予め決められた基準を満たす連続画素群を特定画素群として抽出する。
手法６：連続画素群の外接矩形のサイズ（縦・横の長さや縦横比）と連続画素群の画素数とより直線性を算出し、最も直線性が高い連続画素群を特定画素群として抽出する。
手法７：連続画素群の外接矩形のサイズ（縦・横の長さや縦横比）と連続画素群の画素数とより直線性を算出し、最も直線性が高く、かつ、その直線性が予め決められた基準を満たす連続画素群を特定画素群として抽出する。

手法８：連続画素群の外接矩形のサイズ（縦・横の長さや縦横比）と連続画素群の画素数とより長方形度を算出し、その長方形度が予め決められた基準を満たす連続画素群を特定画素群として抽出する。
手法９：連続画素群の外接矩形のサイズ（縦・横の長さや縦横比）と連続画素群の画素数とより長方形度を算出し、最も長方形度が高い連続画素群を特定画素群として抽出する。
手法１０：連続画素群の外接矩形のサイズ（縦・横の長さや縦横比）と連続画素群の画素数とより長方形度を算出し、最も長方形度が高く、かつ、その長方形度が予め決められた基準を満たす連続画素群を特定画素群として抽出する。

このような各種手法を用いて特定画素群の抽出を行うことにより、特定画素群として、ハフ変換を用いた技術によって入力画像のスキュー角を検出するのに最もふさわしく、最も簡単で、最も精度が高い図形、例えば直線や細長い矩形、あるいは大きめの矩形を形成する連続画素群を抽出することができる。

一例として、ＣＡＤ(Computer Aided Design)で作成した図面など、線と文字が混在する文書画像の場合を例に挙げると、当該文書画像に対して例えば上記手法７を用いて特定画素群の抽出を行うことにより、線と文字が混在する文書画像から直線のみを抽出することができる。直線は、後述するハフ変換の原理から明らかなように、ハフ変換を用いた技術によって入力画像のスキュー角を検出するのに最もふさわしく、最も簡単で、最も精度が高い図形といえる。

なお、特定画素群抽出部２０３における特定画素群において、図形の包含関係より、抽出された特定画素群（図形）に包含される特定画素群については、抽出の対象から除外するようにする。

座標抽出部２０４は、特定画素群抽出部２０３によって特定画素群として抽出された連続画素群の各ＯＮ画素の座標を抽出する。

ハフ変換部２０５は、座標抽出部２０４で座標抽出された連続画素群に対して周知のハフ変換処理を行う。ここで、ハフ変換処理について説明する。ｘ−ｙ座標上における点（ｘ、ｙ）を通る直線に対し、原点からこの直線に垂線をおろし、その長さをρ、垂線がｘ軸とのなす角度をθとすると、前記直線はρ−θ座標上（極座標上）で、
ρ＝ｘｃｏｓθ＋ｙｓｉｎθ
を満たす、点（ρ、θ）に変換される。

そして、ｘ−ｙ座標上における点は複数の直線の集まり（交点）と考えると、ｘ−ｙ座標上における点（ｘ、ｙ）は、ρ−θ座標上（極座標上）では、
ρ＝ｘｃｏｓθ＋ｙｓｉｎθ（０≦θ＜π）
なる曲線の式で表すことができる。この曲線がハフ曲線であり、このハフ曲線を求める処理がハフ変換である。すなわち、直線上にある複数の点に対しハフ変換処理をおこない、ρ−θ座標上（極座標上）にハフ曲線を描いていくと、それらのハフ曲線は１点で交わることになる。

これを利用し、座標抽出部２０４によって抽出された全てのＯＮ画素の座標に対して、1つの座標ごとに上記式の角度θを０〜πまで順次変化させ、この角度θの変化に対応して得られる距離ρをρ−θ座標上にプロットしていくと、多くの曲線が交わる点、すなわちプロットされた頻度の多い点が複数存在し、この点を算出すると、画像上に存在した直線を見つけることが可能となる。そしてこの直線の傾きが、画像の傾きと考えることができる。

なお、ハフ変換処理については、必ずしも、座標抽出された連続画素群の全ＯＮ画素に対して行う必要はない。すなわち、ハフ変換部２０５の前段に間引き処理回路を設けて、連続画素群のＯＮ画素を適当な比率で間引き処理を行い、残ったＯＮ画素に対してハフ変換処理を行うようにすることも可能である。間引き処理は、座標抽出処理の前処理として行うことも可能である。

角度算出部２０６は、ハフ変換部２０５によるハフ変換の結果を基に、連続画素群（特定画素群）によって形成される図形（外接矩形／直線）の傾き角度を入力画像のスキュー角として算出する。具体的には、角度算出部２０６は、ハフ変換部２０５においてハフ変換されたρ−θ座標上において頻度の多い座標（ρ、θ）のθを参照して角度を求め、この角度をｘ−ｙ平面における画像のスキュー角として算出する。この角度算出部２０６はハフ変換部２０５と共に、特許請求の範囲の角度検出手段を構成している。

スキュー補正部２０７は、角度算出部２０６で算出された入力画像のスキュー角を基に、当該スキュー角がゼロになるように入力画像を回転させることによってスキュー補正を行う。画像を回転させる手法としては、例えば、アフィン（Ａｆｆｉｎｅ）変換などの周知の手法を用いることができる。

上記構成の画像処理装置２０Ａの構成要素、即ち２値化部２０１、ラベリング部２０２、特定画素群抽出部２０３、座標抽出部２０４，ハフ変換部２０５、角度算出部２０６およびスキュー補正部２０７については、ＰＣ（パーソナルコンピュータ）のように、所定プログラムを実行することによって情報記憶処理、画像処理、演算処理等の各機能を実行するコンピュータ機器を利用してソフトウェア構成によって実現することが考えられる。

ただし、ソフトウェア構成による実現に限られるものではなく、ハードウェア構成、あるいはハードウェアとソフトウェアの複合構成によって実現することも可能である。ソフトウェア構成によって実現する場合、２値化部２０１、ラベリング部２０２、特定画素群抽出部２０３、座標抽出部２０４，ハフ変換部２０５、角度算出部２０６およびスキュー補正部２０７としてコンピュータを機能させるプログラムが本発明による画像処理プログラムとなる。

また、以下に説明する画像処理シーケンスにおける各ステップの処理を実行するプログラムが、本発明による画像処理プログラムであるとも言える。そして、これらの画像処理プログラムについては、あらかじめコンピュータ内にインストールしておくことが考えられる。ただし、あらかじめインストールされているのではなく、コンピュータ読み取り可能な記憶媒体に格納されて提供されるものであっても良く、または有線若しくは無線による通信手段を介して配信されるものであっても良い。

（スキュー角検出・補正処理）
次に、入力画像のスキュー角を検出し、その検出角度を基にスキュー補正を行う第１実施形態に係るスキュー角検出・補正処理の手順の一例について、図３のフローチャートを用いて説明する。

先ず、入力画像データを取り込み（ステップＳ１１）、次いで、この取り込んだ画像データを２値化して２値画像データを作成し（ステップＳ１２）、次いで、２値化画像（データ）において連続するＯＮ画素に対して同一ラベルを付与するラベリング処理を行う（ステップＳ１３）。ここで、同一ラベルが付与された連続する画素の集合が連続画素群となる。

次に、先述した手法１〜１０などの手法を用いて、同一ラベルが付与された連続画素群のうち、連続画素群の外接矩形サイズ（縦・横の長さや縦横比）や連続画素群の画素数等の特徴量が所定基準を満たす連続画素群を特定画素群として抽出し（ステップＳ１４）、次いで特定画素群として抽出した連続画素群の各ＯＮ画素の座標を抽出する（ステップＳ１５）。

次に、座標抽出した連続画素群に対してハフ変換処理を行い（ステップＳ１６）、次いで、ハフ変換結果を基に連続画素群（特定画素群）によって形成される図形（外接矩形／直線）の傾き角度を入力画像のスキュー角として算出する（ステップＳ１７）。そして、算出したスキュー角を基に入力画像を回転させることによってスキュー補正を行い（ステップＳ１８）、一連のスキュー角検出・補正処理を終了する。

ところで、スキュー角検出・補正を行う画像処理において、ハフ変換を用いた技術によって入力画像のスキュー角を検出するのに最もふさわしく、最も簡単で、最も精度が高い図形は、先述したハフ変換の原理からも明らかなように、例えば長い直線や細長い矩形、あるいは大きめの矩形などの図形であると言える。

そこで、上述したように、２値化画像において連続する画素に対して同一ラベルを付与して連続画素群とし、複数の連続画素群のうち、特徴量が所定基準を満たす連続画素群を特定画素群として抽出することにより、スキュー角検出に有用な連続画素群、例えば、スキュー角の検出に最もふさわしく、最も簡単で、最も精度が高い図形、具体的には長い直線や細長い矩形、あるいは大きめの矩形などの図形を形成する画素群を抽出できる。そして、この抽出した特定画素群のみを用いてハフ変換によるスキュー角検出を行うことにより、スキュー角の検出に最もふさわしく、最も簡単で、最も精度が高い図形を形成する連続画素群に対してのみハフ変換処理が行われることになるために、スキュー角の検出精度を高めることができる。

また、入力画像全体に対してハフ変換処理を行うのではなく、スキュー角検出に有用な連続画素群のみを特定画素群として抽出してハフ変換処理を行うことにより、スキュー角検出に有効に寄与しない文字や、短い直線、小さい矩形等の図形を演算処理の対象から除外することができるために、ハフ変換での演算処理の対象となる画素数を最小限に抑えることができる。その結果、ハフ変換での演算処理にかかる時間を短縮できるために、スキュー角を検出し、また当該スキュー角に基づいてスキュー補正する一連の処理の処理速度を向上できる。

［第２実施形態］
図４は、本発明の第２実施形態に係る画像処理装置（画像処理部）２０Ｂの機能構成例を示すブロック図である。

図４に示すように、本実施形態に係る画像処理装置２０Ｂは、グレイ（Ｇｒａｙ）変換部２１１、２値化部２１２、輪郭抽出部２１３、縮小部２１４、概略角度検出部２１５、頻度多点抽出部２１６、逆ハフ変換部２１７、拡大部２１８、膨張部２１９、論理積部２２０、ラベリング部２２１、所定特徴ラベル抽出部２２２、詳細角度検出部２２３およびスキュー補正部２２４を有する構成となっている。

グレイ変換部２１１は、入力画像がカラー画像の場合、例えば２４ビットの画像データを例えば８ビットの画像データに変換する。２値化部２１２は、グレイ変換部２１１でグレイ変換された８ビットの画像データを、入力画像中に含まれる例えば文字や線、絵柄や写真などの前景に属する画素を画素値が論理「１」のＯＮ画素（例えば、黒画素）、背景領域に属する画素を画素値が論理「０」のＯＦＦ画素（例えば、白画素）とした各画素値が１ビットの２値画像データに２値化する。

輪郭抽出部２１３は、２値化部２１２で２値化された２値画像データのうち、ＯＮ画素で構成される領域の輪郭を示す画素を抽出し、ＯＮ画素で構成される領域の輪郭を示す輪郭２値画像データを生成する。

具体的には、例えば図５に示すように、注目画素を“Ｘ”とし、その周囲８画素を“Ａ”〜“Ｈ”とすると、輪郭抽出部２１３は、注目画素“Ｘ”がＯＦＦ画素である場合、注目画素“Ｘ”はＯＮ画素で構成される領域の輪郭を示す画素では無いと判断する。注目画素“Ｘ”がＯＮ画素であり、かつ、周囲８画素“Ａ”〜“Ｈ”の全てがＯＮ画素である場合も、注目画素“Ｘ”はＯＮ画素で構成される領域の輪郭を示す画素では無いと判断する。一方、注目画素“Ｘ”がＯＮ画素であり、周囲８画素“Ａ”〜“Ｈ”のいずれかがＯＦＦ画素である場合、注目画素はＯＮ画素で構成される領域の輪郭を示す画素であると判断する。

縮小部２１４は、輪郭抽出部２１３で輪郭抽出された輪郭２値画像データに対して、画像を例えば１／２に縮小する処理を行う。ここで入力画像に対して縮小処理を行うのは、次段の概略角度検出部２１５においてスキュー角を概略的に検出する際の処理速度を高めるためである。また、スキュー角を概略的に検出する場合は、入力画像を縮小した方が検出精度を高めることができる利点がある。

概略角度検出部２１５は、座標抽出部２１５１、ハフ変換部２１５２および角度算出部２１５３によって検出され、縮小部２１４での縮小処理後の輪郭２値画像データに基づいて入力画像のスキュー角を概略的に、具体的には例えば数度を単位として検出する。

この概略角度検出部２１５において、座標抽出部２１５１は、縮小処理後の輪郭２値画像データに基づく縮小輪郭画像の各ＯＮ画素の座標を抽出する。ハフ変換部２１５２は、座標抽出部２１５１で座標抽出された輪郭画素群に対して周知のハフ変換処理を行って極座標（ρ−θ）に変換（投票）する。角度算出部２１５３は、ハフ変換部２１５２によるハフ変換の結果を基に、輪郭画素群によって形成される図形の傾き角度を入力画像の概略スキュー角として算出する。具体的には、角度算出部２１５３は、ハフ変換部２１５２においてハフ変換結果に基づきｘ−ｙ平面における直線の傾き角度を入力画像のスキュー角として算出する。

頻度多点抽出部２１６は、ハフ変換部２１５２でのハフ変換によって得た極座標（ρ−θ）空間中で頻度（投票数）の多い１つ以上の点（ポイント）を抽出する。逆ハフ変換部２１７は、頻度多点抽出部２１６で抽出された頻度の多い１つ以上の点に対して逆ハフ変換処理を行うことにより、極座標空間の点をｘ−ｙ平面上に戻す。極座標空間中の点をｘ−ｙ平面上に戻せば直線となる。

すなわち、極座標空間中で頻度の多い点を抽出し、この抽出した点に対して逆ハフ変換をかけてｘ−ｙ平面上に戻すことにより、スキュー角検出に有用な（スキュー角検出に適した）画素群候補を抽出することができる。ここに、スキュー角検出に有用な画素群候補とは、直線性が高くかつ画素数の多い画素群、具体的には長い直線や細長い矩形などの図形を形成する画素群（画素の集合）のことである。

なお、ここでは、極座標空間中で頻度（投票数）の多い１つ以上のポイント（ρ，θ）を抽出し、この抽出したポイントに対して逆ハフ変換をかけてｘ−ｙ平面上に戻すことによってスキャン角検出に有用な画素群、例えば直線を求めるとしたが、逆ハフ変換処理を用いるのではなく、頻度の多い１つ以上のポイント（ρ，θ）からｘ−ｙ平面上での直線を求めるようにすることも可能である。

拡大部２１８は、逆ハフ変換部２１７で逆ハフ変換された２値画像データに対して、元の画像サイズ、即ち縮小部２１４で１／２に縮小する前の画像サイズに戻すために、２倍に拡大する処理を行う。

膨張部２１９は、拡大部２１８で拡大処理された２値画像データに基づく画像のＯＮ画素に対して膨張処理を行う。具体的には、例えば図５に示すように、注目画素を“Ｘ”とし、その周囲８画素を“Ａ”〜“Ｈ”とした場合、膨張部２１９は、注目画素“Ｘ”およびその周囲８画素“Ａ”〜“Ｈ”のうち、一つでもＯＮ画素があれば、注目画素“Ｘ”をＯＮ画素とし、注目画素“Ｘ”およびその周囲８画素“Ａ”〜“Ｈ”の全てがＯＦＦ画素であれば、注目画素“Ｘ”をＯＦＦ画素とする。

なお、この膨張処理は、注目画素“Ｘ”と、その周囲８画素を“Ａ”〜“Ｈ”に着目して膨張処理を行う態様に限定されるものではなく、例えば、注目画素“Ｘ”を中心とする５×５画素の領域、あるいは、さらに大きな領域に着目して膨張処理を行うようにしても良いのは勿論である。

論理積部２２０は、輪郭抽出部２１３で輪郭抽出された２値画像データと、膨張部２１９で膨張処理された２値画像データとの論理積をとる。このようにして、輪郭抽出後の２値画像データと膨張処理後の２値画像データとの論理積をとることにより、ハフ変換や逆ハフ変換などの演算処理における演算誤差に起因する直線の傾き誤差を排除して、本来の画像上にある直線の傾きを持ったｘ−ｙ平面上の直線の２値画像データとして取り出すことができる。

頻度多点抽出部２１６、逆ハフ変換部２１７、拡大部２１８、膨張部２１９および論理積部２２０は、特許請求の範囲の有用画素群抽出手段に相当し、概略角度検出部２１５でのハフ変換処理による極座標空間中で頻度の多い１つ以上のポイントを基にｘ−ｙ平面上での画素群を抽出して詳細角度検出部２２３に渡す作用をなす。

ラベリング部２２１は、論理積部２２０から出力される２値画像データに対して、当該２値画像データに基づく画像において連続するＯＮ画素に対して同一ラベルを付与するラベリング処理を実行する。所定特徴ラベル抽出部２２２は、ラベリング部２２１でのラベリング処理によって同一ラベルが付与された連続画素群において、その特徴量が所定基準を満たす連続画素群を、詳細角度検出部２２３での詳細スキュー角の検出に用いる連続画素群、例えば長い直線を表す連続画素群として抽出する。

このようにして、論理積部２２０から出力される２値画像データに対してラベリング処理を行い、かつ特徴量が所定基準を満たす連続画素群を抽出する処理を行うことにより、詳細スキュー角の検出に有用な直線成分のみを抽出し、それ以外のゴミ（ノイズ）成分については除去することができる。

ただし、ラベリング部２２１および所定特徴ラベル抽出部２２２については必ずしも必要な構成要素ではなく、論理積部２２０において、詳細スキュー角の検出に有用な直線成分に対応した２値画像データのみを出力できるのであれば、ラベリング部２２１および所定特徴ラベル抽出部２２２を省略することも可能である。

詳細角度検出部２２３は、座標抽出部２２３１、ハフ変換部２２３２および角度算出部２２３３によって構成され、論理積部２２０から出力され、ラベリング部２２１および所定特徴ラベル抽出部２２２を経由して入力される２値画像データに基づいて入力画像のスキュー角を詳細に、具体的には概略角度検出部２１５での検出単位よりも細かい検出単位で検出する。

この詳細角度検出部２２３において、座標抽出部２２３１は、論理積部２２０からラベリング部２２１およびラベリング部２２１を介して入力される２値画像データに基づく直線の各ＯＮ画素の座標を抽出する。ハフ変換部２２３２は、座標抽出部２２３１で座標抽出された画素群に対して、概略角度検出部２１５で検出された概略スキュー角を基にハフ変換処理を行う。角度算出部２２３３は、ハフ変換部２２３２によるハフ変換の結果を基に、直線の傾き角度を入力画像の詳細スキュー角として、概略スキュー角の算出単位よりも詳細な単位（例えば、０．１度単位）で算出する。この詳細スキュー角が入力画像の最終的なスキュー角となる。

スキュー補正部２２４は、詳細角度検出部２２３で検出された詳細スキュー角、即ち入力画像のスキュー角を基に、当該スキュー角がゼロになるように入力画像を回転させることによってスキュー補正を行う。画像を回転させる手法としては、第１実施形態の場合と同様に、例えばアフィン変換などの周知の手法を用いることができる。

上記構成の第２実施形態に係る画像処理装置２０Ｂでは、概略角度検出部２１５で概略スキュー角を検出し、この概略スキュー角を基に詳細角度検出部２２３で詳細スキュー角を検出するという具合に、概略角度検出部２１５および詳細角度検出部２２３による２段階での角度検出処理によって入力画像のスキュー角を検出するとしたが、２段階での角度検出処理に限られるものではなく、３段階以上の多段階での角度検出処理も可能である。

この場合、多段階の角度検出部の相互間には、前段の角度検出部でのハフ変換処理による極座標空間中で頻度の多い１つ以上のポイントを基にｘ−ｙ平面上での画素群を抽出して後段の角度検出部に渡す、例えば頻度多点抽出部２１６および逆ハフ変換部２１７を含む有用画素群抽出部を設けるようにすれば良い。

上記構成の画像処理装置２０Ｂの構成要素、即ちグレイ変換部２１１、２値化部２１２、輪郭抽出部２１３、縮小部２１４、概略角度検出部２１５、頻度多点抽出部２１６、逆ハフ変換部２１７、拡大部２１８、膨張部２１９、論理積部２２０、ラベリング部２２１、所定特徴ラベル抽出部２２２、詳細角度検出部２２３およびスキュー補正部２２４については、所定プログラムを実行することによって情報記憶処理、画像処理、演算処理等の各機能を実行するコンピュータ機器を利用してソフトウェア構成によって実現することが考えられる。

ただし、ソフトウェア構成による実現に限られるものではなく、ハードウェア構成、あるいはハードウェアとソフトウェアの複合構成によって実現することも可能である。ソフトウェア構成によって実現する場合、グレイ変換部２１１、２値化部２１２、輪郭抽出部２１３、縮小部２１４、概略角度検出部２１５、頻度多点抽出部２１６、逆ハフ変換部２１７、拡大部２１８、膨張部２１９、論理積部２２０、ラベリング部２２１、所定特徴ラベル抽出部２２２、詳細角度検出部２２３およびスキュー補正部２２４としてコンピュータを機能させるプログラムが本発明による画像処理プログラムとなる。

また、以下に説明する画像処理シーケンスにおける各ステップの処理を実行するプログラムが、本発明による画像処理プログラムであるとも言える。そして、これらの画像処理プログラムについては、あらかじめコンピュータ内にインストールしておくことが考えられる。ただし、あらかじめインストールされているのではなく、コンピュータ読み取り可能な記憶媒体に格納されて提供されるものであっても良く、または有線若しくは無線による通信手段を介して配信されるものであっても良い。

（スキュー角検出・補正処理）
次に、入力画像のスキュー角を検出し、その検出角度を基にスキュー補正を行う第２実施形態に係るスキュー角検出・補正処理の手順の一例について、図６のフローチャートを用いて説明する。

先ず、多値の画像データを２値化して得られる２値画像データまたは直接入力される２値画像データを取り込み（ステップＳ２１）、次いで、この取り込んだ２値画像データのうち、ＯＮ画素で構成される領域の輪郭を示す画素を抽出し、ＯＮ画素で構成される領域の輪郭を示す輪郭２値画像データを生成し（ステップＳ２２）、次いで、この輪郭２値画像データに対して、画像を例えば１／２に縮小する処理を行う（ステップＳ２３）。

次に、縮小処理後の輪郭２値画像データに基づいて入力画像の概略スキュー角を、輪郭画素群に対してハフ変換処理を行って極座標（ρ−θ）に変換し、このハフ変換結果を基に例えば数度を単位として検出し（ステップＳ２４）、次いで、ハフ変換によって得た極座標空間中で頻度の多い１つ以上の点を抽出し（ステップＳ２５）、次いで、この抽出した頻度の多い１つ以上の点に対して逆ハフ変換処理を行うことにより、極座標空間の点をｘ−ｙ平面上に戻す（ステップＳ２６）。

次に、逆ハフ変換した２値画像データに対して、元の画像サイズに戻すために、２倍に拡大する処理を行い（ステップＳ２７）、次いで、この拡大した２値画像データに基づく画像のＯＮ画素に対して膨張処理を行い(ステップＳ２８)、次いで、この膨張処理後の２値画像データと２値画像データから輪郭抽出して得た２値画像データとの論理積をとる（ステップＳ２９）。

次に、論理積演算後の２値画像データに対して、当該２値画像データに基づく画像において連続するＯＮ画素に対して同一ラベルを付与するラベリング処理を実行し（ステップＳ３０）、次いで、同一ラベルが付与された連続画素群において、その特徴量が所定基準を満たす連続画素群を詳細スキュー角の検出に用いる連続画素群として抽出し（ステップＳ３１）、次いで、概略スキュー角を基にハフ変換による技術を用いて詳細スキュー角を入力画像の最終的なスキュー角として検出する（ステップＳ３２）。そして、この算出した詳細スキュー角を基に入力画像を回転させることによってスキュー補正を行い（ステップＳ３３）、一連のスキュー角検出・補正処理を終了する。

上述したように、輪郭抽出した２値画像データに対してハフ変換処理を実施後、ハフ変換処理による極座標空間中で頻度の多い１つ以上のポイントを基にｘ−ｙ平面上での有用画素群を抽出することで、当該有用画素群として長い直線や細長い矩形、あるいは大きめの矩形などの図形を形成する画素群を抽出できる。そして、この抽出した画素群に対してハフ変換による角度検出を行ってスキュー角検出を行うことにより、スキュー角の検出に最もふさわしく、最も簡単で、最も精度が高い図形を形成する画素群に対してのみハフ変換処理が行われることになるために、スキュー角の検出精度を高めることができる。

また、入力画像全体に対してハフ変換処理を行うのではなく、初段の角度検出部では輪郭抽出した２値画像データに対して、２段目以降ではスキュー角検出に有用な画素群のみを抽出してハフ変換処理を行うことにより、スキュー角検出に有効に寄与しない文字や、短い直線、小さい矩形等の図形を演算処理の対象から除外することができるために、ハフ変換での演算処理の対象となる画素数を最小限に抑えることができる。その結果、ハフ変換での演算処理にかかる時間を短縮できるために、スキュー角を検出し、また当該スキュー角に基づいてスキュー補正する一連の処理の処理速度を向上できる。

本発明による画像処理装置を含む画像処理システムの構成例を示すブロック図である。 本発明の第１実施形態に係る画像処理装置の機能構成例を示すブロック図である。 第１実施形態に係るスキュー角検出・補正処理の手順の一例を示すフローチャートである。 本発明の第２実施形態に係る画像処理装置の機能構成例を示すブロック図である。 輪郭抽出部による輪郭抽出の説明図である。 第２実施形態に係るスキュー角検出・補正処理の手順の一例を示すフローチャートである。

符号の説明

１０…画像データ入力部、２０，２０Ａ，２０Ｂ…画像処理装置（画像処理部）、３０…画像データ出力部、２１…ＣＰＵ、２２…Ｉ／Ｏ回路、２３…ＲＯＭ、２４…ＲＡＭ、２５…ＨＤＤ（ハードディスクドライブ）装置、２６…バスライン、２０１，２１２…２値化部、２０２，２２１…ラベリング部、２０３…特定画素群抽出部、２０４，２１５１，２２３１…座標抽出部、２０５，２１５２，２２３２…ハフ変換部、２０６，２１５３，２２３３…角度算出部、２０７，２２４…スキュー補正部、２１４…縮小部、２１５…概略角度検出部、２１６…頻度多点抽出部、２１７…逆ハフ変換部、２１８…拡大部、２１９…膨張部、２２０…論理積部、２２２…所定特徴ラベル抽出部、２２３…詳細角度検出部

Claims (6)

1. 入力画像を２値化した２値画像において連続する画素に対して同一ラベルを付与するラベリング手段と、
   前記ラベリング手段によって同一ラベルが付与された連続画素群のうち、特徴量が所定基準を満たす連続画素群を特定画素群として抽出する特定画素群抽出手段と、
   前記特定画素群抽出手段が抽出した前記特定画素群に対してハフ変換による角度検出を行う角度検出手段と、
   前記角度検出手段が検出した角度を基に前記入力画像に対するスキュー補正を行うスキュー補正手段と
   を備えることを特徴とする画像処理装置。
2. 入力画像を２値化した２値画像において連続する画素に対して同一ラベルを付与するラベリングステップと、
   前記ラベリングステップで同一ラベルが付与された連続画素群のうち、特徴量が所定基準を満たす連続画素群を特定画素群として抽出する特定画素群抽出ステップと、
   前記特定画素群抽出ステップで抽出した前記特定画素群に対してハフ変換による角度検出を行う角度検出ステップと、
   前記角度検出ステップで検出した角度を基に前記入力画像に対するスキュー補正を行うスキュー補正ステップと
   の各処理をコンピュータに実行させることを特徴とする画像処理プログラム。
3. 入力画像を２値化した２値画像の輪郭を示す画素を抽出する輪郭抽出手段と、
   前記輪郭抽出手段で輪郭抽出された２値画像データに対するハフ変換処理によって前記入力画像の傾き角度を段階的に検出する多段階の角度検出手段と、
   前記多段階の角度検出手段の相互間において前段の角度検出手段でのハフ変換処理による極座標空間中で頻度の多い１つ以上のポイントを基にｘ−ｙ平面上での有用画素群を抽出して後段の角度検出手段に渡す有用画素群抽出手段と、
   前記多段階の角度検出手段における最終段の角度検出手段が検出した角度を基に前記入力画像に対するスキュー補正を行うスキュー補正手段と
   を備えることを特徴とする画像処理装置。
4. 前記有用画素群抽出手段は、
   前記極座標空間中で頻度の多い１つ以上のポイントを抽出する頻度多点抽出手段と、
   前記頻度多点抽出手段で抽出された頻度の多い１つ以上の点に対して逆ハフ変換処理を行う逆ハフ変換手段とを有する
   ことを特徴とする請求項３記載の画像処理装置。
5. 前記有用画素群抽出手段が抽出した前記有用画素群の各画素に対して膨張処理を行う膨張手段と、
   前記膨張手段で膨張処理された２値画像データと前記輪郭抽出手段で輪郭抽出された２値画像データとの論理積をとって前記後段の角度検出手段に渡す論理積手段と
   をさらに備えることを特徴とする請求項３記載の画像処理装置。
6. 入力画像を２値化した２値画像の輪郭を示す画素を抽出する輪郭抽出ステップと、
   前記輪郭抽出ステップで輪郭抽出した２値画像データに対するハフ変換処理によって前記入力画像の傾き角度を段階的に検出する多段階の角度検出ステップと、
   前記多段階の角度検出ステップの相互間において前段の角度検出ステップでのハフ変換処理による極座標空間中で頻度の多い１つ以上のポイントを基にｘ−ｙ平面上での有用画素群を抽出して後段の角度検出ステップに渡す有用画素群抽出ステップと、
   前記多段階の角度検出ステップにおける最終段の角度検出ステップで検出した角度を基に前記入力画像に対するスキュー補正を行うスキュー補正ステップと
   の各処理をコンピュータに実行させることを特徴とする画像処理プログラム。
   

Images