JP2010244352A - 画像処理装置と処理方法、及び処理プログラム - Google Patents

Abstract

【課題】 画像自体の性質から画像の傾斜角を正確に検出する。
【解決手段】 画像中の点の座標を距離ρと角度θとに変換して、距離ρと角度θとを見出しとする投票テーブルに投票する。投票テーブルから投票数が上位の所定個数の点を抽出すると共に、所定個数の点の角度θとの整合性が最大となるように抽出用の角度θxを定めて、定めた抽出用の角度θxに基づき、画像の傾斜角を求める。
【選択図】 図６

Description

この発明は入力画像の傾斜角の検出に関する。

スキャナで画像を読み取ると、画像が僅かに傾斜した状態で読み取られることがある。これを補正するため、原稿用紙の辺などを検出することが行われている。原稿用紙が方形であれは、辺の向きは主走査方向あるいは副走査方向に平行なはずで、これらの方向からのずれは原稿用紙の傾斜を表している。この手法で傾斜を検出できるのはスキャン時に限られるので、蓄積済みの画像や外部から転送された画像の傾斜は検出できない。また原稿用紙の傾斜を検出するので、切り抜きのように用紙が定型でないものは、傾斜を検出できない。さらにハードカバーの書籍を見開きでスキャンすると、カバーは傾斜していないものの、見開いたページが傾斜していることがある。この場合も、傾斜の検出は難しい。これらの問題を解決するには、原稿用紙の傾斜を検出するのではなく、画像自体の傾斜を検出する必要がある。

ここで関連する先行技術を示すと、特許文献１：JPH10-283476Aは、画像中の直線をハフ変換により検出することを記載している。しかしながら特許文献１は、画像の傾斜自体をハフ変換により検出することを示していない。また発明者の実験によると、画像のハフ変換により得られる投票テーブルで、最大投票数の直線を画像の傾きと平行な直線とすると、画像の実際の傾斜とは大幅に異なることが多かった。

JPH10-283476A

この発明の課題は、画像自体の性質を用いて、画像の傾斜角を正確に検出することにある。

この発明の画像処理装置は、
画像中の点の座標を距離ρと角度θとに変換して、距離ρと角度θとを見出しとする投票テーブルに投票することにより、画像中の直線を抽出するハフ変換部を備えた画像処理装置において、
前記投票テーブルから投票数が上位の所定個数の点を抽出すると共に、
前記所定個数の点の角度θとの整合性が最大となるように抽出用の角度θxを定めて、定めた抽出用の角度θxに基づき、画像の傾斜角を求めるように構成したことを特徴とする。

この発明は、画像中の点の座標を距離ρと角度θとに変換して、距離ρと角度θとを見出しとする投票テーブルに投票することにより、画像中の直線を抽出する画像処理方法において、
前記投票テーブルから投票数が上位の所定個数の点を抽出すると共に、
前記所定個数の点の角度θとの整合性が最大となるように抽出用の角度θxを定めて、定めた抽出用の角度θxに基づき、画像の傾斜角を求めることを特徴とする。

またこの発明の画像処理プログラムでは、情報処理装置に読み込まれて、該情報処理装置に、
画像中の点の座標を距離ρと角度θとに変換して、距離ρと角度θとを見出しとする投票テーブルに投票する機能と、
前記投票テーブルから投票数が上位の所定個数の点を抽出する機能と、
さらに、前記所定個数の点の角度θとの整合性が最大となるように抽出用の角度θxを定めて、定めた抽出用の角度θxに基づき、画像の傾斜角を求める機能とを、実行させる。

この明細書において、画像処理装置に関する記載は画像処理方法や画像処理プログラムにもそのまま当てはまり、逆に画像処理方法に関する記載は画像処理装置や画像処理プログラムにもそのまま当てはまる。処理対象の画像は例えばスキャナで読み取った直後の画像であるが、ファクシミリやファイル転送、e-mailなどで受信した画像、あるいはメモリに蓄積済みの画像でも良い。また直線と線分とは同じ意味である。
整合性が最大とは、例えば各点に対して、抽出用の角度θxから許容範囲内に有れば１を、なければ０を割り当て、これらの値の和が最大となることである。ここで割り当てる値を０／１とせずに、抽出用の角度θxからの誤差により値が徐々に変化するようにしても良い。また整合性の重みとして、各点の得票数を用い、抽出用の角度θxから許容範囲内に有る点の得票数の合計を整合性としても良い。

この発明では、画像中の文字がなす行を、ハフ変換では途切れ途切れの直線と見なし得ることに基づき、文字の行や罫線、下線などの向きから傾斜角を決定する。このため、画像自体の性質に基づいて、傾斜角を決定できる。
ハフ変換では、画像中の点の座標（ｘ，ｙ）を ρ＝ｘcosθ＋ｙsinθ として、距離ρと角度θとに変換する。画像中の１点は（ρ、θ）スペースでの複数の点に変換され、変換後の各点毎に、ρとθを見出しとする投票テーブルに投票される。そして投票数の多い点のρとθとが、画像中の直線を表す。しかしながら発明者は、投票数最大の点から画像の傾斜を求めると、行の向きとは大幅に異なる向きの傾斜角がしばしば検出されることを経験した。検出された傾斜角の多くは、画像中に含まれる図形部分あるいは写真部分のの直線、手書きの斜線などによるものであった。これに対して、投票数が上位所定個数の点の角度θとの整合性が最大となるように抽出用の角度θxを定め、角度θxに基づいて傾斜角を決定すると、画像中の顕著な複数の直線から傾斜角を決定できるので、より信頼性のある検出ができた。

好ましくは、前記所定個数の点の内で、前記抽出用の角度θｘから許容範囲内に角度θが含まれる点に対する、角度θの平均により、画像の傾斜角を定める。
このようにすると、許容範囲内の点のデータの平均により傾斜角を決定できるので、信頼性のある検出ができる。
また好ましくは、前記所定個数の点の内で、前記抽出用の角度θｘから許容範囲内に角度θが含まれる点に対する、角度θの投票数に応じた重みを反映させた平均により、画像の傾斜角を定める。投票数に応じた重みを反映させた平均とは、例えば投票数を重みとする加重平均、投票数のルートあるいは２乗などを重みとする加重平均、などである。
このようにすると、投票数の多い点を適切に重視しながら、傾斜角を決定できる。

好ましくは、前記所定個数の点の内で、前記抽出用の角度θｘから許容範囲内に角度θが含まれる点の数と、前記所定個数との割合が所定値未満の場合、画像の傾斜角を検出しないように、画像処理装置を構成する。
抽出用の角度θｘから許容範囲の角度内に僅かな数の点しか含まれないことは、抽出した点の角度の分布が広く、信頼性が低いことを意味する。そこでこのような場合に、傾斜角の検出を打ち切ることにより、信頼性の低い検出を避けることができる。
好ましくは、前記所定個数の点が、最上位の投票数の点との投票数の割合が許容値未満の点を含む場合、画像の傾斜角を検出しないように、画像処理装置を構成する。
画像中の文字の行あるいは罫線などを直線として検出する場合、上位所定個数の点に対する投票数に大差はないはずである。それにもかかわらず、最上位の投票数の点との投票数の割合が許容値未満の点を含む場合、画像中の図形部分あるいは写真部分に含まれる長い直線を検出している可能性が高い。そこでこのような場合に、傾斜角の検出を打ち切ることにより、信頼性の低い検出を避けることができる。

好ましくは、前記所定個数の点を抽出する際に、抽出済みの点の投票テーブルでの近傍をマスクし、マスクした範囲内の他の点が投票テーブルから抽出されないように、画像処理装置を構成する。
このようにすると、処理対象の画像の広い範囲から直線を抽出できるので、文字の行で構成される直線や、罫線、下線などを抽出できる機会が増す。

実施例の複合機のブロック図 実施例での前処理部のブロック図 実施例での前処理アルゴリズムを示す図 実施例でのハフ変換部〜画像回転部のブロック図 実施例での投票テーブルを模式的に示す図 実施例での傾斜角の決定アルゴリズムを示す図 実施例での傾斜角の決定原理を示す図 入力画像を直接二値化した例を示す図 実施例での入力画像の縮小画像を示す図 実施例で、縮小画像からノイズを除去した画像を示す図 実施例で、ノイズの除去後の画像から抽出したエッジを示す図 実施例で用いた、エッジ抽出フィルタを示す図 実施例で、エッジの画像を二値化した画像を示す図 実施例で、二値化画像から孤立点を除いた画像を示す図 実施例で、孤立点を除いた後に、縮退処理を施した画像を示す図 偽の最大投票線を示す図 投票テーブルでの近傍点が有効線として複数選択される状況を示す図 実施例で、抽出済みの有効線の近傍をマスクした際の、有効線の抽出状況を示す図で、明度は投票テーブルでの投票数を示す 実施例での抽出した有効線を模式的に示す図 実施例での傾斜角の決定手法を模式的に示す図 実施例で、傾斜角の候補を抽出する際の整合性の評価関数を模式的に示す図

以下に本発明を実施するための最適実施例を示す。

図１〜図２１に、複合機２を例に実施例を示す。４はＬＡＮで、６はパーソナルコンピュータで、情報処理装置の例であり、８はルータで、インターネット１０と複合機２やパーソナルコンピュータ６を接続する。実施例での傾斜角の検出や補正は複合機２で行うが、パーソナルコンピュータ６などで行っても良く、例えば、複合機２のスキャナ２０で読み取った画像をパーソナルコンピュータ６へ転送して、パーソナルコンピュータ６で傾斜角を検出して補正しても良い。

複合機２の構造を説明する。１２はＬＡＮインターフェースで、１４はバス、１６は画像メモリで、ページメモリとして画像データを記憶する。メモリ１８は汎用のメモリで、プログラムや中間的なデータなどを記憶する。スキャナ２０は、原稿用紙から画像を、モノクロのグレイスケールあるいはフルカラーで読み取り、プリンタ２２は画像をプリントし、Ｇ３ファクシミリ部２４は画像のＧ３ファクシミリ送信と受信とを行う。e-mail部２６は、e-mailの添付ファイルとして画像の送受信を行い、ネットワークサーバ部２８は、文書管理サーバやリモートプリンタなどとして複合機２を動作させる。ユーザインターフェース３０はユーザのマニュアル入力などを受け付け、画像処理部３２は種々の画像処理を行う。

スキャンした画像あるいは受信画像もしくは蓄積済みの画像の傾斜角を検出するため、前処理部４０とハフ変換部５０並びに傾斜角検出部６０を設ける。そして検出した傾斜角と反対向きに同じ角度だけ、画像回転部７０で画像を回転させ、傾斜を補正する。

図２に前処理部４０の構成を示す。画像メモリ１６から画像データが縮小処理部４１へ入力され、画像の解像度を１／ｎ(ｎは２以上の自然数で、好ましくは４〜８，特に４〜６)に縮小する。これによって画像データの量は１／ｎ²に減少し、縮小は例えばｎ×ｎ画素のブロック毎に、画素の値の平均値を求めればよい。またより単純に、縮小処理部４１では、ｎ×ｎ画素のブロックの内の代表点、例えばブロックの左上の頂点の、１画素のデータをそのまま出力しても良い。このためハフ変換は、ｎ²倍高速になる。

同じ画像データで、データの内容と解像度は一定でも、縮小処理部４１での縮小率が異なると、傾斜角の検出結果が異なることがあった。これに対して同じ原稿を４００ｄｐｉ，６００ｄｐｉ，８００ｄｐｉなどの異なる解像度で読み取り、これを一定の解像度、例えば１００ｄｐｉへ縮小すると、傾斜角の検出結果は共通であった。そこでスキャン時の解像度によらず、縮小処理部４１で一定の解像度まで解像度を低下させると、解像度の違いによる傾斜角の検出値の差を解消できる。

複合機２でスキャンした画像以外でも、ファクシミリの受信データなどのように、スキャン時の解像度が既知の場合、同様に一定の解像度に画像を縮小する。スキャン時の解像度は、通信のプロトコルあるいは画像ファイルのヘッダなどから判明することが多い。このため、スキャン時の解像度が異なれば縮小率は異なり、縮小画像の解像度を一定にする。なおｊｐｅｇ画像のようにヘッダに解像度が記載されていない場合、１／４あるいは１／８などの一定の縮小率で、画像を縮小する。

スムージング部４２は、平滑化フィルタなどにより縮小画像からノイズを除去し、これによって画像中のランダムなデータをハフ変換によって直線として抽出しないようにする。次にエッジ抽出部４３は、スムージング済みの画像から、ラプラシアンフィルタあるいはソーベルフィルタなどのエッジ抽出用フィルタにより、エッジを抽出する。これによって地色の影響が解消し、また白抜きの文字などでも、文字の輪郭に対応するエッジを抽出できる。さらにエッジの抽出により画像のデータ量が小さくなり、ハフ変換が容易になる。

二値化部４４は抽出したエッジを二値化する。二値化の閾値は、一定でも良く、あるいは抽出したエッジでの明度もしくはカラー値の分布などから定めても良い。さらに全てのエッジを二値化する必要があるのではなく、例えば画像中の文字部分と、写真部分及び図形部分を判別できる場合、文字部分のみを二値化することが好ましい。

扱う画像データは実施例ではモノクロのグレイスケール画像とするが、ＲＧＢ画像などでもよい。この場合、ＲＧＢデータを、明度画像に変換して傾斜角を検出してもよく、またＲ，Ｇ，Ｂの各成分毎に傾斜角を検出し、その平均値などを用いてもよい。

孤立点除去部４５は二値化画像から孤立点を除去し、二値化前のエッジ画像に対して孤立点を除去しても良い。孤立点の除去によりデータ量が減り、かつ偽の傾斜角を検出する確率が減少する。なお孤立点は写真画像中に特に多く、画像本来の傾きとは無関係なデータである。

縮退処理部４６は、孤立点を除去した後の二値化画像に対し、縮退処理を行う。ここに縮退処理とは、上下，左右，斜めなどの方向に有効画素が連続して並んでいる場合に、有効画素をカットする処理のことである。なお有効画素とは二値化画像においてデータのある画素をいい、白であるか黒であるかは問題にしない。縮退処理により線分は例えば１点となる。円や方形、及び十字も１点となる。この結果、画像中の図形部分及び写真部分の斜線は、例えば１点に縮小される。これに対して、文字も縮退によって小さなデータになるが、文字の行がなす直線は失われない。縮退は罫線及び下線を１点に単純化するので、罫線及び下線を傾斜角検出に用いる場合には、縮退処理部４６は設けなくても良い。

図３は前処理部４０の制御アルゴリズムを示し、このアルゴリズムに従ってパーソナルコンピュータ６を動作させると、この発明を実施できる。ステップ１でスキャナ２０により画像を読み取り、ステップ２で一定の解像度へ画像を縮小し、これによってハフ変換の処理速度をｎ²倍に向上させる。ステップ３でスムージングによりノイズを減らし、ステップ４でエッジを抽出して地色の影響などを除き、また白抜き文字なども検出できるようにする。そしてステップ５で二値化し、ステップ６で孤立点を除く。これによって、写真画像中などの孤立点の、傾斜角の検出への影響を小さくできる。なお孤立点の除去は二値化の前に行っても良い。そして好ましくはステップ７で縮退処理によりデータを単純化し、特に写真部分や図形部分の直線を例えば１点まで単純化する。

ステップ２〜ステップ７の前処理は、画像のスキャンと同期して行い、またハフ変換部５０でのハフ変換、傾斜角検出部６０での傾斜角の検出、画像回転部７０での傾斜角の補正も、スキャンと同期して行えるようにする。ここに同期とは、これらの処理速度がスキャナ２０の読み込み速度以上であることを意味し、このようにすると画像のスキャンと同時にリアルタイムに画像の傾斜を補正できる。

図４はハフ変換部５０〜画像回転部７０の構造を示し、ハフ変換部５０は例えば１６個〜３２個の実行ユニット５１を備えて、ハフ変換を並列に実行する。実行ユニット５１はρ値計算部５２とsinやcosに対するテーブル５３とから成る。３２個のテーブル５３で、０°〜１８０°をカバーできるように、１個のテーブル５３が記憶する角度の範囲は例えば５.６２５°(１８０／３２)で、角度の刻みは例えば０.１７６°(１８０°／１０２４)などである。ρ値計算部５２はテーブル５３からsinθやcosθの値を読み出し、縮退処理部４６もしくは孤立点除去部４５から出力された有効画素の位置(ｘ，ｙ)に対し、ρ値を ρ＝ｘcosθ＋ｙsinθ として計算する。投票テーブル５４はθとρの２次元のテーブルで、管理部５５は複数の実行ユニット５１を管理する。

図５に、ρ値計算部５２と投票テーブル５４との関係を示す。テーブル５４の各点はρとθとの組み合わせを示し、これは線分を表している。仮にρとθとがそれぞれ１０２４レベルに分割されているものとし、ｘ，ｙの値が入力されると、θ毎にρの値を計算し、表の該当する位置のデータを１加算する。なおθは１８０°の範囲を例えば２５６〜４０９６レベル、好ましくは１０２４〜２０４８レベルに分解し、傾斜角を０.０５°〜０.３°、好ましくは０.１°〜０.２°程度の精度で検出できるようにする。またρの分解能は、θの分解能よりも低くても良い。実行ユニット５１は例えば３２ユニット有り、各ρ値計算部５２は３２レベル(１０２４／３２)分のθを担当する。その結果、例えば左から３つめのカラムに○で示すように、(ρ，θ)値が投票される。また５７はマスクで、テーブル５４から有効線(抽出する直線)として抽出済みの点の周囲をマスクし、マスク５７の外部から次の有効線が抽出されるようにする。

図４に戻り、有効線抽出部６１は投票テーブル５４から例えば上位ｍ位の点を抽出する。投票テーブル５４で投票数の多い点は、画像での有効線である可能性が高い。そして抽出済みの点の周囲にマスク５７を施し、マスク５７内からの他の点が抽出されないようにする。候補角抽出部６２は、抽出した有効線から傾斜角の候補(ｋ個で例えばｍ／２個以上)を抽出し、決定部６３はこれらの候補角に基づいて傾斜角θｄを決定する。決定した傾斜角θｄを座標計算部７１へ入力し、画像メモリ１６の記憶画像の各画素に対し、傾斜補正後の座標(アドレス)を計算する。アドレス生成部７２は、傾斜補正前の座標に基づいて、画像メモリ１６への読み出しアドレスを生成する。bicubic処理部７３は読み出したデータを補間し、傾斜補正後の座標に基づいて、補間後のデータを画像メモリ１６へ書き戻す。これらの処理によって、画像メモリ１６の画像は、傾斜を補正するように回転する。なお回転には単純なアフィン変換などを用いてもよい。

図６に傾斜角検出部６０のアルゴリズムを示し、投票テーブルから上位ｍ位、例えば１６位あるいは８位の(ρ，θ)からなる点を抽出する(ステップ１１)。そして抽出済みの点の近傍、例えば１辺が５〜４０レベルの正方形からなる近傍をマスクし(ステップ１２)、同じ近傍内から２点以上が抽出されないようにする。なお最大投票数の１／２以上の投票数のある(ρ，θ)のみを抽出する。従ってｍ位目の点の投票数が最大投票数の１／２未満の場合はエラーとし、傾斜角の検出を行わず、画像回転部７０は画像を回転させない(ステップ１３)。ステップ１２，１３はステップ１１を実行するための補助的な処理である。このようにして、他の点の近傍に入らず、かつ最大投票数の１／２以上の点をｍ個抽出する。１／２以上は例であり、例えば２／３以上あるいは０.４以上などとしても良い。ステップ１１〜１３が、有効線抽出部６１の処理に対応する。

次に傾斜角の候補を求めるための角度をθｘとし、その直交角をφｘとする。ここに φｘは正または０で、かつ φｘ＝θｘ＋π／２ もしくは φｘ＝θｘ−π／２ である。δを許容範囲とし、例えばδは１°あるいは０.５°などであり、θｘ±δ及びφｘ±δの範囲に入る点(ρ，θ)の個数が最大となるように、θｘを決定する。そしてθｘ±δ及びφｘ±δの範囲に入る点を出力する(ステップ１４)。言い換えると、ｍ個の点に対し、角度θ成分が±δの範囲で一致する点の数が最大となる角度をθｘとする。なお単純にθ成分が±δの範囲で一致する点の数を問題とする代わりに、θｘ±δ及びφｘ±δの範囲に入る点に対する、投票数の和が最大となるようにしても良い。そしてこれらの点の数ｋが閾値未満の場合、例えばｍ／２未満もしくはｍ／３未満の場合、ステップ１５でエラーとする。エラーの場合、傾斜角の検出を行わず、画像回転部７０は画像を回転させない。ステップ１４，１５が、候補角抽出部６２の処理に対応する。

ステップ１６は決定部６３の処理に対応し、ステップ１４で求めたｋ個の点(ρ，θ)に対し、例えばθの単純平均値を傾斜角θｄとして出力する。あるいはｋ個の点でのθの加重平均を用い、重みには投票数ｖiを用いても良い。これらに代えて、ｋ個のθの候補θ1〜θkの中で、投票数ｖiが最大のθを傾斜角θｄとしてもよい。ステップ１６ではθｄを出力し、θｄがπ／２を越える場合、θｄ−π／２、即ちφｄを出力する。

図７〜図２０に実施例の動作を示す。図７の上部は原稿画像を示し、画像中の文字の列を直線と見なして、その傾斜を検出する。従って実施例の目的は、図７の上部の画像を図７の下部の画像に変換し、これに対するハフ変換を行うことにある。

図８は入力画像(画像メモリ１６の画像)を、縮小もスムージングもエッジ抽出も行わずに、直接二値化した例を示し、円でマークしたように、文字以外の写真部分などの黒画素(この場合の有効画素)が多くなり、ハフ変換の負担が増すと共に、写真中の斜線などの影響が強くなり、検出精度が低下する。そこで入力画像をグレースケールで取り扱い、縮小、スムージング、エッジ抽出等の画像処理を施した後に、二値化する。ハフ変換を高速で行うため、入力画像を１／ｎに縮小し、これによって以降の計算時間を１／ｎ²に減少させる(図９)。

次にスムージングによりノイズを除去し(図１０)、エッジを抽出すると図１１の画像が得られる。エッジの抽出により、地色の影響が無くなり、また白抜き文字にも対応でき、さらにデータを単純化して、ハフ変換を容易にする。

図１２に、エッジの抽出フィルタ８０を示す。被処理画像８１に対し、フィルタ８０を左上側から適用することにより、被処理画像８１の下側と右側のエッジ８２を抽出する。これによって被処理画像８１のエッジ全体を検出する場合に比べ、エッジの量を１／２にできる。以上のように、好ましくは、上下左右４種類のエッジの内で、下と右、下と左、上と右、上と左のように、２種類のエッジを抽出する。

エッジ抽出後の画像を二値化すると、図１３の画像が得られる。図１３の画像から孤立点を除去すると、図１４の画像が得られる。なお孤立点の除去は、図１１のエッジの画像に対して行っても良い。図１３，図１４のように、図形部分の線あるいは写真部分の線が残っていると、傾斜角の誤検出の原因となる。そこで縮退処理を行うと図１５の画像が得られ、写真や図形中の線は単なる点あるいは短い線分などに変換され、文字の列からなる行は基本的に保存される。

そこで縮退処理後の画像に対しハフ変換を行うことにより、文字の行から成る直線のみを検出できる。ただし罫線を伴う画像に対し、罫線の向きを傾斜の検出に用いたいことがある。この場合、縮退処理は不要である。

ハフ変換により投票テーブルにデータが蓄積され、投票テーブルから投票数が最大の点のみを単純に取り出すと、誤った検出が行われることがある。図１６はこのような例を示し、図１６では画像の一部のみを表示するので、「最大投票直線」がどこから抽出されたのか分かり難いが、画像中の写真部分等から抽出されたものである。また図１６のような極端な例でなくても、図１３，図１４の下部の図形部分中の実線や、写真部分中の斜線に、最大の投票がなされる可能性がある。そして図１３の下部の図形部分の横線は、画像の傾斜と平行であるが、これは偶然である。そこでこのように画像本来の傾斜とは対応しない直線を抽出しないように、投票数が上位の点を複数抽出する。ここで単純に上位ｍ位までの点を抽出すると、投票テーブル内での近傍の点が複数抽出されることが多い。そこで投票テーブル５４から最上位の点を抽出し、抽出した点の近傍をマスクして次の投票数の点を抽出することにより、抽出済みの点の近傍の点を抽出しないようにする。このようにして、上位ｍ位の点を抽出する。ここで抽出した上位ｍ位のうち、最下位の点が最上位の点の例えば１／２以上の投票数を持たない場合、検出をエラーとする。文字から成る行を抽出している場合、最大投票数の点と、上からｍ位の点とで、投票数に余り大きな差はないはずである。これにもかかわらず大きな差があるのは、最上位の点が図形中の直線部分などである可能性が高い。あるいはまた、上位ｍ位（例えば１６位）のうちから、最上位の点に対して所定の割合以上（例えば１／２以上）の投票数を持つ点を抽出し、抽出した点の数が所定値ｋ（例えば４）以下の場合は、エラーとして傾斜角を未検出としても良い。

図１８に投票テーブルの状況を模式的に示し、ここでは投票数を明度で表している。そして選択済みの点の近傍を、黒い四角形のマスクで覆っている。図１８では上位８点を抽出済みで、各々マスクがされている。マスクの形状は任意で、抽出済みの直線（投票テーブルの点）と向きが近似し、かつ距離が小さい直線を抽出しないようにすることにある。これによって、例えば図１３，図１４の写真部分にある、多数の平行な直線を抽出する個数を減らすことができる。また図形や写真が無く、文字の行からなる直線のみを抽出できる場合でも、近接した行を抽出せずに、離れた行を抽出することにより、特定のエリアから行を抽出せずに、原稿全体から行を抽出できるようにする。

抽出された上位ｍ位の点に対し、傾斜角を決定する。この手続を図１９，図２０に模式的に示し、ここではｍは例えば８とする。文字の行を検出している場合、文字ブロックの上下の列も同時に検出できるので、傾斜角θｄと、その直交角φｄとに意味がある。また候補を抽出する際の許容誤差をδ(０.５°あるいは１°程度)とし、角θｘ±δとφｘ±δの範囲内に入る点の数ｋが最大となるように、θｘを決定する。ここでどの角度に対してもｋの値が閾値(例えばｍ／２)未満の場合、例えばエラーとする。閾値以上の点を含む角θｘが得られた場合、含まれる点の角度の単純加算平均、あるいは加重平均などにより、候補角を決定する。これは図６のステップ１６の処理である。

以上のようにして傾斜角θｄを例えば±０.１°程度の精度で決定すると、画像回転部７０により画像を回転させて傾斜を補正する。画像の回転自身は単純な処理であり、例えばスキャンと同期して実行できる。

図２１に、整合性の評価関数１０１，１０２を示す。横軸は抽出用の角度θｘからの偏差を示し、縦軸は評価関数１０１，１０２の重みを示す。また１０５〜１１０は抽出したデータを角度で示し、データ１０５〜１１０の高さは投票数である。実施例では０／１の重みを取る評価関数１０１を用いたが、評価関数１０２のように、θｘからの偏差に伴って重みを小さくするものでも良い。また評価関数１０１，１０２のいずれについても、
（データ１０５〜１１０の重み×各データの投票数）の評価関数内に含まれるものの和 のように、投票数を反映させて整合性を評価しても良い。

図６の処理では、評価関数１０１をパスした重みが１のデータ１０５〜１０９を対象とし、角度θの単純平均あるいは加重平均により、傾斜角θdを決定した。しかし加重平均で、投票数をそのまま用いる代わりに、投票数の平方根あるいは二乗などを用いても良く、投票数が大きい程、重みが大きくなるように、投票数を反映させた加重平均でも良い。

実施例では、先にθxを決定して、データ１０５〜１０９などを抽出し、次いでデータ１０５〜１０９を用いて角度θdを決定する。このためデータ１０５〜１０９を角度θdの決定に十分反映させることができる。しかしより単純に、角度θxをそのまま傾斜角θdとしても良い。ただし角度θxをそのまま傾斜角θdとすると、端にあるデータ１０９を含めるように角度θxを決定するため、傾斜角が端にあるデータ１０９の影響を受けやすくなる傾向がある。そこで実施例のように角度θｘの決定と傾斜角θｄの決定の２段階とすることが好ましい。

実施例では傾斜角の回転と補正とを複合機２の内部で行う例を示したが、パーソナルコンピュータ６などで行っても良い。その場合、実施例の画像処理プログラムをパーソナルコンピュータなどの情報処理装置で実行すると、情報処理装置はこの発明の画像処理装置となる。
本の見開きの傾斜を検出する場合、例えばスキャン前に原稿の種類が見開きであることを入力すると、左右別々の傾斜角を検出できる。あるいは入力画像を左右に分割して、傾斜角を求め、左右の傾斜角が異なると、見開きの画像であると推定しても良い。

２ 複合機
４ ＬＡＮ
６ パーソナルコンピュータ
８ ルータ
１０ インターネット
１２ ＬＡＮインターフェース
１４ バス
１６ 画像メモリ
１８ メモリ
２０ スキャナ
２２ プリンタ
２４ Ｇ３ファクシミリ部
２６ e-mail部
２８ ネットワークサーバ部
３０ ユーザインターフェース
３２ 画像処理部
４０ 前処理部
４１ 縮小処理部
４２ スムージング部
４３ エッジ抽出部
４４ 二値化部
４５ 孤立点除去部
４６ 縮退処理部
５０ ハフ変換部
５１ 実行ユニット
５２ ρ値計算部
５３ テーブル
５４ 投票テーブル
５５ 管理部
５６ データ
５７ マスク
６０ 傾斜角検出部
６１ 有効線抽出部
６２ 候補角抽出部
６３ 決定部
７０ 画像回転部
７１ 座標計算部
７２ アドレス生成部
７３ bicubic処理部
８０ フィルタ
８１ 被処理画像
８２ エッジ
１０１，１０２ 評価関数
１０５〜１１０ データ

Claims (8)

1. 画像中の点の座標を距離ρと角度θとに変換して、距離ρと角度θとを見出しとする投票テーブルに投票することにより、画像中の直線を抽出するハフ変換部を備えた画像処理装置において、
   前記投票テーブルから投票数が上位の所定個数の点を抽出すると共に、
   前記所定個数の点の角度θとの整合性が最大となるように抽出用の角度θxを定めて、定めた抽出用の角度θxに基づき、画像の傾斜角を求めるように構成したことを特徴とする、画像処理装置。
2. 前記所定個数の点の内で、前記抽出用の角度θｘから許容範囲内に角度θが含まれる点に対する、角度θの平均により、画像の傾斜角を定めるように構成したことを特徴とする、請求項１に記載の画像処理装置。
3. 前記所定個数の点の内で、前記抽出用の角度θｘから許容範囲内に角度θが含まれる点に対する、角度θの投票数に応じた重みを反映させた平均により、画像の傾斜角を定めるように構成したことを特徴とする、請求項１に記載の画像処理装置。
4. 前記所定個数の点の内で、前記抽出用の角度θｘから許容範囲内に角度θが含まれる点の数と、前記所定個数との割合が所定値未満の場合、画像の傾斜角を検出しないように構成したことを特徴とする、請求項１〜３のいずれかに記載の画像処理装置。
5. 前記所定個数の点が、最上位の投票数の点との投票数の割合が許容値未満の点を含む場合、画像の傾斜角を検出しないように構成したことを特徴とする、請求項１〜４のいずれかに記載の画像処理装置。
6. 前記所定個数の点を抽出する際に、抽出済みの点の投票テーブルでの近傍をマスクし、マスクした範囲内の他の点が投票テーブルから抽出されないように構成したことを特徴とする、請求項１〜５のいずれかに記載の画像処理装置。
7. 画像中の点の座標を距離ρと角度θとに変換して、距離ρと角度θとを見出しとする投票テーブルに投票することにより、画像中の直線を抽出する画像処理方法において、
   前記投票テーブルから投票数が上位の所定個数の点を抽出すると共に、
   前記所定個数の点の角度θとの整合性が最大となるように抽出用の角度θxを定めて、定めた抽出用の角度θxに基づき、画像の傾斜角を求めることを特徴とする、画像処理方法。
8. 情報処理装置に読み込まれて、該情報処理装置に、
   画像中の点の座標を距離ρと角度θとに変換して、距離ρと角度θとを見出しとする投票テーブルに投票する機能と、
   前記投票テーブルから投票数が上位の所定個数の点を抽出する機能と、
   さらに、前記所定個数の点の角度θとの整合性が最大となるように抽出用の角度θxを定めて、定めた抽出用の角度θxに基づき、画像の傾斜角を求める機能とを、実行させる、画像処理プログラム。