JP2009037596A - 画像処理装置およびプログラム - Google Patents

Abstract

【課題】多値画像からの罫線抽出時に、偽の罫線を排除して過抽出を抑制し、適正な罫線のみを複雑な計算を用いることなく効率的に抽出できるようにする。
【解決手段】多値画像取得部９が取得した多値画像から二値画像生成部１１により二値画像を生成し、罫線候補抽出部１２によって二値画像から罫線を構成し得る画素である罫線候補画素を抽出し、エッジ検出部１３が罫線候補画素の周囲のエッジに関する情報を同じ多値画像の対応する座標位置から検出し、罫線候補の境界画素毎に空間フィルタを施し、その絶対値が所定の閾値より大きいものをエッジと判断する。罫線取得部１４では、エッジと判断された画素数が罫線候補画素の周囲の境界画素総数に対して一定の割合に達していれば、正当な罫線と判断して取得し、罫線登録部１５に登録する。
【選択図】 図１

Description

本発明は、画像処理装置およびプログラムに関し、より詳しくは、多値画像から罫線を適正に抽出することができる画像処理装置およびプログラムに関する。

従来、画像から罫線を抽出する方法としていくつか提案されている。例えば、一度矩形抽出を行って、表領域候補を選択してから、改めて二値画像の水平方向・垂直方向に長い黒ランを罫線として抽出し、その縦横比によって罫線と識別するものがあった（特許文献１参照）。

また、二値画像の水平方向に長い黒ランを罫線として抽出し、セパレータとアンダーラインとを区別するものがあった（特許文献２参照）。

さらに、多値画像に対する罫線抽出方法として、過抽出に対する配慮があり、罫線の輪郭の接線方向、法線方向の勾配の比の平均値を用いて偽の罫線を排除するものがあった（特許文献３参照）。これらの方法で抽出された罫線は、帳票処理や文字認識処理等で利用することができる。

また、多値画像の圧縮に利用可能な画像処理装置として、文字や抽出された罫線を単色表現することで圧縮し、背景や写真にあたる領域は色数を保持したまま低解像度化することで圧縮し、両者を重ね合わせ表示することにより、輪郭部の明瞭な表現が重要な文字や罫線の視認性と、色数が重要な写真部分の視認性を保ちつつ、画像サイズの圧縮を図るものがあった（特許文献４参照）。このように、罫線抽出技術はさまざまな分野に応用が可能である。

特許第３２１５１６３号公報 特許第３３４４７７４号公報 特開２００２−１３３４２６号公報 特開２００５−３４８２７９号公報

しかしながら、上記罫線抽出技術を多値画像の圧縮に利用する場合、過剰に罫線が抽出されると画質の劣化を招くため、過剰罫線の抽出抑制処理が必要になってくる。そこで、上記特許文献１および２にあっては、罫線抽出の対象が二値画像であって、多値画像で発生しうる罫線過抽出に対して配慮されていないという課題があった。

また、上記特許文献３にあっては、多値画像に対する罫線抽出において、罫線の過剰抽出に対する配慮はなされているが、罫線が傾いている場合に、罫線の接線方向および法線方向の勾配を求めるため、多くの演算量が必要になるという課題があった。これを図９に基づいて簡単に説明する。

図９は、従来の多値画像に対する罫線抽出方法の課題を説明する図である。図９に示すように、基点となる罫線の輪郭画素４６は、輪郭画素４６から法線４３方向へｄ画素分離れたところにある画素４４を法線４３方向の勾配（θ）を求めるのに必要な画素であるとする。罫線４０が完全に水平方向（傾きゼロ）の場合は、単純にｄ画素だけ垂直方向の画素を利用すればよい。しかし、図９に示すように罫線４０が傾いている場合は、まず罫線４０の接線方向４２と水平方向４５とがなす角θを求め、勾配算出の基点となる輪郭画素４６から画素ｄまでの距離Δx，Δyを次式（１），（２）で求め、
Δx＝ｄsinθ ………（１）
Δy＝ｄcosθ ………（２）
実数値（計算機における浮動小数点演算の結果）でΔx，Δyの座標値にある画素値を、離散値である実際の画像の画素値から演算する必要があった。

また、図１０は、中間色の領域で罫線抽出を行った場合に偽の罫線が抽出される例を説明する図である。図１０に示すように、多値からなる原画像をスキャナで読み取り、その一部を拡大すると、各画素が画素値（明度値）で表される。この領域は本来罫線のない領域であるが、これを閾値８５で二値化した場合、図１０に示すように、偽の罫線として横方向に連続した画素が抽出される。このように、多値画像から罫線を抽出する際に、偽の罫線が過抽出されることにより、画像が劣化するという課題があった。

本発明は、上記に鑑みてなされたものであって、多値画像からの罫線抽出時に、偽の罫線を排除して過抽出を抑制し、適正な罫線のみを複雑な計算を用いることなく効率的に抽出可能な画像処理装置およびプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、請求項１にかかる発明の画像処理装置は、多値画像から前記多値画像を二値化した二値画像を生成する二値画像生成手段と、生成された前記二値画像から、前記二値画像の画素に基づいて罫線を構成する画素となり得る画素である罫線候補画素を抽出する罫線候補抽出手段と、二値画像から抽出された前記罫線候補画素に基づいて、前記多値画像の中から罫線候補画素の周囲のエッジを構成する画素に関するエッジ情報を検出するエッジ検出手段と、検出された前記エッジ情報を利用して前記多値画像から罫線を取得する罫線取得手段と、を備えたことを特徴とする。

また、請求項２にかかる発明は、請求項１に記載の画像処理装置において、前記エッジ検出手段は、前記二値画像における前記罫線候補画素の周囲に対応した前記多値画像の画素の領域に所定の空間フィルタを施して、前記空間フィルタからの出力値が所定の閾値よりも大きい領域の画素に関する情報をエッジ情報として検出することを特徴とする。

また、請求項３にかかる発明は、請求項２に記載の画像処理装置において、前記多値画像がカラー画像であって、前記エッジ検出手段は、カラー画像の色成分ごとにエッジ情報を検出することを特徴とする。

また、請求項４にかかる発明は、請求項２または３に記載の画像処理装置において、前記罫線取得手段は、前記エッジ検出手段により検出されたエッジ情報を利用して、エッジを構成する画素と判断された画素数が所定の割合に達した領域を罫線と判断して取得することを特徴とする。

また、請求項５にかかる発明は、請求項２〜４のいずれか１つに記載の画像処理装置において、前記多値画像に平滑化処理が施されているか否かを判断する平滑化判断手段をさらに備え、平滑化処理が施されていると判断した場合には、前記エッジ検出手段は、エッジ検出感度を上げるように前記閾値を変更してエッジ情報を検出することを特徴とする。

また、請求項６にかかる発明は、請求項５に記載の画像処理装置において、前記多値画像が空間領域から周波数領域に変換されることにより圧縮された画像であり、前記平滑化判断手段は、前記多値画像の周波数成分のうち所定の周波数より高い高周波成分が一定割合未満の場合には平滑化処理が施されていると判断することを特徴とする。

また、請求項７にかかる発明は、請求項５に記載の画像処理装置において、前記多値画像が空間領域から周波数領域への変換を行わずに圧縮された画像であり、前記平滑化判断手段は、前記多値画像の画素に対しフーリエ変換を施すことにより周波数分布を求め、求めた該周波数成分に基づいて平滑化処理が施されているか否かを判断することを特徴とする。

また、請求項８にかかる発明のプログラムは、コンピュータを、多値画像から前記多値画像を二値化した二値画像を生成する二値画像生成手段と、生成された前記二値画像から、前記二値画像の画素に基づいて罫線を構成する画素となり得る画素である罫線候補画素を抽出する罫線候補抽出手段と、二値画像から抽出された前記罫線候補画素に基づいて、前記多値画像の中から罫線候補画素の周囲のエッジを構成する画素に関するエッジ情報を検出するエッジ検出手段と、検出された前記エッジ情報を利用して前記多値画像から罫線を取得する罫線取得手段と、して機能させることを特徴とする。

また、請求項９にかかる発明は、請求項８に記載のプログラムにおいて、前記エッジ検出手段は、前記二値画像における前記罫線候補画素の周囲に対応した前記多値画像の画素の領域に所定の空間フィルタを施して、前記空間フィルタからの出力値が所定の閾値よりも大きい領域の画素に関する情報をエッジ情報として検出することを特徴とする。

また、請求項１０にかかる発明は、請求項９に記載のプログラムにおいて、前記多値画像がカラー画像であって、前記エッジ検出手段は、カラー画像の色成分ごとにエッジ情報を検出することを特徴とする。

また、請求項１１にかかる発明は、請求項９または１０に記載のプログラムにおいて、前記罫線取得手段は、前記エッジ検出手段により検出されたエッジ情報を利用して、エッジを構成する画素と判断された画素数が所定の割合に達した領域を罫線と判断して取得することを特徴とする。

また、請求項１２にかかる発明は、請求項９〜１１のいずれか１つに記載のプログラムにおいて、前記多値画像に平滑化処理が施されているか否かを判断する平滑化判断手段をさらに前記コンピュータに機能させ、平滑化処理が施されていると判断した場合には、前記エッジ検出手段は、エッジ検出感度を上げるように前記閾値を変更してエッジ情報を検出することを特徴とする。

また、請求項１３にかかる発明は、請求項１２に記載のプログラムにおいて、前記多値画像が空間領域から周波数領域に変換されることにより圧縮された画像であり、前記平滑化判断手段は、前記多値画像の周波数成分のうち所定の周波数より高い高周波成分が一定割合未満の場合には平滑化処理が施されていると判断することを特徴とする。

また、請求項１４にかかる発明は、請求項１２に記載のプログラムにおいて、前記多値画像が空間領域から周波数領域への変換を行わずに圧縮された画像であり、前記平滑化判断手段は、前記多値画像の画素に対しフーリエ変換を施すことにより周波数分布を求め、求めた該周波数成分に基づいて平滑化処理が施されているか否かを判断することを特徴とする。

本発明によれば、二値画像生成手段により多値画像からその多値画像を二値化した二値画像を生成し、罫線候補抽出手段により生成された二値画像から二値画像の画素に基づいて罫線を構成する画素となり得る罫線候補画素を抽出し、エッジ検出手段により二値画像から抽出された罫線候補画素に基づいて、多値画像からエッジを構成する画素に関するエッジ情報を検出し、検出されたエッジ情報を利用して罫線取得手段により多値画像から罫線を取得するようにしたため、多値画像からの罫線抽出時に、偽の罫線を排除して過抽出を抑制し、適正な罫線のみを複雑な計算を用いることなく効率的に抽出することができるという効果を奏する。

以下に、本発明にかかる画像処理装置およびプログラムの実施の形態を図面に基づいて詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。

（第１の実施の形態）
図１は、第１の実施の形態にかかる画像処理装置の概略構成を説明するブロック図であり、図２は、罫線候補の境界画素においてエッジ検出を行う場合の説明図であり、図３は、第１の実施の形態で用いられる空間フィルタの例を示す図であり、図４は、第１の実施の形態の動作を説明するフローチャートであり、図５−１および図５−２は、第１の実施の形態で用いられる複数の空間フィルタの例を示す図である。

第１の実施の形態にかかる画像処理装置は、図１に示すように、多値画像取得部９、二値画像生成手段としての二値画像生成部１１、罫線候補抽出手段としての罫線候補抽出部１２、エッジ検出手段としてのエッジ検出部１３、罫線取得手段としての罫線取得部１４および罫線登録部１５などで構成されている。

多値画像取得部９は、罫線を構成しうる画素である罫線候補画素を抽出する処理対象としての多値画像を取得するものである。多値画像の取得方法としては、処理対象の画像をスキャナ等で読み取って取得したり、ネットワーク等を介して多値画像をダウンロードしたり、メモリ等に蓄積されている多値画像を読み出すこと等が考えられる。

二値画像生成部１１は、多値画像取得部９で取得した多値画像を二値化することにより二値画像を生成するものである。二値画像の生成方法としては、例えば図１０に示すように、多値画像の明度情報からあらかじめ定められた閾値を使って明るい画素を白、暗い画素を黒とする方法が考えられる。また、多値画像がＲ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）の色成分を持つカラー画像の場合は、Ｇ成分を明度情報とみなして同様の処理を行うことが考えられる。

罫線候補抽出部１２は、二値画像生成部１１で生成された二値画像から罫線を構成しうる罫線候補画素を抽出するものである。罫線候補画素の抽出方法はいくつか考えられる。例えば、ある一定以上の長さをもつ黒ラン（黒画素の水平または垂直方向の連続）を構成要素とする連結成分を抽出し、その縦横比で細長いものを候補とする方法がある（上記特許文献２および４参照）。また、本第１の実施の形態では、ある一定値以下の長さを持つ黒ランを構成要素とする連結成分を抽出し、その縦横比で細長いものを罫線候補画素とする抽出方法（上記特許文献４参照）を採用している。

エッジ検出部１３は、罫線候補抽出部１２が二値画像から抽出した罫線候補画素に基づいて、多値画像取得部９が取得した多値画像の中から罫線候補画素の周囲のエッジを構成する画素に関するエッジ情報を検出するものである。エッジ検出部１３が扱う罫線候補抽出部１２からの罫線候補画素の座標位置と多値画像取得部９からの多値画像の各画素の座標位置とは対応している。これは、罫線候補抽出部１２が処理対象とする二値画像は、多値画像取得部９により入力された多値画像の画像サイズを維持した状態で二値化されたものであり、一方、エッジ検出部１３が扱う多値画像は、多値画像取得部９により入力された多値画像そのままを用いているからである。これにより、抽出された罫線候補画素の周囲のエッジに関する情報（エッジ情報）は、これと対応する多値画像の座標位置を参照することにより検出することができる。

エッジ検出部１３におけるエッジ検出は、図２に示す罫線候補画素の周囲に存在する境界画素にて行われる。この境界画素とは、罫線候補を構成する画素１６と罫線候補を構成しない画素１７の境界に存在する画素、すなわち、罫線候補を構成する境界画素１８と罫線候補を構成しない境界画素１９のことである。

このエッジ検出部１３では、二値画像から抽出した罫線候補画素の周囲に存在する境界画素に関するエッジ情報を多値画像取得部９の多値画像から取得し、罫線候補の境界画素の１つを注目画素として注目画素とその周辺画素（従って、全９画素）に対して、図３に示す空間フィルタを施し、その空間フィルタからの出力値の絶対値が予め設定された閾値と比較して大きい注目画素をエッジのある画素とみなすという方法を採用している。図３の空間フィルタは、中央の注目画素の輝度を上げ、隣接する周辺画素の輝度を低くするように計算する空間フィルタである。

例えば、多値画像が濃淡画像の場合は、エッジの有無を判断したい罫線候補画素の周囲に存在する境界画素１８，１９の１つを注目画素とし、その輝度値をa_x,yとして、注目画素に隣接する画素値をそれぞれ
a_x-1,y-1、a_x,y-1、a_x+1,y-1、a_x-1,y、a_x+1,y、a_x-1,y+1、a_x,y+1、a_x+1,y+1と置いて、次式（３）で表される値（Ｅ）が一定値を超えた場合にエッジ有りと判断する。これをエッジの有無を判断したい罫線候補の境界画素１８，１９を構成する注目画素全てに対して行い、後述する罫線取得部１４において正当な罫線であるか否かを判断し、正当な罫線であればこれを取得する。
Ｅ=|8×a_x,y-a_x-1,y-1-a_x,y-1-a_x+1,y-1-a_x-1,y-a_x+1,y-a_x-1,y+1-a_x,y+1-a_x+1,y+1|・・・（３）

また、上記多値画像がカラー画像の場合は、ＲＧＢの各色成分に対して同様の演算処理をそれぞれ行い、各色成分のうち１つでも一定値を超えた場合はエッジ有りと判断する。この演算処理についても、罫線候補画素の周囲に存在する境界画素１８，１９を構成する注目画素全てに対して行われる。

罫線取得部１４は、エッジ検出部１３によりエッジを構成する画素と判断されたエッジ情報を利用して、罫線候補画素の周囲に存在する境界画素の中から正当な罫線か否かを判断し、正当な罫線であればこれを取得するものである。すなわち、エッジ有りと判断された画素数が罫線候補画素の周囲に存在する境界画素総数に対して一定の割合に達した場合に、当該罫線候補画素を正当な罫線と判断し、取得する。

例えば、紙面の裏の罫線が裏写りにより罫線候補画素として抽出されたとしても、かかる罫線候補画素では、罫線を構成する画素となり得る画素の輝度値とその周辺画素の輝度値との変化が少ない。したがって、このような罫線候補の境界画素からは殆どエッジとして検出されないため、境界画素総数に対して一定の割合に達せず、当該罫線候補画素は正当な罫線と判断されない。

罫線登録部１５は、罫線取得部１４において罫線候補画素の中から正当な罫線であると判断され、取得された罫線を登録するものである。

第１の実施の形態にかかる動作を図１〜図４を用いて説明する。多値画像取得部１０において罫線を構成する画素となり得る画素である罫線候補画素を抽出する処理対象としての多値画像を取得すると（ステップＳ１００）、二値画像生成部１１にて多値画像を所定の閾値を用いて二値化することにより二値画像を生成し（ステップＳ１０１）、罫線候補抽出部１２により二値画像の画素に基づいて罫線を構成する画素となり得る罫線候補画素の抽出処理が行われる（ステップＳ１０２）。

罫線候補画素の抽出処理は、ここではある一定値以下の長さを持つ黒ランを構成要素とする連結成分を抽出し、その縦横比で細長いものを罫線候補画素としたが、この方法に必ずしも限定されない。

そして、エッジ検出部１３は、罫線候補抽出部１２が二値画像から抽出した罫線候補画素に基づいて、多値画像取得部９が取得した多値画像の中から罫線候補画素の周囲のエッジを構成する画素に関するエッジ情報を検出する。具体的には、エッジ検出部１３において、二値画像から抽出した罫線候補画素の周囲に存在する境界画素１８，１９のエッジ情報を、これと対応した座標位置にある多値画像取得部９の多値画像から取得し、罫線候補の境界画素１８，１９の１つを注目画素として注目画素とその周辺画素（全９画素）に対して、図３に示す空間フィルタを施し、その空間フィルタからの出力値の絶対値が予め設定された閾値と比較して大きい注目画素をエッジのある画素とみなす（ステップＳ１０３）。この処理は罫線候補画素の周囲に存在する境界画素１８，１９全てに対して行われる。図３の空間フィルタを用いた場合は、注目画素とそれ以外の隣接画素との輝度差を際立たせることでエッジを判断するため、罫線方向を特に意識しなくてもエッジの有無を判断することができる。

続いて、罫線取得部１４では、エッジ検出部１３によりエッジと判断されたエッジ情報を利用して、罫線候補画素の中から正当な罫線のみを取得する。すなわち、罫線候補画素の周囲にエッジと判断された画素数が罫線候補画素の周囲に存在する境界画素総数に対して一定の割合に達した（図４中では「多数」と表現）か否かにより、正当な罫線か否かを判断する（ステップＳ１０４）。

このように、罫線取得部１４で正当な罫線と判断され、取得した場合は（ステップＳ１０４−ＹＥＳ）、その罫線を罫線登録部１５に登録する（ステップＳ１０５）。偽の罫線と判断された場合は登録されずにステップＳ１０６に移行する。

ステップＳ１０６では、罫線候補画素の周囲に存在する境界画素１８，１９全てに対して、エッジ検出および検出されたエッジに基づいて正当な罫線か否かの判断をしていない場合は（ステップＳ１０６−ＮＯ）、ステップＳ１０３に戻り、ステップＳ１０５までの罫線登録処理が繰り返される。

罫線候補画素の周囲に存在する境界画素１８，１９全てに対して正当な罫線か否かの判断を行った場合は（ステップＳ１０６−ＹＥＳ）、罫線登録部１５に登録されている罫線情報を出力する（ステップＳ１０７）。

また、図３に示す１つの空間フィルタに代えて、図５−１および図５−２に示す複数の空間フィルタを用いてエッジ検出を行うようにしても良い。例えば、図５−１に示す空間フィルタは、左右方向に輝度差が出るように計算させる空間フィルタであり、図５−２に示す空間フィルタは、上下方向に輝度差出るように計算させる空間フィルタである。

具体的には、図１のエッジ検出部１３におけるエッジ検出処理において、図５−１および図５−２に示す複数の空間フィルタを罫線候補画素の周囲に存在する境界画素の１つを注目画素として注目画素とその周辺画素（全９画素）に対して別々に施し、それらの２乗和の値が予め設定された閾値と比較して大きい注目画素をエッジのある画素とみなす。図５−１および図５−２に示す複数の空間フィルタを用いた場合は、上下方向と左右方向で輝度差の出方が異なるため、原稿にゴミや網掛け領域があったとしても偽のエッジが検出されることを抑制することができる。例えば、解像度にも依るが、原稿の網掛けドットが１×１画素程度の場合に、図３の空間フィルタを使った場合と比較すると、エッジとして検出され難くなる。したがって、このような網掛け領域などで擬似的に抽出される可能性のある偽の罫線を排除することができる。

以上述べたように、本発明の第１の実施の形態によれば、処理対象の多値画像からその多値画像を二値化した二値画像を生成し、その二値画像から得られた二値画像に基づいて罫線を構成する画素となり得る罫線候補画素に基づいて、同じ多値画像の対応する座標位置から罫線候補画素の周囲のエッジを構成する画素に関するエッジ情報を検出し、罫線候補の境界画素の１つを注目画素として注目画素とその周辺画素に対して空間フィルタを施し、その空間フィルタからの出力値の絶対値が予め設定された閾値より大きい注目画素をエッジと判断する。そして、エッジと判断された画素数が罫線候補画素の周囲に存在する境界画素総数に対して一定の割合に達していれば、正当な罫線と判断し、一定割合未満であれば偽の罫線と判断するため、少ない演算量で偽の罫線を排除して過抽出を抑制し、適正な罫線のみを効率的に抽出することができる。特に、上記特許文献３では、罫線が傾いている場合に、罫線の接線方向および法線方向の勾配を求めるために参照画素を決定する処理を行っていたが、本第１の実施の形態ではそれが不要となるので、より少ない演算量で罫線抽出を行うことができる。

（第２の実施の形態）
図６は、第２の実施の形態にかかる画像処理装置の概略構成を説明するブロック図である。第２の実施の形態の特徴は、図６に示すように、多値画像取得部９とエッジ検出部１３との間に、平滑化判断部１０を設けた点にある。そして、平滑化判断部１０には、ＪＰＥＧデータ処理部１０ａと否ＪＰＥＧデータ処理部１０ｂとを備えている。

例えば、図６に示す処理対象の画像として、スキャナなどから多値画像を取得する場合、スキャナによってはモアレの発生を防止するために、画像全体を平滑化処理するものがあった。そこで、エッジ検出部１３では、このように平滑化処理された多値画像を使って、これまでと同様のエッジ検出処理を行うとエッジの検出精度が低下することが起こりうる。これは、平滑化処理された多値画像は、高周波成分の割合が低下しているため、通常の閾値を使ってエッジ検出を行うと、検出すべきエッジが検出できなくなり、正当な罫線の判断ができなくなることを意味する。そこで、第２の実施の形態では、入力される多値画像が平滑化処理されているか否かによって画像処理を変えることで、常に適正に罫線を判断できるようにする。

まず、図６の平滑化判断部１０では、取得された多値画像が空間領域から周波数領域に変換されることにより圧縮された画像の場合は、取得された多値画像が周波数情報を含んでいるため、その周波数情報の周波数分布から高周波成分の割合を算出する。ここでは、多値画像が周波数情報を含んでいるかを判断する一例として、多値画像のデータ形式によってＪＰＥＧデータか否かを判断する。フーリエ変換されたＪＰＥＧデータであれば、画素の位置情報と周波数情報を含んでいるため、平滑化判断部１０のＪＰＥＧデータ処理部１０ａは、その周波数分布を見て高周波成分の割合を算出し、高周波成分の割合が一定未満であれば、平滑化処理が掛かっていると判断して、平滑化判断部１０のＪＰＥＧデータ処理部１０ａがエッジの検出感度を上げるようにエッジ検出部１３の閾値を変更する。また、平滑化判断部１０のＪＰＥＧデータ処理部１０ａは、多値画像の高周波成分の割合が一定以上であれば、平滑化処理が掛かっていないと判断して、エッジ検出部１３の閾値を変更しない。

また、平滑化判断部１０は、取得された多値画像が空間領域から周波数領域への変換を行わずに圧縮された画像の場合は、取得された多値画像がＪＰＥＧデータではなく、周波数情報を含んでいないため、周波数分布を見ることができないため、否ＪＰＥＧデータ処理部１０ｂにより多値画像をフーリエ変換する。多値画像をフーリエ変換して周波数情報が得られた後は、上記と同様に多値画像の高周波成分の割合が一定未満であれば、平滑化処理が掛かっていると判断して、エッジの検出感度を上げるようにエッジ検出部１３の閾値を変更し、多値画像の高周波成分の割合が一定以上であれば、平滑化処理が掛かっていないと判断して、エッジ検出部１３の閾値を変更しない。

以上述べたように、第２の実施の形態によれば、多値画像の周波数分布から高周波成分の割合を見て、平滑化処理が掛かっている場合は、エッジの検出感度を上げるようにエッジ検出部１３の閾値を変更し、平滑化処理が掛かっていない場合は、エッジ検出部１３の閾値を変更しないようにするため、入力される多値画像が平滑化処理されているか否かに関わらず、常に適正な罫線抽出を行うことが可能となる。

また、図７は、本発明の画像処理装置の全体構成図である。図７に示す画像処理装置は、各構成部の機能をプログラム化し、コンピュータ読み取り可能な記録媒体に記録し、コンピュータ上で実行したり、画像処理装置の一部をネットワーク上に有し、通信回線を通して実現したりすることができる。

すなわち、第１および第２の実施の形態で説明した画像処理装置は、図７に示すように、あらかじめ用意されたプログラムを使ってパーソナルコンピュータやワークステーションなどのコンピュータ（ＣＰＵ２０）で実行することにより実現される。このプログラムは、キーボードなどの入力装置２４を操作することにより、バス２８を介して接続されているメモリ２１、ハードディスク２３、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ−Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３０の他、ＭＯ（Ｍａｇｎｅｔｏ Ｏｐｔｉｃａｌ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）などのコンピュータで読み取り可能な記録媒体２９に記録され、コンピュータ（ＣＰＵ２０）によってＣＤ−ＲＯＭドライブ２５を介して記録媒体２９から読み出され、必要に応じてディスプレイ２６に表示し、プリンタ２７からプリントアウトすることにより実行される。また、必要に応じてこの画像処理装置のデータを不図示の通信装置を使って外部装置との間で送受信することも可能である。

また、このプログラムは、上記記録媒体２９を介して、インターネットなどのネットワーク上に接続されたパーソナルコンピュータなどの装置に配布することもできる。

すなわち、このプログラムは、例えばコンピュータに内蔵されている記録媒体としてのハードディスク２３に、あらかじめインストールした状態で提供することができる。プログラムは、記録媒体に一時的あるいは永続的に格納し、コンピュータにユニットとして組み込み、あるいは着脱式の記録媒体として利用することにより、パッケージソフトウェアとして提供することができる。

記録媒体２９としては、例えばフレキシブルディスク、ＣＤ−ＲＯＭ、ＭＯディスク、ＤＶＤ、磁気ディスク、半導体メモリなどが利用できる。

プログラムは、ダウンロードサイトから、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やインターネットといったネットワークを介して、有線または無線でコンピュータに転送し、そのコンピュータにおいて、内蔵するハードディスクなどの記憶装置にダウンロードさせるようにすることができる。

処理対象となる多値画像は、例えばスキャナなどの入力装置２４を通してハードディスク２３などに格納されている。ＣＰＵ２０は、記録媒体３０からプログラムを読み出して実行させ、その画像処理結果をハードディスク２３に再び保存し、必要に応じてディスプレイ２６に表示し、プリンタ２７から紙に印刷することができる。

なお、上記実施の形態では、本発明にかかる画像処理装置を、ＰＣ（Personal Computer）等の情報処理装置に適用した例をあげて説明したが、これに限定されるものではなく、プリンタ、複写機、スキャナ装置、ファクシミリ装置、これらの機能を一つの筐体に搭載した複合機に本発明にかかる画像処理装置を適用することもできる。例えば、本発明にかかる画像処理装置を複合機に適用した場合には、図８に示すハードウェア構成となる。

図８は、本実施の形態にかかる複合機のハードウェア構成を示すブロック図である。図８に示す複合機は、コントローラ３０とエンジン部（Engine）６００とをＰＣＩ（Peripheral Component Interconnect）バスで接続した構成となる。コントローラ３０は、複合機全体の制御と描画、通信、図示しない操作部からの入力を制御するコントローラである。エンジン部６００は、ＰＣＩバスに接続可能なプリンタエンジンなどであり、たとえば白黒プロッタ、１ドラムカラープロッタ、４ドラムカラープロッタ、スキャナまたはファックスユニットなどである。なお、このエンジン部６００には、プロッタなどのいわゆるエンジン部分に加えて、誤差拡散やガンマ変換などの画像処理部分が含まれる。

コントローラ３０は、ＣＰＵ３１と、ノースブリッジ（ＮＢ）３３と、システムメモリ（ＭＥＭ−Ｐ）３２と、サウスブリッジ（ＳＢ）３４と、ローカルメモリ（ＭＥＭ−Ｃ）３７と、ＡＳＩＣ（Application Specific Integrated Circuit）３６と、ハードディスクドライブ（ＨＤＤ）３８とを有し、ノースブリッジ（ＮＢ）３３とＡＳＩＣ３６との間をＡＧＰ（Accelerated Graphics Port）バス３５で接続した構成となる。また、ＭＥＭ−Ｐ３２は、ＲＯＭ（Read Only Memory）３２ａと、ＲＡＭ(Random Access Memory)３２ｂとをさらに有する。

ＣＰＵ３１は、複合機の全体制御をおこなうものであり、ＮＢ３３、ＭＥＭ−Ｐ３２およびＳＢ３４からなるチップセットを有し、このチップセットを介して他の機器と接続される。

ＮＢ３３は、ＣＰＵ３１とＭＥＭ−Ｐ３２、ＳＢ３４、ＡＧＰ３５とを接続するためのブリッジであり、ＭＥＭ−Ｐ３２に対する読み書きなどを制御するメモリコントローラと、ＰＣＩマスタおよびＡＧＰターゲットとを有する。

ＭＥＭ−Ｐ３２は、プログラムやデータの格納用メモリ、プログラムやデータの展開用メモリ、プリンタの描画用メモリなどとして用いるシステムメモリであり、ＲＯＭ３２ａとＲＡＭ３２ｂとからなる。ＲＯＭ３２ａは、プログラムやデータの格納用メモリとして用いる読み出し専用のメモリであり、ＲＡＭ３２ｂは、プログラムやデータの展開用メモリ、プリンタの描画用メモリなどとして用いる書き込みおよび読み出し可能なメモリである。

ＳＢ３４は、ＮＢ３３とＰＣＩデバイス、周辺デバイスとを接続するためのブリッジである。このＳＢ３４は、ＰＣＩバスを介してＮＢ３３と接続されており、このＰＣＩバスには、ネットワークインターフェース（Ｉ／Ｆ）部なども接続される。

ＡＳＩＣ３６は、画像処理用のハードウェア要素を有する画像処理用途向けのＩＣ（Integrated Circuit）であり、ＡＧＰ３５、ＰＣＩバス、ＨＤＤ３８およびＭＥＭ−Ｃ３７をそれぞれ接続するブリッジの役割を有する。このＡＳＩＣ３６は、ＰＣＩターゲットおよびＡＧＰマスタと、ＡＳＩＣ３６の中核をなすアービタ（ＡＲＢ）と、ＭＥＭ−Ｃ３７を制御するメモリコントローラと、ハードウェアロジックなどにより画像データの回転などをおこなう複数のＤＭＡＣ（Direct Memory Access Controller）と、エンジン部６００との間でＰＣＩバスを介したデータ転送をおこなうＰＣＩユニットとからなる。このＡＳＩＣ１６には、ＰＣＩバスを介してＦＣＵ（Fax Control Unit）３００、ＵＳＢ（Universal Serial Bus）４００、ＩＥＥＥ１３９４（the Institute of Electrical and Electronics Engineers 1394）インターフェース５００が接続される。操作表示部２００はＡＳＩＣ３６に直接接続されている。

ＭＥＭ−Ｃ３７は、コピー用画像バッファ、符号バッファとして用いるローカルメモリであり、ＨＤＤ（Hard Disk Drive）３８は、画像データの蓄積、プログラムの蓄積、フォントデータの蓄積、フォームの蓄積を行うためのストレージである。

ＡＧＰ３５は、グラフィック処理を高速化するために提案されたグラフィックスアクセラレーターカード用のバスインターフェースであり、ＭＥＭ−Ｐ３２に高スループットで直接アクセスすることにより、グラフィックスアクセラレーターカードを高速にするものである。

なお、上記第１および第２の実施の形態を組み合わせて実施したり、その一部を相互に利用して実施したりすることも勿論可能である。

本発明に係る画像処理装置およびプログラムは、多値の文書画像からの罫線抽出を過抽出を抑制しつつ行う場合に有効である。特に、高圧縮ＰＤＦなどのＭＲＣ（Mixed Raster Content＝複数画像の重ね合わせ）技術を利用した圧縮技術などへの応用が可能な画像処理装置およびプログラムに適している。

第１の実施の形態にかかる画像処理装置の概略構成を説明するブロック図である。 罫線候補の境界画素においてエッジ検出を行う場合の説明図である。 第１の実施の形態で用いられる空間フィルタの例を示す図である。 第１の実施の形態の動作を説明するフローチャートである。 第１の実施の形態で用いられる複数の空間フィルタの例を示す図である。 第１の実施の形態で用いられる複数の空間フィルタの例を示す図である。 第２の実施の形態にかかる画像処理装置の概略構成を説明するブロック図である。 本発明の画像処理装置の全体構成図である。 本実施の形態にかかる複合機のハードウェア構成を示すブロック図である。 従来の多値画像に対する罫線抽出方法の課題を説明する図である。 中間色の領域で罫線抽出を行った場合に偽の罫線が抽出される例を説明する図である。

符号の説明

９ 多値画像取得部
１０ 平滑化判断部
１０ａ ＪＰＥＧデータ処理部
１０ｂ 否ＪＰＥＧデータ処理部
１１ 二値画像生成部
１２ 罫線候補抽出部
１３ エッジ検出部
１４ 罫線取得部
１５ 罫線登録部
１６ 罫線候補を構成する画素
１７ 罫線候補を構成しない画素
１８ 罫線候補を構成する境界画素
１９ 罫線候補を構成しない境界画素
２０ ＣＰＵ
２１ メモリ
２３ ハードディスク
２４ 入力装置
２５ ＣＤ−ＲＯＭドライブ
２６ ディスプレイ
２７ プリンタ
２８ バス
２９ 記録媒体
３０ コントローラ
３１ ＣＰＵ
３２ システムメモリ（ＭＥＭ−Ｐ）
３２ａ ＲＯＭ
３２ｂ ＲＡＭ
３３ ノースブリッジ（ＮＢ）
３４ サウスブリッジ（ＳＢ）
３５ ＡＧＰバス
３６ ＡＳＩＣ
３７ ローカルメモリ（ＭＥＭ−Ｃ）
３８ ハードディスクドライブ（ＨＤＤ）
４０ 罫線
４１ 罫線候補を構成しない画素
４２ 接線方向
４３ 法線方向
４４ 画素
４５ 水平方向
４６ 基点となる罫線の輪郭画素
２００ 操作表示部
３００ ＦＣＵ
４００ ＵＳＢ
５００ インターフェース（ＩＥＥＥ１３９４）
６００ エンジン部

Claims (14)

1. 多値画像から前記多値画像を二値化した二値画像を生成する二値画像生成手段と、
   生成された前記二値画像から、前記二値画像の画素に基づいて罫線を構成する画素となり得る画素である罫線候補画素を抽出する罫線候補抽出手段と、
   二値画像から抽出された前記罫線候補画素に基づいて、前記多値画像の中から罫線候補画素の周囲のエッジを構成する画素に関するエッジ情報を検出するエッジ検出手段と、
   検出された前記エッジ情報を利用して前記多値画像から罫線を取得する罫線取得手段と、
   を備えたことを特徴とする画像処理装置。
2. 前記エッジ検出手段は、
   前記二値画像における前記罫線候補画素の周囲に対応した前記多値画像の画素の領域に所定の空間フィルタを施して、前記空間フィルタからの出力値が所定の閾値よりも大きい領域の画素に関する情報をエッジ情報として検出することを特徴とする請求項１に記載の画像処理装置。
3. 前記多値画像がカラー画像であって、
   前記エッジ検出手段は、
   カラー画像の色成分ごとにエッジ情報を検出することを特徴とする請求項２に記載の画像処理装置。
4. 前記罫線取得手段は、
   前記エッジ検出手段により検出されたエッジ情報を利用して、エッジを構成する画素と判断された画素数が所定の割合に達した領域を罫線と判断して取得することを特徴とする請求項２または３に記載の画像処理装置。
5. 前記多値画像に平滑化処理が施されているか否かを判断する平滑化判断手段をさらに備え、
   平滑化処理が施されていると判断した場合には、前記エッジ検出手段は、エッジ検出感度を上げるように前記閾値を変更してエッジ情報を検出することを特徴とする請求項２〜４のいずれか１つに記載の画像処理装置。
6. 前記多値画像が空間領域から周波数領域に変換されることにより圧縮された画像であり、
   前記平滑化判断手段は、
   前記多値画像の周波数成分のうち所定の周波数より高い高周波成分が一定割合未満の場合には平滑化処理が施されていると判断することを特徴とする請求項５に記載の画像処理装置。
7. 前記多値画像が空間領域から周波数領域への変換を行わずに圧縮された画像であり、 前記平滑化判断手段は、
   前記多値画像の画素に対しフーリエ変換を施すことにより周波数分布を求め、求めた該周波数成分に基づいて平滑化処理が施されているか否かを判断することを特徴とする請求項５に記載の画像処理装置。
8. コンピュータを、
   多値画像から前記多値画像を二値化した二値画像を生成する二値画像生成手段と、
   生成された前記二値画像から、前記二値画像の画素に基づいて罫線を構成する画素となり得る画素である罫線候補画素を抽出する罫線候補抽出手段と、
   二値画像から抽出された前記罫線候補画素に基づいて、前記多値画像の中から罫線候補画素の周囲のエッジを構成する画素に関するエッジ情報を検出するエッジ検出手段と、
   検出された前記エッジ情報を利用して前記多値画像から罫線を取得する罫線取得手段と、
   して機能させることを特徴とするプログラム。
9. 前記エッジ検出手段は、
   前記二値画像における前記罫線候補画素の周囲に対応した前記多値画像の画素の領域に所定の空間フィルタを施して、前記空間フィルタからの出力値が所定の閾値よりも大きい領域の画素に関する情報をエッジ情報として検出することを特徴とする請求項８に記載のプログラム。
10. 前記多値画像がカラー画像であって、
    前記エッジ検出手段は、
    カラー画像の色成分ごとにエッジ情報を検出することを特徴とする請求項９に記載のプログラム。
11. 前記罫線取得手段は、
    前記エッジ検出手段により検出されたエッジ情報を利用して、エッジを構成する画素と判断された画素数が所定の割合に達した領域を罫線と判断して取得することを特徴とする請求項９または１０に記載のプログラム。
12. 前記多値画像に平滑化処理が施されているか否かを判断する平滑化判断手段をさらに前記コンピュータに機能させ、
    平滑化処理が施されていると判断した場合には、前記エッジ検出手段は、エッジ検出感度を上げるように前記閾値を変更してエッジ情報を検出することを特徴とする請求項９〜１１のいずれか１つに記載のプログラム。
13. 前記多値画像が空間領域から周波数領域に変換されることにより圧縮された画像であり、
    前記平滑化判断手段は、
    前記多値画像の周波数成分のうち所定の周波数より高い高周波成分が一定割合未満の場合には平滑化処理が施されていると判断することを特徴とする請求項１２に記載のプログラム。
14. 前記多値画像が空間領域から周波数領域への変換を行わずに圧縮された画像であり、
    前記平滑化判断手段は、
    前記多値画像の画素に対しフーリエ変換を施すことにより周波数分布を求め、求めた該周波数成分に基づいて平滑化処理が施されているか否かを判断することを特徴とする請求項１２に記載のプログラム。

Images