JP2009151759A - 画像処理方法及び画像処理装置 - Google Patents

Abstract

【課題】画像内の線分を検出する画像処理方法及び画像処理装置を提供する。
【解決手段】入力画像内の線分を検出する画像処理方法は、前記入力画像内のエッジを検出し、エッジマップを取得するエッジ検出ステップと、前記エッジマップ上で連結成分を検索し、前記連結成分のうち所定の長さより短い長さを有する小さな連結成分を除去する連結成分解析ステップと、残りの各連結成分に線分を当てはめて短い線分を取得する曲線当てはめステップと、前記短い線分をマージしてより長い線分にする線分マージステップとから成る。
【選択図】なし

Description

本発明は、画像処理方法及び画像処理装置に関し、特に、画像内の線分を検出する画像処理方法及び画像処理装置に関する。

線検出（又は線分検出）は、文書画像処理、財務データ画像処理及びナンバープレート検出等の画像処理における基本的な課題である。米国特許第６，０２６，１８６号公報「Line and curve detection using local information」における方法等の複数の線検出方法が提案されている。

ハフ変換（以下、「ＨＴ」と呼ぶ場合もある）は、最も広く使用される線検出アルゴリズムだろう。しかし周知のように、ハフ変換には莫大な計算コストがかかり、線しか検出できない。線分を検出するため、すなわち線の２つの端点を判定するためには、時間のかかる後処理が必要とされる。

本発明は、上述の状況に鑑みてなされたものであり、ハフ変換の欠点を解決し、確実且つ高速な線分検出を可能にする。

本発明にかかる入力画像内の線分を検出する画像処理方法は、前記入力画像内のエッジを検出し、エッジマップを取得するエッジ検出ステップと、前記エッジマップ上で連結成分を検索し、前記連結成分のうち所定の長さより短い長さを有する小さな連結成分を除去する連結成分解析ステップと、残りの各連結成分に線分を当てはめて短い線分を取得する曲線当てはめステップと、前記短い線分をマージしてより長い線分にする線分マージステップと、を有することを特徴とする。

本発明にかかる入力画像内の線分を検出する画像処理装置は、前記入力画像内のエッジを検出し、エッジマップを取得するエッジ検出手段と、前記エッジマップ上で連結成分を検索し、前記連結成分のうち所定の長さより短い長さを有する小さな連結成分を除去する連結成分解析手段と、残りの各連結成分に線分を当てはめて短い線分を取得する曲線当てはめ手段と、前記短い線分をマージしてより長い線分にする線分マージ手段と、を備えることを特徴とする。

本発明の更なる特徴は、実施形態の以下の説明から、添付の図面を参照して明らかとなるだろう。

添付の図面を参照して、本発明の好適な実施形態を詳細に説明する。

図１は、本発明の実施形態に従って、線分を検出する処理全体を示すフローチャートである。検出の前に、検出対象の画像は入力される。その後ステップＳ１００において、入力画像のエッジは検出される。入力画像のエッジを検出する方法は、Sobelオペレータ（Sobel operator）及びCannyオペレータ（Canny operator）等の一般的なエッジ検出技術であってもよい。本発明においてはCannyオペレータ（Canny operator）が使用される。このようにして、エッジマップはステップＳ１００において取得される。

次にステップＳ２００において、連結成分（ＣＣ）はエッジマップ上で見つけられる。その後、所定の長さより短い（例えば、１０画素未満の）小さなＣＣは廃棄される。これは、本実施形態の目的が長い線分を検索することであり、小さなＣＣが長い線分に属する可能性が少ないからである。所定の長さより短い小さなＣＣが廃棄されるため、計算コストは低減される。

エッジマップにおいて、線のエッジは他のオブジェクトのエッジに重ねられてもよい。従って、ステップＳ２００において取得される検出されたＣＣは、線及び他の非線オブジェクトの双方を含んでもよい。線分を取得するため、ステップＳ３００において、線分は非線オブジェクトから分離される必要がある。

上記の分離を実行するため、図２に示すような「曲線の当てはめ(curve fitting)」アルゴリズムと呼ばれる方法が採用される。図２は、本発明の実施形態に従って、連結成分（ＣＣ）をより小さな曲線に切断する例を示す図である。

図２において、最初に、ＣＣの２つの端点により形成される線（線ＡＢ）から最も遠い最遠点（点Ｃ）を選択し、図２の上部に示すように、点Ｃから線ＡＢまでの距離が所定の閾値（例えば５画素）より大きい場合、この点でＣＣを２つの小さな曲線に切断する。ＣＣの２つの端点により形成される線からの最遠点（例えば、本例では点Ｃ）を選択する方法は当業界で周知であるため、説明を省略する。

その後、図２の下部に示すように、曲線をそれ以上切断できなくなるまで、結果として得られた曲線をより小さな曲線に更に切断する。例えば、曲線ＡＣは、曲線ＡＤ及びＤＣに更に切断される。その結果得られる曲線ＡＤ上の任意の点から線ＡＤまでの距離が所定の閾値以下であるため、曲線ＡＤはそれ以上切断されない。

次に、以下のステップを使用して、結果として得られた小さな各曲線に線分を当てはめる。

１）曲線上の点を左から右及び上から下の順でソートする。

２）先頭の１／５の位置及び末尾の１／５の位置を２つの制御点（control points）として見つける。

３）２つの制御点から線分の線パラメータを算出する。

４）線パラメータ及び曲線の端点の座標により、線分の２つの端点を算出する。

ＣＣに線分を当てはめる例を図３に示す。

図１を再度参照すると、不十分な照明及びノイズ等により、長い線分は複数の断片に分けられる場合がある。ステップＳ４００において、これらの断片は、より長い線分にグループ化される。このフローチャートを図４に詳細に示す。

図４は、本発明の実施形態に従って、短い線分をマージ（又はグループ化）してより長い線分にする例を示すフローチャートである。

図４のステップＳ４１０において、長い線分の位置を見つけるためにハフ変換が実行される。ハフ変換は、以下のステップにより実行される。

１）ハフパラメータ空間を有限区画(finite intervals)又は累積セル(accumulator cells)に量子化することにより、２次元配列（２Ｄarray）H(ρ,θ)を形成する。式中、θは[90o,+90o]の範囲にあり、ρは[ρmin,ρmax]の範囲にあり、ρmin=−hであり、ρmax =(w²+h²)^(1/2)である。式中、w及びhは画像のサイズである。

２）短い線分（以下、「ＳＬＳ」と呼ぶ場合もある）L_k毎に、L_k上の全ての点をハフパラメータ空間に累積する。

式中、θ_kはL_kの法線角度であり、Δθは、θ_kを計算する際のある程度の誤差を許容するためのθの小さな範囲を定義し、(x_c,y_c)はL_kの中心点であり、MはL_k上の画素数である。上記式は、次式から導出される。

式中、(x_i,y_i)は線分上の各点である。

各線分に対してρ_cのみを算出する必要があるため、多くの計算時間が節約される。この変換後、画像空間内の線分は、ＳＬＳの長さに相関する値を有するＨＴ空間内の点により表される。累積数に加えて、各セルに属するＳＬＳのリンクリストが更に維持される。

図５は、本発明の実施形態に従って、線分に対するハフ変換（ＨＴ）の例を示す図である。累積アレイ内の結果として得られるピークは、対応する直線が画像内に存在することを明確に表す。

次に、図４のステップＳ４２０において、ＨＴ空間の同一の累積セル内の短い線分は、より長い線分を取得するためにグループ化及びマージされる。線分の位置は、以下のステップで決定される。

１）それらの十分に長いＳＬＳをシードとして選択する。

２）シード毎に、ＨＴ空間内の対応する点の近傍において極大値点を見つける。図６は、本発明の実施形態に従って、ＨＴ空間内で極大値を検索する方法の例を示す図である。図６に示すように、シードＰ０の近傍ではＰ１が極大値点である。すなわち、Ｐ０を中心とする所定の範囲において、Ｐ１の値はその範囲内の他の任意の点の値より大きい。近傍は、半径が約２セルの円として選択される。

３）極大値Ｐ１は小さな新しい近傍Ｐ１を形成し、近傍Ｐ１内の点は逆変換され、それによって画像空間内の線分のグループは取得される。

４）極大値点Ｐ１に対応する線上に線分のグループを投影する。その後、投影プロファイル上で２つの端点及び間隙を探す。間隙が所定の閾値（閾値は、検出される最短の線分の長さとして選択される）より小さい場合、間隙は無視される。このようにして、同一線上にある、分けられた線分（broken line segments）は、図７に示すように１つの線分にマージされる。図７は、本発明の実施形態に従って、短い線分をマージして長い線分にする例を示す図である。

５）全ての所望の線分が見つけられるまで、ステップ２）〜４）を繰り返す。

図１を再度参照すると、ステップＳ４００の完了後、出力する線分は取得される。

本実施形態において、上述のように、所定の長さより短い小さなＣＣが廃棄され且つ各線分に対してρ_cのみを算出する必要があるため、計算コスト及び計算時間は節約される。

図８は、本発明が適用される名刺読取りシステムの例を示す図である。

図８に示すように、名刺は、入力画像を取得するために名刺読取りシステムのデジタルカメラにより取り込まれる。入力画像の取得後、入力画像内の線分は本発明の方法を用いて検出される。次に、名刺の４つの境界線は形成され、それに基づいて遠近歪み(perspective distortion)の矯正は実行される。その後、テキスト抽出及びＯＣＲは実行され、名刺カードに印刷されたテキストは取得される。

図９は、本発明が適用されるナンバープレート認識システムの例を示す図である。

図９に示すように、車両に搭載されたナンバープレートは、図８と同様に、入力画像を取得するためにナンバープレート認識システムのデジタルカメラにより取り込まれる。入力画像の取得後、入力画像内の線分は本発明の方法を用いて検出される。次に、ナンバープレートの４つの境界線は形成され、それに基づいてナンバープレートは２値化され、ＯＣＲは実行される。従って、ナンバープレート上のテキストは取得される。

図１０は、本発明の実施形態に従って、線分を検出する画像処理装置の例を示すブロック図である。

図１０に示す画像処理装置は、入力画像内のエッジを検出し、エッジマップを取得するエッジ検出手段１と、エッジ画像上で連結成分を検索し、連結成分のうち所定の長さより短い長さを有する小さな連結成分を除去する連結成分解析手段２と、残りの各連結成分に線分を当てはめて短い線分を取得する曲線当てはめ手段３と、短い線分をマージしてより長い線分にする線分マージ手段４とを含む。

上述の方法は、上述の機能を実現するソフトウェアのプログラムコードを格納した記憶媒体をコンピュータシステム又は装置に提供することにより実現されてもよい。そのシステム又は装置のコンピュータ（あるいはＣＰＵ又はＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出して実行することにより、上述の実施形態の機能は実現される。この場合、記憶媒体から読み出されたプログラムコードは実施形態に係る機能を実現し、プログラムコードを格納した記憶媒体は本発明を構成する。フロッピー（登録商標）ディスク、ハードディスク、光ディスク及び光磁気ディスク等の記憶媒体は、プログラムコードを提供するために使用される。ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性メモリカード及びＲＯＭ等が更に使用される。

更に、上述の機能は、コンピュータにより読み出されたプログラムコードを実行することによってのみ実現されるのではない。本発明は、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が、プログラムコードの指示に従って処理の一部又は全部を実行し、上述の実施形態に係る機能を実現する場合を更に含む。

更に、記録媒体から読み出されたプログラムコードは、コンピュータに挿入された機能拡張カード又はコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれてもよい。その後、その機能拡張カード又は機能拡張ユニットに含まれるＣＰＵ等は、そのプログラムコードの指示に従って処理の一部又は全部を行ってもよく、上述の実施形態の機能を実現してもよい。

実施形態を参照して本発明を説明したが、本発明は開示される実施形態に限定されないことが理解されるべきである。添付の特許請求の範囲の範囲は、そのような変形、並びに等価な構成及び機能の全てを含むように最も広範に解釈されるべきである。

本発明の実施形態に従って、線分を検出する処理全体を示すフローチャートである。 本発明の実施形態に従って、連結成分（ＣＣ）をより小さな曲線に切断する例を示す図である。 本発明の実施形態に従って、ＣＣに線分を当てはめる例を示す図である。 本発明の実施形態に従って、短い線分をマージする例を示すフローチャートである。 本発明の実施形態に従って、線分に対するハフ変換（ＨＴ）の例を示す図である。 本発明の実施形態に従って、ＨＴ空間内で極大値を検索する方法の例を示す図である。 本発明の実施形態に従って、短い線分をマージして長い線分にする方法の例を示す図である。 本発明が適用される名刺読取りシステムの例を示す図である。 本発明が適用されるナンバープレート認識システムの例を示す図である。 本発明の実施形態に従って、線分を検出する画像処理装置の例を示すブロック図である。

Claims (10)

1. 入力画像内の線分を検出する画像処理方法であって、
   前記入力画像内のエッジを検出し、エッジマップを取得するエッジ検出ステップと、
   前記エッジマップ上で連結成分を検索し、前記連結成分のうち所定の長さより短い長さを有する小さな連結成分を除去する連結成分解析ステップと、
   残りの各連結成分に線分を当てはめて短い線分を取得する曲線当てはめステップと、
   前記短い線分をマージしてより長い線分にする線分マージステップと、を有することを特徴とする画像処理方法。
2. 前記曲線当てはめステップは、
   前記残りの各連結成分をより小さな曲線に切断するステップと、
   前記より小さな各曲線に線分を当てはめるステップと、を更に有することを特徴とする請求項１に記載の画像処理方法。
3. 前記切断するステップは、
   前記残りの連結成分の２つの端点により形成される線から最も遠い残りの連結成分上の点を選択するステップと、
   前記点から前記線までの距離が所定の閾値より大きい場合、前記点において前記残りの連結成分を２つのより小さな曲線に分割するステップと、を更に有することを特徴とする請求項２に記載の画像処理方法。
4. 前記最も遠い残りの連結成分上の点が前記より小さな各曲線において見つけられなくなるまで、前記選択及び前記分割は、前記より小さな各曲線に対して繰り返されることを特徴とする請求項３に記載の画像処理方法。
5. 前記線分マージステップは、
   前記短い線分をハフ変換空間に変換し、同様の線形式を有する前記短い線分をハフ変換空間内の同一の累積セルに変換するステップと、
   ハフ変換空間における極大値点と同一の累積セル内にある前記短い線分をグループ化し、前記より長い線分を取得するために前記短い線分をマージするステップと、を更に有することを特徴とする請求項１に記載の画像処理方法。
6. 入力画像内の線分を検出する画像処理装置であって、
   前記入力画像内のエッジを検出し、エッジマップを取得するエッジ検出手段と、
   前記エッジマップ上で連結成分を検索し、前記連結成分のうち所定の長さより短い長さを有する小さな連結成分を除去する連結成分解析手段と、
   残りの各連結成分に線分を当てはめて短い線分を取得する曲線当てはめ手段と、
   前記短い線分をマージしてより長い線分にする線分マージ手段と、を備えることを特徴とする画像処理装置。
7. 前記曲線当てはめ手段は、
   前記残りの各連結成分をより小さな曲線に切断する切断手段と、
   前記より小さな各曲線に線分を当てはめる当てはめ手段と、を更に備えることを特徴とする請求項６に記載の画像処理装置。
8. 前記切断手段は、
   前記残りの連結成分の２つの端点により形成される線から最も遠い残りの連結成分上の点を選択する選択手段と、
   前記点から前記線までの距離が所定の閾値より大きい場合、前記点において前記残りの連結成分を２つのより小さな曲線に分割する分割手段と、を更に備えることを特徴する請求項７に記載の画像処理装置。
9. 前記最も遠い残りの連結成分上の点が前記より小さな各曲線において見つけられなくなるまで、前記選択及び前記分割は、前記より小さな各曲線に対して繰り返される請求項８に記載の画像処理装置。
10. 前記線分マージ手段は、
    前記短い線分をハフ変換空間に変換し、同様の線形式を有する前記短い線分をハフ変換空間内の同一の累積セルに変換する変換手段と、
    ハフ変換空間における極大値点と同一の累積セル内にある前記短い線分をグループ化し、前記より長い線分を取得するために前記短い線分をマージするグループ化手段と、を更に備えることを特徴とする請求項６に記載の画像処理装置。

Images