JP2007026224A - 画像処理装置及びその方法 - Google Patents

Abstract

【課題】 本発明の目的は、入力画像中の特定のエッジ部分のみを抽出することのできる画像処理装置を提供すること。
【解決手段】 本発明の画像処理装置は、入力画像（Ｓ１００）からエッジを抽出するもので、入力画像（Ｓ１００）から基準エッジ（Ｓ１０５）と、分割前の参照エッジ（Ｓ１１０）とを抽出し、分割前の参照エッジを分割して複数の分割後参照エッジを生成し（Ｓ１２０）、分割後の参照エッジのそれぞれについて基準エッジとの重複度を算出し（Ｓ１２５）、複数の分割後の参照エッジのうち、重複度が所定基準以上の分割後の参照エッジを用いて（Ｓ１３０）入力画像中のエッジを構成することを特徴とする画像処理装置。
ことを特徴としている。
【選択図】 図１

Description

本発明は、入力画像からエッジを抽出する画像処理装置及びその方法に関する。

入力画像からエッジを抽出する画像処理装置（方法）が知られており、下記［特許文献１］にも開示がある。下記［特許文献１］に記載のものでは、画像を複数の閾値で２値化し、該２値化された画像に対して、境界画素判定オペレータを作用させた後、境界画像を統合する。
特開平５−２２５３３６号公報

境界画像のエッジ部分を理論和で合成しているため、エッジ部分であれば全て統合されてしまうため、特定部分で連続したエッジのみを抽出するようなことができない（もともと特定部分のエッジのみを抽出しようという発想がない。）従って、本発明の目的は、入力画像中の特定のエッジ部分のみを抽出することのできる画像処理装置及びその方法を提供することにある。

請求項１に記載の画像処理装置は、入力画像から基準エッジを抽出する基準エッジ抽出手段と、分割前の参照エッジを抽出する参照エッジ抽出手段と、分割前の参照エッジを分割して複数の分割後参照エッジを生成する分割手段と、分割後の参照エッジのそれぞれについて基準エッジとの重複度を算出し、複数の分割後の参照エッジのうち、重複度が所定基準以上の分割後の参照エッジを用いて入力画像中のエッジを構成するエッジ構成手段とを備えたことを特徴としている。

また、請求項６に記載の画像処理装置及び方法は、入力画像からエッジを抽出する画像処理装置において、入力画像から基準エッジと、分割前の参照エッジとを抽出し、分割前の参照エッジを分割して複数の分割後参照エッジを生成し、分割後の参照エッジのそれぞれについて基準エッジとの重複度を算出し、複数の分割後の参照エッジのうち、重複度が所定基準以上の分割後の参照エッジを用いて入力画像中のエッジを構成することを特徴としている。

請求項２及び７に記載の発明は、請求項１に記載の画像処理装置、又は、請求項６に記載の画像処理方法において、入力画像から抽出したエッジのうち、所定条件を満たしたエッジを基準エッジとすることを特徴としている。なお、所定条件とは、検出した基準エッジのエッジらしさ（後述するガボールフィルタやｗａｖｅｌｅｔフィルタでは、エッジ強度が数値として算出される）が所定基準以上の場合のことを言う。

請求項３及び８に記載の発明は、請求項１に記載の画像処理装置、又は、請求項６に記載の画像処理方法において、分割前の参照エッジが、分割フィルタ、ソーベルフィルタ、又は、キャニーフィルタを用いて抽出されることを特徴としている。

請求項４及び９に記載の発明は、請求項１に記載の画像処理装置、又は、請求項６に記載の画像処理方法において、参照エッジの分割をエッジの勾配の変化が不連続な点で行われることを特徴としている。

請求項５及び１０に記載の発明は、請求項１に記載の画像処理装置、又は、請求項６に記載の画像処理方法において、重複度が、分割後の参照エッジと基準エッジの画素の重複割合であることを特徴としている。

本発明の画像処理装置又は方法によれば、入力画像中の特定のエッジ部分（例えば、透明物体のエッジ部分）のみを精度良く抽出することができる。透明物体のエッジ部分の注出を試みる場合、特徴が現れているエッジのみを基準エッジとして採用するために、途切れ途切れに分割されて基準エッジが抽出されるる場合がある。このような場合、一般的なエッジ抽出手段による参照エッジと、基準エッジとが重複する部分については参照エッジをエッジとして抽出することで、所望のエッジのみ、かつ、連続したエッジを抽出することが可能となる。

本発明の画像処理装置は、画像取得部と、この取得した画像に各種フィルタをかけて処理する画像処理部と、最終的に処理された画像を出力する画像出力部を備えている。画像取得部は、ＣＣＤカメラなどである。画像処理部は、各種フィルタをかけるだけでなく、画像処理によって得た基準エッジや参照エッジ（詳しくは後述する）などに関する演算処理も行うもので、ＣＰＵやＧＰＵ、ＲＯＭ・ＲＡＭなどを備えたＥＣＵである。画像出力部は、ディスプレイであったりプリンタであったり、次工程の処理を行う他のＥＣＵなどに画像信号として出力を行う出力部であったりする。

上述した画像処理装置による画像処理制御例について説明する。この制御例についてのフローチャートを図１に示す。ここでは、抽出する特定のエッジは透明物体のエッジである。透明な物体をＣＣＤカメラなどの撮像系を用いて検出・認識することを課題とすると、絵柄や３Ｄ形状のような特徴量を導くためには、偏光を用いたり、光源位置を特定したりするなどの特殊な環境下でなければ困難であり、現状で最も有力な手がかりはエッジとなる。

しかし、通常のエッジ検出（Ｓｏｂｅｌ，Ｃａｎｎｙ）法では、透明部分のエッジだけでなくあらゆる物体のエッジを均等に抽出してしまい、その中から透明な物体のエッジのみを抽出することは困難であった。ただし、透明部分に特有の輝度の高くなる「てかり」の検出を行って透明物体を抽出することも検討されているが、この［てかり］現象は透明物体のみに特有なものではなく、曲面全体に存在するために決定的な手法となってはいない。

以下に説明する本実施形態の検出制御は、このような問題を解決するものである。図１に示されるように、まず、ＣＣＤカメラなどの画像取得部によって画像を取得する（ステップ１００：図２）。この画像に、Ｓｏｂｅｌ等のエッジ抽出フィルタをかけ、参照エッジＩ_ｅｄｇｅを抽出する（ステップ１０５：図３）。この参照エッジＩ_ｅｄｇｅを抽出するフィルタは、微分フィルタやＣａｎｎｙフィルタなどのフィルタであってもよい。これらのフィルタはエッジ抽出の一般的なフィルタで、後述する基準フィルタよりも比較的はっきりとエッジを抽出できるものである。

また、参照エッジＩ_ｅｄｇｅの抽出と並行して、図１の画像に対して基底フィルタ（ここではｗａｖｅｌｅｔフィルタをかけており、マザーウェーブレットフィルタ）を用いて、多重解像解析（Ｋ_ｉ［ここでは、ｉ＝１〜Ｎ：Ｎ＝４］層とする）を行って基準エッジを抽出する（ステップ１１０：図４〜図７）。本実施形態では透明物体（ガラスコップ）のエッジ検出を例に説明しており、透明エッジ部に似た形の基底が好ましい。ここでの図４〜図７は、ｗａｖｅｌｅｔフィルタにおける周波数帯域が異なるものであり、図４から図７にかけて順に周波数が大きくなっている。

基準エッジの抽出に用いるフィルタは、ｗａｖｅｌｅｔフィルタの他、ガボールフィルタなどであっても良い。これらのフィルタは、望ましい周波数帯域、方向性のエッジを抽出することが可能である。あるいは、グラフカットフィルタやｍｅａｎｓｈｉｆｔ法によって基準エッジを抽出しても良い。これらのフィルタは、望ましい色、エッジの強さ、等の領域／輪郭を抽出することが可能である。これらの基準エッジ抽出フィルタに共通する特性は、抽出したい特性のエッジを狙って（例えば、透明物体のエッジを狙って、特定の色のエッジを狙って、など）抽出できるということがある。

ステップ１０５の後、参照エッジＩ_ｅｄｇｅについては、細線化を行い（必要に応じて伸張処理を施しても良い）、ジャンクション点（勾配が不連続な点、勾配変化が急な点）を求め、エッジのセグメント化（分割化）を行う（ステップ１１５）。ここでは、図２の参照エッジの図では線が複雑であるため、図４をある閾値で二値化した図８を例にしてセグメント化の例を示す。図８をセグメント化し、各セグメントを線で囲ったものが図９になる。１つの線で囲まれたものが一つのセグメントとなる。このようなセグメント化を、図２の参照エッジについて行う。これにより、参照エッジＩ_ｅｄｇｅは分割され、複数にセグメント化される。

一方、各基準エッジ（Ｎ＝１〜４）を示す画像については、ステップ１１０の後、それぞれについて以下の処理を行う。基準エッジと参照エッジＩ_ｅｄｇｅとを重ね合わせ、参照エッジの両側に存在する微小領域に着目する。ここでは、透明物体のエッジを検出するが、透明物体の参照エッジＩ_ｅｄｇｅであれば、その両側では背景が一致する可能性が非常に高い（あるいは、一致する）はずである。ただし、透明部分の参照エッジＩ_ｅｄｇｅの内側と外側の領域では、透明物体を透過するため、透明物体を透過する内側の領域にはボケが存在する。そこで、両側の微小領域の差を測定し（ステップ１２５）、その閾値が基準値以下である（ほぼ一致する、一致する）場合は、その参照エッジＩ_ｅｄｇｅを透明物体のエッジであると判定する。

この工程を、図１０の図と図１１のフローチャートに基づいて説明する。図１０に示されるように、参照エッジの両側に、対となる微小領域（一辺１０〜２０ｐｉｘｅｌ程度の矩形領域）を設定し、これらの一方、透明物体を透過しない外側の領域ｄＳ_{ｏｕｔ−ｉ}にガウシアンフィルターなどの平滑化（ボカシ）処理を行った後に、透明物体を透過する内側の領域ｄＳ_ｉｎ−ｉとの差Ｄｉｆｆ_ｉ＝Ｓ_ｉｎ−ｉ−Ｓ_{ｏｕｔ−ｉ}を算出する（ステップ１１１０）。なお、ステップ１１００，Ｓ１１０５は、それぞれ上述した図１のフローチャートのステップ１００，１０５に相当する。

なお、Ｓ_ｉｎ−ｉ，Ｓ_{ｏｕｔ−ｉ}は、差Ｄｉｆｆ_ｉを求めるために、それぞれ各領域ｄＳ_ｉｎ−ｉ，ｄＳ_{ｏｕｔ−ｉ}の状態をスカラー量に変換した値である。また、平滑化（ボカシ）処理を行うときに、実際には、エッジの両側のどちらが透明物体を透過した側かしていない側か分からないため、それぞれ片方の領域に平滑化処理を行い、その結果を見てどちらが内側でどちらが外側かを決めることとなる。その後、上述した差Ｄｉｆｆ_ｉが求められる。

差Ｄｉｆｆ_ｉの求め方は、種々の方法によればよい。例えば、領域内の全てのピクセルの色（グレースケールであれば濃度など）を数値化し、全ピクセルの平均値や総和などをＳ_ｉｎ−ｉ，Ｓ_{ｏｕｔ−ｉ}の値としても良い。あるいは、色相、彩度、明度や、輝度値を数値化して利用しても良い。あるいは、各ピクセル毎に差を計算し、この差の平均値や総和を求めて全体の差Ｄｉｆｆ_ｉとしても良い。

そして、ステップ１１１０の後、図１１では、差Ｄｉｆｆ_ｉが所定の閾値Ｔｈ未満であるエッジのみを透明物体のエッジである抽出エッジＩ_ｌａｓｔとして抽出する（ステップ１１１５）。この抽出エッジＩ_ｌａｓｔは、透明物体（例えばコップ）の輪郭としては、一部が欠けていたりするものとして抽出される。そこで、ステップ１１１５の後、Ｓｎａｋｅなどの輪郭抽出手法を用いて、透明物体の輪郭を決定する（ステップ１１２０）。ただし、図１のフローチャートでは、基準エッジを複数（図４〜図７）用いるため、ステップ１１１５，１１２０のステップの前に別のステップを経ることとする。ただし、図１のステップ１２０における差Ｄｉｆｆ_ｉの算出は、上述したように、算出される。

図１のフローチャートのステップ１２０において、各基本エッジ画像について、全ての微小領域について、Ｄｉｆｆ_ｉ＜Ｔｈを満たす割合（＝Ｒａｔｉｏ）が所定の閾値Ｔｈ−ｒａｔｉｏを超える階層Ｋ_ｉを選択する（ステップ１２５）。図４〜図７の基準エッジに対して、図２の参照エッジと重ね合わせてＤｉｆｆ_ｉ＜Ｔｈを満たす参照エッジ部分を抽出した図を図１２〜図１５に示す。ここでは、Ｒａｔｉｏ＞Ｔｈ−ｒａｔｉｏを満たす階層はＫ_１のみであるが、複数ある場合は、これらを全て重ね合わせた（統合した）ものを統合エッジＩ_ｃｏｍｂとして抽出する（ステップ１３０）。

ステップ１３０の後、統合エッジＩ_ｃｏｍｂと「セグメント化された」参照エッジＩ_ｅｄｇｅとを比較し、統合エッジＩ_ｃｏｍｂ領域と重なる（重複度：重複割合が所定基準以上である）参照エッジＩ_ｅｄｇｅのセグメントを抽出エッジＩ_ｌａｓｔとして抽出する（ステップ１３５）。この図を図１６に示す。ここで、セグメント化した参照エッジＩ_ｅｄｇｅと重ね合わせることで、統合エッジＩ_ｃｏｍｂとして抽出されなかったエッジをも回復させることができるため、より精度の高い検出が行える。例えば、図１２（統合エッジＩ_ｃｏｍｂ）と図１６（抽出エッジＩ_ｌａｓｔ）とを比較すると分かるが、左から二番目のコップなどは、もとの形状が正確に抽出されている。

この抽出エッジＩ_ｌａｓｔは、透明物体（例えばコップ）の輪郭としては、一部が欠けていたりするものとして抽出される。そこで、上述した図１１のステップ１１２０と同様に、Ｓｎａｋｅなどの輪郭抽出手法を用いて、透明物体の輪郭を決定する（ステップ１４０）。Ｓｎａｋｅなどの輪郭抽出手法を用いて決定された透明物体の輪郭を表す図を図１７に示す。このようにして、検出が難しい特定物体のエッジ（ここでは透明物体のエッジ）。

上述した実施形態は、透明物体のエッジを検出する場合を例に説明したが、本発明は必ずしも透明物体の検出に限られるものではない。物体を特定せずに一般化した場合のフローチャートを図１８に示す。まず、ＣＣＤカメラなどの画像取得部によって画像を取得する（ステップ１８００）。この画像に、異なる二つのエッジ抽出フィルタをかけ、参照エッジＩ_{ｅｄｇｅ１}を抽出する（ステップ１８０５）と共に、基準エッジＩ_{ｅｄｇｅ２}を抽出する（ステップ１８１０）。

異なる二つのエッジ抽出フィルタは特性が異なり、参照エッジＩ_{ｅｄｇｅ１}を抽出するフィルタは脆弱なエッジも抽出可能な（エッジを強く抽出可能な）フィルタを採用し、基準エッジＩ_{ｅｄｇｅ２}を抽出するフィルタは輪郭を抽出したい対象物体のエッジをより強く（対象物体のエッジのみをより強く）抽出できるようなフィルタを採用し、組み合わせて使用する。ここでは、基準エッジＩ_{ｅｄｇｅ２}を抽出した画像は一つのみであるとする。

次に、参照エッジＩ_{ｅｄｇｅ１}について、上述した図１のステップ１１５と同様に、ジャンクション点（勾配が不連続な点、勾配変化が急な点）を求め、エッジのセグメント化を行う（ステップ１８１５）。さらに、基準エッジＩ_{ｅｄｇｅ２}とセグメント化された参照エッジＩ_{ｅｄｇｅ１}とを重ね合わせて、各セグメント毎に、重複する部分が所定の閾値Ｔｈ−ｒａｔｉｏを超える参照エッジＩ_{ｅｄｇｅ１}のセグメントを抽出エッジＩ_ｌａｓｔとして抽出する（ステップ１８２０：図１のステップ１２０〜１３５を簡素化したものともいえる）。そして、図１のステップ１４０と同様に、Ｓｎａｋｅなどの輪郭抽出手法を用いて、透明物体の輪郭を決定する（ステップ１８２５）

なお、本発明は上述した実施形態に限定されるものではない。例えば、上述した実施形態ではモノクロ画像を例に説明しているが、カラー画像に対しても本発明は適用し得る。

本発明の画像処理装置（方法）の一実施形態のフローチャートである。 取得画像である。 取得画像に対してＳｏｂｅｌフィルタをかけ、参照エッジを抽出した画像である。 取得画像に対してｗａｖｅｌｅｔフィルタ（第一周波数）をかけ、基準エッジを抽出した画像である。 取得画像に対してｗａｖｅｌｅｔフィルタ（第二周波数）をかけ、基準エッジを抽出した画像である。 取得画像に対してｗａｖｅｌｅｔフィルタ（第三周波数）をかけ、基準エッジを抽出した画像である。 取得画像に対してｗａｖｅｌｅｔフィルタ（第四周波数）をかけ、基準エッジを抽出した画像である。 図４の画像を二値化した画像である。 図８の画像をセグメント化した画像である。 透明物体のエッジ検出を説明する説明図である。 透明物体のエッジ検出を説明するフローチャートである。 図４の画像をもとに差Ｄｉｆｆ＜所定閾値Ｔｈを満たすエッジを示す画像である。 図５の画像をもとに差Ｄｉｆｆ＜所定閾値Ｔｈを満たすエッジを示す画像である。 図６の画像をもとに差Ｄｉｆｆ＜所定閾値Ｔｈを満たすエッジを示す画像である。 図７の画像をもとに差Ｄｉｆｆ＜所定閾値Ｔｈを満たすエッジを示す画像である。 セグメント化された参照エッジ画像と所定割合Ｔｈ−ｒａｔｉｏを満たした統合エッジとを重ね合わせ、重複するセグメントを抽出した画像である。 図１６の画像から輪郭を抽出した画像である。 本発明の画像処理装置（方法）の他の実施形態のフローチャートである。

Claims (10)

1. 入力画像からエッジを抽出する画像処理装置において、
   入力画像から基準エッジを抽出する基準エッジ抽出手段と、分割前の参照エッジを抽出する参照エッジ抽出手段と、分割前の参照エッジを分割して複数の分割後参照エッジを生成する分割手段と、分割後の参照エッジのそれぞれについて基準エッジとの重複度を算出し、複数の分割後の参照エッジのうち、重複度が所定基準以上の分割後の参照エッジを用いて入力画像中のエッジを構成するエッジ構成手段とを備えたことを特徴とする画像処理装置。
2. 入力画像から抽出したエッジのうち、所定条件を満たしたエッジを基準エッジとすることを特徴とする請求項１に記載の画像処理装置。
3. 分割前の参照エッジを、微分フィルタ、ソーベルフィルタ、又は、キャニーフィルタを用いて抽出することを特徴とする請求項１に記載の画像処理装置。
4. 参照エッジの分割をエッジの勾配の変化が不連続な点で行うことを特徴とする請求項１に記載の画像処理装置。
5. 前記重複度は、分割後の参照エッジと基準エッジの画素の重複割合であることを特徴とする請求項１に記載の画像処理装置。
6. 入力画像からエッジを抽出する画像処理装置において、
   入力画像から基準エッジと、分割後の参照エッジとを抽出し、分割前の参照エッジを分割して複数の分割後参照エッジを生成し、分割後の参照エッジのそれぞれについて基準エッジとの重複度を算出し、複数の分割後の参照エッジのうち、重複度が所定基準以上の分割後の参照エッジを用いて入力画像中のエッジを構成することを特徴とする画像処理方法。
7. 入力画像から抽出したエッジのうち、所定条件を満たしたエッジを基準エッジとすることを特徴とする請求項１に記載の画像処理方法。
8. 分割前の参照エッジを、微分フィルタ、ソーベルフィルタ、又は、キャニーフィルタを用いて抽出することを特徴とする請求項１に記載の画像処理方法。
9. 参照エッジの分割をエッジの勾配の変化が不連続な点で行うことを特徴とする請求項１に記載の画像処理方法。
10. 前記重複度は、分割後の参照エッジと基準エッジの画素の重複割合であることを特徴とする請求項１に記載の画像処理方法。