JP2007213565A - 画像処理装置、方法、プログラム - Google Patents

Abstract

【課題】画像からの特徴点検出においてノイズの影響を抑制する
【解決手段】複数の方向について一次空間微分値と二次空間微分値を求めてノイズ量を推定する。ノイズ量を用いて特徴点強度を正規化することにより、ノイズ量の影響を抑制して従来より正確に特徴点を検出することができる。
【選択図】図１

Description

本発明は、画像中の特徴点を検出する特徴点検出方法に関する。

画像に対して空間微分を行った結果に基づいて画像の特徴点を検出する手法として、例えば"Harris"、"KLT"、"Structure Multivector"が挙げられる。これらは、空間微分フィルタを画像に重畳する手法、あるいは、空間微分フィルタの組み合わせを用いる手法である。

具体的な手法は、例えば、C Harris and MJ Stephens, “A Combined Corner and Edge Detector”, In Alvey 88, pages 147-152, 1988. や、J Shi and C Tomasi, “Good features to track”, IEEE Conference on Computer Vision and Pattern Recognition, 593-600, 1994. や、M Felsberg and G Sommer, “Image Features Based on a New Approach to 2D Rotation Invariant Quadrature Filters”, European Conference on Computer Vision, 369-383, 2002. に開示されている。

これらの手法では、求められた空間微分値の組み合わせにより画像中の特徴点を検出する。これらの手法で検出された特徴点は一般にエッジが大きく曲がる部分（角点）に対応する。
C Harris and MJ Stephens, A Combined Corner and Edge Detector, In Alvey 88, pages 147-152, 1988. J Shi and C Tomasi, Good features to track, IEEE Conference on Computer Vision and Pattern Recognition, 593-600, 1994. M Felsberg and G Sommer, Image Features Based on a New Approach to 2D Rotation Invariant Quadrature Filters, European Conference on Computer Vision, 369-383, 2002.

従来手法による特徴点検出の結果は、画像のコントラストやＳＮ比によって変化しやすい。そのため、様々な条件下で正確かつ安定に特徴点を検出することは難しい。例えば、画像毎あるいは画像の局所領域毎にノイズ量が変化する場合には特徴点を正しく検出することが難しい。

また、画像毎や局所領域毎に手作業でノイズ量に応じた最適な検出しきい値を決定する必要があるため、多数の画像を処理するには多大な労力が要求される。

したがって、画像中のノイズ量の影響を受けず、常に正確に特徴点検出が行える画像処理方法の実現が望まれていた。

本発明は、従来手法よりノイズ量の影響を受けにくい特徴点検出のための画像処理方法を提供する。

本発明の一側面は、画像中の特徴点を検出するための評価値を計算する画像処理装置であって、画像を入力する画像入力部と、前記画像の各画素における複数の方向の各々に関して、輝度値の一次空間微分値および二次空間微分値を計算する空間微分値計算部と、前記各画素に関して、前記一次空間微分値が最大値になる方向である最大方向および前記一次空間微分値が最小値になる方向である最小方向を推定する最大・最小方向推定部と、前記各画素の前記最大方向の前記一次空間微分値、前記各画素の前記最小方向の前記一次空間微分値、および、前記各画素の前記最大方向の前記二次空間微分値を用いて、前記各画素の第１の評価値を計算する評価値計算部と、前記各画素の前記評価値を出力する出力部と、を備える。

本発明の他の側面は、画像中の特徴点を検出するための評価値を計算する画像処理装置であって、画像を入力する画像入力部と、前記画像の各画素における複数の方向の各々に関して、輝度値の一次空間微分値および二次空間微分値を計算する空間微分値計算部と、
前記各画素に関して、前記二次空間微分値が最大値になる方向である二次微分最大方向および前記二次空間微分値が最小値になる方向である二次微分最小方向を推定する最大・最小方向推定部と、前記各画素の前記二次微分最大方向の前記二次空間微分値、前記各画素の前記二次微分最小方向の前記二次空間微分値、および、前記各画素の前記一次空間微分値を用いて、前記各画素の評価値を計算する評価値計算部と、前記各画素の評価値を出力する出力部と、を備える。

本発明に係る特徴点検出のための画像処理方法は、従来の手法よりも画像中のノイズの影響を受けにくい。

画像中の特徴点を検出する処理は、画像の中の物体の構造や特徴を調べる処理ということができる。言い換えれば、画像中で検出したい対象を見つけるという基本的な処理に関係する。特徴点検出処理は、物体検出、画像パターン認識および医用画像処理を含む、画像処理を用いる産業分野において共通に用いられる基本的画像処理方法である。したがって、様々な条件下で正確かつ安定に特徴点を検出することは大変重要である。

画像中の物体や図形の特徴を調べるために、直線状のエッジ（辺）やエッジの曲がり点（角点）を用いることがある。角点は辺同士の交差点、あるいは、辺の曲率の大きな点として定義される。そして、辺を角点間を結ぶ直線と仮定すれば、基本的には角点だけで物体の特徴を記述することができる。

画像中の物体や図形の特徴を調べるために、しばしば画像の濃淡パターンも用いられる。しかし、濃淡パターンよりも、辺および角点といった物体の形状を表す特徴を用いる方が、様々な変化に影響を受けない物体特徴を獲得することができる。画像中の特徴点として角点は大変有用な存在である。

以下、図面を参照して本発明の各実施形態を説明する。

［第１の実施形態］
本発明の第１の実施形態に関する画像処理方法を説明する。本実施形態の画像処理方法は、例えばコンピュータ上で動作するプログラムとして実現される。なお、ここでいうコンピュータには、ＰＣ（パーソナルコンピュータ）やＷＳ（ワークステーション）に限られるものではなく、例えば組み込み型のプロセッサも含まれる。すなわち、コンピュータとは、プログラムによって規定されるソフトウエア処理を行うプロセッサを有するものを含むものとする。

本実施形態の画像処理方法は特徴点として画像中の角点を検出する。角点とは、例えば、辺同士の交差点あるいは辺の曲率が所定の基準より大きい点に相当する。

図１は本実施形態の画像処理方法による特徴点検出処理のフローチャートである。この特徴点検出処理は、空間微分値計算ステップ１と最大・最小方向推定ステップ２と特徴点検出ステップ３とを有する。

＜空間微分値計算ステップ１＞
空間微分値計算ステップ１は、一次空間微分計算ステップ１−１と二次空間微分計算ステップ１−２とを有する。すなわち、空間微分値計算ステップ１では、画像の各画素における複数の方向の一次空間微分値および二次空間微分値を求める。

まず一次空間微分値、二次空間微分値について図２から図６を用いて説明する。今、図２の図形２０１のエッジを求めると図形２０２のようになる。エッジは、画像中の異なる領域を分ける境界線であって、空間的な明るさ（輝度値）が急激に変化する部分である。エッジは一次空間微分値を求めることで検出できる。

図３はエッジ近傍の画像３００の例である。まず説明を簡単にするため、直線状のエッジの場合で空間微分処理について説明する。画像３００は、境界３０３で接する暗い画像領域３０１および明るい画像領域３０２を有する。

ここで、ｘ方向の検出線３０４およびｙ方向の検出線３０５が画像３００上に設定されているとする。検出線３０４は暗い画像領域３０１から境界３０３と交差して明るい画像領域３０２に向かって伸びるｘ方向の線である。検出線３０５は暗い画像領域３０１から境界３０３と交差して明るい画像領域３０２に向かって伸びるｙ方向の線である。

図４は、検出線３０４に沿った輝度値Ｉのグラフである。実線４０１は検出線３０４に沿った輝度変化を表す。破線４０２は検出線３０５に沿った輝度変化を表す。図４では、輝度値Ｉは実線４０１および破線４０２の左側部分では低い値になり、右側部分では高い値になっている。

一般に画像にはボケやノイズなどが存在するため、検出線３０４および検出線３０５に沿った輝度値Ｉの変化は理想的なステップ変化とはならない。実際には実線４０１および破線４０２に示すように境界３０３の近傍でなだらかに変化することが多い。

図５は輝度値Ｉの一次空間微分値のグラフである。実線５０１は実線４０１の一次空間微分値に相当する。実線５０１で高い微分値を示す部分は、実線４０１において輝度値Ｉが急激に変化する部分に相当する。実線５０１によって表される空間微分値をｘ方向の一次空間微分値∇ｘ＝∂Ｉ／∂ｘと呼ぶ。

図５の破線５０２は破線４０２の一次空間微分値に相当する。実線５０１で高い微分値を示す部分は、破線４０２において輝度値Ｉが急激に変化する部分に相当する。破線５０２によって表される空間微分値をｙ方向の一次空間微分値∇ｙ＝∂Ｉ／∂ｙと呼ぶ。

図３の場合、暗い画像領域３０１と明るい画像領域３０２との境界３０３に沿って一次空間値が高い点が分布する。したがって、空間微分処理により一次空間微分値が極大あるいは極小、つまり｜∇ｘ｜あるいは｜∇ｙ｜が極大となる点の繋がり（連続的な分布）を求めることでエッジを検出することができる。

図５において、｜∇ｙ｜は｜∇ｘ｜よりも小さい。その原因はｘ方向よりもｙ方向がエッジ方向に対して平行に近いからである。一般に一次空間微分値の絶対値はエッジ方向に直交する方向に近くなるほど大きな値になり、エッジ方向に直交する方向において最大値になる性質がある。逆に、一次空間微分値の絶対値はエッジ方向に平行な方向において最小値になる性質がある。

図６は輝度値Ｉの二次空間微分値のグラフ、つまり一次空間微分値をさらに微分した値のグラフである。実線６０１は実線５０１の微分値であり、実線４０１の二次空間微分値に相当する。実線６０１がｘ軸と交差する部分は、実線５０１が極大あるいは極小となる部分であり、実線４０１において輝度値Ｉが急激に変化する部分に相当する。実線６０１によって表される空間微分値をｘ方向の二次空間微分値∇²ｘ＝∂²Ｉ／∂ｘ²と呼ぶ。

図６の破線６０２は破線５０２の微分値であり、破線４０２の二次空間微分値に相当する。破線６０２がｙ軸と交差する部分は、破線５０２が極大あるいは極小となる部分であり、破線４０２において輝度値Ｉが急激に変化する部分に相当する。破線６０２によって表される空間微分値をｙ方向の二次空間微分値∇²ｙ＝∂²Ｉ／∂ｙ²と呼ぶ。

図３の場合、暗い画像領域３０１と明るい画像領域３０２との境界３０３に沿って二次空間値がｘ軸あるいはｙ軸と交差する点が分布する。したがって、空間微分処理により二次空間微分値が軸と交差する点の繋がり（連続的な分布）を求めることでエッジを検出することができる。

＜最大・最小方向推定ステップ２＞
最大・最小方向推定ステップ２では、各画素の一次空間微分値が最大となる方向および最小となる方向を推定する。

エッジには直線だけでなく、大きく曲がっている点、つまり角点２０３も存在する。このような角点を特徴点として検出する場合を考える。

図７において、注目する画素７０１が特徴点（角点）である場合、この点を通るエッジ７０２が存在し、エッジ７０２は画素７０１にて大きな曲率を持つ。画素７０１を通りエッジ７０２の線対称軸となるような方向を特徴点方向θと呼ぶ。特徴点方向θは、ｘ方向から反時計回りに角度θの方向である。図７において、検出線７０３は特徴点方向θと同様にθ方向に向かって伸びている。また、特徴点方向θに直交する方向を「特徴点方向に直交する方向」（θ＋π／２）と呼ぶ。特徴点方向に直交する方向（θ＋π／２）は、ｘ方向から反時計回りに角度（θ＋π／２）の方向である。図７において、検出線７０４は（θ＋π／２）方向に向かって伸びている。

特徴点方向θはエッジ方向にほぼ直交する方向なので、上述したように、θ方向の一次空間微分値の絶対値｜∇θ｜＝｜∂Ｉ／∂θ｜はθに関して最大値となる。一方、エッジ上の点であるため二次空間微分値の絶対値｜∇²θ｜＝｜∂²Ｉ／∂θ²｜は０に近い値となる。

同様に、特徴点方向と直交する方向（θ＋π／２）はエッジ方向とほぼ平行する方向なので、上述したように、（θ＋π／２）方向の一次空間微分値の絶対値｜∇（θ＋π／２）｜＝｜∂Ｉ／∂（θ＋π／２）｜はθに関して最小値となる。このことは、図４の破線４０３および図５の破線５０３も示している。画素７０１近傍での方向（θ＋π／２）の輝度値Ｉの分布が図４の破線４０３のようになる。破線４０３は画素７０１の位置で極大となる。図５の破線５０３は破線４０３の微分値を示す。破線５０３は画素７０１の位置で横軸と交差しほぼ０となる。

図８の実線８０１は（θ＋π／２）方向の二次空間微分値∇²（θ＋π／２）＝∂²Ｉ／∂（θ＋π／２）²を示す。破線４０３が極大となる点、すなわち画素７０１で｜∇²（θ＋π／２）｜は極大となる。

本実施形態では、空間微分値計算ステップ１において、画像中の各点において複数の方向の一次空間微分値と二次空間微分値が求められる。そして、最大・最小方向推定ステップ２において一次空間微分値の絶対値が最大となる方向（特徴点方向）が求められ、一次空間微分値の絶対値が最小となる方向（特徴点方向と直交する方向）も求められる。

したがって、最大方向の一次空間微分値の絶対値｜∇θ｜と最小方向の一次空間微分値｜∇（θ＋π／２）｜とを求め、上述の最大方向・最小方向と同じ方向の二次空間微分値の絶対値｜∇²θ｜と｜∇²（θ＋π／２）｜とを求める。

（変形例１−１）
一次空間微分値の絶対値の最小値を｜∇（θ＋π／２）｜として、一次空間微分値の絶対値が最大になる方向と直交する方向の一次空間微分値の絶対値を採用しても構わない。

すなわち、複数の方向の一次空間微分値の絶対値の中から最大値｜∇θ｜を求め、一次空間微分値の絶対値が最大になる方向に直交する方向の一次空間微分値の絶対値を一次空間微分値の絶対値の最小値｜∇（θ＋π／２）｜と仮定しても構わない。

（変形例１−２）
一次空間微分値の絶対値の最大値｜∇θ｜として、一次空間微分値の絶対値が最小になる方向と直交する方向の一次空間微分値の絶対値を採用しても構わない。

すなわち、複数の方向の一次空間微分値の絶対値の中から最小値｜∇（θ＋π／２）｜を求め、一次空間微分値の絶対値が最大になる方向に直交する方向の一次空間微分値の絶対値を一次空間微分値の絶対値の最大値｜∇θ｜と仮定しても構わない。

（変形例１−３）
本実施形態の空間微分ステップ１の説明では、画像中の輝度値が空間的に連続に変化するように扱っている。しかし、実際には画像は複数の画素から構成されるため空間的に量子化される。今、画像中の注目する画素の近傍の３×３画素の範囲だけを考える。

図９に示すように、注目する画素９００の周囲に画素９０１から画素９０８までの８画素がある。画素９００と各画素との位置関係は以下の通り。
左上： 画素９０１ 上 ： 画素９０２ 右上： 画素９０３
左 ： 画素９０４ 右 ： 画素９０５
左下： 画素９０６ 下 ： 画素９０７ 右下： 画素９０８
画像中の３×３画素の局所領域を考える場合、画素９００が特徴点であるときの特徴点方向は、図１０から図１３に示す４方向だけを考えれば良い。具体的には、
図１０ 画素９０４→画素９００→画素９０５、
図１１ 画素９０１→画素９００→画素９０８、
図１２ 画素９０２→画素９００→画素９０７、および、
図１３ 画素９０３→画素９００→画素９０６、
の４通りである。

したがって、求めるべき一次空間微分値および二次空間微分値は、
図１０ 画素９０４→画素９００→画素９０５、
図１１ 画素９０１→画素９００→画素９０８、
図１２ 画素９０２→画素９００→画素９０７、および、
図１３ 画素９０３→画素９００→画素９０６、
の特徴点方向と、この方向に直交する
図１０ 画素９０２→画素９００→画素９０７、
図１１ 画素９０３→画素９００→画素９０６、
図１２ 画素９０４→画素９００→画素９０５、および、
図１０ 画素９０１→画素９００→画素９０８、
方向とで求めればよい。

また、一次空間微分値の算出において、∂Ｉ／∂ｘのような一次偏微分を用いる代わりに、画素値の差分を用いることができる。具体的には、画素９０ｋ（ｋ＝０．．８）の輝度値をＩ_90kとすると、下記の（式１）で４つの値を求めればよい。

また、二次空間微分値の算出においても、∂²Ｉ／∂ｘ²のような二次偏微分を用いる代わりに、画素値の差分を用いることができる。具体的には、画素９０ｋ（ｋ＝０．．８）の輝度値をＩ_90kとすると、下記の（式２）で４つの値を求めればよい。

このような画素量子化された画像で一時空間微分値および二次空間微分値を求める方法としては、前記のように直線上にある画素間での輝度値の演算に限られない。空間的な微分演算として一般に良く知られているＳｏｂｅｌ、Ｒｏｂｅｒｔｓ、Ｒｏｂｉｎｓｏｎ、Ｐｒｅｗｉｔｔ、Ｋｉｒｓｃｈ、Ｌａｐｒａｃｉａｎ、Ｃａｎｎｙ、Ｇａｂｏｒ等、任意の空間微分演算方法を用いることができる。具体例は、高木・下田著「新編 画像解析ハンドブック」東京大学出版会（ISBN 4-13-061119-4）に詳しい。

そして、上述の４方向について一次空間微分値を求め、その最大値あるいは最小値から特徴点方向（θ方向）と特徴点方向に直交する方向（（θ＋π／２）方向）が決定でき、それらの方向の一次空間微分値および二次空間微分値の絶対値を｜∇θ｜、｜∇（θ＋π／２）｜、｜∇²θ｜、｜∇²（θ＋π／２）｜とすることができる。

＜特徴点検出ステップ３＞
特徴点検出ステップ３は、各画素のノイズ量を推定するノイズ量推定ステップ３−１と、各画素の特徴点らしさを示す評価値である特徴点強度を計算する評価値計算ステップ３−２と、各画素の特徴点強度に基づいて画像中の特徴点を検出する検出ステップ３−３とを有する。

特徴点検出ステップ３では、前記最大・最小方向推定ステップ２で求められた特徴点方向θ、特徴点方向θの一次空間微分値の絶対値｜∇θ｜、特徴点方向θの二次空間微分値の絶対値｜∇²θ｜、特徴点方向に直交する方向（θ＋π／２）、特徴点方向に直交する方向（θ＋π／２）の一次空間微分値の絶対値｜∇（θ＋π／２）｜、および、特徴点方向に直交する方向（θ＋π／２）の二次空間微分値の絶対値｜∇²（θ＋π／２）｜を用い、画像中の任意の点あるいは画素の特徴点強度を算出する。特徴点強度とはその点に特徴点が存在することの尤もらしさを示す評価値である。本実施形態の特徴点強度はエッジの存在確率に相当する。

特徴点に由来する空間的な輝度値変化があるときに、特徴点方向の一次空間微分値｜∇θ｜は有意な値となる。一般に画像にはノイズが含まれるため、ノイズに由来する空間微分値も前記一時空間微分値に含まれることになる。

特徴点方向に直交する方向の一次空間微分値｜∇（θ＋π／２）｜は、エッジ方向と平行な方向の空間微分値であるため、特徴点でのエッジによる輝度値変化に由来する空間微分値を含まず、ノイズに由来する空間微分値のみが含まれていると仮定できる。

一方、特徴点方向に直交する方向の二次空間微分値｜∇²（θ＋π／２）｜は、特徴点でのエッジの曲率が大きい場合に大きくなる値であり、反対に曲率が小さくエッジが直線に近い場合には０に近くなる。このことから、直線に近いエッジは特徴点として検出せず、エッジ曲率の大きな点である角点を特徴点として検出する場合には｜∇²（θ＋π／２）｜を考慮して特徴点強度を求める必要がある。また、特徴点方向の二次空間微分値｜∇²θ｜は、特徴点でのエッジによる輝度値変化に由来する空間微分値を含まず、ノイズに由来する空間微分値のみが含まれていると仮定できる。

よって、特徴点強度Ｐは、ノイズ推定量σと定数αとを用いて（式３）により求めることができる。

すなわち、特徴点でのエッジ強度に由来する一次空間微分値と特徴点でのエッジ曲率に由来する二次空間微分値とからノイズ量を減算しながら一次空間微分値と二次空間微分値で正規化した値、つまり特徴点存在確率として求められる。

ここで定数αは任意の定数であって１でもよいし任意の値に設定されて良い。また、（式３）ではノイズ推定量σの影響を定数αで調整しているが、ノイズ推定量σを求める段階でエッジ強度Ｐに及ぼす影響を考慮しておいても構わない。例えば（式３）のα×σに相当するものをノイズ推定量として求めておいても構わない。

上述の（式３）はノイズ推定量σとして特徴点方向に直交する方向の一次空間微分値の絶対値｜∇（θ＋π／２）｜をそのまま用いる例であるが、ノイズ推定量σはこれに限定されない。ノイズ推定量は各画素を中心とする局所領域内で均一と仮定することができるので、面積ｓの局所領域Ｒを設定してノイズ推定量σを（式４）により平均値として求めても構わない。

ここに明記した手法に限らず、ノイズ推定量σは特徴点方向に直交する方向の一次空間微分値の絶対値｜∇（θ＋π／２）｜を用いた任意の演算にて求めることができる。

以上のようにして求めた特徴点強度Ｐ算出に基づく特徴点検出結果の例を図１４と図１５に示す。図１４は従来の特徴点検出方法であるＫＬＴ法を用いた結果である。図１５は本実施形態の特徴点検出方法を用いた結果である。

本実施形態の特徴点検出方法の効果を分かりやすくするため、現画像の右半分に対して各画素の輝度値に定数０．５を乗することによりコントラストを低下させた画像に対して、特徴点検出処理を行った。

図１４と図１５との特徴点検出結果を比較すると、コントラストが低下させた画像右半分で結果の差が大きい。コントラスト低下によってノイズ量が変化したため、従来の特徴点検出方法では図１５に示すように特徴点検出を正しく行うことができない。

これに対して、本実施形態のエッジ検出方法ではコントラスト変化やノイズ量変化による影響を殆ど受けず、図１５に示すように正確に特徴点検出できる。

また、本実施形態の特徴点検出方法では、特徴点強度はエッジ強度とエッジ曲率で正規化された値となる。しかもノイズの影響を抑制した値になっている。そのため、特徴点の有無の判定にしきい値が及ぼす影響は従来よりも緩やかなものとなる。言い換えれば、しきい値の設定が容易になる。

以上のようにして求めた各画素の特徴点強度Ｐを閾値と比較することで、各画素が特徴点であるか否かを判定することができる。あるいは、特徴点強度Ｐそのものを画素値とする画像である特徴点強度マップを作成して、特徴点強度マップに対して種々の処理を行っても構わない。

（変形例２）
上述の（式３）および（式４）はノイズ推定量σとして特徴点方向に直交する方向の一次空間微分値の絶対値｜∇（θ＋π／２）｜を用いる例であるが、ノイズ推定量σには特徴点方向の二次空間微分値の絶対値｜∇²θ｜を用いても良い。つまり、（式３）および（式４）での｜∇（θ＋π／２）｜を｜∇²θ｜と置き換えることによりノイズ推定量σを求めることが可能である。また、｜∇（θ＋π／２）｜と｜∇²θ｜の平均を求めるなど、ノイズ推定量σには｜∇（θ＋π／２）｜と｜∇²θ｜とから求められる任意の値を用いることができる。

また、特徴点強度Ｐの算出方法も（式３）に限られるものではない。例えば、まずエッジ強度に由来する値Ｐ₁とエッジ曲率に由来する値Ｐ₂を別々に算出し、一方の値が予め定めた閾値を超えた場合に他方の値を求めることも可能であるなど、特徴点でのエッジ強度に由来する一次空間微分値と特徴点でのエッジ曲率に由来する二次空間微分値とノイズ推定量とを組み合わせて求められる任意の値を特徴点強度として用いることが可能である。

（変形例３）
本実施形態では、白黒濃淡画像の輝度値に関して輝度勾配値を求め、特徴点を検出する画像処理方法について述べた。下記に示すような任意の画像属性値について、空間微分値を属性空間微分値と読み替えることにより、同様の特徴点検出処理を行うことが可能である。この属性値としては、例えば以下のようなものが挙げられる。

例えば、入力画像がＲＧＢカラー画像であれば、Ｒ（赤）Ｇ（緑）Ｂ（青）の各要素値を属性値として用いることができる。また、ＲＧＢ各値の線形和から輝度値を求めても構わない。あるいは、演算により求められる属性値を用いることが可能である。

ＲＧＢの表色系に限らず、マンセル表色系における色相Ｈや彩度Ｓといった要素値も用いることができる。この他にも、一般に知られている他の表色系（ＸＹＺ、ＵＣＳ、ＣＭＹ、ＹＩＱ、オストワルト、Ｌ＊ｕ＊ｖ＊、Ｌ＊ａ＊ｂ＊、等）の要素値を求めて同様に属性値として用いることが可能である。各々の表色系間での変換方式については例えば非特許文献１に詳しい。

さらに、画像に対して空間的あるいは時間的に微分演算や積分演算を行った結果を属性値として用いることも考えられる。この演算に用いられることができるオペレータには、例えば、前述した空間的微分演算、ラプラシアンガウシアン、モーメントオペレータ等がある。これらのオペレータを画像に作用させた結果の強度を属性値として用いることが可能である。

また、積分的な平均フィルタやメディアンフィルタといった雑音除去処理の結果を用いることも考えられる。

これらのオペレータやフィルタについても非特許文献１で詳しく述べられている。

さらに、各画素に対して画像内で予め決められている領域内で求めることができる統計量も属性値として用いることができる。この統計量の例としては、平均値、中央値、最頻値、範囲、分散、標準偏差、平均偏差などが挙げられる。

これらの統計量は、注目している画素の８近傍で求めても構わない。あるいは、予め定められた任意形状の領域で求めた統計量を属性値として用いても構わない。

また、空間微分値算出を行う前に、任意の分散値を持つガウシアンフィルタなとの平滑化フィルタを作用させておけば、任意の画像スケールについて空間微分値算出を行うことが可能となり、任意のスケールの画像に対しても正確な特徴点検出を行うことが可能となる。

［第２の実施形態］
図１６は本発明の第２の実施形態の画像処理装置のブロック図である。本実施形態の画像処理装置は入力された画像から特徴点として角点を検出する。

本実施形態の特徴点検出装置は画像を入力する画像入力部１６０１と、画像中の各画素において複数の方向の一次空間微分値と二次空間微分値を計算する空間微分値計算部１６０２と、前記一次空間微分値の絶対値が最大となる方向を求める最大方向推定部１６０３と、求められた一次空間微分値の絶対値が最小となる方向を求める最小方向推定部１６０４と、各画素の特徴点強度を計算する特徴点強度計算部１６０５とを備える。また、各画素の特徴点強度に基づいて画像から特徴点を検出する特徴点検出部１６０６とを備えていても良い。

画像入力部１６０１は静止画または動画像を入力する。動画像の場合はフレームまたはフィールド単位の画像を入力する。

空間微分値計算部１６０２は、入力された画像の各画素に関する、複数の方向の一次空間微分値と二次空間微分値を計算する。本実施形態の空間微分値計算部１６０２は、各画素を中心とする上下・左右・斜め２方向の４方向に関する一次空間微分値と二次空間微分値を計算する。一次空間微分値と二次空間微分値は上述した手法、すなわち画素値の差分絶対値を用いる。

空間微分値計算部１６０２は、一次空間微分値と二次空間微分値、方向および画素と対応付けて空間微分情報を生成する。空間微分情報は最大値検出部１６０３および最小値検出部１６０４に出力される。

最大方向推定部１６０３は各画素の一次空間微分値の絶対値が最大となる方向を求める。最小方向推定部１６０４は各画素の一次空間微分値の絶対値が最小となる方向を求める。

特徴点強度計算部１６０５は、各画素の一次空間微分値の最大値と最小値、ならびに前述の一次空間微分値を算出したのと同じ方向の二次空間微分値とを用いて、各画素の特徴点強度を計算する。特徴点強度計算部１６０５は、まず、一次空間微分値の最小値を用いて上述した手法により各画素のノイズ量を推定する。そして、特徴点強度計算部１６０５は、ノイズ量と一次空間微分値の最大値と一次空間微分値の最大値方向と直交する方向の
二次空間微分値とを用いて各画素の特徴点強度を計算する。特徴点強度計算部１６０５は、計算された特徴点強度を画素値とする特徴点強度マップを生成する。

画像中の特徴点の位置を決める等、特徴点検出を行う必要がある場合には、特徴点検出部１６０６は特徴点強度マップを用いて画像中の特徴点を検出して、特徴点マップを生成する。特徴点マップは当該画素が特徴点か否かを表す２値の画像である。具体的には、特徴点検出部１６０６は特徴点強度が予め定めた基準を超える場合に当該画素が特徴点の画素であると判定するとともに、その画素が特徴点であることを示す値を特徴点マップの対応する画素に設定する。特徴点マップは例えば図１５の白点に示すような画像であり、白点で示された画素が特徴点として判定された画素を表す。

（変形例４）
最小方向推定部１６０４は最大方向推定部１６０３の推定結果を参照しても構わない。すなわち、一次空間微分値が最大になる方向に直交する方向を一次空間微分値が最小となる方向として推定しても構わない。

最大方向推定部１６０３は最小方向推定部１６０４の推定結果を参照しても構わない。すなわち、一次空間微分値が最小になる方向に直交する方向を一次空間微分値が最大となる方向として推定しても構わない。

［第３の実施形態］
本発明の第３の実施形態に関する画像処理方法を説明する。図１７は本実施形態の画像処理方法による特徴点検出処理のフローチャートである。

この特徴点検出処理は、空間微分値計算ステップ１７０１と最大・最小方向推定ステップ１７０２と特徴点検出ステップ１７０３とを有する。

第１および第２の実施形態では、エッジ上の曲率の大きな点（角点）を特徴点として検出する方法について述べた。本実施形態の画像処理方法によれば、エッジ上の点に限らず、小領域（例えば孤立点や、３画素×３画素以下の領域）の中心を特徴点として検出することができる。このような小領域は、一次空間微分値の絶対値が二次空間微分値の絶対値に比べて大変小さな値になるという性質を持つ。

図１８は画素１８０１を中心とした楕円状の画像領域があり、その画像領域の境界としてエッジ１８０２がある例を示す。

前記エッジ１８０２近傍で画像の輝度値が連続的に変化する場合、前記楕円状の画像領域の短軸方向１８０３での輝度変化は実線５０１のようになり、長軸方向１８０４の輝度変化は破線５０２のようになる。

したがって、このような輝度変化の一次空間微分値を求めると各々実線６０１と破線６０２のようになり、画素１８０１近傍ではいずれの一次空間微分値も０に近い小さな値となる。

さらに二次空間微分値を求めると、短軸、長軸のいずれの方向についても、振幅と広がりは異なるが、実線８０１のような二次空間微分値が求められ、画素１８０１近傍では前記楕円状の画像領域での輝度変化に対応して、絶対値としては大きな値が得られる。

このことより、以下のような操作により画像領域の中心を特徴点として検出することができる。

空間微分ステップ１７０１では、前記第１の実施形態の空間微分値計算ステップ１と同じ空間微分演算を行い、複数方向での一次空間微分値と二次空間微分値を算出する。

次に、最大・最小方向推定ステップ１７０２では、二次空間微分値について最大および最小方向を求め、最大方向の二次空間微分値の絶対値を｜∇²θ｜、最小方向の二次空間微分値を｜∇²（θ＋π／２）｜として求め、同時に前記最大・最小方向の一次空間微分値を各々｜∇θ｜、｜∇（θ＋π／２）｜として求める。

最後に特徴点検出ステップ１７０３では、（式３）と同様にして、（式７）のようにしてノイズ推定量σを求め、これを用いて特徴点強度Ｐ’を求めることができる。

ここで、最大・最小方向推定ステップ１７０２では、変形例１−１や変形例１−２のように最大あるいは最小のいずれかの方向のみを求め、それに直交する方向を最小あるいは最大方向としても良いし、画像が量子化されている場合には変形例１−３と同じ処理の簡略化が可能である。

また、特徴点検出ステップ１７０３においても、ノイズ推定量σの算出に（式４）のような近傍領域での演算を行っても構わないし、｜∇（θ＋π／２）｜を用いる代わりに｜∇θ｜を用いても構わないし、ノイズ推定量σには｜∇（θ＋π／２）｜と｜∇θ｜とに基づいて求められる任意の値を用いることができる。

同様にして、特徴点強度の算出方法についても変形例２や変形例３のような変更が可能であることは明らかである。

さらに、中心を特徴点として検出したい画像領域はエッジ１８０２のように必ずしも閉じている必要はなく、エッジ１９０２のように開いているエッジに一方を囲まれている画像領域であっても、その擬似的な中心である画素１９０１について、二次空間微分値の最大方向が方向１９０３のように求められることから、画素１９０１のような点も本実施形態と同じ操作により特徴点として検出することが可能である。

すなわち本実施形態の画像処理方法ならば、画像中の孤立した点、小領域、あるいは、エッジの先端部を特徴点として検出することが可能である。

なお、本実施形態の画像処理方法は第１の実施形態および第２の実施形態の画像処理方法で求められる空間微分値をそのまま利用できる。これらと組み合わせることで、少ない演算により複数の異なる種類の特徴点を検出することができる。

例えば、各画素の特徴点強度を、第１および第２の実施形態によって求められる値と本実施形態によって求められる値とのベクトル量として算出しても構わない。そして、ベクトルの値に応じて各画素が特徴点か否か、あるいは、特徴点の種類を判別しても構わない。

本発明の第１の実施形態に関する画像処理方法における特徴点検出処理のフローチャート 画像でのエッジと特徴点の例を示す模式図 ２つの画像領域が接する画像を示す模式図 輝度値の空間変化を示す模式図 一次空間微分値の算出例を示す模式図 二次空間微分値の算出例を示す模式図 特徴点近傍でのエッジと特徴点方向を示す模式図 特徴点方向に直交する方向での二次空間微分値を示す模式図 画素量子化された局所画像領域を示す模式図 局所画像領域でのエッジ方向を示す模式図 局所画像領域でのエッジ方向を示す模式図 局所画像領域でのエッジ方向を示す模式図 局所画像領域でのエッジ方向を示す模式図 従来手法による特徴点検出処理結果 本発明の一実施形態の画像処理方法による特徴点検出処理結果 本発明の第２の実施形態に関する画像処理装置のブロック図 本発明の第３の実施形態に関する画像処理方法における特徴点検出処理のフローチャート 画像領域のエッジと特徴点の例を示す模式図 画像領域のエッジと特徴点の例を示す模式図

符号の説明

３０１：画像領域、 ３０２：画像領域、 ３０３：境界線、
３０４：（ｘ方向の）検出線 ３０５：（ｙ方向の）検出線、
７０３：（特徴点方向の）検出線、
７０４：（特徴点方向に直交する方向の）検出線、
１４０１：画像入力部、 １４０２：輝度勾配値計算部、 １４０３：最大値検出部、
１４０４：最小値検出部、 １４０５：エッジ強度検出部、 １４０６：エッジ検出部、
１５０１：エッジ方向計算部、 １５０２：輝度勾配値計算部、
１６０１：第１の計算部、 １６０２：第２の計算部、 １６０３：第３の計算部、
１６０４：第４の計算部、 １６０５：最大・最小検出部

Claims (14)

1. 画像中の特徴点を検出するための評価値を計算する画像処理装置であって、
   画像を入力する画像入力部と、
   前記画像の各画素における複数の方向の各々に関して、輝度値の一次空間微分値および二次空間微分値を計算する空間微分値計算部と、
   前記各画素に関して、前記一次空間微分値が最大値になる方向である最大方向および前記一次空間微分値が最小値になる方向である最小方向を推定する最大・最小方向推定部と、
   前記各画素の前記最大方向の前記一次空間微分値、前記各画素の前記最小方向の前記一次空間微分値、および、前記各画素の前記最大方向の前記二次空間微分値を用いて、前記各画素の第１の評価値を計算する評価値計算部と、
   前記各画素の前記評価値を出力する出力部と、
   を備える画像処理装置。
2. 前記評価値計算部は、
   前記最小方向の一次空間微分値を用いて前記各画素のノイズ量を推定するノイズ量推定部と、
   前記最大方向の一次空間微分値および前記最小方向の二次空間微分値を用いて仮評価値を計算する仮評価値計算部と、
   前記仮評価値と前記ノイズ量とを用いて前記仮評価値を正規化することにより前記第１の評価値を計算する正規化部と、
   を備える、請求項１に記載の画像処理装置。
3. 前記評価値計算部は、
   前記最小方向の一次空間微分値を用いて前記各画素のノイズ量を推定するノイズ量推定部と、
   前記最大方向の一次空間微分値および前記最小方向の二次空間微分値を用いて第１の仮評価値を計算するとともに、前記最大方向の一次空間微分値から前記ノイズ量を減じた値および前記最小方向の二次空間微分値から前記ノイズ量を減じた値を用いて第２の仮評価値とを計算する仮評価値計算部と、
   を有し、
   前記評価値計算部は、前記第２の仮評価値を前記第１の評価値で除算することにより前記第１の評価値を計算する、
   請求項１に記載の画像処理装置。
4. 前記ノイズ量推定部は、前記画像中で各画素を含む予め定められた範囲内にある複数の画素の、前記最小方向の一次空間微分値の絶対値の平均値を用いて前記各画素のノイズ量を推定する、
   請求項２または請求項３に記載の画像処理装置。
5. 前記ノイズ量推定部は、前記画像中で各画素を含む予め定められた範囲内にある複数の画素における前記最大方向の二次空間微分値の平均値を用いて前記各画素のノイズ量を推定する、
   請求項２または請求項３に記載の画像処理装置。
6. 前記最大・最小方向推定部は、異なる２つ以上の方向の前記一次空間微分値を用いて前記最大方向を推定し、前記最大方向と直交する方向を前記最小方向として求める、
   請求項１に記載の特徴点検出装置。
7. 前記最大・最小推定部は、異なる２つ以上の方向の前記一次空間微分値を用いて前記最小方向を推定し、前記最小方向と直交する方向を前記最大方向として求める、
   請求項１に記載の画像処理装置。
8. 前記最大・最小方向推定部は、さらに、前記各画素に関して、前記二次空間微分値が最大値になる方向である二次微分最大方向および前記二次空間微分値が最小値になる方向である二次微分最小方向を推定し、
   前記評価値計算部は、さらに、前記各画素の前記二次微分最大方向の前記二次空間微分値、前記各画素の前記二次微分最小方向の前記二次空間微分値、および、前記各画素の前記一次空間微分値の最小値を用いて、前記各画素の第２の評価値を計算し、
   前記出力部は、さらに、前記各画素の前記第２の評価値をも出力する、
   請求項１に記載の画像処理装置。
9. 画像中の特徴点を検出するための評価値を計算する画像処理方法であって、
   画像を入力し、
   前記画像の各画素における複数の方向の各々に関して、輝度値の一次空間微分値および二次空間微分値を計算し、
   前記各画素に関して、前記一次空間微分値が最大値になる方向である最大方向および前記一次空間微分値が最小値になる方向である最小方向を推定し、
   前記各画素の前記最大方向の前記一次空間微分値、前記各画素の前記最小方向の前記一次空間微分値、および、前記各画素の前記最大方向の前記二次空間微分値を用いて、前記各画素の第１の評価値を計算し、
   前記各画素の前記第１の評価値を出力する、
   画像処理方法。
10. コンピュータを画像中の特徴点を検出するための評価値を計算する画像処理装置として機能させるためのプログラムであって、前記プログラムはコンピュータを、
    画像を入力する画像入力部、
    前記画像の各画素における複数の方向の各々に関して、輝度値の一次空間微分値および二次空間微分値を計算する空間微分値計算部、
    前記各画素に関して、前記一次空間微分値が最大値になる方向である最大方向および前記一次空間微分値が最小値になる方向である最小方向を推定する最大・最小方向推定部、
    前記各画素の前記最大方向の前記一次空間微分値、前記各画素の前記最小方向の前記一次空間微分値、および、前記各画素の前記最大方向の前記二次空間微分値を用いて、前記各画素の第１の評価値を計算する評価値計算部、および、
    前記各画素の前記第１の評価値を出力する出力部、
    として機能させることを特徴とするプログラム。
11. 画像中の特徴点を検出するための評価値を計算する画像処理装置であって、
    画像を入力する画像入力部と、
    前記画像の各画素における複数の方向の各々に関して、輝度値の一次空間微分値および二次空間微分値を計算する空間微分値計算部と、
    前記各画素に関して、前記二次空間微分値が最大値になる方向である二次微分最大方向および前記二次空間微分値が最小値になる方向である二次微分最小方向を推定する最大・最小方向推定部と、
    前記各画素の前記二次微分最大方向の前記二次空間微分値、前記各画素の前記二次微分最小方向の前記二次空間微分値、および、前記各画素の前記一次空間微分値を用いて、前記各画素の評価値を計算する評価値計算部と、
    前記各画素の評価値を出力する出力部と、
    を備える画像処理装置。
12. 前記評価値計算部は、
    前記一次空間微分値の最小値を用いて前記各画素のノイズ量を推定するノイズ量推定部と、
    前記二次微分最大方向の前記二次空間微分値および前記最小方向の二次空間微分値を用いて第１の仮評価値を計算するとともに、前記二次微分最大方向の前記二次空間微分値から前記ノイズ量を減じた値および前記最小方向の前記二次空間微分値から前記ノイズ量を減じた値を用いて第２の仮評価値を計算する仮評価値計算部と、
    を有し、
    前記評価値計算部は、前記第２の仮評価値を前記第１の評価値で除算することにより前記評価値を計算する、
    請求項１１に記載の画像処理装置。
13. 画像中の特徴点を検出するための評価値を計算する画像処理方法であって、
    画像を入力し、
    前記画像の各画素における複数の方向の各々に関して、輝度値の一次空間微分値および二次空間微分値を計算し、
    前記各画素に関して、前記二次空間微分値が最大値になる方向である二次微分最大方向および前記二次空間微分値が最小値になる方向である二次微分最小方向を推定し、
    前記各画素の前記二次微分最大方向の前記二次空間微分値、前記各画素の前記二次微分最小方向の前記二次空間微分値、および、前記各画素の前記一次空間微分値を用いて、前記各画素の評価値を計算し、
    前記各画素の評価値を出力する、
    画像処理方法。
14. コンピュータを画像中の特徴点を検出するための評価値を計算する画像処理装置として機能させるためのプログラムであって、前記プログラムはコンピュータを、
    画像を入力する画像入力部、
    前記画像の各画素における複数の方向の各々に関して、輝度値の一次空間微分値および二次空間微分値を計算する空間微分値計算部、
    前記各画素に関して、前記二次空間微分値が最大値になる方向である二次微分最大方向および前記二次空間微分値が最小値になる方向である二次微分最小方向を推定する最大・最小方向推定部、
    前記各画素の前記二次微分最大方向の前記二次空間微分値、前記各画素の前記二次微分最小方向の前記二次空間微分値、および、前記各画素の前記一次空間微分値を用いて、前記各画素の評価値を計算する評価値計算部、および、
    前記各画素の評価値を出力する出力部、
    として機能させることを特徴とするプログラム。