JP2010015392A - 画像処理装置 - Google Patents

Abstract

【課題】輪郭部が曲面であるとともに背景との境界があいまいな対象でも正確かつ迅速に輪郭部を抽出して対象を認識するよう画像を処理することができる画像処理装置を提供する。
【解決手段】勾配計算及び記憶部３は、カメラ２によって対象が撮像された画像の画素の各々について、勾配を空間微分により計算するとともに、計算した勾配を記憶する。特徴点抽出部５は、勾配が非ゼロである画素の各々について、勾配の向きを、所定の位置関係にある少なくとも一つの画素の勾配の向きと比較する。これらの勾配の向きの差が所定範囲外にある画素又は勾配がゼロである画素が所定の数以上存在する場合、特徴点抽出部５は、勾配が非ゼロである画素を、画像の特徴点として抽出し、モニタ４に出力する。
【選択図】図１

Description

本発明は、対象を認識するために画像を処理する画像処理装置に関し、特に、対象が撮像又は計測された画像から抽出した対象の特徴点を用いてパターン認識を行う画像処理装置に関する。

従来の画像処理装置において、対象が撮像又は計測された画像の画素間の空間微分により、勾配又はラプラシアンが所定の値以上になるステップ・エッジを抽出し、抽出したステップ・エッジを対象の輪郭とみなすことが、ステップ・エッジによる輪郭抽出として提案されている（例えば、非特許文献１）。また、ステップ・エッジによる輪郭抽出を補うために、画像の空間微分により画素の勾配を求め、隣接する画素の勾配の方向の差が所定値（例えば、±５度）以内の画素群をグループ化して陰影領域を抽出し、陰影領域の境界とステップ・エッジとを統合し、対象の輪郭として抽出することが、陰影領域を用いたステップ・エッジによる輪郭抽出として提案されている（特許文献１）。

特許第３６３８８４５号公報 「コンピュータ画像処理」、田村秀行著、オーム社、２００２年、pp.182-199

しかしながら、一般的なステップ・エッジによる輪郭抽出は、勾配の大きさが際立っている部分又はラプラシアンのゼロクロス点が明瞭な部分を輪郭として抽出するので、輪郭が鋭角的であるとともに背景との境界が明瞭な対象には適しているが、輪郭部が曲面であるとともに背景との境界があいまいな対象には適さない。したがって、対象を認識する際に一般的なステップ・エッジによる輪郭抽出を用いたとしても、輪郭部が曲面であるとともに背景との境界があいまいな対象を認識することができない。

また、陰影領域を用いたステップ・エッジによる輪郭抽出は、一般的なステップ・エッジによる輪郭抽出の欠点を補う。しかしながら、画素群をグループ化して陰影領域を抽出した後に陰影領域の境界を求める手順を更に必要とするので、画像処理装置の処理速度が遅くなるという不都合がある。また、勾配の方向が全く異なる画素が隣接し、本来は輪郭とみなされる部分が同一陰影領域内に存在しても、この部分が輪郭とはみなされないという不都合がある。したがって、対象を認識する際に陰影領域を用いたステップ・エッジによる輪郭抽出を用いたとしても、輪郭部が曲面であるとともに背景との境界があいまいな対象を迅速かつ正確に認識することができない。

本発明の目的は、輪郭部が曲面であるとともに背景との境界があいまいな対象でも正確かつ迅速に輪郭部を抽出して対象を認識するよう画像を処理することができる画像処理装置を提供することである。

本発明のうち請求項１に係る発明は、
対象が撮像又は計測された画像を処理する画像処理装置であって、
前記画像の画素の各々について、勾配を空間微分により計算するとともに、計算した勾配を記憶する勾配計算及び記憶手段と、
前記勾配が非ゼロである画素の各々について、該勾配の方向を、所定の位置関係にある少なくとも一つの画素の勾配の方向と比較し、これらの勾配の方向の差が所定範囲外にある画素又は勾配がゼロである画素が所定の数以上存在する場合、前記勾配が非ゼロである画素を、前記画像の特徴点として抽出する特徴点抽出手段と、を備える。

本発明のうち請求項２に係る発明は、前記勾配が所定の値よりも小さい場合、前記勾配をゼロとみなす。

本発明のうち請求項３に係る発明は、前記特徴点と該特徴点に隣接した特徴点とを連結して曲線を作成し、該曲線が所定の長さ以上である場合、前記曲線を、前記対象の輪郭線の全て又は一部として抽出する輪郭線抽出手段を更に備える。

本発明のうち請求項４に係る発明は、前記特徴点を用いてパターン認識を行うパターン認識手段を更に備える。

本発明のうち請求項５に係る発明は、前記パターン認識を、テンプレート・マッチングを用いて行う。

本発明のうち請求項６に係る発明は、前記パターン認識手段が、認識した対象の画像上での歪みの許容値を有し、前記特徴点の一つについて、求めるパターンからのズレが前記許容値内である場合、前記特徴点は、求めるパターンに含まれると判断する。

本発明のうち請求項１に係る発明によれば、画素の勾配の方向を比較することによって画像の特徴点を抽出している。このように特徴点を抽出することによって、対象の輪郭部の特徴点を抽出する際にステップ・エッジによる特徴点抽出を用いる必要がなくなり、輪郭部が曲面であるとともに背景との境界があいまいな対象でも正確に輪郭部の特徴点を抽出することができる。また、特徴点を抽出する際に行われる画素の勾配の方向の比較は、画素群をグループ化して陰影領域を抽出した後に陰影領域の境界を求める手順に比べて処理時間が著しく短いので、輪郭部が曲面であるとともに背景との境界があいまいな対象でも迅速に輪郭部の特徴点を抽出することができる。したがって、輪郭部が曲面であるとともに背景との境界があいまいな対象でも正確かつ迅速に対象を認識するよう画像を処理することができる。

本発明のうち請求項２に係る発明によれば、所定の値よりも小さい勾配をゼロとみなすことによって、瑣末又はノイズ的な勾配を無視することができる。その結果、輪郭部が曲面であるとともに背景との境界があいまいな対象でも更に迅速に輪郭部の特徴点を抽出することができる。

本発明のうち請求項３に係る発明によれば、隣接した特徴点同士を連結した曲線を、対象の輪郭線の全て又は一部として抽出することによって、輪郭部が曲面であるとともに背景との境界があいまいな対象でも正確に輪郭線を抽出することができる。

本発明のうち請求項４に係る発明によれば、特徴点を用いてパターン認識を行うことによって、輪郭部が曲面であるとともに背景との境界があいまいな対象でも正確かつ迅速にパターン認識を行うことができる。

本発明のうち請求項５に係る発明によれば、テンプレート・マッチングを用いる場合、パターンと特徴点列とのマッチングにより、各特徴点の位置だけでなく勾配をも一致・不一致の判定材料に加えることができる。その結果、輪郭部が曲面であるとともに背景との境界があいまいな対象でも更に正確にパターン認識を行うことができる。

本発明のうち請求項６に係る発明によれば、特徴点が求めるパターンからずれている場合でもパターン認識が可能になる。

本発明による画像処理装置の実施の形態を、図面を参照して説明する。なお、図面中、同一構成要素には同一の符号を付す。

図１は、第１の実施の形態の画像処理装置及びその周辺装置のブロック図である。パーソナルコンピュータ等のコンピュータによって実現される画像処理装置１は、カメラ２によって撮影された対象の画像を受け取る勾配計算及び記憶部３と、後に説明するようにして抽出した画像の特徴点をモニタ４に出力する特徴点抽出部５と、を備える。

勾配計算及び記憶部３は、画像の画素の各々について、勾配を空間微分により計算するとともに、計算した勾配を記憶する。空間微分は、ソーベル・オペレータを用いる手法のような既知の手法を用いて行うことができる。この際、空間微分によって計算された勾配が所定の値より小さい場合、勾配をゼロとみなすことによって、瑣末又はノイズ的な勾配を無視することができる。

特徴点抽出部５は、勾配が非ゼロである画素の各々について、勾配の方向を、所定の位置関係にある少なくとも一つの画素の勾配の方向と比較する。勾配の方向の差が所定範囲外にある画素又は勾配がゼロである画素が所定の数以上存在する場合、例えば、勾配の方向の差が所定範囲外にある隣接画素又は勾配がゼロである隣接画素が所定の数以上存在する場合、特徴点抽出部５は、勾配が非ゼロである画素を、画像の特徴点として抽出し、モニタ４に出力する。

所定の位置関係にある少なくとも一つの画素は、例えば、図２Ａに示すように、勾配の方向を矢印で書き込んだ真中の画素に対して、斜線で示した全八方位の８画素としてもよく、図２Ｂに示すように、勾配の方向である矢印の先に斜線で示した１画素としてもよく、目的又は条件に応じて又は予め決定することができる。なお、矢印の向きは、勾配に関する値の高い画素から低い画素への遷移方向を表す。

図３は、勾配の方向の差が所定範囲外にある隣接画素又は勾配がゼロである隣接画素を説明するための図である。図３に示すように、勾配の方向の差の所定範囲を６０度として真中の画素に対して全八方位の隣接画素を参照した場合、右及び左下の画素が、勾配の方向の差が所定範囲外にある隣接画素となり、右下の画素が、勾配がゼロである隣接画素となる。したがって、勾配の方向の差が所定範囲外にある隣接画素又は勾配がゼロである隣接画素は、３個となる。３個が上記所定の数以上である場合、真中の画素は、特徴点として抽出され、モニタ４に出力される。それに対し、３個が上記所定の数より少ない場合、真中の画素は、特徴点でないと判断され、モニタ４に出力されない。

図４は、図１の画像処理装置の処理のフローチャートである。このルーチンは、カメラ２により対象が撮影される度に実行される。先ず、ステップＳ１において、勾配計算及び記憶部３は、カメラ２により撮影された画像の画素の各々について、空間微分により勾配を計算し及び記憶する。

次に、ステップＳ２において、特徴点抽出部５は、画像の画素の各々に対して、連番１，２，．．．，ｎを割り当てる。番号の割当ては、例えば、画素の勾配が記憶されている勾配計算及び記憶部３のメモリのアドレス順に番号を割り当てることによって行う。次に、ステップＳ３において、画素の番号を表す変数ｉを用意し、ｉ＝１とする。

次に、ステップＳ４において、特徴点抽出部５は、番号ｉの画素の勾配が非ゼロであるか否かを判定する。番号ｉの画素の勾配が非ゼロである場合、ステップＳ５において、特徴点抽出部５は、勾配が非ゼロである画素と所定の位置関係にある少なくとも一つの画素に対して、連番１，２，．．．，ｍを割り当てる。例えば、図５Ａに示すように、勾配の方向を矢印で書き込んだ真中の画素に対して、斜線で示した全八方位の８個の隣接画素に番号を割り当てる場合、真中の画素に対して左上に配置された画素から右下へ向かって１，２，．．．，８を割り当てることができる。また、図５Ｂに示すように、勾配の方向を表す矢印の先に斜線で示した１個の隣接画素すなわち真中の画素に対して右下に配置された画素のみに番号を割り当てる場合、その画素に番号１を割り当てるだけでよい。

次に、ステップＳ６において、特徴点抽出部５は、勾配が非ゼロである画素と所定の位置関係にある画素の番号を表す変数ｊを用意し、ｊ＝１とするとともに、勾配が非ゼロである画素と所定の位置関係にある画素（例えば、隣接画素）のうちの後に説明する条件を満足する画素の数をカウントするための変数ｋを用意し、ｋ＝０とする。

次に、ステップＳ７において、特徴点抽出部５は、番号ｊの画素の勾配がゼロであるか否か判定する。番号ｊの画素の勾配がゼロである場合、ステップＳ８において、特徴点抽出部５は、変数ｋに１を加算する。それに対して、番号ｊの画素の勾配がゼロでない場合、ステップＳ９において、特徴点抽出部５は、番号ｉの画素の勾配の方向と番号ｊの画素の勾配の方向との差が所定範囲外であるか否か判定する。番号ｉの画素の勾配の方向と番号ｊの画素の勾配の方向との差が所定範囲外である場合、ステップＳ８に進む。したがって、ステップＳ８は、ステップＳ７又はステップＳ９の条件を満足する画素の数を１ずつ加算しながら数えることを意味する。

ステップＳ８で変数ｋに１を加算した後又はステップＳ９で番号ｉの画素の勾配の方向と番号ｊの画素の勾配の方向との差が所定範囲外でないと判定した場合、ステップＳ１０において、特徴点抽出部５は、変数ｊに１を加算し、勾配が非ゼロである画素と所定の位置関係にある次の画素の勾配を参照するための準備をする。

その後、ステップＳ１１において、特徴点抽出部５は、変数ｋが所定の数以上であるか否か判定する。変数ｋが所定の数以上である場合、ステップＳ１２において、特徴点抽出部５は、番号ｉの画素を特徴点と判定する。それに対して、変数ｋが所定の数未満である場合、ステップＳ１３において、特徴点抽出部５は、変数ｊが連番ｍ以下であるか否か判定する。変数ｊが連番ｍ以下である場合、ステップＳ７に戻る。

ステップＳ１２で番号ｉの画素を特徴点と判定した後又はステップＳ１３で変数ｊが連番ｍを超える場合、ステップＳ１４において、特徴点抽出部５は、番号ｉに１を加算し、次の画素の勾配を参照するための準備をする。その後、ステップＳ１５において、特徴点抽出部５は、番号ｉが連番ｎ以下であるか否か判定する。番号ｉが連番ｎ以下である場合、ステップＳ４に戻り、それに対して、番号ｉが連番ｎ以下でない場合、本ルーチンを終了する。なお、ステップＳ４で番号ｉの画素の勾配がゼロの場合、ステップＳ１４に進む。

本実施の形態によれば、画素の勾配の方向を比較することによって画像の特徴点を抽出している。このように特徴点を抽出することによって、対象の輪郭部の特徴点を抽出する際に輪郭部の勾配又はラプラシアンの大きさが際立っている必要がなくなり、輪郭部が曲面であるとともに背景との境界があいまいな対象でも正確に輪郭部の特徴点を抽出することができる。また、特徴点を抽出する際に行われる画素の勾配の方向の比較は、画素群をグループ化して陰影領域を抽出した後に陰影領域の境界を求める手順に比べて処理時間が著しく短いので、輪郭部が曲面であるとともに背景との境界があいまいな対象でも迅速に輪郭部の特徴点を抽出することができる。したがって、輪郭部が曲面であるとともに背景との境界があいまいな対象でも正確かつ迅速に対象を認識するよう画像を処理することができる。

図６は、第２の実施の形態の画像処理装置及びその周辺装置のブロック図である。本実施の形態において、画像処理装置１１は、勾配計算及び記憶部３と、特徴点抽出部５と、輪郭線抽出部６と、を備える。

輪郭線抽出部６は、特徴点とこの特徴点に隣接した特徴点とを連結して曲線を作成し、曲線が所定の長さ以上である場合、曲線を、対象の輪郭線の全て又は一部として抽出し、モニタ４に出力する。

本実施の形態によれば、隣接した特徴点同士を連結した曲線を、対象の輪郭線の全て又は一部として抽出することによって、輪郭部が曲面であるとともに背景との境界があいまいな対象でも正確に輪郭線を抽出するよう画像を処理することができる。

図７は、ボルトの輪郭線の抽出を説明するための図である。図７Ａは、ボルトの原画像である。ボルトの輪郭線付近のボルト部分が曲面であり、ボルト及び背景が共に黒であるので、ボルトの輪郭線が不明瞭である。図７Ｂは、従来のステップ・エッジ抽出によりボルトの輪郭線の抽出を試みた結果である。図７Ｂにおいて、照明によって生じた輝線の周囲が主に抽出され、ボルトの輪郭線を正確に抽出していない。図７Ｃは、図６の画像処理装置を用いてボルトの輪郭線の抽出を試みた結果である。図７Ｃにおいて、ボルトの輪郭線が十分正確に抽出されている。

図８は、第３の実施の形態の画像処理装置及びその周辺装置のブロック図である。本実施の形態において、画像処理装置２１は、勾配計算及び記憶部３と、特徴点抽出部５と、パターン認識部７と、を備える。

パターン認識部７は、特徴点抽出部５で抽出した特徴点およびパターン記憶装置８に予め記憶されているパターンを使用してパターン認識を行う。パターン認識の手法として、テンプレート・マッチングのような既知の手法を用いることができる。テンプレート・マッチングを用いる場合、パターンと特徴点列とのマッチングによって、各点の位置だけでなく勾配をも一致・不一致の判定材料に加えることができる。

ロボットコントローラ９は、パターン認識部７から出力されたパターン認識結果を用いて対象の位置を解析する。ロボット１０は、ロボットコントローラ９から出力された対象の位置の解析結果を使用して、対象に対するハンドリング等の作業を行う。

本実施の形態によれば、特徴点を用いてパターン認識を行うことによって、輪郭部が曲面であるとともに背景との境界があいまいな対象でも正確かつ迅速にパターン認識を行うことができる。

図９は、テンプレート・マッチングにおけるパターンと特徴点列とのマッチングを説明するための図である。図９Ａに示すパターンと図９Ｂに示す特徴点列とを重ね合わせた場合、図９Ｃに示すように、特徴点３１は、厳密に判断するとパターンから外れているとみなされる。しかしながら、パターン認識部７が、認識した対象の画像上での歪みの許容値をパラメータとして有し、特徴点３１について、求めるパターンからのズレが許容値（例えば、１画素）内である場合、特徴点３１は、求めるパターンに含まれると判断することができる。

本発明は、上記実施の形態に限定されるものではなく、幾多の変更及び変形が可能である。例えば、上記実施の形態において、カメラによって対象が撮像された画像を処理する場合について説明したが、３次元センサによって対象が計測された距離画像を処理する場合にも本発明を適用することができる。

第１の実施の形態の画像処理装置及びその周辺装置のブロック図である。 所定の位置関係にある少なくとも一つの画素の例を示す図である。 勾配の方向の差が所定範囲外にある隣接画素又は勾配がゼロである隣接画素を説明するための図である。 図１の画像処理装置の処理のフローチャートである。 勾配が非ゼロである画素と所定の位置関係にある少なくとも一つの画素に対する番号の割当てを説明するための図である。 第２の実施の形態の画像処理装置及びその周辺装置のブロック図である。 ボルトの輪郭線の抽出を説明するための図である。 第３の実施の形態の画像処理装置及びその周辺装置のブロック図である。 テンプレート・マッチングにおけるパターンと特徴点列とのマッチングを説明するための図である。

符号の説明

１，１１，２１ 画像処理装置
２ カメラ
３ 勾配計算及び記憶部
４ モニタ
５ 特徴点抽出部
６ 輪郭線抽出部
７ パターン認識部
８ パターン記憶装置
９ ロボットコントローラ
１０ ロボット
３１ 特徴点

Claims (6)

1. 対象が撮像又は計測された画像を処理する画像処理装置であって、
   前記画像の画素の各々について、勾配を空間微分により計算するとともに、計算した勾配を記憶する勾配計算及び記憶手段と、
   前記勾配が非ゼロである画素の各々について、該勾配の方向を、所定の位置関係にある少なくとも一つの画素の勾配の方向と比較し、これらの勾配の方向の差が所定範囲外にある画素又は勾配がゼロである画素が所定の数以上存在する場合、前記勾配が非ゼロである画素を、前記画像の特徴点として抽出する特徴点抽出手段と、を備えた画像処理装置。
2. 前記勾配が所定の値よりも小さい場合、前記勾配をゼロとみなす請求項１記載の画像処理装置。
3. 前記特徴点と該特徴点に隣接した特徴点とを連結して曲線を作成し、該曲線が所定の長さ以上である場合、前記曲線を、前記対象の輪郭線の全て又は一部として抽出する輪郭線抽出手段を更に備えた請求項１又は２記載の画像処理装置。
4. 前記特徴点を用いてパターン認識を行うパターン認識手段を更に備えた請求項１又は２記載の画像処理装置。
5. 前記パターン認識を、テンプレート・マッチングを用いて行う請求項４記載の画像処理装置。
6. 前記パターン認識手段が、認識した対象の画像上での歪みの許容値を有し、前記特徴点の一つについて、求めるパターンからのズレが前記許容値内である場合、前記特徴点は、求めるパターンに含まれると判断する請求項５記載の画像処理装置。