JP2010277164A - モデルデータ作成装置、モデルデータ作成方法、物体認識装置、及び物体認識方法 - Google Patents

Abstract

【課題】物体の一部分が遮蔽されている場合でも精度よく物体認識を行う。
【解決手段】リファレンス物体の形状を特徴点群で表した基準画像内に設けられた基準点と、特徴点群のうち３つの特徴点が頂点となる二等辺三角形モデルとに基づいた、リファレンス物体の角度、スケーリング、及び位置の属性を有したパラメーターを登録したモデルデータを予め登録する。そして、物体認識処理においては、特徴点群Ｆのうち特徴点Ｐ，Ｑ，Ｓが頂点となる二等辺三角形モデルを設定し、記録されたモデルデータの中から二等辺三角形モデルの相似形である二等辺三角形モデルに対応したパラメーターを検索する。そして、パラメーターに基づいて、被検査対象物体の角度、スケーリング、及び位置を計算する。さらに、その計算結果に基づき投票処理を行うことによって、検索対象画像から被検査対象物体を認識する。
【選択図】図７

Description

本発明は、所望の物体の画像データからモデルデータを作成する技術、及びそのモデルデータを用いて画像から物体を認識する技術に関する。

認識対象物体の画像データに基づいてモデルデータを作成・登録しておき、その登録されたモデルデータを用いて、入力画像から認識対象物体と同一形状である物体の位置、姿勢（傾き）、大きさの変化率（スケーリング値）を検出する技術が知られている（例えば、非特許文献１参照）。この非特許文献１に記載の２次元部品姿勢認識技術は、その物体の位置を代表する一つの基準点を斜辺ではない辺に含む直角三角形の集合と、直角三角形の各頂点におけるエッジ勾配とをモデルデータとして用いるものである。そして、検査画像内のエッジ点対を結ぶ線分を斜辺ではない一辺とする直角三角形と、モデルデータの直角三角形との相似性に着目して、基準点候補の座標、物体の姿勢、物体のスケーリングに投票を行うものである。基準点、姿勢、スケーリングは、累積投票のピークにより求められる。

図９−図１５を参照して、上記の２次元部品姿勢認識技術（以下、一従来技術という。）についてその概要を具体的に説明する。この一従来技術では、認識対象物体のモデルデータの作成において、図９に示すような認識対象物体の外形に内接する直角三角形を用いる。より具体的には、一従来技術では、同図に示すように認識対象物体を、特徴点の集合である特徴点群Ｆで表す（同図では、便宜上破線で図示してある。）。そして、物体の位置を代表する基準点Ｒを斜辺ではない一辺に含み、認識対象物体の特徴点群Ｆにおける３つの特徴点Ｐ，Ｑ，Ｓを頂点とする直角三角形を設定する。同図は、線分ＰＳと線分ＰＱとが直交し、且つ線分ＰＳ上に認識対象物体の基準点Ｒがある様子を示している。ここで、物体の位置を代表する基準点Ｒは任意の点で良い。例えば、物体の重心位置でも良い。

図９において、線分ＰＳの長さを線長ａ、線分ＰＱの長さを線長ｂ、及び線分ＰＲの長さを線長ｃとする。また、特徴点Ｐ，Ｑ，Ｓにおける認識対象物体の輝度勾配の単位法線ベクトルをベクトルα，β，γとし、不図示ではあるが、ベクトルα，β，γの所定の基準線からの各角度を角度Θα，角度Θβ，角度Θγとする。なお、所定の基準線は、任意に設定した一基準線であり、例えば、画像における水平線軸や垂直線軸を基準線とすることができる。

一従来技術では、図９に示す直角三角形に基づいて、モデルデータを図１０のように設定する。同図において、一従来技術のモデルデータ１００は、辺長１０２と、角度１０３と、第１辺長比１０４ａと、第２辺長比１０４ｂと、第１角度差１０５ａと、第２角度差１０５ｂとの各パラメーターを、特徴点番号１０１に関連づけたものである。具体的には、モデルデータ１００は、図９に示す直角三角形モデルに対して、辺長１０２＝線長ａと、角度１０３＝角度Θαと、第１辺長比１０４ａ＝線長ｂ／線長ａと、第２辺長比１０４ｂ＝線長ｃ／線長ａと、第１角度差１０５ａ＝角度Θβ−角度Θαと、第２角度差１０５ｂ＝角度Θγ−角度Θαとの各パラメーターを、特徴点番号１０１＝１に関連づけて登録する。そして、特徴点群ＦについてＮ個の直角三角形を抽出することができる場合、Ｎ個の直角三角形それぞれに対するパラメーターを、特徴点番号１−Ｎにそれぞれ対応させてモデルデータ１００に登録する。なお、同図において空欄の箇所は、データの記載が省略されたものである。

モデルデータ１００のパラメーターにおいては、辺長１０２及び角度１０３のみが絶対値である。すなわち、モデルデータ１００は、辺長１０２を除いて物体の大きさには依存しないパラメーターであり、角度１０３を除いて物体の回転角度には依存しないパラメーターである。

次に、一従来技術による、モデルデータ１００を用いた検査物体の物体認識方法について、図１１を参照して説明する。まず、同図に示すように、検査物体の特徴点群Ｆ１１の中から任意の特徴点Ｉを選択する。そして、特徴点Ｉとは別の特徴点Ｋを選択し、線分ＩＫと直交する直線上に特徴点Ｉ，Ｋとは別の特徴点がある場合に、それを特徴点Ｊとして選択する。すなわち、線分ＩＫと直交する線分ＩＪが求められる。このようにして選択された特徴点Ｉ，Ｊ，Ｋを頂点とする直角三角形について、線分ＩＫと線分ＩＪとの比である線分ＩＪ／線分ＩＫを求め、モデルデータ１００に登録された第１辺長比１０４ａの中から同一の辺長比のパラメーターを検索する。同一の辺長比のパラメーターが検出された場合、特徴点Ｉ，Ｊ，Ｋにおける検査物体の単位法線ベクトルであるベクトルαＩ，ベクトルβＪ，ベクトルγＫに基づき求められる角度ΘＩ，角度ΘＪ，角度ΘＫから得られる角度差が、検索されたパラメーターにおける第１角度差１０５ａ及び第２角度差１０５ｂそれぞれについて所定の誤差範囲内で一致するか否かを調べる。ここで一致する場合、検査物体は、モデルデータ１００に係る検査対象物体と相似形の物体である可能性が高いと判定され、物体認識の候補となる。そして、モデルデータ１００に登録された辺長１０２と線分ＩＫとの比によりこの検査物体のスケーリング候補を求め、また角度１０３と角度αｌとの差により回転角度候補を求め、さらに第２辺長比と線分ＩＫとにより基準点候補を求めて投票処理を行う。

なお、非特許文献１には図１２及び図１３のような変形例も開示されている。よって、一従来技術においては、図９，図１２，及び図１３のいずれの例についても、基準点を特徴点群に内接する三角形の辺上に設ける必要がある。

斉藤文彦、「直角三角形の相似性に着目した図形マッチングによる２次元部品姿勢認識」、電子情報通信学会論文誌（Ｄ−ＩＩ）、Ｖｏｌ．Ｊ８１−Ｄ−ＩＩ（Ｎｏ．７）、ｐｐ１５９１−１６００、１９９８

上記の一従来技術を用いた場合には、検出物体の上に他の物体が部分的に重なる等、検出すべき物体が部分的に遮蔽されている場合の物体認識において以下の問題がある。すなわち、上述したように、一従来技術のモデルデータの作成においては、基準点を認識対象物体の特徴点群に内接する三角形の一辺上に設けることが条件である。この一従来技術は、検査物体の回転も考慮した物体認識の技術であるため、モデルデータを作成する際には、図１４（ａ）に示すように、検査物体Ｗａの重心位置付近に基準点Ｒａを設けることが好ましい。しかしながら、同図（ｂ）のように検査物体Ｗａの基準点Ｒａが遮蔽物１４０によって遮蔽されてしまうと、期待される内接直角三角形を形成することができず、検査物体Ｗａを検出することができない。

また、図１５（ａ），（ｂ）に示すように、検査物体Ｗａの基準点Ｒａが遮蔽物１５０によって遮蔽されない状態であったとしても、検査物体Ｗａの形状如何によっては、同図（ａ）のように範囲１５１，１５２で示される範囲のみが基準点Ｒを通って検査物体Ｗａの一端と他端とを結ぶ直線を引くことのできる範囲であり、さらには、これら範囲１５１，１５２のうち、同図（ｂ）のように範囲１５３のみが内接直角三角形を形成できる範囲となり、物体認識の検出精度はいきおい低くなる。したがって、一従来技術は、遮蔽に対するロバスト性が低いものである。

そこで本発明は、上記問題に鑑みてなされたものであり、画像から所望の物体の位置、姿勢、大きさを認識するための物体認識技術において、その物体の一部分が遮蔽されている場合でも精度よく物体認識を行うことのできる、モデルデータ作成装置、モデルデータ作成方法、物体認識装置、及び物体認識方法を提供することを目的とする。

本発明は、上記の課題を解決するために、以下［１］−［８］の手段を提供するものである。
［１］ リファレンス物体の形状を複数の特徴点で表した基準画像に基づきモデルデータを作成するモデルデータ作成装置において、
前記基準画像内に基準点を設定する設定手段と、
前記複数の特徴点のうちいずれか３つの特徴点が頂点となる二等辺三角形モデルを設定し、その二等辺三角形モデルと前記基準点とに基づいて、前記リファレンス物体の角度、スケーリング、及び位置の属性を有したモデルデータを作成する作成手段と、
を備えたことを特徴とするモデルデータ作成装置。
［２］ 前記作成手段は、
前記設定した二等辺三角形モデルの各頂点における前記リファレンス物体の形状に対する法線方向の勾配と、頂角部分の頂点から前記基準点への方向の勾配と、前記二等辺三角形モデルの二等辺である辺の距離と、前記二等辺に挟まれた底辺の距離と、前記頂角部分の頂点から前記基準点までの距離とに基づき前記モデルデータを作成する
ことを特徴とする上記［１］記載のモデルデータ作成装置。
［３］ リファレンス物体の形状を複数の特徴点で表した基準画像に基づきモデルデータを作成するモデルデータ作成方法において、
前記基準画像内に基準点を設定する設定ステップと、
前記複数の特徴点のうちいずれか３つの特徴点が頂点となる二等辺三角形モデルを設定し、その二等辺三角形モデルと前記基準点とに基づいて、前記リファレンス物体の角度、スケーリング、及び位置の属性を有したモデルデータを作成する作成ステップと、
を有したことを特徴とするモデルデータ作成方法。
［４］ 前記作成ステップは、
前記設定した二等辺三角形モデルの各頂点における前記リファレンス物体の形状に対する法線方向の勾配と、頂角部分の頂点から前記基準点への方向の勾配と、前記二等辺三角形モデルの二等辺である辺の距離と、前記二等辺に挟まれた底辺の距離と、前記頂角部分の頂点から前記基準点までの距離とに基づき前記モデルデータを作成する
ことを特徴とする上記［３］記載のモデルデータ作成方法。
［５］ リファレンス物体のモデルデータを用いて、被検査対象物体の検索対象画像から物体認識を行う物体認識装置において、
前記モデルデータは、
前記リファレンス物体の形状を複数の第１特徴点で表した基準画像内に設けられた基準点と、前記複数の第１特徴点のうちいずれか３つの第１特徴点が頂点となる第１二等辺三角形モデルとに基づいた、前記リファレンス物体の角度、スケーリング、及び位置の属性を有したパラメーターを登録したものであり、
前記検索対象画像から、前記被検査対象物体の形状を表す複数の第２特徴点を抽出する抽出手段と、
前記複数の第２特徴点のうちいずれか３つの第２特徴点が頂点となる第２二等辺三角形モデルを設定し、前記モデルデータの中から前記第２二等辺三角形モデルの相似形である二等辺三角形モデルに対応したパラメーターを検索する検索手段と、
前記検索されたパラメーターに基づいて、前記被検査対象物体の角度、スケーリング、及び位置を計算する計算手段と、
前記計算手段の計算結果に基づいて、前記検索対象画像から前記被検査対象物体を認識する認識手段と、
を備えたことを特徴とする物体認識装置。
［６］ 前記モデルデータは、
前記リファレンス物体の形状を複数の第１特徴点で表した基準画像内に設けられた基準点と、前記複数の第１特徴点のうちいずれか３つの第１特徴点が頂点となる第１二等辺三角形モデルとに基づいて、前記第１二等辺三角形モデルの各頂点における前記リファレンス物体の形状に対する法線方向の勾配と、頂角部分の頂点から前記基準点への方向の勾配と、前記第１二等辺三角形モデルの二等辺である辺の距離と、前記二等辺に挟まれた底辺の距離と、前記頂角部分の頂点から前記基準点までの距離とに基づいた、前記リファレンス物体の角度、スケーリング、及び位置の属性を有したパラメーターを登録したものであり、
前記検索手段は、
前記設定した第２二等辺三角形モデルの各頂点における前記被検査対象物体の形状に対する法線方向の勾配と、前記第２二等辺三角形モデルの二等辺である辺の距離と、前記二等辺に挟まれた底辺の距離とに基づいて、前記モデルデータの中から前記第２二等辺三角形モデルの相似形である二等辺三角形モデルに対応したパラメーターを検出する
ことを特徴とする上記［５］記載の物体認識装置。
［７］ リファレンス物体のモデルデータを用いて、被検査対象物体の検索対象画像から物体認識を行う物体認識方法において、
前記モデルデータは、
前記リファレンス物体の形状を複数の第１特徴点で表した基準画像内に設けられた基準点と、前記複数の第１特徴点のうちいずれか３つの第１特徴点が頂点となる第１二等辺三角形モデルとに基づいた、前記リファレンス物体の角度、スケーリング、及び位置の属性を有したパラメーターを登録したものであり、
前記検索対象画像から、前記被検査対象物体の形状を表す複数の第２特徴点を抽出する抽出ステップと、
前記複数の第２特徴点のうちいずれか３つの第２特徴点が頂点となる第２二等辺三角形モデルを設定し、前記モデルデータの中から前記第２二等辺三角形モデルの相似形である二等辺三角形モデルに対応したパラメーターを検索する検索ステップと、
前記検索されたパラメーターに基づいて、前記被検査対象物体の角度、スケーリング、及び位置を計算する計算ステップと、
前記計算手段の計算結果に基づいて、前記検索対象画像から前記被検査対象物体を認識する認識ステップと、
を有したことを特徴とする物体認識方法。
［８］ 前記モデルデータは、
前記リファレンス物体の形状を複数の第１特徴点で表した基準画像内に設けられた基準点と、前記複数の第１特徴点のうちいずれか３つの第１特徴点が頂点となる第１二等辺三角形モデルとに基づいて、前記第１二等辺三角形モデルの各頂点における前記リファレンス物体の形状に対する法線方向の勾配と、頂角部分の頂点から前記基準点への方向の勾配と、前記第１二等辺三角形モデルの二等辺である辺の距離と、前記二等辺に挟まれた底辺の距離と、前記頂角部分の頂点から前記基準点までの距離とに基づいた、前記リファレンス物体の角度、スケーリング、及び位置の属性を有したパラメーターを登録したものであり、
前記検索ステップは、
前記設定した第２二等辺三角形モデルの各頂点における前記被検査対象物体の形状に対する法線方向の勾配と、前記第２二等辺三角形モデルの二等辺である辺の距離と、前記二等辺に挟まれた底辺の距離とに基づいて、前記モデルデータの中から前記第２二等辺三角形モデルの相似形である二等辺三角形モデルに対応したパラメーターを検出する
ことを特徴とする上記［７］記載の物体認識方法。

本発明によれば、検査対象画像の被検査対象物体の一部分が遮蔽されている場合でも、被検査対象物体の角度、スケーリング、及び位置を認識して精度よく物体認識を行うことができる。

本発明の実施形態である物体認識装置の概略のブロック構成図である。 特徴点を抽出するための画像処理フィルターの例である。 本実施形態である物体認識装置が作成するモデルデータを説明するための図である。 本実施形態である物体認識装置が作成するモデルデータの例である。 本実施形態である物体認識装置の、モデルデータの作成処理についてのフローチャートである。 本実施形態である物体認識装置の、被検査対象物体を検出するための投票処理についてのフローチャートである。 本実施形態である物体認識装置による、被検査対象物体の検出を説明するための図である。 本実施形態である物体認識装置による、部分的に遮蔽された被検査対象物体の検出を説明するための図である。 一従来技術における、モデルデータの作成手順を説明するための図である。 一従来技術おける、モデルデータの例である。 一従来技術おける、検査物体の物体認識を説明するための図である。 一従来技術における、内接直角三角形の別形態の例を示した図である。 一従来技術における、内接直角三角形のさらに別形態の例を示した図である。 一従来技術における、技術的課題を説明するための図である。 一従来技術における、技術的課題を説明するための図である。

以下、本発明を実施するための形態について、図面を参照して詳細に説明する。この実施形態においては、モデルデータを作成するために用いる物体をリファレンス物体と称し、物体認識の検査対象となる物体を被検査対象物体と称して説明する。

図１に、本実施形態である物体認識装置の概略のブロック構成図を示す。この物体認識装置は、モデルデータ作成装置の機能も併せ備えたものである。同図において、物体認識装置１は、画像データ入力部１１と、特徴点抽出部１２と、二値化部１３と、モデルデータ作成部１４と、モデルデータ記録部１５と、第１物体検出部１６と、第２物体検出部１７と、検出結果出力部１８とを備えている。

画像データ入力部１１は、リファレンス物体や被検査対象物体が撮像された撮像画像データを入力するための入力部である。撮像画像データは、リファレンス物体や被検査対象物体を撮像する撮像装置（不図示）から供給される。なお、リファレンス物体については、その形状を示すデータであるＣＡＤ（Ｃｏｍｐｕｔｅｒ Ａｉｄｅｄ Ｄｉｓｉｇｎ）データを画像データ入力部１１に入力し、この画像データ入力部１１においてＣＡＤデータから形状を表した基準画像データに変換するように構成してもよい。

特徴点抽出部１２は、リファレンス物体及び被検査対象物体の撮像画像データから特徴点を抽出する画像処理部である。例えば、撮像画像データのうち輝度データに、ラプラシアン・フィルター処理やＭｏｒａｖｅｃ（モラベック）オペレーター処理を行うことで特徴点を抽出できる。ラプラシアン・フィルター処理は、例えば、注目画素である中心画素とその周囲８個の近傍画素とに図２（ａ）に示すような係数のフィルターを適用して二次微分計算を行うものである。また、モラベック・オペレーター処理は、数式１及び同図（ｂ）に示すように、注目画素である中心画素（ｘ，ｙ）と周囲８個の近傍画素との輝度値の差の絶対値和を求めるものである。ラプラシアン・フィルター処理やモラベック・オペレーター処理を行うことによって輝度値の変化を強調（鮮鋭化）することができ、結果として、リファレンス物体及び被検査対象物体の輪郭部分の画素の輝度レベルと、他の部分の画素の輝度レベルとに差をつけることができる。

このようにして、特徴点抽出部１２により、リファレンス物体及び被検査対象物体の外形形状部分の画素位置を、特徴点の集合である特徴点群として抽出することができる。なお、本実施形態では、上記のとおりリファレンス物体及び被検査対象物体の外形形状部分を表す特徴点群を抽出できればよいが、特徴点の集合ではなく物体の輪郭線を抽出することのできるＣａｎｎｙ（キャニー）オペレーター処理を行うようにしてもよい。

二値化部１３は、特徴点抽出部１２で抽出された特徴点群の表された画像データに二値化処理を行って二値化画像データを生成し記憶部（不図示）に記憶させるものである。この二値化処理を行うための閾値の決定方法は、例えば公知の大津法を用いることができる。

モデルデータ作成部１４は、リファレンス物体の二値化画像データに基づいてモデルデータを作成するものである。本実施形態では、モデルデータの作成において、図３に示すようなリファレンス物体の特徴点群Ｆ３に内接する二等辺三角形を用いる。なお、同図においては、便宜上、特徴点群Ｆ３を破線によって図示している。そして、特徴点群Ｆ３において、任意の特徴点Ｐと、この特徴点Ｐから等距離にある２つの特徴点Ｑ，Ｓを頂点とする二等辺三角形を設定する。同図は、特徴点Ｐを中心とする円Ｃを便宜上設定した場合に、その円周と特徴点群Ｆ３との交差部分に特徴点Ｑ，Ｓが存在する様子を示している。これからも明らかなように、線分ＰＳと線分ＰＱとが等距離である。そして、特徴点群Ｆ３を外形形状とする二次元平面上の重心又は重心付近の任意の位置に基準点Ｒを設定する。このように、本実施形態においては、基準点Ｒを二等辺三角形の辺上に設ける必要がない。

図３において、線分ＰＳ及び線分ＰＱそれぞれの長さを線長ｒ、線分ＱＳの長さを線長ａ、及び線分ＰＲの長さを線長ｄとする。また、特徴点群Ｆ３を外形形状とした場合の特徴点Ｐ，Ｑ，Ｓにおけるリファレンス物体の単位法線ベクトルをベクトルα，β，γとする。また、特徴点Ｐにおける基準点Ｒ方向の単位ベクトルをベクトルζとする。さらに、不図示ではあるが、ベクトルα，β，γ，ζの所定の基準線からの各角度を角度Θα，角度Θβ，角度Θγ，角度Θζとする。なお、所定の基準線は、任意に設定した一基準線であり、例えば、画像における水平線軸や垂直線軸を用いることができる。

本実施形態においては、図３に示す特徴点Ｐ，Ｑ，Ｓを各頂点とした二等辺三角形モデル及び基準点Ｒに基づいてモデルデータを図４のように設定する。同図において、モデルデータ４０は、辺長４２と、角度４３と、第１辺長比４４ａと、第２辺長比４４ｂと、第１角度差４５ａと、第２角度差４５ｂと、第３角度差４５ｃとの各パラメーターを、特徴点番号４１に関連づけて登録したものである。具体的には、モデルデータ４０は、図３に示す二等辺三角形モデル及び基準点Ｒに対して、辺長４２＝線長ｒと、角度４３＝角度Θαと、第１辺長比４４ａ＝線長ａ／線長ｒと、第２辺長比４４ｂ＝線長ｄ／線長ｒと、第１角度差４５ａ＝角度Θβ−角度Θαと、第２角度差４５ｂ＝角度Θγ−角度Θαと、第３角度差４５ｃ＝角度Θζ−角度Θαとの各パラメーターを、特徴点番号４１＝１に関連づけて登録する。

さらに、特徴点Ｐを固定して、線長ｒを変化させたとき、その円周と特徴点群Ｆ３との交差部分に特徴点Ｑ，Ｓが存在する場合も上記と同様に各パラメーターを決定して同一の番号である特徴点番号４１に関連づけて登録する。線長ｒは、０を超える値、例えば一画素に相当する距離から順次大きくしながら特徴点Ｑ，Ｓを検索するのがよい。線長ｒの最大値は、予めモデルデータ作成部１４に設定しておいてもよいし、線長ｒで設定される円Ｃの中に特徴点群Ｆ３が全て含まれるまでというように動的に設定してもよい。

そして、特徴点群Ｆ３についてＮ種類の二等辺三角形モデルを抽出することができる場合、これらＮ種類の二等辺三角形モデルそれぞれに対するパラメーターを、特徴点番号１−Ｎにそれぞれ対応させてモデルデータ４０に登録する。

モデルデータ４０のパラメーターについては、辺長４２及び角度４３のみが絶対値である。すなわち、モデルデータ４０は、辺長４２を除いてリファレンス物体の大きさには依存しないパラメーターであり、角度４３を除いてリファレンス物体の回転角度には依存しないパラメーターである。

図１の説明に戻り、モデルデータ記録部１５は、モデルデータ作成部１４で作成されたモデルデータ４０を記録する読出し可能な記録装置である。

第１物体検出部１６は、二値化部１３で二値化された被検査対象物体の二値化画像データにより定められる二等辺三角形モデルと、モデルデータ記録部１５に記録されたモデルデータ４０とに基づき投票処理を行うことによって、被検査対象物体がリファレンス物体の相似形であると推定された場合に、その二値化画像データの画像から被検査対象物体を認識するものである。

第２物体検出部１７は、第１物体検出部１６における物体認識処理に加えてさらに詳細な（精度の高い）認識を行いたい場合に用いる物体認識処理部である。よって、第２物体検出部１７は、物体認識装置１の使用目的、求める検出精度、コスト等の種々の条件に応じて追加／省略してもよい構成である。第２物体検出部１７は、公知の物体認識手法を用いて実現するものであるため、本実施形態においてはその構成及び動作の説明を省略する。

検出結果出力部１８は、第１及び第２物体検出部１６，１７、又は第１物体検出部１６のみで認識された被検査対象物体の検出結果を出力する。検出結果は、被検査対象物体の特徴点群を色づけしたり輝度を高くしたりして見やすくして表示させる。また、それとともに、認識された被検査対象物体の位置、姿勢、スケーリングに係る情報を表示させてもよい。

次に、本実施形態である物体認識装置の動作について、モデルデータの作成処理と物体認識処理とに分けて説明する。

［モデルデータの作成処理］
図５に、物体認識装置１の、モデルデータの作成処理についてのフローチャートを示す。モデルデータの作成対象であるリファレンス物体を撮像した撮像装置から撮像画像データが画像データ入力部１１に入力されると、その撮像画像データは特徴点抽出部１２に供給される（Ｓ５０１）。次に、特徴点抽出部１２は、撮像画像データのうち輝度データにラプラシアン・フィルター処理やモラベック・オペレーター処理等の画像処理を行って、リファレンス物体の形状部分を特徴点群として抽出する（Ｓ５０２）。次に、二値化部１３は、特徴点群の表された画像データに二値化処理を行って二値化画像データを生成し記憶部に記憶させる（Ｓ５０３）。

次に、モデルデータ作成部１４は、二値化画像データの二値化画像で表されるリファレンス物体の二次元平面における重心又は重心付近の任意の位置に基準点（基準点Ｒ）を設定したうえで、特徴点の画素を取得するまで、記憶部に記憶された二値化画像データから画素を読み出す（Ｓ５０４−Ｓ５０６）。読み出した画素が特徴点の画素であるか否かの判定は、画素の輝度値を判定することにより行う。なお、二値化画像データの全ての画素を読み出した場合は、モデルデータの作成処理を終了する（Ｓ５０４ ＹＥＳ）。

モデルデータ作成部１４は、記憶部から読み出した画素が特徴点の画素であると判定した場合（Ｓ５０６ ＹＥＳ）、図３に示すように、その特徴点（特徴点Ｐ）の画素位置を中心とする半径（距離）ｒの円Ｃを設定し、特徴点Ｐから距離ｒの地点に２つの特徴点（特徴点Ｑ，Ｓ）が見つかるまで、距離ｒを１画素相当の距離から予め設定した距離の最大値まで順次大きくしていく（Ｓ５０７−Ｓ５０９）。

特徴点Ｑ，Ｓが見つかった場合（Ｓ５０９ ＹＥＳ）、モデルデータ作成部１４は、図３に示すように線分ＱＳの線長ａと、線分ＰＲの線長ｄとを求める。そして、特徴点Ｐ，Ｑ，Ｓにおけるリファレンス物体の単位法線ベクトルであるベクトルα，β，γと、特徴点Ｐにおける基準点Ｒ方向の単位ベクトルであるベクトルζとを求め、ベクトルα，β，γ，ζの所定の基準線、例えば画像の水平線軸からの各角度である角度Θα，角度Θβ，角度Θγ，角度Θζを求める。

そして、モデルデータ作成部１４は、図４に示すように、辺長４２＝線長ｒと、角度４３＝角度Θαと、第１辺長比４４ａ＝線長ａ／線長ｒと、第２辺長比４４ｂ＝線長ｄ／線長ｒと、第１角度差４５ａ＝角度Θβ−角度Θαと、第２角度差４５ｂ＝角度Θγ−角度Θαと、第３角度差４５ｃ＝角度Θζ−角度Θαとの各パラメーターを求めて、特徴点番号４１に関連づけてモデルデータ４０に登録し、モデルデータ記録部１５に記録してステップＳ５０７の処理に移行する（Ｓ５１０→Ｓ５０７）。なお、特徴点番号４１は、同一の特徴点Ｐにつき同一の番号を付与する。また、同図において空欄の箇所は、データの記載が省略されたものである。

なお、ステップＳ５０７の処理においては、距離ｒを最大値まで大きくして処理を完了した場合は、ステップＳ５０４の処理に戻り、未処理の二値化画像データがある場合は（Ｓ５０４ ＮＯ）、記憶部から新たな二値化画像データの画素を読み出す（Ｓ５０７ ＹＥＳ→Ｓ５０４ ＮＯ→Ｓ５０５）。

［物体認識処理］
物体認識装置１の物体認識処理の概要は次のとおりである。物体認識装置１は、被検査対象物体の形状を表す特徴点群の中から選択された３つの特徴点によって形成される二等辺三角形モデルと、モデルデータ記録部１５に記録されたリファレンス物体のモデルデータとに基づいて相似形であるか否かの評価を行い、被検査対象物体がリファレンス物体の相似形である可能性が高いと推定される場合に投票処理を行う。そして、物体認識装置１は、全ての特徴点群について形成される多数の二等辺三角形モデルそれぞれについての評価と投票処理を行い、最終的に分布の集中する位置にリファレンス物体と相似形である被検査対象物体があると判定することによって物体を認識する。

物体検査装置１の処理における特徴的な手順を含む投票処理について説明する。図６に、物体認識装置１の、被検査対象物体を検出するための投票処理についてのフローチャートを示す。この投票処理においても、画像データ入力部１１による画像データ入力処理と、特徴点抽出部１２による特徴点抽出処理と、二値化部１３による二値化処理とが実行されるが、これらの処理は上述したモデルデータの作成処理におけるステップＳ５０１−Ｓ５０３の処理と同様の処理であるため、ここではこれらの説明を省略する。

第１物体検出部１６は、二値化部１３の記憶部に記憶された被検査対象物体の二値化画像データについて、未処理の特徴点に相当する二値化画素（特徴点画素）のうち任意の特徴点画素を選択する（Ｓ６０１ ＮＯ→Ｓ６０２）。なお、第１物体検出部１６は、全ての特徴点画素についての処理を完了した場合は、投票処理を終了する（Ｓ６０１ ＹＥＳ）。

第１物体検出部１６は、任意の特徴点画素を選択すると（Ｓ６０２）、図７に示すように、選択した特徴点画素（特徴点Ｐ）の位置を中心とする半径（距離）ｒの円Ｃを設定し、特徴点Ｐから距離ｒの地点に２つの特徴点（特徴点Ｑ，Ｓ）が見つかるまで、距離ｒを１画素相当の距離から予め設定した距離の最大値まで順次大きくしていく（Ｓ６０３−Ｓ６０６）。

特徴点Ｑ，Ｓが見つかった場合（Ｓ６０６ ＹＥＳ）、第１物体検出部１６は、図７に示すように線分ＱＳの線長ａを求める。そして、特徴点Ｐ，Ｑ，Ｓにおける被検査対象物体の単位法線ベクトルであるベクトルα，β，γを求め、ベクトルα，β，γの所定の基準線、例えば画像の水平線軸からの各角度である角度Θα，角度Θβ，角度Θγを求める。さらに、第１物体検出部１６は、図４に示すモデルデータ４０の各パラメーターと同じ計算式により、辺長＝線長ｒと、角度＝角度Θαと、第１辺長比＝線長ａ／線長ｒと、第１角度差＝角度Θβ−角度Θαと、第２角度差＝角度Θγ−角度Θαとの各パラメーターを求める。

そして、第１物体検出部１６は、モデルデータ記録部１５に記録されたモデルデータ４０の第１辺長比４４ａの中に、上記求めた第１辺長比と同一のデータがあるか否かを調べる（Ｓ６０７ ＮＯ→Ｓ６０８）。そして、一致するデータがあった場合（Ｓ６０８ ＹＥＳ）、上記求めた第１角度差及び第２角度差が、モデルデータ４０の当該第１辺長比４４ａに対応する第１角度差４５ａ及び第２角度差４５ｂと、予め設定された所定の誤差範囲内において一致するか否かを調べる（Ｓ６０９）。

第１辺長比、並びに第１及び第２角度差の一致するパラメーターがモデルデータ４０から検索された場合（Ｓ６０９ ＹＥＳ）、第１物体検出部１６は、上記求めた辺長＝線長ｒとモデルデータ４０から検索されたパラメーターの中の辺長４２の値との比からスケーリング値候補を計算する。そして、上記求めた角度Θαと検索されたパラメーターの中の角度４３との角度差から回転角度候補を計算する。そして、上記求めた角度Θαと検索されたパラメーターの中の第３角度差４５ｃとから角度Θζを計算し、先に計算したスケーリング値を考慮して基準点候補の座標値を計算する（Ｓ６１０）。

次に、第１物体検出部１６は、ステップＳ６１０の処理で計算した基準点候補の座標値に投票を行ってステップＳ６０７の処理に戻る（Ｓ６１１）。

なお、ステップＳ６０３の処理においては、距離ｒを最大値まで大きくして処理を完了した場合は、ステップＳ６０１の処理に戻り、未処理の特徴点画素がある場合は（Ｓ６０１ ＮＯ）、記憶部から新たな二値化画像データの特徴点画素を読み出す（Ｓ６０３ ＹＥＳ→Ｓ６０１ ＮＯ→Ｓ６０２）。

第１物体検出部１６は、投票処理を終了すると、投票結果を集計して基準点候補のピーク座標値を抽出する。そして、そのピーク座標値と同一の座標値である基準点候補の座標値に対応するスケーリング値と回転角度を抽出する。これにより、第１物体検出部１６は、リファレンス物体の相似形の物体が、ピーク座標の座標位置値にスケーリング値及び回転角度で位置していることを検出する。

二値化部１３で二値化処理された被検査対象物体の二値化画像データと、第１物体検出部１６で検出された、ピーク座標値、スケーリング値、及び回転角度とは、第２物体検出部１７に供給される。前述したとおり、第２物体検出部１７の動作説明は省略し、第１物体検出部１６から供給された各種情報が検出結果出力部１８に供給されたものとして以下を説明する。

検出結果出力部１８では、供給された被検査対象物体の二値化画像データと、第１物体検出部１６で検出された、ピーク座標値、スケーリング値、及び回転角度とに基づいて、二値化画像データで表される画像のうち、検出された被検査対象物体の特徴点群を色づけしたり輝度を高くしたりして視覚的に強調し表示する。

以上の説明でも明らかなように、本実施形態である物体認識装置１によれば、二等辺三角形の辺上に基準点を設ける必要がないため、図８のように被検査対象物体Ｗの一部分が基準点Ｒを含めて遮蔽物８０によって遮蔽されたとしても、遮蔽されていない部分で形成される二等辺三角形モデルを用いてモデルデータとの比較評価を行って、位置、姿勢、スケーリング値を求め、投票処理を行うことができる。したがって、本実施形態である物体認識装置１は、被検査対象物体の遮蔽に対するロバスト性が極めて高いものである。

なお、上述した実施形態である物体認識装置の一部、例えば、モデルデータ作成部及び第１物体検出部の機能をコンピューターで実現するようにしてもよい。この場合、その制御機能を実現するためのモデルデータ作成用プログラム及び物体認識用プログラムをコンピューター読み取り可能な記録媒体に記録して、この記録媒体に記録された各プログラムをコンピューターシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピューターシステム」とは、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や周辺機器のハードウェアを含むものとする。また、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、光ディスク、メモリカード等の可搬型記録媒体、コンピューターシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピューター読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバーやクライアントとなるコンピューターシステム内部の揮発性メモリのように、一定時間プログラムを保持するものを含んでもよい。また上記のプログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピューターシステムにすでに記録されているプログラムとの組み合わせにより実現するものであってもよい。

以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計等も含まれる。

１ 物体認識装置
１１ 画像データ入力部
１２ 特徴点抽出部
１３ 二値化部
１４ モデルデータ作成部
１５ モデルデータ記録部
１６ 第１物体検出部
１７ 第２物体検出部
１８ 検出結果出力部

Claims (8)

1. リファレンス物体の形状を複数の特徴点で表した基準画像に基づきモデルデータを作成するモデルデータ作成装置において、
   前記基準画像内に基準点を設定する設定手段と、
   前記複数の特徴点のうちいずれか３つの特徴点が頂点となる二等辺三角形モデルを設定し、その二等辺三角形モデルと前記基準点とに基づいて、前記リファレンス物体の角度、スケーリング、及び位置の属性を有したモデルデータを作成する作成手段と、
   を備えたことを特徴とするモデルデータ作成装置。
2. 前記作成手段は、
   前記設定した二等辺三角形モデルの各頂点における前記リファレンス物体の形状に対する法線方向の勾配と、頂角部分の頂点から前記基準点への方向の勾配と、前記二等辺三角形モデルの二等辺である辺の距離と、前記二等辺に挟まれた底辺の距離と、前記頂角部分の頂点から前記基準点までの距離とに基づき前記モデルデータを作成する
   ことを特徴とする請求項１記載のモデルデータ作成装置。
3. リファレンス物体の形状を複数の特徴点で表した基準画像に基づきモデルデータを作成するモデルデータ作成方法において、
   前記基準画像内に基準点を設定する設定ステップと、
   前記複数の特徴点のうちいずれか３つの特徴点が頂点となる二等辺三角形モデルを設定し、その二等辺三角形モデルと前記基準点とに基づいて、前記リファレンス物体の角度、スケーリング、及び位置の属性を有したモデルデータを作成する作成ステップと、
   を有したことを特徴とするモデルデータ作成方法。
4. 前記作成ステップは、
   前記設定した二等辺三角形モデルの各頂点における前記リファレンス物体の形状に対する法線方向の勾配と、頂角部分の頂点から前記基準点への方向の勾配と、前記二等辺三角形モデルの二等辺である辺の距離と、前記二等辺に挟まれた底辺の距離と、前記頂角部分の頂点から前記基準点までの距離とに基づき前記モデルデータを作成する
   ことを特徴とする請求項３記載のモデルデータ作成方法。
5. リファレンス物体のモデルデータを用いて、被検査対象物体の検索対象画像から物体認識を行う物体認識装置において、
   前記モデルデータは、
   前記リファレンス物体の形状を複数の第１特徴点で表した基準画像内に設けられた基準点と、前記複数の第１特徴点のうちいずれか３つの第１特徴点が頂点となる第１二等辺三角形モデルとに基づいた、前記リファレンス物体の角度、スケーリング、及び位置の属性を有したパラメーターを登録したものであり、
   前記検索対象画像から、前記被検査対象物体の形状を表す複数の第２特徴点を抽出する抽出手段と、
   前記複数の第２特徴点のうちいずれか３つの第２特徴点が頂点となる第２二等辺三角形モデルを設定し、前記モデルデータの中から前記第２二等辺三角形モデルの相似形である二等辺三角形モデルに対応したパラメーターを検索する検索手段と、
   前記検索されたパラメーターに基づいて、前記被検査対象物体の角度、スケーリング、及び位置を計算する計算手段と、
   前記計算手段の計算結果に基づいて、前記検索対象画像から前記被検査対象物体を認識する認識手段と、
   を備えたことを特徴とする物体認識装置。
6. 前記モデルデータは、
   前記リファレンス物体の形状を複数の第１特徴点で表した基準画像内に設けられた基準点と、前記複数の第１特徴点のうちいずれか３つの第１特徴点が頂点となる第１二等辺三角形モデルとに基づいて、前記第１二等辺三角形モデルの各頂点における前記リファレンス物体の形状に対する法線方向の勾配と、頂角部分の頂点から前記基準点への方向の勾配と、前記第１二等辺三角形モデルの二等辺である辺の距離と、前記二等辺に挟まれた底辺の距離と、前記頂角部分の頂点から前記基準点までの距離とに基づいた、前記リファレンス物体の角度、スケーリング、及び位置の属性を有したパラメーターを登録したものであり、
   前記検索手段は、
   前記設定した第２二等辺三角形モデルの各頂点における前記被検査対象物体の形状に対する法線方向の勾配と、前記第２二等辺三角形モデルの二等辺である辺の距離と、前記二等辺に挟まれた底辺の距離とに基づいて、前記モデルデータの中から前記第２二等辺三角形モデルの相似形である二等辺三角形モデルに対応したパラメーターを検出する
   ことを特徴とする請求項５記載の物体認識装置。
7. リファレンス物体のモデルデータを用いて、被検査対象物体の検索対象画像から物体認識を行う物体認識方法において、
   前記モデルデータは、
   前記リファレンス物体の形状を複数の第１特徴点で表した基準画像内に設けられた基準点と、前記複数の第１特徴点のうちいずれか３つの第１特徴点が頂点となる第１二等辺三角形モデルとに基づいた、前記リファレンス物体の角度、スケーリング、及び位置の属性を有したパラメーターを登録したものであり、
   前記検索対象画像から、前記被検査対象物体の形状を表す複数の第２特徴点を抽出する抽出ステップと、
   前記複数の第２特徴点のうちいずれか３つの第２特徴点が頂点となる第２二等辺三角形モデルを設定し、前記モデルデータの中から前記第２二等辺三角形モデルの相似形である二等辺三角形モデルに対応したパラメーターを検索する検索ステップと、
   前記検索されたパラメーターに基づいて、前記被検査対象物体の角度、スケーリング、及び位置を計算する計算ステップと、
   前記計算手段の計算結果に基づいて、前記検索対象画像から前記被検査対象物体を認識する認識ステップと、
   を有したことを特徴とする物体認識方法。
8. 前記モデルデータは、
   前記リファレンス物体の形状を複数の第１特徴点で表した基準画像内に設けられた基準点と、前記複数の第１特徴点のうちいずれか３つの第１特徴点が頂点となる第１二等辺三角形モデルとに基づいて、前記第１二等辺三角形モデルの各頂点における前記リファレンス物体の形状に対する法線方向の勾配と、頂角部分の頂点から前記基準点への方向の勾配と、前記第１二等辺三角形モデルの二等辺である辺の距離と、前記二等辺に挟まれた底辺の距離と、前記頂角部分の頂点から前記基準点までの距離とに基づいた、前記リファレンス物体の角度、スケーリング、及び位置の属性を有したパラメーターを登録したものであり、
   前記検索ステップは、
   前記設定した第２二等辺三角形モデルの各頂点における前記被検査対象物体の形状に対する法線方向の勾配と、前記第２二等辺三角形モデルの二等辺である辺の距離と、前記二等辺に挟まれた底辺の距離とに基づいて、前記モデルデータの中から前記第２二等辺三角形モデルの相似形である二等辺三角形モデルに対応したパラメーターを検出する
   ことを特徴とする請求項７記載の物体認識方法。

Images