JP2011002919A - 物体検出方法、物体検出装置 - Google Patents

Abstract

【課題】直線成分に囲まれた計測物であっても、ノイズの影響を受けにくい物体検出方法、物体検出装置を提供することを目的としている。
【解決手段】物体検出装置は、ステージ１０、カメラ１１、物体検出制御・処理ユニット１２、画像表示装置１３、制御部１０１、画像データ取り込み部１０２、特徴点抽出部１０３、二値化部１０４、基準点算出部１０５、ベクトル検出部１０６、濃度勾配検出部１０７、モデルデータ登録部１０８、Ｒテーブル記憶部１０９、重み付け係数生成部１１０、Ｒテーブル読み出し部１１１、平行移動ベクトル演算部１１２、投票部１１３、投票結果記憶部１１４、基準点座標・回転角度検出部１１５、画像出力部１１６から構成されている。
【選択図】図２

Description

本発明は、物体検出方法、物体検出装置に関する。

物体検出方法として、「直線」、「円」を検出するハフ変換、任意の形状を検出する一般化ハフ変換、正規化相関によるテンプレート・マッチングなどが知られている。これらの方法の中でも、任意の形状を検出できる一般化ハフ変換は、道路標識の認識や、文字認識、部品識別など適用範囲が非常に広い。一般化ハフ変換では、検出対象となる物体の画像をモデル画像として、物体検出装置に登録する。モデル画像の情報を登録後、被測定物の計測を行い、一般ハフ変換の手法を用いて被測定物の種別の識別や位置や回転角度を検出する。図１２〜１５を用いて、一般化ハフ変換を用いた物体検出装置による被測定物の計測方法の概要を説明する。

図１２は、一般化ハフ変換で使用するモデル画像およびモデル画像の登録情報を示す図である。図１２において、モデル画像３００は、モデル３０１をカメラで撮影した画像である。また、法線ベクトル３０２は、モデル３０１の後述する特徴点における法線ベクトルであり、ベクトル３０３は、特徴点からモデル３０１の基準点に向かうベクトルである。物体検出装置が、撮影されたモデル画像３００を入力画像として、画像処理を行い、モデル３０１上のエッジなどの特徴点を抽出する。次に、モデル３０１の基準点Ｇ（Ｇ_ｘ，Ｇ_ｙ）を決定する。基準点Ｇ（Ｇ_ｘ，Ｇ_ｙ）は、任意の位置でも良いが、特徴点の位置から一意に算出される点が望ましく、モデル３０１の重心が一般的に使用されている。

次に、抽出された複数あるいはすべての特徴点について、ＳｏｂｅｌフィルターやＲｏｂｅｒｔｓフィルターなどを用いた画像処理により、濃度勾配を求める。濃度勾配の方向とｘ軸のなす角をΦ_ｉとする。

次に、抽出された複数あるいはすべての特徴点Ｍ_ｉ（Ｘ_ｉ，Ｙ_ｉ）に対して、特徴点Ｍ_ｉから基準点Ｇへのベクトルｖ_ｉ３０３とｘ軸とのなす角α_ｉ、および特徴点Ｍ_ｉから基準点Ｇへのベクトルｖ_ｉ３０３との距離ｒ_ｉで表す。以上のようにして求められた各特徴点Ｍ_ｉの濃度勾配の方向Φ_ｉと、各特徴点Ｍ_ｉから基準点Ｇへのベクトルｖ_ｉ３０３とｘ軸のなす角α_ｉと距離ｒ_ｉを、図１３のように、モデル画像情報として登録する。これを一般には、Ｒテーブルという。

次に、図１４のように、被測定物３１１の画像をカメラで撮影して、被測定物を含めた検出画像３１０を物体検出装置が取得する。そして、取得された検出画像３１０に対して、同様に、画像処理を行い、特徴点Ｅ_ｉ（Ｘ_ｉ，Ｙ_ｉ）を抽出する。

次に、抽出された複数あるいはすべての特徴点Ｅ_ｉについて、ＳｏｂｅｌフィルターやＲｏｂｅｒｔｓフィルターなどを用いた画像処理により、各特徴点の濃度勾配の方向Φ_ｉを求める。

次に、登録されたモデル３０１と被測定物３１１との対応を行う。説明を簡略するために、モデル３０１と被測定物３１１の取り込まれた画像における拡大率を１とする。登録されたモデル３０１と被測定物３１１が同一の物体である場合、モデル３０１の各特徴点Ｍ_ｉと被測定物３１１の各特徴点Ｅ_ｉとの対応関係は、基準点Ｇの座標がＨに移動していて、さらに角度θ_ａｎｓだけ回転したものになる。被測定物３１１の各特徴点Ｅ_ｉとモデル３０１の各特徴点Ｍ_ｉの対応、および回転角度θ_ａｎｓは自明ではないため、例えば被測定物３１１の特徴点Ｅ_ｉがモデル３０１の特徴点Ｍ_ｉ、回転角度θであると仮に対応させて、図１３の登録されたＲテーブルから、Φ_ｉ‐θに対応する座標値（ｒ（Φ_ｉ‐θ），α（Φ_ｉ‐θ））を取り出す。次に、回転角度θに対応する平行移動ベクトル（ｕ，ｖ）を、以下の式（１）と（２）から求める。
ｕ＝Ｘ_ｊ＋ｒ（Φ_ｊ―θ）×ｃｏｓ（α（Φ_ｊ―θ）＋θ）・・・式（１）
ｖ＝Ｙ_ｊ＋ｒ（Φ_ｊ―θ）×ｓｉｎ（α（Φ_ｊ―θ）＋θ）・・・式（２）
そして、（ｕ，ｖ，θ）の組が算出される毎に、この組合せで表現されるパラメーター空間内の領域に１票を投票する。図１５は投票された結果の例を示す図である。回転角度Δθごとに投票がおこなわれ、回転角度θ_ａｎｓの仮定がもっとも正しいものについて、投票空間での基準点Ｈへの投票数が図１５（ｅ）のように多くなる。被測定物３１１の特徴点に関する投票が終了後、パラメーター空間での閾値を設定して、もっとも投票が多かった座標を抽出して、被測定物３１１の基準点Ｈの座標と回転角度θ_ａｎｓを求める。これらの手続きにより、被測定物３１１の種別の識別と位置と回転角度θ_ａｎｓを検出することができる（例えば、非特許文献１参照）。

また、従来の一般化ハフ変換を用いた物体検出方法として、被測定物３１１を含む検出画像３１０において、被測定物３１１の特徴点にノイズが含まれている場合もある。この場合、一般化ハフ変換を行うとノイズに対しても投票が行われてしまうため、ノイズの影響を受けにくくするため、モデル３０１のモデル画像情報をＲテーブルに登録した後、登録された情報が基準点を抽出するために適切か否か検証し、さらに適切でない場合は、特徴点の検出閾値を変更して再検出を行いＲテーブルの登録を行う。このようにして、Ｒテーブルを最適化することで、ノイズの影響を受けにくい精度の高い投票処理方法が提案されている（例えば、特許文献１参照）。

特許第４０４２７８０号公報

安居院猛、中嶋正之、「画像情報処理」、森北出版、１９９１年２月２５日、ｐ１１７−１１８

特許文献１に示されている従来例では、非特許文献１に示されているような一般的ハフ変換を用いているため、例えば直線部分の多い形状の被測定物では、直線部分の特徴点の濃度勾配の方向Φ_ｉが同一の角度のものが多くなり、Ｒテーブル作成時に、同一の濃度勾配の方向Φ_ｉを持つ形状記述の数が非常に多くなる場合もある。このようなＲテーブルを用いて一般化ハフ変換の投票を行った場合、被測定物の直線部分に平行な投票点が多数分布することになる。逆に、その被測定物を特定する上で必要な部分、例えばコーナーや変曲点などは、モデル形状記述の数が少なくなる場合もある。このように、直線部分が多い形状の被測定物においては、特徴のある部分の投票が、他の直線部分の多数の投票やノイズに埋もれてしまう場合もあり、被測定物の種別の識別と位置と回転角度の検出の精度が悪い場合があるという課題があった。

本発明は、上記の問題点に鑑みてなされたものであって、直線部分が多い被測定物においても、特徴のある部分の投票が、他の直線部分の多数の投票で埋もれず、被測定物の種別の識別と位置と回転角度の検出を精度良く行える物体検出方法、物体検出装置を提供することを目的としている。

上記目的を達成するため、本発明は、対象物のモデルを含むモデル画像の基準点と基準方向を任意に設定し、
前記モデル画像を用いて、前記モデルの特徴を表現する複数の特徴点を抽出し、
前記基準方向に対する前記モデル画像の各特徴点の明るさの方向Φｉと、前記各特徴点から前記基準点への距離Ｒ（Φｉ）と前記基準方向に対する角度α（Φｉ）を算出して、算出された距離Ｒ（Φｉ）と角度α（Φｉ）値を用いて、前記各特徴点の明るさの方向Φｉに対する座標（ｒ（Φｉ），α（Φｉ））の対応をテーブルに登録し、
対象物を含む入力画像を用いて、前記対象物の輪郭を構成する複数の特徴点を抽出し、
前記基準方向に対する前記入力画像の各特徴点の座標と明るさの方向Φｉを算出して、
前記入力画像の明るさの方向Φｉについて、前記基準方向を所定角度θずつ変化させて生成した方向値Φｉ−θを前記テーブルから抽出した前記入力画像の各特徴点の座標候補を、設定した角度θごとに投票空間に投票し、投票数から前記被測定物の位置および角度θを検出する一般化ハフ変換を用いた物体検出方法において、
前記テーブルに登録された前記各明るさの方向Φｉごとの座標（ｒ（Φｉ），α（Φｉ））数をカウントする形状記述情報数カウント工程と、
前記形状記述情報数カウント工程でカウントされた前記各明るさの方向Φｉごとの座標（ｒ（Φｉ），α（Φｉ））数を用いて、投票空間に投票する票数に対する重み付け係数を生成する重み付け係数生成工程と、
前記入力画像の明るさの方向Φｉについて、前記基準方向を所定角度θずつ変化させ生成した方向値Φｉ−θを前記テーブルから抽出した前記入力画像の各特徴点の座標候補を、前記重み付け係数生成工程で生成された重み付け係数を用いて前記投票空間に投票する投票工程と、
前記投票工程で座標候補ごとに投票された前記投票数を累計して記憶する基準点候補記憶工程と、
前記基準点候補記憶工程で記憶された前記投票数から、最大値もしくは所定の閾値を超える座標候補、および、角度θを、前記被測定物の基準点、および、前記モデル画像に対する前記被測定物の回転角度として検出する基準点座標検出工程と、
を備えることを特徴としている。

また、本発明は、前記重み付け係数生成工程は、前記対象物の形状に最適化された前記特徴点ごとの重み付け係数を生成することを特徴としている。

さらにまた、本発明は、前記計測される対象物は、直線成分に囲まれた対象物であることを特徴としている。

さらにまた、本発明は、対象物のモデルを含むモデル画像の基準点と基準方向を任意に設定し、
前記モデル画像を用いて、前記モデルの特徴を表現する複数の特徴点を抽出し、
前記基準方向に対する前記モデル画像の各特徴点の明るさの方向Φｉと、前記各特徴点から前記基準点への距離Ｒ（Φｉ）と前記基準方向に対する角度α（Φｉ）を算出して、算出された距離Ｒ（Φｉ）と角度α（Φｉ）値を用いて、前記各特徴点の明るさの方向Φｉに対する座標（ｒ（Φｉ），α（Φｉ））の対応をテーブルに登録し、
対象物を含む入力画像を用いて、前記対象物の輪郭を構成する複数の特徴点を抽出し、
前記基準方向に対する前記入力画像の各特徴点の座標と明るさの方向Φｉを算出して、
前記入力画像の明るさの方向Φｉについて、前記基準方向を所定角度θずつ変化させて生成した方向値Φｉ−θを前記テーブルから抽出した前記入力画像の各特徴点の座標候補を、設定した角度θごとに投票空間に投票し、投票数から前記被測定物の位置および角度θを検出する一般化ハフ変換を用いた物体検出装置において、
前記テーブルに登録された前記各明るさの方向Φｉごとの座標（ｒ（Φｉ），α（Φｉ））数をカウントする形状記述情報数カウント部と、
前記形状記述情報数カウント部でカウントされた前記各明るさの方向Φｉごとの座標（ｒ（Φｉ），α（Φｉ））数を用いて、投票空間に投票する票数に対する重み付け係数を生成する重み付け係数生成部と、
前記入力画像の明るさの方向Φｉについて、前記基準方向を所定角度θずつ変化させ生成した方向値Φｉ−θを前記テーブルから抽出した前記入力画像の各特徴点の座標候補を、前記重み付け係数生成部で生成された重み付け係数を用いて前記投票空間に投票する投票部と、
前記投票部で座標候補ごとに投票された前記投票数を累計して記憶する基準点候補記憶部と、
前記基準点候補記憶部で記憶された前記投票数から、最大値もしくは所定の閾値を超える座標候補、および、角度θを、前記被測定物の基準点、および、前記モデル画像に対する前記被測定物の回転角度として検出する基準点座標検出部と、
を備えることを特徴としている。

本発明によれば、一般化ハフ変換におけるＲテーブルにおいて、投票数に重み付けを行った上で、基準点抽出の投票を行うようにしたので、直線部分が多い被測定物においても、特徴のある部分の投票が他の直線部分の多数の投票で埋もれず、被測定物の種別の識別と位置と回転角度の検出を精度良く行える物体検出方法、物体検出装置を提供することが可能になる。

本発明の実施形態に係る物体検出装置のシステム全体の一例を示す概略図である。 同実施形態に係る物体検出装置の構成の一例を示すブロック図である。 同実施形態に係る検出手順のフローチャートである。 同実施形態に係るモデル登録のフローチャートである。 同実施形態に係るモデル画像と入力画像の一例である。 同実施形態に係る特徴点の一例を示す図である。 同実施形態に係るモデルの各特徴点Ｍ_ｉから基準点への各ベクトルの距離ｒ_ｉと、各ベクトルのｘ軸とのなす角α_ｉの検出例の図である。 同実施形態に係るモデルの各特徴点Ｍ_ｉの濃度勾配の方向Φ_ｉの検出例の図である。 同実施形態に係るモデルの各特徴点における基準点に向かうベクトルを、同じ値の濃度勾配の方向ごとに分類した図である。 同実施形態に係るモデルに関してＲテーブル記憶部に記憶されている情報の一例を説明する図である。 同実施形態に係るモデルに対して被測定物が９０度回転している場合、回転角度θ＝０度と９０度の場合の投票結果の例について説明する図である。 一般化ハフ変換で使用するモデル画像および登録情報を示す図である。 モデル登録テーブル（Ｒテーブル）の構成例を示す説明図である。 被測定物の入力画像およびＲテーブルに登録される情報を示す図である。 一般化ハフ変換における投票結果の例を示す図である。

以下、本発明の実施形態について、図１〜１１を用いて説明する。なお、本発明は係る実施形態に限定されず、その技術思想の範囲内で種々の変更が可能である。

図１は、本実施形態における物体検出装置のシステム全体の一例を示す概略図である。物体検出装置は、ステージ１０、カメラ１１、物体検出制御・処理ユニット１２、画像表示装置１３から構成されている。

被測定物１は、本発明の物体検出装置で計測される被測定物の例である。また、モデル２０１は、本発明の物体検出装置で被測定物の計測を行うために使用される被測定物１のモデルの例であり、予め後述する方法でモデルに関する情報を抽出して登録するために使用される。図５は、被測定物１を含む入力画像１００と、モデル２０１を含むモデル画像２００の一例である。図５のように、本実施形態では、直線成分で囲まれているモデル２０１および被測定物１について説明を行う。

ステージ１０は、計測時に被測定物１を上に置き、または、回転角度が既知のモデル登録時にモデル２０１を上に置き使用される。

カメラ１１は、例えば受光レンズとＣＣＤカメラ等で構成され、物体検出制御・処理ユニット１２からの撮影タイミング制御により、ステージ１０上の被測定物１もしくはモデル２０１の画像を撮影し、撮影した画像データを物体検出制御・処理ユニット１２に送信する。

物体検出制御・処理ユニット１２は、カメラ１１の制御を行う。また、物体検出制御・処理ユニット１２は、カメラ１１から撮影された画像データを受信し、受信した画像データを取り込む。また、物体検出制御・処理ユニット１２は、取り込んだ画像データに対して、回転角度が既知の物体に対して、輪郭検出、特徴点検出、基準点検出、特徴点から基準点に向かうベクトル検出、Ｒテーブル登録、重み付け係数生成によるモデル登録を行う。また、物体検出制御・処理ユニット１２は、被測定物１に対して、特徴点検出、投票、投票結果のピーク検出により被測定物１の位置と回転角度の検出を行い、検出結果を画像表示装置１３に出力する。

画像表示装置１３は、物体検出制御・処理ユニット１２から生成された表示用の画像が入力され、入力された画像を表示する。

次に、物体検出制御・処理ユニット１２の内部構成の例を、図２の本実施形態における物体検出装置の構成の一例を示すブロック図を用いて説明する。物体検出制御・処理ユニット１２は、制御部１０１、画像データ取り込み部１０２、特徴点抽出部１０３、二値化部１０４、基準点算出部１０５、ベクトル検出部１０６、濃度勾配検出部１０７、モデルデータ登録部１０８、Ｒテーブル記憶部１０９、重み付け係数生成部１１０、Ｒテーブル読み出し部１１１、平行移動ベクトル演算部１１２、投票部１１３、投票結果記憶部１１４、基準点座標・回転角度検出部１１５、画像出力部１１６から構成されている。

制御部１０１は、カメラ１１の撮影角度、位置、モデル２０１もしくは被測定物１との距離の制御を行う。

画像データ取り込み部１０２は、カメラ１１により撮影されたモデル２０１のモデル画像２００もしくは被測定物１の入力画像１００を取り込み、特徴点抽出部１０３に出力する。

特徴点抽出部１０３は、入力されたモデル画像２００もしくは入力画像１００にＬａｐｌａｃｉａｎフィルター等を用いて画像処理を行い、モデル２０１または被測定物１の特徴点を抽出する。また、特徴点抽出部１０３は、画像処理により抽出された複数あるいはすべての特徴点に関して特徴点近傍の輝度情報等を含む特徴点情報を二値化部１０４と濃度勾配検出部１０７に出力する。

二値化部１０４は、特徴点抽出部１０３から抽出されたモデル２０１または被測定物１の特徴点情報が入力される。また、二値化部１０４は、受け取った特徴点情報の二値化を行う。また、二値化部１０４は、二値化された値を用いて、各特徴点の座標Ｍ_ｉ（Ｘ_ｉ，Ｙ_ｉ）を検出し、二値化された各特徴点情報を基準点算出部１０５に出力する。二値化における閾値は、画像を二値化する際に一般的に使用されている閾値選択方法により選択されたものを用いる。図６は、特徴点の一例を示す図である。図６において、Ｍ_１〜Ｍ_１５は特徴点である。本実施形態では説明を簡略化するために、特徴点が１５箇所検出されたとして、以下に説明を行う。

基準点算出部１０５は、二値化部１０４からモデル２０１または被測定物１の二値化された特徴点情報が入力される。また、基準点算出部１０５は、受け取った特徴点情報のうちモデル２０１の特徴点情報を用いて、モデル２０１の基準点、例えば重心の座標を一般的な重心算出方法を用いて算出する。また、基準点算出部１０５は、算出された基準点の座標と二値化部１０４から受け取った特徴点情報をベクトル検出部１０６に出力する。図６において、基準点Ｇは、モデル２０１の基準点である重心である。

ベクトル検出部１０６は、モデル２０１の算出された基準点情報と特徴点情報が基準点算出部１０５から入力される。また、ベクトル検出部１０６は、受け取ったモデル２０１の基準点情報と特徴点情報を用いて、各特徴点Ｍ_ｉ（ｉ＝１〜１５）から基準点Ｇに向かうベクトルについて、各ベクトルの距離ｒ_ｉと、各ベクトルの任意に決めた基準方向として、例えばｘ軸との各なす角α_ｉを検出する。また、ベクトル検出部１０６は、検出された各特徴点Ｍ_ｉから基準点Ｇに向かう各ベクトルの距離ｒ_ｉと、各ベクトルのｘ軸との各なす角α_ｉを、モデルデータ登録部１０８に出力する。図７は、モデル２０１の各特徴点Ｍ_ｉから基準点Ｇへ向かう各ベクトルの距離ｒ_ｉと、各ベクトルのｘ軸とのなす角α_ｉの検出例の図である。Ｍ_１におけるｘ軸との各なす角がα_１であり、同様にＭ_ｉにおけるｘ軸との各なす角がα_ｉである。

濃度勾配検出部１０７は、特徴点抽出部１０３からモデル２０１と被測定物１の特徴点情報が入力される。また、濃度勾配検出部１０７は、受け取ったモデル２０１の特徴点情報を用いて、各特徴点Ｍ_ｉの濃度勾配の方向Φ_ｉを、ベクトル検出部１０６がベクトル検出で使用した基準方向であるｘ軸と法線ベクトルとのなす角として検出する。また、濃度勾配検出部１０７は、受け取った被測定物１の特徴点情報を用いて、各特徴点Ｍ_ｉの濃度勾配の方向Φ_ｉであるｘ軸と法線ベクトルとのなす角を検出する。また、濃度勾配検出部１０７は、検出されたモデル２０１の濃度勾配の方向Φ_ｉをモデルデータ登録部１０８に出力する。また、濃度勾配検出部１０７は、検出された被測定物１の濃度勾配の方向Φ_ｉ値をＲテーブル読み出し部１１１に出力する。図８は、モデル２０１の各特徴点Ｍ_ｉの濃度勾配の方向Φ_ｉの検出例の図である。Ｍ_１における濃度勾配の方向がΦ_１であり、同様にＭ_ｉにおける各濃度勾配の方向がΦ_ｉである。

モデルデータ登録部１０８は、検出されたモデル２０１の各特徴点Ｍ_ｉから基準点Ｇに向かう各ベクトルの距離ｒ_ｉと、各ベクトルのｘ軸との各なす角α_ｉが、ベクトル検出部１０６から入力される。また、モデルデータ登録部１０８は、検出されたモデル２０１と被測定物１の各特徴点Ｍ_ｉの濃度勾配の方向Φ_ｉを濃度勾配検出部１０７から受け取る。また、モデルデータ登録部１０８は、図１０のように、Ｒテーブルに、各ベクトルの距離ｒ_ｉと、各ベクトルのｘ軸との各なす角α_ｉのペア（ｒ_ｉ，α_ｉ）を、濃度勾配の方向Φ_ｉが同じ値についてグループ分けして、Ｒテーブル記憶部１０９に記憶する。図９は、モデル２０１の各特徴点Ｍ_ｉにおける基準点Ｇに向かうベクトルを、同じ値の濃度勾配の方向Φ_ｉごとに分類した図である。また、このＲテーブルは、モデル２０１をｘ軸に対して０度から３６０度まで一定間隔（例えば４５度）で回転させた場合について、作成されたテーブルのデータを用いて各回転角度のテーブルを演算して登録しておく。

Ｒテーブル記憶部１０９は、モデルデータ登録部１０８により、モデル２０１の形状記述である各ベクトルの距離ｒ_ｉと、各ベクトルのｘ軸との各なす角α_ｉのペアを、濃度勾配の方向Φ_ｉが同じ値についてグループ分けして記憶する。また、Ｒテーブル記憶部１０９は、重み付け係数生成部１１０でカウントされた同じ法線ベクトルを持つ特徴点の総数と、重み付け係数生成部１１０で生成された重み付け係数を濃度勾配の方向の値ごとに関連付けて記憶する。図１０は、モデル２０１に関してＲテーブル記憶部１０９に記憶されている情報の一例を説明する図である。図１０では、濃度勾配の方向が４５度ごとに分類されてグループ化されている。この濃度勾配の方向ごとに、図９で分類されたベクトルについて、各ベクトルのｘ軸との各なす角α_ｉのペアが形状記述として記憶されている。また、各濃度勾配の方向ごとに形状記述の総数と、重み付け係数生成部１１０で生成される重み付け係数が合わせて記憶されている。

重み付け係数生成部１１０は、Ｒテーブル記憶部１０９に記憶されているＲテーブルについて、グループ分けされている濃度勾配の方向Φ_ｉが同じ値、すなわち同じ法線ベクトルを持つ形状記述の数（＝特徴点の数）をカウントする。次に、重み付け係数生成部１１０は、カウントされた形状記述の総数と、濃度勾配の方向Φ_ｉを用いて、濃度勾配の方向Φ_ｉごとに重み付け係数Ｗ_Φｉを生成する。また、重み付け係数生成部１１０は、カウントされた同じ法線ベクトルを持つ特徴点の総数と、生成された重み付け係数を濃度勾配の方向の値ごとに関連付けて、Ｒテーブル記憶部１０９に記憶する。また、重み付け係数生成部１１０は、生成された重み付け係数を投票部１１３に出力する。

Ｒテーブル読み出し部１１１は、濃度勾配検出部１０７から検出された被測定物１の各特徴点Ｍ_ｉの濃度勾配の方向Φ_ｉ値と、基準点算出部１０５とベクトル検出部１０６を介して各特徴点の座標が入力される。また、Ｒテーブル読み出し部１１１は、被測定物１の基準方向であるｘ軸に対して回転角度θを０度〜３６０度まで一定の角度（例えば４５度）で変化させながら、濃度勾配の方向Φ_ｉ‐回転角度θに対応する投票空間上の座標値にあたる（ｒ（Φ_ｉ‐θ），α（Φ_ｉ‐θ））を、回転角度θに対応したＲテーブル記憶部１０９から読み出す。また、Ｒテーブル読み出し部１１１は、Ｒテーブル記憶部１０９から読み出された座標値（ｒ（Φ_ｉ‐θ），α（Φ_ｉ‐θ））を平行移動ベクトル演算部１１２に出力する。

平行移動ベクトル演算部１１２は、読み出された座標値（ｒ（Φ_ｉ‐θ），α（Φ_ｉ‐θ））がＲテーブル読み出し部１１１から入力される。また、平行移動ベクトル演算部１１３は、Ｒテーブル読み出し部１１１から受け取った座標値（ｒ（Φ_ｉ‐θ），α（Φ_ｉ‐θ））を用いて、回転角度θに対応する平行移動ベクトル（ｕ，ｖ，θ）を、従来の実施形態と同様に式（１）と（２）を用いて演算する。また、平行移動ベクトル演算部１１３は、演算された平行移動ベクトル（ｕ，ｖ，θ）を、投票部１１３に出力する。

投票部１１３は、演算された平行移動ベクトル（ｕ，ｖ，θ）が平行移動ベクトル演算部１１２から入力される。また、投票部１１３は、平行移動ベクトル演算部１１２から受け取った平行移動ベクトル（ｕ，ｖ，θ）を、この組合せで表現されるパラメーター空間内の領域に１票に重み付け係数で生成された値を乗じて（例えば特徴点Ｍ_６の場合、１×４＝４票）投票する。投票部１１３は、回転角度θを一定の角度間隔で０度〜３６０度まで変化させながら、被測定物１のすべての特徴点Ｍ_ｉに関する平行移動ベクトル（ｕ，ｖ，θ）について投票を行い、投票結果を投票結果記憶部１１４に記憶する。

投票結果記憶部１１４は、投票部１１３により投票された結果を記憶する。図１１は、モデル２０１に対して被測定物１が９０度回転して入力画像が取得された場合、回転角度θ＝０度と９０度の場合の投票結果の例について説明する図である。図１１（ａ）は回転角度θ＝０度として投票を行った結果であり、図１１（ｂ）は、回転角度θ＝９０度として投票を行った結果である。回転角度θ＝９０度として投票を行った結果の方が、回転角度θ＝０度で投票を行った場合と比較して、基準点候補への投票数が多い。図１１では、説明のために、回転角度θごとに投票結果を図示しているが、投票結果は平行移動ベクトル（ｕ，ｖ，θ）の３次元の投票空間に行われ記憶しても良い。

基準点座標・回転角度検出部１１５は、投票結果記憶部１１４から投票結果を読み出し、最も一箇所の投票数が多い投票箇所が存在する投票空間の回転角度θ_ａｎｓを検出する。次に、基準点座標・回転角度検出部１１５は、抽出された回転角度θの投票結果記憶部１１４に記憶されている投票空間から、最も一箇所の投票数が多い投票箇所の座標を検出する。また、基準点座標・回転角度検出部１１５は、抽出された投票数が最も多かった座標と、回転角度θ_ａｎｓを画像出力部１１６に出力する。

画像出力部１１６は、基準点座標・回転角度検出部１１５で検出された被測定物１の位置情報である基準点の座標および回転角度情報を表示する画像表示データを生成して、生成された画像表示データを画像表示装置１３に出力する。

次に、物体検出装置における物体検出手順を、図３の本実施形態における検出手順のフローチャートを用いて説明する。まず、寸法が既知のモデル２０１について、登録処理を行う（Ｓ１）。

モデル登録処理について、図４のモデル登録のフローチャートを用いて説明する。まず、回転角度が既知のモデル２０１を、計測を行うステージ１０の上に置く（Ｓ１０１）。

次に、カメラ１１でモデル２０１の画像を撮影して、制御・処理ユニット１２の画像データ取り込み部１０２が撮影されたモデル画像を取り込む（Ｓ１０２）。また、画像データ取り込み部１０２は、取り込んだモデル画像を特徴点抽出部１０３に出力する。

特徴点抽出部１０３は、入力されたモデル画像２００に対して、Ｌａｐｌａｃｉａｎフィルター等の画像処理を用いて、モデル２０１の特徴点を抽出する（Ｓ１０３）。また、特徴点抽出部１０３は、抽出された複数あるいはすべての特徴点に関して特徴点近傍の輝度情報等を含む特徴点情報を二値化部１０４と濃度勾配検出部１０７に出力する。

次に、二値化部１０４は、特徴点抽出部１０３から抽出されたモデル２０１の特徴点情報が入力される。また、二値化部１０４は、受け取った特徴点情報の二値化を行う（Ｓ１０４）。また、二値化部１０４は、二値化された特徴点情報を基準点算出部１０５に出力する。二値化における閾値は、画像を二値化する際に一般的に使用されている閾値選択方法により選択されたものを用いる。

次に、基準点演算部１０５は、二値化部１０４からモデル２０１の二値化された特徴点情報が入力される。また、基準点算出部１０５は、受け取った特徴点情報を用いて、モデル２０１の基準点、例えば重心の座標を一般的な重心算出方法を用いて算出する。（Ｓ１０５）。また、基準点算出部１０５は、算出された基準点の座標と二値化部１０４から受け取った特徴点情報をベクトル検出部１０６に出力する。

次に、ベクトル検出部１０６は、モデル２０１の算出された基準点情報と、特徴点情報が基準点算出部１０５から入力される。また、ベクトル検出部１０６は、受け取ったモデル２０１の基準点情報と特徴点情報を用いて、各特徴点について、ベクトルの距離ｒ_ｉと、各ベクトルのｘ軸とのなす角α_ｉを検出する。また、ベクトル検出部１０６は、検出された各特徴点Ｍ_ｉから基準点Ｇに向かう各ベクトルの距離ｒ_ｉと、各ベクトルのｘ軸との各なす角α_ｉを、モデルデータ登録部１０８に出力する（Ｓ１０６）。

次に、濃度勾配検出部１０７は、特徴点抽出部１０３からモデル２０１の特徴点情報が入力される。また、濃度勾配検出部１０７は、入力されたモデル２０１の特徴点情報を用いて、各特徴点Ｍ_ｉの濃度勾配の方向Φ_ｉであるｘ軸と法線ベクトルとのなす角を検出する（Ｓ１０７）。また、濃度勾配検出部１０７は、検出されたモデル２０１の濃度勾配の方向Φ_ｉをモデルデータ登録部１０８に出力する。

次に、モデルデータ登録部１０８は、検出されたモデル２０１の各特徴点Ｍ_ｉから基準点Ｇに向かう各ベクトルの距離ｒ_ｉと、各ベクトルのｘ軸との各なす角α_ｉが、ベクトル検出部１０６から入力される。また、モデルデータ登録部１０８は、検出されたモデル２０１の各特徴点Ｍ_ｉの濃度勾配の方向Φ_ｉを濃度勾配検出部１０７から受け取る。また、モデルデータ登録部１０８は、Ｒテーブルに、各ベクトルの距離ｒ_ｉと、各ベクトルのｘ軸との各なす角α_ｉのペア（ｒ_ｉ，α_ｉ）を、濃度勾配の方向Φ_ｉが同じ値についてグループ分けして、Ｒテーブル記憶部１０９に記憶する（Ｓ１０８）。

次に、重み付け係数生成部１１０は、Ｒテーブル記憶部１０９に記憶されている濃度勾配の方向Φ_ｉが同じ値をグループ分けし、各グループのベクトルの距離ｒ_ｉと、ベクトルのｘ軸との各なす角α_ｉのペア（ｒ_ｉ，α_ｉ）をカウントして、後述する被測定物１の回転角度および位置を検出するために投票を行うための重み付け係数を生成する（Ｓ１０９）。具体的には、法線とｘ軸とのなす角α_ｉが４５度の場合、図１０のように、同じ法線ベクトルをもつ基準点に向かう形状記述は、（ｒ_１２，α_１２）と（ｒ_１３，α_１３）と（ｒ_１４，α_１４）と（ｒ_１５，α_１５）の４つ、すなわち、総数Ｎ_Ф０＝４となる。重み付け係数Ｗ_Фｉは、以下の式（３）により生成される。
Ｗ_Фｉ＝ｆ（Ｎ_Фｉ）・・・式（３）
式（３）において、ｆは所定の関数であり、例えばモデル２０１および被測定物１の形状に最適化されたものである。
また、重み付け係数生成部１１０は、カウントされた同じ法線ベクトルを持つ特徴点の総数と、生成された重み付け係数を濃度勾配の方向の値ごとに関連付けて、Ｒテーブル記憶部１０９に記憶する。また、重み付け係数生成部１１０は、生成された重み付け係数を投票部１１３に出力する。
以上で、モデル登録処理を終了する。

次に、被測定物１を、計測を行うステージ１０の上に置く（Ｓ２）。

次に、カメラ１１で被測定物１の画像を撮影して、制御・処理ユニット１２の画像データ取り込み部１０２が撮影された入力画像を取り込む（Ｓ３）。また、画像データ取り込み部１０２は、取り込んだ入力画像を特徴点抽出部１０３に出力する。

特徴点抽出部１０３は、入力された画像データに対して、Ｌａｐｌａｃｉａｎフィルター等の画像処理を用いて、被測定物１の特徴点を抽出する（Ｓ４）。また、特徴点抽出部１０３は、抽出された複数あるいはすべての特徴点に関して特徴点近傍の輝度情報等を含む特徴点情報を二値化部１０４と濃度勾配検出部１０７に出力する。

次に、二値化部１０４は、特徴点抽出部１０３から抽出された被測定物１の特徴点情報が入力される。また、二値化部１０４は、受け取った特徴点情報の二値化を行う（Ｓ５）。また、二値化部１０４は、二値化された値を用いて、各特徴点の座標Ｍ_ｉ（Ｘｉ，Ｙｉ）を検出し、二値化された各特徴点情報を基準点算出部１０５に出力する。二値化における閾値は、画像を二値化する際に一般的に使用されている閾値選択方法により選択されたものを用いる。

次に、濃度勾配検出部１０７は、特徴点抽出部１０３から被測定物１の特徴点情報が入力される。また、濃度勾配検出部１０７は、入力された被測定物１の特徴点情報を用いて、各特徴点Ｍ_ｉの濃度勾配の方向Φ_ｉであるｘ軸と法線ベクトルとのなす角を検出する（Ｓ６）。また、濃度勾配検出部１０７は、検出された被測定物１の濃度勾配の方向Φ_ｉをＲテーブル読み出し部１１１に出力する。

次に、Ｒテーブル読み出し部１１１は、濃度勾配検出部１０７から検出された被測定物１の各特徴点Ｍ_ｉの濃度勾配の方向Φ_ｉ値と、基準点算出部１０５とベクトル検出部１０６を介して各特徴点の座標が入力される。また、Ｒテーブル読み出し部１１１は、被測定物１の基準方向であるｘ軸に対して回転角度θを０度〜３６０度まで一定の角度（例えば４５度）で変化させながら、濃度勾配の方向Φ_ｉ‐回転角度θに対応する投票空間上の座標値にあたる（ｒ（Φ_ｉ‐θ），α（Φ_ｉ‐θ））をＲテーブル記憶部１０９から読み出す（Ｓ７）。また、Ｒテーブル読み出し部１１１は、Ｒテーブル記憶部１０９から読み出された座標値（ｒ（Φ_ｉ‐θ），α（Φ_ｉ‐θ））を平行移動ベクトル演算部１１２に出力する。

次に、平行移動ベクトル演算部１１２は、読み出された座標値（ｒ（Φ_ｉ‐θ），α（Φ_ｉ‐θ））がＲテーブル読み出し部１１１から入力される。また、平行移動ベクトル演算部１１２は、Ｒテーブル読み出し部１１１から受け取った座標値（ｒ（Φ_ｉ‐θ），α（Φ_ｉ‐θ））を用いて、回転角度θに対応する平行移動ベクトル（ｕ，ｖ，θ）を、従来の実施形態と同様に式（１）と（２）を用いて演算する（Ｓ８）。また、平行移動ベクトル演算部１１３は、演算された平行移動ベクトル（ｕ，ｖ，θ）を、投票部１１３に出力する。

次に、投票部１１３は、重み付け係数生成部１１０が生成した重み付け係数Ｗ_Фｉを用いて、投票を行う（Ｓ９）。例えば、従来の実施形態では形状記述１つにつき１票が投票空間に投票されるが、本実施形態では、図６と１０のように、被測定物１の特徴的な形状部分の特徴点Ｍ_６に対して重み付け係数＝４が設定されて、投票数４を投票空間に投票する。また、投票部１１３は、投票結果を投票結果記憶部１１４に記憶する。

上記Ｓ６〜Ｓ９を、被測定物１の各特徴点と回転角度θに関して行い、投票部１１３は、すべての投票結果を投票結果記憶部１１４に記憶する。

基準点座標・回転角度検出部１１５は、投票結果記憶部１１４に記憶されている投票結果を読み出し、投票数のピーク値になる回転角度θ_ａｎｓと座標を検出する（Ｓ１０）。また、位置・回転角度検出部１１５は、検出された投票数のピーク値になる回転角度θ_ａｎｓと、検出された座標から、被測定物１の位置を検出し、さらに検出された回転角度θ_ａｎｓから被測定物１の回転角度θ_ａｎｓを検出する（Ｓ１１）。また、基準点座標・回転角度検出部１１５は、検出された被測定物１の回転角度θ_ａｎｓと位置を画像出力部１１６に出力する。画像出力部１１６は、入力された被測定物１の回転角度θと位置を画像表示装置１３に出力し表示する。
以上により、被測定物１の物体検出処理を終了する。

以上、本発明によれば、モデル２０１のモデル画像２００と入力画像１００を取り込み、取り込まれたモデル画像と入力画像からモデルの特徴点と被測定物１の特徴点を特徴点抽出部１０３が抽出し、抽出された特徴点における濃度勾配を濃度勾配検出部１０７が検出し、濃度勾配の方向ごとにグループ化して各特徴点のベクトルの長さと方向からなるペアの形状記述をモデルデータ登録部１０８がＲテーブル記憶部１０９に記憶する。記憶されたＲテーブルから、特徴点における濃度勾配の方向ごとにグループ化されている各特徴点のベクトルの長さと方向の形状記述数に基づいて、投票空間に投票する時の投票数に対して重み付け係数を重み付け係数生成部１１０が生成する。また、Ｒテーブル読み出し部１１１は、被測定物１の基準方向であるｘ軸に対して回転角度θを０度〜３６０度まで一定の角度（例えば４５度）で変化させながら、濃度勾配の方向Φ_ｉ‐回転角度θに対応する投票空間上の座標値にあたる（ｒ（Φ_ｉ‐θ），α（Φ_ｉ‐θ））をＲテーブル記憶部１０９からＲテーブル読み出し部１１１が読み出し、読み出した座標値（ｒ（Φ_ｉ‐θ），α（Φ_ｉ‐θ））を、生成された重み付け係数を用いて平行移動ベクトル演算部１１２で演算された座標を、投票空間に投票部１１３が投票するようにしたので、直線成分に囲まれた被測定物１の場合でも、被測定物１の形状において特徴的な箇所について、特徴点のベクトルの長さと方向の投票がノイズの影響を受けにくい精度の良い物体検出装置を提供することが可能になる。

なお、本実施形態では、モデル１と被測定物１の拡大率を１として説明をしたが、一般化ハフ変換における平行移動ベクトルの以下の式（４）、（５）を用いて、拡大率ｓも加えた（ｕ，ｖ，θ，ｓ）について投票を行い、拡大率を検出することも可能である。
ｕ＝Ｘ_ｊ＋ｒ（Φ_ｊ―θ）×ｓ×ｃｏｓ（α（Φ_ｊ―θ）＋θ）・・・式（４）
ｖ＝Ｙ_ｊ＋ｒ（Φ_ｊ―θ）×ｓ×ｓｉｎ（α（Φ_ｊ―θ）＋θ）・・・式（５）

さらにまた、本実施形態では、Ｒテーブル記憶部１０９に重み付け係数を合わせて記憶し、投票部１１３がこの記憶された重み付け係数を用いて投票する例について説明したが、投票部１１３が平行移動ベクトルを演算されるごとに、その座標値が属している濃度勾配の方向の重み付け係数を生成して投票するようにしても良い。

さらにまた、本実施形態では、重み付け係数で設定された値をそのまま投票として使用する例について説明したが、平行移動ベクトルの投票数に対して重み付け係数に応じた演算（例えば０．５倍）を行って投票するようにしても良い。

さらにまた、本実施形態では、重み付け係数の生成にあたり、Ｒテーブルに各特徴点の濃度勾配の方向ごとにグループ化されて登録されている形状記述の数に基づいて重み付け係数を生成する例について説明したが、使用するモデルおよび被測定物に最適された特徴点ごとの重み付け係数を予め生成しておいて使用しても良く、さらに予め生成された重み付け係数とＲテーブルに各特徴点の濃度勾配の方向ごとにグループ化されて登録されている形状記述の数とに基づき重み付け係数を生成するようにしても良い。

さらにまた、本実施形態では、モデル２０１の基準点をモデル２０１の特徴点から求めた重心を用いる例について説明したが、任意に設定された座標であっても良い。また、本実施形態では、モデル画像２００および入力画像１００の基準方向にｘ軸を用いる例について説明したが、一意に設定された方向であれば良い。

なお、実施形態の図２の機能の全て、もしくは一部を、光学式計測装置の図示しないＣＰＵ（中央演算装置）に接続されたＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）もしくはＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ） Ｉ／Ｆを介して接続されるＵＳＢメモリー等の記憶装置に保存されているプログラムにより実行することも可能である。

１・・・被測定物
１０・・・ステージ
１１・・・カメラ
１２・・・物体検出制御・処理ユニット
１３・・・画像表示装置
１０１・・・制御部
１０２・・・画像データ取り込み部
１０３・・・特徴点抽出部
１０４・・・二値化部
１０５・・・基準点算出部
１０６・・・ベクトル検出部
１０７・・・濃度勾配検出部
１０８・・・モデルデータ登録部
１０９・・・Ｒテーブル記憶部
１１０・・・重み付け係数生成部
１１１・・・Ｒテーブル読み出し部
１１２・・・平行移動ベクトル演算部
１１３・・・投票部
１１４・・・投票結果記憶部
１１５・・・基準点座標・回転角度検出部
１１６・・・画像出力部
２０１・・・モデル

Claims (4)

1. 対象物のモデルを含むモデル画像の基準点と基準方向を任意に設定し、
   前記モデル画像を用いて、前記モデルの特徴を表現する複数の特徴点を抽出し、
   前記基準方向に対する前記モデル画像の各特徴点の明るさの方向Φｉと、前記各特徴点から前記基準点への距離Ｒ（Φｉ）と前記基準方向に対する角度α（Φｉ）を算出して、算出された距離Ｒ（Φｉ）と角度α（Φｉ）値を用いて、前記各特徴点の明るさの方向Φｉに対する座標（ｒ（Φｉ），α（Φｉ））の対応をテーブルに登録し、
   対象物を含む入力画像を用いて、前記対象物の輪郭を構成する複数の特徴点を抽出し、
   前記基準方向に対する前記入力画像の各特徴点の座標と明るさの方向Φｉを算出して、
   前記入力画像の明るさの方向Φｉについて、前記基準方向を所定角度θずつ変化させて生成した方向値Φｉ−θを前記テーブルから抽出した前記入力画像の各特徴点の座標候補を、設定した角度θごとに投票空間に投票し、投票数から前記被測定物の位置および角度θを検出する一般化ハフ変換を用いた物体検出方法において、
   前記テーブルに登録された前記各明るさの方向Φｉごとの座標（ｒ（Φｉ），α（Φｉ））数をカウントする形状記述情報数カウント工程と、
   前記形状記述情報数カウント工程でカウントされた前記各明るさの方向Φｉごとの座標（ｒ（Φｉ），α（Φｉ））数を用いて、投票空間に投票する票数に対する重み付け係数を生成する重み付け係数生成工程と、
   前記入力画像の明るさの方向Φｉについて、前記基準方向を所定角度θずつ変化させ生成した方向値Φｉ−θを前記テーブルから抽出した前記入力画像の各特徴点の座標候補を、前記重み付け係数生成工程で生成された重み付け係数を用いて前記投票空間に投票する投票工程と、
   前記投票工程で座標候補ごとに投票された前記投票数を累計して記憶する基準点候補記憶工程と、
   前記基準点候補記憶工程で記憶された前記投票数から、最大値もしくは所定の閾値を超える座標候補、および、角度θを、前記被測定物の基準点、および、前記モデル画像に対する前記被測定物の回転角度として検出する基準点座標検出工程と、
   を備えることを特徴とする物体検出装置の物体検出方法。
2. 前記重み付け係数生成工程は、前記対象物の形状に最適化された前記特徴点ごとの重み付け係数を生成する
   ことを特徴とする請求項１に記載の物体検出装置の物体検出方法。
3. 前記計測される対象物は、直線成分に囲まれた対象物であることを特徴とする請求項１または２いずれか１項に記載の物体検出装置の物体検出方法。
4. 対象物のモデルを含むモデル画像の基準点と基準方向を任意に設定し、
   前記モデル画像を用いて、前記モデルの特徴を表現する複数の特徴点を抽出し、
   前記基準方向に対する前記モデル画像の各特徴点の明るさの方向Φｉと、前記各特徴点から前記基準点への距離Ｒ（Φｉ）と前記基準方向に対する角度α（Φｉ）を算出して、算出された距離Ｒ（Φｉ）と角度α（Φｉ）値を用いて、前記各特徴点の明るさの方向Φｉに対する座標（ｒ（Φｉ），α（Φｉ））の対応をテーブルに登録し、
   対象物を含む入力画像を用いて、前記対象物の輪郭を構成する複数の特徴点を抽出し、
   前記基準方向に対する前記入力画像の各特徴点の座標と明るさの方向Φｉを算出して、
   前記入力画像の明るさの方向Φｉについて、前記基準方向を所定角度θずつ変化させて生成した方向値Φｉ−θを前記テーブルから抽出した前記入力画像の各特徴点の座標候補を、設定した角度θごとに投票空間に投票し、投票数から前記被測定物の位置および角度θを検出する一般化ハフ変換を用いた物体検出装置において、
   前記テーブルに登録された前記各明るさの方向Φｉごとの座標（ｒ（Φｉ），α（Φｉ））数をカウントする形状記述情報数カウント部と、
   前記形状記述情報数カウント部でカウントされた前記各明るさの方向Φｉごとの座標（ｒ（Φｉ），α（Φｉ））数を用いて、投票空間に投票する票数に対する重み付け係数を生成する重み付け係数生成部と、
   前記入力画像の明るさの方向Φｉについて、前記基準方向を所定角度θずつ変化させ生成した方向値Φｉ−θを前記テーブルから抽出した前記入力画像の各特徴点の座標候補を、前記重み付け係数生成部で生成された重み付け係数を用いて前記投票空間に投票する投票部と、
   前記投票部で座標候補ごとに投票された前記投票数を累計して記憶する基準点候補記憶部と、
   前記基準点候補記憶部で記憶された前記投票数から、最大値もしくは所定の閾値を超える座標候補、および、角度θを、前記被測定物の基準点、および、前記モデル画像に対する前記被測定物の回転角度として検出する基準点座標検出部と、
   を備えることを特徴とする物体検出装置。

Images