JP2015225453A - 物体認識装置及び物体認識方法 - Google Patents

Abstract

【課題】物体認識の精度を低下させることなく、演算負荷を低減することが可能な物体認識装置を提供する。
【解決手段】物体認識装置２２は、パレット３の点の集合及び各点を結んで構成される線分の集合によって定義されるパレット３の二次元モデルのデータを保存するモデル保存部４５と、パレット３が含まれる三次元画像を入力する三次元画像入力部４１と、三次元画像における特徴点１１８，１１９，１２０を検出する画像特徴点検出部４２と、三次元画像上の各点における特徴量を算出する特徴量算出部４３と、特徴点１１８，１１９，１２０と、補間点１２３，１２４とにおける特徴量に基づいて、二次元モデルのデータとの類似度を比較することで物体の認識を行うパターンマッチング部４４とを備える。
【選択図】図２

Description

本発明は、物体の位置を認識するための物体認識装置及び物体認識方法であって、特に、無人搬送車がパレットやケース等の物体を搬送する際に、物体の載置位置を認識するための物体認識装置及び物体認識方法に関する。特に、人の顔などの不特定の画像ではなく、パレット等の既定の物体の特定画像を認識する物体認識装置に関する。

物体を撮影した画像情報に基づいて、物体の認識を行う物体認識装置は、種々のものが提案されている。
例えば、特許文献１には、位置を変えて設けられた一対のカメラにより撮影された２つの画像データに基づいて、距離情報を備える三次元画像を生成し、これに基づいて物体認識を行う装置が開示されている。

また、特許文献２には、ＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）カメラにより得られる距離画像（三次元画像）を用いて、特徴点をヒストグラム化して特徴量を算出し、参照パターンとの比較により物体の認識を行う装置が開示されている。
さらに、特許文献３には、物体の二次元画像と距離画像とから物体の三次元座標を算出して、参照パターンとなる三次元モデルのデータを当てはめて、物体の認識を行う装置が開示されている。

特開平０９−２１８０１４号公報 国際公開第２０１０／１４０６１３号パンフレット 特開２０１２−１２３７８１号公報

二次元画像から物体の認識を行う場合には、各画素の輝度値パターンに基づいて物体の認識を行える。この場合、認識対象となる物体の形状が単純パターンであれば、誤認識を生じやすく、照明条件によっても誤認識が生じる。さらに、二次元画像上におけるパターンが、実際のどのような大きさであるかを判別することが困難である。特に、カメラの撮影方向が斜めである場合には、二次元画像上のパターンを正確に認識することが困難である。

このため、特許文献１〜３の物体認識装置では、物体を撮影した三次元画像から、物体の特徴点を抽出して、物体の認識を行っている。しかし、パターンマッチングを行うための特徴点の候補を多数抽出する必要があり、演算負荷が大きくなる。また、背景に含まれる特徴点や、対象となる物体と類似する特徴点を有する物体が画像情報に含まれる場合には、誤認識するおそれがある。また、画像全体に比して物体が小さい場合にも、誤認識を生じるおそれがある。
特許文献３に記載されているように、二次元画像において抽出した物体の画像特徴に、三次元画像により三次元座標を算出して、三次元モデルデータとの照合を行った場合には、多数の特徴点を抽出する際の演算負荷が大きくなる。このような演算負荷を低減するためには、パターンマッチングを行うための特徴点の候補を少なくすることが考えられるが、その場合、パターンマッチングの精度が低下するという問題がある。

本発明の課題は、物体認識装置において、物体認識の精度を低下させることなく、演算負荷を低減することにある。

以下に、課題を解決するための手段として複数の態様を説明する。これら態様は、必要に応じて任意に組み合せることができる。
本発明の一見地による物体認識装置は、モデル保存部と、三次元画像入力部と、画像特徴点検出部と、特徴量算出部と、パターンマッチング部とを備える。モデル保存部は、認識対象である物体表面の点の集合及び各点を結んで構成される線分の集合によって定義される物体の幾何的特徴を表すモデルのデータを保存する。三次元画像入力部は、物体が含まれる三次元画像を入力する。画像特徴点検出部は、三次元画像における特徴点を検出する。特徴量算出部は、三次元画像上の各点における特徴量を算出する。パターンマッチング部は、画像特徴点検出部で検出された特徴点と、特徴点に対して特定の幾何的条件を満たす補間点とにおける特徴量に基づいて、モデルのデータとの類似度を比較することで物体の認識を行う。
物体の形状によっては、モデル上の特徴点ではない点に、物体の特徴を表す点としての属性を与えることができる。このような点を、特徴点と特定の幾何的条件を満たす補間点とすることで、パターンマッチングを行う際の特徴点のダウンサンプリングが可能となり、その結果、背景に存在する他の特徴点と識別して、物体の認識を確実に行うことができる。また、これにより、パターンマッチング処理の演算負荷を軽減できる。

パターンマッチング部は、画像特徴点検出部で検出された特徴点から、所定の幾何的条件を満たす所定数の特徴点をマッチング候補点として抽出してもよい。
物体の特徴を表す特徴点の幾何的条件を設定することにより、三次元画像から検出した特徴点から、マッチングを行うためのマッチング候補点をダウンサンプリングすることが容易であり、この結果、演算負荷を低減できる。

補間点は、１対又は複数対の特徴点の中間点であってもよい。
物体のエッジが断続するような部分では、検出される特徴点の間に、物体上の特徴点ではない点が存在することになる。このような点は、画像上に存在する物体を認識する際に、有効な情報となり得る。このため、特徴点の中間点を補間点としてマッチング候補点とすることで、マッチング精度を向上できる。

パターンマッチング部は、特徴量算出部が作成するマッチング候補点のヒストグラムに基づいて、物体の認識を行ってもよい。
特徴量の算出には、公知の技術を用いることが可能であり、例えば、法線方向ヒストグラム、距離ヒストグラム、輝度レベルのヒストグラムなどを用いることが可能であり、より具体的には、ＦＰＦＨ（Ｆａｓｔ Ｐｏｉｎｔ Ｆｅａｔｕｒｅ Ｈｉｓｔｏｇｒａｍｓ）を用いることができる。
物体は、３個の特徴点を有するパレットであってもよい。その場合、所定の幾何的条件を満たす所定数の特徴点とは、３個の特徴点のなす角度が所定範囲内である３個の特徴点である。

三次元画像入力部は、ＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）カメラ、又はステレオカメラを有していてもよい。
この場合、ＴＯＦカメラ、又はステレオカメラを用いて撮影される物体の距離画像を三次元画像として入力できる。ＴＯＦカメラ及びステレオカメラにより撮影された距離画像を用いて特徴点を検出する技術については、公知のものを用いることができる。

画像特徴点検出部は、Ｈａｒｒｉｓ処理、又はＳＩＦＴ（Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）処理することにより、特徴点を検出してもよい。また、ＩＳＳ（Ｉｎｔｒｉｎｓｉｃ Ｓｈａｐｅ Ｓｉｇｎａｔｕｒｅｓ）でもよい。
特徴点の検出方法は、画像の各画素について、色や輝度変化が大きくなる点を検出できればよく、Ｈａｒｒｉｓ作用素、又はＳＩＦＴ作用素を用いる方法の他に、公知の技術を用いることができる。

物体認識装置は、三次元画像とほぼ同一視点で撮影された物体を含む二次元画像を入力する二次元画像入力部と、二次元画像における物体の画像特徴を検出する二次元画像処理部とをさらに備えていてもよい。
画像特徴点検出部が特徴点の検出を行うのは、三次元画像において、二次元画像処理部において検出された物体の画像特徴に対応する領域のみであってもよい。
この場合、二次元画像により特定された物体の画像特徴に対応する領域において、特徴点を検出していることから、通常の三次元画像からの特徴点の抽出に比して、演算負荷を軽減でき、高速化が可能になる。
特徴量算出部は、三次元画像において前記領域にある特徴点における特徴量を算出し、パターンマッチング部は、三次元画像において前記領域にある前記特徴点の前記特徴量を用いてもよい。

本発明の他の見地に係る物体認識方法は、以下のステップを備えている。
◎認識対象である物体表面の点の集合及び各点を結んで構成される線分の集合によって定義される物体の幾何的特徴を表すモデルのデータを保存するステップ
◎物体が含まれる三次元画像を入力するステップ
◎三次元画像における特徴点を検出するステップ
◎特徴点と、特徴点に対して特定の幾何的条件を満たす補間点とにおける特徴量を算出するステップ
◎特徴量に基づいて、モデルのデータとの類似度を比較して物体の認識を行うステップ
この場合、ＣＰＵ、ＲＯＭ、ＲＡＭを備えるマイクロプロセッサにより、各ステップを備えるプログラムを実行することにより、サンプリング数の少ない特徴点から物体の認識を行うことができ、その結果、演算負荷を軽減できる。

本発明によれば、物体認識の精度を低下させることなく、演算負荷を低減することが可能な物体認識装置を提供できる。

物体認識装置を搭載する無人フォークリフトの説明図。 物体認識装置の概略構成を示すブロック図。 物体認識処理の概略構成を示すフローチャート。 三次元画像入力部の一例を示すブロック図。 スケールσとＤｏＧフィルタ出力値の一例を示す特性図。 ＳＩＦＴ特徴量を用いて検出した特徴点の説明図。 Ｈａｒｒｉｓ特徴点の検出方法に関する説明図。 Ｈａｒｒｉｓ作用素を用いて検出した特徴点の説明図。 画像特徴量検出処理〜パターンマッチング処理のフローチャート。 特徴点間の幾何的条件を示す説明図。 幾何的条件を適用して抽出したマッチング候補点の説明図。 特徴点と補間点との関係を示す説明図。 ＦＰＦＨによる特徴量算出方法の説明図。 ＦＰＦＨによる特徴量算出方法の説明図。 ＦＰＦＨ特徴量を示すグラフ。 マッチング候補点のＦＰＦＨ特徴量の説明図。

（１）概略構成
図１は、物体認識装置を搭載する無人フォークリフトの説明図である。
無人フォークリフト２は、内部に設置された制御部（図示せず）の制御に基づいて自律走行可能な本体部２１を備えている。
本体部２１の前面には、上下移動可能に配置された１対のフォーク２３，２４を備えており、パレット３をリフトアップして搬送可能となっている。
さらに、本体部２１は、物体認識装置２２を備えている。物体認識装置２２は、少なくとも本体部２１の前方の画像情報を取得できるカメラ（詳細は後述する）を備えている。物体認識装置２２は、カメラにより撮影された画像情報に基づく三次元画像から、認識対象であるパレット３を認識する。物体認識装置２２のカメラをフォーク２３，２３の先端部に設けても良い。

パレット３は、例えば、図示したように、フォーク２３，２４が挿入可能な差し込み口３１，３２が設けられている。パレット３の差し込み口３１，３２が形成される面には、差し込み口３１，３２を挟む垂直面３３，３４，３５が形成されている。
物体認識装置２２は、無人フォークリフト２に対向する面に形成された垂直面３３〜３５の特徴点を検出することによって、パレット３をその位置、形状及び大きさを含め認識・識別できる。

無人フォークリフト２は、例えば、倉庫内において物品が載置されるパレット３を搬送する。無人フォークリフト２の制御部は、倉庫内の環境上における自己の現在位置を把握し、搬送対象であるパレット３の近傍を目的位置として、走行経路を決定して走行制御する。物体認識装置２２は、目的位置において、カメラにより撮影された画像方向に基づいて、パレット３の位置、形状及び大きさを認識・識別する。無人フォークリフト２の制御部は、フォーク２３，２４をパレット３の差し込み口３１，３２に差し込んでパレット３を持ち上げ、次の目的位置に移動する。
パレット３の上面には、物品が載置されている場合と物品が載置されていない場合があり、物体認識装置２２は、そのいずれの場合にもパレット３を認識できるようにする。

図２は、物体認識装置の概略構成を示すブロック図である。
物体認識装置２２は、三次元画像入力部４１と、画像特徴点検出部４２と、特徴量算出部４３と、パターンマッチング部４４と、モデル保存部４５とを備える。
三次元画像入力部４１は、物体の三次元画像を入力する。例えば、三次元画像入力部４１は、位置が異なる２つのカメラを有するステレオカメラを含んでいてもよく、その場合は、２つの二次元画像の視差により、二次元画像上の特徴点に距離データ処理がなされた距離画像を三次元画像として入力する。この他にも、ＴＯＦカメラ、又は距離センサで得られる距離データに基づいて生成される距離画像が、三次元画像として入力できる。

画像特徴点検出部４２は、三次元画像に対して特徴点を検出する。具体的には、画像特徴点検出部４２は、三次元画像の各画素について、色や濃淡変化が激しい点を検出することで、特徴点を検出できる。このことから、画像特徴点検出部４２は、例えば、Ｈａｒｒｒｉｓ作用素を用いた方法により、特徴点を検出できる。画像特徴点検出部４２は、この他に、ＳＩＦＴ作用素を用いた方法により特徴点を検出でき、その他、公知の技術を用いて特徴点の検出を行える。

特徴量算出部４３は、三次元画像上の各点における特徴量を算出する。特に、特徴量算出部４３は、パターンマッチングを行う際のマッチング候補点について、特徴量を算出する。特徴量は、各点における法線方向ベクトルが、周辺特徴点の法線ベクトルとなす角度に基づいて生成される法線方向ヒストグラムにより算出できる。具体的には、ＦＰＦＨ（Ｆａｓｔ Ｐｏｉｎｔ Ｆｅａｔｕｒｅ Ｈｉｓｔｇｒａｍｓ）を用いることができる。また、入力される画像情報が三次元画像であることから、特徴量算出部４３は、距離データに基づく各点における距離ヒストグラムを作成できる。この他にも、各画素の輝度に基づいて輝度ヒストグラムを作成して、各点の特徴量を算出することが可能である。

パターンマッチング部４４は、画像特徴点検出部４２で検出された特徴点に基づいて、三次元画像上のマッチング候補点を抽出し、抽出されたマッチング候補点の特徴量と、モデルのデータとの類似度を比較することにより、物体の認識を行う。
例えば、パターンマッチング部４４は、画像特徴点検出部４２により検出された特徴点のうちから、特定の幾何的関係にある１又は複数の特徴点対を抽出する。例えば、パレット３の垂直面３３〜３５が、床面と接するエッジに複数の特徴点がある場合、各垂直面３３〜３５上に位置する特徴点は、ほぼ直線上にあると考えられる。したがって、３点の特徴点の中央に位置する特徴点と他の２つの特徴点を結ぶ線分がほぼ１８０度の角度となる。また、パレット３が規格に合致するものであれば、３点の特徴点の距離は所定範囲となる。
したがって、パターンマッチング部４４は、所定範囲の距離だけ離間し、各点を結ぶ線分がなす角度が所定範囲であれば、この３点の特徴点をマッチング候補点とする。さらに、パターンマッチング部４４は、中央に位置する特徴点と、他の２つの特徴点との間の中間点を、それぞれパターンマッチングの候補点とする。パターンマッチング部４４は、このようにして、パターンマッチングを行うためのマッチング候補点を選択することによって、特徴点のダウンサンプリングを行う。

次に、パターンマッチング部４４は、マッチング候補点について、それぞれ特徴量算出部４３で算出される特徴量を、モデル保存部４５に保存されたモデルのデータと比較する。このようにして、物体の認識が行われる。
モデル保存部４５は、物体の幾何的特徴を表す二次元モデルのデータを保存する。二次元モデルのデータは、三次元画像に撮影された物体を認識する際に、物体の位置や姿勢を算出する際に用いられるものであり、例えば、点の集合及び各点を結んで構成される線分の集合によって定義される。具体的には、基本のモデルのデータは、１）特徴点３点の隣り合う点間の距離範囲、２）３点の両端の点間の距離範囲、３）３点の特徴点の間をなす角度範囲、４）各特徴点・補間点のＦＰＦＨヒストグラムの次元（角度）ごとの平均及び分散である。
また、二次元モデルのデータは、物体の三次元画像から得られる特徴点と、その特徴点の中間点における特徴量とすることもできる。この場合、特徴点を検出する方法は画像特徴点検出部４２と同一の方法とし、各点の特徴量を算出する方法は、特徴量算出部４３と同一の方法とする。
モデル保存部４５は、ＥＥＰＲＯＭ、ＲＡＭ、ハードディスク、その他の記憶装置の所定の領域で構成される。

（２）処理の概略構成
図３は、物体認識処理の概略構成を示すフローチャートである。
物体認識装置２２は、ＣＰＵ、ＲＯＭ、ＲＡＭなどを含むマイクロプロセッサで構成される制御部が、所定のプログラムを実行することにより、画像情報から物体認識を行う。
ステップＳ３０１において、制御部は、二次元モデルのデータを保存する。制御部は、認識対象である物体表面の点の集合及び各点を結んで構成される線分の集合によって定義される二次元モデルのデータを、モデル保存部４５に保存する。

ステップＳ３０２において、三次元画像入力部４１は、物体の三次元画像を入力する。前述したように、三次元画像入力部４１は、ステレオカメラ５１が撮影した距離情報を含む三次元画像を入力できる。

ステップＳ３０３において、画像特徴点検出部４２は、三次元画像に対して特徴点を検出する。具体的には、画像特徴点検出部４２は、Ｈａｒｒｒｉｓ作用素を用いて、三次元画像上の特徴点を検出する。前述したように、特徴点の検出は、三次元画像の各画素について、色や濃淡が変化する点を特徴点として検出できればよく、ＳＩＦＴ作用素による特徴点検出、その他、公知の技術を用いた検出が可能である。
また、パターンマッチング部４４が、所定の幾何的条件を満たす所定数の特徴点をマッチング候補点として抽出し、さらに抽出された特徴点に対して特定の幾何的条件を満たす補間点を決定する。

ステップＳ３０４において、特徴量算出部４３は、検出された特徴点と、補間点とにおける特徴量を算出する。
特徴量算出部４３は、マッチング候補点に関して、ＦＰＦＨにより法線方向ヒストグラムを作成し、各点における特徴量を算出する。

ステップＳ３０５において、パターンマッチング部４４は、特徴点及び補間点により構成されるマッチング候補点のグループと、二次元モデルのデータとの類似度を求めることにより、パターンマッチングを行う。パターンマッチング部４４は、幾何的条件を満たす特徴点を抽出し、抽出された特徴点に関連する補間点をマッチング候補点として、二次元モデルのデータと比較する。したがって、パターンマッチングにおける演算負荷を軽減でき、演算速度を向上できる。

（３）三次元画像入力
三次元画像入力部４１の具体例について、その一例を以下に説明する。
図４は、三次元画像入力部の一例を示すブロック図である。
図４に示す三次元画像入力部４１は、ステレオカメラ５１からの画像情報に基づいて、距離情報を有する三次元画像を生成する。

ステレオカメラ５１は、二次元画像を撮影する２つのカメラが異なる位置に配置される。ステレオカメラ５１は、例えば、無人フォークリフト２の前面に取り付けられ、少なくとも、フォーク２３，２４の前方位置の２次元画像を撮影する。
無人フォークリフト２に対する２つのカメラの位置及び向きに関するパラメータは、予め設定されており、物体認識装置１の所定の記憶領域に記憶されている。

フレームメモリ５２は、ステレオカメラ５１により撮影された２つの二次元画像情報を記憶する。フレームメモリ５２に記憶される二次元画像情報は、画像バス５３を介して、二次元特徴点抽出部５４に提供される。
二次元特徴点抽出部５４は、２つの二次元画像情報のそれぞれについて、輝度情報に基づく二次元特徴点を検出する。また、パレット３の垂直面３３〜３５に、所定のパターンが形成されている場合には、この所定のパターンに沿って二次元特徴点を検出することもできる。この場合、二次元特徴点抽出部５４は、２つの二次元画像情報を同一方向に追跡して、所定のパターンの外周の曲がり点を検出して、これを二次元特徴点とすることができる。

対応付け処理部５５は、二次元特徴点抽出部５４により抽出された二次元特徴点の対応関係の候補を発生させる。対応付け処理部５５は、各対応関係の候補に対して、変換行列を発生させ、この変換誤差を求めて、変換誤差が最小となる対応関係の候補を抽出する。

座標算出部５６は、対応付け処理部５５により抽出された対応関係の候補の各特徴点の座標を算出する。例えば、ステレオカメラ５１による２つの二次元画像情報は、位置の異なるカメラにより同一点を撮影したものであることから、特徴点までの距離情報を得ることが可能である。座標算出部５６は、対応付け処理部５５により対応付けられた２つの二次元画像情報の特徴点に基づいて、各特徴点の３次元座標を発生させて、距離情報を備える三次元画像情報を生成する。

三次元画像は、ＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）カメラにより撮影された画像情報を用いることができる。ＴＯＦカメラは、カメラの周囲に設けられたＬＥＤにより赤外光を照射し、対象物から反射した反射光が、カメラで観測されるまでの時間を計測することで、対象物まで距離を測定する。ＴＯＦカメラでは、画像を構成する各画素の距離を測定でき、各画素のカメラからの距離に応じて異なる輝度で表示される距離画像を生成する。
前述したステレオカメラ５１を用いた場合には、２つの二次元画像の対応付け処理を行う必要があったが、ＴＯＦカメラにより撮影された画像情報を用いることで、処理コストを削減し、処理時間を削減してリアルタイム処理が可能となる。

（４）画像特徴点検出
画像特徴点検出部４２において、入力される３次元画像情報から特徴点を検出する方法は、公知の方法を用いることができる。
例えば、ＳＩＦＴ作用素を用いた特徴点の検出方法では、拡大又は縮小を行った際に、形状が急激に変化するスケールの極値を利用する。

ＳＩＦＴ作用素を用いた特徴点の検出方法では、様々なスケールのＬｏＧ（Ｌａｐｌａｃｉａｎ ｏｆ Ｇａｕｓｓｉａｎ）フィルタをかけたとき、特徴点として用いるのに適切なスケールの極値をもつことを利用する。実際には、ＬｏＧフィルタの代わりに、標準偏差を様々に変えたガウス関数を用いて画像を平滑化し、その差を計算するＤｏＧ（Ｄｉｆｆｅｒｅｎｃｅ ｏｆ Ｇａｕｓｓｉａｎ）フィルタを用いて、ＬｏＧフィルタに近似させる。

図５は、スケールσとＤｏＧフィルタ出力値の一例を示す特性図である。
図５（ａ）に示すような、所定のパターンが形成された画像情報について、スケールσを変更してＤｏＧフィルタの出力値を検出した特性図が、図５（ｂ）である。
図示した例では、ＤｏＧフィルタの出力値が最も大きくなるスケールσの極値が、１０．１５程度であることがわかる。
画像特徴点検出部４２は、図５（ａ）の画像情報上の特徴点の候補位置と、図５（ｂ）で得られるスケールσとを決定する。
このことにより、画像特徴点検出部４２は、スケール変化に対して、不変の特徴量をもつ特徴点を選択することができる。

図６は、ＳＩＦＴ特徴量を用いて検出した特徴点の説明図である。
図６では、垂直面３３〜３５及び差し込み口３１〜３２を含むパレット３の前面６１に特徴点が多く現れている。特に、第１領域６２及び第２領域６３に示すように、パレット３が床面と接するエッジ部分であって、差し込み口３１〜３２の近傍に特徴点が多く現れる。
スケールを変えた場合や、画像を回転させて、ＳＩＦＴ特徴量の算出を行った結果、同様にして、パレット３が床面と接するエッジ部分に多くの特徴点が現れる。

画像特徴点検出方法として、Ｈａｒｒｉｓ作用素を用いる方法が知られている。
Ｈａｒｒｉｓ作用素を用いる特徴点の検出方法では、所定領域内の画像を微少シフトさせた場合に、輝度値差の二乗和（ＳＳＤ：Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）が大きくなる点を検出する。
図７は、Ｈａｒｒｉｓ特徴点の検出方法に関する説明図である。
画像７０上に物体画像７１が存在するとして、画像７０上に設定される所定領域７２を微少シフトさせる場合を考える。
図７（ａ）に示すように、所定領域７２が物体画像７１上に設定されている場合、画像７０の微少シフトによる輝度値の変化が少ない。したがって、この場合には、どの方向に移動させても、特徴点を検出することは難しい。

図７（ｂ）に示すように、所定領域７２が物体画像７１のエッジ上に設定されている場合、図の上下方向への移動に対しては、輝度値の変化は少ないが、図の左右方向への移動に対しては、輝度値の変化が大きくなる。したがって、図の左右方向に画像７０を移動させて、縦方向のエッジを特徴点として検出できる。
また、図７（ｃ）に示すように、所定領域７２が物体画像７１のコーナー付近に設定されている場合、画像７０をいずれの方向に移動させても、輝度値の変化が大きくなる。したがって、認識対象である物体のコーナー位置を特徴点として検出できる。

このようなＨａｒｒｉｓ作用素を用いる特徴点の検出方法によれば、図７（ｄ）に示すように、床面７３上に物体７４が載置されている場合に、床面７３と接するコーナー７５を特徴点として検出できる。例えば、コーナー７５を含む所定領域７６を微少シフトして、輝度値の二乗和に基づいて、特徴点を検出できる。

図８は、Ｈａｒｒｉｓ作用素を用いて検出した特徴点の説明図である。
図８では、垂直面３３〜３５及び差し込み口３１〜３２を含むパレット３の前面８１に特徴点が多く現れる。特に、第１領域８２、第２領域８３、第３領域８４に示すように、パレット３の垂直面３３〜３５が床面と接するエッジ部分に特徴点が多く現れる。
スケールを変えた場合や、画像を回転させて、Ｈａｒｒｉｓ特徴量の算出を行った結果、同様にして、垂直面３３〜３５が床面と接するエッジ部分に多くの特徴点が現れる。
このことから、三次元画像情報から検出した特徴点のうちから、所定の幾何的条件を満たす特徴点のグループをマッチング候補点として抽出すれば、効率良くパターンマッチングを行うことができる。

（５）画像特徴点検出〜パターンマッチング処理
パターンマッチング部４４は、画像特徴点検出部４２により検出された特徴点に基づいて、マッチング候補点の特徴量を二次元モデルのデータの特徴量と比較して、画像上の物体の認識・識別を行う。この画像特徴量検出処理〜パターンマッチング処理を以下に詳述する。
図９は、画像特徴量検出処理〜パターンマッチング処理のフローチャートである。図９では、三次元画像情報が入力された後の処理を示すものであり、図３のステップＳ３０３〜ステップＳ３０５に対応する処理を示す。
ステップＳ９０１において、画像特徴点検出部４２は、三次元画像上の点群から特徴点を検出する。具体的には、画像特徴点検出部４２が、Ｈａｒｒｉｓ作用素を用いた特徴点の検出方法を用いて、三次元画像上の特徴点を抽出する。

ステップＳ９０２において、パターンマッチング部４４は、幾何的条件によるマッチング候補点の抽出を行う。例えば、パレット３の前面に位置する垂直面３３〜３５に対応する３点の特徴点を抽出する場合、各特徴点の間隔が所定の規格に合致するような距離であり、各特徴点を結ぶ線分の角度が所定範囲であるような幾何的条件が設定される。

図１０は、特徴点間の幾何的条件を示す説明図である。
前述したように、パレット３を撮影した３次元画像情報にＨａｒｒｉｓ作用素を用いた特徴点の検出を行う場合、パレット３の前面下部に位置する３点を特徴点として抽出できる。
３つの特徴点は、それぞれ、パレット３の垂直面３３〜３５が床面と接するエッジに対応して現れる。したがって、３つの特徴点は、ほぼ直線上に並んで現われる。
このことから、第１特徴点と第２特徴点とを結ぶ線分と、第１特徴点と第３特徴点とを結ぶ線分とが、１８０度に近い角度範囲であるような３つの特徴点を抽出することで、パレット３の前面形状に対応する特徴点を抽出できる。

図１０に示すように、３つの特徴点のうち、中央に位置する特徴点を第１特徴点９１とし、その両側に第２特徴点９２、第３特徴点９３があるとする。
第１特徴点９１と第２特徴点９２との距離α１、第１特徴点９１と第３特徴点９３との距離α２、第２特徴点９２と第３特徴点９３との距離をβとする。また、第１特徴点９１と第２特徴点９２とを結ぶ線分９４と、第１特徴点９１と第３特徴点９３とを結ぶ線分９５とがなす角度をθとする。

パレット３が規格に合致したサイズである場合、第１特徴点９１〜第３特徴点９３間の距離α１、α２、βの値は、所定範囲内となる。例えば、日本で多く使用されているＴ１１型のパレットのサイズは、１１００×１１００×１４４（ｍｍ）である。したがって、距離α１、α２の値は約５００（ｍｍ）、距離βの値は約１０００（ｍｍ）であると考えられる。
このことから、距離α１、α２が３４０（ｍｍ）〜６００（ｍｍ）の範囲、距離βが８００（ｍｍ）〜１０５０（ｍｍ）の範囲という幾何的条件を設定できる。

また、第１特徴点９１〜第３特徴点９３はほぼ直線上にあることから、角度θはほぼ１８０度になる。したがって、ｃｏｓθの値が−０．９５以下であるという幾何的条件を設定できる。
このような幾何的条件を設定することにより、パレット３の参照パターンとパターンマッチングするための３つの特徴点を安定して抽出できる。

図１１は、幾何的条件を適用して抽出したマッチング候補点の説明図である。
このような幾何的条件を適用することにより、図１１に示すように、パレット３の垂直面３３〜３５の下端エッジに対応するマッチング候補点１０１〜１０３を抽出できる。
ただし、パレット３が存在していない第１領域１０５、第２領域１０６においても、同様の特徴を有するマッチング候補が存在している。
第１領域１０５及び第２領域１０６に存在するマッチング候補を排除するためには、特徴点に対して特定の幾何的条件を満たす補間点を設定する。
ステップＳ９０３において、パターンマッチング部４４は、マッチング候補として抽出された特徴点に基づいて、特徴点に対して特定の幾何的条件を満たす補間点を決定する。

図１２は、特徴点と補間点との関係を示す説明図である。
図１２では、図１におけるパレット３を撮影した画像をパレット１１１として示し、垂直面３３〜３５に対応する画像を垂直面１１２〜１１４として示す。
図１２に示す画像では、床面１１０上にパレット１１１が載置されており、パレット１１１の前面に垂直面１１２，１１３，１１４を有している。この垂直面１１２，１１３，１１４と、床面１１０の一部により形成される折れ曲がった折曲面に対応する第１領域１１５，第２領域１１６，第３領域１１７が存在している。特徴点１１８，１１９，１２０は、第１領域１１５，第２領域１１６，第３領域１１７において、垂直面１１２，１１３，１１４と床面１１０とが接する位置に現れる。

第１領域１１５及び第２領域１１６の中間、第２領域１１６及び第３領域１１７の中間には、それぞれ床面１１０からパレット１１１の内方に連続する平面に対応する第４領域１２１，第５領域１２２が存在する。この第４領域１２１及び第５領域１２２に、それぞれ補間点１２３、１２４を設定する。
制御部は、特徴点１１８，１１９，１２０と、補間点１２３，１２４とをマッチング候補点として抽出する。

ステップＳ９０４において、特徴量算出部４３は、マッチング候補点のそれぞれについて、特徴量を算出する。特徴量の算出は、各マッチング候補点について、法線方向ベクトルが、周辺特徴点の法線ベクトルとなす角度に基づいて生成される法線方向ヒストグラムにより算出できる。具体的には、ＦＰＦＨ（Ｆａｓｔ Ｐｏｉｎｔ Ｆｅａｔｕｒｅ Ｈｉｓｔｇｒａｍｓ）を用いることができる。

図１３及び図１４は、ＦＰＦＨによる特徴量算出方法の説明図である。
図１３に示すように、対象となる特徴点Ｐｓに対して、近傍点Ｐｋ１〜Ｐｋ５、Ｐ６〜Ｐ１１を設定する。
図１４に示すように、特徴点Ｐｓの法線ｎｓと、近傍点Ｐｔの法線ｎｔとの３次元座標ｕ，ｖ，ｗに対する角度差α、φ、θを求める。
特徴点Ｐｓの法線ｎｓと、１１個の近傍点Ｐｔの法線ｎｔとの角度差α、φ、θにより、１８０度を１１分割したヒストグラムを３つ並べて、３３次元のヒストグラムを構成する。

図１５は、ＦＰＦＨ特徴量を示すグラフである。
前述したようにしてＦＰＦＨによる特徴量をグラフ化すると、図１５に示すように、角度差α、φ、θについて、頻度（％）が縦軸に現れる。
このようにして、制御部は、マッチング候補点として抽出した特徴点１１８，１１９，１２０と、補間点１２３，１２４とにおけるＦＰＦＨ特徴量を算出する。

ステップＳ９０５において、制御部は、モデル保存部４５に記憶されている二次元モデルのデータを読み出す。
ＦＰＦＨ特徴量を用いたパターンマッチングを行う場合、認識対象である物体の撮影した画像に基づいて、ＦＰＦＨ特徴量を予め算出して、これを二次元モデルのデータとしてモデル保存部４５に記載する。

ＦＰＦＨ特徴量の算出は、例えば、パレット３を距離や角度を変更した様々な条件で撮影した所定数の画像から行われる。さらに、算出されたＦＰＦＨ特徴量の平均値と分散値を算出し、これを特徴点のモデルとする。ＦＰＦＨ特徴量の平均値を３３個、分散値を３３個の計６６個の値を１つの特徴点のモデルとする場合、パレット３の前面に位置する３つの特徴点１１８，１１９，１２０について、１９８個の値をパレット３の特徴として、モデル保存部４５に記憶する。

また、特徴点１１８，１１９，１２０の中間点である補間点１２３，１２４についても、同様に、ＦＰＦＨ特徴量が算出され、モデル保存部４５に保存される。
図１６は、マッチング候補点のＦＰＦＨ特徴量の説明図である。
図１６（ａ）は、パレット３の前面における中心に位置する特徴点１１９のＦＰＦＨ特徴量を示している。特徴点１１９では、パレット３の前面中央に位置していることから、近傍点との法線方向の角度差が安定している。
図１６（ｂ）は、パレット３の前面における左右に位置する特徴点１１８，１２０のＦＰＦＨ特徴量を示している。特徴点１１８，１２０では、パレット３の側面にある特徴点の影響を受けて、近傍点との法線方向の角度差が安定しておらず、角度差θに対応する右側のグラフにおける分散値が大きくなっている。
図１６（ｃ）は、角がない平面に位置する補間点１２３，１２４のＦＰＦＨ特徴量であって、角度差φに対応する中央のグラフにおけるバラツキが小さくなっている。

ステップＳ９０５では、パターンマッチング部４４は、モデル保存部４５に保存されている３つの特徴点と２つの補間点のＦＰＦＨ特徴量を読み出す。
ステップＳ９０６において、パターンマッチング部４４は、マッチング候補点の特徴量と、二次元モデルの特徴量とを照合する。具体的には、読み出された二次元モデルのＦＰＦＨ特徴量と、特徴量算出部４３により算出されたマッチング候補点のＦＰＦＨ特徴量との差分を算出し、差分の最も小さいマッチング候補点のグループを選択する。

ステップＳ９０７において、パターンマッチング部４４は、認識結果（物品の位置）を出力する。具体的には、二次元モデルのデータに最も類似すると判断されたマッチング候補点のグループについて、各特徴点の三次元座標を用いて、物体の位置を計算する。

以上のようにした手順で、三次元画像に撮影されたパレット３の画像の位置を認識できる。この場合、パターンマッチングを行うためのマッチング候補点を、所定の幾何的条件を満たす特徴点により抽出していることから、演算負荷を低減することが可能となる。
また、特徴点に対して、所定の幾何的条件を満たす補間点をマッチング候補点として設定しているので、パターンマッチングの精度を向上できる。

（６）実施形態の特徴
物体認識装置（例えば、物体認識装置２２）は、モデル保存部（例えば、モデル保存部４５）と、三次元画像入力部（例えば、三次元画像入力部４１）と、画像特徴点検出部（例えば、画像特徴点検出部４２）と、特徴量算出部（例えば、特徴量算出部４３）と、パターンマッチング部（例えば、パターンマッチング部４４）とを備える。モデル保存部（モデル保存部４５）は、認識対象である物体表面の点の集合及び各点を結んで構成される線分の集合によって定義される物体（例えば、パレット３）の幾何的特徴を表すモデルのデータを保存する。三次元画像入力部（三次元画像入力部４１）は、物体が含まれる三次元画像を入力する。画像特徴点検出部（画像特徴点検出部４２）は、三次元画像における特徴点（例えば、特徴点１１８，１１９，１２０）を検出する。特徴量算出部（特徴量算出部４３）は、三次元画像上の各点における特徴量（例えば、ＦＰＦＨ特徴量）を算出する。パターンマッチング部（パターンマッチング部４４）は、画像特徴点検出部（画像特徴点検出部４２）で検出された特徴点（特徴点１１８，１１９，１２０）と、特徴点（特徴点１１８，１１９，１２０）に対して特定の幾何的条件（特徴点の中間点）を満たす補間点（補間点１２３，１２４）とにおける特徴量に基づいて、モデルのデータとの類似度を比較することで物体の認識を行う。
物体の形状によっては、モデル上の特徴点ではない点に、物体の特徴を表す点が出現する場合がある。このような点を、特徴点と特定の幾何的条件を満たす補間点とすることで、パターンマッチングを行う際の特徴点のダウンサンプリングが可能となり、その結果、背景に存在する他の特徴点と識別して、物体の認識を確実に行うことができる。また、これにより、パターンマッチング処理の演算負荷を軽減できる。

（７）他の実施形態
以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、発明の要旨を逸脱しない範囲で種々の変更が可能である。特に、本明細書に書かれた複数の実施形態及び変形例は必要に応じて任意に組み合せ可能である。

前記実施形態では、画像特徴点検出部４２は得られた三次元画像の全ての領域において特徴点を検出していた。しかし、同時に得られる二次元画像に基づいて、三次元画像の領域を予め限定していてもよい。例えば、ステレオカメラ５１のいずれか１つのカメラは、三次元画像とほぼ同一視点で撮影されたパレット３を含む二次元画像を入力する二次元画像入力部として機能する。また、二次元画像処理部（図示せず）が、二次元画像におけるパレットの画像特徴を抽出する。この抽出動作は高速に行われる。続いて、二次元画像処理部は、抽出されたパレットのカメラ座標（水平方向、垂直方向）をキャリブレーションによって、カメラ位置を原点とする現実世界の座標に変換する。
画像特徴点検出部４２は、三次元画像に対して、二次元画像処理部によって絞られたパレットの画像特徴に対応する領域について、特徴点を検出する。この場合、二次元画像により特定された物体の画像特徴に対応する領域において特徴点を検出していることから、通常の三次元画像からの特徴点の抽出に比して演算負荷を軽減でき、高速化が可能になる。
特徴量算出部４３は、三次元画像において前記領域にある特徴点における特徴量を算出する。パターンマッチング部４４は、三次元画像において前記領域にある特徴点の特徴量を用いる。
なお、二次元画像を取得するカメラは、三次元画像を取得するカメラと別に設けられていてもよい。

補間点は、少なくとも２個の特徴点に特定の幾何的条件を満たす点であれば何でもよく、２個の特徴点の中間点でなくてもよい。例えば、ＳＩＦＴのオリエンテーション又はＩＳＳの主方向を使って、それらの極値、変曲点としてもよく、又は２個の特徴点の方向の線分に交差する線分の一点であってもよい。

本発明は、三次元画像から物体を認識する認識装置に適用でき、例えば、無人搬送車や無人フォークリフトなどに搭載される物体認識装置に適用可能である。

２ 無人フォークリフト
３ パレット
２１ 本体部
２２ 物体認識装置
３１ 差し込み口
３２ 差し込み口
３３ 垂直面
３４ 垂直面
３５ 垂直面
４１ 三次元画像入力部
４２ 画像特徴点検出部
４３ 特徴量算出部
４４ パターンマッチング部
４５ モデル保存部
５１ ステレオカメラ
５２ フレームメモリ
５３ 画像バス
５４ 二次元特徴点検出部
５５ 対応付け処理部
５６ 座標算出部
６１ 前面
６２ 第１領域
６３ 第２領域
７０ 画像
７１ 物体画像
７２ 所定領域
７３ 床面
７４ 物体
７５ コーナー
７６ 所定領域
８１ 前面
８２ 第１領域
８３ 第２領域
８４ 第３領域
９１ 第１特徴点
９２ 第２特徴点
９３ 第３特徴点
１１０ 床面
１１１ パレット
１１２ 垂直面
１１３ 垂直面
１１４ 垂直面
１１５ 第１領域
１１６ 第２領域
１１７ 第３領域
１１８ 特徴点
１１９ 特徴点
１２０ 特徴点
１２１ 第４領域
１２２ 第５領域
１２３ 補間点
１２４ 補間点

Claims (12)

1. 認識対象である物体表面の点の集合及び各点を結んで構成される線分の集合によって定義される物体の幾何的特徴を表すモデルのデータを保存するモデル保存部と、
   前記物体が含まれる三次元画像を入力する三次元画像入力部と、
   前記三次元画像における特徴点を検出する画像特徴点検出部と、
   前記三次元画像上の各点における特徴量を算出する特徴量算出部と、
   前記画像特徴点検出部で検出された特徴点と、前記特徴点に対して特定の幾何的条件を満たす補間点とをパターンマッチングのためのマッチング候補点のグループとし、各グループに含まれるマッチング候補点の特徴量に基づいて、前記モデルのデータとの類似度を比較することで前記物体の認識を行うパターンマッチング部と、
   を備える物体認識装置。
2. 前記パターンマッチング部は、前記画像特徴点検出部で検出された特徴点から、所定の幾何的条件を満たす所定数の特徴点を前記マッチング候補点として抽出する、請求項１に記載の物体認識装置。
3. 前記補間点は、１対又は複数対の特徴点の中間点である、請求項１又は２に記載の物体認識装置。
4. 前記パターンマッチング部は、前記特徴量算出部が前記マッチング候補点のそれぞれについて作成されるヒストグラムに基づいて、前記物体の認識を行う、請求項１〜３のいずれかに記載の物体認識装置。
5. 前記特徴量算出部は、ＦＰＦＨ（Ｆｉｒｓｔ Ｐｏｉｎｔ Ｆｅａｔｕｒｅ Ｈｉｓｔｏｇｒａｍ）により記述されるヒストグラムを作成する、請求項４に記載の物体認識装置。
6. 前記物体は、３個の特徴点を有するパレットであり、
   前記所定の幾何的条件を満たす所定数の特徴点とは、３個の特徴点の特徴点のなす角度が所定範囲内である３個の特徴点である、請求項２又は３に記載の物体認識装置。
7. 前記三次元画像入力部は、ＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）カメラ、又はステレオカメラを有する、請求項１〜６のいずれかに記載の物体認識装置。
8. 前記画像特徴点検出部は、Ｈａｒｒｉｓ処理、又はＳＩＦＴ（Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）処理することにより、前記特徴点を検出する、請求項１〜７のいずれかに記載の物体認識装置。
9. 前記三次元画像とほぼ同一視点で撮影された前記物体を含む二次元画像を入力する二次元画像入力部と、
   前記二次元画像における前記物体の画像特徴を検出する二次元画像処理部と、
   をさらに備えている、請求項１〜８のいずれかに記載の物体認識装置。
10. 前記画像特徴点検出部が前記特徴点の検出を行うのは、前記三次元画像において、前記二次元画像処理部において検出された前記物体の画像特徴に対応する領域のみである、請求項９に記載の物体認識装置。
11. 前記特徴量算出部は、前記三次元画像において前記領域にある前記特徴点における特徴量を算出し、
    前記パターンマッチング部は、前記三次元画像において前記領域にある前記特徴点の前記特徴量を用いる、請求項１０に記載の物体認識装置。
12. 認識対象である物体表面の点の集合及び各点を結んで構成される線分の集合によって定義される物体の幾何的特徴を表すモデルのデータを保存するステップと、
    物体が含まれる三次元画像を入力するステップと、
    前記三次元画像における特徴点を検出するステップと、
    前記特徴点と、前記特徴点に対して特定の幾何的条件を満たす補間点とにおける特徴量を算出するステップと、
    前記特徴量に基づいて、前記モデルのデータとの類似度を比較して物体の認識を行うステップと、
    を備える物体認識方法。

Images