JP2004226197A - 物体識別方法および物体識別装置、並びに物体識別プログラム - Google Patents
物体識別方法および物体識別装置、並びに物体識別プログラム Download PDFInfo
- Publication number
- JP2004226197A JP2004226197A JP2003013444A JP2003013444A JP2004226197A JP 2004226197 A JP2004226197 A JP 2004226197A JP 2003013444 A JP2003013444 A JP 2003013444A JP 2003013444 A JP2003013444 A JP 2003013444A JP 2004226197 A JP2004226197 A JP 2004226197A
- Authority
- JP
- Japan
- Prior art keywords
- identification
- distance image
- dimensional
- candidates
- model database
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
【課題】照明変動、汚れ、および外形変動等にもロバストで、高速かつ高精度で物体を識別することを可能にする。
【解決手段】所定の物体の距離画像を計測する複数の距離画像計測手段と、識別すべき各物体毎の外接直方体の寸法値と、物体の各特徴点の3次元位置座標の値とを対応付けて記憶するモデルデータベースと、物体の外接直方体を求め、外接直方体の寸法値と類似する寸法値に対応する物体を物体候補としてモデルデータベースから検索し、検索された物体候補を一致度の高いものから順に並べた物体候補の識別リストを作成する第1の識別手段と、モデルデータベースに記憶されている寸法値と、特徴点の3次元位置座標とに基づいて、物体に定義した小ブロック毎に3次元形状比較を行い、各ブロック毎の形状類似度を評価し、類似度の低い物体候補を識別リストから削除する第2の識別手段とを備える。
【選択図】 図3
【解決手段】所定の物体の距離画像を計測する複数の距離画像計測手段と、識別すべき各物体毎の外接直方体の寸法値と、物体の各特徴点の3次元位置座標の値とを対応付けて記憶するモデルデータベースと、物体の外接直方体を求め、外接直方体の寸法値と類似する寸法値に対応する物体を物体候補としてモデルデータベースから検索し、検索された物体候補を一致度の高いものから順に並べた物体候補の識別リストを作成する第1の識別手段と、モデルデータベースに記憶されている寸法値と、特徴点の3次元位置座標とに基づいて、物体に定義した小ブロック毎に3次元形状比較を行い、各ブロック毎の形状類似度を評価し、類似度の低い物体候補を識別リストから削除する第2の識別手段とを備える。
【選択図】 図3
Description
【0001】
【発明の属する技術分野】
本発明は、物体識別方法および物体識別装置、並びに物体識別プログラムに関し、特に、3次元空間中の物体、特に、作業台の上に設置された3次元物体の識別に好適な物体識別方法および物体識別装置、並びに物体識別プログラムに関する。
【0002】
【従来の技術】
OA機器などの解体作業工程においては、作業効率が最も重要視される。一般に解体、分解作業現場では、様々な機種の分解を行う必要があるが、そのうち、分解手順の分からない機種が存在することが多々ある。このような場合には、作業者が色々と試行しながら分解を進めるか、もしくは分解手順マニュアルを参照する必要があり、作業効率が著しく低下してしまうという問題がある。ゆえに、解体手順を自動的に示してくれる提示装置に対する現場サイドの要求は高い。
このような要求に答えるため、機種毎に解体手順をデータベースとして保持し、作業状況に合わせて解体手順を作業者に提示する情報提示装置(ナビゲーションシステム)が考えられる。上記のような情報提示装置においては、作業者の邪魔にならず、また、バーコードなどが貼付されていないような旧機種などへも対応するため、機種の識別はイメージセンサなどを用いて非接触で行えることが望ましい。
上記解体作業工程においては、物品外観の(出荷時からの)変動状態を予め予測することは不可能である。よって、パターンマッチングに代表されるような見え方に基づく物体認識方法では、正しく識別するのは非常に困難である。このような変動に対してロバストな認識方法として、イメージセンサから得られる濃淡画像からエッジなどの特徴量を抽出し、この特徴量をベースにして認識を行う方法が多数提案されている(例えば、特許文献1参照)。
また、曲面物体にも対応できるように、レンジセンサを用いて物体表面までの距離を示す距離情報を取得して、形状ベースの認識を行う手法が多数提案されている。距離情報には照明変動や汚れの影響が含まれず、また曲面の情報も得られるため、精度の高い認識が可能である。例えば、物体モデルに対して3次元全周方向からのレンジデータを取得して、そのヒストグラムを予めデータベースとして保持し、計測レンジデータヒストグラムとマッチングすることによって、姿勢候補を得るようにしたものもある(例えば、特許文献2参照)。
また、三次元空間中の物体を撮像して得た距離画像と、同一の視点から二次元画像を得て、この二次元画像を利用してあらかじめ距離画像における検出物体の存在領域を限定しておき、この限定した領域の距離部分画像に対して物体の検出処理を行うことで認識の高速化を図っているものもある(例えば、特許文献3参照)。
【0003】
【特許文献1】
特開平5−157518号公報(図1)
【特許文献2】
特開平7−244737号公報(図1)
【特許文献3】
特開平7−287756号公報(図1)
【0004】
【発明が解決しようとする課題】
しかし、特許文献1に記載の方法では、濃淡画像からエッジを抽出する場合には、物体のエッジとともに、汚れのエッジも抽出されてしまうという問題があった。また、曲面が主体の物体の場合には、得られる特徴量(輪郭)が少なくなり、認識精度が低下するという問題もあった。
また、特許文献2に記載の方法では、ヒストグラムは位置座標の情報が失われているため、形状は異なるがレンジデータヒストグラムは同じ分布になるような場合には識別することができない。よって姿勢候補の推定には問題ないが、正確な物体識別を行う場合には、誤認識の恐れがあるという問題があった。
また、特許文献3に記載の方法では、二次元画像を利用して物体存在領域を限定しているので、照明などの環境変動の影響を受けやすいという問題があった。また、物体の慣性主軸の三次元空間中における位置姿勢を求め、この周りに物体を回転させてモデルとの一致度を調べるという手続きを踏んだ後にはじめて、物体とその姿勢が求まるので、識別精度は高いものの、識別結果が得られるまでに時間がかかるという問題があった。
このように、解体作業現場では、作業効率を落とさないよう、物体の識別を高速で行う必要があるが、従来の方法では、識別精度は高いものの、識別結果が得られるまでに時間がかかるという問題があった。
【0005】
本発明はこのような状況に鑑みてなされたものであり、照明変動や汚れ、外形の変形に対してロバストであり、解体作業工程などにおける作業者に、短時間で物体識別候補を提示するとともに、精度の高い識別を実現することができるようにするものである。
【0006】
【課題を解決するための手段】
本発明の物体識別方法は、所定の物体の距離画像を互いに異なる複数の位置から計測する距離画像計測ステップと、物体の外接直方体を求め、外接直方体の寸法値と類似する寸法値に対応する物体を物体候補として、識別すべき各物体毎の外接直方体の寸法値と、物体の各特徴点の3次元位置座標の値とを対応付けて記憶するモデルデータベースから検索し、検索された物体候補を一致度の高いものから順に並べた物体候補の識別リストを作成する第1の識別ステップと、モデルデータベースに記憶されている寸法値と、特徴点の3次元位置座標とに基づいて、物体に定義した小ブロック毎に3次元形状比較を行い、各ブロック毎の形状類似度を評価し、類似度の低い物体候補を識別リストから削除する第2の識別ステップとを備えることを特徴とするものである。これにより、照明変動や汚れまたは外形変動等にもロバストで、高速かつ高精度で物体を識別することができる。
本発明の物体識別装置は、所定の物体の距離画像を計測する複数の距離画像計測手段と、識別すべき各物体毎の外接直方体の寸法値と、物体の各特徴点の3次元位置座標の値とを対応付けて記憶するモデルデータベースと、物体の外接直方体を求め、外接直方体の寸法値と類似する寸法値に対応する物体を物体候補としてモデルデータベースから検索し、検索された物体候補を一致度の高いものから順に並べた物体候補の識別リストを作成する第1の識別手段と、モデルデータベースに記憶されている寸法値と、特徴点の3次元位置座標とに基づいて、物体に定義した小ブロック毎に3次元形状比較を行い、各ブロック毎の形状類似度を評価し、類似度の低い物体候補を識別リストから削除する第2の識別手段とを備えることを特徴とするものである。これにより、照明変動や汚れまたは外形変動等にもロバストで、高速かつ高精度で物体を識別することができる。
また、識別リストの物体候補を一致度の高い順に所定の作業者に提示する物体候補提示手段と、物体候補のうち、作業者によって判定指示されたものを検出する指示検出手段とをさらに備えるようにすることができる。これにより、作業者が物体候補の中から最終的に物体を選択指示することができる。
また、各距離画像計測手段と同一の視点に設置され、物体の輝度画像を撮像する複数の撮像手段と、各撮像手段によって撮像された輝度画像と、各距離画像計測手段によって計測された距離画像とに基づいて、物体以外の変動領域としてのオクルージョン領域を検出し、オクルージョン領域に対応する領域を距離画像から除去するオクルージョン除去手段とをさらに備えるようにすることができる。これにより、作業者の手や腕等が物体を遮っている場合でも、物体を識別することができる。
また、距離画像計測手段は、物体を設置する所定の作業台を囲むように、互いに異なる複数の位置に配置され、距離画像計測手段は、物体が作業台に存在しない状態での距離画像を背景画像とし、物体が作業台に存在する状態での距離画像と背景画像の差分を抽出して物体領域の距離画像とすることができる。これにより、照明変動などに左右されず、安定して物体のみの距離画像を得ることができる。
また、物体に対応する物体モデルが予め複数の小ブロックに分割され、特徴点が属する小ブロックの属性が、物体の各特徴点の3次元位置座標の値に対応付けてモデルデータベースに記憶されるようにすることができる。これにより、小ブロック毎の形状類似度を求めることができ、外形変動にもロバストで精度の高い物体識別を行うことができる。
また、第1の識別手段は、抽出された物体の距離画像を作業台上に設置したワールド座標系の水平面上に射影して形成された射影距離画像の重心と、慣性主軸の方向から、物体に外接する仮想的な外接直方体を求め、外接直方体の寸法値を基にモデルデータベースを参照し、寸法値の類似する物体候補を一致度の高い順に識別リストにリストアップするようにすることができる。これにより、高速に物体候補を作業者に提示することができる。
また、第2の識別手段は、識別リストの物体候補に対して、モデルデータベースを基に物体に対応する物体モデルを小ブロックに分割し、小ブロック毎に詳細形状を物体モデルと比較し、小ブロックの形状類似度を評価して、類似度の低い物体候補を識別リストから削除するようにすることができる。これにより、高精度で類似度の低い物体候補を識別リストから削除することができる。
また、オクルージョン除去手段は、物体候補の各特徴点を、撮像手段で撮影された輝度画像中に逆透視投影し、オクルージョン領域に含まれる各特徴点が属する物体モデルの小ブロックを、第2の識別手段によって行われる形状比較の対象から除外するようにすることができる。これにより、作業者の手や腕等が物体を遮っている場合でも、物体を高精度で識別することができる。
本発明の物体識別プログラムは、所定の物体の距離画像を互いに異なる複数の位置から計測する距離画像計測ステップと、物体の外接直方体を求め、外接直方体の寸法値と類似する寸法値に対応する物体を物体候補として、識別すべき各物体毎の外接直方体の寸法値と、物体の各特徴点の3次元位置座標の値とを対応付けて記憶するモデルデータベースから検索し、検索された物体候補を一致度の高いものから順に並べた物体候補の識別リストを作成する第1の識別ステップと、モデルデータベースに記憶されている寸法値と、特徴点の3次元位置座標とに基づいて、物体に定義した小ブロック毎に3次元形状比較を行い、各ブロック毎の形状類似度を評価し、類似度の低い物体候補を識別リストから削除する第2の識別ステップとをコンピュータに実行させることを特徴とするものである。これにより、照明変動や汚れまたは外形変動等にもロバストで、高速かつ高精度で物体を識別することができる。
【0007】
【発明の実施の形態】
図1は、本発明の物体識別装置の一実施の形態の外観図である。本実施の形態は、図1に示すように、物体を設置する作業台1と、距離画像計測手段を備えている。図1の場合、距離画像計測手段はレンジファインダであり、レンジファインダ2,3によって距離画像を取得する。そして、物体が作業台1上に存在しない状態での距離画像を背景画像とし、距離画像の背景差分を行って対象物体領域を抽出する。
【0008】
ここでの距離画像とは、図2に示すように、各画素の計測物体20の各観測点(厳密には光学中心)からの距離がその画素の値となっている2次元画像のことを言う。なお、レンジファインダ2,3には、投光器2bと撮像器2aとの組、および投光器3bと撮像器3aの組を用い、投光器2b,3bがそれぞれ撮像方向とは異なる方向から計測物体20にスリット光や縞パターンを投光して、物体表面によって変形された投光パターン画像を撮像器で観測し、三角測量の原理を適用して各画素の奥行を計測するものを用いる。もしくは、赤外線やレーザなどを対象物体に照射し、その反射波を計測して、反射時間から対象物体までの距離を計測するレンジファインダなどを用いる。
【0009】
図3は、本発明の全体構成例を示すブロック図である。同図に示すように、本実施の形態は、レンジファインダ2,3と、レンジファインダ2,3によってそれぞれ撮像された画像と背景距離画像との差分をとり、背景差分距離画像として出力する差分器31と、計測物体の濃淡画像を撮像する撮像器4,5と、撮像器4,5によって撮像されたオクルージョン画像と、背景差分距離画像とに基づいてオクルージョンを除去するオクルージョン除去手段32と、物体モデルデータベース35と、計測物体に対して定義された後述する外接直方体から物体を識別する第一の識別手段33と、後述する一致度を求めて物体を識別する第二の識別手段34と、計測物体20の認識結果としての物体候補のリストである識別リスト36と、識別リストの物体候補を一致度の高いものから順に作業者に提示する物体候補提示手段37等により構成されている。
【0010】
ここで、外接直方体とは、慣性主軸方向に平行な辺を有し、計測物体20が入る最小の直方体、即ち、直方体の6面のそれぞれが少なくとも一点において計測物体20の表面と接する直方体のことである。また、慣性主軸方向は、射影図形が決まれば所定の演算によってほぼ一意に決まる。
【0011】
図4は、距離画像の射影を示す図である。作業台1上には、作業台中心を原点とするワールド座標系が設けられている。このワールド座標系における3次元空間をマッチング空間とする。距離画像計測手段で計測された物体距離画像を上記マッチング空間中にプロットすることで、物体表面位置がマッチング空間中に仮想的に再構築される(3次元物体表面位置画像)。
【0012】
また、識別すべき物体ごとに、物体の外接直方体の寸法値と、物体特徴点の3次元位置座標の配列とを保持した物体モデルデータベース35を備えている。なお、上記物体モデルの3次元位置座標は、物体重心を通る鉛直軸と作業台面との交点を原点とし、作業台1の面(水平面)に射影した物体の慣性主軸方向と、それに垂直な軸を基準座標系とする。また、計測物体20に対応する物体モデルは予め複数の小ブロックに分割され、上記3次元位置座標の配列に該特徴点が属するブロックの属性が割り当てられている。
【0013】
第一の識別手段では、図4に示すように、まず、上記マッチング空間中に再構築された3次元物体表面位置画像を、上記ワールド座標系の水平面(Z−X平面)上に射影し、射影画像を得る。そして、射影画像の重心と慣性主軸の方向(慣性主軸方向)とを求める。
【0014】
次に、慣性主軸方向と、慣性主軸方向に垂直な方向を基準座標系とするように、上記3次元物体表面位置画像に対して座標変換(y軸周りの回転変換)を施す。そして、変換座標系における各最大位置座標値、最小位置座標値を求めることで、外接直方体の寸法を求める。次に、直方体の寸法を基に物体モデルデータベース35を検索し、寸法の類似する物体候補を一致度の高い順に識別リスト36にリストアップする。
【0015】
第二の識別手段では、上記マッチング空間において、上記座標変換された3次元物体表面位置画像と、物体モデルとの形状マッチングを行う。識別リスト36の物体候補に対して、上記物体モデルデータベース35を基に物体モデルを小ブロックに分割し、小ブロックごとに一致度を評価する。
【0016】
物体モデルデータベース35から上記小ブロック中に存在するモデル特徴点の位置座標を参照し、特徴点位置座標を中心としてその周りに3次元探索領域を設ける。3次元探索領域内に計測点(3次元物体表面位置画像中のON画素)が見つかった場合、特徴点から計測点までの距離に応じて一致度を算出する。一致度は距離が大きくなるほど小さくなるように、例えば、次式(1)のように計算すればよい。
【0017】
M = 1 − ar/B ・・・式(1)
ただし、
M: 一致度
r: モデル特徴点から計測点までの距離
a: 定数
B: 3次元探索領域のサイズ
【0018】
なお、探索領域のサイズは、各特徴点を中心として探索領域を設置したとき、各探索領域同士がそれぞれが干渉しない大きさに設定する。小ブロック内の各特徴点に対して、上述したように一致度の評価を行い、例えばその平均値によって小ブロックの形状類似度を算出する。
【0019】
このように、小ブロックごとに詳細形状を物体モデルと比較し、ブロックの形状類似度を評価して、全体的に類似度の低い物体候補は対象物体でないと判定し、識別リスト36から削除する。また、形状類似度の低いブロックが所定数を越えたら、比較途中段階で打ち切り、識別リスト36から該当する物体候補を削除して、次の候補に移る。
【0020】
また、形状類似度を評価する際の上記小ブロックの重み付け係数を、モデルデータベースに予め登録しておいても良い。このようにすることで、比較的変形を受け易い部分など、変動が大きいと予測される部分の、マッチングへの影響力をコントロールしてロバスト性を更に向上させることができる。
【0021】
また、物体候補提示手段37は、識別リスト36の物体候補の情報(画像や評価情報)を、一致度の高い順に作業者に提示する。また、図示せぬ指示検出手段は、リストアップされた候補中から作業者が対象機種を特定し、物体識別装置に与える指示を検出するもので、物体候補提示手段37と指示検出手段をタッチパネルとポイント位置検出装置で構成したり、あるいはキーボードや音声指示入力装置などで構成することができる。
【0022】
また、オクルージョン除去手段32は、作業者の腕、手など、物体領域以外の変動領域をオクルージョンとして検出し、比較対照から除外する処理を行う。なお、作業者には特定単一色の作業着(腕部分と手袋)を着用してもらうことを前提とする。
【0023】
各距離画像計測手段と同一の視点に撮像手段としての撮像器4,5を設置する。この撮像手段から得られる画像から、特定の色・輝度の領域を抽出して、オクルージョン領域として検出し、オクルージョン画像を得る。同一視点から濃淡画像と距離画像とを取得するためには、投光法による計測の場合、投光時には距離画像を取得し、非投光時には濃淡画像を取得することで対応することができる。また、赤外線レンジファインダやレーザレンジファインダを用いる場合には、ハーフミラーを介して撮像器(イメージセンサ)を同一光軸上に配置するなどして対応することができる。
【0024】
図5に示すように、オクルージョン除去手段32は、レンジファインダ2,3から得られた背景差分距離画像と、撮像手段である撮像器4,5から得られる輝度画像(濃淡画像)とに基づいて、上記オクルージョン画像の検出オクルージョン領域(ON画素)に対応する情報を上記背景差分距離画像から除去して、上記マッチング空間にプロットする。このように、オクルージョン領域が除去された状態の背景差分距離画像をマッチング空間中にプロットすることで、作業者の腕などの領域が、マッチング空間中にプロットされてしまうことがなくなり、物体の重心、慣性主軸の方向検出時の誤差の増大を防ぐことができる。
【0025】
また同時に、物体モデルデータベース35の小ブロック代表特徴点(例えば、小ブロックの頂点付近の特徴点)群に対して、上記座標変換の逆変換を行った後、図6に示すように、上記オクルージョン画像中に逆透視投影する。そして、各ブロックがオクルージョン領域と交差しているかどうかを判別し、オクルージョン領域に含まれる物体モデルの小ブロックについては、形状比較を行わないようにする。このように、オクルージョン検出結果からモデル比較対照領域を限定することで、比較処理の効率を向上させるとともに、オクルージョンに起因する形状比較精度の劣化を防止することができる。
【0026】
次に、図7及び図8のフローチャートを参照して、本実施の形態の動作について詳細に説明する。まず最初に、ステップS1において、レンジファインダ2,3により距離画像が取り込まれ、撮像器4,5により輝度画像が取り込まれる。次に、ステップS2において、差分器31により、レンジファインダ2,3によって取り込まれた距離画像から背景距離画像が引かれて背景差分距離画像が得られる。
【0027】
一方、ステップS3において、撮像器4,5によって撮像された輝度画像から、上述したように、特定の色や輝度の領域を抽出する等の方法により、オクルージョン領域が検出され、その領域に対応するオクルージョン画像が抽出される。次に、ステップS4において、背景差分距離画像からオクルージョン領域の部分が除去された距離画像が得られる。
【0028】
次に、ステップS5において、背景差分距離画像を3次元マッチング空間にプロットし、3次元物体表面位置画像を得る。次に、ステップS6において、3次元物体表面位置画像の、Z−X平面(水平面)への射影画像を得る。次に、ステップS7において、射影画像の重心、慣性主軸方向を算出する。次に、ステップS8において、慣性主軸方向が基準座標軸となるように3次元物体表面位置画像を座標変換し、ステップS9において、3次元物体表面位置画像の外接直方体を求める。
【0029】
次に、ステップS10において、物体モデルデータベース35を参照し、外接直方体の寸法の類似度の高い物体候補から順に識別リスト36にリストアップする。ステップS11においては、識別リスト36に物体候補があるか否かが判定される。識別リスト36に物体候補がないと判定された場合、ステップS12に進み、物体候補提示手段37により識別不能と提示され、本処理を終了する。一方、識別リスト36に物体候補があると判定された場合、ステップS13に進む。
【0030】
物体候補がある場合、物体候補をタッチパネルの画面に表示することにより作業者への物体候補の提示が行われるので、作業者はタッチパネルの画面に表示された物体候補を確認して最終判別を行い、該当する物体候補が表示された部分を指で押圧することにより判定指示を行う。
【0031】
ステップS13においては、作業者からの判定指示を検出したか否かが判定され、作業者からの判定指示が検出された場合、本処理を終了する。一方、作業者からの判定指示が検出されなかった場合、ステップS14に進む。
【0032】
ステップS14においては、射影画像の重心、および慣性主軸方向に一致するように、物体候補の代表特徴点を回転させ、平行移動させる。次に、ステップS15において、回転および平行移動された代表特徴点をオクルージョン画像中に逆透視投影する。次に、ステップS16において、オクルージョン領域に含まれる代表特徴点の属するブロックを形状比較対照から除外する。
【0033】
次に、ステップS17において、3次元物体表面位置画像と、候補物体モデル形状との形状マッチング(モデル特徴点近傍の計測点の存在を探索すること)が行われる。次に、ステップS18において、物体候補の形状類似度が算出される。次に、ステップS19において、形状類似度の低い候補が識別リスト36から除外される。次に、ステップS20において、形状類似度の高いものから順に識別リスト36に再配列される。
【0034】
ステップS21においては、全ての物体候補の形状比較が終了したか否かが判定される。全ての物体候補の形状比較が終了していないと判定された場合、ステップS22に進み、形状未チェックの次の候補について、ステップS11以降の処理が実行されるようにする。一方、全ての物体候補の形状比較が終了したと判定された場合、本処理を終了する。
【0035】
以上説明したように、本実施の形態により、以下のような効果が得られる。距離画像の背景差分によって物体領域を抽出するので、照明変動や物体の汚れなどの影響を受けず、非常に高速に物体領域の抽出を行うことができる。そして射影距離画像の慣性主軸方向をもとに、物体寸法比較(第一の識別手段)によって物体候補を高速にリストアップし、作業者に提示することができるため、作業者が確認、最終判別を早い段階で行うことができ、作業効率が低下するのを防ぐことができる。
【0036】
また、物体モデルを予め小ブロックに分割して、各小ブロックの形状マッチング結果を統合して形状類似度を求めているため、凹み、変形などの外形変動にもロバストで、精度の高い識別を行うことができる。
【0037】
また、作業者が対象物体に手をかけて、物体の一部が見えない状態においても、オクルージョン除去手段によってその領域を比較対象から除去することができるので、精度を大きく劣化させずに物体の識別を行うことができ、作業性の向上に貢献することができる。
【0038】
なお、上記実施の形態の構成及び動作は例であって、本発明の趣旨を逸脱しない範囲で適宜変更することができることは言うまでもない。
【図面の簡単な説明】
【図1】本発明の物体識別装置の一実施の形態の外観図である。
【図2】距離画像を示す図である。
【図3】本発明の全体構成例を示すブロック図である。
【図4】距離画像をZ−X平面に射影した射影画像を示す図である。
【図5】オクルージョン領域が除去された距離画像を示す図である。
【図6】オクルージョン画像中に物体特徴点を逆透視投影した図である。
【図7】本発明の動作を説明するためのフローチャートである。
【図8】本発明の動作を説明するためのフローチャートである。
【符号の説明】
1 作業台、2,3 レンジファインダ、2a,3a 撮像器、2b,3b 投光器、31 差分器、32 オクルージョン除去手段、33 第一の識別手段、34 第二の識別手段、35 物体モデルデータベース、36 識別リスト、37 物体候補提示手段
【発明の属する技術分野】
本発明は、物体識別方法および物体識別装置、並びに物体識別プログラムに関し、特に、3次元空間中の物体、特に、作業台の上に設置された3次元物体の識別に好適な物体識別方法および物体識別装置、並びに物体識別プログラムに関する。
【0002】
【従来の技術】
OA機器などの解体作業工程においては、作業効率が最も重要視される。一般に解体、分解作業現場では、様々な機種の分解を行う必要があるが、そのうち、分解手順の分からない機種が存在することが多々ある。このような場合には、作業者が色々と試行しながら分解を進めるか、もしくは分解手順マニュアルを参照する必要があり、作業効率が著しく低下してしまうという問題がある。ゆえに、解体手順を自動的に示してくれる提示装置に対する現場サイドの要求は高い。
このような要求に答えるため、機種毎に解体手順をデータベースとして保持し、作業状況に合わせて解体手順を作業者に提示する情報提示装置(ナビゲーションシステム)が考えられる。上記のような情報提示装置においては、作業者の邪魔にならず、また、バーコードなどが貼付されていないような旧機種などへも対応するため、機種の識別はイメージセンサなどを用いて非接触で行えることが望ましい。
上記解体作業工程においては、物品外観の(出荷時からの)変動状態を予め予測することは不可能である。よって、パターンマッチングに代表されるような見え方に基づく物体認識方法では、正しく識別するのは非常に困難である。このような変動に対してロバストな認識方法として、イメージセンサから得られる濃淡画像からエッジなどの特徴量を抽出し、この特徴量をベースにして認識を行う方法が多数提案されている(例えば、特許文献1参照)。
また、曲面物体にも対応できるように、レンジセンサを用いて物体表面までの距離を示す距離情報を取得して、形状ベースの認識を行う手法が多数提案されている。距離情報には照明変動や汚れの影響が含まれず、また曲面の情報も得られるため、精度の高い認識が可能である。例えば、物体モデルに対して3次元全周方向からのレンジデータを取得して、そのヒストグラムを予めデータベースとして保持し、計測レンジデータヒストグラムとマッチングすることによって、姿勢候補を得るようにしたものもある(例えば、特許文献2参照)。
また、三次元空間中の物体を撮像して得た距離画像と、同一の視点から二次元画像を得て、この二次元画像を利用してあらかじめ距離画像における検出物体の存在領域を限定しておき、この限定した領域の距離部分画像に対して物体の検出処理を行うことで認識の高速化を図っているものもある(例えば、特許文献3参照)。
【0003】
【特許文献1】
特開平5−157518号公報(図1)
【特許文献2】
特開平7−244737号公報(図1)
【特許文献3】
特開平7−287756号公報(図1)
【0004】
【発明が解決しようとする課題】
しかし、特許文献1に記載の方法では、濃淡画像からエッジを抽出する場合には、物体のエッジとともに、汚れのエッジも抽出されてしまうという問題があった。また、曲面が主体の物体の場合には、得られる特徴量(輪郭)が少なくなり、認識精度が低下するという問題もあった。
また、特許文献2に記載の方法では、ヒストグラムは位置座標の情報が失われているため、形状は異なるがレンジデータヒストグラムは同じ分布になるような場合には識別することができない。よって姿勢候補の推定には問題ないが、正確な物体識別を行う場合には、誤認識の恐れがあるという問題があった。
また、特許文献3に記載の方法では、二次元画像を利用して物体存在領域を限定しているので、照明などの環境変動の影響を受けやすいという問題があった。また、物体の慣性主軸の三次元空間中における位置姿勢を求め、この周りに物体を回転させてモデルとの一致度を調べるという手続きを踏んだ後にはじめて、物体とその姿勢が求まるので、識別精度は高いものの、識別結果が得られるまでに時間がかかるという問題があった。
このように、解体作業現場では、作業効率を落とさないよう、物体の識別を高速で行う必要があるが、従来の方法では、識別精度は高いものの、識別結果が得られるまでに時間がかかるという問題があった。
【0005】
本発明はこのような状況に鑑みてなされたものであり、照明変動や汚れ、外形の変形に対してロバストであり、解体作業工程などにおける作業者に、短時間で物体識別候補を提示するとともに、精度の高い識別を実現することができるようにするものである。
【0006】
【課題を解決するための手段】
本発明の物体識別方法は、所定の物体の距離画像を互いに異なる複数の位置から計測する距離画像計測ステップと、物体の外接直方体を求め、外接直方体の寸法値と類似する寸法値に対応する物体を物体候補として、識別すべき各物体毎の外接直方体の寸法値と、物体の各特徴点の3次元位置座標の値とを対応付けて記憶するモデルデータベースから検索し、検索された物体候補を一致度の高いものから順に並べた物体候補の識別リストを作成する第1の識別ステップと、モデルデータベースに記憶されている寸法値と、特徴点の3次元位置座標とに基づいて、物体に定義した小ブロック毎に3次元形状比較を行い、各ブロック毎の形状類似度を評価し、類似度の低い物体候補を識別リストから削除する第2の識別ステップとを備えることを特徴とするものである。これにより、照明変動や汚れまたは外形変動等にもロバストで、高速かつ高精度で物体を識別することができる。
本発明の物体識別装置は、所定の物体の距離画像を計測する複数の距離画像計測手段と、識別すべき各物体毎の外接直方体の寸法値と、物体の各特徴点の3次元位置座標の値とを対応付けて記憶するモデルデータベースと、物体の外接直方体を求め、外接直方体の寸法値と類似する寸法値に対応する物体を物体候補としてモデルデータベースから検索し、検索された物体候補を一致度の高いものから順に並べた物体候補の識別リストを作成する第1の識別手段と、モデルデータベースに記憶されている寸法値と、特徴点の3次元位置座標とに基づいて、物体に定義した小ブロック毎に3次元形状比較を行い、各ブロック毎の形状類似度を評価し、類似度の低い物体候補を識別リストから削除する第2の識別手段とを備えることを特徴とするものである。これにより、照明変動や汚れまたは外形変動等にもロバストで、高速かつ高精度で物体を識別することができる。
また、識別リストの物体候補を一致度の高い順に所定の作業者に提示する物体候補提示手段と、物体候補のうち、作業者によって判定指示されたものを検出する指示検出手段とをさらに備えるようにすることができる。これにより、作業者が物体候補の中から最終的に物体を選択指示することができる。
また、各距離画像計測手段と同一の視点に設置され、物体の輝度画像を撮像する複数の撮像手段と、各撮像手段によって撮像された輝度画像と、各距離画像計測手段によって計測された距離画像とに基づいて、物体以外の変動領域としてのオクルージョン領域を検出し、オクルージョン領域に対応する領域を距離画像から除去するオクルージョン除去手段とをさらに備えるようにすることができる。これにより、作業者の手や腕等が物体を遮っている場合でも、物体を識別することができる。
また、距離画像計測手段は、物体を設置する所定の作業台を囲むように、互いに異なる複数の位置に配置され、距離画像計測手段は、物体が作業台に存在しない状態での距離画像を背景画像とし、物体が作業台に存在する状態での距離画像と背景画像の差分を抽出して物体領域の距離画像とすることができる。これにより、照明変動などに左右されず、安定して物体のみの距離画像を得ることができる。
また、物体に対応する物体モデルが予め複数の小ブロックに分割され、特徴点が属する小ブロックの属性が、物体の各特徴点の3次元位置座標の値に対応付けてモデルデータベースに記憶されるようにすることができる。これにより、小ブロック毎の形状類似度を求めることができ、外形変動にもロバストで精度の高い物体識別を行うことができる。
また、第1の識別手段は、抽出された物体の距離画像を作業台上に設置したワールド座標系の水平面上に射影して形成された射影距離画像の重心と、慣性主軸の方向から、物体に外接する仮想的な外接直方体を求め、外接直方体の寸法値を基にモデルデータベースを参照し、寸法値の類似する物体候補を一致度の高い順に識別リストにリストアップするようにすることができる。これにより、高速に物体候補を作業者に提示することができる。
また、第2の識別手段は、識別リストの物体候補に対して、モデルデータベースを基に物体に対応する物体モデルを小ブロックに分割し、小ブロック毎に詳細形状を物体モデルと比較し、小ブロックの形状類似度を評価して、類似度の低い物体候補を識別リストから削除するようにすることができる。これにより、高精度で類似度の低い物体候補を識別リストから削除することができる。
また、オクルージョン除去手段は、物体候補の各特徴点を、撮像手段で撮影された輝度画像中に逆透視投影し、オクルージョン領域に含まれる各特徴点が属する物体モデルの小ブロックを、第2の識別手段によって行われる形状比較の対象から除外するようにすることができる。これにより、作業者の手や腕等が物体を遮っている場合でも、物体を高精度で識別することができる。
本発明の物体識別プログラムは、所定の物体の距離画像を互いに異なる複数の位置から計測する距離画像計測ステップと、物体の外接直方体を求め、外接直方体の寸法値と類似する寸法値に対応する物体を物体候補として、識別すべき各物体毎の外接直方体の寸法値と、物体の各特徴点の3次元位置座標の値とを対応付けて記憶するモデルデータベースから検索し、検索された物体候補を一致度の高いものから順に並べた物体候補の識別リストを作成する第1の識別ステップと、モデルデータベースに記憶されている寸法値と、特徴点の3次元位置座標とに基づいて、物体に定義した小ブロック毎に3次元形状比較を行い、各ブロック毎の形状類似度を評価し、類似度の低い物体候補を識別リストから削除する第2の識別ステップとをコンピュータに実行させることを特徴とするものである。これにより、照明変動や汚れまたは外形変動等にもロバストで、高速かつ高精度で物体を識別することができる。
【0007】
【発明の実施の形態】
図1は、本発明の物体識別装置の一実施の形態の外観図である。本実施の形態は、図1に示すように、物体を設置する作業台1と、距離画像計測手段を備えている。図1の場合、距離画像計測手段はレンジファインダであり、レンジファインダ2,3によって距離画像を取得する。そして、物体が作業台1上に存在しない状態での距離画像を背景画像とし、距離画像の背景差分を行って対象物体領域を抽出する。
【0008】
ここでの距離画像とは、図2に示すように、各画素の計測物体20の各観測点(厳密には光学中心)からの距離がその画素の値となっている2次元画像のことを言う。なお、レンジファインダ2,3には、投光器2bと撮像器2aとの組、および投光器3bと撮像器3aの組を用い、投光器2b,3bがそれぞれ撮像方向とは異なる方向から計測物体20にスリット光や縞パターンを投光して、物体表面によって変形された投光パターン画像を撮像器で観測し、三角測量の原理を適用して各画素の奥行を計測するものを用いる。もしくは、赤外線やレーザなどを対象物体に照射し、その反射波を計測して、反射時間から対象物体までの距離を計測するレンジファインダなどを用いる。
【0009】
図3は、本発明の全体構成例を示すブロック図である。同図に示すように、本実施の形態は、レンジファインダ2,3と、レンジファインダ2,3によってそれぞれ撮像された画像と背景距離画像との差分をとり、背景差分距離画像として出力する差分器31と、計測物体の濃淡画像を撮像する撮像器4,5と、撮像器4,5によって撮像されたオクルージョン画像と、背景差分距離画像とに基づいてオクルージョンを除去するオクルージョン除去手段32と、物体モデルデータベース35と、計測物体に対して定義された後述する外接直方体から物体を識別する第一の識別手段33と、後述する一致度を求めて物体を識別する第二の識別手段34と、計測物体20の認識結果としての物体候補のリストである識別リスト36と、識別リストの物体候補を一致度の高いものから順に作業者に提示する物体候補提示手段37等により構成されている。
【0010】
ここで、外接直方体とは、慣性主軸方向に平行な辺を有し、計測物体20が入る最小の直方体、即ち、直方体の6面のそれぞれが少なくとも一点において計測物体20の表面と接する直方体のことである。また、慣性主軸方向は、射影図形が決まれば所定の演算によってほぼ一意に決まる。
【0011】
図4は、距離画像の射影を示す図である。作業台1上には、作業台中心を原点とするワールド座標系が設けられている。このワールド座標系における3次元空間をマッチング空間とする。距離画像計測手段で計測された物体距離画像を上記マッチング空間中にプロットすることで、物体表面位置がマッチング空間中に仮想的に再構築される(3次元物体表面位置画像)。
【0012】
また、識別すべき物体ごとに、物体の外接直方体の寸法値と、物体特徴点の3次元位置座標の配列とを保持した物体モデルデータベース35を備えている。なお、上記物体モデルの3次元位置座標は、物体重心を通る鉛直軸と作業台面との交点を原点とし、作業台1の面(水平面)に射影した物体の慣性主軸方向と、それに垂直な軸を基準座標系とする。また、計測物体20に対応する物体モデルは予め複数の小ブロックに分割され、上記3次元位置座標の配列に該特徴点が属するブロックの属性が割り当てられている。
【0013】
第一の識別手段では、図4に示すように、まず、上記マッチング空間中に再構築された3次元物体表面位置画像を、上記ワールド座標系の水平面(Z−X平面)上に射影し、射影画像を得る。そして、射影画像の重心と慣性主軸の方向(慣性主軸方向)とを求める。
【0014】
次に、慣性主軸方向と、慣性主軸方向に垂直な方向を基準座標系とするように、上記3次元物体表面位置画像に対して座標変換(y軸周りの回転変換)を施す。そして、変換座標系における各最大位置座標値、最小位置座標値を求めることで、外接直方体の寸法を求める。次に、直方体の寸法を基に物体モデルデータベース35を検索し、寸法の類似する物体候補を一致度の高い順に識別リスト36にリストアップする。
【0015】
第二の識別手段では、上記マッチング空間において、上記座標変換された3次元物体表面位置画像と、物体モデルとの形状マッチングを行う。識別リスト36の物体候補に対して、上記物体モデルデータベース35を基に物体モデルを小ブロックに分割し、小ブロックごとに一致度を評価する。
【0016】
物体モデルデータベース35から上記小ブロック中に存在するモデル特徴点の位置座標を参照し、特徴点位置座標を中心としてその周りに3次元探索領域を設ける。3次元探索領域内に計測点(3次元物体表面位置画像中のON画素)が見つかった場合、特徴点から計測点までの距離に応じて一致度を算出する。一致度は距離が大きくなるほど小さくなるように、例えば、次式(1)のように計算すればよい。
【0017】
M = 1 − ar/B ・・・式(1)
ただし、
M: 一致度
r: モデル特徴点から計測点までの距離
a: 定数
B: 3次元探索領域のサイズ
【0018】
なお、探索領域のサイズは、各特徴点を中心として探索領域を設置したとき、各探索領域同士がそれぞれが干渉しない大きさに設定する。小ブロック内の各特徴点に対して、上述したように一致度の評価を行い、例えばその平均値によって小ブロックの形状類似度を算出する。
【0019】
このように、小ブロックごとに詳細形状を物体モデルと比較し、ブロックの形状類似度を評価して、全体的に類似度の低い物体候補は対象物体でないと判定し、識別リスト36から削除する。また、形状類似度の低いブロックが所定数を越えたら、比較途中段階で打ち切り、識別リスト36から該当する物体候補を削除して、次の候補に移る。
【0020】
また、形状類似度を評価する際の上記小ブロックの重み付け係数を、モデルデータベースに予め登録しておいても良い。このようにすることで、比較的変形を受け易い部分など、変動が大きいと予測される部分の、マッチングへの影響力をコントロールしてロバスト性を更に向上させることができる。
【0021】
また、物体候補提示手段37は、識別リスト36の物体候補の情報(画像や評価情報)を、一致度の高い順に作業者に提示する。また、図示せぬ指示検出手段は、リストアップされた候補中から作業者が対象機種を特定し、物体識別装置に与える指示を検出するもので、物体候補提示手段37と指示検出手段をタッチパネルとポイント位置検出装置で構成したり、あるいはキーボードや音声指示入力装置などで構成することができる。
【0022】
また、オクルージョン除去手段32は、作業者の腕、手など、物体領域以外の変動領域をオクルージョンとして検出し、比較対照から除外する処理を行う。なお、作業者には特定単一色の作業着(腕部分と手袋)を着用してもらうことを前提とする。
【0023】
各距離画像計測手段と同一の視点に撮像手段としての撮像器4,5を設置する。この撮像手段から得られる画像から、特定の色・輝度の領域を抽出して、オクルージョン領域として検出し、オクルージョン画像を得る。同一視点から濃淡画像と距離画像とを取得するためには、投光法による計測の場合、投光時には距離画像を取得し、非投光時には濃淡画像を取得することで対応することができる。また、赤外線レンジファインダやレーザレンジファインダを用いる場合には、ハーフミラーを介して撮像器(イメージセンサ)を同一光軸上に配置するなどして対応することができる。
【0024】
図5に示すように、オクルージョン除去手段32は、レンジファインダ2,3から得られた背景差分距離画像と、撮像手段である撮像器4,5から得られる輝度画像(濃淡画像)とに基づいて、上記オクルージョン画像の検出オクルージョン領域(ON画素)に対応する情報を上記背景差分距離画像から除去して、上記マッチング空間にプロットする。このように、オクルージョン領域が除去された状態の背景差分距離画像をマッチング空間中にプロットすることで、作業者の腕などの領域が、マッチング空間中にプロットされてしまうことがなくなり、物体の重心、慣性主軸の方向検出時の誤差の増大を防ぐことができる。
【0025】
また同時に、物体モデルデータベース35の小ブロック代表特徴点(例えば、小ブロックの頂点付近の特徴点)群に対して、上記座標変換の逆変換を行った後、図6に示すように、上記オクルージョン画像中に逆透視投影する。そして、各ブロックがオクルージョン領域と交差しているかどうかを判別し、オクルージョン領域に含まれる物体モデルの小ブロックについては、形状比較を行わないようにする。このように、オクルージョン検出結果からモデル比較対照領域を限定することで、比較処理の効率を向上させるとともに、オクルージョンに起因する形状比較精度の劣化を防止することができる。
【0026】
次に、図7及び図8のフローチャートを参照して、本実施の形態の動作について詳細に説明する。まず最初に、ステップS1において、レンジファインダ2,3により距離画像が取り込まれ、撮像器4,5により輝度画像が取り込まれる。次に、ステップS2において、差分器31により、レンジファインダ2,3によって取り込まれた距離画像から背景距離画像が引かれて背景差分距離画像が得られる。
【0027】
一方、ステップS3において、撮像器4,5によって撮像された輝度画像から、上述したように、特定の色や輝度の領域を抽出する等の方法により、オクルージョン領域が検出され、その領域に対応するオクルージョン画像が抽出される。次に、ステップS4において、背景差分距離画像からオクルージョン領域の部分が除去された距離画像が得られる。
【0028】
次に、ステップS5において、背景差分距離画像を3次元マッチング空間にプロットし、3次元物体表面位置画像を得る。次に、ステップS6において、3次元物体表面位置画像の、Z−X平面(水平面)への射影画像を得る。次に、ステップS7において、射影画像の重心、慣性主軸方向を算出する。次に、ステップS8において、慣性主軸方向が基準座標軸となるように3次元物体表面位置画像を座標変換し、ステップS9において、3次元物体表面位置画像の外接直方体を求める。
【0029】
次に、ステップS10において、物体モデルデータベース35を参照し、外接直方体の寸法の類似度の高い物体候補から順に識別リスト36にリストアップする。ステップS11においては、識別リスト36に物体候補があるか否かが判定される。識別リスト36に物体候補がないと判定された場合、ステップS12に進み、物体候補提示手段37により識別不能と提示され、本処理を終了する。一方、識別リスト36に物体候補があると判定された場合、ステップS13に進む。
【0030】
物体候補がある場合、物体候補をタッチパネルの画面に表示することにより作業者への物体候補の提示が行われるので、作業者はタッチパネルの画面に表示された物体候補を確認して最終判別を行い、該当する物体候補が表示された部分を指で押圧することにより判定指示を行う。
【0031】
ステップS13においては、作業者からの判定指示を検出したか否かが判定され、作業者からの判定指示が検出された場合、本処理を終了する。一方、作業者からの判定指示が検出されなかった場合、ステップS14に進む。
【0032】
ステップS14においては、射影画像の重心、および慣性主軸方向に一致するように、物体候補の代表特徴点を回転させ、平行移動させる。次に、ステップS15において、回転および平行移動された代表特徴点をオクルージョン画像中に逆透視投影する。次に、ステップS16において、オクルージョン領域に含まれる代表特徴点の属するブロックを形状比較対照から除外する。
【0033】
次に、ステップS17において、3次元物体表面位置画像と、候補物体モデル形状との形状マッチング(モデル特徴点近傍の計測点の存在を探索すること)が行われる。次に、ステップS18において、物体候補の形状類似度が算出される。次に、ステップS19において、形状類似度の低い候補が識別リスト36から除外される。次に、ステップS20において、形状類似度の高いものから順に識別リスト36に再配列される。
【0034】
ステップS21においては、全ての物体候補の形状比較が終了したか否かが判定される。全ての物体候補の形状比較が終了していないと判定された場合、ステップS22に進み、形状未チェックの次の候補について、ステップS11以降の処理が実行されるようにする。一方、全ての物体候補の形状比較が終了したと判定された場合、本処理を終了する。
【0035】
以上説明したように、本実施の形態により、以下のような効果が得られる。距離画像の背景差分によって物体領域を抽出するので、照明変動や物体の汚れなどの影響を受けず、非常に高速に物体領域の抽出を行うことができる。そして射影距離画像の慣性主軸方向をもとに、物体寸法比較(第一の識別手段)によって物体候補を高速にリストアップし、作業者に提示することができるため、作業者が確認、最終判別を早い段階で行うことができ、作業効率が低下するのを防ぐことができる。
【0036】
また、物体モデルを予め小ブロックに分割して、各小ブロックの形状マッチング結果を統合して形状類似度を求めているため、凹み、変形などの外形変動にもロバストで、精度の高い識別を行うことができる。
【0037】
また、作業者が対象物体に手をかけて、物体の一部が見えない状態においても、オクルージョン除去手段によってその領域を比較対象から除去することができるので、精度を大きく劣化させずに物体の識別を行うことができ、作業性の向上に貢献することができる。
【0038】
なお、上記実施の形態の構成及び動作は例であって、本発明の趣旨を逸脱しない範囲で適宜変更することができることは言うまでもない。
【図面の簡単な説明】
【図1】本発明の物体識別装置の一実施の形態の外観図である。
【図2】距離画像を示す図である。
【図3】本発明の全体構成例を示すブロック図である。
【図4】距離画像をZ−X平面に射影した射影画像を示す図である。
【図5】オクルージョン領域が除去された距離画像を示す図である。
【図6】オクルージョン画像中に物体特徴点を逆透視投影した図である。
【図7】本発明の動作を説明するためのフローチャートである。
【図8】本発明の動作を説明するためのフローチャートである。
【符号の説明】
1 作業台、2,3 レンジファインダ、2a,3a 撮像器、2b,3b 投光器、31 差分器、32 オクルージョン除去手段、33 第一の識別手段、34 第二の識別手段、35 物体モデルデータベース、36 識別リスト、37 物体候補提示手段
Claims (10)
- 所定の物体の距離画像を互いに異なる複数の位置から計測する距離画像計測ステップと、
前記物体の外接直方体を求め、前記外接直方体の寸法値と類似する寸法値に対応する物体を物体候補として、識別すべき各物体毎の外接直方体の寸法値と、前記物体の各特徴点の3次元位置座標の値とを対応付けて記憶するモデルデータベースから検索し、検索された前記物体候補を一致度の高いものから順に並べた前記物体候補の識別リストを作成する第1の識別ステップと、
前記モデルデータベースに記憶されている前記寸法値と、前記特徴点の3次元位置座標とに基づいて、前記物体に定義した小ブロック毎に3次元形状比較を行い、各ブロック毎の形状類似度を評価し、類似度の低い物体候補を前記識別リストから削除する第2の識別ステップと
を備えることを特徴とする物体識別方法。 - 所定の物体の距離画像を計測する複数の距離画像計測手段と、
識別すべき各物体毎の外接直方体の寸法値と、前記物体の各特徴点の3次元位置座標の値とを対応付けて記憶するモデルデータベースと、
前記物体の前記外接直方体を求め、前記外接直方体の寸法値と類似する寸法値に対応する物体を物体候補として前記モデルデータベースから検索し、検索された前記物体候補を一致度の高いものから順に並べた前記物体候補の識別リストを作成する第1の識別手段と、
前記モデルデータベースに記憶されている前記寸法値と、前記特徴点の3次元位置座標とに基づいて、前記物体に定義した小ブロック毎に3次元形状比較を行い、各ブロック毎の形状類似度を評価し、類似度の低い物体候補を前記識別リストから削除する第2の識別手段と
を備えることを特徴とする物体識別装置。 - 前記識別リストの前記物体候補を一致度の高い順に所定の作業者に提示する物体候補提示手段と、前記物体候補のうち、前記作業者によって判定指示されたものを検出する指示検出手段と
をさらに備えることを特徴とする請求項2に記載の物体識別装置。 - 各距離画像計測手段と同一の視点に設置され、前記物体の輝度画像を撮像する複数の撮像手段と、
各撮像手段によって撮像された前記輝度画像と、各距離画像計測手段によって計測された前記距離画像とに基づいて、前記物体以外の変動領域としてのオクルージョン領域を検出し、前記オクルージョン領域に対応する領域を前記距離画像から除去するオクルージョン除去手段と
をさらに備えることを特徴とする請求項2または3に記載の物体識別装置。 - 前記距離画像計測手段は、前記物体を設置する所定の作業台を囲むように、互いに異なる複数の位置に配置され、距離画像計測手段は、前記物体が前記作業台に存在しない状態での距離画像を背景画像とし、前記物体が前記作業台に存在する状態での距離画像と前記背景画像の差分を抽出して前記物体領域の距離画像とする
ことを特徴とする請求項2乃至4のいずれかに記載の物体識別装置。 - 前記物体に対応する物体モデルが予め複数の小ブロックに分割され、前記特徴点が属する前記小ブロックの属性が、前記物体の各特徴点の3次元位置座標の値に対応付けて前記モデルデータベースに記憶される
ことを特徴とする請求項2乃至5のいずれかに記載の物体識別装置。 - 前記第1の識別手段は、抽出された前記物体の前記距離画像を前記作業台上に設置したワールド座標系の水平面上に射影して形成された射影距離画像の重心と、慣性主軸の方向から、前記物体に外接する仮想的な外接直方体を求め、前記外接直方体の寸法値を基に前記モデルデータベースを参照し、前記寸法値の類似する物体候補を一致度の高い順に前記識別リストにリストアップする
ことを特徴とする請求項5または6のいずれかに記載の物体識別装置。 - 前記第2の識別手段は、前記識別リストの物体候補に対して、前記モデルデータベースを基に前記物体に対応する物体モデルを小ブロックに分割し、前記小ブロック毎に詳細形状を物体モデルと比較し、前記小ブロックの形状類似度を評価して、類似度の低い物体候補を前記識別リストから削除する
ことを特徴とする請求項2乃至7のいずれかに記載の物体識別装置。 - 前記オクルージョン除去手段は、前記物体候補の各特徴点を、前記撮像手段で撮影された輝度画像中に逆透視投影し、前記オクルージョン領域に含まれる各特徴点が属する前記物体モデルの前記小ブロックを、前記第2の識別手段によって行われる形状比較の対象から除外する
ことを特徴とする請求項4に記載の物体識別装置。 - 所定の物体の距離画像を互いに異なる複数の位置から計測する距離画像計測ステップと、
前記物体の前記外接直方体を求め、前記外接直方体の寸法値と類似する寸法値に対応する物体を物体候補として、識別すべき各物体毎の外接直方体の寸法値と、前記物体の各特徴点の3次元位置座標の値とを対応付けて記憶するモデルデータベースから検索し、検索された前記物体候補を一致度の高いものから順に並べた前記物体候補の識別リストを作成する第1の識別ステップと、
前記モデルデータベースに記憶されている前記寸法値と、前記特徴点の3次元位置座標とに基づいて、前記物体に定義した小ブロック毎に3次元形状比較を行い、各ブロック毎の形状類似度を評価し、類似度の低い物体候補を前記識別リストから削除する第2の識別ステップと
をコンピュータに実行させることを特徴とする物体識別プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003013444A JP2004226197A (ja) | 2003-01-22 | 2003-01-22 | 物体識別方法および物体識別装置、並びに物体識別プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003013444A JP2004226197A (ja) | 2003-01-22 | 2003-01-22 | 物体識別方法および物体識別装置、並びに物体識別プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004226197A true JP2004226197A (ja) | 2004-08-12 |
Family
ID=32901776
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003013444A Pending JP2004226197A (ja) | 2003-01-22 | 2003-01-22 | 物体識別方法および物体識別装置、並びに物体識別プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2004226197A (ja) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004259114A (ja) * | 2003-02-27 | 2004-09-16 | Seiko Epson Corp | 物体識別方法および物体識別装置、並びに物体識別プログラム |
JP2012101320A (ja) * | 2010-11-10 | 2012-05-31 | Canon Inc | 画像生成装置、画像生成方法、およびプログラム |
US8244027B2 (en) * | 2008-01-25 | 2012-08-14 | Fuji Jukogyo Kabushiki Kaisha | Vehicle environment recognition system |
US8437536B2 (en) | 2008-01-25 | 2013-05-07 | Fuji Jukogyo Kabushiki Kaisha | Environment recognition system |
KR101574876B1 (ko) | 2014-02-13 | 2015-12-04 | 영남대학교 산학협력단 | 비전 센서 데이터베이스를 이용한 거리 측정 방법 |
JP2017044561A (ja) * | 2015-08-26 | 2017-03-02 | 富士通株式会社 | 測定装置、測定方法及び測定プログラム |
US11087493B2 (en) | 2017-05-12 | 2021-08-10 | Fujitsu Limited | Depth-image processing device, depth-image processing system, depth-image processing method, and recording medium |
CN113420631A (zh) * | 2021-06-17 | 2021-09-21 | 广联达科技股份有限公司 | 一种基于图像识别的安全报警方法及装置 |
US11138419B2 (en) | 2017-05-12 | 2021-10-05 | Fujitsu Limited | Distance image processing device, distance image processing system, distance image processing method, and non-transitory computer readable recording medium |
-
2003
- 2003-01-22 JP JP2003013444A patent/JP2004226197A/ja active Pending
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004259114A (ja) * | 2003-02-27 | 2004-09-16 | Seiko Epson Corp | 物体識別方法および物体識別装置、並びに物体識別プログラム |
US8244027B2 (en) * | 2008-01-25 | 2012-08-14 | Fuji Jukogyo Kabushiki Kaisha | Vehicle environment recognition system |
US8437536B2 (en) | 2008-01-25 | 2013-05-07 | Fuji Jukogyo Kabushiki Kaisha | Environment recognition system |
JP2012101320A (ja) * | 2010-11-10 | 2012-05-31 | Canon Inc | 画像生成装置、画像生成方法、およびプログラム |
US9118823B2 (en) | 2010-11-10 | 2015-08-25 | Canon Kabushiki Kaisha | Image generation apparatus, image generation method and storage medium for generating a target image based on a difference between a grip-state image and a non-grip-state image |
KR101574876B1 (ko) | 2014-02-13 | 2015-12-04 | 영남대학교 산학협력단 | 비전 센서 데이터베이스를 이용한 거리 측정 방법 |
JP2017044561A (ja) * | 2015-08-26 | 2017-03-02 | 富士通株式会社 | 測定装置、測定方法及び測定プログラム |
US11087493B2 (en) | 2017-05-12 | 2021-08-10 | Fujitsu Limited | Depth-image processing device, depth-image processing system, depth-image processing method, and recording medium |
US11138419B2 (en) | 2017-05-12 | 2021-10-05 | Fujitsu Limited | Distance image processing device, distance image processing system, distance image processing method, and non-transitory computer readable recording medium |
CN113420631A (zh) * | 2021-06-17 | 2021-09-21 | 广联达科技股份有限公司 | 一种基于图像识别的安全报警方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4193519B2 (ja) | 物体識別方法および物体識別装置 | |
JP5480914B2 (ja) | 点群データ処理装置、点群データ処理方法、および点群データ処理プログラム | |
JP5618569B2 (ja) | 位置姿勢推定装置及びその方法 | |
JP6464934B2 (ja) | カメラ姿勢推定装置、カメラ姿勢推定方法およびカメラ姿勢推定プログラム | |
JP6507730B2 (ja) | 座標変換パラメータ決定装置、座標変換パラメータ決定方法及び座標変換パラメータ決定用コンピュータプログラム | |
JP5671281B2 (ja) | 位置姿勢計測装置、位置姿勢計測装置の制御方法及びプログラム | |
US6781618B2 (en) | Hand-held 3D vision system | |
US8649025B2 (en) | Methods and apparatus for real-time digitization of three-dimensional scenes | |
KR20180014677A (ko) | 3d 이미지 데이터에서 3d 포즈와 기생포인트 제거의 스코어링을 개선하는 시스템 및 방법 | |
WO2014147863A1 (ja) | 三次元情報計測・表示装置、三次元情報計測・表示方法及びプログラム | |
US20140254874A1 (en) | Method of detecting and describing features from an intensity image | |
KR20060132454A (ko) | 화상 처리 장치 | |
US10607350B2 (en) | Method of detecting and describing features from an intensity image | |
CN102834691A (zh) | 测绘方法 | |
JP2010541065A (ja) | 3次元飲料容器位置決定装置 | |
JP2020106966A (ja) | 物体認識装置および物体認識方法 | |
CN110926330A (zh) | 图像处理装置和图像处理方法 | |
JP2004226197A (ja) | 物体識別方法および物体識別装置、並びに物体識別プログラム | |
JP2003216931A (ja) | 特定パターン認識方法、特定パターン認識プログラム、特定パターン認識プログラム記録媒体および特定パターン認識装置 | |
JP2013149228A (ja) | 位置検出装置、および位置検出プログラム | |
Collins et al. | Site model acquisition and extension from aerial images | |
WO2023188671A1 (ja) | 点検支援システム、点検支援方法、及び、点検支援プログラム | |
JP3516668B2 (ja) | 3次元形状認識方法、装置およびプログラム | |
JP2020071739A (ja) | 画像処理装置 | |
JP2007140729A (ja) | 物品の位置及び姿勢を検出する方法および装置 |