JP2004333422A

JP2004333422A - 画像処理装置

Info

Publication number: JP2004333422A
Application number: JP2003132962A
Authority: JP
Inventors: Hidetoshi Kumiya; 英俊組谷; Katsutoshi Takizawa; 克俊滝澤
Original assignee: Fanuc Corp
Current assignee: Fanuc Corp
Priority date: 2003-05-12
Filing date: 2003-05-12
Publication date: 2004-11-25
Anticipated expiration: 2023-05-12
Also published as: EP1477934A3; JP3834297B2; US20050002555A1; KR20040097904A; CN100379530C; TW200427968A; TWI244427B; CN1550297A; US7283661B2; EP1477934A2; KR100693262B1

Abstract

【課題】少ない教示モデル（教示画像）で高精度で広範囲の姿勢を認識できる画像処理装置を得る。
【解決手段】ワーク姿勢の変化の見え得る範囲の全領域を大まかに区分し、各方向から画像を取り込み、この画像と撮像方向データを第１教示モデルとして記憶する。ワーク姿勢の変化の所定領域を小さな刻みで撮像方向を変えて撮像した画像、撮像方向を第２教示モデルとして記憶する。ワークを撮像し第１教示モデルと比較照合とし、最も類似する第１教示モデルを選択する（１００〜１０４）。選択された教示モデルより第２教示モデルとの比較照合のための画像を得る目標移動位置にカメラを移動させ撮像する（１０５〜１０９）。撮像した画像と第２教示モデルと比較照合し、最も類似した第２教示モデルを選択する（１１０，１１１）。該選択教示モデルの撮像方向と撮像位置よりワークの位置姿勢を求める（１１２，１１３）。
【選択図】図５

Description

【０００１】
【発明の属する技術分野】
本発明は対象物の位置、姿勢を検出する画像処理装置に関する。特に、乱雑に山積みされその位置、姿勢が３次元的変化している同一形状の対象物の姿勢を認識し検出する画像処理装置に関する。
【０００２】
【従来の技術】
ロボットなどの自動機械では、正確に位置決めされていない対象物（ワーク）をハンドリングするために、対象物を撮像した画像から、その位置姿勢を認識する方法が一般に採用されている。
しかし、山積み状態のように３次元的に任意の位置姿勢をとりうる対象物（ワーク）の位置姿勢を認識するには非常に困難になる。そこで、対象物を様々な方向から撮像した複数の画像を教示モデルの画像として記憶しておき、この記憶した教示モデルの画像と対象物の位置姿勢を検出しようとして撮像した入力画像とをマッチングにより比較照合し、最も類似した教示モデルを選択してその選択結果に基づいて対象物の位置姿勢を求め、さらに第２の計測手段のセンサによって、対象物の位置姿勢を認識すべき位置に移動して、該第２の計測手段のセンサによって、正確に対象物の位置姿勢を認識できるようにしたものも開発されている（例えば、特許文献１参照）。
【０００３】
又、対象物を様々な方向から撮像した画像データを正規化、サイズ変更し、固有ベクトルを求め、又、画像データ集合から多様体を計算し数値の形で記憶しておき、撮像した２次元画像を正規化して得られたデータ、記憶されている固有ベクトルと多様体の数値データに基づいて対象物の位置、姿勢を算出するものも知られている（特許文献２参照）。
【０００４】
【特許文献１】
特許第３３００６８２号
【特許文献２】
特許第３２５２９４１号
【０００５】
【発明が解決しようとする課題】
上述したような、対象物を様々な方向から撮像して教示モデルの画像とし、山積みされたような対象物から、その位置姿勢を求めるために、この山積みされた対象物を撮像してその入力画像と、教示モデルの画像をマッチングして類似した教示モデルの画像を選択し、選択教示モデルよりその位置姿勢を認識する方法において、より正確に対象物の位置、姿勢を認識できるようにするには、教示モデルの画像として多数の画像を記憶しておく必要がある。
【０００６】
対象物のとりうる姿勢の変化の全範囲に渡って、その見え方の画像を取得して教示モデル画像とする必要があるが、検出しようとする対象物の位置、姿勢の認識精度を向上させるためには、対象物の姿勢変化の全範囲に渡って、細かい刻みでその撮像方向を変えて撮像した画像を教示モデルの画像とする必要がある。この刻みは小さいほど、対象物の位置、姿勢の認識精度は上がる。
【０００７】
しかし、多数の教示モデルの画像を取得するには時間と、この教示モデルの画像を記憶するため記憶手段が増大する。さらに、対象物の位置姿勢を認識しようとする際には、比較照合しようとする教示モデル画像が多数であることから、この比較照合に時間がかかるという問題がある。
そこで、本発明は、少ない教示モデルで高精度で広範囲の対象物の姿勢を認識できる画像処理装置を提供することにある。
【０００８】
【課題を解決するための手段】
本願請求項１に係わる発明は、対象物を撮像した入力画面と対象物の教示モデルとの比較照合により前記対象物の少なくとも姿勢を認識する画像処理装置であって、前記対象物のとり得る見え方の全範囲を離散的にカバーするように、複数の方向から撮像したときの方向と該方向に対応した撮像画像からなる第１教示モデルと、前記対象物のとり得る見え方の一部範囲のみを第１教示モデルよりも方向変化の刻みを小さくした複数の方向から撮像したときの方向と該方向に対応する撮像画像からなる第２教示モデルと、撮像手段により前記対象物を撮像した第１入力画像に対して第１教示モデルのモデル画像と比較照合を行う第１比較照合手段と、第１比較照合手段による比較照合結果に基づき、前記対象物と前記撮像手段との相対位置姿勢を第２教示モデルの見え方の範囲内になるように変更する撮像手段の相対位置姿勢変更手段と、変更後の相対位置姿勢において前記撮像手段により前記対象物を撮像した第２入力画像に対して第２教示モデルを用いて比較照合する第２比較照合手段とを備えることにより、少ない教示モデルで対象物の姿勢を高精度に認識できるようにしたものである。そして、請求項２に係わる発明は、前記相対位置姿勢変更手段をロボットで構成し、請求項３に係わる発明は、前記第１、第２の比較照合手段による比較照合がマッチングにより行われるものとした。又、請求項４に係わる発明は前記第１、第２の比較照合手段による比較照合は、入力画像と複数の見え方画像の直交変換された中間的画像同士の比較照合により行われるものとした。
【０００９】
【発明の実施の形態】
図１は、本発明の一実施形態の画像処理装置が適用されるロボットシステムのシステム構成図である。
ロボット制御装置３と画像処理装置１は通信インフェースを介して接続されている。ロボット本体２のアーム先端には、対象物（ワーク）を撮像する撮像手段としてのカメラ４が取り付けられており、該カメラ４と画像処理装置１は信号線で接続されており、カメラ４で撮像した画像は画像処理装置１に入力されるようになっている。
【００１０】
ロボット制御装置３と画像処理装置１は、互いに情報を送受し同期をとりながら全体的なシステム動作を遂行する。本発明に関係して、ロボット制御装置３は、該ロボット制御装置３が把握しているロボットの現在位置を画像処理装置１に送信し、又、ロボット制御装置３から画像処理装置１へ撮像指令を出力し、この撮像指令を受けて画像処理装置１はカメラ４によりワーク６を撮像する。又、画像処理装置１からは、該画像処理装置１で決定したロボットの目標動作位置をロボット制御装置に送信し、ロボット制御装置３はロボット本体２の各機構部を駆動するサーボモータ等の駆動源を駆動制御し、目標動作位置に位置決めする。なお、図１において符号５はロボットアーム先端に取り付けられたハンドである。
【００１１】
図２は、ワーク６を複数の異なる方向から撮像した画像を教示モデルとして複数記憶した教示モデルよりワーク６の位置姿勢を認識するときにカメラ４で撮像して入力されてきた画像と各教示モデルの画像との比較照合によるワークの位置姿勢を認識する方法の説明図である。
【００１２】
まず、位置姿勢を認識しようとするワーク（対象物）を様々な方向から撮像し、その各画像とその撮像方向のデータを対応させて教示モデルとして画像処理装置１内に第１教示モデルとして記憶させておく。図２に示した例では、８つの方向からワークを撮像した画像１０…が各教示モデルの画像として記憶されている。そして、山積み等されたワーク等の３次元位置姿勢が異なるワークに位置姿勢を認識するために、該ワーク６を撮像した画像９と各教示モデルの画像と比較照合して、最も類似度が高い教示モデルを選択する。
【００１３】
この比較照合には、画像同士の輝度の相関によるマッチングや、フーリエ変換、離散コサイン変換などの直交変換を行い、直交変換された中間的画像同士の比較により部分空間内での距離として類似度を計算する方法等が従来から採用されている。この直交変換を行うことにより、画像同士ので直接相関計算を行う場合に比べ、データの次元を下げることができるので、類似画像の比較照合の計算量を少なくできるという効果がある。
図２では、この比較照合の結果、入力画像９は、教示モデル１０ａが最も類似しているとして教示モデル１０ａが選択された例を示している。
【００１４】
上述した教示モデルの画像と入力された画像との比較照合は前述した特許文献１等に示されるように従来から行われているものであるが、本発明は、この比較照合を２段階に分けて行う点に特徴がある。
図３は、第１段階の比較照合を行うための第１教示モデルの各画像を取得する方法の説明図である。
第１段階の比較照合を行うための各教示モデルの画像は、認識すべきワークの姿勢変化による見え方の変化の全領域をカバーするように、異なった方向からワークを撮像し、その画像を教示モデルの画像とするものである。ロボット本体２のアーム先端に取り付けたカメラ４の視線方向を変えてワーク６を撮像するか、カメラは固定しておき、ワーク６の姿勢を変えて、カメラに対するワークの相対姿勢を変えて、ワーク６がとりうる姿勢の全領域を分割して複数撮像する。例えば、図３に示すように、ワーク６が置かれた基準座標系との方向角度を３０度乃至４５度の刻みで、各方向にカメラ４位置もしくはワーク６の姿勢を変化させながら、各方向からワーク６を撮像し、その各画像を第１教示モデルの各画像として画像処理装置１内の記憶手段に記憶する。このとき、撮像したワーク６に対するカメラ４の相対撮像方向を撮像画像に対応付けて教示データとして画像処理装置１内の記憶手段に第１教示モデルとして記憶しておく。
【００１５】
さらに、第２段階の比較照合のために第２教示モデルを求め、画像処理装置１内の記憶手段に記憶する。この第２教示モデルは、ワーク６の見え方の内、一部の範囲の領域だけ第１教示モデルの撮像方向変化刻みより細かい刻みでワーク６に対するカメラ４の撮像方向を相対的に変えて撮像するものである。例えば、図４に示すように、鉛直方向（Ｚ軸方向）と撮像するカメラの光軸のなす角が±３０度の範囲内のみを、１０度単位で方向を変えて撮像し、その撮像画像２０と共に撮像方向データを対応させて記憶し、第２教示モデルとして画像処理装置１内の記憶手段に記憶させておく。
【００１６】
図５は、本実施形態におけるロボットシステムにおけるワーク位置姿勢を求める処理のフローチャートである。
まず、ロボット制御装置３は、ロボット本体２の各軸を駆動しロボット手先に取り付けたカメラ４を山積み等された３次元位置姿勢を求めようとするワークに対する撮像位置経移動させ位置決めする（ステップ１００）。そしてこのカメラの３次元位置を画像処理装置に送信すると共に撮像指令を送信する（ステップ１０１）。
【００１７】
画像処理装置１のプロセッサはロボット制御装置３から送られて来たカメラの３次元位置を記憶すると共に、撮像指令を受けカメラ４でワーク６を撮像しその画像（第１入力画像）を得る（ステップ１０２）。得られた画像と記憶手段に記憶する第１教示モデルの各教示モデルの画像との比較照合をマッチング等によって行う。この比較照合処理の詳細は、前述した特許文献１に詳細に記載されており、公知であることから、詳細な説明は省略する。
【００１８】
取り込んだ画像と各第１教示モデルの画像とが類似するものがあるか判断し（ステップ１０４）、類似するものがなければこの処理を終了し、類似するものがある中で、最も類似する教示モデルを選択する。選択した教示モデルに記憶されているワーク６に対するカメラの撮像方向よりカメラの相対姿勢を求める（ステップ１０５）。そして、ステップ１０１で記憶するカメラ４の３次元位置（ロボットの現在位置）とステップ１０５で求めたカメラのワークに対する相対姿勢より、第２段階の第２教示モデルとの比較照合のために画像を得るためにワークに対して相対的に移動させるべきカメラ４の目標移動位置を求め、ロボット制御装置３に出力する（ステップ１０６）。
【００１９】
ロボット制御装置３はロボット本体の各軸を駆動しロボット手先に取り付けられたカメラ４を受信した目標移動位置に移動させる（ステップ１０７）。そして、画像処理装置１に撮像指令を出力する（ステップ１０８）。
【００２０】
画像処理装置１は、この撮像指令を受けてカメラ４でワーク６を撮像し、画像（第２入力画像）を得る（ステップ１０９）。この得られた画像と第２教示モデルの各画像との比較照合を、第１教示モデルの画像との比較照合と同じように行い、類似する教示モデルを選択する。第２教示モデルの中から所定基準以上の類似する教示モデルを検出できない場合には、この処理を終了し、類似する教示モデルがある場合には、最も類似度が高い教示モデルを選択する（ステップ１１０，１１１）。
【００２１】
選択した教示モデルに記憶されているワークに対するカメラの撮像方向よりカメラの相対姿勢を求め（ステップ１１２）、この求めたカメラの相対姿勢と、ステップ１０６で求め、移動した現在のカメラの位置よりワークの位置姿勢を求める（ステップ１１３）。
【００２２】
以上のように、第１教示モデルに基づいて、ワーク６の姿勢を大まかに分類した中から求め、この求めたワーク姿勢及び位置より、ワーク６の見え方の所定範囲内の所定位置姿勢にカメラ４がなるように第２教示モデルとの比較照合のための画像を取り込む位置に移動させて、画像を取り込み、ワーク６の姿勢を細かい刻みで記憶する第２教示モデルの各画像と取り込んだ画像の比較照合を行って、ワーク６の位置姿勢を求めることから、ワーク６の位置姿勢を少ない教示モデルから高精度に求めることができるものである。
こうして、ワークの位置姿勢が高精度に認識された後、この認識したワーク６をハンド５で把持し取り出す等のハンドリング処理を行う。
【００２３】
【発明の効果】
本発明は、少ない教示モデルで、高精度にワーク（対象物）の姿勢を認識できる。
【図面の簡単な説明】
【図１】本発明の一実施形態の画像処理装置が適用されるロボットシステムのシステム構成図である。
【図２】撮像した画像と教示モデルとの比較照合による位置姿勢を認識する方法の説明図である。
【図３】本発明の実施形態における第１段階の比較照合を行うための第１教示モデルの画像の取得方法の説明図である。
【図４】同実施形態における第２段階の比較照合のための第２教示モデルの画像の取得方法の説明図である。
【図５】同実施形態におけるロボットシステムにおけるワーク位置姿勢を求める処理のフローチャートである。
【符号の説明】
１画像処理装置
２ロボット本体
３ロボット制御装置
４撮像手段（カメラ）
５ハンド
６ワーク（対象物）
９位置姿勢を求めるために撮像したワーク画像
１０第１教示モデルの画像
２０第２教示モデルの画像

Claims

対象物を撮像した入力画面と対象物の教示モデルとの比較照合により前記対象物の少なくとも姿勢を認識する画像処理装置であって、
前記対象物のとり得る見え方の全範囲を離散的にカバーするように、複数の方向から撮像したときの方向と該方向に対応した撮像画像からなる第１教示モデルと、
前記対象物のとり得る見え方の一部範囲のみを第１教示モデルよりも方向変化の刻みを小さくした複数の方向から撮像したときの方向と該方向に対応する撮像画像からなる第２教示モデルと、
撮像手段により前記対象物を撮像した第１入力画像に対して第１教示モデルの各画像と比較照合を行う第１比較照合手段と、
第１比較照合手段による比較照合結果に基づき、前記対象物と前記撮像手段との相対位置姿勢を第２教示モデルの見え方の範囲内になるように変更する撮像手段の相対位置姿勢変更手段と、
変更後の相対位置姿勢において前記撮像手段により前記対象物を撮像した第２入力画像に対して第２教示モデルを用いて比較照合する第２比較照合手段と、
を備えることを特徴とする画像処理装置。
前記相対位置姿勢変更手段は、ロボットである請求項１に記載の画像処理装置。
前記第１、第２の比較照合手段による比較照合がマッチングにより行われる請求項１又は請求項２に記載の画像処理装置。
前記第１、第２の比較照合手段による比較照合は、入力画像と複数の見え方画像の直交変換された中間的画像同士の比較照合により行われる請求項１乃至３の内いずれか１項に記載の画像処理装置。