JP2009015729A - 基準モデル作成方法および基準モデル作成装置 - Google Patents

Abstract

【課題】ワークを撮像する際の照明環境に合った基準モデルを作成する。
【解決手段】ワークの位置を検出するための画像検出用の基準モデルを作成する基準モデル作成方法であって、ワークを撮像して得られる画像データから当該ワークの観測モデルを作成する段階（ステップＳ３）と、予め記憶されている前記ワークの設計モデルと前記観測モデルとを整合して、前記設計モデルと前記観測モデルとに共通して含まれるエッジ要素を抽出する段階（ステップＳ４）と、前記抽出されたエッジ要素を前記基準モデルとして記憶する段階（ステップＳ５）と、を有することを特徴とする基準モデル作成方法。
【選択図】図４

Description

本発明は、基準モデル作成方法および基準モデル作成装置に関する。

ワーク位置の検出は、ワークを撮像して得られた画像データと、予め用意された画像検出用の基準モデルとを整合する方法が一般的に用いられている。具体的には、ワーク位置の検出方法は、撮像した画像データ中のワーク（以下、「観測モデル」と称する）が表示された画面上で基準モデルを走査させ、この画面上で観測モデルと基準モデルとが整合したときの基準モデルの座標を読み取ることで行われる。

ここで、ワーク位置を検出するとき、たとえば、実際の工場内では、太陽光などの光によってワークを撮像する際の照明環境は変化する。照明環境の変化、たとえば、外光がワークに当たる照射角度および照射強度が変化すると、観測モデルの見かけ上のエッジの出かたに変化が生じ、その結果、観測モデルと基準モデルとが整合しづらく、ワーク位置を正確に検知することができないおそれがある。

したがって、照明環境が変化しても、ワーク位置を正確に検出することができる基準モデルを作成する必要がある。そこで、従来では、照明環境の変化による予め想定される複数の観測モデルに対応した基準モデルをＣＡＤデータなどに基づいて複数作成し、複数の基準モデル全てを観測モデルと整合させ、観測モデルと整合した結果、観測モデルと最も相関が高かった基準モデルに基づいて、ワーク位置を検出している（たとえば、特許文献１参照）。

しかしながら、複数の基準モデルを作成するには、想定される複数の照明環境、もしくは想定されるエッジとなるように、ＣＡＤデータを加工するなど、ある程度経験の積んだ作業者の工数が必要であり、また、複数の基準モデルがあると、ワーク位置を検出する際に、作成した複数の基準モデルをすべて画像データと整合させる処理が必要となり、処理時間がかかるという問題があった。
特開平１０−２１３４２０号公報

本発明は、上記問題点を解決し、ワークを撮像する際の照明環境に合った基準モデルを作成することができる基準モデル作成方法及び基準モデル作成装置を提供することを目的とする。

本発明の上記目的は、下記の手段によって達成される。

本発明の基準モデル作成方法は、ワークの位置を検出するための画像検出用の基準モデルを作成する基準モデル作成方法であって、ワークを撮像して得られる画像データから当該ワークの観測モデルを作成する段階と、予め記憶されている前記ワークの設計モデルと前記観測モデルとを整合して、前記設計モデルと前記観測モデルとに共通して含まれるエッジ要素を抽出する段階と、前記抽出されたエッジ要素を前記基準モデルとして記憶する段階と、を有することを特徴とする。

本発明の基準モデル作成装置は、ワークの位置を検出するための画像検出用の基準モデルを作成する基準モデル作成装置であって、ワークを撮像して得られる画像データから当該ワークの観測モデルを作成する観測モデル作成手段と、予め記憶されている前記ワークの設計モデルと前記観測モデルとを整合して、前記設計モデルと前記観測モデルとに共通して含まれるエッジ要素を抽出するエッジ要素抽出手段と、前記抽出されたエッジ要素を前記基準モデルとして記憶する基準モデル記憶手段と、を有することを特徴とする。

以上のように構成された本発明にかかる基準モデル作成方法および基準モデル作成装置によれば、観測モデルと設計モデルとを整合させて、ワークを撮像する際の照明環境に合った基準モデルを作成することで、作業者により複数の基準モデルを作成する工程を省略することができ、また、照明環境に合った基準モデルのみを画像データと整合させることで、ワーク位置を正確に検出でき、かつ、位置を検出するための処理時間を短縮することができるようになる。

以下、本発明に係る基準モデル作成方法について、図面を参照しながら詳細に説明する。

本発明の実施形態の基準モデル作成方法は、ワークの位置を検出するための画像検出用の基準モデル（テンプレートモデル）を作成する方法であって、当該ワークを撮像して得られる画像データから作成した観測モデルと、予め記憶されている前記ワークの設計モデルとを整合（マッチング）して、前記観測モデルと前記設計モデルとに共通して含まれるエッジ要素を抽出して基準モデルを作成することに特徴を有するものである。

図１は、本実施形態の基準モデル作成方法が適用されるワーク位置検出システムの一例を示している。ワーク位置検出システムは、たとえば、所定の場所にある自動車のドアまたはガラスなどのワークの位置姿勢を検出するものである。

図１に示されるとおり、ワーク位置検出システム１は、所定の場所に置かれたワーク１０を撮像する撮像部２０と、撮像部２０により得られた画像データから基準モデルを作成し、ワーク１０の位置を検出するコンピュータ３０と、を含む。

ワーク１０は、上述したように、たとえば所定の場所に置かれた自動車のドアまたはガラスなどの物体である。なお、ワーク１０は、所定の場所、たとえば、工場内におけるワークが一時的に載置される台４０に置かれている場合に限られず、自動車のボディに取り付けられている状態のものでもよい。

撮像部２０は、位置検出対象のワーク１０を撮像するものであって、撮像手段として機能する。具体的には、撮像部２０は、ＣＣＤ素子などの撮像素子とその他の光学系によって構成可能であり、その構成自体は、一般的な撮像部と同様であるので、詳しい説明を省略する。撮像部２０は、たとえば、固定された柱に取り付けることができ、または、ロボットのワークを把持する先端部分に取り付けることもできる。

コンピュータ３０は、基準モデル作成装置であるとともに、ワーク位置検出システムの一部の役割を担っている。

コンピュータ３０は、たとえば、図２に示すように、マイクロプロセッサからなるＣＰＵ（中央演算処理装置）３１、ＣＰＵ３１にバス結合されたＲＯＭ３２、ＲＡＭ３３、ハードディスク３４、表示部３５、入力部３６、およびインターフェイス３７などの構成要素を備えている。ＣＰＵ３１は、コンピュータの中で各装置の制御やデータの計算・加工を行なう中枢部分である。ＣＰＵ３１は、ＲＯＭ３２に記憶されたプログラムを実行する装置で、ＲＡＭ３３、ハードディスク３４、または入力部３６からデータを受け取り、演算・加工した上で、表示部３５またはハードディスク３４に出力する。ＲＯＭ３２は、一度書き込まれた情報を読み出すための記憶装置のであり、たとえば、システムプログラムなどのプログラムが格納される。ＲＡＭ３３は、半導体素子を利用した記憶装置であり、たとえば、ＣＰＵ３１が実行する処理のためのデータの一時記憶などに使用される。ハードディスク３４は、外部記憶装置である。表示部３５は、たとえば、ＣＲＴディスプレイ、液晶ディスプレイ、プラズマディスプレイなどの表示装置である。入力部３６は、たとえば、キーボード、およびマウスなどのポインティングディバイスである。インターフェイス３７は、二つのものの間に立って、情報のやり取りを仲介するものである。

以下、本発明の実施形態の基準モデル作成装置について、図３を参照しつつ、詳細に説明する。図３は、本実施形態に係る基準モデル作成装置の概略構成を示すブロック図である。

基準モデル作成装置は、基準モデル作成の処理を実行する各部として、設計モデル設定部３１１、画像データ取得部３１２、観測モデル作成部３１３、エッジ要素抽出部３１４、基準モデル設定部３１５、ワーク位置検出部３１６、エッジ要素記憶部３３１、および共通エッジ要素抽出部３１７を含み、ＣＰＵ３１、およびＲＡＭ３３などの記憶装置がこれら各部の役割を担う。

設計モデル設定部３１１は、位置検出対象のワーク１０の設計モデルを設定するものであり、設計モデル設定手段として機能する。ここで、設計モデルとは、位置検出対象のワーク１０の設計形状のデータ、たとえば、ＣＡＤデータから作成したものであって、ワーク１０の形状のエッジを表すデータである。

画像データ取得部３１２は、撮像部２０からワーク１０を撮像して得られる画像データを取得するものである。取得した画像データは、基準モデルを作成するために用いられ、また、実際のワーク位置を検出する際のデータとして用いられる。ここで、基準モデルとは、画像データ中の検出対象のワークの位置姿勢を検出するために、その画像データ中のワークと整合するためのモデルである。

観測モデル作成部３１３は、取得した画像データ中のワーク１０の形状を観測モデルとして作成するものであって、観測モデル作成手段として機能する。観測モデルは、撮像されたワーク１０の形状のエッジを表すデータであって、ワーク位置の検出前にワークを撮像して作成される初期の観測モデル（以下、「初期観測モデル」と称する）と、後述するワーク位置検出部３１６でワークの位置の検出の際に用いた位置検出用の画像データから作成される更新用の観測モデル（以下、「更新用観測モデル」と称する）と、を含む。

エッジ要素抽出部３１４は、予め記憶されているワーク１０の設計モデルと観測モデルとを整合して、設計モデルと観測モデルとに共通して含まれるエッジ要素を抽出するものであって、エッジ要素抽出手段として機能する。エッジ要素とは、設計モデルと観測モデルとに共通して含まれ、ワーク１０の形状のエッジをかたどったものであって、たとえば、各モデルのデータが座標データであるとき、同一の座標系で両モデルを整合して共通する座標点の集合群である。エッジ要素は、上記観測モデルと同様、ワーク１０の設計モデルと初期観測モデルとを整合し、両モデルに共通して含まれる初期のエッジ要素（以下、「初期エッジ要素」と称する）と、ワーク１０の設計モデルと更新用観測モデルとを整合し、設計モデルと更新用観測モデルとに共通して含まれる更新用のエッジ要素（以下、「更新用エッジ要素」と称する）と、を含む。具体的な設計モデルと観測モデルとを整合してエッジ要素を抽出する方法については後述する。

基準モデル設定部３１５は、抽出されたエッジ要素を基準モデルとして設定するものであって、基準モデル設定手段として機能する。基準モデル設定部３１５は、ワーク位置検出前に、エッジ要素抽出部３１４からの初期エッジ要素を基準モデルとして設定する場合と、ワーク位置検出後に、後述する共通エッジ要素抽出部３１７からの共通エッジ要素に基づいて基準モデルを更新して再設定する場合と、を含む。

ワーク位置検出部３１６は、画像データ取得部３１２の画像データと基準モデルとを整合して位置検出対象のワークの位置を検出するものであって、ワーク位置検出手段として機能する。ワーク位置検出部３１６は、従来のワーク位置検出方法と同様に、たとえば、撮像した画像データ中のワーク１０が表示された画面上で基準モデルを走査させ、この画面上で観測モデルと基準モデルとが整合したときの基準モデルの座標を読み取ることで行われる。

エッジ要素記憶部３３１は、上述したエッジ要素抽出部３１４からの更新用エッジ要素を記憶するものであって、エッジ要素記憶手段として機能する。主としてＲＡＭ３３がエッジ要素記憶部３３１の役割を担う。

共通エッジ要素抽出部３１７は、エッジ要素記憶部３３１で記憶された複数回分の更新用のエッジ要素にそれぞれに所定の閾値の割合以上で共通して含まれる共通エッジ要素を抽出するものであって、共通エッジ要素抽出部として機能する。抽出された共通エッジ要素は、基準モデル設定部３１５で基準モデルを更新する際に用いる。共通エッジ要素抽出方法については後述する。

以上のように構成された基準モデル作成装置を用いて、本実施の形態に係る基準モデル作成方法が実行される。

次に、図４に示すフローチャートに基づいて、本実施の形態の基準モデル作成方法を説明する。以下の処理は、ＣＰＵ３１が主として実行する。図４は、本実施の形態の基準モデル形勢装置の処理内容を示すフローチャートである。

以下のステップＳ１〜ステップＳ５の処理は、ワーク位置を検出する前に行われる処理であって、位置検出対象のワークを撮像した画像データと整合するための基準モデルを作成する処理である。

まず、位置検出対象のワーク１０の設計モデルを設定する（ステップＳ１）。この設計モデルは、上述のように、たとえば、位置検出対象のワーク１０の形状をかたどったＣＡＤデータであって、入力部２６または／およびインターフェイス２７を介して外部から入力される。

次いで、撮像部２０により既知の位置に予め置かれたワーク１０を撮像して得られる画像データを取得する（ステップＳ２）。既知の位置に予めワーク１０を置くことで、その位置情報に基づき、以後の初期観測モデルと設計モデルとの整合を正確に行うことができる。

次いで、取得した画像データ中のワークの形状を初期観測モデルとして作成する（ステップＳ３）。初期観測モデルは、従来の画像データから物体を認識する認識方法と同様であって、たとえば、画像データ中にワークと認識する部分を抽出し、形状のエッジをかたどった座標点を抽出することで作成することができる。

次いで、設計モデルと初期観測モデルとを整合し、両モデルの共通するエッジ要素を抽出する（ステップＳ４）。

ここで、設計モデルと初期観測モデルとを整合してエッジ要素を抽出する方法について、図５を用いて詳細に説明する。図５は、本実施形態の基準モデルを作成する様子を表す図である。図５の（ａ）は設計モデルの形状のエッジを表し、（ｂ）は、初期観測モデルの形状のエッジを表すものとする。設計モデルと初期観測モデルとを整合してエッジ要素を抽出する方法は、たとえば、設計モデルの座標系の原点と、初期観測モデルの座標系の原点とを合わせる形で、図５（ｃ）に示すように整合をかける。この際、原点は、両モデルを整合する基準となる点であればよく、たとえば、エッジ上であって、照明環境に左右されにくい点を選択する。また、整合する際に、両モデルの座標系のズレを考慮し、設計モデルのエッジ幅を膨張することが望ましい。エッジ幅の膨張は、たとえば、設計モデルにおいて、連続する座標点の集合で表される線（ライン）に直交する幅の方向に位置する所定の座標点も設計モデルのエッジとして選択する。そして、両モデルを整合した結果、図５（ｄ）に示すように、両モデルに共通して含まれる座標点（エッジ）のみを両モデルの共通するエッジ要素として適用する。

次いで、共通するエッジ要素を基準モデルとして保存する（ステップＳ５）。この基準モデルは、設計モデルと観測モデルとの共通するエッジ要素のみからなるので、設計モデルでのエッジから、見かけ上のエッジに相当するエッジのみを自動抽出し、かつ、観測モデルに含まれ、本来のエッジではなく照明環境から発生する影などの不確定要素の高いエッジを自動除去されている。

以下のステップＳ６〜ステップＳ１２の処理は、ワーク位置を検出する際に行われる処理であって、基準モデルを更新する処理である。

まず、位置検出対象のワーク１０が撮像された画像データを撮像部２０から取得する（ステップＳ６）。

次いで、撮像された画像データと基準モデルとを整合し、ワーク位置を検出する（ステップＳ７）。具体的なワーク位置の検出方法は、従来の基準モデルを用意し、撮像された画像データ中のワークと整合をする方法と同様であるので、詳しい説明を省略するが、簡単に説明すると、撮像した画像データ中のワーク１０が表示された画面上で基準モデルを走査させ、この画面上で観測モデルと基準モデルとが整合したときの基準モデルの座標を読み取ることで行われる。

次いで、画像データから更新用観測モデルを作成する（ステップＳ８）。更新用観測モデルの作成方法は、上記初期観測モデルを作成する方法と同様である。

次いで、設計モデルと更新用観測モデルとを整合し、両モデルの共通する更新用エッジ要素を抽出する（ステップＳ９）。設計モデルと更新用観測モデルとを整合する際に、基本的には、上記設計モデルと初期観測モデルとを整合する方法と同様であるが、ステップ７で求めたワーク位置検出結果に基づき、設計モデルの座標系の原点と更新用観測モデルの座標系との原点を合わせることで行う。たとえば、ｘｙ座標系において、ワーク１０が基準位置からｘ方向にα、ｙ方向にβの位置にあるとき、設計モデルの座標系の原点をｘ方向にα、ｙ方向にβの位置に移動させることで両モデルの整合ができる。

次いで、抽出された更新用エッジ要素をＲＡＭなどの記憶装置に保存する（ステップＳ１０）。

更新用エッジ要素をｎ回分記憶するまで（ステップＳ１１：Ｎｏ）、上述のステップＳ６〜ステップＳ１０を繰り返す。更新用エッジ要素がｎ回分記憶したとき（ステップＳ１１：Ｙｅｓ）、ステップＳ１２の処理に移る。

次いで、ｎ回分の記憶された更新用エッジ要素にそれぞれに所定の閾値の割合以上で共通して含まれる共通エッジ要素を抽出する（ステップＳ１２）。共通エッジ要素とは、複数回分のエッジ要素に共通して含まれるエッジ要素である。

ここで、共通エッジ要素の抽出方法は、たとえば、同一の座標系において、それぞれのエッジ要素を重ね合わせ、重複する座標点のみを抽出する。この際、共通エッジ要素は、記憶されたエッジ要素全てに重複する座標点のみならず、ある所定の閾値の割合以上、たとえば、９５％以上で共通して含まれる座標点を含んでもよい。共通エッジ要素を抽出することで、突発的な光の変化が生じた場合の撮像結果によるエッジ要素を除くことができる。

次いで、共通エッジ要素に基づき基準モデルを更新する（ステップＳ１３）。基準モデルを更新することで、ワーク位置の検出が継続して行われる中で、照明環境が変化してもその照明環境に合った基準モデルを保つことができる。

以上のように、本実施形態の基準モデル作成方法によれば、ワークを撮像する際の照明環境に合った基準モデルを作成することで、作業者により複数の基準モデルを作成する工程を省略することができ、また、照明環境に合った基準モデルのみを画像データと整合させることで、ワーク位置を正確に検出でき、かつ、位置を検出するための処理時間を短縮することができるようになる。

また、位置検出前に基準モデルを作成する段階において、観測モデルが既知の位置に予めおかれたワークを撮像して作成され、既知の位置の情報に基づいてワークの設計モデルと観測モデルとを整合することで、安定かつ確実に基準モデルを作成できる。

さらに、位置検出対象のワークの位置を撮像し、その撮像した結果に基づき、基準モデルを更新することで、予め複数の基準モデルを作成する必要がなく、突発での照明環境の変化ではない緩やかな変化、たとえば、昼夜の影響、照明の劣化、または周辺の環境の変化に柔軟に対応することができる。

さらに、位置検出されたワークの位置の情報に基づいて設計モデルと更新用の観測モデルとを整合することで、安定かつ確実に更新用のエッジ要素を抽出することができる。

さらに、設計モデルと観測モデルとを整合する前に、設計モデルのエッジ幅を膨張することで、両モデルが安定的に整合することができる。

以上のように本発明の好適な実施形態について説明したが、本発明は、以上の実施形態に限定されるべきものではなく、特許請求の範囲に表現された思想および範囲を逸脱することなく、種々の変形、追加、および省略が当業者によって可能である。

たとえば、本実施の形態の変形例として、ワーク位置を検出する前の基準モデルとして、設計モデルをそのまま用いて、ワーク位置を検出後は、撮像された画像データから作成される観測モデルと設計モデルとを整合して抽出されるエッジ要素に基づき基準モデルを更新することができる。この場合、位置検出前に、基準モデルを観測モデルにより作成する必要がなくなるので、既知の位置に予めワークを置いて撮像する必要がなくなる点で有効である。

また、本実施形態では、基準モデルを作成する際の初期観測モデルは、既知の位置に予め置かれたワークを撮像することにより作成する方法を示したが、これに限られず、たとえば、表示部３５に表示される画像を見ながら、その画面上で、設計モデルを走査させ、画像中のワークとマッチングして、両モデルが共通して含むエッジ要素を抽出して基準モデルを作成してもよい。

さらに、本実施形態では、更新用のエッジ要素を複数回分記憶し、共通エッジ要素を抽出する方法を示したが、更新用のエッジ要素は複数回分でなくても、１回分でももちろん良い。その場合、共通エッジ要素抽出部が不要となる。

さらに、本実施形態では、コンピュータ３０が基準モデル作成装置とともに、ワーク位置検出システムの一部として使う例を示したが、これに限られず、基準モデルを作成するための装置と、ワーク位置を検出するための装置と、別の装置で構成することができることはもちろんである。

本実施形態の基準モデル作成方法が適用されるワーク位置検出システムの一例を示している。 本実施形態の基準モデル作成方法が適用されるワーク位置検出システムの概略構成を示すブロック図である。 本実施形態の基準モデル作成装置の概略構成を示すブロック図である。 本実施形態の基準モデル形勢装置の処理内容を示すフローチャートである。 本実施形態の基準モデルを作成する様子をあらわす図である。

符号の説明

１０ ワーク、
２０ 撮像部、
３０ コンピュータ、
３１１ 設計モデル設定部、
３１２ 共通するエッジ要素抽出部、
３１３ 観測モデル作成部、
３１４ 画像データ取得部、
３１５ 共通エッジ要素抽出部、
３１６ 基準モデル設定部、
３１７ ワーク位置検出部、
３３１ エッジ要素記憶部。

Claims (7)

1. ワークの位置を検出するための画像検出用の基準モデルを作成する基準モデル作成方法であって、
   ワークを撮像して得られる画像データから当該ワークの観測モデルを作成する段階と、
   予め記憶されている前記ワークの設計モデルと前記観測モデルとを整合して、前記設計モデルと前記観測モデルとに共通して含まれるエッジ要素を抽出する段階と、
   前記抽出されたエッジ要素を前記基準モデルとして記憶する段階と、
   を有することを特徴とする基準モデル作成方法。
2. 前記観測モデルは、既知の位置に予め置かれたワークを撮像して作成され、
   前記既知の位置の情報に基づいて前記ワークの設計モデルと前記観測モデルとを整合することを特徴とする請求項１に記載の基準モデル作成方法。
3. さらに、位置検出対象のワークを撮像して得られる位置検出用の画像データと前記基準モデルとを整合して前記位置検出対象のワークの位置を検出する段階と、
   前記ワークの位置の検出の際に用いた位置検出用の画像データから更新用の観測モデルを作成する段階と、
   前記ワークの設計モデルと前記更新用の観測モデルとを整合して、前記設計モデルと前記更新用の観測モデルとに共通して含まれる更新用のエッジ要素を抽出する段階と、
   前記更新用のエッジ要素に基づいて前記基準モデルを更新する段階と、
   を有することを特徴とする請求項２に記載の基準モデル作成方法。
4. 検出されたワークの位置の情報に基づいて前記ワークの設計モデルと前記更新用の観測モデルとを整合することを特徴とする請求項３に記載の基準モデル作成方法。
5. 前記基準モデルを更新する段階は、
   複数回分の前記更新用のエッジ要素を記憶する段階と、
   前記記憶された複数回分の前記更新用のエッジ要素にそれぞれに所定の閾値の割合以上で共通して含まれる共通エッジ要素に基づいて前記基準モデルを更新する段階と、を含むことを特徴とする請求項３に記載の基準モデル作成方法。
6. さらに、前記観測モデルと整合する前に、前記設計モデルのエッジ幅を膨張する段階を有することを特徴とする請求項１に記載の基準モデル作成方法。
7. ワークの位置を検出するための画像検出用の基準モデルを作成する基準モデル作成装置であって、
   ワークを撮像して得られる画像データから当該ワークの観測モデルを作成する観測モデル作成手段と、
   予め記憶されている前記ワークの設計モデルと前記観測モデルとを整合して、前記設計モデルと前記観測モデルとに共通して含まれるエッジ要素を抽出するエッジ要素抽出手段と、
   前記抽出されたエッジ要素を前記基準モデルとして記憶する基準モデル記憶手段と、
   を有することを特徴とする基準モデル作成装置。

Images