JP2010262434A - マーキング制御システム及びこれを用いてマーキングされた部材同士の位置合わせ方法 - Google Patents

Abstract

【課題】マーキングにより２つの部材をどのような位置、角度で合わせ、どのような位置からカメラにてパターンマッチングする場合でも、的確に互いの位置を合わせることができるマーキング制御システム及びこれを用いてマーキングされた部材同士の位置合わせ方法を提供する。
【解決手段】マークを第１及び第２の部材のそれぞれに付すためのマーキング機に備わるマーキング制御システム１であって、組立計画データベース２と、カメラ情報が格納されたカメラデータベース３とから情報を取得し、カメラから見た時のカメラ平面画像を導出する平面導出処理部８と、マーキング位置情報が格納されたマーキングデータベース４と、マークの形状が格納されたマークデータベース５とから、マークをカメラにてパターンマッチングできる形状に変形するためのマーク変形処理部９とを有し、変形マーク変換情報を、マーキング機７に備わるマーキング手段に伝達する。
【選択図】図１

Description

本発明は、カメラにて容易にパターンマッチングできるマークを部材（特に板材）に付すことができるマーキング制御システム及びこれを用いてマーキングされた部材同士の位置合わせ方法に関するものである。

２つの物体の相対的位置関係を、１台の画像入力装置のモニタ画像を用いて調整する位置決め装置に関する特許が特許文献１に開示されている。これは、予め２つの物体にマーキングされた位置決めマークのモニタ画面上の位置を検出し、それぞれのマーク位置又は相対位置が所定の条件を満たすように物体を位置決め移動させるものである。特許文献１の位置決め装置では、両部材（物体）に付した直線状のマークが直線状に並ぶようにして互いの位置を合わせている。このように、マークを用いて位置を合わせる方法としては、他に特許文献２や特許文献３に示されているように、円形状のマークを重ねたり並べたりする方法が開示されている。

このようなマークによる位置合わせは、カメラによる画像認識を利用して、パターンマッチングすることにより行われる。しかしながら、上記特許文献１〜３では、マークを画像認識する際にカメラからみてマークがどのように認識されるかを考慮していない。例えば、位置合わせする部材が角度をもって接合される場合等、同じカメラ位置からこれらに付されたマークを見ると、角度によっては異なったマークに見えることがある。したがって、２つの部材には全く同じマークを付したとしても、パターンマッチングにより異なるマークと認識され、位置合わせが正常に行えない場合があるので、これに対応する必要がある。

特開平７−７２９３０号公報 特開平１０−２７２７５８号公報 特開２００４−４３７３号公報

本発明は、上記従来技術を考慮したものであって、マーキングにより２つの部材を位置合わせする場合において、両部材をどのような位置、角度で合わせる場合でも、さらにどのような位置からカメラにてパターンマッチングする場合でも、的確に互いの位置を合わせることができるマーキング制御システム及びこれを用いてマーキングされた部材同士の位置合わせ方法を提供することを目的とする。

前記目的を達成するため、請求項１の発明では、互いに組付けられる第１の部材と第２の部材との間で、互いの位置を合わせるための指標となるマークを前記第１及び第２の部材のそれぞれに付すマーキング機のためのマーキング制御システムであって、前記第１の部材と前記第２の部材の位置合わせ後における互いの位置及び角度情報が格納された組立計画データベースと、前記第１及び第２の部材の位置合わせ時に同一のカメラにより撮像した前記マークの画像を画像処理によりパターンマッチングするために、前記部材に対する前記カメラの位置及び角度情報が格納されたカメラデータベースと、前記組立計画データベース及び前記カメラデータベースからそれぞれの情報を取得し、位置合わせ後の前記第１の部材及び第２の部材を前記カメラから見た時のカメラ平面画像を導出する平面導出処理部と、前記第１の部材と前記第２の部材における前記マークを付す位置であるマーキング位置情報が格納されたマーキングデータベースと、前記マークの形状が格納されたマークデータベースと、前記マーキングデータベースから前記マーキング位置情報を取得し、前記マークデータベースから前記マークの形状を選択し、前記マークの形状を前記カメラ平面画像上でパターンマッチングできる変形マークに変形するためのマーク変形処理部とを有し、前記マーク変形処理部は、前記第１及び第２の部材に前記マーキング機によって付されたマークが前記カメラ平面画像に前記（変形前の）マークとして映し出されるように、前記マーキング機のマーキング手段に描画指令を伝達することを特徴とするマーキング制御システムを提供する。

また、請求項２の発明では、請求項１に記載のマーキング制御システムを用いて、マーキングされた部材同士の位置合わせ方法であって、前記第１及び第２の部材を突き合わせた後、前記カメラ平面画像上にて、前記第１及び第２の部材のマーキング面に付されたそれぞれの（カメラ平面画像上では変形前のマークとして映し出される）変形マークから、前記マーキング面の交線に向けて補助線を引き、前記第１の部材の変形マークからの補助線と前記交線が交わる第１の交点と、前記第２の部材の変形マークからの補助線と前記交線が交わる第２の交点との位置関係を基準として前記第１の部材と前記第２の部材の位置合わせを行うことを特徴とするマーキング制御システムを用いてマーキングされた部材同士の位置合わせ方法を提供する。

請求項３の発明では、請求項２の発明において、前記変形マークは少なくとも前記交線と垂直に交差する方向に延びる基準辺を有する線書きの図形である一方、前記補助線は前記基準辺を前記交線まで延長した直線であり、前記第１及び第２の交点との距離が許容値以下の場合に、前記第１及び第２の部材の位置が合っていると判断することを特徴としている。

請求項１の発明によれば、組立計画データベースから第１の部材と第２の部材との位置合わせ後の互いの位置及び角度を取得し、カメラデータベースからパターンマッチングに用いるカメラの位置及び角度を取得して、カメラから第１の部材及び第２の部材を見た時のカメラ平面画像を平面導出処理部にて導出できる。さらに、マーキングデータベースから第１の部材及び第２の部材に対するマーキング位置をそれぞれ取得し、マークデータベースから今回付すべきマークを選択して、このマークが取得したマーキング位置に付された時に、先に導出したカメラ平面画像でどのような形状に認識されるかを求めてマーク変形処理部にて変形マークを作成し、これをマーキング位置に付すようにマーキング機に備わるマーキング手段に伝達する。したがって、予めカメラによって確実にパターンマッチングできる変形マークを部材に付して位置合わせするので、マークを誤認識することなく、両部材の位置決め作業を迅速かつ的確に行うことができる。また、カメラの位置が同じであれば、導出したカメラ平面画像を繰り返し使用できるので、マークの変形を迅速に行うことができ、作業性が向上する。

請求項２の発明によれば、第１及び第２の部材に付された変形マークから、それぞれ補助線を交線に向けて引き、これら第１及び第２の交点の位置関係に基づいて、第１及び第２の部材の位置合わせを行うので、簡単な方法で効率よく両部材の位置合わせを行うことができる。
請求項３の発明によれば、第１及び第２の部材とのマーキング面における交線と垂直に交差する基準辺を有する変形マークを、この基準辺を延長させた補助線と交線が一致するように、第１及び第２の部材にマーキングするので、補助線と交線が交わる互いの交点が一致することを確認することにより、両部材の位置合わせを確実なものとすることができる。さらには、この両交点の距離が許容値以下と幅を持たせて位置合わせを判断することもできるので、位置合わせする部材に応じた精度で両部材の位置合わせを行うことができる。

本発明に係るマーキング制御システムの概略ブロック図である。 カメラ平面と部材平面の説明図である。 本発明に係るマーキング制御システムを用いてマーキングされた部材同士の位置合わせ方法の説明図である。 本発明に係るマーキング制御システムを用いてマーキングされた部材同士の位置合わせ方法のフローチャートである。

図１は本発明に係るマーキング制御システムの概略ブロック図であり、図２はカメラ平面と部材平面の説明図である。
本発明に係るマーキング制御システム１は、組立計画データベース２と、カメラデータベース３と、マーキングデータベース４と、マークデータベース５と、マーク変形モジュール６で構成される。マーキング制御システム１は、各データベース２，３，４，５から各情報を取得し、これらをマーク変形モジュール６にて処理して変形マークを作成し、部材に対する描画位置情報とともにマークを付すためのマーキング機（手段）７に伝達するものである。

組立計画データベース２は、組立部材の組付位置や組付角度等の情報を格納したものである。例えば、組付けすべき第１の部材に対して、第２の部材がどのような位置・角度で第１の部材に接するかの情報である。カメラデータベース３は、パターンマッチングするカメラの位置や姿勢（角度）情報を格納したものである。例えば、実際に第１の部材と第２の部材を組み付ける場面において、両部材の位置合わせをする際に何れの位置・角度からカメラが視認しているかの情報である。

マーキングデータベース４は、組立部材への位置決めマーク描画位置情報を格納したものである。例えば、第１の部材及び第２の部材のどの部分（位置）にマークを付すか等の情報である。マークデータベース５は、（位置決め）マークがカメラと正対したときのマーク形状のパターンが登録されているものである。
マーク変形モジュール６には、平面導出ブロック８と平面変換ブロック９が備わる。平面導出ブロック８は、組立計画データベース２とカメラデータベース３から第１の部材及び第２の部材の組付け位置・角度、さらにカメラの位置・角度情報を取得し、当該カメラの位置・角度から組立部材を撮影した時のカメラ平面画像を演算により求める。すなわち、図２に示すように、実際の部材平面Ｑは、カメラの位置・角度により、カメラ平面ｑとして認識される。この部材平面Ｑに対するカメラ平面ｑを演算により求める。

このカメラ平面画像の導出は、３次元空間のある平面から別の平面へ投影する方法である、ホモグラフィ変換を用いることができる。このホモグラフィ変換は、３×３のホモグラフィ行列を利用して、３次元空間上のある点Ｑ（Ｘ，Ｙ，Ｚ）を平面ｑ（ｘ，ｙ）に変換する方法である。これにより、実際の部材平面に付されたマークが、カメラにてどのように変形されて認識されるかを求めることができる。

平面変換ブロック９は、平面導出ブロック８で導出されたカメラ平面画像の情報と、マーキングデータベース４及びマークデータベース５からの情報を取得する。これらの情報を総合して、マークデータベース５から選択した任意のマークが組立計画データベース２に基づいた第１及び第２の部材の所定個所に付された時、カメラ平面画像ではどのように映るかを求める。すなわち、マークデータベース５から選択した任意のマークがカメラ平面画像によって認識される変形マークを求める。

この変形マークは、変形マークの形態がカメラ平面画像で認識できるような態様となるように、例えば上述したＱからｑへの変換の逆変換をされ、すなわちカメラ平面画像における点ｑ１、ｑ２を部材平面上のＱ１、Ｑ２に変換される。この変形マークの変換情報は、部材に対する描画位置とそのマークパターン情報が描画指令としてとしてマーキング機７に伝達される。そして、マーキング機７に備わるマーキング手段（不図示）により、変形マークがカメラ平面画像でパターンマッチングできるような態様で第１の部材及び第２の部材にマーキングする。

このように、予めカメラによって確実にパターンマッチングできる変形マークを部材に付して位置合わせするので、マークを誤認識することなく、両部材の位置決め作業を迅速かつ的確に行うことができる。また、カメラの位置が同じであれば、導出したカメラ平面画像を繰り返し使用できるので、マークの変形を迅速に行うことができ、作業性が向上する。

図３は本発明に係るマーキング制御システムを用いてマーキングされた部材同士の位置合わせ方法の説明図である。
図示したように、この例では、第１の部材１０上に垂直に第２の部材１１が組み付けられるものをカメラ平面画像で認識した態様で示している。第１及び第２の部材１０，１１には、それぞれ変形マーク１２がマーキングされている。パターンマッチングを行うカメラは、この変形マーク１２を認識し、同一の図形であると判断したら、次にこの変形マーク１２をもとにして両部材１０，１１の位置合わせを行う。

なお、パターンマッチングを行う図形（マーク）としては、両図形が同一の図形に限られるものではなく、また図示したような直角三角形でなくても種々の図形（例えば矢印）を用いることができる。このようなパターンマッチングは、カメラによる画像認識の対応を予め設定しておくことにより行うことができる。
変形マークが図示したような直角三角形の場合、部材に正対して直角三角形をマーキングすると、図の点線で示した直角三角形１２ａとなる。これをカメラ平面画像で認識すると（図示した角度から見ると）、両マークは歪んでしまい、同一のマークとは認識できない。したがって、パターンマッチングを行うために、カメラ平面画像にて同一のマークとなるように、変形マークを求め、予め両部材にマーキングする。

マークは、単純なものにすると（例えば直線）、部材間の継ぎ目や部材のエッジ、あるいは影等と誤認識する可能性があるため、ある程度複雑な形状とすることが好ましい。カメラにより自動的にマークを検出するには、予め登録したマークパターンと画面上の画像とのマッチングをとり、マッチング度合いが所定値以上であるものを抽出する方法が用いられる。具体的には、マークを含む領域全体のパターンマッチングを行う正規化相関手法や、画像から濃淡の輪郭を抽出したマークの輪郭形状のパターンマッチングを行う手法等がある。

両部材１０，１１の位置合わせは、互いの変形マーク１２から両部材１０，１１のマーキング面における交線１３に向けて補助線１４（図の破線）を引く。例えば図示したような変形マーク１２が直角三角形であってその一辺（基準辺Ｂ）の延長線が交線１３に対して垂直に交わる場合、その延長線を補助線１４とする。すなわち、基準辺Ｂは交線１３に対して垂直に形成されている。補助線１４が交線１３と交わる点を交点１０ａ,１１ａとし、これらの交点距離が許容値以下のときに、両部材１０，１１の位置が合っていると判断する。したがって、このような場合は、交点１０ａ，１１ａが一致するように、予め第１及び第２の部材にマーキングされる。なお、補助線１４の引き方や、交点１０ａ，１１ａを基とする判断基準は、これに限定されるものではない。

図４は本発明に係るマーキング制御システムを用いてマーキングされた部材同士の位置合わせ方法のフローチャートである。
ステップＳ１：
位置合わせのための作業台に、第１の部材及び第２の部材がロボットアーム等で搬送され、組付け位置にて互いに接しながら載置される。この載置された第１の部材及び第２の部材をパターンマッチングのためのカメラにて、カメラ平面画像における変形マークを検出する。この変形マークは、予め両部材にマーキングされている。

ステップＳ２：
変形マークから両部材のマーキング面における交線に対し、補助線を引く。さらに、この補助線と交線の交点の位置を算出する。変形マークは、この交点が一致するように補助線の引き方も考慮して、予め別の場所で第１の部材及び第２の部材にマーキングされている。補助線の引き方の例としては、図３に示した通りである。

ステップＳ３：
交点間距離が許容値以下であるか判断する。
ステップＳ４：
交点間距離が許容値より大きい場合、交点同士が近付くように（交点間距離が許容値以下となるように）、部材の一方又は両方を移動させる。移動させた後、ステップＳ１に戻る。

ステップＳ５：
ステップＳ３で交点間距離が許容値以下の場合、両部材の位置合わせが完了したと判断し、仮溶接を行う。こののち、正式な溶接をするために、所定の場所に仮溶接をされたまま搬送される。
上述したように、第１及び第２の部材とのマーキング面における交線と垂直に交差する基準辺を有する変形マークを、この基準辺を延長させた補助線と交線が一致するように、第１及び第２の部材にマーキングするので、補助線と交線が交わる互いの交点が一致することを確認することにより、両部材の位置合わせを確実なものとすることができる。さらには、この両交点の距離が許容値以下と幅を持たせて位置合わせを判断することもできるので、位置合わせする部材に応じた精度で両部材の位置合わせを行うことができる。

１ マーキング制御システム
２ 組立計画データベース
３ カメラデータベース
４ マーキングデータベース
５ マークデータベース
６ マーク変形モジュール
７ マーキング機
８ 平面導出ブロック
９ 平面変換ブロック
１０ 第１の部材
１１ 第２の部材
１２ 変形マーク
１３ 交線
１４ 補助線

Claims (3)

1. 互いに組付けられる第１の部材と第２の部材との間で、互いの位置を合わせるための指標となるマークを前記第１及び第２の部材のそれぞれに付すマーキング機のためのマーキング制御システムであって、
   前記第１の部材と前記第２の部材の位置合わせ後における互いの位置及び角度情報が格納された組立計画データベースと、
   前記第１及び第２の部材の位置合わせ時に同一のカメラにより撮像した前記マークの画像を画像処理によりパターンマッチングするために、前記部材に対する前記カメラの位置及び角度情報が格納されたカメラデータベースと、
   前記組立計画データベース及び前記カメラデータベースからそれぞれの情報を取得し、位置合わせ後の前記第１の部材及び第２の部材を前記カメラから見た時のカメラ平面画像を導出する平面導出処理部と、
   前記第１の部材と前記第２の部材における前記マークを付す位置であるマーキング位置情報が格納されたマーキングデータベースと、
   前記マークの形状が格納されたマークデータベースと、
   前記マーキングデータベースから前記マーキング位置情報を取得し、前記マークデータベースから前記マークの形状を選択し、前記マークの形状を前記カメラ平面画像上でパターンマッチングできる変形マークに変形するためのマーク変形処理部とを有し、
   前記マーク変形処理部は、前記第１及び第２の部材に前記マーキング機によって付されたマークが前記カメラ平面画像に前記（変形前の）マークとして映し出されるように、前記マーキング機のマーキング手段に描画指令を伝達することを特徴とするマーキング制御システム。
2. 請求項１に記載のマーキング制御システムを用いて、マーキングされた部材同士の位置合わせ方法であって、
   前記第１及び第２の部材を突き合わせた後、前記カメラ平面画像上にて、前記第１及び第２の部材のマーキング面に付されたそれぞれの（カメラ平面画像上では変形前のマークとして映し出される）変形マークから、前記マーキング面の交線に向けて補助線を引き、前記第１の部材の変形マークからの補助線と前記交線が交わる第１の交点と、前記第２の部材の変形マークからの補助線と前記交線が交わる第２の交点との位置関係を基準として前記第１の部材と前記第２の部材の位置合わせを行うことを特徴とするマーキング制御システムを用いてマーキングされた部材同士の位置合わせ方法。
3. 前記変形マークは少なくとも前記交線と垂直に交差する方向に延びる基準辺を有する線書きの図形である一方、前記補助線は前記基準辺を前記交線まで延長した直線であり、前記第１及び第２の交点との距離が許容値以下の場合に、前記第１及び第２の部材の位置が合っていると判断することを特徴とする請求項２に記載のマーキング制御システムを用いてマーキングされた部材同士の位置合わせ方法。

Images