JP2012068885A - 視覚センシング方法および視覚センシング装置 - Google Patents

Abstract

【課題】汎用性に優れた視覚センシング方法を提供する。
【解決手段】撮影画像とマッチングモデルとを比較してパターンマッチングを行うパターンマッチング行程と、パターンマッチング行程で用いた撮影画像のうちマッチングモデルとマッチングした部位に基づいて更新マッチングモデルを生成し、更新マッチングモデルに基づいてマッチングモデルを更新するマッチングモデル更新行程とを含む。さらに、撮影画像から探索対象領域を絞り込んで探索対象画像を生成する探索対象画像生成行程を含み、パターンマッチング行程では、撮影画像の代わりに探索対象画像を用いてパターンマッチングを行い、探索対象画像生成行程では、以前に行った複数回のパターンマッチング行程で求めたマッチング位置に基づいて探索対象領域を決定する。
【選択図】図７

Description

本発明は、視覚センシング方法および視覚センシング装置に関するものである。

従来、特許文献１には、位置検出センサを用いることなく作動体に確実な動作を行わせることのできる方法および装置が記載されている。

この従来技術では、複数の異なる状態を定められた動作パターンで変動する作動体（具体的には、搬送ロボットのチャック）をカメラで撮影し、その撮影画像から検査画像データを生成し、その検査画像データと基準画像データとを比較することで、作動体の状態を検出するようになっている。

具体的には、動作パターンのどの状態においてもチャックを撮像できるようにカメラが設置されており、カメラの撮影画像から所定の領域を取り出して検査画像データとする。基準画像データは予め生成された画像データであり、上述のカメラで予め撮影した撮影画像から所定の領域を取り出して基準画像データとしておく。検査画像データおよび基準画像データとして取り出す領域は、チャックの動作パターンに応じて予め設定されている。

特許文献１には、具体例として、作動体の動作パターンが７つの動作ステップで構成されていて、この７つの動作ステップの各々に対応する基準画像データを予め生成しておくことで、どの動作ステップの状態にあるかを検出することが記載されている。

この従来技術によると、検査画像データとして、カメラの撮影画像から取り出された部分画像を用いるので、カメラの撮影画像全体を基準画像データと比較する場合に比べて、処理時間が短縮化されることとなる。

特開平６−２４２８１２号公報

しかしながら、この従来技術では、基準画像データを予め生成しておく必要があるので、汎用性に劣るという問題がある。

例えば、サーボモータのアブソリュート・エンコーダの代わりとして、作動体の位置を高精度に検出しようとする場合には、膨大な数の基準画像データが必要となる。また、作動体の動作パターンを変更したときには、その都度、基準画像データを生成し直す必要がある。

本発明は上記点に鑑みて、汎用性に優れた視覚センシング方法および視覚センシング装置を提供することを目的とする。

上記目的を達成するため、請求項１に記載の発明では、撮影画像とマッチングモデルとを比較してパターンマッチングを行うパターンマッチング行程と、
パターンマッチング行程で用いた撮影画像のうちマッチングモデルとマッチングした部位に基づいて更新マッチングモデルを生成し、更新マッチングモデルに基づいてマッチングモデルを更新するマッチングモデル更新行程とを含むことを特徴とする。

これによると、パターンマッチング行程で用いた撮影画像のうちマッチングモデルとマッチングした部位に基づいてマッチングモデルを更新するので、全てのマッチングモデルを予め生成しておく必要がなくなり、ひいては汎用性を向上させることができる。

請求項２に記載の発明では、請求項１に記載の視覚センシング方法において、撮影画像から探索対象領域を絞り込んで探索対象画像を生成する探索対象画像生成行程を含み、
パターンマッチング行程では、撮影画像の代わりに探索対象画像を用いてパターンマッチングを行い、
探索対象画像生成行程では、以前に行った複数回のパターンマッチング行程で求めたマッチング位置に基づいて探索対象領域を決定することを特徴とする。

これによると、以前に行った複数回のパターンマッチング行程で求めたマッチング位置に基づいて探索対象領域を決定するので、探索対象領域を予め設定する作業負担を削減できる。

請求項３に記載の発明では、請求項１または２に記載の視覚センシング方法において、パターンマッチング行程を初めて行う場合に用いるマッチングモデルを初期マッチングモデルとしたとき、
初期マッチングモデルを生成する初期マッチングモデル生成行程を含み、
初期マッチングモデル生成行程では、撮影画像を透視投影変換し、透視投影変換後の画像に対してパターンマッチングを行ってマッチング位置を求め、そのマッチング位置に基づいて、撮影画像から初期マッチングモデルを生成することを特徴とする。

これにより、初期マッチングモデルを予め生成する作業が不要となるので、汎用性を一層向上させることができる。

請求項４に記載の発明では、撮像手段（１０）と、
撮像手段（１０）によって撮影された撮影画像を処理する画像処理手段（１１）とを備え、
画像処理手段（１１）は、
撮像手段（１０）によって撮影された撮影画像とマッチングモデルとを比較してパターンマッチングを行うパターンマッチング部と、
パターンマッチング部で用いた撮影画像のうちマッチングモデルとマッチングした部位に基づいて更新マッチングモデルを生成し、更新マッチングモデルに基づいてマッチングモデルを更新するマッチングモデル更新部とを有していることを特徴とする。

これにより、上記した請求項１に記載の発明と同様の作用効果を得ることができる。

請求項５に記載の発明では、請求項４に記載の視覚センシング装置において、 画像処理手段（１１）は、撮影画像から探索対象領域を絞り込んで探索対象画像を生成する探索対象画像生成部を有し、
パターンマッチング部は、撮影画像の代わりに探索対象画像を用いてパターンマッチングを行い、
探索対象画像生成部は、パターンマッチング部が以前に求めた複数のマッチング位置に基づいて探索対象領域を決定することを特徴とする。

上記した請求項２に記載の発明と同様の作用効果を得ることができる。

請求項６に記載の発明では、請求項４または５に記載の視覚センシング装置において、パターンマッチング部が初めてパターンマッチングを行う場合に用いるマッチングモデルを初期マッチングモデルとしたとき、
画像処理手段（１１）は、初期マッチングモデルを生成する初期マッチングモデル生成部を有し、
初期マッチングモデル生成部は、撮影画像を透視投影変換し、透視投影変換後の画像に対してパターンマッチングを行ってマッチング位置を求め、そのマッチング位置に基づいて、撮影画像から初期マッチングモデルを生成することを特徴とする。

これにより、上記した請求項３に記載の発明と同様の作用効果を得ることができる。

なお、この欄および特許請求の範囲で記載した各手段の括弧内の符号は、後述する実施形態に記載の具体的手段との対応関係を示すものである。

本発明の第１実施形態におけるペースト拭き取り機の全体構成図である。 図１のペースト拭き取り機におけるモータとカメラとの配置関係を示す斜視図である。 （ａ）は撮影画像の一例を示す図であり、（ｂ）は撮影画像上の座標におけるモータの軌跡の一例を示す図である。 図１の画像処理ユニットによる画像処理を示すフローチャートである。 画像処理ユニットのディスプレイモニタに表示される設備状態モニタ実行画面の一例を示す図である。 （ａ）は透視投影変換された撮影画像の一例を示す図であり、（ｂ）は透視投影変換されたモータの軌跡の一例を示す図である。 トラッキングモデルによるマッチングの考え方を説明する説明図である。

以下、本発明の一実施形態を説明する。本実施形態は、本発明における視覚センシング方法および視覚センシング装置をペースト拭き取り機に適用したものであり、その全体構成の概要を図１に示す。

ペースト拭き取り機は、多層プリント基板の製造過程においてペーストを拭き取るものであり、本実施形態では、ペースト拭き取り機のモータ１（アクチュエータ）をマッチング対象物として視覚センシングを行う。

撮像手段をなすカメラ１０は、モータ１の移動範囲全体を撮影できる位置に固定されている。本例では、カメラ１０として、６４０×４８０画素のＣＣＤを有し、毎秒３０フレームの高速連写が可能なデジタルカメラが用いられている。

画像処理手段をなす画像処理ユニット１１は、パーソナルコンピュータ（パソコン、ＰＣ）及びその周辺機器で構成されており、カメラ１０の撮影画像が入力される。画像処理ユニット１１は、モータ１の軌跡に関する情報を蓄積するための軌跡データベース１２（軌跡ＤＢ）を有している。

画像処理ユニット１１は、画像処理プログラムにしたがって動作し、カメラ１０の撮影画像や軌跡データベース１２に蓄積された情報等に基づいて、モータ１の位置座標を推定演算する。

画像処理ユニット１１は、演算したモータ１の位置座標をシーケンサ２に出力する。シーケンサ２は、予め記憶された処理ステップ（動作パターン）や、画像処理ユニット１１から出力されたモータ１の位置座標等に基づいてモータ１を制御する。

図２は、モータ１とカメラ１０との配置関係を示す斜視図であり、図３（ａ）はカメラ１０による撮影画像の一例を示し、図３（ｂ）は、撮影画像上の座標におけるモータ１の軌跡を示している。図３（ｂ）中、Ｘ座標およびＹ座標の単位は画素である。

モータ１は、直交する３軸方向に移動可能になっている。直交する３軸方向のうち第１軸方向および第２軸方向は、水平面と平行に配置されている。第３軸方向は、鉛直方向と平行になっている。

本例では、モータ１の第１、第２軸方向（水平方向）における移動は、モータ１自身が駆動することで行われるようになっている。また、モータ１の第３軸方向（鉛直方向）における移動範囲は、第１、第２軸方向（水平方向）における移動範囲に比べて小さくなっている。

本例では、図３（ａ）に示すように、設備（ペースト拭き取り機）のスペース上の制約から、斜め視野となるようにカメラ１０が設置されている。すなわち、カメラ１０は撮影対象範囲に対して、真上ではなく斜め上方に設置されている。

図３（ｂ）に示すように、モータ１は、原位置から矢印ａ〜ｈの順に移動して原位置に戻るというサイクルを繰り返す。なお、矢印ａでの軌跡と矢印ｈでの軌跡とが僅かにずれているが、これは、モータ１の第３軸方向（鉛直方向）における位置が異なっているためである。また、矢印ｂ，ｃ、矢印ｄ，ｅおよび矢印ｆ，ｇでの軌跡も僅かにずれているが、この理由も同様である。

本例では、画像処理ユニット１１によるモータ１の位置計測を精度良く行うために、モータ１の所定位置（カメラ１０で撮影可能な位置）にマーカ（図示せず）が設けられている。

図４は、画像処理ユニット１１による画像処理を示すフローチャートである。図４のフローチャートでは、透視投影変換によるマッチングとトラッキングモデルによるマッチングとを組み合わせて処理を行う。具体的には、設備の立ち上げ時では透視投影変換によるマッチングを行い、動作中ではトラッキングモデルによるマッチングを行う。

ここで、トラッキングモデルとは、カメラ１０の撮影画像（フレーム）毎に更新されるモデル（テンプレート）のことを言い、詳細は後述する。なお、トラッキングモデルを追従型テンプレートを表現することもできる。

図４のフローチャートによる画像処理は、モータ１の電源が投入される前に開始される。まず、ステップＳ１００では、モータ１の電源を投入した直後であるか否かを判定する。電源投入直後でないと判定された場合（ＮＯ判定の場合）、モータ１の電源が投入されていないと判断してステップＳ１００を繰り返す。

一方、電源投入直後であると判定された場合（ＹＥＳ判定の場合）、ステップＳ１１０へ進み、透視投影変換によるマッチングを行って、モータ１の現在位置を計測する。透視投影変換によるマッチングの詳細については後述する。

また、ステップＳ１１０では、計測したモータ１の現在位置に基づいて初期マッチングモデルを作成する。この初期マッチングモデルは、トラッキングモデルによるマッチング（ステップＳ１４０）を初めて実行する際に必要となるものであり、詳細は後述する。

次いでステップＳ１２０では、計測したモータ１の現在位置をシーケンサ２に出力する。次いでステップＳ１３０では、モータ１が自動運転されているか否かを判定する。自動運転されていないと判定した場合（ＮＯ判定の場合）、処理を終了する。

一方、自動運転されていると判定した場合（ＹＥＳ判定の場合）、ステップＳ１４０へ進み、トラッキングモデルによるマッチングを行って、モータ１の現在位置を計測する。トラッキングモデルによるマッチングの詳細については後述する。

次いでステップＳ１５０では、計測したモータ１の現在位置をシーケンサ２に出力する。次いでステップＳ１３０に戻る。

なお、図５は、画像処理ユニット１１のディスプレイモニタに表示される画面（設備状態モニタ実行画面）の一例を示すものであり、設備状態モニタ実行画面には、カメラ１０による撮影画像、マッチングに用いられるテンプレート画像、およびシーケンサ２によって実行されている処理ステップ等が表示されるようになっている。

ここで、ステップＳ１１０の透視投影変換によるマッチングについて説明する。透視投影変換によるマッチングでは、斜めからの画像を真上からの画像へ幾何学変換を行う透視投影変換を採用することにより、１つのテンプレートだけでマッチングを行う。

具体的には、図３（ａ）に示す撮影画像、すなわち視点が斜めの撮影画像を、図６（ａ）に示す撮影画像、すなわち視点が真上の撮影画像に変換する。これにより、図３（ｂ）に示す座標、すなわち斜めから見た時のそのままのＸ、Ｙ座標を、図６（ｂ）に示す座標、すなわち真上から見た時の座標に置き換える。

そして、変換された撮影画像（視点が真上の撮影画像）と、予め作成された１つのテンプレートとを比較してマッチングを行い、モータ１の現在位置を計測する。

なお、マッチングの手法としては、例えば正規化相互相関およびピラミッドサーチ等を用いることができる。

そして、計測したモータ１の現在位置に基づいて、上述した初期マッチングモデルを生成する（初期マッチングモデル生成行程、初期マッチングモデル生成部）。具体的には、変換前の撮影画像（視点が斜めの撮影画像）からモータ１の現在位置およびその周辺の画像領域を切り出すことによって、初期マッチングモデルを生成する。

次に、ステップＳ１４０のトラッキングモデルによるマッチングについて説明する。図７は、トラッキングモデルによるマッチングの考え方を説明する図である。

トラッキングモデルによるマッチングでは、まず、カメラ１０の撮影画像（フレーム）に対する探索対象領域を決定して探索対象画像を生成する（探索対象画像生成行程、探索対象画像生成部）。

具体的には、前回のフレームのマッチング部位の重心位置（前フレーム位置）と、今回のフレームのマッチング部位の重心位置（現フレーム位置）とから、次回のフレームのマッチング部位の重心位置として予測（推定）される位置（次フレームの予測位置）を算出する。本例では、次フレームの予測位置を、次の数式を用いて算出する。

次フレームの予測位置（Ｘ３，Ｙ３）＝現フレーム位置（Ｘ２，Ｙ２）＋前フレーム差分（Ｘ２−Ｘ１，Ｙ２−Ｙ１）
この次フレームの予測位置に基づいて次フレームのマッチング領域（サーチ領域）を絞る。要するに、動作軌跡上の現位置と前位置とから次の位置を推定してサーチ領域を絞る。

そして、サーチ領域を探索対象画像とし、探索対象画像をテンプレート（マッチングモデル）と比較してマッチングを行い、モータ１の現在位置を計測する（パターンマッチング行程、パターンマッチング部）。サーチ領域を絞ることで、サーチ時間の短縮が図られる。

さらに、トラッキングモデルによるマッチングでは、現フレームのマッチング部位を、次フレームのテンプレートとしてモデル更新する（マッチングモデル更新行程、マッチングモデル更新部）。より具体的には、現フレームからマッチング部位を切り出して更新マッチングモデルを生成し、この更新マッチングモデルを次フレームで用いるマッチングモデルとする。

すなわち、フレーム毎にトラッキングモデル（追従型テンプレート）を作成することでテンプレートを自動生成する。このため、各フレームに対応したテンプレートを予め生成しておく必要がない。

なお、本例では、フレーム間における対象部位の形状及び輝度変化を無視できると想定している。また、計測誤差の累積を抑制するために、例えばモータ１が原位置に来た時に計測位置をリセットするようにしてもよい。

ここで、本実施形態では、カメラ１０の視野が斜めになっているので、モータ１の位置によってモータ１とカメラ１０との遠近差が生じてモータ１の画像のサイズに差が生じることとなるのであるが、毎秒３０フレームという高速でマッチング処理を行うことによって、現フレームと次フレームとでモータ１の位置が大きく変化しないようにし、その結果、現フレームから切り出して作成したテンプレートによって、次フレームのマッチングを支障なく行うことができるようにしている。

このように毎秒３０フレームという高速でマッチング処理を行うために、トラッキングモデルによるマッチングでは、探索対象領域を絞り込むことによって処理を高速化している。しかも、絞り込む探索対象領域は、前フレームでのマッチング位置と現フレームでのマッチング位置とから算出されるので、絞り込む探索対象領域を予め設定しておく必要がない。

また、トラッキングモデルによるマッチングを初めて実行する場合に用いる初期マッチングモデルも自動生成するので、設備の立ち上げ時にモータ１がどの位置にあっても、位置検出（視覚センシング）を開始することができる。

初期マッチングモデルは、透視投影変換によるマッチングによって計測されたモータ１の位置に基づいて生成されるので、設備の立ち上げ時にモータ１がどの位置にあっても、１つのテンプレートだけでマッチングを行うことができる。

すなわち、斜めからの画像を真上からの画像へ幾何学変換を行うことによって、モータ１の位置にかかわらず画像中のモータ１のサイズを均一化させることができるので、１つのテンプレートだけでマッチングを行うことができる。

このように、本実施形態では、透視投影変換によるマッチングにおいて、予め生成されたテンプレートを１つのみ用い、トラッキングモデルによるマッチングにおいては、自動生成されたテンプレートを用いるので、テンプレート（マッチングモデル）を予め生成する作業負担が極めて低い。

さらに、本実施形態では、トラッキングモデルによるマッチングにおいて絞り込む探索対象領域を、前フレームでのマッチング位置と現フレームでのマッチング位置とから決定するので、絞り込む探索対象領域を予め設定しておく必要がない。

以上のことから、汎用性に極めて優れた視覚センシングを実現することができる。

（他の実施形態）
なお、上記実施形態では、本発明における視覚センシング方法および視覚センシング装置をペースト拭き取り機に適用した例を示したが、これに限定されることなく、種々のマッチング対象物に対して本発明を適用可能である。

また、上記実施形態では、カメラ１０の視野が斜めになっているが、設備の高さに余裕がある場合にはカメラ１０の視野を真っ直ぐにしてもよい。カメラ１０の視野を真っ直ぐである場合には、透視投影変換を行うことなく初期マッチングモデルを生成することができる。

また、上記実施形態では、探索対象画像の生成およびマッチングモデルの更新を毎フレームで行っているが、これに限定されるものではなく、例えばフレーム間でのモータ１の移動距離が非常に短いような場合には、探索対象画像の生成およびマッチングモデルの更新を隔フレームで行うようにしてもよい。

１ モータ（マッチング対象物）
１０ カメラ（撮像手段）
１１ 画像処理ユニット（画像処理手段）

Claims (6)

1. 撮影画像とマッチングモデルとを比較してパターンマッチングを行うパターンマッチング行程と、
   前記パターンマッチング行程で用いた前記撮影画像のうち前記マッチングモデルとマッチングした部位に基づいて更新マッチングモデルを生成し、前記更新マッチングモデルに基づいて前記マッチングモデルを更新するマッチングモデル更新行程とを含むことを特徴とする視覚センシング方法。
2. 前記撮影画像から探索対象領域を絞り込んで探索対象画像を生成する探索対象画像生成行程を含み、
   前記パターンマッチング行程では、前記撮影画像の代わりに前記探索対象画像を用いて前記パターンマッチングを行い、
   前記探索対象画像生成行程では、以前に行った複数回の前記パターンマッチング行程で求めたマッチング位置に基づいて前記探索対象領域を決定することを特徴とする請求項１に記載の視覚センシング方法。
3. 前記パターンマッチング行程を初めて行う場合に用いる前記マッチングモデルを初期マッチングモデルとしたとき、
   前記初期マッチングモデルを生成する初期マッチングモデル生成行程を含み、
   前記初期マッチングモデル生成行程では、前記撮影画像を透視投影変換し、透視投影変換後の画像に対してパターンマッチングを行ってマッチング位置を求め、そのマッチング位置に基づいて、前記撮影画像から前記初期マッチングモデルを生成することを特徴とする請求項１または２に記載の視覚センシング方法。
4. 撮像手段（１０）と、
   前記撮像手段（１０）によって撮影された撮影画像を処理する画像処理手段（１１）とを備え、
   前記画像処理手段（１１）は、
   前記撮像手段（１０）によって撮影された撮影画像とマッチングモデルとを比較してパターンマッチングを行うパターンマッチング部と、
   前記パターンマッチング部で用いた前記撮影画像のうち前記マッチングモデルとマッチングした部位に基づいて更新マッチングモデルを生成し、前記更新マッチングモデルに基づいて前記マッチングモデルを更新するマッチングモデル更新部とを有していることを特徴とする視覚センシング装置。
5. 前記画像処理手段（１１）は、前記撮影画像から探索対象領域を絞り込んで探索対象画像を生成する探索対象画像生成部を有し、
   前記パターンマッチング部は、前記撮影画像の代わりに前記探索対象画像を用いて前記パターンマッチングを行い、
   前記探索対象画像生成部は、前記パターンマッチング部が以前に求めた複数のマッチング位置に基づいて前記探索対象領域を決定することを特徴とする請求項４に記載の視覚センシング装置。
6. 前記パターンマッチング部が初めてパターンマッチングを行う場合に用いる前記マッチングモデルを初期マッチングモデルとしたとき、
   前記画像処理手段（１１）は、前記初期マッチングモデルを生成する初期マッチングモデル生成部を有し、
   前記初期マッチングモデル生成部は、前記撮影画像を透視投影変換し、透視投影変換後の画像に対してパターンマッチングを行ってマッチング位置を求め、そのマッチング位置に基づいて、前記撮影画像から前記初期マッチングモデルを生成することを特徴とする請求項４または５に記載の視覚センシング装置。

Images