JP2020197983A - 対象物の計測方法、計測装置、プログラム、およびコンピュータ読取り可能な記録媒体 - Google Patents

Abstract

【課題】撮像画像において、計測対象物以外の物体が一緒に映り込んだり、照明条件の変化等により計測対象物の輝度や外形形状がばらついた場合にも、精度よく計測対象物の位置および回転角度（姿勢）を計測できる技術が求められていた。【解決手段】抽出すべき２以上の部分抽出領域を学習した学習済み学習器と、対象物を撮像する撮像装置と、制御部とを有し、制御部は、撮像装置が撮像した撮像画像を学習済み学習器に入力し、２以上の部分抽出画像を得る処理と、２以上の部分抽出画像を二値化して各部分抽出画像についてのブロブ情報を得る処理と、各部分抽出画像についてのブロブ情報の少なくとも一部を信頼性なしと判定した場合に、ブロブ情報に基づき撮像画像が不適切撮影であったかを判定し、不適切撮影であったと判定した場合には、撮像画像を学習済み学習器を再学習させるための画像データとして保存する処理と、を実行可能である。【選択図】図６

Description

本発明は、例えばＦＡ（Ｆａｃｔｏｒｙ Ａｕｔｏｍａｔｉｏｎ）分野の自動組立機において部品と部品との嵌め合わせ等を行うために、部品の位置および回転角度を計測する計測方法および計測装置に関する。

従来、切欠きなど特徴的な部分を持つ部品の位置や姿勢を検知する際に、その特徴的な部分の方位角度を計測する技術として、以下のような方法が知られている。
例えば、特許文献１に記載された方法では、円板、円柱、円筒、円環などに切欠き部分を設けた形状の計測対象物を一定速度で回転させ、回転に伴い切欠き部分が通過する位置に光学センサを設置している。そして、光学センサの信号をもとに、切欠き部分の方位角度を計測する方法が記載されている。

また、計測対象物の座標と方位角度を探索するテンプレートマッチングと呼ばれる画像処理方法が一般的に知られている。計測対象物の標準的な画像をテンプレート画像として登録しておき、センサで撮像した画像とテンプレート画像との類似度を画素ごとの輝度値に基づいて計算することで、計測対象物の座標と方位角度を求める方法である。
また、計測対象物の画像の輝度値ではなく、微分フィルタ等の処理によりエッジ情報を抽出し、エッジ情報に基づいてテンプレート画像とエッジ情報との類似度を計算する手法も一般的に知られている。
また、計測対象物の画像を回転軸を中心に極座標変換し、外径の特徴的な部分の座標から方位角度を計測する方法も一般的に知られている。

特開平３−１３６２６４号公報

特許文献１に開示された光学センサによる計測では、計測対象物を１回転させなくてはならないため、処理に時間がかかる。また、計測対象物が厚さの薄いシリコンウェハーのようなものであれば良いが、長い円柱のような部材や切欠きの形状がテーパー状の部品などには適用することが困難である。
また、前述のテンプレートマッチングを利用する方法では、計測対象物の個体差による輝度ばらつきがあると、モデル画像と計測対象物の撮像画像を一致させる際に一致精度が極端に低下する。また、精度を上げるために、輝度補正、特徴量の抽出などを行う必要があるので、画像処理プロセスが複雑になり、オペレータによる条件設定に時間がかかる。
また、前述の極座標変換を利用する方法では、計測対象物の画像の輝度ばらつきや、外径形状ばらつきが発生すると計測精度が極端に低下する。また、精度を出来るだけ上げるために、輝度補正、外径形状補正などを行う必要があるので、計測プロセスが複雑になり、オペレータによる条件設定に時間がかかる。

そして、いずれの場合も、画像中に計測対象物以外の異物が映り込んだり、照明条件の変化等があると、計測対象物の位置および回転角度の検出精度が低下する。
そこで、撮像画像において、計測対象物以外の物体が一緒に映り込んだり、照明条件の変化等により計測対象物の輝度や外形形状がばらついた場合にも、精度よく計測対象物の位置および回転角度（姿勢）を計測できる技術が求められていた。

本発明の一態様は、所定形状のワークが撮像された撮像画像を用いて抽出すべき２以上の部分抽出領域を学習した学習済み学習器を準備する工程と、所定の画角に納まるように対象物を撮像し、撮像画像を得る撮像工程と、前記撮像工程で得た撮像画像を前記学習済み学習器に入力し、２以上の部分抽出画像を得る工程と、前記２以上の部分抽出画像を二値化して、各部分抽出画像についてのブロブ情報を得る工程と、前記ブロブ情報の各々について、信頼性を判定する信頼性判定工程と、を有し、前記信頼性判定工程において、前記各部分抽出画像についてのブロブ情報の全てが信頼性ありと判定された場合には、前記ブロブ情報に基づき前記対象物の位置および角度を算出し、前記信頼性判定工程において、前記各部分抽出画像についてのブロブ情報の少なくとも一部が信頼性なしと判定された場合には、前記ブロブ情報に基づき前記撮像画像が不適切撮影であったか否かを判定し、不適切撮影であったと判定した場合には、前記撮像画像を前記学習済み学習器を再学習させるための画像データとして保存する、ことを特徴とする対象物の計測方法である。

また、本発明の別の一態様は、所定形状のワークが撮像された撮像画像を用いて抽出すべき２以上の部分抽出領域を学習した学習済み学習器と、所定の画角に納まるように対象物を撮像する撮像装置と、制御部と、を有し、前記制御部は、前記撮像装置が撮像した撮像画像を前記学習済み学習器に入力し、２以上の部分抽出画像を得る処理と、前記２以上の部分抽出画像を二値化して、各部分抽出画像についてのブロブ情報を得る処理と、前記ブロブ情報の各々について、信頼性を判定する信頼性判定処理と、前記信頼性判定処理において、前記各部分抽出画像についてのブロブ情報の全てが信頼性ありと判定された場合に、前記ブロブ情報に基づき前記対象物の位置および角度を算出する処理と、前記信頼性判定処理において、前記各部分抽出画像についてのブロブ情報の少なくとも一部が信頼性なしと判定された場合に、前記ブロブ情報に基づき前記撮像画像が不適切撮影であったかを判定し、不適切撮影であったと判定した場合には、前記撮像画像を前記学習済み学習器を再学習させるための画像データとして保存する処理と、を実行可能である、ことを特徴とする計測装置である。

本発明は、撮像画像において、計測対象物以外の物体が映り込んだり、照明条件の変化等により計測対象物の輝度や外形形状がばらついた場合にも、精度よく計測対象物の位置および回転角度（姿勢）を計測できる技術を提供する。

実施形態に係る計測装置の概略構成を示す模式図。 学習済み学習器を準備するための手順を示すフローチャート。 ワークの形状の一例を示す２面図。 （ａ）ワークを撮影した撮影画像の一例。（ｂ）ワークを撮影した撮影画像の他の一例。 （ａ）第１抽出領域を示す図。（ｂ）第２抽出領域を示す図。 ワークの位置および方位角度の計測方法を示すフローチャート。 （ａ）撮影した画像データを示す図。（ｂ）二値化抽出画像１を示す図。（ｃ）二値化抽出画像２を示す図。 （ａ）正常なワークが適切に撮影された画像に基づくブロブの例。（ｂ）不適合部品が撮影された画像に基づくブロブの例。（ｃ）モアレ縞が観察される状態で撮影された不適切撮影の画像に基づくブロブの例。（ｄ）ワーク近傍に異物が映り込んだ状態で撮影された不適切撮影の画像に基づくブロブの例。 ワークの位置および角度方位を算出する方法を説明するための模式図。 （ａ）他の実施形態における撮影画像の一例。（ｂ）他の実施形態における抽出領域の一例。

図面を参照して、本発明の実施形態である計測装置および計測方法について説明する。尚、以下の実施形態及び実施例の説明において参照する図面では、特に但し書きがない限り、同一の機能を有する部材については同一の参照番号を付して示すものとする。
［実施形態］
本実施形態は、例えば部品を組み立てて製品を製造する工場のように、形状誤差が小さな部品を次々と取り扱う製造ライン等において、撮像装置を用いて部品を撮影してその位置および回転角度（姿勢）を計測する方法として好適に実施される。

製造ライン等においては、規格を満足する部品が連続的に多数個扱われており、撮像装置を用いて個別の部品を所定の方向、距離から画角内に入るように撮影し、撮影した画像に基づいて部品の位置および回転角度（姿勢）の計測をすることが行われる。位置および回転角度（姿勢）の計測をするためには、撮影した画像から部品の特徴的な２以上の部分画像を抽出する必要があるが、本実施形態では抽出すべき領域を予め学習器に学習させておく。詳しくは後述するが、所定の方向、距離から撮影された当該部品の画像と２以上の抽出すべき抽出領域とを紐付けた学習データを準備し、学習データを学習器に学習させ、学習済み学習器あるいは学習済みプログラムを作成する。
学習データの画像を撮影した状態と比べて差異が小さな状態で撮影された画像であれば、その撮像画像を入力すれば、学習済プログラムは、部品の位置および回転角度（姿勢）の計測をするのに適した部分抽出画像を高精度に抽出することができる。そして、部分抽出画像の画像データを用いて演算処理を行うことにより、撮影された部品の位置および回転角度（姿勢）を計測することができる。

しかし、例えば部品の事前検査が適切に行われなかったために所定形状を有さない規格外の部品が混入していたり、不測の衝突等が生じて部品の一部が欠損して形状が変化した場合には、当該部品を不適合部品として検出する必要がある。そして、製造工程を中断して不適合部品を除外する等の処置をすべきである。そこで、本実施形態では、学習済プログラムが抽出した部分抽出画像が、部品の位置および回転角度（姿勢）を計測する特徴部分を適切に抽出しているか否かを判定する信頼性判定処理（信頼性判定工程）を行う。不適合部品の場合には、部分抽出画像が適切に抽出されない可能性が高いからである。部分抽出画像の信頼度が低いと判定した場合には、部分抽出画像に基づいて部品の位置および回転角度（姿勢）を計測する処理を行わず、当該部品についての製造ライン中での製造工程を続行しない。

一方、正常な部品が撮影されてはいるが、照明の向き等の影響で部品表面にモアレ縞が撮像されていたような場合には、学習済プログラムは部品の位置および回転角度（姿勢）を計測するための部分抽出画像を適切に抽出することができない場合がある。また、正常な部品の近傍に製造工程には影響がない微小なごみ等の異物が映り込んだ場合にも、学習済みプログラムは部品の位置および回転角度（姿勢）の計測をするための部分抽出画像を適切に抽出することができない場合がある。これらに例示されるように、正常な部品なのに撮影条件が不適切であった場合を、不適切撮影と呼ぶ。すでに述べたように、本実施形態では、学習済みプログラムが抽出した部分抽出画像が、部品の位置および回転角度（姿勢）を計測する特徴部分を適切に抽出しているか否かを判定する信頼性判定処理を実行する。不適切撮影の場合には、部分抽出画像が適切に抽出されない可能性が高いからである。そして、部分抽出画像の信頼度が低いと判定した場合には、部分抽出画像に基づいて当該部品の位置および回転角度（姿勢）を計測する処理を行わず、製造ライン中での製造工程を続行しない。したがって、本実施形態では、不適切に抽出された部分抽出画像に基づいて部品の位置および回転角度（姿勢）を低い精度で計測し、製造工程を不適切に実行する不都合を防止することができる。

ところで、不適切撮影の場合には、不適合部品の場合とは異なり正常な部品が撮影されているので、部分抽出画像が適切に抽出されて部品の位置および回転角度（姿勢）が高精度に計測でき、組み立て等の製造工程が続行されるのが本来は望ましい。

そこで、本実施形態では、単に部分抽出画像の信頼度を判定するだけでなく、信頼度が低いと判定したケースについては不適合部品と不適切撮影とを判別する。そして、不適切撮影の撮影画像については、学習済みプログラムを再学習するためのデータとして保存（記憶）する。管理者は、保存された不適切撮影の撮影画像を用いて、当該画像と当該画像から抽出すべき部分抽出領域とを紐付けた再学習データを作成し、学習済み学習器に再学習させ、再学習済み学習器あるいは再学習済み学習プログラムを作成することができる。再学習済み学習器あるいは再学習済み学習プログラムを用いれば、再学習した不適切撮影と差異が小さな撮影条件において部品が撮影されれば、部品の位置および回転角度の計測をするのに適した部分抽出画像を高精度に抽出することができるようになる。

また、再学習した後にも、引き続き信頼度が低いと判定したケースの中で不適合部品と不適切撮影とを判別し、不適切撮影の撮影画像については再々学習するためのデータとして保存（記憶）する。管理者は、保存された不適切撮影の撮影画像を用いて、当該画像と当該画像から抽出すべき抽出領域とを紐付けた再々学習データを作成し、再学習済み学習器に再々学習させることができる。以下同様に、不適切撮影のデータを保存し、それを用いて学習を重ねることにより、部分抽出領域の精度を高めてゆくことができる。

以下、図面を参照して実施形態を詳細に説明する。図１は、本発明の実施形態に係る計測装置の概略構成を示す模式図である。計測装置１００は、照明としての光源１０２、撮像装置であるカメラ１０３、被計測物であるワーク１０１を保持するためのロボット１０４、画像処理装置１０５、ロボット１０４を制御するコントローラ１０６とを備えている。カメラ１０３は、画像処理装置１０５に接続されている。図１の例においては、光源１０２やコントローラ１０６も画像処理装置１０５に接続されており、制御部としての画像処理装置１０５によりこれらは制御される。しかし、画像処理装置１０５とは別にＰＬＣなど他の制御装置を設け、その制御装置が光源１０２やコントローラ１０６を制御しても構わない。

光源１０２は、ワーク１０１に光を照射する照明装置である。画像処理に適した画像を撮影するのに必要な光量をワーク１０１に照射するものであれば、いかなる種類でもよく、例えばＬＥＤやハロゲンランプ等を用いることができる。また、その形状は、撮影に適した照明ができるものであればいかなるものであってもよく、例えばリング照明、バー照明、フラット照明などを用いることができる。また、光源１０２の出射面側には、拡散板やレンズ、フィルタ等の光学素子を配置してもよい。

カメラ１０３は、ロボット１０４に保持されたワーク１０１を所定の画角に収まるように所定位置から撮影し、撮像画像のデータを画像処理装置１０５に送信可能なデジタルカメラである。カメラ１０３は、撮像レンズ１０３Ａと、センサ１０３Ｂを有する。センサ１０３Ｂは撮像素子であり、ＣＭＯＳイメージセンサやＣＣＤイメージセンサ等のエリアセンサやラインセンサを使用することができる。一回の撮像で２次元画像を取得できるのでエリアセンサを利用することが多いが、２次元画像が取得できるものであればよいので、例えばラインセンサと走査光学系を組み合わせたものでも構わない。撮像レンズ１０３Ａは、倍率を調整する対物レンズユニットであり、センサにおいてワーク１０１の全体が所定の画角内で撮像されるように調整されている。

ワークを保持するための保持装置としてのロボット１０４は、カメラ１０３でワーク１０１を撮像する間、カメラ１０３の所定画角内にワーク１０１が位置するように保持できる装置であれば良く、ロボットアーム、固定治具などいかなるものでも良い。尚、本実施形態のロボット１０４は、ワークを保持して撮影してワークの位置および方向を計測した後、計測結果に基づいて組立作業等を実行可能な組立ロボットである。

画像処理装置１０５は、カメラ１０３で撮像された画像データに対して画像処理を行い、ワーク１０１の位置およびワーク１０１の方位角度の計測を行う。画像処理装置１０５には、学習済みプログラム（学習済みモデル）が記憶されているか、あるいは学習済み学習器が実装されている。画像処理装置１０５の内部には、ＣＰＵ、ＲＯＭ、ＲＡＭ、Ｉ／Ｏポート等を備えている。ＲＯＭには、光学素子製造装置の動作プログラムが記憶されている。本実施形態の計測方法にかかる各種処理を実行するためのプログラムは、他の動作プログラムと同様にＲＯＭに記憶させておいてもよいが、ネットワークを介して外部からＲＡＭにロードしてもよい。あるいは、プログラムを記録したコンピュータにより読み取り可能な記録媒体を介して、ＲＡＭにロードしてもよい。Ｉ／Ｏポートは、外部機器やネットワークと接続され、例えば学習済み学習器を再学習するのに必要なデータの入出力を、外部のコンピュータとの間で行うことができる。また、Ｉ／Ｏポートは、不図示のモニターや入力装置と接続され、計測装置の動作状態情報を操作者に表示したり、操作者からの命令を受け付けたりすることができる。

ここで、画像処理装置１０５に学習済みプログラム（学習済みモデル）あるいは学習済み学習器を予め準備する方法を説明する。図２は、準備の手順を示すフローチャートである。
まず工程Ｓ１００において、カメラ設定とワークの準備を行う。製造ライン等において位置および回転角度（姿勢）を計測する対象となる部品（ワーク）を準備し、製造ライン等で撮影するのと同様の撮影条件となるようにカメラを設定する。カメラの設定には、撮像レンズ１０３Ａやセンサ１０３Ｂの動作条件を設定するだけでなく、ワークとカメラの相対位置や照明環境を実際の製造ライン等と同様にセッティングすることが含まれる。実際の製造時と同様の撮影のセッティングをするためには、実際の製造ライン等を用いるのが望ましい。

図１において例示したワーク１０１は、装置の回転部に用いられる装置部品である。図３は、ワーク１０１の回転軸端部の形状を示す２面図であり、図３の左側には、ワーク１０１を回転軸方向から見た形状が、図３の右側には、回転軸方向に直交する方向から見た形状が示されている。図示のように、ワーク１０１の軸部分１１０の上側には、他の部品と嵌合させるための切欠き部分が形成されている。尚、切欠き部分の形状は図３の例には限らず、回転軸方向から見た形状がＶ字型やＵ字型など任意の形状で構わない。こうした切欠き部分は、撮影画像からワークの方位を算出する際に用いる特徴部分として好適である。

図２に戻り、次に、工程Ｓ１０１において、カメラを用いてワークを撮影し、学習用画像として画像処理装置１０５に保存（記憶）する。本実施形態では、図３に示したワーク１０１を回転軸方向から見る位置で撮影するものとする。実際に製造ライン等において起こりえる撮影条件の変動に応じて複数の学習用画像を保存（記憶）するのが望ましい。例えば照明の輝度が変動したり、ワークの表面粗さに個体差がある等の場合には、図４（ａ）や図４（ｂ）に例示するように、差異のある学習用画像を複数保存（記憶）するのが望ましい。尚、学習用画像は、画像処理装置１０５以外の装置に保存（記憶）してもよい。

次に、工程Ｓ１０２において、保存（記憶）された学習用画像を用いて学習データを作成する。学習用画像の各々に対して、ワーク１０１の位置および方位角度を求めるのに適当な特徴点を抽出領域として選定して、ペイントツール等を用いて教師画像を作成し保存する。学習用画像の各々について抽出領域を紐付けした学習データが準備される。

抽出領域をどこに設定するかはいく通りもの方法が考えられるが、ワーク１０１の位置および方位角度を求めるために手掛かりとなる特徴的な部分の形状に応じて、抽出領域は自由に設定されればよい。ワーク１０１における適当な抽出領域とは、例えば、図５（ａ）および図５（ｂ）に白抜きで示す領域である。図５（ａ）および図５（ｂ）に示す抽出領域を選択した理由は、この２つの抽出領域から簡単な計算により特徴部の向きを示すベクトルが求まり、ワーク１０１の位置および方位角度が算出できるからである。以後の説明では、図５（ａ）に白抜きで示す領域を第１抽出領域、図５（ｂ）に白抜きで示す領域を第２抽出領域と記す場合がある。位置および方位角度の算出方法の詳細については後述する。なお、抽出領域は２つとは限らない。３つ以上の抽出領域からワーク１０１の位置および方位角度を求めてもよい。

学習用画像の各々について抽出領域を紐付けした学習データが作成できたら、学習用コンピュータを用いて、例えば、ニューラルネットワークを用いたＥｎｃｏｄｅｒ−Ｄｅｃｏｄｅｒモデルを訓練する（工程Ｓ１０３）。これにより、学習済み学習器（学習済みモデル）のプログラムが生成されるが、多くは、学習の際にデータ拡張がおこなわれる。

学習済み学習器に学習用画像とは異なる新たな撮像画像を入力すると、学習済み学習器は、当該撮像画像における抽出領域として推定した部分画像を２つ以上切り出して、部分抽出画像として出力する。尚、１つの学習器が２つ以上の部分抽出画像を生成できるようにしてもよいし、互いに異なる１つの部分抽出画像を生成する学習器を２つ以上作成してもよい。以下は、１つの学習器で２つの部分抽出画像を生成するものとして説明を進める。

次に、工程Ｓ１０４において、工程Ｓ１０３で作成した学習済み学習器のプログラムを、画像処理装置１０５の記憶部にコピーして移植する。学習済み学習器のプログラムの移植は、ネットワークを経由してもよいし、メモリディスク等のコンピュータ読取り可能な記録媒体を介して行ってもよい。画像処理装置１０５において、ワーク１０１の位置および方位角度を計測するためのアプリケーションを起動する時に、学習済み学習器のプログラムは記憶部からロードされる。尚、学習用コンピュータを用いて作成した学習済みモデルのプログラムを画像処理装置１０５の記憶部にコピーするのではなく、学習済みの学習用コンピュータ自体をハードウエアごと画像処理装置１０５に移植してもよい。

以上により、画像処理装置１０５に学習済みプログラム（学習済みモデル）あるいは学習済み学習器を準備する作業は終了する。尚、以上の全工程を学習済み学習器を準備する工程と考えてもよいが、製造ライン等に設置された計測装置においては、例えばアプリケーションを起動する時の学習済みプログラムのロード動作のみを学習済み学習器を準備する工程と考えてもよい。

次に、製造ライン等において、計測装置１００が実際にワーク１０１（部品）の位置および方位角度を計測する動作について説明する。図６は、ワーク１０１の位置および方位角度の計測方法を示すフローチャートの一例である。
まず、工程Ｓ２００において、画像処理装置１０５は、ＰＬＣからの入力等をトリガーとして、カメラ１０３にワーク１０１の撮像を行わせ、カメラ１０３から撮像画像（画像データ）を得る。例えば、図７（a）に示す画像データを得たとする。

次に、工程Ｓ２０１において、画像処理装置１０５は、図７（ａ）に示す画像データを学習済み学習器に入力して処理する。学習済み学習器は、図５（ａ）に示す第１抽出領域と図５（ｂ）に示す第２抽出領域の部分画像を撮像画像から切り出して抽出し、部分抽出画像１と部分抽出画像２を出力する。
次に、工程Ｓ２０２において、部分抽出画像１と部分抽出画像２を二値化する。図７（ｂ）に、部分抽出画像１を二値化した二値化抽出画像１を示し、図７（ｃ）に、部分抽出画像２を二値化した二値化抽出画像２を示す。
次に、工程Ｓ２０３において、二値化抽出画像１および二値化抽出画像２に対してラベリング処理をおこない、ブロブ情報（Ｂｉｎａｒｙ Ｌａｒｇｅ Ｏｂｊｅｃｔ）を得る。なお、この工程は、ノイズを除去するための平滑化処理やモルフォロジ処理を含んでもよい。

次に、工程Ｓ２０４において、ラベリング処理して得たブロブに対して、ブロブの個数および個々のブロブの特徴量を解析する。
ブロブの個数については、例えば、図７（ｂ）および図７（ｃ）の場合は、それぞれブロブの個数は１である。
また、ブロブの特徴量の解析については、本実施形態では個々のブロブの面積を求める。製造ライン等においては、規格化された部品が扱われ、しかも撮影は所定の距離と角度で行われるため、通常はブロブの面積の変動量は小さい。このため、学習済み学習器による推論結果（部分抽出画像）の信頼性を判定する指標としてブロブの面積を用いるのが好適だからである。また、異種ワークの混入やワークの破損等により規格外のワークが撮影された場合にも、容易に検出できるからである。

尚、推論結果（部分抽出画像）の確からしさをはかる指標としては、ブロブの面積以外にも例えば、周囲長や、楕円指標、円形度、最少外接円、最少外接矩形、等を採用することができる。また、モーメントを画像の統計量と捉えて利用してもよい。モーメントによる不変量の算出方法としては、例えばＨｕモーメント不変量が知られており、推論結果の確からしさの指標に利用することができる。

次に、工程Ｓ２０５において、ブロブに問題がないかを判定する。言い換えれば、工程Ｓ２０４で求めた解析結果に基づいて、ブロブの信頼性を判定する。判定について説明するため、図８（ａ）〜図８（ｄ）に、異なる状況で撮影された４枚の撮像画像から得られた部分抽出画像１に基づいて作成されたブロブを例示する。
図８（ａ）は、製造ラインが通常の状態、すなわち規格に準拠した正常なワークが適切に撮影された撮像画像に基づくブロブである。図８（ｂ）は、不測の衝突等が生じてワークの一部が欠損して形状が変化した不適合部品が撮影された撮像画像に基づくブロブである。図８（ｃ）は、規格に準拠した正常なワークではあるが、照明の向き等の影響で部品表面にモアレ縞が観察される状態で撮影された不適切撮影の撮像画像に基づくブロブである。図８（ｄ）は、規格に準拠した正常なワークではあるが、ワーク近傍に製造工程には影響がない異物（図中の三角片）が映り込んだ状態で撮影された不適切撮影の撮像画像に基づくブロブである。

まず、ブロブの個数が本来期待される個数と同じかどうかを判定する。この例においては、部分抽出画像１に基づくブロブでは、１つのブロブが得られるはずであるから、ブロブが２個以上得られた場合は、問題ありと判定する。図８（ａ）と図８（ｂ）は、ブロブが１個なので問題ないが、図８（ｃ）はモアレ縞により分断されたブロブが複数存在し、図８（ｄ）はワークの他に異物のブロブが存在するので、これらは問題ありと判定する。

また、ブロブの特徴量である面積の総和が、ワークの規格形状に準じて予め設定された範囲内に有るか否かを判定する。図８（ａ）と図８（ｃ）は、ブロブの面積の総和が設定範囲内なので問題ないが、図８（ｂ）は、ブロブの面積の総和が設定範囲よりも小さいので問題ありと判定する。ワークの一部欠損等の不具合を確実に問題ありと判定できるようにするため、ブロブの面積の総和がワークの規格形状で決まる面積よりも小さい場合については、許容範囲の幅は小さく設定するのが望ましい。図８（ｄ）は、ブロブの面積の総和がワークの規格形状で決まる面積よりも大きいが、異物が微小なため面積の総和は許容範囲内で問題なしと判定する。

工程Ｓ２０５において、ブロブの個数、面積の総計の両方について問題がないと判定した場合には、工程Ｓ２０６に進む（Ｓ２０５：ＹＥＳ）。ブロブの個数か面積のうち、少なくとも一方について問題ありと判定した場合には、工程Ｓ２０８に進む（Ｓ２０５：ＮＯ）。

まず、工程Ｓ２０５においてブロブの個数および面積の両方について問題がないと判定した場合には（Ｓ２０５：ＹＥＳ）、ワークの位置および角度方位を算出する。
図９は、ワークの位置および角度方位を算出する方法を説明するための模式図である。
まず、図６の工程Ｓ２０６においては、例えば次のような処理を行い、ブロブからワークの位置に関する情報を求める。すなわち、図９中の（Ａ１）に示すように、二値化抽出画像１の重心位置ｐ１を算出し、これをワーク１０１の回転軸の中心位置とする。尚、ワークの位置に関する情報の求め方は、この他にもブロブの最少外接円や最少外接矩形を求めてから、その中心を求めるなどしてもよい。

次に、図６の工程Ｓ２０７においては、ブロブからワークの角度方位に関する情報を求める。
まず、図９中の（Ａ２）に示すように、二値化抽出画像２にかかるブロブの重心位置ｐ１を中心としてワーク１０１の軸部分１１０の円弧半径と等しい半径ｒを持つ円領域を作成する。これとは別に、二値化抽出画像１として切り出された部分の外輪郭に囲まれた内部領域を特定する。この内部領域を、図９中の（Ａ３）に白抜きで図示する。そして、図９中の（Ａ４）に示すように、（Ａ２）と（Ａ３）の差分画像を求める。これは、ワーク１０１の軸部分１１０に設けられた切欠き部を抽出することに相当する。そして、図９中の（Ａ５）に示すように、（Ａ４）の差分画像の重心位置ｐ２を求める。さらに、図９中の（Ａ６）に示すように、重心位置ｐ１から重心位置ｐ２に向かうベクトルｐ１ｐ２を求めることにより、ワークの角度方位を算出することができる。

工程Ｓ２０７を実行することにより、ワーク１０１の位置および角度方位を算出する処理は終了する。このワーク１０１の位置および切欠きの方位角度を装置のコントローラ１０６に通知することで、ロボット１０４が把持しているワーク１０１の状態を正しく管理することができ、ロボット１０４による組立作業等を適切に実行することができる。

次に、図６の工程Ｓ２０５においてブロブの個数および面積の少なくとも一方について問題があると判定した場合（Ｓ２０５：ＮＯ）の処理について説明する。問題があると判定した場合は、不適合部品か不適切撮影である可能性が高い。不適合部品であれば、組立て等の製造工程を続行すれば不良な製品が製造される可能性がある。また、不適切撮影の場合には、ブロブの信頼性が低く、ワーク１０１の位置および切欠きの方位角度を高い精度で算出することはできないため、組立て等の製造工程を続行すれば不良な製品が製造される可能性がある。

そこで、工程Ｓ２０８では、製造工程を変更する。ブロブに問題があると判定された場合の製造工程の変更方法は、製造工程の設計次第で異なる。例えば、ワーク１０１を不適合部品として排出する、停止させてメンテナンス要員の呼び出しを行う、ワーク１０１の持ち替えを行う、再度撮影を行う、など当該製造工程に合った処理を行う。

次に、工程Ｓ２０９においては、工程Ｓ２０５においてブロブの個数および面積の少なくとも一方について問題があると判定したケースが、不適切撮影であったのかを判定する。例えば、図８（ｂ）〜図８（ｄ）の例であれば、図８（ｂ）はワークの一部が欠損した不適合部品であるが、図８（ｃ）と図８（ｄ）はワーク自体には問題のない不適切撮影である。これらを判別するアルゴリズムは、種々考えられるが、例えばブロブの面積の総計が所定値よりも小さい場合には、部品の欠損や異種物品の混入による不適合部品であると判定することができる。一方、ブロブの面積の総計が所定範囲内にあるが、ブロブの個数が大きい場合には、図８（ｃ）や図８（ｄ）のように不適切撮影であると判定することができる。

工程Ｓ２０９において不適切撮影であったと判定した場合（Ｓ２０９：ＹＥＳ）には、工程Ｓ２１０に進み、学習済み学習器に再学習させるための教材として、当該ケースの撮影画像を保存（記憶）する。保存する場合には、当該ケースの撮影時刻や、ブロブの個数および面積、等の情報と紐付けして記憶しても良い。保存が完了したら、当該ワークについての処理を終了する。
工程Ｓ２０９において不適切撮影ではないと判定した場合（Ｓ２０９：ＮＯ）には、当該ケースの撮影画像を保存（記憶）することなく、当該ワークについての処理を終了する。

以上説明したように、本実施形態によれば、学習済み学習器により抽出された部分抽出画像の信頼性をブロブの個数および面積にもとづき判定することにより、不適切撮影や不適合部品のケースを判別し、製造工程のトラブルを未然に防ぐことができる。
さらに、信頼性の低かったケースのうち、不適切撮影にかかるケースを判別して撮影画像を保存することにより、学習済み学習器を再学習するための撮影画像を効率的に収集することができる。計測装置の管理者は、保存（記憶）された撮影画像について不適合部品でないことを確認の上、保存された撮影画像について抽出領域を紐付けした再学習データを作成し、学習済み学習器を再学習させ、領域抽出の精度を向上させることができる。

画像処理装置１０５は、保存した撮影画像が所定数に達したら、計測装置１００の操作画面にメッセージを表示したり、管理者に電子メールを自動発信する等の方法で、再学習タイミングの到来を管理者に通知することもできる。あるいは、予め管理者の設定により再学習のタイミングを決めるようにしてもよい。例えば、問題ありケースの割合が管理者の設定した閾値以上に達した場合や、所定の時間または計測回数に達した場合、などが挙げられる。学習器の学習を行う条件に達すると管理者に通知され、管理者は保存された撮像画像を基に再学習データを作成して学習器の再学習をおこなう。これらの仕組みにより、学習済み学習器を継続的に再学習させて推論精度を高めることが可能となる。

また、学習済み学習器を再学習し直すのではなく、保存した撮像画像を含む画像データセットを使って新たな学習済み学習器を作成し、既存の学習済み学習器と組合せて多段構成にしてもよい。既存の学習済み学習器で正しく推論できなかった場合には、新たな学習済み学習器で推論をおこなう。これにより、正しく推論できるケースを増やすことが可能となる。また、新たな学習済み学習器を作成したら、複数の学習器を用いたアンサンブル学習器とすることで、入力画像から結果を出力し、推論結果の確からしさを判断してもよい。この場合、例えば、少なくとも１つの学習器が正しく領域を推論できていればその領域を採用する。

［他の実施形態］
なお、本発明は、以上説明した実施形態に限定されるものではなく、本発明の技術的思想内で多くの変形が可能である。
例えば、上述の実施形態では、二値化抽出画像１の重心位置ｐ１を算出し、これをワーク１０１の回転軸の中心位置としたが、位置の決定方法はこれに限らない。例えば、ワーク１０１の軸端部から図１０（ａ）に示すような撮像画像が得られ、図７（ｃ）に相当する領域を抽出する代わりに、図１０（ｂ）の白抜きに相当する領域を抽出するように学習器を訓練した場合を想定する。この場合には、３つのブロブそれぞれの重心を求めてから、各ブロブの重心を通る円を求めて、その中心を位置情報とすればよい。尚、このケースでは、Ｓ２０５において推論結果が確からしいと判定される条件は、ブロブが３つであることである。

また、工程Ｓ２０５のブロブ解析による推論結果の確からしさの判断は、工程Ｓ２０６の位置算出の計算や、工程Ｓ２０７の方位角度を求めた後に行っても良い。

また、上述の実施形態では、ブロブの個数および面積で問題があったケースのうち、ステップＳ２０９で不適切撮影であると判別したケースの撮影画像を再学習用に保存（記録）し、不適切撮影であると判別しなかったケースについては保存しなかった。しかし、不適切撮影であると判別しなかったケースについても、撮影画像等の情報を不適切撮影と区別して保存してもよい。異種部品の混入や部品の衝突等の不適合部品にかかる情報は、製造ラインの課題を分析するのには役立つ情報であるからである。

また、上述の実施形態では、計測装置が垂直多関節のロボットアームを備える場合について説明したが、これに限定するものではない。ロボットアームとしては、例えば、水平多関節のロボットアーム、パラレルリンクのロボットアーム、直交ロボット等、種々のロボットアームを用いることが出来る。また、ロボットアームを用いずに他の保持装置でワークを保持して撮影してもよい。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおけるプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００・・・計測装置／１０１・・・ワーク／１０２・・・光源／１０３・・・カメラ／１０３Ａ・・・撮像レンズ／１０３Ｂ・・・センサ／１０４・・・ロボット／１０５・・・画像処理装置／１０６・・・コントローラ

Claims (9)

1. 所定形状のワークが撮像された撮像画像を用いて抽出すべき２以上の部分抽出領域を学習した学習済み学習器を準備する工程と、
   所定の画角に納まるように対象物を撮像し、撮像画像を得る撮像工程と、
   前記撮像工程で得た撮像画像を前記学習済み学習器に入力し、２以上の部分抽出画像を得る工程と、
   前記２以上の部分抽出画像を二値化して、各部分抽出画像についてのブロブ情報を得る工程と、
   前記ブロブ情報の各々について、信頼性を判定する信頼性判定工程と、を有し、
   前記信頼性判定工程において、前記各部分抽出画像についてのブロブ情報の全てが信頼性ありと判定された場合には、前記ブロブ情報に基づき前記対象物の位置および角度を算出し、
   前記信頼性判定工程において、前記各部分抽出画像についてのブロブ情報の少なくとも一部が信頼性なしと判定された場合には、前記ブロブ情報に基づき前記撮像画像が不適切撮影であったか否かを判定し、不適切撮影であったと判定した場合には、前記撮像画像を前記学習済み学習器を再学習させるための画像データとして保存する、
   ことを特徴とする対象物の計測方法。
2. 前記信頼性判定工程は、含まれるブロブの個数および含まれるブロブの面積の総和に基づき、前記ブロブ情報の各々について信頼性を判定する工程である、
   ことを特徴とする請求項１に記載の対象物の計測方法。
3. 前記撮像画像が不適切撮影であったか否かの判定においては、撮像された前記対象物が前記所定形状を有するワークであるが撮影が不適切であった場合に、不適切撮影であったと判定する、
   ことを特徴とする請求項１または２に記載の対象物の計測方法。
4. 前記撮像画像が不適切撮影であったか否かの判定においては、撮像された前記対象物が前記所定形状を有するワークではなかった場合に、不適切撮影ではないと判定する、
   ことを特徴とする請求項１乃至３の中のいずれか１項に記載の対象物の計測方法。
5. 前記撮像画像が不適切撮影であったか否かの判定においては、前記ブロブ情報に含まれるブロブの面積の総和が所定の大きさよりも小さな場合には、不適切撮影ではないと判定する、
   ことを特徴とする請求項１乃至４の中のいずれか１項に記載の対象物の計測方法。
6. 前記撮像画像が不適切撮影であったか否かの判定においては、前記ブロブ情報に含まれるブロブの面積の総和が所定の範囲内にあるが、ブロブの個数が所定数よりも大きな場合には、不適切撮影であると判定する、
   ことを特徴とする請求項１乃至５の中のいずれか１項に記載の対象物の計測方法。
7. 請求項１乃至６の中のいずれか１項に記載の対象物の計測方法を、コンピュータに実行させるプログラム。
8. 請求項７に記載のプログラムを記録したコンピュータ読取り可能な記録媒体。
9. 所定形状のワークが撮像された撮像画像を用いて抽出すべき２以上の部分抽出領域を学習した学習済み学習器と、
   所定の画角に納まるように対象物を撮像する撮像装置と、
   制御部と、を有し、
   前記制御部は、
   前記撮像装置が撮像した撮像画像を前記学習済み学習器に入力し、２以上の部分抽出画像を得る処理と、
   前記２以上の部分抽出画像を二値化して、各部分抽出画像についてのブロブ情報を得る処理と、
   前記ブロブ情報の各々について、信頼性を判定する信頼性判定処理と、
   前記信頼性判定処理において、前記各部分抽出画像についてのブロブ情報の全てが信頼性ありと判定された場合に、前記ブロブ情報に基づき前記対象物の位置および角度を算出する処理と、
   前記信頼性判定処理において、前記各部分抽出画像についてのブロブ情報の少なくとも一部が信頼性なしと判定された場合に、前記ブロブ情報に基づき前記撮像画像が不適切撮影であったか否かを判定し、不適切撮影であったと判定した場合には、前記撮像画像を前記学習済み学習器を再学習させるための画像データとして保存する処理と、
   を実行可能である、
   ことを特徴とする計測装置。