以下では、図中の矢印U、矢印D、矢印F、矢印B、矢印L及び矢印Rで示した方向を、それぞれ上方向、下方向、前方向、後方向、左方向及び右方向と定義して説明を行う。
以下では、まず、図4を参照し、検査装置1の検査対象物となるワークWの一例について説明する。
ワークWは、例えば、バルブ装置(不図示)のハウジング等に用いられる。ワークWは、本体部W10及びフランジ部W20を具備する。本体部W10は、略直方体状に形成される。本体部W10は、第一孔部W11、第二孔部W12、第三孔部W13及び連通孔W14を具備する。
第一孔部W11は、バルブ装置のスプール(不図示)が設けられる孔である。第一孔部W11は、本体部W10を前後に貫通する。第一孔部W11は、正面視略円状に形成される。第一孔部W11は、本体部W10の左右中央部に形成される。第一孔部W11の前後両端部の内径は、前後中途部の内径よりも大きくなるように形成される。第一孔部W11には、摺動部W11a及びランド部W11bが形成される。摺動部W11aは、上記スプールに対して摺動可能な部分である。摺動部W11aは、第一孔部W11の前後中途部において一定の径を有するように形成される。ランド部W11bは、第一孔部W11の前後中途部において摺動部W11aよりも大径に形成される。
第二孔部W12は、上記スプールが設けられる孔である。第二孔部W12は、本体部W10を前後に貫通する。第二孔部W12は、第一孔部W11(摺動部W11a)よりも小さい内径を有する正面視略円状に形成される。第二孔部W12は、第一孔部W11の左方に形成される。第二孔部W12には、第一孔部W11と同様に、摺動部W12a及びランド部W12bが形成される。
第三孔部W13は、上記スプールが設けられる孔である。第三孔部W13は、本体部W10を前後に貫通する。第三孔部W13は、第二孔部W12と略同一の内径を有する正面視略円状に形成される。第三孔部W13は、第一孔部W11の左上方に形成される。第三孔部W13には、第一孔部W11と同様に、摺動部及びランド部が形成される(不図示)。
連通孔W14は、第一孔部W11とワークWの外部とを連通する孔である。連通孔W14は、左右方向へ延びるように形成される。連通孔W14は、前後に間隔をあけて複数(3つ)形成される。
フランジ部W20は、板面を上下方向へ向けた略円板状に形成される。フランジ部W20は、本体部W10の下側に形成される。
検査装置1は、後述する撮像部70により上記スプールとの摺動部分、すなわち第一孔部W11、第二孔部W12及び第三孔部W13(以下、「第一孔部W11等」と称する)を撮像し、ワークWに不良が発生していないことを確認(検査)する。このように、第一孔部W11等は、検査装置1の検査対象となる孔部(検査孔)となっている。検査装置1は、当該孔部に生じた不良として、例えば、バリ(余分な出っ張り)や異物残り(砂を落とす際に用いるショット玉等が残っていないか)等を確認する。
次に、図1から図9を参照し、第一実施形態に係る検査装置1の構成について説明する。検査装置1は、例えば、ワークWの製造ライン等に設けられる。図1に示すように、検査装置1は、区画部材10、搬送スライダ20、昇降スライダ30、多軸ロボット40、芯ずれ補正部50、干渉チェック部60、撮像部70、制御部80及びPC90を具備する。
区画部材10は、検査装置1の機器(搬送スライダ20等)を囲むような柵状の部材である。区画部材10の左前部には、ワークWを区画部材10の外側から内側へと投入するための投入口11(開口部)が形成される。投入口11には、ワークWを載置可能なテーブル12(図2参照)が設けられる。以下では、区画部材10の内側の空間を「内部空間13」と称する。
搬送スライダ20は、ワークWを投入口11から後述する昇降スライダ30へと搬送するためのものである。搬送スライダ20は、内部空間13の左前部において、投入口11と隣接するように設けられる。図1及び図2に示すように、搬送スライダ20は、搬送コンベア21及び載置部22を具備する。
搬送コンベア21は、後述する載置部22を移動可能なものである。搬送コンベア21は、区画部材10の投入口11と昇降スライダ30との間に亘るように設けられる。
載置部22は、ワークWを載置するための部分である。載置部22は、搬送コンベア21上に設けられ、搬送コンベア21の駆動に伴って左右方向へ移動することができる。
上述の如く構成される搬送スライダ20は、搬送コンベア21の駆動によって、ワークW(載置部22)を投入位置P1及び第一受け渡し位置P2へ移動させることができる。投入位置P1は、投入口11から投入されたワークWを載置部22で受け取るための位置である。具体的には、投入位置P1は、ワークWを投入口11へ最も接近させた(搬送コンベア21の左端部へ移動させた)位置である。第一受け渡し位置P2は、搬送スライダ20と昇降スライダ30との間でワークWを受け渡す位置である。具体的には、第一受け渡し位置P2は、ワークWを昇降スライダ30へ最も接近させた(搬送コンベア21の右端部へ移動させた)位置である。
昇降スライダ30は、ワークWを昇降するためのものである。昇降スライダ30は、内部空間13の右前部に設けられる。図2及び図5に示すように、昇降スライダ30は、昇降コンベア31、リフト部32、第一ピン33、第二ピン34及びシリンダ35を具備する。
昇降コンベア31は、後述するリフト部32を昇降可能なものである。昇降コンベア31は、搬送スライダ20(搬送コンベア21)の右端部に固定される。
リフト部32は、昇降コンベア31の駆動に伴って昇降する部分である。リフト部32の右部は、昇降コンベア31に昇降可能に支持される。図5に示すように、リフト部32には、凹部32aが形成される。
凹部32aは、リフト部32の左側部において凹状に形成される部分である。凹部32aは、リフト部32の左右中途部に形成される。凹部32aは、後述する多軸ロボット40の把持部45が進入可能となるように、ある程度の左右方向幅が確保されている。
第一ピン33は、ワークWの位置を決めるためのものである。第一ピン33は、軸線方向を前後方向に向けて配置される。第一ピン33は、凹部32aを挟んで前後一対設けられる。第一ピン33の先端部は、ワークWの第一孔部W11に挿入可能なテーパ状に形成される(図12参照)。第一ピン33は、後述するシリンダ35を介してリフト部32に支持される。第一ピン33は、シリンダ35により駆動され、平面視において凹部32aに対して前後方向に進退するように構成される。
第二ピン34は、ワークWの回転を規制するためのものである。第二ピン34は、軸線方向を左右方向に向け、凹部32aの右方に配置される。第二ピン34は、ワークWの連通孔W14(図4参照)に挿入可能に形成される。第二ピン34は、シリンダ(不図示)を介してリフト部32に支持される。第二ピン34は、前記シリンダにより駆動され、平面視において凹部32aに対して左右方向に進退するように構成される。
シリンダ35は、第一ピン33を左右方向へ移動させるためのものである。シリンダ35は、リフト部32の前部及び後部にそれぞれ固定される。前後のシリンダ35は、前後一対の第一ピン33を進退可能に構成される。
上述の如く構成される昇降コンベア31は、第一ピン33を第一孔部W11に挿入することで(図12参照)、ワークWを位置決めすることができる。また、昇降コンベア31は、第二ピン34を連通孔W14に挿入することで、ワークWの回転を規制することができる。この状態でリフト部32を昇降させることで、昇降コンベア31は、ワークWを上記第一受け渡し位置P2及び図2に示す第二受け渡し位置P3へ昇降させることができる。
第二受け渡し位置P3は、昇降スライダ30と多軸ロボット40との間でワークWを受け渡す位置である。具体的には、第二受け渡し位置P3は、第一受け渡し位置P2から昇降コンベア31の上端部へワークWを上昇させた位置である。第二受け渡し位置P3と第一受け渡し位置P2との間隔は、ワークWの上下幅(高さ)よりも大きくなるように設定される。
多軸ロボット40は、ワークWの移動及び姿勢の変更を行うためのものである。多軸ロボット40は、平面視において、内部空間13の略中央部に設けられる(図1参照)。図1及び図6に示すように、多軸ロボット40は、台座部41、旋回部42、アーム43、関節部44及び把持部45を具備する。
台座部41は、後述する旋回部42等を支持する部分である。旋回部42は、台座部41に載置され、後述するアーム43や把持部45等を旋回可能(上下方向を向く回動軸線を中心に回動可能)に設けられる。アーム43及び関節部44は、旋回部42と把持部45との間にそれぞれ複数設けられる。関節部44は、2つのアーム43を接続するように設けられ、アーム43及び把持部45を所定の回動軸線を中心に回動可能に構成される。
把持部45は、ワークWを把持する部分である。把持部45は、固定部材45a、可動部材45b及び変形部45cを具備する。
固定部材45aは、アーム43の端部に固定される略板状の部材である。固定部材45aは、図6(b)に示す状態において、長手方向を上下方向に向けた正面視略矩形状に形成される。
可動部材45bは、固定部材45aに対して上下方向に相対的に移動可能な部材である。可動部材45bは、上下一対設けられる。上下一対の可動部材45bは、所定の駆動源からの動力によって互いに近接離間(昇降)することができる。
変形部45cは、変形可能な部材である。変形部45cは、上下一対の可動部材45bにそれぞれ設けられる。上下の変形部45cは、互いに対向するように配置される。上側の変形部45cは、左右に並んで2つ設けられる。変形部45cには、無数の球体(ビーズ)が収容される。変形部45cは、他の部材と接触した際に球体が適宜移動することで、接触したものの形状に沿って変形することができる。また、変形部45cは、所定のポンプ(不図示)により真空引きする(内部の空気を吸引する)ことで、球体の移動を規制して、自身の形状を固定することができる。
上述の如く構成される多軸ロボット40は、上下一対の可動部材45bを互いに近接させて変形部45cをワークWに押し当てることで、変形部45cをワークWの形状に沿って変形させることができる。多軸ロボット40は、この状態で変形部45cを真空引きすることで、ワークWを把持することができる(図7参照)。また、この状態で旋回部42及び関節部44を回動させることにより、多軸ロボット40は、ワークWの移動及び姿勢の変更を行うことができる。また、多軸ロボット40は、ワークWの把持とは反対の動作を行うことで、把持部45で把持したワークWを放す(把持を解除する)ことができる。
芯ずれ補正部50は、撮像部70とワークW(第一孔部W11等)との位置ずれを演算し、ロボット座標を補正するためのものである。芯ずれ補正部50は、多軸ロボット40の左方に設けられる。図1及び図7に示すように、芯ずれ補正部50は、カメラ51、上側照明52、下側照明53及び処理部54を具備する。
カメラ51は、ワークWを上方から撮像するものである。上側照明52は、ワークWに対して上方から光を照射するものである。上側照明52は、カメラ51を挟んで左右一対設けられる。下側照明53は、ワークWに対して下方から光を照射するものである。下側照明53は、カメラ51の下方に配置される。
処理部54は、位置ずれの演算処理を行うものである。処理部54は、カメラ51と接続される。処理部54には、カメラ51の撮像結果B51(図14(a)参照)が入力される。処理部54は、入力された撮像結果B51に対して演算処理を行うことで、位置ずれを制御部80へ出力することができる。なお、処理部54の処理については後述する。
干渉チェック部60は、後述する撮像部70にワークWの第一孔部W11等が干渉(接触)しないことを確認するための部分である。干渉チェック部60は、多軸ロボット40の左後方に設けられる。図8に示すように、干渉チェック部60は、取付部材61、軸部材62及びセンサ部63を具備する。
取付部材61は、区画部材10内に設けられた長手部材A1に取り付けられる略箱状の部材である。取付部材61(干渉チェック部60)は、長手部材A1に固定され、移動不能に設けられる。
軸部材62は、後述する撮像部70(挿入部71b・72b・73b)を模した部材である。軸部材62は、撮像部70と概ね同一形状(略同一の外径及び長さ)に形成され、撮像部70と概ね同一の姿勢となるように設けられる。具体的には、軸部材62は、軸線方向を略上下方向に向けた略円柱状に形成される。軸部材62の外径は、ワークWの第一孔部W11等の内径よりも小さくなるように形成される。軸部材62は、取付部材61から下方へ突出するように取付部材61に固定される。
センサ部63は、軸部材62にワークWの第一孔部W11等が接触したことを検知するセンサ(例えば、近接スイッチ等)である。センサ部63は、取付部材61内に設けられる。
撮像部70は、ワークWの第一孔部W11等を撮像するためのものである。図1及び図8に示すように、撮像部70は、第一ボアスコープ71、第二ボアスコープ72及び第三ボアスコープ73を具備する。
なお、第一ボアスコープ71から第三ボアスコープ73は、配置及び撮像方向D71~D73が異なる点を除いて互いに同様に構成される。このため、以下では、第一ボアスコープ71を例に挙げて構成を説明し、第二ボアスコープ72及び第三ボアスコープ73については、第一ボアスコープ71との相違点を中心に説明する。
第一ボアスコープ71は、第一孔部W11等の内側を撮像可能な機器である。第一ボアスコープ71は、干渉チェック部60の右方に設けられる。第一ボアスコープ71は、取付部71a、挿入部71b、光源71c及びカメラ71dを具備する。
取付部71aは、長手部材A1に取り付けられる略箱状の部材である。取付部71a(第一ボアスコープ71)は、長手部材A1に固定され、移動不能に設けられる。
挿入部71bは、第一孔部W11等に挿入可能な略円筒状の部分である。挿入部71bは、軸線方向を略上下方向に向けて配置される。挿入部71bは、取付部71aから下方へ突出するように取付部71aに固定される。こうして、挿入部71bは、上方から下方へ垂れ下がるように設けられる。挿入部71bの外径は、ワークWの第一孔部W11等の内径よりも小さくなるように形成される。挿入部71bの外径は、干渉チェック部60の軸部材62の外径よりも僅かに小さくなるように形成される。
光源71cは、第一孔部W11等の内側を照らす光(照明)を照射するためのものである。光源71cは、取付部71a内に設けられる。光源71cから照射された光は、挿入部71bの下端部から外部(下方、後述するカメラ71dの撮像方向D71と同一方向)へ照射される。光源71cは、光の明るさを変更可能に構成される。
カメラ71dは、第一孔部W11等の内側を撮像するためのものである。カメラ71dは、取付部71a内に設けられる。カメラ71dは、挿入部71b内のレンズを介して、挿入部71bの先端(下端)から下方(撮像方向D71)を撮像することができる。こうして、カメラ71dは、挿入部71bの軸線方向と平行な撮像方向D71を撮像し、第一孔部W11等を真っ直ぐに見た(直視した)画像を得ることができる。
第二ボアスコープ72は、取付部72a、挿入部72b、光源72c及びカメラ72dを具備する。第二ボアスコープ72は、第一ボアスコープ71の右方に配置される。カメラ72dは、挿入部72b内のレンズを介して、挿入部72bの先端から斜め方向(撮像方向D72)を撮像することができる。こうして、カメラ72dは、挿入部72bの軸線方向及び水平方向(軸線方向と直交する方向)に対して傾斜する撮像方向D72を撮像し、第一孔部W11等を斜めから見た画像を得ることができる。
第三ボアスコープ73は、取付部73a、挿入部73b、光源73c及びカメラ73dを具備する。第三ボアスコープ73は、第一ボアスコープ71の右前方に配置される。カメラ73dは、挿入部73b内のレンズを介して、挿入部73bの先端から水平方向(撮像方向D73)を撮像することができる。こうして、カメラ73dは、挿入部73bの軸線方向と直交する撮像方向D73を撮像し、第一孔部W11等を横から見た画像を得ることができる。
制御部80は、検査装置1の機器(搬送スライダ20等)を制御するものである。制御部80は、区画部材10の外側(右後側)に設けられる。図3に示すように、制御部80は、搬送スライダ20、昇降スライダ30、多軸ロボット40、芯ずれ補正部50及び干渉チェック部60と接続される。
制御部80は、搬送スライダ20に信号を送信することで、搬送コンベア21の動作の開始及び停止やワークW(載置部22)の移動方向等を制御することができる。
制御部80は、昇降スライダ30に信号を送信することで、昇降コンベア31の動作の開始及び停止やリフト部32の昇降方向やシリンダ35(第一ピン33及び第二ピン34)の動作等を制御することができる。
制御部80は、多軸ロボット40に信号を送信することで、上述したワークWの把持及び把持の解除を行ったり、旋回部42及び関節部44を回動させてワークW(把持部45)の移動や姿勢の変更を行うことができる。
制御部80は、芯ずれ補正部50に信号を送信することで、カメラ51による撮像や上側照明52及び下側照明53からの光の照射及び停止を行うことができる。また、制御部80は、処理部54から信号を受信することで、処理部54での処理結果を取得することができる。
制御部80は、干渉チェック部60から信号を受信することで、センサ部63の検知結果を取得することができる。
PC90は、撮像部70の撮像結果B71・B72(図17参照)に基づいて第一孔部W11等の良否判定を行うためのものである。PC90は、区画部材10の外側(左側)に設けられる(図1参照)。PC90は、CPU・GPU等の演算装置やHDD等の記憶装置や液晶ディスプレイ等の表示装置を具備する。また、PC90は、良否判定に関する機能(プログラム)として、補正部91、良否判定部92及び作成部93を具備する。
補正部91は、撮像部70のゲイン(感度)を補正するためのものである。良否判定部92は、ワークWの良否判定を行うためのものである。補正部91及び良否判定部92の処理については後述する。
作成部93は、後述するDNN100が反応した度合いを示すヒートマップH(図18(b)参照)を作成するためのものである。
上述の如く構成されるPC90には、図9に示すように、DNN100が構築される。
DNN100は、人間の脳の神経回路の仕組みを模した情報処理モデルである。より詳細には、DNN100は、脳の神経細胞をモデル化したユニット101a・102a・103aを互いに接続し、当該ユニット101a等の信号の受け渡しにより種々の情報処理を行うものである。DNN100は、入力層101、中間層(隠れ層)102、及び出力層103を具備する。
入力層101は、複数のユニット101aを有する。入力層101のユニット101aは、中間層102のユニット102aと接続される。入力層101のユニット101aは、入力された情報に対して演算処理を行って、中間層102(ユニット102a)へ情報を受け渡すことができる。
中間層102は、複数のユニット102aを有する。中間層102は、入力層101と出力層103との間に複数設けられる。中間層102のユニット102aは、入力側(入力層101側で隣接するユニット)から受け渡された情報に対して演算処理を行って、出力側(出力層103側で隣接するユニット)へ情報を受け渡すことができる。
出力層103は、複数のユニット103aを有する。出力層103は、中間層102から受け渡された情報に対して演算処理を行って、その結果を出力することができる。
上述の如く構成されたDNN100は、ワークWの第一孔部W11等を撮像部70で撮像した結果と、良否判定の結果と、の関係を予め教師あり学習によって学習している。
より詳細には、DNN100は、良品と判定されるべきワークWを撮像部70で撮像した結果と、良否判定の結果が良品であること(答え)と、が入力層101に入力され、中間層102及び出力層103への情報の受け渡しが行われている。こうして、DNN100は、良品と判定するための第一孔部W11等の特徴を学習している。また、DNN100は、不良品と判定されるべきワークWについても、良品と同様に学習が行われている。
上述の如く構成されるPC90は、図3に示すように、撮像部70及び制御部80と接続される。
PC90は、撮像部70から信号を受信することで、撮像部70の撮像結果B71・B72を取得することができる。DNN100は、当該撮像結果B71・B72が入力層101に入力されることで、良品及び不良品の確率を示すスコア(例えば、良品の確率が80%であり、かつ不良品の確率が20%等)と、良否判定の結果(例えば、OK又はNGとの結果)と、を出力することができる。
PC90は、制御部80との間で通信することで、制御に関する情報(例えば、ワークWや機器の位置情報等)をやり取りすることができる。
以下では、図1、図2及び図10を参照し、検査装置1によるワークWの検査の概要について説明する。
まず、ワークWが検査装置1(投入位置P1)にセットされる(ステップS100)。
ワークWがセットされると、搬送スライダ20は、ワークWを第一受け渡し位置P2へ搬送する(ステップS110)。
ワークWの搬送が完了すると、昇降スライダ30は、第一受け渡し位置P2でワークWの位置決めを行う(ステップS120)。
ワークWの位置決めが完了すると、第二受け渡し位置P3で昇降スライダ30から多軸ロボット40へワークWを受け渡す(ステップS130)。
ワークWの受け渡しが完了すると、多軸ロボット40は、芯ずれ補正部50が設けられる場所へワークWを移動させる。その後、芯ずれ補正部50は、第一孔部W11等と撮像部70との位置ずれからロボット座標を補正する(ステップS140)。
ロボット座標の補正が完了すると、多軸ロボット40は、干渉チェック部60が設けられる場所へワークWを移動させる。その後、干渉チェック部60は、第一孔部W11等が撮像部70と干渉しないことを事前に確認する(ステップS150)。
干渉の確認が完了すると、多軸ロボット40は、第一ボアスコープ71が設けられる場所へワークWを移動させる。その後、補正部91は、カメラ71dのゲイン(感度)を補正する(ステップS160)。
ゲインの補正が完了すると、第一ボアスコープ71は、補正後のゲインにより、第一孔部W11等を撮像する(ステップS170)。なお、第一ボアスコープ71で撮像する撮像箇所は、予め複数設定されている。第一ボアスコープ71は、挿入部71bが第一孔部W11等に挿入された状態で、当該撮像箇所を撮像する(図15(b)参照)。
第一ボアスコープ71での撮像が完了すると、多軸ロボット40は、第二ボアスコープ72が設けられる場所へワークWを移動させる。第二ボアスコープ72は、補正後のゲインにより、第一孔部W11等を撮像する(ステップS180)。なお、第二ボアスコープ72で撮像する撮像箇所は、予め複数設定されている。第二ボアスコープ72は、挿入部72bが第一孔部W11等に挿入された状態で、当該撮像箇所を撮像する(図15(b)参照)。
第二ボアスコープ72による撮像が完了すると、多軸ロボット40、昇降スライダ30及び搬送スライダ20は、ワークWを投入位置P1へと戻す(ステップS190)。
また、PC90の良否判定部92は、ワークWを戻す動作と並行してワークWの良否判定を行う(ステップS200)。こうして、検査装置1による検査が完了する。なお、良否判定は、ワークWを戻す動作と並行して行う必要はなく、第一孔部W11等の撮像後に、任意のタイミングで行うことができる。
以下では、上述した検査の各ステップS100~S190の詳細について説明する。
まず、図2及び図4を参照し、ステップS100(ワークWのセット)について説明する。ステップS100においてワークWは、投入口11を介して区画部材10内へ投入され、投入位置P1(搬送コンベア21の左端部)で載置部22に載置される。この際、ワークWは、載置部22に設けられた所定の位置決め部材により、連通孔W14が右方を向くと共に、第一孔部W11等が前後方向を向く姿勢で載置される。こうして、載置部22は、投入口11から投入されたワークWを投入位置P1で受け取る。
次に、図1、図2及び図11を参照し、ステップS110(ワークWの搬送)について説明する。なお、図11以降の図面においては、説明の便宜上、ワークWの断面を適宜簡略化して記載している。
ステップS110において、搬送スライダ20は、制御部80からの信号により搬送コンベア21が駆動され、載置部22を右方へ移動させる。こうして、図1及び図2に示すように、搬送スライダ20は、ワークWを投入位置P1から第一受け渡し位置P2へ搬送する。この際、制御部80からの信号により昇降コンベア31が駆動され、図11(a)に示すように、リフト部32は、ワークWと同じ高さ位置に配置される。これにより、図11(b)及び図11(c)に示すように、第一ピン33は、ワークWの第一孔部W11と対向するように配置される。また、第二ピン34は、連通孔W14と対向するように配置される。このようにして、第一受け渡し位置P2では、第一ピン33及び第二ピン34を第一孔部W11及び連通孔W14へ挿入可能な状態となる。
次に、図12を参照し、ステップS120(ワークWの位置決め)について説明する。ステップS120において、制御部80からの信号によりシリンダ35が駆動され、第一ピン33の先端部(テーパ状の部分、以下「テーパ部」と称する)は、第一孔部W11に挿入される。より詳細には、テーパ部の先端が摺動部W11aに挿入される。また、当該テーパ部の中途部は、挿入時に摺動部W11aの端部に当接する。こうして第一ピン33は、ワークWをテーパ部の形状に倣うように移動させ、ワークWを所定の位置で位置決めする。また、第二ピン34は、連通孔W14に挿入され、ワークWの回転を規制する。
ここで、上述の如く、ワークWは、鋳造によって製造される。第一ピン33が挿入される第一孔部W11は、鋳造において、中子により形成される。このように、中子で形成された第一孔部W11は、ワークWの中で比較的加工精度が高くなる。このような加工精度が高い部分(第一孔部W11)でワークWの位置決めを行うことで、昇降スライダ30は、ワークWを精度よく位置決めすることができる。
次に、図2及び図13を参照し、ステップS130(受け渡し)について説明する。ステップS130においては、制御部80の制御により、ワークWの上昇、把持部45による把持及び第一ピン33等の引き抜きが行われ、昇降スライダ30から多軸ロボット40へとワークWが受け渡される。
より詳細には、図2及び図13(a)に示すように、ステップS130においてまず昇降コンベア31が駆動され、昇降スライダ30は、位置決めしたワークWを第一受け渡し位置P2から第二受け渡し位置P3まで上昇させる。この際の上昇量は、ワークWの上下幅(高さ)よりも大きく設定されている。こうして昇降スライダ30は、ワークWの上下幅よりも高い位置(第二受け渡し位置P3)までワークWを持ち上げる。
次に、多軸ロボット40は、図13(b)に示すように、把持部45をリフト部32の凹部32aへ進入させて変形部45cとワークWとを対向させる。その後、図13(c)に示すように、多軸ロボット40は、上下一対の可動部材45bを互いに接近させ、変形部45cをワークWに上下から押し当てる。多軸ロボット40は、こうしてワークWの外形に沿って変形させた変形部45cを真空引きする(形状を固定する)ことで、ワークWを把持する。さらに、上下一対の可動部材45bの位置を押し当て状態から固定状態にする。
次に、第一ピン33及び第二ピン34は、第一孔部W11及び連通孔W14から引き抜かれる(図11(c)参照)。こうして第二受け渡し位置P3において、昇降スライダ30から多軸ロボット40へとワークWが受け渡される。
上述の如く、ステップS130において、多軸ロボット40は、変形部45cを変形させてワークWを把持する。これにより、複雑な形状のワークWや外形にばらつきがあるワークWに変形部45cを密着させ、ワークWを確実に把持することができる。また、ワークWに異物が付着していたとしても、当該異物に沿うように変形部45cを変形させて、多軸ロボット40とワークWとが位置ずれするのを防止することができる。
次に、図7及び図14を参照し、ステップS140(ロボット座標の補正)について説明する。
上述の如く、第一ボアスコープ71及び第二ボアスコープ72は、挿入部71b・72bが第一孔部W11等に挿入された状態で撮像を行う(図15(b)参照)。このため、第一ボアスコープ71及び第二ボアスコープ72と第一孔部W11等との位置がずれていたり、第一孔部W11等の向きが上下方向(挿入部71b等の軸線方向)に対して傾いていた場合、ステップS190で良否判定を行い難くなる可能性がある。このような挿入部71b・72bと第一孔部W11等との芯ずれ(中心のずれ)による不具合を回避するために、芯ずれ補正部50による補正(ステップS140)が行われる。以下、具体的に説明する。
ステップS140において多軸ロボット40は、図7に示すように、第一孔部W11等が上下方向を向くようにワークWの姿勢を変更し、芯ずれ補正部50のカメラ51と下側照明53との間に当該ワークWを移動させる。こうして、カメラ51の鉛直下方には、第一孔部W11が配置されることとなる。上側照明52及び下側照明53は、当該第一孔部W11に向けて光を照射する。カメラ51は、こうして照らされた第一孔部W11を撮像し、図14(a)に示す撮像結果B51を処理部54に送信する。なお、図14(a)には、処理部54に送信された撮像結果B51の一例を示している。
処理部54は、撮像結果B51を解析し、第一孔部W11の手前側(カメラ51に近い側)端部C10の中心C11の座標と、第一孔部W11の奥側(カメラ51から遠い側)端部C20の中心C21の座標と、を算出する。そして、処理部54は、座標の算出結果に基づいて、撮像結果B51(画像データ)の中心Pと第一孔部W11の中心C11・C21との距離を算出する。また、処理部54は、手前側端部C10の中心C11に対して奥側端部C20の中心C21がずれている方向(図14(a)では左方)を算出する。
処理部54は、こうして算出した距離及び方向に基づいて、撮像結果B51の中心Pと第一孔部W11の中心C11・C21とが一致するように(図14(b)に示す補正後の撮像結果B51参照)、多軸ロボット40を制御する。この際処理部54は、手前側端部C10の中心C11と奥側端部C20の中心C21とが一致するような回動角度を算出し、当該算出結果を制御部80へ出力する。制御部80は、当該算出結果に基づいてワークWを回動させる(多軸ロボット40を制御する)ことで、第一孔部W11の上下方向に対する傾き(角度)を補正する。また、処理部54は、撮像結果B51の中心Pに対して手前側端部C10の中心C11が一致するような方向及び移動量を算出し、当該算出結果を制御部80へ出力する。制御部80は、当該算出結果に基づいてワークWを水平方向に移動させることで、第一孔部W11の水平方向のずれを補正する。こうして芯ずれ補正部50によるロボット座標の補正が完了する。
このように、芯ずれ補正部50によれば、ワークWが決まった位置(中心P・C11・C21が一致する位置)で決まった姿勢(第一孔部W11が上下方向を向く姿勢)となるように、多軸ロボット40を補正することができる。このように、芯ずれ補正部50は、昇降スライダ30から第一ボアスコープ71が設けられる場所へワークWを移動させる前にワークWの位置等を補正する(ワークWの移動を補正する)ことで、挿入部71b・72bに対する第一孔部W11等の位置ずれを抑制することができる。
次に、図8を参照し、ステップS150(干渉のチェック)について説明する。干渉チェック部60は、第一ボアスコープ71等の撮像(図15(b)参照)において挿入部71b・72bと第一孔部W11等とが接触しないことを、軸部材62を用いて事前に確認する。以下、具体的に説明する。
ステップS150において多軸ロボット40は、ワークWを移動させ、図8に示す干渉チェック部60の軸部材62を第一孔部W11に挿入する。このとき、多軸ロボット40は、第一ボアスコープ71での撮像(ステップS170)と同じようにワークWを移動させる。具体的には、多軸ロボット40は、第一孔部W11が上下方向を向いたワークWを上方へと移動させ、軸部材62を第一孔部W11に挿入する。
仮に軸部材62と第一孔部W11とが接触すると、センサ部63が当該接触を検知して制御部80へ検知結果を送信する。この場合、制御部80は、検査を中断する。一方、軸部材62と第一孔部W11とが接触しなければセンサ部63が接触を検知しないため、検査が中断されることはない。こうしてセンサ部63が接触を検知しない場合、軸部材62が第二孔部W12、第三孔部W13に順番に挿入される。干渉チェック部60は、このようにして、第一孔部W11等が挿入部71b・72bを模した軸部材62と接触しないことを確認する。
このように、干渉チェック部60によれば、事前に(撮像部70での撮像前に)、第一孔部W11等が挿入部71b・72bと干渉しないことを確認することができる。これにより、第一孔部W11等と挿入部71b・72bとの接触を確実に防止することができる。また、軸部材62の外径は、挿入部71b・72bの外径よりも大きくなるように形成されている。当該構成により、挿入部71b・72bに対して必要以上に接近するワークWを検出し、第一孔部W11等と挿入部71b・72bとの接触をより確実に防止することができる。
次に、図15及び図16を参照し、ステップS160(ゲインの補正)について説明する。
後述するように、第一ボアスコープ71及び第二ボアスコープ72は、第一孔部W11等を撮像する際に、光源71cから光を照射する。当該光の反射度合い(正反射の度合い)は、ワークWの表面(鋳肌)状態等によって、ワークWごとに異なる場合がある。したがって、例えば、図16(a)に一例で示すように、光の反射度合いが高いワークWを第一ボアスコープ71で撮像すると、撮像結果B71においてワークW(第一孔部W11等)が明るく写ることとなる。一方、光の反射度合いが低いワークWを撮像すると、ワークWが暗く写ることとなる。
そこで、PC90の補正部91は、事前にワークWごとにカメラ71dのゲインを補正することで、どのワークWを撮像したとしても、見え方が一定の画像(一定の明るさの画像)を取得できるようにしている。以下、具体的に説明する。
ステップS160において第一ボアスコープ71は、最初の撮像箇所を撮像する。すなわち、図15に示すように、多軸ロボット40は、第一孔部W11等が上下方向を向くようにワークWの姿勢を変更し、第一ボアスコープ71の下方から上方へとワークWを移動させる。こうして多軸ロボット40は、第一ボアスコープ71の挿入部71bを第一孔部W11に挿入し、最初の撮像箇所を第一ボアスコープ71で撮像可能な位置(撮像位置)へワークWを移動させる。
第一ボアスコープ71は、この状態で光源71cから下方へ向けて光を照射し、カメラ71dで最初の撮像箇所を撮像する。補正部91には、こうして撮像された撮像結果B71(図16(a)に示すゲイン補正前の撮像結果)が入力される。
補正部91は、入力された撮像結果B71を解析し、予め定められた範囲R1(図16(a)に破線で示す2つの円の間の範囲)の輝度を算出する。そして、補正部91は、輝度の算出結果と記憶装置に記憶された比較値(基準となる画像の輝度)とを比較し、当該比較結果に基づいて補正係数を算出する。補正部91は、当該補正係数を用いて(ゲインの値と補正係数との積を求める等して)、上記比較値に近い輝度で第一孔部W11等を撮像できるように、カメラ71dのゲインを補正する。
図16(a)に示す補正前の撮像結果B71は、上記比較値よりも輝度が高い(明るく写った)第一孔部W11の撮像結果である。当該図16(a)の撮像結果B71を例に挙げると、補正部91は、当該撮像結果B71の範囲R1の輝度が上記比較値よりも高いと判断し、カメラ71dのゲインを下げる。図16(b)に示す撮像結果B71は、こうしてゲインを下げて第一孔部W11を撮像した結果である。図16(b)に示すように、ゲインを下げることで第一孔部W11を暗く写るように撮像可能となる。
このようにして補正部91は、最初の撮像箇所の撮像結果からゲインの調整を行う。当該補正後のゲインにより、第一ボアスコープ71及び第二ボアスコープ72で全ての検査箇所の撮像が行われ、良否判定で用いられる撮像結果が取得される(ステップS170・S180)。
このように、補正部91によれば、ワークWの表面(鋳肌)状態(光の反射度合い)に応じてワークWごとにゲインを補正して、第一孔部W11等の明るさの均一化を図ることができる。これにより、撮像結果B71で第一孔部W11等を確認し易くなるため、良否判定を精度よく行うことができる。また、DNN100で学習を行う際に、明るさの異なる撮像結果(学習データ)を大量に準備しなくて済むため、学習作業の負担を低減することができる。
次に、図15及び図17(a)を参照し、ステップS170(第一ボアスコープ71での撮像)について説明する。
上述の如く、ステップS160において、第一ボアスコープ71は、多軸ロボット40によるワークWの移動により挿入部71bが第一孔部W11に挿入され、最初の撮像箇所を撮像可能となっている。このため、ステップS170においては、まず補正されたゲインにより、第一ボアスコープ71で最初の撮像箇所を撮像する。
より詳細には、第一ボアスコープ71は、光源71cから下方へ向けて光を照射し、カメラ71dで第一孔部W11の内側(最初の撮像箇所)を撮像する。このとき、カメラ71dは、撮像方向D71、すなわち挿入部71bの軸線方向を撮像する。こうして、第一ボアスコープ71は、第一孔部W11を真っ直ぐに見るように(直視するように)第一孔部W21を撮像する。第一ボアスコープ71は、照射する光の明るさを変えながら複数回最初の撮像箇所を撮像する。
第一ボアスコープ71は、同一の撮像箇所で光の明るさを変えることで、第一孔部W11の手前側が鮮明に写った画像や、奥側が鮮明に写った画像等、写り方の異なる複数の画像を、同一の撮像箇所で取得することができる。これにより、同一の撮像箇所からの撮像で第一孔部W11の広い範囲を確認することができる。
第一ボアスコープ71での最初の検査箇所での撮像が終了すると、多軸ロボット40によりワークWを上下方向へ移動させ、第一ボアスコープ71は、次の検査箇所を撮像する。この際、照射する光の明るさを変えながら複数回撮像する。このようなワークWの移動及び第一ボアスコープ71の撮像が繰り返し行われ、第一孔部W11の全ての撮像箇所が撮像される。
ステップS170において、第一孔部W11の全ての撮像箇所の撮像が終了すると、多軸ロボット40は、ワークWを下方へ移動させ、挿入部71bから第一ボアスコープ71を抜き出す。その後、多軸ロボット40は、ワークWを上下反転させ、挿入部71bを第一孔部W11の反対側から挿入する。こうして、第一ボアスコープ71は、第一孔部W11への挿入方向を変えて全ての撮像箇所をもう一度撮像する。
ステップS170において、当該撮像が終了すると、多軸ロボット40によりワークWが移動され、挿入部71bを第二孔部W12、第三孔部W13に順番に挿入する。第一ボアスコープ71は、第一孔部W11と同様に、第二孔部W12、第三孔部W13の撮像箇所を順番に撮像する。こうして第一ボアスコープ71で撮像された全ての検査箇所の撮像結果(図17(a)に一例で示す撮像結果B71参照)は、PC90へ送信される。
次に、図15及び図17(b)を参照し、ステップS180(第二ボアスコープ72での撮像)について説明する。
ステップS180において、多軸ロボット40は、ステップS170と同様にワークWを上方へと移動させ、第二ボアスコープ72の挿入部72bに第一孔部W11を挿入する。
第二ボアスコープ72は、この状態で光源71cから斜め向きに光を照射し、カメラ72dで第一孔部W11の内側(撮像箇所)を撮像する。こうして、第二ボアスコープ72は、撮像方向D72、すなわち斜めから見るように第一孔部W11を撮像する。第二ボアスコープ72は、同じ撮像箇所において、このような撮像を照射する光の明るさを変えながら複数回撮像する。その後多軸ロボット40は、挿入部72bの軸線L72を中心にワークWを所定角度回動させ(図15(b)に示す回動方向R72参照)、第二ボアスコープ72に対して第一孔部W11を周方向に移動させる。こうして軸線L72を中心にワークWを回動させことで、多軸ロボット40は、挿入部72bを第一孔部W11等に挿入したままでワークWを回動させることができ、第二ボアスコープ72による撮像を速やかに行うことができる。第二ボアスコープ72は、こうして回動された第一孔部W11を光の明るさを変えながら複数回撮像する。
ステップS180において、第二ボアスコープ72は、このような回動及び撮像により第一孔部W11の撮像箇所の全周を撮像する。その後、多軸ロボット40によりワークWを上下方向へ移動させ、第二ボアスコープ72は、次の検査箇所の全周を撮像するという動作を繰り返す。
ステップS180において、第二ボアスコープ72は、第一孔部W11の全ての撮像箇所の撮像が終了すると、ステップS170と同様に、第一孔部W11への挿入方向を変えて第一孔部W11の全ての撮像箇所をもう一度撮像する。
第二ボアスコープ72は、当該撮像が終了すると、第一孔部W11と同様に、第二孔部W12及び第三孔部W13を撮像する。こうして第二ボアスコープ72で撮像された全ての検査箇所の撮像結果(図17(b)に一例で示す撮像結果B72参照)は、PC90へ送信される。
次に、図1及び図2を参照し、ステップS190(ワークWを戻す動作)について説明する。
ステップS190において多軸ロボット40は、第二ボアスコープ72での撮像を終えたワークWを第二受け渡し位置P3へ移動させ、把持部45による把持を解除してワークWを昇降スライダ30へ受け渡す。昇降スライダ30は、ワークWを第一受け渡し位置P2へ下降させて搬送スライダ20へ受け渡す。搬送スライダ20は、第一受け渡し位置P2から投入位置P1へとワークWを搬送する。こうして、ワークWが投入口11へ戻される。
次に、図9、図17及び図18を参照し、ステップS200(ワークWの良否判定)について説明する。ステップS200において良否判定部92は、ステップS170・S180で撮像された撮像結果B71・B72をDNN100の入力層101に入力する。DNN100は、入力された撮像結果B71・B72からワークWの特徴を抽出し、ワークWが良品であるか不良品であるかを判定する。
例えば、ステップS190において、図17に示すように、撮像結果B71・B72に不良が写っていない場合、DNN100は、ワークWが良品である可能性が高いことを示すスコアと、良否判定の結果がOKであることを出力する。
一方、ステップS190において、図18(a)に示すように、例えば撮像結果B71にバリB71a(不良)が写っている場合、DNN100は、当該バリB71aをワークWの特徴として抽出する。そして、DNN100は、当該抽出結果に基づいてワークWが不良品である確率が高いことを示すスコアと、良否判定の結果がNGであることを出力する。
また、ステップS190において、PC90の作成部93は、DNN100の反応度合いを示すヒートマップH(図18(b)参照)を作成する。当該ヒートマップHは、DNN100が撮像結果B71・B72の中のどの部分に着目し(どの部分をワークWの特徴として抽出し)、当該着目部分が判定結果にどの程度影響を与えたのかを可視化するものである。ヒートマップHでは、撮像結果B71・B72に対し着目部分が色付けされる。また、ヒートマップHでは、判定結果に与えた影響の度合いに応じて異なる色が付けられる。当該ヒートマップHの作成後、ワークWの良否判定が完了する。
以上のように、検査装置1においては、多軸ロボット40へのワークWの受け渡し(ステップS130)において、第一ピン33で位置決めされたワークWを把持部45で把持している(図12及び図13参照)。これにより、把持部45でワークWを把持する位置がずれるのを抑制できる。当該ワークWを撮像部70へ移動させることで、撮像部70(第一ボアスコープ71等)と第一孔部W11等との位置ずれを抑制できる。これにより、良否判定部92で精度よく良否判定を行うことができる。
また、第一実施形態においては、撮像部70ではなく、ワークWを移動させて第一孔部W11等を撮像している(ステップS170・S180)。これによれば、撮像部70の移動に伴う不具合(例えば、カメラ71dの故障等)の発生を防止することができる。
また、ステップS170・S180において、第一孔部W11等を上下方向に向けた状態で、第一ボアスコープ71及び第二ボアスコープ72による撮像を行っている(図15参照)。これにより、第一孔部W11等の内側に付着した異物を外側へと落下させることができる。
また、ステップS170・S180において撮像方向D71・D72が異なる第一ボアスコープ71及び第二ボアスコープ72で第一孔部W11等を撮像している。図17は、当該第一ボアスコープ71等で撮像された第一孔部W11を示すもの(撮像結果)である。より詳細には、図17(a)に示す撮像結果B71は、第一ボアスコープ71の撮像結果である。また、図17(b)に示す撮像結果B72は、図17(a)に示す第一孔部W11を第二ボアスコープ72で撮像した結果である。
図17(a)示すように、第一ボアスコープ71によって、第一孔部W11を真っ直ぐに見るようにして、第一孔部W11の全周を確認できる。また、図17(b)に示すように、第二ボアスコープ72によって、第一孔部W11の内周面の一部を斜めから確認できる。このように、異なる撮像方向D71・D72での撮像により、第一孔部W11を異なる視点から検査して、良否判定を精度よく行うことが可能となる。
また、ランド部W11bは、表面(鋳肌)の状態により光に対する反射度合いがばらついて、撮像結果B71・B72においてランド部W11bの見え方が変わる場合がある。このため、例えば、ランド部W11bを撮像する方向によっては、ランド部W11bが明るく写りすぎる等して、当該ランド部W11bの形状を把握し難くなる可能性がある。このような場合においても、複数の撮像方向D71・D72での撮像により、見え方(明るさ)が異なる複数の画像(ランド部W11bの撮像結果B71・B72)を得ることができる。これにより、反射度合いの影響を少なくし、良否判定を精度よく行うことができる。
また例えば、固定されたワークWに対して撮像部70(第一ボアスコープ71等)を移動させて、第一孔部W11等に撮像部70を挿入して撮像を行う場合、撮像部70の移動の自由度が制限されるため、ワークWの表面構造によっては死角が発生し、撮像が困難となるおそれがある。これに対して本実施形態では、視野の異なるボアスコープ(第一ボアスコープ71等)とワークWを回動させる多軸ロボット40を組み合わせることで、ワークWの加工面(第一孔部W11等の内側面)を死角なく撮像することができる。
また、第一ボアスコープ71及び第二ボアスコープ72は、第一孔部W11等への挿入方向を変えて第一孔部W11等を撮像している。こうして挿入方向を変えることで、一方の挿入方向からの撮像では見え難い部分や不良を、もう一方の挿入方向からの撮像で確認し易くすることができる。これにより、第一孔部W11等に不良が発生しているか否かを詳細に検査することができ、良否判定を精度よく行うことが可能となる。
また、良否判定部92は、ステップS190において、学習済みのDNN100を用いてワークWの良否判定を行っている。このような構成により、学習結果に基づいて撮像結果B71・B72からワークWの特徴を抽出し、良否判定を精度よく行うことができる。特に、DNN100を用いることで、中間層102の数、すなわちユニット101a・102a・103a間での情報の受け渡し回数を増やし(図9参照)、ワークWの特徴を細かく学習(抽出)することができる。このため、良否判定をより精度よく行うことができる。
なお、ステップS170・S180では、第一ボアスコープ71及び第二ボアスコープ72でワークWを撮像したが、当該撮像に加えて第三ボアスコープ73でワークWを撮像してもよい。当該第三ボアスコープ73での撮像結果を良否判定に用いることで、第一孔部W11等を横向きに(撮像方向D73から)撮像した結果を用いてワークWを確認可能となる。これによって、第一孔部W11等の形状をより詳細に把握することができるため、良否判定の精度を向上させることができる。
また、ステップS190において作成されるヒートマップHを用いることで、良否判定の内容を検証し、利便性を向上させることができる。以下、図18を例に挙げて説明する。
図18(a)に示す撮像結果B71には、バリB71aが写っている。この場合、上述の如く、DNN100が当該バリB71aを抽出し、良否判定の結果がNGとなる。
図18(b)は、当該NGとなった判定において作成されたヒートマップHを示すものである。ヒートマップHでは、良否判定においてDNN100がバリB71aを抽出した(バリB71aに反応した)ことから、バリB71aの一部と重複する範囲H1で比較的反応が高いことが示されている。また、範囲H1内の範囲H2が良否判定に特に大きな影響を与えたことから、ヒートマップHでは、範囲H1内の範囲H2での反応が特に高いことが示されている。
良否判定の結果がNGであった場合等に作業者等がヒートマップHの範囲H1・H2を確認すれば、第一孔部W11等にバリB71aが発生していることを速やかに確認することができる。また、検査装置1の動作確認を行う場合等にヒートマップHを確認すれば、DNN100がバリB71aを抽出していると推測でき、良否判定を良好に行っていることを確認することもできる。これによって、DNN100による良否判定の内容を検証可能となり、利便性を向上させることができる。
以上の如く、第一実施形態に係る検査装置1は、位置決めされたワークWを把持し、複数の回動軸回りの回動動作によって前記ワークWを第一の位置(図15(b)に示す撮像位置)へ移動させる多軸ロボット40(移動部)と、前記第一の位置において、前記ワークWに形成された第一孔部W11等(検査孔)の情報を取得する撮像部70(取得部)と、を具備するものである。
このように構成することにより、ワークWを第一の位置へ精度よく移動させ、撮像部70とワークWとの位置が合った状態でワークWを撮像し易くなる。これにより、精度よく良否判定を行うことができる。
また、前記検査装置1は、前記第一孔部W11に挿入可能な第一ピン33(挿入部)を有し、当該第一ピン33を前記第一孔部W11に挿入することで、前記ワークWを位置決めして前記多軸ロボット40へ受け渡す昇降スライダ30(位置決め部)をさらに具備するものである。
このように構成することにより、ワークWを精度よく位置決めし、より精度よく良否判定を行う。
また、前記検査装置1は、前記第一孔部W11に前記第一ピン33を挿入する第二の位置(第一受け渡し位置P2)まで、前記ワークWを搬送する搬送スライダ20(搬送部)をさらに具備するものである。
このように構成することにより、作業者の負担を低減できる。特に、第一実施形態に係る搬送スライダ20は、投入口11近傍(投入位置P1)から第二の位置へ搬送することができる。これにより、作業者の負担を効果的に低減できる。
また、前記昇降スライダ30は、前記ワークWを前記多軸ロボット40へ受け渡す際に、前記第二の位置から前記ワークWの高さよりも高い第三の位置(第二受け渡し位置P3)まで前記ワークWを持ち上げるものである。
このように構成することにより、ワークWを比較的高い第三の位置まで持ち上げて、多軸ロボット40でワークWを把持し易くすることができる。また、第一ピン33等の締め具合の微調整を行い易くすることができる。また、ワークWの持ち上げ時にエアをワークWに吹き付けることで、当該ワークWに付着した異物を取り除き易くなる。
また、前記撮像部70は、前記第一孔部W11等に挿入可能に形成され、前記多軸ロボット40は、前記ワークWを移動させることで、前記第一孔部W11等に前記撮像部70を挿入するものである。
このように構成することにより、撮像部70の移動に伴う不具合(故障等)の発生を防止することができる。
また、前記多軸ロボット40は、前記ワークWを下方から上方へと移動させることで、前記第一孔部W11等に前記撮像部70を挿入するものである。
このように構成することにより、撮像部70(挿入部71b・72b)の軸線方向が上下方向を向くこととなるため(図8参照)、撮像部70の変形(自重によるたわみ等)を抑制することができる。
また、前記多軸ロボット40は、前記ワークWの外形に沿って変形させた変形部45cにより前記ワークWを把持するものである。
このように構成することにより、変形部45cによりワークWを把持し易くすることができる。
また、前記検査装置1は、学習済みのDNN100(学習モデル)に撮像結果B71・B72(前記取得部の取得結果)を入力することで、前記ワークWの良否判定を行う良否判定部92(判定部)をさらに具備するものである。
このように構成することにより、DNN100で精度よく良否判定を行うことができる。
また、以上の如く、第一実施形態に係る検査方法は、位置決めされたワークWを多軸ロボット40(移動部)によって把持して所定位置へ移動させる移動工程(ステップS130・S170・S180)と、前記所定位置において、前記ワークWに形成された第一孔部W11等(検査孔)の情報を撮像部70(取得部)によって取得する取得工程(ステップS170・S180)と、を含むものである。
このように構成することにより、撮像部70で第一孔部W11等の情報を取得し易くなる。
また、以上の如く、第一実施形態に係る検査装置1は、ワークWを移動させる多軸ロボット40(移動部)と、移動不能に設けられ、前記多軸ロボット40により移動された前記ワークWを撮像可能な撮像部70(第一撮像部)と、を具備するものである。
このように構成することにより、撮像部70ではなくワークWを移動させ、撮像部70の移動に伴う不具合(故障等)の発生を防止することができる。
また、前記撮像部70は、前記ワークWに形成された第一孔部W11等(孔部)に挿入部71b・72bが挿入された状態で当該第一孔部W11等を撮像可能であると共に、撮像方向D71・D72が互いに異なる少なくとも2つのボアスコープ(第一ボアスコープ71及び第二ボアスコープ72)を具備するものである。
このように構成することにより、複数の視点から(撮像方向D71・D72を向けて)第一孔部W11等を撮像した結果B71・B72(図17参照)を用いて良否を判定可能となり、ワークWの良否判定の精度を向上させることができる。また、少なくとも2つのボアスコープを用いることで、あるボアスコープ(例えば、第一ボアスコープ71)が故障したとしても、他のボアスコープ(例えば、第二ボアスコープ72)で第一孔部W11等を継続して撮像できる。これにより、故障したボアスコープを交換するまでの間も検査装置1で検査したり、検査装置1を検査以外の用途(例えば、NGと判定されたワークWを確認する等の用途)に用いることができ、利便性を向上させることができる。
また、前記ボアスコープは、上方から下方へ垂れ下がるように設けられるものである。
このように構成することにより、ボアスコープ(挿入部71b・72b)の軸線方向が上下方向を向くこととなるため、ボアスコープの変形(自重によるたわみ等)を抑制することができる。また、ボアスコープに異物が付着するのを抑制することができる。
また、前記ボアスコープは、同じ場所で前記第一孔部W11及び第二孔部W12を照らす照明(光)の明るさを異ならせて、複数回前記第一孔部W11及び第二孔部W12を撮像するものである。
このように構成することにより、第一孔部W11等の形状を広範囲に確認できるため、ワークWの良否判定の精度を向上させることができる。
また、前記ボアスコープには、前記挿入部71bの軸線方向(撮像方向D71)を向いて前記第一孔部W11等を撮像する第一ボアスコープ71と、前記軸線方向及び前記軸線方向に対して直交する方向に対して傾斜する方向(撮像方向D72)を向いて前記第一孔部W11等を撮像する第二ボアスコープ72と、が含まれるものである。
このように構成することにより、複数の視点から(撮像方向D71・D72を向けて)第一孔部W11等を撮像した結果B71・B72(図17参照)を用いて良否を判定可能となり、ワークWの良否判定の精度を向上させることができる。
また、前記ボアスコープには、前記軸線方向に対して直交する方向(撮像方向D73)を向いて前記第一孔部W11等を撮像可能な第三ボアスコープ73がさらに含まれるものである。
このように構成することにより、第一孔部W11等の内側面の形状を詳細に把握することができるため、ワークWの良否判定の精度を向上させることができる。
また、前記検査装置1は、前記ボアスコープを模した軸部材62(試験体)をさらに具備し、前記多軸ロボット40は、前記ワークWを移動させることで、前記軸部材62を前記第一孔部W11等に挿入するものである。
このように構成することにより、ボアスコープが第一孔部W11等に接触しないことを事前に確認することができる(ステップS140)。これにより、ボアスコープと第一孔部W11等との接触を防止することができる。
また、前記多軸ロボット40は、前記挿入部72bの軸線L72を中心に、前記ワークWを回動させるものである。
このように構成することにより、第一孔部W11等の撮像(周方向の位置を変えながらの撮像)を速やかに行うことができる。
また、検査装置1は、前記ワークWに形成された第一孔部W11等を撮像するカメラ51(第二撮像部)と、前記カメラ51の撮像結果B51に基づいて、前記多軸ロボット40による前記ワークWの移動を補正する処理部54(補正部)と、をさらに具備するものである。
このように構成することにより、撮像部70に対する第一孔部W11等の位置ずれを抑制することができる。
また、検査装置1は、学習済みのDNN100(学習モデル)に前記撮像部70の撮像結果B71・B72を入力することで、前記ワークWの良否判定を行う良否判定部92(判定部)をさらに具備するものである。
このように構成することにより、DNN100で精度よく良否判定を行うことができる。
また、以上の如く、第一実施形態に係る検査方法は、移動部(多軸ロボット40)によってワークWを移動させる移動工程と、前記多軸ロボット40により移動された前記ワークWを、移動不能に設けられた撮像部70で撮像する撮像工程と、を含むものである(ステップS170・S180)。
このように構成することにより、撮像部70の移動に伴う不具合(故障等)の発生を防止することができる。
また、以上の如く、第一実施形態に係る検査装置1は、ワークWに形成された第一孔部W11等(孔部)を撮像可能な撮像部70と、学習済みのDNN100(学習モデル)に前記撮像部70の撮像結果B71・B72を入力することで、前記ワークWの良否判定を行う良否判定部92(判定部)と、を具備するものである。
このように構成することにより、DNN100で精度よく良否判定を行うことができる。
また、前記DNN100は、良品と判定されるべき前記ワークWの前記第一孔部W11等を前記撮像部70で撮像した結果と、不良品と判定されるべき前記ワークWの前記第一孔部W11等を前記撮像部70で撮像した結果と、をディープラーニングにより学習しているものである。
このように構成することにより、DNN100でワークWの特徴を細かく抽出し、良否判定をより精度よく行うことができる。
また、検査装置1は、前記撮像部70の撮像結果B71・B72に対して、前記DNN100が反応した度合いを示すヒートマップHを作成する作成部93をさらに具備するものである。
このように構成することにより、良否判定の内容を検証可能となり、利便性を向上させることができる。
また、前記撮像部70には、前記第一孔部W11等に挿入された状態で、自身の軸線方向(撮像方向D71)を向いて前記第一孔部W11等を撮像する第一ボアスコープ71(第一撮像部)と、前記第一孔部W11等に挿入された状態で、自身の軸線方向及び前記軸線方向に対して直交する方向に対して傾斜する方向(撮像方向D72)を向いて前記第一孔部W11等を撮像する第二ボアスコープ72(第二撮像部)と、が含まれるものである。
このように構成することにより、複数の視点から(撮像方向D71・D72を向けて)第一孔部W11等を撮像した結果B71・B72(図17参照)を用いて良否を判定可能となり、良否判定をより精度よく行うことができる。
また、前記撮像部70には、前記ワークWの前記第一孔部W11等に挿入された状態で、自身の軸線方向に対して直交する方向(撮像方向D73)を向いて前記第一孔部W11等を撮像可能な第三ボアスコープ73(第三撮像部)がさらに含まれるものである。
このように構成することにより、第一孔部W11等の内側面の形状を詳細に把握することができるため、良否判定をより精度よく行うことができる。
また、前記検査装置1は、前記撮像部70の撮像結果B71に基づいて、前記撮像部70のゲインを前記ワークWごとに補正する補正部91をさらに具備するものである。
このように構成することにより、第一ボアスコープ71及び第二ボアスコープ72の撮像結果B71・B72(画像データ)で第一孔部W11等を確認し易くなるため、良否判定をより精度よく行うことが可能となる。
また、以上の如く、第一実施形態に係る検査方法は、ワークWに形成された第一孔部W11等を撮像部70により撮像する撮像工程(ステップS170・S180)と、学習済みのDNN100(学習モデル)に前記撮像部70の撮像結果B71を入力することで、前記ワークWの良否判定を行う判定工程(ステップS190)と、を含むものである。
このように構成することにより、DNN100で精度よく良否判定を行うことができる。
なお、第一実施形態に係る多軸ロボット40は、移動部の実施の一形態である。
また、第一実施形態に係る第一孔部W11等は、検査孔及び孔部の実施の一形態である。
また、第一実施形態に係る撮像部70は、取得部及び第一撮像部の実施の一形態である。
また、第一実施形態に係る第一ピン33は、挿入部の実施の一形態である。
また、第一実施形態に係る昇降スライダ30は、位置決め部の実施の一形態である。
また、第一実施形態に係る搬送スライダ20は、搬送部の実施の一形態である。
また、第一実施形態に係るDNN100は、学習モデルの実施の一形態である。
また、第一実施形態に係る良否判定部92は、判定部の実施の一形態である。
また、第一実施形態に係る軸部材62は、試験体の実施の一形態である。
また、第一実施形態に係るカメラ51は、ワークの移動の補正のため、孔部を撮像する第二撮像部の実施の一形態である。
また、第一実施形態に係る処理部54は、ワークの移動を補正する補正部の実施の一形態である。
また、第一実施形態に係る第一ボアスコープ71は、軸線方向を向いて孔部を撮像する第一撮像部の実施の一形態である。
また、第一実施形態に係る第二ボアスコープ72は、軸線方向及び軸線方向に対して直交する方向に対して傾斜する方向を向いて孔部を撮像する第二撮像部の実施の一形態である。
また、第一実施形態に係る第三ボアスコープ73は、軸線方向に対して直交する方向を向いて孔部を撮像可能な第三撮像部の実施の一形態である。
以上、本発明の第一実施形態を説明したが、本発明は上記構成に限定されるものではなく、特許請求の範囲に記載された発明の範囲内で種々の変更が可能である。
例えば、検査装置1は、バルブ装置のハウジングに用いられるワークWを検査したが、検査装置1の検査対象物の種類は、特に限定されるものではない。また、検査対象物は、必ずしも鋳造により製造された物である必要はなく、他の手法により製造された物でもよい。
また、第一実施形態においてPC90(補正部91)は、ゲインを調整したが、これに限定されるものではなく、画像処理を行ってもよい。具体的には、PC90は、第一孔部W11を最初に撮像した結果B71(図16(a)参照)を解析し、輝度を補正するための補正値を算出する。そしてPC90は、当該補正値を用いて撮像結果B71に対して画像処理(明るさを変更する処理やコントラストを調整する処理)を施す。また、PC90は、2回目以降に撮像された結果についても補正値を用いて画像処理を行う。これにより、PC90は、画像処理によって表面状態の違いに対応することができる。
以上の如く、検査装置1は、前記撮像部70の撮像結果B71・B72に対して画像処理を行うPC90(処理部)をさらに具備するものである。
このように構成することにより、撮像結果B71・B72で第一孔部W11等を確認し易くなるため、良否判定をより精度よく行うことが可能となる。
なお、上述した画像処理を行うPC90は、処理部の実施の一形態である。
なお、PC90は、ワークWの良否判定を実施可能であれば、その他の構成は特に限定されるものではない。したがって、PC90は、必ずしもゲインの調整や画像処理を行う必要はない。また、PC90は、ヒートマップHを作成しなくてもよい。
また、検査装置1は、検査においてワークWを移動させるものとしたが、これに限定されるものではない。例えば、撮像部70を別途移動させてワークWを撮像してもよい。
また、多軸ロボット40は、変形部45cでワークWを把持するものとしたが、これに限定されるものではなく、変形不能な部材をワークWに押し当ててワークWを把持してもよい。
また、多軸ロボット40は、第二ボアスコープ72による撮像時に、挿入部72bを第一孔部W11等に挿入したままでワークWを回動させたが、これに限定されるものではない。例えば、多軸ロボット40は、挿入部72bを第一孔部W11等から抜き出してワークWを回動させてもよい。この場合、挿入部72bの軸線とは異なる方向を中心にワークWを回動させても、第一孔部W11等と挿入部72bとの接触を防止することができる。
また、昇降スライダ30は、第一孔部W11に第一ピン33を挿入することでワークWを位置決めしたが(図12参照)、ワークWを位置決めする手法は、これに限定されるものではない。例えば、昇降スライダ30は、第二孔部W12や第三孔部W13に第一ピン33を挿入することでワークWを位置決めしてもよい。また、昇降スライダ30は、必ずしもピンを孔部に挿入して位置決めを行う必要はなく、例えば、ワークWの側面に所定の部材を押し当てることでワークWを位置決めしてもよい。
また、昇降スライダ30は、第一受け渡し位置P2からワークWの高さよりも高い第二受け渡し位置P3までワークWを持ち上げたが(図2参照)、ワークWを持ち上げる高さは特に限定されるものではなく、任意の高さに持ち上げてよい。
また、軸部材62の外径は、撮像部70(挿入部71b等)の外径よりも大きく形成されたが(図8参照)、軸部材62の形状は、撮像部70とワークWとの接触を確認可能となる程度に、形状や姿勢が撮像部70と近いものであればよい。したがって、軸部材62は、例えば、挿入部71b等と同一の外径を有していてもよい。
また、第一ボアスコープ71から第三ボアスコープ73の挿入部71b・72b・73bは、上方から下方へ垂れ下がるように設けられたが(図8参照)、挿入部71b等の姿勢はこれに限定されるものではなく、任意の姿勢とすることができる。例えば、挿入部71b等は、軸線方向を水平方向に向けた姿勢であってもよい。この場合、多軸ロボット40は、水平方向に沿ってワークWを移動させ、第一孔部W11に挿入部71b等を挿入する。
また、撮像部70は、検査において2つのボアスコープ(第一ボアスコープ71及び第二ボアスコープ72)で第一孔部W11等を撮像したが(ステップS170・S180)、撮像に用いるボアスコープの数は、特に限定されるものではない。例えば、撮像部70は、第一ボアスコープ71のみで第一孔部W11等を撮像してもよい。
また、第一ボアスコープ71及び第二ボアスコープ72は、同じ箇所で光の明るさを変えて複数回撮像を行ったが、これに限定されるものではなく、例えば、明るさを変えずに1回だけ撮像を行ってもよい。
また、PC90は、DNN100を用いて良否判定を行ったが、良否判定を行う手法は特に限定されるものではない。例えば、PC90は、中間層102が1つのニューラルネットワークを用いて良否判定を行ってもよい。また、PC90は、ニューラルネットワークではなく、予め撮像された基準画像を用いて良否判定を行ってもよい。この場合、PC90は、例えば、基準画像と撮像部70の撮像結果B71・B72との差異を抽出し、当該抽出結果に基づいて良否判定を行うことができる。
また、DNN100は、教師あり学習により学習されるものとしたが、学習の手法は特に限定されるものではなく、例えば、教師なし学習等により学習されるものであってもよい。
また、検査装置1は、ワークWを撮像して良否判定可能であれば、その他の構成は特に限定されるものではない。したがって、検査装置1は、必ずしも搬送スライダ20(図2参照)、芯ずれ補正部50(図7参照)及び干渉チェック部60(図8参照)を具備する必要はない。
また、PC90は、ワークWごとにゲインを調整したが、これに限定されるものではなく、例えば、ワークWの製造ロットごとに、ゲインを調整してもよい。以下、具体的に説明する。
ワークWは、鋳造によって製造される場合、例えば、取鍋ごとに異なる製造ロットが付与される。PC90は、こうして付与された製造ロットのワークWを初めて検査する場合に、ステップS170・S180で撮像した結果に基づいて、製造ロットに応じたワークWの特徴(例えば、光の反射度合いやワークWの色等)を抽出する。また、PC90は、当該ワークWの良否判定(ステップS190)において不良が抽出された場合、当該不良の種類(バリや異物残り等の種類)及び抽出箇所を前記特徴として抽出する。
PC90は、こうして抽出した前記特徴に基づいて、製造ロットごとにゲインを調整する。例えば、PC90は、ある製造ロットの最初に検査を行ったワークWから、比較的明るい色であるとの特徴を抽出した場合、その後行われる同じ製造ロットのワークWの検査では、撮像部70のゲインを低くする。
また、PC90は、製造ロットごとに(特徴に応じて)、ゲインではなく、ワークWの判定条件(判定に関するパラメータ)を変更してもよい。なお、ワークWの判定条件とは、良否判定(ステップS190)において用いられる値や演算処理の内容であり、より具体的にはDNN100による計算処理の内容である。PC90には、製造ロットごとに判定条件を変更可能となるように、複数のDNN100が構築される。複数のDNN100は、上述のような特徴(光の反射度合いやワークWの色等)の異なるワークWを用いて学習が行われ、その特徴(ひいては、製造ロット)に応じた良否判定を実行可能に構成される。
PC90は、判定条件を変更する場合、製造ロットごとに最初に再検査の対象となるワークWの特徴(色や不良の抽出箇所等)に基づいて、複数のDNN100のうち、どのDNN100を用いるのかを決定する。PC90は、こうして製造ロットごとに判定条件(DNN100)を変更し、ワークWの良否判定を行う。
以上の如く、前記ワークWは、鋳造によって製造され、前記検査装置1は、前記ワークWの製造ロットごとに前記ワークWの特徴を抽出するPC90(抽出部)と、前記抽出結果に基づいて、前記撮像部70の撮像に関するパラメータ又は前記良否判定部92の判定に関するパラメータの少なくともいずれか一方を、前記製造ロットごとに調整するPC90(調整部)と、をさらに具備するものである。
このように構成することにより、製造ロットに応じて撮像に関するパラメータ(ゲイン)又は判定に関するパラメータ(DNN100)の最適化を図ることができ、良否判定をより精度よく行うことが可能となる。
なお、上述した製造ロットごとに撮像条件等を調整するPC90は、抽出部及び調整部の実施の一形態である。
次に、図19から図23を参照し、第二実施形態に係る検査装置201及び検査方法について説明する。
第二実施形態に係る検査装置201は、ワークWを再検査するか否かを判定する点で、第一実施形態に係る検査装置1と大きく相違する。まず、再検査について説明する。
撮像部70で撮像された第一孔部W11等の写り方等によっては、第一実施形態で説明したワークWの良否判定(ステップS200)が精度よく行われないことが想定される。このような場合に再検査を行って、良否判定が困難なワークWや、良品と判定されたとしても念のため所定箇所を再確認した方がよいワークWについて、詳細に検査することが望ましい。
第二実施形態に係る検査装置201は、このような再検査が必要なワークW(良否判定が困難なワークW等)を抽出して再検査を実施可能に構成されている。以下、具体的に説明する。なお、第一実施形態に係る検査装置1と同様に構成される部材については、第一実施形態と同一の符号を付し、その説明を省略する。
図19に示す第二実施形態に係る検査装置201は、PC290の構成が第一実施形態に係るPC90(図3参照)の構成と相違する。PC290は、補正部291、良否判定部292、作成部293及び再検査判定部294を具備する。
補正部291は、撮像部70のゲイン(感度)を補正するためのものであり、第一実施形態に係る補正部91と同様に構成される。良否判定部292は、ワークWの良否判定を行うためのものであり、第一実施形態に係る良否判定部92と同様に構成される。作成部293は、後述する再検査要否DNN297が反応した度合いを示すヒートマップH293(図23(a)参照)を作成するためのものである。
再検査判定部294は、再検査するか否かを判定するためのものである。再検査判定部294の処理については後述する。
上述の如く構成されるPC290には、入力層、複数の中間層及び出力層を具備するDNN(図9参照)が複数構築される。具体的には、PC290には、良否判定DNN296、再検査要否DNN297及び撮像条件DNN298が構築される。
良否判定DNN296は、ワークWの良否判定を行うためのものであり、第一実施形態に係るDNN100と同様に構成される。すなわち、良否判定DNN296は、第一孔部W11等(撮像箇所)を撮像部70で撮像した結果B271(図20参照)と、良否判定の結果との関係を予め学習している。図20(b)に示すように、良否判定DNN296は、撮像部70での撮像結果B271が入力されると、良品及び不良品の確率を示す良否判定スコアS296と、良品及び不良品の判定結果R296とを出力することができる。良否判定スコアS296は、100%を母数にして、良品(良否判定がOK)の確率及び不良品(良否判定がNG)の確率がそれぞれ出力される。例えば、良品の確率が80%、不良品の確率が20%等と出力される。判定結果R296は、良品の確率及び不良品の確率に基づいて、OK又はNGとの判定結果が出力される。
ここで、例えば、再検査が必要なワークWの撮像結果B271には、再検査で詳細を確認すべき部分、すなわち不良や良否判定が困難な部分等が写っていることから、良否判定スコアS296が低くなる(例えば、良品の確率が30%、不良品の確率が70%)。一方、再検査が不要なワークW、例えば明らかに良品であるワークWの撮像結果B271には、不良等が写っていないことから、良否判定スコアS296が高い値(例えば、良品の確率が100%、不良品の確率が0%)となる。このように、良否判定DNN296で入出力される撮像結果B271及び良否判定スコアS296は、上述した再検査の要否と関連性の深い情報となる。
再検査要否DNN297は、ワークWを再検査するか否かを判定するためのものである。上述の如く、撮像結果B271及び良否判定スコアS296は、再検査の要否と関係している。そこで、再検査要否DNN297は、撮像結果B271と、良否判定スコアS296と、再検査の判定結果と、の関係を予め教師あり学習によって学習し、ワークWを再検査するか否かを判定可能に構成されている。
具体的には、図21(a)に示すように、再検査が必要なワークWの撮像結果B271及び良否判定スコアS296を含む学習データA200と、再検査する必要があること(答え)とを再検査要否DNN297(入力層)に入力し、出力側へ情報を受け渡す。これにより、再検査要否DNN297に再検査が必要なワークWの特徴を学習させている。図21(b)に示すように、再検査要否DNN297は、撮像結果B271及び良否判定スコアS296が入力されると、当該撮像結果B271から良否判定スコアS296に影響を与えた不良等の特徴を抽出し、再検査が必要であることを判定可能となっている。
また、再検査要否DNN297は、再検査が不要なワークWについても、再検査が必要なワークWと同様に学習データA200による学習を行なっている。ここで、再検査が不要なワークWとは、検査結果(良否判定)が明確なワークWであり、例えば明らかに不良がないワークW(良否判定スコアS296がある程度高いワーク)や、明らかに不良があるワークW(良否判定スコアS296がある程度低いワーク)等である。学習済みの再検査要否DNN297は、入力された撮像結果B271から不良の有無等を特徴として抽出し、再検査が不要であることを判定可能となっている。
図19に示す撮像条件DNN298は、再検査時における撮像部70の撮像条件(撮像に関するパラメータ)を決定するために用いられる。撮像条件とは、ワークW(撮像箇所)をどのように撮像するのかを決めるための条件であり、具体的には、ゲイン、撮像方向及び第一孔部W11等へ照射する光の明るさ等である。
ここで、再検査時には、不良等の確認すべき箇所が適切に撮像できる最適な撮像条件(ゲイン等)で第一孔部W11等を撮像することが望ましい。このような撮像条件は、撮像結果B271ごとに異なるものとなる。そこで、撮像条件DNN298は、再検査時の最適な撮像条件を撮像結果B271ごとに決定可能となるように、撮像結果B271と最適な撮像条件との関係を予め教師あり学習(図21(a)参照)によって学習している。
具体的には、再検査が必要なワークWの撮像結果B271と、当該撮像結果B271に対して適切な撮像条件(答え)とを撮像条件DNN298(入力層)に入力し、出力側へ情報を受け渡す。これにより、撮像結果B271に応じた最適な撮像条件を撮像条件DNN298に学習させている。学習済みの撮像条件DNN298は、撮像結果B271が入力されると、当該撮像結果B271から撮像条件を決定するのに必要な情報、具体的には不良の種類やワークWの色や撮像方向等を特徴として抽出し、最適な撮像条件を出力可能となっている。
以下では、検査装置201によるワークWの検査の流れについて説明する。
図22に示すように、検査装置201(制御部80)は、第一実施形態で説明したステップS100~S180を行う。すなわち、検査装置201は、セットされたワークWを多軸ロボット40によって撮像部70で撮像可能な位置(撮像位置)へ移動させ、撮像部70で当該ワークWの第一孔部W11等(撮像箇所)を撮像する。
その後、良否判定部292は、第一実施形態で説明したステップS200によりワークWの良否判定を行う。このとき、図20(b)に示すように、良否判定DNN296には、ステップS170・S180で取得された撮像結果B271が入力される。良否判定DNN296は、当該撮像結果B271に基づいて、良品及び不良品の判定結果R296及び良否判定スコアS296を出力する。
図22に示すように、ワークWの良否判定を行った後で、再検査判定部294は、良否判定スコアS296が所定の閾値以上であるか(例えば、良品の確率が80%であるか)否かを判定する(ステップS210)。仮に良否判定スコアS296が所定の閾値以上である場合(ステップS210:Yes)、第一実施形態で説明したステップS190によりワークWが投入位置P1(図1参照)へ戻されて検査装置201による検査が終了する。こうして、検査装置201は、良否判定スコアS296が高いワークW、すなわち明らかに良品で再検査の必要性が低いワークWについては、再検査を行わない。
一方、良否判定スコアS296が所定の閾値未満である場合(ステップS210:No)、再検査判定部294は、再検査要否DNN297を用いてワークWを再検査するか否かを判定する(ステップS220)。こうして、再検査判定部294は、良否判定スコアS296が低いワークW、すなわち良否判定が困難なワークWや、良品と判定されたとしても念のため所定箇所を確認すべきワークW等(再検査が必要なワークW)を抽出することができる。このとき、作成部293は、再検査要否DNN297が反応した度合いを示すヒートマップH293を作成する。
再検査判定部294で再検査が不要であると判定された場合(ステップS220:No)、ワークWが投入位置P1へ戻されて検査装置201による検査が終了する(ステップS190)。こうして、検査装置201は、再検査が不要なワークW、例えば再検査する必要がないほど明らかな不良があるワークW等について、再検査を行わない。
一方、再検査が必要である場合(ステップS220:Yes)、再検査判定部294は、撮像条件DNN298を用いて再検査時における撮像条件を決定する(ステップS230)。
検査装置201は、こうして決定された撮像条件に基づいて、ワークWの再検査を行う(ステップS240)。すなわち、多軸ロボット40は、再検査が必要と判定された撮像箇所を撮像部70で撮像可能となるようにワークWを移動する。また、撮像部70は、ステップS240で決定された撮像条件でワークWを撮像する。この際、撮像部70は、上記撮像条件に含まれる撮像方向に対応するボアスコープで撮像する。例えば、撮像方向が下方である場合に第一ボアスコープ71(撮像方向D71)で、撮像方向が斜め方向である場合に第二ボアスコープ72(撮像方向D72)で、撮像方向が横方向である場合に第三ボアスコープ73(撮像方向D73)で撮像する(図8参照)。良否判定部292(良否判定DNN296)は、こうして撮像された結果に基づいて良否判定(再検査)を行う。
以下では、上述した検査装置201による検査(ステップS100~S240)の具体例について説明する。なお、以下では、図20(a)に示すバリB271aが原因で再検査が行われる場合を例に挙げて具体例を説明する。
撮像部70は、ワークWの第一孔部W11等を撮像する(図20(a)参照、ステップS100~S180)。こうして撮像された第一ボアスコープ71の撮像結果B271には、図20(b)に示すように、バリB271aが写ったものが含まれる。
再検査判定部294は、撮像結果B271を良否判定DNN296に入力して良否判定を行う(ステップS200)。良否判定DNN296は、撮像結果B271からバリB271a(特徴)を抽出し、良否判定スコアS296等を出力する。当該良否判定スコアS296は、良品である確率が上記閾値よりも低いX%となっている(ステップS210:No)。
この場合、図21(b)に示すように、再検査判定部294は、再検査要否DNN297に撮像結果B271(良否判定で用いられた撮像結果)及び良否判定スコアS296を入力し、再検査を行うか否かを判定する(ステップS220)。再検査要否DNN297は、撮像結果B271からバリB271a等の特徴を抽出し、再検査の必要があるとの判定結果R297を出力する。また、作成部293は、図23(a)に示すように、バリB271aが判定結果R297に大きな影響を与えた(再検査要否DNN297が高い反応を示した)ことを示すヒートマップH293を作成する。
そして、再検査判定部294は、撮像条件DNN298に撮像結果B271(良否判定で用いられた撮像結果)を入力し、撮像条件を決定する(ステップS230)。このとき、撮像条件DNN298は、撮像結果B271から撮像条件を決定するのに必要な情報(特徴)を抽出する。具体的には、バリB271a、ワークWの色及び撮像方向D71等の情報を抽出する。撮像条件DNN298は、当該抽出結果に基づいて撮像結果B271について適切な撮像条件を出力する。こうして、撮像条件DNN298は、例えば、撮像方向を斜め方向(撮像方向D72)とするように、撮像条件を出力する。
図23(b)に示すように、検査装置201は、ステップS230で決定された撮像条件に基づいて再検査を行う(ステップS240)。すなわち、検査装置201は、制御部80により多軸ロボット40を制御して第二ボアスコープ72の挿入部72bに第一孔部W11を挿入し、第二ボアスコープ72を用いて斜め向きに(撮像方向D72を向いて)バリB271aを含む所定の撮像箇所を撮像する。良否判定部292は、こうして撮像された結果に基づいてワークWを良否判定する。
このように、上述した再検査では、バリB271aを重点的に検査することができる。また、再検査では、バリB271aを確認し易い撮像条件(適切な撮像方向D72)によって撮像し、再検査時の良否判定を精度よく行うことができる。
また、再検査判定部294は、再検査要否DNN297を用いて再検査を行うか否か判定することで(ステップS220)、撮像結果B271等から再検査の要否を決める特徴、例えば、バリB271a等を抽出し、再検査の必要があるワークWを精度よく抽出することができる。このようにして抽出されたワークWに対して再検査を実施することで、製品の品質の向上を図ることができる。
また、再検査判定部294は、良否判定スコアS296と閾値との比較を行って、良否判定スコアS296が高いワークWについて、再検査の判定を行わないようにしている(ステップS210:Yes、ステップS190)。これにより、再検査の必要性が明らかに低いワークWについて、再検査要否DNN297での判定を行わないようにして、PC290にかかる負荷の低減を図ることができる。
以上の如く、第二実施形態に係る検査装置201は、撮像部70によりワークWを撮像し、前記撮像部70の撮像結果B271に基づいて前記ワークWの良否判定を行うことで、前記ワークWを検査する制御部80及び良否判定部292(検査部)と、学習済みの再検査要否DNN297(第一学習モデル)を用いて、前記制御部80及び良否判定部292により前記ワークWの再検査を行うか否かを判定する再検査判定部294(判定部)と、を具備するものである。
このように構成することにより、再検査する必要があるワークWを精度よく抽出することができる。
また、前記良否判定部292は、前記ワークWの良否判定において、前記ワークWが良品であるか否かの可能性を示すスコア(良否判定スコアS296)を出力し、前記再検査要否DNN297は、前記撮像部70の撮像結果B271及び前記スコアと、前記再検査を行うか否かと、の関係を学習しているものである。
このように構成することにより、撮像結果B271等から特徴を抽出し、再検査する必要があるワークWをより精度よく抽出することができる。
また、前記PC290は、前記再検査時における前記撮像部70の撮像に関するパラメータ(撮像条件)を、当該再検査より前の撮像結果B271(ステップS170・S180での撮像結果)に基づいて決定するものである(ステップS230)。
このように構成することにより、再検査時における撮像に関するパラメータの最適化を図ることができる。例えば、再検査時に良否判定し易い方向からワークWを撮像可能となり(図23(b)参照)、ワークWの良否判定をより精度よく行うことができる。
また、前記再検査判定部294は、前記撮像部70の撮像結果B271と前記パラメータとの関係を学習した撮像条件DNN298(第二学習モデル)を用いて前記パラメータを決定するものである(ステップS230)。
このように構成することにより、撮像結果B271から特徴を抽出し、当該特徴に応じて撮像に関するパラメータをより最適なものにすることができる。
また、前記撮像部70には、前記ワークWに形成された第一孔部W11等(孔部)に挿入された状態で、自身の軸線方向(撮像方向D71)を向いて前記第一孔部W11等を撮像する第一ボアスコープ71(第一撮像部)と、前記第一孔部W11等に挿入された状態で、自身の軸線方向及び前記軸線方向に対して直交する方向に対して傾斜する方向(撮像方向D72)を向いて前記第一孔部W11等を撮像する第二ボアスコープ72(第二撮像部)と、が含まれるものである。
このように構成することにより、複数の視点(撮像方向D71・D72)から第一孔部W11等を撮像した結果B271を用いて良否を判定可能となり、再検査におけるワークWの良否判定をより精度よく行うことができる。
また、前記撮像部70には、前記再検査において前記第一孔部W11等に挿入され、前記軸線方向に対して直交する方向(撮像方向D73)を向いて前記第一孔部W11等を撮像する第三ボアスコープ73(第三撮像部)がさらに含まれるものである。
このように構成することにより、再検査において、第三ボアスコープ73の撮像結果により第一孔部W11等の内側面の形状をより詳細に把握することができるため、再検査におけるワークWの良否判定をより精度よく行うことができる。
また、以上の如く、第二実施形態に係る検査方法は、撮像部70によりワークWを撮像し、前記撮像部70の撮像結果B271に基づいて良否判定部292により前記ワークWの良否判定を行うことで、前記ワークWを検査する検査工程(ステップS170・S180・S200)と、学習済みの再検査要否DNN297(学習モデル)を用いて、前記検査工程をもう一度行うか否かを決定する決定工程(ステップS220)と、を含むものである。
このように構成することにより、再検査する必要があるワークWを精度よく抽出することができる。
なお、第二実施形態に係る制御部80及び良否判定部292は、検査部の実施の一形態である。
また、第二実施形態に係る再検査判定部294は、判定部の実施の一形態である。
また、第二実施形態に係る再検査要否DNN297は、第一学習モデル及び学習モデルの実施の一形態である。
また、第二実施形態に係る撮像条件DNN298は、第二学習モデルの実施の一形態である。
また、第二実施形態に係る第一孔部W11等は、孔部の実施の一形態である。
また、第二実施形態に係る第一ボアスコープ71は、第一撮像部の実施の一形態である。
また、第二実施形態に係る第二ボアスコープ72は、第二撮像部の実施の一形態である。
また、第二実施形態に係る第三ボアスコープ73は、第三撮像部の実施の一形態である。
以上、本発明の第二実施形態を説明したが、本発明は上記構成に限定されるものではなく、特許請求の範囲に記載された発明の範囲内で種々の変更が可能である。
例えば、再検査判定部294は、良品である確率が高いワークWについて再検査の判定を行わないものとしたが(ステップS210:Yes、ステップS190)、これに限定されるものではなく全てのワークWに対して再検査の判定を行ってもよい。
また、良否判定DNN296は、良品の確率及び不良品の確率(良否判定スコアS296)、並びに判定結果R296を出力したが、良否判定DNN296が出力する情報は特に限定されるものではない。例えば、良否判定DNN296は、良品の確率のみを出力してもよい。この場合、良否判定部292や再検査判定部294等が良品の確率の出力結果に基づいてワークWの良否や再検査の要否を適宜判定することができる。
また、再検査要否DNN297及び撮像条件DNN298は、教師あり学習(図21(a)参照)により学習されるものとしたが、学習の手法は特に限定されるものではなく、例えば、教師なし学習等により学習されるものであってもよい。
また、再検査要否DNN297は、撮像結果B271、良否判定スコアS296及び再検査の判定結果の関係を学習したが、再検査するか否かを判定可能であれば、再検査要否DNN297の学習内容は、特に限定されるものではない。また、再検査の判定を行う学習モデルは、中間層が複数設けられたDNNである必要はなく、例えば、中間層が1つのニューラルネットワークであってもよい。
また、再検査判定部294は、撮像条件DNN298を用いて再検査時の撮像部70の撮像条件を決定したが(ステップS230)、撮像条件を決定する手法は特に限定されるものではない。例えば、必ずしもDNNを用いる必要はなく、再検査前に撮像された撮像結果B271の色情報(例えば、輝度等)に基づいて撮像条件を決定してもよい。
また、再検査で撮像するワークWの位置は、予め定められた撮像箇所に限るものではなく、任意に変更することができる。以下、図23(a)を参照して具体的に説明する。
図23(a)は、バリB271aが原因で再検査の必要があると判定された場合のヒートマップH293を示すものである。当該ヒートマップH293では、バリB271aを含む範囲H293a・H293bの反応が高くなっている。再検査判定部294は、ヒートマップH293を解析し、反応の高い範囲H293a・H293b、すなわちバリB271aが鮮明に撮像できる位置から当該バリB271aを撮像する。このようにして得られた画像について、上述の場合と同様に良否判定DNN296による良否判定を行ったり、作業者が目視で良否判定を行ったりすることができる。
このように、前記検査装置201は、前記撮像部70の撮像結果B271に対して、前記再検査要否DNN297が反応した度合いを示すヒートマップH293を作成する作成部293をさらに具備し、前記再検査判定部294は、前記ヒートマップH293に基づいて、前記再検査時における前記ワークWの撮像部分を決定するものである。
このような構成により、不良である可能性が高い部分(例えば、バリB271a等)を重点的に検査することができる。
また、再検査判定部294は、ステップS170・S180での撮像結果B271に基づいて撮像条件を決定したが(ステップS230)、撮像条件の決定に用いる情報は、特に限定されるものではない。例えば、再検査判定部294は、ワークWの製造ロットを利用して撮像条件を決定してもよい。以下、具体的に説明する。
ワークWは、鋳造によって製造される場合、例えば、取鍋ごとに異なる製造ロットが付与される。PC290は、こうして付与された製造ロットのワークWを初めて検査する場合に、ステップS170・S180で撮像した結果に基づいて、製造ロットに応じたワークWの特徴(例えば、光の反射度合いやワークWの色等)を抽出する。また、PC290は、当該ワークWの良否判定(ステップS200)において不良が抽出された場合、当該不良の種類(バリや異物残り等の種類)及び抽出箇所を前記特徴として抽出する。
PC290は、こうして抽出した前記特徴に基づいて、製造ロットごとに撮像条件を決定する。例えば、PC290は、ある製造ロットの最初に検査を行ったワークWから、比較的明るい色であるとの特徴を抽出した場合、その後行われる同じ製造ロットのワークWの再検査では、撮像部70から照射する光を暗くする。
また、PC290は、製造ロットごとに(特徴に応じて)再検査時におけるワークWの判定条件(判定に関するパラメータ)を変更してもよい。なお、ワークWの判定条件とは、良否判定(ステップS200)において用いられる値や演算処理の内容であり、より具体的には良否判定DNN296による計算処理の内容である。PC290には、製造ロットごとに判定条件を変更可能となるように、複数の良否判定DNN296が構築される。複数の良否判定DNN296は、上述のような特徴(光の反射度合いやワークWの色等)の異なるワークWを用いて学習が行われ、その特徴(ひいては、製造ロット)に応じた良否判定を実行可能に構成される。
PC290は、判定条件を変更する場合、製造ロットごとに最初に再検査の対象となるワークWの特徴(色や不良の抽出箇所等)に基づいて、複数の良否判定DNN296のうち、どの良否判定DNN296を再検査で用いるのかを決定する。PC290は、こうして製造ロットごとに判定条件(良否判定DNN296)を変更し、ワークWの再検査を行う。
以上の如く、前記ワークWは、鋳造によって製造され、前記検査装置201は、前記ワークWの製造ロットごとに前記ワークWの特徴を抽出するPC290(抽出部)と、前記抽出結果に基づいて、前記再検査における前記撮像部70の撮像に関するパラメータ又は前記再検査判定部294の判定に関するパラメータの少なくともいずれか一方を、前記製造ロットごとに調整するPC290(調整部)と、をさらに具備するものである。
このように構成することにより、製造ロットに応じて再検査におけるパラメータの最適化を図ることができ、ワークWの良否判定をより精度よく行うことができる。
なお、上述した製造ロットごとにパラメータを調整するPC290は、抽出部及び調整部の実施の一形態である。
次に、図24から図27を参照し、第三実施形態に係る検査装置301及び検査方法について説明する。
第三実施形態に係る検査装置301は、検査時に生じる機器(多軸ロボット40や撮像部70等)の位置ずれを検知する点で、第一実施形態に係る検査装置1と大きく相違する。まず、検査時に生じる機器の位置ずれについて説明する。
第一実施形態で説明したワークWの検査(ステップS100~S200)を長期間行った場合等には、各機器の相対的な位置が徐々にずれるおそれがある。図27(a)は、機器の位置ずれが生じた状態で第一孔部W11を撮像した結果B371(第一ボアスコープ71での撮像結果)の一例を示したものである。機器の位置ずれが大きくなった場合には、図27(a)に示す撮像結果B371(画像データ)の中心P371に対して第一孔部W11等の中心C311の位置が大きくずれ、良否判定の精度が悪化する可能性がある。
そこで、第三実施形態に係る検査装置301は、ワークWの検査を行うのに加えて、上述した機器の位置ずれを検知可能に構成されている。以下、具体的に説明する。なお、第一実施形態に係る検査装置1と同様に構成される部材については、第一実施形態と同一の符号を付し、その説明を省略する。
図24に示す第三実施形態に係る検査装置301は、制御部380及びPC390の構成が第一実施形態に係るPC90(図3参照)の構成と相違する。制御部380は、調整部381を具備する。
調整部381は、機器の位置ずれを調整するためのものである。調整部381の処理については後述する。
PC390は、補正部391、良否判定部392、作成部393及び検知部394を具備する。
補正部391は、撮像部70のゲイン(感度)を補正するためのものであり、第一実施形態に係る補正部91と同様に構成される。良否判定部392は、ワークWの良否判定を行うためのものであり、第一実施形態に係る良否判定部92と同様に構成される。作成部393は、後述する良否判定DNN396が反応した度合いを示すヒートマップH(図18(b)参照)を作成するためのものであり、第一実施形態に係る作成部93と同様に構成される。
検知部394は、検査装置301の機器(多軸ロボット40及び撮像部70等)の位置ずれが発生していることを検知するためのものである。検知部394の処理については後述する。
上述の如く構成されるPC390には、入力層、複数の中間層及び出力層を具備するDNN(図9参照)が複数構築される。具体的には、PC390には、良否判定DNN396及び位置ずれ検知DNN397が構築される。
良否判定DNN396は、ワークWの良否判定を行うためのものであり、第一実施形態に係るDNN100と同様に構成される。すなわち、良否判定DNN396は、第一孔部W11等(撮像箇所)を撮像部70で撮像した結果B371(図27参照)と、良否判定の結果との関係を予め学習している。良否判定DNN396は、撮像部70での撮像結果B371が入力されると、良品及び不良品の確率を示すスコアと、良品及び不良品の判定結果とを出力することができる(図20(b)参照)。
位置ずれ検知DNN397は、機器の位置ずれを検知するためのものである。位置ずれ検知DNN397は、機器の位置ずれの傾向に基づいて、位置ずれを検知可能に構成される。
具体的には、検査が継続して行われて機器の位置ずれが徐々に大きくなると、図27(a)に示す撮像結果B371の中心P371と第一孔部W11等の中心C311との間の距離L311が徐々に大きくなる。そこで、位置ずれ検知DNN397は、このような機器の位置ずれの傾向(距離L311の変動)を抽出可能となるように、予め所定の学習を行っている。例えば、図25に示すように、複数のワークWについて所定の撮像箇所を撮像した結果B371(例えば、直近数十回の検査で所定の撮像箇所を撮像した図25(b)に示す学習データA300)と、位置ずれの有無(答え)とを位置ずれ検知DNN397(入力層)に入力し、出力側へ情報を受け渡す。これにより、位置ずれ検知DNN397は、直近数十回の検査で撮像された撮像結果B371から位置ずれの傾向(距離L311の変動)を抽出し、位置ずれの有無を判定可能となっている。なお、本実施形態において、位置ずれの有無は、距離L311(図27(a)参照)が所定の閾値を超えたかどうかで区別している。すなわち、距離L311が検査に支障がない程度に小さい(所定の閾値以下である)場合、位置ずれは発生していないとみなしている。一方、距離L311が大きい(所定の閾値を超えた)場合、位置ずれが発生しているとみなしている。
以下では、検査装置301によるワークWの検査の流れについて説明する。
図26に示すように、検査装置301(制御部380)は、第一実施形態で説明したステップS100~S180を行う。すなわち、検査装置301は、セットされたワークWを多軸ロボット40によって撮像部70で撮像可能な位置(撮像位置)へ移動させ、撮像部70で当該ワークWの第一孔部W11等(検査箇所)を撮像する(図25(a)参照)。
撮像部70での撮像が完了すると、検知部394は、位置ずれ検知DNN397を用いて機器の位置ずれの有無を検知する(ステップS310)。仮に位置ずれを検知しなかった場合(ステップS310:No)、第一実施形態で説明したステップS190・S200により、ワークWが投入位置P1(図1参照)へ戻されると共に、良否判定部392によるワークWの良否判定が行われる。
一方、ステップS310において位置ずれを検知した場合(ステップS310:Yes)、検知部394は、撮像結果B371に基づいて位置ずれの向き及びズレ量を算出する(ステップS320)。検知部394は、当該算出結果をPC390の表示装置(液晶ディスプレイ等)に出力すると共に、調整部381へ信号を送信して算出結果を通知する。
位置ずれの向き等を算出すると、調整部381は、検知部394の算出結果に基づいて位置ずれ(ロボット座標)を調整する(ステップS330)。
位置ずれの調整が完了すると、撮像部70は、ステップS170・S180と同様にワークWの撮像を行う(ステップS340)。
こうして、制御部380及び良否判定部392は、位置ずれ調整後の撮像結果B371に基づいてワークWを良否判定すると共に、ワークWを投入位置P1へ戻す(ステップS310:No、ステップS190・S200)。
以下では、図27を参照し、上述した位置ずれの検知及び補正(ステップS310~S330)についての具体例を説明する。
上述の如く、図27(a)は、機器の位置ずれが生じた状態で第一孔部W11を撮像した結果B371(第一ボアスコープ71での撮像結果)である。図27(a)に示すように、位置ずれが生じると、第一孔部W11の中心C311は、撮像結果B371の中心P371に対してずれる。また、機器の位置ずれが徐々に大きくなると、中心P371・C311の距離L311は、徐々に大きくなる。
ステップS310(位置ずれの検知)において、検知部394は、直近数十回の検査で第一孔部W11を撮像した結果B371を位置ずれ検知DNN397に入力し、このような距離L311の増加、すなわち位置ずれの傾向を確認する。位置ずれ検知DNN397は、位置ずれの傾向を抽出し、位置ずれの有無を判定する。例えば、位置ずれ検知DNN397は、位置ずれの傾向から、ズレ量が大きい(良否判定に影響がある程度に大きい)と判断した場合に、位置ずれがあるとの判定結果を出力する(ステップS310:Yes)。
この場合、検知部394は、ステップS320において、今回(直近のステップS170・S180)の検査で撮像された撮像結果B371を解析し、第一孔部W11の中心C311の座標を算出する。そして、検知部394は、座標の算出結果に基づいて、撮像結果B371の中心P371と第一孔部W11の中心C311との距離L311を算出する。また、検知部394は、撮像結果B371の中心P371に対して第一孔部W11の中心C311がずれている方向(ズレの向き、図27(a)では左方)を算出する。検知部394は、こうして算出した位置ずれの向き及び距離L311を、表示装置に出力する。こうして検知部394は、位置ずれの向き等の算出結果を作業者等へ報知する。
その後、調整部381は、位置ずれの向き及びズレ量の算出結果に基づいて、撮像結果B371の中心P371と第一孔部W11の中心C311が一致するように多軸ロボット40を制御する(図27(b)参照、ステップS330)。こうして調整部381は、ロボット座標を補正して機器の位置ずれを調整(補正)する。このようにして、検知部394及び調整部381による位置ずれの検知及び調整の処理が完了する。
このように、検知部394は、ワークWの良否判定に用いられる撮像結果B371を用いて機器の位置ずれを検知することができる。これにより、検査を中断することなく位置ずれを検知可能となり、作業性を向上させることができる。特に本実施形態では、単純な位置ずれの量(距離L311(図27(a)参照))ではなく、位置ずれの変化の傾向から位置ずれの有無を判断しているため、より適切なタイミングで位置ずれの調整(ステップS330)を行うことができる。
また、検知部394は、ゲイン補正後(ステップS160後)の撮像結果B371を用いて位置ずれを検知している。これにより、検知部394は、第一孔部W11を確認し易い(ゲイン補正後の)撮像結果B371を用いて、位置ずれを精度よく検知することができる。また、検知部394は、第一孔部W11の中心C311を精度よく算出できるため、位置ずれの向き及びズレ量を精度よく算出することができる。
また、良否判定部392は、位置ずれ調整後にワークWを撮像した結果B371等に基づいて良否判定を行う(ステップS330・S340・S200)。これにより、良否判定部392は、良否判定の精度を向上させることができる。
以上の如く、第三実施形態に係る検査装置301は、ワークWを撮像位置へ移動させる多軸ロボット40(移動部)と、前記撮像位置において前記ワークWを撮像部70で撮像し、当該撮像結果B371に基づいて前記ワークWを良否判定することで前記ワークWを検査する制御部380及び良否判定部392(検査部)と、前記撮像部70で撮像された複数の前記ワークWの撮像結果B371に基づいて、前記撮像部70及び前記ワークWの位置ずれを検知する検知部394と、を具備するものである。
このように構成することにより、機器の位置ずれを検知することができる。また、検査を中断することなく位置ずれを検知可能となり、作業性を向上させることができる。
また、前記検知部394は、複数の前記ワークWの撮像結果B371及び前記位置ずれの関係を学習した位置ずれ検知DNN397(学習モデル)を用いて位置ずれを検知するものである。
このように構成することにより、精度よく位置ずれを検知することができる。
また、前記検知部394は、前記位置ずれを検知した場合に(ステップS310:Yes)、前記撮像結果B371に基づいて前記位置ずれの向き及びズレ量を算出し、当該算出結果を報知するものである(ステップS320)。
このように構成することにより、検知部394からの報知結果に基づいて作業者等が位置ずれの向き及びズレ量を把握できるため、位置ずれを元に戻す作業(メンテナンス作業)を短時間で行うことができる。
また、前記検査装置301は、前記位置ずれの向き及び前記ズレ量の算出結果に基づいて前記位置ずれを調整する調整部381をさらに具備するものである。
このように構成することにより、ワークWと撮像部70との位置を合わせてワークWを撮像可能となり(ステップS330・S340)、良否判定の精度を向上させることができる。
また、前記撮像部70の撮像結果B371に基づいて、前記撮像部70のゲインを前記ワークWごとに補正する補正部391(第二補正部)をさらに具備し、前記検知部394は、前記補正部391で補正されたゲインで前記ワークWを撮像した結果に基づいて、前記位置ずれを検知するものである。
このように構成することにより、撮像結果B371でワークWを確認し易くなるため、位置ずれを精度よく検知することができる。
また、以上の如く、第三実施形態に係る検査方法は、撮像部70でワークWを撮像し、当該撮像結果B371に基づいて前記ワークWを良否判定部392(判定部)で良否判定することで前記ワークWを検査する検査工程(ステップS170~S200)と、前記撮像部70で撮像された複数の前記ワークWの撮像結果B371に基づいて、前記撮像部70及び前記ワークWの位置ずれを検知する検知工程(ステップS310)と、を含むものである。
このように構成することにより、機器の位置ずれを検知することができる。
なお、第三実施形態に係る多軸ロボット40は、移動部の実施の一形態である。
また、第三実施形態に係る制御部380及び良否判定部392は、検査部の実施の一形態である。
また、第三実施形態に係る位置ずれ検知DNN397は、学習モデルの実施の一形態である。
また、第三実施形態に係る補正部391は、第二補正部の実施の一形態である。
また、第三実施形態に係る良否判定部392は、判定部の実施の一形態である。
以上、本発明の第三実施形態を説明したが、本発明は上記構成に限定されるものではなく、特許請求の範囲に記載された発明の範囲内で種々の変更が可能である。
例えば、位置ずれ検知DNN397は、教師あり学習により学習されるものとしたが(図25(b)参照)、学習の手法は特に限定されるものではなく、例えば、教師なし学習等により学習されるものであってもよい。
また、検知部394は、位置ずれ検知DNN397を用いて位置ずれを検知したが、位置ずれを検知する手法は特に限定されるものではない。例えば、検知部394は、中間層が1つのニューラルネットワークを用いて位置ずれを検知してもよい。また、検知部394は、ニューラルネットワークではなく、予め撮像された基準画像を用いて位置ずれを検知してもよい。この場合、検知部394は、例えば、基準画像と撮像結果B371との差異を抽出し、当該抽出結果に基づいて位置ずれを検知することができる。
また、PC390(検知部394)は、撮像結果B371に基づいて位置ずれの向き及びズレ量を算出したが(図27(a)参照)、位置ずれの向き等を算出する手法は、特に限定されるものではない。PC390は、例えば、撮像結果B371に加えて、製造ロットを利用して位置ずれの向き等を算出してもよい。以下、具体的に説明する。
ワークWは、鋳造によって製造される場合、例えば、取鍋ごとに異なる製造ロットが付与される。PC390は、こうして付与された製造ロットのワークWを初めて検査する場合に、ステップS170・S180で撮像した結果に基づいて、製造ロットに応じたワークWの特徴(例えば、撮像結果B371の中心P371及び第一孔部W11の中心C311の位置関係等)を抽出する。
PC390は、こうして抽出した前記特徴に基づいて、製造ロットごとに位置ずれの向き等を補正する。例えば、PC390は、ある製造ロットの最初に検査を行ったワークWから、第一孔部W11の中心C311が撮像結果B371の中心P371に対して所定方向に所定距離ずれているとの特徴を抽出した場合、その後行われる同じ製造ロットのワークWの検査では、当該特徴に基づいてステップS320で算出した位置ずれの向き及びズレ量を補正する。
以上の如く、前記ワークWは、鋳造によって製造され、前記検査装置301は、前記ワークWの製造ロットごとに前記ワークWの特徴を抽出するPC390(抽出部)と、前記抽出結果に基づいて、前記位置ずれの向き及びズレ量の算出結果を前記製造ロットごとに補正するPC390(第一補正部)と、をさらに具備するものである。
このように構成することにより、位置ずれの向き及びズレ量を精度よく算出することができる。
なお、上述した製造ロットごとに位置ずれの向き等を調整するPC390は、抽出部及び第一補正部の実施の一形態である。
なお、PC390は、必ずしも位置ずれの向き及びズレ量を算出する必要はない。例えば、位置ずれの有無だけを検知し(ステップS310)、その旨を作業者に報知することも可能である。報知を受けた作業者は、機器を点検して位置ずれの向き等を確認することができる。また、PC390は、必ずしもゲインを補正する補正部391を具備する必要はない。また、制御部380は、必ずしも調整部381を具備する必要はない。例えば、作業者が手作業にてゲインや位置ずれを補正(調整)することも可能である。
次に、図28から図30を参照し、第四実施形態に係る検査装置401及び検査方法について説明する。
第四実施形態に係る検査装置401は、多軸ロボット40及び撮像部70等の機器が揺れた場合に機器の位置ずれが発生しているかを判定する点で、第一実施形態に係る検査装置1と大きく相違する。まず、揺れに起因する機器の位置ずれについて説明する。
例えば地震等の比較的大きな揺れが生じた場合、多軸ロボット40等の各機器の位置ずれが生じるおそれがある。この状態でワークWの検査を行うと、撮像部70の撮像結果B471の中心に対して第一孔部W11等の中心の位置が大きくずれ(図27(a)参照)、良否判定の精度が悪化する可能性がある。
そこで、第四実施形態に係る検査装置401は、ワークWの検査を行うのに加えて、上述した揺れに起因する機器の位置ずれを検知可能に構成されている。以下、具体的に説明する。なお、第一実施形態に係る検査装置1と同様に構成される部材については、第一実施形態と同一の符号を付し、その説明を省略する。
図28に示す第四実施形態に係る検査装置401は、加速度センサ500を具備する点と、PC490の構成が異なる点とで第一実施形態に係る検査装置1(図3参照)と相違する。
図28に示す加速度センサ500は、機器に対する揺れを検知するためのものである。加速度センサ500は、区画部材10(図1参照)の所定箇所等に設けられる。加速度センサ500は、揺れの大きさ及び方向をそれぞれ検知することができる。加速度センサ500は、制御部80と接続され、揺れの検知結果B500を制御部80へ送信することができる。また、加速度センサ500は、制御部80を介して揺れの検知結果B500をPC490へ送信することができる。
PC490は、補正部491、良否判定部492、作成部493、位置ずれ判定部494及び推定部495を具備する。
補正部491は、撮像部70のゲイン(感度)を補正するためのものであり、第一実施形態に係る補正部91と同様に構成される。良否判定部492は、ワークWの良否判定を行うためのものであり、第一実施形態に係る良否判定部92と同様に構成される。作成部493は、後述する良否判定DNN497が反応した度合いを示すヒートマップH(図23(a)参照)を作成するためのものであり、第一実施形態に係る作成部93と同様に構成される。
位置ずれ判定部494は、機器の位置ずれが発生しているか否かを判定するためのものである。位置ずれ判定部494の処理については後述する。
推定部495は、位置ずれに関する情報を推定するためのものである。位置ずれに関する情報とは、位置ずれがどのように発生しているのかを示すための情報であり、具体的には、位置ずれが生じた機器、ズレの向き及びズレ量等である。推定部495の処理については後述する。
上述の如く構成されるPC490には、入力層、複数の中間層及び出力層を具備するDNN(図9参照)が複数構築される。具体的には、PC490には、良否判定DNN497、位置ずれ判定DNN498及び情報推定DNN499が構築される。
良否判定DNN497は、ワークWの良否判定を行うためのものであり、第一実施形態に係るDNN100と同様に構成される。すなわち、良否判定DNN497は、第一孔部W11等(撮像箇所)を撮像部70で撮像した結果B471(図29(a)参照)と、良否判定の結果との関係を予め学習している。また、良否判定DNN497は、撮像部70での撮像結果B471が入力されると、良品及び不良品の確率を示すスコアと、良品及び不良品の判定結果とを出力することができる(図20(b)参照)。
位置ずれ判定DNN498は、揺れが発生した場合に機器の位置ずれが発生しているか否かを判定するためのものである。上述の如く、機器の位置ずれが発生すると、撮像結果B471の中心に対して第一孔部W11等の中心がずれる。この際、揺れの特徴(方向、大きさ等)と機器の位置ずれ(方向、大きさ等)には相関関係があると考えられる。そこで、位置ずれ判定DNN498は、このような揺れの特徴から、機器の位置ずれを検知可能となるように、適宜学習が行われている。
より詳細には、図29に示すように、加速度センサ500の検知結果B500(揺れの方向や大きさ)及び撮像結果B471(例えば、第一孔部W11の最初の撮像箇所の撮像結果)を含む学習データA400と、位置ずれの有無(答え)とを位置ずれ判定DNN498に入力し、出力側へ情報を受け渡す。これにより、位置ずれ判定DNN498は、揺れの検知結果B500及び撮像結果B471(揺れが収まった後の撮像結果)から位置ずれの傾向(揺れる方向に応じた中心のずれ等)を抽出し、位置ずれが発生しているか否か判定可能となっている。
情報推定DNN499は、上述した位置ずれに関する情報(位置ずれが生じた機器等)を推定するためのものである。情報推定DNN499は、揺れ方に着目し、位置ずれに関する情報を推定可能に構成される。以下、具体的に説明する。
揺れの特徴(方向、大きさ等)と位置ずれが生じる機器(その揺れに対してどの機器でどのような位置ずれが発生し易いか)には相関関係があると考えられる。例えば、第一ボアスコープ71等は、上方から下方へ垂れ下がるように設けられているため(図29(a)参照)、横に揺れた場合に位置ずれが生じ易いものと考えられる。そこで、情報推定DNN499は、このような揺れ方に応じた機器の位置ずれの傾向(ずれ易い機器等の特徴)を抽出可能となるように、適宜学習が行われている。具体的には、上述した学習データA400及び位置ずれに関する情報(答え)を情報推定DNN499(入力層)に入力し、出力側へ情報を受け渡す(図29(b)参照)。これにより、情報推定DNN499は、揺れ方に応じた機器の位置ずれの傾向(揺れ易い機器等)を抽出し、位置ずれに関する情報を推定可能となっている。
上述の如く構成される検査装置401は、加速度センサ500が揺れを検知した場合に、図30に示すような判定処理を行う。以下、判定処理について説明する。
判定処理は、機器の位置ずれが発生しているか否かを判定するための処理である。判定処理は、加速度センサ500が所定の閾値を超える大きさの揺れを検知した場合に行われる。また、判定処理は、ワークWの検査(第一実施形態で説明したステップS100~S200)に割り込む形で行われる。
加速度センサ500が揺れを検知すると、制御部80は、当該揺れが収まるまで(加速度センサ500が揺れを検知しなくなるまで)、搬送スライダ20、昇降スライダ30、多軸ロボット40、芯ずれ補正部50、干渉チェック部60及び撮像部70の動作を一時的に停止させる(ステップS410)。
揺れが収まると、制御部80は、撮像部70でのワークWの撮像を再開する(ステップS420)。このとき、制御部80は、上述したステップS100~S200のうち、良否判定(ステップS200)以外の処理を再開する。すなわち、制御部80は、第一実施形態で説明したワークWの搬送(ステップS110)や補正部491でのゲインの補正(ステップS160)等を行う。そして、制御部80は、多軸ロボット40等によってワークWを撮像可能な位置(撮像位置、図29(a)参照)まで移動して撮像部70でワークWを撮像し、ワークWを投入位置P1(図1参照)へ戻す(ステップS190)。
このように、ステップS420において、良否判定部492は、制御部80からの指示に基づいてワークWの良否判定を保留する。また、位置ずれ判定部494は、制御部80からの指示に基づいて保留されたワークWの数(以下、「保留数」と称する)を集計する。
その後、位置ずれ判定部494は、位置ずれ判定DNN498を用いて位置ずれの有無を判定する(ステップS430)。このとき、位置ずれ判定部494は、揺れの検知結果B500及びステップS420で撮像した撮像結果B471を位置ずれ判定DNN498に入力する。位置ずれ判定DNN498は、入力された撮像結果B471から上述した位置ずれの傾向(揺れの方向に応じた中心のずれ等)を抽出し、位置ずれが発生しているか否かの判定結果を出力する。
また、ステップS430において、推定部495は、情報推定DNN499を用いて位置ずれに関する情報、すなわち位置ずれが生じた機器、ズレ量及びズレの向き等を推定する。このとき、推定部495は、揺れの検知結果B500及びステップS420で撮像した撮像結果B471を情報推定DNN499に入力し、位置ずれに関する情報を推定する。
位置ずれを判定後に、PC490は、表示装置に位置ずれの判定結果を出力し、作業者等へ報知する(ステップS440)。また、PC490は、位置ずれに関する情報の推定結果や良否判定を保留していることも表示装置に出力する。
作業者は、当該報知を受けた場合、表示装置に示された位置ずれの判定結果等を確認し、各機器の点検や調整を行うことができる。作業者は、各機器の点検等を行い、良否判定が再開できると判断すれば、制御部80に設けられた入力装置を適宜操作して、良否判定を再開するように指示を出す(ステップS450:Yes)。これによって良否判定が保留されていたワークWの良否判定が良否判定部492によって行われ、その後、引き続きワークWの検査(ステップS100~S200)が行われる。
一方、作業者から所定時間指示がない場合(ステップS450:No)、位置ずれ判定部494は、保留数が所定の閾値(例えば、10個)を超えたか否かを確認する(ステップS470)。仮に保留数が所定の閾値以下である場合(ステップS470:No)、引き続き撮像部70でのワークWの撮像が行われ、保留数が増加する。そして、位置ずれ判定部494は、作業者からの指示を待つ(ステップS420~S440)。
一方、位置ずれ判定部494は、保留数が所定の閾値を超えた場合に(ステップS470:Yes)、ステップS430で推定した各ワークWのズレ量が所定の閾値未満であるか否かを確認する(ステップS480)。各ワークWのズレ量が所定の閾値未満である場合(ステップS480:Yes)、制御部80は、良否判定部492による良否判定を再開させる(ステップS460)。こうして、揺れが生じてもズレ量が少ない、すなわち良否判定の精度が悪化しないと考えられる場合には、作業者の指示を受けることなくワークWの検査を再開させる。
一方、ズレ量が所定の閾値以上である場合(ステップS480:No)、制御部80は、搬送スライダ20等の動作を停止する(ステップS490)。また、制御部80は、所定の表示部に動作を停止した旨のメッセージや位置ずれに関する情報等を表示させると共にスピーカから警告音を出力させ、動作を停止したことを作業者に報知する。こうして判定処理が終了する。
このように、判定処理では、機器等が揺れた場合に位置ずれが発生しているかを確認することができる(ステップS430)。これにより、位置ずれが発生した場合に、当該位置ずれに速やかに対応可能となる(ステップS450~S490)。
また、位置ずれ判定部494は、ゲイン補正後(ステップS160後)の撮像結果B471を用いて機器の位置ずれを判定している。これにより、位置ずれ判定部494は、第一孔部W11を確認し易い(ゲイン補正後の)撮像結果B471を用いて、位置ずれを精度よく判定することができる。また、推定部495は、ゲイン補正後の撮像結果B471を用いることで、位置ずれに関する情報を推定し易くなる。
以上の如く、第四実施形態に係る検査装置401は、ワークWを所定位置へ移動させる多軸ロボット40(移動部)と、前記所定位置に移動された前記ワークWを撮像する撮像部70と、前記撮像部70の撮像結果B471に基づいて前記ワークWの良否判定を行う良否判定部492(第一判定部)と、前記多軸ロボット40及び前記撮像部70を含む機器に対する揺れを検知する加速度センサ500(検知部)と、前記加速度センサ500が揺れを検知した場合に前記ワークWを前記撮像部70で撮像した結果に基づいて、前記機器の位置ずれが発生しているか否かを判定する位置ずれ判定部494(第二判定部)と、を具備するものである。
このように構成することにより、加速度センサ500が揺れを検知した場合に機器の位置ずれを確認できる。
また、前記位置ずれ判定部494は、前記撮像結果B471及び前記機器の位置ずれの関係を学習した位置ずれ判定DNN498(第一学習モデル)を用いて位置ずれが発生しているか否かを判定するものである。
このように構成することにより、撮像結果B471から位置ずれの特徴を抽出し、精度よく位置ずれを判定することができる。
また、前記位置ずれ判定部494は、前記ワークWに形成された第一孔部W11(孔部)を前記撮像部70で撮像した結果B471に基づいて、前記機器の位置ずれが発生しているか否かを判定するものである(ステップS420~S440)。
このように構成することにより、良否判定すべきワークWを用いて位置ずれを判定することができ、利便性を向上させることができる。
また、前記多軸ロボット40、前記撮像部70、前記良否判定部492及び前記位置ずれ判定部494の動作を制御する制御部80をさらに具備し、前記制御部80は、前記加速度センサ500が揺れを検知した場合に、前記良否判定部492による前記ワークWの良否判定を保留すると共に、前記位置ずれ判定部494により前記機器の位置ずれが発生しているか否かを判定するものである(ステップS420~S440)。
このように構成することにより、位置ずれが生じた状態でワークWの良否判定の結果が出るのを防止して、良否判定の精度が悪化するのを抑制することができる。
また、前記制御部80は、良否判定が保留された前記ワークWの数が所定数に達した場合に(ステップS470:Yes)、前記多軸ロボット40、前記撮像部70及び前記良否判定部492の動作を停止させるものである(ステップS490)。
このように構成することにより、良否判定を保留するワークWの数が過剰に多くなるのを防止することができる。
また、前記位置ずれ判定部494は、前記撮像部70の撮像結果B471に基づいて前記機器のズレ量を算出し(ステップS430)、前記制御部80は、良否判定が保留された前記ワークWの数が所定数に達しても、前記機器のズレ量の算出結果が所定の閾値未満である場合(ステップS470:Yes、ステップS480:Yes)、前記良否判定部492による前記ワークWの良否判定を再開させるものである(ステップS460)。
このように構成することにより、位置ずれが比較的小さい(所定の閾値未満である)場合に、ワークWの良否判定をスムーズに再開させることができる。
また、前記位置ずれ判定部494は、前記撮像部70の撮像結果B471及び前記加速度センサ500の検知結果B500に基づいて、前記機器の位置ずれが発生しているか否かを判定するものである。
このように構成することにより、撮像結果B471に加えて揺れの検知結果B500を用いることで、精度よく位置ずれを検知することができる。
また、前記加速度センサ500の検知結果B500に基づいて、位置ずれが生じた前記機器、ズレの向き及びズレ量を含む位置ずれに関する情報を推定する推定部495をさらに具備するものである。
このように構成することにより、どの機器がどの程度位置ずれしているのか判断する情報(位置ずれに関する情報)を作業者等へ提供できるため、位置ずれを元に戻す作業を短時間で行うことができる。
また、前記推定部495は、前記加速度センサ500の検知結果B500及び前記位置ずれに関する情報の関係を学習した情報推定DNN499(第二学習モデル)を用いて、前記位置ずれに関する情報を推定するものである。
このように構成することにより、検知結果B500から特徴を抽出し、位置ずれに関する情報を精度よく推定することができる。
また、前記撮像部70の撮像結果B471に基づいて、前記ワークWを撮像する際の前記撮像部70のゲインを補正する補正部491をさらに具備し、前記位置ずれ判定部494は、前記補正部491で補正されたゲインで撮像された結果に基づいて位置ずれが発生しているか否かを判定するものである(ステップS420~S440)。
このように構成することにより、撮像結果B471でワークWを確認し易くなるため、位置ずれが発生しているか否かを精度よく判定することができる。
また、以上の如く、第四実施形態に係る検査方法は、多軸ロボット40によりワークWを所定位置へ移動させる移動工程(ステップS100~S180)と、前記所定位置に移動された前記ワークWを撮像部70で撮像する撮像工程(ステップS170・S180)と、前記撮像部70の撮像結果B471に基づいて、良否判定部492(第一判定部)により前記ワークWの良否判定を行う第一判定工程(ステップS200)と、前記多軸ロボット40及び前記撮像部70を含む機器に対する揺れを加速度センサ500により検知する検知工程と、前記検知工程で揺れを検知した場合に前記ワークWを前記撮像部70で撮像した結果に基づいて、前記機器の位置ずれが発生しているか否かを位置ずれ判定部494(第二判定部)により判定する第二判定工程(ステップS430)と、を含むものである。
このように構成することにより、加速度センサ500が揺れを検知した場合に機器の位置ずれを確認できる。
なお、第四実施形態に係る多軸ロボット40は、移動部の実施の一形態である。
また、第四実施形態に係る良否判定部492は、第一判定部の実施の一形態である。
また、第四実施形態に係る加速度センサ500は、検知部の実施の一形態である。
また、第四実施形態に係る位置ずれ判定部494は、第二判定部の実施の一形態である。
また、第四実施形態に係る位置ずれ判定DNN498は、第一学習モデルの実施の一形態である。
また、第四実施形態に係る情報推定DNN499は、第二学習モデルの実施の一形態である。
以上、本発明の第四実施形態を説明したが、本発明は上記構成に限定されるものではなく、特許請求の範囲に記載された発明の範囲内で種々の変更が可能である。
例えば、PC494は、個別に用意した2つのDNN(位置ずれ判定DNN498及び情報推定DNN499)を用いて、位置ずれの判定及び位置ずれに関する情報の推定をそれぞれ個別に行ったが、これに限定されるものではなく、共通のDNNを用いて位置ずれの判定及び位置ずれに関する情報の推定を併せて行ってもよい。
また、位置ずれ判定部494は、位置ずれ判定DNN498を用いて位置ずれを判定したが(ステップS430)、位置ずれを判定する手法は特に限定されるものではない。例えば、位置ずれ判定部494は、中間層が1つのニューラルネットワークを用いて位置ずれを判定してもよい。また、位置ずれ判定部494は、ニューラルネットワークではなく、予め撮像された基準画像を用いて位置ずれを検知してもよい。この場合、位置ずれ判定部494は、例えば、基準画像と撮像結果B471との差異を抽出し、当該抽出結果に基づいて位置ずれを検知することができる。
また、推定部495は、情報推定DNN499を用いて位置ずれに関する情報を推定したが(ステップS430)、位置ずれに関する情報を推定する手法は特に限定されるものではない。例えば、推定部495は、中間層が1つのニューラルネットワークを用いて位置ずれに関する情報を推定してもよい。また、推定部495は、ニューラルネットワークではなく、予め撮像された基準画像を用いて位置ずれに関する情報を推定してもよい。この場合、推定部495は、例えば、基準画像と撮像結果B471との差異を抽出し、当該抽出結果に基づいて位置ずれに関する情報を推定することができる。
また、PC494は、位置ずれを判定可能であれば、その他の構成は特に限定されるものではない。したがって、PC494は、必ずしもゲインを補正する補正部491及び位置ずれに関する情報を推定する推定部495を具備しなくてもよい。
また、位置ずれ判定部494は、良否判定されるワークWを用いて位置ずれを判定したが、位置ずれの判定時に撮像する対象は、必ずしも良否判定されるワークWである必要はない。例えば、位置ずれ判定部494は、多軸ロボット40を調整(ティーチング)する際の基準となるワークW(基準物)を撮像して、位置ずれを判定してもよい。
以上の如く、前記位置ずれ判定部494は、前記機器の位置ずれの判定の基準となる基準物を前記撮像部70で撮像した結果に基づいて、前記機器の位置ずれが発生しているか否かを判定するものである。
このように構成することにより、精度よく位置ずれを判定することができる。
また、判定処理においては、保留数が所定の閾値を超えた場合にズレ量の確認等を行ったが(ステップS470:Yes、ステップS480)、保留数が所定の閾値を超えた場合の処理は特に限定されるものではない。例えば、保留数が所定の閾値を超えた場合に(ステップS470:Yes)、ズレ量の大小に関わらず、動作を停止させてもよい。