以下、本発明の分光検査方法および分光検査装置を添付図面に示す好適な実施形態に基づいて詳細に説明する。
まず、本発明の分光検査方法および分光検査装置を説明するのに先立って、本発明の分光検査方法および分光検査装置が適用されたロボットシステムについて説明する。
<ロボットシステム>
図1は、本発明の分光検査方法および分光検査装置が適用されたロボットシステムの実施形態を示す側面図、図2は、図1に示すロボットシステムが備える分光カメラのレンズ側を示す平面図、図3は、図2に示す分光カメラのA−A線断面図、図4は、図1に示すロボットシステムの概略構成を示すブロック図、図5は、図1に示すロボットシステムにパーソナルコンピューターを装着したときの概略構成を示すブロック図、図6は、図2、図3に示す分光カメラが備える分光部が有する波長可変干渉フィルターをファブリーペローエタロンフィルターに適用した一例を示す縦断面図である。なお、図1では、表示装置61および入力装置62の図示は省略されている。
なお、図1では、説明の便宜上、互いに直交する3軸として、x軸、y軸およびz軸を図示している。また、以下では、x軸に平行な方向を「x軸方向」とも言い、y軸に平行な方向を「y軸方向」とも言い、z軸に平行な方向を「z軸方向」とも言う。さらに、以下では、図示された各矢印の先端側を「+(プラス)」、基端側を「−(マイナス)」と言い、+x軸方向に平行な方向を「+x軸方向」とも言い、−x軸方向に平行な方向を「−x軸方向」とも言い、+y軸方向に平行な方向を「+y軸方向」とも言い、−y軸方向に平行な方向を「−y軸方向」とも言い、+z軸方向に平行な方向を「+z軸方向」とも言い、−z軸方向に平行な方向を「−z軸方向」とも言う。
さらに、以下では、説明の便宜上、図1中の+z軸方向(z軸方向+側)(上側)を「上」、−z軸方向(z軸方向−側)(下側)を「下」とも言う。また、ロボットアーム20については、図1中の基台21側を「基端」、その反対側(分光カメラ7側)を「先端」と言う。また、図1中のz軸方向(上下方向)を「鉛直方向」とし、x軸方向およびy軸方向(左右方向)を「水平方向」とする。
また、本明細書において、「水平」とは、完全に水平な場合のみならず、水平に対して±5°以内で傾斜している場合も含む。同様に、本明細書において、「鉛直」とは、完全に鉛直な場合のみならず、鉛直に対して±5°以内で傾斜している場合も含む。また、本明細書において、「平行」とは、2つの線(軸を含む)または面が、互いに完全な平行である場合のみならず、±5°以内で傾斜している場合も含む。また、本明細書において、「一致」とは、2つの線(軸を含む)または面が、互いに完全に一致している場合のみならず、±5°以内で傾斜している場合も含む。また、本明細書において、「直交」とは、2つの線(軸を含む)または面が、互いに完全な直交である場合のみならず、±5°以内で傾斜している場合も含む。
図1、図4および図5に示すロボットシステム100は、例えば、生産ラインで生産された、または、生産途中の物品の表面性状、すなわち、物品の色や物品に付着している異物の有無を検査するために、この物品を対象物Xとして、対象物Xの分光情報を取得するために用いられるものである。このロボットシステム100は、制御装置1と、ロボット2と、分光カメラ7と、表示装置61(表示部)と、入力装置62(入力部)とを備え、さらに、装脱着が可能なパーソナルコンピューター3を備えている。
なお、図示の構成では、制御装置1は、ロボット2の外側に配置されているが、これに限定されず、ロボット2または分光カメラ7に内蔵されていてもよい。
また、図示の構成では、ロボット2、分光カメラ7およびパーソナルコンピューター3と制御装置1とは、それぞれ、ケーブル200等を介して電気的に接続(以下、単に「接続」とも言う)されているが、これに限定されず、無線方式で通信を行うようになっていてもよい。すなわち、ロボット2と制御装置1とは、有線通信で接続されていてもよく、また、無線通信で接続されていてもよい。
以下、ロボットシステム100を構成する各部について説明する。
<ロボット>
ロボット2の種類は、分光カメラ7を鉛直方向に移動させ得る構成のものであれば、特に限定されないが、本実施形態では、ロボット2は、水平多関節ロボットの1例であるスカラロボットで構成される。
ロボット2は、図1に示すように、基台21と、第1アーム22と、第2アーム23と、作業ヘッド24と、配管部材9とを備えている。なお、これら第1アーム22、第2アーム23および作業ヘッド24等によりロボットアーム20が構成される。
また、ロボット2は、第1アーム22を基台21に対して回動(駆動)させる駆動部25と、第2アーム23を第1アーム22に対して回動させる駆動部26と、作業ヘッド24のシャフト241を第2アーム23に対して回動させる駆動部27と、シャフト241を第2アーム23に対してz軸方向に移動させる駆動部28と、角速度センサー29とを備えている。
駆動部25は、図4、図5に示すように、第1アーム22の筐体220内に内蔵されており、駆動力を発生するモーター251と、モーター251の駆動力を減速する図示しない減速機と、モーター251または減速機の回転軸の回転角度を検出する位置センサー252とを有している。
駆動部26は、第2アーム23の筐体230に内蔵されており、駆動力を発生するモーター261と、モーター261の駆動力を減速する図示しない減速機と、モーター261または減速機の回転軸の回転角度を検出する位置センサー262とを有している。
駆動部27は、第2アーム23の筐体230に内蔵されており、駆動力を発生するモーター271と、モーター271の駆動力を減速する図示しない減速機と、モーター271または減速機の回転軸の回転角度を検出する位置センサー272とを有している。
駆動部28は、第2アーム23の筐体230に内蔵されており、駆動力を発生するモーター281と、モーター281の駆動力を減速する図示しない減速機と、モーター281または減速機の回転軸の回転角度を検出する位置センサー282とを有している。
モーター251、モーター261、モーター271およびモーター281としては、例えば、ACサーボモーター、DCサーボモーター等のサーボモーターを用いることができる。また、減速機としては、例えば、遊星ギア型の減速機、波動歯車装置等を用いることができる。また、位置センサー252、位置センサー262、位置センサー272および位置センサー282は、例えば、角度センサーとすることができる。
駆動部25、駆動部26、駆動部27および駆動部28は、それぞれ、対応する図示しないモータードライバーに接続されており、モータードライバーを介して制御装置1のロボット制御部11により制御される。なお、各減速機は省略されていてもよい。
また、角速度センサー29(センサー)は、第2アーム23に内蔵されている。このため、第2アーム23の角速度を検出することができる。この検出した角速度の情報に基づいて、制御装置1は、ロボット2の制御を行う。また、角速度センサー29は、駆動部26〜28よりも−y軸側、すなわち、基台21の遠位側に設置されている。
基台21は、例えば、図示しない床面にボルト等によって固定されている。基台21の上端部には第1アーム22が連結されている。第1アーム22は、基台21に対して鉛直方向に沿う第1回動軸O1回りに回動可能となっている。第1アーム22を回動させる駆動部25が駆動すると、第1アーム22が基台21に対して第1回動軸O1回りに水平面内で回動する。また、位置センサー252により、基台21に対する第1アーム22の駆動(回動量)が検出できるようになっている。
また、第1アーム22の先端部には、第2アーム23が連結されている。第2アーム23は、第1アーム22に対して鉛直方向に沿う第2回動軸O2回りに回動可能となっている。第1回動軸O1の軸方向と第2回動軸O2の軸方向とは同一である。すなわち、第2回動軸O2は、第1回動軸O1と平行である。第2アーム23を回動させる駆動部26が駆動すると、第2アーム23が第1アーム22に対して第2回動軸O2回りに水平面内で回動する。また、位置センサー262により、第1アーム22に対する第2アーム23の駆動(回動量)が検出できるようになっている。
また、第2アーム23は、底板231、天板232およびこれらを連結している側壁233を有する筐体230を有している。この筐体230の内部、すなわち、底板231上には、角速度センサー29、駆動部26、駆動部27および駆動部28が+y軸側からこの順で並んでいる。
また、筐体230は、天板232と側壁233との間に位置する傾斜部234を有している。この傾斜部234は、天板232の−y軸側に設けられている。また、この傾斜部234は、z軸に対して傾斜して設けられている。
また、第2アーム23の先端部には、シャフト241を有する作業ヘッド24が設置されている。シャフト241は、第2アーム23に対して、鉛直方向に沿う第3回動軸O3回りに回動可能であり、かつ、上下方向すなわち鉛直方向に沿って移動(昇降)可能となっている。このシャフト241は、ロボットアーム20の第3アームであり、ロボットアーム20の最も先端のアームである。
シャフト241を回動させる駆動部27が駆動すると、シャフト241は、z軸回りに正逆回転(回動)する。また、位置センサー272により、第2アーム23に対するシャフト241の回転量が検出できるようになっている。
また、シャフト241をz軸方向に移動させる駆動部28が駆動すると、シャフト241は、上下方向(z軸方向)に移動する。また、位置センサー282により、第2アーム23に対するシャフト241のz軸方向の移動量が検出できるようになっている。
また、シャフト241の先端部(下端部)には、分光カメラ7が着脱可能に配置される。この分光カメラ7は、生産ラインで生産された、または、生産途中の物品を対象物Xすなわち測定対象として、その表面性状を検査するために、対象物Xの分光情報すなわち分光スペクトルを取得するために使用されるが、その詳細については、以下で説明する。
なお、分光カメラ7は、本実施形態では、ロボット2の構成要素になっていないが、分光カメラ7の一部または全部がロボット2の構成要素になっていてもよい。また、分光カメラ7は、本実施形態では、ロボットアーム20の構成要素になっていないが、分光カメラ7の一部または全部がロボットアーム20の構成要素になっていてもよい。
<分光カメラ>
分光カメラ7は、図1に示すように、シャフト241の先端部(下端部)に、直接または図示しない連結部材を介して、上下方向が分光カメラ7の光軸方向と一致するように着脱可能に連結されている。
この分光カメラ7は、制御装置1の制御に基づいて、生産された、または、生産途中の物品である対象物Xが有する固有の分光情報を取得するものであり、より具体的には、対象物Xで反射した反射光を受光し、分光することで、特定波長または特定波長領域(以下では、「特定波長」で代表して説明する。)の光を選択的に透過させた後、この特定波長を有する光を撮像することにより得られる、対象物Xの分光画像に基づいて、分光スペクトル情報を取得するものである。
なお、対象物Xは、本実施形態では、分光カメラ7の光軸方向すなわち上下方向の延長線上に、ロボット2が備える作業台8上に設置されている。
このように、分光カメラ7では、所定の波長領域における対象物Xが有する固有の分光スペクトル情報を取得し、この分光スペクトル情報に基づいて、対象物Xすなわち生産された、または、生産途中の物品の表面性状を検査することから、かかる物品の表面性状の検査、すなわち、物品の色や物品に付着している異物の有無を、優れた精度をもって実施することができる。
なお、分光カメラ7により、対象物Xすなわち生産された、または、生産途中の物品の表面性状を検査するために取得する波長領域は、可視光領域から選択されたものであってもよいし、赤外線領域や、紫外線領域等から選択されたものであってもよいし、これらのうちの少なくとも2つの領域から選択されたものであってもよい。
この分光カメラ7は、図1〜図5に示すように、本実施形態では、対象物Xに光を照射する光源31と、対象物Xを反射した反射光に基づいた、画像を撮像する撮像素子71と、入射光から所定の波長の光を選択的に出射させ、かつ出射させる出射光の波長もしくは波長領域を変更可能な分光部41とを備えている。
このような分光カメラ7において、図2、図3に示すように、光源31、撮像素子71が、分光カメラ7のレンズ側において同一方向を向くように配置された状態で、分光部41は、撮像素子71と対象物Xとの間に配置されている。光源31と、分光部41と、撮像素子71とをこのような位置関係で配置することで、これらにより、分光カメラ7は、後分光方式の分光カメラで構成される。なお、分光カメラ7は、分光部41が光源31と対象物Xとの間に配置された、前分光方式の分光カメラを構成していてもよい。
以下、分光カメラ7が備える各部の構成について説明する。
光源31は、対象物Xに向かって照明光を照射する光素子である。
光源31は、図2、図3に示すように、分光カメラ7の筐体内に配置された回路基板51上に、対象物Xに向かって照明光を照射し得るように、分光カメラ7のレンズ側に配置されている。
この光源31と対象物Xとの間には分光部41が配置されておらず、これにより、光源31から出射された光が、対象物Xに対して、直接、照射される。
このような光源31は、例えば、LED光源、OLED光源、キセノンランプ、ハロンゲンランプ等が挙げられ、波長可変干渉フィルターで構成される分光部41により分光測定を行う波長領域の全体に光強度を持つ光源、すなわち、可視光領域の全体にわたって光強度を有する白色光を照射可能な光源が好ましく用いられる。また、光源31は、白色光源以外にも、例えば、赤外光等の所定波長の光を照射可能な光源を備えていてもよい。
なお、この光源31は、分光カメラ7において、省略することもできる。この場合、対象物Xを反射した反射光は、太陽のような自然光、蛍光灯のような外部光源により対象物Xに対して照射された光が反射されることで生成される。
撮像素子71すなわち撮像部は、対象物Xを反射した反射光に基づいた、画像を撮像することで、対象物Xを反射した反射光を検出する検出部として機能するものである。
撮像素子71は、図2、図3に示すように、分光カメラ7の筐体内に配置された回路基板51上に、対象物Xを反射した反射光を受光し得るように、分光カメラ7のレンズ側に配置されている。
そして、この撮像素子71と対象物Xとの間には分光部41が配置されている。これにより、対象物Xから分光部41に入射された入射光のうち、特定波長すなわち所定の波長を有する出射光が選択的に出射され、この出射光が撮像素子71により、分光画像すなわち分光情報として撮像される。
このような撮像素子71は、例えば、CCDやCMOS等で構成される。
分光部41は、入射光から特定波長である分光波長の光を選択的に出射させ、かつ出射させる出射光の波長領域を変更可能なものである。換言すれば、入射光から特定波長すなわち所定の波長の光を選択的に出射光として撮像素子71へ向けて出射すなわち透過させるものである。
分光部41は、図3に示すように、分光カメラ7の筐体内に配置された回路基板52上に配置されている。
この分光部41は、撮像素子71と対象物Xとの間、すなわち、これらの間の光軸上に配置されている。これにより、対象物Xから分光部41に入射された入射光のうち、特定波長を有する出射光を、撮像素子71に向けて選択的に出射する。
このような分光部41は、出射させる出射光の波長領域を変更可能なように、本発明では、波長可変干渉フィルターで構成されている。この波長可変干渉フィルターとしては、特に限定されないが、例えば、静電アクチュエーターにより2つのフィルター(ミラー)間のギャップの大きさを調整することで透過する反射光の波長を制御する、波長可変型のファブリーペローエタロンフィルター、音響光学チューナブルフィルター(AOTF)、リニアバリアブルフィルター(LVF)、液晶チューナブルフィルター(LCTF)等が挙げられるが、中でも、ファブリーペローエタロンフィルターであるのが好ましい。
ファブリーペローエタロンフィルターは、2つのフィルターによる多重干渉を利用して所望波長の反射光を取り出すものである。そのため、厚み寸法を極めて小さくすることができ、具体的には、2.0mm以下に設定することが可能となる。そのため、分光部41ひいては分光カメラ7をより小型なものとし得る。したがって、波長可変フィルターとして、ファブリーペローエタロンフィルターを用いることにより、分光カメラ7のさらなる小型化を実現することができる。
以下、波長可変干渉フィルターとして波長可変型のファブリーペローエタロンフィルターが適用された分光部41について、図6を参照しつつ説明する。
ファブリーペローエタロンフィルターは、平面視において、矩形板状の光学部材であり、固定基板410と、可動基板420と、固定反射膜411と、可動反射膜421と、固定電極412と可動電極422と、接合膜414とを備えている。そして、固定基板410と可動基板420とが積層した状態で、接合膜414を介して一体的に接合されている。
固定基板410は、その中央部に反射膜設置部415が形成されるように、中央部を取り囲んで、厚さ方向に対するエッチングにより溝413が形成されている。かかる構成の固定基板410において、反射膜設置部415の可動基板420側に固定反射膜411で構成される固定光学ミラーが設けられ、溝413の可動基板420側に固定電極412が設けられている。
また、可動基板420は、その中央部に反射膜設置部425である可動部が形成されるように、中央部を取り囲んで、厚さ方向に対するエッチングにより溝423である保持部が形成されている。かかる構成の可動基板420において、反射膜設置部425の固定基板410側すなわち下面側に可動反射膜421で構成される可動光学ミラーが設けられ、さらに、固定基板410側に可動電極422が設けられている。
この可動基板420は、反射膜設置部425と比較して、溝423の厚み寸法が小さく形成されており、これにより、溝423は、固定電極412および可動電極422間に電圧を印加した際の静電引力により撓むダイアフラムとして機能する。
これら固定基板410と可動基板420とは、0.1mm以上1.0mm以下程度の厚みであれば作製可能である。よって、ファブリーペローエタロンフィルターの全体としての厚みを、2.0mm以下に設定し得るため、分光カメラ7の小型化を実現することができる。
このような固定基板410と可動基板420との間において、固定反射膜411と可動反射膜421とは、固定基板410および可動基板420のほぼ中央部で、ギャップを介して対向配置されている。また、固定電極412と可動電極422とは、前記中央部を取り囲む溝部で、ギャップを介して対向配置されている。これらのうち、固定電極412と可動電極422とにより、固定反射膜411と可動反射膜421との間のギャップの大きさを調整する静電アクチュエーター45が構成される。
静電アクチュエーター45を構成する、固定電極412および可動電極422間に電圧を印加することで生じる静電引力により、溝423である保持部に撓みが生じる。その結果、固定反射膜411と可動反射膜421との間のギャップの大きさすなわち距離を変化させることができる。そして、このギャップの大きさを適宜設定することにより、透過する光の波長を選択すること、入射光から所望の波長(波長領域)の光を選択的に出射させることができる。また、固定反射膜411および可動反射膜421の構成を変えることにより、透過する光の半値幅、すなわちファブリーペローエタロンフィルターの分解能を制御することができる。
なお、固定基板410および可動基板420は、それぞれ、例えば、ソーダガラス、結晶性ガラス、石英ガラス、鉛ガラス、カリウムガラス、ホウケイ酸ガラス、無アルカリガラス等の各種ガラスや、水晶等により構成され、接合膜414は、例えば、シロキサンを主材料とするプラズマ重合膜等により構成され、また、固定反射膜411および可動反射膜421は、例えば、Ag等の金属膜や、Ag合金等の合金膜で構成される他、高屈折層としてTiO2、低屈折層としてSiO2を備える誘電体多層膜で構成され、さらに、固定電極412および可動電極422は、各種導電性材料で構成される。
また、分光カメラ7は、本実施形態では、図4、図5に示すように、各種光学部品で構成される光学系81、83を有する構成のものである。
分光部側光学系81は、対象物Xと分光部41との間に配置され、入射光学系としての入射レンズ811と、投射レンズ812とを備え、対象物Xを反射した反射光を分光部41に導く。
また、撮像素子側光学系83は、分光部41と撮像素子71との間に配置され、入出射レンズ831を備え、分光部41により出射された出射光を撮像素子71に導く。
このような光学系81、83のうちの少なくとも1つを分光カメラ7が備えることで、対象物Xを反射する反射光の撮像素子71による集光率の向上を図ることができる。
なお、光学系81、83は、これらのうちの少なくとも1つが、撮像素子71による前記集光率を考慮して、省略されたものであってもよい。
また、分光部側光学系81は、上記のような配置とする場合(図4、図5参照)の他、分光部41と撮像素子側光学系83との間に配置されている構成をなすものであってもよい。
なお、上述したような構成の分光カメラ7は、モーター271の回転軸の回転角度を検出する図示しない角度センサーを有しており、その位置センサーにより、モーター271の回転軸の回転角度が検出できるようになっている。
また、本実施形態では、分光カメラ7は、ロボットアーム20に対して着脱可能であることとしたが、これに限定されず、例えば、分光カメラ7は、ロボットアーム20から離脱不能になっていてもよい。
<制御装置>
制御装置1は、図4、図5に示すように、ロボット制御部11と、分光画像処理部12と、表示制御部13と、記憶部14と、受付部15とを備えており、ロボット2、分光カメラ7および表示装置61等、ロボットシステム100の各部の駆動をそれぞれ制御する。
また、制御装置1は、ロボット制御部11と、分光画像処理部12と、表示制御部13と、記憶部14と、受付部15と、パーソナルコンピューター3との間で、それぞれ、通信可能に構成されている。すなわち、ロボット制御部11と、分光画像処理部12と、表示制御部13と、記憶部14と、受付部15とは、互いに、有線または無線通信で接続されている。
また、制御装置1には、ロボット2と、表示装置61と、入力装置62と、分光カメラ7と、パーソナルコンピューター3とが、それぞれ、有線または無線通信で接続されている。なお、パーソナルコンピューター3は、図4、図5に示すように、制御装置1すなわちロボットシステム100から装脱着が可能なように構成されている。
(ロボット制御部)
ロボット制御部11は、ロボット2の駆動、すなわち、ロボット2が備えるロボットアーム20等の各部の駆動を制御する。ロボット制御部11は、OS等のプログラムがインストールされたコンピューターである。このロボット制御部11は、例えば、プロセッサーとしてのCPUと、RAMと、プログラムが記憶されたROMとを有する。また、ロボット制御部11の機能は、例えば、CPUにより各種プログラムを実行することにより実現することができる。
このロボット制御部11は、具体的には、入力装置62に入力されたユーザーの操作指示、記憶部14に記憶されたプログラム等のソフトウェアを読み込むことで、ロボット2が備える各部の駆動を制御する。
このロボット制御部11は、本実施形態では、図4、図5に示すように、カメラポイント補正部102を有するプログラム実行部101を備えている。プログラム実行部101は、記憶部14から読み込まれたプログラムを実行することで、ロボット2が備える各部の駆動を制御し、例えば、プログラム実行部101が有するカメラポイント補正部102の作動により、第2アーム23に対してシャフト241をz軸方向に移動させることができ、これにより、分光カメラ7のz軸方向に対する位置補正が実現される。
(分光画像処理部)
分光画像処理部12は、光源31、撮像素子71、分光部41等の各部の作動、すなわち、分光カメラ7の全体または各部の駆動を制御する制御部を構成し、かつ、分光カメラ7で得られた分光画像の処理を施すことで、対象物Xの表面性状の検査を実施する。分光画像処理部12は、OS等のプログラムがインストールされたコンピューターである。この分光画像処理部12は、例えば、プロセッサーとしてのCPUと、RAMと、プログラムが記憶されたROMとを有する。また、分光画像処理部12の機能は、例えば、CPUにより各種プログラムを実行することにより実現することができる。
この分光画像処理部12は、具体的には、入力装置62に入力されたユーザーの操作指示、すなわち、対象物Xが有する固有の分光情報を取得するための条件に基づいて、記憶部14に記憶されたプログラム等のソフトウェアを読み込むことで、光源31、分光部41および撮像素子71の作動を制御する。そして、これにより得られた対象物Xの分光画像すなわち分光情報に基づいて、生産ラインで生産された、または、生産途中の物品としての対象物Xの表面性状の検査を実施し、その検査における結果等の情報を、表示装置61において表示する。
この分光画像処理部12は、本実施形態では、図4、図5に示すように、カメラ制御部60と、画像処理実行部65とを有している。これらのうち、カメラ制御部60は、光源制御部601と、分光制御部602と、分光画像取得部603とを備え、分光カメラ7の全体または各部の駆動を制御する。
また、画像処理実行部65は、倍率調整部605を有するスペクトル情報生成部604を備え、分光カメラ7で得られた分光スペクトル画像の処理を施すことで、良品X1、不良品X2のような対象物Xの表面性状の検査を実施する。
カメラ制御部60が有する光源制御部601は、入力装置62に入力されたユーザーの操作指示、具体的には、対象物Xの分光情報を取得するための条件に基づいて、光源31の点灯、消灯を制御するものである。
分光制御部602は、記憶部14に記憶されているV−λデータに基づいて、出射させる分光波長すなわち特定波長に対応する駆動電圧の電圧値(入力値)を取得する。そして、取得した電圧値を、分光部41としてのファブリーペローエタロンフィルターの静電アクチュエーター45に印加させるために指令信号を出力する。すなわち、分光制御部602は、分光部41の作動を制御して、分光部41から出射される光の特定波長の大きさを特定する。また、分光制御部602は、記憶部14に記憶されている各種データに基づいて、波長の変更タイミングの検出、波長の変更、波長の変更に応じた駆動電圧の変更、および測定終了の判断等を行い、当該判断に基づいて指令信号を出力する。
分光画像取得部603は、対象物Xを反射した反射光に基づいた、光量測定データ(受光量)を分光スペクトル画像すなわち分光情報として、撮像素子71において取得(撮像)し、その後、取得された分光画像を記憶部14に記憶させる。なお、分光画像取得部603は、分光画像を記憶部14に記憶させる際に、分光画像とともにかかる分光画像が取得された波長等も併せて記憶部14に記憶させる。
また、画像処理実行部65が有するスペクトル情報生成部604は、記憶部14に記憶された、対象物Xの分光画像および測定された波長等を取得し、スペクトル情報生成部604が備える倍率調整部605において分光画像の倍率を考慮した後に、各波長における分光画像を重ね合せる、すなわち重畳することで分光スペクトル情報を分光スペクトル画像として取得し、これらの分析処理を行う。換言すれば、得られた分光スペクトル画像と、記憶部14に記憶された対象物Xのデータベースとを比較する分光処理を実施することで、対象物Xすなわち生産された、または、生産途中の物品の表面性状を検査し、生産された、または、生産途中の物品が良品であるか否かを判定する。
なお、スペクトル情報生成部604による、分光画像および測定された波長の取得は、記憶部14を介することなく、分光画像取得部603から、直接、実施することもできる。
(表示制御部)
表示制御部13は、表示装置61にウィンドウ等の各種の画面や文字等を表示させる機能を有している。すなわち、表示制御部13は、表示装置61の駆動を制御する。この表示制御部13の機能は、例えば、グラフィックチップ(GPU)等により実現することができる。
(記憶部)
記憶部14は、各種の情報(データやプログラム等を含む)を記憶する機能を有する。この記憶部14は、制御プログラム等を記憶する。記憶部14の機能は、ROM等やいわゆる外部記憶装置(図示せず)によって実現することができる。
当該データは、例えば、制御装置1の各機能を実現させるためのアプリケーション、プログラム等の他、分光部41のファブリーペローエタロンフィルターが備える静電アクチュエーター45に印加する駆動電圧に対する透過光の波長を示す相関データV−λデータ、対象物Xが有する固有の分光情報に基づいて対象物Xの種類等を特定するためのデータベース等が挙げられる。なお、ここで言うデータベースとは、表面性状の検査に供される生産ラインで生産された、または、生産途中の物品としての対象物Xについての分光情報のことを示し、生産された、または、生産途中の物品を良品と判定し得る対象物Xの分光情報を含んでいる。
(受付部)
受付部15は、入力装置62からのユーザーによる入力を受け付ける機能を有している。この受付部15の機能は、例えば、インターフェース回路によって実現することができる。なお、例えばタッチパネルを用いる場合には、受付部15は、ユーザーの指のタッチパネルへの接触等を検知する入力検知部としての機能を有する。
<表示装置>
表示装置61は、例えば、液晶ディスプレイ、有機ELディスプレイ等で構成されたモニター(図示せず)を備えており、例えば、各種の画像(ウィンドウ等の各種の画面等を含む)や文字等を表示する表示部としての機能を有する。
この表示装置61は、検査に供された対象物Xすなわち生産された、または、生産途中の物品の分光スペクトル画像等を含む対象物Xの表面性状の検査結果の情報等の各種の可視化画像を表示する。
表示装置61で表示する可視化画像すなわち検査に供された対象物Xの情報としては、例えば、対象物Xすなわち生産された、または、生産途中の物品が良品か否かの判定結果、不良品と判定された場合、その理由、さらには不良が生じている位置、良品か否かの判定精度(%)等が挙げられる。
<入力装置>
入力装置62は、例えば、マウスや、キーボード等で構成されている。したがって、ユーザーは、入力装置62を操作することで、制御装置1に対して各種の処理等の指示、例えば、対象物Xの分光情報を取得するための指示を行うことができる。
具体的には、ユーザーは、表示装置61に表示される各種画面(ウィンドウ等)に対して入力装置62のマウスでクリックする操作や、入力装置62のキーボードで文字や数字等を入力する操作により、制御装置1に対する指示を行うことができる。
なお、本実施形態では、表示装置61および入力装置62の代わりに、表示装置61および入力装置62を兼ね備えた表示入力装置を設けてもよい。表示入力装置としては、例えば静電式タッチパネルや感圧式タッチパネル等のタッチパネルを用いることができる。また、入力装置62は、音声等の音を認識する構成であってもよい。
<パーソナルコンピューター>
パーソナルコンピューター3は、入力装置36に入力されたユーザーの操作指示に基づいて、制御装置1が備える分光画像処理部12およびロボット制御部11が備えるプログラム等のソフトウェアの編集等を実施するとともに、ロボット2および分光カメラ7の駆動を制御することで、後述する調整処理を実施し、これらの実施の状況等が表示装置35において表示される。このパーソナルコンピューター3は、例えば、プロセッサーとしてのCPUと、RAMと、プログラムが記憶されたROMとを有する。また、パーソナルコンピューター3の機能は、例えば、CPUにより各種プログラムを実行することにより実現することができる。
このパーソナルコンピューター3は、本実施形態では、図5に示すように、ロボット制御プログラム編集部301と、画像処理編集部302と、収差補正キャリブレーション実行部303とを備えている。
ロボット制御プログラム編集部301は、ロボット制御部11が備えるプログラム実行部101が実行するプログラムの編集を行い、これにより、ロボット2が作動する条件等が変更される。
画像処理編集部302は、分光画像処理部12が備える画像処理実行部65が実行するプログラムの編集を行い、これにより、分光カメラ7が作動する条件、分光カメラ7により取得された分光画像を処理する条件等が変更される。
収差補正キャリブレーション実行部303は、ロボット2および分光カメラ7の駆動を制御することで、後述する調整処理を実施する。
なお、このパーソナルコンピューター3は、制御装置1すなわちロボットシステム100に対して、装脱着が可能なように構成されており、分光画像処理部12およびロボット制御部11が備えるプログラム等のソフトウェアを編集する際、ならびに、後述する調整処理を実施する際には、図5に示すように、制御装置1に対して装着される。これに対して、それ以外のとき、例えば、後述する検査処理を実施する際には、パーソナルコンピューター3は、図4に示すように、制御装置1から脱着されていてもよい。
また、本実施形態では、ロボットアーム20の回動軸の数は、3つであるが、本発明では、これに限定されず、ロボットアーム20の回動軸の数は、例えば、1つ、2つ、または、4つ以上でもよい。すなわち、本実施形態では、アーム(リンク)の数は、3つであるが、本発明では、これに限定されず、アームの数は、例えば、2つ、または、4つ以上でもよい。
さらに、本実施形態では、ロボットアーム20の数は、1つであるが、本発明では、これに限定されず、ロボットアーム20の数は、例えば、2つ以上でもよい。すなわち、ロボット2は、例えば、双腕ロボット等の複数腕ロボットであってもよい。
また、本発明では、ロボット2(ロボット本体)は、他の種類(形式)のロボットであってもよい。具体例としては、例えば、垂直多関節ロボット、脚部を有する脚式歩行(走行)ロボット等が挙げられる。「垂直多関節ロボット」とは、軸数(アーム数)が3つ以上であり、かつ、3つの軸のうちの2つの軸が互いに交差(直交)しているロボットのことを言う。
また、本実施形態では、制御装置1がロボット制御部11と分光画像処理部12とを備える場合については説明したが、かかる構成に限定されず、ロボット制御部11は、ロボット制御装置として独立して設けられていてもよいし、分光画像処理部12は、分光画像処理装置として独立して設けられていてもよい。
以上のような分光カメラ7とロボット2とを備えるロボットシステム100は、記憶部14が備えるプログラムをロボット制御部11および分光画像処理部12において起動させることで、生産ラインで生産された、または、生産途中の物品における表面性状の検査、すなわち、対象物Xを検査する分光検査方法を実施することができる。以下、このロボットシステム100を用いた物品の表面性状を検査する検査方法について、説明する。
[物品の表面性状を検査する検査方法]
以下、前述したロボットシステム100を用いた、対象物Xとしての物品の表面性状を検査する検査方法を、すなわち、物品の色や物品に付着している異物の有無を検査する検査方法を、図7〜図19を用いて、以下に詳述する。
図7は、フォーカスが合う位置と、波長可変干渉フィルターを透過する光の波長との関係を示す模式図、図8は、フォーカスが合う位置と、波長可変干渉フィルターを透過する光の波長との関係を示すグラフ、図9は、波長可変干渉フィルターを透過する光の波長と、その波長において得られる分光画像の倍率との関係を示すグラフ、図10は、物品の表面性状を検査する検査方法で実施される、調整処理および検査処理の概略を説明するための模式図、図11は、物品の表面性状を検査する検査方法で実施される、調整処理を説明するための模式図、図12は、物品の表面性状を検査する検査方法で実施される、調整処理を説明するための模式図、図13は、図5に示すロボットシステムにより物品の表面性状を検査する検査方法が有する調整処理を実施する際のフローチャート、図14は、各波長において、フォーカスが合う位置を決定する方法を説明するための模式図、図15は、波長と、各波長において決定されたフォーカスが合う位置の位置P1からのズレ量ΔZ、および、各波長において取得される分光画像の倍率との関係の一例を示す表、図16は、図4に示すロボットシステムにより物品の表面性状を検査する検査方法が有する検査処理を実施する際に入力する条件の一例を示す模式図、図17は、図4に示すロボットシステムにより物品の表面性状を検査する検査方法が有する検査処理を実施する際のタイミングチャート、図18は、各波長について倍率変換がなされた分光画像が重ね合わされた状態を示す模式図、図19は、各波長について倍率変換がなされた分光画像を重ね合せることで得られた分光スペクトル情報を示す模式図である。
このロボットシステム100を用いた検査方法は、分光カメラ7の光軸方向における、作業台8に設置された対象物Xと、分光カメラ7との間の距離を変化させ、第1波長において、分光カメラ7のフォーカスが対象物Xに合う第1位置で、第1波長における第1分光画像を取得し、第1波長より長い波長である第2波長において、分光カメラ7のフォーカスが対象物Xに合う第2位置で、前記第2波長における第2分光画像を取得する撮像工程と、第1分光画像に含まれる対象物Xの大きさに対し、第2分光画像に含まれる対象物Xの大きさが同一となるように第2分光画像を拡大した後に、拡大された前記第2分光画像を重ね合わせることで、分光スペクトル画像を取得する重畳工程とを有している。
ここで、波長可変干渉フィルターである分光部41で、短波長である600nmの光を透過させた場合と、長波長である1000nmの光を透過させた場合とでは、図7に示すように、分光カメラ7が備える投射レンズ812における光の屈折率がそれぞれの波長において異なってくる。なお、説明の便宜上、図7では、分光カメラ7が備える投射レンズ812以外のレンズについては、その記載を省略している。
そのため、波長600nmの光を透過させて分光画像を撮像素子71で得るときと、波長1000nmの光を透過させて分光画像を撮像素子71で得るときとでは、投射レンズ812と撮像素子71との間の焦点距離が一定であるとすると、検査すべき物品すなわち対象物Xにフォーカスが合う位置は、図7、図8に示す通り、波長600nmの光を透過させたときが近位となり、波長1000nmの光を透過させたときが遠位となる差が生じる。
このようにフォーカスが合う位置が波長600nmの光を透過させた場合と、波長1000nmの光を透過させた場合とでは異なることから、図9に示す通り、波長600nmの光を透過させたときに得られる分光画像の倍率すなわち大きさは、波長1000nmの光を透過させたときに得られる分光画像の倍率すなわち大きさと比較して、大きくなる倍率色収差が発生する。
したがって、異なる波長において撮像された分光画像を、そのまま重ねると、重ねた分光画像同士の間で位置ずれが生じる倍率色収差を含んだ分光画像が生成されることになる。
これに対して、この検査方法では、作業台8に設置された対象物Xと、分光カメラ7とを、分光カメラ7の光軸方向に、相対的に移動させつつ、分光カメラ7により、対象物Xのフォーカスが合う位置で、異なる波長における分光画像を取得する撮像工程により、フォーカスが合致した分光画像を、異なる波長毎に取得する。その後、分光画像中の対象物Xの大きさが同一となるように、最小の波長において取得された分光画像に対して、各分光画像を拡大した後に、拡大された各分光画像を重ね合わせることで、分光スペクトル画像を取得する重畳工程により、各分光画像倍率を一致させて重ね合せることから、重ねた分光画像同士の間で位置ずれを生じることなく、倍率色収差を含まない分光画像を得ることができる。そのため、生産された、または、生産途中の物品について、その表面性状の検査を、優れた精度で実施することができる。なお、分光画像中の対象物Xの大きさが同一、とは、分光画像において対象物Xが占める領域と、比較対象となる他の分光画像において対象物Xが占める領域との差分が、所定の範囲内にあることを言う。大きさを比較する要素は領域に限らず、輪郭、画素数、対象物Xの基準となる形状データに対するマッチング度、であってもよい。
ところで、このような分光検査方法、すなわち、物品の表面性状を検査する検査方法では、予め、L字やT字のような文字等のマークに対するフォーカスの調整を行うことで、分光部41すなわち分光カメラ7で透過させる光の波長と、投射レンズ812すなわち分光カメラ7のフォーカスが合う位置および撮像素子71で得られる分光画像の倍率との関係を決定する調整処理を実施し、その後、所定の領域であるSpectrum Match01またはSpectrum Match02に配置された物品の表面性状を検査する検査処理を実施する(図10参照)。
したがって、以下では、この検査方法における、調整処理および検査処理について、順次、説明する。
(調整処理)
まず、物品の表面性状を検査する検査方法における調整処理について説明する。なお、この調整処理では、前述の通り、ロボットシステム100が備える制御装置1にパーソナルコンピューター3が装着された状態で実施される。
<1A> まず、図13に示すように、ユーザーは、パーソナルコンピューター3が備える入力装置36の操作により、分光部41すなわち分光カメラ7で透過させる光の波長と、投射レンズ812すなわち分光カメラ7のフォーカスが合う位置および撮像素子71で得られる分光画像の倍率との関係を決定する調整処理を実施する収差補正キャリブレーションのプログラムを起動させた後、このプログラムの指示に従って、必要に応じて条件等の選択を行う(S1A)。
なお、プログラムの指示に従って入力する条件としては、例えば、ロボット2に複数の分光カメラ7が設置されている場合には、測定する分光カメラ7の指定、その分光カメラ7の設定位置、ロボット2による分光カメラ7の移動後に分光カメラ7による撮像を開始するまでの時間、分光部41で透過させる光の最小の波長、最大の波長および波長のピッチ、分光カメラ7を設置する位置P1、および、位置P1から移動させる最大距離等が挙げられる。
<2A> 次いで、分光部41で透過させる光の最小の波長、すなわち最も短い波長である最短波長と、投射レンズ812すなわち分光カメラ7のフォーカスが合う位置および撮像素子71で得られる分光画像の倍率との関係を決定する。すなわち、分光部41で最小の波長の光を透過させたときにおける、分光カメラ7のフォーカスが合う位置および撮像素子71で得られる分光画像の倍率を特定する。
<2A−1> まず、入力装置36における、ユーザーによる入力指示に従って、パーソナルコンピューター3が備える収差補正キャリブレーション実行部303は、ロボット制御部11が備えるカメラポイント補正部102の作動により、ロボット2のシャフト241をz軸方向に移動させることで、図14に示すように、分光カメラ7を初期設定位置である位置P1に移動させる(S2A)。
<2A−2> 次いで、収差補正キャリブレーション実行部303は、カメラ制御部60が備える分光制御部602の作動により、分光部41で透過される光の波長を、最小の波長、すなわち、図14、図15では、600nmに設定する(S3A)。
なお、分光画像処理部12による、分光部41で透過される光の波長の設定は、記憶部14に記憶されているV−λデータに基づいて、透過される光の波長、すなわち、出射させる分光波長に対応する駆動電圧の電圧値(入力値)を取得し、その後、取得した電圧値を、分光部41としてのファブリーペローエタロンフィルターの静電アクチュエーター45に印加することで実施される。
<2A−3> 次いで、収差補正キャリブレーション実行部303は、カメラ制御部60が備える分光画像取得部603の作動により、撮像素子71により分光画像を取得することと、ロボット制御部11が備えるカメラポイント補正部102の作動により、分光カメラ7をz軸方向に移動させることとを、繰り返して実施することで、分光部41で透過される光の波長が、最小の波長、すなわち、600nmであるときに、フォーカスが合う位置、換言すれば、フォーカス値最小のポイントを特定する(S4A)。フォーカスの合う位置は、フォーカスの合う度合を表すフォーカス値を最小とするポイントとして決定する。たとえば、輝度勾配が一定以上の領域のピクセル数を指標として、それを最小とするポイントとする方法がある。物体の輪郭がぼやけている幅の平均ピクセル数を指標として、それを最小とするポイントでもよい。
このフォーカス値最小のポイントの特定は、図14に示すように、例えば、分光カメラ7が最初に設置されている位置P1から+z軸方向すなわち上方向に小さな間隔で移動させた後に、分光画像取得部603の作動による撮像素子71での分光画像の取得と、スペクトル情報生成部604の作動による取得された分光画像の画像処理とを実施するFocusTestシーケンス実行を繰り返して実施することで行うことができる。
より具体的には、取得された分光画像の画像処理は、図11に示す、Geom01のモデルでは、図中のL字の画像を検出した後に、このL字の画像について解析を行い、各位置において取得された分光画像において、L字のフレームすなわち境界部が占有している画素の数が最小となっている位置を、フォーカスが合う位置、すなわち、フォーカス値最小のポイントとして特定する。
以上のように、最小の波長において、作業台8に設置された対象物XすなわちマークとしてのL字を含む分光画像を、分光カメラ7の光軸方向にL字と分光カメラ7との間の距離を変化させた状態で、分光カメラ7により連続的に取得し、分光画像においてL字の境界部が、占有している画素の数が最小となっている分光画像が取得された位置を、フォーカスが合う合焦位置として特定する。
なお、フォーカス値最小のポイントの特定の際には、上記の通り、位置P1を最下点として、そこからロボット2が有するシャフト241すなわち分光カメラ7を上方に移動させる構成とするのが好ましい。そのため、位置P1は、最小の波長のときに焦点の合う位置、またはそれよりも少し下側の位置に設定しておくのが好ましい。すなわち、フォーカスが合う位置すなわち合焦位置よりも近い位置に、対象物XとしてのL字に対して分光カメラ7を配置し、その後、分光カメラ7を、光軸方向に沿って、L字から遠ざかるように移動させること、すなわち分光カメラ7とL字との間の距離が長くなるように変化させることが好ましい。これにより、位置P1よりも対象物X側にシャフト241および分光カメラ7が近づく必要がなく、分光カメラ7と対象物Xとが衝突する可能性がなくなるため、安全性の向上が図られる。
また、フォーカス値最小のポイントの特定は、L字の画像について解析を行う場合に限らず、例えば、図12に示すような、円形をなす外枠の境界部が占有している画素の数を求めることによって実施することも可能である。
<2A−4> 次いで、収差補正キャリブレーション実行部303は、分光部41で透過される光の波長が、最小の波長、すなわち、600nmであるときのフォーカス値最小のポイントの位置P1からのズレ量ΔZ、および、このズレ量ΔZときに取得された分光画像の倍率を1として、記憶部14に記憶させる(S5A)。
<3A> 次に、最小の波長の光における、フォーカス値最小のポイントの特定の後に、最小の波長の光よりも長波長の光におけるフォーカス値最小のポイントの特定が必要か否かを、前記工程<1A>において、ユーザーによって選択された条件、すなわち、分光部41で透過させる光の最小の波長、最大の波長および波長の選択されたピッチに基づいて判定する。すなわち、最小の波長の光から、最大の波長の光となる波長域において、この波長域を一定の波長の幅で分割したピッチで、続けて、その波長の光におけるフォーカス値最小のポイントの特定を、取得する必要があると判定し、最大の波長、すなわち最も長い波長である最長波長を超えた光となった時点で、その波長の光におけるフォーカス値最小のポイントの特定を終了する(S6A)。
この判定(S6A)において、フォーカス値最小のポイントの特定がなされた波長の光よりも長波長の光で、フォーカス値最小のポイントを特定する必要がある場合には、ユーザーにより設定されたピッチ分、すなわち、図14、図15では100nmを加算した波長の光を分光部41で透過し得るように、収差補正キャリブレーション実行部303は、分光制御部602を作動させ(S3’A)、その後、前記工程<2A>〜本工程<3A>を繰り返して実施する。これにより、フォーカス値最小のポイントの特定がなされた波長の光よりも長波長の光における、フォーカス値最小のポイントすなわちフォーカスが合う位置が特定される。このような最小の波長以上の光におけるフォーカス値最小のポイントの特定を、最小の波長から一定のピッチで最大の波長となるまで、繰り返して実施する。すなわち、図14、図15では、600nmから、100nmのピッチで、1000nmとなるまで、繰り返して実施する。
上記の通り、前記工程<2A>〜本工程<3A>を繰り返して実施することで、最小の波長の光から、一定のピッチで、最大の波長の光を分光部41で透過させたときのフォーカス値最小のポイントの位置P1からのズレ量ΔZ、および、このときの分光画像の倍率を得ることができる。
すなわち、最小の波長600nmから、100nmのピッチで、最大の波長1000nmまで分光部41を透過させる光を変化させたときの各波長と、フォーカス値最小のポイントの位置P1からのズレ量ΔZ、および、このときの分光画像の倍率との関係は、図15に示す通りとなる。
一方、最大の波長を超えた光となり、その波長の光におけるフォーカス値最小のポイントを特定する必要がない場合には、前記工程<2A>〜本工程<3A>の繰り返しを終了し、次工程<4A>に移行する。
<4A> 次に、収差補正キャリブレーション実行部303は、分光部41で透過される光の波長が、最小の波長から一定のピッチで最大の波長となるまで、繰り返して特定された、フォーカス値最小のポイントの位置P1からのズレ量ΔZ、および、このときに得られる分光画像の倍率を、分光部41で透過される光の波長と、フォーカス値最小のポイントの位置P1からのズレ量ΔZ、および、このときに得られる分光画像の倍率との関係を示すキャリブレーションデータとして、改めて、記憶部14に記憶させる(S7A)。
すなわち、図14、図15のように、最小の波長600nmから、100nmのピッチで、最大の波長1000nmまで分光部41を透過させる光を変化させたときには、図16に示す、各波長と、フォーカス値最小のポイントの位置P1からのズレ量ΔZ、および、このときの分光画像の倍率との関係をキャリブレーションデータとして、記憶部14に記憶させる。
以上のように、フォーカスを調整する調整処理、すなわち、工程<1A>〜工程<4A>を経ることで、分光部41すなわち分光カメラ7で透過させる光の波長と、投射レンズ812すなわち分光カメラ7のフォーカスが合う位置および撮像素子71すなわち分光カメラ7で得られる分光画像の倍率との関係を決定することができる。
換言すれば、以上のようなフォーカスを調整する調整処理により、異なる波長において、前記波長と、取得される分光画像のフォーカスが合う位置、および、分光画像の倍率との関係を特定する、すなわち、予め受け付けた設定波長において、分光カメラ7のフォーカスが対象物Xに合う位置と、前記位置で取得される分光画像の倍率と、の関係を特定する調整工程が構成される。
次に、フォーカスを調整する調整処理が実施されたロボットシステム100を用いて、所定の領域であるSpectrum Match01またはSpectrum Match02に配置された物品の表面性状を検査する検査処理が実施される。
(検査処理)
次に、物品の表面性状を検査する検査方法における検査処理について説明する。なお、この検査処理では、ロボットシステム100が備える制御装置1から、通常、パーソナルコンピューター3が取り外された状態で実施される。なお、このパーソナルコンピューター3が取り外されたロボットシステム100、すなわち、ロボット2と、分光カメラ7と、制御装置1とにより、分光画像処理装置が構成される。
<1B> まず、ユーザーは、図17に示すように、入力装置62の操作により、所定の領域に配置された物品の表面性状を検査する検査処理を実施するプログラムを起動させた後、このプログラムの指示に従って、必要に応じて条件等の選択を行う(S1B)。
なお、プログラムの指示に従って入力する条件としては、例えば、物品の表面性状を検査する領域、具体的には、Spectrum Match01およびSpectrum Match02の領域のうち何れにおいて検査を実施するのかを指定すること、物品の表面性状を検査する検査の種類、具体的には、物品の色または物品に付着している異物の有無のうち何れの検査を実施するのかを指定すること、検査開始時および検査終了時に分光カメラ7を配置させる位置、ロボット2による分光カメラ7の移動の後に、分光カメラ7による物品の分光画像の取得までに待機する時間、ならびに、分光カメラ7で物品の分光画像を取得する際の波長領域およびこの波長領域において波長を変化させるピッチ等が挙げられる(図16参照)。
<2B> 次いで、前述した調整処理で取得した、分光部41すなわち分光カメラ7で透過させる光の波長と、投射レンズ812すなわち分光カメラ7のフォーカスが合う位置および撮像素子71すなわち分光カメラ7で得られる分光画像の倍率との関係に基づいて、前記工程<1B>において設定された波長領域において、設定されたピッチで、撮像素子71すなわち分光カメラ7により分光画像を取得する。
<2B−1> まず、入力装置62における、ユーザーによる入力指示に従って、画像処理実行部65は、ロボット制御部11が備えるカメラポイント補正部102の作動により、シャフト241をz軸方向すなわち光軸方向に移動させることで、分光カメラ7を位置P0に配置させた後に、前記工程<1B>において設定された波長領域のうち最低の波長すなわち第1波長において、分光カメラ7のフォーカスが合う位置、すなわち、図18、図19では、600nmにおいて、分光カメラ7のフォーカスが合う、P1からのズレ量ΔZが5mmとなっている位置に移動させる(S2B)。
このようなシャフト241すなわちロボットアーム20の駆動により、分光カメラ7を、対象物Xに対して光軸方向に移動させることができる。すなわち、光軸方向における、分光カメラ7と対象物Xとの間の距離を変化させることができる。
<2B−2> 次いで、画像処理実行部65は、カメラ制御部60が備える分光制御部602の作動により、分光部41で透過される光の波長を、前記工程<1B>において設定された波長領域のうち最低の波長、すなわち、図18、図19では、600nmに設定する(S3B)。
なお、分光画像処理部12による、分光部41で透過される光の波長の設定は、記憶部14に記憶されているV−λデータに基づいて、透過される光の波長、すなわち、出射させる分光波長に対応する駆動電圧の電圧値(入力値)を取得し、その後、取得した電圧値を、分光部41としてのファブリーペローエタロンフィルターの静電アクチュエーター45に印加することで実施される。
<2B−3> 次いで、画像処理実行部65は、カメラ制御部60が備える分光画像取得部603の作動により、撮像素子71により分光画像すなわち第1分光画像を取得する(S4B)。
なお、図10に示す、Geom02のモデルでは、図中のSpectrum Match01またはSpectrum Match02の領域に配置された物品が含まれるように、撮像素子71により分光画像を取得する。
<2B−4> 次いで、画像処理実行部65は、前記工程<2B−3>で取得された分光カメラ7のフォーカスが合っている分光画像と、この分光画像が取得された光の波長が最小の波長(第1波長)、すなわち、600nmであることと、このときに取得された分光画像(第1分光画像)の倍率が1であることとを、記憶部14に記憶させる(S5B)。
<3B> 次に、最小の波長の光における、分光カメラ7のフォーカスが合う位置での分光カメラ7による分光画像の取得の後に、最小の波長の光よりも長波長の光における、分光カメラ7のフォーカスが合う位置での分光カメラ7による分光画像の取得が必要か否かを、前記工程<1B>において、ユーザーによって選択された条件、すなわち、分光部41で透過させる光の最小の波長、最大の波長および波長のピッチに基づいて判定する。すなわち、最小の波長の光から、選択された波長のピッチで、最大の波長の光となるまで、続けて、その波長の光における、分光カメラ7のフォーカスが合う位置での分光画像の取得を、実施する必要があると判定し、最大の波長を超えた光となった時点で、その波長の光における分光画像の取得を終了する(S6B)。
この判定(S6B)において、フォーカスが合う位置での分光カメラ7による分光画像の取得がなされた波長の光よりも長波長(第2波長)の光で、フォーカスが合う位置での分光カメラ7による分光画像(第2分光画像)を取得する必要がある場合には、ユーザーにより設定されたピッチ分、すなわち、図18、図19では20nmを加算した波長の光を分光部41で透過し得るように、画像処理実行部65は、分光制御部602を作動させ、その後、前記工程<2B>〜本工程<3B>を繰り返して実施する。これにより、フォーカスが合う位置での分光カメラ7による分光画像の取得がなされた波長の光よりも長波長の光における、フォーカスが合う位置での分光カメラ7による分光画像の取得が実施される。このような最小の波長以上の光におけるフォーカスが合う位置での分光カメラ7による分光画像の取得を、前記工程<1B>において、ユーザーによって選択された波長領域において、最小の波長から一定のピッチで最大の波長となるまで、繰り返して実施する。すなわち、図18、図19では、600nmから、20nmのピッチで、1000nmとなるまで、繰り返して実施する。
このように、分光画像を取得する最小の波長、分光画像を取得する最大の波長、および、最小の波長から最大の波長までの間で分光画像を取得する波長のピッチを設定して、最小の波長から、前記ピッチの間隔で、最大の波長まで、順次、フォーカスが合う位置での分光カメラ7による分光画像の取得が実施される。すなわち、分光画像を取得する、最も短い波長である最短波長から最も長い波長である最長波長までの波長域と、波長域を一定の波長で分割するピッチを設定し、前記最短波長、前記最長波長および前記ピッチに基づいて、前記最短波長から、前記ピッチの間隔で、前記最長波長まで、順次、フォーカスが合う位置となるように、分光カメラ7と対象物Xとの間の距離を変化させた状態で、分光カメラ7による分光画像の取得が実施される。これにより、一定の間隔の波長における分光画像の情報を含む、精度の良い分光スペクトル画像を取得することが出来る。
また、分光画像を取得する波長を、最小の波長から、前記ピッチの間隔で、最大の波長まで変更することで、分光カメラ7を、光軸方向に沿って、対象物Xから遠ざかるように移動させること、すなわち、分光カメラ7と対象物Xとの間の距離が長くなるように変化させることができる。これにより、分光カメラ7に対象物Xが接触するのを確実に防止することができる。
なお、分光画像を取得する波長のピッチは、上記では20nmとしたが、これに限定されず、前記調整処理において、分光カメラ7で透過させる光の波長と、分光カメラ7のフォーカスが合う位置および分光カメラ7で得られる分光画像の倍率との関係が明らかとなっており、これらの関係が満足していれば、前記波長のピッチは、20nm以上であっても、20nm以下であってもよい。
上記の通り、前記工程<2B>〜本工程<3B>を繰り返して実施することで、前記工程<1B>において、ユーザーによって選択された波長領域において、最小の波長の光から、一定のピッチで、最大の波長の光における分光画像が、フォーカスが合ったものとして取得することができる。
すなわち、図18、図19のように、最小の波長600nmから、20nmのピッチで、最大の波長1000nmまで分光部41を透過させる光を変化させたときの分光画像が、フォーカスが合ったものとして取得することができる。なお、このようにして取得された各波長における分光画像と、これら分光画像の倍率との関係についても、前記調整処理を経ていることから、明らかとなっている。
一方、最大の波長を超えた光となり、その波長の光におけるフォーカスが合う位置での分光画像の取得が必要ない場合には、前記工程<2B>〜本工程<3B>の繰り返しを終了し、次工程<4B>に移行する。
以上のような、前記工程<2B>〜本工程<3B>の繰り返しにより、分光カメラ7の光軸方向における、作業台8に設置された対象物Xと、分光カメラ7との間の距離を変化せ、分光カメラ7により、第1波長において、対象物Xのフォーカスが合う第1位置で、第1波長における第1分光画像を取得し、第1波長より長い波長である第2波長において分光カメラのフォーカスが合う第2位置で、第2波長における第2分光画像を取得する撮像工程が構成される。
<4B> 次に、画像処理実行部65は、分光部41で透過される光の波長が、前記工程<1B>において、ユーザーによって選択された波長領域において、最小の波長から一定のピッチで最大の波長となるまで、繰り返して取得された、分光カメラ7のフォーカスが合っている分光画像と、その分光画像が取得された光の波長と、その分光画像が取得された波長における分光画像の倍率とを、検査すべき物品の分光画像データとして、改めて、記憶部14に記憶させる(S7B)。
すなわち、図18、図19のように、最小の波長600nmから、20nmのピッチで、最大の波長1000nmまで分光カメラ7のフォーカスが合っている分光画像を取得したときには、これらの分光画像とともに、これに対応する光の波長と、その波長における分光画像の倍率とを、検査すべき物品の分光画像データとして、記憶部14に記憶させる。
以上のように、工程<1B>〜工程<4B>を経ることで、ユーザーによって選択された波長領域において、最小の波長から一定のピッチで最大の波長となるまでの間で、分光カメラ7のフォーカスが合っている分光画像を取得し得るとともに、各波長における分光画像の倍率を決定することができる。
<5B> 次に、画像処理実行部65が備えるスペクトル情報生成部604が有する倍率調整部605は、記憶部14に記憶された、検査すべき物品の分光画像データ、すなわち、ユーザーによって選択された波長領域において、最小の波長から一定のピッチで最大の波長となるまで、繰り返して取得された、分光カメラ7のフォーカスが合っている分光画像と、その分光画像が取得された光の波長と、その分光画像が取得された波長における分光画像の倍率とを取得する。そして、各波長に対応する分光画像について、それぞれ、その波長に対応する分光画像の倍率の逆数を掛ける(S8B)。これにより、各波長について、倍率変換がなされた分光画像を、図18に示すように、最小の波長すなわち600nmにおける分光画像が最も小さく、最大の波長すなわち1000nmにおける分光画像が最も大きいものとして得られ、その結果、各波長における分光画像で撮像されている対象物Xを、同一の大きさを有するものとし得る。
<6B> 次に、画像処理実行部65が備えるスペクトル情報生成部604は、図18、図19に示すように、各波長において、それぞれ、拡大された分光画像すなわち倍率変換がなされた分光画像を、z軸方向に沿った光軸に対応する点を視野中心とし、この視野中心を基準点として、重ね合せることで分光スペクトル画像Ssamを得ることができる(S9B)。
なお、倍率が1の最小の波長における分光画像を基準として、倍率が1未満となっている他の波長における分光画像については、基準とする分光画像の外側に位置する領域をトリミングする。これにより、図18に示すように、倍率変換がなされた各波長の分光画像を同視野の画像として重ね合せて分光スペクトル画像Ssamとすることができる。
以上のように、各波長で取得された分光画像を重ね合せることで分光スペクトル画像Ssamを得る際に、各波長における分光画像の倍率を考慮して倍率変換がなされた後の分光画像を重ね合せていることから、重ね合わせた分光画像同士の間で位置ずれが生じるのを的確に抑制または防止することができる。したがって、倍率色収差が含まれることが的確に抑制または防止された分光スペクトル画像Ssamを得ることができる。
以上のような、前記工程<5B>〜本工程<6B>により、第1分光画像に含まれる対象物Xの大きさに対し、第2分光画像に含まれる対象物Xの大きさが同一となるように第2分光画像を拡大した後に、拡大された第2分光画像を重ね合わせることで、分光スペクトル画像を取得する重畳工程が構成される。
また、各波長における分光画像は、前述の通り、z軸方向を光軸方向として分光カメラ7を、このz軸方向に移動させることで取得している。そのため、z軸方向に沿った光軸の中心を視野中心として、重ね合せるだけで、各波長における分光画像同士の間で位置ずれが生じるのを的確に抑制または防止した状態で、分光スペクトル画像Ssamを得ることができる。すなわち、各波長における分光画像同士の重ね合わせを、位置ずれが生じるのを的確に抑制または防止した状態で、容易に実施することができるため、この重ね合わせにより得られる分光スペクトル画像Ssamを容易に取得することができる。このように、対象物Xすなわち生産された、または、生産途中の物品の分光スペクトル画像Ssamを、正確なスペクトル情報として得ることができるため、生産された、または、生産途中の物品における表面性状を優れた精度で検査することができる。
なお、本工程<6B>において分光スペクトル画像Ssamを得る際には、ロボット2の作動を伴わないことから、検査処理の終了後のことを考慮して、カメラポイント補正部102は、シャフト241を第2アーム23に対してz軸方向に移動させることで、例えば、分光カメラ7を位置P10の位置に配置させることが好ましい。
<7B> 次いで、スペクトル情報生成部604は、得られた分光スペクトル画像Ssamすなわち代表画像に基づいて、検査すべき物品すなわち対象物Xの表面性状を検査する(検査工程)。
換言すれば、スペクトル情報生成部604は、前記工程<6B>において得られた、分光スペクトル画像Ssamを取得する。その後、分光情報としての分光スペクトル画像Ssamを、特徴量として用い、データベースと比較する分析処理を実施することで、検査すべき物品である対象物Xの表面性状を検査する。
具体的には、スペクトル情報生成部604は、記憶部14に予め記憶された表面性状が良品であると判断された物品のデータrを取得し、このデータrを用いて対象物Xの分光スペクトル画像Ssamがデータrと一致するか否かを判別することで、対象物Xの表面性状を検査する。
より詳しくは、まず、データrと一致するか否かを判別するのに適した判別空間へ、特徴量としての分光スペクトル画像Ssamを射影する。すなわち、射影関数f(・)を特定の判別基準に基づき生成する。なお、この判別基準としては、例えば、フィッシャー判別基準、最小二乗基準等が挙げられる。そして、対象物Xの分光スペクトル画像Ssamを判別空間に射影し、位置yとする。
y=f(Ssam)
同様に、良品と判断された物品のデータrについても、判別空間に投影し、y(r)とする。そして、対象物Xの判別空間上の位置yと、良品と判断された物品との判別空間での距離mすなわち判別空間距離を計算する。
m=g(y,y(r))
ここで、g(a,b)は判別空間でのaとbとの距離を算出する関数である。また、距離としては、例えば、マハラノビス距離、ユークリッド距離等を用いることができる。
そして、この得られた距離mが、一定の閾値よりも小さいものを、対象物Xが良品であると判断する。すなわち、対象物Xは良品と同等の色を有している、または、対象物Xには異物が付着していないと判断する。
以上のように、前記工程<6B>では、各波長で取得された分光画像を重ね合せることで分光スペクトル画像Ssamを得る際に、各波長における分光画像の倍率を考慮して倍率変換がなされた後の分光画像を重ね合せていることから、重ね合わせた分光画像同士の間で位置ずれが生じるのを的確に抑制または防止することができる。したがって、倍率色収差が含まれることが的確に抑制または防止された分光スペクトル画像Ssamを得ることができる。
また、各波長における分光画像は、前述の通り、z軸方向を光軸方向として分光カメラ7を、このz軸方向に移動させることで取得している。そのため、z軸方向に沿った光軸の中心を視野中心として、重ね合せるだけで、各波長における分光画像同士の間で位置ずれが生じるのを的確に抑制または防止した状態で、分光スペクトル画像Ssamを得ることができる。すなわち、各波長における分光画像同士の重ね合わせを、位置ずれが生じるのを的確に抑制または防止した状態で、容易に実施することができるため、この重ね合わせにより得られる分光スペクトル画像Ssamを容易に取得することができる。このように、対象物Xすなわち生産された、または、生産途中の物品の分光スペクトル画像Ssamを、正確なスペクトル情報として得ることができる。そのため、生産された、または、生産途中の物品における表面性状の検査を、本工程<7B>において、優れた精度で実施することができる。
<8B> 次に、表示制御部13は、スペクトル情報生成部604で特定された対象物Xの検査結果を可視化画像として作成し、その後、この可視化画像を、表示装置61に表示させる(S7B)。
この可視化画像として、表示装置61に表示させる対象物Xの情報としては、対象物Xが良品または不良品であるかの検査結果、また、良品である場合、良品である確率(%)、さらに、不良品である場合、不良品と判断された理由、異物が付着している位置等の情報が挙げられる。
以上のような、ロボットシステム100を用いた、工程<1B>〜工程<8B>を経る検査処理を実施することで、対象物Xの検査が行われる。
なお、分光情報としての分光スペクトルと、記憶部14に記憶されたデータベースとを比較する分光処理を、上記では、判別空間での距離mを用いて実施する場合について説明したが、これに限定されず、前記分析処理は、ニューラルネットワーク等の機械学習により実施するようにすることもできる。
また、本実施形態では、シャフト241をz軸方向に移動させることで、作業台8に設置された対象物Xと、シャフト241に連結された分光カメラ7とを、分光カメラ7の光軸方向に、相対的に移動させることとしたが、これに限定されず、作業台8をz軸方向に移動させることで、対象物Xと分光カメラ7とを、分光カメラ7の光軸方向に、相対的に移動させるようにしてもよい。
さて、以上のようなロボットシステム100を用いた検査方法では、前述の通り、良品であるか不良品であるかを判定すべき対象物Xの分光スペクトル画像Ssamを取得し、この分光スペクトル画像Ssamが、予め良品であると判定されているデータrと比較し、その比較結果に基づいて、対象物Xが良品であるか否かを判別している。
このときに判定基準として用いられるデータrは、良品の分光スペクトル画像と、不良品の分光スペクトル画像とにおいて、スペクトルの強度に差が生じる波長に基づいて取得されている必要がある。しかしながら、この波長の特定を、良品の分光スペクトル画像および不良品の分光スペクトル画像が取得されている波長領域に含まれる各波長について個別に検証することで実施していたのでは、大量の各波長に対応するサンプルを必要とするため、時間と手間を要すると言う問題があった。
これに対して、本発明は、ロボットシステム100が備える分光カメラ7を用いて対象物Xを検査する分光検査方法であり、良品である第1対象物を撮像して良品分光スペクトル画像を取得する第1取得工程と、不良品である第2対象物を撮像して不良品分光スペクトル画像を取得する第2取得工程と、前記良品分光スペクトル画像に含まれる良品分光スペクトル情報と、前記不良品分光スペクトル画像に含まれる不良品分光スペクトル情報との差の絶対値が最も大きい第1差分となる第1波長を指定する第1指定工程と、前記良品分光スペクトル情報と、前記不良品分光スペクトル情報との差の絶対値が前記第1差分より小さい第2差分である第2波長を指定する第2指定工程と、前記良品と前記不良品とを判別するための閾値を設定する設定工程と、前記分光カメラで撮像した被測定対象物の被測定対象物分光スペクトル画像を取得する第3取得工程と、前記第1波長における前記良品分光スペクトル情報と、前記被測定対象物分光スペクトル画像に含まれる被測定対象物分光スペクトル情報と、の差の絶対値である第1判定値と、前記第2波長における前記良品分光スペクトル情報と、前記被測定対象物分光スペクトル情報と、の差の絶対値である第2判定値と、前記閾値と、に基づいて、前記被測定対象物が良品または不良品として判別可能かを判定する判定工程と、を有する。
以上のように、本発明では、第1指定工程および第2指定工程において、それぞれ、第1差分および第2差分となっている第1波長および第2波長を指定し、さらに、判定工程において、被測定対象物を撮像することにより取得された被測定対象物分光スペクトル画像に含まれる被測定対象物分光スペクトル情報に基づいて算出される、前記第1波長および前記第2波長に対応した、第1判定値および第2判定値を用いて、被測定対象物が良品または不良品として判別可能かを判定している。
このように、第1指定工程および第2指定工程において、それぞれ、第1波長および第2波長が指定されることから、良品分光スペクトル画像および不良品分光スペクトル画像が取得されている波長領域に含まれる各波長について個別に検証する必要がない。そのため、必要とするサンプル数を減少させることが可能となり、時間と手間を要するのを確実に防止することができる。
以下、ロボットシステム100が備える分光カメラ7を用いて実施される、被測定対象物が良品または不良品として判別可能かを判定する分光検査方法について、詳述する。すなわち、分光カメラ7を用いた物品の検査方法で用いられる判定基準の設定方法について、詳述する。
[分光カメラを用いた物品の検査方法で用いられる判定基準の設定方法]
図20は、電子部品が備える電極に異物が付着していない良品を示す平面図、図21は、電子部品が備える電極に異物が付着している不良品を示す平面図、図22は、図4に示すロボットシステムにより、用いるべきカメラの種類を、分光カメラを用いて判定する分光検査方法における判定処理を実施する際のフローチャート、図23は、分光カメラにより得られた良品の分光スペクトル画像Ssam(X1)と、不良品の分光スペクトル画像Ssam(X2)とを示すグラフ、図24は、図23に示すグラフにおいて、分光カメラにより得られた良品の分光スペクトル画像Ssam(X1)と、不良品の分光スペクトル画像Ssam(X2)とで強度に大きな差が認められる領域を拡大した部分拡大図、図25は、分光カメラにより得られた良品の分光スペクトル画像Ssam(X1)と、不良品の分光スペクトル画像Ssam(X2)とで強度に大きな差が認められる領域の他の構成を示す部分拡大図である。
ここで、この分光検査方法すなわち判定基準の設定方法では、ロボットシステム100が備える制御装置1からパーソナルコンピューター3が脱着された状態で実施される。
また、分光検査方法では、分光カメラ7による、用いるべきカメラの種類の判定を、図10に示す、作業台8上のSpectrum Match01に、生産された、または、生産途中の物品の良品X1または不良品X2が対象物Xとして設置され、良品X1が良品として、不良品X2が不良品として正しく分類すなわち判別可能か否かに基づいて、判定基準が設定されるが、以下、この分光検査方法について、詳述する。
なお、以下では、作業台8上のSpectrum Match01に設置される物品として、電極90を備える電子部品を用意し、図20に示すように、電極90に異物95が付着していないものを良品X1とし、図21に示すように、電極90に異物95が付着しているものを不良品X2として取り扱い、この異物95の付着の有無を判定可能か否か、すなわち、良品X1または不良品X2として判別可能か否かを判定する場合を一例に説明する。
<1D> まず、ユーザーは、電極90を備える電子部品として、良品X1または不良品X2であると、予め明らかとなっているものをそれぞれ複数個ずつ用意する。また、これとともに、図22に示すように、入力装置62の操作により、所定の領域に配置された物品の表面性状を検査するプログラムを起動させた後、このプログラムの指示に従って、必要に応じて条件等の選択を行う(S1D)。
なお、プログラムの指示に従って入力する条件としては、例えば、物品の表面性状を検査する領域、具体的には、Spectrum Match01において検査を実施することの指定、物品の表面性状を検査する検査の種類、具体的には、物品に付着している異物95の有無の検査を実施することの指定、検査開始時および検査終了時に分光カメラ7を配置させる位置、ロボット2による分光カメラ7の移動の後に、分光カメラ7による物品の分光画像の取得までに待機する時間、ならびに、分光カメラ7で物品の分光画像を取得する際の波長領域およびこの波長領域において波長を変化させるピッチ、具体的には、400〜700nmの波長領域において20nmのピッチで15領域に分割された分光画像を取得することの指定等が挙げられる。
なお、本実施形態では、400nm〜700nmの可視光領域を、20nmの波長領域の幅で、15分割された波長領域において、分光カメラ7を用いて分光画像を取得する場合について説明するが、一般的に用いられるRGBカメラと比較して、優れた検出感度とするには、可視光領域を分割する分割数は、15分割である必要はなく、4以上の整数で分割すればよい。
<2D> 次いで、電極90を備える電子部品として良品X1であると認定されているものを作業台8上に、電極90がSpectrum Match01に対応するように設置した状態とする。そして、前述した、物品の表面性状を検査する検査方法における調整処理で取得した、分光部41すなわち分光カメラ7で透過させる光の波長と、投射レンズ812すなわち分光カメラ7のフォーカスが合う位置との関係に基づいて、前記工程<1D>において設定された400〜700nmの波長領域において、設定された20nmのピッチで、撮像素子71すなわち分光カメラ7により良品X1の分光画像を取得する(S2D)。
<2D−1> まず、入力装置62における、ユーザーによる入力指示に従って、画像処理実行部65は、ロボット制御部11が備えるカメラポイント補正部102の作動により、シャフト241をz軸方向すなわち光軸方向に移動させることで、分光カメラ7を位置P0に配置させる。その後、前記工程<1D>において設定された波長領域のうち最小の波長領域すなわち400〜420nmにおいて、分光カメラ7のフォーカスが合う位置に移動させる。
<2D−2> 次いで、画像処理実行部65は、カメラ制御部60が備える分光制御部602の作動により、分光部41で透過される光の波長領域を、前記工程<1D>において設定された波長領域のうち最小の波長領域、すなわち、400〜420nmに設定する。
<2D−3> 次いで、画像処理実行部65は、カメラ制御部60が備える分光画像取得部603の作動により、撮像素子71により分光画像を取得する。
これにより、図10に示すSpectrum Match01の領域に、配置された電子部品が備える電極90が含まれる分光画像を取得する。
<2D−4> 次いで、画像処理実行部65は、前記工程<2D−3>で取得された分光カメラ7のフォーカスが合っている分光画像と、この分光画像が、取得された光の波長領域が最小の波長領域、すなわち400〜420nmであることとを、記憶部14に記憶させる。
<3D> 次に、最小の波長領域の光における、分光カメラ7のフォーカスが合う位置での分光カメラ7による分光画像の取得の後に、最小の波長領域の光よりも長波長の光における、分光カメラ7のフォーカスが合う位置での分光カメラ7による分光画像の取得が必要か否かを、前記工程<1D>において、ユーザーによって選択された条件、すなわち、分光部41で透過させる光の最小の波長領域、最大の波長領域および波長のピッチに基づいて判定する。すなわち、最小の波長領域の光から、選択された波長領域のピッチで、最大の波長領域の光となるまで、続けて、その波長領域の光における、分光カメラ7のフォーカスが合う位置での分光画像の取得を、実施する必要があると判定し、最大の波長領域を超えた光となった時点で、その波長領域の光における分光画像の取得を終了する。
この判定において、フォーカスが合う位置での分光カメラ7による分光画像の取得がなされた波長領域の光よりも長波長の光で、フォーカスが合う位置での分光カメラ7による分光画像を取得する必要がある場合には、ユーザーにより設定されたピッチ分、すなわち、20nmを加算した波長の光を分光部41で透過し得るように、画像処理実行部65は、分光制御部602を作動させる。その後、前記工程<2D>〜本工程<3D>を繰り返して実施する。これにより、フォーカスが合う位置での分光カメラ7による分光画像の取得がなされた波長領域の光よりも長波長の光における、フォーカスが合う位置での分光カメラ7による分光画像の取得が実施される。このような最小の波長領域以上の光におけるフォーカスが合う位置での分光カメラ7による分光画像の取得を、前記工程<1D>において、ユーザーによって選択された波長領域において、最小の波長領域から一定のピッチで最大の波長領域となるまで、繰り返して実施する。すなわち、本実施形態では、400nmから、20nmのピッチで、700nmとなるまで、15回繰り返して実施する。
このように、分光画像を取得する最小の波長領域、分光画像を取得する最大の波長領域、および、最小の波長領域から最大の波長領域までの間で分光画像を取得する波長のピッチを設定して、最小の波長領域から、前記ピッチの間隔で、最大の波長領域まで、順次、フォーカスが合う位置での分光カメラ7による分光画像の取得が実施される。
上記の通り、前記工程<2D>〜本工程<3D>を繰り返して実施することで、前記工程<1D>において、ユーザーによって選択された波長領域において、最小の波長領域の光から、一定のピッチで、最大の波長領域の光までの、良品X1を撮像した分光画像が、フォーカスが合ったものとして取得することができる。
すなわち、最小の波長400nmから、20nmのピッチで、最大の波長700nmまで分光部41を透過させる光の波長領域を変化させたときの良品X1を撮像した分光画像が、フォーカスが合ったものとして取得することができる。
一方、最大の波長を超えた波長領域の光となり、その波長領域の光におけるフォーカスが合う位置での分光画像の取得が必要ない場合には、前記工程<2D>〜本工程<3D>の繰り返しを終了し、次工程<4D>に移行する。
<4D> 次に、画像処理実行部65は、分光部41で透過される光の波長が、前記工程<1D>において、ユーザーによって選択された波長領域において、最小の波長領域から一定のピッチで最大の波長領域となるまで、繰り返して取得された、分光カメラ7のフォーカスが合っている分光画像と、その分光画像が取得された光の波長領域とを、良品X1の分光画像データとして、改めて、記憶部14に記憶させる(S3D)。
すなわち、本実施形態では、最小の波長領域400〜420nmから、20nmのピッチで、最大の波長領域675〜700nmまで分光カメラ7のフォーカスが合っている分光画像とともに、これに対応する光の波長領域とを、良品X1についての分光画像データとして、記憶部14に記憶させる。
以上のように、工程<2D>〜工程<4D>を経ることで、ユーザーによって選択された波長領域において、最小の波長領域から一定のピッチで最大の波長領域となるまでの間で、分光カメラ7のフォーカスが合っている良品X1の分光画像が取得される。
また、工程<2D>〜工程<4D>を経ることによる、良品X1の分光画像の取得は、複数の良品X1について実施しておくこととする。
<5D> 次に、ユーザーは、電極90を備える電子部品として不良品X2であると認定されているものを作業台8上に、電極90がSpectrum Match01に対応するように、良品X1に代えて設置した状態とする。そして、この状態で、画像処理実行部65は、前述した前記工程<2D>〜前記工程<3D>の繰り返した後に、前記工程<4D>を実施する。これにより、不良品X2の分光画像についても、良品X1の分光画像と同様に、分光カメラ7のフォーカスが合っている分光画像として、分光部41で透過される光の波長が、前記工程<1D>において、ユーザーによって選択された波長領域において、最小の波長領域から一定のピッチで最大の波長領域となるまで、複数波長不良品画像として取得され(S4D)、これらの情報が、良品X1と同様に、不良品X2についても同様に、記憶部14に記憶される(S5D)。
また、本工程<5D>を経ることによる、不良品X2の分光画像の取得は、複数の不良品X2について実施しておくこととする。
<6D> 次に、画像処理実行部65が備えるスペクトル情報生成部604は、良品X1について取得された、各波長領域における分光画像を重ね合せる、すなわち加重重畳することで、図23に示す、分光スペクトル画像Ssam(X1)すなわち良品分光スペクトル画像を得る(S6D)。
なお、本工程<6D>を経ることによる、良品X1の分光スペクトル画像Ssam(X1)の取得は、複数の良品X1について実施しておくこととする。
なお、前記工程<2D>〜前記工程<4D>における、分光カメラ7による、各波長領域における良品X1の分光画像の取得と、本工程<6D>における、各波長領域における良品X1の分光画像の加重重畳による分光スペクトル画像Ssam(X1)の取得により、良品である第1対象物を撮像して良品分光スペクトル画像を取得する第1取得工程が構成される。
<7D> 次に、画像処理実行部65が備えるスペクトル情報生成部604は、不良品X2について取得された、各波長領域における分光画像を重ね合せる、すなわち加重重畳することで、図23に示す、分光スペクトル画像Ssam(X2)、すなわち、不良品分光スペクトル画像を得る(S7D)。
なお、本工程<7D>を経ることによる、不良品X2の分光スペクトル画像Ssam(X2)の取得は、複数の不良品X2について実施しておくこととする。
なお、前記工程<5D>における、分光カメラ7による、各波長領域における不良品X2の分光画像の取得と、本工程<7D>における、各波長領域における不良品X2の分光画像の加重重畳による分光スペクトル画像Ssam(X2)の取得により、不良品である第2対象物を撮像して不良品分光スペクトル画像を取得する第2取得工程が構成される。
<8D> 次いで、スペクトル情報生成部604は、前記工程<6D>において取得された分光スペクトル画像Ssam(X1)と、前記工程<7D>において取得された分光スペクトル画像Ssam(X2)とを、表示制御部13に受け渡し、その後、表示制御部13は、図23に示すように、これら分光スペクトル画像Ssam(X1)と分光スペクトル画像Ssam(X2)とを、表示装置61に重畳して表示させる(S8D)。
なお、分光スペクトル画像Ssam(X1)および分光スペクトル画像Ssam(X2)を、それぞれ、良品X1の電極90に対応した位置における画素での強度を良品分光スペクトル情報、および、不良品X2の電極90に付着した異物95に対応した位置における画素での強度を不良品分光スペクトル情報として、表示装置61で表示している。
本工程<8D>により、良品分光スペクトル画像と、不良品分光スペクトル画像とを重畳して表示する表示工程が構成される。
<9D> 次いで、ユーザーは、表示装置61に重畳して表示された分光スペクトル画像Ssam(X1)と、分光スペクトル画像Ssam(X2)とを確認しつつ、Ssam(X1)とSsam(X2)との間で、図23、図24に示すように、大きな差が認められる領域において、Ssam(X1)とSsam(X2)とが重ならない場合、Ssam(X1)とSsam(X2)との差の絶対値が、最も大きい第1差分ΔS1となる第1波長と、第1差分ΔS1より小さい第2差分ΔS2となる第2波長と、第1波長に対して第2波長の反対側に位置する第3差分ΔS3となる第3波長を指定する(S9D)。
本工程<8D>により、良品分光スペクトル画像と、不良品分光スペクトル画像との差の絶対値が最も大きい第1差分となる第1波長を指定する第1指定工程と、良品分光スペクトル画像と、不良品分光スペクトル画像との差の絶対値が前記第1差分より小さい第2差分である第2波長を指定する第2指定工程とが構成され、さらに、第2差分が所定の値よりも小さく、第2波長が第1波長よりも小さい場合、第1波長よりも大きい波長を第3波長として指定する第3指定工程、または、第2差分が所定の値よりも小さく、第2波長が第1波長よりも大きい場合、第1波長よりも小さい波長を第3波長として指定する第3指定工程が構成される。
そして、画像処理実行部65は、指定された第1波長、第2波長および第3波長における第1差分ΔS1、第2差分ΔS2および第3差分ΔS3をそれぞれ、分光スペクトル画像Ssam(X1)と分光スペクトル画像Ssam(X2)とに基づいて算出する。
なお、分光スペクトル画像Ssam(X1)と分光スペクトル画像Ssam(X2)とは、図25に示すように、これらの間で大きな差が認められる領域において、Ssam(X1)とSsam(X2)とが重なる場合があるが、この場合には、第3波長における第3差分ΔSの読み取りを省略することができる。
<10D> 次いで、スペクトル情報生成部604は、良品X1の分光スペクトル画像Ssam(X1)および不良品X2の分光スペクトル画像Ssam(X2)に基づいて得られた、第1差分ΔS1、第2差分ΔS2および第3差分ΔS3を用いて、良品X1および不良品X2を対象物Xとした表面性状を検査する(S10D)。
換言すれば、スペクトル情報生成部604は、得られた、第1差分ΔS1、第2差分ΔS2および第3差分ΔS3に基づいて算出された数値を、特徴量として用いた分析処理を実施することで、検査すべき良品X1および不良品X2の表面性状を検査する。
具体的には、まず、第1波長〜第3波長の3点に対応する第1差分ΔS1〜第3差分ΔS3に基づいて、これらの差P3(=|(ΔS2+ΔS3)−(ΔS1×2)|)または比P3(=(ΔS2+ΔS3)/(ΔS1×2))を特徴量として算出する。第3差分ΔSの読み取りを省略した場合、差P3(=|ΔS2−ΔS1|)または比P3(=ΔS2/ΔS1)で算出する。次いで、良品X1および不良品X2の表面性状を判別するのに適した判別空間へ、特徴量としての差P3または比P3を射影する。すなわち、射影関数f(・)を特定の判別基準に基づき生成する。なお、この判別基準としては、例えば、フィッシャー判別基準、最小二乗基準等が挙げられる。そして、差P3または比P3を判別空間に射影し、位置y(a)とする。
y(a)=f(差P3 or 比P3)
同様に、他の良品X1と他の不良品X2とに基づいて得られた差P3または比P3についても、判別空間に投影し、y(b)とする。そして、1つ目の組み合わせにおける判別空間上の位置y(a)と、2つ目の組み合わせにおける判別空間上の位置y(b)との距離m1を計算する。この距離m1を、複数の良品X1と不良品X2との組み合わせについて、算出する。
m1=g(y(a),y(b))
ここで、g(a,b)は判別空間でのaとbとの距離を算出する関数である。また、距離としては、例えば、マハラノビス距離、ユークリッド距離等を用いることができる。
そして、複数の良品X1と不良品X2との組み合わせにおいて算出された距離m1が、良品X1と不良品X2との間に生じる距離であると定義することができる。
なお、第1波長〜第3波長に対応する第1差分ΔS1〜第3差分ΔS3のうち、第3差分ΔS3の算出が省略されている場合には、第1波長、第2波長に対応する2点の第1差分ΔS1、第2差分ΔS2に基づいて、これらの差P2(=|ΔS2−ΔS1|)または比P2(=ΔS2/ΔS1)を特徴量として算出する。
<11D> 次いで、スペクトル情報生成部604は、前記工程<10D>において算出された、良品X1と不良品X2との間に生じる距離m1に基づいて、良品X1と不良品X2とを判別することができる閾値を設定する(S11D)。
本工程<11D>により、良品と不良品とを判別するための閾値を設定する設定工程が構成される。
なお、この閾値の設定は、ユーザーにより実施するようにしてもよい。
<12D> 次いで、スペクトル情報生成部604は、前記閾値を用いて良品であるか、もしくは、不良品であるかを判定するための電子部品として、対象物Xの分光スペクトル画像Ssam(X)を取得する(S12D)。
なお、対象物Xの分光スペクトル画像Ssam(X)は、この対象物Xを作業台8に設置した状態で、例えば、前記工程<5D>と前記工程<7D>とを実施することにより取得することができる。
なお、対象物Xとは、予め、ユーザーは、良品であるか、もしくは、不良品であるかを認識しているものとする。
本工程<12D>により、分光カメラ7で撮像した被測定対象物の被測定対象物分光スペクトル画像を取得する第3取得工程が構成される。
<13D> 次いで、スペクトル情報生成部604は、良品X1の分光スペクトル画像Ssam(X1)および対象物Xの分光スペクトル画像Ssam(X)すなわち被測定対象物分光スペクトル画像に基づいて、第1差分ΔS1を第1判定値として、第2差分ΔS2を第2判定値として、第3差分ΔS3を第3判定値として、それぞれ求め、その後、これらを用いて、良品X1と対象物Xとの表面性状を検査する(S13D)。
換言すれば、スペクトル情報生成部604は、得られた、第1差分ΔS1、第2差分ΔS2および第3差分ΔS3に基づいて算出された数値を、特徴量として用いた分析処理を実施することで、検査すべき良品X1および対象物Xの表面性状を検査する。
具体的には、まず、第1波長〜第3波長の3点に対応する第1差分ΔS1〜第3差分ΔS3に基づいて、これらの差P3(=|(ΔS2+ΔS3)−(ΔS1×2)|)または比P3(=(ΔS2+ΔS3)/(ΔS1×2))を特徴量として算出する。次いで、良品X1および対象物Xの表面性状を判別するのに適した判別空間へ、特徴量としての差P3または比P3を射影する。すなわち、射影関数f(・)を特定の判別基準に基づき生成する。なお、この判別基準としては、例えば、フィッシャー判別基準、最小二乗基準等が挙げられる。そして、差P3または比P3を判別空間に射影し、位置y(a’)とする。
y(a’)=f(差P3 or 比P3)
同様に、他の良品X1と他の対象物Xとに基づいて得られた差P3または比P3についても、判別空間に投影し、y(b’)とする。そして、1つ目の組み合わせにおける判別空間上の位置y(a’)と、2つ目の組み合わせにおける判別空間上の位置y(b’)との距離m1’を計算する。この距離m1’を、複数の良品X1と対象物Xとの組み合わせについて、算出する。
m1’=g(y(a’),y(b’))
ここで、g(a,b)は判別空間でのaとbとの距離を算出する関数である。また、距離としては、例えば、マハラノビス距離、ユークリッド距離等を用いることができる。
そして、複数の良品X1と対象物Xとの組み合わせにおいて算出された距離m1’が、良品X1と対象物Xとの間に生じる距離であると定義することができる。
なお、第1波長〜第3波長に対応する第1差分ΔS1〜第3差分ΔS3のうち、第3差分ΔS3の算出が省略されている場合には、第1波長、第2波長に対応する2点の第1差分ΔS1、第2差分ΔS2に基づいて、これらの差P2(=|ΔS2−ΔS1|)または比P2(=ΔS2/ΔS1)を特徴量として算出する。
そして、対象物Xが良品X1である場合、特徴量として差P3または差P2を選択していたときには、閾値≧距離m1’が成立していれば、また、特徴量として比P3または比P2を選択していたときには、閾値≦距離m1’が成立していれば、この閾値の設定に誤りがないと言うことができる。そのため、この閾値を用いて、対象物Xが良品X1であるときの判定を実施することができる。
これに対して、対象物Xが不良品X2である場合、特徴量として差P3または差P2を選択していたときには、閾値<距離m1’が成立していれば、また、特徴量として比P3または比P2を選択していたときには、閾値>距離m1’が成立していれば、この閾値の設定に誤りがないと言うことができる。そのため、この閾値を用いて、対象物Xが不良品X2であるときの判定を実施することができる。
本工程<13D>により、第1波長における良品分光スペクトル画像と被測定対象物分光スペクトル画像との差の絶対値である第1判定値と、第2波長における良品分光スペクトル画像と被測定対象物分光スペクトル画像との差の絶対値である第2判定値と、第3波長における良品分光スペクトル画像と被測定対象物分光スペクトル画像との差の絶対値である第3判定値と、閾値と、に基づいて、被測定対象物が良品または不良品として判別可能かを判定する判定工程が構成される。
<14D> 次に、表示制御部13は、スペクトル情報生成部604で特定された検査結果を、可視化画像として作成し、その後、この可視化画像を、表示装置61に表示させる(S14D)。
この可視化画像として、表示装置61に表示させる情報としては、指定された第1波長〜第3波長および閾値の大きさ、対象物Xが良品X1である場合、正しく良品と判定されているか否か、さらには、対象物Xが不良品X2である場合、正しく不良品と判定されているか否か等の結果が挙げられる。
以上のような、ロボットシステム100が備える分光カメラ7を用いた、工程<1D>〜工程<14D>を経る分光検査方法を実施することで、分光カメラ7を用いた物品の検査方法で用いられる判定基準を、設定することができる。
上記の通り、分光カメラ7を用いた分光検査方法によれば、前記工程<9D>において、ユーザーにより、第1波長〜第3波長が設定され、大量のサンプルを取得する必要がないため、対象物Xすなわち被測定対象物が良品か否かを判定するための判定基準を、時間と手間を要することなく設定することができる。
以上、本発明の分光検査方法および分光検査装置を、図示の実施形態に基づいて説明したが、本発明はこれらに限定されるものでない。
例えば、本発明の分光検査装置において、各構成は、同様の機能を発揮し得る任意のものと置換することができ、あるいは、任意の構成のものを付加することができる。
また、本発明の分光検査装置において、前記実施形態では、作業台に設置された対象物と、分光カメラとを、分光カメラの光軸方向に、相対的に移動させることで、分光カメラのフォーカスを対象物に一致させていたが、このフォーカスを一致させる方法は、これに限定されず、ロボットアームを固定した状態で、分光カメラが有するレンズと撮像素子との間の離間距離である焦点距離、すなわち、フォーカスを変更することによっても、技術的には可能である。