JP2020159847A - Spectroscopic inspection method, spectroscopic image processing device, and robot system - Google Patents
Spectroscopic inspection method, spectroscopic image processing device, and robot system Download PDFInfo
- Publication number
- JP2020159847A JP2020159847A JP2019059124A JP2019059124A JP2020159847A JP 2020159847 A JP2020159847 A JP 2020159847A JP 2019059124 A JP2019059124 A JP 2019059124A JP 2019059124 A JP2019059124 A JP 2019059124A JP 2020159847 A JP2020159847 A JP 2020159847A
- Authority
- JP
- Japan
- Prior art keywords
- spectroscopic
- image
- wavelength
- camera
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Manipulator (AREA)
- Image Analysis (AREA)
- Spectrometry And Color Measurement (AREA)
Abstract
Description
本発明は、分光検査方法、分光画像処理装置およびロボットシステムに関するものである。 The present invention relates to spectroscopic inspection methods, spectroscopic image processing devices and robot systems.
物品を生産する際に、生産された、または、生産途中の物品を検査する検査工程において、カメラを用いて物品の画像を取得し、この画像を用いて物品の位置を検知してロボットが有するロボットアーム等により、物品をピックアップすることが行われている。 When producing an article, in the inspection process of inspecting the produced or in-process article, an image of the article is acquired by using a camera, and the position of the article is detected using this image and the robot has it. Articles are picked up by a robot arm or the like.
通常、この物品の位置決めは、ＲＧＢベイヤー配列のカラーフィルターを備えたＲＧＢカメラを用いて取得された画像を用いて、ＲＧＢ成分のうちの例えばＲ成分を抽出してグレイ画像を生成し、その上でサーチライン上の最もコントラストの高い輝度変化点を見つけることで実施される（例えば、特許文献１参照）。 Usually, the positioning of this article uses an image acquired using an RGB camera equipped with a color filter of an RGB Bayer arrangement to extract, for example, the R component of the RGB components to generate a gray image, and then obtains a gray image. It is carried out by finding the brightness change point having the highest contrast on the search line in (see, for example, Patent Document 1).
しかしながら、ベイヤー配列のカラーフィルターを備えたＲＧＢカメラを用いてＲＧＢ画像を生成すると、ＲＧＢ画像の画素数はＲＧＢカメラの画素数の１／４となるため、空間分解能が低下し、物品の位置決め精度が低下する、という課題があった。 However, when an RGB image is generated using an RGB camera equipped with a Bayer array color filter, the number of pixels of the RGB image is 1/4 of the number of pixels of the RGB camera, so that the spatial resolution is lowered and the positioning accuracy of the article is reduced. There was a problem that
本発明は、上述の課題を解決するためになされたものであり、以下の適用例として実現することが可能である。 The present invention has been made to solve the above-mentioned problems, and can be realized as the following application examples.
本発明の適用例に係る分光検査方法は、対象物のスペクトル情報を分光スペクトル画像として分光カメラを用いて取得し、前記分光スペクトル画像において、前記対象物と、前記対象物の背景とを検出する画像検査を実行し、前記対象物と、前記対象物の背景とのコントラストが所定の値より高い高コントラスト波長を特定する検出工程と、
前記高コントラスト波長を用いて、前記対象物の単色画像を取得し、前記単色画像において、前記対象物と前記対象物の背景との境界部を特定する取得工程とを有する。
In the spectroscopic inspection method according to an application example of the present invention, spectral information of an object is acquired as a spectral spectral image using a spectroscopic camera, and the object and the background of the object are detected in the spectral image. A detection step of performing an image inspection to identify a high contrast wavelength in which the contrast between the object and the background of the object is higher than a predetermined value.
It has an acquisition step of acquiring a monochromatic image of the object using the high contrast wavelength and specifying a boundary portion between the object and the background of the object in the monochromatic image.
以下、本発明の分光検査方法、分光画像処理装置およびロボットシステムを添付図面に示す好適な実施形態に基づいて詳細に説明する。 Hereinafter, the spectroscopic inspection method, the spectroscopic image processing apparatus, and the robot system of the present invention will be described in detail based on the preferred embodiments shown in the accompanying drawings.
まず、本発明の分光検査方法を説明するのに先立って、本発明の分光検査方法が適用されたロボットシステム、すなわち、本発明のロボットシステムについて説明する。 First, prior to explaining the spectroscopic inspection method of the present invention, a robot system to which the spectroscopic inspection method of the present invention is applied, that is, the robot system of the present invention will be described.
＜ロボットシステム＞
図１は、本発明のロボットシステムの実施形態を示す側面図、図２は、図１に示すロボットシステムが備える分光カメラのレンズ側を示す平面図、図３は、図２に示す分光カメラのＡ−Ａ線断面図、図４は、図１に示すロボットシステムの概略構成を示すブロック図、図５は、図１に示すロボットシステムにパーソナルコンピューターを装着したときの概略構成を示すブロック図、図６は、図２、図３に示す分光カメラが備える分光部が有する波長可変干渉フィルターをファブリーペローエタロンフィルターに適用した一例を示す縦断面図である。なお、図１では、表示装置６１および入力装置６２の図示は省略されている。
<Robot system>
1 is a side view showing an embodiment of the robot system of the present invention, FIG. 2 is a plan view showing a lens side of a spectroscopic camera included in the spectroscopic camera shown in FIG. 1, and FIG. 3 is a plan view of the spectroscopic camera shown in FIG. AA sectional view, FIG. 4 is a block diagram showing a schematic configuration of the robot system shown in FIG. 1, and FIG. 5 is a block diagram showing a schematic configuration when a personal computer is attached to the robot system shown in FIG. FIG. 6 is a vertical sectional view showing an example in which a variable wavelength interference filter included in a spectroscopic unit included in the spectroscopic cameras shown in FIGS. 2 and 3 is applied to a Fabry Perot Etalon filter. Note that in FIG. 1, the
なお、図１では、説明の便宜上、互いに直交する３軸として、ｘ軸、ｙ軸およびｚ軸を図示している。また、以下では、ｘ軸に平行な方向を「ｘ軸方向」とも言い、ｙ軸に平行な方向を「ｙ軸方向」とも言い、ｚ軸に平行な方向を「ｚ軸方向」とも言う。さらに、以下では、図示された各矢印の先端側を「＋（プラス）」、基端側を「−（マイナス）」と言い、＋ｘ軸方向に平行な方向を「＋ｘ軸方向」とも言い、−ｘ軸方向に平行な方向を「−ｘ軸方向」とも言い、＋ｙ軸方向に平行な方向を「＋ｙ軸方向」とも言い、−ｙ軸方向に平行な方向を「−ｙ軸方向」とも言い、＋ｚ軸方向に平行な方向を「＋ｚ軸方向」とも言い、−ｚ軸方向に平行な方向を「−ｚ軸方向」とも言う。 In FIG. 1, for convenience of explanation, the x-axis, the y-axis, and the z-axis are shown as three axes orthogonal to each other. Further, in the following, the direction parallel to the x-axis is also referred to as "x-axis direction", the direction parallel to the y-axis is also referred to as "y-axis direction", and the direction parallel to the z-axis is also referred to as "z-axis direction". Further, in the following, the tip side of each of the illustrated arrows is referred to as "+ (plus)", the proximal end side is referred to as "-(minus)", and the direction parallel to the + x-axis direction is also referred to as "+ x-axis direction". The direction parallel to the −x axis direction is also referred to as “−x axis direction”, the direction parallel to the + y axis direction is also referred to as “+ y axis direction”, and the direction parallel to the −y axis direction is also referred to as “−y axis direction”. The direction parallel to the + z-axis direction is also referred to as "+ z-axis direction", and the direction parallel to the -z-axis direction is also referred to as "-z-axis direction".
さらに、以下では、説明の便宜上、図１中の＋ｚ軸方向（ｚ軸方向＋側）（上側）を「上」、−ｚ軸方向（ｚ軸方向−側）（下側）を「下」とも言う。また、ロボットアーム２０については、図１中の基台２１側を「基端」、その反対側（分光カメラ７側）を「先端」と言う。また、図１中のｚ軸方向（上下方向）を「鉛直方向」とし、ｘ軸方向およびｙ軸方向（左右方向）を「水平方向」とする。
Further, in the following, for convenience of explanation, the + z-axis direction (z-axis direction + side) (upper side) in FIG. 1 is "upper", and the -z-axis direction (z-axis direction-side) (lower side) is "lower". Also called. Regarding the
また、本明細書において、「水平」とは、完全に水平な場合のみならず、水平に対して±５°以内で傾斜している場合も含む。同様に、本明細書において、「鉛直」とは、完全に鉛直な場合のみならず、鉛直に対して±５°以内で傾斜している場合も含む。また、本明細書において、「平行」とは、２つの線（軸を含む）または面が、互いに完全な平行である場合のみならず、±５°以内で傾斜している場合も含む。また、本明細書において、「一致」とは、２つの線（軸を含む）または面が、互いに完全に一致している場合のみならず、±５°以内で傾斜している場合も含む。また、本明細書において、「直交」とは、２つの線（軸を含む）または面が、互いに完全な直交である場合のみならず、±５°以内で傾斜している場合も含む。 Further, in the present specification, "horizontal" includes not only the case where it is completely horizontal but also the case where it is inclined within ± 5 ° with respect to the horizontal. Similarly, as used herein, the term "vertical" includes not only the case of being completely vertical, but also the case of being tilted within ± 5 ° with respect to the vertical. Further, in the present specification, "parallel" includes not only the case where two lines (including axes) or planes are completely parallel to each other but also the case where they are inclined within ± 5 °. Further, as used herein, the term "match" includes not only the case where two lines (including axes) or planes are completely aligned with each other, but also the case where they are inclined within ± 5 °. Further, in the present specification, "orthogonal" includes not only the case where two lines (including axes) or planes are completely orthogonal to each other but also the case where they are inclined within ± 5 °.
図１、図４および図５に示すロボットシステム１００は、例えば、生産ラインで生産された、または、生産途中の物品の表面性状、すなわち、物品の色や物品に付着している異物の有無を検査するために、この物品を対象物Ｘとして、対象物Ｘの分光情報を取得するために用いられるものである。このロボットシステム１００は、制御装置１と、ロボット２と、分光カメラ７と、表示装置６１（表示部）と、入力装置６２（入力部）とを備え、さらに、装脱着が可能なパーソナルコンピューター３を備えている。
The
なお、図示の構成では、制御装置１は、ロボット２の外側に配置されているが、これに限定されず、ロボット２に内蔵されていてもよい。
In the illustrated configuration, the
また、図示の構成では、ロボット２、分光カメラ７およびパーソナルコンピューター３と制御装置１とは、それぞれ、ケーブル２００等を介して電気的に接続（以下、単に「接続」とも言う）されているが、これに限定されず、無線方式で通信を行うようになっていてもよい。すなわち、ロボット２と制御装置１とは、有線通信で接続されていてもよく、また、無線通信で接続されていてもよい。
Further, in the illustrated configuration, the
以下、ロボットシステム１００を構成する各部について説明する。
＜ロボット＞
ロボット２の種類は、分光カメラ７を鉛直方向に移動させ得る構成のものであれば、特に限定されないが、本実施形態では、ロボット２は、水平多関節ロボットの１例であるスカラロボットで構成される。
Hereinafter, each part constituting the
<Robot>
The type of the
ロボット２は、図１に示すように、基台２１と、第１アーム２２と、第２アーム２３と、作業ヘッド２４と、配管部材９とを備えている。なお、これら第１アーム２２、第２アーム２３および作業ヘッド２４等によりロボットアーム２０が構成される。
As shown in FIG. 1, the
また、ロボット２は、第１アーム２２を基台２１に対して回動（駆動）させる駆動部２５と、第２アーム２３を第１アーム２２に対して回動させる駆動部２６と、作業ヘッド２４のシャフト２４１を第２アーム２３に対して回動させる駆動部２７と、シャフト２４１を第２アーム２３に対してｚ軸方向に移動させる駆動部２８と、角速度センサー２９とを備えている。
Further, the
駆動部２５は、図４、図５に示すように、第１アーム２２の筐体２２０内に内蔵されており、駆動力を発生するモーター２５１と、モーター２５１の駆動力を減速する図示しない減速機と、モーター２５１または減速機の回転軸の回転角度を検出する位置センサー２５２とを有している。
As shown in FIGS. 4 and 5, the
駆動部２６は、第２アーム２３の筐体２３０に内蔵されており、駆動力を発生するモーター２６１と、モーター２６１の駆動力を減速する図示しない減速機と、モーター２６１または減速機の回転軸の回転角度を検出する位置センサー２６２とを有している。
The
駆動部２７は、第２アーム２３の筐体２３０に内蔵されており、駆動力を発生するモーター２７１と、モーター２７１の駆動力を減速する図示しない減速機と、モーター２７１または減速機の回転軸の回転角度を検出する位置センサー２７２とを有している。
The
駆動部２８は、第２アーム２３の筐体２３０に内蔵されており、駆動力を発生するモーター２８１と、モーター２８１の駆動力を減速する図示しない減速機と、モーター２８１または減速機の回転軸の回転角度を検出する位置センサー２８２とを有している。
The
モーター２５１、モーター２６１、モーター２７１およびモーター２８１としては、例えば、ＡＣサーボモーター、ＤＣサーボモーター等のサーボモーターを用いることができる。また、減速機としては、例えば、遊星ギア型の減速機、波動歯車装置等を用いることができる。また、位置センサー２５２、位置センサー２６２、位置センサー２７２および位置センサー２８２は、例えば、角度センサーとすることができる。
As the
駆動部２５、駆動部２６、駆動部２７および駆動部２８は、それぞれ、対応する図示しないモータードライバーに接続されており、モータードライバーを介して制御装置１のロボット制御部１１により制御される。なお、各減速機は省略されていてもよい。
The
また、角速度センサー２９（センサー）は、第２アーム２３に内蔵されている。このため、第２アーム２３の角速度を検出することができる。この検出した角速度の情報に基づいて、制御装置１は、ロボット２の制御を行う。また、角速度センサー２９は、駆動部２６〜２８よりも−ｙ軸側、すなわち、基台２１の遠位側に設置されている。
Further, the angular velocity sensor 29 (sensor) is built in the
基台２１は、例えば、図示しない床面にボルト等によって固定されている。基台２１の上端部には第１アーム２２が連結されている。第１アーム２２は、基台２１に対して鉛直方向に沿う第１回動軸Ｏ１回りに回動可能となっている。第１アーム２２を回動させる駆動部２５が駆動すると、第１アーム２２が基台２１に対して第１回動軸Ｏ１回りに水平面内で回動する。また、位置センサー２５２により、基台２１に対する第１アーム２２の駆動（回動量）が検出できるようになっている。
The
また、第１アーム２２の先端部には、第２アーム２３が連結されている。第２アーム２３は、第１アーム２２に対して鉛直方向に沿う第２回動軸Ｏ２回りに回動可能となっている。第１回動軸Ｏ１の軸方向と第２回動軸Ｏ２の軸方向とは同一である。すなわち、第２回動軸Ｏ２は、第１回動軸Ｏ１と平行である。第２アーム２３を回動させる駆動部２６が駆動すると、第２アーム２３が第１アーム２２に対して第２回動軸Ｏ２回りに水平面内で回動する。また、位置センサー２６２により、第１アーム２２に対する第２アーム２３の駆動（回動量）が検出できるようになっている。
A
また、第２アーム２３は、底板２３１、天板２３２およびこれらを連結している側壁２３３を有する筐体２３０を有している。この筐体２３０の内部、すなわち、底板２３１上には、角速度センサー２９、駆動部２６、駆動部２７および駆動部２８が＋ｙ軸側からこの順で並んでいる。
Further, the
また、筐体２３０は、天板２３２と側壁２３３との間に位置する傾斜部２３４を有している。この傾斜部２３４は、天板２３２の−ｙ軸側に設けられている。また、この傾斜部２３４は、ｚ軸に対して傾斜して設けられている。
Further, the
また、第２アーム２３の先端部には、シャフト２４１を有する作業ヘッド２４が設置されている。シャフト２４１は、第２アーム２３に対して、鉛直方向に沿う第３回動軸Ｏ３回りに回動可能であり、かつ、上下方向すなわち鉛直方向に沿って移動（昇降）可能となっている。このシャフト２４１は、ロボットアーム２０の第３アームであり、ロボットアーム２０の最も先端のアームである。
A work head 24 having a
シャフト２４１を回動させる駆動部２７が駆動すると、シャフト２４１は、ｚ軸回りに正逆回転（回動）する。また、位置センサー２７２により、第２アーム２３に対するシャフト２４１の回転量が検出できるようになっている。
When the
また、シャフト２４１をｚ軸方向に移動させる駆動部２８が駆動すると、シャフト２４１は、上下方向（ｚ軸方向）に移動する。また、位置センサー２８２により、第２アーム２３に対するシャフト２４１のｚ軸方向の移動量が検出できるようになっている。
Further, when the
また、シャフト２４１の先端部（下端部）には、分光カメラ７が着脱可能に配置される。この分光カメラ７は、生産ラインで生産された、または、生産途中の物品を対象物Ｘすなわち測定対象として、その表面性状を検査するために、対象物Ｘの分光情報すなわち分光スペクトルを取得するために使用されるが、その詳細については、以下で説明する。
Further, a
なお、分光カメラ７は、本実施形態では、ロボット２の構成要素になっていないが、分光カメラ７の一部または全部がロボット２の構成要素になっていてもよい。また、分光カメラ７は、本実施形態では、ロボットアーム２０の構成要素になっていないが、分光カメラ７の一部または全部がロボットアーム２０の構成要素になっていてもよい。
Although the
＜分光カメラ＞
分光カメラ７は、図１に示すように、シャフト２４１の先端部（下端部）に、直接または図示しない連結部材を介して、上下方向が分光カメラ７の光軸方向と一致するように着脱可能に連結されている。
<Spectroscopic camera>
As shown in FIG. 1, the
この分光カメラ７は、制御装置１の制御に基づいて、生産された、または、生産途中の物品である対象物Ｘが有する固有の分光情報を取得するものであり、より具体的には、対象物Ｘで反射した反射光を受光し、分光することで、特定波長または特定波長領域（以下では、「特定波長」で代表して説明する。）の光を得た後、この特定波長を有する光を撮像することにより、対象物Ｘの分光画像すなわち分光スペクトル画像を取得するものである。
The
なお、対象物Ｘは、分光カメラ７の光軸方向すなわち上下方向の延長線上に、ロボット２が備える作業台８上に設置されている。
The object X is installed on the
このように、分光カメラ７では、所定の波長領域における対象物Ｘが有する固有の分光スペクトル画像を取得し、この分光スペクトル画像に基づいて、対象物Ｘすなわち生産された、または、生産途中の物品の表面性状を検査することから、かかる物品の表面性状の検査、すなわち、物品の色や物品に付着している異物の有無を、優れた精度をもって実施することができる。
As described above, the
なお、分光カメラ７により、対象物Ｘすなわち生産された、または、生産途中の物品の表面性状を検査するために取得する波長領域は、可視光領域から選択されたものであってもよいし、赤外線領域や、紫外線領域等から選択されたものであってもよいし、これらのうちの少なくとも２つの領域から選択されたものであってもよい。
The wavelength region acquired by the
この分光カメラ７は、図１〜図５に示すように、本実施形態では、対象物Ｘに光を照射する光源３１と、対象物Ｘを反射した反射光に基づいた、画像を撮像する撮像素子７１と、入射光から所定の波長の光を選択的に出射させ、かつ出射させる出射光の波長もしくは波長領域を変更可能な分光部４１とを備えている。
As shown in FIGS. 1 to 5, the
このような分光カメラ７において、図２、図３に示すように、光源３１、撮像素子７１が、分光カメラ７のレンズ側において同一方向を向くように配置された状態で、分光部４１は、撮像素子７１と対象物Ｘとの間に配置されている。光源３１と、分光部４１と、撮像素子７１とをこのような位置関係で配置することで、これらにより、分光カメラ７は、後分光方式の分光カメラで構成される。なお、分光カメラ７は、分光部４１が光源３１と対象物Ｘとの間に配置された、前分光方式の分光カメラを構成していてもよい。
In such a
以下、分光カメラ７が備える各部の構成について説明する。
光源３１は、対象物Ｘに向かって照明光を照射する光素子である。
Hereinafter, the configuration of each part included in the
The
光源３１は、図２、図３に示すように、分光カメラ７の筐体内に配置された回路基板５１上に、対象物Ｘに向かって照明光を照射し得るように、分光カメラ７のレンズ側に配置されている。
As shown in FIGS. 2 and 3, the
この光源３１と対象物Ｘとの間には分光部４１が配置されておらず、これにより、光源３１から出射された光が、対象物Ｘに対して、直接、照射される。
The
このような光源３１は、例えば、ＬＥＤ光源、ＯＬＥＤ光源、キセノンランプ、ハロンゲンランプ等が挙げられ、波長可変干渉フィルターで構成される分光部４１により分光測定を行う波長領域の全体に光強度を持つ光源、すなわち、可視光領域の全体にわたって光強度を有する白色光を照射可能な光源が好ましく用いられる。また、光源３１は、白色光源以外にも、例えば、赤外光等の所定波長の光を照射可能な光源を備えていてもよい。
Examples of such a
なお、この光源３１は、分光カメラ７において、省略することもできる。この場合、対象物Ｘを反射した反射光は、太陽のような自然光、蛍光灯のような外部光源により対象物Ｘに対して照射された光が反射されることで生成される。
The
撮像素子７１は、対象物Ｘを反射した反射光に基づいた、画像を撮像することで、対象物Ｘを反射した反射光を検出する検出部として機能するものである。
The
撮像素子７１は、図２、図３に示すように、分光カメラ７の筐体内に配置された回路基板５１上に、対象物Ｘを反射した反射光を受光し得るように、分光カメラ７のレンズ側に配置されている。
As shown in FIGS. 2 and 3, the
そして、この撮像素子７１と対象物Ｘとの間には分光部４１が配置されている。これにより、対象物Ｘから分光部４１に入射された入射光のうち、特定波長を有する出射光が選択的に出射され、この出射光が撮像素子７１により、分光画像すなわち分光情報として撮像される。
このような撮像素子７１は、例えば、ＣＣＤやＣＭＯＳ等で構成される。
A
Such an
分光部４１は、入射光から特定波長である分光波長の光を選択的に出射させ、かつ出射させる出射光の波長領域を変更可能なものである。すなわち、入射光から特定波長の光を出射光として撮像素子７１へ向けて出射させるものである。
The
分光部４１は、図３に示すように、分光カメラ７の筐体内に配置された回路基板５２上に配置されている。
As shown in FIG. 3, the
この分光部４１は、撮像素子７１と対象物Ｘとの間、すなわち、これらの間の光軸上に配置されている。これにより、対象物Ｘから分光部４１に入射された入射光のうち、特定波長を有する出射光を、撮像素子７１に向けて選択的に出射する。
The
このような分光部４１は、出射させる出射光の波長領域を変更可能なように、波長可変干渉フィルターで構成されている。この波長可変干渉フィルターとしては、特に限定されないが、例えば、静電アクチュエーターにより２つのフィルター（ミラー）間のギャップの大きさを調整することで透過する反射光の波長を制御する、波長可変型のファブリーペローエタロンフィルター、音響光学チューナブルフィルター（ＡＯＴＦ）、リニアバリアブルフィルター（ＬＶＦ）、液晶チューナブルフィルター（ＬＣＴＦ）等が挙げられるが、中でも、ファブリーペローエタロンフィルターであるのが好ましい。
Such a
ファブリーペローエタロンフィルターは、２つのフィルターによる多重干渉を利用して所望波長の反射光を取り出すものである。そのため、厚み寸法を極めて小さくすることができ、具体的には、２．０ｍｍ以下に設定することが可能となる。そのため、分光部４１ひいては分光カメラ７をより小型なものとし得る。したがって、波長可変フィルターとして、ファブリーペローエタロンフィルターを用いることにより、分光カメラ７のさらなる小型化を実現することができる。
The Fabry-Perot Etalon filter extracts reflected light of a desired wavelength by utilizing multiple interferences of the two filters. Therefore, the thickness dimension can be made extremely small, and specifically, it can be set to 2.0 mm or less. Therefore, the
以下、波長可変干渉フィルターとして波長可変型のファブリーペローエタロンフィルターが適用された分光部４１について、図６を参照しつつ説明する。
Hereinafter, the
ファブリーペローエタロンフィルターは、平面視において、矩形板状の光学部材であり、固定基板４１０と、可動基板４２０と、固定反射膜４１１と、可動反射膜４２１と、固定電極４１２と可動電極４２２と、接合膜４１４とを備えている。そして、固定基板４１０と可動基板４２０とが積層した状態で、接合膜４１４を介して一体的に接合されている。
The Fabry-Perot Etalon filter is a rectangular plate-shaped optical member in a plan view, and includes a fixed
固定基板４１０は、その中央部に反射膜設置部４１５が形成されるように、中央部を取り囲んで、厚さ方向に対するエッチングにより溝４１３が形成されている。かかる構成の固定基板４１０において、反射膜設置部４１５の可動基板４２０側に固定反射膜４１１で構成される固定光学ミラーが設けられ、溝４１３の可動基板４２０側に固定電極４１２が設けられている。
The fixed
また、可動基板４２０は、その中央部に反射膜設置部４２５である可動部が形成されるように、中央部を取り囲んで、厚さ方向に対するエッチングにより溝４２３である保持部が形成されている。かかる構成の可動基板４２０において、反射膜設置部４２５の固定基板４１０側すなわち下面側に可動反射膜４２１で構成される可動光学ミラーが設けられ、さらに、固定基板４１０側に可動電極４２２が設けられている。
Further, the
この可動基板４２０は、反射膜設置部４２５と比較して、溝４２３の厚み寸法が小さく形成されており、これにより、溝４２３は、固定電極４１２および可動電極４２２間に電圧を印加した際の静電引力により撓むダイアフラムとして機能する。
The
これら固定基板４１０と可動基板４２０とは、０．１ｍｍ以上１．０ｍｍ以下程度の厚みであれば作製可能である。よって、ファブリーペローエタロンフィルターの全体としての厚みを、２．０ｍｍ以下に設定し得るため、分光カメラ７の小型化を実現することができる。
The fixed
このような固定基板４１０と可動基板４２０との間において、固定反射膜４１１と可動反射膜４２１とは、固定基板４１０および可動基板４２０のほぼ中央部で、ギャップを介して対向配置されている。また、固定電極４１２と可動電極４２２とは、前記中央部を取り囲む溝部で、ギャップを介して対向配置されている。これらのうち、固定電極４１２と可動電極４２２とにより、固定反射膜４１１と可動反射膜４２１との間のギャップの大きさを調整する静電アクチュエーター４５が構成される。
Between the fixed
静電アクチュエーター４５を構成する、固定電極４１２および可動電極４２２間に電圧を印加することで生じる静電引力により、溝４２３である保持部に撓みが生じる。その結果、固定反射膜４１１と可動反射膜４２１との間のギャップの大きさすなわち距離を変化させることができる。そして、このギャップの大きさを適宜設定することにより、透過する光の波長を選択すること、入射光から所望の波長（波長領域）の光を選択的に出射させることができる。また、固定反射膜４１１および可動反射膜４２１の構成を変えることにより、透過する光の半値幅、すなわちファブリーペローエタロンフィルターの分解能を制御することができる。
Due to the electrostatic attraction generated by applying a voltage between the fixed
なお、固定基板４１０および可動基板４２０は、それぞれ、例えば、ソーダガラス、結晶性ガラス、石英ガラス、鉛ガラス、カリウムガラス、ホウケイ酸ガラス、無アルカリガラス等の各種ガラスや、水晶等により構成され、接合膜４１４は、例えば、シロキサンを主材料とするプラズマ重合膜等により構成され、また、固定反射膜４１１および可動反射膜４２１は、例えば、Ａｇ等の金属膜や、Ａｇ合金等の合金膜で構成される他、高屈折層としてＴｉＯ２、低屈折層としてＳｉＯ２を備える誘電体多層膜で構成され、さらに、固定電極４１２および可動電極４２２は、各種導電性材料で構成される。
The fixed
また、分光カメラ７は、本実施形態では、図４、図５に示すように、各種光学部品で構成される光学系８１、８３を有する構成のものである。
Further, in the present embodiment, the
分光部側光学系８１は、対象物Ｘと分光部４１との間に配置され、入射光学系としての入射レンズ８１１と、投射レンズ８１２とを備え、対象物Ｘを反射した反射光を分光部４１に導く。
The spectroscopic unit side
また、撮像素子側光学系８３は、分光部４１と撮像素子７１との間に配置され、入出射レンズ８３１を備え、分光部４１により出射された出射光を撮像素子７１に導く。
Further, the image sensor side
このような光学系８１、８３のうちの少なくとも１つを分光カメラ７が備えることで、対象物Ｘを反射する反射光の撮像素子７１による集光率の向上を図ることができる。
When the
なお、光学系８１、８３は、これらのうちの少なくとも１つが、撮像素子７１による前記集光率を考慮して、省略されたものであってもよい。
Note that at least one of the
また、分光部側光学系８１は、上記のような配置とする場合（図４、図５参照）の他、分光部４１と撮像素子側光学系８３との間に配置されている構成をなすものであってもよい。
In addition to the case where the spectroscopic unit side
なお、上述したような構成の分光カメラ７は、モーター２７１の回転軸の回転角度を検出する図示しない角度センサーを有しており、その位置センサーにより、モーター２７１の回転軸の回転角度が検出できるようになっている。
The
また、本実施形態では、分光カメラ７は、ロボットアーム２０に対して着脱可能であることとしたが、これに限定されず、例えば、分光カメラ７は、ロボットアーム２０から離脱不能になっていてもよい。
Further, in the present embodiment, the
＜制御装置＞
制御装置１は、図４、図５に示すように、ロボット制御部１１と、分光画像処理部１２と、表示制御部１３と、記憶部１４と、受付部１５とを備えており、ロボット２、分光カメラ７および表示装置６１等、ロボットシステム１００の各部の駆動をそれぞれ制御する。
<Control device>
As shown in FIGS. 4 and 5, the
また、制御装置１は、ロボット制御部１１と、分光画像処理部１２と、表示制御部１３と、記憶部１４と、受付部１５と、パーソナルコンピューター３との間で、それぞれ、通信可能に構成されている。すなわち、ロボット制御部１１と、分光画像処理部１２と、表示制御部１３と、記憶部１４と、受付部１５とは、互いに、有線または無線通信で接続されている。
Further, the
また、制御装置１には、ロボット２と、表示装置６１と、入力装置６２と、分光カメラ７と、パーソナルコンピューター３とが、それぞれ、有線または無線通信で接続されている。なお、パーソナルコンピューター３は、図４、図５に示すように、制御装置１すなわちロボットシステム１００から装脱着が可能なように構成されている。
Further, the
（ロボット制御部）
ロボット制御部１１は、ロボット２の駆動、すなわち、ロボット２が備えるロボットアーム２０等の各部の駆動を制御する。ロボット制御部１１は、ＯＳ等のプログラムがインストールされたコンピューターである。このロボット制御部１１は、例えば、プロセッサーとしてのＣＰＵと、ＲＡＭと、プログラムが記憶されたＲＯＭとを有する。また、ロボット制御部１１の機能は、例えば、ＣＰＵにより各種プログラムを実行することにより実現することができる。
(Robot control unit)
The
このロボット制御部１１は、具体的には、入力装置６２に入力されたユーザーの操作指示、記憶部１４に記憶されたプログラム等のソフトウェアを読み込むことで、ロボット２が備える各部の駆動を制御する。
Specifically, the
このロボット制御部１１は、本実施形態では、図４、図５に示すように、カメラポイント補正部１０２を有するプログラム実行部１０１を備えている。プログラム実行部１０１は、記憶部１４から読み込まれたプログラムを実行することで、ロボット２が備える各部の駆動を制御し、例えば、プログラム実行部１０１が有するカメラポイント補正部１０２の作動により、第２アーム２３に対してシャフト２４１をｚ軸方向に移動させることができ、これにより、分光カメラ７のｚ軸方向に対する位置補正が実現される。
In this embodiment, the
（分光画像処理部）
分光画像処理部１２は、光源３１、撮像素子７１、分光部４１等の各部の作動、すなわち、分光カメラ７の全体または各部の駆動を制御し、かつ、分光カメラ７で得られた分光画像の処理を施すことで、対象物Ｘの表面性状の検査を実施する。分光画像処理部１２は、ＯＳ等のプログラムがインストールされたコンピューターである。この分光画像処理部１２は、例えば、プロセッサーとしてのＣＰＵと、ＲＡＭと、プログラムが記憶されたＲＯＭとを有する。また、分光画像処理部１２の機能は、例えば、ＣＰＵにより各種プログラムを実行することにより実現することができる。
(Spectroscopic image processing unit)
The spectroscopic
この分光画像処理部１２は、具体的には、入力装置６２に入力されたユーザーの操作指示、すなわち、対象物Ｘが有する固有の分光情報を取得するための条件に基づいて、記憶部１４に記憶されたプログラム等のソフトウェアを読み込むことで、光源３１、分光部４１および撮像素子７１の作動を制御する。そして、これにより得られた対象物Ｘの分光画像すなわち分光情報に基づいて、生産ラインで生産された、または、生産途中の物品としての対象物Ｘの表面性状の検査を実施し、その検査における結果等の情報を、表示装置６１において表示する。
Specifically, the spectroscopic
この分光画像処理部１２は、本実施形態では、図４、図５に示すように、カメラ制御部６０と、画像処理実行部６５とを有している。これらのうち、カメラ制御部６０は、光源制御部６０１と、分光制御部６０２と、分光画像取得部６０３とを備え、分光カメラ７の全体または各部の駆動を制御する。また、画像処理実行部６５は、倍率調整部６０５を有するスペクトル情報生成部６０４を備え、分光カメラ７で得られた分光画像の処理を施すことで、対象物Ｘの表面性状の検査を実施する。
In this embodiment, the spectroscopic
カメラ制御部６０が有する光源制御部６０１は、入力装置６２に入力されたユーザーの操作指示、具体的には、対象物Ｘの分光情報を取得するための条件に基づいて、光源３１の点灯、消灯を制御するものである。
The light
分光制御部６０２は、記憶部１４に記憶されているＶ−λデータに基づいて、出射させる分光波長すなわち特定波長に対応する駆動電圧の電圧値（入力値）を取得する。そして、取得した電圧値を、分光部４１としてのファブリーペローエタロンフィルターの静電アクチュエーター４５に印加させるために指令信号を出力する。すなわち、分光制御部６０２は、分光部４１の作動を制御して、分光部４１から出射される光の特定波長の大きさを特定する。また、分光制御部６０２は、記憶部１４に記憶されている各種データに基づいて、波長の変更タイミングの検出、波長の変更、波長の変更に応じた駆動電圧の変更、および測定終了の判断等を行い、当該判断に基づいて指令信号を出力する。
The
分光画像取得部６０３は、対象物Ｘを反射した反射光に基づいた、光量測定データ（受光量）を分光画像すなわち分光情報として、撮像素子７１において取得（撮像）し、その後、取得された分光画像を記憶部１４に記憶させる。なお、分光画像取得部６０３は、分光画像を記憶部１４に記憶させる際に、分光画像とともにかかる分光画像が取得された波長等も併せて記憶部１４に記憶させる。
The spectroscopic
また、画像処理実行部６５が有するスペクトル情報生成部６０４は、記憶部１４に記憶された、対象物Ｘの分光画像および測定された波長等を取得し、スペクトル情報生成部６０４が備える倍率調整部６０５において分光画像の倍率を考慮した後に、各波長における分光画像を重ね合せるすなわち重畳することで分光スペクトル画像を取得し、これらの分析処理を行う。換言すれば、得られた分光スペクトル画像と、記憶部１４に記憶された対象物Ｘのデータベースとを比較する分光処理を実施することで、対象物Ｘすなわち生産された、または、生産途中の物品の表面性状を検査し、生産された、または、生産途中の物品が良品であるか否かを判定する。
Further, the spectrum
なお、スペクトル情報生成部６０４による、分光画像および測定された波長の取得は、記憶部１４を介することなく、分光画像取得部６０３から、直接、実施することもできる。
The spectral image and the measured wavelength can be acquired by the spectral
（表示制御部）
表示制御部１３は、表示装置６１にウィンドウ等の各種の画面や文字等を表示させる機能を有している。すなわち、表示制御部１３は、表示装置６１の駆動を制御する。この表示制御部１３の機能は、例えば、グラフィックチップ（ＧＰＵ）等により実現することができる。
(Display control unit)
The
（記憶部）
記憶部１４は、各種の情報（データやプログラム等を含む）を記憶する機能を有する。この記憶部１４は、制御プログラム等を記憶する。記憶部１４の機能は、ＲＯＭ等やいわゆる外部記憶装置（図示せず）によって実現することができる。
(Memory)
The
当該データは、例えば、制御装置１の各機能を実現させるためのアプリケーション、プログラム等の他、分光部４１のファブリーペローエタロンフィルターが備える静電アクチュエーター４５に印加する駆動電圧に対する透過光の波長を示す相関データＶ−λデータ、対象物Ｘが有する固有の分光情報に基づいて対象物Ｘの種類等を特定するためのデータベース等が挙げられる。なお、ここで言うデータベースとは、表面性状の検査に供される生産ラインで生産された、または、生産途中の物品としての対象物Ｘについての分光情報のことを示し、生産された、または、生産途中の物品を良品と判定し得る対象物Ｘの分光情報を含んでいる。
The data shows, for example, the wavelength of transmitted light with respect to the drive voltage applied to the
（受付部）
受付部１５は、入力装置６２からの入力を受け付ける機能を有している。この受付部１５の機能は、例えば、インターフェース回路によって実現することができる。なお、例えばタッチパネルを用いる場合には、受付部１５は、ユーザーの指のタッチパネルへの接触等を検知する入力検知部としての機能を有する。
(Reception department)
The
＜表示装置＞
表示装置６１は、例えば、液晶ディスプレイ、有機ＥＬディスプレイ等で構成されたモニター（図示せず）を備えており、例えば、各種の画像（ウィンドウ等の各種の画面等を含む）や文字等を表示する機能を有する。
<Display device>
The
この表示装置６１は、検査に供された対象物Ｘすなわち生産された、または、生産途中の物品の表面性状の検査結果の情報を含む各種の可視化画像を表示する。
The
表示装置６１で表示する可視化画像すなわち検査に供された対象物Ｘの情報としては、例えば、対象物Ｘすなわち生産された、または、生産途中の物品が良品か否かの判定結果、不良品と判定された場合、その理由、さらには不良が生じている位置、良品か否かの判定精度（％）等が挙げられる。
As the information of the visualized image displayed on the
＜入力装置＞
入力装置６２は、例えば、マウスや、キーボード等で構成されている。したがって、ユーザーは、入力装置６２を操作することで、制御装置１に対して各種の処理等の指示、例えば、対象物Ｘの分光情報を取得するための指示を行うことができる。
<Input device>
The
具体的には、ユーザーは、表示装置６１に表示される各種画面（ウィンドウ等）に対して入力装置６２のマウスでクリックする操作や、入力装置６２のキーボードで文字や数字等を入力する操作により、制御装置１に対する指示を行うことができる。
Specifically, the user can click on various screens (windows, etc.) displayed on the
なお、本実施形態では、表示装置６１および入力装置６２の代わりに、表示装置６１および入力装置６２を兼ね備えた表示入力装置を設けてもよい。表示入力装置としては、例えば静電式タッチパネルや感圧式タッチパネル等のタッチパネルを用いることができる。また、入力装置６２は、音声等の音を認識する構成であってもよい。
In the present embodiment, instead of the
＜パーソナルコンピューター＞
パーソナルコンピューター３は、入力装置３６に入力されたユーザーの操作指示に基づいて、制御装置１が備える分光画像処理部１２およびロボット制御部１１が備えるプログラム等のソフトウェアの編集等を実施するとともに、ロボット２および分光カメラ７の駆動を制御することで、後述する調整処理を実施し、これらの実施の状況等が表示装置３５において表示される。このパーソナルコンピューター３は、例えば、プロセッサーとしてのＣＰＵと、ＲＡＭと、プログラムが記憶されたＲＯＭとを有する。また、パーソナルコンピューター３の機能は、例えば、ＣＰＵにより各種プログラムを実行することにより実現することができる。
<Personal computer>
Based on the user's operation instructions input to the
このパーソナルコンピューター３は、本実施形態では、図５に示すように、ロボット制御プログラム編集部３０１と、画像処理編集部３０２と、収差補正キャリブレーション実行部３０３とを備えている。
In the present embodiment, the
ロボット制御プログラム編集部３０１は、ロボット制御部１１が備えるプログラム実行部１０１が実行するプログラムの編集を行い、これにより、ロボット２が作動する条件等が変更される。
The robot control
画像処理編集部３０２は、分光画像処理部１２が備える画像処理実行部６５が実行するプログラムの編集を行い、これにより、分光カメラ７が作動する条件、分光カメラ７により取得された分光画像を処理する条件等が変更される。
The image
収差補正キャリブレーション実行部３０３は、ロボット２および分光カメラ７の駆動を制御することで、後述する調整処理を実施する。
The aberration correction
なお、このパーソナルコンピューター３は、制御装置１すなわちロボットシステム１００に対して、装脱着が可能なように構成されており、分光画像処理部１２およびロボット制御部１１が備えるプログラム等のソフトウェアを編集する際、ならびに、後述する調整処理を実施する際には、図５に示すように、制御装置１に対して装着される。これに対して、それ以外のとき、例えば、後述する検査処理を実施する際には、パーソナルコンピューター３は、図４に示すように、制御装置１から脱着されていてもよい。
The
また、本実施形態では、ロボットアーム２０の回動軸の数は、３つであるが、本発明では、これに限定されず、ロボットアーム２０の回動軸の数は、例えば、１つ、２つ、または、４つ以上でもよい。すなわち、本実施形態では、アーム（リンク）の数は、３つであるが、本発明では、これに限定されず、アームの数は、例えば、２つ、または、４つ以上でもよい。
Further, in the present embodiment, the number of rotation axes of the
さらに、本実施形態では、ロボットアーム２０の数は、１つであるが、本発明では、これに限定されず、ロボットアーム２０の数は、例えば、２つ以上でもよい。すなわち、ロボット２は、例えば、双腕ロボット等の複数腕ロボットであってもよい。
Further, in the present embodiment, the number of
また、本発明では、ロボット２（ロボット本体）は、他の種類（形式）のロボットであってもよい。具体例としては、例えば、垂直多関節ロボット、脚部を有する脚式歩行（走行）ロボット等が挙げられる。「垂直多関節ロボット」とは、軸数（アーム数）が３つ以上であり、かつ、３つの軸のうちの２つの軸が互いに交差（直交）しているロボットのことを言う。 Further, in the present invention, the robot 2 (robot body) may be another type (type) of robot. Specific examples include, for example, a vertical articulated robot, a leg-type walking (running) robot having legs, and the like. The "vertical articulated robot" refers to a robot having three or more axes (number of arms) and two of the three axes intersecting (orthogonally) with each other.
また、本実施形態では、制御装置１がロボット制御部１１と分光画像処理部１２とを備える場合については説明したが、かかる構成に限定されず、ロボット制御部１１は、ロボット制御装置として独立して設けられていてもよいし、分光画像処理部１２は、分光画像処理装置として独立して設けられていてもよい。
Further, in the present embodiment, the case where the
以上のような分光カメラ７とロボット２とを備えるロボットシステム１００は、記憶部１４が備えるプログラムをロボット制御部１１および分光画像処理部１２において起動させることで、生産ラインで生産された、または、生産途中の物品における表面性状の検査、すなわち、対象物Ｘを検査する本発明の分光検査方法を実施することができる。以下、このロボットシステム１００を用いた物品の表面性状を検査する検査方法について、説明する。
The
［物品の表面性状を検査する検査方法］
以下、前述したロボットシステム１００を用いた、対象物Ｘとしての物品の表面性状を検査する検査方法を、すなわち、物品の色や物品に付着している異物の有無を検査する検査方法を、図７〜図１９を用いて、以下に詳述する。
[Inspection method for inspecting the surface properties of articles]
Hereinafter, an inspection method for inspecting the surface properties of an article as an object X, that is, an inspection method for inspecting the color of the article and the presence or absence of foreign matter adhering to the article, using the
図７は、フォーカスが合う位置と、波長可変干渉フィルターを透過する光の波長との関係を示す模式図、図８は、フォーカスが合う位置と、波長可変干渉フィルターを透過する光の波長との関係を示すグラフ、図９は、波長可変干渉フィルターを透過する光の波長と、その波長において得られる分光画像の倍率との関係を示すグラフ、図１０は、物品の表面性状を検査する検査方法で実施される、調整処理および検査処理の概略を説明するための模式図、図１１は、物品の表面性状を検査する検査方法で実施される、調整処理を説明するための模式図、図１２は、物品の表面性状を検査する検査方法で実施される、調整処理を説明するための模式図、図１３は、図５に示すロボットシステムにより物品の表面性状を検査する検査方法が有する調整処理を実施する際のフローチャート、図１４は、各波長において、フォーカスが合う位置を決定する方法を説明するための模式図、図１５は、波長と、各波長において決定されたフォーカスが合う位置の位置Ｐ１からのズレ量ΔＺ、および、各波長において取得される分光画像の倍率との関係の一例を示す表、図１６は、図４に示すロボットシステムにより物品の表面性状を検査する検査方法が有する検査処理を実施する際に入力する条件の一例を示す模式図、図１７は、図４に示すロボットシステムにより物品の表面性状を検査する検査方法が有する検査処理を実施する際のタイミングチャート、図１８は、各波長について倍率変換がなされた分光画像が重ね合わされた状態を示す模式図、図１９は、各波長について倍率変換がなされた分光画像を重ね合せることで得られた分光スペクトル画像を示す模式図である。 FIG. 7 is a schematic diagram showing the relationship between the focused position and the wavelength of the light passing through the wavelength variable interference filter, and FIG. 8 shows the focusing position and the wavelength of the light passing through the wavelength variable interference filter. A graph showing the relationship, FIG. 9 is a graph showing the relationship between the wavelength of light passing through the wavelength variable interference filter and the magnification of the spectral image obtained at that wavelength, and FIG. 10 is an inspection method for inspecting the surface texture of the article. FIG. 11 is a schematic diagram for explaining the outline of the adjustment process and the inspection process carried out in FIG. 11, and FIG. 11 is a schematic diagram for explaining the adjustment process carried out by the inspection method for inspecting the surface texture of the article. Is a schematic diagram for explaining the adjustment process carried out by the inspection method for inspecting the surface texture of the article, and FIG. 13 is an adjustment process included in the inspection method for inspecting the surface property of the article by the robot system shown in FIG. FIG. 14 is a schematic diagram for explaining a method of determining a focus position at each wavelength, and FIG. 15 is a position of a wavelength and a focus position determined at each wavelength. A table showing an example of the relationship between the amount of deviation ΔZ from P1 and the magnification of the spectral image acquired at each wavelength, FIG. 16 shows an inspection method for inspecting the surface texture of an article by the robot system shown in FIG. A schematic diagram showing an example of conditions to be input when performing the inspection process, FIG. 17 is a timing chart and a diagram when performing the inspection process included in the inspection method for inspecting the surface texture of an article by the robot system shown in FIG. FIG. 18 is a schematic diagram showing a state in which spectroscopic images subjected to magnification conversion for each wavelength are superimposed, and FIG. 19 shows a spectral spectrum image obtained by superimposing spectroscopic images subjected to magnification conversion for each wavelength. It is a schematic diagram.
このロボットシステム１００を用いた検査方法は、分光カメラ７の光軸方向における、作業台８に設置された対象物Ｘと、分光カメラ７との間の距離を変化させ、第１波長において、分光カメラ７のフォーカスが対象物Ｘに合う第１位置で、第１波長における第１分光画像を取得し、第１波長より長い波長である第２波長において、分光カメラ７のフォーカスが対象物Ｘに合う第２位置で、前記第２波長における第２分光画像を取得する撮像工程と、第１分光画像に含まれる対象物Ｘの大きさに対し、第２分光画像に含まれる対象物Ｘの大きさが同一となるように第２分光画像を拡大した後に、拡大された前記第２分光画像を重ね合わせることで、分光スペクトル画像を取得する重畳工程とを有している。
In the inspection method using the
ここで、波長可変干渉フィルターである分光部４１で、短波長である６００ｎｍの光を透過させた場合と、長波長である１０００ｎｍの光を透過させた場合とでは、図７に示すように、分光カメラ７が備える投射レンズ８１２における光の屈折率がそれぞれの波長において異なってくる。なお、説明の便宜上、図７では、分光カメラ７が備える投射レンズ８１２以外のレンズについては、その記載を省略している。
Here, as shown in FIG. 7, there are cases where the
そのため、波長６００ｎｍの光を透過させて分光画像を撮像素子７１で得るときと、波長１０００ｎｍの光を透過させて分光画像を撮像素子７１で得るときとでは、投射レンズ８１２と撮像素子７１との間の焦点距離が一定であるとすると、検査すべき物品すなわち対象物Ｘにフォーカスが合う位置は、図７、図８に示す通り、波長６００ｎｍの光を透過させたときが近位となり、波長１０００ｎｍの光を透過させたときが遠位となる差が生じる。
Therefore, the
このようにフォーカスが合う位置が波長６００ｎｍの光を透過させた場合と、波長１０００ｎｍの光を透過させた場合とでは異なることから、図９に示す通り、波長６００ｎｍの光を透過させたときに得られる分光画像の倍率すなわち大きさは、波長１０００ｎｍの光を透過させたときに得られる分光画像の倍率すなわち大きさと比較して、大きくなる倍率色収差が発生する。 Since the focus position differs between the case where light having a wavelength of 600 nm is transmitted and the case where light having a wavelength of 1000 nm is transmitted, as shown in FIG. 9, when light having a wavelength of 600 nm is transmitted. The magnification, that is, the magnitude of the obtained spectroscopic image is larger than the magnification, that is, the size of the spectroscopic image obtained when light having a wavelength of 1000 nm is transmitted.
したがって、異なる波長において撮像された分光画像を、そのまま重ねると、重ねた分光画像同士の間で位置ずれが生じる倍率色収差を含んだ分光画像が生成されることになる。 Therefore, when the spectroscopic images captured at different wavelengths are superimposed as they are, a spectroscopic image including a chromatic aberration of magnification that causes a positional deviation between the superimposed spectral images is generated.
これに対して、本発明では、作業台８に設置された対象物Ｘと、分光カメラ７とを、分光カメラ７の光軸方向に、相対的に移動させつつ、分光カメラ７により、対象物Ｘのフォーカスが合う位置で、異なる波長における分光画像を取得する撮像工程により、フォーカスが合致した分光画像を、異なる波長毎に取得する。その後、分光画像中の対象物Ｘの大きさが同一となるように、最小の波長において取得された分光画像に対して、各分光画像を拡大した後に、拡大された各分光画像を重ね合わせることで、分光スペクトル画像を取得する重畳工程により、各分光画像倍率を一致させて重ね合せることから、重ねた分光画像同士の間で位置ずれを生じることなく、倍率色収差を含まない分光画像を得ることができる。そのため、生産された、または、生産途中の物品について、その表面性状の検査を、優れた精度で実施することができる。なお、分光画像中の対象物Ｘの大きさが同一、とは、分光画像において対象物Ｘが占める領域と、比較対象となる他の分光画像において対象物Ｘが占める領域との差分が、所定の範囲内にあることを言う。大きさを比較する要素は領域に限らず、輪郭、画素数、対象物Ｘの基準となる形状データに対するマッチング度、であってもよい。
On the other hand, in the present invention, the object X installed on the
ところで、このような本発明の分光検査方法、すなわち、物品の表面性状を検査する検査方法では、予め、Ｌ字やＴ字のような文字等のマークに対するフォーカスの調整を行うことで、分光部４１すなわち分光カメラ７で透過させる光の波長と、投射レンズ８１２すなわち分光カメラ７のフォーカスが合う位置および撮像素子７１で得られる分光画像の倍率との関係を決定する調整処理を実施し、その後、所定の領域であるSpectrum Match01またはSpectrum Match02に配置された物品の表面性状を検査する検査処理を実施する（図１０参照）。
By the way, in such a spectroscopic inspection method of the present invention, that is, an inspection method for inspecting the surface texture of an article, the spectroscopic unit is formed by adjusting the focus on marks such as letters such as L-shape and T-shape in advance. An adjustment process is performed to determine the relationship between the wavelength of light transmitted by 41, that is, the
したがって、以下では、この検査方法における、調整処理および検査処理について、順次、説明する。 Therefore, in the following, the adjustment process and the inspection process in this inspection method will be sequentially described.
（調整処理）
まず、物品の表面性状を検査する検査方法における調整処理について説明する。なお、この調整処理では、前述の通り、ロボットシステム１００が備える制御装置１にパーソナルコンピューター３が装着された状態で実施される。
(Adjustment process)
First, the adjustment process in the inspection method for inspecting the surface texture of an article will be described. As described above, this adjustment process is performed with the
＜１Ａ＞ まず、図１３に示すように、ユーザーは、パーソナルコンピューター３が備える入力装置３６の操作により、分光部４１すなわち分光カメラ７で透過させる光の波長と、投射レンズ８１２すなわち分光カメラ７のフォーカスが合う位置および撮像素子７１で得られる分光画像の倍率との関係を決定する調整処理を実施する収差補正キャリブレーションのプログラムを起動させた後、このプログラムの指示に従って、必要に応じて条件等の選択を行う（Ｓ１Ａ）。
<1A> First, as shown in FIG. 13, the user operates the
なお、プログラムの指示に従って入力する条件としては、例えば、ロボット２に複数の分光カメラ７が設置されている場合には、測定する分光カメラ７の指定、その分光カメラ７の設定位置、ロボット２による分光カメラ７の移動後に分光カメラ７による撮像を開始するまでの時間、分光部４１で透過させる光の最小の波長、最大の波長および波長のピッチ、分光カメラ７を設置する位置Ｐ１、および、位置Ｐ１から移動させる最大距離等が挙げられる。
The conditions for inputting according to the instructions of the program include, for example, when a plurality of
＜２Ａ＞ 次いで、分光部４１で透過させる光の最小の波長、すなわち最も短い波長である最短波長と、投射レンズ８１２すなわち分光カメラ７のフォーカスが合う位置および撮像素子７１で得られる分光画像の倍率との関係を決定する。すなわち、分光部４１で最小の波長の光を透過させたときにおける、分光カメラ７のフォーカスが合う位置および撮像素子７１で得られる分光画像の倍率を特定する。
<2A> Next, the minimum wavelength of the light transmitted by the
＜２Ａ−１＞ まず、入力装置３６における、ユーザーによる入力指示に従って、パーソナルコンピューター３が備える収差補正キャリブレーション実行部３０３は、ロボット制御部１１が備えるカメラポイント補正部１０２の作動により、ロボット２のシャフト２４１をｚ軸方向に移動させることで、図１４に示すように、分光カメラ７を初期設定位置である位置Ｐ１に移動させる（Ｓ２Ａ）。
<2A-1> First, according to an input instruction by the user in the
＜２Ａ−２＞ 次いで、収差補正キャリブレーション実行部３０３は、カメラ制御部６０が備える分光制御部６０２の作動により、分光部４１で透過される光の波長を、最小の波長、すなわち、図１４、図１５では、６００ｎｍに設定する（Ｓ３Ａ）。
<2A-2> Next, the aberration correction
なお、分光画像処理部１２による、分光部４１で透過される光の波長の設定は、記憶部１４に記憶されているＶ−λデータに基づいて、透過される光の波長、すなわち、出射させる分光波長に対応する駆動電圧の電圧値（入力値）を取得し、その後、取得した電圧値を、分光部４１としてのファブリーペローエタロンフィルターの静電アクチュエーター４５に印加することで実施される。
The spectroscopic
＜２Ａ−３＞ 次いで、収差補正キャリブレーション実行部３０３は、カメラ制御部６０が備える分光画像取得部６０３の作動により、撮像素子７１により分光画像を取得することと、ロボット制御部１１が備えるカメラポイント補正部１０２の作動により、分光カメラ７をｚ軸方向に移動させることとを、繰り返して実施することで、分光部４１で透過される光の波長が、最小の波長、すなわち、６００ｎｍであるときに、フォーカスが合う位置、換言すれば、フォーカス値最小のポイントを特定する（Ｓ４Ａ）。フォーカスの合う位置は、フォーカスの合う度合を表すフォーカス値を最小とするポイントとして決定する。たとえば、輝度勾配が一定以上の領域のピクセル数を指標として、それを最小とするポイントとする方法がある。物体の輪郭がぼやけている幅の平均ピクセル数を指標として、それを最小とするポイントでもよい。
<2A-3> Next, the aberration correction
このフォーカス値最小のポイントの特定は、図１４に示すように、例えば、分光カメラ７が最初に設置されている位置Ｐ１から＋ｚ軸方向すなわち上方向に小さな間隔で移動させた後に、分光画像取得部６０３の作動による撮像素子７１での分光画像の取得と、スペクトル情報生成部６０４の作動による取得された分光画像の画像処理とを実施するFocusTestシーケンス実行を繰り返して実施することで行うことができる。
As shown in FIG. 14, the point having the minimum focus value is specified, for example, after moving the
より具体的には、取得された分光画像の画像処理は、図１１に示す、Geom01のモデルでは、図中のＬ字の画像を検出した後に、このＬ字の画像について解析を行い、各位置において取得された分光画像において、Ｌ字のフレームすなわち境界部が占有している画素の数が最小となっている位置を、フォーカスが合う位置、すなわち、フォーカス値最小のポイントとして特定する。 More specifically, in the image processing of the acquired spectral image, in the Geom01 model shown in FIG. 11, after detecting the L-shaped image in the figure, the L-shaped image is analyzed and each position is analyzed. In the spectral image acquired in, the position where the number of pixels occupied by the L-shaped frame, that is, the boundary portion is the minimum is specified as the position where the focus is achieved, that is, the point where the focus value is the minimum.
以上のように、最小の波長において、作業台８に設置された対象物ＸすなわちマークとしてのＬ字を含む分光画像を、分光カメラ７の光軸方向にＬ字と分光カメラ７との間の距離を変化させた状態で、分光カメラ７により連続的に取得し、分光画像においてＬ字の境界部が、占有している画素の数が最小となっている分光画像が取得された位置を、フォーカスが合う合焦位置として特定する。
As described above, at the minimum wavelength, the spectroscopic image including the object X installed on the work table 8, that is, the L-shape as a mark is placed between the L-shape and the
なお、フォーカス値最小のポイントの特定の際には、上記の通り、位置Ｐ１を最下点として、そこからロボット２が有するシャフト２４１すなわち分光カメラ７を上方に移動させる構成とするのが好ましい。そのため、位置Ｐ１は、最小の波長のときに焦点の合う位置、またはそれよりも少し下側の位置に設定しておくのが好ましい。すなわち、フォーカスが合う位置すなわち合焦位置よりも近い位置に、対象物ＸとしてのＬ字に対して分光カメラ７を配置し、その後、分光カメラ７を、光軸方向に沿って、Ｌ字から遠ざかるように移動させること、すなわち分光カメラ７とＬ字との間の距離が長くなるように変化させることが好ましい。これにより、位置Ｐ１よりも対象物Ｘ側にシャフト２４１および分光カメラ７が近づく必要がなく、分光カメラ７と対象物Ｘとが衝突する可能性がなくなるため、安全性の向上が図られる。
When specifying the point with the minimum focus value, as described above, it is preferable that the position P1 is set as the lowest point and the
また、フォーカス値最小のポイントの特定は、Ｌ字の画像について解析を行う場合に限らず、例えば、図１２に示すような、円形をなす外枠の境界部が占有している画素の数を求めることによって実施することも可能である。 Further, the point with the minimum focus value is not limited to the case of analyzing an L-shaped image, and for example, the number of pixels occupied by the boundary portion of the circular outer frame as shown in FIG. 12 is determined. It can also be implemented by request.
＜２Ａ−４＞ 次いで、収差補正キャリブレーション実行部３０３は、分光部４１で透過される光の波長が、最小の波長、すなわち、６００ｎｍであるときのフォーカス値最小のポイントの位置Ｐ１からのズレ量ΔＺ、および、このズレ量ΔＺときに取得された分光画像の倍率を１として、記憶部１４に記憶させる（Ｓ５Ａ）。
<2A-4> Next, the aberration correction
＜３Ａ＞ 次に、最小の波長の光における、フォーカス値最小のポイントの特定の後に、最小の波長の光よりも長波長の光におけるフォーカス値最小のポイントの特定が必要か否かを、前記工程＜１Ａ＞において、ユーザーによって選択された条件、すなわち、分光部４１で透過させる光の最小の波長、最大の波長および波長の選択されたピッチに基づいて判定する。すなわち、最小の波長の光から、最大の波長の光となる波長域において、この波長域を一定の波長の幅で分割したピッチで、続けて、その波長の光におけるフォーカス値最小のポイントの特定を、取得する必要があると判定し、最大の波長、すなわち最も長い波長である最長波長を超えた光となった時点で、その波長の光におけるフォーカス値最小のポイントの特定を終了する（Ｓ６Ａ）。
<3A> Next, after specifying the point with the minimum focus value in the light having the minimum wavelength, it is necessary to specify the point having the minimum focus value in the light having a longer wavelength than the light having the minimum wavelength. In step <1A>, the determination is made based on the conditions selected by the user, that is, the minimum wavelength, the maximum wavelength, and the selected pitch of the wavelengths of light transmitted by the
この判定（Ｓ６Ａ）において、フォーカス値最小のポイントの特定がなされた波長の光よりも長波長の光で、フォーカス値最小のポイントを特定する必要がある場合には、ユーザーにより設定されたピッチ分、すなわち、図１４、図１５では１００ｎｍを加算した波長の光を分光部４１で透過し得るように、収差補正キャリブレーション実行部３０３は、分光制御部６０２を作動させ（Ｓ３’Ａ）、その後、前記工程＜２Ａ＞〜本工程＜３Ａ＞を繰り返して実施する。これにより、フォーカス値最小のポイントの特定がなされた波長の光よりも長波長の光における、フォーカス値最小のポイントすなわちフォーカスが合う位置が特定される。このような最小の波長以上の光におけるフォーカス値最小のポイントの特定を、最小の波長から一定のピッチで最大の波長となるまで、繰り返して実施する。すなわち、図１４、図１５では、６００ｎｍから、１００ｎｍのピッチで、１０００ｎｍとなるまで、繰り返して実施する。
In this determination (S6A), when it is necessary to specify the point having the minimum focus value with light having a wavelength longer than that of the light having the wavelength at which the point having the minimum focus value is specified, the pitch amount set by the user is used. That is, in FIGS. 14 and 15, the aberration correction
上記の通り、前記工程＜２Ａ＞〜本工程＜３Ａ＞を繰り返して実施することで、最小の波長の光から、一定のピッチで、最大の波長の光を分光部４１で透過させたときのフォーカス値最小のポイントの位置Ｐ１からのズレ量ΔＺ、および、このときの分光画像の倍率を得ることができる。
As described above, by repeating the steps <2A> to the main step <3A>, the light of the maximum wavelength is transmitted by the
すなわち、最小の波長６００ｎｍから、１００ｎｍのピッチで、最大の波長１０００ｎｍまで分光部４１を透過させる光を変化させたときの各波長と、フォーカス値最小のポイントの位置Ｐ１からのズレ量ΔＺ、および、このときの分光画像の倍率との関係は、図１５に示す通りとなる。
That is, each wavelength when the light transmitted through the
一方、最大の波長を超えた光となり、その波長の光におけるフォーカス値最小のポイントを特定する必要がない場合には、前記工程＜２Ａ＞〜本工程＜３Ａ＞の繰り返しを終了し、次工程＜４Ａ＞に移行する。 On the other hand, when the light exceeds the maximum wavelength and it is not necessary to specify the point where the focus value is the minimum in the light of that wavelength, the repetition of the above steps <2A> to this step <3A> is completed, and the next step is performed. Move to <4A>.
＜４Ａ＞ 次に、収差補正キャリブレーション実行部３０３は、分光部４１で透過される光の波長が、最小の波長から一定のピッチで最大の波長となるまで、繰り返して特定された、フォーカス値最小のポイントの位置Ｐ１からのズレ量ΔＺ、および、このときに得られる分光画像の倍率を、分光部４１で透過される光の波長と、フォーカス値最小のポイントの位置Ｐ１からのズレ量ΔＺ、および、このときに得られる分光画像の倍率との関係を示すキャリブレーションデータとして、改めて、記憶部１４に記憶させる（Ｓ７Ａ）。
<4A> Next, the aberration correction
すなわち、図１４、図１５のように、最小の波長６００ｎｍから、１００ｎｍのピッチで、最大の波長１０００ｎｍまで分光部４１を透過させる光を変化させたときには、図１６に示す、各波長と、フォーカス値最小のポイントの位置Ｐ１からのズレ量ΔＺ、および、このときの分光画像の倍率との関係をキャリブレーションデータとして、記憶部１４に記憶させる。
That is, as shown in FIGS. 14 and 15, when the light transmitted through the
以上のように、フォーカスを調整する調整処理、すなわち、工程＜１Ａ＞〜工程＜４Ａ＞を経ることで、分光部４１すなわち分光カメラ７で透過させる光の波長と、投射レンズ８１２すなわち分光カメラ７のフォーカスが合う位置および撮像素子７１すなわち分光カメラ７で得られる分光画像の倍率との関係を決定することができる。
As described above, the wavelength of the light transmitted by the
換言すれば、以上のようなフォーカスを調整する調整処理により、異なる波長において、前記波長と、取得される分光画像のフォーカスが合う位置、および、分光画像の倍率との関係を特定する、すなわち、予め受け付けた設定波長において、分光カメラ７のフォーカスが対象物Ｘに合う位置と、前記位置で取得される分光画像の倍率と、の関係を特定する調整工程が構成される。
In other words, by the adjustment process for adjusting the focus as described above, the relationship between the wavelength, the position where the acquired spectroscopic image is in focus, and the magnification of the spectroscopic image is specified at different wavelengths, that is, An adjustment step is configured to specify the relationship between the position where the focus of the
次に、フォーカスを調整する調整処理が実施されたロボットシステム１００を用いて、所定の領域であるSpectrum Match01またはSpectrum Match02に配置された物品の表面性状を検査する検査処理が実施される。
Next, using the
（検査処理）
次に、物品の表面性状を検査する検査方法における検査処理について説明する。なお、この検査処理では、ロボットシステム１００が備える制御装置１から、通常、パーソナルコンピューター３が取り外された状態で実施される。なお、このパーソナルコンピューター３が取り外されたロボットシステム１００、すなわち、ロボット２と、分光カメラ７と、制御装置１とにより、本発明の分光画像処理装置が構成される。
(Inspection processing)
Next, the inspection process in the inspection method for inspecting the surface properties of the article will be described. In addition, this inspection process is usually carried out in a state where the
＜１Ｂ＞ まず、ユーザーは、図１７に示すように、入力装置６２の操作により、所定の領域に配置された物品の表面性状を検査する検査処理を実施するプログラムを起動させた後、このプログラムの指示に従って、必要に応じて条件等の選択を行う（Ｓ１Ｂ）。
<1B> First, as shown in FIG. 17, the user activates a program for inspecting the surface properties of articles arranged in a predetermined area by operating the
なお、プログラムの指示に従って入力する条件としては、例えば、物品の表面性状を検査する領域、具体的には、Spectrum Match01およびSpectrum Match02の領域のうち何れにおいて検査を実施するのかを指定すること、物品の表面性状を検査する検査の種類、具体的には、物品の色または物品に付着している異物の有無のうち何れの検査を実施するのかを指定すること、検査開始時および検査終了時に分光カメラ７を配置させる位置、ロボット２による分光カメラ７の移動の後に、分光カメラ７による物品の分光画像の取得までに待機する時間、ならびに、分光カメラ７で物品の分光画像を取得する際の波長領域およびこの波長領域において波長を変化させるピッチ等が挙げられる（図１６参照）。
In addition, as a condition to be input according to the instruction of the program, for example, it is specified in the area where the surface texture of the article is inspected, specifically, which of the areas of
＜２Ｂ＞ 次いで、前述した調整処理で取得した、分光部４１すなわち分光カメラ７で透過させる光の波長と、投射レンズ８１２すなわち分光カメラ７のフォーカスが合う位置および撮像素子７１すなわち分光カメラ７で得られる分光画像の倍率との関係に基づいて、前記工程＜１Ｂ＞において設定された波長領域において、設定されたピッチで、撮像素子７１すなわち分光カメラ７により分光画像を取得する。
<2B> Next, the wavelength of the light transmitted by the
＜２Ｂ−１＞ まず、入力装置６２における、ユーザーによる入力指示に従って、画像処理実行部６５は、ロボット制御部１１が備えるカメラポイント補正部１０２の作動により、シャフト２４１をｚ軸方向すなわち光軸方向に移動させることで、分光カメラ７を位置Ｐ０に配置させた後に、前記工程＜１Ｂ＞において設定された波長領域のうち最低の波長すなわち第１波長において、分光カメラ７のフォーカスが合う位置、すなわち、図１８、図１９では、６００ｎｍにおいて、分光カメラ７のフォーカスが合う、Ｐ１からのズレ量ΔＺが５ｍｍとなっている位置に移動させる（Ｓ２Ｂ）。
<2B-1> First, according to an input instruction by the user in the
このようなシャフト２４１すなわちロボットアーム２０の駆動により、分光カメラ７を、対象物Ｘに対して光軸方向に移動させることができる。すなわち、光軸方向における、分光カメラ７と対象物Ｘとの間の距離を変化させることができる。
By driving the
＜２Ｂ−２＞ 次いで、画像処理実行部６５は、カメラ制御部６０が備える分光制御部６０２の作動により、分光部４１で透過される光の波長を、前記工程＜１Ｂ＞において設定された波長領域のうち最低の波長、すなわち、図１８、図１９では、６００ｎｍに設定する（Ｓ３Ｂ）。
<2B-2> Next, the image
なお、分光画像処理部１２による、分光部４１で透過される光の波長の設定は、記憶部１４に記憶されているＶ−λデータに基づいて、透過される光の波長、すなわち、出射させる分光波長に対応する駆動電圧の電圧値（入力値）を取得し、その後、取得した電圧値を、分光部４１としてのファブリーペローエタロンフィルターの静電アクチュエーター４５に印加することで実施される。
The spectroscopic
＜２Ｂ−３＞ 次いで、画像処理実行部６５は、カメラ制御部６０が備える分光画像取得部６０３の作動により、撮像素子７１により分光画像すなわち第１分光画像を取得する（Ｓ４Ｂ）。
<2B-3> Next, the image
なお、図１０に示す、Geom02のモデルでは、図中のSpectrum Match01またはSpectrum Match02の領域に配置された物品が含まれるように、撮像素子７１により分光画像を取得する。
In addition, in the model of Geom02 shown in FIG. 10, a spectroscopic image is acquired by the
＜２Ｂ−４＞ 次いで、画像処理実行部６５は、前記工程＜２Ｂ−３＞で取得された分光カメラ７のフォーカスが合っている分光画像と、この分光画像が取得された光の波長が最小の波長（第１波長）、すなわち、６００ｎｍであることと、このときに取得された分光画像（第１分光画像）の倍率が１であることとを、記憶部１４に記憶させる（Ｓ５Ｂ）。
<2B-4> Next, the image
＜３Ｂ＞ 次に、最小の波長の光における、分光カメラ７のフォーカスが合う位置での分光カメラ７による分光画像の取得の後に、最小の波長の光よりも長波長の光における、分光カメラ７のフォーカスが合う位置での分光カメラ７による分光画像の取得が必要か否かを、前記工程＜１Ｂ＞において、ユーザーによって選択された条件、すなわち、分光部４１で透過させる光の最小の波長、最大の波長および波長のピッチに基づいて判定する。すなわち、最小の波長の光から、選択された波長のピッチで、最大の波長の光となるまで、続けて、その波長の光における、分光カメラ７のフォーカスが合う位置での分光画像の取得を、実施する必要があると判定し、最大の波長を超えた光となった時点で、その波長の光における分光画像の取得を終了する（Ｓ６Ｂ）。
<3B> Next, after acquiring the spectroscopic image by the
この判定（Ｓ６Ｂ）において、フォーカスが合う位置での分光カメラ７による分光画像の取得がなされた波長の光よりも長波長（第２波長）の光で、フォーカスが合う位置での分光カメラ７による分光画像（第２分光画像）を取得する必要がある場合には、ユーザーにより設定されたピッチ分、すなわち、図１８、図１９では２０ｎｍを加算した波長の光を分光部４１で透過し得るように、画像処理実行部６５は、分光制御部６０２を作動させ、その後、前記工程＜２Ｂ＞〜本工程＜３Ｂ＞を繰り返して実施する。これにより、フォーカスが合う位置での分光カメラ７による分光画像の取得がなされた波長の光よりも長波長の光における、フォーカスが合う位置での分光カメラ７による分光画像の取得が実施される。このような最小の波長以上の光におけるフォーカスが合う位置での分光カメラ７による分光画像の取得を、前記工程＜１Ｂ＞において、ユーザーによって選択された波長領域において、最小の波長から一定のピッチで最大の波長となるまで、繰り返して実施する。すなわち、図１８、図１９では、６００ｎｍから、２０ｎｍのピッチで、１０００ｎｍとなるまで、繰り返して実施する。
In this determination (S6B), the light has a wavelength longer than the wavelength at which the spectroscopic image was acquired by the
このように、分光画像を取得する最小の波長、分光画像を取得する最大の波長、および、最小の波長から最大の波長までの間で分光画像を取得する波長のピッチを設定して、最小の波長から、前記ピッチの間隔で、最大の波長まで、順次、フォーカスが合う位置での分光カメラ７による分光画像の取得が実施される。すなわち、分光画像を取得する、最も短い波長である最短波長から最も長い波長である最長波長までの波長域と、波長域を一定の波長で分割するピッチを設定し、前記最短波長、前記最長波長および前記ピッチに基づいて、前記最短波長から、前記ピッチの間隔で、前記最長波長まで、順次、フォーカスが合う位置となるように、分光カメラ７と対象物Ｘとの間の距離を変化させた状態で、分光カメラ７による分光画像の取得が実施される。これにより、一定の間隔の波長における分光画像の情報を含む、精度の良い分光スペクトル画像を取得することが出来る。
In this way, the minimum wavelength at which the spectroscopic image is acquired, the maximum wavelength at which the spectroscopic image is acquired, and the pitch of the wavelength at which the spectroscopic image is acquired between the minimum wavelength and the maximum wavelength are set to be the minimum. The spectroscopic image is sequentially acquired by the
また、分光画像を取得する波長を、最小の波長から、前記ピッチの間隔で、最大の波長まで変更することで、分光カメラ７を、光軸方向に沿って、対象物Ｘから遠ざかるように移動させること、すなわち、分光カメラ７と対象物Ｘとの間の距離が長くなるように変化させることができる。これにより、分光カメラ７に対象物Ｘが接触するのを確実に防止することができる。
Further, by changing the wavelength for acquiring the spectroscopic image from the minimum wavelength to the maximum wavelength at the pitch interval, the
なお、分光画像を取得する波長のピッチは、上記では２０ｎｍとしたが、これに限定されず、前記調整処理において、分光カメラ７で透過させる光の波長と、分光カメラ７のフォーカスが合う位置および分光カメラ７で得られる分光画像の倍率との関係が明らかとなっており、これらの関係が満足していれば、前記波長のピッチは、２０ｎｍ以上であっても、２０ｎｍ以下であってもよい。
The pitch of the wavelength at which the spectroscopic image is acquired is 20 nm in the above, but is not limited to this, and in the adjustment process, the wavelength of the light transmitted by the
上記の通り、前記工程＜２Ｂ＞〜本工程＜３Ｂ＞を繰り返して実施することで、前記工程＜１Ｂ＞において、ユーザーによって選択された波長領域において、最小の波長の光から、一定のピッチで、最大の波長の光における分光画像が、フォーカスが合ったものとして取得することができる。 As described above, by repeating the steps <2B> to the main step <3B>, in the step <1B>, in the wavelength region selected by the user, from the light having the smallest wavelength, at a constant pitch. , The spectroscopic image in the light of the maximum wavelength can be acquired as in focus.
すなわち、図１８、図１９のように、最小の波長６００ｎｍから、２０ｎｍのピッチで、最大の波長１０００ｎｍまで分光部４１を透過させる光を変化させたときの分光画像が、フォーカスが合ったものとして取得することができる。なお、このようにして取得された各波長における分光画像と、これら分光画像の倍率との関係についても、前記調整処理を経ていることから、明らかとなっている。
That is, as shown in FIGS. 18 and 19, the spectroscopic image when the light transmitted through the
一方、最大の波長を超えた光となり、その波長の光におけるフォーカスが合う位置での分光画像の取得が必要ない場合には、前記工程＜２Ｂ＞〜本工程＜３Ｂ＞の繰り返しを終了し、次工程＜４Ｂ＞に移行する。 On the other hand, when the light exceeds the maximum wavelength and it is not necessary to acquire a spectroscopic image at a position where the light of that wavelength is in focus, the repetition of the above steps <2B> to this step <3B> is completed. The process proceeds to the next step <4B>.
以上のような、前記工程＜２Ｂ＞〜本工程＜３Ｂ＞の繰り返しにより、分光カメラ７の光軸方向における、作業台８に設置された対象物Ｘと、分光カメラ７との間の距離を変化せ、分光カメラ７により、第１波長において、対象物Ｘのフォーカスが合う第１位置で、第１波長における第１分光画像を取得し、第１波長より長い波長である第２波長において分光カメラのフォーカスが合う第２位置で、第２波長における第２分光画像を取得する撮像工程が構成される。
By repeating the steps <2B> to this step <3B> as described above, the distance between the object X installed on the work table 8 and the
＜４Ｂ＞ 次に、画像処理実行部６５は、分光部４１で透過される光の波長が、前記工程＜１Ｂ＞において、ユーザーによって選択された波長領域において、最小の波長から一定のピッチで最大の波長となるまで、繰り返して取得された、分光カメラ７のフォーカスが合っている分光画像と、その分光画像が取得された光の波長と、その分光画像が取得された波長における分光画像の倍率とを、検査すべき物品の分光画像データとして、改めて、記憶部１４に記憶させる（Ｓ７Ｂ）。
<4B> Next, in the image
すなわち、図１８、図１９のように、最小の波長６００ｎｍから、２０ｎｍのピッチで、最大の波長１０００ｎｍまで分光カメラ７のフォーカスが合っている分光画像を取得したときには、これらの分光画像とともに、これに対応する光の波長と、その波長における分光画像の倍率とを、検査すべき物品の分光画像データとして、記憶部１４に記憶させる。
That is, as shown in FIGS. 18 and 19, when the spectroscopic images in which the
以上のように、工程＜１Ｂ＞〜工程＜４Ｂ＞を経ることで、ユーザーによって選択された波長領域において、最小の波長から一定のピッチで最大の波長となるまでの間で、分光カメラ７のフォーカスが合っている分光画像を取得し得るとともに、各波長における分光画像の倍率を決定することができる。
As described above, by going through the steps <1B> to <4B>, the
＜５Ｂ＞ 次に、画像処理実行部６５が備えるスペクトル情報生成部６０４が有する倍率調整部６０５は、記憶部１４に記憶された、検査すべき物品の分光画像データ、すなわち、ユーザーによって選択された波長領域において、最小の波長から一定のピッチで最大の波長となるまで、繰り返して取得された、分光カメラ７のフォーカスが合っている分光画像と、その分光画像が取得された光の波長と、その分光画像が取得された波長における分光画像の倍率とを取得する。そして、各波長に対応する分光画像について、それぞれ、その波長に対応する分光画像の倍率の逆数を掛ける（Ｓ８Ｂ）。これにより、各波長について、倍率変換がなされた分光画像を、図１８に示すように、最小の波長すなわち６００ｎｍにおける分光画像が最も小さく、最大の波長すなわち１０００ｎｍにおける分光画像が最も大きいものとして得られ、その結果、各波長における分光画像で撮像されている対象物Ｘを、同一の大きさを有するものとし得る。
<5B> Next, the
＜６Ｂ＞ 次に、画像処理実行部６５が備えるスペクトル情報生成部６０４は、図１８、図１９に示すように、各波長において、それぞれ、拡大された分光画像すなわち倍率変換がなされた分光画像を、ｚ軸方向に沿った光軸に対応する点を視野中心とし、この視野中心を基準点として、重ね合せることで分光スペクトル画像Ssamを得ることができる（Ｓ９Ｂ）。
<6B> Next, as shown in FIGS. 18 and 19, the spectrum
なお、倍率が１の最小の波長における分光画像を基準として、倍率が１未満となっている他の波長における分光画像については、基準とする分光画像の外側に位置する領域をトリミングする。これにより、図１８に示すように、倍率変換がなされた各波長の分光画像を同視野の画像として重ね合せて分光スペクトル画像Ssamとすることができる。 It should be noted that, with respect to the spectroscopic image at the minimum wavelength of 1 and the spectroscopic image at other wavelengths having a magnification of less than 1, the region located outside the reference spectroscopic image is trimmed. As a result, as shown in FIG. 18, the spectroscopic images of each wavelength that have undergone magnification conversion can be superposed as images of the same field of view to form a spectroscopic spectrum image Ssam.
以上のように、各波長で取得された分光画像を重ね合せることで分光スペクトル画像Ssamを得る際に、各波長における分光画像の倍率を考慮して倍率変換がなされた後の分光画像を重ね合せていることから、重ね合わせた分光画像同士の間で位置ずれが生じるのを的確に抑制または防止することができる。したがって、倍率色収差が含まれることが的確に抑制または防止された分光スペクトル画像Ssamを得ることができる。 As described above, when the spectroscopic spectrum image Ssam is obtained by superimposing the spectroscopic images acquired at each wavelength, the spectroscopic images after the magnification conversion is performed in consideration of the magnification of the spectroscopic image at each wavelength are superposed. Therefore, it is possible to accurately suppress or prevent the occurrence of misalignment between the superimposed spectroscopic images. Therefore, it is possible to obtain a spectroscopic spectrum image Ssam in which the inclusion of chromatic aberration of magnification is accurately suppressed or prevented.
以上のような、前記工程＜５Ｂ＞〜本工程＜６Ｂ＞により、第１分光画像に含まれる対象物Ｘの大きさに対し、第２分光画像に含まれる対象物Ｘの大きさが同一となるように第２分光画像を拡大した後に、拡大された第２分光画像を重ね合わせることで、分光スペクトル画像を取得する重畳工程が構成される。 By the above steps <5B> to this step <6B>, the size of the object X included in the second spectroscopic image is the same as the size of the object X included in the first spectroscopic image. By superimposing the magnified second spectroscopic image after enlarging the second spectroscopic image so as to be, a superimposition step of acquiring the spectroscopic spectrum image is configured.
また、各波長における分光画像は、前述の通り、ｚ軸方向を光軸方向として分光カメラ７を、このｚ軸方向に移動させることで取得している。そのため、ｚ軸方向に沿った光軸の中心を視野中心として、重ね合せるだけで、各波長における分光画像同士の間で位置ずれが生じるのを的確に抑制または防止した状態で、分光スペクトル画像Ssamを得ることができる。すなわち、各波長における分光画像同士の重ね合わせを、位置ずれが生じるのを的確に抑制または防止した状態で、容易に実施することができるため、この重ね合わせにより得られる分光スペクトル画像Ssamを容易に取得することができる。このように、対象物Ｘすなわち生産された、または、生産途中の物品の分光スペクトル画像Ssamを、正確なスペクトル情報として得ることができるため、生産された、または、生産途中の物品における表面性状を優れた精度で検査することができる。
Further, as described above, the spectroscopic images at each wavelength are acquired by moving the
なお、本工程＜６Ｂ＞において分光スペクトル画像Ssamを得る際には、ロボット２の作動を伴わないことから、検査処理の終了後のことを考慮して、カメラポイント補正部１０２は、シャフト２４１を第２アーム２３に対してｚ軸方向に移動させることで、例えば、分光カメラ７を位置Ｐ１０の位置に配置させることが好ましい。
Since the
＜７Ｂ＞ 次いで、スペクトル情報生成部６０４は、得られた分光スペクトル画像Ssamに基づいて、検査すべき物品すなわち対象物Ｘの表面性状を検査する（検査工程）。
<7B> Next, the spectrum
換言すれば、スペクトル情報生成部６０４は、前記工程＜６Ｂ＞において得られた、分光スペクトル画像Ssamを取得する。その後、分光情報としての分光スペクトル画像Ssamを、特徴量として用い、データベースと比較する分析処理を実施することで、検査すべき物品である対象物Ｘの表面性状を検査する。
In other words, the spectrum
具体的には、スペクトル情報生成部６０４は、記憶部１４に予め記憶された表面性状が良品であると判断された物品のデータｒを取得し、このデータｒを用いて対象物Ｘの分光スペクトル画像Ssamがデータｒと一致するか否かを判別することで、対象物Ｘの表面性状を検査する。
Specifically, the spectral
より詳しくは、まず、データｒと一致するか否かを判別するのに適した判別空間へ、特徴量としての分光スペクトル画像Ssamを射影する。すなわち、射影関数f(・)を特定の判別基準に基づき生成する。なお、この判別基準としては、例えば、フィッシャー判別基準、最小二乗基準等が挙げられる。そして、対象物Ｘの分光スペクトル画像Ssamを判別空間に射影し、位置yとする。 More specifically, first, the spectroscopic spectrum image Ssam as a feature quantity is projected onto a discrimination space suitable for discriminating whether or not the data r matches. That is, the projection function f (・) is generated based on a specific discrimination criterion. Examples of the discrimination standard include a Fisher discrimination standard, a least squares standard, and the like. Then, the spectroscopic spectrum image Ssam of the object X is projected onto the discrimination space and set to the position y.
y=f(Ssam) y = f (Ssam)
同様に、良品と判断された物品のデータｒについても、判別空間に投影し、y(r)とする。そして、対象物Ｘの判別空間上の位置yと、良品と判断された物品との判別空間での距離mを計算する。 Similarly, the data r of the article judged to be a non-defective item is also projected onto the discrimination space and set as y (r). Then, the position y of the object X in the discrimination space and the distance m in the discrimination space between the article judged to be a good product are calculated.
m=g(y,y(r)) m = g (y, y (r))
ここで、g(a,b)は判別空間でのaとbとの距離を算出する関数である。また、距離としては、例えば、マハラノビス距離、ユークリッド距離等を用いることができる。 Here, g (a, b) is a function that calculates the distance between a and b in the discrimination space. Further, as the distance, for example, Mahalanobis distance, Euclidean distance or the like can be used.
そして、この得られた距離ｍが、一定の閾値よりも小さいものを、対象物Ｘが良品であると判断する。すなわち、対象物Ｘは良品と同等の色を有している、または、対象物Ｘには異物が付着していないと判断する。 Then, when the obtained distance m is smaller than a certain threshold value, it is determined that the object X is a good product. That is, it is determined that the object X has the same color as the good product, or that no foreign matter is attached to the object X.
以上のように、前記工程＜６Ｂ＞では、各波長で取得された分光画像を重ね合せることで分光スペクトル画像Ssamを得る際に、各波長における分光画像の倍率を考慮して倍率変換がなされた後の分光画像を重ね合せていることから、重ね合わせた分光画像同士の間で位置ずれが生じるのを的確に抑制または防止することができる。したがって、倍率色収差が含まれることが的確に抑制または防止された分光スペクトル画像Ssamを得ることができる。 As described above, in the step <6B>, when the spectroscopic spectrum image Ssam is obtained by superimposing the spectroscopic images acquired at each wavelength, the magnification conversion is performed in consideration of the magnification of the spectroscopic image at each wavelength. Since the later spectroscopic images are superposed, it is possible to accurately suppress or prevent the occurrence of positional deviation between the superposed spectroscopic images. Therefore, it is possible to obtain a spectroscopic spectrum image Ssam in which the inclusion of chromatic aberration of magnification is accurately suppressed or prevented.
また、各波長における分光画像は、前述の通り、ｚ軸方向を光軸方向として分光カメラ７を、このｚ軸方向に移動させることで取得している。そのため、ｚ軸方向に沿った光軸の中心を視野中心として、重ね合せるだけで、各波長における分光画像同士の間で位置ずれが生じるのを的確に抑制または防止した状態で、分光スペクトル画像Ssamを得ることができる。すなわち、各波長における分光画像同士の重ね合わせを、位置ずれが生じるのを的確に抑制または防止した状態で、容易に実施することができるため、この重ね合わせにより得られる分光スペクトル画像Ssamを容易に取得することができる。このように、対象物Ｘすなわち生産された、または、生産途中の物品の分光スペクトル画像Ssamを、正確なスペクトル情報として得ることができる。そのため、生産された、または、生産途中の物品における表面性状の検査を、本工程＜７Ｂ＞において、優れた精度で実施することができる。
Further, as described above, the spectroscopic images at each wavelength are acquired by moving the
＜８Ｂ＞ 次に、表示制御部１３は、スペクトル情報生成部６０４で特定された対象物Ｘの検査結果を可視化画像として作成し、その後、この可視化画像を、表示装置６１に表示させる（Ｓ７Ｂ）。
<8B> Next, the
この可視化画像として、表示装置６１に表示させる対象物Ｘの情報としては、対象物Ｘが良品または不良品であるかの検査結果、また、良品である場合、良品である確率（％）、さらに、不良品である場合、不良品と判断された理由、異物が付着している位置等の情報が挙げられる。
As the information of the object X to be displayed on the
以上のような、ロボットシステム１００を用いた、工程＜１Ｂ＞〜工程＜８Ｂ＞を経る検査処理を実施することで、対象物Ｘの検査が行われる。
The object X is inspected by performing the inspection process through the steps <1B> to <8B> using the
なお、分光情報としての分光スペクトルと、記憶部１４に記憶されたデータベースとを比較する分光処理を、上記では、判別空間での距離mを用いて実施する場合について説明したが、これに限定されず、前記分析処理は、ニューラルネットワーク等の機械学習により実施するようにすることもできる。
In the above description, the case where the spectroscopic process for comparing the spectroscopic spectrum as the spectroscopic information and the database stored in the
また、本実施形態では、シャフト２４１をｚ軸方向に移動させることで、作業台８に設置された対象物Ｘと、シャフト２４１に連結された分光カメラ７とを、分光カメラ７の光軸方向に、相対的に移動させることとしたが、これに限定されず、作業台８をｚ軸方向に移動させることで、対象物Ｘと分光カメラ７とを、分光カメラ７の光軸方向に、相対的に移動させるようにしてもよい。
Further, in the present embodiment, by moving the
さて、以上のようなロボットシステム１００を用いた検査方法において、対象物Ｘとしての物品の表面性状を優れた精度で検査するには、対象物Ｘが配置される領域である、作業台８上のSpectrum Match01またはSpectrum Match02において対象物Ｘが存在している位置を、優れた精度で認識することが求められる。すなわち、対象物Ｘの位置決めを優れた精度で実施した後に、この対象物Ｘに対して表面性状の検査を実施することが求められる。
By the way, in the inspection method using the
この位置決めを、一般的に使用されるＲＧＢカメラを用いた場合、前述したように、このＲＧＢカメラがＲＧＢベイヤー配列のカラーフィルターを備えるものである場合、同じ解像度のモノクロカメラに比べて空間分解能の低下を招くことから、対象物Ｘの位置決めを優れた精度で実施することができない。 When this positioning is performed using a commonly used RGB camera, as described above, when the RGB camera is equipped with an RGB Bayer array color filter, the spatial resolution is higher than that of a monochrome camera having the same resolution. Since the object X is lowered, the positioning of the object X cannot be performed with excellent accuracy.
また、空間分解能が低下しない、３板式のＲＧＢカメラを用いることも考えられるが、この３板式のＲＧＢカメラは、ＲＧＢの各カラーフィルターに対してそれぞれ１個ずつ、合計３個のＣＣＤのような撮像素子を備えるため、カメラの構成が複雑となり、装置の大型化を招くと言う問題が生じる。 It is also conceivable to use a three-plate RGB camera that does not reduce the spatial resolution, but this three-plate RGB camera is like a total of three CCDs, one for each RGB color filter. Since the image sensor is provided, the configuration of the camera becomes complicated, which causes a problem that the size of the device is increased.
これに対して、ロボットシステム１００は、物品すなわち対象物Ｘの表面性状を検査する際に用いるカメラとして、分光カメラ７を備えている。そのため、分光カメラ７すなわちロボットシステム１００の大型化を招くことなく、作業台８上のSpectrum Match01またはSpectrum Match02において対象物Ｘとしての物品が存在している位置を、優れた精度で認識すること、換言すれば、対象物Ｘの位置決めを優れた精度で実施することができる。
On the other hand, the
以下、ロボットシステム１００すなわち分光カメラ７を用いた物品が存在している位置を決定する位置決め方法について、説明する。
Hereinafter, a positioning method for determining the position where an article exists using the
［物品が存在している位置を決定する位置決め方法］
以下、ロボットシステム１００すなわち分光カメラ７を用いた、対象物Ｘとしての物品が存在している位置を決定する位置決め方法、すなわち、物品の色や物品に付着している異物の有無を検査する検査方法を、図２０〜図２６を用いて、以下に詳述する。
[Positioning method to determine the position where the article exists]
Hereinafter, a positioning method using a
図２０は、物品が存在している位置を決定する位置決め方法で実施される、検出工程および取得工程の概略を説明するための模式図、図２１は、図４に示すロボットシステムにより物品が存在している位置を決定する位置決め方法が有する検出工程を実施する際のフローチャート、図２２は、対象物に対応する位置である第１点ＰＴ１における第１分光スペクトル情報と、作業台に対応する位置である第２点ＰＴ２における第２分光スペクトル情報とを示すグラフ、図２３は、第１点ＰＴ１における第１分光スペクトル情報、すなわち分光スペクトル画像Ssam(PT1）の強度と、第２点ＰＴ２における第２分光スペクトル情報、すなわち分光スペクトル画像Ssam(PT2）の強度との差を示す図、図２４は、第１点ＰＴ１における分光スペクトル画像Ssam(PT1）の強度と、第２点ＰＴ２における分光スペクトル画像Ssam(PT2）の強度との差が最大となる波長maxであるときを示す図、図２５は、図４に示すロボットシステムにより物品が存在している位置を決定する位置決め方法が有する取得工程を実施する際のフローチャート、図２６は、取得工程において、サーチラインと、対象物の境界部との交点であるエッジ点を検出することで対象物の位置決めを行う方法を説明するための模式図である。 FIG. 20 is a schematic diagram for explaining the outline of the detection process and the acquisition process carried out by the positioning method for determining the position where the article exists, and FIG. 21 shows the article present by the robot system shown in FIG. FIG. 22 shows a flowchart when carrying out the detection step of the positioning method for determining the position, showing the first spectral spectrum information at the first point PT1 which is the position corresponding to the object and the position corresponding to the workbench. FIG. 23 is a graph showing the second spectral spectrum information at the second point PT2, which is the intensity of the first spectral spectrum information at the first point PT1, that is, the spectral spectrum image Ssam (PT1), and the second point PT2. The figure showing the difference between the two spectral spectrum information, that is, the intensity of the spectral spectrum image Ssam (PT2), FIG. 24 shows the intensity of the spectral spectrum image Ssam (PT1) at the first point PT1 and the spectral spectrum image at the second point PT2. The figure showing the time when the difference from the intensity of Ssam (PT2) is the maximum wavelength max, FIG. 25 shows the acquisition process included in the positioning method for determining the position where the article is present by the robot system shown in FIG. FIG. 26 is a schematic diagram for explaining a method of positioning an object by detecting an edge point which is an intersection of a search line and a boundary portion of the object in the acquisition process. is there.
このロボットシステム１００を用いた位置決め方法は、対象物Ｘのスペクトル情報を分光カメラ７を用いて取得した後に、スペクトル情報において、対象物Ｘと、対象物Ｘの背景としての作業台８とを検出する画像検査を実行し、その後、対象物Ｘと、この対象物Ｘの背景とのコントラストが所定の値よりも高くなる高コントラスト波長を特定する検出工程と、前記コントラストが所定の値よりも高くなる高コントラスト波長に基づいて、対象物Ｘの単色画像を取得した後に、この単色画像において、対象物Ｘと、対象物Ｘの背景としての作業台８との境界部を特定する取得工程とを有している。
In the positioning method using the
以下では、ロボットシステム１００を用いた位置決め方法、すなわち、本発明の分光検査方法における、検出工程および取得工程について、順次、説明する。なお、以下では、作業台８上のSpectrum Match01に対象物Ｘが設置されており、この対象物Ｘの位置決めを実施する場合について説明する（図２０参照）。
Hereinafter, the positioning method using the
１．検出工程
まず、物品が存在している位置を決定する位置決め方法における検出工程について説明する。なお、この検出工程では、ロボットシステム１００が備える制御装置１からパーソナルコンピューター３が脱着された状態で実施される。
1. 1. Detection Step First, the detection step in the positioning method for determining the position where the article is present will be described. In this detection step, the
＜１Ｃ＞ まず、図２１に示すように、ユーザーは、制御装置１が備える入力装置６２の操作により、検出工程を実施する分光画像処理部１２を駆動させるプログラムを起動させた後、このプログラムの指示に従って、必要に応じて条件等の選択を行う（Ｓ１Ｃ）。
<1C> First, as shown in FIG. 21, the user activates a program for driving the spectroscopic
なお、プログラムの指示に従って入力する条件としては、例えば、分光カメラ７で取得する分光スペクトル画像の波長領域、換言すれば、分光部４１で透過させる光の最小の波長、最大の波長および波長のピッチ、対象物Ｘに対応する位置の分光スペクトル情報を取得する第１点ＰＴ１の指定、作業台８に対応する位置の分光スペクトル情報を取得する第２点ＰＴ２の指定等が挙げられる。
The conditions for input according to the instructions of the program include, for example, the wavelength region of the spectroscopic spectrum image acquired by the
＜２Ｃ＞ 次いで、前述した物品の表面性状を検査する検査方法の調整処理で取得した、分光部４１すなわち分光カメラ７で透過させる光の波長と、分光カメラ７のフォーカスが合う位置および分光カメラ７で得られる分光画像の倍率との関係に基づいて、前記工程＜１Ｃ＞において設定された波長領域において、設定されたピッチで、分光カメラ７により分光画像を取得する（Ｓ２Ｃ）。
<2C> Next, the wavelength of the light transmitted by the
＜２Ｃ−１＞ まず、入力装置６２における、ユーザーによる入力指示に従って、画像処理実行部６５は、ロボット制御部１１が備えるカメラポイント補正部１０２の作動により、シャフト２４１をｚ軸方向すなわち光軸方向に移動させることで、分光カメラ７を位置Ｐ０に配置させた後に、前記工程＜１Ｃ＞において設定された波長領域のうち最低の波長において、分光カメラ７のフォーカスが合う位置に移動させる。
<2C-1> First, according to an input instruction by the user in the
＜２Ｃ−２＞ 次いで、画像処理実行部６５は、カメラ制御部６０が備える分光制御部６０２の作動により、分光部４１で透過される光の波長を、前記工程＜１Ｃ＞において設定された波長領域のうち最低の波長に設定する。
<2C-2> Next, the image
＜２Ｃ−３＞ 次いで、画像処理実行部６５は、カメラ制御部６０が備える分光画像取得部６０３の作動により、図２０に示すように、Spectrum Match01の領域に配置された物品としての対象物Ｘが含まれるように、撮像素子７１により分光画像を取得する。
<2C-3> Next, the image
＜２Ｃ−４＞ 次いで、画像処理実行部６５は、前記工程＜２Ｃ−３＞で取得された分光カメラ７のフォーカスが合っている分光画像と、この分光画像が取得された光の波長が最小の波長であることと、このときに取得された分光画像の倍率が１であることとを、記憶部１４に記憶させる。
<2C-4> Next, the image
＜３Ｃ＞ 次に、最小の波長の光における、分光カメラ７のフォーカスが合う位置での分光カメラ７による分光画像の取得の後に、最小の波長の光よりも長波長の光における、分光カメラ７のフォーカスが合う位置での分光カメラ７による分光画像の取得が必要か否かを、前記工程＜１Ｃ＞において、ユーザーによって選択された条件、すなわち、分光部４１で透過させる光の最小の波長、最大の波長および波長のピッチに基づいて判定する。すなわち、最小の波長の光から、選択された波長のピッチで、最大の波長の光となるまで、続けて、その波長の光における、分光カメラ７のフォーカスが合う位置での分光画像の取得を、実施する必要があると判定し、最大の波長を超えた光となった時点で、その波長の光における分光画像の取得を終了する。
<3C> Next, after acquiring the spectroscopic image by the
かかる判定において、フォーカスが合う位置での分光カメラ７による分光画像の取得がなされた波長の光よりも長波長の光で、フォーカスが合う位置での分光カメラ７による分光画像を取得する必要がある場合には、ユーザーにより設定されたピッチ分の波長の光を分光部４１で透過し得るように、画像処理実行部６５は、分光制御部６０２を作動させることで設定し、その後、前記工程＜２Ｃ＞〜本工程＜３Ｃ＞を繰り返して実施する。これにより、フォーカスが合う位置での分光カメラ７による分光画像の取得がなされた波長の光よりも長波長の光における、フォーカスが合う位置での分光カメラ７による分光画像の取得が実施される。このような最小の波長以上の光におけるフォーカスが合う位置での分光カメラ７による分光画像の取得を、前記工程＜１Ｃ＞において、ユーザーによって選択された波長領域で、最小の波長から一定のピッチで最大の波長となるまで、繰り返して実施する。
In such a determination, it is necessary to acquire the spectroscopic image by the
上記の通り、前記工程＜２Ｃ＞〜本工程＜３Ｃ＞を繰り返して実施することで、前記工程＜１Ｃ＞において、ユーザーによって選択された波長領域において、最小の波長の光から、一定のピッチで、最大の波長の光までの分光画像を、フォーカスが合ったものとして取得することができる。 As described above, by repeating the steps <2C> to the main step <3C>, in the step <1C>, in the wavelength region selected by the user, from the light having the smallest wavelength, at a constant pitch. , The spectroscopic image up to the light of the maximum wavelength can be acquired as in focus.
一方、最大の波長を超えた光となり、その波長の光におけるフォーカスが合う位置での分光画像の取得が必要ない場合には、前記工程＜２Ｃ＞〜本工程＜３Ｃ＞の繰り返しを終了し、次工程＜４Ｃ＞に移行する。 On the other hand, when the light exceeds the maximum wavelength and it is not necessary to acquire a spectroscopic image at a position where the light of that wavelength is in focus, the repetition of the steps <2C> to this step <3C> is completed. The process proceeds to the next step <4C>.
＜４Ｃ＞ 次に、画像処理実行部６５は、分光部４１で透過される光の波長が、前記工程＜１Ｃ＞において、ユーザーによって選択された波長領域において、最小の波長から一定のピッチで最大の波長となるまで、繰り返して取得された、分光カメラ７のフォーカスが合っている分光画像と、その分光画像が取得された光の波長と、その分光画像が取得された波長における分光画像の倍率とを、位置決めをすべき物品すなわち対象物Ｘの分光画像データとして、改めて、記憶部１４に記憶させる（Ｓ３Ｃ）。
<4C> Next, in the image
＜５Ｃ＞ 次に、画像処理実行部６５が備えるスペクトル情報生成部６０４が有する倍率調整部６０５は、記憶部１４に記憶された、検査すべき物品の分光画像データ、すなわち、ユーザーによって選択された波長領域において、最小の波長から一定のピッチで最大の波長となるまで、繰り返して取得された、分光カメラ７のフォーカスが合っている分光画像と、その分光画像が取得された光の波長と、その分光画像が取得された波長における分光画像の倍率とを取得する。そして、各波長に対応する分光画像について、それぞれ、その波長に対応する分光画像の倍率の逆数を掛ける。これにより、各波長における分光画像で撮像されている対象物Ｘを、同一の大きさを有するものに調整する（Ｓ４Ｃ）。
<5C> Next, the
＜６Ｃ＞ 次に、画像処理実行部６５が備えるスペクトル情報生成部６０４は、各波長において、それぞれ、拡大された分光画像すなわち倍率変換がなされた分光画像を、ｚ軸方向に沿った光軸の中心を視野中心として、重ね合せることで分光スペクトル画像Ssamを得ることができる（Ｓ５Ｃ）。
<6C> Next, the spectrum
なお、倍率が１の最小の波長における分光画像を基準として、倍率が１未満となっている他の波長における分光画像については、基準とする分光画像の外側に位置する領域をトリミングする。これにより、倍率変換がなされた各波長の分光画像を重ね合せることで得られる分光スペクトル画像Ssamを同視野の画像とすることができる。 It should be noted that, with respect to the spectroscopic image at the minimum wavelength of 1 and the spectroscopic image at other wavelengths having a magnification of less than 1, the region located outside the reference spectroscopic image is trimmed. As a result, the spectroscopic spectrum image Ssam obtained by superimposing the spectroscopic images of each wavelength after the magnification conversion can be made into an image of the same field of view.
＜７Ｃ＞ 次いで、画像処理実行部６５は、得られた撮像領域における分光スペクトル画像Ssamのうち、図２０に示すような、位置決めすべき物品すなわち対象物Ｘと重なる第１点ＰＴ１における分光スペクトル画像Ssam(PT1）と、対象物Ｘが存在しない背景としての作業台８と重なる第２点ＰＴ２における分光スペクトル画像Ssam(PT2）とを取得する画像検査を実行する（Ｓ６Ｃ；図２２参照）。
<7C> Next, the image
なお、分光スペクトル画像Ssamを取得する、第１点ＰＴ１および第２点ＰＴ２は、それぞれ、対象物Ｘと重なる位置および作業台８と重なる位置であれば、任意の位置であってよい。
The first point PT1 and the second point PT2 for acquiring the spectroscopic spectrum image Ssam may be at arbitrary positions as long as they overlap the object X and the
このように、対象物Ｘと重なる第１点ＰＴ１における分光スペクトル画像Ssam(PT1）と、対象物Ｘが存在しない背景としての作業台８と重なる第２点ＰＴ２における分光スペクトル画像Ssam(PT2）とを取得することにより、分光スペクトル画像Ssam中における、対象物Ｘと、対象物Ｘが存在しない背景とを検出することができる。
As described above, the spectroscopic spectrum image Ssam (PT1) at the first point PT1 overlapping the object X and the spectroscopic spectrum image Ssam (PT2) at the second point PT2 overlapping the
＜８Ｃ＞ 次いで、画像処理実行部６５は、得られた対象物Ｘと重なる第１点ＰＴ１における分光スペクトル画像Ssam(PT1）と、作業台８と重なる第２点ＰＴ２における分光スペクトル画像Ssam(PT2）とに基づいて、最小の波長から最大の波長までにおいて、第１点ＰＴ１における分光スペクトル画像Ssam(PT1）の強度と、第２点ＰＴ２における分光スペクトル画像Ssam(PT2）の強度との差（Ssam(PT2）−Ssam(PT1））の大きさを算出する（Ｓ７Ｃ；図２３参照）。
<8C> Next, the image
＜８Ｃ−１＞ まず、最小の波長において、第１点ＰＴ１における分光スペクトル画像Ssam(PT1）の強度と、第２点ＰＴ２における分光スペクトル画像Ssam(PT2）の強度との差（Ssam(PT2）−Ssam(PT1））の大きさを算出する。 <8C-1> First, at the minimum wavelength, the difference between the intensity of the spectral spectrum image Ssam (PT1) at the first point PT1 and the intensity of the spectral spectrum image Ssam (PT2) at the second point PT2 (Ssam (PT2)). −Ssam (PT1)) is calculated.
＜８Ｃ−２＞ 次に、最小の波長における、差（Ssam(PT2）−Ssam(PT1））の算出の後に、最小の波長よりも長波長における分光スペクトル画像Ssam(PT1）、Ssam(PT2）が存在するか否かを判定する。すなわち、最小の波長の光から、選択された波長のピッチで、最大の波長の光となるまで、続けて、その波長の光における、差（Ssam(PT2）−Ssam(PT1））の大きさを算出し、最大の波長を超えた光となった時点で、その波長における差（Ssam(PT2）−Ssam(PT1））の大きさの算出を終了する。 <8C-2> Next, after calculating the difference (Ssam (PT2) -Ssam (PT1)) at the minimum wavelength, the spectral spectral images at wavelengths longer than the minimum wavelength Ssam (PT1), Ssam (PT2). Determines if is present. That is, the magnitude of the difference (Ssam (PT2) -Ssam (PT1)) in the light of that wavelength is continued from the light of the smallest wavelength to the light of the maximum wavelength at the pitch of the selected wavelength. Is calculated, and when the light exceeds the maximum wavelength, the calculation of the magnitude of the difference (Ssam (PT2) -Ssam (PT1)) at that wavelength is completed.
上記の通り、前記工程＜８Ｃ−１＞〜本工程＜８Ｃ−２＞を繰り返して実施することで、最小の波長から最大の波長までの、第１点ＰＴ１における分光スペクトル画像Ssam(PT1）の強度と、第２点ＰＴ２における分光スペクトル画像Ssam(PT2）の強度との差（Ssam(PT2）−Ssam(PT1））の大きさを特定することができる。 As described above, by repeating the steps <8C-1> to this step <8C-2>, the spectroscopic spectrum image Ssam (PT1) at the first point PT1 from the minimum wavelength to the maximum wavelength. The magnitude of the difference (Ssam (PT2) -Ssam (PT1)) between the intensity and the intensity of the spectroscopic spectrum image Ssam (PT2) at the second point PT2 can be specified.
一方、最大の波長を超えた大きさとなり、第１点ＰＴ１における第１分光スペクトル画像Ssam(PT1）と、第２点ＰＴ２における第２分光スペクトル画像Ssam(PT2) が存在しない場合には、前記工程＜８Ｃ−１＞〜本工程＜８Ｃ−２＞の繰り返しを終了し、次工程＜９Ｃ＞に移行する。 On the other hand, if the size exceeds the maximum wavelength and the first spectral spectrum image Ssam (PT1) at the first point PT1 and the second spectral spectrum image Ssam (PT2) at the second point PT2 do not exist, the above The repetition of the step <8C-1> to the main step <8C-2> is completed, and the process proceeds to the next step <9C>.
＜９Ｃ＞ 次いで、画像処理実行部６５は、特定された、最小の波長から最大の波長までの、第１点ＰＴ１における第１分光スペクトル画像Ssam(PT1）の強度と、第２点ＰＴ２における第２分光スペクトル画像Ssam(PT2）の強度とを比較して、これらの差（Ssam(PT2）−Ssam(PT1））のうち、差（Ssam(PT2）−Ssam(PT1））の大きさが予め定めた所定の値よりも大きな値、例えば最大の差（Ssam(PT2）−Ssam(PT1））maxとなるときの波長maxを特定する（Ｓ８Ｃ；図２４参照）。
<9C> Next, the image
すなわち、対象物Ｘと、対象物Ｘの背景としての作業台８と、のコントラストが所定の値よりも高く（大きく）なる、すなわち高コントラストとなる波長maxを特定する。
That is, the wavelength max at which the contrast between the object X and the
このように、差（Ssam(PT2）−Ssam(PT1））の大きさが最大の差（Ssam(PT2）−Ssam(PT1））maxとなる波長maxを特定して、この波長maxにおける分光画像を取得することで、図２３と図２４との比較の通り、対象物Ｘと作業台８とのコントラストを所定の値よりも高くすることができる。また、作業台８は、分光カメラ７を用いて取得された分光スペクトル画像Ssamにおいて、波長maxであるときのように、対象物Ｘとのコントラストが所定の値より大きいことが好ましい。それにより、波長maxにおける分光画像すなわち単色画像を用いることで、後述する取得工程において、対象物Ｘと背景としての作業台８との識別、すなわち、作業台８に設置された対象物Ｘの位置決めを優れた精度で実施することができる。
In this way, the wavelength max at which the magnitude of the difference (Ssam (PT2) -Ssam (PT1)) is the maximum difference (Ssam (PT2) -Ssam (PT1)) max is specified, and the spectroscopic image at this wavelength max is specified. As a comparison between FIGS. 23 and 24, the contrast between the object X and the
＜１０Ｃ＞ 次に、画像処理実行部６５は、第１点ＰＴ１における分光スペクトル画像Ssam(PT1）の強度と第２点ＰＴ２における分光スペクトル画像Ssam(PT2）の強度との差の大きさが最大となる差（Ssam(PT2）−Ssam(PT1））maxと、このときの波長maxの大きさとを、記憶部１４に記憶させる。
<10C> Next, the image
以上のような検出工程、すなわち、工程＜１Ｃ＞〜工程＜１０Ｃ＞を経ることで、差（Ssam(PT2）−Ssam(PT1））の大きさが最大となる差（Ssam(PT2）−Ssam(PT1））maxにおける波長maxを特定することができる。 By going through the above detection steps, that is, steps <1C> to <10C>, the difference (Ssam (PT2) -Ssam (PT1)) that maximizes the magnitude of the difference (Ssam (PT2) -Ssam) (PT1)) The wavelength max at max can be specified.
したがって、上記のような工程＜１Ｃ＞〜＜１０Ｃ＞により、対象物Ｘのスペクトル情報を分光カメラ７を用いて取得した後に、このスペクトル情報において、対象物Ｘと、対象物Ｘの背景とを検出する画像検査を実行し、その後、対象物Ｘと、対象物Ｘの背景とのコントラストが所定の値よりも高くなる波長maxを特定する検出工程が構成される。
Therefore, after the spectral information of the object X is acquired by using the
２．取得工程
次に、物品が存在している位置を決定する位置決め方法における取得工程について説明する。なお、この取得工程では、ロボットシステム１００が備える制御装置１からパーソナルコンピューター３が脱着された状態で実施される。
2. 2. Acquisition step Next, the acquisition step in the positioning method for determining the position where the article is present will be described. In this acquisition step, the
また、取得工程では、位置決めすべき物品としての対象物Ｘの位置決めを、図２０に示すように、作業台８上のSpectrum Match01に設置された対象物Ｘの任意の第１通過点と、作業台８の任意の第２通過点とを通る直線ＳＬと、対象物Ｘと作業台８との境界である境界部ＢＤとの交点であるエッジ点ＥＰを検出することで実施されるが、以下、この取得工程について、詳述する。
Further, in the acquisition process, as shown in FIG. 20, the positioning of the object X as an article to be positioned is performed with an arbitrary first passing point of the object X installed on the
＜１Ｄ＞ まず、図２５に示すように、ユーザーは、制御装置１が備える入力装置６２の操作により、取得工程を実施する分光画像処理部１２を駆動させるプログラムを起動させた後、このプログラムの指示に従って、必要に応じて条件等の選択を行う（Ｓ１Ｄ）。
<1D> First, as shown in FIG. 25, the user activates a program for driving the spectroscopic
なお、プログラムの指示に従って入力する条件としては、例えば、分光カメラ７で取得する分光画像の波長、すなわち、前記検出工程で特定された波長max、対象物Ｘに対応する任意の第１通過点と作業台８に対応する任意の第２通過点とを通過する直線ＳＬの指定等が挙げられる。
The conditions for inputting according to the instructions of the program include, for example, the wavelength of the spectroscopic image acquired by the
＜２Ｄ＞ 次いで、前記工程＜１Ｄ＞で指定された分光画像を取得すべき波長、すなわち、前記検出工程で特定された波長maxにおいて、分光カメラ７により対象物Ｘの分光画像すなわち単色画像を取得する（Ｓ２Ｄ）。
<2D> Next, at the wavelength at which the spectroscopic image specified in the step <1D> should be acquired, that is, the wavelength max specified in the detection step, the
この波長maxにおける対象物Ｘの単色画像の取得に、本発明では、分光カメラ７が用いられる。そのため、ＲＧＢベイヤー配列のカラーフィルターを備えるＲＧＢカメラを用いて、対象物Ｘの単色画像を取得した場合と比較して、高い解像度で単色画像を取得し得ることから、Spectrum Match01における対象物Ｘの位置決めを優れた精度で実施することができる。また、３板式のＲＧＢカメラと比較して、分光カメラ７は、小型化が実現されたカメラであることから、ロボットシステム１００を、小型化が図られたものとし得る。
In the present invention, the
波長maxにおける対象物Ｘの単色画像を取得して、後工程＜６Ｄ＞において、対象物Ｘが配置された位置の位置決めを実施していることから、この位置決めされた位置を誤認定するのを的確に抑制または防止することができる。 Since a monochromatic image of the object X at the wavelength max is acquired and the position where the object X is arranged is positioned in the subsequent step <6D>, it is not possible to erroneously recognize the positioned position. It can be accurately suppressed or prevented.
＜２Ｄ−１＞ まず、入力装置６２における、ユーザーによる入力指示に従って、画像処理実行部６５は、ロボット制御部１１が備えるカメラポイント補正部１０２の作動により、シャフト２４１をｚ軸方向すなわち光軸方向に移動させることで、分光カメラ７を位置Ｐ０に配置させた後に、前記工程＜１Ｄ＞において設定された波長maxにおいて、分光カメラ７のフォーカスが合う位置に移動させる。
<2D-1> First, according to an input instruction by the user in the
＜２Ｄ−２＞ 次いで、画像処理実行部６５は、カメラ制御部６０が備える分光制御部６０２の作動により、分光部４１で透過される光の波長を、前記工程＜１Ｄ＞において設定された波長maxに設定する。
<2D-2> Next, the image
＜２Ｄ−３＞ 次いで、画像処理実行部６５は、カメラ制御部６０が備える分光画像取得部６０３の作動により、図２６に示すように、Spectrum Match01の領域に配置された物品としての対象物Ｘが含まれるように、撮像素子７１により分光画像を取得する。すなわち、波長maxにおける対象物Ｘの単色画像を取得する。
<2D-3> Next, the image
＜３Ｄ＞ 次に、画像処理実行部６５は、前記工程＜２Ｄ＞で取得された分光カメラ７のフォーカスが合っている分光画像と、この分光画像が取得された光の波長が波長maxであることとを、記憶部１４に記憶させる（Ｓ３Ｄ）。
<3D> Next, in the image
＜４Ｄ＞ 次いで、画像処理実行部６５は、記憶部１４から、光の波長が波長maxで取得された分光画像すなわち単色画像を入手し、図２０、図２６に示すように、この分光画像に、対象物Ｘと重なる任意の点である第１通過点と、作業台８と重なる任意の点である第２通過点とを通るサーチラインとしての直線ＳＬを描画する（Ｓ４Ｄ）。
<4D> Next, the image
なお、直線ＳＬを描画するための、第１通過点および第２通過点は、それぞれ、対象物Ｘに対応する位置および作業台８に対応する位置であれば、任意の位置であってよい。
The first passing point and the second passing point for drawing the straight line SL may be arbitrary positions as long as they are the positions corresponding to the object X and the positions corresponding to the
＜５Ｄ＞ 次いで、画像処理実行部６５は、光の波長が波長maxで取得された分光画像に基づいて、直線ＳＬの基端から、直線ＳＬの先端に向かって、波長maxで取得された分光画像の直線ＳＬ上に位置する各画素における強度すなわち輝度を順次読み取る（Ｓ５Ｄ）。
<5D> Next, the image
＜５Ｄ−１＞ まず、波長maxで取得された分光画像の直線ＳＬの基端上に位置する画素における強度を読み取る。 <5D-1> First, the intensity at the pixel located on the base end of the straight line SL of the spectroscopic image acquired at the wavelength max is read.
＜５Ｄ−２＞ 次に、直線ＳＬの基端上に位置する画素における強度の読み取りの後に、直線ＳＬの基端上に位置する画素に先端側で隣接する画素における強度が存在するか否かを判定する。すなわち、直線ＳＬの基端上に位置する画素から、先端上に位置する画素となるまで、続けて、隣接する画素における強度を読み取り、先端上に位置する画素を超えた時点で、その画素における強度の読み取りを終了する。 <5D-2> Next, after reading the intensity of the pixel located on the base end of the straight line SL, whether or not the intensity of the pixel located on the base end of the straight line SL exists in the pixel adjacent to the tip side. To judge. That is, the intensity of the adjacent pixel is continuously read from the pixel located on the base end of the straight line SL to the pixel located on the tip end, and when the pixel located on the tip end is exceeded, the pixel is used. Finish reading the intensity.
上記の通り、本工程＜５Ｄ−２＞を繰り返して実施することで、直線ＳＬの基端上に位置する画素から先端上に位置する画素まで、隣接する画素における、波長maxで取得された分光画像の強度を読み取ることができる。 As described above, by repeating this step <5D-2>, the spectroscopy acquired at the wavelength max in the adjacent pixels from the pixel located on the base end of the straight line SL to the pixel located on the tip end. The intensity of the image can be read.
一方、直線ＳＬの先端上に位置する画素を超えた場合には、本工程＜５Ｄ−２＞の繰り返しを終了し、次工程＜６Ｄ＞に移行する。 On the other hand, when the number of pixels located on the tip of the straight line SL is exceeded, the repetition of this step <5D-2> is ended, and the process proceeds to the next step <6D>.
＜６Ｄ＞ 次いで、画像処理実行部６５は、直線ＳＬ上の基端側に位置する画素における強度すなわち輝度をＩＴ（ｎ）とし、直線ＳＬ上の先端側で隣接する画素における強度をＩＴ（ｎ＋１）としたとき、これらの差の絶対値｜ＩＴ（ｎ＋１）−ＩＴ（ｎ）｜を算出する。そして、この差の絶対値｜ＩＴ（ｎ＋１）−ＩＴ（ｎ）｜すなわち直線ＳＬ上の輝度の変化量すなわちコントラストが予め設定した閾値を超えたときに、この直線ＳＬ上に位置する画素を、対象物Ｘと作業台８との境界である境界部ＢＤと直線ＳＬとの交点であるエッジ点ＥＰとして認定する（Ｓ６Ｄ；図２６参照）。
<6D> Next, the image
このエッジ点ＥＰの特定により、対象物Ｘと、背景としての作業台８との境界部ＢＤすなわち変化点が特定されることから、作業台８において物品としての対象物Ｘが配置された位置の位置決めが実施されることとなる。
By specifying the edge point EP, the boundary portion BD, that is, the change point between the object X and the
また、前記閾値は、例えば、前記検出工程で特定された波長maxにおける最大の差（Ssam(PT2）−Ssam(PT1））maxに基づいて算出することができ、差（Ssam(PT2）−Ssam(PT1））maxの８０％であることが好ましく、９０％であることがより好ましく、１００％であることがさらに好ましい。これにより、エッジ点ＥＰの特定をより優れた精度で実施することができる。 Further, the threshold value can be calculated based on, for example, the maximum difference (Ssam (PT2) -Ssam (PT1)) max at the wavelength max specified in the detection step, and the difference (Ssam (PT2) -Ssam). (PT1)) It is preferably 80% of max, more preferably 90%, and even more preferably 100%. As a result, the edge point EP can be specified with better accuracy.
上記の通り、前記絶対値｜ＩＴ（ｎ＋１）−ＩＴ（ｎ）｜を算出することで直線ＳＬ上の隣り合う第１画素と第２画素との間において、輝度が高輝度から低輝度、または、低輝度から高輝度に変化しているか否かを知ることができる。したがって、前記絶対値｜ＩＴ（ｎ＋１）−ＩＴ（ｎ）｜を算出することにより、直線ＳＬ上の隣接する画素同士間において、輝度が高輝度から低輝度、または、低輝度から高輝度に変化する位置、すなわち、変化点を見つけることができ、さらに、この変化点を見つけることで、対象物Ｘと作業台８との境界である境界部ＢＤを特定することができる。また、変化点の認定は、輝度が高輝度から低輝度、または、低輝度から高輝度に変化するコントラストの大きさが予め設定した閾値を超えたときに行われる。換言すれば、変化点の認定は、第１画素の輝度と前記第２画素の輝度の差分である絶対値｜ＩＴ（ｎ＋１）−ＩＴ（ｎ）｜の大きさが予め設定した閾値を超えたときに行われる。
As described above, by calculating the absolute value | IT (n + 1) -IT (n) |, the brightness is changed from high brightness to low brightness or between the adjacent first pixel and second pixel on the straight line SL. , It is possible to know whether or not the brightness has changed from low brightness to high brightness. Therefore, by calculating the absolute value | IT (n + 1) -IT (n) |, the brightness changes from high brightness to low brightness or from low brightness to high brightness between adjacent pixels on the straight line SL. The position to be used, that is, the change point can be found, and further, by finding this change point, the boundary portion BD which is the boundary between the object X and the
なお、差の絶対値｜ＩＴ（ｎ＋１）−ＩＴ（ｎ）｜が前記閾値を超えることなく、エッジ点ＥＰが特定されなかった場合には、本工程すなわち取得工程を終了し、前記検出工程に戻り、分光カメラ７で取得する分光スペクトル画像の波長領域を変更した後に、再度、検出工程と取得工程とを実施することで、エッジ点ＥＰの特定を実施する。
If the absolute value of the difference | IT (n + 1) -IT (n) | does not exceed the threshold value and the edge point EP is not specified, this step, that is, the acquisition step is terminated and the detection step is performed. After returning and changing the wavelength region of the spectroscopic spectrum image acquired by the
＜７Ｄ＞ 次に、画像処理実行部６５は、直線ＳＬで特定されたエッジ点ＥＰを、記憶部１４に記憶させる（Ｓ７Ｄ）。
<7D> Next, the image
以上のような取得工程、すなわち、工程＜１Ｄ＞〜工程＜７Ｄ＞を経ることで、直線ＳＬ上におけるエッジ点ＥＰを特定すること、すなわち、作業台８上に設置された対象物Ｘの位置決めを実施することができる。
By going through the acquisition steps as described above, that is, steps <1D> to <7D>, the edge point EP on the straight line SL is specified, that is, the positioning of the object X installed on the
したがって、上記のような工程＜１Ｄ＞〜＜７Ｄ＞により、前記コントラストが最も高くなる波長に基づいて、対象物Ｘの単色画像を取得した後に、この単色画像において、対象物Ｘと、対象物Ｘの背景としての作業台８との境界部を特定する取得工程が構成される。
Therefore, after acquiring a monochromatic image of the object X based on the wavelength at which the contrast is highest by the steps <1D> to <7D> as described above, in this monochromatic image, the object X and the object An acquisition process for specifying the boundary with the
なお、上記の通り、１つのサーチライン上すなわち直線ＳＬ上におけるエッジ点ＥＰを特定することで、作業台８における対象物Ｘの位置決めがなされるが、上記とは異なる第１通過点と第２通過点とを通過する少なくとも１つの直線ＳＬを指定し、この直線ＳＬ上におけるエッジ点ＥＰをさらに特定することで、作業台８における対象物Ｘの位置決めをより優れた精度で実施し得る。
As described above, by specifying the edge point EP on one search line, that is, on the straight line SL, the object X on the
なお、本実施形態では、生産ラインで生産された、または、生産途中の物品としての対象物Ｘの表面性状を、ロボットシステム１００を用いて検査する際に、作業台８のSpectrum Match01に設置された対象物Ｘの位置決めを、このロボットシステム１００により実施する場合について説明したが、この場合に限らず、ロボットシステム１００を用いた対象物Ｘの位置決めは、生産された物品のうち良品と判断されたものを梱包する際、または、生産途中の物品を次工程に移送する際に、ロボットが有するロボットアーム等により、物品をピックアップするときにおける物品の位置の検知にも適用し得る。
In the present embodiment, when the surface texture of the object X produced on the production line or as an article in the middle of production is inspected by using the
以上、本発明の分光検査方法、分光画像処理装置およびロボットシステムを、図示の実施形態に基づいて説明したが、本発明はこれらに限定されるものでない。 The spectroscopic inspection method, the spectroscopic image processing apparatus, and the robot system of the present invention have been described above based on the illustrated embodiments, but the present invention is not limited thereto.
例えば、本発明のロボットシステムにおいて、各構成は、同様の機能を発揮し得る任意のものと置換することができ、あるいは、任意の構成のものを付加することができる。
また、本発明の分光検査方法において、任意の工程が追加されたものであってもよい。
For example, in the robot system of the present invention, each configuration can be replaced with any configuration capable of exhibiting similar functions, or any configuration can be added.
In addition, any step may be added to the spectroscopic inspection method of the present invention.
さらに、前記実施形態では、作業台に設置された対象物と、分光カメラとを、分光カメラの光軸方向に、相対的に移動させることで、分光カメラのフォーカスを対象物に一致させていたが、このフォーカスを一致させる方法は、これに限定されず、ロボットアームを固定した状態で、分光カメラが有するレンズと撮像素子との間の離間距離である焦点距離、すなわち、フォーカスを変更することによっても、技術的には可能である。 Further, in the above-described embodiment, the object installed on the workbench and the spectroscopic camera are relatively moved in the optical axis direction of the spectroscopic camera so that the focus of the spectroscopic camera is aligned with the object. However, the method of matching the focus is not limited to this, and the focal length, which is the distance between the lens and the image pickup element of the spectroscopic camera, that is, the focus is changed while the robot arm is fixed. It is also technically possible.
また、前記実施形態では、最大の差（Ssam(PT2）−Ssam(PT1））maxとなっている波長maxにおける対象物Ｘの単色画像を用いて、エッジ点ＥＰすなわち境界部ＢＤを特定することとしたが、最大の差（Ssam(PT2）−Ssam(PT1））maxよりも若干小さい差となっている波長における対象物Ｘの単色画像を用いたとしても、若干の精度の低下を招くものの、境界部ＢＤを特定することは、技術的に可能である。 Further, in the above embodiment, the edge point EP, that is, the boundary portion BD is specified by using a monochromatic image of the object X at the wavelength max where the maximum difference (Ssam (PT2) -Ssam (PT1)) is max. However, even if a monochromatic image of the object X at a wavelength with a difference slightly smaller than the maximum difference (Ssam (PT2) -Ssam (PT1)) max is used, the accuracy will be slightly reduced. , It is technically possible to identify the boundary BD.
１…制御装置、２…ロボット、３…パーソナルコンピューター、７…分光カメラ、８…作業台、９…配管部材、１１…ロボット制御部、１２…分光画像処理部、１３…表示制御部、１４…記憶部、１５…受付部、２０…ロボットアーム、２１…基台、２２…第１アーム、２３…第２アーム、２４…作業ヘッド、２５…駆動部、２６…駆動部、２７…駆動部、２８…駆動部、２９…角速度センサー、３１…光源、３５…表示装置、３６…入力装置、４１…分光部、４５…静電アクチュエーター、５１…回路基板、５２…回路基板、６０…カメラ制御部、６１…表示装置、６２…入力装置、６５…分光処理実行部、７１…撮像素子、８１…分光部側光学系、８３…撮像素子側光学系、１００…ロボットシステム、１０１…プログラム実行部、１０２…カメラポイント補正部、２００…ケーブル、２２０…筐体、２３０…筐体、２３１…底板、２３２…天板、２３３…側壁、２３４…傾斜部、２４１…シャフト、２５１…モーター、２５２…位置センサー、２６１…モーター、２６２…位置センサー、２７１…モーター、２７２…位置センサー、２８１…モーター、２８２…位置センサー、３０１…ロボット制御プログラム編集部、３０２…画像処理編集部、３０３…収差補正キャリブレーション実行部、４１０…固定基板、４１１…固定反射膜、４１２…固定電極、４１３…溝、４１４…接合膜、４１５…反射膜設置部、４２０…可動基板、４２１…可動反射膜、４２２…可動電極、４２３…溝、４２５…反射膜設置部、６０１…光源制御部、６０２…分光制御部、６０３…分光画像取得部、６０４…スペクトル情報生成部、６０５…倍率調整部、８１１…入射レンズ、８１２…投射レンズ、８３１…入出射レンズ、ＢＤ…境界部、ＥＰ…エッジ点、ＳＬ…直線、Ｏ１…第１回動軸、Ｏ２…第２回動軸、Ｏ３…第３回動軸、ＰＴ１…第１点、ＰＴ２…第２点、Ｘ…対象物
1 ... Control device, 2 ... Robot, 3 ... Personal computer, 7 ... Spectral camera, 8 ... Worktable, 9 ... Piping member, 11 ... Robot control unit, 12 ... Spectral image processing unit, 13 ... Display control unit, 14 ... Storage unit, 15 ... reception unit, 20 ... robot arm, 21 ... base, 22 ... first arm, 23 ... second arm, 24 ... work head, 25 ... drive unit, 26 ... drive unit, 27 ... drive unit, 28 ... drive unit, 29 ... angular velocity sensor, 31 ... light source, 35 ... display device, 36 ... input device, 41 ... spectroscopic unit, 45 ... electrostatic actuator, 51 ... circuit board, 52 ... circuit board, 60 ... camera control unit , 61 ... Display device, 62 ... Input device, 65 ... Spectral processing execution unit, 71 ... Imaging element, 81 ... Spectroscopic unit side optical system, 83 ... Imaging element side optical system, 100 ... Robot system, 101 ... Program execution unit, 102 ... Camera point correction unit, 200 ... Cable, 220 ... Housing, 230 ... Housing, 231 ... Bottom plate, 232 ... Top plate, 233 ... Side wall, 234 ... Inclined part, 241 ... Shaft, 251 ... Motor, 252 ... Position Sensor, 261 ... motor, 262 ... position sensor, 271 ... motor, 272 ... position sensor, 281 ... motor, 282 ... position sensor, 301 ... robot control program editorial department, 302 ... image processing editorial department, 303 ... aberration correction calibration Execution part, 410 ... Fixed substrate, 411 ... Fixed reflective film, 412 ... Fixed electrode, 413 ... Groove, 414 ... Bonding film, 415 ... Reflective film installation part, 420 ... Movable substrate, 421 ... Movable reflective film, 422 ...
Claims (9)
前記高コントラスト波長を用いて、前記対象物の単色画像を取得し、前記単色画像において、前記対象物と前記対象物の背景との境界部を特定する取得工程とを有することを特徴とする分光検査方法。 The spectral information of the object is acquired as a spectroscopic spectrum image using a spectroscopic camera, and an image inspection for detecting the object and the background of the object is performed on the spectroscopic image, and the object and the object are described. A detection step that identifies a high contrast wavelength whose contrast with the background of the object is higher than a predetermined value,
Spectroscopy characterized by acquiring a monochromatic image of the object using the high contrast wavelength, and having an acquisition step of identifying a boundary portion between the object and the background of the object in the monochromatic image. Inspection method.
前記分光カメラで取得する前記スペクトル情報の波長領域を変更し、前記検出工程と、前記取得工程とを、再度、実施することを特徴とする請求項５に記載の分光検査方法。 When the difference does not exceed the threshold
The spectroscopic inspection method according to claim 5, wherein the wavelength region of the spectral information acquired by the spectroscopic camera is changed, and the detection step and the acquisition step are performed again.
前記分光画像処理部は、前記分光スペクトル画像を、前記分光カメラを用いて取得し、前記分光スペクトル画像において、前記対象物と、前記対象物の背景とを検出する画像検査を実行し、
検出した前記対象物と、前記対象物の背景とのコントラストが所定の値よりも高い高コントラスト波長を選択し、前記高コントラスト波長を用いて、前記対象物の単色画像を取得し、前記単色画像において、前記対象物と前記対象物の背景との境界部を特定するよう構成されていることを特徴とする分光画像処理装置。 It has a spectroscopic camera that acquires spectral information of an object as a spectroscopic spectral image, and a spectroscopic image processing unit that controls the driving of the spectroscopic camera.
The spectroscopic image processing unit acquires the spectroscopic spectrum image by using the spectroscopic camera, executes an image inspection for detecting the object and the background of the object in the spectroscopic image.
A high contrast wavelength in which the contrast between the detected object and the background of the object is higher than a predetermined value is selected, and a monochromatic image of the object is acquired using the high contrast wavelength to obtain the monochromatic image. A spectroscopic image processing apparatus, characterized in that it is configured to specify a boundary portion between the object and the background of the object.
分光カメラと、
前記分光カメラを制御して分光スペクトル画像を取得する分光画像処理装置と、
前記分光スペクトル画像に基づいて、前記ロボットアームを制御するロボット制御装置と、を有し、
前記分光画像処理装置は、
対象物の前記分光スペクトル画像を、前記分光カメラを用いて取得し、前記分光スペクトル画像において、前記対象物と、前記対象物の背景とを検出する画像検査を実行し、
検出した前記対象物と、前記対象物の背景とのコントラストが所定の値よりも高い高コントラスト波長を選択し、前記高コントラスト波長を用いて、前記対象物の単色画像を取得し、前記単色画像において、前記対象物と前記対象物の背景との境界部を特定するよう構成されていることを特徴とするロボットシステム。 With the robot arm
With a spectroscopic camera
A spectroscopic image processing device that controls the spectroscopic camera to acquire a spectroscopic spectrum image,
A robot control device that controls the robot arm based on the spectroscopic spectrum image.
The spectroscopic image processing apparatus is
The spectroscopic spectrum image of the object is acquired by using the spectroscopic camera, and an image inspection for detecting the object and the background of the object in the spectroscopic spectrum image is performed.
A high contrast wavelength in which the contrast between the detected object and the background of the object is higher than a predetermined value is selected, and a monochromatic image of the object is acquired using the high contrast wavelength to obtain the monochromatic image. The robot system is configured to specify a boundary portion between the object and the background of the object.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019059124A JP2020159847A (en) | 2019-03-26 | 2019-03-26 | Spectroscopic inspection method, spectroscopic image processing device, and robot system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019059124A JP2020159847A (en) | 2019-03-26 | 2019-03-26 | Spectroscopic inspection method, spectroscopic image processing device, and robot system |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2020159847A true JP2020159847A (en) | 2020-10-01 |
Family
ID=72642813
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019059124A Pending JP2020159847A (en) | 2019-03-26 | 2019-03-26 | Spectroscopic inspection method, spectroscopic image processing device, and robot system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2020159847A (en) |
-
2019
- 2019-03-26 JP JP2019059124A patent/JP2020159847A/en active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI575626B (en) | System and method for inspecting a wafer (4) | |
| JP5342210B2 (en) | Alignment apparatus control apparatus and alignment method | |
| US8649591B2 (en) | Pattern inspection apparatus and pattern inspection method | |
| US20070103893A1 (en) | Defect inspection device and substrate manufacturing system using the same | |
| JP5119602B2 (en) | Periodic pattern defect inspection method and defect inspection apparatus | |
| JP2001281158A (en) | Inspecting device and inspecting method for defect in wafer frame | |
| JP2013527925A (en) | Inspection apparatus and method for moving semiconductor wafer | |
| JPWO2007141857A1 (en) | Appearance inspection device | |
| JP2008032433A (en) | Substrate inspection device | |
| KR20190088930A (en) | Display Pixel Automatic Inspection System and method | |
| JP2020165666A (en) | Spectroscopic inspection method and spectroscopic inspection device | |
| JP6085188B2 (en) | Pattern inspection device | |
| JP2006208084A (en) | Inspection device for irregularities in cyclic pattern | |
| JP7247700B2 (en) | Spectral camera device and inspection system | |
| JP6939640B2 (en) | Image inspection equipment and image inspection method | |
| KR101652355B1 (en) | optical apparatus for examining pattern image of semiconductor wafer | |
| JP2020159847A (en) | Spectroscopic inspection method, spectroscopic image processing device, and robot system | |
| US20090010525A1 (en) | Method and apparatus for detecting positions of electrode pads | |
| JP2020153826A (en) | Spectroscopic inspection method, spectroscopic image processing device, and robot system | |
| JP2020159832A (en) | Spectroscopic inspection method and inspection system | |
| JP2001343907A (en) | Laser repair device and production method for display cell | |
| JP4850014B2 (en) | Spectrophotometric system and method for correcting illumination light source position of the system | |
| JP2000002514A (en) | Film thickness measuring apparatus, alignment sensor and alignment apparatus | |
| JP5316924B2 (en) | Observation apparatus and observation method | |
| US20220238396A1 (en) | Laser repair method and laser repair device |