JP2022042086A - Recognition camera calibration system and recognition camera calibration method - Google Patents

Recognition camera calibration system and recognition camera calibration method Download PDF

Info

Publication number
JP2022042086A
JP2022042086A JP2020147282A JP2020147282A JP2022042086A JP 2022042086 A JP2022042086 A JP 2022042086A JP 2020147282 A JP2020147282 A JP 2020147282A JP 2020147282 A JP2020147282 A JP 2020147282A JP 2022042086 A JP2022042086 A JP 2022042086A
Authority
JP
Japan
Prior art keywords
recognition camera
recognition
light
wavelength
camera calibration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020147282A
Other languages
Japanese (ja)
Other versions
JP7463917B2 (en
Inventor
康弘 塙
Yasuhiro Hanawa
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2020147282A priority Critical patent/JP7463917B2/en
Publication of JP2022042086A publication Critical patent/JP2022042086A/en
Application granted granted Critical
Publication of JP7463917B2 publication Critical patent/JP7463917B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

To provide a recognition camera calibration system and a recognition camera calibration method, with which it is possible to calibrate recognition cameras in a short time.SOLUTION: A recognition camera calibration system comprises a recognition camera calibration plate, a recognition camera, and control means. A reference mark is formed on a first principal surface of the recognition camera calibration plate. The recognition camera is arranged on a second principal surface side of the recognition camera calibration plate, and is adjusted so that the optical axis is substantially perpendicular to the second principal surface. The recognition camera acquires a first image in which the recognition camera calibration plate including the reference mark is photographed by light of a first wavelength and a second image having been photographed by light of a second wavelength differing in wavelength from the light of the first wavelength. The control means calculates the inclination of the optical axis of the recognition camera on the basis of a difference between a first recognition position which is the recognition position of the reference mark in the first image and a second recognition position which is the recognition position of the reference mark in the second image.SELECTED DRAWING: Figure 1

Description

本発明は、認識カメラ校正システムおよび認識カメラ校正方法に関する。 The present invention relates to a recognition camera calibration system and a recognition camera calibration method.

電子デバイスを基板の所定の位置に高精度に位置決めして搭載するために、電子デバイスおよび基板に形成した位置決めマークが利用されている。多くの場合、まず、電子デバイスおよび基板の位置決めマークを認識カメラで認識して、それぞれの位置決めマーク位置を算出し、電子デバイスおよび基板の位置を高精度に計測する。そして、電子デバイスあるいは基板を移動させて、電子デバイスを、基板の所定の搭載位置に位置決めして搭載する。 In order to position and mount the electronic device at a predetermined position on the substrate with high accuracy, the positioning mark formed on the electronic device and the substrate is used. In many cases, first, the positioning marks of the electronic device and the substrate are recognized by the recognition camera, the positions of the respective positioning marks are calculated, and the positions of the electronic devices and the substrate are measured with high accuracy. Then, the electronic device or the substrate is moved, and the electronic device is positioned and mounted at a predetermined mounting position on the substrate.

上記の工法において、搭載装置が稼働を続けると、動作中に装置から発せられる熱や、周囲温度の変化によって、カメラ支持部材の寸法が変化したり、搭載ステージの寸法が変化したりして、搭載装置の搭載ステージと認識カメラとの位置関係が変化する場合がある。このため、電子デバイスを基板へ高精度で位置決めするためには、搭載面に対する認識カメラの位置を正確に校正することが必要となる。この校正とは、基準状態からの認識カメラのずれ量の測定である。基準状態は装置ごとに任意に設定することができるが、例えば、搭載装置を立ち上げて、搭載装置が仕様の精度を満足するように認識カメラの調整を行なった時の状態とすることができる。 In the above construction method, when the mounted device continues to operate, the dimensions of the camera support member change or the dimensions of the mounted stage change due to the heat generated from the device during operation and changes in the ambient temperature. The positional relationship between the mounting stage of the mounted device and the recognition camera may change. Therefore, in order to position the electronic device on the substrate with high accuracy, it is necessary to accurately calibrate the position of the recognition camera with respect to the mounting surface. This calibration is the measurement of the amount of deviation of the recognition camera from the reference state. The reference state can be arbitrarily set for each device, but for example, it can be the state when the mounted device is started up and the recognition camera is adjusted so that the mounted device satisfies the accuracy of the specifications. ..

上記のような認識カメラの校正を正確に行う方法が、例えば特許文献1に開示されている。この技術では、実寸の刻まれた平板状の測定治具を使用する。校正に当たっては、まず、搭載治具を搭載面に配置する。次いで、測定治具を測定治具の上面に垂直な方向から、認識カメラで測定治具の画像を撮影する。この時、測定治具を昇降させ、認識カメラと測定治具との距離が異なる複数枚の画像を撮影する。そして撮影された画像から、カメラの1画素あたりの寸法と実寸との対応を、測定治具の上面高さごとに求める。また、複数枚の撮影画像における、測定治具の中心位置と撮影画像の中心位置とのズレ量と、測定治具の上面高さとの関係を求めることにより、認識カメラの撮像方向の、測定治具の上面に垂直な方向に対する傾きを求めることができる。 For example, Patent Document 1 discloses a method for accurately calibrating a recognition camera as described above. In this technique, a flat plate-shaped measuring jig with actual size is used. For calibration, first, the mounting jig is placed on the mounting surface. Next, the image of the measuring jig is taken with the recognition camera from the direction perpendicular to the upper surface of the measuring jig. At this time, the measuring jig is raised and lowered, and a plurality of images having different distances between the recognition camera and the measuring jig are taken. Then, from the captured image, the correspondence between the dimension per pixel of the camera and the actual size is obtained for each height of the upper surface of the measuring jig. Further, by obtaining the relationship between the amount of deviation between the center position of the measuring jig and the center position of the captured image and the height of the upper surface of the measuring jig in a plurality of captured images, the measurement control of the imaging direction of the recognition camera can be obtained. The inclination in the direction perpendicular to the upper surface of the tool can be obtained.

特開2008-072058号公報Japanese Unexamined Patent Publication No. 2008-072058

特許文献1では、測定治具の高さを変えながら複数枚の画像を撮影している。このため、測定治具の高さを、複数回変えるステップが必要になり、校正に時間がかかるという問題がある。 In Patent Document 1, a plurality of images are taken while changing the height of the measuring jig. Therefore, there is a problem that it takes time to calibrate because a step of changing the height of the measuring jig a plurality of times is required.

本発明は、上記の問題に鑑みてなされたものであり、短時間で認識カメラの校正を行うことを可能にする認識カメラ校正システムおよび認識カメラ校正方法を提供することを目的としている。 The present invention has been made in view of the above problems, and an object of the present invention is to provide a recognition camera calibration system and a recognition camera calibration method that enable calibration of a recognition camera in a short time.

上記の課題を解決するため、本発明の 認識カメラ校正システムは、認識カメラ校正プレートと、認識カメラと、制御手段とを有する。認識カメラ校正プレートは第1の主面には基準マークが形成されている。認識カメラは、認識カメラ校正プレートの第2の主面の側に配置され、光軸が、第2の主面に略垂直となるように調整されている。認識カメラは、基準マークを含む認識カメラ校正プレートを、第1の波長の光によって撮影した第1の画像と、第1の波長の光とは波長が異なる第2の波長の光によって撮影した第2の画像を取得する。制御手段は、第1の画像における基準マークの認識位置を第1の認識位置とし、第2の画像における、基準マークの認識位置を第2の認識位置とし、両者の差に基づいて、第2の主面の垂直方向に対する認識カメラの光軸の傾きを算出する。 In order to solve the above problems, the recognition camera calibration system of the present invention includes a recognition camera calibration plate, a recognition camera, and control means. The recognition camera calibration plate has a reference mark formed on the first main surface. The recognition camera is arranged on the side of the second main surface of the recognition camera calibration plate, and the optical axis is adjusted so as to be substantially perpendicular to the second main surface. The recognition camera takes a first image of the recognition camera calibration plate including the reference mark with light of the first wavelength and a second image of light having a wavelength different from that of the light of the first wavelength. Acquire the image of 2. In the control means, the recognition position of the reference mark in the first image is set as the first recognition position, the recognition position of the reference mark in the second image is set as the second recognition position, and the second is based on the difference between the two. Calculate the tilt of the optical axis of the recognition camera with respect to the vertical direction of the main surface of.

また、本発明の認識カメラ校正方法は、第1の主面と第2の主面が平行な透光プレートで、第1の主面に基準マークが形成された認識カメラ校正プレートを用いる。そして、この認識カメラ校正プレートを、第2の主面の側の第2の主面に略垂直な方向から認識カメラで撮影する。そして、認識カメラ校正プレートを第1の波長の光で撮影した第1の画像と、第1の波長とは異なる第2の波長の光で照明し撮影した第2の画像を取得する。制御手段は、第1の画像における基準マークの第1の認識位置と、第2の画像における第2の認識位置との差に基づいて、第2の主面の垂直方向に対する認識カメラの光軸の傾きを算出する。 Further, the recognition camera calibration method of the present invention uses a recognition camera calibration plate in which the first main surface and the second main surface are parallel to each other and the reference mark is formed on the first main surface. Then, the recognition camera calibration plate is photographed by the recognition camera from a direction substantially perpendicular to the second main surface on the side of the second main surface. Then, the first image taken by illuminating the recognition camera calibration plate with the light of the first wavelength and the second image taken by illuminating the recognition camera calibration plate with the light of the second wavelength different from the first wavelength are acquired. The control means is an optical axis of the recognition camera with respect to the vertical direction of the second main surface based on the difference between the first recognition position of the reference mark in the first image and the second recognition position in the second image. Calculate the slope of.

本発明の効果は、短時間で認識カメラの校正を行うことを可能にする認識カメラ校正システムおよび認識カメラ校正方法を提供できることである。 An effect of the present invention is to be able to provide a recognition camera calibration system and a recognition camera calibration method that enable the recognition camera to be calibrated in a short time.

第1の実施形態の認識カメラ校正システムの構成を示す模式図である。It is a schematic diagram which shows the structure of the recognition camera calibration system of 1st Embodiment. 第2の実施形態の認識カメラ校正システムの構成を示す斜視図模式図である。It is a perspective view schematic diagram which shows the structure of the recognition camera calibration system of 2nd Embodiment. 第2の実施形態のカメラ角度の算出方法を説明するための模式図である。It is a schematic diagram for demonstrating the calculation method of the camera angle of 2nd Embodiment. 第2の実施形態の認識位置ずれの算出方法を説明するための模式図である。It is a schematic diagram for demonstrating the calculation method of the recognition position deviation of 2nd Embodiment. 第3の実施形態の第1の認識カメラと第2の認識カメラと認識カメラ校正プレートの配置を示す斜視図である。It is a perspective view which shows the arrangement of the 1st recognition camera, the 2nd recognition camera, and the recognition camera calibration plate of 3rd Embodiment.

以下、図面を参照しながら、本発明の実施形態を詳細に説明する。但し、以下に述べる実施形態には、本発明を実施するために技術的に好ましい限定がされているが、発明の範囲を以下に限定するものではない。なお各図面の同様の構成要素には同じ番号を付し、説明を省略する場合がある。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. However, although the embodiments described below have technically preferable limitations for carrying out the present invention, the scope of the invention is not limited to the following. Note that similar components in each drawing may be numbered the same and description may be omitted.

(第1の実施形態)
図1は、本実施形態の認識カメラ校正システム10を示す模式図である。認識カメラ校正システム10は、認識カメラ校正プレート1と、認識カメラ2と、制御手段3とを有する。
(First Embodiment)
FIG. 1 is a schematic diagram showing the recognition camera calibration system 10 of the present embodiment. The recognition camera calibration system 10 includes a recognition camera calibration plate 1, a recognition camera 2, and a control means 3.

認識カメラ校正プレート1は、第1の主面1aと第2の主面1bが平行な透光プレートであり、第1の主面1aに基準マーク1cが形成されている。そして、認識カメラ校正プレート1は、搭載機の搭載面9に配置されている。 The recognition camera calibration plate 1 is a translucent plate in which the first main surface 1a and the second main surface 1b are parallel to each other, and the reference mark 1c is formed on the first main surface 1a. The recognition camera calibration plate 1 is arranged on the mounting surface 9 of the mounting machine.

認識カメラ2は、認識カメラ校正プレート1の第2の主面1bの側に配置され、その光軸が、第2の主面1bに略垂直な方向に向くように調整されている。認識カメラ2は、基準マーク1cを含む認識カメラ校正プレート1の画像を撮影する。なお、図1では、認識カメラ2の光軸が第2の主面1bに垂直な方向から大きく傾いたように描画しているが、これは説明のためであり、実際には、光軸が第2の主面1bに垂直な方向と可能な限り一致するように調整されている。 The recognition camera 2 is arranged on the side of the second main surface 1b of the recognition camera calibration plate 1, and its optical axis is adjusted so as to face a direction substantially perpendicular to the second main surface 1b. The recognition camera 2 captures an image of the recognition camera calibration plate 1 including the reference mark 1c. In FIG. 1, the optical axis of the recognition camera 2 is drawn so as to be greatly tilted from the direction perpendicular to the second main surface 1b, but this is for the sake of explanation, and the optical axis is actually It is adjusted so as to match the direction perpendicular to the second main surface 1b as much as possible.

認識カメラ2は、第1の波長の光によって撮影された、基準マーク1cを含む認識カメラ校正プレート1の画像を取得する。また、第1の波長の光とは波長が異なる第2の波長の光によって撮影された、基準マーク1cを含む認識カメラ校正プレート1の画像を取得する。第1の波長の光および第2の波長の光で撮影した画像を得るためには、例えば、第1の波長の光と第2の波長の光を含む光で認識カメラ校正プレート1を照明し、フィルターでそれぞれの光を取り出して、認識カメラ2で撮影すれば良い。あるいは、第1の波長の光を放射する照明と、第2の波長の光を放射する照明を用いて、それぞれの照明で、認識カメラ校正プレート1を照明した時の画像を撮影しても良い。 The recognition camera 2 acquires an image of the recognition camera calibration plate 1 including the reference mark 1c, which is taken by the light of the first wavelength. Further, an image of the recognition camera calibration plate 1 including the reference mark 1c taken by the light of the second wavelength having a wavelength different from the light of the first wavelength is acquired. In order to obtain an image taken with the light of the first wavelength and the light of the second wavelength, for example, the recognition camera calibration plate 1 is illuminated with the light including the light of the first wavelength and the light of the second wavelength. , Each light may be taken out by a filter and photographed by the recognition camera 2. Alternatively, using the illumination that radiates the light of the first wavelength and the illumination that radiates the light of the second wavelength, the image when the recognition camera calibration plate 1 is illuminated may be taken by the respective illuminations. ..

制御手段3は、第1の波長の光で撮影された画像における、基準マーク1cの認識位置を第1の認識位置として取得する。また、第2の波長の光で撮影された画像における、基準マーク1cの認識位置を第2の認識位置として取得する。 The control means 3 acquires the recognition position of the reference mark 1c as the first recognition position in the image captured by the light of the first wavelength. Further, the recognition position of the reference mark 1c in the image taken with the light of the second wavelength is acquired as the second recognition position.

ここで、第1の波長の光と第2の波長の光は波長が異なる。このため、認識カメラ2の光軸が、第2の主面に垂直な方向から傾いていた場合には、大気と認識カメラ校正プレート1の界面における両者の屈折角は異なる。その結果、第1の認識位置と第2の認識位置とは異なったものになる。そして、両者の差は、認識カメラ2の光軸の、第2の主面に垂直な方向からの傾きに対応している。制御手段5は、この現象を利用して、第1の認識位置と第2の認識位置の差に基づいて、認識カメラ2の光軸の第2の主面1bに垂直な方向からの傾きを算出する。 Here, the light having the first wavelength and the light having the second wavelength have different wavelengths. Therefore, when the optical axis of the recognition camera 2 is tilted from the direction perpendicular to the second main surface, the refraction angles of both at the interface between the atmosphere and the recognition camera calibration plate 1 are different. As a result, the first recognition position and the second recognition position are different. The difference between the two corresponds to the inclination of the optical axis of the recognition camera 2 from the direction perpendicular to the second main surface. The control means 5 utilizes this phenomenon to determine the inclination of the optical axis of the recognition camera 2 from the direction perpendicular to the second main surface 1b based on the difference between the first recognition position and the second recognition position. calculate.

以上説明したように、本実施形態の認識カメラ校正システムでは、特許文献1のような測定対象の高さを変えながら複数枚の画像を撮影する処理を行うことなく、カメラの校正を行うことができる。このため、短時間でカメラの校正を行うことができる。 As described above, in the recognition camera calibration system of the present embodiment, it is possible to calibrate the camera without performing the process of capturing a plurality of images while changing the height of the measurement target as in Patent Document 1. can. Therefore, the camera can be calibrated in a short time.

(第2の実施形態)
本実施形態では、第1の実施形態を基本構成とする認識カメラ校正システムの具体的な構成例と校正方法について説明する。本実施形態では、搭載機等で、認識対象物である基板の搭載面を水平面とし、認識カメラはこの搭載面に略垂直な方向から撮影を行うものとする。そして、認識カメラの光軸の、搭載面に対し厳密な垂直方向からのずれ量を取得する校正を行う。なお、以降の説明では、搭載面に平行な方向を水平方向、搭載面に垂直な方向を垂直方向と略す場合があるものとする。
(Second embodiment)
In this embodiment, a specific configuration example and a calibration method of the recognition camera calibration system based on the first embodiment will be described. In the present embodiment, the mounting surface of the substrate, which is the object to be recognized, is a horizontal plane in the mounting machine or the like, and the recognition camera shoots from a direction substantially perpendicular to the mounting surface. Then, calibration is performed to acquire the amount of deviation of the optical axis of the recognition camera from the exact vertical direction with respect to the mounting surface. In the following description, the direction parallel to the mounting surface may be abbreviated as the horizontal direction, and the direction perpendicular to the mounting surface may be abbreviated as the vertical direction.

図2は本実施形態の認識カメラ校正システム1000を示す斜視模式図である。認識カメラ校正システム1000は、認識カメラ校正プレート100と、認識カメラ200と、照明手段300と、制御手段400と、認識カメラ校正プレート移動手段500とを有する。図2には示していないが、照明手段300は、第1の波長の光を発する第1の照明部と、第1の波長の光とは異なる波長の、第2の波長の光を発する第2の照明部を有している。 FIG. 2 is a schematic perspective view showing the recognition camera calibration system 1000 of the present embodiment. The recognition camera calibration system 1000 includes a recognition camera calibration plate 100, a recognition camera 200, a lighting means 300, a control means 400, and a recognition camera calibration plate moving means 500. Although not shown in FIG. 2, the illuminating means 300 emits a first illuminating unit that emits light having a first wavelength and a second illuminating unit having a wavelength different from that of the first wavelength light. It has two lighting units.

認識カメラ校正プレート100は、第1の実施形態と同様に、第1の主面110と第2の主面120が平行な透光プレートであり、第1の主面110に基準マーク130が形成されている。そして、認識カメラ校正プレート100は、図示しない搭載機の搭載面に配置されている。 Similar to the first embodiment, the recognition camera calibration plate 100 is a translucent plate in which the first main surface 110 and the second main surface 120 are parallel to each other, and the reference mark 130 is formed on the first main surface 110. Has been done. The recognition camera calibration plate 100 is arranged on a mounting surface of a mounting machine (not shown).

認識カメラ200は、認識カメラ校正プレート100の第2の主面120側に配置され、第2の主面120に略垂直な方向に、光軸が向くように調整されている。認識カメラ200は、基準マーク130の位置を含む認識カメラ校正プレート100の画像を撮影する。 The recognition camera 200 is arranged on the second main surface 120 side of the recognition camera calibration plate 100, and is adjusted so that the optical axis faces in a direction substantially perpendicular to the second main surface 120. The recognition camera 200 captures an image of the recognition camera calibration plate 100 including the position of the reference mark 130.

照明手段300は、第1の波長の光で認識カメラ校正プレート100を照明することが可能である。また、第1の波長の光とは波長が異なる第2の波長の光で、認識カメラ校正プレート100を照明することが可能である。 The lighting means 300 can illuminate the recognition camera calibration plate 100 with light having a first wavelength. Further, it is possible to illuminate the recognition camera calibration plate 100 with light having a second wavelength different from that of the light having the first wavelength.

認識カメラ校正システム1000では、第1の照明部で認識カメラ校正プレート100を照明して、認識カメラ200で認識カメラ校正プレート100を撮影する。制御手段400は、この時に撮影された画像における、基準マーク130の認識位置を第1の認識位置として取得する。また、第2の照明部で認識カメラ校正プレート100を照明して、認識カメラ200で認識カメラ校正プレート100を撮影する。制御手段400は、この時に撮影された画像における、基準マーク130の認識位置を第2の認識位置として取得する。 In the recognition camera calibration system 1000, the recognition camera calibration plate 100 is illuminated by the first lighting unit, and the recognition camera 200 takes a picture of the recognition camera calibration plate 100. The control means 400 acquires the recognition position of the reference mark 130 in the image taken at this time as the first recognition position. Further, the recognition camera calibration plate 100 is illuminated by the second lighting unit, and the recognition camera calibration plate 100 is photographed by the recognition camera 200. The control means 400 acquires the recognition position of the reference mark 130 in the image taken at this time as the second recognition position.

ここで、第1の波長の光と第2の波長の光は波長が異なる。このため、認識カメラ200の光軸が、第2の主面120に垂直な方向から傾いていた場合には、大気と認識カメラ校正プレート100の界面における両者の屈折角は異なる。その結果、第1の認識位置と第2の認識位置とは異なったものになる。そして、両者の差は、認識カメラ200の光軸の、第2の主面120に垂直な方向からの傾きに対応している。制御手段400は、この現象を利用して、第1の認識位置と第2の認識位置の差に基づいて、認識カメラ200の光軸の第2の主面120に垂直な方向からの傾きを算出する。なお、以降の説明では、認識カメラ200の光軸の第2の主面120に垂直な方向からの傾きを、単に認識カメラ200の傾き、あるいは認識カメラ200の角度と略記する場合があるものとする。 Here, the light having the first wavelength and the light having the second wavelength have different wavelengths. Therefore, when the optical axis of the recognition camera 200 is tilted from the direction perpendicular to the second main surface 120, the refraction angles of both at the interface between the atmosphere and the recognition camera calibration plate 100 are different. As a result, the first recognition position and the second recognition position are different. The difference between the two corresponds to the inclination of the optical axis of the recognition camera 200 from the direction perpendicular to the second main surface 120. The control means 400 utilizes this phenomenon to incline the optical axis of the recognition camera 200 from a direction perpendicular to the second main surface 120 based on the difference between the first recognition position and the second recognition position. calculate. In the following description, the inclination of the optical axis of the recognition camera 200 from the direction perpendicular to the second main surface 120 may be abbreviated as the inclination of the recognition camera 200 or the angle of the recognition camera 200. do.

認識カメラ校正プレート移動手段500は、認識カメラ200と認識カメラ校正プレート100との相対距離を調整する。このため、認識カメラ校正プレート移動手段500の代わりに、認識カメラ200をZ方向に移動させる認識カメラ移動手段を設けてもよい。また、図2には記載していないが、認識カメラ200を、図2の座標系のXY方向に移動させる手段、または認識カメラ校正プレート100をXY方向に移動させる手段、または両方の手段があってもよい。これらの手段を設けることにより、例えば、認識カメラ校正プレート100が明るく証明される位置で画像を取得することができる。 The recognition camera calibration plate moving means 500 adjusts the relative distance between the recognition camera 200 and the recognition camera calibration plate 100. Therefore, instead of the recognition camera calibration plate moving means 500, a recognition camera moving means for moving the recognition camera 200 in the Z direction may be provided. Further, although not shown in FIG. 2, there are means for moving the recognition camera 200 in the XY direction of the coordinate system of FIG. 2, means for moving the recognition camera calibration plate 100 in the XY direction, or both means. You may. By providing these means, for example, the image can be acquired at a position where the recognition camera calibration plate 100 is brightly proved.

次に、具体的な、認識カメラ200の光軸の、第2の主面120に垂直な方向からの傾きの算出方法について説明する。図3は、この算出方法を説明するための模式図である。 Next, a specific method for calculating the inclination of the optical axis of the recognition camera 200 from the direction perpendicular to the second main surface 120 will be described. FIG. 3 is a schematic diagram for explaining this calculation method.

図3に示すように、照明手段300は、第1の照明として赤色照明310を有し、第2の照明として紫色照明320を有しているものとする。赤色、紫色の波長域については、厳密な定義は存在しないが、ここでは、例えば、赤色は波長が620~780nm、紫色が380~450nmであるとする。一般的な光学ガラスであるBK7の場合、波長と屈折率の関係は、波長768nmで屈折率1.5115、656nmで1.5143、435nmで1.5267、405nmで1.5302となっている。このように、第1の波長と第2の波長とが離れている方が、屈折率の差が大きくなるので、測定が容易になる。また、図3の例では、赤色照明310、紫色照明320から発せられた光は、ハーフミラー330で反射して、認識カメラ200の光軸と略平行に、認識カメラ校正プレート100に照射される。このようにすると、照明の光を認識カメラ校正プレートに集中することができるので、照明の利用効率が良い。ただし、照明方法は、この構成には限定されない。 As shown in FIG. 3, it is assumed that the lighting means 300 has a red lighting 310 as the first lighting and a purple lighting 320 as the second lighting. There is no strict definition for the wavelength range of red and purple, but here, for example, it is assumed that the wavelength of red is 620 to 780 nm and that of purple is 380 to 450 nm. In the case of BK7, which is a general optical glass, the relationship between the wavelength and the refractive index is 1.5115 at a wavelength of 768 nm, 1.5143 at 656 nm, 1.5267 at 435 nm, and 1.5302 at 405 nm. As described above, when the first wavelength and the second wavelength are separated from each other, the difference in the refractive index becomes larger, so that the measurement becomes easier. Further, in the example of FIG. 3, the light emitted from the red illumination 310 and the purple illumination 320 is reflected by the half mirror 330 and is applied to the recognition camera calibration plate 100 substantially parallel to the optical axis of the recognition camera 200. .. By doing so, the light of the illumination can be concentrated on the recognition camera calibration plate, so that the utilization efficiency of the illumination is good. However, the lighting method is not limited to this configuration.

次に、認識カメラ200の傾きの算出方法について説明する。ここで、空気の屈折率をn、認識カメラ校正プレート100における赤色光の屈折率をn、紫色光の屈折率をnとする。はじめに、照明手段300において赤色照明310のみを点灯させる。認識カメラ200の角度をθとすると、赤色光の光軸は空気と認識カメラ校正プレート100の境界面で屈折する。赤色光の光軸の屈折角をθyRとすると、スネルの法則により
sinθ/sinθyR=n/n (1)
となる。空気の屈折率nを1とすると式(1)は次式となる。
sinθ/sinθyR=n (2)
この赤色光において、第1の主面110に形成されている基準マーク130の位置を画像認識で計測した結果(X方向)をPxRとする。
Next, a method of calculating the inclination of the recognition camera 200 will be described. Here, the refractive index of air is n 0 , the refractive index of red light in the recognition camera calibration plate 100 is n R , and the refractive index of purple light is n V. First, only the red lighting 310 is turned on in the lighting means 300. Assuming that the angle of the recognition camera 200 is θ y , the optical axis of the red light is refracted at the interface between the air and the recognition camera calibration plate 100. Assuming that the refraction angle of the optical axis of red light is θ yR , sin θ y / sin θ yR = n R / n 0 (1) according to Snell's law.
Will be. Assuming that the refractive index n 0 of air is 1, the equation (1) becomes the following equation.
sinθ y / sinθ yR = n R (2)
In this red light, the result (X direction) of measuring the position of the reference mark 130 formed on the first main surface 110 by image recognition is defined as P xR .

次に、照明手段300において紫色照明320のみを点灯させる。認識カメラ200の角度をθとすると、紫色光の光軸は空気と認識カメラ校正プレート100境界面で屈折する。紫色光の光軸の屈折角をθyVとすると、スネルの法則により
sinθ/sinθyV=n/n (3)
となる。空気の屈折率nを1とした場合、式(3)は次式となる。
sinθ/sinθyV=n (4)
この紫色光において、第1の主面110に形成されている基準マーク130の位置を画像認識で計測した結果(X方向)をPxVとする。
Next, in the lighting means 300, only the purple lighting 320 is turned on. Assuming that the angle of the recognition camera 200 is θ y , the optical axis of purple light is refracted at the interface between the air and the recognition camera calibration plate 100. Assuming that the refraction angle of the optical axis of purple light is θ yV , sin θ y / sin θ yV = n V / n 0 (3) according to Snell's law.
Will be. When the refractive index n 0 of air is 1, the equation (3) becomes the following equation.
sinθ y / sinθ yV = n V (4)
In this purple light, the result (X direction) of measuring the position of the reference mark 130 formed on the first main surface 110 by image recognition is defined as P xV .

図3において、認識カメラ校正プレート100の厚さをtとすると、赤色光による認識位置PxRと紫色光による認識位置PxVの差Lは、下式で計算することができる。
L=t×tanθyR-t×tanθyV (5)
また定義から、次式の関係がある。
L=PxV-PxR (6)
式(5)、式(6)より
t×(tanθyR-tanθyV)=PxV-PxR (7)
となる。
認識カメラ200の光軸は、認識カメラ校正プレート100の第2の主面の垂直方向に近づけるように調整するため、θは微小角度となる。また、認識カメラ校正プレート100の赤色光の屈折率n、紫色光の屈折率nは、空気の屈折率nよりも大きいため、θyR、θyVはθより小さくなる。よって次式が近似される。
sinθ≒θ (8)
sinθyR≒tanθyR≒θyR (9)
sinθyV≒tanθyV≒θyV (10)
式(8)、式(9)を式(2)に代入すると下式となる。
θ/θyR=n
θyR=θ/n (11)
式(8)、式(10)を式(4)に代入すると下式となる。
θ/θyV=n
θyV=θ/n (12)
式(9)、式(10)を式(7)に代入すると下式となる。
t×(θyR-θyV)=PxV-PxR (13)
式(11)、式(12)を式(13)に代入すると
t×(θ/n-θ/n)=PxV-PxR
である。
t×θ(1/n-1/n)=PxV-PxR
θ=(PxV-PxR)/(t×(1/n-1/n)) (14)
式(14)より基準マーク130のX方向の、赤色光での認識結果PxR、紫色光での認識結果PxV、認識カメラ校正プレート100の厚さt、赤色光の屈折率n、紫色光の屈折率nを用いて、認識カメラ200の傾きθを表すことができる。
In FIG. 3, assuming that the thickness of the recognition camera calibration plate 100 is t, the difference L between the recognition position P xR by red light and the recognition position P x V by purple light can be calculated by the following formula.
L = t × tanθ yR -t × tanθ yV (5)
Also, from the definition, there is a relationship of the following equation.
L = P xV -P xR (6)
From equations (5) and (6), t × (tanθ yR − tanθ yV ) = P xV −P xR (7)
Will be.
Since the optical axis of the recognition camera 200 is adjusted so as to be close to the vertical direction of the second main surface of the recognition camera calibration plate 100, θ y is a minute angle. Further, since the refractive index n R of red light and the refractive index n V of purple light of the recognition camera calibration plate 100 are larger than the refractive index n 0 of air, θ yR and θ yV are smaller than θ y . Therefore, the following equation is approximated.
sin θ y ≒ θ y (8)
sinθ yR ≒ tanθ yR ≒ θ yR (9)
sinθ yVtanθ yV ≒ θ yV (10)
Substituting Eqs. (8) and (9) into Eq. (2) yields the following equation.
θ y / θ yR = n R
θ yR = θ y / n R (11)
Substituting Eqs. (8) and (10) into Eq. (4) yields the following equation.
θ y / θ yV = n V
θ yV = θ y / n V (12)
Substituting Eqs. (9) and (10) into Eq. (7) yields the following equation.
t × (θ yR −θ yV ) = P xV −P xR (13)
Substituting equations (11) and (12) into equation (13), t × (θ y / n R −θ y / n V ) = P xV −P xR
Is.
t × θ y (1 / n R -1 / n V ) = P xV −P xR
θ y = (P xV −P xR ) / (t × (1 / n R -1 / n V )) (14)
From equation (14), the recognition result P xR in red light, the recognition result P xV in purple light, the thickness t of the recognition camera calibration plate 100, the refractive index nR of red light, and purple in the X direction of the reference mark 130. The refractive index n V of light can be used to represent the tilt θ y of the recognition camera 200.

同様に基準マーク130の、赤色光でのY方向認識結果PyR、紫色光でのY方向認識結果PyVから、認識カメラ200のX軸周りの角度θを次式で求めることができる。
θ=(PyV-PyR)/(t×(1/n-1/n)) (15)
次に、電子デバイスを基板に搭載する場合の、本実施形態のカメラ校正方法について説明する。本実施形態の認識カメラ校正方法では、予め基準となるタイミング(時刻)における、認識カメラ200の基準角度(θ、θ)を測定しておく。ここで、認識カメラ基準角度とは、任意に定めた基準状態で、認識カメラ200の光軸の、搭載面に垂直な方向とのなす角である。基準状態は、例えば、搭載機の立ち上げを行い、機械計測などにより、認識カメラ200の光軸をできるだけ搭載面の垂直方向に近づける調整を行った時の状態とすることができる。この状態で取得した、搭載面に垂直な方向からの認識カメラ200の光軸の角度を基準角度とする。そして、基準状態から、ある時間が経過した、電子デバイスを基板へ搭載する直前の時点の認識カメラ200の角度を(θ’、θ’)とする。上記で説明したように、式(14)、(15)から、認識カメラ200の光軸の、第2の主面120に垂直な方向からの傾きを求めることができ、基準状態で求めた傾きが(θ、θ)、搭載直前に求めた傾きが(θ’、θ’)である。なお、以降の説明では、認識カメラ200の光軸が第2の主面に垂直な方向とのなす角度(θ’、θ’)のことを、単に認識カメラの角度とも呼ぶものとする。
Similarly, the angle θ x around the X axis of the recognition camera 200 can be obtained from the Y direction recognition result P yR with red light and the Y direction recognition result P yV with purple light of the reference mark 130 by the following equation.
θ x = (P yV − P yR ) / (t × (1 / n R -1 / n V )) (15)
Next, the camera calibration method of the present embodiment when the electronic device is mounted on the substrate will be described. In the recognition camera calibration method of the present embodiment, the reference angle (θ x , θ y ) of the recognition camera 200 is measured in advance at the reference timing (time). Here, the recognition camera reference angle is an angle formed by the optical axis of the recognition camera 200 in a direction perpendicular to the mounting surface in an arbitrarily determined reference state. The reference state can be, for example, the state when the mounted machine is started up and the optical axis of the recognition camera 200 is adjusted to be as close to the vertical direction as possible to the mounting surface by mechanical measurement or the like. The angle of the optical axis of the recognition camera 200 obtained in this state from the direction perpendicular to the mounting surface is used as the reference angle. Then, the angle of the recognition camera 200 at the time immediately before mounting the electronic device on the substrate after a certain time has passed from the reference state is defined as (θ x ', θ y '). As described above, the inclination of the optical axis of the recognition camera 200 from the direction perpendicular to the second main surface 120 can be obtained from the equations (14) and (15), and the inclination obtained in the reference state can be obtained. Is (θ x , θ y ), and the inclination obtained immediately before mounting is (θ x ', θ y '). In the following description, the angle (θ x ', θ y ') formed by the optical axis of the recognition camera 200 with respect to the direction perpendicular to the second main surface is simply referred to as the angle of the recognition camera. ..

上記の定義で、認識カメラの角度(θ’、θ’)と、認識カメラの基準角度(θ、θ)との差分を算出して、認識カメラ角度ずれ(Δθ、Δθ)を算出すれば、搭載前の校正を行うことができる。次いで、認識カメラ角度が基準角度からずれたことに起因する電子デバイスの表面における認識位置のずれ量(ΔL、ΔL)を算出する。そして、そのずれ量を、認識した位置合わせマーク位置に加算(または減算)することで、位置合わせマークの認識位置を補正することができる。定義から、搭載直前の認識カメラ角度の、認識カメラ基準角度からの角度ずれΔθ、Δθは次式で表すことができる。
Δθ=θ’-θ (16)
Δθ=θ’-θ (17)
次に、認識カメラの角度の、基準角度からのずれと、搭載する電子デバイス表面における認識位置のずれの関係について説明する。図4は、この説明のための模式図である。ここでは、認識カメラ200内の撮像素子を210とする。そして、撮像素子210の中心から、電子デバイス2000の表面に下した垂線が、電子デバイス2000の表面と交わる点をAとし、撮像素子210の中心からAまでの距離をDとする。
With the above definition, the difference between the recognition camera angle (θ x ', θ y ') and the recognition camera reference angle (θ x , θ y ) is calculated, and the recognition camera angle deviation (Δθ x , Δθ y ) is calculated. ) Can be calculated to perform calibration before mounting. Next, the amount of deviation (ΔL x , ΔL y ) of the recognition position on the surface of the electronic device due to the deviation of the recognition camera angle from the reference angle is calculated. Then, by adding (or subtracting) the deviation amount to the recognized alignment mark position, the recognition position of the alignment mark can be corrected. From the definition, the angle deviations Δθ x and Δθ y of the recognition camera angle immediately before mounting from the recognition camera reference angle can be expressed by the following equations.
Δθ x = θ x'-θ x ( 16)
Δθ y = θ y'-θ y ( 17)
Next, the relationship between the deviation of the recognition camera angle from the reference angle and the deviation of the recognition position on the surface of the mounted electronic device will be described. FIG. 4 is a schematic diagram for this explanation. Here, the image sensor in the recognition camera 200 is 210. Then, let A be the point where the perpendicular line drawn from the center of the image pickup device 210 to the surface of the electronic device 2000 intersects the surface of the electronic device 2000, and let D be the distance from the center of the image pickup element 210 to A.

図4では、認識カメラ200のY軸周りの角度と、認識カメラ200が撮影する画像の中心位置と点Aとの距離の関係を表している。基準角度θにおける点Aと画像中心の距離をL、搭載直前の認識カメラの角度θ´における点Aと画像中心の距離をL´とすると、L、L´は、それぞれ次式で表される。
=D×tanθ (18)
´=D×tanθ´ (19)
したがって、搭載直前の認識位置の、基準状態の認識位置からのずれ量は次式で表される。
ΔL=L´-L=D(tanθ´-tanθ) (20)
同様に、Y方向のずれ量は次式で表される。
ΔL=L´-L=D(tanθ´-tanθ) (21)
上記で求めた(ΔL、ΔL)を用いて、位置合わせマークの認識位置を補正することができる。
FIG. 4 shows the relationship between the angle around the Y axis of the recognition camera 200 and the distance between the center position of the image captured by the recognition camera 200 and the point A. Assuming that the distance between the point A at the reference angle θ y and the center of the image is L x , and the distance between the point A at the angle θ y ′ of the recognition camera immediately before mounting and the center of the image is L x ′, L x and L x ′ are respectively. It is expressed by the following equation.
L x = D x tan θ y (18)
L x ´ = D × tan θ y ´ (19)
Therefore, the amount of deviation of the recognition position immediately before mounting from the recognition position in the reference state is expressed by the following equation.
ΔL x = L x'-L x = D (tanθ y'-tanθ y ) (20)
Similarly, the amount of deviation in the Y direction is expressed by the following equation.
ΔL y = L y'-L y = D (tanθ x'-tanθ x ) (21)
The recognition position of the alignment mark can be corrected by using (ΔL x , ΔL y ) obtained above.

以上説明したように、本実施形態によれば、特許文献1のような測定対象の高さを変えながら複数枚の画像を撮影する処理を行うことなく、短時間で、カメラの校正を行い、認識カメラの認識位置の補正を行うことができる。 As described above, according to the present embodiment, the camera is calibrated in a short time without performing the process of taking a plurality of images while changing the height of the measurement target as in Patent Document 1. The recognition position of the recognition camera can be corrected.

(第3の実施形態)
電子デバイスの搭載機には、第2の実施形態の認識カメラ200に加えて、搭載面の下側にも認識カメラを持つものがある。本実施形態では、このような下方の認識カメラの校正について説明する。
(Third embodiment)
In addition to the recognition camera 200 of the second embodiment, some electronic device mounting machines have a recognition camera on the lower side of the mounting surface. In this embodiment, calibration of such a lower recognition camera will be described.

図5は、搭載面の、上方に認識カメラ200、下方に第2の認識カメラ600を有する認識カメラ校正システム1000aの構成を示す斜視図である。認識カメラ校正システム1000aでは、第2の実施形態の構成に加えて、第2の主面120aにも第2の基準マーク140aを持つ認識カメラ校正プレート100aを用いる。そして、第2の認識カメラ600は、認識カメラ校正プレート100aの、第1の主面110aに垂直な方向に、光軸を近づけるように調整される。なお、第1の主面110aと第2の主面120aとは平行なので、第1の主面110aに垂直な方向と、第2の主面120aに垂直な方向とは同じになる。 FIG. 5 is a perspective view showing the configuration of the recognition camera calibration system 1000a having the recognition camera 200 on the upper side and the second recognition camera 600 on the lower side of the mounting surface. In the recognition camera calibration system 1000a, in addition to the configuration of the second embodiment, the recognition camera calibration plate 100a having the second reference mark 140a is also used on the second main surface 120a. Then, the second recognition camera 600 is adjusted so that the optical axis of the recognition camera calibration plate 100a approaches the direction perpendicular to the first main surface 110a. Since the first main surface 110a and the second main surface 120a are parallel to each other, the direction perpendicular to the first main surface 110a and the direction perpendicular to the second main surface 120a are the same.

図示はしていないが、第2の照明手段700は、第3の波長の光で認識カメラ校正プレート100aを照明する第3の照明と、第3の波長とは異なる第4の波長の光で認識カメラ校正プレート100aを照明する第4の照明とを有している。 Although not shown, the second lighting means 700 uses light of a third wavelength to illuminate the recognition camera calibration plate 100a and light of a fourth wavelength different from the third wavelength. It has a fourth illumination that illuminates the recognition camera calibration plate 100a.

図4から明らかなように、第2の認識カメラ600と、第2の基準マーク140aとの関係は、第2の実施形態における、認識カメラ200と基準マーク130の関係と同じである。この関係の対応に従って、各データの置き換えを行うことで、第2の実施形態と同様にして、第2の認識カメラ600の校正を行うことができる。つまり、第3の照明を用いて撮影した時の第2の基準マーク140aの認識位置と、第4の照明を用いて撮影した時の第2の基準マーク140aの認識位置との差分に基づいて、第2の制御手段800は、第2の認識カメラ600の角度を求めることができる。このため、第2の実施形態と同様に、第2の認識カメラ600の校正と、認識位置の補正とを短時間で行うことができる。 As is clear from FIG. 4, the relationship between the second recognition camera 600 and the second reference mark 140a is the same as the relationship between the recognition camera 200 and the reference mark 130 in the second embodiment. By substituting each data according to the correspondence of this relationship, the second recognition camera 600 can be calibrated in the same manner as in the second embodiment. That is, based on the difference between the recognition position of the second reference mark 140a when shooting with the third illumination and the recognition position of the second reference mark 140a when shooting with the fourth illumination. , The second control means 800 can determine the angle of the second recognition camera 600. Therefore, as in the second embodiment, the calibration of the second recognition camera 600 and the correction of the recognition position can be performed in a short time.

以上、上述した第1から第3の実施形態を模範的な例として本発明を説明した。しかしながら、本発明は、上記実施形態には限定されない。即ち、本発明は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。 The present invention has been described above by using the above-mentioned first to third embodiments as exemplary examples. However, the present invention is not limited to the above embodiment. That is, the present invention can apply various aspects that can be understood by those skilled in the art within the scope of the present invention.

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
(付記1)
搭載機の搭載面に配置され、第1の主面と第2の主面が平行な透光プレートの前記第1の主面に基準マークが形成された認識カメラ校正プレートと、
前記第2の主面の側に配置され、光軸が前記第2の主面に略垂直な方向を向くように調整され、前記認識カメラ校正プレートを、第1の波長の光で撮影した第1の画像を取得し、前記第1の波長とは異なる第2の波長の光で撮影した第2の画像を取得する認識カメラと、
前記第1の画像における前記基準マークの認識位置を第1の認識位置として取得し、前記第2の画像における前記基準マークの認識位置を第2の認識位置として取得し、前記第1の認識位置と前記第2の認識位置との差に基づいて、前記第2の主面の垂直方向に対する前記認識カメラの光軸の傾きを算出する制御手段と、
を有することを特徴とする認識カメラ校正システム。
(付記2)
前記認識カメラが、
前記第1の波長の光と前記第2の波長の光の両方を含む光を受光し、光学素子で両者を分離して、前記第1の画像と前記第2の画像を取得する
ことを特徴とする付記1に記載の認識カメラ校正システム。
(付記3)
前記第1の波長の光で前記認識カメラ校正プレートを照明する第1の照明手段と、前記第2の波長の光で前記認識カメラ校正プレートを照明する第2の照明手段を有する
ことを特徴とする付記1または2に記載の認識カメラ校正システム。
(付記4)
前記第1の照明手段が前記認識カメラの光軸と略平行に前記第1の波長の光を照射し、
前記第2の照明手段が前記認識カメラの光軸と略平行に前記第2の波長の光を照射する、
ことを特徴とする付記3に記載の認識カメラ校正システム。
(付記5)
前記第1の波長の光が赤色光であり、前記第2の波長の光が紫色光である
ことを特徴とする付記1乃至4のいずれか一項に記載の認識カメラ校正システム。
(付記6)
前記制御手段が、
前記第2の主面の垂直方向に対する前記認識カメラの光軸の傾きに基づいて、前記第2の主面に平行な面内における前記認識カメラの認識位置補正量を算出する
ことを特徴とする付記1乃至5のいずれか一つに記載の認識カメラ校正システム。
(付記7)
前記認識カメラ校正プレートの前記第2の主面に第2の基準マークが形成され、
前記第1の主面の側に配置され、光軸が前記第1の主面に略垂直な方向を向くように調整され、前記認識カメラ校正プレートを、第1の波長の光で撮影した第3の画像を取得し、前記第1の波長とは異なる第2の波長の光で撮影した第4の画像を取得する第2の認識カメラと、
前記第3の画像における前記基準マークの認識位置を第3の認識位置として取得し、前記第4の画像における前記基準マークの認識位置を第4の認識位置として取得し、前記第3の認識位置と前記第4の認識位置との差に基づいて、前記第1の主面の垂直方向に対する前記第2の認識カメラの光軸の傾きを算出する第2の制御手段と、
を有することを特徴とする付記1乃至6のいずれか一つに記載の認識カメラ校正システム。
(付記8)
前記第2の制御手段が、
前記第1の主面の垂直方向に対する前記第2の認識カメラの光軸の傾きに基づいて、前記第1の表面に平行な面内における前記第2の認識カメラの認識位置補正量を算出する
ことを特徴とする付記5に記載の認識カメラ校正システム。
(付記9)
第1の主面と第2の主面が平行な透光プレートの前記第1の主面に基準マークが形成された認識カメラ校正プレートを、搭載機の搭載面に配置し、
認識カメラで、前記第2の主面の側の前記第2の主面に略垂直な方向から、第1の波長の光で前記認識カメラ校正プレートを撮影した第1の画像を取得し、前記第1の波長とは異なる第2の波長の光で前記認識カメラ校正プレートを撮影した第2の画像を取得し、
前記第1の画像における前記基準マークの認識位置を第1の認識位置とし、
前記第2の画像における前記基準マークの認識位置を第2の認識位置とし、
前記第1の認識位置と前記第2の認識位置との差に基づいて、前記第2の主面の垂直方向に対する前記認識カメラの光軸の傾きを算出する
ことを特徴とする認識カメラ校正方法。
(付記10)
前記認識カメラが、
前記第1の波長の光と前記第2の波長の光の両方を含む光を受光し、光学素子で両者を分離して、前記第1の画像と前記第2の画像を取得する
ことを特徴とする付記9に記載の認識カメラ校正方法。
(付記11)
前記第1の波長の光で前記認識カメラ校正プレートを照明して前記第1の画像を撮影し、
前記第2の波長の光で前記認識カメラ校正プレートを照明して前記第2の画像を撮影する
ことを特徴とする付記9または10に記載の認識カメラ校正方法。
(付記12)
前記第1の波長の光を前記認識カメラの光軸と略平行に前記第1の波長の光を照射し、
前記第2の波長の光を前記認識カメラの光軸と略平行に前記第2の波長の光を照射する、
ことを特徴とする付記11に記載の認識カメラ校正方法。
(付記13)
前記第1の波長の光が赤色光であり、前記第2の波長の光が紫色光である
ことを特徴とする付記9乃至12のいずれか一項に記載の認識カメラ校正システム。
(付記14)
前記制御手段が、
前記第2の主面の垂直方向に対する前記認識カメラの光軸の傾きに基づいて、前記第2の表面に平行な面内における前記認識カメラの認識位置補正量を算出する
ことを特徴とする付記9乃至13のいずれか一項に記載の認識カメラ校正方法。
(付記15)
前記認識カメラ校正プレートの前記第2の主面に第2の基準マークが形成され、
前記第1の主面の側の前記第1の主面に略垂直な方向から、第2の認識カメラで、前記第1の波長の光で前記認識カメラ校正プレートを撮影した第3の画像を取得し、前記第2の波長の光で前記認識カメラ校正プレートを撮影した第4の画像を取得し、
前記第3の画像における前記第2の基準マークの認識位置を第3の認識位置とし、
前記第4の画像における前記第2の基準マークの認識位置を第4の認識位置とし、
前記第3の認識位置と前記第4の認識位置との差に基づいて、前記第1の主面の垂直方向に対する前記第2の認識カメラの光軸の傾きを算出する
ことを特徴とする認識カメラ校正方法。
(付記16)
前記第1の主面の垂直方向に対する前記第2の認識カメラの光軸の傾きに基づいて、前記第1の表面に平行な面内における前記第2の認識カメラの認識位置補正量を算出する
ことを特徴とする付記11に記載の認識カメラ校正方法。
(付記17)
第1の主面と第2の主面が平行な透光プレートの前記第1の主面に基準マークが形成された認識カメラ校正プレートを、搭載機の搭載面に配置し、前記第2の主面の側の前記第2の主面に略垂直な方向から認識カメラで前記認識カメラ校正プレートを撮影する認識カメラ校正システムで、
コンピュータに、
前記認識カメラ校正プレートを第1の波長の光で照明して、前記認識カメラで前記認識カメラ校正プレートを撮影した場合の、前記認識カメラによる前記基準マークの認識位置を第1の認識位置として取得する処理と、
前記認識カメラ校正プレートを前記第1の波長とは異なる第2の波長の光で照明して、前記認識カメラで前記認識カメラ校正プレートを撮影した場合の、前記認識カメラによる前記基準マークの認識位置を第2の認識位置として取得する処理と、
前記第1の認識位置と前記第2の認識位置との差に基づいて、前記第2の主面の垂直方向に対する前記認識カメラの光軸の傾きを算出する処理と
を実行させることを特徴とする認識カメラ校正システムの制御プログラム。
Some or all of the above embodiments may also be described, but not limited to:
(Appendix 1)
A recognition camera calibration plate arranged on the mounting surface of the mounting machine and having a reference mark formed on the first main surface of the translucent plate in which the first main surface and the second main surface are parallel to each other.
The recognition camera calibration plate is photographed with light of the first wavelength, arranged on the side of the second main surface and adjusted so that the optical axis is oriented substantially perpendicular to the second main surface. A recognition camera that acquires an image of 1 and acquires a second image taken with light having a second wavelength different from the first wavelength.
The recognition position of the reference mark in the first image is acquired as the first recognition position, the recognition position of the reference mark in the second image is acquired as the second recognition position, and the first recognition position is acquired. A control means for calculating the inclination of the optical axis of the recognition camera with respect to the vertical direction of the second main surface based on the difference between the second recognition position and the second recognition position.
A recognition camera calibration system characterized by having.
(Appendix 2)
The recognition camera
It is characterized in that it receives light including both the light of the first wavelength and the light of the second wavelength and separates the two by an optical element to acquire the first image and the second image. The recognition camera calibration system according to Appendix 1.
(Appendix 3)
It is characterized by having a first lighting means for illuminating the recognition camera calibration plate with the light of the first wavelength and a second lighting means for illuminating the recognition camera calibration plate with the light of the second wavelength. The recognition camera calibration system according to Appendix 1 or 2.
(Appendix 4)
The first lighting means irradiates light having the first wavelength substantially parallel to the optical axis of the recognition camera.
The second lighting means irradiates light having the second wavelength substantially parallel to the optical axis of the recognition camera.
The recognition camera calibration system according to Appendix 3, wherein the recognition camera calibration system is characterized in that.
(Appendix 5)
The recognition camera calibration system according to any one of Supplementary note 1 to 4, wherein the light having the first wavelength is red light, and the light having the second wavelength is purple light.
(Appendix 6)
The control means
It is characterized in that the recognition position correction amount of the recognition camera in a plane parallel to the second main surface is calculated based on the inclination of the optical axis of the recognition camera with respect to the vertical direction of the second main surface. The recognition camera calibration system according to any one of Supplementary note 1 to 5.
(Appendix 7)
A second reference mark is formed on the second main surface of the recognition camera calibration plate.
A first image of the recognition camera calibration plate taken with light of a first wavelength, arranged on the side of the first main surface and adjusted so that the optical axis points in a direction substantially perpendicular to the first main surface. A second recognition camera that acquires an image of 3 and acquires a fourth image taken with light having a second wavelength different from the first wavelength.
The recognition position of the reference mark in the third image is acquired as the third recognition position, the recognition position of the reference mark in the fourth image is acquired as the fourth recognition position, and the third recognition position is acquired. A second control means for calculating the inclination of the optical axis of the second recognition camera with respect to the direction perpendicular to the first main surface based on the difference between the fourth recognition position and the fourth recognition position.
The recognition camera calibration system according to any one of Supplementary note 1 to 6, wherein the recognition camera calibration system is characterized by having the above.
(Appendix 8)
The second control means is
The recognition position correction amount of the second recognition camera in the plane parallel to the first surface is calculated based on the inclination of the optical axis of the second recognition camera with respect to the vertical direction of the first main surface. The recognition camera calibration system according to Appendix 5, wherein the recognition camera is calibrated.
(Appendix 9)
A recognition camera calibration plate having a reference mark formed on the first main surface of the translucent plate in which the first main surface and the second main surface are parallel is placed on the mounting surface of the mounting machine.
The recognition camera acquires a first image of the recognition camera calibration plate taken with light of the first wavelength from a direction substantially perpendicular to the second main surface on the side of the second main surface, and said. A second image of the recognition camera calibration plate taken with light of a second wavelength different from the first wavelength was acquired.
The recognition position of the reference mark in the first image is set as the first recognition position.
The recognition position of the reference mark in the second image is set as the second recognition position.
A recognition camera calibration method characterized in that the inclination of the optical axis of the recognition camera with respect to the vertical direction of the second main surface is calculated based on the difference between the first recognition position and the second recognition position. ..
(Appendix 10)
The recognition camera
It is characterized in that it receives light including both the light of the first wavelength and the light of the second wavelength and separates the two by an optical element to acquire the first image and the second image. The recognition camera calibration method according to Appendix 9.
(Appendix 11)
The recognition camera calibration plate is illuminated with the light of the first wavelength, and the first image is taken.
The recognition camera calibration method according to Appendix 9 or 10, wherein the recognition camera calibration plate is illuminated with light having the second wavelength and the second image is captured.
(Appendix 12)
The light of the first wavelength is irradiated with the light of the first wavelength substantially parallel to the optical axis of the recognition camera.
The light of the second wavelength is irradiated with the light of the second wavelength substantially parallel to the optical axis of the recognition camera.
The recognition camera calibration method according to Appendix 11, characterized by the above.
(Appendix 13)
The recognition camera calibration system according to any one of Supplementary note 9 to 12, wherein the light having the first wavelength is red light and the light having the second wavelength is purple light.
(Appendix 14)
The control means
Addendum characterized by calculating the recognition position correction amount of the recognition camera in a plane parallel to the second surface based on the inclination of the optical axis of the recognition camera with respect to the vertical direction of the second main surface. The recognition camera calibration method according to any one of 9 to 13.
(Appendix 15)
A second reference mark is formed on the second main surface of the recognition camera calibration plate.
A third image of the recognition camera calibration plate taken with the light of the first wavelength by the second recognition camera from a direction substantially perpendicular to the first main surface on the side of the first main surface. Obtained and acquired a fourth image of the recognition camera calibration plate taken with the light of the second wavelength.
The recognition position of the second reference mark in the third image is set as the third recognition position.
The recognition position of the second reference mark in the fourth image is set as the fourth recognition position.
Recognition characterized in that the inclination of the optical axis of the second recognition camera with respect to the vertical direction of the first main surface is calculated based on the difference between the third recognition position and the fourth recognition position. Camera calibration method.
(Appendix 16)
The recognition position correction amount of the second recognition camera in the plane parallel to the first surface is calculated based on the inclination of the optical axis of the second recognition camera with respect to the vertical direction of the first main surface. The recognition camera calibration method according to Appendix 11, wherein the recognition camera is calibrated.
(Appendix 17)
A recognition camera calibration plate having a reference mark formed on the first main surface of the translucent plate in which the first main surface and the second main surface are parallel is arranged on the mounting surface of the mounting machine, and the second main surface is described. A recognition camera calibration system that photographs the recognition camera calibration plate with a recognition camera from a direction substantially perpendicular to the second main surface on the side of the main surface.
On the computer
When the recognition camera calibration plate is illuminated with light of the first wavelength and the recognition camera calibration plate is photographed by the recognition camera, the recognition position of the reference mark by the recognition camera is acquired as the first recognition position. And the processing to do
When the recognition camera calibration plate is illuminated with light having a second wavelength different from the first wavelength and the recognition camera calibration plate is photographed by the recognition camera, the recognition position of the reference mark by the recognition camera. And the process of acquiring as the second recognition position,
It is characterized in that it executes a process of calculating the inclination of the optical axis of the recognition camera with respect to the vertical direction of the second main surface based on the difference between the first recognition position and the second recognition position. A control program for the recognition camera calibration system.

1、100 認識カメラ校正プレート
1a、110 第1の主面
2、200 認識カメラ
1b、120 第2の主面
1c、130 基準マーク
3 第1の照明
4 第2の照明
5、400 制御手段
10、1000 認識カメラ校正システム
300 照明手段
310 赤色照明
320 紫色照明
330 ハーフミラー
500 認識カメラ校正プレート移動手段
600 第2の認識カメラ
700 第2の照明手段
800 第2の制御手段
1,100 Recognition camera calibration plate 1a, 110 First main surface 2,200 Recognition camera 1b, 120 Second main surface 1c, 130 Reference mark 3 First lighting 4 Second lighting 5,400 Control means 10, 1000 Recognition camera calibration system 300 Lighting means 310 Red lighting 320 Purple lighting 330 Half mirror 500 Recognition camera calibration plate Moving means 600 Second recognition camera 700 Second lighting means 800 Second control means

Claims (10)

搭載機の搭載面に配置され、第1の主面と第2の主面が平行な透光プレートの前記第1の主面に基準マークが形成された認識カメラ校正プレートと、
前記第2の主面の側に配置され、光軸が前記第2の主面に略垂直な方向を向くように調整され、前記認識カメラ校正プレートを、第1の波長の光で撮影した第1の画像を取得し、前記第1の波長とは異なる第2の波長の光で撮影した第2の画像を取得する認識カメラと、
前記第1の画像における前記基準マークの認識位置を第1の認識位置として取得し、前記第2の画像における前記基準マークの認識位置を第2の認識位置として取得し、前記第1の認識位置と前記第2の認識位置との差に基づいて、前記第2の主面の垂直方向に対する前記認識カメラの光軸の傾きを算出する制御手段と、
を有することを特徴とする認識カメラ校正システム。
A recognition camera calibration plate arranged on the mounting surface of the mounting machine and having a reference mark formed on the first main surface of the translucent plate in which the first main surface and the second main surface are parallel to each other.
The recognition camera calibration plate is photographed with light of the first wavelength, arranged on the side of the second main surface and adjusted so that the optical axis is oriented substantially perpendicular to the second main surface. A recognition camera that acquires an image of 1 and acquires a second image taken with light having a second wavelength different from the first wavelength.
The recognition position of the reference mark in the first image is acquired as the first recognition position, the recognition position of the reference mark in the second image is acquired as the second recognition position, and the first recognition position is acquired. A control means for calculating the inclination of the optical axis of the recognition camera with respect to the vertical direction of the second main surface based on the difference between the second recognition position and the second recognition position.
A recognition camera calibration system characterized by having.
前記認識カメラが、
前記第1の波長の光と前記第2の波長の光の両方を含む光を受光し、光学素子で両者を分離して、前記第1の画像と前記第2の画像を取得する
ことを特徴とする請求項1に記載の認識カメラ校正システム。
The recognition camera
It is characterized in that it receives light including both the light of the first wavelength and the light of the second wavelength and separates the two by an optical element to acquire the first image and the second image. The recognition camera calibration system according to claim 1.
前記第1の波長の光で前記認識カメラ校正プレートを照明する第1の照明手段と、前記第2の波長の光で前記認識カメラ校正プレートを照明する第2の照明手段を有する
ことを特徴とする請求項1または2に記載の認識カメラ校正システム。
It is characterized by having a first lighting means for illuminating the recognition camera calibration plate with the light of the first wavelength and a second lighting means for illuminating the recognition camera calibration plate with the light of the second wavelength. The recognition camera calibration system according to claim 1 or 2.
前記第1の照明手段が前記認識カメラの光軸と略平行に前記第1の波長の光を照射し、
前記第2の照明手段が前記認識カメラの光軸と略平行に前記第2の波長の光を照射する、
ことを特徴とする請求項3に記載の認識カメラ校正システム。
The first lighting means irradiates light having the first wavelength substantially parallel to the optical axis of the recognition camera.
The second lighting means irradiates light having the second wavelength substantially parallel to the optical axis of the recognition camera.
The recognition camera calibration system according to claim 3.
前記第1の波長の光が赤色光であり、前記第2の波長の光が紫色光である
ことを特徴とする請求項1乃至4のいずれか一項に記載の認識カメラ校正システム。
The recognition camera calibration system according to any one of claims 1 to 4, wherein the light having the first wavelength is red light and the light having the second wavelength is purple light.
前記認識カメラ校正プレートの前記第2の主面に第2の基準マークが形成され、
前記第1の主面の側に配置され、光軸が前記第1の主面に略垂直な方向を向くように調整され、前記認識カメラ校正プレートを、第1の波長の光で撮影した第3の画像を取得し、前記第1の波長とは異なる第2の波長の光で撮影した第4の画像を取得する第2の認識カメラと、
前記第3の画像における前記基準マークの認識位置を第3の認識位置として取得し、前記第4の画像における前記基準マークの認識位置を第4の認識位置として取得し、前記第3の認識位置と前記第4の認識位置との差に基づいて、前記第1の主面の垂直方向に対する前記第2の認識カメラの光軸の傾きを算出する第2の制御手段と、
を有することを特徴とする請求項1乃至5のいずれか一項に記載の認識カメラ校正システム。
A second reference mark is formed on the second main surface of the recognition camera calibration plate.
A first image of the recognition camera calibration plate taken with light of a first wavelength, arranged on the side of the first main surface and adjusted so that the optical axis points in a direction substantially perpendicular to the first main surface. A second recognition camera that acquires an image of 3 and acquires a fourth image taken with light having a second wavelength different from the first wavelength.
The recognition position of the reference mark in the third image is acquired as the third recognition position, the recognition position of the reference mark in the fourth image is acquired as the fourth recognition position, and the third recognition position is acquired. A second control means for calculating the inclination of the optical axis of the second recognition camera with respect to the direction perpendicular to the first main surface based on the difference between the fourth recognition position and the fourth recognition position.
The recognition camera calibration system according to any one of claims 1 to 5, wherein the recognition camera calibration system is provided.
第1の主面と第2の主面が平行な透光プレートの前記第1の主面に基準マークが形成された認識カメラ校正プレートを、搭載機の搭載面に配置し、
認識カメラで、前記第2の主面の側の前記第2の主面に略垂直な方向から、第1の波長の光で前記認識カメラ校正プレートを撮影した第1の画像を取得し、前記第1の波長とは異なる第2の波長の光で前記認識カメラ校正プレートを撮影した第2の画像を取得し、
前記第1の画像における前記基準マークの認識位置を第1の認識位置とし、
前記第2の画像における前記基準マークの認識位置を第2の認識位置とし、
前記第1の認識位置と前記第2の認識位置との差に基づいて、前記第2の主面の垂直方向に対する前記認識カメラの光軸の傾きを算出する
ことを特徴とする認識カメラ校正方法。
A recognition camera calibration plate having a reference mark formed on the first main surface of the translucent plate in which the first main surface and the second main surface are parallel is placed on the mounting surface of the mounting machine.
The recognition camera acquires a first image of the recognition camera calibration plate taken with light of the first wavelength from a direction substantially perpendicular to the second main surface on the side of the second main surface. A second image of the recognition camera calibration plate taken with light of a second wavelength different from the first wavelength was acquired.
The recognition position of the reference mark in the first image is set as the first recognition position.
The recognition position of the reference mark in the second image is set as the second recognition position.
A recognition camera calibration method characterized in that the inclination of the optical axis of the recognition camera with respect to the vertical direction of the second main surface is calculated based on the difference between the first recognition position and the second recognition position. ..
前記認識カメラが、
前記第1の波長の光と前記第2の波長の光の両方を含む光を受光し、光学素子で両者を分離して、前記第1の画像と前記第2の画像を取得する
ことを特徴とする請求項7に記載の認識カメラ校正方法。
The recognition camera
It is characterized in that it receives light including both the light of the first wavelength and the light of the second wavelength and separates the two by an optical element to acquire the first image and the second image. The recognition camera calibration method according to claim 7.
前記第1の波長の光で前記認識カメラ校正プレートを照明して前記第1の画像を撮影し、
前記第2の波長の光で前記認識カメラ校正プレートを照明して前記第2の画像を撮影する
ことを特徴とする請求項7または8に記載の認識カメラ校正方法。
The recognition camera calibration plate is illuminated with the light of the first wavelength, and the first image is taken.
The recognition camera calibration method according to claim 7, wherein the recognition camera calibration plate is illuminated with light having the second wavelength and the second image is captured.
前記第1の波長の光が赤色光であり、前記第2の波長の光が紫色光である
ことを特徴とする請求項7乃至9のいずれか一項に記載の認識カメラ校正方法。
The recognition camera calibration method according to any one of claims 7 to 9, wherein the light having the first wavelength is red light and the light having the second wavelength is purple light.
JP2020147282A 2020-09-02 2020-09-02 Recognition camera calibration system and recognition camera calibration method Active JP7463917B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020147282A JP7463917B2 (en) 2020-09-02 2020-09-02 Recognition camera calibration system and recognition camera calibration method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020147282A JP7463917B2 (en) 2020-09-02 2020-09-02 Recognition camera calibration system and recognition camera calibration method

Publications (2)

Publication Number Publication Date
JP2022042086A true JP2022042086A (en) 2022-03-14
JP7463917B2 JP7463917B2 (en) 2024-04-09

Family

ID=80629288

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020147282A Active JP7463917B2 (en) 2020-09-02 2020-09-02 Recognition camera calibration system and recognition camera calibration method

Country Status (1)

Country Link
JP (1) JP7463917B2 (en)

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6199737B2 (en) 2013-12-27 2017-09-20 大成建設株式会社 Displacement measuring device

Also Published As

Publication number Publication date
JP7463917B2 (en) 2024-04-09

Similar Documents

Publication Publication Date Title
US20210207954A1 (en) Apparatus and method for measuring a three-dimensional shape
US6464126B2 (en) Bonding apparatus and bonding method
KR101158323B1 (en) Method for inspecting substrate
US20140368835A1 (en) Three-dimensional shape measuring apparatus
KR102255607B1 (en) Bonding device and method for detecting the height of the object to be bonded
KR101808388B1 (en) Probe apparatus and probe method
KR101281454B1 (en) Inspection apparatus and compensating method thereof
US20140232850A1 (en) Vision testing device with enhanced image clarity
CN1354395A (en) Regulating device and method of position deviation optical detecting device
KR20130045351A (en) Apparatus and method for three dimensional inspection of wafer saw marks
KR20080111653A (en) 3d measuring apparatus for camera using measurment probe of origin correction
JP2015108582A (en) Three-dimensional measurement method and device
JP5096852B2 (en) Line width measuring apparatus and inspection method of line width measuring apparatus
JP2022042086A (en) Recognition camera calibration system and recognition camera calibration method
KR101436572B1 (en) 3d shape measuring apparatus using optical triangulation method
KR101409803B1 (en) Method and apparatus for measuring surface profile capable of measuring warpage of substrate
JP2023510738A (en) Method of moving the coordinate system of the 3D camera to the incident position of the 2D camera
KR20130022415A (en) Inspection apparatus and compensating method thereof
KR102040565B1 (en) Performance inspection system of optical image stabilizer
JP2010210389A (en) Spot position measuring method and apparatus
JP2022034109A (en) Recognition camera calibration plate and recognition camera calibration method
KR101510815B1 (en) Imaging device and imaging method
KR102040564B1 (en) Performance inspection system of optical image stabilizer
TWI758737B (en) Alignment method of substrate
KR102030685B1 (en) Method for determining focus height using prediction of warpage for measuring printed circuit board

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20211019

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230815

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240221

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240227

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240311