JP2019052983A - Calibration method and calibrator - Google Patents
Calibration method and calibrator Download PDFInfo
- Publication number
- JP2019052983A JP2019052983A JP2017178376A JP2017178376A JP2019052983A JP 2019052983 A JP2019052983 A JP 2019052983A JP 2017178376 A JP2017178376 A JP 2017178376A JP 2017178376 A JP2017178376 A JP 2017178376A JP 2019052983 A JP2019052983 A JP 2019052983A
- Authority
- JP
- Japan
- Prior art keywords
- measurement
- dimensional
- coordinate system
- coordinate
- dimensional visual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Manipulator (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、3次元視覚測定装置の3次元測定値が表現される第1の座標系と、3次元視覚測定装置を備えた機能部品の基準部位から定まる第2の座標系と、の間で座標変換を行うための校正データを取得する校正方法および校正装置に関する。 The present invention is between a first coordinate system in which a three-dimensional measurement value of a three-dimensional visual measurement device is expressed and a second coordinate system determined from a reference part of a functional component including the three-dimensional visual measurement device. The present invention relates to a calibration method and a calibration apparatus for acquiring calibration data for performing coordinate transformation.
近年、ロボットにより組立作業を実現する組立生産装置が求められている。ロボットによる組立生産装置では、ステレオカメラのような3次元視覚測定装置を用いて部品の3次元位置・姿勢を計測する手法が知られている。 In recent years, there has been a demand for an assembly production apparatus that realizes assembly work by a robot. In an assembly production apparatus using a robot, a technique for measuring the three-dimensional position / orientation of a part using a three-dimensional visual measurement device such as a stereo camera is known.
このような3次元計測を行う場合、3次元視覚測定装置が例えばステレオカメラのような撮像装置であれば、事前に当該のカメラに対して内部・外部パラメータ校正を実施する。ここで、内部パラメータはレンズの焦点距離やひずみ特性などの光学特性を意味し、また、外部パラメータは、カメラがステレオカメラであれば、ステレオカメラ内の2つのカメラの相対位置・姿勢を意味する。これらの内部・外部パラメータが定まり、2つのカメラの撮影画像での計測点の対応付けを行えば、三角測量の原理により、計測点の3次元座標値を計測することができる。 When performing such three-dimensional measurement, if the three-dimensional visual measurement device is an imaging device such as a stereo camera, internal / external parameter calibration is performed on the camera in advance. Here, the internal parameter means optical characteristics such as the focal length and distortion characteristic of the lens, and the external parameter means the relative position and orientation of the two cameras in the stereo camera if the camera is a stereo camera. . If these internal / external parameters are determined and the measurement points in the captured images of the two cameras are associated, the three-dimensional coordinate values of the measurement points can be measured by the principle of triangulation.
ここで、内部・外部パラメータを用いて、ステレオカメラの撮影画像を平行化した際の3次元計測を考える。この平行化とは、カメラのレンズ歪みを補正し、2つのカメラが平行に設置された状態での撮影画像に変換することである。ここで、fをレンズの焦点距離、Bを2つのレンズ主点間の距離を示す基線長、dを2つのカメラの撮影画像での計測点位置のずれを示す視差とすると、Z方向(画像の奥行き方向)の計測結果zはz=Bf/dと表せる。これらのうち、焦点距離fは内部パラメータの一部、基線長(B)は外部パラメータの一部に相当する。 Here, the three-dimensional measurement when parallelizing the image captured by the stereo camera using the internal / external parameters is considered. This parallelization means that the lens distortion of the camera is corrected and converted into a captured image in a state where two cameras are installed in parallel. Here, if f is the focal length of the lens, B is the base length indicating the distance between the two lens principal points, and d is the parallax indicating the deviation of the measurement point position in the captured images of the two cameras, the Z direction (image The measurement result z in the depth direction) can be expressed as z = Bf / d. Of these, the focal length f corresponds to a part of the internal parameters, and the base line length (B) corresponds to a part of the external parameters.
3次元位置計測するためには、内部・外部パラメータとして高精度な値を用いる必要がある。しかし、内部・外部パラメータを高精度に直接計測するには、精密にカメラの光学特性を測定する必要があり困難である。そこで、特許文献1に記載されているように、2つのカメラで複数の特徴点の位置を計測し、これらの特徴点に対してエピポーラ拘束条件が成立つように、例えば最適化計算により内部・外部パラメータを計算する校正手法が一般的に用いられている。ここで、エピポーラ拘束とは、ステレオカメラの2つのカメラの撮影画像上の対応点は同一平面(エピポーラ平面)内に存在するという拘束条件である。エピポーラ平面は2つのカメラのレンズ主点と計測点を通る平面である。 In order to measure a three-dimensional position, it is necessary to use highly accurate values as internal and external parameters. However, in order to directly measure the internal and external parameters with high accuracy, it is difficult to precisely measure the optical characteristics of the camera. Therefore, as described in Patent Document 1, the positions of a plurality of feature points are measured by two cameras, and an epipolar constraint condition is established for these feature points. A calibration method for calculating external parameters is generally used. Here, the epipolar constraint is a constraint condition that the corresponding points on the captured images of the two cameras of the stereo camera exist in the same plane (epipolar plane). The epipolar plane is a plane passing through the lens principal point and the measurement point of the two cameras.
しかしながら、特許文献1に記載されたような手法で算出される内部・外部パラメータは、あくまでも、複数のカメラの撮影画像上に投影された各特徴点の位置が、同一平面にあるというエピポーラ拘束が成り立つように算出された値である。 However, the internal / external parameters calculated by the method described in Patent Document 1 have an epipolar constraint that the positions of the feature points projected on the captured images of a plurality of cameras are on the same plane. It is a value calculated so as to hold.
この算出された内部・外部パラメータと、現実の真の内部・外部パラメータの間には誤差が生じる可能性がある。これは、校正時に特徴点位置を画像計測する際に誤差が生じたり、内部パラメータの一部であるレンズ歪みモデルが現実のレンズ歪みモデルとはぴったりと一致しなかったりするためである。従って、ステレオ計測で重要な内部パラメータの焦点距離や、外部パラメータの基線長の算出誤差によって、3次元視覚測定装置を用いた3次元計測にも誤差が生じる可能性がある。 There may be an error between the calculated internal / external parameters and the actual true internal / external parameters. This is because an error occurs when the feature point position is image-measured at the time of calibration, or the lens distortion model that is a part of the internal parameters does not exactly match the actual lens distortion model. Therefore, there is a possibility that an error also occurs in the three-dimensional measurement using the three-dimensional visual measurement device due to the calculation error of the focal length of the internal parameter important in stereo measurement and the baseline length of the external parameter.
特に、算出された焦点距離をf’(≠f)、基線長をB’(≠B)とすると、Z方向の計測結果z’はz’=B’f'/d=(B’f’/Bf)zとなる。このように、従来技術では、3次元視覚測定装置の3次元計測結果は、Z成分z’は、現実の真のZ成分zに対して誤差を含んだものになる。この奥行き(Z)方向(あるいは撮影倍率)の誤差を以下ではスケール誤差という。 In particular, if the calculated focal length is f ′ (≠ f) and the base line length is B ′ (≠ B), the measurement result z ′ in the Z direction is z ′ = B′f ′ / d = (B′f ′). / Bf) z. As described above, according to the conventional technique, in the three-dimensional measurement result of the three-dimensional visual measurement device, the Z component z ′ includes an error with respect to the actual true Z component z. The error in the depth (Z) direction (or photographing magnification) is hereinafter referred to as a scale error.
本発明の課題は、以上の問題点に鑑み、3次元視覚測定装置のスケール誤差を含んだ3次元位置計測誤差を低減し、精度よく3次元視覚測定を行えるようにすることにある。 In view of the above problems, an object of the present invention is to reduce a three-dimensional position measurement error including a scale error of a three-dimensional visual measurement device and to perform a three-dimensional visual measurement with high accuracy.
上記課題を解決するため、本発明においては、3次元視覚測定装置の3次元測定値が表現される第1の座標系と、前記3次元視覚測定装置を備えた機能部品の基準部位から定まる第2の座標系と、の間で座標変換を行うための校正データを取得する校正方法において、制御装置が、3次元視覚測定装置により撮影可能な範囲内の、前記3次元視覚測定装置との位置関係が予め既知である計測位置に、前記3次元視覚測定装置により座標値を計測可能なマークを位置決めするマーク設置工程と、制御装置が、前記3次元視覚測定装置により、第1の座標系における前記マークの座標値を計測する3次元視覚測定工程と、制御装置が、前記3次元視覚測定装置を備えた機能部品の基準部位から定まる第2の座標系における前記マークの座標値を算出するマーク座標値算出工程と、制御装置が、前記3次元視覚測定工程で視覚測定された前記第1の座標系における前記マークの座標値と、前記マーク座標値計測工程で計測された前記第2の座標系における前記マークの座標値を用いて、前記第1の座標系および前記第2の座標系の間で座標変換を行うための校正データと、前記3次元視覚測定装置により計測される3次元計測座標値のスケールを補正する要素を含む補正行列と、を算出する校正データ算出工程と、を含む構成を採用した。 In order to solve the above-described problem, in the present invention, a first coordinate system in which a three-dimensional measurement value of a three-dimensional visual measurement device is expressed, and a reference part of a functional component including the three-dimensional visual measurement device are determined. In a calibration method for acquiring calibration data for coordinate conversion between two coordinate systems, a position of the control device within the range that can be photographed by the three-dimensional visual measurement device and the position of the three-dimensional visual measurement device A mark installation step for positioning a mark whose coordinate value can be measured by the three-dimensional visual measurement device at a measurement position whose relationship is known in advance, and a control device in the first coordinate system by the three-dimensional visual measurement device A three-dimensional visual measurement step for measuring the coordinate value of the mark, and a control device calculates the coordinate value of the mark in a second coordinate system determined from a reference part of a functional component including the three-dimensional visual measurement device. A mark coordinate value calculating step, a coordinate value of the mark in the first coordinate system visually measured in the three-dimensional visual measurement step, and the second measured in the mark coordinate value measurement step. Using the coordinate value of the mark in the coordinate system, calibration data for performing coordinate conversion between the first coordinate system and the second coordinate system, and 3 measured by the three-dimensional visual measurement device A configuration including a correction matrix including an element for correcting the scale of the dimension measurement coordinate value and a calibration data calculation step for calculating the scale is adopted.
上記構成によれば、校正データ、および3次元計測座標値のスケールを補正する要素を含む補正行列を用いて、3次元視覚測定装置のスケール誤差を含んだ3次元位置計測誤差を低減し、3次元視覚測定装置により精度よく3次元視覚測定を行える。 According to the above configuration, the calibration data and the correction matrix including the element for correcting the scale of the three-dimensional measurement coordinate value are used to reduce the three-dimensional position measurement error including the scale error of the three-dimensional visual measurement device. A three-dimensional visual measurement device can accurately perform three-dimensional visual measurement.
以下、添付図面を参照して本発明を実施するための形態につき説明する。なお、以下に示す構成はあくまでも一例であり、例えば細部の構成については本発明の趣旨を逸脱しない範囲において当業者が適宜変更することができる。また、本実施形態で取り上げる数値は、参考数値であって、本発明を限定するものではない。 Hereinafter, embodiments for carrying out the present invention will be described with reference to the accompanying drawings. In addition, the structure shown below is an example to the last, For example, it can change suitably for those skilled in the art in the range which does not deviate from the meaning of this invention about a detailed structure. Moreover, the numerical value taken up by this embodiment is a reference numerical value, Comprising: This invention is not limited.
<実施形態1>
本実施形態(下記の実施形態でも同様)では、校正対象構造物として3次元視覚測定装置を考える。この3次元視覚測定装置は、ロボット装置ないしその作業環境の所定部位(所定位置)に配置される。校正対象構造物としての3次元視覚測定装置は、以下の実施形態ではステレオカメラ(104)であり、ロボット装置ないしその作業環境の所定部位(所定位置)に装着するための位置決め部を有する機能部品である。
<Embodiment 1>
In the present embodiment (the same applies to the following embodiments), a three-dimensional visual measurement device is considered as the calibration target structure. This three-dimensional visual measurement apparatus is arranged at a predetermined part (predetermined position) of the robot apparatus or its working environment. The three-dimensional visual measurement device as a calibration target structure is a stereo camera (104) in the following embodiment, and is a functional component having a positioning unit for mounting on a robot device or a predetermined part (predetermined position) of its working environment. It is.
本発明の校正方法では、3次元視覚測定装置(ステレオカメラ104)の3次元測定値が表現される第1の座標系(C)と、3次元視覚測定装置(を備えた機能部品の)基準部位から定まる第2の座標系(M)と、の間で座標変換を行う校正データを取得する。即ち、本実施形態1〜実施形態6の校正システムでは、3次元視覚測定装置の計測に用いられる座標系と、校正対象構造物としての3次元視覚測定装置の位置決め(マウント)部を基準とした座標系の関係(相対位置姿勢)を校正する。 In the calibration method of the present invention, the first coordinate system (C) in which the three-dimensional measurement value of the three-dimensional visual measurement device (stereo camera 104) is expressed, and the reference of the three-dimensional visual measurement device (functional component provided). Calibration data for coordinate transformation between the second coordinate system (M) determined from the part is acquired. That is, in the calibration systems of the first to sixth embodiments, the coordinate system used for the measurement of the three-dimensional visual measurement device and the positioning (mount) portion of the three-dimensional visual measurement device as the calibration target structure are used as a reference. Calibrate the coordinate system relationship (relative position and orientation).
特に、本実施形態1〜実施形態5では、接触式の測定プローブ102を備えた3次元測定機101を利用する構成を前提とする。そして、後述の実施形態6でも説明するが、このステレオカメラ104(3次元視覚測定装置)で撮影する測定プローブ102は、校正用の「マーク」として考えることができる。即ち、この測定プローブ102は、本実施形態1〜実施形態5では、後述の実施形態6におけるマーク(7021:図17)と読み換えても構わない。
In particular, the first to fifth embodiments are premised on the configuration using the three-
本実施形態1〜実施形態5では、3次元測定機の測定プローブを上記の「マーク」として用いて以下のような制御過程を実行する。 In the first to fifth embodiments, the following control process is executed using the measurement probe of the coordinate measuring machine as the “mark”.
・測定プローブ102により、機能部品の形状、または、機能部品と機械的に結合可能な治具の形状を3次元測定し、その3次元測定結果に基づき第2の座標系を定義する(プローブ測定工程)。
The
・ステレオカメラ104(3次元視覚測定装置)により撮影可能な範囲内の、同カメラ(104)との位置関係が予め既知である計測位置に、同カメラ(104)により座標値を計測可能なマークとして測定プローブ102を位置決めする(マーク設置工程)。
A mark in which coordinate values can be measured by the camera (104) at a measurement position where the positional relationship with the camera (104) is known in advance within a range that can be photographed by the stereo camera 104 (three-dimensional visual measurement device). Then, the
・ステレオカメラ104(3次元視覚測定装置)により、第1の座標系におけるマークの座標値を計測する(3次元視覚測定工程)。 The coordinate value of the mark in the first coordinate system is measured by the stereo camera 104 (three-dimensional visual measurement device) (three-dimensional visual measurement process).
・ステレオカメラ104(3次元視覚測定装置)を備えた機能部品の基準部位から定まる、プローブ測定工程で定義された第2の座標系におけるマークの座標値を算出する(マーク座標値算出工程)。 Calculate the coordinate value of the mark in the second coordinate system defined in the probe measurement step, which is determined from the reference part of the functional component including the stereo camera 104 (three-dimensional visual measurement device) (mark coordinate value calculation step).
・第1の座標系、および第2の座標系におけるマークのそれぞれの座標値を用い、次のような補正データ(校正データ)を算出する(校正データ算出工程)。この補正データ(校正データ)には、第1および第2の座標系の間で座標変換を行うための校正データと、ステレオカメラ104(3次元視覚測定装置)で計測される3次元計測座標値のスケールを補正する要素を含む補正行列と、が含まれる。 Using the respective coordinate values of the marks in the first coordinate system and the second coordinate system, the following correction data (calibration data) is calculated (calibration data calculation step). The correction data (calibration data) includes calibration data for coordinate conversion between the first and second coordinate systems, and three-dimensional measurement coordinate values measured by the stereo camera 104 (three-dimensional visual measurement device). And a correction matrix including an element for correcting the scale.
図1は3次元視覚測定装置の校正システムの全体構成の一例を示してある。図1において、校正システムは定盤103上に、接触式の測定プローブ102を用いる3次元測定機101を備える。
FIG. 1 shows an example of the overall configuration of a calibration system for a three-dimensional visual measurement apparatus. In FIG. 1, the calibration system includes a three-
3次元測定機101は、内部に配置されたXYZスライダ(不図示)を用いて、接触式の測定プローブ102を3軸(XYZ)に沿った方向に移動することができる。3次元測定機101は、例えばレーザ光などを用いた位置センサ(不図示)によりXYZスライダの移動量を高精度に計測することができ、これにより測定プローブ102の位置を高精度に計測することが可能である。測定プローブ102(ないしそのXYZスライダ)の各軸の真直誤差(縦、横)、回転誤差(ロール、ピッチ、ヨー)、指示誤差と直角誤差などを含む計21個の幾何学誤差は、予めレーザ干渉計やゲージなどを用いて算出し補正係数を求めておくことができる。これにより高精度に測定プローブ102の位置を計測可能である。なお、図1では、測定プローブ102(ないしそれを支持するXYZスライダ)の保持部が門型に構成された3次元測定機101を図示しているが、3次元測定機101の機械的な構成はこのような門型に限定されるものではない。3次元測定機101には、測定プローブ102の位置を高精度に計測可能な装置であれば、例えば多関節アーム型など、他の機械的構造を利用することができる。
The three-
図2は、測定プローブ102の構成を示している。測定プローブ102はスタイラス201および先端球202から構成することができる。測定対象に接触させる先端球202は、スタイラス201の先端に取り付けられている。例えば、スタイラス201は3次元測定機101に対して着脱可能な構成とすることができる。このような着脱、交換可能な構成によって、例えば3次元視覚センサ(ステレオカメラ104)の光学性能や位置決め基準部の形状に適したスタイラス201(ないし先端球202)を用いることができる。
FIG. 2 shows the configuration of the
先端球202には、非透過で光沢が少なく、照明条件が安定しやすい、例えばジルコニアなどの材質が好ましい。ただし、先端球202には、上記のような3次元視覚センサによる計測に適した特性を有するものであれば、ルビー、窒化珪素、セラミック、その他の超硬材、といった材質を用いることができる。先端球202は、例えば球体形状とし、その真円度や寸法は製造時に予め特定の精度範囲にコントロールされているものが好ましい。本実施形態では、先端球202が球体の場合についてのみ説明するが、半球や円盤形状等の他の形状でも、後述の校正制御は実施可能である。
The
本実施形態の3次元測定機101において、測定プローブ102の装着部位には、圧力センサ203が内蔵されている。この圧力センサ203を介して、例えば、先端球202が対象物に接触したタイミングを検知することができる。この接触タイミング信号をトリガ信号として用いることにより、対象物に先端球202が接触した瞬間における先端球202の基準位置(例えば中心位置)を計測することができる。
In the three-
本校正システムでは、3次元測定機101の定盤103上には位置決め治具105とリング照明106を設置し、位置決め治具105上には、3次元視覚測定装置としてステレオカメラ104を設置する。3次元測定機101は、3次元視覚測定装置(ステレオカメラ104)の校正専用であってもよく、また、3次元視覚測定装置(ステレオカメラ104)を校正する以外の他の用途に利用可能な製品として構成されていてもよい。
In this calibration system, a
図3は、3次元視覚測定装置(3次元視覚センサ)としてのステレオカメラ104および位置決め治具105の構成を示している。図3に示すように、ステレオカメラ104は、例えばそれぞれの撮像光軸を所定の基線長だけ離間して配置された単眼カメラ301、302を備える。なお、本実施形態では、3次元視覚センサとしてパッシブ式のステレオカメラ104を用いることを考えるが、アクティブ式の光レーザ法、アクティブステレオ法などの測定方式による3次元視覚センサを用いてもよい。
FIG. 3 shows a configuration of a
ステレオカメラ104の所定部位、例えば、その筺体の裏側には、校正対象構造物(本実施形態では3次元視覚センサ、即ちステレオカメラ104)の位置決め基準部となる位置決めピン303、303を複数、例えば少なくとも2個、配置する。この位置決めピンの数は、3個以上配置してもよい。その場合、下記の位置決め治具105の位置決め穴304、304…の位置や数は、ステレオカメラ104の位置決めピンの位置や数に対応して定められる。
On a predetermined portion of the
一方、定盤103上に配置される位置決め治具105には、ステレオカメラ104の位置決めピン303にそれぞれ対応する位置に位置決め穴304、304を穿孔してある。このような位置決めピン303と位置決め穴304の嵌合構造によって、ステレオカメラ104と治具105は機械的に結合可能であり、ステレオカメラ104のXY方向の位置出しを高精度に行うことができる。また、ステレオカメラ104の筺体下面と、位置決め治具105の上面を接触させることにより、Z方向の位置決めが行われる。このため、ステレオカメラ104の筺体下面と位置決め治具105の上面は、平面度が高精度に出ていることが好ましい。
On the other hand, in the
ステレオカメラ104は、ロボット装置または、その作業環境の所定部位に配置することができるが、その場合、ロボット装置またはその作業環境の所定部位(所定位置)に装着するための位置決め部を有することが好ましい。例えば、ステレオカメラ104をロボット装置のビジョン系として用いる場合は、図3に示した位置決め治具105と同じ位置決め穴304、304を備えたカメラマウント1104をロボット装置R(ロボットアーム)の一部に配置する。ロボット装置Rは図3に破線で示してある。図3にロボット装置Rとして示した部分は、例えば手先側のリンクなどの躯体や、ハンドなどのエンドエフェクタに相当し、その一部に位置決め穴304、304を備えたカメラマウント1104が配置される。
The
本実施形態では、校正対象構造物の形状から定まる座標系が、位置決め基準部から定まる位置決め座標系Mであるものとする。図3に示すように、位置決め座標系MのXY平面はステレオカメラ104筐体の下面に一致するものとする。また、位置決め座標系Mの原点は図3において左側の位置決めピン303の中心軸と、ステレオカメラ104筐体の下面の交点とする。また、X軸は左側の位置決めピン303から右側の位置決めピン303への方向とする。Y軸はそのX軸と位置決め座標系Mの原点において直交し、同図紙面の手前から奥に向かう方向とする。なお、位置決め座標系M(第2の座標系)の原点は、機能部品たるステレオカメラ104の基準部位(位置決めピン303)の形状、寸法から一義的に定まる位置に配置すればよい。例えば、位置決め座標系M(第2の座標系)の原点は、2つの位置決めピン303の中心間の距離を2等分した位置のカメラ底面などに配置してもよい。
In the present embodiment, it is assumed that the coordinate system determined from the shape of the structure to be calibrated is the positioning coordinate system M determined from the positioning reference portion. As shown in FIG. 3, the XY plane of the positioning coordinate system M is assumed to coincide with the lower surface of the
なお、本実施形態では、ステレオカメラ104の筺体(の下面)に直接、位置決め基準部が配置されているが、筺体とは別体構成であってもよい。また、本実施形態では、位置決め基準部として位置決めピン303、303を用いたが、ステレオカメラ104の筐体の側面を基準面として、適当な位置決め用の壁面などに押し当てて位置決めする構成などを用いてもよい。この場合、ステレオカメラ104の筐体の側面を直接測定プローブ102で接触して計測可能なため、位置決め治具105を用いずに済む可能性がある。
In the present embodiment, the positioning reference portion is arranged directly on the housing (the lower surface thereof) of the
また、図示はしていないが、ステレオカメラ104が校正中に動かないようにするため、位置決め治具105にはステレオカメラ104をねじやクランプで固定できる機構を設けておくと好適である。その際、例えば、ばね等で一方向に力を印加しながら固定するような構造を採用することにより、ピン嵌合誤差を軽減でき、より高精度な校正を行えるようになる。
Although not shown, it is preferable to provide the
リング照明106は、ステレオカメラ104でスタイラス201の先端球202を撮影する際に使用する。リング照明106を用いることにより、先端球202を対称に照らすことが可能なため、ステレオカメラ104の計測精度を向上させることができる。特に、先端球202の外周部を均一に照明できるローアングルのリング照明が好ましい。
The ring illumination 106 is used when photographing the
図1の校正システムの制御系の構成の一例を同図の右側に示してある。便宜上、本実施形態では、校正システムの制御系は、3次元測定機コントローラ107、ビジョンコントローラ113、計測コントローラ700から成る構成としている。計測コントローラ700は、本校正システムの主にユーザーインターフェースを構成するもので、少なくとも校正処理の操作に必要な表示部122、操作部123を含む。
An example of the configuration of the control system of the calibration system of FIG. 1 is shown on the right side of the figure. For the sake of convenience, in this embodiment, the control system of the calibration system is configured by a three-dimensional
ただし、校正システムの制御系の形態は必ずしも図1のような構成でなくても構わない。例えば、本実施形態の構成は、3次元測定機の部分を校正以外の目的でも利用できるような形態を考慮し、計測コントローラ700、3次元測定機コントローラ107、およびビジョンコントローラ113を独立した構成にしてある。しかしながら、校正専用のシステムとする場合には、本校正システムの制御系は、下記のような機能を有する計測コントローラ700、3次元測定機コントローラ107、およびビジョンコントローラ113が一体化された制御装置として構成されていてもよい。
However, the configuration of the control system of the calibration system is not necessarily limited to the configuration shown in FIG. For example, in the configuration of the present embodiment, the
3次元測定機コントローラ107、ビジョンコントローラ113および計測コントローラ700は、例えば下記のような機能ブロックから構成される。これらのコントローラのより具体的な構成については、後で図13を参照して説明する。
The three-dimensional
3次元測定機コントローラ107は、3次元測定機101および、測定プローブ102を制御するコントローラである。3次元測定機コントローラ107は、プローブ制御部108、不揮発性メモリ109、スライダ駆動部110、プローブ位置計測部111、圧力計測部124、温度計測部120、通信部112から成っている。3次元測定機コントローラ107はコンピュータであり、3次元測定機コントローラ107内の各部はハードウェアや回路で構成されてもよいし、ソフトウェアで構成されてもよい。
The three-dimensional
プローブ制御部108は、不揮発性メモリ109内に格納されている制御プログラムや、スライダ操作部121からの指令に沿って、3次元測定機コントローラ107内の各部の制御を司る機能を有する。例えば、測定プローブ102の位置を制御したり、先端球202中心の現在位置を読み込んだり、現在位置をビジョンコントローラ113に送信したりする手続きを制御する。
The
不揮発性メモリ109は、スタイラスの校正結果や、3次元測定機101の幾何学公差の補正関数、後述する校正制御のための制御プログラムを格納する。当然ながら、校正処理を行うに先立って、制御プログラムは不揮発性メモリ109に予め格納させておく。
The
スライダ駆動部110は3次元測定機101内のX、Y、Z方向のスライダを、プローブ制御部108から指令された量だけ移動させ、測定プローブ102を任意の位置に移動させる機能を有する。
The
プローブ位置計測部111は、スタイラス201の先端球202中心の現在位置を計測する機能を有する。3次元測定機101内のX、Y、Zスライダ位置の計測結果と、3次元測定機101の幾何学公差の補正関数、スタイラス校正結果を用いて、先端球202の中心位置を算出する。また、各スライダには温度センサが搭載されており、温度計測部120を介して各スライダの温度を計測することが可能である。プローブ位置計測部111は温度計測部120を介して、各スライダ近傍の温度を計測し、この温度情報を用いて、先端球202の中心位置を補正する温度補償補正を行う。この温度補償補正によって、より高精度に先端球202の中心位置を計測することができる。
The probe
圧力計測部124は、測定プローブ102内の圧力センサ203の計測値を読み取る機能を有する。計測値が事前に設定したしきい値を超えた場合、プローブ位置計測部111にトリガ信号を送信する。これにより、測定プローブ102が接触した瞬間の先端球202中心の現在位置を計測することができる。
The
通信部112はビジョンコントローラ113内の通信部117とデータを送受信する機能を有する。3次元測定機コントローラ107からビジョンコントローラ113へは、測定プローブ102の先端球202中心の現在位置を送信する。
The
スライダ操作部121は、測定プローブ102を任意の位置に移動させるためのコントローラである。XYZ方向のスライダを別々に操作させることが可能である。
The slider operation unit 121 is a controller for moving the
ビジョンコントローラ113はステレオカメラ104とリング照明106を制御し、校正演算を実施するコントローラである。ビジョンコントローラ113はコンピュータであり、ビジョンコントローラ113内の各部はハードウェアや回路で構成されてもよいし、ソフトウェアで構成されてもよい。
The
ビジョンコントローラ113内のビジョン制御部115は、不揮発性メモリ116内に格納されている制御フローや、操作部123からの指令に沿って、ビジョンコントローラ113内の各部の制御を司る機能を有する。具体的には、ステレオカメラ104の撮影タイミングを制御したり、撮影画像を画像処理部118に渡し画像処理したり、先端球202中心の現在位置を揮発性メモリ114に送信したりする手続きを制御する。また、本実施形態では、ビジョンコントローラ113は、後述のようにカメラ座標系Cと位置決め座標系M間の相対位置・姿勢を演算する機能を有する。ビジョンコントローラ113は、この演算結果は、カメラ座標系Cと位置決め座標系M間の座標変換を行うための校正情報(本実施形態の校正データ(MTC)および補正行列(A))は、例えば不揮発性メモリ116に格納することができる。不揮発性メモリ116はカメラ座標系Cと位置決め座標系M間の校正結果や、ビジョン周りの制御を行う後述のビジョン制御手順を格納するために用いられる。
The
揮発性メモリ114は、例えばDRAMやSRAMなどの記憶デバイスから成り、先端球202の中心位置の計測結果を一時的に格納する機能を有する。不揮発性メモリ116および揮発性メモリ114は本発明の記憶装置に含まれるものである。例えば、本実施形態では、揮発性メモリ114にデータを一時的に格納するが、同じデータは不揮発性メモリ116にデータを格納してもよい。
The volatile memory 114 is composed of a storage device such as a DRAM or SRAM, and has a function of temporarily storing a measurement result of the center position of the
撮影部119はステレオカメラ104とリング照明106にトリガ指令を送信し、ステレオカメラ104から撮影画像を取得する機能を有する。
The
画像処理部118はステレオカメラ104から伝送された画像データについて画像処理を行う機能を有する。具体的には先端球202の中心位置計測である。本実施形態では、先端球202は例えば白色の球体(白球)とする。
The
白球の中心位置の計測処理の概略は、次の通りである。まず、画像処理部118において、ステレオカメラ104内部の単眼カメラ301と302の撮影画像データに対してエッジ抽出処理を行う。そして、各エッジの長さと真円度から、先端球202のエッジを抽出する。抽出したエッジに対して楕円近似を行い、楕円中心の画像座標を求める。各画像の楕円中心から求まる視差と、ステレオカメラ104の校正結果を用いて、ステレオ計測を実施し、先端球202中心のカメラ座標系Cにおける位置を求める。
The outline of the measurement processing of the center position of the white sphere is as follows. First, the
通信部117は3次元測定機コントローラ107と通信を行う機能を有する。ビジョンコントローラ113から3次元測定機コントローラ107へは、測定プローブ102の移動指令を送信する。計測コントローラ700は、撮影画像・校正結果の表示を行なう表示部122と、情報の入力を行なう操作部123と、を有する。表示部122は、LCDなどの表示デバイスを用いたディスプレイ装置、操作部123は、マウス、キーボードなどのUI(ユーザーインターフェース)装置から構成される。
The
ここで、図16に、図1の3次元測定機コントローラ107、ビジョンコントローラ113、あるいは計測コントローラ700を実現するためのより具体的な構成の一例を示す。
Here, FIG. 16 shows an example of a more specific configuration for realizing the coordinate measuring
図16の構成は、主制御部として機能するCPU601を中心にROM602、RAM603、HDD604、各種のインターフェース605〜607を配置したものである。
In the configuration of FIG. 16, a
CPU601には、ROM602、RAM603、HDD604、および各種のインターフェース605〜607が接続される。ROM602には、BIOS等の基本プログラムが格納される。3次元測定機コントローラ107の場合、ROM602には、図1の不揮発性メモリ109を構成する例えばE(E)PROMのようなデバイスを含めることができる。
Connected to the
RAM603は、CPU601の演算処理結果を一時的に記憶する記憶装置である。図1のビジョンコントローラ113の揮発性メモリ114の記憶領域は、例えば、このRAM603によって実装することができる。
The
HDD604は、外部記憶装置として配置することができる。HDD604は、必ずしも必須ではないが、CPU601の演算処理結果である各種のデータ等を記憶する記憶部を構成する。また、HDD604は、上記の3次元測定機コントローラ107が用いる不揮発性メモリ109として利用することもできる。また、HDD604には、CPU601に各種演算処理を実行させるためのプログラムを記録したファイルを格納することができる。CPU601は、ROM602ないしHDD604に記録(格納)されたプログラムを実行することにより、後述の制御手順を実行する。
The
後述の制御手順を実行させるプログラムをROM602ないしHDD604に記録(格納)する場合、これらの記録媒体は本発明を実施するための制御手順を格納したコンピュータ読み取り可能な記録媒体を構成することになる。なお、後述の制御手順を実行させるプログラムは、ROM602ないしHDD604のような固定的な記録媒体に格納する他、各種フラッシュメモリや光(磁気)ディスクのような着脱可能なコンピュータ読み取り可能な記録媒体に格納してもよい。このような格納形態は、本発明を実施する制御手順を実行させるプログラムをインストールしたり更新したりする場合に利用できる。また、制御手順を実行させるプログラムをインストールしたり更新したりする場合、上記のような着脱可能な記録媒体を用いる他、ネットワーク(不図示)を介してプログラムをダウンロードする方式を利用できる。
When a program for executing a control procedure to be described later is recorded (stored) in the
CPU601は、インターフェース605を介して、ネットワーク通信を行うことができる。インターフェース605は、例えば有線接続(IEEE 802.3など)、無線接続(IEEE802.xxなど)などの各種のネットワーク通信方式によって構成することができる。インターフェース605によって、例えば図1の3次元測定機コントローラ107、あるいはビジョンコントローラ113の通信部112、117を実装することができる。
The
また、CPU601は、インターフェース605を介して接続された、例えばTCP/IPのようなプロトコルを用いて通信を行うネットワーク(不図示)上の他の資源と通信することができる。このようなネットワーク上の他の装置(不図示)としては、本校正システムの全体の動作を制御するための上位サーバなどが考えられる。この場合、CPU601はインターフェース605〜ネットワーク(不図示)を介して、上位サーバに対して、例えば校正処理に関するログ情報などの稼働情報をリアルタイムで送信することができる。あるいはサーバから後述の生産制御に係る制御プログラムをダウンロードしてROM602やHDD604にインストールしたり、あるいは既にインストールされているプログラムを新版に更新したりすることもできる。
Further, the
インターフェース606、607は、例えば各種のシリアルないしパラレルインターフェース規格に基づき構成できる。インターフェース606、607は、図1の3次元測定機コントローラ107においては、スライダ駆動部110のような駆動源を含む被制御部と通信するのに用いることができる。また、インターフェース606、607は、図1の3次元測定機コントローラ107において、111、120、124などの符号で示した計測(センサ)部から測定情報を読み込むのに用いることができる。
The
また、図1のビジョンコントローラ113においては、インターフェース606、607は、撮影部119に含まれる撮像センサなどから測定(画像)情報を読み込むのに用いることができる。
In the
また、本校正システムで、主にユーザーインターフェースを構成する図1の計測コントローラ700の場合は、インターフェース606、607は、表示部122や操作部123に対する表示情報や操作情報の入出力に用いることができる。
Further, in the case of the
以下、図4のフローチャートを参照し、ステレオカメラ104(3次元視覚測定装置)の校正方法について説明する。図4の校正手順では、まずステレオカメラ104の内部パラメータ、外部パラメータを求める校正作業を実施する(S401)。内部・外部パラメータはビジョンコントローラ113内の不揮発性メモリ116に保存される。
Hereinafter, a calibration method of the stereo camera 104 (three-dimensional visual measurement device) will be described with reference to the flowchart of FIG. In the calibration procedure of FIG. 4, first, calibration work for obtaining internal parameters and external parameters of the
図5は、本実施形態のステレオカメラ104(3次元視覚測定装置)と、校正処理に関係する各座標系を示している。図5において、ステレオカメラ104(3次元視覚測定装置)は、撮像手段としてそれぞれイメージセンサ501、502を備えた2つの単眼カメラ301、302から構成される。カメラ座標系Cl、Crの原点は、例えば、単眼カメラ301、302の撮像光学系の主点位置などに取られる。ステレオカメラ104を構成する単眼カメラ301、302の内部パラメータによって、イメージセンサ501と502上に定まるセンサ座標系Sl、Srと、カメラ座標系Cl、Crとの相対位置・姿勢が定まる。単眼カメラ301、302の内部パラメータには、各々の焦点距離、画像中心、レンズ歪み等の、撮影特性に関するジオメトリ情報が含まれる。
FIG. 5 shows the stereo camera 104 (three-dimensional visual measurement device) of this embodiment and each coordinate system related to the calibration process. In FIG. 5, a stereo camera 104 (three-dimensional visual measurement device) is composed of two
一方、この種のステレオ撮像系において、外部パラメータは、それら単眼カメラ301と302間の相対位置・姿勢を規定するパラメータである。これにより、単眼カメラ301と302の各カメラ座標系ClとCrとの相対位置・姿勢が求まる。
On the other hand, in this type of stereo imaging system, the external parameters are parameters that define the relative position / posture between the
ステレオカメラ104の内部・外部パラメータの校正は、例えば上記の特許文献1に記載されるような一般的な手法による場合、校正用被写体の撮影を介して行う。例えば、ステレオカメラ104によって、既知のサイズ、形状の画像パターンを付与した校正用被写体を、対象の位置姿勢を変えながら複数枚撮影する。そして、単眼カメラ301と302の撮影画像に対して画像処理を行い、画像上における校正用被写体のパターン上の特徴点の位置を求める。この時、理論上、各単眼カメラの撮影画像上で、同じ特徴点は、同一平面上(エピポーラ平面)に存在するという条件(エピポーラ拘束)が成り立つ。このエピポーラ拘束が成り立つように、例えば最適化計算などを介して、当該のステレオカメラ104の内部・外部パラメータを算出することができる。校正用被写体としては、一定の精度を有するよう作成された、チェスボードないし市松模様の画像パターンを付与した校正プレートなどが用いられる。
Calibration of the internal / external parameters of the
ただし、次のような要因により、内部・外部パラメータには誤差が生じる可能性がある。まず、画像処理によりパターンの特徴点位置を計測する場合、量子化誤差に起因する読み取り誤差が発生する。また、現実世界では複数枚のレンズを用いた複合レンズを用いており、レンズ歪みを多項式モデル等の単純なモデルのみで表現するのは極めて困難である。特に広角レンズ等の歪みが大きいレンズの場合、モデル化誤差の影響が大きくなる可能性がある。 However, errors may occur in internal and external parameters due to the following factors. First, when the pattern feature point position is measured by image processing, a reading error caused by a quantization error occurs. In the real world, a compound lens using a plurality of lenses is used, and it is extremely difficult to express the lens distortion only by a simple model such as a polynomial model. In particular, in the case of a lens having a large distortion such as a wide-angle lens, there is a possibility that the influence of a modeling error becomes large.
ステレオカメラ104の内部・外部パラメータを用いると、三角測量の原理により、撮影画像上で求まるセンサ座標系Sl、Sr基準の位置を、例えば左カメラ座標系Clを基準とした3次元位置に変換する、といったステレオ計測が可能となる。このように、ステレオカメラ104のカメラ座標系Cと、左カメラ座標系Clは、便宜上、等価であるものとして扱うことがある。例えば、単眼カメラ301と302の撮像光軸が平行に配置されており、図6に示すような平行ステレオを構成する場合、計測点PのZ座標のステレオ計測結果は下式のように表現できる。
Using the internal / external parameters of the
ここで、fは焦点距離、Bは単眼カメラ301、302のレンズ主点間の距離である基線長、dは単眼カメラ301、302の撮影画像上における特徴点位置の差である視差を意味する。fは内部パラメータから、Bは外部パラメータから決定される。上式(1)から、内部・外部パラメータの校正精度がステレオ(3次元)計測精度に大きく影響を与えることがわかる。
Here, f is a focal length, B is a baseline length that is a distance between lens principal points of the
次に、図4のステップS402において、3次元測定機101のスタイラス201の校正を行う。ここでは、スタイラス長や先端球202の球径等を算出する。スタイラス校正結果と、3次元測定機101の各スライダの移動量を用いることにより、先端球202中心の現在位置を精密に計測することができる。
Next, in step S402 in FIG. 4, the
ステップS402のスタイラス校正は、例えば次のようにして行う。例えば、所期の真球度が出ている基準球を、定盤103上に固定しておき、この基準球の表面の複数個所に対して、測定プローブ102によって接触計測を行う。この計測結果と、基準球の設計値を比較し、スタイラス校正データを取得する。
The stylus calibration in step S402 is performed as follows, for example. For example, a reference sphere having a desired sphericity is fixed on the
次に、図4のステップS403において、ステレオカメラ104の位置決め座標系M(第2の座標系)を定義するための測定プローブ102による測定点を決定する(プローブ測定工程)。
Next, in step S403 in FIG. 4, a measurement point by the
図3に示すように、本実施形態のステレオカメラ104は位置決め基準部として位置決めピン303を有し、この位置決めピン303によって、例えばロボットアーム(R)などに固定される。例えば、位置決め座標系M(第2の座標系)の原点は、図示のように左側の位置決めピン303の中心軸とステレオカメラ104の筐体の下面の交点とする。
As shown in FIG. 3, the
この場合、ステレオカメラ104の筐体前面などをスタイラス201で測定し、上記の基準部位(位置決めピン303の1つ)に配置された位置決め座標系M(第2の座標系)の原点を特定するものとしてもよい。その場合、ステレオカメラ104の筐体および位置決めピン303の工作精度が充分保たれている必要がある。
In this case, the front surface of the housing of the
本実施形態では、ステレオカメラ104の筐体前面などをスタイラス201で測定する時は、図1のようにステレオカメラ104を、位置決め治具105を介して3次元測定機101の定盤103上の所定位置に配置する。この位置決め治具105は、実際に特定のステレオカメラ104の装着に用いるものと同じものか、あるいは工作精度が充分保たれた上で作成された基準部材とする。
In this embodiment, when measuring the front surface of the case of the
本実施形態では、例えば、図7(A)〜(C)に示すように、位置決め治具105の位置決め穴304を測定プローブ102で測定する方式を取る。この場合、位置決めピン303と位置決め治具105の位置決め穴304の工作精度が充分保たれていることが条件となる。
In the present embodiment, for example, as shown in FIGS. 7A to 7C, a method of measuring the
位置決め座標系MのXY平面を決定するため、作業者は、スライダ操作部121を用いて図7(A)のように位置決め治具105の上面に、測定プローブ102の先端球202を3点以上(201a、201b、201c…)、接触させる。この時、3次元測定機コントローラ107内のプローブ制御部108は、接触した瞬間のプローブ位置を記憶する(プローブ測定工程)。
In order to determine the XY plane of the positioning coordinate system M, the operator uses the slider operation unit 121 to place three or
次に、図7(B)、(C)に示すように、測定プローブ102の先端球202を2つの位置決め穴304、304の内側にそれぞれ、3点以上接触させ、接触した瞬間のプローブ位置を記憶しておく。接触時の計測値を先ほど求めた位置決め座標系MのXY平面に投影した点を求め、これらの投影点に対して円近似を行い、位置決め穴304の中心位置を計測する。以上のようにして、位置決め座標系M(図5)の原点とX、Y軸の向きを取得することができる。
Next, as shown in FIGS. 7B and 7C, the
なお、本実施形態では、ステップS403では、測定プローブ102による測定点の教示のみ行い、実際の測定プローブ102の測定に基づく位置決め座標系Mの定義は、後述のステップS901(図9)で行うものとする。しかしながら、ステップS403では、測定プローブによる測定点の教示のみならず、実際の3次元形状測定を行い、位置決め座標系Mの定義まで実行してもよい。
In this embodiment, in step S403, only the measurement points are taught by the
次に、図4のステップS404において、ステレオカメラ104でスタイラス201の先端球202を撮影する際の、スタイラス201の位置を決定する。ここで、図8を用いてスタイラス201の移動領域について説明する。スタイラス201の移動領域は、ステレオカメラ104の単眼カメラ301、302の共通視野領域OVをカバーすることが好ましい。この共通視野領域OVとは、単眼カメラ301と302が共に焦点が合った状態で対象を撮影できる領域である。
Next, in step S404 in FIG. 4, the position of the
例えば、単眼カメラ301、302のいわゆる被写界深度が重なり合う角錐台形状の空間範囲に相当し、この共通視野領域OV内はステレオ計測を精度よく実施可能な領域である。このように、単眼カメラ301と302に共通する視野領域全体の撮影情報を用いたほうが、各計測位置に対する誤差情報の欠落が少なくなるため、より高精度な校正を実現できる。
For example, the so-called depth of field of the
なお、測定プローブ102のスタイラス201の移動領域はステレオカメラ104の光学特性や校正結果から、自動的に決定してもよい。具体的には、ステレオカメラ104内の各単眼カメラ301と302のセンササイズ、焦点距離とワークディスタンスと、単眼カメラ301と302間の相対位置・姿勢である外部パラメータからカメラ座標系Cを基準とした共通視野領域を求める。また、カメラ座標系Cと位置決め座標系M間の相対位置・姿勢の設計値を用いて、位置決め座標系M基準での共通視野領域を求める。ステップS404において、上記のようにして決定した共通視野領域内で、プローブ制御部108により測定プローブ102のスタイラス201を複数、好ましくは3点以上の移動位置を自動的に移動させる。そして、それぞれの位置でスタイラス201の先端球202を撮影する。即ち、ステレオカメラ104で良好に撮影可能な範囲内の3点以上の測定点にスタイラス201を移動させ、それぞれの位置で先端球202を撮影させる。
Note that the movement region of the
ここまでの処理が、本実施形態の事前準備に相当する。そして、図4のステップS405(ステレオカメラ104によるスタイラス201の先端球202の位置計測)、S406(校正データ、および補正行列の演算:校正データ取得工程)が本校正システムにおける狭義の校正処理に相当する。
The processing so far corresponds to the advance preparation of this embodiment. Steps S405 (measurement of the position of the
ここで、カメラ座標系Cと位置決め座標系Mにおける先端球202の中心位置の計測(S405)と、ステレオ計測結果の補正関数算出(S406)で実施する処理の詳細フローを図9に示す。図9では、ステップS901〜S907が図4のステップS405に、ステップS908が図4のステップS406にそれぞれ相当する。
Here, FIG. 9 shows a detailed flow of processing executed in the measurement of the center position of the
図9の処理は、例えば操作部123における作業者の校正開始ボタンの押下などを契機として自動的に実施する。まず、図9のステップS901では、3次元測定機コントローラ107が上記のステップS403で教示した測定点をスタイラス201の先端球202で自動的に走査し、位置決め治具105を接触測定する(プローブ測定工程)。本測定結果を用いて、ステレオカメラ104の位置決め座標系M(第2の座標系)が定義される。位置決めピン303と位置決め穴304の双方の精度が充分あれば、位置決め穴304の中心位置は、位置決めピン303の中心位置として取り扱うことができる。このようにして、3次元測定機コントローラ107のプローブ制御部108は位置決め座標系M(図3:第2の座標系)の原点の位置とX軸(Y軸)の向きを定義することができる。これにより、3次元測定機コントローラ107は、例えば位置決め座標系Mを基準として、スタイラス201の先端球202の中心位置を計測することが可能となる。
The process of FIG. 9 is automatically performed when the operator presses the calibration start button on the
次に、ステップS902において、作業者はステレオカメラ104を位置決め治具105上に、定盤103上にリング照明106を設置する。
Next, in step S <b> 902, the operator installs the
ステップS903〜S907のループでは、図4のステップS404でステレオカメラ104の共通視野領域OV内に配置した3点以上の測定点のそれぞれにスタイラス201を移動させる。そして、それぞれの各測定点において、ステレオカメラ104により、測定プローブ102の先端球202を3次元視覚測定する。
In the loop of steps S903 to S907, the
まず、ステップS903では、ビジョン制御部115は3次元測定機コントローラ107にプローブ移動指令を送信する。指令を受信したプローブ制御部108は、スタイラスの移動位置の決定処理(図4のS404)で事前に設定した測定点にスタイラス201の先端球202を移動させる。続いて、ステップS904において、スタイラス201の移動が完了すると、プローブ位置計測部111を介して、位置決め座標系M基準の先端球202中心の現在位置を計測する。計測値をビジョンコントローラ113に送信する。これに応じて、ビジョンコントローラ113内のビジョン制御部115は、受信した先端球202の中心位置を揮発性メモリ114に格納する。
First, in step S903, the
次に、ステップS905では、ビジョンコントローラ113のビジョン制御部115は、撮影部119を介してステレオカメラ104とリング照明106に撮影指令を送信し、先端球202を撮影させる。これにより単眼カメラ301、302で撮影されたステレオ撮影画像は画像処理部118に送信される。ステップS906では、ビジョン制御部115が3次元計測処理を行い、カメラ座標系Cにおける撮影された当該の先端球202の中心位置の座標値を取得する。この先端球202の中心位置の座標値は揮発性メモリ114に格納する(S906)。
Next, in step S905, the
次に、ステップS907において、スタイラス201の移動位置の決定処理(S404)で決定した、全測定点への移動が完了したか否かを判定する。全測定点への移動とステレオカメラ104による撮影が完了していない場合、ステップS903に戻り、次の移動位置にスタイラス201を移動させ、ステップS903〜S906の処理を再度実施する。ステップS907で全測定点への移動と撮影が完了している場合には、ステップS908のステレオ計測結果の補正関数算出処理に移行する。
Next, in step S907, it is determined whether or not the movement to all measurement points determined in the movement position determination process (S404) of the
ステップS908の補正関数算出処理では、ステップS904で求めた位置決め座標系Mにおける先端球202の中心位置と、ステップS906で求めたカメラ座標系Cにおける先端球202の中心位置のデータを使用する。理想的には、これらのデータには次式(2)の関係が成立する。
In the correction function calculation process in step S908, data on the center position of the
ここでTは左上の添え字の座標系から、右下の添え字の座標系への同次座標変換行列とする。同次座標変換行列は回転行列(3自由度)と、平行移動行列(3自由度)を用いて次式(3)のように表す。 Here, T is a homogeneous coordinate transformation matrix from the coordinate system of the upper left subscript to the coordinate system of the lower right subscript. The homogeneous coordinate transformation matrix is expressed by the following equation (3) using a rotation matrix (3 degrees of freedom) and a translation matrix (3 degrees of freedom).
しかしながら、現実には、位置決め座標系Mとカメラ座標系Cとの関係を式(2)のような関係式だけで表すことは困難である。なぜなら、位置決め座標系Mとカメラ座標系CのZ座標のスケールが異なる場合があるためである。 However, in reality, it is difficult to express the relationship between the positioning coordinate system M and the camera coordinate system C only by the relational expression such as Expression (2). This is because the Z coordinate scale of the positioning coordinate system M and the camera coordinate system C may be different.
ここで、図6のような平行ステレオの場合を例に説明する。一般に、ステレオカメラの内部・外部パラメータは、エピポーラ拘束が成り立つように算出された値であり、光学的に定まる実際の焦点距離や基線長とは異なる。ここで、真の焦点距離をf、基線長をBとし、内部・外部パラメータから求まる焦点距離をf’(≠f)、基線長をB’(≠B)とする。 Here, the case of parallel stereo as shown in FIG. 6 will be described as an example. In general, the internal and external parameters of a stereo camera are values calculated so that epipolar constraints are established, and are different from the actual focal length and base line length determined optically. Here, it is assumed that the true focal length is f, the base length is B, the focal length obtained from internal and external parameters is f '(≠ f), and the base length is B' (≠ B).
ステレオカメラ104の撮影画像は、レンズを通して光学的に画像センサに投影されたものであるから、撮影画像は真の焦点距離(f)と、基線長(B)に依存した画像となる。この撮影画像に対して画像処理を実施し、計測点P(x,y,z)の視差を算出した場合、理想的には視差dは次式(4)のように表せる。
Since the captured image of the
上式で求めた視差を用いてステレオ計測を行う場合、焦点距離と基線長は内部・外部パラメータから求めた値を用いる。従って、ステレオ計測で求まる計測点PのZ座標z’は次式(5)のように表される。 When performing stereo measurement using the parallax obtained by the above equation, the focal length and the base line length are values obtained from internal and external parameters. Accordingly, the Z coordinate z ′ of the measurement point P obtained by stereo measurement is expressed by the following equation (5).
上式(4)、(5)より、計測点Pの物理的な真のZ座標zと、ステレオ計測で求まるZ座標z’には次式(6)のような関係がある。 From the above equations (4) and (5), the physical true Z coordinate z of the measurement point P and the Z coordinate z ′ obtained by stereo measurement have a relationship as shown in the following equation (6).
上式(6)に示すように、物理的な真のZ座標zとステレオ計測結果のZ座標z’のスケールが異なることがわかる。ここで、位置決め座標系Mのスケールは、3次元測定機101を用いて高精度に測定できるから、物理的なスケールと同等と考えられる。一方、カメラ座標系Cとステレオ計測から定まる座標系は同じ座標系である。以上のように、位置決め座標系Mとカメラ座標系CのZ座標のスケールは異なるということがわかる。
As shown in the above equation (6), it can be seen that the scale of the physical true Z coordinate z and the Z coordinate z ′ of the stereo measurement result are different. Here, since the scale of the positioning coordinate system M can be measured with high accuracy using the three-
また、式(2)のような関係式だけで表すことは困難である理由としては、レンズ歪みを精密にモデル化することが困難であるという点もある。一般的に、レンズ歪みは多項式モデルで近似されるが、複数枚のレンズで組み立てられた複合レンズを用いた現実世界では、歪み曲線を単調なモデルで表すのは困難である。歪みモデル化誤差の影響が、計測位置によって変化するため、一概に式(2)のような関係式だけでは表すことが困難である。特に、レンズ歪みが大きいレンズでは、このモデル化誤差が大きく、ステレオ計測精度に与える影響も増大する。 Further, the reason why it is difficult to express only by the relational expression such as Expression (2) is that it is difficult to accurately model lens distortion. In general, the lens distortion is approximated by a polynomial model. However, in the real world using a compound lens assembled with a plurality of lenses, it is difficult to represent the distortion curve with a monotonous model. Since the influence of the distortion modeling error changes depending on the measurement position, it is generally difficult to express only with the relational expression such as Expression (2). In particular, in a lens having a large lens distortion, this modeling error is large, and the influence on the stereo measurement accuracy increases.
以上のような事情から、位置決め座標系Mにおける先端球202の中心位置と、カメラ座標系Cにおける先端球202の中心位置のデータの関係式を次式のように修正する。
From the above situation, the relational expression between the center position of the
この補正行列(A)が、本実施形態におけるステレオ計測結果を補正する行列で、この補正行列(A)は3次元計測座標値のスケールを補正する要素を含む。ここで、上式(7)は、変形すると下式(8)のように表すことができる。 This correction matrix (A) is a matrix for correcting the stereo measurement result in this embodiment, and this correction matrix (A) includes an element for correcting the scale of the three-dimensional measurement coordinate value. Here, when the above equation (7) is deformed, it can be expressed as the following equation (8).
ここで、位置決め座標系Mのける先端球202の中心位置と、カメラ座標系Cにおける先端球202の中心位置は、図9のステップS904、S906で計測しているため既知である。
Here, the center position of the
次に、図10を参照して、ステレオ計測結果の補正行列Aの算出フローを説明する。本実施形態では、ステレオ計測結果のスケール補正のみを実施する場合について説明する。図10のステップS1001では、補正行列Aをスケール変換行列としてモデル化する。Z座標のスケール関数をmzとすると、補正行列Aは次式(9)のように表すことができる。 Next, the flow of calculating the correction matrix A for the stereo measurement result will be described with reference to FIG. In the present embodiment, a case where only the scale correction of the stereo measurement result is performed will be described. In step S1001 of FIG. 10, the correction matrix A is modeled as a scale conversion matrix. When the scale function of the Z coordinate is m z , the correction matrix A can be expressed as the following equation (9).
なお、上式(9)ではZ座標のスケール関数のみを考慮したが、X、Y座標のスケール関数も組み込んでもよい。ステレオ計測のX、Y方向の計測精度はZ方向の計測精度に依存するため、Z方向のみならず、X、Y方向のスケールも異なるからである。X、Y座標のスケール関数を関数mx、myとすると、補正行列Aは下式(10)のように表すことができる。この補正行列Aにより、X、Y、Z座標のすべてのスケールが補正されるため、さらに高精度に校正を行うことが可能となる。 In the above formula (9), only the scale function of the Z coordinate is considered, but the scale function of the X and Y coordinates may be incorporated. This is because the stereo measurement accuracy in the X and Y directions depends on the measurement accuracy in the Z direction, so that not only the Z direction but also the scales in the X and Y directions are different. X, function scale function of the Y coordinate m x, When m y, the correction matrix A can be expressed as the following equation (10). Since all the scales of the X, Y, and Z coordinates are corrected by the correction matrix A, calibration can be performed with higher accuracy.
上記のmx、my、mzは定数でもよいし、撮影光軸中心からの距離や、ステレオ計測結果に依存した変数を用いてもよい。定数の場合、補正が単純なため、ステレオ計測結果の補正時間を短縮できる可能がある。 The above m x , m y , and m z may be constants, or variables depending on the distance from the center of the photographing optical axis and the stereo measurement result may be used. In the case of a constant, since correction is simple, the correction time of the stereo measurement result may be shortened.
このように補正行列Aのモデルを定義した後、図10のステップS1002において、下式(11)に示すように、式(8)のノルムの二乗和が0に近づくよう、同次座標変換行列MTCと補正行列Aに対して、非線形最適化計算を解く。これにより、補正行列Aを高精度に算出すことが可能である。ここで、Nは測定プローブ102の全移動回数(測定プローブ102を移動させて行った撮影の回数)である。 After defining the model of the correction matrix A in this way, in step S1002 of FIG. 10, the homogeneous coordinate transformation matrix is set so that the square sum of the norm of the equation (8) approaches 0 as shown in the following equation (11). The nonlinear optimization calculation is solved for the MTC and the correction matrix A. Thereby, the correction matrix A can be calculated with high accuracy. Here, N is the total number of movements of the measurement probe 102 (the number of imaging performed by moving the measurement probe 102).
このようにして算出したステレオ計測結果の補正行列Aおよび、同次座標変換行列MTCを、ビジョンコントローラ113内の不揮発性メモリ116に保存する(S1003)。実際にロボット等にステレオカメラ104を設置して用いる場合、ステレオカメラ104で計測した3次元測定結果に対して、本実施形態の補正行列Aによるスケール補正を行うことにより、高精度な3次元測定が可能となる。
The stereo measurement result correction matrix A and the homogeneous coordinate transformation matrix M T C calculated in this way are stored in the
なお、本実施形態では、接触式の測定プローブ102を有する3次元測定機101を用いた校正システムについて説明したが、高精度に加工した治具システムを用いてもよい。具体的には、ステレオカメラで高精度な位置計測可能なマークのような対象物(チェッカボードなど)が位置決め基準部に対して、例えば異なるZ方向の位置に高精度に位置決めされるよう、加工または調整されていればよい。
In the present embodiment, the calibration system using the three-
ただし、本実施形態のように3次元測定機101を用いると、3次元視覚測定装置を備えた機能部品または、その位置決め治具の位置決め部の位置を直接、計測できるため、機能部品または、位置決め治具をラフにセッティングしても構わない、という利点がある。また、3次元測定機101を用いる場合には、3次元視覚測定装置を含む機能部品の形状が変わっても、同様にラフなセッティングで校正を行える利点がある。即ち、本実施形態のように3次元測定機101を用いることにより、機能部品と測定プローブ間の位置調整の工数を削減でき、大幅に校正時間を短縮し、高精度に校正データを取得できるという効果がある。
However, when the three-
以上では、3次元測定機101の測定プローブ102の先端球202の計測位置データを用いて、1つのステレオ計測結果の補正行列Aを算出する方法について説明した。しかしながら、ステレオカメラ104の計測範囲が広大な場合、レンズ歪みモデル化誤差や画像量子化誤差等の様々な誤差要因による影響が大きくなり、高精度な補正が困難となる。
The method for calculating the correction matrix A of one stereo measurement result using the measurement position data of the
そこで、図11に示すようにステレオカメラ104を構成する単眼カメラ301、302の共通視野領域OVを複数の局所領域1101、1102に区切ることが考えられる。そして、各局所領域1101、1102における先端球202の位置情報を用いて、局所領域ごとにステレオ計測結果するための補正行列Aをそれぞれ算出する。このような局所補正データ算出工程によって、局所領域1101、1102ごとに最適化された補正行列Aを取得でき、より高精度に補正された3次元測定結果(3次元測定値)を得ることができる。なお、図11の例では、共通視野領域OVを2つの局所領域1101、1102に分けているが、本実施形態では2つに区切ったがそれ以上の数に共通視野領域OVを分割してそれぞれの撮影範囲ごとに補正行列Aを求めて使い分けても構わない。その場合、例えば、ステレオ計測精度を検証しながら、局所領域1101、1102の分割を繰り返すような実験を行い、局所領域1101、1102の分割数や、分割位置を決定してもよい。このような手続により、局所領域の分割を繰り返し、当該のステレオカメラ104のハードウェアにおいて、許容できるステレオ計測精度が得られるような局所領域の分割態様を決定することができる。
Therefore, as shown in FIG. 11, it is conceivable to divide the common visual field region OV of the
また、同次座標変換行列MTCを単位行列とすることにより、スケールが正しく補正されたカメラ座標系Cにおける3次元計測が可能となる。その場合、ステレオカメラ104から位置決め基準部(303、303)を外して用いても、高精度な3次元計測を行うことができる。
In addition, by using the homogeneous coordinate transformation matrix M T C as a unit matrix, three-dimensional measurement in the camera coordinate system C with the scale corrected correctly becomes possible. In that case, even if the positioning reference portions (303, 303) are removed from the
<実施形態2>
本実施形態2では、ステレオカメラの補正行列算出処理(図9のステップS908)において、カメラ座標系のスケールを補正するスケール関数として撮影光軸中心からの距離に依存する関数を用いる例を示す。
<Embodiment 2>
The second embodiment shows an example in which a function depending on the distance from the center of the photographing optical axis is used as a scale function for correcting the scale of the camera coordinate system in the correction matrix calculation process (step S908 in FIG. 9) of the stereo camera.
本実施形態2では、ハードウェア構成および、制御手順の大部分の構成については、上述の実施形態1と同様であるものとする。本実施形態では、ステレオカメラの補正行列算出処理(図9のステップS908)のみが異なり、以下ではこの補正行列算出処理についてのみ説明する。 In the second embodiment, the hardware configuration and most of the control procedure are the same as those in the first embodiment. In this embodiment, only the correction matrix calculation process (step S908 in FIG. 9) of the stereo camera is different, and only the correction matrix calculation process will be described below.
一般に、レンズ歪み量は撮影光軸中心からの距離に応じて変化する。撮影光軸中心付近では歪みはほぼ発生せず、距離が遠くなれば歪み量は増大する傾向にある。例えば、カメラ校正(図4のステップS401)においてレンズ歪み補正パラメータを算出することができるが、上記のようにレンズ歪みを精密に補正することは極めて困難である。以上のように、視差算出時の画像処理でレンズ歪みの影響が補正し切れずに残る場合がある。そして、例えばレンズ歪みに起因する視差の計測誤差は、レンズの光軸中心からの距離に応じて変化する傾向を有する、と考えられる。例えば、光軸中心付近ではレンズ歪みの影響をほとんど受けないため、高精度に視差を計測可能であるが、撮影画像の周辺視野、特にその端部付近ではレンズ歪み補正誤差の影響を受け、視差計測時により大きな誤差が生じる。 In general, the lens distortion amount changes according to the distance from the center of the photographing optical axis. There is almost no distortion near the center of the photographing optical axis, and the amount of distortion tends to increase as the distance increases. For example, the lens distortion correction parameter can be calculated in camera calibration (step S401 in FIG. 4), but it is extremely difficult to accurately correct the lens distortion as described above. As described above, the influence of lens distortion may remain uncorrected in image processing when calculating parallax. For example, it is considered that the parallax measurement error due to lens distortion tends to change according to the distance from the center of the optical axis of the lens. For example, parallax can be measured with high accuracy because it is hardly affected by lens distortion near the center of the optical axis, but it is affected by lens distortion correction errors in the peripheral field of view of the captured image, particularly near its edges. A larger error occurs during measurement.
上記のように、視差の計測誤差Δdは、単眼カメラ301と302における、撮影画像上での光軸中心から計測点までの距離r1、r2に依存する、と考えられる。そこで、この距離r1、r2に依存する視差の計測誤差Δdは、下式(12)や式(13)のように、線形や2次関数的にモデル化することができる。ここで、α、β、γ、α1、α2、β1、β2、γ1は補正係数である。
As described above, the parallax measurement error Δd is considered to depend on the distances r 1 and r 2 from the center of the optical axis to the measurement point on the captured image in the
ここで、レンズの光軸中心の位置はカメラ校正で求まる、内部パラメータの値を用いてもよいし、カメラの設計値を用いてもよい。本実施形態では、線形および、2次関数的にモデル化したが、さらに高次のモデル化を行ってもよい。ただし、より高次の関数によるモデル化を行う場合、後に行う最適化計算に時間を要したり、局所解に陥ったりするリスクが増える可能性がある。 Here, the position of the center of the optical axis of the lens may be an internal parameter value obtained by camera calibration, or a design value of the camera. In the present embodiment, modeling is performed linearly and in a quadratic function, but higher-order modeling may be performed. However, when modeling with a higher-order function, there is a possibility that the risk of time-consuming optimization calculations performed later or falling into a local solution may increase.
次に、上記のような視差の計測誤差Δdが存在する場合、ステレオ計測で求まる計測点PのZ座標z’’は下式(14)のように書ける。 Next, when the parallax measurement error Δd as described above exists, the Z coordinate z ″ of the measurement point P obtained by stereo measurement can be written as the following equation (14).
式(4)と式(14)を用いる場合、計測点Pの物理的な真のZ座標と、ステレオ計測で求まる計測点PのZ座標z’’には下式(15)のような関係がある。 When using the equations (4) and (14), the relationship between the physical true Z coordinate of the measurement point P and the Z coordinate z ″ of the measurement point P obtained by stereo measurement is as shown in the following equation (15). There is.
このように、視差の計測誤差Δdに依存して、計測点Pの物理的な真のZ座標zと、ステレオ計測で求まる計測点PのZ座標z’’のスケールが変化することが判る。そこで、Z座標のスケール関数mzを以下の2つの式に示すようにモデル化すれば、視差の計測誤差Δdの影響を軽減することができる。 Thus, it can be seen that the scale of the physical true Z coordinate z of the measurement point P and the Z coordinate z ″ of the measurement point P obtained by stereo measurement change depending on the parallax measurement error Δd. Therefore, if the scale function m z of the Z coordinate is modeled as shown in the following two expressions, the influence of the parallax measurement error Δd can be reduced.
上式(16)、(17)の右辺分母のa、a1は補正係数である。以上が、補正行列Aのスケール関数mzのモデル設定である。この補正行列Aのスケール関数mzのモデルを用いて、実施形態1に示した式(11)の最適化計算を実施し、座標変換行列MTCおよび補正行列Aの各変数を算出することができる。 Equation (16) is a right side denominator of a, a 1 is the correction factor (17). The above is the model setting of the scale function m z of the correction matrix A. Using the model of the scale function m z of the correction matrix A, the optimization calculation of Expression (11) shown in the first embodiment is performed, and each variable of the coordinate transformation matrix M T C and the correction matrix A is calculated. Can do.
なお、本実施形態2では、一例として式(16)や(17)のようにスケール関数mzを定義した。しかし、スケール関数mzとして、単純に、各単眼カメラの撮影画像におけるそれぞれの光軸中心から計測点までの距離r1、r2の1次関数や2次関数などの多項式を採用してもよい。これにより、スケール関数mzの数式が単純になり、式(11)の最適化計算の時間短縮や、局所解に陥ったりするリスクを軽減できる可能性がある。以上のように、本実施形態では、レンズ歪みなどに起因するスケール誤差を補正するため、スケール関数mzのモデルを用いること、そしてこのスケール関数mzが光軸中心からの距離に依存する関数である点に特徴がある。 In the second embodiment, as an example, the scale function m z is defined as in equations (16) and (17). However, as the scale function m z , a polynomial such as a linear function or a quadratic function of the distances r 1 and r 2 from the center of each optical axis to the measurement point in the captured image of each monocular camera may be simply adopted. Good. As a result, the mathematical expression of the scale function m z becomes simple, and there is a possibility that the time required for the optimization calculation of Expression (11) can be shortened and the risk of falling into a local solution can be reduced. As described above, in this embodiment, in order to correct a scale error due to lens distortion or the like, a model of the scale function m z is used, and the function in which the scale function m z depends on the distance from the optical axis center. This is a feature.
また、以上では、Z軸方向に関するスケール関数mzを考慮したが、mxやmyも同様に距離r1、r2の1次関数や2次関数等の多項式によって表現することができる。このように、Z軸方向に関するスケール関数mzのみならず、mxやmyにも光軸中心からの距離r1、r2に依存した関数モデルを用いることによって、より高精度に補正された3次元計測結果を得ることができる。 Further, in the above, it is possible but considering scale function m z about the Z-axis direction is expressed by a polynomial, such as a linear function or a quadratic function similarly distance greater m x and m y r 1, r 2. Thus, not only the direction of the Z-axis scale function m z only, by using the function model that depends on the distance r 1, r 2 from also the optical axis center to m x and m y, is corrected with higher accuracy 3D measurement results can be obtained.
<実施形態3>
本実施形態3では、ステレオカメラの補正行列算出処理(図9のステップS908)において、カメラ座標系のスケールを補正するスケール関数としてステレオ計測で求まる3次元計測座標値に依存する関数を用いる例を示す。
<Embodiment 3>
In the third embodiment, an example of using a function depending on a three-dimensional measurement coordinate value obtained by stereo measurement as a scale function for correcting the scale of the camera coordinate system in the correction matrix calculation process (step S908 in FIG. 9) of the stereo camera. Show.
本実施形態3では、ハードウェア構成および、制御系の構成については上述の実施形態1、2と同様であるものとする。本実施形態3では、ステレオカメラの補正行列算出処理(図9のステップS908)のみが異なり、以下ではこの補正行列算出処理についてのみ説明する。 In the third embodiment, the hardware configuration and the control system configuration are the same as those in the first and second embodiments. In the third embodiment, only the correction matrix calculation process (step S908 in FIG. 9) of the stereo camera is different, and only the correction matrix calculation process will be described below.
実施形態2で述べたように、視差算出時の画像処理においてレンズ歪みを補正しきれない可能性があり、レンズの光軸中心からの距離に応じて視差の計測誤差は変化する傾向にある。また、撮影画像上でレンズの光軸中心からの距離が異なるということは、計測した点の3次元座標値が本来の値と異なる計測誤差を有する、ということを意味する。このことは、計測点の3次元座標値に依存して視差の計測誤差が変化する、といってもよい。 As described in the second embodiment, there is a possibility that the lens distortion cannot be corrected in the image processing when calculating the parallax, and the parallax measurement error tends to change according to the distance from the center of the optical axis of the lens. In addition, when the distance from the center of the optical axis of the lens is different on the captured image, it means that the three-dimensional coordinate value of the measured point has a measurement error different from the original value. This may be said that the parallax measurement error changes depending on the three-dimensional coordinate value of the measurement point.
このように、視差の計測誤差Δdが計測点の3次元座標値(x、y、z)に依存する、と考えると、上記の下式(18)、(19)のように、計測誤差Δdは線形、あるいは2次関数的にモデル化することができる。ここで、k、l、m、n、k1、k2、l1、l2、m1、m2、n1は補正係数である。 As described above, when it is considered that the parallax measurement error Δd depends on the three-dimensional coordinate values (x, y, z) of the measurement point, the measurement error Δd is expressed by the following equations (18) and (19). Can be modeled linearly or as a quadratic function. Here, k, l, m, n, k 1 , k 2 , l 1 , l 2 , m 1 , m 2 , and n 1 are correction coefficients.
本実施形態では、線形および、2次関数的にモデル化したが、さらに高次のモデル化を行ってもよい。ただし、より高次の関数によるモデル化を行う場合、後に行う最適化計算に時間を要したり、局所解に陥ったりするリスクが増える可能性がある。 In the present embodiment, modeling is performed linearly and in a quadratic function, but higher-order modeling may be performed. However, when modeling with a higher-order function, there is a possibility that the risk of time-consuming optimization calculations performed later or falling into a local solution may increase.
また、実施形態2で示した式(15)のように、視差の計測誤差Δdが存在する場合、計測点Pの物理的な真のZ座標と、ステレオ計測で求まる計測点PのZ座標z’’のスケールが変化する。そこで、Z座標のスケール関数mzを以下のようにモデル化すれば、視差の計測誤差Δdの影響を軽減させることが可能である。 Further, as shown in the equation (15) shown in the second embodiment, when a parallax measurement error Δd exists, the physical true Z coordinate of the measurement point P and the Z coordinate z of the measurement point P obtained by stereo measurement are obtained. The scale of '' changes. Therefore, if the scale function m z of the Z coordinate is modeled as follows, the influence of the parallax measurement error Δd can be reduced.
ここでb、b1は補正係数である。以上が、補正行列Aのスケール関数mzのモデル設定である。この補正行列Aのスケール関数mzのモデルを用いて、実施形態1に示した式(11)の最適化計算を実施し、座標変換行列MTCおよび補正行列Aをそれぞれを算出することができる。 Here, b and b 1 are correction coefficients. The above is the model setting of the scale function mz of the correction matrix A. Using the model of the scale function m z of the correction matrix A, the optimization calculation of the equation (11) shown in the first embodiment is performed to calculate the coordinate transformation matrix M T C and the correction matrix A, respectively. it can.
なお、本実施形態では、一例として式(20)、(21)のようにmzを定義した。しかし、スケール関数mzとして、単純に計測点の3次元座標値(x、y、z)の1次関数や2次関数等の多項式を採用してもよい。これにより、スケール関数mzの数式が単純になり、式(11)の最適化計算の時間短縮や、局所解に陥ったりするリスクを軽減できる可能性がある。以上のように、本実施形態では、レンズ歪みなどに起因するスケール誤差を補正するため、スケール関数mzのモデルを用いること、そしてこのスケール関数mzが計測点の3次元座標値に依存する関数である点に特徴がある。 In the present embodiment, m z is defined as shown in equations (20) and (21) as an example. However, as the scale function m z , a polynomial such as a linear function or a quadratic function of the three-dimensional coordinate values (x, y, z) of the measurement point may be simply adopted. As a result, the mathematical expression of the scale function m z becomes simple, and there is a possibility that the time required for the optimization calculation of Expression (11) can be shortened and the risk of falling into a local solution can be reduced. As described above, in this embodiment, in order to correct a scale error due to lens distortion or the like, a model of the scale function m z is used, and the scale function m z depends on the three-dimensional coordinate value of the measurement point. It is characterized by being a function.
また、以上では、Z軸方向に関するスケール関数mzを考慮したが、mxやmyも同様に計測点の3次元座標値(x、y、z)の1次関数や2次関数等の多項式によって表現することができる。このように、Z軸方向に関するスケール関数mzのみならず、mxやmyにも計測点の3次元座標値(x、y、z)の依存した関数モデルを用いることによって、より高精度に補正された3次元計測結果を得ることができる。 Further, in the above, considering scale function m z about the Z-axis direction, m x and m y are similarly three-dimensional coordinate values of the measurement point (x, y, z) of the linear function and the like quadratic function It can be expressed by a polynomial. Thus, not only the direction of the Z-axis scale function m z only, to m x and m y 3 dimensional coordinate values of the measurement point (x, y, z) by using a dependent function model, more accurate A three-dimensional measurement result corrected to can be obtained.
<実施形態4>
本実施形態4では、ステレオカメラの補正行列算出処理(図9のステップS908)において、3次元の補正マップを生成する処理について説明する。
<Embodiment 4>
In the fourth embodiment, a process of generating a three-dimensional correction map in the stereo camera correction matrix calculation process (step S908 in FIG. 9) will be described.
本実施形態4では、ハードウェア構成および、制御系の構成については上述の実施形態1、2と同様であるものとする。本実施形態4では、ステレオカメラの補正行列算出処理(図9のステップS908)のみが異なり、以下ではこの補正行列算出処理についてのみ説明する。 In the fourth embodiment, the hardware configuration and the control system configuration are the same as those in the first and second embodiments. In the fourth embodiment, only the correction matrix calculation process (step S908 in FIG. 9) of the stereo camera is different. Only the correction matrix calculation process will be described below.
以下、図12を用いて、ステレオ計測結果の補正行列の算出フローを説明する。本実施形態の校正処理は、同次座標変換行列MTCおよび補正行列Aを求めてから、3次元補正マップに相当する補正行列Biを後で算出する処理(局所補正行列算出工程)を含む。 Hereinafter, the calculation flow of the correction matrix of the stereo measurement result will be described with reference to FIG. The calibration process of the present embodiment includes a process (local correction matrix calculation step) of calculating a correction matrix B i corresponding to a three-dimensional correction map after obtaining the homogeneous coordinate transformation matrix M T C and the correction matrix A. Including.
以下では、iは、計測範囲をN個の局所領域に分割した際の、i番目の局所領域を意味し、1≦i≦Nであるものとする。まず、補正行列Aをモデル化する(ステップS1201)。この補正行列Aをモデル化では、実施形態1の式(9)や(10)に示したように、スケール関数を組み込んだモデルを用いてもよいし、スケールを変換しない単位行列としてもよい。本実施形態では、補正行列Aは単位行列であるとして説明する。 Hereinafter, i means the i-th local region when the measurement range is divided into N local regions, and 1 ≦ i ≦ N. First, the correction matrix A is modeled (step S1201). In modeling the correction matrix A, as shown in the equations (9) and (10) of the first embodiment, a model incorporating a scale function may be used, or a unit matrix that does not convert the scale may be used. In the present embodiment, description will be made assuming that the correction matrix A is a unit matrix.
次に、同次座標変換行列MTCおよび、補正行列Aの各変数を算出する(ステップS1202)。同次座標変換行列MTCおよび、補正行列Aの各変数の算出方法は実施形態1と同様に式(11)に対して最適化計算を解けばよい。 Next, each variable of the homogeneous coordinate transformation matrix M T C and the correction matrix A is calculated (step S1202). As for the calculation method of each variable of the homogeneous coordinate transformation matrix M T C and the correction matrix A, the optimization calculation may be solved for the equation (11) as in the first embodiment.
続いて、ステップS1203において、各計測位置でのステレオ計測結果の誤差を算出する。ここでは、同次座標変換行列MTCとステップS906(図9)で算出したカメラ座標系Cにおける先端球202の中心位置と、ステップS904(同)で算出した位置決め座標系Mにおける先端球202の中心位置と、を用いる。この補正行列Biは次式(22)のように書くことができる。
Subsequently, in step S1203, an error of the stereo measurement result at each measurement position is calculated. Here, the homogeneous coordinate transformation matrix M T C , the center position of the
この補正行列Biがステレオ計測結果の誤差である。この補正行列Biをiが1からNまでの局所領域ごとに算出する。算出した補正行列Biは、ビジョンコントローラ113内の不揮発性メモリ116に保存する(S1204)。
This correction matrix B i is an error of the stereo measurement result. This correction matrix B i is calculated for each local region where i is 1 to N. The calculated correction matrix B i is stored in the
ステレオ計測結果の補正行列の算出は次のように行う。校正後のステレオカメラ104の計測位置が決まっている場合には、計測位置近傍にて先端球202の中心位置を計測して、ステレオ計測結果の誤差を算出する。そして、この誤差をそのままステレオ計測結果の補正行列として使用すればよい。一方、計測位置が定まっていなかったり、計測範囲が広大で全範囲で誤差を算出したりするのが困難な場合には、次のような処理を行う。
The correction matrix for the stereo measurement result is calculated as follows. When the measurement position of the
ここで、ステレオ計測結果の誤差を算出する際の先端球202の中心位置を誤差算出点という。まず、計測点pの近傍の誤差算出点qiをN点、抽出する。この誤差算出点qiの数は2点以上であればよい。そして、計測点pと各誤差算出点間の距離が短いほど、重みが重くなるように重みwiの重み付けを行う。そして、下式(23)に示すように、誤差算出点の補正行列B(qi)に対し重み付き平均を算出して、補正行列B(p)を求める。
Here, the center position of the
以上のようにして、ステレオ計測結果の補正行列B(p)を算出する。このような補間手法によると、誤差算出点が計測範囲の広い範囲を網羅していた方が高精度な補正が可能となる。なお、本実施形態では重み付き平均を用いて補間する手法を説明したが、その他の手法たとえば、単純な平均や、スプライン補間などの手法を用いてもよい。 As described above, the correction matrix B (p) of the stereo measurement result is calculated. According to such an interpolation method, correction with higher accuracy is possible if the error calculation point covers a wide measurement range. In the present embodiment, the method of performing interpolation using a weighted average has been described. However, other methods such as a simple average or a spline interpolation may be used.
<実施形態5>
例えば、上記の実施形態1では、ステレオカメラ104の筐体が3次元視覚測定装置(部)を備えた機能部品を構成しているものと考えることができる。しかし、ロボット装置(R)などに3次元視覚測定装置としてのステレオカメラ104を組合せる場合、例えばステレオカメラ104がロボット装置(R)のエンドエフェクタなどに組み込まれこれらが一体の機能部品のアセンブリを構成している場合もある。その場合、ステレオカメラ104が組み付け済みのロボット装置(R)のエンドエフェクタの部分が3次元視覚測定装置(ステレオカメラ104)を備えた機能部品を構成している、と考えることができる。
<Embodiment 5>
For example, in the first embodiment, it can be considered that the housing of the
本実施形態5では、ステレオカメラ104が組み付け済みのエンドエフェクタの部分が3次元視覚測定装置(ステレオカメラ104)を備えた機能部品を構成し、第2の座標系(本実施形態ではF)がエンドエフェクタの特定の基準部位に配置される例を示す。
In the fifth embodiment, the end effector portion to which the
本実施形態5では、図13(A)に示すように、ロボット装置のエンドエフェクタを構成するハンド1101aの側面などに配置されたカメラマウント1104にステレオカメラ104が装着済みとなっているものとする。カメラマウント1104とステレオカメラ104の間の位置決め固定方式は任意であり、両者は容易に着脱可能であってもよく、また、ネジ止めや接着などによって固着されていてもよい。
In the fifth embodiment, as shown in FIG. 13A, it is assumed that the
要するに、本実施形態5では、エンドエフェクタとしてのハンド1101aのアセンブリが、一体として3次元視覚測定装置(ステレオカメラ104)を備えた機能部品を構成している状態であるものとする。
In short, in the fifth embodiment, it is assumed that the assembly of the
ハンド1101aは、例えば2本(あるいはそれ以上の数)のフィンガ1102、1102(…)をハンド1101aの掌部1103上に備える。フィンガ1102、1102(…)はハンド1101aの内部に配置された不図示の駆動源(モータ、ソレノイド、その他のアクチュエータ)により開閉駆動され、これによりワークを把持して操作することができる。
The
本実施形態5では、ハンド1101aのフィンガ1102(の1つ)から定まるフィンガ座標系F(本実施形態の第2の座標系)と、ステレオカメラ104のカメラ座標系C(第1の座標系)との間で座標変換を行うための校正データを取得する。図13(B)はハンド1101aを上方から示しており、フィンガ座標系F(本実施形態の第2の座標系)の原点は、例えばフィンガ1102の1つ(この例では図中左側)の角部に配置されている。
In the fifth embodiment, a finger coordinate system F (second coordinate system of the present embodiment) determined from (one of)
本実施形態5では、エンドエフェクタとしてのハンド1101aのアセンブリが、一体として3次元視覚測定装置(ステレオカメラ104)を備えた機能部品を構成している。この場合、ハンド1101aのフィンガ1102、1102(…)でワークを把持するような操作を行う場合、例えばステレオカメラ104の3次元視覚測定によって、フィンガ1102に対する部品の相対位置姿勢を求めることになる。
In the fifth embodiment, an assembly of a
そして、本実施形態5では、フィンガ座標系F(第2の座標系)およびカメラ座標系C(第1の座標系)の間で座標変換を行える校正データを取得する。本実施形態5によれば、この校正データは、3次元視覚測定装置(ステレオカメラ104)を備えた機能部品に相当するハンド1101aないしフィンガの部位を3次元測定機101(図1)で接触計測することによって精度よく求めることができる。
In the fifth embodiment, calibration data that can perform coordinate conversion between the finger coordinate system F (second coordinate system) and the camera coordinate system C (first coordinate system) is acquired. According to the fifth embodiment, the calibration data is obtained by contact measurement of the
フィンガ座標系F(第2の座標系)とカメラ座標系Cの間で座標変換を行う校正データを用いることにより、ステレオカメラ104で3次元視覚測定したカメラ座標系C(第1の座標系)における位置姿勢データをフィンガ座標系F基準に容易に変換できる。これにより、ステレオカメラ104の3次元視覚測定結果を利用して、ロボットアームで小物部品を把持するなどの高精度な操作が実現できる。
A camera coordinate system C (first coordinate system) measured three-dimensionally by the
本実施形態5においても、校正システムのハードウェアや制御系は実施形態1と同様であるものとし、実施形態1と異なる部分に関してのみ説明する。図14は本実施形態5の3次元視覚センサの校正手順の全体を示している。図14は実施形態1の図4に相当する図で、図4と異なるのは、フィンガ部の位置教示(S1203)と、カメラとフィンガ部間の校正処理(S1205)の部分である。それ以外のステップS401、S402、S404の処理については図4で説明したのと同様であるから、ここでは詳細な説明は省略する。 Also in the fifth embodiment, the hardware and control system of the calibration system are the same as those in the first embodiment, and only the parts different from the first embodiment will be described. FIG. 14 shows the entire calibration procedure of the three-dimensional visual sensor of the fifth embodiment. FIG. 14 is a diagram corresponding to FIG. 4 of the first embodiment. The difference from FIG. 4 is a finger position teaching (S1203) and a calibration process (S1205) between the camera and the finger. The other processes in steps S401, S402, and S404 are the same as those described in FIG. 4, and thus detailed description thereof is omitted here.
図15(A)〜(C)は、図14のステップS1203(あるいは図9のステップS901の位置決め基準部の接触計測)におけるフィンガ座標系Fの定義の様子を示している。本実施形態5では、フィンガ座標系FのXY平面はハンド1101aの掌部1103(図13(A)、(B))である。また、図13(A)、(B)に示すようにフィンガ座標系Fの原点は左側のフィンガ1102の根本部であり、X軸は左側のフィンガ1102から右側のフィンガ1102への方向とする。
FIGS. 15A to 15C show how the finger coordinate system F is defined in step S1203 in FIG. 14 (or contact measurement of the positioning reference portion in step S901 in FIG. 9). In the fifth embodiment, the XY plane of the finger coordinate system F is the palm 1103 (FIGS. 13A and 13B) of the
まず、図15(A)に示すように、3次元測定機101の定盤103上に、ステレオカメラ104を備えたハンド1101aを載置する。この例では、ステレオカメラ104それ自体は実施形態1の例えば図3で説明したものと同様の構造を有するものとし、カメラマウント1104を介してハンド1101aの側方部位に装着されている。なお、ステレオカメラ104の単眼カメラ(実施形態1における301、302)は、本実施形態では簡略化のため詳細な図示を省略する。
First, as shown in FIG. 15A, a
次に、図15(A)に示すように、フィンガ座標系FのXY平面を決定するため、ハンド1101aの掌部1103に測定プローブ(の先端球202)を3点以上接触させる(201g〜201i)。3次元測定機コントローラ107内のプローブ制御部108は、プローブ位置計測部111から接触した瞬間のプローブ位置を受信し、例えば不揮発性メモリ109に記録させる。次に、図15(B)に示すように、測定プローブ(の先端球202)を左右のフィンガ1102の内側の側面にそれぞれ3点以上接触させる(201j、201k)。この時、3次元測定機コントローラ107内のプローブ制御部108は、接触した瞬間のプローブ位置を不揮発性メモリ109に記録させる。続いて、図15(C)に示すように、測定プローブ(の先端球202)を左右のフィンガの図中手前側面にそれぞれ3点以上、接触させる(201l、201m)。この時、3次元測定機コントローラ107内のプローブ制御部108は、接触した瞬間のプローブ位置を不揮発性メモリ109に記録させる。
Next, as shown in FIG. 15A, in order to determine the XY plane of the finger coordinate system F, three or more measurement probes (tip sphere 202) are brought into contact with the
以上の計測結果から、3次元測定機コントローラ107内のプローブ制御部108は、フィンガ1102の各面の平面を画成する座標値を取得する。次に、3次元測定機コントローラ107内のプローブ制御部108は、左右のフィンガ1102、1102の内側側面と、手前側面と掌部1103のXY平面の交点をそれぞれ求める。そして、図13(B)に示すように、左側のフィンガの交点をフィンガ座標系Fの原点とし、左側から右側のフィンガの交点への方向をX方向と定義する。以上のようにしてフィンガ座標系Fの定義が終了する(ステップS1203)。なお、以上の説明で右、左などの修飾は、図面の表示との関係を示すものであって、一例に過ぎない。
From the above measurement results, the
図14のステップS1205におけるフィンガ座標系F(第2の座標系)と、カメラ座標系C(第1の座標系)の相対位置・姿勢に相当する演算処理は、実施形態1(式(1)〜(4))で説明したものと同様に実行することができる。 The calculation process corresponding to the relative position and orientation of the finger coordinate system F (second coordinate system) and the camera coordinate system C (first coordinate system) in step S1205 in FIG. To (4)).
以上のように、本実施形態では、ステレオカメラ104(3次元視覚測定装置)を備えた機能部品として、ロボットのエンドエフェクタとして(ハンド1101a)を考えた。ただし、溶接トーチ、塗装ガンなどの他のロボット用のエンドエフェクタの場合でも同様の構成処理が可能であるのはいうまでもない。その場合、接触式の測定プローブ102の測定によって定義する第1の座標系の原点位置は、各エンドエフェクタの特定の基準部位に適宜配置すればよい。
As described above, in the present embodiment, (
そして、本実施形態によれば、ステレオカメラ104(3次元視覚測定装置)を備えた機能部品の基準部位から定まるフィンガ座標系F(第2の座標系)と、カメラ座標系C(第1の座標系)の間で座標変換を行う校正データを取得することができる。校正データ(座標変換行列MTCおよび補正行列A)の格納先としては、上記実施形態と同様に、ビジョンコントローラ113内の不揮発性メモリ116や、ステレオカメラ104の筐体内の不揮発性メモリなどが考えられる。あるいはさらに、本実施形態の場合は、ハンド1101a(エンドエフェクタ)の躯体内部に校正データ(座標変換行列MTCおよび補正行列A)を格納した不揮発性メモリを配置する構成も考えられる。
According to this embodiment, the finger coordinate system F (second coordinate system) determined from the reference part of the functional component including the stereo camera 104 (three-dimensional visual measurement device) and the camera coordinate system C (first Calibration data for performing coordinate conversion between coordinate systems) can be acquired. The storage destination of calibration data (coordinate transformation matrix M T C and the correction matrix A), as in the above embodiment, and a
ロボット装置のアームにステレオカメラ104(3次元視覚測定装置)を備えた機能部品を装着した場合の校正データの利用方法は、実施形態1で説明したものと同様である。ロボット装置の制御部(あるいはビジョンコントローラ113)が、ステレオカメラ104がワークなどの対象物をステレオ撮影した画像を利用して、撮影されている対象物の特定部位の座標値を求めると、上記の第1の座標系(C)の座標値が取得される。ロボット装置の制御部(あるいはビジョンコントローラ113)は、上記の校正データ(座標変換行列MTCおよび補正行列A)を利用することにより、直ちに対象物の特定部位を第2の座標系(M)の座標値に変換することができる。
The method of using calibration data when a functional component including a stereo camera 104 (three-dimensional visual measurement device) is attached to the arm of the robot apparatus is the same as that described in the first embodiment. When the control unit (or vision controller 113) of the robot apparatus obtains the coordinate value of the specific part of the object being photographed by using the image obtained by stereo imaging of the object such as the workpiece by the
ロボット装置Rの制御部(不図示)には、ロボットアームに対して装着されたハンド1101a(エンドエフェクタ)の相対位置・姿勢は既知である。このため、ステレオカメラ104で3次元視覚測定した対象物の特定部位の位置・姿勢は、例えばロボットアームに対する相対位置・姿勢に容易に変換することができる。しかも、本実施形態によれば、上記校正データ(座標変換行列MTCおよび補正行列A)は3次元測定機101を用いて極めて高精度に取得(校正)することができる。従って、ステレオカメラ104の3次元視覚測定に基づき、ロボット装置(R)は対象物(ワーク)を精度よく操作することができる。
The relative position and orientation of the
<実施形態6>
本発明の校正方法では、3次元視覚測定装置(ステレオカメラ104)の3次元測定値が表現される第1の座標系(C)と、3次元視覚測定装置(を備えた機能部品の)基準部位から定まる第2の座標系(M)と、の間で座標変換を行う校正データを取得する。
<Embodiment 6>
In the calibration method of the present invention, the first coordinate system (C) in which the three-dimensional measurement value of the three-dimensional visual measurement device (stereo camera 104) is expressed, and the reference of the three-dimensional visual measurement device (functional component provided). Calibration data for coordinate transformation between the second coordinate system (M) determined from the part is acquired.
そして、上記各実施形態では、接触式の測定プローブ102を備えた3次元測定機101を利用する構成を例示した。ここで、この上記各実施形態の構成を考察すると、ステレオカメラ104(3次元視覚測定装置)で撮影する測定プローブ102は、校正用の「マーク」として考えることができる。
In each of the above embodiments, the configuration using the three-
上記各実施形態の測定プローブ102を校正用の「マーク」と考えると、上記各実施形態における校正制御は、以下のような工程を備えるもの、と考えることができる。
Considering the
・3次元視覚測定装置(ステレオカメラ104)により撮影可能な範囲内の、3次元視覚測定装置との位置関係が予め既知である計測位置に、3次元視覚測定装置により座標値を計測可能なマークを位置決めするマーク設置工程。 A mark in which a coordinate value can be measured by the three-dimensional visual measurement device at a measurement position whose positional relationship with the three-dimensional visual measurement device is known in advance within a range that can be photographed by the three-dimensional visual measurement device (stereo camera 104). Mark setting process to position.
・3次元視覚測定装置(ステレオカメラ104)により、第1の座標系(カメラ座標系C)におけるマークの座標値を計測する3次元視覚測定工程。 A three-dimensional visual measurement process in which the coordinate value of the mark in the first coordinate system (camera coordinate system C) is measured by the three-dimensional visual measurement device (stereo camera 104).
・3次元視覚測定装置(ステレオカメラ104)の基準部位から定まる第2の座標系(位置決め座標系M)におけるマークの座標値を算出するマーク座標値算出工程。 A mark coordinate value calculation step of calculating the coordinate value of the mark in the second coordinate system (positioning coordinate system M) determined from the reference portion of the three-dimensional visual measurement device (stereo camera 104).
・上記の視覚測定された第1の座標系におけるマークの座標値と、計測された第2の座標系におけるマークの座標値を用いて校正データを算出する校正データ算出工程。この校正データ算出工程で算出される校正データは、第1の座標系および第2の座標系の間で座標変換を行うための校正データと、3次元視覚測定装置により計測される3次元計測座標値のスケールを補正する要素を含む補正行列と、を含む。 A calibration data calculation step of calculating calibration data using the coordinate value of the mark in the first coordinate system visually measured and the coordinate value of the mark in the second coordinate system measured above; The calibration data calculated in this calibration data calculation step includes calibration data for coordinate conversion between the first coordinate system and the second coordinate system, and three-dimensional measurement coordinates measured by the three-dimensional visual measurement device. And a correction matrix including elements for correcting the scale of values.
その場合、上記各実施形態の3次元測定機101は、ステレオカメラ104(3次元視覚測定装置)により撮影可能な範囲内の、ステレオカメラ104によって座標値を計測可能なマークを位置決めするマーク設置装置と考えることができる。
In that case, the three-
そして、上記各実施形態では、3次元測定機101の測定プローブ102によって、ステレオカメラ104(3次元視覚測定装置)の位置決め穴304、304を実測している。しかしながら、ステレオカメラ104(3次元視覚測定装置)との位置関係が予め既知である計測位置に、測定プローブ102と同様の校正用の「マーク」を位置決めできるマーク設置装置があれば、この装置は3次元測定機101の代りに利用できる。
In each of the embodiments described above, the positioning holes 304 and 304 of the stereo camera 104 (three-dimensional visual measurement device) are actually measured by the
このようなマーク設置装置7000は、例えば図17のように構成することができる。図17において、ステレオカメラ104(3次元視覚測定装置)は、位置決め治具105に対して装着されている。位置決め治具105に対する装着は、上述同様の位置決めピン303、303と、位置決め穴304、304の係合構造を利用する。そして、ステレオカメラ104は、位置決め治具105を介してマーク設置装置7000の基台705上に固定される。
Such a
マーク設置装置7000の基台705上には、ステレオカメラ104により撮影可能な範囲の撮影距離(L)にマーカ板702を配置することができる。また、マーク設置装置7000は、マーカ板702を、例えばその中心とステレオカメラ104の2光軸の中心がほぼ一致するような姿勢を保ったまま、図の左右方向に移動する駆動部1072を備える。この駆動部1072は、上記各実施形態の3次元測定機コントローラ107(図1)に相当するマーク設置制御装置1071によって制御される。マーク設置制御装置1071のCPUレベルの構成は図16のものと同様でよい。
On the
上記各実施形態では、3次元測定機コントローラ107(図1)が、ステレオカメラ104で測定プローブ102を撮影させる時の測定プローブ102の位置決めを行った。これに対して、本実施形態では、マーク設置制御装置1071は、ステレオカメラ104でマーカ板702のマーク7021を撮影させる時に、マーカ板702ないしマーク7021の撮影距離を決定するよう位置決めを行えばよい。
In each of the above embodiments, the three-dimensional measuring machine controller 107 (FIG. 1) positions the
マーク設置制御装置1071は、上記各実施形態のように、位置決め穴304、304を実測する機能は有していない。しかしながら、位置決め治具105〜基台705の寸法精度、および、駆動部1072によるマーカ板702ないしマーク7021の撮影距離を制御する精度が予め充分保たれているものとする。即ち、マーク設置制御装置1071に対して、位置決め穴304、304の位置は、予め所定の精度を持って既知である。これにより、マーク設置制御装置1071によって、上記実施形態におけるようなプローブ実測を行わなくても、ステレオカメラ104の位置決め座標系M(第2の座標系)を定義することができる。そして、ステレオカメラ104(を備えた機能部品)の基準部位(303)から定まる位置決め座標系M(第2の座標系)におけるマークの座標値を算出する(マーク座標値算出工程)ことができる。
The mark
マーカ板702には、図17の右側に示すように、例えば、互いに等間隔、などの円形のマーク7021、7021…を多数、配置しておく。マーク7021と背景は、例えば、黒地に白、あるいは白地に黒、など、ステレオカメラ104の撮影結果からマーク7021の位置を画像処理によって計測するのが容易な配色関係とする。
On the
本実施形態の構成は、ステレオカメラ104(3次元視覚測定装置)の3次元測定値が表現される第1の座標系(座標系C)と、3次元視覚測定装置(を備えた機能部品)の基準部位に原点を有する第2の座標系(座標系M)と、を有する校正装置に相当する。そして、この校正装置は、第1の座標系(座標系C)と、第2の座標系(座標系M)と、の間で座標変換を行うための校正データを取得するものである。 The configuration of the present embodiment includes a first coordinate system (coordinate system C) in which the three-dimensional measurement values of the stereo camera 104 (three-dimensional visual measurement device) are represented, and a three-dimensional visual measurement device (functional component including the same). This corresponds to a calibration apparatus having a second coordinate system (coordinate system M) having an origin at the reference part. The calibration apparatus acquires calibration data for performing coordinate conversion between the first coordinate system (coordinate system C) and the second coordinate system (coordinate system M).
上記のように、本実施形態の構成は、ステレオカメラ104(3次元視覚測定装置)により撮影可能な範囲内にステレオカメラ104によって座標値を計測可能なマーク7021を位置決めするマーク設置装置7000を備える。
As described above, the configuration of the present embodiment includes the
マーク設置制御装置1071は、マーク設置装置7000の駆動部1072を介して、マーク7021を予め所定の精度をもって既知である計測位置、例えば、所定の撮影距離Lに設置させることができる(マーク設置工程)。
The mark
マーク設置制御装置1071は、ステレオカメラ104(3次元視覚測定装置)によって、カメラ座標系C(第1の座標系)におけるマークの座標値を計測させる(3次元視覚測定工程)。
The mark
そして、マーク設置制御装置1071は、ステレオカメラ104(を備えた機能部品)の基準部位(303ないし304)から定まるカメラ座標系M(第2の座標系)におけるマーク7021の座標値を算出することができる(マーク座標値算出工程)。ここで、位置決め治具105〜基台705の寸法精度、および、駆動部1072によるマーカ板702(マーク7021)の撮影距離の制御精度が充分保たれている。
Then, the mark
このため、マーク設置制御装置1071は、マーカ板702の撮影距離Lを決定すれば、例えばその際の駆動部1072の制御量など基づき、カメラ座標系M(第2の座標系)におけるマーク7021の座標値を算出できる。このカメラ座標系M(第2の座標系)は、上記のようにマーク設置装置7000の機械的な精度仕様に基づき、所定の精度で予め定義されているものと考えてよい。従って、図17の構成によれば、例えば位置決め穴304、304を測定プローブ102で実測するような過程を必要とせず、マーク設置制御装置1071は、第2の座標系(位置決め座標系M)におけるマークの座標値を算出することができる(マーク座標値算出工程)。
For this reason, if the mark
本実施形態の校正処理では、マーク設置装置7000により、マーク7021を特定の計測位置(撮影距離L)に設置させる(マーク設置工程)。そして、3次元視覚測定装置(ステレオカメラ104)により、第1の座標系(カメラ座標系C)におけるマーク7021の座標値を計測する(3次元視覚測定工程)。一方、マーク設置制御装置1071は、計測位置(撮影距離L)における駆動部1072の制御量など基づき、カメラ座標系M(第2の座標系)におけるマーク7021の座標値を算出できる。
In the calibration processing of the present embodiment, the
そして、視覚測定された第1の座標系におけるマークの座標値と、計測された第2の座標系におけるマークの座標値と、を用いて校正データを算出することができる(校正データ算出工程)。この校正データは、第1の座標系および第2の座標系の間で座標変換を行うための校正データと、3次元視覚測定装置により計測される3次元計測座標値のスケールを補正する要素を含む補正行列と、を含む。 Then, the calibration data can be calculated using the visually measured coordinate value of the mark in the first coordinate system and the measured coordinate value of the mark in the second coordinate system (calibration data calculating step). . This calibration data includes calibration data for performing coordinate conversion between the first coordinate system and the second coordinate system, and elements for correcting the scale of the three-dimensional measurement coordinate value measured by the three-dimensional visual measurement device. Including a correction matrix.
上記の第1の座標系、および第2の座標系におけるマークの座標値と、を用いて第1および第2の座標系の間の座標変換を行う校正データと、3次元計測座標値のスケールを補正する要素を含む補正行列と、を算出する演算過程は上記実施形態1と同様である。また、例えば、校正データ取得工程に関して上記実施形態2〜5で示した校正制御の細部の構成は本実施形態においても同様に実施することができる。 Calibration data for performing coordinate conversion between the first and second coordinate systems using the first coordinate system and the coordinate value of the mark in the second coordinate system, and the scale of the three-dimensional measurement coordinate value The calculation process for calculating the correction matrix including the elements for correcting is the same as in the first embodiment. Further, for example, the detailed configuration of the calibration control shown in Embodiments 2 to 5 with respect to the calibration data acquisition step can be similarly performed in this embodiment.
また、図8(実施形態1)では、3次元視覚測定工程で、測定プローブ102(本実施形態のマーク7021)をステレオカメラ104を構成する単眼カメラ301、302の共通視野領域OVに位置決めしてステレオカメラ104で撮影する制御を示した。また、図11では、共通視野領域OVを局所領域1101、1102に分割して、それぞれについて別に補正行列(A)を算出する制御を示した。このような校正制御は、図17の構成においても可能である。
In FIG. 8 (Embodiment 1), the measurement probe 102 (the
例えば、図17の撮影距離Lの右側の部分には、図8、図11の共通視野領域OVに相当する撮影距離の範囲を示してある。また、この共通視野領域OVは、図11の局所領域1101、1102に相当する撮影距離の範囲に分割して考えることができる。従って、例えば、共通視野領域OVの局所領域1101、1102の各境界の縦線の位置に、マーカ板702を移動してステレオカメラ104でマーク7021を撮影することにより、図8、図11で説明したのと同様の3次元視覚測定の態様を実現できる。
For example, the portion on the right side of the shooting distance L in FIG. 17 shows a shooting distance range corresponding to the common visual field region OV in FIGS. Further, the common visual field region OV can be considered by being divided into a photographing distance range corresponding to the
また、その場合、単眼カメラ301、302の被写界深度が重なり合う角錐台形状の共通視野領域OVの空間範囲にあるマーク7021を3次元視覚測定すればよい。このためには、例えば、マーカ板702の撮影距離に応じて、3次元視覚測定に用いるマーク7021は、マーカ板702の中央、その外側、さらに外側などの各領域7021a、7021b、7021cに配置したものを選択すればよい。このようにして、図8、図11で説明したのと同様の3次元視覚測定の態様を実現できる。例えば、局所領域1101、1102に分割して、それぞれについて別に補正行列(A)を算出する構成では、補正行列(A)によって、撮影距離に適したスケール補正を行うことができる。
In that case, the
101…3次元測定機、102…測定プローブ、104…ステレオカメラ、105…位置決め治具、107…3次元測定機コントローラ、113…ビジョンコントローラ、201…スタイラス、202…先端球、OV…共通視野領域、7000…マーク設置装置、7021…マーク。
DESCRIPTION OF
Claims (22)
制御装置が、3次元視覚測定装置により撮影可能な範囲内の、前記3次元視覚測定装置との位置関係が予め既知である計測位置に、前記3次元視覚測定装置により座標値を計測可能なマークを位置決めするマーク設置工程と、
制御装置が、前記3次元視覚測定装置により、第1の座標系における前記マークの座標値を計測する3次元視覚測定工程と、
制御装置が、前記3次元視覚測定装置を備えた機能部品の基準部位から定まる第2の座標系における前記マークの座標値を算出するマーク座標値算出工程と、
制御装置が、前記3次元視覚測定工程で視覚測定された前記第1の座標系における前記マークの座標値と、前記マーク座標値計測工程で計測された前記第2の座標系における前記マークの座標値を用いて、前記第1の座標系および前記第2の座標系の間で座標変換を行うための校正データと、前記3次元視覚測定装置により計測される3次元計測座標値のスケールを補正する要素を含む補正行列と、を算出する校正データ算出工程と、を含む校正方法。 Coordinate conversion is performed between the first coordinate system in which the three-dimensional measurement value of the three-dimensional visual measurement device is expressed and the second coordinate system determined from the reference part of the functional component including the three-dimensional visual measurement device. In a calibration method for obtaining calibration data for performing,
A mark in which a coordinate value can be measured by the three-dimensional visual measurement device at a measurement position where a positional relationship with the three-dimensional visual measurement device is known in advance within a range that can be photographed by the three-dimensional visual measurement device. Mark positioning process for positioning,
A three-dimensional visual measurement step in which the control device measures the coordinate value of the mark in the first coordinate system by the three-dimensional visual measurement device;
A mark coordinate value calculating step in which a control device calculates a coordinate value of the mark in a second coordinate system determined from a reference part of a functional component including the three-dimensional visual measurement device;
And a coordinate value of the mark in the first coordinate system visually measured in the three-dimensional visual measurement step, and a coordinate of the mark in the second coordinate system measured in the mark coordinate value measurement step. Using the value, the calibration data for coordinate conversion between the first coordinate system and the second coordinate system and the scale of the three-dimensional measurement coordinate value measured by the three-dimensional visual measurement device are corrected. A calibration method including a correction matrix including elements to be calculated, and a calibration data calculation step of calculating.
3次元測定機の測定プローブを前記マークとして用い、
前記制御装置が、前記測定プローブにより、前記機能部品の形状、または、前記機能部品と機械的に結合可能な治具の形状を3次元測定し、その3次元測定結果に基づき前記第2の座標系を定義するプローブ測定工程を備え、
前記マーク設置工程においては、前記制御装置が、3次元視覚測定装置により撮影可能な範囲内の、前記3次元視覚測定装置との位置関係が予め既知である計測位置に、前記3次元視覚測定装置により座標値を計測可能な前記マークとして前記測定プローブを位置決めし、
前記3次元視覚測定工程においては、前記制御装置が、前記3次元視覚測定装置により、第1の座標系における前記マークの座標値を計測し、
前記マーク座標値算出工程においては、前記制御装置が、前記3次元視覚測定装置を備えた機能部品の基準部位から定まる、前記プローブ測定工程で定義された第2の座標系における前記マークの座標値を算出する校正方法。 The calibration method according to any one of claims 1 to 9,
Using a measuring probe of a CMM as the mark,
The control device uses the measurement probe to three-dimensionally measure the shape of the functional component or the shape of a jig that can be mechanically coupled to the functional component, and based on the three-dimensional measurement result, the second coordinates A probe measurement process that defines the system,
In the mark setting step, the control device is located at a measurement position where the positional relationship with the three-dimensional visual measurement device is known in advance within a range that can be photographed by the three-dimensional visual measurement device. Position the measuring probe as the mark that can measure the coordinate value by,
In the three-dimensional visual measurement step, the control device measures the coordinate value of the mark in the first coordinate system by the three-dimensional visual measurement device,
In the mark coordinate value calculation step, the control device determines the coordinate value of the mark in the second coordinate system defined in the probe measurement step, which is determined from a reference part of a functional component including the three-dimensional visual measurement device. Calibration method to calculate
前記3次元視覚測定装置により撮影可能な範囲内の、前記3次元視覚測定装置との位置関係が予め既知である計測位置に、前記3次元視覚測定装置により座標値を計測可能なマークを位置決めするマーク設置装置と、
制御装置と、を備え、
制御装置が、前記マーク設置装置によって、前記マークを前記計測位置に設置させるマーク設置工程と、
制御装置が、前記3次元視覚測定装置により、第1の座標系における前記マークの座標値を計測する3次元視覚測定工程と、
制御装置が、前記3次元視覚測定装置を備えた機能部品の基準部位から定まる第2の座標系における前記マークの座標値を算出するマーク座標値算出工程と、
制御装置が、前記3次元視覚測定工程で視覚測定された前記第1の座標系における前記マークの座標値と、前記マーク座標値計測工程で計測された前記第2の座標系における前記マークの座標値を用いて、前記第1の座標系および前記第2の座標系の間で座標変換を行うための校正データと、前記3次元視覚測定装置により計測される3次元計測座標値のスケールを補正する要素を含む補正行列と、を算出する校正データ算出工程と、
を実行する校正装置。 Coordinates between a first coordinate system in which a three-dimensional measurement value of the three-dimensional visual measurement device is expressed and a second coordinate system having an origin at a reference part of a functional component including the three-dimensional visual measurement device In a calibration device that acquires calibration data for conversion,
A mark whose coordinate value can be measured by the three-dimensional visual measurement device is positioned at a measurement position whose positional relationship with the three-dimensional visual measurement device is known in advance within a range that can be photographed by the three-dimensional visual measurement device. A mark installation device;
A control device,
A mark installation step in which the control device installs the mark at the measurement position by the mark installation device;
A three-dimensional visual measurement step in which the control device measures the coordinate value of the mark in the first coordinate system by the three-dimensional visual measurement device;
A mark coordinate value calculating step in which a control device calculates a coordinate value of the mark in a second coordinate system determined from a reference part of a functional component including the three-dimensional visual measurement device;
And a coordinate value of the mark in the first coordinate system visually measured in the three-dimensional visual measurement step, and a coordinate of the mark in the second coordinate system measured in the mark coordinate value measurement step. Using the value, the calibration data for coordinate conversion between the first coordinate system and the second coordinate system and the scale of the three-dimensional measurement coordinate value measured by the three-dimensional visual measurement device are corrected. A correction matrix including elements to be corrected, a calibration data calculation step for calculating,
Perform calibration device.
制御装置が、3次元測定機の測定プローブを用いて前記機能部品の形状、または、前記機能部品と機械的に結合可能な治具の形状を3次元測定し、その3次元測定結果に基づき前記第2の座標系を定義するプローブ測定工程と、
前記制御装置が、前記3次元視覚測定装置により撮影可能な範囲内の3点以上の測定点において、前記3次元視覚測定装置により、前記第1の座標系における前記測定プローブの特定部位の座標値を3次元視覚測定させる3次元視覚測定工程と、
前記制御装置が、前記プローブ測定工程で定義された前記第2の座標系、前記3次元視覚測定工程における前記測定プローブの前記3点以上の測定点の前記第2の座標系における座標値、および、前記3次元視覚測定工程で前記3点以上の測定点において3次元視覚測定された前記測定プローブの特定部位の前記第1の座標系における座標値に基づき、前記3次元視覚測定装置を備えた機能部品の基準部位に原点を有する第1の座標系と、前記3次元視覚測定装置の3次元測定値が表現される第2の座標系と、の間で座標変換を行うための前記校正データと、前記3次元視覚測定装置により計測される3次元計測座標値のスケールを補正する要素を含む補正行列と、を取得する校正データ取得工程と、
を含む校正方法。 Coordinate conversion is performed between the first coordinate system in which the three-dimensional measurement value of the three-dimensional visual measurement device is expressed and the second coordinate system determined from the reference part of the functional component including the three-dimensional visual measurement device. In a calibration method for obtaining calibration data for performing,
The control device performs three-dimensional measurement of the shape of the functional component or the shape of a jig that can be mechanically coupled to the functional component using a measurement probe of a three-dimensional measuring machine, and based on the three-dimensional measurement result, A probe measurement step defining a second coordinate system;
At the three or more measurement points within the range that can be photographed by the three-dimensional visual measurement device, the control device uses the three-dimensional visual measurement device to determine the coordinate value of a specific part of the measurement probe in the first coordinate system. 3D visual measurement process for measuring 3D visual,
The control device includes: the second coordinate system defined in the probe measurement step; coordinate values in the second coordinate system of the three or more measurement points of the measurement probe in the three-dimensional visual measurement step; and The three-dimensional visual measurement device is provided on the basis of the coordinate value in the first coordinate system of the specific part of the measurement probe that is three-dimensionally measured at the three or more measurement points in the three-dimensional visual measurement step. The calibration data for performing coordinate conversion between the first coordinate system having the origin at the reference site of the functional component and the second coordinate system in which the three-dimensional measurement value of the three-dimensional visual measurement device is expressed. And a correction data acquisition step for acquiring a correction matrix including an element for correcting the scale of the three-dimensional measurement coordinate value measured by the three-dimensional visual measurement device,
Calibration method including:
測定プローブを備えた3次元測定機と、
制御装置と、を備え、前記制御装置は、
3次元測定機の測定プローブを用いて前記機能部品の形状、または、前記機能部品と機械的に結合可能な治具の形状を3次元測定し、その3次元測定結果に基づき前記第2の座標系を定義するプローブ測定工程と、
前記3次元視覚測定装置により撮影可能な範囲内の3点以上の測定点において、前記3次元視覚測定装置により、前記第1の座標系における前記測定プローブの特定部位の座標値を3次元視覚測定させる3次元視覚測定工程と、
前記プローブ測定工程で定義された前記第2の座標系、前記3次元視覚測定工程における前記測定プローブの前記3点以上の測定点の前記第2の座標系における座標値、および、前記3次元視覚測定工程で前記3点以上の測定点において3次元視覚測定された前記測定プローブの特定部位の前記第1の座標系における座標値に基づき、前記3次元視覚測定装置を備えた機能部品の基準部位に原点を有する第1の座標系と、前記3次元視覚測定装置の3次元測定値が表現される第2の座標系と、の間で座標変換を行うための前記校正データと、前記3次元視覚測定装置により計測される3次元計測座標値のスケールを補正する要素を含む補正行列と、を取得する校正データ取得工程と、
を実行する校正装置。 Coordinates between a first coordinate system in which a three-dimensional measurement value of the three-dimensional visual measurement device is expressed and a second coordinate system having an origin at a reference part of a functional component including the three-dimensional visual measurement device In a calibration device that acquires calibration data for conversion,
A three-dimensional measuring machine equipped with a measurement probe;
A control device, the control device comprising:
The shape of the functional component or the shape of a jig that can be mechanically coupled to the functional component is three-dimensionally measured using a measurement probe of a three-dimensional measuring machine, and the second coordinates are based on the three-dimensional measurement result. A probe measurement process that defines the system;
The coordinate value of the specific part of the measurement probe in the first coordinate system is three-dimensionally measured by the three-dimensional visual measurement device at three or more measurement points within the range that can be photographed by the three-dimensional visual measurement device. A three-dimensional visual measurement process,
The second coordinate system defined in the probe measurement step, the coordinate values in the second coordinate system of the three or more measurement points of the measurement probe in the three-dimensional visual measurement step, and the three-dimensional vision Based on the coordinate value in the first coordinate system of the specific part of the measurement probe measured three-dimensionally at the three or more measurement points in the measurement step, the reference part of the functional component including the three-dimensional visual measurement device The calibration data for coordinate conversion between the first coordinate system having an origin at the second coordinate system expressing the three-dimensional measurement value of the three-dimensional visual measurement device, and the three-dimensional A calibration data acquisition step for acquiring a correction matrix including an element for correcting the scale of the three-dimensional measurement coordinate value measured by the visual measurement device;
Perform calibration device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017178376A JP7102115B2 (en) | 2017-09-15 | 2017-09-15 | Calibration method, calibration device, 3D measuring device, 3D visual measuring device, robot end effector, program, recording medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017178376A JP7102115B2 (en) | 2017-09-15 | 2017-09-15 | Calibration method, calibration device, 3D measuring device, 3D visual measuring device, robot end effector, program, recording medium |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019052983A true JP2019052983A (en) | 2019-04-04 |
JP7102115B2 JP7102115B2 (en) | 2022-07-19 |
Family
ID=66014659
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017178376A Active JP7102115B2 (en) | 2017-09-15 | 2017-09-15 | Calibration method, calibration device, 3D measuring device, 3D visual measuring device, robot end effector, program, recording medium |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7102115B2 (en) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111815719A (en) * | 2020-07-20 | 2020-10-23 | 北京百度网讯科技有限公司 | External parameter calibration method, device and equipment of image acquisition equipment and storage medium |
JP2021039257A (en) * | 2019-09-04 | 2021-03-11 | 株式会社イノアックコーポレーション | Cleaning member and charging device |
CN112634376A (en) * | 2020-12-25 | 2021-04-09 | 深圳中科飞测科技股份有限公司 | Calibration method and device, calibration equipment and storage medium |
CN113146613A (en) * | 2021-01-22 | 2021-07-23 | 吉林省计量科学研究院 | Three-dimensional self-calibration device and method for D-H parameters of industrial robot |
CN113409262A (en) * | 2021-06-15 | 2021-09-17 | 苏州芯迈智能科技有限公司 | PCB probe positioning method and device, graphic processor and storage medium |
CN113672866A (en) * | 2021-07-27 | 2021-11-19 | 深圳市未来感知科技有限公司 | Measuring point coordinate calibration method, device, equipment and storage medium |
WO2022061673A1 (en) * | 2020-09-24 | 2022-03-31 | 西门子(中国)有限公司 | Calibration method and device for robot |
CN114786885A (en) * | 2019-12-13 | 2022-07-22 | 川崎重工业株式会社 | Position detection method, control device, and robot system |
CN114964316A (en) * | 2022-07-27 | 2022-08-30 | 湖南科天健光电技术有限公司 | Position and attitude calibration method and device, and method and system for measuring target to be measured |
-
2017
- 2017-09-15 JP JP2017178376A patent/JP7102115B2/en active Active
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021039257A (en) * | 2019-09-04 | 2021-03-11 | 株式会社イノアックコーポレーション | Cleaning member and charging device |
CN114786885B (en) * | 2019-12-13 | 2024-04-05 | 川崎重工业株式会社 | Position detection method, control device, and robot system |
CN114786885A (en) * | 2019-12-13 | 2022-07-22 | 川崎重工业株式会社 | Position detection method, control device, and robot system |
CN111815719B (en) * | 2020-07-20 | 2023-12-22 | 阿波罗智能技术(北京)有限公司 | External parameter calibration method, device and equipment of image acquisition equipment and storage medium |
CN111815719A (en) * | 2020-07-20 | 2020-10-23 | 北京百度网讯科技有限公司 | External parameter calibration method, device and equipment of image acquisition equipment and storage medium |
WO2022061673A1 (en) * | 2020-09-24 | 2022-03-31 | 西门子(中国)有限公司 | Calibration method and device for robot |
CN112634376A (en) * | 2020-12-25 | 2021-04-09 | 深圳中科飞测科技股份有限公司 | Calibration method and device, calibration equipment and storage medium |
CN112634376B (en) * | 2020-12-25 | 2024-06-04 | 深圳中科飞测科技股份有限公司 | Calibration method and device, calibration equipment and storage medium |
CN113146613A (en) * | 2021-01-22 | 2021-07-23 | 吉林省计量科学研究院 | Three-dimensional self-calibration device and method for D-H parameters of industrial robot |
CN113146613B (en) * | 2021-01-22 | 2022-11-04 | 吉林省计量科学研究院 | Three-dimensional self-calibration device and method for D-H parameters of industrial robot |
CN113409262A (en) * | 2021-06-15 | 2021-09-17 | 苏州芯迈智能科技有限公司 | PCB probe positioning method and device, graphic processor and storage medium |
CN113672866A (en) * | 2021-07-27 | 2021-11-19 | 深圳市未来感知科技有限公司 | Measuring point coordinate calibration method, device, equipment and storage medium |
CN114964316B (en) * | 2022-07-27 | 2022-11-01 | 湖南科天健光电技术有限公司 | Position and attitude calibration method and device, and method and system for measuring target to be measured |
CN114964316A (en) * | 2022-07-27 | 2022-08-30 | 湖南科天健光电技术有限公司 | Position and attitude calibration method and device, and method and system for measuring target to be measured |
Also Published As
Publication number | Publication date |
---|---|
JP7102115B2 (en) | 2022-07-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7102115B2 (en) | Calibration method, calibration device, 3D measuring device, 3D visual measuring device, robot end effector, program, recording medium | |
US11254008B2 (en) | Method and device of controlling robot system | |
JP5670416B2 (en) | Robot system display device | |
CN107883831B (en) | Measurement system and measurement method | |
JP4021413B2 (en) | Measuring device | |
JP5632036B2 (en) | Device for correcting errors in CNC machine tools | |
JP6812095B2 (en) | Control methods, programs, recording media, robotic devices, and manufacturing methods for articles | |
JP6489776B2 (en) | Coordinate system calibration method, robot system, program, and recording medium | |
US10571254B2 (en) | Three-dimensional shape data and texture information generating system, imaging control program, and three-dimensional shape data and texture information generating method | |
JP4372759B2 (en) | Shape measuring apparatus, shape measuring method, and shape measuring program | |
KR20140008262A (en) | Robot system, robot, robot control device, robot control method, and robot control program | |
JP2001515236A (en) | Method for calibrating a robot inspection system | |
CN103991078A (en) | Robot system and method for controlling the same | |
JP2006110705A5 (en) | ||
CN104608121A (en) | Robot, control apparatus, robot system, and control method | |
JP7216775B2 (en) | ROBOT ARM COORDINATE SYSTEM CALIBRATION DEVICE AND CALIBRATION METHOD | |
CN110695982A (en) | Mechanical arm hand-eye calibration method and device based on three-dimensional vision | |
TW202212081A (en) | Calibration apparatus and calibration method for coordinate system of robotic arm | |
JP6973233B2 (en) | Image processing system, image processing device and image processing program | |
JP2018031701A (en) | Calibration method and calibration device | |
EP3693697B1 (en) | Method for calibrating a 3d measurement arrangement and 3d measurement arrangement | |
KR101972432B1 (en) | A laser-vision sensor and calibration method thereof | |
US20230194240A1 (en) | Coordinate measuring system | |
JP2015064241A (en) | Shape measurement method and shape measurement device | |
CN114378808B (en) | Method and device for tracking target by using multi-camera and line laser auxiliary mechanical arm |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20200206 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20200207 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200911 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210713 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210803 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210930 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220208 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220221 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220607 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220706 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7102115 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |