JP2007256091A - Method and apparatus for calibrating range finder - Google Patents
Method and apparatus for calibrating range finder Download PDFInfo
- Publication number
- JP2007256091A JP2007256091A JP2006081174A JP2006081174A JP2007256091A JP 2007256091 A JP2007256091 A JP 2007256091A JP 2006081174 A JP2006081174 A JP 2006081174A JP 2006081174 A JP2006081174 A JP 2006081174A JP 2007256091 A JP2007256091 A JP 2007256091A
- Authority
- JP
- Japan
- Prior art keywords
- coordinate system
- camera
- world coordinate
- range finder
- reference plane
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
Description
本発明は、レンジファインダのカメラ外部パラメータの校正に関する。 The present invention relates to calibration of camera external parameters of a range finder.
対象物の三次元形状を光学的に求める手法としては、古くから受動的な形状計測法であるステレオ画像法や、アクティブ方式の形状計測法である光切断法、空間コード化法など様々な手法が開発され、利用されてきている。いずれの手法も、対象物の画像を撮影したり、レーザ光の対象物からの反射光を撮影するためにカメラを用い、三角法の原理により対象物表面の各点の三次元位置を求める。このため、三角法の原理では、対象物に対するカメラの位置や姿勢などのカメラパラメータを事前に特定する必要がある。カメラパラメータには、焦点距離や投影中心座標などの内部パラメータと、カメラの三次元的な位置や姿勢などの外部パラメータとがある。このようなカメラパラメータの特定のための処理は、カメラ校正と呼ばれる。 There are various methods for optically determining the three-dimensional shape of an object, such as the stereo image method, which has been a passive shape measurement method since ancient times, the light section method, which is an active shape measurement method, and the spatial coding method. Has been developed and used. In either method, a camera is used to capture an image of the object or a laser beam reflected from the object, and the three-dimensional position of each point on the surface of the object is obtained by the principle of trigonometry. For this reason, according to the principle of trigonometry, it is necessary to specify in advance camera parameters such as the position and orientation of the camera with respect to the object. Camera parameters include internal parameters such as focal length and projection center coordinates, and external parameters such as a three-dimensional position and orientation of the camera. Such processing for specifying camera parameters is called camera calibration.
従来、カメラの外部パラメータの校正にはいくつかの手法が知られているが、代表的なものとして、例えば特許文献１に示すものがある。この手法では、互いに異なる形状の図形（例えば、数字、バーコード等）を複数配列した校正用のパネルを用いる。そして、校正用のパネルを対象物とを同時にカメラの視野内に捉えて撮影し、校正用のソフトウエアが、パネル上の各図形の形状や世界座標系での位置についての既知情報を用い、撮影した画像内から各図形をそれぞれ識別し、各図形の画面座標系での位置と世界座標系での位置の対応から、両座標系での座標変換のパラメータを計算する。この座標変換のパラメータは、パネルに対するカメラの位置及び姿勢などの外部パラメータを表すものである。 Conventionally, several methods are known for calibrating external parameters of a camera, but a typical one is disclosed in Patent Document 1, for example. In this method, a calibration panel in which a plurality of figures having different shapes (for example, numbers, barcodes, etc.) are arranged is used. Then, the calibration panel is photographed by capturing the object in the field of view of the camera at the same time, and the calibration software uses known information about the shape of each figure on the panel and the position in the world coordinate system, Each figure is identified from the captured image, and the coordinate transformation parameters in both coordinate systems are calculated from the correspondence between the position of each figure in the screen coordinate system and the position in the world coordinate system. The coordinate conversion parameters represent external parameters such as the position and orientation of the camera with respect to the panel.
また別の方式として、特許文献２には、光切断法により三次元形状を計測する測定ヘッドの上面に、ＬＥＤ（発光ダイオード）からなるマーカーを複数設け、対象物に対して自由に配置した測定ヘッドを情報からステレオカメラで撮影することで、測定ヘッドの世界座標系での位置・姿勢を求める方式が示されている。この方式では、測定ヘッドで計測した測定ヘッド中心座標系での対象物の各点の座標を、ステレオカメラで求めた測定ヘッドの位置・姿勢の情報を用いて変換することで、世界座標系での対象物の形状を求めている。 As another method, Patent Document 2 discloses a measurement in which a plurality of markers made of LEDs (light emitting diodes) are provided on the upper surface of a measurement head for measuring a three-dimensional shape by a light cutting method and freely arranged on an object. A method for obtaining the position / orientation of the measuring head in the world coordinate system by photographing the head from information with a stereo camera is shown. In this method, the coordinates of each point of the object in the measurement head central coordinate system measured by the measurement head are converted using the information on the position and orientation of the measurement head obtained by the stereo camera, so that the global coordinate system is used. Seeking the shape of the object.
特許文献１及び２に示される方式は、いずれも数個乃至せいぜい数十個のマーカを基準に校正を行うものなので、高い精度が得にくいという問題があった。 Each of the methods disclosed in Patent Documents 1 and 2 calibrate on the basis of several to several tens of markers, and thus has a problem that high accuracy is difficult to obtain.
本発明の１つの側面は、レンジファインダのカメラ外部パラメータを、従来方式より高精度に校正するための技術を提供する。 One aspect of the present invention provides a technique for calibrating the camera external parameters of the range finder with higher accuracy than the conventional method.
本発明では、ワールド座標系を規定する基準平面を校正対象のレンジファインダにより三次元計測する。これにより、基準平面上の多数の点の三次元位置の情報を得ることができる。これら多数の点を通る平面を計算することで、基準平面の法線方向を高精度に求めることができる。基準平面の法線方向を基準にワールド座標系の所定の座標軸の方向を規定しておけば、、その法線方向が精度よく求めることで、カメラ座標系からワールド座標系への座標変換を精度よく求めることができる。 In the present invention, a reference plane that defines the world coordinate system is three-dimensionally measured by a range finder to be calibrated. As a result, information on the three-dimensional positions of a large number of points on the reference plane can be obtained. By calculating a plane passing through these many points, the normal direction of the reference plane can be obtained with high accuracy. If the direction of a given coordinate axis in the world coordinate system is defined based on the normal direction of the reference plane, the coordinate direction from the camera coordinate system to the world coordinate system can be accurately obtained by accurately obtaining the normal direction. You can often ask.
以下、図面を参照して、本発明の実施の形態（以下「実施形態」と呼ぶ）について説明する。 Hereinafter, embodiments of the present invention (hereinafter referred to as “embodiments”) will be described with reference to the drawings.
まず、図１を参照して、本発明に係る三次元形状計測システムの例を説明する。図示のように、このシステムは、１台以上のレンジファインダ１０Ａ，１０Ｂ，・・・と、三次元形状計算装置２０とを備える。 First, an example of a three-dimensional shape measurement system according to the present invention will be described with reference to FIG. As shown, this system includes one or more range finders 10A, 10B,... And a three-dimensional shape calculation device 20.
まず、レンジファインダ１０Ａは、例えばアクティブ方式のレンジファインダである。アクティブ方式のレンジファインダの代表例としてレーザ・レンジファインダがあり、ここではレンジファインダ１０Ａはレーザ・レンジファインダであるとして説明する。 First, the range finder 10A is, for example, an active type range finder. A typical example of the active type range finder is a laser range finder. Here, the range finder 10A will be described as a laser range finder.
レンジファインダ１０Ａは、レーザのスリット光又はスポット光を対象物に投光するための投光部１２Ａと、対象物を撮影するためのカメラ部１４Ａを備える。投光部１２Ａは、レーザ、レンズ系等からなる光源からスリット光又はスポット光を発し、この光をポリゴンミラーなどの偏向装置で反射させて対象物に投影する。これにより対象物の表面がスリット状又はスポット状に照明される。対象物の表面からの反射光は、カメラ部１４Ａのレンズ系で集束され、カメラ部１４Ａ内の撮像素子（例えばＣＣＤ撮像素子）の撮像面に結像する。撮像面には、対象物表面のスリット状又はスポット状の被照明部のみが明るく、他の部分は暗くなった像が形成される。このとき、対象物上の被照明部の点の三次元座標は、その点に対応する撮像面上の点の二次元位置、光源（レーザ）と撮像面の位置、及びその時のスリット光又はスポット光の投影方向（角度）から三角測量の原理で求められる。そして、偏向装置により光の偏向方向を順に変えることにより、スリット光又はスポット光で対象物の表面を走査する。原理上、対象物表面のすべての点（もちろん光学系の構成上影になる部分は除く）は、この１回の走査の間に一回だけスリット光又はスポット光により照明されるので、上述の三角測量の原理でその三次元位置を特定できる。レンジファインダ１０Ａは、撮像面の各画素に対応する対象物表面の点の三次元位置情報（距離情報）を求めることができる。レンジファインダ１０Ａが出力する三次元形状の情報は、距離画像とも呼ばれる。 The range finder 10A includes a light projecting unit 12A for projecting laser slit light or spot light onto an object and a camera unit 14A for photographing the object. The light projecting unit 12A emits slit light or spot light from a light source composed of a laser, a lens system, etc., and reflects this light with a deflecting device such as a polygon mirror to project it onto an object. Thereby, the surface of the object is illuminated in a slit shape or a spot shape. The reflected light from the surface of the object is focused by the lens system of the camera unit 14A and forms an image on the imaging surface of an imaging device (for example, a CCD imaging device) in the camera unit 14A. On the imaging surface, an image is formed in which only the slit-like or spot-like illuminated portion on the surface of the object is bright and the other portions are dark. At this time, the three-dimensional coordinates of the point on the object to be illuminated are the two-dimensional position of the point on the imaging surface corresponding to the point, the position of the light source (laser) and the imaging surface, and the slit light or spot at that time It is obtained by the principle of triangulation from the light projection direction (angle). Then, the surface of the object is scanned with slit light or spot light by sequentially changing the deflection direction of the light by the deflecting device. In principle, all the points on the surface of the object (except of course shadowed parts of the optical system) are illuminated by the slit light or spot light only once during this one scan. The three-dimensional position can be specified by the principle of triangulation. The range finder 10A can obtain three-dimensional position information (distance information) of a point on the surface of the object corresponding to each pixel on the imaging surface. The three-dimensional shape information output by the range finder 10A is also called a distance image.
以上、概略を説明したが、レーザ・レンジファインダの計測原理や大まかなシステム構成については、井口征治・佐藤宏介共著「三次元画像計測」，初版，昭晃堂，１９９０年１１月２０日発行，ｐ３６−４０（２．２．２ スリット光投影法）に示されており、周知のものであるので、これ以上の説明は省く。 Although the outline has been described above, the measurement principle and rough system configuration of the laser rangefinder are described in “3D image measurement” by Seiji Iguchi and Kosuke Sato, first edition, Shosendo, published on November 20, 1990. Since it is shown in p36-40 (2.2.2 Slit light projection method) and is well known, further explanation is omitted.
以上、レンジファインダ１０Ａを代表に説明したが、他のレンジファインダ１０Ｂ，・・・も同様である。 The range finder 10A has been described above as a representative, but the same applies to the other range finders 10B,.
以上ではレンジファインダ１０Ａ，１０Ｂ，・・・はレーザ・レンジファインダであるとして説明したが、本発明の手法の適用対象は、レーザ・レンジファインダに限られるものではない。レンジファインダ１０Ａ，１０Ｂ，・・・は、この他に、例えばレーザのスリット光やスポット光で対象物を走査する代わりに、順次変化するパターン光を投射するタイプのレンジファインダであってもよい。 In the above description, the range finders 10A, 10B,... Are assumed to be laser range finders, but the application target of the method of the present invention is not limited to the laser range finders. In addition to this, the rangefinders 10A, 10B,... May be a type of rangefinder that projects sequentially changing pattern light instead of scanning the object with, for example, laser slit light or spot light.
このシステムでは、複数のレンジファインダ１０Ａ，１０Ｂ，・・・で同じ対象物を様々な方向から三次元計測し、各々の計測結果を合成することで、１つのレンジファインダでは死角となる部分の形状も求められるようにしている。三次元形状計算装置２０が、このような合成を行って対象物の三次元形状データ１００を求める。 In this system, the same object is three-dimensionally measured from various directions with a plurality of range finders 10A, 10B,... And the respective measurement results are combined to form the shape of a portion that becomes a blind spot in one range finder. Is also being asked for. The three-dimensional shape calculation device 20 performs such synthesis to obtain the three-dimensional shape data 100 of the object.
ここで、複数のレンジファインダの計測結果を合成する場合、各々の計測結果の座標系を統一する必要がある。すなわち、図２に示すように、各レンジファインダ１０Ａ，１０Ｂ，・・・は、それぞれ自分自身に固定されたカメラ座標系ＯcＸcＹcＺcで計測を行う。各レンジファインダ１０Ａ，１０Ｂ，・・・はその設置位置や姿勢が異なるので、各々のカメラ座標系は一致しない。そこで、それら各レンジファインダの計測した三次元形状を共通のワールド座標系ＯwＸwＹwＺwに座標変換することで、それら各三次元形状の合成を可能とする。ワールド座標系は、例えば対象物３０を基準に定めればよい。 Here, when combining the measurement results of a plurality of range finders, it is necessary to unify the coordinate systems of the respective measurement results. That is, as shown in FIG. 2, each of the range finders 10A, 10B,... Performs measurement using a camera coordinate system O c X c Y c Z c fixed to itself. Since each range finder 10A, 10B,... Has a different installation position and posture, the respective camera coordinate systems do not match. Therefore, the three-dimensional shapes measured by each range finder are coordinate-converted into a common world coordinate system O w X w Y w Z w , thereby enabling the synthesis of the three-dimensional shapes. The world coordinate system may be determined based on the object 30, for example.
このような各レンジファインダの求めた三次元形状に対する座標変換を行うのが、三次元形状計算装置２０の座標変換部２２である。合成部２４は、座標変換された各三次元形状を合成することで、対象物の三次元形状データ１００を作成する。 The coordinate conversion unit 22 of the three-dimensional shape calculation apparatus 20 performs coordinate conversion on the three-dimensional shape obtained by each range finder. The synthesizing unit 24 creates the three-dimensional shape data 100 of the target object by synthesizing the coordinate-converted three-dimensional shapes.
さて、このシステムにおいて、精度のよい三次元形状形状データ１００を求めるには、各レンジファインダの計測結果の座標変換の精度を高くする必要がある。このため、対象物３０の周囲にレンジファインダ１０Ａ，１０Ｂ，・・・を設置した際に、対象物３０のおかれる場所にワールド座標系を規定する基準体を設置し、その基準体を各レンジファインダで計測し、その計測結果を用いて各レンジファインダごとに座標変換の変換行列を計算する。このような座標変換はカメラ外部パラメータに該当するものであり、この座標変換を求める処理はカメラ外部パラメータの校正処理の１つと言える。カメラ校正部２６がこの座標変換行列の計算を実行する。なお、以下の処理では、レンジファインダ１０のカメラ内部パラメータは既に校正済みであるものとする。 In this system, in order to obtain accurate three-dimensional shape data 100, it is necessary to increase the accuracy of coordinate conversion of the measurement results of each range finder. For this reason, when the range finders 10A, 10B,... Are installed around the object 30, a reference body that defines the world coordinate system is installed at the place where the object 30 is placed, and the reference body is set to each range. Measurement is performed with a finder, and a transformation matrix for coordinate transformation is calculated for each range finder using the measurement result. Such coordinate conversion corresponds to the camera external parameter, and the process for obtaining the coordinate conversion is one of the camera external parameter calibration processes. The camera calibration unit 26 calculates this coordinate transformation matrix. In the following processing, it is assumed that the camera internal parameters of the range finder 10 have already been calibrated.
本実施形態では、このカメラ外部パラメータの校正のために、図３に示すような基準平面４０上の各点の三次元位置をレンジファインダ１０で計測する。レンジファインダの中には、例えばＶＧＡ規格（６００×４８０画素）程度の解像度で三次元位置情報（距離情報）を求めるものもあり、基準平面４０上の数万点以上の点の三次元位置を求めることができる。本実施形態では、このような膨大な数の点の三次元位置の情報に基づき、基準平面４０の法線ベクトル（言い換えれば平面の方程式）を求め、この法線ベクトルに基づきワールド座標系の座標軸を求める。 In the present embodiment, the three-dimensional position of each point on the reference plane 40 as shown in FIG. Some range finders obtain 3D position information (distance information) with a resolution of, for example, the VGA standard (600 × 480 pixels) or so, and the 3D positions of tens of thousands or more points on the reference plane 40 can be obtained. Can be sought. In the present embodiment, a normal vector (in other words, a plane equation) of the reference plane 40 is obtained based on the information on the three-dimensional positions of such a large number of points, and the coordinate axes of the world coordinate system are obtained based on the normal vector. Ask for.
三次元空間における平面の方程式は、次のように表される。 The plane equation in the three-dimensional space is expressed as follows.
ここで、いま、カメラ座標系において基準平面を計測したＭ個の点の三次元座標［ｘi，ｙi，ｚi］が与えられたとする。これらの点群は上式（１）を満足するから、以下の式（２）が成り立つ。 Here, it is assumed that the three-dimensional coordinates [x i , y i , z i ] of M points obtained by measuring the reference plane in the camera coordinate system are given. Since these point groups satisfy the above equation (1), the following equation (2) is established.
最小二乗法などの回帰法を用いてこの式に最もフィットする係数の組（ａ，ｂ，ｃ）を求めると、それがその基準平面４０の法線ベクトルとなる。この法線ベクトルは、数万点規模の点から求めたものなので、非常に精度が高い。この法線ベクトルの方向を、ワールド座標系ＯwＸwＹwＺwの例えばＹw軸の方向とするなどすれば、ワールド座標系の１軸を非常に高精度に定めることができる。高々数十個程度のマークに基づく従来の校正方式に比べて、はるかに高い精度を得ることができる。 When a set of coefficients (a, b, c) that best fits this equation is obtained using a regression method such as the least square method, it becomes the normal vector of the reference plane 40. This normal vector is obtained from tens of thousands of points, and is therefore highly accurate. The direction of this normal vector, if such a direction, for example, Y w axis of the world coordinate system O w X w Y w Z w , can be determined with very high accuracy uniaxial world coordinate system. Much higher accuracy can be obtained compared to the conventional calibration method based on at most several tens of marks.
この考え方を拡張すれば、例えば図４に示すように、互いに直交する２つの基準平面Ａ，Ｂをレンジファインダ１０で計測すれば、基準平面Ａ，Ｂの法線ベクトルを高精度に求めることができ、それら各法線ベクトルの方向をそれぞれワールド座標系の所定の２座標軸（例えばＸw軸とＹw軸）の方向として定めることができる。２つの座標軸の方向が定められれば、残りの１つの座標軸の方向も決まるので、結局３軸の方向が高い精度で決定できる。 If this concept is expanded, for example, as shown in FIG. 4, if the two reference planes A and B orthogonal to each other are measured by the range finder 10, the normal vectors of the reference planes A and B can be obtained with high accuracy. The direction of each normal vector can be determined as the direction of two predetermined coordinate axes (for example, the Xw axis and the Yw axis) of the world coordinate system. If the directions of the two coordinate axes are determined, the directions of the remaining one coordinate axis are also determined, so that the directions of the three axes can be determined with high accuracy.
また、図５に示すように、互いに直交する３つの基準平面Ａ，Ｂ，Ｃをレンジファインダで計測すれば、ワールド座標系の３軸の方向を高い精度で求めることができる。 Further, as shown in FIG. 5, if three reference planes A, B, and C orthogonal to each other are measured with a range finder, the directions of the three axes of the world coordinate system can be obtained with high accuracy.
以上のようにして、基準平面の三次元計測により、ワールド座標系の座標軸方向を高精度に求めることができる。求められた方向は、ワールド座標系の座標軸の方向を個々のレンジファインダのカメラ座標系で表現したものである。 As described above, the coordinate axis direction of the world coordinate system can be obtained with high accuracy by three-dimensional measurement of the reference plane. The obtained direction is obtained by expressing the direction of the coordinate axis of the world coordinate system in the camera coordinate system of each range finder.
周知のように、座標系から別の座標系へのユークリッド座標変換は、座標系の回転と並進との組み合わせにより表される。ワールド座標系の３つの座標軸の方向が求められれば、カメラ座標系からワールド座標系への回転が求められるので、後は座標系間での特定の点（例えば原点）平行移動が求めれば、座標変換を求めることができる。したがって、例えばワールド座標系の３つの座標軸の方向と原点の位置を、カメラ座標系で求めることができれば、カメラ座標系からワールド座標系への座標変換を求めることができる。すなわち、カメラ座標系からワールド座標系への座標変換は、次の（３）式で表すことができる。 As is well known, the Euclidean coordinate transformation from one coordinate system to another coordinate system is represented by a combination of rotation and translation of the coordinate system. If the direction of the three coordinate axes of the world coordinate system is obtained, rotation from the camera coordinate system to the world coordinate system is obtained, and then if a specific point (for example, the origin) translation between the coordinate systems is obtained, the coordinates Conversion can be sought. Therefore, for example, if the direction of the three coordinate axes and the position of the origin in the world coordinate system can be obtained in the camera coordinate system, coordinate conversion from the camera coordinate system to the world coordinate system can be obtained. That is, the coordinate conversion from the camera coordinate system to the world coordinate system can be expressed by the following equation (3).
ここで、［ｘi，ｙi，ｚi］はカメラ座標系における三次元座標、［ｘi *，ｙi *，ｚi *］はワールド座標系における三次元座標である。また、Ｒはカメラ座標系からワールド座標系への回転を示す回転行列であり、Ｔはカメラ座標系からワールド座標系への平行移動を示す並進ベクトルである。 Here, [x i , y i , z i ] are three-dimensional coordinates in the camera coordinate system, and [x i * , y i * , z i * ] are three-dimensional coordinates in the world coordinate system. R is a rotation matrix indicating rotation from the camera coordinate system to the world coordinate system, and T is a translation vector indicating translation from the camera coordinate system to the world coordinate system.
以下、１つの基準平面を用いる方式、２つの基準平面を用いる方式、および３つの基準平面を用いる方式のそれぞれについて、カメラ座標系からワールド座標系への座標変換の求め方を説明する。 Hereinafter, how to obtain coordinate conversion from the camera coordinate system to the world coordinate system will be described for each of the method using one reference plane, the method using two reference planes, and the method using three reference planes.
＜１つの基準平面を用いる手法＞
上述の１つの基準平面を用いる方式では、基準平面の法線方向が１つしか求められないので、ワールド座標系の１座標軸を定められる。したがって、後１つの座標軸（あと１軸は、既定の２軸に対して垂直な方向に自動的に決めることができる）と、原点の位置を求めることができれば、座標変換が決定できる。このために、基準平面上に、１軸と原点とを定めるための基準となるパターンを、印刷などにより表示しておく。そして、この基準パターンを読みとった画像を用いることで、基準平面だけでは決定できない軸方向成分及び原点位置を求める。
<Method using one reference plane>
In the above-described method using one reference plane, only one normal direction of the reference plane can be obtained, so that one coordinate axis of the world coordinate system can be determined. Therefore, if one rear coordinate axis (the remaining one can be automatically determined in a direction perpendicular to two predetermined axes) and the position of the origin can be determined, coordinate conversion can be determined. For this purpose, a reference pattern for determining one axis and the origin is displayed on a reference plane by printing or the like. Then, by using an image obtained by reading this reference pattern, an axial component and an origin position that cannot be determined only by the reference plane are obtained.
よく知られるように、レンジファインダの中には、三次元形状計測の際のレーザ光或いはパターン光の反射光を撮像面で撮像し、この撮像結果から、対象物各点での反射強度に応じた画像（例えば輝度画像又はＲＧＢ等のカラー画像）と、前述の距離画像との両方を生成できるものある。このような反射強度に応じた画像を、距離画像との区別のためにテクスチャ画像と呼ぶことにする。テクスチャ画像の画素は、三次元計測の結果である距離画像の画素と対応づけることができる。カメラパラメータの校正に基準平面上の基準パターンを用いる方式では、このように距離画像とテクスチャ画像を並列して生成できるレンジファインダを用いる。 As is well known, in the range finder, the reflected light of the laser light or pattern light during three-dimensional shape measurement is imaged on the imaging surface, and according to the reflection intensity at each point of the object from this imaging result Some images (for example, luminance images or color images such as RGB) and the above-mentioned distance image can be generated. Such an image corresponding to the reflection intensity is referred to as a texture image in order to distinguish it from the distance image. The pixels of the texture image can be associated with the pixels of the distance image that is the result of the three-dimensional measurement. In a method using a reference pattern on a reference plane for camera parameter calibration, a range finder that can generate a distance image and a texture image in parallel is used.
基準パターンとしては、例えば、ワールド座標系の原点Ｏwを示すマークと、ワールド座標系の所定の１軸（例えばｘ軸）を示す矢印などのマークなどの組み合わせを用いることができる。このような基準パターンを表示した基準平面を用いた座標変換の計算手順を、図６（及び適宜図１及び図３）を参照して説明する。この手順では、まずレンジファインダ１０を設置し、基準平面４０（具体的には、例えば表面に基準パターンが印刷された平板）を所定の位置（後で計測対象物を置く場所）に配置した後、レンジファインダ１０により計測を行い、三次元形状情報（距離画像）及びテクスチャ画像を取得する（Ｓ１）。カメラ校正部２６は、これら三次元形状情報とテクスチャ情報とを受け取り、まずテクスチャ情報を画面表示して、その中から基準平面４０の範囲をユーザに指定させる（Ｓ２）。これは、基準平面４０以外の領域の距離画像が測定される場合に、その部分を校正処理の対象から除外するためである。なお、基準平面４０以外の領域が撮像されない場合（例えば十分大きな基準平面を用い、その一部をレンジファインダ１０で撮像する場合など）には、ステップＳ２は不要である。 As the reference pattern, for example, a combination of a mark indicating the origin O w of the world coordinate system and a mark such as an arrow indicating a predetermined one axis (for example, the x axis) of the world coordinate system can be used. A calculation procedure of coordinate transformation using a reference plane displaying such a reference pattern will be described with reference to FIG. 6 (and FIGS. 1 and 3 as appropriate). In this procedure, first, the range finder 10 is installed, and after the reference plane 40 (specifically, for example, a flat plate having a reference pattern printed on the surface) is disposed at a predetermined position (a place where a measurement object is to be placed later). Then, measurement is performed by the range finder 10, and three-dimensional shape information (distance image) and a texture image are acquired (S1). The camera calibration unit 26 receives the three-dimensional shape information and the texture information, first displays the texture information on the screen, and allows the user to specify the range of the reference plane 40 from among them (S2). This is because when a distance image of a region other than the reference plane 40 is measured, that portion is excluded from the calibration processing target. Note that when an area other than the reference plane 40 is not imaged (for example, when a sufficiently large reference plane is used and a part thereof is imaged by the range finder 10), step S2 is not necessary.
次にカメラ校正部２６は、三次元形状情報のうち、基準平面４０に該当する領域中の各点の位置情報に基づき、上述のようにして基準平面４０の平面の式を推定する（Ｓ３）。この平面の式の係数が、基準平面４０の法線方向を示し、この法線方向がワールド座標系の特定の１軸（例えばＹw軸）の方向となる。 Next, the camera calibration unit 26 estimates the plane expression of the reference plane 40 as described above based on the position information of each point in the region corresponding to the reference plane 40 in the three-dimensional shape information (S3). . The coefficient of the formula of this plane indicates the normal direction of the reference plane 40, and this normal direction becomes the direction of a specific one axis (for example, Yw axis) of the world coordinate system.
また、カメラ校正部２６は、テクスチャ画像の中から、基準パターンの像を抽出し（Ｓ４）、抽出した像からワールド座標系の原点及び特定の１軸（例えばＸw軸）の方向を推定する（Ｓ５）。例えば、カメラ校正部２６は、テクスチャ画像内での原点マークの２次元位置、すなわち原点に対応する画素を求め、その画素に対応する点、すなわち原点の三次元位置を距離画像から求める。また、カメラ校正部２６は、Ｘw軸方向を示す矢印の線分をテクスチャ画像から抽出し、その線分上の各画素に対応する距離画像の各画素の値（三次元位置を示す）を読み出し、読み出した各画素の三次元位置の情報から、最小二乗法などを用いることで線分上の各点が通る回帰直線を計算する。この直線の方向がＸw軸方向となる。なお、Ｘw軸の正負の方向については、例えば矢印マークの矢の有無など、基準パターンに対して正負の方向を示すマークを組み込んでおき、これをテクスチャ画像から検出することで判定することができる。 Further, the camera calibration unit 26 extracts an image of a reference pattern from the texture image (S4), and estimates the origin of the world coordinate system and the direction of one specific axis (for example, the Xw axis) from the extracted image. (S5). For example, the camera calibration unit 26 obtains a two-dimensional position of the origin mark in the texture image, that is, a pixel corresponding to the origin, and obtains a point corresponding to the pixel, that is, a three-dimensional position of the origin from the distance image. The camera calibration unit 26 extracts the line segments of the arrows indicating the X w axis direction from the texture image, the value of each pixel of the distance image corresponding to each pixel on the line segment (indicating the three-dimensional position) A regression line that passes through each point on the line segment is calculated by using the least square method or the like from the read information of the three-dimensional position of each pixel. The direction of this straight line is the Xw axis direction. Note that the positive and negative directions of the X w axis, be determined, for example, presence or absence of arrow arrow mark, previously incorporated a mark indicating a direction of positive or negative relative to the reference pattern, detecting it from texture image it can.
このようにして、基準平面４０の三次元形状情報からワールド座標系の１座標軸の方向が、テクスチャ画像と三次元形状情報からワールド座標系の原点と１座標軸が、それぞれ求められると、カメラ校正部２６は、それらの情報に基づき、カメラ座標系からワールド座標系への座標変換を計算する（Ｓ６）。すなわち、ワールド座標系の原点Ｏwのカメラ座標系での三次元位置が分かっているので、これから即座にカメラ座標系から前記ワールド座標系への並進ベクトルＴが求められる（Ｓ６−１）。また、基準パターンからワールド座標系の特定の１座標軸の方向が求められ、基準平面４０の法線方向からもう１つの特定の座標軸の方向が求められると、残りの１座標軸の方向はそれらに垂直な方向として自動的に決定される（右手系又は左手系などのように座標軸の方向性に制限があれば一意に決定される）。このようにワールド座標系の各座標軸の方向がカメラ座標系の表現として求められると、この情報に基づき、周知の方法により、カメラ座標系からワールド座標系への回転行列Ｒを求めることができる（Ｓ６−２）。このようにして求められた並進ベクトルＴ及び回転行列Ｒにより、ワールド座標系からカメラ座標系への座標変換が表される。 Thus, when the direction of one coordinate axis of the world coordinate system is obtained from the three-dimensional shape information of the reference plane 40 and the origin and one coordinate axis of the world coordinate system are obtained from the texture image and the three-dimensional shape information, respectively, the camera calibration unit 26 calculates coordinate transformation from the camera coordinate system to the world coordinate system based on the information (S6). That is, since the three-dimensional position in the camera coordinate system of the origin O w of the world coordinate system is known, the translation vector T from the camera coordinate system to the world coordinate system is immediately obtained from this (S6-1). Further, when the direction of one specific coordinate axis of the world coordinate system is obtained from the reference pattern and the direction of another specific coordinate axis is obtained from the normal direction of the reference plane 40, the direction of the remaining one coordinate axis is perpendicular to them. Direction is automatically determined (uniquely determined if the directionality of the coordinate axes is limited as in right-handed or left-handed systems). Thus, when the direction of each coordinate axis of the world coordinate system is obtained as a representation of the camera coordinate system, a rotation matrix R from the camera coordinate system to the world coordinate system can be obtained by a known method based on this information ( S6-2). The translation from the world coordinate system to the camera coordinate system is represented by the translation vector T and the rotation matrix R obtained in this way.
以上の手法では、ワールド座標系の１つの座標軸については、基準平面４０上の多数の点の三次元計測結果を用いることで高精度に推定できる。したがって、全体として求められる座標変換の精度を高精度とするには、基準パターンからの原点及び１座標軸の方向の推定の精度を高いものとする必要がある。このためには、原点及び１座標軸を求めるための基礎情報として、テクスチャ画像からできるだけ多数の点をサンプリングすることが望ましい。このため、図３に示した基準平面４０では、基準パターンとして、互いに直交する２方向の平行直線群からなる直線群直交格子パターンを用いている。この格子パターンのうち一方の直線群の延びる方向をＸw軸方向、もう一方の直線群の延びる方向をＺw軸方向などと定めることができる。例えば、一方向の直線群を赤色で、もう一方の方向の直線群を青色で表現し、レンジファインダ１０としてＲＧＢのテクスチャ画像を撮像するものを用いれば、Ｒチャンネルの画像から１方向の直線群を、Ｂチャンネルの画像からもう一方の方向の直線群を、それぞれ抽出することできる。例えば、Ｒチャンネルから抽出した各直線上の画素の三次元位置を距離画像から求め、回帰法によりそれら三次元位置の集まりに最も適合する直線の方向を求めることができ、これをワールド座標系の特定の座標軸、例えばＸw軸の方向とすることができる。各軸の正負の方向は、例えばＸw軸など特定の軸の正の方向を示すマーク（図示省略）を基準パターンに組み込んでおき、それを検出することで判定することができる。 In the above method, one coordinate axis of the world coordinate system can be estimated with high accuracy by using the three-dimensional measurement results of many points on the reference plane 40. Therefore, in order to increase the accuracy of coordinate conversion required as a whole, it is necessary to increase the accuracy of estimation of the origin from the reference pattern and the direction of one coordinate axis. For this purpose, it is desirable to sample as many points as possible from the texture image as basic information for obtaining the origin and one coordinate axis. For this reason, in the reference plane 40 shown in FIG. 3, a straight line group orthogonal lattice pattern composed of parallel straight line groups in two directions orthogonal to each other is used as the reference pattern. One X w axis directions of extension of the straight lines of the grid pattern, the direction of extension of the other straight lines can be defined as such Z w axis. For example, if a straight line group in one direction is expressed in red, a straight line group in the other direction is expressed in blue, and an RGB texture image is captured as the range finder 10, a straight line group in one direction from the R channel image is used. Can be extracted from the B channel image in the other direction. For example, the three-dimensional position of the pixel on each straight line extracted from the R channel can be obtained from the distance image, and the direction of the straight line that best fits the set of these three-dimensional positions can be obtained by the regression method. specific coordinate axis, it can be the direction of, for example, X w axis. The positive / negative direction of each axis can be determined by incorporating a mark (not shown) indicating the positive direction of a specific axis such as the Xw axis into the reference pattern and detecting it.
同様にＢチャンネルから別の特定の座標軸の方向を求めることができる。また、例えば各方向の直線群のうちそれそれ真ん中の直線同士の交点を原点Ｏwとするなどの規則を定めておけば、原点を特定することができる。それら交差する２直線上の多数の点の三次元位置からの回帰式から、それら交差する２直線の三次元での式を精度よく求めることができるので、それら２直線の交点（又は２直線が最も近づいた位置の点など）を原点Ｏwとして求めることができる。 Similarly, the direction of another specific coordinate axis can be obtained from the B channel. For example, the origin can be specified by defining a rule such that the intersection point between the straight lines in the middle of the group of straight lines in each direction is the origin O w . Since a three-dimensional expression of these two intersecting straight lines can be accurately obtained from a regression expression from a three-dimensional position of many points on the two intersecting straight lines, the intersection (or two straight lines) of these two straight lines can be obtained. The point at the closest position, etc.) can be obtained as the origin O w .
また、基準パターンとして、図７に示すように、原点Ｏwから放射状に延びる多数の直線４１と、ワールド座標系の特定の１つの座標軸の方向の基準となる平行な直線４２を含んだパターンを用いている。放射状の各直線４１の三次元空間での式は、距離画像の情報を用いて回帰法により求めることができるので、それら各直線４１の三次元空間での交点（厳密には交差しない場合もあるがそのときは各直線から見て最も距離の近い点）の三次元位置を、原点Ｏwの三次元位置として求めることができる。また、各直線４２上の点の三次元位置に最もフィットする直線の方向を回帰法により求め、それをワールド座標系の特定の座標軸の方向とすることができる。この方法でも、原点及び１座標軸の方向を複数の直線上の多数の点の情報に基づき求めることができるので、高い精度が期待できる。 Further, as a reference pattern, as shown in FIG. 7, a pattern including a large number of straight lines 41 extending radially from the origin O w and a parallel straight line 42 serving as a reference in the direction of one specific coordinate axis in the world coordinate system. Used. Since the expression in the three-dimensional space of each radial line 41 can be obtained by the regression method using the information of the distance image, the intersection of each of the straight lines 41 in the three-dimensional space (in some cases, not strictly intersects). In this case, the three-dimensional position of the closest point when viewed from each straight line) can be obtained as the three-dimensional position of the origin O w . Further, the direction of the straight line that best fits the three-dimensional position of the point on each straight line 42 can be obtained by the regression method, and can be set as the direction of a specific coordinate axis in the world coordinate system. Even in this method, since the origin and the direction of one coordinate axis can be obtained based on information of a large number of points on a plurality of straight lines, high accuracy can be expected.
以上は、基準平面４０上の基準パターンがレンジファインダ１０により完全に撮像できる場合の例である。しかし、レンジファインダ１０と基準平面４０との位置関係によっては、基準パターンのうちの一部分しか撮像できない場合がある。このような場合にも適用できる校正手法を以下に説明する。 The above is an example when the reference pattern on the reference plane 40 can be completely imaged by the range finder 10. However, depending on the positional relationship between the range finder 10 and the reference plane 40, only a part of the reference pattern may be captured. A calibration method applicable to such a case will be described below.
この方法では、基準パターンとして、どの一部分をとっても他の部分とは異なるようなパターンを用いる。例えば、直交する直線格子パターンにおいて、隣り合う平行直線同士の間隔をランダムにしておけば、そのような性質を持つ基準パターンを得ることができる。そして、レンジファインダ１０で撮影したテクスチャ画像に含まれるその基準パターンの一部が、カメラ校正部２６に登録された基準パターン全体の内のどの部分かをパターンマッチングなどの処理で特定する。基準パターン全体の中で、ワールド座標系の原点と特定の１座標軸の方向とを決めておけばよい。この手順を、図８に示す。図８において、図６の手順におけるステップと同一の処理内容のステップには、同一符号を付して説明を省略する。 In this method, as a reference pattern, a pattern that is different from the other parts is used for any part. For example, in an orthogonal linear lattice pattern, a reference pattern having such a property can be obtained by randomly setting intervals between adjacent parallel straight lines. Then, a part of the reference pattern included in the texture image photographed by the range finder 10 is specified by a process such as pattern matching in which part of the entire reference pattern registered in the camera calibration unit 26. In the entire reference pattern, the origin of the world coordinate system and the direction of one specific coordinate axis may be determined. This procedure is shown in FIG. In FIG. 8, steps having the same processing contents as the steps in the procedure of FIG.
図８の手順では、カメラ校正部２６は、ステップＳ３で基準平面の方程式を求めた後、レンジファインダ１０で撮影したテクスチャ画像のうちの基準パターンの部分（これはステップＳ２で特定されている）を、その方程式から特定される基準平面の法線方向から見た状態へと座標変換する（Ｓ１０）。カメラ校正部２６に登録された基準パターンは、正面（例えば図３ではＹw軸の方向）から見た状態のものであるのに対し、レンジファインダ１０では斜め方向からその基準パターンを撮像することになるので、このステップでは、後者の画像を正面から見た状態のもの（検査対象画像と呼ぶ）へと座標変換することで、両者についてパターンマッチング処理ができるようにするのである。 In the procedure of FIG. 8, the camera calibration unit 26 obtains the reference plane equation in step S3, and then the reference pattern portion of the texture image photographed by the range finder 10 (this is specified in step S2). Is coordinate-converted into a state viewed from the normal direction of the reference plane specified from the equation (S10). The reference pattern registered in the camera calibration unit 26 is in a state viewed from the front (for example, the direction of the Yw axis in FIG. 3), whereas the range finder 10 images the reference pattern from an oblique direction. Therefore, in this step, the latter image is coordinate-converted into an image viewed from the front (referred to as an inspection object image), thereby enabling pattern matching processing for both.
パターンマッチング（Ｓ１１）では、登録された基準パターンをテンプレートとし、検査対象画像をこのテンプレート上でラスタ走査パターンやジグザグ走査パターンなどのパターンに従って走査させながら、各時点での検査対象画像とテンプレートとの相関を求める。 In the pattern matching (S11), the registered reference pattern is used as a template, and the inspection target image and the template at each time point are scanned while the inspection target image is scanned on the template according to a pattern such as a raster scanning pattern or a zigzag scanning pattern. Find the correlation.
ここで、検査対象画像の向きはレンジファインダ１０の撮影の方向によるので、ステップＳ１０の座標変換をしたとしても、テンプレートと同じ向きになるとは限らない。そこで、検査対象画像のテンプレートの全域にわたる走査が終わると検査対象画像を回転させて再び走査を行うようにし、これを繰り返す。ここで、図３のような直交格子パターンの場合、パターンマッチングに際しては２つの直交する方向をテンプレートの直交方向に合わせればよい。このように角度合わせをした場合、あとは検査対象画像がテンプレート１８０度又は±９０度回転している場合を考えればよく、合計４通りのケースについて上述の走査を行えばよい。なお、座標変換の誤差を考慮して、４通りの各場合について、それぞれ微小角度だけ検査対象画像を回転させた場合についても走査を行うようにしてもよい。 Here, since the direction of the inspection target image depends on the shooting direction of the range finder 10, even if the coordinate conversion of step S10 is performed, the direction is not necessarily the same as the template. Therefore, when the scanning over the entire area of the template of the inspection target image is completed, the inspection target image is rotated to perform scanning again, and this is repeated. Here, in the case of the orthogonal lattice pattern as shown in FIG. 3, two orthogonal directions may be matched with the orthogonal direction of the template for pattern matching. When the angle is adjusted in this way, it is only necessary to consider the case where the inspection target image is rotated by 180 degrees or ± 90 degrees of the template, and the above-described scanning may be performed for a total of four cases. In consideration of coordinate conversion errors, scanning may be performed even when the inspection target image is rotated by a minute angle in each of the four cases.
また、検査対象画像のサイズは、レンジファインダ１０と基準平面との距離によって変わってくるので、検査対象画像のサイズを拡大又は縮小しながら、上述の走査を繰り返すようにする。この場合、レンジファインダ１０と基準平面との概略の距離が分かっていれば、その概略の距離に対応する検査対象画像のサイズを中心として、所定刻みずつ所定の拡大・縮小倍率の範囲内で、検査対象画像を拡大又は縮小すればよい。 Further, since the size of the inspection target image varies depending on the distance between the range finder 10 and the reference plane, the above-described scanning is repeated while increasing or reducing the size of the inspection target image. In this case, if the approximate distance between the range finder 10 and the reference plane is known, centering on the size of the inspection target image corresponding to the approximate distance, within a predetermined enlargement / reduction magnification range, step by step, The inspection target image may be enlarged or reduced.
カメラ校正部２６は、このように検査対象画像の向きを変えながら、かつ検査対象画像を拡大・縮小しながら走査を行い、その中で検査対象画像とテンプレートとの相関が最も高くなるときの検査対象画像の位置（テンプレート上での位置）と回転角度（すなわち、ステップＳ１０の座標変換後の回転角度）とを求める。ワールド座標系の原点と特定の１座標軸の方向をテンプレートに対して予め決めておけば、パターンマッチングで求められた最も相関が高いときの検査対象画像の位置からワールド座標系の原点の位置を、最も相関が高いときの検査対象画像の回転角度からワールド座標系の特定の１座標軸の方向を、それぞれ求めることができる（Ｓ１２）。すなわち、撮像したテクスチャ画像は、ステップＳ１０での座標変換と、その後のステップＳ１１でのパターンマッチングの際の走査の際の平行移動、回転及び拡大・縮小（これは基準平面に対する垂直方向への移動に対応）による座標変換の合成変換により、テンプレートと一致する状態となっている。したがって、テンプレート上で規定される原点Ｏwの位置（０，０，０）と、特定の１座標軸の方向をその合成変換の逆変換により座標変換することで、カメラ座標系での原点Ｏwと特定の１座標軸の方向を求めることができる。 The camera calibration unit 26 performs scanning while changing the orientation of the inspection target image and enlarging / reducing the inspection target image in this way, and the inspection when the correlation between the inspection target image and the template is the highest among them is performed. The position of the target image (the position on the template) and the rotation angle (that is, the rotation angle after the coordinate conversion in step S10) are obtained. If the origin of the world coordinate system and the direction of one specific coordinate axis are determined in advance with respect to the template, the position of the origin of the world coordinate system is determined from the position of the image to be inspected when the correlation is highest obtained by pattern matching. The direction of one specific coordinate axis in the world coordinate system can be obtained from the rotation angle of the image to be inspected when the correlation is the highest (S12). That is, the captured texture image is translated, rotated, and enlarged / reduced during the coordinate conversion in step S10 and the pattern matching in step S11 (this is the movement in the direction perpendicular to the reference plane). It corresponds to the template by the composite conversion of the coordinate conversion by the above. Therefore, by converting the position (0, 0, 0) of the origin O w defined on the template and the direction of one specific coordinate axis by inverse transformation of the composite transformation, the origin O w in the camera coordinate system is obtained. And the direction of one specific coordinate axis can be obtained.
このように、ステップＳ１２でワールド座標系の原点及び特定の１軸の方向が求められれば、ステップＳ３で求められたもう１つの軸の方向と組み合わせることで、上述と同様の処理でカメラ座標系からワールド座標系への座標変換を求めることができる。 In this way, when the origin of the world coordinate system and the direction of one specific axis are obtained in step S12, the camera coordinate system can be combined with the direction of the other axis obtained in step S3 and processed in the same manner as described above. The coordinate transformation from to the world coordinate system can be obtained.
以上では、隣り合う直線間の間隔がランダムな直交格子パターンを用いたが、基準パターンの一部しか撮影できない場合にも対応できる基準パターンとして、これに限らず様々なものを用いることができる。すなわち、基準パターンとしては、そのどの部分をとっても、回転させても平行移動させても他の部分と一致しないようなパターンであれば、どのようなものを用いてもよい。 In the above, an orthogonal lattice pattern in which the interval between adjacent straight lines is random is used, but various reference patterns can be used as a reference pattern that can be used even when only a part of the reference pattern can be captured. That is, as the reference pattern, any pattern may be used as long as it is a pattern that does not coincide with other parts even if it is rotated or translated.
＜２つの基準平面を用いる手法＞
次に、２つの基準平面を用いる校正手法について説明する。
<Method using two reference planes>
Next, a calibration method using two reference planes will be described.
既に図４を参照して、互いに直交する２つの基準平面から、ワールド座標系の２つの座標軸の方向を求めることができることについて説明した。後は、ワールド座標系の原点の位置を求めることができれば、カメラ座標系からワールド座標系への座標変換を求めることができる。 With reference to FIG. 4, it has already been explained that the directions of the two coordinate axes of the world coordinate system can be obtained from two reference planes orthogonal to each other. After that, if the position of the origin of the world coordinate system can be obtained, the coordinate conversion from the camera coordinate system to the world coordinate system can be obtained.
原点の位置を求めるためには、２つの基準平面の少なくとも一方に、原点の位置を示す基準パターンを示すようにすればよい。図９に示す２つの基準平面４０Ａ，４０Ｂには、それぞれ、平行に等間隔で並んだ複数の直線４３と、それら各直線４３の間に配置された識別コード４４とからなる基準パターンが表示される。識別コード４４は、図では２つのドットの白黒の組合せで示しているが、これはあくまで一例に過ぎない。識別コード４４は、その上または下にある直線を識別するためのコードであり、その役割を果たすものであれば、どのようなものを用いてもよい。図示例では、最も上にある直線４３に対する識別コード４４は基準平面４０Ａと４０Ｂとで異なるのに対し、その下の各直線に対応する識別コード４４は２つの基準平面同士で同じものとなっているが、これは一例に過ぎない。識別コード４４のビット数（例えばドットの数）を増やして、２つの基準平面４０Ａ及び４０Ｂの中で各直線４３を一意に識別できる識別コード４４を付すようにしてもよい。 In order to obtain the position of the origin, a reference pattern indicating the position of the origin may be shown on at least one of the two reference planes. In each of the two reference planes 40A and 40B shown in FIG. 9, a reference pattern comprising a plurality of straight lines 43 arranged in parallel at equal intervals and an identification code 44 arranged between the straight lines 43 is displayed. The The identification code 44 is shown as a black and white combination of two dots in the figure, but this is only an example. The identification code 44 is a code for identifying a straight line above or below it, and any code can be used as long as it plays the role. In the illustrated example, the identification code 44 for the uppermost straight line 43 is different between the reference planes 40A and 40B, while the identification code 44 corresponding to each straight line below it is the same for the two reference planes. This is but one example. The number of bits (for example, the number of dots) of the identification code 44 may be increased, and an identification code 44 that can uniquely identify each straight line 43 in the two reference planes 40A and 40B may be attached.
例えば、ワールド座標系の原点を、２つの基準平面４０Ａと４０Ｂとの交線上の特定の位置に定めれば、原点と各直線４３との距離（すなわち直線４３のＹw座標）が決まる。この原点と各直線４３との距離の情報をカメラ校正部２６に登録しておけば、テクスチャ画像から直線４３を抽出し、識別コード４４からその直線がどの直線かを特定することで、２平面４０Ａと４０Ｂの交線上で、その直線とその交線との交点からその距離にある点を原点として求めることができる。 For example, the origin of the world coordinate system, be determined to a specific location on the intersection of the two reference planes 40A and 40B, the distance of the origin and the respective straight lines 43 (i.e. Y w-coordinate of the straight line 43) is determined. If information on the distance between the origin and each straight line 43 is registered in the camera calibration unit 26, the straight line 43 is extracted from the texture image, and the straight line is identified from the identification code 44 so that two planes are obtained. On the intersection line of 40A and 40B, a point at the distance from the intersection of the straight line and the intersection line can be obtained as the origin.
なお、直線４３の近傍の識別コードから、その直線４３が一意に特定できれば、その直線が属する基準平面が基準平面４０Ａ及び４０Ｂのうちのいずれであるかを判別することもできる。したがって、例えば基準平面４０Ａの法線方向をＸw軸方向とし、基準平面４０Ｂの法線方向をＺw軸方向とするなどと予め定めておけば、各基準平面の法線方向からワールド座標系の所定の２つの座標軸の方向を一意に決定することができる。このような基準平面の識別は、例えば、レンジファインダ１０を上下逆向きに設置した場合などに有効である。 If the straight line 43 can be uniquely identified from the identification code in the vicinity of the straight line 43, it can be determined which of the reference planes 40A and 40B the reference plane to which the straight line belongs. Thus, for example, a normal direction of the reference plane 40A and X w axis direction, if the normal direction of the reference plane 40B predetermining the like and Z w axis direction, the world coordinate system from the normal direction of the reference plane The directions of the two predetermined coordinate axes can be uniquely determined. Such identification of the reference plane is effective, for example, when the range finder 10 is installed upside down.
以上の処理は、テクスチャ画像の中から１つの識別コード４４と、それに隣接する直線４３が読み取ることができれば、実行することができる。 The above processing can be executed if one identification code 44 and a straight line 43 adjacent to the identification code 44 can be read from the texture image.
この場合のカメラ校正部２６の処理手順は図１０に示すようなものとなる。この手順では、まずレンジファインダ１０と２つの基準平面４０Ａ及び４０Ｂを含む基準体をセットし、レンジファインダ１０で計測を行うことで三次元形状情報とテクスチャ画像を取得する（Ｓ１）。カメラ校正部２６は、得られたテクスチャ画像を表示し、その中で各基準平面４０Ａ及び４０Ｂの範囲をユーザに指定させる（Ｓ２）。そして、指定された範囲ごとに、その中の各点の三次元位置から、上述の回帰法により、各基準平面４０Ａ及び４０Ｂの平面の方程式を推定する（Ｓ２０）。 The processing procedure of the camera calibration unit 26 in this case is as shown in FIG. In this procedure, first, a reference body including the range finder 10 and the two reference planes 40A and 40B is set, and three-dimensional shape information and a texture image are acquired by measuring with the range finder 10 (S1). The camera calibration unit 26 displays the obtained texture image, and allows the user to specify the range of each reference plane 40A and 40B (S2). Then, for each designated range, the equations of the planes of the reference planes 40A and 40B are estimated from the three-dimensional position of each point in the range by the above-described regression method (S20).
また、カメラ校正部２６は、テクスチャ画像に含まれる基準パターンを抽出し（Ｓ２１）、この基準パターンに基づき、上述のようにしてワールド座標系の原点及び３つの座標軸の方向を求める（Ｓ２２）。すなわち、基準平面４０Ａ及び４０Ｂの方程式はそれぞれステップＳ２０で求められているのでそれら両平面の交線は決定でき、テクスチャ画像中の基準パターンとその交線から、原点Ｏwのカメラ座標系での座標が推定できる。また、テクスチャ画像中の基準パターンに基づき、読み取った各基準平面がそれぞれ２つの基準平面のいずれであるかが判定できるので、各基準平面の法線方向をそれぞれワールド座標系のどの座標軸の方向とすればよいかが判定できる。このようにして２つの座標軸の方向が決まれば、もう１つの座標軸の方向も決定される。 Further, the camera calibration unit 26 extracts a reference pattern included in the texture image (S21), and based on this reference pattern, obtains the origin of the world coordinate system and the directions of the three coordinate axes as described above (S22). That is, since the equations of the reference planes 40A and 40B are respectively obtained in step S20, the intersecting line between these two planes can be determined. From the reference pattern in the texture image and the intersecting line, the camera coordinate system of the origin O w can be obtained. Coordinates can be estimated. Also, based on the reference pattern in the texture image, it can be determined which of the two reference planes each of the read reference planes, so that the normal direction of each reference plane is the direction of which coordinate axis in the world coordinate system. It can be determined whether it should be done. If the direction of two coordinate axes is determined in this way, the direction of the other coordinate axis is also determined.
このようにしてワールド座標系の原点及び３つの座標軸の方向が求められれば、１つの基準平面を用いる場合と同様にして、カメラ座標系からワールド座標系への座標変換を求めることができる（Ｓ６）。 If the origin of the world coordinate system and the directions of the three coordinate axes are obtained in this way, coordinate transformation from the camera coordinate system to the world coordinate system can be obtained in the same manner as when one reference plane is used (S6). ).
以上、２つの基準平面の計測結果を用いてカメラの外部パラメータを計算する処理の例を説明した。ここで、図９に例示した基準パターンはあくまで一例に過ぎない。基準パターンとしては、少なくとも２つの基準平面の交線の延びる方向に沿って各部分のパターンが一致しないようなものであればよく、この場合、上述のパターンマッチングの手法を用いることで、撮像された部分が基準パターン全体のどの部分かを特定することができ、これにより原点の位置を推定することができる。この場合パターンマッチングでは、交線近傍のテクスチャ画像を交線方向に対して走査しながら、テンプレートに対して最も相関の高い位置を求めればよい。 The example of the process for calculating the external parameters of the camera using the measurement results of the two reference planes has been described above. Here, the reference pattern illustrated in FIG. 9 is merely an example. The reference pattern only needs to be such that the pattern of each portion does not match along the direction in which the line of intersection of at least two reference planes extends. In this case, the image is captured by using the pattern matching method described above. It is possible to specify which part of the entire reference pattern is the detected part, and thereby the position of the origin can be estimated. In this case, in the pattern matching, a position having the highest correlation with the template may be obtained while scanning the texture image near the intersection line in the direction of the intersection line.
また、以上の例では、２つの基準平面の両方がその表面に基準パターンを持っていたが、基準パターンはそれら２つの面のうちの一方のみに設ければ足りる。 In the above example, both of the two reference planes have the reference pattern on the surface, but it is sufficient that the reference pattern is provided on only one of the two surfaces.
また、以上の例では、２つの基準平面の交線上にワールド座標系の原点をとったが、これに限定されるものではない。例えば、上述の１つの基準平面を用いる手法と同様にして、一方の基準平面上にワールド座標系の原点を定めてもよい。 In the above example, the origin of the world coordinate system is taken on the intersection of two reference planes, but the present invention is not limited to this. For example, the origin of the world coordinate system may be determined on one reference plane in the same manner as the above-described method using one reference plane.
また、以上の例では、互いに直交する２つの基準平面を用いたが、２つの基準平面は交わりさえすればよく、必ずしも直交しなくてよい。直交しない場合でも、２つの基準平面の交線の方向をワールド座標系の所定の座標軸とし、それら２つの基準平面の法線方向と同じ面内にありそれら２つの法線方向に対して所定の関係にある方向をワールド座標系のもう一つの所定の座標軸として定めれば（例えば所定の一方の基準平面の法線方向を所定の座標軸方向とするなど）、ワールド座標系の３つの座標軸の方向を決定することができる。 In the above example, two reference planes that are orthogonal to each other are used. However, the two reference planes need only intersect and do not necessarily have to be orthogonal. Even if they are not orthogonal, the direction of the intersection of the two reference planes is set as a predetermined coordinate axis of the world coordinate system, and is in the same plane as the normal direction of the two reference planes. If the relative direction is determined as another predetermined coordinate axis in the world coordinate system (for example, the normal direction of one predetermined reference plane is set as the predetermined coordinate axis direction), the directions of the three coordinate axes in the world coordinate system Can be determined.
＜３つの基準平面を用いる手法＞
３つの直交する基準平面を用いる場合は、テクスチャ画像は必要ない。この場合、図１１に示すように、まずレンジファインダ１０と３つの基準平面を含む基準体とをセットし、レンジファインダ１０で計測を行うことで、３つの基準平面の三次元形状情報とテクスチャ画像を取得する（Ｓ１）。カメラ校正部２６は、得られたテクスチャ画像を表示し、その中で各基準平面の範囲をユーザに指定させる（Ｓ２）。そして、指定された範囲ごとに、その中の各点の三次元位置から、上述の回帰法により、各基準平面の平面の方程式を推定する（Ｓ３０）。３つの基準平面の方程式から、ワールド座標系における３つの座標軸の方向が決定できる（Ｓ３１）。また、３つの基準平面の方程式からそれら３つの面の交点の三次元座標を求めることができる。この交点をワールド座標系の原点とすれば、ワールド座標系の原点及び各座標軸の方向が求められたことになる（Ｓ３２）。これらの情報から、上述と同様の処理により、カメラ座標系からワールド座標系への座標変換を求めることができる（Ｓ６）。
<Method using three reference planes>
When using three orthogonal reference planes, a texture image is not necessary. In this case, as shown in FIG. 11, first, the range finder 10 and a reference body including three reference planes are set, and measurement is performed by the range finder 10, so that three-dimensional shape information and texture images of the three reference planes are obtained. Is acquired (S1). The camera calibration unit 26 displays the obtained texture image, and allows the user to specify the range of each reference plane (S2). Then, for each designated range, a plane equation of each reference plane is estimated from the three-dimensional position of each point in the range by the above-described regression method (S30). From the equations of the three reference planes, the directions of the three coordinate axes in the world coordinate system can be determined (S31). Further, the three-dimensional coordinates of the intersection of the three planes can be obtained from the equations of the three reference planes. If this intersection is the origin of the world coordinate system, the origin of the world coordinate system and the direction of each coordinate axis are obtained (S32). From these pieces of information, coordinate transformation from the camera coordinate system to the world coordinate system can be obtained by the same processing as described above (S6).
なお、３つの基準平面が互いに直交しなくても、それら３つの基準平面の法線ベクトルからワールド座標系の各座標軸の方向を定めることは可能であり、またそれら３つの面の交点を原点として求めることも可能である。 Even if the three reference planes are not orthogonal to each other, it is possible to determine the direction of each coordinate axis of the world coordinate system from the normal vectors of the three reference planes, and the intersection of these three planes is the origin. It is also possible to ask for it.
＜複数のレンジファインダの校正＞
以上に説明した各手法では、複数のレンジファインダ１０により同じ基準平面を計測することができれば、それら複数のレンジファインダ１０のカメラ座標系を共通のワールド座標系に合わせることができる。１つの基準平面を用いる手法の場合、その基準平面を周囲の３６０度どの方向から見ても、共通の基準平面を計測することができるので、問題はない。
<Calibration of multiple range finders>
In each method described above, if the same reference plane can be measured by a plurality of range finders 10, the camera coordinate systems of the plurality of range finders 10 can be matched with a common world coordinate system. In the case of the method using one reference plane, there is no problem because the common reference plane can be measured no matter what direction the reference plane is 360 degrees around.
これに対し、２つの基準平面を用いる場合はそのようにはいかない。例えば、２つの基準平面を屏風のように床に立てた場合、それら２つの基準平面が挟む角度内の方向から複数のレンジファインダ１０が計測を行う場合には、それら複数のレンジファインダ１０を共通のワールド座標系に合わせるように校正できる。それに対し、それら２つの基準平面の挟む角度の外側から計測する位置にレンジファインダ１０がある場合、このレンジファインダ１０はその２つの基準平面を計測することができないので、このままではその角度内のレンジファインダに合わせて校正することができない。例えば、対象物をその全周囲の様々な方向から計測し、それらの計測結果を合成する場合、２つの基準平面だけでは、その死角になる方向に位置するレンジファインダの校正はできない。そこで、以下では、例えば対象物の周囲３６０度の広い方向にわたって配置されたレンジファインダを、上述の２つの基準平面を用いる手法により共通のワールド座標系に合わせるための手法の例を説明する。 In contrast, this is not the case when two reference planes are used. For example, when two reference planes are set up on the floor like a folding screen, when a plurality of range finders 10 measure from a direction within an angle between the two reference planes, the plurality of range finders 10 are shared. Can be calibrated to match the world coordinate system. On the other hand, when the range finder 10 is located at a position measured from outside the angle between the two reference planes, the range finder 10 cannot measure the two reference planes. Cannot calibrate to the viewfinder. For example, when an object is measured from various directions around its entire circumference and the measurement results are combined, the range finder positioned in the direction of the dead angle cannot be calibrated with only two reference planes. Therefore, in the following, an example of a technique for aligning a range finder arranged over a wide range of 360 degrees around the object with a common world coordinate system using the above-described technique using the two reference planes will be described.
この手法では、図１２に示すように、基準となる平板５２〜５８を複数組み合わせた基準体を用いる。仮にこの基準体を床面に立てて、垂直上方から見ると、模式的に図１３に示すような構成となる。図１３では、床面に対して垂直上方をワールド座標系のＹw軸方向としている。この構成では、４つの平板のうち隣り合うもの同士のなす角度α、β、γ、δがいずれも１８０度以下であり、レンジファインダがＹw軸の周りのどの位置にあっても、そのレンジファインダがＹw軸の近傍を見る方向に向いていれば、そのレンジファインダは隣り合う基準平板のうちの２つの面（例えば面５２ａと５４ｂ）を視野に収めることになる。基準平板の表及び裏の各面には、上述の２つの基準平面を用いる手法と同様の基準パターンが形成されており、レンジファインダは、読み取った基準パターンからそれが基準平板５２〜５８の内のどの面かが識別できるとともに、ワールド座標系の原点の位置が特定できるようになっている。カメラ校正部２６には、各基準平板の面同士がなす角の情報を登録しておく。ここで、例えば、特定の基準平板５２の面５２ａの法線方向をワールド座標系のＸw軸方向と決めておけば、例えば面５４ａと５６ｂを計測したレンジファインダの校正の際、カメラ校正部２６は、テクスチャ画像の基準パターンからそれら各面を識別し、その面と面５２ａとのなす角から、Ｘw軸方向を特定することができる。レンジファインダをＹw軸の周りの広い範囲にわたって配置しても、このようにして、それら各レンジファインダを共通のワールド座標系に合わせて校正できる。 In this method, as shown in FIG. 12, a reference body in which a plurality of reference flat plates 52 to 58 are combined is used. If this reference body is stood on the floor and viewed from vertically above, a configuration as schematically shown in FIG. 13 is obtained. In FIG. 13, the upper vertical direction with respect to the floor surface is the Y w axis direction of the world coordinate system. In this configuration, the angles α, β, γ, and δ formed by adjacent ones of the four flat plates are all 180 degrees or less, and the range finder can be located at any position around the Y w axis. If the finder is oriented to look in the vicinity of the Yw axis, the range finder will have two fields (for example, the surfaces 52a and 54b) of the adjacent reference plates in view. A reference pattern similar to the above-described method using the two reference planes is formed on the front and back surfaces of the reference flat plate, and the range finder uses the read reference patterns as the inside of the reference flat plates 52 to 58. It is possible to identify the surface of the world and to identify the position of the origin of the world coordinate system. Information on the angle formed by the surfaces of each reference flat plate is registered in the camera calibration unit 26. Here, for example, if determined to X w axis of the world coordinate system to the normal direction of the surface 52a of a particular reference flat 52, for example, upon calibration of the range finder that measures the surface 54a and 56b, camera calibration unit 26 identifies each surface from the reference pattern of the texture image, and can specify the Xw- axis direction from the angle formed by the surface and the surface 52a. Even if the range finders are arranged over a wide range around the Yw axis, these range finders can be calibrated to a common world coordinate system in this way.
以上説明したように本実施形態によれば、基準平面の三次元計測により得られる多数の点の三次元位置情報を用いることで、ワールド座標系の座標軸方向を高精度に求めることができるので、従来よりも高精度でカメラ外部パラメータの校正ができる。 As described above, according to this embodiment, the coordinate axis direction of the world coordinate system can be obtained with high accuracy by using the three-dimensional position information of a large number of points obtained by three-dimensional measurement of the reference plane. Camera external parameters can be calibrated with higher accuracy than before.
以上に説明した三次元形状計算装置２０、特にカメラ校正部２６は、例えば、汎用のコンピュータにて上述の各部の機能又は処理内容を記述したプログラムを実行することにより実現される。コンピュータは、ハードウエアとして、例えばＣＰＵ（中央演算装置）、一次記憶、各種Ｉ／Ｏ（入出力）インタフェースなどがバスを介して相互に接続された構成を有する。そのバスに対し、Ｉ／Ｏインタフェースを介して、ハードディスク装置などの固定二次記憶や、ＣＤ又はＤＶＤ、フラッシュメモリなどの可搬型の不揮発性記録媒体を取り扱うドライブが接続される。上述の実施形態の装置の各部の処理内容が記述されたプログラムが、可搬型の記録媒体又はネットワークを経由して固定二次記憶に保存され、コンピュータにインストールされる。そして、インストールされたプログラムが一次記憶に読み出され、ＣＰＵで実行されることにより、上述の実施形態の装置が実現される。 The three-dimensional shape calculation apparatus 20 described above, in particular, the camera calibration unit 26 is realized by executing a program describing the functions or processing contents of the above-described units on a general-purpose computer, for example. The computer has a configuration in which, for example, a CPU (Central Processing Unit), primary storage, various I / O (input / output) interfaces, and the like are connected to each other via a bus as hardware. A drive that handles fixed secondary storage such as a hard disk device or a portable nonvolatile recording medium such as a CD, DVD, or flash memory is connected to the bus via an I / O interface. A program describing the processing contents of each unit of the apparatus of the above-described embodiment is stored in a fixed secondary storage via a portable recording medium or a network, and is installed in a computer. And the apparatus of the above-mentioned embodiment is implement | achieved by the installed program being read to primary storage and being performed with CPU.
なお、カメラ校正部２６の処理はその大部分が画像処理なので、このようにその一部又は全ての処理機能をＡＳＩＣ(Application Specific Integrated Circuit)等のハードウエア回路や、デジタル・シグナル・プロセッサなどとして構成することも可能である。 Since most of the processing of the camera calibration unit 26 is image processing, a part or all of the processing functions are used as hardware circuits such as an ASIC (Application Specific Integrated Circuit) or a digital signal processor. It is also possible to configure.
１０，１０Ａ，１０Ｂ レンジファインダ、１２Ａ，１２Ｂ 投光部、１４Ａ，１４Ｂ カメラ部、２０ 三次元形状計算装置、２２ 座標変換部、２４ 合成部、２６ カメラ校正部、４０ 基準平面。 10, 10A, 10B Range finder, 12A, 12B Projection unit, 14A, 14B Camera unit, 20 Three-dimensional shape calculation device, 22 Coordinate conversion unit, 24 Composition unit, 26 Camera calibration unit, 40 Reference plane.
Claims (9)
前記ワールド座標系を規定する基準平面を前記レンジファインダで三次元計測して前記基準平面上の各点のカメラ座標系での三次元位置を求める工程と、
それら各点のカメラ座標系での三次元位置に基づき前記基準平面の前記カメラ座標系での法線方向を計算する工程と、
計算により求められた法線方向が前記ワールド座標系の１つの座標軸方向となるように前記カメラ座標系から前記ワールド座標系への座標変換を計算する工程と、
を有するレンジファインダ校正方法。 A rangefinder calibration method for obtaining a coordinate transformation from the camera coordinate system of the rangefinder to the world coordinate system,
Obtaining a three-dimensional position in the camera coordinate system of each point on the reference plane by three-dimensionally measuring a reference plane defining the world coordinate system with the range finder;
Calculating a normal direction in the camera coordinate system of the reference plane based on a three-dimensional position of each point in the camera coordinate system;
Calculating a coordinate transformation from the camera coordinate system to the world coordinate system so that a normal direction obtained by the calculation is one coordinate axis direction of the world coordinate system;
A rangefinder calibration method.
前記基準平面には、前記ワールド座標系の原点と１つの座標軸とを特定するためのパターンが示され、
前記カメラ座標系から前記ワールド座標系への座標変換を計算する工程は、
前記パターンから特定される前記原点の前記カメラ座標系での三次元位置を前記レンジファインダによる三次元計測の結果から求め、求めた三次元位置に基づき前記カメラ座標系から前記ワールド座標系への並進ベクトルを求めるサブ工程と、
前記パターンから特定される前記座標軸上の各点の三次元位置からその座標軸の三次元方向を計算するサブ工程と、
前記パターンから特定される前記座標軸の三次元方向が前記ワールド座標系での所定の１つの座標軸の方向となり、前記法線方向が前記ワールド座標系での他の所定の１つの座標軸の方向となるよう、前記カメラ座標系から前記ワールド座標系への変換行列を求めるサブ工程と、
を有することを特徴とするレンジファインダ校正方法。 The method of claim 1, comprising:
The reference plane shows a pattern for specifying the origin of the world coordinate system and one coordinate axis,
Calculating a coordinate transformation from the camera coordinate system to the world coordinate system;
The three-dimensional position in the camera coordinate system of the origin specified from the pattern is obtained from the result of three-dimensional measurement by the range finder, and the translation from the camera coordinate system to the world coordinate system based on the obtained three-dimensional position A sub-process for obtaining a vector;
A sub-step of calculating a three-dimensional direction of the coordinate axis from a three-dimensional position of each point on the coordinate axis specified from the pattern;
The three-dimensional direction of the coordinate axis specified from the pattern is the direction of one predetermined coordinate axis in the world coordinate system, and the normal direction is the direction of another predetermined one of the coordinate axes in the world coordinate system. Sub-step for obtaining a transformation matrix from the camera coordinate system to the world coordinate system,
A rangefinder calibration method characterized by comprising:
互いに法線方向が異なり且つ各々の法線方向の前記ワールド座標系に対する関係が既知の複数の基準平面を前記レンジファインダで計測することにより、前記各基準平面上の各点の前記カメラ座標系での三次元位置を求める工程と、
前記基準平面ごとに、その基準平面上の各点のカメラ座標系での三次元位置に基づきその基準平面の前記カメラ座標系での法線方向を計算する工程と、
前記各基準平面の法線方向に基づき前記ワールド座標系の３つの座標軸の三次元方向をそれぞれ計算する工程と、
計算により得られた前記ワールド座標系の各座標軸の三次元方向に基づき、前記カメラ座標系から前記ワールド座標系への座標変換を計算する工程と、
を有するレンジファインダ校正方法。 A rangefinder calibration method for obtaining a coordinate transformation from the camera coordinate system of the rangefinder to the world coordinate system,
By measuring a plurality of reference planes whose normal directions are different from each other and the relation of each normal direction to the world coordinate system is known with the range finder, each point on each reference plane is measured in the camera coordinate system. A process for obtaining a three-dimensional position of
For each reference plane, calculating a normal direction in the camera coordinate system of the reference plane based on a three-dimensional position in the camera coordinate system of each point on the reference plane;
Calculating three-dimensional directions of three coordinate axes of the world coordinate system based on normal directions of the respective reference planes;
Calculating a coordinate transformation from the camera coordinate system to the world coordinate system based on a three-dimensional direction of each coordinate axis of the world coordinate system obtained by calculation;
A rangefinder calibration method.
前記複数の基準平面の少なくとも一つには、前記ワールド座標系の原点を特定するためのパターンが示され、
前記カメラ座標系から前記ワールド座標系への座標変換を計算する工程は、
前記パターンから特定される前記原点の前記カメラ座標系での三次元位置を前記レンジファインダによる三次元計測の結果から求め、求めた三次元位置に基づき前記カメラ座標系から前記ワールド座標系への並進ベクトルを求めるサブ工程と、
計算により得られた前記ワールド座標系の各座標軸の三次元方向に基づき、前記カメラ座標系から前記ワールド座標系への回転行列を求めるサブ工程と、
を有することを特徴とするレンジファインダ校正方法。 The method of claim 3, comprising:
At least one of the plurality of reference planes shows a pattern for specifying the origin of the world coordinate system,
Calculating a coordinate transformation from the camera coordinate system to the world coordinate system;
The three-dimensional position in the camera coordinate system of the origin specified from the pattern is obtained from the result of three-dimensional measurement by the range finder, and the translation from the camera coordinate system to the world coordinate system based on the obtained three-dimensional position A sub-process for obtaining a vector;
A sub-step of obtaining a rotation matrix from the camera coordinate system to the world coordinate system based on the three-dimensional direction of each coordinate axis of the world coordinate system obtained by calculation;
A rangefinder calibration method characterized by comprising:
前記複数の基準平面として１つの交点で交わる３つの基準平面を用い、
前記カメラ座標系から前記ワールド座標系への座標変換を計算する工程は、
前記各基準平面上の各点の三次元位置の計測結果から前記交点の前記カメラ座標系での三次元位置を求め、求めた三次元位置が前記ワールド座標系の原点となるように前記カメラ座標系から前記ワールド座標系への並進ベクトルを求めるサブ工程と、
計算により得られた前記ワールド座標系の各座標軸の三次元方向に基づき、前記カメラ座標系から前記ワールド座標系への回転行列を求めるサブ工程と、
を有することを特徴とするレンジファインダ校正方法。 A rangefinder calibration method according to claim 3,
Using three reference planes that intersect at one intersection as the plurality of reference planes,
Calculating a coordinate transformation from the camera coordinate system to the world coordinate system;
The three-dimensional position in the camera coordinate system of the intersection is obtained from the measurement result of the three-dimensional position of each point on each reference plane, and the camera coordinates so that the obtained three-dimensional position becomes the origin of the world coordinate system A sub-step for obtaining a translation vector from a system to the world coordinate system;
A sub-step of obtaining a rotation matrix from the camera coordinate system to the world coordinate system based on the three-dimensional direction of each coordinate axis of the world coordinate system obtained by calculation;
A rangefinder calibration method characterized by comprising:
前記並進ベクトルを求めるサブ工程では、
前記パターンのうち前記レンジファインダにより撮影された部分を前記パターンの画像とパターンマッチングすることにより、その部分の前記パターン上での位置を特定し、その位置と前記原点との位置関係と、前記レンジファインダによる三次元計測により求められたその部分の三次元位置とに基づき、前記原点の三次元位置を計算する、
ことを特徴とするレンジファインダ校正方法。 The method according to claim 2 or 4, comprising:
In the sub-process for obtaining the translation vector,
Of the pattern, the portion photographed by the range finder is pattern-matched with the image of the pattern to identify the position of the portion on the pattern, the positional relationship between the position and the origin, and the range Based on the three-dimensional position of the part obtained by three-dimensional measurement with a finder, the three-dimensional position of the origin is calculated.
Rangefinder calibration method characterized by the above.
基準軸から放射状に延びる複数の基準平面であって各々の法線方向のワールド座標系に対する関係が既知の複数の基準平面を備えた基準体を、前記各レンジファインダの視野にそれぞれ２つの基準平面が入るようにセットする準備工程と、
レンジファインダごとに、そのレンジファインダのカメラ座標系から前記ワールド座標系への座標変換を求めるレンジファインダごとの計測工程と、
を有し、
前記レンジファインダごとの計測工程は、
当該レンジファインダの視野内の２つの基準平面を計測することによりそれら基準平面上の各点の前記カメラ座標系での三次元位置を求める工程と、
前記基準平面ごとに、その基準平面上の各点のカメラ座標系での三次元位置に基づきその基準平面の前記カメラ座標系での法線方向を計算する工程と、
前記各基準平面の法線方向に基づき前記ワールド座標系の３つの座標軸の三次元方向をそれぞれ計算する工程と、
計算により得られた前記ワールド座標系の各座標軸の三次元方向に基づき、前記カメラ座標系から前記ワールド座標系への座標変換を計算する工程と、
を有する、レンジファインダ校正方法。 For each of a plurality of range finders, a range finder calibration method for obtaining coordinate conversion from the camera coordinate system of the range finder to a common world coordinate system,
Two reference planes each having a plurality of reference planes extending radially from the reference axis and having a plurality of reference planes whose relations to the world coordinate system in the respective normal directions are known are provided in the field of view of each range finder. A preparatory process for setting to enter,
For each range finder, a measurement process for each range finder that obtains coordinate transformation from the camera coordinate system of the range finder to the world coordinate system,
Have
The measurement process for each range finder is:
Determining a three-dimensional position in the camera coordinate system of each point on the reference plane by measuring two reference planes in the field of view of the rangefinder;
For each reference plane, calculating a normal direction in the camera coordinate system of the reference plane based on a three-dimensional position in the camera coordinate system of each point on the reference plane;
Calculating three-dimensional directions of three coordinate axes of the world coordinate system based on normal directions of the respective reference planes;
Calculating a coordinate transformation from the camera coordinate system to the world coordinate system based on a three-dimensional direction of each coordinate axis of the world coordinate system obtained by calculation;
A range finder calibration method.
前記ワールド座標系を規定する基準平面を前記レンジファインダで三次元計測して前記基準平面上の各点のカメラ座標系での三次元位置を求める手段と、
それら各点のカメラ座標系での三次元位置に基づき前記基準平面の前記カメラ座標系での法線方向を計算する手段と、
計算により求められた法線方向が前記ワールド座標系の１つの座標軸方向となるように前記カメラ座標系から前記ワールド座標系への座標変換を計算する手段と、
を有するレンジファインダ校正装置。 A range finder calibration device that calculates a coordinate transformation from the camera coordinate system of the range finder to the world coordinate system,
Means for obtaining a three-dimensional position in the camera coordinate system of each point on the reference plane by three-dimensionally measuring a reference plane defining the world coordinate system with the range finder;
Means for calculating a normal direction in the camera coordinate system of the reference plane based on a three-dimensional position in the camera coordinate system of each point;
Means for calculating a coordinate transformation from the camera coordinate system to the world coordinate system so that a normal direction obtained by the calculation becomes one coordinate axis direction of the world coordinate system;
Range finder calibration device having
互いに法線方向が異なり且つ各々の法線方向の前記ワールド座標系に対する関係が既知の複数の基準平面を前記レンジファインダで計測することにより、前記各基準平面上の各点の前記カメラ座標系での三次元位置を求める手段と、
前記基準平面ごとに、その基準平面上の各点のカメラ座標系での三次元位置に基づきその基準平面の前記カメラ座標系での法線方向を計算する手段と、
前記各基準平面の法線方向に基づき前記ワールド座標系の３つの座標軸の三次元方向をそれぞれ計算する手段と、
計算により得られた前記ワールド座標系の各座標軸の三次元方向に基づき、前記カメラ座標系から前記ワールド座標系への座標変換を計算する手段と、
を有するレンジファインダ校正装置。 A range finder calibration device that calculates a coordinate transformation from the camera coordinate system of the range finder to the world coordinate system,
By measuring a plurality of reference planes whose normal directions are different from each other and the relation of each normal direction to the world coordinate system is known with the range finder, each point on each reference plane is measured in the camera coordinate system. Means for obtaining the three-dimensional position of
Means for calculating, for each reference plane, a normal direction in the camera coordinate system of the reference plane based on a three-dimensional position in the camera coordinate system of each point on the reference plane;
Means for calculating three-dimensional directions of three coordinate axes of the world coordinate system based on normal directions of the respective reference planes;
Means for calculating a coordinate transformation from the camera coordinate system to the world coordinate system based on a three-dimensional direction of each coordinate axis of the world coordinate system obtained by calculation;
Range finder calibration device having
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006081174A JP4885584B2 (en) | 2006-03-23 | 2006-03-23 | Rangefinder calibration method and apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006081174A JP4885584B2 (en) | 2006-03-23 | 2006-03-23 | Rangefinder calibration method and apparatus |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2007256091A true JP2007256091A (en) | 2007-10-04 |
| JP4885584B2 JP4885584B2 (en) | 2012-02-29 |
Family
ID=38630492
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006081174A Expired - Fee Related JP4885584B2 (en) | 2006-03-23 | 2006-03-23 | Rangefinder calibration method and apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4885584B2 (en) |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009204532A (en) * | 2008-02-28 | 2009-09-10 | Aisin Seiki Co Ltd | Calibration device and calibration method of range image sensor |
| JP2010002326A (en) * | 2008-06-20 | 2010-01-07 | Stanley Electric Co Ltd | Movement vector detector |
| JP2010044050A (en) * | 2008-07-14 | 2010-02-25 | Ihi Corp | Method of recognizing posture of laser radar and laser radar |
| JP2011007616A (en) * | 2009-06-25 | 2011-01-13 | Honda Motor Co Ltd | Three-dimensional shape measurement system |
| JP2011011321A (en) * | 2009-07-06 | 2011-01-20 | Fuji Electric Holdings Co Ltd | Robot system and calibration method for the same |
| JP2012103134A (en) * | 2010-11-10 | 2012-05-31 | Topcon Corp | Structure model creation apparatus and method thereof |
| CN102589426A (en) * | 2012-01-13 | 2012-07-18 | 同济大学 | Geology photographing system and method capable of automatically calibrating size |
| WO2014044505A1 (en) * | 2012-09-24 | 2014-03-27 | Evonik Litarion Gmbh | Method for aligning two laser sensors in relation to each other |
| WO2014044508A1 (en) * | 2012-09-24 | 2014-03-27 | Evonik Litarion Gmbh | Method for orienting a laser sensor in relation to a measurement object |
| CN109685857A (en) * | 2018-12-28 | 2019-04-26 | 深圳视觉龙智能传感器有限公司 | A kind of automatic screen-printing machine vision calibration and contraposition fitting algorithm |
| WO2019131318A1 (en) * | 2017-12-28 | 2019-07-04 | 株式会社エンプラス | Marker |
| JP2020106475A (en) * | 2018-12-28 | 2020-07-09 | 株式会社日立エルジーデータストレージ | Sensor system and distance measuring method |
| JPWO2020208686A1 (en) * | 2019-04-08 | 2020-10-15 | ||
| US10935968B2 (en) | 2017-10-27 | 2021-03-02 | Fanuc Corporation | Robot, robot system, and method for setting coordinate system of robot |
| CN112654886A (en) * | 2020-05-27 | 2021-04-13 | 华为技术有限公司 | External parameter calibration method, device, equipment and storage medium |
| CN113223095A (en) * | 2021-05-25 | 2021-08-06 | 中国人民解放军63660部队 | Internal and external parameter calibration method based on known camera position |
| CN115086541A (en) * | 2021-03-15 | 2022-09-20 | 北京字跳网络技术有限公司 | Shooting position determining method, device, equipment and medium |
| JP2022153541A (en) * | 2017-11-13 | 2022-10-12 | 株式会社トプコン | Surveying device, surveying method, and program |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS63311485A (en) * | 1987-06-13 | 1988-12-20 | Omron Tateisi Electronics Co | Automatic calibration device |
| JPH0835828A (en) * | 1994-07-25 | 1996-02-06 | Kobe Steel Ltd | Calibration method of three-dimensional measuring apparatus |
| JPH0843026A (en) * | 1994-07-29 | 1996-02-16 | Mazda Motor Corp | Calibration device and hologram |
| JPH1047920A (en) * | 1996-08-07 | 1998-02-20 | Komatsu Ltd | Calibration method |
| JP2002202122A (en) * | 2001-01-05 | 2002-07-19 | Olympus Optical Co Ltd | Calibration method for two-dimensional distance image sensor |
| JP2004213332A (en) * | 2002-12-27 | 2004-07-29 | Olympus Corp | Calibration device, calibration method, program for calibration, and calibration mending tool |
| JP2005249402A (en) * | 2004-03-01 | 2005-09-15 | Pulstec Industrial Co Ltd | System, method, and stage apparatus for measuring three-dimensional shape |
| JP2005352630A (en) * | 2004-06-09 | 2005-12-22 | Pulstec Industrial Co Ltd | Method for obtaining coordinate conversion coefficient, apparatus therefor and computer program |
-
2006
- 2006-03-23 JP JP2006081174A patent/JP4885584B2/en not_active Expired - Fee Related
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS63311485A (en) * | 1987-06-13 | 1988-12-20 | Omron Tateisi Electronics Co | Automatic calibration device |
| JPH0835828A (en) * | 1994-07-25 | 1996-02-06 | Kobe Steel Ltd | Calibration method of three-dimensional measuring apparatus |
| JPH0843026A (en) * | 1994-07-29 | 1996-02-16 | Mazda Motor Corp | Calibration device and hologram |
| JPH1047920A (en) * | 1996-08-07 | 1998-02-20 | Komatsu Ltd | Calibration method |
| JP2002202122A (en) * | 2001-01-05 | 2002-07-19 | Olympus Optical Co Ltd | Calibration method for two-dimensional distance image sensor |
| JP2004213332A (en) * | 2002-12-27 | 2004-07-29 | Olympus Corp | Calibration device, calibration method, program for calibration, and calibration mending tool |
| JP2005249402A (en) * | 2004-03-01 | 2005-09-15 | Pulstec Industrial Co Ltd | System, method, and stage apparatus for measuring three-dimensional shape |
| JP2005352630A (en) * | 2004-06-09 | 2005-12-22 | Pulstec Industrial Co Ltd | Method for obtaining coordinate conversion coefficient, apparatus therefor and computer program |
Cited By (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009204532A (en) * | 2008-02-28 | 2009-09-10 | Aisin Seiki Co Ltd | Calibration device and calibration method of range image sensor |
| JP2010002326A (en) * | 2008-06-20 | 2010-01-07 | Stanley Electric Co Ltd | Movement vector detector |
| JP2010044050A (en) * | 2008-07-14 | 2010-02-25 | Ihi Corp | Method of recognizing posture of laser radar and laser radar |
| JP2011007616A (en) * | 2009-06-25 | 2011-01-13 | Honda Motor Co Ltd | Three-dimensional shape measurement system |
| JP2011011321A (en) * | 2009-07-06 | 2011-01-20 | Fuji Electric Holdings Co Ltd | Robot system and calibration method for the same |
| JP2012103134A (en) * | 2010-11-10 | 2012-05-31 | Topcon Corp | Structure model creation apparatus and method thereof |
| CN102589426A (en) * | 2012-01-13 | 2012-07-18 | 同济大学 | Geology photographing system and method capable of automatically calibrating size |
| WO2014044505A1 (en) * | 2012-09-24 | 2014-03-27 | Evonik Litarion Gmbh | Method for aligning two laser sensors in relation to each other |
| WO2014044508A1 (en) * | 2012-09-24 | 2014-03-27 | Evonik Litarion Gmbh | Method for orienting a laser sensor in relation to a measurement object |
| US10935968B2 (en) | 2017-10-27 | 2021-03-02 | Fanuc Corporation | Robot, robot system, and method for setting coordinate system of robot |
| JP2022153541A (en) * | 2017-11-13 | 2022-10-12 | 株式会社トプコン | Surveying device, surveying method, and program |
| WO2019131318A1 (en) * | 2017-12-28 | 2019-07-04 | 株式会社エンプラス | Marker |
| CN109685857A (en) * | 2018-12-28 | 2019-04-26 | 深圳视觉龙智能传感器有限公司 | A kind of automatic screen-printing machine vision calibration and contraposition fitting algorithm |
| JP2020106475A (en) * | 2018-12-28 | 2020-07-09 | 株式会社日立エルジーデータストレージ | Sensor system and distance measuring method |
| CN109685857B (en) * | 2018-12-28 | 2023-11-24 | 深圳视觉龙智能传感器有限公司 | Full-automatic screen printer vision calibration and alignment laminating algorithm |
| JP7194015B2 (en) | 2018-12-28 | 2022-12-21 | 株式会社日立エルジーデータストレージ | Sensor system and distance measurement method |
| JPWO2020208686A1 (en) * | 2019-04-08 | 2020-10-15 | ||
| JP7151879B2 (en) | 2019-04-08 | 2022-10-12 | 日本電気株式会社 | Camera calibration device, camera calibration method, and program |
| US11521333B2 (en) | 2019-04-08 | 2022-12-06 | Nec Corporation | Camera calibration apparatus, camera calibration method, and non-transitory computer readable medium storing program |
| WO2020208686A1 (en) * | 2019-04-08 | 2020-10-15 | 日本電気株式会社 | Camera calibration device, camera calibration method, and non-transitory computer-readable medium having program stored thereon |
| US11830223B2 (en) | 2019-04-08 | 2023-11-28 | Nec Corporation | Camera calibration apparatus, camera calibration method, and nontransitory computer readable medium storing program |
| WO2021237520A1 (en) * | 2020-05-27 | 2021-12-02 | 华为技术有限公司 | Method and apparatus for calibrating extrinsics, and device and storage medium |
| CN112654886A (en) * | 2020-05-27 | 2021-04-13 | 华为技术有限公司 | External parameter calibration method, device, equipment and storage medium |
| CN115086541A (en) * | 2021-03-15 | 2022-09-20 | 北京字跳网络技术有限公司 | Shooting position determining method, device, equipment and medium |
| CN115086541B (en) * | 2021-03-15 | 2023-12-22 | 北京字跳网络技术有限公司 | Shooting position determining method, device, equipment and medium |
| CN113223095B (en) * | 2021-05-25 | 2022-06-17 | 中国人民解放军63660部队 | Internal and external parameter calibration method based on known camera position |
| CN113223095A (en) * | 2021-05-25 | 2021-08-06 | 中国人民解放军63660部队 | Internal and external parameter calibration method based on known camera position |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4885584B2 (en) | 2012-02-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4885584B2 (en) | Rangefinder calibration method and apparatus | |
| US6751338B1 (en) | System and method of using range image data with machine vision tools | |
| JP5480914B2 (en) | Point cloud data processing device, point cloud data processing method, and point cloud data processing program | |
| JP6030549B2 (en) | 3D point cloud position data processing apparatus, 3D point cloud position data processing system, 3D point cloud position data processing method and program | |
| US10237532B2 (en) | Scan colorization with an uncalibrated camera | |
| JP3859574B2 (en) | 3D visual sensor | |
| JP5580164B2 (en) | Optical information processing apparatus, optical information processing method, optical information processing system, and optical information processing program | |
| JP5620200B2 (en) | Point cloud position data processing device, point cloud position data processing method, point cloud position data processing system, and point cloud position data processing program | |
| JP5051493B2 (en) | 3D measurement marker and 3D measurement method using the same | |
| US8208029B2 (en) | Method and system for calibrating camera with rectification homography of imaged parallelogram | |
| JP5465128B2 (en) | Point cloud position data processing device, point cloud position data processing system, point cloud position data processing method, and point cloud position data processing program | |
| JP3930482B2 (en) | 3D visual sensor | |
| WO2013008804A1 (en) | Measurement device and information processing device | |
| JP2003130621A (en) | Method and system for measuring three-dimensional shape | |
| JP2009053147A (en) | Three-dimensional measuring method and three-dimensional measuring device | |
| JP2012058076A (en) | Three-dimensional measurement device and three-dimensional measurement method | |
| CN107025663A (en) | It is used for clutter points-scoring system and method that 3D point cloud is matched in vision system | |
| JP2001524228A (en) | Machine vision calibration target and method for determining position and orientation of target in image | |
| JP7353757B2 (en) | Methods for measuring artifacts | |
| JP4379626B2 (en) | Three-dimensional shape measuring method and apparatus | |
| Wohlfeil et al. | Automatic camera system calibration with a chessboard enabling full image coverage | |
| JP2005140547A (en) | 3-dimensional measuring method, 3-dimensional measuring device and computer program | |
| US20230083150A1 (en) | Scanning system and calibration thereof | |
| JP6921036B2 (en) | A laser calibrator, a method for calibrating the laser, and an image input device including the laser calibrator. | |
| JP6867766B2 (en) | Information processing device and its control method, program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090318 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110428 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110510 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110708 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111115 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111208 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141216 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4885584 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |