JP2001116656A - Camera calibration method and device - Google Patents
Camera calibration method and deviceInfo
- Publication number
- JP2001116656A JP2001116656A JP29828299A JP29828299A JP2001116656A JP 2001116656 A JP2001116656 A JP 2001116656A JP 29828299 A JP29828299 A JP 29828299A JP 29828299 A JP29828299 A JP 29828299A JP 2001116656 A JP2001116656 A JP 2001116656A
- Authority
- JP
- Japan
- Prior art keywords
- camera
- lens
- focal length
- image
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Testing Of Optical Devices Or Fibers (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、テレビジョンカメ
ラ等のカメラの内部パラメータを求めるキャリブレーシ
ョン（以下、カメラキャリブレーションと言う）方法お
よび装置に係り、特に、レンズの焦点距離を高精度に推
定する方法および装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a calibration method (hereinafter referred to as camera calibration) for determining internal parameters of a camera such as a television camera, and more particularly, to a method of estimating a focal length of a lens with high accuracy. Method and apparatus.
【０００２】[0002]
【従来の技術】カメラキャリブレーションとは、３次元
空間中の位置座標のわかった目標点とそれに対応した画
像上での点の座標とから、レンズの焦点距離、レンズの
光軸と画像面の交点である光学中心、およびレンズの歪
曲収差などカメラの内部パラメータを推定することであ
る。その代表的なものとしては、Tsaiのキャリブレーシ
ョン手法（R.Y. Tsai,“A Versatitle Camera Calibrat
ion Technique for High- Accuracy 3D Machine Vision
Metrology Using Off-the-Shelf TV Cameras and Lens
es”,IEEE J.Robotics and Automation, vol. 3, no.
4, pp.323-331, Aug.1987) が最も良く使われている。2. Description of the Related Art Camera calibration is based on a target point whose position coordinates are known in a three-dimensional space and the coordinates of a point on an image corresponding to the target point. It is to estimate internal parameters of the camera such as the optical center which is the intersection and the distortion of the lens. A typical example is Tsai's calibration method (RY Tsai, “A Versatitle Camera Calibrat
ion Technique for High- Accuracy 3D Machine Vision
Metrology Using Off-the-Shelf TV Cameras and Lens
es ”, IEEE J. Robotics and Automation, vol. 3, no.
4, pp.323-331, Aug.1987).
【０００３】Tsaiのキャリブレーション手法では、多数
の点の世界座標ｘw ，ｙw ，ｚw とそれらそれぞれの点
に対応する画像座標（Ｘf ，Ｙf ）の組が与えられたと
きに、外部パラメータとして回転行列Ｒ（未知数３個）
と平行移動ベクトルＴ（未知数３個）、内部パラメータ
として焦点距離ｆ、レンズ歪み係数ｋ1 、スケール係数
ｓx 、画像原点（Ｃx ，Ｃy ）のすべての１１個のパラ
メータを求める問題になる。これは、次の１から３まで
の手順を踏んで求められる。 １．まず３次元空間中の位置座標のわかったＮ個のキャ
リブレーション点を撮影した画像から点Ｐi の画像座標
（Ｘfi，Ｙfi）を求める。 ２．次に、カメラの仕様からＸ方向（Tsaiのキャリブレ
ーション手法における座標関係を示す図１参照）のＣＣ
Ｄ素子数Ｎcx、１走査線のサンプル数Ｎfx、補正された
Ｘ方向のＣＣＤ素子の間隔ｄ′x ，Ｙ方向のＣＣＤ素子
の間隔ｄy を求める。 ３．以下に説明する「世界座標と画像座標の関係」中に
示される式（１２）、（１３）を非線形最適化問題とし
て解き、各パラメータを求める。In Tsai's calibration method, when a set of world coordinates x w , y w , z w of a number of points and image coordinates (X f , Y f ) corresponding to those points is given, Rotation matrix R as external parameter (3 unknowns)
And the translation vector T (three unknowns), the focal length f, the lens distortion coefficient k 1 , the scale coefficient s x , and the image origin (C x , C y ) as the internal parameters. . This is obtained through the following steps 1 to 3. 1. First, image coordinates (X fi , Y fi ) of a point P i are obtained from an image obtained by photographing N calibration points whose position coordinates in a three-dimensional space are known. 2. Next, from the camera specifications, the CC in the X direction (see FIG. 1 showing the coordinate relationship in the Tsai calibration method)
D number of elements N cx, 1 sample number N fx of scan lines, the interval d 'x of the CCD elements of the corrected X-direction, determining the distance d y in the Y direction of the CCD elements. 3. Equations (12) and (13) shown in “Relationship between world coordinates and image coordinates” described below are solved as nonlinear optimization problems, and parameters are obtained.
【０００４】Tsaiのキャリブレーション手法における座
標関係を示す図１を参照して、「世界座標（ｘw ，ｙ
w ，ｚW ）と画像座標（Ｘf , Ｙf ）の関係」を説明す
る。図１に示すように、基準となる世界座標Ｏw −ｘw
−ｙw −ｚw における点Ｐの座標を（ｘw ，ｙw ，ｚ
w ）で表し、カメラ座標Ｏ−ｘ−ｙ−ｚにおける点Ｐの
座標を（ｘ，ｙ，ｚ）で表す。ここに、Ｏはレンズ中心
（以下、ピンホールと言う）を表し、ｚ軸はレンズの光
軸に一致するように設定する。Referring to FIG. 1 showing a coordinate relationship in the Tsai calibration method, “world coordinates (x w , y
w , z W ) and image coordinates (X f , Y f ) ”. As shown in FIG. 1, reference world coordinates O w -x w
The coordinates of the point P at −y w −z w are (x w , y w , z
w ), and the coordinates of the point P at the camera coordinates Oxyz are represented by (x, y, z). Here, O represents the center of the lens (hereinafter referred to as a pinhole), and the z-axis is set to coincide with the optical axis of the lens.
【０００５】いま、ｘ−ｙ平面に平行で、ｚ座標がｆの
位置に画像中心がＯi 、座標軸がＸ−Ｙの画像平面を考
える（図１参照）。理想的なピンホールカメラの場合に
は、点Ｐの座標（ｘ，ｙ，ｚ）は画像平面上では（Ｘ
u ，Ｙu ）で表されるが、それは、レンズの幾何学的な
歪みにより実際には画像平面上の（Ｘd ，Ｙd ）の位置
に対応するものとする。そして（Ｘd ，Ｙd ）のデジタ
ル画像上での離散化された座標を（Ｘf ，Ｙf ）で表
す。点Ｐの世界座標（ｘw ，ｙw ，ｚw ）とその点に対
応する画像座標（Ｘf ，Ｙ f ）の関係は以下の１．から
４．までの手順で導くことができる。Now, it is parallel to the xy plane and the z coordinate is f.
The center of the image is Oi Consider the image plane whose coordinate axes are XY.
(See FIG. 1). For an ideal pinhole camera
Means that the coordinates (x, y, z) of the point P are (X
u , Yu ), Which is the geometric
The distortion actually causes (Xd , Yd )Position of
Shall correspond to And (Xd , Yd ) Digital
The discretized coordinates on the image (Xf , Yf )
You. World coordinates of point P (xw , Yw , Zw ) And that point
The corresponding image coordinates (Xf , Y f The relationship of 1) is as follows. From
4. Up to the steps.
【０００６】１．世界座標（ｘw ，ｙw ，ｚw ）からカ
メラ座標Ｏ−ｘ−ｙ−ｚにおける点Ｐの座標（ｘ，ｙ，
ｚ）への変換回転行列Ｒと平行移動ベクトルＴを用いて
（２）式により行う。[0006] 1. From the world coordinates (x w , y w , z w ), the coordinates (x, y, x) of the point P at the camera coordinates O-x-y-z
z) is performed according to the equation (2) using the rotation matrix R and the translation vector T.
【数２】 ただし、回転行列Ｒと平行移動ベクトルＴは（３）式で
表される。(Equation 2) Here, the rotation matrix R and the translation vector T are expressed by the following equation (3).
【数３】 (Equation 3)
【０００７】２．透視変換による（ｘ，ｙ，ｚ）から
（Ｘu ，Ｙu ）への変換焦点距離ｆを用いて（４）式に
より行う。[0007] 2. By perspective transformation (x, y, z) from (X u, Y u) by using the conversion focal length f to perform equation (4).
【数４】 (Equation 4)
【０００８】３．（Ｘu ，Ｙu ）から（Ｘd ，Ｙd ）へ
の変換（５）式により行う。[0008] 3. Conversion from (X u , Y u ) to (X d , Y d ) is performed by equation (5).
【数５】 Ｘd ＋Ｄx ＝Ｘu ， Ｙd ＋Ｄy ＝Ｙu (5) ただし、Ｄx ，Ｄy はレンズの半径方向の歪み係数ｋ1
を用いて（６），（７）式で表される。X d + D x = X u , Y d + D y = Y u (5) where D x and D y are distortion coefficients k 1 in the radial direction of the lens.
Is expressed by the equations (6) and (7).
【数６】 (Equation 6)
【数７】 (Equation 7)
【０００９】４．（Ｘd ，Ｙd ）から画像座標（Ｘf ，
Ｙf ）への変換（８），（９）式により行う。4. From (X d , Y d ) to image coordinates (X f ,
Y f ) is performed according to equations (8) and (9).
【数８】 (Equation 8)
【数９】 ただし、ｓx はスケール係数、（Ｃx ，Ｃy ）はデジタ
ル画像平面上での画像中心Ｏi 、ｄx ，ｄy はそれぞれ
Ｘ方向、Ｙ方向のＣＣＤ素子の間隔を表す。なお、ｄ′
x は、Ｘ方向のＣＣＤ素子数Ｎcxと１走査線のサンプル
数Ｎfxとを用いて（１０）式によりｄx を補正したもの
である。(Equation 9) Here, s x is a scale factor, (C x , C y ) is the image center O i on the digital image plane, and d x , dy are the distances between the CCD elements in the X and Y directions, respectively. Note that d '
x is a value obtained by correcting d x by the equation (10) using the number of CCD elements N cx in the X direction and the number of samples N fx for one scanning line.
【数１０】 (Equation 10)
【００１０】以上の関係を整理すると、（１１）式のよ
うになる。When the above relations are arranged, the following equation (11) is obtained.
【数１１】 Ｘ＝Ｘf −Ｃx ， Ｙ＝Ｙf −Ｃy (11) （１１）式を用いてX = X f −C x , Y = Y f −C y (11)
【数１２】 (Equation 12)
【数１３】 また、(Equation 13) Also,
【数１４】 [Equation 14]
【数１５】 の（１２）〜（１５）式が得られる。ただし、ｒは（１
６）式で表される関係にある。(Equation 15) Equations (12) to (15) are obtained. Where r is (1
6) The relationship is represented by the expression.
【数１６】 以上でTsaiのキャリブレーション手法の説明を終わる。(Equation 16) This concludes the description of Tsai's calibration method.
【００１１】[0011]
【発明が解決しようとする課題】カメラの内部パラメー
タのうち、もっとも重要なのがレンズの焦点距離であ
る。しかしながら、Tsaiのキャリブレーション手法に代
表される従来のカメラキャリブレーション手法は、１枚
の画像しか用いていないため、焦点距離が長い場合には
焦点距離の十分な推定精度を得ることができない。これ
は、焦点距離が大きくなると視野角が狭くなるため、１
枚の画像内で利用できるターゲット点（座標値が既知の
３次元空間中の被写体の点）が奥行き方向に十分なデー
タを有しないためであると考えられる。Among the camera's internal parameters, the most important is the focal length of the lens. However, since the conventional camera calibration method represented by the Tsai calibration method uses only one image, sufficient estimation accuracy of the focal length cannot be obtained when the focal length is long. This is because, as the focal length increases, the viewing angle becomes narrower.
It is considered that this is because the target point (the point of the subject in the three-dimensional space whose coordinate value is known) available in the images does not have sufficient data in the depth direction.
【００１２】また、２枚の画像を用いてカメラキャリブ
レーションを行うものとして、K. Tarabanis, et al.
“Calibration of a Computer Cnotrolled Robotic Vis
ion Sensor with a Zoon Lens ”, CVGIP ，Image Unde
rstanding, Vol. 59, No.2, March, pp. 226−241, 199
4 がある。この手法は、カメラを移動させ、移動前後の
それぞれの位置において被写体を撮影し、それぞれの撮
影における像の倍率とカメラの移動距離を測定し、それ
ら測定結果から焦点距離を推定するものである。[0012] Further, as a camera calibration using two images, K. Tarabanis, et al.
“Calibration of a Computer Cnotrolled Robotic Vis
ion Sensor with a Zoon Lens ”, CVGIP, Image Unde
rstanding, Vol. 59, No. 2, March, pp. 226-241, 199
There are four. In this method, a camera is moved, a subject is photographed at each position before and after the movement, the magnification of the image and the moving distance of the camera in each photographing are measured, and the focal length is estimated from the measurement results.
【００１３】このカメラキャリブレーション手法（Tara
banis らの手法）は、像の倍率を精密に測定できるもの
とすれば、焦点距離を精度よく推定することができる。
しかしながら、この手法は、次の２つの点において問題
点がある。第１に、それぞれのカメラ位置においてピン
トの合った画像を取得することが難しく、また、第２
に、レンズの収差による像の歪みが考慮されていない。
このため、この手法において、像の倍率を精度良く求め
るとは極めて困難である。This camera calibration method (Tara
banis et al.) can accurately estimate the focal length if the magnification of the image can be accurately measured.
However, this method has problems in the following two points. First, it is difficult to obtain an in-focus image at each camera position.
In addition, image distortion due to lens aberration is not taken into account.
Therefore, it is extremely difficult to accurately determine the magnification of the image in this method.
【００１４】結局、Tsaiのキャリブレーション手法に代
表される従来のカメラキャリブレーション手法は、１枚
の画像しか用いていないため、レンズの焦点距離が長い
場合には焦点距離の十分な推定精度を得ることはできな
い。また、Tarabanis らのカメラキャリブレーション手
法は、像の倍率の高精度な測定が必要となるが、実際に
は、画像ボケやレンズの収差による歪みなどの影響のた
め、像の倍率を高精度に求めることが困難になる。従っ
て、この手法によっても高精度な焦点距離の推定を行う
ことはできない。In the end, the conventional camera calibration method represented by the Tsai calibration method uses only one image, so that when the focal length of the lens is long, sufficient estimation accuracy of the focal length is obtained. It is not possible. In addition, the camera calibration method of Tarabanis et al. Requires high-precision measurement of the image magnification, but in reality, the image magnification is highly accurate due to the effects of image blur and distortion due to lens aberration. It will be difficult to find. Therefore, even with this method, highly accurate estimation of the focal length cannot be performed.
【００１５】本発明の目的は、レンズの焦点距離が長い
場合であっても焦点距離の推定精度を十分高めることが
でき、また、従来、カメラを移動させ、それぞれの位置
で得られた２枚の画像を用いてカメラキャリブレーショ
ンを行う場合に必要された像の倍率の測定も必要としな
いカメラキャリブレーション装置を提供することにあ
る。An object of the present invention is to improve the accuracy of estimating the focal length even when the focal length of the lens is long, and to move the camera to obtain two images at each position. It is an object of the present invention to provide a camera calibration apparatus which does not need to measure the magnification of an image required when performing camera calibration using the image.
【００１６】[0016]
【課題を解決するための手段】上記目的を達成するため
に、本発明カメラキャリブレーション方法は、レンズの
光軸に沿って最初の撮影位置からカメラを被写体の方向
またはその反対方向に移動させて前記最初の撮影と同一
の被写体を再度撮影し、これら最初の撮影および再度の
撮影のそれぞれの場合を添字１および２によって示した
とき、それぞれの場合における前記レンズの焦点距離ｆ
と前記被写体から前記カメラのピンホールまでの距離ｚ
1 ，ｚ2 との比ｍ1 ，ｍ2 ｍ1 ＝ｚ1 ／ｆ， ｍ2 ＝ｚ2 ／ｆ をTsaiのキャリブレーション手法によって計算し、該計
算した前記それぞれの比ｍ1 ，ｍ2 と、前記最初の撮影
と前記再度の撮影との間でのカメラ移動距離Δｚとから
（１）式〔数１〕の関係式に基づいて前記レンズの焦点
距離を推定するようにしたことを特徴とするものであ
る。In order to achieve the above object, a camera calibration method according to the present invention comprises moving a camera from an initial photographing position along a lens optical axis to a subject direction or a direction opposite thereto. When the same subject as the first photographing is photographed again, and the respective cases of the first photographing and the second photographing are indicated by suffixes 1 and 2, the focal length f of the lens in each case.
And the distance z from the subject to the pinhole of the camera
1, the ratio m 1 and z 2, m 2 m 1 = z 1 / f, m 2 = a z 2 / f calculated by the calibration method of Tsai, the respective ratios m 1 that the calculated, m 2 and The focal length of the lens is estimated from the camera moving distance Δz between the first photographing and the second photographing, based on the relational expression of Expression (1). Is what you do.
【００１７】また、本発明カメラキャリブレーション装
置は、レンズの光軸に沿って最初の撮影位置からカメラ
を被写体の方向またはその反対方向に移動させて前記最
初の撮影と同一の被写体を再度撮影し、これら最初の撮
影および再度の撮影のそれぞれの場合を添字１および２
によって示したとき、それぞれの場合における前記レン
ズの焦点距離ｆと前記被写体から前記カメラのピンホー
ルまでの距離ｚ1 ，ｚ 2 との比ｍ1 ，ｍ2 ｍ1 ＝ｚ1 ／ｆ， ｍ2 ＝ｚ2 ／ｆ をTsaiのキャリブレーション手法によって計算する手
段、および該計算する手段よって計算した前記それぞれ
の比ｍ1 ，ｍ2 と、前記最初の撮影と前記再度の撮影と
の間でのカメラ移動距離Δｚとから（１）式〔数１〕の
関係式に基づいて前記レンズの焦点距離を推定する手段
を具えてなることを特徴とするものである。Further, the camera calibration device of the present invention
Position the camera from the first shooting position along the optical axis of the lens.
In the direction of the subject or in the opposite direction.
Take the same subject again as the first
Subscripts 1 and 2 for shadows and re-shooting
, The lens in each case
Of the camera from the focal length f of the camera
Distance z1 , Z Two And the ratio m1 , MTwo m1 = Z1 / F, mTwo = ZTwo To calculate / f by Tsai's calibration method
Stage and each of said calculated by said calculating means
Ratio m1 , MTwo And the first shooting and the second shooting
From the camera movement distance Δz between (1) and (2),
Means for estimating the focal length of the lens based on a relational expression
It is characterized by comprising.
【００１８】[0018]
【発明の実施の形態】以下に添付図面を参照し、発明の
実施の形態に基づいて本発明を詳細に説明する。本発明
の説明に入る前に、Tsaiのカメラキャリブレーション手
法では、焦点距離が長い場合にレンズの焦点距離を十分
な精度をもって推定することができなかった理由につい
てもう少し詳しく分析する。Tsaiのキャリブレーション
手法では、他のカメラパラメータは直接的な計算によっ
て求められるのに対し、レンズの焦点距離ｆと被写体か
らカメラのピンホール（レンズ中心）までの距離Ｚは最
後の段階で非線形最適化問題を解くこと（Tsaiのキャリ
ブレーション手法の手順３参照）によって求められる。
この非線形最適化はターゲット点の奥行き方向のデータ
範囲や最適化のアプローチによって左右されやすく、と
くに、レンズの焦点距離が長い場合には推定した焦点距
離の精度低下につながると考えられる。しかし、この場
合であっても、被写体からカメラのピンホールまでの距
離Ｚと焦点距離ｆの比であるｍ＝Ｚ／ｆは正確に推定す
ることができる。これは、比ｍが距離Ｚと焦点距離ｆと
の間に拘束条件があり、距離Ｚと焦点距離ｆがそれぞれ
別個に求められなくても、比ｍは入力されるターゲット
点の３次元座標と画像上での対応点の座標から直接に計
算することができるからである。DESCRIPTION OF THE PREFERRED EMBODIMENTS The present invention will be described in detail below based on embodiments of the present invention with reference to the accompanying drawings. Before describing the present invention, Tsai's camera calibration technique will analyze in more detail why the focal length of the lens could not be estimated with sufficient accuracy when the focal length was long. In Tsai's calibration method, other camera parameters are obtained by direct calculation, while the focal length f of the lens and the distance Z from the subject to the pinhole (lens center) of the camera are nonlinearly optimized at the last stage. By solving the calibration problem (see procedure 3 of Tsai's calibration method).
This non-linear optimization is easily influenced by the data range in the depth direction of the target point and the approach of the optimization. In particular, when the focal length of the lens is long, it is considered that the accuracy of the estimated focal length is reduced. However, even in this case, m = Z / f which is the ratio of the distance Z from the subject to the pinhole of the camera and the focal length f can be accurately estimated. This means that even if the ratio m has a constraint between the distance Z and the focal length f, and the distance Z and the focal length f are not separately obtained, the ratio m is equal to the three-dimensional coordinates of the input target point. This is because it can be calculated directly from the coordinates of the corresponding point on the image.
【００１９】本発明は、Tsaiのカメラキャリブレーショ
ン手法において、距離Ｚと焦点距離ｆとは、それぞれ別
個には求められなくても、それらの比ｍは入力データか
ら直接計算することができるということに着目してなし
たものである。According to the present invention, in the Tsai camera calibration method, the distance m and the focal length f can be calculated directly from the input data even though the distance Z and the focal length f are not separately obtained. It is made by paying attention to.
【００２０】図２は、本発明カメラキャリブレーション
装置の構成を概念的に示している。図２において、１−
１，１−２はともにTsaiのキャリブレーション手法を適
用する回路（実際には、回路が２個あるのではなく、２
回に分けて行うことを示している。この意味で図２は概
念図である。）であり、２は焦点距離推定回路である。FIG. 2 conceptually shows the structure of the camera calibration apparatus of the present invention. In FIG. 2, 1-
1 and 1-2 are circuits to which Tsai's calibration method is applied (actually, there are not two circuits,
This indicates that the operation is to be performed separately. FIG. 2 is a conceptual diagram in this sense. ), And 2 is a focal length estimation circuit.
【００２１】図２を参照して、焦点距離を推定する手法
を詳細に説明する。本発明においては、レンズの焦点距
離を推定するにあたって、２段階の手続が縦続して行わ
れる。第１段階は、図２に示す回路１−１，１−２を使
用したTsaiのキャリブレーション手法の適用であり、第
２段階は、同じく図２に示す回路２によって行われる焦
点距離の推定である。まず、第１段階のTsaiのキャリブ
レーション手法の適用としては、位置が固定された被写
体に対し現在の撮影位置から１回目の撮影を行い、次
に、カメラを光軸に沿って距離Δｚだけ移動させて２回
目の撮影を行う。A method for estimating the focal length will be described in detail with reference to FIG. In the present invention, in estimating the focal length of the lens, a two-step procedure is performed in cascade. The first stage is the application of Tsai's calibration method using the circuits 1-1 and 1-2 shown in FIG. 2, and the second stage is the estimation of the focal length performed by the circuit 2 also shown in FIG. is there. First, as the application of Tsai's calibration method in the first stage, the first photographing is performed from the current photographing position on the subject whose position is fixed, and then the camera is moved along the optical axis by a distance Δz. Then, the second shooting is performed.
【００２２】得られた２枚の画像（それぞれ、「画像
１」、「画像２」で示す）のそれぞれについて、Tsaiの
キャリブレーション手法を適用するために、３次元空間
における位置の座標と画像平面上で対応した位置の座標
を検出する。これら検出した各座標を用いてTsaiのキャ
リブレーション手法により、上記１回目および２回目の
撮影で得られたそれぞれの画像についてキャリブレーシ
ョンを行い、レンズの焦点距離ｆに対する被写体からカ
メラのピンホールまでの距離（それぞれｚ1 とｚ 2 ）の
比、それぞれｍ1 ＝ｚ1 ／ｆ，ｍ2 ＝ｚ2 ／ｆを回路１
−１，１−２によって計算する。The obtained two images (each an "image
1 ”and“ Image 2 ”)
3D space to apply the calibration method
Coordinates of the position in and the corresponding coordinates on the image plane
Is detected. Using these detected coordinates, Tsai's
The first and second times described above
Calibration for each image taken
From the subject to the focal length f of the lens.
The distance to the pinhole of Mera (each z1 And z Two )of
Ratio, each m1 = Z1 / F, mTwo = ZTwo / F to circuit 1
-1 and 1-2.
【００２３】第２段階の焦点距離推定としては、Tsaiの
キャリブレーション手法を適用する回路１−１および１
−２からそれぞれ出力される上記比ｍ1 とｍ2 、それに
上述のカメラの移動量Δｚを用いてレンズの焦点距離ｆ
を推定する。求める焦点距離ｆは、（１７）式により計
算される。As the focal length estimation in the second stage, circuits 1-1 and 1 to which Tsai's calibration method is applied are used.
The focal length f of the lens is calculated using the ratios m 1 and m 2 output from −2 and the camera movement amount Δz described above.
Is estimated. The required focal length f is calculated by equation (17).
【数１７】 （１７）式において、移動量Δｚは、Δｚ＝ｚ1 −ｚ2
（ただし、ｚ1 ，ｚ2は、それぞれ１回目および２回目
の撮影時の被写体からカメラのピンホールまでの距離）
であるが、これら距離ｚ1 ，ｚ2 を知る必要はなく、１
回目と２回目の撮影間のカメラ移動量Δｚを知るだけで
よい。[Equation 17] In the equation (17), the movement amount Δz is Δz = z 1 −z 2
(However, z 1 and z 2 are the distances from the subject to the pinhole of the camera at the time of the first and second shootings, respectively)
However, there is no need to know these distances z 1 and z 2 , and 1
It is only necessary to know the camera movement amount Δz between the first and second shootings.
【００２４】以上は、カメラをレンズの光軸に沿って、
最初の位置から１回移動して、その移動量Δｚに基づい
てレンズの焦点距離ｆを推定したが、さらにもう１回カ
メラを光軸に沿って移動することによって、最初の位置
からとすでに移動してあった位置からのそれぞれに対す
る最終的な位置までのカメラの移動量が求まる。また、
最終的な位置に関する焦点距離ｆと被写体からカメラの
ピンホールまでの距離をｚ3 としたときの、距離ｚ3 に
対する焦点距離の比ｍ3 （＝ｆ／ｚ3 ）もTsaiのキャリ
ブレーション手法を適用して計算することができる。In the above, the camera is moved along the optical axis of the lens,
After moving once from the initial position and estimating the focal length f of the lens based on the amount of movement Δz, the camera is moved again from the initial position by moving the camera along the optical axis once more. The amount of movement of the camera from the previously set position to the final position for each is obtained. Also,
When the distance from the focal length f and the subject regarding the final position to the pinhole camera was z 3, the distance z ratio m 3 of the focal length for the 3 (= f / z 3) also calibration technique Tsai It can be applied and calculated.
【００２５】こうして得られた最終的な位置における撮
影画像（これを「画像３」とする）を用いても、これと
「画像１」または「画像２」（それぞれ１回目、２回目
の撮像画像）との組み合わせによりレンズの焦点距離ｆ
を推定することができる。レンズの焦点距離ｆは、撮影
の都度変わるものではないので、これら多数回（３回以
上）の撮影によって得られた焦点距離を平均化すること
によって一層高精度に焦点距離を推定することができ
る。Even if the photographed image at the final position obtained as described above (hereinafter referred to as “image 3”) is used, it can be used as “image 1” or “image 2” (the first and second captured images, respectively). ) And the focal length f of the lens
Can be estimated. Since the focal length f of the lens does not change every time photographing is performed, the focal length can be estimated with higher accuracy by averaging the focal lengths obtained through these multiple (three or more) photographings. .
【００２６】[0026]
【発明の効果】本発明によれば、撮影距離の異なる２枚
の画像を用いることにより、１枚の画像を用いたキャリ
ブレーション手法における、上述した「焦点距離が大き
くなると視野角が狭くなるため、１枚の画像内で利用で
きるターゲット点が奥行き方向に十分なデータを有しな
い」（発明が解決しようとする課題において説明されて
いる）という問題を解決し、レンズの焦点距離をより正
確に推定することができる。According to the present invention, by using two images having different photographing distances, in the calibration method using one image, the above-mentioned "as the focal length increases, the viewing angle becomes narrower. The target point available in one image does not have enough data in the depth direction ”(as described in the problem to be solved by the invention), and the focal length of the lens can be adjusted more accurately. Can be estimated.
【００２７】また、本発明によれば、直接に像の倍率を
利用するTarabanis のキャリブレーション手法に比べ、
大量の対応点のデータを用いているため、ボケや画像点
検出による誤差を受けにくいことや、レンズの収差によ
る画像の歪みが考慮されていることから、より高い推定
精度が得られる。Further, according to the present invention, compared to the Tarabanis calibration method which directly uses the magnification of an image,
Since a large amount of data of corresponding points is used, higher estimation accuracy can be obtained because errors due to blurring and image point detection are less likely to occur, and image distortion due to lens aberrations is taken into account.
【図１】 Tsaiのキャリブレーション手法における座標
関係を示している。FIG. 1 shows a coordinate relationship in Tsai's calibration method.
【図２】 本発明カメラキャリブレーション装置の構成
を概念的に示している。FIG. 2 conceptually shows the configuration of the camera calibration device of the present invention.
１−１，１−２ Tsaiのキャリブレーション手法を適用
する回路 ２ 焦点距離推定回路1-1, 1-2 Circuit applying Tsai's calibration method 2 Focal length estimation circuit
───────────────────────────────────────────────────── フロントページの続き (72)発明者 金子 豊 東京都世田谷区砧１丁目10番11号 日本放 送協会 放送技術研究所内 (72)発明者 鹿喰 善明 東京都世田谷区砧１丁目10番11号 日本放 送協会 放送技術研究所内 (72)発明者 金次 保明 東京都世田谷区砧１丁目10番11号 日本放 送協会 放送技術研究所内 (72)発明者 田中 豊 東京都世田谷区砧１丁目10番11号 日本放 送協会 放送技術研究所内 Ｆターム(参考） 2F065 AA00 AA02 AA06 AA09 DD03 FF01 FF10 HH13 JJ03 JJ09 JJ26 LL30 MM07 QQ21 QQ29 QQ38 QQ42 2F112 AB05 BA06 CA02 CA13 FA38 FA39 2G086 HH01 ──────────────────────────────────────────────────続 き Continued on the front page (72) Inventor Yutaka Kaneko 1-10-11 Kinuta, Setagaya-ku, Tokyo Japan Broadcasting Corporation Research Institute (72) Inventor Yoshiaki Kakuro 1-1-10 Kinuta, Setagaya-ku, Tokyo 11 Japan Broadcasting Corporation Broadcasting Research Institute (72) Inventor Yasuaki Kinji 1-10-11 Kinuta, Setagaya-ku, Tokyo Japan Broadcasting Corporation Broadcasting Research Institute (72) Inventor Yutaka Tanaka 1 Kinuta, Setagaya-ku, Tokyo 10-10-11 Japan Broadcasting Corporation Japan Broadcasting Engineering Research Laboratory F-term (reference)
Claims (2)
らカメラを被写体の方向またはその反対方向に移動させ
て前記最初の撮影と同一の被写体を再度撮影し、これら
最初の撮影および再度の撮影のそれぞれの場合を添字１
および２によって示したとき、それぞれの場合における
前記レンズの焦点距離ｆと前記被写体から前記カメラの
ピンホールまでの距離ｚ1 ，ｚ2 との比ｍ1 ，ｍ2 ｍ1 ＝ｚ1 ／ｆ， ｍ2 ＝ｚ2 ／ｆ をTsaiのキャリブレーション手法によって計算し、該計
算した前記それぞれの比ｍ1 ，ｍ2 と、前記最初の撮影
と前記再度の撮影との間でのカメラ移動距離Δｚとから
（１）式 【数１】ｆ＝Δｚ／（ｍ1 −ｍ2 ） （1) の関係式に基づいて前記レンズの焦点距離を推定するよ
うにしたことを特徴とするカメラキャリブレーション方
法。1. A camera which is moved from a first photographing position in the direction of a subject or in a direction opposite thereto from the first photographing position along the optical axis of the lens to photograph the same subject again as the first photographing. Subscript 1 for each case of shooting
And 2 , the ratio m 1 , m 2 m 1 = z 1 / f of the focal length f of the lens and the distance z 1 , z 2 from the subject to the pinhole of the camera in each case. m 2 = z 2 / f is calculated by Tsai's calibration method, and the calculated ratios m 1 and m 2 , the camera movement distance Δz between the first shooting and the second shooting, and (1) f = Δz / (m 1 −m 2 ) A camera calibration method wherein the focal length of the lens is estimated based on the relational expression of (1).
らカメラを被写体の方向またはその反対方向に移動させ
て前記最初の撮影と同一の被写体を再度撮影し、これら
最初の撮影および再度の撮影のそれぞれの場合を添字１
および２によって示したとき、それぞれの場合における
前記レンズの焦点距離ｆと前記被写体から前記カメラの
ピンホールまでの距離ｚ1 ，ｚ2 との比ｍ1 ，ｍ2 ｍ1 ＝ｚ1 ／ｆ， ｍ2 ＝ｚ2 ／ｆ をTsaiのキャリブレーション手法によって計算する手
段、および該計算する手段によって計算した前記それぞ
れの比ｍ1 ，ｍ2 と、前記最初の撮影と前記再度の撮影
との間でのカメラ移動距離Δｚとから（１）式〔数１〕
の関係式に基づいて前記レンズの焦点距離を推定する手
段を具えてなることを特徴とするカメラキャリブレーシ
ョン装置。2. The camera according to claim 1, wherein the camera is moved in the direction of the subject or in the opposite direction from the first photographing position along the optical axis of the lens to photograph the same subject again as the first photographing. Subscript 1 for each case of shooting
And 2 , the ratio m 1 , m 2 m 1 = z 1 / f of the focal length f of the lens and the distance z 1 , z 2 from the subject to the pinhole of the camera in each case. means for calculating m 2 = z 2 / f by the calibration method of Tsai, and the respective ratios m 1 and m 2 calculated by the means for calculating; (1) from the camera movement distance Δz of Equation (1)
A camera calibration device comprising means for estimating the focal length of the lens based on the relational expression:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP29828299A JP2001116656A (en) | 1999-10-20 | 1999-10-20 | Camera calibration method and device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP29828299A JP2001116656A (en) | 1999-10-20 | 1999-10-20 | Camera calibration method and device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2001116656A true JP2001116656A (en) | 2001-04-27 |
Family
ID=17857624
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP29828299A Pending JP2001116656A (en) | 1999-10-20 | 1999-10-20 | Camera calibration method and device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2001116656A (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005024720A2 (en) * | 2003-09-11 | 2005-03-17 | C.M.D. Controlled Micro Devices Ltd. | Color edge based system and method for determination of 3d surface topology |
| JP2009172119A (en) * | 2008-01-24 | 2009-08-06 | Brother Ind Ltd | Sewing machine |
| JP2011085971A (en) * | 2009-10-13 | 2011-04-28 | Seiko Epson Corp | Apparatus, method, and program for processing image, recording medium, and image processing system |
| CN111028296A (en) * | 2019-11-07 | 2020-04-17 | 浙江大华技术股份有限公司 | Method, device, equipment and storage device for estimating focal length value of dome camera |
-
1999
- 1999-10-20 JP JP29828299A patent/JP2001116656A/en active Pending
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005024720A2 (en) * | 2003-09-11 | 2005-03-17 | C.M.D. Controlled Micro Devices Ltd. | Color edge based system and method for determination of 3d surface topology |
| WO2005024720A3 (en) * | 2003-09-11 | 2005-04-28 | C M D Controlled Micro Devices | Color edge based system and method for determination of 3d surface topology |
| US7456842B2 (en) | 2003-09-11 | 2008-11-25 | C.M.D. Controlled Micro Devices Ltd. | Color edge based system and method for determination of 3D surface topology |
| JP2009172119A (en) * | 2008-01-24 | 2009-08-06 | Brother Ind Ltd | Sewing machine |
| US8196535B2 (en) | 2008-01-24 | 2012-06-12 | Brother Kogyo Kabushiki Kaisha | Sewing machine, and computer-readable storage medium storing sewing machine control program |
| JP2011085971A (en) * | 2009-10-13 | 2011-04-28 | Seiko Epson Corp | Apparatus, method, and program for processing image, recording medium, and image processing system |
| CN111028296A (en) * | 2019-11-07 | 2020-04-17 | 浙江大华技术股份有限公司 | Method, device, equipment and storage device for estimating focal length value of dome camera |
| CN111028296B (en) * | 2019-11-07 | 2023-05-12 | 浙江大华技术股份有限公司 | Method, device, equipment and storage device for estimating focal length value of spherical camera |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Schreier et al. | Advances in light microscope stereo vision | |
| CN109919911B (en) | Mobile three-dimensional reconstruction method based on multi-view photometric stereo | |
| WO2018201677A1 (en) | Bundle adjustment-based calibration method and device for telecentric lens-containing three-dimensional imaging system | |
| Larsson et al. | Revisiting radial distortion absolute pose | |
| JPH11118425A (en) | Calibration method and device and calibration data production | |
| CN111707187B (en) | Measuring method and system for large part | |
| CN112229323B (en) | Six-degree-of-freedom measurement method of checkerboard cooperative target based on monocular vision of mobile phone and application of six-degree-of-freedom measurement method | |
| US20220254047A1 (en) | System and method for dynamic stereoscopic calibration | |
| CN113450416B (en) | TCSC method applied to three-dimensional calibration of three-dimensional camera | |
| CN110044266B (en) | Photogrammetry system based on speckle projection | |
| JP4006657B2 (en) | Image processing apparatus and image processing method | |
| JP2023538706A (en) | Fusion-based digital image correlation framework for performing distortion measurements | |
| JP2008298589A (en) | Device and method for detecting positions | |
| JP2001116656A (en) | Camera calibration method and device | |
| Wang et al. | Distance measurement using single non-metric CCD camera | |
| JP5925109B2 (en) | Image processing apparatus, control method thereof, and control program | |
| CN112819900B (en) | Method for calibrating internal azimuth, relative orientation and distortion coefficient of intelligent stereography | |
| Tagoe et al. | Determination of the Interior Orientation Parameters of a Non-metric Digital Camera for Terrestrial Photogrammetric Applications | |
| CN114820810A (en) | Analysis method based on Tsai camera plane calibration algorithm | |
| Kumar et al. | Generalized radial alignment constraint for camera calibration | |
| JPH1153549A (en) | Device and method for processing image and transmission medium | |
| CN110766740B (en) | Real-time high-precision binocular range finding system and method based on pedestrian tracking | |
| Li et al. | Method for horizontal alignment deviation measurement using binocular camera without common target | |
| CN112927299A (en) | Calibration method and device and electronic equipment | |
| JP2006330772A (en) | Distortion correction method for photographic image |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050128 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070802 |
|
| A131 | Notification of reasons for refusal |
Effective date: 20071113 Free format text: JAPANESE INTERMEDIATE CODE: A131 |
|
| A02 | Decision of refusal |
Effective date: 20080513 Free format text: JAPANESE INTERMEDIATE CODE: A02 |