JP2006135621A - Camera calibrating device - Google Patents
Camera calibrating device Download PDFInfo
- Publication number
- JP2006135621A JP2006135621A JP2004321939A JP2004321939A JP2006135621A JP 2006135621 A JP2006135621 A JP 2006135621A JP 2004321939 A JP2004321939 A JP 2004321939A JP 2004321939 A JP2004321939 A JP 2004321939A JP 2006135621 A JP2006135621 A JP 2006135621A
- Authority
- JP
- Japan
- Prior art keywords
- camera
- marker
- image
- linear
- parameters
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
Description
本発明は、カメラ校正装置に関する。 The present invention relates to a camera calibration apparatus.
近年、各種の工業分野などにおいて、カメラによる監視や物体検出を行うため、カメラから撮像対象物までの距離や方向を求めるカメラ校正装置が開発されている。例えば、カメラを車両後方に搭載して、車両走行のハンドル蛇角に応じた予想軌跡であるガイドラインを画像上に描画するとき、路面とカメラの位置関係を正確に求めるカメラ校正作業が必要となる。 2. Description of the Related Art In recent years, in various industrial fields, camera calibration devices that determine the distance and direction from a camera to an object to be imaged have been developed in order to perform monitoring and object detection using a camera. For example, when a camera is mounted on the rear side of a vehicle and a guideline that is an expected trajectory corresponding to the steering angle of the steering wheel of the vehicle is drawn on the image, a camera calibration operation is required to accurately determine the positional relationship between the road surface and the camera. .
ここで、カメラ校正で求めるカメラパラメータについて説明する。
図4は、カメラ校正で使用する座標系の説明図である。αは、カメラが撮像する3次元空間の直交座標系であって、原点をOWとする世界座標系(xw,yw,zw)である。一方、βは、ピンホールカメラモデル(歪曲収差などのない理想的なカメラモデル)で表現するカメラ座標系(x,y,z)である。世界座標系(xw,yw,zw)とカメラ座標系(x,y,z)の関係は、座標回転変換行列と座標移動変換行列との組み合わせにより、次式で表すことができる。
Here, camera parameters obtained by camera calibration will be described.
FIG. 4 is an explanatory diagram of a coordinate system used in camera calibration. α, the camera an orthogonal coordinate system of the three-dimensional space for capturing a world coordinate system to the origin and O W (x w, y w , z w). On the other hand, β is a camera coordinate system (x, y, z) expressed by a pinhole camera model (ideal camera model without distortion aberration). The relationship between the world coordinate system (x w , y w , z w ) and the camera coordinate system (x, y, z) can be expressed by the following equation by combining the coordinate rotation transformation matrix and the coordinate movement transformation matrix.
前述のピンホールカメラモデルで表現するカメラ座標系(x,y,z)での任意の点Pは、カメラ原点Oから焦点距離fにある投影面Sに投影される。この投影面Sを歪みのない第1のイメージ座標系(xu,yu)と呼び、カメラ座標系(x,y,z)と次式の関係がある。 An arbitrary point P in the camera coordinate system (x, y, z) expressed by the above-described pinhole camera model is projected from the camera origin O onto the projection plane S at the focal length f. This projection plane S is referred to as a first image coordinate system (x u , y u ) without distortion, and has the following relationship with the camera coordinate system (x, y, z).
実際に使用するカメラでは、レンズは歪みをもっているので、このレンズ歪みを考慮した歪みのある投影面である第2のイメージ座標系(xd,yd)と歪みのない投影面であるイメージ座標系(xu,yu)には、次式(3)、(4)の関係がある。 In the camera actually used, since the lens has distortion, the second image coordinate system (x d , y d ) that is a distorted projection plane in consideration of this lens distortion and image coordinates that are a distortion-free projection plane. The system (x u , y u ) has the following relationships (3) and (4).
また、 Also,
ここで、モニター上の画像に対応する2次元座標系で、画像の左隅を原点とする実イメージ座標系(xf、yf)を導入する。この実イメージ座標系(xf、yf)と前述の歪みのある第2のイメージ座標系(xd,yd)には、次の関係がある。 Here, an actual image coordinate system (x f , y f ) with the origin at the left corner of the image is introduced in a two-dimensional coordinate system corresponding to the image on the monitor. The actual image coordinate system (x f , y f ) and the second image coordinate system (x d , y d ) having the aforementioned distortion have the following relationship.
なお、カメラ校正で求めるパラメータは、R、T、f、κ、Sx、Cx、Cyである。このうち、R、T(共に、(1)式参照)は、カメラ姿勢に関するパラメータであって、外部パラメータであり、残りは、カメラに関するパラメータで内部パラメータと呼ばれる。
本発明のカメラ校正装置が求める対象とするパラメータは、Sx、Cx、Cyである。パラメータfとκは、カメラ仕様により判明しているものとする。このうち、パラメータκは定数としてだけでなく、画像中心からの距離に対応する歪み比率として与えられる。
The parameters obtained by camera calibration are R, T, f, κ, Sx, Cx, and Cy. Among these, R and T (both refer to equation (1)) are parameters relating to the camera posture and are external parameters, and the rest are parameters relating to the camera and are called internal parameters.
Parameters to be obtained by the camera calibration device of the present invention are Sx, Cx, and Cy. The parameters f and κ are assumed to be known from the camera specifications. Of these, the parameter κ is given not only as a constant but also as a distortion ratio corresponding to the distance from the image center.
図5は、従来のカメラ校正装置の構成図である。このカメラ校正装置は、図5において、世界座標が既知である特徴点を含む世界座標既知マーカー10と、この世界座標既知マーカー10を撮像する校正対象であるカメラ20と、このカメラ20が撮像する世界座標既知マーカー10の画像からカメラパラメータを算出する世界座標既知マーカー校正手段30とを備えている。図6は従来のカメラ校正装置における、世界座標既知マーカー10とカメラ20の位置関係を示す立体図である。
FIG. 5 is a configuration diagram of a conventional camera calibration apparatus. In FIG. 5, the camera calibration apparatus includes a world coordinate known
ここで、図5と図6を利用して、従来のカメラ校正装置を説明する。
初めに、図6に示すように、カメラ20で世界座標既知マーカー10を撮像する。例えば、世界座標既知マーカー10の黒い正方形の各頂点を特徴点とし、この特徴点の世界座標を計測しておく。次に、世界座標既知マーカー校正手段30は、複数の特徴点の世界座標と撮像した画像上の特徴点の実イメージ座標からカメラパラメータを算出し、目的とするパラメータSx,Cx、Cyを得る。この算出方法の詳細については、例えば、非特許文献1に記載されている。
First, as shown in FIG. 6, the world coordinate known
しかしながら、上記のカメラ校正装置では、世界座標既知マーカーの特徴点の世界座標が既知である必要があり、また、対象とするカメラパラメータ(Sx、Cx、Cy)以外のカメラパラメータ、即ちR、T、f、κも求めるため、推定誤差が大きくなるという問題があった。 However, in the above camera calibration device, the world coordinates of the feature point of the world coordinate known marker must be known, and camera parameters other than the target camera parameters (Sx, Cx, Cy), that is, R, T , F, and κ are also obtained, and there is a problem that an estimation error becomes large.
本発明は、上記事情に鑑みてなされたもので、被撮像対象物、例えば車両との相対位置が未知であるマーカーにより、換言すれば世界座標が既知でなくても、対象とするパラメータのみを大きな誤差を伴うことなく推定でき、その結果、カメラによる監視や物体検出などを行う際に、カメラ校正をほぼ正確に行うことができるカメラ校正装置を提供することを目的とする。 The present invention has been made in view of the above circumstances, and by using a marker whose relative position to an object to be imaged, for example, a vehicle, is unknown, in other words, even if the world coordinates are not known, only the target parameter is obtained. It is an object of the present invention to provide a camera calibration apparatus that can perform estimation without a large error, and as a result, can perform camera calibration almost accurately when performing monitoring or object detection using a camera.
本発明のカメラ校正装置は、直線部分を含む図形が描画されている直線マーカーと、前記直線マーカーを撮像するカメラと、前記カメラが撮像する前記直線マーカーの画像から前記カメラのカメラ内部パラメータを求める直線マーカーカメラ校正手段とを有する構成のものである。
この構成によれば、車両との相対位置が未知であるマーカーでカメラ校正でき、対象とするパラメータのみを推定できる。
The camera calibration device of the present invention obtains camera internal parameters of the camera from a linear marker on which a graphic including a straight line portion is drawn, a camera that captures the linear marker, and an image of the linear marker that is captured by the camera. And a linear marker camera calibration means.
According to this configuration, the camera can be calibrated with a marker whose relative position to the vehicle is unknown, and only the target parameter can be estimated.
また、本発明のカメラ校正装置は、前記カメラ内部パラメータが、下記の演算式、
から算出するカメラパラメータ(Sx,Cx,Cy)である構成のものである。
Further, in the camera calibration apparatus of the present invention, the camera internal parameter is represented by the following arithmetic expression:
The camera parameters (Sx, Cx, Cy) calculated from
本発明によれば、被撮像対象物、例えば車両との相対位置が未知であるマーカーによりカメラ校正でき、換言すれば世界座標が既知でなくても、対象とするパラメータのみを大きな誤差を伴うことなく推定できるカメラ校正装置を提供できる。 According to the present invention, the camera can be calibrated by a marker whose relative position to the object to be imaged, for example, the vehicle is unknown, in other words, even if the world coordinates are not known, only the target parameter has a large error. It is possible to provide a camera calibration device that can be estimated without any problem.
以下、本発明の実施形態について、添付図面を参照にして詳細に説明する。
図1は、本発明の実施形態に係るカメラ校正装置の構成を示すブロック図である。本実施形態のカメラ校正装置は、直線マーカー1と、カメラ2と、直線マーカー校正手段3とを備えている。このうち、直線マーカー1には、図2に示すように、直線を含む図形が描画されている。一方、直線マーカー校正手段3は、直線マーカー1を撮像するカメラ2の画像に基づき、そのカメラ2のカメラパラメータ(Sx,Cx,Cy)を算出する。なお、これらのカメラパラメータ(Sx,Cx,Cy)については、[背景技術]の欄の(5)式などを参照されたい。
Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.
FIG. 1 is a block diagram showing a configuration of a camera calibration apparatus according to an embodiment of the present invention. The camera calibration apparatus of this embodiment includes a linear marker 1, a
図2は、本発明の実施形態に係るカメラ校正装置における、直線マーカー1とカメラ2の位置関係を示す斜視図である。
最初に、図2に示すように、直線マーカー1とカメラ2を配置する。次に、カメラ2により直線を含む図形が描画されている直線マーカー1を撮像する。その後、直線マーカー1を撮像するカメラ2の画像から、直線マーカー校正手段3が、カメラ2のカメラパラメータ(Sx,Cx,Cy)を数学的に算出する。
FIG. 2 is a perspective view showing a positional relationship between the linear marker 1 and the
First, as shown in FIG. 2, the linear marker 1 and the
図3は、本発明の実施形態に係るカメラ校正装置における直線マーカー校正手段3の説明図である。
世界座標系(xw,yw,zw)における直線は、カメラ座標系(x,y,z)においても直線となるので、歪みのない座標系でも直線となる。しかし、実際は、直線マーカー1の画像は、図3(A)の座標系1Aのように歪みのある画像のようになる。これは、レンズ歪みのため、(3)式及び(4)式による歪みをうけて直線にはならないからである。
もし、カメラパラメータ(Sx、Cx、Cy)が正しい値ならば、(3)式〜(5)式を利用すると、歪みのない座標系では、図3(B)の座標系1Bのように、直線に戻るはずである。一方、カメラパラメータ(Sx、Cx、Cy)が正しい値でないならば、歪みのない座標系に変換すると、図3(C)の座標系1Cのように、直線には戻らない。
この性質を利用して、歪みのない座標系で直線となるようにカメラパラメータ(Sx、Cx、Cy)を最適化する。
FIG. 3 is an explanatory diagram of the linear marker calibration means 3 in the camera calibration apparatus according to the embodiment of the present invention.
Since the straight line in the world coordinate system (x w , y w , z w ) is also a straight line in the camera coordinate system (x, y, z), it is a straight line even in a coordinate system without distortion. However, in actuality, the image of the linear marker 1 looks like a distorted image like the coordinate system 1A of FIG. This is because the lens is distorted and does not become a straight line due to distortion caused by the equations (3) and (4).
If the camera parameters (Sx, Cx, Cy) are correct values, using the equations (3) to (5), in the coordinate system without distortion, as in the coordinate system 1B in FIG. Should return to a straight line. On the other hand, if the camera parameters (Sx, Cx, Cy) are not correct values, the camera parameters (Sx, Cx, Cy) do not return to a straight line as in the coordinate system 1C of FIG.
Using this property, the camera parameters (Sx, Cx, Cy) are optimized so as to be a straight line in a coordinate system without distortion.
初めに、画像上の直線を校正する画素の実イメージ座標を点列(Xfi,Yfi)i=1,nとする。そして、(Sx=1、Cx=画像幅/2、Cy=画像高/2)を初期値として用い、(3)式〜(5)式を使用して直線を構成する点列の歪みのないイメージ座標(Xui,Yui)を求める。
次に、点列の歪みのないイメージ座標から、最小二乗法により直線式を求め、その直線から各点列までの距離の総和を評価値とする。そして、評価値が低くなるようにカメラパラメータ(Sx、Cx、Cy)を最適化し、カメラパラメータを算出する。
このように、本実施の形態のカメラ校正装置によれば、車両との相対位置が未知であるマーカーでカメラ校正することができる。
First, the actual image coordinates of a pixel for calibrating a straight line on the image are set as a point sequence (X fi , Y fi ) i = 1, n. Then, (Sx = 1, Cx = image width / 2, Cy = image height / 2) is used as an initial value, and there is no distortion of the point sequence constituting the straight line using the equations (3) to (5). Image coordinates (X ui , Y ui ) are obtained.
Next, a straight line expression is obtained from the image coordinates without distortion of the point sequence by the least square method, and the sum of the distances from the straight line to each point sequence is used as the evaluation value. Then, the camera parameters (Sx, Cx, Cy) are optimized so that the evaluation value becomes low, and the camera parameters are calculated.
Thus, according to the camera calibration device of the present embodiment, the camera can be calibrated with a marker whose relative position to the vehicle is unknown.
なお、本発明は上述した実施形態に何ら限定されるものではなく、その要旨を逸脱しない範囲において種々の形態で実施し得るものである。 The present invention is not limited to the above-described embodiment, and can be implemented in various forms without departing from the spirit of the invention.
本発明のカメラ校正装置は、被撮像対象物、例えば車両との相対位置が未知であるマーカーにより、換言すれば世界座標が既知でなくても、対象とするパラメータのみを大きな誤差を伴うことなく推定できる効果を有し、カメラから撮像対象物までの距離や方向などを求めるカメラ校正をほぼ正確に行うことができ、カメラによる監視や物体検出などを行う際に有用である。 The camera calibration apparatus according to the present invention can detect only the target parameter without a large error even if the world coordinate is not known by a marker whose relative position to the object to be imaged, for example, the vehicle is unknown. It has an effect that can be estimated, and camera calibration for obtaining the distance and direction from the camera to the object to be imaged can be performed almost accurately, which is useful when performing monitoring or object detection by the camera.
1 直線マーカー
2 カメラ
3 直線マーカー校正手段
10 世界座標既知マーカー
30 世界座標既知マーカー校正手段
1
Claims (2)
前記直線マーカーを撮像するカメラと、
前記カメラが撮像する前記直線マーカーの画像から前記カメラのカメラ内部パラメータを求め最適化する直線マーカーカメラ校正手段と
を有することを特徴とするカメラ校正装置。 A straight line marker on which a figure including a straight line part is drawn, and
A camera for imaging the linear marker;
And a linear marker camera calibration unit that obtains and optimizes camera internal parameters of the camera from an image of the linear marker captured by the camera.
から算出するカメラパラメータ(Sx,Cx,Cy)である請求項1に記載のカメラ校正装置。 The camera internal parameters are the following arithmetic expressions:
The camera calibration device according to claim 1, wherein the camera parameters are calculated from (Sx, Cx, Cy).
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004321939A JP2006135621A (en) | 2004-11-05 | 2004-11-05 | Camera calibrating device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004321939A JP2006135621A (en) | 2004-11-05 | 2004-11-05 | Camera calibrating device |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2006135621A true JP2006135621A (en) | 2006-05-25 |
Family
ID=36728760
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004321939A Withdrawn JP2006135621A (en) | 2004-11-05 | 2004-11-05 | Camera calibrating device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2006135621A (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011085489A1 (en) * | 2010-01-13 | 2011-07-21 | Magna Electronics Inc. | Vehicular camera and method for periodic calibration of vehicular camera |
JP2013115540A (en) * | 2011-11-28 | 2013-06-10 | Clarion Co Ltd | On-vehicle camera system, and calibration method and program for same |
US10769813B2 (en) | 2018-08-28 | 2020-09-08 | Bendix Commercial Vehicle Systems, Llc | Apparatus and method for calibrating surround-view camera systems |
-
2004
- 2004-11-05 JP JP2004321939A patent/JP2006135621A/en not_active Withdrawn
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011085489A1 (en) * | 2010-01-13 | 2011-07-21 | Magna Electronics Inc. | Vehicular camera and method for periodic calibration of vehicular camera |
US9150155B2 (en) | 2010-01-13 | 2015-10-06 | Magna Electronics Inc. | Vehicular camera and method for periodic calibration of vehicular camera |
US9296337B2 (en) | 2010-01-13 | 2016-03-29 | Magna Electronics Inc. | Method of calibrating a vehicular camera |
JP2013115540A (en) * | 2011-11-28 | 2013-06-10 | Clarion Co Ltd | On-vehicle camera system, and calibration method and program for same |
US10769813B2 (en) | 2018-08-28 | 2020-09-08 | Bendix Commercial Vehicle Systems, Llc | Apparatus and method for calibrating surround-view camera systems |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101930796B1 (en) | 3 Dimensional Coordinates Calculating Apparatus, 3 Dimensional Coordinates Calculating Method, 3 Dimensional Distance Measuring Apparatus and 3 Dimensional Distance Measuring Method Using Images | |
CN106595528B (en) | A kind of micro- binocular stereo vision measurement method of telecentricity based on digital speckle | |
JP5029618B2 (en) | Three-dimensional shape measuring apparatus, method and program by pattern projection method | |
JP6324025B2 (en) | Information processing apparatus and information processing method | |
Albarelli et al. | Robust camera calibration using inaccurate targets | |
JP5811327B2 (en) | Camera calibration device | |
JP2007263669A (en) | Three-dimensional coordinates acquisition system | |
CN104616292A (en) | Monocular vision measurement method based on global homography matrix | |
JP2009042162A (en) | Calibration device and method therefor | |
JP2010014443A (en) | Position measurement method, position measurement device, and program | |
JP2010014450A (en) | Position measurement method, position measurement device, and program | |
JP6641729B2 (en) | Line sensor camera calibration apparatus and method | |
Ding et al. | A robust detection method of control points for calibration and measurement with defocused images | |
JP3842988B2 (en) | Image processing apparatus for measuring three-dimensional information of an object by binocular stereoscopic vision, and a method for recording the same, or a recording medium recording the measurement program | |
JP2005016979A (en) | Vehicle-mounted camera calibration tool and vehicle-mounted camera calibrating method | |
JP3696336B2 (en) | How to calibrate the camera | |
CN111998834B (en) | Crack monitoring method and system | |
Pless et al. | Extrinsic calibration of a camera and laser range finder | |
US20230070281A1 (en) | Methods and systems of generating camera models for camera calibration | |
CN116823963A (en) | External parameter calibration method and device based on vehicle-mounted reversing image system | |
JP5285487B2 (en) | Image recording system and image recording method | |
JP2006135621A (en) | Camera calibrating device | |
JP2007034964A (en) | Method and device for restoring movement of camera viewpoint and three-dimensional information and estimating lens distortion parameter, and program for restoring movement of camera viewpoint and three-dimensional information and estimating lens distortion parameter | |
JP2004309318A (en) | Position detection method, its device and its program, and calibration information creation method | |
JP2019032660A (en) | Imaging system and imaging method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20080108 |