JP2014183540A - Calibration method for camera image and calibration device - Google Patents
Calibration method for camera image and calibration device Download PDFInfo
- Publication number
- JP2014183540A JP2014183540A JP2013058511A JP2013058511A JP2014183540A JP 2014183540 A JP2014183540 A JP 2014183540A JP 2013058511 A JP2013058511 A JP 2013058511A JP 2013058511 A JP2013058511 A JP 2013058511A JP 2014183540 A JP2014183540 A JP 2014183540A
- Authority
- JP
- Japan
- Prior art keywords
- image
- vehicle
- distance
- viewpoint
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 23
- 238000006243 chemical reaction Methods 0.000 claims abstract description 187
- 238000004364 calculation method Methods 0.000 claims description 28
- 230000009466 transformation Effects 0.000 claims description 15
- 230000015572 biosynthetic process Effects 0.000 claims description 5
- 238000003786 synthesis reaction Methods 0.000 claims description 5
- 238000003384 imaging method Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 8
- 239000011295 pitch Substances 0.000 description 5
- 238000013500 data storage Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、カメラ画像のキャリブレーション方法およびキャリブレーション装置に関し、詳細には、複数のカメラで撮影された画像を単一の視点変換画像に合成する際の画像のキャリブレーションの改良に関する。 The present invention relates to a camera image calibration method and a calibration apparatus, and more particularly, to an improvement in image calibration when images taken by a plurality of cameras are combined into a single viewpoint conversion image.
車載カメラで撮影された車両後方の画像を車載モニタに表示することで、運転者から死角になる車両後方直近の状況を、車載モニタに表示された画像として視認し、車両後退時の視認性を向上させることが行われている。 By displaying an image of the rear of the vehicle captured by the in-vehicle camera on the in-vehicle monitor, the situation immediately behind the vehicle that is a blind spot from the driver can be viewed as an image displayed on the in-vehicle monitor, and visibility when the vehicle is moving backward Improvements are being made.
また、車両の全周囲を部分ごとに複数の車載カメラで撮影し、各車載カメラで得られた複数の画像（撮影画像）をそれぞれ、車両の真上から見下ろしたような画像に変換（視点変換）するとともに、これら視点変換によって得られた複数の画像（視点変換画像）を、車両との位置関係に対応させた単一の画像に合成することで、全周囲視点変換画像を得ることも行われている（特許文献１）。 In addition, the entire periphery of the vehicle is shot with multiple in-vehicle cameras for each part, and multiple images (captured images) obtained with each in-vehicle camera are converted into images that look down from directly above the vehicle (viewpoint conversion) In addition, a plurality of images (viewpoint conversion images) obtained by these viewpoint conversions are combined into a single image corresponding to the positional relationship with the vehicle to obtain an all-around viewpoint conversion image. (Patent Document 1).
特許文献１には、視点変換の手法として、透視投影変換によるものと平面射影変換によるものとが開示されている。
透視投影変換は、車載カメラの外部パラメータ（車両に対する設置位置、設置姿勢（向き）に関する値）および内部パラメータ（焦点距離、歪み等）に基づいて、撮影画像を視点変換画像に変換する手法である。
一方、平面射影変換は、車載カメラの外部パラメータを用いずに、実空間での位置関係が既知の４つ以上の校正用指標を含むように車載カメラで撮影し、得られた撮影画像における校正用指標の位置と得ようとする視点変換画像における校正用指標の位置とに基づいて視点変換のホモグラフィ行列を求め、撮影画像の全ての点をホモグラフィ行列で変換する手法である。
なお、視点変換画像における校正用指標の位置は、実空間における校正用指標の既知の位置関係に対応して設定される。
Japanese Patent Application Laid-Open No. H10-260260 discloses a viewpoint conversion technique that uses perspective projection conversion and that that uses planar projection conversion.
Perspective projection conversion is a technique for converting a captured image into a viewpoint-converted image based on external parameters (installation position with respect to the vehicle, values regarding installation orientation (orientation)) and internal parameters (focal length, distortion, etc.) of the in-vehicle camera. .
On the other hand, the planar projective transformation is not performed using the external parameters of the in-vehicle camera, but is captured with the in-vehicle camera so as to include four or more calibration indexes whose known positions in the real space are included, and the obtained image is calibrated. This is a method for obtaining a homography matrix for viewpoint conversion based on the position of the index for use and the position of the calibration index in the viewpoint conversion image to be obtained, and converting all points of the photographed image with the homography matrix.
Note that the position of the calibration index in the viewpoint conversion image is set in correspondence with the known positional relationship of the calibration index in the real space.
また、車載カメラの外部パラメータが分からない場合に、平面射影変換によって得られたホモグラフィ行列から外部パラメータを求め、外部パラメータを用いた透視投影変換により、視点変換画像を得る手法もある。 There is also a method of obtaining a viewpoint conversion image by obtaining external parameters from a homography matrix obtained by plane projective transformation and performing perspective projection transformation using the external parameters when the external parameters of the in-vehicle camera are not known.
以上のいずれかの手法により得られた車両の周囲の複数の視点変換画像を、車両の模式図を中心として車両の模式図の周囲に配置して単一の画像に合成することで、全周囲視点変換画像を得ることができる。
そして、得られた全周囲視点変換画像と、撮影画像との位置関係を対応させる変換パラメータを変換テーブル等として記憶しておくことで、その後の実運用では、各車載カメラで撮影して得られた画像に対し、記憶された変換テーブル等から変換パラメータを読み出して変換処理を行うことで、ほぼリアルタイムに全周囲視点変換画像を得ることができる。
By arranging a plurality of viewpoint transformation images around the vehicle obtained by any of the above methods around the schematic diagram of the vehicle around the schematic diagram of the vehicle and combining them into a single image, A viewpoint conversion image can be obtained.
Then, by storing the conversion parameters that correlate the positional relationship between the obtained all-around viewpoint converted image and the captured image as a conversion table or the like, it is obtained by capturing with each in-vehicle camera in the subsequent actual operation. By reading the conversion parameters from the stored conversion table or the like and performing the conversion process, the all-around viewpoint converted image can be obtained almost in real time.
特許文献１に開示された技術のうち、透視投影変換は、各車載カメラについて外部パラメータが既知であることが必要であるが、この外部パラメータのうち位置に関するものは、比較的精度よく計測することができるのに対して、外部パラメータのうち向き（角度）に関するものは、精度よく計測するのは困難である。
また、車載カメラの内部パラメータは車載カメラのモジュールとして画一的な値で設定されているが、実際の車載カメラは製品精度等の個体差により、完全に同一の出力を得られるわけではない。
この結果、各車載カメラごとに得られた視点変換画像を繋いで全周囲視点変換画像を生成するに際して、視点変換画像間の接続部分が完全には一致しないことが起こり得る。
Among the techniques disclosed in Patent Document 1, the perspective projection conversion requires that external parameters be known for each in-vehicle camera. Among these external parameters, those related to the position should be measured with relatively high accuracy. On the other hand, it is difficult to accurately measure the direction (angle) of the external parameters.
Moreover, although the internal parameters of the in-vehicle camera are set as uniform values as a module of the in-vehicle camera, the actual in-vehicle camera cannot always obtain the same output due to individual differences such as product accuracy.
As a result, when connecting the viewpoint conversion images obtained for the respective in-vehicle cameras to generate the all-around viewpoint conversion image, the connection portion between the viewpoint conversion images may not completely match.
一方、平面射影変換は、外部パラメータを事前に正確に知る必要はないが、実空間での車両と校正指標との位置関係を厳密に設定する必要があり、校正作業に多大な労力を要するという問題がある。
また、平面射影変換によって得られた視点変換画像は、校正用指標の近傍領域では位置関係の精度が比較的高いものの、校正用指標から離れるにしたがって、その精度が低下するおそれがあり、運転者等に対して、全周視点変換画像により、障害物等との距離感を適切に認識させることは難しい。
On the other hand, the planar projective transformation does not need to know the external parameters accurately in advance, but it is necessary to strictly set the positional relationship between the vehicle and the calibration index in the real space, which requires a lot of labor for the calibration work. There's a problem.
In addition, although the viewpoint conversion image obtained by the planar projective transformation has a relatively high positional accuracy in the area near the calibration index, the accuracy may decrease as the distance from the calibration index increases. For example, it is difficult to properly recognize the sense of distance from an obstacle or the like using the all-around viewpoint conversion image.
本発明は上記事情に鑑みてなされたもので、校正作業に多大な労力を要することなく、車両の前後方向について信頼性の高い距離感を与えることができるカメラ画像のキャリブレーション方法およびキャリブレーション装置を提供することを目的とする。 The present invention has been made in view of the above circumstances, and a camera image calibration method and calibration apparatus that can give a sense of distance in the longitudinal direction of a vehicle without requiring a great deal of labor for calibration work. The purpose is to provide.
本発明に係るカメラ画像のキャリブレーション方法およびキャリブレーション装置は、位置関係が互いに既知の４つ以上の校正用指標を車両の前方および後方に配置し、各２つずつの円形の距離用指標を車両の各斜め前方、各斜め後方に配置して撮影された、前部の撮影画像と後部の撮影画像とについて、校正用指標間の位置関係に基づいて前部の車載カメラの外部パラメータと後部の車載カメラの外部パラメータとを求め、透視投影変換によって前部の視点変換画像と後部の視点変換画像とを得、前部の撮影画像と後部の撮影画像と左側部の撮影画像と右側部の撮影画像とにおける各距離用指標の大きさに基づいて、前部の車載カメラおよび後部の車載カメラと各距離用指標との間の距離を求め、得られた距離に応じて、前部の視点変換画像および後部の視点変換画像の傾きを校正し、左側部の撮影画像および右側部の撮影画像を、各撮影画像中の距離用指標と、全周囲視点変換画像の一部として配置した、校正後の前部の視点変換画像および後部の視点変換画像における距離用指標との対応関係に基づいて平面射影変換して、全周視点変換画像における視点変換画像を得、これにより、撮影画像を全周囲視点変換画像に変換するための変換パラメータを得るものであり、校正用指標と車両との位置関係を厳密に規定する必要がないため、校正作業の労力を低減させるとともに、全周囲視点変換画像のうち前部の視点変換画像および後部の視点変換画像は、外部パラメータを用いた透視投影変換による視点変換画像であるため、距離の信頼性を高いものとすることができる。 In the camera image calibration method and calibration apparatus according to the present invention, four or more calibration indexes whose positional relationships are known to each other are arranged at the front and rear of the vehicle, and two circular distance indexes are provided. External parameters and rear parts of the front in-vehicle camera based on the positional relationship between the calibration indices for the front shot image and the rear shot image, which are photographed by being arranged diagonally forward and diagonally rearward of the vehicle External perspective parameters of the in-vehicle camera, and perspective projection conversion to obtain a front viewpoint conversion image and a rear viewpoint conversion image, to obtain a front captured image, a rear captured image, a left captured image, and a right captured image Based on the size of each distance index in the captured image, the distance between the front in-vehicle camera and rear in-vehicle camera and each distance index is obtained, and the front viewpoint is determined according to the obtained distance. Conversion image And the inclination of the rear viewpoint conversion image, and the left side captured image and the right side captured image are arranged as a distance index in each captured image and a part of the all-around viewpoint converted image. Planar projective transformation is performed on the basis of the correspondence between the distance conversion index in the front viewpoint conversion image and the rear viewpoint conversion image to obtain the viewpoint conversion image in the all-round viewpoint conversion image, and thereby the captured image is converted into the all-around viewpoint. The conversion parameters for conversion to the conversion image are obtained, and it is not necessary to strictly define the positional relationship between the calibration index and the vehicle. Since the front viewpoint converted image and the rear viewpoint converted image are perspective converted images by perspective projection conversion using external parameters, the reliability of distance can be made high.
すなわち、本発明に係るカメラ画像のキャリブレーション方法は、車両の前部および後部にそれぞれ設けられた車載カメラで撮影される撮影範囲のそれぞれに、互いの位置関係が既知の少なくとも４つの校正用指標を配置し、前記車両の左側部、右側部、前記前部および前記後部の各車載カメラの撮影範囲が互いに重複する共通撮影範囲にそれぞれ距離用指標を２つずつ配置し、前記前部の撮影画像における前記校正用指標の位置関係に基づいて前記前部の車載カメラの外部パラメータを求め、前記後部の撮影画像における前記校正用指標の位置関係に基づいて前記後部の車載カメラの外部パラメータを求め、前記外部パラメータに基づいた透視投影変換により、前記前部の撮影画像および前記後部の撮影画像をそれぞれ、前記車両の上方の視点から見た視点変換画像に変換処理し、前記各車載カメラでそれぞれ撮影して得られた撮影画像中の前記距離用指標に基づいて、前記視点変換画像における前記各車載カメラから前記距離用指標までの距離を求め、得られた前部の視点変換画像および後部の視点変換画像を、車両を中心とした単一の全周囲視点変換画像の一部として配置するに際し、前記距離用指標までの距離に基づいて、前記前部の視点変換画像および前記後部の視点変換画像の傾きを校正し、前記傾きが校正された後の前記前部の視点変換画像および前記後部の視点変換画像が配置された前記全周囲視点変換画像における前記距離用指標と、前記左側部の撮影画像および前記右側部の撮影画像における前記距離用指標との対応関係により、前記左側部の撮影画像および前記右側部の撮影画像を平面射影変換により視点変換して、前記左側部の視点変換画像および前記右側部の視点変換画像を得、前記左側部および前記右側部の視点変換画像を前記全周囲視点変換画像の一部として配置することで、前記全周囲視点変換画像を得、前記各撮影画像から前記全周囲視点変換画像に変換するための変換パラメータを求めることを特徴とする。 That is, in the camera image calibration method according to the present invention, at least four calibration indexes whose positional relationships are known in each of the photographing ranges photographed by the in-vehicle cameras provided at the front and rear parts of the vehicle, respectively. And two distance indicators are arranged in a common shooting range where the shooting ranges of the vehicle-mounted cameras on the left side, right side, front and rear of the vehicle overlap each other, An external parameter of the front in-vehicle camera is obtained based on the positional relationship of the calibration index in the image, and an external parameter of the rear in-vehicle camera is obtained based on the positional relationship of the calibration index in the rear captured image. , By the perspective projection conversion based on the external parameter, the captured image of the front portion and the captured image of the rear portion are respectively located above the vehicle. Based on the distance index in the captured image obtained by performing the conversion process to the viewpoint converted image viewed from the point and captured by each of the in-vehicle cameras, the distance index from the in-vehicle camera in the viewpoint converted image When the distance between the front view conversion image and the rear view conversion image obtained is arranged as part of a single all-around view conversion image centered on the vehicle, Based on the distance, the tilt of the front viewpoint converted image and the rear viewpoint converted image is calibrated, and the front viewpoint converted image and the rear viewpoint converted image after the tilt is calibrated are arranged. Further, according to the correspondence relationship between the distance index in the all-around viewpoint converted image and the distance index in the left-side captured image and the right-side captured image, the left-side captured image and The viewpoint image of the right side photographed image is transformed by plane projective transformation to obtain the left side viewpoint transformed image and the right side viewpoint transformed image, and the left side and right side viewpoint transformed images are converted to the all-around viewpoint. By arranging as a part of the converted image, the omnidirectional viewpoint converted image is obtained, and conversion parameters for converting each captured image into the omnidirectional viewpoint converted image are obtained.
また、本発明に係るカメラ画像のキャリブレーション装置は、車両の前部および後部にそれぞれ設けられた車載カメラで撮影される撮影範囲のそれぞれに配置される、互いの位置関係が既知の少なくとも４つの校正用指標と、前記車両の左側部、右側部、前記前部および前記後部の各車載カメラの撮影範囲が互いに重複する共通撮影範囲にそれぞれ２つずつ配置される距離用指標と、前記前部の撮影画像における前記校正用指標の位置関係に基づいて前記前部の車載カメラの外部パラメータを求め、前記後部の撮影画像における前記校正用指標の位置関係に基づいて前記後部の車載カメラの外部パラメータを求める外部パラメータ算出部と、前記外部パラメータに基づいた透視投影変換により、前記前部の撮影画像および前記後部の撮影画像をそれぞれ、前記車両の上方の視点から見た視点変換画像に変換処理する第１の変換部と、前記各車載カメラでそれぞれ撮影して得られた撮影画像中の前記距離用指標に基づいて、前記視点変換画像における前記各車載カメラから前記距離用指標までの距離を求める距離算出部と、得られた前部の視点変換画像および後部の視点変換画像を、車両を中心とした単一の全周囲視点変換画像の一部として配置するに際し、前記距離用指標までの距離に基づいて、前記前部の視点変換画像および前記後部の視点変換画像の傾きを校正する校正部と、前記傾きが校正された後の前記前部の視点変換画像および前記後部の視点変換画像が配置された前記全周囲視点変換画像における前記距離用指標と、前記左側部の撮影画像および前記右側部の撮影画像における前記距離用指標との対応関係により、前記左側部の撮影画像および前記右側部の撮影画像を平面射影変換により視点変換して、前記左側部の視点変換画像および前記右側部の視点変換画像を得る第２の変換部と、前記前部の視点変換画像、前記後部の視点変換画像、前記左側部の視点変換画像および前記右側部の視点変換画像を、前記全周囲視点変換画像の一部として配置することで、前記全周囲視点変換画像を得る合成部と、前記各撮影画像から前記全周囲視点変換画像に変換するための変換パラメータを求める変換パラメータ算出部と、を備えたことを特徴とする。 Further, the camera image calibration device according to the present invention is arranged in each of the photographing ranges photographed by the in-vehicle cameras provided at the front and rear parts of the vehicle, respectively, and at least four of the positional relationships are known. Calibration indicators, distance indicators arranged in a common shooting range in which the shooting ranges of the left-hand side, right-hand side, front part, and rear part of the vehicle overlap each other, and the front part An external parameter of the front in-vehicle camera is obtained based on the positional relationship of the calibration index in the captured image, and an external parameter of the rear in-vehicle camera based on the positional relationship of the calibration index in the rear captured image An external parameter calculation unit for obtaining the image, and a perspective projection conversion based on the external parameter, so that the captured image of the front part and the captured image of the rear part Based on the first conversion unit that performs conversion processing into a viewpoint conversion image viewed from the viewpoint above the vehicle, and the distance index in the captured image obtained by each of the in-vehicle cameras, A distance calculation unit that obtains a distance from each of the in-vehicle cameras to the distance index in the viewpoint conversion image, and the obtained front viewpoint conversion image and rear viewpoint conversion image are a single all around the vehicle. When arranging as a part of the viewpoint conversion image, a calibration unit that calibrates inclinations of the front viewpoint conversion image and the rear viewpoint conversion image based on the distance to the distance index, and the inclination is calibrated. The distance index in the omnidirectional viewpoint converted image in which the front viewpoint converted image and the rear viewpoint converted image are arranged, the left side captured image, and the right side captured image The left-side captured image and the right-side captured image are subjected to viewpoint conversion by plane projective transformation according to the correspondence relationship with the distance index, and the left-side viewpoint converted image and the right-side viewpoint converted image are A second conversion unit to obtain, the front viewpoint conversion image, the rear viewpoint conversion image, the left viewpoint conversion image and the right viewpoint conversion image as a part of the all-around viewpoint conversion image; A synthesis unit that obtains the omnidirectional viewpoint conversion image by arranging, and a conversion parameter calculation unit that obtains a conversion parameter for converting each captured image into the omnidirectional viewpoint conversion image, To do.
本発明に係るカメラ画像のキャリブレーション方法およびカメラ画像のキャリブレーション装置によれば、校正作業に多大な労力を要することなく、車両の前後方向について信頼性の高い距離感を与えることができる。 According to the camera image calibration method and the camera image calibration apparatus according to the present invention, it is possible to give a sense of distance with high reliability in the front-rear direction of the vehicle without requiring much labor for calibration work.
以下、本発明に係るカメラ画像のキャリブレーション方法およびキャリブレーション装置の実施の形態について、図面を参照して説明する。 Embodiments of a camera image calibration method and a calibration apparatus according to the present invention will be described below with reference to the drawings.
（構成）
図１は、本発明の一実施形態であるカメラ画像のキャリブレーション装置１００の構成を示すブロック図である。
(Constitution)
FIG. 1 is a block diagram illustrating a configuration of a camera image calibration apparatus 100 according to an embodiment of the present invention.
図示のキャリブレーション装置１００は、図２に示すように校正用指標１１が記された平板状の校正用指標シート１０と、図３に示すように輪郭が円形の距離用指標１５と、データ処理装置９１と、最終的に得られた画像変換テーブルを記憶する変換テーブル記憶部９５とを備えている。 The calibration apparatus 100 shown in the figure includes a flat calibration index sheet 10 with a calibration index 11 as shown in FIG. 2, a distance index 15 with a circular outline as shown in FIG. 3, and data processing. The apparatus 91 and the conversion table memory | storage part 95 which memorize | stores the image conversion table finally obtained are provided.
校正用指標シート１０には、図２に示すように、例えば９つの校正用指標１１が記載されていて、これら９つの校正用指標１１は、縦横の各間隔が等ピッチｐで、縦３列×横３行の配列で記されており、９つの校正用指標１１は、この校正用指標シート１０上において互いの位置関係が既知となっている。
距離用指標１５は、直径がｄの円形の輪郭に形成されている。
As shown in FIG. 2, for example, nine calibration indices 11 are described in the calibration index sheet 10, and these nine calibration indices 11 have vertical and horizontal intervals of equal pitch p, and three vertical columns. X It is written in an array of three horizontal rows, and the nine calibration indexes 11 have a known positional relationship on the calibration index sheet 10.
The distance indicator 15 is formed in a circular outline having a diameter d.
本実施形態のキャリブレーション装置１００がキャリブレーション処理の対象とするカメラは、図４に示す車載カメラ１，２，３，４である。
これらの車載カメラ１〜４は、車両２００にそれぞれ搭載されたものであり、車両２００の前部に固定されて車両２００の前方領域を撮影する前部カメラ１、車両２００の後部に固定されて車両２００の後方領域を撮影する後部カメラ２、車両２００の左側部に固定されて車両２００の左側方領域を撮影する左側部カメラ３、車両２００の右側部に固定されて車両の２００の右側方領域を撮影する右側部カメラ４である。
The cameras that are targets of calibration processing by the calibration apparatus 100 of the present embodiment are the on-vehicle cameras 1, 2, 3, and 4 shown in FIG.
These in-vehicle cameras 1 to 4 are respectively mounted on the vehicle 200, and are fixed to the front part of the vehicle 200 and fixed to the front part of the vehicle 200, and fixed to the rear part of the vehicle 200. A rear camera 2 that captures the rear region of the vehicle 200, a left camera 3 that is fixed to the left side of the vehicle 200 and images a left side region of the vehicle 200, and a right side of the vehicle 200 that is fixed to the right side of the vehicle 200 It is the right side camera 4 which image | photographs an area | region.
なお、各車載カメラ１〜４は、いずれも車両に取り付けられた状態を特定する外部パラメータのうち、実空間上での位置（路面からの高さ位置ｈ、路面に投影した時の２次元面内での位置）が既知であるものとする。
したがって、各車載カメラ１〜４の外部パラメータのうち、車載カメラ１〜４の向き（路面に対する光軸の交差角度）が未知である。
Each of the in-vehicle cameras 1 to 4 is a position on the real space (height position h from the road surface, two-dimensional surface when projected onto the road surface, among external parameters specifying the state of being mounted on the vehicle. The position in the) is known.
Therefore, among the external parameters of the in-vehicle cameras 1 to 4, the direction of the in-vehicle cameras 1 to 4 (intersection angle of the optical axis with respect to the road surface) is unknown.
図４に示すように、前部カメラ１は路面を含む前方撮影領域のうち範囲ｍ１を撮影範囲とし、後部カメラ２は路面を含む後方撮影領域のうち範囲ｍ２を撮影範囲とし、左側部カメラ３は路面を含む左側方撮影領域のうち範囲ｍ３を撮影範囲とし、右側部カメラ４は路面を含む右側方撮影領域のうち範囲ｍ４を撮影範囲としている。
なお、撮影範囲ｍ１と撮影範囲ｍ３とは、互いに重複する共通撮影範囲ｍ１３を有し、撮影範囲ｍ１と撮影範囲ｍ４とは、互いに重複する共通撮影範囲ｍ１４を有し、撮影範囲ｍ２と撮影範囲ｍ３とは、互いに重複する共通撮影範囲ｍ２３を有し、撮影範囲ｍ２と撮影範囲ｍ４とは、互いに重複する共通撮影範囲ｍ２４を有している。
As shown in FIG. 4, the front camera 1 sets the range m1 in the front shooting area including the road surface, the rear camera 2 sets the range m2 in the rear shooting area including the road surface, and the left camera 3. In the left side shooting area including the road surface, the range m3 is set as the shooting range, and the right side camera 4 sets the range m4 in the right side shooting area including the road surface as the shooting range.
Note that the shooting range m1 and the shooting range m3 have a common shooting range m13 that overlaps each other, the shooting range m1 and the shooting range m4 have a common shooting range m14 that overlaps each other, and the shooting range m2 and the shooting range. m3 has a common shooting range m23 overlapping each other, and the shooting range m2 and the shooting range m4 have a common shooting range m24 overlapping each other.
そして、図５に示すように、本実施形態のキャリブレーション装置１００は、前方の撮影範囲ｍ１に校正用指標シート１０が配置され、左前方の共通撮影範囲ｍ１３に２つの距離用指標１５，１５が配置され、右前方の共通撮影範囲ｍ１４にも２つの距離用指標１５，１５が配置される。
また、このキャリブレーション装置１００は、図示は略したが前方と同様に、後方の撮影範囲ｍ２に校正用指標シート１０が配置され、左後方の共通撮影範囲ｍ２３に２つの距離用指標１５，１５が配置され、右後方の共通撮影範囲ｍ２４に２つの距離用指標１５，１５が配置される。
As shown in FIG. 5, in the calibration apparatus 100 of the present embodiment, the calibration index sheet 10 is arranged in the front shooting range m1, and the two distance indexes 15, 15 are in the left front common shooting range m13. Are arranged, and two distance indicators 15 and 15 are also arranged in the common imaging range m14 on the right front side.
Although not shown, the calibration apparatus 100 has the calibration index sheet 10 disposed in the rear photographing range m2 and the two distance indices 15, 15 in the left rear common photographing range m23, as in the front. Are arranged, and two distance indicators 15 and 15 are arranged in the common imaging range m24 on the right rear side.
撮影範囲ｍ１，ｍ２にそれぞれ配置される校正用指標シート１０は、そこに記されている９つの白丸の校正用指標１１，…の配列向きを車両２００の向きに一致させる必要はない。
また、校正用指標シート１０は、そこに記されている９つの白丸の校正用指標１１，…の位置を車両２００の位置に対して特定の位置に一致させる必要もない。
つまり、校正用指標シート１０は、撮影範囲ｍ１や撮影範囲ｍ２の路面上に配置されさえすればよく、車両２００に対して位置も向きも制約されることなく任意の位置および向きで配置される。
It is not necessary for the calibration index sheets 10 arranged in the imaging ranges m1 and m2 to match the arrangement direction of the nine white circle calibration indices 11,.
Further, the calibration index sheet 10 does not need to match the positions of the nine white circle calibration indices 11,.
That is, the calibration index sheet 10 only needs to be arranged on the road surface of the photographing range m1 or the photographing range m2, and is arranged at an arbitrary position and orientation with respect to the vehicle 200 without being restricted in position or orientation. .
したがって、車両２００または校正用指標シート１０を、他方との相対的な位置関係を厳密に特定して配置する必要がないため、車両２００または校正用指標シート１０の配置の作業に労力を費やす必要がない。
図５に示した例では、撮影領域ｍ１の路面上に配置された校正用指標シート１０は、車両２００の前後方向に延びた向きに対して、わずかに時計回り方向に傾いた状態で配置されている。
車両２００の後方の撮影範囲ｍ２の路面上に配置される校正用指標シート１０についても同様であり、その傾きの程度も傾きの方向も、撮影領域ｍ１に配置される校正用指標シート１０と同じである必要はない。
Therefore, since it is not necessary to place the vehicle 200 or the calibration index sheet 10 with a specific positional relationship strictly with the other, it is necessary to spend effort on the arrangement of the vehicle 200 or the calibration index sheet 10. There is no.
In the example shown in FIG. 5, the calibration indicator sheet 10 disposed on the road surface of the imaging region m <b> 1 is disposed in a state of being slightly inclined clockwise with respect to the direction extending in the front-rear direction of the vehicle 200. ing.
The same applies to the calibration index sheet 10 disposed on the road surface of the imaging range m2 behind the vehicle 200, and the degree of inclination and the direction of the inclination are the same as those of the calibration index sheet 10 disposed in the imaging area m1. Need not be.
データ処理装置９１は、データ記憶部２０と、外部パラメータ算出部３０と、第１の変換部４１と、距離算出部５０と、第２の変換部４５と、校正部６０と、合成部７０と、変換パラメータ算出部８０とを備えている。
データ記憶部２０は、前部カメラ１、後部カメラ２、左側部カメラ３および右側部カメラ４の各内部パラメータ（焦点距離ｆ、撮像素子の１画素の大きさｄ０等）と、校正用指標シートに描かれている９つの校正用指標１１の実空間における既知の相対的な位置関係（縦３列×横３行の配列で、縦横の各間隔が等ピッチｐ）と、距離用指標１５の実空間における大きさ（直径ｄ１）等とが予め記憶されているとともに、算出された値等を記憶する。
The data processing device 91 includes a data storage unit 20, an external parameter calculation unit 30, a first conversion unit 41, a distance calculation unit 50, a second conversion unit 45, a calibration unit 60, and a synthesis unit 70. The conversion parameter calculation unit 80 is provided.
The data storage unit 20 includes internal parameters (focal length f, size d0 of one pixel of the image sensor, etc.) of the front camera 1, the rear camera 2, the left camera 3, and the right camera 4, and a calibration index sheet. 9 is a known relative positional relationship in the real space (arrangement of 3 vertical columns × 3 horizontal rows, with vertical and horizontal intervals of equal pitch p) and the distance index 15. The size in the real space (diameter d1) and the like are stored in advance, and the calculated value and the like are stored.
外部パラメータ算出部３０は、前部の撮影画像Ｐ１（前部カメラ１により撮影範囲ｍ１を撮影して得られた画像）における校正用指標１１，１１，…の相対的な位置関係と、校正用指標１１，１１，…の実空間における既知の相対的な位置関係とに基づいて、前部カメラ１の外部パラメータ（前部カメラ１の実空間における位置、水平面（路面）に対する向き（路面に対する光軸の交差角度）等）を求める。
また、外部パラメータ算出部３０は、後部カメラ２の外部パラメータ（後部カメラ２の実空間における位置、水平面（路面）に対する向き（路面に対する光軸の交差角度）等）についても同様に、後部の撮影画像Ｐ２（後部カメラ２により撮影範囲ｍ２を撮影して得られた画像）における校正用指標１１，１１，…の相対的な位置関係と、校正用指標１１，１１，…の実空間における既知の相対的な位置関係とに基づいて求める。
なお、実空間における校正用指標１１と車両２００との相対的な位置関係が特定されていないため、前部カメラ１および後部カメラ２の外部パラメータの一部は不定となる。
The external parameter calculation unit 30 calculates the relative positional relationship between the calibration indices 11, 11,... In the front captured image P1 (image obtained by capturing the imaging range m1 with the front camera 1) and the calibration. Based on the known relative positional relationship of the indices 11, 11,... In the real space, the external parameters of the front camera 1 (the position of the front camera 1 in the real space, the direction relative to the horizontal plane (road surface) (light on the road surface) Find the axis crossing angle)).
Similarly, the external parameter calculation unit 30 also captures the rear camera 2 with respect to the external parameters (position of the rear camera 2 in the real space, direction with respect to the horizontal plane (road surface) (intersection angle of the optical axis with respect to the road surface), etc.). The relative positional relationship between the calibration indices 11, 11,... In the image P2 (the image obtained by photographing the imaging range m2 with the rear camera 2) and the calibration indices 11, 11,. Obtained based on relative positional relationship.
Since the relative positional relationship between the calibration index 11 and the vehicle 200 in the real space is not specified, some of the external parameters of the front camera 1 and the rear camera 2 are indefinite.
第１の変換部４１は、前部カメラ１の外部パラメータに基づいた透視投影変換により、前部の撮影画像Ｐ１を、車両２００の上方の仮想視点から見た視点変換画像Ｓ２に変換処理する。
このとき、前部カメラ１の外部パラメータの一部は不定であるため、得られる視点変換画像Ｓ１は、後述の全周囲視点変換画像Ｓにおける車両Ｓとの位置関係は特定されない。
また、第１の変換部４１は同様に、後部カメラ２の外部パラメータに基づいた透視投影変換により、後部の撮影画像Ｐ２を、車両２００の上方の仮想視点から見た視点変換画像Ｓ２に変換処理する。
この後部の視点変換画像Ｓ２についても同様に、全周囲視点変換画像Ｓにおける車両Ｓとの位置関係は特定されない。
The first conversion unit 41 converts the photographed image P <b> 1 at the front part into a viewpoint converted image S <b> 2 viewed from the virtual viewpoint above the vehicle 200 by perspective projection conversion based on the external parameters of the front camera 1.
At this time, since some of the external parameters of the front camera 1 are indefinite, the positional relationship between the obtained viewpoint converted image S1 and the vehicle S in the all-around viewpoint converted image S described later is not specified.
Similarly, the first conversion unit 41 converts the rear captured image P2 into a viewpoint conversion image S2 viewed from a virtual viewpoint above the vehicle 200 by perspective projection conversion based on the external parameters of the rear camera 2. To do.
Similarly, the positional relationship between the rear viewpoint conversion image S2 and the vehicle S in the all-around viewpoint conversion image S is not specified.
第２の変換部４５は、左側部カメラ３により撮影して得られた撮影画像Ｐ３および右側部カメラ４により撮影して得られた撮影画像Ｐ４をそれぞれ、平面射影変換により車両２００の上方の仮想視点から見た視点変換画像Ｓ３、Ｓ４に変換処理する。
第２の変換部４５による平面射影変換については、後に詳述する。
The second conversion unit 45 performs virtual projection on the upper side of the vehicle 200 by plane projective transformation of the captured image P3 captured by the left camera 3 and the captured image P4 captured by the right camera 4, respectively. Conversion processing is performed on viewpoint conversion images S3 and S4 viewed from the viewpoint.
The plane projective transformation by the second conversion unit 45 will be described in detail later.
距離算出部５０は、各車載カメラ１，２，３，４でそれぞれ撮影範囲ｍ１，ｍ２，ｍ３，ｍ４を撮影して得られた撮影画像Ｐ１，Ｐ２，Ｐ３，Ｐ４中における、距離用指標１５の大きさ（長径）ｄに基づいて、視点変換画像Ｓ１，Ｓ２，Ｓ３，Ｓ４における各車載カメラ１〜４から距離用指標１５までの平面上での距離を求める。 The distance calculation unit 50 is a distance index 15 in the captured images P1, P2, P3, and P4 obtained by capturing the imaging ranges m1, m2, m3, and m4 with the in-vehicle cameras 1, 2, 3, and 4, respectively. On the plane from the in-vehicle cameras 1 to 4 to the distance index 15 in the viewpoint converted images S1, S2, S3, and S4.
合成部７０は、前部の視点変換画像Ｓ１、後部の視点変換画像Ｓ２、左側部の視点変換画像Ｓ３および右側部の視点変換画像Ｓ４を、車両２００の向きに揃えて、車両２００を中心として車両２００の周囲にそれぞれ配置して得られる全周視点変換画像Ｓを合成する。 The synthesizing unit 70 aligns the front viewpoint converted image S1, the rear viewpoint converted image S2, the left side viewpoint converted image S3, and the right side viewpoint converted image S4 in the direction of the vehicle 200, with the vehicle 200 as the center. The all-around viewpoint conversion image S obtained by arranging each around the vehicle 200 is synthesized.
校正部６０は、全周視点変換画像Ｓにおける前部の視点変換画像Ｓ１および後部の視点変換画像Ｓ２を、距離算出部５０で得られた距離用指標１５までの距離Ｌに基づいて、前部の視点変換画像Ｓ１および後部の視点変換画像Ｓ２の位置、傾きを校正する。 The calibration unit 60 uses the front viewpoint conversion image S1 and the rear viewpoint conversion image S2 in the all-round viewpoint conversion image S based on the distance L to the distance index 15 obtained by the distance calculation unit 50. The position and inclination of the viewpoint converted image S1 and the rear viewpoint converted image S2 are calibrated.
変換パラメータ算出部８０は、各撮影画像Ｐ１〜Ｐ４を単一の視点変換画像Ｓに変換するための変換パラメータを算出し、得られた変換パラメータを画像変換テーブルとして記憶する変換テーブル記憶部９５に出力する。 The conversion parameter calculation unit 80 calculates a conversion parameter for converting each captured image P1 to P4 into a single viewpoint conversion image S, and stores the obtained conversion parameter as an image conversion table in a conversion table storage unit 95. Output.
（作用）
次に、本実施形態のキャリブレーション装置１００の作用について、図６のフローチャートも参照しながら説明する。
(Function)
Next, the operation of the calibration apparatus 100 of this embodiment will be described with reference to the flowchart of FIG.
まず、図５に示すように、車両２００の前部カメラ１の撮影範囲ｍ１と後部カメラ２の撮影範囲ｍ２とにそれぞれ校正用指標シート１０が配置される（Ｓ１）。
このとき、校正用指標シート１０と車両２００のとの位置関係や向きは、前述したように任意である。
First, as shown in FIG. 5, the calibration index sheets 10 are arranged in the shooting range m1 of the front camera 1 and the shooting range m2 of the rear camera 2 of the vehicle 200 (S1).
At this time, the positional relationship and direction between the calibration index sheet 10 and the vehicle 200 are arbitrary as described above.
なお、車両２００が予め配置されていて、その後に校正用指標シート１０を配置する順序とは反対に、予め校正用指標シート１０が配置されていて、その後に、各校正用指標シート１０が、車両２００の前部カメラ１の撮影範囲ｍ１、後部カメラ２の撮影範囲ｍ２に含まれるように、車両２００を配置するようにしてもよい。 Note that the calibration index sheet 10 is arranged in advance, contrary to the order in which the vehicle 200 is arranged in advance and the calibration index sheet 10 is arranged thereafter, and then each calibration index sheet 10 is The vehicle 200 may be arranged so as to be included in the shooting range m1 of the front camera 1 and the shooting range m2 of the rear camera 2 of the vehicle 200.
次いで、図５に示すように、共通撮影範囲ｍ１３，ｍ１４，ｍ２３，ｍ２４にそれぞれ２つずつの距離用指標１５が配置される（Ｓ２）。
なお、校正用指標シート１０の配置と距離用指標１５の配置とは、順序が反対であってもよい。
Next, as shown in FIG. 5, two distance indicators 15 are arranged in each of the common photographing ranges m13, m14, m23, and m24 (S2).
The arrangement of the calibration indicator sheet 10 and the arrangement of the distance indicator 15 may be reversed.
次いで、各車載カメラ１〜４が対応する撮影範囲ｍ１〜ｍ４を撮影し、撮影画像Ｐ１〜Ｐ４が得られる。
前部カメラ１によって撮影範囲ｍ１を撮影して得られた撮影画像Ｐ１は、例えば図７に示すように、９個の校正用指標１１が記された校正用指標シート１０と４つの距離用指標１５とが写ったものとなる。
後部カメラ２によって撮影範囲ｍ２を撮影して得られた撮影画像Ｐ２も同様である。
Next, the imaging ranges m1 to m4 corresponding to the on-vehicle cameras 1 to 4 are captured, and captured images P1 to P4 are obtained.
A photographed image P1 obtained by photographing the photographing range m1 with the front camera 1 is, for example, as shown in FIG. 7, a calibration indicator sheet 10 on which nine calibration indicators 11 are written, and four distance indicators. 15 is reflected.
The same applies to the photographed image P2 obtained by photographing the photographing range m2 with the rear camera 2.
左側部カメラ３によって撮影範囲ｍ３を撮影して得られた撮影画像Ｐ３は、例えば図８に示すように、４つの距離用指標１５が写ったものとなる。
右側部カメラ４によって撮影範囲ｍ４を撮影して得られた撮影画像Ｐ４も同様である。
A photographed image P3 obtained by photographing the photographing range m3 with the left side camera 3 has four distance indicators 15 as shown in FIG. 8, for example.
The same applies to the photographed image P4 obtained by photographing the photographing range m4 with the right side camera 4.
各車載カメラ１〜４によって撮影された撮影画像Ｐ１〜Ｐ４はキャリブレーション装置１００のデータ処理装置９１に入力される。
そして、データ処理装置９１の外部パラメータ算出部３０が、入力された前部の撮影画像Ｐ１に写っている９つの校正用指標１１の相対的な位置関係とデータ記憶部２０に記憶されている内部パラメータおよび９つの校正用指標１１の相対的な位置関係とに基づいて、前部カメラ１の外部パラメータを算出する（Ｓ４）。
ここで、前述したように、前部カメラ１の外部パラメータの一部は特定されない。
The captured images P <b> 1 to P <b> 4 captured by the on-vehicle cameras 1 to 4 are input to the data processing device 91 of the calibration device 100.
The external parameter calculation unit 30 of the data processing device 91 then stores the relative positional relationship of the nine calibration indices 11 shown in the input front captured image P1 and the internal data stored in the data storage unit 20. Based on the parameters and the relative positional relationship of the nine calibration indices 11, external parameters of the front camera 1 are calculated (S4).
Here, as described above, some of the external parameters of the front camera 1 are not specified.
外部パラメータ算出部３０は同様に、入力された後部の撮影画像Ｐ２に写っている９つの校正用指標１１の相対的な位置関係とデータ記憶部２０に記憶されている内部パラメータおよび９つの校正用指標１１の相対的な位置関係とに基づいて、後部カメラ２の外部パラメータを算出する（Ｓ４）。
後部カメラ２の外部パラメータの一部も同様に特定されない。
Similarly, the external parameter calculation unit 30 similarly uses the relative positional relationship of the nine calibration indexes 11 shown in the input rear captured image P2, the internal parameters stored in the data storage unit 20, and the nine calibration parameters. Based on the relative positional relationship of the index 11, external parameters of the rear camera 2 are calculated (S4).
Similarly, some of the external parameters of the rear camera 2 are not specified.
次いで、第１の変換部４１が、外部パラメータ算出部３０で算出された前部カメラ１の外部パラメータに基づいて、前部の撮影画像Ｐ１を図９に示すような視点変換画像Ｓ１に視点変換処理する（Ｓ５）。
ここで、視点変換画像Ｓ１に表されている校正用指標１１は、相対的な位置関係（等ピッチで縦３列×横３行）が実空間における既知の位置関係に対応するように変換されたものとなるが、車両２００と校正指標１１との位置関係が特定されていないため、視点変換画像Ｓ１は、校正用指標１１の横の並びが図示の水平方向に並び、縦の並びが図示の鉛直方向に並ぶ画像として仮に特定される。
Next, based on the external parameter of the front camera 1 calculated by the external parameter calculation unit 30, the first conversion unit 41 converts the front captured image P1 into a viewpoint conversion image S1 as shown in FIG. Process (S5).
Here, the calibration index 11 shown in the viewpoint conversion image S1 is converted so that the relative positional relationship (3 pitches by 3 rows by equal pitch) corresponds to the known positional relationship in real space. However, since the positional relationship between the vehicle 200 and the calibration index 11 is not specified, in the viewpoint conversion image S1, the horizontal alignment of the calibration indices 11 is aligned in the illustrated horizontal direction, and the vertical alignment is illustrated. Are temporarily specified as images arranged in the vertical direction.
すなわち、全周囲視点変換画像Ｓにおける車両２００に対して、前部の視点変換画像Ｓ１が、図１０（ａ）に示すような位置、傾きで配置されるのか、同図（ｂ）に示すような位置、傾きで配置されるのか、または同図（ｃ）に示すような位置、傾きで配置されるのかは特定されず、平行移動や回転による校正が必要な画像となっている。 That is, whether the front viewpoint conversion image S1 is arranged at the position and inclination as shown in FIG. 10A with respect to the vehicle 200 in the all-around viewpoint conversion image S, as shown in FIG. It is not specified whether the image is arranged at the correct position and inclination, or at the position and inclination as shown in FIG. 3C, and the image needs to be calibrated by translation or rotation.
また、第１の変換部４１は同様に、外部パラメータ算出部３０で算出された後部カメラ２の外部パラメータに基づいて、後部の撮影画像Ｐ２を視点変換画像Ｓ２に視点変換処理する（Ｓ５）。
後部の視点変換画像Ｓ２についても、前部の視点変換画像Ｓ１と同様に、校正が必要な画像となっている。
Similarly, the first conversion unit 41 performs viewpoint conversion processing of the rear captured image P2 to the viewpoint conversion image S2 based on the external parameters of the rear camera 2 calculated by the external parameter calculation unit 30 (S5).
The rear viewpoint converted image S2 is also an image that needs to be calibrated like the front viewpoint converted image S1.
本実施形態のキャリブレーション装置１００は、距離用指標１５を使って、全周囲視点変換画像Ｓにおける車両２００に対して前部の視点変換画像Ｓ１を平行移動および回転し、並びに全周囲視点変換画像Ｓにおける車両２００に対して後部の視点変換画像Ｓ２を平行移動および回転する校正を行う。 The calibration apparatus 100 according to the present embodiment translates and rotates the front viewpoint conversion image S1 with respect to the vehicle 200 in the all-around viewpoint conversion image S using the distance index 15, and the all-around viewpoint conversion image. The vehicle 200 in S is calibrated to translate and rotate the rear viewpoint conversion image S2.
具体的には、例えば図１１に示すように、前部カメラ１で撮影された撮影画像Ｐ１には、実空間で直径ｄ１の距離用指標１５が写っているが、撮影画像Ｐ１中における距離用指標１５の像の大きさ（長径）がｄであるとすると、距離算出部５０は、下記式（１）〜（３）にしたがって、実空間における距離用指標１５と前部カメラ１との位置関係を求める。
Ｌ２ ＝Ｌ０２ −ｈ２ （１）
Ｌ０＝ｆ×ｄ１／ｄ （２）
ｄ＝ｄ０×ｎ （３）
ただし、Ｌ０は前部カメラ１から距離用指標１５までの実空間上での距離（未知）、ｈは前部カメラ１の路面からの高さ位置（外部パラメータとして既知）、ｆは前部カメラ１の焦点距離（内部パラメータとして既知）、ｄ１は実空間における距離用指標１５の長径（直径：既知）、ｄ０は前部カメラ１の撮像素子の１画素（画素ピッチ）の大きさ（既知）、ｎは前部カメラ１の撮影画像Ｐ１における距離用指標１５の像の長径が占める画素数（既知）をそれぞれ示す。
Specifically, for example, as shown in FIG. 11, the captured image P1 captured by the front camera 1 includes a distance index 15 having a diameter d1 in the real space, but for the distance in the captured image P1. If the size (major axis) of the image of the index 15 is d, the distance calculation unit 50 positions the distance index 15 and the front camera 1 in the real space according to the following formulas (1) to (3). Seeking a relationship.
L 2 = L0 2 −h 2 (1)
L0 = f × d1 / d (2)
d = d0 × n (3)
However, L0 is the distance in the real space from the front camera 1 to the distance index 15 (unknown), h is the height position from the road surface of the front camera 1 (known as an external parameter), and f is the front camera. 1 is a focal length (known as an internal parameter), d1 is the major axis (diameter: known) of the distance index 15 in real space, and d0 is the size (known) of one pixel (pixel pitch) of the image sensor of the front camera 1 , N respectively indicate the number of pixels (known) occupied by the major axis of the image of the distance index 15 in the captured image P1 of the front camera 1.
つまり、距離算出部５０は、実空間における前部カメラ１から距離用指標１５までの距離Ｌ０と前部カメラ１の焦点距離ｆとの比が、実空間における距離用指標１５の大きさ（長径）ｄ１と撮影画像Ｐ１における距離用指標１５の像の大きさとの比に等しいことを利用して、実空間における前部カメラ１から距離用指標１５までの距離Ｌ０を算出する。
そして、算出された距離Ｌ０と、前部カメラ１の路面からの高さ位置ｈ（既知の外部パラメータ）とによって、路面上に投影したときの前部カメラ１と距離用指標１５との間の距離Ｌが算出される。
撮影画像Ｐ１には、４つの距離用指標１５が写っているが、距離算出部５０は、全ての距離用指標１５と前部カメラ１との間の距離をそれぞれ算出する。
That is, the distance calculation unit 50 determines that the ratio of the distance L0 from the front camera 1 to the distance index 15 in the real space and the focal length f of the front camera 1 is the size (major axis) of the distance index 15 in the real space. ) The distance L0 from the front camera 1 to the distance index 15 in the real space is calculated using the fact that it is equal to the ratio between d1 and the image size of the distance index 15 in the captured image P1.
Then, between the calculated distance L0 and the height position h (known external parameter) from the road surface of the front camera 1 between the front camera 1 and the distance index 15 when projected on the road surface. A distance L is calculated.
Although the four distance indexes 15 are shown in the captured image P1, the distance calculation unit 50 calculates the distances between all the distance indexes 15 and the front camera 1 respectively.
このようにして、路面上に投影したときの前部カメラ１と４つの距離用指標１５との距離Ｌ（Ｌａ，Ｌｂ，Ｌｃ，Ｌｄとする）が算出されると、校正部６０が、この距離Ｌに基づいて、図１２に示すように、合成部７０によって前部の視点変換画像Ｓ１を全周囲視点変換画像Ｓの一部として合成する際の、全周囲視点変換画像Ｓにおける前部カメラ１（車両２００）からの各距離用指標１５の距離の位置に、前部視点変換画像Ｓ１における各距離用指標１５を一致させるように、前部の視点変換画像Ｓ１の位置、傾きを校正する（Ｓ７）。
そして、校正部６０によって校正された前部の視点変換画像Ｓ１が、合成部７０により、全周囲視点変換画像Ｓの一部とされる（Ｓ８）。
Thus, when the distance L (La, Lb, Lc, Ld) between the front camera 1 and the four distance indicators 15 when projected onto the road surface is calculated, the calibration unit 60 Based on the distance L, as shown in FIG. 12, the front camera in the omnidirectional viewpoint converted image S when the synthesizer 70 synthesizes the front viewpoint converted image S1 as a part of the omnidirectional viewpoint converted image S. 1 calibrates the position and inclination of the front viewpoint converted image S1 so that each distance index 15 in the front viewpoint converted image S1 matches the position of the distance of each distance index 15 from the vehicle 1 (vehicle 200). (S7).
Then, the front viewpoint converted image S1 calibrated by the calibration unit 60 is made a part of the all-around viewpoint converted image S by the synthesis unit 70 (S8).
距離算出部５０は同様にして、他の車載カメラ２，３，４と距離用指標１５との距離も求め（Ｓ６）、校正部６０は、同様に、全周囲視点変換画像Ｓにおける後部カメラ２（車両２００）に対する後部の視点変換画像Ｓ２の位置、傾きを校正し（Ｓ７）、合成部７０が、校正された後の後部の視点変換画像Ｓ２を全周囲視点変換画像Ｓの一部として合成する（Ｓ８）。 Similarly, the distance calculation unit 50 obtains the distance between the other vehicle-mounted cameras 2, 3, 4 and the distance index 15 (S6), and the calibration unit 60 similarly uses the rear camera 2 in the all-around viewpoint converted image S. The position and inclination of the rear viewpoint converted image S2 with respect to the (vehicle 200) are calibrated (S7), and the combining unit 70 combines the corrected rear viewpoint converted image S2 as a part of the all-around viewpoint converted image S. (S8).
なお、図１２に示した全周囲視点変換画像Ｓにおいては、実空間の路面上に投影した像との間に当然に存在する縮尺を無視した表示となっているが、全周囲視点変換画像Ｓを表示する表示装置の表示面の大きさに応じて、全周囲視点変換画像Ｓは縮小されて表示される。後述の図１４についても同様である。 In the all-around viewpoint converted image S shown in FIG. 12, the scale that naturally exists between the images projected on the road surface in real space is ignored, but the all-around viewpoint converted image S is displayed. The all-around viewpoint converted image S is reduced and displayed according to the size of the display surface of the display device that displays. The same applies to FIG. 14 described later.
なお、上述した説明は、全周囲視点変換画像Ｓにおける前部カメラ１、後部カメラ２から各距離用指標１５までの距離Ｌ（Ｌａ，Ｌｂ，Ｌｃ，Ｌｄ）の位置に、視点変換画像Ｓ１，Ｓ２における各距離用指標１５を一致させるように、視点変換画像Ｓ１，Ｓ２を平行移動および回転させることで、視点変換画像Ｓ１，Ｓ２の位置、傾きの校正を行うものであったが、視点変換画像Ｓ１，Ｓ２の位置、傾きの校正を行う手法としては、全周囲視点変換画像Ｓにおける各距離用指標１５の位置を予め特定したうえで、その各位置に、視点変換画像Ｓ１，Ｓ２における各距離用指標１５を一致させるように、視点変換画像Ｓ１，Ｓ２を平行移動および回転させるようにしてもよい。 In the above description, the viewpoint conversion images S1, S1 and S2 are displayed at the positions of the distances L (La, Lb, Lc, Ld) from the front camera 1 and the rear camera 2 to the distance indicators 15 in the all-around viewpoint conversion image S. Although the viewpoint conversion images S1 and S2 are translated and rotated so that the distance indexes 15 in S2 coincide with each other, the position and inclination of the viewpoint conversion images S1 and S2 are calibrated. As a method of calibrating the positions and inclinations of the images S1 and S2, the position of each distance index 15 in the all-around viewpoint converted image S is specified in advance, and each position in the viewpoint converted images S1 and S2 is specified at each position. The viewpoint conversion images S1 and S2 may be translated and rotated so that the distance index 15 is matched.
この場合、図１３に示すように、距離算出部５０によって算出された、全周囲視点変換画像Ｓにおける前部カメラ１から特定の距離用指標１５までの距離Ｌａの円弧Ｃ１と、全周囲視点変換画像Ｓにおける右側部カメラ４から同じ距離用指標１５までの距離Ｌａ′の円弧Ｃ１′との交点Ｋ１が、全周囲視点変換画像Ｓにおける、その距離用指標１５の位置座標（ｘｍ，ｙｍ）であるため、この距離用指標１５の位置座標（ｘｍ，ｙｍ）を下記連立方程式（４）、（５）によって特定することができる。
（ｘｍ−ｘｆ）２ ＋（ｙｍ−ｙｆ）２ ＝Ｌａ２ （４）
（ｘｍ−ｘｒ）２ ＋（ｙｍ−ｙｒ）２ ＝Ｌａ′２ （５）
ただし、（ｘｆ，ｙｆ）は全周囲視点変換画像Ｓにおける前部カメラ１の位置座標、（ｘｒ，ｙｒ）は全周囲視点変換画像Ｓにおける右側部カメラ１の位置座標を表す。
In this case, as shown in FIG. 13, the arc C1 of the distance La from the front camera 1 to the specific distance index 15 in the all-around viewpoint conversion image S calculated by the distance calculation unit 50, and the all-around viewpoint conversion The intersection K1 of the distance La ′ from the right side camera 4 to the same distance index 15 in the image S with the arc C1 ′ is the position coordinate (xm, ym) of the distance index 15 in the all-around viewpoint converted image S. Therefore, the position coordinates (xm, ym) of the distance indicator 15 can be specified by the following simultaneous equations (4) and (5).
(Xm−xf) 2 + (ym−yf) 2 = La 2 (4)
(Xm−xr) 2 + (ym−yr) 2 = La ′ 2 (5)
However, (xf, yf) represents the position coordinate of the front camera 1 in the omnidirectional viewpoint converted image S, and (xr, yr) represents the position coordinate of the right camera 1 in the omnidirectional viewpoint converted image S.
同様に、隣り合う２つの車載カメラ（１，３）、（２，３）、（２，４）からそれぞれ、対応する距離用指標１５までの距離Ｌの円弧の交点を求めて、全周囲視点変換画像Ｓにおける各距離用指標１５の位置座標を求めることができる。
そして、全周囲視点変換画像Ｓにおいて特定された各距離用指標１５の位置に、視点変換画像Ｓ１，Ｓ２における各距離用指標１５を一致させるように、視点変換画像Ｓ１，Ｓ２を平行移動および回転させることで、視点変換画像Ｓ１，Ｓ２を校正することができる。
Similarly, the intersections of the arcs of the distance L from the two adjacent vehicle-mounted cameras (1, 3), (2, 3), (2, 4) to the corresponding distance index 15 are obtained, and the all-around viewpoint The position coordinates of each distance index 15 in the converted image S can be obtained.
Then, the viewpoint conversion images S1 and S2 are translated and rotated so that the distance indicators 15 in the viewpoint conversion images S1 and S2 coincide with the positions of the distance indicators 15 specified in the all-around viewpoint conversion image S. By doing so, the viewpoint-converted images S1 and S2 can be calibrated.
次に、第２変換部４５は、左側部の撮影画像Ｐ３に写った４つの距離用指標１５と、図１４に示した、全周視点変換画像Ｓにおける前部の視点変換画像Ｓ１の２つの距離用指標１５および全周視点変換画像Ｓにおける後部の視点変換画像Ｓ２の２つの距離用指標１５とが対応するように、平面射影変換によって左側部の視点変換画像Ｓ３を求める（Ｓ９）。
第２変換部４５は同様に、右側部の撮影画像Ｐ４に写った４つの距離用指標１５と、図１４に示した、全周視点変換画像Ｓにおける前部の視点変換画像Ｓ１の２つの距離用指標１５および全周視点変換画像Ｓにおける後部の視点変換画像Ｓ２の２つの距離用指標１５とが対応するように、平面射影変換によって右側部の視点変換画像Ｓ４を求める（Ｓ９）。
Next, the second conversion unit 45 includes the four distance indicators 15 shown in the left-side captured image P3 and the front viewpoint conversion image S1 in the all-round viewpoint conversion image S shown in FIG. A left-side viewpoint converted image S3 is obtained by plane projective transformation so that the distance index 15 and the two distance indexes 15 of the rear viewpoint converted image S2 in the all-round viewpoint converted image S correspond (S9).
Similarly, the second conversion unit 45 includes the four distance indexes 15 shown in the right-side captured image P4 and the two distances of the front viewpoint conversion image S1 in the all-round viewpoint conversion image S shown in FIG. The right-side viewpoint converted image S4 is obtained by plane projective transformation so that the distance index 15 of the rear-point viewpoint converted image S2 in the all-round viewpoint converted image S and the distance index 15 correspond to each other (S9).
このようにして得られた左側部の視点変換画像Ｓ３および右側部の視点変換画像Ｓ４が、合成部７０によって、全周囲視点変換画像Ｓの一部として合成され（Ｓ１０）、これにより、全周囲視点変換画像Ｓの全体が完成する。 The left-side viewpoint converted image S3 and the right-side viewpoint converted image S4 thus obtained are combined as a part of the all-around viewpoint converted image S by the combining unit 70 (S10). The entire viewpoint conversion image S is completed.
以上のようにして全周囲視点変換画像Ｓが得られると、変換パラメータ算出部８０が、各撮影画像Ｐ１〜Ｐ４から全周囲視点変換画像Ｓに変換するための変換パラメータを求め、求められた変換パラメータを変換テーブル記憶部９５に出力する（Ｓ１１）。 When the omnidirectional viewpoint converted image S is obtained as described above, the conversion parameter calculation unit 80 obtains conversion parameters for converting the captured images P1 to P4 into the omnidirectional viewpoint converted image S, and the obtained conversion. The parameter is output to the conversion table storage unit 95 (S11).
そして、変換テーブル記憶部９５は、データ処理装置９１から入力された変換パラメータを画像変換テーブルとして記憶し、その後の各車載カメラ１〜４から入力される撮影画像Ｐ１〜Ｐ４を図示しない画像処理装置によって全周囲視点変換画像Ｓに変換する際に、その記憶された画像変換テーブルが用いられる。 And the conversion table memory | storage part 95 memorize | stores the conversion parameter input from the data processor 91 as an image conversion table, and the image processing apparatus which does not illustrate the picked-up image P1-P4 input from each subsequent vehicle-mounted cameras 1-4. When the image is converted into the all-around viewpoint converted image S, the stored image conversion table is used.
以上、詳細に説明したように、本実施形態のカメラ画像のキャリブレーション装置１００によれば、全周囲視点変換画像Ｓのうち、車両２００の前方と後方にそれぞれ対応した前部の視点変換画像Ｓ１および後部の視点変換画像Ｓ２については、画像の全体に亘って位置精度が高い透視投影変換によって得られた画像であるため、全周囲視点変換画像Ｓを見ての車両前後方向に関する距離感を信頼性の高いものとすることができる。 As described above in detail, according to the camera image calibration device 100 of the present embodiment, among the all-around viewpoint converted images S, the front viewpoint converted images S1 corresponding to the front and rear of the vehicle 200, respectively. Since the rear viewpoint conversion image S2 is an image obtained by perspective projection conversion with high positional accuracy over the entire image, the sense of distance in the vehicle front-rear direction when the omnidirectional viewpoint conversion image S is viewed is trusted. It can be made highly.
また、複数の校正用指標１１の相対的な位置関係に基づいて、前部カメラ１と後部カメラ２の各外部パラメータを算出することができるため、校正用指標１１と車両２００との配置の位置関係を厳密に設定する必要がなく、したがって、校正作業に多大な労力を要することがない。 Further, since the external parameters of the front camera 1 and the rear camera 2 can be calculated based on the relative positional relationship between the plurality of calibration indices 11, the positions of the arrangement of the calibration indices 11 and the vehicle 200 can be calculated. The relationship does not need to be set strictly, and therefore a great deal of labor is not required for the calibration work.
しかも、複数の校正用指標１１は単一の校正用指標シート１０に描かれているため、複数の校正用指標１１の相対的な位置関係は、この校正用指標シート１０に校正用指標１１を描く際に規定されるため、校正作業の際は、この校正用指標シート１０を使用するだけでよく、校正作業の際に、複数の校正用指標１１の相対的な位置関係を計測等する必要がない。
よって、この校正用指標シート１０を使用することで、校正作業の労力を一層軽減することができる。
In addition, since the plurality of calibration indexes 11 are drawn on the single calibration index sheet 10, the relative positional relationship between the plurality of calibration indexes 11 is such that the calibration index 11 is placed on the calibration index sheet 10. Since it is defined at the time of drawing, it is only necessary to use this calibration index sheet 10 at the time of calibration work, and it is necessary to measure the relative positional relationship of the plurality of calibration indices 11 at the time of calibration work. There is no.
Therefore, the use of the calibration index sheet 10 can further reduce the labor of the calibration work.
また、本実施形態のカメラ画像のキャリブレーション装置１００によれば、距離用指標１５として、輪郭が円形状のものであることにより、いずれの方向から見た場合にも、長径を有する楕円形状となり、撮影画像Ｐにおける距離用指標１５の像の楕円形状の長径ｄは車載カメラ１〜４からの距離Ｌに常に反比例したものとなるため、見る向きによって形状が変わる他の形状のものよりも、配置の制約がなく、汎用性を高めることができる。
そして、この距離用指標１５の像の長径ｄを用いた上記式（１）〜（３）により、実空間における距離用指標１５と各車載カメラ１〜４との間の距離Ｌを簡単に算出することができる。
距離用指標１５と各車載カメラ１〜４との間の距離Ｌが求められることで、全周視点変換画像Ｓにおける前部の視点変換画像Ｓ１および後部の視点変換画像Ｓ２の、車両２００に対する位置関係を簡単に校正することができる。
Further, according to the camera image calibration device 100 of the present embodiment, the distance index 15 has a circular outline, so that it becomes an elliptical shape having a major axis when viewed from any direction. Since the major axis d of the elliptical shape of the image of the distance index 15 in the captured image P is always inversely proportional to the distance L from the in-vehicle cameras 1 to 4, than the other shapes whose shape changes depending on the viewing direction, There is no restriction on arrangement, and versatility can be improved.
The distance L between the distance index 15 and each of the in-vehicle cameras 1 to 4 in the real space is simply calculated by the above formulas (1) to (3) using the major axis d of the image of the distance index 15. can do.
Since the distance L between the distance index 15 and each of the in-vehicle cameras 1 to 4 is obtained, the position of the front viewpoint conversion image S1 and the rear viewpoint conversion image S2 in the all-round viewpoint conversion image S with respect to the vehicle 200 You can easily calibrate the relationship.
なお、本実施形態のキャリブレーション装置１００は、校正用指標として白丸の校正用指標１１を適用したものであるが、本発明に係るキャリブレーション装置は、この形態の校正指標に限定されるものではない。
例えば、頂点や交差点を複数有する格子状の模様等であってもよい。
Note that the calibration apparatus 100 of the present embodiment applies the white circle calibration index 11 as a calibration index, but the calibration apparatus according to the present invention is not limited to this form of calibration index. Absent.
For example, a lattice pattern having a plurality of vertices and intersections may be used.
本実施形態のカメラ画像のキャリブレーション装置１００の作用は、本発明に係るカメラ画像のキャリブレーション方法の一実施形態でもある。 The operation of the camera image calibration apparatus 100 according to the present embodiment is also an embodiment of the camera image calibration method according to the present invention.
１，２，３，４ 車載カメラ（前部カメラ、後部カメラ、左側部カメラ、右側部カメラ）
１０ 校正用指標シート
１１ 校正用指標
１５ 距離用指標
３０ 外部パラメータ算出部
４１ 第１の変換部
４５ 第２の変換部
５０ 距離算出部
６０ 校正部
７０ 合成部
８０ 変換パラメータ算出部
９５ 変換テーブル記憶部
１００ カメラ画像のキャリブレーション装置
ｍ１，ｍ２，ｍ３，ｍ４ 撮影範囲
Ｐ１，Ｐ２，Ｐ３，Ｐ４ 撮影画像
Ｓ１，Ｓ２，Ｓ３，Ｓ４ 視点変換画像
Ｓ 全周囲視点変換画像
1, 2, 3, 4 In-vehicle camera (front camera, rear camera, left camera, right camera)
10 calibration index sheet 11 calibration index 15 distance index 30 external parameter calculation unit 41 first conversion unit 45 second conversion unit 50 distance calculation unit 60 calibration unit 70 synthesis unit 80 conversion parameter calculation unit 95 conversion table storage unit 100 Camera Image Calibration Device m1, m2, m3, m4 Shooting Ranges P1, P2, P3, P4 Shooting Images S1, S2, S3, S4 Viewpoint Conversion Image S All-around Viewpoint Conversion Image
Claims (6)
前記車両の左側部、右側部、前記前部および前記後部の各車載カメラの撮影範囲が互いに重複する共通撮影範囲にそれぞれ距離用指標を２つずつ配置し、
前記前部の撮影画像における前記校正用指標の位置関係に基づいて前記前部の車載カメラの外部パラメータを求め、前記後部の撮影画像における前記校正用指標の位置関係に基づいて前記後部の車載カメラの外部パラメータを求め、
前記外部パラメータに基づいた透視投影変換により、前記前部の撮影画像および前記後部の撮影画像をそれぞれ、前記車両の上方の視点から見た視点変換画像に変換処理し、
前記各車載カメラでそれぞれ撮影して得られた撮影画像中の前記距離用指標に基づいて、前記視点変換画像における前記各車載カメラから前記距離用指標までの距離を求め、
得られた前部の視点変換画像および後部の視点変換画像を、車両を中心とした単一の全周囲視点変換画像の一部として配置するに際し、前記距離用指標までの距離に基づいて、前記前部の視点変換画像および前記後部の視点変換画像の傾きを校正し、
前記傾きが校正された後の前記前部の視点変換画像および前記後部の視点変換画像が配置された前記全周囲視点変換画像における前記距離用指標と、前記左側部の撮影画像および前記右側部の撮影画像における前記距離用指標との対応関係により、前記左側部の撮影画像および前記右側部の撮影画像を平面射影変換により視点変換して、前記左側部の視点変換画像および前記右側部の視点変換画像を得、
前記左側部および前記右側部の視点変換画像を前記全周囲視点変換画像の一部として配置することで、前記全周囲視点変換画像を得、
前記各撮影画像から前記全周囲視点変換画像に変換するための変換パラメータを求めることを特徴とするカメラ画像のキャリブレーション方法。 Arrange at least four calibration indices whose positional relationships are known in each of the photographing ranges photographed by the in-vehicle cameras provided at the front and rear of the vehicle,
Two distance indicators are arranged in a common shooting range where the shooting ranges of the vehicle-mounted cameras on the left side, the right side, the front and the rear of the vehicle overlap each other,
An external parameter of the front in-vehicle camera is obtained based on the positional relationship of the calibration index in the front captured image, and the rear in-vehicle camera is determined based on the positional relationship of the calibration index in the rear captured image. Find the external parameters of
By the perspective projection conversion based on the external parameters, the front captured image and the rear captured image are each converted into a viewpoint converted image viewed from the viewpoint above the vehicle,
Based on the distance index in the captured image obtained by capturing each of the in-vehicle cameras, the distance from each in-vehicle camera in the viewpoint conversion image to the distance index,
When arranging the obtained front viewpoint conversion image and rear viewpoint conversion image as a part of a single omnidirectional viewpoint conversion image centered on the vehicle, based on the distance to the distance indicator, Calibrate the tilt of the front viewpoint converted image and the rear viewpoint converted image,
The distance index in the omnidirectional viewpoint conversion image in which the front viewpoint conversion image and the rear viewpoint conversion image after the inclination is calibrated, the left side photographed image, and the right side According to the correspondence with the distance index in the captured image, the left-side captured image and the right-side captured image are subjected to viewpoint conversion by plane projective transformation, and the left-side viewpoint converted image and the right-side viewpoint converted. Get an image,
By arranging the left-side and right-side viewpoint converted images as a part of the omnidirectional viewpoint converted image, the omnidirectional viewpoint converted image is obtained,
A camera image calibration method for obtaining a conversion parameter for converting each photographed image into the omnidirectional viewpoint converted image.
前記撮影画像における、前記距離用指標の像の長径をｄとしたとき、前記車載カメラから前記距離用指標までの距離Ｌを、下記式にしたがって求めること特徴とする請求項１に記載のカメラ画像のキャリブレーション方法。
Ｌ２ ＝Ｌ０２ −ｈ２
Ｌ０＝ｆ×ｄ１／ｄ
ｄ＝ｄ０×ｎ
ただし、Ｌ０は前記各車載カメラから前記距離用指標までの空間上での距離、ｈは各車載カメラの路面からの高さ位置、ｆは車載カメラの焦点距離、ｄ１は実空間における距離用指標の直径、ｄ０は車載カメラの撮像素子の１画素の大きさ、ｎは車載カメラの撮影画像中の距離用指標の像の長径が占める画素数をそれぞれ示す。 The distance indicator has a circular outline;
2. The camera image according to claim 1, wherein a distance L from the in-vehicle camera to the distance index is obtained according to the following equation, where d is a major axis of the distance index image in the captured image. Calibration method.
L 2 = L0 2 -h 2
L0 = f × d1 / d
d = d0 × n
However, L0 is the distance in the space from each said vehicle-mounted camera to the said index for distance, h is the height position from the road surface of each vehicle-mounted camera, f is the focal distance of a vehicle-mounted camera, d1 is the distance index in real space , D0 is the size of one pixel of the image sensor of the in-vehicle camera, and n is the number of pixels occupied by the major axis of the distance index image in the captured image of the in-vehicle camera.
前記車両の左側部、右側部、前記前部および前記後部の各車載カメラの撮影範囲が互いに重複する共通撮影範囲にそれぞれ２つずつ配置される距離用指標と、
前記前部の撮影画像における前記校正用指標の位置関係に基づいて前記前部の車載カメラの外部パラメータを求め、前記後部の撮影画像における前記校正用指標の位置関係に基づいて前記後部の車載カメラの外部パラメータを求める外部パラメータ算出部と、
前記外部パラメータに基づいた透視投影変換により、前記前部の撮影画像および前記後部の撮影画像をそれぞれ、前記車両の上方の視点から見た視点変換画像に変換処理する第１の変換部と、
前記各車載カメラでそれぞれ撮影して得られた撮影画像中の前記距離用指標に基づいて、前記視点変換画像における前記各車載カメラから前記距離用指標までの距離を求める距離算出部と、
得られた前部の視点変換画像および後部の視点変換画像を、車両を中心とした単一の全周囲視点変換画像の一部として配置するに際し、前記距離用指標までの距離に基づいて、前記前部の視点変換画像および前記後部の視点変換画像の傾きを校正する校正部と、
前記傾きが校正された後の前記前部の視点変換画像および前記後部の視点変換画像が配置された前記全周囲視点変換画像における前記距離用指標と、前記左側部の撮影画像および前記右側部の撮影画像における前記距離用指標との対応関係により、前記左側部の撮影画像および前記右側部の撮影画像を平面射影変換により視点変換して、前記左側部の視点変換画像および前記右側部の視点変換画像を得る第２の変換部と、
前記前部の視点変換画像、前記後部の視点変換画像、前記左側部の視点変換画像および前記右側部の視点変換画像を、前記全周囲視点変換画像の一部として配置することで、前記全周囲視点変換画像を得る合成部と、
前記各撮影画像から前記全周囲視点変換画像に変換するための変換パラメータを求める変換パラメータ算出部と、を備えたことを特徴とするカメラ画像のキャリブレーション装置。 At least four calibration indices, each of which has a known positional relationship, disposed in each of the photographing ranges photographed by the in-vehicle cameras provided at the front and rear of the vehicle,
Distance indicators arranged in a common shooting range in which the shooting range of each vehicle-mounted camera on the left side, right side, front and rear of the vehicle overlaps each other,
An external parameter of the front in-vehicle camera is obtained based on the positional relationship of the calibration index in the front captured image, and the rear in-vehicle camera is determined based on the positional relationship of the calibration index in the rear captured image. An external parameter calculation unit for obtaining external parameters of
A first conversion unit that converts the photographed image of the front part and the photographed image of the rear part into a viewpoint-converted image viewed from a viewpoint above the vehicle by perspective projection conversion based on the external parameter;
Based on the distance index in the captured image obtained by capturing each of the in-vehicle cameras, a distance calculation unit that obtains a distance from each in-vehicle camera to the distance index in the viewpoint conversion image;
When arranging the obtained front viewpoint conversion image and rear viewpoint conversion image as a part of a single omnidirectional viewpoint conversion image centered on the vehicle, based on the distance to the distance indicator, A calibration unit that calibrates the inclination of the front viewpoint conversion image and the rear viewpoint conversion image;
The distance index in the omnidirectional viewpoint conversion image in which the front viewpoint conversion image and the rear viewpoint conversion image after the inclination is calibrated, the left side photographed image, and the right side According to the correspondence with the distance index in the captured image, the left-side captured image and the right-side captured image are subjected to viewpoint conversion by plane projective transformation, and the left-side viewpoint converted image and the right-side viewpoint converted. A second conversion unit for obtaining an image;
By arranging the front viewpoint conversion image, the rear viewpoint conversion image, the left side viewpoint conversion image, and the right side viewpoint conversion image as a part of the omnidirectional viewpoint conversion image, A synthesis unit for obtaining a viewpoint-converted image;
A camera image calibration apparatus, comprising: a conversion parameter calculation unit that calculates a conversion parameter for converting each captured image into the omnidirectional viewpoint conversion image.
前記距離算出部が、前記撮影画像における、前記距離用指標の像の長径をｄとしたとき、前記車載カメラから前記距離用指標までの距離Ｌを、下記式にしたがって求めること特徴とする請求項４に記載のカメラ画像のキャリブレーション装置。
Ｌ２ ＝Ｌ０２ −ｈ２
Ｌ０＝ｆ×ｄ１／ｄ
ｄ＝ｄ０×ｎ
ただし、Ｌ０は前記各車載カメラから前記距離用指標までの空間上での距離、ｈは各車載カメラの路面からの高さ位置、ｆは車載カメラの焦点距離、ｄ１は実空間における距離用指標の直径、ｄ０は車載カメラの撮像素子の１画素の大きさ、ｎは車載カメラの撮影画像中の距離用指標の像の長径が占める画素数をそれぞれ示す。 The distance indicator has a circular outline;
The distance calculation unit obtains a distance L from the in-vehicle camera to the distance index according to the following equation, where d is a major axis of the distance index image in the captured image. 5. The camera image calibration apparatus according to 4.
L 2 = L0 2 -h 2
L0 = f × d1 / d
d = d0 × n
However, L0 is the distance in the space from each said vehicle-mounted camera to the said distance index, h is the height position from the road surface of each vehicle-mounted camera, f is the focal distance of the vehicle-mounted camera, and d1 is the distance index in the real space. , D0 is the size of one pixel of the image sensor of the in-vehicle camera, and n is the number of pixels occupied by the major axis of the distance index image in the captured image of the in-vehicle camera.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013058511A JP6216525B2 (en) | 2013-03-21 | 2013-03-21 | Camera image calibration method and calibration apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013058511A JP6216525B2 (en) | 2013-03-21 | 2013-03-21 | Camera image calibration method and calibration apparatus |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2014183540A true JP2014183540A (en) | 2014-09-29 |
| JP6216525B2 JP6216525B2 (en) | 2017-10-18 |
Family
ID=51701834
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013058511A Active JP6216525B2 (en) | 2013-03-21 | 2013-03-21 | Camera image calibration method and calibration apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6216525B2 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107886544A (en) * | 2016-09-30 | 2018-04-06 | 法乐第(北京)网络科技有限公司 | IMAQ control method and device for vehicle calibration |
| JP2020513226A (en) * | 2016-11-24 | 2020-05-07 | 深▲セン▼市▲圓▼周率▲軟▼件科技有限▲責▼任公司 | Mass production method and system for panoramic camera |
| US11243539B2 (en) | 2019-03-14 | 2022-02-08 | Xacti Corporation | Imaging system for ship, ship including the system, and calibrating method for imaging system for ship |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008187564A (en) * | 2007-01-31 | 2008-08-14 | Sanyo Electric Co Ltd | Camera calibration apparatus and method, and vehicle |
| JP2008187566A (en) * | 2007-01-31 | 2008-08-14 | Sanyo Electric Co Ltd | Camera calibration apparatus and method and vehicle |
| JP2008193188A (en) * | 2007-02-01 | 2008-08-21 | Sanyo Electric Co Ltd | Camera calibration device and method, and vehicle |
| JP2010183265A (en) * | 2009-02-04 | 2010-08-19 | Alpine Electronics Inc | Image display device and method for calculating camera-mounting angle of the same |
-
2013
- 2013-03-21 JP JP2013058511A patent/JP6216525B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008187564A (en) * | 2007-01-31 | 2008-08-14 | Sanyo Electric Co Ltd | Camera calibration apparatus and method, and vehicle |
| JP2008187566A (en) * | 2007-01-31 | 2008-08-14 | Sanyo Electric Co Ltd | Camera calibration apparatus and method and vehicle |
| JP2008193188A (en) * | 2007-02-01 | 2008-08-21 | Sanyo Electric Co Ltd | Camera calibration device and method, and vehicle |
| JP2010183265A (en) * | 2009-02-04 | 2010-08-19 | Alpine Electronics Inc | Image display device and method for calculating camera-mounting angle of the same |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107886544A (en) * | 2016-09-30 | 2018-04-06 | 法乐第(北京)网络科技有限公司 | IMAQ control method and device for vehicle calibration |
| JP2020513226A (en) * | 2016-11-24 | 2020-05-07 | 深▲セン▼市▲圓▼周率▲軟▼件科技有限▲責▼任公司 | Mass production method and system for panoramic camera |
| US11243539B2 (en) | 2019-03-14 | 2022-02-08 | Xacti Corporation | Imaging system for ship, ship including the system, and calibrating method for imaging system for ship |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6216525B2 (en) | 2017-10-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101265667B1 (en) | Device for 3d image composition for visualizing image of vehicle around and method therefor | |
| US9858639B2 (en) | Imaging surface modeling for camera modeling and virtual view synthesis | |
| JP5013773B2 (en) | In-vehicle image processing apparatus and viewpoint conversion information generation method thereof | |
| EP1378790B1 (en) | Method and device for correcting lens aberrations in a stereo camera system with zoom | |
| US8368761B2 (en) | Image correction method for camera system | |
| US8259173B2 (en) | Image generating apparatus and image generating method | |
| JP3728900B2 (en) | Calibration method and apparatus, and calibration data generation method | |
| JP2008187564A (en) | Camera calibration apparatus and method, and vehicle | |
| JP2009288152A (en) | Calibration method of on-vehicle camera | |
| JP7300948B2 (en) | Survey data processing device, survey data processing method, program for survey data processing | |
| TW201717613A (en) | An image calibrating, composing and depth rebuilding method of a panoramic fish-eye camera and a system thereof | |
| JP6392693B2 (en) | Vehicle periphery monitoring device, vehicle periphery monitoring method, and program | |
| JP2005106505A (en) | Detector and method for detecting corresponding points between images | |
| JP3690581B2 (en) | POSITION DETECTION DEVICE AND METHOD THEREFOR, PLAIN POSITION DETECTION DEVICE AND METHOD THEREOF | |
| JP6216525B2 (en) | Camera image calibration method and calibration apparatus | |
| JPWO2013187204A1 (en) | Synthetic parameter generator for 3D measuring device | |
| JP2004342067A (en) | Image processing method, image processor and computer program | |
| JP4679293B2 (en) | In-vehicle panoramic camera system | |
| WO2005027739A1 (en) | Imaging device and endoscope having distance image measuring function | |
| JP5087571B2 (en) | Coordinate calibration method for 3D image display device | |
| US20120056999A1 (en) | Image measuring device and image measuring method | |
| JP2011228857A (en) | Calibration device for on-vehicle camera | |
| JP2014134611A (en) | Geometric distortion correction device, projector, and geometric distortion correction method | |
| JP5251263B2 (en) | Line sensor camera calibration method, calibration apparatus, and program | |
| JP2011087319A (en) | In-vehicle panorama camera system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160314 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20160314 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170130 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170207 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170323 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170905 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170925 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6216525 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |