JP2004125795A - Calibration method and device of imaging sensor system - Google Patents
Calibration method and device of imaging sensor system Download PDFInfo
- Publication number
- JP2004125795A JP2004125795A JP2003344306A JP2003344306A JP2004125795A JP 2004125795 A JP2004125795 A JP 2004125795A JP 2003344306 A JP2003344306 A JP 2003344306A JP 2003344306 A JP2003344306 A JP 2003344306A JP 2004125795 A JP2004125795 A JP 2004125795A
- Authority
- JP
- Japan
- Prior art keywords
- image sensor
- vehicle
- sensor system
- image
- calibration object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
- G01D18/00—Testing or calibrating apparatus or arrangements provided for in groups G01D1/00 - G01D15/00
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Measurement Of Optical Distance (AREA)
Abstract
Description
本発明は、車両に接してまたは車両内に配置された少なくとも１つの画像センサシステムをキャリブレーションオブジェクトを用いてキャリブレーションする画像センサシステムのキャリブレーション方法および装置に関する。 The present invention relates to a calibration method and apparatus for an image sensor system that uses a calibration object to calibrate at least one image sensor system placed in contact with the vehicle or in the vehicle.
こんにちの車両では車両の周囲環境を把握するために画像センサシステムを利用することが考慮されている。特に走行補助システムに画像センサシステムを用いることが計画されている。例えば画像センサシステムを先行車両との車間距離の自動制御システムに用いることができる。 In today's vehicles, it is considered to use an image sensor system to grasp the surrounding environment of the vehicle. In particular, it is planned to use an image sensor system for the driving assistance system. For example, the image sensor system can be used in an automatic control system for the inter-vehicle distance from the preceding vehicle.
画像の検出領域を拡大するために、少なくとも部分的に検出領域のオーバラップする複数の画像センサシステムを車両内に配置することが考えられている。特にほぼ同じシーンを撮影する２つの画像センサシステムから成るステレオカメラを使用すると有利である。 In order to enlarge the detection area of the image, it is considered to arrange a plurality of image sensor systems in the vehicle at least partially overlapping the detection area. In particular, it is advantageous to use a stereo camera consisting of two image sensor systems that capture almost the same scene.
車両内の画像センサシステムをキャリブレーションオブジェクトを用いてキャリブレーションする方法および装置が既に知られている。 A method and apparatus for calibrating an image sensor system in a vehicle using a calibration object is already known.
２００２年６月２９日付提出の独国特許出願第１０２２９３３６．８号明細書（未公開）から車両内の画像センサシステムをキャリブレーションオブジェクトおよび位置センサを用いてキャリブレーションする方法および装置が知られる。 A method and apparatus for calibrating an image sensor system in a vehicle using a calibration object and a position sensor is known from German Patent Application No. 10229336.8 filed on June 29, 2002 (unpublished).
欧州特許出願公開第１１２０７４６号明細書には車両内の画像センサシステムをキャリブレーションオブジェクトを用いてキャリブレーションする方法および装置が記載されている。ここではキャリブレーションオブジェクトは車両に接続されており、車両に対する機械的なシフト装置によって配向される。長手軸線は車両（特にそのボディ）のシンメトリ特徴によって構成される。製造誤差のためにこの長手軸線はジオメトリ走行軸線には一致せず、これは後部軸線のトラック角の１／２で規定される。長手軸線とジオメトリ走行軸線とのあいだの差は測定を行う画像センサシステムにとって、これが走行補助システムで使用される場合は特に、無視できるものではない。なぜならジオメトリ走行軸線は直進走行の際の方向として長手軸線から独立に定められるからである。 European Patent Application No. 1120746 describes a method and apparatus for calibrating an image sensor system in a vehicle using a calibration object. Here, the calibration object is connected to the vehicle and is oriented by a mechanical shift device with respect to the vehicle. The longitudinal axis is constituted by a symmetry feature of the vehicle (particularly its body). Due to manufacturing errors, this longitudinal axis does not coincide with the geometry travel axis, which is defined by half the track angle of the rear axis. The difference between the longitudinal axis and the geometry travel axis is not negligible for the image sensor system performing the measurement, especially when it is used in a travel assist system. This is because the geometry travel axis is determined independently from the longitudinal axis as the direction of straight travel.
ジオメトリ走行軸線に対する画像センサシステムの配向状態を求めることのヒントは欧州特許出願公開第１１２０７４６号明細書には記載されていない。
本発明の課題は、製造誤差を考慮したうえで正確かつ簡単に画像センサシステムの配向状態を求められる方法を提供することである。 An object of the present invention is to provide a method that can accurately and easily determine the orientation state of an image sensor system in consideration of manufacturing errors.
この課題は、車両がキャリブレーションオブジェクトに対して第１の位置を取っているとき、画像センサシステムによりキャリブレーションオブジェクトの第１の画像情報を有利には少なくとも１つの画像データセットのかたちで形成し、車両がキャリブレーションオブジェクトに対して第２の位置を取っているとき、画像センサシステムによりキャリブレーションオブジェクトの第２の画像情報を有利には少なくとも１つの画像データセットのかたちで形成し、キャリブレーションオブジェクトに対して車両が第１の位置から第２の位置へ移動したことによる位置変化量を求め、少なくとも第１の画像情報および第２の画像情報から車両のジオメトリ走行軸線に対する画像センサシステムの配向状態を求めることにより解決される。 The problem is that when the vehicle is in a first position relative to the calibration object, the image sensor system forms the first image information of the calibration object, preferably in the form of at least one image data set. When the vehicle is in a second position relative to the calibration object, the image sensor system preferably forms the second image information of the calibration object in the form of at least one image data set, The amount of change in position due to the movement of the vehicle from the first position to the second position with respect to the object is obtained, and the orientation of the image sensor system with respect to the geometric travel axis of the vehicle from at least the first image information and the second image information It is solved by determining the state.
車両のジオメトリ走行軸線に対する画像センサシステムの配向状態を求めることにより、有利には画像センサシステムの測定精度が著しく高まる。画像センサシステムが特に走行補助システムで使用される場合、ジオメトリ走行軸線と長手軸線とのあいだに測定される偏差は測定誤差を引き起こすおそれがあり、無視できない。 By determining the orientation state of the image sensor system relative to the vehicle geometry travel axis, the measurement accuracy of the image sensor system is advantageously significantly increased. Deviations measured between the geometry travel axis and the longitudinal axis can cause measurement errors and are not negligible, especially when the image sensor system is used in a travel assistance system.
特に有利には、以下に説明する方法および装置により、車両のジオメトリ走行軸線に対する少なくとも１つの画像センサシステムの配向状態を少なくとも１つのキャリブレーションオブジェクトの少なくとも２つの画像情報から直接に求めることができる。ここで車両はキャリブレーションオブジェクトに対して少なくとも２つの位置を取る。有利には車両のジオメトリ走行軸線に対する少なくとも１つの画像センサシステムの配向状態を求める画像情報があれば充分である。 It is particularly advantageous that the orientation of the at least one image sensor system relative to the geometry travel axis of the vehicle can be determined directly from at least two image information of at least one calibration object by the method and apparatus described below. Here, the vehicle takes at least two positions relative to the calibration object. Advantageously, it is sufficient to have image information for determining the orientation of the at least one image sensor system with respect to the geometric travel axis of the vehicle.
有利には、少なくとも２つの画像情報に含まれる車両のジオメトリ走行軸線に関する情報が使用される。これにより以下に説明する方法および装置を用いて、少なくとも１つの画像センサシステムのキャリブレーションを別のセンサから独立して行うことができる。なぜなら車両のジオメトリ走行軸線に対する少なくとも１つの画像センサシステムの配向状態を求めるのに必要な全ての情報は画像情報に含まれているからである。これにより装置の技術的コストが低減され、キャリブレーションにかかるコストが低減される。 Advantageously, information about the vehicle's geometry travel axis contained in at least two image information is used. This makes it possible to calibrate at least one image sensor system independently of another sensor using the method and apparatus described below. This is because the image information contains all the information necessary to determine the orientation of at least one image sensor system with respect to the vehicle geometry travel axis. This reduces the technical cost of the device and reduces the cost of calibration.
有利には車両のジオメトリ走行軸線に対する画像センサシステムの配向状態を実際の走行条件のもとで求めることにより少なくとも１つの画像センサシステムのキャリブレーションを行う。これにより後に画像センサシステムの実際の使用状態に適したキャリブレーションを行うことができる。これにより有利にはキャリブレーションの精度、特にジオメトリ走行軸線に対するキャリブレーションの精度が高まる。 Advantageously, at least one image sensor system is calibrated by determining the orientation state of the image sensor system relative to the geometry travel axis of the vehicle under actual travel conditions. As a result, calibration suitable for the actual use state of the image sensor system can be performed later. This advantageously increases the accuracy of the calibration, in particular the accuracy of the calibration with respect to the geometry travel axis.
特に有利には、車両がキャリブレーションオブジェクトに対して第３の位置を取っているとき、画像センサシステムによりキャリブレーションオブジェクトの第３の画像情報が有利には少なくとも１つの画像データセットのかたちで形成され、キャリブレーションオブジェクトに対して車両が第３の位置へ移動した位置変化量が求められる。この画像情報の形成は、車両が停止している場合にも、一定の速度で運動している場合にも、一定の加速度または変則的な加速度で運動している場合にも行われる。有利には車両の運動座標および／または画像センサシステムの撮影方向の変化量から、測定中のステアリング運動が識別される。３つ以上の画像情報を評価することにより、有利には走行カーブの再構成や車両の運動の軌道が得られる。有利には行われたステアリング運動について画像情報の評価時に補正がなされたり、ステアリング運動が一定でないことから補正をせずに再度の測定が促されたりする。 Particularly advantageously, when the vehicle is in a third position relative to the calibration object, the image sensor system forms the third image information of the calibration object, preferably in the form of at least one image data set. Then, the position change amount by which the vehicle has moved to the third position with respect to the calibration object is obtained. The image information is formed when the vehicle is stopped, moving at a constant speed, or moving at a constant acceleration or irregular acceleration. Advantageously, the steering movement being measured is identified from the movement coordinates of the vehicle and / or the amount of change in the imaging direction of the image sensor system. By evaluating more than two pieces of image information, it is advantageous to obtain a reconstruction of the running curve and the trajectory of the movement of the vehicle. Advantageously, the steering motion performed is corrected during the evaluation of the image information, or because the steering motion is not constant, another measurement is prompted without correction.
ここで有利には、付加的に操舵角センサの情報および／または少なくとも１つの付加的なセンサの情報を用いて補正または再度の測定の要不要の判別に用いる。こうした付加的なセンサを使用すると、測定誤りが確実に識別されるので、画像センサシステムのキャリブレーションの統計的な精度が高まる。さらに有利には、測定された画像情報から走行路平面を再構成する。このための前提条件として、車両が走行路平面上の少なくとも１つの別の位置を取る。つまり少なくとも３つの異なる位置で画像情報を取得し、これを評価に使用するのである。３つの異なる位置の画像情報を用いる際には、第３の位置は他の２つの位置を結んだ直線上にあってはならない。 Here, advantageously, the information of the steering angle sensor and / or the information of at least one additional sensor is used to determine whether correction or re-measurement is necessary. The use of such additional sensors increases the statistical accuracy of the calibration of the image sensor system, since measurement errors are reliably identified. More advantageously, the road plane is reconstructed from the measured image information. As a precondition for this, the vehicle takes at least one other position on the plane of the road. That is, image information is acquired at at least three different positions and used for evaluation. When using image information at three different positions, the third position should not be on a straight line connecting the other two positions.
有利には、画像センサシステムは所定の位置でキャリブレーションオブジェクトの少なくとも２つの画像情報を有利には少なくとも１つの画像データセットのかたちで形成する。車両の画像センサシステムが所定の位置で１つ以上の画像を撮影すると、画像内で識別される基準指標またはそこから求められた画像センサシステムの撮影位置が求められるので、有利には精度が上昇する。 Advantageously, the image sensor system forms at least two pieces of image information of the calibration object at a predetermined position, preferably in the form of at least one image data set. When the vehicle image sensor system captures one or more images at a predetermined position, a reference index identified in the image or the image sensor system position determined from the reference index is determined, which advantageously increases accuracy. To do.
さらに有利には、走行路平面に対するキャリブレーションオブジェクトの位置が画像情報を評価する際に考慮される。特に画像センサシステムをビデオサポート型の走行補助システムの分野へ適用する場合、有利には、少なくとも１つの座標または基準指標に対する走行路平面の位置が既知となることにより、走行路平面が測定空間へ導入され、画像センサシステムがキャリブレーションされる。これにより有利にはジオメトリ走行軸線および撮影方向（特に画像センサシステムの光軸）の方向成分が相互に関連して定義される。これにより特に有利には別のデータ、特に画像センサシステムと走行路との距離（画像センサシステムの走行路に対する組み込み高さ、および／または傾角、および／または走行路平面に対するロール角、ピッチ角など）を求めることができる。 More advantageously, the position of the calibration object relative to the road surface plane is taken into account when evaluating the image information. Particularly when the image sensor system is applied to the field of video support type driving assistance systems, it is advantageous to know the position of the road plane relative to at least one coordinate or reference index, so that the road plane is transferred to the measurement space. Introduced and the image sensor system is calibrated. This advantageously defines the direction components of the geometry travel axis and the imaging direction (in particular the optical axis of the image sensor system) in relation to each other. In this way, it is particularly advantageous to use other data, in particular the distance between the image sensor system and the road (eg the built-in height and / or tilt angle of the image sensor system relative to the road and / or the roll angle, pitch angle etc. ).
特に有利には、ジオメトリ走行軸線に沿った車両の運動が直進するようにステアリングの設定された車両によって検出される。後に説明する本発明の方法および装置のここでの実施形態では、２つの位置のみを用いて形成された画像情報を評価すれば充分である。これにより迅速かつ低コストに少なくとも１つの画像センサシステムのキャリブレーションを行うことができる。 Particularly advantageously, it is detected by a vehicle set to steer so that the movement of the vehicle along the geometry travel axis goes straight. In the present embodiment of the method and apparatus of the present invention described below, it is sufficient to evaluate image information formed using only two positions. As a result, calibration of at least one image sensor system can be performed quickly and at low cost.
有利にはキャリブレーションオブジェクトおよび／または走行路平面は水平化されている。走行路平面が地球重力場のポテンシャル平面に対して平行であれば（つまり水平化されていれば）、有利には、キャリブレーションオブジェクト、例えば基準指標を備えたキャリアユニットを測定空間内へ導入することができる。ここで法線に対する配向状態は例えば地球重力場に追従するキャリブレーションペンデュラムおよび／または水準器を用いて求められる。これらを用いることにより、有利にはキャリブレーションの精度が高まる。なぜなら走行路平面に対するキャリブレーションオブジェクトの配向状態が正確に得られるからである。これは特に走行路平面に対するキャリブレーションオブジェクトの位置が画像情報の評価の際に考慮される場合に有利である。 Advantageously, the calibration object and / or the road surface plane are leveled. If the path plane is parallel (ie leveled) to the potential plane of the earth's gravitational field, it is advantageous to introduce a calibration object, eg a carrier unit with a reference index, into the measurement space be able to. Here, the orientation state with respect to the normal is obtained by using, for example, a calibration pendulum and / or a spirit level that follows the earth gravity field. Use of these advantageously increases the accuracy of the calibration. This is because the orientation state of the calibration object with respect to the road surface plane can be accurately obtained. This is particularly advantageous when the position of the calibration object relative to the road surface plane is taken into account when evaluating the image information.
特に有利には、後に説明する本発明の方法および装置において、ほぼ同じシーンを撮影する少なくとも２つの画像センサシステムに対して、ジオメトリ走行軸線に対する画像センサシステムの配向状態が求められ、そこから画像センサシステム相互の配向状態が求められる。特に有利には、このとき少なくとも１つのステレオカメラシステムが車両のジオメトリ走行軸線に対してキャリブレーションされる。 Particularly advantageously, in the method and apparatus of the invention described later, the orientation state of the image sensor system relative to the geometry travel axis is determined for at least two image sensor systems that capture substantially the same scene, from which the image sensor is determined. The alignment state between systems is required. Particularly advantageously, at least one stereo camera system is then calibrated with respect to the vehicle geometry travel axis.
有利にはキャリブレーションオブジェクトは基準指標を備えた自由な形状のキャリアユニットとして構成されている。基準指標はキャリアユニットの構造から定められるか、または特別に構成される。これにより確実に検出可能な基準指標を備えた簡単な構造が得られる。確実に基準指標を検出するために、有利には、基準指標がジオメトリ的に既知の形状を有していてもよいし、周囲に対して良好なコントラストを有していてもよいし、アクティブに発光してもよいし、および／または反射マークとして構成されていてもよい。 Advantageously, the calibration object is configured as a free-form carrier unit with a reference index. The reference index is determined from the structure of the carrier unit or is specially constructed. This provides a simple structure with a reference index that can be reliably detected. In order to reliably detect the reference index, the reference index may advantageously have a geometrically known shape, have a good contrast to the surroundings, or be active It may emit light and / or be configured as a reflective mark.
他の利点は以下に説明する図示の実施例およびそれぞれの従属請求項から得られる。 Other advantages are obtained from the exemplary embodiments described below and the respective dependent claims.
本発明を以下に図示の実施例に則して詳細に説明する。 DETAILED DESCRIPTION OF THE INVENTION The present invention will be described in detail below with reference to the illustrated embodiments.
図１にはジオメトリ走行軸線１８、車両１０の長手中央面２０、および車両の長手軸線２２の定義を説明するための図が示されている。図示されているのは前軸に取り付けられた駆動可能な２つの前輪１２と後軸に取り付けられた駆動不能な２つの後輪１４とを備えた車両１０である。前軸および後軸はそれぞれ車輪軸である。ジオメトリ走行軸線１８は後軸のトラック角の１／２の線として定義されており、ここでトラック角２４とは２つの後輪１４のトラック１６の開きによって定められる角度である。ジオメトリ走行軸線１８は走行路平面に平行である。走行路平面は図１では示されていない。これに対して車両の長手中央面２０は走行路平面に垂直な平面にあり、前輪および後輪のトラック幅の中心を通っている。長手軸線２２は車両１０（特にボディ）のシンメトリ特徴によって構成される。長手軸線２２は走行路平面に対して平行である。製造誤差のためにジオメトリ走行軸線１８、車両の長手中央面２０、および長手軸線２２は一般には一致しない。ジオメトリ走行軸線１８は車両１０が直進するときの走行方向を定める。この直進時の走行方向は車両の長手軸線２２およびドライブ機構に対するボディの配向状態からは独立している。 FIG. 1 shows a diagram for explaining the definitions of the geometry travel axis 18, the longitudinal center plane 20 of the vehicle 10, and the longitudinal axis 22 of the vehicle. Shown is a vehicle 10 having two drivable front wheels 12 attached to the front axle and two non-drivable rear wheels 14 attached to the rear axle. The front axle and the rear axle are each a wheel axle. The geometry travel axis 18 is defined as a line that is half the track angle of the rear axis, where the track angle 24 is an angle determined by the opening of the tracks 16 of the two rear wheels 14. The geometry travel axis 18 is parallel to the travel path plane. The travel path plane is not shown in FIG. On the other hand, the longitudinal center plane 20 of the vehicle is in a plane perpendicular to the plane of the traveling road and passes through the center of the track width of the front wheels and the rear wheels. The longitudinal axis 22 is constituted by a symmetry feature of the vehicle 10 (particularly the body). The longitudinal axis 22 is parallel to the travel path plane. Due to manufacturing errors, the geometry travel axis 18, the vehicle longitudinal center plane 20, and the longitudinal axis 22 generally do not coincide. The geometry travel axis 18 defines the travel direction when the vehicle 10 goes straight. The traveling direction during straight travel is independent of the longitudinal axis 22 of the vehicle and the orientation of the body relative to the drive mechanism.
図２には少なくとも１つの画像センサシステム３８をキャリブレーションする第１の実施例が示されている。画像センサシステムは車両１０内に位置しており、ジオメトリ走行軸線に対する画像センサシステム３８の配向状態が求められる。この実施例では画像センサシステム３８が車両１０内のキャノピーガラスの後方、バックミラーの近傍領域に設けられている。画像センサシステム３８の検出領域４８は車両１０のフォワード走行方向へ配向されている。この画像センサシステム３８はビデオセンサ、例えばＣＣＤカメラまたはＣＭＯＳカメラとして構成されている。車両１０は例えば車両製造工場または車両整備工場の走行路平面５４上にある。評価ユニット５０が画像センサシステム３８の画像情報を評価する。図２には少なくとも３つのジオメトリ基準指標９０を備えた測定空間が示されており、これがキャリブレーションオブジェクト３６を形成している。基準指標９０は反対側に位置する評価回路５０にとって既知である。基準指標９０は測定空間で固定されている。この実施例では測定空間はキャリブレーションオブジェクト３６として基準指標９０を備えた自由な形状のキャリアユニットを有している。基準指標９０はこの実施例ではキャリアユニット３６の構造から得られるが、このキャリアユニット３６専用に設けられたものであってもよい。画像センサシステム３８は少なくとも２つの任意の位置４０、４２から充分に大きな距離を置いてキャリブレーションオブジェクト３６または測定空間の画像情報を少なくとも１つずつ、有利には少なくとも１つの画像データセットのかたちで撮影する。車両１０の位置４０、４２は車両１０が前進することにより自身の車輪に踏襲される。画像センサシステム３８からキャリブレーションオブジェクト３６までの距離は例えば１ｍ〜２０ｍの範囲であり、有利には２ｍ〜５ｍが適切である。画像センサシステム３８をキャリブレーションするために、形成された画像情報から、ジオメトリ走行軸線に対する画像センサシステム３８の配向状態が求められる。 FIG. 2 shows a first embodiment for calibrating at least one image sensor system 38. The image sensor system is located in the vehicle 10 and the orientation state of the image sensor system 38 relative to the geometry travel axis is determined. In this embodiment, an image sensor system 38 is provided behind the canopy glass in the vehicle 10 and in the vicinity of the rearview mirror. The detection area 48 of the image sensor system 38 is oriented in the forward traveling direction of the vehicle 10. The image sensor system 38 is configured as a video sensor, for example, a CCD camera or a CMOS camera. The vehicle 10 is, for example, on a traveling path plane 54 of a vehicle manufacturing factory or a vehicle maintenance factory. An evaluation unit 50 evaluates image information of the image sensor system 38. FIG. 2 shows a measurement space with at least three geometry reference indices 90, which form a calibration object 36. The reference index 90 is known to the evaluation circuit 50 located on the opposite side. The reference index 90 is fixed in the measurement space. In this embodiment, the measurement space has a free-shaped carrier unit with a reference index 90 as a calibration object 36. The reference index 90 is obtained from the structure of the carrier unit 36 in this embodiment, but may be provided exclusively for the carrier unit 36. The image sensor system 38 has a sufficiently large distance from at least two arbitrary positions 40, 42 to provide at least one image information of the calibration object 36 or measurement space, preferably in the form of at least one image data set. Take a picture. The positions 40 and 42 of the vehicle 10 are followed by their own wheels as the vehicle 10 moves forward. The distance from the image sensor system 38 to the calibration object 36 is, for example, in the range of 1 m to 20 m, preferably 2 m to 5 m. In order to calibrate the image sensor system 38, the orientation state of the image sensor system 38 relative to the geometry travel axis is determined from the formed image information.
図３には少なくとも１つの画像センサシステム３８をキャリブレーションする第２の実施例が示されている。画像センサシステムは車両１０内に位置しており、ジオメトリ走行軸線に対する画像センサシステム３８の配向状態が求められる。図２の実施例と同様に、この実施例においても、画像センサシステム３８が車両１０内のキャノピーガラスの後方、バックミラーの近傍領域に設けられている。画像センサシステム３８の検出領域４８は車両１０のフォワード走行方向へ配向されている。この画像センサシステム３８はビデオセンサ、例えばＣＣＤカメラまたはＣＭＯＳカメラとして構成されている。車両１０は例えば車両製造工場または車両整備工場の走行路平面５４上にある。評価ユニット５０が画像センサシステム３８の画像情報を評価する。この実施例では走行路平面５４は画像センサシステム３８のキャリブレーションのための測定空間へ導入される。これは測定空間または基準指標空間内の少なくとも１つの基準指標９０の少なくとも１つの成分に対して走行路平面５４の位置を既知とすることによって行われる。これによりジオメトリ走行軸線および画像センサシステム３８の撮影方向の方向成分が相互に定義される。図３には基準指標空間の座標軸Ｘ、Ｙ、Ｚが定義されており、ここでは走行路平面５４がＸ−Ｙ平面にあり、ジオメトリ走行軸線がほぼＸ軸に一致している。この実施例ではキャリブレーションオブジェクト３６として基準指標９０を備えた平坦なキャリアユニットが使用され、ここでキャリアユニットの平面は走行路平面５４に垂直であり、かつジオメトリ走行軸線に対して近似に垂直に配向されている。画像センサシステム３８は少なくとも２つの任意の位置４０、４２から充分に大きな距離を置いてキャリブレーションオブジェクト３６または測定空間の画像情報を少なくとも１つずつ、有利には少なくとも１つの画像データセットのかたちで撮影する。車両１０の位置４０、４２は車両１０が前進することにより自身の車輪に踏襲される。画像センサシステム３８からキャリブレーションオブジェクト３６までの距離は例えば１ｍ〜２０ｍの範囲であり、有利には２ｍ〜５ｍが適切である。画像センサシステム３８をキャリブレーションするために、形成された画像情報から、ジオメトリ走行軸線に対する画像センサシステム３８の配向状態が求められる。 FIG. 3 shows a second embodiment for calibrating at least one image sensor system 38. The image sensor system is located in the vehicle 10 and the orientation state of the image sensor system 38 relative to the geometry travel axis is determined. Similar to the embodiment of FIG. 2, also in this embodiment, the image sensor system 38 is provided behind the canopy glass in the vehicle 10 and in the vicinity of the rearview mirror. The detection area 48 of the image sensor system 38 is oriented in the forward traveling direction of the vehicle 10. The image sensor system 38 is configured as a video sensor, for example, a CCD camera or a CMOS camera. The vehicle 10 is, for example, on a traveling path plane 54 of a vehicle manufacturing factory or a vehicle maintenance factory. An evaluation unit 50 evaluates image information of the image sensor system 38. In this embodiment, the road surface plane 54 is introduced into a measurement space for calibration of the image sensor system 38. This is done by making the position of the road surface plane 54 known for at least one component of at least one reference indicator 90 in the measurement space or reference indicator space. As a result, the direction component in the photographing direction of the geometry traveling axis and the image sensor system 38 is mutually defined. In FIG. 3, coordinate axes X, Y, and Z of the reference index space are defined. Here, the traveling road plane 54 is in the XY plane, and the geometry traveling axis substantially coincides with the X axis. In this embodiment, a flat carrier unit with a reference index 90 is used as the calibration object 36, where the plane of the carrier unit is perpendicular to the road surface plane 54 and approximately perpendicular to the geometry travel axis. Oriented. The image sensor system 38 has a sufficiently large distance from at least two arbitrary positions 40, 42 to provide at least one image information of the calibration object 36 or measurement space, preferably in the form of at least one image data set. Take a picture. The positions 40 and 42 of the vehicle 10 are followed by their own wheels as the vehicle 10 moves forward. The distance from the image sensor system 38 to the calibration object 36 is, for example, in the range of 1 m to 20 m, preferably 2 m to 5 m. In order to calibrate the image sensor system 38, the orientation state of the image sensor system 38 relative to the geometry travel axis is determined from the formed image information.
特に画像センサシステムのヨー角はジオメトリ走行軸線と画像センサシステム３８の撮影方向とをＸ−Ｙ平面へ投影して求められる。キャリブレーションデータの他のパラメータとして、画像センサシステム３８の走行路平面に対する組み込み高さ、および／または画像センサシステム３８の走行路平面に対するピッチ角、および／または画像センサシステム３８の走行路平面に対するロール角が求められる。この実施例では、走行路平面５４の位置は基準指標９０の座標系内で既知である。例えば走行路平面３２の位置は構造的に定義されて既知となっているか、独立した測定システムにより付加的に検出されるか、または画像情報から再構成される。画像情報からの再構成は、車両１０が走行路平面上で他の２つの位置４０、４２を結んだ直線上以外の少なくとも１つの別の位置を取ることによって行われる。これに代えて、またはこれに加えて、走行路平面５４は地球重力場のポテンシャル平面に対して平行になっている。つまりこの平面は水平化されており、法線に対するキャリアユニットの配向状態は地球重力場に追従するキャリブレーションペンデュラムおよび／または水準器によって求められる。 Particularly, the yaw angle of the image sensor system is obtained by projecting the geometry travel axis and the imaging direction of the image sensor system 38 onto the XY plane. As other parameters of the calibration data, the built-in height of the image sensor system 38 relative to the road surface plane and / or the pitch angle of the image sensor system 38 relative to the road surface plane, and / or the roll of the image sensor system 38 relative to the road surface plane. A corner is required. In this embodiment, the position of the road surface plane 54 is known in the coordinate system of the reference index 90. For example, the position of the road surface plane 32 is structurally defined and known, is additionally detected by an independent measurement system, or is reconstructed from image information. The reconstruction from the image information is performed by taking at least one other position other than a straight line connecting the other two positions 40 and 42 on the plane of the traveling path of the vehicle 10. Alternatively or in addition, the travel path plane 54 is parallel to the earth gravity field potential plane. That is, this plane is leveled, and the orientation of the carrier unit relative to the normal is determined by a calibration pendulum and / or level that follows the earth's gravitational field.
図４には特に画像情報を処理および評価する本発明の実施例にしたがって画像センサシステム３８をキャリブレーションする装置のブロック図が示されている。これは画像センサシステム３８、評価ユニット５０、および有利にはメモリユニットなどの少なくとも１つの装置５２から成る。画像センサシステム３８で撮影された少なくとも２つの画像は、有利には画像データセットのかたちで信号線路４９を介して評価ユニット５０へ電気的および／または光学的に伝送される。これに代えて画像データセットを無線で伝送してもよい。評価ユニット５０はここでは画像センサシステム３８から分離されて配置されており、特に車両内または車両外に位置するが、評価ユニット５０を直接に画像センサシステム３８内に配置してもよい。評価ユニット５０は少なくとも１つのマイクロプロセッサを有しており、少なくとも１つのマイクロプロセッサのプログラムとして構成された図５の複数のモジュールから成る。評価ユニット５０は画像情報から少なくとも１つのキャリブレーションデータのパラメータを求める。これは例えばヨー角および／またはピッチ角および／またはロール角および／または車両内の画像センサシステム３８の３次元の組み込み位置を表す他のパラメータである。ヨー角はここでは光軸または画像平面の法線がジオメトリ走行軸線に対して有する水平の角度偏差として定義される。ピッチ角とは光軸または画像平面の法線がジオメトリ走行軸線に対して有する垂直の角度偏差である。ロール角とは画像センサシステム３８の光軸を中心とした走行路平面に関する回転角度である。キャリブレーションデータのパラメータは信号線路５１を介して後置接続された少なくとも１つの装置５２、例えばメモリユニットへ電気的および／または光学的に伝送される。これに代えて無線で伝送を行ってもよい。装置５２もここでは画像センサシステム３８から分離されて配置されているが、これを直接に画像センサシステム３８内に配置してもよい。そのほかキャリブレーションデータのパラメータは画像センサシステム３８を機械的にアライメントするために用いてもよいし、および／または画像センサシステム３８の駆動中画像データをソフトウェアまたはアルゴリズムによって処理して操作するアプリケーションに用いてもよい。これによりアプリケーションのためのシミュレーションおよび／または画像センサシステム３８による測定値検出が保証される。 FIG. 4 shows a block diagram of an apparatus for calibrating the image sensor system 38 according to an embodiment of the present invention that specifically processes and evaluates image information. It consists of at least one device 52 such as an image sensor system 38, an evaluation unit 50, and preferably a memory unit. At least two images taken with the image sensor system 38 are preferably transmitted electrically and / or optically via the signal line 49 to the evaluation unit 50 in the form of image data sets. Alternatively, the image data set may be transmitted wirelessly. The evaluation unit 50 is here arranged separately from the image sensor system 38 and is particularly located in or outside the vehicle, but the evaluation unit 50 may also be arranged directly in the image sensor system 38. The evaluation unit 50 has at least one microprocessor and comprises a plurality of modules in FIG. 5 configured as a program for at least one microprocessor. The evaluation unit 50 obtains at least one calibration data parameter from the image information. This is, for example, the yaw angle and / or pitch angle and / or roll angle and / or other parameters representing the three-dimensional integration position of the image sensor system 38 in the vehicle. The yaw angle is here defined as the horizontal angular deviation that the normal of the optical axis or image plane has with respect to the geometry travel axis. The pitch angle is the vertical angular deviation that the normal of the optical axis or image plane has with respect to the geometry travel axis. The roll angle is a rotation angle with respect to the traveling road plane around the optical axis of the image sensor system 38. The parameters of the calibration data are transmitted electrically and / or optically to at least one device 52, for example a memory unit, connected downstream via a signal line 51. Instead of this, transmission may be performed wirelessly. The device 52 is also arranged here separately from the image sensor system 38, but it may also be arranged directly in the image sensor system 38. Other parameters of the calibration data may be used to mechanically align the image sensor system 38 and / or for applications that process and manipulate image data while the image sensor system 38 is being driven by software or algorithms. May be. This ensures simulation for the application and / or measurement detection by the image sensor system 38.
図５にはキャリブレーションデータ８６の少なくとも１つのパラメータを求める本発明の方法の実施例のフローチャートが示されている。図４の信号線路４９の画像センサ信号７０、すなわち画像データセットのかたちのキャリブレーションオブジェクトの画像情報は前処理のためにモジュール７２へ供給される。このモジュール７２では画像情報７４が前処理される。前処理として、特にコントラスト改善および／または輝度の変更および／またはフィルタリングによる画像修正などが行われる。前処理された画像情報７４はモジュール７６へ供給され、ここで指標のアイデンティフィケーションが行われる。このモジュール７６は特に基準指標のサーチおよびアイデンティフィケーションに用いられる。画像中の重要な指標は周知の画像処理プロセスによって求められる。例えば設定されたグレー値によるプロセスおよび／またはエッジ処理プロセスおよび／または形状適合プロセスなどが使用される。モジュール７６で求められたデータ７８はモジュール８０へ供給され、基準指標の２Ｄ位置（２次元位置）が求められる。その場合、特にピクセル精度またはサブピクセル精度の２Ｄ位置検出が行われる。プロセスとして例えばグレー値合計および／または平均値形成などによる重心演算、円エッジまたは楕円エッジでのストラクチャ演算、および／またはパターングレー値マトリクスなどが使用される。パターングレー値マトリクスを使用するプロセスはテンプレートマッチング（パターン適合化）であり、人工的に定義された指標のグレー値マトリクスがシミュレーションされた基準指標全体にわたって最大限に配置され、これにより２Ｄ位置が求められる。求められた基準指標の２Ｄ位置、すなわち基準指標の画像座標はデータ８２としてモジュール８４へ供給され、キャリブレーションデータの少なくとも１つのパラメータが計算される。車両内の画像センサシステムのキャリブレーションのためのキャリブレーションデータ８６のパラメータとして基本的に内部データと外部データとに区別される。キャリブレーション内部データは例えばカメラのメインポイントおよび／またはカメラ定数および／または少なくとも１つの歪みパラメータである。キャリブレーション外部データは６つのパラメータに区別される。３つの並進運動パラメータによって画像センサシステムの車両に対しての組み込み位置が記述される。そのほかに３つの回転角度、すなわちヨー角度、ピッチ角度、ロール角度が区別される。キャリブレーションデータ８６の少なくとも１つのパラメータを求めるために、モジュール８４で周知の数値的な写真測定プロセスが使用される。有利には直接線形変換ＤＬＴが使用される。これに代えて空間的なバックワードカットのプロセスを使用することもできる。ＤＬＴを使用することにより、キャリブレーションデータ８６の少なくとも１つのパラメータを近似値なしに線形の式の系で求めることができる。この手法はオブジェクト空間と画像空間とのあいだの射影関係に基づいており、画像の座標のアフィン変換を拡張したかたちである。空間的なバックワードカットプロセスを用いると、立てられた共線式に非線形の解が生じ、キャリブレーションデータのためにサーチしているパラメータに近似値が必要となる。この解は最小２乗誤差の手法にしたがって補償計算で反復される。ここで共線式から観察の改善式が導出される。観察とはここでは画像内で測定される基準指標の画像座標に相当する。いわゆる標準式が立てられて解かれ、しかもこれはキャリブレーションデータ８６のためにサーチされるパラメータが大きく変化しなくなるまで反復される。 FIG. 5 shows a flowchart of an embodiment of the method of the present invention for determining at least one parameter of the calibration data 86. The image sensor signal 70 on the signal line 49 in FIG. 4, ie the image information of the calibration object in the form of an image data set, is supplied to the module 72 for preprocessing. In this module 72, the image information 74 is preprocessed. As pre-processing, in particular, contrast improvement and / or brightness change and / or image correction by filtering are performed. The preprocessed image information 74 is supplied to the module 76 where index identification is performed. This module 76 is used in particular for reference index search and identification. An important index in an image is obtained by a well-known image processing process. For example, a process with a set gray value and / or an edge processing process and / or a shape matching process are used. The data 78 obtained by the module 76 is supplied to the module 80, and the 2D position (two-dimensional position) of the reference index is obtained. In that case, 2D position detection with pixel accuracy or sub-pixel accuracy is performed. As the process, for example, a centroid calculation by gray value summation and / or average value formation, a structure calculation at a circle edge or an ellipse edge, and / or a pattern gray value matrix are used. The process of using a pattern gray value matrix is template matching (pattern matching), where a gray value matrix of artificially defined indices is maximally placed across the simulated reference indices, thereby determining 2D positions. It is done. The obtained 2D position of the reference index, that is, the image coordinates of the reference index is supplied as data 82 to the module 84, and at least one parameter of the calibration data is calculated. Basically, internal data and external data are distinguished as parameters of calibration data 86 for calibration of the image sensor system in the vehicle. The calibration internal data is, for example, a camera main point and / or a camera constant and / or at least one distortion parameter. Calibration external data is classified into six parameters. Three translational parameters describe the location of the image sensor system in relation to the vehicle. In addition, three rotation angles, namely, yaw angle, pitch angle, and roll angle are distinguished. In order to determine at least one parameter of the calibration data 86, a numerical photographic measurement process known at module 84 is used. A direct linear transformation DLT is preferably used. Alternatively, a spatial backward cut process can be used. By using the DLT, at least one parameter of the calibration data 86 can be obtained by a system of linear equations without an approximate value. This method is based on the projective relationship between object space and image space, and is an expanded form of affine transformation of image coordinates. If a spatial backward cut process is used, a non-linear solution will occur in the established collinear equation and an approximate value will be required for the parameter being searched for calibration data. This solution is repeated in the compensation calculation according to the least square error approach. Here, the observation improvement formula is derived from the collinear formula. Here, the observation corresponds to the image coordinates of the reference index measured in the image. A so-called standard equation is established and solved, and this is repeated until the parameters searched for calibration data 86 do not change significantly.
図６には例えば前述の実施例で使用されるキャリブレーションオブジェクト３６が示されている。図６のキャリブレーションオブジェクト３６は平面的なキャリアユニットとして構成されている。例えば図６には９つの基準指標９０が示されている。基準指標９０を確実に検出するために、この指標はジオメトリ的に既知の形状を有するか、および／または周囲に対して良好なコントラストを有するか、および／またはアクティブに発光するか、および／または反射マークを備えている。基準指標９０は少なくとも１つの画像センサシステムの画像内で簡単に自動的に検出することができる。図６に示されている基準指標９０は円形であり、有利には光学的な散乱反射性を有する。基準指標９０は少なくとも１つの画像センサシステムのシミュレーション尺度と撮影方向とに依存して選定された径を有する。基準指標９０は自動的に区別される。これは少なくとも１つの基準指標９０が少なくとも１つの画像センサシステムで検出可能なコードを有しているか、および／または所定のジオメトリを備えたグループとして構成されているからである。基準指標９０を照明するために少なくとも１つの光源を使用する手段を用いて、基準指標９０の把握しやすさをいっそう増大させることもできる。特に画像センサシステムの対物レンズ近傍に少なくとも１つの光源を配置することにより反射性の基準指標９０を把握しやすくなる。この実施例では光源からの光が赤外線スペクトルで送信される。これにより測定位置の人員に対する光のふるまいの障害が回避される。基準指標９０が少なくとも１つの画像センサシステムに対する図６の平面的な構成に加えてキャリブレーションオブジェクト３６上で空間的にずらされて配置されている場合、基準指標９０の平面的構成に対する評価は簡単化され、測定結果がいっそう確実となる。 FIG. 6 shows a calibration object 36 used in the above-described embodiment, for example. The calibration object 36 in FIG. 6 is configured as a planar carrier unit. For example, nine reference indices 90 are shown in FIG. In order to reliably detect the reference indicator 90, this indicator has a geometrically known shape and / or has a good contrast to the surroundings and / or actively emits light and / or A reflection mark is provided. The reference index 90 can be easily and automatically detected in an image of at least one image sensor system. The reference index 90 shown in FIG. 6 is circular and preferably has optical scattering reflectivity. The reference index 90 has a diameter selected depending on the simulation scale and imaging direction of at least one image sensor system. The reference index 90 is automatically distinguished. This is because at least one reference index 90 has a code that can be detected by at least one image sensor system and / or is configured as a group with a predetermined geometry. The means of using at least one light source to illuminate the reference index 90 can be used to further increase the ease of grasping the reference index 90. In particular, by arranging at least one light source in the vicinity of the objective lens of the image sensor system, it becomes easy to grasp the reflective reference index 90. In this embodiment, light from the light source is transmitted in the infrared spectrum. This avoids the failure of the light behavior for the personnel at the measurement location. If the reference index 90 is spatially offset on the calibration object 36 in addition to the planar configuration of FIG. 6 for at least one image sensor system, the evaluation of the reference index 90 on the planar configuration is simple. And the measurement results are more reliable.
本発明の実施例の１つのバリエーションでは、測定空間は３つ以上の基準指標を有し、車両は少なくとも２つの位置を取る。基準指標は少なくとも１つの画像センサシステムから種々のパースペクティブで撮影を行う。これにより基準指標の空間的な相互位置を知る必要がなくなる。なぜならこれは評価の段階で求めることができるからである。 In one variation of an embodiment of the present invention, the measurement space has three or more reference indicators and the vehicle takes at least two positions. The reference index is taken from various perspectives from at least one image sensor system. This eliminates the need to know the spatial mutual position of the reference indices. This is because it can be obtained at the evaluation stage.
本発明の方法および装置の別のバリエーションでは、測定空間は３つ以上の基準指標を有し、車両は少なくとも２つの位置を取って測定空間内に固定されたキャリブレーションオブジェクトを検出し、さらに他のパースペクティブでの少なくとも１つの別の画像情報を評価に用いる。ここでは車両は自身の位置を変更するのではなく、キャリブレーションオブジェクトまたはキャリアユニットのほうが動かされる。キャリブレーションオブジェクトは位置および／または配向状態を変更し、少なくとも１つの画像センサシステムが他のパースペクティブでキャリブレーションオブジェクトを撮影する。このとき基準指標の空間的な相互位置は既知であっても未知であってもよい。 In another variation of the method and apparatus of the present invention, the measurement space has more than two reference indicators, the vehicle takes at least two positions to detect a calibration object fixed in the measurement space, and other At least one other piece of image information in the perspective is used for the evaluation. Here, the vehicle does not change its position, but the calibration object or the carrier unit is moved. The calibration object changes position and / or orientation and at least one image sensor system images the calibration object in another perspective. At this time, the spatial mutual position of the reference indices may be known or unknown.
測定空間内のキャリブレーションオブジェクトが３つ以上の基準指標を有する場合、本発明の実施例の１つのバリエーションではキャリブレーションデータの内部パラメータが求められる。基準指標により付加的に例えば画像センサシステムとオブジェクトとのあいだのキャノピーガラスに起因する歪みの影響の光学的なシミュレーションが得られる。 When the calibration object in the measurement space has three or more reference indices, an internal parameter of the calibration data is obtained in one variation of the embodiment of the present invention. The reference index additionally provides an optical simulation of the influence of distortion caused by, for example, the canopy glass between the image sensor system and the object.
車両のジオメトリ走行軸線は実際の走行条件のもとで求められる。この実施例では画像情報の形成、すなわち画像撮影が停止状態で行われている。停止状態での画像撮影により測定結果の信頼性が支援される。これに代えて画像撮影を加速のない走行および／または加速走行で行うこともできる。 The vehicle's geometry travel axis is determined under actual travel conditions. In this embodiment, image information formation, that is, image shooting is performed in a stopped state. The reliability of the measurement results is supported by taking an image in the stopped state. Instead of this, it is also possible to take an image by running without acceleration and / or acceleration running.
前述の方法および装置は、同時に１つ以上の画像センサシステムをキャリブレーションするのにも適している。特に評価中、直接に、少なくとも２つの異なるパースペクティブでオブジェクトを捉える２つ以上の画像センサシステムを相互に割り当て、このオブジェクトを画像から３次元的に再構成する。特に前述の方法および装置はほぼ同じシーンを撮影する２つの画像センサシステムから成るステレオカメラをキャリブレーションするのに適している。この場合には各画像センサシステムが分離された状態で車両のジオメトリ走行軸線に対する画像センサシステムの配向状態が求められ、そこから画像センサシステム相互の配向状態が求められるか、または画像センサシステム相互の割り当てと車両のジオメトリ走行軸線に対するステレオカメラの配向状態とが共通の１つの評価ステップで求められる。 The method and apparatus described above are also suitable for calibrating one or more image sensor systems simultaneously. In particular during evaluation, two or more image sensor systems that capture an object in at least two different perspectives are assigned to each other and the object is reconstructed three-dimensionally from the image. In particular, the method and apparatus described above are suitable for calibrating a stereo camera consisting of two image sensor systems that capture substantially the same scene. In this case, the orientation state of the image sensor system with respect to the geometric travel axis of the vehicle is obtained in a state where each image sensor system is separated, and the orientation state between the image sensor systems is obtained therefrom, or between the image sensor systems. The assignment and the stereo camera orientation relative to the vehicle geometry travel axis are determined in one common evaluation step.
車両の走行方向での少なくとも１つの画像センサシステムの配向状態を前述の実施例にしたがって求めることのほか、本発明の方法および装置は偏差する配向状態を有する画像センサシステムのキャリブレーションに適している。特に車両の後進方向での少なくとも１つの画像センサシステムのキャリブレーションが可能となる。さらに本発明の方法および装置は車両上および／または車両に接して設けられている少なくとも１つの画像センサシステムのキャリブレーションにも適している。 In addition to determining the orientation state of at least one image sensor system in the direction of travel of the vehicle according to the previous embodiment, the method and apparatus of the present invention are suitable for calibrating an image sensor system having a deviating orientation state. . In particular, it is possible to calibrate at least one image sensor system in the reverse direction of the vehicle. Furthermore, the method and apparatus of the present invention is also suitable for calibrating at least one image sensor system provided on and / or in contact with the vehicle.
前述の方法および装置の別のバリエーションでは、車両が２つ以上の位置を取る。ジオメトリ走行軸線は多数回の検出からの平均によって求められる。車両の運動座標から特に測定中のステアリング運動が識別される。画像情報を３つ以上の位置から評価することにより、走行カーブや車両の運動軌道の再構成を行うことができる。この場合、ステアリング運動に例えば相応に大きなステアリング半径があって画像情報の評価時に補正が行われるケースと、ステアリング運動が一定でなく補正不能であって再測定が促されるケースとが区別される。ここでは特に操舵角センサの情報および／または車輪センサの情報および／または他のセンサの情報が補正または再測定の要不要の判別に用いられる。 In another variation of the method and apparatus described above, the vehicle takes more than one position. The geometry travel axis is determined by averaging from multiple detections. In particular, the steering movement being measured is identified from the movement coordinates of the vehicle. By evaluating the image information from three or more positions, it is possible to reconstruct a travel curve or a motion trajectory of the vehicle. In this case, for example, a case where the steering motion has a correspondingly large steering radius and correction is performed when the image information is evaluated is distinguished from a case where the steering motion is not constant and cannot be corrected, and remeasurement is prompted. Here, in particular, information on the steering angle sensor and / or information on the wheel sensor and / or information on other sensors are used to determine whether correction or re-measurement is necessary.
前述の実施例では、画像センサシステムがオブジェクトに対して少なくとも１つの車両位置を取って少なくとも２つの画像が撮影される場合、少なくとも１つの画像センサシステムのキャリブレーションプロセスの精度が上昇する。これは画像中で識別される基準指標とキャリブレーションデータの少なくとも１つのパラメータとを測定して平均化することにより行われる。キャリブレーションデータのパラメータは例えばヨー角および／またはピッチ角および／またはロール角である。 In the above-described embodiment, when the image sensor system takes at least one vehicle position with respect to the object and at least two images are taken, the accuracy of the calibration process of the at least one image sensor system increases. This is done by measuring and averaging a reference index identified in the image and at least one parameter of the calibration data. The parameter of the calibration data is, for example, the yaw angle and / or the pitch angle and / or the roll angle.
別のバリエーションでは、少なくとも２つのキャリブレーションオブジェクトが少なくとも１つの画像センサシステムをキャリブレーションする方法が前述の実施例にしたがって行われる。 In another variation, a method in which at least two calibration objects calibrate at least one image sensor system is performed in accordance with the previous embodiment.
３８ 画像センサシステム
４９、５１ 信号線路
５０ 評価ユニット
５２ メモリユニット
38 Image sensor system 49, 51 Signal line 50 Evaluation unit 52 Memory unit
Claims (11)
画像センサシステムのキャリブレーション方法において、
車両がキャリブレーションオブジェクトに対して第１の位置を取っているとき、画像センサシステムによりキャリブレーションオブジェクトの第１の画像情報を有利には少なくとも１つの画像データセットのかたちで形成し、
車両がキャリブレーションオブジェクトに対して第２の位置を取っているとき、画像センサシステムによりキャリブレーションオブジェクトの第２の画像情報を有利には少なくとも１つの画像データセットのかたちで形成し、
キャリブレーションオブジェクトに対して車両が第１の位置から第２の位置へ移動したことによる位置変化量を求め、
少なくとも第１の画像情報および第２の画像情報から車両のジオメトリ走行軸線に対する画像センサシステムの配向状態を求める
ことを特徴とする画像センサシステムのキャリブレーション方法。 In a calibration method for an image sensor system, a calibration object is used to calibrate at least one image sensor system arranged in contact with and / or in and / or on the vehicle,
When the vehicle is in a first position relative to the calibration object, the image sensor system preferably forms first image information of the calibration object in the form of at least one image data set;
When the vehicle is in a second position relative to the calibration object, the image sensor system preferably forms second image information of the calibration object in the form of at least one image data set;
A position change amount due to the vehicle moving from the first position to the second position with respect to the calibration object;
A calibration method for an image sensor system, wherein an orientation state of the image sensor system with respect to a geometric travel axis of a vehicle is obtained from at least first image information and second image information.
画像センサシステムのキャリブレーション装置において、
評価ユニットは有利には少なくとも１つの画像データセットのかたちの少なくとも第１の画像情報および第２の画像情報から車両のジオメトリ走行軸線に対する画像センサシステムの配向状態を求める手段を有している
ことを特徴とする画像センサシステムのキャリブレーション装置。 At least one image sensor system located in contact with and / or on the vehicle and / or on the vehicle is calibrated by at least one calibration object and at least one evaluation unit for evaluating image information from the image sensor system. In the calibration device of the image sensor system
The evaluation unit preferably comprises means for determining the orientation state of the image sensor system relative to the geometry travel axis of the vehicle from at least the first image information and the second image information in the form of at least one image data set. A calibration apparatus for an image sensor system.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE10246066.3 | 2002-10-02 | ||
| DE10246066A DE10246066B4 (en) | 2002-10-02 | 2002-10-02 | Method and device for calibrating an image sensor system in a motor vehicle |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004125795A true JP2004125795A (en) | 2004-04-22 |
| JP4843190B2 JP4843190B2 (en) | 2011-12-21 |
Family
ID=29414341
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003344306A Expired - Fee Related JP4843190B2 (en) | 2002-10-02 | 2003-10-02 | Image sensor system calibration method and apparatus |
Country Status (3)
| Country | Link |
|---|---|
| JP (1) | JP4843190B2 (en) |
| DE (1) | DE10246066B4 (en) |
| GB (1) | GB2396005B (en) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006322855A (en) * | 2005-05-19 | 2006-11-30 | Denso Corp | Determining device for focus of expansion |
| JP2009014481A (en) * | 2007-07-04 | 2009-01-22 | Ihi Corp | Distance measuring device and its calibration method |
| JP2012027035A (en) * | 2004-12-23 | 2012-02-09 | Halla Kgaa Hueck & Co | Method and device for determining calibration parameter of stereo camera |
| JP2013187564A (en) * | 2012-03-05 | 2013-09-19 | Fujitsu Ltd | Parameter calculation method, information processor, and program |
| CN103644843A (en) * | 2013-12-04 | 2014-03-19 | 上海铁路局科学技术研究所 | Rail transit vehicle motion attitude detection method and application thereof |
| WO2018074302A1 (en) * | 2016-10-17 | 2018-04-26 | 株式会社デンソー | Vehicle-mounted camera calibration device and vehicle-mounted camera calibration method |
| JP2022500737A (en) * | 2018-09-06 | 2022-01-04 | ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツングRobert Bosch Gmbh | How to select the image section of the sensor |
Families Citing this family (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102004048400A1 (en) | 2004-10-01 | 2006-04-06 | Robert Bosch Gmbh | Method for detecting an optical structure |
| DE102004056669A1 (en) * | 2004-10-13 | 2006-04-20 | Robert Bosch Gmbh | Device for the calibration of an image sensor system in a motor vehicle |
| DE102005014954A1 (en) * | 2005-04-01 | 2006-10-05 | Audi Ag | Measured yaw angle deviation determining method for motor vehicle, involves determining measured yaw angle and distance of assigned point of vehicle to lane limit, from data and determining real yaw angle from distance and speed information |
| DE102006041822A1 (en) * | 2006-09-06 | 2008-03-27 | Beissbarth Gmbh | Method for chassis measurement of a motor vehicle, chassis measuring device and motor vehicle inspection line |
| DE102008026876A1 (en) * | 2008-06-05 | 2009-12-10 | Hella Kgaa Hueck & Co. | Stereo camera system and method for determining at least one calibration error of a stereo camera system |
| EP2166510B1 (en) | 2008-09-18 | 2018-03-28 | Delphi Technologies, Inc. | Method for calculating the position and orientation of a camera in a vehicle |
| EP2172873B1 (en) * | 2008-10-06 | 2018-08-15 | Mobileye Vision Technologies Ltd. | Bundling of driver assistance systems |
| DE102008053390A1 (en) * | 2008-10-27 | 2010-04-29 | Audi Ag | Method for testing and / or functional testing of at least one environment sensor installed in a motor vehicle and associated arrangement |
| DE102009046124A1 (en) * | 2009-10-28 | 2011-05-05 | Ifm Electronic Gmbh | Method and apparatus for calibrating a 3D TOF camera system |
| DE102010050279B4 (en) * | 2010-11-02 | 2015-02-12 | Audi Ag | A method of obtaining data and aligning an environment sensor of a motor vehicle |
| EP2490175A1 (en) * | 2011-02-15 | 2012-08-22 | Adasens Automotive S.L.U. | Method for calibrating and/or aligning a camera mounted in an automobile vehicle and corresponding camera |
| DE102011006910A1 (en) * | 2011-04-07 | 2012-10-11 | Robert Bosch Gmbh | A method for determining adjustment deviations of an image acquisition chip of an optical camera and corresponding Justierprüfvorrichtungen |
| DE102013220016A1 (en) * | 2013-10-02 | 2015-04-02 | Conti Temic Microelectronic Gmbh | Method and device for monitoring the function of a driver assistance system |
| EP3088175B1 (en) * | 2015-04-27 | 2023-08-23 | Ricoh Company, Ltd. | Method for manufacturing laminated glass and laminated glass |
| JP6617614B2 (en) * | 2015-04-27 | 2019-12-11 | 株式会社リコー | Laminated glass manufacturing method, laminated glass, stereo camera calibration method, and calibration system |
| ES2762867T3 (en) * | 2016-09-07 | 2020-05-26 | Conti Temic Microelectronic Gmbh | Procedure and apparatus for the compensation of static image distortions introduced by a windshield into an ADAS camera |
| DE102017204435A1 (en) | 2017-03-16 | 2018-09-20 | Dr. Ing. H.C. F. Porsche Ag | Arrangement for driving simulation of glare effects or glare-like effects |
| JP7126963B2 (en) * | 2019-02-13 | 2022-08-29 | 株式会社Subaru | stereo camera adjustment system |
| DE102020212374A1 (en) | 2020-09-30 | 2022-03-31 | Siemens Mobility GmbH | Method for checking the calibration of an environment sensor arranged on a rail vehicle |
| DE102020131778A1 (en) * | 2020-12-01 | 2022-06-02 | Zf Cv Systems Global Gmbh | Method of calibrating a rearview camera and vehicle |
| CN113933022B (en) * | 2021-09-28 | 2023-04-25 | 东风汽车集团股份有限公司 | Vehicle rear view checking method |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10132939A (en) * | 1996-11-01 | 1998-05-22 | Mitsubishi Motors Corp | Forward recognizing device of vehicle |
| JPH10341458A (en) * | 1997-06-10 | 1998-12-22 | Toyota Motor Corp | Method for correcting on-vehicle stereo camera and onvehicle stereo camera applied with the method |
| JPH11337310A (en) * | 1998-05-22 | 1999-12-10 | Mitsubishi Electric Corp | Device for detecting position for vehicle |
| JP2001506369A (en) * | 1997-10-24 | 2001-05-15 | コミツサリア タ レネルジー アトミーク | Method for calibrating the initial position and orientation of one or more mobile cameras and application of this method to three-dimensional position measurement of fixed objects |
| JP2001285681A (en) * | 2000-01-27 | 2001-10-12 | Matsushita Electric Ind Co Ltd | Calibration system, target device and calibration method |
| JP2002005656A (en) * | 2000-06-27 | 2002-01-09 | Honda Motor Co Ltd | Position detector |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2639108B1 (en) * | 1988-11-15 | 1990-12-21 | Thomson Csf | METHOD FOR ESTIMATING THE DISTANCE BETWEEN A FIXED OBJECT AND A MOVING VEHICLE AND DEVICE FOR CARRYING OUT SAID METHOD |
| DE19857871C1 (en) * | 1998-12-15 | 2000-10-26 | Beissbarth Gmbh | Automobile distance regulation radar sensor adjustment device uses angle sources for alignment of frame supporting laser source with automobile longitudinal axis and evaluation of reflected laser beam for sensor adjustment |
| DE19911017B4 (en) * | 1999-03-12 | 2010-11-11 | Daimler Ag | Method for adjusting a distance sensor of a motor vehicle |
| DE19962997B4 (en) * | 1999-12-24 | 2010-06-02 | Robert Bosch Gmbh | Method for calibrating a sensor system |
| DE19964020A1 (en) * | 1999-12-30 | 2001-07-05 | Bosch Gmbh Robert | Method and device for misalignment detection in a motor vehicle radar system |
| US6542840B2 (en) * | 2000-01-27 | 2003-04-01 | Matsushita Electric Industrial Co., Ltd. | Calibration system, target apparatus and calibration method |
| DE10122664A1 (en) * | 2001-05-10 | 2002-11-14 | Ibeo Automobile Sensor Gmbh | calibration |
| DE10229336A1 (en) * | 2002-06-29 | 2004-01-15 | Robert Bosch Gmbh | Method and device for calibrating image sensor systems |
-
2002
- 2002-10-02 DE DE10246066A patent/DE10246066B4/en not_active Expired - Lifetime
-
2003
- 2003-10-02 GB GB0323075A patent/GB2396005B/en not_active Expired - Fee Related
- 2003-10-02 JP JP2003344306A patent/JP4843190B2/en not_active Expired - Fee Related
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10132939A (en) * | 1996-11-01 | 1998-05-22 | Mitsubishi Motors Corp | Forward recognizing device of vehicle |
| JPH10341458A (en) * | 1997-06-10 | 1998-12-22 | Toyota Motor Corp | Method for correcting on-vehicle stereo camera and onvehicle stereo camera applied with the method |
| JP2001506369A (en) * | 1997-10-24 | 2001-05-15 | コミツサリア タ レネルジー アトミーク | Method for calibrating the initial position and orientation of one or more mobile cameras and application of this method to three-dimensional position measurement of fixed objects |
| JPH11337310A (en) * | 1998-05-22 | 1999-12-10 | Mitsubishi Electric Corp | Device for detecting position for vehicle |
| JP2001285681A (en) * | 2000-01-27 | 2001-10-12 | Matsushita Electric Ind Co Ltd | Calibration system, target device and calibration method |
| JP2002005656A (en) * | 2000-06-27 | 2002-01-09 | Honda Motor Co Ltd | Position detector |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012027035A (en) * | 2004-12-23 | 2012-02-09 | Halla Kgaa Hueck & Co | Method and device for determining calibration parameter of stereo camera |
| US8855370B2 (en) | 2004-12-23 | 2014-10-07 | Hella Kgaa Hueck & Co. | Method and device for determining a calibration parameter of a stereo camera |
| JP2006322855A (en) * | 2005-05-19 | 2006-11-30 | Denso Corp | Determining device for focus of expansion |
| JP2009014481A (en) * | 2007-07-04 | 2009-01-22 | Ihi Corp | Distance measuring device and its calibration method |
| JP2013187564A (en) * | 2012-03-05 | 2013-09-19 | Fujitsu Ltd | Parameter calculation method, information processor, and program |
| CN103644843A (en) * | 2013-12-04 | 2014-03-19 | 上海铁路局科学技术研究所 | Rail transit vehicle motion attitude detection method and application thereof |
| WO2018074302A1 (en) * | 2016-10-17 | 2018-04-26 | 株式会社デンソー | Vehicle-mounted camera calibration device and vehicle-mounted camera calibration method |
| JP2018066579A (en) * | 2016-10-17 | 2018-04-26 | 株式会社デンソー | In-vehicle camera calibration device and in-vehicle camera calibration method |
| JP2022500737A (en) * | 2018-09-06 | 2022-01-04 | ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツングRobert Bosch Gmbh | How to select the image section of the sensor |
| JP7326429B2 (en) | 2018-09-06 | 2023-08-15 | ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング | How to select the sensor image interval |
| US11989944B2 (en) | 2018-09-06 | 2024-05-21 | Robert Bosch Gmbh | Method for selecting an image detail of a sensor |
Also Published As
| Publication number | Publication date |
|---|---|
| DE10246066B4 (en) | 2007-11-22 |
| GB0323075D0 (en) | 2003-11-05 |
| GB2396005B (en) | 2005-04-27 |
| JP4843190B2 (en) | 2011-12-21 |
| DE10246066A1 (en) | 2004-04-22 |
| GB2396005A (en) | 2004-06-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4843190B2 (en) | Image sensor system calibration method and apparatus | |
| US6915228B2 (en) | Method and device for calibrating an image sensor system in a motor vehicle | |
| JP7509501B2 (en) | Vehicle navigation based on aligned imagery and LIDAR information | |
| US11698250B2 (en) | Wheel aligner with improved accuracy and no-stop positioning, using a drive direction calculation | |
| EP1335181B1 (en) | Device for measuring the characteristic attitude parameters of a vehicle | |
| EP1717547B1 (en) | Method and device for determining the alignment of the wheels of a vehicle | |
| JP4406507B2 (en) | Device for determining vehicle wheel alignment and / or axle alignment | |
| CN100447527C (en) | Glint-resistant position determination system | |
| US4862047A (en) | Apparatus for guiding movement of an unmanned moving body | |
| CN102119317B (en) | Multi-camera system and method for the calibration thereof | |
| US20160073104A1 (en) | Method for optically measuring three-dimensional coordinates and controlling a three-dimensional measuring device | |
| EP1431120A1 (en) | Movable body circumstance monitoring apparatus | |
| CN110312910A (en) | For calibrating the device and method of vehicle assisted system | |
| WO2021076569A1 (en) | Calibration of lidar sensors | |
| CN101676686B (en) | Method for calculating the position and orientation of a camera in a vehicle | |
| JPH11152060A (en) | Attitude regulating method and device of motor vehicle | |
| US20110085181A1 (en) | Measuring head for a chassis measuring system, chassis measuring system and method for determining the position parameters of measuring heads of a chassis measuring system | |
| US20100157058A1 (en) | Method and Device for Compensating a Roll Angle | |
| KR20140049963A (en) | Detection device, and corresponding system for determining the orientation of the wheels of a vehicle | |
| US11971250B2 (en) | System and method for operator guided identification of vehicle reference locations for ADAS sensor alignment | |
| JPWO2018042954A1 (en) | In-vehicle camera, adjustment method of in-vehicle camera, in-vehicle camera system | |
| WO2016040271A1 (en) | Method for optically measuring three-dimensional coordinates and controlling a three-dimensional measuring device | |
| CN101981407A (en) | Chassis-measuring system and method for determining the position parameters of probes of a chassis-measuring system | |
| CN103226010B (en) | Wheel alignment system and method | |
| Hanel et al. | Towards the influence of a car windshield on depth calculation with a stereo camera system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061002 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090625 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20090924 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20090929 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20091022 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20091027 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091120 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100205 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20100430 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20100510 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20100602 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20100607 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20100705 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20100708 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100803 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101029 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20110127 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20110201 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20110225 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20110302 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20110328 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20110331 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110502 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110909 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111007 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4843190 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141014 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |