JP2013072839A - Stereo camera and calibration method for stereo camera - Google Patents
Stereo camera and calibration method for stereo camera Download PDFInfo
- Publication number
- JP2013072839A JP2013072839A JP2011214121A JP2011214121A JP2013072839A JP 2013072839 A JP2013072839 A JP 2013072839A JP 2011214121 A JP2011214121 A JP 2011214121A JP 2011214121 A JP2011214121 A JP 2011214121A JP 2013072839 A JP2013072839 A JP 2013072839A
- Authority
- JP
- Japan
- Prior art keywords
- pair
- correction
- distortion
- stereo camera
- attached
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 20
- 238000012937 correction Methods 0.000 claims abstract description 92
- 239000011521 glass Substances 0.000 claims abstract description 21
- 238000003384 imaging method Methods 0.000 claims description 8
- 238000001514 detection method Methods 0.000 claims description 5
- 230000003287 optical effect Effects 0.000 abstract description 10
- 238000005259 measurement Methods 0.000 abstract description 9
- 230000007423 decrease Effects 0.000 abstract description 4
- 230000015556 catabolic process Effects 0.000 abstract 1
- 238000006731 degradation reaction Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 5
- 241000831652 Salinivibrio sharmensis Species 0.000 description 3
- 239000000853 adhesive Substances 0.000 description 2
- 230000001070 adhesive effect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 229910000838 Al alloy Inorganic materials 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035882 stress Effects 0.000 description 1
Landscapes
- Measurement Of Optical Distance (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Closed-Circuit Television Systems (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
Description
本発明は、左右のカメラ映像の視差を利用して障害物までの距離を測距する、ステレオカメラ及びその校正方法に関する。 The present invention relates to a stereo camera that measures the distance to an obstacle using parallax between left and right camera images and a calibration method thereof.
ステレオカメラは、所定間隔を隔てて配設された左右一対のカメラ（撮像素子）を有し、左右のカメラ映像の視差から障害物までの距離を測距する。この場合、左右のカメラの光軸がずれると測距精度が低下するため、特開２０１１−１２３０７８号公報（特許文献１）に記載されるように、例えば、アルミニウム合金などのプレート（ステー）で左右のカメラを連結し、光軸がずれないようにしている。 The stereo camera has a pair of left and right cameras (imaging devices) arranged at a predetermined interval, and measures the distance from the parallax of the left and right camera images to the obstacle. In this case, since the distance measurement accuracy decreases when the optical axes of the left and right cameras are shifted, as described in Japanese Patent Application Laid-Open No. 2011-123078 (Patent Document 1), for example, a plate (stay) such as an aluminum alloy is used. The left and right cameras are connected to prevent the optical axis from shifting.
近年では、例えば、車両のバリエーションの多様化を図るため、ガラス面に左右のカメラを独立して貼り付けるステレオカメラが開発されている。ガラス面に左右のカメラを独立して貼り付ける場合、左右のカメラがプレートによって連結されていないことから、ガラスの歪みによって左右のカメラの光軸にずれが生じ、測距精度が低下してしまうおそれがある。ここで、ガラスに歪みが生じる原因としては、例えば、工場ラインでのフロントガラス組付時に発生する応力、乗員の重量バランスで発生する車体の歪み、経年変化で発生する車体の歪みなどが想定される。 In recent years, for example, in order to diversify vehicle variations, stereo cameras have been developed in which left and right cameras are independently attached to a glass surface. If the left and right cameras are attached to the glass surface independently, the left and right cameras are not connected by the plate, so the optical axis of the left and right cameras will be shifted due to the distortion of the glass, resulting in reduced distance measurement accuracy. There is a fear. Here, as the cause of the distortion in the glass, for example, the stress generated when assembling the windshield in the factory line, the distortion of the vehicle body caused by the weight balance of the occupant, the distortion of the vehicle body caused by aging, etc. are assumed. The
本発明は、測距精度の低下を抑制した、ステレオカメラ及びその校正方法を提供することを目的とする。 An object of the present invention is to provide a stereo camera and a calibration method thereof in which a decrease in distance measurement accuracy is suppressed.
このため、ガラス面に独立して取り付けられた一対の撮像素子により撮像された一対の画像の位置を、一対の撮像素子の間に位置するガラス面に取り付けられた歪みセンサにより検出されたガラスの歪みに応じて補正する。 For this reason, the position of the pair of images captured by the pair of image sensors independently attached to the glass surface is detected by the strain sensor attached to the glass surface located between the pair of image sensors. Correct according to the distortion.
ガラスの歪みに伴って一対の撮像素子の光軸が変化しても、撮像結果の観察位置が動的に校正されるため、測距精度の低下を抑制することができる。 Even if the optical axes of the pair of imaging elements change with the distortion of the glass, the observation position of the imaging result is dynamically calibrated, so that it is possible to suppress a decrease in distance measurement accuracy.
以下、添付された図面を参照し、本発明を実施するための実施形態について詳述する。
図１は、車両前方の障害物までの距離を測距するステレオカメラの一例を示す。
フロントガラス１０の上部内面には、その幅方向（左右方向）に所定距離である基線長ｂ[ｍ]隔てた状態で、左右一対のカメラ１２Ｌ及び１２Ｒが取り付けられる。左右のカメラ１２Ｌ及び１２Ｒは、物理的に独立した状態で、例えば、接着剤などを使用して、その筐体がフロントガラス１０の内面に取り付けられる。カメラ１２Ｌ及び１２Ｒは、雨天時などにフロントガラス１０が汚れることを考慮し、ワイパ１４の払拭エリア１０Ａ内に配置される。カメラ１２Ｌ及び１２Ｒは、例えば、ＣＣＤ（Charge Coupled Device）などのイメージセンサであって、所定の焦点距離ｆ[ｍ]及び画素ピッチＦ[ｍ／pixel]を有している。
Hereinafter, embodiments for carrying out the present invention will be described in detail with reference to the accompanying drawings.
FIG. 1 shows an example of a stereo camera that measures the distance to an obstacle ahead of the vehicle.
A pair of left and right cameras 12 </ b> L and 12 </ b> R are attached to the upper inner surface of the windshield 10 with a base line length b [m] being a predetermined distance in the width direction (left / right direction). The left and right cameras 12L and 12R are attached to the inner surface of the windshield 10 using, for example, an adhesive in a physically independent state. The cameras 12L and 12R are arranged in the wiping area 10A of the wiper 14 in consideration of the windshield 10 becoming dirty when it rains. The cameras 12L and 12R are image sensors such as a CCD (Charge Coupled Device), for example, and have a predetermined focal length f [m] and a pixel pitch F [m / pixel].
左右のカメラ１２Ｌ及び１２Ｒの間、即ち、各カメラ１２Ｌ及び１２Ｒの撮像方向の中心である光軸を結んだ線分上又はその付近には、フロントガラス１０の歪みを検出する一対の歪みセンサ１６及び１８が取り付けられる。歪みセンサ１６及び１８は、直交する２方向の歪みを検出可能な半導体センサであって、図２（Ａ）に示すように、左右方向に歪みが発生している場合、図示の取付角度を０度として時計周りに回転させると、同図（Ｂ）に示すようなセンサ出力（歪み信号）を出力する。 A pair of distortion sensors 16 for detecting the distortion of the windshield 10 between the left and right cameras 12L and 12R, that is, on or near the line segment connecting the optical axes that are the centers of the imaging directions of the cameras 12L and 12R. And 18 are attached. The strain sensors 16 and 18 are semiconductor sensors capable of detecting strain in two orthogonal directions, and when the strain is generated in the left-right direction as shown in FIG. When it is rotated clockwise as a degree, a sensor output (distortion signal) as shown in FIG.
フロントガラス１０に生じる歪みのうち、左右のカメラ１２Ｌ及び１２Ｒによる測距精度に影響を及ぼすものは、左右のカメラ１２Ｌ及び１２Ｒの光軸間の距離である基線長ｂを変化させる歪みである。この歪みは、図３（Ａ）に示すような右方が上位となった右斜めの歪み、同図（Ｂ）に示すような左方が上位となった左斜めの歪み、同図（Ｃ）に示すような左右方向の歪みに集約される。ここで、各歪みによる歪みセンサ１６及び１８のセンサ出力は、歪みセンサ１６のセンサ出力を歪みＡ、歪みセンサ１８のセンサ出力を歪みＢで表すと、右方のグラフのようになる。なお、右斜めの歪み及び左斜めの歪みは、図３（Ｃ）に示す左右方向の歪みに回転が加わったものである。 Among the distortions generated in the windshield 10, the distortion that affects the distance measurement accuracy by the left and right cameras 12 </ b> L and 12 </ b> R is distortion that changes the base line length b that is the distance between the optical axes of the left and right cameras 12 </ b> L and 12 </ b> R. As shown in FIG. 3A, the distortion is a right diagonal distortion with the right side being higher, as shown in FIG. 3B, and a left diagonal distortion with the left side being higher, as shown in FIG. ) And are distorted in the horizontal distortion as shown in FIG. Here, the sensor outputs of the strain sensors 16 and 18 due to the respective strains are as shown in the graph on the right when the sensor output of the strain sensor 16 is represented by strain A and the sensor output of the strain sensor 18 is represented by strain B. Note that the right diagonal distortion and the left diagonal distortion are obtained by adding rotation to the horizontal distortion shown in FIG.
このため、一対の歪みセンサ１６及び１８のうち、例えば、一方の歪みセンサ１６は、その歪み検出方向の１つがフロントガラス１０の左右方向を向くように取り付けられ、他方の歪みセンサ１８は、その歪み検出方向の１つがフロントガラス１０の左右方向に対して所定角度（例えば、４５度）回転した状態で取り付けられる。要するに、一対の歪みセンサ１６及び１８を、歪み検出方向が異なる状態で配置する。一対の歪みセンサ１６及び１８は、左右のカメラ１２Ｌ及び１２Ｒの取付位置におけるフロントガラス１０の歪みの平均が検出可能な、カメラ１２Ｌと１２Ｒとを結んだ線分の中央に取り付けられることが望ましいが、その配線などを考慮して、一方のカメラの近傍に取り付けるようにしてもよい。但し、検出した歪みを無線で出力可能な歪みセンサであれば、カメラ１２Ｌと１２Ｒとを結んだ線分の中央に取り付けることが容易である。このような歪みセンサとして、特開２００６−２２０５７４号に記載されているような回転体力学量計測装置が知られている。 For this reason, of the pair of strain sensors 16 and 18, for example, one strain sensor 16 is attached so that one of the strain detection directions faces the left and right direction of the windshield 10, and the other strain sensor 18 is One of the strain detection directions is attached with a predetermined angle (for example, 45 degrees) rotated with respect to the left-right direction of the windshield 10. In short, the pair of strain sensors 16 and 18 are arranged with different strain detection directions. The pair of distortion sensors 16 and 18 are preferably attached to the center of a line segment connecting the cameras 12L and 12R, which can detect the average distortion of the windshield 10 at the attachment positions of the left and right cameras 12L and 12R. Considering the wiring and the like, it may be attached in the vicinity of one camera. However, if it is a distortion sensor that can output the detected distortion wirelessly, it can be easily attached to the center of the line segment connecting the cameras 12L and 12R. As such a strain sensor, a rotating body mechanical quantity measuring device as described in JP-A-2006-220574 is known.
なお、所定角度で交差する歪み検出方向を有する歪みセンサであれば、カメラ１２Ｌ及び１２Ｒの間に１つの歪みセンサが取り付けられていればよい。
そして、左右のカメラ１２Ｌ及び１２Ｒの出力信号（カメラ画像）、及び、一対の歪みセンサ１６及び１８の出力信号（歪み）は、マイクロコンピュータ又は制御回路などを内蔵した制御装置２０に入力される。制御装置２０は、フロントガラス１０の歪みに基づいてカメラ画像の位置を補正すると共に、補正したカメラ画像に基づいて障害物までの距離を測距する。
In addition, as long as it is a distortion sensor which has the distortion detection direction which cross | intersects at a predetermined angle, the distortion sensor should just be attached between the cameras 12L and 12R.
The output signals (camera images) of the left and right cameras 12L and 12R and the output signals (distortion) of the pair of distortion sensors 16 and 18 are input to a control device 20 incorporating a microcomputer or a control circuit. The control device 20 corrects the position of the camera image based on the distortion of the windshield 10 and measures the distance to the obstacle based on the corrected camera image.
制御装置２０には、図４に示すように、不揮発性メモリとしてのフラッシュＲＯＭ（Read Only Memory）２０Ａと、補正値学習部２０Ｂ（学習手段）と、位置ずれ補正部２０Ｃ（補正手段）と、障害物測距部２０Ｄと、が備えられている。補正値学習部２０Ｂ、位置ずれ補正部２０Ｃ及び障害物測距部２０Ｄは、マイクロコンピュータ又は制御回路によって実現される。 As shown in FIG. 4, the control device 20 includes a flash ROM (Read Only Memory) 20A as a nonvolatile memory, a correction value learning unit 20B (learning unit), a misalignment correction unit 20C (correction unit), And an obstacle distance measuring unit 20D. The correction value learning unit 20B, the positional deviation correction unit 20C, and the obstacle distance measurement unit 20D are realized by a microcomputer or a control circuit.
フラッシュＲＯＭ２０Ａは、左右のカメラ１２Ｌ及び１２Ｒにより撮像されたカメラ画像の位置を補正するための補正値、具体的には、一方のカメラ画像の位置ずれを補正する補正値（Ｘ，Ｙ）が設定された補正マップＸ及び補正マップＹを保持する。補正マップＸ及び補正マップＹは、図５に示すように、一対の歪みセンサ１６及び１８のうち、一方の歪みセンサが検出した歪みをＡ、他方の歪みセンサが検出した歪みをＢとしたときの補正値Ｘ又はＹが設定されるものである。本実施形態では、説明の都合上、歪みセンサ１６が検出した歪みをＡ、歪みセンサ１８が検出した歪みをＢとするが、この逆であってもよい。 The flash ROM 20A is set with a correction value for correcting the position of the camera image captured by the left and right cameras 12L and 12R, specifically, a correction value (X, Y) for correcting the positional deviation of one camera image. The corrected correction map X and correction map Y are held. In the correction map X and the correction map Y, as shown in FIG. 5, when the strain detected by one of the pair of strain sensors 16 and 18 is A and the strain detected by the other strain sensor is B, The correction value X or Y is set. In this embodiment, for the sake of explanation, the strain detected by the strain sensor 16 is A and the strain detected by the strain sensor 18 is B, but the reverse may be possible.
補正値学習部２０Ｂは、フロントガラス１０に外力を作用させて歪みを発生させつつ、図６に示すように、左右のカメラ１２Ｌ及び１２Ｒにより基準点が付されたテクスチャシート３０を撮像し、基準点の位置から補正値（Ｘ，Ｙ）を学習する。そして、補正値学習部２０Ｂは、一対の歪みセンサ１６及び１８の歪み信号Ａ及びＢと補正値（Ｘ，Ｙ）とを関連付けて、補正マップＸ及びＹに書き込む。なお、補正値（Ｘ，Ｙ）の学習方法などの詳細については後述する。 As shown in FIG. 6, the correction value learning unit 20B captures a texture sheet 30 to which reference points are attached by the left and right cameras 12L and 12R while generating distortion by applying an external force to the windshield 10. The correction value (X, Y) is learned from the position of the point. Then, the correction value learning unit 20B associates the distortion signals A and B of the pair of distortion sensors 16 and 18 and the correction values (X, Y) and writes them in the correction maps X and Y. Details of the correction value (X, Y) learning method and the like will be described later.
位置ずれ補正部２０Ｃは、フラッシュＲＯＭ２０Ａに格納された補正マップＸ及びＹを参照し、一対の歪みセンサ１６及び１８の歪み信号に応じた補正値を用いて、左右のカメラ１２Ｌ及び１２Ｒにより撮像されたカメラ画像の位置ずれを補正する。なお、カメラ画像の位置ずれ補正方法の詳細についても後述する。 The misregistration correction unit 20C refers to the correction maps X and Y stored in the flash ROM 20A, and is imaged by the left and right cameras 12L and 12R using correction values corresponding to the distortion signals of the pair of distortion sensors 16 and 18. Correct the misalignment of the camera image. The details of the camera image misalignment correction method will also be described later.
障害物測距部２０Ｄは、位置ずれ補正部２０Ｃにより補正された左右のカメラ画像の視差に基づいて、障害物までの距離を測距する。具体的には、障害物測距部２０Ｄは、図７に示すように、左右のカメラ１２Ｌ及び１２Ｒで撮像した左右のカメラ画像の一方について、例えば、エッジ抽出などで特徴点を抽出する。また、障害物測距部２０Ｄは、例えば、パターンマッチングを行うことで、左右のカメラ画像の他方について、特徴点に該当する部分を抽出する。そして、障害物測距部２０Ｄは、カメラ画像の特徴点の位置偏差（Ｘb−Ｘa）から、視差δ［pixel］（＝Ｆ（Ｘb−Ｘa）、Ｆ：画素ピッチ）を求め、次式を使用して障害物までの距離Ｚを算出する。
Ｚ＝ｂｆ／δ （ｂ：基線長、ｆ：焦点距離）
The obstacle ranging unit 20D measures the distance to the obstacle based on the parallax between the left and right camera images corrected by the positional deviation correction unit 20C. Specifically, as shown in FIG. 7, the obstacle distance measuring unit 20D extracts feature points from one of the left and right camera images captured by the left and right cameras 12L and 12R, for example, by edge extraction. Further, the obstacle distance measuring unit 20D extracts a portion corresponding to a feature point with respect to the other of the left and right camera images by performing pattern matching, for example. Then, the obstacle distance measuring unit 20D obtains the parallax δ [pixel] (= F (Xb−Xa), F: pixel pitch) from the positional deviation (X b −X a ) of the feature point of the camera image, and then The distance Z to the obstacle is calculated using the formula.
Z = bf / δ (b: baseline length, f: focal length)
図８は、制御装置２０において、例えば、外部から学習指示が入力されたことを契機として、補正値学習部２０Ｂが実行する、補正値学習処理の一例を示す。なお、補正値学習処理と並行して、作業者が、フロントガラス１０に取り付けたカメラ１２Ｌ及び１２Ｒをテクスチャシート３０に対向させつつ、フロントガラス１０に対して多方向に外力を作用させるものとする。ここで、フロントガラス１０は、ここに外力を作用させ易くするため、車体に取り付ける前の単独状態であることが望ましい。 FIG. 8 shows an example of a correction value learning process that is executed by the correction value learning unit 20B in response to an input of a learning instruction from the outside in the control device 20, for example. In parallel with the correction value learning process, the operator applies external forces to the windshield 10 in multiple directions while the cameras 12L and 12R attached to the windshield 10 face the texture sheet 30. . Here, it is desirable that the windshield 10 be in a single state before being attached to the vehicle body so that an external force can be easily applied thereto.
ステップ１（図では「Ｓ１」と略記する。以下同様。）では、補正値学習部２０Ｂが、歪みセンサ１６から歪みＡを読み込むと共に、歪みセンサ１８から歪みＢを読み込む。
ステップ２では、補正値学習部２０Ｂが、左右のカメラ１２Ｌ及び１２Ｒからカメラ画像を夫々読み込む。そして、補正値学習部２０Ｂは、例えば、左右のカメラ画像を解析することで、カメラ画像（Ｒ）における基準点の位置座標（ＸR，ＹR）、及び、カメラ画像（Ｌ）における基準点の位置座標（ＸL，ＹL）を求める。
In step 1 (abbreviated as “S1” in the figure, the same applies hereinafter), the correction value learning unit 20B reads the strain A from the strain sensor 16 and also reads the strain B from the strain sensor 18.
In step 2, the correction value learning unit 20B reads camera images from the left and right cameras 12L and 12R, respectively. Then, the correction value learning unit 20B analyzes, for example, the left and right camera images, and thereby the position coordinates (X R , Y R ) of the reference point in the camera image (R) and the reference point in the camera image (L). The position coordinates (X L , Y L ) are obtained.
ステップ３では、補正値学習部２０Ｂが、例えば、「Ｘ＝ＸR−ＸL，Ｙ＝ＹR−ＹL」という式から、補正値（Ｘ，Ｙ）を算出する。ここで、補正値（Ｘ，Ｙ）は、図９に示すように、カメラ画像（Ｒ）とカメラ画像（Ｌ）とのずれを表す。 In step 3, the correction value learning unit 20B calculates a correction value (X, Y) from, for example, an expression “X = X R −X L , Y = Y R −Y L ”. Here, the correction value (X, Y) represents a shift between the camera image (R) and the camera image (L) as shown in FIG.
ステップ４では、補正値学習部２０Ｂが、補正マップＸ及びＹについて、歪みＡ及びＢにより特定される区画に補正値Ｘ及びＹを夫々書き込むことで、補正値を記録する。なお、歪みＡ及びＢにより特定される区画に補正値が既に記録されている場合には、例えば、記録済みの補正値と補正値Ｘ及びＹとの相加平均を記録すればよい。 In step 4, the correction value learning unit 20B records the correction values for the correction maps X and Y by writing the correction values X and Y in the sections specified by the distortions A and B, respectively. When correction values are already recorded in the sections specified by the distortions A and B, for example, an arithmetic average of the recorded correction values and the correction values X and Y may be recorded.
ステップ５では、補正値学習部２０Ｂが、例えば、補正マップＸ及びＹのすべての区画に補正値が書き込まれた否かを介して、補正値の学習が完了したか否かを判定する。そして、補正値学習部２０Ｂは、補正値の学習が完了したと判定すれば処理を終了させる一方（Ｙｅｓ）、補正値の学習が完了していないと判定すれば処理をステップ１へと戻す（Ｎｏ）。 In step 5, the correction value learning unit 20 </ b> B determines whether correction value learning has been completed through, for example, whether correction values have been written in all sections of the correction maps X and Y. If the correction value learning unit 20B determines that the correction value learning has been completed, the correction value learning unit 20B terminates the process (Yes), while if it determines that the correction value learning has not been completed, the process returns to step 1 ( No).
かかる補正値学習処理によれば、フロントガラス１０に実際に外力を作用させて歪みを生じさせた状態で、左右のカメラ画像の位置ずれと歪みとを関連付けた、補正マップＸ及びＹが学習される。このため、フロントガラス１０の個々のばらつきを考慮した、補正値を得ることができる。 According to the correction value learning process, the correction maps X and Y in which the positional deviation and distortion of the left and right camera images are associated with each other are learned in a state where distortion is generated by actually applying an external force to the windshield 10. The For this reason, it is possible to obtain a correction value in consideration of individual variations of the windshield 10.
図１０は、フロントガラス１０が車体に取り付けられた状態で、制御装置２０が起動されたことを契機として、位置ずれ補正部２０Ｃが所定時間ごとに繰り返し実行する、位置ずれ補正処理の一例を示す。なお、位置ずれ補正処理を実行する所定時間は、例えば、車両前方に位置する障害物までの距離を測距する時間間隔とすればよい。 FIG. 10 shows an example of misalignment correction processing that the misalignment correction unit 20C repeatedly executes at predetermined time intervals when the control device 20 is activated with the windshield 10 attached to the vehicle body. . In addition, what is necessary is just to let the predetermined time which performs a positional offset correction process be the time interval which measures the distance to the obstacle located ahead of a vehicle, for example.
ステップ１１では、位置ずれ補正部２０Ｃが、歪みセンサ１６から歪みＡを読み込むと共に、歪みセンサ１８から歪みＢを読み込む。
ステップ１２では、位置ずれ補正部２０Ｃが、左右のカメラ１２Ｌ及び１２Ｒからカメラ画像を夫々読み込む。
In step 11, the misregistration correction unit 20 </ b> C reads the strain A from the strain sensor 16 and also reads the strain B from the strain sensor 18.
In step 12, the misregistration correction unit 20C reads camera images from the left and right cameras 12L and 12R, respectively.
ステップ１３では、位置ずれ補正部２０Ｃが、フラッシュＲＯＭ２０Ａの補正マップＸ及びＹを参照し、歪みＡ及びＢで特定される区画から補正値（Ｘ，Ｙ）を読み込む。
ステップ１４では、位置ずれ補正部２０Ｃが、図１１に示すように、カメラ画像（Ｌ）について、例えば、所定位置から所定の幅Ｗ及び高さＨを有する矩形領域４０の部分画像を切り出して障害物測距部２０Ｄに出力する。また、位置ずれ補正部２０Ｃが、図１１に示すように、カメラ画像（Ｒ）について、例えば、所定位置を補正値（Ｘ，Ｙ）だけ平行移動した位置から、矩形領域４０の部分画像を切り出して障害物測距部２０Ｄに出力する。
In step 13, the misregistration correction unit 20C refers to the correction maps X and Y of the flash ROM 20A and reads the correction value (X, Y) from the section specified by the distortions A and B.
In step 14, as shown in FIG. 11, the positional deviation correction unit 20C cuts out a partial image of the rectangular area 40 having a predetermined width W and height H from a predetermined position, for example, for the camera image (L). It outputs to the object ranging part 20D. Further, as shown in FIG. 11, the misregistration correction unit 20C cuts out a partial image of the rectangular region 40 from a position obtained by translating a predetermined position by a correction value (X, Y), for example. To the obstacle distance measuring unit 20D.
かかる位置ずれ補正処理によれば、左右のカメラ１２Ｌ及び１２Ｒにより撮像されたカメラ画像（Ｌ）及び（Ｒ）について、フロントガラス１０に生じている歪みＡ及びＢに関連付けられた補正量（Ｘ，Ｙ）に基づいて、カメラ１２Ｌ及び１２Ｒの光軸のずれを打ち消した部分画像が切り出される。そして、この切り出された部分画像に基づいて、障害物測距部２０Ｄが障害物までの距離を算出する。従って、フロントガラス１０に歪みが生じ、左右のカメラ１２Ｌ及び１２Ｒの光軸が変化していても、障害物までの測距精度を向上させることができる。 According to the positional deviation correction processing, the correction amounts (X, X) associated with the distortions A and B generated in the windshield 10 are obtained for the camera images (L) and (R) captured by the left and right cameras 12L and 12R. On the basis of (Y), a partial image in which the deviation of the optical axes of the cameras 12L and 12R is canceled is cut out. Then, the obstacle distance measuring unit 20D calculates the distance to the obstacle based on the cut out partial image. Therefore, even if the windshield 10 is distorted and the optical axes of the left and right cameras 12L and 12R are changed, the ranging accuracy up to the obstacle can be improved.
ステレオカメラは、図１２に示すように、軽量なプラスチック材などからなる透明プレート５０に対して、左右のカメラ１２Ｌ及び１２Ｒ並びに一対の歪みセンサ１６及び１８を取り付けたアセンブリとしてもよい。この場合には、このアセンブリに対して外力を作用させて歪みを発生させつつ、補正値学習処理を実行する。そして、補正値学習処理が完了したステレオカメラを、例えば、接着剤などでフロントガラス１０の上部内面に取り付ける。要するに、左右のカメラ１２Ｌ及び１２Ｒ並びに一対の歪みセンサ１６及び１８は、透明プレート５０を介在させて、フロントガラス１０に取り付けられる。 As shown in FIG. 12, the stereo camera may be an assembly in which left and right cameras 12L and 12R and a pair of strain sensors 16 and 18 are attached to a transparent plate 50 made of a lightweight plastic material or the like. In this case, the correction value learning process is executed while generating distortion by applying an external force to the assembly. Then, the stereo camera for which the correction value learning process has been completed is attached to the upper inner surface of the windshield 10 with, for example, an adhesive. In short, the left and right cameras 12L and 12R and the pair of strain sensors 16 and 18 are attached to the windshield 10 with the transparent plate 50 interposed therebetween.
このようにすれば、車両６０の組立ラインにおいて、補正値が学習済みであるステレオカメラを取り付ければよく、組立時間の短縮を図ることができる。また、透明プレート５０はフロントガラス１０より小さいため、ここに外力を作用させる労力が少なくて済み、作業者の労力を軽減することができる。 In this way, in the assembly line of the vehicle 60, a stereo camera whose correction value has already been learned may be attached, and the assembly time can be shortened. Further, since the transparent plate 50 is smaller than the windshield 10, it is possible to reduce the labor for applying an external force to the transparent plate 50, thereby reducing the labor of the operator.
なお、フロントガラス１０又は透明プレート５０に取り付ける歪みセンサ１６及び１８は、１組に限らず、図１３に示すように、左右のカメラ１２Ｌ及び１２Ｒの近傍に２組取り付けるようにしてもよい。この場合には、各カメラについて、その近傍に取り付けられた一対の歪みセンサの歪み信号を使用して、補正値学習処理及び位置ずれ補正処理を実行すればよい。また、２組の歪みセンサを使用する場合には、必ずしも、左右のカメラ１２Ｌ及び１２Ｒの間に歪みセンサを配置する必要はなく、各カメラ１２Ｌ及び１２Ｒの外方などの近傍に配置されていてもよい。 The strain sensors 16 and 18 attached to the windshield 10 or the transparent plate 50 are not limited to one set, and two sets may be attached in the vicinity of the left and right cameras 12L and 12R as shown in FIG. In this case, the correction value learning process and the misregistration correction process may be executed for each camera using the distortion signals of the pair of distortion sensors attached in the vicinity thereof. In addition, when using two sets of strain sensors, it is not always necessary to dispose the strain sensors between the left and right cameras 12L and 12R, and they are disposed in the vicinity of the outside of each camera 12L and 12R. Also good.
ステレオカメラは、車両のフロントガラス１０に限らず、例えば、リヤガラスなどに取り付けるようにしてもよい。要するに、ステレオカメラの前方に位置する障害物までの距離を測距する必要がある場所であれば、透明であることを条件として、どこに取り付けてもよい。 The stereo camera is not limited to the vehicle windshield 10 but may be attached to, for example, a rear glass. In short, as long as it is a place where it is necessary to measure the distance to the obstacle located in front of the stereo camera, it may be attached anywhere as long as it is transparent.
１０ フロントガラス
１２Ｌ，１２Ｒ カメラ
１６ 歪みセンサ
１８ 歪みセンサ
２０ 制御装置
２０Ａ フラッシュＲＯＭ
２０Ｂ 補正値学習部（学習手段）
２０Ｃ 位置ずれ補正部（補正手段）
３０ テクスチャシート
４０ 矩形領域
５０ 透明プレート
６０ 車両
DESCRIPTION OF SYMBOLS 10 Front glass 12L, 12R Camera 16 Strain sensor 18 Strain sensor 20 Control apparatus 20A Flash ROM
20B correction value learning unit (learning means)
20C Misalignment correction unit (correction means)
30 Texture sheet 40 Rectangular area 50 Transparent plate 60 Vehicle
Claims (10)
前記一対の撮像素子の間に位置するガラス面に取り付けられ、前記ガラスに生じた歪みを検出する歪みセンサと、
前記一対の撮像素子により撮像された一対の画像の位置を、前記歪みセンサにより検出された歪みに応じて補正する補正手段と、
を有することを特徴とするステレオカメラ。 A pair of image sensors that are independently attached to the glass surface while separating a predetermined distance;
A strain sensor that is attached to a glass surface located between the pair of image sensors and detects strain generated in the glass;
Correction means for correcting the position of the pair of images captured by the pair of imaging elements in accordance with the distortion detected by the distortion sensor;
Stereo camera characterized by having.
前記補正手段は、前記補正マップを参照し、前記歪みセンサにより検出された歪みに応じた補正値を決定する、ことを特徴とする請求項２に記載のステレオカメラ。 A correction map that holds the distortion of the glass and the correction value in association with each other;
The stereo camera according to claim 2, wherein the correction unit determines a correction value according to the distortion detected by the distortion sensor with reference to the correction map.
前記一対の撮像素子は、前記フロントガラスの上部内面に車幅方向に沿って配置されている、ことを特徴とする請求項１〜請求項７のいずれか１つに記載のステレオカメラ。 The glass is a windshield of a vehicle,
The stereo camera according to any one of claims 1 to 7, wherein the pair of imaging elements are arranged on the upper inner surface of the windshield along a vehicle width direction.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011214121A JP5561871B2 (en) | 2011-09-29 | 2011-09-29 | Stereo camera and stereo camera calibration method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011214121A JP5561871B2 (en) | 2011-09-29 | 2011-09-29 | Stereo camera and stereo camera calibration method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2013072839A true JP2013072839A (en) | 2013-04-22 |
| JP5561871B2 JP5561871B2 (en) | 2014-07-30 |
Family
ID=48477440
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011214121A Active JP5561871B2 (en) | 2011-09-29 | 2011-09-29 | Stereo camera and stereo camera calibration method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5561871B2 (en) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016014564A (en) * | 2014-07-01 | 2016-01-28 | 株式会社リコー | Imaging unit |
| JP2016107755A (en) * | 2014-12-04 | 2016-06-20 | 日本板硝子株式会社 | Windshield and on-vehicle system |
| JP2017009388A (en) * | 2015-06-19 | 2017-01-12 | 富士重工業株式会社 | Image processing device |
| JPWO2015137518A1 (en) * | 2014-03-14 | 2017-04-06 | 日本板硝子株式会社 | Windshield |
| US10338211B2 (en) | 2016-11-24 | 2019-07-02 | Denso Corporation | Apparatus for measuring distance |
| WO2020185434A1 (en) * | 2019-03-14 | 2020-09-17 | Microsoft Technology Licensing, Llc | Monitoring support element strain to determine real-time positional relationships between positionally sensitive device components |
| US10800345B2 (en) | 2017-09-29 | 2020-10-13 | Denso Corporation | Vehicular camera apparatus |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006219098A (en) * | 2005-02-14 | 2006-08-24 | Nissan Motor Co Ltd | Vehicle collision part determining device and vehicle collision part determining method |
| JP2007017394A (en) * | 2005-07-11 | 2007-01-25 | Fujinon Corp | Light measurement system and method |
| JP2009243963A (en) * | 2008-03-28 | 2009-10-22 | Toyota Motor Corp | Object detector |
| JP2009250785A (en) * | 2008-04-07 | 2009-10-29 | Panasonic Corp | Imaging device |
| JP2011019088A (en) * | 2009-07-09 | 2011-01-27 | Fujifilm Corp | Compound eye imaging apparatus |
-
2011
- 2011-09-29 JP JP2011214121A patent/JP5561871B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006219098A (en) * | 2005-02-14 | 2006-08-24 | Nissan Motor Co Ltd | Vehicle collision part determining device and vehicle collision part determining method |
| JP2007017394A (en) * | 2005-07-11 | 2007-01-25 | Fujinon Corp | Light measurement system and method |
| JP2009243963A (en) * | 2008-03-28 | 2009-10-22 | Toyota Motor Corp | Object detector |
| JP2009250785A (en) * | 2008-04-07 | 2009-10-29 | Panasonic Corp | Imaging device |
| JP2011019088A (en) * | 2009-07-09 | 2011-01-27 | Fujifilm Corp | Compound eye imaging apparatus |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPWO2015137518A1 (en) * | 2014-03-14 | 2017-04-06 | 日本板硝子株式会社 | Windshield |
| JP2016014564A (en) * | 2014-07-01 | 2016-01-28 | 株式会社リコー | Imaging unit |
| JP2016107755A (en) * | 2014-12-04 | 2016-06-20 | 日本板硝子株式会社 | Windshield and on-vehicle system |
| JP2017009388A (en) * | 2015-06-19 | 2017-01-12 | 富士重工業株式会社 | Image processing device |
| US10338211B2 (en) | 2016-11-24 | 2019-07-02 | Denso Corporation | Apparatus for measuring distance |
| US10800345B2 (en) | 2017-09-29 | 2020-10-13 | Denso Corporation | Vehicular camera apparatus |
| WO2020185434A1 (en) * | 2019-03-14 | 2020-09-17 | Microsoft Technology Licensing, Llc | Monitoring support element strain to determine real-time positional relationships between positionally sensitive device components |
| US10854175B2 (en) | 2019-03-14 | 2020-12-01 | Microsoft Technology Licensing, Llc | Monitoring support element strain to determine real-time positional relationships between positionally sensitive device components |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5561871B2 (en) | 2014-07-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5561871B2 (en) | Stereo camera and stereo camera calibration method | |
| KR101787304B1 (en) | Calibration method, calibration device, and computer program product | |
| JP3261115B2 (en) | Stereo image processing device | |
| JP6975003B2 (en) | Peripheral monitoring device and its calibration method | |
| US10277819B2 (en) | Method for calibrating driving amount of actuator configured to correct blurring of image taken by camera | |
| JP6209648B1 (en) | Stereo camera installation parameter calibration method | |
| JP5293131B2 (en) | Compound eye distance measuring device for vehicle and compound eye distance measuring method | |
| JP5434608B2 (en) | Positioning device and positioning method | |
| WO2015029443A1 (en) | Turning angle correction method, turning angle correction device, image-capturing device, and turning angle correction system | |
| JP2012189324A (en) | Stereo camera | |
| US20120093363A1 (en) | Image processing apparatus and image processing method | |
| JP6412730B2 (en) | Edge position detection device, width measurement device, and calibration method thereof | |
| JP2001169310A5 (en) | ||
| JP2014066948A (en) | Stereo camera device | |
| WO2017042998A1 (en) | In-vehicle stereo camera device and method for correcting same | |
| JP2009204459A (en) | Inertial force sensor for vehicles and detecting method of inclination of vehicle | |
| JP5487946B2 (en) | Camera image correction method, camera apparatus, and coordinate transformation parameter determination apparatus | |
| JP3666348B2 (en) | Distance recognition device | |
| JP2009212734A (en) | Automatic calibration monocular stereo vision device | |
| WO2018130605A1 (en) | Method for calibrating a camera for a motor vehicle considering a calibration error, camera as well as motor vehicle | |
| JP7180177B2 (en) | STEREO CAMERA SYSTEM, MOVING OBJECT AND METHOD OF FORMING STEREO CAMERA DEVICE | |
| JP6241083B2 (en) | Imaging apparatus and parallax detection method | |
| WO2017042995A1 (en) | In-vehicle stereo camera device and method for correcting same | |
| JP6996582B2 (en) | Calibration method, calibration equipment and program | |
| JP6571571B2 (en) | Imaging apparatus, in-vehicle camera, and image processing method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130724 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140326 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140513 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20140528 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140609 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5561871 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |