JP2018163111A

JP2018163111A - Calibration method for stereo camera

Info

Publication number: JP2018163111A
Application number: JP2017061621A
Authority: JP
Inventors: 寛阪本; Hiroshi Sakamoto
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2017-03-27
Filing date: 2017-03-27
Publication date: 2018-10-18

Abstract

PROBLEM TO BE SOLVED: To provide a calibration method for a stereo camera that calibrates the stereo camera in a saved space.SOLUTION: A calibration method for a stereo camera comprises: a mirror arranging process of arranging a first mirror M1 and a second mirror M2 so that an interval between a first reflecting surface M10 and a second reflecting surface M20 increases from an upper side to a lower side; a mark arranging process of arranging a mark P between the first reflecting surface M10 and second reflecting surface M20; a camera arranging process of arranging the stereo camera 10 at a position of the first mirror M1, below the second mirror M2, where the mark P can be imaged through the second mirror M2; an imaging process of picking up an image including a reflection image of the mark P; and a calibration process of performing calibration on a right camera and a left camera of the stereo camera 10 based upon the image picked up by the stereo camera 10.SELECTED DRAWING: Figure 4

Description

本発明は、ステレオカメラのキャリブレーション方法に関する。 The present invention relates to a stereo camera calibration method.

例えば、特許文献１に、ステレオカメラのキャリブレーション方法が記載されている。特許文献１には、２つの鏡を平行に配置し、２つの鏡で反射した目印の反射像を含む画像に基づいて、ステレオカメラのキャリブレーションを行うことが記載されている。 For example, Patent Document 1 describes a stereo camera calibration method. Patent Document 1 describes that two mirrors are arranged in parallel and a stereo camera is calibrated based on an image including a reflection image of a mark reflected by the two mirrors.

特開２００４−１９１３５４号公報JP 2004-191354 A

ここで、ステレオカメラのキャリブレーションを行う際には、ステレオカメラの近傍から遠くの領域までを撮像した画像を用いる必要があり、広いスペースが必要となる。このため、特許文献１には、鏡の反射を利用することにより省スペースでキャリブレーションを行うことが提案されている。しかしながら、本技術分野では、さらに省スペースでステレオカメラのキャリブレーションを行うことが望まれている。 Here, when calibrating a stereo camera, it is necessary to use an image obtained by imaging an area far from the vicinity of the stereo camera, and a large space is required. For this reason, Patent Document 1 proposes performing calibration in a space-saving manner by utilizing mirror reflection. However, in this technical field, it is desired to perform calibration of a stereo camera in a further space-saving manner.

本発明は、ステレオカメラのキャリブレーション方法であって、基準方向に沿って見たときに、第１の鏡の第１の反射面と第２の鏡の第２の反射面とが互いに離間した状態で対向し、基準方向における一方側から他方側に向けて第１の反射面と第２の反射面との間隔が広がるように、第１の鏡及び第２の鏡を配置する鏡配置工程と、基準方向に沿って見たときの第１の反射面と第２の反射面との間の位置、第１の反射面、及び、第２の反射面のいずれかの位置であり、且つ、第１の反射面及び第２の反射面における反射面同士の間隔が狭い側の端部よりも反射面同士の間隔が広い側の位置に目印を配置する目印配置工程と、第１の反射面及び第２の反射面における反射面同士の間隔が狭い側の端部よりも反射面同士の間隔が広い側の位置であり、且つ第１の鏡及び第２の鏡を介して目印を撮像可能な位置にステレオカメラを配置するカメラ配置工程と、第１の反射面及び第２の反射面によって反射されて得られる目印の反射像を含む画像をステレオカメラで撮像する撮像工程と、ステレオカメラで撮像された画像に基づいてステレオカメラが備える２つのカメラに対してキャリブレーションを行うキャリブレーション工程と、を備える。 The present invention is a calibration method for a stereo camera, wherein the first reflecting surface of the first mirror and the second reflecting surface of the second mirror are separated from each other when viewed along the reference direction. Mirror arrangement step of arranging the first mirror and the second mirror so that the distance between the first reflecting surface and the second reflecting surface is widened from one side in the reference direction toward the other side in the reference direction And a position between the first reflecting surface and the second reflecting surface when viewed along the reference direction, the position of the first reflecting surface, and the second reflecting surface, and A mark arranging step of arranging the mark at a position on the side where the distance between the reflecting surfaces is wider than the end of the first reflecting surface and the second reflecting surface on the side where the distance between the reflecting surfaces is narrow, and the first reflection The position on the side where the spacing between the reflecting surfaces is wider than the end of the surface and the second reflecting surface on the side where the spacing between the reflecting surfaces is narrow. And a camera arrangement step of arranging the stereo camera at a position where the mark can be imaged via the first mirror and the second mirror, and the mark obtained by being reflected by the first reflecting surface and the second reflecting surface An imaging step of capturing an image including a reflected image with a stereo camera, and a calibration step of performing calibration on two cameras included in the stereo camera based on an image captured with the stereo camera.

このステレオカメラのキャリブレーション方法において、目印からステレオカメラへ向かう光は、目印から第１の反射面と第２の反射面とで反射を繰り返しながら反射面同士の間隔が狭い側（基準方向における一方側）へ向かって進み、その後、進行方向を反転させて、反射面同士の間隔が広い側（基準方向における他方側）へ向かって第１の反射面と第２の反射面とで反射を繰り返しながら進んでステレオカメラへ入射する。このように、目印からステレオカメラへ向かう光を基準方向において往復させることで、小さなスペースであっても光の経路を長くすることができる。これにより、このステレオカメラのキャリブレーション方法では、省スペースでステレオカメラのキャリブレーションを行うことができる。 In this stereo camera calibration method, the light traveling from the mark to the stereo camera is repeatedly reflected from the mark by the first reflecting surface and the second reflecting surface, while the distance between the reflecting surfaces is narrow (one side in the reference direction). The direction of travel is then reversed, and reflection is repeated on the first reflecting surface and the second reflecting surface toward the side where the distance between the reflecting surfaces is wide (the other side in the reference direction). Proceed while entering the stereo camera. In this way, by reciprocating light from the mark toward the stereo camera in the reference direction, the light path can be lengthened even in a small space. Thereby, in this stereo camera calibration method, the stereo camera can be calibrated in a small space.

本発明によれば、省スペースでステレオカメラのキャリブレーションを行うことができる。 According to the present invention, calibration of a stereo camera can be performed in a space-saving manner.

実施形態に係るキャリブレーションシステムの概略構成を示す図である。It is a figure showing a schematic structure of a calibration system concerning an embodiment. キャリブレーションを行うための第１の鏡等を示す斜視図である。It is a perspective view which shows the 1st mirror etc. for performing a calibration. キャリブレーションを行うための第１の鏡等を示す側面図である。It is a side view showing the 1st mirror etc. for performing calibration. 目印からステレオカメラへ向かう光の経路を示す側面図である。It is a side view which shows the path | route of the light which goes to a stereo camera from a mark. 目印からステレオカメラへ向かう光の他の経路を示す側面図である。It is a side view which shows the other path | route of the light which goes to a stereo camera from a mark. 右カメラによって撮像された画像を示す図である。It is a figure which shows the image imaged with the right camera. 図６に示される画像を展開して、目印を並べたときのステレオカメラと複数の目印との位置関係を示す図である。FIG. 7 is a diagram illustrating a positional relationship between a stereo camera and a plurality of marks when the image illustrated in FIG. 6 is developed and the marks are arranged. 左カメラによって撮像された画像を示す図である。It is a figure which shows the image imaged with the left camera. 得られた視差を１／ｚ−ｄ空間にプロットした状態を示す図である。It is a figure which shows the state which plotted the obtained parallax in 1 / zd space. １／ｚ−ｄ空間へのプロット結果に対し、最小二乗法を用いて直線を引いた状態を示す図である。It is a figure which shows the state which pulled the straight line using the least squares method with respect to the plot result to 1 / zd space. キャリブレーションの終了後に第１の鏡を引き上げた状態を示す図である。It is a figure which shows the state which pulled up the 1st mirror after completion | finish of calibration. キャリブレーション方法の手順を示すフローチャートである。It is a flowchart which shows the procedure of a calibration method. 車両の停止位置及び目印の設置位置の変形例を示す図である。It is a figure which shows the modification of the stop position of a vehicle, and the installation position of a mark.

以下、本発明の実施形態について図面を参照しながら説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. In the description of the drawings, the same elements are denoted by the same reference numerals, and redundant description is omitted.

図１に示されるキャリブレーションシステム１の演算装置２０は、ステレオカメラ１０で撮像された画像に基づいて、ステレオカメラ１０が備える右カメラ１１及び左カメラ１２のキャリブレーションを行う。具体的には、本実施形態において、演算装置２０は、ステレオカメラ１０のキャリブレーションとして、右カメラ１１の向きと左カメラ１２の向きとにおける相対ヨー角を算出する。 The computing device 20 of the calibration system 1 shown in FIG. 1 calibrates the right camera 11 and the left camera 12 included in the stereo camera 10 based on the image captured by the stereo camera 10. Specifically, in the present embodiment, the arithmetic unit 20 calculates a relative yaw angle between the orientation of the right camera 11 and the orientation of the left camera 12 as calibration of the stereo camera 10.

ステレオカメラ１０は、車両の周囲を撮像する撮像機器である。ステレオカメラ１０の撮像画像は、車両Ｖの周辺監視等に利用される。ステレオカメラ１０は、右カメラ１１及び左カメラ１２を有している。右カメラ１１及び左カメラ１２は、両眼視差を再現するように配置されている。ステレオカメラ１０は、例えば、車両のフロントガラスの裏側に設けられている（図４参照）。ステレオカメラ１０は、右カメラ１１及び左カメラ１２で撮像された画像情報を演算装置２０へ送信する。 The stereo camera 10 is an imaging device that images the surroundings of the vehicle. The captured image of the stereo camera 10 is used for surrounding monitoring of the vehicle V and the like. The stereo camera 10 has a right camera 11 and a left camera 12. The right camera 11 and the left camera 12 are arranged so as to reproduce binocular parallax. The stereo camera 10 is provided, for example, on the back side of the vehicle windshield (see FIG. 4). The stereo camera 10 transmits image information captured by the right camera 11 and the left camera 12 to the arithmetic device 20.

ここで、ステレオカメラ１０のキャリブレーションを行うときの設備構成について説明する。図２〜図４に示されるように、ステレオカメラ１０のキャリブレーションを行うための設備として、第１の鏡Ｍ１、第２の鏡Ｍ２、及び目印Ｐが配置される。これらは、例えば、車両Ｖの生産工場の中に設置される。また、本実施形態では、ステレオカメラ１０が車両Ｖに搭載された状態で、キャリブレーションが行われる。 Here, the equipment configuration when the stereo camera 10 is calibrated will be described. As shown in FIGS. 2 to 4, a first mirror M <b> 1, a second mirror M <b> 2, and a mark P are arranged as equipment for calibrating the stereo camera 10. These are installed in the production factory of the vehicle V, for example. In the present embodiment, calibration is performed in a state where the stereo camera 10 is mounted on the vehicle V.

第１の鏡Ｍ１及び第２の鏡Ｍ２は、工場等の天井Ｙにそれぞれの上部が支持されている。第１の鏡Ｍ１と第２の鏡Ｍ２とは、鉛直方向（基準方向）Ａに沿って見たときに、第１の鏡Ｍ１の第１の反射面Ｍ１０と、第２の鏡Ｍ２の第２の反射面Ｍ２０とが互いに離間した状態で対向するように配置されている。 The upper portions of the first mirror M1 and the second mirror M2 are supported on the ceiling Y of a factory or the like. The first mirror M1 and the second mirror M2 are the first reflecting surface M10 of the first mirror M1 and the second mirror M2 when viewed along the vertical direction (reference direction) A. The two reflecting surfaces M20 are arranged so as to face each other while being separated from each other.

鉛直方向Ａにおける上方側（一方側）から下方側（他方側）に向けて、第１の反射面Ｍ１０と第２の反射面Ｍ２０との間隔が広がるように、第１の鏡Ｍ１及び第２の鏡Ｍ２が配置されている。すなわち、第１の鏡Ｍ１は、上端が第２の鏡Ｍ２に近づくように鉛直方向Ａに対して所定角度θ傾斜している。同様に、第２の鏡Ｍ２は、上端が第１の鏡Ｍ１に近づくように鉛直方向Ａに対して所定角度θ傾斜している。 In the vertical direction A, the first mirror M1 and the second mirror 2 are arranged so that the distance between the first reflecting surface M10 and the second reflecting surface M20 increases from the upper side (one side) to the lower side (the other side). The mirror M2 is arranged. That is, the first mirror M1 is inclined at a predetermined angle θ with respect to the vertical direction A so that the upper end approaches the second mirror M2. Similarly, the second mirror M2 is inclined by a predetermined angle θ with respect to the vertical direction A so that the upper end approaches the first mirror M1.

第２の鏡Ｍ２は、天井Ｙに固定されている。図４に示されるように、第２の鏡Ｍ２の下端と工場等の床面Ｇとの鉛直方向Ａの間隔は、ステレオカメラ１０を搭載した車両Ｖが通過可能な間隔である。第１の鏡Ｍ１は、図示しない移動機構によって上下方向に移動可能に天井Ｙに支持されている。第１の鏡Ｍ１の下端は、ステレオカメラ１０のキャリブレーションを行うときには、第２の鏡Ｍ２の下端よりも下方に位置している。すなわち、第１の鏡Ｍ１は、キャリブレーションを行うときには、ステレオカメラ１０の前に位置している。 The second mirror M2 is fixed to the ceiling Y. As shown in FIG. 4, the interval in the vertical direction A between the lower end of the second mirror M2 and the floor G of the factory or the like is an interval through which the vehicle V carrying the stereo camera 10 can pass. The first mirror M1 is supported on the ceiling Y so as to be movable in the vertical direction by a moving mechanism (not shown). The lower end of the first mirror M1 is positioned below the lower end of the second mirror M2 when the stereo camera 10 is calibrated. That is, the first mirror M1 is positioned in front of the stereo camera 10 when performing calibration.

目印Ｐは、床面Ｇに配置されている。目印Ｐは、床面Ｇのうち、鉛直方向Ａに沿って見たときに第１の鏡Ｍ１と第２の鏡Ｍ２との間の位置に配置されている。すなわち、目印Ｐは、第１の反射面Ｍ１０及び第２の反射面Ｍ２０の上端（反射面同士の間隔が狭い側の端部）よりも、第１の反射面Ｍ１０及び第２の反射面Ｍ２０の下端側（反射面同士の間隔が広い側）の位置に配置されている。目印Ｐとしては、他の領域と識別可能であれば、マークが付されたシート状の部材、発光体等、種々の構成の目印が用いられる。 The mark P is disposed on the floor G. The mark P is disposed on the floor surface G at a position between the first mirror M1 and the second mirror M2 when viewed along the vertical direction A. That is, the mark P is located on the first reflecting surface M10 and the second reflecting surface M20 rather than the upper ends of the first reflecting surface M10 and the second reflecting surface M20 (the end on the side where the distance between the reflecting surfaces is narrow). Is disposed at the lower end side (the side where the spacing between the reflecting surfaces is wide). As the mark P, marks having various configurations such as a sheet-like member with a mark, a light emitter, and the like are used as long as they can be distinguished from other regions.

キャリブレーションを行う場合、図４に示されるように、第２の鏡Ｍ２の下部にステレオカメラ１０が位置するように車両Ｖを停止させる。以下、キャリブレーションを行う場合に車両Ｖを停止させる位置を、キャリブレーション実行位置という。すなわち、ステレオカメラ１０は、第１の反射面Ｍ１０及び第２の反射面Ｍ２０の上端（反射面同士の間隔が狭い側の端部）よりも、第１の反射面Ｍ１０及び第２の反射面Ｍ２０の下端側（反射面同士の間隔が広い側）の位置に配置される。また、ステレオカメラ１０は、第１の鏡Ｍ１及び第２の鏡Ｍ２を介して目印Ｐを撮像可能なように、第１の鏡Ｍ１に向けられている。 When the calibration is performed, the vehicle V is stopped so that the stereo camera 10 is positioned below the second mirror M2, as shown in FIG. Hereinafter, a position where the vehicle V is stopped when performing calibration is referred to as a calibration execution position. That is, the stereo camera 10 includes the first reflecting surface M10 and the second reflecting surface, rather than the upper ends of the first reflecting surface M10 and the second reflecting surface M20 (the end on the side where the distance between the reflecting surfaces is narrow). It arrange | positions in the position of the lower end side (side with a large space | interval of reflective surfaces) of M20. Further, the stereo camera 10 is directed to the first mirror M1 so that the mark P can be imaged through the first mirror M1 and the second mirror M2.

図１に示される演算装置２０は、車両Ｖがキャリブレーション実行位置に位置しているときにステレオカメラ１０によって撮像された画像に基づいて、ステレオカメラ１０のキャリブレーションを行う。 The computing device 20 shown in FIG. 1 calibrates the stereo camera 10 based on the image captured by the stereo camera 10 when the vehicle V is located at the calibration execution position.

ここで、ステレオカメラ１０によって撮像される目印Ｐについて説明する。第１の鏡Ｍ１及び第２の鏡Ｍ２は、下方側に向かって反射面同士の間隔が広がるように配置されている。このため、目印Ｐからステレオカメラ１０へ向かう光は、図４に示される経路Ｌのように、目印Ｐから第１の反射面Ｍ１０と第２の反射面Ｍ２０とで反射を繰り返しながら上側へ向かって進む。 Here, the mark P imaged by the stereo camera 10 will be described. The 1st mirror M1 and the 2nd mirror M2 are arrange | positioned so that the space | interval of reflective surfaces may spread toward a downward side. Therefore, the light traveling from the mark P to the stereo camera 10 travels upward while being repeatedly reflected by the first reflecting surface M10 and the second reflecting surface M20 from the mark P as shown in the path L shown in FIG. Go ahead.

そして、上方に向かっていた光は、進行方向を反転させて、下方へ向かって第１の反射面Ｍ１０と第２の反射面Ｍ２０とで反射を繰り返しながら進んでステレオカメラ１０へ入射する。なお、上方側に向かって反射面同士の間隔が狭くなるように第１の鏡Ｍ１及び第２の鏡Ｍ２が配置されているため、上方に向かっていた光の進行方向が途中で反転する。このような目印Ｐからステレオカメラ１０へ向かう光は、図４及び図５に示されるように複数の経路Ｌを経由してステレオカメラ１０に入射する。なお、図５に示される経路Ｌは、図４に示される経路Ｌよりも第１の反射面Ｍ１０及び第２の反射面Ｍ２０での反射回数が少なく、経路の長さが短い。 Then, the light traveling upward is reversed in the traveling direction, travels downward while being repeatedly reflected by the first reflecting surface M10 and the second reflecting surface M20, and enters the stereo camera 10. In addition, since the 1st mirror M1 and the 2nd mirror M2 are arrange | positioned so that the space | interval of reflective surfaces may become narrow toward the upper side, the advancing direction of the light which went upwards is reversed in the middle. The light traveling from the mark P to the stereo camera 10 enters the stereo camera 10 via a plurality of paths L as shown in FIGS. Note that the path L shown in FIG. 5 has a smaller number of reflections on the first reflecting surface M10 and the second reflecting surface M20 than the path L shown in FIG.

このため、図６に示されるように、右カメラ１１によって撮像された画像内には、目印Ｐが複数写っている。図７は、図６に示される画像を展開して、目印Ｐを並べたときのステレオカメラ１０と複数の目印Ｐとの位置関係を示す図である。すなわち、第１の鏡Ｍ１及び第２の鏡Ｍ２を用いることによって、車両Ｖの前方に複数の目印Ｐが配置されたときのステレオカメラ１０の撮像画像に相当する画像が得られる。同様に、図８に示されるように、左カメラ１２によって撮像された画像内には、目印Ｐが複数写っている。 For this reason, as shown in FIG. 6, a plurality of marks P are shown in the image captured by the right camera 11. FIG. 7 is a diagram illustrating a positional relationship between the stereo camera 10 and the plurality of marks P when the image illustrated in FIG. 6 is developed and the marks P are arranged. That is, by using the first mirror M1 and the second mirror M2, an image corresponding to a captured image of the stereo camera 10 when a plurality of marks P are arranged in front of the vehicle V is obtained. Similarly, as shown in FIG. 8, a plurality of marks P are shown in the image captured by the left camera 12.

演算装置２０は、図６及び図８に示されるような右カメラ１１で撮像された画像及び左カメラ１２で撮像された画像を取得する。演算装置２０は、取得した２つの画像同士において目印Ｐを水平方向に探索し、対応する目印Ｐのマッチング処理を行う。演算装置２０は、マッチングした目印Ｐ、並びに、右カメラ１１及び左カメラ１２の間隔等に基づいて、周知の方法によって視差ｄを得る。演算装置２０は、マッチングされた目印Ｐごとに、視差ｄを算出する。 The arithmetic unit 20 acquires an image captured by the right camera 11 and an image captured by the left camera 12 as illustrated in FIGS. 6 and 8. The arithmetic unit 20 searches for the mark P in the horizontal direction between the two acquired images, and performs matching processing for the corresponding mark P. The arithmetic unit 20 obtains the parallax d by a well-known method based on the matched mark P and the interval between the right camera 11 and the left camera 12. The computing device 20 calculates the parallax d for each of the matched landmarks P.

演算装置２０は、得られた視差ｄと、目印Ｐとステレオカメラ１０間における既知の距離ｚとを用いて、１／ｚ−ｄ空間における視差ｄと距離ｚとに対応する位置にプロットする（図９参照）。なお、既知の距離ｚとは、第１の反射面Ｍ１０と第２の反射面Ｍ２０との間隔、目印Ｐの位置、光の反射回数等によって得られる。演算装置２０は、１／ｚ−ｄ空間へのプロットを、マッチングした目印Ｐごとに行う。 The arithmetic unit 20 plots the obtained parallax d and the position corresponding to the parallax d and the distance z in the 1 / z-d space using the known distance z between the mark P and the stereo camera 10 ( (See FIG. 9). The known distance z is obtained by the distance between the first reflecting surface M10 and the second reflecting surface M20, the position of the mark P, the number of times of light reflection, and the like. The arithmetic unit 20 performs plotting in the 1 / zd space for each matching mark P.

演算装置２０は、１／ｚ−ｄ空間へのプロット結果に対し、最小二乗法を用いて図１０に示されるように直線Ｋを引く。これにより、演算装置２０は、直線Ｋの切片、すなわち無限遠視差ｄ_０を得ることができる。演算装置２０は、無限遠視差ｄ_０と、次の式（１）とを用いて、キャリブレーションパラメータである相対ヨー角θを算出する。なお、式（１）におけるｆは、ステレオカメラ１０の焦点距離である。

The arithmetic unit 20 draws a straight line K as shown in FIG. 10 by using the least square method for the plot result in the 1 / zd space. Thus, computing device 20, the intercept of the straight line K, i.e. it is possible to obtain an infinite hyperopia difference d _0. The computing device 20 calculates a relative yaw angle θ, which is a calibration parameter, using the infinity parallax d ₀ and the following equation (1). Note that f in Expression (1) is the focal length of the stereo camera 10.

キャリブレーションの終了後（相対ヨー角θの算出後）、車両Ｖをキャリブレーション実行位置から移動させる。例えば、図１１に示されるように、図示しない移動機構が第１の鏡Ｍ１を上方に引き上げる。この場合、車両Ｖは、第１の鏡Ｍ１の下を通って、他の場所へ移動することができる。 After the calibration is completed (after calculating the relative yaw angle θ), the vehicle V is moved from the calibration execution position. For example, as shown in FIG. 11, a moving mechanism (not shown) raises the first mirror M1 upward. In this case, the vehicle V can move to another place under the first mirror M1.

演算装置２０は、物理的には、ＣＰＵ[Central Processing Unit]、ＲＯＭ[Read Only Memory]、及びＲＡＭ[Random Access Memory]等を有する電子制御ユニットである。演算装置２０では、ＲＯＭに記憶されているプログラムをＲＡＭにロードし、ＲＡＭにロードされたプログラムをＣＰＵで実行することにより各種の機能を実現する。演算装置２０は、複数の電子制御ユニットから構成されていてもよい。 The arithmetic device 20 is physically an electronic control unit having a CPU [Central Processing Unit], a ROM [Read Only Memory], a RAM [Random Access Memory], and the like. In the arithmetic unit 20, various functions are realized by loading a program stored in the ROM into the RAM and executing the program loaded in the RAM by the CPU. The computing device 20 may be composed of a plurality of electronic control units.

なお、ステレオカメラ１０のキャリブレーションを行う演算装置２０は、車両Ｖに常に搭載されていてもよく、キャリブレーションを行うときのみ車両Ｖに搭載されていてもよい。また、演算装置２０は、車両Ｖ外に設けられており、ステレオカメラ１０で撮像された画像を取得してステレオカメラ１０のキャリブレーションを行ってもよい。 Note that the computing device 20 that performs calibration of the stereo camera 10 may be always mounted on the vehicle V, or may be mounted on the vehicle V only when calibration is performed. Moreover, the arithmetic unit 20 may be provided outside the vehicle V, and may acquire the image imaged with the stereo camera 10 and may calibrate the stereo camera 10.

次に、演算装置２０を用いてステレオカメラ１０のキャリブレーションを行うときのキャリブレーション方法の手順について説明する。図１２に示されるように、キャリブレーションを行うオペレータは、第１の鏡Ｍ１、第２の鏡Ｍ２、及び目印Ｐを、上述したようにキャリブレーションを行うための所定の位置にそれぞれ設置する（Ｓ１０１：鏡配置工程、目印配置工程）。次に、オペレータは、車両Ｖをキャリブレーション実行位置まで移動させて停止させる（Ｓ１０２：カメラ配置工程）。 Next, the procedure of the calibration method when the stereo camera 10 is calibrated using the arithmetic unit 20 will be described. As shown in FIG. 12, the operator who performs calibration installs the first mirror M1, the second mirror M2, and the mark P at predetermined positions for performing calibration as described above (see FIG. 12). S101: Mirror placement step, mark placement step). Next, the operator moves the vehicle V to the calibration execution position and stops it (S102: camera placement step).

オペレータは、ステレオカメラ１０の右カメラ１１及び左カメラ１２を用いて、第１の鏡Ｍ１の第１の反射面Ｍ１０及び第２の鏡Ｍ２の第２の反射面Ｍ２０によって反射されて得られる目印Ｐの反射像を含む画像を撮像する（Ｓ１０３：撮像工程）。演算装置２０は、取得した２つの画像に基づいて、画像内における複数の目印Ｐごとに視差ｄを得る。演算装置２０は、得られた視差ｄと、目印Ｐとステレオカメラ１０間における既知の距離ｚとを用いて、１／ｚ−ｄ空間における視差ｄと距離ｚとに対応する位置にプロットする（Ｓ１０４：キャリブレーション工程）。 The operator uses the right camera 11 and the left camera 12 of the stereo camera 10 to obtain a mark obtained by being reflected by the first reflecting surface M10 of the first mirror M1 and the second reflecting surface M20 of the second mirror M2. An image including a reflection image of P is captured (S103: imaging step). The computing device 20 obtains the parallax d for each of the plurality of marks P in the image based on the two acquired images. The arithmetic unit 20 plots the obtained parallax d and the position corresponding to the parallax d and the distance z in the 1 / z-d space using the known distance z between the mark P and the stereo camera 10 ( S104: Calibration step).

演算装置２０は、１／ｚ−ｄ空間へのプロット結果に対し、最小二乗法を用いて無限遠視差ｄ_０を得る（Ｓ１０５：キャリブレーション工程）。演算装置２０は、無限遠視差ｄ_０と、上述した式（１）とを用いて、キャリブレーションパラメータである相対ヨー角θを算出する（Ｓ１０６：キャリブレーション工程）。相対ヨー角の算出後、オペレータは、第２の鏡Ｍ２を上方に移動させる。そして、オペレータは、車両Ｖを前進させてキャリブレーション実行位置から車両Ｖを移動させる（Ｓ１０７）。 The arithmetic unit 20 obtains the infinity parallax d ₀ using the least square method for the plot result in the 1 / zd space (S105: calibration step). The computing device 20 calculates the relative yaw angle θ, which is a calibration parameter, using the infinity parallax d ₀ and the above-described equation (1) (S106: calibration step). After calculating the relative yaw angle, the operator moves the second mirror M2 upward. Then, the operator moves the vehicle V forward from the calibration execution position (S107).

本実施形態は以上のように構成され、このステレオカメラ１０のキャリブレーション方法において、目印Ｐからステレオカメラ１０へ向かう光は、目印Ｐから第１の鏡Ｍ１の第１の反射面Ｍ１０と第２の鏡Ｍ２の第２の反射面Ｍ２０とで反射を繰り返しながら上側へ向かって進む。その後、上側へ向かっていた光は、進行方向を反転させて、下側へ向かって第１の鏡Ｍ１の第１の反射面Ｍ１０と第２の鏡Ｍ２の第２の反射面Ｍ２０とで反射を繰り返しながら進んでステレオカメラ１０へ入射する。このように、目印Ｐからステレオカメラ１０へ向かう光を鉛直方向において往復させることで、小さなスペースであっても光の経路を長くすることができる。これにより、このステレオカメラ１０のキャリブレーション方法では、省スペースでステレオカメラ１０のキャリブレーションを行うことができる。 The present embodiment is configured as described above. In this calibration method of the stereo camera 10, the light traveling from the mark P to the stereo camera 10 is transmitted from the mark P to the first reflecting surface M10 of the first mirror M1 and the second light. It proceeds upward while repeating reflection with the second reflecting surface M20 of the mirror M2. Thereafter, the light traveling upward is reversed in the traveling direction and reflected downward by the first reflecting surface M10 of the first mirror M1 and the second reflecting surface M20 of the second mirror M2. The process proceeds while repeating and enters the stereo camera 10. In this way, by reciprocating light from the mark P toward the stereo camera 10 in the vertical direction, the light path can be lengthened even in a small space. Thereby, in this calibration method of the stereo camera 10, the stereo camera 10 can be calibrated in a space-saving manner.

例えば、従来文献１に記載されているように、反射面同士が平行となるように２つの鏡が配置されている場合、目印からカメラへ向かう光は反射面同士で反射を繰り返しながら一方向へしか進まない。これに対し、本実施形態におけるステレオカメラ１０のキャリブレーション方法では、反射面同士で反射を繰り返しながら鉛直方向において光を往復させることができるため、従来文献１に記載されているように光が一方向にしか進まない場合と比べて、小さなスペースであっても光の経路を長くすることができ、省スペース化が可能となる。 For example, as described in Conventional Document 1, when two mirrors are arranged so that the reflecting surfaces are parallel to each other, the light traveling from the mark to the camera is reflected in one direction while being repeatedly reflected by the reflecting surfaces. It only goes. On the other hand, in the calibration method of the stereo camera 10 according to the present embodiment, light can be reciprocated in the vertical direction while repeating reflection between the reflecting surfaces. Compared to the case where the light travels only in the direction, the light path can be lengthened even in a small space, and the space can be saved.

また、このキャリブレーション方法では、ステレオカメラ１０が車両Ｖに搭載された状態でキャリブレーションを行うことができる。第１の鏡Ｍ１が上下に移動可能であるため、キャリブレーションを行う際にはステレオカメラ１０の前に第１の鏡Ｍ１を設置しつつ、キャリブレーション終了後は第１の鏡Ｍ１を上昇させることによって車両Ｖが第１の鏡Ｍ１に接触することが防止される。 Further, in this calibration method, calibration can be performed with the stereo camera 10 mounted on the vehicle V. Since the first mirror M1 can move up and down, the first mirror M1 is placed in front of the stereo camera 10 when performing calibration, and the first mirror M1 is raised after the calibration is completed. This prevents the vehicle V from coming into contact with the first mirror M1.

以上、本発明の実施形態について説明したが、本発明は、上記実施形態に限定されるものではない。例えば、図１３に示されるように、目印Ｐは、第２の鏡Ｍ２の第２の反射面Ｍ２０に設置されてもよい。同様に、目印Ｐは、第１の鏡Ｍ１の第１の反射面Ｍ１０に設置されてもよい。また、キャリブレーション実行位置は、第２の鏡Ｍ２の下部にステレオカメラ１０が位置する場所に限定されない。例えば、キャリブレーション実行位置は、上方から見たときに第１の鏡Ｍ１と第２の鏡Ｍ２との間にステレオカメラ１０が位置する場所であってもよい。具体的には、ステレオカメラ１０は、第１の鏡Ｍ１と第２の鏡Ｍ２との間の位置であり、且つ、第１の反射面Ｍ１０及び第２の反射面Ｍ２０の上端よりも、下側の位置に配置されていればよい。この場合にも、ステレオカメラ１０は、第１の鏡Ｍ１及び第２の鏡Ｍ２を介して目印Ｐを撮像可能なように、第１の鏡Ｍ１に向けられている。 As mentioned above, although embodiment of this invention was described, this invention is not limited to the said embodiment. For example, as shown in FIG. 13, the mark P may be installed on the second reflecting surface M20 of the second mirror M2. Similarly, the mark P may be installed on the first reflecting surface M10 of the first mirror M1. Further, the calibration execution position is not limited to the place where the stereo camera 10 is positioned below the second mirror M2. For example, the calibration execution position may be a place where the stereo camera 10 is positioned between the first mirror M1 and the second mirror M2 when viewed from above. Specifically, the stereo camera 10 is located between the first mirror M1 and the second mirror M2, and below the upper ends of the first reflecting surface M10 and the second reflecting surface M20. What is necessary is just to arrange | position in the position of the side. Also in this case, the stereo camera 10 is directed to the first mirror M1 so that the mark P can be imaged through the first mirror M1 and the second mirror M2.

右カメラ１１及び左カメラ１２によって得られた画像に基づいてキャリブレーションを行う構成であれば、演算装置２０は、種々の方法に基づいて相対ヨー角を算出してもよい。また、演算装置２０は、ステレオカメラ１０のキャリブレーションとして、相対ヨー角以外のパラメータを算出してもよい。 As long as calibration is performed based on images obtained by the right camera 11 and the left camera 12, the arithmetic unit 20 may calculate the relative yaw angle based on various methods. Further, the arithmetic unit 20 may calculate parameters other than the relative yaw angle as calibration of the stereo camera 10.

なお、第１の鏡Ｍ１と第２の鏡Ｍ２とは、鉛直方向Ａに沿って見たときに、第１の鏡Ｍ１の第１の反射面Ｍ１０と第２の鏡Ｍ２の第２の反射面Ｍ２０とが互いに対向するように配置されている場合を例に説明したが、鉛直方向Ａに限定されない。第１の鏡Ｍ１と第２の鏡Ｍ２とは、鉛直方向Ａ以外の方向に沿って見たときに、第１の反射面Ｍ１０と第２の反射面Ｍ２０とが互いに対向するように配置されていてもよい。 The first mirror M1 and the second mirror M2 are, when viewed along the vertical direction A, the first reflection surface M10 of the first mirror M1 and the second reflection of the second mirror M2. Although the case where it arrange | positions so that the surface M20 may mutually oppose was demonstrated to an example, it is not limited to the perpendicular direction A. The first mirror M1 and the second mirror M2 are arranged so that the first reflective surface M10 and the second reflective surface M20 face each other when viewed along a direction other than the vertical direction A. It may be.

車両Ｖは、オペレータによってキャリブレーション実行位置へ又はキャリブレーション実行位置から他の場所へ移動させられてもよく、ベルトコンベア等によって搬送されてもよい。 The vehicle V may be moved to the calibration execution position by the operator or from the calibration execution position to another place, or may be conveyed by a belt conveyor or the like.

１０…ステレオカメラ、１１…右カメラ、１２…左カメラ、２０…演算装置、Ａ…鉛直方向（基準方向）、Ｍ１…第１の鏡、Ｍ１０…第１の反射面、Ｍ２…第２の鏡、Ｍ２０…第２の反射面、Ｐ…目印。 DESCRIPTION OF SYMBOLS 10 ... Stereo camera, 11 ... Right camera, 12 ... Left camera, 20 ... Arithmetic unit, A ... Vertical direction (reference direction), M1 ... 1st mirror, M10 ... 1st reflective surface, M2 ... 2nd mirror , M20: second reflecting surface, P: mark.

Claims

A stereo camera calibration method,
When viewed along the reference direction, the first reflecting surface of the first mirror and the second reflecting surface of the second mirror face each other in a state of being separated from each other, and from one side to the other side in the reference direction A mirror disposing step of disposing the first mirror and the second mirror so that the distance between the first reflecting surface and the second reflecting surface widens toward
At a position between the first reflecting surface and the second reflecting surface when viewed along the reference direction, at any position of the first reflecting surface and the second reflecting surface. And a mark arranging step of arranging a mark at a position on the side where the distance between the reflecting surfaces is wider than the end portion on the side where the distance between the reflecting surfaces in the first reflecting surface and the second reflecting surface is narrow. ,
The first reflecting surface and the second reflecting surface are positions on the side where the spacing between the reflecting surfaces is wider than the end portion on the side where the spacing between the reflecting surfaces is narrow, and the first mirror and the second reflecting surface. A camera placement step of placing the stereo camera at a position where the landmark can be imaged through the mirror;
An imaging step of capturing an image including a reflected image of the mark obtained by being reflected by the first reflecting surface and the second reflecting surface with the stereo camera;
A calibration step of calibrating two cameras included in the stereo camera based on the image picked up by the stereo camera.