JP2020088601A

JP2020088601A - Calibration device

Info

Publication number: JP2020088601A
Application number: JP2018220355A
Authority: JP
Inventors: 耕太山本; Kota Yamamoto; 哲金森; Satoru Kanamori
Original assignee: Alpine Electronics Inc
Current assignee: Alpine Electronics Inc
Priority date: 2018-11-26
Filing date: 2018-11-26
Publication date: 2020-06-04
Anticipated expiration: 2038-11-26
Also published as: JP6995447B2

Abstract

To provide a calibration device in which the calculation accuracy of the position of a calibration index can be improved.SOLUTION: An on-vehicle camera fitting angle detection device 100 comprises: a camera 52 which is mounted on a vehicle and images a calibration index included in a calibration sheet arranged in the periphery of the vehicle; a center position calculation unit 120 which, from the image of the calibration index captured by the camera 52, calculates the center position of the calibration index; a camera posture calculation unit 130 which, based on the center position calculated by each center position calculation unit 120, 150, calculates the posture of the camera 52; a top view image generation unit 140 which, based on the camera posture calculated by the camera posture calculation unit 130, generates a top view image of the calibration index; and a center position calculation unit 150 which, from the top view image of the calibration index, calculates the center position of the image.SELECTED DRAWING: Figure 3

Description

本発明は、車両に搭載されたカメラの姿勢を検出するキャリブレーション装置に関する。 The present invention relates to a calibration device that detects the posture of a camera mounted on a vehicle.

従来から、校正指標としての円形のキャリブレーションマークが描かれたキャリブレーションシートを車両後方の路上に配置し、これを車両後部に設置されたカメラで撮影することにより、カメラの取付角度等を検出するようにした車載カメラ姿勢検出装置が知られている（例えば、特許文献１参照。）。この装置では、カメラでキャリブレーションシートを撮影し、その中に含まれる円形のキャリブレーションマークの中心を求めることで、その後の各種の演算を行っている。 Conventionally, a calibration sheet with a circular calibration mark as a calibration index is placed on the road behind the vehicle, and this is taken by a camera installed at the rear of the vehicle to detect the mounting angle of the camera. A vehicle-mounted camera posture detection device configured to do so is known (for example, refer to Patent Document 1). In this apparatus, a camera takes an image of a calibration sheet, and the center of a circular calibration mark included in the image is obtained to perform various calculations thereafter.

特開２０１３−１１５５号公報JP, 2013-1155, A

ところで、上述した特許文献１に開示された車載カメラ姿勢検出装置では、カメラによるキャリブレーションシートの撮像は、例えば魚眼レンズや広角レンズを通して水平から下向きに行われる。このようにして撮影されるキャリブレーションシート内のキャリブレーションマークは、円形ではなく、カメラから遠い部分よりも近い部分が広がった歪んだ形状となる。このような歪んだ形状のキャリブレーションマーク（校正指標）の中心は、円形のキャリブレーションの中心よりも車両に近い側にずれることなり、得られた中心位置に誤差が含まれるという問題があった。この中心位置の誤差は、カメラの取付角度等の検出誤差の原因となるため望ましくない。特に、ＡＳＶ（先進安全技術自動車）が正しく作動するための校正作業（エーミング作業）などのためにも、このような検出誤差の低減が望まれる。 By the way, in the vehicle-mounted camera posture detection device disclosed in the above-mentioned Patent Document 1, the imaging of the calibration sheet by the camera is performed from horizontal to downward through, for example, a fisheye lens or a wide-angle lens. The calibration mark in the calibration sheet thus photographed is not circular, but has a distorted shape in which a portion closer to the camera is wider than a portion farther from the camera. The center of such a distorted calibration mark (calibration index) shifts to the side closer to the vehicle than the center of the circular calibration, and there is a problem in that the obtained center position includes an error. .. This error in the center position causes an error in detecting the mounting angle of the camera and is not desirable. In particular, such a reduction in detection error is also desired for calibration work (aiming work) for ASV (advanced safety technology vehicle) to operate correctly.

本発明は、このような点に鑑みて創作されたものであり、その目的は、校正指標（キャリブレーションマーク）の位置の算出精度を上げることができるキャリブレーション装置を提供することにある。 The present invention has been made in view of the above circumstances, and an object thereof is to provide a calibration device capable of increasing the calculation accuracy of the position of a calibration index (calibration mark).

上述した課題を解決するために、本発明のキャリブレーション装置は、車両に搭載されており、車両周辺に配置されたキャリブレーションシートに含まれる校正指標を撮像するカメラと、カメラで撮像された校正指標の画像からその中心位置を算出する第１の中心位置算出手段と、第１の中心位置算出手段によって算出した中心位置に基づいてカメラの姿勢を算出するカメラ姿勢算出手段と、カメラ姿勢算出手段によって算出されたカメラの姿勢に基づいて、校正指標のトップビュー画像を生成するトップビュー画像生成手段と、校正指標のトップビュー画像からその中心位置を算出する第２の中心位置算出手段とを備えている。 In order to solve the above-mentioned problems, the calibration device of the present invention is mounted on a vehicle, and a camera that captures a calibration index included in a calibration sheet arranged around the vehicle and a calibration imaged by the camera. First center position calculating means for calculating the center position of the image of the index, camera attitude calculating means for calculating the camera attitude based on the center position calculated by the first center position calculating means, and camera attitude calculating means Top view image generating means for generating a top view image of the calibration index based on the attitude of the camera calculated by, and second center position calculating means for calculating the center position of the top view image of the calibration index. ing.

キャリブレーションシートに含まれる校正指標をカメラで撮像したときに形状が歪むとその分だけ校正指標の中心位置算出時に誤差が生じるが、この誤差を含む中心位置を用いて算出したカメラの姿勢に基づいてトップビュー画像を生成してその中心位置を再度算出することにより、誤差を減らして校正指標の位置の算出精度を上げることが可能となる。 When the shape of the calibration index included in the calibration sheet is distorted when the image is taken by the camera, an error will occur when calculating the center position of the calibration index, but based on the camera position calculated using the center position including this error. By generating the top-view image and calculating the center position again, it is possible to reduce the error and improve the calculation accuracy of the position of the calibration index.

また、上述したカメラ姿勢算出手段によるカメラの姿勢の算出と、トップビュー画像生成手段によるトップビュー画像の生成を、第２の中心位置算出手段によって算出した校正指標の中心位置を用いて再度行うことが望ましい。カメラの姿勢算出と、トップビュー画像に基づく校正指標の中心位置の算出とを再度行うことにより、校正指標の位置の算出精度をさらに上げることができる。 Further, the calculation of the camera posture by the camera posture calculation unit and the generation of the top view image by the top view image generation unit described above are performed again using the center position of the calibration index calculated by the second center position calculation unit. Is desirable. By calculating the posture of the camera and calculating the center position of the calibration index based on the top view image again, the accuracy of calculating the position of the calibration index can be further improved.

また、上述したカメラ姿勢算出手段によって算出されるカメラの今回の取付角と前回の取付角との差が所定値より小さくなるまで、第２の中心位置算出手段による中心位置の算出を繰り返すことが望ましい。これにより、校正指標の位置の算出精度をさらに上げて、誤差をなくす、あるいは、許容可能な程度まで減らすことが可能となる。 Further, the calculation of the center position by the second center position calculation means may be repeated until the difference between the current installation angle and the previous installation angle of the camera calculated by the camera attitude calculation means described above becomes smaller than a predetermined value. desirable. This makes it possible to further improve the accuracy of calculating the position of the calibration index, eliminate the error, or reduce the error to an acceptable level.

また、上述した第１の中心位置算出手段によって算出される中心位置は、校正指標の重心位置であることが望ましい。校正指標をカメラで撮像した画像が元の形状に対して歪んで見えるときにその重心位置を求めると、真の中心位置からずれてしまうが、トップビュー画像に基づいてその中心位置を再度算出することにより、形状の歪みによる影響を減らすことが可能となる。 Further, the center position calculated by the above-mentioned first center position calculating means is preferably the center of gravity position of the calibration index. If the barycentric position is found when the image of the calibration index captured by the camera looks distorted with respect to the original shape, it will deviate from the true center position, but the center position will be calculated again based on the top-view image. As a result, it is possible to reduce the influence of shape distortion.

また、上述した校正指標は、円形形状を有することが望ましい。円形の校正指標をカメラで撮像した画像が円形形状から歪んで見えるときに、その中心位置を求めると円心からずれてしまうが、トップビュー画像に基づいてその中心位置を再度算出することにより、算出される中心位置を円心の位置に近づけることが可能となる。 Further, it is desirable that the above-mentioned calibration index has a circular shape. When the image of the circular calibration index captured by the camera looks distorted from the circular shape, the center position will be deviated from the center of the circle. It is possible to bring the center position of the circle closer to the position of the circle center.

また、上述したキャリブレーションシートは、路面上に配置されており、カメラは、キャリブレーションシートを斜め方向から撮像することが望ましい。路面上に置かれたキャリブレーションシートの校正指標をカメラで斜め方向から撮像することにより校正指標の形状が歪んで見えるため、真の形状の中心位置からずれてしまうが、トップビュー画像に基づいてその中心位置を再度算出することにより、形状の歪みによる影響を減らすことが可能となる。 Further, the above-mentioned calibration sheet is arranged on the road surface, and it is desirable that the camera captures the calibration sheet from an oblique direction. Since the shape of the calibration index looks distorted by imaging the calibration index of the calibration sheet placed on the road surface from the diagonal direction with the camera, it will deviate from the center position of the true shape, but based on the top view image By calculating the center position again, it is possible to reduce the influence of the shape distortion.

一実施形態の車載カメラ取付角検出装置の全体構成を示す図である。It is a figure which shows the whole structure of the vehicle-mounted camera attachment angle detection apparatus of one embodiment. カメラの具体的な設置例を示す図である。It is a figure which shows the specific installation example of a camera. キャリブレーションプログラムを実行することで動作する車載カメラ取付角検出装置の機能ブロックの構成図である。It is a block diagram of a functional block of a vehicle-mounted camera attachment angle detection device which operates by executing a calibration program. キャリブレーションシートの具体例を示す図である。It is a figure which shows the specific example of a calibration sheet. 画像入力部によって取り込まれた後方画像の一例を示す図である。It is a figure which shows an example of the back image taken in by the image input part. キャリブレーションシートを撮像してカメラの姿勢を算出するまでの一連の動作手順を示す流れ図である。6 is a flowchart showing a series of operation procedures from capturing an image of a calibration sheet to calculating a camera attitude.

以下、本発明のキャリブレーション装置を適用した一実施形態の車載カメラ取付角検出装置について、図面を参照しながら説明する。 Hereinafter, an in-vehicle camera attachment angle detection device of an embodiment to which a calibration device of the present invention is applied will be described with reference to the drawings.

図１は、一実施形態の車載カメラ取付角検出装置の全体構成を示す図である。図１に示すように、本実施形態の車載カメラ取付角検出装置１００は、操作部１０、入力処理部１２、表示処理部２０、表示装置２２、ＣＰＵ３０、メモリ４０、入出力インタフェース部（Ｉ／ＯＩＦ）５０、カメラ５２を備えている。この車載カメラ取付角検出装置１００は、路面上に配置されたキャリブレーションシートをカメラ５２で撮像し、このキャリブレーションシートに含まれる所定形状（例えば円形）の構成指標の位置に基づいてカメラ５２の姿勢（取付角）を推定して補正する動作を行う。なお、この車載カメラ取付角検出装置１００によって検出されるカメラ取付角は、カメラ５２を用いた他の装置においてその検出結果（カメラ取付角）を用いるためのものであり、車載カメラ取付角検出装置１００の構成全体あるいは一部を他の装置に含ませるようにしてもよい。 FIG. 1 is a diagram showing an overall configuration of a vehicle-mounted camera attachment angle detection device according to an embodiment. As shown in FIG. 1, an in-vehicle camera attachment angle detection device 100 of this embodiment includes an operation unit 10, an input processing unit 12, a display processing unit 20, a display device 22, a CPU 30, a memory 40, an input/output interface unit (I/I). An OIF) 50 and a camera 52 are provided. The vehicle-mounted camera attachment angle detection device 100 captures an image of a calibration sheet arranged on a road surface with the camera 52, and detects the camera 52 based on the position of a configuration index of a predetermined shape (for example, a circle) included in the calibration sheet. The posture (mounting angle) is estimated and corrected. The camera mounting angle detected by the in-vehicle camera mounting angle detecting device 100 is for using the detection result (camera mounting angle) in another device using the camera 52. All or part of the configuration of 100 may be included in another device.

操作部１０は、車載カメラ取付角検出装置１００に対する利用者による操作を受け付けるためのものであり、各種の操作キー、操作スイッチ、操作つまみ等を含んで構成されている。入力処理部１２は、操作部１０を監視しており、利用者による操作内容を決定する。 The operation unit 10 is for receiving an operation performed by the user on the vehicle-mounted camera attachment angle detection device 100, and includes various operation keys, operation switches, operation knobs, and the like. The input processing unit 12 monitors the operation unit 10 and determines the operation content of the user.

表示処理部２０は、各種の操作画面や入力画面等を表示する映像信号を出力して表示装置２２にこれらの画面を表示する。表示装置２２は、例えば液晶表示装置（ＬＣＤ）を用いて構成されている。 The display processing unit 20 outputs video signals for displaying various operation screens, input screens, etc., and displays these screens on the display device 22. The display device 22 is configured by using, for example, a liquid crystal display device (LCD).

ＣＰＵ３０は、メモリ４０に格納された所定のプログラムを実行することにより、車載カメラ取付角検出装置１００の全体を制御するとともに、カメラ５２の取付角を推定して補正するキャリブレーション動作に必要な各種の動作を行う。 The CPU 30 controls the entire vehicle-mounted camera attachment angle detection device 100 by executing a predetermined program stored in the memory 40, and various types of calibration operations required for estimating and correcting the attachment angle of the camera 52. Do the operation.

メモリ４０は、ＣＰＵ３０の動作プログラムを格納するとともに、ＣＰＵ３０の動作に必要な各種データを格納する作業領域として用いられる。ＣＰＵ３０によって実行される動作プログラムには、キャリブレーション動作を行うためのプログラム（キャリブレーションプログラム）が含まれている。メモリ４０は、例えば、ＲＯＭやＲＡＭ等の半導体メモリによって構成されており、これら以外にハードディスク装置などを含むようにしてもよい。 The memory 40 is used as a work area that stores an operation program of the CPU 30 and various data necessary for the operation of the CPU 30. The operation program executed by the CPU 30 includes a program (calibration program) for performing a calibration operation. The memory 40 is composed of, for example, a semiconductor memory such as a ROM or a RAM, and may include a hard disk device or the like in addition to these.

入出力インタフェース部５０は、カメラ５２を含む各種の入出力機器との間で信号（データ）の入出力処理を行う。 The input/output interface unit 50 performs input/output processing of signals (data) with various input/output devices including the camera 52.

カメラ５２は、車両後方の所定位置に取り付けられ、魚眼レンズや広角レンズを通して、キャリブレーションシートを含む車両後方を撮影する。なお、カメラ５２は、所定の設置位置に正しく（誤差なく）取り付けられるものとし、取付角度が所定の設計値の近傍ではあるが誤差を含んで取り付けられるものとする。 The camera 52 is attached to a predetermined position on the rear side of the vehicle, and images the rear side of the vehicle including the calibration sheet through a fisheye lens or a wide-angle lens. It should be noted that the camera 52 is correctly (without error) attached to a predetermined installation position, and is attached with an error although the attachment angle is in the vicinity of a predetermined design value.

図２は、カメラ５２の具体的な設置例を示す図である。図２に示す例では、カメラ５２は、リアバンパーの中央に、水平から下向きに約３０°の角度で取り付けられている。本実施形態では、このカメラ５２の撮影範囲に含まれるように、車両後方の路面上の所定位置にキャリブレーションシート２００（３００）が配置されているものとする。 FIG. 2 is a diagram showing a specific installation example of the camera 52. In the example shown in FIG. 2, the camera 52 is attached to the center of the rear bumper downward from the horizontal at an angle of about 30°. In the present embodiment, it is assumed that the calibration sheet 200 (300) is arranged at a predetermined position on the road surface behind the vehicle so as to be included in the shooting range of the camera 52.

図３は、キャリブレーションプログラムを実行することで動作する車載カメラ取付角検出装置１００の機能ブロックの構成図である。図２に示す車載カメラ取付角検出装置１００は、上述したカメラ５２以外に、ＣＰＵ３０によってキャリブレーションプログラムを実行することにより実現される機能ブロックとしての画像入力部１１０、画像格納部１１２、中心位置算出部１２０、１５０、カメラ姿勢算出部１３０、トップビュー画像生成部１４０、中心位置決定部１６０、車両方向ズレ算出部１７０、カメラ取付角補正部１８０を含んで構成されている。 FIG. 3 is a configuration diagram of functional blocks of the vehicle-mounted camera attachment angle detection device 100 that operates by executing the calibration program. In addition to the camera 52 described above, the vehicle-mounted camera attachment angle detection device 100 illustrated in FIG. 2 includes an image input unit 110, an image storage unit 112, and a center position calculation function block that is realized by executing a calibration program by the CPU 30. The units 120 and 150, the camera posture calculation unit 130, the top view image generation unit 140, the center position determination unit 160, the vehicle direction deviation calculation unit 170, and the camera attachment angle correction unit 180 are included.

画像入力部１１０は、カメラ５２によって撮像されたキャリブレーションシート２００が含まれる後方画像を取り込む。画像格納部１１２は、画像入力部１１０によって取り込まれた後方画像を格納する。この画像格納部１１２は、例えばメモリ４０の一部を用いて構成されている。 The image input unit 110 captures the rear image including the calibration sheet 200 captured by the camera 52. The image storage unit 112 stores the rearward image captured by the image input unit 110. The image storage unit 112 is configured by using a part of the memory 40, for example.

図４は、キャリブレーションシートの具体例を示す図である。本実施形態では、図４（Ａ）あるいは図４（Ｂ）に示すように、円形の校正指標（キャリブレーションマーク）２１０、３１０、３２０が含まれるキャリブレーションシート２００、３００が用いられる。なお、図４に示すキャリブレーションシート２００、３００は一例であって、円形の校正指標が含まれる他のキャリブレーションシートを用いるようにしてもよい。 FIG. 4 is a diagram showing a specific example of the calibration sheet. In the present embodiment, as shown in FIG. 4(A) or FIG. 4(B), calibration sheets 200, 300 including circular calibration indexes (calibration marks) 210, 310, 320 are used. Note that the calibration sheets 200 and 300 shown in FIG. 4 are examples, and other calibration sheets including a circular calibration index may be used.

図５は、画像入力部１１０によって取り込まれた後方画像の一例を示す図である。例えば、図４（Ｂ）に示すキャリブレーションシート３００をカメラ５２で撮像して得られた後方画像が示されている。 FIG. 5 is a diagram showing an example of a rear image captured by the image input unit 110. For example, a rear image obtained by imaging the calibration sheet 300 shown in FIG. 4B with the camera 52 is shown.

中心位置算出部１２０は、カメラ５２で撮像されたキャリブレーションシート内の校正指標の画像からその中心位置を算出する。図５に示す後方画像に含まれる校正指標は、本来の円形形状から歪んでおり、その中心位置（重心位置）を算出しても円形形状の円心と一致しないが、中心位置算出部１２０による算出結果としてこの重心位置が用いられる。 The center position calculation unit 120 calculates the center position from the image of the calibration index in the calibration sheet captured by the camera 52. The calibration index included in the rear image shown in FIG. 5 is distorted from the original circular shape, and even if the center position (center of gravity position) of the calibration index does not match the circular center of the circular shape, the center position calculation unit 120 This position of the center of gravity is used as the calculation result.

カメラ姿勢算出部１３０は、中心位置算出部１２０、１５０によって算出した校正指標の中心位置が円心に一致するものとして、カメラ５２の姿勢を算出する。実際には、校正指標の中心位置（重心位置）と円心とは一致しないため、姿勢の算出結果には誤差が含まれる。 The camera posture calculation unit 130 calculates the posture of the camera 52, assuming that the center position of the calibration index calculated by the center position calculation units 120 and 150 matches the center of the circle. In reality, the center position (center of gravity position) of the calibration index and the circle center do not coincide with each other, and thus the posture calculation result includes an error.

トップビュー画像生成部１４０は、カメラ姿勢算部１３０によって算出されたカメラ５２の姿勢に基づいて、校正指標のトップビュー画像を生成する。 The top view image generation unit 140 generates a top view image of a calibration index based on the posture of the camera 52 calculated by the camera posture calculation unit 130.

中心位置算出部１５０は、トップビュー画像生成部１４０によって生成された校正指標のトップビュー画像からこの校正指標の中心位置（円心）を算出する。 The center position calculation unit 150 calculates the center position (circle center) of the calibration index from the top view image of the calibration index generated by the top view image generation unit 140.

ところで、このようにして中心位置算出部１５０によって算出される中心位置（第２の中心位置）は、カメラ５２による撮像によって得られた歪んだ形状の校正指標に基づいて中心位置算出部１２０によって算出された中心位置（第１の中心位置）よりは、真の値（円心）に近づくと考えられるが、カメラ姿勢算出部１３０によるカメラ５２の姿勢の算出とトップビュー画像生成部１４０によるトップビュー画像の生成を第１の中心位置に基づいて行っているため、依然として誤差が含まれている。 By the way, the center position (second center position) thus calculated by the center position calculation unit 150 is calculated by the center position calculation unit 120 based on the calibration index of the distorted shape obtained by the image pickup by the camera 52. It is considered that the true value (circular center) is closer to the calculated center position (first center position), but the camera attitude calculation unit 130 calculates the attitude of the camera 52 and the top view image generation unit 140 calculates the top view. Since the image is generated based on the first center position, the error is still included.

そこで、本実施形態では中心位置算出部１５０によって算出された第２の中心位置に基づいて、カメラ姿勢算出部１３０によるカメラ５２の姿勢の算出とトップビュー画像生成部１４０によるトップビュー画像の生成を繰り返すことにより、第２の中心位置に含まれる誤差を次第に低減するようにしている。 Therefore, in the present embodiment, based on the second center position calculated by the center position calculation unit 150, the camera posture calculation unit 130 calculates the posture of the camera 52 and the top view image generation unit 140 generates the top view image. By repeating this, the error included in the second center position is gradually reduced.

中心位置決定部１６０は、中心位置算出部１５０によって直前に算出された中心位置に基づいてカメラ姿勢算出部１３０によって算出されたカメラ５２の姿勢（取付角）と、その一つ前に中心位置算出部１２０あるいは１５０によって算出された中心位置に基づいてカメラ姿勢算出部１３０によって算出されたカメラ５２の姿勢（取付角）との差が所定値よりも小さくなったときに、直前に算出された中心位置を、最終的な校正指標の中心位置として決定する。この結果、この直前に算出された中心位置に基づいてカメラ姿勢算出部１３０によって算出されたカメラ５２の姿勢が最終的な姿勢の算出結果（推定値）となる。一方、差が所定値よりも大きい場合には、カメラ姿勢算出部１３０による中心位置の算出とトップビュー画像生成部１４０によるトップビュー画像の生成を繰り返す指示がこれらに対して行われる。 The center position determination unit 160 calculates the posture (mounting angle) of the camera 52 calculated by the camera posture calculation unit 130 based on the center position calculated immediately before by the center position calculation unit 150, and calculates the center position immediately before that. The center calculated immediately before when the difference from the posture (mounting angle) of the camera 52 calculated by the camera posture calculation unit 130 based on the center position calculated by the unit 120 or 150 becomes smaller than a predetermined value. The position is determined as the center position of the final calibration index. As a result, the posture of the camera 52 calculated by the camera posture calculation unit 130 based on the center position calculated immediately before this becomes the final calculation result (estimated value) of the posture. On the other hand, when the difference is larger than the predetermined value, the camera posture calculation unit 130 is instructed to repeat the calculation of the center position and the top view image generation unit 140 to generate the top view image.

車両方向ズレ算出部１７０は、カメラ姿勢算出部１３０によって算出されたカメラの姿勢（カメラ位置）を用いて、車両の方向ズレθを算出する。 The vehicle direction shift calculation unit 170 calculates the vehicle direction shift θ using the camera posture (camera position) calculated by the camera posture calculation unit 130.

カメラ取付角補正部１８０は、カメラ姿勢算出部１３０によって算出されたカメラの姿勢（カメラ角度）に対して、車両方向ズレ算出部１７０によって算出された車両の方向ズレθを用いた回転補正を行って、補正後のカメラ角度を決定する。 The camera attachment angle correction unit 180 performs rotation correction using the vehicle direction deviation θ calculated by the vehicle direction deviation calculation unit 170 on the camera attitude (camera angle) calculated by the camera attitude calculation unit 130. To determine the corrected camera angle.

上述した中心位置算出部１２０が第１の中心位置算出手段に、カメラ姿勢算出部１３０がカメラ姿勢算出手段に、トップビュー画像生成部１４０がトップビュー画像生成手段に、中心位置算出部１５０が第２の中心位置算出手段にそれぞれ対応する。 The above-described center position calculation unit 120 is the first center position calculation unit, the camera posture calculation unit 130 is the camera posture calculation unit, the top view image generation unit 140 is the top view image generation unit, and the center position calculation unit 150 is the first center position calculation unit. 2 corresponds to the center position calculating means.

本実施形態の車載カメラ取付角検出装置１００はこのような構成を有しており、次に、その動作を説明する。 The vehicle-mounted camera attachment angle detection device 100 of this embodiment has such a configuration, and the operation thereof will be described next.

図６は、キャリブレーションシートを撮像してカメラ５２の姿勢を算出するまでの一連の動作手順を示す流れ図である。 FIG. 6 is a flowchart showing a series of operation steps from capturing the calibration sheet and calculating the attitude of the camera 52.

まず、画像入力部１１０は、カメラ５２によって撮像された車両後方のキャリブレーションシートが含まれる撮像画像を取り込むことにより、画像の入力を行う（ステップ１００）。入力された画像（キャリブレーションシート画像）は、画像格納部１１２に格納される。 First, the image input unit 110 inputs an image by capturing a captured image including the calibration sheet on the rear side of the vehicle captured by the camera 52 (step 100). The input image (calibration sheet image) is stored in the image storage unit 112.

次に、中心位置算出部１２０は、画像格納部１１２からキャリブレーション画像を読み出して、その中に含まれる校正指標を抽出し（ステップ１０２）、その中心位置を算出する（ステップ１０４）。また、カメラ姿勢算出部１３０は、この算出された中心位置を用いてカメラ５２の姿勢を算出する（ステップ１０６）。 Next, the center position calculation unit 120 reads the calibration image from the image storage unit 112, extracts the calibration index included therein (step 102), and calculates the center position thereof (step 104). In addition, the camera posture calculation unit 130 calculates the posture of the camera 52 using the calculated center position (step 106).

次に、トップビュー画像生成部１４０は、算出されたカメラ５２の姿勢に基づいて、カメラ５２の撮像によって得られたキャリブレーション画像に対して視点変換を行ってトップビュー画像を生成する（ステップ１０８）。中心位置算出部１５０は、このトップビュー画像に含まれる校正指標を抽出し（ステップ１１０）、その中心位置（円心）を算出する（ステップ１１２）。また、カメラ姿勢算出部１３０は、この算出された中心位置を用いてカメラ５２の姿勢を算出する（ステップ１１４）。 Next, the top-view image generation unit 140 performs viewpoint conversion on the calibration image obtained by the camera 52 based on the calculated attitude of the camera 52 to generate a top-view image (step 108). ). The center position calculation unit 150 extracts the calibration index included in this top view image (step 110) and calculates the center position (circle center) thereof (step 112). The camera posture calculation unit 130 also calculates the posture of the camera 52 using the calculated center position (step 114).

次に、中心位置決定部１６０は、今回算出されたカメラ５２の姿勢（取付角）とその一つ前に算出されたカメラ５２の姿勢（取付角）の差が所定値よりも小さくなったか否かを判定する（ステップ１１６）。差が所定値以上の場合には否定判断が行われ、ステップ１０８に戻って、トップビュー画像の生成以降の動作が繰り返される。また、差が所定値よりも小さい場合にはステップ１１４の判定において肯定判断が行われる。次に、中心位置決定部１６０は、最後に算出した中心位置を校正指標の最終的な中心位置として決定する（ステップ１１８）。また、この中心位置に対応して、最終的なカメラ５２の姿勢が決定される。 Next, the center position determination unit 160 determines whether or not the difference between the posture (mounting angle) of the camera 52 calculated this time and the posture (mounting angle) of the camera 52 calculated one time before is smaller than a predetermined value. It is determined (step 116). If the difference is greater than or equal to the predetermined value, a negative determination is made, the process returns to step 108, and the operations after the generation of the top view image are repeated. If the difference is smaller than the predetermined value, an affirmative decision is made in step 114. Next, the center position determination unit 160 determines the finally calculated center position as the final center position of the calibration index (step 118). Further, the final attitude of the camera 52 is determined corresponding to this center position.

このように、本実施形態の車載カメラ取付角検出装置１００では、キャリブレーションシートに含まれる校正指標をカメラ５２で撮像したときに形状が歪むとその分だけ校正指標の中心位置算出時に誤差が生じるが、この誤差を含む中心位置を用いて算出したカメラ５２の姿勢に基づいてトップビュー画像を生成してその中心位置を再度算出することにより、誤差を減らして校正指標の位置の算出精度を上げることが可能となる。 As described above, in the vehicle-mounted camera attachment angle detection device 100 according to the present embodiment, if the shape of the calibration index included in the calibration sheet is distorted when the camera 52 captures the image, an error occurs in calculating the center position of the calibration index. However, the top view image is generated based on the attitude of the camera 52 calculated using the center position including the error and the center position is calculated again, thereby reducing the error and increasing the accuracy of calculating the position of the calibration index. It becomes possible.

また、カメラ５２の姿勢算出と、トップビュー画像に基づく校正指標の中心位置の算出とを再度行うことにより、校正指標の位置の算出精度をさらに上げることができる。 Further, the calculation accuracy of the position of the calibration index can be further improved by performing the posture calculation of the camera 52 and the calculation of the center position of the calibration index based on the top view image again.

特に、今回の算出結果としてのカメラ５２の取付角と前回の算出結果としてのカメラ５２の取付角との差が所定値より小さくなるまで、カメラ５２の姿勢算出と中心位置算出とを繰り返すことにより、校正指標の位置の算出精度をさらに上げて、誤差をなくす、あるいは、許容可能な程度まで誤差を減らすことが可能となる。 In particular, by repeating the posture calculation and the center position calculation of the camera 52 until the difference between the mounting angle of the camera 52 as the current calculation result and the mounting angle of the camera 52 as the previous calculation result becomes smaller than a predetermined value. It is possible to further improve the calculation accuracy of the position of the calibration index and eliminate the error, or reduce the error to an acceptable level.

また、中心位置算出部１２０によって算出される中心位置を校正指標の重心位置としている。校正指標をカメラ５２で撮像した画像が元の形状に対して歪んで見えるときにその重心位置を求めると、真の中心位置からずれてしまうが、トップビュー画像に基づいてその中心位置を再度算出することにより、形状の歪みによる影響を減らすことが可能となる。 Further, the center position calculated by the center position calculation unit 120 is set as the barycentric position of the calibration index. When the position of the center of gravity is obtained when the image of the calibration index captured by the camera 52 appears distorted with respect to the original shape, the center position deviates from the true center position, but the center position is calculated again based on the top view image. By doing so, it becomes possible to reduce the influence of the shape distortion.

また、円形の校正指標をカメラ５２で撮像した画像が円形形状から歪んで見えるときに、その中心位置を求めると円心からずれてしまうが、トップビュー画像に基づいてその中心位置を再度算出することにより、算出される中心位置を円心の位置に近づけることが可能となる。 Further, when the image of the circular calibration index captured by the camera 52 looks distorted from the circular shape, the center position will be deviated from the center of the circle, but the center position should be calculated again based on the top view image. This makes it possible to bring the calculated center position closer to the position of the circle center.

また、路面上に置かれたキャリブレーションシートの校正指標をカメラ５２で斜め方向から撮像することにより校正指標の形状が歪んで見えるため、真の形状の中心位置からずれてしまうが、トップビュー画像に基づいてその中心位置を再度算出することにより、形状の歪みによる影響を減らすことが可能となる。 In addition, since the shape of the calibration index looks distorted by imaging the calibration index of the calibration sheet placed on the road surface with the camera 52 in an oblique direction, the calibration index is displaced from the center position of the true shape. It is possible to reduce the influence of the distortion of the shape by calculating the center position again based on

ところで、本発明のキャリブレーション装置では、カメラ５２で撮像した画像に含まれる歪んだ形状の校正指標を用いて算出した誤差を含む中心位置（重心位置）に対して、カメラ５２の姿勢の算出、トップビュー画像の生成、トップビュー画像内の校正指標の中心位置算出を１回あるいは複数回繰り返すことにより、中心位置に含まれる誤差を低減するものであり、カメラ姿勢算出部１３０の動作については、従来から用いられている各種の手法を適用することができる。例えば、特開２０１３−２２９６９２号公報に開示されている手法を図２に示したカメラ姿勢算出部１３０に適用することができる。 By the way, in the calibration device of the present invention, the posture of the camera 52 is calculated with respect to the center position (center of gravity position) including the error calculated using the calibration index of the distorted shape included in the image captured by the camera 52, The error included in the center position is reduced by repeating the generation of the top view image and the calculation of the center position of the calibration index in the top view image once or a plurality of times. Various methods conventionally used can be applied. For example, the method disclosed in Japanese Patent Laid-Open No. 2013-229692 can be applied to the camera posture calculation unit 130 shown in FIG.

なお、本発明は上記実施形態に限定されるものではなく、本発明の要旨の範囲内において種々の変形実施が可能である。例えば、上述した実施形態では、キャリブレーションシートに円形の校正指標が含まれる場合について説明したが、校正指標は円形以外の形状であってもよい。 The present invention is not limited to the above embodiment, and various modifications can be made within the scope of the gist of the present invention. For example, in the above-described embodiment, the case where the calibration sheet includes the circular calibration index has been described, but the calibration index may have a shape other than the circular shape.

上述したように、本発明によれば、キャリブレーションシートに含まれる校正指標をカメラで撮像したときに形状が歪むとその分だけ校正指標の中心位置算出時に誤差が生じるが、この誤差を含む中心位置を用いて算出したカメラの姿勢に基づいてトップビュー画像を生成してその中心位置を再度算出することにより、誤差を減らして校正指標の位置の算出精度を上げることが可能となる。 As described above, according to the present invention, when the shape of the calibration index included in the calibration sheet is distorted when the image is captured by the camera, an error occurs in calculating the center position of the calibration index. By generating the top-view image based on the camera orientation calculated using the position and re-calculating the center position of the top-view image, it is possible to reduce the error and improve the calculation accuracy of the position of the calibration index.

１００車載カメラ取付角検出装置
３０ＣＰＵ
４０メモリ
５２カメラ
１１０画像入力部
１１２画像格納部
１２０、１５０中心位置算出部
１３０カメラ姿勢算出部
１４０トップビュー画像生成部
１６０中心位置決定部
２００、３００キャリブレーションシート 100 In-vehicle camera mounting angle detection device 30 CPU
40 memory 52 camera 110 image input unit 112 image storage unit 120, 150 center position calculation unit 130 camera posture calculation unit 140 top view image generation unit 160 center position determination unit 200, 300 calibration sheet

Claims

A camera mounted on the vehicle for capturing an image of a calibration index included in a calibration sheet arranged around the vehicle,
First center position calculating means for calculating the center position of the calibration index image captured by the camera,
A camera attitude calculation means for calculating the attitude of the camera based on the center position calculated by the first center position calculation means;
Top-view image generating means for generating a top-view image of the calibration index based on the camera attitude calculated by the camera attitude calculating means,
Second center position calculating means for calculating the center position of the top view image of the calibration index;
A calibration device comprising:

The calculation of the camera posture by the camera posture calculation unit and the generation of the top view image by the top view image generation unit are performed again by using the center position of the calibration index calculated by the second center position calculation unit. The calibration device according to claim 1, wherein the calibration device is performed.

The calculation of the center position by the second center position calculation means is repeated until the difference between the current installation angle and the previous installation angle of the camera calculated by the camera attitude calculation means becomes smaller than a predetermined value. The calibration device according to claim 2.

The calibration device according to claim 1, wherein the center position calculated by the first center position calculation means is a barycentric position of the calibration index.

The calibration device according to claim 1, wherein the calibration index has a circular shape.

The calibration sheet is arranged on the road surface,
The calibration device according to claim 1, wherein the camera images the calibration sheet from an oblique direction.