JP2019087858A - Camera correction device, camera correction system, camera correction method, and program - Google Patents
Camera correction device, camera correction system, camera correction method, and program Download PDFInfo
- Publication number
- JP2019087858A JP2019087858A JP2017214061A JP2017214061A JP2019087858A JP 2019087858 A JP2019087858 A JP 2019087858A JP 2017214061 A JP2017214061 A JP 2017214061A JP 2017214061 A JP2017214061 A JP 2017214061A JP 2019087858 A JP2019087858 A JP 2019087858A
- Authority
- JP
- Japan
- Prior art keywords
- camera
- distance
- wall surface
- calculated
- movement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 35
- 238000012937 correction Methods 0.000 title abstract description 7
- 238000004364 calculation method Methods 0.000 claims abstract description 114
- 238000000605 extraction Methods 0.000 claims description 18
- 239000000284 extract Substances 0.000 claims description 11
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 238000011109 contamination Methods 0.000 abstract 1
- 239000011159 matrix material Substances 0.000 description 24
- 239000013598 vector Substances 0.000 description 16
- 230000008569 process Effects 0.000 description 15
- 238000004519 manufacturing process Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000013519 translation Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 239000000725 suspension Substances 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000009420 retrofitting Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
Landscapes
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
Description
本開示は、車載カメラにより撮影された画像を用いて、当該カメラの校正を行うカメラ校正装置、カメラ校正システム、カメラ校正方法及びプログラムに関する。 The present disclosure relates to a camera calibration device, a camera calibration system, a camera calibration method, and a program that calibrates a camera using an image captured by a vehicle-mounted camera.
車載カメラで撮影された車両後方の画像を車載モニタに表示することで、運転者から死角になる車両後方直近の状況を車載モニタに表示された画像として視認し、車両後退時の視認性を向上させることが行われている。
このような車載カメラの画像を車載モニタに表示するに際しては、車載カメラの車両への取り付け状態を是正するために、車両の後方に校正用のターゲットを設置し、車載モニタに映った校正用ターゲットの像を見ながら、その校正用ターゲットの像が適正に映るように車載カメラの取り付け状態を調整することが行われる。
By displaying an image of the rear of the vehicle taken by the on-vehicle camera on the on-vehicle monitor, the driver immediately sees the situation behind the vehicle behind the vehicle as a blind spot as an image displayed on the on-vehicle monitor. It is done.
When displaying an image of such a car-mounted camera on a car-mounted monitor, in order to correct the mounting state of the car-mounted camera on the vehicle, a calibration target is installed at the rear of the vehicle and the calibration target shown on the car-mounted monitor While viewing the image of, the mounting state of the on-vehicle camera is adjusted so that the image of the calibration target is properly reflected.
また、車載カメラで得られた画像に対して、校正用ターゲットの像に基づいた所定の演算処理を施すことで車載モニタに映る画像を適正に校正することが行われている。
また、車両の全周囲を複数の車載カメラで撮影し、各車載カメラで得られた複数の画像をそれぞれ車両の真上から見下ろしたような画像（俯瞰画像）に変換するとともに、各画像間での位置を調整したマッピングを行うことで、単一の視点変換合成画像を得ることも行われている。このような場合は、隣接する２つの画像間で精度よく位置合わせを行う必要があるため、高精度のカメラ校正が求められる。
Further, the image displayed on the in-vehicle monitor is properly calibrated by performing predetermined arithmetic processing based on the image of the calibration target on the image obtained by the in-vehicle camera.
In addition, the entire periphery of the vehicle is photographed by a plurality of on-vehicle cameras, and a plurality of images obtained by each on-vehicle camera are converted into images (whole-eye images) as viewed from directly above the vehicle respectively It is also performed to obtain a single viewpoint conversion composite image by performing mapping with adjusted position of. In such a case, since it is necessary to perform accurate alignment between two adjacent images, highly accurate camera calibration is required.
本開示は、車両の位置決めが不要で且つ路面の汚れに影響されずにカメラ校正することを可能とするカメラ校正装置、カメラ校正システム、カメラ校正方法及びプログラムを提供する。 The present disclosure provides a camera calibration device, a camera calibration system, a camera calibration method, and a program that enable camera calibration without requiring positioning of a vehicle and without being affected by road surface dirt.
本開示の一態様に係るカメラ校正装置は、壁面に対して略平行に車両が移動中に当該車両に搭載されたカメラによって撮像された画像から、当該壁面の特徴点を抽出する特徴点抽出部と、前記抽出された特徴点を用いて３次元復元を行うことにより、仮想空間における壁面の３次元座標を算出する３次元座標算出部と、前記算出された壁面の３次元座標を用いて、前記仮想空間における前記壁面とカメラとの距離を算出する距離算出部と、前記仮想空間における、移動前のカメラと前記壁面に対して略平行に移動した後のカメラとの距離であるカメラ間距離を算出する距離算出部と、前記算出されたカメラ間距離と、前記算出された前記仮想空間における前記壁面とカメラとの距離と、前記壁面とカメラの間の実際の距離とを用いて、実際のカメラ移動距離を算出する移動距離算出部と、前記算出された実際のカメラ移動距離と、前記カメラのカメラパラメータを用いて、前記壁面の追跡対象とする特徴点である追跡点の移動予測点のイメージ座標を算出し、当該移動予測点のイメージ座標と、前記移動した後のカメラによって撮像された画像における前記追跡点のイメージ座標との間の座標ずれを算出し、前記算出された座標ずれが小さくなるよう、前記カメラパラメータを変更するカメラ校正パラメータ算出部と、を備える。 A camera calibration device according to an aspect of the present disclosure extracts a feature point of a wall surface from an image captured by a camera mounted on the vehicle while the vehicle is moving substantially parallel to the wall surface. And the three-dimensional coordinates of the wall surface in the virtual space by performing three-dimensional reconstruction using the extracted feature points, and using the calculated three-dimensional coordinates of the wall surface, An inter-camera distance which is a distance between a camera before movement and a camera in the virtual space after being moved substantially parallel to the wall in a distance calculation unit for calculating the distance between the wall and the camera in the virtual space Using the calculated distance between the camera and the calculated distance between the camera, the calculated distance between the wall and the camera in the virtual space, and the actual distance between the wall and the camera. of Using the movement distance calculation unit for calculating the camera movement distance, the calculated actual camera movement distance, and the camera parameters of the camera, the movement prediction point of the tracking point that is the feature point to be tracked by the wall surface The image coordinate is calculated, the coordinate deviation between the image coordinate of the movement prediction point and the image coordinate of the tracking point in the image captured by the camera after the movement is calculated, and the calculated coordinate deviation is And a camera calibration parameter calculation unit configured to change the camera parameter so as to be smaller.
本開示の一態様に係るカメラ校正装置は、第１の壁面と第２の壁面との間を車両が当該第１の壁面及び当該第２の壁面に対して略平行に移動中に当該車両に搭載されたカメラによって撮像された画像から、当該第１の壁面の特徴点及び当該第２の壁面の特徴点を抽出する特徴点抽出部と、前記抽出された第１の壁面の特徴点を用いて３次元復元を行うことにより、仮想空間における前記第１の壁面の３次元座標を算出し、前記抽出された第２の壁面の特徴点を用いて３次元復元を行うことにより、仮想空間における前記第２の壁面の３次元座標を算出する３次元座標算出部と、前記算出された第１の壁面の３次元座標を用いて、前記仮想空間における前記第１の壁面とカメラとの距離を算出し、前記算出された第２の壁面の３次元座標を用いて、前記仮想空間における前記第１の壁面とカメラとの距離を算出する距離算出部と、前記仮想空間における、移動前のカメラと前記第１の壁面及び前記第２の壁面に対して略平行に移動した後のカメラとの距離であるカメラ間距離を算出する距離算出部と、前記算出されたカメラ間距離と、前記算出された前記仮想空間における前記第１の壁面とカメラとの距離と、前記算出された前記仮想空間における前記第２の壁面とカメラとの距離と、前記第１の壁面と前記第２の壁面の間の実際の距離とを用いて、実際のカメラ移動距離を算出する移動距離算出部と、前記算出された実際のカメラ移動距離と、前記カメラのカメラパラメータを用いて、前記壁面の追跡対象とする特徴点である追跡点の移動予測点のイメージ座標を算出し、当該移動予測点のイメージ座標と、前記移動した後のカメラによって撮像された画像における前記追跡点のイメージ座標との間の座標ずれを算出し、前記算出された座標ずれが許容値以下が小さくなるよう、前記カメラのパラメータを変更するカメラ校正パラメータ算出部と、を備える。 In a camera calibration device according to an aspect of the present disclosure, the vehicle is moved between the first wall surface and the second wall surface substantially parallel to the first wall surface and the second wall surface. A feature point extraction unit for extracting feature points of the first wall surface and feature points of the second wall surface from an image captured by a camera mounted thereon, and using the feature points of the extracted first wall surface In the virtual space, the three-dimensional coordinates of the first wall in the virtual space are calculated by performing three-dimensional restoration, and the three-dimensional restoration is performed using the extracted feature points of the second wall. The distance between the first wall surface and the camera in the virtual space is calculated using the three-dimensional coordinate calculation unit that calculates the three-dimensional coordinates of the second wall surface and the calculated three-dimensional coordinates of the first wall surface Using the calculated three-dimensional coordinates of the second wall surface A distance calculation unit for calculating a distance between the first wall surface and the camera in the virtual space, and a substantially parallel camera to the first wall surface and the second wall surface before movement in the virtual space A distance calculation unit that calculates an inter-camera distance which is a distance to a camera after movement; the calculated inter-camera distance; and the calculated distance between the first wall surface and the camera in the virtual space; The actual camera movement distance is calculated using the calculated distance between the second wall and the camera in the virtual space and the actual distance between the first wall and the second wall. Using the movement distance calculation unit, the calculated actual camera movement distance, and the camera parameters of the camera, the image coordinates of the movement prediction point of the tracking point, which is a feature point to be tracked by the wall surface, are calculated The move A coordinate deviation between an image coordinate of the measurement point and an image coordinate of the tracking point in the image captured by the camera after the movement is calculated, and the calculated coordinate deviation is smaller than the allowable value, And a camera calibration parameter calculation unit that changes the parameters of the camera.
本開示におけるカメラ校正装置は、路面の輝度の情報量に特徴的な大きさがない（生産ライン上のコンクリート路面などの）場合にも、生産ラインなどで車両を停車することなく、生産ラインなどを車両が移動する際に自動的にカメラ校正を行うことができる。従って、車両の位置決めをせずに車載カメラの校正を行うことができる。また、路面の特徴点、及び／または追跡点を抽出する場合とは違い、路面の汚れに影響されることがない。 The camera calibration device in the present disclosure does not stop the vehicle in the production line or the like even when there is no characteristic size (such as the concrete road surface on the production line) of the information amount of the luminance of the road surface. The camera calibration can be performed automatically when the vehicle moves. Therefore, the on-vehicle camera can be calibrated without positioning the vehicle. Also, unlike the case of extracting the feature points of the road surface and / or the tracking points, it is not affected by the dirt of the road surface.
以下、実施の形態について、図面を参照しながら説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。 Embodiments will be described below with reference to the drawings. However, the detailed description may be omitted if necessary. For example, detailed description of already well-known matters and redundant description of substantially the same configuration may be omitted. This is to avoid unnecessary redundancy in the following description and to facilitate understanding by those skilled in the art.
なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために、提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。 It is to be noted that the attached drawings and the following description are provided to enable those skilled in the art to fully understand the present disclosure, and they are not intended to limit the claimed subject matter.
［実施の形態］
［１−１．課題］
以下、本実施の形態の課題について説明する。従来のカメラ校正方法は、校正用ターゲットと車両との相対的な位置関係を厳密に定める必要があり、車両を設置した後にその車両に対して精度よく校正用ターゲットを設置するか、または校正用ターゲットを設置した後にその校正用ターゲットに対して精度よく車両を設置する必要があった。
Embodiment
[1-1. Task]
Hereinafter, problems of the present embodiment will be described. The conventional camera calibration method needs to precisely define the relative positional relationship between the calibration target and the vehicle, and after the vehicle is installed, the calibration target is accurately installed on the vehicle or for calibration After setting the target, it was necessary to set the vehicle accurately to the calibration target.
このため、車両生産ラインでは費用をかけて設備を改造し、車両と校正用ターゲットとの位置合わせ精度を向上させる工夫がされている。さらに、生産現場から一旦出荷された後に販売・サービス会社の整備部門でカメラ校正をやり直す場合（修理等の場合や車載カメラ等を後付けする場合等）は、校正用ターゲットをその都度、精度良く設置する必要があるため作業の手間が一層かかるものとなっている。このような状況から、車両と校正用ターゲットの相対的な設置精度をさほど要求されないカメラ校正方法が望まれており、従来においても幾つかの技術が提案されている。 For this reason, in the vehicle production line, the equipment is remodeled at a high cost, and the device is devised to improve the alignment accuracy between the vehicle and the calibration target. Furthermore, when recalibrating the camera at the maintenance department of a sales / service company after shipment from the production site (eg, in the case of repair, retrofitting of an in-vehicle camera, etc.), the calibration target is installed precisely each time Because it is necessary to do it, it takes more time and effort for work. Under such circumstances, a camera calibration method that does not require much relative installation accuracy between a vehicle and a calibration target is desired, and several techniques have been proposed in the past.
特許文献１に記載の方法は、車両を移動しながらカメラ校正を行うことが可能であり、作業の容易さの面で優れている。ただし、路面の標識を検出する必要があるため、車両が走行することによる路面の汚れがカメラ校正精度に影響を与える可能性がある。 The method described in Patent Document 1 can perform camera calibration while moving a vehicle, and is excellent in terms of ease of operation. However, since it is necessary to detect road surface markings, dirt on the road surface as the vehicle travels may affect the camera calibration accuracy.
本実施の形態は、係る事情に鑑みてなされたものであり、カ車両の位置決めが不要で且つ路面の汚れに影響されずにカメラ校正することを可能とするカメラ校正装置、カメラ校正システム、カメラ校正方法及びプログラムを提供する。 The present embodiment has been made in view of such circumstances, and a camera calibration device, a camera calibration system, and a camera capable of performing camera calibration without requiring positioning of a vehicle and being unaffected by dirt on the road surface. Providing a calibration method and program.
以下、一実施の形態について、図面を参照して詳細に説明する。 Hereinafter, an embodiment will be described in detail with reference to the drawings.
＜第１の実施形態＞
［１−２．構成］
［１−２−１．カメラ校正装置の構成］
図１は、一実施の形態に係るカメラ校正装置の機能構成を示すブロック図である。この図１に従って一実施の形態に係るカメラ校正装置の構成および動作を説明する。
First Embodiment
[1-2. Constitution]
[1-2-1. Configuration of Camera Calibration Device]
FIG. 1 is a block diagram showing a functional configuration of a camera calibration device according to an embodiment. The configuration and operation of the camera calibration device according to one embodiment will be described according to FIG.
本実施形態のカメラ校正装置１は、移動体の一例である車両１０に設置されている。このカメラ校正装置１は、車両１０に搭載されたカメラ１０１の校正を行う。具体的にはカメラ校正装置１をカメラ校正用のカメラ校正パラメータを出力する。 The camera calibration device 1 of the present embodiment is installed in a vehicle 10 which is an example of a moving body. The camera calibration device 1 calibrates a camera 101 mounted on a vehicle 10. Specifically, the camera calibration device 1 outputs camera calibration parameters for camera calibration.
図１に示すように、カメラ校正装置１は、メモリ１０２、ＣＰＵ（Central Processing Unit）１０３及びＲＯＭ（Read Only Memory）１２０を備える。ＲＯＭ１２０にはプログラムが記憶されている。
ＣＰＵ１０３は、ＲＯＭ１２０からプログラムを読み出すことにより、特徴点抽出部１０４、追跡点抽出部１０５、Ｆ,Ｒ,Ｔ,Ｐ行列算出部１０６、３次元座標算出部１０７、距離算出部１０８、車両進行ベクトル算出部１０９、移動距離算出部１１０、カメラ校正パラメータ算出部１１１をとして機能する。これらの各部の機能は以下で詳述する。
As shown in FIG. 1, the camera calibration device 1 includes a memory 102, a central processing unit (CPU) 103, and a read only memory (ROM) 120. The ROM 120 stores a program.
The CPU 103 reads the program from the ROM 120, thereby extracting the feature point extraction unit 104, the tracking point extraction unit 105, F, R, T, P matrix calculation unit 106, three-dimensional coordinate calculation unit 107, distance calculation unit 108, vehicle travel vector It functions as the calculation unit 109, the movement distance calculation unit 110, and the camera calibration parameter calculation unit 111. The functions of these units will be described in detail below.
なお、本実施形態では一例として、これらの各部は、カメラ校正装置内のＣＰＵ１０３がＲＯＭ１２０に格納されたプログラムを実行することで実現されるが、これに限ったものではない。これらの各部は、ＣＰＵ１０３、ＲＯＭ１２０を用いる代わりにハードウェアで構成された専用回路で実現されてもよい。 In the present embodiment, as an example, these units are realized by the CPU 103 in the camera calibration device executing a program stored in the ROM 120, but the present invention is not limited to this. These units may be realized by dedicated circuits configured by hardware instead of using the CPU 103 and the ROM 120.
カメラ１０１は、車両１０に設置され、車両１０の移動中に壁面を撮像した画像を時系列的にメモリ１０２に保存する。 The camera 101 is installed in the vehicle 10, and stores an image obtained by imaging the wall surface while the vehicle 10 is moving in the memory 102 in time series.
特徴点抽出部１０４は、メモリ１０２に保存されたｋ番目（ｋは自然数）の画像から特徴点を抽出し、その特徴点のイメージ座標をメモリ１０２に保存する。イメージ座標とは、メモリ上に格納された画像の左上を原点とする２次元の座標系のことである。特徴点は、その点を含む範囲における輝度の情報量が特徴的な大きさを持つような点である。例えば、ハリスコーナー点等が上記特徴点として抽出される。特徴点の抽出精度を向上させるために壁面に格子や矩形などを印字してもよい。このように、特徴点抽出部１０４は、壁面に対して略平行に車両が移動中に当該車両に搭載されたカメラによって撮像された画像から、当該壁面の特徴点を抽出する。 The feature point extraction unit 104 extracts feature points from the k-th (k is a natural number) image stored in the memory 102, and stores the image coordinates of the feature points in the memory 102. The image coordinates are a two-dimensional coordinate system whose origin is at the upper left of the image stored in the memory. A feature point is a point such that the information amount of luminance in a range including the point has a characteristic size. For example, a Harris corner point or the like is extracted as the feature point. In order to improve the extraction accuracy of feature points, a grid, a rectangle, or the like may be printed on the wall surface. As described above, the feature point extraction unit 104 extracts feature points of the wall surface from an image captured by a camera mounted on the vehicle while the vehicle is moving substantially parallel to the wall surface.
追跡点抽出部１０５はメモリ１０２に保存されたｋ＋１番目の画像からｋ番目の画像における対象の特徴点と同じ特徴を有する点を追跡点として抽出し、その追跡点のイメージ座標をメモリ１０２に保存する。これにより、図１に示すように、例えば、注目点それぞれについて、特徴点のイメージ座標と、追跡点のイメージ座標がメモリ１０２に保存される。画像はｋ＋１番目に限らず、ｋ＋２番目以降の画像でもよいし、ｋ＋１番目以降の画像かつ複数枚使用してもよい。追跡点の抽出は、例えばthe Kanade-Lucas-Tomasi (KLT)などの処理を用いて行う。 The tracking point extraction unit 105 extracts a point having the same feature as the target feature point in the kth image from the k + 1st image stored in the memory 102 as a tracking point, and stores the image coordinates of the tracking point in the memory 102 Do. Thereby, as shown in FIG. 1, for example, the image coordinates of the feature point and the image coordinates of the tracking point are stored in the memory 102 for each of the attention points. The image is not limited to the (k + 1) th image, and may be the (k + 2) th image or later, or a plurality of k + 1 or later images may be used. Extraction of tracking points is performed using a process such as, for example, the Kanade-Lucas-Tomasi (KLT).
行列算出部１０６はメモリ１０２に保存された特徴点のイメージ座標と追跡点のイメージ座標から、次の式で表される行列Ｆ，Ｒ，Ｔ，Ｐを算出する。以下、行列Ｆ，Ｒ，Ｔ，Ｐの算出方法の一例について説明する。 The matrix calculation unit 106 calculates matrices F, R, T, and P represented by the following equations from the image coordinates of the feature point stored in the memory 102 and the image coordinates of the tracking point. Hereinafter, an example of a method of calculating the matrices F, R, T, and P will be described.
ｘ１とｘ２が対応点の場合、すべての対応点ｘ１、ｘ２に関して、以下の関係が成り立つ。 When x 1 and x 2 are corresponding points, the following relationship holds for all corresponding points x 1 and x 2 .
ここで、行列Ｆは基礎行列を呼ばれていて、３ｘ３行列である。ｘ１、ｘ２は、画像座標系での対応点の座標を同時座標系で表した３次元ベクトルである。ｋ番目画像の点（ｘ，ｙ）とｋ＋１番目の点（ｘ’，ｙ’）がシーンの同一点であれば，次のエピ極線方程式が成り立つ。 Here, the matrix F is called a basic matrix and is a 3 × 3 matrix. x 1 and x 2 are three-dimensional vectors representing the coordinates of corresponding points in the image coordinate system in the simultaneous coordinate system. If the point (x, y) of the k-th image and the point k + 1 (x ', y') are the same in the scene, the following epipolar equation holds.
ここで、Ｆｉｊは（ｉ、ｊはインデックス）、行列Ｆの各成分を表し、ｆは焦点距離である。 Here, F ij (i, j is an index) represents each component of the matrix F, and f is a focal distance.
対応する特徴点と追跡点のイメージ座標の組
ここでαは自然数をとるインデックス、Ｎは自然数である。
A set of image coordinates of corresponding feature points and tracking points
Here, α is an index taking a natural number, and N is a natural number.
続いて、行列Ｆと焦点距離ｆからカメラの相対的な並進行列Ｔ、回転行列Ｒを算出する。その際に、まず次の基本行列Ｅを計算する。
３次元座標算出部１０７は、既知の技術であるSFM（Structure from Motion：３次元復元）を用いて、壁面の３次元座標(スケールなし)を算出する。３次元座標算出部１０７は、算出した壁面の３次元座標(スケールなし)をメモリ１０２に保存する。これにより、図１に示すように、注目点毎に、壁面の３次元座標(スケールなし)がメモリ１０２に保存される。ここで３次元空間（スケールなし）は、仮想空間ともいう。このように、３次元座標算出部１０７は、前記抽出された特徴点を用いて３次元復元を行うことにより、仮想空間における壁面の３次元座標を算出する。 The three-dimensional coordinate calculation unit 107 calculates three-dimensional coordinates (without scale) of the wall surface using SFM (Structure from Motion: three-dimensional restoration) which is a known technique. The three-dimensional coordinate calculation unit 107 stores the calculated three-dimensional coordinates (without scale) of the wall surface in the memory 102. Thereby, as shown in FIG. 1, the three-dimensional coordinates (without scale) of the wall surface are stored in the memory 102 for each focus point. Here, the three-dimensional space (without the scale) is also referred to as a virtual space. As described above, the three-dimensional coordinate calculation unit 107 calculates three-dimensional coordinates of the wall surface in the virtual space by performing three-dimensional reconstruction using the extracted feature points.
距離算出部（法線ベクトル算出部）１０８は、３次元座標算出部１０７が算出した壁面の３次元座標(スケールなし)をメモリ１０２から読み出し、当該面の３次元座標(スケールなし)から３次元空間（スケールなし）上でのカメラと壁面との間の距離ｄを算出する。以下、距離ｄの算出方法について説明する。 The distance calculation unit (normal vector calculation unit) 108 reads the three-dimensional coordinates (without scale) of the wall surface calculated by the three-dimensional coordinate calculation unit 107 from the memory 102, and calculates the three-dimensional coordinates from the three-dimensional coordinates (without scale) of the surface. Calculate the distance d between the camera and the wall in space (without scale). Hereinafter, the method of calculating the distance d will be described.
ＳＦＭで算出した壁面の３次元座標（スケールなし）は、同一平面上に存在しているため、以下の平面方程式が成り立つ。 Since the three-dimensional coordinates (without scale) of the wall surface calculated by SFM exist on the same plane, the following plane equation holds.
よって、壁面（ａｘ+ｂｙ+ｃｚ+ｄ=0）とカメラ座標原点(ｘ0, ｙ0, ｚ0)との距離ｄは、次の式で表される。 Therefore, the distance d between the wall surface (ax + by + cz + d = 0) and the camera coordinate origin (x 0 , y 0 , z 0 ) is expressed by the following equation.
車両進行ベクトル算出部１０９は、行列算出部１０６が算出した行列（併進行列）Ｔから進行ベクトルの大きさｚ１を算出する。以下、進行ベクトルの大きさｚ１の算出方法について説明する。まず並進行列Ｔは、次のように表される。 The vehicle travel vector calculation unit 109 calculates the size z1 of the travel vector from the matrix (parallel travel sequence) T calculated by the matrix calculation unit 106. Hereinafter, a method of calculating the magnitude z1 of the travel vector will be described. First, the translation matrix T is expressed as follows.
ここでＴｘ、Ｔｙ、Ｔｚはそれぞれ行列Ｔの成分である。進行ベクトルの大きさｚ１は、次の式で表される。 Here, Tx, Ty, and Tz are components of the matrix T, respectively. The magnitude z1 of the travel vector is expressed by the following equation.
移動距離算出部１１０は、距離算出部（法線ベクトル算出部）１０８が算出した３次元空間（スケールなし）上でのカメラと壁面間の距離ｄと壁面とカメラの実際の距離Ｄ（既知）を用いて実際のカメラ移動距離ＤＲを算出する。以下、実際のカメラ移動距離ＤＲの算出方法について説明する。 The movement distance calculation unit 110 calculates the distance d between the camera and the wall on the three-dimensional space (without the scale) calculated by the distance calculation unit (normal vector calculation unit) 108 and the actual distance D (known) between the wall and the camera. calculating the actual camera movement distance D R with. Hereinafter, the method for calculating the actual camera movement distance D R.
図２は、実際のカメラ移動距離の算出方法を説明するための模式図である。図２において、３次元空間（スケールなし）上での壁面ＶＷ、実際の壁面ＲＷ、移動前のカメラＣ１、３次元空間（スケールなし）上での移動後のカメラＣ２、実際の移動後のカメラＣ３が示されている。更に、ＳＦＭで算出された３次元空間（スケールなし）Ｓ１が破線の領域で示されている。３次元空間（スケールなし）上で移動前後のカメラ間距離は単位ベクトルに正規化しており、そのベクトルの大きさは進行ベクトルの大きさｚ１である。図２に示すように相似形となる。実際のカメラ移動距離ＤＲは、次の式で表される。 FIG. 2 is a schematic diagram for explaining a method of calculating an actual camera movement distance. In FIG. 2, a wall VW on a three-dimensional space (without scale), an actual wall RW, a camera C1 before moving, a camera C2 after moving on a three-dimensional space (without scale), a camera after actual movement C3 is shown. Furthermore, a three-dimensional space (not to scale) S1 calculated by SFM is shown by a broken line area. The inter-camera distance before and after movement on a three-dimensional space (without scale) is normalized to a unit vector, and the magnitude of the vector is the magnitude z1 of the travel vector. As shown in FIG. The actual camera movement distance D R is expressed by the following equation.
上記の式に従って、移動距離算出部１１０は、前記算出されたカメラ間距離と、前記算出された前記仮想空間における前記壁面とカメラとの距離ｄと、前記壁面とカメラの間の実際の距離Ｄとを用いて、実際のカメラ移動距離ＤＲを算出する。 According to the above equation, the movement distance calculation unit 110 calculates the calculated inter-camera distance, the calculated distance d between the wall surface and the camera in the virtual space, and the actual distance D between the wall surface and the camera with bets, calculates the actual camera movement distance D R.
このように実際のカメラ移動距離ＤＲを求めるために、カメラ高さを用いるのではなく、カメラと壁面の距離を用いる。カメラの高さは車両ごとでサスペンションなどの状態でばらつくが、本実施形態の方式であれば、工程として、カメラと壁面の距離を一定に保つ（例：ベルトコンベアなど）ことで従来技術より、実際のカメラ移動距離ＤＲの算出精度が向上する。 To determine this the actual camera movement distance D R, rather than using a camera height, using the distance of the camera and the wall. The height of the camera varies depending on the vehicle and the state of the suspension for each vehicle, but in the case of the method of the present embodiment, the distance between the camera and the wall is kept constant (eg, belt conveyor etc.) as a process. actual camera calculation accuracy of the moving distance D R is improved.
カメラ校正パラメータ算出部１１１は、校正後のカメラパラメータであるカメラ校正パラメータを算出して、算出したカメラ校正パラメータを出力する。 The camera calibration parameter calculation unit 111 calculates a camera calibration parameter which is a camera parameter after calibration, and outputs the calculated camera calibration parameter.
［１−２．動作］
以下、カメラ校正パラメータ算出部１１１におけるカメラ校正パラメータの算出処理の流れについて、図３〜図６を用いて以下説明する。図３は、カメラ校正パラメータの算出処理の流れの一例を示すフローチャートである。図４は、移動予測点のイメージ座標の算出工程を示す模式図である。図５は、図３のステップＳ２０２における移動予測点のイメージ座標の算出処理の詳細を示すフローチャートである。
[1-2. Operation]
Hereinafter, the flow of the calculation process of the camera calibration parameter in the camera calibration parameter calculation unit 111 will be described below with reference to FIGS. 3 to 6. FIG. 3 is a flowchart showing an example of the flow of calculation processing of camera calibration parameters. FIG. 4 is a schematic view showing a process of calculating image coordinates of the movement predicted point. FIG. 5 is a flowchart showing details of the process of calculating the image coordinates of the movement predicted point in step S202 of FIG.
（ステップＳ２０１）図３において、まず、カメラ校正パラメータ算出部１１１は、カメラ１０１の取り付け設計値のカメラ角度（パン、チルト、ロール）、カメラ１０１の位置を初期カメラパラメータに設定する。 (Step S201) In FIG. 3, first, the camera calibration parameter calculation unit 111 sets the camera angle (pan, tilt, roll) of the installation design value of the camera 101 and the position of the camera 101 as initial camera parameters.
（ステップＳ２０２）次に、カメラ校正パラメータ算出部１１１は、算出された実際のカメラ移動距離と、カメラ１０１のカメラパラメータを用いて、壁面の追跡対象とする特徴点である追跡点の移動予測点のイメージ座標を算出する。 (Step S202) Next, the camera calibration parameter calculation unit 111 uses the calculated actual camera movement distance and the camera parameters of the camera 101 to predict the movement prediction point of the tracking point that is the feature point to be tracked on the wall surface. Calculate the image coordinates of.
（ステップＳ２０３）次に、カメラ校正パラメータ算出部１１１は、追跡点と移動予測点の座標ずれ（図４（Ｄ）参照）を算出する。具体的には例えば、カメラ校正パラメータ算出部１１１は、メモリ１０２に保存された追跡点のイメージ座標とステップＳ２０２で算出した移動予測点のイメージ座標のユークリッド距離を座標ずれとして算出する。図４（Ｄ）に示すように、移動予測点のイメージ座標と追跡点のイメージ座標との間の座標ずれが得られる。 (Step S203) Next, the camera calibration parameter calculation unit 111 calculates the coordinate deviation (see FIG. 4D) of the tracking point and the movement prediction point. Specifically, for example, the camera calibration parameter calculation unit 111 calculates the Euclidean distance between the image coordinates of the tracking point stored in the memory 102 and the image coordinates of the movement predicted point calculated in step S202 as coordinate deviation. As shown in FIG. 4 (D), coordinate deviation between the image coordinates of the movement prediction point and the image coordinates of the tracking point is obtained.
（ステップＳ２０４）次に、カメラ校正パラメータ算出部１１１は、座標ズレが許容値以下であるか判定する。ここで許容値は例えば予め設定された最小値であってもよい。座標ズレが許容値以下であると判定された場合、カメラ校正パラメータ算出部１１１は、そのときのカメラパラメータをカメラ校正パラメータとして出力する。 (Step S204) Next, the camera calibration parameter calculation unit 111 determines whether the coordinate deviation is equal to or less than the allowable value. Here, the allowable value may be, for example, a preset minimum value. When it is determined that the coordinate deviation is equal to or less than the allowable value, the camera calibration parameter calculation unit 111 outputs the camera parameter at that time as a camera calibration parameter.
（ステップＳ２０５）一方、ステップＳ２０４で座標ズレが許容値を超えると判定された場合、カメラ校正パラメータ算出部１１１は、カメラパラメータを変更する。ここで、変更対象のカメラパラメータには、カメラ１０１のカメラ角度（パン、チルト、ロール）、カメラ１０１の位置などが含まれる。なお、カメラパラメータには、カメラ内部パラメータ（例えば、焦点距離、画素サイズ、画像中心、レンズ歪補正係数など）が含まれてもよい。 (Step S205) On the other hand, when it is determined in step S204 that the coordinate deviation exceeds the allowable value, the camera calibration parameter calculation unit 111 changes the camera parameter. Here, the camera parameters to be changed include the camera angle (pan, tilt, roll) of the camera 101, the position of the camera 101, and the like. The camera parameters may include camera internal parameters (for example, focal length, pixel size, image center, lens distortion correction coefficient, etc.).
このように、カメラ校正パラメータ算出部１１１は、この座標ズレが許容値以下となるまで、例えば一定の範囲でカメラパラメータを変更し、処理を繰り返す。そして、カメラ校正パラメータ算出部１１１は、この座標ズレが許容値以下となるカメラパラメータ（カメラ角度、位置など）をカメラ校正パラメータとして出力する。カメラパラメータは、カメラ１０１の角度、及び／またはカメラ１０１の位置を含む。 As described above, the camera calibration parameter calculation unit 111 changes the camera parameters, for example, in a certain range, and repeats the process until the coordinate deviation becomes equal to or less than the allowable value. Then, the camera calibration parameter calculation unit 111 outputs, as a camera calibration parameter, a camera parameter (a camera angle, a position, or the like) whose coordinate deviation is equal to or less than an allowable value. The camera parameters include the angle of the camera 101 and / or the position of the camera 101.
以上の処理により、路面に輝度の情報量が特徴的な大きさがない場合（例えば、生産ライン上のコンクリート路面などの場合）にも、壁面の特徴点を抽出することで車両が移動する際に自動的にカメラ校正を行うことができる。 When the vehicle moves by extracting the feature points of the wall surface even when the road surface does not have a characteristic size of the information amount of luminance (for example, in the case of a concrete road surface on a production line) by the above processing Camera calibration can be performed automatically.
以下、図３のステップＳ２０２における移動予測点のイメージ座標の算出処理について、図４と図５を用いて説明する。
図４（Ａ）では、移動前の画像ＢＩにおいて特徴点のイメージ座標が示され、移動後の画像において追跡点のイメージ座標が示されている。
Hereinafter, the process of calculating the image coordinates of the movement predicted point in step S202 of FIG. 3 will be described with reference to FIGS. 4 and 5.
In FIG. 4A, the image coordinates of the feature point are shown in the image BI before movement, and the image coordinates of the tracking point are shown in the image after movement.
（ステップＳ３０１）まず、カメラ校正パラメータ算出部１１１は、メモリ１０２に保存された特徴点のイメージ座標を世界座標に変換する。ここで世界座標とは実空間に設定された座標である。これにより、例えば、図４（Ｂ）に示すように、特徴点の世界座標が得られる。処理の詳細は図６で後述する。 (Step S301) First, the camera calibration parameter calculation unit 111 converts the image coordinates of the feature point stored in the memory 102 into world coordinates. Here, world coordinates are coordinates set in the real space. Thereby, for example, as shown in FIG. 4 (B), the world coordinates of the feature point are obtained. Details of the process will be described later with reference to FIG.
（ステップＳ３０２）次に、カメラ校正パラメータ算出部１１１は、特徴点の世界座標に車両の移動量を加算し、移動予測点の世界座標を算出する。これにより、例えば、図４（Ｃ）に示すように、移動予測点の世界座標が得られる。 (Step S302) Next, the camera calibration parameter calculation unit 111 adds the movement amount of the vehicle to the world coordinates of the feature point to calculate the world coordinates of the movement prediction point. Thereby, for example, as shown in FIG. 4C, the world coordinates of the movement prediction point are obtained.
（ステップＳ３０３）次に、カメラ校正パラメータ算出部１１１は、移動予測点の世界座標をイメージ座標に変換する。これにより、例えば、図４（Ｄ）に示すように、移動予測点のイメージ座標が得られる。 (Step S303) Next, the camera calibration parameter calculation unit 111 converts world coordinates of the movement prediction point into image coordinates. Thereby, for example, as shown in FIG. 4D, image coordinates of the movement prediction point are obtained.
このように、カメラ校正パラメータ算出部１１１は、前記追跡点の移動前のカメラによって撮像された画像におけるイメージ座標を世界座標へ変換し、変換後の世界座標に前記算出された実際のカメラ移動距離を加算して移動予測点の世界座標を算出し、算出した移動予測点の世界座標をイメージ座標に変換する。 As described above, the camera calibration parameter calculation unit 111 converts the image coordinates in the image captured by the camera before the movement of the tracking point into world coordinates, and the calculated actual camera movement distance to the world coordinates after conversion. To calculate the world coordinates of the movement prediction point, and convert the calculated world coordinates of the movement prediction point into image coordinates.
図６は、図５のステップＳ３０１の座標変換処理の詳細を示すフローチャートである。
（ステップＳ４０１）まず、カメラ校正パラメータ算出部１１１は、イメージ座標を歪みありセンサー座標に変換する。
FIG. 6 is a flowchart showing details of the coordinate conversion process of step S301 of FIG.
(Step S401) First, the camera calibration parameter calculation unit 111 converts image coordinates into distorted sensor coordinates.
（ステップＳ４０２）次に、カメラ校正パラメータ算出部１１１は、歪みありセンサー座標を歪みなしセンサー座標に変換する。 (Step S402) Next, the camera calibration parameter calculation unit 111 converts the sensor coordinates with distortion into sensor coordinates without distortion.
（ステップＳ４０３）次に、カメラ校正パラメータ算出部１１１は、歪みなしセンサー座標から世界座標に変換する。
［１−４．効果等］
以上のように、本実施の形態において、カメラ校正装置１は、壁面に対して略平行に車両が移動中に当該車両１０に搭載されたカメラ１０１によって撮像された画像から、当該壁面の特徴点を抽出する特徴点抽出部１０４を備える。更にカメラ校正装置１は、前記抽出された特徴点を用いて３次元復元を行うことにより、仮想空間における壁面の３次元座標を算出する３次元座標算出部１０７を備える。更にカメラ校正装置１は、前記算出された壁面の３次元座標を用いて、前記仮想空間における前記壁面とカメラとの距離を算出する距離算出部１０８を備える。更にカメラ校正装置１は、前記仮想空間における、移動前のカメラと前記壁面に対して略平行に移動した後のカメラとの距離であるカメラ間距離を算出する距離算出部１０８を備える。更にカメラ校正装置１は、前記算出されたカメラ間距離と、前記算出された前記仮想空間における前記壁面とカメラとの距離と、前記壁面とカメラの間の実際の距離とを用いて、実際のカメラ移動距離を算出する移動距離算出部を備える。更にカメラ校正装置１は、前記算出された実際のカメラ移動距離と、前記カメラのカメラパラメータを用いて、前記壁面の追跡対象とする特徴点である追跡点の移動予測点のイメージ座標を算出し、当該移動予測点のイメージ座標と、前記移動した後のカメラによって撮像された画像における前記追跡点のイメージ座標との間の座標ずれを算出し、前記算出された座標ずれが許容値以下が小さくなるよう、前記カメラパラメータを変更するカメラ校正パラメータ算出部を備える。
(Step S403) Next, the camera calibration parameter calculation unit 111 converts the distortion-free sensor coordinates into world coordinates.
[1-4. Effect etc]
As described above, in the present embodiment, the camera calibration device 1 determines the feature points of the wall surface from the image captured by the camera 101 mounted on the vehicle 10 while the vehicle is moving substantially parallel to the wall surface. A feature point extraction unit 104 that extracts the The camera calibration device 1 further includes a three-dimensional coordinate calculation unit 107 that calculates three-dimensional coordinates of the wall surface in the virtual space by performing three-dimensional reconstruction using the extracted feature points. The camera calibration device 1 further includes a distance calculation unit 108 that calculates the distance between the wall surface and the camera in the virtual space, using the calculated three-dimensional coordinates of the wall surface. The camera calibration device 1 further includes a distance calculation unit 108 which calculates an inter-camera distance which is a distance between the camera before movement and the camera after movement substantially parallel to the wall surface in the virtual space. Furthermore, the camera calibration device 1 uses the calculated inter-camera distance, the calculated distance between the wall surface and the camera in the virtual space, and the actual distance between the wall surface and the camera. A movement distance calculation unit that calculates a camera movement distance is provided. Furthermore, the camera calibration device 1 calculates the image coordinates of the movement prediction point of the tracking point which is the feature point to be tracked by the wall surface, using the calculated actual camera movement distance and the camera parameters of the camera. The coordinate deviation between the image coordinate of the movement prediction point and the image coordinate of the tracking point in the image captured by the camera after the movement is calculated, and the calculated coordinate deviation is smaller than the allowable value. And a camera calibration parameter calculation unit configured to change the camera parameter.
この構成により、路面の輝度の情報量に特徴的な大きさがない（生産ライン上のコンクリート路面などの）場合にも、生産ラインなどで車両を停車することなく、生産ラインなどを車両が移動する際に自動的にカメラ校正を行うことができる。従って、車両の位置決めをせずに車載カメラの校正を行うことができる。また、路面の特徴点、及び／または追跡点を抽出する場合とは違い、路面の汚れに影響されることがない。 With this configuration, even if there is no characteristic size (such as concrete road surface on the production line) of the information amount of road surface luminance, the vehicle moves on the production line etc without stopping the vehicle in the production line etc. Camera calibration can be performed automatically. Therefore, the on-vehicle camera can be calibrated without positioning the vehicle. Also, unlike the case of extracting the feature points of the road surface and / or the tracking points, it is not affected by the dirt of the road surface.
［他の実施の形態］
以上のように、本出願において開示する技術の例示として、実施の形態を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施の形態にも適用できる。
Other Embodiments
As described above, the embodiment has been described as an example of the technology disclosed in the present application. However, the technology in the present disclosure is not limited to this, and can be applied to embodiments in which changes, replacements, additions, omissions, and the like have been made.
本開示は、上述した実施の形態に限定されず、以下に示すように実際のカメラの移動量の算出方法を変更した実施形態も考えられる。そこで、以下、他の実施の形態を例示する。 The present disclosure is not limited to the above-described embodiment, and an embodiment in which the method of calculating the actual movement amount of the camera is changed as described below is also conceivable. Therefore, other embodiments will be exemplified below.
＜第２の実施形態＞
図７は、第２の実施形態において実際のカメラ移動距離の算出方法を説明するための模式図である。３次元空間（スケールなし）上での第１の壁面ＶＷ１、３次元空間（スケールなし）上での第２の壁面ＶＷ２、実際の第１の壁面ＲＷ１、実際の第２の壁面ＲＷ２が示されている。更に、ＳＦＭで算出された３次元空間（スケールなし）Ｓ２が破線の領域で示されている。また移動前のカメラＣ１１、３次元空間（スケールなし）上での移動後のカメラＣ１２、実際の移動後のカメラＣ１３が示されている。
Second Embodiment
FIG. 7 is a schematic view for explaining a method of calculating an actual camera movement distance in the second embodiment. The first wall VW1 in three-dimensional space (without scale), the second wall VW2 in three-dimensional space (without scale), the actual first wall RW1, and the actual second wall RW2 are shown. ing. Furthermore, the three-dimensional space (without scale) S2 calculated by SFM is shown by a dashed line area. Also, a camera C11 before movement, a camera C12 after movement on a three-dimensional space (without a scale), and a camera C13 after actual movement are shown.
移動距離算出部１１０は、距離算出部（法線ベクトル算出部）１０８が算出した３次元空間（スケールなし）上でのカメラと両側の壁面間の距離（ｄ１，ｄ２）と実際の両壁面の距離Ｄ（既知）を用いて、実際のカメラ移動距離ＤＲを算出する。
３次元空間（スケールなし）上での第１の壁面ＶＷ１とカメラの距離をｄ１とする。３次元空間（スケールなし）上での第２の壁面ＶＷ２とカメラの距離をｄ２とする。３次元空間（スケールなし）上で移動前後のカメラ間距離は単位ベクトルに正規化しており、そのベクトルの大きさをＺ１とする。すると、図７のような相似形になる。実際のカメラ移動距離ＤＲは、次の式で表される。
The movement distance calculation unit 110 calculates the distance (d1, d2) between the camera on the three-dimensional space (without scale) calculated by the distance calculation unit (normal vector calculation unit) 108 and the wall surfaces on both sides and the actual wall surfaces. using the distance D (known), calculates the actual camera movement distance D R.
The distance between the first wall surface VW1 and the camera on a three-dimensional space (without scale) is d1. The distance between the second wall VW2 and the camera on the three-dimensional space (without scale) is d2. The inter-camera distance before and after movement on a three-dimensional space (without a scale) is normalized to a unit vector, and the magnitude of the vector is Z1. Then, it becomes similar form like FIG. The actual camera movement distance D R is expressed by the following equation.
上記の式に従って、移動距離算出部１１０は、前記算出されたカメラ間距離ｚ１と、前記算出された前記仮想空間における前記第１の壁面ＶＷ１とカメラとの距離ｄ１と、前記算出された前記仮想空間における前記第２の壁面ＶＷ２とカメラとの距離ｄ２と、前記第１の壁面ＲＷ１と前記第２の壁面ＲＷ２の間の実際の距離Ｄとを用いて、実際のカメラ移動距離ＤＲを算出する。 According to the above equation, the movement distance calculation unit 110 calculates the calculated inter-camera distance z1, the calculated distance d1 between the first wall VW1 and the camera in the virtual space, and the calculated virtual calculating the distance d2 between the second wall VW2 and the camera in space, by using the actual distance D between the first wall RW1 and the second wall RW2, the actual camera movement distance D R Do.
本実施形態によれば、実際のカメラ移動量を求めるために、カメラ高さを既知とするのではなく、両側の壁面間の距離を既知とする。カメラの高さは車両ごとでサスペンションなどの状態によって、ばらつくが、本実施形態の方法であれば、両側の壁面間の距離を一定した設備を導入すれば、従来技術より、実際のカメラ移動距離の算出精度が向上する。また、片側のみの壁面の場合である第１の実施形態とは違い、カメラと壁面間の距離が既知でなくてよいので、壁面間であれば、任意の位置を直進するだけでよく、作業の容易性が第１の実施形態よりも向上する。 According to the present embodiment, in order to obtain the actual camera movement amount, the distance between the wall surfaces on both sides is known, rather than the camera height being known. The height of the camera varies depending on the condition of the suspension, etc. for each vehicle, but if the method of this embodiment introduces a facility with a fixed distance between the wall surfaces on both sides, the actual camera movement distance is better than in the prior art. The accuracy of calculation of Also, unlike the first embodiment in which only one side wall is used, the distance between the camera and the wall does not have to be known. The ease of the invention is improved over the first embodiment.
なお、複数の装置を備えるカメラ校正システムが、各実施形態のカメラ校正装置の各処理を、それらの複数の装置で分散して処理してもよい。
また、各実施形態のカメラ校正装置の各処理を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、プロセッサが実行することにより、各実施形態のカメラ校正装置に係る上述した種々の処理を行ってもよい。
A camera calibration system including a plurality of devices may process each process of the camera calibration device of each embodiment in a distributed manner by the plurality of devices.
Further, a program for executing each process of the camera calibration device according to each embodiment is recorded in a computer readable recording medium, and the computer system reads the program recorded in the recording medium and the processor executes the program. Thus, the above-described various processes related to the camera calibration device of each embodiment may be performed.
１ カメラ校正装置
１０ 車両
１０１ カメラ
１０２ メモリ
１０３ ＣＰＵ
１０４ 特徴点抽出部
１０５ 追跡点抽出部
１０６ 行列算出部
１０７ ３次元座標算出部
１０８ 距離算出部
１０９ 進行ベクトル算出部
１１０ 移動距離算出部
１１１ カメラ校正パラメータ算出部
１２０ ＲＯＭ
1 Camera Calibration Device 10 Vehicle 101 Camera 102 Memory 103 CPU
104 feature point extraction unit 105 tracking point extraction unit 106 matrix calculation unit 107 three-dimensional coordinate calculation unit 108 distance calculation unit 109 travel vector calculation unit 110 movement distance calculation unit 111 camera calibration parameter calculation unit 120 ROM
Claims (12)
前記抽出された特徴点を用いて３次元復元を行うことにより、仮想空間における壁面の３次元座標を算出する３次元座標算出部と、
前記算出された壁面の３次元座標を用いて、前記仮想空間における前記壁面とカメラとの距離を算出する距離算出部と、
前記仮想空間における、移動前のカメラと前記壁面に対して略平行に移動した後のカメラとの距離であるカメラ間距離を算出する距離算出部と、
前記算出されたカメラ間距離と、前記算出された前記仮想空間における前記壁面とカメラとの距離と、前記壁面とカメラの間の実際の距離とを用いて、実際のカメラ移動距離を算出する移動距離算出部と、
前記算出された実際のカメラ移動距離と、前記カメラのカメラパラメータを用いて、前記壁面の追跡対象とする特徴点である追跡点の移動予測点のイメージ座標を算出し、当該移動予測点のイメージ座標と、前記移動した後のカメラによって撮像された画像における前記追跡点のイメージ座標との間の座標ずれを算出し、前記算出された座標ずれが小さくなるよう、前記カメラパラメータを変更するカメラ校正パラメータ算出部と、
を備えるカメラ校正装置。 A feature point extraction unit that extracts feature points of the wall surface from an image captured by a camera mounted on the vehicle while the vehicle is moving substantially parallel to the wall surface;
A three-dimensional coordinate calculation unit that calculates three-dimensional coordinates of a wall surface in a virtual space by performing three-dimensional reconstruction using the extracted feature points;
A distance calculation unit that calculates the distance between the wall surface and the camera in the virtual space using the calculated three-dimensional coordinates of the wall surface;
A distance calculation unit that calculates an inter-camera distance which is a distance between a camera before movement and a camera after movement substantially parallel to the wall surface in the virtual space;
Movement for calculating an actual camera movement distance using the calculated inter-camera distance, the calculated distance between the wall surface and the camera in the virtual space, and the actual distance between the wall surface and the camera A distance calculation unit,
Using the calculated actual camera movement distance and the camera parameters of the camera, the image coordinates of the movement prediction point of the tracking point which is the feature point to be tracked on the wall surface are calculated, and the image of the movement prediction point Camera calibration for calculating a coordinate deviation between coordinates and an image coordinate of the tracking point in an image captured by the camera after the movement, and changing the camera parameter so as to reduce the calculated coordinate deviation A parameter calculation unit,
Camera calibration device comprising:
請求項１に記載のカメラ校正装置。 The camera calibration device according to claim 1, wherein the camera parameter includes an angle of the camera and / or a position of the camera.
請求項１または２に記載のカメラ校正装置。 The camera calibration parameter calculation unit converts image coordinates in the image captured by the camera before movement of the tracking point into world coordinates, and adds the calculated actual camera movement distance to the world coordinates after conversion. The camera calibration device according to claim 1, wherein the world coordinates of the movement prediction point are calculated, and the calculated world coordinates of the movement prediction point are converted into image coordinates.
前記抽出された第１の壁面の特徴点を用いて３次元復元を行うことにより、仮想空間における前記第１の壁面の３次元座標を算出し、前記抽出された第２の壁面の特徴点を用いて３次元復元を行うことにより、仮想空間における前記第２の壁面の３次元座標を算出する３次元座標算出部と、
前記算出された第１の壁面の３次元座標を用いて、前記仮想空間における前記第１の壁面とカメラとの距離を算出し、前記算出された第２の壁面の３次元座標を用いて、前記仮想空間における前記第１の壁面とカメラとの距離を算出する距離算出部と、
前記仮想空間における、移動前のカメラと前記第１の壁面及び前記第２の壁面に対して略平行に移動した後のカメラとの距離であるカメラ間距離を算出する距離算出部と、
前記算出されたカメラ間距離と、前記算出された前記仮想空間における前記第１の壁面とカメラとの距離と、前記算出された前記仮想空間における前記第２の壁面とカメラとの距離と、前記第１の壁面と前記第２の壁面の間の実際の距離とを用いて、実際のカメラ移動距離を算出する移動距離算出部と、
前記算出された実際のカメラ移動距離と、前記カメラのカメラパラメータを用いて、前記壁面の追跡対象とする特徴点である追跡点の移動予測点のイメージ座標を算出し、当該移動予測点のイメージ座標と、前記移動した後のカメラによって撮像された画像における前記追跡点のイメージ座標との間の座標ずれを算出し、前記算出された座標ずれが小さくなるよう、前記カメラのパラメータを変更するカメラ校正パラメータ算出部と、
を備えるカメラ校正装置。 From an image captured by a camera mounted on the vehicle while the vehicle is moving substantially parallel to the first wall and the second wall between the first wall and the second wall A feature point extraction unit that extracts a feature point of the first wall surface and a feature point of the second wall surface;
By performing three-dimensional reconstruction using the extracted first wall feature points, the three-dimensional coordinates of the first wall in the virtual space are calculated, and the extracted second wall feature points are calculated. A three-dimensional coordinate calculation unit that calculates three-dimensional coordinates of the second wall surface in the virtual space by performing three-dimensional restoration using:
The distance between the first wall surface and the camera in the virtual space is calculated using the calculated three-dimensional coordinates of the first wall surface, and the calculated three-dimensional coordinates of the second wall surface are used. A distance calculation unit that calculates a distance between the first wall surface and the camera in the virtual space;
A distance calculation unit that calculates an inter-camera distance which is a distance between a camera before movement and a camera after movement substantially parallel to the first wall surface and the second wall surface in the virtual space;
The calculated inter-camera distance, the calculated distance between the first wall and the camera in the virtual space, the calculated distance between the second wall and the camera in the virtual space, and A movement distance calculation unit that calculates an actual camera movement distance using a first wall surface and an actual distance between the second wall surface;
Using the calculated actual camera movement distance and the camera parameters of the camera, the image coordinates of the movement prediction point of the tracking point which is the feature point to be tracked on the wall surface are calculated, and the image of the movement prediction point A camera that calculates coordinate deviation between coordinates and an image coordinate of the tracking point in an image captured by the camera after the movement, and changes parameters of the camera so as to reduce the calculated coordinate deviation. A calibration parameter calculation unit,
Camera calibration device comprising:
請求項４に記載のカメラ校正装置。 The camera calibration device according to claim 4, wherein the camera parameter includes an angle of the camera and / or a position of the camera.
請求項４または５に記載のカメラ校正装置。 The camera calibration parameter calculation unit converts image coordinates in the image captured by the camera before movement of the tracking point into world coordinates, and adds the calculated actual camera movement distance to the world coordinates after conversion. The camera calibration device according to claim 4, wherein the world coordinates of the movement prediction point are calculated, and the calculated world coordinates of the movement prediction point are converted into image coordinates.
前記抽出された特徴点を用いて３次元復元を行うことにより、仮想空間における壁面の３次元座標を算出する３次元座標算出部と、
前記算出された壁面の３次元座標を用いて、前記仮想空間における前記壁面とカメラとの距離を算出する距離算出部と、
前記仮想空間における、移動前のカメラと前記壁面に対して略平行に移動した後のカメラとの距離であるカメラ間距離を算出する距離算出部と、
前記算出されたカメラ間距離と、前記算出された前記仮想空間における前記壁面とカメラとの距離と、前記壁面とカメラの間の実際の距離とを用いて、実際のカメラ移動距離を算出する移動距離算出部と、
前記算出された実際のカメラ移動距離と、前記カメラのカメラパラメータを用いて、前記壁面の追跡対象とする特徴点である追跡点の移動予測点のイメージ座標を算出し、当該移動予測点のイメージ座標と、前記移動した後のカメラによって撮像された画像における前記追跡点のイメージ座標との間の座標ずれを算出し、前記算出された座標ずれが小さくなるよう、前記カメラパラメータを変更するカメラ校正パラメータ算出部と、
を備えるカメラ校正システム。 A feature point extraction unit that extracts feature points of the wall surface from an image captured by a camera mounted on the vehicle while the vehicle is moving substantially parallel to the wall surface;
A three-dimensional coordinate calculation unit that calculates three-dimensional coordinates of a wall surface in a virtual space by performing three-dimensional reconstruction using the extracted feature points;
A distance calculation unit that calculates the distance between the wall surface and the camera in the virtual space using the calculated three-dimensional coordinates of the wall surface;
A distance calculation unit that calculates an inter-camera distance which is a distance between a camera before movement and a camera after movement substantially parallel to the wall surface in the virtual space;
Movement for calculating an actual camera movement distance using the calculated inter-camera distance, the calculated distance between the wall surface and the camera in the virtual space, and the actual distance between the wall surface and the camera A distance calculation unit,
Using the calculated actual camera movement distance and the camera parameters of the camera, the image coordinates of the movement prediction point of the tracking point which is the feature point to be tracked on the wall surface are calculated, and the image of the movement prediction point Camera calibration for calculating a coordinate deviation between coordinates and an image coordinate of the tracking point in an image captured by the camera after the movement, and changing the camera parameter so as to reduce the calculated coordinate deviation A parameter calculation unit,
Camera calibration system comprising:
前記抽出された第１の壁面の特徴点を用いて３次元復元を行うことにより、仮想空間における前記第１の壁面の３次元座標を算出し、前記抽出された第２の壁面の特徴点を用いて３次元復元を行うことにより、仮想空間における前記第２の壁面の３次元座標を算出する３次元座標算出部と、
前記算出された第１の壁面の３次元座標を用いて、前記仮想空間における前記第１の壁面とカメラとの距離を算出し、前記算出された第２の壁面の３次元座標を用いて、前記仮想空間における前記第１の壁面とカメラとの距離を算出する距離算出部と、
前記仮想空間における、移動前のカメラと前記第１の壁面及び前記第２の壁面に対して略平行に移動した後のカメラとの距離であるカメラ間距離を算出する距離算出部と、
前記算出されたカメラ間距離と、前記算出された前記仮想空間における前記第１の壁面とカメラとの距離と、前記算出された前記仮想空間における前記第２の壁面とカメラとの距離と、前記第１の壁面と前記第２の壁面の間の実際の距離とを用いて、実際のカメラ移動距離を算出する移動距離算出部と、
前記算出された実際のカメラ移動距離と、前記カメラのカメラパラメータを用いて、前記壁面の追跡対象とする特徴点である追跡点の移動予測点のイメージ座標を算出し、当該移動予測点のイメージ座標と、前記移動した後のカメラによって撮像された画像における前記追跡点のイメージ座標との間の座標ずれを算出し、前記算出された座標ずれが小さくなるよう、前記カメラのパラメータを変更するカメラ校正パラメータ算出部と、
を備えるカメラ校正システム。 From an image captured by a camera mounted on the vehicle while the vehicle is moving substantially parallel to the first wall and the second wall between the first wall and the second wall A feature point extraction unit that extracts a feature point of the first wall surface and a feature point of the second wall surface;
By performing three-dimensional reconstruction using the extracted first wall feature points, the three-dimensional coordinates of the first wall in the virtual space are calculated, and the extracted second wall feature points are calculated. A three-dimensional coordinate calculation unit that calculates three-dimensional coordinates of the second wall surface in the virtual space by performing three-dimensional restoration using:
The distance between the first wall surface and the camera in the virtual space is calculated using the calculated three-dimensional coordinates of the first wall surface, and the calculated three-dimensional coordinates of the second wall surface are used. A distance calculation unit that calculates a distance between the first wall surface and the camera in the virtual space;
A distance calculation unit that calculates an inter-camera distance which is a distance between a camera before movement and a camera after movement substantially parallel to the first wall surface and the second wall surface in the virtual space;
The calculated inter-camera distance, the calculated distance between the first wall and the camera in the virtual space, the calculated distance between the second wall and the camera in the virtual space, and A movement distance calculation unit that calculates an actual camera movement distance using a first wall surface and an actual distance between the second wall surface;
Using the calculated actual camera movement distance and the camera parameters of the camera, the image coordinates of the movement prediction point of the tracking point which is the feature point to be tracked on the wall surface are calculated, and the image of the movement prediction point A camera that calculates coordinate deviation between coordinates and an image coordinate of the tracking point in an image captured by the camera after the movement, and changes parameters of the camera so as to reduce the calculated coordinate deviation. A calibration parameter calculation unit,
Camera calibration system comprising:
前記抽出された特徴点を用いて３次元復元を行うことにより、仮想空間における壁面の３次元座標を算出する３次元座標算出ステップと、
前記算出された壁面の３次元座標を用いて、前記仮想空間における前記壁面とカメラとの距離を算出する距離算出ステップと、
前記仮想空間における、移動前のカメラと前記壁面に対して略平行に移動した後のカメラとの距離であるカメラ間距離を算出する距離算出ステップと、
前記算出されたカメラ間距離と、前記算出された前記仮想空間における前記壁面とカメラとの距離と、前記壁面とカメラの間の実際の距離とを用いて、実際のカメラ移動距離を算出する移動距離算出ステップと、
前記算出された実際のカメラ移動距離と、前記カメラのカメラパラメータを用いて、前記壁面の追跡対象とする特徴点である追跡点の移動予測点のイメージ座標を算出し、当該移動予測点のイメージ座標と、前記移動した後のカメラによって撮像された画像における前記追跡点のイメージ座標との間の座標ずれを算出し、前記算出された座標ずれが小さくなるよう、前記カメラパラメータを変更するカメラ校正パラメータ算出ステップと、
を有するカメラ校正方法。 A feature point extraction step of extracting feature points of the wall surface from an image captured by a camera mounted on the vehicle while the vehicle is moving substantially parallel to the wall surface;
A three-dimensional coordinate calculating step of calculating three-dimensional coordinates of a wall surface in a virtual space by performing three-dimensional restoration using the extracted feature points;
A distance calculation step of calculating a distance between the wall surface and the camera in the virtual space using the calculated three-dimensional coordinates of the wall surface;
A distance calculation step of calculating an inter-camera distance which is a distance between a camera before movement and a camera after movement substantially parallel to the wall surface in the virtual space;
Movement for calculating an actual camera movement distance using the calculated inter-camera distance, the calculated distance between the wall surface and the camera in the virtual space, and the actual distance between the wall surface and the camera Distance calculation step,
Using the calculated actual camera movement distance and the camera parameters of the camera, the image coordinates of the movement prediction point of the tracking point which is the feature point to be tracked on the wall surface are calculated, and the image of the movement prediction point Camera calibration for calculating a coordinate deviation between coordinates and an image coordinate of the tracking point in an image captured by the camera after the movement, and changing the camera parameter so as to reduce the calculated coordinate deviation Parameter calculation step,
Camera calibration method.
前記抽出された第１の壁面の特徴点を用いて３次元復元を行うことにより、仮想空間における前記第１の壁面の３次元座標を算出し、前記抽出された第２の壁面の特徴点を用いて３次元復元を行うことにより、仮想空間における前記第２の壁面の３次元座標を算出する３次元座標算出ステップと、
前記算出された第１の壁面の３次元座標を用いて、前記仮想空間における前記第１の壁面とカメラとの距離を算出し、前記算出された第２の壁面の３次元座標を用いて、前記仮想空間における前記第１の壁面とカメラとの距離を算出する距離算出ステップと、
前記仮想空間における、移動前のカメラと前記第１の壁面及び前記第２の壁面に対して略平行に移動した後のカメラとの距離であるカメラ間距離を算出する距離算出ステップと、
前記算出されたカメラ間距離と、前記算出された前記仮想空間における前記第１の壁面とカメラとの距離と、前記算出された前記仮想空間における前記第２の壁面とカメラとの距離と、前記第１の壁面と前記第２の壁面の間の実際の距離とを用いて、実際のカメラ移動距離を算出する移動距離算出ステップと、
前記算出された実際のカメラ移動距離と、前記カメラのカメラパラメータを用いて、前記壁面の追跡対象とする特徴点である追跡点の移動予測点のイメージ座標を算出し、当該移動予測点のイメージ座標と、前記移動した後のカメラによって撮像された画像における前記追跡点のイメージ座標との間の座標ずれを算出し、前記算出された座標ずれが小さくなるよう、前記カメラのパラメータを変更するカメラ校正パラメータ算出ステップと、
を有するカメラ校正方法。 From an image captured by a camera mounted on the vehicle while the vehicle is moving substantially parallel to the first wall and the second wall between the first wall and the second wall A feature point extracting step of extracting a feature point of the first wall surface and a feature point of the second wall surface;
By performing three-dimensional reconstruction using the extracted first wall feature points, the three-dimensional coordinates of the first wall in the virtual space are calculated, and the extracted second wall feature points are calculated. A three-dimensional coordinate calculating step of calculating three-dimensional coordinates of the second wall surface in the virtual space by performing three-dimensional restoration using:
The distance between the first wall surface and the camera in the virtual space is calculated using the calculated three-dimensional coordinates of the first wall surface, and the calculated three-dimensional coordinates of the second wall surface are used. A distance calculating step of calculating a distance between the first wall surface and the camera in the virtual space;
A distance calculation step of calculating an inter-camera distance which is a distance between the camera before movement and the camera after movement substantially parallel to the first wall surface and the second wall surface in the virtual space;
The calculated inter-camera distance, the calculated distance between the first wall and the camera in the virtual space, the calculated distance between the second wall and the camera in the virtual space, and A movement distance calculation step of calculating an actual camera movement distance using a first wall surface and an actual distance between the second wall surface;
Using the calculated actual camera movement distance and the camera parameters of the camera, the image coordinates of the movement prediction point of the tracking point which is the feature point to be tracked on the wall surface are calculated, and the image of the movement prediction point A camera that calculates coordinate deviation between coordinates and an image coordinate of the tracking point in an image captured by the camera after the movement, and changes parameters of the camera so as to reduce the calculated coordinate deviation. Calibration parameter calculation step;
Camera calibration method.
壁面に対して略平行に車両が移動中に当該車両に搭載されたカメラによって撮像された画像から、当該壁面の特徴点を抽出する特徴点抽出部と、
前記抽出された特徴点を用いて３次元復元を行うことにより、仮想空間における壁面の３次元座標を算出する３次元座標算出部と、
前記算出された壁面の３次元座標を用いて、前記仮想空間における前記壁面とカメラとの距離を算出する距離算出部と、
前記仮想空間における、移動前のカメラと前記壁面に対して略平行に移動した後のカメラとの距離であるカメラ間距離を算出する距離算出部と、
前記算出されたカメラ間距離と、前記算出された前記仮想空間における前記壁面とカメラとの距離と、前記壁面とカメラの間の実際の距離とを用いて、実際のカメラ移動距離を算出する移動距離算出部と、
前記算出された実際のカメラ移動距離と、前記カメラのカメラパラメータを用いて、前記壁面の追跡対象とする特徴点である追跡点の移動予測点のイメージ座標を算出し、当該移動予測点のイメージ座標と、前記移動した後のカメラによって撮像された画像における前記追跡点のイメージ座標との間の座標ずれを算出し、前記算出された座標ずれが小さくなるよう、前記カメラパラメータを変更するカメラ校正パラメータ算出部
として機能させるためのプログラム。 Computer,
A feature point extraction unit that extracts feature points of the wall surface from an image captured by a camera mounted on the vehicle while the vehicle is moving substantially parallel to the wall surface;
A three-dimensional coordinate calculation unit that calculates three-dimensional coordinates of a wall surface in a virtual space by performing three-dimensional reconstruction using the extracted feature points;
A distance calculation unit that calculates the distance between the wall surface and the camera in the virtual space using the calculated three-dimensional coordinates of the wall surface;
A distance calculation unit that calculates an inter-camera distance which is a distance between a camera before movement and a camera after movement substantially parallel to the wall surface in the virtual space;
Movement for calculating an actual camera movement distance using the calculated inter-camera distance, the calculated distance between the wall surface and the camera in the virtual space, and the actual distance between the wall surface and the camera A distance calculation unit,
Using the calculated actual camera movement distance and the camera parameters of the camera, the image coordinates of the movement prediction point of the tracking point which is the feature point to be tracked on the wall surface are calculated, and the image of the movement prediction point Camera calibration for calculating a coordinate deviation between coordinates and an image coordinate of the tracking point in an image captured by the camera after the movement, and changing the camera parameter so as to reduce the calculated coordinate deviation A program for functioning as a parameter calculation unit.
第１の壁面と第２の壁面との間を車両が当該第１の壁面及び当該第２の壁面に対して略平行に移動中に当該車両に搭載されたカメラによって撮像された画像から、当該第１の壁面の特徴点及び当該第２の壁面の特徴点を抽出する特徴点抽出部と、
前記抽出された第１の壁面の特徴点を用いて３次元復元を行うことにより、仮想空間における前記第１の壁面の３次元座標を算出し、前記抽出された第２の壁面の特徴点を用いて３次元復元を行うことにより、仮想空間における前記第２の壁面の３次元座標を算出する３次元座標算出部と、
前記算出された第１の壁面の３次元座標を用いて、前記仮想空間における前記第１の壁面とカメラとの距離を算出し、前記算出された第２の壁面の３次元座標を用いて、前記仮想空間における前記第１の壁面とカメラとの距離を算出する距離算出部と、
前記仮想空間における、移動前のカメラと前記第１の壁面及び前記第２の壁面に対して略平行に移動した後のカメラとの距離であるカメラ間距離を算出する距離算出部と、
前記算出されたカメラ間距離と、前記算出された前記仮想空間における前記第１の壁面とカメラとの距離と、前記算出された前記仮想空間における前記第２の壁面とカメラとの距離と、前記第１の壁面と前記第２の壁面の間の実際の距離とを用いて、実際のカメラ移動距離を算出する移動距離算出部と、
前記算出された実際のカメラ移動距離と、前記カメラのカメラパラメータを用いて、前記壁面の追跡対象とする特徴点である追跡点の移動予測点のイメージ座標を算出し、当該移動予測点のイメージ座標と、前記移動した後のカメラによって撮像された画像における前記追跡点のイメージ座標との間の座標ずれを算出し、前記算出された座標ずれが小さくなるよう、前記カメラのパラメータを変更するカメラ校正パラメータ算出部
として機能させるためのプログラム。 Computer,
From an image captured by a camera mounted on the vehicle while the vehicle is moving substantially parallel to the first wall and the second wall between the first wall and the second wall A feature point extraction unit that extracts a feature point of the first wall surface and a feature point of the second wall surface;
By performing three-dimensional reconstruction using the extracted first wall feature points, the three-dimensional coordinates of the first wall in the virtual space are calculated, and the extracted second wall feature points are calculated. A three-dimensional coordinate calculation unit that calculates three-dimensional coordinates of the second wall surface in the virtual space by performing three-dimensional restoration using:
The distance between the first wall surface and the camera in the virtual space is calculated using the calculated three-dimensional coordinates of the first wall surface, and the calculated three-dimensional coordinates of the second wall surface are used. A distance calculation unit that calculates a distance between the first wall surface and the camera in the virtual space;
A distance calculation unit that calculates an inter-camera distance which is a distance between a camera before movement and a camera after movement substantially parallel to the first wall surface and the second wall surface in the virtual space;
The calculated inter-camera distance, the calculated distance between the first wall and the camera in the virtual space, the calculated distance between the second wall and the camera in the virtual space, and A movement distance calculation unit that calculates an actual camera movement distance using a first wall surface and an actual distance between the second wall surface;
Using the calculated actual camera movement distance and the camera parameters of the camera, the image coordinates of the movement prediction point of the tracking point which is the feature point to be tracked on the wall surface are calculated, and the image of the movement prediction point A camera that calculates coordinate deviation between coordinates and an image coordinate of the tracking point in an image captured by the camera after the movement, and changes parameters of the camera so as to reduce the calculated coordinate deviation. A program to function as a calibration parameter calculation unit.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017214061A JP6890293B2 (en) | 2017-11-06 | 2017-11-06 | Camera calibration device, camera calibration system, camera calibration method and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017214061A JP6890293B2 (en) | 2017-11-06 | 2017-11-06 | Camera calibration device, camera calibration system, camera calibration method and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019087858A true JP2019087858A (en) | 2019-06-06 |
| JP6890293B2 JP6890293B2 (en) | 2021-06-18 |
Family
ID=66764334
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017214061A Active JP6890293B2 (en) | 2017-11-06 | 2017-11-06 | Camera calibration device, camera calibration system, camera calibration method and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6890293B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111462249A (en) * | 2020-04-02 | 2020-07-28 | 北京迈格威科技有限公司 | Calibration data acquisition method, calibration method and device for traffic camera |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012143036A1 (en) * | 2011-04-18 | 2012-10-26 | Connaught Electronics Limited | Online vehicle camera calibration based on continuity of features |
| JP2014217052A (en) * | 2013-04-23 | 2014-11-17 | ゼロックス コーポレイションＸｅｒｏｘ Ｃｏｒｐｏｒａｔｉｏｎ | Traffic camera calibration update utilizing scene analysis |
| JP2017139600A (en) * | 2016-02-03 | 2017-08-10 | クラリオン株式会社 | Camera calibration device |
| JP2017139612A (en) * | 2016-02-03 | 2017-08-10 | パナソニックＩｐマネジメント株式会社 | On-vehicle camera calibration system |
-
2017
- 2017-11-06 JP JP2017214061A patent/JP6890293B2/en active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012143036A1 (en) * | 2011-04-18 | 2012-10-26 | Connaught Electronics Limited | Online vehicle camera calibration based on continuity of features |
| JP2014217052A (en) * | 2013-04-23 | 2014-11-17 | ゼロックス コーポレイションＸｅｒｏｘ Ｃｏｒｐｏｒａｔｉｏｎ | Traffic camera calibration update utilizing scene analysis |
| JP2017139600A (en) * | 2016-02-03 | 2017-08-10 | クラリオン株式会社 | Camera calibration device |
| JP2017139612A (en) * | 2016-02-03 | 2017-08-10 | パナソニックＩｐマネジメント株式会社 | On-vehicle camera calibration system |
| US20180286078A1 (en) * | 2016-02-03 | 2018-10-04 | Panasonic Intellectual Property Management Co., Ltd. | Vehicle-mounted camera calibration system |
| EP3416367A1 (en) * | 2016-02-03 | 2018-12-19 | Clarion Co., Ltd. | Camera calibration device |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111462249A (en) * | 2020-04-02 | 2020-07-28 | 北京迈格威科技有限公司 | Calibration data acquisition method, calibration method and device for traffic camera |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6890293B2 (en) | 2021-06-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7054803B2 (en) | Camera parameter set calculation device, camera parameter set calculation method and program | |
| EP3367677B1 (en) | Calibration apparatus, calibration method, and calibration program | |
| US10079975B2 (en) | Image distortion correction of a camera with a rolling shutter | |
| WO2017135081A1 (en) | Vehicle-mounted camera calibration system | |
| JP7038345B2 (en) | Camera parameter set calculation method, camera parameter set calculation program and camera parameter set calculation device | |
| US20160176343A1 (en) | Camera Calibration Device, Camera Calibration System, and Camera Calibration Method | |
| US20170019657A1 (en) | Stereo auto-calibration from structure-from-motion | |
| CN108692719B (en) | Object detection device | |
| US10645365B2 (en) | Camera parameter set calculation apparatus, camera parameter set calculation method, and recording medium | |
| KR20120126016A (en) | The surroundview system camera automatic calibration-only extrinsic parameters | |
| JP2007263669A (en) | Three-dimensional coordinates acquisition system | |
| EP3332387B1 (en) | Method for calibration of a stereo camera | |
| KR20210049581A (en) | Apparatus for acquisition distance for all directions of vehicle | |
| CN108362205B (en) | Space distance measuring method based on fringe projection | |
| KR20220113781A (en) | How to measure the topography of your environment | |
| CN113487683B (en) | Target tracking system based on trinocular vision | |
| CN110505468B (en) | Test calibration and deviation correction method for augmented reality display equipment | |
| CN110136047B (en) | Method for acquiring three-dimensional information of static target in vehicle-mounted monocular image | |
| JP2017142613A (en) | Information processing device, information processing system, information processing method and information processing program | |
| CN114494466B (en) | External parameter calibration method, device and equipment and storage medium | |
| KR20130034528A (en) | Position measuring method for street facility | |
| CN114777768A (en) | High-precision positioning method and system for satellite rejection environment and electronic equipment | |
| CN111105467A (en) | Image calibration method and device and electronic equipment | |
| CN111998834B (en) | Crack monitoring method and system | |
| CN112712566A (en) | Binocular stereo vision sensor measuring method based on structure parameter online correction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200518 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210318 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210413 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210507 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6890293 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| SZ03 | Written request for cancellation of trust registration |
Free format text: JAPANESE INTERMEDIATE CODE: R313Z03 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |