KR101245529B1 - Camera calibration method - Google Patents

Camera calibration method Download PDF

Info

Publication number
KR101245529B1
KR101245529B1 KR1020090022404A KR20090022404A KR101245529B1 KR 101245529 B1 KR101245529 B1 KR 101245529B1 KR 1020090022404 A KR1020090022404 A KR 1020090022404A KR 20090022404 A KR20090022404 A KR 20090022404A KR 101245529 B1 KR101245529 B1 KR 101245529B1
Authority
KR
South Korea
Prior art keywords
coordinate system
reference range
coordinates
calibration
image
Prior art date
Application number
KR1020090022404A
Other languages
Korean (ko)
Other versions
KR20100104166A (en
Inventor
이두호
Original Assignee
주식회사 만도
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 만도 filed Critical 주식회사 만도
Priority to KR1020090022404A priority Critical patent/KR101245529B1/en
Publication of KR20100104166A publication Critical patent/KR20100104166A/en
Application granted granted Critical
Publication of KR101245529B1 publication Critical patent/KR101245529B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

본 발명은 한 쌍의 데이터와 기준 범위를 이용하여 차량의 데이터 로거에 적합한 캘리브레이션을 수행하는 카메라 캘리브레이션 방법에 관한 것이다.The present invention relates to a camera calibration method for performing a calibration suitable for a data logger of a vehicle using a pair of data and a reference range.

이를 위해 본 발명은 특정 지점의 실좌표를 측정하는 단계;와 실좌표계의 기준범위 좌표를 설정하는 단계;와 상기 실좌표계의 기준범위 좌표를 캘리브레이션 행렬로 변환하여 영상 좌표계의 기준범위 좌표를 설정하는 단계;와 상기 영상좌표계의 기준범위 좌표를 조정하여 카메라 캘리브레이션을 수행하는 단계;를 포함하므로, 한 개의 데이터 쌍과 기준 범위만으로 데이터 로거의 카메라 캘리브레이션을 신속하고 간편하게 수행할 수 있다.To this end, the present invention comprises the steps of measuring the real coordinates of a specific point; and setting the reference range coordinates of the real coordinate system; and converting the reference range coordinates of the real coordinate system into a calibration matrix to set the reference range coordinates of the image coordinate system And calibrating the reference range coordinates of the image coordinate system to perform camera calibration. Accordingly, the camera calibration of the data logger can be performed quickly and simply using only one data pair and the reference range.

Description

카메라 캘리브레이션 방법{CAMERA CALIBRATION METHOD}Camera calibration method {CAMERA CALIBRATION METHOD}

본 발명은 카메라 캘리브레이션 방법에 관한 것으로서, 더욱 상세하게는 차량의 데이터 로거에 적합한 캘리브레이션을 수행하는 카메라 캘리브레이션 방법에 관한 것이다.The present invention relates to a camera calibration method, and more particularly, to a camera calibration method for performing a calibration suitable for a data logger of a vehicle.

일반적으로 차량에 카메라를 장착시켜 주위를 감시하는 시스템이 널리 알려져 있다. 이와 같은 시스템은 차량에 설치된 복수 대의 카메라 화상을 수취하고 투시변환에 의하여 가상시점으로부터 합성화상을 생성한다.In general, a system for monitoring a surrounding by mounting a camera in a vehicle is widely known. Such a system receives a plurality of camera images installed in a vehicle and generates a composite image from a virtual viewpoint by perspective transformation.

이 때, 차량에 설치된 카메라가 어느 위치, 어느 방향으로 장착되어 있는지를 미리 정확하게 계산해 낼 필요가 있으며, 이러한 계산을 카메라의 캘리브레이션(calibration)이라 한다. 캘리브레이션 방법으로는 좌표위치를 이미 알고 있는 특징점을 각각의 카메라로 촬영하고, 각 특징점의 카메라 화상 상에서의 좌표와 실제 공간좌표를 대응시킨 1조의 데이터를 이용하는 방법이 있다.At this time, it is necessary to accurately calculate in advance which position and in which direction the camera installed in the vehicle is mounted, and this calculation is called a calibration of the camera. As a calibration method, there is a method of photographing a feature point that already knows a coordinate position with each camera, and using a set of data in which coordinates on the camera image of each feature point correspond to actual spatial coordinates.

또한, 카메라 캘리브레이션에 관해서는 로봇 핸들링 장치에서 로봇 좌표계에 대한 고정 3차원 시각수단의 설치 오차를 구하는 기술(일본특허공보 특공평 7-27408호에 게시)등이 알려져 있다. 그러나 차량과 같은 이동체에 탑재된 카메라 의 캘리브레이션에 대해서는 아직 유효한 기술이 확립되어 있지 못한 것이 실정이다.Moreover, regarding camera calibration, the technique (published in Unexamined-Japanese-Patent No. 7-27408) etc. which finds the installation error of the fixed three-dimensional visual means with respect to a robot coordinate system in a robot handling apparatus are known. However, there is no effective technology yet established for the calibration of cameras mounted on moving objects such as vehicles.

또한, 차량에 설치된 데이터 로거(data logger)에서는 센서의 측정치와 실제 물체의 위치를 비교, 검증하기 위해 카메라를 도입하고, 센서의 측정위치를 카메라의 영상좌표로 변환하는 기술을 필요로 한다. 이 때, 종래의 기술에 의한 캘리브레이션 방법은 정확한 보정을 위해 영상 좌표계와 실좌표계 사이에 최소 8개의 위치데이터 쌍이 필요하다. 구체적으로, 기존의 카메라 캘리브레이션 파라미터의 계산은 이론적으로 8개의 데이터 쌍을 사용하므로 정확도가 높은 방법을 사용하고 있다. 그 계산과정을 알아보면, 아래의 식은 3차원의 일반적인 경우의 파라미터 P와 P를 통해 x-y-z의 실좌표계의 데이터를 ix-iy의 이미지 좌표계로 변환하는 관계식이다.In addition, a data logger installed in a vehicle requires a technology to introduce a camera to compare and verify the position of the sensor and the position of the actual object, and to convert the position of the sensor into the image coordinates of the camera. In this case, the calibration method according to the related art requires at least eight position data pairs between the image coordinate system and the real coordinate system for accurate correction. Specifically, the conventional camera calibration parameter calculation uses 8 data pairs, and therefore uses a highly accurate method. Looking at the calculation process, the following equation is a relational expression converting the data of the real coordinate system of x-y-z into the image coordinate system of ix-iy through the parameters P and P in the three-dimensional general case.

Figure 112009015910111-pat00001
Figure 112009015910111-pat00001

이 때, z = 0(x-y 평면에서만 고려)이라고 가정하고, 모든 원소를 m34로 나누면, 다음과 같다.Assuming that z = 0 (only considered in the xy plane) and dividing all elements by m 34 ,

Figure 112009015910111-pat00002
Figure 112009015910111-pat00002

Figure 112009015910111-pat00003
Figure 112009015910111-pat00003

이 때 변환 행렬 P는 다음과 같은 계산으로 구할 수 있다.In this case, the conversion matrix P can be obtained by the following calculation.

Figure 112009015910111-pat00004
Figure 112009015910111-pat00004

상술한 행렬식을 검토하면, 데이터 쌍이 4개 있어야 연립방정식 8개를 얻어서 캘리브레이션 행렬을 구할 수 있다는 것을 알 수 있다.Examining the above determinants, it can be seen that only four data pairs can be obtained to obtain eight simultaneous equations to obtain a calibration matrix.

그러나, 종래의 캘리브레이션 행렬을 구하는 방법은 모두 영상처리 시스템에서 사용되는 높은 정확도를 요구하는 변환을 대상으로 고안된 방법이므로 단순히 캘리브레이션을 비교, 검증 용도로 사용하는 차량의 데이터 로거에서 사용되기에는 적합하지 않다는 문제가 있다.However, the conventional methods of obtaining the calibration matrix are not suitable for use in data loggers of vehicles that simply compare and verify calibrations because they are designed for transformations requiring high accuracy used in image processing systems. there is a problem.

본 발명은 전술한 문제점을 해결하기 위한 것으로, 본 발명의 목적은 차량의 데이터 로거에 적합한 캘리브레이션을 수행하는 방법을 제시하는 것이다. SUMMARY OF THE INVENTION The present invention has been made to solve the above problems, and an object of the present invention is to provide a method for performing a calibration suitable for a data logger of a vehicle.

전술한 목적을 달성하기 위한 본 발명의 일실시예에 의한 카메라 캘리브레이션 방법은 특정 지점의 실좌표를 측정하는 단계;와 실좌표계의 기준범위 좌표를 설정하는 단계;와 상기 실좌표계의 기준범위 좌표를 캘리브레이션 행렬로 변환하여 영상 좌표계의 기준범위 좌표를 설정하는 단계;와 상기 영상좌표계의 기준범위 좌표를 조정하여 카메라 캘리브레이션을 수행하는 단계;를 포함하는 것이 바람직하다.Camera calibration method according to an embodiment of the present invention for achieving the above object comprises the steps of measuring the actual coordinates of a specific point; and setting the reference range coordinates of the real coordinate system; and the reference range coordinates of the real coordinate system And converting the calibration matrix into a reference range coordinate of the image coordinate system; and adjusting a reference range coordinate of the image coordinate system to perform camera calibration.

상기 실좌표계의 기준범위는 직사각형 형태이고 상기 영상좌표계의 기준범위는 사다리꼴 형태인 것이 바람직하다.The reference range of the real coordinate system is rectangular, and the reference range of the image coordinate system is preferably trapezoidal.

상기 캘리브레이션 행렬은 상기 특정 지점에 대한 실좌표 및 영상좌표와 상기 실좌표계의 기준범위의 각 변의 길이와 상기 영상좌표계의 기준범위의 각 변의 길이로 계산하는 것이 바람직하다.The calibration matrix may be calculated by the length of each side of the real coordinates and the image coordinates of the specific point and the reference range of the real coordinate system and the length of each side of the reference range of the image coordinate system.

상기 캘리브레이션 행렬은 상기 영상좌표계의 기준범위의 각 변의 길이를 조정하여 변경할 수 있는 것이 바람직하다.The calibration matrix may be changed by adjusting the length of each side of the reference range of the image coordinate system.

이상에서 상세히 살펴본 바와 같이, 본 발명의 카메라 캘리브레이션 방법은 한 개의 데이터 쌍과 기준 범위의 도입으로 차량의 데이터 로거에 적합한 카메라 캘리브레이션을 수행할 수 있다는 효과가 있다.As described in detail above, the camera calibration method of the present invention has an effect of performing a camera calibration suitable for a data logger of a vehicle by introducing one data pair and a reference range.

이하에서는 본 발명의 바람직한 실시예를 본 도면을 참조하여 상세하게 설명하도록 한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the drawings.

도 1은 본 발명의 일실시예에 의한 차량에 설치된 카메라와 센서의 위치를 설명하기 위한 개략적인 구성도이다.1 is a schematic diagram illustrating the position of a camera and a sensor installed in a vehicle according to an embodiment of the present invention.

도 1에 도시한 바와 같이, 본 발명은 카메라(20)와 센서(10)의 피사체가 2차원 평면으로 근사화 가능한 경우에 적용된다. 즉, 차량에서는 카메라(20)와 센서(10)의 설치 높이(b)가 감지 거리(a)에 비해 상대적으로 작아 무시할 수 있으므로 피사체가 2차원 평면으로 근사화 가능하다. 또한, 카메라(20)와 센서(10)의 각각의 x-y 좌표 상의 거리가 0이라고 가정한다. 그러면 센서(10)의 감지 정보는 x-y 좌표계로 주어지고, 카메라(20)의 영상좌표계는 ix-iy 좌표계로 주어지게 되므로, 본 발명에서는 센서(10)에서 측정된 실좌표 (x,y)를 영상좌표(ix,iy)로 변환하는 카메라(20) 캘리브레이션 행렬을 계산하면 된다. As shown in FIG. 1, the present invention is applied when the subject of the camera 20 and the sensor 10 can be approximated in a two-dimensional plane. That is, in the vehicle, the installation height b of the camera 20 and the sensor 10 is relatively small compared to the sensing distance a and can be ignored, so that the subject can be approximated to a two-dimensional plane. In addition, it is assumed that the distance on each x-y coordinate of the camera 20 and the sensor 10 is zero. Then, the sensing information of the sensor 10 is given by the xy coordinate system, and the image coordinate system of the camera 20 is given by the ix-iy coordinate system. Thus, in the present invention, the actual coordinates (x, y) measured by the sensor 10 are determined. What is necessary is just to calculate the calibration matrix of the camera 20 converted into image coordinates (ix, iy).

도 2는 본 발명의 일실시예에 의한 데이터 로거의 카메라 캘리브레이션 수행 전 특정지점에 대한 좌표 및 기준범위를 도시한 것이며, 도 3은 본 발명의 일실시예에 의한 데이터 로거의 카메라 캘리브레이션 수행 후 특정지점에 대한 좌표 및 기준범위를 도시한 것이다.2 is a view illustrating coordinates and a reference range for a specific point before performing a camera calibration of a data logger according to an embodiment of the present invention, and FIG. 3 illustrates a particular feature after performing a camera calibration of a data logger according to an embodiment of the present invention. It shows the coordinates and the reference range for the point.

도 2 및 도 3을 참조하여 본 발명의 카메라 캘리브레이션 수행 방법을 알아보면, 본 발명은 종래의 캘리브레이션 파라미터를 구하는 방법과는 달리, 4개의 데이터 쌍을 구하는 것이 아니라 1개의 데이터 쌍과 기준 범위를 도입한다. 1개의 데이터 쌍은 특정 위치에 대해 센서(10)에서 측정한 실좌표 및 영상좌표를 의미하며, 기준 범위는 센서(10) 및 카메라(20)의 비젼 영역을 정하여 표시한 범위를 의미한다. 도 2(a)에서 보이는 바와 같이, 실좌표계에서 기준 범위(30)는 직사각형이 되 며, 도 2(b)에서 보이는 바와 같이 실좌표계의 기준범위인 직사각형 영역은 영상 좌표계에서는 사다리꼴 형태의 기준범위(40)로 변환된다. 따라서, 센서(10)와 카메라(20)의 방향이 틀어진 각도를 보정하기 위해서 한 쌍의 데이터를 측정치로부터 구한 뒤, 실좌표계의 기준범위인 직사각형 영역(30)이 영상좌표계에 사다리꼴(40)로 표시되었을 때, 사다리꼴의 윗변(P1), 아랫변(P2) 및 높이(P3) 즉, 3가지의 파라미터를 직관적으로 조절하여 관심영역의 카메라(20) 캘리브레이션을 수행할 수 있다. 예를 들면, 초기에 사용자가 지정한 한 쌍의 점을 실좌표계에서 (xC,yC), 영상좌표계에서 (ixC,iyC)라 하고, 영상좌표계 기준범위의 각 변의 길이인 윗변(P1), 아랫변(P2) 및 높이(P3)를 각각 P1,P2,P3라 하고, 직사각형인 실좌표계 기준범위의 각 변의 길이를 Wx, Wy라고 하면, 캘리브레이션을 위해 필요한 4쌍의 데이터 (x1,y1),(x2,y2),(x3,y3),(x4,y4)와 (ix1,iy1),(ix2,iy2),(ix3,iy3),(ix4,iy4)는 다음과 같이 구할 수 있다.Referring to FIGS. 2 and 3, the camera calibration method according to the present invention will be described. Unlike the conventional method of obtaining a calibration parameter, the present invention introduces one data pair and a reference range instead of obtaining four data pairs. do. One data pair refers to real coordinates and image coordinates measured by the sensor 10 for a specific position, and a reference range refers to a range determined by displaying a vision area of the sensor 10 and the camera 20. As shown in FIG. 2 (a), the reference range 30 is a rectangle in the real coordinate system, and as shown in FIG. 2 (b), the rectangular region which is the reference range of the real coordinate system has a trapezoidal reference range in the image coordinate system. Is converted to 40. Therefore, in order to correct the angle at which the sensor 10 and the camera 20 are distorted, a pair of data is obtained from the measured values, and then the rectangular region 30 which is the reference range of the real coordinate system is trapezoidal 40 in the image coordinate system. When displayed, three parameters, namely, the upper side P 1 , the lower side P 2 , and the height P 3 of the trapezoid may be intuitively adjusted to perform calibration of the camera 20 of the ROI. For example, a pair of points initially designated by the user is called (x C , y C ) in the real coordinate system and (ix C , iy C ) in the image coordinate system, and the upper side P (the length of each side of the reference range of the image coordinate system) 1 ), the lower side (P 2 ) and the height (P 3 ) are P 1 , P 2 , and P 3 , respectively, and the length of each side of the rectangular real coordinate system reference range is Wx, Wy. Pair of data (x 1 , y 1 ), (x 2 , y 2 ), (x 3 , y 3 ), (x 4 , y 4 ) and (ix 1 , iy 1 ), (ix 2 , iy 2 ) , (ix 3 , iy 3 ), (ix 4 , iy 4 ) can be found as

Figure 112009015910111-pat00005
Figure 112009015910111-pat00005

Figure 112009015910111-pat00006
Figure 112009015910111-pat00006

한편, 상술한 과정을 통해 구한 P행렬을 통하여 실좌표계에서 센서(10)에 의해 측정된 모든 지점을 영상좌표계에 표시할 수 있다. 이 때, 도 2(b)에서와 같이, 오른쪽 차선의 가까운 차량(52)의 영상위치는 추정위치(다이아몬드 표시)와 잘 맞으나 오른쪽 차선의 먼 차량(53)의 영상위치가 추정위치(다이아몬드 표시)가 잘 맞지 않으면, 직관적으로 P1의 길이를 감소시킴으로서 도 3(b)에 도시한 것처럼, 영상위치와 추정위치를 어느 정도 유사하게 맞출 수 있다. 한편, 상술한 과정으로 파라미터(P1,P2,P3)가 변경되면, 변경된 파라미터로 캘리브레이션 행렬이 다시 계산된다.Meanwhile, all points measured by the sensor 10 in the real coordinate system may be displayed on the image coordinate system through the P matrix obtained through the above-described process. At this time, as shown in FIG. 2 (b), the image position of the vehicle 52 near the right lane is well matched with the estimated position (diamond display), but the image position of the far vehicle 53 in the right lane is the estimated position (diamond display). If () does not fit well, the image position and the estimated position can be similarly adjusted to some extent as shown in FIG. 3 (b) by intuitively reducing the length of P1. On the other hand, if the parameters P1, P2, P3 are changed by the above-described process, the calibration matrix is recalculated with the changed parameters.

예를 들면, 센서(10)에서 임의의 지점에 대한 좌표 (x,y)를 측정하고, 좌표가 (x-5,y-3), (x-5,y+2), (x+1,y+2), (x+1,y-3)인 기준범위가 정해지면, 영상좌 표계 기준범위의 파라미터 윗변(P1), 아랫변(P2) 및 높이(P3)에 대한 임의의 초기값, 한 쌍의 데이터 쌍((x1,y1),(ix1,ix2)) 및 실좌표계의 기준범위의 각 폭(Wx,Wy)의 길이를 이용하여 캘리브레이션 행렬을 유도하며, 실좌표계 기준범위의 해당 좌표를 유도된 캘리브레이션 행렬을 통해 변환한 결과가 좌표 (ix-15,iy-10), (ix-10,iy+4), (ix+4, iy+4), (ix+8, iy-10)인 사다리꼴의 기준범위로 표시되었을 때,For example, the sensor 10 measures coordinates (x, y) for any point and the coordinates are (x-5, y-3), (x-5, y + 2), (x + 1). , y + 2) and (x + 1, y-3), if the reference range is determined, the arbitrary parameters for the upper side (P 1 ), the lower side (P 2 ) and the height (P 3 ) of the parameter of the reference frame of the image coordinate system A calibration matrix is derived using the initial value of, the pair of data pairs ((x 1 , y 1 ), (ix 1 , ix 2 )), and the length of each width (Wx, Wy) of the reference range of the real coordinate system. , The corresponding coordinates of the real coordinate reference range are derived from the derived calibration matrix: coordinates (ix-15, iy-10), (ix-10, iy + 4), (ix + 4, iy + 4), When expressed as a trapezoidal reference range of (ix + 8, iy-10),

예1)오른쪽 차선의 가까운 차량(52)은 실제 영상위치와 추정위치가 잘 맞으나, 같은 차선상의 먼 차량(53)이 추정위치보다 안쪽에 있는 경우 윗변(P1)의 길이를 감소시켜 사다리꼴의 윗변(P1)을 줄이는 방향으로 기준범위를 조정한다.Example 1 The vehicle 52 near the right lane fits the actual image position and the estimated position well, but when the distant vehicle 53 on the same lane is inward of the estimated position, the length of the upper side P 1 is reduced to reduce the trapezoidal shape. Adjust the reference range in the direction of decreasing the upper side (P 1 ).

예2)오른쪽 차선의 먼 차량(53)은 실제 영상위치와 추정위치가 잘 맞으나, 같은 차선상의 가까운 차량(52)은 추정위치보다 안쪽에 있는 경우 사다리꼴의 아랫변(P2)을 줄이는 방향으로 기준범위를 조정한다.Example 2 The far vehicle 53 in the right lane fits the actual image position and the estimated position well, but when the near vehicle 52 in the same lane is inward of the estimated position, it reduces the trapezoid lower side P 2 . Adjust the reference range.

또한, 추가적으로 관심영역의 여러 감지 데이터의 위치를 현재의 파라미터로 구성된 캘리브레이션 행렬을 이용하여 변환시키고, 변환된 위치를 영상으로 확인하면 캘리브레이션의 정확도를 향상시킬 수 있다.In addition, the accuracy of the calibration may be improved by converting the positions of various sensing data of the ROI using a calibration matrix composed of current parameters and confirming the converted position as an image.

도 4는 본 발명의 일실시예에 의한 데이터 로거의 제어블록도이다.4 is a control block diagram of a data logger according to an embodiment of the present invention.

도 4에 도시한 바와 같이, 데이터 로거는 전방 물체의 실좌표를 측정하는 센서(10)와, 영상을 촬영하는 카메라(20)와, 카메라 캘리브레이션 제어 전반을 관장 하는 제어부(60)와, 영상을 표시하는 표시부(80)와, 캘리브레이션 파라미터를 수동으로 조정하는 입력부(70)를 포함할 수 있다.As shown in FIG. 4, the data logger includes a sensor 10 for measuring actual coordinates of a front object, a camera 20 for capturing an image, a controller 60 for controlling overall camera calibration control, and an image. It may include a display unit 80 to display and an input unit 70 for manually adjusting the calibration parameters.

센서(10)는 차량의 전면에 부착되며, 전방에 있는 물체의 실좌표를 측정하여 그 정보를 제어부(60)에 전송한다.The sensor 10 is attached to the front of the vehicle, measures the actual coordinates of the object in front of the vehicle and transmits the information to the controller 60.

카메라(20)는 차량에 전면에 센서(10)의 설치 높이와 유사하게 부착되며, 전방에 있는 물체의 영상을 촬영하여 제어부(60)에 영상신호를 전송한다.The camera 20 is attached to the front of the vehicle similarly to the installation height of the sensor 10, and photographs an image of an object in front of the vehicle and transmits an image signal to the controller 60.

제어부(60)는 센서(10)에 의해 측정된 실좌표 (x,y)에 대한 기준범위 좌표를 설정하고, 설정된 실좌표계의 기준범위 좌표를 캘리브레이션 행렬로 변환하여 영상좌표계의 기준범위 좌표를 도입하며, 설정된 영상좌표계의 기준범위를 표시부(80)에 표시한다. 한편, 실좌표계의 기준범위는 직사각형 형태이고, 영상좌표계의 기준범위는 사다리꼴 형태이며, 영상좌표계의 기준범위 좌표는 사용자에 의한 입력부(70)의 조작에 의해 조정될 수 있다.The controller 60 sets the reference range coordinates for the real coordinates (x, y) measured by the sensor 10, and converts the reference range coordinates of the set real coordinate system into a calibration matrix to introduce the reference range coordinates of the image coordinate system. The reference range of the set video coordinate system is displayed on the display unit 80. Meanwhile, the reference range of the real coordinate system is a rectangular shape, the reference range of the image coordinate system is a trapezoidal shape, and the reference range coordinate of the image coordinate system may be adjusted by an operation of the input unit 70 by a user.

입력부(70)는 영상좌표계 기준범위의 각 변의 길이를 사용자가 수동으로 조정할 수 있는 인터페이스이며, 제어부(60)는 사용자에 의해 조정된 영상좌표계 기준범위의 각 변의 길이로 새로운 캘리브레이션 행렬을 유도한다.The input unit 70 is an interface through which the user can manually adjust the length of each side of the image coordinate system reference range, and the controller 60 induces a new calibration matrix with the length of each side of the image coordinate system reference range adjusted by the user.

도 5는 본 발명의 일실시예에 의한 카메라의 캘리브레이션을 수행하는 과정을 도시한 흐름도이다.5 is a flowchart illustrating a process of calibrating a camera according to an embodiment of the present invention.

도 5에 도시한 바와 같이, 본 발명의 일실시예에 의한 카메라(20) 캘리브레이션 작업이 개시되면 특정 지점에 대한 실좌표 (x,y) 및 영상좌표 (ix,iy)를 획득한다.(S10)As shown in FIG. 5, when the calibration operation of the camera 20 according to an embodiment of the present invention is started, real coordinates (x, y) and image coordinates (ix, iy) for a specific point are obtained. )

다음으로, 실좌표계의 기준범위(30)를 도입하고, 기준범위에 대한 각 변의 길이(Wx,Wy)와 영상좌표계 기준범위(40)의 각 변의 길이에 대한 임의의 초기값(P1,P2,P3)를 도입한다.(S20)Next, the reference range 30 of the real coordinate system is introduced, and arbitrary initial values P 1 and P for the length of each side of the reference range (Wx, Wy) and the length of each side of the image coordinate system reference range 40 are as follows. 2 , P 3 ) is introduced (S20).

다음으로, 상술한 과정에 의해 획득한 실좌표 (x,y), 영상좌표(ix,iy), 실좌표계의 기준범위의 폭(Wx,Wy) 및 영상좌표계의 기준범위의 파라미터(P1,P2,P3)를 이용하여 캘리브레이션을 수행하기 위해 필요한 4쌍의 데이터 (x1,y1),(x2,y2),(x3,y3),(x4,y4)와 (ix1,iy1),(ix2,iy2),(ix3,iy3),(ix4,iy4)를 상술한 식에 의해 계산한다.(S30)Next, the room coordinates (x, y), image coordinates (ix, iy), the width of the reference range of the room coordinate system (Wx, Wy) and the parameters of the reference range of the image coordinate system obtained by the above process (P 1, 4 pairs of data (x 1 , y 1 ), (x 2 , y 2 ), (x 3 , y 3 ), (x 4 , y 4 ) required for calibration using P 2 , P 3 ) And (ix 1 , iy 1 ), (ix 2 , iy 2 ), (ix 3 , iy 3 ), (ix 4 , iy 4 ) are calculated by the above-described formula. (S30)

다음으로, 상술한 과정에 의해 구한 4쌍의 데이터 (x1,y1),(x2,y2),(x3,y3),(x4,y4)와 (ix1,iy1),(ix2,iy2),(ix3,iy3),(ix4,iy4)로 캘리브레이션 행렬 P를 계산한다.(S40)Next, four pairs of data (x 1 , y 1 ), (x 2 , y 2 ), (x 3 , y 3 ), (x 4 , y 4 ) and (ix 1 , iy) obtained by the above-described process. Calculate the calibration matrix P with 1 ), (ix 2 , iy 2 ), (ix 3 , iy 3 ), (ix 4 , iy 4 ) (S40)

다음으로, 제어부(60)는 사용자에 의해 영상좌표계의 기준범위에 대한 파라미터 P1,P2,P3가 변경되는지 확인하고, 사용자에 의해 P1,P2,P3중 어느 하나 이상의 파라미터가 변경된 것으로 확인되면, 변경된 파라미터로 새로운 4쌍의 데이터를 계산하고, 그 결과값으로 새로운 캘리브레이션 행렬을 계산한다.(S50)Next, the control unit 60 the parameters P 1, P 2, one or more parameters of the confirm that P 3 is changed, and by the user P 1, P 2, P 3 with respect to the reference range of the image coordinate system by the user, When it is confirmed that the change has been made, new four pairs of data are calculated with the changed parameters, and a new calibration matrix is calculated from the resultant values (S50).

한편, 추가적으로 관심 영역의 여러 감지 데이터의 위치를 현재의 파라미터로 구성된 캘리브레이션 매트릭스로 변환시키고, 그 변환된 위치를 영상으로 확인하면 캘리브레이션의 정확도를 향상시킬 수 있다.In addition, the accuracy of calibration may be improved by converting the positions of various sensing data of the ROI into a calibration matrix composed of current parameters, and confirming the converted position as an image.

도 1은 본 발명의 일실시예에 의한 차량에 설치된 카메라와 센서의 위치를 설명하기 위한 개략적인 구성도1 is a schematic diagram illustrating a position of a camera and a sensor installed in a vehicle according to an embodiment of the present invention.

도 2는 본 발명의 일실시예에 의한 데이터 로거의 카메라 캘리브레이션 수행 전 특정지점에 대한 좌표 및 기준범위를 도시한 개략도Figure 2 is a schematic diagram showing the coordinates and the reference range for a specific point before the camera calibration of the data logger according to an embodiment of the present invention

도 3은 본 발명의 일실시예에 의한 데이터 로거의 카메라 캘리브레이션 수행 후 특정지점에 대한 좌표 및 기준범위를 도시한 개략도Figure 3 is a schematic diagram showing the coordinates and the reference range for a specific point after the camera calibration of the data logger according to an embodiment of the present invention

도 4는 본 발명의 일실시예에 의한 데이터 로거의 제어블록도4 is a control block diagram of a data logger according to an embodiment of the present invention.

도 5는 본 발명의 일실시예에 의한 카메라의 캘리브레이션을 수행하는 과정을 도시한 흐름도5 is a flowchart illustrating a process of calibrating a camera according to an embodiment of the present invention.

* 도면의 주요 부분에 대한 부호 설명 *Description of the Related Art [0002]

10 : 센서 20 : 카메라10: sensor 20: camera

30, 40 : 기준 범위30, 40: reference range

Claims (4)

특정 지점의 실좌표를 측정하는 단계;Measuring a true coordinate at a specific point; 실좌표계의 기준범위 좌표를 설정하는 단계;Setting a reference range coordinate of a real coordinate system; 상기 실좌표계의 기준범위 좌표를 캘리브레이션 행렬로 변환하여 영상 좌표계의 기준범위 좌표를 설정하는 단계;Setting reference range coordinates of an image coordinate system by converting reference range coordinates of the real coordinate system into a calibration matrix; 상기 영상좌표계의 기준범위 좌표를 조정하여 카메라 캘리브레이션을 수행하는 단계;를 포함하되,And adjusting a reference range coordinate of the image coordinate system to perform camera calibration. 상기 캘리브레이션 행렬은 하기 수학식 1과 수학식 2를 이용하여 상기 특정 지점에 대한 실좌표 및 영상좌표와 상기 실좌표계의 기준범위에 해당하는 직사각형의 각 변의 길이와 상기 영상좌표계의 기준범위에 해당하는 사다리꼴의 각 변의 길이로 계산하는 카메라 캘리브레이션 방법. The calibration matrix corresponds to the length of each side of a rectangle corresponding to the reference range of the real coordinates and the image coordinates and the real coordinate system and the reference range of the image coordinate system using Equations 1 and 2 below. Camera calibration method that calculates the length of each side of the trapezoid . <수학식1><Equation 1>
Figure 112012092566689-pat00012
Figure 112012092566689-pat00012
 <수학식2>&Quot; (2) &quot;
Figure 112012092566689-pat00013
Figure 112012092566689-pat00013
 (초기에 사용자가 지정한 한 쌍의 점을 실좌표계에서 (xC,yC), 영상좌표계에서 (ixC,iyC)라 하고, 영상좌표계 기준범위의 각 변의 길이인 윗변(P1), 아랫변(P2) 및 높이(P3)를 각각 P1,P2,P3라 하고, 직사각형인 실좌표계 기준범위의 각 변의 길이를 Wx, Wy라고 하면, 캘리브레이션을 위해 필요한 4쌍의 데이터(x1,y1),(x2,y2),(x3,y3),(x4,y4)와(ix1,iy1),(ix2,iy2),(ix3,iy3),(ix4,iy4)를 구할 수 있음.)(Initially, a pair of points specified by the user are called (x C , y C ) in the real coordinate system, (ix C , iy C ) in the image coordinate system, and the upper side (P 1 ), which is the length of each side of the reference range of the image coordinate system, If the lower side (P 2 ) and the height (P 3 ) are P 1 , P 2 , and P 3 , respectively, and the length of each side of the rectangular real coordinate system reference range is Wx and Wy, four pairs of data necessary for calibration are required. (x 1 , y 1 ), (x 2 , y 2 ), (x 3 , y 3 ), (x 4 , y 4 ) and (ix 1 , iy 1 ), (ix 2 , iy 2 ), (ix 3 , iy 3 ), (ix 4 , iy 4 ) can be found.) 삭제delete 삭제delete 제 1 항에 있어서,The method of claim 1, 상기 캘리브레이션 행렬은 상기 영상좌표계의 기준범위의 각 변의 길이를 조정하여 변경할 수 있는 카메라 캘리브레이션 방법.The calibration matrix may be changed by adjusting the length of each side of the reference range of the image coordinate system.
KR1020090022404A 2009-03-17 2009-03-17 Camera calibration method KR101245529B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090022404A KR101245529B1 (en) 2009-03-17 2009-03-17 Camera calibration method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090022404A KR101245529B1 (en) 2009-03-17 2009-03-17 Camera calibration method

Publications (2)

Publication Number Publication Date
KR20100104166A KR20100104166A (en) 2010-09-29
KR101245529B1 true KR101245529B1 (en) 2013-03-21

Family

ID=43008444

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090022404A KR101245529B1 (en) 2009-03-17 2009-03-17 Camera calibration method

Country Status (1)

Country Link
KR (1) KR101245529B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101847812B1 (en) 2016-11-15 2018-04-11 주식회사 와이즈오토모티브 Calibration apparatus and method
KR102044098B1 (en) 2018-05-30 2019-11-12 주식회사 와이즈오토모티브 Apparatus and method for calibrating blind spot detection
US11783507B2 (en) 2020-08-25 2023-10-10 Samsung Electronics Co., Ltd. Camera calibration apparatus and operating method

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101380318B1 (en) * 2013-03-29 2014-04-01 (주)팜비젼 Camera calibration apparatus and method
CN112529968A (en) * 2020-12-22 2021-03-19 上海商汤临港智能科技有限公司 Camera equipment calibration method and device, electronic equipment and storage medium
CN114782549B (en) * 2022-04-22 2023-11-24 南京新远见智能科技有限公司 Camera calibration method and system based on fixed point identification

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080085655A (en) * 2007-03-20 2008-09-24 인천대학교 산학협력단 Apparatus and method of estimating camera position

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080085655A (en) * 2007-03-20 2008-09-24 인천대학교 산학협력단 Apparatus and method of estimating camera position

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101847812B1 (en) 2016-11-15 2018-04-11 주식회사 와이즈오토모티브 Calibration apparatus and method
KR102044098B1 (en) 2018-05-30 2019-11-12 주식회사 와이즈오토모티브 Apparatus and method for calibrating blind spot detection
US11783507B2 (en) 2020-08-25 2023-10-10 Samsung Electronics Co., Ltd. Camera calibration apparatus and operating method

Also Published As

Publication number Publication date
KR20100104166A (en) 2010-09-29

Similar Documents

Publication Publication Date Title
WO2017135081A1 (en) Vehicle-mounted camera calibration system
EP2711895B1 (en) Calibration method and apparatus for in-vehicle camera
KR101245529B1 (en) Camera calibration method
CN107392853B (en) Method and system for video fusion distortion correction and viewpoint fine adjustment of double cameras
WO2017146202A1 (en) Three-dimensional shape data and texture information generation system, photographing control program, and three-dimensional shape data and texture information generation method
WO2009110417A1 (en) Device and method for specifying installment condition of rotatable camera and camera control system equipped with the installment condition specifying device
US7409152B2 (en) Three-dimensional image processing apparatus, optical axis adjusting method, and optical axis adjustment supporting method
JPH08210816A (en) Coordinate system connection method for determining relationship between sensor coordinate system and robot tip part in robot-visual sensor system
CN109556510B (en) Position detection device and computer-readable storage medium
JP5079547B2 (en) Camera calibration apparatus and camera calibration method
US11816787B2 (en) Method for representing an environmental region of a motor vehicle with virtual, elongated distance markers in an image, computer program product as well as display system
JP5959311B2 (en) Data deriving apparatus and data deriving method
JP5183152B2 (en) Image processing device
WO2018154634A1 (en) Projection display device, method for controlling projection display device, and program
JP5173551B2 (en) Vehicle perimeter monitoring apparatus and camera mounting position / posture information setting correction method applied thereto
CN106683133B (en) Method for obtaining target depth image
EP3606061B1 (en) Projection device, projection system and an image calibration method
JP2011155412A (en) Projection system and distortion correction method in the same
KR101504335B1 (en) Device, method and vehicle for providing around view
US9787891B2 (en) Focus control apparatus and focus control method
CN111131801A (en) Projector correction system and method and projector
JP4829066B2 (en) Method for measuring the three-dimensional shape of a tire
JP2009168461A (en) Camera calibration device
JP7040511B2 (en) Information processing equipment and methods
JP2017040542A (en) Information processing device, information processing method, and program

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20151222

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20161222

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20171222

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20181226

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20191219

Year of fee payment: 8