KR101583663B1 - Method for generating calibration indicator of camera for vehicle - Google Patents
Method for generating calibration indicator of camera for vehicle Download PDFInfo
- Publication number
- KR101583663B1 KR101583663B1 KR1020140052214A KR20140052214A KR101583663B1 KR 101583663 B1 KR101583663 B1 KR 101583663B1 KR 1020140052214 A KR1020140052214 A KR 1020140052214A KR 20140052214 A KR20140052214 A KR 20140052214A KR 101583663 B1 KR101583663 B1 KR 101583663B1
- Authority
- KR
- South Korea
- Prior art keywords
- camera
- image
- calibration plate
- matrix
- calibration
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 239000011159 matrix material Substances 0.000 claims abstract description 52
- 230000009466 transformation Effects 0.000 claims abstract description 36
- 238000012937 correction Methods 0.000 claims abstract description 17
- 238000006243 chemical reaction Methods 0.000 claims abstract description 8
- 238000004088 simulation Methods 0.000 claims abstract description 6
- 238000013507 mapping Methods 0.000 claims description 5
- 238000009434 installation Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 claims description 2
- 238000009835 boiling Methods 0.000 abstract description 12
- 238000001514 detection method Methods 0.000 abstract description 6
- 230000000694 effects Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 241000251468 Actinopterygii Species 0.000 description 1
- 235000014676 Phragmites communis Nutrition 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
본 발명은 차량용 카메라의 교정판 제공 방법에 관한 것으로서, 다수의 패턴이 배열되어 이루어지는 차량용 카메라의 교정판 제공 방법에 있어서, 상기 차량용 카메라에 관련된 카메라 내부 파라미터, 카메라의 설치 위치 또는 자세 정보를 포함하는 카메라 외부 파라미터, 격자 무늬를 갖는 평면 교정판 정보를 저장하는 단계; 상기 평면 교정판에 대한 평면 영상을 카메라 모델 시뮬레이션을 이용하여 원근 영상을 생성하는 단계; 상기 생성한 원근 영상에 상기 카메라 내부 파라미터 또는 카메라 외부 파라미터를 적용하고, 상기 원근 영상에 원근 투영 변환을 위한 변환 행렬을 적용하여 왜곡 영상을 생성하는 단계; 상기 왜곡 영상에서 상기 평면 교정판 정보에 대응되는 기준 교정판 영상을 추출하여 스케일링 변환하는 단계; 및 상기 변환한 기준 교정판 영상에 상기 변환 행렬의 역행렬에 해당하는 호모그래피 행렬을 이용하여 비등간격 교정판을 생성하는 단계를 포함하는 것을 특징으로 한다. 따라서, 본 발명은 비등간격 패턴을 가지는 교정판을 제공함으로써 왜곡 영상 내 특징점 좌표를 보다 정확하게 검출할 수 있도록 하여 카메라 교정 성능이 향상되고, 동일한 알고리즘을 사용하면서도 특징점 좌표 검출 정확도를 높일 수 있다.The present invention relates to a method of providing a calibration plate of a camera for a vehicle and a method of providing a calibration plate of a camera for a vehicle in which a plurality of patterns are arranged, Camera external parameters, planar correction plate information having a grid pattern; Generating a perspective image by using a camera model simulation of a plane image of the plane calibration plate; Applying a camera internal parameter or a camera external parameter to the generated perspective image and applying a transformation matrix for perspective projection transformation to the perspective image to generate a distortion image; Extracting a reference calibration plate image corresponding to the plane calibration plate information from the distorted image and performing scaling conversion; And generating a non-equilibrium calibration plate using the homography matrix corresponding to an inverse matrix of the transformation matrix on the transformed reference calibration plate image. Therefore, by providing a calibration plate having a boiling interval pattern, the feature point coordinates in the distorted image can be more accurately detected, the camera calibration performance is improved, and the accuracy of feature point coordinate detection can be improved while using the same algorithm.
Description
본 발명은 차량용 카메라의 교정판 제공 방법에 관한 것으로, 보다 상세하게는 왜곡 영상에서 특징점 추출이 용이한 형태의 비등간격 패턴을 가지는 교정판을 생성할 수 있는 차량용 카메라의 교정판 제공 방법에 관한 것이다.
The present invention relates to a method of providing a calibration plate of a camera for a vehicle, and more particularly, to a method of providing a calibration plate of a camera for a vehicle that can generate a calibration plate having a boiling interval pattern in which a feature point can be easily extracted from a distorted image .
이미지 센서 기반 카메라들은 차량에 널리 사용되고 있다. 차량을 둘러싼 주위 환경의 일부분을 켭쳐하고, 그것을 운전자 앞의 모니터 상에 디스플레이함으로써, 이러한 시스템은 다른 대상물들(다른 차량, 보행자, 사이클리스트, 빌딩, 나무, 도로 및 주차장 표시 등)에 대해 차량의 위치 및 방위의 더 양호한 감지를 가능하게 하고, 교통 상황 전반의 제어를 향상시키며, 이에 따라 차량 운행 안정성을 향상시킨다. Image sensor based cameras are widely used in vehicles. By turning on a portion of the environment surrounding the vehicle and displaying it on the monitor in front of the driver, such a system can be used to determine the position of the vehicle relative to other objects (such as other vehicles, pedestrians, cyclists, buildings, And better orientation of the vehicle, improve control of the overall traffic situation, and thereby improve vehicle drivability.
운전자로 하여금 차량의 모든 주위를 동시에 관찰할 수 있도록 하기 위하여, 복수의 카메라를 포함하는 시스템이 사용된다. 카메라는, 차량의 주위 영역 내의 임의의 포인트가 적어도 하나 이상의 카메라의 광역 시야(FOV: Field Of View) 내에 있도록, 차량에 장착된다. In order to allow the driver to observe all the surroundings of the vehicle at the same time, a system including a plurality of cameras is used. The camera is mounted to the vehicle such that any point within the peripheral region of the vehicle is within a field of view (FOV) of the at least one camera.
많은 공보들, 가령, 일본등록특허 제4765649호에 기재된 차량용 영상 처리 장치, 차량 주위 감시 시스템 및 영상 처리 방법은 가장 일반적으로 사용되는 시스템 구조 중 하나로서, 도 1의 (a)에 도시된 바와 같이, 4 개의 카메라, 즉 차량 그릴 영역의 전방 시야 카메라(Front View Camera; 1)와 후방 패널 또는 부트 리드의 후방 시야 카메라(Rear View Camera; 2) 및 좌우측 사이드 미러 영역의 측방 시야 카메라들(3,4)을 지니고 있다. Many of the publications, for example, the vehicle image processing apparatus, the vehicle surroundings surveillance system, and the image processing method described in Japanese Patent No. 4765649 are one of the most commonly used system structures. As shown in Fig. 1 (a) A front view camera 1 of a vehicle grill area and a rear view camera 2 of a rear panel or boot reed and side view cameras 3 and 4 of left and right side mirror areas, 4).
각각의 카메라에 의하여 켭쳐된 이미지는 이미지 프로세싱 수단을 포함하는 전자 제어 유닛(ECU)으로 전송된다. ECU는 이미지들을 변환("피시-아이(fish-eye)" 효과, 왜곡 등을 제거)하고, 디스플레이된 이미지가 차량 위로부터 촬영된 것과 같은 느낌을 주도록 이미지들을 하나의 시야(single view)로 서로 합친다. ECU는 합성된 이미지를 디스플레이 장치로 전송한다(도 1의 (b) 참조). An image turned on by each camera is transmitted to an electronic control unit (ECU) including image processing means. The ECU is capable of converting images (eliminating "fish-eye" effects, distortion, and the like) and displaying the images in a single view to give the same feeling It combines. The ECU transmits the synthesized image to the display device (see Fig. 1 (b)).
이러한 방식의 장점으로서, 디스플레이된 이미지가 운전자로 하여금 차량 주위 전체를 동시에 볼 수 있도록 해주며 또한 매우 간단하고 자연스러운 형식으로 주차 마커 및 외부 물체에 대한 차량의 상대적 위치를 관찰할 수 있도록 하여 운전을 더욱 쉽고 안전하게 하도록 해준다. The advantage of this method is that the displayed image allows the driver to see the whole area around the vehicle at the same time and also allows the driver to observe the relative position of the vehicle to the parking markers and external objects in a very simple and natural form, It makes it easy and safe.
그러나, 이러한 카메라들이 차량 및 서로에 대하여 오정렬된다면, 디스플레이된 이미지는 운전자의 눈에 불편하게 보일 뿐만 아니라 외부 물체에 대한 거리의 혼동 및 오해를 야기하여 결국 안전을 저해할 수 있다. 도 2는 전방 카메라(1)의 오정렬의 경우에 있어서의 예시적 결과를 나타낸다. However, if such cameras are misaligned with respect to the vehicle and each other, the displayed image may not only be uncomfortable to the eyes of the driver but also cause confusion and misunderstanding of distances to external objects, which may ultimately hinder safety. Fig. 2 shows an exemplary result in the case of misalignment of the front camera 1. Fig.
이러한 문제점을 해결하기 위하여, 카메라의 고정된 위치의 영상의 특징점의 올바른 인식이 요구된다. 만약, 특징점을 제대로 인식하지 못 하게 되면, 작업자가 수동으로 작업을 진행 하여야 한다. 이러한 조작은 차량 조립 라인에서 사용되기에 너무 노동 집약적(labor-intensive)이다.In order to solve such a problem, correct recognition of the feature point of the image at the fixed position of the camera is required. If the minutiae can not be recognized correctly, the worker has to work manually. This operation is too labor-intensive to be used in a vehicle assembly line.
또한, 수동으로 작업을 진행 할 시에 작업자의 숙련도에 따라 작업 시간이 차이가 나게 된다. 작업 시간의 차이는 제품 생산력이 차이를 나타나게 되므로 매출에 집적적인 영향을 미치게 된다. In addition, when the work is manually performed, the working time is different according to the skill of the worker. The difference in the working time will have a cumulative effect on the sales because the product productivity will be different.
종래의 카메라 교정 방법에 관해서는 여러 가지가 제안되어 있으며, 이 중 하나로, 형상이 미리 알려진 것으로서 특징 있는 입체물을 교정용 지표로서 3차원 공간 상에 놓고, 그 입체물의 특징적인 점이 카메라의 화상 좌표계에서 어떻게 표시되는지에 따라 카메라 파라미터를 산출하는 방법이 알려져 있다.Various conventional methods for correcting a camera have been proposed. One of them is known in which a shape is known in advance, and a stereoscopic feature is placed on a three-dimensional space as an index for calibration, and the characteristic points of the three- A method of calculating camera parameters according to how they are displayed is known.
예를 들어, 특징 있는 입체물 교정 지표를 이용하여 11 자유도의 카메라 파라미터를 산출하는 방법이 제시된 바가 있다. 여기에서는, 카메라 파라미터를 결정하기 위해서 특징 있는 입체물을 카메라로 촬상 가능한 위치에 놓고, 입체물이 카메라의 화상 좌표계에서 어느 점으로 표시되는지를 기하학적으로 산출하여, 3차원 공간에서 카메라 파라미터를 결정하는 방법을 취하고 있다. For example, a method of calculating a camera parameter of 11 degrees of freedom using a characteristic three-dimensional calibration index has been proposed. Here, in order to determine camera parameters, a method of determining camera parameters in a three-dimensional space by placing a characteristic three-dimensional object at a position where the three-dimensional object can be captured by the camera, geometrically calculating at which point the three- dimensional object is displayed in the image coordinate system of the camera I am taking.
이와 같이 차량에 카메라를 부착한 후에 카메라의 교정을 수행하는 방법에 있어서, 교정을 수행하는 대상물이 차량에 부착된 카메라인 경우, 공장 등의 차량 조립 라인에서 교정을 수행하게 된다. 생산 현장에서는 특징 있는 입체물을 놓고 교정하는 방법을 취하면 교정 지표로서 입체물을 그때마다 놓는 것은 효율적이지 않고, 또한 재해 방지의 관점에서 교정용으로 주위에 3차원적인 입체물을 놓는 것은 피하는 것이 바람직하며, 카메라의 교정을 수행하는 교정 지표는 공장의 바닥면에 그려진 바닥패턴과 같이 작업자가 밟아도 문제없는 지표인 것이 바람직하다.In the method of performing the calibration of the camera after attaching the camera to the vehicle as described above, when the object to be calibrated is a camera attached to the vehicle, calibration is performed in a vehicle assembly line of a factory or the like. It is not efficient to place the three-dimensional object as the calibration index each time, and it is desirable to avoid placing a three-dimensional solid object around the object for correction in view of disaster prevention, It is preferable that the calibration index for performing the calibration of the camera is an index that is problematic even if the operator steps on it, such as a floor pattern drawn on the floor of the factory.
이러한 문제점을 해결하기 위하여 도 3에 도시된 바와 같이, 차량용 카메라의 교정을 위한 다양한 바닥패턴 형태의 교정지표가 개발되어 있다.In order to solve such a problem, as shown in FIG. 3, various floor pattern-type calibration indices for the calibration of a car camera have been developed.
이러한 교정지표는 (a)와 같은 체스판 무늬나 (b)와 같은 바둑판 무늬의 격자 패턴을 이용하여 격자 패턴의 교차점을 특징점으로 추출한 후, 추출된 특징점을 이용하여 투영변환 파라미터를 산출하여 부감영상(Top-down view)을 생성하게 된다.These calibration indices are obtained by extracting the intersection points of the grid pattern using the chessboard pattern as in (a) or the checkerboard pattern grid as in (b) as feature points, and then calculating the projection transformation parameters using the extracted feature points, (Top-down view).
다른 방식으로는 (c)와 같이 등방 간격으로 배치된 다수의 점패턴 형태의 교정지표를 이용하여 점패턴의 중심점을 특징점으로 추출하는 방식도 사용된다.Alternatively, as shown in (c), a method of extracting a center point of a point pattern as a feature point by using a calibration index of a plurality of dot pattern types arranged at isosceles intervals is also used.
도 4는 후방 시야 카메라가 일반적인 등간격 패턴의 교정 지표를 촬영한 영상의 일례를 도시한 것이다. FIG. 4 shows an example of an image in which a rear vision camera photographs a calibration index of a regular interval pattern.
도 4를 참조하면, 종래의 교정지표들을 이용하여 교정 작업이 수행되는 경우 카메라로부터 먼 외곽 부분은 원근 왜곡과 어안 렌즈의 카메라에 의한 방사 왜곡으로 인해 바닥패턴의 형태가 왜곡되어 보여 특징점이 제대로 인식되기 어려운 문제점이 발생하고 있다. Referring to FIG. 4, when a calibration operation is performed using conventional calibration indices, the shape of the bottom pattern is distorted due to radial distortion caused by the camera of the fisheye lens and perspective distortion far from the camera, There is a problem that it is difficult to be generated.
즉, 외곽 부분은 영상이 압축된 형태로 나타나므로 격자패턴 또는 점패턴의 특징점 간격이 좁아 정확한 특징점 추출이 어려운 문제점이 있으며, 도 4에 도시된 바와 같이, 점 패턴의 경우 외곽에서 원을 인식하게 되면 광각 렌즈의 왜곡으로 인하여 원이 타원으로 나타나게 되어 특징점 추출이 더욱 어려워지는 문제점이 있다. In other words, since the outline part appears as a compressed image, the feature point interval of the grid pattern or the point pattern is narrow, so that accurate feature point extraction is difficult. As shown in FIG. 4, in the case of the point pattern, The circle appears as an ellipse due to the distortion of the wide-angle lens, so that the feature point extraction becomes more difficult.
한편, 한국등록특허 제10-1245906호는 소정의 영역을 둘러싸는 곡선에 의해 형성된 곡선도형과, 곡선도형으로 둘러싸인 영역 내에 교차점을 형성하는 적어도 2개의 직선으로 이루어진 직선도형이 동일평면상에 형성되어 곡선도형을 형성하는 곡선과, 직선도형을 형성하는 직선에 의하여 구분되는 영역이 선으로 분할되어 서로 이웃하는 영역이 다른 색으로 채색되어 있어 차량 탑재 카메라의 병진량을 교정하기 위해 사용되는 교정 지표수단을 제공하고 있다.On the other hand, in Korean Patent No. 10-1245906, a curved figure formed by a curve surrounding a predetermined area and a straight figure composed of at least two straight lines forming an intersection in an area surrounded by a curved figure are formed on the same plane A curved line forming a curved line shape and a calibration indicator means used for calibrating the amount of movement of the camera mounted on the vehicle because the area divided by the straight line forming the straight line shape is divided into lines and the neighboring areas are colored with different colors .
이 경우에, 체크 무늬의 교정용 마커 대신에 사용하는 직선 도형과 곡선 도형으로 이루어진 교정 지표 수단은 에지 검출, 곡선 도형 검출, 직선 도형 검출 및 교차점 검출 등의 특징점 검출 과정이 복잡하다는 문제점이 있다. 또한, 차량 탑재 카메라가 어안 렌즈 카메라인 경우에, 직선 도형과 곡선 도형으로 이루어진 교정 지표 수단을 촬영한 영상도 원근 왜곡과 방사 왜곡으로 인해 왜곡되므로 이 왜곡 영상에서 특징점을 추출하기 어렵다는 문제점이 있다.
In this case, the calibration indicator means including a straight line shape and a curved line shape used in place of the check mark calibration marker has a problem that the feature point detection process such as edge detection, curve shape detection, straight line shape detection and intersection detection is complicated. In addition, when the in-vehicle camera is a fisheye lens camera, the image taken by the calibration index means including the straight line shape and the curved line shape is also distorted due to the perspective distortion and the radial distortion, so that it is difficult to extract the feature point from the distortion image.
본 발명은 카메라 모델, 어안 렌즈의 투영 모델, 카메라 내부 파라미터 및 카메라 외부 파라미터를 포함한 시뮬레이션 정보를 이용하여 평면 교정판의 평면 영상을 왜곡 영상으로 변환하고, 왜곡 영상에서 평면 교정판의 정보에 대응되는 기준 교정판 영상을 추출한 후 스케일링 변환을 통해 특징점 추출이 용이한 형태의 비등간격 패턴을 가지는 교정판을 생성할 수 있는 차량용 카메라의 교정판 제공 방법을 제공한다.
The present invention converts a planar image of a planar calibration plate into a distorted image using simulation information including a camera model, a projection model of a fish-eye lens, a camera internal parameter, and a camera external parameter, There is provided a method of providing a calibration plate for a vehicle camera capable of generating a calibration plate having a shape of a boiling interval pattern that is easy to extract a feature point through scaling conversion after extracting a reference calibration plate image.
실시예들 중에서, 차량용 카메라의 교정판 제공 방법은, 다수의 패턴이 배열되어 이루어지는 차량용 카메라의 교정판 제공 방법에 있어서, 상기 차량용 카메라에 관련된 카메라 내부 파라미터, 카메라의 설치 위치 또는 자세 정보를 포함하는 카메라 외부 파라미터, 격자 무늬를 갖는 평면 교정판 정보를 저장하는 단계; 상기 평면 교정판에 대한 평면 영상을 카메라 모델 시뮬레이션을 이용하여 원근 영상을 생성하는 단계; 상기 생성한 원근 영상에 상기 카메라 내부 파라미터 또는 카메라 외부 파라미터를 적용하고, 상기 원근 영상에 원근 투영 변환을 위한 변환 행렬을 적용하여 왜곡 영상을 생성하는 단계; 상기 왜곡 영상에서 상기 평면 교정판 정보에 대응되는 기준 교정판 영상을 추출하여 스케일링 변환하는 단계; 및 상기 변환한 기준 교정판 영상에 상기 변환 행렬의 역행렬에 해당하는 호모그래피 행렬을 이용하여 비등간격 교정판을 생성하는 단계를 포함하는 것을 특징으로 한다.Among the embodiments, a method of providing a calibration plate for a vehicle camera includes providing a calibration plate of a camera for a vehicle in which a plurality of patterns are arranged, the method comprising the steps of: Camera external parameters, planar correction plate information having a grid pattern; Generating a perspective image by using a camera model simulation of a plane image of the plane calibration plate; Applying a camera internal parameter or a camera external parameter to the generated perspective image and applying a transformation matrix for perspective projection transformation to the perspective image to generate a distortion image; Extracting a reference calibration plate image corresponding to the plane calibration plate information from the distorted image and performing scaling conversion; And generating a non-equilibrium calibration plate using the homography matrix corresponding to an inverse matrix of the transformation matrix on the transformed reference calibration plate image.
상기 카메라 내부 파라미터는 상기 차량용 카메라가 어안 렌즈를 장착한 경우에, 초점거리(focal length), 영상 센서의 1픽셀의 물리적 크기, 주 점(Principal point), 영상 센서의 해상도, 출력 해상도, 어안렌즈의 맵핑 기능 중 적어도 하나 이상의 정보를 포함하는 것을 특징으로 한다.The camera internal parameter is set such that the focal length, the physical size of one pixel of the image sensor, the principal point, the resolution of the image sensor, the output resolution, the fisheye lens, And a mapping function of at least one of the plurality of mapping functions.
상기 카메라 외부 파라미터는 양각(Elevation angle), 수평각(Azimuth angle), 카메라 높이, 카메라 위치, 교정판의 폭, 교정판의 높이 중 적어도 하나 이상의 정보를 포함하는 것을 특징으로 한다.The camera external parameter may include at least one of an elevation angle, an azimuth angle, a camera height, a camera position, a width of the calibration plate, and a height of the calibration plate.
상기 평면 교정판 정보는 상기 평면 교정판의 전체 크기, 상기 평면 교정판 내의 격자 크기 정보 중 적어도 하나 이상의 정보를 포함하는 것을 특징으로 한다.Wherein the planar correction plate information includes at least one of an overall size of the planar correction plate and grid size information in the planar correction plate.
상기 변환 행렬(Tcw)은 양각에 의한 X축 회전을 수행하고, 상기 평면 교정판의 경우에 Z=0이므로 하기 수학식을 이용해 구하고, 상기 왜곡 영상에서 상기 평면 교정판 정보에 대응되는 기준 교정판 영상을 추출하여 스케일링 변환하는 단계는, 하기 수학식을 이용해 원근 투영 행렬(TDD)과 스케일링 변환 행렬(Tsc)을 이용하는 것을 특징으로 한다. Wherein the transformation matrix T cw performs X-axis rotation by a positive angle, and Z = 0 in the case of the plane correction plate, so that the transformation matrix T cw is obtained by using the following equation, The step of extracting and scaling a plate image may be performed by using a perspective projection matrix (T DD ) and a scaling transformation matrix (T sc ) using the following mathematical expression.
한편, 상기 호모그래피 행렬(H)은 변환 행렬(Tcw), 원근 투영 행렬(TDD), 스케일링 변환 행렬(Tsc)을 이용하여 하기 수학식과 같은 표현되는 것을 특징으로 한다.Meanwhile, the homography matrix H is expressed by the following equation using a transformation matrix T cw , a perspective projection matrix T DD , and a scaling transformation matrix T sc .
본 발명의 차량용 카메라의 교정판 제공 방법은 카메라 모델, 어안 렌즈의 투영 모델, 카메라 내부 파라미터 및 카메라 외부 파라미터를 포함한 시뮬레이션 정보를 이용하여 특징점 추출이 용이한 형태의 비등간격 패턴을 가지는 교정판을 생성함으로써 왜곡 영상 내 특징점 좌표를 보다 정확하게 검출할 수 있도록 하여 카메라 교정 성능이 향상되고, 동일한 알고리즘을 사용하면서도 특징점 좌표 검출 정확도를 높일 수 있는 효과가 있다.The method of providing a calibration plate of a camera for a vehicle according to the present invention generates a calibration plate having a boiling interval pattern in which feature points can be easily extracted using simulation information including a camera model, a projection model of a fish eye lens, a camera internal parameter, The feature point coordinates in the distorted image can be more accurately detected, so that the camera calibration performance is improved, and the accuracy of the feature point coordinate detection can be improved while using the same algorithm.
그에 따라 본 발명의 차량용 카메라의 교정판 제공 방법은 비등간격 교정판을 이용한 카메라 교정 시스템에 적용되어 카메라 교정의 정확도를 높이도록 할 수 있고, 그로 인해 정확한 영상 정합이 가능하여 차량 주위를 정확하게 보여줌으로써 운전자의 시인성이 향상되고 외부 물체에 대한 상대적 위치를 정확하게 인식할 수 있어 운전시의 안전성을 향상시킬 수 있는 효과도 있다.
Accordingly, the method of providing a calibration plate for a vehicle camera of the present invention can be applied to a camera calibration system using a boiling distance calibration plate, thereby improving the accuracy of camera calibration, thereby enabling accurate image registration, The visibility of the driver is improved and the relative position with respect to the external object can be accurately recognized, thereby improving the safety during operation.
도 1은 4대의 카메라가 차량에 설치되는 위치 및 이를 이용하여 생성된 탑뷰 영상을 도시한 것이다.
도 2는 전방 카메라의 오정렬시의 탑뷰 영상을 도시한 것이다.
도 3은 종래 차량용 카메라 교정을 위해 사용되는 교정지표들을 도시한 것이다.
도 4는 후방 시야 카메라가 일반적인 체크패턴 및 점패턴의 교정 지표를 촬영한 영상의 일례를 도시한 것이다.
도 5는 본 발명의 일 실시예에 따른 차량용 카메라의 교정판 제공 방법을 설명하는 순서도이다.
도 6은 도 5에 적용되는 월드 좌표계와 영상 좌표계를 설명하는 도면이다.
도 7은 도 5에 의해 생성되는 평면 영상, 왜곡 영상, 기준 교정판 영상 및 비등간격 교정판을 설명하는 도면이다.
도 8은 영상 좌표계에 방사 왜곡을 적용한 상태를 설명하는 도면이다.
도 9는 도 5에 의해 생성된 비등간격 교정판을 설명하는 도면이다. FIG. 1 is a view showing a location where four cameras are installed in a vehicle and a top view image generated using the locations.
2 shows a top view image at the time of misalignment of the front camera.
Figure 3 shows calibration indicators used for conventional vehicle camera calibration.
FIG. 4 shows an example of an image in which a rearview camera photographs a calibration index of a general check pattern and a dot pattern.
5 is a flowchart illustrating a method of providing a calibration plate of a camera for a vehicle according to an embodiment of the present invention.
FIG. 6 is a view for explaining a world coordinate system and an image coordinate system applied to FIG. 5. FIG.
FIG. 7 is a view for explaining a plane image, a distorted image, a reference calibration plate image, and a boiling distance correction plate generated by FIG.
8 is a view for explaining a state in which a radial distortion is applied to an image coordinate system.
FIG. 9 is a view for explaining the boiling distance correction plate produced by FIG. 5; FIG.
본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.The description of the present invention is merely an example for structural or functional explanation, and the scope of the present invention should not be construed as being limited by the embodiments described in the text. That is, the embodiments are to be construed as being variously embodied and having various forms, so that the scope of the present invention should be understood to include equivalents capable of realizing technical ideas. Also, the purpose or effect of the present invention should not be construed as limiting the scope of the present invention, since it does not mean that a specific embodiment should include all or only such effect.
한편, 본 발명에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.Meanwhile, the meaning of the terms described in the present invention should be understood as follows.
"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.The terms "first "," second ", and the like are intended to distinguish one element from another, and the scope of the right should not be limited by these terms. For example, the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component.
어떤 구성요소가 다른 구성요소에 "연결되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.It is to be understood that when an element is referred to as being "connected" to another element, it may be directly connected to the other element, but there may be other elements in between. On the other hand, when an element is referred to as being "directly connected" to another element, it should be understood that there are no other elements in between. On the other hand, other expressions that describe the relationship between components, such as "between" and "between" or "neighboring to" and "directly adjacent to" should be interpreted as well.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다"또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.It should be understood that the singular " include "or" have "are to be construed as including a stated feature, number, step, operation, component, It is to be understood that the combination is intended to specify that it does not preclude the presence or addition of one or more other features, integers, steps, operations, elements, components, or combinations thereof.
각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.In each step, the identification code (e.g., a, b, c, etc.) is used for convenience of explanation, the identification code does not describe the order of each step, Unless otherwise stated, it may occur differently from the stated order. That is, each step may occur in the same order as described, may be performed substantially concurrently, or may be performed in reverse order.
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.
All terms used herein have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs, unless otherwise defined. Commonly used predefined terms should be interpreted to be consistent with the meanings in the context of the related art and can not be interpreted as having ideal or overly formal meaning unless explicitly defined in the present invention.
도 5는 본 발명의 일 실시예에 따른 차량용 카메라의 교정판 제공 방법을 설명하는 순서도이고, 도 6은 도 5에 적용되는 월드 좌표계 및 영상 좌표계를 설명하는 도면이며, 도 7은 도 5에 의해 생성되는 평면 영상, 왜곡 영상, 기준 교정판 영상 및 비등간격 교정판을 설명하는 도면이다. 도 8은 영상 좌표계에 방사 왜곡을 적용한 상태를 설명하는 도면이고, 도 9는 도 5에 의해 생성된 비등간격 교정판을 설명하는 도면이다. FIG. 5 is a flowchart illustrating a method of providing a calibration plate of a camera for a vehicle according to an embodiment of the present invention, FIG. 6 is a view for explaining a world coordinate system and an image coordinate system applied to FIG. 5, A distorted image, a reference calibration plate image, and a boiling distance calibration plate. Fig. 8 is a view for explaining a state in which radial distortion is applied to an image coordinate system, and Fig. 9 is a view for explaining a boiling distance correction plate generated by Fig.
도 5 내지 도 9를 참고하면, 차량용 카메라의 교정판 제공 방법은, 차량용 카메라에 관련된 카메라 내부 파라미터, 카메라의 설치 위치 또는 자세 정보를 포함하는 카메라 외부 파라미터, 격자 무늬를 갖는 평면 교정판 정보를 저장한다.(S1)5 to 9, a method of providing a calibration plate for a vehicle camera includes storing camera internal parameters related to a vehicle camera, camera external parameters including camera installation position or attitude information, and plane calibration plate information having a grid pattern (S1)
카메라 내부 파라미터는 차량용 카메라가 어안 렌즈를 장착한 경우에, 초점거리(focal length), 영상 센서의 1픽셀의 물리적 크기, 주 점(Principal point), 영상 센서의 해상도, 출력 해상도, 어안렌즈의 맵핑 기능 중 적어도 하나 이상의 정보를 포함하고, 어안렌즈의 맵핑 기능은 등거리 투영 방식을 채용하고 방사 왜곡이 발생한다. The internal parameters of the camera are set such that the focal length, the physical size of one pixel of the image sensor, the principal point, the resolution of the image sensor, the output resolution, the mapping of the fisheye lens Function, and the mapping function of the fisheye lens employs an equidistant projection method, and radial distortion occurs.
카메라 외부 파라미터는 양각(Elevation angle), 수평각(Azimuth angle), 카메라 높이, 카메라 위치, 교정판의 폭, 교정판의 높이 중 적어도 하나 이상의 정보를 포함한다. 이러한 카메라 외부 파라미터는 핀홀(Ponhole) 카메라 모델과 카메라 내부 파라미터를 포함한 교정판 생성 작업에 사용되는 시뮬레이션 정보들을 이용하여 계산할 수 있다. The camera external parameter includes at least one of an elevation angle, an azimuth angle, a camera height, a camera position, a width of the calibration plate, and a height of the calibration plate. These camera external parameters can be calculated using the simulation information used in the calibration plate generation including the Ponhole camera model and the camera internal parameters.
카메라 외부 파라미터는 카메라 좌표계와 월드 좌표계 사이의 변환 관계를 설명하는 파라미터로서, 두 좌표계 사이의 회전 및 이동 변환으로 표현될 수 있다. 이러한 카메라 외부 파라미터는 카메라 내부 파라미터와 달리 카메라의 위치 정보와 자세 정보에 따라 달라지고, 월드 좌표계의 정의에 따라 달라질 수 있다.The camera external parameter is a parameter that describes the conversion relationship between the camera coordinate system and the world coordinate system, and can be expressed as a rotation and a motion transformation between two coordinate systems. Unlike the internal parameters of the camera, these external parameters vary depending on the position information and attitude information of the camera, and can be changed according to the definition of the world coordinate system.
핀홀 카메라 모델은 카메라 초점이 핀홀에 해당되고, 모든 빛은 한 점(초점)을 직선으로 통과하여 이미지 평면(영상 센서)에 투영된다는 모델이다.The pinhole camera model is a model in which the camera focus is a pinhole, and all light is projected onto an image plane (image sensor) through a point (focus) in a straight line.
평면 교정판 정보는 평면 교정판의 전체 크기, 평면 교정판 내의 격자의 한변의 길이를 포함한 격자 크기 정보를 포함한다.The plane calibration plate information includes grid size information including the total size of the plane calibration plate and the length of one side of the grid within the plane calibration plate.
차량용 카메라의 교정판 제공 방법은 월드좌표계 상의 평면 교정판에 핀홀 카메라 모델 시뮬레이션을 이용하여 원근 영상을 생성한다.(S2) 이렇게 생성한 원근 영상에 어안 렌즈에 의한 방사 왜곡을 적용하기 위해 카메라 내부 파라미터 또는 카메라 외부 파라미터를 적용하고, 원근 투영 변환을 위한 변환 행렬을 적용하여 도 7에 도시된 바와 같은 왜곡 영상을 생성한다.(S3) 이때, 도 7의 왜곡 영상은 양각이 75도 인 경우에 이동 및 회전 변환이 적용된 영상이다.In order to apply the radial distortion caused by the fisheye lens to the perspective image generated in this way, the camera internal parameter Or camera external parameters, and applies a transformation matrix for perspective projection transformation to generate a distorted image as shown in FIG. 7. (S3) At this time, the distorted image of FIG. And the rotation transformation is applied.
도 6에 도시된 바와 같이, 월드 좌표계의 한 점(X, Y, Z)을 픽셀 좌표계 상의 점(x, y)로 변환하기 위해서는 평면 교정판의 영상을 원근 투영 변환하는 회전 및 이동 행렬을 적용해야 한다. 초점으로부터 거리가 1(unit distance)인 평면을 정규 이미지 평면(normalized image plane)이라고 하고, 이 평면은 실제 존재하지 않는 가상의 이미지 평면이다. 6, in order to convert a point (X, Y, Z) in the world coordinate system into a point (x, y) on the pixel coordinate system, a rotation and movement matrix for applying perspective projection transformation to the image of the plane correction plate is applied Should be. A plane with a distance of 1 (unit distance) from the focal point is called a normalized image plane, and this plane is a virtual image plane that does not actually exist.
x축 회전 변환 행렬(Trx)은 수학식 1과 같고, y축 회전 변환 행렬(Try)은 수학식 2와 같으며, z축 회전 변환 행렬(Trz)은 수학식 3과 같고, 이동 변환 행렬(Tt)은 수학식 4와 같다. The x-axis rotation transformation matrix T rx is expressed by Equation 1, the y-axis rotation transformation matrix T ry is defined by Equation 2, the z-axis rotation transformation matrix T rz is represented by Equation 3, The transformation matrix (T t ) is shown in Equation (4).
수학식 4에서 이동 변환 행렬(Tt)은 4x4 크기의 행렬을 가지고, x축으로 tx 단위, y축으로 ty 단위, z축으로 tz 만큼 이동시킬 수 있다.In Equation (4), the moving transformation matrix (T t ) has a 4x4 matrix, and can be moved by t x units on the x axis, t y units on the y axis, and t z on the z axis.
수학식 1 내지 수학식 4를 이용하면, [R/t]는 월드 좌표계를 카메라 좌표계로 바꾸는 변환 행렬로서, 수학식 5와 같다.Using the equations (1) to (4), [R / t] is a transformation matrix for transforming the world coordinate system into the camera coordinate system.
차량용 카메라의 교정판 제공 방법에 적용되는 회전은 양각(elevation angle)에 의한 x축 회전이 유일하므로 원근 투영 변환을 위한 회전 및 이동 행렬(Twc)은 수학식 6과 같다.Since the rotation applied to the method of providing the calibration plate of the vehicle camera is unique in the x-axis rotation due to the elevation angle, the rotation and movement matrix (T wc ) for the perspective projection transformation is expressed by Equation (6).
평면 교정판의 평면 영상을 원근 영상으로 변환하기 위해서는 회전 및 이동 행렬(Twc)의 역행렬을 이용하면 된다. 이때, 평면 교정판이 평면이므로 변환 이전 좌표 [X, Y, Z, 1]-t 중에 z=0 이므로 변환 행렬(Tcw)은 다음과 수학식 7과 같다.In order to convert the plane image of the plane calibration plate into the perspective image, an inverse matrix of the rotation and movement matrix (T wc ) may be used. Since the plane calibration plate is a plane, z = 0 in the coordinate [X, Y, Z, 1] -t before the transformation, so that the transformation matrix (T cw )
카메라는 원근 영상을 어안 렌즈를 통해 영상 센서로 투영하게 되고, 영상 센서에 투영된 상은 영상 좌표계로 스케일링 변환이 필요하다. 따라서, 차량용 카메라의 교정판 제공 방법은 왜곡 영상에서 평면 교정판 정보에 대응되는 기준 교정판 영상을 추출하고, 수학식 8의 원근 투영 행렬 및 수학식 9의 스케일링 변환 행렬을 곱하여 스케일링 변환을 수행한다.(S4)The camera projects the perspective image through the fisheye lens to the image sensor, and the image projected on the image sensor needs to be scaled by the image coordinate system. Therefore, in the method of providing the calibration plate of the vehicle camera, the reference calibration plate image corresponding to the plane calibration plate information is extracted from the distorted image, and the scaling transformation is performed by multiplying the perspective projection matrix of Equation 8 and the scaling conversion matrix of Equation 9 (S4)
수학식 8 및 수학식 9에서, f는 초점거리이고, ku, kv, u0, v0은 크기 변환 값을 각각 나타낸다.In Equations (8) and (9), f is a focal length, and k u , k v , u 0 , and v 0 represent magnification values.
차량용 카메라의 교정판 제공 방법은 변환한 기준 교정판 영상에 수학식 7의 변환 행렬의 역행렬에 해당하는 호모그래피 행렬(H)을 이용하여 도 9에 도시된 바와 같이 비등간격 교정판을 생성한다.(S5)The method of providing the calibration plate of the vehicle camera uses the homography matrix H corresponding to the inverse matrix of the conversion matrix of Equation (7) to the converted reference calibration plate image to generate the non-equilibrium calibration plate as shown in FIG. (S5)
호모그래피 행렬(H)은 월드 좌표(xw, yw)를 방사 왜곡이 적용되지 않은 영상 좌표(xu, yu)로 변환시키는 행렬이다. 이러한 호모그래피 행렬(H)은 수학식 1 내지 수학식 9를 이용하여 계산하면 다음 수학식 10 및 수학식 11과 같다.The homography matrix H is a matrix for transforming the world coordinates (x w , y w ) into image coordinates (x u , y u ) to which the radial distortion is not applied. The homography matrix H can be calculated using Equations (1) to (9) as shown in Equation (10) and Equation (11).
도 8에 도시된 바와 같이, 어안 렌즈 카메라는 렌즈 투영 모델 중 등거리 투영 모델을 채용하고 있고, 주 점(principal point)은 어안 렌즈의 광학축이 영상 센서와 만나는 점의 영상 좌표이다. As shown in Fig. 8, the fisheye lens camera adopts the equidistance projection model among the lens projection models, and the principal point is the image coordinates of the point where the optical axis of the fisheye lens meets the image sensor.
왜곡 영상은 주 점(cx, cy)에서 특징 점 (xd, yd)까지의 거리를 rd, 방사 왜곡이 제거된 영상에서 주 점과 특징 점(xu, yu) 사이의 거리를 ru라고 할 경우에, 기하학적인 관계를 이용하면 rd와 ru는 다음 수학식 12와 같고, 수학식 12를 이용하여 수학식 13을 구할 수 있다. The distortion image is the distance from the principal point (c x , c y ) to the feature point (x d , y d ) as r d and the distance between the principal point and the feature point (x u , y u ) When the distance is r u , using the geometric relationship, r d and r u are expressed by the following Equation (12), and Equation (13) can be obtained by using Equation (12).
이와 같이, 본 발명의 실시예에 따른 차량용 카메라의 교정판 제공 방법은 카메라 교정을 위해 바닥면에 비등간격 교정판을 공장의 바닥면에 형성되도록 한다.As described above, in the method of providing the calibration plate of the camera for a vehicle according to the embodiment of the present invention, a boiling distance calibration plate is formed on the floor surface of the factory for calibration of the camera.
그러면, 차라용 카메라의 교정 시스템은 미리 설정된 위치에서 카메라를 이용하여 비등간격 교정판을 촬용하고, 이렇게 촬영된 영상으로부터 비등간격 패턴에 대응되는 다수 개의 패턴을 검출하고, 패턴의 중심점을 특징점으로 추출하며, 추출된 특징점을 이용하여 카메라의 교정을 수행할 수 있다.
Then, the calibration system of the charger camera captures a boiling interval calibration plate using a camera at a predetermined position, detects a plurality of patterns corresponding to the boiling interval pattern from the captured image, extracts the center point of the pattern as a feature point And the camera can be calibrated using the extracted feature points.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit or scope of the present invention as defined by the following claims It can be understood that
Claims (7)
상기 차량용 카메라에 관련된 카메라 내부 파라미터, 카메라의 설치 위치 또는 자세 정보를 포함하는 카메라 외부 파라미터, 격자 무늬를 갖는 평면 교정판 정보를 저장하는 단계;
상기 평면 교정판에 대한 평면 영상을 카메라 모델 시뮬레이션을 이용하여 원근 영상을 생성하는 단계;
상기 생성한 원근 영상에 상기 카메라 내부 파라미터 또는 카메라 외부 파라미터를 적용하고, 상기 원근 영상에 원근 투영 변환을 위한 변환 행렬을 적용하여 왜곡 영상을 생성하는 단계;
상기 왜곡 영상에서 상기 평면 교정판 정보에 대응되는 기준 교정판 영상을 추출하여 스케일링 변환하는 단계; 및
상기 변환한 기준 교정판 영상에 상기 변환 행렬의 역행렬에 해당하는 호모그래피 행렬을 이용하여 비등간격 교정판을 생성하는 단계를 포함하는 차량용 카메라의 교정판 제공 방법.
A method of providing a calibration plate for a vehicle camera in which a plurality of patterns are arranged,
Storing camera internal parameters related to the vehicle camera, camera external parameters including installation position or attitude information of the camera, and plane calibration plate information having a lattice pattern;
Generating a perspective image by using a camera model simulation of a plane image of the plane calibration plate;
Applying a camera internal parameter or a camera external parameter to the generated perspective image and applying a transformation matrix for perspective projection transformation to the perspective image to generate a distortion image;
Extracting a reference calibration plate image corresponding to the plane calibration plate information from the distorted image and performing scaling conversion; And
And generating a non-uniformity calibration plate by using a homography matrix corresponding to an inverse matrix of the transformation matrix on the transformed reference calibration plate image.
상기 카메라 내부 파라미터는 상기 차량용 카메라가 어안 렌즈를 장착한 경우에, 초점거리(focal length), 영상 센서의 1픽셀의 물리적 크기, 주 점(Principal point), 영상 센서의 해상도, 출력 해상도, 어안렌즈의 맵핑 기능 중 적어도 하나 이상의 정보를 포함하는 것을 특징으로 하는 차량용 카메라의 교정판 제공 방법.
The method according to claim 1,
The camera internal parameter is set such that the focal length, the physical size of one pixel of the image sensor, the principal point, the resolution of the image sensor, the output resolution, the fisheye lens, And a mapping function of the at least one of the plurality of cameras.
상기 카메라 외부 파라미터는 양각(Elevation angle), 수평각(Azimuth angle), 카메라 높이, 카메라 위치, 교정판의 폭, 교정판의 높이 중 적어도 하나 이상의 정보를 포함하는 것을 특징으로 하는 차량용 카메라의 교정판 제공 방법.
The method according to claim 1,
Wherein the camera external parameter includes at least one of an elevation angle, an azimuth angle, a camera height, a camera position, a width of the calibration plate, and a height of the calibration plate Way.
상기 평면 교정판 정보는 상기 평면 교정판의 전체 크기, 상기 평면 교정판 내의 격자 크기 정보 중 적어도 하나 이상의 정보를 포함하는 것을 특징으로 하는 차량용 카메라의 교정판 제공 방법.
The method according to claim 1,
Wherein the planar correction plate information includes at least one of an overall size of the planar correction plate and grid size information in the planar correction plate.
상기 변환 행렬(Tcw)은 양각에 의한 X축 회전을 수행하고, 상기 평면 교정판의 경우에 Z=0이므로 하기 수학식을 이용해 구하는 것을 특징으로 하는 차량용 카메라의 교정판 제공 방법.
여기서, Tt는 이동 변환 행렬(
The method according to claim 1,
Wherein the transformation matrix (T cw ) is rotated by an angle of the X-axis and Z = 0 in the case of the plane calibration plate, so that the calibration matrix is provided by the following equation.
Here, Tt is a motion transformation matrix (
상기 왜곡 영상에서 상기 평면 교정판 정보에 대응되는 기준 교정판 영상을 추출하여 스케일링 변환하는 단계는, 하기 수학식으로 표현되는 원근 투영 행렬(TDD)과 스케일링 변환 행렬(Tsc)을 곱하여 스케일링 변환을 수행하는 것을 특징으로 하는 차량용 카메라의 교정판 제공 방법.
여기서, f는 초점거리이고, ku, kv, u0, v0은 크기 변환 값을 각각 나타냄.
The method according to claim 1,
Wherein the step of extracting and scaling a reference calibration plate image corresponding to the plane correction plate information in the distortion image multiplies a perspective projection matrix (T DD ) expressed by the following equation by a scaling transformation matrix (T sc ) And a step of performing a correction process on the correction plate.
Here, f is a focal length, and k u , k v , u 0 , and v 0 represent magnification conversion values, respectively.
상기 호모그래피 행렬(H)은 변환 행렬(Tcw), 원근 투영 행렬(TDD), 스케일링 변환 행렬(Tsc)을 이용하여 하기 수학식과 같은 표현되는 것을 특징으로 하는 차량용 카메라의 교정판 제공 방법.
Wherein the homography matrix H is expressed by the following equation using a transformation matrix T cw , a perspective projection matrix T DD , and a scaling transformation matrix T sc : .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140052214A KR101583663B1 (en) | 2014-04-30 | 2014-04-30 | Method for generating calibration indicator of camera for vehicle |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140052214A KR101583663B1 (en) | 2014-04-30 | 2014-04-30 | Method for generating calibration indicator of camera for vehicle |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20150125767A KR20150125767A (en) | 2015-11-10 |
| KR101583663B1 true KR101583663B1 (en) | 2016-01-12 |
Family
ID=54605218
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020140052214A KR101583663B1 (en) | 2014-04-30 | 2014-04-30 | Method for generating calibration indicator of camera for vehicle |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101583663B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111559314A (en) * | 2020-04-27 | 2020-08-21 | 长沙立中汽车设计开发股份有限公司 | Depth and image information fused 3D enhanced panoramic looking-around system and implementation method |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101882977B1 (en) * | 2016-05-17 | 2018-07-27 | (주)유비크마이크로 | Lens Module for Forming 360 Degree Image and Application for Forming 360 Degree Image |
| KR101902999B1 (en) * | 2016-05-17 | 2018-10-01 | (주)유비크마이크로 | Camera for Forming 360 Degree Image |
| KR101877548B1 (en) * | 2016-11-15 | 2018-07-11 | 멀티펠스 주식회사 | Image generation system for projection on curved surface and generation method therefor |
| KR102173315B1 (en) | 2018-11-28 | 2020-11-03 | 아진산업(주) | Multi-camera calibration method for generating around view monitoring |
| KR102083522B1 (en) | 2018-11-28 | 2020-04-20 | 아진산업(주) | Apparatus for generating around view monitoring |
| CN110580723B (en) * | 2019-07-05 | 2022-08-19 | 成都智明达电子股份有限公司 | Method for carrying out accurate positioning by utilizing deep learning and computer vision |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000350239A (en) | 1999-06-08 | 2000-12-15 | Sony Corp | Camera.calibration device and method, image processing unit and method, program serving medium and camera |
| JP2006295626A (en) | 2005-04-12 | 2006-10-26 | Canon Inc | Fish-eye image processing apparatus, method thereof and fish-eye imaging apparatus |
| JP2008131176A (en) | 2006-11-17 | 2008-06-05 | Aisin Seiki Co Ltd | Camera calibration device |
| KR101245906B1 (en) | 2009-03-31 | 2013-03-20 | 도요타지도샤가부시키가이샤 | Calibration indicator used for calibration of onboard camera, calibration method of onboard camera using calibration indicator, and program for calibration device of onboard camera using calibration indicator |
-
2014
- 2014-04-30 KR KR1020140052214A patent/KR101583663B1/en active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000350239A (en) | 1999-06-08 | 2000-12-15 | Sony Corp | Camera.calibration device and method, image processing unit and method, program serving medium and camera |
| JP2006295626A (en) | 2005-04-12 | 2006-10-26 | Canon Inc | Fish-eye image processing apparatus, method thereof and fish-eye imaging apparatus |
| JP2008131176A (en) | 2006-11-17 | 2008-06-05 | Aisin Seiki Co Ltd | Camera calibration device |
| KR101245906B1 (en) | 2009-03-31 | 2013-03-20 | 도요타지도샤가부시키가이샤 | Calibration indicator used for calibration of onboard camera, calibration method of onboard camera using calibration indicator, and program for calibration device of onboard camera using calibration indicator |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111559314A (en) * | 2020-04-27 | 2020-08-21 | 长沙立中汽车设计开发股份有限公司 | Depth and image information fused 3D enhanced panoramic looking-around system and implementation method |
| CN111559314B (en) * | 2020-04-27 | 2021-08-24 | 长沙立中汽车设计开发股份有限公司 | Depth and image information fused 3D enhanced panoramic looking-around system and implementation method |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20150125767A (en) | 2015-11-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101583663B1 (en) | Method for generating calibration indicator of camera for vehicle | |
| JP7054803B2 (en) | Camera parameter set calculation device, camera parameter set calculation method and program | |
| US9858639B2 (en) | Imaging surface modeling for camera modeling and virtual view synthesis | |
| JP5455124B2 (en) | Camera posture parameter estimation device | |
| KR101892595B1 (en) | The surroundview system camera automatic calibration-only extrinsic parameters | |
| JP5739584B2 (en) | 3D image synthesizing apparatus and method for visualizing vehicle periphery | |
| JP5898475B2 (en) | In-vehicle camera system, calibration method thereof, and calibration program thereof | |
| WO2017135081A1 (en) | Vehicle-mounted camera calibration system | |
| CN103852060B (en) | A kind of based on single visual visible images distance-finding method felt | |
| EP3032818B1 (en) | Image processing device | |
| WO2010113672A1 (en) | Calibration indicator used for calibration of onboard camera, calibration method of onboard camera using calibration indicator, and program for calibration device of onboard camera using calibration indicator | |
| JP2008193188A (en) | Camera calibration device and method, and vehicle | |
| CN112655024A (en) | Image calibration method and device | |
| KR102057021B1 (en) | Panel transformation | |
| JP2008205811A (en) | Camera attitude calculation target device and camera attitude calculation method using it, and image display method | |
| JP5959311B2 (en) | Data deriving apparatus and data deriving method | |
| CN112135120A (en) | Virtual image information measuring method and system based on head-up display system | |
| KR101427181B1 (en) | Calibration indicator used for calibration of onboard camera using variable ellipse pattern and calibration method of onboard camera using calibration indicator | |
| KR102124298B1 (en) | Rear Cross Traffic-Quick Look | |
| CN101980292B (en) | Regular octagonal template-based board camera intrinsic parameter calibration method | |
| CN111664839A (en) | Vehicle-mounted head-up display virtual image distance measuring method | |
| KR101597163B1 (en) | Method and camera apparatus for calibration of stereo camera | |
| JP2014165810A (en) | Parameter acquisition device, parameter acquisition method and program | |
| TW201605247A (en) | Image processing system and method | |
| KR20180127671A (en) | Method of automatic calibration of AVM system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20181212 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20191204 Year of fee payment: 5 |