KR101987634B1 - Method and Apparatus for Compensating Camera Tolerance and Around View Monitoring System Using the Same - Google Patents
Method and Apparatus for Compensating Camera Tolerance and Around View Monitoring System Using the Same Download PDFInfo
- Publication number
- KR101987634B1 KR101987634B1 KR1020120100131A KR20120100131A KR101987634B1 KR 101987634 B1 KR101987634 B1 KR 101987634B1 KR 1020120100131 A KR1020120100131 A KR 1020120100131A KR 20120100131 A KR20120100131 A KR 20120100131A KR 101987634 B1 KR101987634 B1 KR 101987634B1
- Authority
- KR
- South Korea
- Prior art keywords
- camera
- lane
- tolerance
- recognized
- image
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000012544 monitoring process Methods 0.000 title claims abstract description 20
- 238000012937 correction Methods 0.000 claims abstract description 18
- 230000001186 cumulative effect Effects 0.000 claims abstract description 15
- 238000006243 chemical reaction Methods 0.000 claims description 16
- 230000002194 synthesizing effect Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 11
- 238000001514 detection method Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000003252 repetitive effect Effects 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000037007 arousal Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
- G06T3/047—Fisheye or wide-angle transformations
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
- B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 카메라를 이용하여 인식된 차선을 기준으로 카메라의 공차를 보정하는 카메라 공차 보정 방법 및 장치와 이를 이용한 어라운드 뷰 모니터링 시스템에 관한 것이다. 본 발명의 바람직한 실시예에 따른 카메라 공차 보정 방법은, 어라운드 뷰 모니터링 시스템(AVMS, Around View Monitoring System)의 카메라 누적 공차 보정 방법에 있어서, 전방카메라 또는 후방카메라로 중 적어도 어느 하나에서 촬영된 영상을 이용하여 차선을 인식하는 (a)단계; 좌측카메라 또는 우측카메라로 중 적어도 어느 하나에서 촬영된 영상을 이용하여 차선을 인식하는 (b)단계; 상기 (a)단계 및 상기 (b)단계에서 인식된 차선을 이용하여 공통되는 영역을 검출하는 (c)단계; 및 상기 검출된 공통되는 영역의 좌표가 일치되도록 카메라 공차를 보정하는 (d)단계를 포함할 수 있다.The present invention relates to a camera tolerance correction method and apparatus for correcting a tolerance of a camera on the basis of a recognized lane using a camera, and an ambient view monitoring system using the same. A camera tolerance correcting method according to a preferred embodiment of the present invention is a camera cumulative tolerance correcting method of an ambient view monitoring system (AVMS), wherein a camera imaged at at least one of a front camera and a rear camera (A) recognizing the lane by using the first lane; (B) recognizing a lane using an image photographed by at least one of a left camera and a right camera; (C) detecting a common area using the lane recognized in the steps (a) and (b); And (d) correcting the camera tolerance so that the coordinates of the detected common area coincide with each other.
Description
본 발명은 카메라 공차 보정 방법 및 장치와 이를 이용한 어라운드 뷰 모니터링 시스템에 관한 것이다. 보다 상세하게는, 본 발명은, 카메라를 이용하여 인식된 차선을 기준으로 카메라의 공차를 보정하는 카메라 공차 보정 방법 및 장치와 이를 이용한 어라운드 뷰 모니터링 시스템에 관한 것이다.The present invention relates to a camera tolerance correction method and apparatus and an ambient view monitoring system using the same. More particularly, the present invention relates to a camera tolerance correction method and apparatus for correcting a tolerance of a camera based on a recognized lane using a camera, and an ambient view monitoring system using the same.
차량의 어라운드 뷰 모니터링 시스템(AVMS, Around View Monitoring System)은 차량에 설치된 4개의 카메라로부터 영상을 수신하여 차량 주변을 조감도(Bird's Eye View) 형태로 보여주는 시스템이다.Around View Monitoring System (AVMS) is a system that receives images from four cameras installed in a vehicle and displays the surroundings of the vehicle in Bird's Eye View form.
다수의 카메라에서 촬영되는 영상을 이용하는 어라운드 뷰 모니터링 시스템은 카메라 조립 시 공차를 보정하는 작업이 필수적이다. 차량의 제조사는 어라운드 뷰 모니터링 시스템이 장착된 차량에 대하여 어라운드 뷰 화면 정합성 기준에 맞도록 공차를 보정한 후 차량을 출고한다.It is necessary to correct the tolerance when assembling the camera in the surrounding view monitoring system that uses images taken from a large number of cameras. The manufacturer of the vehicle calibrates the tolerance to the surrounding view screen conformity criterion with respect to the vehicle equipped with the surround view monitoring system, and then leaves the vehicle.
그러나, 차량 출고 후 차량의 운행 도중 발생하는 차량의 진동, 사이드 미러의 반복적인 폴딩, 트렁크의 반복적인 여닫음 등으로 인하여 각 카메라는 새로운 공차가 발생하며, 발생하는 공차가 누적되면 어라운드 뷰 화면의 정합성이 낮아질 수 있다. 따라서, 새롭게 발생된 누적 공차의 보정이 필요하며, 공차 보정을 위하여 공차 보정이 가능한 서비스 센터나 사업소로 방문해야 하는 불편함이 존재하는 문제점이 있다.However, due to the vibration of the vehicle, the repeated folding of the side mirrors, the repetitive closing of the trunks, and the like, a new tolerance occurs in each camera, and when the generated tolerances accumulate, The consistency can be lowered. Therefore, it is necessary to correct the newly generated cumulative tolerance, and there is a problem that it is inconvenient to visit a service center or a business establishment where the tolerance can be corrected for the tolerance correction.
본 발명은 상기한 문제점을 해결하기 위하여 안출된 것으로서, 차량의 운행으로 발생되는 누적 공차를 카메라를 이용하여 인식된 차선을 기준으로 보정하여 정합성 높은 어라운드 뷰 영상을 제공하는 카메라 공차 보정 방법 및 장치와 이를 이용한 어라운드 뷰 모니터링 시스템을 제공하는 것을 목적으로 한다.SUMMARY OF THE INVENTION It is an object of the present invention to provide a camera tolerance correction method and apparatus for providing a highly consistent surround view image by correcting cumulative tolerances generated by driving a vehicle on the basis of recognized lanes using a camera, And to provide an environment view monitoring system using the same.
상기한 문제점을 해결하기 위한 카메라 공차 보정 방법은, 어라운드 뷰 모니터링 시스템(AVMS, Around View Monitoring System)의 카메라 누적 공차 보정 방법에 있어서, 전방카메라 또는 후방카메라로 중 적어도 어느 하나에서 촬영된 영상을 이용하여 차선을 인식하는 (a)단계; 좌측카메라 또는 우측카메라로 중 적어도 어느 하나에서 촬영된 영상을 이용하여 차선을 인식하는 (b)단계; 상기 (a)단계 및 상기 (b)단계에서 인식된 차선을 이용하여 공통되는 영역을 검출하는 (c)단계; 및 상기 검출된 공통되는 영역의 좌표가 일치되도록 카메라 공차를 보정하는 (d)단계를 포함할 수 있다.The camera tolerance correcting method for solving the above problem is a camera cumulative tolerance correcting method of an AVMS (Around View Monitoring System), which uses an image photographed by at least one of a front camera and a rear camera (A) recognizing a lane; (B) recognizing a lane using an image photographed by at least one of a left camera and a right camera; (C) detecting a common area using the lane recognized in the steps (a) and (b); And (d) correcting the camera tolerance so that the coordinates of the detected common area coincide with each other.
바람직하게는, 상기 카메라 공차 보정 방법은, 상기 (a)단계에서 인식된 차선을 이용하여 차선 폭을 산출하는 (e)단계; 상기 (b)단계에서 인식된 차선을 이용하여 차선 폭을 산출하는 (f)단계; 및 상기 산출된 차선 폭을 기준으로 탑 뷰(Top View) 영상으로 변환하는 (g)단계를 더 포함하며, 상기 (c)단계는, 상기 공통되는 영역을 검출하는 것은 상기 (g)단계에서 변환된 탑 뷰 영상에서 검출할 수 있다.Preferably, the camera tolerance correcting method further comprises: (e) calculating a lane width using the lane recognized in the step (a); (F) calculating a lane width using the lane recognized in the step (b); And (g) converting the calculated lane width into a top view image based on the calculated lane width, wherein the step (c) includes: detecting the common area, Can be detected from the top view image.
바람직하게는, 상기 (g)단계는, 상기 탑 뷰 영상으로 변환하는 과정에서 변환된 영상의 차선이 상기 산출된 차선 폭과 일치되도록 스케일 보정할 수 있다.Preferably, the step (g) may perform scale correction so that the lane of the converted image is matched with the calculated lane width in the process of converting into the top view image.
상기한 문제점을 해결하기 위한 카메라 공차 보정 장치는, 어라운드 뷰 모니터링 시스템(AVMS, Around View Monitoring System)의 카메라 누적 공차 보정 장치에 있어서, 전방카메라 또는 후방카메라로 중 적어도 어느 하나에서 촬영된 영상을 이용하여 차선을 인식하고, 좌측카메라 또는 우측카메라로 중 적어도 어느 하나에서 촬영된 영상을 이용하여 차선을 인식하는 차선인식부; 상기 인식된 차선을 이용하여 공통되는 영역을 검출하는 영역검출부; 및 상기 검출된 공통되는 영역의 좌표가 일치되도록 카메라 공차를 보정하는 공차보정부를 포함할 수 있다.A camera tolerance correcting apparatus for solving the above problems is a camera cumulative tolerance correcting apparatus of an ambient view monitoring system (AVMS), which uses an image photographed by at least one of a front camera and a rear camera A lane recognition unit for recognizing a lane and recognizing a lane using an image photographed by at least one of a left camera and a right camera; An area detecting unit detecting a common area using the recognized lane; And a tolerance correcting unit for correcting the camera tolerance so that the coordinates of the detected common area coincide with each other.
바람직하게는, 상기 카메라 공차 보정 장치는, 상기 인식된 차선을 이용하여 차선 폭을 산출하는 차선폭산출부; 및 상기 산출된 차선 폭을 기준으로 탑 뷰(Top View) 영상으로 변환하는 영상변환부를 더 포함하며, 상기 영역검출부는, 상기 탑 뷰 영상에서 공통 영역을 검출할 수 있다.Preferably, the camera tolerance correcting apparatus further comprises: a lane width calculating unit that calculates a lane width using the recognized lane; And an image converting unit for converting the converted image into a top view image based on the calculated lane width, and the area detecting unit can detect a common area in the top view image.
바람직하게는, 상기 영상변환부는, 상기 탑 뷰 영상으로 변환하는 과정에서 변환된 영상의 차선이 상기 산출된 차선 폭과 일치되도록 스케일 보정할 수 있다.Preferably, the image converting unit may perform scale correction so that the lane of the converted image matches the calculated lane width in the process of converting into the top view image.
상기한 문제점을 해결하기 위한 어라운드 뷰 모니터링 시스템은, 차량에 전방, 후방, 좌측 및 우측에 설치되어 상기 차량 주변 영상을 촬영하는 카메라; 상기 카메라의 누적 공차를 보정하는 카메라 누적 공차 보정 장치; 및 상기 카메라 누적 공차 보정 장치에서 공차가 보정된 카메라에서 수집된 영상을 합성하여 어라운드 뷰 영상을 생성하여 운전자에게 제공하는 합성영상 제공부를 포함할 수 있다.An approach view monitoring system for solving the above-mentioned problems includes a camera installed in front, rear, left, and right sides of a vehicle to photograph the surroundings of the vehicle; A camera cumulative tolerance correcting device for correcting the cumulative tolerance of the camera; And a synthesized image providing unit for synthesizing the images collected from the camera whose tolerance is corrected in the camera cumulative tolerance correcting apparatus to generate an overview view image and providing the generated surround view image to the driver.
바람직하게는, 상기 카메라 누적 공차 보정 장치는, 전방카메라 또는 후방카메라로 중 적어도 어느 하나에서 촬영된 영상을 이용하여 차선을 인식하고, 좌측카메라 또는 우측카메라로 중 적어도 어느 하나에서 촬영된 영상을 이용하여 차선을 인식하는 차선인식부; 상기 인식된 차선을 이용하여 공통되는 영역을 검출하는 영역검출부; 및 상기 검출된 공통되는 영역의 좌표가 일치되도록 카메라 공차를 보정하는 공차보정부를 포함할 수 있다.Preferably, the camera cumulative tolerance correcting apparatus recognizes a lane using an image photographed by at least one of a front camera and a rear camera, and uses the image photographed by at least one of a left camera and a right camera A lane recognition unit for recognizing a lane; An area detecting unit detecting a common area using the recognized lane; And a tolerance correcting unit for correcting the camera tolerance so that the coordinates of the detected common area coincide with each other.
본 발명은 차량의 운행으로 발생되는 누적 공차를 서비스 센터나 사업소 방문 없이 보정할 수 있다.The present invention can correct the cumulative tolerance generated by the operation of the vehicle without visiting a service center or an establishment.
또한, 본 발명은, 공차 보정을 통하여 정합성 높은 어라운드 뷰 영상을 제공할 수 있다.Furthermore, the present invention can provide an overview view image with high consistency through tolerance correction.
도 1은 본 발명의 바람직한 실시예에 따른 어라운드 뷰 모니터링 시스템에 관한 도면이다.
도 2는 본 발명의 바람직한 실시예에 따른 공차 보정 장치에 관한 블록도이다.
도 3은 본 발명의 바람직한 실시예에 따른 카메라 공차 보정 장치의 차선인식부에서 전후방 차선을 인식한 일 예를 나타낸 도면이다.
도 4는 본 발명의 바람직한 실시예에 따른 카메라 공차 보정 장치의 차선인식부에서 좌우측 차선을 인식한 예를 나타낸 도면이다.
도 5는 본 발명의 바람직한 실시예에 따른 카메라 공차 보정 방법의 영역검출부에서 영역을 검출한 일 예를 나타내는 도면이다.
도 6은 본 발명의 바람직한 실시예에 따른 카메라 공차 보정 방법에 관한 흐름도이다.1 is a diagram of an overview view monitoring system in accordance with a preferred embodiment of the present invention.
2 is a block diagram of a tolerance correcting apparatus according to a preferred embodiment of the present invention.
3 is a diagram illustrating an example of recognizing front and rear lanes in a lane recognition unit of a camera tolerance correcting apparatus according to a preferred embodiment of the present invention.
4 is a diagram illustrating an example of recognizing left and right lanes in the lane recognition unit of the camera tolerance correcting apparatus according to the preferred embodiment of the present invention.
5 is a diagram illustrating an example of detecting an area in an area detecting unit of a camera tolerance correcting method according to a preferred embodiment of the present invention.
6 is a flowchart of a camera tolerance correction method according to a preferred embodiment of the present invention.
이하에서는 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 이하의 설명 및 첨부된 도면들에서 실질적으로 동일한 구성요소들은 각각 동일한 부호들로 나타냄으로써 중복 설명을 생략하기로 한다. 또한 본 발명을 설명함에 있어 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략하기로 한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the drawings. In the following description and the accompanying drawings, substantially the same components are denoted by the same reference numerals, respectively, and redundant description will be omitted. In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear.
어떤 구성요소가 다른 구성요소에 “연결되어”있다거나 “접속되어”있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 “직접 연결되어”있다거나 “직접 접속되어”있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.It is to be understood that when an element is referred to as being "connected" or "connected" to another element, it may be directly connected or connected to the other element, . On the other hand, when an element is referred to as being "directly connected" or "directly connected" to another element, it should be understood that there are no other elements in between.
본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함될 수 있다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다
In this specification, a singular form may include plural forms unless specifically stated in the phrase. It is noted that the terms "comprises" and / or "comprising" used in the specification are intended to be inclusive in a manner similar to the components, steps, operations, and / Or does not exclude the addition
본 발명의 바람직한 실시예에 따른 카메라 공차 보정 장치는 차량의 전방, 후방, 좌측 및 우측에서 촬영되는 영상을 이용하여 어라운드 뷰 영상 화면으로 변환 및 합성하는 과정에서 이용되는 변환 비 등이 저장된 룩 업 테이블(LUT, Look Up Table)의 변환 비등의 정보를 변환함으로써 공차를 보정할 수 있다.The camera tolerance correcting apparatus according to the preferred embodiment of the present invention includes a look-up table for storing conversion ratios used in the process of converting and synthesizing into an arousal view image screen using an image photographed at front, rear, left, (LUT, Look Up Table) conversion booth can be corrected to correct the tolerance.
즉, 본 발명의 바람직한 실시예에 따른 카메라 공차 보정 장치는 룩 업 테이블 값을 보정함으로써, 어라운드 뷰 영상 화면으로 변환 및 합성된 영상의 정합성을 높일 수 있다.
That is, the camera tolerance correcting apparatus according to the preferred embodiment of the present invention can enhance the consistency of the converted and synthesized images by adjusting the look-up table values.
도 1은 본 발명의 바람직한 실시예에 따른 어라운드 뷰 모니터링 시스템에 관한 도면이다.1 is a diagram of an overview view monitoring system in accordance with a preferred embodiment of the present invention.
도 1을 참조하면, 본 발명의 바람직한 실시예에 따른 어라운드 뷰 모니터링 시스템(100)은 카메라(110), 카메라 공차 보정 장치(120) 및 합성영상 제공부(130)를 포함한다.Referring to FIG. 1, an overview view monitoring system 100 according to a preferred embodiment of the present invention includes a camera 110, a camera
카메라(110)는 차량에 설치되어 차량 주변 영상을 획득한다.The camera 110 is installed in the vehicle to acquire a peripheral image of the vehicle.
구체적으로 카메라(110)는 전방카메라(112), 후방카메라(114), 좌측카메라(116) 및 우측카메라(110)를 포함할 수 있다.Specifically, the camera 110 may include a
전방카메라(112)는 차량의 전방을 촬영하는 카메라(110)이며, 후방카메라(114)는 차량의 후방을 촬영하는 카메라(110)이다.The
좌측카메라(116)는 차량의 좌측을 촬영하는 카메라(110)이며, 우측카메라(110)는 차량의 우측을 촬영하는 카메라(110)이다.The
즉, 카메라(110)는 차량의 주변인 전방, 후방, 우측 및 좌측의 영상을 촬영하고, 촬영된 영상은 어라운드 뷰 영상을 생성하는데 이용된다.That is, the camera 110 captures the front, rear, right, and left images of the surroundings of the vehicle, and the captured image is used to generate the surround view image.
구체적으로 카메라(110)에서 수집된 정보는 합성영상 제공부(130)에서 합성되어 어라운드 뷰 영상으로 생성된다. 합성되는 과정에서 높은 정합성을 가지기 위하여 공차를 보정한다.Specifically, the information collected by the camera 110 is synthesized in the composite
차량의 주행 중에 발생하는 진동, 사이드 미러의 반복적인 폴딩 또는 트렁크의 반복적인 여닫음으로 인하여 발생하는 누적 공차는 카메라 공차 보정 장치(120)에서 보정한다.
The cumulative tolerance caused by the vibration occurring during running of the vehicle, repetitive folding of the side mirrors, or repetitive closing of the trunks is corrected by the camera
도 2는 본 발명의 바람직한 실시예에 따른 카메라 공차 보정 장치에 관한 블록도이다.2 is a block diagram of a camera tolerance correcting apparatus according to a preferred embodiment of the present invention.
도 2를 참조하여 카메라 공차 보정 장치(120)에 관하여 구체적으로 설명하면, 카메라(110) 차 보정 장치는 차선인식부(121), 차선폭산출부(123), 영상변환부(125), 영역검출부(127) 및 공차보정부(129)를 포함한다.2, the camera 110 correcting apparatus includes a lane recognizing unit 121, a lane width calculating unit 123, an image converting unit 125, A
차선인식부(121)는 카메라(110)에서 촬영된 영상을 이용하여 차선을 인식한다.The lane recognition unit 121 recognizes the lane using the image photographed by the camera 110.
카메라(110)에서 차선인식 기능을 구비하고 있는 경우, 차선인식부(121)는 카메라(110)에서 인식한 차선 정보를 획득할 수 있다.When the camera 110 has a lane recognition function, the lane recognition unit 121 can acquire the lane information recognized by the camera 110. [
구체적으로, 차선인식부(121)는 전방카메라(112)에서 촬영된 영상을 이용하여 차선을 인식하고, 후방카메라(114)에서 촬영된 영상을 이용하여 차선을 인식한다.Specifically, the lane recognition unit 121 recognizes the lane by using the image photographed by the
도 3은 본 발명의 바람직한 실시예에 따른 카메라 공차 보정 장치의 차선인식부에서 전후방 차선을 인식한 일 예를 나타낸 도면이다.3 is a diagram illustrating an example of recognizing front and rear lanes in a lane recognition unit of a camera tolerance correcting apparatus according to a preferred embodiment of the present invention.
도 3을 참조하면, 도 3의 (A)는 전방카메라(112)에서 촬영된 영상을 이용하여 차선을 인식한 일 예를 나타내고 있으며, 도 3의 (B)는 후방카메라(114)에서 촬영된 영상을 이용하여 차선을 인식한 일 예를 나타내고 있다. 차선인식부(121)가 카메라(110)에서 촬영된 영상 중 차선을 인식하는 방법은 기존에 공지된 기술을 이용할 수 있다.
3 (A) shows an example of recognizing a lane using an image photographed by the
또한, 차선인식부(121)는 좌측카메라(116)에서 촬영된 영상을 이용하여 좌측차선을 인식하고, 우측카메라(110)에서 촬영된 영상을 이용하여 우측차선을 인식한다.The lane recognition unit 121 recognizes the left lane using the image photographed by the
도 4는 본 발명의 바람직한 실시예에 따른 카메라 공차 보정 장치의 차선인식부에서 좌우측 차선을 인식한 예를 나타낸 도면이다.4 is a diagram illustrating an example of recognizing left and right lanes in the lane recognition unit of the camera tolerance correcting apparatus according to the preferred embodiment of the present invention.
도 4를 참조하면, 도 4의 (A)는 좌측카메라(116)에서 촬영된 영상을 이용하여 좌측 차선을 인식한 일 예를 나타내고 있으며, 도 4의 (B)는 우측카메라(110)에서 촬영된 영상을 이용하여 우측 차선을 인식한 일 예를 나타내고 있다. 앞서 설명한 바와 같이 차선인식부(121)가 카메라(110)에서 촬영된 영상 중 차선을 인식하는 방법은 기존에 공지된 기술을 이용할 수 있다.4 (A) shows an example of recognizing the left lane using the image photographed by the
또한, 차선인식부(121)는 인식된 차선을 카메라(110)의 초점거리, 왜곡 계수 등으로 구성된 카메라(110)의 내부 파라미터와 외부 파라미터를 이용하여 실세계 좌표계의 좌표로 변환할 수 있다. 실세계 좌표계의 좌표란 현실에서 적용되는 센티미터(cm), 미리미터(mm) 등의 단위로 이루어진 좌표를 의미한다. 즉, 차선인식부(121)에서 인식한 차선은 카메라(110)에서 획득한 영상에서 인식된 것으로 픽셀단위이며, 이를 차선인식부(121)에서 픽셀단위의 좌표에서 센티미터나 미리미터 등의 현실에서 적용되는 단위의 좌표로 변환할 수 있다.The lane recognizing unit 121 can convert the recognized lane into the coordinates of the real world coordinate system using the internal parameters and the external parameters of the camera 110 including the focal distance and the distortion coefficient of the camera 110. [ Coordinates of a real world coordinate system means coordinates in units of centimeter (cm), millimeter (mm), etc., which are applied in reality. That is, the lane recognized by the lane recognizing unit 121 is recognized in the image obtained by the camera 110 and is pixel-by-pixel. The lane recognizing unit 121 recognizes the lane by the pixel- It can be converted to the coordinates of the applied unit.
차선인식부(121)에서 좌표를 변환하는 과정에서 변환 비 등 변환에 필요한 데이터를 저장하고 있는 룩 업 테이블(LUT, Look UP Table)이 이용될 수 있다. 룩 업 테이블은 출고 과정에서 미리 설정될 수 있다.
A lookup table (LUT) storing data necessary for conversion such as conversion ratio may be used in the process of converting the coordinates by the lane recognition unit 121. [ The lookup table can be preset in the factory.
차선폭산출부(123)는 차선인식부(121)에서 인식된 차선 또는 획득된 차선 정보를 이용하여 차선의 폭을 산출한다. 차선폭산출부(123)에서 산출되는 차선폭은 좌우 차선 내측 엣지 간의 거리로 정의할 수 있다. 내측 엣지 간의 거리는 카메라(110)의 내부 파라미터, 카메라(110)의 외부 파라미터를 이용하여 산출할 수 있다.The lane width calculating unit 123 calculates the width of the lane using the lane recognized by the lane recognizing unit 121 or the obtained lane information. The lane width calculated by the lane width calculation unit 123 can be defined as the distance between the left and right lane inner edges. The distance between the inner edges can be calculated using the internal parameters of the camera 110 and the external parameters of the camera 110. [
차선폭산출부(123)는 인식된 전방 차선에서 차선폭을 산출하고, 인식된 후방 차선에서 차선폭을 산출한다. 또한, 차선폭산출부(123)는 좌측차선 및 우측차선을 이용하여 차선폭을 산출할 수 있다. The lane width calculating unit 123 calculates the lane width at the recognized front lane and calculates the lane width at the recognized rear lane. The lane width calculating unit 123 can calculate the lane width using the left lane and the right lane.
영상변환부(125)는 카메라(110)에서 촬영된 영상을 합성하여 어라운드 뷰 영상으로 변환한다.The image converting unit 125 combines the images captured by the camera 110 and converts the combined images into the surrounding view images.
구체적으로 영상변환부(125)는 카메라(110)에서 촬영된 영상을 합성하여 어라운드 뷰 영상으로 변환하는 과정에서 영상 내의 차선이 차선 폭에 맞도록 스케일(Scale) 보정을 수행할 수 있다. 영상변환부(125)가 스케일 보정을 수행하는 과정에서 룩 업 테이블에 저장된 스케일 보정 변환 비 등의 정보를 이용할 수 있다.
Specifically, the image converting unit 125 may perform scale correction so that the lane in the image matches the lane width in the process of synthesizing the images photographed by the camera 110 and converting the images into the surrounding view image. The image conversion unit 125 may use the information such as the scale correction conversion ratio stored in the lookup table in the process of performing the scale correction.
영역검출부(127)는 각각의 카메라(110)에서 촬영된 영상에서 공통되는 영역을 검출한다.The
구체적으로, 영역검출부(127)는 전방카메라(112)에서 촬영된 영상과 좌측카메라(116)에서 촬영된 영상 중 공통된 영역인 차량의 좌측 상단 부분의 촬영 영역을 검출할 수 있다.Specifically, the
또한, 영역검출부(127)는 전방카메라(112)에서 촬영된 영상과 우측카메라(118)에서 촬영된 영상 중 공통된 영역인 차량의 우측 상단 부분을 촬영 영역을 검출할 수 있다.In addition, the
마찬가지로 영역검출부(127)는 후방카메라(114)에서 촬영된 영상과 좌측카메라(116)에서 촬영된 영상 중 공통된 영역인 차량의 좌측 하단 부분의 촬영 영역을 검출할 수 있다.Similarly, the
또한, 영역검출부(127)는 후방카메라(114)에서 촬영된 영상과 우측카메라(118)에서 촬영된 영상 중 공통된 영역인 차량의 우측 하단 부분을 촬영 영역을 검출할 수 있다.The
도 5는 본 발명의 바람직한 실시예에 따른 카메라 공차 보정 방법의 영역검출부에서 영역을 검출한 일 예를 나타내는 도면이다.5 is a diagram illustrating an example of detecting an area in an area detecting unit of a camera tolerance correcting method according to a preferred embodiment of the present invention.
도 5를 참조하면, 전방카메라(112)에서 촬영된 영상 중 타원형으로 표시된 부분과 좌측카메라(116)에서 촬영된 영상 중 동그라미로 표시된 부분이 공통된 부분을 촬영한 공통 영역이 된다. 따라서, 이러한 공통 영역을 영역검출부(127)가 검출한다.
Referring to FIG. 5, a common area of a part of the image photographed by the
공차보정부(129)는 누적된 공차를 보정한다.The tolerance correcting unit 129 corrects the accumulated tolerance.
구체적으로 공차보정부(129)는 누적 공차로 낮아지는 영상 정합성을 높이기 위하여 룩 업 테이블에 저장된 변환 비 등의 정보를 변경함으로써 누적 공차로 인하여 발생되는 문제점을 해결할 수 있다.Specifically, the tolerance correcting unit 129 can solve the problems caused by the cumulative tolerance by changing the information such as the conversion ratio stored in the lookup table in order to improve the image coherence which is lowered by the cumulative tolerance.
보다 구체적으로 공차보정부(129)는 영역검출부(127)에서 검출된 각 카메라(110)에서 촬영된 영상들 중 공통 영역에서 꼭지점이나 엣지 등의 특징점을 인식하고 인식된 특징점이 매칭되도록 공차를 보정한다. 공차보정부(129)가 특징점을 매칭하는 것은 앞서 산출한 실세계 좌표계의 좌표가 매칭되도록 공차를 보정하는 것이 바람직하다.More specifically, the tolerance correcting unit 129 recognizes the feature points, such as the vertices and the edges, in the common area among the images captured by the cameras 110 detected by the
즉, 공차보정부(129)는 전방카메라(112) 및 좌측카메라(116)에서 촬영된 영상을 이용하여 영역검출부(127)에서 검출된 공통 영역 중 특징점의 실세계 좌표가 일치되도록 룩 업 테이블의 변환 비를 수정할 수 있다.That is, the tolerance correcting unit 129 transforms the look-up table so that the real-world coordinates of the minutiae coincide among the common areas detected by the
또한, 공차보정부(129)는 전방카메라(112) 및 우측카메라(110)에서 촬영된 영상을 이용하여 영역검출부(127)에서 검출된 공통 영역 중 특징점의 실세계 좌표가 일치되도록 룩 업 테이블의 변환 비를 수정할 수 있다.The tolerance correcting unit 129 transforms the look-up table so that the real world coordinates of the minutiae coincide among the common areas detected by the
또한, 공차보정부(129)는 후방카메라(114) 및 좌측카메라(116)에서 촬영된 영상을 이용하여 영역검출부(127)에서 검출된 공통 영역 중 특징점의 실세계 좌표가 일치되도록 룩 업 테이블의 변환 비를 수정할 수 있다.The tolerance correcting unit 129 transforms the look-up table so that the real world coordinates of the minutiae coincide among the common areas detected by the
또한, 공차보정부(129)는 후방카메라(114) 및 우측카메라(110)에서 촬영된 영상을 이용하여 영역검출부(127)에서 검출된 공통 영역 중 특징점의 실세계 좌표가 일치되도록 룩 업 테이블의 변환 비를 수정할 수 있다.
The tolerance correcting unit 129 transforms the look-up table so that the real world coordinates of the minutiae coincide among the common areas detected by the
본 발명의 바람직한 실시예에 따른 카메라 공차 보정 장치(120)를 이용하면 차량의 어라운드 뷰 모니터링 시스템(100)에서 이용되는 카메라(110)의 누적 공차 문제를 해소할 수 있다.The cumulative tolerance problem of the camera 110 used in the surround view monitoring system 100 of the vehicle can be solved by using the camera
따라서, 본 발명의 바람직한 실시예에 따른 카메라 공차 보정 장치(120)를 이용하는 어라운드 뷰 모니터링 시스템(100)은 차량의 운행 중에 누적되는 카메라(110) 공차에도 불구하고 정합성 높은 어라운드 뷰 영상을 운전자에게 제공할 수 있다.
Therefore, the surrounding view monitoring system 100 using the camera
도 6은 본 발명의 바람직한 실시예에 따른 카메라 공차 보정 방법에 관한 흐름도이다.6 is a flowchart of a camera tolerance correction method according to a preferred embodiment of the present invention.
도 6을 참조하여 본 발명의 바람직한 실시예에 따른 카메라 공차 보정 방법에 관하여 설명하면, 차선인식부(121)가 카메라(110)에서 촬영된 영상에서 차선을 인식하거나 카메라(110)에서 인식된 차선 정보를 획득한다(S610 단계).6, the lane recognizing unit 121 recognizes a lane in an image photographed by the camera 110 or a lane recognized by the camera 110. [ Information (step S610).
차선폭산출부(123)가 차선인식부(121)에서 인식하거나 획득된 차선 정보로부터 차선폭을 산출한다(S620 단계).The lane width calculating unit 123 calculates the lane width from the lane information recognized or obtained by the lane recognizing unit 121 (step S620).
영상변환부(125)가 산출된 차선폭을 기준으로 카메라(110)에서 촬영된 영상을 탑 뷰(Top View) 영상 또는 어라운드 뷰 영상으로 변환한다(S630 단계).The image converting unit 125 converts the image captured by the camera 110 into a Top View image or an Around View image based on the calculated lane width in operation S630.
영역검출부(127)가 각 카메라(110)에서 촬영된 영상에서 공통적인 영역을 검출한다(S640 단계).The
공차보정부(129)가 공통적인 영역의 특징점의 좌표가 서로 매칭되도록 카메라(110) 공차를 보정하기 위하여 룩 업 테이블 값을 수정한다(S650 단계).The tolerance correcting unit 129 corrects the look-up table values to correct the camera 110 tolerances so that the coordinates of the minutiae points of the common areas match with each other (step S650).
더불어, 본 발명의 바람직한 실시예에 따른 어라운드 뷰 모니터링 시스템(100)은 수정된 룩 업 테이블 값을 이용하여 카메라(110) 공차가 보정된 어라운드 뷰 영상을 운전자에게 제공할 수 있다(S660 단계).
In addition, the surrounding view monitoring system 100 according to the preferred embodiment of the present invention can provide the driver with the surrounding view image in which the tolerance of the camera 110 is corrected using the modified look-up table value in operation S660.
본 발명의 바람직한 실시예에 따른 카메라 공차 보정 장치(120)의 블록도는 발명의 원리를 구체화하는 예시적인 개념적 관점을 나타내는 것으로 이해되어야 한다. 이와 유사하게, 모든 흐름도는 컴퓨터가 판독 가능한 매체에 실질적으로 나타낼 수 있고 컴퓨터 또는 프로세서가 명백히 도시되었는지 여부를 불문하고 컴퓨터 또는 프로세서에 의해 수행되는 다양한 프로세스를 나타내는 것으로 이해되어야 한다.It should be understood that the block diagram of the camera
프로세서 또는 이와 유사한 개념으로 표시된 기능 블록을 포함하는 도면에 도시된 다양한 소자의 기능은 전용 하드웨어뿐만 아니라 적절한 소프트웨어와 관련하여 소프트웨어를 실행할 능력을 가진 하드웨어의 사용으로 제공될 수 있다. 프로세서에 의해 제공될 때, 상기 기능은 단일 전용 프로세서, 단일 공유 프로세서 또는 복수의 개별적 프로세서에 의해 제공될 수 있고, 이들 중 일부는 공유될 수 있다. The functions of the various elements shown in the drawings, including the functional blocks shown in a processor or similar concept, may be provided by use of dedicated hardware as well as hardware capable of executing software in connection with appropriate software. When provided by a processor, the functions may be provided by a single dedicated processor, a single shared processor, or a plurality of individual processors, some of which may be shared.
또한 프로세서, 제어 또는 이와 유사한 개념으로 제시되는 용어의 명확한 사용은 소프트웨어를 실행할 능력을 가진 하드웨어를 배타적으로 인용하여 해석되어서는 아니되고, 제한 없이 디지털 신호 프로세서(DSP) 하드웨어, 소프트웨어를 저장하기 위한 롬(ROM), 램(RAM) 및 비 휘발성 메모리를 암시적으로 포함하는 것으로 이해되어야 한다. 주지관용의 다른 하드웨어도 포함될 수 있다.Also, the explicit use of terms such as processor, control, or similar concepts should not be interpreted exclusively as hardware capable of running software, and may be used without limitation as a digital signal processor (DSP) (ROM), random access memory (RAM), and non-volatile memory. Other hardware may also be included.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.It will be apparent to those skilled in the art that various modifications, substitutions and substitutions are possible, without departing from the scope and spirit of the invention as disclosed in the accompanying claims. will be. Therefore, the embodiments disclosed in the present invention and the accompanying drawings are intended to illustrate and not to limit the technical spirit of the present invention, and the scope of the technical idea of the present invention is not limited by these embodiments and the accompanying drawings . The scope of protection of the present invention should be construed according to the following claims, and all technical ideas within the scope of equivalents should be construed as falling within the scope of the present invention.
Claims (8)
전방카메라 또는 후방카메라로 중 적어도 어느 하나에서 촬영된 영상을 이용하여 차선을 인식하고, 인식된 차선을 미리 설정된 룩 업 테이블에 저장된 변환비를 이용하여 실세계 좌표로 변환하는 (a)단계;
좌측카메라 또는 우측카메라로 중 적어도 어느 하나에서 촬영된 영상을 이용하여 차선을 인식하고, 인식된 차선을 미리 설정된 룩 업 테이블에 저장된 변환비를 이용하여 실세계 좌표로 변환하는 (b)단계;
상기 (a)단계 및 상기 (b)단계에서 인식된 차선을 이용하여 공통되는 영역을 검출하는 (c)단계; 및
상기 검출된 공통되는 영역의 실세계 좌표가 일치되도록 카메라 공차를 보정하는 (d)단계를 포함하고,
상기 카메라 공차 보정 방법은,
상기 (a)단계에서 인식된 차선을 이용하여 차선 폭을 산출하는 (e)단계;
상기 (b)단계에서 인식된 차선을 이용하여 차선 폭을 산출하는 (f)단계; 및
상기 산출된 차선 폭을 기준으로 탑 뷰(Top View) 영상으로 변환하는 (g)단계를 더 포함하며,
상기 (c)단계는,
상기 공통되는 영역을 검출하는 것은 상기 (g)단계에서 변환된 탑 뷰 영상에서 검출하고,
상기 (d)단계는,
상기 공통되는 영역에서 특징점을 인식하고, 인식된 특징점의 실세계 좌표가 일치되도록 상기 룩 업 테이블에 저장된 변환비를 수정함으로써 카메라 공차를 보정하는 것을 특징으로 하는 카메라 공차 보정 방법.
In a camera tolerance correction method of an AVMS (Around View Monitoring System)
(A) recognizing a lane using an image photographed by at least one of a front camera and a rear camera, and converting the recognized lane into real world coordinates using a conversion ratio stored in a preset look-up table;
(B) recognizing a lane using an image photographed by at least one of a left camera and a right camera, and converting the recognized lane into real world coordinates using a conversion ratio stored in a preset look-up table;
(C) detecting a common area using the lane recognized in the steps (a) and (b); And
(D) correcting the camera tolerance so that the real world coordinates of the detected common area coincide with each other,
The camera tolerance correction method includes:
(E) calculating a lane width using the lane recognized in the step (a);
(F) calculating a lane width using the lane recognized in the step (b); And
(G) converting the calculated lane width into a top view image based on the calculated lane width,
The step (c)
The detecting of the common area is performed in the top view image converted in the step (g)
The step (d)
Wherein the camera tolerance is corrected by recognizing the feature points in the common area and correcting the conversion ratio stored in the look-up table so that real-world coordinates of the recognized feature points coincide with each other.
상기 (g)단계는,
상기 탑 뷰 영상으로 변환하는 과정에서 변환된 영상의 차선이 상기 산출된 차선 폭과 일치되도록 스케일 보정하는 것을 특징으로 하는 카메라 공차 보정 방법.
The method according to claim 1,
The step (g)
Wherein scale correction is performed such that a lane of the converted image is matched with the calculated lane width in the process of converting into the top view image.
전방카메라 또는 후방카메라로 중 적어도 어느 하나에서 촬영된 영상을 이용하여 인식한 차선을 미리 설정된 룩 업 테이블에 저장된 변환비를 이용하여 실세계 좌표로 변환하고, 좌측카메라 또는 우측카메라로 중 적어도 어느 하나에서 촬영된 영상을 이용하여 인식한 차선을 미리 설정된 룩 업 테이블에 저장된 변환비를 이용하여 실세계 좌표로 변환하는 차선인식부;
상기 인식된 차선을 이용하여 공통되는 영역을 검출하는 영역검출부; 및
상기 검출된 공통되는 영역의 실세계 좌표가 일치되도록 카메라 공차를 보정하는 공차보정부를 포함하고,
상기 카메라 공차 보정 장치는,
상기 인식된 차선을 이용하여 차선 폭을 산출하는 차선폭산출부; 및
상기 산출된 차선 폭을 기준으로 탑 뷰(Top View) 영상으로 변환하는 영상변환부를 더 포함하며,
상기 영역검출부는, 상기 탑 뷰 영상에서 상기 공통되는 영역을 검출하고,
상기 공차보정부는, 상기 공통되는 영역에서 특징점을 인식하고, 인식된 특징점의 실세계 좌표가 일치되도록 상기 룩 업 테이블에 저장된 변환비를 수정함으로써 카메라 공차를 보정하는 것을 특징으로 하는 카메라 공차 보정 장치.
A camera tolerance correcting apparatus of an AVMS (Around View Monitoring System)
The lane recognized by using the image photographed by at least one of the front camera and the rear camera is converted into real world coordinates using a conversion ratio stored in a preset look-up table, and at least one of the left camera and the right camera A lane recognition unit for converting the recognized lane using the photographed image into real world coordinates using a conversion ratio stored in a preset look-up table;
An area detecting unit detecting a common area using the recognized lane; And
And a tolerance correcting unit for correcting a camera tolerance such that real-world coordinates of the detected common area coincide with each other,
Wherein the camera tolerance correcting device comprises:
A lane width calculating unit for calculating a lane width using the recognized lane; And
And an image converting unit for converting the calculated lane width into a top view image based on the calculated lane width,
Wherein the area detecting unit detects the common area in the top view image,
Wherein the tolerance correcting unit corrects the camera tolerance by recognizing the feature points in the common area and correcting the conversion ratio stored in the look-up table so that real-world coordinates of the recognized feature points coincide with each other.
상기 영상변환부는,
상기 탑 뷰 영상으로 변환하는 과정에서 변환된 영상의 차선이 상기 산출된 차선 폭과 일치되도록 스케일 보정하는 것을 특징으로 하는 카메라 공차 보정 장치.
5. The method of claim 4,
The image converter may include:
Wherein scale correction is performed such that the lane of the converted image matches the calculated lane width in the process of converting into the top view image.
상기 카메라의 누적 공차를 보정하는 카메라 공차 보정 장치; 및
상기 카메라 공차 보정 장치에서 공차가 보정된 카메라에서 수집된 영상을 합성하여 어라운드 뷰 영상을 생성하여 운전자에게 제공하는 합성영상 제공부를 포함하고,
상기 카메라 공차 보정 장치는,
전방카메라 또는 후방카메라로 중 적어도 어느 하나에서 촬영된 영상을 이용하여 인식한 차선을 미리 설정된 룩 업 테이블에 저장된 변환비를 이용하여 실세계 좌표로 변환하고, 좌측카메라 또는 우측카메라로 중 적어도 어느 하나에서 촬영된 영상을 이용하여 인식한 차선을 미리 설정된 룩 업 테이블에 저장된 변환비를 이용하여 실세계 좌표로 변환하는 차선인식부;
상기 인식된 차선을 이용하여 공통되는 영역을 검출하는 영역검출부; 및
상기 검출된 공통되는 영역의 실세계 좌표가 일치되도록 카메라 공차를 보정하는 공차보정부를 포함하고,
상기 카메라 공차 보정 장치는,
상기 인식된 차선을 이용하여 차선 폭을 산출하는 차선폭산출부; 및
상기 산출된 차선 폭을 기준으로 탑 뷰(Top View) 영상으로 변환하는 영상변환부를 더 포함하며,
상기 영역검출부는, 상기 탑 뷰 영상에서 상기 공통되는 영역을 검출하고,
상기 공차보정부는, 상기 공통되는 영역에서 특징점을 인식하고, 인식된 특징점의 실세계 좌표가 일치되도록 상기 룩 업 테이블에 저장된 변환비를 수정함으로써 카메라 공차를 보정하는 것을 특징으로 하는 어라운드 뷰 모니터링 시스템.A camera installed at the front, rear, left, and right sides of the vehicle to photograph the surroundings of the vehicle;
A camera tolerance correcting device for correcting the cumulative tolerance of the camera; And
And a synthesized image providing unit for synthesizing the images collected by the camera with the tolerance corrected in the camera tolerance correcting apparatus to generate an ambient view image and provide the generated surround view image to the driver,
Wherein the camera tolerance correcting device comprises:
The lane recognized by using the image photographed by at least one of the front camera and the rear camera is converted into real world coordinates using a conversion ratio stored in a preset look-up table, and at least one of the left camera and the right camera A lane recognition unit for converting the recognized lane using the photographed image into real world coordinates using a conversion ratio stored in a preset look-up table;
An area detecting unit detecting a common area using the recognized lane; And
And a tolerance correcting unit for correcting a camera tolerance such that real-world coordinates of the detected common area coincide with each other,
Wherein the camera tolerance correcting device comprises:
A lane width calculating unit for calculating a lane width using the recognized lane; And
And an image converting unit for converting the calculated lane width into a top view image based on the calculated lane width,
Wherein the area detecting unit detects the common area in the top view image,
Wherein the tolerance correcting unit corrects the camera tolerance by recognizing the feature points in the common area and correcting the conversion ratio stored in the look-up table so that real-world coordinates of the recognized feature points coincide with each other.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020120100131A KR101987634B1 (en) | 2012-09-10 | 2012-09-10 | Method and Apparatus for Compensating Camera Tolerance and Around View Monitoring System Using the Same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020120100131A KR101987634B1 (en) | 2012-09-10 | 2012-09-10 | Method and Apparatus for Compensating Camera Tolerance and Around View Monitoring System Using the Same |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20140033803A KR20140033803A (en) | 2014-03-19 |
| KR101987634B1 true KR101987634B1 (en) | 2019-06-11 |
Family
ID=50644543
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020120100131A KR101987634B1 (en) | 2012-09-10 | 2012-09-10 | Method and Apparatus for Compensating Camera Tolerance and Around View Monitoring System Using the Same |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101987634B1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210061497A (en) | 2019-11-19 | 2021-05-28 | 현대모비스 주식회사 | Surround view monitoring system and method for vehicle |
| US11760262B2 (en) | 2019-11-19 | 2023-09-19 | Hyundai Mobis Co., Ltd. | Surround view monitoring system and method for vehicle, and parking assist control system of vehicle |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101579100B1 (en) | 2014-06-10 | 2015-12-22 | 엘지전자 주식회사 | Apparatus for providing around view and Vehicle including the same |
| KR102325334B1 (en) * | 2015-04-28 | 2021-11-12 | 한국전자통신연구원 | Auto calibration apparatus for vihicle sensor and method thereof |
| KR101709009B1 (en) * | 2015-08-18 | 2017-02-21 | 주식회사 와이즈오토모티브 | System and method for compensating distortion of around view |
| KR102372296B1 (en) * | 2015-11-12 | 2022-03-08 | 현대모비스 주식회사 | Apparatus and method for recognize driving lane on image |
| KR102658268B1 (en) * | 2016-04-05 | 2024-04-17 | 현대모비스 주식회사 | Apparatus and method for AVM automatic Tolerance compensation |
| KR102457264B1 (en) * | 2016-05-02 | 2022-10-20 | 현대모비스 주식회사 | Around view monitoring system and method for compensating camera tolerance there of |
| KR102457265B1 (en) * | 2016-05-25 | 2022-10-20 | 현대모비스 주식회사 | Apparatus for generating top-view image and method thereof |
| KR102478074B1 (en) * | 2016-06-07 | 2022-12-15 | 현대모비스 주식회사 | Around view monitoring system and method for compensating camera tolerance there of |
| KR102328031B1 (en) * | 2016-12-08 | 2021-11-17 | 현대모비스 주식회사 | Apparatus for generating top-view image and method thereof |
| KR101969030B1 (en) * | 2017-09-13 | 2019-04-16 | (주)베이다스 | Method and apparatus for providing camera calibration for vehicles |
| KR20210019925A (en) * | 2018-07-10 | 2021-02-23 | 엘지전자 주식회사 | Vehicle Around View Video Providing Device and Vehicle |
| KR102052013B1 (en) | 2019-06-12 | 2019-12-04 | 한국해양과학기술원 | Image composing system and camera calibration method for ship |
| KR102188721B1 (en) * | 2020-04-27 | 2020-12-08 | 현대모비스 주식회사 | Apparatus for generating top-view image and method thereof |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008187564A (en) * | 2007-01-31 | 2008-08-14 | Sanyo Electric Co Ltd | Camera calibration apparatus and method, and vehicle |
| KR100948886B1 (en) * | 2009-06-25 | 2010-03-24 | 주식회사 이미지넥스트 | Tolerance compensating apparatus and method for automatic vehicle-mounted camera |
| KR100956858B1 (en) * | 2009-05-19 | 2010-05-11 | 주식회사 이미지넥스트 | Sensing method and apparatus of lane departure using vehicle around image |
-
2012
- 2012-09-10 KR KR1020120100131A patent/KR101987634B1/en active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008187564A (en) * | 2007-01-31 | 2008-08-14 | Sanyo Electric Co Ltd | Camera calibration apparatus and method, and vehicle |
| KR100956858B1 (en) * | 2009-05-19 | 2010-05-11 | 주식회사 이미지넥스트 | Sensing method and apparatus of lane departure using vehicle around image |
| KR100948886B1 (en) * | 2009-06-25 | 2010-03-24 | 주식회사 이미지넥스트 | Tolerance compensating apparatus and method for automatic vehicle-mounted camera |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210061497A (en) | 2019-11-19 | 2021-05-28 | 현대모비스 주식회사 | Surround view monitoring system and method for vehicle |
| US11760262B2 (en) | 2019-11-19 | 2023-09-19 | Hyundai Mobis Co., Ltd. | Surround view monitoring system and method for vehicle, and parking assist control system of vehicle |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20140033803A (en) | 2014-03-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101987634B1 (en) | Method and Apparatus for Compensating Camera Tolerance and Around View Monitoring System Using the Same | |
| US9892493B2 (en) | Method, apparatus and system for performing geometric calibration for surround view camera solution | |
| US9533618B2 (en) | Method, apparatus and system for processing a display from a surround view camera solution | |
| KR101519209B1 (en) | Apparatus and method for providing image | |
| JP2009017020A (en) | Image processor and method for generating display image | |
| US10148938B2 (en) | Vehicle-mounted image recognition device to set a stereoscopic-vision and monocular-vision image areas | |
| JP6891954B2 (en) | Object detection device, object detection method, and program | |
| JP6970577B2 (en) | Peripheral monitoring device and peripheral monitoring method | |
| JP6377970B2 (en) | Parallax image generation apparatus and parallax image generation method | |
| JP2008102620A (en) | Image processing device | |
| KR20190021227A (en) | Signal processing apparatus, image pickup apparatus, and signal processing method | |
| US9652853B2 (en) | Image processing device | |
| JP2015232442A (en) | Image processor and vehicle front monitoring device | |
| JP2015194487A (en) | Disparity deriving apparatus, movable apparatus, robot, method of deriving disparity, method of producing disparity, and program | |
| WO2019073589A1 (en) | Image combination device and image combination method | |
| JP5959311B2 (en) | Data deriving apparatus and data deriving method | |
| JPWO2013105381A1 (en) | Image processing method, image processing apparatus, and image processing program | |
| JP2019068272A (en) | Circumference monitoring device and calibration method of the same | |
| JP2004032244A (en) | Stereo image processing apparatus and method therefor | |
| KR20110116387A (en) | Image pickup device and image distortion correction method | |
| JP2010217984A (en) | Image detector and image detection method | |
| JP2014026396A (en) | Movable surface boundary line recognition device, movable body having movable surface boundary line recognition device, movable surface boundary line recognition method, and movable surface boundary line recognition program | |
| KR102029335B1 (en) | Apparatus and method for correcting distored image | |
| KR102177878B1 (en) | Apparatus and method for processing image | |
| WO2017090097A1 (en) | Outside recognition device for vehicle |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |