KR100917330B1 - Top view monitor system and method of vehicle - Google Patents

Top view monitor system and method of vehicle Download PDF

Info

Publication number
KR100917330B1
KR100917330B1 KR1020080062232A KR20080062232A KR100917330B1 KR 100917330 B1 KR100917330 B1 KR 100917330B1 KR 1020080062232 A KR1020080062232 A KR 1020080062232A KR 20080062232 A KR20080062232 A KR 20080062232A KR 100917330 B1 KR100917330 B1 KR 100917330B1
Authority
KR
South Korea
Prior art keywords
vehicle
image
top view
camera
control module
Prior art date
Application number
KR1020080062232A
Other languages
Korean (ko)
Inventor
서창형
Original Assignee
쌍용자동차 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 쌍용자동차 주식회사 filed Critical 쌍용자동차 주식회사
Priority to KR1020080062232A priority Critical patent/KR100917330B1/en
Application granted granted Critical
Publication of KR100917330B1 publication Critical patent/KR100917330B1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q5/00—Arrangement or adaptation of acoustic signal devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • General Physics & Mathematics (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

A top-view monitor system and method of vehicle is provided to execute both parking assistant and deviation warning using a camera equipped on the vehicle. A top-view monitor system of vehicle comprises a plurality of cameras(10), an integrated control module(20), a monitor(30), and a speaker(40). The cameras capture the surrounding images of the vehicle. The integrated control module processes the images to recognize traffic lanes and determine whether deviation of the vehicle is detected. The monitor shows the images from the integrated control module. The speaker outputs a warning message in voice when the integrated control module senses deviation of the vehicle.

Description

차량의 탑뷰 모니터 시스템 및 방법{Top view monitor system and method of vehicle}Top view monitor system and method of vehicle

본 발명은 차량의 탑뷰 모니터 시스템 및 방법에 관한 것으로, 더욱 상세하게는 차량에 탑재되는 카메라를 이용함으로써 차량 주차시 보조적인 기술로 활용하고 상기 카메라를 통한 차선 인식 기술을 이용함으로써 차선의 이탈시 경보 기술로 활용할 수 있게 하는 차량의 탑뷰 모니터 시스템 및 방법에 관한 것이다.The present invention relates to a top view monitor system and method of a vehicle, and more particularly, by using a camera mounted on a vehicle as an assistive technology when parking a vehicle, and by using a lane recognition technology through the camera to warn of lane departure. A top view monitor system and method for a vehicle that can be utilized as a technology.

현재, 차량의 주차시 거리 센서 및 후방카메라 영상을 같이 이용하여 차량에 근접한 장애물과의 거리를 계산함으로써 모든 구역에서 거리 측정의 정확도를 높일 수 있으며, 이에 따라 거리 계산의 오차에 따른 추돌사고를 미연에 방지할 수 있도록 한 거리 센서 및 후방카메라를 이용한 차량 주차 시스템이 제공되어 있다.At present, when the vehicle is parked, the distance sensor and the rear camera image are used together to calculate the distance to the obstacle near the vehicle, thereby increasing the accuracy of the distance measurement in all zones, thus preventing any collision due to the error of the distance calculation. A vehicle parking system using a distance sensor and a rear view camera is provided to prevent the accident.

그러나, 상기와 같은 종래의 차량 후방카메라를 이용한 주차보조시스템은 후진시에 차량 후방만의 상황을 카메라를 통하여 운전자에게 정보전달을 하고, 넓은 시야를 확보하기 위하여 사용하는 광각(廣角) 카메라로 인하여 영상의 왜곡이 심하여 운전자에게 정확한 후방 상황을 전달하지 못하는 문제점이 있었다.However, the parking assistance system using the conventional vehicle rear camera as described above has a wide angle camera used to transmit information to the driver through the camera and secure a wide field of view at the rear of the vehicle at the time of reversing. The distortion of the image was so severe that there was a problem that can not convey the correct rear situation to the driver.

또한, 종래의 차선이탈경보시스템은 차량 실내의 전면유리 상단에 한대의 카 메라를 장착하여 주행중인 차선을 감지한 후 차량이 차선을 이탈할 경우 경보를 통해 알려주고 있다. In addition, the conventional lane departure warning system is equipped with a camera on the top of the windshield of the interior of the vehicle to detect the lane being driven, and then informs the alarm when the vehicle leaves the lane.

그러나, 상기와 같은 시스템은 우천시 와이퍼가 동작할 때 차선감지의 오작동을 방지하기 위해서 시스템을 오프시키게 되는데, 이는 운전자가 절실하게 필요로 하는 기상조건에서는 제대로 기능을 발휘하지 못하여 차선의 이탈을 알려주지 못하는 문제점이 있었다.However, such a system may turn off the system to prevent lane detection malfunction when the wiper operates in rainy weather, which may not function properly in weather conditions that the driver desperately needs and may not notify the departure of the lane. There was a problem.

상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 차량에 탑재되는 카메라를 이용한 주차보조기술 및 카메라의 차선인식기술을 이용한 차선이탈경보기술을 병용할 수 있는 차량의 탑뷰 모니터 시스템 및 방법을 제공하는 데에 있다.SUMMARY OF THE INVENTION An object of the present invention for solving the above problems is to provide a top view monitor system and method for a vehicle that can use a lane departure warning technology using a parking assist technology and a lane recognition technology of a camera mounted on a vehicle. It's there.

상기한 바와 같은 목적을 성취하기 위한 본 발명의 실시예에 따른 차량의 탑뷰 모니터 시스템은, 차량의 주변 상황을 촬영하는 다수개의 카메라; 상기 카메라로 촬영된 영상을 입력받아 영상처리를 수행하여 차선인식 및 차선이탈감지 여부를 판단하는 통합제어모듈; 상기 통합제어모듈에서 처리된 영상정보를 디스플레이하는 모니터; 상기 통합제어모듈에서 처리된 차선인식에 따른 차량의 이탈을 감지하여 음성 경보하는 스피커; 및 차량의 차속을 표시하여 안내해주는 속도 표시부;로 이루어지는 것을 특징으로 한다.Top view monitor system of a vehicle according to an embodiment of the present invention for achieving the above object, a plurality of cameras for photographing the surrounding situation of the vehicle; An integrated control module configured to receive an image captured by the camera and perform image processing to determine lane recognition and lane departure detection; A monitor displaying image information processed by the integrated control module; A speaker configured to detect a departure of the vehicle according to the lane recognition processed by the integrated control module and to provide a voice alarm; And a speed display unit displaying and guiding a vehicle speed of the vehicle.

본 발명의 실시예에 따르면, 상기 카메라는, 차량의 전면부에 장착되어 차량의 전방부를 촬영하는 전방카메라와, 차량의 좌면부에 장착되어 차량의 좌측면부를 촬영하는 좌측카메라와, 차량의 우면부에 장착되어 차량의 우측면부를 촬영하는 우측카메라와, 차량의 후면부에 장착되어 차량의 후방을 촬영하는 후방카메라로 구성된다.According to an embodiment of the present invention, the camera is mounted on the front part of the vehicle to shoot the front part of the vehicle, the left camera is mounted to the left side of the vehicle to shoot the left side of the vehicle, and the right side of the vehicle And a rear camera mounted on the rear side of the vehicle and a rear camera mounted on the rear side of the vehicle to photograph the rear side of the vehicle.

본 발명의 실시예에 따르면, 상기 통합제어모듈에 의한 영상 처리는, 상기 카메라에 의해 촬영된 영상에 대한 휘도 및 색상편차에 대하여 보상처리를 하는 카 메라 비디오 후처리 단계; 볼록하게 왜곡된 개별 광각 카메라들의 영상 굴곡을 펴주는 랜즈 왜곡 보상 단계; 원근감에 대한 편차를 보상해주고, 가상 탑뷰(Top View) 영상으로 변환하는 절차를 수행하는 영상 스캐닝 단계; 상기 카메라들의 탑뷰 영상을 통합과정을 거치면서 중첩부분에 대한 처리를 하는 4채널 영상 합성 단계; 및 차량 전체의 탑뷰를 완성하여 차량형상의 그래픽을 중앙에 삽입하는 차량 이미지 삽입단계;로 이루어진다.According to an exemplary embodiment of the present invention, the image processing by the integrated control module may include: a camera video post-processing step of compensating for luminance and color deviation of an image captured by the camera; Lens distortion compensation for straightening an image of the convexly distorted individual wide-angle cameras; An image scanning step of compensating for a deviation in perspective and converting the image into a virtual top view image; A 4-channel image synthesizing step of processing an overlapping portion while integrating the top view images of the cameras; And a vehicle image inserting step of inserting a graphic of the vehicle shape in the center by completing the top view of the entire vehicle.

본 발명의 실시예에 따르면, 상기 통합제어모듈에서 처리된 영상정보를 디스플레이하는 모니터는 차량 전방의 클러스터에 구비되게 한다.According to an embodiment of the present invention, a monitor for displaying image information processed by the integrated control module is provided in the cluster in front of the vehicle.

본 발명의 실시예에 따른 차량에 탑재되는 카메라들을 이용하여 영상을 이미지화하고 차선의 이탈시 경보 기술을 병행하여 활용할 수 있게 하는 차량의 탑뷰 모니터 방법에 있어서, 모니터 방법은, 탑뷰 모니터의 작동을 온/오프시키는 작동스위치를 온 상태로 하는 단계; 차량의 속도가 15㎞/h 이하인가는 확인하는 단계; 및 차량의 속도가 15㎞/h 이하일 때 탑뷰 영상을 디스플레이하는 단계;로 이루어지며, 차량의 차선이탈경보 방법은, 차량의 차선 이탈 경보작동 스위치가 온(on) 상태로 되는 단계; 차량의 차속이 소정의 속도 이상으로 되는 단계; 차량의 방향지시등이 오프되는 단계; 차량의 좌측카메라 및 우측카메라에 의해 촬영된 영상을 통해서 차선의 이탈을 감지하는 단계; 및 차선 이탈 경보기능을 수행하는 통합제어모듈을 통해서 스피커로 차선이탈경보음을 발생시키는 단계;로 이루어지는 것을 특징으로 한다.In the top view monitor method of a vehicle that enables to image the image by using the cameras mounted on the vehicle according to an embodiment of the present invention and to use the alarm technology in the case of lane departure, the monitoring method, the operation of the top view monitor on Turning on / off an operation switch; Checking whether the vehicle speed is 15 km / h or less; And displaying a top view image when the speed of the vehicle is 15 km / h or less. The lane departure warning method of the vehicle includes: turning on a lane departure alarm operation switch of the vehicle; The vehicle speed of the vehicle being greater than or equal to a predetermined speed; Turning off the turn signal of the vehicle; Detecting departure of a lane through images captured by the left and right cameras of the vehicle; And generating a lane departure alarm sound to a speaker through an integrated control module that performs a lane departure alarm function.

상기와 같은 본 발명에 따른 차량의 탑뷰 모니터 시스템 및 방법을 통해서, 주차시 탑뷰 모니터시스템의 편의성과 탑뷰 모니터에서 사용되는 카메라를 활용하여 추가적인 카메라의 적용 없이 보다 신뢰성 있는 차선이탈경보 시스템을 구축하여 운전자에게 편의와 안전을 동시에 만족시킬 수 있는 효과를 제공한다.By using the top view monitor system and method of the vehicle according to the present invention as described above, by utilizing the convenience of the top view monitor system and the camera used in the top view monitor when parking the vehicle to build a more reliable lane departure warning system without applying additional cameras It provides the effect that can satisfy convenience and safety at the same time.

이하, 본 발명에 따른 차량의 탑뷰 모니터 시스템 및 방법에 대한 바람직한 실시예를 첨부한 도면을 참조하여 설명한다.Hereinafter, a preferred embodiment of a top view monitor system and method of a vehicle according to the present invention will be described with reference to the accompanying drawings.

도 1은 본 발명의 실시예에 따른 차량의 탑뷰 모니터 시스템의 구성을 보인 개략도이고, 도 2는 본 발명의 실시예에 따른 차량의 탑뷰 모니터 시스템의 작동상태룰 보인 도면이고, 도 3은 본 발명의 실시예에 따른 차량의 탑뷰 모니터 시스템에서 차선이탈경보시스템의 작동상태를 보인 도면이고, 도 4는 본 발명의 실시예에 따른 차량의 탑뷰 모니터 시스템의 탑뷰 영상 변환 과정을 보인 흐름도이고, 도 5는 도 4의 시스템의 탑뷰 영상 변환 과정을 영상 이미지로 보인 도면이며, 도 6은 본 발명의 실시예에 따른 차량의 탑뷰 모니터방법을 보인 순서도이다.1 is a schematic view showing the configuration of a top view monitor system of a vehicle according to an embodiment of the present invention, Figure 2 is a view showing the operating state of the top view monitor system of a vehicle according to an embodiment of the present invention, Figure 3 is a present invention FIG. 4 is a view illustrating an operation state of a lane departure warning system in a top view monitor system of a vehicle according to an embodiment of the present disclosure. FIG. 4 is a flowchart illustrating a process of converting a top view image of a top view monitor system of a vehicle according to an embodiment of the present invention. 4 is a view illustrating a top view image conversion process of the system of FIG. 4 as a video image, and FIG. 6 is a flowchart illustrating a top view monitoring method of a vehicle according to an exemplary embodiment of the present invention.

도 1에 도시된 바와 같이 본 발명의 실시예에 따른 차량의 탑뷰 모니터 시스템은 카메라(10), 통합제어모듈(20), 모니터(30), 스피커(40) 및 속도 표시부(50)로 구성된다.As shown in FIG. 1, a top view monitor system of a vehicle according to an exemplary embodiment of the present invention includes a camera 10, an integrated control module 20, a monitor 30, a speaker 40, and a speed display unit 50. .

상기 카메라(10)는 차량의 주행시 주변 상황을 촬영하는 역할을 하는 것으로, 도 2 및 도 3에 도시된 바와 같이, 차량의 전면부에 장착되어 차량의 전방부를 촬영하는 전방카메라(11)와, 차량의 좌면부에 장착되어 차량의 좌측면부를 촬영하 는 좌측카메라(12)와, 차량의 우면부에 장착되어 차량의 우측면부를 촬영하는 우측카메라(13)와, 차량의 후면부에 장착되어 차량의 후방을 촬영하는 후방카메라(14)로 구성된다.The camera 10 is to take a picture of the surrounding situation when the vehicle is running, as shown in Figures 2 and 3, the front camera 11 mounted on the front of the vehicle to shoot the front of the vehicle, and The left camera 12 mounted on the left side of the vehicle to photograph the left side of the vehicle, the right camera 13 mounted on the right side of the vehicle to photograph the right side of the vehicle, and the rear camera of the vehicle It consists of the rear camera 14 which photographs the back.

상기 카메라들(11, 12, 13, 14)은 탑뷰 모니터와 차선이탈경보시스템의 각각이 작동할 때에 사용되며, 도 2 및 도 3에 도시된 바와 같이, 소정의 영역을 감지하여 다음에 기술될 모니터(30)를 통해서 디스플레이되게 한다.The cameras 11, 12, 13, 14 are used when each of the top view monitor and the lane departure warning system operate, and as shown in Figs. To be displayed via the monitor 30.

상기 통합제어모듈(20)은 카메라(10)로 촬영된 영상을 입력받아 영상처리를 수행하여 차선인식 및 차선이탈감지 여부를 판단한다.The integrated control module 20 receives an image captured by the camera 10 and performs image processing to determine lane detection and lane departure detection.

상기 모니터(30)는 통합제어모듈(20)에서 처리된 카메라(10)의 감지영역에 대한 영상정보를 운전자가 인식할 수 있도록 도 5에 도시된 바와 같이 디스플레이해주는 역할을 하는 것으로, 사용자의 의도에 따라 도 5와 같은 영상 정보를 선택적으로 선별하여 이미지화하는 것을 가능하게 한다.The monitor 30 serves to display the image information on the detection area of the camera 10 processed by the integrated control module 20 as shown in FIG. 5 so that the driver can recognize it. As a result, it is possible to selectively select and image the image information as shown in FIG.

상기와 같은 이미지화를 위한 모니터(30)는 운전자나 탑승자가 쉽게 알아볼 수 있는 차량 내부 전방의 클러스터(미도시)에 구비되는 것이 바람직하다.The monitor 30 for imaging as described above is preferably provided in a cluster (not shown) in front of the inside of the vehicle that can be easily recognized by the driver or the passenger.

탑뷰(Top View)의 모니터(30)의 경우, 상기 모니터(30)의 작동을 온/오프시키는 작동스위치가 온 상태로 되었을 경우, 차속이 15km/h이하의 조건에서 모니터(30)의 영상이 디스플레이되게 한다.In the case of the monitor 30 of the top view, when the operation switch for turning on / off the operation of the monitor 30 is turned on, the image of the monitor 30 is displayed under a vehicle speed of 15 km / h or less. To be displayed.

상기 스피커(40)는 통합제어모듈(20)에서 처리된 차선인식에 따른 차량의 이탈을 감지하여 음성으로 경보하여 알려주는 역할을 한다.The speaker 40 detects the departure of the vehicle according to the lane recognition processed by the integrated control module 20 to serve as a voice alert.

즉, 차선이탈경보기능을 온/오프시키는 작동스위치가 온 상태로 되었을 경 우, 차속이 50km/h이상의 조건에서 방향지시등이 오프된 상태에서 차량이 차선을 이탈하게 되면 운전자에게 스피커(40)를 통해서 경보하게 된다.That is, when the operation switch for turning on / off the lane departure warning function is turned on, if the vehicle leaves the lane when the direction indicator is turned off under the condition of the vehicle speed of 50 km / h or more, the speaker 40 is provided to the driver. You will be alerted.

상기 속도 표시부(50)는 차량의 차속을 표시하여 안내해주는 역할을 하며, 소정 이상의 차속에서 차선이탈경보기능이 수행되고 있음을 운전자가 인식할 수 있게 한다.The speed display unit 50 serves to display and guide the vehicle speed of the vehicle, and enables the driver to recognize that the lane departure warning function is being performed at a predetermined or more vehicle speed.

차량의 탑뷰 모니터(30)에서 카메라의 촬영 영상이 어떠한 단계를 거쳐서 영상의 왜곡이 보정되고 가상 탑뷰 화면이 변환되는가를 보여주는 도 4 및 도 5를 통해서 살펴보면 다음과 같다.Referring to FIGS. 4 and 5 showing the steps in which the photographed image of the camera is corrected in the top view monitor 30 of the vehicle, the distortion of the image is corrected, and the virtual top view screen is converted.

즉, 상기 통합제어모듈(20)에 의한 영상 처리는 다음과 같이 실행된다.That is, image processing by the integrated control module 20 is executed as follows.

여기서, 탑뷰 영상이라 함은 4개의 카메라들(11, 12, 13, 14)의 영상을 통합하여 한 화면으로 보여주는 것이기 때문에 각 카메라의 영상품질을 어느 정도 통일화시킬 필요가 있다. Here, since the top view image is to display the images of the four cameras (11, 12, 13, 14) in one screen, it is necessary to unify the image quality of each camera to some extent.

즉, 카메라들(11, 12, 13, 14)이 차량에 장착되면 각각의 위치가 다르고 지향방향이 다르며 지면과의 거리 또한 다르기 때문에, 카메라 비디오 후처리를 통해서 카메라(10)에 의해 촬영된 영상에 대한 휘도 및 색상편차에 대하여 보상처리를 행한다(S1 단계).That is, when the cameras 11, 12, 13, and 14 are mounted in a vehicle, the positions of the cameras 11, 12, 13, and 14 are different from each other, the direction of orientation is different, and the distance from the ground is also different. Compensation processing is performed for the luminance and color deviation with respect to (step S1).

그 다음, 카메라들에 의해 촬영된 영상을 보정한 후에는 랜즈 왜곡 보상 단계를 통해서 볼록하게 왜곡된 개별 광각 카메라들(11, 12, 13, 14)의 영상 굴곡을 펴준다(S2 단계).Then, after correcting the image photographed by the cameras through the lens distortion compensation step to straighten the image curvature of the convex distorted individual wide-angle camera (11, 12, 13, 14) (step S2).

그 후, 영상 스캐닝을 통해서 원근감에 대한 편차를 보상해주고(S3 단계), 마지막으로 시점 변환을 통해서 가상 탑뷰(Top View) 영상으로 변환하는 절차를 수행한다(S4 단계).Thereafter, the image is scanned to compensate for the deviation in perspective (step S3), and finally, a process of converting the image into a virtual top view image through the viewpoint conversion is performed (step S4).

상기와 같이 각 카메라(11, 12, 13, 14)의 영상을 가상 탑뷰 영상으로 변환한 뒤에는, 4채널 영상 합성을 통해서 카메라들의 탑뷰 영상을 통합과정을 거치면서 중첩부분에 대한 처리를 실시한다(S5 단계).After converting the images of the cameras 11, 12, 13, and 14 into the virtual top view image as described above, the overlapping part is processed while the top view images of the cameras are integrated through the 4-channel image synthesis ( Step S5).

마지막 단계인 차량 이미지 삽입을 통해 차량형상의 그래픽을 중앙에 삽입하는 것으로 차량 전체의 탑뷰를 완성하게 된다(S6 단계).The final step is to insert the graphic of the vehicle shape through the vehicle image insertion in the center to complete the top view of the entire vehicle (step S6).

상기와 같은 구성으로 이루어진 본 발명은 시스템은, 차량의 전/후/좌/우측의 정보를 4개의 카메라(11, 12, 13, 14)를 통하여 모두 보여주는 것은 물론, 영상처리기술을 이용하여 왜곡을 보정하고 마치 차량의 위에서 내려다보는 것과 같은 가상 탑뷰 화면을 제공하여 운전자의 주차시 편의성을 극대화시킬 수 있게 한다.According to the present invention having the above configuration, the system displays all the information of the front, rear, left, and right sides of the vehicle through the four cameras 11, 12, 13, and 14, as well as distortion using image processing technology. It provides a virtual top view screen as if you are looking down from the top of the vehicle, allowing you to maximize the convenience of your parking.

그리고, 상기의 탑뷰 모니터시스템을 위하여 차량에 장착되는 4개의 카메라(11, 12, 13, 14) 중에 좌/우측의 카메라를 이용하여 차선을 감지, 차량의 차선이탈시 운전자에게 경보하는 기능까지 갖추어 운전자의 편의 및 안전주행을 도울 수 있게 한다.In addition, among the four cameras 11, 12, 13, and 14 installed in the vehicle for the top view monitor system, a lane is detected using a left / right camera, and a function of alerting the driver when the vehicle leaves the lane is provided. To help the driver's comfort and safe driving.

또한, 상기 탑뷰 모니터에서 사용되는 4개의 카메라(11, 12, 13, 14) 중 좌/우측면에 마운팅되어 하향지향하고 있는 2개의 카메라(12, 13)를 이용하여 각 카메라가 각각의 방향(좌/우)의 차선을 감지하게 되어, 우천시 와이퍼가 동작하여도 전혀 차선감지에 문제가 없게 된다.In addition, each of the cameras in each direction (left) using two cameras 12 and 13 mounted downward on the left / right side of the four cameras 11, 12, 13, and 14 used in the top view monitor. / Right) lane is detected, there is no problem in lane detection at all, even if the wiper in the rain.

그리고, 상기 탑뷰 모니터에 사용되는 카메라를 그대로 사용하기 때문에 추 가로 차선감지용 카메라를 적용시킬 필요가 없어 비용을 절감할 수 있게 한다.In addition, since the camera used for the top view monitor is used as it is, it is not necessary to apply an additional lane detection camera, thereby reducing the cost.

상기와 같은 구성으로 이루어진 본 발명의 따른, 차량에 탑재되는 카메라들(11, 12, 13, 14)을 이용하여 영상을 이미지화하고 차선의 이탈시 경보 기술을 병행하여 활용할 수 있게 하는 차량의 탑뷰 모니터 방법 및 차량의 차선이탈경보 방법 각각을, 도 6을 통해서 간략하게 살펴보면 다음과 같다.According to the present invention having the configuration as described above, the top view monitor of the vehicle to image the image using the cameras (11, 12, 13, 14) mounted on the vehicle and to use in parallel with the warning technology when the lane departure Each method and the lane departure warning method of the vehicle will be briefly described with reference to FIG. 6 as follows.

먼저, 차량의 탑뷰 모니터 방법을 살펴보면 다음과 같다.First, the top view monitoring method of the vehicle is as follows.

차량의 탑뷰 모니터(60)의 작동을 온/오프시키는 작동 스위치를 온 상태로 한다(S10 단계).The operation switch for turning on / off the operation of the top view monitor 60 of the vehicle is turned on (step S10).

그 다음, 상기 작동 스위치가 온 상태로 되면, 차량의 속도가 소정 속도 이하, 즉 15㎞/h 이하인가는 확인한다(S20 단계).Then, when the operation switch is turned on, it is checked whether the speed of the vehicle is below a predetermined speed, that is, 15 km / h or less (step S20).

차량 속도의 확인 후 속도가 15㎞/h 이하일 때 탑뷰 영상을 디스플레이한다(S30 단계).After checking the vehicle speed, the top view image is displayed when the speed is 15 km / h or less (step S30).

그리고, 차량의 차선이탈경보 방법을 살펴보면 다음과 같다. The lane departure warning method of the vehicle is as follows.

먼저, 차량의 차선 이탈 경보작동 스위치가 온(on) 상태로 되어 있는지를 확인한다(S40 단계).First, it is checked whether the lane departure warning operation switch of the vehicle is turned on (step S40).

상기 스위치가 온 상태로 된 다음에는, 차량의 차속이 소정 속도 이상, 즉 50㎞/h 이상으로 되었는가를 확인한다(S50 단계).After the switch is turned on, it is checked whether the vehicle speed of the vehicle reaches a predetermined speed or more, that is, 50 km / h or more (step S50).

상기와 같이 차량의 차속이 소정 속도 이상으로 되었을 경우 차량의 방향지시등이 오프 상태에 있는지를 확인한다(S60 단계).As described above, when the vehicle speed exceeds the predetermined speed, it is checked whether the direction indicator light of the vehicle is in the off state (step S60).

상기 방향지시등이 오프 상태로 있으면, 차량의 좌측카메라(12) 및 우측카메 라(13)에 의해 촬영된 영상을 통해서 차선의 이탈을 감지한다(S70 단계).When the direction indicator is in the off state, the lane departure is detected through the images captured by the left camera 12 and the right camera 13 of the vehicle (step S70).

마지막으로, 차량이 차선을 이탈할 경우 차선 이탈 경보기능을 수행하는 통합제어모듈(20)을 통해서 스피커로 차선이탈경보음을 발생시킨다(S80 단계).Finally, when the vehicle leaves the lane, the lane departure alarm sound is generated to the speaker through the integrated control module 20 which performs the lane departure warning function (step S80).

이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 또한 설명하였으나, 본 발명은 상기한 실시예에 한정되지 않으며, 특허청구범위에서 청구된 본 발명의 요지를 벗어남이 없이 당해 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 기재된 청구범위 내에 있게 된다.Although the above has been shown and described with respect to the preferred embodiments of the present invention, the present invention is not limited to the above-described embodiment, in the technical field to which the present invention pertains without departing from the spirit of the invention as claimed in the claims. Various modifications can be made by those skilled in the art, and such changes will fall within the scope of the claims set forth.

도 1은 본 발명의 실시예에 따른 차량의 탑뷰 모니터 시스템의 구성을 보인 개략도.1 is a schematic view showing the configuration of a top view monitor system of a vehicle according to an embodiment of the present invention.

도 2는 본 발명의 실시예에 따른 차량의 탑뷰 모니터 시스템의 작동상태룰 보인 도면.2 is a view showing the operating state of the top view monitor system of a vehicle according to an embodiment of the present invention.

도 3은 본 발명의 실시예에 따른 차량의 탑뷰 모니터 시스템에서 차선이탈경보시스템의 작동상태를 보인 도면. Figure 3 is a view showing the operating state of the lane departure warning system in a top view monitor system of a vehicle according to an embodiment of the present invention.

도 4는 본 발명의 실시예에 따른 차량의 탑뷰 모니터 시스템의 탑뷰 영상 변환 과정을 보인 흐름도.4 is a flowchart illustrating a process of converting a top view image of a top view monitor system of a vehicle according to an exemplary embodiment of the present invention.

도 5는 도 4의 시스템의 탑뷰 영상 변환 과정을 영상 이미지로 보인 도면.5 is a view showing a top view image conversion process of the system of FIG. 4 as a video image.

도 6은 본 발명의 실시예에 따른 차량의 탑뷰 모니터방법을 보인 순서도.Figure 6 is a flow chart showing a top view monitor method of a vehicle according to an embodiment of the present invention.

*도면의 주요 부분에 대한 부호의 간략한 설명** Brief description of symbols for the main parts of the drawings *

10: 카메라 11: 전방카메라10: camera 11: front camera

12: 좌측카메라 13: 우측카메라12: Left camera 13: Right camera

14: 후방카메라 20: 통합제어모듈14: rear camera 20: integrated control module

30: 모니터 40: 스피커30: monitor 40: speaker

50: 속도 표시부50: speed display unit

Claims (5)

차량의 주변 상황을 촬영하는 다수개의 카메라(10)와, 상기 카메라(10)로 촬영된 영상을 입력받아 영상처리를 수행하여 차선인식 및 차선이탈감지 여부를 판단하는 통합제어모듈(20)과, 차량 전방의 클러스터에 구비되어서 상기 통합제어모듈(20)에서 처리된 영상정보를 디스플레이하는 모니터(30)와, 상기 통합제어모듈(20)에서 처리된 차선인식에 따른 차량의 이탈을 감지하여 음성 경보하는 스피커(40)와, 차량의 차속을 표시하여 안내해주는 속도 표시부(50)를 구성하는 차량의 탑뷰 모니터 시스템에 있어서, 상기 통합제어모듈(20)에 의한 영상 처리는, A plurality of cameras 10 for photographing surrounding conditions of the vehicle, an integrated control module 20 for determining whether lane detection and lane departure detection are performed by receiving an image captured by the camera 10 and performing image processing; The monitor 30 is provided in a cluster in front of the vehicle to display the image information processed by the integrated control module 20, and the voice alarm by detecting the departure of the vehicle according to the lane recognition processed by the integrated control module 20 In the top view monitor system of a vehicle constituting the speaker 40 and the speed display unit 50 to display and guide the vehicle speed of the vehicle, the image processing by the integrated control module 20, 상기 카메라(10)에 의해 촬영된 영상에 대한 휘도 및 색상편차에 대하여 보상처리를 하는 카메라 비디오 후처리 단계(S1);A camera video post-processing step (S1) of compensating for luminance and color deviation with respect to an image photographed by the camera (10); 볼록하게 왜곡된 개별 광각 카메라들(11, 12, 13, 14)의 영상 굴곡을 펴주는 랜즈 왜곡 보상 단계(S2);Lens distortion compensation (S2) to straighten the image curvature of the convexly distorted individual wide-angle cameras 11, 12, 13, and 14; 원근감에 대한 편차를 보상해주고, 가상 탑뷰(Top View) 영상으로 변환하는 절차를 수행하는 영상 스캐닝 단계(S3);An image scanning step (S3) of compensating for a deviation in perspective and performing a procedure of converting the image into a virtual top view image; 상기 카메라들(11, 12, 13, 14)의 탑뷰 영상을 통합과정을 거치면서 중첩부분에 대한 처리를 하는 4채널 영상 합성 단계(S4); 및A four-channel image synthesizing step (S4) of processing the overlapping portion while integrating the top-view images of the cameras (11, 12, 13, 14); And 차량 전체의 탑뷰를 완성하여 차량형상의 그래픽을 중앙에 삽입하는 차량 이미지 삽입단계(S5);로 이루어지는 것을 특징으로 차량의 탑뷰 모니터 시스템. And a vehicle image inserting step (S5) of completing the entire top view of the vehicle and inserting a graphic of the vehicle shape in the center (S5). 삭제delete 삭제delete 삭제delete 차량에 탑재되는 카메라들(11, 12, 13, 14)을 이용하여 영상을 이미지화하고 차선의 이탈시 경보 기술을 병행하여 활용할 수 있게 하는 차량의 탑뷰 모니터 방법에 있어서, In the top view monitoring method of a vehicle that can be used to image the image using the cameras (11, 12, 13, 14) mounted on the vehicle in parallel to use the warning technology when the lane departure, 상기 모니터 방법은, The monitor method, 탑뷰 모니터의 작동을 온/오프시키는 작동스위치를 온 상태로 하는 단계(S10);Turning on an operation switch for turning on / off an operation of the top view monitor (S10); 차량의 속도가 15㎞/h 이하인가는 확인하는 단계(S20); 및Confirming whether the speed of the vehicle is 15 km / h or less (S20); And 차량의 속도가 15㎞/h 이하일 때 탑뷰 영상을 디스플레이하는 단계(S30);로 이루어지며,And displaying the top view image when the speed of the vehicle is 15 km / h or less (S30). 차량의 상기 차선이탈경보 방법은, The lane departure warning method of the vehicle, 차량의 차선 이탈 경보작동 스위치가 온(on) 상태로 되는 단계(S40);Step (S40) in which the lane departure warning operation switch of the vehicle is turned on; 차량의 차속이 소정의 속도 이상으로 되는 단계(S50);Step S50 in which the vehicle speed of the vehicle becomes equal to or greater than a predetermined speed; 차량의 방향지시등이 오프되는 단계(S60);Turning off the direction indicator light of the vehicle (S60); 차량의 좌측카메라(12) 및 우측카메라(13)에 의해 촬영된 영상을 통해서 차선의 이탈을 감지하는 단계(S70); 및Detecting departure of a lane through the images photographed by the left camera 12 and the right camera 13 of the vehicle (S70); And 차선 이탈 경보기능을 수행하는 통합제어모듈(20)을 통해서 스피커로 차선이탈경보음을 발생시키는 단계(S80);로 이루어지는 것을 특징으로 하는 차량의 탑뷰 모니터 방법. And generating a lane departure alarm sound to a speaker through the integrated control module 20 performing a lane departure warning function (S80).
KR1020080062232A 2008-06-30 2008-06-30 Top view monitor system and method of vehicle KR100917330B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080062232A KR100917330B1 (en) 2008-06-30 2008-06-30 Top view monitor system and method of vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080062232A KR100917330B1 (en) 2008-06-30 2008-06-30 Top view monitor system and method of vehicle

Publications (1)

Publication Number Publication Date
KR100917330B1 true KR100917330B1 (en) 2009-09-16

Family

ID=41355732

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080062232A KR100917330B1 (en) 2008-06-30 2008-06-30 Top view monitor system and method of vehicle

Country Status (1)

Country Link
KR (1) KR100917330B1 (en)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011074721A1 (en) * 2009-12-14 2011-06-23 (주) 에투시스템 Image processing device and method for matching images obtained from a plurality of wide-angle cameras
KR101219730B1 (en) * 2010-10-29 2013-01-08 재단법인대구경북과학기술원 Driver distraction warning system using rear view camera and method of thereof
KR101481648B1 (en) * 2013-06-28 2015-01-15 (주) 세인 Apparatus Reliably Providing Vehicle Around Image
KR101488636B1 (en) 2014-01-29 2015-02-11 조선대학교산학협력단 Top-view parking assistance system using a perspective transformation and method thereof
WO2015141869A1 (en) * 2014-03-17 2015-09-24 볼보 컨스트럭션 이큅먼트 에이비 Apparatus for controlling camera screen in device cluster
KR20160051993A (en) * 2014-10-30 2016-05-12 현대모비스 주식회사 Apparatus for driver assistance
KR20160083223A (en) 2014-12-30 2016-07-12 위드로봇 주식회사 System and method for generating road image
KR20160112676A (en) * 2015-03-20 2016-09-28 주식회사 성우모바일 Method and apparatus for parking assist system
KR101843528B1 (en) * 2017-04-21 2018-05-14 엘지전자 주식회사 Method and apparatus for providing stopping movement mode and vehicle having the same
US10144397B2 (en) 2015-09-02 2018-12-04 Lg Electronics Inc. Method of providing stopped-vehicle movement mode, driver assistance apparatus providing the same, and vehicle including driver assistance apparatus
CN109353278A (en) * 2018-11-14 2019-02-19 杭州炽云科技有限公司 A kind of display system of automobile A-column blind area
US10740626B2 (en) 2017-09-28 2020-08-11 Samsung Electronics Co., Ltd. Method and apparatus for identifying driving lane

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19980061720A (en) * 1996-12-31 1998-10-07 박병재 Vehicle with road environment awareness
KR200291685Y1 (en) * 2002-06-10 2002-10-11 김영만 Four sides monitering apparatus for vehicle
KR20060095146A (en) * 2005-02-28 2006-08-31 이주성 A safety device for traveling of car and driving method its
KR200434467Y1 (en) * 2006-09-22 2006-12-20 대성전기공업 주식회사 Motor vehicle's side and rear view apparatus with integrated fender lamp

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19980061720A (en) * 1996-12-31 1998-10-07 박병재 Vehicle with road environment awareness
KR200291685Y1 (en) * 2002-06-10 2002-10-11 김영만 Four sides monitering apparatus for vehicle
KR20060095146A (en) * 2005-02-28 2006-08-31 이주성 A safety device for traveling of car and driving method its
KR200434467Y1 (en) * 2006-09-22 2006-12-20 대성전기공업 주식회사 Motor vehicle's side and rear view apparatus with integrated fender lamp

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011074721A1 (en) * 2009-12-14 2011-06-23 (주) 에투시스템 Image processing device and method for matching images obtained from a plurality of wide-angle cameras
KR101219730B1 (en) * 2010-10-29 2013-01-08 재단법인대구경북과학기술원 Driver distraction warning system using rear view camera and method of thereof
KR101481648B1 (en) * 2013-06-28 2015-01-15 (주) 세인 Apparatus Reliably Providing Vehicle Around Image
KR101488636B1 (en) 2014-01-29 2015-02-11 조선대학교산학협력단 Top-view parking assistance system using a perspective transformation and method thereof
WO2015141869A1 (en) * 2014-03-17 2015-09-24 볼보 컨스트럭션 이큅먼트 에이비 Apparatus for controlling camera screen in device cluster
KR102207325B1 (en) * 2014-10-30 2021-01-26 현대모비스 주식회사 Apparatus for driver assistance
KR20160051993A (en) * 2014-10-30 2016-05-12 현대모비스 주식회사 Apparatus for driver assistance
KR20160083223A (en) 2014-12-30 2016-07-12 위드로봇 주식회사 System and method for generating road image
KR101663292B1 (en) * 2015-03-20 2016-10-07 주식회사 성우모바일 Method and apparatus for parking assist system
KR20160112676A (en) * 2015-03-20 2016-09-28 주식회사 성우모바일 Method and apparatus for parking assist system
US10144397B2 (en) 2015-09-02 2018-12-04 Lg Electronics Inc. Method of providing stopped-vehicle movement mode, driver assistance apparatus providing the same, and vehicle including driver assistance apparatus
KR101843528B1 (en) * 2017-04-21 2018-05-14 엘지전자 주식회사 Method and apparatus for providing stopping movement mode and vehicle having the same
US10740626B2 (en) 2017-09-28 2020-08-11 Samsung Electronics Co., Ltd. Method and apparatus for identifying driving lane
CN109353278A (en) * 2018-11-14 2019-02-19 杭州炽云科技有限公司 A kind of display system of automobile A-column blind area

Similar Documents

Publication Publication Date Title
KR100917330B1 (en) Top view monitor system and method of vehicle
US10183621B2 (en) Vehicular image processing apparatus and vehicular image processing system
JP5099451B2 (en) Vehicle periphery confirmation device
US8559675B2 (en) Driving support device, driving support method, and program
JP5421072B2 (en) Approaching object detection system
WO2010134680A1 (en) Lane departure sensing method and apparatus using images that surround a vehicle
US8743202B2 (en) Stereo camera for a motor vehicle
US6348858B2 (en) Method and device for surveillance of the rearward observation area of motor vehicles
US8514282B2 (en) Vehicle periphery display device and method for vehicle periphery image
JP4222183B2 (en) Vehicle peripheral image display device
JP2008222153A (en) Merging support device
EP2775468B1 (en) Obstacle alert device
JP5680436B2 (en) Foreign matter adhesion determination device for in-vehicle camera lens
JPH09202180A (en) On-board camera device
JP2006254318A (en) Vehicle-mounted camera, vehicle-mounted monitor and forward road area imaging method
JP4501708B2 (en) Driver's face orientation determination device
CN109544460A (en) Image correction method, device and vehicle
JP2005039547A (en) Vehicular front view support device
JP2827665B2 (en) Vehicle image display device
JP2005182305A (en) Vehicle travel support device
US11820300B2 (en) Image generation device, camera, display system, and vehicle
KR102632361B1 (en) System for providing around view image
JP2008042759A (en) Image processing apparatus
KR102381861B1 (en) Camera module, apparatus and method for driving information of a car including the same
US20240114252A1 (en) Movable apparatus and installation method for imaging device

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120824

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20130823

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20140822

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20150821

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee