KR102192257B1 - System and operating method of image processing system for vehicle - Google Patents

System and operating method of image processing system for vehicle Download PDF

Info

Publication number
KR102192257B1
KR102192257B1 KR1020140104606A KR20140104606A KR102192257B1 KR 102192257 B1 KR102192257 B1 KR 102192257B1 KR 1020140104606 A KR1020140104606 A KR 1020140104606A KR 20140104606 A KR20140104606 A KR 20140104606A KR 102192257 B1 KR102192257 B1 KR 102192257B1
Authority
KR
South Korea
Prior art keywords
light source
image
night
image processing
vehicle
Prior art date
Application number
KR1020140104606A
Other languages
Korean (ko)
Other versions
KR20160019800A (en
Inventor
유승완
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020140104606A priority Critical patent/KR102192257B1/en
Publication of KR20160019800A publication Critical patent/KR20160019800A/en
Application granted granted Critical
Publication of KR102192257B1 publication Critical patent/KR102192257B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은, 입력된 야간영상에서 광원 영역을 검출하는 단계, 상기 야간영상을 이루는 복수의 프레임에서 상기 광원 영역의 변화위치를 분석한 제1 모션벡터를 연산하는 단계, 상기 광원 영역이 차량의 하단방향에 위치한 반사광원인지 판단하는 단계, 상기 광원 영역이 상기 반사광원이면, 상기 복수의 프레임에서 상기 광원 영역의 변화위치를 분석한 제2 모션 벡터를 연산하는 단계 및 상기 제1, 2 모션 벡터가 서로 매칭되면, 상기 야간 영상에서 상기 광원 영역을 제거한 야간 보정 영상을 출력하는 단계를 포함하는 차량용 영상처리 시스템의 동작방법을 제공한다.The present invention includes the steps of detecting a light source area from an input night image, calculating a first motion vector obtained by analyzing a change position of the light source area in a plurality of frames constituting the night image, wherein the light source area is at the bottom of the vehicle. Determining whether the light source is a reflected light source located in a direction, if the light source region is the reflected light source, calculating a second motion vector obtained by analyzing the change position of the light source region in the plurality of frames, and the first and second motion vectors If matched to each other, it provides a method of operating a vehicle image processing system comprising the step of outputting a night correction image by removing the light source region from the night image.

Description

차량용 영상처리 시스템 및 그 동작방법{System and operating method of image processing system for vehicle}Vehicle image processing system and its operation method {System and operating method of image processing system for vehicle}

본 발명은 차량용 영상처리 시스템 및 그 동작방법에 관한 것으로서, 더욱 상세하게는 야간 주행시 촬영된 야간 영상에서 반사광원을 검출하기 용이한 차량용 영상처리 시스템 및 그 동작방법에 관한 것이다.The present invention relates to an image processing system for a vehicle and a method of operating the same, and more particularly, to an image processing system for a vehicle and an operation method thereof, which facilitates detecting a reflected light source from a night image captured during night driving.

자동차의 안전을 위하여 종래에는 에어백, 안전벨트 및 ABS(Anti-Lock Braking System)과 같은 기술이 수동 안전 시스템(passive safety system)이 많이 사용되어져 왔다. 이러한 수동 안전 시스템에 사전에 충돌을 방지하는 능동 안전 시스템의 결합은 충돌을 사전에 방지하여 운전자 및 승객의 안전을 도모할 수 있다. 대표적인 예로서, 전방 충돌 방지 시스템(Forward Collision Warning System : FCWS)은 전방 차량과의 추돌을 방지하는 기능을 한다.For the safety of automobiles, conventionally, technologies such as airbags, seat belts, and anti-lock braking systems (ABS) have been widely used in passive safety systems. Combining such a passive safety system with an active safety system that prevents a collision in advance can prevent a collision in advance, thereby promoting the safety of drivers and passengers. As a representative example, the Forward Collision Warning System (FCWS) functions to prevent a collision with a vehicle in front.

FCWS, 주행차선 이탈방지 시스템(Lane Keeping Assist System : LKAS), 적응적 순항제어(Adaptive Cruise Control : ACC), 적응적 전조등 시스템(Adaptive Front Light System : AFLS)와 같은 기능은 첨단 안전 차량(Advanced Safety Vehicle)에 채용되고 있는 기술이다.Functions such as FCWS, Lane Keeping Assist System (LKAS), Adaptive Cruise Control (ACC), and Adaptive Front Light System (AFLS) are advanced safety vehicles (Advanced Safety). Vehicle).

ASV 분야에서 차량에 구비되는 카메라는 다양한 목적을 위해 활용되는데, 차량에 선행하거나 대향하는 전방 차량의 인식을 위해 카메라로부터 획득된 전방 영상을 이용하기도 한다. 일례로서, 하이빔 자동제어(High Beam Assist : HBA) 기술은 야간에 선행 차량 또는 대향 차량의 후미등 또는 전조등을 인식하여 자기 차량의 상향등을 제어한다.In the ASV field, a camera provided in a vehicle is used for various purposes, and a front image acquired from a camera is also used to recognize a vehicle in front of or facing the vehicle. As an example, the High Beam Assist (HBA) technology recognizes the tail lights or headlights of a preceding vehicle or an opposite vehicle at night to control the high beam of the own vehicle.

최근 들어, 야간 운전 시 광원에 의한 반사광으로 인해 도로 노면에 노이즈가 발생되어 차선 인식을 비롯하여 보행자, 전방 차량 등을 인식하는 성능이 저하되는 것을 해결하기 위한 연구가 진행 중에 있다.In recent years, research is underway to solve the problem that noise is generated on the road surface due to reflected light from a light source during night driving, and the performance of recognizing pedestrians, vehicles in front, etc., including lane recognition, decreases.

본 발명의 목적은, 야간 주행시 촬영된 야간 영상에서 반사광원을 검출하기 용이한 차량용 영상처리 시스템 및 그 동작방법을 제공함에 있다.An object of the present invention is to provide an image processing system for a vehicle and an operation method thereof, which facilitates detecting a reflected light source from a night image captured during night driving.

본 발명에 따른 차량용 영상처리 시스템의 동작방법은, 입력된 야간영상에서 광원 영역을 검출하는 단계, 상기 야간영상을 이루는 복수의 프레임에서 상기 광원 영역의 변화위치를 분석한 제1 모션벡터를 연산하는 단계, 상기 광원 영역이 차량의 하단방향에 위치한 반사광원인지 판단하는 단계, 상기 광원 영역이 상기 반사광원이면, 상기 복수의 프레임에서 상기 광원 영역의 변화위치를 분석한 제2 모션 벡터를 연산하는 단계 및 상기 제1, 2 모션 벡터가 서로 매칭되면, 상기 야간 영상에서 상기 광원 영역을 제거한 야간 보정 영상을 출력하는 단계를 포함한다.The method of operating an image processing system for a vehicle according to the present invention includes the steps of detecting a light source region from an input night image, calculating a first motion vector by analyzing the change position of the light source region in a plurality of frames constituting the night image. Step, determining whether the light source region is a reflected light source located in the lower direction of the vehicle, and if the light source region is the reflected light source, calculating a second motion vector obtained by analyzing the change position of the light source region in the plurality of frames And when the first and second motion vectors match each other, outputting a night correction image by removing the light source region from the night image.

상기 검출 단계는, 상기 야간 영상에서 설정된 조도 임계값보다 높은 조도값을 갖는 영역을 상기 광원 영역으로 검출한다.In the detecting step, an area having an illuminance value higher than a set illuminance threshold value in the night image is detected as the light source area.

상기 제1 모션 벡터 연산 단계는, 상기 복수의 프레임 각각에 포함된 상기 광원 영역에 대한 시간 변화에 따른 위치 변화를 분석하여 상기 제1 모션 벡터를 연산한다.In the step of calculating the first motion vector, the first motion vector is calculated by analyzing a positional change of the light source region included in each of the plurality of frames according to a change in time.

상기 반사광 판단 단계는, 상기 광원 영역을 복수의 광원 세그먼트로 분할하는 단계, 상기 복수의 광원 세그먼트에서 픽셀 데이터를 분석하여, 색상 정보를 취득하는 단계, 상기 복수의 광원 세그먼트를 이진화시켜 광원 템플릿을 구성하는 단계, 상기 광원 템플릿을 상하 반전시키고, 영상 왜곡을 수행하는 단계 및 상기 색상 정보 및 상기 보정된 광원 템플릿을 기반으로 상기 광원 영역이 상기 차량의 하단 방향에 위치하는 상기 반사광원인지 판단하는 단계를 포함한다.The step of determining the reflected light includes dividing the light source region into a plurality of light source segments, analyzing pixel data from the plurality of light source segments to obtain color information, and constructing a light source template by binarizing the plurality of light source segments. The step of inverting the light source template up and down, performing image distortion, and determining whether the light source region is the reflected light source located in the lower direction of the vehicle based on the color information and the corrected light source template. Include.

본 발명에 따른 차량용 영상처리 시스템의 동작방법은, 상기 광원 영역이 상기 반사광원이 아니면, 상기 야간 영상을 출력하는 단계를 더 포함한다.The method of operating the image processing system for a vehicle according to the present invention further includes outputting the night image when the light source region is not the reflected light source.

상기 영상 출력 단계는, 상기 제1, 2 모션 벡터를 비교하여, 상기 제1, 2 모션 벡터 각각에 포함된 상기 광원 영역이 서로 매칭되는지 판단하는 단계 및 상기 제1, 2 모션 벡터 각각의 상기 광원 영역이 서로 매칭되면, 상기 광원 영역을 상기 야간 영상의 배경 영역으로 인페이팅하여 상기 광원 영역을 제거한 상기 야간 보정 영상을 출력하는 단계를 포함한다.The image output step may include comparing the first and second motion vectors to determine whether the light source regions included in each of the first and second motion vectors match each other, and the light source of each of the first and second motion vectors. And when the regions match each other, infacing the light source region as a background region of the night image to output the night vision correction image from which the light source region is removed.

본 발명에 따른 차량용 영상처리 시스템의 동작방법은, 상기 제1, 2 모션 벡터 각각의 상기 광원 영역이 매칭되지 않으면, 상기 야간 영상을 출력하는 단계를 더 포함한다.The method of operating the image processing system for a vehicle according to the present invention further includes outputting the night image when the light source regions of the first and second motion vectors are not matched.

본 발명에 따른 차량용 영상처리 시스템은, 디스플레이모듈, 차량 주변의 야간영상을 촬영하는 카메라모듈 및 상기 야간영상 입력시, 상기 야간영상에서 광원 영역의 존재 여부를 판단하고, 상기 광원 영역 존재 시 상기 광원 영역이 설정된 반사광원 판단기준을 만족하면 상기 야간영상에서 상기 광원 영역을 제거한 야간 보정 영상을 생성하여 상기 디스플레이모듈에 디스플레이되게 제어하는 영상처리모듈을 포함한다.The image processing system for a vehicle according to the present invention includes a display module, a camera module for photographing a night image around the vehicle, and when inputting the night image, it determines whether a light source region exists in the night image, and when the light source region exists, the light source And an image processing module configured to generate a night correction image by removing the light source region from the night image and display it on the display module when the region satisfies the set reflection light source determination criterion.

상기 영상처리모듈은, 상기 야간 영상에서 설정된 조도 임계값보다 높은 조도값을 갖는 영역을 상기 광원 영역으로 검출한다.The image processing module detects an area having an illuminance value higher than an illuminance threshold set in the night image as the light source area.

상기 영상처리모듈은, 상기 야간 영상을 이루는 복수의 프레임에서 상기 광원 영역에 대한 시간 변화에 따라 위치 변화를 분석하여 제1 모션 벡터를 연산한다.The image processing module calculates a first motion vector by analyzing a position change according to a time change of the light source region in a plurality of frames constituting the night image.

상기 영상처리모듈은, 상기 광원 영역을 복수의 광원 세그먼트로 분할하고, 상기 복수의 광원 세그먼트에서 픽셀 데이터를 분석하여 색상 정보를 취득하며, 상기 복수의 광원 세그먼트를 이진화시켜 광원 템플릿을 구성하여 상하 반전시켜 영상 왜곡을 수행하고, 상기 색상 정보 및 영상 왜곡된 상기 광원 템플릿을 기반으로 상기 광원 영역이 상기 차량의 하단 방향에 위치하는 상기 반사광원인지 판단한다.The image processing module divides the light source region into a plurality of light source segments, obtains color information by analyzing pixel data from the plurality of light source segments, and constructs a light source template by binarizing the plurality of light source segments to be vertically inverted. Then, based on the color information and the image distorted light source template, it is determined whether the light source region is the reflected light source located in the lower direction of the vehicle.

상기 영상처리모듈은, 상기 광원 영역이 상기 반사광원이면, 상기 복수의 프레임에서 상기 광원 영역의 변화위치를 분석한 제2 모션 벡터를 연산한다.When the light source area is the reflected light source, the image processing module calculates a second motion vector obtained by analyzing a change position of the light source area in the plurality of frames.

상기 영상처리모듈은, 상기 제1, 2 모션 벡터를 비교하여, 상기 제1, 2 모션 벡터 각각에 포함된 상기 광원 영역이 서로 매칭되면, 상기 광원 영역을 상기 야간 영상의 배경 영역으로 인페이팅하여 상기 광원 영역을 제거한 상기 야간 보정 영상을 생성한다.The image processing module compares the first and second motion vectors and, when the light source regions included in each of the first and second motion vectors match each other, inflate the light source region as a background region of the night image. Thus, the nighttime correction image from which the light source region is removed is generated.

본 발명에 따른 차량용 영상처리 시스템 및 그 동작방법은, 야간 악천 후 주행 시, 선행 차량, 대향 차량 및 가로등 등과 같은 광원으로부터 도로 바닥에 반사된 반사광원이 야간 영상에 포함되는 경우, 반사광원을 검출하고 제거한 야간 보정 영상을 출력함으로써, 차량의 광원과 반사광원을 구분하여 영상의 정확도를 증가시킬 수 있는 이점이 있으며, 또한 사용자의 편의성을 증대시킬 수 있는 이점이 있다.The image processing system for a vehicle and its operation method according to the present invention detects a reflected light source when a reflected light source reflected from a light source such as a preceding vehicle, an opposite vehicle, and a street light is included in the night image when driving after bad weather at night. By outputting the removed nighttime correction image, there is an advantage of increasing the accuracy of the image by dividing the light source and the reflected light source of the vehicle, and also increasing the user's convenience.

도 1은 본 발명에 따른 차량용 영상처리 시스템의 제어구성을 나타낸 제어블록도이다.
도 2는 본 발명에 따른 차량용 영상처리 시스템의 동작방법을 나타낸 순서도이다.1 is a control block diagram showing a control configuration of an image processing system for a vehicle according to the present invention.
2 is a flow chart showing a method of operating an image processing system for a vehicle according to the present invention.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.Advantages and features of the present invention, and a method of achieving them will become apparent with reference to the embodiments described below in detail together with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but may be implemented in a variety of different forms, and only these embodiments make the disclosure of the present invention complete, and are common knowledge in the technical field to which the present invention pertains. It is provided to completely inform the scope of the invention to those who have, and the invention is only defined by the scope of the claims. The same reference numerals refer to the same components throughout the specification.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않은 한 이상적으로 또는 과도하게 해석되지 않는다.Unless otherwise defined, all terms (including technical and scientific terms) used in the present specification may be used as meanings that can be commonly understood by those of ordinary skill in the art to which the present invention belongs. In addition, terms defined in a commonly used dictionary are not interpreted ideally or excessively unless explicitly defined specifically.

도 1은 본 발명에 따른 차량용 영상처리 시스템의 제어구성을 나타낸 제어블록도이다.1 is a control block diagram showing a control configuration of an image processing system for a vehicle according to the present invention.

도 1은 야간 악천후 주행 시, 도로 바닥에 빗물 등과 같은 물질이 막을 형성하여 임의의 광원에 대한 반사광원을 검출하는 것으로 설명하지만, 이에 한정을 두지 않는다.1 illustrates that when driving in bad weather at night, a material such as rainwater or the like forms a film on the road floor to detect a reflected light source for an arbitrary light source, but the present invention is not limited thereto.

도 1을 참조하면, 차량용 영상처리 시스템은 카메라모듈(110), 영상처리모듈(120) 및 디스플레이모듈(130)을 포함할 수 있다.Referring to FIG. 1, an image processing system for a vehicle may include a camera module 110, an image processing module 120, and a display module 130.

여기서, 카메라모듈(110)은 차량의 야간 주행시, 차량 전방의 야간 영상을 촬영할 수 있다.Here, the camera module 110 may capture a night image in front of the vehicle when the vehicle is driving at night.

카메라모듈(110)은 영상처리모듈(120)의 제어에 따라 동작하며, 촬영한 상기 야간 영상을 영상처리모듈(120)로 전달할 수 있다.The camera module 110 operates under the control of the image processing module 120 and may transmit the captured night image to the image processing module 120.

카메라모듈(110)은 차량 전방 뿐만 아니라, 차량 후방 및 측방을 촬영할 수 있으며, 복수의 카메라(미도시)를 포함할 수 있으며, 이에 한정을 두지 않는다.The camera module 110 may photograph not only the front of the vehicle, but also the rear and the side of the vehicle, and may include a plurality of cameras (not shown), but is not limited thereto.

영상처리모듈(120)은 외부입력에 따라 카메라모듈(110)의 동작을 제어하며, 카메라모듈(110)로부터 입력된 상기 야간 영상을 기반으로 상기 야간 영상에 포함된 반사광원을 인페이팅 기법을 이용하여, 상기 반사광원을 제거한 야간 보정 영상을 생성하여 디스플레이모듈(130)에 디스플레이되게 제어할 수 있다.The image processing module 120 controls the operation of the camera module 110 according to an external input, and uses a technique of infating the reflected light source included in the night image based on the night image input from the camera module 110. By using, a night correction image from which the reflected light source is removed may be generated and controlled to be displayed on the display module 130.

즉, 영상처리모듈(120)은 카메라모듈(110)로부터 상기 야간 영상 입력시, 상기 야간영상으로부터 어두운 배경영역 및 상기 배경영역과 다른 조도값을 갖는 광원 영역을 검출할 수 있다.That is, when the night image is input from the camera module 110, the image processing module 120 may detect a dark background region from the night image and a light source region having an illuminance value different from the background region.

이때, 영상처리모듈(120)은 상기 야간 영상에서 설정된 조도 임계값보다 높은 조도값을 갖으며 상기 광원 영역으로 인식 및 검출할 수 있다.In this case, the image processing module 120 has an illuminance value higher than an illuminance threshold value set in the night image and may recognize and detect as the light source region.

영상처리모듈(120)은 상기 광원 영역을 검출하면, 상기 야간 영상을 이루며 시간 연속적인 복수의 프레임에서 상기 광원 영역의 변화위치를 분석하여, 상기 광원 영역에 대한 제1 모션 벡터를 연산한다.When the image processing module 120 detects the light source area, the image processing module 120 analyzes the change position of the light source area in a plurality of time-continuous frames forming the night image and calculates a first motion vector for the light source area.

즉, 영상처리모듈(120)은 상기 복수의 프레임 각각에 포함된 상기 광원 영역에 대한 시간 변화에 따른 위치 변화를 분석하여 상기 제1 모션 벡터를 연산한다.That is, the image processing module 120 calculates the first motion vector by analyzing a positional change of the light source region included in each of the plurality of frames according to a change in time.

영상처리모듈(120)은 상술한 상기 제1 모션 벡터를 연산하는 과정과 별도로, 상기 광원 영역을 복수의 광원 세그먼트로 분할하고, 상기 복수의 광원 세그먼트 각각의 픽셀 데이터를 분석하여, 상기 광원 영역에 대한 색상 정보를 취득한다.In addition to the process of calculating the first motion vector described above, the image processing module 120 divides the light source area into a plurality of light source segments, analyzes pixel data of each of the plurality of light source segments, and provides the light source area. Acquire color information about.

영상처리모듈(120)은 상기 복수의 광원 세그먼트를 이진화시켜 반사광원을 탐색하기 위한 광원 템플릿을 구현한다.The image processing module 120 implements a light source template for searching for a reflected light source by binarizing the plurality of light source segments.

또한, 영상처리모듈(120)은 광원이 도로 바닥에 반사되면서 상기 광원과 뒤집힌 형상으로 나타나는 상기 반사광원에 대응하는 상기 광원 템플릿을 상하 반전시키고, 상기 광원 템플릿을 고의적으로 왜곡시켜 산란된 광원의 형태로 구성한다.In addition, the image processing module 120 inverts the light source template corresponding to the reflected light source in a shape that is inverted from the light source as the light source is reflected on the road floor, and deliberately distorts the light source template to form a scattered light source. It consists of.

이후, 영상처리모듈(120)은 상기 광원 템플릿의 왜곡이 도로 바닥에서 높은 곳에 위치할 수록 아래쪽으로 늘어지는 현상이 심화됨에 따라 상기 광원 영역이 위치한 높이에 따라 상기 광원 템플릿을 스트레칭시키고, 저주파 통과 필터링을 통하여 스무딩 영상으로 변환한다.Thereafter, the image processing module 120 stretches the light source template according to the height at which the light source region is located as the distortion of the light source template increases downward as the distortion of the light source template is located higher from the road floor, and filters the low frequency pass. It is converted into a smoothing image through

영상처리모듈(120)은 상기 색상 정보 및 상기 광원 템플릿을 기반으로 상기 광원 영역이 상기 차량의 하단 방향에 위치하는 상기 반사광원인지 판단한다.The image processing module 120 determines whether the light source region is the reflected light source located in the lower direction of the vehicle based on the color information and the light source template.

영상처리모듈(120)은 상기 반사광원이 상기 차량의 하단 영역에 위치한 것으로 판단하면, 상기 야간 영상을 이루며 시간 연속적인 복수의 프레임에서 상기 반사광원의 변화위치를 분석하여, 상기 광원 영역에 대한 제2 모션 벡터를 연산한다.When determining that the reflected light source is located in the lower region of the vehicle, the image processing module 120 analyzes the change position of the reflected light source in a plurality of time-continuous frames forming the night image, 2 Compute the motion vector.

영상처리모듈(120)은 상기 제1, 2 모션 벡터를 비교하여, 상기 제1, 2 모션 벡터 각각에 포함된 상기 광원 영역이 서로 매칭되는지 판단하고, 상기 제1, 2 모션 벡터 각각의 상기 광원 영역이 서로 매칭되면 상기 광원 영역을 상기 야간 영역의 배경영역으로 인페인팅한다.The image processing module 120 compares the first and second motion vectors to determine whether the light source regions included in each of the first and second motion vectors match each other, and the light source of each of the first and second motion vectors When the regions match each other, the light source region is inpainted as a background region of the night region.

즉, 영상처리모듈(120)은 상기 광원 영역이 상기 반사광원으로 판단되면, 설정된 인페이팅 기법에 따라 상기 배경영역에 대응하게 상기 광원 영역을 페인팅함으로써, 상기 반사광원을 제거한 상기 야간 보정 영상을 생성할 수 있다.That is, when the light source area is determined to be the reflected light source, the image processing module 120 paints the light source area corresponding to the background area according to a set infating technique, thereby generating the night correction image from which the reflected light source is removed. Can be generated.

이후, 영상처리모듈(120)은 상기 야간 영상 또는 상기 야간 보정 영상을 디스플레이모듈(130)에 디스플레이되게 제어한다.Thereafter, the image processing module 120 controls the night image or the night correction image to be displayed on the display module 130.

도 2는 본 발명에 따른 차량용 영상처리 시스템의 동작방법을 나타낸 순서도이다.2 is a flow chart showing a method of operating an image processing system for a vehicle according to the present invention.

도 2를 참조하면, 차량용 영상처리 시스템은 입력된 야간영상에서 설정된 조도 임계값보다 높은 조도값을 갖는 광원 영역을 검출한다(S110).Referring to FIG. 2, the vehicle image processing system detects a light source region having an illuminance value higher than a set illuminance threshold value from an input night image (S110).

차량용 영상처리 시스템은 상기 야간영상을 이루는 복수의 프레임 각각에 포함된 상기 광원 영역에 대한 시간 변화에 대응하는 위치 변화를 분석한 제1 모션벡터를 연산한다(S120).The vehicle image processing system calculates a first motion vector obtained by analyzing a position change corresponding to a time change of the light source region included in each of a plurality of frames constituting the night image (S120).

차량용 영상처리 시스템은 상기 광원 영역을 복수의 광원 세그먼트로 분할하고(S130), 상기 복수의 광원 세그먼트에서 픽셀 데이터를 분석하여, 색상 정보를 취득한다(S140).The vehicle image processing system divides the light source region into a plurality of light source segments (S130), analyzes pixel data from the plurality of light source segments, and acquires color information (S140).

이후, 차량용 영상처리 시스템은 상기 복수의 광원 세그먼트를 이진화시켜 광원 템플릿을 구성하고(S150), 상기 광원 템플릿을 상하 반전시키고, 영상 왜곡을 수행한다(S160).Thereafter, the vehicle image processing system constructs a light source template by binarizing the plurality of light source segments (S150), inverts the light source template vertically, and performs image distortion (S160).

차량용 영상처리 시스템은 상기 색상 정보 및 상기 보정된 광원 템플릿을 기반으로 상기 광원 영역이 상기 차량의 하단 방향에 위치하는 상기 반사광원인지 판단한다(S170).The vehicle image processing system determines whether the light source region is the reflected light source located in the lower direction of the vehicle based on the color information and the corrected light source template (S170).

차량용 영상처리 시스템은 상기 제1, 2 모션 벡터를 비교하여, 상기 제1, 2 모션 벡터 각각에 포함된 상기 광원 영역이 서로 매칭되는지 판단하고(S180), 상기 제1, 2 모션 벡터 각각의 상기 광원 영역이 서로 매칭되면, 상기 광원 영역을 상기 야간 영상의 배경 영역으로 인페이팅하여 상기 광원 영역을 제거한 상기 야간 보정 영상을 출력한다(S190).The vehicle image processing system compares the first and second motion vectors, determines whether the light source regions included in each of the first and second motion vectors match each other (S180), and determines whether the first and second motion vectors match each other. When the light source areas match each other, the light source area is interfaced with the background area of the night image to output the night time correction image from which the light source area is removed (S190).

차량용 영상처리 시스템은 상기 제1, 2 모션 벡터 각각의 상기 광원 영역이 매칭되지 않으면, 상기 야간 영상을 출력한다(S200).When the light source regions of the first and second motion vectors do not match, the vehicle image processing system outputs the night image (S200).

이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재될 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다.Terms such as "include", "consist of", or "have" described above, unless otherwise stated, mean that the corresponding component may be included, and thus other components are not excluded. It should be interpreted as being able to further include other components.

이상에서는 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.In the above, preferred embodiments have been illustrated and described, but the present invention is not limited to the specific embodiments described above, and common knowledge in the technical field to which the present invention pertains without departing from the gist of the present invention claimed in the claims. Of course, various modifications may be made by the operator, and these modifications should not be understood individually from the technical spirit or prospect of the present invention.

Claims (13)

입력된 야간영상에서 광원 영역을 검출하는 단계;
상기 야간영상을 이루는 복수의 프레임에서 상기 광원 영역의 변화위치를 분석한 제1 모션벡터를 연산하는 단계;
상기 광원 영역이 차량의 하단방향에 위치한 반사광원인지 판단하는 단계;
상기 광원 영역이 상기 반사광원이면, 상기 복수의 프레임에서 상기 광원 영역의 변화위치를 분석한 제2 모션 벡터를 연산하는 단계; 및
상기 제1, 2 모션 벡터가 서로 매칭되면, 상기 야간 영상에서 상기 광원 영역을 제거한 야간 보정 영상을 출력하는 단계;를 포함하는 차량용 영상처리 시스템의 동작방법.Detecting a light source area from the input night image;
Calculating a first motion vector obtained by analyzing a change position of the light source area in a plurality of frames constituting the night image;
Determining whether the light source area is a reflected light source located in a lower direction of the vehicle;
If the light source region is the reflected light source, calculating a second motion vector obtained by analyzing a change position of the light source region in the plurality of frames; And
And when the first and second motion vectors match each other, outputting a night correction image by removing the light source region from the night image. 제 1 항에 있어서,
상기 검출 단계는,
상기 야간 영상에서 설정된 조도 임계값보다 높은 조도값을 갖는 영역을 상기 광원 영역으로 검출하는 차량용 영상처리 시스템의 동작방법.The method of claim 1,
The detecting step,
An operating method of a vehicle image processing system for detecting an area having an illuminance value higher than a set illuminance threshold in the night image as the light source area. 제 1 항에 있어서,
상기 제1 모션 벡터 연산 단계는,
상기 복수의 프레임 각각에 포함된 상기 광원 영역에 대한 시간 변화에 따른 위치 변화를 분석하여 상기 제1 모션 벡터를 연산하는 차량용 영상처리 시스템의 동작방법.The method of claim 1,
The first motion vector calculation step,
A method of operating an image processing system for a vehicle to calculate the first motion vector by analyzing a change in position according to a change in time for the light source region included in each of the plurality of frames. 제 1 항에 있어서,
상기 반사광원 판단 단계는,
상기 광원 영역을 복수의 광원 세그먼트로 분할하는 단계;
상기 복수의 광원 세그먼트에서 픽셀 데이터를 분석하여, 색상 정보를 취득하는 단계;
상기 복수의 광원 세그먼트를 이진화시켜 광원 템플릿을 구성하는 단계;
상기 광원 템플릿을 상하 반전시키고, 영상 왜곡을 수행하는 단계; 및
상기 색상 정보 및 상기 보정된 광원 템플릿을 기반으로 상기 광원 영역이 상기 차량의 하단 방향에 위치하는 상기 반사광원인지 판단하는 단계;를 포함하는 차량용 영상처리 시스템의 동작방법. The method of claim 1,
The step of determining the reflected light source,
Dividing the light source area into a plurality of light source segments;
Analyzing pixel data from the plurality of light source segments to obtain color information;
Constructing a light source template by binarizing the plurality of light source segments;
Inverting the light source template vertically and performing image distortion; And
And determining whether the light source region is the reflected light source located in a lower direction of the vehicle based on the color information and the corrected light source template. 제 1 항에 있어서,
상기 광원 영역이 상기 반사광원이 아니면, 상기 야간 영상을 출력하는 단계;를 포함하는 차량용 영상처리 시스템의 동작방법.The method of claim 1,
And if the light source region is not the reflected light source, outputting the night image. 제 1 항에 있어서,
상기 영상 출력 단계는,
상기 제1, 2 모션 벡터를 비교하여, 상기 제1, 2 모션 벡터 각각에 포함된 상기 광원 영역이 서로 매칭되는지 판단하는 단계; 및
상기 제1, 2 모션 벡터 각각의 상기 광원 영역이 서로 매칭되면, 상기 광원 영역을 상기 야간 영상의 배경 영역으로 인페이팅하여 상기 광원 영역을 제거한 상기 야간 보정 영상을 출력하는 단계;를 포함하는 차량용 영상처리 시스템의 동작방법.The method of claim 1,
The image output step,
Comparing the first and second motion vectors and determining whether the light source regions included in each of the first and second motion vectors match each other; And
When the light source regions of each of the first and second motion vectors match each other, infacing the light source region to a background region of the night image and outputting the night time correction image from which the light source region is removed; How to operate the image processing system. 제 6 항에 있어서,
상기 제1, 2 모션 벡터 각각의 상기 광원 영역이 매칭되지 않으면, 상기 야간 영상을 출력하는 단계;를 포함하는 차량용 영상처리 시스템의 동작방법.The method of claim 6,
And outputting the night image when the light source regions of each of the first and second motion vectors are not matched. 디스플레이모듈;
차량 주변의 야간영상을 촬영하는 카메라모듈; 및
상기 야간영상 입력시, 상기 야간영상에서 광원 영역의 존재 여부를 판단하고, 상기 광원 영역 존재 시 상기 광원 영역이 설정된 반사광원 판단기준을 만족하면 상기 야간영상에서 상기 광원 영역을 제거한 야간 보정 영상을 생성하여 상기 디스플레이모듈에 디스플레이되게 제어하되, 상기 광원 영역을 복수의 광원 세그먼트로 분할하고, 상기 복수의 광원 세그먼트에서 픽셀 데이터를 분석하여 색상 정보를 취득하며, 상기 복수의 광원 세그먼트를 이진화시켜 광원 템플릿을 구성하여 상하 반전시켜 영상 왜곡을 수행하고, 상기 색상 정보 및 영상 왜곡된 상기 광원 템플릿을 기반으로 상기 광원 영역이 상기 차량의 하단 방향에 위치하는 상기 반사광원인지 판단하는 영상처리모듈;
을 포함하는 차량용 영상처리 시스템.Display module;
A camera module for photographing night images around the vehicle; And
When the night image is input, it is determined whether or not a light source area exists in the night image, and when the light source area satisfies a set reflection light source determination criterion when the light source area exists, a night correction image is generated by removing the light source area from the night image And control to be displayed on the display module, wherein the light source region is divided into a plurality of light source segments, pixel data is analyzed from the plurality of light source segments to obtain color information, and the plurality of light source segments are binarized to generate a light source template. An image processing module configured to perform image distortion by vertically inverting, and determining whether the light source region is the reflected light source located in a lower direction of the vehicle based on the color information and the image distorted light source template;
Vehicle image processing system comprising a. 제 8 항에 있어서,
상기 영상처리모듈은,
상기 야간 영상에서 설정된 조도 임계값보다 높은 조도값을 갖는 영역을 상기 광원 영역으로 검출하는 차량용 영상처리 시스템.The method of claim 8,
The image processing module,
An image processing system for a vehicle that detects an area having an illuminance value higher than a set illuminance threshold in the night image as the light source area. 제 8 항에 있어서,
상기 영상처리모듈은,
상기 야간 영상을 이루는 복수의 프레임에서 상기 광원 영역에 대한 시간 변화에 따라 위치 변화를 분석하여 제1 모션 벡터를 연산하는 차량용 영상처리 시스템.The method of claim 8,
The image processing module,
A vehicle image processing system for calculating a first motion vector by analyzing a position change according to a time change of the light source area in a plurality of frames constituting the night image. 삭제delete 제 10 항에 있어서,
상기 영상처리모듈은,
상기 광원 영역이 상기 반사광원이면, 상기 복수의 프레임에서 상기 광원 영역의 변화위치를 분석한 제2 모션 벡터를 연산하는 차량용 영상처리 시스템.The method of claim 10,
The image processing module,
When the light source region is the reflected light source, a vehicle image processing system for calculating a second motion vector obtained by analyzing a change position of the light source region in the plurality of frames. 제 12 항에 있어서,
상기 영상처리모듈은,
상기 제1, 2 모션 벡터를 비교하여, 상기 제1, 2 모션 벡터 각각에 포함된 상기 광원 영역이 서로 매칭되면, 상기 광원 영역을 상기 야간 영상의 배경 영역으로 인페이팅하여 상기 광원 영역을 제거한 상기 야간 보정 영상을 생성하는 차량용 영상처리 시스템.
The method of claim 12,
The image processing module,
When the light source regions included in each of the first and second motion vectors are matched by comparing the first and second motion vectors, the light source region is removed by infacing the light source region to the background region of the night image. An image processing system for a vehicle that generates the nighttime correction image.
KR1020140104606A 2014-08-12 2014-08-12 System and operating method of image processing system for vehicle KR102192257B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140104606A KR102192257B1 (en) 2014-08-12 2014-08-12 System and operating method of image processing system for vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140104606A KR102192257B1 (en) 2014-08-12 2014-08-12 System and operating method of image processing system for vehicle

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020200167072A Division KR102203277B1 (en) 2020-12-02 2020-12-02 System and operating method of image processing system for vehicle

Publications (2)

Publication Number Publication Date
KR20160019800A KR20160019800A (en) 2016-02-22
KR102192257B1 true KR102192257B1 (en) 2020-12-17

Family

ID=55445468

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140104606A KR102192257B1 (en) 2014-08-12 2014-08-12 System and operating method of image processing system for vehicle

Country Status (1)

Country Link
KR (1) KR102192257B1 (en)

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2970168B2 (en) * 1992-01-14 1999-11-02 松下電器産業株式会社 Vehicle detection device

Also Published As

Publication number Publication date
KR20160019800A (en) 2016-02-22

Similar Documents

Publication Publication Date Title
US9224055B2 (en) Exterior environment recognition device
US8965052B2 (en) Target recognition system and target recognition method executed by the target recognition system
US9424462B2 (en) Object detection device and object detection method
US9269006B2 (en) Imaging apparatus, vehicle system, and image-processing method for image magnification and expansion
EP3557524A1 (en) Image processing device and outside recognition device
US20130182111A1 (en) Vehicle driving environment recognition apparatus
EP2921992A2 (en) Image processing device, drive support system, image processing method, and program
KR101498975B1 (en) Lane Departure Warning System
US10192444B2 (en) Forward collision warning system and method
CN111148965B (en) Information processing apparatus, information processing method, control apparatus, and image processing apparatus
US11270133B2 (en) Object detection device, object detection method, and computer-readable recording medium
US20200074212A1 (en) Information processing device, imaging device, equipment control system, mobile object, information processing method, and computer-readable recording medium
US10885351B2 (en) Image processing apparatus to estimate a plurality of road surfaces
WO2016157698A1 (en) Vehicle detection system, vehicle detection apparatus, vehicle detection method, and vehicle detection program
JP6569280B2 (en) Road marking detection device and road marking detection method
JP2014146267A (en) Pedestrian detection device and driving support device
KR20170007961A (en) Driver Assistance System And Method Thereof
EP2674893A2 (en) Travelable area recognition system, travelable area recognition method, travelable area recognition program executed on the travelable area recognition system, and recording medium storing travelable area recognition program
KR102203277B1 (en) System and operating method of image processing system for vehicle
KR102192257B1 (en) System and operating method of image processing system for vehicle
KR102040703B1 (en) Method and Device for Detecting Front Vehicle
JP6789151B2 (en) Camera devices, detectors, detection systems and mobiles
CN115088248A (en) Image pickup apparatus, image pickup system, and image pickup method
KR101759270B1 (en) Apparatus and method for detecting vehicle candidate
US9965692B2 (en) System and method for detecting vehicle

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
A107 Divisional application of patent