KR102436848B1 - Image Sensor Apparatus using Sensor Fusion and Control Method thereof - Google Patents

Image Sensor Apparatus using Sensor Fusion and Control Method thereof Download PDF

Info

Publication number
KR102436848B1
KR102436848B1 KR1020160016449A KR20160016449A KR102436848B1 KR 102436848 B1 KR102436848 B1 KR 102436848B1 KR 1020160016449 A KR1020160016449 A KR 1020160016449A KR 20160016449 A KR20160016449 A KR 20160016449A KR 102436848 B1 KR102436848 B1 KR 102436848B1
Authority
KR
South Korea
Prior art keywords
image sensor
sensor
interest
region
size
Prior art date
Application number
KR1020160016449A
Other languages
Korean (ko)
Other versions
KR20170095005A (en
Inventor
조민관
Original Assignee
주식회사 에이치엘클레무브
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에이치엘클레무브 filed Critical 주식회사 에이치엘클레무브
Priority to KR1020160016449A priority Critical patent/KR102436848B1/en
Publication of KR20170095005A publication Critical patent/KR20170095005A/en
Application granted granted Critical
Publication of KR102436848B1 publication Critical patent/KR102436848B1/en

Links

Images

Classifications

    • H04N5/23296—
    • H04N5/2258—
    • H04N5/23212—
    • H04N5/23216—

Abstract

본 발명은 센서 퓨전을 이용하여 이미지센서의 관심영역 설정을 제어하고, 관심영역 구간 내 이미지센서의 촬상 파라미터를 제어하여 물체 인식 능력을 높이는 이미지센서 장치 및 제어 방법에 관한 것이다
본 발명에서는 차량 전방에 존재하는 물체의 감지를 위하여 전방에 있는 물체를 인식하고 상기 물체까지의 거리 정보 및/또는 상기 물체의 트랙(track)정보를 획득하는 이종센서, 전방의 이미지를 획득하는 이미지센서, 및 상기 이종센서로부터 오는 상기 물체까지의 거리 정보 및/또는 상기 물체의 트랙(track)정보를 바탕으로 상기 이미지센서를 제어하는 센서제어부를 포함하는 센서 퓨전을 이용한 이미지센서 장치가 개시된다. 본 발명에 의하면, 센서 퓨전에 의하여 이종센서의 협조로 인하여 이미지센서에서의 물체 인식 능력을 높이는 효과가 있다. 그리고 이를 AEB나 SCC에 적용함으로써 좀 더 편리하고 안전한 차량 시스템을 구현할 수 있는 효과가 있다.The present invention relates to an image sensor device and a control method for controlling the setting of a region of interest of an image sensor using sensor fusion, and controlling an imaging parameter of an image sensor within a region of interest to increase object recognition ability.
In the present invention, a heterogeneous sensor that recognizes an object in front and acquires distance information to the object and/or track information of the object in order to detect an object existing in front of the vehicle, and an image for acquiring a front image Disclosed is an image sensor device using sensor fusion including a sensor and a sensor controller for controlling the image sensor based on distance information from the heterogeneous sensor to the object and/or track information of the object. According to the present invention, there is an effect of increasing the object recognition ability in the image sensor due to the cooperation of the heterogeneous sensors by the sensor fusion. And by applying this to AEB or SCC, it is possible to implement a more convenient and safe vehicle system.

Description

센서 퓨전을 이용한 이미지센서 장치 및 제어 방법{Image Sensor Apparatus using Sensor Fusion and Control Method thereof}Image Sensor Apparatus using Sensor Fusion and Control Method thereof

본 발명은 전방 물체 감지를 위한 이미지센서 장치 및 제어 방법에 관한 것으로, 보다 상세하게는 센서 퓨전을 이용하여 이미지센서의 관심영역 설정을 제어하고, 관심영역 구간 내 이미지센서의 촬상 파라미터를 제어하여 물체 인식 능력을 높이는 이미지센서 장치 및 제어 방법에 관한 것이다.The present invention relates to an image sensor device and a control method for detecting a front object, and more particularly, by using sensor fusion to control the setting of a region of interest of an image sensor, and control an imaging parameter of an image sensor within a region of interest It relates to an image sensor device and a control method for increasing recognition ability.

최근 차량의 안전한 운행을 위한 다양한 장치들이 개발되고 있으며 그 중에 전방 충돌위험성이 예견되면 운전자에게 충돌위험성을 알려주고, 운전자의 응답이 없어도 충돌이 예견되면 스스로 브레이크를 작동시키는 자동긴급브레이크(Autonomous Emergency Braking; AEB)나 전방의 차량이나 물체를 감지하여 자동으로 차량의 속도 등을 제어하면서 자동차의 운항을 제어하는 적응형 순항 제어장치(Smart Cruise Control; SCC)와 같은 장치가 있다. Recently, various devices for safe driving of vehicles have been developed. Among them, automatic emergency braking that informs the driver of the risk of a collision when the risk of forward collision is predicted, and automatically applies the brake when a collision is predicted even if there is no response from the driver (Autonomous Emergency Braking; There is a device such as AEB) or an Adaptive Cruise Control (SCC) that controls the operation of a vehicle while automatically controlling the speed of the vehicle by detecting a vehicle or object in front.

이러한 AEB나 SCC의 경우 전방의 타차량을 인식할 수 있는 장치를 반드시 필요로 한다. 이를 위하여 레이더와 카메라를 이용한 두 가지 센서의 퓨전에 의한 물체의 감지 장치 및 방법이 제시되고 있다. 이에 대하여 대한민국 공개특허 제 10-2014-0123270 호(2014.10.22 공개, 레이더 장치 및 영상 맵핑을 이용한 물체 감지 장치, 방법 및 시스템)은 하나 이상의 물체에 의해 반사되는 무선 신호를 수신하는 레이더 센서부와 하나 이상의 물체가 포함되는 소정의 공간에 대한 영상을 생성하는 영상 처리부를 구비하고, 무선 신호로 검출한 물체와 영상과의 맵핑을 통해 하나 이상의 물체에 대한 감지 정보를 생성하는 물체 감지 장치를 제안하고 있다.In the case of such AEB or SCC, a device capable of recognizing other vehicles in front is absolutely necessary. To this end, an apparatus and method for detecting an object by fusion of two sensors using a radar and a camera have been proposed. In contrast, Korean Patent Laid-Open No. 10-2014-0123270 (published on October 22, 2014, an apparatus, method and system for detecting an object using a radar apparatus and image mapping) includes a radar sensor unit that receives a radio signal reflected by one or more objects; We propose an object detection device that includes an image processing unit that generates an image for a predetermined space including one or more objects, and generates detection information on one or more objects through mapping between an object detected by a wireless signal and an image, and have.

그런데 센서 퓨전을 통한 물체의 인식 가능성을 높이기 위해서는 카메라와 같은 이미지센서가 물체가 있는 주변을 촬상하도록 할 필요가 있는데 기존 시스템의 이미지센서는 전방 도로의 소실점을 기준으로 ROI 영역을 설정하고, 독립적으로 동작하여 센서 퓨전을 통한 이미지센서의 제어 개선이 될 수 없다는 문제점이 있었다.However, in order to increase the possibility of recognizing an object through sensor fusion, it is necessary to have an image sensor such as a camera capture the surroundings of the object. There was a problem that the control of the image sensor could not be improved through sensor fusion.

대한민국등록특허공보 제 10-2014-0123270 호(공개일: 2014.10.22.)Republic of Korea Patent Publication No. 10-2014-0123270 (published on October 22, 2014)

전술한 문제점을 해결하기 위한 본 발명의 목적은 이종센서에서 획득한 물체 인식 결과를 이미지센서에서 이용함으로써 인식 능력을 높이는 센서퓨전을 이용한 이미지센서 장치 및 제어 방법을 제공함에 있다.An object of the present invention for solving the above-mentioned problems is to provide an image sensor apparatus and a control method using sensor fusion that increase recognition ability by using an object recognition result obtained from a heterogeneous sensor in an image sensor.

전술한 목적을 달성하기 위한 본 발명의 일 측면에 따르면, 차량 전방에 존재하는 물체의 감지를 위한 센서 퓨전을 이용한 이미지센서 장치는 전방에 있는 물체를 인식하고 상기 물체까지의 거리 정보 및/또는 상기 물체의 트랙(track)정보를 획득하는 이종센서, 전방의 이미지를 획득하는 이미지센서, 및 상기 이종센서로부터 오는 상기 물체까지의 거리 정보 및/또는 상기 물체의 트랙(track)정보를 바탕으로 상기 이미지센서를 제어하는 센서제어부를 포함할 수 있다. According to one aspect of the present invention for achieving the above object, an image sensor device using sensor fusion for detecting an object existing in front of a vehicle recognizes an object in front, and information on distance to the object and/or the A heterogeneous sensor for acquiring track information of an object, an image sensor for acquiring an image of the front, and distance information from the heterogeneous sensor to the object and/or the image based on track information of the object It may include a sensor controller for controlling the sensor.

여기서 이종센서는, 레이더(radar) 또는 라이더(Lider) 센서일 수 있고, 이미지센서는 CMOS 센서 또는 CCD 카메라일 수 있다.Here, the heterogeneous sensor may be a radar or lidar sensor, and the image sensor may be a CMOS sensor or a CCD camera.

그리고 센서제어부는 상기 이종센서로부터 오는 상기 물체까지의 거리 정보 및/또는 상기 물체의 트랙(track)정보를 바탕으로 상기 이미지센서의 관심영역 위치 및 크기를 설정할 수 있고, 더 나아가 상기 이종센서로부터 오는 상기 물체까지의 거리가 이전 프레임에서의 상기 물체까지의 거리보다 멀면 상기 관심영역 크기를 축소하고, 상기 이종센서로부터 오는 상기 물체까지의 거리가 이전 프레임에서의 상기 물체까지의 거리보다 가까우면 상기 관심영역 크기를 확대할 수 있다.And the sensor controller may set the location and size of the region of interest of the image sensor based on distance information from the heterogeneous sensor to the object and/or track information of the object, and furthermore, If the distance to the object is greater than the distance to the object in the previous frame, the size of the region of interest is reduced, and if the distance to the object from the heterogeneous sensor is closer than the distance to the object in the previous frame, the interest The size of the area can be enlarged.

또한, 센서제어부는 상기 이종센서로부터 오는 상기 물체의 트랙 정보로부터 상기 물체의 종류를 분석하고 상기 물체까지의 거리 정보 및 상기 물체의 종류를 바탕으로 상기 이미지센서의 관심영역 크기를 설정할 수 있고, 상기 물체의 종류가 보행자인 경우, 상기 관심영역 크기에 보행자 기준 마진을 추가하고, 상기 물체의 종류가 차량인 경우, 상기 관심영역 크기에 차량 기준 마진을 추가할 수 있다. In addition, the sensor controller may analyze the type of the object from the track information of the object from the heterogeneous sensor and set the size of the region of interest of the image sensor based on the distance information to the object and the type of the object, When the type of object is a pedestrian, a pedestrian reference margin may be added to the size of the region of interest, and when the type of object is a vehicle, a vehicle reference margin may be added to the size of the region of interest.

이에 더하여 센서제어부는 상기 이종센서에서는 물체를 인식하였으나 상기 이미지센서의 현재 프레임에서는 물체를 인식하지 못한 경우, 상기 이미지센서의 촬상 파라미터를 조절할 수 있는 데 이는 상기 현재 프레임의 관심영역에 대한 히스토그램(histogram) 및/또는 에지(edge) 분석 결과를 바탕으로 상기 이미지센서의 촬상 파라미터를 조절할 수 있고, 상기 현재 프레임의 관심영역에 대한 히스토그램이 이전 프레임의 관심영역에 대한 히스토그램보다 어두운 부분이 많은 경우에는 상기 이미지센서의 노출(exposure)을 더 크게 하고, 밝은 부분이 많은 경우에는 상기 이미지센서의 노출을 더 작게 하도록 할 수 있다.In addition, when the sensor controller recognizes the object in the heterogeneous sensor but does not recognize the object in the current frame of the image sensor, the sensor controller may adjust the imaging parameter of the image sensor, which is a histogram of the region of interest of the current frame. ) and/or the imaging parameter of the image sensor can be adjusted based on the result of edge analysis, and when the histogram for the region of interest of the current frame has many darker portions than the histogram for the region of interest of the previous frame, the The exposure of the image sensor may be increased, and when there are many bright parts, the exposure of the image sensor may be made smaller.

전술한 목적을 달성하기 위한 본 발명의 또 다른 일 측면에 따르면, 차량 전방에 존재하는 물체의 감지를 위한 센서 퓨전을 이용한 이미지센서 장치의 이미지센서 제어 방법은 이종센서를 이용하여 전방에 있는 물체를 인식하고 상기 물체까지의 거리 정보 및/또는 상기 물체의 트랙(track)정보를 획득하는 단계, 상기 물체까지의 거리 정보 및/또는 상기 물체의 트랙(track)정보를 바탕으로 이미지센서를 제어하는 단계, 및 상기 이미지센서를 이용하여 전방의 이미지를 획득하는 단계를 포함할 수 있다. According to another aspect of the present invention for achieving the above object, an image sensor control method of an image sensor device using a sensor fusion for detecting an object existing in front of a vehicle uses a heterogeneous sensor to detect an object in the front. Recognizing and acquiring distance information to the object and/or track information of the object, controlling an image sensor based on distance information to the object and/or track information of the object , and obtaining an image of the front using the image sensor.

여기서 상기 물체까지의 거리 정보 및/또는 상기 물체의 트랙(track)정보를 바탕으로 이미지센서를 제어하는 단계는 상기 물체까지의 거리 정보 및/또는 상기 물체의 트랙(track)정보를 바탕으로 상기 이미지센서의 관심영역 위치 및 크기를 설정하는 단계를 포함할 수 있고, 상기 물체까지의 거리 정보 및/또는 상기 물체의 트랙(track)정보를 바탕으로 상기 이미지센서의 관심영역 위치 및 크기를 설정하는 단계는 상기 물체까지의 거리가 이전 프레임에서의 상기 물체까지의 거리보다 멀면 상기 관심영역 크기를 축소하고, 상기 이종센서로부터 오는 상기 물체까지의 거리가 이전 프레임에서의 상기 물체까지의 거리보다 가까우면 상기 관심영역 크기를 확대하는 단계를 포함할 수 있으며, 상기 물체까지의 거리 정보 및/또는 상기 물체의 트랙(track)정보를 바탕으로 이미지센서를 제어하는 단계는 상기 물체의 트랙 정보로부터 상기 물체의 종류를 분석하는 단계 및 상기 물체까지의 거리 정보 및 상기 물체의 종류를 바탕으로 상기 이미지센서의 관심영역 크기를 설정하는 단계를 포함할 수 있다. 그리고 상기 물체까지의 거리 정보 및 상기 물체의 종류를 바탕으로 상기 이미지센서의 관심영역 크기를 설정하는 단계는 상기 물체의 종류가 보행자인 경우, 상기 관심영역 크기에 보행자 기준 마진을 추가하고, 상기 물체의 종류가 차량인 경우, 상기 관심영역 크기에 차량 기준 마진을 추가하는 단계를 포함할 수 있다. Here, the step of controlling the image sensor based on the distance information to the object and/or the track information of the object includes the image sensor based on the distance information to the object and/or the track information of the object. The method may include setting the position and size of the region of interest of the sensor, and setting the position and size of the region of interest of the image sensor based on distance information to the object and/or track information of the object If the distance to the object is greater than the distance to the object in the previous frame, the size of the ROI is reduced, and if the distance to the object from the heterogeneous sensor is closer than the distance to the object in the previous frame, the The method may include enlarging the size of the region of interest, and the controlling of the image sensor based on distance information to the object and/or track information of the object may include: and setting the size of the region of interest of the image sensor based on the distance information to the object and the type of the object. And the step of setting the size of the region of interest of the image sensor based on the distance information to the object and the type of the object includes adding a pedestrian reference margin to the size of the region of interest when the type of the object is a pedestrian, and When the type of is a vehicle, the method may include adding a vehicle reference margin to the size of the region of interest.

전술한 목적을 달성하기 위한 본 발명의 또 다른 일 측면에 따르면, 차량 전방에 존재하는 물체의 감지를 위한 센서 퓨전을 이용한 이미지센서 장치의 또 다른 이미지센서 제어 방법은 이종센서를 이용하여 전방에 있는 물체를 인식하는 단계, 이미지센서를 이용하여 현재 프레임에서 상기 물체를 인식하는 단계, 및 상기 이미지센서가 상기 물체를 인식하지 못한 경우 상기 이미지센서의 촬상 파라미터를 조절하는 단계를 포함할 수 있다. According to another aspect of the present invention for achieving the above object, another image sensor control method of an image sensor device using sensor fusion for detecting an object existing in front of a vehicle is The method may include recognizing an object, recognizing the object in a current frame using an image sensor, and adjusting an imaging parameter of the image sensor when the image sensor does not recognize the object.

여기서 상기 이미지센서의 촬상 파라미터를 조절하는 단계는 상기 현재 프레임의 관심영역에 대한 히스토그램(histogram) 및 에지(edge) 분석 결과를 바탕으로 상기 이미지센서의 촬상 파라미터를 조절하는 단계를 포함할 수 있고, 상기 상기 현재 프레임의 관심영역에 대한 히스토그램 및 에지 분석한 결과를 바탕으로 상기 이미지센서의 촬상 파라미터를 조절하는 단계는 상기 현재 프레임의 관심영역에 대한 히스토그램이 이전 프레임의 관심영역에 대한 히스토그램보다 어두운 부분이 많은 경우에는 상기 이미지센서의 노출(exposure)을 더 크게 하고, 밝은 부분이 많은 경우에는 상기 이미지센서의 노출을 더 작게 하도록 상기 이미지센서의 촬상 파라미터를 조절하는 단계를 포함할 수 있다.Here, the step of adjusting the imaging parameters of the image sensor may include adjusting the imaging parameters of the image sensor based on a histogram and an edge analysis result for the region of interest of the current frame, In the step of adjusting the imaging parameters of the image sensor based on the histogram and edge analysis results of the region of interest of the current frame, the histogram of the region of interest of the current frame is darker than the histogram of the region of interest of the previous frame. The method may include adjusting the imaging parameter of the image sensor to increase the exposure of the image sensor in many cases, and to make the exposure of the image sensor smaller when there are many bright areas.

본 발명에 의하면, 센서 퓨전에 의하여 이종센서의 협조로 인하여 이미지센서에서의 물체 인식 능력을 높이는 효과가 있다. 그리고 이를 AEB나 SCC에 적용함으로써 좀 더 편리하고 안전한 차량 시스템을 구현할 수 있는 효과가 있다.According to the present invention, there is an effect of increasing the object recognition ability in the image sensor due to the cooperation of the heterogeneous sensors by the sensor fusion. And by applying this to AEB or SCC, it is possible to implement a more convenient and safe vehicle system.

도 1은 본 발명의 일 실시 예에 따른 센서 퓨전을 이용한 이미지센서 제어 장치의 블록도이다.
도 2는 본 발명의 일 실시 예에 따른 센서제어부(300)에 의하여 실행되는 센서 퓨전을 이용한 이미지센서(100)의 관심영역을 설정하는 방법을 도시한 흐름도이다.
도 3은 본 발명의 일 실시 예에 따른 센서제어부(300)가 물체의 종류와 거리 정보를 기반으로 관심영역 크기를 설정하는 방법을 도시한 흐름도이다.
도 4는 본 발명의 일 실시 예에 따른 관심영역의 히스토그램 및 에지 분석에 기반하여 이미지센서(100)의 촬상 파라미터를 변경하는 방법을 도시한 흐름도이다.1 is a block diagram of an apparatus for controlling an image sensor using sensor fusion according to an embodiment of the present invention.
2 is a flowchart illustrating a method of setting a region of interest of the image sensor 100 using sensor fusion executed by the sensor controller 300 according to an embodiment of the present invention.
3 is a flowchart illustrating a method for the sensor controller 300 to set the size of the region of interest based on the type of object and distance information according to an embodiment of the present invention.
4 is a flowchart illustrating a method of changing an imaging parameter of the image sensor 100 based on a histogram and edge analysis of a region of interest according to an embodiment of the present invention.

하기에서 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다.In the following description of the present invention, if it is determined that a detailed description of a related known function or configuration may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 비록 특정 실시 예로 설명하더라도 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 의도는 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. The present invention can make various changes and can have various embodiments, and although described as a specific embodiment, it is not intended to limit the present invention to the specific embodiment, and is included in the spirit and scope of the present invention. It is to be understood as including all modifications, equivalents and substitutions.

이하, 본 발명의 실시를 위한 구체적인 실시 예를 첨부된 도면들을 참조하여 상세히 설명한다. 첨부도면을 참조하여 설명함에 있어 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.Hereinafter, specific embodiments for carrying out the present invention will be described in detail with reference to the accompanying drawings. In the description with reference to the accompanying drawings, the same or corresponding components are given the same reference numerals, and overlapping descriptions thereof will be omitted.

도 1은 본 발명의 일 실시 예에 따른 센서 퓨전을 이용한 이미지센서 제어 장치의 블록도이다.1 is a block diagram of an apparatus for controlling an image sensor using sensor fusion according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일 실시 예에 따른 센서 퓨전을 이용한 이미지센서 제어 장치는 차량 전방의 이미지를 획득하는 이미지센서(100), 전방에 있는 물체까지의 거리를 측정하는 이종센서(200), 및 상기 이종센서(200)로부터오는 위치정보, 거리 정보 및/또는 물체 트랙(track) 정보를 바탕으로 이미지센서를 제어하는 센서제어부(300)를 포함할 수 있다.Referring to FIG. 1 , an image sensor control apparatus using sensor fusion according to an embodiment of the present invention includes an image sensor 100 for acquiring an image of the front of a vehicle, and a heterogeneous sensor 200 for measuring a distance to an object in the front. ), and the sensor controller 300 for controlling the image sensor based on location information, distance information, and/or object track information from the heterogeneous sensor 200 .

여기서 물체 트랙(track) 정보는 물체가 지나간 위치를 표시한 정보라 할 수 있고 이를 이용하여 물체의 속도와 진행 방향 등을 검출할 수 있다.Here, the object track information may be referred to as information indicating a position passed by the object, and the speed and the moving direction of the object may be detected using this information.

이종센서(200)는 전방에 있는 물체를 인식하고 차량으로부터 물체까지의 대략적인 거리나 상대적인 위치를 측정하는 장치로서 레이더(radar) 시스템이나 라이더(Lidar) 시스템일 수 있다. 이종센서(200)는 물체 트랙 정보, 위치 정보, 및/또는 거리 정보를 센서제어부(300)에 전달할 수 있다.The heterogeneous sensor 200 is a device for recognizing an object in front and measuring an approximate distance or relative position from the vehicle to the object, and may be a radar system or a lidar system. The heterogeneous sensor 200 may transmit object track information, location information, and/or distance information to the sensor controller 300 .

이미지센서(100)는 차량 전방의 이미지를 획득하는 장치로서 CMOS 센서 또는 CCD 카메라일 수 있다. 이미지센서(100)는 센서제어부(300)로부터 오는 제어신호를 바탕으로 관심영역(Region of Interest: ROI)에 대한 이미지를 촬영하여 센서제어부(300)로 전달할 수 있다.The image sensor 100 is a device for acquiring an image of the front of the vehicle, and may be a CMOS sensor or a CCD camera. The image sensor 100 may capture an image of a region of interest (ROI) based on a control signal from the sensor controller 300 and transmit it to the sensor controller 300 .

센서제어부(300)는 물체의 인식 능력을 높이도록 하기 위하여 센서 퓨전을 이용하여 이미지센서(100)의 제어를 수행하는 장치이다. 센서제어부(300)는 이종센서(200)로부터 오는 물체 트랙 정보, 위치 정보, 및/또는 거리 정보를 이용하여 이미지센서(100)의 관심영역을 설정함으로써 이미지센서에 의한 물체 인식 능력을 높일 수 있다. 또한, 터널 진/출 구간과 같이 차량 주변의 밝기가 급격히 변화하는 경우, 이종센서(200)에 의하여 물체를 감지하였으나 이미지센서(100)에 의하여는 물체를 구분하기가 어려운 경우가 있다. 이때 센서제어부(300)는 2 프레임(frame) 이상의 이미지 데이터에 대하여 관심영역 내의 히스토그램 및 에지(edge) 데이터를 추출, 분석하여 이미지센서(100)를 다르게 제어함으로써 물체 인식 능력을 높일 수 있다.The sensor controller 300 is a device that controls the image sensor 100 using sensor fusion in order to increase the object recognition ability. The sensor controller 300 may increase the object recognition ability by the image sensor by setting the region of interest of the image sensor 100 using the object track information, location information, and/or distance information from the heterogeneous sensor 200 . . In addition, when the brightness around the vehicle changes rapidly, such as in the tunnel entry/exit section, the object is detected by the heterogeneous sensor 200 , but it is difficult to distinguish the object by the image sensor 100 . At this time, the sensor controller 300 extracts and analyzes histogram and edge data in the region of interest for image data of two or more frames, and controls the image sensor 100 differently to increase object recognition ability.

도 2는 본 발명의 일 실시 예에 따른 센서제어부(300)에 의하여 실행되는 센서 퓨전을 이용한 이미지센서(100)의 관심영역을 설정하는 방법을 도시한 흐름도이다. 2 is a flowchart illustrating a method of setting a region of interest of the image sensor 100 using sensor fusion executed by the sensor controller 300 according to an embodiment of the present invention.

도 2를 참조하면, 센서제어부(300)는 이미지센서(100)의 관심영역을 설정하기 위하여 먼저 이종센서로부터 물체 트랙 정보 및/또는 거리 정보를 획득(S210)한다. 그리고 획득한 물체 트랙 정보로부터 물체의 종류를 분석(S220)한다. 물체의 종류는 보행자 또는 차량일 수 있다. 이렇게 분석된 물체의 종류와 거리 정보를 기반으로 관심영역의 위치와 크기를 설정(S230)할 수 있다. Referring to FIG. 2 , the sensor controller 300 first acquires object track information and/or distance information from heterogeneous sensors in order to set a region of interest of the image sensor 100 ( S210 ). Then, the type of object is analyzed from the obtained object track information (S220). The type of object may be a pedestrian or a vehicle. Based on the analyzed object type and distance information, the location and size of the ROI may be set ( S230 ).

도 3은 본 발명의 일 실시 예에 따른 센서제어부(300)가 물체의 종류와 거리 정보를 기반으로 관심영역의 크기를 설정하는 방법을 도시한 흐름도이다.3 is a flowchart illustrating a method for the sensor controller 300 to set the size of a region of interest based on the type of object and distance information according to an embodiment of the present invention.

도 3을 참조하면, 센서제어부(300)는 이종센서로부터 온 거리 정보를 이전 프레임에서의 거리 정보와 비교(S310)하여 현 프레임의 거리 정보가 더 멀면 관심영역 크기를 이전 프레임에 설정되어 있던 크기보다 축소(S330)하고, 현 프레임의 거리 정보가 더 가까우면 관심영역 크기를 이전 프레임에 설정되어 있던 크기보다 확대(S320)하고, 거리가 동일하다면 이전 프레임에 설정되어 있던 관심영역 크기를 그대로 유지한다. 그리고 물체 트랙 정보를 바탕으로 분석한 물체의 종류에 따라 물체가 보행자이면 상기 설정된 관심영역 크기에 보행자 기준 마진을 추가(S360)하고, 물체가 차량이면 상기 설정된 관심영역 크기에 차량 기준 마진을 추가(S350)하고, 기타의 물건이면 상기 설정된 관심영역 크기에 마진을 추가하지 않을 수 있다. 차량과 보행자의 움직이는 속도가 틀리기 때문에 그 속도에 맞추어서 적당한 크기의 마진을 추가하여 물체의 인식 능력을 높일 수 있다. 일반적으로 보행자 기준 마진보다 차량 기준 마진이 클 수 있다.Referring to FIG. 3 , the sensor controller 300 compares the distance information from the heterogeneous sensors with the distance information in the previous frame ( S310 ). If the distance information of the current frame is closer (S330), the size of the region of interest is enlarged (S320) than the size set in the previous frame, and if the distance is the same, the size of the region of interest set in the previous frame is maintained as it is. do. And according to the type of object analyzed based on the object track information, if the object is a pedestrian, a pedestrian reference margin is added to the set ROI size (S360), and if the object is a vehicle, a vehicle reference margin is added to the set ROI size (S360). S350), and if it is another object, a margin may not be added to the set ROI size. Since the moving speed of the vehicle and the pedestrian are different, the recognition ability of an object can be increased by adding a margin of an appropriate size according to the speed. In general, the vehicle-based margin may be larger than the pedestrian-based margin.

다시 도 2를 참조하면, 물체의 종류와 거리 정보를 기반으로 관심영역 크기를 설정한 이후에 물체 트랙 정보로 분석한 관심영역의 기준 위치를 설정한다. 이때 이전 프레임의 기준 위치와 동일하면 변경이 필요 없으나, 이전 프레임의 기준 위치와 달라지면 현 프레임에서의 기준 위치에 맞추어서 다시 설정할 수 있다. Referring again to FIG. 2 , after the size of the region of interest is set based on the type and distance information of the object, the reference position of the region of interest analyzed with the object track information is set. At this time, if it is the same as the reference position of the previous frame, no change is necessary, but if it is different from the reference position of the previous frame, it can be set again according to the reference position of the current frame.

상기한 바와 같이 이미지센서(100)의 관심영역을 이종센서(200)에서 획득한 물체 트랙 정보와 거리 정보를 이용하여 물체가 있을 위치에 맞추어서 정밀하게 설정하여 줌으로써 이미지센서(100)에 의한 물체의 인식 능력을 높일 수 있다. As described above, by precisely setting the region of interest of the image sensor 100 according to the location of the object using the object track information and distance information obtained from the heterogeneous sensor 200, It can increase your cognitive ability.

이에 더하여 센서제어부(300)는 터널의 진/출입로처럼 차량 주변의 밝기가 급격히 변화하는 경우, 이종센서(200)에는 물체가 인식되었는데 이미지센서(100)로는 물체가 인식되지 아니할 수 있는데, 이때 물체의 존재 여부를 확인하기 위하여 관심영역의 히스토그램이나 에지(edge) 분석 결과를 참조하여 이미지센서(100)의 게인(gain)이나 노출(exposure)을 포함하는 촬상 파라미터를 조절함으로써 물체의 인식 성능을 높일 수 있다. 일 예로서 차량이 터널로 들어가게 되어 히스토그램 분석을 통하여 현 프레임의 히스토그램이 이전 프레임의 히스토그램보다 어두운 부분이 많아진다면 이미지센서(100)의 노출(exposure)을 더 크게 되도록 변경할 수 있다. 반면에 차량이 터널로부터 나오게 되면 히스토그램의 밝은 부분이 많아지므로 이미지센서(100)의 노출이 더 작게 되도록 변경할 수 있다.In addition, the sensor control unit 300 may recognize an object by the heterogeneous sensor 200 but the image sensor 100 may not recognize the object when the brightness around the vehicle changes rapidly, such as in the entrance/exit path of a tunnel. In order to check the presence or absence of an object, the recognition performance of an object can be improved by adjusting the imaging parameters including the gain or exposure of the image sensor 100 with reference to the histogram or edge analysis result of the region of interest. can As an example, if a vehicle enters a tunnel and the histogram of the current frame has more dark portions than the histogram of a previous frame through histogram analysis, the exposure of the image sensor 100 may be changed to be larger. On the other hand, when the vehicle comes out of the tunnel, the bright part of the histogram increases, so the exposure of the image sensor 100 may be changed to be smaller.

도 4는 본 발명의 일 실시 예에 따른 관심영역의 히스토그램 및 에지 분석에 기반하여 이미지센서(100)의 촬상 파라미터를 변경하는 방법을 도시한 흐름도이다.4 is a flowchart illustrating a method of changing an imaging parameter of the image sensor 100 based on a histogram and edge analysis of a region of interest according to an embodiment of the present invention.

도 4를 참조하면, 센서제어부(300)는 우선 이종센서(200)에서 물체를 인식하였는지를 판단(S410)한다. 인식하지 못하였다면 더는 진행할 필요가 없고 물체를 인식하였다면 이미지센서(100)의 현 프레임에서 물체를 인식하였는지를 판단(S420)한다. 물체를 인식하였다면 작업을 종료하고 물체를 인식하지 못하였다면 이종센서(200)로는 물체가 인식되었기 때문에 물체가 있는데 인식하지 못하였다고 보아 인식 성능을 높이기 위하여 관심영역 내 히스토그램 분석을 수행(S430)한다. 히스토그램이란 이미지의 어두운 부분에서 밝은 부분까지의 픽셀 분포를 나타내는 것으로 이미지 전체에서 어두운 부분이 많으면 히스토그램의 왼쪽이 높아지고 밝은 부분이 많으면 히스토그램의 오른쪽 부분이 높아지게 된다. 따라서 터널의 진/출입로처럼 차량 주변의 밝기가 급격히 변하는 경우 프레임별 히스토그램에 큰 차이가 있을 수 있다. 그래서 히스토그램 분석을 통하여 밝기가 급격히 변한 것을 인지할 수 있다. Referring to FIG. 4 , the sensor controller 300 first determines whether the object is recognized by the heterogeneous sensor 200 ( S410 ). If it is not recognized, there is no need to proceed further. If the object is recognized, it is determined whether the object is recognized in the current frame of the image sensor 100 (S420). If the object is recognized, the task is finished, and if the object is not recognized, it is assumed that the object is not recognized because the object is recognized by the heterogeneous sensor 200, and in order to improve recognition performance, a histogram analysis is performed in the region of interest (S430). The histogram represents the distribution of pixels from the dark to the bright part of the image. If there are many dark parts in the entire image, the left side of the histogram is high, and if there are many bright parts, the right part of the histogram becomes high. Therefore, when the brightness around the vehicle changes rapidly, such as in the entrance/exit path of a tunnel, there may be a big difference in the histogram for each frame. Therefore, it is possible to recognize the sudden change in brightness through histogram analysis.

관심영역 내 히스토그램 분석을 통하여 현 프레임의 히스토그램과 이전 프레임의 히스토그램과 다른 지를 판단(S440)하고, 다르다면 이미지센서 파라미터를 변경(S450)한다. 좀 더 상세히 설명하면, 차량이 터널로 들어가게 되어 히스토그램 분석을 통하여 현 프레임의 히스토그램이 이전 프레임의 히스토그램보다 어두운 부분이 많아진다면 이미지센서(100)의 노출(exposure)을 크게 변경할 수 있다. 반면에 차량이 터널로부터 나오게 되면 히스토그램의 밝은 부분이 많아지므로 이미지센서(100)의 노출이 작게 되도록 변경할 수 있다. 이와 더불어 이미지에 대한 게인(gain)을 늘리거나 줄임으로써 물체 인식 능력을 높일 수 있다.It is determined whether the histogram of the current frame is different from the histogram of the previous frame through the histogram analysis in the region of interest (S440), and if different, the image sensor parameter is changed (S450). In more detail, if the vehicle enters the tunnel and the histogram of the current frame has more dark areas than the histogram of the previous frame through histogram analysis, the exposure of the image sensor 100 may be significantly changed. On the other hand, when the vehicle comes out of the tunnel, the bright part of the histogram increases, so the exposure of the image sensor 100 may be changed to be small. In addition, the object recognition ability can be improved by increasing or decreasing the gain for the image.

파라미터가 변경된 이후 이미지센서(100)로부터 오는 이미지의 에지 분석을 실행(S460)한다. 에지 분석을 통하여 관심역역 내에 서로 이질적인 물체가 있음을 확인할 수 있고, 일반적인 도로 환경에서 전방에서 주행하는 차량이나 보행자 또한 에지 분석을 통하여 확인할 수 있다. 상기 실행한 에지 분석 결과 이질적인 물체가 존재한다고 볼 수 있는 기준값 이상이면 전방에 차량이나 보행자가 있는 것으로 인식(S470)하고 기준값 이하이면 다시 이미지센서 파라미터 변경(S450)을 수행하여 물체 인식을 다시 시도할 수 있다.After the parameter is changed, edge analysis of the image coming from the image sensor 100 is performed (S460). Through edge analysis, it can be confirmed that there are heterogeneous objects within the region of interest, and vehicles or pedestrians traveling in front in a general road environment can also be identified through edge analysis. As a result of the edge analysis, if it is higher than the reference value that a heterogeneous object exists, it is recognized that there is a vehicle or pedestrian in front (S470), and if it is below the reference value, the image sensor parameter change (S450) is performed again to retry object recognition. can

상기한 본 발명에서 제시하는 방법을 참조하면 이종센서(200)를 이용하여 이미지센서(100)의 물체 인식 능력을 높일 수 있다. Referring to the method presented in the present invention, the object recognition ability of the image sensor 100 can be increased by using the heterogeneous sensor 200 .

본 발명이 속하는 기술 분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있으므로, 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.Those skilled in the art to which the present invention pertains should understand that the present invention may be embodied in other specific forms without changing the technical spirit or essential characteristics thereof, so the embodiments described above are illustrative in all respects and not restrictive. only do The scope of the present invention is indicated by the following claims rather than the detailed description, and all changes or modifications derived from the meaning and scope of the claims and their equivalent concepts should be construed as being included in the scope of the present invention. .

100: 이미지센서
200: 이종센서
300: 센서제어부100: image sensor
200: heterogeneous sensor
300: sensor control unit

Claims (18)

차량 전방에 존재하는 물체의 감지를 위한 센서 퓨전을 이용한 이미지센서 장치에 있어서,
전방에 있는 물체를 인식하고 상기 물체까지의 거리 정보 및/또는 상기 물체의 트랙(track)정보를 획득하는 이종센서;
전방의 이미지를 획득하는 이미지센서; 및
상기 이종센서로부터 오는 상기 물체까지의 거리 정보 및/또는 상기 물체의 트랙(track)정보를 바탕으로 상기 이미지센서를 제어하는 센서제어부;
를 포함하되,
상기 센서제어부는,
상기 이종센서로부터 오는 상기 물체의 트랙 정보로부터 상기 물체의 종류를 분석하고,
상기 물체까지의 거리 정보 및 상기 물체의 종류를 바탕으로 상기 이미지센서의 관심영역 크기를 설정하며,
상기 물체의 종류가 보행자인 경우, 상기 관심영역 크기에 보행자 기준 마진을 추가하고,
상기 물체의 종류가 차량인 경우, 상기 관심영역 크기에 차량 기준 마진을 추가하는, 센서 퓨전을 이용한 이미지센서 장치. In the image sensor device using sensor fusion for detecting an object existing in front of a vehicle,
a heterogeneous sensor for recognizing an object in front and acquiring distance information to the object and/or track information of the object;
an image sensor for acquiring an image of the front; and
a sensor controller for controlling the image sensor based on distance information from the heterogeneous sensor to the object and/or track information of the object;
including,
The sensor control unit,
Analyze the type of the object from the track information of the object coming from the heterogeneous sensor,
setting the size of the region of interest of the image sensor based on the distance information to the object and the type of the object,
When the type of the object is a pedestrian, a pedestrian reference margin is added to the size of the region of interest,
When the type of the object is a vehicle, an image sensor device using sensor fusion to add a vehicle reference margin to the size of the region of interest. 제1항에 있어서, 상기 이종센서는,
레이더(radar) 또는 라이더(Lider) 센서인,
센서 퓨전을 이용한 이미지센서 장치.According to claim 1, wherein the heterogeneous sensor,
which is a radar or lidar sensor,
Image sensor device using sensor fusion. 제1항에 있어서, 상기 이미지센서는,
CMOS 센서 또는 CCD 카메라인,
센서 퓨전을 이용한 이미지센서 장치. According to claim 1, wherein the image sensor,
CMOS sensor or CCD camera,
Image sensor device using sensor fusion. 제 1항에 있어서, 상기 센서제어부는,
상기 이종센서로부터 오는 상기 물체까지의 거리 정보 및/또는 상기 물체의 트랙(track)정보를 바탕으로 상기 이미지센서의 관심영역 위치 및 크기를 설정하는,
센서 퓨전을 이용한 이미지센서 장치. According to claim 1, wherein the sensor control unit,
Setting the location and size of the region of interest of the image sensor based on distance information from the heterogeneous sensor to the object and/or track information of the object,
Image sensor device using sensor fusion. 제 4항에 있어서, 상기 센서제어부는,
상기 이종센서로부터 오는 상기 물체까지의 거리가 이전 프레임에서의 상기 물체까지의 거리보다 멀면 상기 관심영역 크기를 축소하고,
상기 이종센서로부터 오는 상기 물체까지의 거리가 이전 프레임에서의 상기 물체까지의 거리보다 가까우면 상기 관심영역 크기를 확대하는,
센서 퓨전을 이용한 이미지센서 장치.5. The method of claim 4, wherein the sensor control unit,
If the distance from the heterogeneous sensor to the object is greater than the distance to the object in the previous frame, the size of the region of interest is reduced,
Enlarging the size of the region of interest if the distance from the heterogeneous sensor to the object is closer than the distance to the object in the previous frame,
Image sensor device using sensor fusion. 삭제delete 삭제delete 제 1항에 있어서, 상기 센서제어부는,
상기 이종센서에서는 물체를 인식하였으나 상기 이미지센서의 현재 프레임에서는 물체를 인식하지 못한 경우, 상기 이미지센서의 촬상 파라미터를 조절하는
센서 퓨전을 이용한 이미지센서 장치. According to claim 1, wherein the sensor control unit,
When the heterogeneous sensor recognizes the object but does not recognize the object in the current frame of the image sensor, adjusting the imaging parameter of the image sensor
Image sensor device using sensor fusion. 제 8항에 있어서, 상기 센서제어부는,
상기 이미지센서의 촬상 파라미터를 조절하는 것은, 상기 현재 프레임의 관심영역에 대한 히스토그램(histogram) 및/또는 에지(edge) 분석 결과를 바탕으로 상기 이미지센서의 촬상 파라미터를 조절하는
센서 퓨전을 이용한 이미지센서 장치. The method of claim 8, wherein the sensor control unit,
Adjusting the imaging parameter of the image sensor may include adjusting the imaging parameter of the image sensor based on a histogram and/or edge analysis result for the region of interest of the current frame.
Image sensor device using sensor fusion. 제 9항에 있어서, 상기 센서제어부는,
상기 현재 프레임의 관심영역에 대한 히스토그램이 이전 프레임의 관심영역에 대한 히스토그램보다 어두운 부분이 많은 경우에는 상기 이미지센서의 노출(exposure)을 더 크게 하고, 밝은 부분이 많은 경우에는 상기 이미지센서의 노출을 더 작게 하도록 상기 이미지센서의 촬상 파라미터를 조절하는,
센서 퓨전을 이용한 이미지센서 장치.The method of claim 9, wherein the sensor control unit,
When the histogram for the region of interest of the current frame has more dark parts than the histogram for the region of interest of the previous frame, the exposure of the image sensor is increased, and when there are many bright parts, the exposure of the image sensor is increased adjusting the imaging parameter of the image sensor to make it smaller,
Image sensor device using sensor fusion. 차량 전방에 존재하는 물체의 감지를 위한 센서 퓨전을 이용한 이미지센서 장치의 이미지센서 제어 방법에 있어서,
이종센서를 이용하여 전방에 있는 물체를 인식하고 상기 물체까지의 거리 정보 및/또는 상기 물체의 트랙(track)정보를 획득하는 단계;
상기 물체까지의 거리 정보 및/또는 상기 물체의 트랙(track)정보를 바탕으로 이미지센서를 제어하는 단계; 및
상기 이미지센서를 이용하여 전방의 이미지를 획득하는 단계;
를 포함하되,
상기 물체까지의 거리 정보 및/또는 상기 물체의 트랙(track)정보를 바탕으로 이미지센서를 제어하는 단계는,
상기 물체의 트랙 정보로부터 상기 물체의 종류를 분석하는 단계; 및
상기 물체까지의 거리 정보 및 상기 물체의 종류를 바탕으로 상기 이미지센서의 관심영역 크기를 설정하는 단계를 포함하며,
상기 물체까지의 거리 정보 및 상기 물체의 종류를 바탕으로 상기 이미지센서의 관심영역 크기를 설정하는 단계는,
상기 물체의 종류가 보행자인 경우, 상기 관심영역 크기에 보행자 기준 마진을 추가하고, 상기 물체의 종류가 차량인 경우, 상기 관심영역 크기에 차량 기준 마진을 추가하는 단계를 포함하는, 이미지센서 제어 방법. In the image sensor control method of an image sensor device using sensor fusion for detecting an object existing in front of a vehicle,
Recognizing an object in front by using a heterogeneous sensor and acquiring distance information to the object and/or track information of the object;
controlling an image sensor based on distance information to the object and/or track information of the object; and
acquiring an image of the front using the image sensor;
including,
The step of controlling the image sensor based on the distance information to the object and/or the track information of the object,
analyzing the type of the object from the track information of the object; and
Setting the size of the region of interest of the image sensor based on the distance information to the object and the type of the object,
The step of setting the size of the region of interest of the image sensor based on the distance information to the object and the type of the object,
When the type of the object is a pedestrian, adding a pedestrian reference margin to the size of the region of interest, and when the type of the object is a vehicle, adding a vehicle reference margin to the size of the region of interest. . 제 11항에 있어서,
상기 물체까지의 거리 정보 및/또는 상기 물체의 트랙(track)정보를 바탕으로 이미지센서를 제어하는 단계는,
상기 물체까지의 거리 정보 및/또는 상기 물체의 트랙(track)정보를 바탕으로 상기 이미지센서의 관심영역 위치 및 크기를 설정하는 단계를 포함하는,
이미지센서 제어 방법. 12. The method of claim 11,
The step of controlling the image sensor based on the distance information to the object and/or the track information of the object,
Comprising the step of setting the location and size of the region of interest of the image sensor based on the distance information to the object and / or track information of the object,
Image sensor control method. 제 12항에 있어서,
상기 물체까지의 거리 정보 및/또는 상기 물체의 트랙(track)정보를 바탕으로 상기 이미지센서의 관심영역 위치 및 크기를 설정하는 단계는,
상기 물체까지의 거리가 이전 프레임에서의 상기 물체까지의 거리보다 멀면 상기 관심영역 크기를 축소하고, 상기 이종센서로부터 오는 상기 물체까지의 거리가 이전 프레임에서의 상기 물체까지의 거리보다 가까우면 상기 관심영역 크기를 확대하는 단계를 포함하는,
이미지센서 제어 방법.13. The method of claim 12,
The step of setting the location and size of the region of interest of the image sensor based on the distance information to the object and/or the track information of the object,
If the distance to the object is greater than the distance to the object in the previous frame, the size of the region of interest is reduced, and if the distance to the object from the heterogeneous sensor is closer than the distance to the object in the previous frame, the interest enlarging the area size;
Image sensor control method. 삭제delete 삭제delete 차량 전방에 존재하는 물체의 감지를 위한 센서 퓨전을 이용한 이미지센서 장치의 이미지센서 제어 방법에 있어서,
이종센서를 이용하여 전방에 있는 물체를 인식하는 단계;
이미지센서를 이용하여 현재 프레임에서 상기 물체를 인식하는 단계; 및
상기 이미지센서가 상기 물체를 인식하지 못한 경우 상기 이미지센서의 촬상 파라미터를 조절하는 단계;
를 포함하는, 이미지센서 제어 방법. In the image sensor control method of an image sensor device using sensor fusion for detecting an object existing in front of a vehicle,
Recognizing an object in front using a heterogeneous sensor;
recognizing the object in a current frame using an image sensor; and
adjusting an imaging parameter of the image sensor when the image sensor does not recognize the object;
Including, an image sensor control method. 제 16항에 있어서,
상기 이미지센서의 촬상 파라미터를 조절하는 단계는,
상기 현재 프레임의 관심영역에 대한 히스토그램(histogram) 및 에지(edge) 분석 결과를 바탕으로 상기 이미지센서의 촬상 파라미터를 조절하는 단계를 포함하는,
이미지센서 제어 방법. 17. The method of claim 16,
The step of adjusting the imaging parameters of the image sensor,
and adjusting the imaging parameters of the image sensor based on a histogram and an edge analysis result for the region of interest of the current frame.
Image sensor control method. 제 17항에 있어서,
상기 상기 현재 프레임의 관심영역에 대한 히스토그램 및 에지 분석한 결과를 바탕으로 상기 이미지센서의 촬상 파라미터를 조절하는 단계는,
상기 현재 프레임의 관심영역에 대한 히스토그램이 이전 프레임의 관심영역에 대한 히스토그램보다 어두운 부분이 많은 경우에는 상기 이미지센서의 노출(exposure)을 더 크게 하고, 밝은 부분이 많은 경우에는 상기 이미지센서의 노출을 더 작게 하도록 상기 이미지센서의 촬상 파라미터를 조절하는 단계를 포함하는,
이미지센서 제어 방법.18. The method of claim 17,
Adjusting the imaging parameters of the image sensor based on the histogram and edge analysis results for the region of interest of the current frame,
When the histogram for the region of interest of the current frame has more dark parts than the histogram for the region of interest of the previous frame, the exposure of the image sensor is increased, and when there are many bright parts, the exposure of the image sensor is increased adjusting the imaging parameters of the image sensor to be smaller,
Image sensor control method.
KR1020160016449A 2016-02-12 2016-02-12 Image Sensor Apparatus using Sensor Fusion and Control Method thereof KR102436848B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160016449A KR102436848B1 (en) 2016-02-12 2016-02-12 Image Sensor Apparatus using Sensor Fusion and Control Method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160016449A KR102436848B1 (en) 2016-02-12 2016-02-12 Image Sensor Apparatus using Sensor Fusion and Control Method thereof

Publications (2)

Publication Number Publication Date
KR20170095005A KR20170095005A (en) 2017-08-22
KR102436848B1 true KR102436848B1 (en) 2022-08-26

Family

ID=59757909

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160016449A KR102436848B1 (en) 2016-02-12 2016-02-12 Image Sensor Apparatus using Sensor Fusion and Control Method thereof

Country Status (1)

Country Link
KR (1) KR102436848B1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102646251B1 (en) * 2019-08-06 2024-03-11 현대모비스 주식회사 Autonomous emergency braking apparatus and control method thereof
KR102190163B1 (en) * 2019-11-01 2020-12-14 주식회사 만도 Vehicle braking assistance system and method

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FI116246B (en) * 2003-06-30 2005-10-14 Nokia Corp Method and system for adjusting the exposure in digital imaging and the like
KR101302944B1 (en) * 2009-11-04 2013-09-06 주식회사 만도 Method and Apparatus for Recognizing Vehicle
KR101221741B1 (en) * 2010-12-01 2013-01-11 서울대학교산학협력단 Camera zoom control system and method using position sensing information
KR101510189B1 (en) * 2012-10-29 2015-04-08 주식회사 만도 Automatic exposure control apparatus and automatic exposure control method
KR101480992B1 (en) 2013-04-12 2015-01-14 메타빌드주식회사 Apparatus, method and system for detecting objects using radar device and image mapping
KR101751362B1 (en) * 2013-08-23 2017-06-27 주식회사 만도 Apparatus for storaging image of camera at night and method for storaging image thereof

Also Published As

Publication number Publication date
KR20170095005A (en) 2017-08-22

Similar Documents

Publication Publication Date Title
KR102178433B1 (en) Auto emergency braking system and method for recognizing pedestrian of the same
US9460627B2 (en) Collision determination device and collision mitigation device
US9457809B2 (en) Collision possibility determination apparatus, drive assist apparatus, collision possibility determination method, and collision possibility determination program
US11014566B2 (en) Object detection apparatus
CN107226088B (en) Controller, driving control method, and program
US20170297488A1 (en) Surround view camera system for object detection and tracking
KR101554892B1 (en) Target detecting device for avoiding collision between vehicle and target captured by sensor mounted to the vehicle
US8525728B2 (en) Method of detecting object in the vicinity of a vehicle
EP2523174A1 (en) Vision based night-time rear collision warning system, controller, and method of operating the same
US20190114491A1 (en) Vehicle control apparatus and vehicle control method
JP6717240B2 (en) Target detection device
JP2018516799A (en) Method and apparatus for recognizing and evaluating road surface reflections
US20190266421A1 (en) System and method for detecting close cut-in vehicle based on free space signal
WO2018070335A1 (en) Movement detection device, movement detection method
JP2013241065A (en) Traveling environment detecting device, traveling environment detecting program, and light control device
KR102436848B1 (en) Image Sensor Apparatus using Sensor Fusion and Control Method thereof
US20190347496A1 (en) Information processing apparatus, imaging apparatus, apparatus control system, movable object, information processing method, and computer-readable recording medium
CN111976585A (en) Projection information recognition device and method based on artificial neural network
JP6535302B2 (en) Object detection device
EP3392730B1 (en) Device for enabling a vehicle to automatically resume moving
KR102413579B1 (en) Apparatus for making a driver operate a car easily and target estimation method thereof
US10558871B2 (en) System and method for improving the performance of an in-vehicle sensor system
JP2007024504A (en) Vehicle driving support system
EP3774500B1 (en) Method for obstacle identification
KR102448164B1 (en) Apparatus and method for controlling a vehicle radar

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
N231 Notification of change of applicant
E701 Decision to grant or registration of patent right
GRNT Written decision to grant