KR101364727B1 - Method and apparatus for detecting fog using the processing of pictured image - Google Patents
Method and apparatus for detecting fog using the processing of pictured image Download PDFInfo
- Publication number
- KR101364727B1 KR101364727B1 KR1020120109204A KR20120109204A KR101364727B1 KR 101364727 B1 KR101364727 B1 KR 101364727B1 KR 1020120109204 A KR1020120109204 A KR 1020120109204A KR 20120109204 A KR20120109204 A KR 20120109204A KR 101364727 B1 KR101364727 B1 KR 101364727B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- fog
- estimating
- area
- detecting
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 85
- 238000012545 processing Methods 0.000 title claims abstract description 18
- 230000008569 process Effects 0.000 claims abstract description 57
- 239000011159 matrix material Substances 0.000 claims abstract description 18
- 238000004458 analytical method Methods 0.000 claims abstract description 17
- 238000005286 illumination Methods 0.000 claims abstract description 10
- 238000003702 image correction Methods 0.000 claims abstract description 9
- 238000001514 detection method Methods 0.000 claims description 77
- 230000005540 biological transmission Effects 0.000 claims description 14
- 238000012937 correction Methods 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 7
- 238000005457 optimization Methods 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 3
- 238000000149 argon plasma sintering Methods 0.000 claims description 2
- 230000003442 weekly effect Effects 0.000 claims description 2
- 239000000284 extract Substances 0.000 claims 1
- 230000000007 visual effect Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 23
- 230000008859 change Effects 0.000 description 7
- 238000005259 measurement Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000000691 measurement method Methods 0.000 description 5
- 238000003708 edge detection Methods 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 238000004737 colorimetric analysis Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000004297 night vision Effects 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/168—Segmentation; Edge detection involving transform domain methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/529—Depth or shape recovery from texture
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
본 발명은 안개 감지 방법 및 장치에 관한 것으로, 더욱 상세하게는, 인간의 시야와 유사한 카메라를 이용하여 안개 발생여부를 검지하고 시정거리를 측정하여, 운전자에게 안개의 상태정보를 제공해줄 수 있는 촬영된 영상의 처리를 이용한 안개 감지 방법 및 장치에 관한 것이다.
The present invention relates to a method and apparatus for detecting fog, and more particularly, to detect whether a fog is generated using a camera similar to a human's field of vision and to measure a visibility distance, thereby providing a driver with status information of fog. The present invention relates to a method and apparatus for detecting fog using processed images.
최근 안개로 인한 교통사고 위험성이 사회적 문제로 대두됨에 따라 도로 설계 시 안개 발생에 대비한 안전 위험 표시 시설물의 설치 사업이 적극적으로 이루어지고 있다. 이를 위한 하나의 방법으로, 안개 발생 및 시정 상태를 측정하고 이를 통해 운전자에게 경고하기 위해 안개 경보 시스템이 개발 및 설치되고 있다.Recently, the risk of traffic accidents caused by fog has become a social issue, and the installation of safety hazard marking facilities in preparation for the occurrence of fog in road design is being actively conducted. As a way of doing this, fog alarm systems have been developed and installed to measure the occurrence and visibility of fog and thereby alert the driver.
그런데, 안개 경보 시스템의 핵심 장치인 안개 센서는 한화로 6 천만원을 호가하는 고가의 장비로서, 주요 안개 발생 지역에만 설치하더라도 많은 예산이 소요되는 문제점이 있다. 또한 안개 센서는 기본적으로 30~50cm떨어진 좁은 광 감지 영역(Optical sensitive zone)을 가지므로, 눈이나 비의 영향을 크게 받으며 안개의 밀도가 불균일할 경우 정확성이 현저히 떨어지는 문제점이 있다. However, the fog sensor, which is a core device of the fog alarm system, is an expensive device that costs 60 million won in Hanwha, and there is a problem in that a large budget is required even if it is installed only in the main fog generation area. In addition, since the fog sensor basically has a narrow optical sensitive zone (30 ~ 50cm away), it is greatly affected by snow or rain, there is a problem that the accuracy is significantly reduced when the fog density is uneven.
한편, 카메라 영상을 이용한 안개 감지 및 시정측정은 인간의 시정 감각과 유사하고 안개 감지 센서에 비해 저렴하다는 측면에서 많은 연구자들에 의해 연구되고 있다. On the other hand, fog detection and visibility measurement using a camera image has been studied by many researchers in terms of similar to human visibility and inexpensive compared to the fog sensor.
현재까지 CCD 카메라를 이용한 시정측정의 주요 연구는 크게 색차를 이용한 시정측정방법과, 별도의 시정표지와 시설을 이용한 시정측정방법으로 나눌 수 있다.To date, major researches on visibility measurement using CCD cameras can be divided into two methods: visibility measurement using color difference and visibility measurement method using separate visibility signs and facilities.
첫째, 색차를 이용한 시정측정방법은 입력된 영상의 인식을 위해 영상 데이터를 개선, 변형시키는 작업을 선행한 후 HSI(Hue;색상, Saturation;채도, Intensity;명도) 컬러공간에서 색차와 색상차, 채도차 그리고 명도차를 분석하여 시정을 측정하였다. First, the visibility measurement method using chrominance is performed by improving and transforming image data to recognize the input image, and then, in the HSI (Hue; Color, Saturation; Saturation, Intensity) color space, The visibility was measured by analyzing chroma and brightness differences.
또한, 색차를 이용한 시정측정방법의 다른 예로, 빛 반사에 의해 왜곡된 영상을 보정한 후 입력영상 중 가장 맑은 영상을 기준영상으로 하여 혼탁계수를 단계적으로 변화시킴으로써 애뮬레이션 영상을 생성하고 각각에 대해 HSI 컬러에 대한 색차를 분석하고, 실제 관측영상과 관측데이터를 참조하여 시정거리를 측정하는 방법을 사용하였다. In addition, as another example of a visibility measurement method using a color difference, an emulated image is generated by correcting an image distorted by light reflection and changing the turbidity coefficient step by step using the clearest image among the input images as a reference image. We analyzed the color difference for HSI color and measured the viewing distance with reference to the actual observation image and observation data.
색차를 이용한 시정측정방법은 맑은 날과 안개 낀 날의 색체학적 분석을 통해 코쉬미더(Koschmieder)가 주장한 흑백대비 이론의 한계를 극복할 수 있는 방법으로 그 의미가 있으나, 야간의 경우에 관한 연구결과는 아직 없으며, 일반적으로 색차분법만으로는 야간 시정측정이 어려울 수 있다. Correction measurement method using color difference is a way to overcome the limitations of the black and white contrast theory insisted by Koschmieder through colorimetric analysis on sunny and foggy days. Is not yet available, and in general, colorimetric methods alone can be difficult to measure at night.
둘째, 별도의 시정표지와 시설을 이용한 시정측정방법은, 대표적인 측정 예로 2004년도에 제안된 도 1을 예로 들 수 있다. Second, as a representative measurement method using a separate visibility mark and facility, the example of FIG. 1 proposed in 2004 can be taken as an example.
도시된 바와 같이, 도로의 측면 북쪽 방향으로 6개의 표지를 20m, 40m, 100m, 150m, 200m, 300m 떨어져 있는 곳에 설치하고, 폴의 상단에 CCD(Charge Coupled Device) 카메라와 IR(Infrared Ray)카메라를 설치하였다. 그리고 40m 표지에 안개센서(VPF-710)를 설치하여 약 2년에 걸쳐 데이터를 수집한 후 실험하였다. 이 방법은 미리 설정된 ROI에 대한 대비(contrast)의 변화를 이용하여 맑은 날씨를 기준으로 주간 및 야간의 경우에 상대적인 시정거리측정이 가능한 방법을 제시하고 있다. As shown, six signs are installed 20m, 40m, 100m, 150m, 200m, 300m away from the side of the road, and CCD (Charge Coupled Device) camera and IR (Infrared Ray) camera on the top of pole. Was installed. In addition, a fog sensor (VPF-710) was installed on the 40m mark, and the data were collected for about two years and then tested. This method proposes a method that can measure the relative visibility distance during the day and night based on the clear weather by using the change in contrast to the preset ROI.
그런데, 이러한 방법은 카메라를 이용한 시정거리측정의 다양한 특성과 방법에 대해 설명하고 있으나, 별도의 표지와 시설을 이용하고 있으며 절대적 시정거리가 아닌 상대적 시정거리를 산출하는 문제점이 있다. By the way, this method has been described for the various characteristics and methods of measuring the visibility distance using a camera, but using a separate sign and facility, there is a problem of calculating the relative visibility distance, not the absolute visibility distance.
도 1과 유사한 방법으로, 도 2와 같이 2008년도에 제안된 파노라마 카메라를 이용하여 도로 상 일정 거리에 표지판을 설치한 후 영상 내 각 영역을 분할하여 시정 거리를 계산하는 방법이 제안되었다. 또한, 도 3과 같이 2010년도에 제안된 거리 내 격자 패턴을 설치하여 흰색과 검정색의 명암대비를 이용하여 시정거리를 계산하는 방법이 제안되었다. In a method similar to that of FIG. 1, a method of calculating a visibility distance by dividing each region in an image after installing a sign at a predetermined distance on a road using a panoramic camera proposed in 2008 as shown in FIG. 2 is proposed. In addition, as shown in FIG. 3, a method of calculating a viewing distance using a contrast between white and black by installing a grid pattern within a distance proposed in 2010 has been proposed.
종래와 같이, 보조 시설물을 이용하여 시정거리를 측정하는 방법은 별도의 목표물을 설치가 필요함에 따라 별도의 비용이 발생되는 문제점이 있다. 또한, 종래의 시정거리 측정방법은 새벽과 같이 주야간 구분이 애매한 경우 시정 계산에 어려움이 따르게 되는 문제점이 있다. 이에 따라, 비교적 넓은 영역에 대한 시정 거리 측정이 가능하고, 저렴한 비용으로 시정 거리를 측정할 수 있는 방법이 요구된다.
As in the related art, the method for measuring the visibility distance using the auxiliary facilities has a problem in that separate costs are generated as a separate target is required to be installed. In addition, the conventional visibility distance measuring method has a problem that it is difficult to calculate the visibility when the day and night separation is ambiguous, such as dawn. Accordingly, there is a need for a method capable of measuring a viewing distance over a relatively large area and measuring a viewing distance at a low cost.
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 기존에 안개 센서를 이용하는 방법에 따른 비용적 부담과 기술적 한계를 극복하여 촬영된 영상의 처리를 이용한 안개 감지 방법 및 장치를 제공하는데 있다. An object of the present invention for solving the above problems is to provide a method and apparatus for detecting fog using the processing of the captured image to overcome the cost burden and technical limitations according to the conventional method using the fog sensor.
본 발명의 다른 목적은, 인간의 시야와 유사한 카메라를 이용하여 안개 발생여부를 검지하고, 시정거리를 측정하여, 운전자에게 안개의 상태정보를 제공해줄 수 있는 촬영된 영상의 처리를 이용한 안개 감지 방법 및 장치를 제공하는데 있다.
Another object of the present invention, by detecting a fog using a camera similar to the human field of view, measuring the visibility distance, fog detection method using the processing of the captured image that can provide the driver with status information of the fog And to provide an apparatus.
상기와 같은 목적을 달성하기 위한 본 발명의 실시예에 따른 촬영된 영상의 처리를 이용한 안개 감지 방법은, 카메라에 의해 촬영되어 입력되는 영상을 분석하여 영상 내에서 안개 감지를 위해 분석이 필요한 유효영역을 검출하는 유효영역 검출과정; 및 검출한 상기 유효 영역에 대해 주간 안개감지과정 및 야간 안개감지 과정으로 나누어 각각에 대해 안개 감지 분석을 실시하고, 그 결과에 따라 각각 시정거리를 계산하고 안개 상태를 판단하여 그 결과를 출력하는 안개감지과정;을 포함한다. In the fog detection method using the processing of the captured image according to an embodiment of the present invention for achieving the above object, an effective area that needs to be analyzed for the detection of the fog in the image by analyzing the image taken by the camera An effective area detection process of detecting a; And performing a fog detection analysis for each of the detected effective areas divided into a daytime fog detection process and a nighttime fog detection process, and calculating a viewing distance and determining a fog state according to the results, respectively, and outputting the result of the fog. Detection process; includes.
여기서, 상기 유효영역 검출과정은, 상기 영상으로부터 도로 영역을 검출하고 영상 보정 매트릭스(Rectification matrix)를 추정하는 단계; 추정 정보가 포함된 영상에 대해 조명성분 추정을 통해 기준 깊이지도(Depth map)를 추정하고 히스토그램을 추정하는 단계; 및 영상 내 하늘 영역을 제거하기 위해 상기 히스토그램이 추정된 영상 내 유효 영역의 마스크를 추출하는 단계;를 포함한다.The effective area detection process may include: detecting a road area from the image and estimating an image correction matrix; Estimating a depth map and estimating a histogram through an illumination component estimation on an image including estimation information; And extracting a mask of an effective area in the image from which the histogram is estimated to remove the sky area in the image.
또한, 상기 주간 안개감지 과정은, 실시간 입력되는 상기 영상을 이용하여 정의된 주기 동안 누적을 통해 카메라 움직임 및 노이즈, 이동물체 등에 의한 간섭을 최소화 하기위한 비 이동 영역 생성(Make Non-Movement Area) 단계; 상기 영상 내 조명 성분을 추정하는 단계; 및 추정된 상기 조명 성분을 이용한 깊이지도(Depth map)를 추정하고 깊이 지도의 히스토그램 분석을 통한 시정 영역 검출 및 시정거리 추정 단계;를 포함한다. In addition, the daytime fog detection process is a non-movement area step for minimizing interference due to camera movement, noise and moving objects through accumulation during a period defined using the image input in real time. ; Estimating an illumination component in the image; And estimating a depth map using the estimated illumination component and detecting a viewing area and estimating a viewing distance through histogram analysis of the depth map.
한편, 상기 야간 안개감지 과정은, 상기 영상으로부터 광원 위치를 추정하는 단계; 거리별 가로등의 불빛 영역을 검출하는 단계; 및 상기 불빛 영역이 검출된 영상에 대해 불빛 분산 정도를 검출하는 단계;를 포함한다. On the other hand, the night fog detection process, the step of estimating the light source position from the image; Detecting a light area of a street lamp by distance; And detecting a degree of light dispersion with respect to the image in which the light area is detected.
상기 야간 안개감지 과정은, 상기 영상으로부터 광원 위치를 추정하는 단계; 차량의 불빛을 검출 및 추적하는 단계; 상기 검출 및 추적 결과를 이용하여 시정거리를 측정하는 단계;를 포함한다. The night fog detection process may include estimating a light source position from the image; Detecting and tracking the lights of the vehicle; And measuring a viewing distance using the detection and tracking results.
한편, 상기 도로영역검출 및 영상보정매트릭스추정 단계는, 상기 영상이 입력되면, 입력영상의 채도영상을 생성하는 단계; 상기 채도영상에서 에지(가장자리)를 검출하는 단계; 상기 에지가 검출된 영상에 대해 허프 변환을 수행하는 단계; 상기 허프 변환된 영상에 대해 로컬 최적화를 통해 도로 영역을 검출하는 단계; 상기 도로 영역에 대한 한 쌍의 경계선을 추출하는 단계; 및 상기 경계선이 추출된 영상에 대해 보정 요소를 추정하여 상기 경계선을 기준으로 영상을 보정하는 단계;를 포함한다. On the other hand, the road area detection and image correction matrix estimating step, if the image is input, generating a chroma image of the input image; Detecting an edge (edge) in the chroma image; Performing a Hough transform on the edge detected image; Detecting a road area through local optimization on the hough transformed image; Extracting a pair of boundary lines for the road area; And estimating a correction element with respect to the image from which the boundary line is extracted and correcting the image based on the boundary line.
상기 기준 깊이지도 추정단계는, 상기 영상이 입력되면, 암 채널(Dark channel extraction)을 추출하는 단계; 상기 암 채널이 추출된 영상에 대해 대기 산란광을 추출하는 단계; 상기 대기 산란광이 추출된 영상에 대해 트랜스미션(transmission)을 추정하는 단계; 및 상기 트랜스미션 및 거리를 매칭시켜 상기 영상의 깊이 지도를 추정하는 단계;를 포함한다. The reference depth map estimating step may include extracting a dark channel extraction when the image is input; Extracting atmospheric scattered light with respect to the image from which the dark channel is extracted; Estimating a transmission on the image from which the atmospheric scattered light is extracted; And estimating a depth map of the image by matching the transmission and the distance.
한편, 상기와 같은 목적을 달성하기 위한 본 발명의 실시예에 따른 촬영된 영상의 처리를 이용한 안개 감지 장치는, 네트워크를 통해 통신 접속된 카메라로부터 실시간 촬영된 영상을 수신하는 카메라 인터페이스; 상기 영상에 대한 영상 인식 분석을 통해 안개 상태를 감지하는 영상 인식 모듈; 상기 영상에 대한 인식된 결과 정보를 화면에 표출 및 저장하는 어플리케이션부; 상기 영상에 대한 인식된 결과 정보인 안개 상태 정보를 표시할 수 있는 외부 표시장치로 전송하는 디스플레이 인터페이스; 및 시스템을 운용하는 운영체제(OS);를 포함하며, On the other hand, the fog detection apparatus using the processing of the captured image according to an embodiment of the present invention for achieving the above object, the camera interface for receiving a real-time captured image from the camera connected to the communication via a network; An image recognition module configured to detect a fog state through image recognition analysis of the image; An application unit for displaying and storing the recognized result information of the image on a screen; A display interface for transmitting the fog state information, which is recognized result information of the image, to an external display device; And an operating system (OS) for operating the system;
상기 영상 인식 모듈은, 상기 카메라에 의해 촬영되어 입력되는 영상을 분석하여 영상 내에서 안개 감지를 위해 분석이 필요한 유효영역을 검출하고, 검출한 상기 유효 영역에 대해 주간 안개감지과정 및 야간 안개감지 과정으로 나누어 각각에 대해 안개 감지 분석을 실시한 후 그 결과에 따라 각각 시정거리를 계산하고 안개 상태를 판단하여 그 결과를 출력한다.
The image recognition module analyzes an image photographed and input by the camera to detect an effective area requiring analysis for fog detection in the image, and a daytime fog detection process and a night fog detection process for the detected effective area. After dividing into, perform fog detection analysis on each, calculate the visibility distance according to the results, determine the fog state and output the result.
본 발명에 따르면, 촬영된 영상의 처리를 이용하여 안개를 감지함에 따라, 기존에 안개 센서를 이용하는 방법에 따른 비용적 부담과 기술적 한계를 극복할 수 있고, 인간의 시야와 유사한 카메라를 이용하여 안개 발생여부를 검지하고, 시정거리를 측정하여, 운전자에게 안개의 상태정보를 제공해줄 수 있도록 하는 장점이 있다.
According to the present invention, as the fog is detected using the processing of the captured image, it is possible to overcome the cost burden and technical limitations of the conventional method using the fog sensor, using a camera similar to the human field of view fog Detecting whether the occurrence, measuring the visibility distance, there is an advantage to provide the driver with the status information of the fog.
도 1은 종래에 시정표지와 시설물을 이용하여 시정거리를 측정하기 위한 예를 도시한 도면이다.
도 2는 종래에 파노라마 카메라와 영역 분할을 이용하여 시정거리를 측정하기 위한 예를 도시한 도면이다.
도 3은 종래에 겨가 패턴과 명암 대비를 이용하여 시정거리를 측정하기 위한 예를 도시한 도면이다.
도 4는 본 발명의 바람직한 실시예에 따른 촬영된 영상의 처리를 이용한 안개 감지 시스템의 구성을 개략적으로 도시한 도면이다.
도 5는 본 발명의 실시예에 따라 도 4에 도시된 영상인식서버의 상세 구성을 도시한 블록도이다.
도 6은 본 발명의 실시예에 따라 도 4에 도시된 영상인식서버의 영상인식모듈을 이용한 촬영된 영상의 처리를 이용한 안개 감지 방법을 도시한 흐름도이다.
도 7은 본 발명의 실시예에 따라 도로(활주로)의 이미지와 채도 이미지의 예를 도시한 도면이다.
도 8은 본 발명의 실시예에 따라 도로 영역 검출 및 보정 매트릭스 추정 단계의 흐름을 도시한 흐름도이다.
도 9는 본 발명의 실시예에 따라 도 8의 각 흐름별로 얻어지는 결과 영상을 도시한 도면이다.
도 10은 본 발명의 실시예에 따라 영상 보상 및 호모그래피 결과 영상을 도시한 도면이다.
도 11은 본 발명의 실시예에 따라 적용되는 영상의 안개 감지를 위한 모델링 예를 도시한 도면이다.
도 12는 본 발명의 실시예에 따라 영상으로부터 깊이지도를 추정하는 과정을 도시한 전체 흐름도이다.
도 13은 본 발명의 실시예에 따라 영상으로부터 트랜스미션 추정 결과 영상을 도시한 도면이다.
도 14는 본 발명의 실시예에 따라 에지(가장자리) 검출 및 허프 변환을 통해 얻어지는 하늘영역과 유효영역이 표시된 영상을 도시한 도면이다.
도 15는 본 발명의 실시예에 따라 눈이나 비와 같은 환경적 간섭 요소에 의해 오류가 발생된 영상의 예를 도시한 도면이다.
도 16은 본 발명의 실시예에 따라 프레임 누적을 통한 비 이동영역이 생성된 예를 도시한 도면이다.
도 17은 본 발명의 실시예에 따라 안내 농도별 깊이지도 및 히스토그램의 변화를 도시한 도면이다.
도 18은 본 발명의 실시예에 따라 옅은 안개와 짙은 안개 상황시에 최대 가시 지점을 표시한 도면이다.
도 19는 본 발명의 실시예에 적용하기 위한 도로 주변에 설치된 가로등을 도시한 도면이다.
도 20은 본 발명의 실시예에 따라 광원 위치 추정 과정의 상세 단계를 도시한 흐름도이다.
도 21은 본 발명의 실시예에 따라 야간 영상 광원 추정 예를 도시한 도면이다.
도 22는 본 발명의 실시예에 따라 가로등 불빛 영역 가우시안 그래프의 예를 도시한 도면이다.
도 23은 본 발명의 실시예에 따라 안개 증가에 따른 가우시안 그래프 형태의 변화 예를 도시한 도면이다. 1 is a diagram illustrating an example for measuring a visibility distance using a visibility mark and facilities in the related art.
2 is a diagram illustrating an example for measuring a viewing distance using a panoramic camera and region division in the related art.
FIG. 3 is a diagram illustrating an example for measuring a viewing distance using a chaff pattern and contrast.
4 is a diagram schematically illustrating a configuration of a fog detection system using processing of a captured image according to a preferred embodiment of the present invention.
5 is a block diagram illustrating a detailed configuration of the image recognition server shown in FIG. 4 according to an embodiment of the present invention.
6 is a flowchart illustrating a fog detection method using processing of a captured image using the image recognition module of the image recognition server shown in FIG. 4 according to an embodiment of the present invention.
7 is a diagram illustrating an example of an image of a road (runway) and a saturation image according to an embodiment of the present invention.
8 is a flowchart illustrating the flow of road area detection and correction matrix estimation steps in accordance with an embodiment of the present invention.
9 is a diagram illustrating a resultant image obtained for each flow of FIG. 8 according to an exemplary embodiment of the present invention.
10 is a diagram illustrating an image compensation and homography result image according to an embodiment of the present invention.
11 is a diagram illustrating an example of modeling for fog detection of an image applied according to an exemplary embodiment of the present invention.
12 is an overall flowchart illustrating a process of estimating a depth map from an image according to an embodiment of the present invention.
13 is a diagram illustrating a transmission estimation result image from an image according to an embodiment of the present invention.
FIG. 14 is a view showing an image showing an empty area and an effective area obtained through edge detection and Hough transform according to an embodiment of the present invention.
FIG. 15 is a diagram illustrating an example of an image in which an error is generated by environmental interference elements such as snow or rain according to an embodiment of the present invention.
FIG. 16 illustrates an example in which a non-moving area is generated by accumulating frames according to an embodiment of the present invention.
FIG. 17 is a diagram illustrating a change in depth map and histogram for each guiding concentration according to an embodiment of the present invention.
18 is a view showing the maximum visible point in the light fog and heavy fog conditions according to an embodiment of the present invention.
19 is a diagram illustrating a street lamp installed around a road for applying to an embodiment of the present invention.
20 is a flowchart illustrating the detailed steps of a light source position estimation process according to an embodiment of the present invention.
21 is a diagram illustrating an example of night vision light source estimation according to an embodiment of the present invention.
22 is a diagram illustrating an example of a street light area gaussian graph according to an embodiment of the present invention.
FIG. 23 is a diagram illustrating an example of change in Gaussian graph form according to an increase in fog according to an embodiment of the present invention.
이하, 본 발명의 바람직한 실시예들을 첨부한 도면을 참조하여 상세히 설명한다. 도면들 중 동일한 구성요소들은 가능한 한 어느 곳에서든지 동일한 부호들로 나타내고 있음에 유의해야 한다. 또한 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략한다. Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. It is to be noted that the same elements among the drawings are denoted by the same reference numerals whenever possible. In the following description, well-known functions or constructions are not described in detail since they would obscure the invention in unnecessary detail.
도 4는 본 발명의 바람직한 실시예에 따른 촬영된 영상의 처리를 이용한 안개 감지 시스템의 구성을 개략적으로 도시한 도면이다. 4 is a diagram schematically illustrating a configuration of a fog detection system using processing of a captured image according to a preferred embodiment of the present invention.
도시된 바와 같이, 본 발명의 안개 감지 시스템은 카메라부(100), 영상인식서버(200), 및 가변표시부(Variable Message Sign: VMS)(300)를 포함하여 구성된다.As shown, the fog detection system of the present invention includes a
카메라부(100)는 실시간으로 렌즈에 입사되는 영상을 촬영하고, 촬영된 영상을 유선 네트워크(50)를 통해 통신 접속된 영상인식서버(200)로 전송한다. 여기서, 카메라부(100)와 영상인식서버(200)는 무선 네트워크를 통해서도 통신 연결되도록 구성할 수 있다. The
영상인식서버(200)는 카메라부(100)로부터 실시간 촬영되어 입력되는 영상을 획득하여 획득한 영상을 분석하여 영상 내에 안개 상태를 실시간으로 감지한다. 또한, 영상인식서버(200)는 분석 결과에 따라 안개 발생 상태를 시간, 요일, 월별로 저장한다. 뿐만 아니라, 영상인식서버(200)는 분석 결과에 따른 안개 상태 정보를, 기 설정된 통신 프로토콜에 의해 통신 접속된 가변표시부(VMS)(300)로 전송한다. The
가변표시부(VMS)(300)는 영상인식서버(200)로 전송된 안개 상태 정보에 기초하여, 표시부를 통해 운전자에게 경고 메시지를 표시한다. The variable display unit (VMS) 300 displays a warning message to the driver through the display unit based on the fog state information transmitted to the
도 5는 본 발명의 실시예에 따라 도 4에 도시된 영상인식서버(200)의 상세 구성을 도시한 블록도이다. 5 is a block diagram illustrating a detailed configuration of the
도시된 바와 같이, 영상인식서버(200)는 아날로그 또는 디지털 영상을 촬영하는 카메라부(100)와의 통신 연결을 위한 인터페이스를 담당하는 카메라 인터페이스(210), 영상 인식 분석을 통해 안개 상태를 감지하는 영상 인식 모듈(220), 인식된 결과 정보를 화면에 표출 및 저장하는 어플리케이션부(230), 가변표시부(300) 등으로 안개 상태 정보를 표출해주는 디스플레이 인터페이스(240)와, 운영체제(OS)(250)를 포함하여 구성된다. As shown, the
도 6은 본 발명의 실시예에 따라 도 4에 도시된 영상인식서버(200)의 영상인식모듈(220)을 이용한 촬영된 영상의 처리를 이용한 안개 감지 방법을 도시한 흐름도이다. 6 is a flowchart illustrating a fog detection method using processing of a captured image using the
도시된 안개 감지 방법은 크게 유효영역 검출과정(S100)과 안개감지과정(S200)로 구성된다. The illustrated fog detection method is largely composed of an effective area detection process (S100) and a fog detection process (S200).
유효영역 검출과정(S100)은 영상으로부터 도로 영역을 검출하고 영상 보정 매트릭스(Rectification matrix)를 추정하며(S110), 조명성분 추정을 통해 기준 깊이지도(Depth map)를 추정하고 히스토그램을 추정하며(S120), 영상 내 하늘 영역의 경우 안개 감지를 위해 필요치 않기 때문에 이를 제거하기 위해 영상 내 유효 영역의 마스크를 추출하는 단계(S130)로 이루어진다. The effective area detection process (S100) detects a road area from an image, estimates an image correction matrix (S110), estimates a reference depth map, estimates a histogram, and estimates a lighting component (S120). Since the sky area in the image is not necessary for fog detection, a mask of the effective area in the image is extracted (S130).
안개감지과정(S200)은 영상의 밝기 분석을 통해 주간 또는 야간 상황을 판단한 후, 주간 안개감지 과정(S210) 및 야간 안개감지 과정(S260)으로 나뉜다. The fog detection process (S200) is divided into a daytime fog detection process (S210) and a night fog detection process (S260) after determining the day or night situation by analyzing the brightness of the image.
주간 안개감지 과정(S210)은 실시간 입력 영상을 이용하여 정의된 주기 동안 누적을 통해 카메라 움직임 및 노이즈, 이동물체 등에 의한 간섭을 최소화 하기위한 비 이동 영역 생성(Make Non-Movement Area) 단계(S211), 영상 내 조명 성분 추정 단계(S212), 추정된 조명성분을 이용한 깊이지도(Depth map)를 추정하고 깊이 지도의 히스토그램 분석을 통한 가시 영역 검출 및 가시거리 추정 단계(S213)로 구성된다. 그 결과에 따라 안개가 감지되지 않은 경우에는 깊이지도 히스토그램 특성 훈련을 수행하고(S215), 안개가 감지되면 시정거리 계산 및 안개상태(경고단계)를 판단한다(S217). 그 결과에 따라 판단된 안개상태정보를 출력한다(S267).The daytime fog detection process (S210) generates a non-movement area to minimize interference due to camera movement, noise and moving objects through accumulation for a defined period using a real-time input image (S211). In addition, the present invention includes a lighting component estimating step (S212), a depth map using the estimated lighting component, a visible region detection and a viewing distance estimating step (S213) through histogram analysis of the depth map. As a result, when the fog is not detected, the depth map histogram characteristic training is performed (S215), and when the fog is detected, the visibility distance is calculated and the fog state (warning step) is determined (S217). The fog state information determined according to the result is output (S267).
야간 안개감지 과정(S260)은 광원 위치를 추정하는 단계(S261), 거리별 가로등 불빛의 히스토그램 평균, 분산 추정단계와 차량의 불빛 검출 및 추적하는 단계(S264)와 그 결과를 이용하여 가시거리를 측정한다(S265). 그리고 추청 결과를 이용한 시정거리를 계산하고 계산 결과에 따라 안개상태를 판단한다(S266). 그 결과에 따라 판단된 안개상태정보를 출력한다(S267).
The night fog detection process (S260) is a step of estimating the light source position (S261), the histogram average of the street lamp lights for each street, the variance estimating step and detecting and tracking the lights of the vehicle (S264) and the result using the result It measures (S265). Then, the visibility distance is calculated using the result of the determination, and the fog state is determined according to the calculation result (S266). The fog state information determined according to the result is output (S267).
이하, 도 6의 유효영역 검출과정(S100)을 각 단계별로 보다 상세하게 설명한다. Hereinafter, the effective area detection process S100 of FIG. 6 will be described in more detail at each step.
먼저, 도로 영역을 검출 및 영상 보정 매트릭스(Rectification matrix) 추정단계(S110)에 대해 설명한다. First, an operation of detecting a road area and estimating an image correction matrix S110 will be described.
도 7의 a)는 도로(활주로)의 이미지이고, 도 7의 b)는 도로 활주로의 채도 이미지이다. 이와 같이, 본 발명에서는 영상 내 도로의 경우 도로 자체의 채도특성이 낮고, 도로 양끝의 경계가 존재한다는 가정을 할 수 있다. FIG. 7A is an image of a road (runway), and FIG. 7B is a saturation image of the road runway. As described above, in the present invention, it can be assumed that the road in the image has a low saturation characteristic of the road itself and a boundary between both ends of the road exists.
도 8은 본 발명의 실시예에 따라 도로 영역 검출 및 보정 매트릭스 추정 단계의 흐름을 도시한 흐름도이고, 도 9는 도 8의 각 흐름별로 얻어지는 결과 영상을 도시한 도면이다. FIG. 8 is a flowchart illustrating a flow of a road area detection and correction matrix estimating step according to an embodiment of the present invention, and FIG. 9 is a diagram illustrating a result image obtained for each flow of FIG. 8.
즉, 영상이 입력되면(S111), 입력영상의 채도영상을 생성한(S112) 후 영상의 에지(가장자리)를 검출한다(S113). 도 9의 a)는 입력영상이고, b)는 채도성분 및 에지가 처리된 영상이다. That is, when an image is input (S111), a chroma image of the input image is generated (S112), and then an edge (edge) of the image is detected (S113). 9, a) is an input image, and b) is an image obtained by processing chroma and edges.
이후, 영상에 대해 허프 변환을 수행한(S114) 후 로컬 최적화를 통해 도로 영역을 검출한다(S115). 도 9의 c)는 허프 변환된 영상이고, d)는 로컬 최적화를 통해 도로 영역이 검출된 영상이다. Thereafter, after performing the Hough transform on the image (S114), the road area is detected through local optimization (S115). 9, c) is a Hough transformed image, and d) is an image in which a road area is detected through local optimization.
이에 따라, 도로 영역에 대한 한 쌍의 경계선을 추출하고(S116), 보정 요소를 추정하여 경계선을 기준으로 영상을 보정한다(S117). 도 9의 e)는 한 쌍의 경계선 추출을 통해 얻어진 도로 영역의 결과 영상이다. Accordingly, the pair of boundary lines for the road area is extracted (S116), and the correction factor is estimated to correct the image based on the boundary lines (S117). 9E is a result image of a road area obtained through a pair of boundary line extractions.
실제 영상 보정은 카메라 내부 상수 중 가로, 세로의 단위 거리당 해상도와 사용자 입력을 통한 차도 폭을 이용하여 거리측정이 가능하다. Actual image correction can be measured by using the resolution per unit distance of horizontal and vertical among the camera internal constants and the width of the roadway through user input.
도로영역 검출 후 영상 내 거리 측정을 위해서는 입력 영상을 카메라의 내부 파라메터와 이전 과정에서 검출된 도로 외곽선 한 쌍의 교점을 소실점하여 평면도(topview) 형태로 영상을 보상한 후 픽셀 간의 거리를 이용하여 거리를 측정하는 방법이 가능하다. 입력 영상과 평면도 영상 간의 관계는 평면과 평면 간의 관계인 호모그래피 매트릭스(Homography matrix)로 표현이 가능하며, 이 매트릭스를 이용하여 실제 공간과 영상 내 좌표와의 거리측정이 가능하다. 이렇게 얻어진 영상은 도 10에 도시되어 있다.
To measure the distance in the image after detecting the road area, compensate the image in the form of a top view by vanishing the intersection of the internal parameter of the camera and the pair of road outlines detected in the previous process, and then use the distance between the pixels. It is possible to measure. The relationship between the input image and the plan view image can be expressed by a homography matrix, which is the relationship between the plane and the plane, and the distance between the real space and the coordinates in the image can be measured using this matrix. The image thus obtained is shown in FIG.
다음으로, 조명성분 추정을 통해 기준 깊이지도(Depth map)를 추정하고 히스토그램을 추정하는 단계(S120)에 대해 설명한다. Next, an operation (S120) of estimating a depth map and estimating a histogram through illumination component estimation will be described.
영상처리에서 안개 영상 감지를 위해 사용되는 모델은 도 11 및 수학식 1과 같다. The model used for detecting the fog image in the image processing is as shown in Figure 11 and
즉, 안개영상(I(x))은 전체 조명 성분과 고유의 반사성분(J(x)t(x))로 표현되며, 이 식을 응용하면 영상의 Depth map(t(x)) 을 추정할 수 있다. 이와 같은 깊이지도 추정과정의 전체 흐름도는 도 12와 같다.That is, the fog image I (x) is represented by the total illumination component and the intrinsic reflection component J (x) t (x). By applying this equation, the depth map (t (x)) of the image is estimated. can do. 12 is a flowchart illustrating the depth map estimation process.
영상이 입력되면(S121), 암 채널(Dark channel extraction)을 추출하고(S122), 대기 산란광을 추출한(S123) 후 트랜스미션(transmission)을 추정하고(S124) 트랜스미션 및 거리를 매칭시켜 깊이 지도를 얻는다(S125). When the image is input (S121), dark channel extraction is extracted (S122), atmospheric scattered light is extracted (S123), then transmission is estimated (S124), and transmission and distance are matched to obtain a depth map. (S125).
깊이지도 추정과정에서 암 채널(dark channel) 추출 과정(S122)은 영상 각 픽셀의 색상 요소 중 가장 최소값을 추출하는 단계로 nxn크기의 패치를 이용하여 추출할 수 있다. 이와 관련된 수식은 아래 수학식 2와 같다.In the depth map estimation process, the dark channel extraction process S122 is a step of extracting the minimum value among the color elements of each pixel of the image, and may be extracted by using an nxn size patch. Equation related to this is shown in
위의 암 채널 추출 후 대개 대기 산란광은 영상 내 가장 밝은 패치(patch) 값을 이용하여 얻어질 수 있으며, 오차를 줄이기 위해 영상 내 패치 중 가장 밝은 영역들 중 상위 10%의 평균을 이용하여 얻을 수 있다. After extraction of the above dark channel, atmospheric scattered light can usually be obtained by using the brightest patch value in the image, using the average of the top 10% of the brightest regions of the patch in the image to reduce the error. have.
암 채널과 대기 산란광 추정 후 트랜스미션(Transmission) 추정을 위해 도 11의 안개 감지 모델을 다시 살펴보면 영상 합성 알고리즘 등에서 볼 수 있는 알파 지도(Alpha map)와 유사하다는 판단을 할 수 있으며, 본 알고리즘에서는 라플레시안 커널(Laplacian kernel)을 이용하여 깊이 지도를 추정한다. 추정은 다음 수학식 3과 같은 비용함수(E(t))를 최소화하는 t(x)를 추정하면 된다. After estimating the dark channel and atmospheric scattered light, the fog detection model of FIG. 11 is again examined to estimate the transmission, and it can be judged that it is similar to the alpha map seen in the image synthesis algorithm. Depth map is estimated using Laplacian kernel. The estimation may be performed by estimating t (x) that minimizes the cost function E (t) as shown in
여기에서 t~는 이전 과정에서 추정된 대기 산란광 값과 암 채널 추정과정을 이용하여 수학식 4와 표현된다.Here, t ~ is expressed by Equation 4 by using the atmospheric scattered light value estimated in the previous process and the dark channel estimation process.
여기서 L은 라플레시안 커널(Laplacian kernel)로 영상의 각 픽셀(i,j)의 값을 추정하기 위해 아래 수학식 5와 같이 정의된다.Here, L is a Laplacian kernel, which is defined as in Equation 5 below to estimate the value of each pixel (i, j) of an image.
이 식에서 Ii와 Ij는 입력영상의 색상이고, δij는 크로네커 델타(Kronecker delta)이며, μk와 ∑k는 윈도우wk의 평균과 공분산이다. U3은 3x3 크기의 항등행렬이다.In this equation, I i and I j are the color of the input image, δ ij is the Kronecker delta, and μ k and ∑k are the mean and covariance of the window w k . U 3 is a 3x3 identity matrix.
수학식 3 내지 수학식 5를 이용하면 최적의 트랜스미션(t~)은 수학식 6과 같이 얻어질 수 있으며 보통 ρ의 경우 경험적 추정을 통해 얻어진다.Using equations (3) to (5), the optimal transmission (t ~ ) can be obtained as in equation (6), usually in the case of ρ through empirical estimation.
위 수학식 6에 의해 얻어진 값은 먼 거리에 따라 값의 변화를 갖고 있지만 실제 거리와의 관계는 정의할 수 없다. 이 관계를 정의하기 위해 S100 단계에서 추정된 호모그래피 매트릭스(Homography matrix)를 이용하여 거리별 트랜스미션 값의 범위를 맵핑하여 깊이 지도를 추정하며, 이를 기준으로 실시간 입력 영상에 대한 조명 성분 추정 및 트랜스미션 추정을 통해 안개에 의한 가시거리를 측정한다.The value obtained by the above Equation 6 has a change in value over a long distance, but the relationship with the actual distance cannot be defined. In order to define this relationship, the depth map is estimated by mapping the range of transmission values for each distance using the homography matrix estimated in step S100. Based on this, the lighting component estimation and transmission estimation for the real-time input image are performed. Measure the line of sight through the fog.
도 13의 a)는 입력 영상일 나타낸 것이고, b)는 암 채널 추출 영상이며, c)는 트랜스미션 추정 영상이다. 13, a) shows an input image, b) shows a dark channel extracted image, and c) shows a transmission estimation image.
마지막으로, 영상 내 유효 영역의 마스크를 추출하는 단계(S130)에 대해 설명한다. Finally, the step of extracting the mask of the effective area in the image (S130) will be described.
영상 내 가시영역 판단을 위해 우선 영상 내 유효 영역을 판단해야한다. 이는 영상 내 하늘과 지면을 구분하기 위한 것으로 일반적으로 영상 내 하늘 부분에서는 안개 감지를 위해 에지검출 및 히스토그램 비교 등을 위한 정보를 추출하기 어렵기 때문이다. 영상 내 거리가 무한대인 지점이라 하는 것은 보통 소실점과 이와 만나는 수평선을 무한대 거리인 지점으로 판단한다. 이를 위해 본 안개감지 시스템에서는 에지(가장자리) 검출 및 허프 변환 등의 알고리즘을 통해 도 14와 같이 소실점을 찾음으로 무한대 거리인 지점을 판단한다. 또한 소실점을 기준으로 위쪽 영역 내에서 하늘 영역을 추출한다. 이와 같은 무한대 거리 지점 검출은 초기 시스템 설치 후 캘리브레이션 과정에서 한번만 수행되며, 추출된 결과를 이용하여 가시 영역 판단 시 사용된다.
In order to determine the visible area in the image, the effective area in the image must be determined first. This is to distinguish between the sky and the ground in the image because it is generally difficult to extract information for edge detection and histogram comparison for fog detection in the sky portion of the image. The point where the distance in the image is infinite is usually determined by the vanishing point and the horizontal line that meets the point of infinity. To this end, in the fog detection system, a point of infinity is determined by finding a vanishing point as shown in FIG. 14 through algorithms such as edge detection and Hough transform. Also, the sky region is extracted from the upper region based on the vanishing point. Such infinity distance detection is performed only once during the calibration process after the initial system installation, and is used to determine the visible area using the extracted result.
이하, 도 6의 안개감지과정(S200)을 각 단계별로 보다 상세하게 설명한다. Hereinafter, the fog detection process S200 of FIG. 6 will be described in more detail at each step.
먼저, 주간 안개감지 과정(S210)에 대해 설명한다. First, the weekly fog detection process (S210) will be described.
비 이동 영역 생성(S211)Create Non-Moving Region (S211)
카메라를 통해 영상 분석할 때 오류를 발생시키는 가장 큰 요소 중 하나는 눈, 비 등의 환경적 간섭 및 카메라 자체의 노이즈, 검지하고자하는 대상이 아닌 물체 등에 의한 오류 등이다. 보통 이러한 요소들은 영상 내 고주파 성분을 포함하고 있으며, 이에 대한 영향을 최소화하기 위해 본 소프트웨어에서는 정의된 주기의 영상을 누적한 평균 영상을 이용한다. 보통 카메라 노이즈나 이동차량, 눈, 비의 경우 영상 내 고주파(빠르게 변하는) 성분을 갖고 있기 때문에 일정 주기의 영상 누적을 통해 이러한 간섭을 줄일 수 있다. 도 15는 눈이나 비와 같은 환경적 간섭 요소에 의해 오류가 발생된 영상의 예를 도시한 도면이다. One of the biggest causes of errors when analyzing images through a camera is environmental interference such as snow and rain, noise from the camera itself, and errors caused by objects not intended to be detected. Usually, these elements contain high frequency components in the image, and in order to minimize the effects, the software uses the average image accumulated with the image of the defined period. In general, camera noise, moving vehicles, snow, and rain have high-frequency (fast-changing) components in the image, which can be reduced by accumulating a certain period of time. FIG. 15 is a diagram illustrating an example of an image in which an error is generated by environmental interference elements such as snow or rain.
실제 안개 감지의 경우 입력되는 매 프레임을 처리해서 결과를 알려주는 즉각적 시스템이 아니고, 또한 안개 생성 속도가 빠르지 않기 때문에 적용에 지장이 없다. 도 16은 프레임 누적을 통한 비 이동영역이 생성된 예를 도시한 도면이다.
In the case of real fog detection, it is not an immediate system that processes every input frame and informs the result, and also does not interfere with the application because the fog generation speed is not fast. FIG. 16 illustrates an example in which a non-movement area is generated by accumulating frames.
깊이지도(Depth map) 추정 및 히스토그램 분석(S213)Depth map estimation and histogram analysis (S213)
실시간 입력되는 영상에서 안개 여부를 판단하기 위해서는 초기화 과정에서 진행했던 깊이지도 추정과정을 반복함으로써 안개 여부 및 가시거리를 측정한다. 실제 안개가 없는 맑은 날의 경우 깊이 지도와 안개 상황의 깊이 지도를 비교해보면 도 17과 같이 히스토그램의 평균 및 분산의 값이 변함을 알 수 있다. In order to determine the fog in the real-time input image, the fog and the visible distance are measured by repeating the depth map estimation process performed in the initialization process. In a clear day without real fog, comparing the depth map with the depth map of the fog situation, it can be seen that the mean and variance values of the histogram change as shown in FIG. 17.
또한 안개 농도에 따라 깊이 지도는 보이지 않는 영역에서 최소의 값을 갖기 때문에 초기화 과정에서 획득한 도로 영역 중 안개에 따라 최소의 값을 갖는 위치(카메라와 가장 먼 위치) 추출 후 보정 매트릭스(Rectification matrix)를 통해 변환하여 시정거리를 측정할 수 있다. 도 18은 옅은 안개와 짙은 안개 상황시에 최대 가시 지점을 표시한 도면이다.
Also, since the depth map has the minimum value in the invisible area according to the fog concentration, the correction matrix is extracted after extracting the position (farthest from the camera) having the minimum value according to the fog among the road areas acquired during the initialization process. You can measure the visibility distance by converting through. 18 is a view showing the maximum visible point in the light and heavy fog conditions.
다음으로, 야간 안개감지 과정(S260)에 대해 설명한다. Next, the night fog detection process (S260) will be described.
야간 안개 감지는 도로 주변에 설치된 가로등 불빛의 산란 정도와 차량 헤드라이트 검출을 통한 차량의 최후 검지거리를 이용하여 안개 감지 및 시정거리를 측정한다. 보편적으로 가로등의 경우 도로 주변 일정 높이에 일정 거리를 두고 설치되기 때문에 각 가로등의 거리를 사용자 설정이나 이전 검출된 도로 영역 거리 추출을 위한 보정 매트릭스를 이용할 수 있고, 영상 내 최대 보여지는 가로등의 수를 이용하여 대략적인 가시거리를 정의 할 수 있다. 하지만 보다 정확한 가시 거리측정을 위해 이동하는 차량을 검출 및 추적하여 도로 상 최종 추적 위치를 추출한다.The night fog detection measures the fog detection and visibility distance by using the scattering degree of the street light installed around the road and the last detection distance of the vehicle by detecting the vehicle headlight. In general, street lamps are installed at a certain height around a road, so that the distance of each street light can be set by the user or by using a correction matrix for extracting previously detected road area distances. Use this to define the approximate field of view. However, for more accurate viewing distance measurement, the final tracking position on the road is extracted by detecting and tracking the moving vehicle.
도 19는 도로 주변에 설치된 가로등을 도시한 도면이다. 이와 같은 야간 안개감지 과정은 아래와 같다.19 is a diagram illustrating a street lamp installed around a road. This night fog detection process is as follows.
광원 위치 추정(S261)Light source position estimation (S261)
야간 안개감지 과정을 수행하기 위해 우선적으로 영상 내 있는 모든 광원의 위치를 검출하여야 하는데 본 광원 위치 추정의 전체 흐름도는 도 20과 같다. In order to perform the night fog detection process, the positions of all light sources in the image should be detected first. The overall flowchart of the light source position estimation is shown in FIG. 20.
즉, 영상이 입력되면(S261a), 회색성분을 추출하고(S261b) 가우시안의 라플레시안 필터링을 거쳐(S261c), 빛 성분을 추출하고(S261d) 추출된 빛 성분의 타입을 분류한다(S261e).That is, when an image is input (S261a), gray components are extracted (S261b), Gaussian Laplacian filtering is performed (S261c), light components are extracted (S261d), and the types of extracted light components are classified (S261e). .
이러한 과정에서 야간 영상의 광원의 경우 대개 원형으로 나타나며, 광원 중심은 광도가 높아 포화(Saturation) 되고 주변으로 갈수록 광도가 줄어드는 특성을 띈다. 이러한 특성을 기반으로 실시간 입력되는 컬러 영상의 밝기 성분(Gray, Intensity)을 추출하여 정의된 크기의 LoG(Laplacian of Gaussian) 필터링 후 이진화, 외곽선 추적 및 중심기준 원 형태를 나타내는 위치를 검출한다. 영상 내 전체적 광원 추출 후 각 광원에 대해 가로등 후보 광원과 차량헤드라이트 후보 광원을 분류한다. 이때 가로등의 경우 도로변 주변의 수직으로 설치되며, 일정거리를 두고 이동하지 않는 광원들을 후보로 정의하고, 차량의 경우 검출된 광원 위치 주변에 일정거리 내에 있는 비슷한 지름을 갖는 광원이 있으면 이를 한 쌍으로 차량 후보 광원으로 분류한다. In this process, the light source of the night image is generally circular, and the center of the light source is saturated with high luminance, and the luminance decreases toward the surroundings. Based on these characteristics, the brightness component (Gray, Intensity) of the color image input in real time is extracted, and after filtering the Laglacian of Gaussian (LoG) of a defined size, it detects the binarization, the outline tracking, and the position representing the center reference circle shape. After extracting the entire light source in the image, the street light candidate light source and the vehicle headlight candidate light source are classified for each light source. In this case, street lights are installed vertically around a roadside, and light sources that do not move with a certain distance are defined as candidates, and in the case of vehicles, if there is a light source having a similar diameter within a certain distance around the detected light source position, the pair is used as a pair. Classified as a vehicle candidate light source.
도 21은 야간 영상 광원 추정 예를 도시한 도면이다. 도 21의 a)는 야간 원 영상이고, b)는 라플레이스 커널을 이용한 광원 후보 검출 영상이고, c)는 광원 추정 영상이다.
21 is a diagram illustrating an example of night vision light source estimation. In FIG. 21, a) is a night original image, b) is a light source candidate detection image using a Laplace kernel, and c) is a light source estimation image.
가로등 불빛 영역 검출(S262) 및 불빛 산란정도 측정(S263)Street light spot detection (S262) and scattering light measurement (S263)
야간 영상 내 가로등은 S100 단계에서 검출된 가로등 후보 광원 위치가 시간에 따라 움직이지 않는 특성 및 도로에 수직인 위치에 설치된다는 특징을 이용하여 쉽게 검출할 수 있다. 이후 안개 검지는 불빛의 한 산란 정도를 이용하여 검지되는데 이는 불빛의 경우 광원 중심 기준으로 대개 도 22와 같이 가우시안 형태로 불빛이 산란되는 특성을 기준으로 사전 훈련된 통계적인 평균 및 분산을 이용하여 안개 정도를 검출한다. The street light in the night image may be easily detected by using the characteristic that the position of the street light candidate light source detected in step S100 does not move with time and is installed at a position perpendicular to the road. After that, the fog detection is detected by using a scattering degree of the light. In the case of the light, the fog is generally detected using a statistical mean and variance pre-trained based on the characteristics of the light scattering in a Gaussian form as shown in FIG. Detect the degree.
도 23은 안개 증가에 따른 가우시안 그래프 형태의 변화 예를 도시한 도면이다. FIG. 23 is a diagram illustrating an example of change in Gaussian graph form as the fog increases.
도시된 그래프와 같이 비나 안개 시 가로등 불빛의 경우 산란정도가 심하지 않기 때문에 광원을 중심으로 가파른 기울기를 같은 형태의 가우시안 그래프형태를 띄며, 안개 시 산란정도가 심하기 때문에 광원을 최대값은 약간 감소한 상태에서 완만한 형태의 가우시안 그래프 형태를 띠게 된다.
As shown in the graph, the scattered light is not severe in the case of rain or fog, so the steep slope of the light source shows the same shape as the Gaussian graph. It has a smooth Gaussian graph.
차량 불빛 검출(S264) 및 추적과 거리측정(S265)Vehicle light detection (S264) and tracking and distance measurement (S265)
S100 단계를 통해 검출된 차량 불빛을 이용하여 가시거리를 측정하기 위해서는 연속적으로 입력되는 프레임 내에서 검출된 차량 불빛을 추적해야하며, 추적된 차량 중 카메라와 가장 가까운 거리에서 먼 곳으로 이동하는 차량의 최후 검출 위치를 추출해야 한다. 대개 차량의 불빛의 경우 도로면과 수직으로, 이동 시 높이 변화가 없고 도로면에서 일정 높이에 있기 때문에 검출된 위치를 초기화 과정에서 획득한 보상 매트릭스(Rectification matrix)를 이용한 변환을 그대로 적용할 수 있다. 본 알고리즘에서 차량 추적의 경우는 이전 검출되었던 차량 불빛 쌍들과 현재 검출된 차량 불빛 쌍들에서 가장 가까운 위치에 있는 비슷한 지름을 갖는 불빛 쌍이 같은 차량의 것으로 정의하여 추정을 수행한다.
In order to measure the visible distance using the vehicle light detected through the step S100, the vehicle light detected in the continuously input frame must be tracked, and the vehicle moving farthest from the closest distance to the camera among the tracked vehicles. The last detection position should be extracted. In general, since the vehicle lights are perpendicular to the road surface and there is no height change during the movement and are at a certain height on the road surface, the transformation using the compensation matrix obtained in the initialization process can be applied as it is. . In the case of vehicle tracking in this algorithm, the vehicle light pairs previously detected and the light pairs having a similar diameter at the position closest to the currently detected vehicle light pairs are defined as the same vehicle.
안개 단계 판단(S266) 및 출력(S267)Fog phase determination (S266) and output (S267)
안개 단계 판단 및 출력 과정에서는 주간 및 야간 안개 검지 과정을 통해 계산된 가시거리를 이용하여 아래 표 1과 같이 거리별 단계를 구분한다. 구분된 결과에 따라 안개 시 사전 정의된 메시지를 가변표시부(300)로 전송한다. In the fog phase determination and output process, the distance-specific phases are classified as shown in Table 1 below using the visible distance calculated through the day and night fog detection process. According to the divided result, when the fog is transmitted, the predefined message is transmitted to the
이상에서는 본 발명에서 특정의 바람직한 실시예에 대하여 도시하고 또한 설명하였다. 그러나 본 발명은 상술한 실시예에 한정되지 아니하며, 특허 청구의 범위에서 첨부하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 및 균등한 타 실시가 가능할 것이다. 따라서 본 발명의 진정한 기술적 보호범위는 첨부한 특허청구범위에 의해서만 정해져야 할 것이다.In the foregoing, certain preferred embodiments of the present invention have been shown and described. However, the present invention is not limited to the above-described embodiments, and any person having ordinary skill in the art to which the present invention pertains may make various modifications and other equivalents without departing from the gist of the present invention attached to the claims. Implementation will be possible. Accordingly, the true scope of the present invention should be determined only by the appended claims.
Claims (15)
검출한 상기 유효 영역에 대해 주간 안개감지과정 및 야간 안개감지 과정으로 나누어 각각에 대해 안개 감지 분석을 실시하고, 그 결과에 따라 각각 시정거리를 계산하고 안개 상태를 판단하여 그 결과를 출력하는 안개감지과정;을 포함하며,
상기 유효영역 검출과정은,
상기 영상으로부터 도로 영역을 검출하고 영상 보정 매트릭스(Rectification matrix)를 추정하는 단계;
추정 정보가 포함된 영상에 대해 조명성분 추정을 통해 기준 깊이지도(Depth map)를 추정하고 히스토그램을 추정하는 단계; 및
영상 내 하늘 영역을 제거하기 위해 상기 히스토그램이 추정된 영상 내 유효 영역의 마스크를 추출하는 단계;를 포함하는 촬영된 영상의 처리를 이용한 안개 감지 방법.
An effective region detection process of analyzing an image photographed and input by a camera to detect an effective region requiring analysis for detecting fog in the image; And
Fog detection analysis is performed for each of the detected effective areas divided into a daytime fog detection process and a nighttime fog detection process, and the visibility distance is calculated and the fog state is determined according to the results. Process;
The effective area detection process,
Detecting a road area from the image and estimating an image correction matrix;
Estimating a depth map and estimating a histogram through an illumination component estimation on an image including estimation information; And
And extracting a mask of an effective area in the image from which the histogram is estimated to remove the sky area in the image.
상기 주간 안개감지 과정은,
실시간 입력되는 상기 영상을 이용하여 정의된 주기 동안 누적을 통해 카메라 움직임 및 노이즈, 이동물체 등에 의한 간섭을 최소화 하기위한 비 이동 영역 생성(Make Non-Movement Area) 단계;
상기 영상 내 조명 성분을 추정하는 단계; 및
추정된 상기 조명 성분을 이용한 깊이지도(Depth map)를 추정하고 깊이 지도의 히스토그램 분석을 통한 시정 영역 검출 및 시정거리 추정 단계;를 포함하는 촬영된 영상의 처리를 이용한 안개 감지 방법.
The method of claim 1,
The weekly fog detection process,
A Make Non-Movement Area step for minimizing interference caused by camera movement and noise, moving objects, etc. by accumulating during a defined period using the image input in real time;
Estimating an illumination component in the image; And
Estimating a depth map using the estimated illumination component, and detecting a viewing area and estimating a viewing distance by analyzing a histogram of the depth map.
상기 야간 안개감지 과정은,
상기 영상으로부터 광원 위치를 추정하는 단계;
거리별 가로등의 불빛 영역을 검출하는 단계; 및
상기 불빛 영역이 검출된 영상에 대해 불빛 분산 정도를 검출하는 단계;를 포함하는 촬영된 영상의 처리를 이용한 안개 감지 방법.
The method of claim 1,
The night fog detection process,
Estimating a light source position from the image;
Detecting a light area of a street lamp by distance; And
Detecting a degree of light scattering with respect to the image in which the light region is detected.
상기 야간 안개감지 과정은,
상기 영상으로부터 광원 위치를 추정하는 단계;
차량의 불빛을 검출 및 추적하는 단계;
상기 검출 및 추적 결과를 이용하여 시정거리를 측정하는 단계;를 포함하는 촬영된 영상의 처리를 이용한 안개 감지 방법.
The method of claim 1,
The night fog detection process,
Estimating a light source position from the image;
Detecting and tracking the lights of the vehicle;
Measuring focal length using the detection and tracking results; fog detection method using the processing of the captured image comprising a.
상기 도로영역검출 및 영상보정매트릭스추정 단계는,
상기 영상이 입력되면, 입력영상의 채도영상을 생성하는 단계;
상기 채도영상에서 에지(가장자리)를 검출하는 단계;
상기 에지가 검출된 영상에 대해 허프 변환을 수행하는 단계;
상기 허프 변환된 영상에 대해 로컬 최적화를 통해 도로 영역을 검출하는 단계;
상기 도로 영역에 대한 한 쌍의 경계선을 추출하는 단계; 및
상기 경계선이 추출된 영상에 대해 보정 요소를 추정하여 상기 경계선을 기준으로 영상을 보정하는 단계;를 포함하는 촬영된 영상의 처리를 이용한 안개 감지 방법.
The method of claim 1,
The road area detection and image correction matrix estimation step,
Generating a chroma image of the input image when the image is input;
Detecting an edge (edge) in the chroma image;
Performing a Hough transform on the edge detected image;
Detecting a road area through local optimization on the hough transformed image;
Extracting a pair of boundary lines for the road area; And
And estimating a correction element with respect to the image from which the boundary line has been extracted, and correcting the image based on the boundary line.
상기 기준 깊이지도 추정단계는,
상기 영상이 입력되면, 암 채널(Dark channel extraction)을 추출하는 단계;
상기 암 채널이 추출된 영상에 대해 대기 산란광을 추출하는 단계;
상기 대기 산란광이 추출된 영상에 대해 트랜스미션(transmission)을 추정하는 단계; 및
상기 트랜스미션 및 거리를 매칭시켜 상기 영상의 깊이 지도를 추정하는 단계;를 포함하는 촬영된 영상의 처리를 이용한 안개 감지 방법.
The method according to claim 6,
The reference depth map estimating step,
Extracting dark channel extraction when the image is input;
Extracting atmospheric scattered light with respect to the image from which the dark channel is extracted;
Estimating a transmission on the image from which the atmospheric scattered light is extracted; And
And estimating a depth map of the image by matching the transmission and the distance.
상기 비 이동 영역 생성 단계에서는 기 정의된 주기의 영상이 누적된 평균 영상을 이용하여 상기 비 이동 영역을 생성하는 촬영된 영상의 처리를 이용한 안개 감지 방법.
The method of claim 3, wherein
In the non-moving area generating step, the fog detection method using the processing of the photographed image to generate the non-moving area by using the average image accumulated image of a predetermined period.
상기 광원 위치 추정 단계는,
상기 영상이 입력되면 회색성분을 추출하는 단계;
상기 회색성분이 추출된 영상에 대해 가우시안의 라플레시안 필터링을 수행하는 단계;
상기 필터링된 영상으로부터 빛 성분을 추출하는 단계; 및
상기 추출된 빛 성분의 타입을 분류하는 단계;를 포함하는 촬영된 영상의 처리를 이용한 안개 감지 방법.
The method according to claim 4 or 5,
The light source position estimating step,
Extracting gray components when the image is input;
Performing Gaussian rafflesian filtering on the image from which the gray component is extracted;
Extracting light components from the filtered image; And
And classifying the type of the extracted light component.
상기 광원 위치 추정 단계는, 상기 영상에 포함된 가로등 중에서 도로변 주변의 수직으로 설치되며, 일정거리를 두고 이동하지 않는 광원들을 상기 광원의 위치 추정 대상 후보로 선택하는 것을 특징으로 하는 촬영된 영상의 처리를 이용한 안개 감지 방법.
The method of claim 9,
The step of estimating the light source position may include selecting light sources which are installed vertically around a roadside among street lamps included in the image and which do not move at a predetermined distance, as candidates for position estimation targets of the light sources. Fog detection method using.
상기 광원 위치 추정 단계는, 상기 영상에 포함된 차량 불빛 중에서 검출된 광원 위치 주변에 일정거리 내에 있는 기 설정된 허용 차이 내의 지름을 갖는 한 쌍 차량 광원을 상기 광원의 위치 추정 대상 후보로 선택하는 것을 특징으로 하는 촬영된 영상의 처리를 이용한 안개 감지 방법.
The method of claim 9,
The light source position estimating step may include selecting a pair of vehicle light sources having a diameter within a predetermined allowable difference within a predetermined distance around the light source positions detected from the vehicle lights included in the image as candidates for position estimation of the light sources. Fog detection method using the processing of the captured image.
상기 영상에 대한 영상 인식 분석을 통해 안개 상태를 감지하는 영상 인식 모듈;
상기 영상에 대한 인식된 결과 정보를 화면에 표출 및 저장하는 어플리케이션부;
상기 영상에 대한 인식된 결과 정보인 안개 상태 정보를 표시할 수 있는 외부 표시장치로 전송하는 디스플레이 인터페이스; 및
시스템을 운용하는 운영체제(OS);를 포함하며,
상기 영상 인식 모듈은,
상기 카메라에 의해 촬영되어 입력되는 영상을 분석하여 영상 내에서 안개 감지를 위해 분석이 필요한 유효영역을 검출하고, 검출한 상기 유효 영역에 대해 주간 안개감지과정 및 야간 안개감지 과정으로 나누어 각각에 대해 안개 감지 분석을 실시한 후 그 결과에 따라 각각 시정거리를 계산하고 안개 상태를 판단하여 그 결과를 출력하며,
상기 영상 인식 모듈은,
상기 영상으로부터 도로 영역을 검출하고 영상 보정 매트릭스(Rectification matrix)를 추정하고, 추정 정보가 포함된 영상에 대해 조명성분 추정을 통해 기준 깊이지도(Depth map)를 추정하고 히스토그램을 추정하며, 영상 내 하늘 영역을 제거하기 위해 상기 히스토그램이 추정된 영상 내 유효 영역의 마스크를 추출하여, 상기 영상에 대한 유효영역을 검출하는 것을 특징으로 하는 촬영된 영상의 처리를 이용한 안개 감지 장치.
A camera interface for receiving real-time photographed images from a camera connected through a network;
An image recognition module configured to detect a fog state through image recognition analysis of the image;
An application unit for displaying and storing the recognized result information of the image on a screen;
A display interface for transmitting the fog state information, which is recognized result information of the image, to an external display device; And
It includes; operating system (OS) for operating the system,
The image recognition module,
Analyzing the image taken and input by the camera to detect the effective area that needs to be analyzed for fog detection in the image, dividing the detected effective area into a daytime fog detection process and night fog detection process for each fog After conducting the detection analysis, calculate the visibility distance according to the results, determine the fog state and output the result,
The image recognition module,
Detects the road area from the image, estimates the image correction matrix, estimates the depth map, estimates the histogram, and estimates the histogram through the illumination component estimation for the image including the estimation information. And a mask of an effective area in the image from which the histogram is estimated to remove an area, and detects an effective area of the image.
상기 영상 인식 모듈은,
상기 영상이 입력되면, 입력영상의 채도영상을 생성하고, 상기 채도영상에서 에지(가장자리)를 검출하며, 상기 에지가 검출된 영상에 대해 허프 변환을 수행하고, 상기 허프 변환된 영상에 대해 로컬 최적화를 통해 도로 영역을 검출하며, 상기 도로 영역에 대한 한 쌍의 경계선을 추출하고, 상기 경계선이 추출된 영상에 대해 보정 요소를 추정하여 상기 경계선을 기준으로 영상을 보정하여, 상기 도로영역검출 및 영상보정매트릭스 추정을 수행하는 것을 특징으로 하는 촬영된 영상의 처리를 이용한 안개 감지 장치.
13. The method of claim 12,
The image recognition module,
When the image is input, a chroma image of the input image is generated, an edge (edge) is detected from the chroma image, a Hough transform is performed on the image from which the edge is detected, and the local optimization is performed on the Hough transformed image. Detects a road area through the path, extracts a pair of boundary lines for the road area, estimates a correction factor for the image from which the boundary line is extracted, and corrects the image based on the boundary line. Device for detecting fog using the processing of the captured image, characterized in that for performing the correction matrix estimation.
상기 영상 인식 모듈은,
상기 영상이 입력되면, 암 채널(Dark channel extraction)을 추출하는 단계;
상기 암 채널이 추출된 영상에 대해 대기 산란광을 추출하고, 상기 대기 산란광이 추출된 영상에 대해 트랜스미션(transmission)을 추정하며, 상기 트랜스미션 및 거리를 매칭시켜 상기 영상의 깊이 지도를 추정하여 상기 기준 깊이지도 추정하는 것을 특징으로 하는 촬영된 영상의 처리를 이용한 안개 감지 장치. The method of claim 14,
The image recognition module,
Extracting dark channel extraction when the image is input;
Extracting atmospheric scattered light with respect to the image from which the dark channel is extracted, estimating transmission with respect to the image from which the atmospheric scattered light is extracted, and matching the transmission and distance to estimate the depth map of the image to estimate the reference depth Device for detecting fog using the processing of the captured image, characterized in that the map estimation.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020120109204A KR101364727B1 (en) | 2012-09-28 | 2012-09-28 | Method and apparatus for detecting fog using the processing of pictured image |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020120109204A KR101364727B1 (en) | 2012-09-28 | 2012-09-28 | Method and apparatus for detecting fog using the processing of pictured image |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101364727B1 true KR101364727B1 (en) | 2014-02-20 |
Family
ID=50271411
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020120109204A KR101364727B1 (en) | 2012-09-28 | 2012-09-28 | Method and apparatus for detecting fog using the processing of pictured image |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101364727B1 (en) |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101840761B1 (en) * | 2017-04-18 | 2018-03-21 | 조재찬 | sensing device and sensing method using image recognition |
| KR101867869B1 (en) * | 2018-01-29 | 2018-06-29 | 블루카이트주식회사 | Disaster response system based on street light |
| KR101949968B1 (en) * | 2018-06-04 | 2019-02-21 | 주식회사 유에스티21 | Apparatus and method for determining the visibility distance of an image containing a fog component |
| KR20190070825A (en) * | 2017-12-13 | 2019-06-21 | 국민대학교산학협력단 | Method and apparatus for detecting light source using optical camera communication |
| CN110097762A (en) * | 2019-03-25 | 2019-08-06 | 南京微达电子科技有限公司 | A kind of road video image low visibility scale evaluation method and system |
| CN110378865A (en) * | 2019-04-28 | 2019-10-25 | 湖南师范大学 | A kind of greasy weather visibility intelligence hierarchical identification method and system under complex background |
| KR102095299B1 (en) * | 2018-11-07 | 2020-03-31 | (주)시정 | Visibility meter of night |
| US10853685B2 (en) | 2017-04-03 | 2020-12-01 | Hanwha Techwin Co., Ltd. | Method and apparatus for detecting fog from image |
| KR20210044127A (en) * | 2019-10-14 | 2021-04-22 | 주식회사 에드오션 | Visual range measurement and alarm system based on video analysis and method thereof |
| KR102267517B1 (en) * | 2020-07-22 | 2021-06-22 | 재단법인 서울특별시 서울기술연구원 | Road fog detecting appartus and method using thereof |
| CN113436283A (en) * | 2021-06-24 | 2021-09-24 | 长安大学 | Group fog detection method, system, device, storage medium and front-end device |
| KR102346752B1 (en) | 2021-11-04 | 2022-01-03 | 주식회사 케이피엔 | Image processing system and image processing method |
| KR102356907B1 (en) * | 2021-06-17 | 2022-02-08 | 주식회사 인피닉 | method to input metadata for AI machine learning, and computer program recorded on record-medium for executing method therefor |
| KR102460705B1 (en) * | 2021-08-31 | 2022-11-03 | (주)유에스티21 | Method for discriminating sea fog using image based on artificial intelligence and apparatus thereof |
| KR102471542B1 (en) * | 2022-01-04 | 2022-11-28 | 재단법인 서울특별시 서울기술연구원 | Road Fog Detection System and Method Using Open API based CCTV during Nighttime |
| KR20230024093A (en) | 2021-08-11 | 2023-02-20 | 충북대학교 산학협력단 | Apparatus for fog detection based on image processing |
| KR102544504B1 (en) * | 2022-08-18 | 2023-06-20 | (주)에스알디코리아 | Removing System through Fog Recognition |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002116008A (en) | 2000-10-11 | 2002-04-19 | Fujitsu Ltd | Distance-measuring device and image-monitoring device |
| KR101032160B1 (en) * | 2009-10-06 | 2011-05-02 | 충주대학교 산학협력단 | System and method for road visibility measurement using camera |
| KR20110066987A (en) * | 2009-12-12 | 2011-06-20 | 주식회사하남엔지니어링 | High-test agricultural integrate remot control system |
| JP2011205252A (en) | 2010-03-24 | 2011-10-13 | Nippon Telegr & Teleph Corp <Ntt> | Device, method, and program for video quality objective assessment |
-
2012
- 2012-09-28 KR KR1020120109204A patent/KR101364727B1/en active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002116008A (en) | 2000-10-11 | 2002-04-19 | Fujitsu Ltd | Distance-measuring device and image-monitoring device |
| KR101032160B1 (en) * | 2009-10-06 | 2011-05-02 | 충주대학교 산학협력단 | System and method for road visibility measurement using camera |
| KR20110066987A (en) * | 2009-12-12 | 2011-06-20 | 주식회사하남엔지니어링 | High-test agricultural integrate remot control system |
| JP2011205252A (en) | 2010-03-24 | 2011-10-13 | Nippon Telegr & Teleph Corp <Ntt> | Device, method, and program for video quality objective assessment |
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10853685B2 (en) | 2017-04-03 | 2020-12-01 | Hanwha Techwin Co., Ltd. | Method and apparatus for detecting fog from image |
| KR101840761B1 (en) * | 2017-04-18 | 2018-03-21 | 조재찬 | sensing device and sensing method using image recognition |
| KR20190070825A (en) * | 2017-12-13 | 2019-06-21 | 국민대학교산학협력단 | Method and apparatus for detecting light source using optical camera communication |
| KR101993063B1 (en) * | 2017-12-13 | 2019-06-26 | 국민대학교산학협력단 | Method and apparatus for detecting light source using optical camera communication |
| KR101867869B1 (en) * | 2018-01-29 | 2018-06-29 | 블루카이트주식회사 | Disaster response system based on street light |
| KR101949968B1 (en) * | 2018-06-04 | 2019-02-21 | 주식회사 유에스티21 | Apparatus and method for determining the visibility distance of an image containing a fog component |
| KR102095299B1 (en) * | 2018-11-07 | 2020-03-31 | (주)시정 | Visibility meter of night |
| CN110097762A (en) * | 2019-03-25 | 2019-08-06 | 南京微达电子科技有限公司 | A kind of road video image low visibility scale evaluation method and system |
| CN110378865A (en) * | 2019-04-28 | 2019-10-25 | 湖南师范大学 | A kind of greasy weather visibility intelligence hierarchical identification method and system under complex background |
| KR102259981B1 (en) * | 2019-10-14 | 2021-06-02 | 주식회사 에드오션 | Visual range measurement and alarm system based on video analysis and method thereof |
| KR20210044127A (en) * | 2019-10-14 | 2021-04-22 | 주식회사 에드오션 | Visual range measurement and alarm system based on video analysis and method thereof |
| KR102267517B1 (en) * | 2020-07-22 | 2021-06-22 | 재단법인 서울특별시 서울기술연구원 | Road fog detecting appartus and method using thereof |
| US11398054B2 (en) | 2020-07-22 | 2022-07-26 | Seoul Institute Of Technology | Apparatus and method for detecting fog on road |
| KR102356907B1 (en) * | 2021-06-17 | 2022-02-08 | 주식회사 인피닉 | method to input metadata for AI machine learning, and computer program recorded on record-medium for executing method therefor |
| CN113436283A (en) * | 2021-06-24 | 2021-09-24 | 长安大学 | Group fog detection method, system, device, storage medium and front-end device |
| CN113436283B (en) * | 2021-06-24 | 2024-01-30 | 长安大学 | Method, system and device for detecting mist, storage medium and front-end device |
| KR20230024093A (en) | 2021-08-11 | 2023-02-20 | 충북대학교 산학협력단 | Apparatus for fog detection based on image processing |
| KR102460705B1 (en) * | 2021-08-31 | 2022-11-03 | (주)유에스티21 | Method for discriminating sea fog using image based on artificial intelligence and apparatus thereof |
| KR102346752B1 (en) | 2021-11-04 | 2022-01-03 | 주식회사 케이피엔 | Image processing system and image processing method |
| KR102471542B1 (en) * | 2022-01-04 | 2022-11-28 | 재단법인 서울특별시 서울기술연구원 | Road Fog Detection System and Method Using Open API based CCTV during Nighttime |
| KR102544504B1 (en) * | 2022-08-18 | 2023-06-20 | (주)에스알디코리아 | Removing System through Fog Recognition |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101364727B1 (en) | Method and apparatus for detecting fog using the processing of pictured image | |
| CN101918980B (en) | Runway surveillance system and method | |
| Hautière et al. | Towards fog-free in-vehicle vision systems through contrast restoration | |
| Hautière et al. | Real-time disparity contrast combination for onboard estimation of the visibility distance | |
| Negru et al. | Image based fog detection and visibility estimation for driving assistance systems | |
| JP3822515B2 (en) | Obstacle detection device and method | |
| US9070023B2 (en) | System and method of alerting a driver that visual perception of pedestrian may be difficult | |
| JP5787024B2 (en) | Three-dimensional object detection device | |
| CN108197523B (en) | Night vehicle detection method and system based on image conversion and contour neighborhood difference | |
| CN112215306B (en) | Target detection method based on fusion of monocular vision and millimeter wave radar | |
| US7970178B2 (en) | Visibility range estimation method and system | |
| US20140247968A1 (en) | Method for Fog Detection | |
| CN106096512B (en) | Detection device and method for recognizing vehicle or pedestrian by using depth camera | |
| JP2007234019A (en) | Vehicle image area specifying device and method for it | |
| GB2503328A (en) | Method and system for determining vehicle speed using contact points between the tyres and the road | |
| KR101191308B1 (en) | Road and lane detection system for intelligent transportation system and method therefor | |
| KR20130051681A (en) | System and method for recognizing road sign | |
| KR101026778B1 (en) | Vehicle image detection apparatus | |
| JP2011209896A (en) | Obstacle detecting apparatus, obstacle detecting method, and obstacle detecting program | |
| Hautiere et al. | Meteorological conditions processing for vision-based traffic monitoring | |
| CN109978842A (en) | A kind of visibility analytic method based on camera image | |
| KR102259981B1 (en) | Visual range measurement and alarm system based on video analysis and method thereof | |
| CN105021573A (en) | Method and device for tracking-based visibility range estimation | |
| KR101381580B1 (en) | Method and system for detecting position of vehicle in image of influenced various illumination environment | |
| Wan et al. | Vehicle detection algorithm based on light pairing and tracking at nighttime |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| A302 | Request for accelerated examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20170210 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20180209 Year of fee payment: 5 |
|
| FPAY | Annual fee payment |
Payment date: 20190212 Year of fee payment: 6 |
|
| FPAY | Annual fee payment |
Payment date: 20200203 Year of fee payment: 7 |