KR102553340B1 - Light Source Recognition Algorithm in Image using Object Silhouette - Google Patents
Light Source Recognition Algorithm in Image using Object Silhouette Download PDFInfo
- Publication number
- KR102553340B1 KR102553340B1 KR1020210097004A KR20210097004A KR102553340B1 KR 102553340 B1 KR102553340 B1 KR 102553340B1 KR 1020210097004 A KR1020210097004 A KR 1020210097004A KR 20210097004 A KR20210097004 A KR 20210097004A KR 102553340 B1 KR102553340 B1 KR 102553340B1
- Authority
- KR
- South Korea
- Prior art keywords
- light source
- image
- brightness
- silhouette
- measured
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
물체의 실루엣을 통한 이미지 내 광원 인식 방법 및 장치가 제시된다. 본 발명에서 제안하는 물체의 실루엣을 통한 이미지 내 광원 인식 방법은 입력부를 통해 이미지를 수신하는 단계, 상기 입력된 이미지 내 광원 인식을 위해 광원 후보군 선별부를 통해 이미지 내 밝기를 측정하고, 측정된 이미지 내 밝기를 이용하여 직접적 광원을 선별하는 단계, 광원 분류부를 통해 상기 선별된 직접적 광원을 제외한 나머지 광원 후보군에 대해 상기 측정된 이미지 내 밝기를 이용하여 물체의 실루엣을 통한 스캔 라인(Scan Line)으로 간접적 광원의 위치를 특정하는 단계 및 출력부를 통해 상기 특정된 간접적 광원과 직접적 광원을 합쳐 최종 결과를 표기하는 단계를 포함한다.A method and apparatus for recognizing a light source in an image through the silhouette of an object are presented. A method for recognizing a light source in an image through the silhouette of an object proposed in the present invention comprises the steps of receiving an image through an input unit, measuring the brightness in the image through a light source candidate selection unit to recognize the light source in the input image, and measuring the brightness in the image. Selecting a direct light source using brightness, using the measured brightness in the image for the remaining light source candidates except for the direct light source selected through the light source classification unit, as an indirect light source as a scan line through the silhouette of the object It includes specifying the position of and displaying a final result by combining the specified indirect light source and direct light source through an output unit.
Description
본 발명은 물체의 실루엣을 통한 이미지 내 광원 인식 방법 및 장치에 관한 것이다. 더욱 상세하게는 물체의 밝기를 통해 실루엣을 인식하고, 해당 실루엣 밝기 수치를 이용하여 광원을 역추적하는 방법 및 장치에 관한 것이다. The present invention relates to a method and apparatus for recognizing a light source in an image through the silhouette of an object. More specifically, it relates to a method and apparatus for recognizing a silhouette through the brightness of an object and backtracking a light source using the corresponding silhouette brightness value.
이미지에서 광원은 그림자, 반사광과 같은 다양한 파생적 요소들을 포함한다. 이미지를 통해 태양을 역추적하는 방식이나, 광원을 인식하고 찾는 모듈은 있지만, 물체 검출(object detection)을 기반으로 하고 있으며[1], 가상환경에서 빛을 이용하는 광선 추적(ray tracing)[2]이 대부분이다. A light source in an image includes various derived elements such as shadows and reflected light. There is a method of backtracking the sun through an image or a module that recognizes and finds a light source, but it is based on object detection [1], and ray tracing using light in a virtual environment [2] Most of this.
기존 방식으로는 주어진 이미지를 빛의 삼원소로 분류하여 이미지상 광원의 위치를 판별하는 RGB값 기반 밝기 수치 비교를 통한 광원인식 기술이 존재한다. 그러나 이러한 단순 수치비교는 반사광이나 배경의 밝기에 따라 성능의 차이가 크게 나타난다[3]. In the existing method, there is a light source recognition technology through comparison of brightness values based on RGB values that classifies a given image into three elements of light and determines the position of a light source on the image. However, this simple numerical comparison shows a large difference in performance depending on the brightness of the reflected light or background [3].
최근 물체 인식기술이 발전하면서 물체와 주변환경의 상호작용에 대한 연구가 이루어지고 있다. 빛과 물체에 대한 연구는 물체가 인식되기 위해서 반드시 빛이 존재해야 하기 때문에 특히 주목을 받고 있다. Recently, with the development of object recognition technology, research on the interaction between an object and its surroundings has been conducted. The study of light and objects is receiving particular attention because light must exist in order for an object to be recognized.
이와 관련하여 한국 공개특허 제10-2020-0112190호는 A 영상에서 오브젝트를 통해 광원을 추출하고 3차원 모델 시뮬레이터를 통해 B 영상으로 광원을 이식하여 광원방향을 반복 노출시킴으로써 상기 수신된 A 영상과 같은 광원 효과를 주는지 여부를 검증하고, 합성한 후 적용하는 기술을 개시하고 있다. 또한, 광원을 분류하고 필요한 광원을 특정하는데 있어서 한국 등록특허 제10-1640046호는 이미지 내에서 차량에 의한 광원과 주변 광원을 구분하기 위해 이미지를 영역으로 구분하고 광원을 특정하는 기술을 개시한다.In this regard, Korean Patent Laid-open Publication No. 10-2020-0112190 extracts a light source from image A through an object, implants the light source into image B through a 3D model simulator, and repeatedly exposes the direction of the light source to obtain the same image as the received image A. A technique for verifying whether a light source effect is given, synthesizing, and then applying the technology is disclosed. In addition, in classifying light sources and specifying necessary light sources, Korean Patent Registration No. 10-1640046 discloses a technique of dividing an image into regions and specifying a light source in order to distinguish a light source by a vehicle and a surrounding light source in an image.
종래기술에서는 이미지 내에서 광원을 인식함에 있어서 RGB 값과 같은 이미지 자체에서 나타나는 수치를 통한 광원 인식은 존재하지만, 이러한 기술은 작은 왜곡에도 인식률이 떨어지며 이미지 외부에서 들어오는 빛에 대해서는 인지하지 못한 채 밝은 이미지 임에도 적용되는 광원이 없거나 또는 단순히 이미지 외부에서 빛이 들어오는 것으로 판단하게 되는 문제점이 있다. 본 발명이 이루고자 하는 기술적 과제는 이러한 문제점을 개선하여 RGB가 아닌 HSP 컬러 모델(color model)을 통해 이미지 자체에서 광원 후보군을 선별하고, 직접적으로 드러나지는 않는 광원이라면 해당 광원에 의해 나타나는 실루엣을 이용하여 추적함으로써 인식하는 방법 및 장치를 제공하는데 있다. In the prior art, in recognizing the light source in the image, there is recognition of the light source through numerical values appearing in the image itself, such as RGB values, but this technology has a low recognition rate even with small distortion, and a bright image without recognizing light coming from outside the image. However, there is a problem in that there is no light source applied or it is determined that light is simply coming from outside the image. The technical problem to be achieved by the present invention is to improve these problems, select a light source candidate group from the image itself through an HSP color model rather than RGB, and use the silhouette represented by the light source if it is a light source that is not directly revealed. It is to provide a method and device for recognizing by tracking.
일 측면에 있어서, 본 발명에서 제안하는 물체의 실루엣을 통한 이미지 내 광원 인식 방법은 입력부를 통해 이미지를 수신하는 단계, 상기 입력된 이미지 내 광원 인식을 위해 광원 후보군 선별부를 통해 이미지 내 밝기를 측정하고, 측정된 이미지 내 밝기를 이용하여 직접적 광원을 선별하는 단계, 광원 분류부를 통해 상기 선별된 직접적 광원을 제외한 나머지 광원 후보군에 대해 상기 측정된 이미지 내 밝기를 이용하여 물체의 실루엣을 통한 스캔 라인(Scan Line)으로 간접적 광원의 위치를 특정하는 단계 및 출력부를 통해 상기 특정된 간접적 광원과 직접적 광원을 합쳐 최종 결과를 표기하는 단계를 포함한다. In one aspect, the method for recognizing a light source in an image through the silhouette of an object proposed in the present invention includes receiving an image through an input unit, measuring brightness in the image through a light source candidate selection unit to recognize the light source in the input image, and , Selecting a direct light source using the brightness in the measured image, using the brightness in the measured image for the rest of the light source candidates except for the direct light source selected through the light source classification unit to scan the line through the silhouette of the object (Scan A step of specifying a position of an indirect light source with a line and a step of displaying a final result by combining the specified indirect light source and direct light source through an output unit.
상기 입력된 이미지 내 광원 인식을 위해 광원 후보군 선별부를 통해 이미지 내 밝기를 측정하고, 측정된 이미지 내 밝기를 이용하여 직접적 광원을 선별하는 단계는 모든 광원 후보군에 대하여 HSP 컬러 모델(Color Model)을 통해 이미지 내 밝기를 측정하고, 측정된 밝기에 기초하여 주변보다 미리 정해진 수치 이상 밝은 부분을 박스화 하여 직접적 광원으로 선별하고, 선별된 직접적 광원을 제외한 나머지 광원 후보군을 간접적 광원으로 선별한다. In order to recognize the light source in the input image, the step of measuring the brightness in the image through a light source candidate group selector and selecting a direct light source using the measured brightness in the image is to use the HSP color model for all light source candidates. The brightness in the image is measured, and based on the measured brightness, an area that is brighter than a predetermined value or more is boxed and selected as a direct light source, and the other light source candidates excluding the selected direct light source are selected as indirect light sources.
상기 광원 분류부를 통해 상기 선별된 직접적 광원을 제외한 나머지 광원 후보군에 대해 상기 측정된 이미지 내 밝기를 이용하여 물체의 실루엣을 통한 스캔 라인(Scan Line)으로 간접적 광원의 위치를 특정하는 단계는 물체의 실루엣에 대한 밝기를 통해 물체에 대한 방위각과 고도에 기초하여 스캔 라인으로 이미지에서 직접 드러나지 않는 광원의 위치를 특정하고, 상기 물체의 실루엣에 대한 밝기는 이미지를 물체와 배경으로 구분한 후 물체의 경계면에서 나타나는 밝기를 이용하여 나타낸다. The step of specifying the position of an indirect light source with a scan line through the silhouette of the object using the measured brightness in the image for the remaining light source candidates excluding the direct light source selected through the light source classification unit. The location of a light source that is not directly visible in the image with a scan line is specified based on the azimuth and altitude of the object through the brightness for , and the brightness for the silhouette of the object is determined at the boundary of the object after dividing the image into the object and the background. It is indicated using the brightness that appears.
상기 스캔 라인을 물체의 실루엣에 대한 밝기 중 가장 높은 수치를 지나는 라인을 기반으로 구면 좌표계 상에 표현하여 적용한다. The scan line is expressed and applied on a spherical coordinate system based on a line passing through the highest value among the brightness of the silhouette of the object.
또 다른 일 측면에 있어서, 본 발명에서 제안하는 물체의 실루엣을 통한 이미지 내 광원 인식 장치는 이미지를 수신하는 입력부, 상기 입력된 이미지 내 광원 인식을 위해 이미지 내 밝기를 측정하고, 측정된 이미지 내 밝기를 이용하여 직접적 광원을 선별하는 광원 후보군 선별부, 상기 선별된 직접적 광원을 제외한 나머지 광원 후보군에 대해 상기 측정된 이미지 내 밝기를 이용하여 물체의 실루엣을 통한 스캔 라인(Scan Line)으로 간접적 광원의 위치를 특정하는 광원 분류부 및 상기 특정된 간접적 광원과 직접적 광원을 합쳐 최종 결과를 표기하는 출력부를 포함한다.In another aspect, an apparatus for recognizing a light source in an image through the silhouette of an object proposed in the present invention measures brightness in the image for an input unit that receives an image, and recognizes a light source in the input image, and the measured brightness in the image. A light source candidate group selection unit that selects direct light sources using a light source candidate group, and the location of indirect light sources as a scan line through the silhouette of an object using the brightness in the measured image for the remaining light source candidates except for the selected direct light source. It includes a light source classification unit that specifies and an output unit that displays a final result by combining the specified indirect light source and direct light source.
본 발명의 실시예들에 따르면 물체에 의해 가려진 광원, 이미지 외부의 광원을 모두 인식 가능하고, 위치를 특정하게 됨으로써 고화질 이미지 내 물체와 빛의 처리에서 정밀한 분석이 가능하다. 또한 단순히 RGB수치의 총합으로는 판단하지 못하던 네온사인의 광원도 인지가 가능하다. 본 발명의 실시예들에 따르면 기존 이미지에서 다른 이미지로 광원을 이식할 때 더 사실감 있는 처리가 가능하다. According to embodiments of the present invention, it is possible to recognize both a light source obscured by an object and a light source outside an image, and precisely analyze the processing of objects and light in a high-definition image by specifying locations. In addition, it is possible to recognize the light source of a neon sign that could not be judged simply by the sum of RGB values. According to embodiments of the present invention, more realistic processing is possible when transplanting a light source from an existing image to another image.
도 1은 본 발명의 일 실시예에 따른 물체의 실루엣을 통한 이미지 내 광원 인식 방법을 설명하기 위한 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 물체의 실루엣을 통한 이미지 내 광원 인식 장치의 구성을 나타내는 도면이다.
도 3은 본 발명의 일 실시예에 따른 이미지에서 HSP기반 밝기 알고리즘을 통해 광원 후보군을 나타낸 예시도이다.
도 4는 본 발명의 일 실시예에 따른 광원 후보군중에서 HSP기반 밝기 알고리즘으로 인식되지 못한 부분 중 하나를 확대한 예시도이다.
도 5는 본 발명의 일 실시예에 따른 물체의 실루엣을 인식한 예시도이다.
도 6은 본 발명의 일 실시예에 따른 도 4의 이미지를 도 5와 같이 실루엣으로 인식시킨 후 밝기를 측정한 결과를 나타내는 예시도이다.
도 7은 본 발명의 일 실시예에 따른 알고리즘을 통한 결과와 입력 이미지, RGB기반 밝기 알고리즘을 통한 결과를 나타내는 도면이다.1 is a flowchart illustrating a method for recognizing a light source in an image through a silhouette of an object according to an embodiment of the present invention.
2 is a diagram illustrating a configuration of an apparatus for recognizing a light source in an image through a silhouette of an object according to an embodiment of the present invention.
3 is an exemplary view illustrating a light source candidate group through an HSP-based brightness algorithm in an image according to an embodiment of the present invention.
4 is an enlarged view of one of the parts not recognized by the HSP-based brightness algorithm among the light source candidates according to an embodiment of the present invention.
5 is an exemplary view of recognizing a silhouette of an object according to an embodiment of the present invention.
FIG. 6 is an exemplary diagram illustrating a result of measuring brightness after recognizing the image of FIG. 4 as a silhouette as shown in FIG. 5 according to an embodiment of the present invention.
7 is a diagram showing results through an algorithm according to an embodiment of the present invention, an input image, and a result through an RGB-based brightness algorithm.
본 발명은 해당 이미지 내부, 외부에서부터 영향을 미치는 광원을 특정하는 알고리즘에 관한 것이다. 종래기술에서는 광원을 인식함에 있어 면의 밝기와 물체의 그림자를 기반으로 광원 자체의 인식보다 해당 광원이 이미지에 미치는 영향을 확인하였다. 하지만 본 발명은 물체의 밝기와 실루엣을 통해 이미지 내부, 외부의 광원을 특정하는데 그 목적이 있다. 종래기술과 비교하여 본 발명의 경우 전체 이미지에 구역(예를 들어, 노면, 우측차선, 배경 등)을 지정하여 분류 이후 필요한 구역 광원 정보만을 추출하고 이미지 내에서 광원을 먼저 인식한 후 광원 자체를 분류한다. 이하, 본 발명의 실시 예를 첨부된 도면을 참조하여 상세하게 설명한다.The present invention relates to an algorithm for specifying a light source that affects an image from inside or outside. In the prior art, in recognizing the light source, the effect of the corresponding light source on the image was confirmed rather than the recognition of the light source itself based on the brightness of the surface and the shadow of the object. However, an object of the present invention is to specify a light source inside and outside an image through the brightness and silhouette of an object. Compared to the prior art, in the case of the present invention, only the necessary area light source information is extracted after classification by specifying areas (eg, road surface, right lane, background, etc.) in the entire image, and after first recognizing the light source in the image, the light source itself Classify. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 일 실시예에 따른 물체의 실루엣을 통한 이미지 내 광원 인식 방법을 설명하기 위한 흐름도이다. 1 is a flowchart illustrating a method for recognizing a light source in an image through a silhouette of an object according to an embodiment of the present invention.
본 발명은 물체의 실루엣을 통한 이미지 내 광원 인식 알고리즘에 관한 것으로, 보다 상세하게는 이미지 내에서 직접적으로 빛이 보이지 않는 상황(다시 말해, 물체에 가려지거나, 또는 이미지 외부에서 들어오는 빛)에서 해당 빛을 받는 물체의 실루엣을 분석함으로써 광원의 위치를 역추적하는 알고리즘에 관한 것이다.The present invention relates to an algorithm for recognizing a light source in an image through the silhouette of an object, and more particularly, in a situation where light is not directly visible in an image (ie, occluded by an object or light coming from outside the image), the corresponding light It relates to an algorithm that backtracks the position of a light source by analyzing the silhouette of an object that receives it.
제안하는 물체의 실루엣을 통한 이미지 내 광원 인식 방법은 입력부를 통해 이미지를 수신하는 단계(110), 상기 입력된 이미지 내 광원 인식을 위해 광원 후보군 선별부를 통해 이미지 내 밝기를 측정하고, 측정된 이미지 내 밝기를 이용하여 직접적 광원을 선별하는 단계(120), 광원 분류부를 통해 상기 선별된 직접적 광원을 제외한 나머지 광원 후보군에 대해 상기 측정된 이미지 내 밝기를 이용하여 물체의 실루엣을 통한 스캔 라인(Scan Line)으로 간접적 광원의 위치를 특정하는 단계(130) 및 출력부를 통해 상기 특정된 간접적 광원을 표기하는 단계(140)를 포함한다. The proposed method for recognizing a light source in an image through the silhouette of an object includes receiving an image through an input unit (110), measuring the brightness in the image through a light source candidate selection unit to recognize the light source in the input image, and measuring the brightness in the image. Selecting a direct light source using brightness (120), using the measured brightness in the image for the remaining light source candidates except for the direct light source selected through the light source classification unit, a scan line through the silhouette of the object It includes
단계(110)에서, 입력부를 통해 이미지를 수신한다. In
단계(120)에서, 상기 입력된 이미지 내 광원 인식을 위해 광원 후보군 선별부를 통해 이미지 내 밝기를 측정하고, 측정된 이미지 내 밝기를 이용하여 직접적 광원을 선별한다. In
모든 광원 후보군에 대하여 식(1)에 나타낸 바와 같이 HSP 컬러 모델(Color Model)을 통해 이미지 내 밝기를 측정하고, 측정된 밝기에 기초하여 주변보다 미리 정해진 수치 이상 밝은 부분을 박스화 하여 직접적 광원으로 선별하고, 선별된 직접적 광원을 제외한 나머지 광원 후보군을 간접적 광원으로 선별한다. For all light source candidates, as shown in Equation (1), the brightness in the image is measured through the HSP color model, and based on the measured brightness, an area that is brighter than a predetermined value is boxed and used as a direct light source. Then, the remaining light source candidates other than the selected direct light sources are selected as indirect light sources.
먼저, 광원(light source)은 형태가 점의 형태로써, 크기가 크다면 구의 형태, 작다면 이미지상 1x1의 크기를 갖는 백색광의 형태를 띄게 된다. 이미지를 색의 3원소로 분류한다는 것은 이미지가 결국 RGB로 이루어져 있기 때문이므로, 해당 RGB가 모두 겹쳐지는 부분을 백색, RGB값이 모두 0인 부분을 흑색으로 표기한다. First, the light source is in the form of a point, and if the size is large, it is in the form of a sphere, and if it is small, it takes the form of white light having a size of 1x1 on the image. Since the image is classified into three elements of color because the image is eventually composed of RGB, the part where all RGB values overlap is marked as white, and the part where all RGB values are 0 is marked as black.
필터를 통해 픽셀 내 색의 양을 측정하여 적색, 청색, 녹색의 양을 확인하고 3가지 요소의 양이 가장 큰 곳을 1차적으로 광원으로 간주한다. 이후, 하기식을 이용하여 밝기 수치를 구한다[4]: By measuring the amount of color in a pixel through a filter, the amount of red, blue, and green is checked, and the place where the amount of the three elements is the largest is primarily regarded as a light source. Then, the brightness value is obtained using the following formula [4]:
RGB값 기반 밝기 수치를 통해 반사광과 같은 광원이 아니지만 광원으로 간주될 수 있는 요소들을 배제하여 이미지 내에 존재하는 순수한 광원만을 추출한다. Through RGB value-based brightness values, elements that are not light sources such as reflected light but can be considered as light sources are excluded, and only pure light sources existing in the image are extracted.
종래기술에서는 광원을 추적하기 위해 밝기를 기반으로 추적하는 방식을 사용했지만, 이는 이미지 내에서 직접적으로 드러나는 형태이면서 명확히 광원일 경우에만 추적이 가능하다. 기존의 단순히 RGB수치만으로 빛을 판단하는 경우 육안으로는 분명 광원으로 인식하지만 이미지 필터 내에서는 광원으로 인식하지 않는다. 그 이유는 광원 주위로 전구에 의해 산란된 빛이 있어 반사된 빛으로 인식되었기 때문이다. 빛이 굴절이나 차단에 의해 이미지상에서 제대로 표현되지 않을 때에는 단순 밝기 수치를 통해 추출하기엔 한계가 있다[5]. 따라서, 본 발명에서는 해당 광원을 물체가 태양광과 동일하게 매우 먼 곳에서 오는 빛을 받는다고 가정하고 실루엣을 통해 역추적하는 방식을 이용하였다[6].In the prior art, a tracking method based on brightness was used to track a light source, but this is a form that is directly revealed in an image and can be tracked only when the light source is clearly visible. In the case of judging light only with conventional RGB values, it is clearly recognized as a light source to the naked eye, but is not recognized as a light source within the image filter. The reason is that there is light scattered by the light bulb around the light source, and it is recognized as reflected light. When light is not properly expressed on an image due to refraction or blocking, there is a limit to extracting it through simple brightness values [5]. Therefore, in the present invention, assuming that the object receives light coming from a very distant place, the same as sunlight, the method of backtracking the light source through the silhouette was used [6].
단계(130)에서, 광원 분류부를 통해 상기 선별된 직접적 광원을 제외한 나머지 광원 후보군에 대해 상기 측정된 이미지 내 밝기를 이용하여 물체의 실루엣을 통한 스캔 라인(Scan Line)으로 간접적 광원의 위치를 특정한다. In
본 발명의 실시예에 따르면, 물체의 실루엣에 대한 밝기를 통해 물체에 대한 방위각과 고도에 기초하여 스캔 라인으로 이미지에서 직접 드러나지 않는 광원의 위치를 특정한다. 상기 물체의 실루엣에 대한 밝기는 이미지를 물체와 배경으로 구분한 후 물체의 경계면에서 나타나는 밝기를 이용하여 나타낼 수 있다. 상기 스캔 라인을 물체의 실루엣에 대한 밝기 중 가장 높은 수치를 지나는 라인을 기반으로 구면 좌표계 상에 표현하여 적용할 수 있다. According to an embodiment of the present invention, a location of a light source that is not directly visible in an image is specified with a scan line based on an azimuth and an altitude of the object through the brightness of the silhouette of the object. The brightness of the silhouette of the object may be expressed by using the brightness appearing at the boundary of the object after dividing the image into the object and the background. The scan line may be expressed and applied on a spherical coordinate system based on a line passing through the highest value among the brightness of the silhouette of the object.
먼저, 물체 외곽의 밝기를 측정한다(131). 물체 외곽의 밝기가 미리 정해진 기준보다 낮은 경우(B<50) 이미지 내 광원이 없는 것으로 판별하고(136), 미리 정해진 기준 이상일 경우(
예를 들어, 광원의 방위각과 고도를 통한 방식으로 N개의 빛이 (i,j) 픽셀에 들어오면 그때 나오는 밝기를 
다시 말해, 본 발명의 실시예에 따른 광원 분류부는 직접적 광원으로 분류된 이미지를 제외하고 간접적 광원을 중점적으로 다룬다. 물체를 인식하고 해당 물체의 실루엣의 밝기를 측정한 후, 식(2) 및 식(3)을 이용하여 광원의 방위각과 고도에 따라 이미지를 관통하는 스캔 라인을 통해 실루엣의 최 외곽선 중 가장 밝은 지점을 찾아 광원의 좌표를 역추적하고, 이를 구면 좌표계 상에 나타낸다. 이미지의 밝기를 표현해 내는 방식을 통해 특정 임계값을 넘는 경우만을 추출하게 된다. 이때 실루엣의 물체 내부에서 밝게 빛나는 픽셀이 있다면 반투명 물체에 의해 가려진 광원, 없다면 물체에 의해 가려진 광원으로 인식된다. In other words, the light source classification unit according to an embodiment of the present invention focuses on indirect light sources except for images classified as direct light sources. After recognizing an object and measuring the brightness of the silhouette of the object, using Equations (2) and (3), according to the azimuth and altitude of the light source, the scan line penetrating the image shows the brightest point among the outermost lines of the silhouette. Find , trace back the coordinates of the light source, and display them on the spherical coordinate system. Through the method of expressing the brightness of the image, only cases exceeding a certain threshold value are extracted. At this time, if there is a brightly shining pixel inside the object of the silhouette, it is recognized as a light source covered by the translucent object, and if not, it is recognized as a light source covered by the object.
마지막으로, 단계(140)에서 출력부를 통해 상기 특정된 간접적 광원을 표기한다. Finally, in
도 2는 본 발명의 일 실시예에 따른 물체의 실루엣을 통한 이미지 내 광원 인식 장치의 구성을 나타내는 도면이다. 2 is a diagram illustrating a configuration of an apparatus for recognizing a light source in an image through a silhouette of an object according to an embodiment of the present invention.
제안하는 물체의 실루엣을 통한 이미지 내 광원 인식 장치(200)는 입력부(210), 광원 후보군 선별부(120), 광원 분류부(130) 및 출력부(140)를 포함한다. The proposed
입력부(210), 광원 후보군 선별부(120), 광원 분류부(130) 및 출력부(140)는 도 1의 단계들(110~140)을 수행하기 위해 구성될 수 있다.The
입력부(210)를 통해 이미지를 수신한다. An image is received through the
광원 후보군 선별부(120)는 상기 입력된 이미지 내 광원 인식을 위해 이미지 내 밝기를 측정하고, 측정된 이미지 내 밝기를 이용하여 직접적 광원을 선별한다. The light source
모든 광원 후보군에 대하여 식(1)에 나타낸 바와 같이 HSP 컬러 모델(Color Model)을 통해 이미지 내 밝기를 측정하고, 측정된 밝기에 기초하여 주변보다 미리 정해진 수치 이상 밝은 부분을 박스화 하여 직접적 광원으로 선별하고, 선별된 직접적 광원을 제외한 나머지 광원 후보군을 간접적 광원으로 선별한다. For all light source candidates, as shown in Equation (1), the brightness in the image is measured through the HSP color model, and based on the measured brightness, an area that is brighter than a predetermined value is boxed and used as a direct light source. Then, the remaining light source candidates other than the selected direct light sources are selected as indirect light sources.
광원 분류부(130)는 상기 선별된 직접적 광원을 제외한 나머지 광원 후보군에 대해 상기 측정된 이미지 내 밝기를 이용하여 물체의 실루엣을 통한 스캔 라인(Scan Line)으로 간접적 광원의 위치를 특정한다. The light
본 발명의 실시예에 따르면, 물체의 실루엣에 대한 밝기를 통해 물체에 대한 방위각과 고도에 기초하여 스캔 라인으로 이미지에서 직접 드러나지 않는 광원의 위치를 특정한다. 상기 물체의 실루엣에 대한 밝기는 이미지를 물체와 배경으로 구분한 후 물체의 경계면에서 나타나는 밝기를 이용하여 나타낼 수 있다. 상기 스캔 라인을 물체의 실루엣에 대한 밝기 중 가장 높은 수치를 지나는 라인을 기반으로 구면 좌표계 상에 표현하여 적용할 수 있다. According to an embodiment of the present invention, a location of a light source that is not directly visible in an image is specified with a scan line based on an azimuth and an altitude of the object through the brightness of the silhouette of the object. The brightness of the silhouette of the object may be expressed by using the brightness appearing at the boundary of the object after dividing the image into the object and the background. The scan line may be expressed and applied on a spherical coordinate system based on a line passing through the highest value among the brightness of the silhouette of the object.
먼저, 물체 외곽의 밝기를 측정한다. 물체 외곽의 밝기가 미리 정해진 기준보다 낮은 경우 이미지 내 광원이 없는 것으로 판별하고, 미리 정해진 기준 이상일 경우 물체 자체가 밝은지 여부를 판별한다. 물체 자체가 미리 정해진 기준 이상 밝을 경우 추적한 광원을 간접적 광원으로서 표기하고, 미리 정해진 기준보다 낮을 경우 광원의 위치를 파악한다. 이후 해당 물체의 뒤편인지 여부를 판별한다. 해당 물체의 뒤편이 아닌 경우 이미지 내 광원이 없는 것으로 판별하고, 해당 물체의 뒤편인 경우 추적한 광원을 간접적 광원으로서 표기한다. First, the brightness of the outside of the object is measured. If the brightness of the outside of the object is lower than a predetermined standard, it is determined that there is no light source in the image, and if it is higher than the predetermined standard, it is determined whether the object itself is bright. If the object itself is brighter than a predetermined standard, the tracked light source is marked as an indirect light source, and if it is lower than the predetermined standard, the position of the light source is identified. Then, it is determined whether the object is behind the object. If it is not behind the object, it is determined that there is no light source in the image, and if it is behind the object, the tracked light source is marked as an indirect light source.
마지막으로, 출력부(140)를 통해 상기 특정된 간접적 광원을 표기한다. Finally, the specified indirect light source is marked through the
도 3은 본 발명의 일 실시예에 따른 이미지에서 HSP기반 밝기 알고리즘을 통해 광원 후보군을 나타낸 예시도이다. 3 is an exemplary diagram illustrating a light source candidate group through an HSP-based brightness algorithm in an image according to an embodiment of the present invention.
본 발명의 실시예에 따른 광원 후보군 선별부는 도 3에서 도시한 바와 같이 각 광원 후보군들을 선별하여 붉은색 박스(320)로 표기한다. 이후, 식(1)에서 명시한 바와 같이 HSP 컬러 모델을 통해 광원으로 인식되는 경우 직접적 광원으로 인식하여 녹색 박스(310)로 바뀌게 되고, 붉은색 박스(320)로 그대로 남은 부분은 간접적 광원으로 인식한다.As shown in FIG. 3 , the light source candidate selection unit according to an embodiment of the present invention selects each light source candidate group and marks it with a
다시 말해, 여기서 HSP 밝기 기반 알고리즘과 중복되는 부분은 직접적 광원으로 표기하고, 해당 표기는 녹색 박스(310)으로 변경된다. 나머지 붉은색 박스(320)의 경우 간접적 광원으로써 실루엣 기반 광원 인식 알고리즘으로 처리된다.In other words, the portion overlapping with the HSP brightness-based algorithm is marked as a direct light source, and the corresponding mark is changed to a
광원을 추적하기 위해 밝기를 기반으로 추적하는 방식을 사용했지만, 이는 이미지 내에서 직접적으로 드러나는 형태이면서 명확히 광원일 경우에만 추적이 가능하다. 기존의 단순히 RGB수치만으로 빛을 판단하는 경우 도 3의 붉은색 박스(320) 내의 전구는 육안으로는 분명 광원으로 인식하지만 이미지 필터 내에서 광원으로 인식하지 않는다. 그 이유는 광원 주위로 전구에 의해 산란된 빛이 있어 반사된 빛으로 인식되었기 때문이다. 빛이 굴절이나 차단에 의해 이미지상에서 제대로 표현되지 않을 때에는 단순 밝기 수치를 통해 추출하기엔 한계가 있다[5]. 따라서, 본 발명에서는 해당 광원을 물체가 태양광과 동일하게 매우 먼 곳에서 오는 빛을 받는다고 가정하고 실루엣을 통해 역추적하는 방식을 이용하였다[6].Although a brightness-based tracking method was used to track the light source, tracking is possible only when it is a form that is directly revealed in the image and is clearly a light source. In the case of determining light only with conventional RGB values, the light bulb in the
도 4는 본 발명의 일 실시예에 따른 광원 후보군중에서 HSP기반 밝기 알고리즘으로 인식되지 못한 부분 중 하나를 확대한 예시도이다. 4 is an enlarged view of one of the parts not recognized by the HSP-based brightness algorithm among the light source candidates according to an embodiment of the present invention.
본 발명의 실시예에 따르면, 물체의 실루엣에 대한 밝기를 통해 물체에 대한 방위각과 고도에 기초하여 스캔 라인으로 이미지에서 직접 드러나지 않는 광원의 위치를 특정한다. 상기 물체의 실루엣에 대한 밝기는 이미지를 물체와 배경으로 구분한 후 물체의 경계면에서 나타나는 밝기를 이용하여 나타낼 수 있다. 상기 스캔 라인을 물체의 실루엣에 대한 밝기 중 가장 높은 수치를 지나는 라인을 기반으로 구면 좌표계 상에 표현하여 적용할 수 있다. According to an embodiment of the present invention, a location of a light source that is not directly visible in an image is specified with a scan line based on an azimuth and an altitude of the object through the brightness of the silhouette of the object. The brightness of the silhouette of the object may be expressed by using the brightness appearing at the boundary of the object after dividing the image into the object and the background. The scan line may be expressed and applied on a spherical coordinate system based on a line passing through the highest value among the brightness of the silhouette of the object.
도 4를 참조하면, 인식되지 못한 부분(410)은 충분히 밝아서 광원으로 인식될 수 있지만, 전구의 굴절로 인해 산란되면서 HSP에서는 광원이 아닌 흰 물체로 인식되었다. Referring to FIG. 4 , the
도 5는 본 발명의 일 실시예에 따른 물체의 실루엣을 인식한 예시도이다. 5 is an exemplary view of recognizing a silhouette of an object according to an embodiment of the present invention.
도 5(a)는 본 발명의 실시예에 따른 물체이고, 도 5(b)는 해당 물체의 실루엣을 나타내는 도면이다. 도 5(c)는 본 발명의 또 다른 실시예에 따른 물체이고, 도 5(d)는 해당 물체의 실루엣을 나타내는 도면이다. 본 발명의 실시예에 따른 이미지의 밝기를 표현해 내는 방식을 통해 특정 임계값을 넘는 경우만을 추출하게 된다. Figure 5 (a) is an object according to an embodiment of the present invention, Figure 5 (b) is a view showing the silhouette of the object. 5(c) is an object according to another embodiment of the present invention, and FIG. 5(d) is a view showing a silhouette of the object. Through the method of expressing the brightness of an image according to an embodiment of the present invention, only cases exceeding a specific threshold value are extracted.
먼저, 물체의 실루엣과 배경을 구분하고, 그 부분의 모든 요소를 제거, 실루엣만을 판별한다. 도 5(b)의 경우 식(2)에 의해 광원이 이미지 우측 외곽에 있음을 알 수 있다. 도 5(d)의 경우 전체적인 실루엣의 밝기 수치가 고르게 분포되어 이미지상 물체의 정면이나 후면에서 빛을 내고 있음을 알 수 있다. 이를 통해 물체에 가려져 있거나 이미지 외부에 존재하는 광원 또한 특정할 수 있다. 이때, 실루엣의 물체 내부에서 밝게 빛나는 픽셀이 있다면 반투명 물체에 의해 가려진 광원, 없다면 물체에 의해 가려진 광원으로 인식된다.First, the silhouette of the object and the background are distinguished, all elements of the part are removed, and only the silhouette is identified. In the case of FIG. 5( b ), it can be seen that the light source is located on the right edge of the image according to Equation (2). In the case of FIG. 5(d), it can be seen that the brightness values of the overall silhouette are evenly distributed, and light is emitted from the front or rear of the object in the image. Through this, a light source that is obscured by an object or exists outside the image can also be specified. At this time, if there is a brightly shining pixel inside the object of the silhouette, it is recognized as a light source covered by the translucent object, and if not, it is recognized as a light source covered by the object.
도 6은 본 발명의 일 실시예에 따른 도 4의 이미지를 도 5와 같이 실루엣으로 인식시킨 후 밝기를 측정한 결과를 나타내는 예시도이다. FIG. 6 is an exemplary diagram illustrating a result of measuring brightness after recognizing the image of FIG. 4 as a silhouette as shown in FIG. 5 according to an embodiment of the present invention.
도 6을 참조하면, 실루엣으로 밝기 측정을 했을 때 도 5(d)처럼 고르게 분포되어(610) 물체 정면 또는 물체 뒤에서 빛이 나온다고 판단을 한 뒤, 물체 내부에서 밝은 부분을 감지(620)하여 물체 뒤에서 빛이 나온다고 특정하였다. Referring to FIG. 6, when brightness is measured with a silhouette, it is determined that light is emitted from the front or rear of the object evenly distributed (610) as shown in FIG. It was specified that the light came from behind.
도 7은 본 발명의 일 실시예에 따른 알고리즘을 통한 결과와 입력 이미지, RGB기반 밝기 알고리즘을 통한 결과를 나타내는 도면이다.7 is a diagram showing results through an algorithm according to an embodiment of the present invention, an input image, and a result through an RGB-based brightness algorithm.
도 7(a)의 입력 이미지에서 광원 후보군을 선별한 후, HSP 컬러 모델을 통해 광원 후보군과 중복되는 곳을 직접적 광원으로 인식하고, 표기한다. 이후, 도 7(b)와 같이 실루엣기반 광원 역추적으로 간접적 광원을 특정한 뒤 직접적 광원과 합쳐 도 7(c)와 같이 최종 결과를 출력한다.After selecting the light source candidate group in the input image of FIG. 7(a), the overlapping light source group is recognized as a direct light source through the HSP color model and marked. Thereafter, as shown in FIG. 7(b), after specifying an indirect light source through backtracking of a silhouette-based light source, the final result is output as shown in FIG. 7(c) by combining the indirect light source with the direct light source.
본 발명의 실시예에 따른 물체의 실루엣을 통한 이미지 내 광원 인식 알고리즘은 광원을 추적할 때 2가지를 판단하게 된다. 우선 시맨틱 분류(semantic segmentation)를 적용한 후 해당 물체들의 밝기를 비교한다. 이후 해당 물체 또는 물체 외곽의 밝기가 주변보다 높다면 물체의 실루엣으로 판단하고, 물체 외곽의 경우 빛이 물체 면에 걸쳐서 서서히 변하지만 가려지는 경우 물체 외곽선에서만 두드러지게 선형태로 있는 것을 통해 광원이 외부에서 들어오는지 물체에 가려진 것인지 판단한다. 이후 광원의 위치가 특정되면 해당위치를 박스 표기한다. The algorithm for recognizing a light source in an image through the silhouette of an object according to an embodiment of the present invention determines two things when tracking a light source. First, after applying semantic segmentation, the brightness of corresponding objects is compared. Then, if the brightness of the object or the object's outline is higher than the surroundings, it is judged as the silhouette of the object. In the case of the object's outline, the light gradually changes across the object's surface, but when it is covered, it is conspicuously in the form of a line only at the object's outline. determine whether it is coming from a source or being obscured by an object. After that, when the position of the light source is specified, the corresponding position is marked with a box.
제안하는 방법을 통해 도 3에서는 인식하지 못하던 부분을 도 5에서 도 6과 같은 과정으로 인식하고 처리함으로써 광원에 대한 인식을 좀더 정확하게 할 수 있다. 본 발명의 실시예에 따르면, 광원의 개수를 파악하고, 이후 해당 빛의 영향을 통해 실루엣을 검출, 가려져 있는 광원 또한 추가로 인식함으로써 기존에 동일한 이미지에서 광원을 더 효과적으로 추적할 수 있다. Through the proposed method, the recognition of the light source can be made more accurate by recognizing and processing the part not recognized in FIG. 3 through the same process as in FIGS. 5 to 6. According to an embodiment of the present invention, it is possible to more effectively track the light source in the same image by identifying the number of light sources, detecting the silhouette through the influence of the corresponding light, and additionally recognizing the obscured light source.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The devices described above may be implemented as hardware components, software components, and/or a combination of hardware components and software components. For example, devices and components described in the embodiments may include, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable array (FPA), It may be implemented using one or more general purpose or special purpose computers, such as a programmable logic unit (PLU), microprocessor, or any other device capable of executing and responding to instructions. A processing device may run an operating system (OS) and one or more software applications running on the operating system. A processing device may also access, store, manipulate, process, and generate data in response to execution of software. For convenience of understanding, there are cases in which one processing device is used, but those skilled in the art will understand that the processing device includes a plurality of processing elements and/or a plurality of types of processing elements. It can be seen that it can include. For example, a processing device may include a plurality of processors or a processor and a controller. Other processing configurations are also possible, such as parallel processors.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.Software may include a computer program, code, instructions, or a combination of one or more of the foregoing, which configures a processing device to operate as desired or processes independently or collectively. You can command the device. Software and/or data may be any tangible machine, component, physical device, virtual equipment, computer storage medium or device, intended to be interpreted by or provide instructions or data to a processing device. can be embodied in Software may be distributed on networked computer systems and stored or executed in a distributed manner. Software and data may be stored on one or more computer readable media.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer readable medium. The computer readable medium may include program instructions, data files, data structures, etc. alone or in combination. Program commands recorded on the medium may be specially designed and configured for the embodiment or may be known and usable to those skilled in computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks. - includes hardware devices specially configured to store and execute program instructions, such as magneto-optical media, and ROM, RAM, flash memory, and the like. Examples of program instructions include high-level language codes that can be executed by a computer using an interpreter, as well as machine language codes such as those produced by a compiler.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.As described above, although the embodiments have been described with limited examples and drawings, those skilled in the art can make various modifications and variations from the above description. For example, the described techniques may be performed in an order different from the method described, and/or components of the described system, structure, device, circuit, etc. may be combined or combined in a different form than the method described, or other components may be used. Or even if it is replaced or substituted by equivalents, appropriate results can be achieved.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents of the claims are within the scope of the following claims.
Claims (8)
상기 입력된 이미지 내 광원 인식을 위해 광원 후보군 선별부를 통해 이미지 내 밝기를 측정하고, 측정된 이미지 내 밝기를 이용하여 직접적 광원을 선별하는 단계;
광원 분류부를 통해 상기 선별된 직접적 광원을 제외한 나머지 광원 후보군에 대해 상기 측정된 이미지 내 밝기를 이용하여 물체의 실루엣을 통한 스캔 라인(Scan Line)으로 간접적 광원의 위치를 특정하는 단계; 및
출력부를 통해 상기 특정된 간접적 광원과 직접적 광원을 합쳐 최종 결과를 표기하는 단계
를 포함하고,
상기 입력된 이미지 내 광원 인식을 위해 광원 후보군 선별부를 통해 이미지 내 밝기를 측정하고, 측정된 이미지 내 밝기를 이용하여 직접적 광원을 선별하는 단계는,
모든 광원 후보군에 대하여 HSP 컬러 모델(Color Model)을 통해 이미지 내 밝기를 측정하고, 측정된 밝기에 기초하여 주변보다 미리 정해진 수치 이상 밝은 부분을 박스화 하여 직접적 광원으로 선별하고, 선별된 직접적 광원을 제외한 나머지 광원 후보군을 간접적 광원으로 선별하는
이미지 내 광원 인식 방법. receiving an image through an input unit;
measuring brightness in the image through a light source candidate selection unit to recognize the light source in the input image, and selecting a direct light source using the measured brightness in the image;
specifying a location of an indirect light source with a scan line through a silhouette of an object using brightness in the measured image for the remaining light source candidates excluding the direct light source selected through a light source classification unit; and
Displaying the final result by combining the specified indirect light source and direct light source through an output unit
including,
In order to recognize the light source in the input image, the step of measuring the brightness in the image through a light source candidate selection unit and selecting a direct light source using the measured brightness in the image,
For all light source candidates, the brightness in the image is measured through the HSP color model, and based on the measured brightness, an area that is brighter than a predetermined value or more than the surrounding area is boxed and selected as a direct light source, and the selected direct light source is selected. Selecting the remaining light source candidates as indirect light sources
How to recognize a light source in an image.
상기 입력된 이미지 내 광원 인식을 위해 광원 후보군 선별부를 통해 이미지 내 밝기를 측정하고, 측정된 이미지 내 밝기를 이용하여 직접적 광원을 선별하는 단계;
광원 분류부를 통해 상기 선별된 직접적 광원을 제외한 나머지 광원 후보군에 대해 상기 측정된 이미지 내 밝기를 이용하여 물체의 실루엣을 통한 스캔 라인(Scan Line)으로 간접적 광원의 위치를 특정하는 단계; 및
출력부를 통해 상기 특정된 간접적 광원과 직접적 광원을 합쳐 최종 결과를 표기하는 단계
를 포함하고,
상기 광원 분류부를 통해 상기 선별된 직접적 광원을 제외한 나머지 광원 후보군에 대해 상기 측정된 이미지 내 밝기를 이용하여 물체의 실루엣을 통한 스캔 라인(Scan Line)으로 간접적 광원의 위치를 특정하는 단계는,
물체의 실루엣에 대한 밝기를 통해 물체에 대한 방위각과 고도에 기초하여 스캔 라인으로 이미지에서 직접 드러나지 않는 광원의 위치를 특정하고,
상기 물체의 실루엣에 대한 밝기는 이미지를 물체와 배경으로 구분한 후 물체의 경계면에서 나타나는 밝기를 이용하여 나타내는
이미지 내 광원 인식 방법. receiving an image through an input unit;
measuring brightness in the image through a light source candidate selection unit to recognize the light source in the input image, and selecting a direct light source using the measured brightness in the image;
specifying a location of an indirect light source with a scan line through a silhouette of an object using brightness in the measured image for the remaining light source candidates excluding the direct light source selected through a light source classification unit; and
Displaying the final result by combining the specified indirect light source and direct light source through an output unit
including,
The step of specifying the position of an indirect light source with a scan line through the silhouette of an object using the brightness in the measured image for the remaining light source candidates excluding the direct light source selected through the light source classification unit,
Specifying the position of a light source that is not directly visible in the image with a scan line based on the azimuth and altitude of the object through the brightness of the silhouette of the object,
The brightness of the silhouette of the object is represented by using the brightness appearing at the boundary of the object after dividing the image into the object and the background.
How to recognize a light source in an image.
상기 스캔 라인을 물체의 실루엣에 대한 밝기 중 가장 높은 수치를 지나는 라인을 기반으로 구면 좌표계 상에 표현하여 적용하는
이미지 내 광원 인식 방법. According to claim 2,
Expressing and applying the scan line on a spherical coordinate system based on a line passing through the highest value of the brightness of the silhouette of the object
How to recognize a light source in an image.
상기 입력된 이미지 내 광원 인식을 위해 이미지 내 밝기를 측정하고, 측정된 이미지 내 밝기를 이용하여 직접적 광원을 선별하는 광원 후보군 선별부;
상기 선별된 직접적 광원을 제외한 나머지 광원 후보군에 대해 상기 측정된 이미지 내 밝기를 이용하여 물체의 실루엣을 통한 스캔 라인(Scan Line)으로 간접적 광원의 위치를 특정하는 광원 분류부; 및
상기 특정된 간접적 광원과 직접적 광원을 합쳐 최종 결과를 표기하는 출력부
를 포함하고,
상기 광원 후보군 선별부는,
모든 광원 후보군에 대하여 HSP 컬러 모델(Color Model)을 통해 이미지 내 밝기를 측정하고, 측정된 밝기에 기초하여 주변보다 미리 정해진 수치 이상 밝은 부분을 박스화 하여 직접적 광원으로 선별하고, 선별된 직접적 광원을 제외한 나머지 광원 후보군을 간접적 광원으로 선별하는
이미지 내 광원 인식 장치. an input unit for receiving an image;
a light source candidate selection unit for measuring brightness in the image to recognize the light source in the input image and selecting a direct light source using the measured brightness in the image;
a light source classifying unit for specifying a location of an indirect light source with a scan line through a silhouette of an object using brightness in the measured image for the remaining light source candidates except for the selected direct light source; and
An output unit for displaying the final result by combining the specified indirect light source and direct light source
including,
The light source candidate selection unit,
For all light source candidates, the brightness in the image is measured through the HSP color model, and based on the measured brightness, an area that is brighter than a predetermined value or more than the surrounding area is boxed and selected as a direct light source, and the selected direct light source is selected. Selecting the remaining light source candidates as indirect light sources
In-image light source recognition device.
상기 입력된 이미지 내 광원 인식을 위해 이미지 내 밝기를 측정하고, 측정된 이미지 내 밝기를 이용하여 직접적 광원을 선별하는 광원 후보군 선별부;
상기 선별된 직접적 광원을 제외한 나머지 광원 후보군에 대해 상기 측정된 이미지 내 밝기를 이용하여 물체의 실루엣을 통한 스캔 라인(Scan Line)으로 간접적 광원의 위치를 특정하는 광원 분류부; 및
상기 특정된 간접적 광원과 직접적 광원을 합쳐 최종 결과를 표기하는 출력부
를 포함하고,
상기 광원 분류부는,
물체의 실루엣에 대한 밝기를 통해 물체에 대한 방위각과 고도에 기초하여 스캔 라인으로 이미지에서 직접 드러나지 않는 광원의 위치를 특정하고,
상기 물체의 실루엣에 대한 밝기는 이미지를 물체와 배경으로 구분한 후 물체의 경계면에서 나타나는 밝기를 이용하여 나타내는
이미지 내 광원 인식 장치. an input unit for receiving an image;
a light source candidate selection unit for measuring brightness in the image to recognize the light source in the input image and selecting a direct light source using the measured brightness in the image;
a light source classifying unit for specifying a location of an indirect light source with a scan line through a silhouette of an object using brightness in the measured image for the remaining light source candidates except for the selected direct light source; and
An output unit for displaying the final result by combining the specified indirect light source and direct light source
including,
The light source classification unit,
Specifying the position of a light source that is not directly visible in the image with a scan line based on the azimuth and altitude of the object through the brightness of the silhouette of the object,
The brightness of the silhouette of the object is represented by using the brightness appearing at the boundary of the object after dividing the image into the object and the background.
In-image light source recognition device.
상기 광원 분류부는,
상기 스캔 라인을 물체의 실루엣에 대한 밝기 중 가장 높은 수치를 지나는 라인을 기반으로 구면 좌표계 상에 표현하여 적용하는
이미지 내 광원 인식 장치. According to claim 5,
The light source classification unit,
Expressing and applying the scan line on a spherical coordinate system based on a line passing through the highest value of the brightness of the silhouette of the object
In-image light source recognition device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210097004A KR102553340B1 (en) | 2021-07-23 | 2021-07-23 | Light Source Recognition Algorithm in Image using Object Silhouette |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210097004A KR102553340B1 (en) | 2021-07-23 | 2021-07-23 | Light Source Recognition Algorithm in Image using Object Silhouette |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230015629A KR20230015629A (en) | 2023-01-31 |
| KR102553340B1 true KR102553340B1 (en) | 2023-07-07 |
Family
ID=85109279
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210097004A KR102553340B1 (en) | 2021-07-23 | 2021-07-23 | Light Source Recognition Algorithm in Image using Object Silhouette |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102553340B1 (en) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102108480B1 (en) * | 2018-11-01 | 2020-05-08 | 성균관대학교산학협력단 | Methods and apparatuses for estimating texture of model based on image |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101640046B1 (en) | 2010-06-03 | 2016-07-15 | 현대모비스 주식회사 | Methood distinguish forward light source of vehicles |
| KR102281180B1 (en) * | 2014-11-21 | 2021-07-23 | 삼성전자주식회사 | Image processing apparatus and method |
| KR20200112190A (en) | 2019-03-21 | 2020-10-05 | (주)일마그나 | System and method for finding light source in image and giving same light source effect to newly synthesized image |
-
2021
- 2021-07-23 KR KR1020210097004A patent/KR102553340B1/en active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102108480B1 (en) * | 2018-11-01 | 2020-05-08 | 성균관대학교산학협력단 | Methods and apparatuses for estimating texture of model based on image |
Non-Patent Citations (1)
| Title |
|---|
| 류오석, 이보원, 이미지의 실루엣을 통한 광원 인식 알고리즘, 2021년 대한전자공학회 하계학술대회 논문집, Vol.2021 No.6, 2021, 1부* |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20230015629A (en) | 2023-01-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106169244B (en) | Device and method is provided using the guidance information of crossing recognition result | |
| CN107273832B (en) | License plate recognition method and system based on integral channel characteristics and convolutional neural network | |
| CN107767400A (en) | Remote sensing images sequence moving target detection method based on stratification significance analysis | |
| US11568654B2 (en) | Object recognition method and object recognition device performing the same | |
| Danescu et al. | Detection and classification of painted road objects for intersection assistance applications | |
| CN113673305A (en) | Image marking using geodesic features | |
| US20160379081A1 (en) | Method and system for classifying painted road markings in an automotive driver-vehicle-asistance device | |
| KR101827889B1 (en) | Real-time Small Target Detection Method using Local Contrast Difference Measure | |
| CN109460764A (en) | A kind of satellite video ship monitoring method of combination brightness and improvement frame differential method | |
| KR20210026412A (en) | Method for Real-time Object Detection Based on Lidar Sensor and Camera Using CNN | |
| CN111191611A (en) | Deep learning-based traffic sign label identification method | |
| Malmir et al. | Design and FPGA implementation of dual-stage lane detection, based on Hough transform and localized stripe features | |
| Chen et al. | Automatic building extraction via adaptive iterative segmentation with LiDAR data and high spatial resolution imagery fusion | |
| Ahmed et al. | Traffic sign detection and recognition model using support vector machine and histogram of oriented gradient | |
| Fung et al. | Effective moving cast shadow detection for monocular color image sequences | |
| US9361527B1 (en) | Method and system for classifying painted road markings in an automotive driver vehicle-assistance device | |
| Kim | Detection of traffic signs based on eigen-color model and saliency model in driver assistance systems | |
| Deshmukh et al. | Real-time traffic sign recognition system based on colour image segmentation | |
| KR102553340B1 (en) | Light Source Recognition Algorithm in Image using Object Silhouette | |
| Ganapathi et al. | Design and implementation of an automatic traffic sign recognition system on TI OMAP-L138 | |
| CN115100469A (en) | Target attribute identification method, training method and device based on segmentation algorithm | |
| Zhou et al. | A method to automatic create dataset for training object detection neural networks | |
| US11645829B2 (en) | Contour based image segmentation apparatus and method | |
| Lugo et al. | Semi-supervised learning approach for localization and pose estimation of texture-less objects in cluttered scenes | |
| Le et al. | A robust and flexible license plate detection method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |