KR101534317B1 - Method and apparatus of generating high dynamic range image - Google Patents

Method and apparatus of generating high dynamic range image Download PDF

Info

Publication number
KR101534317B1
KR101534317B1 KR1020090014974A KR20090014974A KR101534317B1 KR 101534317 B1 KR101534317 B1 KR 101534317B1 KR 1020090014974 A KR1020090014974 A KR 1020090014974A KR 20090014974 A KR20090014974 A KR 20090014974A KR 101534317 B1 KR101534317 B1 KR 101534317B1
Authority
KR
South Korea
Prior art keywords
image
hdr
dynamic range
high dynamic
brightness
Prior art date
Application number
KR1020090014974A
Other languages
Korean (ko)
Other versions
KR20100040651A (en
Inventor
이강의
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US12/557,572 priority Critical patent/US20100091119A1/en
Priority to EP09171613A priority patent/EP2175635A1/en
Publication of KR20100040651A publication Critical patent/KR20100040651A/en
Application granted granted Critical
Publication of KR101534317B1 publication Critical patent/KR101534317B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

피사체 또는 카메라의 움직임에 따른 상의 겹침 현상을 방지하면서 높은 동적 대역(HDR) 영상을 생성하는 방법 및 장치가 개시된다. 본 발명의 일양상에 따른 움직임이 존재하는 객체를 포함하는 장면에 대한 높은 동적 대역(HDR) 영상을 생성하는 방법은, 장노출 이미지 및 단노출 이미지를 가지고 동적 대역이 겹치는 부분에서의 움직임이 존재하는 영역을 검출하고, 움직임이 존재하는 영역은 장노출 이미지의 밝기를 단노출 이미지의 밝기 수준으로 보정한 후, 보정된 영역을 상기 단노출 영상의 해당영역에 대체함으로써 높은 동적 대역(HDR) 영상을 합성한다. 이에 의해 움직임이 큰 장면에 대해서도, 추가적인 이미지가 필요하지 않고 노출차가 큰 2장의 이미지를 가지고도 선명한 화질의 높은 동적 대역(HDR) 영상을 얻을 수 있다.A method and apparatus for generating a high dynamic range (HDR) image while preventing overlapping of images due to the movement of a subject or camera is disclosed. According to an aspect of the present invention, there is provided a method of generating a high dynamic range (HDR) image for a scene including an object in which motion exists, including the steps of: (HDR) image by replacing the corrected region with the corresponding region of the single exposure image after correcting the brightness of the long exposure image to the brightness level of the single exposure image, . As a result, a high-dynamic-range (HDR) image with high image quality can be obtained even when two images having a large exposure are used without requiring an additional image.

동적대역, HDR, 장노출, 단노출 Dynamic bandwidth, HDR, long exposure, single exposure

Description

높은 동적 대역(ＨＤＲ) 영상 생성방법 및 장치 {Method and apparatus of generating high dynamic range image}TECHNICAL FIELD [0001] The present invention relates to a high dynamic range (HDR) image generation method and apparatus,

본 발명의 일양상에 따른 기술분야는 영상 처리에 관한 것이며, 보다 상세하게는 피사체 또는 카메라의 움직임에 따른 상의 겹침 현상을 방지하면서 높은 동적 대역(HDR) 영상을 생성하는 것에 관한 것이다.TECHNICAL FIELD OF THE INVENTION [0002] The present invention relates to image processing, and more particularly, to generating a high dynamic range (HDR) image while preventing overlapping of images due to movement of a subject or a camera.

디지털 영상의 동적 대역(Dynamic Range, DR)은 영상 내에서 가장 밝은 화소값과 가장 어두운 화소값의 비율로 정의된다. 인간의 시각 인지 시스템(Human Visual System, HVS)은 일반적인 디지털 카메라나 모니터보다 훨씬 높은 동적 대역을 다룰 수 있다. 따라서, 기존의 영상 장치는 인간이 인지하는 영상을 그대로 획득(capture) 또는 표현(display) 할 수 없다. 이처럼 기존의 영상 장치가 다룰 수 있는 것보다 큰 동적 영역을 갖는 영상의 처리에 관한 필요성이 대두되며, 이러한 영상을 높은 동적 대역(High Dynamic Range, HDR) 영상이라고 한다. The dynamic range (DR) of a digital image is defined as the ratio of the brightest pixel value to the darkest pixel value in the image. The Human Visual System (HVS) can handle much higher dynamic bandwidth than a typical digital camera or monitor. Therefore, an existing video apparatus can not capture or display an image perceived by a human being as it is. In this way, there is a need for image processing having a dynamic range larger than that of a conventional image processing apparatus, and this image is called a high dynamic range (HDR) image.

다시 말하면, 높은 동적 대역(HDR) 영상의 생성 기술은, 서로 다른 노출을 갖는 다수의 영상을 합성하여 동적 대역(DR)을 확장하는 기술이라고 할 수 있다. 높은 동적 대역(HDR) 영상은 밝은 부분을 기준으로 하여 짧은 노출을 통해 얻어지 는 단노출 영상(Short Exposure Image, SEI)과, 어두운 부분을 기준으로 하여 긴 노출을 통해 얻어지는 장노출 영상(Long Exposure Image, LEI)을 합성하여 얻을 수 있다. 즉, 하나의 영상내에서의 각 부분이 밝기 차이가 큰 경우, 밝은 부분은 짧은 노출을 통해 이미지를 얻고 어두운 부분은 긴 노출을 통해 이미지를 얻음으로 밝기 차이가 큰 영상에 대해서도 전체적으로 선명한 이미지를 얻을 수 있다.In other words, a technique of generating a high dynamic range (HDR) image is a technique of expanding a dynamic bandwidth (DR) by synthesizing a plurality of images having different exposures. The high dynamic range (HDR) image is composed of a short exposure image (SEI) obtained through a short exposure based on the bright part and a long exposure image (Long Exposure image Image, LEI). In other words, when the brightness difference of each part in one image is large, the bright part obtains the image through the short exposure and the dark part acquires the image through the long exposure so that a clear image is obtained as a whole .

이때, 단노출 영상 및 장노출 영상을 획득하는 과정에서 다소의 시간이 걸릴 수 있다. 그런데 만일 이 시간에 피사체 또는 카메라가 움직이면 단노출 영상과 장노출 영상이 동일하지 않으므로, 높은 동적 대역(HDR) 영상 합성시 움직임이 발생한 영역의 상이 겹쳐지는 등의 고스트 현상(ghost effect)이 발생할 수 있다.In this case, it may take some time to acquire the single exposure image and the long exposure image. However, if the subject or the camera moves at this time, since the single exposure image and the long exposure image are not the same, a ghost effect such as superimposition of images in a region where motion occurs in a high dynamic range (HDR) have.

종래에는 화소(pixel)간의 움직임 벡터(motion vector)와 피사체의 이미지(image)간의 움직임 벡터(motion vector)의 차이가 일정한 임계값(threshold) 보다 클 때는 합성하지 않는다. 따라서, 움직임이 없는 고정된 환경에서만 HDR 영상을 획득할 수 있으며, 움직임 발생시에는 HDR 영상 획득이 불가능하다.Conventionally, when a difference between a motion vector between a pixel and an image of a subject is greater than a predetermined threshold value, synthesis is not performed. Therefore, it is possible to acquire HDR images only in a fixed environment without motion, and it is impossible to acquire HDR images when a motion occurs.

한편, 시간에 따라 피사체나 카메라의 움직임이 발생할 수 있는 환경에서 높은 동적 대역(HDR) 영상을 생성하는 방법도 개시되어 있다. 일예로 노출정도가 유사한 다수의 영상들 중 기준(reference) 영상과 노출정도가 가장 가까운 영상을 선택하여 처리하는 방법에 따라 높은 동적 대역(HDR) 영상을 생성하는 방법이 있다.On the other hand, a method of generating a high dynamic range (HDR) image in an environment in which motion of a subject or a camera may occur over time is also disclosed. For example, there is a method of generating a high dynamic range (HDR) image according to a method of selecting and processing an image having the closest exposure level from a reference image among a plurality of images having similar exposure levels.

그러나 이 방법을 사용하여 높은 동적 대역(HDR) 영상을 얻기 위해서는 5장 이상의 영상을 확보하여야 하며, 노출의 차가 큰 2장의 영상을 이용하는 경우에는 적용이 어렵다. 따라서 일반적인 카메라의 제한된 영상 메모리 및 시스템 파워를 갖는 디바이스에는 적용하기에 어려움이 있다.However, in order to obtain a high dynamic range (HDR) image using this method, it is necessary to secure at least five images, and it is difficult to apply to two images having a large exposure difference. Therefore, it is difficult to apply to a device having a limited image memory and system power of a general camera.

따라서, 본 발명의 일 양상에 따라, 움직임이 존재하는 물체를 포함하는 장면에 대한 높은 동적 대역(HDR) 영상을 생성하는데 있어, 먼저 움직임이 존재하는 영역을 검출하고, 이 움직임이 존재하는 영역은 그 밝기 정도를 단노출 이미지의 밝기 수준으로 보정한 후, 보정된 영역을 단노출 영상의 해당영역에 대체함으로써 높은 동적 대역(HDR) 영상을 생성하는 높은 동적 대역(HDR) 영상 생성방법 및 장치를 제공한다.According to one aspect of the present invention, in generating a high dynamic range (HDR) image for a scene including an object in which motion exists, an area in which motion exists first is detected, A high dynamic range (HDR) image generation method and apparatus for generating a high dynamic range (HDR) image by correcting the brightness level to a brightness level of a single exposure image and then replacing the corrected region with a corresponding region of the single exposure image to provide.

본 발명의 일 양상에 따른 높은 동적 대역(HDR) 영상 생성방법은, 제1이미지, 및 이와 노출은 달리하고 동일한 피사체를 대상으로 하여 얻은 제2이미지에 대해 그 밝기정도가 동일하도록 보정하는 단계; 상기 보정된 제1이미지 및 제2이미지를 가지고 움직임이 존재하는 영역을 검출하는 단계; 및 상기 제1이미지 및 제2이미지를 가지고 높은 동적대역(HDR) 영상을 생성하되, 상기 검출된 움직임 존재영역은 상기 제1이미지의 밝기정도를 상기 제2이미지의 밝기정도로 보정한 후 상기 합성된 높은 제2이미지의 해당영역에 대체하여 높은 동적 대역(HDR) 영상을 생성하는 영상합성 단계를 포함한다.A high dynamic range (HDR) image generating method according to an aspect of the present invention includes: correcting a first image and a second image obtained by subjecting the same subject to the exposure differently and so as to have the same degree of brightness; Detecting an area in which motion exists with the corrected first and second images; And generating a high dynamic range (HDR) image with the first image and the second image, wherein the detected motion presence region corrects the brightness level of the first image to the brightness level of the second image, And a high dynamic range (HDR) image in place of the corresponding region of the high second image.

또한, 본 발명의 다른 양상에 따른 움직임이 존재하는 객체를 포함하는 장면에 대한 높은 동적 대역(HDR) 영상을 생성하는 방법은, 상기 장면에 대한 장노출 이미지 및 단노출 이미지를 가지고 움직임이 존재하는 영역을 검출하는 단계; 및 상기 움직임이 존재하는 영역은 상기 장노출 이미지의 밝기를 상기 단노출 이미지의 밝기 수준으로 보정한 후, 보정된 영역을 상기 단노출 영상의 해당영역에 대체함으로써 높은 동적 대역(HDR) 영상을 합성하는 단계를 포함한다. According to another aspect of the present invention, there is provided a method of generating a high dynamic range (HDR) image for a scene including an object in which motion exists, Detecting a region; And a high dynamic range (HDR) image is generated by replacing the corrected area with the corresponding area of the single exposure image after correcting the brightness of the long exposure image to the brightness level of the single exposure image, .

한편, 본 발명의 다른 양상에 따른 높은 동적 대역(HDR) 영상 생성장치는, 제1이미지, 및 이와 노출은 달리하고 동일한 피사체를 대상으로 하여 얻은 제2이미지에 대해 그 밝기정도가 동일하도록 보정하는 밝기 보정부; 상기 보정된 제1이미지 및 제2이미지를 가지고 움직임이 존재하는 영역을 검출하는 움직임 영역 검출부; 및 상기 제1이미지 및 제2이미지를 가지고 높은 동적대역(HDR) 영상을 생성하되, 상기 검출된 움직임 존재영역은 상기 제1이미지의 밝기정도를 상기 제2이미지의 밝기정도로 보정한 후 상기 제2이미지의 해당영역에 대체하여 높은 동적 대역(HDR) 영상을 생성하는 HDR영상 생성부를 포함한다.On the other hand, a high dynamic range (HDR) image generating apparatus according to another aspect of the present invention includes a first image and a second image obtained by subjecting the same subject to the exposure different from the first image, Brightness correction; A motion area detector for detecting an area in which motion is present with the corrected first and second images; And generating a high dynamic range (HDR) image with the first image and the second image, wherein the detected motion presence region corrects the brightness level of the first image to the brightness level of the second image, And an HDR image generation unit that generates a high dynamic range (HDR) image by replacing the corresponding region of the image.

본 발명의 일 양상에 따르면, 움직임이 존재하는 객체를 포함하는 장면에 대한 높은 동적 대역(HDR) 영상을 생성하는데 있어, 상겹침이나 고스트 현상없이도 선명한 영상을 얻을 수 있다. 더 나아가 움직임이 큰 장면에 대해서도, 추가적인 이미지가 필요하지 않고 노출차가 큰 2장의 이미지를 가지고 선명한 높은 동적 대역(HDR) 영상을 얻을 수 있다.According to an aspect of the present invention, in generating a high dynamic range (HDR) image for a scene including an object in which motion exists, a clear image can be obtained without overlapping or ghosting. Furthermore, even for large-motion scenes, a clear high-dynamic-range (HDR) image can be obtained with two images that do not require additional images and have a large exposure.

이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대해 상세히 설 명한다. 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Reference will now be made in detail to the preferred embodiments of the present invention, examples of which are illustrated in the accompanying drawings. In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear. In addition, the terms described below are defined in consideration of the functions of the present invention, which may vary depending on the intention of the user, the operator, or the custom. Therefore, the definition should be based on the contents throughout this specification.

도 1a 내지 도 1d는 본 발명의 일실시예에 따른 HDR 영상생성을 설명하기 위한 참조도이다.FIGS. 1A to 1D are views for explaining HDR image generation according to an exemplary embodiment of the present invention.

도 1a의 이미지(110)와 같이 새(112)가 이동하는 장면에 대한 HDR 영상을 생성한다고 가정하면, 먼저 도 1b에 도시된 바와 같이 노출을 짧게 하여 단노출 이미지(120)를 얻고 도 1c에 도시된 바와 같이 노출을 길게 하여 장노출 이미지(130)를 얻는다. 원 장면의 이미지(110)는 매우 밝은 영역과 매우 어두운 영역이 공존하여 동적 대역(DR)이 큰 이미지이므로, 단노출 이미지(120)는 도 1b에 도시된 바와 같이 전체적으로 어둡고, 장노출 이미지(130)는 도 1c에 도시된 바와 같이 전체적으로 밝다. Assuming that an HDR image is generated for a scene in which the bird 112 is moving as in the image 110 of FIG. 1A, the exposure is shortened first to obtain a single exposure image 120 as shown in FIG. 1B, As shown, the long exposure image 130 is obtained by lengthening the exposure. Since the image 110 of the original scene coexists with a very bright region and a very dark region and thus the dynamic range DR is large, the short exposure image 120 is entirely dark as shown in FIG. 1B, and the long exposure image 130 Is generally bright as shown in Fig. 1C.

HDR 영상은 어두운 영역은 장노출 이미지로부터, 밝은 영역은 단노출 이미지로부터 데이터를 가져와 합성된다. 이때 이미지(110)내에 움직임이 있는 영역인 새(112)가 존재하는 영역은 장노출 이미지(110)의 밝기를 단노출 이미지(120)의 밝기 수준으로 보정한 후, 보정된 영역을 단노출 영상의 해당영역에 대체한다. 그러면 도 1d에 도시된 이미지(140)와 같이 움직임 있는 영역이 겹쳐지거나 하는 등의 고스트 효과를 없앤 선명한 HDR 영상을 얻을 수 있다.HDR images are synthesized by taking the data from the long exposure image in the dark area and the exposure area in the bright area. In this case, the region where the bird 112, which is a motion area, exists in the image 110 may be corrected by adjusting the brightness of the long exposure image 110 to the brightness level of the single exposure image 120, To the corresponding area of the < / RTI > As a result, a clear HDR image can be obtained by eliminating the ghost effect, such as overlapping moving areas as in the image 140 shown in FIG. 1D.

도 2는 본 발명의 일실시예에 따른 HDR 영상생성장치의 구성도이다.2 is a block diagram of an apparatus for generating an HDR image according to an embodiment of the present invention.

밝기 보정부(210)는 제1이미지, 및 이와 노출은 달리하고 동일한 피사체를 대상으로 하여 얻은 제2이미지에 대해 그 밝기정도가 동일하도록 보정한다. 다시 말하면, 노출차이가 큰 두 개의 이미지의 밝기정도가 서로 동일하도록 어느 일방의 밝기정도에 맞춘다. 제1이미지는 장노출 이미지이고 제2이미지는 단노출 이미지일 수 있다. 그러나 어느 쪽의 밝기에 맞추어도 무방하다.The brightness corrector 210 corrects the brightness of the first image and the second image obtained by subjecting the same subject to the same exposure to be different from each other. In other words, the degree of brightness of either one of the two images having a large exposure difference is adjusted to be equal to each other. The first image may be a long-exposure image and the second image may be a single-exposure image. However, it can be adjusted to either brightness.

움직임 영역 검출부(220)는 이렇게 보정된 제1이미지 및 제2이미지를 가지고 움직임이 존재하는 영역을 검출한다. 보다 상세하게는 동일한 밝기 정도로 보정하였으므로 두개의 이미지의 화소값은 일정한 범위내에서 동일하게 된다. 다시 말하면, 각 화소의 밝기차가 일정한 값 이하인 경우, 즉 화소값의 밝기차가 거의 없게 되므로 움직임이 없으면 서로 오버랩될 수 있다. 그러나 움직임이 있는 영역이 있으면 서로 오버랩되지 않는 영역이 생기게 된다. 따라서, 각 화소값의 밝기차가 일정한 값 이하인 경우에 오버랩이 존재하는 영역으로 움직임이 없는 영역이며, 그렇지 않은 경우 오버랩되지 않고 움직임이 존재하는 영역으로 판단한다.The motion region detection unit 220 detects the region in which the motion exists by using the corrected first and second images. More specifically, since the pixel values of the two images are corrected to the same brightness level, the pixel values of the two images are the same within a certain range. In other words, when the brightness difference of each pixel is equal to or less than a predetermined value, that is, the brightness difference of the pixel value is almost zero, it can overlap each other if there is no movement. However, if there is a motion area, an area that does not overlap with each other is generated. Therefore, when the brightness difference of each pixel value is equal to or less than a predetermined value, it is determined that the area is an area in which there is no overlap in the area in which overlap exists, and otherwise, it is determined that there is no overlap.

HDR 영상 생성부(230)는 제1이미지 및 제2이미지를 가지고 높은 동적대역(HDR) 영상을 생성하되, 움직임 영역 검출부(220)에서 검출된 움직임 존재영역은 제1이미지의 밝기정도를 제2이미지의 밝기정도로 보정한 후, 제2이미지의 해당영역에 대체하는 영상 합성방법을 통하여 높은 동적 대역(HDR) 영상을 생성한다. 일예로, 움직임이 존재하는 영역은 장노출 이미지의 밝기를 단노출 이미지의 밝기 수준 으로 보정한 후, 보정된 영역을 단노출 영상의 해당영역에 대체함으로써 높은 동적 대역(HDR) 영상을 합성한다.The HDR image generating unit 230 generates a high dynamic range (HDR) image with the first and second images, and the motion presence region detected by the motion region detecting unit 220 may be set such that the brightness level of the first image is the second (HDR) image through an image synthesis method of replacing the second image with the brightness of the second image. For example, a high dynamic range (HDR) image is synthesized by correcting the brightness of the long exposure image to the brightness level of the single exposure image and then replacing the corrected area with the corresponding area of the single exposure image.

도 3은 밝기변환함수(BTF)의 일예를 도시한 그래프이다.3 is a graph showing an example of the brightness conversion function BTF.

일예로, 장노출 이미지를 단노출 이미지의 밝기값으로 보정하는 경우 y=f(x) 함수와 같은 밝기변환함수(Brightness Transfer Function, BTF)에 장노출 이미지의 화소값(X)을 대응시켜 단노출 이미지의 화소값(Y)을 얻을 수 있다. 밝기변환함수는 컬러변환함수(Color Transfer Funtion)일 수 있다.For example, when the long-exposure image is corrected to the brightness value of the single-exposure image, the pixel value X of the long-exposure image is associated with the brightness transfer function (BTF) such as y = f The pixel value Y of the exposure image can be obtained. The brightness conversion function may be a color conversion function (Color Transfer Function).

한편, 그 역으로 단노출 이미지를 장노출 이미지의 밝기값으로 보정하는 경우의 밝기변환함수(BTF)는 y=f(x) 함수의 역함수인 y=f-1(x)에 의해 수행될 수 있다.Conversely, the brightness conversion function (BTF) in the case of correcting a single exposure image to the brightness value of the long exposure image can be performed by y = f -1 (x), which is an inverse function of y = f have.

도 4는 본 발명의 일실시예에 따른 HDR 영상생성방법의 플로우차트이다.4 is a flowchart of a method of generating an HDR image according to an embodiment of the present invention.

먼저 제1이미지, 및 이와 노출은 달리하고 동일한 피사체를 대상으로 하여 얻은 제2이미지에 대해 그 밝기정도가 동일하도록 보정한다(S410). 일예로 제1이미지는 장노출 이미지이고 제2이미지는 단노출 이미지일 수 있다. 그러나 장노출 이미지의 밝기를 단노출 이미지의 밝기 수준으로 보정하거나 단노출 이미지의 밝기를 장노출 이미지의 밝기 수준으로 보정할 수 있다. 즉, 어느 일방의 이미지의 밝기를 타 이미지의 밝기에 맞춘다.First, the first image and the second image obtained by subjecting the same subject to different exposure are corrected to have the same degree of brightness (S410). For example, the first image may be a long-exposure image and the second image may be a single-exposure image. However, the brightness of the long exposure image can be corrected to the brightness level of the single exposure image, or the brightness of the single exposure image can be corrected to the brightness level of the long exposure image. That is, the brightness of one of the images is adjusted to the brightness of the other image.

그리고 이렇게 보정된 제1이미지 및 제2이미지를 가지고 움직임이 존재하는 영역을 검출한다(S420). 보다 상세하게는 동일한 밝기 정도로 보정하였으므로 두 개의 이미지의 화소값은 일정한 범위내에서 동일하게 된다. 다시 말하면, 각 화소의 밝기차가 일정한 값 이하인 경우, 즉 화소값의 밝기차가 거의 없는 경우에 움직임이 없으면 서로 겹쳐지게(오버랩)되는데 이때 움직임이 있는 영역이 있으면 서로 오버랩되지 않게 된다. 따라서, 각 화소값의 밝기차가 특정 설정값 이하인 경우에 오버랩이 존재하는 영역이며 그렇지 않은 경우 움직임이 존재하는 영역으로 판단함으로써 움직임이 존재하는 영역을 검출한다.Then, the region in which the motion exists is detected using the corrected first and second images (S420). More specifically, since the correction is made to the same brightness level, the pixel values of the two images are the same within a certain range. In other words, when the brightness difference of each pixel is equal to or less than a predetermined value, that is, when there is little difference in brightness of the pixel values, if there is no movement, they overlap each other (overlapped). Accordingly, when the brightness difference of each pixel value is equal to or less than the specific set value, it is determined that the overlap exists, and if not, the region where motion exists is detected.

그리고 나서 제1이미지 및 제2이미지를 가지고 높은 동적대역(HDR) 영상을 생성하되, 움직임 영역 검출부(220)에서 검출된 움직임 존재영역은 제1이미지의 밝기정도를 제2이미지의 밝기정도로 보정한 후, 제2이미지의 해당영역에 대체하여 높은 동적 대역(HDR) 영상을 생성한다(S430). 일예로, 움직임이 존재하는 영역은 장노출 이미지의 밝기를 단노출 이미지의 밝기 수준으로 보정한 후, 보정된 영역을 단노출 영상의 해당영역에 대체함으로써 높은 동적 대역(HDR) 영상을 합성한다.Then, a high dynamic range (HDR) image is generated with the first image and the second image, and the motion presence region detected by the motion region detection unit 220 is a region in which the brightness level of the first image is corrected to the brightness level of the second image Subsequently, a high dynamic range (HDR) image is generated by replacing the corresponding region of the second image (S430). For example, a high dynamic range (HDR) image is synthesized by correcting the brightness of the long exposure image to the brightness level of the single exposure image and then replacing the corrected area with the corresponding area of the single exposure image.

한편, 본 발명의 일실시예에 따른 방법은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.Meanwhile, the method according to an embodiment of the present invention can be implemented as a computer-readable code on a computer-readable recording medium. A computer-readable recording medium includes all kinds of recording apparatuses in which data that can be read by a computer system is stored.

컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨 터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.Examples of the computer-readable recording medium include a ROM, a RAM, a CD-ROM, a magnetic tape, a floppy disk, an optical data storage device and the like, and also a carrier wave (for example, transmission via the Internet) . In addition, the computer-readable recording medium may be distributed over networked computer systems so that computer readable codes can be stored and executed in a distributed manner. In addition, functional programs, codes, and code segments for implementing the present invention can be easily deduced by programmers skilled in the art to which the present invention belongs.

이제까지 본 발명의 바람직한 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.The preferred embodiments of the present invention have been described above. It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. Therefore, the disclosed embodiments should be considered in an illustrative rather than a restrictive sense. The scope of the present invention is defined by the appended claims rather than by the foregoing description, and all differences within the scope of equivalents thereof should be construed as being included in the present invention.

도 1a 내지 도 1d는 본 발명의 일실시예에 따른 HDR 영상생성을 설명하기 위한 참조도,FIGS. 1A to 1D are views for explaining HDR image generation according to an exemplary embodiment of the present invention;

도 2는 본 발명의 일실시예에 따른 HDR 영상생성장치의 구성도,2 is a block diagram of an apparatus for generating an HDR image according to an embodiment of the present invention.

도 3은 밝기변환함수(BTF)의 일예를 도시한 그래프,3 is a graph showing an example of a brightness conversion function (BTF)

도 4는 본 발명의 일실시예에 따른 HDR 영상생성방법의 플로우차트이다.4 is a flowchart of a method of generating an HDR image according to an embodiment of the present invention.

<도면의 주요부분에 대한 설명>DESCRIPTION OF THE EMBODIMENTS

210 : 밝기 조정부 220 : 움직임영역 검출부210: brightness adjusting unit 220: motion area detecting unit

230 : HDR 영상생성부230: HDR image generating unit

Claims (9)

장노출 이미지, 및 동일한 피사체를 대상으로 하여 얻은 단노출 이미지에 대해 그 밝기정도가 동일하도록 보정하는 단계;Correcting the long exposure image and the single exposure image obtained for the same subject so that their brightness levels are the same; 상기 보정된 장노출 이미지 및 단노출 이미지를 가지고 움직임이 존재하는 영역을 검출하는 단계; 및Detecting an area in which motion is present with the corrected long-exposure image and the single-exposure image; And 움직임이 존재하지 않는 영역은 상기 보정전 장노출 이미지 및 단노출 이미지를 가지고 높은 동적대역(HDR) 영상을 생성하고, 상기 검출된 움직임이 존재하는 영역은 상기 장노출 이미지의 밝기를 상기 단노출 이미지의 밝기 수준으로 보정한 후, 보정된 영역을 상기 높은 동적대역(HDR) 영상의 해당영역에 대체함으로써 높은 동적 대역(HDR) 영상을 생성하는 영상합성 단계를 포함하는 높은 동적 대역(HDR) 영상 생성방법.Wherein the region in which no motion exists generates a high dynamic range (HDR) image with the corrected full-exposure image and the single-exposure image, and the region in which the detected motion exists indicates the brightness of the long- (HDR) image including an image synthesis step of generating a high dynamic range (HDR) image by correcting the corrected region to a brightness level of the high dynamic range (HDR) image by replacing the corrected region with a brightness level of the high dynamic range Way. 삭제delete 삭제delete 제1항에 있어서, 상기 검출하는 단계는2. The method of claim 1, 밝기차가 특정 설정값 이하인 경우에 오버랩이 존재하는 영역이며 그렇지 않은 경우 움직임이 존재하는 영역으로 판단하는 움직임 있는 물체를 포함하는 이미지의 높은 동적 대역(HDR) 영상생성방법.A method of generating a high dynamic range (HDR) image of an image comprising a moving object that determines whether an overlap exists if the brightness difference is less than or equal to a predetermined set value, and otherwise determines that the motion exists. 움직임이 존재하는 객체를 포함하는 장면에 대한 높은 동적 대역(HDR) 영상을 생성하는 방법에 있어서,A method of generating a high dynamic range (HDR) image for a scene comprising an object in which motion is present, 상기 장면에 대한 장노출 이미지 및 단노출 이미지를 가지고 움직임이 존재하는 영역을 검출하는 단계; 및Detecting an area in which motion exists with a long exposure image and a short exposure image for the scene; And 상기 움직임이 존재하는 영역은 상기 장노출 이미지의 밝기를 상기 단노출 이미지의 밝기 수준으로 보정한 후, 보정된 영역을 상기 단노출 영상의 해당영역에 대체함으로써 높은 동적 대역(HDR) 영상을 합성하는 단계를 포함하는 높은 동적 대역(HDR) 영상생성방법.The high dynamic range (HDR) image is synthesized by correcting the brightness of the long exposure image to the brightness level of the single exposure image and then replacing the corrected area with the corresponding area of the single exposure image. (HDR) image. 장노출 이미지, 및 동일한 피사체를 대상으로 하여 얻은 단노출 이미지에 대해 그 밝기정도가 동일하도록 보정하는 밝기 보정부;A long-exposure image, and a brightness correction unit that corrects the short-exposure image and the single-exposure image obtained for the same subject so that their brightness levels are the same; 상기 보정된 장노출 이미지 및 단노출 이미지를 가지고 움직임이 존재하는 영역을 검출하는 움직임 영역 검출부; 및A moving area detecting unit for detecting an area in which the motion exists with the corrected long-exposure image and the single-exposure image; And 움직임이 존재하지 않는 영역은 상기 보정전 장노출 이미지 및 단노출 이미지를 가지고 높은 동적대역(HDR) 영상을 생성하고, 상기 검출된 움직임이 존재하는 영역은 상기 장노출 이미지의 밝기를 상기 단노출 이미지의 밝기 수준으로 보정한 후, 보정된 영역을 상기 높은 동적대역(HDR) 영상의 해당영역에 대체함으로써 높은 동적 대역(HDR) 영상을 생성하는 HDR영상 생성부를 포함하는 높은 동적 대역(HDR) 영상 생성장치.Wherein the region in which no motion exists generates a high dynamic range (HDR) image with the corrected full-exposure image and the single-exposure image, and the region in which the detected motion exists indicates the brightness of the long- A high dynamic range (HDR) image generation unit including an HDR image generation unit for generating a high dynamic range (HDR) image by correcting the corrected region to a brightness level of the high dynamic range (HDR) Device. 삭제delete 삭제delete 제6항에 있어서, 상기 움직임 영역 검출부는7. The apparatus of claim 6, wherein the motion region detection unit 밝기차가 특정 설정값 이하인 경우에 오버랩이 존재하는 영역이며 그렇지 않 은 경우 움직임이 존재하는 영역으로 판단하는 움직임 있는 물체를 포함하는 이미지의 높은 동적 대역(HDR) 영상생성장치.A high dynamic range (HDR) image generator of an image comprising a moving object that determines whether an overlap exists if the brightness difference is less than or equal to a certain set value, and otherwise determines that the motion exists.
KR1020090014974A 2008-10-10 2009-02-23 Method and apparatus of generating high dynamic range image KR101534317B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US12/557,572 US20100091119A1 (en) 2008-10-10 2009-09-11 Method and apparatus for creating high dynamic range image
EP09171613A EP2175635A1 (en) 2008-10-10 2009-09-29 Method and apparatus for creating high dynamic range image

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020080099700 2008-10-10
KR20080099700 2008-10-10

Publications (2)

Publication Number Publication Date
KR20100040651A KR20100040651A (en) 2010-04-20
KR101534317B1 true KR101534317B1 (en) 2015-07-06

Family

ID=42216706

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090014974A KR101534317B1 (en) 2008-10-10 2009-02-23 Method and apparatus of generating high dynamic range image

Country Status (1)

Country Link
KR (1) KR101534317B1 (en)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101664123B1 (en) 2010-06-14 2016-10-11 삼성전자주식회사 Apparatus and method of creating high dynamic range image empty ghost image by using filtering
KR101699919B1 (en) * 2011-07-28 2017-01-26 삼성전자주식회사 High dynamic range image creation apparatus of removaling ghost blur by using multi exposure fusion and method of the same
JP5365823B2 (en) * 2011-10-14 2013-12-11 株式会社モルフォ Image composition apparatus, image composition method, image composition program, and recording medium
KR101711370B1 (en) 2012-10-29 2017-03-02 삼성전자주식회사 Method and apparatus for processing the image
US10382674B2 (en) 2013-04-15 2019-08-13 Qualcomm Incorporated Reference image selection for motion ghost filtering
US9307161B2 (en) 2014-01-10 2016-04-05 Qualcomm Incorporated System and method for capturing digital images using multiple short exposures
KR20210101941A (en) 2020-02-11 2021-08-19 삼성전자주식회사 Electronic device and method for generating high dynamic range images

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07131704A (en) * 1993-10-29 1995-05-19 Canon Inc Picture data processing unit
JP2000050173A (en) * 1998-07-24 2000-02-18 Olympus Optical Co Ltd Image pickup device and recording medium storing image pickup program
JP2002190983A (en) * 2000-12-20 2002-07-05 Matsushita Electric Ind Co Ltd Image compositing circuit
KR20050051575A (en) * 2003-11-27 2005-06-01 소니 가부시끼 가이샤 Photographing apparatus and method, supervising system, program and recording medium

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07131704A (en) * 1993-10-29 1995-05-19 Canon Inc Picture data processing unit
JP2000050173A (en) * 1998-07-24 2000-02-18 Olympus Optical Co Ltd Image pickup device and recording medium storing image pickup program
JP2002190983A (en) * 2000-12-20 2002-07-05 Matsushita Electric Ind Co Ltd Image compositing circuit
KR20050051575A (en) * 2003-11-27 2005-06-01 소니 가부시끼 가이샤 Photographing apparatus and method, supervising system, program and recording medium

Also Published As

Publication number Publication date
KR20100040651A (en) 2010-04-20

Similar Documents

Publication Publication Date Title
KR101534317B1 (en) Method and apparatus of generating high dynamic range image
CN109218613B (en) High dynamic range image synthesis method and device, terminal equipment and storage medium
EP2175635A1 (en) Method and apparatus for creating high dynamic range image
KR101604068B1 (en) High dynamic range imaging apparatus and method
US8547451B2 (en) Apparatus and method for obtaining high dynamic range image
KR101520068B1 (en) Apparatus and method of blending multiple image
KR101575803B1 (en) Method and apparatus of generating high sensitivity image in dark environment
US7496287B2 (en) Image processor and image processing program
CN102724400B (en) Image processing equipment and control method thereof
US8384805B2 (en) Image processing device, method, and computer-readable medium for executing pixel value correction in a synthesized image
US9569688B2 (en) Apparatus and method of detecting motion mask
JP6312487B2 (en) Image processing apparatus, control method therefor, and program
US10721415B2 (en) Image processing system with LED flicker mitigation
KR20110009936A (en) Motion adaptive high dynamic range image pickup apparatus and method
JP2011109638A (en) Image processing apparatus and image processing method
US20220198625A1 (en) High-dynamic-range image generation with pre-combination denoising
JP2015149691A (en) Image correction device, image correction method, and imaging apparatus
US20090016625A1 (en) Imaging apparatus and method of improving sensitivity of the same
JP2002101347A (en) Image composition method and imaging unit employing the image composition method
US9672650B2 (en) Image processing apparatus, image processing method, and storage medium
CN110958361A (en) Image pickup apparatus capable of HDR composition, control method therefor, and storage medium
US8692926B2 (en) Focus adjustment based on indicator of randomness of pixel values
JP2020109924A (en) Image processing device and image processing method
JP5188312B2 (en) Video signal processing apparatus and video signal processing method
JP2010226646A (en) Video processing apparatus

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
FPAY Annual fee payment

Payment date: 20180517

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190520

Year of fee payment: 5