KR101623947B1 - Apparatus amd method for producing hdr dynamic image - Google Patents

Apparatus amd method for producing hdr dynamic image Download PDF

Info

Publication number
KR101623947B1
KR101623947B1 KR1020140075412A KR20140075412A KR101623947B1 KR 101623947 B1 KR101623947 B1 KR 101623947B1 KR 1020140075412 A KR1020140075412 A KR 1020140075412A KR 20140075412 A KR20140075412 A KR 20140075412A KR 101623947 B1 KR101623947 B1 KR 101623947B1
Authority
KR
South Korea
Prior art keywords
image
hdr
exposure
generated
hdr moving
Prior art date
Application number
KR1020140075412A
Other languages
Korean (ko)
Other versions
KR20150145921A (en
Inventor
김치훈
윤영범
Original Assignee
경남정보대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경남정보대학교 산학협력단 filed Critical 경남정보대학교 산학협력단
Priority to KR1020140075412A priority Critical patent/KR101623947B1/en
Publication of KR20150145921A publication Critical patent/KR20150145921A/en
Application granted granted Critical
Publication of KR101623947B1 publication Critical patent/KR101623947B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

정지 화면으로 이루어진 HDR 영상을 보다 실감나는 HDR 동영상으로 제작할 수 있는 HDR 동영상 제작 장치 및 방법이 개시된다. 이를 위해, 본 발명은 정지화면의 단일 영상을 롤 변환과 융합을 통해 HDR 영상을 제작하고, 제작된 HDR 영상을 조합과 톤 맵핑을 통해 압축 HDR 동영상을 제작하는 HDR 동영상 제작 장치 및 방법이 제공된다.
이로써, 본 발명은 기존의 여러번 반복하여 동영상 제작하는 것에 비하여 제작 비용과 시간을 크게 단축할 수 있는 효과가 있다. 더욱이, 본 발명은 기존의 정지화면의 HDR 영상에 비하여 HDR 동영상 형태로 제작되므로 흥보 효과를 더욱 높일 수 있는 장점을 제공할 수 있다.An HDR moving image producing apparatus and method capable of producing a still image HDR image as a realistic HDR moving image is disclosed. To this end, the present invention provides an HDR moving image production apparatus and method for producing an HDR image through roll conversion and fusion of a still image on a still image, and producing a compressed HDR moving image by combining the produced HDR image and tone mapping .
Thus, the present invention has the effect of significantly reducing the manufacturing cost and time compared to the existing moving picture production which is repeated many times. In addition, since the present invention is manufactured in the form of an HDR moving picture compared to a conventional still picture HDR image, it is possible to provide an advantage of further increasing the excursion effect.

Description

ＨＤＲ 동영상 제작 장치 및 방법{APPARATUS AMD METHOD FOR PRODUCING HDR DYNAMIC IMAGE}[0001] APPARATUS AMD METHOD FOR PRODUCING HDR DYNAMIC IMAGE [0002]

본 발명은 HDR 동영상 제작 장치 및 방법에 관한 것으로서, 더욱 상세하게는 정지 화면으로 이루어진 HDR 영상을 보다 실감나는 HDR 동영상으로 제작할 수 있는 HDR 동영상 제작 장치 및 방법에 관한 것이다.
The present invention relates to an HDR moving image producing apparatus and method, and more particularly, to an HDR moving image producing apparatus and method capable of producing a still image HDR image as a realistic HDR moving image.

일반적으로, HDR 영상은 HDR 이미지 센서를 이용한 영상획득방법과 다중노출 영상합성방법을 통행 만들어진다. 이때, 상기 HDR 이미지 센서를 이용한 영상획득방법은 이미지 센서에서 직접 HDR 영상을 얻는 것으로 영상합성이 수행되지 않는다.Generally, HDR images are generated by using an HDR image sensor and a multiple exposure image synthesis method. At this time, the image acquisition method using the HDR image sensor acquires the HDR image directly from the image sensor, so that image synthesis is not performed.

반면, 상기 다중노출 영상합성방식은 노출이 상이한 다수 개의 영상을 촬영하여 HDR 데이터를 생성한 후 LDR(Low Dynamic Range)에 맞게 톤 매핑(tone mapping)하여 출력영상을 생성하는 방식으로 글로벌(global)/로컬(local)톤 매핑(tone mapping) 방법이 있다. Meanwhile, in the multiple exposure image synthesis method, HDR data is generated by capturing a plurality of images having different exposure, and then tone mapped according to LDR (Low Dynamic Range) to generate an output image. / Local tone mapping method.

상기 글로벌 톤 매핑(Global tone mapping) 방법은 글로벌 콘트라스트(global contrast)가 유지되고, 계산이 간단하나, 로컬 콘트라스트(local contrast)가 저하되고 선명하지 못한 영상을 만든다. 반면, 상기 로컬 톤 매핑(Local tone mapping)은 로컬 콘트라스트(local contrast)를 유지할 수 있으나, 역전 현상, 후광 효과(Halo artifact)가 발생하고 계산량이 증가한다.The global tone mapping method maintains a global contrast and is simple in calculation, however, the local contrast is degraded and the image is unclear. On the other hand, the local tone mapping can maintain a local contrast, but a reverse effect, a halo effect, and a calculation amount increase.

그러나, 위와 같이 제작되는 HDR 영상은 복수개로 촬영된 영상 데이터를 이용하여 제작되기 때문에 작업 시간이 길고 제작비용이 증가되었다. 이러한 단점을 극복하고자, 단일 영상을 이용한 HDR 영상 제작 시스템이 개발되었다. However, since the HDR image is produced by using a plurality of captured image data, the operation time is long and the manufacturing cost is increased. In order to overcome these drawbacks, a HDR image production system using a single image has been developed.

대표적인 예로서, 2014년 06월 16일자로 공개된 한국공개특허 제2014-0072980호에서 단일 영상을 이용한 HDR 영상 생성 장치 및 방법이 개시되었다. 그러나, 상기 HDR 영상 생성 장치에서 생성되는 HDR 영상은 정지화면의 단일 영상으로부터 정지화면의 HDR 영상을 제작할 수 있을뿐, 보다 실감나는 동영상 형태의 HDR 영상으로 제작되지 못한 문제점이 있었다.
As a representative example, Korean Patent Laid-Open Publication No. 2014-0072980, published on June 16, 2014, discloses an apparatus and method for generating an HDR image using a single image. However, the HDR image generated by the HDR image generation apparatus can not only produce a still image HDR image from a single still image but also produce a realistic HDR image.

1. 한국공개특허 : 제2014-0072980호, 공개일자 : 2014년 06월 16일, 발명의 명칭 : 단일 영상을 이용한 HDR 영상 생성 장치 및 방법.1. An apparatus and method for generating an HDR image using a single image. 2. Description of the Related Art An apparatus and method for generating an HDR image using a single image are disclosed in Korean Patent Publication No. 2014-0072980, published on June 16, 2. 한국공개특허 : 제2011-0084025호, 공개일자 : 2011년 07월 21일, 발명의 명칭 : 다중노출 영상을 합성하는 영상합성장치 및 방법.2. An image synthesizing apparatus and method for synthesizing multiple exposure images. 2. Description of the Related Art [0002] An image synthesizing apparatus and method for synthesizing multiple exposure images are disclosed in Korean Patent Publication No. 2011-0084025, published on Jul. 21, 2011.

본 발명은 상술한 문제점을 해결하기 위하여 안출된 것으로서, 정지화면의 단일 영상을 가공하여 HDR 동영상 형태로 제작할 수 있는 HDR 동영상 제작 장치 및 방법을 제공하는데 그 목적이 있다.
It is an object of the present invention to provide an HDR moving picture production apparatus and method capable of processing a single still picture and producing it as an HDR moving picture.

상기한 바와 같은 본 발명의 목적을 달성하고, 후술하는 본 발명의 특징적인 기능을 수행하기 위한, 본 발명의 특징은 다음과 같다.The features of the present invention for achieving the objects of the present invention as described above and performing the characteristic functions of the present invention described below are as follows.

본 발명의 일 관점에 따르면, 정지화면의 단일 영상을 입력받아 서로 다른 밝기값을 가지는 복수개의 노출(exposure) 영상을 생성하는 노출 영상 생성부; 생성된 상기 복수개의 노출 영상을 각각 롤 변환(raw conversion)하여 변환 노출 영상을 생성하는 노출 영상 변환부; 생성된 상기 변환 노출 영상을 융합하여 HDR 영상을 생성하고, 상기 HDR 영상을 조합하여 HDR 동영상을 생성하는 HDR 동영상 생성부; 및 생성된 상기 HDR 동영상을 톤 맵핑(tone mapping)하여 압축 HDR 동영상을 생성하는 압축 HDR 동영상 생성부를 포함하는 HDR 동영상 제작 장치가 제공된다.According to an aspect of the present invention, there is provided an image processing apparatus comprising: an exposure image generating unit that receives a single image of a still image and generates a plurality of exposure images having different brightness values; An exposure image converter for generating a converted exposure image by performing raw conversion on each of the generated plurality of exposure images; An HDR moving image generating unit for generating an HDR image by merging the generated converted exposure images, and generating an HDR moving image by combining the HDR images; And a compressed HDR moving picture generating unit for tone mapping the generated HDR moving picture to generate a compressed HDR moving picture.

여기서, 본 발명의 일 관점에 따른 상기 노출 영상 변환부는 상기 복수개의 노출 영상이 각각 12bit 노출 영상인 경우 이를 롤 변환하여 각각 8bit의 상기 변환 노출 영상을 생성할 수 있다.Here, the exposure image conversion unit according to an aspect of the present invention may roll convert the 12-bit exposure images into 12-bit exposure images to generate 8-bit converted exposure images, respectively.

또한, 본 발명의 일 관점에 따른 상기 HDR 동영상 생성부는 상기 8bit의 변환 노출 영상을 융합할 경우 32bit의 상기 HDR 영상을 생성하고, 상기 압축 HDR 동영상 생성부는 상기 HDR 동영상에 포함된 동적 영역을 톤 맵핑하여 압축 HDR 동영상을 생성할 수 있다.According to an aspect of the present invention, the HDR moving image generating unit generates the 32-bit HDR image when the 8-bit converted exposure image is merged, and the compressed HDR moving image generating unit converts the dynamic area included in the HDR moving image into a tone mapping To generate compressed HDR video.

또한, 본 발명의 일 관점에 따른 상기 압축 HDR 동영상 생성부는 상기 톤 맵핑이 이루어질 경우 8bit의 상기 압축 HDR 동영상을 생성하여 보다 실감나는 영삭 제작이 가능하다.In addition, the compressed HDR moving picture generating unit according to an aspect of the present invention can generate 8-bit compressed HDR moving picture when the tone mapping is performed, thereby realizing more realistic animation.

또한, 본 발명의 다른 일 관점에 따르면, HDR 동영상 제작 장치에서의 HDR 동영상 제작 방법으로서, (a) 정지화면의 단일 영상을 입력받아 서로 다른 밝기값을 가지는 복수개의 노출(exposure) 영상을 노출 영상 생성부에서 생성하는 단계; (b) 생성된 상기 복수개의 노출 영상을 각각 롤 변환(raw conversion)하여 변환 노출 영상을 노출 영상 변환부에서 생성하는 단계; (c) 생성된 상기 변환 노출 영상을 융합하여 HDR 영상을 생성하고, 상기 HDR 영상을 HDR 동영상 생성부에서 조합하여 HDR 동영상을 생성하는 단계; 및 (d) 생성된 상기 HDR 동영상을 톤 맵핑(tone mapping)하여 압축 HDR 동영상을 압축 HDR 동영상 생성부에서 생성하는 단계를 포함하는 HDR 동영상 제작 방법이 제공된다.According to another aspect of the present invention, there is provided a method of producing an HDR moving image in an HDR moving image producing apparatus, the method comprising: (a) receiving a single image of a still image and receiving a plurality of exposure images having different brightness values, Generating by a generating unit; (b) performing a raw conversion on each of the generated plurality of exposure images to generate a converted exposure image in an exposure image converting unit; (c) generating an HDR image by merging the generated converted exposure image, and combining the HDR image with an HDR moving image generating unit to generate an HDR moving image; And (d) tone mapping the generated HDR moving image to generate a compressed HDR moving image in a compressed HDR moving image generating unit.

여기서, 본 발명의 다른 일 관점에 따른 상기 (b) 단계는 상기 복수개의 노출 영상이 각각 12bit 노출 영상인 경우 이를 롤 변환하여 각각 8bit의 상기 변환 노출 영상을 생성하고, 상기 (c) 단계는 상기 8bit의 변환 노출 영상을 융합할 경우 32bit의 상기 HDR 영상을 생성할 수 있다.According to another aspect of the present invention, in the step (b), when the plurality of exposure images are respectively 12-bit exposure images, the 8-bit converted exposure images are respectively generated by roll- When the 8-bit converted exposure image is fused, the HDR image of 32 bits can be generated.

또한, 본 발명의 다른 일 관점에 따른 상기 (d) 단계는 상기 HDR 동영상에 포함된 동적 영역을 톤 맵핑하여 압축 HDR 동영상을 생성할 수 있다. 이럴 경우, 상기 (d) 단계는 상기 톤 맵핑이 이루어질 경우 8bit의 상기 압축 HDR 동영상을 제작할 수 있게 된다.
According to another aspect of the present invention, the step (d) may generate a compressed HDR moving image by tone mapping the dynamic region included in the HDR moving image. In this case, in the step (d), when the tone mapping is performed, the compressed HDR moving image of 8 bits can be produced.

이상과 같이, 본 발명에 따르면, 정지화면의 단일 영상을 롤 변환과 융합을 통해 HDR 영상을 제작하고, 제작된 HDR 영상을 조합과 톤 맵핑을 통해 압축 HDR 동영상을 제작함으로써, 기존의 여러번 반복하여 동영상 제작하는 것에 비하여 제작 비용과 시간을 크게 단축할 수 있는 효과가 있다. As described above, according to the present invention, an HDR image is produced through roll conversion and fusion of a single still image, and a compressed HDR moving image is produced through combination and tone mapping of the produced HDR image, The manufacturing cost and time can be significantly shortened compared with the case of producing a moving picture.

더욱이, 본 발명은 기존의 정지화면의 HDR 영상에 비하여 HDR 동영상 형태로 제작되므로 흥보 효과를 더욱 높일 수 있는 장점을 제공하게 된다.In addition, since the present invention is manufactured in the form of HDR moving picture compared with the conventional still picture HDR image, it provides an advantage of further increasing the excursion effect.

또한, 본 발명은 위와 같은 HDR 동영상 제작을 이동 단말기등에서 구현시켜 보다 양질의 HDR 동영상 콘텐츠를 제공할 수 있어 매출 효과를 극대화할 수 있다.
In addition, according to the present invention, HDR moving image production as described above can be implemented in a mobile terminal or the like to provide better quality HDR moving image content, thereby maximizing the sales effect.

도 1은 본 발명의 제1 실시예에 따른 HDR 동영상 제작 장치(100)를 예시적으로 나타낸 도면이다.
도 2는 본 발명의 제1 및 제2 실시예에 따른 단일 영상으로부터 생성되는 복수개의 노출 영상 형태를 일례로서 나타낸 도면이다.
도 3은 본 발명의 제1 및 제2 실시예에 따른 각 생성된 영상간 비트 변환 형태를 일례로서 나타낸 도면이다.
도 4는 본 발명의 제1 및 제2 실시예에 따른 노출 영상으로부터 생성된 HDR 영상의 일례를 나타낸 도면이다.
도 5는 본 발명의 제2 실시예에 따른 HDR 동영상 제작 방법(S100)을 예시적으로 나타낸 순서도이다.FIG. 1 is a diagram illustrating an HDR moving picture production apparatus 100 according to a first embodiment of the present invention.
2 is a diagram illustrating a plurality of types of exposure images generated from a single image according to the first and second embodiments of the present invention.
FIG. 3 is a diagram illustrating each generated bit-to-bit conversion format according to the first and second embodiments of the present invention.
4 is a view showing an example of an HDR image generated from an exposure image according to the first and second embodiments of the present invention.
5 is a flowchart illustrating an HDR moving image production method (S100) according to a second embodiment of the present invention.

이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings, so that those skilled in the art can easily carry out the present invention. In the drawings, like reference numerals refer to the same or similar functions throughout the several views.

제1 실시예First Embodiment

도 1은 본 발명의 제1 실시예에 따른 HDR 동영상 제작 장치(100)를 예시적으로 나타낸 도면이고, 도 2는 본 발명의 제1 및 제2 실시예에 따른 단일 영상으로부터 생성되는 복수개의 노출 영상 형태를 일례로서 나타낸 도면이며, 도 3은 본 발명의 제1 및 제2 실시예에 따른 각 생성된 영상간 비트 변환 형태를 일례로서 나타낸 도면이다.FIG. 1 is a diagram illustrating an HDR moving image production apparatus 100 according to a first embodiment of the present invention. FIG. 2 is a view showing a plurality of exposures generated from a single image according to the first and second embodiments of the present invention. FIG. 3 is a diagram illustrating each generated bit-to-bit conversion format according to the first and second embodiments of the present invention as an example.

도 1에 도시된 바와 같이, 본 발명의 제1 실시예에 따른 HDR 동영상 제작 장치(100)는 노출 영상 생성부(110), 노출 영상 변환부(120), HDR 동영상 생성부(130), 압축 HDR 동영상 생성부(140), 데이터베이스(150) 및 제어부(160)를 포함하여 구성된다.1, an HDR moving image producing apparatus 100 according to the first embodiment of the present invention includes an exposure image generating unit 110, an exposed image converting unit 120, an HDR moving image generating unit 130, An HDR moving image generation unit 140, a database 150, and a control unit 160.

먼저, 본 발명에 따른 노출 영상 생성부(110)는 정지화면의 단일 영상을 입력받아 입력된 단일 영상으로부터 서로 다른 밝기값을 가지는 복수개의 노출(exposure) 영상을 생성한다. First, the exposure image generation unit 110 generates a plurality of exposure images having different brightness values from a single image input from a single still image.

이때, 생성되는 노출 영상은 2개 이상이어야 한다. 입력된 단일 영상에 n개(여기서, n은 2 이상의 양수) 만큼의 가중치 값(ω)을 적용하여 하긱의 식(1)과 같이 정지화면의 단일 영상으로부터 노출이 서로 다른 복수개의 노출 영상을 생성하게 된다.At this time, the number of generated exposure images should be two or more. Applying a weight value (ω) as many as n (where n is a positive number greater than or equal to 2) to a single input image generates a plurality of exposure images having different exposure from a single still image as shown in Equation (1) .

Figure 112014057642575-pat00001
..... 식(1)
Figure 112014057642575-pat00001
(1)

여기서, Ic는 입력된 단일 영상(

Figure 112014057642575-pat00002
), ω는 가중치 값으로 0보다 큰 양수를 의미하며, 그리고, 상기
Figure 112014057642575-pat00003
는 생성된 노출이 서로 다른 노출 영상(n개만큼 생성)을 의미하며, 여기서의 n은 2이상의 양수을 의미한다. 이와 같이 생성된 복수개의 노출 영상은 도 2에 나타내었다. 도 2에 도시된 노출 영상(101)은 정지화면의 단일 영상으로부터 생성된 노출이 서로 다른 복수개의 영상(예 : 3개의 노출 영상)이 가중치 값((ω)에 따라 n개 생성됨을 알 수 있었다. Where I c is the input single image (
Figure 112014057642575-pat00002
), ω denotes a positive value greater than 0 as a weight value, and
Figure 112014057642575-pat00003
Means that the generated exposure is different from the exposed image (generated by n), where n means a positive number of 2 or more. The plurality of exposure images thus generated are shown in FIG. It can be seen that the exposure image 101 shown in FIG. 2 is generated in accordance with the weight value (?), And a plurality of images (for example, three exposure images) different in exposure generated from a single still image image are generated .

이때, 복수개로 생성된 노출 영상(101)은 노출(exposure)된 정도가 각기 다르기 때문에 밝기차가 심한 관계로 부정확한 디테일(detail) 부분이 발생될 수 있다. 따라서 밝기에 의한 영향을 감소시켜 보다 정확한 디테일 부분을 추정하기 위해 하기의 노출 영상 변환부(120)를 수행하게 된다.At this time, since a plurality of exposure images 101 are different in exposure degree, an inaccurate detail portion may be generated due to a large brightness difference. Accordingly, the following exposure image converting unit 120 is performed in order to reduce the influence of brightness and estimate a more accurate detail part.

즉, 본 발명에 따른 노출 영상 변환부(120)는 앞서 설명한 노출 영상 생성부(110)에 의해 생성된 복수개의 노출 영상(101)을 각각 롤 변환(raw conversion)하여 변환 노출 영상을 생성하게 된다. That is, the exposure image converting unit 120 according to the present invention generates a converted exposure image by performing a raw conversion on each of the plurality of exposure images 101 generated by the exposure image generating unit 110 described above .

예를 들면, 도 3에 도시된 바와 같이 복수개의 노출 영상(101)이 각각 12bit 노출 영상인 경우 이를 롤 변환(raw conversion)함으로써, 각각 8bit를 갖는 복수개의 변환 노출 영상(102)을 생성할 수 있게 된다. 이와 같이 변환 노출 영상(102)이 생성되면, 디테일한 부분을 명확하게 보정할 수 있게 된다.For example, as shown in FIG. 3, when a plurality of exposure images 101 are respectively 12-bit exposure images, a plurality of converted exposure images 102 each having 8 bits can be generated by performing a raw conversion . When the converted exposure image 102 is generated in this manner, the detail portion can be clearly corrected.

다음으로, 본 발명에 따른 HDR 동영상 생성부(130)는 앞서 설명한 노출 영상 변환부(120)에 의해 생성된 변환 노출 영상을 융합하여 HDR 영상을 생성하게 된다. 이와 같이 생성된 HDR 영상은 도 3 및 도 4에 도시되었다. Next, the HDR moving image generating unit 130 according to the present invention fuses the converted exposure image generated by the exposure image converting unit 120 described above to generate an HDR image. The HDR image thus generated is shown in FIGS. 3 and 4. FIG.

즉, 도 3에 도시된 바와 같이 8bit의 변환 노출 영상(102)을 융합할 경우 32bit를 갖는 하나의 HDR 영상(103)을 만들 수 있게 된다. 반면, 도 4에 도시된 HDR 영상은 도 2의 노출 영상(101)에 대한 최종 결과를 보여준다.That is, as shown in FIG. 3, when the 8-bit converted exposure image 102 is fused, one HDR image 103 having 32 bits can be created. On the other hand, the HDR image shown in FIG. 4 shows the final result for the exposed image 101 of FIG.

여기서, 위와 같은 구성들에 의하여, 하나의 HDR 영상을 만드는 것으로 설명하였지만, 위와 같은 과정을 통해 복수개의 단일 영상으로부터 복수개의 HDR 영상을 만들 수 있게 된다. 따라서, 본 발명에 따른 HDR 동영상 생성부(130)는 위와 같이 생성된 복수개의 HDR 영상들을 조합하여 도 3에 도시된 바와 같이 하나의 HDR 동영상(104)을 생성할 수 있게 된다. Here, it is described that one HDR image is created by the above-described configurations. However, a plurality of HDR images can be created from a plurality of single images through the above process. Accordingly, the HDR moving image generating unit 130 according to the present invention can generate one HDR moving image 104 as shown in FIG. 3 by combining a plurality of HDR images generated as described above.

다음으로, 본 발명에 따른 압축 HDR 동영상 생성부(140)는 앞서 설명한 HDR 동영상 생성부(130)에 의해 생성된 HDR 동영상을 톤 맵핑(tone mapping)하여 압축 HDR 동영상을 생성하게 된다. Next, the compressed HDR moving image generating unit 140 generates a compressed HDR moving image by performing tone mapping on the HDR moving image generated by the HDR moving image generating unit 130 described above.

이때, 생성되는 압축 HDR 동영상은 도 3에 도시된 바와같이 HDR 동영상(104)에 포함된 동적 영역을 톤 맵핑(tone mapping)한 결과일 수 있는데, 즉 톤 맵핑 결과, 하나의 32bit HDR 동영상(104)에 포함된 동적 영역을 톤 맵핑하여 8bit의 압축 HDR 동영상(105)을 만들 수 있게 된다. The generated compressed HDR moving picture may be a result of tone mapping of the dynamic area included in the HDR moving picture 104 as shown in FIG. 3. That is, as a result of the tone mapping, one 32-bit HDR moving picture 104 To generate a compressed HDR moving image 105 of 8 bits.

이와 같이 HDR 동영상(104)을 압축시켜 압축된 HDR 동영상(105)을 만들게 되면, 기존의 동영상이나 정지화면의 HDR 영상에 비하여 보다 선명한 화질을 제공할 수 있을 것이다.If the HDR moving image 104 is compressed to generate the compressed HDR moving image 105, it is possible to provide a clearer image quality than the existing moving image or still image HDR image.

다음으로, 본 발명에 따른 데이터베이스(150)는 노출 영상 생성부(110), 노출 영상 변환부(120), HDR 동영상 생성부(130) 및 압축 HDR 동영상 생성부(140)에서 생성된 데이터들을 취합하여 저장하되, 연동 관계를 만들어 저장하게 된다. The database 150 according to the present invention collects data generated by the exposure image generating unit 110, the exposed image converting unit 120, the HDR moving image generating unit 130, and the compressed HDR moving image generating unit 140 And stores and stores the interlocking relationship.

이러한 데이터베이스(150)는 컴퓨터 판독 가능한 기록 매체를 포함하는 개념으로서, 협의의 데이터베이스뿐만 아니라, 파일 시스템에 기반한 데이터 기록 등을 포함하는 넓은 의미의 데이터베이스도 포함하여 지칭하며, 단순한 로그의 집합이라도 이를 검색하여 데이터를 추출할 수 있다면 본 발명에서 말하는 데이터베이스에 포함될 수 있다.The database 150 is a concept including a computer-readable recording medium. It includes not only a consultation database but also a database in a broad sense including a data record based on a file system. Even a simple set of logs can be retrieved If the data can be extracted, it can be included in the database referred to in the present invention.

마지막으로, 본 발명에 따른 제어부(160)는 앞서 설명한 노출 영상 생성부(110), 노출 영상 변환부(120), HDR 동영상 생성부(130), 압축 HDR 동영상 생성부(140) 및 데이터베이스(150)간의 데이터 흐름을 제어하게 된다. 따라서, 각 구성마다 해당하는 각 고유의 기능을 수행하게 되는 것이다.The control unit 160 includes the exposure image generating unit 110, the exposed image converting unit 120, the HDR moving image generating unit 130, the compressed HDR moving image generating unit 140, and the database 150 ). Therefore, each function corresponding to each configuration is performed.

제2 실시예Second Embodiment

도 5는 본 발명의 제2 실시예에 따른 HDR 동영상 제작 방법(S100)을 예시적으로 나타낸 순서도이다.5 is a flowchart illustrating an HDR moving image production method (S100) according to a second embodiment of the present invention.

도 5에 도시된 바와 같이, 본 발명의 제2 실시예에 따른 HDR 동영상 제작 방법(S100)은 복수개의 정지화면의 단일 영상을 이용하여 HDR 동영상을 제작하기 위하여 S110 단계 내지 S140 단계를 포함하여 이루어진다.As shown in FIG. 5, the HDR moving image production method (S100) according to the second embodiment of the present invention includes steps S110 to S140 for producing an HDR moving image by using a single image of a plurality of still images .

먼저, 본 발명에 따른 S110 단계에서는 정지화면의 단일 영상을 노출 영상 생성부(110)에서 입력받아 입력된 단일 영상으로부터 서로 다른 밝기값을 가지는 복수개의 노출(exposure) 영상을 노출 영상 생성부(110)에서 생성하게 된다. First, in step S110, a plurality of exposure images having different brightness values from a single image received from the exposure image generating unit 110 are input to the exposure image generating unit 110 ).

이때, 생성되는 노출 영상은 2개 이상이어야 한다. 입력된 단일 영상에 n개(여기서, n은 2 이상의 양수) 만큼의 가중치 값(ω)을 적용하여 하긱의 식(2)과 같이 정지화면의 단일 영상으로부터 노출이 서로 다른 복수개의 노출 영상을 생성하게 된다.At this time, the number of generated exposure images should be two or more. Applying a weight value (ω) as many as n (where n is a positive number greater than or equal to 2) to a single input image generates a plurality of exposure images having different exposure from a single still image as shown in Equation (2) .

Figure 112014057642575-pat00004
..... 식(2)
Figure 112014057642575-pat00004
(2)

여기서, Ic는 입력된 단일 영상(

Figure 112014057642575-pat00005
), ω는 가중치 값으로 0보다 큰 양수를 의미하며, 그리고, 상기
Figure 112014057642575-pat00006
는 생성된 노출이 서로 다른 노출 영상(n개만큼 생성)을 의미하며, 여기서의 n은 2이상의 양수을 의미한다. Where I c is the input single image (
Figure 112014057642575-pat00005
), ω denotes a positive value greater than 0 as a weight value, and
Figure 112014057642575-pat00006
Means that the generated exposure is different from the exposed image (generated by n), where n means a positive number of 2 or more.

이와 같이 생성된 복수개의 노출 영상은 도 2에 나타내었다. 도 2에 도시된 노출 영상(101)은 정지화면의 단일 영상으로부터 생성된 노출이 서로 다른 복수개의 영상(예 : 3개의 노출 영상)이 가중치 값((ω)에 따라 n개 생성됨을 알 수 있었다. The plurality of exposure images thus generated are shown in FIG. It can be seen that the exposure image 101 shown in FIG. 2 is generated in accordance with the weight value (?), And a plurality of images (for example, three exposure images) different in exposure generated from a single still image image are generated .

이때, 복수개로 생성된 노출 영상은 노출(exposure)된 정도가 각기 다르기 때문에 밝기차가 심한 관계로 부정확한 디테일(detail) 부분이 발생될 수 있다. 따라서 밝기에 의한 영향을 감소시켜 보다 정확한 디테일 부분을 추정하기 위해 하기의 S120 단계를 수행하게 된다. In this case, since exposure images generated by a plurality of exposure images are different from each other, an inaccurate detail portion may be generated due to a large brightness difference. Therefore, in order to estimate the more accurate detail part by reducing the influence of the brightness, step S120 is performed.

이후, 본 발명에 따른 S120 단계에서는 앞서 설명한 S110 단계에 의해 생성된 복수개의 노출 영상을 각각 롤 변환(raw conversion)하여 변환 노출 영상을 노출 영상 변환부(120)에서 생성하게 된다. Thereafter, in step S120 according to the present invention, a plurality of exposure images generated in step S110 are subjected to raw conversion, respectively, to generate a converted exposure image in the exposure image conversion unit 120. [

예를 들면, 도 3에 도시된 바와 같이 복수개의 노출 영상(101)이 각각 12bit 노출 영상인 경우 이를 롤 변환(raw conversion)함으로써, 각각 8bit를 갖는 복수개의 변환 노출 영상(102)을 생성할 수 있게 된다. 이와 같이 변환 노출 영상(102)이 생성되면, 디테일한 부분을 명확하게 보정할 수 있게 된다.For example, as shown in FIG. 3, when a plurality of exposure images 101 are respectively 12-bit exposure images, a plurality of converted exposure images 102 each having 8 bits can be generated by performing a raw conversion . When the converted exposure image 102 is generated in this manner, the detail portion can be clearly corrected.

이후, 본 발명에 따른 S130 단계에서는 앞서 설명한 S120 단계에 의해 생성된 변환 노출 영상을 융합하여 HDR 영상을 HDR 동영상 생성부(130)에서 생성하게 된다. 이와 같이 생성된 HDR 영상은 도 3 및 도 4에 도시되었다. Thereafter, in step S130 according to the present invention, the HDR moving image generating unit 130 generates an HDR moving image by converging the converted exposure image generated in step S120 described above. The HDR image thus generated is shown in FIGS. 3 and 4. FIG.

즉, 도 3에 도시된 바와 같이 8bit의 변환 노출 영상(102)을 융합할 경우 32bit를 갖는 하나의 HDR 영상(103)을 만들 수 있게 된다. 반면, 도 4에 도시된 HDR 영상은 도 2의 노출 영상(101)에 대한 최종 결과를 보여준다.That is, as shown in FIG. 3, when the 8-bit converted exposure image 102 is fused, one HDR image 103 having 32 bits can be created. On the other hand, the HDR image shown in FIG. 4 shows the final result for the exposed image 101 of FIG.

여기서, 위와 같은 단계들에 의하여, 하나의 HDR 영상을 만드는 것으로 설명하였지만, 위와 같은 과정을 통해 복수개의 단일 영상으로부터 복수개의 HDR 영상을 만들 수 있게 된다. 따라서, 본 발명에 따른 S130 단계에서는 위와같이 생성된 복수개의 HDR 영상들을 조합하여 도 3에 도시된 바와 같이 하나의 HDR 동영상(104)을 생성하게 된다. Here, it is described that one HDR image is created by the above steps. However, a plurality of HDR images can be created from a plurality of single images through the above process. Therefore, in step S130 according to the present invention, a plurality of HDR images generated as described above are combined to generate one HDR moving image 104 as shown in FIG.

마직막으로, 본 발명에 따른 S140 단계에서는 S130 단계에 의해 생성된 HDR 동영상을 톤 맵핑(tone mapping)하여 압축 HDR 동영상을 생성하게 된다. 이때, 생성되는 압축 HDR 동영상은 도 3에 도시된 바와같이 HDR 동영상(104)에 포함된 동적 영역을 톤 맵핑(tone mapping)한 결과일 수 있는데, 즉 톤 맵핑 결과, 하나의 32bit HDR 동영상(104)에 포함된 동적 영역을 톤 맵핑하여 8bit의 압축 HDR 동영상(105)을 만들 수 있게 된다. Finally, in step S140 according to the present invention, the HDR moving image generated in step S130 is tone mapped to generate a compressed HDR moving image. The generated compressed HDR moving picture may be a result of tone mapping of the dynamic area included in the HDR moving picture 104 as shown in FIG. 3. That is, as a result of the tone mapping, one 32-bit HDR moving picture 104 To generate a compressed HDR moving image 105 of 8 bits.

이와 같이 HDR 동영상(104)을 압축시켜 압축된 HDR 동영상(105)을 만들게 되면, 기존의 동영상이나 정지화면의 HDR 영상에 비하여 보다 선명한 화질을 제공할 수 있을 것이다.If the HDR moving image 104 is compressed to generate the compressed HDR moving image 105, it is possible to provide a clearer image quality than the existing moving image or still image HDR image.

이상에서와 같이, 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고 다른 구체적인 형태로 실시할 수 있다는 것을 이해할 수 있을 것이다. 따라서 이상에서 기술한 실시예는 모든 면에서 예시적인 것이며 한정적이 아닌 것이다.
While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the exemplary embodiments or constructions. You can understand that you can do it. The embodiments described above are therefore to be considered in all respects as illustrative and not restrictive.

100 : HDR 동영상 제작 장치 101 : 노출 영상
102 : 변환 노출 영상 103 : HDR 영상
104 : HDR 동영상 105 : 압축 HDR 동영상
110 : 노출 영상 생성부 120 : 노출 영상 변환부
130 ; HDR 동영상 생성부 140 ; 압축 HDR 동영상 생성부
150 : 데이터베이스 160 ; 제어부100: HDR moving picture production apparatus 101: Impression picture
102: Transformed exposure image 103: HDR image
104: HDR Movie 105: Compressed HDR Movie
110: Exposed image generating unit 120: Exposed image converting unit
130; An HDR moving image generating unit 140; Compressed HDR Movie Generator
150: database 160; The control unit

Claims (4)

정지화면의 단일 영상을 입력받아 서로 다른 밝기값을 가지는 복수개의 노출(exposure) 영상을 생성하는 노출 영상 생성부;
생성된 상기 복수개의 노출 영상을 각각 롤 변환(raw conversion)하여 변환 노출 영상을 생성하는 노출 영상 변환부;
생성된 상기 변환 노출 영상을 융합하여 HDR 영상을 생성하고, 상기 HDR 영상을 조합하여 HDR 동영상을 생성하는 HDR 동영상 생성부; 및
생성된 상기 HDR 동영상을 톤 맵핑(tone mapping)하여 압축 HDR 동영상을 생성하는 압축 HDR 동영상 생성부; 를 포함하되,
상기 노출 영상 변환부는 상기 복수개의 노출 영상이 각각 12bit 노출 영상인 경우 이를 롤 변환하여 각각 8bit의 상기 변환 노출 영상을 생성하는,
것을 특징으로 하는 HDR 동영상 제작 장치.
An exposure image generation unit receiving a single image of a still image and generating a plurality of exposure images having different brightness values;
An exposure image converter for generating a converted exposure image by performing raw conversion on each of the generated plurality of exposure images;
An HDR moving image generating unit for generating an HDR image by merging the generated converted exposure images, and generating an HDR moving image by combining the HDR images; And
A compressed HDR moving picture generating unit for tone mapping the generated HDR moving picture to generate a compressed HDR moving picture; , ≪ / RTI &
Wherein the exposure image conversion unit converts the plurality of exposure images into 12-bit exposure images, and generates 8-bit converted exposure images,
The HDR moving picture production apparatus comprising:
삭제delete HDR 동영상 제작 장치에서의 HDR 동영상 제작 방법으로서,
(a) 정지화면의 단일 영상을 입력받아 서로 다른 밝기값을 가지는 복수개의 노출(exposure) 영상을 노출 영상 생성부에서 생성하는 단계;
(b) 생성된 상기 복수개의 노출 영상을 각각 롤 변환(raw conversion)하여 변환 노출 영상을 노출 영상 변환부에서 생성하는 단계;
(c) 생성된 상기 변환 노출 영상을 융합하여 HDR 영상을 생성하고, 상기 HDR 영상을 HDR 동영상 생성부에서 조합하여 HDR 동영상을 생성하는 단계; 및
(d) 생성된 상기 HDR 동영상을 톤 맵핑(tone mapping)하여 압축 HDR 동영상을 압축 HDR 동영상 생성부에서 생성하는 단계; 를 포함하되,
상기 (b) 단계는 상기 복수개의 노출 영상이 각각 12bit 노출 영상인 경우 이를 롤 변환하여 각각 8bit의 상기 변환 노출 영상을 생성하는,
것을 특징으로 하는 HDR 동영상 제작 방법.A method of producing an HDR moving picture in an HDR moving image producing apparatus,
(a) generating a plurality of exposure images having different brightness values by receiving a single image of a still image in an exposure image generating unit;
(b) performing a raw conversion on each of the generated plurality of exposure images to generate a converted exposure image in an exposure image converting unit;
(c) generating an HDR image by merging the generated converted exposure image, and combining the HDR image with an HDR moving image generating unit to generate an HDR moving image; And
(d) tone mapping the generated HDR moving picture to generate a compressed HDR moving picture in a compressed HDR moving picture generating unit; , ≪ / RTI &
Wherein the step (b) comprises the steps of: if the plurality of exposure images are respectively 12-bit exposure images,
Wherein the HDR moving image is a moving image. 삭제delete
KR1020140075412A 2014-06-20 2014-06-20 Apparatus amd method for producing hdr dynamic image KR101623947B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140075412A KR101623947B1 (en) 2014-06-20 2014-06-20 Apparatus amd method for producing hdr dynamic image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140075412A KR101623947B1 (en) 2014-06-20 2014-06-20 Apparatus amd method for producing hdr dynamic image

Publications (2)

Publication Number Publication Date
KR20150145921A KR20150145921A (en) 2015-12-31
KR101623947B1 true KR101623947B1 (en) 2016-05-24

Family

ID=55128685

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140075412A KR101623947B1 (en) 2014-06-20 2014-06-20 Apparatus amd method for producing hdr dynamic image

Country Status (1)

Country Link
KR (1) KR101623947B1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002229913A (en) 2001-01-31 2002-08-16 Hitachi Ltd System and method for providing contents
JP2011019126A (en) 2009-07-09 2011-01-27 Canon Inc Image processor and image processing method
KR101026577B1 (en) * 2003-04-29 2011-03-31 마이크로소프트 코포레이션 A system and process for generating high dynamic range video

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101633893B1 (en) 2010-01-15 2016-06-28 삼성전자주식회사 Apparatus and Method for Image Fusion
KR101437898B1 (en) 2012-12-05 2014-09-15 중앙대학교 산학협력단 Apparatus and method for generating a High Dynamic Range image using single image

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002229913A (en) 2001-01-31 2002-08-16 Hitachi Ltd System and method for providing contents
KR101026577B1 (en) * 2003-04-29 2011-03-31 마이크로소프트 코포레이션 A system and process for generating high dynamic range video
JP2011019126A (en) 2009-07-09 2011-01-27 Canon Inc Image processor and image processing method

Also Published As

Publication number Publication date
KR20150145921A (en) 2015-12-31

Similar Documents

Publication Publication Date Title
JP4127411B1 (en) Image processing apparatus and method
JP5713752B2 (en) Image processing apparatus and control method thereof
KR101633893B1 (en) Apparatus and Method for Image Fusion
US20180367729A1 (en) Digital Image Generation using Capture Support Data
JP2013138351A (en) Image pickup apparatus and image processing apparatus
JP2020162025A5 (en) Image processing system and image processing method
US11223778B2 (en) Signal processing device, signal processing method, camera system, video system, and server
US20180197282A1 (en) Method and device for producing a digital image
KR20190117686A (en) Method and device for decoding high dynamic range images
DE102015204118A1 (en) METHOD, ELECTRONIC DEVICE AND SERVER FOR THE PRODUCTION OF DIGITALLY PROCESSED PICTURES
JP2015149691A (en) Image correction device, image correction method, and imaging apparatus
JP4561649B2 (en) Image compression apparatus, image compression program and image compression method, HDR image generation apparatus, HDR image generation program and HDR image generation method, image processing system, image processing program and image processing method
CN113781321A (en) Information compensation method, device, equipment and storage medium for image highlight area
KR101623947B1 (en) Apparatus amd method for producing hdr dynamic image
JP2009200743A (en) Image processor, image processing method, image processing program and imaging apparatus
JP2014107837A (en) Imaging apparatus, image processing system, and control method
JP2008117226A (en) Image data compression decompressor
JP6210772B2 (en) Information processing apparatus, imaging apparatus, control method, and program
CN102186020A (en) Image processing apparatus and image processing method
JP2013009105A (en) Image processing apparatus and image processing method
JP5609787B2 (en) Image processing apparatus and image processing method
JP2015213261A (en) Imaging device, image processing system, and control method therefor
JP2010176239A (en) Image processor, image processing method, image encoding method, image decoding method
JP2015177303A (en) Imaging device and control method therefor
JP6576018B2 (en) Image processing apparatus and imaging apparatus

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190509

Year of fee payment: 4