KR20060022894A

KR20060022894A - Apparatus and method for generating thumbnail image in mobile terminal

Info

Publication number: KR20060022894A
Application number: KR1020040071685A
Authority: KR
Inventors: 박성준
Original assignee: 엘지전자 주식회사
Priority date: 2004-09-08
Filing date: 2004-09-08
Publication date: 2006-03-13

Abstract

본 발명은 휴대폰과 같은 이동 단말기에서의 썸네일 영상 생성 장치 및 방법에 관한 것이다. 특히 본 발명은 JPEG 비디오 부호화 알고리즘으로 압축된 정지 영상으로부터 썸네일 영상을 생성할 때 IDCT 과정을 거치지 않고 DCT 계수의 DC 값만을 추출하여 이동 단말기의 썸네일 영상을 생성한다. 따라서 본 발명은 이동 단말기 사용자가 사진 썸네일 미리보기를 선택하였을 때 대기 시간(loading) 시간이 줄일 수 있고, IDCT 과정의 생략으로 전체적인 이동 단말기 계산량을 줄여 CPU의 연산 시간을 단축하며, 전체적인 휴대폰의 전력을 절약할 수 있다. 또한 전체적으로 CPU의 부하가 줄어들어 썸네일 미리보기를 통한 정지 영상 검색과 다른 작업을 동시에 할 수 있는 멀티태스크 환경을 제공할 수 있다. The present invention relates to an apparatus and method for generating a thumbnail image in a mobile terminal such as a mobile phone. In particular, the present invention generates a thumbnail image of the mobile terminal by extracting only the DC value of the DCT coefficients without going through the IDCT process when generating the thumbnail image from the compressed still image compressed by the JPEG video encoding algorithm. Therefore, the present invention can reduce the loading time when the mobile terminal user selects the thumbnail of the picture, and the computation time of the CPU is reduced by reducing the overall mobile terminal calculation amount by eliminating the IDCT process, the overall power of the mobile phone Can save. In addition, the overall CPU load is reduced, providing a multitasking environment for still image retrieval through thumbnail previews and other tasks simultaneously.

이동 단말기, 썸네일 영상, DC 계수Mobile terminal, thumbnail picture, DC coefficient

Description

Apparatus and method for generating thumbnail image in mobile terminal}

도 1은 일반적인 JPEG 비디오 부호화 시스템의 구성 블록도1 is a block diagram of a general JPEG video encoding system

도 2는 일반적인 JPEG 비디오 복호화 시스템의 구성 블록도2 is a block diagram of a general JPEG video decoding system

도 3은 본 발명에 따른 썸네일 영상 생성 장치의 구성 블록도3 is a block diagram of a thumbnail image generating apparatus according to the present invention;

도 4는 본 발명에 따른 DC 계수를 이용한 썸네일 영상 구현 과정의 일 예를 도시한 도면 4 is a diagram illustrating an example of a process of implementing a thumbnail image using a DC coefficient according to the present invention.

도 5의 (a),(b)는 본 발명에 따른 이동 단말기에 구현된 썸네일 영상의 일 예를 보인 도면5 (a) and 5 (b) illustrate an example of a thumbnail image implemented in a mobile terminal according to the present invention.

도면의 주요부분에 대한 부호의 설명Explanation of symbols for main parts of the drawings

301 : 호프만/런 길이 복호기 302 : 역양자화기301: Hoffman / run length decoder 302: dequantizer

303 : DC 추출기 304 : 휘도신호 복원기303: DC extractor 304: luminance signal restorer

305 : 색좌표 변환기305: color coordinate converter

본 발명은 이동 단말기에서의 썸네일(Thumbnail) 영상 생성 장치 및 방법에 관한 것으로서, 특히 정지 영상으로 썸네일 영상을 생성하는 방법 및 장치에 관한 것이다.The present invention relates to an apparatus and method for generating a thumbnail image in a mobile terminal, and more particularly, to a method and apparatus for generating a thumbnail image from a still image.

통상 사진, 그림과 같은 정지영상의 압축 기술로는 무손실 압축(Lossless, 가역부호화)인 GIF(256색), TIFF(자연색) 등이 있고 손실 압축(Lossy, 비가역부호화)으로는 사진 저장 등에 많이 사용되는 JPEG(Joint Photographic Experts Group)이 있다. 여기서 무손실 압축 방식은 데이터를 압축한 다음에 이것을 다시 복원하여도 원래의 영상이 원형 그대로 재생되는 방식이고, 손실 압축 방식은 압축 신장의 과정에서 왜곡이 생겨 원래의 영상이 약간 변형되어 재생되는 방식이다.Common compression techniques for still images such as pictures and pictures include lossless compression (LOS), GIF (256 colors), TIFF (natural colors), and loss compression (Lossy, irreversible encoding). There is a Joint Photographic Experts Group (JPEG). The lossless compression method is a method in which the original image is reproduced as it is even after compressing the data and restoring it again. The lossy compression method is a method in which the original image is slightly deformed and reproduced due to distortion in the compression stretching process. .

상기 JPEG은 원래 정지 영상 압축을 위한 표준 알고리즘을 개발하기 위해 국제 표준화 기구(ISO)와 세계 전신 전화 자문 기구(CCITT)가 공동으로 결성한 전문가 그룹을 말하나, 최근에는 MPEG(Moving Picture Experts Group)과 마찬가지로 압축 알고리즘의 권고 그 자체를 말하는 것으로 사용되고 있다. 즉 상기 JPEG은 H.261과 함께 MPEG의 기초가 되는 중요한 표준으로, 컬러 정지 영상의 압축표준이다. 상기 JPEG은 디지털 방식의 전자 스틸 카메라나 영상 데이터베이스와 같은 저장계, 정지화상 전송장치나 오디오 그래픽 회의, 영상회의 등의 전송계, 나아가 컬러 프린터 등의 인쇄계 등에 널리 이용되고 있다. 즉 JPEG 영상은 주로 그래픽, 사진, 실사영상을 표현하기 위해 *.jpg란 확장자를 가진 영상포맷이다.The JPEG is a group of experts originally formed jointly by the International Organization for Standardization (ISO) and the World Telegraph and Telephone Consultative Organization (CCITT) to develop a standard algorithm for still image compression, but recently with the Moving Picture Experts Group (MPEG) Likewise it is used to refer to the recommendation of the compression algorithm itself. In other words, the JPEG is an important standard on which MPEG, together with H.261, is a compression standard for color still images. The JPEG is widely used in storage systems such as digital electronic still cameras and video databases, still image transmission devices, transmission systems such as audio graphic conferences, video conferences, and printing systems such as color printers. In other words, JPEG image is an image format with * .jpg extension mainly to express graphic, photo and live image.

이와 같이 JPEG 압축 방식은 정지 영상, 특히 사진 등의 실사 영상 압축에 적합한 압축 방식이다. 특히 JPEG 실사 영상 압축 방식은 호프만(Huffman) 무손실 압축, LZ 무손실 압축, DCT 손실 압축, 양자화 매트릭스, YUV 시각특성 손실 압축 등의 기술로 구성되어 있다. As described above, the JPEG compression method is a compression method suitable for compressing a still image, particularly a live image of a photograph. In particular, the JPEG real image compression method is composed of Huffman lossless compression, LZ lossless compression, DCT loss compression, quantization matrix, and YUV visual loss loss compression.

그리고 휴대폰(Cellular phone)과 같은 이동 단말기에 JPEG 실사 영상 디코더가 최초로 장착된 것은 2001년 하반기로서 아직 이동 단말기에서의 JPEG 포팅 역사는 길지 않고, JPEG 기술을 응용한 새로운 신기술이 적용된 사례가 많지 않다. In the second half of 2001, the JPEG real-time video decoder was first installed in a mobile terminal such as a cellular phone, and the history of JPEG porting in the mobile terminal has not been long, and there are not many cases where new new technologies using JPEG technology have been applied.

도 1은 일반적인 JPEG 부호화 시스템의 구성 블록도로서, 실사 영상을 실시예로 설명한다. 즉 RGB 형태로 입력되는 실사 영상은 RGB/YUV 변환기(101)에서 YUV 형태로 변환되어 휘도 신호 감축기(102)로 출력된다. 여기서 YUV는 밝기와 색차로 색을 표현하는 색좌표로서, Y는 휘도 신호에 해당되고, UV는 색차 신호에 해당된다.FIG. 1 is a block diagram illustrating a general JPEG encoding system. FIG. That is, the real image input in the RGB form is converted into the YUV form by the RGB / YUV converter 101 and output to the luminance signal reducer 102. In this case, YUV is a color coordinate representing a color by a brightness and a color difference, Y corresponds to a luminance signal, and UV corresponds to a color difference signal.

상기 휘도 신호 감축기(102)는 상기 휘도 신호(Y)를 감축한 후 스캔부(103)로 출력하고, 상기 스캔부(103)는 휘도 신호가 감축된 영상 신호를 8*8 블록 단위로 지그재그 스캔하여 DCT부(104)로 출력한다. The luminance signal reducer 102 reduces the luminance signal Y and outputs the scanned signal to the scan unit 103. The scan unit 103 zigzags the image signal in which the luminance signal is reduced in 8 * 8 block units. The scan is output to the DCT unit 104.

상기 DCT부(104)는 8*8 블록 단위로 지그스캔된 영상에 대해 DCT(Discrete Cosine Transform)를 수행하여 양자화기(105)로 출력한다. 즉 상기 DCT부(104)는 각 블록의 영상을 공간 영역으로부터 주파수 영역으로 변환한다. 상기 DCT부(104)에서 한 블록에 대해 DCT가 수행되면, 그 블록의 화소 특성에 따라 DC 성분과 AC 성분의 주파수로 분리되며, 양자화기(105)는 고주파 영역(AC 성분)보다는 저주파 영역(DC 성분)에 많은 정보를 포함하고 있다는 점을 이용하여 양자화를 수행한다. The DCT unit 104 performs a discrete cosine transform (DCT) on the jig-scanned image in units of 8 * 8 blocks and outputs the result to the quantizer 105. That is, the DCT unit 104 converts the image of each block from the spatial domain to the frequency domain. When DCT is performed on a block in the DCT unit 104, the DCT unit 104 is separated into a frequency of a DC component and an AC component according to the pixel characteristics of the block, and the quantizer 105 has a low frequency region rather than a high frequency region (AC component). Quantization is performed by using a lot of information in the DC component).

상기 양자화기(105)에서 양자화를 수행하면 어느 정도 이상의 고주파 성분은 제거하고 저주파 성분만을 취함으로써 압축 효과를 얻을 수 있다. When quantization is performed in the quantizer 105, a compression effect may be obtained by removing a high frequency component to some extent and taking only a low frequency component.

그리고 상기 양자화기(105)에서 양자화된 데이터는 호프만(Huffman)/런-길이(Run length) 부호기(106)에서 호프만 코드(Huffman Code)를 적용하여 자주 나오는 값은 적은 수의 비트로, 드물게 나오는 값은 많은 수의 비트로 할당하여 전체 비트 수를 줄인다. The data quantized by the quantizer 105 is applied to the Huffman code from the Huffman / Run length encoder 106, and the value frequently appears as a few bits. Allocates a large number of bits to reduce the total number of bits.

이렇게 도 1과 같은 JPEG 부호화 알고리즘으로 압축된 JPEG 실사 영상은 도 2와 같은 JPEG 복호화 시스템에서 압축되기 전의 원래 상태로 복원된다. As described above, the JPEG real image compressed by the JPEG encoding algorithm as shown in FIG. 1 is restored to its original state before being compressed by the JPEG decoding system as shown in FIG.

즉 압축된 JPEG 실사 영상은 호프만/런 길이 복호기(201)에서 호프만 및 런 길이 디코딩에 의해 DCT 계수로 변환된 후 역양자화기(202)에서 양자화 값에 따라 역양자화된다. 상기 역양자화된 값은 IDCT부(203)에서 IDCT에 의해 공간적 화소값들로 변환된다. 즉 주파수 영역의 원본 데이터가 공간 영역 즉, 그림 영역 데이터로 변환된다. 상기 IDCT된 데이터는 역 스캔부(204)에서 라스터(raster) 방식으로 스캔된 후 휘도 신호 복원기(205)로 출력되고, 휘도 신호 복원기(205)는 JPEG 압축 과정에서 손실된 휘도 신호(Y)를 복원한다. 그리고 휘도 신호(Y)까지 복원된 YUV 영상신호는 LCD 등의 화면 상에 디스플레이하기 위해 YUV/RGB 변환기(206)에서 RGB 형태로 변환된다. That is, the compressed JPEG real image is converted into DCT coefficients by Hoffman and run length decoding by the Hoffman / Run length decoder 201 and then dequantized by the dequantizer 202 according to the quantization value. The dequantized value is converted into spatial pixel values by IDCT in the IDCT unit 203. That is, the original data of the frequency domain is converted into the spatial domain, that is, the picture domain data. The IDCT data is scanned in a raster manner by the inverse scan unit 204 and then output to the luminance signal decompressor 205, and the luminance signal decompressor 205 uses the luminance signal lost during the JPEG compression process. Restore Y). The YUV image signal restored up to the luminance signal Y is converted into an RGB form by the YUV / RGB converter 206 for display on a screen such as an LCD.

한편 사용자가 휴대폰과 같은 이동 단말기에서 다수개의 정지 영상 즉, 그림이나 사진 등을 검색이나 전송 등을 위해 동시에 한 화면에서 보려면 원래 영상을 작은 사이즈로 다시 변환하여야 한다(resizing). 썸네일 영상이란 원본 영상을 미리 보기(preview) 등을 위해 작게 축소한 영상이다.On the other hand, when a user views a plurality of still images, that is, pictures or photos, on a single screen at the same time for retrieval or transmission in a mobile terminal such as a mobile phone, the original image must be converted back to a smaller size. The thumbnail image is a small scaled down image for preview or the like.

종래의 썸네일 영상은 IDCT 후 공간영역에서 자유롭게 감축/보간 (Decimation/Interpolation)을 이용하여 미리 보기(Preview)에 적당한 크기로 영상을 리사이징(Resizing)한다. 특히 사용자가 원하는 크기로 실사 영상을 변환하기 위해 선형 감축/보간 방법을 사용한다.Conventional thumbnail images are resized to a size suitable for preview by using reduction / interpolation in a spatial region after IDCT. In particular, the linear reduction / interpolation method is used to convert the real image to the desired size.

이와 같이 종래에는 썸네일 영상을 생성하기 위해 화면 사이즈를 변환할 때, 개발자 편의로 영상을 다루기 위해 IDCT 과정을 반드시 거쳐야 한다. As described above, when converting a screen size to generate a thumbnail image, the IDCT process must be performed to handle the image for developer convenience.

그런데 IDCT 과정은 주파수 영역(Frequency domain)의 영상을 공간 영역(Spatial domain)으로 변환하기 위한 알고리즘이므로, 수많은 2차원 배열의 곱셈으로 이루어져 있다. However, since the IDCT process is an algorithm for converting an image of a frequency domain into a spatial domain, the IDCT process consists of multiplication of a number of two-dimensional arrays.

즉 전술한 바와 같이 JPEG 비디오 디코딩시 여러 압축 기술들이 사용되고, 압축을 해제하는 과정에서 많은 계산을 필요로 하므로, 이는 일반 PC에 비해 상대적으로 전력 사용과 CPU 사용이 중요시되는 이동 단말 환경에서는 중요 개선 사항이 될 수 있다. 특히, JPEG 비디오 디코딩 연산 중 40% 이상이 IDCT 알고리즘을 수행하는데 소요되고 주로 곱셈 연산으로 이루어져 있으므로, 이동 단말기는 하나의 영상을 미리 보기(Preview) 즉 썸네일 영상으로 만들기 위해 많은 CPU 클럭을 발생시켜야 한다.That is, as described above, since various compression techniques are used to decode JPEG video, and a lot of calculations are required in the process of decompression, this is an important improvement in a mobile terminal environment where power usage and CPU usage are more important than general PCs. This can be In particular, since more than 40% of JPEG video decoding operations are required to perform IDCT algorithms and mainly consist of multiplication operations, the mobile terminal must generate a large number of CPU clocks in order to preview one image, that is, thumbnail images. .

이와 같은 종래의 썸네일 영상 생성 방법은 개발자 편의 위주의 방법으로서, 사용자는 미리보기를 위해 약간의 시간을 기다려야 하고 이는 사용자의 불편함을 야기시키는 원인이 된다. 또한 썸네일 영상 생성을 위해 IDCT 알고리즘을 수행하므로 전력과 CPU에 큰 부담을 주는 문제가 있다. This conventional thumbnail image generation method is a developer-oriented method, and the user has to wait a little time for previewing, which causes inconvenience to the user. In addition, since the IDCT algorithm is performed to generate the thumbnail image, there is a problem in that a large burden is placed on the power and the CPU.

본 발명은 상기와 같은 문제점을 해결하기 위한 것으로서, 본 발명의 목적은 이동 단말기에서 썸네일 영상을 생성할 때 IDCT 과정을 생략하도록 하는 썸네일 영상 생성 장치 및 방법을 제공함에 있다. An object of the present invention is to provide a thumbnail image generating device and method for omitting an IDCT process when generating a thumbnail image in a mobile terminal.

본 발명의 다른 목적은 이동 단말기에서 DC 계수만으로 썸네일 영상을 생성하는 장치 및 방법을 제공함에 있다.Another object of the present invention is to provide an apparatus and method for generating a thumbnail image using only DC coefficients in a mobile terminal.

상기와 같은 목적을 달성하기 위한 본 발명에 따른 이동 단말기에서의 썸네일 영상 생성 장치는, JPEG 비디오 부호화 알고리즘으로 압축된 정지 영상을 블록 단위로 디코딩하여 DCT 계수를 출력하는 복호부; 상기 복호부에서 출력되는 DCT 계수를 양자화 값에 따라 역양자화하는 역양자화부; 상기 역양자화부에서 역양자화된 DCT 계수로부터 그 블록의 전체적인 평균값을 추출하는 추출부; 그리고 상기 추출부에서 출력되는 해당 블록의 전체적인 평균값의 색좌표를 RGB 형태로 변환하는 썸네일 영상 출력부를 포함하여 구성되는 것을 특징으로 한다.According to an aspect of the present invention, there is provided a thumbnail image generating apparatus of a mobile terminal, comprising: a decoder configured to decode a still image compressed by a JPEG video encoding algorithm in units of blocks and output DCT coefficients; An inverse quantizer for inversely quantizing the DCT coefficients output from the decoder according to a quantization value; An extraction unit for extracting an overall average value of the block from the dequantized DCT coefficients in the inverse quantization unit; And a thumbnail image output unit for converting the color coordinates of the overall average value of the corresponding block output from the extraction unit into an RGB form.

상기 추출부는 상기 DCT 계수로부터 DC 계수만을 추출하는 것을 특징으로 한다.The extracting unit may extract only the DC coefficient from the DCT coefficient.

상기 썸네일 영상 출력부는 JPEG 압축 과정에서 손실된 해당 블록의 전체적인 평균값의 휘도 신호를 복원하는 휘도 신호 복원부를 더 포함하는 것을 특징으로 한다.The thumbnail image output unit may further include a luminance signal restorer configured to restore the luminance signal of the overall average value of the corresponding block lost in the JPEG compression process.

본 발명에 따른 이동 단말기에서의 썸네일 영상 생성 장치는 JPEG 비디오 부호화 알고리즘으로 압축된 정지 영상을 블록 단위로 디코딩하여 DCT 계수를 출력하 는 복호부; 상기 복호부에서 출력되는 DCT 계수를 양자화 값에 따라 역양자화하는 역양자화부; 상기 역양자화부에서 역양자화된 DCT 계수로부터 DC 계수만을 추출하는 DC 추출부; 그리고 상기 DC 추출부에서 추출된 DC 계수의 휘도 신호를 복원한 후 RGB 형태로 변환하는 썸네일 영상 출력부를 포함하여 구성되는 것을 특징으로 한다.An apparatus for generating a thumbnail image in a mobile terminal according to the present invention includes: a decoder for decoding a still image compressed by a JPEG video encoding algorithm in units of blocks and outputting DCT coefficients; An inverse quantizer for inversely quantizing the DCT coefficients output from the decoder according to a quantization value; A DC extracting unit extracting only DC coefficients from the DCT coefficients dequantized by the inverse quantization unit; And a thumbnail image output unit for restoring the luminance signal of the DC coefficient extracted by the DC extraction unit and converting the luminance signal into an RGB form.

본 발명에 따른 이동 단말기에서의 썸네일 영상 생성 방법은, JPEG 비디오 부호화 알고리즘으로 압축된 정지 영상을 블록 단위로 디코딩하여 DCT 계수를 출력하는 단계와, 상기 단계에서 디코딩된 DCT 계수를 양자화 값에 따라 역양자화하는 단계와, 상기 단계에서 역양자화된 DCT 계수로부터 DC 계수만을 추출하는 단계와, 상기 단계에서 추출된 DC 계수의 색좌표를 RGB 형태로 변환하는 단계를 포함하여 이루어지는 것을 특징으로 한다.According to an aspect of the present invention, a method for generating a thumbnail image in a mobile terminal includes: decoding a still image compressed by a JPEG video encoding algorithm in block units and outputting DCT coefficients; Quantizing, extracting only DC coefficients from the dequantized DCT coefficients in the step, and converting the color coordinates of the DC coefficients extracted in the step into an RGB form.

본 발명의 다른 목적, 특징 및 잇점들은 첨부한 도면을 참조한 실시예들의 상세한 설명을 통해 명백해질 것이다.Other objects, features and advantages of the present invention will become apparent from the following detailed description of embodiments taken in conjunction with the accompanying drawings.

이하, 첨부된 도면을 참조하여 본 발명의 실시예의 구성과 그 작용을 설명하며, 도면에 도시되고 또 이것에 의해서 설명되는 본 발명의 구성과 작용은 적어도 하나의 실시예로서 설명되는 것이며, 이것에 의해서 상기한 본 발명의 기술적 사상과 그 핵심 구성 및 작용이 제한되지는 않는다.Hereinafter, with reference to the accompanying drawings illustrating the configuration and operation of the embodiment of the present invention, the configuration and operation of the present invention shown in the drawings and described by it will be described as at least one embodiment, By the technical spirit of the present invention described above and its core configuration and operation is not limited.

본 발명은 이동 단말기에서 썸네일 영상 생성시에 JPEG 비디오 디코딩 연산 중 가장 많은 계산량을 필요로 하는 IDCT 과정을 생략함으로써, 미리보기(preview)와 같이 여러 개의 정지 영상을 한 화면에서 동시에 보려고 할 때의 로딩(loading) 시간을 줄일 수 있다. The present invention omits the IDCT process, which requires the most computational amount of JPEG video decoding operations when generating thumbnail images in a mobile terminal, thereby loading multiple still images on a single screen, such as preview. This can reduce the loading time.

도 3은 본 발명에 따른 썸네일 영상 생성 장치의 일 실시예를 나타낸 구성 블록도로서, JPEG 부호화 알고리즘으로 압축된 정지 영상을 입력받아 호프만/런 길이 디코딩하는 복호기(301), 상기 복호기(301)의 출력에 대해 역양자화를 수행하는 역양자화기(302), 상기 역양자화된 데이터로부터 DC 계수만을 추출하는 DC 추출기(303), 상기 DC 추출기(303)에서 출력된 DC 계수의 휘도 신호를 복원하는 휘도 신호 복원기(304), 및 상기 휘도 복원기(304)의 출력 영상인 YUV 색 좌표를 RGB 색좌표로 변환하는 색좌표 변환기(305)로 구성된다. 여기서 상기 휘도 신호 복원부(304)와 색좌표 변환기(305)를 썸네일 영상 출력부라 한다.3 is a block diagram illustrating an embodiment of a thumbnail image generating apparatus according to an embodiment of the present invention. The decoder 301 receives a still image compressed with a JPEG encoding algorithm and decodes a Hoffman / run length. An inverse quantizer 302 that performs inverse quantization on an output, a DC extractor 303 that extracts only DC coefficients from the dequantized data, and a luminance that restores a luminance signal of the DC coefficients output from the DC extractor 303 And a color coordinate converter 305 for converting the YUV color coordinates, which are output images of the luminance restorer 304, into RGB color coordinates. The luminance signal recovery unit 304 and the color coordinate converter 305 are referred to as thumbnail image output units.

이와 같이 구성된 본 발명은 그림, 그래픽, 사진, 실사 영상과 같은 정지 영상 중 실사 영상을 실시예로 설명한다. The present invention configured as described above will be described by way of example a live image of a still image, such as a picture, graphics, photographs, live image.

즉 압축된 JPEG 실사 영상은 호프만/런 길이 복호기(301)에서 호프만 및 런 길이 디코딩에 의해 DCT 계수로 변환된 후 역양자화기(302)에서 양자화 값에 따라 역양자화된다. 상기 역양자화된 DCT 계수는 DC 추출기(303)로 입력되어 DC 계수만 추출된다. 상기 DC 계수는 도 4의 왼쪽 도면과 같이 블록 단위의 실사 영상을 주파수 영역으로 표현할 때 그 블록의 첫번째 계수로서, 각 블록의 전체적인 평균값을 대표하는 특성을 가진다. 즉 상기 주파수 영역의 블록들의 첫 번째 계수만을 공간 영역으로 변환하면 도 4의 오른쪽 도면과 같이 원래 영상보다 크기가 축소된 썸네일 영상을 생성할 수 있다.That is, the compressed JPEG real image is converted into DCT coefficients by Hoffman and run length decoding by the Hoffman / Run length decoder 301 and then dequantized by the dequantizer 302 according to the quantization value. The dequantized DCT coefficients are input to the DC extractor 303 to extract only the DC coefficients. As shown in the left figure of FIG. 4, the DC coefficient is a first coefficient of the block when the actual image of the block unit is expressed in the frequency domain, and has a characteristic representing the overall average value of each block. That is, when only the first coefficient of the blocks in the frequency domain is converted into the spatial domain, a thumbnail image having a smaller size than the original image can be generated as shown in the right figure of FIG. 4.

도 4는 DC 계수를 이용한 썸네일 영상 구현 과정을 도시한 것이다. 4 illustrates a process of implementing a thumbnail image using DC coefficients.

다음은 DC 계수만을 이용하여 썸네일 영상을 생성하는 과정을 상세히 설명한다. Next, a process of generating a thumbnail image using only DC coefficients will be described in detail.

일반적으로 JPEG 정지 화면은 8x8 블록 단위로 DCT 압축되어 있으며, 총 64개(8x8)의 픽셀 중 첫번째 픽셀(0,0 위치의 픽셀)은 DC 계수로, 나머지 픽셀은 AC계수로 구분된다. 상기 DC 계수는 8x8 블록의 전체적인 에너지 분포를 나타내며, AC 계수는 특정방향과 특정 비율로 이미지 레벨의 값의 변화를 나타낸다. In general, JPEG still pictures are DCT compressed in 8x8 blocks. The first pixel (pixels at position 0,0) of the total 64 (8x8) pixels is divided into DC coefficients and the remaining pixels are classified into AC coefficients. The DC coefficient represents the overall energy distribution of the 8x8 block, and the AC coefficient represents the change of the value of the image level in a specific direction and at a specific ratio.

상기 DC 계수(Coefficient)가 그 블록의 전체적인 에너지 분포를 나타낸다는 것은 상기 DC 계수가 그 블록을 대표함을 의미한다. 따라서 사진 썸네일 미리보기(thumbnail preview) 등에 상기 DC 계수만을 이용하여 디스플레이하더라도 사용자는 사진의 전체적인 의미를 파악할 수 있음을 의미한다. The DC coefficient representing the overall energy distribution of the block means that the DC coefficient represents the block. Therefore, even if the display using only the DC coefficient in the thumbnail preview (thumbnail preview), etc. means that the user can grasp the overall meaning of the picture.

일반적으로 2차원 DCT(2D DCT)는 하기의 수학식 1과 같다. In general, two-dimensional DCT (2D DCT) is shown in Equation 1 below.

상기 수학식 1에서 f(x,y)는 2D 실사영상의 공간 영역을 표현하는 함수이고, C(u,v)는 2D 실사영상의 주파수 영역을 표현하는 함수이다. In Equation 1, f (x, y) is a function for representing a spatial domain of a 2D photorealistic image, and C (u, v) is a function for representing a frequency domain of a 2D photorealistic image.

또한 a(u) 값은 다음의 수학식 2와 같이 표현된다. In addition, the value of a (u) is expressed as in Equation 2 below.

이때 JPEG 영상 블록은 8x8로 이루어져 있고, DC 계수는 C(0,0)를 의미하므로, 상기 수학식 1에 u=v=0을 대입하고, N=8을 대입하여 정리하면 수학식 3과 같다.In this case, since the JPEG image block is composed of 8x8, and the DC coefficient means C (0,0), u = v = 0 is substituted in Equation 1 and N = 8 is arranged in Equation 3 below. .

상기된 수학식 3을 참고할 때, DCT 대상인 블록의 크기 N은 8이므로, DC 계수는 도 4의 오른쪽 도면과 같이 공간 영역의 8x8 블록 전체의 평균값에 8배만큼 스케일(scale, 축소)된 값임을 알 수 있다. 따라서 상기 DC 계수를 그 블록의 대표값으로 선택할 수 있음을 의미한다. Referring to Equation 3 above, since the size N of the block to be DCT is 8, the DC coefficient is a value that is scaled by 8 times the average value of the entire 8x8 block of the spatial domain as shown in the right figure of FIG. Able to know. Therefore, it means that the DC coefficient can be selected as the representative value of the block.

상기 DC 추출부(303)에서 추출된 DC 계수는 휘도 신호 복원기(304)로 입력되고, 상기 휘도 신호 복원기(304)는 JPEG 압축 과정에서 손실된 휘도 신호(Y)를 복원한다. 그리고 휘도 신호(Y)까지 복원된 YUV 영상신호는 LCD 등의 화면 상에 디스플레이하기 위해 색좌표 변환기(305)에서 RGB 형태로 변환된다. The DC coefficient extracted by the DC extractor 303 is input to the luminance signal decompressor 304, and the luminance signal decompressor 304 restores the luminance signal Y lost in the JPEG compression process. The YUV image signal restored up to the luminance signal Y is converted into an RGB form by the color coordinate converter 305 for display on a screen such as an LCD.

도 5는 본 발명을 적용하여 이동 단말기의 화면에 구현된 썸네일 영상의 일 예를 보인 것으로서, (a)는 9개의 썸네일 영상을 한 화면에 디스플레이한 예를 보이고 있다. 그리고 (b)는 (a)의 썸네일 영상 중 하나 즉, 정 가운데의 썸네일 영상의 전체 영상을 보이고 있다. 예를 들어, 도 5의 (a)가 검색 화면이라고 가정할 때, 사용자가 숫자키 등을 이용해 원하는 썸네일 영상(예를 들어 정 가운데의 썸네일 영상)을 선택하면 (b)와 같이 완전히 디코딩된 전체 영상을 볼 수 있다. 5 shows an example of thumbnail images implemented on a screen of a mobile terminal according to the present invention, and (a) shows an example of displaying nine thumbnail images on one screen. And (b) shows one of the thumbnail image of (a), that is, the entire image of the thumbnail image in the center. For example, assuming that (a) of FIG. 5 is a search screen, when a user selects a desired thumbnail image (for example, a thumbnail image in the center) by using a numeric key or the like, the entire decoded image is completely decoded as shown in (b). You can watch the video.

한편 본 발명은 8x8 블록 중에서 하나의 값(즉, DC 계수)으로 그 블럭을 대표하므로 미리보기 크기(size)가 원본 영상 크기에 비해 큰 차이가 나지 않을 경우, 미리보기 영상은 사용자가 알아보기 힘들 정도로 작은 크기가 된다. Meanwhile, since the present invention represents the block by one value (ie, DC coefficient) among 8x8 blocks, when the preview size does not differ significantly from the original image size, the preview image is difficult for the user to recognize. It is small enough.

따라서 본 발명은Therefore, the present invention

. 10만 화소 이상의 카메라 모듈(CCD, CMOS 상관없음). 100,000 pixels or more camera module (regardless of CCD, CMOS)

. 352x288 CIF 이상의 화면 사이즈. 352x288 CIF or larger screen size

를 대상으로 썸네일 영상을 생성할 때 큰 효과를 발휘한다. This is a great effect when creating thumbnail images.

그런데 카메라 모듈을 장착한 대부분의 이동 단말기는 이와 같은 조건을 만족시키므로 카메라가 장착된 대부분의 이동 단말기에 본 발명을 적용시킬 수 있다.However, since most mobile terminals equipped with a camera module satisfy such conditions, the present invention can be applied to most mobile terminals equipped with a camera.

즉 본 발명을 적용하기 위해서는 CIF(352x288)이상의 JPEG 사진 영상을 표현 할 수 있는 10만 화소 이상의 CCD/CMOS 카메라 모듈이 장착되어야 하는 것이 바람직하다. That is, in order to apply the present invention, it is preferable that a CCD / CMOS camera module of 100,000 pixels or more capable of expressing a JPEG photograph image of CIF (352x288) or more should be mounted.

다음의 표 1은 본 발명을 적용하여 썸네일을 생성할 때 원 영상과 썸네일 영상과의 크기를 비교하고 있다. Table 1 below compares the size of the original image and the thumbnail image when generating a thumbnail by applying the present invention.

크기 포맷 Size format 원 영상 크기 Original image size DC 계수로 생성한 썸네일 영상 크기 Thumbnail image size generated by DC coefficients CIF CIF 352x288 352 x 288 44x36 44 x 36 VGA VGA 640x480 640 x 480 80x6080 x 60 SVGA SVGA 800x600 800 x 600 100x75100 x 75 XGA XGA 1024x768 1024x768 128x96128 x 96 SXGA SXGA 1280x1024 1280x1024 160x128160 x 128

즉 이동 단말기에 장착된 카메라 모듈로 실사 영상을 찍어 저장한 후, DC 계수를 이용하여 썸네일 영상을 생성하면 상기 표 1과 같은 크기의 썸네일 영상을 얻을 수 있다.That is, after taking and storing a live image with a camera module mounted on a mobile terminal, generating a thumbnail image using a DC coefficient, a thumbnail image having the size shown in Table 1 may be obtained.

이와 같이 본 발명은 이동 단말기에서 사용자가 썸네일 미리보기(Thumbnail preview)를 통하여 정지 영상 검색이나 다수개의 정지 영상을 동시에 보고자 할 때 특히 유용하다. 특히 본 발명은 사용자가 직접 촬영한 사진들의 썸네일 영상을 로딩(loading)하여 볼 때 유용하다.As such, the present invention is particularly useful when a user wants to search a still image or simultaneously view a plurality of still images through a thumbnail preview in a mobile terminal. In particular, the present invention is useful when loading and viewing thumbnail images of pictures taken by a user.

한편, 본 발명에서 사용되는 용어(terminology)들은 본 발명에서의 기능을 고려하여 정의 내려진 용어들로써 이는 당분야에 종사하는 기술자의 의도 또는 관례 등에 따라 달라질 수 있으므로 그 정의는 본 발명의 전반에 걸친 내용을 토대로 내려져야 할 것이다. On the other hand, the terms used in the present invention (terminology) are terms defined in consideration of the functions in the present invention may vary according to the intention or practice of those skilled in the art, the definitions are the overall contents of the present invention It should be based on.

또한, 본 발명에서는 본 발명의 바람직한 실시예를 통해 본 발명을 설명했으 므로 본 발명의 기술적인 난이도 측면을 고려할 때, 당분야에 통상적인 기술을 가진 사람이면 용이하게 본 발명에 대한 또 다른 실시예와 다른 변형을 가할 수 있다. 따라서 상술한 설명에서 사상을 인용한 실시예와 변형은 모두 본 발명의 청구 범위에 모두 귀속됨은 명백하다.In addition, in the present invention, since the present invention has been described through the preferred embodiments of the present invention, in view of the technical difficulty aspects of the present invention, a person having ordinary skill in the art may easily perform another embodiment of the present invention. Other variations can be made. Therefore, it is apparent that all of the embodiments and variations cited in the above description belong to the claims of the present invention.

이상에서와 같이 본 발명에 따른 이동 단말기에서의 썸네일 영상 생성 장치 및 방법에 의하면, IDCT 과정을 거치지 않고 JPEG의 세가지 성분인 Y,U,V의 DC 값만을 모아서 이동 단말기의 미리보기용 썸네일 영상을 생성함으로써, 다음과 같은 잇점이 있다.As described above, according to the apparatus and method for generating a thumbnail image in a mobile terminal according to the present invention, a thumbnail image for previewing a mobile terminal is collected by collecting only DC values of Y, U, and V, which are three components of JPEG, without going through an IDCT process. By creating, there are the following advantages.

첫째는 이동 단말기 사용자가 사진 썸네일 미리보기를 선택하였을 때 대기 시간(loading) 시간이 줄어드는 효과가 있다.First, when the mobile terminal user selects a picture thumbnail preview, the loading time is reduced.

둘째는 다량으로 신속히 자신의 정지 영상(예를 들어 사진)들을 검색하고 분류 할 수 있어 사용자 편의가 증대되는 효과가 있다. Secondly, it is possible to search and classify own still images (for example, photos) quickly in large quantities, thereby increasing user convenience.

셋째는 썸네일 영상 생성시 IDCT 과정을 생략하므로 하드웨어적인 부담이 적으면서 전체적인 이동 단말기 계산량을 줄여 CPU의 연산시간이 단축되는 효과가 있다. 이로 인해 전체적인 휴대폰의 전력을 절약하는 효과가 있다.Third, since the IDCT process is omitted when generating the thumbnail image, the computational time of the CPU is reduced by reducing the overall mobile terminal calculation amount while reducing the hardware burden. This saves the power of the overall mobile phone.

넷째는 전체적으로 CPU의 부하가 줄어들어 썸네일 미리보기를 통한 정지 영상(예를 들면, 사진) 검색과 다른 작업을 동시에 할 수 있는 멀티태스크 환경을 제공하는 효과가 있다.Fourth, the overall CPU load is reduced, which provides a multitasking environment in which still images (eg, photos) can be searched through thumbnail previews and other tasks can be performed at the same time.

다섯째는 썸네일 미리보기시 각각의 사진 영상을 디코딩 하기 위한 메모리 즉, RAM 사용량이 기존 방식에 비해 크게 줄어들므로 이동 단말기 개발시 RAM 영역 축소와 같은 부품 단가를 낮출 수 있다. Fifth, since the amount of memory used to decode each photo image during thumbnail preview, that is, the amount of RAM used is significantly reduced compared to the conventional method, it is possible to reduce the unit cost such as RAM area reduction when developing a mobile terminal.

이상 설명한 내용을 통해 당업자라면 본 발명의 기술 사상을 일탈하지 아니하는 범위에서 다양한 변경 및 수정이 가능함을 알 수 있을 것이다.Those skilled in the art will appreciate that various changes and modifications can be made without departing from the spirit of the present invention.

따라서, 본 발명의 기술적 범위는 실시예에 기재된 내용으로 한정되는 것이 아니라 특허 청구의 범위에 의하여 정해져야 한다. Therefore, the technical scope of the present invention should not be limited to the contents described in the embodiments, but should be defined by the claims.

Claims

A decoder which decodes the still image compressed by the JPEG video encoding algorithm in units of blocks and outputs DCT coefficients;

An inverse quantizer for inversely quantizing the DCT coefficients output from the decoder according to a quantization value;

An extraction unit for extracting an overall average value of the block from the dequantized DCT coefficients in the dequantization unit; And

And a thumbnail image output unit for converting the color coordinates of the overall average value of the corresponding block output from the extractor into an RGB form.

The method of claim 1, wherein the extraction unit

And extracting only DC coefficients from the DCT coefficients.

The method of claim 1, wherein the thumbnail image output unit

And a luminance signal reconstruction unit for reconstructing the luminance signal of the overall average value of the corresponding block lost in the JPEG compression process.

The method of claim 1,

And a still image input to the decoder is a live image.

A DC extracting unit extracting only DC coefficients from the DCT coefficients dequantized by the inverse quantization unit; And

And a thumbnail image output unit for restoring the luminance signal of the DC coefficient extracted by the DC extraction unit and converting the luminance signal into an RGB form.

(a) outputting DCT coefficients by decoding the still image compressed by the JPEG video encoding algorithm in units of blocks;

(b) dequantizing the DCT coefficients decoded in the above step according to a quantization value;

(c) extracting only DC coefficients from the dequantized DCT coefficients in the step; And

and (d) converting the color coordinates of the DC coefficient extracted in the step into an RGB format.

The method of claim 6, wherein step (d)

And restoring the luminance signal of the DC coefficient lost in the JPEG compression process.