KR100479478B1 - Object-based transcoding method with the importance-degree of each object and apparatus thereof - Google Patents

Object-based transcoding method with the importance-degree of each object and apparatus thereof Download PDF

Info

Publication number
KR100479478B1
KR100479478B1 KR10-2002-0044300A KR20020044300A KR100479478B1 KR 100479478 B1 KR100479478 B1 KR 100479478B1 KR 20020044300 A KR20020044300 A KR 20020044300A KR 100479478 B1 KR100479478 B1 KR 100479478B1
Authority
KR
South Korea
Prior art keywords
importance index
importance
image
objects
index
Prior art date
Application number
KR10-2002-0044300A
Other languages
Korean (ko)
Other versions
KR20040009925A (en
Inventor
서종수
원치선
임재혁
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR10-2002-0044300A priority Critical patent/KR100479478B1/en
Publication of KR20040009925A publication Critical patent/KR20040009925A/en
Application granted granted Critical
Publication of KR100479478B1 publication Critical patent/KR100479478B1/en

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • H04N19/467Embedding additional information in the video signal during the compression process characterised by the embedded information being invisible, e.g. watermarking

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 객체별 중요도를 고려한 객체 기반의 트랜스코딩 방법 및 그 장치를 개시한다.The present invention discloses an object-based transcoding method and apparatus in consideration of object-specific importance.

본 발명에 의하면, 영상을 포함하는 입력 데이터를 영상내의 객체의 모양, 크기, 대비 및 연결성에 따라 객체들로 분할하고, 분할된 객체들에 대해서 각 객체별로 소정의 중요도 인덱스(index)를 결정하며, 객체별 중요도 인덱스를 공간영역 또는 주파수 영역에서 대응하는 객체에 워터마크로 삽입하여 영상을 포함하는 입력 데이터를 부호화하는 단계를 포함하여, 객체별 중요성에 따른 값이 워터마크로 삽입되며, 워터마크와 연관되어 각 객체별로 다른 비트율을 할당하여 트랜스코딩하게 되어, 객체별 중요도를 객체에 삽입하고, 그 중요도에 따른 압축을 객체별로 실행할 수 있으므로, 효과적으로 비디오 및 영상 데이터를 전송할 수 있으며, 중요한 객체는 그렇지 않은 객체보다 선명하게 표시할 수 있으며, 독특한 워터마크를 통해 불법적인 복제를 방지하여 통신망을 통한 저작물 유통이 활발해지는 효과가 있다.According to the present invention, input data including an image is divided into objects according to the shape, size, contrast, and connectivity of an object in the image, and a predetermined importance index is determined for each object for the divided objects. And encoding the input data including the image by inserting the importance index for each object as a watermark in a corresponding object in the spatial domain or the frequency domain, and inserting a value according to the importance of the object as a watermark and associating it with the watermark. By transcoding by assigning different bit rate for each object, it is possible to insert the importance of each object into the object and to perform compression according to the object for each object, so that it is possible to transmit video and video data effectively. Clearer display than objects and unique watermarks prevent illegal duplication The distribution of copyrighted works through the communication network is effective.

Description

객체별 중요도를 고려한 객체 기반의 트랜스코딩 방법 및 그 장치 {Object-based transcoding method with the importance-degree of each object and apparatus thereof}{Object-based transcoding method with the importance-degree of each object and apparatus}

본 발명은 영상 처리에 관한 것으로서, 복제 방지 및 효율적인 압축을 할 수 있는 객체 단위로 트랜스코딩하는 방법 및 그 장치에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to image processing, and more particularly, to a method and apparatus for transcoding by an object unit capable of copy protection and efficient compression.

비디오 및 영상 데이터는 전송 및 저장에 있어 방대한 정보량으로 인해 필연적으로 압축이라는 과정을 거치게 된다. 많은 경우 압축된 비디오 및 영상 데이터를 전송 및 저장하게 될 때 제한된 채널용량이나 저장용량으로 인해 발생되는 문제를 해결하기 위해서 데이터를 원하는 비트율로 다시 압축해 주는 기술이 필요한데 이것이 바로 트랜스코딩이다. Video and video data are inevitably compressed due to the huge amount of information in transmission and storage. In many cases, in order to solve the problems caused by limited channel capacity or storage capacity when transmitting and storing compressed video and video data, a technique of recompressing data at a desired bit rate is necessary.

이와 더불어 현재 새로운 동영상 부호화 표준안인 MPEG-4는 영상을 객체에 기반하여 표현할 수 있게 하여 임의의 모양을 가지는 영상 객체들을 서로 독립적인 비트열로 부호화 할 수 있고, 비트열로부터 필요한 객체들만 복호화할 수 있다. 기존의 프레임 기반 압축 기법들에 비하여 멀티미디어 정보를 객체에 기반하여 표현하고 부호화함으로써 MPEG-4는 새롭게 태어나는 다양한 멀티미디어 응용을 수용할 수 있게 되었다. 또한 화소당 0.25 비트 이하의 낮은 비트율에서 이전의 표준보다 더 좋은 화질을 제공하고자 하는 JPEG2000에서도 영상 내부에서 중요한 부분이나 사용자가 관심 있는 부분(ROI : Region of Interest)을 임의로 접근할 수 있게 한다. In addition, MPEG-4, a new video coding standard, can express images based on objects, and can encode image objects having arbitrary shapes into independent bit streams, and decode only necessary objects from bit streams. have. Compared with the existing frame-based compression techniques, multimedia information is represented and encoded based on objects, and MPEG-4 can accommodate a variety of newly born multimedia applications. In addition, JPEG2000, which seeks to provide better image quality than the previous standard at a low bit rate of 0.25 bits or less per pixel, allows arbitrary access to important areas within the image or a region of interest (ROI).

이렇듯 현재 표준화가 진행되고 있거나 최근 완료된 압축 기술들은 임의의 모양을 갖는 영상 객체를 그 응용 대상으로 하고 있다. 따라서 앞으로 있을 MPEG-4의 다양한 응용과 JPEG2000의 표준화 방향 등을 고려할 때 종래의 트랜스코딩의 단위도 기존의 프레임(frame) 기반에서 벗어난 객체단위의 트랜스코딩 방법이 필요하다. As such, standardization is currently progressing or recently completed compression techniques are targeting an image object having an arbitrary shape. Therefore, in consideration of various applications of MPEG-4 and standardization directions of JPEG2000 in the future, the conventional transcoding unit also needs a transcoding method of an object unit deviating from the existing frame basis.

종래의 트랜스코딩 방법을 사용하는 경우 영상 안에 존재하는 객체들에 대한 특징들을 데이터베이스에 저장하고, 객체별 트랜스코딩이 필요할 경우 이러한 정보들을 이용하여 객체의 중요성을 산정한다. 하지만 이러한 정보들이 객체들의 중요성을 정확히 반영하지 못하고 있으며, 중요도를 산정하기 위해서 별도의 데이터베이스의 관리가 필요하여 영상을 코딩 내지는 압축하는데 필요한 자료가 많아지며, 이를 구현하기 위한 시스템의 크기가 커져서 비효율적이다. In the case of using the conventional transcoding method, the characteristics of the objects existing in the image are stored in a database, and when the transcoding for each object is needed, the importance of the object is calculated using the information. However, these informations do not accurately reflect the importance of the objects, and it is necessary to manage a separate database to calculate the importance, so that the data necessary for coding or compressing the image is large, and the size of the system for implementing the size is inefficient. .

그리고 이때에 영상 데이터에 삽입된 각 객체들에 대한 중요도를 고려하지 않고 일률적으로 압축하게 되면 효율적인 압축이 되지 않는 문제가 있다.In this case, there is a problem in that efficient compression is not performed when uniform compression is performed without considering the importance of each object inserted into the image data.

본 발명이 이루고자 하는 기술적인 과제는, 상기의 문제점들을 해결하기 위해, 객체의 중요도를 나타낼 수 있는 요소를 객체 내에 직접 삽입하여, 객체의 중요도를 워터마크(watermark)로 하여 보안 내지는 저작권 보호를 할 수 있게 하는 방법 및 장치와, 객체 단위로 트랜스코딩할 때에 언제든지 삽입된 정보를 추출하여 객체의 중요도를 판별할 수 있고, 이러한 중요도를 바탕으로 객체별로 서로 다른 비트율을 적용하는 트랜스코딩 방법 및 그 장치를 제공하는데 있다.The technical problem to be solved by the present invention is to solve the above problems, by inserting an element that can indicate the importance of the object directly into the object, security or copyright protection by making the importance of the object as a watermark (watermark) A method and apparatus for enabling an apparatus, and a transcoding method and apparatus for applying different bit rates for each object based on the importance can be determined by extracting the inserted information at any time when transcoding on a per-object basis. To provide.

본 발명이 이루고자 하는 다른 기술적인 과제는, 상기의 방법을 포함하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는 데 있다.Another technical problem to be solved by the present invention is to provide a computer-readable recording medium which records a program including the above method.

상기 기술적 과제를 해결하기 위한 본 발명에 의한, 객체 기반의 트랜스코딩 방법은, (a) 영상을 포함하는 입력 데이터를 영상내의 객체의 모양, 크기, 대비 및 연결성에 따라 객체들로 분할하는 단계; (b) 상기 분할된 객체들에 대해서 각 객체별로 소정의 중요도 인덱스(index)를 결정하고, 중요도 인덱스를 대응하는 객체마다 인코딩하는 단계; 및 (c) 상기 객체별 중요도 인덱스를 공간영역 또는 주파수 영역에서 대응하는 객체에 워터마크로 삽입하여 상기 영상을 포함하는 입력 데이터를 부호화하는 단계;를 포함하며, 상기 (c) 단계에서 공간 영역에서 상기 인코딩된 중요도 인덱스를 소정 크기의 블록 단위로 반복적으로 객체에 삽입하거나, 상기 입력 데이터가 비디오/영상 데이터일 경우에 상기 (c) 단계에서 부호화할 때에 MPEG-4 혹은 JPEG2000의 형식으로 압축을 하며, 이때에 각 객체 내의 DCT 블록의 계수들을 이용하여 상기 인코딩된 중요도 인덱스를 삽입하거나 혹은 상기 입력 데이터가 비트스트림 데이터일 경우에 상기 (c) 단계에서 중요도 인덱스를 삽입하려는 객체만을 복호화하여 DCT 블록의 계수를 얻고, 이 계수를 이용해서 상기 인코딩된 중요도 인덱스를 삽입하는 것을 특징으로 한다.In accordance with an aspect of the present invention, an object-based transcoding method includes: (a) dividing input data including an image into objects according to shapes, sizes, contrasts, and connectivity of objects in the image; (b) determining a predetermined importance index for each of the divided objects and encoding the importance index for each corresponding object; And (c) encoding the input data including the image by inserting the importance index for each object into a corresponding object in a spatial domain or a frequency domain as a watermark, and in step (c), The encoded materiality index is repeatedly inserted into an object in blocks of a predetermined size, or when the input data is video / video data, compression is performed in the format of MPEG-4 or JPEG2000 when encoding in the step (c). At this time, the encoded importance index is inserted using coefficients of the DCT block in each object, or if the input data is bitstream data, only the object to which the importance index is to be inserted in step (c) is decoded to count the DCT block. It is characterized by inserting the encoded importance index using this coefficient.

상기 다른 기술적 과제를 해결하기 위한 본 발명에 의한, 객체 기반의 트랜스코딩 장치는, 영상을 포함하는 입력 데이터를 수신하는 영상데이타수신부; 상기 수신한 입력 데이터를 영상에 포함된 객체의 모양, 크기, 대비 및 연결성에 따라 객체들로 분할하는 객체분할부; 상기 분할된 객체들에 대한 각 객체별로 중요도 인덱스를 입력받아 중요도 인덱스를 각 대응하는 객체마다 인코딩하는 인덱스입력부; 및 상기 입력받은 객체별 중요도 인덱스를 공간 영역과 주파수 영역에서 워터마크로 삽입하여 대응하는 객체에 삽입하여 상기 입력된 데이터를 부호화하는 부호부;를 포함하여, 상기 부호부는 공간 영역에서 상기 인코딩된 중요도 인덱스를 소정 크기의 블록 단위로 반복적으로 객체에 삽입하거나, 상기 입력 데이터가 비디오/영상 데이터일 경우에 부호화할 때에 MPEG-4 혹은 JPEG2000의 형식으로 압축을 하며, 이때에 각 객체 내의 DCT 블록의 계수들을 이용하여 상기 인코딩된 중요도 인덱스를 삽입하거나, 혹은 상기 입력 데이터가 비트스트림 데이터일 경우에 중요도 인덱스를 삽입하려는 객체만을 복호화하여 DCT 블록의 계수를 얻고, 이 계수를 이용해서 상기 인코딩된 중요도 인덱스를 삽입하는 것을 특징으로 한다.In accordance with another aspect of the present invention, there is provided an object-based transcoding apparatus comprising: an image data receiver configured to receive input data including an image; An object dividing unit dividing the received input data into objects according to a shape, size, contrast, and connectivity of an object included in an image; An index input unit which receives an importance index for each object of the divided objects and encodes the importance index for each corresponding object; And a coder for inserting the received importance index for each object into a corresponding object by inserting the watermark in a spatial domain and a frequency domain into a corresponding object to encode the input data. Is repeatedly inserted into an object in blocks of a predetermined size or compressed in the form of MPEG-4 or JPEG2000 when the input data is video / video data, and the coefficients of the DCT blocks in each object are compressed. Insert the encoded importance index or decode only the object to which the importance index is to be inserted if the input data is bitstream data to obtain a coefficient of the DCT block, and use the coefficient to insert the encoded importance index. Characterized in that.

상기 또 다른 기술적 과제를 해결하기 위한 본 발명에 의한, 각 객체별로 중요도 인덱스가 워터마크로 삽입되어 있는 부호화된 영상 데이터를 트랜스코딩하는 방법에 있어서, (a) 상기 영상 데이터를 데이터의 종류에 따라 객체별로 복호화하는 단계; (b) 복호화된 객체들을 객체별로 분리하는 단계; (c) 분리된 객체별로 중요도 인덱스를 추출하는 단계; (d) 각 객체별 중요도 인덱스에 따라 소정의 비트율을 객체마다 할당하는 단계; 및 (e) 상기 객체별로 할당된 비트율에 따라 객체별로 트랜스코딩하여 부호화하는 단계를 포함하는 것을 특징으로 한다.According to the present invention for solving the above technical problem, a method of transcoding encoded image data in which a importance index is inserted into a watermark for each object, the method comprising: (a) an object according to the type of data; Decoding each other; (b) separating the decrypted objects for each object; (c) extracting an importance index for each separated object; (d) allocating a predetermined bit rate for each object according to the importance index for each object; And (e) transcoding and encoding each object according to the bit rate allocated to each object.

상기 또 다른 기술적 과제를 해결하기 위한 본 발명에 의한, 각 객체별로 중요도 인덱스가 워터마크로 삽입되어 있는 영상 데이터를 트랜스코딩하는 장치에 있어서, 상기 영상 데이터를 데이터의 종류에 따라 객체별로 복호화하는 객체별복호화부; 상기 복호화된 객체들을 객체별로 분리하는 객체별분리부; 상기 분리된 객체별로 중요도 인덱스를 소정의 잡음으로 간주하여 중요도 인덱스를 추출하는 중요도인덱스추출부; 상기 추출된 중요도 인덱스에 따라 소정의 비트율을 각 객체마다 할당하는 비트율할당부; 및 상기 객체별로 할당된 비트율에 따라 객체별로 트랜스코딩하여 부호화하는 트랜스코딩부를 포함하는 것을 특징으로 한다.According to an embodiment of the present invention for solving the above technical problem, an apparatus for transcoding image data in which a importance index is inserted as a watermark for each object, wherein each object decodes the image data for each object according to a type of data. A decoder; An object separator that separates the decoded objects by objects; An importance index extractor configured to extract the importance index by considering the importance index as the predetermined noise for each of the separated objects; A bit rate allocation unit for allocating a predetermined bit rate for each object according to the extracted importance index; And a transcoding unit configured to transcode and encode each object according to the bit rate allocated to each object.

상기 또 다른 기술적 과제를 해결하기 위한 본 발명에 의한, 객체 기반의 트랜스코딩 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체는, (a) 영상을 포함하는 입력 데이터를 영상내의 객체의 모양, 크기, 대비 및 연결성에 따라 객체들로 분할하는 단계; (b) 상기 분할된 객체들에 대해서 각 객체별로 소정의 중요도 인덱스(index)를 결정하고, 중요도 인덱스를 대응하는 객체마다 인코딩하는 단계; 및 (c) 상기 객체별 중요도 인덱스를 공간영역 또는 주파수 영역에서 대응하는 객체에 워터마크로 삽입하여 상기 영상을 포함하는 입력 데이터를 부호화하는 단계;를 포함하며, 상기 (c) 단계에서 공간 영역에서 상기 인코딩된 중요도 인덱스를 소정 크기의 블록 단위로 반복적으로 객체에 삽입하거나, 상기 입력 데이터가 비디오/영상 데이터일 경우에 상기 (c) 단계에서 부호화할 때에 MPEG-4 혹은 JPEG2000의 형식으로 압축을 하며, 이때에 각 객체 내의 DCT 블록의 계수들을 이용하여 상기 인코딩된 중요도 인덱스를 삽입하거나 혹은 상기 입력 데이터가 비트스트림 데이터일 경우에 상기 (c) 단계에서 중요도 인덱스를 삽입하려는 객체만을 복호화하여 DCT 블록의 계수를 얻고, 이 계수를 이용해서 상기 인코딩된 중요도 인덱스를 삽입하는 것을 특징으로 한다.According to another aspect of the present invention, a computer-readable recording medium having recorded thereon an object-based transcoding program includes: (a) shape, size, and contrast of input data including an image; Dividing into objects according to connectivity; (b) determining a predetermined importance index for each of the divided objects and encoding the importance index for each corresponding object; And (c) encoding the input data including the image by inserting the importance index for each object into a corresponding object in a spatial domain or a frequency domain as a watermark, and in step (c), The encoded materiality index is repeatedly inserted into an object in blocks of a predetermined size, or when the input data is video / video data, compression is performed in the format of MPEG-4 or JPEG2000 when encoding in the step (c). At this time, the encoded importance index is inserted using coefficients of the DCT block in each object, or if the input data is bitstream data, only the object to which the importance index is to be inserted in step (c) is decoded to count the DCT block. It is characterized by inserting the encoded importance index using this coefficient.

상기 또 다른 기술적 과제를 해결하기 위한 본 발명에 의한, 각 객체별로 중요도 인덱스가 워터마크로 삽입되어 있는 영상 데이터를 트랜스코딩하는 방법을 기록한 기록매체에 있어서, (a) 상기 영상 데이터를 데이터의 종류에 따라 객체별로 복호화하는 단계; (b) 복호화된 객체들을 객체별로 분리하는 단계; (c) 분리된 객체별로 중요도 인덱스를 추출하는 단계; (d) 각 객체별 중요도 인덱스에 따라 소정의 비트율을 객체마다 할당하는 단계; 및 (e) 상기 객체별로 할당된 비트율에 따라 객체별로 트랜스코딩하여 부호화하는 단계를 포함하는 것을 특징으로 한다.According to the present invention for solving the above-mentioned technical problem, a recording medium recording a method of transcoding video data having an importance index inserted as a watermark for each object, comprising: (a) assigning the video data to a type of data; Decoding each object accordingly; (b) separating the decrypted objects for each object; (c) extracting an importance index for each separated object; (d) allocating a predetermined bit rate for each object according to the importance index for each object; And (e) transcoding and encoding each object according to the bit rate allocated to each object.

이하에서 첨부된 도면을 참조하여 본 발명의 바람직한 일 실시예를 상세히 설명한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명에 따른 객체별 중요도를 고려한 객체 기반의 트랜스코딩 방법의 흐름을 도시한 것이다.1 illustrates a flow of an object-based transcoding method considering the importance of each object according to the present invention.

이 방법은 영상을 포함하는 입력 데이터를 영상내의 객체의 모양, 크기, 대비 및 연결성에 따라 객체들로 분할하고(100 단계), 상기 분할된 객체들에 대해서 각 객체별로 소정의 중요도 인덱스(index)를 결정하여, 중요도 인덱스를 대응하는 각 객체마다 인코딩하며(110 단계), 객체별 중요도 인덱스를 공간영역 또는 주파수 영역에서 대응하는 객체에 워터마크로 삽입하여 상기 영상을 포함하는 입력 데이터를 부호화한다(120 단계). The method divides the input data including the image into objects according to the shape, size, contrast and connectivity of the objects in the image (step 100), and a predetermined importance index for each object for the divided objects. In operation 110, the importance index is encoded for each corresponding object (step 110), and the input index including the image is encoded by inserting the importance index for each object into a corresponding object in a spatial domain or a frequency domain (120). step).

도 2는 본 발명에 따른 객체별 중요도를 고려한 객체 기반의 트랜스코딩 장치의 구성의 일예를 블록으로 도시한 것이다.2 is a block diagram illustrating an example of a configuration of an object-based transcoding apparatus in consideration of importance of each object according to the present invention.

이 장치는 영상을 포함하는 입력 데이터를 수신하는 영상데이타수신부(200), 상기 수신한 입력 데이터를 영상에 포함된 객체의 모양, 크기, 대비 및 연결성에 따라 객체들로 분할하는 객체분할부(210), 상기 분할된 객체들에 대한 각 객체별로 중요도 인덱스를 입력받아 대응하는 각 객체마다 인코딩하는 인덱스입력부(220) 및 상기 입력받은 객체별 중요도 인덱스를 공간 영역과 주파수 영역에서 워터마크로 삽입하여 대응하는 객체에 삽입하여 상기 입력된 데이터를 부호화하는 부호부(230)를 포함한다.The apparatus includes an image data receiver 200 for receiving input data including an image, and an object divider 210 for dividing the received input data into objects according to the shape, size, contrast, and connectivity of an object included in the image. ), An index input unit 220 for receiving an index of importance for each object of the divided objects and encoding the corresponding index for each object, and inserting the received index of importance for each object as a watermark in a spatial domain and a frequency domain to correspond to each other. And a coder 230 that inserts an object and encodes the input data.

부호부(230)는 입력받은 객체별 중요도 인덱스를 공간 영역에서 워터마크로 객체에 삽입하는 공간영역워터마크삽입부(240), 객체별 중요도 인덱스를 주파수 영역에서 워터마크로 삽입하여 대응하는 객체에 삽입하는 주파수영역워터마크삽입부(250) 및 워터마크가 삽입된 객체를 부호화하여 MPEG-4 스트림으로 출력하는 MPEG-4처리부(26)로 구성된다.The coder 230 inserts an input importance index for each object into the object as a watermark in the spatial domain, and inserts a watermark in the frequency domain into the corresponding object by inserting the importance index for each object as a watermark in the frequency domain. A frequency domain watermark inserting unit 250 and an MPEG-4 processing unit 26 for encoding the object in which the watermark is inserted and outputting the MPEG-4 stream are included.

영상데이타수신부(200)를 통해 영상 데이터를 입력받는다. 영상 혹은 비디오 데이터를 본 발명을 이용하여 부호화하기 위한 것일 수도 있고, 혹은 부호화하여 저장하거나 전송하려는 목적일 수도 있을 것이다.Image data is received through the image data receiver 200. It may be for encoding the image or video data using the present invention, or may be for the purpose of encoding and storing or transmitting.

객체분할부(210)는 워터마크를 삽입하려는 비디오/영상 데이터를 반자동 또는 자동 영상분할 기법을 이용하여 객체단위로 분할한다(100 단계). 영상을 분할하는 기법은 영상 내에서 객체의 모양, 크기, 대비 및 객체간의 연결성을 이용하여 영상을 객체단위로 분할하는 것이다. 영상데이타수신부(200)를 통해 입력되는 영상 데이터가 MPEG 형식에 따른 데이터인 경우 MPEG 형식의 데이터를 객체 단위로 분할하는 것은 MPEG 규격에 따라 용이하게 실행할 수 있다.The object dividing unit 210 divides the video / image data into which the watermark is to be inserted, by object unit using a semi-automatic or automatic image dividing technique (step 100). The technique of segmenting an image is to segment the image by object using the shape, size, contrast, and connectivity between objects in the image. When the image data input through the image data receiver 200 is data according to the MPEG format, dividing the MPEG format data into object units can be easily performed according to the MPEG standard.

이렇게 분할되는 객체의 모양과 수는 자동적으로 혹은 사용자에 의해서 임의적으로 선택되어질 수 있다. 분할된 객체에 대해서 미리 정해진 소정의 기준에 따라 자동적으로 혹은 사용자가 객체에 대한 중요도를 선정하여 객체마다 중요도 인덱스를 할당하고 그 결과가 인덱스입력부(220)를 통해 전해진다(110 단계).The shape and number of objects to be divided can be selected automatically or arbitrarily by the user. According to a predetermined criterion for the divided object, the user automatically selects the importance of the object and assigns the importance index to each object, and the result is transmitted through the index input unit 220 (step 110).

중요도를 결정하는 것은, 예를 들어, 주어진 영상이 전경(foreground)과 배경(background)의 두 객체로 분할되었을 경우, 일반적으로 전경의 중요도가 배경보다 높기 때문에 전경에는 A라는 중요도 인덱스를, 배경에는 B라는 중요도 인덱스를 할당한다. 물론 A 인덱스는 B 인덱스보다 중요도가 높은 것이다.Determining the importance is, for example, when a given image is divided into two objects, foreground and background, the importance index of A is usually used for the foreground because the foreground is more important than the background. Allocate an importance index named B. Of course, the A index is more important than the B index.

혹은 특정한 대상(예를 들면 특정 인물이나 물체)인 객체에 대해서는 제일 높은 중요도를 가지도록 하고, 다른 객체는 그보다 중요도를 낮게 하며, 또 다른 객체에는 그보다도 더 낮은 중요도를 가지게 할 수도 있을 것이다.Or you might want to have the highest priority for an object that is a specific object (for example, a particular person or object), lower priority for another object, and lower priority for another object.

이와 같이 객체마다 결정된 중요도 인덱스를 부호부(230)가 해당 객체 안에 삽입한다. 이때에 중요도 인덱스를 불법 복제를 방지 내지는 추적하기 위한 워터마크(watermark)로 하여 삽입한다. 즉 워터마킹 기법을 사용하게 된다.In this way, the sign 230 determines the importance index determined for each object in the object. At this time, the importance index is inserted as a watermark for preventing or tracking illegal copying. In other words, watermarking techniques are used.

본 발명에서는 일반적으로 사용되는 워터마킹 기법을 사용하여 객체에 대한 중요도 인덱스를 해당 객체에 삽입하였으며, 그 방법의 예로, 객체에 대한 기하학적인 공격에 강인하기 위해서, 참조번호 110 단계에서 객체에 대한 중요도 인덱스를 대응하는 객체마다 인코딩하며, 참조번호 120 단계에서 공간 영역에서 상기 인코딩된 중요도 인덱스를 소정 크기의 블록 단위로 반복적으로 객체에 삽입하는 것이 바람직하다.In the present invention, the importance index for an object is inserted into the object by using a commonly used watermarking technique. As an example of the method, in order to be robust to the geometric attack on the object, the importance of the object in step 110 is referred to. An index is encoded for each corresponding object, and in step 120, the encoded importance index is repeatedly inserted into the object in units of blocks having a predetermined size in a spatial domain.

사용자 정의에 의해서 추출된 객체에 삽입되는 워터마크 시퀀스(sequence)를 N*N 블록 단위로 생성한다. 예를 들어 32*32 블록의 워터마크 시퀀스를 생성할 경우, 해당 블록에는 한 개의 1024(32*32) 길이의 슬롯(slot)이 존재한다. 이러한 블록을 사용자 키에 의해서 2개의 512길이의 슬롯으로 나눈 다음, 첫 번째 슬롯에는 동기신호를 그리고 두 번째 슬롯에는 해당 객체 중요도 인덱스에 관련된 메시지를 인코딩하여 할당한다.  A watermark sequence inserted into the object extracted by the user definition is generated in N * N block units. For example, when generating a watermark sequence of 32 * 32 blocks, one block of 1024 (32 * 32) lengths exists in the block. The block is divided into two 512 length slots by user keys, and then encoded and allocated to the first slot and a message related to the object importance index in the second slot.

동기신호의 경우 영상에 가해진 기하학적인 변환을 예측할 때 사용되며, -1과 1로 구성된 512 길이의 랜덤 변수를 사용한다. 메시지 코딩 방법은 통신이론에서 많이 사용되는 M진 변조(M-ary modulation)방법을 사용한다. 예를 들면, 삽입하고자 하는 객체 중요도의 인덱스가 A일 경우, 이것에 대한 ASCII 코드는 65가 된다. 이러한 ASCII 코드를 씨드(seed)로 사용하여 512길이의 시퀀스를 발생시키고, 이 값을 해당 슬롯에 할당한다. The synchronization signal is used to predict the geometric transformation applied to the image, and uses a 512-length random variable consisting of -1 and 1. The message coding method uses an M-ary modulation method which is widely used in communication theory. For example, if the index of object importance to be inserted is A, the ASCII code for this is 65. Using this ASCII code as a seed, we generate a 512-length sequence and assign this value to that slot.

워터마크 인코딩 과정이 끝나면 32*32블록에 이진 코드(-1, 1)가 모두 할당되어진다. 객체에 대한 기하학적인 조작을 고려하기 위해서 메시지를 인코딩하는 과정에서 생성된 N*N 워터마크 블록을 반복적으로 삽입한다. 도 3a가 추출된 객체라고 하면, 도 3b는 주기적으로 N*N 워터마크 블록이 반복적으로 삽입된 모습을 도시한 것이다.After the watermark encoding process, all binary codes (-1, 1) are allocated to 32 * 32 blocks. In order to consider the geometric manipulation of the object, the N * N watermark block generated in encoding the message is repeatedly inserted. If FIG. 3A is an extracted object, FIG. 3B shows a state in which N * N watermark blocks are repeatedly inserted.

I(x,y)를 추출된 객체 내의 밝기 값이라고 할 때 삽입 방법의 일예는 다음의 수학식 1과 같다. When I (x, y) is a brightness value in the extracted object, an example of the insertion method is shown in Equation 1 below.

이 때 는 워터마크를 강인하게 삽입하기 위하여 영상에 대한 인간시각시스템(HVS : Human Visual System)을 이용하여 얻은 위치에서의 화소 단위 가중치이다. 는 메시지 인코딩하는 과정에서 생성된 워터마크 시퀀스 중 (x,y)위치에서의 값을 나타낸다.At this time Is a pixel unit weight at a position obtained by using a human visual system (HVS) for an image to strongly insert a watermark. Denotes a value at (x, y) in the watermark sequence generated during message encoding.

상기와 같이 삽입된 워터마크를 추출하는 것에 대해서는 아래에서 다시 설명될 것이다.Extracting the inserted watermark as described above will be described again below.

본 발명에서는 객체에 대한 중요도 인덱스를 해당 객체에 워터마크로 삽입하는 다른 방법으로는, 객체에 대한 기하학적인 공격을 고려하지 않고, 실시간 워터마크 삽입 및 검출 또는 잡음 첨가 같은 일반적인 공격만을 고려하여 워터마크를 삽입하는 방법을 사용할 수 있다.In the present invention, another method of inserting an importance index of an object into the object as a watermark may include a watermark in consideration of general attacks such as real-time watermark insertion and detection or noise addition, without considering geometric attacks on the object. You can use the insert method.

이를 위해, 참조번호 110 단계에서 객체에 대한 중요도 인덱스를 대응하는 객체마다 인코딩하며, 입력되는 데이터가 비디오/영상 데이터일 경우에 참조번호 120 단계에서 부호화할 때에 MPEG-4 혹은 JPEG2000의 형식으로 압축을 하며, 이때에 각 객체 내의 DCT 블록의 계수들을 이용하여 상기 인코딩된 중요도 인덱스를 삽입하는 것이 바람직하다.To this end, in step 110, the importance index of the object is encoded for each corresponding object, and when the input data is video / video data, the compression is performed in the format of MPEG-4 or JPEG2000 when encoding in step 120. In this case, it is preferable to insert the encoded importance index using coefficients of the DCT block in each object.

또는 입력 데이터가 비트스트림 데이터일 경우에 참조번호 120 단계에서 중요도 인덱스를 삽입하려는 객체만을 복호화하여 DCT 블록의 계수를 얻고, 이 계수를 이용해서 상기 인코딩된 중요도 인덱스를 삽입하는 것이 바람직하다.Alternatively, when the input data is bitstream data, in step 120, it is preferable to obtain only coefficients of the DCT block by decoding only the object to which the importance index is to be inserted, and insert the encoded importance index using the coefficients.

공간영역워터마크삽입부(240)와 주파수영역워터마크삽입부(250)는 중요도 인덱스를 공간 영역과 주파수 영역에서 워터마크로 삽입하여 대응하는 각 객체에 삽입한다. 그리고 MPEG-4처리부(260)에서는 MPEG-4 규격에 규정된 형식으로 중요도 인덱스가 포함된 객체들을 부호화한다(120). 이때에 MPEG-4 형식으로 부호화하는 것은 하나의 예이며 예를 들어 JPEG2000 등의 다른 방식의 객체 압축 기술을 사용해도 본 발명의 요지는 그대로 유지된다.The spatial domain watermark inserter 240 and the frequency domain watermark inserter 250 insert the importance index as a watermark in the spatial domain and the frequency domain, and insert the index into each corresponding object. The MPEG-4 processor 260 encodes the objects including the importance index in a format defined by the MPEG-4 standard (120). At this time, encoding in the MPEG-4 format is one example, and the gist of the present invention is retained even if other object compression techniques such as JPEG2000 are used.

상기에 설명된 바와 같이 압축된 혹은 부호화된 영상 데이터나 비트스트림 영상 데이터가 기존의 채널용량과 다른 네트워크 환경에서 전송이 되거나, 기존의 저장용량보다 제한된 저장매체로 이동할 경우, 다른 환경에 맞게 원하는 비트율로 혹은 다른 환경에 적절한 압축률에 따라 재압축을 해야 할 필요가 있다. 이러한 경우 일반적으로 객체별 중요도가 서로 다르기 때문에 객체마다 똑 같은 비트율을 적용하는 것은 비효율적이다. 따라서 객체별 중요도에 따른 비트율 조정은 반드시 필요한 과정이다. 이러한 요구조건을 만족하기 위한 방법을 설명한다.As described above, when compressed or encoded video data or bitstream video data is transmitted in a network environment different from the existing channel capacity, or moved to a storage medium that is limited than the existing storage capacity, a desired bit rate for different environments It may be necessary to recompress at a compression rate suitable for furnaces or other environments. In this case, it is inefficient to apply the same bit rate to each object because the importance of each object is different. Therefore, bit rate adjustment according to the importance of each object is a necessary process. A method for satisfying these requirements is described.

도 4는 본 발명에 따른 객체별 중요도를 고려한 객체 기반의 트랜스코딩 방법의 흐름을 도시한 것이다.4 illustrates a flow of an object-based transcoding method in consideration of importance of each object according to the present invention.

각 객체별로 중요도 인덱스가 워터마크로 삽입되어 있는 부호화된 영상 데이터를 트랜스코딩하는 이 방법은, 상기 영상 데이터를 데이터의 종류에 따라 객체별로 복호화하고(400 단계), 복호화된 객체들을 객체별로 분리하며(410 단계), 분리된 객체별로 중요도 인덱스를 추출하고(420 단계), 각 객체별 중요도 인덱스에 따라 소정의 비트율을 객체마다 할당하며(430 단계), 상기 객체별로 할당된 비트율에 따라 객체별로 트랜스코딩하여 부호화한다(440 단계).In this method of transcoding encoded image data having an importance index inserted as a watermark for each object, the image data is decoded for each object according to the type of data (step 400), and the decoded objects are separated for each object (step 400). Step 410), extracting the importance index for each separated object (step 420), assigning a predetermined bit rate for each object according to the importance index for each object (step 430), and transcoding for each object according to the bit rate allocated for each object Encoding is performed (step 440).

도 5는 본 발명에 따른 객체별 중요도를 고려한 객체 기반의 트랜스코딩 장치의 구성을 블록으로 도시한 것이다.5 is a block diagram showing the configuration of an object-based transcoding device considering the importance of each object according to the present invention.

각 객체별로 중요도 인덱스가 워터마크로 삽입되어 있는 영상 데이터를 트랜스코딩하는 이 장치는, 상기 영상 데이터를 데이터의 종류에 따라 객체별로 복호화하는 객체별복호화부(400), 상기 복호화된 객체들을 객체별로 분리하는 객체별분리부(510), 상기 분리된 객체별로 중요도 인덱스를 소정의 잡음으로 간주하여 중요도 인덱스를 추출하는 중요도인덱스추출부(520), 상기 추출된 중요도 인덱스에 따라 소정의 비트율을 각 객체마다 할당하는 비트율할당부(530) 및 상기 객체별로 할당된 비트율에 따라 객체별로 트랜스코딩하여 부호화하는 트랜스코딩부(540)를 포함한다.The apparatus for transcoding video data having an importance index inserted as a watermark for each object includes: an object-based decoder 400 for decoding the video data for each object according to the type of data, and separating the decoded objects for each object. The object-separation unit 510, an importance index extractor 520 for extracting an importance index by considering the importance index for each separated object as a predetermined noise, and a predetermined bit rate according to the extracted importance index for each object. A bit rate allocator 530 is allocated and a transcoding unit 540 is transcoded and encoded for each object according to the bit rate allocated to each object.

객체별복호화부(500)는 도 2의 MPEG-4처리부(260)와 같은 곳에서 부호화된 결과인 비트스트림 혹은 영상 데이터를 복호화(decoding)한다. 이때에 비트스트림 혹은 영상 데이터의 종류 즉, 인코딩된 방법에 따라 복호화한다. 이는 영상 데이터나 비트스트림 파일에 지정된 확장자를 보고 결정할 수도 있고 혹은 미리 약속된 형식에 따라 부호화되어 있는 비트스트림을 복호화할 수도 있을 것이다.The object decoder 500 decodes the bitstream or the image data which is a result of encoding in the same place as the MPEG-4 processor 260 of FIG. 2. At this time, decoding is performed according to the type of the bitstream or the image data, that is, the encoded method. This may be determined by looking at the extension specified in the image data or the bitstream file, or may decode the bitstream encoded according to a predetermined format.

만일 입력되는 데이터가 전혀 부호화되어 있지 않은 데이터일 수도 있을 것이며, 이런 경우에는 객체별복호화부(500)는 별도의 복호화를 하지 않고 데이터를 그대로 다음 단계로 전달하게 된다.If the input data may not be coded at all, in this case, the object-based decoding unit 500 transfers the data to the next step without performing separate decoding.

객체별복호화부(500)에서 처리된 데이터는 객체별분리부(510)에서 사용자에 의해 반자동으로 혹은 자동 영상 분할기법을 이용하여 객체들을 객체별로 서로 분리한다(410 단계). The data processed by the object-based decoder 500 separates the objects from one object to another by using a semi-automatic or automatic image segmentation technique by the user in the object-specific separator 510 (step 410).

그리고 중요도인덱스추출부(520)는 분리된 객체들로부터 그 객체에 삽입된 객체의 중요도 인덱스를 추출한다(420 단계). 객체별복호화부(500)로 입력되는 데이터는 중요도 인덱스가 워터마크로 삽입되어 있으므로 삽입된 워터마크를 추출하는 것이다.The importance index extractor 520 extracts the importance index of the object inserted into the object from the separated objects (step 420). The data input to the object-based decoder 500 extracts the inserted watermark since the importance index is inserted as the watermark.

이때에, 참조번호 420의 단계는, 참조번호 120 단계에서 워터마크를 삽입하는 과정에서 설명된, 객체에 대한 기하학적인 공격에 강인하기 위한 워터마크를 삽입하기 위해 인코딩된 중요도 인덱스를 소정 크기의 블록 단위로 반복적으로 객체에 삽입한 워터마크를 추출하기 위해서, 상기 삽입되어 있는 중요도 인덱스를 일종의 잡음으로 예측하여 그 예측을 기반으로 중요도 인덱스를 추출하는 단계, 상기 예측된 중요도 인덱스를 이용하여 상기 영상 데이터에 가해진 기하학적 변환을 찾는 단계, 영상에 가해진 기하학적 변환을 기반으로 영상 데이터를 역 변환하여 원래의 영상 데이터를 복원하는 단계 및 상기 추출된 중요도 인덱스를 복호화하는 단계를 포함하는 것이 바람직하다.In this case, the reference numeral 420 may include a block having a predetermined size in which the importance index is encoded to insert the watermark for strengthening the geometric attack on the object described in the process of inserting the watermark at 120. In order to extract the watermark repeatedly inserted into the object in units, predicting the inserted importance index as a kind of noise and extracting the importance index based on the prediction, the image data using the predicted importance index Finding a geometric transformation applied to the image; reconstructing the original image data by inversely transforming the image data based on the geometric transformation applied to the image; and decoding the extracted importance index.

워터마크가 삽입된 또는 공격이 가해진 영상에서 직접 워터마크를 추출할 경우 영상의 파워(power)가 워터마크의 그것보다 너무 크기 때문에 정확한 워터마크를 추출하기는 어렵다. 따라서 워터마크를 일종의 잡음, 예를 들어 가우시안(Gaussian) 잡음으로 간주하고 일반적으로 사용하는 잡음제거 필터, 예를 들면 위너(wiener) 필터를 사용하여 워터마크를 예측한다. 즉, 워터마크를 소정의 잡음으로 간주하고 그 잡음을 제거하는 필터를 사용해서 워터마크를 예측하는 것이다.When extracting a watermark directly from an image with a watermark embedded or attacked, it is difficult to extract an accurate watermark because the power of the image is much larger than that of the watermark. Therefore, the watermark is regarded as a kind of noise, for example, Gaussian noise, and the watermark is predicted using a commonly used noise canceling filter, such as a Wiener filter. In other words, the watermark is regarded as a predetermined noise and the watermark is predicted using a filter that removes the noise.

다음의 식은 본 발명에서 사용될 수 있는 필터 계수들 중 하나의 예이다.The following equation is an example of one of the filter coefficients that can be used in the present invention.

이렇게 예측된 워터마크 영상에서 자기상관값(auto-correlation value)을 이용하여 영상에 가해진 기하학적인 변환을 예측할 수 있다. 이렇게 예측된 기하학적 변환을 기반으로 영상을 역 변환하여 원 영상을 복원할 수 있다. 기하학적 변환에 대한 모델링은 6개의 파라미터를 사용하는 어파인(affine) 변환이나, 8 또는 12개의 파라미터를 사용하는 펄스펙티브(perspective) 변환 등이 사용된다. The geometric transformation applied to the image may be predicted using the auto-correlation value in the predicted watermark image. The original image may be reconstructed by inversely transforming the image based on the predicted geometric transformation. Modeling of geometric transformations may include affine transformations using six parameters, or pulse-perspective transformations using eight or twelve parameters.

이렇게 복원된 영상에서 객체를 추출하고, 추출된 객체에서 M진 변조방법을 이용하여 삽입된 메시지를 추출한다.The object is extracted from the reconstructed image, and the inserted message is extracted using the M-ary modulation method from the extracted object.

비트율할당부(530)는 상기와 같이 추출된 정보를 이용하여 객체의 중요도에 알맞은 비트율을 객체별로 할당한다. 이 비트율은 도 1 혹은 도 2에서 설명된 바와 같은 기준으로 결정될 수 있을 것이다. 혹은 객체별복호화부(500)로 입력된 데이터가 최종적으로 향하는 곳의 환경, 예를 들어 저장 공간의 부족으로 최대의 압축을 해야 하는가 혹은 전송될 채널의 대역폭이 결정되면 그 대역폭에 따라 어떤 압축률을 적용해야 하는 것이 결정될 것이다. 이때에 모든 객체를 일률적으로 동일하게 압축되게 비트율을 정할 수도 있을 것이며, 물론 각 객체별로 별도로 비트율을 정할 수 있을 것이며, 중요도 인덱스에 연동하여 비트율을 정할 수 있을 것이다.The bit rate assignment unit 530 allocates a bit rate suitable for the importance of the object for each object by using the extracted information. This bit rate may be determined based on the criteria as described in FIG. 1 or FIG. 2. Alternatively, when the data inputted to the object-decoding unit 500 is ultimately directed, for example, whether the maximum compression should be performed due to the lack of storage space or if the bandwidth of the channel to be transmitted is determined, what compression rate is determined according to the bandwidth. What should be applied will be determined. In this case, the bit rate may be determined to uniformly compress all objects uniformly, and of course, the bit rate may be separately determined for each object, and the bit rate may be determined in conjunction with the importance index.

트랜스코딩부(540)는 상기와 같이 정해지는 비트율에 따라 객체별로 트랜스코딩하여 부호화한다(440 단계). 이렇게 부호화된 데이터는 이용하는 태양에 따라 네트워크를 통해 전송되거나 혹은 다른 저장매체에 저장될 것이다.The transcoding unit 540 transcodes and encodes each object according to the bit rate determined as described above (step 440). This coded data may be transmitted over a network or stored on another storage medium, depending on the aspect in which it is used.

객체별복호화부(500)로 입력되는 영상 데이터가 멀티미디어 데이터인 경우, 객체별분리부(510)는 참조번호 410 단계에서 영상 데이터를 비디오 데이터와 오디오 데이터로 분리하고, 분리된 비디오 데이터를 객체별로 구분하며, 트랜스코딩부(540)는 참조번호 440 단계 후에 상기 트랜스코딩된 객체들을 비디오 프레임으로 구성하고, 그 비디오 프레임에 상기 분리된 오디오 성분을 합성하는 것이 바람직하다.When the image data input to the object-based decoder 500 is multimedia data, the object-specific separator 510 separates the image data into video data and audio data in step 410, and separates the separated video data into objects. In addition, the transcoding unit 540 configures the transcoded objects into a video frame after step 440, and synthesizes the separated audio component in the video frame.

이 과정을 상세하게 설명한다.This process is explained in detail.

우선 입력이 멀티미디어 데이터일 경우 디멀티플랙서(demultiplexer)를 이용하여 비디오 비트스트림과 오디오 비트스트림으로 구분한다(410 단계). 이렇게 구분된 비디오 비트스트림으로부터 객체별 중요도 인덱스를 워터마킹 기법을 이용하여 추출한다(420 단계). 이렇게 추출된 객체별 중요도 인덱스와 영상 내 객체들의 크기 및 시간적인 중요성을 이용하여 객체마다 해당되는 비트율을 할당한다(430 단계). 비트율 할당 결과, 중요한 객체의 경우 그렇지 않은 객체보다 많은 비트가 할당된다. 상기와 같이 할당된 비트율을 바탕으로 객체별 트랜스코딩이 이루어진다.First, when the input is multimedia data, a video signal is divided into a video bitstream and an audio bitstream using a demultiplexer (step 410). The importance index for each object is extracted from the divided video bitstreams using a watermarking technique (step 420). The bit rate corresponding to each object is allocated using the extracted importance index for each object and the size and temporal importance of the objects in the image (step 430). As a result of bit rate allocation, more important bits are allocated for objects that are not important. Transcoding for each object is performed based on the allocated bit rate as described above.

이때에 사용되는 트랜스코딩 기법들의 예는 다음과 같다.Examples of the transcoding techniques used at this time are as follows.

첫 번째, 객체 안의 DCT블록 내 AC 성분 중 특정 값 이하의 AC 계수를 삭제하는 것이다. 이러한 방법을 통해 간단한 조작으로 비트율을 변환하는 것이 가능하다.The first is to delete the AC coefficient below the specified value among the AC components in the DCT block in the object. In this way, it is possible to convert the bit rate with a simple operation.

두 번째의 경우 재양자화를 통한 비트율 변환 방법으로 VLD를 거치고 DCT블록을 역양자화 한 후, 재양자화, VLC를 하는 것으로 비교적 용이한 방법으로 정확한 비트율을 맞출 수 있다. In the second case, a bit rate conversion method through requantization is performed through VLD, inverse quantization of a DCT block, and then requantized and VLC to achieve an accurate bit rate.

트랜스코딩이 이루어진 비디오 비트스트림과 오디오 비트스트림은 멀티플랙서(multiplexer)를 이용하여 합성되고, 필요에 따라 네트워크를 통해서 전송되거나, 적절한 저장매체에 저장될 것이다.The transcoded video bitstream and audio bitstream will be synthesized using a multiplexer, transmitted over the network as needed, or stored in a suitable storage medium.

도 6은 본 발명에 따라 영상 데이터의 각 객체에 중요도 인덱스를 삽입하고 비트율을 할당하여 트랜스코딩하는 장치의 구성의 일예를 블록으로 도시한 것이다. 상기와 같이 설명된 본 발명의 기능은 영상 데이터를 수신하여 객체별로 분할하여 중요도 인덱스를 삽입하고 복호화하며, 이 결과물을 필요에 따라 객체별로 분할하고 중요도 인덱스를 삽입한 후에 비트율을 할당하여 트랜스코딩을 하는 것이다. 도 6은 이런 기능들을 결합하여 하나의 장치에서 구현한 일예를 도시한 것이다. 6 is a block diagram illustrating an example of a configuration of an apparatus for transcoding by inserting a importance index and assigning a bit rate to each object of image data according to the present invention. As described above, the function of the present invention receives image data, divides it by object, inserts and decodes the importance index, splits the result by object, inserts the importance index, and assigns a bit rate after transcoding. It is. 6 shows an example of combining these functions and implementing them in one device.

영상데이터수신부(600)에서는 영상 데이터를 수신하며, 객체분할부(610)는 영상 데이터를 객체별로 분할한다. 중요도인덱스부(620)를 통해 각 객체별로 중요도가 입력되면, 중요도인덱스삽입부(630)는 각 객체에 중요도 인덱스를 워터마크로 삽입한다. 그리고 비트율할당부(640)가 각 객체별로 적절한 비트율을 결정하면 트랜스코딩부(650)는 이 비트율에 따라 각 워터마크가 삽입된 각 객체를 트랜스코딩한다.The image data receiver 600 receives image data, and the object splitter 610 divides the image data for each object. When importance is input for each object through the importance index unit 620, the importance index inserter 630 inserts the importance index into each object as a watermark. When the bit rate assignment unit 640 determines an appropriate bit rate for each object, the transcoding unit 650 transcodes each object into which each watermark is inserted according to the bit rate.

도 6의 장치의 각 구성요소의 기능은 도 2 및 도 5에 도시된 각 구성요소와 실질적으로 동일하므로 각 구성 요소별 상세한 설명은 생략한다.The function of each component of the apparatus of FIG. 6 is substantially the same as each component shown in FIGS. 2 and 5, and thus detailed description of each component is omitted.

본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 본 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 상기의 설명에 포함된 예들은 본 발명에 대한 이해를 위해 도입된 것이며, 이 예들은 본 발명의 사상과 범위를 한정하지 않는다. 상기의 예들 외에도 본 발명에 따른 다양한 실시 태양이 가능하다는 것은, 본 발명이 속한 기술 분야에 통상의 지식을 가진 사람에게는 자명할 것이다. 본 발명의 범위는 전술한 설명이 아니라 청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다. Those skilled in the art will appreciate that the present invention can be implemented in a modified form without departing from the essential features of the present invention. Therefore, the disclosed embodiments should be considered in descriptive sense only and not for purposes of limitation. Examples included in the above description are introduced for the understanding of the present invention, and these examples do not limit the spirit and scope of the present invention. It will be apparent to those skilled in the art that various embodiments in accordance with the present invention in addition to the above examples are possible. The scope of the present invention is shown not in the above description but in the claims, and all differences within the scope will be construed as being included in the present invention.

또한 본 발명에 따른 상기의 각 단계는 일반적인 프로그래밍 기법을 이용하여 소프트웨어적으로 또는 하드웨어적으로 다양하게 구현할 수 있다는 것은 이 분야에 통상의 기술을 가진 자라면 용이하게 알 수 있는 것이다.In addition, it can be easily understood by those skilled in the art that each of the above steps according to the present invention can be variously implemented in software or hardware using a general programming technique.

그리고 본 발명의 일부 단계들은, 또한, 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, CD-RW, 자기 테이프, 플로피디스크, HDD, 광 디스크, 광자기 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드로 저장되고 실행될 수 있다.And some steps of the invention may also be embodied as computer readable code on a computer readable recording medium. The computer-readable recording medium includes all kinds of recording devices in which data that can be read by a computer system is stored. Examples of computer-readable recording media include ROM, RAM, CD-ROM, CD-RW, magnetic tape, floppy disks, HDDs, optical disks, magneto-optical storage devices, and carrier wave (eg, Internet It also includes the implementation in the form of). The computer readable recording medium can also be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion.

본 발명에 의하면, 영상을 포함하는 입력 데이터를 영상내의 객체의 모양, 크기, 대비 및 연결성에 따라 객체들로 분할하고, 분할된 객체들에 대해서 각 객체별로 소정의 중요도 인덱스(index)를 결정하며, 객체별 중요도 인덱스를 공간영역 또는 주파수 영역에서 대응하는 객체에 워터마크로 삽입하여 영상을 포함하는 입력 데이터를 부호화하는 단계를 포함하여, 객체별 중요성에 따른 값이 워터마크로 삽입되며, 워터마크와 연관되어 각 객체별로 다른 비트율을 할당하여 트랜스코딩하게 되어, 객체별 중요도를 객체에 삽입하고, 그 중요도에 따른 압축을 객체별로 실행할 수 있으므로, 효과적으로 비디오 및 영상 데이터를 전송할 수 있으며, 중요한 객체는 그렇지 않은 객체보다 선명하게 표시할 수 있으며, 독특한 워터마크를 통해 불법적인 복제를 방지하여 통신망을 통한 저작물 유통이 활발해지는 효과가 있다.According to the present invention, input data including an image is divided into objects according to the shape, size, contrast, and connectivity of an object in the image, and a predetermined importance index is determined for each object for the divided objects. And encoding the input data including the image by inserting the importance index for each object as a watermark in a corresponding object in the spatial domain or the frequency domain, and inserting a value according to the importance of the object as a watermark and associating it with the watermark. By transcoding by assigning different bit rate for each object, it is possible to insert the importance of each object into the object and to perform compression according to the object for each object, so that it is possible to transmit video and video data effectively. Clearer display than objects and unique watermarks prevent illegal duplication The distribution of copyrighted works through the communication network is effective.

삽입된 워터마크를 이용하여 비디오 및 영상에 대한 저작권 보호, 인증을 할 수 있으며 네트워크를 통해 전송되는 데이터 무결성을 판단할 수도 있다. 또한 트랜스코딩이 필요할 경우 워터마크를 추출하여 객체별 중요도를 판별할 수 있으며, 이러한 결정에 따라 비디오 및 영상 데이터에 대해 객체별 다른 비트율을 적용하여 트랜스코딩하여 전송할 수 있다. 또한 본 발명에 따른 방법은 종래의 방법인 모든 객체에 동일한 비트율을 할당하는 문제점을 해결하여 객체별 중요도에 따라 서로 다른 비트를, 즉 중요하지 않은 객체에 대해서는 적은 비트를 중요한 객체에 대해서는 많은 비트를 할당하여 더욱 더 효과적으로 비디오 및 영상 데이터를 전송할 수 있다.The embedded watermark can be used for copyright protection and authentication of video and video, and can also determine the integrity of data transmitted over a network. In addition, when transcoding is required, watermarks may be extracted to determine importance of each object, and according to the determination, video and image data may be transcoded and transmitted by applying different bit rates for each object. In addition, the method according to the present invention solves the problem of allocating the same bit rate to all objects, which is a conventional method. It can be allocated to transmit video and video data more effectively.

도 1은 본 발명에 따른 객체별 중요도를 고려한 객체 기반의 트랜스코딩 방법의 흐름을 도시한 것이다.1 illustrates a flow of an object-based transcoding method considering the importance of each object according to the present invention.

도 2는 본 발명에 따른 객체별 중요도를 고려한 객체 기반의 트랜스코딩 장치의 구성의 일예를 블록으로 도시한 것이다.2 is a block diagram illustrating an example of a configuration of an object-based transcoding apparatus in consideration of importance of each object according to the present invention.

도 3a는 영상 데이터에서 추출된 객체의 일 예이다.3A is an example of an object extracted from image data.

도 3b는 도 3a의 객체에 주기적으로 N*N 워터마크 블록이 반복적으로 삽입된 모습을 도시한 것이다.FIG. 3B illustrates a state in which N * N watermark blocks are repeatedly inserted into the object of FIG. 3A.

도 4는 본 발명에 따른 객체별 중요도를 고려한 객체 기반의 트랜스코딩 방법의 흐름을 도시한 것이다.4 illustrates a flow of an object-based transcoding method in consideration of importance of each object according to the present invention.

도 5는 본 발명에 따른 객체별 중요도를 고려한 객체 기반의 트랜스코딩 장치의 구성을 블록으로 도시한 것이다.5 is a block diagram showing the configuration of an object-based transcoding device considering the importance of each object according to the present invention.

도 6은 본 발명에 따라 영상 데이터의 각 객체에 중요도 인덱스를 삽입하고 비트율을 할당하여 트랜스코딩하는 장치의 구성의 일예를 블록으로 도시한 것이다.6 is a block diagram illustrating an example of a configuration of an apparatus for transcoding by inserting a importance index and assigning a bit rate to each object of image data according to the present invention.

Claims (12)

삭제delete (a) 영상을 포함하는 입력 데이터를 영상내의 객체의 모양, 크기, 대비 및 연결성에 따라 객체들로 분할하는 단계;(a) dividing the input data including the image into objects according to the shape, size, contrast and connectivity of the objects in the image; (b) 상기 분할된 객체들에 대해서 각 객체별로 소정의 중요도 인덱스(index)를 결정하고, 중요도 인덱스를 대응하는 객체마다 인코딩하는 단계; 및(b) determining a predetermined importance index for each of the divided objects and encoding the importance index for each corresponding object; And (c) 상기 객체별 중요도 인덱스를 공간영역 또는 주파수 영역에서 대응하는 객체에 워터마크로 삽입하여 상기 영상을 포함하는 입력 데이터를 부호화하는 단계;를 포함하고,(c) encoding the input data including the image by inserting the importance index for each object into a corresponding object in a spatial domain or a frequency domain as a watermark; 상기 (c) 단계에서 공간 영역에서 상기 인코딩된 중요도 인덱스를 소정 크기의 블록 단위로 반복적으로 객체에 삽입하는 것을 특징으로 하는 객체별 중요도를 고려한 객체 기반의 트랜스코딩 방법.In the step (c), in the spatial domain, the object-based transcoding method considering the importance of each object, characterized in that repeatedly inserting the encoded importance index in the unit of a block of a predetermined size. (a) 영상을 포함하는 입력 데이터를 영상내의 객체의 모양, 크기, 대비 및 연결성에 따라 객체들로 분할하는 단계;(a) dividing the input data including the image into objects according to the shape, size, contrast and connectivity of the objects in the image; (b) 상기 분할된 객체들에 대해서 각 객체별로 소정의 중요도 인덱스(index)를 결정하고, 중요도 인덱스를 대응하는 객체마다 인코딩하는 단계; 및(b) determining a predetermined importance index for each of the divided objects and encoding the importance index for each corresponding object; And (c) 상기 객체별 중요도 인덱스를 공간영역 또는 주파수 영역에서 대응하는 객체에 워터마크로 삽입하여 상기 영상을 포함하는 입력 데이터를 부호화하는 단계;를 포함하고,(c) encoding the input data including the image by inserting the importance index for each object into a corresponding object in a spatial domain or a frequency domain as a watermark; 상기 입력 데이터가 비디오/영상 데이터일 경우에 상기 (c) 단계에서 부호화할 때에 MPEG-4 혹은 JPEG2000의 형식으로 압축을 하며, 이때에 각 객체 내의 DCT 블록의 계수들을 이용하여 상기 인코딩된 중요도 인덱스를 삽입하는 것을 하는 객체별 중요도를 고려한 객체 기반의 트랜스코딩 방법.When the input data is video / video data, the encoding is performed in the format of MPEG-4 or JPEG2000 when encoding in the step (c), wherein the encoded importance index is obtained by using coefficients of the DCT block in each object. Object-based transcoding method considering the importance of each object to insert. (a) 영상을 포함하는 입력 데이터를 영상내의 객체의 모양, 크기, 대비 및 연결성에 따라 객체들로 분할하는 단계;(a) dividing the input data including the image into objects according to the shape, size, contrast and connectivity of the objects in the image; (b) 상기 분할된 객체들에 대해서 각 객체별로 소정의 중요도 인덱스(index)를 결정하고, 중요도 인덱스를 대응하는 객체마다 인코딩하는 단계; 및(b) determining a predetermined importance index for each of the divided objects and encoding the importance index for each corresponding object; And (c) 상기 객체별 중요도 인덱스를 공간영역 또는 주파수 영역에서 대응하는 객체에 워터마크로 삽입하여 상기 영상을 포함하는 입력 데이터를 부호화하는 단계;를 포함하고,(c) encoding the input data including the image by inserting the importance index for each object into a corresponding object in a spatial domain or a frequency domain as a watermark; 상기 입력 데이터가 비트스트림 데이터일 경우에 상기 (c) 단계에서 중요도 인덱스를 삽입하려는 객체만을 복호화하여 DCT 블록의 계수를 얻고, 이 계수를 이용해서 상기 인코딩된 중요도 인덱스를 삽입하는 것을 특징으로 하는 객체별 중요도를 고려한 객체 기반의 트랜스코딩 방법.When the input data is bitstream data, in step (c), decode only the object to which the importance index is to be inserted to obtain a coefficient of the DCT block, and insert the encoded importance index using the coefficient. Object-based transcoding method considering star importance. 각 객체별로 중요도 인덱스가 워터마크로 삽입되어 있는 부호화된 영상 데이터를 트랜스코딩하는 방법에 있어서,A method of transcoding encoded image data having an importance index inserted as a watermark for each object, (a) 상기 영상 데이터를 데이터의 종류에 따라 객체별로 복호화하는 단계;(a) decoding the image data for each object according to the type of data; (b) 복호화된 객체들을 객체별로 분리하는 단계;(b) separating the decrypted objects for each object; (c) 분리된 객체별로 중요도 인덱스를 추출하는 단계;(c) extracting an importance index for each separated object; (d) 각 객체별 중요도 인덱스에 따라 소정의 비트율을 객체마다 할당하는 단계; 및(d) allocating a predetermined bit rate for each object according to the importance index for each object; And (e) 상기 객체별로 할당된 비트율에 따라 객체별로 트랜스코딩하여 부호화하는 단계를 포함하는 것을 특징으로 하는 객체별 중요도를 고려한 객체 기반의 트랜스코딩 방법.(e) transcoding by encoding the object according to the object bit rate according to the bit rate allocated for each object. 제5항에 있어서, The method of claim 5, 상기 (c) 단계는,In step (c), (c1) 상기 삽입되어 있는 중요도 인덱스를 일종의 잡음으로 예측하여 그 예측을 기반으로 중요도 인덱스를 추출하는 단계;(c1) predicting the inserted importance index as a kind of noise and extracting the importance index based on the prediction; (c2) 상기 예측된 중요도 인덱스를 이용하여 상기 영상 데이터에 가해진 기하학적 변환을 찾는 단계; (c2) finding a geometric transformation applied to the image data using the predicted importance index; (c3) 영상에 가해진 기하학적 변환을 기반으로 영상 데이터를 역 변환하여 원래의 영상 데이터를 복원하는 단계; 및(c3) restoring original image data by inversely transforming image data based on a geometric transformation applied to the image; And (c4) 상기 추출된 중요도 인덱스를 복호화하는 단계를 포함하는 것을 특징으로 하는 객체별 중요도를 고려한 객체 기반의 트랜스코딩 방법.(c4) object-based transcoding method considering importance of each object, comprising: decoding the extracted importance index. 제5항에 있어서,The method of claim 5, 상기 입력되는 영상 데이터가 멀티미디어 데이터인 경우,When the input image data is multimedia data, 상기 (b) 단계에서 영상 데이터를 비디오와 오디오 데이터로 분리하고, 분리된 비디오 데이터를 객체별로 구분하며,In step (b), the image data is divided into video and audio data, and the separated video data is classified by object. (f) 상기 트랜스코딩된 객체들을 비디오 프레임으로 구성하고, 그 비디오 프레임에 상기 분리된 오디오 성분을 합성하는 단계를 더 포함하는 것을 특징으로 하는 객체별 중요도를 고려한 객체 기반의 트랜스코딩 방법.(f) composing the transcoded objects into video frames, and synthesizing the separated audio components into the video frames. 영상을 포함하는 입력 데이터를 수신하는 영상데이타수신부;An image data receiver configured to receive input data including an image; 상기 수신한 입력 데이터를 영상에 포함된 객체의 모양, 크기, 대비 및 연결성에 따라 객체들로 분할하는 객체분할부;An object dividing unit dividing the received input data into objects according to a shape, size, contrast, and connectivity of an object included in an image; 상기 분할된 객체들에 대한 각 객체별로 중요도 인덱스를 입력받아 중요도 인덱스를 각 대응하는 객체마다 인코딩하는 인덱스입력부; 및An index input unit which receives an importance index for each object of the divided objects and encodes the importance index for each corresponding object; And 상기 입력받은 객체별 중요도 인덱스를 공간 영역과 주파수 영역에서 워터마크로 삽입하여 대응하는 객체에 삽입하여 상기 입력된 데이터를 부호화하는 부호부;를 포함하여,And a coder for inserting the received importance index for each object into a corresponding object by inserting a watermark in a spatial domain and a frequency domain to encode the input data. 상기 부호부는 공간 영역에서 상기 인코딩된 중요도 인덱스를 소정 크기의 블록 단위로 반복적으로 객체에 삽입하거나, 상기 입력 데이터가 비디오/영상 데이터일 경우에 부호화할 때에 MPEG-4 혹은 JPEG2000의 형식으로 압축을 하며, 이때에 각 객체 내의 DCT 블록의 계수들을 이용하여 상기 인코딩된 중요도 인덱스를 삽입하거나, 혹은 상기 입력 데이터가 비트스트림 데이터일 경우에 중요도 인덱스를 삽입하려는 객체만을 복호화하여 DCT 블록의 계수를 얻고, 이 계수를 이용해서 상기 인코딩된 중요도 인덱스를 삽입하는 것을 특징으로 하는 객체별 중요도를 고려한 객체 기반의 트랜스코딩 장치.The coder repeatedly inserts the encoded importance index into an object in units of blocks of a predetermined size in a spatial domain, or compresses it in the format of MPEG-4 or JPEG2000 when encoding the input data when the input data is video / video data. In this case, the coefficient of the DCT block is obtained by inserting the encoded importance index using coefficients of the DCT block in each object, or decoding only the object to which the importance index is to be inserted when the input data is bitstream data. An object-based transcoding apparatus considering the importance of each object, characterized by inserting the encoded importance index by using a coefficient. 각 객체별로 중요도 인덱스가 워터마크로 삽입되어 있는 영상 데이터를 트랜스코딩하는 장치에 있어서,An apparatus for transcoding video data having an importance index inserted as a watermark for each object, 상기 영상 데이터를 데이터의 종류에 따라 객체별로 복호화하는 객체별복호화부;An object-based decoder which decodes the image data for each object according to a type of data; 상기 복호화된 객체들을 객체별로 분리하는 객체별분리부;An object separator that separates the decoded objects by objects; 상기 분리된 객체별로 중요도 인덱스를 소정의 잡음으로 간주하여 중요도 인덱스를 추출하는 중요도인덱스추출부;An importance index extractor configured to extract the importance index by considering the importance index as the predetermined noise for each of the separated objects; 상기 추출된 중요도 인덱스에 따라 소정의 비트율을 각 객체마다 할당하는 비트율할당부; 및A bit rate allocation unit for allocating a predetermined bit rate for each object according to the extracted importance index; And 상기 객체별로 할당된 비트율에 따라 객체별로 트랜스코딩하여 부호화하는 트랜스코딩부를 포함하는 것을 특징으로 하는 객체별 중요도를 고려한 객체 기반의 트랜스코딩 장치.An object-based transcoding apparatus in consideration of the importance of each object, characterized in that it comprises a transcoding unit for transcoding by encoding according to the object according to the bit rate allocated to each object. 제9항에 있어서, 상기 중요도인덱스추출부는, 삽입되어 있는 중요도 인덱스를 일종의 잡음으로 예측하여 그 예측을 기반으로 중요도 인덱스를 추출하고, 상기 예측된 중요도 인덱스를 이용하여 상기 영상 데이터에 가해진 기하학적 변환을 찾으며, 영상에 가해진 기하학적 변환을 기반으로 영상 데이터를 역 변환하여 원래의 영상 데이터를 복원하고, 상기 추출된 중요도 인덱스를 복호화하는 것을 특징으로 하는 객체별 중요도를 고려한 객체 기반의 트랜스코딩 장치.The method of claim 9, wherein the importance index extractor predicts the inserted importance index as a kind of noise, extracts an importance index based on the prediction, and uses the predicted importance index to perform a geometric transformation applied to the image data. And an object-based transcoding apparatus considering object-specific importance, reconstructing the original image data by inversely transforming the image data based on a geometric transformation applied to the image, and decoding the extracted importance index. (a) 영상을 포함하는 입력 데이터를 영상내의 객체의 모양, 크기, 대비 및 연결성에 따라 객체들로 분할하는 단계;(a) dividing the input data including the image into objects according to the shape, size, contrast and connectivity of the objects in the image; (b) 상기 분할된 객체들에 대해서 각 객체별로 소정의 중요도 인덱스(index)를 결정하고, 중요도 인덱스를 대응하는 객체마다 인코딩하는 단계; 및(b) determining a predetermined importance index for each of the divided objects and encoding the importance index for each corresponding object; And (c) 상기 객체별 중요도 인덱스를 공간영역 또는 주파수 영역에서 대응하는 객체에 워터마크로 삽입하여 상기 영상을 포함하는 입력 데이터를 부호화하는 단계;를 포함하며,(c) encoding the input data including the image by inserting the importance index for each object into a corresponding object in a spatial domain or a frequency domain as a watermark; 상기 (c) 단계에서 공간 영역에서 상기 인코딩된 중요도 인덱스를 소정 크기의 블록 단위로 반복적으로 객체에 삽입하거나, In step (c), the encoded importance index is repeatedly inserted into an object in blocks of a predetermined size in a spatial domain. 상기 입력 데이터가 비디오/영상 데이터일 경우에 상기 (c) 단계에서 부호화할 때에 MPEG-4 혹은 JPEG2000의 형식으로 압축을 하며, 이때에 각 객체 내의 DCT 블록의 계수들을 이용하여 상기 인코딩된 중요도 인덱스를 삽입하거나 혹은 When the input data is video / video data, the encoding is performed in the format of MPEG-4 or JPEG2000 when encoding in the step (c), wherein the encoded importance index is obtained by using coefficients of the DCT block in each object. Insert or 상기 입력 데이터가 비트스트림 데이터일 경우에 상기 (c) 단계에서 중요도 인덱스를 삽입하려는 객체만을 복호화하여 DCT 블록의 계수를 얻고, 이 계수를 이용해서 상기 인코딩된 중요도 인덱스를 삽입하는 것을 특징으로 하는 객체별 중요도를 고려한 객체 기반의 트랜스코딩 방법의 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.When the input data is bitstream data, in step (c), decode only the object to which the importance index is to be inserted to obtain a coefficient of the DCT block, and insert the encoded importance index using the coefficient. A computer-readable recording medium that records a program of an object-based transcoding method that takes into account the importance of each. 각 객체별로 중요도 인덱스가 워터마크로 삽입되어 있는 영상 데이터를 트랜스코딩하는 방법을 기록한 기록매체에 있어서,In a recording medium that records a method of transcoding video data having an importance index inserted as a watermark for each object, (a) 상기 영상 데이터를 데이터의 종류에 따라 객체별로 복호화하는 단계;(a) decoding the image data for each object according to the type of data; (b) 복호화된 객체들을 객체별로 분리하는 단계;(b) separating the decrypted objects for each object; (c) 분리된 객체별로 중요도 인덱스를 추출하는 단계;(c) extracting an importance index for each separated object; (d) 각 객체별 중요도 인덱스에 따라 소정의 비트율을 객체마다 할당하는 단계; 및(d) allocating a predetermined bit rate for each object according to the importance index for each object; And (e) 상기 객체별로 할당된 비트율에 따라 객체별로 트랜스코딩하여 부호화하는 단계를 포함하는 것을 특징으로 하는 객체별 중요도를 고려한 객체 기반의 트랜스코딩 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.and (e) transcoding and encoding each object according to the bit rate allocated to each object, wherein the object-based transcoding program is recorded.
KR10-2002-0044300A 2002-07-26 2002-07-26 Object-based transcoding method with the importance-degree of each object and apparatus thereof KR100479478B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR10-2002-0044300A KR100479478B1 (en) 2002-07-26 2002-07-26 Object-based transcoding method with the importance-degree of each object and apparatus thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2002-0044300A KR100479478B1 (en) 2002-07-26 2002-07-26 Object-based transcoding method with the importance-degree of each object and apparatus thereof

Publications (2)

Publication Number Publication Date
KR20040009925A KR20040009925A (en) 2004-01-31
KR100479478B1 true KR100479478B1 (en) 2005-03-31

Family

ID=37318780

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2002-0044300A KR100479478B1 (en) 2002-07-26 2002-07-26 Object-based transcoding method with the importance-degree of each object and apparatus thereof

Country Status (1)

Country Link
KR (1) KR100479478B1 (en)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040029660A (en) * 2002-10-02 2004-04-08 이현석 Objected based Watermarking for Broadcast Monitoring
KR100868475B1 (en) * 2007-02-16 2008-11-12 한국전자통신연구원 Method for creating, editing, and reproducing multi-object audio contents files for object-based audio service, and method for creating audio presets
KR100938498B1 (en) * 2008-02-20 2010-01-25 한국과학기술원 JPEG2000 Steganography Apparatus for minimizing the changes of code-block noise variances and methode threrefor
KR101042551B1 (en) * 2009-05-20 2011-06-20 부경대학교 산학협력단 Watermark embedding method based in an object of video image, and recording medium storing watermark embedding program
KR101141596B1 (en) * 2010-03-22 2012-05-17 한국과학기술원 Duplicate video detection apparatus and its method, recording medium having computer program recorded
WO2015105748A1 (en) 2014-01-09 2015-07-16 Dolby Laboratories Licensing Corporation Spatial error metrics of audio content
KR101551904B1 (en) * 2014-03-06 2015-09-09 재단법인 다차원 스마트 아이티 융합시스템 연구단 Control Method of Vehicular Black Box for Reducing Storage Space
KR102028824B1 (en) * 2018-02-14 2019-10-04 경일대학교산학협력단 Apparatus for processing watermarking using artificial neural network which identifies objects, method thereof and computer recordable medium storing program to perform the method

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5541852A (en) * 1994-04-14 1996-07-30 Motorola, Inc. Device, method and system for variable bit-rate packet video communications
KR20000076095A (en) * 1998-01-09 2000-12-26 요트.게.아. 롤페즈 Embedding and detecting a watermark in images
KR20010063410A (en) * 1999-12-22 2001-07-09 이원돈 Method for embedding image watermark into audio signal or extracting watermark from watermarked audio signal and recording medium therefor
KR20010075944A (en) * 2000-01-21 2001-08-11 오길록 Apparatus and method for inserting &extracting images watermark based on image segmentation in spatial domain
US6275536B1 (en) * 1999-06-23 2001-08-14 General Instrument Corporation Implementation architectures of a multi-channel MPEG video transcoder using multiple programmable processors
JP2002152755A (en) * 2000-11-09 2002-05-24 Nippon Telegr & Teleph Corp <Ntt> Transcode method between video streams, and transcoder, and recording medium with program for the transcode method recorded thereon
KR20030062610A (en) * 2002-01-18 2003-07-28 한국과학기술연구원 Digital image watermarking using region segmentation

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5541852A (en) * 1994-04-14 1996-07-30 Motorola, Inc. Device, method and system for variable bit-rate packet video communications
KR20000076095A (en) * 1998-01-09 2000-12-26 요트.게.아. 롤페즈 Embedding and detecting a watermark in images
US6275536B1 (en) * 1999-06-23 2001-08-14 General Instrument Corporation Implementation architectures of a multi-channel MPEG video transcoder using multiple programmable processors
KR20020020920A (en) * 1999-06-23 2002-03-16 매클린토크 샤운 엘 Multi-channel mpeg video transcoder using multiple programmable processors
KR20010063410A (en) * 1999-12-22 2001-07-09 이원돈 Method for embedding image watermark into audio signal or extracting watermark from watermarked audio signal and recording medium therefor
KR20010075944A (en) * 2000-01-21 2001-08-11 오길록 Apparatus and method for inserting &extracting images watermark based on image segmentation in spatial domain
JP2002152755A (en) * 2000-11-09 2002-05-24 Nippon Telegr & Teleph Corp <Ntt> Transcode method between video streams, and transcoder, and recording medium with program for the transcode method recorded thereon
KR20030062610A (en) * 2002-01-18 2003-07-28 한국과학기술연구원 Digital image watermarking using region segmentation

Also Published As

Publication number Publication date
KR20040009925A (en) 2004-01-31

Similar Documents

Publication Publication Date Title
Chae et al. Data hiding in video
US6208745B1 (en) Method and apparatus for imbedding a watermark into a bitstream representation of a digital image sequence
US6810131B2 (en) Information processing method and apparatus
US8144923B2 (en) Watermarking encoded content
JP4617049B2 (en) Method and apparatus for embedding data in an encoded digital bitstream
US6725372B1 (en) Digital watermarking
US6037984A (en) Method and apparatus for embedding a watermark into a digital image or image sequence
US8238435B2 (en) Modifying bitstreams
US8433092B2 (en) Scrambling, descrambling and secured distribution of audio-visual sequences from video coders based on wavelets processing
Hartung et al. Copyright protection in video delivery networks by watermarking of pre-compressed video
CN114930835A (en) Use of transform coefficients to provide embedded signaling for watermarking
CN100493185C (en) Method and device for modifying source material
US20070064937A1 (en) Method and apparatus for encoding or decoding a bitstream
KR100479478B1 (en) Object-based transcoding method with the importance-degree of each object and apparatus thereof
RU2434356C2 (en) Creating watermarks in coded information content
KR100873947B1 (en) Method and System of inserting watermark for H.264/AVC video stream
US7418110B2 (en) Method and apparatus for compressed-domain watermarking
JP2005516560A (en) Safety device for processing high quality audiovisual works
US20060072784A1 (en) Information processing apparatus, method, program and storage medium
US20050193409A1 (en) System and method of adaptive and progressive descrambling of streaming video
EP3361747B1 (en) Watermark embedding apparatus and method through image structure conversion
KR20010074604A (en) Real-Time Watermarking Insertion/Extraction method for MPEG Stream using Block unit Quantization
US20220408099A1 (en) Embedding data within transformed coefficients using bit partitioning operations
JP2009501477A (en) How to embed data
JP4934808B2 (en) Image communication apparatus and image communication method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
N231 Notification of change of applicant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20110223

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee