KR100556848B1 - 디지털 워터마킹을 이용한 동영상 부호화/복호화 장치 및방법 - Google Patents

디지털 워터마킹을 이용한 동영상 부호화/복호화 장치 및방법 Download PDF

Info

Publication number
KR100556848B1
KR100556848B1 KR20030030268A KR20030030268A KR100556848B1 KR 100556848 B1 KR100556848 B1 KR 100556848B1 KR 20030030268 A KR20030030268 A KR 20030030268A KR 20030030268 A KR20030030268 A KR 20030030268A KR 100556848 B1 KR100556848 B1 KR 100556848B1
Authority
KR
South Korea
Prior art keywords
video
image
motion
encoding
digital watermark
Prior art date
Application number
KR20030030268A
Other languages
English (en)
Other versions
KR20040098117A (ko
Inventor
유정열
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR20030030268A priority Critical patent/KR100556848B1/ko
Priority to JP2004038870A priority patent/JP4616564B2/ja
Priority to EP20040010821 priority patent/EP1477930B1/en
Priority to US10/842,500 priority patent/US7697609B2/en
Priority to CN2004100445285A priority patent/CN1551639B/zh
Publication of KR20040098117A publication Critical patent/KR20040098117A/ko
Application granted granted Critical
Publication of KR100556848B1 publication Critical patent/KR100556848B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/467—Embedding additional information in the video signal during the compression process characterised by the embedded information being invisible, e.g. watermarking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Television Systems (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

본 발명은 디지털 워터마킹을 이용한 동영상 부호화/복호화 장치 및 방법에 관한 것으로, 이러한 본 발명은 하나의 카메라에 의해 획득된 제1 동영상의 부호화 정보를 디지털 워터마크 형태로, 다른 하나의 카메라에 의해 획득된 제2 동영상에 삽입하고 제2 동영상을 움직임 보상을 통해 부호화한다. 본 발명은 부호화된 제2 동영상 부호화 데이터로부터 디지털 워터마크를 추출하고 제2 동영상을 복호하며 상기 추출된 디지털 워터마크를 이용하여 제1 동영상을 움직임 보상 복호한다. 따라서 본 발명은 데이터량이 많은 다시점 입체 동영상의 압축률을 높일 수 있다.
디지털워터마크, 입체동영상부호화, 다시점이미지, 변이추정, 움직임보상부호화, 움직임보상복호화

Description

디지털 워터마킹을 이용한 동영상 부호화/복호화 장치 및 방법{APPARATUS AND METHOD FOR ENCODING AND DECODING MOVING PICTURE USING DIGITAL WATER MARKING}
도1a 및 도1b는 입체 동영상을 획득하는 일반적인 방법을 보인 도면.
도2는 일반적인 스테레오 동영상의 변이 및 움직임 추정 방법을 보인 도면.
도3은 일반적인 스테레오 동영상 부호화 장치의 구성을 보인 도면.
도4는 본 발명에 의한 디지털 워터마킹을 이용한 동영상 부호화 장치의 구성을 보인 도면.
도5는 본 발명에 의한 디지털 워터마킹을 이용한 동영상 복호화 장치의 구성을 보인 도면.
***도면의 주요 부분에 대한 부호의 설명***
100: 제1 움직임 추정부 110: 제2 움직임 추정부
120: 변이 추정부 130: 워터마크 삽입기
140: 움직임 보상 인코더
본 발명은 동영상 부호화/복호화 장치에 관한 것으로, 특히 디지털 워터마킹을 이용한 동영상 부호화/복호화 장치 및 방법에 관한 것이다.
인간이 현실에서 느끼는 것과 같은 현실성 및 자연성을 제공하는 영상 통신의 구현을 위해서는 공간을 그대로 재현할 수 있는 3차원 영상 통신 기술의 개발이 필요하다. 따라서 인간이 양안(binocular)으로 물체를 인식함으로써 깊이를 느끼는 점을 이용한 양안 영상의 3차원 입체 영상 처리 방식은 차세대 영상 처리 분야의 주요 관심사가 되고 있다. 그러나 현재 이용되는 영상의 대부분이 칼라 및 동영상이라는 점과 통신 전송 선로 상의 전송률과 처리 속도를 감안하면, 입체감을 얻기 위해 요구되는 영상 정보량의 증가가 매우 문제시 된다. 따라서 입체 영상의 화질을 유지하는 동시에 보다 쉽고 효율적으로 압축하는 방식에 대한 연구가 시급하다.
도1a 및 도1b는 입체 동영상을 획득하는 일반적인 방법을 보인다.
인간의 좌·우의 눈은 각각 서로 다른 2차원 화상을 보게 되고, 이 두 화상이 망막을 통해 뇌로 전달되면, 뇌는 이를 정확히 서로 융합하여 본래 3차원 영상의 깊이감과 실제감을 재생한다. 입체 동영상이란, 인간의 시각 특성을 고려하여 복수의 카메라를 이용하여 획득된 영상을 말한다.
도1a는 원시점(one viewpoint)의 입체 동영상(스테레오 동영상)을 획득하는 일반적인 방법을 보인다. 인간의 양쪽 눈에 해당되는 2대의 카메라(1)(3)에 의해 각각 촬상된 영상들(5)(7)은 서로 융합되어 하나의 시점(viewpoint)을 갖는 동영상(스테레오 동영상)이 된다. 여기서 시점(viewpoint)은 두 영상(5)(7)을 통해 깊이감(또는 입체감)을 느낄 수 있는 곳(point)을 말한다.
도1b는 다시점(multi viewpoint)의 입체 동영상을 획득하는 일반적인 방법을 보인다. 깊이감과 실제감을 더욱 얻기 위해서는 복수개의 카메라(11-14)를 통해 촬상된 영상들(21-24)은 서로 융합되어 다시점을 갖는 동영상이 된다.
입체 동영상의 부호화는 일반적인 2차원(two-dimensional) 동영상과 비교했을 때 시점의 수가 늘어날 수록 그에 비례하여 데이터량이 증가한다. 이러한 방대한 데이터량을 줄이기 위해 종래 입체 동영상 부호화 장치는 시점 간의 중복성을 없애기 위해 시점간 변이 추정(disparity estimation)을 수행한다.
변이 추정이란, 일반적인 2차원 동영상을 부호화시 시간 축 상에서 영상 프레임간의 중복성을 없애기 위해서 사용되는 움직임 추정을 입체 동영상의 시점 간에 적용한 것이다. 결국 변이 추정이란, 입체 동영상에서 시점과 시점 사이의 중복성을 찾는 기술로서, 일례로, 스테레오 동영상의 경우, 좌 영상(left image)의 한 블록과 가장 유사한 블록을 우 영상(right image)에서 찾는 과정이라 할 수 있다.
움직임 추정이란, 두 영상 프레임 간에 움직임 추정(motion estimation)을 수행하여 움직임 벡터(motion vector)를 구하고 움직임 벡터에 따라 움직임 보상을 수행하며 동일 시간 축 상에서 영상 프레임 간의 중복성을 제거하고 움직임 보상된 이전 프레임과 현재 프레임의 차를 전송하는 것이다.
도2는 일반적인 입체 동영상 일례로 스테레오 동영상의 변이 및 움직임 추정 방법을 보인다.
일반적인 동영상은 픽처라고 하는 단위로 취급되며, 상기 픽처는, 인트라 픽처(Intra picture; I picture; 프레임 내 부호화영상), 순방향 예측 픽처(Predictive picture; P picture; 프레임간 순방향 예측 부호화영상), 양방향예측 픽처(Bidirectionally predictive picture; B picture; 양방향 예측 부호화영상)의 3가지 타입이 있다.
I 픽처는 하나의 픽처를 모두 인트라 부호화한 픽처를 나타내고, P 픽처는 I 픽처를 이용하여 순방향 예측된 픽처를 나타내며, B 픽처는 상기 I 픽처와 상기 P 픽처 사이에 삽입되는 픽처로서, 상기 I 픽처로부터 순방향으로 예측되고 상기 P 픽처로부터 역방향 예측된 픽처를 나타낸다.
일반적인 스테레오 동영상에서 좌영상 열(left sequence)은 일반적인 움직임 추정을 이용하여 동영상 부호화되고, 우영상 열(right sequence)은 변이 추정을 통해 얻어낸 벡터 값과 차 영상을 이용하여 동영상 부호화된다.
도3은 일반적인 스테레오 동영상 부호화 장치의 구성을 보인다.
도3에 도시된 바와 같이, 일반적인 스테레오 동영상 부호화 장치는, 입력되는 좌영상 열을 이용하여 움직임 추정을 수행하고 좌영상 프레임에 대한 움직임 벡터를 출력하는 제1 움직임 추정부(30)와; 우영상 열을 이용하여 움직임 추정을 수행하고 우영상 프레임에 대한 움직임 벡터(41)를 출력하는 제2 움직임 추정부(32)와; 상기 제1 움직임 추정부(30)의 좌영상 프레임과 제2 움직임 추정부(32)의 우영상 프레임 간 변이 추정을 수행하고 변이 벡터(disparity vector)(42)를 출력하는 변이 추정부(34)와; 상기 제1 움직임 추정부(30)에서 출력되는 움직임 벡터를 이용하여 좌영상 프레임을 부호화하며 부호화된 좌영상 부호화 데이터(43)를 출력하는 움직임 보상 인코더(motion compensated encoder)(36)와; 상기 제2 움직임 추정부(32)로부터 출력되는 움직임 벡터(41)와 상기 변이 벡터(42)를 이용하여 우영상 프레임을 부호화하고 부호화된 우영상 부호화 데이터(44)를 출력하는 움직임/변이 보상 인코더(38)를 포함하여 구성된다.
상기와 같이 구성된 일반적인 스테레오 동영상 부호화 장치의 동작을 설명하면 다음과 같다.
제1 움직임 추정부(30)는 좌영상 열에 대해 움직임을 추정하여 움직임 벡터를 출력한다. 또한 제1 움직임 추정부(30)는 상기 움직임 벡터에 의해 복원된 영상(좌영상)과 원 영상(원 좌영상)과의 차영상을 출력한다. 움직임 보상 인코더(36)는 상기 움직임 벡터 및 차영상(좌영상 열에서의 차영상)을 이용하여 좌영상 프레임을 부호화하여 좌영상 부호화 데이터(43)를 출력한다.
제2 움직임 추정부(32)는 상기 제1 움직임 추정부(30)와 마찬가지로, 우영상 열에 대해 움직임 추정을 수행하고 움직임 벡터(41)와 함께 차영상(우영상 열에서의 차영상)을 출력한다. 변이 추정부(34)는 좌영상과 우영상 간 중복성을 찾아 변이 벡터(42)를 출력한다. 움직임/변이 보상 인코더(38)는 상기 움직임 벡터(41)와 차영상(우영상 열에서의 차영상) 및 변이 벡터(42)를 이용하여 우영상 프레임을 부호화하여 우영상 부호화 데이터(44)를 출력한다.
상기 일반적인 스테레오 동영상 부호화 장치는, 움직임 보상 인코더(36)에서 출력되는 좌영상 부호화 데이터(43)와, 움직임/변이 보상 인코더(38)로부터 출력되는 우영상 부호화 데이터(44)를 모두 송신한다. 따라서 좌영상 부호화 데이터(43)에 이어 우영상 부호화 데이터(44)가 뒤따라서 송신된다.
상기 우영상 부호화 데이터(44)는, 상기 좌영상 부호화 데이터(43)와는 달리, 우영상 열에 대한 움직임 벡터(41), 차영상(우영상 열에서의 차영상), 및 변이 벡터(42)가 부호화된 데이터이다.
이렇게, 스테레오 동영상 부호화 장치는, 좌우 영상 간의 변이를 추정한 후 좌영상 부호화 데이터와 우영상의 움직임 벡터, 차영상 및 추정된 변이 벡터를 송신한다.
일반적인 스테레오 동영상 복호화 장치는, 상기 좌영상 부호화 데이터와 우영상의 움직임 벡터 및 차영상, 그리고 변이 벡터를 수신하고, 상기 좌영상 부호화 데이터를 이용하여 좌영상을 복원하며, 상기 복원된 좌영상 정보, 상기 우영상의 움직임 벡터 및 차영상, 그리고 상기 변이 벡터를 이용하여 우영상을 보상 및 복원한다.
그러나, 일반적인 스테레오 동영상 부호화 장치는, 좌영상 부호화 데이터와 우영상 부호화 데이터(우영상의 움직임 벡터 및 차영상, 그리고 상기 변이 벡터)를 모두 전송해야 하므로 기존의 2차 동영상 부호화의 경우보다 전송해야 할 데이터 량이 더욱 증가하게 되어 기존의 전송 선로 상의 전송률과 처리 속도로는 원활하게 처리할 수 없게 되는 문제점이 발생되었다. 또한 다시점 동영상의 경우 데이터 증가량이 더 커지게 되는 문제점이 발생되었다.
본 발명은 상기와 같은 문제점을 해결하기 위해 제안된 것으로, 본 발명의 목적은 데이터량이 많은 동영상의 부호화시 디지털 워터마킹을 통해 부호화 정보를 영상에 삽입함으로써 압축률을 높일 수 있고 일반적인 동영상 부호화/복호화 장치와 호환이 가능한 디지털 워터마킹을 이용한 동영상 부호화/복호화 장치 및 방법을 제공함에 있다.
상기의 목적을 달성하기 위하여 본 발명에 의한 디지털 워터마킹을 이용한 동영상 부호화/복호화 장치는, 제1 동영상의 부호화 정보를 디지털 워터마크 형태로 제2 동영상에 삽입하고 제2 동영상을 움직임 보상을 통해 부호화하는 동영상 부호화 장치와; 상기 동영상 부호화 장치로부터 송신된 제2 동영상 부호화 데이터로부터 디지털 워터마크를 추출하고 제2 동영상을 복호하며 상기 추출된 디지털 워터마크를 이용하여 제1 동영상을 움직임 보상 복호하는 동영상 복호화 장치를 포함하여 이루어지는 것을 특징으로 한다.
상기 제1 동영상은 다시점 입체 동영상을 구성하는 동영상들 중 하나이고, 상기 제2 동영상은 상기 다시점 입체 동영상을 구성하는 영상들 중 다른 하나인 것을 특징으로 한다.
상기 동영상 부호화 장치는, 상기 제1 영상의 움직임을 추정하고 제1 움직임 벡터를 출력하는 제1 움직임 추정부와; 상기 제2 영상의 움직임을 추정하고 제2 움직임 벡터를 출력하는 제2 움직임 추정부와; 상기 제1 영상과 제2 영상간 변이 추정을 수행하고 변이 벡터를 출력하는 변이 추정부와; 상기 제1 움직임 벡터와 상기 변이 벡터를 디지털 워터마크로 설정하고 상기 디지털 워터마크를 제2 동영상에 삽입하는 워터마크 삽입기와; 상기 디지털 워터마크가 삽입된 제2 동영상을 부호화하는 움직임 보상 인코더를 포함하는 것을 특징으로 한다.
상기 동영상 복호화 장치는, 제2 동영상 부호화 데이터를 움직임 보상을 통해 복호화하는 움직임 보상 디코더와; 상기 움직임 보상 디코더에서 복호화된 프레임의 해당 위치로부터 디지털 워터마크를 추출하고 그 추출된 디지털 워터마크로부터 제1 동영상의 움직임 벡터와 변이 벡터를 결정하는 워터마크 추출기와; 상기 제1 동영상의 움직임 벡터 및 변이 벡터와 상기 복호화된 제2 동영상을 이용하여 제1 동영상을 복호화하는 움직임/변이 보상 디코더를 포함하여 구성된 것을 특징으로 한다.
상기의 목적을 달성하기 위하여 본 발명에 의한 디지털 워터마킹을 이용한 동영상 부호화/복호화 방법은, 하나의 카메라에 의해 획득된 제1 영상의 부호화 정보를 디지털 워터마크로 설정하는 과정과; 다른 하나의 카메라에 의해 획득된 제2 영상에 상기 디지털 워터마크를 삽입하는 과정과; 상기 디지털 워터마크가 삽입된 제2 영상을 움직임 보상 부호화하는 과정과; 상기 부호화된 제2 영상을 송신하는 과정과; 상기 송신된 제2 영상을 움직임 보상 복호하는 과정을 포함하여 이루어짐을 특징으로 한다.
먼저, 디지털 워터 마킹에 대해 설명한다.
최근 컴퓨터 통신, 인터넷과 같은 네트워크의 급속한 발전과 디지털 데이터의 증가로 인해 불법 복제로부터의 지적 소유권 문제가 크게 부각되고 있는 가운데, 소유권자의 동의가 없는 불법적 복제를 방지하고 소유권을 효과적으로 보호하기 위한 지적 재산권 및 저작권의 보호 기술로서 디지털 워터마킹(digital watermarking) 기술에 대한 연구가 이루어지고 있다.
디지털 워터마크는, 디지털 형식으로 되어 있는 지적 재산에 대한 저작권 보호를 제공하기 위한 목적으로 그 디지털 형식의 지적 재산에 삽입되며, 일례로 디지털 이미지나 오디오 및 비디오 파일에 삽입된 비트 패턴을 의미한다.
지적 재산권 및 저작권의 보호에 효율적으로 이용되기 위해, 디지털 워터 마크는 비가시성(invisibility), 강인성(robustness), 명확성(unambiguity) 등의 특성을 갖추어야 한다. 비가시성이란, 삽입(embedded) 후에도 원본의 변화가 거의 없어, 워터마크의 삽입 여부를 감지하지 못하는 특성을 말한다. 강인성이란, 워터마크를 신호의 중요한 부분에 삽입하여 여러 가지 형태의 변형이나 공격에도 추출이 가능한 특성을 의미한다. 명확성은 추출된 워터마크가 확실한 소유권을 주장할 수 있도록 정확성을 유지하는 특성을 말한다.
디지털 워터마킹 방법은 공간 영역(spatial domain)에서의 방법과 주파수 영역(frequency domain)에서의 방법으로 크게 나눌 수 있다.
공간 영역에서의 디지털 워터마킹 방법은, 변환식을 사용하지 않고 영상의 화소값을 직접적으로 변환시켜 워터마크를 삽입하는 방법이다. 그러나 상기 공간 영역에서의 디지털 워터마킹 방법은 영상 변형이나 잡음 등의 공격 등에 약할 수 있다.
주파수 영역에서의 디지털 워터마킹 방법은, 주파수 계수를 변화시켜 워터 마크를 삽입하는 방법으로서, 일례로, DCT(discrete cosine transform)를 이용할 경우 주파수 영역의 중요한 계수를 추출해 그 계수에 워터마크를 삽입할 수 있고, DFT(discrete Fourier transform)를 이용할 경우 위상에 워터마크를 삽입할 수 있 다.
본 발명은, 디지털 파일에 삽입되어 전송되는 디지털 워터마크를 동영상의 부호화에 적용함으로써 일측 영상(일측 카메라에 의해 획득된 영상)에 대한 부호화 정보를 다른 측 영상(다른 측 카메라에 의해 획득된 영상)에 삽입하여 실어나른다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 설명한다.
도4는 본 발명에 의한 디지털 워터마킹을 이용한 동영상 부호화 장치의 구성을 보인다.
도4에 도시된 바와 같이, 본 발명에 의한 디지털 워터마킹을 이용한 동영상 부호화 장치는, 제1 영상 프레임의 움직임을 추정하고 제1 움직임 벡터(105)를 출력하는 제1 움직임 추정부(100)와; 제2 영상 프레임의 움직임을 추정하고 제2 움직임 벡터를 출력하는 제2 움직임 추정부(110)와; 상기 제1 움직임 추정부(100)의 제1 영상과 제2 움직임 추정부(110)의 제2 영상 간에 변이 추정을 수행하고 변이 벡터(125)를 출력하는 변이 추정부(120)와; 상기 제1 움직임 벡터(105)와 상기 변이 벡터(125)를 디지털 워터마크로 설정하고 그 설정된 디지털 워터마크(135)를 상기 제2 영상의 부호화시에 삽입하는 워터마크 삽입기(watermark embedding unit)(130)와; 상기 제2 움직임 벡터를 이용하여 제2 영상을 부호화하고 제2 영상 부호화 데이터(145)를 출력하는 움직임 보상 인코더(motion compensated encoder)(140)를 포함하여 구성된다.
상기와 같이 구성된 본 발명에 의한 디지털 워터마킹을 이용한 동영상 부화 장치의 동작을 설명하면 다음과 같다.
본 발명에 의한 동영상 부호화 장치는, 제1 영상(제1 카메라에 의해 획득된 영상)에 대한 부호화 정보 즉, 변이벡터와 움직임 벡터를 디지털 워터마크로 설정하고 그 설정된 디지털 워터마크를 제2 영상(제2 카메라에 의해 획득된 영상)에 삽입하며 디지털 워터마크된 제2 영상을 부호화한다.
설명의 편의를 위해 스테레오 동영상을 예로 들어 설명하면, 제1 영상을 우영상, 제2 영상을 좌영상이라 할 수 있다.
제1 움직임 추정부(100)는 우영상 프레임의 움직임을 추정하고 제1 움직임 벡터(105)를 출력하며, 제2 움직임 추정부(110)는 좌영상 프레임의 움직임을 추정하고 제2 움직임 벡터를 출력한다. 변이 추정부(120)는 상기 우영상 프레임과 좌영상 프레임 사이에 변이 추정을 수행하고 변이 벡터(125)를 출력한다.
워터 마크 삽입기(130)는, 상기 제1 움직임 벡터(105)와 변이 벡터(125)를 디지털 워터마크로 설정하고, 좌영상이 부호화될 때, 미리 설정된 삽입 위치에 상기 디지털 워터마크를 삽입한다.
움직임 보상 인코더(140)는 디지털 워터마크가 삽입된 좌영상을 상기 제2 움직임 벡터를 이용하여 좌영상 프레임을 부호화하고 좌영상 부호화 데이터(145)를 출력한다. 따라서 본 발명에 의한 동영상 부호화 장치는, 우영상에 대한 부호화 정보가 디지털 워터마크 형태로 삽입된 좌영상을 부호화하고 부호화된 좌영상 데이터를 송신한다.
워터마크 삽입기(130)의 동작을 좀더 상세히 설명한다.
워터마크 삽입기(130)는 좌영상에 삽입될 디지털 워터마크의 위치를 미리 설 정한다. 설정된 디지털 워터마크의 위치는 동영상 부호화 장치와 동영상 복호화 장치 간에 서로 미리 알고 있어야 한다.
일례로, 주파수 영역에서의 디지털 워터마킹 방법의 경우, 영상 데이터를 주파수 대역별로 분리할 때(일례로 DFT를 사용할 때), 중주파수 대역에 삽입된 디지털 워터 마크는 비교적 모든 공격(일례로, 손실압축, 잡음, 대비변화, 밝기변화 등)에도 강인함을 보인다. 따라서 디지털 워터마크의 삽입 위치는 영상 데이터의 중주파수 대역(middle frequency band)을 주로 이용할 수 있다. 이렇게 디지털 워터마크 삽입 위치는 손실률이 적은 위치로 설정된다.
일정 크기의 블록(block; N*M 크기를 가짐)으로 분할된 좌영상 데이터에서 디지털 워터마크의 삽입 위치가 설정되면, 워터마크 삽입기(130)는 디지털 워터마크의 해당 비트들을 설정된 위치에 삽입한다.
따라서 움직임 보상 인코더(140)는 해당 위치에 디지털 워터 마크가 삽입된 좌영상 블록 데이터들을 부호화한다.
이렇게 디지털 워터마킹을 이용한 동영상 부호화는 우영상에 대한 부호화 정보가 좌영상에 삽입되어 전송됨으로써 데이터량의 증가를 보이지 않으면서 부호화된 동영상 데이터를 효과적으로 송신할 수 있다.
도5는 본 발명에 의한 디지털 워터마킹을 이용한 동영상 복호화 장치의 구성을 보인다.
제2 영상 부호화 데이터를 움직임 보상하여 복호화하는 움직임 보상 디코더(motion compensated decoder)(200)와; 상기 움직임 보상 디코더(200)에서 복호화된 각 프레임의 해당 위치로부터 디지털 워터마크를 추출하고 그 추출된 디지털 워터마크로부터 제1 영상의 움직임 벡터와 변이 벡터를 결정하는 워터마크 추출기(210)와; 상기 제1 영상의 움직임 벡터 및 변이 벡터와 상기 복호화된 제2 영상을 이용하여 제1 영상을 복호화하는 움직임/변이 보상 디코더(220)를 포함하여 구성된다.
상기와 같이 구성된 본 발명에 의한 디지털 워터마킹을 이용한 동영상 복호화 장치의 동작을 설명하면 다음과 같다.
일례로, 스테레오 동영상을 복호화할 경우, 제1 영상은 우영상, 제2 영상은 좌영상이 될 수 있다.
스테레오 동영상의 복호 기능이 지원되지 않는 2차원 동영상을 복호하는 복호 장치에, 우영상의 부호화 정보가 디지털 워터마크로 삽입된 좌영상 부호화 데이터가 수신되면, 그 일반적인 동영상 복호화 장치는 모노 모드로 좌영상만을 복호한다. 그러므로 본 발명은 일반적인 동영상 복호화 장치와 호환이 가능하다.
본 발명에 의한 동영상 복호화 장치는, 우영상의 부호화 정보가 디지털 워터마크로 삽입된 좌영상 부호화 데이터가 수신되면, 상기 동영상 복호화 장치의 움직임 보상 디코더(200)는 좌영상을 복호한다. 스테레오 동영상 복호 기능이 있는 경우, 워터마크 추출기(210)는 상기 좌영상의 복호 과정에서 복호된 프레임의 해당 위치로부터 디지털 워터마크를 추출하고, 그 추출된 디지털 워터마크로부터 우영상의 부호화 정보 즉, 움직임 벡터와 변이 벡터를 결정한다. 움직임/변이 보상 디코더(220)는 상기 움직임 벡터 및 변이 벡터 그리고 상기 움직임 보상 디코더(200)에서 복호된 좌영상을 이용하여 우영상을 복호한다. 따라서 본 발명에 의한 동영상 복호화 장치는 스테레오 동영상을 복원한다.
도1b를 참조하여 다시점 동영상을 부호화하는 방법을 설명한다.
일례로 주파수 영역에서의 디지털 워터 마킹 방법을 이용할 경우, 블록 단위로 영상의 부호화 정보 추출 및 디지털 워터마킹이 이루어진다.
제1 영상(제1 카메라(11)에 의해 획득된 영상)(21)의 부호화 정보(움직임 벡터, 변이 벡터)는 제2 영상(제2 카메라(12)에 의해 획득된 영상)(22)에 디지털 워터마크 형태로 삽입되고 제2 영상(22)이 부호화된다. 또한 제3 영상(제3 카메라(13)에 의해 획득된 영상)(23)의 부호화 정보는 제4 영상(제4 카메라(14)에 의해 획득된 영상)(24)에 디지털 워터마크 형태로 삽입되어 제4 영상(24)이 부호화된다. 따라서 다시점 입체 동영상이 제1 영상, 제2 영상, 제3 영상, 제4 영상으로 이루어진 경우, 제1 내지 제4 영상의 부호화 데이터를 모두 송신할 필요없이, 제2 영상, 제4 영상의 부호화 데이터만을 송신한다.
또한 디지털 워터마크가 삽입된 제2 영상 부호화 데이터와 제4 영상 부호화 데이터가 수신되면, 본 발명에 의한 동영상 복호화 장치는, 제2 영상 부호화 데이터로부터 디지털 워터마크를 추출하여 제2 영상과 제1 영상을 복호하고, 제4 영상 부호화 데이터로부터 제4 영상과 제3 영상을 복호한다. 따라서 본 발명에 의한 동영상 복호화 장치는 제1 내지 제4 영상을 이용하여 다시점 입체 동영상을 복호할 수 있다.
상기에서 살펴본 바와 같이, 본 발명에 의한 디지털 워터마킹을 이용한 동영상 부호화 장치 및 방법은, 하나의 카메라에 의해 획득된 영상의 부호화 정보(움직임 벡터와 변이 벡터)를 디지털 워터마크 형태로, 다른 카메라에 의해 획득된 영상에 삽입하여 송신함으로써 하나의 카메라에 의해 획득된 영상의 부호화 양만으로 입체 동영상의 부호화를 수행할 수 있는 효과가 있다.
본 발명에 의한 디지털 워터마킹을 이용한 동영상 복호화 장치 및 방법은, 하나의 카메라에 의해 획득된 영상의 부호화 데이터를 수신하면, 수신된 영상 부호화 데이터로부터 디지털 워터마크를 추출하여 입체 동영상을 복호할 수 있는 효과가 있다.
본 발명에 의한 디지털 워터마킹을 이용한 동영상 부호화/복호화 장치 및 방법은, 일반적인 2차원 동영상 부호화/복호화 장치와 호환이 가능한 효과가 있다.
본 발명은 일반적인 2차원 동영상의 부호화/복호화의 경우와 거의 동일한 데이터 양으로 부호화/복호화가 가능한 효과가 있다.
본 발명은 스테레오 동영상 뿐만 아니라 다시점 동영상을 부호화/복호화할 경우 일반적인 동영상의 부호화/복호화 방법을 적용할 경우에 비해 많은 데이터 양의 감소 효과가 있다.

Claims (10)

  1. 제1 동영상의 움직임 벡터와 제1 동영상과 제2 동영상 간의 변이 벡터를 디지털 워터마크로 설정하고 그 설정된 디지털 워터마크를 제2 동영상에 삽입하는 워터마크 삽입기 및 상기 디지털 워터마크가 삽입된 제2 동영상을 부호화하여 송신하는 움직임 보상 인코더를 구비한 동영상 부호화 장치와;
    상기 동영상 부호화 장치로부터 송신된 제2 동영상 부호화 데이터로부터 디지털 워터마크를 추출하고 제2 동영상을 복호하며 상기 추출된 디지털 워터마크를 이용하여 제1 동영상을 움직임 보상 복호하는 동영상 복호화 장치를 포함하여 구성된 것을 특징으로 하는 디지털 워터마킹을 이용한 동영상 부호화/복호화 장치.
  2. 제 1 항에 있어서, 상기 제1 동영상은 다시점 입체 동영상을 구성하는 동영상들 중 하나이고, 상기 제2 동영상은 상기 다시점 입체 동영상을 구성하는 영상들 중 다른 하나인 것을 특징으로 하는 디지털 워터마킹을 이용한 동영상 부호화/복호화 장치.
  3. 제 1 항에 있어서, 상기 제1 동영상의 부호화 정보는,
    제1 동영상의 움직임 벡터와, 제1 동영상과 제2 동영상 간 변이 벡터를 포함하는 것을 특징으로 하는 디지털 워터마킹을 이용한 동영상 부호화/복호화 장치.
  4. 삭제
  5. 제 1 항에 있어서, 상기 동영상 부호화 장치는,
    상기 제1 영상의 움직임을 추정하고 제1 움직임 벡터를 출력하는 제1 움직임 추정부와;
    상기 제2 영상의 움직임을 추정하고 제2 움직임 벡터를 출력하는 제2 움직임 추정부와;
    상기 제1 영상과 제2 영상간 변이 추정을 수행하고 변이 벡터를 출력하는 변이 추정부를 더 포함하여 구성된 것을 특징으로 하는 디지털 워터마킹을 이용한 동영상 부호화/복호화 장치.
  6. 제 1 항에 있어서, 상기 동영상 복호화 장치는,
    제2 동영상 부호화 데이터를 움직임 보상을 통해 복호화하는 움직임 보상 디코더와;
    상기 움직임 보상 디코더에서 복호화된 프레임의 해당 위치로부터 디지털 워터마크를 추출하고 그 추출된 디지털 워터마크로부터 제1 동영상의 움직임 벡터와 변이 벡터를 결정하는 워터마크 추출기와;
    상기 제1 동영상의 움직임 벡터 및 변이 벡터와 상기 복호화된 제2 동영상을 이용하여 제1 동영상을 복호화하는 움직임/변이 보상 디코더를 포함하여 구성된 것을 특징으로 하는 디지털 워터마킹을 이용한 동영상 부호화/복호화 장치.
  7. 하나의 카메라에 의해 획득된 제1 영상의 부호화 정보를 디지털 워터마크로 설정하는 과정과;
    다른 하나의 카메라에 의해 획득된 제2 영상에 상기 디지털 워터마크를 삽입하는 과정과;
    상기 디지털 워터마크가 삽입된 제2 영상을 움직임 보상 부호화하는 과정과;
    상기 부호화된 제2 영상을 송신하는 과정과;
    상기 송신된 제2 영상을 움직임 보상 복호하는 과정을 포함하여 이루어진 것을 특징으로 하는 디지털 워터마킹을 이용한 동영상 부호화/복호화 방법.
  8. 제 7 항에 있어서, 상기 하나의 카메라에 의해 획득된 제1 영상은 다시점 입체 동영상을 구성하는 영상들 중 하나이고, 상기 다른 하나의 카메라에 의해 획득된 제2 영상은 상기 다시점 입체 동영상을 구성하는 영상들 중 다른 하나인 것을 특징으로 하는 디지털 워터마킹을 이용한 동영상 부호화/복호화 방법.
  9. 제 7 항에 있어서, 상기 제1 영상의 부호화 정보는, 제1 영상의 움직임 벡터와, 제1 영상과 상기 제2 영상 간 변이 벡터를 포함하는 것을 특징으로 하는 디지 털 워터마킹을 이용한 동영상 부호화/복호화 방법.
  10. 제 7 항에 있어서, 상기 움직임 보상 복호하는 과정은,
    상기 송신된 제2 영상을 복호하는 과정과;
    복호된 제2 영상 프레임의 해당 위치로부터 디지털 워터마크를 추출하는 과정과;
    상기 추출된 디지털 워터마크로부터 상기 제2 영상의 움직임 벡터와 변이 벡터를 결정하는 과정과;
    상기 결정된 움직임 벡터와 변이 벡터 및 상기 복호된 제2 영상을 이용하여 제1 영상을 복호하는 과정으로 이루어진 것을 특징으로 하는 디지털 워터마킹을 이용한 동영상 부호화/복호화 방법.
KR20030030268A 2003-05-13 2003-05-13 디지털 워터마킹을 이용한 동영상 부호화/복호화 장치 및방법 KR100556848B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR20030030268A KR100556848B1 (ko) 2003-05-13 2003-05-13 디지털 워터마킹을 이용한 동영상 부호화/복호화 장치 및방법
JP2004038870A JP4616564B2 (ja) 2003-05-13 2004-02-16 デジタルウォーターマーキングを利用した動画像符号化／復号化装置及びその方法
EP20040010821 EP1477930B1 (en) 2003-05-13 2004-05-06 Apparatus and method for encoding and decoding a moving picture using digital watermarking
US10/842,500 US7697609B2 (en) 2003-05-13 2004-05-11 Apparatus and method for encoding and decoding a moving picture using digital watermarking
CN2004100445285A CN1551639B (zh) 2003-05-13 2004-05-12 应用数字水印编码和解码运动图像的装置及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20030030268A KR100556848B1 (ko) 2003-05-13 2003-05-13 디지털 워터마킹을 이용한 동영상 부호화/복호화 장치 및방법

Publications (2)

Publication Number Publication Date
KR20040098117A KR20040098117A (ko) 2004-11-20
KR100556848B1 true KR100556848B1 (ko) 2006-03-10

Family

ID=33028863

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20030030268A KR100556848B1 (ko) 2003-05-13 2003-05-13 디지털 워터마킹을 이용한 동영상 부호화/복호화 장치 및방법

Country Status (5)

Country Link
US (1) US7697609B2 (ko)
EP (1) EP1477930B1 (ko)
JP (1) JP4616564B2 (ko)
KR (1) KR100556848B1 (ko)
CN (1) CN1551639B (ko)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060023787A1 (en) * 2004-07-27 2006-02-02 Microsoft Corporation System and method for on-line multi-view video compression
US20060023782A1 (en) * 2004-07-27 2006-02-02 Microsoft Corporation System and method for off-line multi-view video compression
US20090079874A1 (en) * 2004-11-22 2009-03-26 Koninklijke Philips Electronics, N.V. Display device with time-multiplexed led light source
JPWO2007088912A1 (ja) * 2006-01-31 2009-06-25 国立大学法人 長崎大学 画像符号化方法、画像復号化方法、画像符号化装置及び画像復号化装置
US20080317124A1 (en) * 2007-06-25 2008-12-25 Sukhee Cho Multi-view video coding system, decoding system, bitstream extraction system for decoding base view and supporting view random access
KR101345544B1 (ko) 2007-06-25 2013-12-26 세종대학교산학협력단 기본시점 복호 및 시점 임의 접근을 지원하기 위한 다시점비디오 부호화 시스템, 복호화 시스템 및 비트스트림 추출시스템
US8565472B2 (en) * 2007-10-30 2013-10-22 General Instrument Corporation Method, device and system for dynamically embedding watermark information into multimedia content
US20090110059A1 (en) * 2007-10-31 2009-04-30 General Instrument Corporation Method and system for transmitting end-user access information for multimedia content
US8401223B2 (en) * 2008-10-20 2013-03-19 Virginia Venture Industries, Llc Embedding and decoding three-dimensional watermarks into stereoscopic images
US8300881B2 (en) 2009-09-16 2012-10-30 Broadcom Corporation Method and system for watermarking 3D content
EP3258688A2 (en) 2010-02-09 2017-12-20 Koninklijke Philips N.V. 3d video format detection
US8774267B2 (en) * 2010-07-07 2014-07-08 Spinella Ip Holdings, Inc. System and method for transmission, processing, and rendering of stereoscopic and multi-view images
US20130120528A1 (en) * 2011-01-09 2013-05-16 Thomson Licensing Video processing apparatus and method for detecting a temporal synchronization mismatch
US20120268551A1 (en) * 2011-04-19 2012-10-25 Ben Wu Image Interaction Device, Interactive Image Operating System, and Interactive Image Operating Method thereof
KR101311286B1 (ko) * 2011-10-11 2013-09-25 주식회사 파수닷컴 워터마크를 화면상에 표시하는 장치 및 방법
WO2014199449A1 (ja) * 2013-06-11 2014-12-18 株式会社東芝 電子透かし埋め込み装置、電子透かし検出装置、電子透かし埋め込み方法、電子透かし検出方法、電子透かし埋め込みプログラム、及び電子透かし検出プログラム
CN105187817B (zh) * 2015-09-09 2018-05-29 武汉大学 基于数字水印加密的裸眼3d视频加密方法及系统
KR101756759B1 (ko) * 2016-01-07 2017-07-12 주식회사 마크애니 화질 손상을 방지하는 동영상 스트림에 대한 부가 데이터 삽입 방법 및 장치
EP3429186B1 (en) * 2016-03-30 2022-08-24 Huawei Technologies Co., Ltd. Image registration method and device for terminal
KR102349590B1 (ko) * 2019-10-14 2022-01-11 한국전자기술연구원 Lf 콘텐츠의 저작권 보호 방법

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5619256A (en) * 1995-05-26 1997-04-08 Lucent Technologies Inc. Digital 3D/stereoscopic video compression technique utilizing disparity and motion compensated predictions
US6055012A (en) 1995-12-29 2000-04-25 Lucent Technologies Inc. Digital multi-view video compression with complexity and compatibility constraints
US6192138B1 (en) * 1997-05-08 2001-02-20 Kabushiki Kaisha Toshiba Apparatus and method for embedding/unembedding supplemental information
KR100294890B1 (ko) * 1998-07-01 2001-07-12 윤종용 워터마킹을 사용한 디지털 영상 코딩 장치와 디코딩 장치 및 그 방법
KR100389857B1 (ko) 1998-07-01 2003-07-04 삼성전자주식회사 워터마킹을 사용하여 시그니쳐 영상을 기록하고 복원하는 디지털 영상 코딩/디코딩장치 및 방법
JP4083302B2 (ja) 1998-08-12 2008-04-30 株式会社東芝 動画像スクランブル／デスクランブル装置
JP4130503B2 (ja) 1998-11-30 2008-08-06 株式会社東芝 電子透かし埋込み装置
JP3615963B2 (ja) 1999-06-01 2005-02-02 三星電子株式会社 リアルタイム動映像符号化のための高速動き推定方法及びその装置
JP2001285895A (ja) 2000-03-30 2001-10-12 Sanyo Electric Co Ltd 画像データ符号化装置及びその方法
JP2004513586A (ja) * 2000-11-07 2004-04-30 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 透かしを情報信号に埋め込む方法及び装置
JP2004048219A (ja) * 2002-07-10 2004-02-12 Hitachi Ltd 電子透かし情報の挿入方法
KR100751422B1 (ko) * 2002-12-27 2007-08-23 한국전자통신연구원 스테레오스코픽 비디오 부호화 및 복호화 방법, 부호화 및복호화 장치
US7660472B2 (en) * 2004-02-10 2010-02-09 Headplay (Barbados) Inc. System and method for managing stereoscopic viewing

Also Published As

Publication number Publication date
US20040228409A1 (en) 2004-11-18
CN1551639B (zh) 2010-06-09
US7697609B2 (en) 2010-04-13
EP1477930B1 (en) 2015-04-08
JP2004343694A (ja) 2004-12-02
EP1477930A1 (en) 2004-11-17
KR20040098117A (ko) 2004-11-20
CN1551639A (zh) 2004-12-01
JP4616564B2 (ja) 2011-01-19

Similar Documents

Publication Publication Date Title
KR100556848B1 (ko) 디지털 워터마킹을 이용한 동영상 부호화/복호화 장치 및방법
Asikuzzaman et al. Robust DT CWT-based DIBR 3D video watermarking using chrominance embedding
Deguillaume et al. Robust 3D DFT video watermarking
KR101498535B1 (ko) 스테레오스코픽 및 멀티-뷰 이미지들의 송신, 프로세싱 및 렌더링을 위한 시스템 및 방법
JP5185104B2 (ja) カメラパラメータを利用した多視点画像の符号化装置と生成装置、及びその方法、並びにこれを行うためのプログラムが記録された記録媒体
EP2059053A2 (en) Method and device for generating depth image using reference image, method for encoding/decoding depth image, and encoder or decoder for the same
WO2010108024A1 (en) Improvements to 3d data representation, conveyance, and use
KR101785194B1 (ko) Dibr 3차원 영상을 위한 템플릿 기반 워터마킹 방법 및 장치
Rana et al. 3D video watermarking using DT-DWT to resist synthesis view attack
TW200931948A (en) Generation of a signal
KR20030073369A (ko) 양자화를 이용한 실시간 블라인드 워터마킹 방법
Hwang et al. Real-time stereo image watermarking using discrete cosine transform and adaptive disparity maps
Jaipuria Watermarking for Depth Map Based 3D images using wavelet transform
KR100656783B1 (ko) 양안식 입체 영상 전송 장치 및 그 방법과 그를 이용한양안식 입체 영상 렌더링 장치 및 그 방법
Luo et al. Security of MVD-based 3D video in 3D-HEVC using data hiding and encryption
Gao et al. Lossless fragile watermarking algorithm in compressed domain for multiview video coding
Al Boridi et al. Wavelet decomposition-based stereoscopic 3-D video watermarking—A comparative study
Salman et al. Study Analysis to New Trend for 3D Video Watermark
Uehira et al. Technique of embedding depth maps into 2D Images
Wu et al. Differential watermarking scheme of stereo video
Duta et al. Compressed versus uncompressed domain video watermarking
Lee et al. New watermark scheme for copyright protection of the stereo vision system using adaptive disparity matching algorithm
Duta et al. A comparative study on insertion strategies in MPEG-4 AVC watermarking
Busch et al. Video Watermarking: Requirements
Jaber DIGITAL WATERMARKING OF 3D DISPARITY MAP BASED IMAGES FOR TRANSACTION TRACKING

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130128

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20140124

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20150213

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20160122

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20170124

Year of fee payment: 12

LAPS Lapse due to unpaid annual fee