KR20010111885A - 스펙트로그램을 이용한 음향의 영상 워터마킹 방법 - Google Patents

Abstract

본 발명은 정보의 재료로서 사용되는 워터마크(watermark)를 다양화시키는 대안으로서 2진 영상을 스펙트로그램화된 음향에 대입시키는 방법을 제공하고자 하는 것이다. 즉 음향의 워터마킹 기술에 있어서, 2진 영상을 워터마크로 채용할 수 있는 공간 변환기법을 제시하고 있으며, 워터마킹 을 삽입하는 과정에 있어서, 음향을 2차원 영상으로 변환한 후에 각 주파수 영역에 워터마크를 삽입하거나 또는 영상을 직접 워터마킹 할 수 있는 스펙트로그램을 이용하는 워터마킹 기술을 제안하고 있다. 그러므로, 종래에는 무의미한 랜덤변수를 이용하여 워터마크로 이용하였으나, 본 발명에서는 심볼화된 워터마크를 이용하여 콘텐츠업자마다 워터마크를 확보할 수 있도록 하였으며, 잡음으로 삽입되는 워터마크의 밀도를 낮춤으로써 전체적인 S/N비를 개선시키는 효과를 가져오게 된다.

Description

스펙트로그램을 이용한 음향의 영상 워터마킹 방법{Method of audio watermarking with image using spectrogram}

본 발명은 음향의 워터마킹 기술에 2진 영상을 워터마크로 채용할 수 있는 공간 변환기법을 제시하고, 워터마크를 삽입하는 과정에서 음향을 2 차원 영상으로 변환한 후에, 주파수영역에 워터마크를 삽입하거나 또는 영상을 직접 워터마킹 할 수 있는 스펙트로그램을 이용한 워터마킹 기술에 관한 것이다

이러한 기술을 인터넷상의 전자상거래중 음반 분야에서 MP3음악을 사고 파는 일이 급증하게 되었으나, 불법적인 음악의 복사가 증가하게 되어 이러한 불법적인 복사 및 배포를 차단하고 저작권을 보호하기 위해 본 발명이 제안되게 되었다.

최근에는, 고속 인터넷의 발달로 전자 상거래가 급속도로 발전하고 있는 상황이다. 이러한 인터넷을 이용하여 음악연주를 들을 수 있고, 그 음악을 온라인상에서 받아볼 수 있는 MP3의 기술 발달로 인터넷상에서 MP3음악을 파는 서비스가 증가하고 있다. 그러나 이러한 서비스에 있어서는 판매된 음악이 다시 인터넷을 통해 불법적으로 배포되는 일이 생길 때에 이러한 불법을 방지할 수 없다는 단점을 가지고 있다. 즉, 인터넷을 통한 불법적인 음향의 배포로 음향의 워터마킹이 절실히 요구되고 있는 실정이다.

I.J.Cox가 제안한 스펙트럼확산을 이용하여 워터마킹 기법[1]이 제안되었으며, 이 방법은 임의의 seed값에 의해 형성된 PN-sequence를 음향의 주파수 영역에 삽입함으로써, 나중에 모든 주파수 영역에서 워터마크를 검출할 수 있다는 장점을 가지고 있었다. 그러나 PN-sequence에 의한 워터마크는 생성키인 seed 값만이 의미있는 데이터라고 할 수 있으며, 그 양은 삽입되는 전체 워터마크에 비해 매우 작은 양이 된다는 단점을 가지고 있었다.

그러므로, 현재는, 음향의 워터마킹 재료로서 임의의 랜덤 수열인 PN-sequence만이 사용되고 있으나, 앞으로는 모든 음향에 PN-sequence를 어떠한 방법으로 삽입시키는 분야에 연구의 관심이 집중될 것이다.

그러므로, 상술한 문제를 방지하기 위해서, 여러 가지 방법들이 제시되고 있으나, 가장 확실한 방법은 저작권자만이 알 수 있는 표식(워터마크)를 삽입하여 추후 저작권 분쟁이 발생했을 때에, 워터마크를 찾음으로써 불법 음악의 최초 배포자를 찾아내고, 기타 분쟁들을 해결하는 것이다. 본 발명의 목적은 정보의 재료로서 사용되는 워터마크(watermark)를 다양화시키는 대안으로서 2진 영상을 스펙트로그램화된 음향에 대입시키는 방법을 제공하고자 하는 것이다.

자세히 이야기하자면, 본 발명의 목적은 개선된 음향 워터마킹 기술을 제공하는 것이며, 특히, 2진 영상을 워터마크로 채용할 수 있는 공간 변환기법을 제시하고, 워터마킹을 삽입하는 과정에 있어서, 음향을 2차원 영상으로 변환한 후에 각 주파수 영역에 워터마크를 삽입하거나 또는 영상을 직접 워터마킹 할 수 있는 스펙트로그램을 이용하는 워터마킹 기술을 제공하고 있다.

그러므로, 종래에는 무의미한 랜덤변수를 이용하여 워터마크로 이용하였으나, 본 발명에서는 심볼화된 워터마크를 이용하여 콘텐츠 업자마다 워터마크를 확보할 수 있도록 하였으며, 잡음으로 삽입되는 워터마크의 밀도를 낮춤으로써 전체적인 S/N비를 개선시키는 효과를 가져오게 된다.

도 1a와 b는 수학식 1을 이용하여 공간변환된 영상을 도시한 도면이다.

도 2는 사람의 최소 가청 음압곡선을 도시한 도면이다.

도 3은 1차원 음향과 2차원 스펙트로그램을 도시한 도면이다.

도 4는 스펙트로그램을 이용하여 워터마크를 삽입하는 과정을 도시한 도면이다.

도 5a-f는 공격후 워터마크 검출결과 영상을 도시한 도면이다.

종래에는 PN-sequence를 사용하는 방법에 있어서, 랜덤 수열을 워터마크로 사용하고 있는데, 이 방법의 워터마크가 가지고 있는 기능은 단지 특정한 키 값을 숨기는 용도 외에는 아무 의미가 없었다. 이러한 랜덤 수열 워터마크를 2진 영상으로 대체할 수 있다면, 워터 마크의 역할이 매우 다양해지고, 워터마킹되는 수열 자체에도 의미를 가질 수 있게 된다.

먼저, 2진 영상을 워터마크로 사용하려면, 2진 영상을 수열로 만들 수 있어야하고, 주파수 영역에서 검출되었을 때에 키를 모르는 사람에게는 원래의 워터마크 영상이 검출되어서는 안된다.

그렇게 하기 위해서는 2진 영상을 수학식 1을 이용하여 공간 변환을 수행하고, 공간변환된 2진 영상을 워터마크가 될 수 있는 수열로 사용하게 되면, 키가 없는 사용자는 워터마크의 내용을 알 수 없게 되며, 키를 가지고 있는 저작권자는 수학식 2를 이용한 역변환 과정을 통해 삽입된 2진 영상을 얻어낼 수 있다.

수학식 1은 m x m의 2진 영상의 좌표를 N x N의 공간 영역에 뿌리는 작용을 한다(n ≤ N). 입력되는 m x m 공간의 좌표(x_n, y_n)를 N x N 공간 영역의 새로운 좌표(x_n+1, y_n+1)로 매핑(mappimg)시킨다. 이 때에, 수학식 1을 반복하게되면, 불안정한 좌표 변환이 되어 매우 불규칙적인 값이 생성된다. 정수 연산을 통하여 계산되기 때문에 무질서한 값들이 다른 시작점의 좌표들과 겹쳐지지 않는다. 변환된 결과는 도 1b와 같이 N x N의 전체 영역에 골고루 위치하게 되며, 원래의 2진영상과는 관련성을 가지지 않는다.

역변환은 수학식 2를 이용하여 구해진다.

역변환을 할 경우에도 정수 연산으로 행해지며, 정변환과 같은 변수를 이용하면, 도 1a의 영상으로 정확히 역변환된다.

이때에, m ≤N의 조건만을 만족한다면, 얼마든지 큰 영상을 워터마크에 사용할 수 있게 된다.

한편, 사람의 가청 주파수 범위는 20 - 20,000Hz의 범위를 가진다. 그 범위내에서도 주파수에 따라 들을 수 있는 최소 음압(SPL)을 가지는데 이 최소 가청 음압곡선은 수학식 3으로 근사화되며, 도 2의 그래프에 도시되어 있다.

도 2에 도시된 곡선을 워터마크에 이용하게 되면, 사람이 들을 수 없는 최대의 음압으로 워터마크 삽입이 가능해지므로 공격에 강한 워터마크 삽입이 가능하게 된다.

공간 변화된 워터마크 영상을 워터마킹 하기 위해서는 일차원 데이터로 나열하여 일반적인 스펙트럼 확산의 PN-sequence의 워터마킹처럼 삽입할 수 있으나, 본 발명에서는 스펙트로그램을 이용하고 있다.

스펙트로그램은 1차원 음향데이터를 2차원 영상으로 표현할 수 있는 방법으로 일정 길이의 샘플링된 데이터를 DCT변환하여 시간축으로 나열한 것이다.

도 3에 도시된 바와 같이, 한 프레임에 사용되는 음향의 길이는 샘플링 주파수가 44.1kHz에서 약 1.5초간의 음향이 된다. 이러한 스펙트로그램을 이용하여 워터마크를 삽입하게 되면, 한 주파수에서 시간축으로 워터마크를 삽입할 수 있으므로, 주파수에 워터마크의 강도를 쉽게 조절할 수 있게 되며, 영상에 적용되는 워터마킹 기법을 음향에 쉽게 적용할 수가 있다.

상술한 워터마크를 삽입하는 방법을 자세히 설명하자면, 수학식 4를 이용하여 워터마크를 삽입할 수 있게 된다.

여기에서, X는 원 음향의 스펙트로그램, α는 삽입 강도, M은 심리 음향모델, W는 워터마크 영상, Y는 워터마킹 된 음향의 스펙트로그램이다.

본 발명에서 사용된 워터마크 영상은 도 1a의 64 x 64 2진 영상을 이용하였다. 실험에 사용된 음향은 EBU의 SQAM(Sound Quality Assessment Material)중 Horn의 데이터를 이용하였다.

사용된 공격으로는 SDMI에 규정된 공격방법중에서

1. Amplitude compression

2. Equalization

3. Band-pass Filtering

4. Addition Echo

5.ISO/IEC 11172 - 3:1993 Layer III (MP3)를 워터마크가 삽입된 음향에 적용하여 평가한다. 평가의 지표로는 수학식 5를 이용하여 워터마크 삽입전후의 SNR을 측정하고, 두 벡터의 correlation을 구하는 수학식 6을 이용하여 유사도를 측정한다.

도 6을 살펴보면, 공간변환을 통하여 변환된 워터마크 영상을 삽입/공격후 복원시킨 영상이다. 각각의 공격 방법에 대하여 육안으로 식별가능한 영상이 도시되어 있다.

표 1은 기존의 랜덤 수열 대입방식과 본 발명의 공간변환방식에서 SNR의 변화와 cross correlation의 변화를 동일한 삽입 강도(α = 1/10000)에서 비교한 것을 나타낸 것이다. SNR의 경우에는, 본 발명이 기존의 방식에 비해 높은 수치를 기록하고 있으며, 이것은 랜덤 수열의 1의 비율이 50%를 차지하는 반면에 공간변환된 워터마크는 1/16의 비율을 가지므로 상대적으로 SNR이 상승한 결과이다. 표 1의 랜덤 수열의 cross correlation 값은 주파수 별로 8등분하여, 그 중 가장 큰 값을 취한 결과를 기록한 것이다.

표 2는 기존의 방법과 본 발명을 항목별로 비교해 놓은 것이다.

공격방법(α= le - 4)	SNR[dB]	Cross correlation
	랜덤수열	공간변환	랜덤수열(MAX)*	공간변환
x	48.05	60.19	1	1
Amplitude Compression	-8.06	-8.06	0.94	0.34
Equalization	-0.87	-0.87	0.74	0.39
Band-pass Filter	19.15	19.18	0.99	0.61
Adding Echo	6.31	6.31	0.81	0.52
MPEG Compression	39.27	43.56	0.87	0.51

공격방법	기존의 방법	제안된 방법
워터마크 생성방법	랜덤수열 생성기	2진 영상의 영상변환
생성키	seed, length	k, N, 반복횟수, 2진영상
복원된 형태	랜덤수열	2진영상
잡음 농도	50%	B/W의 비율
삽입방향	동 시간대의 주파수방향	동 주파수대의 시간방향

본 발명에서는, 기존의 의미없는 랜덤 함수로 생성되는 PN-sequence를 2진 영상으로 대체하는 방법을 제시하고 있으며, 음향의 워터마크 삽입시에 스펙트로그램을 도입함으로써 워터마킹 방법과 워터마크 도입에 다양성을 도모하고 있다. 상술한 실험 결과에 의하면, 2진 영상의 워터마크도 PN-sequence와 같은 역할을 충분히 할 수 있으며, 특히, 워터마킹 되는 잡음의 밀도가 PN-sequence에 비해 월등히 작음으로 워터마크가 삽입된 음향의 SNR을 향상시킬 수가 있게 되었다. 또한 음향의 워터마크에 영상을 도입함으로써 음향저작권자마다 각자의 심볼을 워터마크에 삽입함으로써 워터마크를 다양화할 수 있게 되므로, 음악 프로그램의 불법복제 등과 같은 일들을 방지할 수 있는 효과를 가져오게 된다.

Claims (4)

1. 스펙트로그램화된 음향데이터에 워터마킹 시키는 방법에 있어서,

   상기 워터마킹 방법은,

   2진 영상을 워터마크로 사용하기 위해 공간 변환시키는 공간변환 단계와,

   스펙트로그램 방법을 이용하여 입력된 1차원의 음향데이터를 2차원의 영상 데이터인 스펙트로그램화된 음향데이터를 생성시키는 스펙트로그램화 단계와,

   상기 공간변환된 2진 영상을 상기 스펙트로그램화된 음향데이터에 대해 한 주파수에서 시간축으로 삽입시켜 워터마크시키는 단계와,

   상기 삽입단계에 의해 워터마크된 음향데이터를 변환시켜 워터마크된 오디오 데이터를 출력하는 단계로 구성되어 있는 워터마킹 방법.
2. 제 1항에 있어서,

   상기 공간변환 단계는 다음과 같은 수학식 1을 이용하여 m x m의 2진 영상을 워터마크되는 수열로 만들기 위해서 N x N 공간(m≤N)에 좌표변환시키는 매핑(mapping)단계를 포함하고 있는 워터마킹 방법.
3. 제 1항에 있어서,

   상기 스펙트로그램화단계는 일정 길이의 샘플링 음향데이터를 DCT변환시켜 시간축으로 나열하는 단계가 되는 워터마킹 방법.
4. 제 1항에 있어서,

   상기 삽입단계는 다음과 같은 수학식 4를 이용하여 상기 공간변환된 2진 영상을 시간축상에서 상기 스펙트로그램화된 음향데이터에 삽입시키는 워터마킹 방법.