KR100492743B1

KR100492743B1 - 신호의 특성값의 양자화에 의한 워터마크 삽입 및 검출방법

Info

Publication number: KR100492743B1
Application number: KR10-2003-0021827A
Authority: KR
Inventors: 신승원; 이원하; 최종욱
Original assignee: 주식회사 마크애니; (주)마크텍
Priority date: 2003-04-08
Filing date: 2003-04-08
Publication date: 2005-06-10
Also published as: JP2004310117A; US20050002526A1; US7140043B2; KR20040087759A

Abstract

신호의 특성값의 양자화에 의한 워터마크 삽입 및 검출방법이 개시된다. 워터마크 삽입을 위해서는, 먼저 워터마킹될 신호를 소정의 시간주기로 구획하여 얻어진 프레임 내의 신호에 대한 특성값을 소정의 방식에 따라 산출한다. 하나 이상의 양자화값을 각각 포함하는 복수의 집합들 중 프레임에 삽입될 패턴정보의 값에 대응되는 집합 내의 양자화값들을 각각 특성값과 비교하여, 특성값에 가장 근접한 양자화값을 결정한다. 특성값이 결정된 양자화값과 동일하게 되도록 프레임 내의 신호를 변형하기 위해 사용되는 삽입강도를 산출하고, 산출된 삽입강도에 기초하여 프레임 내의 신호를 변형시킨다. 워터마크 검출은 삽입과 유사한 과정을 거쳐 수행된다. 이에 의하면, 오디오신호의 인증에 특히 적합한 워터마킹 삽입 및 검출 방법이 제공된다.

Description

신호의 특성값의 양자화에 의한 워터마크 삽입 및 검출방법 {METHOD FOR INSERTING AND DETECTING WATERMARK BY A QUANTIZATION OF A CHARACTERISTIC VALUE OF A SIGNAL}

본 발명은 워터마킹 방법 및 장치에 관한 것으로서, 보다 구체적으로는, 디지털 오디오신호의 위변조 식별에 의해 무결성 인증을 할 수 있는 워터마킹 방법 및 장치에 관한 것이다.

워터마킹 기술은 방송 모니터링(Broadcasting monitoring), 저작권 식별(Owner identification), 인증 (Authentication), 불법 유통 추적을 위한 핑거프린팅(Fingerprinting), 정보 은닉 기술(Covert communication), 복사 제어 (Copy control) 등 다양한 분야에서 이용되고 있다. 이러한 응용 분야에서 사용되는 워터마킹 기술에 대한 요구조건은 각 분야마다 상이하나, 공통적으로는 원본 저작물과 워터마크가 삽입된 저작물의 차이점을 사람의 오감으로 식별할 수 없어야 하는 조건을 갖는다.

이러한 다양한 응용 분야 중 인증(Authentication) 분야는 최근에 주목받고 있는 응용분야 중에 하나이다. 인증은 암호화 분야에서 오랫동안 체계적인 연구가 진행되어 왔다. 워터마킹 분야에서 인증에 대한 문제를 처음 제기한 사람은 Friedman(U.S. Patent-5,499,294)으로, 이미지의 특성값으로 추출한 암호화된 서명을 이미지 데이터에 삽입함으로써 디지털 이미지에 대한 인증이 가능함을 제안하였다. 여기서는 만약 한 픽셀의 정보라도 변경되면 삽입된 암호화된 서명과 일치한 서명을 검출할 수 없기 때문에 어떠한 조작도 용납하지 않는다. 그 외에도 Lin & Chang 은 JPEG 압축과 같이 비악의적인 형태의 데이터 조작을 통해서는 삽입된 데이터가 변하지 않으면서도 일부 데이터의 첨가 또는 삭제, 변경 등과 같은 공격에 의해서는 삽입된 서명이 달라지게 하는 인증 방법을 제안하기도 하였다.

본 발명에서는 워터마크에 대한 여러 응용 분야 중에서 인증분야에 대한 연구에 초점을 두고 있다. 기존에 개발된 인증은 이미지와 비디오를 대상으로 한 연구가 주류를 이루고 있으나, 음성신호와 오디오신호에 대한 인증 기술은 거의 전무한 상태이다. 최근에는 음성 기록장치가 아날로그에서 디지털 기록 장치로 변모하면서 오디오신호에 대한 인증이 요구되고 있으며, 보이스 레코더와 MP3 플레이어를 이용한 디지털 음성 기록장치의 발전과 더불어 그 필요성이 보다 커지고 있는 실정이다.

오디오신호의 위변조 식별을 위한 기술은, 기록된 오디오신호 데이터 내의 임의의 데이터 일부를 변경하거나 오디오신호 데이터에 임의의 데이터를 첨가하는 경우, 또는 오디오신호 데이터의 일부를 제거할 경우에, 원본의 내용이 조작되었음을 감지할 수 있는 기능을 제공하여야 한다. 또, 나아가서는 위변조가 가해진 위치와 조작 형태를 유추하여 원래의 의미를 파악하는 데에 정보를 제공해야 한다.

이와 같은 목적을 위해서 요구되는 기술적인 특징으로는, 삽입되는 워터마킹 데이터의 비가청성, 압축에 대한 강인성, 워터마킹 기술의 노출을 방지하기 위한 템퍼 리지스턴스(Tamper resistance), 그리고 다양한 패턴의 삽입/추출이 가능한 신뢰성 등을 들 수 있다. 또한, 일반 가전 제품 형태에 모듈로 삽입하는 것을 전제로 하기 때문에 하드웨어 구현을 위한 실시간 처리가 가능할 수 있도록 빠른 연산처리가 필요하고 제한된 양의 메모리를 사용해야만 한다.

본 발명의 목적은 이와 같은 사양을 충족할 수 있는 데이터의 워터마킹 방법 및 장치를 제공하는 것으로서, 특히 오디오신호의 위변조 방지와 검출에 적합한 워터마킹 방법 및 장치를 제공하는 것이다.

상기 목적을 달성하기 위한 본 발명에 따른 워터마킹 방법은, 특성값 산출 단계, 양자화값 결정 단계, 삽입강도 산출 단계, 및 신호 변형 단계를 포함한다.

특성값 산출 단계에서는, 워터마킹될 신호를 소정의 시간주기로 구획하여 얻어진 프레임 내의 신호에 대한 특성값을 소정의 방식에 따라 산출한다.

양자화값 결정 단계에서는, 하나 이상의 양자화값을 각각 포함하는 복수의 집합들 중 프레임에 삽입될 패턴정보의 값에 대응되는 집합 내의 양자화값들을 각각 특성값과 비교하여, 특성값에 가장 근접한 양자화값을 결정한다.

삽입강도 산출 단계에서는, 특성값이 결정된 양자화값과 동일하게 되도록 프레임 내의 신호를 변형하기 위해 사용되는 삽입강도를 산출한다.

신호 변형 단계에서는, 산출된 삽입강도에 기초하여 프레임 내의 신호를 변형시킨다.

이때, 특성값 산출 단계 전에 신호를 소정의 주파수 범위로 필터링하고, 필터링된 신호에 대해서 특성값을 산출하도록 할 수도 있다.

또한, 신호 내의 무음 부분을 검출하여, 특성값 산출 단계 내지 신호 변형 단계가 무음이 아닌 신호를 포함하는 프레임에 대해서만 수행되도록 할 수도 있다.

워터마크로서 삽입되는 패턴정보는 에러검출코드 또는 에러정정코드, 그리고 워터마크 검출시의 동기화를 위한 동기신호를 포함하도록 하는 것이 바람직하다.

패턴정보는 각각의 상기 프레임당 하나의 비트로 구성될 수 있고, 각각의 프레임당 복수의 비트로 구성될 수도 있다. 복수의 비트를 삽입하는 방법으로서, 특성값 산출 단계 전에 신호를 각각 상이한 대역 범위를 갖는 복수의 주파수 범위로 필터링하고, 필터링된 각각의 신호에 대해서 복수의 비트를 각각 삽입하도록 구성할 수 있다.

본 발명에 따른 워터마크 검출 방법은, 특성값 산출 단계, 양자화값 결정 단계, 및 패턴정보 추출 단계를 포함한다.

특성값 산출 단계에서는 신호를 소정의 시간주기로 구획하여 얻어진 프레임 내의 신호에 대한 특성값을 워터마크 삽입시의 특성값 산출 방식과 동일한 방식에 따라 산출한다.

양자화값 결정 단계에서는 워터마크 삽입시의 특성값 양자화를 위해 사용된 복수의 양자화값 집합 내의 각각의 양자화값들을 산출된 특성값과 비교하여, 특성값에 가장 근접한 양자화값을 결정한다.

패턴정보 추출 단계에서는 결정 단계에서 결정된 양자화값을 포함하는 양자화값 집합에 대응되어 있는 값을 프레임에 삽입되어 있는 패턴정보로서 추출한다.

워터마크 삽입시에 신호가 필터링되었다면 추출시에도 필터링을 하는 것이 바람직하며, 이때 워터마크 삽입시 복수의 주파수 범위로 필터링되어 복수의 비트가 각 주파수 범위별로 패턴정보로서 삽입되었다면 추출시에도 복수의 주파수 범위로 필터링하여 각 주파수 범위별로 패턴정보를 추출한다.

본 발명에 따르면, 신호의 특성값의 양자화에 의한, 특히 오디오신호의 인증에 적합한 신뢰성 있는 워터마크 삽입방법 및 검출방법이 제공된다.

이하에서는 도면을 참조하여 본 발명의 바람직한 실시예를 보다 상세하게 설명한다.

본 발명에서는 오디오 특성값의 그룹 양자화를 이용한 워터마킹 기술에 근간을 둔 음성 신호의 내용 무결성 인증 기술을 제안한다. 본 발명에 따른 워터마크의 삽입과 추출은 도 1 에 제시된 바와 같은 기본 구성을 갖는 워터마킹 장치에 의해 수행된다.

도 1 을 참조하면, 워터마킹 장치는 크게 워터마크의 삽입을 위한 삽입부(100)와 위변조 식별을 위한 추출부(200)로 구성되어 있다.

삽입부(100)는 오디오신호 입력장치(110), 워터마크 사전검지부(120) 및 워터마크 삽입부(130)로 구성되어 있다. 오디오신호 입력장치(110)에 의해 출력되는 디지털 오디오신호(PCM 데이터)는 워터마크 사전검지부(120)로 입력된다. 워터마크 사전검지부(120)는 입력되는 오디오신호가 기존에 이미 워터마크가 삽입되어 있는 데이터인지를 검증한다. 워터마크 사전검지부(120)에서 오디오신호가 워터마크가 삽입되지 않은 데이터인 것으로 판명되면, 오디오신호는 워터마크 삽입부(130)로 전달된다. 워터마크 삽입부(130)는 오디오신호에 패턴 신호를 워터마크로 삽입한다. 워터마크가 삽입된 오디오신호는 디지털 음성 녹음 장치의 저장 매체(150)에 저장된다.

추출부(200)는 워터마크 추출부(210), 워터마크 패턴 전처리부(230) 및 위변조 구역 감지부(240)로 구성되어 있다. 워터마크 추출부(210)는 저장매체(150)로부터 입력된 오디오신호 내에 삽입된 워터마크를 추출하여 패턴 신호를 생성한다. 워터마크 패턴 전처리부(230)는 추출된 패턴신호에 포함된 노이즈 제거하여 워터마크 검출 과정에서 발생된 오검지 등으로 왜곡된 패턴 신호를 정화한다. 위변조 구역 감지부(240)는 정화된 패턴신호를 이용하여 위변조 유무와 조작 위치 등에 대한 상세한 정보를 얻는다.

이와 같은 워터마킹 시스템에 의해서 본 발명에 따른 워터마킹 삽입 및 추출이 수행된다. 이하, 본 발명의 워터마킹의 삽입과 추출에 대해서 설명한다.

위변조 여부를 판단하는 데에 사용되는 워터마킹은 일반적으로 반 연약성 워터마킹(semi-fragile watermarking) 기술을 이용한다. 이는 파일 포맷 변환 또는 압축과 같은 데이터 저장을 위한 정상적인 행위에 대해서는 워터마크가 제거되지 않는 반면에, 크롭핑(Cropping), 신호 첨가, 음질에 심각한 영향을 미치는 공격 등에 의해서는 워터마크가 제거되어 원본 음성 신호가 전달하고자 하는 내용과 달라질 경우에 위변조로 판단할 수 있기 때문이다.

이미지 데이터의 경우에는, 전체 이미지를 작은 블록으로 나눈 다음에, 각각의 블록의 특성값을 추출하고, 이 특성값을 워터마킹 기술을 이용하여 해당 블록에 저장해 두는 방법을 이용한다. 만약, 일부 영역을 다른 이미지로 대체하거나 제거하게 되면 특성값과 일치하는 워터마크 정보를 검출할 수 없기 때문에 위변조를 판단할 수 있게 된다.

이와 유사하게 본 발명에서는 오디오신호를 일정한 크기의 프레임으로 나누어서 워터마크로 사전에 생성해 둔 패턴정보의 비트열을 각 프레임에 순차적으로 삽입하여 오디오 데이터에서 발생하는 위변조를 식별할 수 있도록 하는 방식에 근간을 둔다.

도 2 는 본 발명에 따른 워터마크 삽입 과정을 도시한 순서도이다.

본 발명에 따른 워터마크 삽입 방법은, 오디오신호에 대한 대역통과 필터링(S110), 필터링된 오디오신호의 특성값 계산(S120), 계산된 특성값에 대한 양자화 수준 결정(S130), 결정된 양자화 수준에 부합되는 삽입강도의 계산(S140), 계산된 삽입강도를 이용한 워터마크의 삽입(S150), 및 워터마크가 삽입된 오디오신호를 저장매체에 기록(S160)의 과정을 거쳐 수행된다.

이와 같은 워터마크의 삽입 절차를 단계별로 세분하여 자세히 설명하면 다음과 같다,

<제 1 단계> : S110 단계

프레임의 구획 및 대역통과 필터링

도 3 은 오디오신호의 프레임을 도시한 도면이다. 도 3 과 같이 오디오신호를 일정한 길이의 프레임(... , F_i-1, F_i, F_i+1, ...)으로 먼저 나눈다. 이때 각 프레임의 길이는 100 ms 이하의 크기로 한다. 임의의 프레임(F_i)을 동일한 길이의 두 영역으로 구분하여 각각 "A 영역", "B 영역" 이라고 한다.

오디오신호를 일정한 크기의 프레임으로 나눈 다음에는, 해당 프레임(F_i)의 오디오신호를 대역통과 필터링한다. 대역통과 필터링은 신뢰성 있는 오디오신호의 특성값을 추출하기 위한 과정으로, 대략 2 kHz 내지 4 kHz 이내의 대역 신호를 이용하며 대역폭은 1 kHz 이상이 적합하다.

삽입될 워터마크의 패턴정보는 미리 결정되어 있으며, 구획된 오디오신호의 하나의 프레임(F_i)에는 패턴정보 내의 하나의 비트가 삽입된다. 예컨대, 삽입될 워터마크의 패턴정보가 {1, 0, 0, 0, .... , 1, 1} 과 같이 구성되었다면, 오디오신호의 첫 번째 프레임에는 "1" 에 해당되는 값이 삽입되고, 두 번째 프레임에는 "0" 에 해당되는 값이 삽입된다. 이와 같이 패턴정보를 구성하는 일련의 비트열이 각 프레임에 순차적으로 삽입된 후에는 다음번 프레임부터는 다시 동일한 패턴정보의 비트열이 반복적으로 삽입된다.

이와 같이, 패턴정보는 "1" 또는 "0" 으로 구성된 비트열로 20~40 개 정도의 길이로 구성되어 오디오신호에 반복적으로 삽입된다.

<제 2 단계> : S120 단계

프레임의 특성값 산출

하나의 프레임(F_i)의 특성값 F 를 산출한다. 특성값 F 를 산출하기 위해서 먼저 A 영역과 B 영역의 오디오 신호의 제곱의 합을 다음의 [수학식 1] 과 같이 구한다.

여기에서, i-1, i-1/2, i 는 각각 A 영역의 시작시점, A 영역의 끝시점(B 영역의 시작시점), B 영역의 끝시점을 표시한 것이다. 또한, s(t) 는 필터링된 오디오신호를 나타낸다. 상기 [수학식 1] 은 임의로 정의한 것이며, 이러한 [수학식 1] 은 후술되는 바와 같이 다르게 정해질 수 있다.

다음으로, S_A 와 S_B 를 이용하여 오디오 신호의 특성값 F 를 다음의 [수학식 2] 와 같이 구한다.

본 발명에 따른 워터마크의 삽입은 후술되는 바와 같이 이러한 특성값 F 가 양자화된 특성값 F' 로 변경되도록 원 오디오신호 s(t) 에 변형을 가하는 방식으로 수행된다.

<제 3 단계> : S130 단계

특성값 F 의 양자화 수준 결정

패턴정보를 삽입하기 위해서 오디오신호의 특성값 F 를 변경해야 할 양자화 기준값을 결정한다. 먼저, 다음의 [수학식 3] 과 같은 양자화 기준값의 집합 Q₀ 와 Q₁ 을 정의한다.

만약 패턴정보의 해당 비트정보(즉, 해당 프레임에 삽입하고자 하는 비트 정보)가 "0" 인 경우에는 [수학식 2] 에서 구해진 특성값 F 를 [수학식 3] 의 집합 Q₀ 의 원소들의 값과 비교하여 가장 가까운 값으로 특성값 F 를 양자화하고, 해당 비트정보가 "1" 인 경우에는 집합 Q₁ 의 원소 중에서 가장 가까운 값으로 특성값 F 를 양자화한다.

예컨대, [수학식 2] 에 의하여 구해진 특성값 F 가 0.15 의 값을 갖는다면, Q₀ 내에서 0.15 에 가장 가까운 값은 0.1 이고 Q₁ 내에서 0.15 에 가장 가까운 값은 0.3 이다. 따라서, 하나의 프레임(Fi)에 삽입하고자 하는 패턴정보의 해당 비트의 값이 "0" 이면 특성값 F 의 양자화값 Q 는 0.1 이고, 하나의 프레임(Fi)에 삽입하고자 하는 패턴정보의 해당 비트의 값이 "1" 이면 특성값 F 의 양자화값 Q 는 0.3 이다. 이와 같이 결정된 양자화값 Q 와 동일한 특성값을 갖도록 원 오디오신호 s(t) 에 변형을 가해야 하며, 이때 변형을 가하는 방식은 다음의 제 4 단계와 같이 삽입강도 g 를 구하여 삽입강도 g 에 따라 원 오디오신호 s(t) 를 변형해주는 방식을 채용한다.

<제 4 단계> : S140 단계

삽입강도 g 의 산출

오디오 특성값 F 를 양자화하기 위해서는 다음의 [수학식 4] 와 같이 원 음선 신호 s(t) 를 변형한다.

여기에서 s'(t) 는 양자화된 특성값 F' 을 갖도록 변형된 후의 오디오신호이고, g 는 변형 후의 오디오신호 s'(t) 가 이와 같이 양자화된 특성값 F' 을 갖도록 원 오디오신호 s(t) 를 변형시키기 위해 원 오디오신호 s(t) 에 가해지는 변형에서의 삽입강도이다.

위 [수학식 4] 는, [수학식 1] 및 [수학식 2] 와 같은 방식으로 구해지는 특성값 F 가 양자화된 특성값 F' 를 갖도록 원 오디오신호 s(t) 를 변형시킴에 있어서, 프레임(F_i) 내의 A 영역에서는 원 오디오신호 s(t) 에 삽입강도 g 만큼 원 오디오신호 s(t) 를 변형시킨 신호를 가하여주고 B 영역에서는 원 오디오신호 s(t) 에 삽입강도 g 만큼 원 오디오신호 s(t) 를 변형시킨 신호를 감하여준다는 것을 의미한다.

이러한 삽입강도 g 는 다음과 같은 수학적 과정에 의하여 구해진다.

변형된 오디오신호 s'(t) 의 특성값 F' 와 결정된 양자화값 Q 는 동일하므로 다음의 [수학식 5]와 같이

의 관계가 있다.

위 [수학식 5] 가 충족되도록 삽입강도 g 를 선택하기 위해서 [수학식 1] 을 [수학식 2] 에 대입하고 [수학식 2] 에서 s(t) 를 [수학식 4] 의 s'(t) 로 치환하면 다음과 같은 [수학식 6] 이 얻어진다.

여기에서, s₁(t) 와 s₂(t) 는 각각 A 영역과 B 영역에서의 오디오신호 s(t) 를 나타내고, S'_A 와 S'_B 는 각각 변형된 후의 오디오신호 s'(t) 에 대한 [수학식 1] 의 값이다.

이 [수학식 6] 에서 맨 우측의 항을 전개하고, g² 이 포함된 항은 삽입강도가 충분히 작으므로 식에서 생략하면 다음의 [수학식 7] 과 같이 정리된다.

이때, 다음의 [수학식 8] 과 같이,

라고 정의하면, [수학식 2] 로부터,

와 같은 식이 성립되므로, [수학식 7] 은 다음의 [수학식 10] 과 같이 정리되고, [수학식 10] 에서 g 의 값을 구하면 삽입강도 g 의 값이 [수학식 11] 로 표현된다.

이와 같이 하여, 삽입강도 g, 즉, 현재의 오디오신호 s(t) 의 특성값 F 가 양자화값 Q 와 동일한 특성값 F' 를 갖도록 원 오디오신호 s(t) 에 대해 변형을 가한 오디오신호 s'(t) 를 구하기 위한 값이 얻어진다.

<제 5 단계> : S150 단계

워터마크의 삽입

[수학식 11] 과 같이 삽입강도 g 가 구해지면, 원 오디오신호 s(t) 에 대해 [수학식 4] 을 적용하여 변형된 오디오신호 s'(t) 를 얻는다. 이와 같이 변형된 오디오신호 s'(t) 는 양자화된 특성값 F' 를 갖게 된다.

변형된 오디오신호 s'(t) 를 얻음으로써 본 발명에 따른 워터마크 삽입 절차가 완료된다. 얻어진 오디오신호 s'(t) 를 저장매체(150)에 기록한다(S160). 이때, 기록하기 전에 별도의 오디오 데이터 압축 과정이 행해질 수도 있다.

위 절차를 시작하는 단계에서 오디오 특성값 F 를 구하기 위해서 사용되는 신호는 오디오 신호의 일부 주파수 성분을 이용하면 된다. 즉, 모든 오디오 신호를 이용하지 않고 어떤 특정 대역 1 kHz 정도만 이용하면 된다. 따라서, 어떤 주파수를 사용하는가를 공개하지 않으면 워터마크를 식별하거나 찾아내는 것이 매우 어렵게 된다. 또, 오디오 특성값 F 를 구하는 데에 사용되는 [수학식 1], 양자화 레벨을 정의한 [수학식 3] 도 다양하게 변화가 가능하며, 이와 같은 변화는 워터마킹의 안전성을 높이기 위한 하나의 방법이 될 수 있다. 또한, 이와 같이 몇 가지 매개변수들을 변경함으로써 워터마크를 삽입하는 방법이 무한히 증가할 수 있다.

예컨대, 상기한 수학식들은 다음과 같이 변형될 수도 있을 것이다.

[수학식 1] 의 경우, 다음과 같은 [수학식 12] 로 대체될 수 있다.

[수학식 1] 에서는 특성값 F 를 구하기 위한 전 단계에서의 S_A 값 및 S_B 값이 각각 A 영역과 B 영역에서의 오디오신호의 제곱의 합으로 구해진 것이나, [수학식 12] 에서는 S_A 값 및 S_B 값이 각각 A 영역과 B 영역에서의 오디오신호의 절대값으로 구해진 것이다.

이 경우, 위 [수학식 5] 가 충족되도록 삽입강도 g 를 선택하기 위해서 [수학식 12] 를 [수학식 2] 에 대입하고 [수학식 2] 에서 s(t) 를 [수학식 4] 의 s'(t) 로 치환한 후 정리한 후 전술한 바와 유사한 과정을 거치면, 삽입강도 g 가 다음의 [수학식 13] 과 같이 얻어진다.

또한, 양자화의 기준값인 Q₀ 와 Q₁ 의 값도 예컨대 다음의 [수학식 14] 와 같이 변형될 수 있다.

이와 같은 변형은 예시적인 것이며, 설계 사양 또는 목적에 따라 다양하게 변형시킬 수 있다. 이와 같은 변형에 관한 정보를 노출시키지 않는 경우 승인되지 않은 외부의 해커들이 저작물에 삽입되어 있는 정보를 추출하기가 어렵게 된다. 따라서, 알고리즘의 안전성을 강화할 수 있다.

워터마크를 삽입하는 과정에서 음악의 시작 부분에 존재하는 무음은 고려해야 하는 요인 중의 하나이다. 무음은 신호의 강도가 매우 약할 뿐 아니라 정보를 삽입하더라도 추출이 어렵기 때문에 무음 신호는 사용하지 않고 음향신호가 발생하는 부분부터 정보를 삽입하는 것이 바람직하다.

일반적으로 오디오의 시작 부분에는 대부분 1 초에서 수 초에 이르는 무음이 존재한다. 이 무음을 식별하는 연구는 오디오신호를 분석하는 분야에서 활발한 연구가 진행되어 왔다. 여기서는 일반적으로 히스토그램, 에너지 함수, SVF (spectral variation function) 등을 주로 이용하며, 특히 무음을 식별하는 기술을 이용해서 오디오신호의 음절 또는 음소를 분해하는 데에 이용하기도 한다.

여기에서 무음이란 사람의 귀에는 들리지 않는 소리를 말한다. 즉, 노이즈라고 하더라도 그 소리가 매우 클 경우에는 의미 있는 소리로 처리를 한다. 이렇게 무음을 식별하는 절차를 매우 단순화시킨 이유는, 첫째는 무음을 식별하는 시간에 대한 제약, 둘째는 무음 식별에 대한 신뢰도를 극대화시킬 수 있는 단순하면서 정확한 방법을 찾기 위해서, 셋째는 오디오신호에 이용되는 신호의 구분기술(signal segmentation)들이 음악에 잘 적용이 되지 않기 때문이다.

무음 식별 과정과 함께 워터마크를 검출하기 위해서 선행되어야 하는 절차 중의 하나가 동기화(synchronization) 과정이다. 여기서 동기화는 한두개의 샘플 단위의 오차도 허용하지 않는 스프레드 스펙트럼 방식과는 달리 5~10% 이내의 오차 내에서 정보가 삽입된 프레임의 위치가 일치하도록 맞추어 주면 된다.

따라서, 워터마크를 검출하는 시작단계와 검출과정중에 동기가 맞는지 확인해야 한다. 전술한 무음 식별 과정에서 오차가 발생할 수 있기 때문에 맨 처음에 동기를 한번 맞추고, 정보를 검출하는 과정 중에 2~3 차례 추가적으로 동기를 맞춤으로써 동기가 어긋나서 발생될 수 있는 오류의 전파를 막아준다.

동기신호는 워터마크 삽입법과 동일한 방법으로 16비트에서 20비트 이내의 신호를 삽입한다. 동기신호를 검출하기 위해서 프레임 길이의 3~5% 만큼씩 이동하면서 반복적으로 16비트 동기신호를 검출하게 되면 동기신호에 대한 상관도 그래프를 얻을 수 있다. 이때, 가장 높은 상관도를 갖는 영역의 중심을 동기 신호의 일치점으로 한다. 동기신호를 프레임 길이의 3%씩 이동하면서 검출한 결과에 따르면, 동기 오차가 15% 이내에서 높은 상관도를 얻을 수 있게 된다.

상기 실시예에서는 오디오 신호의 매 프레임에 하나의 비트를 삽입하는 예를 설명하였으나, 하나의 프레임에 복수의 비트의 정보를 삽입하도록 할 수도 있다. 또한, 짧은 오디오신호에 많은 정보를 삽입해야 하는 경우에는 필터링 단계에서 여러 개의 대역신호를 추출하여 각각의 대역신호에 비트정보를 삽입하면 하나의 프레임에 2-3 비트도 삽입할 수 있다. 물론, 이 경우에는 필터링된 신호간의 간섭이 발생하지 않도록 대역을 설정해야 하며, 삽입강도를 결정할 때보다 신중함을 요하게 된다.

워터마크 검출 후 위변조 검증의 신뢰도를 높이기 위해 패턴정보의 삽입과 함께 삽입되는 패턴정보에 대한 에러검출 또는 에러정정코드를 삽입할 수도 있다. 예컨대, 각각의 프레임에 1 비트의 정보를 삽입한다면, 72 비트의 정보를 삽입하기 위해서는 CRC 용 16 비트를 포함한 88 비트를 삽입한다. 88 비트를 터보코드(turbo code)로 인코딩하면 270 비트가 생성되므로 72 비트를 위해서 세 배의 크기인 270 비트를 삽입한다.

본 발명의 실험에서는 프레임의 크기를 80 ms 로 이용해서 약 25초 정도의 오디오 신호에 270 비트정보를 삽입하였다. 만약 오디오가 3분 정도 재생 가능한 길이라면 약 7번 반복해서 정보가 삽입된다.

CRC(Cyclic Redundancy Code)를 실제 정보와 같이 삽입하는 이유는 검출된 정보가 삽입된 정보임을 인증하기 위한 것이다. 만약 잘못된 정보가 검출되는 경우에 이를 올바른 값으로 인식하게 되면 전체 시스템에 치명적인 약점이 될 수 있기 때문이다.

삽입된 패턴정보의 추출 과정은 삽입 과정과 거의 유사하다.

도 4 는 패턴정보의 추출에 따른 위변조 식별 절차를 도시한 것이다.

임의의 오디오 신호에 삽입된 정보를 추출하고자 한다면 삽입 과정과 마찬가지로 무음 및 노이즈 신호의 길이를 식별해서 제거하고, 실제 음향신호가 시작되는 부분부터 삽입 절차에 사용된 대역필터로 필터링(S210)한다. 이러한 무음 식별 과정 및/또는 필터링 과정은 워터마크 삽입시와 마찬가지로 생략될 수 있다. 그러나, 무음 식별 및/또는 필터링이 워터마크 삽입시에 행해졌다면, 워터마크 추출시에도 행해지도록 하는 것이 바람직할 것이다. 또한, 워터마크 검출시의 신뢰도를 높이기 위해서는, 무음 식별은 워터마크 삽입시와 동일한 방식으로 수행되어야 하고, 필터링 주파수도 워터마크 삽입시와 동일해야 한다.

그 다음 단계로서, 필터링된 오디오신호의 특성값 F 를 구한다(S220). 특성값 F 는 워터마크 삽입시와 동일한 방식에 의해서 구해진다. 즉, 만약 워터마크 삽입시에 [수학식 2] 에 따라 특성값 F 가 구해졌다면 추출시에도 마찬가지로 [수학식 2] 에 따라 특성값이 구해져야 할 것이다.

특성값 F 를 구한 다음에는 이 특성값 F 이 양자화값 집합 Q 내의 각 양자화값들과 각각 비교한다. 여기에서, 양자화값 집합 Q 도 워터마크 삽입시에 사용되었던 양자화값 집합과 동일한 것이 사용되어야 한다.

비교 결과 특성값 F 에 가장 근접한 양자화값을 결정한다. 이러한 결정을 위한 하나의 방법으로서, 어떤 양자화값 집합의 원소와 가장 근사한 값을 갖는지 판단해서 그 근사도를 -1.0 ~ 1.0 이내의 값으로 구한다. 예를 들면, F 가 0.15 라면 집합 Q₀ 의 원소 0.1 에, 그리고 Q₁ 의 원소 0.3 에 가장 가까운 값이 된다. 도 5 는 이러한 관계를 도식화한 것이다.

도 5 에 도시된 바와 같이 특성값 F 에 가장 근접한 Q₀ 내의 값인 0.1 과 Q₁ 내의 값인 0.3 을 각각 -1.0 과 1.0 에 각각 대응시킨다. 그러면, 현재의 특성값 F 의 값인 0.15 는 -0.5 에 대응된다. 대응되는 값이 -0.5 라는 것은 현재의 특성값이 Q₁ 보다는 Q₀ 에 가까운 값이라는 것을 의미하고, 이는 삽입된 패턴정보의 해당 비트값이 "0" 이라는 것을 의미한다. 즉, 역으로 생각하면, 워터마크 삽입 과정에서 비트값이 "0" 인 정보를 해당 비트열에 삽입하기 위해 양자화, 삽입강도 산출, 및 오디오신호의 변형 과정을 수행했다는 것을 알 수 있다.

이와 같은 과정을 매 프레임에 대해 수행함으로써 매 프레임에 삽입된 패턴정보의 비트열을 순차적으로 구해낼 수 있다(S230).

전술한 예와 같이, 삽입된 패턴정보가 72 비트인 경우에 CRC 코드와 터보코드를 합하여 총 270 비트의 정보가 삽입되어 있으므로, 270 비트의 정보를 상기와 같이 순차적으로 구한 후에 터보코드의 디코딩 절차를 통해서 삽입된 정보인 72 비트와 CRC 16 비트를 얻을 수 있다.

마지막으로, 패턴정보와 함께 삽입된 에러정정코드 및/또는 에러검출코드에 대한 디코딩을 실시한다. 워터마크 삽입시에 에러검출코드로서 전술한 바와 같이 CRC 가 삽입되었다면, 추출된 워터마크 정보가 실제 삽입된 정보와 일치하는가를 CRC 체크를 통해서 검증함으로써 위변조 여부를 식별한다(S240). 만약, CRC 검사 결과 일치한 것으로 판단되면 삽입된 정보를 출력하고, 그렇지 않은 것으로 판단되면 "NONE" 이라는 문자를 출력하고 계속해서 워터마크를 검출하게 된다. 본 설명에서는 일단 삽입된 워터마크 정보를 모두 추출하도록 하였지만, 실제 시스템에서는 워터마크가 검출되면 추출 절차가 종료하게 된다.

추출된 패턴정보가 삽입된 패턴정보와 일치하면 오디오신호에는 어떠한 위변조와 같은 변형도 가해지지 않았다고 판정할 수 있다. 이때 일치의 정도는 완전 일치일 필요는 없고, 일정한 임계치, 예컨대, 80% 이상의 일치도를 초과하는 경우에는 일치하는 것으로 본다. 일치도가 80% 이하인 경우에는 원 오디오신호에 위변조가 가해진 것으로 판정할 수 있다.

또한, 전술한 워터마크 삽입시의 다양한 변형 예에서 기술한 바와 같이 워터마크 삽입시 워터마킹될 신호가 프레임이 상이한 대역 범위를 갖는 복수의 주파수 범위로 필터링되고 또한 필터링된 주파수 범위별로 각각 패턴정보가 삽입되어 하나의 프레임에 복수의 비트가 삽입되었다면, 워터마크 추출시에도 각 비트의 패턴정보를 추출하는 작업이 수행되어야 할 것이다. 이를 위하여, 특성값의 산출 전에 신호를 워터마크 삽입시의 필터링 주파수와 동일한 복수의 주파수 범위로 각각 필터링하고, 필터링된 각 신호에 대해서 특성값의 산출(S220), 패턴추출(S230), 및 위변조 식별(S240) 등이 행해져야 할 것이다.

본 발명에서는 오디오 특성값 양자화를 이용한 오디오 워터마킹 기술을 제안하였다. 실험 결과에 따르면, 본 발명에서 제안된 기술이 다양한 손실 압축에 매우 강인하며, 원본과 워터마크된 곡을 거의 구별할 수 없음을 검증할 수 있었다. 본 발명에서 제안된 기술에 의하면, 검출율은 일반적으로 정규적인 압축을 거친 오디오신호의 경우에는 88% 이상이며, 그 이외의 공격에 대해서도 pitch shift 를 제외하고는 모두 80% 이상의 검출이 가능하였다. 음질 평가의 기준으로 제시한 SNR 은 49~64 dB 로서 원음과 거의 같은 수준을 유지하여, 원본과 워터마크된 곡을 전문가들도 쉽게 구별할 수 없음을 보여주었다.

본 발명에 의하면, 디지털로 저장되는 음성 데이터에 대한 신뢰성이 부여된다. 디지털로 기록되는 디지털 카메라나 디지털 보이스 레코더와 같은 하드웨어 제품으로 저장된 데이터는 조작 및 변조가 가능하기 때문에 법적인 효력을 가질 수 없을 뿐만 아니라, 어떠한 증거자료로 활용될 수도 없었다. 본 발명을 하드웨어로 구현하여 일반 가전제품에서 구동하게 하면 디지털로 저장되는 오디오신호에 대해서 위변조 여부를 감지할 수 있기 때문에, 그 동안 손쉬운 데이터의 조작으로 말미암아 신뢰성을 가질 수 없는 디지털 데이터에 대한 내용 무결성 인증이 가능하게 된다. 특히, 최근에 MP3 플레이어, 전화 상담 서비스, 보이스 레코더 등의 장비들이 폭 넓게 보급되면서, 디지털로 저장되는 데이터의 양이 기하급수적으로 증가하고 있는 현재 추세에서, 본 발명의 활용도는 매우 클 것이다.

이상에서는 본 발명의 바람직한 실시예에 대해서 도시하고 설명하였으나, 본 발명의 범위는 상술의 특정 실시예에 제한되지 않으며, 당해 기술분야에서 통상의 지식을 가진 자라면 본 발명의 요지를 벗어나지 않는 범위 내에서 다양한 변형 실시가 가능할 것이며, 그와 같은 변형 실시는 본 발명의 특허청구범위에 기재된 보호범위 내에 있을 것이다.

도 1 은 본 발명에 따른 워터마크 삽입 및 검출방법을 수행하는 워터마킹 시스템의 블록도,

도 2 는 본 발명에 따른 워터마크 삽입 방법의 순서도,

도 3 은 워터마킹될 신호의 프레임을 도시한 도면,

도 4 는 본 발명에 따른 워터마크 검출 방법의 순서도, 그리고

도 5 는 검출된 특성값과 양자화값의 상호관계를 도시한 도면이다.

*도면의 주요 부분에 대한 부호의 설명*

100 : 삽입부 110 : 오디오신호 입력장치

120 : 워터마크 사전검지부 130 : 워터마크 삽입부

200 : 추출부 210 : 워터마크 추출부

230 : 워터마크 패턴 전처리부 240 : 위변조 구역 감지부

Claims

워터마킹될 신호를 소정의 시간주기로 구획하여 얻어진 프레임 내의 상기 신호에 대한 특성값을 소정의 방식에 따라 산출하는 단계;

하나 이상의 양자화값을 각각 포함하는 복수의 집합들 중 상기 프레임에 삽입될 패턴정보의 값에 대응되는 상기 집합 내의 상기 양자화값들을 각각 상기 특성값과 비교하여, 상기 특성값에 가장 근접한 상기 양자화값을 결정하는 단계;

상기 특성값이 상기 양자화값 결정 단계에서 결정된 상기 양자화값과 동일하게 되도록 상기 프레임 내의 상기 신호를 변형하기 위해 사용되는 삽입강도를 산출하는 단계; 및

상기 삽입강도에 기초하여 상기 프레임 내의 상기 신호를 변형시키는 단계를 포함하는 것을 특징으로 하는 워터마크 삽입 방법.
제 1 항에 있어서,

상기 특성값 산출 단계 전에 상기 신호를 소정의 주파수 범위로 필터링하는 단계를 더 포함하며,

상기 특성값 산출 단계에서는 필터링된 상기 신호에 대해서 상기 특성값이 산출되는 것을 특징으로 하는 워터마크 삽입 방법.
제 1 항에 있어서,

상기 신호 내의 무음 부분을 검출하는 단계를 더 포함하며,

상기 특성값 산출 단계 내지 상기 신호 변형 단계는 무음이 아닌 상기 신호를 포함하는 상기 프레임에 대해서 수행되는 것을 특징으로 하는 워터마크 삽입 방법.
제 1 항에 있어서,

상기 패턴정보는 에러검출코드 및/또는 에러정정코드를 포함하는 것을 특징으로 하는 워터마크 삽입 방법.
제 1 항에 있어서,

상기 패턴정보는 동기신호를 포함하는 것을 특징으로 하는 워터마크 삽입 방법.
제 1 항에 있어서,

상기 패턴정보는 각각의 상기 프레임당 하나의 비트로 구성되는 것을 특징으로 하는 워터마크 삽입 방법.
제 1 항에 있어서,

상기 패턴정보는 각각의 상기 프레임당 복수의 비트로 구성되는 것을 특징으로 하는 워터마크 삽입 방법.
제 7 항에 있어서,

상기 특성값 산출 단계 전에, 상기 신호를 각각 상이한 대역 범위를 갖는 복수의 주파수 범위로 필터링하는 단계를 더 포함하며,

상기 복수의 비트는 상기 복수의 주파수 범위로 필터링된 각각의 상기 신호에 대해서 각각 삽입되는 것을 특징으로 하는 워터마크 삽입 방법.
제 1 항에 있어서,

상기 특성값은 다음의 수학식에 따라 산출되는 것을 특징으로 하는 워터마크 삽입 방법:

(여기에서, s(t) 는 워터마킹될 신호로서 하나의 프레임 내의 신호,

i-1, i-1/2, i 는, 하나의 프레임을 A 영역과 B 영역으로 구획했을 때, A 영역의 시작시점, A 영역의 끝시점(B 영역의 시작시점), B 영역의 끝시점을 각각 표시한 기호, 그리고

F 는 특성값)
제 1 항에 있어서,

상기 특성값은 다음의 수학식에 따라 산출되는 것을 특징으로 하는 워터마크 삽입 방법:

(여기에서, s(t) 는 워터마킹될 신호로서 하나의 프레임 내의 신호,

i-1, i-1/2, i 는, 하나의 프레임을 A 영역과 B 영역으로 구획했을 때, A 영역의 시작시점, A 영역의 끝시점(B 영역의 시작시점), B 영역의 끝시점을 각각 표시한 기호, 그리고

F 는 특성값)
제 1 항에 있어서,

상기 신호 변형 단계는 다음의 수학식에 따라 수행되는 것을 특징으로 하는 워터마크 삽입 방법:

(여기에서, A 영역과 B 영역은 하나의 프레임을 두 영역으로 구획한 경우 각 영역을 표시하는 기호,

s(t) 는 워터마킹될 신호로서 하나의 프레임 내의 신호,

g 는 상기 삽입강도, 그리고

s'(t) 는 상기 특성값이 상기 양자화값이 되도록 상기 신호 변형 단계에서 상기 신호 s(t) 를 변형시킨 후에 얻어지는 신호)
청구항 1 의 워터마크 삽입 방법에 의해 워터마크가 삽입된 신호의 워터마크 검출 방법에 있어서,

상기 신호를 소정의 시간주기로 구획하여 얻어진 프레임 내의 상기 신호에 대한 특성값을 상기 워터마크 삽입시의 상기 특성값 산출 방식과 동일한 방식에 따라 산출하는 단계;

상기 워터마크 삽입시의 상기 특성값 양자화를 위해 사용된 복수의 양자화값 집합 내의 각각의 양자화값들을 상기 산출 단계에서 산출된 상기 특성값과 비교하여, 상기 특성값에 가장 근접한 상기 양자화값을 결정하는 단계; 및

상기 결정 단계에서 결정된 상기 양자화값을 포함하는 상기 양자화값 집합에 대응되어 있는 값을 상기 프레임에 삽입되어 있는 패턴정보로서 추출하는 단계를 포함하는 것을 특징으로 하는 워터마크 검출 방법.
제 12 항에 있어서,

상기 특성값 산출 단계 전에 상기 신호를 상기 워터마크 삽입시의 필터링 주파수와 동일한 주파수 범위로 필터링하는 단계를 더 포함하며,

상기 특성값 산출 단계에서는 필터링된 상기 신호에 대해서 상기 특성값이 산출되는 것을 특징으로 하는 워터마크 검출 방법.
제 12 항에 있어서,

상기 신호 내의 무음 부분을 검출하는 단계를 더 포함하며,

상기 특성값 산출 단계 내지 상기 패턴정보 추출 단계는 무음이 아닌 상기 신호를 포함하는 상기 프레임에 대해서 수행되는 것을 특징으로 하는 워터마크 검출 방법.
제 12 항에 있어서,

각각의 상기 프레임에 대해 순차적으로 추출된 상기 패턴정보의 비트열에 대해 에러검출 및/또는 에러정정 작업을 수행하는 단계를 더 포함하는 것을 특징으로 하는 워터마크 검출 방법.
제 12 항에 있어서,

추출된 상기 패턴정보 내에서 동기신호를 검출하는 단계를 더 포함하는 것을 특징으로 하는 워터마크 검출 방법.
제 12 항에 있어서,

하나의 상기 프레임에 삽입되어 있는 상기 패턴정보는 각각 상이한 대역 범위를 갖는 복수의 주파수 범위에 각각 삽입된 복수의 비트로 구성되고,

상기 특성값 산출 단계 전에 상기 신호를 상기 복수의 주파수 범위로 각각 필터링하는 단계를 더 포함하며,

상기 특성값 산출 단계 내지 상기 패턴정보 추출 단계는 필터링된 각각의 상기 신호에 대해서 수행되는 것을 특징으로 하는 워터마크 검출 방법.