KR100762722B1

KR100762722B1 - 1차원 정보 신호들에 워터마크들을 삽입 및 검출하기 위한방법 및 장치

Info

Publication number: KR100762722B1
Application number: KR1020017007112A
Authority: KR
Inventors: 론젠피터엠제이.; 반오버벨드코넬리스더블류에이엠; 마에스모리스제이제이제이비; 고에이조엠케이와이
Original assignee: 코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date: 1999-10-06
Filing date: 2000-09-28
Publication date: 2007-10-09
Also published as: EP1149378A1; JP2003511725A; WO2001026110A1; CN1175414C; KR20010080712A; CN1327587A; EP1149378B1; JP4771635B2

Abstract

1차원 정보 신호들, 특히 오디오 신호들에 워터마킹하기 위한 방법 및 장치가 개시되어 있다. 워터마크, 예를 들어 균일하게 분포된 0들과 1들을 갖는 2진 신호(W(t))는, 워터마킹된 신호(I_w(t))의 특징점들의 시간 분포의 통계가 워터마크 신호에 대해 크게 변화되는 정도까지 제로 크로싱들(22)과 같은 특징점들을 왜곡(23)하여, 오디오 신호(I(t))에서 삽입된다.

워터마크, 제로 크로싱, 왜곡

Description

1차원 정보 신호들에 워터마크들을 삽입 및 검출하기 위한 방법 및 장치 {Embedding and detecting watermarks in one-dimensional information signals}

본 발명은 1 차원 정보 신호, 예를 들어, 오디오 신호에 워터마크를 삽입(embedding)하기 위한 방법 및 장치에 관한 것이다. 본 발명은 또한 정보 신호의 워터마크를 검출하기 위한 방법 및 장치에 관한 것이다.

MP3와 같은 현대적 오디오 압축 표준들의 출현으로, 저작권 침해의 위험과 오디오 내용들의 불법적 사용이 증가하고 있다. 그러므로, 산업계는 불법적 활동들에 대한 보호 수단을 찾으려한다. 워터마킹(watermarking)은 영상들, 비디오, 오디오, 텍스트, 및 데이터와 같은 디지털 멀티미디어 내용들의 소유권을 증명하는 방법이다. 워터마킹은 복제 방지(copy protection)를 실현하기 위한 수단이다.

통상적으로, 워터마크는 특정한 낮은-진폭 노이즈 패턴을 신호에 부가하여 삽입된다. 상기 노이즈 패턴은 워터마크를 표시한다. 의심되는 신호(suspect signal)에 삽입된 주어진 워터마크의 존재 또는 부재는 상기 워터마크의 적용된 버젼과 상기 의심되는 영상과의 상관관계(correlation)를 계산하고, 상기 상관관계를 임계값과 비교하여, 수신기 단부(end)에서 검출된다. 상기 상관관계가 임계값보다 더 크다면, 상기 적용된 워터마크는 존재한다고 말하며, 그렇지 않다면 부재한다고 말하게 된다.

본 발명의 목적은 1차원 정보 신호에 워터마크를 삽입하기 위한 새로운 방법 및 장치와, 의심되는 신호내의 워터마크를 검출하기 위한 방법 및 장치를 제공하는 것이다.

본 발명에 따라, 워터마크를 삽입하는 방법은 정보 신호의 특징점들(salient points)을 결정하는 단계와 상기 정보 신호를 수정하는 단계를 포함하여, 수정된 신호의 특징점들은 적용된 워터마크 신호와 통계적으로 큰 상관관계를 갖도록 한다.

본 명세서에서, 신호의 특징점들은 주어진 현저도(saliency) 함수의 관심있는 포인트들의 시간 위치들을 의미하는 것으로 이해된다. 현저도 함수는 현저도 기준(saliency measure)을 각각의 오디오 신호 샘플에 할당하는 함수이다. 현저도 함수는, 현저도 기준이 국지적 성질이면(즉, 작은 이웃하는 시간 간격에만 의존하면), 매우 임의적이고, 압축, 노이즈 부가, 커트(cut) 및 페이스트(paste), 변환(translation), 서브-샘플링, 스케일링 등과 같은 신호 동작들하에서 가능한 많이 보존된다. 특징점들의 간단하지만 예시적이고 유용한 예는 오디오 신호의 제로 크로싱들(zero crossings)이다.

워터마크 신호는 2진 신호로 생각될 수 있고, 그 신호의 0과 1값들은 충분히 무작위적이고(random) 균일하게 분포된다. 임의의 오디오 신호의 특징점들과 무작위적인 워터마크 신호 사이에는 상관관계가 없으므로, 상기 특징점들의 50%는 상기 워터마크 신호의 1과 일치할 것이다. 상기 오디오 신호는 상기 특징점들의 중요한 대부분이 워터마크 신호의 1과 일치하도록 상기 특징점들을 시간 왜곡하여(time warping) 지금 워터마킹된다.

워터마크를 검출하는 방법은 상기 정보 신호의 특징점들을 결정하는 단계, 상기 특징점들과 적용된 워터마크 신호와의 상관관계를 결정하는 단계, 및 상기 상관관계가 통계적으로 큰 경우, 상기 정보 신호에 상기 적용된 워터마크가 삽입된 것을 검출하는 단계를 포함한다.

출원인의 국제 특허 출원 WO-A-99/35836호는 영상의 특징점들을 왜곡하여(warping) 영상들내에 워터마크를 삽입하는 방법을 개시한다는 것을 유의해야 한다. 그러나, 상기 영상 및 워터마크 신호는 상기 종래 기술 공보에서 2차원 신호들이고, 기하학적 왜곡(geometric warping)은 상기 공간 영상 도메인에 적용된다. 본 발명의 발명자들은 유사한 기술들이 1차원(예를 들어, 오디오) 신호 도메인에 적용될 수 있고, 상기 워터마크 신호는 시간-의존 신호이고 상기 왜곡 동작은 상기 시간 도메인에서 수행된다는 것을 인식하였다.

특징점들과 서로다른 워터마크 신호 포맷들을 유도하기 위한 유리한 실시예들에 연관된 본 발명의 다른 측면들은 하기에 기술된 실시예들을 참조하면 분명하며, 명료해질것이다.

도 1은 본 발명에 따른 2진값 워터마크를 삽입하기 위한 장치를 개략적으로 도시한 도면.

도 2 및 도 3은 도 1에 도시된 워터마크 임베더(embedder)의 동작을 예시하기 위해 파형(waveform)들을 도시한 도면.

도 4는 본 발명에 따른 워터마크를 검출하기 위한 장치를 개략적으로 도시하는 도면.

도 5는 전처리(pre-processing) 회로를 포함하는 워터마크 임베더의 실시예를 도시한 도면이고, 도 6은 상기 회로를 포함하는 검출기의 실시예를 도시하는 도면.

도 7 및 도 8은 도 5 및 도 6에 도시된 임베더 및 검출기의 동작을 예시하기 위해 파형들을 도시한 도면.

도 9는 전처리 회로의 실시예를 도시한 도면.

도 10은 본 발명에 따른 워터마크 임베더의 다른 실시예를 개략적으로 도시한 도면.

도 11은 실수값의(real-valued) 워터마크 신호를 삽입하기 위한 장치의 동작을 예시하기 위해 파형들을 도시한 도면.

도 12는 본 발명에 따른 워터마크를 검출하기 위한 일반적 장치를 개략적으로 도시한 도면.

도 13은 오디오 신호를 재생하고, 본 발명에 따른 워터마크 검출기를 포함하기 위한 장치를 도시한 도면.

도 1은 본 발명에 따른 워터마크 임베더를 개략적으로 도시한다. 상기 임베 더는 상기 오디오 신호에 삽입될 오디오 신호 I(t)와 워터마크 신호 W(t)를 수신한다. 상기 오디오 신호 I(t)와 워터마크 신호 W(t)는 시간의 연속 함수들이고 지속기간 T를 갖는다. 실제적으로, 상기 오디오 신호는 디지털 형태로 적용될 것이다. 그 디지털 표현은 시간 t_i의 이산 포인트들(discrete points)에서 취해진 오디오 샘플들 I(t_i)의 유한한 번호 N을 갖는다. 2개의 연속적인 시간 샘플들 t_i와 t_i+1사이의 시간 주기는 상수이며 ΔT로 표기된다. 확실히 연속적인 신호 I(t)는 보간(interpolation) 또는 서브-샘플링(도시되지 않음)에 의해 상기 디지털 신호로부터 유도된다. 상기 워터마크 신호 W(t)는 상기 실시예에서 이진신호이다. 상기 전이(transition)들은 샘플링 주기들 ΔT의 중간에 위치하는 것으로 가정된다.

상기 장치는 특징점 추출기(salient point extractor)(11), 왜곡(warp) 신호 발생기(12), 및 수정기(modifier) 회로(13)를 포함한다. 그 동작은 도 2 및 도 3에 도시된 파형들을 참조하여 기술될 것이다. 도 2는 워터마크 신호 W(t)와 오디오 신호 I(t)를 도시한다. 특징점 추출기(11)는 상기 오디오 신호로부터 특징점들을 추출한다. 특징점들이 발생하는 시간의 순간들은 s_i로 언급된다. 상기 특징점 추출기의 간단하지만 실제적인 예는 각각의 제로 크로싱을 위한 디랙(Dirac) 펄스를 생성하는 제로-크로스 검출기이다. 특징점들의 위치들을 정의하는 일련의 디랙 펄스들은 도 2에도 도시된 특징점 신호 P(t)를 구성한다.

몇몇 특징점들은 워터마크 신호 W(t)의 "1"과 일치한다. 상기 특징점들은 워터마크 "상(on)"에 있다고 말해진다. 다른 특징점들은 워터마크 신호 W(t)의 "0"과 일치한다. 이것들은 워터마크에서 "분리되어(off)" 있다고 말해진다. 상기 워터마크 신호의 0들과 1들은 충분히 무작위적이며, 동일한 확률로 신호에 걸쳐서 균일하게 분포된다. 상기 신호 성질로 인해, 특징점들의 약 50%는 워터마크상에 있을 것이며 50%는 그렇지 않을 것이다. 도 2에 도시된 오디오 신호는 워터마크상에 있는 4개의 특징점들(21)과 워터마크에서 분리되어 있는 4개의 특징점들(22)을 가지고 있다.

이후에 기술되는 바와 같이, 상기 임베더는 워터마크상에 있지 않은 특징점들을 상기 시간축을 따라 이동시켜서, 그후에 특징점들의 대다수를 워터마크상에 위치시킨다. 상기 형식의 처리는 당 분야에서 "시간 왜곡(time warping)"으로 알려져 있다. 도 2에서, 특징점들을 시간 왜곡하는 처리는 특징점들이 그 원래 위치들로부터 벗어나 이동되는 방향과 범위를 표기하는 화살표들(23)에 의해 예시된다.

오디오 신호가 왜곡되는 방향과 범위는 왜곡 신호 발생기(12)에 의해 제어된다. 상기 회로는 특징점 추출기(11) 및 워터마크 신호 W(t)로부터 특징점 신호 P(t)를 수신한다. 상기 회로는 각각의 특징점 s_i에 적용될 시간 왜곡 벡터 v(s_i)를 결정하고 t의 모든 다른 값들에 대한 시간 왜곡 v(t)의 값들을 계산한다. 상기 시간 왜곡 v(t)는 연속적인 신호이고 연속적 왜곡 신호 v(t)로서 언급된다.

상기 왜곡 신호 발생기(12)의 실제적인 실시예에서, 특징점에 적용될 왜곡 v(s_i)는 일반적으로 다음과 같이 정의된다.

v(s_i) = c.ΔT.(1-W(s_i)).sign(W(t_i+1)-W(t_i))

여기서, t_i와 t_i+1는 디지털 오디오 신호의 연속적인 샘플링 포인트들이고 ΔT = t_i+1- t_i는 샘플링 주기이다. 상기 식의 항(1-W(s_i))는 워터마크 상에 이미 위치한 특징점들이 왜곡되는 것을 방지한다는 것을 유의해야 한다. 상기 식에서의 양 c는 삽입 강도(embedding strength)를 표시한다. c가 더 클수록, 특징점은 초기 위치로부터 더 벗어나서 이동된다. 워터마킹된 신호에서 가청 지터(audible jitter)를 피하기 위해, c는 가능한 작아야 한다. 워터마크의 견고성(robustness)을 위해, c는 커야한다. c는 인간 정신 분석의 음향학적 모델(human psyco-acoustic model)에 따른 워터마크의 가청도를 마스킹하기 위해 선택될 수 있다는 것을 유의해야 한다.

상기 특징점들 사이의 오디오 신호값들은, 특징점들이 워터 마크로부터 벗어나 있는 v(s_i)로부터, 특징점들이 이미 워터마크상에 있는 0으로 점진적으로 감소하는 양만큼 왜곡될 것이다. 상기 목적을 위해, 왜곡 신호 발생기(12)는 연속적인 왜곡 신호 v(t)를 유도하는데, 이것은 적절한 형태의 보간을 적용하여 이산 왜곡들 v(s_i)로부터, 시간 t에서 적용될 왜곡을 정의한다. 상기 연속적 왜곡 신호 v(t)는 가능한 평탄해야(smooth) 한다. 이것은 적절한 보간 알고리듬에 의해 달성된다. 도 2에 도시된 파형 v(t)는 예이다.

왜곡은 수정 회로(13)에 의해 실제로 수행된다. 상기 회로는 오디오 신호 I(t) 및 연속적 왜곡 신호 v(t)를 수신하고, 다음식에 따라 워터마킹된 신호 I_w(t)를 생산한다.

I_w(t)=I(t-v(t))

도 4는 상기 오디오 신호의 작은 부분에 대한 동작을 도시한다. 상기 도면에서, I(t)는 워터마킹되지않은 오디오 신호이고 I_w(t)는 워터마킹된 신호이다. 워터마크상에 있는 특징점들(21)은 왜곡되지 않는다(v(t)=0). 특징점(22)은 워터마크로부터 벗어나 있으며 상기 양 c.ΔT에 의해 왜곡되어서 I_w(t)의 특징점(25)을 구성한다. 다른 오디오 신호값들은 c.ΔT로부터 0으로 점진적으로 감소하는 양 v(t)에 의해 왜곡된다. 참조번호(24)는 임의의 시간 순간에 대한 v(t)를 표기한다. 워터마킹된 신호의 이산 오디오 출력 샘플들은 상기 식으로부터 I_w(t)를 계산하여 결국 얻어진다.

주어진 최대 삽입 강도에 대해서, 왜곡은 워터마킹된 신호의 모든 특징점들이 워터마크상에 반드시 있게 하지는 않는다. 몇몇 특징점들은 워터마크 신호의 전이들로부터 일반적으로 멀리 떨어져 위치할 것이며 c.ΔT에 의한 왜곡이후에 워터마크상의 포인트들이 될 것이다. 그와 같은 특징점들은 "왜곡가능하지 않은(unwarpable)" 것으로 언급될 것이다. 왜곡가능하지 않은 특징점들의 발생은 2진 워터마크 신호들의 통상적 성질이다. 도 2에서, 특징점들(22)의 좌측 말단(extreme left)과 우측 말단은 왜곡가능하지 않다. 상기 특징점들을 왜곡하지 않는 것은 가능하지만, 상기 삽입된 워터마크의 지각력(perceptibility)에 의해 최상의 성능을 발생시킬것인가는 사전에 확실하지는 않다. 때때로, 왜곡 신호 v(t)를 가능한 평탄하게 하기 위해, 왜곡가능하지않은 특징점들을 왜곡하는 것이 양호하다(상기 용어의 모순에 유의해야 한다). 도 2에서, 특징점들(22)의 좌측 말단은 왜곡되고 반면에 우측 말단은 그렇지 않다. 바람직한 수의 특징점들이 워터마크상에 있을 때까지 왜곡 동작을 순환적으로 반복하거나, W(t_j)=1인 가장 가까운 시간 샘플 t_j로 각각의 특징점 s_i를 왜곡하는 것도 가능하다.

도 4는 본 발명에 따른 대응하는 워터마크 검출기를 개략적으로 도시한다. 상기 검출기는 의심되는 오디오 신호 J(t)를 수신하고 임베더와 동일한 특징점 추출기(11), 매칭(matching) 회로(14), 및 판단 회로(15)를 포함한다. 매칭 회로(14)는 특징점 신호 P(t)와 검출되는 워터마크 신호 W(t)를 수신한다. 상기 회로는 워터마크 상에 있는 특징점들의 수 S₁와 워터마크로부터 벗어나서 있는 특징점들의 수 S₀를 계산한다. 수학적으로 표시하면:

와

여기서, T는 신호의 지속기간이다. 숫자들 S₁와 S₀은 그후에 상기 판단 회로(15)에 적용된다. 특징점들의 통계적으로 높은 퍼센티지가 워터마크상에 있다면, 즉 S₁≫S₀이면, 워터마크 W(t)는 의심되는 신호에 존재한다고 말해지며, 다른 경우에서는 그렇지 않다.

도 5는 워터마크 임베더의 다른 실시예를 도시한다. 상기 실시예는 상기 오디오 신호 I(t)가, 특징점 추출기(11)에 적용되기 전에, 전처리 회로(16)에 의해 전처리된다는 점에서 도 1에 도시된 것과 다르다. 전처리의 목적은 압축과 같은 공통의 오디오 신호 처리 동작들하에서 가능한한 적게 변하는 더욱 견고한 신호(more robust signal) R(t)를 I(t)로부터 유도하는 것이다. 특징점들과, 왜곡 신호 v(t)는 강력한 신호(robust signal) R(t)로부터 이제 추출된다. 그러나, 실제적 왜곡은 본래의 신호 I(t)에 적용된다.

도 6은 대응하는 워터마크 검출기를 도시한다. 상기 검출기는 의심되는 오디오 신호 J(t)가 특징점 추출기(11)에 적용되기 전에 동일한 전처리 회로(16)에 의해 전처리된다는 점에서 도 4에 도시된 것과 다르다.

전처리 회로(16)의 간단한 실시예에서, 강력한 신호 R(t)는, 저역 통과 필터링(low-pass filtering)에 의해 얻어진, I(t)의 평탄화된 버젼이다. 그 예는 도 7에 도시되어 있다. R(t)는 I(t)보다 더 적은 제로 크로싱들을 가지고 있지만, 그 위치들은 더 안정하다는 것을 유의해야 한다. 상기 강력한 신호는 대역-통과(band-pass) 필터링에 의해서도 얻어질 수 있다. 대역 통과 필터링에 대한 동기부여(motivation)는 상기 필터링이 오디오 신호로부터 DC-성분을 제거하여서 삽입된 워터마크가 신호의 진폭 축을 따른 오디오 신호의 변환에 대해 견고하다(robust)는 것이다.

전처리 회로(16)의 다른 실시예는 정보 신호들이 상기 정보의 소위 "의미상의 기본적 요소(semantic essence)"를 일반적으로 전달한다는 인식에 기초하고 있다. 신호의 의미상의 기본적 요소는 (재)생산 및 (디)코딩 장치들에 의해 도입된 어떤 왜곡들(distortions) 하에서도 보존될 신호의 부분이며, 여기서 상기 왜곡들은 인간 지각의 한계 아래에 있는 것으로 가정된다. 오디오, 및 특히 음악에 대해서, 피치(pitch), 라우드니스(loudness), 어택(attack), 감쇠(decay), 스타카토(staccato), 레가토(legato), 트레몰로스(tremolos), 슬러스(slurs), 등과 같은 특징들을 직관적으로 생각할 수 있다. 의미상의 기본적 요소를 시간의 함수로서 표시하는 신호는 강력한 신호의 좋은 예이다. 상기 강력한 신호로부터 추출된 특징점들은 MP3와 같은 압축을 포함하는 공통의 오디오 신호 처리후에 아마도 가장 남아있을 가능성이 많다. 예로서, 도 8은 워터마크 임베더 및 검출기와 같은 실시예를 예시하기 위해 다양한 파형들을 도시한다. 상기 실시예에서, 전처리기(16)는 오디오 신호의 지배적인 주파수(피치)를 추출하고, 특징점 추출기(11)는 상기 피치의 중요한 변화들을 검출한다. 도 8에서, W(t)는 워터마크 신호이고, I(t)는 워터마킹될 오디오 신호이며, R(t)는 오디오 신호로부터 유도되며 피치를 시간의 함수로서 표시하는 강력한 신호이고, P(t)는 특징점 신호(디랙 펄스들대신에 포인트들로서 본 명세서에 도시됨)이다. 특징점들은 상기 실시예에서 강력한 신호 R(t)의 미분계수의 국지적 극단값(extremes)이다. 도면이 도시하는 바와 같이, 특징점(81)은 워터마크상에 이미 있고, 그러므로 왜곡되지 않는다. 특징점(82)은 워터마크로부터 벗어나 있고 새로운 위치(84)로 어떤 양(83)만큼 왜곡된다. I_w(t)는 워터마킹된 신호이다. 이것은 또한 검출기에 적용된 의심되는 신호 J(t)이다. R'(t)는 검출기에서 J(t)로부터 유도된 강력한 신호이고, P'(t)는 검출기에서 추출된 바와 같은 특징점 신호이다. 특징점들은 (85)와 (86)이다. 양쪽의 특징점들은 워터마크 상에 지금 있으며, 검출기는 그래서 워터마크 W(t)가 확실히 삽입된다고 결정할 것이다.

특징점들의 추출을 위해 하나의 강력한 신호를 사용하는 대신에, 한 어레이의 강력한 신호 성분들을 갖는 것이 유용할 수 있다. 필터 뱅크(bank)는 신호 성분들의 그와 같은 어레이를 구축할 수 있다. 그와 같은 어레이가 견고하다(robust)는 것을 믿는 2가지 이유가 있다. 첫째, 주파수 대역들에서 오디오 신호를 분리시키는(splitting up) 것은 특정 주파수 영역에서 워터마킹된 신호에 손상을 주는 어택들(attacks)에 대한 보호를 제공한다. 둘째로, 사람의 귀는 필터 뱅크에 의해 실제로 모델링될 수 있다. 필터 출력들이 영향받는 방식으로 신호가 불순화되면, 인간의 귀는 그것을 검출할 것이다. 도 9는 상기 라인들을 따라서 전처리기(16)의 장치 및 특징점 추출기(11)를 개략적으로 도시한다. 상기 장치는 N개의 대역 통과 필터들(91-1...91-N)을 포함한다. 서로다른 주파수 성분들은 제곱되고(squared)(92-1..92-N), 그다음에 각각의 성분들은, 움직이는 평균(moving average)을 계산하는 각각의 저역-통과 필터(93-1..93-N)에 공급된다. 상기 처리의 출력들(R₁..R_N)은 강력한 신호 성분들의 어레이를 집합적으로 형성한다. 상기 성분들은 서로다른 주파수 대역들에서 신호의 에너지-시간 발전(development)을 실제로 표시한다. 상기 출력들 R_i는 특징점 추출에 각각 종속된다(94-1..94-N). 여기서 특징점들은 R_i의 2차 미분계수가 0이고 1차 미분계수는 큰, 시간의 포인트들이다. 특징점 신호 P(t)는 모든 R_i들의 특징점들의 결합(conjugation)(95)이다.

강력한 신호 R(t)를 생성하기 위한 전처리 회로(16)를 지닌 워터마크 임베더의 상기 예들에서, 실제의 왜곡은 원래의 오디오 신호 I(t)에 여전히 적용된다. 본 발명자들은, 오디오 신호가 상기 강력한 신호로부터 재구축될 수 있다면, 왜곡은 강력한 신호 자체에도 적용될 수 있다는 것을 발견했다. 예를 들어, 강력한 신호가, 상보형 합성 필터 뱅크(complementary synthesis filter bank)와 결합하여 완벽한 재구축(reconstructing)(지각력에 의해) 필터 뱅크를 구성하는, 분석 필터 뱅크로부터 얻어진 신호들의 어레이라면, 후자의 조건은 이행된다. 도 10은 그와 같은 워터마크 임베더의 실시예를 도시한다. 상기 장치는, 완벽한 재구축 필터 뱅크를 집합적으로 형성하는, 분석 필터 뱅크(101)와 합성 필터 뱅크(102)를 포함한다. 그와 같은 필터 뱅크들은 당 분야에 알려져 있다. 분석 필터 뱅크(101)는 각각의 워터마크 임베더들(103-1..103-N)에 각각 적용되는 다수의 신호들 R₁(t)..R_N(t)을 제공한다. 임베더(103-i)에 대해 더 자세히 도시된 바와 같이, 각각의 임베더는 도 1에 도시된 임베더의 구조와 기능을 가지고 있다. 모든 임베더들은 동일한 워터마크 신호 W(t)를 수신하며, 신호에서 발견된 특징점들에 응답하여 각각의 R_i(t)를 왜곡된 신호 R_wi(t)로 수정한다. 합성 필터 뱅크(102)는 워터마킹된 성분들을 수신하고 워터마킹된 오디오 신호 I_w(t)를 합성한다. 임베더들(103-i)은 합성 필터와 결합 회로(conjugation circuit)(1021) 사이의 합성 필터 뱅크(102)에 위치될 수도 있다.

2진 워터마크 신호들은 다수의 특징점들이 왜곡가능하지 않다는 성질을 가진다는 것이 이미 유의되어왔다. 상기 2진 워터마크 신호들은 워터마크 신호의 전이로부터 멀리 떨어져 위치해 있어서 c.ΔT 의 양만큼의 왜곡후에 워터마크 상의 포인트들이 된다. 실수값의(real-valued) 워터마크 신호들 W(t)는 상기 성질을 가지고 있지 않다. 실수값의 워터마크 신호들은 예를 들어 -1과 +1 사이에 실수값들을 가진다. 상기 값들은 균일하게 분포되고, 상기 신호의 극성(polarity)은 충분히 자주 변하며, 상기 신호는 양호하게 어디에서도 상수값이 아니다. 예는 도 11에 도시되어 있다. 상기 예에서, 워터마크는 시간 축을 따라 -1과 +1 값들의 세트로서 정의된다. 연속된 워터마크 신호 W(t)는 선형 보간에 의해서 그로부터 얻어진다. W(t)의 평균은 0이어야 한다.

도 11은, 도 2에 도시된 바와 같은, 동일한 오디오 신호 I(t)와 대응하는 특징점 신호 P(t)를 도시한다. 특징점들은 도트들(dots)(31)로서 워터마크 신호 파형에도 도시된다. 워터마킹되지않은 신호 I(t)에 대해서, 워터마크 신호 W(t)와 특징점 신호 P(t)의 상관관계(correlation)(D)는 근사적으로 0과 동일하다.

여기서 T는 오디오 신호의 지속기간이다. 오디오 신호는 특징점들을 "고개위로(up-hill)", 즉, 도 11에서 화살표들(32)에 의해 도시된 바와 같이 W(t)의 최대값을 향해, 왜곡하여 지금 워터마킹된다. 시간 t=s_i에서 특징점들에 적용될 이산 왜곡들 v(s_i)는 화살표들(33)에 의해 표기된다. 왜곡들 v(s_i)는 지금 다음과 같이 정의된다.

v(s_i) = c.ΔT.sign(W(t_i+1) - W(t_i))

여기서 t_i와 t_i+1은 디지털 오디오 신호의 연속적 샘플링 포인트들이고 ΔT는 샘플링 주기이다. 2진 값의 워터마크 신호들에 대한 왜곡 신호와 대조적으로, 거의 모든 특징점들이 지금 왜곡될 것이라는 점을 유의해야 한다. 또한 상기 식에서 표현 sign()는 왜곡의 방향을 정의한다는 것을 유의해야 한다. 워터마크 신호 W(t)가 평탄하다면, 이산 왜곡들 v(s_i)는 다음과 같이 정의될 수 있다.

워터마크 임베더는 상기에 기술된 것과 동일한 방식으로 더 동작한다. 따라서, 평탄한 연속적 왜곡 함수 v(t)는 보간에 의해 v(s_i)로부터 유도되고 오디오 신호는 다음식에 따라 왜곡된다.

I_w(t) = I(t-v(t))

특징점들을 워터마크 신호 W(t)에 대해 "언덕위로(up-hill)" 왜곡하는 효과는, 왜곡된(즉, 워터마킹된) 오디오 신호에 대한 상관관계

가 0으로부터 크게 벗어날 것이라는 점이다. 상기 이유로 인해, D라는 양은 또한 검출 강도로서 언급된다. 워터마크 검출기는 상기 수신된 의심되는 신호에 대한 상관관계 D를 계산한다. 워터마크는, D가 어떤 임계값 D_t보다 크다면, 존재한다고 말해진다.

D_t에 대한 적절한 값은 다음의 관찰로부터 뒤따라 온다. 본 발명자들은 워터마크 신호들의 등급(class)을 고려하여, 상관관계 D가 상기 등급내의 모든 워터마크들에 대해 계산된다면, D는 평균값 μ(D)와 표준 편차 σ(D)를 갖는 정규 분포를 가질것이다. 상기 평균값과 표준 편차가 주어지면, D의 정규 분포는 평균값 0과 표준 편차 1을 가진 D'의 표준 정규 분포로 변환될 수 있고, 여기서

이다.

D_t에 대응하는 임계값 D_t'은 임의의 바람직한 오류 경보(false alarm) 확률 P(오류 경보는 워터마크가 워터마킹되지 않은 신호에서 검출되는 상황이다)에 대해 계산될 수 있다. 예를 들어, 임계값

는 P=10^-6에 대해 사용될 것이다.

도 12는 상술된 동작들을 실행하는 워터마크 검출기를 개략적으로 도시한다. 검출기는 도 4에 도시된 것과 동일한 특징점 추출기(11), 상기에 정의된 식에 따라 워터마크 신호 W(t)와 특징점 신호 P(t)의 함수로서 상관관계 D를 계산하기 위한 상관관계 검출기(17), 및 임계값 D_t와 상관관계 D를 비교하는 판단 회로(18)를 포함한다.

도 12에 도시된 검출기는 일반적 워터마크 검출기이다. 상기 장치는 2진값의 워터마크들의 검출을 위해 사용될 수도 있다. 이것은, 2진값의 워터마크의 존재에 대한 기준, 즉,

,여기서 W(t)={0,1} 가 수학적으로 다음식과 동등하다는 관찰로부터 뒤따라 온다.

, 여기서 W(t)={-1,1}.

시간 왜곡은 바람직한 효과를 얻기위해 신호를 수정하는 유일한 방식이 아니라는 것을 유의해야 한다. 대안은 워터마크상에 있는 특징점들의 현저도(saliency)가 증가되고, 워터마크로부터 벗어나서 있는 특징점들의 현저도가 증가되도록 진폭 변조를 적용하는 것이며, 그후에 "가장 강한" 특징점들의 대다수는 워터마크상에 있을 것이라는 점을 함축한다. 상기 처리는 다음과 같이 기술될 수 있다.

I_w(t) = I(t).(1+ε(t))

여기서, ε(t)<<1 은 다음 조건들을 만족한다.

ε(t₀) = 0 , I(t₀)=0 인 경우

ε(s_i) > 0 , W(s_i)=1 인 경우

ε(s_i) < 0 , W(s_i)=0 인 경우

오디오 신호에 삽입된 워터마크는, 예를 들어, 저작권 소유자(holder) 또는 내용들의 기술을 식별할 수 있다. 상기 워터마크는 재료가 '1회 복제', '복제 안함', '제한 없음', '추가복제 금지' 등으로 라벨링(labeled)되는 것을 허용한다. 도 13은 디스크(131)에 기록된 오디오 비트스트림을 재생하기 위한 장치를 도시한다. 상기 기록된 신호는 스위치(132)를 통해 재생 장치(133)에 적용된다. 본 발명에 관련되지 않은 다른 조건들이 이행되지 않으면, 상기 장치는 미리 결정된 삽입된 워터마크를 지닌 비디오 신호들을 재생할 수 없다고 가정된다. 예를 들어, 워터마킹된 신호들은, 디스크(131)가 주어진 물리적 "워블(wobble)" 키를 포함한다면, 단지 재생될 수 있다. 워터마크를 검출하기 위해, 상기 장치는 상술된 바와 같이 워터마크 검출기(134)를 포함한다. 검출기는 기록된 신호를 수신하고, 워터마크가 검출되었는지 아닌지에 응답하여, 스위치(132)를 제어한다.

요약하면, 1차원 신호들, 특히 오디오 신호들에 워터마킹하기 위한 방법 및 장치들이 개시되었다. 워터마크, 예를 들어, 균일하게 분포된 0들과 1들을 갖는 2진 신호(W(t))는, 워터마킹된 신호(I_w(t))의 특징점들의 시간 분포의 통계가 워터마크 신호에 대해 크게 변화되는 정도까지 제로 크로싱들(22)과 같은 특징점들을 왜곡(23)하여, 오디오 신호(I(t))에서 삽입된다.

Claims

1차원 정보 신호에 워터마크를 삽입하는 방법에 있어서,

- 상기 정보 신호의 특징점들(salient points)을 결정하는 단계와,

- 상기 정보 신호를 수정하는 단계로서, 상기 수정된 정보 신호의 특징점들이, 적용된 워터마크 신호와 통계적으로 큰 상관관계(correlation)를 갖도록 하는, 상기 정보 신호 수정 단계를 포함하는, 워터마크 삽입 방법.

제 1 항에 있어서, 상기 워터마크 신호는 2진 신호이고, 상기 정보 신호 수정 단계는 상기 2진 워터마크 신호의 미리 결정된 값과 일치하도록 특징점들을 시간 왜곡(time-warping)하는 단계를 포함하는, 워터마크 삽입 방법.

제 1 항에 있어서, 상기 워터마크 신호는 실수값의 신호이고, 상기 정보 신호 수정 단계는 상기 워터마크 신호의 국지적 극단값들(local extremes)의 방향으로 특징점들을 시간 왜곡하는 단계를 포함하는, 워터마크 삽입 방법.

제 1 항에 있어서, 상기 정보 신호의 의미상의 기본적 요소(semantic essence)를 나타내는 강력한 신호(robust signal)를 상기 정보 신호로부터 유도하는 처리 단계를 더 포함하며, 상기 정보 신호의 특징점들은 상기 강력한 신호의 특징점들에 의해 표시되는, 워터마크 삽입 방법.

제 4 항에 있어서, 상기 처리 단계는 상기 정보 신호를 복수의 강력한 신호 성분들로 분해하는 단계와, 각각의 신호 성분의 특징점들을 결정하는 단계를 포함하는, 워터마크 삽입 방법.

제 5 항에 있어서, 상기 분해 단계는 상기 정보 신호의 서브-대역(sub-band) 필터링을 포함하는, 워터마크 삽입 방법.

제 5 항에 있어서, 상기 정보 신호 수정 단계는, 각각의 신호 성분을 수정하는 단계와, 상기 수정된 정보 신호를 구성하기 위해 상기 수정된 신호 성분들을 결합하는 단계를 포함하는, 워터마크 삽입 방법.

정보 신호의 워터마크를 검출하는 방법에 있어서,

- 상기 정보 신호의 특징점들을 결정하는 단계와,

- 적용된 워터마크 신호와 상기 특징점들과의 상관관계를 결정하는 단계와,

- 상기 상관관계가 통계적으로 큰 경우, 상기 적용된 워터마크가 상기 정보 신호에 삽입된 것을 검출하는 단계를 포함하는, 워터마크 검출 방법.

제 8 항에 있어서, 상기 적용된 워터마크 신호는 2진 신호이고, 상기 상관관계 결정 단계는 상기 2진 워터마크 신호의 미리 결정된 값과 일치하는 특징점들의 퍼센티지를 결정하는 단계를 포함하는, 워터마크 검출 방법.

제 8 항에 있어서, 상기 정보 신호의 의미상의 기본적 요소를 나타내는 강력한 신호를 상기 정보 신호로부터 유도하는 처리 단계를 더 포함하며, 상기 정보 신호의 특징점들은 상기 강력한 신호의 특징점들에 의해 표시되는, 워터마크 검출 방법.

제 10 항에 있어서, 상기 처리 단계는 상기 정보 신호를 강력한 신호 성분들로 분해하는 단계와, 각각의 신호 성분의 특징점들을 결정하는 단계를 포함하는, 워터마크 검출 방법.

제 11 항에 있어서, 상기 분해 단계는 상기 정보 신호의 서브-대역 필터링을 포함하는, 워터마크 검출 방법.

정보 신호에 워터마크를 삽입하기 위한 장치에 있어서,

- 상기 정보 신호의 특징점들을 결정하는 수단과,

- 상기 정보 신호를 수정하는 수단으로서, 상기 수정된 정보 신호의 특징점들이, 적용된 워터마크 신호와 통계적으로 큰 상관관계를 갖도록 하는, 상기 정보 신호 수정 수단을 포함하는, 워터마크 삽입 장치.

정보 신호의 워터마크를 검출하기 위한 장치에 있어서,

- 상기 정보 신호의 특징점들을 결정하는 수단과,

- 상기 특징점들과 적용된 워터마크 신호와의 상관관계를 결정하는 수단과,

- 상기 상관관계가 통계적으로 큰 경우, 상기 적용된 워터마크가 상기 정보 신호에 삽입된 것을 검출하는 수단을 포함하는, 워터마크 검출 장치.

정보 신호를 기록 및/또는 재생하기 위한 장치로서, 상기 신호내의 워터마크의 존재에 의존하여 상기 정보 신호의 기록 및/또는 재생을 디스에이블링(disabling)하는 수단(132)을 포함하는, 상기 장치에 있어서,

상기 장치는 제 14 항에 청구된 바와 같은 상기 워터마크를 검출하는 장치(134)를 포함하는 것을 특징으로 하는, 정보 신호 기록 및/또는 재생 장치.