KR20030064381A

KR20030064381A - 부수 정보에 응답하여 하나 또는 그 이상의 파라메터를변조하는 오디오 또는 비디오 지각 코딩 시스템

Info

Publication number: KR20030064381A
Application number: KR10-2003-7002331A
Authority: KR
Inventors: 매튜 오브리 왓슨; 마이클 매드 트루만; 스테판 덱커 버논; 브레트 그라함 크로켓
Original assignee: 돌비 레버러토리즈 라이쎈싱 코오포레이션
Priority date: 2000-08-16
Filing date: 2001-08-15
Publication date: 2003-07-31
Also published as: ATE308858T1; JP2004506947A; US7395211B2; US20040024588A1; HK1080243A1; EP1310099A2; CA2418722C; HK1080243B; DE60114638T2; BR0113271A; KR100898879B1; CA2418722A1; WO2002015587A3; AU2001284910B2; BRPI0113271B1; DE60114638D1; CN100431355C; AU8491001A; WO2002015587A2; EP1310099B1

Abstract

워터마크와 같은 부수 정보에 따른 지각 코딩 시스템의 엔코더 함수 및/또는 디코더 함수의 작동을 수정함으로써, 부수적인 정보는 디코더 함수의 출력에서 검출될 수 있는 방법이 개시된다. 하나 또는 그 이상의 파라메터들은 부수 정보에 응답하여 엔코더 함수 및/또는 디코더 함수내에서 변조된다.

Description

부수 정보에 응답하여 하나 또는 그 이상의 파라메터를 변조하는 오디오 또는 비디오 지각 코딩 시스템{Modulating One or More Parameter of An Audio or Video Perceptual Coding System in Response to Supplemental Information}

스테가노그래피와 워터마크 작용

스테가노그래피는 신호를 다른 신호안에 은폐시키는 과학이다. 스테가노그래피 알고리듬 또는 과정은 강력하거나(robust) "취약(fragile)" 할 수 있다. 즉, 은폐된 신호를 변조(corrupt)하는 것이 매우 어렵거나 또는 매우 용이할 수 있다. 오디오의 적용을 고려하면, 매우 취약한 스테가노그래피 기술은 오디오 프로그램 내용으로부터 독립적인 데이타 스트림(stream)을 운반하는데 가장 적은 의미있는 PCM 채널의 비트(bit)를 사용하는데, 이는 상부 비트에서 운반될 것이다. 가장 적은 의미있는 비트내에서 운반된 은폐 데이타 채널은 오디오 프로그램을 의미있게 왜곡시키지 않지만, 오히려 낮은 레벨의 디더 신호(dither signal)로서 작용한다. 이러한 기술은 단순한 오디오 처리가 이득 변화, 디지탈-아날로그 변환등과 같은 데이타 신호를 파괴할 수 있다는 점에서 취약하다.

워터마크 작용은 스테가노그래피의 일 형태인데, 여기에서는 통상적으로 신호 은폐 기술이 정상적인 처리 또는 고의적인 공격에 의한 변조(corruption)에 대해서 강력하도록 의도된다. 그러한 것으로서, 워터마크들은 복제 방지 또는 콘텐츠의 소유권 식별과 같은 보안에 관련된 적용예에서 가격을 가진다. 그러한 적용예에 있어서, 예를 들면, 워터마크는 제어 상태, 저작권 정보 및, 메인 프로그램의 자료가 어떻게 방출되었는가에 대한 정보를 운반할 수 있다. 메인 프로그램이 차후에 도난당하거나 또는 불법적으로 복제될지라도, 이상적으로는, 워터마크가 프로그램 자료내에 삽입된채로 남아서 소유권 증명을 설정하는 방법을 제공한다.

하나 또는 그 이상의 워터마크들이 "콘텐츠"(예를 들면 오디오 또는 비디오 성능) 분포 경로를 따라서 많은 지점들에 삽입될 수 있다. 이러한 경로의 시작에서 신호에 부가된 정보는 저작권 정보 또는 소유 위치를 포함할 수 있는 반면에 신호 체인의 끝에 부가된 정보는 날짜/시간 스탬프 및/또는 기계의 일련 번호와 같은 재생 정보(playback information)를 포함할 수 있다. 출처가 추적되어야 하는 콘텐츠에 대해서는, 워터마크들이 분포 경로를 따라서 다양한 위치들에 삽입될 수 있다.

오디오 및, 비디오 신호의 워터마크작용을 위한 중요한 하나의 고려 사항은 은폐 신호가 그것이 은폐된 신호의 품질을 불필요하게 저하시키지 않아야 한다는것이다. 이상적으로는, 워터마크는 완전하게 투명하여야 한다. 즉, 워터마크 신호와 오리지날 신호 사이의 차이가 (보조를 받지 않는 인간 관찰자에게는) 지각될 수 없어야 한다. 물론, 그 차이는 일부 수단에 의해서 검출될 수 있어야 하는데, 그렇지 않다면 워터마크 신호는 회복될 수 없기 때문이다. 그러나, 워터마크는 의도적으로 일부 적용예에 대해서 지각될 수 있다. 예를 들면, 이메이지들은 상업용 사용을 방지하기 위하여 워터마크를 눈에 보이게 할수 있다. 더욱이, 종이는 지각 가능한 출처의 시일(seal)을 전하기 위하여 워터마크를 둘 수 있다.

따라서, 워터마크 작용의 목적은 다음과 같이 요약될 수 있다.

제 2 의 신호 도는 부수적인 신호를 부가하는 방식으로 제 1 의 신호를 변조하여, 변조된 제 1 신호를 초래하게함.

오리지날 신호와 변조된 제 1 신호 사이의 차이가 검출될 수 있지만 지각될 수 없음. 그리고,

변조(modification)는 제거하는 것이 어렵거나 또는 눈에 띄지 않아야 한다.

지각 코딩

지각 코딩은 신호들을 보다 효과적인 표현의 형태로 감소시키기 위하여 신호로부터 지각의 무관계성을 제거하는 과학이다. 예를 들면, 일부의 적용예에서, 지각 코딩은 소정의 채널 용량 제한을 충족시키기 위하여 디지탈 오디오 또는 비디오의 전달 데이타 비율을 감소시키도록 사용된다. 오디오 및, 비디오 신호의 지각 코딩은 만족스럽게 설정된 부문이어서, 효과적인 저장 및, 전달을 위해서 오디오 및, 비디오 신호를 상대적으로 낮은 데이타 비율로 감소시킬 수 있다.

많은 지각 코더(corder)들은 오리지날 신호의 내용을 분석하고 그리고 각 신호 구성부의 지각 관련성을 식별함으로써 작동한다. 다음에 오리지날 신호의 수정된 버젼(version)이 발생함으로써, 수정된 버젼은 오리지날 신호보다 낮은 데이타 비율을 사용하여 표현될 수 있다. 이상적으로는, 오리지날 신호와 수정된 신호 사이의 차이가 지각될 수 없다. 항상 양자화된 노이즈인 노이즈, 또는 다른 왜곡이 신호의 데이타 비율을 감소시키기 위하여 제어 가능하게 도입된다. 인간 지각의 특성이 노이즈 또는 다른 왜곡을 처리하도록 고려됨으로써, 그것은 지각될 수 없거나또는 최소한으로 지각될 수 있다.

지각 코더는 인간의 지각을 일정한 정도의 정확도로 반영하도록 의도된 마스킹 모델(masking model)을 채용한다. 마스킹 모델은 지각의 경계를 설정하는 지각 마스킹 쓰레숄드를 제공한다. 도 1 에서 실선은 음향 레벨을 나타내는데, 그러한 레벨에서 사인파 또는 협소한 노이즈의 대역과 같은 음향을 들을 수 있으며, 즉, 가청 쓰레숄드이다. 그러한 곡선 이상의 레벨에서의 음향은 들을 수 있다. 그 아래의 음향은 그렇지 않다. 이러한 쓰레숄드는 명백히 주파수에 달려있다. 50 Hz 또는 15kHz 보다도 4kHz 에서 훨씬 부드러운 음향을 들을 수 있다. 25 kHz 에서, 쓰레숄드는 정도를 벗어나며, 아무리 커도 들을 수 없다.

도 1 에서 쇄선으로 도시된 바와 같이, 하나의 주파수, 예를 들면 도면에서 수직선으로 도시된 500 Hz 의 사인파에서 상대적으로 시끄러운 신호의 존재에서 쓰레숄드를 고려해본다. 쓰레숄드는 500 Hz 의 근접한 부분에서 극적으로 상승하고, 주파수에서 더 떨어진 곳에서는 다소 크지 않게 상승하며, 가청 범위에서 먼 부분에서는 전혀 상승하지 않는다.

쓰레숄드에서의 이러한 상승은 마스킹이라고 불리운다. 시끄러운 500 Hz 사인파 시호("마스킹 신호" 또는 "마스커(masker)")의 존재에서, "마스킹 쓰레숄드"라고 지칭될 수 있는 이러한 쓰레숄드하의 신호들은 시끄러운 신호에 의해서 은폐되거나 또는 마스킹된다. 더욱이, 다른 신호들은 무신호(no-signal) 쓰레숄드 이상의 레벨로 다소 상승될 수 있지만, 여전히 새로운 마스킹된 쓰레숄드의 아래에 있으며 따라서 들리지 않을 수 있다. 그러나, 무신호 쓰레숄드가 변화되지 않은 스펙트럼의 멀리 있는 부분에서는, 500 Hz 마스커가 없이 들을 수 있었던 그 어떤 노이즈도 그것과 함께 들을 수 있는 것으로 남는다. 이것은 그것들이 스펙트럼으로 있는 곳에 달려있다. 이루 음악의 통로는 가청 주파수 범위를 따라서 분포된 예를 들면 많은 스펙트럼의 성분들을 포함하며, 따라서 무신호 쓰레숄드 커브에 대하여 모든 곳에서 상승된 마스크된 쓰레숄드 커브를 제공한다. 예를 들면 다른 음악적 통로는 작은 스펙트럼의 부분에 제한된 스펙트럼 성분들을 가진 솔로 악기로부터의 상대적으로 시끄러운 음향으로 이루어져서, 도 1 의 사인파 마스커의 예와 같은 마스크된 곡선을 제공한다.

마스킹은 마스커와 마스크된 신호 사이의 시간 관계에 의존하는 일시적인 양상을 가진다. 일부 마스킹 신호들은 마스킹 신호가 존재하는 동안에만 필수적으로 마스킹을 제공한다. ("동시적인 마스킹"). 다른 마스킹 신호들은 마스커가 발생하는 동안뿐만 아니라 시간 이전에("역행 마스킹(backward masking)" 또는 "사전 마스킹"), 그리고 시간 이후에("순행 마스킹(forward masking)" 또는 "사후 마스킹")도 발생한다. "일시적이고", 갑작스러우며, 간결하며 상당한 신호 레벨에서의 증가는 모든 3 가지 "유형"의 마스킹을 나타낼 수 있다. 역행 마스킹, 동시 마스킹, 그리고 순행 마스킹등이 그것이다. 반면에, 정상 상태 또는 준 정상 상태의 신호가 단지 동시 마스킹을 나타낼 수 있다.

지각 코딩 과정에 의해서 부가된 모든 노이즈 및, 왜곡은 지각의 손상을 방지하기 위하여 마스킹 쓰레숄드 아래에 머물러야 한다. 코딩 과정에 의해서 부가된 노이즈 도는 왜곡이 마스킹 쓰레숄드에 도달하되 그것을 초과하지 않는다면, 신호는 "단지 현저한 편차"의 레벨에서 코딩된 것으로 말해진다. 시스템의 "코딩 마진"은 부가된 노이즈 또는 왜곡이 마스킹 쓰레숄드 아래에 놓이는 양으로서 정의될 수 있다. 제로의 코딩 마진은 신호가 단지 현저한 편차의 레벨에서 코딩된다는 것을 의미하는 반면에, 양의 코딩 마진은 부가된 노이즈 또는 왜곡이 일부 할애되어야할 여분과 함께 지각될 수 없다는 것을 의미하고, 음의 코딩 마진은 지각 가능한 손상이 존재한다는 것을 의미한다.

신호의 상이한 양상들(예를 들면, 대역, 시간 분해능, 공간상의 정확도등)이 상이한 정도의 정확도로 코딩될 수 있어서, 상이한 신호 특징들에 대해서 상이한 코딩 마진을 초래한다는 점을 주목해야 한다. 코딩 마진이 모든 신호의 특징들에 대하여 네가티브가 아니도록 소스(source) 신호가 코딩된다면, 소스에 대하여 지각상 등등한 것으로 일컬어질 수 있다.

지각 코딩 시스템은 비트 할당 정보 또는 지각 모델 정보를 코드화된 데이타와 함께 디코더(decoder)에 전달할 수 있는 엔코더로 이루어진다. 세가지 유형의지각 코딩 시스템이 있다. 순방향 적응성, 역방향 적응성 및, 상기 두가지의 혼성의 것들이 그것이다. 순방향 적응성 시스템에 있어서, 엔코더는 숨김없이 비트 할당 정보를 디코더에 보낸다. 역방향 적응성 시스템은 그 어떤 비트 할당 또는 지각 모델 정보를 디코더에 보내지 않는다. 디코더는 코드화된 데이타로부터 비트 할당을 다시 만든다. 혼성 시스템은 일부 할당 정보가, 예를 들면 지각 모델의 완전한 분해능 형태보다 적게, 코드화된 데이타와 함께 포함될 수 있도록 하지만, 완전한 순방향 적응 시스템에서 보다는 훨씬 적다. 이러한 3 가지 유형의 지각 코딩 시스템의 보다 상세한 설명은 1994 년 2 월 26 일 ~ 3 월 1 일, 96 회 오디오 엔지니어링 소사이어티 콘벤션에서 크레이크 C. 트드등에 의해 사전 프린트 3796 에서 "AC-3: 오디오 전달 및, 저장에 대한 유연성 지각 코딩"에 설명되어 있다. 이하에 더욱 상세하게 설명되는 바로서, 돌비 디지탈 및, 돌비 E 코딩 시스템과 같은 돌비 래보래토리즈에 의해 전개된 지각 코딩 시스템은 혼성의 순방향/역방향 적응성 시스템의 예인 반면에, 이하에 또한 설명될 MPEG-2 AAC 코딩 시스템은 순방향 적응성 시스템의 예이다.

지각 코더의 목적은 다음과 같이 요약될 수 있다.

수정된(modified) 신호를 초래하는 주 신호의 수정.

오리지날 신호와 수정된 신호 사이의 차이가 지각될 수 없어야 한다.

수정된 신호의 표시가 오리지날 신호의 표현보다 효율적이어야 한다.

보안

보안 조치로서의 워터마크 작용은 직접적인 공격에서 살아남는 워터마크의 능력만큼 강할뿐이다. 현재 사용중인 많은 워터마크 기술은, 만약 워터마크가 공개적으로 알려지지 않았다면, 워터마크 데이타를 모호하게 하도록(obscure) 워터마크 신호를 수정하는 방법을 공격자들이 알지 못할 것이라는 전제하에, 워터마크의 상세 내용을 비밀로 유지함으로써 성공적인 공격으로부터 그들을 방어하도록 시도한다. 이것은 "모호함을 통한 보안"으로서 알려진 원칙이다. 암호 작성법의 분야에서, 모호함을 통한 보안은 일반적으로 비논리적인 원칙으로서 퇴장된다. 알고리듬 또는 과정이 비밀을 통해서 그것의 보안을 통해서 유도한다면, 전체 시스템의 보안이 해결되게 하는 기술의 상세 내용을 개시하는데 단지 한 사람이 필요하다.

보안의 목적은 다음과 같이 요약될 수 있다.

콘텐츠의 도난이 사용될 수 없거나 또는 차후 저작권 침해 증거 및, 저작권 침해의 소스에 대한 추적이 가능할 수 있게 하는 방식으로 콘텐츠를 보호한다.

공격에 대해서 강력해야 한다.

시스템내의 가장 약한 링크에서조차도 높은 보안성을 유지한다.

본 발명은 오디오 또는 비디오 신호 문맥(context)에서의 스테카노그래피(steganography)에 관한 것이다. 보다 상세하게는, 본 발명은 부수 정보에 따라서 오디오 또는 비디오 지각 코딩 시스템의 엔코더 및/또는 디코더의 작동을 변경하는 것에 관한 것이다. 그러한 부수 정보는 종종 "워터마크(watermark)로서 지칭된다. "워터마크 작용"(watermarking)은 스테가노그래피의 일 특징이다.

도 1 은 마스킹 신호가 나타나지 않을때 음향이 들릴수 있는 (가청의 쓰레숄드) (실선의) 음향 압력 레벨을 나타내고, 그리고 500 Hz 사인파의 존재에서 (쇄선) 가청의 쓰레숄드를 나타내는 이상화된 그래프이다.

도 2 는 본 발명의 기본 원리를 나타내는 함수의 블록 다이아그램인데 여기에서 부수 정보는 지각 코딩 시스템내의 지각 엔코더 함수 및/또는 지각 디코더 함수의 하나 또는 그 이상의 파라메터를 변조한다.

도 3a 는 코딩 시스템의 출력을 수신하는 부수적인 정보 검출기 함수를 구비하는 본 발명의 특징을 나타내는 함수 블록 다이아그램이다.

도 3b 는 코딩 시스템의 출력을 수신하는 부수적인 정보 검출기 함수를 구비하는 본 발명의 특징을 보다 상세한 검출기 함수와 함께 나타내는 함수 블록 다이아그램이다.

도 4 는 코딩 시스템의 출력과 코딩 시스템의 입력을 모두 수신하는 부수 정보 검출기 함수를 구비하는 본 발명의 특징을 도시하는 함수 블록 다이아그램이다.

도 5 는 부수 정보 검출기 함수가 비교 함수뿐만 아니라, 지각 엔코더 함수와 지각 디코더 함수도 구비하며, 이들 모두 그것의 파라메터들이 변조되지 않은, 본 발명의 특징을 나타내는 함수 블록 다이아그램이다.

도 6 은 혼성의 순행/역행 적응성 유형인 특정의 지각 오디오 코더에서 변조에 적절한 파라메터를 나타내는 표이다.

도 7 은 순행 적응성 유형인 특정의 지각 오디오 코더에서 변조에 적절한 파라메터를 나타내는 표이다.

도 8 은 특정의 지각 비디오 코더에서 변조에 적절한 파라메터들을 나타내는 표이다.

도 9 는 특정의 지각 오디오 코더에서 사람 귀의 마스킹 곡선을 스펙트럼 모델화한 (스펙트럼 마스킹 모델 변수) 특정 파라메터를 개략적으로 나타낸 것이다.

도 10 은 지각 오디오 코더 종류에서 변조될 수 있는 스펙트럼 마스킹 모델 파라메터들을 개략적으로 나타낸 것이다.

도 11a 는 특정의 지각 오디오 코더에서 사인파 신호의 존재하에 SNR 오프셋파라메터 (마스킹 쓰레숄드 파라메터)의 변조를 나타내는 이상화된 도면이다.

도 11b 는 SNR 오프셋 파라메터가 도 11a 에 도시된 방식으로 비트 제한 코딩 시스템의 경우에 대하여 변조될때 지각 디코더의 출력에서의 효과를 나타내는 이상화된 도면이다.

도 11c 는 SNR 오프렛 파라메터가 도 11a 에 도시된 방식으로 비트 제한되지 않은 코딩 시스템의 경우에 대하여 변조될때 지각 디코더의 출력에서 오프셋을 나타내는 이상화된 도면이다.

도 11d 는 도 11a 내지 도 11c 와 도 12a 내지 도 12c 에 채용된 예들을 나타낸다.

도 12a 는 특정한 지각 오디오 코더에서 사인파 신호의 존재하에 신속한 이득 코드 파라메터(마스킹 쓰레숄드 파라메터)의 변조를 나타내는 이상화된 도면이다.

도 12b 는 신속한 이득 코드 파라메터가 도 12a 에 도시된 방식으로 비트-제한된 코딩 시스템의 경우에 대하여 변조될때 지각 디코더의 출력에서의 효과를 나타내는 이상화된 도면이다.

도 12c 는 신속한 이득 코드 파라메터가 도 12a 에 도시된 방식으로 비트 제한되지 않은 코딩 시스템의 경우에 대하여 변조될때 지각 디코더의 출력에서의 효과를 도시하는 이상화된 도면이다.

도 13 은 특정의 지각 오디오 코더에서, 특정의 지각 오디오 코더 안의 마스킹 변수가 아닌 변조 파라메터들, 즉, "사용중의 커플링(coupling)" 플래그, 사용플래그에서의 재마트릭싱(rematrixing) 및, 커플링 개시 주파수 코드들의 효과를 나타내는 이상화된 도면이다.

도 14 는 특정의 지각 오디오 코더에서, 마스킹 변수가 아닌 변수, 즉, 페이스 플래그의 변조 효과에 대한 이상화된 도면이다.

도 15 는 엔코딩 동안에 부수 정보를 삽입하는 시간-도메인 가명(alias) 윈도우 형상을 도시하는 일련의 이상화된 파형이다.

도 16 은 엔코딩 동안에 부수 정보를 삽입하는 시간-도메인 가명(alias) 윈도우 형상을 도시하는 일련의 이상화된 파형이다.

도 17 은 마스킹 신호의 일시적인 마스킹 효과를 도시하는, 시간에 대하여 음향 압력 레벨(SPL)을 도시한, 이상화된 일시적인 엔벨로프 응답이다.

도 18 은 효과들이 일시적인 마스킹 엔벨로프내에 제한되도록 신호에 적용될 수 있는 변조의 유형을 도시하는 이상화된 도면이다.

도 19 는 2 비트 심볼이 4 개의 상이한 대역폭에 의해서 표시될 수 있는 방법을 나타내는 일련의 이상화된 진폭 대 주파수의 도면이다.

도 20 은 상이한 심볼을 나타내도록 신호의 대역폭을 사용하여 삽입 신호를 포함하는 오디오 신호의 예를 도시하는 이상화된 주파수 대 시간의 도면이다.

도 21 은 사인파 신호의 존재하에 인간의 가청 쓰레숄드의 대략적인 레벨에 맞춘 노이즈의 부가를 도시하는 이상화된 진폭 대 주파수의 도면이다.

도 22 는 2 비트 심볼을 만드는 4 개의 상이한 대역폭을 검출하는데 필요한 3 개의 상이한 에너지 레벨을 도시하는 이상화된 에너지 대 주파수의 도면이다.

도 23 은 "하이"와 "로우" 상태의 분포에 대한 몇 가지 예의 히스토그램을 나타내는 이상화된 진폭 대 에너지 플롯이다.

도 24 는 지각성의 쓰레숄드를 사용하여 워터마크를 삽입하는 과정의 내부 반복 루프 부분을 나타내는 논리 플로우 다이아그램이다.

도 25 는 지각성의 쓰레숄드를 사용하여 워터마크를 삽입하는 과정의 외부 반복 루프 부분을 나타내는 논리 플로우 다이아그램이며, 여기에서는 외부 루프 스펙트럼 계수들이 증폭된다.

도 26 은 부수 정보 또는 워터마크 신호를 삽입하면서 가능한한 많이 사이코어코스틱 모델(psychoacoustic model), 또는 지각 쓰레숄드를 수행하는 도 25 의 과정에 대한 수정을 도시하는 논리 플로우 다이아그램이다.

도 27 은 주파수 스펙트럼에 걸쳐서 지각 쓰레숄드, 양자화기(quantizer) 에러 및, 수정된 양자화기 에러를 묘사하는 일련의 이상화된 파형을 나타내는데, 이것은 워터마크가 임계 대역내의 양자화기 에러에 영향을 미치는 파라메터를 변조하는 경우에 대해서 왜곡 측정 과정을 사용하여 삽입될 수 있는 방법을 나타낸다.

도 28 은 주파수 스펙트럼에 걸쳐서 지각 쓰레숄드, 양자화기 에러 및, 수정된 양자화기 에러를 나타내는 일련의 이상화된 파형을 나타내는데, 이는 주파수 스펙트럼을 통해서 신호 대 노이즈 비율의 오프셋에 영향을 미치는 파라메터를 변조하는 경우에 대해서 왜곡 측정 과정을 사용하여 워터마크가 삽입될 수 있는 방법을 나타낸다.

도 29 는 본 발명의 일 특징에 따라서, 디코딩 하는 동안에 워터마크를 삽입하는 과정의 단계를 도시하는 논리 플로우 다이아그램이다.

도 30 은 본 발명의 다른 특징을 도시하는 함수 블록 다이아그램인데, 여기에서 워터마크의 부수 정보에 의한 변조의 제어는 예를 들면 코딩 시스템에 적용된 결정론적인 시퀀스 및/또는 입력 신호를 포함하는 하나 또는 그 이상의 다른 신호들 또는 데이타 시퀀스의 함수에 의해서 수정된다.

본 발명은 부수적인 정보가 디코더 출력에서 검출될 수 있도록 부수 정보에 응답하여 지각 코딩 시스템의 엔코더 및/또는 디코더의 작동을 수정하는 방법에 관한 것이다. 엔코더 및/또는 디코더에서의 하나 또는 그 이상의 파라메터는 부수 정보에 응답하여 변조된다.

본 발명에 따르면, 워터마크 정보와 같은 부수 정보는, 검출될 수 있지만 바람직스럽게는 지각될 수 없는 변화를 디코더의 출력에서 야기하기 위하여, 지각 코드 시스템의 엔코더 및/또는 디코더에서 하나 또는 그 이상의 파라메터를 변조함으로써 전달된다. 이러한 정보는 그것이 코딩 시스템에 의해서 운반되는 오디오 또는 비디오 정보와 같은 주 정보에 부가된다는 점에서 "부수적"이다. 통상적으로, 꼭 그러할 필요는 없을지라도, 그러한 부수 정보는 본질적으로 "워터마크"이다. 하나 또는 그 이상의 파라메터의 변조는 부수적인 또는 워터마크 정보를 (지각 엔코더에서 변수들을 변조시키는 경우에는) 엔코드 신호내에, 그리고 (지각 엔코더 및/또는 지각 디코더에서 변수들을 변조시키는 경우에는) 디코드 신호내에 "삽입된(embed)"것으로 말할 수 있다.

비록 본 발명의 특정한 수행이, 적어도 부분적으로 엔코더에서 수행될때, 주 정보를 나타내는 비트스트림 데이타를 간접적으로 수정할 수 있을지라도, 본 발명은 주 정보를 나타내는 비트스트림 데이타의 직접적인 수정을 기도하지 않는다. (지각 엔코더에서의 양자화 이후에 비트스트림 데이타가 되는 주 정보의 수정도 기도하지 않는다.) 본 발명은 디코드된 비트스트림에서라기 보다는 오히려, (정보가 엔코더 및/또는 디코더에서의 작용의 결과로서 전달되는지의 여부를) 지각 디코더 출력에서 부수 정보의 검출을 기도한다.

"변조"에 의해서 하나 또는 그 이상의 값(상태들)들 중에서 파라메터의 값을 변화시키는 것을 의미하는데, 여기에서 상기 값들은 "디폴트 값(default value)"을 포함할 수 있으며, 그러한 값은 본 발명의 작용이 없었다면 그렇지 않게 되었을 변수이다. 예를 들면, 파라메터 값은 그것의 디폴트 값과 하나 또는 그 이상의 다른값들 사이에서 변화될 수 있거나 (단지 두개의 가능한 값을 가지는 변수의 경우에 있어서, 그러한 파라메터는 때때로 "플래그"로서 지칭되며 파라베터는 두개의 값들 사이에서 변화될 수 있다.) 또는 하나 또는 그 이상의 다른 값들 사이에서 변화될 수 있어서 그러한 값들이 디폴트 값을 포함하지 않는다.

부수 정보 또는 워터마크 신호 또는 시퀀스에 "응답하여 변조" 되는 것에 의해서, 제어가 하나 또는 그 이상의 다른 신호의 기능에 의해서 수정될때와 같이, 변수의 변조는 부수적인 정보 또는 워터마크 신호 또는 시퀀스에 의해서 직접적으로 또는 간접적으로 제어되는 것을 의미하며, 상기 신호는 예를 들면 결정론적인 시퀀스와 같은 명령의 한 세트 또는 코딩 시스템에 가해진 입력 신호를 포함한다.

"파라메터"에 의해서 주 정보를 나타내는 비트스트림 데이타가 아닌 지각 코딩 시스템내의 변수를 의미한다. 본 발명의 특징에 따른 변조에 적당한 돌비 디지탈(AC-3), MPEG 오디오 및, MPEG 비디오 변수들의 예는 아래의 도 6, 도 7 및, 도 8 의 표에 각각 도시되어 있다. 본 발명은 또한 언젠가 한정되어야 하는 파라메터를 포함하는, 출판된 지각 코더 표준에서 인정된 하나 또는 그 이상의 파라메터의 변조를 기도한다.

"주 정보를 나타내는 비트스트림 데이타"에 의해서, 지각 엔코더에 의해서 발생되지만 아직 디코드되지 않은, 오디오 또는 비디오 정보와 같은 주 정보를 운반하는, 엔코드된 비트스트림내의 데이타 비트를 의미한다. 주 정보를 나타내는 비트스트림 데이타는 예를 들면, 돌비 디지탈(AC-3) 시스템의 경우에, 엑스포넨트(exponent)와 가수(mantissas)를 포함하고, MPEG-2 AAC 시스템의 경우에, 스케일 인자 및, 후푸만(Huffman) 엔코드 계수를 포함한다.

복합적인 지각 코딩 시스템(예를 들면, 돌비 디지탈 및, 돌비 E 오디오, MPEG 오디오, MPEG 비디오등)에서, 다수의 독립적인 코딩 파라메터들은 현저한 정도의 코딩 유연성을 제공한다. "돌비", "돌비 디지탈" 및, "돌비 E" 는 돌비 래보래토리즈 라이센싱 코포레이션의 상표이다.

돌비 디지탈 코딩의 상세한 내용은 1995 년 12 월 20 자의 어드밴스드 텔레비젼 시스템 코미티(ATSC)의 서류 A/52 에서 "디지탈 오디오 압축 표준(AC-3)"에 개시되어 있다. (인터넷의 월드 와이드 웹 www.atsc.org/Standards/A52/a_52.doc 에서 이용 가능함). 또한 1999년 7 월 22 일자의 에라타 시이트를 참고하라 (인터넷의 월드 와이드 웹상에서 www.dolby.com/teck/ATSC_err.pdf 참조). 또한 199 년 7 월 22 일자의 에라타 시이트 참조 (인터넷의 월드 와이드 웹상에서 WWW.dolby.com/tech/ATSC_err.pdf)

돌비 E 코딩의 상세한 사항은 199 년 8 월, 107 회 AES 콘퍼런스에서, AES 사전 인쇄물 5068 의 "오디오 분배 시스템에서의 효과적인 비트 할당, 양자화 및, 코딩"에 개시되어 있고, 또한 1999 년 8월의 107 회 AES 프리프린트 5033 에서 "비디오와 함께 사용되도록 최적화된 전문가용 오디오 코더"에 개시되어 있다.

MPEG-2 AAC 에 대한 상세한 내용은 ISO/IEC 1378-7:199(E)에서 "정보 기술-동영상과 관련 오디오 정보의 일반적인 코드화--제 7 부: 어드밴스드 오디오 코딩(ACC)", 인터내셔널 스탠다드 오가니제이션(1997년 4 월)에 개시되고; 1999년 8 월에 고품질 오디오 코딩에 대한 AEX 17 회 국제 회의에서 칼하인즈 브랜데버그에 의해 설명된 "MP3 및, AAC 설명"에 개시되고; 그리고 1996 년 101 회 AES 회의에서 AES 프리프린트 4382 에 보시 등에 의해 설명된 "ISO/IEC MPEG-2 어드밴스드 오디오 코딩"에 설명되어 있다.

돌비 엔코더, MPEG 엔코더 및, 다른 것들을 포함하는 다양한 지각 코더에 대한 개관은 1997 년 1 월/2 월에 오디오 엔지니어링 소사이어티 제 45 권 제 1/2 호에서 칼하인즈 브랜덴버그와 마리나 보시 J 에 의해 게재된 "MPEG 오디오에 대한 개관: 저 비트 비율의 오디오 코딩에 대한 현재와 미래의 표준"에 개시되어 있다.

지각 코딩 파라메터에 대한 특정한 디폴트 값은 입력 신호의 특징에 기초한 코딩 시스템에 의해서 일반적으로 선택된다. 그러나, 지각 편차를 가지지 않는 디코드된 신호를 발생하는 코딩 파라메터 값을 선택하는 하나 이상의 방법이 항상 존재하며 코딩 파라메터 값에서의 그러한 변화는 검출가능하지만 지각될 수 없는 편차를 가진 디코드된 신호를 초래할 수 있다. 지각 불가능성은 인간의 지각에 관련된 것이지만 검출성은 인간이 아닌 검출기의 능력에 기초한 점이라는 것을 주목해야 한다.

부수 정보 또는 워터마크 검출기는 재생된(디코드된) 신호내에 포함되어 있는 삽입된(embedded) 정보를 회복한다. 예를 들면, 오디오 신호의 경우, 일부의 경우에 있어서 검출은 음향학적으로 이루어질 수 있는 반면에, 전자적인 검출은 다른 경우들에서 필요할 수 있다. 전자적인 검출은 디지탈 또는 아날로그 도메인(domain)일 수 있다. 디지탈 도메인내의 전자적인 검출은 디코드된 출력의 시간 또는 주파수 도메인일 수 있거나 또는 주파수 대 시간의 전환에 앞서서 디코더내에서의 주파수 도메인일 수 있다. 음향학적 처리 이후에 워터마크를 추출하는 것은 보다 어려운 도전으로 간주되는데, 이는 실내 노이즈의 부가, 스피커 및, 마이크의 특징 및, 전체적인 재생 볼륨 때문이다.

많은 실제적인 코딩 시스템은 부가된 노이즈를 주목할 만한 편차의 레벨 이하로 유지하는 요건을 만족하지 못한다. 지각 코딩 시스템에서의 지각의 요건은 종종 비트 레이트 목표 또는 복잡성의 한계를 총족시키도록 종종 완화된다. 이러한 경우들에 있어서, 비록 지각 코딩 동안에 부가된 노이즈가 지각될 수 있을지라도, 이미 지각 가능한 노이즈를 더 이상 지각 가능하지 않게 하는 코딩 파라메터들이 그에 대하여 변조될 수 있는 디폴트 값과 다른 값들이 있을 것 같다. 비록 파라메터의 변조가 지각된 노이즈에서 실질적으로 지각 가능한 변화를 초래할 수 있을지라도, 그럼에도 불구하고 디코드된 신호에서 검출 가능한 변화를 초래할 수 있다.

바람직스럽게는, 본 발명의 일 특징에 따라서, 하나 또는 그 이상의 파라메터들이 변조됨으로써 변조의 효과가 주파수 스펙트럼의 전체 또는 부분에 있어서 단지 주목할만한 편차의 레벨에 근접하게, 그러나 그 이하로 지각 코딩에 의해 부가된 노이즈 및, 왜곡을 야기한다 ("왜곡"은, 이러한 경우에 있어서, 코드된 신호와 오리지날 신호 사이의 편차이며 들을 수 있는 산물을 초래하거나 또는 초래하지 않을 수 있다). 따라서, 마스킹 쓰레숄드를 초과하지 않고 그리고 지각 가능한 손상을 만들지 않으면서 하나 또는 그 이상의 파라메터들을 변조하는 결과적인 효과를 제거하거나 또는 모호하게 하는 것은 곤란할 것이다. 다른 한편, 공격이 마스킹 쓰레숄드 아래에 있다면, 파라메터 변조의 효과 부분은 아마도 유지될 것이다.

상기에서 제안된 바로서, 본 발명의 특징은 노이즈 및, 왜곡이 단지 주목할만한 편차의 레벨 아래에 있도록 엔코더가 주 소스 신호를 엔코드시키지 않을때 채용될 수 있다. 이러한 경우에, 소스 신호는 그것이 소스에 대하여 손상되는 방식으로 엔코드되며, 파라메터 변조는 검출의 관점과 상이하지만 실질적으로 같은 지각성(perceptibility)을 가진 디코드 신호로 손상을 도입한다. 이전의 경우에서와 같이, 손상을 과장하지 않거나 또는 커다란 정도의 지각성을 가진 부가적인 손상을 도입시키지 않으면서 디코드된 신호에서 결과적인 변조의 효과를 제거하거나 또는 모호하게 하는 것은 어려울 것이다.

본 발명의 접근 방식은 지각 엔코딩 이전에 워터마크를 적용하는 기술과는 근본적으로 상이하다. 이러한 기술에 있어서, 비록 코딩 시스템은 워터마크를 전달하기에 충분한 코딩 마진을 구비할 수 있을지라도, 이전의 워터마크를 전달하도록 선택된 특정의 방법이 지각 코딩 시스템의 코딩 마진의 위치와 일치하는지의 보장이 없다. 그러한 이전의 시스템들이 독립적으로 작동하기 때문에, 때로는 나쁘게 상호 작용할 수 있어서, 지각의 손상을 도입하게 하거나 또는 워터마크가 모호하게 한다.

위에서 언급된 바와 같이, 지각 엔코더는 지각의 여분 정보를 제거함으로써 입력 신호의 데이타 비율을 감소시킨다. 예를 들면, 일정 데이타 비율 엔코더는 고정된 비율의 입력 정보를 보다 낮은 고정 비율의 정보로 감소시킨다. 이러한 데이타 감소의 부분은, 엔코더 출력이 최종의 고정 정보 크기를 초과하지 않는 것을 보장하는 "비율 조절"로서 특징지워진 함수를 때때로 필요로 한다. 비율 제어(ratecontrol)는 그것이 최종의 엔코드된 크기를 달성할때까지 정보를 감소시킨다.

일부 지각 엔코더에 있어서, 왜곡의 측정은 올바른 정보가 폐기되는 것을 보장하도록 비율 제어와 짝을 이룬다. 왜곡 측정은 오리지날 입력 신호를 엔코드된 신호(비율 제어의 출력)와 비교한다. 왜곡 측정은 비율 조절 과정의 결과를 변화시키도록 코딩 파라메터를 제어하는데 사용될 수 있다.

본 발명의 왜곡 비율 제어는 삽입된 신호의 강도를 최대화하고 지각성을 최소화하면서 지각 엔코더내에 워터마크를 삽입하는 방법의 문제를 해결하는 것이다. 일 실시예에서, 본 발명은 사용자가 워터마크 작용 삽입 과정에서 파라메터를 조절함으로써 삽입된 신호의 강도 또는 에너지를 선택할 수 있게 한다.

파라메터 변조에 더하여, 본 발명의 특징은 파라메터 변조의 특정한 면을 변화시켜서, 결과적인 워터마크의 특징을 변화시키는 결정론적인 시퀀스와 같은 한 세트의 명령을 채용한다. 결정론적인 시퀀스는 수학적인 과정에 의해서 발생되는데, 이것은 정의 방정식(생성 방정식)과 초기 상태(키이(key))가 주어져서 계산된 이진수 1 과 제로의 시퀀스를 발생시킨다. 결정론적인 시퀀스를 채용하는 본 발명의 다수의 다른 특징들이 개시된다. 이러한 기술들은 워터마크의 지각 불가능성을 향상시킬 수 있으며 또한 워터마크의 강력함을 향상시킬 수 있는데, 이것은 지각 불가능성을 향상시키는 다른 많은 기술들이 강력함을 저하시키는 경향이 있는 것만큼 흥미롭고 유용한 것이다. 마지막으로, 이러한 기술들은 시스템의 강력성을 희생시키지 않으면서 (결정론적인 시퀀스 키이를 제외하고) 워터마크 시스템의 모든 특징을 드러낼 수 있다는 점에서 보안을 향상시킬 수 있다.

본 발명의 결정론적인 시퀀스는 하나 또는 그 이상의 다음의 작용을 포함할 수 있다.

파라메터 변조 추이의 비율과, 결과적으로 워터마크 심볼 추이의 비율을 수정하도록 결정론적인 시퀀스를 사용함. (아래의 표 1 참조)

변조를 위한 파라메터를 선택하도록 결정론적인 시퀀스를 사용함( 아래의 표 2 참조).

변조를 위한 파라메터의 선택이 변화하는 비율을 수정하도록 결정론적인 시퀀스를 사용함 (아래의 표 3 참조).

더욱이, 본 발명의 다른 특징은 파라메터의 변조 및/또는 변조를 위한 파라메터의 선택을 제어하도록 소스 신호의 특징을 사용하는 작용을 포함한다. 본 발명의 소스 신호 응답성의 특징은 하나 또는 그 이상의 다음의 작용을 포함할 수 있다.

파라메터 변조의 비율 및, 결국 워터마크 심볼 추이 비율을 변화 가능하게 수정하도록 소스 신호의 특징을 사용함 (아래의 표 4 의 a 부분을 참조).

변조를 위한 파라메터의 선택이 변화하는 비율을 변화 가능하게 수정하도록 소스 신호의 특징을 사용함 (아래의 표 4 의 b 부분을 참조).

변조를 위한 파라메터의 이용 가능한 세트에서 파라메터의 수를 변화 가능하게 수정하도록 소스 신호의 특징을 사용함 (아래의 표 5 참조).

아래에 더 설명된 바와 같이, 소스 신호의 특징과 결정론적인 시퀀스는 본 발명의 다른 특징에 따른 변조 파라메터들과 관련하여 사용될 수 있다. 아래의 표6, 7, 8 참조.

발명의 일부 실시를 위해서, 지각 디코더 출력에서의 워터마크 검출은 엔코더에 적용된 기본 정보에 대한 접근을 요구할 것이다. 발명의 일부 다른 실시에 있어서, 워터마크 검출은 검출에서의 커다란 복잡성을 무릅쓰면서 오리지날 기본 정보에 접근하지 않아도 수행될 수 있다.

신호들이 청중에게 전달되는 지점에 고유하거나 또는 "일련 순서로 된" (예를 들면 일련 번호) 워터마크를 적용하는 것이 종종 바람직스럽다. 본 발명의 다른 특징에 따르면, 부수 정보 또는 워터마크는 지각 디코딩 과정에서 삽입된다. 하나 또는 그 이상의 파라메터들은 역의 양자화(quantization) 이전에 디코더내에서 변조된다.

디코더 파라메터 변조 과정에 의해서 부가된 노이즈 또는 왜곡이 지각 쓰레숄드를 초과하지 않는다면 지각 불가능성은 유지될 수 있다. 워터마크를 디코딩 과정의 일부로서 지각 불가능하게 삽입하기 위하여, 지각 쓰레숄드가 사용된다. 많은 지각 코더들이 지각 모델들을 엔코딩 과정으로부터 디코딩 과정으로 일부의 형태 또는 다른 형태로 전달하지만, 다른 코더들은 지각 쓰레숄드의 단지 근사하거나 또는 대략적인 표시만을 제공한다. 가장 정확한 지각 쓰레숄드는 양자화되지 않은, 소스 스펙트럼 계수로부터 유도되지만, 데이타 비율 증가는 그러한 데이타가 디코더로 전달된다면 현저하다. 이와는 달리, 지각 코딩 시스템에서 디코더에 제공된 지각 쓰레숄드는 가수(mantissa)의 익스포넌트일 수 있으며, 여기에서 익스포넌트는 (돌비 디지탈 시스템에서와 같이) 임계 대역내의 최대 에너지를 가진 정보 샘플을 나타낸다. 디코더에서 지각 쓰레숄드의 정확성을 향상시키기 위하여, 익스포넨트는 밴드내에서의 최대 에너지 대신에 밴드내에서의 샘플 에너지의 평균에 기초한 엔코더로부터 전달될 수 있다.

비록 디코더내의 변조 파라메터가 엔코더내의 변조 파라메터와 많은 면에서 유사할지라도, 융통성은 적다. 예를 들면, 디코딩 시스템에서 하나 또는 그 이상의 파라메터를 변조하는 것은 코딩 파라메터에 기초한 비트 할당 정보를 다시 포뮬레이션(formulation)할때 주의가 기울여질 것을 요구할 수 있다. 더욱이, 디코더에서의 파라메터 변조의 효과를 지각 불가능하게 하는 것은 보다 곤란하다. 그 이유는, 적어도 이상적인 엔코더의 경우에 있어서, 엔코딩 과정은 지각성의 쓰레숄드에 이르기까지 양자화 에러를 이미 부가하였기 때문이다. 그러나, 예를 들면 지각 모델에서의 불완전성, 포지티브의 신호 대 노이즈 비율 오프셋, 또는 신호 조건들에 기인하여 코딩 마진이 존재할 수 있으므로, 항상 그러한 경우만 있는 것은 아니다.

도 2 는 본 발명의 기본 원리를 나타내는 함수 블록 다이아그램이다. 지각 엔코더 함수(2)와 지각 디코더 함수(4)는 지각 코딩 시스템을 구비한다. 오디오 또는 비디오 정보와 같은 주 정보는 지각 엔코더 함수(2)에 적용된다. 엔코더 함수(2)는 지각 디코더 함수(4)에 의해서 수신된 디지탈 비트스트림을 발생시킨다. 엔코더 함수 및/또는 디코더 함수내의 하나 또는 그 이상의 변수들은 부수 정보 (예를 들면 워터마크 신호 또는 시퀀스에 응답하여 변조된다. 부수 정보는 엔코더 함수 또는 디코더 함수 또는 그 모두에 적용될 수 있으므로, 쇄선들은 부수 정보로부터 엔코더 함수 및, 디코더 함수로 각각 도시되어 있다. 지각 디코더 함수의 출력은 삽입된 부수 정보를 가진 기본 정보이다. 부수 정보는 디코더 함수 출력에서 검출될 수 있다.

부수 정보가 엔코더 함수(2)와 디코더 함수(4)에 모두 적용되면, 통상적으로, 하나에 적용된 정보는 다른 것에 적용된 것과 상이할 것이다. 예를 들면, 하나 또는 그 이상의 엔코더 함수 변수를 제어하는 부수 정보는 오디오 또는 비디오 콘텐츠의 소유자를 식별하는 워터마크일 수 있으며 하나 또는 그 이상의 디코더 함수파라메터를 제어하는 부수 정보는 오디오 또는 비이도 콘텐트를 하나 또는 그 이상의 소비자에게 나타내는 장비를 식별하는 일련 번호일 수 있다. 통상적으로, 부수 정보는 엔코더 함수와 디코더 함수에 상이한 시간에서 적용된다.

도 3 내지 도 5 는 디코더 함수의 출력에서 부수 정보를 검출하는 검출기 함수를 구비하는, 본 발명의 특징에 따른 기본 원리를 도시하는 함수 블록 다이아그램이다. 검출은 디코더 함수 출력의 디지탈 도메인 또는 아날로그 도메인 (전기적인 또는 음향학적인)에서 수행될 수 있다. 검출은 디코딩 후에, 그러나 주파수 도메인에서 시간 도메인으로 변환하기 이전에 디코더 함수의 디지탈 도메인내에서 수행될 수 있다.

도 3a 는, 디코더 함수의 출력에서 부수 정보를 검출하는 디코더 함수(4)의 출력을 수신하는 검출기 함수(6)를 구비한 것이라는 점을 제외하고는 도 2 의 것과 같다. 검출기 함수(6)의 출력은 부수 정보이다. 도 4 는 디코더 함수(4)의 출력뿐만 아니라, 엔코더 함수에 적용된 동일한 주 정보도 수신하는 검출기 함수(8)를 구비한다는 점을 제외하고는 도 3a 와 같다. 검출기 함수(8)의 필수적인 기능은 출력으로서 부수 정보를 제공하기 위하여 엔코더 함수에 적용된 오리지날 입력 정보를 디코더 함수의 출력과 비교하는 것이다. 도 5 는 도 4 의 배치에 대한 변화이다. 도 5 에서는 도 4 에서와 마찬가지로, 검출기 함수(10)가 디코더 함수(4)의 출력과 엔코더 함수(2)에 적용된 주 정보를 수신한다. 그러나, 검출기 함수(10)는 검출기 함수(8)와 상이하며 비교기 함수(12)뿐만 아니라, 지각 엔코더 함수(14)와 지각 디코더 함수(16)를 구비한다. 엔코더 함수(14)는 그것의 파라메터가 변조되었다는 점을 제외하고는 엔코더 함수(2)와 같다. 디코더 함수(16)는 그것의 파라메터가 변조되었다는 점을 제외하고는 디코더 함수(4)와 같다. 따라서 디코더 출력에서의 부수 정보를 검출하는 작용은 다음의 작용들중 하나에 의해서 수행된다.

디코딩된 신호를 관찰하는 것,

디코딩된 신호를 엔코더 함수에 적용된 신호에 비교하는 것 및,

엔코더 함수 또는 디코더 함수내의 파라메터들이 부수 정보에 응답하여 변조되지 않는 실질적으로 동일한 지각 코딩 시스템으로부터의 디코딩된 신호에 디코딩된 신호를 비교하는 것.

도 3a의 검출 장치는, 대역폭 파라메터가 변조되는때와 같이 (변조되는 대역폭 파라메터는 이하에 보다 상세하게 설명된다) 파라메터 변조의 특정 유형의 효과를 검출하는데 가장 적절하다. 대부분의 파라메터를 변조하는 효과를 검출하기 위하여, 도 4 및, 도 5 의 배치에서와 같이, 엔코더에 적용된 주 정보를 디코더에 의해 제공된 삽입 부수 정보를 운반하는 주 정보와 비교할 필요가 있다. 도 5 의 장치는 보다 엄격한 비교를 가능하게 하는데, 이는 단지 비교된 정보들 사이의 편차들이 변조 파라메터에 의해서 야기된 것들이 되기 때문이다. 도 4 의 장치에 있어서, 편차는 지각 엔코딩과 디코딩 과정에 의해 도입될 수 있는 다른 효과를 포함한다.

도 3a 의 검출 장치는 지각 엔코더에 적용된 주 정보에 대한 접근을 필요로 하지 않기 때문에, 엔코더 및/또는 디코더 파라메터가 변조되는 것에 의존하여 실시간으로, 또는 실시간에 근접하게 수행될 수 있다. 예를 들면, 대역폭 파라메터를변조하는 것은 실시간 또는 실시간에 근접하게 디코더만을 분석함으로써 검출이 가능하게 할 수 있다. 특히, 도 3a 장치의 검출기 함수는 하나 또는 그 이상의 지연 함수를 구비할 수 있어서 디코더 함수(4)의 출력은 그 자체에 대하여 비교될 수 있다. 예를 들면, 도 3b 에 도시된 바와 같이, 검출기 함수(6)는 비교기 함수(12')와 하나 또는 그 이상의 지연 함수(7,7')등을 구비할 수 있음으로써, 디코딩된 신호를 관찰하는 작용은 디코딩된 신호를 자체의 시간 지연된 버젼(version)과 비교하는 것을 포함한다. 하나 또는 그 이상의 이전 블록으로부터의 에너지 상태는, 예를 들면 이후에 설명될 대역폭 변조 검출의 방식으로 심볼을 결정하도록 쓰레숄드를 사용하는 비교기 함수를 받게 되어 있다. 블록의 길이는 검출기에 의해서 알려져 있으며 동기화의 일부 형태는 기대되는 심볼 비율을 실제의 심볼 비율과 정렬하기 위하여 발생되어야 한다. 다른 파라메터의 변조는 실시간 또는 실시간에 근접한 검출을 허용하지 않을 수 있거나 또는 도 4 및, 도 5 의 장치에서 디코더 출력을 엔코더 입력 신호에 비교하는 것을 필요로 할 수 있다.

디코더 출력이 엔코더 입력에 비교되는 도 4 및, 도 5 에서와 같은 장치에 있어서, 입력과 출력 신호를 동기화하는 것이 중요하다. 어떤 파라메터 또는 파라케터들이 변조를 위해서 선택되었는가에 따라서 그리고 부수 정보 데이타 비율에 따라서, 이러한 신호들 사이에 높은 정도의 동기화를 제공할 필요가 있을 수 있다. 그렇게 하는 한가지 방법은 PRN 시퀀스와 같은 결정론적인 시퀀스를 주 신호내에 삽입함으로써 시퀀스가 디코더 출력내에 삽입되는 것이다. 입력 및, 출력 신호내에서의 시퀀스를 비교함으로써, 미세하게 세분된 동기화가 가능하다.

검출은 수동으로, 또는 일부의 경우에 있어서, 자동으로 이루어질 수 있다. 주 신호에서 PRN 시퀀스의 사용은 자동 검출을 용이하게 할 수 있다. 수동으로 이루어진다면, 비교된 신호의 스펙트럼 분석과 같은 시각적 보조가 채용될 수 있다.

워터마크를 삽입하도록 변조될 수 있는 코딩 파라메터의 일부 예들은 몇 개의 표에 개시되어 있다. 도 6 에 도시된 제 1 의 표 (돌비 오디오 코더 파라메터), 도 7 에 도시된 제 2 의 표 (MPEG 오디오 코더 파라메터), 도 8 에 도시된 제 3 의 표 (MPEG 비디오 코더 파라메터)들이 그것이다. 파라메터의 각 카테고리에 대해서 (예를 들면 "마스킹 모델 및, 비트 할당"), 만약 파라메터(들)가 변조되었을때 파라메터(들)가 엔코더 및/또는 디코더내에서의 변조 및, 디코딩된 신호에서의 워터마크의 신호 특성에서의 결과적인 변화를 받아들일 수 있다면, 각각의 표는 파라메터의 유형 (예를 들면, "SNR 오프셋"), 특정의 파라메터(예를 들면, "csnroffst", "fsnroffst" 등)를 나타낸다. 도 6 에 도시된 표의 제 1 열에는 6 개 카테고리의 파라메터가 있다. 마스킹 모델과 비트 할당, 채널 사이의 커플링, 주파수 대역폭, 디더 제어(dither control), 위상 관계 및, 시간/주파수 변형 윈도우가 그것이다. 제 1 의 테이블에 있어서, rematflg 가 "0" 이라면(엔코더에 재마트릭스화가 없다면) 디코딩중에 재마트릭스화(rematrixing)만이 수행될 수 있고 그리고 제 2 의 테이블에서 ms_used 가 "0" 이면 (M/S 코딩이 엔코더에 없으면) M/S 코딩만이 디코딩 동안에 수행될 수 있다.

파라메터의 유형이 하나 또는 그 이상의 파라메터를 코딩 시스템에서 가지는 경우에, 각각의 파라메터에 대하여 인정된 생략이 괄호안에 도시되어 있다. 따라서, 예를 들면, 파라메터의 "SNR 오프셋" 유형은 돌비 디지탈에서 4 개의 파라메터를 포함한다. "csnroffst (거친 SNR 오프셋), "fsnroffst"(채널 파인(channel fine) SNR 오프셋), "cplfsnroffst" (커플링 파인 SNR 오프셋) 및, "lfesfsnroffst" (저 주파수 효과 채널 파인 SNR 오프셋)이 그것들이다. 상기의 것들과 다른 돌비 디지탈 코딩 파라메터들은 위에서 인용된 A/52 문헌에 더 설명되어 있다. 대부분의 나열된 돌비 오디오 코더 파라메터들은 돌비 디지탈 및, 돌비 E 코딩 시스템에 공통적이며, 따라서 A/52 문헌에 설명되는 반면에, 조금만이 돌비 E 코딩 시스템(예를 들면 백 이득 코드(백게인(backgain) 및, 백 디케이(decay) 코드(백리이크(backleak))에 대해서 특이하다. 백게인 및, 백리이크에 대한 다른 정보는 아래에 제공된다.

도 7 에 도시된 표의 제 1 칼럼에 있어서, 4 개 카테고리의 파라메터가 들이 있다. 마스킹 모델과 비트 할당, 채널들 사이의 커플링, 일시적인 노이즈 구체화 필터 계수들 및, 시간/주파수 변형 윈도우들이 그것이다. 마찬가지로, 도 8 에 도시된 표의 제 1 열에는, 2 개 카테고리의 파라메터들이 있는데, 이것은 프레임 유형과 운동 제어이다. 나열된 MPEG 오디오 코더와 비디오 코더 파라메터들에 관한 다른 정보는 상기에 인용된 ISO/IEC 서류, MPEG-2 AAC 논문 및, 다른 간행된 MPEG 서류에 개시되어 있다. 본 발명의 특징들은 돌비 및, MPEG 지각 코딩 시스템뿐만 아니라, 엔코더 및/또는 디코더내의 변수들이 변조될 수 있는 다른 지각 코딩 시스템에도 적용될 수 있다. 다른 지각 코더의 예들은 브랜든버그 및, 보시(J. 오디오 엔지니어링 소사이어티. 1997)에 의해 상기 언급된 저널에 설명되어 있다.

지각의 가청 모델 파라메터의 변조

돌비 디지탈과 돌비 E 와 같은, 지각 오디오 코딩 시스템에서, 지각 가청 모델 또는 마스킹 모델을 나타내며 비트 할당 과정에서 사용되는 파라메터들이 있다. 특히, 특정의 파라메터들은 인간의 귀의 마스킹 곡선을 스펙트럼으로 모델화하는데, 이것은 주파수에 대하여 가파르게 붕괴하는 상방향의 마스킹 곡선과 주파수에 대하여 점진적으로 붕괴하는 상방향 마스킹 곡선이다. 이들은 도 9 에 개략적으로 도시되어 있다. 비록 스펙트럼의 마스킹이 주파수 도메인 개념일지라도, 이러한 마스킹 파라메터에 대한 표준의 명명은 시간 도메인 용어(예를 들면 "느린" 그리고 "신속한")를 채용한다.

도 9 를 참조하면, 스펙트럼 마스킹 모델에 대응하는 코딩 파라메터 요소들은 다음과 같은 마스킹 신호와 관련하여 그들의 레벨 및, 경사(이득 및, 누설)에 의해서 한정된다.

하방향 마스킹 곡선: 백개인/백리이크

상방향 마스킹 곡선(신속):패스트게인(fastgain)/패스트리이크(fastleak)

상방향 마스킹 곡선(느림):슬로우게인(slowgain)/슬로우리이크(slowleak)

백게인 및, 백리이크는 돌비 E 코딩에서 특정된 변수들이지만, 돌비 디지탈 코딩에서 특정된 변수가 아니라는 점을 주목하라. 돌비 디지탈에 있어서, 상기 인용된 A/52 서류에서 설명된 바와 같이, 패스트게인 파라메터들은 신속한 이득 코드들(fgaincod, cplfgaincod 및, lfegaincod) 들이다. 패스트리이크 파라메터들은 신속한 디케이 코드(fdcycod 및, cplfleak)들이다. 슬로우게인 파라메터들은 느린 게인 코드(sgaincod)들이다. 슬로우리이크 파라메터들은 느린 붕괴 코드(sdycod 및, clpsleak)들이다.

상기에서 한정된 각 파라메터들은 지각 코딩 동안에 워터마크를 전달하기 위하여 변조에 적절하다. 그들중 어느 하나라도 변조하는 것은 스펙트럼 마스킹 모델을 약간 변경시키며 따라서 비트 할당 과정에 영향을 미친다. 따라서, 마스킹 모델 파라메터는 워터마크를 강하게 만들기 위하여 주 입력 신호와 단단하게 결합된다. 도 10 은 변조될 수 있는 스펙트럼 마스킹 모델의 파라메터에 대한 예시를 제공한다.

돌비 디지탈 및, 돌비 E 코딩 시스템에서의 특정한 다른 파라메터들은 전체적인 신호-대-노이즈 비율(SNR)을 제어한다. 돌비 디지탈에서 이러한 파라메터들은 SNR 오프셋 파라메터들이다. csnroffst, fsnroffst, cplfsnroffst 및, lfesfsnroffst 들이 그것이다. SNR 파라메터는 신호와 양자화 노이즈 사이에서 신호-대-노이즈 헤드룸(headroom)의 소망하는 최소 레벨을 유지하도록 존재한다. 기본적으로 마스킹 신호에 대하여 스펙트럼의 단지 일부에만 영향을 미치는 스펙트럼 마스킹 모델 파라메터와는 달리, 상기 파라메터들은 전체적인 스펙트럼에 균일하게 영향을 미친다.

다른 파라메터들은 임계 밴드에 기초하여 미세한 SNR 조절로서 작용하는데, "밴드 SNR" 또는 델타 비트 할당으로 지칭된다. 즉, 돌비 디지탈 코딩에서 deltba 및, cpldeltba 가 그것이다.

도 11a 내지 도 11c 와 도 12a 내지 도 12c 는 지각 코딩 시스템의 마스킹쓰레숄드를 변조하는 것(도 11a 의 SNR 오프셋의 변조 및, 도 12a 에서 신속한 이득 코드의 변조), 코딩 시스템이 비트 제한되었을때의 변조의 결과적인 효과 (도 11b 및, 도 12b), 그리고 코딩 시스템이 비트 제한되지 않았을때의 변조의 결과적인 효과 (도 11c 및, 도 12c)의 예시를 제공한다. 도 11d 는 도 11a 내지 도 11c 와 도 12a 내지 도 12c 에 채용된 예를 식별한다. 코더가 같은 길이를 가진 코드화된 블록을 만드는데 제한될때 비트의 제한이 발생하는데, 이것은 많은 전달 채널의 요건이다. 코더가 블록으로부터 블록으로 비트의 수를 변화시킬때, 신호를 나타내도록 사용된 비트의 수에 대한 효과적인 제한이 없다. (도 11b 및, 도 12b에 ) 도시된 바와 같이, 비트 제한된 코더에서는, 디코드된 신호의 양자화기 에러가 모든 주파수에서 마스킹 쓰레숄드와 정확하게 맞지를 않는다. 필요한 비트들보다 많은 것이 존재하여 (쓰레숄드와 디코드된 신호 사이의 갭), 일부 주파수에서 마스킹 쓰레숄드와 오리지날 양자화기 에러 사이에 양의 마진을 초래한다는 것을 실례들이 나타낸다. 비트의 제한이 없으면, 코더는 주파수 대역을 통해서 양자화기 에러를 마스킹 쓰레숄드에 정확하게 맞출 수 있다. 디폴트 파라메터 값에 대해서, 의도된 워터마크 심볼은 "0"의 비트 값일 수 있다. 변조된 파라메터 값에 대해서는, 의도된 심볼이 이러한 예에서와 같이 "1"의 비트 값일 수 있다. 도 11a 및, 도 12a 는 변조 이전과 이후의 마스킹 쓰레숄드를 나타낸다. 도 11b, 도 11c, 도 12b 및, 도 12c 는 결과적인 디코드된 신호를 나타낸다. 변조된 마스킹 쓰레숄드는 변조된 디코드 신호 스펙트럼과의 비교를 제공하도록 도 11/12b 와 11c/12c 에서 중첩되어 있다. 도 11d 는 도 11a 내지 도 11c 와 도 12a 내지 도 12c 에 채용된 범례를 도시한다.

비-마스킹(non-masking) 파라메터의 변조

도 13 및, 도 14 는 돌비 코더(coder)에서 마스킹 파라메터가 아닌 파라메터를 변조함으로써 초래되는 신호 특징들의 예시를 제공한다. 각 도면에서, 신호 특징들은 디폴트 파라메터 값과 변조된 파라메터 값을 사용하여 도시된다. 도 13 에 있어서, 커플링 변수들을 변조하는 효과들이 도시되어 있다. 수평의 축상에 표시된, 시간내의 각 블록에 대해서, 좌측과 우측으로 표시된 두개의 채널이 도시되어 있다. 사용 플래그(use flag)에서의 커플링이 "0"일때, 각 채널은 독립적으로 처리된다. 사용 플래그에서의 커플링이 "1" 일때, cplbegf 파라메터에 의해서 표시된 특정의 주파수 이상에서는 두개의 채널이 단일의 커플링 채널로 조합된다. 사용 플래그에서의 커플링에 더하여, 커플링 개시 주파수도 변조될 수 있는데, 이것은 도 13 에 도시되어 있다.

도 14 에 있어서, 위상 플래그를 변조하는 효과들이 도시되어 있다. 위상 플래그가 "0"과 같을때, 위상은 수정되지 않지만, 플래그가 "1" 이면, 신호의 위상은 180 도로 변화된다.

TDAC 윈도우 파라메터의 변조

위에서 설명된 바와 같이, 지각 엔코더들은 지각상 여분의 정보를 제거함으로써 입력 신호의 데이타 비율을 감소시킨다. 이러한 시스템들은 입력 신호를 하나 또는 그 이상의 성분들로 분해함으로써 시작되며, 양자화된(quantized) 성분들이 디코드된 이후에 소스와 코드화된 재료 사이의 차이가 지각될 수 없도록 하기 위하여 (또는 허용 가능한 지각의 레벨을 달성하게 하기 위하여) 각각의 상기 성분들이 어느 정도의 정확성을 필요로 하는지를 결정하는 지각 분석을 사용한다. 그러한 시스템의 한 예는 변형 코더인데 이것은 일시적인 샘플을 시간-도메인 가명화 소거(time-domain aliasing cancellation; TDAC) 변형을 사용하여 주파수에 기초한 표시로 전환한다. 완전한 재구성을 보장하기 위하여, 시간 도메인 샘플들은 변형 이전에 중첩 윈도우를 사용하여 처리된다. 변형 이후에, 주파수 샘플들은 데이타 비율을 감소시키는 방식으로 양자화되고 엔코드되며 디코드시에 지각상 무의미한 것이다. 디코더에서의 역 변형 과정 이후에 완전한 재구성을 유지하도록, 시간-도메인 샘플들은 엔코더에서 사용되었던 것들과 정합되는 파라메터를 사용하여 윈도우되고, 중첩되며, 부가된다. 일반적으로, 엔코드와 디코드 윈도우에 대한 윈도우 파라메터들은, 순방향 및, 역방향의 TDAC 변형중에 그것들이 부가될때, 가명화가 최소화되거나 도는 제거되도록 선택된다. TDAC 변형을 사용하는 변형 코딩에 대한 상세한 내용은 1986 년 10 월, 음향, 연설 및, 신호 처리 Vol. ASSP-34, No. 5, pp.1153-1161 에서 프린슨과 브래들리 IEEE Trans 에 의한 "시간 도메인 가명화 소거에 기초한 분석/종합 필터 뱅크 디자인 "에 개시되어 있으며, 1987 년 4 월에 달라스 텍사스에서 음향, 연설 및, 신호 처리에 관하여 프로시이딩:ICASSP 87, 1987 Intl. Conf. pp 2161-2164 에서 프린슨 등에 의하여 "시간 도메인 가명화 소거에 기초하여 필터 뱅크 디자인을 사용하는 서브밴드/변형 코딩"에 개시되어 있다.

워터마크는 변형된 신호의 구성 또는 재구성에서 사용되는 시간-도메인 윈도우의 파라메터를 변조함으로써 적용될 수 있다. 예를 들면, 엔코딩과 디코딩 동안에 사용되는 시간-도메인 윈도우의 슬로프(slope), 또는 알파(α) 사이의 부정합은 임계 샘플링된 변형을 사용할때 시간-도메인 가명화를 초래한다. 이러한 가명화는 시간 및, 주파수 도메인 양쪽에서 특이한 노이즈 또는 왜곡을 초래한다. 따라서, 엔코더 또는 디코더에 있어서, 윈도우 파라메터는 엔코더 출력에서 검출될 수 있는 워터마크를 전달하도록 변조도리 수 있다. 이러한 의미에서, 왜곡은 코드화된 신호와 오리지날 신호 사이의 차이로서 정의되며, 가청의 산물을 초래할 수 있거나 또는 초래하지 않을 수 있다. 바람직한 구현예에 있어서, 시간-도메인 윈도우의 알파(슬로프) 값은 변조된다. 지각될 수 없지만 소스 신호와 관련되고 그에 의해서 은폐된 노이즈 또는 왜곡 신호를 도입함으로써, 지각 가능한 손상을 만들지 않으면서 결과적인 워터마크를 제거하거나 또는 모호하게 하는 것은 극히 어렵다.

워터마크를 전달하기 위하여 변화될 수 있는 시간-도메인 윈도우의 다른 파라메터는 윈도우 자체의 유형이다. 예를 들면, 카이저-베셀 한정(Kaiser-Bessel Defined) 윈도우가 사용되어 "0"의 워터마크 비트를 삽입할 수 있는 반면에, 해닝(Hanning)윈도우가 사용되어 1 의 워터마크 비트를 삽입할 수 있다. 변조된 윈도우 변화는 엔코더 또는 디코더에서 이루어질 수 있다.

더욱이, 검출성을 향상시키고 지각성을 최소화시키기 위하여, 윈도우 파라메터는 신호 특징에 따라서 시간에 대어 적합하게 변조될 수 있다. 예를 들면, 일시적인 신호들은 워터마크 신호를 모호하게 할 수 있으며, 따라서 사이코어코스틱(psychoacoustic)의 일시적인 마스킹 효과를 이용하도록 워터마크 신호의 위치를 다시 위치시키기 위하여 상기 신호들을 검출하고 그리고 윈도우를변조할 수 있는 것이 유리하다. 더욱이, 변조의 강도 및, 결국 디코드된 신호의 워터마크 신호 강도는 소스 신호 특징에 따라서 적합하게 변조될 수 있다. 윈도우 파라메터가 부정합된 양은 부가된 왜곡의 강도에 직접적으로 영향을 미친다. 따라서, 입력 신호의 사이코어코스틱 마스킹 특징은 워터마크 심볼에 대한 부정합의 양을 변화시키도록 워터마크 삽입 과정에 신호를 보내게끔 분석되어 사용될 수 있음으로써, 이것은 신호 콘텐츠에 의해서 최대한으로 마스크된다.

직접 형태의 순행 TDAC 변형 방정식은 다음과 같다.

여기에서 n = 샘플 번호,

k = 주파수 빈(bin) 번호

x(n) = 입력 PCM 시퀀스

w(n) = 윈도우 시퀀스

X(k) = 출력 변형 계수 시퀀스

N = 변형에서의 전체 샘플 수

n0 = 변형에서의 전체 샘플 수의 절반

카이저-베셀 한정(KBD) 윈도우를 사용하는 TDAC 변형 윈도우 시퀀스들은 다음의 방정식에 의해서 한정될 수 있다.

여기에서 WKB 는 카이저 베셀 커넬(Kaiser Bessel kernel) 윈도우 함수이며,

으로서 한정되고, I_o는 0 번째 베셀 함수로서

으로서 한정된다.

도 15 는 길이 256 의 5 번 중첩하는 엔코더 윈도우를 나타낸다. 워터마크는 윈도우 번호 5 에 대해서 α=4 의 값을 사용함으로써 엔코딩 위상내에 삽입된다. 윈도우 4 와 6 은, 일련의 α=3 의 윈도우와 α=4 의 윈도우 사이에 매끄러운 천이를 제공하도록, α=3 과 α=4 의 조합을 사용하는 혼성의 윈도우라는 점을 주목하여야 한다. 도면에 있어서, 디코더 윈도우는 모든 변형에 대해서 α=3 의 윈도우를 이행한다. 이러한 윈도우 유형에서의 부정합은 시간-도메인 가명화 산물을 결과적인 출력 신호내에 도입시킨다. 디코드된 오디오 안으로 도입된 시간-도메인 가명화의 양은 엔코더 α 값(α=4)과 디코더 α값 (α=3)이 증가함에 따라서 증가하며, 엔코더의 윈도우 번호 5 에 의해서 처리되었던 오디오의 부분에서만 존재한다. 이러한 α 의 변경 방법은 워터마크 신호를 전달하기 위하여 디코더가 수정될 필요가 없으며 신호의 분배 소스에서 워터마크 작용을 위해서 유용하다.

도 16 은 다시 길이 256 인 5 개의 중첩되는 윈도우를 도시하지만, 이러한 예에서, α 윈도우의 값은 디코딩 과정 동안에 역의 TDAC 변형 윈도우와 함께 변경된다. 다시, 시간-도메인 가명화가 발생하여, 워터마크 신호를 디코드 신호 안으로 주입한다. 그러나, 이러한 예에서, 삽입 신호는 디코더에서 주입되어, 워터마크 정보가 특정의 최종 사용자 또는 장치를 위해 도입될 수 있다. 이러한 α 수정은 디코더가 일련의 정보를 신호 데이타로 삽입될 수 있게 한다.

워터마크를 적용할때 보다 짧은 변형 윈도우를 사용하는 것이 유리할 수 있는데, 이는 그것들이 가명화 왜곡의 지속을 감소시키고 그리고 일시적인 조건 동안에 (오디오 코딩에서) 전체적으로 사용되기 때문이다. 일시적인 신호에 대한 일시적인 마스킹 특징들은 알파의 값을 사용하도록 이용될 수 있는데, 이것은 "올바른" 값과 크게 상이하여 보다 강력한 워터마크를 산출한다.

TDAC 윈도우 변조 검출기

TDAC 윈도우의 알파 값을 변조시킴으로써, 시간-도메인 가명화 신호는 코드화된 신호에 관련되어 도입된다. 이러한 가명화는 코드화된 신호의 스펙트럼 성분에 대한 스펙트럼 노이즈 또는 왜곡의 도입으로서 측정될 수 있다.

하나의 가능한 검출 방법은 도 4 및, 도 5 배치의 방식에서와 같이 소스 자료와 워터마크 데이타 사이에서 편차를 비교할 수 있다. 이러한 방법은 워터마크 수정 윈도우가 사용되었던 경우에 스펙트럼 왜곡에 대한 편차 신호를 찾게 된다.만약 스펙트럼 왜곡이 쓰레숄드를 초과한다면, 이것은 데이타의 워터마크 부분에 대한 '1'의 심볼로서 표시될 것이다. 쓰레숄드 이하의 스펙트럼 왜곡은 '0' 의 심볼로서 검출될 것이다.

이러한 방법은 워터마크 신호에 마스크로 가리도록 도입될 수 있는 넓은 대역의 노이즈에 대하여 민감하다. 다른 검출 방법은 워터마크 작용의 적용에서 시간-도메인 가명화에 의해서 도입된 스펙트럼 피크 이전과 이후에 워터마크 신호의 스펙트럼 피크(peak)를 추적하고 주파수 빈(bins)의 진폭 변조를 찾는 것이다.

이하에 설명될 일반적인 스펙트럼 왜곡 방법과 유사하게, 이러한 검출 방법은 우세한 스펙트럼 성분들을 둘러싸는 주파수 빈을 쓰레숄드와 비교하게 될 것이다. 그러나, 이러한 쓰레숄드는 소스 신호의 스펙트럼 성분의 강도와 관련될 것이다. 쓰레숄드 이하의 스펙트럼 사이드 로브는 '0' 심볼로서 해석될 것이며 그 이상의 스펙트럼 사이드 로브는 '1' 심볼로서 해석될 것이다.

TNS 필터 계수들의 변조

일시적인 노이즈 형상화(shaping)는 지각 오디오 코딩에서 프리 에코우(pre-echo)의 산물을 방지하는데 도움을 줄 수 있는 코딩 기술이다. 1996 년 11 월 8 일부터 11 일 까지, 101 회 AES(오디오 엔지니어링 소사이어티) 콘벤션 프리프린트 4384 에서, 주겐 헤어와 제임스 존스톤은 "일시적인 노이즈 형상화(TNS) 에 의한 지각 오디오 코더의 성능을 향상시키는법"에 대해서 기술하고 있다. 주파수 도메인에서 예측 코딩은 시간 도메인내의 양자화 노이즈를 형상화(shape)하는데 사용된다. 예측은 양자화 노이즈가 시간 도메인내에 배치된 경우에 제어를 도울 수 있다.오디오 코딩의 경우에 있어서, 노이즈는 프리 에코(pre-echo)를 방지하도록 시간 도메인 마스크 신호의 진폭 엔벨로프내에 제한된다. 오디오 코딩의 경우에 있어서, 노이즈는 프리 에코우를 방지하는 것을 돕도록 시간-도메인 마스킹 신호 신호의 진폭 엔벨로프내에 제한된다. 프리 에코우는 일시적인 조건에서 발생하는 산물로서, 적용된 시간 주파수 변형이 출력 신호에서의 과도 현상 이전에 양자화 노이즈가 발생하는 것을 방지하기에 충분한 시간 분해능을 가지지 않을때 그러하다.

비록 일시적인 노이즈 형상화(TNS)가 MPEG-2 AAC 지각 코딩 시스템의 특징일지라도, 이것은 돌비 디지탈과 같은 다른 시스템에 적용될 수 있으며, 따라서 그러한 다른 시스템에서 파라메터를 변조하도록 다른 방법을 제공한다.

본 발명의 이러한 특징에 따라서, 하나 또는 다른 TNS 필터 파라메터가 변조된다. 특히, TNS 노이즈 형상화 필터 차수(order)와 TNS 노이즈 형상화 필터 형상(shape)이 변조될 수 있는데, 아래와 같이 설명된다.

TNS 과정은 다음의 단계를 포함한다.

1. 시간-대-주파수 변형을 사용함으로써 신호를 스펙트럼 계수로 분석하는 단계.

2. 윈도우로 만들어진 자동상관(autocorrelation) 매트릭스를 형성하고 그리고 반복을 사용함으로써 표준적인 선형 예측자(linear predictor)를 적용하는 단계.

3. 예측 이득이 특정의 쓰레숄드를 초과한다면, 노이즈 형상화 필터는 스펙트럼 계수에 적용된다.

본 발명은 TNS 과정 동안에 적용되는 노이즈-형상화 필터의 특성에 달려있다. 이러한 스펙트럼-도메인 필터는 그 어떤 상이한 일시적인 응답의 수로 노이즈를 형상화하는 방식으로 수정될 수 있다. 이러한 일시적인 엔벨로프의 특정한 파라메터를 스펙트럼-도메인 필터 작용을 통해서 변화시킴으로써, 워터마크는 신호내에 삽입될 수 있다. 즉, 스펙트럼 또는 주파수 도메인에서 노이즈 형상화 필터를 변조하게 되며, 이것은 그에 의해서 시간 도메인내의 양자화를 변화시킨다.

시간에 대한 음향 압력 레벨(SPL)을 그래프로 나타낸, 예시적인 일시적 엔벨로프 응답이 도 17 에 도시되어 있다.

일시적인 마스킹 모델은 특정의 지각 코더에서 사용되는 스펙트럼 마스킹 모델과 유사하다. 특히, 스펙트럼 마스킹에 대하여 하방향 및, 상방향의 엔벨로프는 역방향과 순방향의 일시적 마스킹 엔벨로프와 비유된다. 본 발명의 특징에 따라서 변조될 수 있는 TNS 파라메터를 보다 구체적으로 식별하기 위하여, 일시적인 노이즈 형상화 과정의 작용의 일부를 보다 상세하게 고려하는 것은 유용하다. 시간-대-주파수 변형을 사용하여 신호를 스펙트럼 계수로 분석한 이후에, 예측 이득이 특정의 쓰레숄드를 초과하는지를 결정하고 그리고 신호의 엔벨로프를 유도하도록 선형의 예측 코딩(LPC) 계산이 스펙트럼 데이타에 의존하여 수행된다. 예측 계수는 각 블록에 대한 각 TNS 필터용으로 계산된다.

h = Rxx-1 rxx

여기에서 rxx T= {Rxx (i,j)} ; Rxx(i,j) = AutoCorr(│i-j│); i,j = 1,2,...N

rxx' = rxx * win

여기에서 Rxx 는 N x N 의 자동상관관계 스퀘어 매트릭스이며, N 은 TNS 예측 차수이고, h 는 벡터 최적화 예측 계수이다. 이러한 방정식은 공지의 직교 원칙에 기초하는데, 이것은 최소의 예측 에러가 예측에 사용된 모든 데이타에 직각이라는 점을 진술한다.

개시 시간에서, 자동상관관계 매트릭스 윈도우는 다음의 방정식에 따라서 계산된다.

여기에서,

여기에서 FSAMP= 신호 샘플 비율이다.

timeResoultion 변수는 비트 비율과 채널의 수에 따른다. 마찬가지로, 변형 블록의 길이는 transformResolution 변수를 정의한다.

노이즈 형상화 필터의 최적 차수는 특정 쓰레숄드 아래의 반사 계수를 계수 열의 끝으로부터 제거함으로써 결정된다. 워터마크를 전달하기 위하여 변조될 수 있는 하나의 파라메터는 노이즈 형상화 필터 차수이다. 예를 들면, 한가지 의미의 워터마크 비트는 최적의 필터 차수에 의해 나타내질 수 있으며 다른 의미의 워터마크 비트는 최적이 아닌 필터 차수(높거나 또는 낮음)에 의해서 나타내질 수 있다.워터마크를 전달하기 위하여 변화될 수 있는 다른 파라메터는 노이즈 형상화 필터 자체의 형상이다. 예를 들면, 한 의미의 워터마크 비트는 LPC 계산에 의해서 결정되는 최적의 계수를 사용함으로써 표시될 수 있는 반면에, 다른 의미의 워터마크 비트는 계수를 수정함으로써, 따라서 노이즈 형상화 필터의 형상을 수정함으로써 표시될 수 있다.

TNS 파라메터(필터 차수 또는 필터 계수)를 변조함으로써, 노이즈가 디코드된 출력 신호내에서 검출될 수 있도록 노이즈는 입력 신호의 일시적인 엔벨로프내에서 변조된다. 도 18 은 일시적인 마스킹 엔벨로프의 예를 도시하며 그것으로서 양자화기 에러는 그러한 엔벨로프내에서 변조될 수 있다. 시간내의 각 블록으로써, TNS 파라메터들은 워터마크를 전달하도록 변조될 수 있다.

본 발명의 실제의 실시예들은 매우 강력한 워터마크 작용의 해법을 제공할 수 있다. TNS 과정에 의해서 부가된 노이즈는 소스 신호의 엔벨로프와 단단하게 결합되기 때문에, 오리지날 신호를 저하시키지 않으면서 워터마크를 제거하거나 또는 모호하게 하는 것은 매우 어렵다.

본 발명에서 설명된 워터마크의 투명성은 이하에 설명된 유형의 적응성 왜곡 과정을 사용함으로써 제어될 수 있다. 이러한 경우에, 일단 신호의 일시적인 엔벨로프가 TNS 를 사용하여 수정되었다면, 결과는 일시적인 마스킹 쓰레숄드의 일시적 또는 스펙트럼의 표현과 반복적으로 비교된다. 쓰레숄드가 과도하면, 조절은 일시적인 마스킹 파라메터로 만들어지고 워터마크 신호의 지각성과 강력성 사이에서 소망되는 균형을 보장하도록 과정이 반복된다.

도 18 에 도시된 일시적 마스킹 특징은 신호의 서브 대역에 적용될 수 있다. 이것은 워터마크를 삽입하도록 잠재적으로 보다 많은 위치들과 함께 워터마크를 두는 것을 가능하게 한다.

대역폭의 변조

오디오 신호의 대역폭 감소는 대략 16 kHz 의 최소 레벨 이상으로 유지되는한, 주관적인 품질에 대한 최소한의 저하를 야기한다. 대역폭이 최소 레벨의 위에 유지되는한 대역폭이 동적으로 변화될때 실험상 최소한의 저하를 나타내었다. 대역폭이 엔코더 또는 디코더에서 부수 신호 또는 워터마크 신호에 따라서 변조된다면, 그러한 신호는 디코드된 오디오로부터 유도될 수 있다. 예를 들면, 16kHz 의 대역폭이 "0" 의 심볼을 나타내고 20 kHz 의 대역폭이 "1"의 심볼을 나타내는 경우에 1-비트의 코드는 오디오 신호내에 삽입될 수 있다. 이것은 다중 비트의 심볼들을 나타내는 다중 대역폭으로 확장될 수 있어서 보다 높은 삽입 신호 데이타 비율을 만든다. 도 19 는 4 개의 상이한 대역폭을 사용하는 2-비트의 심볼을 나타낸다. 이러한 전략은 강력하지 않고, 들리지 않는 워터마크들이 필요한 경우에 적용될 수 있다. 들리지 않는 것의 기준은 위에서 설명된 바와 같이 달성될 수 있다. 이러한 전략은 강력하지 않은데, 이는 워터마크가 디코드된 오디오 신호를 저-패스(low-pass) 필터링 시킴으로써 용이하게 제거될 수 있기 때문이다.

도 20 은 상이한 심볼을 나타내는 신호의 대역폭을 사용하는, 삽입된 신호를 포함하는 오디오 신호의 예를 도시한다.

상기에 기술된 대역폭 워터마크 작용 기술의 한가지 문제점은 이것이 최소대역폭 위의 신호 콘텐츠의 존재에 달려있다는 점이다. 많은 시간에서, 최소 대역폭의 위의 신호 콘텐츠는 존재하지 않는다. 일정한 삽입 시호 데이타 비율은 고주파수 신호 콘텐츠 없이 달성될 수 없다. 예를 들면, 만약 오디오 신호 콘텐츠가 1 kHz 에서 단일 사인파로 이루어져 있다면, 이러한 신호내에 삽입된 데이타를 전달할 수 있는 유일한 방법은 대역폭을 1 kHz 아래로 감소시키는 것이다. 이것은 명확하게 들리며 오리지날 신호를 파괴하게 된다.

일정한 워터마크-삽입 비율을 제공할 수 있는 방법은 오디오 신호가 고주파수 에너지를 포함하는 것을 보장하는 것이다. 이것을 달성하는 하나의 방법은 청취자가 지각할 수 없는 방식으로 오디오 신호의 상부 주파수에 노이즈를 부가하는 것이다. 부가된 노이즈가 인간의 가청 쓰레숄드 보다 작거나 또는 같다면, 그것은 지각될 수 없다. 이러한 노이즈의 부가로써, 삽입 신호는 일정한 데이타 비율을 제공하는 신호용 메카니즘으로서 오디오 대역폭을 사용할 수 있다. 이러한 노이즈는 단지 신호용 대역내에서 부가될 필요가 있다는 점을 주목하라. 이러한 신호용 대역은 워터마크를 배치하도록 사용된 가장 높은 주파수와 가장 낮은 주파수 사이의 대역으로서 정의된다. 신호용 대역은 두개 이상의 대역폭이 워터마크를 만들도록 채용되는 보다 작은 부분들로 분할될 수 있다.

도 21 은 가청 쓰레숄드의 대략적인 레벨로 형상화된 노이즈의 부가를 나타낸다. 이것은 단일 사인파로만 구성된 신호에 부가되며 신호용 대역내에서만 부가된다. 신호용 밴드 안으로 노이즈를 부가하는 것은 가청 쓰레숄드에 의해서 제한될 필요는 없지만 에너지가 그 이상이라면 아마도 들릴 것이다. 신호에 관한 다른 특성은 노이즈의 진폭을 가청 쓰레숄드 아래로 조절함으로써 부가될 수 있다. 예를 들면, 신호용 대역의 영역내 에너지가 절반의 에너지 상태를 부가함으로써 에너지가 없는 상태와 에너지가 꼭 들어찬 상태 이상으로 포함되었다면, 부가적인 데이타는 은폐될 수 있거나 또는 삽입될 수 있다. 이러한 진폭 신호는 삽입된 신호의 데이타 비율을 증가시킨다.

일부 신호 콘텐츠가 상부 대역폭의 단지 아래에 있는 것으로 보장되는한 신호는 검출 가능하다. 신호 밴드내의 부가된 신호는 각 채널에서 유사하다는 점이 중요하다. 많은 경우에 있어서, 이들 신호들은 전기적으로 또는 음향학적으로 혼합되며 이들이 서로를 소거하지 않는다는 점이 중요하다. 위상내(in-phase)의 사인파들이 다중의 채널에 부가되어 신호를 위해서 사용되었다면, 위치에 따라서 음향학적으로 부가되었을때 소거될 것이다. 이것은 워터마크의 신뢰성을 감소시킨다. 독립적인 랜돔(random) 노이즈를 사용하는 것은 보다 낳은 해법인데 이는 혼합되었을때 소거하지 않기 때문이다.

신호 콘텐츠는 신호 대역내에서 발생할 수 있고 형상화된 노이즈는 일정한 삽입 비율을 보장하도록 신호 대역내에 부가되기 때문에, 두개의 신호들이 부가되며 때때로 신호 대역내에서 에너지를 증가시킨다. 이러한 에너지의 가변성은 검출 과정을 보다 어렵게 한다. 본 발명의 이러한 특징의 바람직한 구현예에서, 저-패스 필터는, 신호 대역내의 그 어떤 소스 신호의 상호 작용을 배제하도록 형상화된 신호의 부가 이전에 소스 신호에 적용된다.

돌비 디지탈 알고리듬 또는 코딩 과정에 있어서, 상부 주파수 대역내의 콘텐츠가 무의미한 것으로 결정되었을지라도, 거친 파워 스펙트럼이 비트스트림내에서 전달되어 파워 스펙트럼내에서 전달되어 그것이 파워 스펙트럼으로 형상화된 랜돔 노이즈를 부가하도록 디코더내에서 사용될 수 있다. 이것은 비트스트림내의 디더 플래그(dither flag)가 인에이블(enable)되었을때 켜지는 디코더의 특징이다. 엔코더가 지각상 무의미한 것으로 판정하였을지라도 디코더내에서 부가된 노이즈는 디코드된 오디오내의 워터마크를 재생한다. 워터마크는 엔코딩 또는 디코딩 과정 동안에 삽입될 수 있다.

돌비 디지탈 오디오 코더는 두개의 대역폭 파라메터(도 21 의 표에서 위에 나열된 chbwcod 와 cplendf 코드)들중 하나에 따른 대역폭내에서의 변화를 발생시킬 수 있다. 이것은 워터마크를 수행할 수 있는 효과적인 방법을 만든다. 그러나, 디코드된 신호에서의 검출 가능한 변화를 발생시키는 이러한 코드들의 변조는 삽입된 신호 데이타 비율상에 일부 제한을 가한다.

1. 신호를 다운 믹싱(down-mixing)하는 것이 삽입 데이타를 파괴하지 않도록 모든 채널들은 같은 대역폭을 구비하여야 한다. 이것은 삽입된 데이타 비율을 모노 채널의 등가물로 제한한다.

2. 최적의 음향 품질에 대해서, 대역폭 코드는 단지 프레임 당 한번으로 설정되어야 하며, 이것은 삽입된 데이타 비율을 심볼 깊이와 엔코드된 샘플 비율로 제한한다. 대역폭 코드가 프레임당 한번 이상으로 변화되었다면, 코드화된 오디오의 전체적인 음향 품질은 감소될 것이다.

3. 가용 심볼의 수는 최소 대역폭 위의 가용 대역폭의 코드 수에 제한된다.

예를 들면, 코더가 48kHz 에서 데이타를 삽입하도록 2 개의 상이한 대역폭 상태를 사용하고 있다면, 삽입된 데이타 비율은 대략 31.25 bps 이다. (초당 31.25 프레임들이며, 각각은 1 비트의 정보를 포함한다) 48 kHz 에서 4 개의 대역폭 상태를 사용하고 있다면, 데이타 비율은 62.5 bps 이다. 이러한 수들은 각 돌비 디지탈 프레임이 1536 의 특이한 오디오 샘플을 포함한다는 사실로부터 유도된다. 프레임당 2048 의 특이한 오디오 샘플을 포함한느 다른 코더가 사용되었다면, 데이타 비율은 1 비트 코드에 대해서 대략 23.5 bps 일 것이다.

돌비 디지탈 코더는 각 오디오 프레임을 가진 엔코더 비트스트림내에서 파워 스펙트럼 밀도의 근사치를 전송한다. 오디오 스펙트럼에서 의미있는 변화가 있을때마다 업데이트된다. 파워 스펙트럼 밀도 정보는 주파수에서 선형적으로 이격된 엑스포넨트로서 전송된다. 돌비 디지탈 디코더에서, 디더는 양자화된 정보를 수신하지 않은 스펙트럼의 그 어떤 부분에라도 부가되는데, 이는 신호 정보가 중요한 것으로 간주되지 않기 때문이었다. 실질적으로 랜돔 노이즈인 디더는 엑스포넨트의 레벨로 척도가 정해진다. 이것은 신호 에너지를 스펙트럼의 그 부분에 부가한다. 신호 밴드내의 익스포넨트가 가청 쓰레숄드보다 적거나 또는 같게 형상화되면, 디더는 신호 에너지를 보장한다.

다음의 단계들은 돌비 디지탈의 엔코드된 신호내에서 신호 대역 안에 에너지가 있는 것을 보장하는 현재의 방법을 개략적으로 나타낸 것이다.

1. 랜돔 노이즈는 가청 쓰레숄드에 또는 그 이하에 형상화된 최소 신호 대역 위에 부가된다. 이것은 최소 에너지가 가청 쓰레숄드의 형상을 따르게 한다.

2. 노이즈 부가 이후에 계산된 익스포넨트들은 이러한 최소 에너지 레벨을 잡는다.

3. 디더가 항상 부가되기 때문에 비트가 최소 신호 대역폭 위로 할당되지 않았을지라도 디코더는 전달된 익스포넨트로부터의 스펙트럼 에너지를 다시 만든다.

상기에 설명된 2 개의 기술들(대역폭 변화 및, 디더)은 낮은 복잡성의, 고정된 비트-비율인 워터마크를 돌비 디지탈 엔코더 또는 디코더내로 일체화하도록 사용될 수 있다. 이러한 시스템은 다운 믹싱, 다이내믹 범위 제어, 볼륨 정상화, 매트릭스 서라운드 디코딩 등을 포함하는 엔코드/디코드 체인의 "정상적인 사용"에 대해서 강력하다.

따라서, 본 발명의 이러한 특징의 구현예는 다음의 단계를 구비할 수 있다.

1. 은폐 데이타 신호를 삽입하도록 대역폭을 조절함.

2. 은폐 데이타 신호를 삽입하도록 대역폭을 조절하는 돌비 디지탈 엔코딩/디코딩 시스템의 대역폭 코드를 사용함.

3. 신호 콘텐츠를 보장하도록 신호 밴드내에서 노이즈를 부가하는 것은 데이타를 일정한 비율로 삽입하도록 사용될 수 있다.

4. 부가된 노이즈의 청취 가능한 지각을 방지하도록 인간의 가청 쓰레숄드보다 적거나 또는 같게 상기 부가된 노이즈를 형상화하는것.

5. 삽입 신호의 데이타 비율을 증가시키는 신호의 다른 특성을 부가하도록 부가된 노이즈의 진폭을 조절함.

6. 신호 콘텐츠를 신호 밴드내에 보장하도록 돌비 디지탈 코더를 가진 형상화 노이즈의 일체화.

워터마크 검출기는 재생된 오디오 신호내에 포함된 삽입 정보를 해석한다. 이것은 정보를 전기적으로 그리고 음향학적으로 추출할 수 있는 것이 바람직스럽지만, 그러한 능력은 모든 적용예에 대해서 필요한 것이 아닐 수 있다. 음향학적 처리 이후에 워터마크를 추출하는 것은 보다 어려운 도전으로 간주되는데, 이는 실내 노이즈의 부가, 스피커 및, 마이크의 특성, 그리고 전체적인 재생 볼륨 때문이다.

검출기의 목적은 주어진 신호 밴드내에 오디오의 대역폭을 찾는 에너지가 있는지의 여부를 결정하는 것이다. 이것은 신호등을 분석하는 밴드패스 필터의 구릅인 후리에 변형(Fourier transformation)에 의해서 계산될 수 있는 오디오의 주파수 분석을 필요로 한다. 각 신호 밴드에서의 에너지는 이러한 신호 분석에 의해서 얻어질 수 있다. 검출기는 삽입된 신호를 결정하도록 이러한 에너지 정보를 사용할 수 있다.

하나의 가능한 검출 방법은 엔코드된 심볼을 결정하도록 각 신호 밴드에서 고정된 쓰레숄드 비교를 적용한다. 이러한 쓰레숄드는 노이즈 바닥의 바로 위의 에너지 레벨에 설정될 수 있다. 이러한 레벨 위의 그 어떤 것도 신호 레벨을 포함하도록 간주될 것이다. 도 22 는 2 비트 심볼을 만드는 4 개의 상이한 대역폭을 검출하는데 필요한 3 개의 상이한 에너지 레벨을 도시한다. 검출 쓰레숄드 위의 그 어떤 에너지도 '하이"로 간주되며 그 이하의 어느 것도 '로우'로 간주된다.

이러한 고정된 쓰레숄드는 시스템의 노이즈 바닥이 항상 알려져 있고 그리고 피크 신호 레벨이 결코 감쇠되지 않는 경우의 폐쇄 환경에서 단지 잘 작동한다. 예를 들면, 그 어떤 다른 노이즈가 위의 다이아그램내의 노이즈 바닥에 부가되었다면, 제 3 의 에너지 레벨은 '하이"로 간주될 것이며 부정확한 심볼이 판단될 것이다.

에너지 레벨들이 쓰레숄드 계산 이전에 동등화되거나 또는 정상화된다면 고정된 쓰레숄드를 사용할 수 있다. 그러한 것을 달성할 기술은 에너지 레벨이 결정되기 전에 AGC 알고리듬 또는 과정을 신호 대역에 적용하는 것이다. 이러한 레벨들이 AGC 에 의해서 정상화됨으로써(normalize) '로우'와 '하이' 레벨들이 보다 일관되게 된다. 이러한 경우에 레벨들의 정상화 때문에 고정된 쓰레숄드가 적용될 수 있다.

적응성 쓰레숄드는 노이즈 레벨과 신호 에너지가 일정하게 변화하는 그 어떤 환경에서도 최적인 것으로 간주된다. 적응성 쓰레숄드를 채용하는 하나의 가능성 있는 검출 방법은 현재 상태에 대한 쓰레숄드를 계산하도록 이전의 에너지 상태를 사용하는 것이다. 이러한 검출기는, 주어진 에너지 밴드에 대한 한정된 수의 이전 상태에 있어서 '하이' 상태인 일부의 에너지 레벨과 '로우' 상태인 일부의 에너지 레벨이 존재하여야 한다는 전제로 작동한다. 가장 많은 에너지들이 '하이'로 간주될 수 있는 반면에, 가장 작은 것은 '로우'로 간주될 수 있다. 이러한 '하이'와 '로우' 상태들은 두개의 상이한 그룹으로 간주될 수 있다. 도 23 은 '하이'와 '로우' 상태의 분포에 대한 히스토그램의 몇가지 예를 포함한다. 이러한 두개의 '클러스터(cluster)' 사이의 어느 곳엔가 놓인 쓰레숄드가 측정될 수 있다.

'하이' 상태의 수가 이전의 한정된 세트에서 '로우' 상태의 수와 같은 것으로 가정되었다면, 최대의 절반은 '하이' 그룹에 속하는 반면에 최소의 절반은 '로우' 그룹에 속한다. 평균적인 에너지 레벨 또는 중간값이 각 그룹에 대하여 찾아지면, 단순한 쓰레숄드는 이러한 두개의 중간값의 평균으로서 계산될 것이다. 이것은 중간값과 평방 편차와 같이 각 그룹의 더 많은 통계를 고려에 넣는 두개의 그룹과 쓰레숄드에 대한 상이한 분포를 추정함으로써 쉽사리 보다 복잡해질 수 있다.

다른 고려는 '하이'와 '로우' 그룹으로의 분리를 향상시키는 것을 포함할 수 있다. 2 개 이상의 대역폭이 삽입 과정에 포함되었을때, 신호 밴드내의 에너지 레벨은 종속적이다. 가장 높은 대역폭이 '온' 일때, 각 신호 밴드내의 모든 에너지 레벨은 '하이'로서 검출되어야 한다. 제 2 의 최고 대역폭이 '온'일때, 상기 대역폭 아래의 모든 신호 레벨은 '하이'로서 검출되어야 한다. 이것은 각 신호 밴드에 대한 에너지 레벨의 분포를 변경시킨다.

예를 들면, 워터마크 엔코더가 4 개의 상이한 대역폭을 사용하여 2 비트의 심볼을 발생시킨다고 가정한다. A, B, C 및, D 는 대역폭을 나타내고 여기에서 A 는 최저의 대역폭이고 D 는 최고의 것이다. 3 개의 상이한 에너지 대역은 이러한 대역폭을 결정하는데 필요한다. 이러한 3 개의 에너지 밴드가 1, 2 및, 3 에 의해서 표시되고, 그것들이 대역폭 A-B, B-C 및, C-D 각각의 사이에서의 에너지라고 하자. 다음의 표는 만약 심볼들이 균일하게 분포되었다면 각 에너지 밴드에 대한 개연성을 '하이' 상태에 있도록 나열한 것이다.

에너지 대역	P(하이)
1	3/4
2	1/2
3	1/4

대역폭상의 각 에너지 밴드의 종속성 때문에 개연성은 같지 않다. 예를 들면, 에너지 밴드(1)내의 신호 콘텐츠의 개연성은 B, C 및, D 심볼의 발생 개연성의 합이다. 각 심볼은 1/4 의 발생 개연성을 가진다. 따라서 에너지 밴드(1)내 신호 콘텐츠의 개연성은 3/4 이다.

만약 이전의 40 개의 상태가 각 에너지 밴드에 대한 현재 쓰레숄드를 계산하도록 사용되었다면, 최고의 30 개의 상태는 에너지 밴드(1)내의 신호 콘텐츠를 나타내는 것으로 가정될 것이다. 나머지 10 개의 샘플들은 신호가 없는 콘텐츠를 나타낼 것이다. 이러한 경우의 현재 쓰레숄드는 이들 두가지 그룹들 사이의 중간값의 평균을 찾아냄으로써 결정될 것이다.

심볼의 분포가 실질적으로 균일하게 되는 것을 보장하도록 채널 코딩을 부가하는 것은 이러한 검출기를 위해서 필수적이다. 엔코더가 연장된 기간 동안에 최고의 대역폭이었던 심볼에 들어가면, 이러한 검출기는 삽입된 데이타를 디코딩하는데 곤란을 가지게 될 것이다. 심볼의 분포가 가정된 개연성에 근접할수록, 삽입된 데이타의 검출이 더 정확해진다.

하나의 가능한 채널 코딩 방법은 각 심볼이 한정된 기간에 걸쳐서 단지 한번만 발생하는 것을 보장하도록 하는 것이다. 예를 들면, 4 개의 상이한 대역폭 코드가 있다면, 각 심볼은 4 개 심볼의 그룹에서 한번만 발생하도록 요구될 수 있다. 이것은 4 개 대역폭 코드의 그룹인 24 개의 특이한 심볼을 발생시킨다. 24(4 계승(factorial))는 4 개 대역폭 코드의 순열의 최대수이다. A, B, C 그리고 D 가 4 개의 대역폭 코드를 나타낸다면, 심볼들은 ABCD, BACD, ABDC, BADC, BCAD 등과같이 나타날 것이다. 이것은 삽입된 데이타 비율을 감소시킨다는 점을 주목하여야 한다.

따라서, 본 발명의 특징에 따른 워터마크 검출기는 다음과 같은 것을 포함할 수 있다.

1. 이전의 상태를 시험함으로써 계산된 적응성 쓰레숄드를 사용하는 삽입 신호 검출기. 이전의 상태는 에너지 레벨에 기초한 그룹들로 분리된다. 쓰레숄드는 그룹들을 가능한한 많이 분리하도록 시도하는 각 그룹의 통계에 기초한다.

2. 다중의 그룹들이 관련되었을때, 그룹내 요소들의 수는 대역폭 조절로부터의 종속성에 기초하여 조절된다.

3. 심볼의 분포가 한정된 시간에 걸쳐서 균일에 근접하는 것을 보장하는 채널 코더. 이것은 상기에서 설명된 워터마크 검출기가 적절하게 기능하는 것을 보장한다.

파라메터 변조의 강도 제어

적응성 왜곡 제어

본 발명의 목표는 최대화된 검출성 및, 최소화된 지각성을 가진 워터마크를 삽입하는 것이다. 지각 엔코더는 입력 신호의 잉여분을 감소시키는 방법을 결정하는 지각성의 쓰레숄드를 사용한다. 이러한 마찬가지의 쓰레숄드는 워터 마크 신호가 검출될 수는 있지만 실질적으로 지각될 수 없게 유지되는 방식으로 워터 마크 신호를 조절하도록 사용될 수 있다.

위에서 언급된 바와 같이, 일부 지각 엔코더에 있어서, 왜곡 측정은 정확한정보가 버려지는 것을 보장하도록 비율 제어와 짝을 이룬다. 왜곡 측정은 오리지날 입력 신호를 엔코드된 신호 (비율 제어의 출력)와 비교한다. 왜곡 측정은 비율 제어 과정의 결과를 변화시키도록 코딩 파라메터의 일부를 제어하는데 유용할 수 있다. 이것은 아래에 설명되는 바로서 네스트(nest)에 있는 루프 구조를 만들 수 있는데, 여기에서 외측 루프는 왜곡 측정을 구비하고 내측 루프는 비율 제어이다. 일부 기준이 충족될 때까지 왜곡 측정을 검사함으로써 코딩 파라메터에 대한 수정이 반복적으로 이루어진다. 마찬가지의 접근이 비율 루프를 제거함으로써 가변적인 데이타 비율 엔코더에 적용될 수 있다.

본 발명의 특징에 따른 지각성의 쓰레숄드를 사용하여 워터마크를 삽입하는 과정은 도 24 내지 도 26 에 도시되어 있다. 이러한 과정은 MPEG-2 AAC 지각 코더에 한정된 것과 유사하며, 여기에서는 두개의 네스트에 있는 루프들이 최적의 양자화(quantization)를 결정하도록 사용되었다. 도 24 에 도시된 내측의 반복 루프는 스펙트럼 데이타가 이용 가능한 비트의 수와 코딩될 수 있을때까지 양자화기의 단계 크기를 수정한다 (비율 제어). 도 25 에 도시된 외측의 반복 루프는 사이코어코스틱 모델의 수요가 가능한한 많이 달성되는 방식으로 모든 스펙트럼 밴드에서 스펙트럼 계수를 증폭시킨다. 도 25 의 과정은 워터 마크를 삽입하는 동안에 가능한한 많이 사이코어코스틱 모델 또는 지각 쓰레숄드를 달성하도록 지각 코딩 파라메터 똔느 파라메터들(도 26 에 도시됨)을 변조함으로써 수정된다. 도 6, 도 7 및, 도 8 의 테이블에 나열된 모든 파라메터들은, 비록 일부 파라메터들이 비트 할당 과정 동안에 변화되는 것이 다른 것보다 어렵다고 할지라도, 상기의 방식으로 변조될 수 있다.

도 24 의 비율 제어 과정은 보다 작은 고정된 양의 정보로써 신호를 표시하는 시도를 한다. 입력 신호는 지각 쓰레숄드(단계 20)에 따라서 양자화되며 양자화의 결과로서 사용된 비트들이 계산된다 (단계 22). 사용된 비트들의 수가 이용 가능한 비트들을 초과하지 않는다면, 과정이 종료된다 (단계 24). 이와는 달리, 사용된 비트의 수가 이용 가능한 비트의 수와 가능한한 근접하게 맞을때까지 반복적인 과정이 계속된다. 이것은 충분한 정보가 버려질때까지, 양자화기 단계의 사이즈 수정을 통해서, 지각 쓰레숄드를 조절함으로써 항상 달성된다.

도 25 에 도시된 왜곡 측정 방법은 비율 제어 엔코딩 과정의 단순화들중 일부가 용이하게 지각되는 에러들을 야기하지 않는 것을 보장하도록 양자화기 단계의 사이즈 과정에 부가될 수 있다. 왜곡의 측정은 코딩 파라메터의 정밀한 튜님이 그러한 에러를 최소화시킬 수 있다. 과정의 제 1 단계에서, 비율 루프, 또는 내측 루프가 비율 제한에 따라서 입력 신호를 양자화하도록 수행된다 (단계 28). 왜곡 평가는 얼마나 많은 왜곡이 존재하는를 계산하며(단계 30) 왜곡이 지각 쓰레숄드(단계 32)에 대하여 수용 가능한지의 여부를 결정한다. 왜곡이 수용 가능하지 않다면, 스펙트럼 계수는 증폭되며(단계 34) 과정은 반복된다. 왜곡이 수용 가능하다면, 양자화의 결과는 입력 신호(단계 36)에 부가되고 과정은 완성된다. 이러한 의미에서, "왜곡"은 코딩된 신호와 오리지날 신호 사이의 차이이며, 들을 수 있는 산물을 초래하거나 또는 초래하지 않을 수 있다.

본 발명과 관련하여, 도 26 에 도시된 왜곡 측정 과정은, 코딩 파라메터가변조되어서 아직 지각 쓰레숄드의 경계내에 머물때 그것의 디폴트 값으로부터 변화될 수 있는 양을 결정하는데 사요된다. 이것은 워터마크의 가능한 검출을 최대화시키는데, 이는 왜곡이 지각될 수 없으면서 지각 쓰레숄드에 의해 제한된 가능한한 많은 왜곡을 야기하는게 바람직스럽기 때문이다. 비율 제어(단계 28), 왜곡 제어(단계 32) 및, 코딩 파라메터 조절(단계 38) 단계들은 수용 가능한 절충이 이루어질때까지 계속된다.

돌비 디지탈과 같은 특정의 코딩 시스템은 엔코딩 동안에 비율 제어 과정을 사용하지마 왜곡 제어를 적용하지 않는다. 따라서, 그러한 코딩 시스템이 본 발명의 상기 특징을 채용하도록 하기 위하여, 왜곡 측정이 부가된다. 코딩의 목적으로 그리고 작은 수정으로써 일체화된 왜곡 제어 과정을 이미 가지는, MPEG-2 AAC 와 같은 다른 코더들이 본 발명의 상기 특징에 따라서 워터마크를 적용하도록 사용될 수 있다. 가변 비율 코딩 시스템에서, 비율 루프는 필요하지 않으며, 따라서 복잡성을 감소시키면서 파라메터 변조 과정에 최적의 해법을 제공한다.

도 27 은 방금 설명된 왜곡 측정 과정을 사용하여 워터마크를 본 발명에 따라서 삽입할 수 있는 방법을 도시한다. 바람직스럽게는, 변조된 파라메터의 효과를 강제하으로써 강력함을 최대화하는게 목표이며, 이것은 가능한한 시각 쓰레숄드에 근접하게 패스(2)내 양자화기 에러에서의 변화로서 나타난다. 제 1 의 패스에서, 시각 쓰레숄드가 계산된다. 제 2 의 패스에서 양자화기 에러가 도시된다. 양자화기 에러를 지각할 수 없게 수정하는 일부 이용 가능한 마진(margin)이 있다는 점을 주목하라. 이러한 예에서 파라메터의 델타 비트 할당 유형인(즉, 임계 대역내에서 양자화기 에러에 영향을 미치는 deltba 또는 cpldeltba 파라메터), 패스(3)내에서 선택된 워터마크 코딩 파라메터는 조절되었으며 수정된 양자화기 에러를 초래하였다. 양자화기 에러는 심지어 더욱 수정될 수 있으며 여전히 지각될 수 없게 유지될 수 있다. 코딩 파라메터의 변조는 전체 스펙트럼에 걸쳐서 약간 상이한 양자화 에러를 초래하는데, 이는 이용 가능한 비트의 수가 영향을 받기 때문이다. 이것은 코딩 파라메터의 변조 및, 특정한 대역에서의 결과적인 양자화기 분해능이 전체 스펙트럼에서 에러를 야기하며, 단지 파라메터가 변조되는 대역내에서는 그러하지 않는다. 패스(4)에서, 코딩 파라메터의 변조의 정도는 다시 패스(3)로부터의 정보를 사용하여 조절되었으며 결과적인 양자화기 에러는 지각 쓰레숄드에 가능한한 근접한 것이다. 비록 양자화기 에러를 지각 쓰레숄드에 가능한한 근접하지만 그 이하로 가져가는 것이 바람직스러울지라도, 양자화기 에러에 영향을 미치는 하나 또는 그 이상의 파라메터를 변조할때, 도 27 의 패스(3)에서의 예에서와 같이 양자화기 에러가 지각 쓰레숄드의 아래이지만 그에 근접하지 않도록 본 발명은 하나 또는 그 이상의 파라메터의 변조를 고려한다.

도 28 은 워터마크 삽입 과정을 도시하는데, 여기에서 선택된 워터마크 코딩 파라메터는 파라메터의 전체적인 SNR 오프셋이다 (즉, csnroffst, fsnroffst, cplfsnroffst, 또는 lfesfsnroffst 파라메터). 이러한 예에서, 전체적인 SNR 오프셋 파라메터의 변조는 지각 쓰레숄드에 정확하게 맞는 결과를 초래한다. 이는 파라메터의 SNR 오프셋 유형이 주파수 스펙트럼을 통해서 지각 쓰레숄드의 균일한 오프셋이기 때문이다. 따라서, 파라메터의 SNR 오프셋을 사용하여 지각 쓰레숄드에 양자화기 에러를 적합화하는 과정은 단지 하나의 단계를 필요로 한다.

본 발명의 상기 특징의 다른 면은, 워터마크의 가능한 '이득' 또는 에너지를 제어하는 지각 쓰레숄드의 오프셋을 사용자가 제어할 수 있게 하는 것이다. 이것은 특정의 대역에서 왜곡을 더 가능하게 하는, 보다 더 복잡화된 함수이거나 또는 지각 쓰레숄드에 대한 선형의 오프셋이다. 이것은 사용자가 검출의 용이성 및, 최종적으로 삽입된 신호의 가청성을 제어할 수 있게 한다. 이것은 지각 쓰레숄드 커브(curve)를 고정된 양으로 상승시킴으로써 달성될 수 있다. 더욱이, 지각 쓰레숄드를 수정함으로써, 사용자는 워터마크 코딩 마진이 네거티브(negative)인 곳에 워터마크를 삽입할 수 있다.

돌비 디지탈, 돌비 E 및, MPEG-2 AAC 코더와 같은 지각 코더에 있어서, 양자화 또는 비트 할당 과정은 전체적인 신호-대-노이즈 비율과 코더에 대하여 이용 가능한 비트의 수에 근거하여 계산된다. 다음에, 지각 쓰레숄드는 양자화기 에러에 비교된다. (지각 쓰레숄드와 양자화기 에러 사이의 차이)가 완성 요건을 충족시키지 못하면, 선택된 코딩 파라메터 변조는 왜곡에 기초하여 수정되며 과정은 왜곡이 수용 가능할때까지 반복된다.

본 발명의 상기 특징의 바람직한 구현예에서, 왜곡은 지각 쓰레숄드의 기초를 형성하는 대역화된(즉, 임계 밴드로 그룹을 이룬) 계수들의 그룹으로부터 계산된다. 지각 쓰레숄드는 증가된 복잡성의 희생하에 개별적인 스펙트럼 계수의 양자화 에러에 기초할 수도 있다는 점이 주목되어야 한다.

일단 쓰레숄드가 설정되면, 본 발명의 상기 특징의 왜곡 제어 부분이 시작된다. 시험하에 있는 코딩 파라메터는 왜곡 과정의 차후 반복에 따라서 변조된다. 엔코딩 파라메터의 변조는 비율 제어 과정에서 수행된 스펙트럼 밴드의 비트 할당 결과에 영향을 미친다. 비트 할당의 결과적인 쓰레숄드는 오리지날의 지각 쓰레숄드와 비교되며 코딩 파라메터는 완전성의 요건이 충족될때까지 반복적으로 변조된다. 완성에 대한 요건이 충족되지 않으면, 마스킹 쓰레숄드는 변조된 파라메터를 사용하여 다시 포뮬레이션(formulation)된다.

본 발명의 다른 특징의 바람직한 구현예에 있어서, 적응성 왜곡 과정의 종료는, 지각 쓰레숄드와 마스킹 쓰레숄드가 그 어떤 주어진 관심 대상인 대역에 대하여 동등해지고 그리고 마스킹 쓰레숄드의 대역들중 어 어떤 것도 지각 쓰레숄드를 초과하지 않을때, 발생할 수 있다. 지각 마스킹 쓰레숄드가 수렴하지 않을때, 마스킹 쓰레숄드가 지각 쓰레숄드를 초과하지 않는한 다른 종료 로직(logic)이 채용될 수 있다. 종료의 요건들은 복잡성을 제한하기 위하여 존재한다.

디코더 파라메터 변조

도 29 는 지각 오디오 디코더의 파라메터가 변조되는 본 발명의 일 특징을 도시한다. 이러한 예에서, 디코더는 혼성의 비트 할당(즉, 지각 모델이 엔코더로부터 디코더로 전달된다)을 채용한다. 수용되어 지각되게끔 코딩된 비트스트림(40)은 디코더에서 코딩 파라메터(42)(비트 할당 모델을 나타냄)와 다시 포맷된 데이타(44)(즉, 양자화된 데이타)로 분리된다. 비트 할당(46)과 역의 양자화(48)가 수행된다. 다음의 단계(50)에서, 결정이 이루어진다 (지각 쓰레숄드가 계산되었는가?). 아직 계산되지 않았다면(즉, 루프를 통해서 처음이라면), 지각 쓰레숄드는코딩된 비트스트림으로부터의 신호에 기초하여 계산된다 (단계 52). 지각 쓰레숄드가 존재하면 (즉, 루프를 통해서 처음의 이후라면), 역의 양자화 신호와 쓰레숄드 사이의 비교가 이루어진다(단계 54). 다음에, 단계(56)에서 결정이 이루어진다(수용 가능한 왜곡?). 결과적인 왜곡이 수용 가능하다면 (즉, 미리 정의된 종료 요건을 충족시킨다면), 과정은 완성되고 스펙트럼 계수들은 디코더에서 다른 함수로 출력된다. 왜곡이 수용가능하지 않다면, 변조되고 있는 코딩 파라메터는 조절되고(단계 58) 비트 할당, 역 양자화, 지각 쓰레숄드의 비교 과정들이 반복된다. 코딩 파라메터는 처음에 워터마크 심볼(즉, 부수 정보) 입력(6)에 기초하여 변조되며 지각 쓰레숄드 비교에 기초하여 차후에 조절된다.

유사한 과정이 순방향 적응성 비트 할당을 채용하는 지각 오디오 디코더 시스템내에서 채용될 수 있다 (즉, 지각 모델이 엔코더에서 만들어지고 디코더로 명시적으로 보내진다). 신호 데이타는 전달된 지각 모델을 사용하여 다시 포맷된다. 이러한 지각 모델은 워터마크를 삽입하는 파라메터에 의해서 수정될 수 있다. 오디오의 워터마크가 삽입된 버젼은 마크가 없는 신호에 비교된다. 왜곡 측정이 특정된, 미리 정의된 완성 요건을 충족시키지 않으면, 신호는 수정된 파라메터 변조 값을 사용하여 다시 포맷된다.

워터마크 시퀀스 및/또는 결정론적인 시퀀스에 응답하여 파라메터 변조를 제어함.

본 발명의 다른 특징에 있어서, 하나 또는 그 이상의 파라메터의 변조는 부수 정보 또는 워터마크 신호 또는 시퀀스에 의해서 직접적으로 제어된다. 예를 들면, 워터마크에 의한 변조의 제어는, 예를 들면, 코딩 시스템에 가해진 결정론적인 시퀀스 및/또는 입력 신호와 같은 명령의 세트를 포함하는 데이타 시퀀스 또는 하나 또는 그 이상의 다른 신호의 함수에 의해서 수정된다. 도 30 은 본 발명의 이러한 특징을 나타내는 함수의 블록 다이아그램이다. 도 2 의 기본적인 배치에 있어서와 같이, 주 정보는 지각 디코더 함수(4)에 의해서 수신된 디지탈 비트스트림을 발생시키는 지각 엔코더 함수(2)에 적용된다. 본 발명의 이러한 특징에 있어서, 부수 정보는 파라메터 콘트롤러 함수(62)에 적용된다. 파라메터 콘트롤러 함수(62)는 주 정보 또는 하나 또는 그 이상의 결정론적인 시퀀스 또는 그들 양쪽의 주 정보와 하나 또는 그 이상의 결정론적인 시퀀스를 수용한다. 파라메터 콘트롤러(62)는 제 2 의 정보가 엔코더 함수 또는 디코더 함수 파라메터를 변조시키는 방식을 수정한다. 이것은 다음에 설명되는 바와 같이 그 각각이 주 정보의 함수 및/또는 하나 또는 그 이상의 결정론적인 시퀀스를 가진 제 2 정보의 하나 또는 그 이상의 세트를 수정함으로써 그렇게 된다. 파라메터 콘트롤러 함수로부터의 수정된 부수 정보가 엔코더 함수 또는 디코더 함수 또는 그 양쪽에 적용될 수 있기 때문에, 쇄선들은 부수 정보로부터 엔코더 함수 및, 디코더 함수로 각각 도시되어 있다. 도 2 의 배치의 경우에서와 같이, 지각 디코더 함수의 출력은 삽입된 부수 정보를 가진 주 정보이다. 부수 정보는 디코더 함수 출력에서 검출될 수 있다.

수정된 부수 정보가 디코더 함수(2) 및, 디코더 함수(4) 양쪽에서 파라메터 변조를 제어한다면, 통상적으로, 그 하나에 적용된 정보는 다른 것에 적용된 것과 상이할 것이다. 예를 들면, 하나 또는 그 이상의 엔코더 함수 파라메터를 제어하는부수 정보는 오디오 또는 비디오 콘텐츠의 소유자를 식별하는 워터마크를 나타낼 수 있으며, 하나 또는 그 이상의 디코더 함수 파라메터를 제어하는 부수 정보는 오디오 또는 비디오 콘텐츠를 하나 또는 그 이상의 소비자에게 표시하는 장비 식별용일련 번호일 수 있다.

부수 정보가 하나 또는 그 이상의 파라메터를 변조하는 방식을 수정하는 결정론적인 시퀀스를 파라메터 콘트롤러(62)가 채용하였을때, 디코더 함수 출력에서의 워터마크 또는 부수 정보의 검출은 제네레이터(generator) 방정식과 결정론적인 시퀀스의 키이(key)가 검출기 함수에 의해 알려질 것을 필요로 한다. 제네레이터 방정식은 공공연히 알려질 수 있거나, 검출기에 의해서 (그러나 공공연하지는 않게) 우선 알려질 수 있거나, 또는 안전한 채널을 통해서 검출기와 통신할 수 있다. 마찬가지로, 키이가 공공연히 알려질 수 있거나, 검출기에 의해서 (그러나 공공연하지는 않게) 우선 알려질 수 있거나, 또는 안전한 채널을 통해서 검출기와 통신할 수 있다. 시스템이 안전하기 위해서는 키이가 공공연하게 알려지지 않을 것이 유일한 요건이다.

부수 정보가 하나 또는 그 이상의 파라메터를 변조하는 방식을 수정하는 입력 신호를 파라메터 콘트롤러(62)가 채용하였을때, 디코더 함수 출력에서의 부수 정보 또는 워터마크의 검출은 소스 신호 또는 소스 신호에 관한 적어도 특정의 정보 (예를 들면, 파라메터 콘트롤러가 응답하도록 프로그램되어 있는 소스 신호의 특징)가 검출기 함수에 의해서 알려질 것을 필요로 한다. 이것은 소스 신호, 또는 바람직스럽게는 파라메터 콘트롤러가 응답하도록 프로그램되어 있는 소스 신호의특성을 검출기 함수에 전달함으로써 이루어질 수 있다. 소스 신호의 관련 특징이라기 보다는 오히려 소스 신호가 전달된다면, 검출기 함수들은 소스 신호와 디코더 함수 출력의 분석에 기초하여 관련된 특성들을 독립적으로 유도할 수 있다. 그러나, 특성들은 양자화기 에러 없이 소스 신호에 기초하여 독자적으로 결정되므로 에러가 발생할 수 있다.

결정론적인 시퀀스에 응답하여 파라메터 변조를 제어함

워터마크 심볼 천이의 비율 변조

본 발명의 이러한 특징의 일 변형은, 결정론적인 시퀀스로써, 파라메터 변조 상태의 천이 비율과, 결국에는 워터마크 심볼 천이의 비율을 제어하는 것을 포함한다. 이것은 결정론적인 시퀀스에 응답하여 파라메터 변조 상태의 지속 기간을 변화시키는 것과, 그리고 결국에는 워터마크 심볼 비율의 지속 기간을 변화시키는 것을 포함한다. 만약 워터마크 심볼 천이가 일정한 비율로 삽입된다면, 워터마크 심볼 패턴내의 반복적인 시퀀스들은 지각 가능할 수 있다. 파라메터 변조 상태의 지속 기간과, 결국에는, 심볼의 지속 기간을 변조함으로써, 반복적인 효과들이 최소화될 수 있다. 표 1 은, 파라메터 변조 상태의 지속 기간과, 결국에는 워터마크 심볼의 지속 기간이 결정론적인 시퀀스에 의존함으로써, 수정된 시퀀스로서 나타내는 패턴을 초래하는 예를 나타낸다. 이러한 특정의 예에서, 결정론적인 시퀀스 값이 "1"과 같다면 워터마크 시퀀스가 반복된다. 만약 DS 가 "0" 의 값을 가진다면, 워터마크 심볼은 반복되지 않는다. 워터마크 심볼 패턴의 주기는 결정론적인 시퀀스에서 "1"의 값의 발생에 기초하여 증가한다는 점이 주목되어야 한다. 따라서, 동기화가 검출하는 동안에 가능하도록 적절하게 리셋(reset)하는 한정된 시퀀스가 사용되어야 한다.

시퀀스 유형	시퀀스
결정론적인 시퀀스(DS)	10110010
워터마크 시퀀스(WS)	01011100
수정된 시퀀스	001001111000

워터마크를 삽입하는 파라메터의 선택

본 발명의 상기 특징에 따른 다른 변형에 따라서, 결정론적인 시퀀스는 워터마크를 삽입하도록 사용된 파라메터 또는 파라메터들을 선택한다. 전체적으로, 워터마크를 삽입하도록 몇개의 파라메터들중 그 어떤 하나라도 채용할 수 있다. 예를 들면, 하나의 파라메터의 변조는 특정의 주파수 범위내에서 스펙트럼 에너지 변조를 초래할 수 있으며 다른 파라메터의 변조는 디코드된 신호의 대역폭에서의 감소를 초래한다. 단지 하나의 파라메터가 변조되었다면, 결과적인 워터마크는 스펙트럼 에너지 변조에 대한 예리한 감도로써 사람에게 보다 더욱 지각될 수 있을 것이다. 다른 한편으로, 만약 사용된 삽입 기술이 하나의 파라메터를 변조하는 것과 다른 것을 변조하는 것 사이에서 전환된다면, 결과적인 워터마크는 보다 덜 지각될 수 있다. 파라메터를 삽입하는 워터마크의 수가 증가하면, 이러한 효과는 보다 현저하게 된다 (워터마크에 의해서 도입된 손상은 더욱 노이즈와 같을 것이다).

표 2 는 코딩 파라메터가 변조를 위해서 선택될 수 있는 두가지 방법을 나타낸다. 표 2 의 "a" 부분에 도시된 제 1 의 예에서, 파라메터 1 과 2 는 결정론적인 시퀀스(DS)에 따라서 워터마크 시퀀스(WS)의 값을 취한다. 예를 들면, 파라메터 1은, DS 값이 "0" 이면 WS 값을 반영하는 상태로 변조되며, 그렇지 않으면 "0" 값을 반영하는 상태로 변조된다 (각 상태는, 그럴 필요는 없지만, 파라메터의 디폴트 값일 수 있다). 양쪽 파라메터들과 DS 로부터의 시퀀스는 이러한 예에서 WS 를 검출하는데 필요하다. 표 2 의 "b" 부분에 도시된 제 2 의 예에서, 파라메터 1 과 2 는 단지 WS 자체에 의존하여 WS 의 값을 반영하는 상태로 변조된다. 예를 들면, 파라메터 1 은 그것의 디폴트 상태로부터 "0"의 WS 값을 반영하는 상태로 변조되며 파라메터 2 는 그것의 디폴트 상태로부터 "1"의 WS 값을 반영하는 상태로 변조된다. 이러한 방식으로 파라메터들이 WS 를 전달하면서, 각 파라메터는 독립적으로 검출될 수 있다.

시퀀스유형	시퀀스
결정론적인 시퀀스(DS)	10110010
워터마크 시퀀스(WS)	01011100
a	파라메터 1 = WS, DS (0)	01001100
a	파라메터 2 = WS,DS (1)	00010000
b	파라메터 1 = 1, WS (0)	1010011
b	파라메터 2 = 1, WS (1)	01011100

변조를 위한 파라메터의 선택이 변화하는 비율의 수정

본 발명의 상기 특징에 따른 다른 변형에 있어서, 변조를 위한 파라메터의 선택은 결정론적인 시퀀스에 따라서 변화될 수 있다. 이것은, 삽입 기술을 일정한 비율로 변화시킴으로써 도입된 주기적인 효과가 소거되므로, 워터 마크의 지각성을 더 감소시킬 수 있다. 이러한 예에서, 파라메터(1)는 WS 의 역을 반영하는 상태로 변조되며 (어느 쪽의 상태도, 꼭 그럴 필요는 없지만, 파라메터의 디폴트 값일 수 있다) DS 값이 "1" 일때 심볼은 반복되며 그렇지 않으면 반복되지 않는다. 표 2 의b 부분의 예에서, 양쪽 파라메터들은 워터마크를 전달한다.

시퀀스 유형	시퀀스
결정론적인 시퀀스(DS)	10110010
워터마크 시퀀스(WS)	01011100
수정된 시퀀스(기술 천이의 비율)	파라메터 1= -(WS), DS(0)	110110000110
수정된 시퀀스(기술 천이의 비율)	파라메터 2 =WS, DS(1)	001001111001

소스 신호의 특징에 응답하여 파라메터 변조를 제어함

소스 신호 분석을 사용하여 워터마크 심볼 천이의 비율을 수정함

본 발명의 상기 특징의 다른 변형은 소스 신호의 특징을 분석하고, 그리고 다음에 파라메터 변조의 천이 비율을, 그리고 결국엔 이러한 분석의 결과에 기초한 워터마크 심볼 천이의 비율을 적합하게 제어하는 것을 포함한다. 특히, 소스 신호의 특징에 응답하여, 파라메터 변조 상태의 지속 기간과, 결국에는 워터마크 심볼 상태의 지속 기간을 변화시키는 것을 포함한다. 예를 들면, 신호 조건을 급속하게 변화시키는 것은 워터마크 심볼 천이의 지각성을 줄이도록 사용될 수 있는 일시적인 마스킹의 유용한 정도를 제공할 수 있다. 시간 도메인 소스 신호의 진폭이 프레임(1)으로부터 프레임(2)으로 미리 정해진 쓰레숄드를 지나서 변화하면 (소스 시호가 프레임을 가진 디지탈 신호 스트림내로 포맷되었다고 가정함), 워터마크 심볼은 프레임(1)에서의 하나의 값으로부터 프레임(2)에서의 다른 값으로 변화될 수 있다. 프레임(3)에서, 소스 신호의 특징이 다양한 프레임으로부터 쓰레숄드를 지나서 변화하지 않는다면, 심볼은 값을 변화시키도록 허용될 수 없다. 워터마크 심볼 천이를 아래에 놓인 소스 신호내에서 마스킹 이벤트 또는 다른 "변화에 친근한" 조건으로 상호 연관시킴으로써, 워터마크의 지각 불가능성이 향상될 수 있다.

표 4 에서, 소스-정의된 시퀀스(source defined sequence;SDS)는 일시적인 검출과 같은 쓰레숄드 과정의 출력을 나타낸다. 이러한 예를 들면, "0" 의 SDS 값은 일시적인 조건이 발생하지 않는다는 것을 나타내며, "1"의 값은 일시적인 것이 블록내에 존재하였다는 것을 나타낸다. 표 4 의 "a" 부분에서, SDS 가 "1"의 값을 가진다면 WS 의 값이 (파라메터의 같은 변조 상태를 반복함으로써) 반복된다. SDS 가 "0" 의 값을 가진다면, 워터마크 심볼은 반복되지 않는다. 이러한 예에서, 단일의 코딩 파라메터가 워터마크를 전달하는 것으로 가정된다.

소스 신호 분석을 사용하여 변조를 위한 파라메터의 선택이 변화하는 비율을 수정함.

본 발명의 다른 특징에 있어서, 방금 설명된 특징은, 변조를 위한 파라메터의 선택이 파라메터 변조 비율에 반대로 변화하는 비율을 수정하는 소스 신호의 특징을 이용하기 위하여 수정된다. 방금 설명된 특징에서와 같이, 소스 신호가 일시적인 마스킹 또는 다른 "변화에 친근한" 조건을 제공할때 천이가 발생한다면, 천이는 지각이 덜 될 수 있다는 점에서 유익하다.. 이러한 실시예의 예는 표 4 의 b 부분에 도시되어 있다. 이러한 예에서, 파라메터(1)는 WS 의 역을 반영하는 상태로 변조되고 (어떤 상태도, 꼭 그럴 필요는 없지만, 파라메터의 디폴트 값일 수 있다) SDS 값이 "1" 일때 심볼이 반복되며 그렇지 않으면 반복되지 않는다. 파라메터 2 는 WS 의 디폴트 값을 반영하는 상태로 변조되며 ( 그 어떤 상태도, 꼭 그럴 필요는 없지만, 파라메터의 디폴트 값일 수 있다. ) SDS 값이 "1" 일때 심볼은 반복되며 그렇지 않으면 반복되지 않는다. 표 2 의 b 부분의 예에서와 같이, 양쪽 파라메터들은 워터마크를 전달한다. 이러한 접근은 표 3 에 도시된 것과 같지만, 천이가 SDS 에 의해서 여기에 한정되어 있다는 점에서만 상이하다.

	시퀀스 유형	시퀀스
	신호 정의 시퀀스(SDS)	00101110
	워터마크 시퀀스(WS)	01011100
	수정된 시퀀스(심볼 천이의 비율)	파라메터 1	010011111000
a	수정된 시퀀스(기술 천이의 비율)	파라메터 1= -(WS), SDS(0)	101100000111
b	수정된 시퀀스(기술 천이의 비율)	파라메터 2 = WS, SDS(1)	010011111000

소스 신호 분석을 사용하여 워터마크를 삽입하는 파라메터를 선택함.

본 발명의 다른 특징에 있어서, 변조에 이용 가능한 파라메터의 이용 가능한 세트에서의 파라메터의 수는 소스 신호의 특징에 기초하여 수정된다. 특정의 워터마크 시스템이 그 어떤 몇가지 상이한 파라메터라도 변조함으로써 워터마크를 삽입할 수 있다고 가정하자(예를 들면, 스펙트럼 에너지 부스트(boost), 일시적인 노이즈 삽입, 대역폭 감소등을 초래하는 파라메터들). 소스 신호의 현재 특성에 기초하여, 이들 파라메터의 전부가 디코드된 신호에서의 지각 불가능한 변화를 야기할 수는 없다. 예를 들면, 소스 신호가 정지 상태이면, 일시적인 노이즈 삽입은 지각 가능하게 마스크된 주파수 범위에서의 스펙트럼 에너지 부스트보다 더 지각될 수 있다. 결과적으로 파라메터들이 현재 신호 특성에 대하여 더 지각될 수 있는 결과를 야기할 것 같은 것을 허용하지 않도록 파라메터들의 이용 가능한 세트를 감소시키는 것이 유리할 수 있다.

표 5 에서, 일 예는 위에서 설명된 바와 같이 같은 쓰레숄드 과정(일시적인 검출)에 기초한 신호-정의 시퀀스(SDS)를 나타낸다. "1"의 SDS 값은 일시적인 조건이 블록내에 존재한다는 것을 나타내며 "0"의 SDS 값은 일시적인 조건이 존재하지 않는다는 것을 나타낸다. 표 5 에서, 파라메터 1 과 2 는 일시적인 조건이 존재하지 않을때 (SDS = 0) 워터마크를 명목상으로 전달하는데, 파라메터 1 은 "0"의 WM 값에 대하여 "1" 의 값을 반영하는 변조 상태와 그렇지 않으면 "0" 의 값을 반영하는 변조 상태를 가지고, 파라메터 2 는 "1" 의 WM 값에 대하여 "1" 의 값을 반영하는 변조 상태와 그렇지 않으면 "0"의 값을 반영하는 변조 상태를 가진다. 일시적인 조건이 존재하면(SDS = 1), 파라메터 3 과 4 는 변조되는데, 이러한 파라메터는 파라메터 1 과 2 대신에 일시적인 왜곡을 최적으로 야기하여, 스펙트럼 왜곡을 야기한다. 파라메터의 수를 감소시켜서, 결정론적인 시퀀스가 보다 작은 세트로부터의 파라메터를 선택하도록 사용될 수 있으며, 그에 의해서 파라메터들 사이에서 전환되는 장점을 보유하는 있으며, 동시에 현재 소스 신호 특징에 비추어서 바람직스러운 파라메터들중에서 적합하게 선택할 수 있다.

시퀀스 유형	시퀀스
신호 정의된 시퀀스(SDS)	00101110
워터마크 시퀀스(WS)	01011100
파라메터 1 = 1, WS(0), SDS(0)	10000001
파라메터 2 = 1, WS(1), SDS(0)	01010000
파라메터 3 = 1, WS(0), SDS(1)	00100010
파라메터 4 = 1, WS(1), SDS(1)	00001100

소스 신호의 특징과 결정론적인 시퀀스에 응답하여 파라메터 변조를 제어함

단지 입력 신호의 특징 또는 단지 결정론적인 시퀀스를 이용하여 파라메터의변조를 제어하는 것에 부가하여, 본 발명은 입력 신호의 특징 및, 결정론적인 시퀀스에 응답하여 파라메터 변조를 제어하는 것을 고려한다.

파라메터 변조를 제어하기 위하여 결정론적인 시퀀스와 소스 신호 특징의 사용을 조합하는 다중의 방법이 존재한다. 그렇게 하는 것은 지각 불가능성 및/또는 강력함을 더욱 향상시킬 수 있다. 그러한 방법에 있어서, 코딩 파라메터의 서브세트(subset)가 신호 특징의 상이한 상태를 위하여 사용되는 결정론적인 시퀀스가 선택된다. 보다 상세하게는, 위의 표 5 의 예를 사용하여, 추이가 존재하지 않고(SDS = 0) 그리고 파라메터들이 결정론적인 시퀀스에 기초하여 선택될때 제 1 의 두개의 파라메터들이 변조를 위해서 선택된다. 도 6 은 이러한 방법을 도시한다.

시퀀스 유형	시퀀스
신호 정의 시퀀스(SDS)	00101110
결정론적인 시퀀스(DS)	10110010
워터마크 시퀀스(WS)	01011100
파라메터 1 = 1, SDS(0), DS(0), WS(0)	00000001
파라메터 2 = 1, SDS(0), DS(0), WS(1)	01000000
파라메터 3 = 1, SDS(0), DS(1), WS(0)	10000000
파라메터 4 = 1, SDS(0), DS(1), WS(1)	00010000
파라메터 5 = 1, SDS(1), DS(0), WS(0)	00000000
파라메터 6 = 1, SDS(0), DS(0), WS(0)	00001100
파라메터 7 = 1, SDS(0), DS(0), WS(0)	00100010
파라메터 8 = 1, SDS(0), DS(0), WS(0)	00000000

다른 예에서, 결정론적인 시퀀스는 신호-정의된 시퀀스에 의해서 수정된 워터마크 시퀀스의 천이 비율을 수정한다. 표 7 은 이러한 방법을 나타낸다. 제 2 의 칼럼은 SDS 에 기초한 삽입 기술을 변경하는 제 1 단계를 나타내고 제 3 칼럼은 DS 에 기초한 시퀀스의 비율을 더 변경하는 제 2 단계를 나타낸다. 이전의 예에서와 같이, 시퀀스 값은 SDS 가 "1" 의 값을 가진다면 반복된다. SDS 가 "0" 의 값을 가진다면, 시퀀스 값은 반복되지 않는다.

시퀀스 유형	시퀀스	시퀀스(DS/SS)
신호 정의 시퀀스(SDS)	00101110
결정론적인 시퀀스(DS)	10110010
워터마크 시퀀스(WS)	01011100
파라메터 1 = 1, WS(0), SDS(0)	10000001	110000000001
파라메터 2 = 1, WS(1), SDS(0)	01010000	001001100000
파라메터 3 = 1, WS(0), SDS(1)	00100010	000110000110
파라메터 4 = 1, WS(1), SDS(1)	00001100	000000011000

다중의 코딩 파라메터들이 삽입 시퀀스를 전달하는 각 예들을 가지고, 같은 워터마킹 시퀀스를 다중의 코딩 파라메터에 적용하여 공격하거나 또는 처리하는 에러의 탄력성을 증가시킴으로써 여분을 부가할 가능성이 존재한다. 보다 덜 복잡한 검출을 용이하게 하도록, 그러한 코딩 파라메터들은 제한된 관계 또는 소정의 등급 조직을 가질 수 있어서, 만약 하나의 파라메터가 에러들을 가진다면 검출기는 다른 코딩 파라메터로부터의 메세지를 회복할 수 있을 것이다.

더욱이, 결정론적인 시퀀스는, 어떤 파라메터가 워터마크를 운반하는지를 공격자가 추론하는 것을 어렵게 하도록 하나 또는 다른 코딩 파라메터들을 동시에 변조하도록 사용될 수 있다. 표 8 에 도시된 예에서, 파라메터(1)는 워터마크 시퀀스를 운반하며 결정론적인 시퀀스는 파라메터 2 또는 파라메터 3 의 어떤 것이 워터마크 시퀀스에 기초하여 변화할 것인지를 명기한다. 파라메터 2 와 3 은 이러한 경우에 워터마크를 운반하지 않지만, 유인자(decoy)로서 작용한다. 이러한 예에서, 유인자 파라메터들은 DS 의 적절한 상태에 대하여 WS 와 같을 것이며, 그렇지 않으면 "0" 이 될 것이다.

시퀀스 유형	시퀀스
결정론적인 시퀀스(DS)	10110010
워터마크 시퀀스(WS)	01011100
파라메터 1 = WS	01011100
파라메터 2 = WS, DS(0)	01001100
파라메터 3 = WS, DS(1)	00010000

결론

본 발명과 그것의 다양한 특징들의 다른 변형과 수정의 이행은 당해 기술 분야에서 통상의 지식을 가진 자들에게 명백할 것이며, 본 발명은 설명된 특정의 구현예들에 의해서 제한되지 않는다. 따라서 본 발명은 여기에서 개시되고 청구된 근본적인 사상의 범위내에 속하는 그 어떤 모든 수정, 변형예, 또는 등가예를 포괄한다는 점을 이해하여야 한다.

본 발명과 그것의 다양한 특징들은 디지탈 신호 프로세서, 프로그램된 일반 목적의 디지탈 컴퓨터, 및/또는 특수한 목적인 디지탈 컴퓨터로서 수행된 소프트웨어 함수로서 이행될 수 있다. 아날로그와 디지탈 신호 스트림 사이의 인터페이스는 적절한 하드웨어에서 그리고/또는 소프트웨어 그리고/또는 펌웨어에서의 함수로서 수행될 수 있다.

Claims

부수 정보가 디코더 함수의 출력에서 검출될 수 있도록 부수 정보에 따라서 지각 코딩 시스템의 엔코더 함수 및/또는 디코더 함수를 수정하는 방법으로서,

상기 부수 정보에 응답하여 상기 엔코더 함수 및/또는 상기 디코더 함수내의 하나 또는 그 이상의 파라메터를 변조시키는 방법.
제 1 항에 있어서,

상기 지각 코더는 혼성의 순방향/역방향 비트 할당을 채용하는 유형의 오디오 코더인 것을 특징으로 하는 방법.
제 2 항에 있어서,

상기 하나 또는 그 이상의 파라메터들이,

마스킹 모델과 비트 할당,

채널들 사이의 커플링

주파수 대역폭,

디더(dither) 제어,

위상 관계 및,

시간/주파수 변형 윈도우의 카테고리들중 하나 또는 그 상에 속하는 하나 또는 그 이상의 파라메터를 포함하는 것을 특징으로 하는 방법.
제 1 항에 있어서,

상기 지각 코더는 순방향 비트 할당을 채용하는 유형의 오디오 코더인 것을 특징으로 하는 방법.
제 4 항에 있어서,

상기 하나 또는 그 이상의 파라메터는,

마스킹 모델과 비트 할당,

채널들 사이의 커플링

일시적인 노이즈 형상화 필터 계수 및,

시간/주파수 변형 윈도우들의 카테고리들중 하나 또는 그 이상에 속하는 하나 또는 그 이상의 파라메터를 포함하는 것을 특징으로 하는 방법.
제 1 항에 있어서,

상기 지각 코더는 비디오 코더이며 상기 하나 또는 그 이상의 파라메터는 프레임 유형 및, 운동 제어의 카테고리들중 하나 또는 그 이상에 속하는 하나 또는 그 이상의 파라메터를 포함하는 것을 특징으로 하는 방법.
제 1 항에 있어서,

상기 하나 또는 그 이상의 파라메터들은, 디코드된 출력 신호에 있어서,

신호-대-노이즈 비율,

양자화기 노이즈,

채널들 사이의 시간 관계,

주파스 대역폭,

형상화된 노이즈,

채널들 사이의 위상 관계 및,

넓은 스펙트럼의, 시간-가명(time-aliasing) 노이즈들중 하나 또는 그 이상에 영향을 미치는 파라메터들로부터 선택되는 것을 특징으로 하는 방법.
제 1 항에 있어서,

상기 하나 또는 그 이상의 파라메터들은,

두개의 값들 사이에서 두개의 값으로 된 파라메터를 변환시키는 작용,

파라메터의 디폴트 값과 하나 또는 그 이상의 다른 값들 사이에서 파라메터를 변화시키는 작용 및,

그것의 디폴트 값과 다른 값들 사이에서 파라메터를 변화시키는 작용들중 하나를 수행함으로써 변조되는 것을 특징으로 하는 방법.
제 1 항에 있어서,

상기 하나 또는 그 이상의 파라메터의 변조의 정도가 제어되는 것을 특징으로 하는 방법.
제 9 항에 있어서,

상기 하나 또는 그 이상의 파라메터들의 변조의 정도는 상기 하나 또는 그 이상의 파라메터의 변조로부터 초래된 디코드된 신호에서 산물(artifacts)의 지각성을 제한하도록 제어되는 것을 특징으로 하는 방법.
제 1 항에 있어서,

다음의 변조 특성들, 즉,

변조를 위한 하나 또는 그 이상의 파라메터들,

파라메터 선택의 비율 및,

파라메터 상태 천이의 비율들중 하나 또는 그 이상이 부수 정보에 응답하여 그리고 하나 또는 그 이상의 다른 신호 또는 시퀀스들의 함수로서 결정되도록 파라메터의 변조가 부수 정보에 따라서 간접적으로 제어되는 것을 특징으로 하는 방법.
제 11 항에 있어서,

상기 하나 또는 그 이상의 다른 신호들 또는 시퀀스는,

명령의 한 세트 및,

코딩 시스템의 엔코더에 대한 입력 신호의 특성들중 어느 하나 또는 양쪽을 포함하는 방법.
제 12 항에 있어서,

상기 명령의 세트는 결정론적인 시퀀스를 포함하는 것을 특징으로 하는 방법.
제 13 항에 있어서,

상기 결정론적인 시퀀스는 모조-무작위-수(pseudo-random-number) 시퀀스인 것을 특징으로 하는 방법.
제 1 항에 있어서,

상기 하나 또는 그 이상의 파라메터들은 상기 엔코더 함수에서 변조되는 것을 특징으로 하는 방법.
제 1 항에 있어서,

상기 하나 또는 그 이상의 파라메터들은 상기 디코더 함수에서 변조되는 것을 특징으로 하는 방법.
제 1 항에 있어서,

상기 하나 또는 그 이상의 파라메터들은 상기 엔코더 함수 및 상기 디코더 함수에서 변조되는 것을 특징으로 하는 방법.
제 1 항에 따라 디코더의 출력에서 부수 정보를 검출하며 부수 정보에 따라 지각 코딩 시스템의 엔코더 및/또는 디코더의 작동을 변경하기 위한 방법에 있어서,

디코더 함수의 출력에서 부수 정보를 검출하는 것을 특징으로 하는 방법.
제 18 항에 있어서,

디코더 함수의 출력에서 부수 정보를 검출하는 단계는:

디코딩된 신호를 관측하는 단계,

디코딩된 신호를 엔코딩된 함수에 인가된 신호와 비교하는 단계, 및

상기 디코딩된 신호와, 엔코더 함수 또는 디코더 함수의 어떠한 파라메터도 부수 정보에 응답하여 변조되는 않는 대체로 동일한 지각 코딩 시스템으로부터의 디코딩된 신호를 비교하는 단계

들중 하나에 의해 달성되는 것을 특징으로 하는 방법.
제 19 항에 있어서,

상기 디코딩된 신호를 관측하는 단계는 디코딩된 신호와 시간 지연 버전을 자체적으로 비교하는 단계를 포함하는 것을 특징으로 하는 방법.