KR100341197B1 - 오디오 데이터로 부가 정보를 매립하는 방법 및 시스템 - Google Patents

오디오 데이터로 부가 정보를 매립하는 방법 및 시스템 Download PDF

Info

Publication number
KR100341197B1
KR100341197B1 KR1019990034798A KR19990034798A KR100341197B1 KR 100341197 B1 KR100341197 B1 KR 100341197B1 KR 1019990034798 A KR1019990034798 A KR 1019990034798A KR 19990034798 A KR19990034798 A KR 19990034798A KR 100341197 B1 KR100341197 B1 KR 100341197B1
Authority
KR
South Korea
Prior art keywords
additional information
embedding
frequency
frame
audio data
Prior art date
Application number
KR1019990034798A
Other languages
English (en)
Other versions
KR20000022748A (ko
Inventor
고바야시세이지
첸딘디
오시마요시아키
시미즈슈이치
모리모토노리시게
Original Assignee
포만 제프리 엘
인터내셔널 비지네스 머신즈 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 포만 제프리 엘, 인터내셔널 비지네스 머신즈 코포레이션 filed Critical 포만 제프리 엘
Publication of KR20000022748A publication Critical patent/KR20000022748A/ko
Application granted granted Critical
Publication of KR100341197B1 publication Critical patent/KR100341197B1/ko

Links

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B15/00—Driving, starting or stopping record carriers of filamentary or web form; Driving both such record carriers and heads; Guiding such record carriers or containers therefor; Control thereof; Control of operating function
    • G11B15/02—Control of operating function, e.g. switching from recording to reproducing
    • G11B15/05—Control of operating function, e.g. switching from recording to reproducing by sensing features present on or derived from record carrier or container
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/018—Audio watermarking, i.e. embedding inaudible data in the audio signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H20/00—Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/28—Arrangements for simultaneous broadcast of plural pieces of information
    • H04H20/30—Arrangements for simultaneous broadcast of plural pieces of information by a single channel
    • H04H20/31—Arrangements for simultaneous broadcast of plural pieces of information by a single channel using in-band signals, e.g. subsonic or cue signal
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/00086—Circuits for prevention of unauthorised reproduction or copying, e.g. piracy
    • G11B20/00884—Circuits for prevention of unauthorised reproduction or copying, e.g. piracy involving a watermark, i.e. a barely perceptible transformation of the original data which can nevertheless be recognised by an algorithm
    • G11B20/00891—Circuits for prevention of unauthorised reproduction or copying, e.g. piracy involving a watermark, i.e. a barely perceptible transformation of the original data which can nevertheless be recognised by an algorithm embedded in audio data

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

본 발명에 따르면, 오디오 데이터에 대하여 저작권 정보 등의 부가 정보의 매립에 의한 음질의 변화를 인간의 청각으로는 검지할 수 없도록 매립하면서, 한편, 음질에 현저한 열화를 야기시키지 않는 범위에서의 오디오 데이터의 처리에 대하여, 매립한 부가 정보가 잔존하여, 신뢰성을 갖고 검출할 수 있도록 하기 위한 방법 및 그 시스템을 제공하는 것이다.
오디오 데이터에 부가 정보를 매립하는 데 있어서, 우선 오디오 데이터를 주파수 변환하고, 오디오 데이터에 근거하여, 상기 오디오 데이터에 부가 정보를 매립할 수 있는 주파수의 변경 범위를 결정하여, 부가 정보 매립용 마스크를 생성한다. 그리고, 주파수 변환된 오디오 데이터의 상기 매립할 수 있는 주파수의 변경 범위에, 부가 정보를 부가 정보 매립용 마스크를 이용하여 매립한다. 마지막으로 부가 정보가 매립된 주파수 변환된 오디오 데이터를, 오디오 데이터로 역 변환하도록 구성한다. 반대로, 오디오 데이터에 매립된 부가 정보를 검출하기 위해서는, 우선 오디오 데이터를 주파수 변환하고, 주파수 변환된 오디오 데이터로부터, 부가 정보의 개시 위치를 특정하는 프레임 동기 검출 수단을 마련하여, 동기 검출용 마스크를 생성한다. 그리고 주파수 변환된 오디오 데이터의, 부가 정보의 개시 위치로부터, 부가 정보 검출용 마스크를 이용하여 부가 정보를 검출하도록 구성한다.

Description

오디오 데이터로 부가 정보를 매립하는 방법 및 시스템{SYSTEM FOR EMBEDDING ADDITIONAL INFORMATION IN AUDIO DATA}
본 발명은 오디오 신호가 디지털화된 오디오 데이터에 대하여 저작권 정보 등의 부가 정보를 매립, 검출하는 방법 및 그 시스템에 관한 것으로, 특히 부가 정보를 매립한 오디오 데이터의 음질에 현저한 열화를 야기시키지 않는 범위에서의 개변(改變)에 대하여, 매립한 정보를 신뢰성을 갖고 검출할 수 있는 방법 및 그 시스템에 관한 것이다.
현재, 디지털화된 음악 콘텐츠(content)는 CD만이 아니라, 인터넷을 경유해서도 제공되고 있다. 이러한 디지털·오디오 데이터는, 몇번을 듣더라도 음질의 열화가 없다고 하는 이점이 있는 반면, 완전한 복제품을 용이하게 다량으로 작성할 수 있기 때문에, 이전보다도 한층 더 부정 복사 방지 기술이 중요시되고 있다. 이들의 부정한 복사(copy)를 막기 위해서는, 미리 저작권 정보 등을 오디오 데이터 자체에 매립함으로써 저작권의 소재를 명확히 하거나, 또한 콘텐츠 배포 대상(a distribution destination)의 정보를 매립함으로써 부정한 복사가 나돈 경우에도 그 유출 경로를 추적하는 것을 고려할 수 있다. 이 때, 콘텐츠의 상품 가치를 떨어뜨리지 않기 위해서는, 정보의 매립에 의한 음질의 변화가 사람의 귀에 들려서는 안된다. 또한, 콘텐츠에는 필터 처리, MPEG나 AC3나 ATRAC 등의 압축/신장, 디지털/아날로그 변환과 아날로그/디지털 변환, 트리밍(trimming), 재생 속도의 변화 등의 처리를 고려할 수 있기 때문에, 오디오 데이터의 음질에 현저한 열화를 야기하지 않는 범위에서의 데이터값의 변경, 결손, 삽입, 리샘플링에 대하여, 매립한 정보가 그대로 남겨질 필요가 있다.
종래의 오디오 데이터로의 부가 정보의 매립 검출 방법은 기밀성(機密性)이 우수하지만, 인간의 청각으로는 검지할 수 없도록 부가 정보를 약하게 매립할 경우, 압축/신장, 필터링, 디지털·아날로그 변환 등의 데이터 처리에 대하여, 매립한 부가 정보가 소거되어 버리는 등, 내성(耐性)면에서 문제가 있었다. 오디오 데이터로의 부가 정보 매립 검출 방법으로서 일반적인 것은 PN(Pseudo-random Noise) 변조에 의한 확산 스펙트럼(Spread Spectrum)법이다. 이 방법에서는, 시간 영역에서, 의사 랜덤으로 보이는 노이즈에 의해 부가 정보를 변조하여 매립한다. 결과적으로, 주파수 공간에서는 매립 정보에 대응하는 성분의 스펙트럼이 확산되어 보인다. 상기한 것에 속하는 기술로서는 USP4979210, 5073925, 5319735 등이 있다.
이들 방법에서는, 적당한 암호 기술(예를 들면, DES)에 의해 생성된 +1과 1로 이루어지는 의사 난수열 Rn을 사용하여 비트열 정보 Bm을 변조해서, 오디오의 샘플열 An에 다음과 같이 변조하여 매립한다.
여기서, Bm은 +1 또는 1로서 1 비트를 나타내는 것으로 하고, 또한, n=0, 1, …N-1이며, c는 매립의 강도이다. 검출은 다음 수학식 2에 의해, 비트열 정보를 추출한다.
열 Rn이 랜덤하면, ΣANm+nRNm+n이 약분될 것을 기대할 수 있기 때문이다. 시간축에서의 매립으로서는, 인간 청각의 주파수 특성을 이용할 수 없어 음질 열화의 제어가 어렵기 때문에, 매립에 의한 음질 변화를 귀로 검지할 수 없도록 약하게 매립하면, 압축/신장 등의 처리에 매립 정보가 잔존하지 않았다.
이에 반하여, USP5687191에서는, 정보를 매립할 때, 시간 신호인 샘플열을 다위상 필터(polyphase filter)에 의해 복수의 주파수대로 분해하여, 각 주파수대마다 의사 랜덤한 노이즈에 의해 정보를 변조하여 매립한다. 이 이점은, 주파수대마다 서로 매립 강도를 사용할 수 있어, 인간 청각의 주파수 특성을 이용할 수 있다고 하는 데에 있다. 이에 따라, 지금까지의 방법 중에서는, 음질의 열화가 없이 내성있는 매립을 실현하였다.
USP5613004나 USP5687236의 방법은, 본 발명과 마찬가지로, 주파수 변환된 주파수 성분에 정보를 매립하여 검출한다. 이들은 기밀성을 높이기 위해서 신호 확산의 수단으로서 주파수 공간에서의 매립·검출을 제안하고 있다. 그러나, 상기 USP에서는 고음질 고내성의 매립·검출 방법을 제공하지 않는다. 이들의 방법으로는, 무압축 디지털 오디오의 샘플열을 구획하여 서로 겹치지 않는 영역(윈도우라고 칭함)으로 나눈 다음, 각각에 FFT(Fast Fourier Transformation)를 적용한다. 초기마스크(primary mask)와 콘볼루션 마스크(convolutional mask)는, FFT에 의해 얻어진 주파수 성분에 1 비트의 신호를 매립할 것인지 여부를 제어하는 데 이용된다. 초기 마스크와 콘볼루션 마스크는 모두 의사 랜덤한 비트열이며, 초기 마스크의 사이즈는 주파수의 수에 대응한다. 각 윈도우는 콘볼루션 마스크의 특정한 위치에 대응하며, 그 윈도우의 각 주파수 성분에 매립할 것인지 여부를, 주파수에 대응하는 위치의 초기 마스크의 비트값과 윈도우에 대응하는 위치의 콘볼루션 마스크의 비트값과의 논리 연산의 결과가 참인지 거짓인지에 따라서 매립 여부를 결정한다.
매립의 방법에 대해서, USP5613004에서는 매립 주파수 성분의 특정한 비트 위치에 맵 정보(부가 정보로부터 작성된 용장성을 포함한 비트열)의 비트를 매립하는 것으로 하고, USP 5687236에서는 매립 주파수 성분을 본래의 값에 대하여 상대적으로 사전 설정된 범위에 들어가도록 변경함으로써 비트를 매립하는 것으로 하고 있다. 두 경우 모두, 1 비트를 1 주파수 성분에 매립하는 것으로 하고 있으며, 매립한 정보의 기밀성은 초기 마스크와 콘볼루션 마스크에 의해 유지되고 있지만, 압축·신장이나 각 주파수 성분에 있어서의 랜덤·노이즈 부가 등의 데이터 처리에는 매립한 정보가 잔존하지 않는다.
또한, 메시지 개시의 구획(start of message delimiter)은, 비교적 긴 비트열로 이루어지는 부호로, 검출 비트열상에서 윈도우의 구획과 메시지 개시 위치를 검출하기 위해 이용한다. 그들의 명세서에 따르면, 1 윈도우당 128 샘플로서 64 비트가 매립되고, 16 윈도우로 1024 비트의 부호가 가능하며, 이것이 우연히 일치할 확률은 대단히 작기 때문에, 특정한 1024 비트 부호를 메시지 개시의 구획으로서 사용할 수 있는 것으로 하고 있다. 윈도우의 구획이나 메시지 개시 위치의 탐색은, 메시지 개시의 구획을 검출할 때까지 윈도우의 개시 위치를 1 샘플씩 어긋나게 함으로써 실행한다. 이 방법에서는, 매립 부가 정보가 길면, 메시지 개시 위치의 탐색에 걸리는 부하가 커져, 디지털·아날로그 변환에서 빈번히 발생하는 데이터 결손·삽입에 의한 재동기의 필요성에는 대응할 수 없다.
따라서, 본 발명이 해결하고자 하는 목적은, 오디오 데이터에 대하여 저작권 정보 등의 부가 정보의 매립에 의한 음질의 변화를 인간의 청각으로서는 검지할 수 없도록 매립하면서, 음질에 현저한 열화를 야기시키지 않는 범위에서의 오디오 데이터의 처리에 대하여, 매립한 부가 정보가 잔존하여, 신뢰성을 갖고 검출할 수 있도록 하기 위한 방법 및 그 시스템을 제공하는 것이다.
또한, 다른 목적은, 고음질로 고내성의 매립·검출이 가능한, 오디오 데이터로의 부가 정보 매립·검출 방법 및 그 시스템을 제공하는 것이다.
또 다른 목적은, 오디오 데이터의 샘플열을 주파수 변환하여, 주파수 공간상에서 조작을 가하는 것에 의해, 부가 정보를 매립하는 방법 및 시스템을 제공하는 것이다.
또 다른 목적은, 압축·신장이나 각 주파수 성분에서의 랜덤·노이즈 부가 등의 데이터 처리에 견딜 수 있는, 오디오 데이터로 부가 정보를 매립하는 방법 및 시스템을 제공하는 것이다.
또 다른 목적은, 매립된 부가 정보의 탐색에 걸리는 부하를 작게 할 수 있는, 오디오 데이터로의 부가 정보 매립·검출 방법 및 그 시스템을 제공하는 것이다.
또 다른 목적은, 디지털·아날로그 변환에서 빈번히 발생하는 데이터 결손·삽입에 의한 재동기의 필요성에 대응할 수 있는, 오디오 데이터로의 부가 정보 매립·검출 방법 및 그 시스템을 제공하는 것이다.
도 1은 본 발명의 부가 정보 매립 장치의 블럭도,
도 2는 본 발명의 부가 정보 검출 장치의 블럭도,
도 3은 부가 정보의 매립/검출에 있어서 사용되는 시스템의 하드웨어 구성예,
도 4는 본 발명의 부가 정보 매립 처리의 흐름을 도시한 도면,
도 5는 본 발명의 부가 정보 검출 처리의 흐름을 도시한 도면,
도 6은 프레임에서의 신호의 매립 처리의 흐름을 도시한 도면,
도 7은 프레임에서의 신호 검출 처리의 흐름을 도시한 도면,
도 8은 위상을 이용하여 프레임 개시 위치를 탐색하는 처리의 흐름을 도시한 도면,
도 9는 위상이 정렬된 신호의 매립에 의한 신축률의 추정 처리의 흐름을 도시한 도면,
도 10은 반복 주기가 상이한 복수 정보 매립에 있어서, 종래 방법과 본 발명의 방법의 차이를 도시한 도면,
도 11은 바이트, 워드, 메시지 등의 해석의 구획 프레임을 사용한 경우의 개념도,
도 12는 특정한 비트열을 가산함으로써 메시지의 개시 위치를 추정하는 방법의 설명도,
도 13은 프레임에서의 검출 신뢰도를 고려하여 메시지의 개시 위치를 추정하는 방법의 설명도,
도 14는 특정한 비트열을 가산함으로써 복수의 메시지의 개시 위치를 추정하는 방법을 설명하는 도면,
도 15는 5 비트 길이의 열을 이용하여 3 비트의 정보를 매립하는 예를 나타내는 도면.
도면의 주요 부분에 대한 부호의 설명
110,210 : 입력 제어 120,220 : 주파수 변환
130 : 청각 심리 모델 산출 140 : 부가 정보 매립
150 : 출력 제어 장치 160,270 : 의사 난수 생성
170 : 부가 정보 매립용 마스크 생성
180 : 부가 정보 190 : 주파수 역변환
230 : 부가 정보 유무 검출 240 : 부가 정보 복원
250 : 부가 정보 동기 검출 260 : 부가 정보 검출
280 : 부가 정보 검출용 마스크 생성
상기 과제를 해결하기 위해서, 우선 본 발명은, 무압축의 디지털·오디오 데이터에 대하여, 인간의 청각으로는 그 변화를 검지할 수 없도록 저작권 정보 등의 부가 정보를 매립하는 「매립 시스템」과, 압축 신장이나 트리밍 등의 처리가 실시되더라도, 부가 정보가 매립되어 있는지 여부를 판정할 수 있어, 매립되어 있을 경우 그 정보를 추출하는 「검출 시스템」으로 이루어진다.
각 채널의 무압축 디지털·오디오 데이터는, 샘플이라고 불리는 정수의 열로 이루어진다. CD 품질의 오디오 데이터에서는, 각 채널이 1초당 44,100개의 16 비트 길이의 샘플의 열로 이루어진다. 본 발명에서는, 청각 심리 모델을 적용할 수 있도록, 주파수 공간에 의해 매립, 검출을 실행한다. 따라서, 본 발명의 매립 시스템, 검출 시스템에서는, 샘플열을 적당히 구획하여, 그 각각을 주파수 공간으로 변환한다. 이 주파수 변환의 대상으로 되는 샘플열의 각 구간을 여기서는 프레임(frame)이라고 부른다.
도 4에 본 발명의 부가 정보 매립 처리의 흐름을 나타낸다. 단계(410)에서는, 주파수마다 매립 신호의 위상을 정하는 마스크를 이용하여, 오디오 데이터의 각 프레임을 주파수 공간으로 변환하고, 부가 정보에 대응하는 비트 정보나 동기 신호를 주파수 성분에 매립하여, 주파수 공간에 의해 시간축상의 샘플열로 다시 되돌린다. 매립에서는, 프레임끼리는 겹치지 않지만, 간극이 있어도 무방하다. 트리밍 내성을 요할 때에는, 부가 정보는 반복하여 매립한다.
도 5에 본 발명의 부가 정보 검출 처리의 흐름을 나타낸다. 단계(510)에서는, 입력된 오디오 데이터의 샘플열로부터 프레임의 개시점을 찾는다. 단계(520)에서, 부가 정보가 매립되어 있다고 판정되면, 검출 마스크를 이용하여, 주파수 성분에 매립한 비트를 추출하고, 다음에 단계(530)에서 부가 정보의 반복 개시점을 찾아 매립한 부가 정보를 복원한다.
본 발명은, 인간으로서는 들을 수 없지만 처리 내성이 있는 정보를 각 프레임에 매립, 검출하는 방법과 그 시스템, 검출시에 올바른 프레임의 개시·종료 위치를 찾는 프레임 동기의 방법과 그 시스템, 각 프레임에서 검출된 개개의 비트 정보로부터 비트열(메시지)을 복원하기 위한 비트 반복의 개시·종료 위치를 찾기 위한 메시지 동기의 방법과 그 시스템으로 구성된다.
보다 구체적으로는, 오디오 데이터로 부가 정보를 매립하는 데에 있어서, 우선 오디오 데이터를 주파수 변환하고, 오디오 데이터에 근거하여, 상기 오디오 데이터에 부가 정보를 매립할 수 있는 주파수의 변경 범위를 결정하여, 부가 정보 매립용 마스크를 생성한다. 그리고, 주파수 변환된 오디오 데이터의 상기 매립할 수있는 주파수의 변경 범위에, 부가 정보를, 부가 정보 매립용 마스크를 이용하여 매립한다. 마지막으로 부가 정보가 매립된 주파수 변환된 오디오 데이터를, 오디오 데이터로 역 변환하도록 구성한다. 반대로, 오디오 데이터에 매립된 부가 정보를 검출하기 위해서는, 우선 오디오 데이터를 주파수 변환하고, 주파수 변환된 오디오 데이터로부터, 부가 정보 검출용 마스크를 생성하여, 부가 정보 검출을 위한 동기를 취하는 동기 검출 수단을 마련한다. 그리고 주파수 변환된 오디오 데이터로부터 동기를 취하면서 부가 정보 검출용 마스크를 이용하여 부가 정보를 검출하도록 구성한다.
발명의 실시예
이하, 오디오 데이터로의 부가 정보 매립·검출의 각 방법과 그 시스템에 관하여, 보다 상세히 설명한다.
[각 프레임에서의 매립/검출의 방법과 그 시스템]
프레임은 주파수 공간으로의 변환의 단위로 되는 샘플열 상의 구간이다. 여기서는, 각 프레임에서의 매립, 검출 방법과 그 시스템에 대하여 기술한다. 청각 심리 모델을 효과적으로 적용하기 위해서는, 프레임에 포함되는 샘플의 수는, USP5613004나 5687236 발명의 명세서에 기재되어 있는 128보다 큰 수, 512 내지 4048 정도의 수가 적절하다.
이하에서는, 무압축의 오디오 데이터에 대하여, m번째의 프레임의 n번째의샘플을 Am(n)이라고 기재하고, m번째의 프레임에 주파수 변환을 실행하여 얻은 주파수 k의 성분을 Fm(k)라고 기재한다. 프레임과 프레임 사이에 간극이 없으면, 프레임의 샘플수를 N으로 할 경우 수학식 3의 관계로 된다.
각 주파수 성분은 실부(real part)와 허부(imaginary part)로 이루어지는 복소수이지만, 본래의 샘플이 실수이기 때문에, Fm(k)와 Fm(N-k)=Fm는 복소공역의 관계에 있다. 즉, 독립된 주파수의 수는 프레임의 샘플수의 절반인 N/2으로 된다. 복소수를 2차원 벡터라고 간주하고, 형식적으로 다음 수학식에 의해 내적을 정의하고, 이하의 기술에서 사용한다.
여기서, 첨자, x 및 y는 각각 실부, 허부를 가리킨다. 이 때, 정의에 따라 α·α=｜α｜2로 된다.
매립 시스템 및 검출 시스템은, 주파수 k에 대하여 의사 랜덤한 값을 취하는 복소수열 Mp(k)를 복수개 공유하고 있는 것으로 하고, 이하에서는 마스크라고 부른다. 단, 매립이 시간 영역에서 실수이기 때문에, Mp(k)와 Mp(-k)는 복소공역의 관계에 있는 것으로 한다. 또한, Mp(k)가 절대값 1의 복소수만으로 이루어지면, 그위상은 의사 랜덤한 방향을 취하고 있는 것으로 하며, 또한, Mp(k)가 순 허수이면, 허수축을 따라 의사 랜덤으로 한다. 즉, Mp(k)가 취할 수 있는 범위에는 목적에 따라서 적절히 제한한다.
[프레임에서의 신호 매립]
도 6에 본 발명의 프레임에서의 신호의 매립 처리의 흐름을 나타낸다. 우선, 단계(610)에서 샘플열을 프레임으로 분할한다. 그리고, 단계(620)에서 분할한 프레임의 각 프레임을 주파수 공간으로 변환한다. 단계(630)에서는, 얻어진 주파수 성분을 사용하여 청각 심리 모델을 적용, 평균적인 인간의 청각으로는 검지할 수 없는 변경 범위를 각 주파수마다 구한다. 그리고 단계(640)에서는, 의사 난수로부터 얻어지는 마스크의 방향으로 각 주파수 성분의 값을 이 구한 범위내에서 최대로 변경함으로써, 비트 정보나 부호 정보나 동기 신호를 매립한다. 이 때, 음질보다 내성이 중요한 경우, 각 마스크에 대한 내적을 계산하여, 내적의 값이 내성이 요하는 임계값보다 작은 경우에는, 청각 심리 모델의 최대 변경 범위를 초과하더라도, 그 임계값에 도달할 때까지 변경폭을 크게 한다. 음질이 중요한 경우, 내적이 내성이 요하는 임계값보다 크면, 그 임계값에 도달할 때까지 변경폭을 작게 한다. 각 주파수 성분에서의 변경이 종료되면, 단계(650)에서, 변경된 주파수 성분에 역 변환을 실행하여, 주파수 공간으로부터 시간축상의 샘플열로 다시 되돌린다. 비트 정보나 동기 신호의 매립은, 각 프레임에서의 주파수 변환에서 얻어진 주파수 성분 Fm(k)를, 다음 수학식 5로 변경함으로써 이루어진다.
주파수 성분은 복소수이기 때문에, 변경 hm(k)도 복소수이다. 청각 마스킹 모델 등의 청각 심리 모델을 주파수 분포 Fm에 적용하여, 평균적인 인간의 청각으로는 그 차이를 검지할 수 없는 변경 hm(k)의 범위를 각 주파수 k마다 구한다. 검지할 수 없는 변경 범위는 2차원 공간으로서 일반적으로는 복잡한 형상을 하고 있다. 이 때문에, 변경 hm(k)가 인간의 귀로는 검지할 수 없는 최대의 변경이라는 것은 반드시 절대값 ｜hm(k)｜가 단순히 최대값이라고 한정되는 것은 아니며, 일반적으로는 변경 범위의 경계상에 있는 것을 말한다. 청각 마스킹 모델이란, 큰 순음(純音)이 있으면 그 전후의 주파수 성분의 변경이 인간의 귀로 검지하기 어렵게 되는 등, 주파수의 스펙트럼 분포에 따라 각 주파수에 있어서의 차이를 검지할 수 없는 변경 범위가 변하는 것을 컴퓨터상에서 모의적으로 실현하는 것이다.
마스크의 방향으로 매립한다는 것은, 다음 수학식 6으로 표현되는 내적이, 의도한 부호, 또는 값으로 되도록 각 주파수 성분을 변경하는 것을 말한다.
여기서, C(Fm, k)는, 주파수 분포 Fm과 주파수 k에 의존하는 양(positive)의 규격화 정수로, 통계 추정의 신뢰도를 높이기 위한 것이다. 각 마스크가 서로 거의 직교하고 있으면, 매립에 의한 주파수 성분의 변경을 다음 수학식 7로 하고, 실정수 bp는 각각 마스크의 내적 Xp(m)이 의도하는 부호 또는 값에 비례하여 정하고, 정정수 a(k)는 평균적인 청각으로는 검지할 수 없는 변경 범위의 경계상에 있도록 조정하면 된다. 규격화 정수 C(F'm, k)는 매립 결과에 의존하기 때문에, 정정수 a(k)를 구하는 처리가 점차적으로 실행된다.
매립은 각 프레임 단위로 실행하기 때문에, 매립할 비트값이 틀리다고 하는 등의 이유로 서로 이웃하는 프레임 사이에서 변경값이 서로 다르면, 프레임의 구획 A'm(N-1), A'm+1(0)에서 큰 불연속이 발생하여, 노이즈로 들리게 될 가능성이 있다. 그래서, 모든 프레임의 양단에서 변경폭이 같아지도록, 각 주파수 성분의 변경 방법이나 마스크의 형상을 한정함으로써, 음질의 열화를 막는다. 예를 들어, 각 주파수 성분의 변경을 순허수로 제한하여, 마스크도 순허수로 한다. 변경을 순허수로 제한하는 것은, 시간축상에서는 각 프레임에서 정현파로 이루어지는 신호를 매립하는 것과 동일하다. 다른 예로서, 각 주파수 성분의 변경과 마스크를 함께 실수로 제한함과 동시에, 우수의 주파수로 이루어지는 쌍 {2k, 2k'}이나 기수의 주파수로 이루어지는 {2k+1, 2k'+1}을 만들고, 프레임의 양단에서 서로 약분되도록, 수학식 8 및 수학식 9와 같이, 쌍을 이루는 주파수의 마스크나 변경값의 크기가 동일하지만 부호를 반대로 취한다. 변경폭을 실수로 제한하는 것은, 시간축상에서는 각 프레임에서 여현파로 이루어지는 신호를 매립하는 것과 동일하다.
또한, 마스크가 서로 직교하도록 선택함으로써, 순차적으로, 서로 다른 마스크에 대응하여 매립하더라도, 서로 상대방이 매립한 정보를 파괴하거나, 상대방의 매립에 의해 잘못 검출하는 일이 없도록 할 수 있다. 이에 따라, 서버에 오디오 데이터를 업로드(upload)하기 전에 음원의 저작권 정보를 매립하고, 인터넷 경유로 소비자가 그 오디오 데이터를 다운로드한 후에, 사용자 ID 등의 추적 정보를 매립하여 서로 간섭하지 않도록 할 수 있다. 예를 들면, 마스크의 값 Mp(k)가 영(zero)이 아닌 주파수 k를 한정된 영역으로 취하고, 다른 마스크는 다른 영역이 영(zero)이 아니도록 취하면, 규격화 정수 C(Fm, k)에 의존하지 않고 직교성을 유지할 수 있다. 이 때, 각 마스크의 영(zero)이 아닌 주파수 영역이 단일 주파수 구간이 아니라, 폭넓은 주파수에 걸치도록, 복수의 구간으로 취함으로써, 음질과 내성을 동시에 향상시킬 수 있다. MPEG 압축 처리에서는, 이득을 제어하는 파라미터(scale factor)를 주파수대(scale factor band)마다 정하는 등, 주파수 대역마다 다른 파라미터로 압축을 실행하고 있다. 그 때문에, 주파수대를 단순히 분할하여, 각 마스크에 단일 구간을 할 당하면, 콘텐츠에 의해, 마스크마다의 내성에 현저한차이가 발생하게 된다. 따라서, 압축 처리의 단위로 되는 주파수 대역(서브밴드)보다도 좁은 폭으로 대역 분할하여, 저음이나 고음에 각각의 매립 주파수 대역이 집중되지 않도록 주파수 대역을 모아, 서로 직교하는 마스크를 합성한다.
상기한 바와 같이, 본 발명의 각 프레임에서의 매립 방법은, 종래 기술과 달리,
·1비트를 1 주파수 성분에 매립하는 것이 아니라, 폭넓은 주파수 영역의 각 주파수 성분을 마스크의 방향으로 변경하여 매립하는 것,
·변경폭을 주파수마다 사전에 정해 놓은 것이 아니라, 주파수 변환으로 얻은 주파수 분포에 근거하여 인간의 귀로는 검지할 수 없는 최대의 변경 범위를 각 주파수마다 구해서, 그에 따라 각 주파수 성분의 변경폭을 정하는 것,
·시간축상에서 각 프레임의 양단에서 변경폭이 영(zero)에 가까이 가도록, 마스크와 주파수 성분의 변경을 제한하는 것,
·주파수를 좁은 대역으로 나누고, 주파수가 기울어지지 않도록 복수의 대역을 모아 직교하는 마스크를 작성하여, 서로 상대방을 파괴하지 않는 다중의 매립을 가능하게 하는 것
에 특징이 있다.
[프레임에서의 신호의 검출]
도 7에 본 발명의 프레임에서의 신호 검출 처리의 흐름을 나타낸다. 단계(710)에서 샘플열을 복수의 프레임으로 분할한다. 단계(720)에서 이들의 각프레임을 주파수 공간으로 변환한다. 그리고 단계(730)에서, 검출용 마스크와의 내적을 구한다. 추출의 신뢰성을 높이기 위해서, 필요에 따라 동일한 정보가 매립되어 있다고 알고 있는 별도의 프레임의 내적을, 적절한 부호를 곱해 더한다. 즉, 동일한 부호로 매립되어 있다는 것을 알고 있으면 동일 부호로 더하고, 반대 부호로 매립되어 있다는 것을 알고 있으면, 부호를 반전시켜 더한다. 마지막으로, 단계(740)에서 내적의 부호, 또는 어느 마스크와의 내적이 큰지 여부에 따라서 비트 정보를 추출한다.
각 프레임에서, 주파수 성분 Fm(k)와 마스크 Mp(k)와의 내적을 수학식 10에 의해 계산한다.
여기서 규격화 정수 C(Fm, k)는, 통계 추정의 신뢰도를 높이기 위해 도입된, 주파수 분포와 주파수에 의존하는 양수(positive number)이다. 일반적으로, 주파수 스펙트럼 ｜Fm(k)｜는 균일하게 분포되어 있지 않아서, 저주파 성분으로부터 고주파 성분에 걸쳐 진폭이 감소해 가는 경향이 있지만, 사용하는 음원이나 곡(曲)이 갖는 테마 등에서 콘텐츠에 따라서도, 주파수 스펙트럼 분포는 크게 흔들린다. 통계 추정의 신뢰도를 높인다는 것은, 인간의 청각으로는 검지할 수 없는 범위에서의 최대의 변경을 실시했을 때의 통계 평균 <Xp(m)>의 제곱이, 아무것도 매립하지 않을 때의 제곱 통계 평균 <Xp(m)2보다 커지도록 하는 것이다.
상기 수학식 11과 수학식 12이 성립되기 때문에, 통계 추정의 신뢰도를 가장 높일 수 있는 규격화 정수는 다음 수학식 13이고, 이 때 수학식 14와 같이 된다.
여기서, c는 임의의 정수이고, a(k)는 평균적인 청각으로는 검지할 수 없는 최대의 변경폭이다.
규격화 정수의 분모인 <(Mp(k)·Fm(k))2은 통계 평균으로 무엇을 모집단으로 취하는가에 따라서 변하는데, 프레임의 개시점이 흔들리고 있다고 하는 모델을사용하면 다음 수학식 15에 근사할 수 있어 수학식 16을 얻는다.
그러나, 분모가 영(zero)으로 되면 곤란하기 때문에, ｜Fm(k)｜가 a(k)보다 작을 때에는 그것으로 치환하든가, 또는 수학식 17로 한다.
이 치환 또는 식의 변경에 의한 상한의 설정은, 매립후, 인간의 청각으로는 들리지 않을 정도의 랜덤한 변경은 압축·신장 등에 의해 빈번히 발생한다는 것을 고려하면 타당한 근사이다. 상기에서, 또한, a(k)가 ｜Fm(k)｜와 비례한다고 하는 단순한 청각 모델을 사용하면, 수학식 18과 같이 되고, ｜Fm(k)｜가 임계값보다 작으면 치환하는 것으로 한다. 출력된 내적의 신뢰도는, 우선, 수학식 19를 계산하여, 수학식 20이 정구 분포에 따르는 것으로 가정함으로써, 위장 포지티브 에러(False Positive Error)를 계산할 수 있다.
오디오 데이터는, 모든 샘플 Am(n)을 동시에 -Am(n)으로 변경하더라도, 어떠한 음질의 변화도 발생하지 않는다. 이 데이터 처리를 극성 반전이라고 부르는데, 기기를 연결하여 데이터를 흘려보낼 때, 극성의 반전은 조합에 의해 발생한다. 따라서, 내적 Xp(m) 또는 Xp(m)의 부호에 의해 단순히 비트를 정하면, 극성의 반전에 약해지게 된다. 이 해결책으로서,
·부호용 마스크와 비트용 마스크를 준비하여, 비트용 마스크의 내적에 부호용 마스크의 내적을 곱한 것의 부호에 의해 비트의 값을 추출하든가,
·비트의 값 0용 마스크, 비트의 값 1용 마스크를 준비하여, 어느쪽 마스크의 내적의 값이 큰지에 따라 비트의 값을 추출하든가
하는 두가지 방법이 있는데, 후자는 전자의 변형이라고 볼 수 있다.
후자의 해결책으로는, 1 비트의 정보를 매립하는 데 2개의 마스크 M0(k)와M1(k)를 사용하여, 각각의 내적 X0(m)과 X1(m)을 구하고,
수학식 21, 즉 M0(k)가 비트 0용의 마스크를, M1(k)가 비트 1용의 마스크를 나타내고 있다. 그러나, 이 방식은, 부호용 마스크 Ms(k)와 비트용 마스크 Mb(k)를 이용하는 방식의 하나로 볼 수 있다.
즉, 수학식 22와 같이 하면, 대응하는 부호용 내적 Xs(m)과 비트용 내적 Xb(m)에도, 수학식 23의 관계가 성립하기 때문에, 수학식 24로 된다.
이 식에 의해, Xs(m)이 양(positive)이면, Xb(m)이 음(negative)일 때 비트 0, Xb(m)이 양일 때 비트 1로 해석하고, Xs(m)이 음(negative)이면, Xb(m)이 음일 때 비트 1, Xb(m)이 양일 때 비트 0으로 해석하면 된다는 것을 알 수 있다.
Ms(k)와 같이, 그 마스크의 내적의 부호로, 다른 비트용 마스크의 내적의 해석을 변경하는 것을 부호용 마스크라고 부른다. 극성의 반전을 검출하여, 정확하게 비트를 해석하기 위해서라면, 1회의 매립에는 단일의 부호용 마스크로 충분하며, 이 부호용 마스크의 내적의 부호로, 다른 복수의 비트용 마스크의 내적의 부호의 해석을 변경하면 된다. 또한, 극성은 짧은 간격으로 흔들리는 것은 통상적이지 않기 때문에, 부호용 마스크의 신호는 약하게 매립하고, 그만큼 비트용 마스크의 신호를 강하게 매립하여 그 신뢰도를 높이며, 부호용 마스크의 신호에 대해서는 프레임에 대하여 축적하여 신뢰도를 높인다. 부호용 마스크의 신호는 항상 동일한 방향으로 매립한다고 하면, 내적과 분산을 다음 수학식 25와 연속하는 프레임 m의 합에 의해 구한다.
검출의 대상으로 되는 오디오 데이터는 극성의 반전이나 시간축상에서의 데이터의 흔들림을 받고 있을지도 모르기 때문에, 합의 프레임수를 그다지 크게 할 수 없다. 이 부호용 마스크는 프레임 동기 마스크나 매립 유무 판정과 공용하더라도 무방하다. 매립 유무 판정은 수학식 26에 의해 실행한다.
여기서 t는 판정의 임계값으로, 대응하는 위장 포지티브 에러는 수학식 27이 정규 분포에 따르는 것으로 하여 계산한다. 이와 같이, 부호용 마스크를 이용하는 편이 더 유용하다.
상기와 같이, 본 발명의 각 프레임에서의 검출 방법은, 종래 기술과 달리,
·주파수 성분과 의사 랜덤열의 마스크와의 단순한 내적을 취하는 것이 아니라, 주파수 분포로부터 결정되는 주파수 의존의 규격화 정수를 곱해 내적을 계산하고 있는 것,
·마스크와의 내적의 부호만으로부터 단순히 비트의 값을 정하고 있는 것이 아니라, 부호용 마스크의 내적의 부호로 다른 마스크의 비트값의 해석을 변경하고 있는 것,
·부호용 마스크를 모든 프레임에서 동일 방향, 또는, 교대로 반대 부호로 매립하여, 프레임 사이에 걸쳐서 모아 신뢰성을 높이는 것,
·축적된 부호용 마스크의 내적을 이용하여 매립의 유무를 판정하는 것
에 특징이 있다.
[프레임 동기의 방법과 그 시스템]
각 프레임에서의 신호 검출에 있어서는, 샘플열이 매립시의 프레임으로 정확하게 분할되어 있는 것으로 하고 있다. 실제의 오디오 데이터는, 정보가 매립된 후, 오디오 데이터가 시간 방향으로 신축되거나, 트리밍 등이 이루어져 있을지도 모르기 때문에, 검출의 최초, 및, 매립의 유무 판정에서 매립 있음의 신뢰도가 낮은 경우 등에, 오디오 데이터의 시간축의 신축률의 추정이나 매립시의 프레임의 개시 위치를 탐색할 필요가 있다.
[위상을 이용하여 프레임 개시 위치를 탐색하는 방법]
만일 각 프레임에서의 신호의 매립이 충분히 크면, 샘플열에서 개시 위치를 1 샘플씩 어긋나게 하여 가상의 1 프레임을 취해 중첩시켜서 주파수 변환을 실행하고, 각 마스크와의 내적의 절대값의 합이 최대로 되는 위치를 매립시의 프레임의 개시 위치로서 추정한다. 만일 매립에 의한 음질의 열화를 막기 위해서 약하게 매립되어 있는 것이라면, 매립 시스템에서 연속하는 프레임의 간격을 모두 동일하게 취함으로써, 검출 시스템에 있어서도, 동일한 개시 위치의 어긋남이 복수의 연속하는 프레임에 적용할 수 있는 것으로 하여, 단일 프레임으로 개시 위치를 판단하는 것이 아니라, 복수의 프레임에 관해서 동시에 양호한 값을 부여하는 개시 위치를 1 샘플씩 어긋나게 하여 탐색함으로써, 매립시의 프레임의 개시 위치를 정밀도있게 추정할 수 있다. 그러나, 상기 모든 경우에, 1 샘플씩 어긋나게 하면서, 그 테스트의 개시 위치에서의 각 프레임에 FFT를 실행함으로써, 프레임 동기를 위한 개시 위치 탐색의 계산 시간이 지나치게 소요된다. 따라서 다음의 고안에 의해 계산을 촉진시킨다. 도 8에 본 발명의 위상을 이용하여 프레임 개시 위치를 탐색하는 처리의 흐름을 나타낸다. 매립 시스템은,
단계(810)에서, 샘플열을 간극없이 가상의 프레임으로 분할하고, 단계(820)에서 프레임을 중첩시켜, 단계(830)에서 주파수 변환한다. 한편, 동기 신호용 마스크 데이터(이 동기 신호용 마스크는 부호용 마스크와 동일하여도 무방함)는 단계(840)에서 위상이 회전되어, 각 프레임에 동일한 마스크에 의해 동일 방향으로 매립한다고 하면, 단계(850)에서, 주파수 변환된 프레임과 회전시킨 마스크와의 내적을 계산하여, 단계(860)에서 이 내적이 최대로 되는 위치를 매립시의 프레임의 개시 위치로 한다. 만일 그렇지 않으면, 처리는 단계(840)로 되돌아간다. 각 프레임에서 동일한 신호가 매립되어 있기 때문에, 검출 시스템에서는, 프레임 구획이 매립시의 프레임의 구획으로부터 어긋나 있더라도, 매립시 프레임폭의 배수의 폭을 갖는 샘플열이 있으면, 마스크의 위상 회전(단계(840))에 의해 검출할 수 있다. 시간축상에서 v 샘플만큼 프레임이 이동하는 것은, 주파수 공간에서는 위상이2πkv/N만큼 회전하는 것, 즉 마스크 Ms(k)를 Ms(k)ej2πkv/N으로 치환하는 것이다. 여기서 j는 허수 단위이다.
구체적으로는 이하의 단계에서 매립시의 프레임의 개시 위치를 추정한다.
(1) 가상의 프레임 구획대로 샘플 Am(n)을 모아 1 프레임의 데이터(수학식 28)을 동기시키고, FFT 등에 의해 주파수 변환을 실시하여 주파수 성분 F(k)를 얻는다.
(2) 프레임 구획의 위치를 어긋나게 하는 대신에 동기 신호용 마스크 Ms(k)의 위상을 회전시켜, 내적(수학식 29)을 각 v에 대하여 계산하고, 최대의 ｜Sync(v)｜을 부여하는 v를 구하여, 매립시의 프레임 구획의 개시 위치는 이 가상의 구획 개시 위치보다 v샘플 앞에 있는 것으로 추정한다.
여기서, 얻어진 Sync(v)를, 비트용 마스크의 내적의 해석을 변경하는 부호용 마스크의 내적 대용으로 사용하는 것도 가능하다. 지금, 가상의 구획이 매립시의 위치인 것으로 가정하면, 상기 Sync(v)는 수학식 30과 같이 예측된다.
여기서, λ(k)는 매립후의 열화로부터 발생하는 흔들림으로, 열화가 줄어들면 1에 가깝다. 고주파는 압축 신장에 의해 떨어지기 쉽다. 따라서 상기한 것을 다음 수학식에 의해 근사시킨다.
즉, Sync(v)는 일반적으로 최적의 v 주변에서 진동하고, 그 해상도는 N/(kmax-kmin+1)인 것으로 예측된다. 따라서, 주기 신호의 마스크의 0이 아닌 주파수가 폭넓게 분포하고 있는 것이 바람직하며, 적어도, 주기 신호용 마스크는 비트용 마스크와 동일한 주파수역을 사용해야 한다.
[위상이 정렬된 신호의 매립에 의한 신축률의 추정 방법]
도 9에, 위상이 정렬된 신호의 매립에 의한 신축률의 추정 처리의 흐름을 나타낸다. 매립시의 프레임 구획 위치의 추정에서는, 오디오 데이터의 시간축상에서의 신축은 없는 것으로 하고 있다. 신축이 있었던 경우에 매립 신호를 검출할 수 있도록 하기 위해서 다음과 같이 하여 신축률을 추정한다. 매립 시스템과 검출 시스템이 1개 또는 복수의 특정 주파수를 알고 있어, 매립 시스템은 단계(920)에서 평균적 인간의 청각에 의해 그 변화를 검출할 수 없는 범위에서, 그 주파수가 각 프레임에서 가능한 한 동일한 위상으로 되도록 변경한다. 검출 시스템에서는 단계(930)에서 프레임의 폭을 변경하고, 프레임폭의 변경을 시간축상의 신축률로서 변경된 주파수의 위상이 각 프레임에서 정렬되어 있는지를 단계(950)에서 테스트하여, 단계(960)에 있어서, 가장 잘 정렬되어 있는 프레임폭의 변경에 의해, 시간축상의 신축률을 설정한다.
여기서, 프레임폭 N'에서의 샘플 Am (N')(n)=AN'm+n이라고 기재하고, 그것에 대응하는 주파수 성분을 수학식 32로 기재한다.
만일 시간축상의 신축에 의해 프레임폭 N이 프레임폭 N'으로 신축시킨 것이면, 매립시의 Fm(N)(k)는 검출시의 Fm(N')(k)로 변환될 뿐이다. 따라서, 매립 시스템과 검출 시스템이 특정한 주파수 ki를 서로 알고 있고, 매립 시스템은 그 위상 Fm(N)(ki)=｜Fm(N)(ki)｜가 모든 프레임 m에서 가능한 한 동일하게 되도록 매립하며, 검출 시스템에서는 프레임폭을 변경하여 각 주파수 ki에서 수학식 33이 최대값을 취하는 프레임폭 N'을 구하고, 그 비 N'/N에 의해 시간축상의 신축률을 구한다.
서로 알고 있는 주파수 ki가 복수개 있을 때, 수학식 34 또는 수학식 35를 최대로 하는 프레임폭 N'을 구하고, 그 비 N'/N에 의해 시간축상의 신축률을 구한다.
이 변형으로서, 매립 시스템과 검출 시스템이 하나 또는 복수의 특정한 주파수를 알고 있고, 매립 시스템은, 평균적 인간의 청각으로 그 변화를 검지할 수 없는 범위에서, 그 주파수가 각 프레임에서 가능한 한 동일한 위상과 진폭으로 되도록 변경하며, 검출 시스템에서는 프레임의 폭을 변경해서, 프레임폭의 변경을 시간축상의 신축률로서 변경된 주파수의 위상이 각 프레임에서 정렬되어 있는지 여부를 테스트하여, 가장 잘 정렬되어 있는 프레임폭의 변경에 의해 시간축상의 신축률을 정한다.
여기서, 매립 시스템과 검출 시스템이 특정한 주파수 ki를 서로 알고 있고, 매립 시스템은 그 주파수 성분 Fm(N)(ki)가 모든 프레임 m에서 가능한 한 동등하게 되도록 매립하며, 검출 시스템은, 프레임폭을 변경하여 각 주파수 ki에서 수학식 36이 최대값을 취하는 프레임폭 N'을 구하여, 그 비 N'/N에 의해 시간축상의 신축률을 구한다.
서로 알고 있는 주파수 ki가 복수개 있을 때, 수학식 37 또는 수학식 38을 최대로 하는 프레임폭 N'을 구하여, 그 비 N'/N에 의해 시간축상의 신축률을 구한다.
[메시지 동기의 방법과 그 시스템]
오디오 데이터에 대하여 어느 위치부터 트리밍하더라도 메시지(부가 정보)가 잔존하기 위해서는 메시지를 반복하여 매립할 필요가 있다. 따라서, 각 프레임으로부터 비트 정보를 추출할 수 있더라도, 어디가 반복 메시지의 비트열의 선두이고 어디가 종점인지를 추정할 필요가 있다. 즉, 매립 시스템에서의 메시지의 선두와 검출 시스템의 메시지의 선두가 정확하게 동기하고 있을 필요가 있다.
[바이트, 워드 및 메시지 등의 해석의 구획을 위한 프레임을 사용하는 방법]
도 11에, 바이트나 워드나 메시지 등의 해석의 구획을 위한 프레임을 사용한 경우의 개념도를 나타낸다. 추출된 비트열에 바이트, 워드, 메시지 등의 해석의구획을 넣기 위해서, 매립 시스템이, 그 구획 프레임을 제외한 각 프레임에 동일한 방향으로 동기 신호를 매립하고, 구획 프레임에는 반대의 방향으로 동기 신호를 매립하든가 또는 아무것도 매립하지 않는다. 검출 시스템은, 그 동기 신호의 값이 다른 프레임과 반대 방향이든가, 매립되어 있지 않은 것을 구획의 프레임이라고 추정한다.
동기 신호는, 프레임 동기 신호용 마스크나 부호용 마스크를 사용하여 매립하더라도 좋다. 이 경우, 프레임 동기 신호나 부호 신호는, 충분히 많은 프레임에서의 내적의 합으로 판정함으로써, 구획 프레임의 영향을 무시할 수 있도록 한다.
매립 시스템에서는 구획 프레임 이외에서는 가능한 한 동일한 동기 신호를 매립함으로써, 검출 시스템에서는, 검출한 구획 프레임의 동기 신호가 다른 프레임의 동기 신호의 흔들림의 범위에 있는지 여부를 통계 추정함으로써 그 추정의 신뢰도를 구할 수 있다. 매립 시스템에 의해 매립된 프레임 구획의 간격을 검출 시스템이 알고 있고, 그 간격의 범위에서 다른 것과 현저히 상이한 프레임을 탐색함으로써, 음질 유지를 위해 동기 신호를 비교적 약하게 매립한 경우에도 검출이 가능하다. 매립 시스템과 검출 시스템이 서로 알고 있으면, 비트 정보는 구획 프레임에 매립하든 매립하지 않든 관계없이 모두 무방하다.
[반복 주기가 서로 다른 복수 정보 매립 방법]
중요성이 다른 복수의 정보를 오디오 데이터에 매립하는 경우, 트리밍 내성이 동일할 필요는 없다. 중요한 정보는 빈번히 반복되어 짧은 트리밍 구간에서도검출할 수 있는 편이 좋다.
트리밍 내성이 상이한 복수의 정보를 매립, 검출하기 위해서, 매립 시스템과 검출 시스템이, 각각의 정보를 분할하는 분할 단위의 비트 길이와 분할수를 알고 있고, 매립시에 각각의 정보를 분할 단위의 비트 길이로 분할하여, 각 정보로부터 순서대로 분할된 비트열을 취출하여 배열해서 균등한 비트 길이의 정보(합성 단위라고 칭함)를 작성하고, 그 정보의 합성 단위의 선두 비트를 구획 프레임에 매립하고, 나머지 비트를 순서대로 계속되는 프레임에 매립한다.
예를 들어, 비트열 정보 A, B, C가 있다고 가정하고, 각 정보를 수학식 39로 분할하였다고 가정한다.
매립 시스템은 수학식 40으로 분할된 비트열을 배열함으로써, 검출되는 주기가 다른 복수의 정보를 트리밍에 대하여 균일하게 매립한다. 각 ApBqCr의 선두 비트는 구획 프레임에 매립한다. 상기 반복 주기가 서로 다른 복수 정보 매립 방법에 대하여, 종래 방법과 본 발명 방법의 차이를 도 10에 나타낸다.
[특정한 비트열을 가산함으로써 메시지의 개시 위치를 추정하는 방법]
매립 시스템과 검출 시스템은, 부가 정보의 비트열보다 길고, 또한 순회 시프트에서 자기 자신과 일치하는 것이 없는 특정한 비트열(구획용 비트열이라고 칭함)을 서로 알고 있는 것으로 한다. 순회 시프트에서 자기 자신과 일치하는 것이 없다는 것은, 그 비트열을 반복하였을 때, 본래의 구획으로 잘랐을 때에만, 본래의 비트열을 복원할 수 있다는 말이다. 예를 들어, "00100010"은, 그 반복으로 0010, 00100010, 00100010, 00100010, 0010, …로 구획하여 ","을 넣거나, 0010, 00100010, 00100010, 00100010, 0010…로 구획하여 ","을 넣더라도 "00100010"을 복원할 수 있다. 따라서, 구획용 비트열로서 사용할 수 없다. "00100010"은 "0010"을 그 내부에서 반복하고 있는데, 일반적으로 자기 자신중에서 주기를 갖는 비트열은 순회 시프트에서 자기 자신과 일치하여, 구획용 비트열로서 사용할 수 없다. 한편, 자기 주기를 갖지 않는 "00100011"은, 그 반복은 특정한 구획에서 밖에 본래의 비트열을 복원할 수 없기 때문에, "00100011"은 구획용 비트열로서 사용할 수 있다.
또한, 매립 시스템과 검출 시스템은, 비트열에 구획용 비트열을 배타적 논리합(연산 xor)에 의해 가산했는지 여부를 판정하는 방법을 알고 있는 것으로 한다. 예를 들어, 구획용 비트 '00100011'에서는 비트열 마지막 비트의 값을 봄으로써 구획용 비트의 연산 xor이 실시되었는지 여부를 판정할 수 있다. 판정 방법은 일의적(unique)이지 않으며, 이 구획용 비트열의 예에서는, 모든 자리수의 비트의 합이 기수인지 우수인지를 사용하더라도 판정이 가능하다. 도 12는, 상기 특정한 비트열을 가산함으로써 메시지의 개시 위치를 추정하는 방법의 설명도이다.
매립 시스템은, 부가 정보가 작성하는 비트열에 1 비트 이상의 비트를 추가하여, 구획용 비트열과 동일한 길이의 확장 비트열을 작성하고, 오디오 데이터에 그것을 반복하여 매립할 때, 하나 걸러씩 반복적으로 구획용 비트열을 연산 xor에 의해 가산해서 매립하는 것으로 한다. 추가 비트는, 구획용 비트열이 가산되어 있는지 여부를 판정하는 데 사용한다.
검출 시스템에서는, 추출된 비트열에, 구획용 비트열의 비트 길이만큼 어긋나게 한 동일한 추출 비트열을 연산 xor에 의해 가산해서, 얻어진 비트열로부터 구획용 비트열이 일치하는 구획을 탐색하여, 있으면 그것을 추출 비트의 구획 위치로 하고, 없으면 추출 비트에 오류가 있는 것으로 한다. 구획된 비트열은 일 구획 걸러씩 구획용 비트열이 가산되어 있기 때문에, 추가 비트를 사용하여, 가산되어 있지 않은 쪽의 비트열을 판정하고, 그것을 복원 비트열로 한다.
예를 들어, '00100011'이 구획용 비트열인 것으로 한다. 매립 시스템에서 부가 정보가 7비트의 '1101101' 인 것으로 한다. 이 때, 1 비트 '0'을 추가하여, 확장 비트열 '11011010'을 작성하고, 반복하여 매립할 때, 11011010, 11111001, 11011010, 11111001, 11011010, 11111001, …과 같이, 1개 걸러 반복적으로 구획용 비트열을 연산 xor에 의해 가산하여 각 비트를 프레임에 매립한다. 여기서는, 구획 ','를 보기 쉽게 하기 위해서 부가해 놓았지만, 실제로 각 프레임에서 매립하는 것은 비트값 0 또는 1 뿐이다.
매립후의 처리를 위해 최초의 3 비트가 상기한 것으로부터 빠져서, 검출 시스템에서는 11010, 11111001, 11011010, 11111001, 11011010, 11111001, …과 같이, 비트열을 추출할 수 있었던 것으로 한다. 구획용 비트열의 길이만큼 어긋나게 한 11001, 11011010, 11111001, 11011010, 11111001, 11011010, …을 연산 xor에 의해 가산하면, 00011, 00100011, 00100011, 00100011, 00100011, 00100011, …으로 된다. 따라서, 구획용 비트열 '00100011'과의 일치로부터, 이 구획밖에 없다는 것을 알 수 있다. 다음에, 각 구획에서, 추가 비트가 '0'인 확장 비트열을 선택함으로써, 부가 정보의 비트열이 '1101101'인 것이 유도된다.
[프레임에서의 검출 신뢰도를 고려하여 메시지의 개시 위치를 추정하는 방법]
도 13은, 프레임에서의 검출 신뢰도를 고려하여 메시지의 개시 위치를 추정하는 방법의 설명도이다. 프레임에서의 검출 신뢰도를 고려하여, 메시지의 개시 위치를 추정하기 위해서, 검출 시스템에서는, 구획용 비트열의 길이로부터 대응이 설정되는 2개의 프레임에서 각각 비트용 마스크의 내적의 곱을 구하고, 거기에 구획용 비트열이 정하는 부호를 곱해서, 계속되는 프레임에서의 합이 최대로 되는 것에서 구획을 탐색한다. 구획용 비트열을 {B(m)}으로 하고, 그 길이를 M으로 한다. 또한, 여기서, 비트용 마스크에 의해 얻어진 각 프레임에서의 내적의 값을 Xb(m)으로 한다. 이 때, 수학식 41을 계산하여, 최대로 되는 v를 구하고, 그 위치를 메시지의 개시 위치로 한다. 여기서, 구획용 비트의 첨자가 본래의 정의역을 초과했을때, B(m+M)=B(m)과 같이 정의역을 확장시키는 것으로 하고, 또한, (-1)0=1, (-1)1=-1로 한다. 이 방법에서는, 각 프레임에서 비트의 오류가 있더라도, 메시지의 개시 위치를 구할 수 있다.
비트 정보 자체는, 일단 메시지의 개시 위치를 알면, 복수의 반복에 관하여 축적한 수학식 42의 부호에 의해 구한다. 여기서, p(r)은 구획용 비트가 가산되어 있는 반복일 경우 1, 가산되어 있지 않은 반복일 경우 0이다.
[특정한 비트열을 가산함으로써 복수의 메시지의 개시 위치를 추정하는 방법]
복수의 정보를 서로 다른 주기로 매립하기 위해서, 시프트에 의해 자기 자신과 일치하지 않는 특정한 비트열(구획용 부분 비트열이라고 칭함)을 매립시에 배타적 논리합에 의해 가산함으로써, 검출시에 정보의 개시 위치를 검출한다.
여기서, 시프트에 의해 자기 자신과 일치하지 않는다고 하는 것은, 길이 M의 비트열 {B(m)}에 대하여, 임의의 시프트 v(0〈v〈M)를 실행했을 때, B(m)≠B(m+v)로 되는 m이 0≤m≤m+v≤M-1의 범위에 반드시 있다는 것을 말한다. 예를 들어, '01011011101111'과 '010011000111'은 시프트에 의해 자기 자신과 일치하지 않는 비트열의 예이다.
여기서, 짧은 주기로 반복하여 매립되는 부가 정보의 비트열과, 그것보다 긴 주기로 반복되는 그 밖의 부가 정보의 분할 비트열보다 긴, 구획용 부분 비트열을 매립 시스템과 검출 시스템은 알고 있는 것으로 한다. 매립 시스템은, 짧은 주기로 반복하는 부가 정보의 비트열에 비트를 추가하여 구획용 부분 비트열의 동일한 길이의 확장 비트열을 작성하고, 또한 그 밖의 분할 비트열을 덧붙여, 합성 단위의 비트열을 작성해서, 순서대로 합성 단위의 비트열을 매립할 때, 하나 걸러씩 구획용 부분 비트열을 확장 비트열에 배타적 논리합(연산 xor)에 의해 가산하여 매립하는 것으로 한다. 추가 비트는, 구획용 부분 비트열이 가산되어 있는지를 판정하는 데 사용한다.
검출 시스템에서는, 추출된 비트열에, 합성 단위의 비트열의 비트 길이만큼 어긋나게 한 동일한 추출 비트열을 연산 xor에 의해 가산하고, 얻어진 비트열로부터 구획용 부분 비트열이 일치하는 구획을 탐색하여, 있으면 그것을 추출 비트의 구획의 위치로 하고, 없으면 추출 비트에 오류가 있는 것으로 한다. 구분된 비트열은 1 구획 걸러씩, 구획용 부분 비트열이 가산되어 있기 때문에, 추가 비트를 사용하여, 가산되어 있지 않은 쪽의 비트열을 판정하여, 그것을 복원 비트열로 한다.
예를 들어, '00110111'이 구획용 부분 비트열인 것으로 하고, 짧은 주기의 부가 정보가 7 비트의 '1101101'인 것으로 한다. 이 때, 매립 시스템은, 1 비트'0'을 추가하여 확장 비트열 '11011010'을 작성하고, 그것에 그 밖의 긴 주기의 부가 정보의 분할 비트열 '*******'을 첨부하여 합성 단위의 비트열 '11011010*******'를 작성한다. 여기서 '*'는 각각이 0 또는 1 중 어느 하나라는 것을 의미한다. 합성 단위의 비트열을 매립할 때, 하나 걸러씩 구획용 부분 비트열을 연산 xor에 의해 가산하기 때문에, 11011010*******, 11101101*******, 11011010*******, 11101101*******, …의 각 비트가 각 프레임에 매립된다. 여기서는, 구획 ','을 보기 쉽게 하기 위해서 덧붙여 놓았지만, 실제로 각 프레임으로 매립하는 것은 비트값 0 또는 1 뿐이다.
매립후의 처리를 위해 최초의 3 비트가 상기한 것으로부터 빠져서, 검출 시스템에서는, 11010*******, 11101101*******, 11011010*******, 11101101*******, …과 같이 비트열을 추출할 수 있었던 것으로 한다. 합성 단위의 비트열의 길이만큼 어긋나게 한, 01101*******, 11011010*******, 11101101*******, …을 연산 xor에 의해 가산하면, 10111*******, 00110111*******, 001101111*******, …으로 된다. '*******'의 부분의 값이 어떤것이든, 구획용 부분 비트열의 길이보다 짧기 때문에 일치하는 것은 없고, 또한 시프트에 의해 자기 자신과 일치하는 것도 없기 때문에, '00110111'과 일치하는 것은 매립시의 구획밖에 없다는 것을 알 수 있다. 다음에, 각 구획에서, 추가 비트가 '0'인 확장 비트열을 선택함으로써, 짧은 주기의 부가 정보의 비트열이 '1101101'이라는 것이 유도된다. 마찬가지로, 첨부한 비트열 '*******'를 그 부가 정보 중에서 짧은 것을 취출하여, 그 길이에 대응한 부분 구획 비트열을 사용함으로써, 그 부가 정보의 개시 위치를 검출할 수 있다. 도14에 상기 특정한 비트열을 가산함으로써 복수의 메시지의 개시 위치를 추정하는 방법을 나타낸다.
[순회 시프트의 영향을 받지 않는 부호어의 매립]
부가 정보가 반복하여 매립되는 것으로 하고, 매립 시스템과 검출 시스템이 1회반복의 프레임수를 알고 있으며, 그 길이의 비트열의 모음에 대하여, 순회 시프트에 의해 동등하게 되는 비트열은 동일값으로 간주하고, 동일값이 아닌 비트열을 다른 부가 정보에 대응시킴으로써 정보를 매립하여, 비트열의 개시를 모르는채 부가 정보를 추출한다.
순회 시프트에 의해 서로 동등하게 되지 않는 비트열로서는, 예를 들면 {00000}, {00001}, {00011}, {00101}, {00111}, {01011}, {01111}, {11111}이 있다. 5 비트 길이의 열을 이용하여, 8개의 상태, 즉 3 비트의 정보를 표현할 수 있다. 도 15에 상기 5 비트 길이의 열을 이용하여 3 비트의 정보를 매립하는 예를 나타낸다. 일반적으로 비트의 길이 M의 비트열의 모음에서, 순회 시프트에 의해 서로 동등하게 되지 않는 독립된 비트열의 수를 S(M)이라고 하면, 소수 p에 대하여, 수학식 43, 수학식 44가 성립된다.
또한, 서로 소(素)인 p와 q에 대해서는 수학식 45가 성립된다.
실시예
이하, 도면을 참조하여 본 발명의 실시예를 설명한다.
도 1에 본 발명의 부가 정보 매립 장치의 블럭도를 나타낸다. 입력 제어 블럭(110)은, 입력되는 오디오 신호를 시계열로 배열한 샘플값으로서, 주파수 변환 블럭(120)으로 전달하는 것이다. 입력 신호가 아날로그인 경우, AD 변환을 실행하고, 디지털화된 것이면 포맷을 해석하여 오디오 샘플열을 블럭(120)으로 전달한다.
주파수 변환 블럭(120)은, 오디오 신호의 각 주파수 성분을 산출하는 블럭이다. 이 블럭은 블럭(110)으로부터의 디지털화된 오디오 신호를 수신하여, 그 구간에서의 주파수 성분을 계산한다.
청각 심리 모델 산출 블럭(130)은 인간의 귀의 특성에 근거하여, 변화에 대해 알아 듣기 어려운 영역을 산출하는 블럭이다. 이 블럭은 블럭(120)으로부터의주파수 변환된 오디오 신호를 수신하여, 주파수 성분마다 들리는 것에 대한 영향도를 산출한다.
의사 난수 생성 블럭(160)은, 0, 1의 의사 랜덤열을 생성하는 블럭이다.
생성된 의사 랜덤열은 블럭(170)으로 전달되어, 부가 정보 매립용 마스크 생성을 위해 이용된다.
부가 정보 매립용 마스크 생성 블럭(170)은 부가 정보 매립시에 이용되는 마스크를 생성하는 것이다. 이 블럭은, 블럭(160)에서 생성된 의사 랜덤열과 위상 방향을 대응시켜, 주파수마다 매립 신호의 위상을 정하는 복소수 평면상에서의 2차원 벡터(마스크)를 생성하는 블럭이다.
부가 정보(180)는, 비트열 정보로서 블럭(140)으로 전달된다. 이 비트열은, 블럭(140)에서, 필요에 따라서 메시지 동기 검출용으로 비트가 삽입, 반전된다.
부가 정보 매립 블럭(140)은, 오디오 신호에 비(非) 가청 부가 정보를 매립하는 블럭이다. 이 블럭은, 오디오 신호의 주파수 성분이 있는 통계량이, 부가 정보(180)로부터 수신하는 비트 정보에 따라서 정해지는 부호로 되도록, 블럭(130)에서 산출된 청각 모델을 바탕으로 비 가청의 범위에서, 블럭(170)으로부터 수신하는 마스크 방향으로 신호 및 시간 신축 검출용 동기 신호를, 블럭(120)으로부터 수신하는 주파수 변환된 오디오 신호에 부가한다.
주파수 역 변환 블럭(190)은, 주파수 변환된 오디오 신호를 역 변환하는 블럭이다. 이 블럭은, 블럭(140)으로부터의 부가 정보를 매립한 주파수 변환된 오디오 신호를 역 변환하여, 시계열로 배열된 오디오 샘플열을 산출하는 블럭이다.
출력 제어 블럭(150)은, 시계열로 배열된 오디오 샘플열을 오디오 데이터로서 출력하는 것이다. 이 블럭은, 블럭(190)으로부터 수신한 오디오 샘플열을 DA 변환, 혹은 화일로서 헤더 정보 등을 부가하여 오디오 신호를 출력한다.
도 2에 본 발명의 부가 정보 검출 장치의 블럭도를 나타낸다. 입력 제어 블럭(210)은, 입력되는 오디오 신호를 시계열로 배열된 샘플값으로 하여 주파수 변환 블럭(220)으로 전달하는 것이다. 입력 신호가 아날로그인 경우, AD 변환을 실행하고, 디지털화된 것이면 포맷을 해석하여 오디오 샘플열을 블럭(250)으로 전달한다.
주파수 변환 블럭(220)은 오디오 신호의 각 주파수 성분을 산출하는 블럭이다. 이 블럭은 블럭(210)으로부터의 디지털화된 오디오 신호를 수신하여, 그 구간에서의 주파수 성분을 계산한다.
부가 정보 동기 검출 블럭(250)은, 오디오 신호에 부가 정보가 매립되어 있는 것으로 할 경우, 입력되는 오디오 신호의 시간 신축률이나, 부가 정보 매립 처리 단위(프레임) 개시 위치를 검출하는 블럭이다. 이 블럭에서는, 블럭(220)으로부터 수신한 주파수 변환된 오디오 신호에 대하여, 시간 신축률 검출용의 동기 신호의 신축률을 측정함으로써, 오디오 신호의 신축률을 구한다. 그 후, 블럭(280)으로부터 수신하는 부가 정보 검출용 마스크를 회전시켜, 시간 신축률을 보정한 오디오 신호와의 내적값을 계산하고, 그 값이 최대로 되는 회전 각도로부터 프레임 개시 위치의 어긋남을 검출한다.
의사 난수 생성 블럭(270)은, 0, 1의 의사 랜덤열을 생성하는 블럭이다. 생성된 의사 랜덤열은 블럭(280)으로 전달되어, 부가 정보 검출용 마스크 생성을 위해 이용된다.
부가 정보 검출용 마스크 생성 블럭(280)은, 부가 정보 검출시에 이용되는 마스크를 생성하는 것이다. 이 블럭은, 블럭(270)에서 생성된 의사 랜덤열과 위상 방향을 대응시켜, 주파수마다 매립 신호의 위상을 정하는 복소수 평면상에서의 2차원 벡터(마스크)를 생성하는 블럭이다.
부가 정보 검출 블럭(260)은, 오디오 신호에 매립되어 있는 부가 정보를 검출하는 블럭이다. 이 블럭에서는, 블럭(250)으로부터 수신한 시간 신축률, 프레임의 동기가 취해진 주파수 변환된 오디오 신호와, 블럭(280)으로부터 수신하는 부가 정보 검출용 마스크와의 내적값을 통계량으로서 산출한다. 또, 통계량의 값에 따라, 동기를 재실행할 필요가 발생한 경우에는, 블럭(250)의 부가 정보 동기 검출에 재동기의 신호를 부여한다.
부가 정보 유무 검출 블럭(230)은, 산출된 통계량을 바탕으로, 오디오 신호에 부가 정보가 매립되어 있는지 여부의 유무를 판정하는 블럭이다. 이 블럭은, 블럭(260)으로부터 수신한 통계량의 크기가 충분히 큰 값인지 여부에 따라서, 입력된 오디오 신호에 의도적으로 정보가 매립되어 있는지 여부를 판정하는 블럭이다.
부가 정보 복원 블럭(240)은, 검출된 비트 정보를 부가 정보로서 복원하는 블럭이다. 이 블럭은, 블럭(230)에 의해 부가 정보가 매립되어 있다고 판정된 경우에는, 그 통계량의 부호와 비트를 대응시켜 비트 정보로서 해석하고, 검출된 비트 정보 중에서 부가 정보의 개시 비트를 검출하여, 개시 비트에 맞춰 검출된 비트 정보를 시프트시키고, 메시지 동기용으로 비트가 삽입/반전되어 있는 경우에는, 그것들을 제거/반전시켜, 매립한 부가 정보를 복원한다.
도 3에는, 본 발명의 부가 정보의 매립/검출에 있어서 사용되는 시스템의 하드웨어 구성의 일실시예가 나타나 있다. 시스템(100)은, 중앙 처리 장치(CPU)(1)와 메모리(4)를 포함하고 있다. CPU(1)와 메모리(4)는, 버스(2)를 거쳐서 보조 기억 장치로서의 하드 디스크 장치(13)(또는 MO, CD-ROM(23), DVD 등의 기억 매체 구동 장치)와 IDE 콘트롤러(25)를 거쳐 접속되어 있다. 마찬가지로 CPU(1)와 메모리(4)는, 버스(2)를 거쳐서 보조 기억 장치로서의 하드디스크 장치(30)(또는 MO(28), CD-ROM(23), DVD 등의 기억 매체 구동 장치)와 SCSI 콘트롤러(27)를 거쳐서 접속되어 있다. 플로피 디스크 장치(20)는 플로피 디스크 콘트롤러(19)를 거쳐서 버스(2)에 접속되어 있다.
플로피 디스크 장치(20)에는, 플로피 디스크가 삽입되어, 이 플로피 디스크 등이나 하드 디스크 장치(13)(또는 MO, CD-ROM, DVD 등의 기억 매체), ROM(14)에는, 오퍼레이팅 시스템과 상호작용하여 CPU 등에 명령을 부여해서, 본 발명을 실시하기 위한 부가 정보의 매립 또는 검출을 실행하는 컴퓨터·프로그램의 코드 또는 데이터를 기록할 수 있으며, 메모리(4)에 로드되는 것에 따라 실행된다. 이 컴퓨터·프로그램의 코드는 압축하거나, 또는 복수로 분할하여 복수의 매체에 기록하는 것도 가능하다.
시스템(100)은 또한, 사용자·인터페이스·하드웨어를 구비하여, 입력을 위한 포인팅·장치(마우스, 조이스틱 등)(7) 또는 키보드(6)나, 입력된 오디오 데이터, 복원한 오디오 데이터, 부가 정보 등의 시각 데이터를 사용자에게 제시하기 위한 디스플레이(12)를 가질 수 있다. 또한, 패러랠 포트(16)를 거쳐 프린터를 접속하는 것이나, 시리얼 포트(15)를 거쳐 모뎀을 접속하는 것이 가능하다. 이 시스템(100)은, 시리얼 포트(15) 및 모뎀 또는 통신 어댑터(18)(이더넷이나 토큰 링·카드) 등을 거쳐서 네트워크에 접속하여 다른 컴퓨터 등과 통신하는 것이 가능하다. 매립하는 부가 정보를 해당 통신 어댑터(18)를 거쳐 외부 네트워크로부터 취입하거나, 복원한 부가 정보를 네트워크를 거쳐 외부로 송신하는 것도 가능하다. 또한 시리얼 포트(15) 또는 패러랠 포트(16)에, 원격 송수신 기기를 접속하여, 적외선 또는 전파에 의해 데이터를 송수신하는 것도 가능하다.
스피커(23)는, 오디오·콘트롤러(21)에 의해서 D/A(디지털/아날로그 변환) 변환된 오디오, 음성 신호를, 앰프(22)를 거쳐 수령하여, 오디오나 음성으로서 출력한다. 또한, 오디오·콘트롤러(21)는, 마이크로폰(24)으로부터 수령한 음성 또는 오디오 정보를 A/D(아날로그/디지털) 변환하여, 매립하기 위한 부가 정보로서 시스템에 취입하는 것을 가능하게 하고 있다.
이와 같이, 본 발명에 사용할 수 있는 시스템(100)은, 통상의 퍼스널 컴퓨터(PC)나 워크 스테이션, 노트북 PC, 팜 탑(palmtop) PC, 네트워크 컴퓨터, 컴퓨터를 내장한 텔레비젼 등의 각종 가전제품, 통신 기능을 갖는 게임기, 전화, FAX, 휴대전화, PHS, 전자수첩, 등을 포함하는 통신 기능을 갖는 통신 단말, 또는 이들의 조합에 의해 실시할 수 있는 것을 용이하게 이해할 수 있을 것이다. 단, 이들의 구성 요소는 예시적인 것으로서, 그 모든 구성 요소가 본 발명의 필수적인 구성 요소로 되는 아니다. 또, 도 1, 도 2의 부가 정보 매립/검출의 각 블럭을 전용 하드웨어에 의해 구성하더라도 무방하다.
본 발명에 따르면, 오디오 데이터에 대하여 저작권 정보 등의 부가 정보의 매립에 의한 음질의 변화를 인간의 청각으로는 검지할 수 없도록 매립하면서, 한편, 음질에 현저한 열화를 야기시키지 않는 범위에서의 오디오 데이터로의 처리에 대하여, 매립한 부가 정보가 잔존하여, 신뢰성을 갖고 검출할 수 있는 방법 및 그 시스템이 제공된다. 이에 따라, CD나 인터넷으로 배송된 음악 콘텐츠의 저작권 보호가 실현되어, 고품질의 음악 콘텐츠를 안심하고 디지털로 공급할 수 있게 되어, 음악 문화의 안정된 재생산·소비를 실현하는 것이 가능하게 된다.

Claims (41)

  1. 오디오 데이터에 부가 정보를 매립하는 부가 정보 매립 시스템에 있어서,
    (1) 오디오 데이터를 주파수 변환하는 수단과,
    (2) 상기 오디오 데이터에 근거하여, 상기 오디오 데이터에 부가 정보를 매립할 수 있는, 주파수의 변경 범위를 결정하는 수단과,
    (3) 부가 정보 검출시의 동기 검출을 가능하게 하는 부가 정보 매립용 마스크를 생성하는 수단과,
    (4) 상기 주파수 변환된 오디오 데이터의 상기 매립할 수 있는 주파수의 변경 범위에, 부가 정보를, 상기 부가 정보 매립용 마스크를 이용하여 매립하는 수단과,
    (5) 주파수 변환되어 부가 정보가 매립된 오디오 데이터를, 오디오 데이터로 역변환하는 수단
    을 포함하는 것을 특징으로 하는 부가 정보 매립 시스템.
  2. 제 1 항에 있어서,
    상기 오디오 데이터를 주파수 변환하는 수단(1)이, 오디오 데이터를, 각각이 복수의 샘플열로 이루어지는 복수의 프레임으로 분할하고, 각 프레임을 주파수 변환하는 수단인 부가 정보 매립 시스템.
  3. 제 2 항에 있어서,
    상기 부가 정보를 매립할 수 있는 주파수의 변경 범위를 결정하는 수단(2)이, 주파수 변환된 오디오 데이터의 주파수 분포에 근거하여, 평균적인 인간의 청각으로는 검지할 수 없는 주파수의 변경 범위를 결정하는 수단인 부가 정보 매립 시스템.
  4. 제 3 항에 있어서,
    상기 부가 정보 매립용 마스크는, 의사 난수 생성기(pseude-random number generator)로부터 얻어진 의사 난수에 의해 생성되는, 주파수마다의 매립 방법을 정하는 의사 랜덤한 수인 부가 정보 매립 시스템.
  5. 제 4 항에 있어서,
    상기 부가 정보를 매립하는 수단(4)이, 부가 정보에 따라서, 상기 의사 랜덤한 수와 상기 주파수 변환된 프레임의 주파수 성분과의 내적(inner products)이 특정한 부호 또는 값으로 되도록 각 주파수 성분을, 상기 매립할 수 있는 주파수의 변경 범위내에서 변경함으로써 부가 정보를 매립하는 수단인 부가 정보 매립 시스템.
  6. 청구항6는 삭제 되었습니다.
  7. 제 3 항에 있어서,
    상기 부가 정보를 매립하는 수단(4)이, 부가 정보의 검출시에 시간 방향으로의 신축률을 검출하기 위한 동기 신호를 각 프레임에 매립하는 수단을 포함하는 부가 정보 매립 시스템.
  8. 제 5 항에 있어서,
    연속하는 2 프레임에서, 전방 프레임내의 최종 샘플열과 후방 프레임내의 최초 샘플열의 주파수 변환후의 값이, 동일한 값에 가까이 가도록, 상기 의사 랜덤한 수를 변경하든가, 또는 상기 각 프레임의 주파수 성분의 변경에 제한을 가하는 수단을 포함하는 부가 정보 매립 시스템.
  9. 제 3 항에 있어서,
    상기 부가 정보를 매립하는 수단(4)이, 프레임 내의 주파수 성분을 복수의 주파수 대역으로 분할하고, 각각의 주파수 대역에 대하여, 서로의 내적이 영(zero)으로 되는 직교하는 복수의 부가 정보 매립용 복수의 마스크를 이용하여 정보를 매립하는, 다중의 부가 정보의 매립을 행하는 수단을 포함하는 부가 정보 매립 시스템.
  10. 제 3 항에 있어서,
    상기 부가 정보를 매립하는 수단(4)이, 복수의 프레임에 동일한 부가 정보를 반복하여 매립하는 수단을 포함하는 부가 정보 매립 시스템.
  11. 제 3 항에 있어서,
    상기 부가 정보를 매립하는 수단(4)이, 부가 정보의 검출시에 매립을 행한 프레임의 구획을 특정하기 위한 동기 신호를, 각 프레임에 매립하는 수단을 포함하는 부가 정보 매립 시스템.
  12. 제 10 항에 있어서,
    복수의 프레임에 반복해서 매립된 부가 정보의 반복 개시 또는 종료 프레임을 특정하기 위하여, 상기 부가 정보의 반복을 검출하는 구획 프레임을 설치하는 수단을 포함하는 부가 정보 매립 시스템.
  13. 제 12 항에 있어서,
    상기 구획 프레임은 부가 정보를 매립하는 프레임에, 다른 프레임과는 상이한 동기 신호를 매립한 프레임인 부가 정보 매립 시스템.
  14. 제 10 항에 있어서,
    복수의 프레임에 걸쳐 반복하여 매립된 부가 정보의 반복 개시 또는 종료 프레임을 특정하기 위해, 부가 정보로서, 매립하고자 하는 정보에 1 비트 이상의 추가 비트를 부가하여 확장 비트열을 생성하는 수단을 포함하는 부가 정보 매립 시스템.
  15. 제 13 항에 있어서,
    복수의 프레임에 걸쳐 반복하여 매립된 부가 정보의 반복 개시 또는 종료 프레임을 특정하기 위해, 순회 시프트에서 일치하지 않는 구획용 비트열을 부가 정보에 가산한 것을 매립하는 수단을 포함하는 부가 정보 매립 시스템.
  16. 오디오 데이터에 매립된 부가 정보를 검출하는, 부가 정보 검출 시스템에 있어서,
    (1) 오디오 데이터를 주파수 변환하는 수단과,
    (2) 부가 정보 검출용 마스크를 생성하는 수단과,
    (3) 상기 주파수 변환된 오디오 데이터로부터, 오리지날 오디오 데이터를 사용하지 않고, 부가 정보 검출을 위한 동기를 취하는 동기 검출 수단과,
    (4) 상기 주파수 변환된 오디오 데이터로부터, 동기를 취하면서, 상기 부가 정보 검출용 마스크를 이용하여 부가 정보의 비트를 검출하는 부가 정보 검출 수단
    을 포함하는 것을 특징으로 하는 부가 정보 검출 시스템.
  17. 제 16 항에 있어서,
    상기 오디오 데이터를 주파수 변환하는 수단(1)이, 오디오 데이터를, 각각이 복수의 샘플열로 이루어지는 복수의 프레임으로 분할하여, 각 프레임을 주파수 변환하는 수단인 부가 정보 검출 시스템.
  18. 제 16 항에 있어서,
    상기 부가 정보 검출용 마스크는, 의사 난수 생성기로부터 얻어진 의사 난수에 의해 생성되는 의사 랜덤한 수인 부가 정보 검출 시스템.
  19. 제 16 항에 있어서,
    상기 부가 정보 검출용 마스크는, 부가 정보 매립시에 이용된 마스크와 실질적으로 동일한 부가 정보 검출 시스템.
  20. 제 18 항에 있어서,
    상기 부가 정보를 검출하는 수단(4)이, 각 프레임이 주파수 변환된 주파수 성분과, 상기 의사 랜덤한 수와의 내적을 계산하여, 상기 내적의 값의 부호, 또는 내적의 값에 의해 부가 정보를 검출하는 수단인 부가 정보 검출 시스템.
  21. 제 20 항에 있어서,
    상기 내적은, 각 프레임이 주파수 변환된 주파수 성분에 주파수 분포로부터 결정되는 주파수 의존의 정수를 곱한 것과, 상기 의사 랜덤한 수와의 내적을 산출하는 것을 특징으로 하는 부가 정보 검출 시스템.
  22. 청구항22는 삭제 되었습니다.
  23. 청구항23는 삭제 되었습니다.
  24. 제 20 항에 있어서,
    상기 부가 정보를 검출하는 수단(4)이, 프레임 간에 걸쳐 동일한 부호로, 또는 교대로 반대 부호로 상기 내적의 값을 더하여, 총합한 상기 내적의 절대값이, 소정의 임계값보다 큰지의 여부에 따라서, 부가 정보의 매립 유무를 판정하는 수단을 포함하는 것을 특징으로 하는 부가 정보 검출 시스템.
  25. 제 18 항에 있어서,
    상기 동기 검출 수단이, 상기 복수의 프레임을 중첩시켜 얻어지는 1 프레임의 데이터를 주파수 변환하여, 위상을 회전한 부가 정보 검출용 마스크와의 내적을 구하고, 그 내적의 절대값이 최대로 되는 위상의 회전각으로부터, 매립시의 프레임 개시 위치를 특정하는 수단인 것을 특징으로 하는 부가 정보 검출 시스템.
  26. 제 20 항에 있어서,
    상기 부가 정보를 검출하는 수단(4)이, 프레임 동기용 마스크로부터 생성되는 의사 랜덤한 수와 각 프레임이 주파수 변환된 주파수 성분과의 내적의 계산 결과에 따라서, 부가 정보 검출용 마스크 각각에 있어서 검출된 값과 비트 정보와의 대응 관계를 변경하는 수단을 포함하는 부가 정보 검출 시스템.
  27. 제 20 항에 있어서,
    상기 오디오 데이터를 주파수 변환하는 수단(1)이, 프레임의 축을 변경하고, 매립한 동기 신호의 각 프레임에 있어서의 위상 또는 진폭을 측정하고, 그들이 검출하는 전체 프레임에 있어서 가장 일치하고 있는 프레임 축의 변경량을 시간축상의 신축률로 하여, 시간축상의 신축률을 정하는 수단을 포함하는 부가 정보 검출 시스템.
  28. 제 20 항에 있어서,
    상기 부가 정보를 검출하는 수단(4)이, 다중으로 정보가 매립되어 있는 경우, 복수의 검출용 마스크를 이용하여, 각 프레임이 주파수 변화된 주파수 성분과, 각각의 검출용 마스크로부터 생성되는 상기 의사 랜덤한 수와의 내적을 계산하고, 사이 내적의 값의 부호, 또는 내적의 값에 의해, 다중으로 매립된 부가 정보를 각각 검출하는 수단인 부가 정보 검출 시스템.
  29. 제 20 항에 있어서,
    (5) 상기 검출된 부가 정보의 비트로부터, 부가 정보를 복원하기 위하여, 반복의 개시 또는 종료 프레임을 특정하는 수단을 포함하고,
    상기 특정하는 수단이, 프레임으로부터 검출되는 동기 신호의 검출값이 다른 연속 프레임과 상이한 프레임이나, 또는 동기 신호가 매립되어 있지 않은 프레임을 구획 프레임으로서 특정하는 수단을 포함하는 부가 정보 검출 시스템.
  30. 제 20 항에 있어서,
    상기 부가 정보 검출 수단(4)이, 구획용 비트열을 이용하여, 검출된 비트 열 중에서 부가 정보를 구성하는 비트열의 반복 위치를 특정함으로써, 검출 비트열에 의해 부가 정보를 복원하는 수단을 포함하는 부가 정보 검출 시스템.
  31. 제 14 항에 있어서,
    상기 확장 비트열을 부가 정보로 하여 매립하는 경우, 반복 주기의 하나 걸러서 구획용 비트열을 배타적 논리합에 의해 가산하여 부가 정보를 매립하는 수단을 포함하는 부가 정보 매립 시스템.
  32. 제 20 항에 있어서,
    상기 부가 정보 검출 수단(4)이, 매립시의 부가 정보의 반복 개시 위치를 아는 일 없이 부가 정보를 복원하는 수단을 포함하는 부가 정보 검출 시스템.
  33. 청구항33는 삭제 되었습니다.
  34. 청구항34는 삭제 되었습니다.
  35. 오디오 데이터로 부가 정보를 매립하는 프로그램을 포함하는 컴퓨터 판독가능한 기록매체에 있어서,
    상기 프로그램은 컴퓨터로 하여금,
    (1) 오디오 데이터를 주파수 변환하는 기능과,
    (2) 상기 오디오 데이터에 근거하여, 상기 오디오 데이터에 부가 정보를 매립할 수 있는, 주파수의 변경 범위를 결정하는 기능과,
    (3) 부가 정보 검출시의 동기 검출을 가능하게 하는, 부가 정보 매립용 마스크를 생성하는 기능과,
    (4) 상기 주파수 변환된 오디오 데이터의 상기 매립할 수 있는 주파수의 변경 범위에, 부가 정보를 상기 부가 정보 매립용 마스크를 이용하여 매립하는 기능과,
    (5) 주파수 변환되어 부가 정보가 매립된 오디오 데이터를, 오디오 데이터로 역 변환하는 기능
    을 실행하게 하는 기록매체.
  36. 오디오 데이터에 매립된 부가 정보를 검출하는 프로그램을 포함하는 컴퓨터 판독가능한 기록매체에 있어서,
    상기 프로그램은 컴퓨터로 하여금,
    (1) 오디오 데이터를 주파수 변환하는 기능과,
    (2) 부가 정보 검출용 마스크를 생성하여, 상기 주파수 변환된 오디오 데이터로부터 오리지널 오디오 데이터를 사용하지 않고, 부가 정보 검출을 위한 동기를 취하는 기능과,
    (3) 상기 주파수 변환된 오디오 데이터로부터, 동기를 취하면서, 상기 부가 정보 검출용 마스크를 이용하여 부가 정보의 비트를 검출하는 기능
    을 실행하게 하는 기록매체.
  37. 제 12 항에 있어서,
    상기 구획 프레임은 부가 정보를 매립하는 프레임에, 어떠한 신호도 매립하지 않은 프레임인 부가 정보 매립 시스템.
  38. 제 10 항에 있어서,
    순회 시프트하여도 다른 비트열과 구별할 수 있는 비트열 세트(코드워드)를 부가 정보와 대응시켜 반복 매립함으로써, 반복 주기의 개시 또는 종료 프레임을 특정함이 없이 매립 정보 검출 가능한 수단을 포함하는 부가 정보 매립 시스템.
  39. 제 3 항에 있어서,
    상기 부가 정보를 매립하는 수단(4)이, 복수의 부가 정보를 각각 다른 반복 주기로 매립하는 수단을 포함하는 부가 정보 매립 시스템.
  40. 제 39 항에 있어서,
    복수의 부가 정보를 각각 다른 반복 주기로 매립하는 경우, 가장 짧은 주기로 검출되는 부가 정보에 대하여, 다른 부가 정보를 부가 정보마다에 정해지는 비트 길이로 분할한 것을 부가하고, 그들을 부가 정보 매립 반복 단위로서 매립하는 부가 정보 매립 시스템.
  41. 제 39 항에 있어서,
    반복 단위를 알 수 있도록, 가장 짧은 주기에서 검출되는 정보에 대하여, 구획용 비트열을 반복 주기의 하나 걸러서 배타적 논리 합에서 가산한 것을 매립하는 부가 정보 매립 시스템.
KR1019990034798A 1998-09-29 1999-08-21 오디오 데이터로 부가 정보를 매립하는 방법 및 시스템 KR100341197B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP98-276230 1998-09-29
JP27623098 1998-09-29

Publications (2)

Publication Number Publication Date
KR20000022748A KR20000022748A (ko) 2000-04-25
KR100341197B1 true KR100341197B1 (ko) 2002-06-20

Family

ID=17566516

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019990034798A KR100341197B1 (ko) 1998-09-29 1999-08-21 오디오 데이터로 부가 정보를 매립하는 방법 및 시스템

Country Status (5)

Country Link
US (1) US6526385B1 (ko)
JP (1) JP3274667B2 (ko)
KR (1) KR100341197B1 (ko)
CN (1) CN1199180C (ko)
GB (1) GB2343818B (ko)

Families Citing this family (73)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19947877C2 (de) * 1999-10-05 2001-09-13 Fraunhofer Ges Forschung Verfahren und Vorrichtung zum Einbringen von Informationen in einen Datenstrom sowie Verfahren und Vorrichtung zum Codieren eines Audiosignals
GB2358999A (en) * 2000-02-02 2001-08-08 Central Research Lab Ltd A system and method for labelling a signal
JP3905473B2 (ja) * 2000-06-08 2007-04-18 マークエニー・インコーポレイテッド デジタルオーディオコンテンツ著作権の保護及びコピー防止のための電子透かしの埋込み／抽出方法、及びこれを用いた装置
DE60110086T2 (de) 2000-07-27 2006-04-06 Activated Content Corp., Inc., Burlingame Stegotextkodierer und -dekodierer
GB2365296A (en) * 2000-07-27 2002-02-13 Cambridge Consultants Encoder/decoder for watermarking a covertext signal
US6674876B1 (en) 2000-09-14 2004-01-06 Digimarc Corporation Watermarking in the time-frequency domain
JP4348851B2 (ja) * 2000-09-21 2009-10-21 ソニー株式会社 記録媒体、ディスク記録装置および方法、並びにディスク再生装置及び方法
US7958213B1 (en) * 2000-09-21 2011-06-07 Siemens Enterprise Communications, Inc. Processing electronic messages
US8948059B2 (en) 2000-12-26 2015-02-03 Polycom, Inc. Conference endpoint controlling audio volume of a remote device
US8977683B2 (en) 2000-12-26 2015-03-10 Polycom, Inc. Speakerphone transmitting password information to a remote device
US7339605B2 (en) 2004-04-16 2008-03-04 Polycom, Inc. Conference link between a speakerphone and a video conference unit
US8964604B2 (en) 2000-12-26 2015-02-24 Polycom, Inc. Conference endpoint instructing conference bridge to dial phone number
US7864938B2 (en) * 2000-12-26 2011-01-04 Polycom, Inc. Speakerphone transmitting URL information to a remote device
US9001702B2 (en) 2000-12-26 2015-04-07 Polycom, Inc. Speakerphone using a secure audio connection to initiate a second secure connection
JP2002202787A (ja) * 2000-12-28 2002-07-19 Sony Corp コンテンツデータ、記録媒体、データ記録方法および装置、データ送信方法および装置、データ出力方法および装置、データ再生方法および装置、データ受信方法および装置
GB0110132D0 (en) * 2001-04-25 2001-06-20 Central Research Lab Ltd System to detect compression of audio signals
US8934382B2 (en) 2001-05-10 2015-01-13 Polycom, Inc. Conference endpoint controlling functions of a remote device
JP3953425B2 (ja) * 2001-05-17 2007-08-08 インターナショナル・ビジネス・マシーンズ・コーポレーション コンテンツ境界検出装置、モニタリング方法、コンテンツ位置検出方法、プログラム及び記憶媒体
GB2378370B (en) * 2001-07-31 2005-01-26 Hewlett Packard Co Method of watermarking data
GB0119569D0 (en) * 2001-08-13 2001-10-03 Radioscape Ltd Data hiding in digital audio broadcasting (DAB)
JP3675745B2 (ja) * 2001-08-21 2005-07-27 ソニー株式会社 付加データ埋め込み装置、付加データ埋め込み方法及び付加データ埋め込みプログラム
US8223942B2 (en) * 2001-12-31 2012-07-17 Polycom, Inc. Conference endpoint requesting and receiving billing information from a conference bridge
US8102984B2 (en) * 2001-12-31 2012-01-24 Polycom Inc. Speakerphone and conference bridge which receive and provide participant monitoring information
US8947487B2 (en) 2001-12-31 2015-02-03 Polycom, Inc. Method and apparatus for combining speakerphone and video conference unit operations
US7742588B2 (en) * 2001-12-31 2010-06-22 Polycom, Inc. Speakerphone establishing and using a second connection of graphics information
US8705719B2 (en) 2001-12-31 2014-04-22 Polycom, Inc. Speakerphone and conference bridge which receive and provide participant monitoring information
US8144854B2 (en) 2001-12-31 2012-03-27 Polycom Inc. Conference bridge which detects control information embedded in audio information to prioritize operations
US8934381B2 (en) * 2001-12-31 2015-01-13 Polycom, Inc. Conference endpoint instructing a remote device to establish a new connection
US7978838B2 (en) 2001-12-31 2011-07-12 Polycom, Inc. Conference endpoint instructing conference bridge to mute participants
US7787605B2 (en) 2001-12-31 2010-08-31 Polycom, Inc. Conference bridge which decodes and responds to control information embedded in audio information
US8885523B2 (en) 2001-12-31 2014-11-11 Polycom, Inc. Speakerphone transmitting control information embedded in audio information through a conference bridge
US7079633B2 (en) * 2002-01-15 2006-07-18 Howard Leventhal Coding a masked data channel in a radio signal
EP1343097A1 (en) * 2002-03-04 2003-09-10 Hewlett-Packard Company Method for embedding of information in media files
US7606388B2 (en) 2002-05-14 2009-10-20 International Business Machines Corporation Contents border detection apparatus, monitoring method, and contents location detection method and program and storage medium therefor
US20040034655A1 (en) * 2002-07-17 2004-02-19 Tecu Kirk Steven Multimedia system and method
CA2494554A1 (en) 2002-07-29 2004-02-05 International Business Machines Corporation Method and system for embedding real-time watermark signals
EP1429327A3 (en) * 2002-12-13 2005-03-09 Sony DADC Austria AG Data recording method and data recording medium
JP3871657B2 (ja) * 2003-05-27 2007-01-24 株式会社東芝 話速変換装置、方法、及びそのプログラム
EP1645058A4 (en) * 2003-06-19 2008-04-09 Univ Rochester CAMOUFLAGE OF DATA BY AUDIO SIGNAL PHASE HANDLING
JP4379031B2 (ja) * 2003-07-17 2009-12-09 日本ビクター株式会社 情報伝送方式及びそれに用いる情報送信装置及び情報受信装置
GB2416285A (en) * 2004-07-14 2006-01-18 British Broadcasting Corp Transmission of a data signal in an audio signal
KR100617165B1 (ko) * 2004-11-19 2006-08-31 엘지전자 주식회사 워터마크 삽입/검출 기능을 갖는 오디오 부호화/복호화장치 및 방법
JP4713180B2 (ja) * 2005-02-25 2011-06-29 大日本印刷株式会社 音響信号からの情報の抽出装置
EP1729285A1 (en) * 2005-06-02 2006-12-06 Deutsche Thomson-Brandt Gmbh Method and apparatus for watermarking an audio or video signal with watermark data using a spread spectrum
US8126029B2 (en) 2005-06-08 2012-02-28 Polycom, Inc. Voice interference correction for mixed voice and spread spectrum data signaling
US7796565B2 (en) * 2005-06-08 2010-09-14 Polycom, Inc. Mixed voice and spread spectrum data signaling with multiplexing multiple users with CDMA
US8199791B2 (en) 2005-06-08 2012-06-12 Polycom, Inc. Mixed voice and spread spectrum data signaling with enhanced concealment of data
US8332216B2 (en) * 2006-01-12 2012-12-11 Stmicroelectronics Asia Pacific Pte., Ltd. System and method for low power stereo perceptual audio coding using adaptive masking threshold
US8582729B2 (en) * 2006-02-24 2013-11-12 Qualcomm Incorporated System and method of controlling a graphical user interface at a wireless device
EP1837875A1 (en) * 2006-03-22 2007-09-26 Deutsche Thomson-Brandt Gmbh Method and apparatus for correlating two data sections
JP4827661B2 (ja) * 2006-08-30 2011-11-30 富士通株式会社 信号処理方法及び装置
US8494903B2 (en) 2007-03-16 2013-07-23 Activated Content Corporation Universal advertising model utilizing digital linkage technology “U AD”
JP2010074398A (ja) * 2008-09-17 2010-04-02 Ntt Docomo Inc Ｏｆｄｍ変復調方法、ｏｆｄｍ変調装置、ｏｆｄｍ復調装置およびｏｆｄｍ変復調システム
US20100131417A1 (en) * 2008-11-25 2010-05-27 Hank Risan Enhancing copyright revenue generation
US8666528B2 (en) 2009-05-01 2014-03-04 The Nielsen Company (Us), Llc Methods, apparatus and articles of manufacture to provide secondary content in association with primary broadcast media content
KR101764926B1 (ko) 2009-12-10 2017-08-03 삼성전자주식회사 음향 통신을 위한 장치 및 방법
KR101200825B1 (ko) * 2009-12-21 2012-11-22 서울대학교산학협력단 가청주파수 대역 음향통신에서의 데이터 수신에러 감소 시스템 및 방법, 그리고 이에 적용되는 장치
US8917631B2 (en) 2010-08-23 2014-12-23 Ortsbo Inc. System and method for sharing information between two or more devices
KR101462427B1 (ko) * 2010-11-10 2014-11-17 서울대학교산학협력단 오디오 신호의 보존에 기초한 음파 통신에서 정보 송수신 시스템 및 방법, 그리고 이에 적용되는 장치
WO2012150595A2 (en) * 2011-05-02 2012-11-08 Re-10 Ltd. Apparatus, systems and methods for production, delivery and use of embedded content delivery
JP2013026952A (ja) * 2011-07-25 2013-02-04 Sony Corp 画像処理方法、エンコード装置、デコード装置および画像処理装置
EP2565667A1 (en) * 2011-08-31 2013-03-06 Friedrich-Alexander-Universität Erlangen-Nürnberg Direction of arrival estimation using watermarked audio signals and microphone arrays
CN104871243A (zh) * 2012-12-31 2015-08-26 张江红 提供增强音频数据流的方法及装置
CN103079196B (zh) * 2013-01-11 2016-02-10 广东欧珀移动通信有限公司 加密通话方法及终端
HK1176805A2 (en) * 2013-01-15 2013-08-02 X On Comm Ltd A method and system for wireless communication
CN105122359B (zh) * 2013-04-10 2019-04-23 杜比实验室特许公司 语音去混响的方法、设备和系统
WO2014199449A1 (ja) 2013-06-11 2014-12-18 株式会社東芝 電子透かし埋め込み装置、電子透かし検出装置、電子透かし埋め込み方法、電子透かし検出方法、電子透かし埋め込みプログラム、及び電子透かし検出プログラム
US20160111107A1 (en) * 2014-10-21 2016-04-21 Mitsubishi Electric Research Laboratories, Inc. Method for Enhancing Noisy Speech using Features from an Automatic Speech Recognition System
CN106295253A (zh) * 2015-06-26 2017-01-04 南宁富桂精密工业有限公司 信息隐藏方法及系统
US10720959B2 (en) 2017-10-12 2020-07-21 British Cayman Islands Intelligo Technology Inc. Spread spectrum based audio frequency communication system
US11714127B2 (en) 2018-06-12 2023-08-01 International Business Machines Corporation On-chip spread spectrum characterization
US11146307B1 (en) * 2020-04-13 2021-10-12 International Business Machines Corporation Detecting distortion in spread spectrum signals
US11693446B2 (en) 2021-10-20 2023-07-04 International Business Machines Corporation On-chip spread spectrum synchronization between spread spectrum sources

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL8901032A (nl) 1988-11-10 1990-06-01 Philips Nv Coder om extra informatie op te nemen in een digitaal audiosignaal met een tevoren bepaald formaat, een decoder om deze extra informatie uit dit digitale signaal af te leiden, een inrichting voor het opnemen van een digitaal signaal op een registratiedrager, voorzien van de coder, en een registratiedrager verkregen met deze inrichting.
US5768426A (en) * 1993-11-18 1998-06-16 Digimarc Corporation Graphics processing system employing embedded code signals
EP0766468B1 (en) 1995-09-28 2006-05-03 Nec Corporation Method and system for inserting a spread spectrum watermark into multimedia data
US5949885A (en) * 1996-03-12 1999-09-07 Leighton; F. Thomson Method for protecting content using watermarking
US6282299B1 (en) * 1996-08-30 2001-08-28 Regents Of The University Of Minnesota Method and apparatus for video watermarking using perceptual masks
US5848155A (en) 1996-09-04 1998-12-08 Nec Research Institute, Inc. Spread spectrum watermark for embedded signalling
JP3355521B2 (ja) 1998-03-23 2002-12-09 東洋通信機株式会社 音声符号化時の透かしビットの埋込方法
JP2000089796A (ja) 1998-09-16 2000-03-31 Nippon Hoso Kyokai <Nhk> 音響信号へのデータ埋め込み装置およびデータ抽出装置

Also Published As

Publication number Publication date
CN1199180C (zh) 2005-04-27
GB2343818B (en) 2004-01-21
KR20000022748A (ko) 2000-04-25
JP3274667B2 (ja) 2002-04-15
JP2000172282A (ja) 2000-06-23
CN1249517A (zh) 2000-04-05
GB2343818A (en) 2000-05-17
GB9922676D0 (en) 1999-11-24
US6526385B1 (en) 2003-02-25

Similar Documents

Publication Publication Date Title
KR100341197B1 (ko) 오디오 데이터로 부가 정보를 매립하는 방법 및 시스템
JP4690366B2 (ja) 音声透かしをベースとするメディア・プログラムの識別方法及び装置
JP3659321B2 (ja) 電子透かし方法およびそのシステム
JP5105686B2 (ja) ステゴテキスト・エンコーダおよびデコーダ
CN101297354B (zh) 音频处理
US20050240768A1 (en) Re-embedding of watermarks in multimedia signals
JP2004525430A (ja) 電子透かしの生成及び検出
EP1493145B1 (en) Watermark time scale searching
RU2666647C2 (ru) Генератор водяного знака, декодер водяного знака, способ генерации сигнала водяного знака на основе данных двоичного сообщения, способ формирования данных двоичного сообщения на основе сигнала с водяным знаком и компьютерная программа с использованием двухмерного расширения битов
US7546467B2 (en) Time domain watermarking of multimedia signals
JP4867765B2 (ja) 音響信号に対する情報の埋め込み装置および音響信号からの情報の抽出装置
WO2007049055A1 (en) Audio processing
Foote et al. Time base modulation: a new approach to watermarking audio
JP2004341066A (ja) 電子透かし埋め込み装置及び電子透かし検出装置
JP5082257B2 (ja) 音響信号検索装置
KR20040095325A (ko) 다매체 신호들의 워터마킹을 위한 윈도우 셰이핑 함수들
JP4310145B2 (ja) オーディオデータの透かし情報埋め込み方法、埋め込みプログラム及び検出方法
JP4876978B2 (ja) 音響信号に対する情報の埋め込み装置および音響信号からの情報の抽出装置
WO2011160966A1 (en) Audio watermarking
JP4028676B2 (ja) 音響信号伝送装置および音響信号伝送方法、ならびに、音響信号の埋め込みデータを抽出するデータ抽出装置およびデータ抽出方法
JP2000089796A (ja) 音響信号へのデータ埋め込み装置およびデータ抽出装置
JP4910921B2 (ja) 音響信号に対する情報の埋め込み装置および音響信号からの情報の抽出装置
JP4760539B2 (ja) 音響信号に対する情報の埋め込み装置
JP2012013808A (ja) キャリア信号に埋め込まれた電子透かし情報を抽出する抽出装置、およびキャリア信号に電子透かし情報を埋め込む埋め込み装置
KR20190132730A (ko) 디지털 데이터의 무결성을 검증할 수 있는 장치 및 디지털 데이터의 무결성을 검증할 수 있는 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20100428

Year of fee payment: 9

LAPS Lapse due to unpaid annual fee