KR20010023043A - 비디오용 후압축 히든 데이터 트랜스포트 - Google Patents

비디오용 후압축 히든 데이터 트랜스포트 Download PDF

Info

Publication number
KR20010023043A
KR20010023043A KR1020007001660A KR20007001660A KR20010023043A KR 20010023043 A KR20010023043 A KR 20010023043A KR 1020007001660 A KR1020007001660 A KR 1020007001660A KR 20007001660 A KR20007001660 A KR 20007001660A KR 20010023043 A KR20010023043 A KR 20010023043A
Authority
KR
South Korea
Prior art keywords
sample
video
transform sample
auxiliary data
transform
Prior art date
Application number
KR1020007001660A
Other languages
English (en)
Inventor
총유.리
캄란모알레미
저그힌더링
Original Assignee
로버트 엘. 워렌
솔라나 테크놀로지 디벨롭먼트 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 로버트 엘. 워렌, 솔라나 테크놀로지 디벨롭먼트 코포레이션 filed Critical 로버트 엘. 워렌
Publication of KR20010023043A publication Critical patent/KR20010023043A/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/913—Television signal processing therefor for scrambling ; for copy protection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0021—Image watermarking
    • G06T1/0028—Adaptive watermarking, e.g. Human Visual System [HVS]-based watermarking
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/018—Audio watermarking, i.e. embedding inaudible data in the audio signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/66—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission for reducing bandwidth of signals; for improving efficiency of transmission
    • H04B1/665—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission for reducing bandwidth of signals; for improving efficiency of transmission using psychoacoustic properties of the ear, e.g. masking effect
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/69—Spread spectrum techniques
    • H04B1/707—Spread spectrum techniques using direct sequence modulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2389—Multiplex stream processing, e.g. multiplex stream encrypting
    • H04N21/23892—Multiplex stream processing, e.g. multiplex stream encrypting involving embedding information at multiplex stream level, e.g. embedding a watermark at packet level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/917—Television signal processing therefor for bandwidth reduction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/28—Indexing scheme for image data processing or generation, in general involving image processing hardware
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00—General purpose image data processing
    • G06T2201/005—Image watermarking
    • G06T2201/0052—Embedding of the watermark in the frequency domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B2201/00—Indexing scheme relating to details of transmission systems not covered by a single group of H04B3/00 - H04B13/00
    • H04B2201/69—Orthogonal indexing scheme relating to spread spectrum techniques in general
    • H04B2201/707—Orthogonal indexing scheme relating to spread spectrum techniques in general relating to direct sequence modulation
    • H04B2201/70715—Orthogonal indexing scheme relating to spread spectrum techniques in general relating to direct sequence modulation with application-specific features

Abstract

보조 데이터(315, 414)는 가시범위 임계치에 따라 복합 변환 샘플에 비디오 변환 샘플과 함께 실질적으로 감지될 수 없게 전달된다. 보조 데이터(315, 414)는 복사 보호구조에 대한 능력이나 텔레비전 시청 동작의 검증을 제공한다. 비디오 변환 샘플(240)은 압축된 패킷화 데이터 스트림으로부터 추출되고, 필요에 따라 정규화된다. 보조 데이터(315, 414)는 보조 데이터 서브밴드 샘플(SPD0- SPDN-1)을 생성하기 위해 다른 공간주파수의 의사 잡음(pseudo-noise: PN) 스프레드 스펙트럼 신호(412, 630) 등의 데이터 반송파 시퀀스를 변조한다. 여기서, 보조 데이터 서브밴드 샘플(SPD0- SPDN-1)은 복합 변환 샘플을 생성하기 위해 1개 이상의 공간주파수의 비디오 변환 샘플(SS0- SSN-1)와 교대로 결합된다. 또한, 보조 데이터 서브밴드 샘플(SPD0- SPDN-1)은 은닉(concealment)을 강화시키기 위해 비디오 변환 샘플(SS0- SSN-1)에 따라 스펙트럼 정형되어도 좋다. 그 후, 복합 변환 샘플(SS´0- SS´N-1)은 패킷화된 데이터 스트림(462)으로 다중화된다. 비디오 변환 샘플의 풀 신장은 필요하지 않다. 디코더(368)에서는, 보조 데이터 신호(672)를 복구하기 위해 복합 변환 샘플을 복조한다.

Description

비디오용 후압축 히든 데이터 트랜스포트 {POST-COMPRESSION HIDDEN DATA TRANSPORT FOR VIDEO}
일반적으로, 부가정보를 전달하는 전송채널의 용량은 그 채널의 대역폭에 의해 제한된다. 통신채널의 대역폭은 전자기 스펙트럼의 본질에 의해 제한되기 때문에, 무선채널에 있어서는 법으로 규제될 수 있고, 기술은 주어진 대역폭의 채널내에서 전달될 수 있는 정보의 양을 증가시키기 위해 발전되어 왔다. 예컨대, 주어진 대역폭이나 데이터 저장공간내에서 데이터를 더 압축하기 위해 디지탈 데이터를 압축하기 위한 기술이 알려져 있다.
압축은 소스 신호(source signal)를 인코드하는데 필요한 데이터 비트이 수를 줄여 소스 신호가 디코더에 의해 만족스러운 충실도로 복구될 수 있도록 하는 것이다. 예컨대, 인간의 눈은 비디오 신호의 고주파수성분의 진폭변동에 그다지 민감하지 않다고 알려져 있다. 마찬가지로, 인간의 귀는 오디오 신호의 고주파수성분의 진폭변동에 그다지 민감하지 않다. 따라서, 오디오 및 비디오 데이터는 고주파수성분에 보다 소수의 비트를 할당하는 주파수 변환기술을 이용하여 인코드될 수 있다. 이와 같이 하여, 전송되어야 하는 데이터 비트의 총수가 저감되고, 그와 동시에 만족스러운 화면 및 음악이 역시 제공되는 것이다.
텔레비전, 컴퓨터 그래픽, 컴팩트 디스크, 디지탈 카메라 등에 대한 디지탈 오디오 및 비디오 내용의 이용이 증가함에 따라 다수의 상황에서 디지탈 오디오 및 비디오 신호에 히든 데이터를 제공하는 것이 바람직하다. 예컨대, 오디오 또는 비디오 신호가 적절한 허가없이 복사되는 것을 불가능하게 하는 복사관리구조를 제공하기 위해 전달되는 오디오 또는 비디오 데이터에 대하여 데이터 보조(data ancillary)를 가능하게 하거나, 그렇지 않으면 비디오 신호와 결합된 오디오 또는 비디오 프로그램 또는 다른 정보(예컨대, 멀티미디어)의 이용을 제어하는 것이 바람직하다. 또한, 오디오 또는 비디오 프로그램의 이름, 소스, 스폰서 및/또는 실행자 등의 오디오 또는 비디오 신호의 내용을 식별하는 정보, 및 시장조사나 상업적 검증에 대한 폴링 정보(polling information)를 숨겨도 좋다. 이 구조는 DVD(Digital Video Disc), CD-ROM을 포함한 CD(Compact Disc) 등의 광학 기억매체 및 VCR(Video Cassette Recorder) 테이프 등의 자기 기억매체를 포함한 각종의 기억매체와 호환되지 않으면 안된다.
또한, 오디오 또는 비디오 신호에 의해 전달되는 보조 정보의 형태는 가상적으로 제한되지 않는다. 예컨대, 이것은 오디오 또는 비디오 신호와 전혀 관련이 없는 데이터가 전달되도록(예컨대, 주식 가격 데이터나 영화의 경우의 "전자 쿠폰"을 전송하도록) 하는데 이점이 있다. 게다가, 오디오 또는 비디오 신호에 데이터를 숨기는데 사용되는 구조는 변조된 반송파, 변조되지 않은 반송파(예컨대, 파일로트) 또는 이들의 조합을 숨기는 것이 가능해야 한다.
보조 정보에 대해 기본 오디오 또는 비디오 신호와 동시에 실질적으로 감지될 수 없게 전송되는 것이 바람직하다. 그러한 기술중의 하나에서는, 오디오 또는 비디오 채널의 대역폭은 그대로 남아 있고, 부가 정보는 기본 오디오 또는 비디오 신호의 질을 충분히 떨어뜨리지 않고 검색할 수 있도록 오디오 또는 비디오 정보에 팩(pack)되어 있다.
이 구조는 보조 정보를 검색할 능력을 갖고 있지 않은 오디오 또는 비디오 디코더 뿐만 아니라 보조 정보를 검색할 수 있는 특별한 디코더와 호환가능해야 한다. 또한, 비디오 디코더는 근본적으로 질적인 저감없이 비디오 데이터를 복구하기 위해 비디오 데이터를 화소 도메인(pixel domain)으로 전송하기에 앞서 비디오 데이터로부터 보충 정보를 제거하는 능력을 갖고 있어도 좋다.
이 구조는 현존하는 디지탈 비디오 데이터 통신구조와 호환가능해야 한다. 여기서, 비디오 신호는 계수화되고, 공간적으로 전송되며, 압축되고, 미리 정의된 프레임 포맷으로 팩된 후, 비트스트림으로 전송된다. 따라서, 이 구조는 신호의 풀 신장(full decompression)을 필요로 하지 않고 히든 데이터가 압축된 전송 샘플에 삽입되도록 해야 한다.
이 구조는, 오디오 또는 비디오 신호의 질을 실질적으로 변경하거나, 혹은 비트스트림의 다른 데이터와 간섭하는 일없이, 현존하는 통신경로를 통해 이전부터 존재하는 비트스트림으로서 통신되는 디지탈 오디오 및 비디오 데이터 스트림에 보조 데이터를 숨기기 위한 방법을 제공해야 한다.
특히, 이 구조는 디지탈 압축비디오 데이터 스트림의 각각의 서브밴드(예컨대, 공간 주파수), 디지탈 압축오디오 데이터 스트림의 각각의 서브밴드에서의 보조 데이터의 공급을 허용해야 한다. 마찬가지로, 이 구조는 압축된 디지탈 오디오 또는 비디오 신호로부터 보조 데이터의 복구를 허용해야 한다. 마지막으로, 이 구조는 그 은닉(concealment)을 강화시키기 위해 보조 데이터의 스펙트럼 정형(spectral shaping)을 제공해야 한다.
본 발명은, 상술한 이점 및 다른 이점을 갖는 디지탈 오디오 또는 비디오 신호에 숨겨진 정보를 전송 및 복구하기 위한 방법 및 장치를 제공하고자 하는 것이다.
본 발명은 오디오 또는 비디오 신호에 데이터를 숨기기 위한 방법 및 장치에 관한 것으로, 특히 현재의 통신채널을 통해 통신되는 압축된 디지탈 오디오 또는 비디오 데이터 스트림에 감지될 수 없는 보조 데이터 신호를 공급하기 위한 구조에 관한 것이다. 이 구조는 비디오용 후압축 히든 데이터 트랜스포트(post-compression hidden data transport: PC-HDT)로서 특징지워진다. 또한, 디지탈 데이터 기억매체에 더하여, 오디오 또는 비디오 신호로부터 히든 데이터(hidden data: 숨은 데이터)를 복구하기 위한 대응하는 방법 및 장치도 기술된다.
도 1은 통상적인 심리가시 비디오 인코더(psycho-visual video encoder)의 블록도,
도 2는 본 발명에 따른 PC-HDT(post-compression hidden data transport) 시스템에 입력으로서 공급될 수 있는 서브밴드 부호화된 디지탈 비디오 신호의 통상적인 프레임 포맷팅을 설명하기 위한 도면,
도 3a는 본 발명에 따른 비디오용 PC-HDT 인코더의 대표적인 제1응용예의 블록도,
도 3b는 본 발명에 따른 비디오용 PC-HDT 디코더의 대표적인 제2응용예의 블록도,
도 4는 본 발명에 따른 PC-HDT 시스템 인코더의 블록도,
도 5는 본 발명에 따른 PC-HDT 시스템 인코더의 변형례의 블록도,
도 6은 본 발명에 따른 PC-HDT 시스템 디코더의 블록도,
도 7은 본 발명에 따른 PC-HDT 시스템 인코더의 다른 변형례의 블록도,
도 8은 본 발명에 따른 PC-HDT 시스템 디코더의 변형례의 블록도이다.
본 발명에 의하면, 보조 데이터를 삽입하기 위해 오디오 또는 비디오 데이터의 풀 신장(full decompression)을 필요로 하지 않고 이전부터 존재하는 비트스트림의 통신 채널을 통해 전송되는 압축된 디지탈 오디오 또는 비디오 신호에 보조 정보를 숨기기 위한 방법 및 장치가 제공된다. 더욱이, 상기 오디오 또는 비디오 데이터의 다른 서브밴드에 동일한 보조 데이터를 삽입함으로써, 유리한 신호대 잡음비(signal-to-noise ratio: SNR)가 얻어진다. 상기 은닉을 강화시키기 위해 보조 데이터 신호의 스펙트럼 정형이 제공될 수 있다.
디지탈 비디오 데이터 스트림에 보조 데이터 서브밴드 샘플을 제공하기 위한 방법은, 데이터 스트림으로부터 복수의 비디오 변환 샘플을 공급하는 단계를 포함한다. 각 변환 샘플은 공간 주파수와 결합되어 있다. 화소 데이터는 데이터 스트림으로부터 후에 복구되는 비디오 변환 샘플을 제공하기 위해 이산 코사인 변환(Discrete Cosine Transform: DCT)이나 다른 변환을 이용하여 공간적으로 변환될 수 있다. M-어리(ary) 확산 스펙트럼 신호(여기서 M≥2)나 다른 백색 잡음 신호 등의 데이터 반송파 시퀀스(data carrier sequence)는 보조 데이터 서브밴드 샘플을 생성하기 위해 보조 데이터 신호에 의해 변조된다. 보조 데이터 서브밴드 샘플은, 그 보조 데이터 서브밴드 샘플이 실질적으로 감지될 수 없게(예컨대 분간할 수 없게) 전달되는 복합 변환 샘플을 생성하기 위해 대응하는 비디오 변환 샘플과 결합된다. 즉, 결합된 복합 변환 샘플로부터 복구된 화소 데이터는 비디오 변환 샘플로부터 복구된 화소 데이터와 실질적으로 동일한 화질을 갖게 된다. 보조 데이터 서브밴드 샘플의 존재는 평균 관측자에 대한 화질을 저감시키지 않을 것이다. 복합 변환 샘플은 디지탈 비디오 데이터 스트림에서의 전송을 위해 제공된다.
변형례에서는, 다층의 보조 데이터 서브밴드 샘플이 디지탈 비디오 데이터 스트림에 인코드된다. 각 층은 특유의 대응하는 의사잡음(pseudo-noise: PN) 시퀀스 또는 그들 층의 상대 위치를 시프트시킴으로써 이용될 수 있는 동일한 PN 시퀀스를 가질 수 있다. 더욱이, 다른 보조 신호로부터의 서브밴드 샘플은 디지탈 비디오 데이터 스트림에서 각각의 다른 공간주파수(예컨대, 주파수당 1개의 신호), 동일한 공간주파수(예컨대, 주파수당 1개 이상의 신호) 또는 그들의 조합에 삽입될 수 있다. 데이터 반송파 시퀀스는 스프레드 스펙트럼 PN 시퀀스, "희소(sparse)" PN 시퀀스, "샘플 트위들(sample twiddle)" 시퀀스 또는 "비트 트위들" 시퀀스로 이루어질 것이다.
비디오 변환 샘플이 균일하지 않은 전력 스펙트럼을 가질 때는, 상기 방법은 대략 균일한 전력 스펙트럼을 제공하기 위해 상기 비디오 변환 샘플을 정규화하는 단계를 더 포함한다. 복합 변환 샘플은, 상기 비디오 변환 샘플의 균일하지 않은 전력 스펙트럼을 재저장하고 균일하지 않은 전력 스펙트럼에 따라 상기 보조 데이터 서브밴드 샘플을 복합 변환 샘플로 스펙트럼 정형하기 위해 상기 정규화단계 후에 비정규화된다.
데이터 반송파 시퀀스는, 다른 보조 데이터 신호에 대응하는 각각의 보조 데이터 서브밴드 샘플이 전달되는 복합 변환 샘플을 허용하기 위해 다른 보조 데이터 신호에 의해 변조된다. 즉, 각 복합 변환 샘플은 다른 보조 데이터 신호로부터 보조 데이터 서브밴드 샘플을 전달할 것이다. 복조시에, 그러한 복합 변환 샘플은 각각의 보조 데이터 신호를 복구하기 위해 독립적으로 추적될 수 있다.
또한, 상기 복합 변환 샘플은 단일의 보조 데이터 신호로부터 보조 데이터 서브밴드 샘플을 전달하여, 단일 화상의 복합 변환 샘플의 직렬 복조가 상기 단일의 보조 데이터 신호로부터의 상기 보조 데이터 서브밴드 샘플의 직렬 복구로 되도록 할 수 있다.
다른 변형례에서는, 복수의 보조 데이터 신호로부터의 보조 데이터 서브밴드 샘플이 단일의 공간주파수로 전달된다. 이것은, 예컨대 단일의 공간주파수로부터 일시적으로 이어지는 제1, 제2 및 제3 복합 변환 샘플이 각각 제1, 제2 및 제3 보조 데이터 신호로부터의 보조 데이터 서브밴드 샘플을 포함하는 시간다중화 구조(time-multiplexing scheme)를 허용한다.
비트는 가시범위 임계치(visibility threshold)에 따라 복합 서브밴드 샘플을 양자화하도록 할당되어 보조 데이터 서브밴드 샘플이 실질적으로 감지될 수 없도록 하고 있다. 예컨대, 가시범위 임계치는 유지되어야 하는 보조 데이터 서브밴드 샘플에 따른 비디오 변환 샘플의 최소 신호대 잡음비를 제공할 수 있다.
비디오 변환 샘플은 인트라 부호화(intra coded)된 화상 및/또는 차분 부호화(differentially coded)된 화상으로부터 공간적으로 변환된 화소 데이터로 이루어질 수 있다. 차분 부호화된 화상에 대해서는, 저감된 수의 비트가 차분 신호를 부호화하는데 할당되기 때문에, 보조 데이터의 비트율(bit rate)은 인트라 부호화된 화상에 따라 저감될 것이다.
마찬가지로, 압축된 디지탈 비디오 데이터 스트림으로부터의 보조 데이터 신호를 나타내는 보조 데이터 서브밴드 샘플을 복구하기 위한 방법이 소개되어 있다. 보조 데이터 서브밴드 샘플은 상기 보조 데이터 신호에 의해 제1 데이터 반송파 시퀀스를 변조함으로써 생성된다. 보조 데이터 서브밴드 샘플은 데이터 스트림의 복합 변환 샘플에 비디오 변환 샘플과 더불어 전달된다.
복합 변환 샘플은 데이터 스트림으로부터 복구되고, 상기 제1 데이터 반송파 시퀀스에 대응하는 복구 데이터 반송파 시퀀스가 공급된다. 복합 변환 샘플은 보조 데이터 서브밴드 샘플를 복구하기 위해 상기 복구 데이터 반송파 시퀀스를 이용하여 처리된다. 이 처리는, 상기 보조 데이터 서브밴드 샘플을 복구하기 위해 상기 복구 데이터 반송파 시퀀스를 이용하여 상기 복구된 복합 변환 샘플을 복조(예컨대, 혼합)하는 단계, 및 디스프레드 보조 데이터 서브밴드 샘플을 생성하기 위해 상기 복구된 보조 데이터 서브밴드 샘플을 통합하는 단계를 포함할 수 있다. 디스프레딩(despreading)은 혼합(mixing) 및 통합(integrating)의 결합에 의해 얻어진다. 디스프레드 보조 데이터 서브밴드 샘플은 보조 데이터 신호를 복구하기 위해 선택된 공간주파수를 교차해서 가산된다.
비디오 변환 샘플이 균일하지 않은 전력 스펙트럼을 가질 때는, 복합 변환 샘플은 그 복합 변환 샘플내의 비디오 변환 샘플에 대해 대략 균일한 전력 스펙트럼을 제공하기 위해 정규화된다.
복구 데이터 반송파 시퀀스는, 보조 데이터 서브밴드 샘플이 복수의 공간주파수에 전달될 수 있는 경우에 비디오 변환 샘플의 복수의 공간주파수를 통해 필터링될 수 있다.
또한, 대응하는 인코딩 및 디코딩장치도 개시되어 있다.
더욱이, 비디오 신호를 나타내는 비디오 변환 샘플과 보조 데이터 신호를 나타내는 보조 데이터 서브밴드 샘플을 포함하는 복합 변환 샘플을 저장하기 위한 기억매체를 포함하는 압축된 디지탈 데이터 기억매체도 개시되어 있다. 보조 데이터 서브밴드 샘플은 비디오 변환 샘플에 대응하는 적어도 1개의 공간주파수를 통한 보조 데이터 신호에 의해 데이터 반송파 시퀀스를 변조함으로써 생성된다. 보조 데이터 서브밴드 샘플은 실질적으로 감지될 수 없게 비디오 신호로 전달되고, 비디오 변환 샘플에 따라 스펙트럼 정형된다. 상기 기억매체는, 보조 데이터 서브밴드 샘플로부터 보조 데이터 신호의 복구를 허용하기 위한 수단을 더 포함하고 있다.
본 발명은, 현재의 채널을 통해 통신되는 압축된 디지탈 비디오 데이터 스트림에 감지될 수 없는 서브밴드 부호화 보조 데이터 신호를 공급하는 방법 및 장치에 관한 것이다. 용어 "서브밴드 부호화(subband coded)"란 QMF(Quadrature Mirror Filters) 및 피라미드 코딩 등의 필터 뱅크(filter bank)에 기초를 둔 코딩과, 이산 푸리에 변환(Discrete Fourier Transform), 이산 코사인 변환(Discrete Cosine Transform), 카루넨뢰베 변환(Karhunen-Loeve Transform), 왈시 하다마드 변환(Walsh Hadamard Transform), 웨이브렛 변환(wavelet transform) 뿐만 아니라 다른 알려진 공간 변환 등의 변환 코딩의 양쪽 모두를 포함한다. 용어 "변환 부호화(transform coded)"란 예컨대 2(또는 그 이상)차원을 통해 공간적으로 변환된 데이터를 특별히 인용한다.
본 발명은, 예컨대 MPEG(Moving Picture Experts Group: 동화상 전문가 그룹)의 MPEG-2 비디오 표준을 포함하는 공간변환 코딩기술의 소정 형태에 의지하고 있는 현존하는 비디오 압축 알고리즘과 호환가능하다. MPEG-2 표준 하에, 디지탈 비디오 데이터는 개인의 집이나 케이블 텔레비전 분배 시스템의 헤드엔드(headend)에 위성이나 육상 방법을 통해 전송되는 패킷화된 전송 스트림에 (예컨대, 오디오, 폐쇄된 캡션 데이터, 주가 등의) 다른 디지탈 데이터와 함께 전송될 수 있다. 또한, 전송 스트림은 DVD(digital video disc), CD(compact disc) 또는 DVC(digital video cassette) 등의 인코드된 소스 매체로부터 국부적으로 제공될 수 있다.
이미징 시스템에 시각 정보를 표시하는 방법으로 인해, 통상의 이미지 표시에는 잠재 리던던시(inherent redundancy)가 있다. 화상의 디지탈 표시는 각 샘플링점(예컨대, 화소)에서의 장면(scene)의 강도 또는 밝기(예컨대, 루미넌스)를 기록함으로써 얻어지고, 여기서 화소의 2차원 배열이 화상을 나타낸다. 각 화소값은 이미징 시스템에 진폭 또는 전압으로서 나타나지만, 인간의 시각은 개개의 화소의 엄밀한 값보다는 화소간의 구조적 관계에 더 적응된다.
화소간의 이러한 관계를 조사하는 한가지 방법은, 필터나 스펙트럼 분석기의 뱅크에 따라 시각의 모형을 만드는 것이다. 로우 패스 필터링된 화상이 풀 밴드폭 화상과 비교하여 약간 희미하게 보일 뿐, 여전히 가시적으로 중요한 정보의 대부분을 인간 관찰자에게 전달하기 때문에, 이 주파수 도메인 표시는 합당하다. 이것은, ISO(International Standards Organization)에 의해 공표된 JBIG(Joint Bi-level Imaging Group) 및 JPEG(Joint Photographic Experts Group) 표준에 따른 것과 같은 스틸 이미지(still image)와, MPEG-1이나 MPEG-2 표준에 따른 것과 같은 동화상의 양쪽 모두에 대해 조금도 다르지 않다. 여기에 이용된 바와 같은 용어 "비디오"는 스틸 이미지와 동화상의 양쪽 모두를 인용한다. 물론, 동화상은 일련의 스틸 이미지로 구성된다.
(16×16화소 매크로블록 등의) 각 화상은, 다른 화상과 관계없이 부호화(예컨대, 인트라 부호화)되거나, 이전 또는 이후 프레임으로부터의 다른 화상에 대해 차분 부호화되어도 좋다.
주파수 도메인에서는 이따금 영상이 화상의 높은 공간주파수 성분에 도입되는 잡음에 덜 민감하기 때문에 화상의 화소마다 표시(pixel-by-pixel representation)의 다소의 리던던시를 이용한다. 더욱이, 시각은 각 주파수에서 필요한 충실도나 신호대 잡음비(SNR)가 주어진 주파수에서 광범위의 강도값에 걸쳐 어느 정도 일정한 대수(對數)이다. 따라서, 일단 신호대 잡음비가 어떤 임계치를 넘기만 하면, 그 잡음은 더 이상 눈에 띄지 않게 된다. 예컨대, 「"Spatial Frequency Masking", by Stromeyer and Julesz, Journal of the Optical Society of America, vol. 62, Oct. 1972」를 참조. 전형적으로, 필요한 SNR은 대략 30dB이고, 여기서는 "가시범위 임계치(visibility threshold)"로서 인용하고 있다. 또한, 광대역(예컨대 랜덤) 잡음을 갖는 아날로그 텔레비전 신호에 대한 가시범위 임계치로서 사용되는 26∼52dB의 가중 잡음 전력 SNR도 적합할 수 있다. 일반적으로, 만족할 만한 SNR은 실험을 통해 결정할 수 있다. 가시범위 임계치는 비디오 이미지를 양자화할 때 이미지 압축 표준으로 이용될 수 있다.
「"Digital Pictures, Representation and Compression (2nd ed.)", by A. N. Netravali and B. G. Haskell (Plenum Press, New York, NY, 1995)」에 개시된 인간의 시각의 심리가시 모델은 자극(stimulus)의 가시범위 임계치를 바로 눈에 보이거나 바로 눈에 보이지 않게 될 때의 자극의 진폭으로서 정의한다. 여기서 논의된 자극은, 이하에 상세히 설명되는 바와 같이 보조 데이터가 나타나는 이미지 영역을 인용한다. 임계치에서는, 인간 관찰자에 의한 검지 확률이 50%이다. 가시범위 임계치에 영향을 미치는 각종 인자는, 자극이 나타나는 평균 배경 루미넌스 레벨, 시간 및 공간적으로 변화하는 역치상 루미넌스(supra-threshold luminance) 및 자극의 공간적인 형상과 일시적인 변동을 포함한다. 다른 변수로서는, 이미지(예컨대, 텔레비전 스크린)의 크기, 가시거리, 주위의 광레벨 및 관찰자의 통찰력 등이 있다.
만족할 만한 화질은 NTSC(National Television Standards Committee) 표준에 따르는 등의 아날로그 비디오에 대한 대역폭의 6㎒를 이용하여 대부분의 관찰자에게 제공된다. 대응하는 압축된 디지탈 이미지는 5Mbps(Million bits per second) 이하의 데이터율(data rate)로 전송될 수 있다. 게다가, ATSC(Advanced Television Standards Committee)에 의해 새로 제안된 고품위 텔레비전(high-definition television: HDTV)은 디지탈 압축을 이용하여 30㎒ 대역폭의 비디오 신호를 20Mbps로 전송할 수 있다. 양 디지탈 신호에서는, 분석 및 압축이 발생하기 전에 화상이 DCT 등의 공간변환에 의해 주파수 도메인으로 변환된다.
비디오에 대한 주파수 도메인 분석은, 비디오에 대한 주파수 종속 마스킹 현상(frequency dependent masking phenomena)이 잘 이해되지 않기 때문에, 오디오에 대한 것만큼 강하고 정밀하지 않다. 신호가 정지되어 있음을 감지하는 범위는 청각에 대해서보다 시각에 대해 더 짧다. 따라서, 오디오 압축 구조에서는 256포인트 고속 푸리에 변환(Fast Fourier Transform: FFT)까지 이용되는데 반해, 대부분의 비디오 압축 구조에서는 8포인트 DCT(각 차원에서) 등의 더 짧은 변환 크기가 이용된다. 또한, 상정보는 오디오보다 비디오에 더욱 더 민감하므로, 예컨대 각 방향의 몇몇 화소내의 비디오에 대해 처리가 매우 집중되어야 한다. 게다가, 오디오에서의 시간의 방향과 달리 비디오에는 공간적인 방향성이 없기 때문에, 필터링 연산은 등방성을 가져야 한다. 오디오 및 비디오 디지탈 데이터를 코딩하는데 다양한 코딩 기술을 이용할 수 있다. 특히, 서브밴드 코딩(subband coding)은 현대의 오디오 데이터 압축 구조간에서 공통이지만 다른 데이터 파형과 더불어 사용할 수도 있는 일종의 스펙트럼 파형 코딩이다.
일반적으로, 데이터를 나타내는 아날로그 파형은 PCM(pulse code modulation) 및 DPCM(differential pulse code modulation) 등의 일시적인 파형 코딩, 모델에 기초를 둔 소스 코딩(source coding) 및 스펙트럼 파형 코딩을 포함한 여러 가지의 기술을 이용하여 디지탈 도메인으로 코딩할 수 있다. 스펙트럼 파형 코딩은 적응형 변환 코딩 및 서브밴드 코딩을 둘러싼다. 여기서 이용된 바와 같이, 용어 "서브밴드 코딩(subband coding)"은 필터 뱅크에 기초를 둔 코딩 및 변환 코딩의 양쪽을 포함하는 것을 의미한다. 어느 경우에도 미리 정한 주파수 대역이나 파형의 공간주파수에 대응하는 데이터가 부호화되기 때문에, 이들 2개의 방법론은 마찬가지이다.
적응형 변환 코딩의 경우, 파형은 샘플링되어 소정 수의 데이터 샘플을 갖는 프레임으로 분할된다. 각 프레임의 데이터는 DCT나 다른 변환을 이용하여 스펙트럼 도메인으로 변환되고, 그 후 부호화된다.
필터 뱅크에 기초를 둔 코딩의 경우, 아날로그 신호는 다수의 주파수 대역 또는 서브밴드로 필터링되고, 각 서브밴드의 신호는 개별적으로 인코드된다. 예컨대 음성 인코딩에서는, 양자화 잡음은 보다 낮은 주파수에서 더 현저하기 때문에 서브밴드는 종종 보다 낮은 주파수에서 더 좁은 크기로 되고, 더 한층의 인코딩 비트는 보다 높은 주파수의 서브밴드보다 보다 낮은 주파수의 서브밴드에 할당된다.
스펙트럼 포락선(spectral envelope)(즉, 전력 스펙트럼) 정보는 각 서브밴드의 신호 에너지량을 측정함으로써 오디오 또는 비디오 신호로부터 얻을 수 있다. 여기서, 신호 전력은 신호 진폭의 제곱에 비례한다. 이 정보는, 예컨대 모든 정규화된 샘플이 0과 1 사이의 값을 갖도록 그들 샘플을 최대 진폭값에 의해 스케일링함으로써, 인코딩에 앞서 서브밴드 샘플을 정규화하는데 이용할 수 있다. 배율화 인자(scale factor)는 수신기에서의 신호의 재구성을 허용하기 위해 인코드된 데이터 샘플과 함께 전송될 수 있다.
부가적으로, 스펙트럼 포락선 정보는 각 서브밴드의 데이터를 인코드하기 위해 비트를 할당하는데 유리하게 이용될 수 있다. 예컨대, 서브밴드에서 지각있게 견딜 만한 잡음의 양이 그 서브밴드의 신호 에너지에 비례하기 때문에, 상당히 더 높은 신호 에너지를 갖는 서브밴드 주파수의 양자화 잡음은 더 견딜 만하고, 그러한 서브밴드로부터의 데이터 샘플은 보다 적은 비트에 할당될 수 있다. 게다가, 이웃하는 서브밴드보다 상당히 높은 신호 에너지를 갖는 서브밴드는 이웃하는 서브밴드를 지우는데 도움이 될 수 있다. 따라서, 이웃하는 서브밴드의 부가적인 양자화 잡음은 인지할 수 없고, 보다 약한 서브밴드를 코딩하기 위해 더 적은 비트가 할당될 수 있다. 많은 현대의 오디오 인코더에서는, 전형적으로 데이터 샘플당 3이나 4비트가 할당된다. 비디오 변환 샘플에 대해서는, 8∼10비트까지 사용할 수 있다. 비트 할당 데이터는 수신기에서의 신호의 역양자화를 허용하기 위해 인코드된 데이터 샘플과 함께 전송될 수 있다.
도 1은 통상적인 심리가시 비디오 인코더(psycho-visual video encoder)의 블록도이다. 일반적으로 도면번호 100으로 나타낸 심리가시 인코더는, 도 4, 도 5 및 도 7과 관련하여 기술되는 바와 같은 본 발명의 후압축 히든 데이터 트랜스포트 인코더(post-compression hidden data transport encoder)에 압축된 디지탈 신호의 비디오 변환 샘플을 공급하는데 사용될 수 있다. 먼저, 디지탈 비디오 데이터가 단자(105)를 통해 인코더에 수신된다.
디지탈 비디오 신호는 라인(115)을 통해 DCT 함수(function; 120)와 통신하고, 라인(155)을 통해 심리가시 모델(160)과 통신한다. DCT 함수(120)는 비디오 신호의 시간 도메인 - 주파수 도메인 매핑을 수행한다. 예컨대, 8×8 DCT는 64개의 다른 공간주파수에 비디오 변환 샘플을 공급하는데 사용될 수 있다. 소스 이미지 샘플의 각 8×8블록은 본질적으로 2차원 공간의 함수인 64포인트 이산 신호이다. DCT 함수(120)는 신호를 64개의 수직 기초 신호(orthogonal basis signal)로 분해한다. 여기서, 각 수직 기초 신호는 비디오 신호의 스펙트럼을 묘사하는 64개의 특유의 공간주파수중의 하나를 포함하고 있다. DCT 함수(120)로부터 출력되는 계수값은 입력 비디오 신호에 포함된 2차원 공간주파수의 상대적인 양을 가리킨다.
양 차원에서 제로 주파수를 갖는 계수는 DCT 계수이고, 나머지 계수는 AC 계수이다. 전형적으로, 샘플 값은 이미지를 가로질러 화소로부터 화소로 서서히 변동시켜 신호 에너지가 보다 낮은 공간주파수에 집중되도록 할 수 있고, 보다 높은 공간주파수의 다수는 제로나 제로 근방의 진폭을 가질 것이다. 실제로, 공간주파수의 약 75%는 제로나 제로 근방의 에너지를 갖는다.
비디오 변환 샘플은, N개의 변환 샘플의 직렬(예컨대, 1차원) 데이터 스트림을 라인(125)을 통해 정규화 함수(normalization function; 130)에 공급하기 위해 직렬화기(serializer; 112)에 의해 지그재그 패턴, 로우 바이 로우(row by row) 또는 다른 알려진 방법으로 스캐닝된다. DCT 함수(120)의 각 출력은 개개의 공간주파수내에서 떨어지는 비디오 신호의 부분을 충실히 나타낸다.
심리가시 모델(160)은 이어지는 비트 할당 및 양자화에 이용되는 신호대 마스크비(signal-to-mask ratio: SMR)를 산출한다. SMR은 평균 사람에게 겨우 인지될 수 있는 각 공간주파수의 잡음 레벨을 지시하고, 그 공간주파수의 비디오 신호 에너지에 비례한다. 또, 심리가시 모델(160)은 공간주파수간의 마스킹 현상을 고려해도 좋다. 여기서, 상당히 더 높은 에너지를 갖는 공간주파수는 이웃하는 공간주파수를 지우는데 도움이 될 수 있다. 따라서, 이웃하는 공간주파수의 SMR은 미세하게 양자화될 필요가 없도록 증가될 것이다.
정규화 함수(130)는 각 공간주파수의 배율화 인자를 결정하기 위해 각 공간주파수의 비디오 변환 샘플의 신호진폭을분석한다. 비디오 변환 샘플의 절대치의 최대값에 기초를 두고 있는 배율화 인자는 이후에 변환 샘플을 정규화하는데 사용된다. 결국, 배율화 인자는 인코드된 디지탈 비디오 신호와 함께 공급되고, 그에 따라 수신기에서 비디오 신호의 충분한 재구성이 발생할 수 있다.
각 공간주파수에 대한 스펙트럼 포락선의 동적 범위를 나타내는 배율화 인자는, 변환 샘플로부터 개별적으로 인코드된다. 인간의 시각의 제한으로 인해, 이것은 변환 샘플이 기저대역 파형 샘플보다 더 적은 비트를 가지고 상당히 소(疎)하게 양자화되는 것을 허용한다. 또, 스펙트럼 포락선 정보(스케일링 인자)는 상당히 소하게 부호화될 수 있고, 변환 샘플만큼 종종 업데이트될 필요는 없다. 이것은 충분한 비트율 감소(즉, 압축)로 끝난다.
정규화된 변환 샘플은 라인(135)을 통해 비트 할당/양자화 함수(140)에 배율화 인자와 함께 공급된다. 심리가시 모델(160)로부터의 SMR은 라인(165)을 통해 비트 할당/양자화 함수(140)에 공급된다. 비트 할당/양자화 함수(140)는 양자화된 변환 샘플을 나타내는데 사용될 비트의 수를 결정한다. 비트 할당은 양자화 잡음이 SMR을 넘지 않도록 충분해야 하지만, 최대 인코딩 비트율 임계치를 넘을 만큼 그렇게 크지는 않다.
전형적으로, 매크로블록으로부터의 변환 샘플의 대략 75%는 제로이거나 제로로 양자화된다. 난제로(non-zero) 변환 샘플에 대해서는, 샘플마다 8 또는 10비트까지 할당될 수 있다. 예컨대, 루미넌스(Y) 데이터 샘플에 8비트까지 할당된 경우에는, 그 샘플은 28=256개의 양자화 레벨중의 하나로 양자화된다. 또, 크로미넌스 성분 U 및 V의 각각에도 8비트까지 할당될 수 있다. 스튜디오 품질 응용에 대해서는, 화소 성분당 10비트까지 할당될 수 있다. 각 공간주파수의 비트 할당에 대응하는 4비트 코드가 결정되고, 결국 수신기에서의 신호의 역양자화를 허용하기 위해 인코드된 변환 데이터 샘플과 함께 전송된다. 서브밴드(예컨대, 공간주파수)당 약 0.5∼1.0비트의 매크로블록에 걸친 평균 비트 할당이 실현된다.
64개의 양자화된 데이터 샘플은 라인(150)을 통해 비트스트림 포맷팅/인코더 함수(150)에 공급된다. 여기에서, 변환 샘플, 배율화 인자 및 비트 할당 코드는 데이터의 패킷 또는 프레임내에 인코드된다. 각 변환 샘플은 PCM 등의 통상의 변조기술을 이용하여 인코드할 수 있다. 또, 후프만 코딩(Huffman coding)을 포함한 부가적인 압축기술도 양자화된 샘플을 나타내는데 적용될 수 있다. 특히, 제로 변환 샘플의 스트링의 실행 길이 코딩(run length coding)을 실행할 수 있다. 인코드된 압축 디지탈 데이터 스트림은 심리가시 인코더(100)로부터 라인(170)을 통해 출력된다.
도 2는 본 발명에 따른 후압축 히든 데이터 트랜스포트(post-compression hidden data transport: PC-HDT) 시스템에 입력으로서 공급될 수 있는 서브밴드 부호화된 디지탈 비디오 신호의 통상적인 프레임 포맷팅을 설명하기 위한 도면이다. 도 2에 나타낸 포맷은 제공될 수 있는 여러 가지 포맷의 한가지 가능한 예일 뿐이다. 개시된 예에서는, 64개의 공간주파수의 각각은 1개의 비디오 변환 데이터 샘플을 포함하고 있다. 따라서, 각 프레임은 64개의 비디오 변환 샘플까지 포함할 수 있다.
프레임(250)은 그 프레임의 선두를 식별하는 헤더부(header portion; 210)를 포함하고 있고, 시퀀스 번호, 동기 데이터 및 샘플 속도 데이터 등의 다른 정보를 가질 수도 있다. 또, 프레임(250)은 데이터의 개시부를 지시하고 얼마나 많은 비트가 사용될 것인지를 지시하는 비트 할당 코드부(220)를 포함하고 있다. 프레임(250)은 서브밴드 샘플의 동적 범위를 지시하는 배율화 인자부(203) 및 서브밴드(예컨대, 변환) 데이터 샘플부(240)를 더 포함하고 있다. 변형 구조에서는, 1채널 이상의 채널로부터의 비디오 데이터가 단일 프레임내에 전달될 수도 있다.
도 3a는 본 발명에 따른 비디오용 PC-HDT 인코더의 대표적인 제1응용예의 블록도이다. 디멀티플렉서(도시하지 않음)는 다중화된 비트스트림으로부터 디지탈 비디오 및 다른 디지탈 신호를 분리한다. 그 후, 압축된 디지탈화 비디오 데이터 스트림은 입력단자(300) 및 라인(305)을 통해 PC-HDT 인코더(310)로 공급된다. 또, PC-HDT 인코더(310)는 라인(315)을 통해 비디오 신호내에 포함될 보조 데이터도 수신한다. 보조 데이터 서브밴드 샘플 및 비디오 데이터 서브밴드 샘플을 나타내는 복합 신호는 라인(320)을 통해 멀티플렉서(MUX; 325)로 공급된다. 다른 디지탈 데이터(예컨대, 오디오, 컴퓨터 소프트웨어)는 입력단자(330) 및 라인(335)을 통해 멀티플렉서(325)로 공급되는 것을 나타내고 있고, 여기서 비디오 및 다른 디지탈 데이터 신호는 라인(340)에서 단일의 다채널 데이터 스트림으로 다중화된다. PC-HDT 인코더(310)는 다른 디지탈 데이터 신호에 비례하여 디지탈 비디오 신호를 지연시킬 수 있다. 이것은, 멀티플렉서(325)와 함께 포함된 동기화 수단 등의 통상적인 기술을 이용하여 설명될 수 있다.
더욱이, 1개의 비디오 및 1개의 다른 디지탈 데이터 신호만을 나타냈지만, 몇 채널이 공동으로 제공되어도 좋다. 예컨대, 라인(340)에서 다중화된 신호는, 비디오 및 그와 수반된 오디오 및/또는 데이터(예컨대, 대체 언어 시청자에 대한 데이터와 손상된 청취용 텔레텍스트)를 포함하는 각각의 프로그램, 비디오용 프로그래밍 및 각종의 데이터용 프로그래밍(예컨대, 주식 가격 데이터, 날씨 데이터)을 포함해도 좋다.
다중화된 디지탈 데이터 스트림은 라인(340)을 통해 비디오 기록장치(345)로 공급되고, 여기서 그 데이터는 CD, DVD 또는 DVC 등의 소스 매체(source media; 355)에 기록된다. 소스 매체(355)는 광대역 스프레드 분포를 위한 다른 매체에 기록하기 위해 교대로 사용되는 마스터 복사(master copy)여도 좋다.
도 3b는 본 발명에 따른 비디오용 PC-HDT 디코더의 대표적인 제2응용예의 블록도이다. 히든 보조 데이터를 갖춘 디지탈화된 비디오 신호를 포함하고 있는 소스 매체(355)는, 예컨대 DVD 플레이어를 포함할 수도 있는 독출장치(360)에 공급된다. 독출장치(360)는 기억매체(355)를 독출하여 디지탈 데이터 스트림을 라인(362)을 통해 디멀티플렉서(DEMUX; 364)로 출력한다. 디멀티플렉서(364)는 비디오 데이터 스트림을 오디오 또는 다른 디지탈 데이터로부터의 히든 보조 데이터와 분리하고, PC-HDT 디코더(368)에 의해 발생되는 비디오 신호의 지연을 밝히기 위해 동기화 수단을 포함할 수도 있다. 비디오 데이터는 라인(366)을 통해 본 발명의 PC-HDT 디코더(368)로 공급되고, 바이패스 라인(370)을 통해 복사 관리 함수(380)로 공급된다.
PC-HDT 디코더(368)에서는, 비디오 데이터 스트림으로부터 보조 데이터가 검색되고, 라인(372)을 통해 복사 관리 함수(380)로 공급된다. 다른 데이터는 라인(374)을 통해 복사 관리 또는 제어 함수(380)로 공급된다. 복사 관리 함수(380)는 소스 매체(355)로부터의 디지탈 신호의 복사가 이루어질 수 있는지의 여부를 판단하기 위해 보조 데이터를 이용한다. 그렇다면, 히든 보조 데이터를 갖춘 비디오 신호는 라인(382)을 통해 비디오 기록장치(386)로 공급되고, 다른 데이터 신호는 라인(384)을 통해 기록장치(386)로 공급된다. 마스터 소스 매체(355)로부터의 디지탈 데이터로 인코드된 새로운 소스 매체(390)는 기록장치(386)로부터 라인(388)을 통해 공급된다.
새로운 소스 매체(390)도 히든 보조 데이터로 인코드된다는 점에 주의해야 한다. 따라서, 새로운 소스 매체(390)도 또한 디코더의 복사 관리 함수(380)에 지배를 받게 된다. 이와 같이, 배급자(distributor)는 원래의 소스 매체가 복사될 수 있는지의 여부를 제어할 수 있다. 예컨대, 배급자는 소유권 정보를 보호하기 위해 소스 매체의 복사를 방지하는데 사용될 수 있는 보조 데이터를 제공할 수도 있다. 또한, 배급자는 소비자에게 부가적으로 보호된 소스 매체를 구매하기를 권하도록 설계되어 있는 진흥 또는 데모 재료 등의 소스 매체의 복사를 허용하는 보조 데이터를 제공할 수도 있다.
본 발명의 부가적인 응용예는 위성이나 케이블 통신경로를 통해 공급되는 텔레비전 신호 등의 방송 신호에 관한 것이다. 예컨대, 영화나 다른 특별한 이벤트 등의 텔레비전 프로그램을 수반하는 디지탈 오디오 사운드트랙이 제공될 수도 있다. 수백 채널의 디지탈 정보로 이루어질 수 있는 다중화된 디지탈 신호나 트랜스포트 데이터 스트림은, DBS(Direct Broadcast Satellite) 시스템이나 케이블 통신경로 등을 통해 각 가정에서 개인에 의해 수신된다.
본 발명은, 개인이 PC-HDT 디코더를 갖춘 DVD나 DVC 등의 장치에 디지탈 데이터를 기록하는 것을 방해함으로써 이들 디지탈 프로그래밍 서비스의 복사 보호를 제공하는데 적용될 수 있다. 특히, 본 발명의 PC-HDT 인코더는 트랜스포트 데이터 스트림의 비디오 부분에 히든 보조 데이터를 인코드하는데 사용될 수 있다. 게다가, 히든 보조 데이터는 방송에 앞서 박아 넣거나, 혹은 몇몇 중간점에 박아 넣어도 좋고, 데이터 스트림에 전달된 다른 데이터와 간섭하지 않는다. 예컨대, 케이블 헤드엔드 오퍼레이터는 위성을 통해 디지탈 프로그래밍을 수신하고, 케이블망을 통해 분배하기에 앞서 수신된 신호를 히든 보조 데이터로 박아 넣어도 좋다.
복합 디지탈 비디오 및 보조 데이터 신호가 다른 수반되는 데이터와 함께 개인에 의해 수신되는 경우, 그 데이터는 유저의 텔레비전 및 고충실도 스테레오 시스템과 통신하는 셋톱 박스(set-top box)에 의해 디코드되고 해독된다. 전형적으로, 이러한 셋톱 장치는 서비스 동의의 부분으로서 케이블 텔레비전 오퍼레이터나 DBS 서비스 공급자에 의해 제공된다. 셋톱 박스는 비디오 및 관련된 오디오, 데이터 또는 다른 신호를 신장 및 디코드하고, 유저의 청취 및 시청 쾌락을 위해 그들을 재생성한다. 보조 데이터 신호는 통상의 비디오에 관해 분간할 수 없기 때문에, 이 보조 데이터 신호는 시청자에 의해 검출되지 않을 것이다.
그러나, 보조 데이터 신호는 비디오 신호에 여전히 박아 넣어져 있다. 보조 데이터 신호는, 예컨대 유저가 본 발명의 PC-HDT 디코더를 갖춘 기록장치에 신호를 복사하는 것을 방지하기 위해 적당한 회로를 갖추어 사용될 수 있다. 또한, 개인이 자기 테이프 레코더 등의 통상의 기록장치에 신호를 기록하더라도, 보조 데이터 신호는 여전히 박아 넣어져 있고, 따라서 어떤 이어지는 인증을 검증하기 위해 사용될 수 있는 식별 마크로서 작용한다. 이것은, 인증없이 프로그래밍을 복사 및 분배하는 불법 복제자를 방해하는데 도움을 준다.
더욱이, 비디오 데이터가 개인에게 개별적으로 전송되는 포인트-포인트 분배 시스템에서는, 보조 데이터 신호는 주문 번호 또는 소비자 번호 등의 특유의 식별번호를 나타낼 수 있다. 이 정보는 오디오 신호의 계속되는 불법 복제로부터 개별적인 불법 복제자의 식별을 가능하게 할 수도 있다.
도 4는 본 발명에 따른 PC-HDT 시스템 인코더(310)의 블록도이다. 이 인코더는 오디오 및 비디오 신호의 양쪽에 보조 데이터를 인코딩하는데 적당하다. PC-HDT는 신호를 충분히 신장하는 것을 필요로 하지 않고 서브밴드 샘플 인코드된 압축 디지탈 오디오 또는 비디오 신호에 감지될 수 없는 보조 데이터를 박아 넣는다. 압축된 디지탈 오디오 또는 비디오 데이터를 포함하고 있는 이전부터 존재하는 디지탈 비트스트림은 단자(400)에서 인코더에 의해 수신되고, 라인(403)을 통해 디멀티플렉서(DEMUX)/언팩(예컨대, 패킷화되지 않은) 함수(UNPACK)(405)로 공급된다.
디멀티플렉서/언팩 함수(405)는 나머지 신호로부터 디지탈 오디오 또는 비디오 데이터의 프레임 또는 패킷을 디멀티플렉스한다. 또, 오디오 또는 비디오 프레임의 여러 부분도 언팩(unpack: 분해)된다. 예컨대, 도 2를 참조하면, 비트 할당 데이터(220)는 프레임(250)으로부터 언팩되고, 라인(401)을 통해 역양자화기(404)로 공급된다. 오디오 또는 비디오 서브밴드 샘플(240)은 언팩되고, 라인(402)을 통해 역양자화기(404)로 공급된다.
일반적으로, 오디오 또는 비디오 서브밴드 샘플이 비트스트림으로 들어가기 전에 정규화된 경우는, 서브밴드 샘플은 기수 및 지수부를 갖는 십진수로 인코드된다. 여기서, 기수는 오디오 서브밴드 데이터 샘플을 나타내고, 지수는 각 서브밴드에 대한 배율화 인자(예컨대, 스펙트럼 포락선 정보)를 나타낸다. 이 경우는, 서브밴드 샘플의 기수만이 라인(402)을 통해 역양자화기(404)로 공급될 필요가 있다.
역양자화기(404)는 패킷화된 데이터 스트림의 포맷에 따라 다른 기능을 수행한다. 예컨대, 전형적으로 서브밴드 샘플은 부호 및 진폭 표현에서의 2진 데이터나 2의 보수 표현에서의 2진 데이터로 이루어진다. 서브밴드 샘플은 그와 같이 이미 제공되지 않는다면 2의 보수 표현으로 변환된다.
더욱이, 도 1과 관련하여 설명한 비디오 예에서는, 64개의 서브밴드(예컨대, 공간주파수)로부터 데이터 샘플이 공급된다. 따라서, 문자 "N"으로 지정된 라인(402, 406)은 각각 N=64의 분리된 통신라인을 나타낸다.
역양자화후의 오디오 또는 비디오 데이터 샘플의 서브밴드는, 개별 라인(SM0, SM1, SM2, …, SMN-1)으로서도 설명된 라인(406)으로 통신된다. 문자 "SM"은 서브밴드 샘플의 기수가 제공되고 있음을 지시한다. 정규화기(408)는 서브밴드 샘플이 이미 정규화되지 않은 경우에 선택적으로 제공된다. 정규화기(408)는 소수의 샘플을 통한 평균 에너지를 계산하고, 모든 서브밴드를 가로질러 균일한 전력 스펙트럼을 제공하기 위해 각각 개별적인 샘플을 평균 에너지의 제곱근에 의해 나눈다.
정규화된 오디오 또는 비디오 서브밴드 샘플은 SS0, SS1, SS2, …, SSN-1로 지정된 N개의 라인상에 공급된다. 그 후, 정규화된 서브밴드 샘플은 결합기(combiner; 446, 444, 442, 440)에서 각각 보조 데이터 서브밴드 샘플(SPD0, SPD1, SPD2, …, SPDN-1)과 결합된다. 결합기는, 예컨대 가산기로 구성될 수 있다. 특히, SS0는 결합기(446)에서 SPD0와 결합되고, SS1은 결합기(444)에서 SPD1과 결합되며, SS2는 결합기(442)에서 SPD2와 결합되고, SSN-1은 결합기(440)에서 SPDN-1과 결합된다. 나머지의 오디오 또는 비디오 서브밴드 샘플과 보조 데이터 서브밴드 샘플(분리해서 나타내지 않음)도 마찬가지로 해서 결합된다.
보조 데이터 서브밴드 샘플(SPD0, SPD1, SPD2, …, SPDN-1)은 서브밴드 필터링 의사잡음(pseudo-noise: PN) 시퀀스 및 보조 데이터 파형으로부터 발생되는 스프레드 스펙트럼 신호일 수 있다. 특히, PN 시퀀스는 라인(412)을 통해 서브밴드 필터 뱅크(subband filter bank; 410)로 공급된다. PN 시퀀스는 2진수 또는 M＞2를 갖는 M-어리(ary), 혹은 백색 잡음 신호에 가까운 가상적으로 임의의 시퀀스여도 좋다. 더욱이, PN 시퀀스는 다중 이산값 또는 연속값을 포함할 수 있다. 이 서브밴드 필터 뱅크는 디지탈 비디오, 예컨대 도 1에 나타낸 DCT 함수(120)를 필터링하기 위해 사용되는 서브밴드 필터 뱅크에 대응한다. 보조 데이터 신호는 라인(414)을 통해 통상의 전방 에러 정정(forward error correction: FEC) 인코더(416)로 공급된다. 여기서, FEC 인코더(416)는, 필요로 되는 것은 아니지만, 다운스트림 에러 복구를 위해 보조 데이터 스트림에 용장의 데이터 비트를 공급한다.
보조 데이터 서브밴드 샘플의 데이터율이 오디오 또는 비디오 서브밴드 샘플의 데이터율보다 상당히 느리다는 점에 주의해야 한다. 비디오의 경우, 예컨대 아날로그 NTSC 포맷 텔레비전 신호는 480×640화소이면서 대략 30프레임/초로 전송되는 VGA 해상도 화면으로 디지탈화될 수 있다. 따라서, 각 프레임은 480×640 = 307,200개의 샘플(예컨대, 화소)을 갖는다. 이 때, 가시범위 임계치가 30dB이고 소망하는 보조 데이터 이득이 10dB라고 가정하면, 40dB의 처리이득(Gp)이 필요하게 된다. dB의 처리이득은 식 10log10(스프레드율) = Gp(dB)에 의한 스프레드율이라고 할 수 있다. 따라서, 각 보조 데이터 비트는 Gp=40dB를 얻기 위해 10,000화소(예컨대, 비디오 변환 샘플)에 걸쳐 확산되어야 한다. 이로써, 프레임당 307,200 / 10,000 = 30.7 보조 데이터 비트 또는 30.7비트/프레임×30프레임/sec = 921bps로 된다. 더욱이, 율 R=1/2의 FEC 인코더를 사용한다고 가정하면, 받아들일 수 있는 보조 데이터 비트율은 대략 921/2bps = 460bps이다.
FEC 인코드된 보조 데이터 신호는, 라인(418, 422)을 통해, 보조 데이터 서브밴드 샘플을 전달하는 보조 데이터 서브밴드 샘플 시퀀스(SPD0, SPD1, SPD2, …, SPDN-1)를 각각 생성하기 위해 데이터 반송파 서브밴드 샘플(SP0, SP1, SP2, …, SPN-1)을 변조하는 복수의 변조기(430, 432, 434, 436)로 공급한다.
라인(418)상에 전달된 보조 데이터 신호의 전력을 조정하기 위해 전력 제어 신호를 라인(419)을 통해 변조기(420)로 선택적으로 공급한다. 이 전력 제어 신호는 보조 데이터 신호가 오디오 또는 비디오 서브밴드 샘플의 잡음 양자화 플로어의 아래에 있다는 것을 확실하게 하고, 제로 근방의 후속 양자화기(454)에서 가능한 비선형성을 고려하여 보조 신호가 충분히 양자화되도록 할 수 있다. 예컨대, 이러한 전력 제어는 30의 신호대 양자화 잡음 에너지비(SNR) 또는 1,000의 전력비를 유지할 수 있도록 한다.
변조된 보조 데이터 스프레드 스펙트럼 신호(SPD0, SPD1, SPD2, …, SPDN-1) 및 오디오 또는 비디오 서브밴드 샘플(SS0, SS1, SS2, …, SSN-1)은 각각 복합 샘플(SS´0, SS´1, SS´2, …, SS´N-1)을 생성하기 위해 결합된다. 따라서, 비디오의 경우에 보조 데이터 서브밴드 샘플은 실질적으로 감지될 수 없게(예컨대, 분간할 수 없게) 전달된다. 일반적으로, 보조 데이터 신호의 데이터율이 증가할 때 디스토션의 양의 증가가 나타난다.
복합 샘플은, 그 복합 샘플의 오디오 또는 비디오 서브밴드 샘플의 전력 스펙트럼을 재저장하기 위해 정규화기(408)의 동작과 역의 동작을 수행하는 선택적인 비정규화기(450)로 공급된다. 더욱이, 비정규화기(450)는 정규화기(408)로부터 얻어지는 정규화 데이터(예컨대, 배율화 인자)를 검색하여 메모리(도시하지 않음)에 일시적으로 저정할 수 있다.
본 발명에 따르면, 비정규화기(450)는 오디오 또는 비디오 데이터의 전력 스펙트럼에 따라 복합 샘플의 보조 데이터 서브밴드 샘플(SS´0, SS´1, SS´2, …, SS´N-1)을 스펙트럼 정형한다는 점에 주의해야 한다. 이 스펙트럼 정형은 보조 데이터의 은닉을 유리하게 강화시킨다.
오디오 또는 비디오 서브밴드 샘플이 단자(400)에서 수신된 때에 이미 정규화되어 있는 경우에는, 보조 데이터는 복합 신호가 기저대역으로 신장 및 복조될 때 오디오 또는 비디오 데이터의 전력 스펙트럼에 따라 스펙트럼 정형될 것이다. 그 후, 어느 경우에도 비정규화된 복합 서브밴드 샘플(SM´0, SM´1, SM´2, …, SM´N-1)이 라인(452)을 통해 양자화기(454)로 공급된다. 양자화기(454)는 라인(456)에 양자화된 데이터를 공급하기 위해 라인(407, 459)을 통해 공급된 비트 할당 데이터를 이용하여 복합 샘플을 양자화한다. 양자화된 데이터, 언팩된 압축 파라미터는 라인(407)상에 공급되고, 라인(458)상의 제어 데이터는 새로운 프레임으로 팩(pack)된다. 또한, 새로운 프레임을 생성하는 대신에 동일한 프레임에 양자화된 데이터를 공급한다. 제어 데이터는, 예컨대 동기 데이터 및 순환 리던던시 점검(cyclic redundancy check: CRC) 비트를 포함한다. 새로운 프레임은 디코더로의 전송을 위해 라인(462)을 통해 공급된다. 따라서, 개시된 PC-HDT 인코더는 현존하는 패킷 포맷 및 프로토콜과 충분히 호환가능하다.
또한, 다른 보조 데이터 신호를 나타내는 서브밴드 샘플은 다른 서브밴드에 전달될 수 있다. 다른 서브밴드의 데이터 샘플은, 동일한 PN 시퀀스, 동일한 PN 시퀀스의 시간 시프트된 버전, 다른 PN 시퀀스 또는 그들의 임의의 조합을 이용하여 발생시킬 수 있다. 더욱이, 하나 이상의 보조 데이터 신호로부터의 샘플은 소정의 서브밴드에 전달될 수 있다. "다층화(laying)"로서 알려진 이 기술은, 동일한 PN 시퀀스의 시간 시프트된 버전, 다른 PN 시퀀스 또는 그들의 임의의 조합을 이용하여 발생되는 보조 데이터 서브밴드 샘플을 전달함으로써 수행될 수 있다.
더욱이, 모든 서브밴드가 보조 데이터 서브밴드 샘플을 전달할 필요는 없다. 예컨대, 복합 샘플(SS´0, SS´1, SS´2, …, SS´N-1)을 생성하기 위해 서브밴드 필터링된 PN 시퀀스(SP0, SP1, SP2, …, SPN-1)중의 대응하는 하나를 오디오 또는 비디오 서브밴드 샘플(SS0, SS1, SS2, …, SSN-1)중의 대응하는 하나와 직접 결합하는 것이 바람직하다. 이와 같이 해서, 선택된 서브밴드 필터링된 PN 시퀀스가 보조 데이터 신호에 의한 변조를 바이패스시킨다. 이것은, 예컨대 디코더에 기준 신호 또는 다른 정보를 공급하는데 유리할 것이다.
더욱이, PN 주기는 유한하고, 서브밴드 필터 뱅크(410)의 특성은 알려져 있기 때문에, 서브밴드 필터링된 PN 시퀀스(SP0, SP1, SP2, …, SPN-1)는 미리 계산하여 룩업 테이블(look-up table)에 기억시킬 수 있다. 그리고, PC-HDT 인코더가 알려진 데이터를 반복적으로 가산할 때는, 보조 데이터 서브밴드 샘플(SPD0, SPD1, SPD2, …, SPDN-1)도 미리 계산하여 기억시킬 수 있다. 이와 같이 해서, 본 발명의 PC-HDT 인코더의 구현을 간단화할 수 있고, 계산에 관한 요구를 저감시킬 수 있다.
도 5는 본 발명에 따른 PC-HDT 시스템 인코더의 변형례의 블록도이다. 이 인코더는 오디오 및 비디오 신호의 양쪽에 보조 데이터를 인코딩하는데 적합하다. 도 5의 구성요소는 도 4의 동일한 도면번호가 붙여진 구성요소에 대응하고, 달리 설명을 하지 않기로 한다. 이 실시예에서는, 라인(406)을 통해 공급되는 서브밴드 샘플(SS0, SS1, SS2, …, SSN-1)은 균일하지 않은 전력 스펙트럼을 갖는다. 따라서, 오디오 또는 비디오 서브밴드 샘플의 스펙트럼으로 보조 데이터 서브밴드 샘플(SPD0, SPD1, SPD2, …, SPDN-1)을 정형하기 위해, 오디오 또는 비디오 서브밴드 샘플을 라인(409, 411, 413, 415)을 통해 서브밴드 전력 제어기(subband power controller: SPC)(425, 427, 429, 431)로 각각 공급한다.
이들 SPC는, 각 서브밴드의 보조 데이터 서브밴드 샘플대 오디오 또는 비디오 서브밴드 샘플의 소망하는 신호대 잡음비(SNR)와 M개의 오디오 또는 비디오 서브밴드 샘플의 각각의 진폭 SS(i)의 제곱의 평균의 평방근에 기초하여 전력 변조 신호(P)를 결정한다. 즉, 각 서브밴드(j)에 대해,
전력 변조 신호는 라인(417, 419, 421, 423)을 통해 변조기(433, 435, 437, 439)로 각각 공급된다. 변조기(433, 435, 437, 439)에서는, 보조 데이터 서브밴드 샘플(SPD0, SPD1, SPD2, …, SPDN-1)의 전력이 조정되고, 이에 따라 전력조정된 보조 데이터 서브밴드 샘플(SPP0, SPP1, SPP2, …, SPPN-1)로 된다. 오디오 또는 비디오 서브밴드 샘플에 따라 스펙트럼 정형된 전력조정된 보조 데이터 서브밴드 샘플은, 그 후 복합 샘플(SS´0, SS´1, SS´2, …, SS´N-1)을 생성하기 위해 결합기(예컨대, 가산기; 446, 444, 442, 440)에서 오디오 또는 비디오 서브밴드 샘플(SS0, SS1, SS2, …, SSN-1)과 각각 결합된다. 양자화된 데이터, 라인(407)상에 공급된 언팩된 압축 파라미터 및 라인(458)상의 제어 데이터는 새로운 프레임으로 팩되고, 디코더로의 전송을 위해 라인(462)을 통해 공급된다.
요컨대, 도 5의 실시예는 오디오 또는 비디오 서브밴드 샘플이 정규화되지 않은 경우에 충분한 계산에 관한 절약을 거둘 수 있다. 이것은, 오디오 또는 비디오 서브밴드 샘플의 정규화 및 비정규화가 총 2N(여기서, N=서브밴드의 수)개의 연산을 필요로 하는 반면에, 서브밴드 전력 제어를 통한 전력조정이 N개의 연산만을 필요로 한다는 것에 주목함으로써 이해될 수 있다. 따라서, 도 5의 SPC를 이용하는 경우에는 계산을 50% 줄일 수 있다.
도 6은 본 발명에 따른 PC-HDT 시스템 디코더의 블록도이다. 이 디코더는 오디오 및 비디오신로의 양쪽으로부터 보조 데이터를 복구하는데 적합하다. 압축된 디지탈 패킷화 스트림은 디코더(368)의 입력단자(600)에서 수신되고, 라인(602)을 통해 언팩(UNPACK)/디멀티플렉스(DEMUX) 함수(604)로 공급된다. 역양자화기(610)는 라인(608)을 통해 서브밴드 샘플을 수신하고, 라인(606)을 통해 비트 할당을 수신한다. 역양자화된 서브밴드 샘플(SM´0, SM´1, SM´2, …, SM´N-1)은 라인(612)을 통해 공급된다. 이들 서브밴드 샘플이 이미 정규화되어 있지 않은 경우는, 모든 서브밴드를 가로질러 대략 균일한 전력 스펙트럼을 생성하기 위해 정규화기(614)에서 정규화된다. 배율화 인자(230)가 데이터 스트림에 공급된 경우는, 서브밴드 샘플은 양자화기(610)에서 재배율화(예컨대, 정규화)될 수 있다.
복합 서브밴드 샘플(SM´0, SM´1, SM´2, …, SM´N-1)의 오디오 또는 비디오 서브밴드 샘플이 이미 정규화된 경우는, 정규화기(614)는 필요치 않다. 정규화된 서브밴드 샘플(SS0, SS1, SS2, …, SSN-1)은 복조기(예컨대, 혼합기(mixer); 620, 622, 264, 626)에서 복구 데이터 반송파 시퀀스(SP0, SP1, SP2, …, SPN-1)와 각각 결합된다.
이 실시예에서의 시퀀스(SP0, SP1, SP2, …, SPN-1)는 PC-HDT 인코더에서 사용되는 PN 시퀀스에 대응하는 서브밴드 필터링된 의사잡음(PN) 시퀀스로부터 발생된 스프레드 스펙트럼 반송파 신호이다. PN 시퀀스는 라인(630)을 통해 인코더의 서브밴드 필터 뱅크에 대응하는 서브밴드 필터 뱅크(subband filter bank; 640)로 공급된다. 필터링된 PN 시퀀스(SP0, SP1, SP2, …, SPN-1)는 복조기(620, 622, 624, 626)로 각각 공급된다. PC-HDT 인코더의 경우와 마찬가지로, 이들 시퀀스는 계산에 관한 요구를 저감시키기 위해 디코더에서 미리 계산하여 룩업 테이블에 기억시킬 수 잇다.
필터링된 PN 시퀀스와 복합 서브밴드 샘플의 곱으로 형성되는 샘플(SSP0, SSP1, SSP2, …, SSPN-1)은 통합기(integrator; 650, 652, 654, 656)로 각각 공급된다. 연속되는 L개의 샘플에 걸쳐 각 서브밴드의 데이터를 통합함으로써, 각 서브밴드의 보조 신호의 디스프레딩(despreading)이 얻어진다. 본질적으로, 디스프레딩은 혼합(mixing) 및 통합(integrating)의 조합에 의해 얻어진다. 통합을 위한 샘플의 수(L)는, L×N(즉, 처리 이득)이 SSP0, SSP1, SSP2, …, SSPN-1을 통합하기 전의 오디오 또는 비디오 서브밴드 샘플에 대한 PN 시퀀스의 SNR보다 커지도록 선택되지 않으면 안된다.
디스프레드 보조 데이터 샘플(SC0, SC1, SC2, …, SCN-1)은 가산기(660)로 공급되어, 라인(662)에서 인코드된 보조 데이터 샘플을 복구하기 위해 N개의 서브밴드를 가로질러 가산된다. 더욱이, SNR이 N의 평방근에 비례하기 때문에, 디스프레딩후의 비디오 또는 오디오 서브밴드 샘플에 대한 PN 시퀀스의 SNR은 서브밴드의 수(N)를 증가시킴으로써 증가시킬 수 있다. FEC 디코더(670)는 라인(662)의 보조 데이터 샘플을 디코드하여 채널 에러를 정정하고, 그에 따라 디코드된 보조 데이터를 라인(672)에 공급한다.
그 후, 디코드된 보조 데이터는 여러 가지의 응용에 사용될 수 있다. 예컨대, 보조 데이터는 오디오, 비디오 및 그와 관련된 데이터 신호의 재생성을 제어하기 위해 복사 관리장치에 공급될 수도 있다.
상술한 복구 및 디스프레드 처리는, 다른 보조 신호로부터의 보조 데이터 서브밴드 샘플이 다른 서브밴드에 전달될 때나, 하나 이상의 보조 신호로부터의 보조 데이터 서브밴드 샘플이 하나의 서브밴드에 전달될 때에 약간 변형된다. 또, 부분적으로 중첩하는 상황이나 완전히 중첩하는 상황도, 상기한 경우의 각종 조합과 함께 가능하다. 그렇지만, 일반적으로 PC-HDT 디코더는 PC-HDT 인코더의 동작과 역의 동작을 제공한다. 예컨대, 다른 보조 신호에 대응하는 보조 데이터 서브밴드 샘플이 복합 서브밴드 샘플에 전달되는 경우에는, 통합은 공통의 보조 데이터 샘플만이 가산되도록 도 6의 실시예로부터 변형되어야 한다. 마찬가지로, 보조 데이터 서브밴드 샘플이 다른 PN 시퀀스, 동일한 PN 시퀀스의 시간 시프트된 버전 또는 그들의 임의의 조합을 이용하여 인코드되는 경우에는, 서브밴드 필터링된 PN 시퀀스(SP0, SP1, SP2, …, SPN-1)는 대응하는 PN 시퀀스를 이용하여 발생되어야 한다.
또한, FEC 디코더(670)는, 라인(662)의 보조 신호의 에너지를 검출하여 그 에너지를 적당한 임계치와 비교하는 임계치장치로 대체될 수 있다. 따라서, 디코더는 FEC 디코딩을 수행하지 않고서도 보조 신호가 나타나는지의 여부를 판단할 수 있다. 더욱이, 검출 정밀도를 증가시키기 위해, 디코더는 검출을 선언하기 전에 보조 데이터값의 시퀀스를 시험할 수 있다. 인코더가 보조 데이터에 대해 특유의 패턴을 사용하는 경우에, 검출이 더 촉진될 수 있다.
또한, PN 시퀀스를 발생시키기 위해 사용되는 PN 발생기가 오디오 또는 비디오 비트스트림에 대해 소정의 패턴으로 로크(lock)되어 있는 경우에, 압축된 디지탈 오디오 또는 비디오 비트스트림의 획득 및 서브밴드 필터링된 PN 시퀀스(SP0, SP1, SP2, …, SPN-1)와의 동기를 강화 및 간단화시킬 수 있다. 즉, 많은 현대의 오디오 및 비디오 압축기가 프레임 구조를 이용하기 때문에(여기서, 비트의 각 프레임은 오디오 또는 비디오 샘플의 고정된 개수를 나타냄), 주어진 시간간격에는 고정된 개수의 프레임이 있다. 따라서, 오디오 또는 비디오 데이터 프레임 주기의 정수배인 필터링된 PN 시퀀스에 대한 반복 주기를 선택함으로써, 보조 신호를 복조하는데 필요한 PN 시퀀스 가설(hypotheses)의 수가 저감된다. 예컨대, PN 시퀀스 주기가 4096 샘플의 지속시간을 갖고, 프레임 주기가 256 샘플의 지속시간을 갖는 경우에는, 각 서브밴드에 대해 4096/256 = 16가설만이 테스트되게 된다.
도 5의 PC-HDT 인코더와 공동으로 사용될 수 있는, 도 6의 PC-HDT 디코더의 또 다른 변형례에서는, 복구된 보조 데이터 서브밴드 샘플이 균일하지 않은 전력 스펙트럼을 갖는 경우에, 통합에 앞서 보조 데이터 서브밴드 샘플이 전달되는 모든 서브밴드를 가로질러 전력 스펙트럼을 정규화하는 것이 바람직할 것이다. 이것은, 서브밴드 필터링된 PN 시퀀스(SP0, SP1, SP2, …, SPN-1)의 전력을 도 5의 SPC(425, 427, 429, 431)와 유사한 제어기를 이용하여 조정함으로써 수행될 수 있다.
도 7은 본 발명에 따른 PC-HDT 시스템 인코더의 다른 변형례의 블록도이다. 이 인코더는 오디오 및 비디오 신호의 양쪽으로부터 보조 데이터를 복구하는데 적합하다. 도 7의 구성요소는 도 4의 동일한 도면번호가 붙여진 구성요소에 대응하고, 달리 설명을 하지 않기로 한다. 이 실시예에서는, 라인(406)을 통해 공급되는 복합 서브밴드 샘플(SS0, SS1, SS2, …, SSN-1)은 균일한 전력 스펙트럼을 갖는다. 그렇지만, 진폭 +1이나 -1을 갖는 값의 의사랜덤 변화 시퀀스로부터 발생된 서브밴드 필터링된 스프레드 스펙트럼 PN 시퀀스를 공급하는 대신에, 시퀀스(SP0, SP1, SP2, …, SPN-1)를 "희소(sparse)" PN 시퀀스로서 공급한다.
"희소(sparse)" PN 시퀀스의 경우, 주로 제로를 갖지만 예컨대 랜덤하게 배치되는 +1 및 -1의 값을 갖는 의사랜덤 시퀀스가 발생된다. 희소 PN 시퀀스는 PC-HDT 인코더 및 디코더에 알려진 특정의 위치에서 가산된다. 처리 이득(Gp)이 난제로 샘플의 평균 발생에 비례하여 저감되기 때문에, 희소 PN 시퀀스는 보다 낮은 데이터율을 갖게 된다. 예컨대, 희소 PN 시퀀스가 난제로인 10개중의 하나의 값을 갖는 경우, 처리 이득(Gp)은 규칙적인 PN 시퀀스에 따른 10개의 인자에 의해 저감된다. 그렇지만, 유리하게는 오디오 또는 비디오 서브밴드 샘플의 저하 및 구현 복잡성도 저감된다. 더욱이, 보다 낮은 데이터율이 초래되지만, 이것은 보조 데이터 자체의 존재여부만이 관심사인 경우 등과 같은 어떤 상황에서는 받아들일 수도 있다.
본 발명의 이 실시예에 따르면, 희소 PN 시퀀스 발생기(715, 710, 705, 700)가 제공된다. 대응하는 희소 PN 시퀀스(SP0, SP1, SP2, …, SPN-1)는 복수의 변조기(430, 432, 434, 436)에 각각 연결되어 있다. 변조기는 보조 데이터 서브밴드 샘플(SPD0, SPD1, SPD2, …, SPDN-1)을 각각 생성하기 위해 희소 PN 시퀀스(SP0, SP1, SP2, …, SPN-1)를 변조한다. 그 후, 보조 데이터 서브밴드 샘플은 복합 샘플(SS′0, SS′1, SS′2, …, SS′N-1)을 생성하기 위해 결합기(446, 444, 442, 440)에서 오디오 또는 비디오 서브밴드 샘플(SS0, SS1, SS2, …, SSN-1)과 각각 결합된다. 그 후, 복합 샘플은 새로운 프레임으로 양자화되고, 팩되며, 다중화된다.
변형례에서는, 희소 PN 시퀀스 발생기(700, 705, 710, 715)는 다른 희소 PN 시퀀스, 동일한 희소 PN 시퀀스, 동일한 희소 PN 시퀀스의 시간 시프트된 버전 또는 그들의 임의의 조합을 공급할 수 있다. 마찬가지로, 변조기(430, 432, 434, 436)중 선택된 변조기는 신호(SPD0, SPD1, SPD2, …, SPDN-1)중 몇몇이 보조 데이터를 전달하지 않도록 바이패스되어도 좋다.
본 발명의 또 다른 실시예에서는, 보조 데이터 서브밴드 샘플을 전달하는데 스프레드 스펙트럼 PN 시퀀스와 희소 PN 시퀀스가 모두 적용되어도 좋다. 스프레드 스펙트럼 PN 시퀀스와 희소 PN 시퀀스는 동일한 서브밴드 또는 다른 서브밴드에 공동으로 또는 시간교대 방법(time-alternating manner)으로 적용되어도 좋다. 일례로서, 보조 데이터 서브밴드 샘플의 제1 시퀀스는 스프레드 스펙트럼 PN 시퀀스에 의해 제1 서브밴드로 전달되고, 반면에 보조 데이터 서브밴드 샘플의 제2 시퀀스는 희소 PN 시퀀스에 의해 제2 서브밴드로 전달되어도 좋다.
혹은, 전술한 다층화 구조와 마찬가지로, 제1 및 제2 보조 데이터 서브밴드 샘플은 스프레드 스펙트럼 PN 시퀀스와 희소 PN 시퀀스에 의해 각각 동일한 서브밴드로 전달해도 좋다. 더욱이, 시분할 구조에서는, 보조 데이터 서브밴드 샘플의 주어진 시퀀스가 스프레드 스펙트럼 PN 시퀀스에 의해 주어진 서브밴드로 먼저 전달되고, 그 후 희소 PN 시퀀스에 의해 동일한 서브밴드로 전달되도록 하는 등과 같이 해도 좋다. 또한, 보조 데이터 서브밴드 샘플의 제1 시퀀스가 스프레드 스펙트럼 PN 시퀀스에 의해 제1 서브밴드로 전달되고, 그 후 동일한 스프레드 스펙트럼 PN 시퀀스에 의해 제2 서브밴드로 전달되도록 하는 등과 같이 할 수도 있다. 더욱이, 동일한 시퀀스, 동일한 시퀀스의 시간 시프트된 버전 또는 그들의 임의의 조합을 각종의 시간 세그먼트(time segment)에 사용해도 좋다.
더욱이 또한, PC-HDT 인코더는 스프레드 스펙트럼 PN 시퀀스와 희소 PN 시퀀스를 절환하기 위한 결정수단(decision means)을 포함해도 좋다. 예컨대, 디스토션이 최소화되어야 하는 조용한 고충실도 음악 경로에 보조 데이터를 박아 넣을 때에는 희소 PN 시퀀스를 사용하고, 반면에 절대 충실도가 덜 중요한 뉴스 레포트 등의 음성뿐인 프로그램에 대해서는 스프레드 스펙트럼 PN 시퀀스를 사용할 수 있도록 하는 것이 바람직하다. 비디오의 경우에, 페이 퍼 뷰 영화(pay per view movie)에 보조 데이터를 박아 넣을 때에는 희소 PN 시퀀스를 사용하고, 반면에 네트워크 방송, 만화영화나 비디오 게임에 대해서는 스프레드 스펙트럼 PN 시퀀스를 사용할 수 있도록 하는 것이 바람직하다.
본 발명의 또 다른 실시예에서는, 상술한 희소 PN 시퀀스와 협력하여 "샘플 트위들링(sample twiddling)" 시퀀스가 발생된다. 특히, 트랜스포트 데이터 스트림으로부터의 오디오 또는 비디오 서브밴드 샘플은 의사랜덤하게 선택된다. 예컨대, 2의 보수 표기법에서 값 "+5"(예컨대, 2진수로 0101)를 갖는 서브밴드 샘플을 표현하는데 4비트를 사용하는 것으로 하자. 그 때, 독립적으로 발생되는 현재의 희소 PN 시퀀스값은 새로운 데이터 반송파 시퀀스를 생성하기 위해 서브밴드 샘플에 가산된다.
예컨대, 현재의 희소 PN 시퀀스값이 "-1"이라면, 변형된 서브밴드 샘플은 5-1=4(2진수로 0100)로 될 것이다. 현재의 희소 PN 시퀀스값이 "+1"인 경우는, 변형된 서브밴드 샘플은 5+1=6(2진수로 0110)으로 될 것이다. 더욱이, 현재의 희소 PN 시퀀스값이 "0"인 경우는, 변형된 서브밴드 샘플은 변화하지 않을 것이다. 더욱이, 4비트가 할당된 때는, 서브밴드 샘플은 "+7"과 "-8"의 사이(예컨대, 2진수로 0111과 1000 사이)의 값을 취하도록 강요된다. 따라서, 현재의 서브밴드 샘플이 값 "+7"을 갖고 현재의 희소 PN 시퀀스가 값 "+1"을 갖는 경우에는, 서브밴드 샘플은 변화하지 않을 것이다. 전술한 바와 같이 해서, 샘플 트위들 시퀀스는 발생되어 보조 데이터 서브밴드 샘플을 전달하기 위해 사용된다. 더욱이, 샘플 트위들링의 경우, 서브밴드 샘플에 배율화 인자 또는 역양자화 식을 적용할 필요가 없기 때문에, 필요로 되는 역양자화 단계가 현저히 저감된다. 여기서는, 단지 서브밴드 샘플이 2의 보수 표시로 되는 것을 필요로 할 뿐이다.
본 발명의 또 다른 실시예에서는, 상술한 희소 PN 시퀀스와 협력하여 "비트 트위들링(bit twiddling)" 시퀀스가 발생된다. 트랜스포트 데이터 스트림으로부터의 오디오 또는 비디오 서브밴드 샘플은 의사랜덤하게 선택된다. 예컨대, (2의 보수 표기법에서) 값 "+5"(예컨대, 2진수로 0101)를 갖는 서브밴드 샘플을 표현하는데 4비트를 사용하는 것으로 하자. 이 때, 희소 PN 시퀀스의 현재의 상태는 서브밴드 샘플의 2진 표시의 최하위 비트(least significant bit: LSB)에 가산된다.
예컨대, 서브밴드 샘플 "0101"의 최하위 비트는 "1"이다. 현재의 희소 PN 시퀀스값이 "-1"인 경우는, 변형된 서브밴드 샘플의 LSB는 1-1=0으로 플립(flip)된다. 현재의 희소 PN 시퀀스값이 "+1"인 경우는, LSB가 0이나 1의 값을 취할 수 있을 뿐이기 때문에 변형된 서브밴드 샘플은 변화하지 않을 것이다. 더욱이, 선택된 오디오 또는 비디오 서브밴드 샘플의 LSB가 "0"이고, 대응하는 희소 PN 시퀀스값이 값 "1"을 갖는 경우에는, 샘플의 LSB는 "1"로 플립된다. LSB=1이고, 대응하는 희소 PN 시퀀스값이 값 "-1"을 갖는 경우에는, LSB는 "0"으로 플립된다. 희소 PN 시퀀스가 값 "0"을 가질 때를 포함하여 다른 경우에는, 서브밴드 샘플의 LSB는 변화하지 않는다. 결과적인 비트 트위들링 시퀀스는 전술한 바와 같이 하여 보조 데이터 서브밴드 샘플에 의해 변조된다. 더욱이, 비트 트위들링의 경우, 서브밴드 샘플을 2의 보수 포맷으로 공급하거나, 혹은 서브밴드 샘플에 배율화 인자나 역양자화 식을 적용할 필요가 없기 때문에, 필요로 되는 역양자화 단계를 제거할 수 있다. 이것은, 구현 복잡성을 유리하게 저감시킨다.
더욱이, 샘플 트위들링 및 비트 트위들링은 여기서 설명한 변경 및 조합에있어서 스프레드 스펙트럼 PN 시퀀스 및 희소 PN 시퀀스와 공동으로 사용해도 좋다.
도 8은 본 발명에 따른 PC-HDT 시스템 디코더의 변형례의 블록도이다. 이 디코더는 오디오 및 비디오 신호의 양쪽으로부터 보조 데이터를 복구하는데 적합하다. 이 디코더는 도 7의 인코더와 공동으로 사용될 수 있다. 도 8의 구성요소는 도 6의 동일한 도면번호가 붙여진 구성요소에 대응하고, 달리 설명을 하지 않기로 한다. 이 실시예에서는, 라인(612)상의 복합 샘플(SS′0, SS′1, SS′2, …, SS′N-1)은 희소 PN 시퀀스를 이용하여 전달되는 보조 데이터 서브밴드 샘플을 포함하고 있다. 따라서, 인코더에 의해 사용되었던 것과 동일한 희소 PN 시퀀스가 디코더에 의해 사용되어야 한다. 물론, 샘플 트위들링 또는 비트 트위들링 시퀀스가 보조 데이터 서브밴드 샘플을 전달하는데 사용되었다면, 디코더에 대응하는 복조 시퀀스가 필요하게 된다.
희소 PN 시퀀스 발생기(815, 810, 805, 800)는 희소 PN 시퀀스(SP0, SP1, SP2, …, SPN-1)를 각각 공급한다. 희소 PN 시퀀스(SP0, SP1, SP2, …, SPN-1)는 보조 데이터 서브밴드 샘플(SSP0, SSP1, SSP2, …, SSPN-1)을 생성하기 위해 복조기(620, 622, 624, 626)에서 복합 서브밴드 샘플(SS′0, SS′1, SS′2, …, SS′N-1)을 각각 복조하는데 사용된다. 그 후, 보조 데이터 샘플은 통합기(650, 652, 654, 656)에 의해 디스프레드되고, 가산기(660)에서 가산되며, 전술한 바와 같이 FEC 디코더(670)로 공급된다.
본 발명은, 이전부터 존재하는 서브밴드 부호화 디지탈 오디오 또는 비디오 데이터 스트림에 실질적으로 알아 들을 수 없거나 감지될 수 없는 보조 데이터 서브밴드 샘플을 각각 공급하는 것임을 잘 이해해야 한다. 보조 데이터 자신이 소정의 공간 소자를 갖지 않더라도, 보조 데이터 서브밴드 샘플은 비디오 변환 샘플의 공간주파수와 결합되어 있다. 용어 비디오 서브밴드 샘플과 비디오 변환 샘플은 상호 교환가능하게 사용되어 왔다. 오디오 또는 비디오 서브밴드 샘플은 패킷화된 스트림에 압축되고 디지탈화된 오디오 또는 비디오 데이터로부터 검색되며, 필요에 따라 보조 데이터 서브밴드 샘플과의 결합에 앞서 정규화된다. 보조 데이터 서브밴드 샘플은 서브밴드 필터링된 PN 시퀀스, 희소 PN 시퀀스, 샘플 트위들링 시퀀스 또는 비트 트위들링 시퀀스, 혹은 그들의 조합을 통해 공급된다. 더욱이, 모든 오디오 또는 비디오 서브밴드가 보조 데이터를 전달해야 하는 것은 아니다.
보조 데이터 서브밴드 샘플을 포함하고 있는 복합 서브밴드 샘플은, 필요에 따라 새로은 프레임 또는 이전에 존재하는 프레임의 부분으로서 패킷화된 스트림과의 재결합에 앞서 비정규화된다. 보조 데이터 서브밴드 샘플은, 비정규화중에나, 혹은 디지탈 오디오 또는 비디오 데이터의 기저대역으로의 복구중에 오디오 또는 비디오로 스펙트럼 정형된다.
이상, 본 발명은 여러 가지 특정 실시예와 관련되어 설명했지만, 이에 한정되지 않고, 본 발명의 요지를 이탈하지 않는 범위내에서 각종의 변형 및 변경이 가능함은 물론이다.

Claims (53)

  1. 보조 데이터 서브밴드 샘플을 압축된 디지탈 비디오 데이터 스트림에 공급하기 위한 방법에 있어서,
    상기 데이터 스트림으로부터 복수의 비디오 변환 샘플을 공급하는 단계와,
    데이터 반송파 시퀀스를 제공하는 단계,
    상기 보조 데이터 서브밴드 샘플을 생성하기 위해 상기 데이터 반송파 시퀀스를 보조 데이터 신호에 의해 변조하는 단계,
    상기 보조 데이터 서브밴드 샘플이 실질적으로 감지될 수 없게 전달되는 복합 변환 샘플을 생성하기 위해 상기 보조 데이터 서브밴드 샘플을 대응하는 비디오 변환 샘플과 결합하는 단계 및,
    상기 복합 변환 샘플을 상기 디지탈 비디오 데이터 스트림에서의 전송을 위해 공급하는 단계를 구비하여 이루어진 것을 특징으로 하는 방법.
  2. 제1항에 있어서, 상기 비디오 변환 샘플은 균일하지 않은 전력 스펙트럼을 갖고,
    대략 균일한 전력 스펙트럼을 생성하기 위해 상기 비디오 변환 샘플을 정규화하는 단계와,
    상기 비디오 변환 샘플의 균일하지 않은 전력 스펙트럼을 재저장하고 상기 균일하지 않은 전력 스펙트럼에 따라 상기 복합 변환 샘플의 상기 보조 데이터 서브밴드 샘플을 스펙트럼 정형하기 위해 상기 정규화 단계 후에 상기 복합 변환 샘플을 비정규화하는 단계를 더 구비하여 이루어진 것을 특징으로 하는 방법.
  3. 제1항에 있어서, 상기 비디오 변환 샘플은 균일하지 않은 전력 스펙트럼을 갖고,
    상기 균일하지 않은 전력 스펙트럼에 따라 상기 보조 데이터 서브밴드 샘플을 스펙트럼 정형하는 단계를 더 구비하여 이루어진 것을 특징으로 하는 방법.
  4. 제1항에 있어서, 상기 복합 변환 샘플을 패킷화하는 단계와,
    상기 패킷화된 복합 변환 샘플을 패킷화된 전송 스트림으로 다중화하는 단계를 더 구비하여 이루어진 것을 특징으로 하는 방법.
  5. 제1항에 있어서, 상기 데이터 반송파 시퀀스가 다른 보조 데이터 신호에 의해 변조됨으로써, 상기 다른 보조 데이터 신호에 대응하는 각각의 보조 데이터 서브밴드 샘플이 전달되는 복합 변환 샘플을 허용하는 것을 특징으로 하는 방법.
  6. 제1항에 있어서, 복수의 보조 데이터 신호로부터의 보조 데이터 서브밴드 샘플이 상기 비디오 변환 샘플의 공간주파수에 의해 전달되는 것을 특징으로 하는 방법.
  7. 제1항에 있어서, 상기 비디오 변환 샘플을 역양자화하는 단계와,
    상기 역양자화 단계에 이어서 상기 복합 변환 샘플을 양자화하는 단계,
    비트를 상기 역양자화 단계에 할당하는 단계 및,
    비트를 가시범위 임계치에 따라 상기 양자화 단계에 할당하는 단계를 더 구비하여 이루어진 것을 특징으로 하는 방법.
  8. 제1항에 있어서, 상기 데이터 반송파 시퀀스는,
    (a) 상기 비디오 변환 샘플의 적어도 1개의 공간주파수를 통해 제공되는 의사 잡음(PN) 시퀀스와,
    (b) 상기 비디오 변환 샘플의 1개의 공간주파수를 통해 제공되는 다른 PN 변환 시퀀스,
    (c) 상기 비디오 변환 샘플의 1개의 공간주파수를 통해 제공되는 동일한 PN 변환 시퀀스의 시간 시프트(time-shift)된 버전,
    (d) 상기 비디오 변환 샘플의 적어도 1개의 공간주파수를 통해 제공되는 희소 PN 시퀀스,
    (e) 상기 비디오 변환 샘플의 1개의 공간주파수를 통해 제공되는 다른 희소 PN 시퀀스,
    (f) 상기 비디오 변환 샘플의 1개의 공간주파수를 통해 제공되는 동일한 희소 PN 시퀀스의 시간 시프트된 버전,
    (g) 상기 비디오 변환 샘플의 적어도 1개의 공간주파수를 통해 제공되는 샘플 트위들링 시퀀스(sample twiddling sequence),
    (h) 상기 비디오 변환 샘플의 1개의 공간주파수를 통해 제공되는 다른 샘플 트위들링 시퀀스,
    (i) 상기 비디오 변환 샘플의 1개의 공간주파수를 통해 제공되는 동일한 샘플 트위들링 시퀀스의 시간 시프트된 버전,
    (j) 상기 비디오 변환 샘플의 적어도 1개의 공간주파수를 통해 제공되는 비트 트위들링 시퀀스,
    (k) 상기 비디오 변환 샘플의 1개의 공간주파수를 통해 제공되는 다른 비트 트위들링 시퀀스 및,
    (l) 상기 비디오 변환 샘플의 1개의 공간주파수를 통해 제공되는 동일한 비트 트위들링 시퀀스의 시간 시프트된 버전
    의 적어도 1개로 구성되는 것을 특징으로 하는 방법.
  9. 제1항에 있어서, 상기 데이터 반송파 시퀀스가 실질적으로 감지될 수 없게 전달되는 복합 변환 샘플을 생성하기 위해 상기 데이터 반송파 시퀀스를 상기 비디오 변환 샘플과 결합하는 단계를 더 구비하여 이루어진 것을 특징으로 하는 방법.
  10. 제1항에 있어서, 상기 데이터 반송파 시퀀스는 상기 비디오 변환 샘플의 복수의 공간주파수를 통해 필터링되는 것을 특징으로 하는 방법.
  11. 제1항에 있어서, 상기 보조 데이터 서브밴드 샘플은 상기 복합 변환 샘플의 복수의 공간주파수에 의해 전달되는 것을 특징으로 하는 방법.
  12. 제1항에 있어서, 상기 비디오 변환 샘플이 인트라 부호화된 화상 및 차분 부호화된 화상의 적어도 1개로부터 공간적으로 변환된 화소 데이터로 이루어진 것을 특징으로 하는 방법.
  13. 압축된 디지탈 비디오 데이터 스트림으로부터 보조 데이터 신호를 나타내는 보조 데이터 서브밴드 샘플을 복구하기 위한 방법으로,
    상기 보조 데이터 서브밴드 샘플이 상기 보조 데이터 신호에 의해 제1 데이터 반송파 시퀀스를 변조함으로써 생성되고, 상기 데이터 스트림의 복합 변환 샘플에 비디오 변환 샘플과 더불어 전달되는 것을 특징으로 하는 방법에 있어서,
    상기 데이터 스트림으로부터 상기 복합 변환 샘플을 복구하는 단계와,
    상기 제1 데이터 반송파 시퀀스에 대응하는 복구 데이터 반송파 시퀀스를 생성하는 단계 및,
    상기 복구된 복합 변환 샘플로부터 상기 보조 데이터 서브밴드 샘플을 복구하기 위해 상기 복구 데이터 반송파 시퀀스를 이용하여 상기 복합 변환 샘플을 처리하는 단계를 구비하여 이루어진 것을 특징으로 하는 방법.
  14. 제13항에 있어서, 상기 복구 데이터 반송파 시퀀스는,
    (a) 상기 비디오 변환 샘플의 적어도 1개의 공간주파수를 통해 제공되는 의사 잡음(PN) 시퀀스와,
    (b) 상기 비디오 변환 샘플의 1개의 공간주파수를 통해 제공되는 다른 PN 변환 시퀀스,
    (c) 상기 비디오 변환 샘플의 1개의 공간주파수를 통해 제공되는 동일한 PN 변환 시퀀스의 시간 시프트된 버전,
    (d) 상기 비디오 변환 샘플의 적어도 1개의 공간주파수를 통해 제공되는 희소 PN 시퀀스,
    (e) 상기 비디오 변환 샘플의 1개의 공간주파수를 통해 제공되는 다른 희소 PN 시퀀스,
    (f) 상기 비디오 변환 샘플의 1개의 공간주파수를 통해 제공되는 동일한 희소 PN 시퀀스의 시간 시프트된 버전,
    (g) 상기 비디오 변환 샘플의 적어도 1개의 공간주파수를 통해 제공되는 샘플 트위들링 시퀀스,
    (h) 상기 비디오 변환 샘플의 1개의 공간주파수를 통해 제공되는 다른 샘플 트위들링 시퀀스,
    (i) 상기 비디오 변환 샘플의 1개의 공간주파수를 통해 제공되는 동일한 샘플 트위들링 시퀀스의 시간 시프트된 버전,
    (j) 상기 비디오 변환 샘플의 적어도 1개의 공간주파수를 통해 제공되는 비트 트위들링 시퀀스,
    (k) 상기 비디오 변환 샘플의 1개의 공간주파수를 통해 제공되는 다른 비트 트위들링 시퀀스 및,
    (l) 상기 비디오 변환 샘플의 1개의 공간주파수를 통해 제공되는 동일한 비트 트위들링 시퀀스의 시간 시프트된 버전
    의 적어도 1개로 구성되는 것을 특징으로 하는 방법.
  15. 제13항에 있어서, 상기 처리 단계는,
    상기 보조 데이터 서브밴드 샘플을 복구하기 위해 상기 복구 데이터 반송파 시퀀스를 이용하여 상기 복구된 복합 변환 샘플을 복조하는 단계와,
    디스프레드 보조 데이터 서브밴드 샘플을 생성하기 위해 상기 복구된 보조 데이터 서브밴드 샘플을 통합하는 단계를 구비하고 있는 것을 특징으로 하는 방법.
  16. 상기 제15항에 있어서, 상기 보조 데이터 신호를 복구하기 위해 그 선택된 공간주파수와 교차해서 상기 디스프레드 보조 데이터 서브밴드 샘플을 가산하는 단계를 더 구비하여 이루어진 것을 특징으로 하는 방법.
  17. 제13항에 있어서, 상기 비디오 변환 샘플은 균일하지 않은 전력 스펙트럼을 갖고,
    상기 복합 변환 샘플의 상기 비디오 변환 샘플에 대하여 대략 균일한 전력 스펙트럼을 제공하기 위해 상기 복합 변환 샘플을 정규화하는 단계를 더 구비하여 이루어진 것을 특징으로 하는 방법.
  18. 제13항에 있어서, 상기 보조 데이터 서브밴드 샘플에 대하여 대략 균일한 전력 스펙트럼을 제공하기 위해 상기 복합 변환 샘플을 정규화하는 단계를 더 구비하여 이루어진 것을 특징으로 하는 방법.
  19. 제13항에 있어서, 상기 복합 변환 샘플을 역양자화하는 단계와,
    비트를 상기 역양자화 단계에 할당하는 단계를 더 구비하여 이루어진 것을 특징으로 하는 방법.
  20. 제13항에 있어서, 상기 복구 데이터 반송파 시퀀스는 상기 비디오 변환 샘플의 복수의 공간주파수를 통해 필터링되는 것을 특징으로 하는 방법.
  21. 제13항에 있어서, 상기 보조 데이터 서브밴드 샘플은 상기 복합 변환 샘플의 복수의 공간주파수에 의해 전달되는 것을 특징으로 하는 방법.
  22. 제13항에 있어서, 상기 비디오 변환 샘플이 인트라 부호화된 화상 및 차분 부호화된 화상의 적어도 1개로부터 공간적으로 변환된 화소 데이터로 이루어진 것을 특징으로 하는 방법.
  23. 제13항에 있어서, 다른 보조 데이터 신호에 대응하는 보조 데이터 서브밴드 샘플은 상기 디지탈 비디오 데이터 스트림의 상기 복합 변환 샘플에 전달되고,
    다른 복구 데이터 반송파 시퀀스를 이용하여 상기 복합 변환 샘플을 처리하는 단계를 더 구비하여 이루어진 것을 특징으로 하는 방법.
  24. 보조 데이터 서브밴드 샘플을 압축된 디지탈 비디오 데이터 스트림에 공급하기 위한 인코더에 있어서,
    상기 디지탈 비디오 데이터 스트림을 수신함과 더불어 복수의 비디오 변환 샘플을 공급하는 입력단자와,
    데이터 반송파 시퀀스를 제공하기 위한 데이터 반송파 발생기,
    상기 보조 데이터 서브밴드 샘플을 제공하기 위해 보조 데이터 신호에 의해 상기 데이터 반송파 시퀀스를 변조하기 위한 변조기,
    상기 보조 데이터 서브밴드 샘플이 실질적으로 감지될 수 없게 전달되는 복합 변환 샘플을 생성하기 위해 상기 보조 데이터 서브밴드 샘플을 대응하는 비디오 변환 샘플과 결합하는 결합기 및,
    상기 결합기에 연결되어 상기 복합 변환 샘플을 상기 디지탈 비디오 데이터 스트림에서의 전송을 위해 공급하는 출력단자를 구비하여 구성된 것을 특징으로 하는 인코더.
  25. 제24항에 있어서, 상기 비디오 변환 샘플은 균일하지 않은 전력 스펙트럼을 갖고,
    대략 균일한 전력 스펙트럼을 제공하기 위해 상기 비디오 변환 샘플을 정규화하는 정규화기와,
    상기 비디오 변환 샘플의 균일하지 않은 전력 스펙트럼을 재저장하고 상기 균일하지 않은 전력 스펙트럼에 따라 상기 복합 변환 샘플의 상기 보조 데이터 서브밴드 샘플을 스펙트럼 정형하기 위해 상기 정규화 후에 상기 복합 변환 샘플을 비정규화하기 위한 비정규화기를 더 구비하여 구성된 것을 특징으로 하는 인코더.
  26. 제24항에 있어서, 상기 비디오 변환 샘플은 균일하지 않은 전력 스펙트럼을 갖고,
    상기 균일하지 않은 전력 스펙트럼에 따라 상기 보조 데이터 서브밴드 샘플을 스펙트럼 정형하기 위한 수단을 더 구비하여 구성된 것을 특징으로 하는 인코더.
  27. 제24항에 있어서, 상기 복합 변환 샘플을 패킷화하기 위한 패킷화기와,
    상기 패킷화된 복합 변환 샘플을 패킷화된 전송 스트림으로 다중화하기 위한 멀티플렉서를 더 구비하여 구성된 것을 특징으로 하는 인코더.
  28. 제24항에 있어서, 상기 데이터 반송파 시퀀스가 다른 보조 데이터 신호에 의해 변조됨으로써, 상기 다른 보조 데이터 신호에 대응하는 각각의 보조 데이터 서브밴드 샘플이 전달되는 복합 변환 샘플을 허용하는 것을 특징으로 하는 인코더.
  29. 제24항에 있어서, 복수의 보조 데이터 신호로부터의 보조 데이터 서브밴드 샘플이 상기 복합 변환 샘플의 1개의 관련된 공간주파수에 전달되는 것을 특징으로 하는 인코더.
  30. 제24항에 있어서, 상기 비디오 변환 샘플을 역양자화하기 위한 역양자화기와,
    상기 복합 변환 샘플을 양자화하기 위한 양자화기 및,
    상기 역양자화기 및 상기 양자화기에 연결되어 비트를 상기 역양자화기에 할당함과 더불어 비트를 가시범위 임계치에 따라 상기 양자화기에 할당하기 위한 비트 할당수단을 더 구비하여 구성된 것을 특징으로 하는 인코더.
  31. 제24항에 있어서, 상기 데이터 반송파 시퀀스는,
    (a) 상기 비디오 변환 샘플의 적어도 1개의 공간주파수를 통해 제공되는 의사 잡음(PN) 시퀀스와,
    (b) 상기 비디오 변환 샘플의 1개의 공간주파수를 통해 제공되는 다른 PN 변환 시퀀스,
    (c) 상기 비디오 변환 샘플의 1개의 공간주파수를 통해 제공되는 동일한 PN 변환 시퀀스의 시간 시프트된 버전,
    (d) 상기 비디오 변환 샘플의 적어도 1개의 공간주파수를 통해 제공되는 희소 PN 시퀀스,
    (e) 상기 비디오 변환 샘플의 1개의 공간주파수를 통해 제공되는 다른 희소 PN 시퀀스,
    (f) 상기 비디오 변환 샘플의 1개의 공간주파수를 통해 제공되는 동일한 희소 PN 시퀀스의 시간 시프트된 버전,
    (g) 상기 비디오 변환 샘플의 적어도 1개의 공간주파수를 통해 제공되는 샘플 트위들링 시퀀스,
    (h) 상기 비디오 변환 샘플의 1개의 공간주파수를 통해 제공되는 다른 샘플 트위들링 시퀀스,
    (i) 상기 비디오 변환 샘플의 1개의 공간주파수를 통해 제공되는 동일한 샘플 트위들링 시퀀스의 시간 시프트된 버전,
    (j) 상기 비디오 변환 샘플의 적어도 1개의 공간주파수를 통해 제공되는 비트 트위들링 시퀀스,
    (k) 상기 비디오 변환 샘플의 1개의 공간주파수를 통해 제공되는 다른 비트 트위들링 시퀀스 및,
    (l) 상기 비디오 변환 샘플의 1개의 공간주파수를 통해 제공되는 동일한 비트 트위들링 시퀀스의 시간 시프트된 버전
    의 적어도 1개로 구성되는 것을 특징으로 하는 인코더.
  32. 제24항에 있어서, 상기 데이터 반송파 시퀀스가 실질적으로 감지될 수 없게 전달되는 복합 변환 샘플을 생성하기 위해 상기 데이터 반송파 시퀀스를 상기 비디오 변환 샘플과 결합하기 위한 수단을 더 구비하여 구성된 것을 특징으로 하는 인코더.
  33. 제24항에 있어서, 상기 데이터 반송파 시퀀스는 상기 비디오 변환 샘플의 복수의 공간주파수를 통해 필터링되는 것을 특징으로 하는 인코더.
  34. 제24항에 있어서, 상기 보조 데이터 서브밴드 샘플은 상기 복합 변환 샘플의 복수의 공간주파수에 의해 전달되는 것을 특징으로 하는 인코더.
  35. 제24항에 있어서, 상기 비디오 변환 샘플이 인트라 부호화된 화상 및 차분 부호화된 화상의 적어도 1개로부터 공간적으로 변환된 화소 데이터로 이루어진 것을 특징으로 하는 인코더.
  36. 압축된 디지탈 비디오 데이터 스트림으로부터 보조 데이터 신호를 나타내는 보조 데이터 서브밴드 샘플을 복구하기 위한 디코더로,
    상기 보조 데이터 서브밴드 샘플이 상기 보조 데이터 신호에 의해 제1 데이터 반송파 시퀀스를 변조함으로써 생성되고, 상기 압축된 디지탈 데이터 스트림의 복합 변환 샘플에 비디오 변환 샘플과 더불어 전달되는 것을 특징으로 하는 디코더에 있어서,
    상기 데이터 스트림으로부터 상기 복합 변환 샘플을 복구하기 위한 수단과,
    상기 제1 데이터 반송파 시퀀스에 대응하는 복구 데이터 반송파 시퀀스를 생성하기 위한 수단 및,
    상기 복구된 복합 변환 샘플로부터 상기 보조 데이터 서브밴드 샘플을 복구하기 위해 상기 복구 데이터 반송파 시퀀스를 이용하여 상기 복합 변환 샘플을 처리하기 위한 수단을 구비하여 구성된 것을 특징으로 하는 디코더.
  37. 제36항에 있어서, 상기 복구 데이터 반송파 시퀀스는,
    (a) 상기 비디오 변환 샘플의 적어도 1개의 공간주파수를 통해 제공되는 의사 잡음(PN) 시퀀스와,
    (b) 상기 비디오 변환 샘플의 1개의 공간주파수를 통해 제공되는 다른 PN 변환 시퀀스,
    (c) 상기 비디오 변환 샘플의 1개의 공간주파수를 통해 제공되는 동일한 PN 변환 시퀀스의 시간 시프트된 버전,
    (d) 상기 비디오 변환 샘플의 적어도 1개의 공간주파수를 통해 제공되는 희소 PN 시퀀스,
    (e) 상기 비디오 변환 샘플의 1개의 공간주파수를 통해 제공되는 다른 희소 PN 시퀀스,
    (f) 상기 비디오 변환 샘플의 1개의 공간주파수를 통해 제공되는 동일한 희소 PN 시퀀스의 시간 시프트된 버전,
    (g) 상기 비디오 변환 샘플의 적어도 1개의 공간주파수를 통해 제공되는 샘플 트위들링시퀀스,
    (h) 상기 비디오 변환 샘플의 1개의 공간주파수를 통해 제공되는 다른 샘플 트위들링 시퀀스,
    (i) 상기 비디오 변환 샘플의 1개의 공간주파수를 통해 제공되는 동일한 샘플 트위들링 시퀀스의 시간 시프트된 버전,
    (j) 상기 비디오 변환 샘플의 적어도 1개의 공간주파수를 통해 제공되는 비트 트위들링 시퀀스,
    (k) 상기 비디오 변환 샘플의 1개의 공간주파수를 통해 제공되는 다른 비트 트위들링 시퀀스 및,
    (l) 상기 비디오 변환 샘플의 1개의 공간주파수를 통해 제공되는 동일한 비트 트위들링 시퀀스의 시간 시프트된 버전
    의 적어도 1개로 구성되는 것을 특징으로 하는 디코더.
  38. 제36항에 있어서, 상기 처리하기 위한 수단은,
    상기 보조 데이터 서브밴드 샘플을 복구하기 위해 상기 복구 데이터 반송파 시퀀스를 이용하여 상기 복구된 복합 변환 샘플을 복조하기 위한 수단과,
    디스프레드 보조 데이터 서브밴드 샘플을 생성하기 위해 상기 복구된 보조 데이터 서브밴드 샘플을 통합하기 위한 수단을 구비하고 있는 것을 특징으로 하는 디코더.
  39. 제38항에 있어서, 상기 보조 데이터 신호를 복구하기 위해 그 선택된 공간주파수와 교차해서 상기 디스프레드 보조 데이터 서브밴드 샘플을 가산하기 위한 수단을 더 구비하여 구성된 것을 특징으로 하는 디코더.
  40. 제36항에 있어서, 상기 비디오 변환 샘플은 균일하지 않은 전력 스펙트럼을 갖고,
    상기 비디오 변환 샘플에 대하여 대략 균일한 전력 스펙트럼을 제공하기 위해 상기 복합 변환 샘플의 상기 비디오 변환 샘플을 정규화하기 위한 정규화기를 더 구비하여 구성된 것을 특징으로 하는 디코더.
  41. 제36항에 있어서, 상기 보조 데이터 서브밴드 샘플에 대하여 대략 균일한 전력 스펙트럼을 제공하기 위해 상기 복합 변환 샘플을 정규화하기 위한 정규화기를 더 구비하여 구성된 것을 특징으로 하는 디코더.
  42. 제36항에 있어서, 상기 복합 변환 샘플을 역양자화하기 위한 역양자화기와,
    비트를 상기 역양자화기에 할당하기 위한 수단을 더 구비하여 구성된 것을 특징으로 하는 디코더.
  43. 제36항에 있어서, 다른 보조 데이터 신호에 대응하는 보조 데이터 서브밴드 샘플은 상기 디지탈 비디오 데이터 스트림의 상기 복합 변환 샘플에 전달되고,
    상기 처리하기 위한 수단은 다른 복구 데이터 반송파 시퀀스를 이용하여 상기 복합 변환 샘플을 처리하는 것을 특징으로 하는 디코더.
  44. 제36항에 있어서, 상기 복구 데이터 반송파 시퀀스는 상기 비디오 변환 샘플의 복수의 공간주파수를 통해 필터링되는 것을 특징으로 하는 디코더.
  45. 제36항에 있어서, 상기 보조 데이터 서브밴드 샘플은 상기 복합 변환 샘플의 복수의 공간주파수에 의해 전달되는 것을 특징으로 하는 디코더.
  46. 제36항에 있어서, 상기 비디오 변환 샘플이 인트라 부호화된 화상 및 차분 부호화된 화상의 적어도 1개로부터 공간적으로 변환된 화소 데이터로 이루어진 것을 특징으로 하는 디코더.
  47. (ⅰ) 비디오 신호를 나타내는 비디오 변환 샘플과 보조 데이터 신호를 나타내는 보조 데이터 서브밴드 샘플을 포함하는 복합 변환 샘플을 저장하기 위한 기억매체와,
    (ⅱ) 상기 보조 데이터 서브밴드 샘플로부터 상기 보조 데이터 신호의 복구를 허가하기 위한 수단을 구비하여 구성되고,
    상기 보조 데이터 서브밴드 샘플은 상기 비디오 변환 샘플에 대응하는 적어도 1개의 공간주파수를 통한 상기 보조 데이터 신호에 의해 데이터 반송파 시퀀스를 변조함으로써 생성되고, 실질적으로 감지될 수 없게 상기 비디오 신호로 전달되며,
    상기 보조 데이터 신호는 상기 비디오 신호에 따라 스펙트럼 정형되는 것을 특징으로 하는 압축된 디지탈 데이터 기억매체.
  48. 제47항에 있어서, 다른 보조 데이터 신호에 대응하는 보조 데이터 서브밴드 샘플이 상기 복합 변환 샘플에 전달되는 것을 특징으로 하는 기억매체.
  49. 제47항에 있어서, 다른 보조 데이터 신호에 대응하는 보조 데이터 서브밴드 샘플이 상기 비디오 변의 관련된 공간주파수에 의해 전달되는 것을 특징으로 하는 기억매체.
  50. 제47항에 있어서, 상기 데이터 반송파 시퀀스는,
    (a) 상기 비디오 변환 샘플의 적어도 1개의 공간주파수를 통해 제공되는 의사 잡음(PN) 시퀀스와,
    (b) 상기 비디오 변환 샘플의 1개의 공간주파수를 통해 제공되는 다른 PN 변환 시퀀스,
    (c) 상기 비디오 변환 샘플의 1개의 공간주파수를 통해 제공되는 동일한 PN 변환 시퀀스의 시간 시프트된 버전,
    (d) 상기 비디오 변환 샘플의 적어도 1개의 공간주파수를 통해 제공되는 희소 PN 시퀀스,
    (e) 상기 비디오 변환 샘플의 1개의 공간주파수를 통해 제공되는 다른 희소 PN 시퀀스,
    (f) 상기 비디오 변환 샘플의 1개의 공간주파수를 통해 제공되는 동일한 희소 PN 시퀀스의 시간 시프트된 버전,
    (g) 상기 비디오 변환 샘플의 적어도 1개의 공간주파수를 통해 제공되는 샘플 트위들링 시퀀스,
    (h) 상기 비디오 변환 샘플의 1개의 공간주파수를 통해 제공되는 다른 샘플 트위들링 시퀀스,
    (i) 상기 비디오 변환 샘플의 1개의 공간주파수를 통해 제공되는 동일한 샘플 트위들링 시퀀스의 시간 시프트된 버전,
    (j) 상기 비디오 변환 샘플의 적어도 1개의 공간주파수를 통해 제공되는 비트 트위들링 시퀀스,
    (k) 상기 비디오 변환 샘플의 1개의 공간주파수를 통해 제공되는 다른 비트 트위들링 시퀀스 및,
    (l) 상기 비디오 변환 샘플의 1개의 공간주파수를 통해 제공되는 동일한 비트 트위들링 시퀀스의 시간 시프트된 버전
    의 적어도 1개로 구성되는 것을 특징으로 하는 기억매체.
  51. 제47항에 있어서, 상기 데이터 반송파 시퀀스는 상기 비디오 변환 샘플의 복수의 공간주파수를 통해 필터링되는 것을 특징으로 하는 기억매체.
  52. 제47항에 있어서, 상기 보조 데이터 서브밴드 샘플은 상기 복합 변환 샘플의 복수의 공간주파수에 의해 전달되는 것을 특징으로 하는 기억매체.
  53. 제47항에 있어서, 상기 비디오 변환 샘플이 인트라 부호화된 화상 및 차분 부호화된 화상의 적어도 1개로부터 공간적으로 변환된 화소 데이터로 이루어진 것을 특징으로 하는 기억매체.
KR1020007001660A 1997-08-18 1998-07-22 비디오용 후압축 히든 데이터 트랜스포트 KR20010023043A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US08/912,434 1997-08-18
US08/912,434 US5901178A (en) 1996-02-26 1997-08-18 Post-compression hidden data transport for video
PCT/US1998/015111 WO1999009684A1 (en) 1997-08-18 1998-07-22 Post-compression hidden data transport for video

Publications (1)

Publication Number Publication Date
KR20010023043A true KR20010023043A (ko) 2001-03-26

Family

ID=25431912

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020007001660A KR20010023043A (ko) 1997-08-18 1998-07-22 비디오용 후압축 히든 데이터 트랜스포트

Country Status (11)

Country Link
US (1) US5901178A (ko)
EP (1) EP1005724A4 (ko)
JP (1) JP2001516171A (ko)
KR (1) KR20010023043A (ko)
CN (1) CN1144400C (ko)
AU (1) AU744440B2 (ko)
BR (1) BR9811949A (ko)
CA (1) CA2301680C (ko)
IL (1) IL134570A0 (ko)
NO (1) NO20000782L (ko)
WO (1) WO1999009684A1 (ko)

Families Citing this family (132)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030048922A1 (en) * 2001-08-29 2003-03-13 Rhoads Geoffrey B. Imagery having technical exposure data steganographically encoded therein
US6449377B1 (en) 1995-05-08 2002-09-10 Digimarc Corporation Methods and systems for watermark processing of line art images
US7515733B2 (en) * 1993-11-18 2009-04-07 Digimarc Corporation Methods and arrangements employing digital content items
US6122403A (en) 1995-07-27 2000-09-19 Digimarc Corporation Computer system linked by using information in data objects
US6993152B2 (en) * 1994-03-17 2006-01-31 Digimarc Corporation Hiding geo-location data through arrangement of objects
US6879701B1 (en) 1994-10-21 2005-04-12 Digimarc Corporation Tile-based digital watermarking techniques
US7724919B2 (en) * 1994-10-21 2010-05-25 Digimarc Corporation Methods and systems for steganographic processing
US6760463B2 (en) * 1995-05-08 2004-07-06 Digimarc Corporation Watermarking methods and media
US6738495B2 (en) 1995-05-08 2004-05-18 Digimarc Corporation Watermarking enhanced to withstand anticipated corruptions
US7006661B2 (en) 1995-07-27 2006-02-28 Digimarc Corp Digital watermarking systems and methods
US7664263B2 (en) 1998-03-24 2010-02-16 Moskowitz Scott A Method for combining transfer functions with predetermined key creation
US6205249B1 (en) 1998-04-02 2001-03-20 Scott A. Moskowitz Multiple transform utilization and applications for secure digital watermarking
US6307949B1 (en) * 1996-05-07 2001-10-23 Digimarc Corporation Methods for optimizing watermark detection
US6229924B1 (en) 1996-05-16 2001-05-08 Digimarc Corporation Method and apparatus for watermarking video images
US7346472B1 (en) * 2000-09-07 2008-03-18 Blue Spike, Inc. Method and device for monitoring and analyzing signals
US7177429B2 (en) 2000-12-07 2007-02-13 Blue Spike, Inc. System and methods for permitting open access to data objects and for securing data within the data objects
US5889868A (en) * 1996-07-02 1999-03-30 The Dice Company Optimization methods for the insertion, protection, and detection of digital watermarks in digitized data
US7159116B2 (en) 1999-12-07 2007-01-02 Blue Spike, Inc. Systems, methods and devices for trusted transactions
US8306811B2 (en) * 1996-08-30 2012-11-06 Digimarc Corporation Embedding data in audio and detecting embedded data in audio
AUPO521897A0 (en) * 1997-02-20 1997-04-11 Telstra R & D Management Pty Ltd Invisible digital watermarks
US8090142B2 (en) * 1997-07-24 2012-01-03 Regents Of The University Of Minnesota Embedding data in and detecting embedded data from video objects
US8155375B2 (en) * 1997-07-24 2012-04-10 Regents Of The University Of Minnesota Video watermarking using temporal analysis
JP4003098B2 (ja) * 1997-09-17 2007-11-07 ソニー株式会社 画像信号への情報付加方法および情報付加装置
US6373960B1 (en) * 1998-01-06 2002-04-16 Pixel Tools Corporation Embedding watermarks into compressed video data
US6233347B1 (en) * 1998-05-21 2001-05-15 Massachusetts Institute Of Technology System method, and product for information embedding using an ensemble of non-intersecting embedding generators
US7644282B2 (en) 1998-05-28 2010-01-05 Verance Corporation Pre-processed information embedding system
US6912315B1 (en) * 1998-05-28 2005-06-28 Verance Corporation Pre-processed information embedding system
US5991285A (en) * 1998-08-10 1999-11-23 Motorola, Inc. Method and apparatus for communicating signals of various channel types in CDMA communication system
US7197156B1 (en) * 1998-09-25 2007-03-27 Digimarc Corporation Method and apparatus for embedding auxiliary information within original data
US7373513B2 (en) * 1998-09-25 2008-05-13 Digimarc Corporation Transmarking of multimedia signals
US6493039B1 (en) * 1999-01-19 2002-12-10 Xerox Corporation Method and apparatus for white noise reduction in video images
US6246777B1 (en) * 1999-03-19 2001-06-12 International Business Machines Corporation Compression-tolerant watermarking scheme for image authentication
US7664264B2 (en) 1999-03-24 2010-02-16 Blue Spike, Inc. Utilizing data reduction in steganographic and cryptographic systems
JP3685382B2 (ja) * 1999-05-25 2005-08-17 日本ビクター株式会社 映像情報記録装置
FR2794600B1 (fr) * 1999-06-01 2001-08-17 Thomson Multimedia Sa Systeme de tatouage de donnees utilisant de nouvelles methodes d'insertion et de detection de tatouage
US7475246B1 (en) 1999-08-04 2009-01-06 Blue Spike, Inc. Secure personal content server
EP1210685A1 (en) 1999-09-01 2002-06-05 Digimarc Corporation Watermarking digital images with intensity specified by area
US6766102B1 (en) * 1999-09-20 2004-07-20 Digimarc Corporation Methods for reading watermarks in unknown data types, and DVD drives with such functionality
US6640005B1 (en) 1999-10-21 2003-10-28 Sharp Laboratories Of America, Inc. Method for inconspicuously adding tracking data in coded images
US6725372B1 (en) * 1999-12-02 2004-04-20 Verizon Laboratories Inc. Digital watermarking
US7106385B1 (en) 1999-12-16 2006-09-12 Thomson Licensing Apparatus and method for reducing the visual effects of artifacts present in a line scanned video display
IL134182A (en) * 2000-01-23 2006-08-01 Vls Com Ltd Method and apparatus for visual lossless pre-processing
US6885680B1 (en) 2000-01-24 2005-04-26 Ati International Srl Method for synchronizing to a data stream
US7366961B1 (en) 2000-01-24 2008-04-29 Ati Technologies, Inc. Method and system for handling errors
US6988238B1 (en) 2000-01-24 2006-01-17 Ati Technologies, Inc. Method and system for handling errors and a system for receiving packet stream data
US6778533B1 (en) 2000-01-24 2004-08-17 Ati Technologies, Inc. Method and system for accessing packetized elementary stream data
US6763390B1 (en) * 2000-01-24 2004-07-13 Ati Technologies, Inc. Method and system for receiving and framing packetized data
US6625297B1 (en) * 2000-02-10 2003-09-23 Digimarc Corporation Self-orienting watermarks
US6737957B1 (en) 2000-02-16 2004-05-18 Verance Corporation Remote control signaling using audio watermarks
US7020303B2 (en) * 2000-03-18 2006-03-28 Digimarc Corporation Feature-based watermarks and watermark detection strategies
US7305104B2 (en) * 2000-04-21 2007-12-04 Digimarc Corporation Authentication of identification documents using digital watermarks
US8121843B2 (en) * 2000-05-02 2012-02-21 Digimarc Corporation Fingerprint methods and systems for media signals
US7113546B1 (en) * 2000-05-02 2006-09-26 Ati Technologies, Inc. System for handling compressed video data and method thereof
US6633654B2 (en) * 2000-06-19 2003-10-14 Digimarc Corporation Perceptual modeling of media signals based on local contrast and directional edges
US6631198B1 (en) 2000-06-19 2003-10-07 Digimarc Corporation Perceptual modeling of media signals based on local contrast and directional edges
US6753929B1 (en) 2000-06-28 2004-06-22 Vls Com Ltd. Method and system for real time motion picture segmentation and superposition
US6594373B1 (en) * 2000-07-19 2003-07-15 Digimarc Corporation Multi-carrier watermarks using carrier signals modulated with auxiliary messages
MXPA02003990A (es) * 2000-08-25 2002-10-23 Koninkl Philips Electronics Nv Metodo y apatao para reducir la longitud de palabra de una senal digital de entrada y metodo y aparato para recobrar la senal digital de entrada.
US6952485B1 (en) * 2000-09-11 2005-10-04 Digimarc Corporation Watermark encoding and decoding in imaging devices and imaging device interfaces
US7095945B1 (en) 2000-11-06 2006-08-22 Ati Technologies, Inc. System for digital time shifting and method thereof
US6870931B2 (en) 2000-12-13 2005-03-22 Eastman Kodak Company Method and system for embedding message data in a digital image sequence
US6792130B1 (en) 2000-12-13 2004-09-14 Eastman Kodak Company System and method for embedding a watermark signal that contains message data in a digital image
US7098931B2 (en) 2001-03-05 2006-08-29 Digimarc Corporation Image management system and methods using digital watermarks
US7042470B2 (en) 2001-03-05 2006-05-09 Digimarc Corporation Using embedded steganographic identifiers in segmented areas of geographic images and characteristics corresponding to imagery data derived from aerial platforms
US9363409B2 (en) * 2001-03-05 2016-06-07 Digimarc Corporation Image management system and methods using digital watermarks
US7197160B2 (en) * 2001-03-05 2007-03-27 Digimarc Corporation Geographic information systems using digital watermarks
US6950519B2 (en) 2001-03-05 2005-09-27 Digimarc Corporation Geographically watermarked imagery and methods
US7061510B2 (en) * 2001-03-05 2006-06-13 Digimarc Corporation Geo-referencing of aerial imagery using embedded image identifiers and cross-referenced data sets
US6664976B2 (en) 2001-04-18 2003-12-16 Digimarc Corporation Image management system and methods using digital watermarks
US7254249B2 (en) * 2001-03-05 2007-08-07 Digimarc Corporation Embedding location data in video
US7249257B2 (en) * 2001-03-05 2007-07-24 Digimarc Corporation Digitally watermarked maps and signs and related navigational tools
US7822969B2 (en) * 2001-04-16 2010-10-26 Digimarc Corporation Watermark systems and methods
US7093277B2 (en) * 2001-05-30 2006-08-15 Digeo, Inc. System and method for improved multi-stream multimedia transmission and processing
US8572640B2 (en) * 2001-06-29 2013-10-29 Arbitron Inc. Media data use measurement with remote decoding/pattern matching
US20030016825A1 (en) * 2001-07-10 2003-01-23 Eastman Kodak Company System and method for secure watermarking of a digital image sequence
US7203335B2 (en) * 2001-08-07 2007-04-10 Gabriel Fielding System and method for extracting a watermark signal in a digital image sequence
JP4213592B2 (ja) * 2001-11-23 2009-01-21 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ウォーターマークの埋め込み
US7567721B2 (en) * 2002-01-22 2009-07-28 Digimarc Corporation Digital watermarking of low bit rate video
US7630569B2 (en) * 2002-02-26 2009-12-08 Decegama Angel Real-time software video/audio transmission and display with content protection against camcorder piracy
US7310598B1 (en) 2002-04-12 2007-12-18 University Of Central Florida Research Foundation, Inc. Energy based split vector quantizer employing signal representation in multiple transform domains
US7287275B2 (en) 2002-04-17 2007-10-23 Moskowitz Scott A Methods, systems and devices for packet watermarking and efficient provisioning of bandwidth
KR100472464B1 (ko) * 2002-07-20 2005-03-10 삼성전자주식회사 직렬로 스케일링하는 장치 및 방법
US7577841B2 (en) 2002-08-15 2009-08-18 Digimarc Corporation Watermark placement in watermarking of time varying media signals
EP2782337A3 (en) 2002-10-15 2014-11-26 Verance Corporation Media monitoring, management and information system
AU2002952873A0 (en) * 2002-11-25 2002-12-12 Dynamic Digital Depth Research Pty Ltd Image encoding system
US7945387B2 (en) * 2003-03-19 2011-05-17 Broadcom Corporation Method and apparatus for distribution of satellite navigation data
JP2004362747A (ja) * 2003-05-12 2004-12-24 Canon Inc 信号処理装置
US7756288B2 (en) 2003-05-29 2010-07-13 Jeffrey Lubin Method and apparatus for analog insertion of low frequency watermarks
KR100547136B1 (ko) * 2003-08-05 2006-01-26 삼성전자주식회사 방송/예비 컨텐츠를 부호화/복호화하는 장치 및 방법
US6893790B2 (en) * 2003-08-26 2005-05-17 Eastman Kodak Company Photopatterning of conductive electrode layers containing electrically-conductive polymer particles
US20050060420A1 (en) * 2003-09-11 2005-03-17 Kovacevic Branko D. System for decoding multimedia data and method thereof
US20060239501A1 (en) 2005-04-26 2006-10-26 Verance Corporation Security enhancements of digital watermarks for multi-media content
GB2407006A (en) * 2003-10-08 2005-04-13 Sony Uk Ltd Communicating streamed payload data and packet based auxiliary data
EP1751690B1 (en) 2004-02-04 2018-10-03 Digimarc Corporation Digital watermarking image signals on-chip and photographic travel logs through digital watermarking
US6980226B2 (en) * 2004-02-13 2005-12-27 Eastman Kodak Company Watermarking method for motion picture image sequence
US7227671B2 (en) 2004-03-23 2007-06-05 Eastman Kodak Company Motion picture watermarking using two color planes
US20050259820A1 (en) * 2004-05-24 2005-11-24 Eastman Kodak Company Temporally distributed watermarking for image sequences
US7639892B2 (en) * 2004-07-26 2009-12-29 Sheraizin Semion M Adaptive image improvement
US7903902B2 (en) 2004-07-26 2011-03-08 Sheraizin Semion M Adaptive image improvement
US7907671B2 (en) * 2004-12-03 2011-03-15 Motorola Mobility, Inc. Method and system for scaling a multi-channel signal
US7570782B2 (en) * 2004-12-10 2009-08-04 Hewlett-Packard Development Company, L.P. Method and system for watermarking
US7526142B2 (en) * 2005-02-22 2009-04-28 Sheraizin Vitaly S Enhancement of decompressed video
US8020004B2 (en) 2005-07-01 2011-09-13 Verance Corporation Forensic marking using a common customization function
US8781967B2 (en) 2005-07-07 2014-07-15 Verance Corporation Watermarking in an encrypted domain
US7613264B2 (en) * 2005-07-26 2009-11-03 Lsi Corporation Flexible sampling-rate encoder
US8259938B2 (en) * 2008-06-24 2012-09-04 Verance Corporation Efficient and secure forensic marking in compressed
US9185423B2 (en) * 2009-02-12 2015-11-10 Zoran (France) S.A. Frame buffer compression for video processing devices
US20110176060A1 (en) * 2010-01-21 2011-07-21 Qualcomm Incorporated Data feedback for broadcast applications
US20110276882A1 (en) 2010-05-04 2011-11-10 Kai Buehler Automatic grouping for users experiencing a specific broadcast media
KR101171819B1 (ko) * 2010-06-30 2012-08-14 주식회사 케이티 데이터 은닉을 이용하여 영상 오류를 복원하는 방법 및 시스템
US8838977B2 (en) 2010-09-16 2014-09-16 Verance Corporation Watermark extraction and content screening in a networked environment
US8732739B2 (en) 2011-07-18 2014-05-20 Viggle Inc. System and method for tracking and rewarding media and entertainment usage including substantially real time rewards
US8923548B2 (en) 2011-11-03 2014-12-30 Verance Corporation Extraction of embedded watermarks from a host content using a plurality of tentative watermarks
US8615104B2 (en) 2011-11-03 2013-12-24 Verance Corporation Watermark extraction based on tentative watermarks
US8533481B2 (en) 2011-11-03 2013-09-10 Verance Corporation Extraction of embedded watermarks from a host content based on extrapolation techniques
US8682026B2 (en) 2011-11-03 2014-03-25 Verance Corporation Efficient extraction of embedded watermarks in the presence of host content distortions
US8745403B2 (en) 2011-11-23 2014-06-03 Verance Corporation Enhanced content management based on watermark extraction records
US9547753B2 (en) 2011-12-13 2017-01-17 Verance Corporation Coordinated watermarking
US9323902B2 (en) 2011-12-13 2016-04-26 Verance Corporation Conditional access using embedded watermarks
US9571606B2 (en) 2012-08-31 2017-02-14 Verance Corporation Social media viewing system
US8726304B2 (en) 2012-09-13 2014-05-13 Verance Corporation Time varying evaluation of multimedia content
US9106964B2 (en) 2012-09-13 2015-08-11 Verance Corporation Enhanced content distribution using advertisements
US8869222B2 (en) 2012-09-13 2014-10-21 Verance Corporation Second screen content
US9262793B2 (en) 2013-03-14 2016-02-16 Verance Corporation Transactional video marking system
US9251549B2 (en) 2013-07-23 2016-02-02 Verance Corporation Watermark extractor enhancements based on payload ranking
US9208334B2 (en) 2013-10-25 2015-12-08 Verance Corporation Content management using multiple abstraction layers
US9348495B2 (en) 2014-03-07 2016-05-24 Sony Corporation Control of large screen display using wireless portable computer and facilitating selection of audio on a headphone
WO2015138798A1 (en) 2014-03-13 2015-09-17 Verance Corporation Interactive content acquisition using embedded codes
US20160098180A1 (en) * 2014-10-01 2016-04-07 Sony Corporation Presentation of enlarged content on companion display device
CN107862646B (zh) * 2017-09-27 2021-04-13 宁波大学 一种高动态范围图像信息隐藏方法
US10382245B1 (en) * 2018-06-27 2019-08-13 Rohde & Schwarz Gmbh & Co. Kg Method for compressing IQ measurement data
CN110516775B (zh) * 2019-07-11 2023-07-25 西安邮电大学 基于qr码用户秘密信息隐藏方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3845391A (en) * 1969-07-08 1974-10-29 Audicom Corp Communication including submerged identification signal
DE2454227C3 (de) * 1974-11-15 1979-05-03 Blaupunkt-Werke Gmbh, 3200 Hildesheim Fernsehempfänger zum Empfang u. Auswerten von zusätzlichen Informationen in einem Fernsehsignal
US4313197A (en) * 1980-04-09 1982-01-26 Bell Telephone Laboratories, Incorporated Spread spectrum arrangement for (de)multiplexing speech signals and nonspeech signals
US4534054A (en) * 1980-11-28 1985-08-06 Maisel Douglas A Signaling system for FM transmission systems
US4425661A (en) * 1981-09-03 1984-01-10 Applied Spectrum Technologies, Inc. Data under voice communications system
US4644422A (en) * 1982-07-22 1987-02-17 Tvi Systems, Ltd. Anti-copy system
GB8824969D0 (en) * 1988-10-25 1988-11-30 Emi Plc Thorn Identification codes
NL8901032A (nl) * 1988-11-10 1990-06-01 Philips Nv Coder om extra informatie op te nemen in een digitaal audiosignaal met een tevoren bepaald formaat, een decoder om deze extra informatie uit dit digitale signaal af te leiden, een inrichting voor het opnemen van een digitaal signaal op een registratiedrager, voorzien van de coder, en een registratiedrager verkregen met deze inrichting.
AR247311A1 (es) * 1989-09-21 1994-11-30 Philips Nv Portador de grabacion, metodo y dispositivo grabador de informacion para obtener dichos portadores y dispositivo que comprende medios de anticopiado para inhibir el copiado no autorizado
US5185800A (en) * 1989-10-13 1993-02-09 Centre National D'etudes Des Telecommunications Bit allocation device for transformed digital audio broadcasting signals with adaptive quantization based on psychoauditive criterion
DE69225346T2 (de) * 1991-02-07 1998-09-03 Matsushita Electric Ind Co Ltd Verfahren und Vorrichtung zur Übertragung und Reproduktion von einem digitalen Signal
US5408686A (en) * 1991-02-19 1995-04-18 Mankovitz; Roy J. Apparatus and methods for music and lyrics broadcasting
EP0506394A2 (en) * 1991-03-29 1992-09-30 Sony Corporation Coding apparatus for digital signals
US5319735A (en) * 1991-12-17 1994-06-07 Bolt Beranek And Newman Inc. Embedded signalling
US5379345A (en) * 1993-01-29 1995-01-03 Radio Audit Systems, Inc. Method and apparatus for the processing of encoded data in conjunction with an audio broadcast
US5481643A (en) * 1993-03-18 1996-01-02 U.S. Philips Corporation Transmitter, receiver and record carrier for transmitting/receiving at least a first and a second signal component
US5598228A (en) * 1993-09-08 1997-01-28 Sony Corporation Channel selection in a digital television receiver
US5588022A (en) * 1994-03-07 1996-12-24 Xetron Corp. Method and apparatus for AM compatible digital broadcasting
US5450490A (en) * 1994-03-31 1995-09-12 The Arbitron Company Apparatus and methods for including codes in audio signals and decoding
US5404377A (en) * 1994-04-08 1995-04-04 Moses; Donald W. Simultaneous transmission of data and audio signals by means of perceptual coding
US5687191A (en) * 1995-12-06 1997-11-11 Solana Technology Development Corporation Post-compression hidden data transport

Also Published As

Publication number Publication date
AU744440B2 (en) 2002-02-21
JP2001516171A (ja) 2001-09-25
WO1999009684A1 (en) 1999-02-25
US5901178A (en) 1999-05-04
CA2301680A1 (en) 1999-02-25
EP1005724A4 (en) 2005-12-07
EP1005724A1 (en) 2000-06-07
NO20000782L (no) 2000-04-18
NO20000782D0 (no) 2000-02-17
IL134570A0 (en) 2001-04-30
AU8414698A (en) 1999-03-08
CN1276936A (zh) 2000-12-13
CN1144400C (zh) 2004-03-31
CA2301680C (en) 2004-08-31
BR9811949A (pt) 2001-09-11

Similar Documents

Publication Publication Date Title
US5901178A (en) Post-compression hidden data transport for video
EP0873614B1 (en) Post-compression hidden data transport
US6026164A (en) Communication processing system with multiple data layers for digital television broadcasting
Hartung et al. Watermarking of MPEG-2 encoded video without decoding and reencoding
Campisi et al. Compressive data hiding: An unconventional approach for improved color image coding
Swanson et al. Data hiding for video-in-video
US5809139A (en) Watermarking method and apparatus for compressed digital video
US9253485B2 (en) Video watermarking
JP3083507B2 (ja) Ｍｐｅｇ２動画像符号化／復号化システム
US20040120404A1 (en) Variable length data encoding method, variable length data encoding apparatus, variable length encoded data decoding method, and variable length encoded data decoding apparatus
Hartung et al. Copyright protection in video delivery networks by watermarking of pre-compressed video
JPH06326990A (ja) ビデオデータ圧縮及び復号方式
US6195390B1 (en) Picture signal encoding apparatus and picture signal decoding apparatus
US20030051248A1 (en) Signal processing
MX9704785A (es) Metodo y aparato para codificar señales digitales de video.
MXPA00001765A (en) Post-compression hidden data transport for video
Zhu et al. Image coding by folding
EP1431961A2 (en) Post-compression hidden data transport
JPH08265724A (ja) データスクランブル装置
JP2000151987A (ja) 画像処理方法、画像処理装置、画像処理システム、及び記憶媒体
JPH09233455A (ja) 画像スクランブル処理システムおよび方法
KR950003634B1 (ko) 디지탈화상의 기록/재생방법 및 그 장치
Zhue et al. Multiresolution Watermarking for Images and Video: A Unified Approach
GB2369945A (en) Method of embedding watermark information according to relative importance
JP2003235040A (ja) 可変長符号化データ伝送方法及び可変長符号化データ伝送装置

Legal Events

Date Code Title Description
N231 Notification of change of applicant
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid