JP2001184080A - 圧縮オーディオデータへの電子透かし方法およびそのシステム - Google Patents

圧縮オーディオデータへの電子透かし方法およびそのシステム

Info

Publication number
JP2001184080A
JP2001184080A JP36462799A JP36462799A JP2001184080A JP 2001184080 A JP2001184080 A JP 2001184080A JP 36462799 A JP36462799 A JP 36462799A JP 36462799 A JP36462799 A JP 36462799A JP 2001184080 A JP2001184080 A JP 2001184080A
Authority
JP
Japan
Prior art keywords
additional information
audio data
frequency component
mdct
embedding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP36462799A
Other languages
English (en)
Other versions
JP3507743B2 (ja
Inventor
Takateru Tachibana
隆輝 立花
Shuichi Shimizu
周一 清水
Seishi Kobayashi
誠士 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Priority to JP36462799A priority Critical patent/JP3507743B2/ja
Priority to US09/741,715 priority patent/US6985590B2/en
Publication of JP2001184080A publication Critical patent/JP2001184080A/ja
Application granted granted Critical
Publication of JP3507743B2 publication Critical patent/JP3507743B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/018Audio watermarking, i.e. embedding inaudible data in the audio signal
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Complex Calculations (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Abstract

(57)【要約】 【課題】圧縮状態にあるデジタルオーディオデータ内の
情報を直接操作する方法およびシステムを提供すること
である。 【解決手段】圧縮オーディオデータに付加情報を埋め込
むシステムは、(1)圧縮オーディオデータからMDC
T(Modified Discrete Cosine Transform) 係数を復元
する手段と、(2)復元された前記MDCT係数を用い
て、オーディオデータの周波数成分を求める手段と、
(3)求めれた前記周波数成分に対して、付加情報を周
波数空間で埋め込む手段と、(4)前記付加情報の埋め
込まれた周波数成分をMDCT係数に変換する手段と、
(5)付加情報の埋め込まれた前記MDCT係数から圧
縮オーディオデータを作成する手段、を有する。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、圧縮されたデジタルオ
ーディオデータに対して著作権情報等の付加情報の埋め
込み、検出、更新を行う方法とそのシステムに関し、特
に周波数空間での電子透かし技術と等価の操作を圧縮さ
れたオーディオデータに対して適用可能とする技術に関
する発明である。
【0002】
【従来の技術】オーディオデータへの電子透かし技術に
は、Spread Spectrum 法、ポリフェーズフィルタを用い
る方法、周波数空間へと変換した後に埋め込みを行う方
法などがある。周波数空間で埋め込み・検出を行う方法
には、聴覚心理モデルの適用が容易で、高音質を実現し
やすいこと、変換やノイズに対する耐性が強いという利
点がある。しかし従来の音声電子透かし技術の対象は、
圧縮処理を施されていない状態にあるデジタル・オーデ
ィオデータに限定されていた。オーディオデータのイン
ターネット配信においては、通信容量の制限からオーデ
ィオデータを音声圧縮して利用者へと配信するのが通常
であって、従来の電子透かし技術を適用するには圧縮状
態を解凍し、埋め込みを行い、再び再圧縮を行う必要が
あった。そして、高音質と高圧縮効率を同時に実現して
いる先進的な音声圧縮技術であればあるほど、この一連
の操作に必要な計算時間は長くならざるを得ない。オー
ディオデータを聴くことができるまでにかかる時間は利
用者の購買意欲に大きな影響を及ぼす。従ってオーディ
オデータを圧縮した状態のままで、付加情報の埋め込
み、変更、検出を行うことが要望される。しかしなが
ら、圧縮状態にあるデジタルオーディオデータに付加情
報を直接埋め込み、これを変更、検出する方法は知られ
ていない。
【0003】
【発明が解決しようとする課題】従って、本発明が解決
しようとする課題は、上記問題点に鑑み発明されたもの
であり、圧縮状態にあるデジタルオーディオデータ内の
情報を直接操作する方法およびシステムを提供すること
である。また別の課題は、圧縮状態にあるオーディオデ
ータに付加情報を埋め込む方法およびシステムを提供す
ることである。また別の課題は、デジタルオーディオデ
ータに少ないメモリ容量で付加情報を埋め込む方法およ
びシステムを提供することである。また別の課題は、デ
ジタルオーディオデータに埋め込む付加情報を、最小に
して埋め込む方法およびシステムを提供することであ
る。また別の課題は、圧縮されたデジタルオーディオデ
ータにすでに埋め込まれている付加情報を、圧縮された
状態で検出する方法およびそのシステムを提供すること
である。また別の課題は、圧縮されたデジタルオーディ
オデータにすでに埋め込まれている付加情報を、圧縮さ
れた状態で変更する方法およびシステムを提供すること
である。
【0004】
【課題を解決するための手段】[付加情報埋め込みシス
テム]上記課題を解決するために、本発明の圧縮オーデ
ィオデータに付加情報を埋め込むシステムは、(1)圧
縮オーディオデータからMDCT(Modified Discrete
Cosine Transform) 係数を復元する手段と、(2)復元
された前記MDCT係数を用いて、オーディオデータの
周波数成分を求める手段と、(3)求めれた前記周波数
成分に対して、付加情報を周波数空間で埋め込む手段
と、(4)前記付加情報の埋め込まれた周波数成分をM
DCT係数に変換する手段と、(5)付加情報の埋め込
まれた前記MDCT係数から圧縮オーディオデータを作
成する手段、を有する。
【0005】[付加情報更新システム]また、本発明の
圧縮オーディオデータに埋め込まれた付加情報を更新す
るシステムは、(1)圧縮オーディオデータからMDC
T係数を復元する手段と、(2)復元された前記MDC
T係数を用いて、オーディオデータの周波数成分を求め
る手段と、(3)求めれた前記周波数成分から、付加情
報を検出する手段と、(3−1)前記周波数成分の前記
付加情報を必要に応じて変更する手段と、(4)前記付
加情報の埋め込まれた周波数成分をMDCT係数に変換
する手段と、(5)付加情報の埋め込まれた前記MDC
T係数から圧縮オーディオデータを作成する手段、を有
する。
【0006】[付加情報検出システム]また、本発明の
圧縮オーディオデータに埋め込まれた付加情報を検出す
るシステムは、(1)圧縮オーディオデータからMDC
T係数を復元する手段と、(2)復元された前記MDC
T係数を用いて、オーディオデータの周波数成分を求め
る手段と、(3)求めれた前記周波数成分から、付加情
報を検出する手段と、を有する。
【0007】好ましくは、前記オーディオデータの周波
数成分を求める手段(2)は、MDCT係数と周波数成
分の対応関係を含む既定のテーブルを用いて、周波数成
分を求める。
【0008】好ましくは、前記周波数成分をMDCT係
数に変換する手段(4)は、MDCT係数と周波数成分
の対応関係を含む既定のテーブルを用いて、MDCT係
数に変換する。
【請求項20】好ましくは、前記付加情報を周波数空間
で埋め込む手段(3)は、 1ビットを埋め込む領域を
時間領域で分割し、その各部分について信号レベルを計
算し、各周波数ごとに最弱な信号レベルにあわせて、付
加情報を周波数空間で埋め込む。
【0009】[対応テーブル作成方法]また、本発明の
MDCT係数と周波数成分の対応関係を含むテーブルを
作成する方法は、圧縮データの圧縮に用いられた、少な
くとも1つの窓関数及び窓長について、(1)時間軸上
の波形に対してフーリエ変換を行うときの基底を作成す
る段階と、(2)前記基底を用いて生成される波形に、
対応する窓関数を乗じる段階と、(3)前記窓関数を乗
じた結果にMDCTを行い、MDCT係数を算出する段
階と、(4)前記基底と前記MDCT係数とを対応付け
る段階と、を有する。なお基底の例としては正弦波、余
弦波などがあげられる。
【0010】[付加情報埋め込みシステムの作用]本発
明の圧縮オーディオデータに付加情報を埋め込むシステ
ムは、まず、圧縮されたデジタルオーディオデータから
圧縮されていたMDCT係数を復元する。あらかじめ計
算してテーブルに記憶しておいたMDCT係数列を用い
て、オーディオデータの周波数成分を求める。これに対
し周波数空間における付加情報の埋め込み方法を用い、
埋め込み周波数信号を計算する。求めた埋め込み周波数
信号を前記テーブルを用いて再びMDCT係数へと変換
し、オーディオデータのMDCT係数に加算し、これを
新たなオーディオデータのMDCT係数とする。このM
DCT係数を再び圧縮を施し、埋め込み後のデジタルオ
ーディオデータとする。
【0011】さらに、本発明の最小埋め込み方法は、1
ビットを埋め込むフレームを時間領域で分割し、その各
部分について信号レベルを計算し、各周波数ごとに最弱
な信号レベルにあわせて埋め込み信号の上限を計算する
ように構成する。
【0012】[対応テーブルの作用]本発明のMDCT
係数と周波数成分の対応テーブルは、フーリエ変換の各
基底がMDCT係数にどのように表現されるかをフレー
ム長(窓関数、窓長)に応じてあらかじめ計算したテー
ブルを作成する。これにより圧縮状態にあるオーディオ
データの直接操作を行うことができる。
【0013】本発明の対応テーブルに要求されるメモリ
サイズの縮小手段は、正弦波、余弦波などの基底の周期
性を利用することにより、冗長な情報を記憶しないよう
にする。またはフーリエ変換の各基底をそのままMDC
Tした結果をテーブルに保存するのではなく、各基底を
幾つかの部分に分割しそれぞれに対応するMDCT係数
を保存することでテーブルの記憶に必要なメモリサイズ
を縮小する。
【0014】[付加情報検出システムの作用]本発明の
圧縮オーディオデータに埋め込まれた付加情報を検出す
るシステムは、符号化されていたMDCT係数を復元
し、埋め込みシステムと同様のテーブルを用いて、周波
数空間での検出と等価な操作を行いビット情報や符号信
号を検出する。
【0015】[付加情更新システムの作用]本発明の圧
縮オーディオデータに埋め込まれた付加情報を更新する
システムは、符号化されていたMDCT係数を復元し、
検出システムと同じ方法を用いてこのMDCT係数から
埋め込まれた信号の検出を行う。その信号が十分な強度
を持っていない場合、あるいは埋め込む信号とは異なる
信号が検出され更新を行う必要がある場合のみ、埋め込
みシステムと同じ方法を用いてMDCT係数に埋め込み
を行う。得られた新しいMDCT係数を再び符号化し更
新後のデジタルオーディオデータとする。
【0016】
【発明の実施の形態】まず本発明の実施の形態を説明す
る前に語句の定義を行う。 「音声圧縮技術」本発明が対象とする圧縮データは、主
として音声、音楽、効果音など音全般を電子的にデータ
化し、これを圧縮したものである。音の圧縮技術は MPE
G1、MPEG2、MP3 などとして知られている。明細書中で
は、このような圧縮技術を総合して音声圧縮技術と呼
ぶ。また音全般を簡潔に音声もしくはオーディオとして
記載する。 ・圧縮状態 対象の音声圧縮技術によって音声データが、音声の劣化
を最低限度にとどめつつデータ量を減らされている状態
を呼ぶ。 ・非圧縮状態 WAVE ファイルや AIFF ファイルなど、音声の波形が加
工なく記述されている状態を指す。 ・圧縮状態をほどく 音声データを「圧縮状態から非圧縮状態へと変換する」
ことを指す。「非圧縮状態へ移す」も同義である。 ・MDCT変換 (Modified Discrete Cosine Transfor
m)
【数1】 Xnは時間軸上のサンプル値でありnは時間軸方向のイン
デクスである。MkがMDCT係数であり、kは0から(N/
2)-1の整数で周波数を示すインデクスである。この操作
によって時間軸上の系列X0〜X(N-1)を周波数軸上の系列
M0〜M((N/2)-1)に変換するのがMDCT変換である。M
DCT係数も一種の周波数成分を表しているが、本明細
書中では「周波数成分」という言葉ではDFT変換の結
果として得られる係数のことを指す。 ・DFT変換(離散フーリエ変換, Discrete Cosine Tr
ansform)
【数2】 Xnは時間軸上のサンプル値でありnは時間軸方向のイン
デクスである。Rkが実数成分(余弦波成分)、Ikが虚数
成分(正弦波成分)であり、kは0から(N/2)-1の整数で
周波数を示すインデクスである。この操作によって時間
軸上の系列X0〜X(N-1)を周波数軸上の系列R0〜R((N/2)-
1)およびI0〜I((N/2)-1)に変換するのが離散フーリエ変
換である。本明細書中では「周波数成分」と呼ぶのはこ
のRkとIkの両方の系列の総称である。 ・窓関数 MDCTを行う前にサンプルに乗算される関数である。
一般にサイン関数やカイザー関数などが使われる。
【0017】・窓長 音声データの特性に応じて、データに乗じる窓関数の形
状やその長さを指し、MDCTを行う際に幾つのサンプ
ルに対してMDCTを行うかを表す値である。
【0018】図1に圧縮オーディオデータに付加情報を
直接埋め込む装置のブロック図を示す。ブロック110
は圧縮オーディオデータを入力として、MDCT係数列
を復元するブロックである。ブロック120は、ブロッ
ク120で復元されたMDCT係数を用いて、オーディ
オデータの周波数成分を求めるブロックである。ブロッ
ク130は、ブロック120で求めれた周波数成分に対
して、付加情報を周波数空間で埋め込むブロックであ
る。ブロック140は、ブロック130で付加情報の埋
め込まれた周波数成分をMDCT係数に変換するブロッ
クである。そして最後にブロック150で、ブロック1
40で変換されたMDCT係数から圧縮オーディオデー
タを作成する。
【0019】上記ブロック120とブロック130で
は、MDCT係数・周波数の対応テーブルを用いて変換
を高速に行う。本発明ではフーリエ変換の各基底がMD
CT空間内においてどのように表現されるかをテーブル
にあらかじめ保存しておき、それを埋め込み・検出・更
新の各システムに利用する。 以下に、MDCT係数・
周波数の対応テーブルとその作成方法、圧縮されたオー
ディオ・データに対する埋め込みシステム、検出システ
ム、更新システム、そして関連するその他の方法を説明
する。
【0020】[MDCT係数・周波数の対応テーブル]
埋め込み時の演算に聴覚心理モデルを利用するためには
オーディオデータを周波数空間へと変換する必要がある
が、MDCT係数として表現されたオーディオデータを
時間軸上へと逆変換しフーリエ変換を行うことで求める
には多大な計算時間が必要となる。そこで、MDCT係
数と周波数成分の直接的な対応関係を知る必要がある。
【0021】もし一定のサンプル数に対して窓関数なし
でMDCTをほどこしてオーディオデータが圧縮されて
いるならば、MDCTも位相のずれた余弦波を基底とし
て用いているので、フーリエ変換との違いは位相のずれ
だけであり、MDCT空間と周波数空間の間には性質の
よい対応関係が期待できる。しかし最新の圧縮技術はオ
ーディオデータの特性に応じて、乗じる窓関数の形状や
その長さ(以下では窓長と呼ぶ)を変更させ音質の改善
を達成している。このためMDCTのある周波数とフー
リエ変換のある周波数を対応させるような単純な関係は
得られず、計算式によって求めることはできないためテ
ーブルに保存しておく必要がある。
【0022】図2に窓長および窓関数の具体例を図示す
る。本発明は、種々の圧縮データの規格に適応可能であ
るが、具体的に詳細に説明すべく、以下本発明の実施例
では、MPEG2の規格に基づき説明を行う。たとえば
MPEG2 AAC(Advanced Audio Coding) では通常2048サン
プルを窓長とする窓関数を乗じMDCTを行うが、音声
が急激に変化する部分ではプリエコーと呼ばれる劣化を
防ぐために256サンプルを窓長とし窓関数を乗じMDC
Tを行っている。2048サンプルを単位とする通常のフレ
ームはONLY_LONG_SEQUENCEと呼ばれ1回のMDCTをほ
どこした結果である1024本のMDCT係数で記述され、
256サンプルを単位とするフレームはEIGHT_SHORT_SEQUE
NCEと呼ばれ窓の半分ずつを重複させた256サンプル8回
のMDCTの結果である128本のMDCT係数が8組で記
述される。さらにこれらをつなぐためにLONG_START_SEQ
UENCEとLONG_STOP_SEQUENCEと呼ばれる左右非対称な窓
関数も用いられる。
【0023】図3に窓関数とMDCT系数列の関係につ
いて図示する。MPEG2 AACの場合には時間軸上のオーデ
ィオデータはこれらを用いて、たとえば図3の曲線のよ
うな順番で窓関数がかけられ、太線矢印のような順番で
MDCT係数列が記述される。このような窓長の変化が
ある時には、フーリエ変換の基底は少数のMDCT係数
に単純に変換されることはできない。
【0024】従って、本発明の対応テーブルは、付加情
報の埋め込みは窓関数に依存しないようにする。(付加
情報埋め込みの際に加えられる信号は、圧縮状態をほど
き時間軸上に展開した際には窓関数に依存しない信号に
なっていること)。これにより、窓関数の形状や窓長に
依存した埋め込み方法を使った場合、圧縮状態での埋め
込み・検出は可能とするとともに、圧縮がほどかれた後
にはどのような窓関数が使われていたのかを知ることは
できる。次に、本発明の対応テーブルは、付加情報を埋
め込むフレーム間で干渉がないように作成する。つまり
付加情報の埋め込みはMDCTの窓を単位として行わな
い。時間軸上に展開された時には必ず一定のサンプル数
に1ビットが埋め込まれるように埋め込みはなされなけ
ればいけない。このサンプル数を1フレームと呼ぶ。M
DCTは50%ずつ窓かけの対象を重複させるため、複数
のフレームにまたがる窓が必ず存在する(図4のブロッ
ク3がこれに当たる)。単純にこのフレームに埋め込み
を行うと、複数のフレームにその影響が及んでしまう。
逆に埋め込みを行わないと埋め込みが弱くなり検出成績
が悪くなる。このフレームの前半と後半には異なった付
加情報を表す信号を埋め込む。対応テーブルが用いられ
るのは、付加情報の埋め込みの際にMDCT係数から周
波数成分を算出する時と、周波数空間で求めた埋め込み
信号を再びMDCT係数へと変換する時、そして検出の
際には周波数空間での検出に相当する演算をMDCT空
間で行う時である。更新の際には検出と埋め込みを順に
行うことになるので、前述のすべての変換が行われる。
【0025】[窓関数の長さが変わらない場合の対応テ
ーブル作成方法]まず窓長が一定である場合のテーブル
の作成法とそれを用いた検出・埋め込み方法を説明す
る。後にこれらを複数の窓長へと拡張する。MDCT係
数は、時間軸上でNサンプルのオーディオデータに対し
て窓関数を乗算してMDCTを施した結果であるN/2本
の係数ずつ1ブロックとして記述されているものとする
(すなわち、一定の窓長をNサンプルとしている)。以
下、この「ブロック」という用語では特記しない限りN/
2本のMDCT係数を表す。連続する2ブロックに対応す
る時間軸上オーディオデータは、50%すなわちN/2サンプ
ルが重複している。
【0026】本発明が対象とするのはN/2の整数倍のサ
ンプル数に対して1ビットという埋め込み率に限定され
る。ここでは1ビットの埋め込みをする時間軸上のサン
プル数をn×N/2として、これを1フレームと呼ぶ。先に
述べたような50%重複の性質に起因して、時間軸上で連
続する2つのフレームにまたがるブロックも存在する。
図4は n=2 の場合で時間軸上の2フレームと、それにM
DCT空間で対応する5ブロックの模式図である。図4
中で下段は時間軸上のオーディオデータを、上段はMD
CT係数列を表し、楕円弧はMDCTの対象を表す。Bl
ock3はFrame 1とFrame 2にまたがるブロックである。
【0027】埋め込みはフレームごとに独立して行われ
るので、テーブルはフレーム単位で周波数成分とMDC
T係数の対応をとれればよく、また逆に言えば隣接する
フレームに対する埋め込みは影響を及ぼしあってはいけ
ない。そこで周期がN/2×mであるフーリエ変換の各基底
について以下の方法で求めたMDCT係数列をもってテ
ーブルを構成する。ここでmはN/2以下の整数である。図
5は n=2、m=1の正弦波の場合の模式図である。
【0028】1フレームに関係するブロックはn+1個存在
するが、このうち先頭と最後のブロックは前後のフレー
ムにもまたがっている(図5中ではブロック1と3)。そこ
で振幅1.0で長さが1フレーム分の基底波形の前後に、値
ゼロを持つサンプルをN/2ずつつなぎあわせた波形を考
える(図5中では太線部分がそれに当たる)。この波形の
先頭から50%重複させながらNサンプルずつに対して窓関
数を乗じ(図5中の楕円弧に対応する)、MDCTをほど
こせばこの波形のMDCT表現が得られる。逆にここで
得られたMDCT係数列をIMDCTすれば前後N/2サン
プルずつはゼロ値となっている。
【0029】図6に隣接するフレームに付加情報を埋め
込む例を図示する。図6のようにゼロ値のサンプルを補
うことで、埋め込みの際に、隣接するフレームへの埋め
込みを干渉させないことができる。検出および周波数成
分の計算の時には前後のフレームに影響されない、その
フレームだけの検出結果や周波数成分を求めることがで
きる。ゼロ値を補わない方法では埋め込みも検出も隣接
するフレームと影響を及ぼしあってしまう。
【0030】テーブル作成の手順は以下の通りである。 ステップ1: まず周期N/2×n/k、振幅1.0、長さN/2×n
の余弦波を作成する。この余弦波はN/2×nサンプルに対
してフーリエ変換を行う時のk番目の基底に当たる。 f(x) = cos(2π/(N/2×n/k)×x) ( 0≦x<N/2×n ) = cos(4kπ/(N×n)×x) ステップ2: 波形の先頭と末尾にN/2サンプルずつゼロ
値のサンプルを補う(図5)。 g(y) = 0 ( 0≦y<N/2 ) f(y-N/2) ( N/2≦y<N/2×(n+1) ) 0 ( N/2×(n+1)≦y<N/2×(n+2) ) ステップ3: N/2×(b-1)番目のサンプルからN/2×(b+
1)番目のサンプルまでを取り出す。bは1からn+1までの
整数でありそのすべてについて以降の処理を行う。 hb(z) = g(z+N/2×(b-1)) ( 0≦z<N ) ステップ4: 窓をかける。 hb(z) = hb(z)×win(z) ( 0≦z<N、win(z)
は窓関数 ) ステップ5: MDCTを施し、結果として得られるN/2
本のMDCT係数をベクトルVr, b, kとする。 Vr, b, k = MDCT(hb(z)) MDCT変換は直交変換でありフーリエ変換の各基底は
1次独立であるので、1からN/2までの値をとるkについて
の各Vr, b, kは直交している。 ステップ6: すべての (k,b)の組み合わせについて V
r, b, k を求めた後に各行列 Tr, b を構成する。 Tr, b = (Vr, b, 1 , Vr, b, 2 , Vr, b, 3 ... V
r, b, N/2 ) 同様の方法で正弦波について得たベクトルをvi,b,k、行
列を Ti,bとする。その各列は大きさの1の正弦波を表す
MDCT係数列である。そしてブロック番号bは1から n
+1 まであるので、行列は 2 × (n+1) 個となる。
【0031】周波数空間からMDCT空間への変換 オーディオデータの周波数空間での表示を R + jI とす
る。ここで j は虚数、R はオーディオデータの実数成
分を I は虚数成分を表すN/2次の実数ベクトルであり、
そのk成分は (N/2) × n / k サンプルの周期を持つ基
底に対応する。求めるMDCT係数列Mbは、各周波数成
分を別々にMDCT空間へと変換したMDCT係数列の
ベクトル和であるので、Mb= Tr,b + Ti,b Iとして
計算できる。ここでbは1からn+1までの整数で各ブロッ
クに対応する。M1とMn+1は隣接するフレームにまたがる
ブロックのMDCT係数列となっている。
【0032】MDCT空間から周波数空間への変換 各vi,b,k 、vr,b,kは直交してMDCT空間を張ってい
るので、あるMDCT係数列Mbを与えられた時にそれと
各vr,b,k 、vi,b,kの内積をとればMbのその方向の成分
を求めることができ、これがそれぞれそのまま周波数空
間での実数成分と虚数成分を表す。1フレームに関係す
る(n+1)ブロックのMDCT係数列をまとめて処理し
て、そのフレームの周波数成分を求める式になってい
る。
【数3】
【0033】[窓関数がオーディオデータ中で変化する
場合の対応テーブル作成方法]どのような窓関数が圧縮
に用いられる可能性があるかは列挙されているものとす
る。またすべての窓長はそのうちの最大の窓長Nの約数
であるとする。窓長がN/Wサンプル(Wは整数)のブロッ
クでは、50%重複させながらN/Wサンプルに対してMDC
TをW回ほどこした結果としてN/(2W)本のMDCT係数
がW組、合計でN/2本の係数が記述されているものとす
る。そのW回のうちの先頭のMDCTはブロックのoffse
tサンプル目から始まるN/Wサンプルを変換するものとす
る。たとえばMPEG2 AACのEIGHT_SHORT_SEQUENCEの場合
にはN=2048、W=8、offset=448であり、50%重複させなが
ら256サンプルに対してMDCTを8回ほどこした結果と
して128本のMDCT係数が8組、時間順に記述されてい
る(図2および、図3参照)。 テーブルの作成方法 窓長N/Wについてのテーブルは次のように作成され
る。。 ステップ1: 窓関数の長さが変わらない場合と同様。 ステップ2: 窓関数の長さが変わらない場合と同様。 ステップ3: w個目の窓に相当するN/Wサンプルを取り
出す。wは1からWまでの整数値をとる。bは1からn+1まで
の整数値をとる。以降の処理はbとwのすべての組み合わ
せについてされなければならない。 hb, w(z) = g(z+N/2×(b-1)+N/2/W×w+offset) (
0≦z<N/W ) ステップ4: 窓をかける。 hb, w(z) = hb, w(z)×win(z) ( 0≦z<N/W : win
(z) は窓関数 ) ステップ5: MDCTを施し、結果として得られるN/
(2W)本のMDCT係数をu r, b, k, wに保存する。 ur, b, k, w = MDCT(hb, w(z)) ステップ6: ur, b, k, w を並べてur, b, k とする1
からWまでの値をとるすべてのwについてur, b, k, w
求めたら、それらを縦に並べたベクトルがur, b, k
なる。図7はn=2、b=2、k=1、W=8の場合、ur,2,1,wが、
この基底のどの部分をMDCTした係数列であるかを示
している。 ステップ7: すべての (k,b)の組み合わせについて u
r, b, kを求めた後に1からN/2までのkについてur,b,k
横に並べて TW, r, b を構成する。
【0034】各ur,b,k,wはN/(2w)行1列のベクトルであ
るので、この行列はN/2行N/2列の正方行列である。この
各列は大きさの1の余弦波がb番目に現れた窓長N/Wのブ
ロックでどのようにMDCT係数列として表現されるか
を表している。同様に正弦波についても行列TW,i,bを求
める。ブロック番号bは1から n+1 まであるので、この
窓長に対する行列は 2 × (n+1) 個となる。さらに、窓
長や窓関数の種類に応じてこのテーブルを作成する。
【0035】・周波数空間からMDCT空間への変換 窓長が1種類の場合と異なるのは、圧縮されたオーディ
オデータからブロック情報を読み取ってブロックごとに
どのような窓関数が用いられたかに応じて異なった行列
を用いる点である。それぞれのブロックごとに行列を変
化させることで、どのような窓関数と窓長が使われてい
たとしてもそれに対応するようにMDCT係数列Mbは調
整され、これをIMDCTして時間領域に変換した時に
得られる波形、および、それをさらにフーリエ変換して
周波数領域へ変換して得られる周波数成分は窓関数と窓
長に依存しない。このMbは、Mb= Tw,r,bR + Tw,i,b
Iとして計算される。
【0036】・MDCT空間から周波数空間への変換 同様にTr,bの代わりにTW,r,bを用いれば周波数空間への
変換も同様に行うことができる。窓関数と窓長に対応し
て行列を変化させることで、窓関数と窓長に依存しない
真の周波数成分が求められる。
【数4】
【0037】[テーブルに必要な記憶容量の縮小を行う
方法]行列は (N/2)×(N/2)の大きさを持つので、この
方法で作成されるテーブルは一つの窓関数について 2
× (n+1) × (N/2) × (N/2) = (n+1) × N2 / 2個のM
DCT係数(浮動小数点数)で構成されることになる。
しかしこのテーブルの内容は冗長性が高いので実際に必
要な記憶容量は大幅に縮小することができる。
【0038】方法1:基底の周期性を利用する方法 まず1つの方法として基底の周期性を利用することがで
きる。この方法ではVr , b, kのうち幾つかがまったく同
じものであることに注目しその部分を省く。mを整数と
したとき、N/2×mサンプル先の余弦波は f(x+N/2×m) = cos(4kπ/(N×n)×(x+N/2×m)) = cos(4kπ/(N×n)×x + 4kπ/(N×n)×N/2×m) = cos(4kπ/(N×n)×x + 2πk×m/n) なので、 [a] (k×m)/n が整数である場合 f(x+N/2×m) = f(x) ( 0≦x≦N/2×(n-m)の範囲に限
る ) g(y+N/2×m) = g(y) ( N/2≦y≦N/2×(n-m+1)の範囲
に限る ) であるので hb+m(z) = hb(z) ( 2≦b≦n-mの範囲に限る ) となって Vr, b+m, k = Vr, b, k ( 2≦b≦n-mの範囲に限る
) となる。範囲の制限はf(x)の定義域を理由とする。 [b] (k×m)/n が整数/2で表現できる既約分数である場
合 f(x+N/2×m) = -f(x) であり hb+m(z) = -hb(z) であることから Vr, b+m, k = - Vr, b, k となる。範囲の制限は[a]と同様。 [c] (k×m)/n が(4×整数+1)/4で表現できる既約分数で
ある場合 f(x+N/2×m) = cos(4kπ/(N×n)×x + π(偶数+1/2)) = - sin(4kπ/(N×n)×x) であるので Vr, b+m, k = - Vi, b, k [d] (k×m)/n が(4×整数+3)/4で表現できる場合 f(x+N/2×m) = cos(4kπ/(N×n)×x + π(奇数+1/2)) = sin(4kπ/(N×n)×x) であるので Vr, b+m, k = Vi, b, k となる。範囲の制限は[a]と同様。
【0039】よって[a]から[d]のいずれかの条件を満た
すVr, b+m, k は他のベクトルで代用ができる。V
i, b, kについても同様である。よって、行列Tr, bと行
列Ti, bを行列としてそのまま記憶しておくのではな
く、以下の最小の構成要素を記憶しておくので十分であ
る。最小の構成要素とは以下の通りである。
【0040】・ [a]〜[d]の条件を満たさないベクトルV
r, b, kおよびVi, b, k ・ 行列Tr, bとTi, bの各列としてどのベクトルを正負
どちらの符号で使うかの情報
【0041】MDCT空間と周波数空間の間の変換を実
際にやる際には、行列Tr, bや行列Tr, bの各列の代わり
にVr, b, kおよびVi, b, kを用いて、行列演算と等価な
演算を行うことができる。周波数空間からMDCT空間
への変換は次式となる。
【数5】 ベクトルを共通化したところでは適当に他のベクトルを
用いる。MDCT空間から周波数空間への変換は各周波
数成分ごとに、以下の内積を求めることで行う。この式
は行列Tr, bや行列Tr, bを使う場合の式を各成分に分解
した式となる。
【数6】 必要な記憶容量がこの共通化によって減る程度はnに依
存する。たとえばn=3の時は[a]しか成立しえないので8.
3%しか減らないが、n=4の時は40%が減る。窓関数が変化
する場合もhb, w に、窓関数が一通りしかない場合と同
様の関係があるので上述の共通化はそのまま適用でき
て、同様の条件が満たされた時に次式となる。
【数7】
【0042】方法2:基底を前後に分解する方法 さらにMDCTの線形性を利用して、フーリエ変換の基
底を部分々々に分解し、それを変換したMDCT係数列
をテーブルにすれば前述の方法1の適用範囲を広げるこ
とができる。変換の際にはテーブルに記憶されたMDC
T係数列のベクトル和で基底を表現する。図8に基底に
分解例を図示する。まず波形(図8左端、太線)を各ブロ
ックごとに前半のN/2サンプルと後半のN/2サンプルに分
け、前半をMDCTする際には後半にゼロ値の波形をN/
2サンプル補ってMDCTを行い(図8中央)、後半をM
DCTする際には前半にゼロ値の波形をN/2サンプル補
ってMDCTを行う(図8右端)。ここでは波形の前半
(後半)をMDCTして得られたMDCT係数列をベク
トルVfore, r, b, k(Vback, r, b, k)で表すことにす
る。MDCTには線形性があるので元の波形のMDCT
係数列Vr, b, kはVfore, r, b, kとVback, r, b, kのベ
クトル和に等しい。
【0043】このように分解すると方法1ではVr, b, k
を共通化できなかった部分でもVfor e, r, b, kや V
back, r, b, kを共通化できるようになる。たとえば図
5においてBlock1はb=1なので前述の方法1は適用不可
能だった。しかし各ブロックを前後に分解して考えると
Block1のMDCT係数列Vback, r, 1, kとBlock2のMD
CT係数列Vback, r, 2, kは正負が反転するのみなので
一方の記憶を省けることがわかる。Block2のV
fore, r, 2, kとBlock3のVfore, r, 3, kも同様であ
り、そしてBlock1のVfore, r, 1, kとBlock3のV
back, r, 3, kは常にゼロベクトルになる。
【0044】この方法を使ったテーブル作成の手順は以
下の通りである。 ステップ1: 基底を前後に分解しない場合と同様。 ステップ2: 基底を前後に分解しない場合と同様。 ステップ3: まず fore 係数列の作成。N/2×(b-1)番
目からN/2×b番目を取り出しその後にゼロ値のN/2サン
プルを補う。 hfore, b(z) = g(z+N/2×(b-1)) ( 0≦z<N/2 ) 0 ( N/2≦z<N ) ステップ4: 窓をかける。 hfore, b(z) = hfore, b(z)×win(z) ( 0≦z<N、win
(z) は窓関数 ) ステップ5: MDCTを施し、結果として得られるN/2
本のMDCT係数をベクトルVfore, r, b, kとする。 Vfore, r, b, k = MDCT(hfore, b(z)) ステップ6: 次に back 係数列の作成。N/2×b番目か
らN/2×(b+1)番目を取り出しその前にゼロ値のN/2サン
プルを補う。 hback, b(z) = 0 ( 0≦z<N/2 ) g(z+N/2×(b-1)) ( N/2≦z<N ) ステップ7: 窓をかける。 hback, b(z) = hback, b(z)×win(z) ( 0≦z<N、win
(z) は窓関数 ) ステップ8: MDCTを施し、結果として得られるN/2
本のMDCT係数をベクトルVback, r, b, kとする。 Vback, r, b, k = MDCT(hback, b(z)) ステップ9: すべての (k,b)の組み合わせについてV
fore, r, b, kとVback, r, b, kを求めた後に各行列T
fore, r, b とTback, r, b を構成する。 Tfore, r, b = (Vfore, r, b, 1 , Vfore, r, b, 2 ...
Vfore, r, b, N/2) Tback, r, b = (Vback, r, b, 1 , Vback, r, b, 2 ...
Vback, r, b, N/2)
【0045】MDCTの線形性から Vr, b, k = Vfore, r, b, k + Vback, r, b, k であり、 Tr, b = Tfore, r, b + Tback, r, b である。この性質を利用しMDCT空間と周波数空間の
間の変換ではTr, bを用いるのと等価な操作をT fore,
r, bとT back, r, bを用いて行えばよい。
【0046】ここで、これらの定義の下で基底の周期性
を利用すると [a] (k×m)/n が整数である場合 b+m=n+1という条件においても hfore, n+1(z) == hfore, b(z) が成立する。これはhfore, b(z)の後半がゼロ値である
からである。よって下式の適用範囲が広くなり hfore, b+m(z) == hfore, b(z) ( 2≦b≦n-m+1
の範囲に限る ) であり Vfore, r, b+m, k == Vfore, r, b, k ( 2≦b≦n-m+1
の範囲に限る ) となり共通化される部分が多くなる。Vback, r, b, k
は b=1 という条件でも hback, m+1(z) == hback, 1(z) が成立する。これはhback, 1(z)の前半がゼロ値である
からである。よって下式の適用範囲が広くなり hback, b+m(z) == hback, b(z) ( 1≦b≦n-m
の範囲に限る ) であるため Vback, r, b+m, k == Vback, r, b, k ( 1≦b≦n-m+
1の範囲に限る ) となり共通化される部分が多くなる。[b][c][d]につい
ても範囲の制限はこれと同条件になる。
【0047】方法3:近似する方法 テーブルを縮小する最後の方法は近似である。フーリエ
変換の基底波形1本に対応するMDCT係数列のうち、
ある程度より小さい値を持つMDCT係数はゼロに近似
しても実用上問題はおきない。この近似に用いる閾値に
は変換の精度と記憶容量のトレードオフによって適当な
値を選んで決める。そしてゼロと近似した部分は行列演
算を行わないように各システムを設計することで計算時
間も短縮することができる。さらに、値の大きい係数も
含めてすべての係数を有理数に近似し量子化してしまう
ことで浮動小数点数ではなく整数として記憶し容量を節
約することもできる。
【0048】[対応テーブル作成器]テーブル作成は、
基本的に、窓に関する情報を入力として受け取り、テー
ブルを作成し出力することからなる。上記の対応テーブ
ル作成方法と同様に、窓に関する情報とは、フレーム長
N,フレームに対するブロックの長さを表すn、先頭の窓
のオフセットoffset、窓関数、窓長を規定するWであ
る。テーブルは、基本的に、対象の音声圧縮技術が使い
うる窓の種類の数だけ作る。
【0049】[付加情報埋め込みシステム]図9に本発
明の付加情報埋め込みシステムのブロック構成図を示
す。MDCT係数復元部(210)は、入力データである圧
縮音声データから、音声のMDCT係数列と窓情報とそ
の他の情報を復元する。これらの情報は、入力データで
ある圧縮音声データ内に指定された、ハフマン符号の復
号、逆量子化、予測方法を用いて取り出(復元)され
る。次にMDCT/DFT変換部(230)は、MDCT係数
復元部(210)において復元された音声のMDCT係数列
と窓情報を受け取り、テーブル(900)を用いて周波数成
分に変換する。そして周波数空間埋め込み部(250)は、
MDCT/DFT変換部(230)において変換の結果得られ
た周波数成分に、付加情報の埋め込みを行う。DFT/
MDCT変換部(240)は、周波数空間埋め込み部(250)で
埋め込みを行われた周波数成分を、MDCT係数復元部
(210)において取り出しておいた窓情報に従って、テー
ブル(900)を用いてMDCT係数列へと変換する。最後
にMDCT係数圧縮部(220)が、DFT/MDCT変換部
(240)で得られたMDCT係数列を、MDCT係数復元
部(210)において取り出しておいた窓情報とその他の情
報と併せて圧縮し、圧縮音声データを作成する。圧縮の
際には窓情報とその他の情報が指示する予測方法、逆量
子化、ハフマン符号化を用いて圧縮する。このように構
成することにより、付加情報の埋め込みは周波数成分の
操作に対応するように行われているため、圧縮がほどか
れた後でも既存の周波数空間検出方法で検出を行うこと
ができる。
【0050】[付加情報検出システム]図10に本発明
の付加情報検出システムのブロック構成図を示す。MD
CT係数復元部(210)は、入力データである圧縮音声デ
ータから、音声のMDCT係数列と窓情報とその他の情
報を復元する。これらの情報は、入力データである圧縮
音声データに指定された、ハフマン符号の復号、逆量子
化、予測方法を用いて取り出(復元)される。次にMD
CT/DFT変換部(230)は、MDCT係数復元部(210)
において復元された音声のMDCT係数列と窓情報を受
け取り、テーブル(900)を用いて周波数成分に変換す
る。最後に、周波数空間検出部は、MDCT/DFT変
換部(230)において周波数成分に変換された情報から、
埋め込まれた付加情報を検出し、これを出力する。を、
MDCT空間上で行う。
【0051】[付加情報更新システム]図11に本発明
の付加情報更新システムのブロック構成図を示す。MD
CT係数復元部(210)は、入力データである圧縮音声デ
ータから、音声のMDCT係数列と窓情報とその他の情
報を復元する。これらの情報は、入力データである圧縮
音声データ内に指定された、ハフマン符号の復号、逆量
子化、予測方法を用いて取り出(復元)される。次にM
DCT/DFT変換部(230)は、MDCT係数復元部(21
0)において復元された音声のMDCT係数列と窓情報を
受け取り、テーブル(900)を用いて周波数成分に変換す
る。周波数空間更新部(410)は、MDCT/DFT変換部
(230)において得られた周波数成分の中に付加情報が埋
め込まれているかどうかをまず判定する。埋め込まれて
いるなら、その内容を変更する必要があるかをさらに判
定する。その必要がある場合のみ、付加情報の更新を周
波数成分に対して行う。(更新器の利用者にわかるよう
に、それぞれの判定の結果を出力してもよい。)DFT
/MDCT変換部(240)は、周波数空間更新部(250)にお
いて付加情報の更新を行われた周波数成分を、MDCT
係数復元部(210)において取り出しておいた窓情報に従
って、テーブル(900)を用いてMDCT係数列へと変換
する。最後にMDCT係数圧縮部(220)が、DFT/MD
CT変換部(240)で得られたMDCT係数列を、MDC
T係数復元部(210)において取り出しておいた窓情報と
その他の情報と併せて圧縮し、圧縮音声データを作成す
る。圧縮の際には窓情報とその他の情報が指示する予測
方法、逆量子化、ハフマン符号化を用いて圧縮する。
【0052】[一般的なハードウェア構成例]本発明にか
かる装置、システムは、通常のコンピュータのハードウ
ェアを用いることにより実施可能である。図12に一般
的なパーソナルコンピュータのハードウェア構成例を示
す。システム100は、中央処理装置(CPU)1とメ
モリ4とを含んでいる。CPU1とメモリ4は、バス2
を介して、補助記憶装置としてのハードディスク装置1
3(またはCD−ROM26、DVD32等の記憶媒体
駆動装置)とIDEコントローラ25を介して接続して
ある。同様にCPU1とメモリ4は、バス2を介して、
補助記憶装置としてのハードディスク装置30(または
MO28、CD−ROM29、DVD31等の記憶媒体
駆動装置)とSCSIコントローラ27を介して接続し
てある。フロッピーディスク装置20はフロッピーディ
スクコントローラ19を介してバス2へ接続されてい
る。
【0053】フロッピーディスク装置20には、フロッ
ピーディスクが挿入され、このフロッピーディスク等や
ハードディスク装置13(またはCD−ROM26、D
VD32等の記憶媒体)、ROM14には、オペレーテ
ィングシステムと協働してCPU等に命令を与え、本発
明を実施するためのコンピュータプログラム、ブラウザ
プログラム、オペレーティングシステムのコード若しく
はデータを記録することができ、メモリ4にロードされ
ることによって実行される。これらコンピュータ・プロ
グラムのコードは圧縮し、または、複数に分割して、複
数の記録媒体に記録することもできる。該プログラム
を、ディスケットなどの記録媒体に記録し、該ディスケ
ットを他のコンピュータで動作させることも可能であ
る。
【0054】システム100は更に、ユーザ・インター
フェース・ハードウェアを備え、入力をするためのポイ
ンティング・デバイス(マウス、ジョイスティック等)
7またはキーボード6や、ディスプレイ12を有するこ
とができる。また、パラレルポート16を介してプリン
タを接続することや、シリアルポート15を介してモデ
ムを接続することが可能である。このシステム100
は、シリアルポート15およびモデムまたは通信アダプ
タ18(イーサネットやトークンリング・カード)等を介
してネットワークに接続し、他のコンピュータ、サーバ
等と通信を行うことができる。またシリアルポート15
若しくはパラレルポート16に、遠隔送受信機器を接続
して、赤外線若しくは電波によりデータの送受信を行っ
てもよい。
【0055】スピーカ23は、オーディオ・コントロー
ラ21によってD/A(デジタル/アナログ変換)変換
されたサウンド、音声信号を、アンプ22を介して受領
し、サウンド、音声として出力する。また、オーディオ
・コントローラ21は、マイクロフォン24から受領し
た音声情報をA/D(アナログ/デジタル)変換し、シ
ステム外部の音声情報をシステムにとり込むことを可能
にしている。音声をマイクロフォン24から入力し、こ
れに基づき本発明にかかる圧縮データを作成してもよ
い。上記ハードウェア構成は、通常のパーソナルコンピ
ュータ(PC)のほか、ワークステーション、ノートブ
ックPC、パームトップPC、ネットワークコンピュー
タ、コンピュータを内蔵したテレビ等の各種家電製品、
通信機能を有するゲーム機、電話、FAX、携帯電話、
PHS、電子手帳、等を含む通信機能有する通信端末、
または、これらの組合せによって実施可能であることを
容易に理解できるであろう。ただし、これらの構成要素
は例示であり、その全ての構成要素が本発明の実施に必
要な必須の構成要素となるわけではないことに留意され
たい。
【0056】
【発明の効果】本発明により、圧縮されたデジタル・オ
ーディオデータに対する、付加情報の、埋め込み、検
出、もしくは更新を圧縮された状態のまま直接行う方法
およびシステムが提供される。さらに本発明の方法によ
り、圧縮状態のオーディオデータに埋め込まれた付加情
報は圧縮が解凍された後にも従来の電子透かし技術によ
って検出することができる。
【図面の簡単な説明】
【図1】圧縮オーディオデータに付加情報を直接埋め込
む装置のブロック図である。
【図2】窓長および窓関数の具体例である。
【図3】窓関数とMDCT系数列の関係を示す図であ
る。
【図4】時間軸上のフレームと対応するMDCT空間の
ブロックを示す図である。
【図5】正弦波の模式図である。
【図6】隣接するフレームに付加情報を埋め込む例であ
る。
【図7】基底のどの部分をMDCTした係数列であるか
を示す図である。
【図8】基底の分解例である。
【図9】本発明の付加情報埋め込みシステムのブロック
構成図である。
【図10】本発明の付加情報検出システムのブロック構
成図である。
【図11】本発明の付加情報更新システムのブロック構
成図である。
【図12】一般的なコンピュータのハードウェア構成例
である。
【符号の説明】
1・・・CPU 2・・・バス 4・・・メモリ 5・・・キーボード・マウス・コントローラ 6・・・キーボード 7・・・ポインティングデバイス 8・・・ディスプレイ・アダプタ・カード 9・・・ビデオメモリ 10・・・DAC/LCDC 11・・・表示装置 12・・・CRTディスプレイ 13・・・ハードディスク装置 14・・・ROM 15・・・シリアルポート 16・・・パラレルポート 17・・・タイマ 18・・・通信アダプタ 19・・・フロッピーディスクコントローラ 20・・・フロッピーディスク装置 21・・・オーディオ・コントローラ 22・・・アンプ 23・・・スピーカ 24・・・マイクロフォン 25・・・IDEコントローラ 26・・・CD−ROM 27・・・SCSIコントローラ 28・・・MO 29・・・CD−ROM 30・・・ハードディスク装置 31・・・DVD 32・・・DVD 100・・・システム
───────────────────────────────────────────────────── フロントページの続き (72)発明者 立花 隆輝 神奈川県大和市下鶴間1623番地14 日本ア イ・ビー・エム株式会社 東京基礎研究所 内 (72)発明者 清水 周一 神奈川県大和市下鶴間1623番地14 日本ア イ・ビー・エム株式会社 東京基礎研究所 内 (72)発明者 小林 誠士 神奈川県大和市下鶴間1623番地14 日本ア イ・ビー・エム株式会社 東京基礎研究所 内 Fターム(参考) 5B056 AA00 BB11 HH05 5D045 DA20 9A001 BB01 BB03 BB04 CC05 CC08 DD06 EE04 EE05 GG01 HH15 JJ26 JJ27 JJ76 KK31 KK43 LL02 LL03

Claims (19)

    【特許請求の範囲】
  1. 【請求項1】圧縮オーディオデータに付加情報を埋め込
    むシステムであって、(1)圧縮オーディオデータから
    MDCT係数を復元する手段と、(2)復元された前記
    MDCT係数を用いて、オーディオデータの周波数成分
    を求める手段と、(3)求めれた前記周波数成分に対し
    て、付加情報を周波数空間で埋め込む手段と、(4)前
    記付加情報の埋め込まれた周波数成分をMDCT係数に
    変換する手段と、(5)付加情報の埋め込まれた前記M
    DCT係数から圧縮オーディオデータを作成する手段、
    を有する、付加情報埋め込みシステム。
  2. 【請求項2】圧縮オーディオデータに埋め込まれた付加
    情報を更新するシステムであって、(1)圧縮オーディ
    オデータからMDCT係数を復元する手段と、(2)復
    元された前記MDCT係数を用いて、オーディオデータ
    の周波数成分を求める手段と、(3)求めれた前記周波
    数成分から、付加情報を検出する手段と、(3−1)前
    記周波数成分の前記付加情報を必要に応じて変更する手
    段と、(4)前記付加情報の埋め込まれた周波数成分を
    MDCT係数に変換する手段と、(5)付加情報の埋め
    込まれた前記MDCT係数から圧縮オーディオデータを
    作成する手段、を有する、付加情報埋更新システム。
  3. 【請求項3】圧縮オーディオデータに埋め込まれた付加
    情報を検出するシステムであって、(1)圧縮オーディ
    オデータからMDCT係数を復元する手段と、(2)復
    元された前記MDCT係数を用いて、オーディオデータ
    の周波数成分を求める手段と、(3)求めれた前記周波
    数成分から、付加情報を検出する手段と、を有する、付
    加情報検出システム。
  4. 【請求項4】前記オーディオデータの周波数成分を求め
    る手段(2)が、MDCT係数と周波数成分の対応関係
    を含む既定のテーブルを用いて、周波数成分を求める手
    段である、請求項1乃至3の何れかに記載のシステム。
  5. 【請求項5】前記周波数成分をMDCT係数に変換する
    手段(4)が、MDCT係数と周波数成分の対応関係を
    含む既定のテーブルを用いて、MDCT係数に変換する
    手段である、請求項1乃至2の何れかに記載のシステ
    ム。
  6. 【請求項6】前記付加情報を周波数空間で埋め込む手段
    (3)が、 1ビットを埋め込む領域を時間領域で分割
    し、その各部分について信号レベルを計算し、各周波数
    ごとに最弱な信号レベルにあわせて、付加情報を周波数
    空間で埋め込む手段である、請求項1記載のシステム。
  7. 【請求項7】MDCT係数と周波数成分の対応関係を含
    むテーブルを作成する方法であって、圧縮データの圧縮
    に用いられた、少なくとも1つの窓関数及び窓長につい
    て、(1)時間軸上の波形に対してフーリエ変換を行う
    ときの基底を作成する段階と、(2)前記基底を用いて
    生成される波形に、対応する窓関数を乗じる段階と、
    (3)前記窓関数を乗じた結果にMDCTを行い、MD
    CT係数を算出する段階と、(4)前記基底と前記MD
    CT係数とを対応付ける段階と、を有する、テーブル作
    成方法。
  8. 【請求項8】前記対応する窓関数を乗じる段階(2)
    が、前記基底の周期性を利用することにより、冗長な、
    周波数成分とMDCT係数の対応関係を生成しない、請
    求項7記載のテーブル作成方法。
  9. 【請求項9】前記対応する窓関数を乗じる段階(2)
    が、前記基底を幾つかの部分に分割し、それぞれに対応
    する窓関数を乗じることにより、冗長な、周波数成分と
    MDCT係数の対応関係を成しない、請求項7記載のテ
    ーブル作成方法。
  10. 【請求項10】圧縮オーディオデータに付加情報を埋め
    込む方法であって、(1)圧縮オーディオデータからM
    DCT係数を復元する段階と、(2)復元された前記M
    DCT係数を用いて、オーディオデータの周波数成分を
    求める段階と、(3)求めれた前記周波数成分に対し
    て、付加情報を周波数空間で埋め込む段階と、(4)前
    記付加情報の埋め込まれた周波数成分をMDCT係数に
    変換する段階と、(5)付加情報の埋め込まれた前記M
    DCT係数から圧縮オーディオデータを作成する段階、
    を有する、付加情報埋め込み方法。
  11. 【請求項11】圧縮オーディオデータに埋め込まれた付
    加情報を更新する方法であって、(1)圧縮オーディオ
    データからMDCT係数を復元する段階と、(2)復元
    された前記MDCT係数を用いて、オーディオデータの
    周波数成分を求める段階と、(3)求めれた前記周波数
    成分から、付加情報を検出する段階と、(3−1)前記
    周波数成分の前記付加情報を必要に応じて変更する段階
    と、(4)前記付加情報の埋め込まれた周波数成分をM
    DCT係数に変換する段階と、(5)付加情報の埋め込
    まれた前記MDCT係数から圧縮オーディオデータを作
    成する段階、を有する、付加情報埋更新方法。
  12. 【請求項12】圧縮オーディオデータに埋め込まれた付
    加情報を検出する方法であって、(1)圧縮オーディオ
    データからMDCT係数を復元する段階と、(2)復元
    された前記MDCT係数を用いて、オーディオデータの
    周波数成分を求める段階と、(3)求めれた前記周波数
    成分から、付加情報を検出する段階と、を有する、付加
    情報検出方法。
  13. 【請求項13】前記オーディオデータの周波数成分を求
    める段階(2)が、MDCT係数と周波数成分の対応関
    係を含む既定のテーブルを用いて、周波数成分を求める
    段階である、請求項10乃至12の何れかに記載の方
    法。
  14. 【請求項14】前記周波数成分をMDCT係数に変換す
    る段階(4)が、MDCT係数と周波数成分の対応関係
    を含む既定のテーブルを用いて、MDCT係数に変換す
    る段階である、請求項10乃至11の何れかに記載の方
    法。
  15. 【請求項15】請求項7〜9の何れかに記載のテーブル
    作成方法を実行するためのプログラムを記憶した、コン
    ピュータ読取可能なプログラム記憶媒体。
  16. 【請求項16】請求項10に記載の付加情報を埋め込む
    方法を実行するためのプログラムを記憶した、コンピュ
    ータ読取可能なプログラム記憶媒体。
  17. 【請求項17】請求項11に記載の付加情報を更新する
    方法を実行するためのプログラムを記憶した、コンピュ
    ータ読取可能なプログラム記憶媒体。
  18. 【請求項18】請求項12に記載の付加情報を検出する
    方法を実行するためのプログラムを記憶した、コンピュ
    ータ読取可能なプログラム記憶媒体。
  19. 【請求項19】付加情報を埋め込む対象となる圧縮オー
    ディオデータに前記付加情報を埋め込む情報埋め込み装
    置と、前記圧縮オーディオデータに付加情報が埋め込ま
    れたか否かを検出する検出装置とを有する電子透かし装
    置であって、 前記情報埋め込み装置は、(1)圧縮オーディオデータ
    からMDCT係数を復元する手段と、(2)復元された
    前記MDCT係数を用いて、オーディオデータの周波数
    成分を求める手段と、(3)求めれた前記周波数成分に
    対して、付加情報を周波数空間で埋め込む手段と、
    (4)前記付加情報の埋め込まれた周波数成分をMDC
    T係数に変換する手段と、(5)付加情報の埋め込まれ
    た前記MDCT係数から圧縮オーディオデータを作成す
    る手段、 を有し前記検出装置は、(6)圧縮オーディオデータか
    らMDCT係数を復元する手段と、(7)復元された前
    記MDCT係数を用いて、オーディオデータの周波数成
    分を求める手段と、(8)求めれた前記周波数成分か
    ら、付加情報を検出する段階と、 を有する電子透かし装置。
JP36462799A 1999-12-22 1999-12-22 圧縮オーディオデータへの電子透かし方法およびそのシステム Expired - Fee Related JP3507743B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP36462799A JP3507743B2 (ja) 1999-12-22 1999-12-22 圧縮オーディオデータへの電子透かし方法およびそのシステム
US09/741,715 US6985590B2 (en) 1999-12-22 2000-12-20 Electronic watermarking method and apparatus for compressed audio data, and system therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP36462799A JP3507743B2 (ja) 1999-12-22 1999-12-22 圧縮オーディオデータへの電子透かし方法およびそのシステム

Publications (2)

Publication Number Publication Date
JP2001184080A true JP2001184080A (ja) 2001-07-06
JP3507743B2 JP3507743B2 (ja) 2004-03-15

Family

ID=18482277

Family Applications (1)

Application Number Title Priority Date Filing Date
JP36462799A Expired - Fee Related JP3507743B2 (ja) 1999-12-22 1999-12-22 圧縮オーディオデータへの電子透かし方法およびそのシステム

Country Status (2)

Country Link
US (1) US6985590B2 (ja)
JP (1) JP3507743B2 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006323246A (ja) * 2005-05-20 2006-11-30 Dainippon Printing Co Ltd 音響信号に対する情報の埋め込み装置、音響信号からの情報の抽出装置、および音響信号再生装置
JP2007322673A (ja) * 2006-05-31 2007-12-13 Dainippon Printing Co Ltd 音響信号に対する情報の埋め込み装置
JP2007322638A (ja) * 2006-05-31 2007-12-13 Dainippon Printing Co Ltd 音響信号に対する情報の埋め込み装置
JP2008065008A (ja) * 2006-09-07 2008-03-21 Dainippon Printing Co Ltd 音響信号に対する情報の埋め込み装置および音響信号からの情報の抽出装置
JP2008064952A (ja) * 2006-09-06 2008-03-21 Dainippon Printing Co Ltd 音響信号に対する情報の埋め込み装置および音響信号からの情報の抽出装置
JP2008065052A (ja) * 2006-09-07 2008-03-21 Dainippon Printing Co Ltd 音響信号に対する情報の埋め込み装置および音響信号からの情報の抽出装置
JP2008122533A (ja) * 2006-11-09 2008-05-29 Canon Inc 音声処理装置とその制御方法、及び、コンピュータプログラム

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6968564B1 (en) 2000-04-06 2005-11-22 Nielsen Media Research, Inc. Multi-band spectral audio encoding
US6879652B1 (en) * 2000-07-14 2005-04-12 Nielsen Media Research, Inc. Method for encoding an input signal
US6674876B1 (en) 2000-09-14 2004-01-06 Digimarc Corporation Watermarking in the time-frequency domain
US20030131350A1 (en) 2002-01-08 2003-07-10 Peiffer John C. Method and apparatus for identifying a digital audio signal
KR20040101365A (ko) * 2002-03-28 2004-12-02 코닌클리케 필립스 일렉트로닉스 엔.브이. 워터마크된 정보 신호들의 디코딩
JP2004069963A (ja) * 2002-08-06 2004-03-04 Fujitsu Ltd 音声符号変換装置及び音声符号化装置
JP3976183B2 (ja) * 2002-08-14 2007-09-12 インターナショナル・ビジネス・マシーンズ・コーポレーション コンテンツ受信装置、ネットワークシステム及びプログラム
EP1398732A3 (en) * 2002-09-04 2006-09-27 Matsushita Electric Industrial Co., Ltd. Digital watermark-embedding and detecting
EP1561341A4 (en) * 2002-10-23 2010-12-15 Nielsen Media Res Inc DEVICE AND METHOD FOR INSERTING DIGITAL DATA FOR USE WITH COMPRESSED AUDIO / VIDEO DATA
EP1614103B1 (en) * 2003-04-08 2007-05-09 Koninklijke Philips Electronics N.V. Updating of a buried data channel
DE10321983A1 (de) * 2003-05-15 2004-12-09 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Einbetten einer binären Nutzinformation in ein Trägersignal
US7460684B2 (en) 2003-06-13 2008-12-02 Nielsen Media Research, Inc. Method and apparatus for embedding watermarks
KR20070020188A (ko) * 2003-10-17 2007-02-20 코닌클리케 필립스 일렉트로닉스 엔.브이. 신호 인코딩
CA2562137C (en) 2004-04-07 2012-11-27 Nielsen Media Research, Inc. Data insertion apparatus and methods for use with compressed audio/video data
DE102004021403A1 (de) 2004-04-30 2005-11-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Informationssignalverarbeitung durch Modifikation in der Spektral-/Modulationsspektralbereichsdarstellung
DE102004021404B4 (de) * 2004-04-30 2007-05-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Wasserzeicheneinbettung
US8412363B2 (en) 2004-07-02 2013-04-02 The Nielson Company (Us), Llc Methods and apparatus for mixing compressed digital bit streams
ATE532350T1 (de) 2006-03-24 2011-11-15 Dolby Sweden Ab Erzeugung räumlicher heruntermischungen aus parametrischen darstellungen mehrkanaliger signale
US8071693B2 (en) * 2006-06-22 2011-12-06 Sabic Innovative Plastics Ip B.V. Polysiloxane/polyimide copolymers and blends thereof
EP2958106B1 (en) 2006-10-11 2018-07-18 The Nielsen Company (US), LLC Methods and apparatus for embedding codes in compressed audio data streams
JP5304860B2 (ja) * 2010-12-03 2013-10-02 ヤマハ株式会社 コンテンツ再生装置およびコンテンツ処理方法
CN102324234A (zh) * 2011-07-18 2012-01-18 北京邮电大学 一种基于mp3编码原理的音频水印方法
CN103325373A (zh) * 2012-03-23 2013-09-25 杜比实验室特许公司 用于传送和接收音频信号的方法和设备
JP6116699B2 (ja) * 2013-10-15 2017-04-19 三菱電機株式会社 デジタル放送受信装置及び選局方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5731767A (en) * 1994-02-04 1998-03-24 Sony Corporation Information encoding method and apparatus, information decoding method and apparatus, information recording medium, and information transmission method
JP3186412B2 (ja) * 1994-04-01 2001-07-11 ソニー株式会社 情報符号化方法、情報復号化方法、及び情報伝送方法
US5960390A (en) * 1995-10-05 1999-09-28 Sony Corporation Coding method for using multi channel audio signals
US5825320A (en) * 1996-03-19 1998-10-20 Sony Corporation Gain control method for audio encoding device
JP3106985B2 (ja) * 1996-12-25 2000-11-06 日本電気株式会社 電子すかし挿入装置及び検出装置
JP3986150B2 (ja) 1998-01-27 2007-10-03 興和株式会社 一次元データへの電子透かし
JP3673664B2 (ja) * 1998-01-30 2005-07-20 キヤノン株式会社 データ処理装置、データ処理方法及び記憶媒体
JP4226687B2 (ja) 1998-05-01 2009-02-18 ユナイテッド・モジュール・コーポレーション 電子透かし埋め込み装置及びオーディオ符号化装置
US6694040B2 (en) * 1998-07-28 2004-02-17 Canon Kabushiki Kaisha Data processing apparatus and method, and memory medium
CA2246532A1 (en) * 1998-09-04 2000-03-04 Northern Telecom Limited Perceptual audio coding
US6430401B1 (en) * 1999-03-29 2002-08-06 Lucent Technologies Inc. Technique for effectively communicating multiple digital representations of a signal
US6366888B1 (en) * 1999-03-29 2002-04-02 Lucent Technologies Inc. Technique for multi-rate coding of a signal containing information
US6539357B1 (en) * 1999-04-29 2003-03-25 Agere Systems Inc. Technique for parametric coding of a signal containing information
US6370502B1 (en) * 1999-05-27 2002-04-09 America Online, Inc. Method and system for reduction of quantization-induced block-discontinuities and general purpose audio codec
KR20050027179A (ko) * 2003-09-13 2005-03-18 삼성전자주식회사 오디오 데이터 복원 방법 및 그 장치

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006323246A (ja) * 2005-05-20 2006-11-30 Dainippon Printing Co Ltd 音響信号に対する情報の埋め込み装置、音響信号からの情報の抽出装置、および音響信号再生装置
JP4660275B2 (ja) * 2005-05-20 2011-03-30 大日本印刷株式会社 音響信号に対する情報の埋め込み装置および方法
JP2007322673A (ja) * 2006-05-31 2007-12-13 Dainippon Printing Co Ltd 音響信号に対する情報の埋め込み装置
JP2007322638A (ja) * 2006-05-31 2007-12-13 Dainippon Printing Co Ltd 音響信号に対する情報の埋め込み装置
JP4760539B2 (ja) * 2006-05-31 2011-08-31 大日本印刷株式会社 音響信号に対する情報の埋め込み装置
JP4760540B2 (ja) * 2006-05-31 2011-08-31 大日本印刷株式会社 音響信号に対する情報の埋め込み装置
JP2008064952A (ja) * 2006-09-06 2008-03-21 Dainippon Printing Co Ltd 音響信号に対する情報の埋め込み装置および音響信号からの情報の抽出装置
JP2008065008A (ja) * 2006-09-07 2008-03-21 Dainippon Printing Co Ltd 音響信号に対する情報の埋め込み装置および音響信号からの情報の抽出装置
JP2008065052A (ja) * 2006-09-07 2008-03-21 Dainippon Printing Co Ltd 音響信号に対する情報の埋め込み装置および音響信号からの情報の抽出装置
JP2008122533A (ja) * 2006-11-09 2008-05-29 Canon Inc 音声処理装置とその制御方法、及び、コンピュータプログラム

Also Published As

Publication number Publication date
US20020006203A1 (en) 2002-01-17
JP3507743B2 (ja) 2004-03-15
US6985590B2 (en) 2006-01-10

Similar Documents

Publication Publication Date Title
JP3507743B2 (ja) 圧縮オーディオデータへの電子透かし方法およびそのシステム
JP5265682B2 (ja) デジタルコンテンツの符号化および/または復号
CN101351840B (zh) 对音频信号的时间伸缩改进变换编码
JP4439522B2 (ja) 離散値のシーケンスを有する信号を処理するための装置および方法
KR102091677B1 (ko) 고조파 전위에 기초하여 개선된 서브밴드 블록
US9037454B2 (en) Efficient coding of overcomplete representations of audio using the modulated complex lapped transform (MCLT)
JP2010537245A5 (ja)
KR100804053B1 (ko) 2 이상의 입력 값을 처리하기 위한 장치 및 방법
JP3814611B2 (ja) 時間離散オーディオサンプル値を処理する方法と装置
TW301103B (en) The time domain alias cancellation device and its signal processing method
Drweesh et al. Audio compression based on discrete cosine transform, run length and high order shift encoding
KR101589709B1 (ko) 여러 필터 뱅크 도메인 간의 변환을 위한 방법 및 장치
Bai et al. A blind audio watermarking algorithm based on FFT coefficients quantization
CN100517298C (zh) 将数字信号从时域变换到频域及其反向变换的方法
JP3191257B2 (ja) 音響信号符号化方法、音響信号復号化方法、音響信号符号化装置、音響信号復号化装置
JP4645869B2 (ja) ディジタル信号処理方法、学習方法及びそれらの装置並びにプログラム格納媒体
Daudet et al. Towards a hybrid audio coder
Jabbar et al. A Survey of transform coding for high-speed audio compression
JP4538705B2 (ja) ディジタル信号処理方法、学習方法及びそれらの装置並びにプログラム格納媒体
JP3889738B2 (ja) 逆量子化装置、オーディオ復号化装置、画像復号化装置、逆量子化方法および逆量子化プログラム
JP3472974B2 (ja) 音響信号符号化方法および音響信号復号化方法
CN102404075B (zh) 解码装置和解码方法
Tewari et al. High Payload SVD Based Audio Watermarking Scheme Inherently Robust to mp3 Compression
Kumbhar et al. Sound data compression using different methods
WO2008039161A1 (fr) Procédé de codage et de décodage multicomposant de signaux électriques de nature différente

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20031216

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20031219

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071226

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081226

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081226

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091226

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091226

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101226

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101226

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111226

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111226

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121226

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121226

Year of fee payment: 9

S802 Written request for registration of partial abandonment of right

Free format text: JAPANESE INTERMEDIATE CODE: R311802

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121226

Year of fee payment: 9

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121226

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131226

Year of fee payment: 10

LAPS Cancellation because of no payment of annual fees