JP2017509927A - 透明な無損失オーディオ電子透かし - Google Patents

透明な無損失オーディオ電子透かし Download PDF

Info

Publication number
JP2017509927A
JP2017509927A JP2016559931A JP2016559931A JP2017509927A JP 2017509927 A JP2017509927 A JP 2017509927A JP 2016559931 A JP2016559931 A JP 2016559931A JP 2016559931 A JP2016559931 A JP 2016559931A JP 2017509927 A JP2017509927 A JP 2017509927A
Authority
JP
Japan
Prior art keywords
audio signal
signal
quantization
data
grid
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016559931A
Other languages
English (en)
Other versions
JP6700506B2 (ja
JP6700506B6 (ja
Inventor
グラハム クレイブン ピーター
グラハム クレイブン ピーター
ロー マルコム
ロー マルコム
Original Assignee
グラハム クレイブン ピーター
グラハム クレイブン ピーター
ロー マルコム
ロー マルコム
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by グラハム クレイブン ピーター, グラハム クレイブン ピーター, ロー マルコム, ロー マルコム filed Critical グラハム クレイブン ピーター
Publication of JP2017509927A publication Critical patent/JP2017509927A/ja
Publication of JP6700506B2 publication Critical patent/JP6700506B2/ja
Application granted granted Critical
Publication of JP6700506B6 publication Critical patent/JP6700506B6/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/018Audio watermarking, i.e. embedding inaudible data in the audio signal
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/0017Lossless audio signal coding; Perfect reconstruction of coded audio signal by transmission of coding error
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/032Quantisation or dequantisation of spectral components
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/032Quantisation or dequantisation of spectral components
    • G10L19/038Vector quantisation, e.g. TwinVQ audio
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/10Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters the excitation function being a multipulse excitation
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • G11B20/10527Audio or video recording; Data buffering arrangements
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • G11B20/12Formatting, e.g. arrangement of data block or words on the record carriers

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Abstract

オリジナルPCMオーディオ信号を、各回にそれぞれ量子化グリッドに従って量子化するように2回にわたって量子化することにより、透明な無損失オーディオ電子透かし付けをするためのエンコード方法及びエンコーダが提供される。元々PCM信号が既に量子化されているので、3つの量子化グリッドを考慮すべきである。すなわち、第1はオリジナルPCM信号の量子化グリッドであり、第2は電子透かし付けされた信号の量子化グリッドであり、第3は中間信号の量子化グリッドである。本技術は、導入される量子化誤差の大きさを低減し、特に当該誤差をシェーピングし、かつオリジナルオーディオからの信号変更を完全に非相関とさせるので、当該誤差が付加的ノイズと同様となる。デコード方法及びデコーダもまた、エンコードされた信号を完全にはデコードせずに電子透かしを変更する方法として提供される。

Description

本発明は、PCMオーディオ信号に可聴の透明かつ可逆的な電子透かしを挿入する技術に関し、特にストリーム伝送技術に関するものである。
最近、オーディオ用のいくつかの可逆的電子透かし方式が提案されてきた。ただし、数値解析の意味でしばしば可逆性が検証されているが、オリジナルPCM(Pulse Code Modulation:パルスコード変調)信号の再構成が無損失とは言えない、すなわちアルゴリズムの中に不可避的に存在する量子化におけるビット毎の正確性が担保されていない。真に無損失と思われる2つのアルゴリズムは、特許文献1として公表されたM.Van Der Veen, A.Bruekers, A.Van Leest, S.Cavinによる『デジタル信号の可逆的電子透かし』と、特許文献2として公表されたP.Craven, M.Lawによる『無損失埋め込みデータ』である。
特許文献1は、オーディオのヒストグラムを処理することによる、デジタル信号の可逆的電子透かし付け方法を開示している。1つの方法によれば、オリジナル16ビットPCMオーディオ信号にS字状のゲイン関数Cを適用した後、15ビットに再量子化して、最下位ビット(Least Significant Bit:LSB)の位置に1ビットホールを残す。このLSBホールに所望の電子透かしデータと、オーバーヘッドと、再構成データとを含むデータを挿入することにより、対応するデコーダが、電子透かし付けプロセスを反転させ、かつオリジナルオーディオの正確なレプリカを回復することができるようにする。
S字状のゲイン関数は、1よりも小さく0に近いゲインを有し、オーディオ信号のレンジを自身へマッピングする。したがって、当該ゲイン関数は、フルスケールの近くで1よりも小さいゲインを有する。関数Cのゲインが2よりも小さい信号値の任意のレンジにわたって再構成データが必要である。なぜなら、関数Cが当該レンジ内にある16ビット値を、より少ない別個の15ビット値へマッピングするからである。関数Cのゲインが1より大きいところでも、サンプル当たり1ビットよりも少ない再構成データが必要であり、1よりも小さいところでは、1ビットよりも多い再構成データが必要である。オーディオ信号値のPDF(Probability Density Function:確率密度関数)が平坦ではなく、S字状の関数Cが1よりも大きいゲインを持つところでは信号値が小さく、関数Cが1よりも小さいゲインを持つところでは信号値が大きいことが通例であるので、この方式はうまく作動する。このように、平均すれば、所要の再構成データはサンプル当たり1ビットよりも少なく(通常はずっと少なく)、オーバーヘッド及び電子透かしのための十分なスペースがLSBホールの中に確保される。
この方法は大量の電子透かしデータを埋め込むのに有効ではあるが、透明度が所望の値よりも小さい等の多くの難点がある。電子透かしデータは信号の中に付加されるものであり、そのパターンが可聴であり得て、信号改変は、耳が敏感でない周波数領域と同様に、耳が最も敏感である周波数領域にて、ちょうど騒々しい。この方法は、電子透かし容量を低減する代わりにノイズが低減されるという柔軟性をも提供しない。
特許文献2は、線形なゲインと、信号ピークがクリッピングされる際に再構成データを生成するクリッピングユニットとの組み合わせとして、S字状のゲイン関数がどのように実装され得るかを開示している。また、特許文献2は、当該方式との関連で、クリッピングユニットにより生成される再構成データの量を低減するように信号のPDFを改変するべく、個別の無損失フィルタリングがいかに有利に用いられ得るかを開示している。それにもかかわらず、オーディオ信号と非相関であり、かつ好ましくはスペクトル的にシェーピングされた、低くかつ一定のノイズフロアというオーディオ愛好家の理想が特許文献1の方法又は特許文献2の方法のいずれかを用いていかに達成され得るかを理解することは、困難である。
非特許文献1には、透明な損失の有る電子透かし方式が記載されている。サンプル当たりn個のバイナリビットからなる電子透かしデータがランダム化された後、ノイズシェーピングされた(16−n)ビット量子化器への負のディザとして用いられる。これは、オーディオのnビットのLSBを棄て、これをランダム化された電子透かしに置き換えることで、単なるビット置換に比べてオーディオへの悪影響がかなり小さくなるという、実用上の効果をもたらす。より複雑な量子化方式とともに、nを1/2の奇数倍とする2つのステレオチャネルの共同の量子化が記載されている。
いまやオーディオ素材のストリーミングに非常な人気があり、デコーダは、エンコードされたアイテム又は『トラック』の開始を見ないでデコードを開始できなければならない、という技術的な要請が生じている。経済的にエンコードされたストリームを無損失で再構成するという文脈において、この要請は、後に明らかとなるように重要な技術的ハードルになっている。
国際公開第2004/066272号 国際公開第2013/061062号
M.Gerzon, P.Craven,"A High Rate Buried Data Channel for Audio CD", preprint 3551, the 94th AES Berlin Convention 1993.
本発明の目的は、エンコードされたストリームの途中からデコードを開始するという従来技術システムの性能を保持しつつ、本発明の特徴を有しない標準『遺産』PCMデコード装置で聴取したときに特許文献1に比べて透明度が改善された、無損失電子透かし付けプロセスを提供することにある。この目的は、導入される量子化誤差の量を低減し、誤差をスペクトル的にシェーピングし、かつオリジナルオーディオからの信号変更の相関を完全になくすことで、誤差を付加的ノイズに似せることにより達成される。電子透かしの変更の場合にも注意が払われる。
後に詳細に説明するように、本発明に係るエンコーダは、オリジナルPCM信号を、各回にそれぞれ量子化グリッドに従って量子化するように2回にわたって量子化する。元々PCM信号が既に量子化されているので、3つの量子化グリッドを考慮すべきである。すなわち、第1はオリジナルPCM信号の量子化グリッドであり、第2は電子透かし付けされた信号の量子化グリッドであり、第3は中間信号の量子化グリッドである。
通例、電子透かし付けされた信号は、オリジナル信号と同じビット深度を持つPCM信号として提供されるが、このことは第1及び第2の量子化グリッドが同じであることを必ずしも意味しない。一般に、信号の量子化グリッドは、PCM表示の中のビットのあり得る全ての組み合わせを2進数と解釈することにより得られる値の集合ではない。このような値の集合の粗い部分集合のみをもたらすように制約された信号が考えられる。逆に、当該集合の中の値から、量子化ステップサイズの整数倍でない量だけオフセットされた値を持つ信号も考えられる。信号の送信側と受信側とがオフセットに関する同期された知識を持つ場合、例えば両者に共通のデータから、又は両者に知られた擬似ランダムシーケンス生成器からオフセットが生成される場合には、オフセットが1サンプル毎に変化し得る。
これらの事情は、サンプル値が多次元グリッドの格子点上に位置する多次元ベクトルである、単一チャネル信号とマルチチャネル信号との双方に当てはまる。ベクトル問題における他の関心事は、n次元グリッドが単純な矩形、立方体又は超立方体のグリッドでよく、換言すればn個の1次元グリッドの直積でよいということ、あるいは、例えばある制約からの帰結として、n個のチャネルの各最下位ビットの排他的ORがゼロであることが更に一般的であり得る、ということである。PCMチャネルを自身の量子化グリッドを持つ容器として見ることができ、チャネルを通じて伝送されるPCM信号の量子化グリッドはより粗いグリッドであり得る。このように、ビット深度の知識から、PCM信号の量子化グリッドを単純に推論することはできない。
通例、量子化は情報を棄てるプロセスであると考えられるが、既に量子化された信号がオリジナルの量子化グリッドよりも粗くない量子化グリッドに従って再量子化される場合には、この考えは必ずしも事実ではない。ここでは、「量子化」という用語を、情報が失われるか否かによらず、信号値を量子化グリッド上の近傍値へマッピングすること、という意味で用いる。
「ノイズ」又は「信号対ノイズ比」と言うとき、電子透かし付けされた信号が標準PCM装置で再生される際に聴取されるノイズを考えるものとする。電子透かし付けされた信号が本発明により無損失でデコードされる場合には、電子透かし付けによってノイズが付加されないことは、もちろんである。
第1の観点によれば、本発明は、オリジナル又は「第1の」オーディオ信号に無損失で電子透かし付けをして、電子透かし付けされた「第2の」オーディオ信号を生成する方法を提供する。ここに、両信号は、パルスコード変調された「PCM」信号であり、かつそれぞれ「第1の」又は「第2の」量子化グリッドに従って量子化されている。この方法は、
第1のオーディオ信号を第1の量子化グリッドの上に量子化されたサンプルとして受け取るステップと、
第1の量子化グリッドよりも粗い第3の量子化グリッドを決定するステップと、
第3の量子化グリッドの上にあるサンプル値を有する第3のオーディオ信号を供給するために第1のオーディオ信号に量子化マッピングを適用するステップと、
量子化マッピングにより第1の量子化グリッドの多値が第3のオーディオ信号の値にマッピングされる場合に、多値のうちのいずれが第1のオーディオ信号の値であるかを示す再構成データである第1のデータを生成するステップと、
第2のデータを生成するように第1のデータを電子透かしデータと組み合わせるステップと、
第1及び第3の量子化グリッドと異なる第2の量子化グリッドを第2のデータに応じて決定するステップと、
第2のオーディオ信号の以前のサンプルに応じて第2の量子化グリッドに従って第3のオーディオ信号を量子化することにより第2のオーディオ信号のサンプルを生成するステップとを備える。
最も基本的な形にて、「受け取る」、「決定する」、「適用する」、「生成する」という上記最初の4ステップは、特許文献1に記載された従来技術プロセスの動作と同じである。「量子化マッピング」は、オリジナル信号を、一般に第1の量子化グリッドよりも粗い第3の量子化グリッドの上の「第3の」オーディオ信号へ量子化する。その結果、信号分解能の損失が生じるので、引き続き第1のオーディオ信号を無損失で回復するためには、付加的な再構成データが必要になる。この再構成データは、量子化マッピングを適用するプロセスで生成される「第1の」データである。
第2のオーディオ信号はPCM信号であるとして提示されているが、上述のように、PCM信号は、それを格納するPCMチャネルの量子化グリッドよりも粗い量子化グリッドを持ち得る。仮に第2の量子化グリッドが固定されている場合、これは当該チャネルに関して量子化グリッドのいくつかの点が無いことを意味する。これは、変化する第2の量子化グリッドに従って第3のオーディオ信号を量子化する機会を提供し、本発明によれば、第2の量子化グリッドは「第2の」データに応じて決定される。ここで、第2のデータは、電子透かしと、上述した「第1の」再構成データとの双方からなる。このようにして、第2のデータは電子透かし付けされた信号の中への「埋め込み」がなされ、次のデコーダは、チャネルの量子化グリッドのいずれの点がもたらされたかを調べることにより、埋め込まれたデータを回復することができる。
仮に量子化マッピングが大信号ゲイン1を持つならば、埋め込まれ、かつその後に回復され得る「第2の」データの最大量は「第1の」再構成データの量と同じになるので、電子透かしを伝達する機会が失われる。しかしながら、通常動作によれば、量子化マッピングは、最もありふれた信号値をカバーする信号レンジにわたって、1よりも大きいゲインを提供するように構成される。これにより必要な再構成データの量が低減されるので、所望の電子透かしデータと、任意の必要なシステムオーバーヘッドとを第2のデータが担持することが可能になる。
このように、量子化マッピングは一般に非線形である。特許文献1にて言及されるように、量子化マッピングはS字状の形状を持ち得る。あるいは、特許文献2にて言及されるように、量子化マッピングは、信号レンジの中央部では1よりも大きいゲインにて線形であり、信号レンジの端近くではオーバーロードを避けるように特別な準備がなされ得る。
量子化マッピングのゲインが1よりも小さい場合に第1のオーディオ信号がある値をとるとき、第2のデータの埋め込み可能な最大値よりも再構成データが一時的に大きくなることがある。超過データは、再構成データをバッファリングすることによって許容され得る。バッファリングは遅延を生じるので、単純なバッファリングの場合には、デコーダがストリームを読み、かつ少し遅れてデコードを開始することが必要になる。これに代えて、埋め込まれた再構成データをデコーダが正しい時刻に受け取るように、エンコーダが第3のオーディオ信号の中に遅延を挿入してもよい。
スペクトル的なシェーピングを提供し、かつ結果として生じる量子化ノイズの知覚的な重大性を低減するために、第3の量子化グリッドから第2の量子化グリッドへの量子化は、第2及び第3のオーディオ信号のうちの少なくとも一方の以前のサンプルに応じて実行される。この技術は広く他の文脈でも用いられるが、ストリーム化されたオーディオの文脈で無損失の再構成が要求され得る場合に当該技術を用いることは、自明ではない。なぜなら、以前のサンプルへの依存が、ストリームの途中から再構成を開始することを困難に又は不可能にし得るからである。
あるシステム実施形態では、第3のオーディオ信号及び第2のオーディオ信号のうちの有限な数であるn個の以前のサンプルに依存する。デコーダは第2のオーディオ信号を直接に受け取るので、第2のオーディオ信号の以前のサンプルへの依存は、単にnサンプル期間だけ待つことにより解決される。第3のオーディオ信号の場合にはそうはいかず、好ましい実施形態にて、n個の連続サンプルを有する第3のオーディオ信号の部分に関する初期化データを第2のデータの中に含ませることにより、エンコーダが「リスタート点」からのデコードをサポートする。
単刀直入に言えば、リスタート補助データは、第3のオーディオ信号のn個の以前のサンプルのバイナリ表現からなるが、オーディオ分解能が16ビットのシステムならば、ストリーム中のデコードを開始すべき箇所の各々にて各オーディオチャネルに少なくともn×16ビットの「リスタート補助データ」が必要になる。この要請は、適切なノイズシェーピングフィルタを仮定したうえで、第3のオーディオ信号と第2のオーディオ信号との間の違いに厳密な境界が置かれ得ることに注意することによって、かなり大幅に低減され得る。このように、第2のオーディオ信号のサンプルに関する知識が与えられれば、第3のオーディオ信号の対応するサンプルは、そのビットの選択を定義する情報から完全に再構成され得る。
したがって、他の好ましい実施形態によれば、エンコーダは、第3のオーディオ信号のビットの、例えば8ビットよりも少ない選択のみに関する初期化データを提供する。したがって、特定のリスタート点に関する第3のオーディオ信号の合計ビット数は、当該部分における連続サンプル数nの、チャネル数倍の、8倍の、チャネル数倍を超えない。
第1及び第3の量子化グリッドのうちの少なくとも一方は、サンプル毎に変化することが好ましい。もしそうでなければ、両グリッドが固定された関係を保つので、第3の量子化グリッドに合わせた量子化マッピングは、量子化歪みを避けるためにディザの導入を必要とするが、ディザがノイズペナルティを生じる。
好ましい実施形態によれば、量子化マッピングにより導入された量子化誤差が第1のオーディオ信号との相関を有しないことを保証するため、第3の量子化グリッドは、擬似ランダムシーケンス生成器の出力に応じて変化させられる。
好ましい実施形態によれば、第1のオーディオ信号はマルチチャネルであり、かつ、第2及び第3の量子化グリッドのうちの少なくとも一方は各チャネルの上の独立した量子化グリッドの直積として形成されない。公知の量子化方法を用いることで、信号再量子化により生じた付加的ノイズは、各チャネルの独立した量子化の場合に比べて低減され得る。
大信号挙動がオリジナル信号と厳密に一致する電子透かし付けされた信号の提供と同様に、本発明は、信号改変と、特に周波数応答を調整するためのフィルタリングとを含む。無損失フィルタは、従来技術、例えば国際公開第96/37048号から公知である。ところが、無損失フィルタは処理される信号と同じビット深度への量子化を不可避的に必要とし、「遺産」装置で再生される場合のノイズが不可避的に増加する。本発明は、増加するノイズを最小化するために、より細かい量子化を用いるフィルタを可能にする。
このように、ある実施形態によれば、量子化マッピングは、出力が第1の量子化グリッドよりも細かく量子化されるフィルタによって先行される。好ましい実施形態では、フィルタが、フォワード信号経路に調整値を加算するサイドチェーンとして構成され、当該調整値は、当該フィルタの入力及び出力の以前のサンプルの線形又は非線形な決定関数である。そのような加算は、調整値がフォワード信号経路よりも細かく量子化される場合でも、無損失で反転され得る。細かい量子化は、フィルタリングから生じる付加的ノイズを低減する。
第2の観点によれば、本発明は、第2のオーディオ信号の一部から第1のオーディオ信号と電子透かしデータとを取り出す方法を提供する。ここに、第1及び第2のオーディオ信号はパルスコード変調された「PCM」信号であって、第2のオーディオ信号は無損失で電子透かし付けされたPCM信号であり、かつ、第1のオーディオ信号は第1の量子化グリッドの上にあるサンプルを持つ。この方法は、
第3の量子化グリッドを決定するステップと、
第2のオーディオ信号を量子化されたサンプルとして受け取るステップと、
第2のオーディオ信号から、第1のオーディオ信号を取り出すために使用される再構成データである第1のデータと、電子透かしデータとを取り出すステップと、
第3のオーディオ信号のサンプルを生成するステップであって、第2及び第3のオーディオ信号のうちの少なくとも一方の以前のサンプルに応じて第2のオーディオ信号のサンプルを量子化することにより、第3の量子化グリッドに従って量子化された、第3のオーディオ信号のサンプルが生成されるステップと、
マッピングされた信号を供給するために第1のデータに応じて第3のオーディオ信号に量子化マッピングを適用するステップと、
マッピングされた信号に応じて第1のオーディオ信号を供給するステップとを備える。
典型例として、第1のオーディオ信号は、エンコーダに与えられたオリジナルPCMオーディオ信号の一部の無損失のレプリカであり、かつ、第2のオーディオ信号は、オリジナルPCMオーディオ信号の電子透かし付けされたバージョンである。両信号は量子化されたサンプルを持ち、第1のオーディオ信号は第1の量子化グリッドの上にあるサンプルを持つ。一般に、第3の量子化グリッドは、第1の量子化グリッドよりも粗いグリッドが選択される。この特徴は、一般に、第3のオーディオ信号が第1のオーディオ信号のみからのオーディオ情報を持つように、第3のオーディオ信号が電子透かしから独立したものであるべき場合に必要である。粗い分解能はオリジナルオーディオ情報のいくらかが消失することを意味するが、この情報は、『再構成データ』として公知でもある第1のデータの中に担持される。量子化マッピングを適用するステップにて、第1のデータの中の再構成情報は、粗く量子化された第3のオーディオ信号と組み合わされる結果、マッピングされた信号は完全な分解能を持つ。
単刀直入に言えば、マッピングされた信号は、第1のオーディオ信号と等しい。この場合、「供給する」方法ステップは、内容の無い動作となる。しかしながら、ある実施形態では、後述するように調整サンプルを追加するような他の機能を供給ステップが導入してもよい。
第1及び第3の量子化グリッドのうちの少なくとも一方は、サンプル毎に変化することが好ましい。もしそうでなければ、両グリッドが固定された関係を保つので、デコード方法が無損失であるべきなら、対応するエンコーダ中の対応する2つのグリッドもまた固定された関係になければならない。したがって、対応するエンコーダにおける量子化マッピングは、量子化歪みを避けるためにディザの導入を必要とするが、電子透かし付けされた信号が標準PCM装置で再生される場合にはディザがノイズペナルティを生じる。
好ましい実施形態によれば、第3の量子化グリッドは、擬似ランダムシーケンス生成器の出力に応じて決定される。上記と同様に、この要請は、対応するエンコーダにて量子化マッピングにより導入された量子化誤差が第1のオーディオ信号との相関を有しないことを保証するために必要である。
好ましい実施形態によれば、第1、第2及び第3のオーディオ信号はマルチチャネルであり、かつ、第2及び第3の量子化グリッドのうちの少なくとも一方は各チャネルの上の独立した量子化グリッドの直積として形成されない。重ねて、上記と同様の議論により、公知の量子化方法を用いることで、対応するエンコーダにて信号再量子化により生じた付加的ノイズは、各チャネルの独立した量子化の場合に比べて低減され得る。
ある実施形態によれば、第1のオーディオ信号は量子化マッピングにより直接に生成され、第1のオーディオ信号と、マッピングされた信号とは等しい。しかしながら、改変された第1のオーディオ信号に由来した電子透かし付けされた信号から、無損失の再構成を提供するためには、第2の観点による方法は、
第1の量子化グリッドよりも細かい第4の量子化グリッドを決定するステップと、
第1のオーディオ信号とマッピングされた信号とのうちの少なくとも一方の以前のサンプルに応じて、第4の量子化グリッドの上にある値を持つ調整サンプルを計算するステップと、
マッピングされた信号に調整サンプルを加えるステップとを更に備えてもよい。
そのような実施形態は、対応する調整サンプルを第1のオーディオ信号から差し引くことによりフィルタの機能を提供するエンコーダを用いてエンコードされた、電子透かし付けされた信号の利用を可能にする。上述したように、これにより、電子透かし付けされた信号は、単なるPCM信号として解釈された場合に、オリジナルの「第1の」オーディオ信号とは異なる周波数応答を有し、かつ個別の無損失フィルタを用いて周波数応答の改変が実行された場合よりもノイズの低減が可能になる。無損失のデコード方法のためには、後述するように、量子化マッピングに従って調整値も連絡される必要がある。
好ましい実施形態によれば、第2の観点のデコード方法は、
第2のオーディオ信号から初期化データを取り出すステップと、
初期化データを用いて、第3のオーディオ信号の連続サンプルからビットの選択を決定するステップとを更に備える。
この特徴は、ストリームの初めからではなく、「リスタート点」からのデコードに関する。上述したように、一旦連続サンプルの各々の中のビットの選択が決定されれば、第3のオーディオ信号の連続サンプルは、完全に再構成され得る。第2のオーディオ信号のサンプルは直接に受け取られるので、これにより、エンコーダにおける対応するフィルタの動作を正確に模倣するように、デコーダにおけるノイズシェーピング又は他のフィルタを可能にするのに十分な初期化データが提供される。当該初期化データは、他の箇所でも説明したように、デコーダがその時点以降の第3のオーディオ信号を決定するのに十分である。
システムは、第3のオーディオ信号を決定するために受け取られた初期化データが、第3のオーディオ信号の値の数の、チャネル数倍の、ビット数倍である8倍を超えないように、構成されることが好ましい。これは、ストリームオーバーヘッドを最小化し、かつ、上述したように、適切なノイズシェーピングフィルタを用い、かつ第3のオーディオ信号と第2のオーディオ信号との間の違いに厳密な境界を予定することによって容易になる。
第3の観点によれば、本発明は、第1の観点の方法により生成された、無損失で電子透かし付けされたPCM信号である第2のオーディオ信号の中の電子透かしを変更する方法をも提供する。この変更は、計算処理上はコスト高になるような、オリジナル信号の完全な回復をしたり、再エンコードをしたりすることなく達成される。
第3の観点の方法は、
第2のオーディオ信号を量子化されたサンプルとして受け取るステップと、
埋め込まれた電子透かしデータを有する第2のデータを第2のオーディオ信号から取り出すステップと、
第2及び第3のオーディオ信号のうちの少なくとも一方の以前のサンプルに応じて第2のオーディオ信号を量子化することにより、第3の量子化グリッドに従って量子化された、第3のオーディオ信号のサンプルを生成するステップと、
第2のデータの中の埋め込まれた電子透かしデータを変更することにより第4のデータを生成するステップと、
第4のデータに応じた第4の量子化グリッドを決定するステップと、
第3のオーディオ信号を第4のオーディオ信号へ量子化するステップであって、第4及び第3のオーディオ信号のうちの少なくとも一方の以前のサンプルに応じて第4の量子化グリッドの上で第3のオーディオ信号が第4のオーディオ信号へ量子化されるステップと備える。
第3の観点の方法ステップは、第2の観点の最初の数ステップと、第1の観点の最後の数ステップとに実質的に対応するものと、理解されるであろう。
第1及び第2の観点の好ましい実施形態との適合性を確保するため、第3の量子化グリッドは、サンプリング時毎に変化することが好ましい。同様に、第3の量子化グリッドは、擬似ランダムシーケンス生成器の出力に応じて決定・選択されることが好ましい。
第2、第3及び第4のオーディオ信号がマルチチャネルである応用例では、第2、第3及び第4の量子化グリッドのうちの少なくとも1つは、各チャネルの上の独立した量子化グリッドの直積として形成されないことが好ましい。これは、同様の好ましい特性を有するエンコーダ及びデコーダとの適合性のためである。
第4の観点によれば、本発明は、第1の観点の方法を用いてPCMオーディオ信号に無損失で電子透かし付けをするためのエンコーダを提供する。また、本発明によれば、第3の観点の方法を用いて電子透かしを変更するための電子透かし変更器も提供される。
第5の観点によれば、本発明は、第2の観点の方法を用いて、無損失で電子透かし付けされたPCM信号の一部から、PCMオーディオ信号と電子透かしデータとを取り出すためのデコーダを提供する。
第6の観点によれば、本発明は、第5の観点によるデコーダと組み合わされた、第4の観点によるエンコーダを備えたコーデックを提供する。
第7の観点によれば、本発明は、第1の観点の方法を用いて無損失で電子透かし付けされたPCMオーディオ信号を備えたデータキャリアを提供する。
第8の観点によれば、コンピュータプログラム製品は、信号プロセッサにより実行された際に当該信号プロセッサに第1〜第3の観点のうちのいずれか1つの方法を実行させる命令を備える。
第3の観点による方法は、第1の観点の方法により生成された無損失で電子透かし付けされたPCMオーディオを変更するのに有利に用いられ得るけれども、任意の適切な無損失で電子透かし付けされたPCMオーディオを変更するという、独立した効用をも有し得る。重ねて、この変更は、計算処理上はコスト高になるような、オリジナル信号の完全な回復をしたり、再エンコードをしたりすることなく達成される。
したがって、第9の観点によれば、本発明は、無損失で電子透かし付けされたPCM信号である入力オーディオ信号の中の電子透かしを変更する方法を提供する。この方法は、
入力オーディオ信号を量子化されたサンプルとして受け取るステップと、
埋め込まれた電子透かしデータを有する入力データを入力オーディオ信号から取り出すステップと、
中間オーディオ信号のサンプルを生成するステップであって、入力オーディオ信号及び中間オーディオ信号のうちの少なくとも一方の以前のサンプルに応じて入力オーディオ信号を量子化することにより、中間量子化グリッドに従って量子化された、中間オーディオ信号のサンプルが生成されるステップと、
入力データの中の埋め込まれた電子透かしデータを変更することにより出力データを生成するステップと、
出力データに応じた出力量子化グリッドを決定するステップと、
中間オーディオ信号を出力オーディオ信号へ量子化するステップであって、出力オーディオ信号及び中間オーディオ信号のうちの少なくとも一方の以前のサンプルに応じて出力量子化グリッドの上で中間オーディオ信号が出力オーディオ信号へ量子化されるステップと備える。
ある実施形態によれば、中間量子化グリッドは、サンプリング時毎に変化する。
ある実施形態によれば、中間量子化グリッドは、擬似ランダムシーケンス生成器の出力に応じて決定される。
他の観点によれば、本発明は、第9の観点の方法を用いて電子透かしを変更するための電子透かし変更器を提供する。また、本発明は、信号プロセッサにより実行された際に当該信号プロセッサに第9の観点の方法を実行させる命令を備えたコンピュータプログラム製品を提供する。
本発明は、PCMオーディオ信号を無損失かつ電子透かし付きでエンコードしかつデコードし、また無損失で電子透かし付けされたPCM信号の中の電子透かしを変更する種々の方法及び装置を提供するものと評価される。
他の変形及び改良は、本開示に照らせば当業者にとって明らかであろう。
本発明の実施形態に係るエンコーダの信号流れ図である。 図1Aのエンコーダに対応するデコーダの信号流れ図である。 2チャネル信号の場合の図1B中の量子化器211の動作の詳細図である。 2チャネル信号の場合の図1A中の量子化器112の動作の詳細図である。 2チャネル信号の場合の図1B中の量子化器212の動作の詳細図である。 2チャネル信号の場合の図1A中の量子化器111のベロニ領域(Veroni region)のグラフを示す図である。 図5Aのベロニ領域の拡大グラフを示す図である。 本発明に係る電子透かし付けされたPCMオーディオのストリームを、2つのリスタート点と、当該2つのリスタート点の各々の前にエンコードされたリスタート補助データとともに示す図である。 リスタート点の直後に用いられる、図1Bのデコーダの一部に関する変形例の構成図である。 PCMオーディオ信号がいかに改変されるかを、当該信号に従った以前のサンプル値のより細かい量子化機能を追加することによって示す図である。 図8Aの信号改変が無損失で反転されるように、図1Bのデコーダの後半ステージがいかに改変されるかを示す図である。 図8Aに示された無損失の再構成を初期化するために必要なリスタート情報の受け取りを保留しつつ、オリジナル信号の損失の有る再構成を一時的に供給するために、図8Bに示されたデコーダの部分がいかに改変されるかを示す図である。 本発明に係る電子透かし付けされたストリームから電子透かしデータがいかにして抽出され、かつオーディオ信号の完全なデコード及び再エンコードなしに当該ストリームがいかにして代替データで電子透かし付けされるかを示す図である。
本発明の実例を、以下の添付図面を参照しつつ詳細に説明する。
『負のディザ』として知られたプロセスによれば、信号にランダム偏差が加算され、その結果の値が量子化された後、同偏差が減算される。非特許文献1に言及されているように、負のディザは、量子化誤差をノイズのように、かつ量子化された信号から独立したものとすることにより、量子化の透明度を増加するものとして公知である。
非特許文献1にて指摘されるように、本当の負のディザは、連続分布から引き出されるべきである。本実施形態では、乗算器の入力として用いられる負のディザが付けられた信号のワード幅を制御するように、偏差が有限数のビットを持つことが必要である。ここでの目的にとっては、8ビットのランダム偏差が適切である。任意の量子化偽信号を約16ビットレベルから約24ビットレベルへと引き下げる一方、32ビットワード中の16ビットオーディオの大きい余裕を可能にするからである。
一般に、減算の前に量子化値が量子化格子の上に位置するように、格子量子化器が用いられる。量子化の前に減算が、その後に加算がそれぞれ来る場合もある。この場合、その結果の値は、ランダム偏差により与えられたオフセットを量子化格子にプラスした位置にある。これは、全体動作がランダム化されたグリッドに従った量子化の1つであるという、代替の見通しを負のディザにもたらす。
『量子化オフセット』という用語は、量子化を定義する格子からのグリッドのオフセットを表すものとして用いられる。通常は擬似ランダムシーケンス生成器により生成されるが、時折ある改変がなされ、時折他の手段により生成される、オーディオ信号のサンプル毎に変化する量子化オフセットがしばしば考慮される。
『量子化グリッド』という用語は、量子化格子とオフセットとの組み合わせである、量子化器が出力し得る点の集合を意味するものとして用いられる。量子化オフセットがサンプル毎に変化すれば、量子化グリッドもまたサンプル毎に変化する。
擬似ランダム数生成器の使用について言及するとき、その出力がエンコーダとデコーダとの間で一致することが要求される。このことは、電子透かしと一緒に伝達されるべきオーバーヘッドの中にサンプル数データを含めることにより達成され得る。トラックの途中からデコーダが動作を開始するとき、デコーダは、擬似ランダムシーケンスの中の正確な位置を探すためにサンプル数データを使用することができる。その結果、デコーダの擬似ランダム数生成器の以後の出力は、エンコーダの中で使用されるものと一致する。
以下、2チャネルの16ビットPCMオーディオを処理する実施形態を参照しつつ、本発明を説明する。しかしながら、16という数に特別な意味はなく、当業者ならば他のビット深度又は他の量子化方式に本開示を適用することに困難はないであろう。非特許文献1を熟知した人であれば、1チャネル又は多チャネルへの一般化にも困難を感じないであろう。
電子透かし付け器への入力は、2?16の任意の整数倍からなる格子{2−16k},k∈Zの上で各チャネル上のサンプルが量子化された、CDのようなソースに由来し得る。しかしながら、当該格子が負のディザプロセスによって生成され、かつ電子透かし付け器にとって公知でありかつ電子透かし回復器又はデコーダの中にプログラムされた擬似ランダム量子化オフセットを有するという可能性は残されている。したがって、「第1の量子化オフセット」を有する、電子透かし付け器への入力と、後の回復器からの出力とについて述べる。CDの場合、当該オフセットは全サンプルについてゼロである。一方、負のディザプロセスによってオーディオが提供される場合、当該オフセットは合意された擬似ランダムシーケンスによって与えられる。
本電子透かし付け器は、g−1(ここにg<1)のゲインをオーディオに適用する点で特許文献2に従い、かつ、(クリップユニット133と、その逆の動作をするアンクリップユニット233とを用いて)結果のオーディオをソフトクリップすることにより任意の結果のオーバーロードに対処する。ゲインとクリップとの組み合わせは、特許文献1のS字状のゲイン関数に対応する。
図1A及び図1Bを参照しつつ本発明を説明する。2チャネル・16ビットPCMオーディオ信号は複数のサンプルからなり、各サンプルは2次元ベクトルであり、各ベクトルの成分は16ビットに量子化されているものとする。図1Aによれば、量子化オフセットOを有する格子に従って量子化された信号101が、エンコーダに与えられる。PCM信号のサンプル値は、ゲインg(ここにg<1)による除算131がなされた後、より粗い量子化格子に従った量子化111がなされて中間信号103が得られる。当該より粗いグリッドは、両チャネルをともに15.5ビットレベルに従って量子化する。ここに、量子化格子は、擬似ランダムオフセットOを伴って、{[2−16,2−16],[2−16,−2−16]}により定義される。したがって、量子化グリッドは、j,k∈Zにて、[2−16(j+k),2−16(j−k)]+Oである。
ここでクリップユニット133は信号を改変しない(レンジの大部分でそうである)ものとすると、信号104は、信号103のレプリカである。その後、信号104は同じ15.5ビット格子に従って、ただし(電子透かしを有する)データ143に応じて選択されたオフセットを伴って再度の量子化112がなされて出力信号102が得られる。これは、出力信号102へのデータ143の埋め込みの効果をもたらす。0を埋め込むためのオフセットは[0,0]であり、1を埋め込むためのオフセットは[0,2−16]であって、データ143は、非特許文献1に記載されたのと同様の態様で、2チャネルの各々のLSBからなるパリティの中に含まれる。
図1Bに示されるように、対応するデコーダは、エンコーダからのオーディオ出力102のレプリカ202を受け取る。データ243、つまりデータ143のレプリカは、サンプル値を調べることで、いずれの量子化オフセットOが用いられたかを決定することにより、回復される。その後、信号202は、量子化器212により導入された量子化誤差が、量子化器112により導入された量子化誤差の逆になるように、上記15.5ビット格子に従い、かつ量子化オフセットOを伴った量子化212がなされる。その結果、信号204は、信号104のレプリカとなる。アンクリップユニット233はクリップユニット133の逆であるので、信号203は信号103のレプリカである。この信号は、gの乗算231がなされ、16ビット格子に従い、かつ量子化オフセットOを伴った量子化211がなされる。量子化器211は、図2を参照して後述するように、その入力に対して最も近い量子化値を常に出力するとは限らない。当該量子化器は、いずれかのチャネル上でその出力を±2−16だけ調整し得て、無損失動作を達成するべく出力が信号101の値のレプリカとなるように構成された、再構成データを取り込む。
エンコーダにおける信号のレプリカとなる入力信号をデコーダが受け取り、したがって始動時の適切な初期化に応じて両者の出力もまた一致するように、フィルタ121,221,122,222もまた設けられている。それらの効果は、量子化器により導入された量子化誤差をシェーピングすることであって、その結果、低減された可聴性と、したがって増加した電子透かしの透明度とのために、電子透かし付けされた信号102中の量子化誤差の全体がスペクトル的にシェーピングされる。それらのフィルタは、非特許文献1の図7に示されるように、ホワイト量子化器ノイズを全ポール伝達関数でシェーピングする。44.1kHzで動作する妥当なフィルタG(z)は、
G(z)=1+1.2097z−1+0.2578z−2+0.1742z−3
+0.0192z−4−0.2392z−5
で表される。参考までに、1/G(z)のインパルス応答の絶対値の合計は、27よりも小さい。
15.5ビット量子化は、エンコーダ入力信号の16ビット量子化よりも粗い。したがって、g<1であっても時折、信号103の同じ値に量子化する量子化器111への多値の入力値があり得る。これが生じたとき、(信号105、すなわち量子化器111により導入された量子化器誤差の測定バージョンを監視する)多義性レゾルバ113が、複数の入力値のうちのいずれが実際に与えられたかを示すデータ141を出力する。オーバーヘッドのフォーマットと並行して、この再構成データ141は、所望の電子透かしとともにデータ143の中へマルチプレクスされる。
これに対応して、デコーダは、データ243から再構成データ241を抽出して、量子化器111への多値の入力値が信号103の同じ値を生成し得る場合に、量子化器211からの出力の調整に抽出データを用いる。量子化器211の詳細例が図2に示されている。図2は、まず入力信号から最も近い値への量子化213がなされ、量子化誤差205が調整器215へ供給されることを示している。量子化誤差205は、任意のゲイン値gに対して、量子化器111へのいくつの入力値が信号103を生成し得たかを示すのに十分であるということが分かる。その答えが1よりも大きければ、調整器215は、量子化器213の出力に加算すべき調整信号207を決定するためにデータ241を用いる。したがって、この補助データ241は、他の量子化値の方が量子化器211の入力に近い場合であっても、信号201が信号101のレプリカであることを保証する。
上記15.5ビット量子化器の使用は、特許文献1に記載された15ビット量子化器に比べて動作を複雑にする。しかしながら、15ビット量子化器を使用した場合に比べて電子透かし付けによる付加的ノイズが半分になり、電子透かし付け器がより透明になることを意味するので、15.5ビット量子化器の使用は有用である。例えば、4サンプルを同時に量子化し、4チャネルの各々の1サンプルを量子化し、又は2チャネルの各々の2連続サンプルを量子化する15.75ビット量子化器を用いた他のプロセスを採用することも可能であり、同様に付加的ノイズが半分になる。しかしながら、本実施形態は2チャネルのみを処理するものであり、連続サンプルをともに量子化する場合には複雑さが増すことになる。
図3は、15.5ビット量子化器112の例を示している。囲み301は、2チャネルの入力を持ち、かつ要素304〜307により各チャネルの和の半分と、差の半分とを生成する15.5ビット格子量子化器を実現する。その後、16ビット量子化器308及び309が両チャネルを量子化し、更なる加算と減算とにより出力が形成される。囲み301のあり得る出力は、各々のLSBがともに0であるか、又はともに1である1対の整数である。
囲み301は、当該囲み301の前段にて1つのチャネルからデータ143の(0であり、又は2−16の重みを持つ)1ビットを減算302し、かつ、当該囲みの後段にて当該1ビットの加え戻し303を行うことにより、囲み112に拡張される。当該ビットが0であるならば、量子化器112は、格子量子化グリッドに従い、かつオフセット[0,0]で量子化する。当該ビットが1であるならば、量子化器112は、格子グリッドに従い、かつオフセット[0,2−16]で量子化する。後者の場合、一方のチャネルのLSBは0であり、他方のチャネルのLSBは1である。
図1Bに戻って、データ243は、15.5ビット量子化にていずれのオフセットが使用されたかを決定するために、2チャネルからの対応するサンプルの1対のLSBのパリティを調べることにより、生成される。両チャネルが同じLSBを有するならばデータ243の中に0が生成され、異なるLSBならば1が生成される。
量子化器212は、量子化器112と同じ分解能で量子化を実行する。図4に示されるように、量子化器212は、オフセットOがデータに応じて2つのオフセットの間で選択されるのではなく、擬似ランダムに選択される点を除いて、量子化器112と非常に類似している。したがって、囲み301が量子化のために使用する一定のグリッドから量子化グリッドGへの2Dオフセットを生成するために、0と2−15との間の値を生成する擬似ランダム数生成器(PseudoRandom Number Generator:PRNG)からの2つのサンプルが使用される。このオフセットは、囲み301への入力から減算され、また囲み301の出力に加算される。
同じ効果を達成する他の方法もある。例えば、PRNG312及び313の各々の出力が量子化器308及び309の直前にて減じられ、また直後にて足し戻されることでもよい。しかしながら、それらの方式は、PRNG312及び313からの値の間のマッピングや、オフセットOの選択の点で異なるので、デコーダ量子化器212とエンコーダ量子化器111との間で矛盾のない選択がなされることが必要である。
量子化器112及び212にて用いられる格子量子化器308及び309が互いに適合している限り、デコーダ量子化器212は、量子化器112により導入された量子化誤差を除去し、信号103のレプリカとなる信号203を復元する。しかしながら、適合性は、必ずしも同一であることを意味しない。本実施形態では、Δをステップサイズ2−16とするとき、Q112(x)=Δ(ceiling(Δ−1x−0.5))であり、かつQ212(x)=Δ(floor(Δ−1x+0.5))である。適合性の十分条件は、全てのxに対して、Q112(x)=−Q212(−x)=Q112(x−Δ)+Δであることである。
オフセットOを伴って15.5ビットへの量子化を実行する量子化器111もまた、擬似ランダム数からオフセットOへの同じマッピングを持つように、その構成が量子化器212の構成と一致しなければならない。オフセットOの選択は、エンコーダとデコーダとで一致する必要があるので、量子化器212における擬似ランダム数生成器は、量子化器111における擬似ランダム数生成器と一致するように同期していなければならない。このことは、(サンプル数のような)同期情報をデータ143の中に周期的に埋め込むことにより達成され得る。
図5A及び図5Bは、重み付けされた誤差、量子化器誤差信号105からデータ141がいかにして生成されるかを示している。(図面の混乱を避けるため、ノイズシェーピングフィルタ121からの出力はゼロであるものとしている)。
図5Aに示されたグラフによれば、両軸は信号101の左右のチャネルであり、水平線及び垂直線からなるグリッドは、(16ビット格子とオフセットOとにより与えられル)入力に現れ得る許可された量子化値に対応している。
複数の交点のうちの1つは、本例示において示された実際値を表すものとしてラベル付けされている。gで割り、量子化器111により量子化し、かつgを掛けた後の信号106の値が例示されている。上記した量子化器111のベロニ領域は、菱形であって、図5Aのグラフ上、重みgを持つように図示されている。信号101がgで割られたうえで量子化されて信号106となるので、信号101の実際値が当該領域の内部にあることはもちろんである。もし仮に信号101の実際値が当該領域の内部にある唯一の値であるならば、対応するデコーダは、信号106の値から信号101の唯一の実際値を認定することができるであろう。図示の場合、信号106の付与値を生成する他のあり得る値が代替値として示されているので、デコーダは、ベロニ領域の内部にある複数の量子化値のうちのいずれを出力すべきかを解決するために、1ビットの付加的な情報141を必要とする。
図5Bに示されたグラフは、信号105=0を中心として、ベロニ領域を拡大して示している。信号105が破線の菱形のうちのいずれかの内部にあるならば、(±gだけ1次元で変換される)反対側の破線の菱形の中に信号101の他のあり得る値が存在し、多義性レゾルバ113は、2つの相対する値のうちのいずれがデコーダにより生成されるべきかを解決するために1ビットの情報をデータ141の中へ送出する必要がある。例えば、信号105が左の菱形の内部にあるならば0が、右の菱形の内部にあるならば1がそれぞれ送出され得る。同様に、下の菱形の場合には0が、上の菱形の場合には1がそれぞれ送出され得る。これとは違って、信号105の値がいずれの破線の菱形の内部にもないならば、それは中央の十字領域の内部にあるはずである。ここでは信号101に代替の可能性がないので、いずれのデータも送出の必要がない。量子化器のこの選択のゆえに、2より多い数の値がベロニ領域の内部に存在する可能性がないので、データ141は、サンプル当たり高々1ビットを有する。
破線の菱形の各々の幅は2g−1であるので、g<0.5ならば、破線の菱形は消失し、解決すべき多義性は存在しない。また、g=1の場合には、十字領域が消失するので、信号141のデータレートが常にサンプル当たり1ビットとなる。これは、量子化器112のデータ容量の飽和を意味し、オーバーヘッド又は電子透かしのための余分の容量がなくなる。したがって、g<1であることが要請される。
ある状況下では、破線の領域の計算における不正確が許容される。エンコーダにおける計算がデコーダにて実行される計算と正確に一致しなければならないことは、重要である(さもなければ、エンコーダとデコーダとの動作が相違してしまう)。破線の領域が過小に計算されないこともまた、重要である。さもなければ、デコーダが生成し得ない信号201の値が生じてしまう。ただし、破線の領域が正確に要求された大きさよりも若干大きいか否かは、大きい問題ではない。この不正確の帰結は、時折データ141が本来不要な1ビットデータを担持し、データ容量をわずかに空費してしまうことである。
(gを掛けるデコーダ乗算231が不都合に大きいワード幅を生じるか否かという細かい量子化の場合における)信号105の計算における小さい誤差は、デコーダが(乗算231にて)一致した近似を実行し、かつ最悪の場合の不正確を許容するように両者が破線の菱形のサイズを詰め込む限り、許容され得る。
デコーダにて、量子化器213の出力は、エンコーダに与えられたかも知れない、1つのあり得る値である。調整器215は、データ241からの引き込みを再構成ビットが要求するか否かについての、多義性レゾルバ113に従った、対応する決定をなし得る。もしそれが必要であり、かつ量子化誤差205に対する反対側の破線の菱形が存在することを当該ビットが示すならば、調整器215は、量子化器211の出力を信号101のレプリカである正確な値に調整するように、調整信号207を出力する。いずれの調整も、左又は右のチャネルのいずれかにて、±1LSBである。
クリップ
ゲイン要素131のゆえに、信号103が16ビットオーディオの表現可能レンジを超えることがある。したがって、クリップユニット133が設けられ、電子透かし付けされた出力102がオーバーロードしないように、当該信号が表現可能レンジに戻される。
大抵の信号レンジについて、クリップユニット133は信号の改変を行わない。±フルスケールの近傍にて、クリップユニットは、1よりも小さい信号ゲインを持ち、かつ入力側の多値を出力側の特定の多値へマッピングする。これが生じた場合、クリップユニットは、多値のうちのいずれが実際に与えられたかを特定するクリップ再構成データ142を生成する。クリップ再構成データ142は、データ143を形成するように、再構成データ141及び電子透かしと組み合わされる。
アンクリップユニット233は、クリップユニットの逆ユニットである。大抵の信号レンジについて、アンクリップユニットは、信号の改変を行わない。±フルスケールの近傍にて、アンクリップユニットは、1よりも小さい信号ゲインを持ち、かつ入力側の特定の多値を出力側の多値へマッピングする。これが生じた場合、アンクリップユニットは、多値のうちのいずれを実際に出力すべきかを選択するクリップ再構成データ242を用いる。クリップ再構成データ242は、再構成データ141及び電子透かしとともにデータ243から抽出される。ここでの動作は、特許文献2の例えば図11にて記載され、説明されたものと同様である。
簡単化のため、本実施形態によれば、15.5ビット格子の部分集合であり、かつ信号104の量子化オフセットを変更しない、(オフセット無しの)15ビット格子に従って、両信号103及び104が量子化される。チャネルがクリップ無しの場合には、信号が全く改変を受けずにクリップを通過することが求められる。チャネルがクリップ有りの場合には、他のチャネルを変更することなく同じ量子化オフセットに留まるため、2−15を乗じることにより信号を変更することが選択される。
このクリッピングによる調整の15ビット量子化は、共存する他のノイズ源と同様に騒々しく、かつノイズシェーピングされない。より高い透明度を探索する場合、それは許容可能であると思われる。なぜなら、それは、信号の音量が大きい場合にクリッピングの最中にのみ生じるからである。ただし、ソフトクリップに起因した歪みを受ける。更に、後述する実施形態では、信号クリッピングの発生を大幅に低減することができるフィルタリングの採用を説明する。ゲインとクリップとの組み合わせは、特許文献1のS字状の伝達関数Cを提供する。1ステージで全てを実行するのではなくて、線形なゲインをS字状のクリッピング関数と組み合わせることを選択するのはなぜだろうと、不審に思うかも知れない。特に、もし仮にそれが1ステージで実行されれば、付加的な15ビットノイズ源は導入されないからである。
その答えは、サンプル毎にゲインgを変更したいと予期しており、多義性レゾルバ113及び調整器215、特に所要のランダム化された15.5ビット共通量子化グリッドGの構成が複雑であることが、当該方法により導入されるノイズの不利益よりも重要であると信じていることにある。
初期化
上記したように、信号201の無損失の再構成は、フィルタ221及び222の各々からの出力が、エンコーダにおけるフィルタ121及び122の各々の出力とそれぞれ一致することを必要とする。デコーダが先行サンプルについて無損失で動作しているならば、この要請は満たされる。エンコーダとデコーダとの双方が、ゼロのような共通の値に初期化された各々のフィルタ状態を持ち得る場合には、エンコードされたトラックの開始時点でも、この要請は満たされる。しかしながら、デコーダの有用な動作は、エンコードされたストリームの途中から開始できる能力をも必要とする。これにより、初めに予想されたよりもトリッキーに、量子化ノイズがスペクトル的にシェーピングされるからである。
本実施形態によれば、図6に例示するように、ストリーム中のいくつかの特定の点が、リスタート点となるようにされる。電子透かし付けされたオーディオ102が、そのLSBのXORであるデータチャネル143とともに示されている。400、401及び402は、デコーダがオリジナルオーディオの無損失のデコードを開始することができるリスタート点である。リスタート点400はトラックの開始時点にあり、ここでフィルタ221及び222が0に初期化され得て、エンコーダにおける同様のリセットと一致する。しかしながら、リスタート点401及び402はトラックの途中にあるので、埋め込まれたデータ143がリスタート補助情報411及び412を含まなければならない。これらのリスタート補助情報は、リスタート点401又は402から無損失でデコードをするようにデコーダを起動するべく、フィルタ状態を初期化するために用いられる情報である。
今やリスタート補助情報411は、対応するリスタート点401よりも前に埋め込まれているので、リスタート点401にてフィルタ状態を初期化するためにデコーダがデータを使用する必要がある時には、デコーダが当該データを既に備えていることが可能である。ある点にて量子化器112及びフィルタ122に影響を及ぼすように、埋め込まれたデータ143を変更することは、この変更後のデータが以後の量子化にも影響を及ぼすことを意味する。もし仮にリスタート補助データ411がリスタート点401におけるフィルタ122の状態に依存するならば、エンコーダが解決すべき完全度が注意を要するものとなる。なぜならば、その状態が以前に埋め込まれたデータに依存するからである。
幸いにも、フィルタ(G−1)がFIR(Finite Impulse Response)フィルタである全ポール・ノイズシェーピングの構成は、この完全度を回避することを可能にする。フィルタ122の状態は、中間信号104の最新値と電子透かし付けされた信号102との差である。デコーダは、リスタート点401に近付くとき、当該リスタート点に先だって信号202へ、すなわち信号102のレプリカへアクセスする。したがって、リスタート点401の直前のn個のサンプルにとって、リスタート情報は中間信号104の再構成をさせるのに十分である。ここに、フィルタ122の出力は、その入力の以前のn個の値の関数である。信号104は埋め込まれたデータ143に依存しないので、上記完全度は回避される。
リスタート情報は信号104のn個のサンプルの完全なコピーを含み得るが、リスタート点がしばしば生じるならば、これは不都合に大量のデータとなり得る。ここで、より少ないリスタート情報で十分となることを可能にする方法を提供する。
信号104と信号102とは、ノイズシェーピングされた量子化だけが異なるので、その差は制限されている。この制限は、ノイズシェーピング伝達関数のインパルス応答と、量子化誤差の大きさとから計算が可能である。本実施形態によれば、量子化器211は、2−16g<2−16のチャネル上に最大絶対誤差を生成する。また、ノイズシェーピングフィルタ1/G(z)のインパルス応答の絶対値の合計は、27よりも小さい。したがって、信号104と信号102との差は、レンジ(−27×2−16,27×2−16)にある。更に、任意のサンプルについての信号104のLSBは、定義された量子化グリッドGからデコーダに知られる。このように、サンプル当たり6ビットのみのリスタート補助データが必要である(これは全く控えめな制限であって、しばしば、より少なくとも十分である)。
図7に、フィルタ222の起動動作が示されている。通常動作と違って、フィルタ222の出力は無視される。より正確に言えば、後述するように、量子化器431が15.5ビット量子化の粗い部分集合に従い、かつオフセットOを伴って信号202を量子化することにより、信号204を生成する。信号204の計算された正確な値については、フィルタ222のための正確な入力があり、n個のサンプルの後にフィルタ222が正確な状態となり、通常動作に戻ることができる。
一例として、量子化器431は10ビット格子量子化器であり、オフセットは、2−16の重みを持つ6ビットのリスタート補助データ440と、PRNG312(又は他のチャネル用のPRNG313)の出力との和によって与えられる。PRNG312は、15.5ビット量子化の場合に比べて信号204が正確なオフセットOを持ち、かつリスタート補助データが入力信号202の近傍の正確な値を選択することを保証する。
理想を言えば、エンコード側は、信号104のビット11からビット16までがリスタート補助データとされることを要請する。しかしながら、PRNG値が2−15まで変動するので、PRNGと補助データとの間に1ビットの重なりがある。デコーダはその値を加算するので、エンコーダは、リスタート補助データを生成するために、信号104のビット11からビット16までのLSB端からPRNG出力のトップビットを差し引かなければならない。フィルタ221もまた、同様の態様で初期化され得る。
フィルタリング
特許文献2にて議論されているように、プリエンファシス・フィルタリングを備えるように無損失の電子透かし付け器を変更するヒストグラムを先行させることは、有益である。それは全く個別の前プロセスとしてなされ、その必要性は16ビットレベルへ戻す再量子化を含む。
本発明の他の実施形態によれば、エンコーダが1単位の第1インパルス応答を持つフィルタにより先行され、当該フィルタの出力は、16ビットよりも高精度に、例えば24ビットに量子化される。
図8Aに、そのようなフィルタの一般化された形態が示されている。フィルタの入力501及び出力503のn個の遅延値から関数520が計算され、その結果が量子化器530で量子化されて、いずれの時点でもその値が(調整のための)Aと呼ばれる信号502が生成される。フィルタ出力503は、信号501に信号502を加算することにより形成される。もし仮にエンコーダ動作に係る16ビット精度に従って量子化器530が量子化を行うべきならば、これは、特許文献2における無損失プリエンファシスフィルタと実質的に異ならない。しかしながら、量子化器530は、余分のかつ有害な、シェーピングされない16ビットノイズ源である。
しかしながら、驚くべきことに、量子化器530がより細かい精度に従って、例えば24ビットへの量子化を実行する場合であっても、フィルタとエンコーダとの組み合わせは、依然として可逆である。量子化器530により導入されたノイズはかなり小さく、本発明により導入されたノイズの全体に対して実質的な寄与をなさない。
信号501は16ビット格子に従い、かつオフセットOを伴って量子化され、Aは以前のサンプルの関数である。Aが高精度であっても、信号503は、16ビット量子化グリッド(O+A)に従って量子化されると言える。これは(多義性レゾルバ113の動作が16ビット格子を用いる入力にのみ依存し、量子化オフセットには依存しないので)以後のエンコーダ動作に影響を及ぼさないが、デコーダ動作に影響を及ぼす。
図8Bに、デコーダ動作が示されている。同図は、図1Bに示されたデコーダの左半部に関する改変を示す図である。以前の無損失動作を仮定すれば、デコーダは、エンコーダと同じく、レプリカである以前のサンプルの関数521を計算することができ、値がAであって信号502のレプリカである信号512を生成するように、同じ量子化531を実行する。
しかしながら、量子化器211の出力からAを差し引くのではない。なぜなら、これは量子化オフセットを変更することになるからである。そうではなくて、量子化器211の前でAを差し引くのである。このように、量子化器211の出力はフィルタされた信号であって、信号501のレプリカである信号511のために必要なオフセットOを伴って量子化され、かつ、デコーダ出力として、また関数521への複数の入力のうちの1つとして使われる。
その後にAが加算される。これは、信号503のレプリカである量子化オフセット(O+A)を伴った信号を与える。この信号は、関数521への他の入力として必要な信号そのものであり、また減算ノードがノイズシェーピングフィルタ221へ信号を供給する。なお、破線の囲み214は、量子化オフセット(O+A)を伴った16ビット量子化器を形成することを指摘しておく。
しかしながら、ノイズシェーピングについては、トラックの途中からデコーダ動作を開始する場合に上記ロジックは成り立たず、無損失動作をブートストラップするためにリスタート補助データが必要である。最も単純には、リスタート補助データが正確なフィルタ状態のスナップショットからなり得るが、リスタート点が多い場合、これは不都合に大量のデータとなり得る。
ここで、リスタート補助データの量がいかにして実質的に低減され得るかを説明する。以下のような予備的な観察がなされる。すなわち、
・ 量子化器214へのフィードバックは、量子化器及びフィルタが1つの結合ユニットとしてブートストラップを必要とすることを意味する。フィルタもブートストラップしないならば、量子化器214のノイズシェーピングを初期化する点がないことになる。なぜならば、信号512の誤った値により、量子化器214が誤ったグリッドに従って量子化を行うことになり、無損失態様の動作にならないからである。このことは、量子化器に一体化されていない特許文献2におけるプリエンファシスとの、キーとなる差違であり、
・ ノイズシェーピングに関し、n個のサンプルについて信号513及び信号511が正確であるならば、信号512が正確であり、量子化器214のノイズシェーピングもまた正確であるならば無損失動作となり、
・ 信号513もまた、ノイズシェーピングをブートストラップするために正確であることを要求される信号である。
信号513は、量子化器214により導入された、ノイズシェーピングされた変更のみが異なる、信号206に近い信号である。しかしながら、信号511は、信号513のフィルタリングされたバージョンであって、実質的に異なる。
もしストリーム中の任意の点でデコーダが起動させられたならば、当該デコーダは、一般にその直後は、リスタート補助データが提供される『リスタート点』が分からず、図9に示されるように初期の損失の有るモードで動作するであろう。図9は、図8Bからノイズシェーピングされた量子化214を除き、調整値Aを差し引き、最後にその結果を量子化することにより、導き出される。これにより、出力は、エンコーダに提供される信号501のレプリカでないとしても、オフセットOを伴った16ビットと一致する。
このような損失の有るモードにおける動作が十分な時間だけ続くと、信号511は、無損失動作で得られるであろう正確な値に収束し得る。これに必要な時間は、関数521及び量子化器531を巡るフィードバック経路のゆえに一般にIIRである、フィルタのインパルス応答の長さに関係する。しかしながら、信号511がいかに近接して収束するかには、損失の有るモードで量子化器214が動作可能でないので、入力が不正確であることにより設定される制限がある。リスタート補助は、リスタート点にて、正確な値に対する信号511及び信号513の近似した遅延値をスナップすることを必要とする。
ノイズシェーピングのみの初期化について先に議論したように、リスタート情報は、無損失信号の逐語的なビットであり得る。信号511について、16よりも小さいビットは量子化オフセットOにより定義されるので、各遅延データは、16番目のビットから、近似信号511にどれだけの誤差が含まれているかに応じた値だけ上向きに指定する、いくつかの数のLSBを必要とする。関数521及び量子化器531からなるIIRフィルタが適切な時間で落ち着き、かつ極端過ぎる応答を有しないならば、8ビットで十分であろう。信号513については、ノイズシェーピングのみの場合に比べて多くのビットを必要とする。なぜならば、当該信号はグリッド(O+A)の上で量子化され、正確なAが知られないからである。したがって、ノイズシェーパにとって6ビットで十分であり、かつ、Aが24ビットに量子化されるならば、データ当たり14ビットが必要になり、無損失信号の11番目〜24番目のビットを伝達することになる。
スプリンクラ
図10は、無損失で電子透かし付けされたオーディオファイル信号202が、無損失で電子透かし付けされた異なるオーディオファイル102を生成するように変更された電子透かしを有する、本発明の他の実施形態を示している。
これは、図1Bによるデコーダのうちの導入部分を用いて、グリッドGに従って量子化された内部信号204を再生成した後、変更されたデータ143を埋め込むように図1Aによるエンコーダの後半部分へ進むことにより達成される。データ143のうちの電子透かし部分のみが変更され、再構成データ及びリスタート補助データは変更無しで進む。

Claims (31)

  1. 第1のオーディオ信号に無損失で電子透かし付けをして第2のオーディオ信号を生成する方法であって、前記第1及び第2のオーディオ信号はパルスコード変調(PCM)された信号であり、前記方法は、
    前記第1のオーディオ信号を第1の量子化グリッドの上に量子化されたサンプルとして受け取るステップと、
    前記第1の量子化グリッドよりも粗い第3の量子化グリッドを決定するステップと、
    前記第3の量子化グリッドの上にあるサンプル値を有する第3のオーディオ信号を供給するために前記第1のオーディオ信号に量子化マッピングを適用するステップと、
    前記量子化マッピングにより前記第1の量子化グリッドの多値が前記第3のオーディオ信号の値にマッピングされる場合に、前記多値のうちのいずれが前記第1のオーディオ信号の値であるかを示す再構成データである第1のデータを生成するステップと、
    第2のデータを生成するように前記第1のデータを電子透かしデータと組み合わせるステップと、
    前記第1及び第3の量子化グリッドと異なる第2の量子化グリッドを前記第2のデータに応じて決定するステップと、
    前記第2及び第3のオーディオ信号のうちの少なくとも一方の以前のサンプルに応じて前記第2の量子化グリッドに従って前記第3のオーディオ信号を量子化することにより前記第2のオーディオ信号のサンプルを生成するステップとを備えた方法。
  2. 請求項1記載の方法において、
    前記第1及び第3の量子化グリッドのうちの少なくとも一方は、サンプル毎に変化する方法。
  3. 請求項1又は2に記載の方法において、
    前記第3の量子化グリッドは、擬似ランダムシーケンス生成器の出力に応じて決定される方法。
  4. 先行する請求項のいずれか1項に記載の方法において、
    前記第1、第2及び第3のオーディオ信号はマルチチャネルであり、かつ、前記第2及び第3の量子化グリッドのうちの少なくとも一方は各チャネルの上の独立した量子化グリッドの直積として形成されない方法。
  5. 先行する請求項のいずれか1項に記載の方法において、
    前記量子化マッピングは、出力が前記第1の量子化グリッドよりも細かく量子化されるフィルタによって先行される方法。
  6. 請求項1〜5のいずれか1項に記載の方法において、
    前記第2のデータもまた、前記第3のオーディオ信号の連続サンプルに関する初期化データを有する方法。
  7. 請求項6記載の方法において、
    前記初期化データの合計ビット数は、前記第3のオーディオ信号の連続サンプル数の、チャネル数倍の、8倍を超えない方法。
  8. 第2のオーディオ信号の一部から第1のオーディオ信号と電子透かしデータとを取り出す方法であって、前記第1及び第2のオーディオ信号はパルスコード変調(PCM)された信号であり、かつ、前記第2のオーディオ信号は無損失で電子透かし付けされたPCM信号であり、前記第1のオーディオ信号は第1の量子化グリッドの上にあるサンプルを持ち、前記方法は、
    第3の量子化グリッドを決定するステップと、
    前記第2のオーディオ信号を量子化されたサンプルとして受け取るステップと、
    前記第2のオーディオ信号から、前記第1のオーディオ信号を取り出すために使用される再構成データである第1のデータと、前記電子透かしデータとを取り出すステップと、
    第3のオーディオ信号のサンプルを生成するステップであって、前記第2及び第3のオーディオ信号のうちの少なくとも一方の以前のサンプルに応じて前記第2のオーディオ信号のサンプルを量子化することにより、前記第3の量子化グリッドに従って量子化された、前記第3のオーディオ信号のサンプルが生成されるステップと、
    マッピングされた信号を供給するために前記第1のデータに応じて前記第3のオーディオ信号に量子化マッピングを適用するステップと、
    前記マッピングされた信号に応じて前記第1のオーディオ信号を供給するステップとを備えた方法。
  9. 請求項8記載の方法において、
    前記第1のオーディオ信号は、前記第1の量子化グリッドの上にあるサンプルを持つオリジナルPCMオーディオ信号の一部のレプリカであり、かつ、前記第2のオーディオ信号は、前記オリジナルPCMオーディオ信号の電子透かし付けされたバージョンである方法。
  10. 請求項9記載の方法において、
    前記第3の量子化グリッドは、前記第1の量子化グリッドよりも粗い方法。
  11. 請求項8〜10のいずれか1項に記載の方法において、
    前記第1及び第3の量子化グリッドのうちの少なくとも一方は、サンプリング時毎に変化する方法。
  12. 請求項8〜11のいずれか1項に記載の方法において、
    前記第3の量子化グリッドは、擬似ランダムシーケンス生成器の出力に応じて決定される方法。
  13. 請求項8〜12のいずれか1項に記載の方法において、
    前記第1、第2及び第3のオーディオ信号はマルチチャネルであり、かつ、前記第2及び第3の量子化グリッドのうちの少なくとも一方は各チャネルの上の独立した量子化グリッドの直積として形成されない方法。
  14. 請求項8〜13のいずれか1項に記載の方法において、
    前記マッピングされた信号は、前記第1のオーディオ信号である方法。
  15. 請求項8〜13のいずれか1項に記載の方法において、
    前記第1の量子化グリッドよりも細かい第4の量子化グリッドを決定するステップと、
    前記第1のオーディオ信号と前記マッピングされた信号とのうちの少なくとも一方の以前のサンプルに応じて、前記第4の量子化グリッドの上にある値を持つ調整サンプルを計算するステップと、
    前記マッピングされた信号に前記調整サンプルを加えるステップとを更に備えた方法。
  16. 請求項8〜15のいずれか1項に記載の方法において、
    前記第2のオーディオ信号は請求項1〜7のいずれか1項に記載の方法を用いて生成され、かつ、前記取り出すステップは、
    前記第2のオーディオ信号から前記第2のデータのレプリカを取り出すステップと、
    前記第2のデータの前記レプリカから前記第1のデータと前記電子透かしデータとを取り出すステップとを有する方法。
  17. 請求項8〜16のいずれか1項に記載の方法において、
    前記第2のオーディオ信号から初期化データを取り出すステップと、
    前記初期化データを用いて、前記第3のオーディオ信号の連続サンプルからビットの選択を決定するステップとを更に備えた方法。
  18. 請求項17記載の方法において、
    前記初期化データのビット数は、前記第3のオーディオ信号の値の数の、チャネル数倍の、ビット数倍である8倍を超えない方法。
  19. 請求項1〜7のいずれか1項に記載の方法により生成された、無損失で電子透かし付けされたPCM信号である第2のオーディオ信号の中の電子透かしを変更する方法であって、前記変更する方法は、
    前記第2のオーディオ信号を量子化されたサンプルとして受け取るステップと、
    埋め込まれた電子透かしデータを有する第2のデータを前記第2のオーディオ信号から取り出すステップと、
    前記第2及び第3のオーディオ信号のうちの少なくとも一方の以前のサンプルに応じて前記第2のオーディオ信号を量子化することにより、第3の量子化グリッドに従って量子化された、第3のオーディオ信号のサンプルを生成するステップと、
    前記第2のデータの中の前記埋め込まれた電子透かしデータを変更することにより第4のデータを生成するステップと、
    前記第4のデータに応じた第4の量子化グリッドを決定するステップと、
    前記第3のオーディオ信号を第4のオーディオ信号へ量子化するステップであって、前記第4及び第3のオーディオ信号のうちの少なくとも一方の以前のサンプルに応じて前記第4の量子化グリッドの上で前記第3のオーディオ信号が第4のオーディオ信号へ量子化されるステップと備えた方法。
  20. 請求項19記載の方法において、
    前記第3の量子化グリッドは、サンプリング時毎に変化する方法。
  21. 請求項19又は20に記載の方法において、
    前記第3の量子化グリッドは、擬似ランダムシーケンス生成器の出力に応じて決定される方法。
  22. 請求項19〜21のいずれか1項に記載の方法において、
    前記第2、第3及び第4のオーディオ信号はマルチチャネルであり、かつ、前記第2、第3及び第4の量子化グリッドのうちの少なくとも1つは各チャネルの上の独立した量子化グリッドの直積として形成されない方法。
  23. 請求項1〜7のいずれか1項に記載の方法を用いてPCMオーディオ信号に無損失で電子透かし付けをするためのエンコーダ。
  24. 請求項8〜18のいずれか1項に記載の方法を用いて、無損失で電子透かし付けされたPCM信号の一部から、PCMオーディオ信号と電子透かしデータとを取り出すためのデコーダ。
  25. 請求項24記載のデコーダと組み合わされた請求項23記載のエンコーダを備えたコーデック。
  26. 請求項1〜7のいずれか1項に記載の方法を用いて無損失で電子透かし付けされたPCMオーディオ信号を備えたデータキャリア。
  27. 信号プロセッサにより実行された際に当該信号プロセッサに請求項1〜22のいずれか1項に記載の方法を実行させる命令を備えたコンピュータプログラム製品。
  28. 無損失で電子透かし付けされたPCM信号である入力オーディオ信号の中の電子透かしを変更する方法であって、前記方法は、
    前記入力オーディオ信号を量子化されたサンプルとして受け取るステップと、
    埋め込まれた電子透かしデータを有する入力データを前記入力オーディオ信号から取り出すステップと、
    中間オーディオ信号のサンプルを生成するステップであって、前記入力オーディオ信号及び前記中間オーディオ信号のうちの少なくとも一方の以前のサンプルに応じて前記入力オーディオ信号を量子化することにより、中間量子化グリッドに従って量子化された、前記中間オーディオ信号のサンプルが生成されるステップと、
    前記入力データの中の前記埋め込まれた電子透かしデータを変更することにより出力データを生成するステップと、
    前記出力データに応じた出力量子化グリッドを決定するステップと、
    前記中間オーディオ信号を出力オーディオ信号へ量子化するステップであって、前記出力オーディオ信号及び前記中間オーディオ信号のうちの少なくとも一方の以前のサンプルに応じて前記出力量子化グリッドの上で前記中間オーディオ信号が前記出力オーディオ信号へ量子化されるステップと備えた方法。
  29. 請求項28記載の方法において、
    前記中間量子化グリッドは、サンプリング時毎に変化する方法。
  30. 請求項28記載の方法において、
    前記中間量子化グリッドは、擬似ランダムシーケンス生成器の出力に応じて決定される方法。
  31. 請求項28〜30のいずれか1項に記載の方法を用いて、無損失で電子透かし付けされたPCM信号である入力オーディオ信号の中の電子透かしを変更するための電子透かし変更器。
JP2016559931A 2014-04-02 2015-03-26 透明な無損失オーディオ電子透かし Active JP6700506B6 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB1405958.8A GB2524784B (en) 2014-04-02 2014-04-02 Transparent lossless audio watermarking
GB1405958.8 2014-04-02
PCT/GB2015/050910 WO2015150746A1 (en) 2014-04-02 2015-03-26 Transparent lossless audio watermarking

Publications (3)

Publication Number Publication Date
JP2017509927A true JP2017509927A (ja) 2017-04-06
JP6700506B2 JP6700506B2 (ja) 2020-05-27
JP6700506B6 JP6700506B6 (ja) 2020-07-22

Family

ID=50737900

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016559931A Active JP6700506B6 (ja) 2014-04-02 2015-03-26 透明な無損失オーディオ電子透かし

Country Status (9)

Country Link
US (1) US9940940B2 (ja)
EP (1) EP3127111B1 (ja)
JP (1) JP6700506B6 (ja)
KR (1) KR102467628B1 (ja)
CN (1) CN106415713B (ja)
CA (1) CA2944625C (ja)
GB (1) GB2524784B (ja)
PL (1) PL3127111T3 (ja)
WO (1) WO2015150746A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2524784B (en) 2014-04-02 2018-01-03 Law Malcolm Transparent lossless audio watermarking
US9818414B2 (en) * 2015-06-04 2017-11-14 Intel Corporation Dialogue system with audio watermark
US10043527B1 (en) * 2015-07-17 2018-08-07 Digimarc Corporation Human auditory system modeling with masking energy adaptation
GB2546963B (en) * 2015-12-23 2020-10-21 Law Malcolm Transparent lossless audio watermarking enhancement
CN108496221B (zh) 2016-01-26 2020-01-21 杜比实验室特许公司 自适应量化
KR102150639B1 (ko) * 2018-05-21 2020-09-03 대한민국 디지털 데이터의 무결성을 검증할 수 있는 장치 및 디지털 데이터의 무결성을 검증할 수 있는 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003208187A (ja) * 2001-09-17 2003-07-25 Matsushita Electric Ind Co Ltd 情報更新装置、再生装置、情報付加装置、情報検出装置、情報除去装置
JP2005078212A (ja) * 2003-08-28 2005-03-24 Sony Corp 情報処理装置及び情報処理方法、コンテンツ識別装置及びコンテンツ識別方法、並びにコンテンツ識別システム
JP2006516334A (ja) * 2003-01-17 2006-06-29 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ デジタル信号の可逆的電子透かし付け

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9302982D0 (en) * 1993-02-15 1993-03-31 Gerzon Michael A Data transmission method in digital waveform signal words
EP0691052B1 (en) * 1993-12-23 2002-10-30 Koninklijke Philips Electronics N.V. Method and apparatus for encoding multibit coded digital sound through subtracting adaptive dither, inserting buried channel bits and filtering, and encoding apparatus for use with this method
US6233347B1 (en) * 1998-05-21 2001-05-15 Massachusetts Institute Of Technology System method, and product for information embedding using an ensemble of non-intersecting embedding generators
US6219634B1 (en) * 1998-10-14 2001-04-17 Liquid Audio, Inc. Efficient watermark method and apparatus for digital signals
WO2004102464A2 (en) * 2003-05-08 2004-11-25 Digimarc Corporation Reversible watermarking and related applications
EP1756805B1 (en) * 2004-06-02 2008-07-30 Koninklijke Philips Electronics N.V. Method and apparatus for embedding auxiliary information in a media signal
KR100617165B1 (ko) * 2004-11-19 2006-08-31 엘지전자 주식회사 워터마크 삽입/검출 기능을 갖는 오디오 부호화/복호화장치 및 방법
CN101211562B (zh) * 2007-12-25 2011-01-05 宁波大学 一种数字音乐作品的无损数字水印嵌入与提取方法
CN101271690B (zh) * 2008-05-09 2010-12-22 中国人民解放军重庆通信学院 保护音频数据的音频扩频水印处理方法
CN101894555A (zh) * 2010-04-09 2010-11-24 中山大学 一种mp3文件的水印保护方法
EP2544179A1 (en) * 2011-07-08 2013-01-09 Thomson Licensing Method and apparatus for quantisation index modulation for watermarking an input signal
CN102314881B (zh) * 2011-09-09 2013-01-02 北京航空航天大学 一种用于提高mp3文件中水印嵌入容量的mp3水印方法
GB2524424B (en) * 2011-10-24 2016-04-27 Graham Craven Peter Lossless buried data
GB2524784B (en) 2014-04-02 2018-01-03 Law Malcolm Transparent lossless audio watermarking

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003208187A (ja) * 2001-09-17 2003-07-25 Matsushita Electric Ind Co Ltd 情報更新装置、再生装置、情報付加装置、情報検出装置、情報除去装置
JP2006516334A (ja) * 2003-01-17 2006-06-29 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ デジタル信号の可逆的電子透かし付け
JP2005078212A (ja) * 2003-08-28 2005-03-24 Sony Corp 情報処理装置及び情報処理方法、コンテンツ識別装置及びコンテンツ識別方法、並びにコンテンツ識別システム

Also Published As

Publication number Publication date
US9940940B2 (en) 2018-04-10
KR102467628B1 (ko) 2022-11-15
CN106415713A (zh) 2017-02-15
GB2524784B (en) 2018-01-03
JP6700506B2 (ja) 2020-05-27
WO2015150746A1 (en) 2015-10-08
CA2944625A1 (en) 2015-10-08
KR20160147794A (ko) 2016-12-23
EP3127111A1 (en) 2017-02-08
GB2524784A (en) 2015-10-07
JP6700506B6 (ja) 2020-07-22
CN106415713B (zh) 2021-08-17
GB201405958D0 (en) 2014-05-14
CA2944625C (en) 2022-10-18
EP3127111B1 (en) 2021-09-22
PL3127111T3 (pl) 2022-02-07
US20170116996A1 (en) 2017-04-27

Similar Documents

Publication Publication Date Title
JP6700506B2 (ja) 透明な無損失オーディオ電子透かし
KR101019678B1 (ko) 저비트율 오디오 코딩
ES2378462T3 (es) Codificación entrópica por adaptación de codificación entre modalidades de nivel y de longitud/nivel de cadencia
JP4506039B2 (ja) 符号化装置及び方法、復号装置及び方法、並びに符号化プログラム及び復号プログラム
JP4981174B2 (ja) 確率テーブルの動的な計算によるシンボルプレーン符号化/復号化
KR100561869B1 (ko) 무손실 오디오 부호화/복호화 방법 및 장치
JP7405962B2 (ja) 空間オーディオパラメータ符号化および関連する復号化の決定
CA3131690A1 (en) Method and apparatus for generating from a coefficient domain representation of hoa signals a mixed spatial/coefficient domain representation of said hoa signals
TW201007699A (en) Compression of audio scale-factors by two-dimensional transformation
CN110678923A (zh) 用于处理音频数据的系统和方法
CN101918999A (zh) 执行音频水印嵌入以及水印检测和提取的方法和设备
EP2771880B1 (en) Lossless embedded additional data
JP2010160517A (ja) レベル・モードとラン・レングス/レベル・モードの間での符号化を適応させるエントロピー符号化
JP2014524045A (ja) サンプルレートスケーラブル可逆オーディオコーディング
EP1514263A1 (en) Audio coding system using characteristics of a decoded signal to adapt synthesized spectral components
JPH10285048A (ja) デジタルデータの符号化/復号化方法及び装置
KR100891666B1 (ko) 믹스 신호의 처리 방법 및 장치
KR101381602B1 (ko) 계층적 부호화 및 복호화 방법 및 장치
CN108475510B (zh) 用于对音频信号进行无损水印处理的方法
RU2227368C2 (ru) Прогнозирование данных в передающей системе
JP3692959B2 (ja) 電子透かし情報埋め込み装置
Arensman MP3 Audio Compression
JP2004302493A (ja) オーディオ復号装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20161129

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7426

Effective date: 20161129

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180312

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190205

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20190423

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190628

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190917

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20191016

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20191112

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191112

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20191112

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200331

R150 Certificate of patent or registration of utility model

Ref document number: 6700506

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R154 Certificate of patent or utility model (reissue)

Free format text: JAPANESE INTERMEDIATE CODE: R154

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350