JP2013045112A - 実時間においてマルチチャネルオーディオ信号を周波数領域でウォータマーク処理する方法及び装置 - Google Patents

実時間においてマルチチャネルオーディオ信号を周波数領域でウォータマーク処理する方法及び装置 Download PDF

Info

Publication number
JP2013045112A
JP2013045112A JP2012183048A JP2012183048A JP2013045112A JP 2013045112 A JP2013045112 A JP 2013045112A JP 2012183048 A JP2012183048 A JP 2012183048A JP 2012183048 A JP2012183048 A JP 2012183048A JP 2013045112 A JP2013045112 A JP 2013045112A
Authority
JP
Japan
Prior art keywords
channel
audio signal
watermarking
input section
watermark
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
JP2012183048A
Other languages
English (en)
Other versions
JP2013045112A5 (ja
Inventor
Georg Baum Peter
ゲオルク ボーム ピーター
Gries Ulrich
グリース ウルリッヒ
Arnold Michael
アーノルド マイケル
Xiao-Ming Chen
チェン シャオミン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of JP2013045112A publication Critical patent/JP2013045112A/ja
Publication of JP2013045112A5 publication Critical patent/JP2013045112A5/ja
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/018—Audio watermarking, i.e. embedding inaudible data in the audio signal
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)

Abstract

【課題】可能な限り多くのオーディオ入力信号チャネルがウォータマーキングされ得る実時間制約を伴ったウォータマーク処理を提供する。
【解決手段】実時間でのデジタルオーディオ信号のウォータマーキングは、処理出力が限られた環境では困難である。本発明によれば、データブロックベースのオーディオマルチチャネル信号におけるチャネルはウォータマーキング重要度により優先順位を付けられ、チャネル優先度は異なる入力信号データブロックごとに変わる。現在の入力信号ブロックについて、最も重要なチャネルがウォータマーキングされ、所要処理時間が決定される。この所要処理時間が所定のアプリケーション依存の閾値よりも短い場合、次に重要なチャネルがウォータマーキングされ、更なる所要処理時間が決定される。
【選択図】図１

Description

本発明は、実時間においてマルチチャネルオーディオ信号を周波数領域でウォータマーク処理する方法及び装置であって、オーディオ信号の現在の入力セクションの全チャネルをウォータマーク処理するいずれの場合にも十分な処理出力が利用可能でなく、ウォータマーク処理のためにオーディオ信号がＯｖｅｒｌａｐ−ａｄｄ法においてチャネルごとに処理される、方法及び装置に関する。
実時間におけるデジタルオーディオ信号のウォータマーキングは、処理出力が限られた環境においては困難である。これは、例えば、費用、熱及びラウドネス等の理由により通常低電力処理ユニットが使用される埋め込み型プラットフォーム、又は高性能プロセッサが並行して複数のデータストリームを実時間においてウォータマーキングする必要があるサーバの場合である。通常、オーディオウォータマーキングシステムは、ウォータマーク（ＷＭ）埋込装置がＮ個の入力信号サンプルのブロックを得、ＷＭがこのブロックを処理して、Ｎ個の改変出力信号サンプルのブロックを返すところのブロックベースの態様において動作している。実時間は、信号データブロックのＷＭ処理に利用可能な時間期間が、次の信号データブロックを得るために使用される時間期間よりも短いことを意味する。ＷＭ処理時間がより長い場合には、実時間制約が破られ、埋込装置の入力でのバッファオーバーフローが起こる。これは、サンプルの欠損並びに可聴アーティファクト及びオーディオ品質劣化をもたらす。更に、ウォータマークの埋め込みに必要とされる処理時間は、しばしば、オーディオ信号のコンテンツに依存する。
従って、実時間制約を破ることなくオーディオデータストリームのためのウォータマーキング処理を確かにすることが重要である。一方で、これは、ほとんどの場合において、マルチチャネルデータストリームにおける全てのチャネルがマーキングされ得るわけではないことを意味する。他方で、ウォータマークのロバスト性及び安全性を高めるようオーディオデータストリームの可能な限り多くのチャネルをウォータマーキングすることが有利である。５．１チャネルオーディオでは、例えば、ＷＭのロバスト性及び安全性は、中心チャネルのみが左右及び中心チャネル又は全６チャネルに代えてウォータマーキングされる場合に、大いに低下する。
上記の制限された環境において実時間処理を保証するために、ウォータマーク埋込装置が最長処理時間を必要とする最悪の場合の入力信号が見つけられる必要がある。そのような時間期間に基づき、実時間においてマーキングされ得る最大チャネル数が計算され得る。しかし、かかる解決法の欠点は、ほとんどの入力信号が上記の最悪の場合の入力信号よりも速く処理され得ること、及び大体の場合に埋込装置は可能であるよりも少ないチャネルをウォータマーキングすることであり、これによりロバスト性及び安全性は低下する。
本発明によって解決されるべき課題は、可能な限り多くのオーディオ入力信号チャネルがウォータマーキングされ得る実時間制約を伴ったウォータマーク処理を提供することである。
上記の課題は、請求項１に開示される方法によって解決される。この方法を利用する装置は、請求項４において開示される。
本発明に従って、データブロックベースのオーディオマルチチャネル信号におけるチャネルはウォータマーキング重要度により優先順位を付けられ、チャネル優先度は異なる入力信号データブロックごとに変わる。現在の入力信号ブロックについて、最も重要なチャネル（例えば、５．１設定における中心チャネル）がウォータマーキングされ、所要処理時間が決定される。この所要処理時間が所定のアプリケーションに依存する閾値よりも短い場合、次に重要なチャネル（例えば、左チャネル）がウォータマーキングされ、更なる所要処理時間が決定される。このように、重要度が高い順にチャネルは、トータルで必要とされる処理時間が所定の処理時間閾値よりも長くなるまで、現在の入力信号ブロックについて引き続きマーキングされる。その後、残りのチャネルはウォータマーキングされず、必要なオーディオ処理のみが実行され、それにより、ブロッキング・アーティファクトは起こらない。そのようなアンチブロッキング処理（以下の説明を参照）は通常、完全ＷＭ埋込処理よりもずっと速く、従って、このようなプロシージャは、実時間制約の厳守を保証する。
オーディオ符号化及びウォータマーキングのブロックベースの性質により、及びブロッキング・アーティファクトに対する結果として現れるオーディオ品質の感度により、許容可能な性能及び品質をもたらすよう幾つかの問題が解消される。
本発明は、一方ではＷＭのロバスト性と安全性との間のトレードオフを、他方では実時間処理の制約を最適化する。
原理上、本発明の方法は、実時間においてマルチチャネルオーディオ信号を周波数領域でウォータマーク処理するのに適し、前記オーディオ信号の現在の入力セクションの全チャネルをウォータマーク処理するいずれの場合にも十分な処理出力が利用可能でなく、前記ウォータマーク処理のために前記オーディオ信号は前記オーディオ信号の現在の入力セクション及び前記オーディオ信号の次の入力セクションについてのＯｖｅｒｌａｐ−ａｄｄ法においてチャネルごとに処理され、当該方法は、
ａ）前記オーディオ信号の前記現在の入力セクションについてチャネル優先リストを決定又は考慮するステップと、
ｂ）前記チャネル優先リストの第１チャネルをウォータマーク処理するのに十分な処理出力が利用可能である場合には、前記第１チャネルのオーディオコンテンツをウォータマーキングし、該ウォータマーキングは、
前記オーディオ信号の現在の入力セクション及び前記オーディオ信号の次の入力セクションの当該チャネルの入力データブロックを連結させるステップと、
前記連結した入力データブロックの振幅重み付け、周波数変換、及びウォータマーキング及び逆周波数変換を行うステップと、
結果として現れる２つのデータブロックの振幅重み付け及び加算を行い、前記オーディオ信号のデータストリームの全チャネルの第１セクションについて、対応するデータブロックが前のウォータマーク処理によらずに振幅重み付け及び加算をされるステップと
を有し、
前記チャネル優先リストの第１チャネルをウォータマーク処理するのに十分な処理出力が利用可能でない場合には、当該チャネルのオーディオコンテンツをウォータマーキングせずに、対応する入力データブロックを通るステップと、
ｃ）前記オーディオ信号の前記現在の入力セクションの残りのチャネルについて前記ステップｂ）を繰り返し、前記オーディオ信号の次の入力セクションについて前記ステップｂ）及び前記第１チャネルを続けるステップと
を有する。
原理上、本発明の装置は、実時間においてマルチチャネルオーディオ信号を周波数領域でウォータマーク処理するのに適し、前記オーディオ信号の現在の入力セクションの全チャネルをウォータマーク処理するいずれの場合にも十分な処理出力が利用可能でなく、前記ウォータマーク処理のために前記オーディオ信号は前記オーディオ信号の現在の入力セクション及び前記オーディオ信号の次の入力セクションについてのＯｖｅｒｌａｐ−ａｄｄ法においてチャネルごとに処理され、当該装置は、
ａ）前記オーディオ信号の前記現在の入力セクションについてチャネル優先リストを決定又は考慮し、
ｂ）前記チャネル優先リストの第１チャネルをウォータマーク処理するのに十分な処理出力が利用可能である場合には、前記第１チャネルのオーディオコンテンツをウォータマーキングし、該ウォータマーキングは、
前記オーディオ信号の現在の入力セクション及び前記オーディオ信号の次の入力セクションの当該チャネルの入力データブロックを連結させるステップと、
前記連結した入力データブロックの振幅重み付け、周波数変換、及びウォータマーキング及び逆周波数変換を行うステップと、
結果として現れる２つのデータブロックの振幅重み付け及び加算を行い、前記オーディオ信号のデータストリームの全チャネルの第１セクションについて、対応するデータブロックが前のウォータマーク処理によらずに振幅重み付け及び加算をされるステップと
を有し、
前記チャネル優先リストの第１チャネルをウォータマーク処理するのに十分な処理出力が利用可能でない場合には、当該チャネルのオーディオコンテンツをウォータマーキングせずに、対応する入力データブロックを通り、
ｃ）前記オーディオ信号の前記現在の入力セクションの残りのチャネルについて前記ステップｂ）を繰り返し、前記オーディオ信号の次の入力セクションについて前記ステップｂ）及び前記第１チャネルを続ける
よう構成された手段を有する。
本発明の有利な更なる実施形態は、夫々の従属請求項において開示される。
本発明の実施形態によれば、可能な限り多くのオーディオ入力信号チャネルがウォータマーキングされ得る実時間制約を伴ったウォータマーク処理を提供することが可能となる。
重み付けＯｖｅｒｌａｐ−ａｄｄ処理の例を示す。 時間にわたって周期的にオーディオ信号データごとに使用される平均、最大及び現在のプロセッサ負荷を示す。 本発明の処理のフローチャートを示す。 ＭａｒｋＣｈａｎｎｅｌステップについてより詳細なフローチャートを示す。 ＮｏｔＭａｒｋＣｈａｎｎｅｌステップについてより詳細なフローチャートを示す。 状態ＰＲＯＣＥＳＳから状態ＰＡＳＳＴＨＲＯＵＧＨへの遷移を示す。 状態ＰＡＳＳＴＨＲＯＵＧＨから状態ＰＲＯＣＥＳＳへの逆遷移を示す。
本発明の例となる実施形態は、添付の図面を参照して記載される。
ほとんどのオーディオ処理アルゴリズムは、オーディオ符号化又はオーディオ・ウォータマーキングであって、Ｎ個の入力信号サンプルのブロックが同時に処理されてＮ個の出力サンプルを生成するところのブロックベースである。そのようなブロックベースの処理の理由は、処理の一部が周波数領域において行われる一方、入力サンプルは時間領域にあり、通常、Ｎ個の時間領域サンプルのブロックが高速フーリエ変換（ＦＦＴ）又は変形離散コサイン変換（ＭＤＣＴ）により変換され、周波数領域において処理されて、対応する逆変換を用いて時間領域に逆変換されるためである。そのような変換は２の冪乗の長さについて極めて有効であるから、５１２又は１０２４個のサンプルのサイズがたいていは使用される。
ブロックベースのオーディオ処理の率直な方法は、入力サンプルｋ×Ｎから（ｋ＋１）×Ｎ−１を含むサイズＮのｋ番目の入力ブロックＩｋから直接、出力サンプルｋ×Ｎから（ｋ＋１）×Ｎ−１を含むサイズＮのｋ番目の出力ブロックＯｋを生成することである。しかし、入力オーディオ信号は、ブロック境界線において、すなわち、入力ブロックＩｋとＩｋ＋１との間の境界において連続しており、ブロックＩｋ及びＩｋ＋１のコンテンツが独立して処理される場合、出力ブロックＯｋとＯｋ＋１との間の遷移が連続的でないことが起こり、可聴なクリッキング・アーティファクトが生じる。この問題に対する従来の解決法は、原のオーディオ信号入力ブロックが重み付けされ重ね合わされ、変換され、逆変換され、出力信号を形成する場合に重み付けされ足し合わされる重み付けＯｖｅｒｌａｐ−ａｄｄ（weighted overlap-add）（ＷＯＬＡ）変換を使用することである（J. B. Allen，“Short Term Spectral Analysis, Synthesis, and Modification by Discrete Fourier Transform”，IEEE Transactions on Acoustics, Speech, and Signal Processing，vol.ASSP-25，no.3，pp.235-238，１９７７年６月を参照）。
図１は、Ｎの典型的な重複のための本発明のウォータマーク処理構造を表し、Ｊｋは、サイズＮの原のオーディオ信号入力ブロックである。２つごとの連続したブロックＪｋ及びＪｋ＋１は、ステップ又は段ＣＣにおいて連結され、長さ２Ｎ及びＮ個ずつの重なりのブロックＩｋが生じる。それにより、全体であらゆる原の入力オーディオ信号は、Ｉ個のブロックにおいて２度含まれる。
長さＮの完全なブロックを連結させることに代えて、長さＮ／２の半分のブロックが連続的な態様で連結することができる（例えば、第２の半ブロックＪｋと第１の半ブロックＪｋ＋１、第１の半ブロックＪｋ＋１と第２の半ブロックＪｋ＋１、第２の半ブロックＪｋ＋１と第１の半ブロックＪｋ＋２、以降同様に続く。）。対応する重なりはＮ／２である。
図１は、同じマルチチャネルオーディオ信号セクションの連続したチャネルではなく、マルチチャネルオーディオ信号の連続したセクションのための同じチャネルを表す。ステップ又は段ＷＴｋにおいて、ブロックＩｋは、原理上、振幅重み付け及び変換をされ、ウォータマーク修飾ｋが周波数領域内で適用され、結果として現れるブロックは逆変換されて、サイズ２Ｎの出力ブロックＯｋが生成される。変換は２Ｎ個ごとの入力値から２Ｎ個の変換された出力値を生成するＦＦＴであってよく、対応する逆変換ＩＦＦＴは、２Ｎ個ごとの入力値から２Ｎ個の逆変換された出力値を生成する。あるいは、変換は、２Ｎ個ごとの入力値からＮ個の変換された出力値を生成するＭＤＣＴであってよく、対応する逆変換ＩＭＤＣＴは、Ｎ個ごとの入力値から２Ｎ個の逆変換された出力値を生成する。
現在の出力ブロック対Ｏｋ／Ｏｋ＋１の第１のブロックＯｋ及び前の出力ブロック対Ｏｋ−１／Ｏｋの第２のブロックＯｋは、サイズＮの最終の出力ブロックＰｋを生成するよう、ステップ又は段ＷＡにおいて振幅重み付け及び加算をされる。ＷＴＫの入力での及びＷＡにおける両ブロックの両振幅重み付けは、全体にフラットな応答が存在するように実行される。例えば、振幅重み付けは、ｓｉｎ２＋ｃｏｓ２＝一定（例えば、１）であるように、サイン関数及びコサイン関数を使用する。
オーディオデータストリームの第１の原の入力ブロックＪ０は、上記の処理に従って出力ブロックを生成しない。代わりに、第１の最終の出力ブロックＰ０は、第１の出力ブロックＯ０及び原の入力ブロックＪ０の結合である。これは、最終の出力ブロックＰｋが、対応する入力ブロックＪｋに対して１ブロックだけ遅延することを意味する。
Figure 2013045112
 上述されたように、幾つかのアプリケーションにおいては、実時間においてマルチチャネルオーディオデータストリームの全チャネルをウォータマーキングするために利用可能な処理出力が十分にない。これは、例えば、ＴＶ信号受信のためのセットトップボックスのような埋め込み型プラットフォームや、同時に多数のデータストリームを処理している大規模サーバにおいて起こる。更に、ウォータマーキングを実行するプロセッサはオーディオ符号化のような他のタスクも実行することがあり、従って、そのプロセッサの現在の負荷は時間にわたって変化しうる。
全てのチャネルをマーキングしないことは、過剰にユーザ経験を劣化させることなくウォータマーキングされたチャネルを除去することが可能であるから、ウォータマーキング（ＷＭ）システムの安全性を低下させる。例えば５．１オーディオデータストリームにおいて左チャネルのみがマーキングされる場合に、コンテンツに依存して、左チャネルを除く全てのチャネルに基づき新しい２．１オーディオデータストリームを生成することが可能である。当然、そのようなストリームにはウォータマークは検出され得ない。
全てのチャネルをマーキングしないことは、また、マイクロホン段で全てのチャネルが自動的に混ぜ合わされるので、例えば映画において、ＷＭシステムオーディオ出力の無許可のマイクロホン捕捉に対するロバスト性を低下させる。通常、全てのチャネルが同じようにマーキングされ、これは、この混合においてウォータマークが合算されることを意味する。他方で、一部のチャネルがマーキングされない場合には、それらは単純にＷＭ検出器への付加的なノイズとなりうる。これは、ウォータマークの検出不能を生じさせる。
ウォータマークを埋め込むのに必要とされる時間がしばしばコンテンツに依存するという事実は、図２に示されるように、状況をより一層複雑にする。図２には、最大値、平均値及び時間にわたってブロックごとに使用される現在のプロセッササイクルが表されている。
本発明の動的なチャネルマーキングは、実時間要件、ロバスト性及び安全性の間の最適なトレードオフを提供する。上述されたように、幾つかのアプリケーションにおいて、オーディオデータストリームの全チャネルをウォータマーキングすることは可能でない。従って、チャネルは優先順位を付けられる。例えば、５．１設定で、オーディオ信号コンテンツ又はエネルギの大部分は、左、右及び／又は中心チャネルにある。低域効果音（low-frequency effects）（ＬＦＥ）チャネル及びサラウンドチャネルは通常、有意な量の情報を運ばない。従って、５．１オーディオデータストリームのための優先度は：
１．中心
２．左
３．右
４．左サラウンド
５．右サラウンド
６．ＬＦＥ
に設定され得る。
動的チャネルマーキングにおける夫々の連続する信号入力ブロックについて、実時間処理出力制約を破ることなく、且つ、ブロックアーティファクトによりオーディオ品質を害することなく、優先度順に可能な限り多くのチャネルがウォータマーキングされる。
オーディオチャネルの本発明のウォータマーキング処理の３つの状態は、次のように定義される：
ＩＮＩＴは、オーディオデータストリームの第１のブロック（図１におけるブロックＪ０）の処理のための状態である。
ＰＲＯＣＥＳＳは、通常の処理動作状態（図におけるブロックＪ１、Ｊ２及びＪ３）である。
状態ＰＡＳＳＴＨＲＯＵＧＨにおいては、ウォータマーキングが実行されず、対応する入力ブロック（図６におけるブロックＪｋ及びＪｋ＋１並びに図７におけるブロックＪｋ−３及びＪｋ−２）のみがデータ一貫性を保つために返される。
概略的に本発明の処理を示す図３のフローチャートにおいて、タイマがステップ３１で起動され、現在のオーディオ信号ブロック又はセクションについてのチャネル優先リストの第１のチャネルが、（チャネル優先リストがゼロから始まる場合に）現在のオーディオチャネル番号ｍを‘０’にマーキングされるよう設定することによって（あるいは、チャネル優先リストが‘１’から始まる場合は、ｍを‘１’に設定することによって）、ステップ３２において選択される。ステップ３３で、現在のタイマ値が読み出され、ステップ３４で、オーディオチャネル優先リストの次のチャネルのウォータマーク処理のために未だ十分な時間があるかどうかが、全体的な実時間処理要件を考慮して確認される。上記の非ウォータマーキング処理タスクにより生じるプロセッサの負荷が、現在のオーディオ信号入力ブロック又はセクションのためのウォータマーク処理の間に減少又は増大した場合に、時間時間期間のみならず、現在のオーディオ信号入力ブロック又はセクションのための残りの利用可能な処理出力も、ステップ／段３３及び３４において評価される。
現在残っている処理出力がウォータマーク処理に利用可能である場合、優先リストの現在のオーディオチャネルｍはステップ３５（ＭａｒｋＣｈａｎｎｅｌステップ）でウォータマーキングされ、優先リストチャネル番号ｍはステップ３６で‘１’だけ増分される。すなわち、ｍ←ｍ＋１。現在残っている処理出力がウォータマーク処理に利用可能でない場合は、現在のオーディオチャネルｍはステップ３９（ＮｏｔＭａｒｋＣｈａｎｎｅｌステップ）でウォータマーキングされず、チャネル優先リスト番号ｍはステップ３６で‘１’だけ増分される。
ステップ３７は、チャネル優先リストに更なるチャネルが残っているかどうかを確認する。チャネルが残っている場合は、オーディオチャネル優先リストの次のオーディオチャネルｍがステップ３８で選択され、ステップ３３で現在のタイマ値が読み出され、処理は上述されたように続く。チャネルが残っていない場合は、現在のオーディオ信号入力ブロック又はセクションのためのウォータマーク処理は終了し、処理は、次のオーディオ信号ブロック又はセクションについての第１の優先リストチャネルのために続く。
チャネルカウンタｍは、現在のチャネルがウォータマーキングされるか否かとは無関係に増加する。これは、一部のチャネルが状態ＰＡＳＳＴＨＲＯＵＧＨにあったか否かとは無関係に、同じ修飾（又は、修飾はコンテンツ依存であるので、類似する修飾）が１つのオーディオ信号ブロック又はセクションの全チャネルに適用されることを確かにする。
図３のＭａｒｋＣｈａｎｎｅｌステップ３５及びＮｏｔＭａｒｋＣｈａｎｎｅｌステップ３９についてのより詳細なフローチャートが、図４及び図５において表されている。図４において、ステップ４１で、現在の状態がＰＲＯＣＥＳＳであるかどうかが確認される。ＰＲＯＣＥＳＳにある場合は、現在のチャネルｍのための通常の処理がステップ４２で行われる。ＰＲＯＣＥＳＳにない場合は、図１、６及び７に関連して記載されるように、現在のチャネルｍのための状態ＰＲＯＣＥＳＳへの移行処理がステップ４３で実行される。図５において、ステップ５１で、現在の状態がＰＡＳＳＴＨＲＯＵＧＨであるかどうかが確認される。ＰＡＳＳＴＨＲＯＵＧＨにある場合は、現在のチャネルｍのための通常のＰＡＳＳＴＨＲＯＵＧＨ処理がステップ５２で行われる。ＰＡＳＳＴＨＲＯＵＧＨにない場合は、図１、６及び７に関連して記載されるように、現在のチャネルｍのための状態ＰＡＳＳＴＨＲＯＵＧＨへの移行処理がステップ５３で実行される。
現在のオーディオ信号入力ブロック又はセクションの更なるチャネルのためにウォータマーク処理出力が残されていない場合、ウォータマーク処理の状態は、残りのチャネルについて、図６に表されるように、状態ＰＲＯＣＥＳＳからＰＡＳＳＴＨＲＯＵＧＨに変化する。図において、出力ブロックＰｋ及びＰｋ＋１のコンテンツは夫々、入力ブロックＪｋ及びＪｋ＋１のコンテンツに対応する。
現在の入力信号ブロック又はセクションの処理の間に現在のオーディオ信号入力ブロック又はセクションの更なるチャネルのために予想外にウォータマーク処理出力が残されている場合（例えば、別のタスクに必要とされるプロセッサ出力が少ないため）、ウォータマーク処理の状態は、現在のオーディオ信号入力ブロック又はセクションの残りのチャネルについて、図７に表されるように、状態ＰＡＳＳＴＨＲＯＵＧＨから状態ＰＲＯＣＥＳＳへ変化する。また、これは、現在のオーディオ信号入力ブロック又はセクションの処理又は確認が終了し、処理が次のオーディオ信号ブロック又はセクションについてのチャネル優先リストの第１のチャネルのウォータマーク処理を続ける場合にも当てはまる。図において、出力ブロックＰｋ−３及びＰｋ−２のコンテンツは夫々、入力ブロックＪｋ−３及びＪｋ−２のコンテンツに対応する。
有利に、チャネルの優先順位付けは、時間にわたって一定である必要はない。例えば、５．１設定において２つのチャネルのみがウォータマーキングされ、これにより、最も重要なチャネルは中心チャネルである場合に、左右は等しく重要となりうる。攻撃者の活動をより困難にするよう、そのような場合において第１の時間期間に中心チャネル及び左チャネルを、そして、その後に、第２の時間期間に中心チャネル及び右チャネルをマーキングし、オーディオデータストリームの終わりまでこの交番を繰り返すことが有利である。
ＣＣ 連結ステップ
Ｉｋ 入力ブロック
Ｊｋ 原のオーディオ信号入力ブロック
Ｏｋ 出力ブロック
Ｐｋ 最終の出力ブロック
ＷＡ 振幅重み付け及び加算ステップ
ＷＴ 振幅重み付け及び変換ステップ

Claims (8)

  1. 実時間においてマルチチャネルオーディオ信号を周波数領域でウォータマーク処理する方法であって、前記オーディオ信号の現在の入力セクションの全チャネルをウォータマーク処理するいずれの場合にも十分な処理出力が利用可能でなく、前記ウォータマーク処理のために前記オーディオ信号は前記オーディオ信号の現在の入力セクション及び前記オーディオ信号の次の入力セクションについてのＯｖｅｒｌａｐ−ａｄｄ法においてチャネルごとに処理される、方法において、
    ａ）前記オーディオ信号の前記現在の入力セクションについてチャネル優先リストを決定又は考慮するステップと、
    ｂ）前記チャネル優先リストの第１チャネルをウォータマーク処理するのに十分な処理出力が利用可能である場合には、前記第１チャネルのオーディオコンテンツをウォータマーキングし、該ウォータマーキングは、
    前記オーディオ信号の現在の入力セクション及び前記オーディオ信号の次の入力セクションの当該チャネルの入力データブロックを連結させるステップと、
    前記連結した入力データブロックの振幅重み付け、周波数変換、及びウォータマーキング及び逆周波数変換を行うステップと、
    結果として現れる２つのデータブロックの振幅重み付け及び加算を行い、前記オーディオ信号のデータストリームの全チャネルの第１セクションについて、対応するデータブロックが前のウォータマーク処理によらずに振幅重み付け及び加算をされるステップと
    を有し、
    前記チャネル優先リストの第１チャネルをウォータマーク処理するのに十分な処理出力が利用可能でない場合には、当該チャネルのオーディオコンテンツをウォータマーキングせずに、対応する入力データブロックを通るステップと、
    ｃ）前記オーディオ信号の前記現在の入力セクションの残りのチャネルについて前記ステップｂ）を繰り返し、前記オーディオ信号の次の入力セクションについて前記ステップｂ）及び前記第１チャネルを続けるステップと
    を有する方法。
  2. ウォータマーク処理から非ウォータマーク処理へ切り替わる場合に、前記振幅重み付け及び加算において最後のデータブロックが前記対応する入力データブロックであり、
    非ウォータマーク処理からウォータマーク処理へ切り替わる場合に、前記振幅重み付け及び加算において最初のデータブロックが前記対応する入力データブロックである、
    請求項１に記載の方法。
  3. 前記チャネル優先リストは、前記オーディオ信号の入力セクションごとに決定される、
    請求項１又は２に記載の方法。
  4. 実時間においてマルチチャネルオーディオ信号を周波数領域でウォータマーク処理する装置であって、前記オーディオ信号の現在の入力セクションの全チャネルをウォータマーク処理するいずれの場合にも十分な処理出力が利用可能でなく、前記ウォータマーク処理のために前記オーディオ信号は前記オーディオ信号の現在の入力セクション及び前記オーディオ信号の次の入力セクションについてのＯｖｅｒｌａｐ−ａｄｄ法においてチャネルごとに処理される、装置において、
    ａ）前記オーディオ信号の前記現在の入力セクションについてチャネル優先リストを決定又は考慮し、
    ｂ）前記チャネル優先リストの第１チャネルをウォータマーク処理するのに十分な処理出力が利用可能である場合には、前記第１チャネルのオーディオコンテンツをウォータマーキングし、該ウォータマーキングは、
    前記オーディオ信号の現在の入力セクション及び前記オーディオ信号の次の入力セクションの当該チャネルの入力データブロックを連結させるステップと、
    前記連結した入力データブロックの振幅重み付け、周波数変換、及びウォータマーキング及び逆周波数変換を行うステップと、
    結果として現れる２つのデータブロックの振幅重み付け及び加算を行い、前記オーディオ信号のデータストリームの全チャネルの第１セクションについて、対応するデータブロックが前のウォータマーク処理によらずに振幅重み付け及び加算をされるステップと
    を有し、
    前記チャネル優先リストの第１チャネルをウォータマーク処理するのに十分な処理出力が利用可能でない場合には、当該チャネルのオーディオコンテンツをウォータマーキングせずに、対応する入力データブロックを通り、
    ｃ）前記オーディオ信号の前記現在の入力セクションの残りのチャネルについて前記ステップｂ）を繰り返し、前記オーディオ信号の次の入力セクションについて前記ステップｂ）及び前記第１チャネルを続ける
    よう構成された手段を有する装置。
  5. ウォータマーク処理から非ウォータマーク処理へ切り替わる場合に、前記振幅重み付け及び加算において最後のデータブロックが前記対応する入力データブロックであり、
    非ウォータマーク処理からウォータマーク処理へ切り替わる場合に、前記振幅重み付け及び加算において最初のデータブロックが前記対応する入力データブロックである、
    請求項４に記載の装置。
  6. 前記チャネル優先リストは、前記オーディオ信号の入力セクションごとに決定される、
    請求項４又は５に記載の装置。
  7. 請求項１乃至３のうちいずれか一項に記載の方法に従って処理されたデジタルマルチチャネルオーディオ信号。
  8. 請求項７に記載のマルチチャネルオーディオ信号を含み若しくは記憶し又は記録する記憶媒体。
JP2012183048A 2011-08-23 2012-08-22 実時間においてマルチチャネルオーディオ信号を周波数領域でウォータマーク処理する方法及び装置 Ceased JP2013045112A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP11306062A EP2562748A1 (en) 2011-08-23 2011-08-23 Method and apparatus for frequency domain watermark processing a multi-channel audio signal in real-time
EP11306062.8 2011-08-23

Publications (2)

Publication Number Publication Date
JP2013045112A true JP2013045112A (ja) 2013-03-04
JP2013045112A5 JP2013045112A5 (ja) 2015-10-01

Family

ID=46601719

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012183048A Ceased JP2013045112A (ja) 2011-08-23 2012-08-22 実時間においてマルチチャネルオーディオ信号を周波数領域でウォータマーク処理する方法及び装置

Country Status (5)

Country Link
US (1) US9165559B2 (ja)
EP (2) EP2562748A1 (ja)
JP (1) JP2013045112A (ja)
KR (1) KR20130023106A (ja)
CN (1) CN102956234A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016534411A (ja) * 2013-09-12 2016-11-04 ドルビー ラボラトリーズ ライセンシング コーポレイション マルチチャネル・オーディオのチャネルの選択的透かし入れ

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9093064B2 (en) * 2013-03-11 2015-07-28 The Nielsen Company (Us), Llc Down-mixing compensation for audio watermarking
US9066082B2 (en) * 2013-03-15 2015-06-23 International Business Machines Corporation Forensics in multi-channel media content
KR102137686B1 (ko) 2013-08-16 2020-07-24 삼성전자주식회사 컨텐츠 무결성 제어 방법 및 그 전자 장치
EP3078024B1 (en) 2013-11-28 2018-11-07 Fundacio per a la Universitat Oberta de Catalunya Method and apparatus for embedding and extracting watermark data in an audio signal
CN105632503B (zh) * 2014-10-28 2019-09-03 南宁富桂精密工业有限公司 信息隐藏方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002182699A (ja) * 2000-12-15 2002-06-26 Matsushita Electric Ind Co Ltd 音声符号化装置
US20090074185A1 (en) * 2007-08-17 2009-03-19 Venugopal Srinivasan Advanced Multi-Channel Watermarking System and Method
US20090150165A1 (en) * 2007-12-11 2009-06-11 Sony Corporation Encoding and detecting apparatus

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE9901146D0 (sv) * 1998-11-16 1999-03-29 Ericsson Telefon Ab L M A processing system and method
US8355525B2 (en) * 2000-02-14 2013-01-15 Digimarc Corporation Parallel processing of digital watermarking operations
KR20020053980A (ko) 2000-12-26 2002-07-06 오길록 오디오 워터마크 삽입 장치 및 그 방법과 그의 검출 장치및 그방법
US7460684B2 (en) * 2003-06-13 2008-12-02 Nielsen Media Research, Inc. Method and apparatus for embedding watermarks
WO2009107054A1 (en) 2008-02-26 2009-09-03 Koninklijke Philips Electronics N.V. Method of embedding data in stereo image
US8984501B2 (en) * 2009-06-19 2015-03-17 Dolby Laboratories Licensing Corporation Hierarchy and processing order control of downloadable and upgradeable media processing applications

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002182699A (ja) * 2000-12-15 2002-06-26 Matsushita Electric Ind Co Ltd 音声符号化装置
US20090074185A1 (en) * 2007-08-17 2009-03-19 Venugopal Srinivasan Advanced Multi-Channel Watermarking System and Method
US20090150165A1 (en) * 2007-12-11 2009-06-11 Sony Corporation Encoding and detecting apparatus

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016534411A (ja) * 2013-09-12 2016-11-04 ドルビー ラボラトリーズ ライセンシング コーポレイション マルチチャネル・オーディオのチャネルの選択的透かし入れ

Also Published As

Publication number Publication date
US9165559B2 (en) 2015-10-20
KR20130023106A (ko) 2013-03-07
EP2562749B1 (en) 2014-10-01
US20130051564A1 (en) 2013-02-28
CN102956234A (zh) 2013-03-06
EP2562748A1 (en) 2013-02-27
EP2562749A1 (en) 2013-02-27

Similar Documents

Publication Publication Date Title
JP2013045112A (ja) 実時間においてマルチチャネルオーディオ信号を周波数領域でウォータマーク処理する方法及び装置
JP6789365B2 (ja) 音声符号化装置および方法
RU2449387C2 (ru) Способ и устройство для обработки сигнала
JP6769299B2 (ja) オーディオ符号化装置およびオーディオ符号化方法
KR20050013630A (ko) 압축된 멀티미디어 컨텐트로부터 해시들을 발생하는 방법
US7957973B2 (en) Audio signal interpolation method and device
BRPI0615810A2 (pt) marca d'água escondida de sinais de aúdio usando modificações de fase
Zamani et al. Genetic algorithm for fragile audio watermarking
TW200926146A (en) Efficient design of MDCT/IMDCT filterbanks for speech and audio coding applications
TW201832226A (zh) 從高階保真立體音響信號之係數領域表示產生該高階保真立體音響信號之混合空間或係數領域表示之方法及裝置
JP2015504179A5 (ja)
JP6790251B2 (ja) マルチチャネルオーディオ信号処理方法、装置、およびシステム
JP2022188258A (ja) 信号処理装置および方法、並びにプログラム
JP2013045112A5 (ja)
JP2007503026A (ja) サブバンドフィルタ処理を用いた透かし埋め込みの装置と方法
Nematollahi et al. Digital speech watermarking based on linear predictive analysis and singular value decomposition
JP2023029834A (ja) 位相ｅｃｕ ｆ０補間スプリットのための方法および関係するコントローラ
Lang et al. Application-oriented audio watermark benchmark service
JP2007017905A (ja) 信号符号化装置、信号復号化装置、信号符号化方法、及び信号復号化方法。
Luo et al. A robust watermarking method for MPEG-4 SLS audio
Al-Nuaimi et al. Enhancing MP3 encoding by utilizing a predictive complex-valued neural network
JP2004015803A (ja) 多様なフレームサイズを支援する整数コーディング方法及びそれを適用したコデック装置
Kirbiz et al. Decode-time forensic watermarking of AAC bitstreams
Yang et al. Lossless and secure watermarking scheme in MP3 audio by modifying redundant bit in the frames
JP6318904B2 (ja) オーディオ符号化装置、オーディオ符号化方法、オーディオ符号化プログラム

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150814

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150814

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160927

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161004

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161222

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170523

A045 Written measure of dismissal of application [lapsed due to lack of payment]

Free format text: JAPANESE INTERMEDIATE CODE: A045

Effective date: 20170926