JP4582384B2 - 信号処理装置及びその方法並びにプログラム格納媒体 - Google Patents
信号処理装置及びその方法並びにプログラム格納媒体 Download PDFInfo
- Publication number
- JP4582384B2 JP4582384B2 JP2001534134A JP2001534134A JP4582384B2 JP 4582384 B2 JP4582384 B2 JP 4582384B2 JP 2001534134 A JP2001534134 A JP 2001534134A JP 2001534134 A JP2001534134 A JP 2001534134A JP 4582384 B2 JP4582384 B2 JP 4582384B2
- Authority
- JP
- Japan
- Prior art keywords
- compression
- input signal
- watermark
- watermark information
- digital watermark
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/00086—Circuits for prevention of unauthorised reproduction or copying, e.g. piracy
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/018—Audio watermarking, i.e. embedding inaudible data in the audio signal
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/00086—Circuits for prevention of unauthorised reproduction or copying, e.g. piracy
- G11B20/00884—Circuits for prevention of unauthorised reproduction or copying, e.g. piracy involving a watermark, i.e. a barely perceptible transformation of the original data which can nevertheless be recognised by an algorithm
- G11B20/00891—Circuits for prevention of unauthorised reproduction or copying, e.g. piracy involving a watermark, i.e. a barely perceptible transformation of the original data which can nevertheless be recognised by an algorithm embedded in audio data
Description
【０００１】
【技術分野】
本発明は信号処理装置及びその方法並びにプログラム格納媒体に関し、例えば音楽データ等の著作権を保護する場合に適用して好適なものである。
【０００２】
【背景技術】
近年、ウェブサイトからインターネット等のネットワークを介して不特定多数のネットワーク端末装置（コンピュータ）に音楽コンテンツ等が配信されるようになっている。
【０００３】
コンピュータのユーザは配信された音楽コンテンツをディジタルデータの状態で種々の記録媒体に記録することにより、好みの音楽を高音質で記録した音楽ソフトをユーザが意のままに作成することができる。
このように、コンピュータを操作するユーザがウェブサイトにアクセスするだけで、自由に音楽コンテンツを記録媒体に記録することができるのであるが、ウェブサイトの開設側が著作権者の許可なく無断でその著作物である音楽コンテンツを配信する行為は、当該音楽コンテンツの著作権侵害が発生する問題がある。
【０００４】
【発明の開示】
本発明は以上の点を考慮してなされたもので、例えばネットワークを介して不特定多数の端末装置に配信されたコンテンツについての著作権侵害行為を有効に抑制し得る信号処理装置及びその方法並びにプログラム格納媒体を提案しようとするものである。
【０００５】
かかる課題を解決するため本発明においては、圧縮処理で用いられる心理聴覚モデルに基づいて所定の入力信号を心理聴覚分析し、当該分析結果に基づいて、当該入力信号における圧縮処理でサンプルされる周波数帯域及びその音圧レベルの範囲に重なるように圧縮処理に対する圧縮耐性の大きな電子透かし情報を埋め込むべき周波数帯域及びその音圧レベルを算出し、当該入力信号における圧縮処理で削られる周波数帯域及びその音圧レベルの範囲に収まるように圧縮処理に対する圧縮耐性の小さな電子透かし情報を埋め込むべき周波数帯域及びその音圧レベルを算出し、当該算出結果に基づいて、当該入力信号に当該圧縮耐性の大きな電子透かし情報及び当該圧縮耐性の小さな電子透かし情報を重畳するようにしたことにより、当該入力信号をコピーする情報処理装置において、当該圧縮耐性の大きな電子透かし情報に基づいて当該入力信号に関する著作権情報を検出することができ、当該圧縮耐性の小さな電子透かし情報の除去又は減少に基づいて当該入力信号の圧縮履歴を判断することができるので、当該著作権情報と当該圧縮履歴とに基づいて当該入力信号のコピー制御を行うことができ、ネットワークを介した不正コピーを未然に防止することができる。
【０００６】
【発明を実施するための最良の形態】
以下図面について、本発明の一実施の形態を詳述する。
【０００７】
図１において、１０は全体としてコンテンツのコピー制御システムを示し、オーディオソースであるディジタルオーディオ信号ＤＡを光ディスク２に記録する際に、ウォーターマーク（電子透かし情報）エンコーダ１により、Ｒｏｂｕｓｔ（強い）ウォーターマークＤＣ１及びＦｒａｇｉｌｅ(弱い）ウォーターマークＤＣ２をディジタルオーディオ信号ＤＡに付加して光ディスク２に記録する。
【０００８】
ここで、ＲｏｂｕｓｔウォーターマークＤＣ１はオーディオソースの著作権者、コピーを許可するか否か等の情報により構成され、ＦｒａｇｉｌｅウォーターマークＤＣ２は圧縮履歴を検出するトリガ等の情報により構成される。因みに、ＲｏｂｕｓｔウォーターマークＤＣ１はＭＰ３等の圧縮系を介しても消えないウォーターマークであり、ＦｒａｇｉｌｅウォーターマークＤＣ２はＭＰ３等の圧縮系を通るとその量子化誤差により消える（残存率が低くなる）ウォーターマークである。
【０００９】
このようにしてＲｏｂｕｓｔウォーターマークＤＣ１及びＦｒａｇｉｌｅウォーターマークＤＣ２を含むディジタルオーディオ信号ＤＡが記録された光ディスク２のうち、例えばＭＰ３（ＭＰＥＧ Ａｕｄｉｏ Ｌａｙｅｒ ３）エンコーダ３等による圧縮処理を介して、ネットワーク４上のサイトにアップロードされた圧縮ストリーム信号ＤＳをパーソナルコンピュータ５にダウンロードする場合、またＲｏｂｕｓｔウォーターマークＤＣ１及びＦｒａｇｉｌｅウォーターマークＤＣ２を含むディジタルオーディオ信号ＤＡが記録された光ディスク２のうち、圧縮処理を介さずに流通する光ディスク２をパーソナルコンピュータ５に装填する場合において、まずパーソナルコンピュータ５は、モデム（変復調装置）を構成するコーデック（Ｃｏｄｅｃ：Ｃｏｄｅ ａｎｄ Ｄｅｃｏｄｅ）に入力された入力信号に基づいて、当該入力信号が圧縮されていないディジタルオーディオ信号ＤＡであるか、又は圧縮ストリーム信号ＤＳであるか、さらにはいずれの圧縮規格によりエンコードされた圧縮ストリーム信号ＤＳであるかを判別し、当該判別結果に応じてスイッチＳＷを選択的に切り換える。
【００１０】
そして、ウォーターマークデコーダ６により、パーソナルコンピュータ５の入力信号から、埋め込まれた著作権情報を検出し、例えばメモリカードのようなＰＤ（Ｐｏｔａｂｌｅ Ｄｅｖｉｃｅ）８への入力信号（ディジタルオーディオ信号ＤＡ、圧縮ストリーム信号ＤＳ等）のコピーを制御する。すなわち、ウォーターマークデコーダ６は、ＲｏｂｕｓｔウォーターマークＤＣ１及びＦｒａｇｉｌｅウォーターマークＤＣ２を検出する。ＬＣＭ（Ｌｉｃｅｎｓｅｄ ＳＤＭＩ（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ Ｍｕｓｉｃ Ｉｎｉｔｉａｔｉｖｅ）Ｃｏｍｐｌｉａｎｔ Ｍｏｄｕｌｅ）７は、ウォーターマークデコーダ６によって検出された２種類のウォーターマーク（ＲｏｂｕｓｔウォーターマークＤＣ１及びＦｒａｇｉｌｅウォーターマークＤＣ２）により、音楽コンテンツをＰＤ８にコピーするか否かを制御する。
【００１１】
図２は、検出された２種類のウォーターマークを用いて、ＬＣＭ７が音楽コンテンツをＰＤ８にコピーするか否かを制御する一例を示し、ＬＣＭ７は、ＲｏｂｕｓｔウォーターマークＤＣ１が検出され、Ｆｒａｇｉｌｅ ウォーターマークＤＣ２が検出されない場合には、音楽コンテンツに圧縮履歴が有ると判断して当該音楽コンテンツのＰＤ８へのコピーを禁止する。
【００１２】
またＬＣＭ７は、ＲｏｂｕｓｔウォーターマークＤＣ１及びＦｒａｇｉｌｅ ウォーターマークＤＣ２が共に検出された場合には、音楽コンテンツに圧縮履歴がないと判断して当該音楽コンテンツのＰＤ８へのコピーを許可する。
【００１３】
さらにＬＣＭ７は、ＲｏｂｕｓｔウォーターマークＤＣ１及びＦｒａｇｉｌｅ ウォーターマークＤＣ２が共に検出されなかった場合には、音楽コンテンツの著作権者及びコピーの許可の是非等の情報がないため、当該音楽コンテンツのＰＤ８へのコピーを許可する。さらにＬＣＭ７は、ＲｏｂｕｓｔウォーターマークＤＣ１が検出されず、ＦｒａｇｉｌｅウォーターマークＤＣ２が検出されない場合というのは、技術的にありえないため例外とする。
【００１４】
図３は、ウォーターマークエンコーダ１の構成を示し、心理聴覚分析部１１は、順次入力されるディジタルオーディオ信号ＤＡ１に対して、心理聴覚モデルを利用して分析を行い、Ｒｏｂｕｓｔウォーターマーク重畳部及びＦｒａｇｉｌｅ ウォーターマーク重畳部を有するウォーターマーク重畳部１６を制御する。
【００１５】
ディジタルオーディオ信号ＤＡ１は、ＭＤＣＴ（変形離散コサイン変換：Ｍｏｄｉｆｉｅｄ Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ） 処理部１４においてＭＤＣＴ係数Ｄ１４を生成し、これをウォーターマーク重畳処理部１６に出力する。
【００１６】
ウォーターマーク重畳処理部１６は、ＲｏｂｕｓｔウォーターマークＤＣ１及びＦｒａｇｉｌｅウォーターマークＤＣ２をそれぞれディジタルオーディオ信号ＤＡ１の時系列サンプルブロックをＭＤＣＴ変換した周波数スペクトラムのうち、後述する心理聴覚分析部１１の分析結果に基づいて決定された周波数帯域のスペクトラムに重畳するようになされている。
【００１７】
具体的には、まずウォーターマーク重畳処理部１６は、入力オーディオ信号ＤＡ１の時系列サンプルブロックをＭＤＣＴ変換した周波数スペクトラムのうち、ＲｏｂｕｓｔウォーターマークＤＣ１及びＦｒａｇｉｌｅウォーターマークＤＣ２を重畳する周波数帯域のスペクトラムｆ１を抽出する（図４（Ａ））。
【００１８】
そしてウォーターマーク重畳処理部１６は、この周波数スペクトラムｆ１に対して一定比率でスケーリングを行い、減衰させた周波数スペクトラムｆ２を生成する（図４（Ｂ））。このとき埋め込むデータの極性が「１」の場合にはそのまま、埋め込むデータの極性が「０」の場合には周波数スペクトラムｆ２を正負反転したものを用いる。
【００１９】
続いてウォーターマーク重畳処理部１６は、周波数スペクトラムｆ２を周波数が増加又は減少する方向に、例えばスペクトラム４本分離れるようにシフトする（図４（Ｃ））。図４Ｃでは周波数が増加する方向に４本分シフトし、周波数スペクトラムｆ３を生成する。
【００２０】
次にウォーターマーク重畳処理部１６は、こうしてシフトした周波数スペクトラムｆ３（図４（Ｃ））を、元の周波数スペクトラムｆ１（図４（Ａ））に加算することにより、得られた周波数スペクトラムｆ４（図４（Ｄ））にＲｏｂｕｓｔウォーターマークＤＣ１及びＦｒａｇｉｌｅウォーターマークＤＣ２を重畳する（図４（Ｄ））。
【００２１】
ここで加算する際には、ある周波数スペクトラムと４本離れた周波数スペクトラムとの極性の相関が正又は負に偏るように処理する。すなわち周波数スペクトラムｆ１に周波数スペクトラムｆ３を加算することによって周波数スペクトラムｆ４の符号が反転する場合のみ処理を行い、それ以外の符号反転を伴わない場合には処理を行わない。この図４（Ｄ）において、白枠は周波数スペクトラムｆ１ （図４（Ａ））から除去された信号成分であり、ハッチング枠は当該加算結果として得られた信号成分である。
【００２２】
これにより音質劣化の原因となる一方で検出精度に寄与しないウォーターマークの埋め込み量を低減することができる。また元の周波数スペクトラムをスケーリングしてその近傍に加算することにより、マスキング効果を利用して音質劣化の小さい埋め込みを実現することができる。
【００２３】
因みに、ウォーターマークを埋め込むことが決定された第１の周波数成分ｆ１（図４（Ａ））のレベルを一定の比率で減衰して、埋め込むウォーターマークの極性を乗算したレベルを、当該第１の周波数成分ｆ２（図４（Ｂ））と例えば４個の周波数成分だけ離れた第２の周波数成分ｆ３（図４（Ｃ））のレベルに加算してウォーターマークを埋め込むと、ウォーターマークを埋め込んだ後に、第１の周波数成分ｆ１（図４（Ａ））と第２の周波数成分ｆ３（図４（Ｃ））との相関をとったときの極性が同じ（正又は負）になる確率が高くなり、後述するウォーターマークデコーダでは、このことを利用してウォーターマークの検出を行う。
【００２４】
このようにしてウォーターマーク重畳処理部１６は、心理聴覚分析部１１において分析された分析結果Ｄ１１を基に、ＲｏｂｕｓｔウォーターマークＤＣ１及びＦｒａｇｉｌｅウォーターマークＤＣ２をそれぞれ予め別々に割当てられた複数の周波数帯域の中で、後述する最小可聴限界やマスキング・スレショルド効果を考慮した周波数帯域及び音圧レベルとなるように埋め込む。
【００２５】
すなわち、心理聴覚分析部１１は、入力ディジタルオーディオ信号ＤＡ１を分析し、原音と最小可聴限界の曲線から実際に原音を聞きながら感知できる限界であるマスキング・スレッショルドを算出する。与えられたディジタルオーディオ信号ＤＡ１に対するマスキング能力は、その周波数帯域と音圧レベルとに依存している。
【００２６】
一般に圧縮処理を行うエンコーダでは、周波数帯域と音圧レベルとの情報を基に、限定されたビット分解能で入力オーディオ信号を表現する最良の方法を決定することになる。すなわち、圧縮で用いられる心理聴覚モデルを利用して、圧縮処理によって削られ易い周波数のポジション、エネルギーでウォーターマークを埋め込むことにより、圧縮に弱いＦｒａｇｉｌｅウォーターマークＤＣ２を実現することができる。
【００２７】
以下、圧縮処理によって削られ易い周波数帯域を利用して圧縮に強いＲｏｂｕｓｔウォーターマークＤＣ１及び圧縮に弱いＦｒａｇｉｌｅウォーターマークＤＣ２を埋め込む方法の原理について説明する。
【００２８】
図５は、最小可聴限界を示し、静寂時の最小可聴限界とは聴覚が検知できる音の最小レベルであり、聴覚が静寂時に聞き取ることができるノイズの限界に関係している。図５に示すように、トーンＡのように静寂時の最小可聴限界より高い音圧レベルの音は聞き取ることができるが、トーンＢのように静寂時の最小可聴限界より低い音圧レベルの音は聞き取ることができない。また図５に示すように、最小可聴限界は、静寂時の最小可聴限界は周波数に依存しており、同じ音圧レベルを有するトーンＡ及びＢであっても、その音の周波数によって聞き取ることができる場合とできない場合とがある。
【００２９】
また、図６はマスキング効果を示すものであり、マスキング効果は主に量子化歪みや背景ノイズの検知限界と関係し、特定の音の検知限界は同時に聞いている他の音によって大きく変化する。図６に示すように、トーンＣに対して一定の周波数範囲内では他の音は聞き取り難くなり、例えばトーンＤは比較的音圧レベルの高い純音であっても聞き取ることが困難であり、一方、トーンＥは聞き取り得ることになる。マスキング効果はマスクする音（マスカー）とマスクされて聞こえなくなる音（マスキー）の周波数が近くなるほど強く働く。
【００３０】
従って、ウォーターマークエンコーダ１では、これらの原理を利用して、ＭＰ３等の信号の圧縮処理の圧縮特性を考慮したウォーターマーク（ＲｏｂｕｓｔウォーターマークＤＣ１及びＦｒａｇｉｌｅ ＤＣ２）の埋め込み処理が行われる。
【００３１】
因みに、図７はＭＰ３エンコーダ３（図１）における符号化（心理聴覚を考慮した心理聴覚符号化）を示し、例えばＭＰ３エンコーダ３では、入力オーディオ信号ＤＡを３２個の周波数帯域（サブバンド）に分割した後、量子化ノイズが最小可聴限界以下に収まるように心理聴覚符号化を行う。図７の実線はオーディオ信号ＤＡの周波数分布、太線は静寂時の最小可聴限界を表す。
【００３２】
心理聴覚符号化では、まず、原音と最小可聴限界の曲線から、実際に原音を聞いた際に感知できる限界であるマスキング・スレッショルド（図７の破線）を算出する。次に各サブバンド毎に、量子化ノイズがマスキング・スレッショルドより小さいレベルとなるように、各サブバンドの量子化ステップを割り当てる。
【００３３】
図７において圧縮処理によりサンプルする範囲を矩形領域で示し、矩形の底辺が量子化ノイズレベルになる。原音がマスキング・スレッショルドより小さい領域では、原音は聞こえないためサンプルから削ることが可能であり、一方、聴覚の感度が高く、マスキングが十分働いていない領域では、量子化ステップを細かくして量子化ノイズのレベルを下げる。
【００３４】
従って、ウォーターマークエンコーダ１の心理聴覚分析部１１では、入力されたディジタルオーディオ信号ＤＡ１について、かかるＭＰ３エンコーダ３の心理聴覚符号化の特性に基づいてディジタルオーディオ信号ＤＡ１を分析すると共に、当該分析結果に基づいてＲｏｂｕｓｔウォーターマークＤＣ１及びＦｒａｇｉｌｅウォーターマークＤＣ２を埋め込むべき周波数帯域及びその音圧レベルを算出し、当該算出結果（心理聴覚符号化情報Ｄ１１）によってウォーターマーク重畳部１６を制御する。
【００３５】
この結果、図８に示すように、圧縮処理でサンプルされる矩形領域に重なる様にウォーターマークを埋め込むことにより、当該ウォーターマークは圧縮に強いＲｏｂｕｓｔウォーターマークＤＣ１として機能し、圧縮処理で削られる矩形領域外にウォーターマークを埋め込むことにより、当該ウォーターマークは圧縮に弱いＦｒａｇｉｌｅウォーターマークＤＣ２として機能する。
【００３６】
従って、ウォーターマーク重畳部１６は、心理聴覚分析部１１により計算された心理聴覚符号化情報Ｄ１１に基づいて、ディジタルオーディオ信号ＤＡ１にＲｏｂｕｓｔウォーターマークＤＣ１及びＦｒａｇｉｌｅウォーターマークＤＣ２を埋め込む。
【００３７】
なお、ウォーターマークを埋め込む領域は周波数領域に限らず、時間領域であっても良い。
【００３８】
かくしてウォーターマーク重畳部１６から出力されたＭＤＣＴ係数Ｄ１６は、ＩＭＤＣＴ処理部１５において逆直交変換されることにより、元のディジタルオーディオ信号ＤＡ１と同一の形式でありかつＲｏｂｕｓｔウォーターマークＤＣ１及びＦｒａｇｉｌｅ ウォーターマークＤＣ２が埋め込まれたディジタルオーディオ信号ＤＡ２として出力される。
【００３９】
この実施の形態においては、ディジタルオーディオ信号ＤＡ２を所定のエンコーダ（図示せず）によりエンコードしてディスク原盤を露光し、このディスク原盤から光ディスク２が量産される。
【００４０】
図９はディジタルオーディオ信号ＤＡ１を処理するウォーターマークエンコーダ１の処理手順を示し、ウォーターマークエンコーダ１はステップＳＰ１１からステップＳＰ１２に移り、ディジタルオーディオ信号ＤＡ１を順次サンプルブロック毎に読み込む。続いて、ウォーターマークエンコーダ１は、ステップＳＰ１３に移って、ディジタルオーディオ信号ＤＡ１を分析して当該ディジタルオーディオ信号ＤＡ１から心理聴覚符号化情報Ｄ１１を抽出する。
【００４１】
そして、ウォーターマークエンコーダ１は続くステップＳＰ１４において、心理聴覚符号化情報Ｄ１１に基づいて、ＲｏｂｕｓｔウォーターマークＤＣ１をディジタルオーディオ信号ＤＡ１に埋め込み、さらにステップＳＰ１５において心理聴覚符号化情報Ｄ１１に基づきＦｒａｇｉｌｅウォーターマークＤＣ２をディジタルオーディオ信号ＤＡ１に埋め込む。
【００４２】
これにより、ウォーターマークエンコーダ１は入力されたディジタルオーディオ信号ＤＡ１と同一形式でありかつＲｏｂｕｓｔウォーターマークＤＣ１及びＦｒａｇｉｌｅウォーターマークＤＣ２が埋め込まれたディジタルオーディオ信号ＤＡ２を得る。
【００４３】
続いてウォーターマークエンコーダ１は、ステップＳＰ１６に移り、ディジタルオーディオ信号ＤＡ１の処理を完了したか否かを判断し、ここで否定結果が得られるとステップＳＰ１２に戻る。これによりウォーターマークエンコーダ１は、順次サンプルブロック毎にこの処理手順を繰り返してディジタルオーディオ信号ＤＡ１を処理し、ステップＳＰ１６において肯定結果が得られると、ステップＳＰ１６からステップＳＰ１７に移って当該処理手順を終了する。
【００４４】
図１０は、図１について上述したパーソナルコンピュータ５のウォーターマークデコーダ６の構成を示し、ウォーターマークデコーダ６は、光ディスク２（図１）を再生して得られるディジタルオーディオ信号ＤＡ２からＲｏｂｕｓｔウォーターマークＤＣ１及びＦｒａｇｉｌｅウォーターマークＤＣ２を検出する。
【００４５】
すなわちウォーターマークデコーダ６において、Ｒｏｂｕｓｔウォーターマークデコード部６１は、順次入力されるディジタルオーディオ信号ＤＡ２をＭＤＣＴ処理部６０においてＭＤＣＴ処理することによりＭＤＣＴ係数Ｄ６０を得、これをウォーターマーク検出部６１に出力する。
【００４６】
ウォーターマーク検出部６１は、入力されたＭＤＣＴ係数Ｄ６０について、ＲｏｂｕｓｔウォーターマークＤＣ１及びＦｒａｇｉｌｅウォーターマークＤＣ２の埋め込み周波数帯域として予め別々に割当てられている各複数の周波数成分を、例えば、周波数が増加又は減少する方向に例えば４個の周波数成分だけシフトする処理を行い、当該処理によって得られた新たなＭＤＣＴ係数とＭＤＣＴ処理部６０から得られるＭＤＣＴ係数Ｄ６０とに基づいて、周波数成分の極性を比較し、極性の偏り分に基づいてＲｏｂｕｓｔウォーターマークＤＣ１及びＦｒａｇｉｌｅウォーターマークＤＣ２を検出する。
【００４７】
なお、ウォーターマークを検出する領域は周波数領域に限らず、時間領域であっても良い。
【００４８】
かくして光ディスク２に記録されているディジタルオーディオ信号ＤＡ２をパーソナルコンピュータ５を介してＰＤ８にコピーする際に、ＲｏｂｕｓｔウォーターマークＤＣ１のみが検出されると、このことはＭＰ３による圧縮履歴が有ること、すなわちこのとき検出されたＲｏｂｕｓｔウォーターマークＤＣ１が埋め込まれているディジタルオーディオ信号ＤＡ２がネットワーク４を介して配信されたコンテンツであると判断でき、著作権者によって予めコピー制限が設定されている場合には当該コピー制限を行うことにより著作権者が意図しない不正コピーを防止できる。
【００４９】
また、ＲｏｂｕｓｔウォーターマークＤＣ１及びＦｒａｇｉｌｅウォーターマークＤＣ２の両方が検出されると、このことはＭＰ３の圧縮履歴がないこと、すなわちネットワーク４を介して配信されたものではないことを表しており、著作権者によって無料で開放されているとして当該コピー制限を行う必要がないことが分かる。
【００５０】
このように、パーソナルコンピュータ５では、ＲｏｂｕｓｔウォーターマークＤＣ１及びＦｒａｇｉｌｅウォーターマークＤＣ２による著作権情報や圧縮履歴情報に基づいてコピー制限を行うことができる。
【００５１】
図１１はディジタルオーディオ信号ＤＡ２を処理するウォーターマークデコーダ６の処理手順を示し、ウォーターマークデコーダ６はステップＳＰ２１から当該処理手順に入るとステップＳＰ２２に移り、ディジタルオーディオ信号ＤＡ２を順次サンプルブロック毎に読み込む。続いてウォーターマークデコーダ６はステップＳＰ２３に移って、ディジタルオーディオ信号ＤＡ２からＲｏｂｕｓｔウォーターマークＤＣ１を検出し、続くステップＳＰ２４においてＦｒａｇｉｌｅウォーターマークＤＣ２を検出する。
【００５２】
ＦｒａｇｉｌｅウォーターマークＤＣ２を検出した後、ウォーターマークデコーダ６は、ステップＳＰ２５に移り、ディジタルオーディオ信号ＤＡ２の処理を完了したか否かを判断し、否定結果が得られるとステップＳＰ２２に戻る。これにより、ウォーターマークデコーダ６は、順次サンプルブロック毎にこの処理手順を繰り返してディジタルオーディオ信号ＤＡ２を処理し、ステップＳＰ２５において肯定結果が得られると、ステップＳＰ２６に移って当該処理手順を終了する。
【００５３】
以上の構成において、ウォーターマークエンコーダ１の心理聴覚分析部１１は、ＭＰ３エンコーダ３における圧縮特性（種々の圧縮規格に採用されている最小可聴限界、マスキング効果等の心理聴覚モデル）に応じてＲｏｂｕｓｔウォーターマークＤＣ１及びＦｒａｇｉｌｅウォーターマークＤＣ２の埋め込む位置（例えば周波数帯域）及び音圧レベルを決定することにより、ＭＰ３エンコーダ３の圧縮特性に合致した圧縮に弱いＦｒａｇｉｌｅウォーターマークＤＣ２をディジタルオーディオ信号ＤＡ１に埋め込むことができる。
【００５４】
従って、圧縮に弱いＦｒａｇｉｌｅウォーターマークＤＣ２は、ＭＰ３エンコーダ３を介して圧縮されると、その残存率は十分に低下することになり、ウォーターマークデコーダ６において検出されないことになる。
【００５５】
かくして以上の構成によれば、圧縮に強いＲｏｂｕｓｔウォーターマークＤＣ１及び圧縮に弱いＦｒａｇｉｌｅウォーターマークＤＣ２を容易に実現することができる。因みに、圧縮耐性の強いＲｏｂｕｓｔウォーターマークＤＣ１に著作権情報を埋め込むことにより、圧縮系を通った後に検出されたＲｏｂｕｓｔウォーターマークＤＣ１に基づいて著作権情報を検出することができると共に、圧縮系を通った後にＦｒａｇｉｌｅウォーターマークＤＣ２の除去又は減少に基づいて圧縮履歴を判断することができることにより、ネットワークを介した不正コピーを未然に防止することができる。
【００５６】
なお上述の実施の形態においては、光ディスク２を再生して得られるディジタルオーディオ信号から、ＲｏｂｕｓｔウォーターマークＤＣ１及びＦｒａｇｉｌｅウォーターマークＤＣ２を検出する場合について述べたが、本発明はこれに限らず、例えばディジタルオーディオ信号を圧縮処理したストリーム信号から、ウォーターマークを検出する場合にも適用することができる。このようにすれば、圧縮ストリーム信号を再び伸長して元のディジタルオーディオ信号と同一の形式に変換する手間を省くことができ、処理を高速化することができる。
【００５７】
またディジタルオーディオ信号にＲｏｂｕｓｔウォーターマークＤＣ１及びＦｒａｇｉｌｅウォーターマークＤＣ２を埋め込む場合に、ＦｒａｇｉｌｅウォーターマークＤＣ２が所定の圧縮処理に対しては消去されない形態で埋め込むようにしても良い。
【００５８】
この場合、ＦｒａｇｉｌｅウォーターマークＤＣ２は、正当な配布時の圧縮処理によって消去されない形態で埋め込んでおき、当該ウォーターマーク付きディジタルオーディオ信号をＭＰ３等の他の圧縮処理を行ったときにＦｒａｇｉｌｅ ウォーターマークＤＣ２が消去される形態で埋め込むようにすれば良い。具体的には、正当な配布時に用いる圧縮処理の圧縮特性と、他の圧縮処理の圧縮特性とを比較して、配布時に用いる圧縮処理では削除されないが、他の圧縮処理では圧縮処理時に上述した最小可聴限界及びマスキング・スレッショルドに基づいてディジタルオーディオ信号に対して行われる量子化処理で削除される信号にＦｒａｇｉｌｅウォーターマークＤＣ２を埋め込むようにする。
【００５９】
さらに上述の実施の形態においては、ディジタルオーディオ信号にＲｏｂｕｓｔウォーターマークＤＣ１及びＦｒａｇｉｌｅウォーターマークＤＣ２を共に埋め込むようにした場合について述べたが、本発明はこれに限らず、ディジタルオーディオ信号にＲｏｂｕｓｔウォーターマークＤＣ１を埋め込んでおき、圧縮処理を行った後で当該圧縮処理したストリーム信号に対してＦｒａｇｉｌｅウォーターマークＤＣ２を埋め込むようにしても良い。この結果、コーデック（Ｃｏｄｅｃ）の特性を考慮することなくＦｒａｇｉｌｅウォーターマークＤＣ２の圧縮処理による消去の度合いを限りなく低いレベルで容易に設定することができる。
【００６０】
さらに上述の実施の形態においては、ＦｒａｇｉｌｅウォーターマークＤＣ２をＭＰ３等の圧縮処理後に完全に削除される位置及びレベルでディジタルオーディオ信号に埋め込むように構成した場合について述べたが、本発明はこれに限らず、ＭＰ３等の圧縮処理後であっても完全にＦｒａｇｉｌｅウォーターマークＤＣ２を削除しなくても良い。
【００６１】
すなわち検出側においてＦｒａｇｉｌｅウォーターマークＤＣ２の検出レベルが所定の閾値以下であるか否かを判断し、当該閾値未満の場合には、検出対象であるディジタルオーディオ信号が不正にコピーされたものであると判断するように構成しておく一方、当該閾値以上の場合には、検出対象であるディジタルオーディオ信号が正当にコピーされたものであると判断するように構成しておくようにすれば良い。要は、ＲｏｂｕｓｔウォーターマークＤＣ１及びＦｒａｇｉｌｅ ウォーターマークＤＣ２が埋め込まれたディジタルオーディオ信号にＭＰ３等の圧縮処理を行った後に、検出側において、ＦｒａｇｉｌｅウォーターマークＤＣ２の残存率の低下度に基づいて当該圧縮処理が行われた事実を検知することができれば、ディジタルオーディオ信号に対してＦｒａｇｉｌｅウォーターマークＤＣ２をどのような構成で埋め込むようにしても良い。
【００６２】
さらに上述の実施の形態においては、ＭＰ３の圧縮特性である心理聴覚モデルを用いて、ディジタルオーディオ信号にＲｏｂｕｓｔウォーターマークＤＣ１及びＦｒａｇｉｌｅウォーターマークＤＣ２を埋め込む場合について述べたが、本発明はこれに限らず、例えばＭＰＥＧ−ＡＡＣ、ＡＴＲＡＣ、ＡＴＲＡＣ２、ＡＴＲＡＣ３、Ｄｏｌｂｙ ＡＣ３、ＭＳ（Ｍｉｃｒｏｓｏｆｔ) Ａｕｄｉｏ、Ｔｗｉｎ ＶＱ等の種々の圧縮規格に基づく心理聴覚モデル、又はこれらの組み合わせた心理聴覚モデルを用いる場合に広く適用することができる。このようにすれば、より多くの圧縮規格に対応した汎用的なＦｒａｇｉｌｅウォーターマークを実現することができる。
【００６３】
また上述の実施の形態においては、ウォーターマークエンコーダ１においてＲｏｂｕｓｔウォーターマークエンコード部及びＦｒａｇｉｌｅウォーターマークエンコード部を統合した構成について述べたが、本発明はこれに限らず、例えばＲｏｂｕｓｔウォーターマークエンコード部及びＦｒａｇｉｌｅウォーターマークエンコード部を直列に接続した構成、又はＲｏｂｕｓｔウォーターマークエンコード部及びＦｒａｇｉｌｅウォーターマークエンコード部を並列に接続する構成を適用することもできる。
【００６４】
また上述の実施の形態においては、ウォーターマークデコーダ６においてＲｏｂｕｓｔウォーターマークデコード部及びＦｒａｇｉｌｅウォーターマークデコード部を統合した構成について述べたが、本発明はこれに限らず、例えばＲｏｂｕｓｔウォーターマークデコード部及びＦｒａｇｉｌｅウォーターマークデコード部を直列に接続した構成、又はＲｏｂｕｓｔウォーターマークデコード部及びＦｒａｇｉｌｅウォーターマークデコード部を並列に接続する構成を適用することもできる。
【００６５】
また上述の実施の形態においては、著作権情報及び圧縮履歴情報をディジタルオーディオ信号に重畳する場合について述べたが、本発明はこれに限らず、必要に応じて種々の情報を重畳して伝送する場合に本発明を適用することができる。
【００６６】
また上述の実施の形態においては、ウォーターマークエンコーダ１によってウォーターマークの埋め込み処理が行われる場合について述べたが、本発明はこれに限らず、ウォーターマークエンコーダ１の各機能を実現するプログラムを格納したプログラム格納媒体（フロッピィディスク、光ディスク等）からこれらのプログラムを情報処理装置（コンピュータ）にロードして各機能を実行させるようにしても良い。
【００６７】
例えば図１２に示すような通常のコンピュータ７０においては、全体の制御を司るＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）７１と、各種ソフトウェアが格納されたＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）７２と、ＣＰＵ７１のワークメモリとしてのＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）７３と、各種データが格納されたハードディスク装置７４と、ＣＰＵ７１がネットワークを介して外部と通信するためのインターフェースである通信ポート７５とを有し、これらがバス７６を介して相互に接続されることにより構成されている。
【００６８】
この場合コンピュータ７０では、上述の各機能を実現するプログラムがハードディスク装置７４又はＲＯＭ７２に格納されており、実行時にＣＰＵ７１がＲＡＭ７３に格納されているワークメモリに基づいて、対応する各機能部を実現するようにすれば良い。またコンピュータ７０では、上述の各機能を実現するプログラムを通信ポート７５を介してインストールするようにしても良い。
【００６９】
【産業上の利用の可能性】
本発明は信号処理装置及びその方法並びにプログラム格納媒体に関し、例えば音楽データ等の著作権を保護する場合に適用することができる。
【００７０】
【図面の簡単な説明】
【図１】本発明によるウォーターマークを利用したコピー制御システムの全体構成を示すブロック図である。
【図２】コピー制御システムにおけるコピー制御の適用例を示す略線図である。
【図３】本発明の実施の形態によるウォーターマークエンコーダの構成を示すブロック図である。
【図４】ウォーターマーク重畳原理の説明に供する略線図である。
【図５】心理聴覚分析部の処理の説明に供する略線図である。
【図６】心理聴覚分析部の処理の説明に供する略線図である。
【図７】心理聴覚符号化の説明に供する略線図である。
【図８】本発明によるウォーターマークのエンコード例を示す略線図である。
【図９】ウォーターマークエンコーダの処理手順を示すフローチャートである。
【図１０】ウォーターマークデコーダの構成を示すブロック図である。
【図１１】ウォーターマークデコーダの処理手順を示すフローチャートである。
【図１２】コンピュータの内部構成を示すブロック図である。
【００７１】
【符号の説明】
１……ウォーターマークエンコーダ、２……光ディスク、３……ＭＰ３エンコーダ、４……ネットワーク、５……パーソナルコンピュータ、６……ウォーターマークデコーダ、７……ＬＣＭ。
【技術分野】
本発明は信号処理装置及びその方法並びにプログラム格納媒体に関し、例えば音楽データ等の著作権を保護する場合に適用して好適なものである。
【０００２】
【背景技術】
近年、ウェブサイトからインターネット等のネットワークを介して不特定多数のネットワーク端末装置（コンピュータ）に音楽コンテンツ等が配信されるようになっている。
【０００３】
コンピュータのユーザは配信された音楽コンテンツをディジタルデータの状態で種々の記録媒体に記録することにより、好みの音楽を高音質で記録した音楽ソフトをユーザが意のままに作成することができる。
このように、コンピュータを操作するユーザがウェブサイトにアクセスするだけで、自由に音楽コンテンツを記録媒体に記録することができるのであるが、ウェブサイトの開設側が著作権者の許可なく無断でその著作物である音楽コンテンツを配信する行為は、当該音楽コンテンツの著作権侵害が発生する問題がある。
【０００４】
【発明の開示】
本発明は以上の点を考慮してなされたもので、例えばネットワークを介して不特定多数の端末装置に配信されたコンテンツについての著作権侵害行為を有効に抑制し得る信号処理装置及びその方法並びにプログラム格納媒体を提案しようとするものである。
【０００５】
かかる課題を解決するため本発明においては、圧縮処理で用いられる心理聴覚モデルに基づいて所定の入力信号を心理聴覚分析し、当該分析結果に基づいて、当該入力信号における圧縮処理でサンプルされる周波数帯域及びその音圧レベルの範囲に重なるように圧縮処理に対する圧縮耐性の大きな電子透かし情報を埋め込むべき周波数帯域及びその音圧レベルを算出し、当該入力信号における圧縮処理で削られる周波数帯域及びその音圧レベルの範囲に収まるように圧縮処理に対する圧縮耐性の小さな電子透かし情報を埋め込むべき周波数帯域及びその音圧レベルを算出し、当該算出結果に基づいて、当該入力信号に当該圧縮耐性の大きな電子透かし情報及び当該圧縮耐性の小さな電子透かし情報を重畳するようにしたことにより、当該入力信号をコピーする情報処理装置において、当該圧縮耐性の大きな電子透かし情報に基づいて当該入力信号に関する著作権情報を検出することができ、当該圧縮耐性の小さな電子透かし情報の除去又は減少に基づいて当該入力信号の圧縮履歴を判断することができるので、当該著作権情報と当該圧縮履歴とに基づいて当該入力信号のコピー制御を行うことができ、ネットワークを介した不正コピーを未然に防止することができる。
【０００６】
【発明を実施するための最良の形態】
以下図面について、本発明の一実施の形態を詳述する。
【０００７】
図１において、１０は全体としてコンテンツのコピー制御システムを示し、オーディオソースであるディジタルオーディオ信号ＤＡを光ディスク２に記録する際に、ウォーターマーク（電子透かし情報）エンコーダ１により、Ｒｏｂｕｓｔ（強い）ウォーターマークＤＣ１及びＦｒａｇｉｌｅ(弱い）ウォーターマークＤＣ２をディジタルオーディオ信号ＤＡに付加して光ディスク２に記録する。
【０００８】
ここで、ＲｏｂｕｓｔウォーターマークＤＣ１はオーディオソースの著作権者、コピーを許可するか否か等の情報により構成され、ＦｒａｇｉｌｅウォーターマークＤＣ２は圧縮履歴を検出するトリガ等の情報により構成される。因みに、ＲｏｂｕｓｔウォーターマークＤＣ１はＭＰ３等の圧縮系を介しても消えないウォーターマークであり、ＦｒａｇｉｌｅウォーターマークＤＣ２はＭＰ３等の圧縮系を通るとその量子化誤差により消える（残存率が低くなる）ウォーターマークである。
【０００９】
このようにしてＲｏｂｕｓｔウォーターマークＤＣ１及びＦｒａｇｉｌｅウォーターマークＤＣ２を含むディジタルオーディオ信号ＤＡが記録された光ディスク２のうち、例えばＭＰ３（ＭＰＥＧ Ａｕｄｉｏ Ｌａｙｅｒ ３）エンコーダ３等による圧縮処理を介して、ネットワーク４上のサイトにアップロードされた圧縮ストリーム信号ＤＳをパーソナルコンピュータ５にダウンロードする場合、またＲｏｂｕｓｔウォーターマークＤＣ１及びＦｒａｇｉｌｅウォーターマークＤＣ２を含むディジタルオーディオ信号ＤＡが記録された光ディスク２のうち、圧縮処理を介さずに流通する光ディスク２をパーソナルコンピュータ５に装填する場合において、まずパーソナルコンピュータ５は、モデム（変復調装置）を構成するコーデック（Ｃｏｄｅｃ：Ｃｏｄｅ ａｎｄ Ｄｅｃｏｄｅ）に入力された入力信号に基づいて、当該入力信号が圧縮されていないディジタルオーディオ信号ＤＡであるか、又は圧縮ストリーム信号ＤＳであるか、さらにはいずれの圧縮規格によりエンコードされた圧縮ストリーム信号ＤＳであるかを判別し、当該判別結果に応じてスイッチＳＷを選択的に切り換える。
【００１０】
そして、ウォーターマークデコーダ６により、パーソナルコンピュータ５の入力信号から、埋め込まれた著作権情報を検出し、例えばメモリカードのようなＰＤ（Ｐｏｔａｂｌｅ Ｄｅｖｉｃｅ）８への入力信号（ディジタルオーディオ信号ＤＡ、圧縮ストリーム信号ＤＳ等）のコピーを制御する。すなわち、ウォーターマークデコーダ６は、ＲｏｂｕｓｔウォーターマークＤＣ１及びＦｒａｇｉｌｅウォーターマークＤＣ２を検出する。ＬＣＭ（Ｌｉｃｅｎｓｅｄ ＳＤＭＩ（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ Ｍｕｓｉｃ Ｉｎｉｔｉａｔｉｖｅ）Ｃｏｍｐｌｉａｎｔ Ｍｏｄｕｌｅ）７は、ウォーターマークデコーダ６によって検出された２種類のウォーターマーク（ＲｏｂｕｓｔウォーターマークＤＣ１及びＦｒａｇｉｌｅウォーターマークＤＣ２）により、音楽コンテンツをＰＤ８にコピーするか否かを制御する。
【００１１】
図２は、検出された２種類のウォーターマークを用いて、ＬＣＭ７が音楽コンテンツをＰＤ８にコピーするか否かを制御する一例を示し、ＬＣＭ７は、ＲｏｂｕｓｔウォーターマークＤＣ１が検出され、Ｆｒａｇｉｌｅ ウォーターマークＤＣ２が検出されない場合には、音楽コンテンツに圧縮履歴が有ると判断して当該音楽コンテンツのＰＤ８へのコピーを禁止する。
【００１２】
またＬＣＭ７は、ＲｏｂｕｓｔウォーターマークＤＣ１及びＦｒａｇｉｌｅ ウォーターマークＤＣ２が共に検出された場合には、音楽コンテンツに圧縮履歴がないと判断して当該音楽コンテンツのＰＤ８へのコピーを許可する。
【００１３】
さらにＬＣＭ７は、ＲｏｂｕｓｔウォーターマークＤＣ１及びＦｒａｇｉｌｅ ウォーターマークＤＣ２が共に検出されなかった場合には、音楽コンテンツの著作権者及びコピーの許可の是非等の情報がないため、当該音楽コンテンツのＰＤ８へのコピーを許可する。さらにＬＣＭ７は、ＲｏｂｕｓｔウォーターマークＤＣ１が検出されず、ＦｒａｇｉｌｅウォーターマークＤＣ２が検出されない場合というのは、技術的にありえないため例外とする。
【００１４】
図３は、ウォーターマークエンコーダ１の構成を示し、心理聴覚分析部１１は、順次入力されるディジタルオーディオ信号ＤＡ１に対して、心理聴覚モデルを利用して分析を行い、Ｒｏｂｕｓｔウォーターマーク重畳部及びＦｒａｇｉｌｅ ウォーターマーク重畳部を有するウォーターマーク重畳部１６を制御する。
【００１５】
ディジタルオーディオ信号ＤＡ１は、ＭＤＣＴ（変形離散コサイン変換：Ｍｏｄｉｆｉｅｄ Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ） 処理部１４においてＭＤＣＴ係数Ｄ１４を生成し、これをウォーターマーク重畳処理部１６に出力する。
【００１６】
ウォーターマーク重畳処理部１６は、ＲｏｂｕｓｔウォーターマークＤＣ１及びＦｒａｇｉｌｅウォーターマークＤＣ２をそれぞれディジタルオーディオ信号ＤＡ１の時系列サンプルブロックをＭＤＣＴ変換した周波数スペクトラムのうち、後述する心理聴覚分析部１１の分析結果に基づいて決定された周波数帯域のスペクトラムに重畳するようになされている。
【００１７】
具体的には、まずウォーターマーク重畳処理部１６は、入力オーディオ信号ＤＡ１の時系列サンプルブロックをＭＤＣＴ変換した周波数スペクトラムのうち、ＲｏｂｕｓｔウォーターマークＤＣ１及びＦｒａｇｉｌｅウォーターマークＤＣ２を重畳する周波数帯域のスペクトラムｆ１を抽出する（図４（Ａ））。
【００１８】
そしてウォーターマーク重畳処理部１６は、この周波数スペクトラムｆ１に対して一定比率でスケーリングを行い、減衰させた周波数スペクトラムｆ２を生成する（図４（Ｂ））。このとき埋め込むデータの極性が「１」の場合にはそのまま、埋め込むデータの極性が「０」の場合には周波数スペクトラムｆ２を正負反転したものを用いる。
【００１９】
続いてウォーターマーク重畳処理部１６は、周波数スペクトラムｆ２を周波数が増加又は減少する方向に、例えばスペクトラム４本分離れるようにシフトする（図４（Ｃ））。図４Ｃでは周波数が増加する方向に４本分シフトし、周波数スペクトラムｆ３を生成する。
【００２０】
次にウォーターマーク重畳処理部１６は、こうしてシフトした周波数スペクトラムｆ３（図４（Ｃ））を、元の周波数スペクトラムｆ１（図４（Ａ））に加算することにより、得られた周波数スペクトラムｆ４（図４（Ｄ））にＲｏｂｕｓｔウォーターマークＤＣ１及びＦｒａｇｉｌｅウォーターマークＤＣ２を重畳する（図４（Ｄ））。
【００２１】
ここで加算する際には、ある周波数スペクトラムと４本離れた周波数スペクトラムとの極性の相関が正又は負に偏るように処理する。すなわち周波数スペクトラムｆ１に周波数スペクトラムｆ３を加算することによって周波数スペクトラムｆ４の符号が反転する場合のみ処理を行い、それ以外の符号反転を伴わない場合には処理を行わない。この図４（Ｄ）において、白枠は周波数スペクトラムｆ１ （図４（Ａ））から除去された信号成分であり、ハッチング枠は当該加算結果として得られた信号成分である。
【００２２】
これにより音質劣化の原因となる一方で検出精度に寄与しないウォーターマークの埋め込み量を低減することができる。また元の周波数スペクトラムをスケーリングしてその近傍に加算することにより、マスキング効果を利用して音質劣化の小さい埋め込みを実現することができる。
【００２３】
因みに、ウォーターマークを埋め込むことが決定された第１の周波数成分ｆ１（図４（Ａ））のレベルを一定の比率で減衰して、埋め込むウォーターマークの極性を乗算したレベルを、当該第１の周波数成分ｆ２（図４（Ｂ））と例えば４個の周波数成分だけ離れた第２の周波数成分ｆ３（図４（Ｃ））のレベルに加算してウォーターマークを埋め込むと、ウォーターマークを埋め込んだ後に、第１の周波数成分ｆ１（図４（Ａ））と第２の周波数成分ｆ３（図４（Ｃ））との相関をとったときの極性が同じ（正又は負）になる確率が高くなり、後述するウォーターマークデコーダでは、このことを利用してウォーターマークの検出を行う。
【００２４】
このようにしてウォーターマーク重畳処理部１６は、心理聴覚分析部１１において分析された分析結果Ｄ１１を基に、ＲｏｂｕｓｔウォーターマークＤＣ１及びＦｒａｇｉｌｅウォーターマークＤＣ２をそれぞれ予め別々に割当てられた複数の周波数帯域の中で、後述する最小可聴限界やマスキング・スレショルド効果を考慮した周波数帯域及び音圧レベルとなるように埋め込む。
【００２５】
すなわち、心理聴覚分析部１１は、入力ディジタルオーディオ信号ＤＡ１を分析し、原音と最小可聴限界の曲線から実際に原音を聞きながら感知できる限界であるマスキング・スレッショルドを算出する。与えられたディジタルオーディオ信号ＤＡ１に対するマスキング能力は、その周波数帯域と音圧レベルとに依存している。
【００２６】
一般に圧縮処理を行うエンコーダでは、周波数帯域と音圧レベルとの情報を基に、限定されたビット分解能で入力オーディオ信号を表現する最良の方法を決定することになる。すなわち、圧縮で用いられる心理聴覚モデルを利用して、圧縮処理によって削られ易い周波数のポジション、エネルギーでウォーターマークを埋め込むことにより、圧縮に弱いＦｒａｇｉｌｅウォーターマークＤＣ２を実現することができる。
【００２７】
以下、圧縮処理によって削られ易い周波数帯域を利用して圧縮に強いＲｏｂｕｓｔウォーターマークＤＣ１及び圧縮に弱いＦｒａｇｉｌｅウォーターマークＤＣ２を埋め込む方法の原理について説明する。
【００２８】
図５は、最小可聴限界を示し、静寂時の最小可聴限界とは聴覚が検知できる音の最小レベルであり、聴覚が静寂時に聞き取ることができるノイズの限界に関係している。図５に示すように、トーンＡのように静寂時の最小可聴限界より高い音圧レベルの音は聞き取ることができるが、トーンＢのように静寂時の最小可聴限界より低い音圧レベルの音は聞き取ることができない。また図５に示すように、最小可聴限界は、静寂時の最小可聴限界は周波数に依存しており、同じ音圧レベルを有するトーンＡ及びＢであっても、その音の周波数によって聞き取ることができる場合とできない場合とがある。
【００２９】
また、図６はマスキング効果を示すものであり、マスキング効果は主に量子化歪みや背景ノイズの検知限界と関係し、特定の音の検知限界は同時に聞いている他の音によって大きく変化する。図６に示すように、トーンＣに対して一定の周波数範囲内では他の音は聞き取り難くなり、例えばトーンＤは比較的音圧レベルの高い純音であっても聞き取ることが困難であり、一方、トーンＥは聞き取り得ることになる。マスキング効果はマスクする音（マスカー）とマスクされて聞こえなくなる音（マスキー）の周波数が近くなるほど強く働く。
【００３０】
従って、ウォーターマークエンコーダ１では、これらの原理を利用して、ＭＰ３等の信号の圧縮処理の圧縮特性を考慮したウォーターマーク（ＲｏｂｕｓｔウォーターマークＤＣ１及びＦｒａｇｉｌｅ ＤＣ２）の埋め込み処理が行われる。
【００３１】
因みに、図７はＭＰ３エンコーダ３（図１）における符号化（心理聴覚を考慮した心理聴覚符号化）を示し、例えばＭＰ３エンコーダ３では、入力オーディオ信号ＤＡを３２個の周波数帯域（サブバンド）に分割した後、量子化ノイズが最小可聴限界以下に収まるように心理聴覚符号化を行う。図７の実線はオーディオ信号ＤＡの周波数分布、太線は静寂時の最小可聴限界を表す。
【００３２】
心理聴覚符号化では、まず、原音と最小可聴限界の曲線から、実際に原音を聞いた際に感知できる限界であるマスキング・スレッショルド（図７の破線）を算出する。次に各サブバンド毎に、量子化ノイズがマスキング・スレッショルドより小さいレベルとなるように、各サブバンドの量子化ステップを割り当てる。
【００３３】
図７において圧縮処理によりサンプルする範囲を矩形領域で示し、矩形の底辺が量子化ノイズレベルになる。原音がマスキング・スレッショルドより小さい領域では、原音は聞こえないためサンプルから削ることが可能であり、一方、聴覚の感度が高く、マスキングが十分働いていない領域では、量子化ステップを細かくして量子化ノイズのレベルを下げる。
【００３４】
従って、ウォーターマークエンコーダ１の心理聴覚分析部１１では、入力されたディジタルオーディオ信号ＤＡ１について、かかるＭＰ３エンコーダ３の心理聴覚符号化の特性に基づいてディジタルオーディオ信号ＤＡ１を分析すると共に、当該分析結果に基づいてＲｏｂｕｓｔウォーターマークＤＣ１及びＦｒａｇｉｌｅウォーターマークＤＣ２を埋め込むべき周波数帯域及びその音圧レベルを算出し、当該算出結果（心理聴覚符号化情報Ｄ１１）によってウォーターマーク重畳部１６を制御する。
【００３５】
この結果、図８に示すように、圧縮処理でサンプルされる矩形領域に重なる様にウォーターマークを埋め込むことにより、当該ウォーターマークは圧縮に強いＲｏｂｕｓｔウォーターマークＤＣ１として機能し、圧縮処理で削られる矩形領域外にウォーターマークを埋め込むことにより、当該ウォーターマークは圧縮に弱いＦｒａｇｉｌｅウォーターマークＤＣ２として機能する。
【００３６】
従って、ウォーターマーク重畳部１６は、心理聴覚分析部１１により計算された心理聴覚符号化情報Ｄ１１に基づいて、ディジタルオーディオ信号ＤＡ１にＲｏｂｕｓｔウォーターマークＤＣ１及びＦｒａｇｉｌｅウォーターマークＤＣ２を埋め込む。
【００３７】
なお、ウォーターマークを埋め込む領域は周波数領域に限らず、時間領域であっても良い。
【００３８】
かくしてウォーターマーク重畳部１６から出力されたＭＤＣＴ係数Ｄ１６は、ＩＭＤＣＴ処理部１５において逆直交変換されることにより、元のディジタルオーディオ信号ＤＡ１と同一の形式でありかつＲｏｂｕｓｔウォーターマークＤＣ１及びＦｒａｇｉｌｅ ウォーターマークＤＣ２が埋め込まれたディジタルオーディオ信号ＤＡ２として出力される。
【００３９】
この実施の形態においては、ディジタルオーディオ信号ＤＡ２を所定のエンコーダ（図示せず）によりエンコードしてディスク原盤を露光し、このディスク原盤から光ディスク２が量産される。
【００４０】
図９はディジタルオーディオ信号ＤＡ１を処理するウォーターマークエンコーダ１の処理手順を示し、ウォーターマークエンコーダ１はステップＳＰ１１からステップＳＰ１２に移り、ディジタルオーディオ信号ＤＡ１を順次サンプルブロック毎に読み込む。続いて、ウォーターマークエンコーダ１は、ステップＳＰ１３に移って、ディジタルオーディオ信号ＤＡ１を分析して当該ディジタルオーディオ信号ＤＡ１から心理聴覚符号化情報Ｄ１１を抽出する。
【００４１】
そして、ウォーターマークエンコーダ１は続くステップＳＰ１４において、心理聴覚符号化情報Ｄ１１に基づいて、ＲｏｂｕｓｔウォーターマークＤＣ１をディジタルオーディオ信号ＤＡ１に埋め込み、さらにステップＳＰ１５において心理聴覚符号化情報Ｄ１１に基づきＦｒａｇｉｌｅウォーターマークＤＣ２をディジタルオーディオ信号ＤＡ１に埋め込む。
【００４２】
これにより、ウォーターマークエンコーダ１は入力されたディジタルオーディオ信号ＤＡ１と同一形式でありかつＲｏｂｕｓｔウォーターマークＤＣ１及びＦｒａｇｉｌｅウォーターマークＤＣ２が埋め込まれたディジタルオーディオ信号ＤＡ２を得る。
【００４３】
続いてウォーターマークエンコーダ１は、ステップＳＰ１６に移り、ディジタルオーディオ信号ＤＡ１の処理を完了したか否かを判断し、ここで否定結果が得られるとステップＳＰ１２に戻る。これによりウォーターマークエンコーダ１は、順次サンプルブロック毎にこの処理手順を繰り返してディジタルオーディオ信号ＤＡ１を処理し、ステップＳＰ１６において肯定結果が得られると、ステップＳＰ１６からステップＳＰ１７に移って当該処理手順を終了する。
【００４４】
図１０は、図１について上述したパーソナルコンピュータ５のウォーターマークデコーダ６の構成を示し、ウォーターマークデコーダ６は、光ディスク２（図１）を再生して得られるディジタルオーディオ信号ＤＡ２からＲｏｂｕｓｔウォーターマークＤＣ１及びＦｒａｇｉｌｅウォーターマークＤＣ２を検出する。
【００４５】
すなわちウォーターマークデコーダ６において、Ｒｏｂｕｓｔウォーターマークデコード部６１は、順次入力されるディジタルオーディオ信号ＤＡ２をＭＤＣＴ処理部６０においてＭＤＣＴ処理することによりＭＤＣＴ係数Ｄ６０を得、これをウォーターマーク検出部６１に出力する。
【００４６】
ウォーターマーク検出部６１は、入力されたＭＤＣＴ係数Ｄ６０について、ＲｏｂｕｓｔウォーターマークＤＣ１及びＦｒａｇｉｌｅウォーターマークＤＣ２の埋め込み周波数帯域として予め別々に割当てられている各複数の周波数成分を、例えば、周波数が増加又は減少する方向に例えば４個の周波数成分だけシフトする処理を行い、当該処理によって得られた新たなＭＤＣＴ係数とＭＤＣＴ処理部６０から得られるＭＤＣＴ係数Ｄ６０とに基づいて、周波数成分の極性を比較し、極性の偏り分に基づいてＲｏｂｕｓｔウォーターマークＤＣ１及びＦｒａｇｉｌｅウォーターマークＤＣ２を検出する。
【００４７】
なお、ウォーターマークを検出する領域は周波数領域に限らず、時間領域であっても良い。
【００４８】
かくして光ディスク２に記録されているディジタルオーディオ信号ＤＡ２をパーソナルコンピュータ５を介してＰＤ８にコピーする際に、ＲｏｂｕｓｔウォーターマークＤＣ１のみが検出されると、このことはＭＰ３による圧縮履歴が有ること、すなわちこのとき検出されたＲｏｂｕｓｔウォーターマークＤＣ１が埋め込まれているディジタルオーディオ信号ＤＡ２がネットワーク４を介して配信されたコンテンツであると判断でき、著作権者によって予めコピー制限が設定されている場合には当該コピー制限を行うことにより著作権者が意図しない不正コピーを防止できる。
【００４９】
また、ＲｏｂｕｓｔウォーターマークＤＣ１及びＦｒａｇｉｌｅウォーターマークＤＣ２の両方が検出されると、このことはＭＰ３の圧縮履歴がないこと、すなわちネットワーク４を介して配信されたものではないことを表しており、著作権者によって無料で開放されているとして当該コピー制限を行う必要がないことが分かる。
【００５０】
このように、パーソナルコンピュータ５では、ＲｏｂｕｓｔウォーターマークＤＣ１及びＦｒａｇｉｌｅウォーターマークＤＣ２による著作権情報や圧縮履歴情報に基づいてコピー制限を行うことができる。
【００５１】
図１１はディジタルオーディオ信号ＤＡ２を処理するウォーターマークデコーダ６の処理手順を示し、ウォーターマークデコーダ６はステップＳＰ２１から当該処理手順に入るとステップＳＰ２２に移り、ディジタルオーディオ信号ＤＡ２を順次サンプルブロック毎に読み込む。続いてウォーターマークデコーダ６はステップＳＰ２３に移って、ディジタルオーディオ信号ＤＡ２からＲｏｂｕｓｔウォーターマークＤＣ１を検出し、続くステップＳＰ２４においてＦｒａｇｉｌｅウォーターマークＤＣ２を検出する。
【００５２】
ＦｒａｇｉｌｅウォーターマークＤＣ２を検出した後、ウォーターマークデコーダ６は、ステップＳＰ２５に移り、ディジタルオーディオ信号ＤＡ２の処理を完了したか否かを判断し、否定結果が得られるとステップＳＰ２２に戻る。これにより、ウォーターマークデコーダ６は、順次サンプルブロック毎にこの処理手順を繰り返してディジタルオーディオ信号ＤＡ２を処理し、ステップＳＰ２５において肯定結果が得られると、ステップＳＰ２６に移って当該処理手順を終了する。
【００５３】
以上の構成において、ウォーターマークエンコーダ１の心理聴覚分析部１１は、ＭＰ３エンコーダ３における圧縮特性（種々の圧縮規格に採用されている最小可聴限界、マスキング効果等の心理聴覚モデル）に応じてＲｏｂｕｓｔウォーターマークＤＣ１及びＦｒａｇｉｌｅウォーターマークＤＣ２の埋め込む位置（例えば周波数帯域）及び音圧レベルを決定することにより、ＭＰ３エンコーダ３の圧縮特性に合致した圧縮に弱いＦｒａｇｉｌｅウォーターマークＤＣ２をディジタルオーディオ信号ＤＡ１に埋め込むことができる。
【００５４】
従って、圧縮に弱いＦｒａｇｉｌｅウォーターマークＤＣ２は、ＭＰ３エンコーダ３を介して圧縮されると、その残存率は十分に低下することになり、ウォーターマークデコーダ６において検出されないことになる。
【００５５】
かくして以上の構成によれば、圧縮に強いＲｏｂｕｓｔウォーターマークＤＣ１及び圧縮に弱いＦｒａｇｉｌｅウォーターマークＤＣ２を容易に実現することができる。因みに、圧縮耐性の強いＲｏｂｕｓｔウォーターマークＤＣ１に著作権情報を埋め込むことにより、圧縮系を通った後に検出されたＲｏｂｕｓｔウォーターマークＤＣ１に基づいて著作権情報を検出することができると共に、圧縮系を通った後にＦｒａｇｉｌｅウォーターマークＤＣ２の除去又は減少に基づいて圧縮履歴を判断することができることにより、ネットワークを介した不正コピーを未然に防止することができる。
【００５６】
なお上述の実施の形態においては、光ディスク２を再生して得られるディジタルオーディオ信号から、ＲｏｂｕｓｔウォーターマークＤＣ１及びＦｒａｇｉｌｅウォーターマークＤＣ２を検出する場合について述べたが、本発明はこれに限らず、例えばディジタルオーディオ信号を圧縮処理したストリーム信号から、ウォーターマークを検出する場合にも適用することができる。このようにすれば、圧縮ストリーム信号を再び伸長して元のディジタルオーディオ信号と同一の形式に変換する手間を省くことができ、処理を高速化することができる。
【００５７】
またディジタルオーディオ信号にＲｏｂｕｓｔウォーターマークＤＣ１及びＦｒａｇｉｌｅウォーターマークＤＣ２を埋め込む場合に、ＦｒａｇｉｌｅウォーターマークＤＣ２が所定の圧縮処理に対しては消去されない形態で埋め込むようにしても良い。
【００５８】
この場合、ＦｒａｇｉｌｅウォーターマークＤＣ２は、正当な配布時の圧縮処理によって消去されない形態で埋め込んでおき、当該ウォーターマーク付きディジタルオーディオ信号をＭＰ３等の他の圧縮処理を行ったときにＦｒａｇｉｌｅ ウォーターマークＤＣ２が消去される形態で埋め込むようにすれば良い。具体的には、正当な配布時に用いる圧縮処理の圧縮特性と、他の圧縮処理の圧縮特性とを比較して、配布時に用いる圧縮処理では削除されないが、他の圧縮処理では圧縮処理時に上述した最小可聴限界及びマスキング・スレッショルドに基づいてディジタルオーディオ信号に対して行われる量子化処理で削除される信号にＦｒａｇｉｌｅウォーターマークＤＣ２を埋め込むようにする。
【００５９】
さらに上述の実施の形態においては、ディジタルオーディオ信号にＲｏｂｕｓｔウォーターマークＤＣ１及びＦｒａｇｉｌｅウォーターマークＤＣ２を共に埋め込むようにした場合について述べたが、本発明はこれに限らず、ディジタルオーディオ信号にＲｏｂｕｓｔウォーターマークＤＣ１を埋め込んでおき、圧縮処理を行った後で当該圧縮処理したストリーム信号に対してＦｒａｇｉｌｅウォーターマークＤＣ２を埋め込むようにしても良い。この結果、コーデック（Ｃｏｄｅｃ）の特性を考慮することなくＦｒａｇｉｌｅウォーターマークＤＣ２の圧縮処理による消去の度合いを限りなく低いレベルで容易に設定することができる。
【００６０】
さらに上述の実施の形態においては、ＦｒａｇｉｌｅウォーターマークＤＣ２をＭＰ３等の圧縮処理後に完全に削除される位置及びレベルでディジタルオーディオ信号に埋め込むように構成した場合について述べたが、本発明はこれに限らず、ＭＰ３等の圧縮処理後であっても完全にＦｒａｇｉｌｅウォーターマークＤＣ２を削除しなくても良い。
【００６１】
すなわち検出側においてＦｒａｇｉｌｅウォーターマークＤＣ２の検出レベルが所定の閾値以下であるか否かを判断し、当該閾値未満の場合には、検出対象であるディジタルオーディオ信号が不正にコピーされたものであると判断するように構成しておく一方、当該閾値以上の場合には、検出対象であるディジタルオーディオ信号が正当にコピーされたものであると判断するように構成しておくようにすれば良い。要は、ＲｏｂｕｓｔウォーターマークＤＣ１及びＦｒａｇｉｌｅ ウォーターマークＤＣ２が埋め込まれたディジタルオーディオ信号にＭＰ３等の圧縮処理を行った後に、検出側において、ＦｒａｇｉｌｅウォーターマークＤＣ２の残存率の低下度に基づいて当該圧縮処理が行われた事実を検知することができれば、ディジタルオーディオ信号に対してＦｒａｇｉｌｅウォーターマークＤＣ２をどのような構成で埋め込むようにしても良い。
【００６２】
さらに上述の実施の形態においては、ＭＰ３の圧縮特性である心理聴覚モデルを用いて、ディジタルオーディオ信号にＲｏｂｕｓｔウォーターマークＤＣ１及びＦｒａｇｉｌｅウォーターマークＤＣ２を埋め込む場合について述べたが、本発明はこれに限らず、例えばＭＰＥＧ−ＡＡＣ、ＡＴＲＡＣ、ＡＴＲＡＣ２、ＡＴＲＡＣ３、Ｄｏｌｂｙ ＡＣ３、ＭＳ（Ｍｉｃｒｏｓｏｆｔ) Ａｕｄｉｏ、Ｔｗｉｎ ＶＱ等の種々の圧縮規格に基づく心理聴覚モデル、又はこれらの組み合わせた心理聴覚モデルを用いる場合に広く適用することができる。このようにすれば、より多くの圧縮規格に対応した汎用的なＦｒａｇｉｌｅウォーターマークを実現することができる。
【００６３】
また上述の実施の形態においては、ウォーターマークエンコーダ１においてＲｏｂｕｓｔウォーターマークエンコード部及びＦｒａｇｉｌｅウォーターマークエンコード部を統合した構成について述べたが、本発明はこれに限らず、例えばＲｏｂｕｓｔウォーターマークエンコード部及びＦｒａｇｉｌｅウォーターマークエンコード部を直列に接続した構成、又はＲｏｂｕｓｔウォーターマークエンコード部及びＦｒａｇｉｌｅウォーターマークエンコード部を並列に接続する構成を適用することもできる。
【００６４】
また上述の実施の形態においては、ウォーターマークデコーダ６においてＲｏｂｕｓｔウォーターマークデコード部及びＦｒａｇｉｌｅウォーターマークデコード部を統合した構成について述べたが、本発明はこれに限らず、例えばＲｏｂｕｓｔウォーターマークデコード部及びＦｒａｇｉｌｅウォーターマークデコード部を直列に接続した構成、又はＲｏｂｕｓｔウォーターマークデコード部及びＦｒａｇｉｌｅウォーターマークデコード部を並列に接続する構成を適用することもできる。
【００６５】
また上述の実施の形態においては、著作権情報及び圧縮履歴情報をディジタルオーディオ信号に重畳する場合について述べたが、本発明はこれに限らず、必要に応じて種々の情報を重畳して伝送する場合に本発明を適用することができる。
【００６６】
また上述の実施の形態においては、ウォーターマークエンコーダ１によってウォーターマークの埋め込み処理が行われる場合について述べたが、本発明はこれに限らず、ウォーターマークエンコーダ１の各機能を実現するプログラムを格納したプログラム格納媒体（フロッピィディスク、光ディスク等）からこれらのプログラムを情報処理装置（コンピュータ）にロードして各機能を実行させるようにしても良い。
【００６７】
例えば図１２に示すような通常のコンピュータ７０においては、全体の制御を司るＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）７１と、各種ソフトウェアが格納されたＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）７２と、ＣＰＵ７１のワークメモリとしてのＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）７３と、各種データが格納されたハードディスク装置７４と、ＣＰＵ７１がネットワークを介して外部と通信するためのインターフェースである通信ポート７５とを有し、これらがバス７６を介して相互に接続されることにより構成されている。
【００６８】
この場合コンピュータ７０では、上述の各機能を実現するプログラムがハードディスク装置７４又はＲＯＭ７２に格納されており、実行時にＣＰＵ７１がＲＡＭ７３に格納されているワークメモリに基づいて、対応する各機能部を実現するようにすれば良い。またコンピュータ７０では、上述の各機能を実現するプログラムを通信ポート７５を介してインストールするようにしても良い。
【００６９】
【産業上の利用の可能性】
本発明は信号処理装置及びその方法並びにプログラム格納媒体に関し、例えば音楽データ等の著作権を保護する場合に適用することができる。
【００７０】
【図面の簡単な説明】
【図１】本発明によるウォーターマークを利用したコピー制御システムの全体構成を示すブロック図である。
【図２】コピー制御システムにおけるコピー制御の適用例を示す略線図である。
【図３】本発明の実施の形態によるウォーターマークエンコーダの構成を示すブロック図である。
【図４】ウォーターマーク重畳原理の説明に供する略線図である。
【図５】心理聴覚分析部の処理の説明に供する略線図である。
【図６】心理聴覚分析部の処理の説明に供する略線図である。
【図７】心理聴覚符号化の説明に供する略線図である。
【図８】本発明によるウォーターマークのエンコード例を示す略線図である。
【図９】ウォーターマークエンコーダの処理手順を示すフローチャートである。
【図１０】ウォーターマークデコーダの構成を示すブロック図である。
【図１１】ウォーターマークデコーダの処理手順を示すフローチャートである。
【図１２】コンピュータの内部構成を示すブロック図である。
【００７１】
【符号の説明】
１……ウォーターマークエンコーダ、２……光ディスク、３……ＭＰ３エンコーダ、４……ネットワーク、５……パーソナルコンピュータ、６……ウォーターマークデコーダ、７……ＬＣＭ。
Claims (9)
- 圧縮処理で用いられる心理聴覚モデルに基づいて所定の入力信号を心理聴覚分析し、当該分析結果に基づいて、当該入力信号における当該圧縮処理でサンプルされる周波数帯域及びその音圧レベルの範囲に重なるように当該圧縮処理に対する圧縮耐性の大きな電子透かし情報を埋め込むべき周波数帯域及びその音圧レベルを算出し、当該入力信号における当該圧縮処理で削られる周波数帯域及びその音圧レベルの範囲に収まるように当該圧縮処理に対する圧縮耐性の小さな電子透かし情報を埋め込むべき周波数帯域及びその音圧レベルを算出する心理聴覚分析手段と、
上記心理聴覚分析手段による算出結果に基づいて、上記入力信号に上記圧縮耐性の大きな電子透かし情報及び上記圧縮耐性の小さな電子透かし情報を重畳する重畳手段と
を具え、
上記圧縮耐性の大きな電子透かし情報及び上記圧縮耐性の小さな電子透かし情報は、
上記入力信号をコピーする情報処理装置において、上記圧縮耐性の大きな電子透かし情報に基づいて上記入力信号に関する著作権情報を検出し、上記圧縮耐性の小さな電子透かし情報の除去又は減少に基づいて上記入力信号の圧縮履歴を判断し、当該著作権情報と当該圧縮履歴とに基づいて上記入力信号のコピー制御を行うために利用される
信号処理装置。 - 上記心理聴覚分析手段は、
圧縮処理で用いられる最小可聴限界に基づいて上記入力信号を心理聴覚分析する
請求項１に記載の信号処理装置。 - 上記心理聴覚分析手段は、
圧縮処理で用いられるマスキング効果に基づいて上記入力信号を心理聴覚分析する
請求項１に記載の信号処理装置。 - 圧縮処理で用いられる心理聴覚モデルに基づいて所定の入力信号を心理聴覚分析し、当該分析結果に基づいて、当該入力信号における当該圧縮処理でサンプルされる周波数帯域及びその音圧レベルの範囲に重なるように当該圧縮処理に対する圧縮耐性の大きな電子透かし情報を埋め込むべき周波数帯域及びその音圧レベルを算出し、当該入力信号における当該圧縮処理で削られる周波数帯域及びその音圧レベルの範囲に収まるように当該圧縮処理に対する圧縮耐性の小さな電子透かし情報を埋め込むべき周波数帯域及びその音圧レベルを算出する心理聴覚分析ステップと、
上記心理聴覚分析ステップによる算出結果に基づいて、上記入力信号に上記圧縮耐性の大きな電子透かし情報及び上記圧縮耐性の小さな電子透かし情報を重畳する重畳ステップと
を具え、
上記圧縮耐性の大きな電子透かし情報及び上記圧縮耐性の小さな電子透かし情報は、
上記入力信号をコピーする情報処理装置において、上記圧縮耐性の大きな電子透かし情報に基づいて上記入力信号に関する著作権情報を検出し、上記圧縮耐性の小さな電子透かし情報の除去又は減少に基づいて上記入力信号の圧縮履歴を判断し、当該著作権情報と当該圧縮履歴とに基づいて上記入力信号のコピー制御を行うために利用される
信号処理方法。 - 上記心理聴覚分析ステップでは、
圧縮処理で用いられる最小可聴限界に基づいて上記入力信号を心理聴覚分析する
請求項４に記載の信号処理方法。 - 上記心理聴覚分析ステップでは、
圧縮処理で用いられるマスキング効果に基づいて上記入力信号を心理聴覚分析する
請求項４に記載の信号処理方法。 - 圧縮処理で用いられる心理聴覚モデルに基づいて所定の入力信号を心理聴覚分析し、当該分析結果に基づいて、当該入力信号における当該圧縮処理でサンプルされる周波数帯域及びその音圧レベルの範囲に重なるように当該圧縮処理に対する圧縮耐性の大きな電子透かし情報を埋め込むべき周波数帯域及びその音圧レベルを算出し、当該入力信号における当該圧縮処理で削られる周波数帯域及びその音圧レベルの範囲に収まるように当該圧縮処理に対する圧縮耐性の小さな電子透かし情報を埋め込むべき周波数帯域及びその音圧レベルを算出する心理聴覚分析ステップと、
上記心理聴覚分析ステップによる算出結果に基づいて、上記入力信号に上記圧縮耐性の大きな電子透かし情報及び上記圧縮耐性の小さな電子透かし情報を重畳する重畳ステップと
を含み、
上記圧縮耐性の大きな電子透かし情報及び上記圧縮耐性の小さな電子透かし情報は、
上記入力信号をコピーする情報処理装置において、上記圧縮耐性の大きな電子透かし情報に基づいて上記入力信号に関する著作権情報を検出し、上記圧縮耐性の小さな電子透かし情報の除去又は減少に基づいて上記入力信号の圧縮履歴を判断し、当該著作権情報と当該圧縮履歴とに基づいて上記入力信号のコピー制御を行うために利用される
プログラムを信号処理装置に実行させるプログラム格納媒体。 - 上記心理聴覚分析ステップでは、
圧縮処理で用いられる最小可聴限界に基づいて上記入力信号を心理聴覚分析する
請求項７に記載のプログラム格納媒体。 - 上記心理聴覚分析ステップでは、
圧縮処理で用いられるマスキング効果に基づいて上記入力信号を心理聴覚分析する
請求項７に記載のプログラム格納媒体。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP31032499 | 1999-10-29 | ||
| PCT/JP2000/007593 WO2001031629A1 (fr) | 1999-10-29 | 2000-10-27 | Dispositif de traitement de signaux et procede associe et support de stockage de programme |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP4582384B2 true JP4582384B2 (ja) | 2010-11-17 |
Family
ID=18003874
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001534134A Expired - Fee Related JP4582384B2 (ja) | 1999-10-29 | 2000-10-27 | 信号処理装置及びその方法並びにプログラム格納媒体 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US7272718B1 (ja) |
| EP (1) | EP1202250A4 (ja) |
| JP (1) | JP4582384B2 (ja) |
| WO (1) | WO2001031629A1 (ja) |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8144368B2 (en) | 1998-01-20 | 2012-03-27 | Digimarc Coporation | Automated methods for distinguishing copies from original printed objects |
| US6744906B2 (en) | 1995-05-08 | 2004-06-01 | Digimarc Corporation | Methods and systems using multiple watermarks |
| US7006661B2 (en) | 1995-07-27 | 2006-02-28 | Digimarc Corp | Digital watermarking systems and methods |
| US6850626B2 (en) | 1998-01-20 | 2005-02-01 | Digimarc Corporation | Methods employing multiple watermarks |
| US6633654B2 (en) | 2000-06-19 | 2003-10-14 | Digimarc Corporation | Perceptual modeling of media signals based on local contrast and directional edges |
| US8094869B2 (en) | 2001-07-02 | 2012-01-10 | Digimarc Corporation | Fragile and emerging digital watermarks |
| US7728048B2 (en) | 2002-12-20 | 2010-06-01 | L-1 Secure Credentialing, Inc. | Increasing thermal conductivity of host polymer used with laser engraving methods and compositions |
| EP1595398A1 (en) * | 2003-02-10 | 2005-11-16 | Koninklijke Philips Electronics N.V. | Import control of content |
| EP1614064B1 (en) | 2003-04-16 | 2010-12-08 | L-1 Secure Credentialing, Inc. | Three dimensional data storage |
| CN101136202B (zh) * | 2006-08-29 | 2011-05-11 | 华为技术有限公司 | 音频信号处理系统、方法以及音频信号收发装置 |
| WO2008114432A1 (ja) * | 2007-03-20 | 2008-09-25 | Fujitsu Limited | データ埋め込み装置、データ抽出装置、及び音声通信システム |
| WO2010018929A2 (ko) | 2008-08-14 | 2010-02-18 | 에스케이 텔레콤주식회사 | 가청주파수 대역에서의 데이터 송수신 시스템 및 방법 |
| US9160988B2 (en) * | 2009-03-09 | 2015-10-13 | The Nielsen Company (Us), Llc | System and method for payload encoding and decoding |
| US8522032B2 (en) * | 2010-03-30 | 2013-08-27 | Disney Enterprises, Inc. | System and method to prevent audio watermark detection |
| JP6007481B2 (ja) * | 2010-11-25 | 2016-10-12 | ヤマハ株式会社 | マスカ音生成装置、マスカ音信号を記憶した記憶媒体、マスカ音再生装置、およびプログラム |
| US10573329B2 (en) * | 2017-05-31 | 2020-02-25 | Dell Products L.P. | High frequency injection for improved false acceptance reduction |
| CN110110574A (zh) * | 2018-01-30 | 2019-08-09 | 普天信息技术有限公司 | 心理压力参数的获取方法和标注方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11232779A (ja) * | 1997-11-20 | 1999-08-27 | Toshiba Corp | コピー防止装置 |
| JP2000058928A (ja) * | 1998-08-12 | 2000-02-25 | Shin Aizawa | ブラウン官の三原色発光ダイオードの改良 |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6760463B2 (en) * | 1995-05-08 | 2004-07-06 | Digimarc Corporation | Watermarking methods and media |
| US6061793A (en) * | 1996-08-30 | 2000-05-09 | Regents Of The University Of Minnesota | Method and apparatus for embedding data, including watermarks, in human perceptible sounds |
| US6272634B1 (en) * | 1996-08-30 | 2001-08-07 | Regents Of The University Of Minnesota | Digital watermarking to resolve multiple claims of ownership |
| US6031914A (en) * | 1996-08-30 | 2000-02-29 | Regents Of The University Of Minnesota | Method and apparatus for embedding data, including watermarks, in human perceptible images |
| US6282299B1 (en) * | 1996-08-30 | 2001-08-28 | Regents Of The University Of Minnesota | Method and apparatus for video watermarking using perceptual masks |
| US6330672B1 (en) * | 1997-12-03 | 2001-12-11 | At&T Corp. | Method and apparatus for watermarking digital bitstreams |
| US6332194B1 (en) * | 1998-06-05 | 2001-12-18 | Signafy, Inc. | Method for data preparation and watermark insertion |
| US6154571A (en) * | 1998-06-24 | 2000-11-28 | Nec Research Institute, Inc. | Robust digital watermarking |
| US6591365B1 (en) * | 1999-01-21 | 2003-07-08 | Time Warner Entertainment Co., Lp | Copy protection control system |
| US6952774B1 (en) * | 1999-05-22 | 2005-10-04 | Microsoft Corporation | Audio watermarking with dual watermarks |
| FR2816153B1 (fr) * | 2000-10-27 | 2002-12-20 | Canon Kk | Procede de controle prealable de la detectabilite d'un signal de marquage |
| US20040059918A1 (en) * | 2000-12-15 | 2004-03-25 | Changsheng Xu | Method and system of digital watermarking for compressed audio |
| US7043019B2 (en) * | 2001-02-28 | 2006-05-09 | Eastman Kodak Company | Copy protection for digital motion picture image data |
-
2000
- 2000-10-27 US US09/869,170 patent/US7272718B1/en not_active Expired - Fee Related
- 2000-10-27 EP EP00970176A patent/EP1202250A4/en not_active Withdrawn
- 2000-10-27 JP JP2001534134A patent/JP4582384B2/ja not_active Expired - Fee Related
- 2000-10-27 WO PCT/JP2000/007593 patent/WO2001031629A1/ja active Application Filing
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11232779A (ja) * | 1997-11-20 | 1999-08-27 | Toshiba Corp | コピー防止装置 |
| JP2000058928A (ja) * | 1998-08-12 | 2000-02-25 | Shin Aizawa | ブラウン官の三原色発光ダイオードの改良 |
Non-Patent Citations (1)
| Title |
|---|
| JPN6010014283, Ｍｉｔｃｈｅｌｌ Ｄ． Ｓｗａｎｓｏｎ， Ｂｉｎ Ｚｈｕ， Ａｈｍｅｄ Ｈ． Ｔｅｗｆｉｋ ａｎｄ Ｌａｕｒｅｎｃｅ Ｂｏｎｅｙ, "Ｒｏｂｕｓｔ ａｕｄｉｏ ｗａｔｅｒｍａｒｋｉｎｇ ｕｓｉｎｇ ｐｅｒｃｅｐｔｕａｌ ｍａｓｋｉｎｇ", Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ, 19980528, Ｖｏｌｕｍｅ ６６， Ｉｓｓｕｅ ３, ｐ．３３７−３５５, EP, Ｅｕｒｏｐｅａｎ Ａｓｓｏｃｉａｔｉｏｎ ｆｏｒ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ * |
Also Published As
| Publication number | Publication date |
|---|---|
| EP1202250A4 (en) | 2006-12-06 |
| EP1202250A1 (en) | 2002-05-02 |
| US7272718B1 (en) | 2007-09-18 |
| WO2001031629A1 (fr) | 2001-05-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4582384B2 (ja) | 信号処理装置及びその方法並びにプログラム格納媒体 | |
| US6738744B2 (en) | Watermark detection via cardinality-scaled correlation | |
| US7552336B2 (en) | Watermarking with covert channel and permutations | |
| US7366907B1 (en) | Information processing device and method and program storage medium | |
| US20040059918A1 (en) | Method and system of digital watermarking for compressed audio | |
| Foo et al. | An adaptive audio watermarking system | |
| JP3856652B2 (ja) | 隠れデータ埋込み方法および装置 | |
| JP2001188549A (ja) | 情報処理装置及びその方法並びにプログラム格納媒体 | |
| Qiao et al. | Noninvertible watermarking methods for mpeg-encoded audio | |
| Czerwinski et al. | Digital music distribution and audio watermarking | |
| CN101290773B (zh) | 自适应的mp3数字水印嵌入和提取方法 | |
| Wang et al. | A new audio watermarking based on modified discrete cosine transform of MPEG/audio layer III | |
| KR20060023974A (ko) | 서브-대역 필터링을 사용하여 워터마크를 임베딩하는 장치및 방법 | |
| Dittman et al. | Advanced audio watermarking benchmarking | |
| Petrovic et al. | Data hiding within audio signals | |
| Xu et al. | Digital audio watermarking and its application in multimedia database | |
| Lin et al. | Audio watermarking techniques | |
| US7773751B2 (en) | Apparatus and method for controlling the copy and play of a digital audio contents | |
| Kirbiz et al. | Decode-time forensic watermarking of AAC bitstreams | |
| Zmudzinski et al. | Psycho-acoustic model-based message authentication coding for audio data | |
| Takagi et al. | Light weight MP3 watermarking method for mobile terminals | |
| Kirbiz et al. | Forensic watermarking during AAC playback | |
| Ghorbani et al. | Audio content security: attack analysis on audio watermarking | |
| JP2001127643A (ja) | 信号処理装置及びその方法並びにプログラム格納媒体 | |
| Salah et al. | Survey of imperceptible and robust digital audio watermarking systems |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070216 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100318 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100422 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100805 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100818 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130910 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |