JP2003263183A - 電子透かしシステム - Google Patents
電子透かしシステムInfo
- Publication number
- JP2003263183A JP2003263183A JP2002065606A JP2002065606A JP2003263183A JP 2003263183 A JP2003263183 A JP 2003263183A JP 2002065606 A JP2002065606 A JP 2002065606A JP 2002065606 A JP2002065606 A JP 2002065606A JP 2003263183 A JP2003263183 A JP 2003263183A
- Authority
- JP
- Japan
- Prior art keywords
- digital watermark
- signal
- audio signal
- embedded
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000005236 sound signal Effects 0.000 claims abstract description 97
- 230000004044 response Effects 0.000 claims abstract description 50
- 230000003111 delayed effect Effects 0.000 claims abstract description 10
- 238000000034 method Methods 0.000 claims description 29
- 238000012545 processing Methods 0.000 claims description 26
- 238000001514 detection method Methods 0.000 claims description 13
- 230000007480 spreading Effects 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 3
- 239000000284 extract Substances 0.000 abstract description 3
- 230000000875 corresponding effect Effects 0.000 description 18
- 238000010586 diagram Methods 0.000 description 11
- 230000000873 masking effect Effects 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 6
- 238000009792 diffusion process Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005316 response function Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04H—BROADCAST COMMUNICATION
- H04H20/00—Arrangements for broadcast or for distribution combined with broadcast
- H04H20/28—Arrangements for simultaneous broadcast of plural pieces of information
- H04H20/30—Arrangements for simultaneous broadcast of plural pieces of information by a single channel
- H04H20/31—Arrangements for simultaneous broadcast of plural pieces of information by a single channel using in-band signals, e.g. subsonic or cue signal
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/018—Audio watermarking, i.e. embedding inaudible data in the audio signal
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
(57)【要約】
【課題】 原音信号の品質低下を招くことなく電子透か
し情報を挿入する。 【解決手段】 電子透かし埋込装置と電子透かし検出装
置とを備えた電子透かしシステムにおいて、電子透かし
埋込装置は、入力された原音声信号ａを構成する各音信
号２０に対して埋込むべき電子透かし情報ｂに対応した
時間Δだけ遅延したエコー信号（インパルス応答信号）
を時間軸上で拡散して原音声信号ａに挿入して埋込済音
声信号ｄ2として出力する。また、電子透かし検出装置
は、入力された埋込済音声信号ｄ2を時間軸上で逆拡散
して、この逆拡散されたエコー信号（インパルス応答信
号）の発生時刻Δから電子透かし情報ｂを抽出する。
し情報を挿入する。 【解決手段】 電子透かし埋込装置と電子透かし検出装
置とを備えた電子透かしシステムにおいて、電子透かし
埋込装置は、入力された原音声信号ａを構成する各音信
号２０に対して埋込むべき電子透かし情報ｂに対応した
時間Δだけ遅延したエコー信号（インパルス応答信号）
を時間軸上で拡散して原音声信号ａに挿入して埋込済音
声信号ｄ2として出力する。また、電子透かし検出装置
は、入力された埋込済音声信号ｄ2を時間軸上で逆拡散
して、この逆拡散されたエコー信号（インパルス応答信
号）の発生時刻Δから電子透かし情報ｂを抽出する。
Description
【０００１】
【発明の属する技術分野】本発明は、原音声信号に電子
透かし情報を埋込む電子透かし埋込装置と、原音声信号
に埋込まれ電子透かし情報を検出する電子透かし検出装
置とを備えた電子透かしシステムに関する。
透かし情報を埋込む電子透かし埋込装置と、原音声信号
に埋込まれ電子透かし情報を検出する電子透かし検出装
置とを備えた電子透かしシステムに関する。
【０００２】
【従来の技術】近年、市販されているＣＤ（コンパクト
・ディスク）やＤＶＤ（デジタル・バーサタイル・ディ
スク）等の他に、デジタルＴＶ放送やインターネット等
の通信メディアを介して、一般の人が簡単に、これらで
提供されるデジタルの音声情報（コンテンツ）のデジタ
ル録音、及びこのデジタル録音を利用した複写（コピ
ー）が可能になってきた。デジタル録音においては、品
質劣化を来たすことなく複写（コピー）が可能であるの
で、著作権上の問題がより深刻になる。
・ディスク）やＤＶＤ（デジタル・バーサタイル・ディ
スク）等の他に、デジタルＴＶ放送やインターネット等
の通信メディアを介して、一般の人が簡単に、これらで
提供されるデジタルの音声情報（コンテンツ）のデジタ
ル録音、及びこのデジタル録音を利用した複写（コピ
ー）が可能になってきた。デジタル録音においては、品
質劣化を来たすことなく複写（コピー）が可能であるの
で、著作権上の問題がより深刻になる。
【０００３】この違法複写（コピー）を監視する手法と
して、音声情報（コンテンツ）の提供者は、この音声情
報（コンテンツ）に、視聴には影響のない製造番号等か
らなる電子透かし情報を埋込むことが提唱されている。
して、音声情報（コンテンツ）の提供者は、この音声情
報（コンテンツ）に、視聴には影響のない製造番号等か
らなる電子透かし情報を埋込むことが提唱されている。
【０００４】デジタルの音声信号に電子透かし情報を埋
込む技術として種々の手法が提案されているが、代表的
な手法として、（ａ）単発エコー手法、及び（ｂ）ＰＮ
（擬似ランダム雑音）系列手法がある。以下、この各手
法の基本動作を説明する。
込む技術として種々の手法が提案されているが、代表的
な手法として、（ａ）単発エコー手法、及び（ｂ）ＰＮ
（擬似ランダム雑音）系列手法がある。以下、この各手
法の基本動作を説明する。
【０００５】（ａ） 単発エコー手法
この単発エコー手法は、図５、図６に示すように、原音
声信号ａに対して、この原音声信号ａを構成する各音信
号１に対してデジタルの電子透かし情報ｂの［１］又は
［０］に対応した時間（遅延時間）Δ1又はΔ2だけ遅延
した時刻にエコー信号２を挿入する。なお、実際の時間
Δ1、Δ2は、数ｍｓ（ミリ秒）程度であり、非常に短
い。
声信号ａに対して、この原音声信号ａを構成する各音信
号１に対してデジタルの電子透かし情報ｂの［１］又は
［０］に対応した時間（遅延時間）Δ1又はΔ2だけ遅延
した時刻にエコー信号２を挿入する。なお、実際の時間
Δ1、Δ2は、数ｍｓ（ミリ秒）程度であり、非常に短
い。
【０００６】具体的には、図６の電子透かし埋込装置に
示すように、入力された原音声信号ａは時間マスキング
部４で各音信号１の出力時刻ｔ0が検出されて、この出
力時刻ｔ0がインパルス応答信号発生部４へ印加され
る。インパルス応答信号発生部４は、入力された出力時
刻ｔ0に対して、電子透かし情報ｂの［１］又は［０］
に対応した時間Δ1又はΔ2だけ遅延した時刻で、エコー
信号２としてのインパルス応答信号ｃをたたみ込み部５
へ送出する。たたみ込み部５は、入力された原音声信号
ａとインパルス応答信号ｃとのたたみ込み処理を実施
し、たたみ込み処理結果を図５に示す埋込済音声信号ｄ
として出力する。
示すように、入力された原音声信号ａは時間マスキング
部４で各音信号１の出力時刻ｔ0が検出されて、この出
力時刻ｔ0がインパルス応答信号発生部４へ印加され
る。インパルス応答信号発生部４は、入力された出力時
刻ｔ0に対して、電子透かし情報ｂの［１］又は［０］
に対応した時間Δ1又はΔ2だけ遅延した時刻で、エコー
信号２としてのインパルス応答信号ｃをたたみ込み部５
へ送出する。たたみ込み部５は、入力された原音声信号
ａとインパルス応答信号ｃとのたたみ込み処理を実施
し、たたみ込み処理結果を図５に示す埋込済音声信号ｄ
として出力する。
【０００７】この電子透かし埋込装置で作成された埋込
済音声信号ｄから電子透かし情報ｂを検出する電子透か
し検出装置は図示していないが、この埋込済音声信号ｄ
の自己相関を取ると、電子透かし情報ｂの［１］又は
［０］に対応した時間（遅延時間）Δ1又はΔ2にピーク
が現れるので、埋込済音声信号ｄに埋込まれた電子透か
し情報ｂを検出できる。
済音声信号ｄから電子透かし情報ｂを検出する電子透か
し検出装置は図示していないが、この埋込済音声信号ｄ
の自己相関を取ると、電子透かし情報ｂの［１］又は
［０］に対応した時間（遅延時間）Δ1又はΔ2にピーク
が現れるので、埋込済音声信号ｄに埋込まれた電子透か
し情報ｂを検出できる。
【０００８】なお、原音信号ａが音楽等の一定時間連続
した信号の場合は、原音信号ａ全体を電子透かし情報ｂ
の［１］又は［０］に対応した時間Δ1又はΔ2だけ遅延
させた状態に近似する、エコー信号２としてのインパル
ス応答信号ｃを連続して出力させれば、時間マスキング
部３は必ずしも設ける必要はない。
した信号の場合は、原音信号ａ全体を電子透かし情報ｂ
の［１］又は［０］に対応した時間Δ1又はΔ2だけ遅延
させた状態に近似する、エコー信号２としてのインパル
ス応答信号ｃを連続して出力させれば、時間マスキング
部３は必ずしも設ける必要はない。
【０００９】（ｂ） ＰＮ（擬似ランダム雑音）系列手
法 このＰＮ系列手法は、図９に示すように、原音声信号ａ
に対して、この原音声信号ａを構成する各音信号１に対
してデジタルの電子透かし情報ｂの［１］又は［０］に
対応したＰＮ系列信号ｅ［ＰＮ1又はＰＮ0］を周波数軸
上で挿入する。
法 このＰＮ系列手法は、図９に示すように、原音声信号ａ
に対して、この原音声信号ａを構成する各音信号１に対
してデジタルの電子透かし情報ｂの［１］又は［０］に
対応したＰＮ系列信号ｅ［ＰＮ1又はＰＮ0］を周波数軸
上で挿入する。
【００１０】具体的には、図７の電子透かし埋込装置に
示すように、入力された原音声信号ａはフーリエ変換部
６で周波数軸領域にフーリエ変換されて周波数マスキン
グ部７へ印加されるとともに加算部１０へ印加される。
ＰＮ系列発生器９は電子透かし情報ｂの［１］又は
［０］に対応したＰＮ系列信号ｅ［ＰＮ1又はＰＮ0］を
乗算部８へ送出する。具体的には、ＰＮ系列［ＰＮ1又
はＰＮ0］を構成する（２m―１ ｍ；正整数）個の各ビ
ット値が全ての周波数又は広範囲に亘る周波数ω1、
ω2、ω3、…、ωMにおけるサンプル値にそれぞれ加算
される。
示すように、入力された原音声信号ａはフーリエ変換部
６で周波数軸領域にフーリエ変換されて周波数マスキン
グ部７へ印加されるとともに加算部１０へ印加される。
ＰＮ系列発生器９は電子透かし情報ｂの［１］又は
［０］に対応したＰＮ系列信号ｅ［ＰＮ1又はＰＮ0］を
乗算部８へ送出する。具体的には、ＰＮ系列［ＰＮ1又
はＰＮ0］を構成する（２m―１ ｍ；正整数）個の各ビ
ット値が全ての周波数又は広範囲に亘る周波数ω1、
ω2、ω3、…、ωMにおけるサンプル値にそれぞれ加算
される。
【００１１】周波数マスキング部７は、例えば入力信号
の周波数分布から人間の聴覚マスキング特性を考慮して
求まる周波数マスキング特性に基づき、ＰＮ系列信号ｅ
［ＰＮ1又はＰＮ0］の各周波数成分に重み付けをする周
波数重み付け特性を乗算部８へ印加する。
の周波数分布から人間の聴覚マスキング特性を考慮して
求まる周波数マスキング特性に基づき、ＰＮ系列信号ｅ
［ＰＮ1又はＰＮ0］の各周波数成分に重み付けをする周
波数重み付け特性を乗算部８へ印加する。
【００１２】乗算部８は、ＰＮ系列信号ｅ［ＰＮ1又は
ＰＮ0］に対して周波数重み付け特性で重み付け演算を
実施して加算部１０へ印加する。
ＰＮ0］に対して周波数重み付け特性で重み付け演算を
実施して加算部１０へ印加する。
【００１３】加算部１０は、乗算部８から出力され周波
数重み付けされたＰＮ系列信号ｅ［ＰＮ1又はＰＮ0］を
フーリエ変換された原音声信号ａに加算する。ＰＮ系列
信号ｅ［ＰＮ1又はＰＮ0］が加算されたフーリエ変換さ
れた原音声信号ａはフーリエ逆変換部１１で時間軸領域
にフーリエ逆変換されて、図９に示す埋込済音声信号ｄ
1として出力される。
数重み付けされたＰＮ系列信号ｅ［ＰＮ1又はＰＮ0］を
フーリエ変換された原音声信号ａに加算する。ＰＮ系列
信号ｅ［ＰＮ1又はＰＮ0］が加算されたフーリエ変換さ
れた原音声信号ａはフーリエ逆変換部１１で時間軸領域
にフーリエ逆変換されて、図９に示す埋込済音声信号ｄ
1として出力される。
【００１４】電子透かし検出装置においては、図８に示
すように、入力された埋込済音声信号ｄ1は、フーリエ
変換部１２で周波数軸領域にフーリエ変換されて相関算
出部１３へ入力される。相関算出部１３は、フーリエ変
換された埋込済音声信号ｄ1とＰＮ系列発生器１４から
出力された、埋込に用いたＰＮ系列信号ｅと同一のＰＮ
系列信号ｅ［ＰＮ1又はＰＮ0］との間の相関演算を行
い、相関演算結果を相関信号として２値化部１５へ送出
する。２値化部１５は、相関信号を「１」又は「０」へ
２値化を行い、２値化された値を電子透かし情報ｂとし
て出力する。
すように、入力された埋込済音声信号ｄ1は、フーリエ
変換部１２で周波数軸領域にフーリエ変換されて相関算
出部１３へ入力される。相関算出部１３は、フーリエ変
換された埋込済音声信号ｄ1とＰＮ系列発生器１４から
出力された、埋込に用いたＰＮ系列信号ｅと同一のＰＮ
系列信号ｅ［ＰＮ1又はＰＮ0］との間の相関演算を行
い、相関演算結果を相関信号として２値化部１５へ送出
する。２値化部１５は、相関信号を「１」又は「０」へ
２値化を行い、２値化された値を電子透かし情報ｂとし
て出力する。
【００１５】
【発明が解決しようとする課題】しかしながら、上述し
た各電子透かし手法においても、まだ解消すべき次のよ
うな課題があった。
た各電子透かし手法においても、まだ解消すべき次のよ
うな課題があった。
【００１６】すなわち、（ａ）の単発エコー手法におい
ては、原音声信号ａに対して埋込まれるデジタルの電子
透かし情報ｂは、図５に示すように、各音信号１とこの
各音信号１の時間的近傍に挿入された各エコー信号２
（インパルス応答信号ｃ）との間の時間Δ1、Δ2で示さ
れる。したがって、第３者が埋込済音声信号ｄから、例
えば自己相関算出手法を用いて、簡単に電子透かし情報
ｂを解読することが可能である。
ては、原音声信号ａに対して埋込まれるデジタルの電子
透かし情報ｂは、図５に示すように、各音信号１とこの
各音信号１の時間的近傍に挿入された各エコー信号２
（インパルス応答信号ｃ）との間の時間Δ1、Δ2で示さ
れる。したがって、第３者が埋込済音声信号ｄから、例
えば自己相関算出手法を用いて、簡単に電子透かし情報
ｂを解読することが可能である。
【００１７】すなわち、埋込済音声信号ｄに、電子透か
し情報ｂが埋込まれているか否かの情報、及び埋込まれ
ている電子透かし情報ｂの秘匿性が確保できないので、
第３者にこの情報が悪用される懸念がある、さらに、電
子透かし情報ｂの検出性能を高めるためには、ある程度
大きいレベルでエコー信号２（インパルス応答信号ｃ）
を挿入する必要があるので、埋込済音声信号ｄのＳＮ比
の低下等の信号品質が低下する懸念がある。
し情報ｂが埋込まれているか否かの情報、及び埋込まれ
ている電子透かし情報ｂの秘匿性が確保できないので、
第３者にこの情報が悪用される懸念がある、さらに、電
子透かし情報ｂの検出性能を高めるためには、ある程度
大きいレベルでエコー信号２（インパルス応答信号ｃ）
を挿入する必要があるので、埋込済音声信号ｄのＳＮ比
の低下等の信号品質が低下する懸念がある。
【００１８】また、（ｂ）のＰＮ（擬似ランダム雑音）
系列手法においては、［１］又は［０］の電子透かし情
報ｂをＰＮ系列信号ｅ［ＰＮ1又はＰＮ0］としてフーリ
エ変換された原音声信号ａに組込むようにしているの
で、埋込まれた電子透かし情報ｂの秘匿性を確保するこ
とが可能である。また、ＰＮ系列信号ｅ［ＰＮ1又はＰ
Ｎ0］は広い範囲に分布しているので、信号レベルを低
下できる。
系列手法においては、［１］又は［０］の電子透かし情
報ｂをＰＮ系列信号ｅ［ＰＮ1又はＰＮ0］としてフーリ
エ変換された原音声信号ａに組込むようにしているの
で、埋込まれた電子透かし情報ｂの秘匿性を確保するこ
とが可能である。また、ＰＮ系列信号ｅ［ＰＮ1又はＰ
Ｎ0］は広い範囲に分布しているので、信号レベルを低
下できる。
【００１９】この場合、各ＰＮ系列信号ｅ［ＰＮ1又は
ＰＮ0］は、結果的に、全ての周波数領域に亘って分布
している。しかし、音楽や会話の音声信号は人間の可聴
周波数領域の全域に亘って、かつ全時間帯に亘って分布
してはいない。したがって、原音声信号ａのレベルの低
い周波数領域や時間領域においては、埋込済音声信号ｄ
1において、埋込まれた電子透かし情報ｂが小さな雑音
となって聴こえる懸念がある。また、電子透かし情報ｂ
が埋込まれていることが視聴者に確認されてしまう懸念
がある。
ＰＮ0］は、結果的に、全ての周波数領域に亘って分布
している。しかし、音楽や会話の音声信号は人間の可聴
周波数領域の全域に亘って、かつ全時間帯に亘って分布
してはいない。したがって、原音声信号ａのレベルの低
い周波数領域や時間領域においては、埋込済音声信号ｄ
1において、埋込まれた電子透かし情報ｂが小さな雑音
となって聴こえる懸念がある。また、電子透かし情報ｂ
が埋込まれていることが視聴者に確認されてしまう懸念
がある。
【００２０】本発明はこのような事情に鑑みてなされた
ものであり、原音声信号に埋込まれた電子透かし情報の
秘匿性を十分確保できるとともに、原音声信号に埋込ま
れた電子透かし情報の周波数領域範囲を抑制でき、かつ
電子透かし情報を原音声信号の広い範囲に分布させるこ
とができ、結果的に電子透かし情報が埋込まれているこ
とを第３者に簡単に判別できないようにでき、原音声信
号の複写（コピー）に対する安全性を向上できる電子透
かしシステムを提供することを目的とする。
ものであり、原音声信号に埋込まれた電子透かし情報の
秘匿性を十分確保できるとともに、原音声信号に埋込ま
れた電子透かし情報の周波数領域範囲を抑制でき、かつ
電子透かし情報を原音声信号の広い範囲に分布させるこ
とができ、結果的に電子透かし情報が埋込まれているこ
とを第３者に簡単に判別できないようにでき、原音声信
号の複写（コピー）に対する安全性を向上できる電子透
かしシステムを提供することを目的とする。
【００２１】
【課題を解決するための手段】本発明は、入力した原音
声信号に電子透かし情報を埋込んで埋込済音声信号とし
て出力する電子透かし埋込装置と、入力した埋込済音声
信号からこの埋込済音声信号に埋込まれた電子透かし情
報を検出する電子透かし検出装置とを備えた電子透かし
システムに適用される。
声信号に電子透かし情報を埋込んで埋込済音声信号とし
て出力する電子透かし埋込装置と、入力した埋込済音声
信号からこの埋込済音声信号に埋込まれた電子透かし情
報を検出する電子透かし検出装置とを備えた電子透かし
システムに適用される。
【００２２】そして、上記課題を解消するために、本発
明の電子透かしシステムにおいては、電子透かし埋込装
置は、入力された原音声信号を構成する各音信号に対し
て埋込むべき電子透かし情報に対応した時間だけ遅延し
たエコー信号を時間軸上で拡散して原音声信号に挿入し
て埋込済音声信号として出力する。また、電子透かし検
出装置は、入力された埋込済音声信号を時間軸上で逆拡
散して、この逆拡散されたエコー信号の発生時刻から電
子透かし情報を抽出する。
明の電子透かしシステムにおいては、電子透かし埋込装
置は、入力された原音声信号を構成する各音信号に対し
て埋込むべき電子透かし情報に対応した時間だけ遅延し
たエコー信号を時間軸上で拡散して原音声信号に挿入し
て埋込済音声信号として出力する。また、電子透かし検
出装置は、入力された埋込済音声信号を時間軸上で逆拡
散して、この逆拡散されたエコー信号の発生時刻から電
子透かし情報を抽出する。
【００２３】このように構成された電子透かしシステム
においては、原音声信号に埋込むべき電子透かし情報
は、原音声信号を構成する各音信号に隣接して時間軸上
で拡散されたエコー信号の時間に対応する。したがっ
て、この時間拡散された各エコー信号を時間軸上で逆拡
散すると、電子透かし情報に対応する時間位置に一つの
エコー信号が現れるので、電子透かし情報を検出でき
る。
においては、原音声信号に埋込むべき電子透かし情報
は、原音声信号を構成する各音信号に隣接して時間軸上
で拡散されたエコー信号の時間に対応する。したがっ
て、この時間拡散された各エコー信号を時間軸上で逆拡
散すると、電子透かし情報に対応する時間位置に一つの
エコー信号が現れるので、電子透かし情報を検出でき
る。
【００２４】また、時間軸上で拡散配置された一つ一つ
のエコー信号の信号レベルは小さくとも、これらのエコ
ー信号を逆拡散してできる一つのエコー信号の信号レベ
ル（パワー）は大きくなるので、電子透かし情報の検出
精度は高くなる。よって、時間軸上で拡散配置する一つ
一つのエコー信号の信号レベルを小さく設定できるの
で、埋込済音声信号に含まれる電子透かし情報が視聴者
に雑音として聞き取られることはない。
のエコー信号の信号レベルは小さくとも、これらのエコ
ー信号を逆拡散してできる一つのエコー信号の信号レベ
ル（パワー）は大きくなるので、電子透かし情報の検出
精度は高くなる。よって、時間軸上で拡散配置する一つ
一つのエコー信号の信号レベルを小さく設定できるの
で、埋込済音声信号に含まれる電子透かし情報が視聴者
に雑音として聞き取られることはない。
【００２５】また、電子透かし情報は結果的に時間軸に
拡散された状態で原音声信号に埋込まれるので、第３者
が埋込済音声信号から電子透かし情報を簡単に抽出でき
ない。
拡散された状態で原音声信号に埋込まれるので、第３者
が埋込済音声信号から電子透かし情報を簡単に抽出でき
ない。
【００２６】さらに、各エコー信号は、周波数軸上に拡
散されていないので、通常の音声や会話では使用されな
い高周波領域に電子透かし情報のエコー信号が含まれる
ことはないので、埋込まれた電子透かし情報が小さな雑
音となって聴こえることはない。
散されていないので、通常の音声や会話では使用されな
い高周波領域に電子透かし情報のエコー信号が含まれる
ことはないので、埋込まれた電子透かし情報が小さな雑
音となって聴こえることはない。
【００２７】また、別の発明は、上述した電子透かしシ
ステムにおいて、電子透かし埋込装置に対して、入力さ
れた原音声信号を構成する各音信号に対して埋込むべき
電子透かし情報に対応した時間だけ遅延したインパルス
応答信号を出力するインパルス応答信号発生部と、イン
パルス応答信号発生部から出力されたインパルス応答信
号を所定周期長を有するＰＮ系列で時間軸上で拡散する
時間拡散部と、時間拡散部で時間軸上で拡散された各イ
ンパルス応答信号と原音声信号とのたたみ込み処理を実
施し、たたみ込み処理結果を埋込済音声信号として出力
するたたみ込み部とを付加している。
ステムにおいて、電子透かし埋込装置に対して、入力さ
れた原音声信号を構成する各音信号に対して埋込むべき
電子透かし情報に対応した時間だけ遅延したインパルス
応答信号を出力するインパルス応答信号発生部と、イン
パルス応答信号発生部から出力されたインパルス応答信
号を所定周期長を有するＰＮ系列で時間軸上で拡散する
時間拡散部と、時間拡散部で時間軸上で拡散された各イ
ンパルス応答信号と原音声信号とのたたみ込み処理を実
施し、たたみ込み処理結果を埋込済音声信号として出力
するたたみ込み部とを付加している。
【００２８】さらに、電子透かし検出装置に対して、入
力された埋込済音声信号に対してケプストラム処理を実
施するケプストラム処理部と、ケプストラム処理部でケ
プストラム処理された後の埋込済音声信号をＰＮ系列で
時間軸上で逆拡散する時間逆拡散部と、時間逆拡散部か
ら出力された逆拡散信号から電子透かし情報を得るデコ
ード部とを付加している。
力された埋込済音声信号に対してケプストラム処理を実
施するケプストラム処理部と、ケプストラム処理部でケ
プストラム処理された後の埋込済音声信号をＰＮ系列で
時間軸上で逆拡散する時間逆拡散部と、時間逆拡散部か
ら出力された逆拡散信号から電子透かし情報を得るデコ
ード部とを付加している。
【００２９】このように構成された電子透かしシステム
は、先の発明の電子透かしシステムをより具体化したも
のであり、エコー信号をインパルス応答信号で構成し、
インパルス応答信号を時間軸上で拡散する手法として、
ＰＮ系列信号を採用している。
は、先の発明の電子透かしシステムをより具体化したも
のであり、エコー信号をインパルス応答信号で構成し、
インパルス応答信号を時間軸上で拡散する手法として、
ＰＮ系列信号を採用している。
【００３０】そして、このインパルス応答信号が時間軸
上で拡散された埋込済音声信号から電子透かし情報を検
出する手法として、入力された埋込済音声信号を、ＰＮ
系列信号を用いて直接時間軸上で逆拡散するのではなく
て、ケプストラム処理を施した後に、ＰＮ系列信号を用
いて逆拡散を実施している。このように、ケプストラム
処理を実施することによって、たたみ込み処理された原
音声信号の各音信号と各インパルス応答信号との積の形
式を和の形式に分離できるので、各インパルス応答信号
のみを効率的に逆拡散処理できる。
上で拡散された埋込済音声信号から電子透かし情報を検
出する手法として、入力された埋込済音声信号を、ＰＮ
系列信号を用いて直接時間軸上で逆拡散するのではなく
て、ケプストラム処理を施した後に、ＰＮ系列信号を用
いて逆拡散を実施している。このように、ケプストラム
処理を実施することによって、たたみ込み処理された原
音声信号の各音信号と各インパルス応答信号との積の形
式を和の形式に分離できるので、各インパルス応答信号
のみを効率的に逆拡散処理できる。
【００３１】
【発明の実施の形態】以下、本発明の一実施形態を図面
を用いて説明する。図１は本発明の実施形態に係る電子
透かしシステムを構成する電子透かし埋込装置の概略構
成を示すブロック図であり、図４は同電子透かしシステ
ムを構成する電子透かし検出装置の概略構成を示すブロ
ック図である。図６乃至図８に示す従来の電子透かしシ
ステムと同一部分には同一符号を付して、重複する部分
の詳細説明を省略する。
を用いて説明する。図１は本発明の実施形態に係る電子
透かしシステムを構成する電子透かし埋込装置の概略構
成を示すブロック図であり、図４は同電子透かしシステ
ムを構成する電子透かし検出装置の概略構成を示すブロ
ック図である。図６乃至図８に示す従来の電子透かしシ
ステムと同一部分には同一符号を付して、重複する部分
の詳細説明を省略する。
【００３２】なお、この実施形態の電子透かしシステム
を構成する電子透かし埋込装置及び電子透かし検出装置
は、例えば、コンピュータ等からなる情報処置装置内に
ソフト的に構成されている。
を構成する電子透かし埋込装置及び電子透かし検出装置
は、例えば、コンピュータ等からなる情報処置装置内に
ソフト的に構成されている。
【００３３】図１の電子透かし埋込装置は、図２に示す
ように、原音声信号ａに対して、この原音声信号ａを構
成する各音信号２０の発生時刻ｔ0に対してデジタルの
電子透かし情報ｂの［１］又は［０］に対応した時間
（遅延時間）Δだけ遅延した時刻から始まる時間軸方向
に拡散された複数のエコー信号としての複数のインパル
ス応答信号２１が組込まれた埋込済音声信号ｄ2を出力
する。
ように、原音声信号ａに対して、この原音声信号ａを構
成する各音信号２０の発生時刻ｔ0に対してデジタルの
電子透かし情報ｂの［１］又は［０］に対応した時間
（遅延時間）Δだけ遅延した時刻から始まる時間軸方向
に拡散された複数のエコー信号としての複数のインパル
ス応答信号２１が組込まれた埋込済音声信号ｄ2を出力
する。
【００３４】具体的には、図１の電子透かし埋込装置に
示すように、入力された原音声信号ａは時間マスキング
部２２で各音信号２０の出力時刻ｔ0が検出されて、こ
の出力時刻ｔ0がインパルス応答信号発生部２３へ印加
される。インパルス応答信号発生部２３は、入力された
出力時刻ｔ0に対して、電子透かし情報ｂの［１］又は
［０］に対応した時間Δだけ遅延した時刻で、エコー信
号としてのインパルス応答信号ｃを時間拡散部２４へ送
出する。ＰＮ系列発生部２５は、所定時間（ビット）周
期（２m―１ ｍ；正整数）を有したＰＮ系列信号ｇ
を時間拡散部２４へ送出する。
示すように、入力された原音声信号ａは時間マスキング
部２２で各音信号２０の出力時刻ｔ0が検出されて、こ
の出力時刻ｔ0がインパルス応答信号発生部２３へ印加
される。インパルス応答信号発生部２３は、入力された
出力時刻ｔ0に対して、電子透かし情報ｂの［１］又は
［０］に対応した時間Δだけ遅延した時刻で、エコー信
号としてのインパルス応答信号ｃを時間拡散部２４へ送
出する。ＰＮ系列発生部２５は、所定時間（ビット）周
期（２m―１ ｍ；正整数）を有したＰＮ系列信号ｇ
を時間拡散部２４へ送出する。
【００３５】時間拡散部２４は、インパルス応答発生部
２３から出力時刻ｔ0に対して時間Δだけ遅延されて入
力されたインパルス応答信号ｃを、ＰＮ系列信号ｇで時
間軸上で拡散して、新たな複数（＝Ｎ）個のインパルス
応答信号ｃ1〜ｃNとしてたたみ込み部２６へ送出する。
たたみ込み部２６は、外部から入力された原音声信号ａ
と時間軸上で分散された各インパルス応答信号ｃ1〜ｃN
とのたたみ込み処理を実施して、このたたみ込み処理さ
れた後の信号を埋込済音声信号ｄ2として外部へ出力す
る。
２３から出力時刻ｔ0に対して時間Δだけ遅延されて入
力されたインパルス応答信号ｃを、ＰＮ系列信号ｇで時
間軸上で拡散して、新たな複数（＝Ｎ）個のインパルス
応答信号ｃ1〜ｃNとしてたたみ込み部２６へ送出する。
たたみ込み部２６は、外部から入力された原音声信号ａ
と時間軸上で分散された各インパルス応答信号ｃ1〜ｃN
とのたたみ込み処理を実施して、このたたみ込み処理さ
れた後の信号を埋込済音声信号ｄ2として外部へ出力す
る。
【００３６】なお、原音信号ａが音楽等の一定時間連続
した信号の場合は、原音信号ａ全体を電子透かし情報ｂ
の［１］又は［０］に対応した時間Δだけ遅延させた状
態に近似する、エコー信号２としてのインパルス応答信
号ｃを連続して出力させれば、時間マスキング部２２は
必ずしも設ける必要はない。
した信号の場合は、原音信号ａ全体を電子透かし情報ｂ
の［１］又は［０］に対応した時間Δだけ遅延させた状
態に近似する、エコー信号２としてのインパルス応答信
号ｃを連続して出力させれば、時間マスキング部２２は
必ずしも設ける必要はない。
【００３７】図３は、たたみ込み部２６における、原音
声信号ａに対して各インパルス応答信号ｃ1〜ｃNをたた
み込み処理して、埋込済音声信号ｄ2を得る処理の手順
を波形図で示した図である。図５において、Δ1〜Δ4ま
で時間拡散された各インパルス応答信号ｃ1〜ｃ4が原音
声信号ａと信号合成（たたみ込み処理）されて、それぞ
れ一つの埋込済音声信号ｄ2に組込まれる。
声信号ａに対して各インパルス応答信号ｃ1〜ｃNをたた
み込み処理して、埋込済音声信号ｄ2を得る処理の手順
を波形図で示した図である。図５において、Δ1〜Δ4ま
で時間拡散された各インパルス応答信号ｃ1〜ｃ4が原音
声信号ａと信号合成（たたみ込み処理）されて、それぞ
れ一つの埋込済音声信号ｄ2に組込まれる。
【００３８】次に、この電子透かし埋込装置における原
音声信号ａと埋込済音声信号ｄ2との関係を式を用いて
説明する。インパルス応答信号ｃをデルタ関数（インパ
ルス応答関数）を用いて(1)式で示す。
音声信号ａと埋込済音声信号ｄ2との関係を式を用いて
説明する。インパルス応答信号ｃをデルタ関数（インパ
ルス応答関数）を用いて(1)式で示す。
【００３９】ｈ（ｎ）＝δ（０）＋αδ（τ）
ｎ；経過時間を示すビット数 ０＜α＜１ τ；遅
延量 αδ（τ）；高次成分（エコー成分） …(1) このインパルス応答信号ｃに対して、ＰＮ系列信号ｇ
（＝Ｐ（ｎ））をレベルを下げて高次成分（エコー成
分）のみにたたみ込むと、インパルス応答信号ｃ1、
ｃ2、ｃ3、…は、(2)式となる。
延量 αδ（τ）；高次成分（エコー成分） …(1) このインパルス応答信号ｃに対して、ＰＮ系列信号ｇ
（＝Ｐ（ｎ））をレベルを下げて高次成分（エコー成
分）のみにたたみ込むと、インパルス応答信号ｃ1、
ｃ2、ｃ3、…は、(2)式となる。
【００４０】
ｈ（ｎ）＝δ（０）＋αβδ（ｎ−τ）
０＜β≪１ …(2)
この時間軸に拡散されたインパルス応答信号ｃ1、ｃ2、
ｃ3、…（＝ｈ（ｎ））に対して、さらに、原音声信号
ａ（＝ｆ（ｎ））をたたみ込むと、(4)式で示す埋込済
音声信号ｄ2（＝ｊ（ｎ））が得られる。
ｃ3、…（＝ｈ（ｎ））に対して、さらに、原音声信号
ａ（＝ｆ（ｎ））をたたみ込むと、(4)式で示す埋込済
音声信号ｄ2（＝ｊ（ｎ））が得られる。
【００４１】
ｊ（ｎ）＝ｆ（ｎ）＊ｈ（ｎ） …(3)
次に、図４に示す電子透かし検出装置を説明する。この
電子透かし検出装置は、入力された埋込済音声信号ｄ2
を時間軸上で逆拡散して、この逆拡散されたエコー信号
としてのインパルス応答信号の発生時刻から埋込済音声
信号ｄ2に含まれる電子透かし情報ｂを抽出する。
電子透かし検出装置は、入力された埋込済音声信号ｄ2
を時間軸上で逆拡散して、この逆拡散されたエコー信号
としてのインパルス応答信号の発生時刻から埋込済音声
信号ｄ2に含まれる電子透かし情報ｂを抽出する。
【００４２】具体的には、図４の電子透かし検出装置に
示すように、入力された電子透かし情報ｂが埋込まれた
埋込済音声信号ｄ2は、ケプストラム処理部２７内のフ
ーリエ変換部２８へ入力される。フーリエ変換部２８
は、この入力した埋込済音声信号ｄ2をフーリエ変換し
て次の対数変換部２９へ送出する。対数変換部２９は、
フーリエ変換された埋込済音声信号ｄ2を対数変換して
次のフーリエ逆変換部３０へ送出する。フーリエ逆変換
部３０は、フーリエ変換されかつ対数変換された埋込済
音声信号ｄ2を、フーリエ逆変換して元の時間軸領域の
埋込済音声信号ｄ3へ戻してケプストラム処理部２７外
の時間逆拡散部３１へ送出する。
示すように、入力された電子透かし情報ｂが埋込まれた
埋込済音声信号ｄ2は、ケプストラム処理部２７内のフ
ーリエ変換部２８へ入力される。フーリエ変換部２８
は、この入力した埋込済音声信号ｄ2をフーリエ変換し
て次の対数変換部２９へ送出する。対数変換部２９は、
フーリエ変換された埋込済音声信号ｄ2を対数変換して
次のフーリエ逆変換部３０へ送出する。フーリエ逆変換
部３０は、フーリエ変換されかつ対数変換された埋込済
音声信号ｄ2を、フーリエ逆変換して元の時間軸領域の
埋込済音声信号ｄ3へ戻してケプストラム処理部２７外
の時間逆拡散部３１へ送出する。
【００４３】時間逆拡散部３１には、図１の電子透かし
埋込装置のＰＮ系列発生部２５と同一構成のＰＮ系列発
生部３２から同一のＰＮ系列信号ｇが印加されている。
そして、この時間逆拡散部３１は、ケプストラム処理部
２７から出力された埋込済音声信号ｄ3をＰＮ系列信号
ｇで時間軸上で逆拡散する。具体的には、埋込済音声信
号ｄ3とＰＮ系列信号ｇとの相関演算を実施して、逆拡
散信号としての相関信号ｐをデコード部３３へ送出す
る。
埋込装置のＰＮ系列発生部２５と同一構成のＰＮ系列発
生部３２から同一のＰＮ系列信号ｇが印加されている。
そして、この時間逆拡散部３１は、ケプストラム処理部
２７から出力された埋込済音声信号ｄ3をＰＮ系列信号
ｇで時間軸上で逆拡散する。具体的には、埋込済音声信
号ｄ3とＰＮ系列信号ｇとの相関演算を実施して、逆拡
散信号としての相関信号ｐをデコード部３３へ送出す
る。
【００４４】この時間逆拡散部３１は、ＰＮ系列信号ｇ
で時間軸上で拡散された各インパルス応答信号を、同一
のＰＮ系列信号ｇで時間軸上で逆拡散するので、相関信
号ｐには、相関がとれた時間位置に大きなピーク波形が
出現する。すなわち、このピーク波形位置が原音声信号
ａを構成する各音信号２０の発生時刻ｔ0に対してデジ
タルの電子透かし情報ｂの［１］又は［０］に対応した
時間（遅延時間）Δに相当する。したがって、デコード
部３３は、この時間（遅延時間）Δを検出して、この時
間（遅延時間）Δを対応する［１］又は［０］のデジタ
ルの元の電子透かし情報ｂに変換して出力する。
で時間軸上で拡散された各インパルス応答信号を、同一
のＰＮ系列信号ｇで時間軸上で逆拡散するので、相関信
号ｐには、相関がとれた時間位置に大きなピーク波形が
出現する。すなわち、このピーク波形位置が原音声信号
ａを構成する各音信号２０の発生時刻ｔ0に対してデジ
タルの電子透かし情報ｂの［１］又は［０］に対応した
時間（遅延時間）Δに相当する。したがって、デコード
部３３は、この時間（遅延時間）Δを検出して、この時
間（遅延時間）Δを対応する［１］又は［０］のデジタ
ルの元の電子透かし情報ｂに変換して出力する。
【００４５】次に、この電子透かし検出装置におけるケ
プストラム処理部２７と時間逆拡散部３１の動作を式を
用いて説明する。ケプストラム処理部２７へ入力される
前述した(3)式で示される埋込済音声信号ｄ2（＝ｊ
（ｎ））は、フーリエ変換部２８で周波数領域に変換さ
れて、(4)式となる。
プストラム処理部２７と時間逆拡散部３１の動作を式を
用いて説明する。ケプストラム処理部２７へ入力される
前述した(3)式で示される埋込済音声信号ｄ2（＝ｊ
（ｎ））は、フーリエ変換部２８で周波数領域に変換さ
れて、(4)式となる。
【００４６】
ｊ（ｎ）＝ｆ（ｎ）＊ｈ（ｎ） …(3)
Ｊ（ω）＝Ｆ（ω）×Ｈ（ω） …(4)
このフーリエ変換された埋込済音声信号ｄ2（＝Ｊ
（ω））を対数変換部２９で対数変換すると、(5)式に
示すように、積の形式が和の形式に変換される。
（ω））を対数変換部２９で対数変換すると、(5)式に
示すように、積の形式が和の形式に変換される。
【００４７】
ｌｏｇ［Ｊ（ω）］＝ｌｏｇ［Ｆ（ω）×Ｈ（ω）］
＝ｌｏｇ［Ｆ（ω）］＋ｌｏｇ［Ｈ（ω）］
…(5)
この対数変換された埋込済音声信号ｄ2を、フーリエ逆
変換部３０で時間領域に変換すると、(6)式に示す埋込
済音声信号ｄ3となる。
変換部３０で時間領域に変換すると、(6)式に示す埋込
済音声信号ｄ3となる。
【００４８】
ＩＤＦＴ［ｌｏｇ［Ｆ（ω）］＋ｌｏｇ［Ｈ（ω）］］
＝ＩＤＦＴ［ｌｏｇ［Ｆ（ω）］］
＋ＩＤＦＴ［ｌｏｇ［Ｈ（ω）］］
…(6)
そして、時間逆変換部３１でもって、この(6)式で示す
埋込済音声信号ｄ3と、電子透かし埋込装置で使用した
同一のＰＮ系列信号ｇ（＝Ｐ（ｎ））との間の相関関係
を求めると、出力される相関信号ｐは、ｈ（τ―ｎ）と
ＩＤＦＴ［ｌｏｇ［Ｆ（ω）］］との相関の第１の項
と、ｈ（τ―ｎ）とＩＤＦＴ［ｌｏｇ［Ｈ（ω）］］と
の相関の第２の項との和の形で示される。
埋込済音声信号ｄ3と、電子透かし埋込装置で使用した
同一のＰＮ系列信号ｇ（＝Ｐ（ｎ））との間の相関関係
を求めると、出力される相関信号ｐは、ｈ（τ―ｎ）と
ＩＤＦＴ［ｌｏｇ［Ｆ（ω）］］との相関の第１の項
と、ｈ（τ―ｎ）とＩＤＦＴ［ｌｏｇ［Ｈ（ω）］］と
の相関の第２の項との和の形で示される。
【００４９】ＰＮ系列信号ｇと原音声信号ａとは元々相
関がないので、第１の項の値は無視できる程度に小さ
い。しかし、ＰＮ系列信号ｇと電子透かし情報ｂの要素
との相関は、電子透かし情報ｂが埋込まれていた場合は
非常に大きいので、第２の項の値は非常に大きい。しか
も、この大きな値（ピーク）が発生する時間（時刻）
は、前述したように、電子透かし情報ｂの［１］又は
［０］に対応した時間（遅延時間）Δである。
関がないので、第１の項の値は無視できる程度に小さ
い。しかし、ＰＮ系列信号ｇと電子透かし情報ｂの要素
との相関は、電子透かし情報ｂが埋込まれていた場合は
非常に大きいので、第２の項の値は非常に大きい。しか
も、この大きな値（ピーク）が発生する時間（時刻）
は、前述したように、電子透かし情報ｂの［１］又は
［０］に対応した時間（遅延時間）Δである。
【００５０】このように構成された電子透かしシステム
においては、原音声信号ａに埋込むべき［１］又は
［０］のデジタルの電子透かし情報ｂは、原音声信号ａ
を構成する各音信号２０に隣接して時間軸上でＰＮ系列
信号ｇを用いて拡散された各インパルス応答信号ｃ1、
ｃ2、ｃ3、…の発生時間Δ1、Δ2、Δ3、…に対応して
いる。したがって、この時間拡散された各インパルス応
答信号ｃ1、ｃ2、ｃ3、…を同一ＰＮ系列信号ｇを用い
て時間逆拡散すると、電子透かし情報ｂに対応する一つ
の時間位置Δに一つのインパルス応答信号に対応するピ
ーク信号（波形）が現れるので、電子透かし情報ｂを検
出できる。
においては、原音声信号ａに埋込むべき［１］又は
［０］のデジタルの電子透かし情報ｂは、原音声信号ａ
を構成する各音信号２０に隣接して時間軸上でＰＮ系列
信号ｇを用いて拡散された各インパルス応答信号ｃ1、
ｃ2、ｃ3、…の発生時間Δ1、Δ2、Δ3、…に対応して
いる。したがって、この時間拡散された各インパルス応
答信号ｃ1、ｃ2、ｃ3、…を同一ＰＮ系列信号ｇを用い
て時間逆拡散すると、電子透かし情報ｂに対応する一つ
の時間位置Δに一つのインパルス応答信号に対応するピ
ーク信号（波形）が現れるので、電子透かし情報ｂを検
出できる。
【００５１】また、時間軸上で拡散配置する各インパル
ス応答信号ｃ1、ｃ2、ｃ3、…の各信号レベルを小さく
設定できるので、埋込済音声信号ｄ2に含まれる電子透
かし情報ｂが視聴者に雑音として聞き取られることはな
い。
ス応答信号ｃ1、ｃ2、ｃ3、…の各信号レベルを小さく
設定できるので、埋込済音声信号ｄ2に含まれる電子透
かし情報ｂが視聴者に雑音として聞き取られることはな
い。
【００５２】また、電子透かし情報ｂは結果的に時間軸
にＰＮ系列で拡散された状態で原音声信号ａに埋込まれ
るので、第３者は埋込に使用したＰＮ系列を知る術がな
いので、埋込済音声信号ｄ2から電子透かし情報ｂを簡
単に抽出できない。
にＰＮ系列で拡散された状態で原音声信号ａに埋込まれ
るので、第３者は埋込に使用したＰＮ系列を知る術がな
いので、埋込済音声信号ｄ2から電子透かし情報ｂを簡
単に抽出できない。
【００５３】よって、ＣＤ、ＤＶＤ等を含む各種の電子
メディアを介して配信された音楽や会話等の著作物の不
正複写（コピー）に付されている電子透かし情報ｂか
ら、この著作物の不正複写（コピー）の複写元の原音を
認知することにより、不正複写（コピー）物の流通経路
等を特定でき、著作物（原音）の不正複写（コピー）の
抑制効果が期待できる。
メディアを介して配信された音楽や会話等の著作物の不
正複写（コピー）に付されている電子透かし情報ｂか
ら、この著作物の不正複写（コピー）の複写元の原音を
認知することにより、不正複写（コピー）物の流通経路
等を特定でき、著作物（原音）の不正複写（コピー）の
抑制効果が期待できる。
【００５４】さらに、各インパルス応答信号は、周波数
軸上に拡散されていないので、埋込まれた電子透かし情
報ｂが高周波領域や低周波領域において小さな雑音とな
って聴こえることはない。
軸上に拡散されていないので、埋込まれた電子透かし情
報ｂが高周波領域や低周波領域において小さな雑音とな
って聴こえることはない。
【００５５】また、埋込済音声信号ｄ2から電子透かし
情報ｂを検出する手法として、入力された埋込済音声信
号ｄ2をケプストラム処理を施した後に、逆拡散を実施
している。したがって、各インパルス応答信号のみを効
率的に逆拡散処理（相関演算処理）でき、結果的に、電
子透かし検出装置における電子透かし情報ｂの検出処理
能率を向上できる。
情報ｂを検出する手法として、入力された埋込済音声信
号ｄ2をケプストラム処理を施した後に、逆拡散を実施
している。したがって、各インパルス応答信号のみを効
率的に逆拡散処理（相関演算処理）でき、結果的に、電
子透かし検出装置における電子透かし情報ｂの検出処理
能率を向上できる。
【００５６】なお、本発明は上述した実施形態に限定さ
れるものではない。実施形態においては、エコー信号
（インパルス応答信号）を時間軸上で拡散する手法とし
て、ＰＮ系列を用いたが、ＰＮ系列に限定されるもので
はない。
れるものではない。実施形態においては、エコー信号
（インパルス応答信号）を時間軸上で拡散する手法とし
て、ＰＮ系列を用いたが、ＰＮ系列に限定されるもので
はない。
【００５７】例えば、完全なＰＮ系列を用いなくても、
このＰＮ系列に類似する符号列を採用することが可能で
ある。例えば、人間の聴覚特性を考慮すると、頭部伝達
関数の測定などで用いられているＴＳＰ（Time Stretch
ed Pulse）のような信号を用いたほうが、知覚され難い
という可能性もある。
このＰＮ系列に類似する符号列を採用することが可能で
ある。例えば、人間の聴覚特性を考慮すると、頭部伝達
関数の測定などで用いられているＴＳＰ（Time Stretch
ed Pulse）のような信号を用いたほうが、知覚され難い
という可能性もある。
【００５８】さらに、電子透かし情報は、エコー信号
（インパルス応答信号）の遅延量ばかりでなく、エコー
信号の組み合わせや、組み合わせのパターンの大きさ等
の様々な方法で、埋め込むことが可能である。
（インパルス応答信号）の遅延量ばかりでなく、エコー
信号の組み合わせや、組み合わせのパターンの大きさ等
の様々な方法で、埋め込むことが可能である。
【００５９】
【発明の効果】以上説明したように、本発明の電子透か
しシステムにおいては、埋込むべき電子透かし情報に対
応したエコー信号を時間軸上で拡散して原音声信号に挿
入している。
しシステムにおいては、埋込むべき電子透かし情報に対
応したエコー信号を時間軸上で拡散して原音声信号に挿
入している。
【００６０】したがって、原音声信号に埋込まれた電子
透かし情報の秘匿性を十分確保できるとともに、原音声
信号に埋込まれた電子透かし情報の周波数範囲を抑制で
き、かつ電子透かし情報を時間軸上の広い範囲に分布さ
せることができ、結果的に電子透かし情報が埋込まれて
いることを第３者に簡単に判別できないようにでき、原
音声信号の複写（コピー）に対する安全性を向上でき
る。
透かし情報の秘匿性を十分確保できるとともに、原音声
信号に埋込まれた電子透かし情報の周波数範囲を抑制で
き、かつ電子透かし情報を時間軸上の広い範囲に分布さ
せることができ、結果的に電子透かし情報が埋込まれて
いることを第３者に簡単に判別できないようにでき、原
音声信号の複写（コピー）に対する安全性を向上でき
る。
【図面の簡単な説明】
【図１】本発明の一実施形態の電子透かしシステムの電
子透かし埋込装置の概略構成を示すブロック図
子透かし埋込装置の概略構成を示すブロック図
【図２】同電子透かし埋込装置から出力される埋込済音
声信号を示す図
声信号を示す図
【図３】同電子透かし埋込装置におけるたたみ込み動作
を示す波形図
を示す波形図
【図４】同実施形態の電子透かしシステムの電子透かし
検出装置の概略構成を示すブロック図
検出装置の概略構成を示すブロック図
【図５】従来の単発エコー手法の原理を示す信号波形図
【図６】同従来の単発エコー手法を採用した電子透かし
埋込装置の概略構成を示すブロック図
埋込装置の概略構成を示すブロック図
【図７】従来のＰＮ系列手法を採用した電子透かし埋込
装置の概略構成を示すブロック図
装置の概略構成を示すブロック図
【図８】同ＰＮ系列手法を採用した電子透かし検出装置
の概略構成を示すブロック図
の概略構成を示すブロック図
【図９】同従来のＰＮ系列手法の原理を示す信号波形図
２０…音信号
２２…時間マスキング部
２３…インパルス応答信号発生部
２４…時間拡散部
２５、３２…ＰＮ系列発生部
２６…たたみ込み部
２７…ケプストラム処理部
２８…フーリエ変換部
２９…対数変換部
３０…フーリエ逆変換部
３１…時間逆拡散部
３３…デコード部
Claims (2)
- 【請求項１】 入力した原音声信号に電子透かし情報を
埋込んで埋込済音声信号として出力する電子透かし埋込
装置と、入力した埋込済音声信号からこの埋込済音声信
号に埋込まれた電子透かし情報を検出する電子透かし検
出装置とを備えた電子透かしシステムにおいて、 前記電子透かし埋込装置は、前記入力された原音声信号
を構成する各音信号に対して埋込むべき電子透かし情報
に対応した時間だけ遅延したエコー信号を時間軸上で拡
散して前記原音声信号に挿入して埋込済音声信号として
出力し、 前記電子透かし検出装置は、前記入力された埋込済音声
信号を時間軸上で逆拡散して、この逆拡散されたエコー
信号の発生時刻から前記電子透かし情報を抽出すること
を特徴とする電子透かしシステム。 - 【請求項２】 入力した原音声信号に電子透かし情報を
埋込んで埋込済音声信号として出力する電子透かし埋込
装置と、入力した埋込済音声信号からこの埋込済音声信
号に埋込まれた電子透かし情報を検出する電子透かし検
出装置とを備えた電子透かしシステムにおいて、 前記電子透かし埋込装置は、 前記入力された原音声信号を構成する各音信号に対して
埋込むべき電子透かし情報に対応した時間だけ遅延した
インパルス応答信号を出力するインパルス応答信号発生
部と、 このインパルス応答信号発生部から出力されたインパル
ス応答信号を所定周期長を有するＰＮ系列で時間軸上で
拡散する時間拡散部と、 この時間拡散部で時間軸上で拡散された各インパルス応
答信号と前記原音声信号とのたたみ込み処理を実施し、
たたみ込み処理結果を埋込済音声信号として出力するた
たみ込み部とを有し、 前記電子透かし検出装置は、 前記入力された埋込済音声信号に対してケプストラム処
理を実施するケプストラム処理部と、 このケプストラム処理部でケプストラム処理された後の
埋込済音声信号を前記ＰＮ系列で時間軸上で逆拡散する
時間逆拡散部と、 この時間逆拡散部から出力された逆拡散信号から前記電
子透かし情報を得るデコード部とを有することを特徴と
する電子透かしシステム。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002065606A JP3554825B2 (ja) | 2002-03-11 | 2002-03-11 | 電子透かしシステム |
| GB0225770A GB2386526B (en) | 2002-03-11 | 2002-11-05 | Digital watermark system |
| US10/290,396 US7277871B2 (en) | 2002-03-11 | 2002-11-08 | Digital watermark system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002065606A JP3554825B2 (ja) | 2002-03-11 | 2002-03-11 | 電子透かしシステム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003263183A true JP2003263183A (ja) | 2003-09-19 |
| JP3554825B2 JP3554825B2 (ja) | 2004-08-18 |
Family
ID=28671282
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002065606A Expired - Fee Related JP3554825B2 (ja) | 2002-03-11 | 2002-03-11 | 電子透かしシステム |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US7277871B2 (ja) |
| JP (1) | JP3554825B2 (ja) |
| GB (1) | GB2386526B (ja) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008058953A (ja) * | 2006-07-26 | 2008-03-13 | Nec (China) Co Ltd | 音声透かしをベースとするメディア・プログラムの識別方法及び装置 |
| JP2010169766A (ja) * | 2009-01-20 | 2010-08-05 | Yamaha Corp | 電子透かし情報の埋め込みおよび抽出を行うための装置およびプログラム |
| JP2011247956A (ja) * | 2010-05-24 | 2011-12-08 | Yamaha Corp | 音声信号に埋め込まれた電子透かし情報を除去する装置、および音声信号に電子透かし情報を埋め込む装置 |
| WO2013062000A1 (ja) * | 2011-10-28 | 2013-05-02 | 楽天株式会社 | 送信装置、受信装置、送信方法、受信方法、通信システム、通信方法、プログラムおよびコンピュータ読み取り可能な記憶媒体 |
| JP2013101284A (ja) * | 2011-11-10 | 2013-05-23 | Fujitsu Ltd | 音データ送受信システム、送信装置、受信装置、音データ送信方法及び受信方法 |
| JP2013195405A (ja) * | 2012-03-22 | 2013-09-30 | Fujitsu Ltd | 位置推定方法、装置及びプログラム |
| JP2016038455A (ja) * | 2014-08-07 | 2016-03-22 | 株式会社ビデオリサーチ | 音声透かし埋込装置及びシステム及び方法 |
| JP2020166060A (ja) * | 2019-03-28 | 2020-10-08 | Toa株式会社 | 音響信号形成装置、音響受信装置、および音響システム |
Families Citing this family (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20040034698A (ko) * | 2001-09-05 | 2004-04-28 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | Ｄｓｄ 신호에 대한 견고한 워터마크 |
| US8248528B2 (en) | 2001-12-24 | 2012-08-21 | Intrasonics S.A.R.L. | Captioning system |
| JP3554825B2 (ja) * | 2002-03-11 | 2004-08-18 | 東北大学長 | 電子透かしシステム |
| US7246968B1 (en) * | 2004-06-21 | 2007-07-24 | Gregory Lawrence Priest | Storm sewer inlet grate system |
| KR100644627B1 (ko) * | 2004-09-14 | 2006-11-10 | 삼성전자주식회사 | 음장 제어 정보 부호화 방법 및 이에 적합한 음장 처리 방법 |
| US7555432B1 (en) * | 2005-02-10 | 2009-06-30 | Purdue Research Foundation | Audio steganography method and apparatus using cepstrum modification |
| CN101004777B (zh) * | 2006-01-21 | 2010-11-10 | 鸿富锦精密工业（深圳）有限公司 | 数字浮水印自动加载系统及方法 |
| CA2682926C (en) | 2006-10-18 | 2015-10-13 | Destiny Software Productions Inc. | Methods for watermarking media data |
| US8108681B2 (en) * | 2007-12-03 | 2012-01-31 | International Business Machines Corporation | Selecting bit positions for storing a digital watermark |
| GB2462588A (en) * | 2008-04-29 | 2010-02-17 | Intrasonics Ltd | Data embedding system |
| GB2460306B (en) | 2008-05-29 | 2013-02-13 | Intrasonics Sarl | Data embedding system |
| JP5601665B2 (ja) * | 2010-07-22 | 2014-10-08 | Ｋｄｄｉ株式会社 | オーディオ電子透かし埋め込み装置、検出装置および該プログラム |
| JP5554658B2 (ja) * | 2010-08-06 | 2014-07-23 | Ｋｄｄｉ株式会社 | オーディオ電子透かし埋め込み装置およびプログラム |
| CN103137134B (zh) * | 2011-11-28 | 2015-03-11 | 鸿富锦精密工业（深圳）有限公司 | 音频设备及音频信号的水印信息加载方法 |
| NL2008511C2 (en) * | 2012-03-21 | 2013-09-25 | Civolution B V | Method and system for embedding and detecting a pattern. |
| CN103871425B (zh) * | 2012-12-14 | 2017-09-29 | 鸿富锦精密工业（深圳）有限公司 | 音频信息检测系统及方法 |
| CN103077724B (zh) * | 2012-12-28 | 2016-02-17 | 中国科学院声学研究所 | 一种在音频中嵌入和解出水印的方法和装置 |
| JP6574551B2 (ja) * | 2014-03-31 | 2019-09-11 | 培雄 唐沢 | 音響を用いた任意信号の伝達方法 |
| CN104093079B (zh) * | 2014-05-29 | 2015-10-07 | 腾讯科技（深圳）有限公司 | 基于多媒体节目的交互方法、终端、服务器和系统 |
| CN105469799A (zh) * | 2015-12-01 | 2016-04-06 | 北京科技大学 | 一种基于隐藏信道的可闻声定位方法及系统 |
| US11244692B2 (en) * | 2018-10-04 | 2022-02-08 | Digital Voice Systems, Inc. | Audio watermarking via correlation modification using an amplitude and a magnitude modification based on watermark data and to reduce distortion |
| US10777177B1 (en) | 2019-09-30 | 2020-09-15 | Spotify Ab | Systems and methods for embedding data in media content |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6424725B1 (en) * | 1996-05-16 | 2002-07-23 | Digimarc Corporation | Determining transformations of media signals with embedded code signals |
| US6006328A (en) * | 1995-07-14 | 1999-12-21 | Christopher N. Drake | Computer software authentication, protection, and security system |
| DE69636084T2 (de) * | 1995-09-28 | 2006-09-14 | Nec Corp. | Verfahren und Vorrichtung zum Einfügen eines Spreizspektrumwasserzeichens in Multimediadaten |
| US6205249B1 (en) * | 1998-04-02 | 2001-03-20 | Scott A. Moskowitz | Multiple transform utilization and applications for secure digital watermarking |
| US5893067A (en) * | 1996-05-31 | 1999-04-06 | Massachusetts Institute Of Technology | Method and apparatus for echo data hiding in audio signals |
| WO1998033324A2 (en) * | 1997-01-27 | 1998-07-30 | Koninklijke Philips Electronics N.V. | Embedding supplemental data in an encoded signal |
| US6330672B1 (en) * | 1997-12-03 | 2001-12-11 | At&T Corp. | Method and apparatus for watermarking digital bitstreams |
| US6320965B1 (en) * | 1998-10-14 | 2001-11-20 | Liquid Audio, Inc. | Secure watermark method and apparatus for digital signals |
| WO2000039955A1 (en) * | 1998-12-29 | 2000-07-06 | Kent Ridge Digital Labs | Digital audio watermarking using content-adaptive, multiple echo hopping |
| JP2000286836A (ja) * | 1999-03-30 | 2000-10-13 | Fujitsu Ltd | 認証装置および記録媒体 |
| US6385329B1 (en) * | 2000-02-14 | 2002-05-07 | Digimarc Corporation | Wavelet domain watermarks |
| KR100375822B1 (ko) * | 2000-12-18 | 2003-03-15 | 한국전자통신연구원 | 디지털 오디오의 워터마크 삽입/추출 장치 및 방법 |
| JP3554825B2 (ja) * | 2002-03-11 | 2004-08-18 | 東北大学長 | 電子透かしシステム |
-
2002
- 2002-03-11 JP JP2002065606A patent/JP3554825B2/ja not_active Expired - Fee Related
- 2002-11-05 GB GB0225770A patent/GB2386526B/en not_active Expired - Fee Related
- 2002-11-08 US US10/290,396 patent/US7277871B2/en not_active Expired - Lifetime
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008058953A (ja) * | 2006-07-26 | 2008-03-13 | Nec (China) Co Ltd | 音声透かしをベースとするメディア・プログラムの識別方法及び装置 |
| JP4690366B2 (ja) * | 2006-07-26 | 2011-06-01 | エヌイーシー（チャイナ）カンパニー， リミテッド | 音声透かしをベースとするメディア・プログラムの識別方法及び装置 |
| US7957977B2 (en) | 2006-07-26 | 2011-06-07 | Nec (China) Co., Ltd. | Media program identification method and apparatus based on audio watermarking |
| JP2010169766A (ja) * | 2009-01-20 | 2010-08-05 | Yamaha Corp | 電子透かし情報の埋め込みおよび抽出を行うための装置およびプログラム |
| JP2011247956A (ja) * | 2010-05-24 | 2011-12-08 | Yamaha Corp | 音声信号に埋め込まれた電子透かし情報を除去する装置、および音声信号に電子透かし情報を埋め込む装置 |
| WO2013062000A1 (ja) * | 2011-10-28 | 2013-05-02 | 楽天株式会社 | 送信装置、受信装置、送信方法、受信方法、通信システム、通信方法、プログラムおよびコンピュータ読み取り可能な記憶媒体 |
| JP2013101284A (ja) * | 2011-11-10 | 2013-05-23 | Fujitsu Ltd | 音データ送受信システム、送信装置、受信装置、音データ送信方法及び受信方法 |
| JP2013195405A (ja) * | 2012-03-22 | 2013-09-30 | Fujitsu Ltd | 位置推定方法、装置及びプログラム |
| JP2016038455A (ja) * | 2014-08-07 | 2016-03-22 | 株式会社ビデオリサーチ | 音声透かし埋込装置及びシステム及び方法 |
| JP2020166060A (ja) * | 2019-03-28 | 2020-10-08 | Toa株式会社 | 音響信号形成装置、音響受信装置、および音響システム |
| JP6998338B2 (ja) | 2019-03-28 | 2022-01-18 | Toa株式会社 | 音響信号形成装置、音響受信装置、および音響システム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3554825B2 (ja) | 2004-08-18 |
| GB0225770D0 (en) | 2002-12-11 |
| US20030172277A1 (en) | 2003-09-11 |
| US7277871B2 (en) | 2007-10-02 |
| GB2386526A (en) | 2003-09-17 |
| GB2386526B (en) | 2004-02-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2003263183A (ja) | 電子透かしシステム | |
| Ko et al. | Time-spread echo method for digital audio watermarking | |
| Kirovski et al. | Spread-spectrum watermarking of audio signals | |
| JP4217381B2 (ja) | 複製変調を利用したアナログ信号への情報の組込抽出装置及び方法 | |
| JP4807405B2 (ja) | アナログ信号への情報の埋込みおよび抽出を分布信号特徴を用いて行なう装置および方法 | |
| Xiang et al. | Spread spectrum-based high embedding capacity watermarking method for audio signals | |
| CN101297354B (zh) | 音频处理 | |
| JPH1132200A (ja) | 透かしデータ挿入方法及び透かしデータ検出方法 | |
| Cvejic et al. | Spread spectrum audio watermarking using frequency hopping and attack characterization | |
| Kirovski et al. | Robust covert communication over a public audio channel using spread spectrum | |
| US6892175B1 (en) | Spread spectrum signaling for speech watermarking | |
| JP2001527660A (ja) | アナログ信号への情報の埋込みおよび抽出を分布信号特徴を用いて行なう装置および方法 | |
| Nakashima et al. | Watermarked movie soundtrack finds the position of the camcorder in a theater | |
| Xiang et al. | Digital audio watermarking: fundamentals, techniques and challenges | |
| Malik et al. | Robust data hiding in audio using allpass filters | |
| KR20020058538A (ko) | 선형예측 분석을 이용한 워터마크 삽입/추출 장치 및 그방법 | |
| Petrovic et al. | Data hiding within audio signals | |
| Mobasseri et al. | Information embedding in sonar by modifications of time-frequency properties | |
| JP4310145B2 (ja) | オーディオデータの透かし情報埋め込み方法、埋め込みプログラム及び検出方法 | |
| JP2009210828A (ja) | 電子透かし埋込装置及び電子透かし検出装置、並びに電子透かし埋込方法及び電子透かし検出方法 | |
| Singh et al. | Multiplicative watermarking of audio in DFT magnitude | |
| Acevedo | Audio watermarking: properties, techniques and evaluation | |
| Trivedi et al. | Audio masking for watermark embedding under time domain audio signals | |
| He | Spread spectrum for digital audio watermarking | |
| Esmaili et al. | A novel spread spectrum audio watermarking scheme based on time-frequency characteristics |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040127 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040305 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040413 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20040617 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| A072 | Dismissal of procedure [no reply to invitation to correct request for examination] |
Free format text: JAPANESE INTERMEDIATE CODE: A072 Effective date: 20041006 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
| R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
| R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090521 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100521 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110521 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110521 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120521 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120521 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130521 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |