JP2006251676A - Device for embedding and detection of electronic watermark data in sound signal using amplitude modulation - Google Patents

Device for embedding and detection of electronic watermark data in sound signal using amplitude modulation Download PDF

Info

Publication number
JP2006251676A
JP2006251676A JP2005071245A JP2005071245A JP2006251676A JP 2006251676 A JP2006251676 A JP 2006251676A JP 2005071245 A JP2005071245 A JP 2005071245A JP 2005071245 A JP2005071245 A JP 2005071245A JP 2006251676 A JP2006251676 A JP 2006251676A
Authority
JP
Japan
Prior art keywords
band
signal
embedding
digital watermark
amplitude
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2005071245A
Other languages
Japanese (ja)
Inventor
Akira Nishimura
西村明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to JP2005071245A priority Critical patent/JP2006251676A/en
Publication of JP2006251676A publication Critical patent/JP2006251676A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Editing Of Facsimile Originals (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a device for embedding electronic watermarks and a device for detecting electronic watermarks which can embed electronic watermark information with small sound quality deterioration and high safety without always requiring a source signal before a watermark is embedded, and an electronic watermark detecting device. <P>SOLUTION: The device for embedding electronic watermarks includes a means of amplitude-modulating a band-pass signal and embedding the electronic watermark information in its continuous variation, a means of determining amplitude modulation intensity which is difficult to perceive, and a means of imparting a phase difference as a key for electronic watermark extraction to an inter-band phase difference of amplitude modulation to be imparted, and is equipped with a means of band-dividing a received signal and extracting an amplitude variation signal from its amplitude envelope, a means of emphasizing only amplitude variation by synchronously adding phase differences of the amplitude variation signal extracted by bands after correcting them with the inter-band phase difference imparted as the key when the electronic watermark is embedded, and a means of extracting the electronic watermark information from temporal and intensity features of the amplitude variation signal. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、振幅変調を用いた電子透かしに関し、特に帯域通過信号に与える振幅変調をキャリアとする音響信号用電子透かしに関する。   The present invention relates to a digital watermark using amplitude modulation, and more particularly to a digital watermark for an acoustic signal using amplitude modulation applied to a band-pass signal as a carrier.

様々な音響信号がディジタル化され、あらゆるメディアを用いて記録、保存、伝送、再生される時代が到来している。ディジタル情報は、品質を劣化させず容易かつ無限に複製、伝送が可能である。このため、ディジタル情報の著作者の意図に反した複製物がネットワークやメディアを通じて流通し、著作権者の利益が損ねられる問題が生じている。   Various audio signals have been digitized, and an era in which recording, storage, transmission, and reproduction are performed using all media has arrived. Digital information can be copied and transmitted easily and infinitely without degrading quality. For this reason, there arises a problem that a copy of digital information contrary to the intention of the author is distributed through the network or media, and the profit of the copyright holder is impaired.

ディジタル音楽コンテンツの利用に際して、利用者側の再生機器あるいはソフトウェア固有の秘密鍵を利用した暗号化を基本とするディジタル著作権管理技術が実用化されている。暗号化されたディジタル音楽データの利用は、対応する再生可能な機器やソフトウェアおよび複製回数を制限するという点では有効である。しかし、再生して得られるアナログ信号を再度ディジタル変換した後のデータに関しては、こういったディジタル著作権管理技術は全く無効である。   When using digital music content, a digital copyright management technique based on encryption using a playback device on the user side or a software-specific secret key has been put into practical use. Use of encrypted digital music data is effective in terms of limiting the corresponding reproducible equipment and software and the number of copies. However, such digital copyright management technology is completely ineffective with respect to data obtained by digitally converting an analog signal obtained by reproduction again.

このような問題を解決する技術として、電子透かし技術がある。これは、使用者には知覚されないようにコンテンツ自身の中に付加的な情報を埋め込むものである。したがって、ディジタル信号をアナログ化し、再度ディジタル化した後の信号からも、埋め込んだ透かし情報を検出することによって、有効な著作権管理を行うことを可能にする。また、アナログ化とディジタル化の間に生じるノイズや帯域制限などによる劣化、不可逆情報圧縮によるディジタル信号の劣化を経てなお、埋め込んだ透かし情報を有効に検出できる必要性もある。   There is a digital watermark technique as a technique for solving such a problem. This embeds additional information in the content itself so as not to be perceived by the user. Therefore, effective copyright management can be performed by detecting the embedded watermark information from the signal after the digital signal is converted into an analog signal and digitalized again. There is also a need to be able to effectively detect the embedded watermark information through degradation caused by noise and band limitation between analogization and digitalization, and digital signal degradation due to irreversible information compression.

メディアに記録される音楽コンテンツのみならず、放送音声コンテンツ、無線および有線通信における音声信号、拡声音声信号についても、電子透かし情報を埋め込む利点が存在する。それらのメディアにおいては、音楽コンテンツと同様に著作権管理を行うことだけではなく、音響信号による情報漏洩の発見および防止、あるいは音響信号通信における受信側での発信元の特定および認証など、音響信号通信全般の安全保障に寄与する利用法が考えられる。さらに、音楽コンサートや講演会において演奏音や音声がスピーカにより拡声する直前に電子透かし情報を埋め込むことによって、コンサートや講演会を録音したメディアの不正な流通を検出する利用法も考えられる。   There is an advantage of embedding digital watermark information not only for music content recorded on media, but also for broadcast audio content, audio signals in wireless and wired communications, and loud audio signals. In such media, not only is copyright management performed in the same way as music content, but acoustic signals such as discovery and prevention of information leakage due to acoustic signals, or identification and authentication of senders on the receiving side in acoustic signal communication, etc. Usage that contributes to the security of communications in general can be considered. Furthermore, a method of detecting unauthorized distribution of media recording a concert or lecture by embedding digital watermark information immediately before the performance sound or voice is amplified by a speaker at a music concert or lecture is also conceivable.

透かし情報検出時には、透かしを入れる前の原信号が必要な手法と、そうでない手法がある。一般的に前者の方が、対象とする音響信号に加える変更が少なく、音質劣化として知覚されにくい。一方で、原信号が必要な透かし検出システムを用いる場合、大量のネ ットワーク上の音楽コンテンツから透かし情報を取り出して不正利用を監視するためには、対応する原音を検索し用意することに多大な労力が必要となる上、原音を持たない第三者機関にこのような透かし抽出作業を委託することさえできない。さらに、送信され続ける放送および通信コンテンツからの透かし抽出の場合には、必ずしも原音が入手できるわけではない。このような実際の利用場面においては、透かしを入れる前の信号を必要としない手法が望まれる。   When watermark information is detected, there are a method that requires an original signal before watermarking and a method that does not. In general, the former is less likely to be perceived as sound quality deterioration because of less change to the target acoustic signal. On the other hand, when using a watermark detection system that requires an original signal, in order to extract watermark information from music content on a large number of networks and monitor unauthorized use, it is a great deal to search and prepare the corresponding original sound. In addition to requiring labor, it is not possible to even outsource such watermark extraction work to a third party that does not have the original sound. Furthermore, in the case of watermark extraction from broadcast and communication contents that are continuously transmitted, the original sound is not always available. In such an actual use situation, a technique that does not require a signal before watermarking is desired.

ディジタル音響信号に対する電子透かし埋め込みおよび検出技法として、これまでにも例えば、スペクトル拡散法(「岩切宗利、松井甲子雄、『スペクトル拡散と変形離散コサイン変換による高品質デジタル音声のための電子透かし法』、情報処理学会論文誌、第39 巻、pp.2631-2637」)(非特許文献1)、エコーハイディング法(特開2002-062885(特許文献1)、特開2003-263183(特許文献2))、心理音響モデルに基づく埋め込み法(「中山彰,陸金林,中村哲,鹿野清宏、『心理音響モデルに基づいたオーディオ信号の電子透かし』、電子情報通信学会論文誌、J83-D-II、pp.2255-2263」)(非特許文献2)、位相周期偏移法(特開2003-44067(特許文献3)、特開2004-279469(特許文献4))、周波数スペクトルのパッチワーク法(松岡保静、『室内反射波を考慮した可聴音通信方法の提案 -音響ステガノグラフィへの応用-』、電子通信学会技術報告EA2004-130、pp.33-38)(非特許文献3)などが提案されている。しかし、それぞれの技法には、利用する際の前提条件や要求条件に依存して一長一短があり、必ずしもこれらで充分であるという訳ではない。   As digital watermark embedding and detection techniques for digital acoustic signals, for example, the spread spectrum method (“Munetoshi Iwakiri, Kokoo Matsui,“ Digital watermarking for high-quality digital speech by spread spectrum and modified discrete cosine transform ”, IPSJ Journal, Vol. 39, pp.2631-2637 ”(Non-Patent Document 1), Echo Hiding Method (JP 2002-062885 (Patent Document 1), JP 2003-263183 (Patent Document 2)) ), Embedding method based on psychoacoustic model (“Akira Nakayama, Rikukinrin, Satoshi Nakamura, Kiyohiro Shikano,“ Digital watermarking of audio signal based on psychoacoustic model ”, IEICE Transactions, J83-D-II, pp .2255-2263 ") (Non-patent Document 2), Phase Period Shift Method (JP 2003-44067 (Patent Document 3), JP 2004-279469 (Patent Document 4)), Frequency Spectrum Patchwork Method (Matsuoka) Hosei, “Audible sound communication method considering reflected indoor waves Proposal of Method-Application to Acoustic Steganography-", IEICE Technical Report EA2004-130, pp.33-38) (non-patent document 3) and the like have been proposed. However, each technique has advantages and disadvantages depending on the preconditions and requirements for use, and these are not necessarily sufficient.

スペクトル拡散法は、透かし信号を短時間フレーム単位について、周波数軸上で広帯域に拡散して埋め込むことにより、各周波数帯域での透かし信号による影響を最小限に抑え、人間に知覚されないようにしたものである。しかし、音声や音楽信号のエネルギーは全ての時間において必ずしも全周波数帯域に分布しているわけではないので、エネルギーが小さくなる周波数帯域において透かし信号が重畳されていることが容易に検知されてしまう。   The spread spectrum method embeds the watermark signal in a short-time frame unit in a wide band on the frequency axis and embeds it to minimize the influence of the watermark signal in each frequency band so that it is not perceived by humans. It is. However, since the energy of the voice or music signal is not necessarily distributed over the entire frequency band at all times, it is easily detected that the watermark signal is superimposed in the frequency band where the energy is reduced.

エコーハイディング法は、透かし情報を遅れ時間としてコード化したインパルス応答を音信号に畳み込むことにより、透かし情報を音信号に埋め込む手法である。透かし抽出時には、受信信号の自己相関を取ることで、埋め込み時に使用したインパルス応答の遅れ時間が推定できる。遅れ時間を十分小さくしておけば、先行する音と融合して知覚されるので、透かしの存在は知覚されない。また、透かし情報を疑似雑音(PN) 系列を用いて符号化しておけば、埋め込み時に使用したPN系列を知らない限り、透かし入り信号の自己相関を取るだけでは透かしの存在を検出することができない。しかし、透かし情報の入ったインパルス応答をマスクするようなインパルス応答を透かし入り信号に畳み込んだ場合、例えば残響付加器を通した場合や、室内で再生した透かし入り信号を録音した場合などは、聴感的に不自然な劣化の無いままに透かし情報抽出の妨害が可能になる。   The echo hiding method is a method of embedding watermark information in a sound signal by convolving an impulse response in which the watermark information is coded as a delay time with the sound signal. At the time of watermark extraction, the delay time of the impulse response used at the time of embedding can be estimated by taking the autocorrelation of the received signal. If the delay time is made sufficiently small, the presence of the watermark is not perceived because it is perceived as a fusion with the preceding sound. Also, if watermark information is encoded using a pseudo-noise (PN) sequence, the presence of the watermark cannot be detected simply by taking the autocorrelation of the watermarked signal unless the PN sequence used at the time of embedding is known. . However, when an impulse response that masks the impulse response containing watermark information is convoluted with the watermarked signal, for example, when passing through a reverberation adder, or when recording a watermarked signal reproduced indoors, It is possible to prevent the watermark information from being extracted without any unnatural deterioration.

心理音響モデルを利用した透かし埋め込み法は、MPEG符号化における心理音響モデルを用いて周波数軸方向および時間軸方向のマスキングレベルを計算し、音楽信号上重要な低域にマスキングレベル以下となる透かし信号を埋め込む手法である。しかし、透かし抽出のためには透かしを入れる前の原信号が必要であり、利用場面に制限が加えられる。   The watermark embedding method using the psychoacoustic model calculates the masking level in the frequency axis direction and the time axis direction using the psychoacoustic model in MPEG coding, and the watermark signal that falls below the masking level in the low frequency region important for music signals Is a method of embedding. However, in order to extract the watermark, the original signal before the watermark is required, and the usage scene is limited.

周期位相偏移法は、音楽信号に与える位相変調量を時間的に穏やかに変化させ、その動特性に透かし情報を埋め込む方法である。これは、周波数軸上で離散的に位相を変化させる従来法において、周波数軸方向での相対的な位相関係が原音と異なるためひずみとして知覚される問題を解消した技法である。しかし透かし情報抽出時には、基本的に原信号と透かし入り信号の位相を比較することによって、位相変調波を抽出する仕組みであるため、対象とする透かし入り信号の原音をその都度用意する必要がある。ステレオ信号の場合は、片チャンネルの信号のみ透かし情報を含んだ周期位相変調を与え、もう一方のチャンネルに存在する両チャンネル間に共通する信号成分との位相差を算出することによって、原信号を必要としない透かし情報抽出が可能になるが、透かし入りステレオ信号をモノラルに変換された場合は、原音を必要としない透かし情報抽出は不可能になる。   The periodic phase shift method is a method in which the amount of phase modulation given to a music signal is gently changed in time, and watermark information is embedded in the dynamic characteristics thereof. This is a technique that solves the problem of perception as distortion because the relative phase relationship in the frequency axis direction differs from the original sound in the conventional method in which the phase is discretely changed on the frequency axis. However, when extracting watermark information, the phase modulation wave is basically extracted by comparing the phase of the original signal and the watermarked signal, so it is necessary to prepare the original sound of the target watermarked signal each time. . In the case of a stereo signal, only the signal of one channel is subjected to periodic phase modulation including watermark information, and the phase difference with the signal component common to both channels existing in the other channel is calculated, thereby obtaining the original signal. Although it is possible to extract watermark information that is not required, when a watermarked stereo signal is converted to monaural, it is not possible to extract watermark information that does not require the original sound.

周波数スペクトルのパッチワーク法は、複数の帯域通過信号間のパワーに統計的偏りを生成する方法である。しかしこの方法では、ある帯域と組になる別の帯域の信号同士は、それら帯域間のパワー差が検出可能な程度までパワーを増幅または減衰させる必要があり、元の信号のパワースペクトルが保持されずに音質劣化を招く恐れが高い。また、透かしを入れた帯域に対して、イコライザ等によって周波数スペクトルに変形を与えることによって、容易に検出を困難ならしめられる点も欠点である。
特開2002-062885号公報 特開 2003-263183号公報 特開2003-44067号公報 特開 2004-279469号公報 岩切宗利、松井甲子雄、『スペクトル拡散と変形離散コサイン変換による高品質デジタル音声のための電子透かし法』、情報処理学会論文誌、第39 巻、pp.2631-2637 中山彰,陸金林,中村哲,鹿野清宏、『心理音響モデルに基づいたオーディオ信号の電子透かし』、電子情報通信学会論文誌、J83-D-II、pp.2255-2263 松岡保静、『室内反射波を考慮した可聴音通信方法の提案 -音響ステガノグラフィへの応用-』、電子通信学会技術報告EA2004-130、pp.33-38
The frequency spectrum patchwork method is a method of generating a statistical bias in the power between a plurality of band-pass signals. However, with this method, it is necessary to amplify or attenuate the power of signals in another band paired with a certain band to such an extent that the power difference between these bands can be detected, and the power spectrum of the original signal is retained. There is a high risk of sound quality degradation. Another disadvantage is that the watermarked band can be easily detected by modifying the frequency spectrum with an equalizer or the like.
JP 2002-062885 JP JP 2003-263183 A JP 2003-44067 A JP 2004-279469 A Munetoshi Iwakiri, Kokoo Matsui, “Digital Watermarking for High-Quality Digital Speech Using Spread Spectrum and Modified Discrete Cosine Transform”, Transactions of Information Processing Society of Japan, Vol.39, pp.2631-2637 Akira Nakayama, Rikukinbayashi, Satoshi Nakamura, Kiyohiro Shikano, “Digital Watermarking of Audio Signals Based on Psychoacoustic Models”, IEICE Transactions, J83-D-II, pp.2255-2263 Yasuhiro Matsuoka, "Proposal of audible sound communication method considering reflected wave in the room -Application to acoustic steganography", IEICE Technical Report EA2004-130, pp.33-38

音響信号を対象とした電子透かし埋め込みおよび検出技術には、原音を必要とせず透かし情報の抽出が可能であること、透かし情報を埋め込みに伴う音質の劣化が少ないこと、不可逆情報圧縮および放送あるいは通信による品質劣化を経ても透かし情報を抽出できること、第三者が透かし情報の存在を検知してそれを妨害することが困難であること、などが要望されており、これらを広範囲に満たす電子透かし埋め込みおよび検出技術はいまだ発明されていない。   Digital watermark embedding and detection technology for acoustic signals enables the extraction of watermark information without the need for the original sound, little deterioration in sound quality due to watermark information embedding, lossy information compression and broadcasting or communication It is demanded that watermark information can be extracted even after quality degradation due to, and that it is difficult for a third party to detect the presence of the watermark information and prevent it, etc. And no detection technology has yet been invented.

本発明は上記の要望に応えるべくなされたもので、透かしを埋め込む前の原信号を必ずしも必要とせず、音質劣化が少なく、安全性の高い電子透かし情報を埋め込むことが可能な電子透かしシステム、電子透かし埋込装置および電子透かし検出装置を提供することを目的とする。   The present invention has been made in response to the above-described demands, and does not necessarily require an original signal before embedding a watermark, has little deterioration in sound quality, and can embed highly secure digital watermark information, An object of the present invention is to provide a watermark embedding device and a digital watermark detection device.

上記の目的を達成するために、請求項1に係わる本発明は、音響信号に電子透かし情報を埋め込む電子透かし埋込装置と、この電子透かし埋込装置により埋め込まれた音響信号から電子透かし情報を検出する電子透かし検出装置とを備える電子透かしシステムにおいて、前記電子透かし埋込装置は、前記音響信号を帯域通過フィルタ群によって帯域分割したときの帯域通過信号に振幅変調を与えその連続的な変化の中に前記電子透かし情報を埋め込む手段と、あらかじめ前記帯域通過信号の強度と前記帯域通過信号に含まれている振幅変動量を元に知覚されにくい振幅変調強度を決定するための手段と、付与する振幅変調の帯域間位相差に電子透かし抽出時の鍵となる位相差を与える手段と、電子透かしの埋め込まれた帯域通過信号およびそうでない帯域通過信号の全てを加算することによって電子透かし情報の埋め込まれた音響信号を出力する手段を具備し、前記電子透かし検出装置は、電子透かし情報が埋め込まれた音響信号を帯域分割しその振幅包絡を求めることによって振幅変動信号を抽出する手段と、帯域毎に抽出された前記振幅変動信号の位相差を電子透かし埋め込み時に与えられた鍵となる帯域間位相差によって補正した上で同期加算することによりキャリアとなる振幅変動のみを強調する手段と、帯域間振幅変動信号の時間的特徴より電子透かし情報を取り出す手段とを具備して構成するようにした。   To achieve the above object, according to the present invention, a digital watermark embedding device for embedding digital watermark information in an audio signal, and an electronic watermark information from an audio signal embedded by the digital watermark embedding device are provided. In the digital watermark system including the digital watermark detection device for detecting, the digital watermark embedding device applies amplitude modulation to the band-pass signal when the acoustic signal is band-divided by the band-pass filter group, and the continuous change of the signal is performed. Means for embedding the digital watermark information therein, means for determining an amplitude modulation intensity that is difficult to perceive based on the intensity of the band-pass signal and the amplitude fluctuation amount included in the band-pass signal in advance Means for giving a phase difference which is a key at the time of digital watermark extraction to the phase difference between the bands of amplitude modulation, a band-pass signal in which the digital watermark is embedded, and Means for outputting an acoustic signal in which digital watermark information is embedded by adding all non-bandpass signals, and the digital watermark detection apparatus divides the band of the acoustic signal in which digital watermark information is embedded and the amplitude thereof A means for extracting an amplitude fluctuation signal by obtaining an envelope and a phase difference between the amplitude fluctuation signals extracted for each band are corrected by a key inter-band phase difference given at the time of embedding a digital watermark and then synchronously added. Thus, the apparatus is configured to include means for emphasizing only the amplitude fluctuation serving as a carrier and means for extracting digital watermark information from the temporal characteristics of the interband amplitude fluctuation signal.

また、請求項2に係わる本発明は、音響信号に電子透かし情報を埋め込む前記電子透かし埋込装置において、前記音響信号を帯域通過フィルタ群によって帯域分割したときの対となる隣接する帯域通過信号にそれぞれ逆位相の振幅変調を与えて、その連続的な変化の中および他の離れた帯域に与える振幅変調との位相差および変調強度差の中、および時間的に離れた区間に与える振幅変調の位相差および変調強度差の中に前記電子透かし情報を埋め込む手段と、あらかじめ前記帯域通過信号に含まれている振幅変動量と前記帯域通過信号の強度とを元に知覚されにくい振幅変調強度を決定するための手段と、付与する振幅変調の帯域間位相差に電子透かし抽出時の鍵となる位相差を与える手段と、電子透かしの埋め込まれた帯域通過信号およびそうでない帯域通過信号の全てを加算することによって電子透かし情報の埋め込まれた音響信号を出力する手段とを具備して構成することにした。   According to a second aspect of the present invention, in the digital watermark embedding apparatus that embeds digital watermark information in an acoustic signal, the acoustic signal is converted into a pair of adjacent band-pass signals when the acoustic signal is band-divided by a band-pass filter group. Amplitude modulation applied in the phase difference and modulation intensity difference between the continuous modulation and amplitude modulation applied to other remote bands, and in the interval separated in time A means for embedding the digital watermark information in the phase difference and the modulation intensity difference, and an amplitude modulation intensity that is difficult to perceive based on the amplitude fluctuation amount included in the band pass signal in advance and the intensity of the band pass signal are determined. Means for providing a phase difference which is a key at the time of digital watermark extraction to the phase difference between the bands of the amplitude modulation to be applied, and a band-pass signal in which the digital watermark is embedded. I decided to configure and means for outputting an acoustic signal with embedded watermark information by adding all of the band-pass signal otherwise.

さらに、請求項3に係わる本発明は、前記電子透かし埋込装置において、振幅変調周期に比例した時間区間毎に、電子透かし情報を埋め込む前記帯域通過信号があらかじめ含んでいる変動周波数帯域ごとの振幅変動パワーを求めてそれらの重みづけ加重和によって、付与する振幅変調の基準となる変調強度を求めるための手段と、付与する振幅変調によって生じる側帯波のパワーが最小可聴値を下回る場合に側帯波のパワーが最小可聴値と等しくなるように付与する振幅変調強度を決定する手段とを具備して構成するようにした。   Furthermore, the present invention according to claim 3 is the digital watermark embedding apparatus, wherein the amplitude for each variable frequency band included in advance in the band-pass signal in which the digital watermark information is embedded for each time interval proportional to the amplitude modulation period. Means for obtaining fluctuation power and obtaining a modulation intensity that is a reference for amplitude modulation to be applied by the weighted weighted sum thereof, and a sideband wave when the power of the sideband wave generated by the amplitude modulation to be applied is below the minimum audible value And means for determining an amplitude modulation intensity to be applied so that the power of the signal becomes equal to the minimum audible value.

したがって、請求項3に係わる構成により、帯域通過信号に与える振幅変調の検知閾が、帯域通過信号にあらかじめ存在する振幅変調周波数に近い振幅変動強度に比例するという、聴覚における変調マスキング検知の特性を利用して、人間の聴覚において知覚されにくい振幅変調強度を決定するようにしている。   Therefore, the configuration according to claim 3 has the characteristic of modulation masking detection in hearing that the detection threshold of amplitude modulation given to the band-pass signal is proportional to the amplitude fluctuation intensity close to the amplitude modulation frequency pre-existing in the band-pass signal. This is used to determine the amplitude modulation intensity that is difficult to perceive in human hearing.

さらに、請求項4に係わる本発明は、前記電子透かし埋込装置において、前記帯域通過信号に付与する振幅変調信号の位相を帯域毎に疑似乱数系列によって決定し、この疑似乱数系列を電子透かし情報検出のための鍵とする手段を具備して構成するようにした。   Furthermore, in the present invention according to claim 4, in the digital watermark embedding apparatus, a phase of an amplitude modulation signal to be given to the band pass signal is determined for each band by a pseudo random number sequence, and the pseudo random number sequence is determined as digital watermark information. It is configured to have a means as a key for detection.

また、請求項5に係わる本発明は、前記電子透かし埋込装置において、前記帯域通過信号に付与する振幅変調信号の位相および変調強度を複数帯域毎に異ならしめることによってそれらの帯域間の振幅変調の位相差および強度差に電子透かし情報を埋め込む手段を具備して構成するようにした。   According to a fifth aspect of the present invention, in the digital watermark embedding apparatus, the amplitude modulation between the bands is performed by making the phase and the modulation intensity of the amplitude modulation signal applied to the band-pass signal different for each of a plurality of bands. Means for embedding digital watermark information in the phase difference and intensity difference.

さらに、請求項6に係わる本発明は、前記電子透かし埋込装置において、前記帯域通過信号に付与する振幅変調信号の位相をあらかじめ定める一定の時間区間である透かし埋め込み周期毎に反転させることによって、電子透かし情報埋め込み区間を時間分割する手段を具備して構成するようにした。   Furthermore, in the present invention according to claim 6, in the digital watermark embedding apparatus, by inverting the phase of the amplitude modulation signal to be given to the band-pass signal at every predetermined watermark embedding period, The electronic watermark information embedding section is provided with a means for time division.

さらに、請求項7に係わる本発明は、前記電子透かし埋込装置において、前記帯域通過信号に付与する振幅変調信号の位相および変調強度を前記透かし埋め込み周期毎に異ならしめることによって、その位相差および強度差に電子透かし情報を埋め込む手段を具備して構成するようにした。   Further, the present invention according to claim 7 is the digital watermark embedding apparatus, wherein the phase difference and the amplitude of the amplitude modulation signal applied to the band-pass signal are made different for each watermark embedding period. A means for embedding digital watermark information in the intensity difference is provided.

また、請求項8に係わる本発明は、電子透かし情報を音響信号から検出する前記電子透かし検出装置において、電子透かし情報が埋め込まれた音響信号を帯域分割し対となる隣接する帯域間の振幅包絡の比の対数を求めることによって振幅変動信号を抽出する手段と、帯域毎に抽出された振幅変動信号の位相差を電子透かし埋め込み時に与えられた鍵となる帯域間位相差によって補正した上で同期加算することによりキャリアとなる振幅変動のみを強調して抽出する手段と、抽出した振幅変動信号の帯域間および透かし埋め込み周期間での時間的特徴および強度的特徴より電子透かし情報を取り出す手段とを具備して構成するようにした。   Further, the present invention according to claim 8 is the above-described digital watermark detection apparatus for detecting digital watermark information from an acoustic signal. In the digital watermark detection apparatus, an amplitude envelope between adjacent bands which are paired by dividing the acoustic signal in which the digital watermark information is embedded. A means for extracting the amplitude fluctuation signal by calculating the logarithm of the ratio of the signal and the phase difference of the amplitude fluctuation signal extracted for each band is corrected by the key inter-band phase difference given at the time of embedding the digital watermark. Means for emphasizing and extracting only amplitude fluctuations as carriers by adding, and means for extracting digital watermark information from temporal characteristics and intensity characteristics between the bands of the extracted amplitude fluctuation signals and between watermark embedding periods. It was made to comprise.

この請求項8に係わる電子透かし検出装置の特徴としては、一般的な音響信号において、隣接する帯域間の振幅包絡波形には共通する変動成分が多く含まれることから、隣接する帯域間の振幅包絡波形の比の対数を算出することによって、隣接する帯域通過信号に共通する振幅変動成分を打ち消し、電子透かし埋込装置において与えた振幅変動成分を強調して抽出するという点である。   The digital watermark detection apparatus according to claim 8 is characterized in that, in a general acoustic signal, an amplitude envelope waveform between adjacent bands includes many common fluctuation components, and therefore, an amplitude envelope between adjacent bands is included. By calculating the logarithm of the waveform ratio, the amplitude fluctuation component common to the adjacent band-pass signals is canceled, and the amplitude fluctuation component given in the digital watermark embedding apparatus is emphasized and extracted.

また、請求項9に係わる本発明は、前記電子透かし検出装置において、電子透かし情報を埋め込む前の音響信号を帯域分割して得られる帯域通過信号の振幅包絡と電子透かし情報を埋め込んだ音響信号を同様に帯域分割して得られる対応した帯域通過信号の振幅包絡の比の対数を求めることよって得られる振幅変動信号の時間的特徴および強度的特徴より電子透かし情報を取り出す手段を具備して構成するようにした。   According to a ninth aspect of the present invention, in the digital watermark detection apparatus, an amplitude envelope of a band-pass signal obtained by dividing the acoustic signal before embedding the digital watermark information and an acoustic signal embedded with the digital watermark information are obtained. Similarly, there is provided a means for extracting digital watermark information from the temporal characteristics and intensity characteristics of the amplitude variation signal obtained by obtaining the logarithm of the ratio of the amplitude envelope of the corresponding band-pass signal obtained by band division. I did it.

上記構成は、透かしを埋め込む前の音響信号が入手できる条件での透かし検出を行うもので、透かしを埋め込む前の音響信号なしで透かし検出を行う場合に対して、より弱い強度の振幅変動を透かし埋め込み時に与えた場合にも透かし検出が可能となるため、透かしの埋め込みを聴取者に知覚させてしまうことがなく、かつ透かしを埋め込む前の音響信号が無い場合に透かし情報を検出するのは非常に困難となる。   The above configuration performs watermark detection under the condition that an acoustic signal before embedding a watermark can be obtained. Compared with the case where watermark detection is performed without an acoustic signal before embedding a watermark, a weak amplitude fluctuation is watermarked. Since watermark detection is possible even when given at the time of embedding, it is very difficult to detect watermark information when there is no acoustic signal before embedding the watermark without causing the listener to perceive embedding of the watermark. It becomes difficult.

また、請求項10に係わる本発明は、前記電子透かし検出装置において、前記帯域通過信号より抽出された振幅変動信号の位相を電子透かし埋め込み時に与えられた鍵となる帯域間位相差によって補正した上で同期加算することによりキャリアとなる振幅変動のみを強調する手段と、補正後の複数の帯域の振幅変動信号間の位相差および強度差を透かし情報として検出する手段とを具備して構成するようにした。   According to a tenth aspect of the present invention, in the digital watermark detection apparatus, the phase of the amplitude fluctuation signal extracted from the band-pass signal is corrected by a key inter-band phase difference given when the digital watermark is embedded. Means for emphasizing only the amplitude fluctuation that becomes a carrier by synchronous addition in step, and means for detecting the phase difference and the intensity difference between the amplitude fluctuation signals of a plurality of bands after correction as watermark information. I made it.

この請求項10に係わる電子透かし検出装置の構成によれば、あらかじめ電子透かし埋込時に鍵とした帯域毎の位相差情報が検出時に分からない場合は、抽出される振幅変調信号を帯域間で同期加算して振幅変調を強調することができないため、透かしの情報のキャリアとなる振幅変動波を抽出することが困難であり、透かしが埋め込まれているかどうかを検出することも困難である。また、帯域間の位相差に透かし情報を割り当てた場合は、鍵となる帯域間の位相差情報が検出時に分からないと、透かし情報を検出するのは非常に困難である。よって、電子透かしの秘匿性および安全性を高めることを実現している。   According to the configuration of the digital watermark detection apparatus according to claim 10, when the phase difference information for each band, which is a key at the time of embedding the digital watermark, is not known at the time of detection, the extracted amplitude modulation signal is synchronized between the bands. Since the amplitude modulation cannot be emphasized by addition, it is difficult to extract an amplitude fluctuation wave serving as a watermark information carrier, and it is also difficult to detect whether the watermark is embedded. When watermark information is assigned to the phase difference between bands, it is very difficult to detect the watermark information unless the phase difference information between the key bands is known at the time of detection. Therefore, the secrecy and security of the digital watermark are improved.

また、請求項11に係わる本発明は、前記電子透かし検出装置において、前記帯域通過信号より抽出された振幅変動波形について、電子透かし情報埋め込み時に決定した透かし埋め込み周期毎に加算と減算を交互に行い累積される信号における電子透かし埋め込み変調周波数での変動強度を、前記帯域通過信号の先頭時刻をゼロから前記透かし埋め込み周期時間までずらしながら求め、その変動強度の最大値が得られる時刻をもって電子透かし埋め込み時に決定した透かし埋め込み周期の開始時刻とし、電子透かし埋め込み周期の同期をとる手段を具備して構成するようにした。   The present invention according to claim 11 is the digital watermark detection device, wherein the amplitude fluctuation waveform extracted from the band-pass signal is alternately added and subtracted every watermark embedding period determined at the time of embedding the digital watermark information. The fluctuation intensity at the digital watermark embedding modulation frequency in the accumulated signal is obtained by shifting the start time of the bandpass signal from zero to the watermark embedding cycle time, and the digital watermark embedding is performed at the time when the maximum value of the fluctuation intensity is obtained. The watermark embedding cycle start time determined from time to time is used, and means for synchronizing the digital watermark embedding cycle is provided.

また、請求項12に係わる本発明は、前記電子透かし検出装置において、前記帯域通過信号より抽出された振幅変動波形について、複数の透かし埋め込み周期における振幅変動信号の位相差および強度差を求めることによって透かし情報を抽出する手段を具備して構成するようにした。   According to a twelfth aspect of the present invention, in the digital watermark detection apparatus, the amplitude variation waveform extracted from the band-pass signal is obtained by obtaining a phase difference and an intensity difference of the amplitude variation signal in a plurality of watermark embedding periods. A means for extracting watermark information is provided.

本発明における電子透かし埋め込み装置および電子透かし検出装置の効果を確認するため、本電子透かしが埋め込まれていることを人間が知覚することの困難性と、本電子透かし埋め込み済み音楽信号への様々な変形に対する耐性を、音楽データベースに収録された幅広いジャンルの音楽データを対象として調べた。   In order to confirm the effects of the digital watermark embedding apparatus and the digital watermark detection apparatus according to the present invention, it is difficult for a human to perceive that the digital watermark is embedded, and various music signals are embedded in the digital watermark embedded music signal. The resistance to deformation was examined for a wide range of music data recorded in a music database.

電子透かし埋め込み時の、帯域通過フィルタ幅は172Hzとし、サンプリング周波数変換への耐性を保つため、電子透かしを埋め込む帯域は、音楽データのサンプリング周波数44.1kHzに対して11025Hz以下とした。また、電子透かしの埋め込み強度は、電子透かし埋込装置における振幅変調強度決定器において算出される対象となる音楽信号の基準変動量を0dBとして強度設定した。電子透かし埋め込みのための振幅変調周波数は3Hzと12Hzを同時に用い、それぞれの変動周波数における基準変動量に対して同じ比率となる変調強度を設定した。電子透かし埋め込み周期は変調周波数3Hzにつき5秒間、変調周波数12Hzにつき2秒間とした。帯域群の数は3とし、帯域群間位相差に2ビットの情報を埋め込むので、埋め込む情報量全体のビットレートは2.8bpsとなる。   At the time of embedding a digital watermark, the band pass filter width is set to 172 Hz, and the band in which the digital watermark is embedded is set to 11025 Hz or less with respect to the sampling frequency of 44.1 kHz of music data in order to maintain resistance to sampling frequency conversion. The embedding strength of the digital watermark is set with the reference fluctuation amount of the music signal to be calculated calculated by the amplitude modulation strength determiner in the digital watermark embedding device as 0 dB. The amplitude modulation frequency for embedding the digital watermark was 3 Hz and 12 Hz at the same time, and the modulation intensity was set to the same ratio with respect to the reference fluctuation amount at each fluctuation frequency. The digital watermark embedding period was 5 seconds for a modulation frequency of 3 Hz and 2 seconds for a modulation frequency of 12 Hz. Since the number of band groups is 3, and 2-bit information is embedded in the phase difference between the band groups, the bit rate of the total amount of information to be embedded is 2.8 bps.

RWC音楽データベース:音楽ジャンル(RWC-MDB-G-2001)に含まれるあらゆるジャンルを網羅した100曲の楽曲に、本電子透かし埋め込みを行い得られた音楽信号について、透かしを入れない音楽信号からの音質劣化が聴感上検知できるかどうかを調べた。その結果、基準変動量に対して最小でも-10dB程度の透かし埋め込み強度において、音質変化がようやく知覚される程度であり、ほとんどの楽曲において基準変動量に対して0dB程度の透かし埋め込みでは音質劣化が知覚されないことが明らかになった。   RWC Music Database: Music signals obtained by embedding this digital watermark into 100 songs covering all genres included in the music genre (RWC-MDB-G-2001). It was investigated whether deterioration of sound quality could be detected by hearing. As a result, the sound quality change is finally perceived at a watermark embedding strength of at least -10 dB with respect to the reference fluctuation amount. It became clear that it was not perceived.

透かし埋め込み強度と、透かし埋め込みに伴う音質劣化との関係をより詳しく調べるために、先に行った音質劣化主観評価の結果、最も音質変化が知覚されやすかった楽曲3曲について、音質差検知訓練を3時間以上行った被験者3名に対して音質変化の検知限を測定する実験を行った。   In order to investigate in more detail the relationship between watermark embedding strength and sound quality degradation due to watermark embedding, we conducted sound quality difference detection training for the three songs whose sound quality change was most easily perceived as a result of the previous subjective evaluation of sound quality degradation. An experiment was conducted to measure the limit of detection of changes in sound quality for three subjects who had performed for more than 3 hours.

サンプリング周波数44100Hz、量子化ビット数16ビットの楽曲データの左チャンネル冒頭1分間のうち、比較的透かし埋め込み知覚の容易な区間5秒間に対して、3Hzおよび12Hzの変調周波数による透かしを埋め込んだ音楽信号(A)と、透かし埋め込みのない原音楽信号(X)とを、AXXあるいはXXAの順序でランダムにヘッドホンから呈示し、被験者は最初かあるいは最後のいずれの呈示が、真中の呈示である原音(X)と等しいかを検出する実験を行った。被験者が2回連続して正答した場合は、透かし埋め込み強度を2dB下げ、まちがった場合は透かし埋め込み強度を2dB上げる手続きを、埋め込み強度減少から増加への転換点および増加から減少への転換点が12回繰り返すまで行った。このうち、最後の8回の埋め込み強度の転換点での埋め込み強度を平均することにより、正答確率70.7%となる透かし埋め込み強度の検知限を求めた。この測定を各曲3回実施し被験者毎に平均値を求めた。その結果、最も検知しやすい楽曲でも基準変動レベルに対し-20dB 程度の透かし埋め込み強度により初めて透かしによる音質変化が検知されることが分かった。   Music signal in which watermarks with modulation frequencies of 3 Hz and 12 Hz are embedded in the first 1 minute of the left channel of music data with a sampling frequency of 44100 Hz and a quantization bit number of 16 bits for a period of relatively easy watermark embedding perception for 5 seconds. (A) and the original music signal (X) without watermark embedding are presented randomly from the headphones in the order of AXX or XXA, and the subject is the original sound whose first or last presentation is the middle presentation ( An experiment was conducted to detect if it is equal to X). If the subject answers correctly twice, the watermark embedding strength is lowered by 2 dB, and if it is wrong, the watermark embedding strength is raised by 2 dB. Repeated 12 times. Of these, the watermark embedding strength at the last 8 embedding strength turning points was averaged to obtain a watermark embedding strength detection limit with a correct answer probability of 70.7%. This measurement was performed three times for each song, and the average value was obtained for each subject. As a result, it was found that even with the most easily detected music, a change in sound quality due to watermarking was detected for the first time with a watermark embedding strength of about -20 dB relative to the reference fluctuation level.

Figure 2006251676
Figure 2006251676

次に、本電子透かし埋め込み済み音楽信号へ、音楽信号が一般的な通信および記録メディアを経由する環境および、室内に放射されて残響を与えられるという環境を模擬した変形を与えた後の電子透かしデータ検出率を、音楽データベースに収録された幅広いジャンルの音楽データを対象として調べた。対象とした音楽信号は、RWC音楽データベース:音楽ジャンル(RWC-MDB-G2001)に収録されている100曲の左チャンネル冒頭1分間である。   Next, the digital watermark after the digital watermark-embedded music signal has been transformed to simulate the environment in which the music signal passes through general communication and recording media and the environment in which the signal is radiated and given reverberation. The data detection rate was examined for a wide range of music data recorded in a music database. The target music signal is the first minute left channel of 100 songs recorded in the RWC music database: Music Genre (RWC-MDB-G2001).

表2には、電子透かし入り音楽に様々な変形を施した後に電子透かし検出を行った時の100曲に対する全体のビット検出率を示した。括弧中の数字は100曲中何曲においてビット検出率が100%であったかを示している。上から順に、エンコードビットレートを 48kbpsあるいは64kbpsとしてMPEG1 Audio Layer3方式でエンコードした後デコードした音楽信号でのビット検出率を、次に残響時間1秒あるいは0.3秒の残響を付加した音楽信号でのビット検出率を、次にホワイトノイズを付加した音楽信号での、ビット検出率をを示した。付加ホワイトノイズのレベルは、16ビットで記録できる最大振幅の純音のレベルを0dBとした相対値において-50dB,-70dBとした。また、一番下には量子化ビット数8bitに変換した音楽信号での、ビット検出率を示した。    Table 2 shows the overall bit detection rate for 100 songs when digital watermark detection is performed after various modifications to digital watermarked music. The numbers in parentheses indicate how many out of 100 songs the bit detection rate was 100%. In order from the top, the bit rate in the music signal with the reverberation time of 1 second or 0.3 seconds added is added to the bit detection rate in the decoded music signal after encoding with the MPEG1 Audio Layer 3 method with the encoding bit rate of 48 kbps or 64 kbps. The detection rate and the bit detection rate for music signals with white noise added are shown. The level of additional white noise was set to -50dB and -70dB in relative values where the level of pure tone with the maximum amplitude that can be recorded in 16 bits was 0dB. At the bottom, the bit detection rate is shown for music signals converted to 8 bit quantization.

Figure 2006251676
Figure 2006251676

また、電子透かしを埋め込んだ帯域が11025Hz以下であることから、電子透かしを埋め込んだ音楽信号に、上記に示したいずれの変形を与えることと同時に、サンプリング周波数を44100Hzから22050Hz に変換した場合でも、ビット検出率は変化しない。   In addition, since the band in which the digital watermark is embedded is 11025 Hz or less, even if the sampling frequency is converted from 44100 Hz to 22050 Hz at the same time as any of the above-described modifications to the music signal in which the digital watermark is embedded, The bit detection rate does not change.

これらの結果より、音楽信号の変動成分から算出した基準変動量に対して-10dBの透かし強度によって、透かし変調周波数12Hzのとき残響1秒を与えた場合以外は、95%以上のビット検出率が得られ、約半分以上のジャンルの楽曲において100%のビット検出率が得られることが分かった。ここで電子透かし入り音楽信号に与えた変形は、音楽信号が一般的な通信および記録メディアを経由する環境、さらに室内に放射されて残響を与えられるという環境を模擬するものであり、本発明による電子透かし埋め込みおよび検出システムを用いれば、そうした環境を経てもなお検出率の高い強固な電子透かしが実現できることを示している。   From these results, a bit detection rate of 95% or more is obtained except for a case where a reverberation of 1 second is given at a watermark modulation frequency of 12 Hz with a watermark strength of -10 dB with respect to a reference fluctuation amount calculated from a fluctuation component of a music signal. As a result, it was found that a bit detection rate of 100% can be obtained for music of about half or more genres. The deformation given to the digital watermarked music signal here simulates an environment in which the music signal passes through general communication and recording media, and an environment in which reverberation is given by being radiated indoors. Using a digital watermark embedding and detection system, it is shown that a robust digital watermark with a high detection rate can be realized even through such an environment.

以下、図面を参照して、この発明の一実施形態について説明する。   Hereinafter, an embodiment of the present invention will be described with reference to the drawings.

図1は、この発明の第1の実施形態に係わる電子透かしシステムの構成を示すものである。この図に示す電子透かしシステムは、電子透かし埋込装置100と電子透かし検出装置200とを備える。   FIG. 1 shows the configuration of a digital watermark system according to the first embodiment of the present invention. The digital watermark system shown in this figure includes a digital watermark embedding device 100 and a digital watermark detection device 200.

電子透かし埋込装置100は、符号化部110と、帯域通過フィルタ群120と、出力端子140とを備える。符号化部110は、透かしデータ(電子透かし情報)によって決定される透かし位相と、鍵データによって決定される鍵位相を加算して得られる帯域毎の振幅変調位相情報および透かしデータによって決定される振幅変調強度情報を、帯域通過フィルタ群120に含まれる振幅変調部130に与える。   The digital watermark embedding apparatus 100 includes an encoding unit 110, a band pass filter group 120, and an output terminal 140. The encoding unit 110 adds the watermark phase determined by the watermark data (digital watermark information) and the key phase determined by the key data, and amplitude determined by the amplitude modulation phase information and the watermark data for each band. The modulation intensity information is given to the amplitude modulation unit 130 included in the band pass filter group 120.

符号化部110では、振幅変調部130において振幅変調を与える帯域対の数BNに対し、帯域対グループ数をGN(2≦GN≦BN)とし、透かしデータw(k)をk(1≦k<GN)個のNビットのデータとして、これを 0から2N-1までの整数値W(k)にする。変換後の整数値W(k)とビット値との対応は、連続するW(k)の値で1ビットだけ異なるようにする。これは位相検出の際、与えた位相差に近い値が誤検出される率が高く、その場合のビットエラー量を少なくするためである。1番目の帯域対グループの位相に対するk+1番目の帯域対グループに与える相対的な位相pd(k+1) を、数式1で表し、この振幅変調位相差に透かし情報を埋め込む。さらに、1番目の帯域対グループに対して、 k+1番目の帯域対グループの振幅変調強度を強くする場合をビット値1、弱くする場合をビット値0として、振幅変調強度差にkビットの透かし情報を埋め込む。これら、帯域群間の振幅変調における位相差および振幅変調強度決定は、あらかじめ定める透かし埋め込み周期T秒毎に透かしデータを変えて行う。 In the encoding unit 110, the number of band pairs is set to GN (2 ≦ GN ≦ BN) and the watermark data w (k) is set to k (1 ≦ k) with respect to the number BN of band pairs to which amplitude modulation is applied in the amplitude modulation unit 130. As <GN) N-bit data, this is set to an integer value W (k) from 0 to 2 N -1. The correspondence between the integer value W (k) after the conversion and the bit value is different by 1 bit between consecutive W (k) values. This is because the rate at which a value close to a given phase difference is erroneously detected during phase detection is high, and the bit error amount in that case is reduced. The relative phase pd (k + 1) to be given to the (k + 1) th band pair group with respect to the phase of the first band pair group is expressed by Equation 1, and watermark information is embedded in this amplitude modulation phase difference. Furthermore, with respect to the first band pair group, when the amplitude modulation intensity of the k + 1 band pair group is increased, the bit value is 1, and when it is decreased, the bit value is 0. Embed watermark information. These phase differences and amplitude modulation intensity determinations in amplitude modulation between band groups are performed by changing the watermark data every predetermined watermark embedding period T seconds.

他の電子透かし埋め込み手法によって、透かし埋め込み周期Tの同期をとるための信号が埋め込まれる場合は、t+1(t=1,2,... ,m-1)番目(mは信号全体の長さを透かし埋め込み周期で割った数)の透かし埋め込み周期に割り当てるNビットの電子透かし情報をw1(t)として、これをw(k)の場合と同様に整数値 W1(t)に変換することにより、1番目の帯域対グループに与える位相pd(t+1)を数式2によって定め、一透かし埋め込み周期ごとにNビットの透かし情報を埋め込む。ここでpd1(1)=0とする。さらにt+1番目の振幅変調強度をt番目の振幅変調強度に対して強くする場合をビット値1、弱くする場合をビット値0として、振幅変調強度にm-1ビットの透かし情報を埋め込む。さらに、他の電子透かし埋め込み手法によって同期信号を埋め込まない場合は、pd1の値を透かし埋め込み周期毎に逆位相とし、同期信号の役割を持たせる。 When a signal for synchronizing the watermark embedding period T is embedded by another digital watermark embedding method, t + 1 (t = 1,2, ..., m-1) th (m is the total signal The N-bit digital watermark information to be assigned to the watermark embedding period (the number obtained by dividing the length by the watermark embedding period) is w 1 (t), and this is converted to an integer value W 1 (t) as in the case of w (k). By converting, the phase pd (t + 1) to be given to the first band pair group is determined by Equation 2, and N-bit watermark information is embedded at every watermark embedding period. Here, pd 1 (1) = 0. Further, m−1 bits of watermark information are embedded in the amplitude modulation intensity with a bit value 1 when the t + 1-th amplitude modulation intensity is made stronger than the t-th amplitude modulation intensity and a bit value 0 when the t + 1-th amplitude modulation intensity is weakened. Further, when the synchronization signal is not embedded by another digital watermark embedding method, the value of pd 1 is set to the opposite phase for each watermark embedding period, and the role of the synchronization signal is given.

Figure 2006251676
Figure 2006251676

Figure 2006251676
Figure 2006251676

また、符号化部110では、疑似乱数系列により生成された鍵データによって帯域対毎に与える振幅変調の鍵位相を決定する。この鍵データは、振幅変動を与える帯域対の鍵位相値を決定するknビット、どの帯域対がどの帯域グループに属するかを決定するグループ番号としてlog2(BN) ビットの情報量を持つ。鍵データを鍵位相pkに変換するには、帯域の対あたりknビットの鍵データを符号なし整数に変換した後の値をKIとして、数式3で表す。この帯域対毎に決定される鍵位相pkと、帯域対グループ毎に決定される透かし位相pdは加算されて帯域対毎の位相差として振幅変調部130において用いられる。 In addition, encoding section 110 determines the key phase of amplitude modulation to be given for each band pair by using key data generated from a pseudo-random number sequence. This key data has an information amount of log 2 (BN) bits as a kn bit for determining a key phase value of a band pair giving amplitude fluctuation and a group number for determining which band pair belongs to which band group. In order to convert the key data into the key phase pk, the value after converting the kn-bit key data per band pair into an unsigned integer is represented by Equation 3 as KI. The key phase pk determined for each band pair and the watermark phase pd determined for each band pair group are added and used in the amplitude modulation unit 130 as a phase difference for each band pair.

Figure 2006251676
Figure 2006251676

図2は、帯域通過フィルタ群120を示したものであり、入力信号の帯域通過信号に振幅変調を与える振幅変調部130を含んだ帯域通過フィルタ部121を複数並列させた構成をとる。それらの帯域通過フィルタ部121の通過周波数帯域は直流周波数から音響信号のとりうる上限周波数まですき間無く連続してしている。各帯域通過フィルタ部の出力は、振幅変調部130において振幅変調を与えられた後、帯域全てを加算して、帯域通過フィルタ群120の出力として出力される。振幅変調部130には、符号化部110より透かしおよび鍵データを符号化した振幅変調位相および変調強度情報が与えられる。   FIG. 2 shows a band-pass filter group 120, which has a configuration in which a plurality of band-pass filter units 121 including an amplitude modulation unit 130 that applies amplitude modulation to a band-pass signal of an input signal are arranged in parallel. The pass frequency bands of these band pass filter units 121 are continuous from the DC frequency to the upper limit frequency that the acoustic signal can take. The output of each bandpass filter unit is subjected to amplitude modulation in the amplitude modulation unit 130, and then all the bands are added and output as the output of the bandpass filter group 120. The amplitude modulation unit 130 is provided with amplitude modulation phase and modulation intensity information obtained by encoding the watermark and key data from the encoding unit 110.

図3は、帯域通過フィルタ部121と振幅変調部130を示したものであり、隣接する通過帯域を持つ2つの帯域通過フィルタ121、122と、振幅変調強度決定器131と、それぞれの帯域通過信号に対して互いに逆位相の振幅変調を与える振幅変調器132、133とで構成されている。さらに振幅変調器132、133に与えられる振幅変調の位相は、符号化部110において透かしデータおよび鍵データによって帯域通過フィルタ部毎に決定された位相をもって決定される。透かしデータはあらかじめ定められた透かし埋め込み周期T毎に変わるので、振幅変動の位相も周期T毎に変化する。この際、突然振幅変調位相が変化することによって音楽信号の振幅が突然変化し聴感上検知されやすくなることを防ぐために、新しい透かしデータによって位相が変更される際には振幅変調は必ずゼロ位相から与え始め、次の透かしデータに変わる時刻前にかならず振幅変調はゼロ位相で終るように、あらかじめ周期T毎に振幅変調度がゼロとなる位相移行区間を設けることとする。   FIG. 3 shows the bandpass filter unit 121 and the amplitude modulation unit 130, and includes two bandpass filters 121 and 122 having adjacent passbands, an amplitude modulation strength determiner 131, and respective bandpass signals. Are composed of amplitude modulators 132 and 133 that apply amplitude modulation in opposite phases to each other. Further, the phase of amplitude modulation given to the amplitude modulators 132 and 133 is determined with the phase determined for each band-pass filter unit by the watermark data and key data in the encoding unit 110. Since the watermark data changes every predetermined watermark embedding period T, the phase of amplitude fluctuation also changes every period T. At this time, in order to prevent the amplitude of the music signal from suddenly changing due to the sudden change of the amplitude modulation phase and being easily detected by the auditory sense, when the phase is changed by new watermark data, the amplitude modulation always starts from the zero phase. A phase transition interval in which the amplitude modulation degree is zero is provided for each period T in advance so that amplitude modulation always ends with zero phase before the time when the data is changed to the next watermark data.

振幅変調部130において与える振幅変調周波数は、振幅変調によって生じる側帯波のパワーが隣接する帯域に洩れると、隣接する帯域の振幅包絡に影響を与えることによって、電子透かし検出器200において振幅変動が検知されにくくなるため、帯域幅の半分以下の周波数を用いることが有効である。さらに、変調周波数が高すぎると側帯波が知覚されやすくなり、低すぎると埋め込み可能な透かし情報量が少なくなる。よって変調周波数は1Hz以上、かつ帯域の中心周波数に対して10%以下、かつ帯域幅の半分以下が望ましい。また、電子透かし埋め込みに用いる変調周波数を複数同時に用いることも可能であり、これにより埋め込む透かし情報の多重化が可能である。    The amplitude modulation frequency given in the amplitude modulation unit 130 affects the amplitude envelope of the adjacent band when the sideband power generated by the amplitude modulation leaks into the adjacent band, so that the digital watermark detector 200 detects the amplitude fluctuation. Therefore, it is effective to use a frequency less than half the bandwidth. Furthermore, if the modulation frequency is too high, sideband waves are easily perceived, and if it is too low, the amount of watermark information that can be embedded decreases. Therefore, the modulation frequency is preferably 1 Hz or more, 10% or less with respect to the center frequency of the band, and half or less of the bandwidth. It is also possible to use a plurality of modulation frequencies used for embedding a digital watermark at the same time, so that watermark information to be embedded can be multiplexed.

図4は、振幅変調強度決定器131を示したものであり、帯域通過フィルタ出力信号に自乗器を通した後、低域フィルタを通過させ振幅包絡を求め、それを周波数分析することにより変動周波数毎の変動パワーを得て、透かしとなる振幅変調周波数に近接する変動周波数におけるパワーの加重平均を元に変調度を決定する回路を持つ。ここでは、人間の聴覚における振幅変動の検知特性を元に、透かしを埋め込む振幅変動周波数を含む帯域の変動パワーと、その半分の変動周波数での変動パワーおよび2倍の変動周波数での変動パワーを-10dBしたものを加えた変動パワーを基準変動量(0dB) として、これに対する相対的な振幅変調強度によって、透かし埋め込みの強度を決定する。この重み付け変動パワーと埋め込み強度の決定は、3Hz以下の変調周波数では変調1周期毎に、3Hzを越える変調周波数では変調2周期毎に行う。また、帯域通過信号に振幅変調を与えることによって生じる側帯波のパワーが、絶対可聴閾以下になる帯域については、側帯波のパワーが絶対可聴閾と同じになるよう透かし埋め込み強度を上げる。ここで絶対可聴閾のパワーは、国際標準化機構において定められた音場最小可聴音圧値と、透かし埋め込み対象とするディジタル音響信号において記録可能な最大振幅純音の音圧が106dBであると仮定して定めた。   FIG. 4 shows an amplitude modulation intensity determiner 131. After passing the square pass through the bandpass filter output signal, the lowpass filter is passed through to obtain an amplitude envelope, and the frequency is analyzed by frequency analysis. It has a circuit that obtains the fluctuation power for each and determines the modulation degree based on the weighted average of the power at the fluctuation frequency close to the amplitude modulation frequency serving as a watermark. Here, based on the detection characteristics of amplitude fluctuation in human hearing, the fluctuation power of the band including the amplitude fluctuation frequency in which the watermark is embedded, the fluctuation power at half the fluctuation frequency, and the fluctuation power at twice the fluctuation frequency are The fluctuation power obtained by adding -10 dB is used as the reference fluctuation amount (0 dB), and the watermark embedding strength is determined by the relative amplitude modulation strength. The determination of the weighting fluctuation power and the embedding strength is performed every modulation period at a modulation frequency of 3 Hz or less, and every two modulation periods at a modulation frequency exceeding 3 Hz. For the band where the power of the sideband generated by applying amplitude modulation to the band-pass signal is below the absolute audible threshold, the watermark embedding strength is increased so that the power of the sideband is the same as the absolute audible threshold. Here, the power of the absolute audible threshold is assumed that the sound pressure of the minimum audible sound pressure value determined by the International Organization for Standardization and the sound pressure of the maximum amplitude pure sound that can be recorded in the digital audio signal to be watermarked is 106 dB. Determined.

図5は、電子透かし検出回路200を示したものであり、入力信号の帯域通過信号から振幅変動を抽出する振幅変動検出部230を含む帯域通過フィルタ部221を複数並列に配置し、得られた帯域毎の振幅変動信号を復号化器210に入力し、復号化器210においては透かし埋め込み時に用いた鍵データと合わせて透かしデータを得るものである。帯域通過フィルタ部221の通過周波数帯域は、電子透かし埋め込み回路100における帯域通過フィルタ部121における帯域通過フィルタと対応して、直流周波数から音響信号のとりうる上限周波数まですき間無く連続している。   FIG. 5 shows a digital watermark detection circuit 200, which is obtained by arranging a plurality of band pass filter units 221 including an amplitude fluctuation detection unit 230 that extracts amplitude fluctuations from a band pass signal of an input signal in parallel. The amplitude fluctuation signal for each band is input to the decoder 210, and the decoder 210 obtains watermark data together with the key data used when embedding the watermark. Corresponding to the band pass filter in the band pass filter unit 121 in the digital watermark embedding circuit 100, the pass frequency band of the band pass filter unit 221 is continuous from the DC frequency to the upper limit frequency that the acoustic signal can take.

図6は、帯域通過フィルタ部221を示したものであり、隣接する通過帯域を持つ帯域通過フィルタ222および223と、その後段に接続された振幅包絡抽出器231および232からなる。帯域通過フィルタ222を通過した信号は、振幅包絡抽出器231をへて振幅包絡信号となり、それと帯域通過フィルタ223を通過し振幅包絡抽出器232をへた振幅包絡信号の除算を行い、対数変換を行うことによって、振幅変動信号を抽出する。振幅包絡抽出器には全波整流後に移動平均あるいはRC積分回路を用いるか、あるいはヒルベルト変換器を用いて実施することができる。また、入力信号に窓掛けを行った後にFFTあるいはDFT演算を行う処理を窓長の半分以下の時間づつずらしながら行い、FFTあるいはDFTスペクトルの絶対値をもって帯域通過フィルタおよび振幅包絡抽出を実施することができる。   FIG. 6 shows a bandpass filter unit 221, which is composed of bandpass filters 222 and 223 having adjacent passbands, and amplitude envelope extractors 231 and 232 connected to the subsequent stage. The signal that has passed through the band pass filter 222 passes through the amplitude envelope extractor 231 to become an amplitude envelope signal, and is divided by the amplitude envelope signal that passes through the band pass filter 223 and passes through the amplitude envelope extractor 232 to perform logarithmic conversion. By doing so, an amplitude variation signal is extracted. The amplitude envelope extractor can be implemented using a moving average or RC integrator after full wave rectification, or using a Hilbert transformer. In addition, after performing windowing on the input signal, the FFT or DFT calculation processing is performed while shifting the time by half or less of the window length, and the bandpass filter and amplitude envelope extraction are performed with the absolute value of the FFT or DFT spectrum. Can do.

図7は、復号化器210を示したものであり、振幅変動検出部230から得られた帯域通過フィルタ部毎の振幅変動信号および電子透かし埋め込み時に用いた鍵データから、透かしデータを得るものである。まず、電子透かし埋め込み時に用いた鍵データに含まれる帯域部毎の鍵位相情報を、振幅変動信号に対する位相シフタに与えて位相を補正する。さらに鍵データに含まれる帯域群情報を元に、同じ帯域群に属する振幅変動信号をグループ化して加算することによって、振幅変動成分が強調された信号を信号バッファに貯めておく。その他の電子透かし埋め込み手法により、透かし埋め込み周期Tの時間区間の同期を求めることを行わない場合は、この信号バッファから取り出した振幅変動信号について、電子透かし情報埋め込み時に決定した透かし埋め込み周期T毎に加算と減算を交互に繰り返して累積された信号における電子透かし埋め込み変調周波数での変動強度を振幅変動信号の先頭時刻を0からTまでずらしながら求め、その変動強度の最大値が得られる時刻を電子透かし埋め込み時に決定した透かし埋め込み周期の先頭時刻として同期をとる。そして、振幅変動信号から帯域群毎の振幅変調の位相差および強度差を算出することによって、透かしデータを検出する。さらに、他の電子透かし埋め込み手法により透かし埋め込み区間の同期をとれる場合は、透かし埋め込み周期毎の振幅変動信号の強度差および位相差を算出することによって、透かしデータを検出する。振幅変動信号間の位相差および強度差の算出は、帯域群毎の振幅変動信号に対して透かし埋め込み周期時間長に一致するFFTあるいはDFTを適用し、透かし埋め込み変調周波数に一致する変動周波数における帯域群間の位相角の差および振幅の差を求めることによって実施することができる。また、この透かし検出処理は、透かし埋め込み周期T毎に行う。   FIG. 7 shows the decoder 210, which obtains watermark data from the amplitude fluctuation signal for each band-pass filter unit obtained from the amplitude fluctuation detection unit 230 and the key data used when embedding the digital watermark. is there. First, the key phase information for each band part included in the key data used at the time of embedding the digital watermark is given to the phase shifter for the amplitude variation signal to correct the phase. Further, based on the band group information included in the key data, the amplitude fluctuation signals belonging to the same band group are grouped and added to store the signal in which the amplitude fluctuation component is emphasized in the signal buffer. When the synchronization of the time interval of the watermark embedding period T is not obtained by other digital watermark embedding techniques, the amplitude variation signal extracted from this signal buffer is determined for each watermark embedding period T determined at the time of embedding the watermark information. The fluctuation strength at the digital watermark embedding modulation frequency in the signal accumulated by alternately repeating addition and subtraction is obtained by shifting the start time of the amplitude fluctuation signal from 0 to T, and the time when the maximum value of the fluctuation strength is obtained is obtained electronically. Synchronization is performed as the start time of the watermark embedding cycle determined at the time of watermark embedding. Then, the watermark data is detected by calculating the phase difference and the intensity difference of the amplitude modulation for each band group from the amplitude variation signal. Further, when the watermark embedding section can be synchronized by another digital watermark embedding method, the watermark data is detected by calculating the intensity difference and phase difference of the amplitude variation signal for each watermark embedding period. The phase difference and amplitude difference between amplitude fluctuation signals are calculated by applying an FFT or DFT that matches the watermark embedding cycle time length to the amplitude fluctuation signal for each band group, and a band at a fluctuation frequency that matches the watermark embedding modulation frequency. This can be done by determining the phase angle difference and amplitude difference between groups. The watermark detection process is performed every watermark embedding cycle T.

透かしを入れる前の音響信号が電子透かし検出時に利用できる場合は、何らかの手法で透かしを入れる前の音響信号と透かし入り音響信号の同期をとった上で、帯域通過フィルタ部221において、透かしを入れる前の音響信号を、帯域通過フィルタ222と同じ通過周波数帯域をもつ帯域通過フィルタに通して、その振幅包絡を振幅包絡抽出器231と同じ処理にて求め、それを透かし入り音響信号についての振幅包絡抽出器231出力に対して除算し対数変換を行うことによって、振幅変動信号を抽出する。この場合、帯域通過フィルタ222と対になる隣接する通過帯域をもつ帯域通過フィルタ223についても、同様な処理を行い、得られた振幅変動信号を互いに逆相にして加算することによって、振幅変動信号を強調することができる。   If the audio signal before watermarking can be used when detecting the digital watermark, the bandpass filter unit 221 puts the watermark after synchronizing the audio signal before watermarking with the watermarked audio signal by some method. The previous acoustic signal is passed through a band-pass filter having the same pass frequency band as the band-pass filter 222, and its amplitude envelope is obtained by the same processing as the amplitude envelope extractor 231 and is obtained as an amplitude envelope for the watermarked acoustic signal. An amplitude fluctuation signal is extracted by dividing the output of the extractor 231 and performing logarithmic conversion. In this case, the same process is performed for the band-pass filter 223 having an adjacent pass band that is paired with the band-pass filter 222, and the amplitude fluctuation signal is added in the opposite phase to each other. Can be emphasized.

この発明に係わる電子透かしシステムの実施の形態の構成を示す回路ブロック図。1 is a circuit block diagram showing a configuration of an embodiment of a digital watermark system according to the present invention. この発明に係わる電子透かしシステムの透かし埋め込み部における帯域通過フィルタ群の実施の形態の構成を示す回路ブロック図。The circuit block diagram which shows the structure of embodiment of the band pass filter group in the watermark embedding part of the digital watermark system concerning this invention. この発明に係わる電子透かしシステムの透かし埋め込み部における帯域通過フィルタ部と振幅変調部の実施の形態の構成を示す回路ブロック図。The circuit block diagram which shows the structure of embodiment of the band pass filter part and amplitude modulation part in the watermark embedding part of the digital watermark system concerning this invention. この発明に係わる電子透かしシステムの振幅変調度決定器の実施の形態の構成を示す回路ブロック図。The circuit block diagram which shows the structure of embodiment of the amplitude modulation degree determination device of the digital watermark system concerning this invention. この発明に係わる電子透かしシステムの透かし検出部回路の実施の形態の構成を示す回路ブロック図。1 is a circuit block diagram showing a configuration of an embodiment of a watermark detection unit circuit of a digital watermark system according to the present invention. この発明に係わる電子透かしシステムの透かし検出部における帯域通過フィルタ部の実施の形態の構成を示す回路ブロック図。The circuit block diagram which shows the structure of embodiment of the bandpass filter part in the watermark detection part of the digital watermark system concerning this invention. この発明に係わる電子透かしシステムの復号化部の実施の形態の構成を示す回路ブロック図。The circuit block diagram which shows the structure of embodiment of the decoding part of the digital watermark system concerning this invention.

Claims (12)

音響信号に電子透かし情報を埋め込む電子透かし埋込装置と、この電子透かし埋込装置により埋め込まれた音響信号から電子透かし情報を検出する電子透かし検出装置とを備える電子透かしシステムにおいて、前記電子透かし埋込装置は、前記音響信号を帯域通過フィルタ群によって帯域分割したときの帯域通過信号に振幅変調を与えその連続的な変化の中に前記電子透かし情報を埋め込む手段と、あらかじめ前記帯域通過信号の強度と前記帯域通過信号に含まれている振幅変動量を元に知覚されにくい振幅変調強度を決定するための手段と、付与する振幅変調の帯域間位相差に電子透かし抽出時の鍵となる位相差を与える手段と、電子透かしの埋め込まれた帯域通過信号およびそうでない帯域通過信号の全てを加算することによって電子透かし情報の埋め込まれた音響信号を出力する手段を具備し、前記電子透かし検出装置は、電子透かし情報が埋め込まれた音響信号を帯域分割しその振幅包絡を求めることによって振幅変動信号を抽出する手段と、帯域毎に抽出された前記振幅変動信号の位相差を電子透かし埋め込み時に与えられた鍵となる帯域間位相差によって補正した上で同期加算することによりキャリアとなる振幅変動のみを強調する手段と、帯域間振幅変動信号の時間的特徴より電子透かし情報を取り出す手段を具備することを特徴とする電子透かしシステム。   An electronic watermarking system comprising: an electronic watermark embedding device that embeds electronic watermark information in an acoustic signal; and an electronic watermark detection device that detects electronic watermark information from an acoustic signal embedded by the electronic watermark embedding device. And an embedding device for applying amplitude modulation to the band-pass signal when the acoustic signal is band-divided by a band-pass filter group and embedding the digital watermark information in a continuous change thereof, and the strength of the band-pass signal in advance And means for determining an amplitude modulation intensity that is difficult to perceive based on the amplitude fluctuation amount included in the band-pass signal, and a phase difference that is a key at the time of digital watermark extraction in the phase difference between the bands of the amplitude modulation to be applied And adding all of the bandpass signal with and without the watermark embedded therein to Means for outputting an acoustic signal in which information is embedded, and the digital watermark detection device extracts the amplitude fluctuation signal by dividing the band of the acoustic signal in which the digital watermark information is embedded and obtaining its amplitude envelope. And a means for emphasizing only the amplitude fluctuation as a carrier by correcting the phase difference of the amplitude fluctuation signal extracted for each band by the inter-band phase difference as a key given at the time of embedding the digital watermark, and performing synchronous addition And a means for extracting digital watermark information from the temporal characteristics of the interband amplitude variation signal. 音響信号に電子透かし情報を埋め込む前記電子透かし埋込装置において、前記音響信号を帯域通過フィルタ群によって帯域分割したときの対となる隣接する帯域通過信号にそれぞれ逆位相の振幅変調を与えて、その連続的な変化の中および他の離れた帯域に与える振幅変調との位相差および変調強度差の中、および時間的に離れた区間に与える振幅変調の位相差および変調強度差の中に前記電子透かし情報を埋め込む手段と、あらかじめ前記帯域通過信号に含まれている振幅変動量と前記帯域通過信号の強度とを元に知覚されにくい振幅変調強度を決定するための手段と、付与する振幅変調の帯域間位相差に電子透かし抽出時の鍵となる位相差を与える手段と、電子透かしの埋め込まれた帯域通過信号およびそうでない帯域通過信号の全てを加算することによって電子透かし情報の埋め込まれた音響信号を出力する手段とを具備することを特徴とする電子透かし埋込装置。   In the digital watermark embedding apparatus for embedding digital watermark information in an acoustic signal, each of the adjacent band-pass signals paired when the acoustic signal is band-divided by a band-pass filter group is subjected to amplitude modulation of opposite phase, The electrons in the phase difference and the modulation intensity difference with the amplitude modulation given to other remote bands in the continuous change, and in the phase difference and the modulation intensity difference of the amplitude modulation given to the interval separated in time Means for embedding watermark information, means for determining an amplitude modulation intensity that is difficult to perceive based on the amplitude fluctuation amount included in the band-pass signal in advance and the intensity of the band-pass signal, and the amplitude modulation to be applied A means for giving a phase difference which is a key at the time of digital watermark extraction to a phase difference between bands, and a band pass signal in which a digital watermark is embedded and a band pass signal which is not so. Digital watermark embedding device characterized by comprising a means for outputting a sound signal with embedded watermark information by calculation to. 前記電子透かし埋込装置において、振幅変調周期に比例した時間区間毎に、電子透かし情報を埋め込む前記帯域通過信号があらかじめ含んでいる変動周波数帯域ごとの振幅変動パワーを求めてそれらの重みづけ加重和によって、付与する振幅変調の基準となる変調強度を求めるための手段と、付与する振幅変調によって生じる側帯波のパワーが最小可聴値を下回る場合に側帯波のパワーが最小可聴値と等しくなるように付与する振幅変調強度を決定する手段とを具備することにより、帯域通過信号に人間の聴覚において検知されにくい変調強度の振幅変調を付与することを特徴とする電子透かし埋込装置。   In the digital watermark embedding device, for each time interval proportional to the amplitude modulation period, the amplitude fluctuation power for each fluctuation frequency band included in the band pass signal in which the digital watermark information is embedded is obtained and weighted weighted sums thereof are obtained. Means for determining the modulation intensity that is the reference for the amplitude modulation to be applied, and so that the sideband power is equal to the minimum audible value when the power of the sideband generated by the amplitude modulation to be applied is below the minimum audible value. An electronic watermark embedding apparatus, comprising: means for determining an amplitude modulation intensity to be applied, and applying amplitude modulation having a modulation intensity that is difficult to be detected by human hearing to a band-pass signal. 前記電子透かし埋込装置において、前記帯域通過信号に付与する振幅変調信号の位相を帯域毎に疑似乱数系列によって決定し、この疑似乱数系列を電子透かし情報検出のための鍵とする手段を備えることを特徴とする電子透かし埋込装置。   The digital watermark embedding apparatus includes means for determining a phase of an amplitude modulation signal to be added to the band-pass signal by a pseudo random number sequence for each band and using the pseudo random number sequence as a key for detecting digital watermark information. An electronic watermark embedding device characterized by the above. 前記電子透かし埋込装置において、前記帯域通過信号に付与する振幅変調信号の位相および変調強度を複数帯域毎に異ならしめることによってそれらの帯域間の振幅変調の位相差および強度差に電子透かし情報を埋め込む手段を備えることを特徴とする電子透かし埋込装置。   In the digital watermark embedding device, the digital watermark information is added to the phase difference and the intensity difference of the amplitude modulation between the bands by making the phase and the modulation intensity of the amplitude modulation signal applied to the band-pass signal different for each of the plurality of bands. An electronic watermark embedding apparatus comprising an embedding unit. 前記電子透かし埋込装置において、前記帯域通過信号に付与する振幅変調信号の位相をあらかじめ定める一定の時間区間である透かし埋め込み周期毎に反転させることによって、電子透かし情報埋め込み区間を時間分割する手段を備えることを特徴とする電子透かし埋込装置。   In the digital watermark embedding apparatus, means for time-dividing the digital watermark information embedding section by inverting the phase of the amplitude modulation signal to be given to the band-pass signal at every predetermined watermark embedding period. A digital watermark embedding apparatus comprising: 前記電子透かし埋込装置において、前記帯域通過信号に付与する振幅変調信号の位相および変調強度を前記透かし埋め込み周期毎に異ならしめることによって、その位相差および強度差に電子透かし情報を埋め込む手段を備えることを特徴とする電子透かし埋込装置。   The digital watermark embedding apparatus includes means for embedding digital watermark information in the phase difference and the intensity difference by making the phase and the modulation intensity of the amplitude modulation signal to be applied to the band-pass signal different for each watermark embedding period. An electronic watermark embedding apparatus characterized by the above. 電子透かし情報を音響信号から検出する前記電子透かし検出装置において、電子透かし情報が埋め込まれた音響信号を帯域分割し対となる隣接する帯域間の振幅包絡の比の対数を求めることによって振幅変動信号を抽出する手段と、帯域毎に抽出された振幅変動信号の位相差を電子透かし埋め込み時に与えられた鍵となる帯域間位相差によって補正した上で同期加算することによりキャリアとなる振幅変動のみを強調して抽出する手段と、抽出した振幅変動信号の帯域間および透かし埋め込み周期間での時間的特徴および強度的特徴より電子透かし情報を取り出す手段とを具備することを特徴とする電子透かし検出装置。   In the digital watermark detection apparatus for detecting digital watermark information from an acoustic signal, the amplitude variation signal is obtained by dividing the band of the acoustic signal in which the digital watermark information is embedded and calculating the logarithm of the ratio of the amplitude envelope between adjacent bands. And the phase difference of the amplitude fluctuation signal extracted for each band is corrected by the inter-band phase difference which is a key given at the time of embedding the digital watermark, and then synchronous addition is performed, so that only the amplitude fluctuation as a carrier is obtained. An electronic watermark detection apparatus comprising: means for emphasizing and extracting; and means for extracting digital watermark information from temporal characteristics and intensity characteristics between extracted bands of amplitude fluctuation signals and between watermark embedding periods. . 前記電子透かし検出装置において、電子透かし情報を埋め込む前の音響信号を帯域分割して得られる帯域通過信号の振幅包絡と電子透かし情報を埋め込んだ音響信号を同様に帯域分割して得られる対応した帯域通過信号の振幅包絡の比の対数を求めることよって得られる振幅変動信号の時間的特徴および強度的特徴より電子透かし情報を取り出す手段を具備することを特徴とする電子透かし検出装置。   In the digital watermark detection device, the band corresponding to the amplitude envelope of the band-pass signal obtained by dividing the sound signal before embedding the digital watermark information and the corresponding band obtained by dividing the sound signal embedded with the digital watermark information in the same manner A digital watermark detection apparatus comprising means for extracting digital watermark information from temporal characteristics and intensity characteristics of an amplitude fluctuation signal obtained by calculating a logarithm of a ratio of amplitude envelope of a passing signal. 前記電子透かし検出装置において、前記帯域通過信号より抽出された振幅変動信号の位相を電子透かし埋め込み時に与えられた鍵となる帯域間位相差によって補正した上で同期加算することによりキャリアとなる振幅変動のみを強調する手段と、補正後の複数の帯域の振幅変動信号間の位相差および強度差を透かし情報として検出する手段とを備えることを特徴とする電子透かし検出装置。   In the digital watermark detection apparatus, the amplitude fluctuation which becomes a carrier by synchronously adding after correcting the phase of the amplitude fluctuation signal extracted from the band-pass signal by a key inter-band phase difference given at the time of embedding the digital watermark An electronic watermark detection apparatus comprising: means for emphasizing only a signal; and means for detecting a phase difference and an intensity difference between corrected amplitude fluctuation signals in a plurality of bands as watermark information. 前記電子透かし検出装置において、前記帯域通過信号より抽出された振幅変動波形について、電子透かし情報埋め込み時に決定した透かし埋め込み周期毎に加算と減算を交互に行い累積される信号における電子透かし埋め込み変調周波数での変動強度を、前記帯域通過信号の先頭時刻をゼロから前記透かし埋め込み周期時間までずらしながら求め、その変動強度の最大値が得られる時刻をもって電子透かし埋め込み時に決定した透かし埋め込み周期の開始時刻とし、電子透かし埋め込み周期の同期をとる手段を備えることを特徴とする電子透かし検出装置。   In the digital watermark detection apparatus, the amplitude variation waveform extracted from the band-pass signal is added and subtracted alternately for each watermark embedding period determined at the time of embedding the digital watermark information, with the digital watermark embedding modulation frequency in the accumulated signal. Is determined while shifting the start time of the band-pass signal from zero to the watermark embedding cycle time, and the time at which the maximum value of the fluctuation strength is obtained is the start time of the watermark embedding cycle determined at the time of digital watermark embedding, An electronic watermark detection apparatus comprising means for synchronizing an electronic watermark embedding period. 前記電子透かし検出装置において、前記帯域通過信号より抽出された振幅変動波形について、複数の透かし埋め込み周期における振幅変動信号の位相差および強度差を求めることによって透かし情報を抽出する手段を備えることを特徴とする電子透かし検出装置。   The digital watermark detection apparatus further comprises means for extracting watermark information by obtaining a phase difference and an intensity difference of an amplitude variation signal in a plurality of watermark embedding periods with respect to an amplitude variation waveform extracted from the band-pass signal. An electronic watermark detection apparatus.
JP2005071245A 2005-03-14 2005-03-14 Device for embedding and detection of electronic watermark data in sound signal using amplitude modulation Pending JP2006251676A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005071245A JP2006251676A (en) 2005-03-14 2005-03-14 Device for embedding and detection of electronic watermark data in sound signal using amplitude modulation

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005071245A JP2006251676A (en) 2005-03-14 2005-03-14 Device for embedding and detection of electronic watermark data in sound signal using amplitude modulation

Publications (1)

Publication Number Publication Date
JP2006251676A true JP2006251676A (en) 2006-09-21

Family

ID=37092202

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005071245A Pending JP2006251676A (en) 2005-03-14 2005-03-14 Device for embedding and detection of electronic watermark data in sound signal using amplitude modulation

Country Status (1)

Country Link
JP (1) JP2006251676A (en)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008170828A (en) * 2007-01-15 2008-07-24 Dainippon Printing Co Ltd Extracting device for information from sound signal
WO2010013752A1 (en) 2008-07-29 2010-02-04 ヤマハ株式会社 Performance-related information output device, system provided with performance-related information output device, and electronic musical instrument
JP2010026242A (en) * 2008-07-18 2010-02-04 Yamaha Corp Device, method and program for embedding and extracting electronic watermark information
JP2010204499A (en) * 2009-03-05 2010-09-16 Yamaha Corp Data superposing device, communication system and sound communication method
JP2011205258A (en) * 2010-03-24 2011-10-13 Ntt Docomo Inc Device, system, method and program for interlocking sound
WO2013035537A1 (en) * 2011-09-08 2013-03-14 国立大学法人北陸先端科学技術大学院大学 Digital watermark detection device and digital watermark detection method, as well as tampering detection device using digital watermark and tampering detection method using digital watermark
WO2013078996A1 (en) * 2011-11-28 2013-06-06 腾讯科技(深圳)有限公司 Near field communication implementation method and system
JP2013520693A (en) * 2010-02-26 2013-06-06 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ Watermark signal supply and watermark embedding
US8737638B2 (en) 2008-07-30 2014-05-27 Yamaha Corporation Audio signal processing device, audio signal processing system, and audio signal processing method
WO2014112110A1 (en) * 2013-01-18 2014-07-24 株式会社東芝 Speech synthesizer, electronic watermark information detection device, speech synthesis method, electronic watermark information detection method, speech synthesis program, and electronic watermark information detection program
WO2014129370A1 (en) 2013-02-21 2014-08-28 ヤマハ株式会社 Modulation device, demodulation device, sound transmission system, program, and demodulation method
US8942388B2 (en) 2008-08-08 2015-01-27 Yamaha Corporation Modulation device and demodulation device
US8989885B2 (en) 2010-02-26 2015-03-24 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Watermark generator, watermark decoder, method for providing a watermark signal in dependence on binary message data, method for providing binary message data in dependence on a watermarked signal and computer program using a two-dimensional bit spreading
US9029676B2 (en) 2010-03-31 2015-05-12 Yamaha Corporation Musical score device that identifies and displays a musical score from emitted sound and a method thereof
US9040801B2 (en) 2011-09-25 2015-05-26 Yamaha Corporation Displaying content in relation to music reproduction by means of information processing apparatus independent of music reproduction apparatus
US9082382B2 (en) 2012-01-06 2015-07-14 Yamaha Corporation Musical performance apparatus and musical performance program
JPWO2014199449A1 (en) * 2013-06-11 2017-02-23 株式会社東芝 Digital watermark embedding device, digital watermark detection device, digital watermark embedding method, digital watermark detection method, digital watermark embedding program, and digital watermark detection program
US20180098164A1 (en) 2014-08-26 2018-04-05 Yamaha Corporation Reproduction system, terminal device, method thereof, and non-transitory storage medium, for providing information
US10691400B2 (en) 2014-07-29 2020-06-23 Yamaha Corporation Information management system and information management method
US10733386B2 (en) 2014-07-29 2020-08-04 Yamaha Corporation Terminal device, information providing system, information presentation method, and information providing method

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008170828A (en) * 2007-01-15 2008-07-24 Dainippon Printing Co Ltd Extracting device for information from sound signal
JP2010026242A (en) * 2008-07-18 2010-02-04 Yamaha Corp Device, method and program for embedding and extracting electronic watermark information
WO2010013752A1 (en) 2008-07-29 2010-02-04 ヤマハ株式会社 Performance-related information output device, system provided with performance-related information output device, and electronic musical instrument
US9006551B2 (en) 2008-07-29 2015-04-14 Yamaha Corporation Musical performance-related information output device, system including musical performance-related information output device, and electronic musical instrument
US8697975B2 (en) 2008-07-29 2014-04-15 Yamaha Corporation Musical performance-related information output device, system including musical performance-related information output device, and electronic musical instrument
US8737638B2 (en) 2008-07-30 2014-05-27 Yamaha Corporation Audio signal processing device, audio signal processing system, and audio signal processing method
US8942388B2 (en) 2008-08-08 2015-01-27 Yamaha Corporation Modulation device and demodulation device
JP2010204499A (en) * 2009-03-05 2010-09-16 Yamaha Corp Data superposing device, communication system and sound communication method
JP2013520693A (en) * 2010-02-26 2013-06-06 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ Watermark signal supply and watermark embedding
US8989885B2 (en) 2010-02-26 2015-03-24 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Watermark generator, watermark decoder, method for providing a watermark signal in dependence on binary message data, method for providing binary message data in dependence on a watermarked signal and computer program using a two-dimensional bit spreading
JP2011205258A (en) * 2010-03-24 2011-10-13 Ntt Docomo Inc Device, system, method and program for interlocking sound
US9029676B2 (en) 2010-03-31 2015-05-12 Yamaha Corporation Musical score device that identifies and displays a musical score from emitted sound and a method thereof
WO2013035537A1 (en) * 2011-09-08 2013-03-14 国立大学法人北陸先端科学技術大学院大学 Digital watermark detection device and digital watermark detection method, as well as tampering detection device using digital watermark and tampering detection method using digital watermark
US9040801B2 (en) 2011-09-25 2015-05-26 Yamaha Corporation Displaying content in relation to music reproduction by means of information processing apparatus independent of music reproduction apparatus
US9524706B2 (en) 2011-09-25 2016-12-20 Yamaha Corporation Displaying content in relation to music reproduction by means of information processing apparatus independent of music reproduction apparatus
US9378724B2 (en) 2011-11-28 2016-06-28 Tencent Technology (Shenzhen) Company Limited Method and system for implementing near field communication
WO2013078996A1 (en) * 2011-11-28 2013-06-06 腾讯科技(深圳)有限公司 Near field communication implementation method and system
US9082382B2 (en) 2012-01-06 2015-07-14 Yamaha Corporation Musical performance apparatus and musical performance program
CN105122351A (en) * 2013-01-18 2015-12-02 株式会社东芝 Speech synthesizer, electronic watermark information detection device, speech synthesis method, electronic watermark information detection method, speech synthesis program, and electronic watermark information detection program
JP6017591B2 (en) * 2013-01-18 2016-11-02 株式会社東芝 Speech synthesis apparatus, digital watermark information detection apparatus, speech synthesis method, digital watermark information detection method, speech synthesis program, and digital watermark information detection program
WO2014112110A1 (en) * 2013-01-18 2014-07-24 株式会社東芝 Speech synthesizer, electronic watermark information detection device, speech synthesis method, electronic watermark information detection method, speech synthesis program, and electronic watermark information detection program
US9870779B2 (en) 2013-01-18 2018-01-16 Kabushiki Kaisha Toshiba Speech synthesizer, audio watermarking information detection apparatus, speech synthesizing method, audio watermarking information detection method, and computer program product
US10109286B2 (en) 2013-01-18 2018-10-23 Kabushiki Kaisha Toshiba Speech synthesizer, audio watermarking information detection apparatus, speech synthesizing method, audio watermarking information detection method, and computer program product
US9473252B2 (en) 2013-02-21 2016-10-18 Yamaha Corporation Modulation apparatus, demodulation apparatus, audio transmission system, program, and demodulation method
WO2014129370A1 (en) 2013-02-21 2014-08-28 ヤマハ株式会社 Modulation device, demodulation device, sound transmission system, program, and demodulation method
JPWO2014199449A1 (en) * 2013-06-11 2017-02-23 株式会社東芝 Digital watermark embedding device, digital watermark detection device, digital watermark embedding method, digital watermark detection method, digital watermark embedding program, and digital watermark detection program
US10424310B2 (en) 2013-06-11 2019-09-24 Kabushiki Kaisha Toshiba Digital watermark embedding device, digital watermark detecting device, digital watermark embedding method, digital watermark detecting method, computer-readable recording medium containing digital watermark embedding program, and computer-readable recording medium containing digital watermark detecting program
US10691400B2 (en) 2014-07-29 2020-06-23 Yamaha Corporation Information management system and information management method
US10733386B2 (en) 2014-07-29 2020-08-04 Yamaha Corporation Terminal device, information providing system, information presentation method, and information providing method
US20180098164A1 (en) 2014-08-26 2018-04-05 Yamaha Corporation Reproduction system, terminal device, method thereof, and non-transitory storage medium, for providing information
US10542360B2 (en) 2014-08-26 2020-01-21 Yamaha Corporation Reproduction system, terminal device, method thereof, and non-transitory storage medium, for providing information
US10433083B2 (en) 2014-08-26 2019-10-01 Yamaha Corporation Audio processing device and method of providing information

Similar Documents

Publication Publication Date Title
JP2006251676A (en) Device for embedding and detection of electronic watermark data in sound signal using amplitude modulation
US11557304B2 (en) Methods and apparatus for performing variable block length watermarking of media
CN1975859B (en) Audio processing method and device
KR100898879B1 (en) Modulating One or More Parameter of An Audio or Video Perceptual Coding System in Response to Supplemental Information
JP5414684B2 (en) Method and apparatus for performing audio watermarking, watermark detection, and watermark extraction
RU2510937C2 (en) Device for watermark implantation in data representation, watermark detector, method and computer program and info signal
RU2624549C2 (en) Watermark signal generation and embedding watermark
US8032361B2 (en) Audio processing apparatus and method for processing two sampled audio signals to detect a temporal position
CA2527011C (en) Audio encoding/decoding apparatus having watermark insertion/abstraction function and method using the same
Nadeau et al. An audio watermark designed for efficient and robust resynchronization after analog playback
Xiang et al. Digital audio watermarking: fundamentals, techniques and challenges
CN108712666B (en) Interactive audio watermark-based mobile terminal and television interaction method and system
US20080273707A1 (en) Audio Processing
CN111199745A (en) Advertisement identification method, equipment, media platform, terminal, server and medium
Eichelberger et al. Receiving data hidden in music
Petrovic et al. Data hiding within audio signals
KR100611412B1 (en) Method for inserting and extracting audio watermarks using masking effects
Nishimura Data hiding in speech sounds using subband amplitude modulation robust against reverberations and background noise
Piotrowski et al. Fidelity estimation of watermarked audio signals according to the itu-r bs. 1116-1 standard
Acevedo Audio watermarking quality evaluation
Piotrowski et al. Using drift correction modulation for steganographic radio transmission
JP4494784B2 (en) System for encoding auxiliary information in a signal
Kojima et al. An Acoustic Communication Technique Based on Audio Data Hiding Utilizing Artificial Flowing Water Sounds
Koz et al. Adaptive selection of embedding locations for spread spectrum watermarking of compressed audio
Wang et al. A robust watermarking system based on the properties of low frequency in perceptual audio coding