JP2005241796A - Embedding method of electronic watermark, and reproducing device of acoustic signal - Google Patents

Embedding method of electronic watermark, and reproducing device of acoustic signal Download PDF

Info

Publication number
JP2005241796A
JP2005241796A JP2004049376A JP2004049376A JP2005241796A JP 2005241796 A JP2005241796 A JP 2005241796A JP 2004049376 A JP2004049376 A JP 2004049376A JP 2004049376 A JP2004049376 A JP 2004049376A JP 2005241796 A JP2005241796 A JP 2005241796A
Authority
JP
Japan
Prior art keywords
signal
acoustic signal
identification
acoustic
synthesis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004049376A
Other languages
Japanese (ja)
Other versions
JP4570026B2 (en
Inventor
Toshio Motegi
敏雄 茂出木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dai Nippon Printing Co Ltd
Original Assignee
Dai Nippon Printing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dai Nippon Printing Co Ltd filed Critical Dai Nippon Printing Co Ltd
Priority to JP2004049376A priority Critical patent/JP4570026B2/en
Publication of JP2005241796A publication Critical patent/JP2005241796A/en
Application granted granted Critical
Publication of JP4570026B2 publication Critical patent/JP4570026B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Signal Processing For Digital Recording And Reproducing (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide an embedding method of an electronic watermarks for music materials that consist of multi-tracks, while will not give any deterioration whatsoever in the combined music quality and making it difficult to eliminate the electronic watermarks embedded in each music material. <P>SOLUTION: When a plurality of acoustic signals A and B is combined and reproduced as an acoustic signal C, an acoustic signal D in which a voice message is recorded and acoustic signals -D, in which positive and negative codes of the signal D are reversed, are combined beforehand and made into acoustic signals A' and B'. When the acoustic signals A' and B' are combined and reproduced, the acoustic signals D and -D are canceled and reproduced as the acoustic signal C. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

本発明は、CD・DVD等を用いた民生・業務用途における鑑賞用のパッケージ音楽の制作、配信、流通分野において好適な電子透かしの埋め込み技術に関する。   The present invention relates to a digital watermark embedding technique suitable for production, distribution, and distribution of package music for viewing in consumer / business applications using CD / DVD.

CDやDVDオーディオにおいては、高品質な原音が非圧縮で収納され、かつ近年パソコンを用いて、誰でも容易にかつ安価に原盤と同一品質の複製を作成することができるため、著作権保護の重要性が高まっている。特に、音楽素材データは、その合成により様々な音楽を作成する素材となるため、音楽素材の利用範囲が大幅に拡大するとともに、著作権管理が深刻になる。   In CD and DVD audio, high-quality original sound is stored in an uncompressed manner, and in recent years anyone can easily and inexpensively create a copy of the same quality as the original disc using a personal computer. The importance is increasing. In particular, since the music material data becomes a material for creating various music by synthesis, the usage range of the music material is greatly expanded and the copyright management becomes serious.

著作権管理の一つの方法として、音楽データに電子透かしを挿入する方法がある(例えば、特許文献1〜3参照)があるが、原音楽データに対して何らかの形で改変を加えることになり、品質劣化が避けられなかった。また、劣化を抑えるために透かし情報のレベルを小さくすると圧縮などの信号処理により透かし情報が消されてしまうというジレンマを抱えていた。   As a method of copyright management, there is a method of inserting a digital watermark into music data (see, for example, Patent Documents 1 to 3), but some modification is made to the original music data, Quality degradation was inevitable. In addition, if the level of the watermark information is reduced in order to suppress deterioration, the watermark information is erased by signal processing such as compression.

特開平11−145840号公報JP-A-11-145840 特開平11−219172号公報JP-A-11-219172 特許3321767号公報Japanese Patent No. 3321767

上記特許文献1に記載の発明は、24ビットのうち下位ビットを電子透かしに割り当てるシンプルな方法であるが、ダイナミックレンジが2ビット分減り、平滑化などの信号処理をかけると、電子透かしを簡単に除去できてしまう。また、上記特許文献2に記載の発明は、音楽の立ち上がり部分で雑音が多いところに電子透かしを挿入し、マスキング効果により劣化を目立たせなくするというものであるが、逆にこの部分を見つけて透かしを削除されやすい。また、上記特許文献3に記載の発明は、信号の変化率が大きいところに電子透かしを挿入し、マスキング効果により劣化を目立たせなくするというものであるが、特許文献2と同様、逆にこの部分を見つけて透かしを削除されやすい。   The invention described in Patent Document 1 is a simple method of assigning the lower bits of the 24 bits to the digital watermark. However, if the dynamic range is reduced by 2 bits and signal processing such as smoothing is applied, the digital watermark can be simplified. Can be removed. Further, the invention described in Patent Document 2 is to insert a digital watermark where there is a lot of noise at the beginning of music and make the deterioration inconspicuous due to the masking effect. Easy to remove watermark. Further, the invention described in Patent Document 3 is to insert a digital watermark at a place where the rate of change of the signal is large and to make the deterioration inconspicuous due to the masking effect. It is easy to find the part and remove the watermark.

上記のような点に鑑み、本発明は、マルチトラックで構成される音楽素材に対して、合成された音楽品質に一切劣化を与えず、かつ各音楽素材に埋め込まれた電子透かしを削除することが困難な電子透かしの埋め込み方法を提供することを課題とする。   In view of the above points, the present invention eliminates the digital watermark embedded in each music material without degrading the synthesized music quality for the music material composed of multi-tracks. It is an object of the present invention to provide an electronic watermark embedding method that is difficult to perform.

上記課題を解決するため、本発明では、合成されることにより再生音響信号を生成する複数の素材音響信号に対して、識別音響信号を電子透かしとして埋め込む方法として、電子透かしとしての役割を果たす識別音響信号を作成する識別信号作成段階と、前記複数の素材音響信号から2以上の素材音響信号を選択し、前記識別音響信号と同一長さの合成位置を設定する合成位置設定段階と、前記識別音響信号を、前記選択した2以上の素材音響信号の合成位置に、少なくとも1以上は加算により、少なくとも1以上は減算により合成する識別信号合成段階を備えるようにしたことを特徴とする。   In order to solve the above problems, in the present invention, as a method of embedding an identification acoustic signal as a digital watermark for a plurality of material acoustic signals that are combined to generate a reproduced acoustic signal, identification that serves as a digital watermark is performed. An identification signal creating stage for creating an acoustic signal; a composite position setting stage for selecting two or more material acoustic signals from the plurality of material acoustic signals and setting a composite position having the same length as the identification acoustic signal; and the identification An identification signal synthesis step of synthesizing at least one or more acoustic signals by addition and at least one or more by subtraction is provided at the synthesis position of the two or more selected material acoustic signals.

本発明によれば、複数の素材音響信号の同一時刻に同一の識別音響信号を加算または減算により合成するようにしたので、電子透かしが埋め込まれた各素材音響信号から電子透かしを削除することを困難とする一方、素材音響信号を複数合成して再生した場合の音楽品質に一切劣化させないという効果を奏する。   According to the present invention, since the same identification sound signal is synthesized by addition or subtraction at the same time of a plurality of material sound signals, the digital watermark is deleted from each material sound signal in which the digital watermark is embedded. On the other hand, there is an effect that the music quality is not deteriorated at all when a plurality of material acoustic signals are synthesized and reproduced.

(1.埋め込みの基本原理)
以下、本発明の実施形態について図面を参照して詳細に説明する。まず、本発明に係る電子透かしの埋め込み方法における基本的な原理について説明する。図1は、2つのデジタル音響信号の一般的な合成の様子を示す図である。図1(a)〜(c)においては、いずれも、横軸が時間軸、縦軸が振幅となっている。図1(a)に示すデジタル音響信号(ソース波形データ)Aと、図1(b)に示すデジタル音響信号(ソース波形データ)Bを合成する場合、各時刻における各振幅を単純に合算することになる。その結果、図1(c)に示すようなデジタル音響信号(合成波形データ)Cが得られることになる。なお、図1(a)〜(c)において、太線で示す横線は振幅値0を示しており、この太線より上が正の値、下が負の値を示している。
(1. Basic principle of embedding)
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. First, the basic principle of the digital watermark embedding method according to the present invention will be described. FIG. 1 is a diagram showing a general composition of two digital acoustic signals. 1A to 1C, the horizontal axis represents the time axis and the vertical axis represents the amplitude. When the digital acoustic signal (source waveform data) A shown in FIG. 1 (a) and the digital acoustic signal (source waveform data) B shown in FIG. 1 (b) are synthesized, the amplitudes at each time are simply added together. become. As a result, a digital acoustic signal (synthetic waveform data) C as shown in FIG. 1C is obtained. In FIGS. 1A to 1C, a horizontal line indicated by a bold line indicates an amplitude value of 0, and a positive value and a lower value are indicated above the bold line.

図2は、デジタル音響信号Aに電子透かしを埋め込む様子を示す図である。図2(a)は、デジタル音響信号Aの波形を示しており、図1(a)と全く同じものである。図2(b)は電子透かしとして埋め込むためのデジタル音響信号(透かし波形データ)Dの波形を示す図である。図2(c)は図2(a)に示したデジタル音響信号Aと図2(b)に示したデジタル音響信号Dを合成したデジタル音響信号A´の波形を示す図である。上述のように、デジタル音響信号Aとデジタル音響信号Dの合成は、各時刻における振幅を合算していくことにより行われる。   FIG. 2 is a diagram illustrating how a digital watermark is embedded in the digital audio signal A. FIG. 2A shows the waveform of the digital acoustic signal A, which is exactly the same as FIG. FIG. 2B shows a waveform of a digital acoustic signal (watermark waveform data) D to be embedded as a digital watermark. FIG. 2C is a diagram showing a waveform of a digital acoustic signal A ′ obtained by synthesizing the digital acoustic signal A shown in FIG. 2A and the digital acoustic signal D shown in FIG. As described above, the synthesis of the digital audio signal A and the digital audio signal D is performed by adding the amplitudes at each time.

図3は、デジタル音響信号Bに電子透かしを埋め込む様子を示す図である。図3(a)は、デジタル音響信号Bの波形を示しており、図1(b)と全く同じものである。図3(b)は電子透かしとして埋め込むためのデジタル音響信号−Dの波形を示す図である。図3(b)と図2(b)を比較するとわかるようにデジタル音響信号−Dは、デジタル信号Dの各時刻における振幅値の符号を反転させたものである。しかし、符号を反転させたものは、音響信号として再生した場合には、全く同様に聞こえることになる。図3(c)は図3(a)に示したデジタル音響信号Bと図3(b)に示したデジタル音響信号−Dを合成したデジタル音響信号B´の波形を示す図である。上述のように、デジタル音響信号Bとデジタル音響信号−Dの合成は、各時刻における振幅を合算していくことにより行われる。   FIG. 3 is a diagram illustrating a state in which a digital watermark is embedded in the digital audio signal B. FIG. 3A shows the waveform of the digital acoustic signal B, which is exactly the same as FIG. FIG. 3B is a diagram showing a waveform of a digital acoustic signal -D to be embedded as a digital watermark. As can be seen by comparing FIG. 3B and FIG. 2B, the digital acoustic signal -D is obtained by inverting the sign of the amplitude value of each time of the digital signal D. However, if the sign is inverted, it will sound exactly the same when reproduced as an acoustic signal. FIG. 3C shows a waveform of a digital acoustic signal B ′ obtained by synthesizing the digital acoustic signal B shown in FIG. 3A and the digital acoustic signal −D shown in FIG. As described above, the synthesis of the digital acoustic signal B and the digital acoustic signal -D is performed by adding the amplitudes at the respective times.

図4は、デジタル音響信号A´とデジタル音響信号B´を合成する様子を示す図である。図4(a)は、デジタル音響信号A´の波形を示しており、図2(c)と全く同じものである。図4(b)は、デジタル音響信号B´の波形を示しており、図3(c)と全く同じものである。図4(c)は図4(a)に示したデジタル音響信号A´と図4(b)に示したデジタル音響信号B´を合成したデジタル音響信号Cの波形を示す図である。上述のように、デジタル音響信号A´とデジタル音響信号B´の合成は、各時刻における振幅を合算していくことにより行われる。この結果得られるデジタル音響信号Cは、デジタル音響信号Aとデジタル音響信号Bを合成したときに得られるデジタル音響信号Cと全く同じものとなる。これは、デジタル音響信号A´に埋め込まれたデジタル音響信号Dと、デジタル音響信号B´に埋め込まれたデジタル音響信号−Dが各時刻において互いに打ち消し合うためである。   FIG. 4 is a diagram showing how the digital acoustic signal A ′ and the digital acoustic signal B ′ are synthesized. FIG. 4A shows the waveform of the digital acoustic signal A ′, which is exactly the same as FIG. FIG. 4B shows the waveform of the digital acoustic signal B ′, which is exactly the same as FIG. FIG. 4C is a diagram showing a waveform of a digital acoustic signal C obtained by synthesizing the digital acoustic signal A ′ shown in FIG. 4A and the digital acoustic signal B ′ shown in FIG. As described above, the synthesis of the digital acoustic signal A ′ and the digital acoustic signal B ′ is performed by adding the amplitudes at each time. The resulting digital acoustic signal C is exactly the same as the digital acoustic signal C obtained when the digital acoustic signal A and the digital acoustic signal B are synthesized. This is because the digital acoustic signal D embedded in the digital acoustic signal A ′ and the digital acoustic signal −D embedded in the digital acoustic signal B ′ cancel each other out at each time.

上記のようなデジタル音響信号Aおよびデジタル音響信号Bとして素材音響信号を記録しておき、デジタル音響信号D、デジタル音響信号−Dとして、人の声を記録しておけば、デジタル音響信号A´、デジタル音響信号B´をそれぞれ再生した場合は、音楽素材に音声が重なって聞こえることになるが、合成された再生音響信号であるデジタル音響信号Cを再生した場合は、合成した楽曲だけが聞こえることになる。   If a material sound signal is recorded as the digital sound signal A and the digital sound signal B as described above, and a human voice is recorded as the digital sound signal D and the digital sound signal -D, the digital sound signal A ′ When the digital audio signal B ′ is reproduced, the sound is superimposed on the music material, but when the digital audio signal C, which is the synthesized reproduction audio signal, is reproduced, only the synthesized music is heard. It will be.

(2.素材音響信号の準備)
続いて、本発明に係る電子透かしの埋め込み方法の具体的な手法について説明していく。本実施形態では、5つのトラックに設定された各素材音響信号を合成して再生する再生装置に利用するための素材音響信号を作成する場合について説明する。再生装置において利用者が、各トラックについて例えば5つの楽曲を選択可能となるようにすると、全部で25の素材音響信号が必要となる。そのため、まず、録音等により得られたアナログの素材音響信号をデジタル化して25個のデジタルの素材音響信号を得る。アナログの素材音響信号のデジタル化は、従来の一般的なPCMの手法を用いて行う。具体的には、所定のサンプリング周波数でアナログ音響信号をサンプリングし、振幅を所定の量子化ビット数を用いてデジタルデータに変換する処理を行う。このようにしてデジタル化した音響信号は、量子化ビット数に応じた値をもつサンプルの時系列の集合となる。例えば、サンプリング周波数を44.1kHz、量子化ビット数を16ビットとした場合、1秒間のアナログ音響信号は、−32768〜32767の値をとるサンプル44100個からなるデジタル音響信号に変換されることになる。
(2. Preparation of material acoustic signal)
Next, a specific method of the digital watermark embedding method according to the present invention will be described. In the present embodiment, a case will be described in which a material acoustic signal to be used for a playback apparatus that synthesizes and reproduces material acoustic signals set in five tracks is used. If the user can select, for example, five pieces of music for each track in the playback apparatus, a total of 25 material acoustic signals are required. Therefore, first, 25 analog material sound signals are obtained by digitizing analog material sound signals obtained by recording or the like. Digitization of the analog material acoustic signal is performed using a conventional general PCM technique. Specifically, an analog sound signal is sampled at a predetermined sampling frequency, and an amplitude is converted into digital data using a predetermined number of quantization bits. The acoustic signal digitized in this way becomes a set of time series of samples having a value corresponding to the number of quantization bits. For example, when the sampling frequency is 44.1 kHz and the number of quantization bits is 16 bits, an analog sound signal for 1 second is converted into a digital sound signal composed of 44100 samples having values of -32768 to 32767. Become.

複数の素材音響信号を合成して1つの再生音響信号として再生するためには、合成対象とする素材音響信号の各再生時間が同一となるように加工する必要がある。これは、1つの素材音響信号を基準として、他の素材音響信号の各サンプル(各時刻において所定のビット数で量子化したもの)が、基準とした素材音響信号に時間的かつ音楽的に同期するように調整する処理を行う。また、本実施形態では、再生する利用者が、自由に音楽の構成を変化させることが可能なように、各素材音響信号をメロディ、コード、リズム等のパートに分けて作成している。各素材音響信号は、上述のようにアナログの音響信号をPCM等の手法でデジタルデータ化したものである。   In order to synthesize a plurality of material sound signals and reproduce them as one reproduced sound signal, it is necessary to process the material sound signals to be combined so that the reproduction times are the same. This is based on one material sound signal, and each sample of other material sound signals (quantized with a predetermined number of bits at each time) is synchronized temporally and musically with the material sound signal used as a reference. The process of adjusting is performed. In the present embodiment, each material sound signal is created by dividing it into parts such as melody, chord, rhythm, etc. so that the user who reproduces can freely change the music composition. Each material acoustic signal is obtained by converting an analog acoustic signal into digital data by a method such as PCM as described above.

ここで、5つのトラックとして設定する素材音響信号について説明する。図5は、各トラックの素材音響信号の信号波形を模式的に示したものである。図5の例では、各素材音響信号が左右(L・R)2チャンネルで構成されるステレオ音響信号の場合を示している。図5においては、説明の簡略化のため、信号の振幅値がある程度以上のレベルを有する部分、すなわち非無音部については同一の振幅で波形を示し、無音部は波形が無い状態で示している。複数のトラックの楽曲を合成して再生し、なおかつ各トラックについての楽曲を複数から選択可能とする場合、どのような組合せになっても、合成後の楽曲がまともなものとなるようにするために、各素材音響信号は所定の規則に従って作成される必要がある。したがって、各トラックにおいては、どの楽曲を選択しても非無音部と無音部の時間的位置が原則同じになるように構成されている。すなわち、例えばトラック1用として準備される5つの素材音響信号は、原則同一位置に非無音部(有音部)、無音部を有するものとなるが、音楽的な変化が乏しくなることを避けるため、音楽規則上支障がない範囲で、非無音部と無音部の長さを多少変化させることも行われる。   Here, the material acoustic signal set as five tracks will be described. FIG. 5 schematically shows the signal waveform of the material acoustic signal of each track. In the example of FIG. 5, the case where each material acoustic signal is a stereo acoustic signal composed of two left and right (LR) channels is shown. In FIG. 5, for simplification of description, a portion where the amplitude value of the signal has a level higher than a certain level, that is, a non-silence portion, shows a waveform with the same amplitude, and a silence portion is shown with no waveform. . When combining and playing music from multiple tracks and making it possible to select multiple songs for each track, to ensure that the combined music is decent regardless of the combination In addition, each material acoustic signal needs to be created according to a predetermined rule. Therefore, each track is configured such that, regardless of which piece of music is selected, the temporal positions of the silent section and the silent section are basically the same. That is, for example, the five material acoustic signals prepared for the track 1 have a silent part (sounded part) and a silent part at the same position, in order to avoid a lack of musical change. The lengths of the non-silence portion and the silence portion are also changed somewhat within a range that does not hinder the music rules.

図5に示したような波形の素材音響信号を合成して再生すると、まず、最初にトラック1とトラック5からの音が聞こえ、次に、トラック5からの音が消えてトラック3からの音が聞こえ、次に、トラック1とトラック3からの音が消えてトラック2とトラック4からの音が聞こえ、次に、トラック2とトラック4からの音が消えてトラック1とトラック3からの音が聞こえ、次に、トラック3からの音が消えてトラック5からの音が聞こえ、最後にトラック1とトラック5からの音が消えるということになる。   When the material acoustic signal having the waveform as shown in FIG. 5 is synthesized and reproduced, the sound from the track 1 and the track 5 is first heard, and then the sound from the track 5 disappears and the sound from the track 3 is heard. Next, the sound from track 1 and track 3 disappears and the sound from track 2 and track 4 is heard. Next, the sound from tracks 2 and 4 disappears and the sound from tracks 1 and 3 Then, the sound from the track 3 disappears, the sound from the track 5 is heard, and finally the sounds from the track 1 and the track 5 disappear.

(3.電子透かしの埋め込み)
図5に示したような特徴の波形を有する素材音響信号が準備できたら、各素材音響信号に識別音響信号を電子透かしとして埋め込む。識別音響信号の作成、および作成した識別音響信号の素材音響信号への埋め込みは、専用装置により行われる。もっとも、このような専用装置は、汎用のコンピュータに、専用のソフトウェアを搭載することにより実現される。まず、このような専用装置において、識別音響信号の作成を行う。本実施形態では、上述のように、電子透かしとして、人の声をメッセージとして発音するデジタルの識別音響信号を用いる。上記専用装置には、テキストデータをデジタル音響信号に変換する音声合成機能を搭載させているため、作成者は、電子透かしとして記録するメッセージをテキストデータの形式で入力する。これは、例えば、専用装置として利用されているコンピュータに接続されたキーボード等から直接テキスト入力すれば良い。入力されたテキストデータは、公知の音声合成技術によりデジタルの識別音響信号に変換されることになる。メッセージとしては、例えば「この音楽素材は○○が著作権を有するものです。○○の許可なく複製する行為は著作権を侵害します。」のような著作元が識別できるようなものを作成しておくと望ましい。もちろんメッセージとして、人が話した声をそのまま録音し、デジタル化することにより識別音響信号を作成しても良い。なお、本明細書においては、識別音響信号、電子透かし、音声メッセージという用語を使用しているが、「音声メッセージ」は、音声として伝えるための内容そのものを意味し、現実の音声であるか、人工的に合成された音声であるかを問わず、双方を含む。また、「識別音響信号」は、音声メッセージを録音等してデジタル化したデジタル音響信号を意味し、「電子透かし」は、金券類の偽造防止に使われる「透かし印刷」と同様に、本来の素材音響信号とともに、別の識別音響信号が同時にオーバーラップして聞こえるように電子的に埋め込むことにより、本来の素材音響信号の複製使用を抑止する効果を与えるもので、素材音響信号を別の楽曲に無断使用した際に、楽曲に重ねて音声メッセージが再生されることで、聴く人に楽曲が第三者の著作物を無断使用して制作されていることを警告する役割を果たすことを意味する。
(3. Embedding digital watermark)
When the material acoustic signal having the waveform having the characteristic as shown in FIG. 5 is prepared, the identification acoustic signal is embedded in each material acoustic signal as a digital watermark. Creation of the identification acoustic signal and embedding of the created identification acoustic signal in the material acoustic signal are performed by a dedicated device. However, such a dedicated device is realized by installing dedicated software on a general-purpose computer. First, in such a dedicated device, an identification acoustic signal is created. In the present embodiment, as described above, a digital identification acoustic signal that produces a human voice as a message is used as a digital watermark. Since the dedicated device has a voice synthesis function for converting text data into a digital sound signal, the creator inputs a message to be recorded as a digital watermark in the form of text data. For example, text may be directly input from a keyboard or the like connected to a computer used as a dedicated device. The input text data is converted into a digital identification sound signal by a known speech synthesis technique. For example, create a message that identifies the author, such as “This music material is copyrighted by XX. Copying without permission from XX infringes copyright.” It is desirable to keep it. Of course, as a message, a voice spoken by a person may be recorded as it is and digitized to generate an identification acoustic signal. In the present specification, the terms identification acoustic signal, digital watermark, and voice message are used. However, the “voice message” means the content itself to be transmitted as voice, and is real voice, Regardless of whether the sound is artificially synthesized, both are included. “Identification sound signal” means a digital sound signal obtained by recording a voice message or the like and digitizing it, and “digital watermark” is the same as “watermark printing” used for preventing counterfeiting of vouchers. By embedding electronically so that another identification sound signal can be heard overlapping with the material sound signal at the same time, it gives the effect of suppressing duplication of the original material sound signal. When used without permission, it means that a voice message is played back on the music, so that the listener can be warned that the music has been produced using the work of a third party without permission. To do.

続いて、上記専用装置に素材音響信号を読み込ませ、素材音響信号に電子透かしを埋め込む処理を行う。すなわち、識別音響信号を合成することになる。具体的には、専用装置は、読み込んだ素材音響信号を波形情報として画面上に表示し、作成者に、画面上において、埋め込む位置を特定させる。作成者は、埋め込む位置を画面上で指定することになるが、この場合、識別音響信号(メッセージ)は、任意の箇所に埋め込んでも(あるいは、素材音響信号の全領域にわたって埋め込んでも)、本発明の効果を有するが、できるだけ非無音部を中心に埋め込むことが望ましい。無音部に埋め込むと、後述するロスレス圧縮を適用した際に、埋め込んだデータ分だけ情報量が増大してしまい圧縮効率が低下するというデメリットが生じるためである。併せて、無音部は著作権保護の必要性が弱く、仮に識別音響信号を無音部だけに埋め込んだ場合、その部分だけ切り取られて非無音部を利用することができるため、違法複製の防止効果が得られないためである。非無音部にいれておけば、楽曲とメッセージの分離はほとんど不可能であるため、違法複製されても、複製者は楽曲自体を利用することができず、違法複製の抑止効果が望める。また、識別音響信号は複数のトラックで合成した場合に除去されるように、信号波形を構成する全サンプルの正負の符号が反転されたデータを同時刻に埋め込む必要がある。例えば、図6の例では、識別音響信号Daをトラック1の先頭部分に埋め込み、識別音響信号Daの全サンプル値と正負符号を反転した識別音響信号−Daをトラック5の先頭部分に埋め込んでいる。これにより、トラック1とトラック5を合成して再生する場合に、電子透かしとして埋め込んだ全サンプルの合成値が0になるため、メッセージが聞こえなくなることになる。同様に、トラック1に埋め込んだ識別音響信号Db、De、Dfは、それぞれ同時刻におけるトラック3の識別音響信号−Db、−De、トラック5の識別音響信号−Dfにより相殺されることになる。また、トラック2に埋め込んだ識別音響信号Dc、Ddは、それぞれ同時刻におけるトラック4の識別音響信号−Dc、−Ddにより相殺されることになる。なお、識別音響信号Daと識別音響信号−Daは各時刻における振幅値が正負反転したものであり、それぞれ単独で再生した場合には、全く同一のメッセージとして聞こえるものである。識別音響信号Db〜識別音響信号Dfについても同様である。なお、識別音響信号Da〜識別音響信号Dfは全て同一のメッセージとしても良いし、全て異なる6つのメッセージとしたものであっても良い。   Subsequently, a material acoustic signal is read by the dedicated device, and processing for embedding a digital watermark in the material acoustic signal is performed. That is, the identification acoustic signal is synthesized. Specifically, the dedicated device displays the read material acoustic signal as waveform information on the screen, and allows the creator to specify the position to be embedded on the screen. The creator specifies the position to be embedded on the screen. In this case, the identification acoustic signal (message) may be embedded in an arbitrary place (or embedded in the entire region of the material acoustic signal), or the present invention. However, it is desirable to bury the silent part as much as possible. This is because, when embedded in the silent portion, when lossless compression described later is applied, the amount of information increases by the amount of the embedded data, resulting in a demerit that compression efficiency decreases. In addition, the silence part has a weak need for copyright protection, and if the identification sound signal is embedded only in the silence part, it can be cut off and the non-silence part can be used, thus preventing illegal duplication. This is because cannot be obtained. Since it is almost impossible to separate the music from the message if it is placed in the non-silent part, even if the duplication is illegal, the duplicator cannot use the music itself, and it is possible to suppress illegal duplication. Moreover, it is necessary to embed data in which the positive and negative signs of all the samples constituting the signal waveform are inverted at the same time so that the identification acoustic signal is removed when synthesized with a plurality of tracks. For example, in the example of FIG. 6, the identification acoustic signal Da is embedded in the head portion of the track 1, and the identification acoustic signal −Da obtained by inverting all the sample values of the identification acoustic signal Da and the sign is embedded in the head portion of the track 5. . As a result, when the track 1 and the track 5 are synthesized and reproduced, the synthesized value of all the samples embedded as the digital watermark becomes 0, so that the message cannot be heard. Similarly, the identification acoustic signals Db, De and Df embedded in the track 1 are canceled by the identification acoustic signals -Db and -De of the track 3 and the identification acoustic signal -Df of the track 5 at the same time, respectively. Further, the identification acoustic signals Dc and Dd embedded in the track 2 are offset by the identification acoustic signals -Dc and -Dd of the track 4 at the same time, respectively. Note that the identification acoustic signal Da and the identification acoustic signal -Da are obtained by inverting the amplitude value at each time and can be heard as exactly the same message when reproduced independently. The same applies to the identification acoustic signal Db to the identification acoustic signal Df. The identification acoustic signal Da to the identification acoustic signal Df may all be the same message, or may be six different messages.

図6の例では、2つの素材音響信号の合成により、メッセージを相殺するようにしたが、3つ以上の素材音響信号の合成によりメッセージが相殺されるようにしても良い。例えば、3つの素材音響信号の合成によりメッセージを相殺するためには、トラック1に識別音響信号Daを入れた場合、トラック2、トラック3には同時刻に、識別音響信号Daの正負符号を反転すると共に振幅を1/2にした識別音響信号−Da/2をそれぞれ埋め込んでおけば良い。   In the example of FIG. 6, the message is canceled by combining two material acoustic signals, but the message may be canceled by combining three or more material acoustic signals. For example, in order to cancel the message by synthesizing three material acoustic signals, when the identification acoustic signal Da is put in the track 1, the signs of the identification acoustic signal Da are inverted at the same time in the track 2 and the track 3. In addition, the identification acoustic signal -Da / 2 having an amplitude halved may be embedded.

上述のように同一のトラックにおいて選択可能な5つの素材音響信号については、全て同じ位置に識別音響信号を埋め込む処理を行う。すなわち、原理的には図2、図3に示したものに相当する埋め込み処理を行うことになる。   As described above, for the five material acoustic signals that can be selected in the same track, the identification acoustic signal is embedded in the same position. That is, in principle, an embedding process corresponding to that shown in FIGS. 2 and 3 is performed.

(4.ロスレス圧縮)
以上のようにして電子透かしが埋め込まれた素材音響信号は、CD、DVD等の記録媒体に記録されることになる。この際、データ量を削減するためにデータ圧縮を行うことが望ましい。データ圧縮の手法としては、公知の種々の手法を用いることができるが、複数の素材音響信号を合成した際に、正確に電子透かしが削除されるようにするため、圧縮の前後でデータの損失のないロスレス型圧縮方式を採用する必要がある。
(4. Lossless compression)
The material acoustic signal in which the digital watermark is embedded as described above is recorded on a recording medium such as a CD or a DVD. At this time, it is desirable to perform data compression in order to reduce the amount of data. Various known methods can be used as the data compression method. However, in order to ensure that the digital watermark is correctly deleted when multiple material acoustic signals are combined, data loss is lost before and after compression. It is necessary to adopt a lossless compression method without any problem.

(5.再生装置)
続いて、上記素材音響信号を再生する再生装置について説明する。この再生装置は、複数の素材音響信号を抽出し、これらを再生時に合成再生することにより楽曲として再生する。本実施形態では、上述のように、5つの素材音響信号を合成して1つの楽曲として再生する場合を例にとって説明する。
(5. Playback device)
Next, a playback device that plays back the material acoustic signal will be described. This playback device extracts a plurality of material acoustic signals and reproduces them as music by synthesizing and reproducing them. In the present embodiment, as described above, a case where five material acoustic signals are synthesized and reproduced as one piece of music will be described as an example.

本発明に係る音響信号の再生装置は、汎用のコンピュータに専用のソフトウェアを搭載することにより実現される。このような再生装置で楽曲を再生する場合、利用者は、上記のようにして作成された素材音響信号が記録された記録媒体を再生装置に読み込ませる。すると、再生装置は、図7に示すような素材音響信号の指定画面を表示させる。   The apparatus for reproducing an acoustic signal according to the present invention is realized by installing dedicated software on a general-purpose computer. When playing music with such a playback device, the user causes the playback device to read the recording medium on which the material acoustic signal created as described above is recorded. Then, the playback apparatus displays a material acoustic signal designation screen as shown in FIG.

この際、表示される素材音響信号の指定画面を図7に示す。図7においては、素材音響信号がマトリックス状に指定可能となっており、5トラックが選択できるようになっている。オプションとして、トラック名の左側にはチェック欄が設けられると共に、トラック名の右側には、素材音響信号選択領域、レベル(音量)指定欄が設けられている。標準的な利用形態では、5トラック全てにチェックが付いた状態となるが、利用者がチェックを外して4トラック以下で合成して演奏することも可能である。ただし、この場合は、電子透かしが相殺されずに残ってしまうようになっている。また、図7の例では、レベル指定が5トラック全て標準値「100」となっているが、5つの符号化データが同じ音量比率で合成されるという意味ではなく、あらかじめ制作者が調整した音量比率で合成されることになる。5つのトラックが合成される時の信号波形の音量比率については、あらかじめ制作者側で信号波形データの振幅を調整することにより設定しており、レベル指定を全て「100」に設定すると、制作者が意図した音量比率で合成されることになる。レベル指定についても利用者が制作者の意図と異なる比率になるように変更可能であるが、この場合も電子透かしが相殺されずに残ってしまうようになっている。設定されたトラック別のレベルは、あらかじめ制作者側で設定された素材音響信号の合成比率に加えて音響信号再生部に与えられることになる。   At this time, a screen for specifying the material acoustic signal to be displayed is shown in FIG. In FIG. 7, the material acoustic signal can be specified in a matrix, and five tracks can be selected. As an option, a check column is provided on the left side of the track name, and a material acoustic signal selection area and a level (volume) designation column are provided on the right side of the track name. In the standard usage mode, all the five tracks are checked, but the user can uncheck and synthesize and play with less than four tracks. However, in this case, the digital watermark remains without being canceled. In the example of FIG. 7, the level designation is the standard value “100” for all five tracks, but this does not mean that the five encoded data are synthesized at the same volume ratio, and the volume adjusted by the producer in advance. It will be synthesized at a ratio. The volume ratio of the signal waveform when the five tracks are combined is set in advance by adjusting the amplitude of the signal waveform data on the producer side. If the level designation is set to “100”, the producer Will be synthesized at the intended volume ratio. The level specification can be changed so that the user has a ratio different from the creator's intention, but in this case also, the digital watermark remains without being canceled. The set level for each track is given to the sound signal reproducing unit in addition to the composition ratio of the material sound signal set in advance by the producer.

(6.音響信号の再生)
上記のようにして抽出された素材音響信号は、再生装置の音響信号再生部により再生される。音響信号再生部は、再生装置において抽出された素材音響信号を合成して再生音響信号とし、これをアナログ変換した後、音声として再生する機能を有する部分であり、公知の種々のものを用いることができるが、ここではその一例について説明する。
(6. Reproduction of acoustic signal)
The material acoustic signal extracted as described above is reproduced by the acoustic signal reproducing unit of the reproducing apparatus. The acoustic signal reproduction unit is a part having a function of synthesizing the material acoustic signal extracted in the reproduction apparatus to obtain a reproduction acoustic signal, converting the analog signal into an analog signal, and reproducing it as sound, and using various known ones An example is described here.

図8は、本実施形態における音響信号再生部の詳細を示す機能ブロック図である。図8に示す音響信号再生部は、素材音響信号としてロスレス型圧縮された符号化データを読み込んで復号・合成し、再生するものである。図8において、1は圧縮ブロック読込手段、2はブロック復号手段、3は合成比率設定手段、4は波形合成処理手段、5は合成ブロック蓄積手段、6はサウンドデバイスドライバ、7はサウンドデバイス、8はタイマーである。   FIG. 8 is a functional block diagram showing details of the acoustic signal reproducing unit in the present embodiment. The acoustic signal reproducing unit shown in FIG. 8 reads lossless compressed encoded data as a material acoustic signal, decodes and synthesizes it, and reproduces it. In FIG. 8, 1 is a compressed block reading means, 2 is a block decoding means, 3 is a synthesis ratio setting means, 4 is a waveform synthesis processing means, 5 is a synthesis block storage means, 6 is a sound device driver, 7 is a sound device, 8 Is a timer.

圧縮ブロック読込手段1は、圧縮された符号化データファイルから、圧縮ブロック単位でデータの読み込みを行う機能を有している。ブロック復号手段2は、読み込んだ圧縮ブロックを復号して、圧縮符号化前の状態である非圧縮ブロックに復元する機能を有している。合成比率設定手段3は、複数の非圧縮ブロックをどの程度の比率で合成するかを設定する機能を有している。波形合成処理手段4は、ブロック復号手段2で復号された複数の非圧縮ブロック、いわゆるデジタルの波形データを合成比率設定手段3で設定された合成比率で合成する機能を有している。合成ブロック蓄積手段5は、合成された合成ブロックを蓄積するバッファメモリを複数有しており、これらのバッファメモリに蓄積された合成ブロックを、FIFO(ファーストイン・ファーストアウト)方式、すなわち、先に入ってきた情報が、先に出ていく方式で処理する機能を有している。すなわち、合成ブロック蓄積手段5は、波形合成処理手段4から投入された合成ブロックを投入された順序で蓄積し、その順序でサウンドデバイスドライバ6に渡す機能を有することとなる。サウンドデバイスドライバ6は、サウンドデバイス7を駆動させて合成ブロックを音響再生する機能を有しており、サウンドデバイス7は、デジタルデータである合成ブロックをD/A変換して音声として再生する機能を有している。すなわち、サウンドデバイスドライバ6およびサウンドデバイス7は合成ブロック再生手段として機能することになる。タイマー8は、サウンドデバイスによる音響信号の再生と、外部機器の音響信号の再生とのタイミングをとるために利用するタイマーであり、コンピュータにおいて時刻管理を行うタイマーと共用されている。   The compressed block reading unit 1 has a function of reading data in compressed block units from a compressed encoded data file. The block decoding means 2 has a function of decoding the read compressed block and restoring it to an uncompressed block that is in a state before compression encoding. The composition ratio setting unit 3 has a function of setting a ratio at which a plurality of uncompressed blocks are to be combined. The waveform synthesis processing unit 4 has a function of synthesizing a plurality of uncompressed blocks decoded by the block decoding unit 2, so-called digital waveform data, at a synthesis ratio set by the synthesis ratio setting unit 3. The synthesized block accumulating means 5 has a plurality of buffer memories for accumulating synthesized synthesized blocks, and the synthesized blocks accumulated in these buffer memories are converted into FIFO (first-in first-out) method, that is, first. It has a function of processing incoming information in a way that goes out first. That is, the synthesis block accumulating unit 5 has a function of accumulating the synthesis blocks input from the waveform synthesis processing unit 4 in the input order and passing them to the sound device driver 6 in that order. The sound device driver 6 has a function of driving the sound device 7 to reproduce the synthesized block sound, and the sound device 7 has a function of D / A converting the synthesized block that is digital data and reproducing it as sound. Have. That is, the sound device driver 6 and the sound device 7 function as synthetic block reproduction means. The timer 8 is a timer used for timing the reproduction of the acoustic signal by the sound device and the reproduction of the acoustic signal of the external device, and is shared with a timer that performs time management in the computer.

続いて、図8に示した音響信号再生部の処理動作について説明する。まず、圧縮ブロック読込手段1が各符号化データをブロック単位で読み込む。次に、ブロック復号手段2が読み込んだ符号化データをブロック単位で復号する。具体的には、符号化方式に対応した復号処理を行って行くことにより、原デジタル音響信号のサンプルが各ブロック単位で復元され、非圧縮ブロックが得られる。   Next, the processing operation of the acoustic signal reproduction unit shown in FIG. 8 will be described. First, the compressed block reading means 1 reads each encoded data block by block. Next, the encoded data read by the block decoding means 2 is decoded in units of blocks. Specifically, by performing a decoding process corresponding to the encoding method, the sample of the original digital audio signal is restored in units of blocks, and an uncompressed block is obtained.

本実施形態に係る音響信号再生部では、上記復号処理を、読み込まれた各符号化データに対して複数回に渡って行うことになる。この結果、ほぼ同時に複数の非圧縮ブロックが得られることになる。   In the acoustic signal reproducing unit according to the present embodiment, the decoding process is performed a plurality of times for each read encoded data. As a result, a plurality of uncompressed blocks are obtained almost simultaneously.

続いて、得られた複数の非圧縮ブロックを、波形合成処理手段4が合成して合成ブロックを生成する。具体的には、各非圧縮ブロックを構成する各サンプルに合成比率を乗じたものを加算することにより行われる。この合成比率は、合成比率設定手段3で設定されたものである。具体的には、図7に示した指定画面において設定された各トラックのレベルの比率が合成比率として設定されることになる。上述のように、電子透かしを完全に消去するためには、各トラックの比率が同一となるように設定されている必要がある。全てのトラックが同一の比率で設定されている場合には、合成によって電子透かしが消去される。これは、上記図4を用いて説明した原理に基づく。この合成の結果、合成ブロックが得られることになる。したがって、非圧縮ブロックに含まれている音声メッセージ等は、この合成ブロックにおいては削除されていることになる。   Subsequently, the plurality of uncompressed blocks obtained are synthesized by the waveform synthesis processing means 4 to generate a synthesized block. Specifically, it is performed by adding each sample constituting each uncompressed block multiplied by the synthesis ratio. This composition ratio is set by the composition ratio setting means 3. Specifically, the level ratio of each track set on the designation screen shown in FIG. 7 is set as the synthesis ratio. As described above, in order to completely erase the digital watermark, the ratio of each track needs to be set to be the same. When all the tracks are set at the same ratio, the digital watermark is deleted by synthesis. This is based on the principle described with reference to FIG. As a result of this synthesis, a synthesis block is obtained. Therefore, the voice message or the like included in the uncompressed block is deleted in this synthesized block.

波形合成処理手段4により合成されて得られた合成ブロックは、合成ブロック蓄積手段5に蓄積されていく。本実施形態では、合成ブロック蓄積手段に4ブロックまで蓄積可能となっているため、4ブロック蓄積されるまでは、サウンドデバイスドライバ6による処理は開始されない。図9に示すように、合成ブロック蓄積手段5に合成ブロックが4ブロック蓄積されると、サウンドデバイスドライバ6が、合成ブロック蓄積手段5に蓄積された合成ブロックのうち先頭のブロックを音響再生する。具体的には、サウンドデバイス7が合成ブロックのデータをD/A変換してスピーカに出力することになる。音響再生された合成ブロックは、合成ブロック蓄積手段5から削除される。   The synthesized block obtained by synthesizing by the waveform synthesis processing unit 4 is accumulated in the synthesized block accumulating unit 5. In this embodiment, since it is possible to store up to 4 blocks in the synthetic block storage means, the processing by the sound device driver 6 is not started until 4 blocks are stored. As shown in FIG. 9, when four synthesized blocks are accumulated in the synthesized block accumulating unit 5, the sound device driver 6 acoustically reproduces the first block among the synthesized blocks accumulated in the synthesized block accumulating unit 5. Specifically, the sound device 7 performs D / A conversion on the synthesized block data and outputs it to the speaker. The synthesized block that has been acoustically reproduced is deleted from the synthesized block storage means 5.

合成ブロックが削除されて、合成ブロック蓄積手段5内に余裕ができると、波形合成処理手段4により合成された合成ブロックが合成ブロック蓄積手段5に投入される。これにより、合成ブロック蓄積手段5内は再び最大容量まで蓄積されることになる。波形合成処理手段4により合成された合成ブロックは、現実には、CPUが合成ブロック投入手段として機能することにより、合成ブロック蓄積手段5内に投入される。この合成ブロック投入手段は、合成ブロックを合成ブロック蓄積手段5に単純に投入するだけでなく、合成ブロック蓄積手段5に空きが無い場合は、圧縮ブロック読込手段1、ブロック復号手段2、波形合成処理手段4に対して処理を中断する信号を送り、合成ブロック蓄積手段5への合成ブロックの投入を制御している。   When the synthesized block is deleted and there is room in the synthesized block storage unit 5, the synthesized block synthesized by the waveform synthesis processing unit 4 is input to the synthesized block storage unit 5. As a result, the combined block storage means 5 is stored up to the maximum capacity again. The synthesized block synthesized by the waveform synthesis processing means 4 is actually put into the synthesized block storage means 5 when the CPU functions as a synthesized block throwing means. This synthesis block input means not only simply inputs the synthesis block into the synthesis block storage means 5, but also when the synthesis block storage means 5 has no free space, the compressed block reading means 1, the block decoding means 2, and the waveform synthesis processing. A signal for interrupting processing is sent to the means 4 to control the input of the synthesis block to the synthesis block storage means 5.

一方、サウンドデバイスドライバ6は、合成ブロック蓄積手段5に蓄積された合成ブロックのうち先頭のブロックを順次音響再生していく。この際、サウンドデバイスドライバ6は、1つの合成ブロックの音響再生を終了する度に、合成ブロック投入手段、圧縮ブロック読込手段1、ブロック復号手段2に対して各処理の実行を許可する信号を送る。   On the other hand, the sound device driver 6 sequentially reproduces the sound of the first block among the synthesized blocks stored in the synthesized block storage means 5. At this time, the sound device driver 6 sends a signal permitting execution of each process to the synthesis block input unit, the compressed block reading unit 1 and the block decoding unit 2 every time the sound reproduction of one synthesis block is finished. .

ここで、上記音響信号再生部における処理の概要を整理して図10のフローチャートに示す。まず、合成ブロック投入手段が、合成ブロック蓄積手段5内に空いているバッファメモリが存在するかどうかを探索する(ステップS1)。空いているバッファメモリが存在しない場合は、圧縮ブロック読込手段1およびブロック復号手段2、波形合成処理手段4に対して処理を中断する信号を送り、サウンドデバイスドライバ6からの再生終了信号の受信待ちとする(ステップS2)。サウンドデバイスドライバ6からの再生終了信号があった場合には、再生が終了した合成ブロックを格納していたバッファメモリから削除する(ステップS3)。サウンドデバイスドライバ6からの再生終了信号は、同時に合成ブロック投入手段、圧縮ブロック読込手段1、ブロック復号手段2、波形合成処理手段4にも送信されるため、圧縮ブロック読込手段1、ブロック復号手段2、波形合成処理手段4が処理を再開し、非圧縮ブロックの復号および非圧縮ブロックの合成が行われる(ステップS4)。続いて、空いているバッファメモリに合成ブロックが格納される(ステップS5)。一方、サウンドデバイス7では、常に、合成ブロック蓄積手段5内のバッファメモリを探索しており(ステップS6)、合成ブロックが存在する場合には、合成ブロックを再生する(ステップS7)。1つの合成ブロックの再生を待ち(ステップS8)、再生が終了したら、再生終了信号を合成ブロック投入手段、圧縮ブロック読込手段1、ブロック復号手段2、波形合成処理手段4に送信する(ステップS9)。   Here, the outline of the processing in the acoustic signal reproducing unit is organized and shown in the flowchart of FIG. First, the synthesis block input means searches for a vacant buffer memory in the synthesis block storage means 5 (step S1). When there is no free buffer memory, a signal for interrupting the processing is sent to the compressed block reading means 1, the block decoding means 2, and the waveform synthesis processing means 4, and waiting for reception of a reproduction end signal from the sound device driver 6. (Step S2). If there is a reproduction end signal from the sound device driver 6, it is deleted from the buffer memory storing the synthesized block for which reproduction has been completed (step S3). Since the reproduction end signal from the sound device driver 6 is simultaneously transmitted to the synthesis block input unit, the compressed block reading unit 1, the block decoding unit 2, and the waveform synthesis processing unit 4, the compressed block reading unit 1 and the block decoding unit 2 are also transmitted. Then, the waveform synthesis processing means 4 restarts the process, and decoding of the uncompressed block and synthesis of the uncompressed block are performed (step S4). Subsequently, the composite block is stored in an empty buffer memory (step S5). On the other hand, the sound device 7 always searches the buffer memory in the synthesized block storage means 5 (step S6), and if a synthesized block exists, the synthesized block is reproduced (step S7). Waiting for the reproduction of one synthesis block (step S8), when the reproduction is completed, a reproduction end signal is transmitted to the synthesis block input means, the compressed block reading means 1, the block decoding means 2, and the waveform synthesis processing means 4 (step S9). .

以上のようにして、各手段が互いに制御し合って動作することにより、シームレスに音響信号を再生することが可能となる。また、タイマー8を利用して外部の演奏装置と同期させて演奏することも可能である。具体的には、タイマー8のクロック信号を、本装置の外部の演奏装置からの同期信号として供給することにより、サウンドデバイス7による音響再生と外部の演奏装置の音響再生のタイミングを合わせることになる。タイミングをハードウェア的に合わせる方法としては、サウンドデバイス7のD/A変換を駆動するタイマー8のクロック信号を自律オシレータで発生させる代わりに、前記同期信号を供給する方法が挙げられる。また、ソフトウェア的にタイミングを合わせる方法としては、サウンドデバイスドライバ6が再生する非圧縮ブロックの推奨される再生開始時刻と、タイマー8のクロック信号から得られる実時間のタイムコードと比較を行い、当該非圧縮ブロックにおいて推奨される再生開始時刻が実時間に比べ遅れている場合、遅れた時間だけ非圧縮ブロックのデータを削減し、当該非圧縮ブロックにおいて推奨される再生開始時刻が実時間に比べ進んでいる場合、非圧縮ブロックの再生開始時刻が実時間のタイムコードと一致するように再生開始を待たせるように制御する方法が挙げられる。本方法では、遅れや進み時間が顕著に大きい場合には、演奏のシームレス性が阻害されるが、一般には各非圧縮ブロックごとに調整する時刻はブロック長に比べ微小なため、殆ど再生品質に支障はでない。   As described above, each means controls each other and operates, so that an acoustic signal can be reproduced seamlessly. It is also possible to perform using the timer 8 in synchronization with an external performance device. Specifically, the timing of the sound reproduction by the sound device 7 and the sound reproduction of the external performance device is matched by supplying the clock signal of the timer 8 as a synchronization signal from the performance device external to the present device. . As a method of matching the timing in hardware, a method of supplying the synchronization signal instead of generating a clock signal of the timer 8 that drives D / A conversion of the sound device 7 by an autonomous oscillator can be mentioned. Further, as a method of matching the timing in terms of software, the recommended playback start time of the uncompressed block played by the sound device driver 6 is compared with the real time time code obtained from the clock signal of the timer 8, If the recommended playback start time for an uncompressed block is delayed compared to the real time, the data of the uncompressed block is reduced by the delayed time, and the recommended playback start time for the uncompressed block advances compared to the real time. In such a case, there is a method of controlling the reproduction start time so that the reproduction start time of the non-compressed block matches the real time code. In this method, if the delay or advance time is significantly large, the seamlessness of the performance is hindered.However, since the time to adjust for each uncompressed block is generally smaller than the block length, the playback quality is almost improved. There is no hindrance.

以上のようにして電子透かしが埋め込まれた素材音響信号を合成して再生することにより、再生される音響信号にはメッセージが記録されておらず、音楽のみを聴くことができるが、素材音響信号のみを複製して流用しようとした場合、埋め込まれているメッセージを除去することは困難であるため、素材音響信号の複製を抑止することができる。   By synthesizing and playing the material sound signal with the digital watermark embedded as described above, no message is recorded in the reproduced sound signal and only music can be heard. When it is attempted to divert only by copying only the embedded message, it is difficult to remove the embedded message, so that the reproduction of the material acoustic signal can be suppressed.

以上、本発明の好適な実施形態について説明したが、本発明は上記実施形態に限定されるものではない。上記実施形態は例示であり、本発明の特許請求の範囲に記載された技術的思想と実質的に同一な構成を有し、同様な作用効果を奏するもの、または、それらの均等物は、いかなるものであっても本発明の技術的範囲に包含される。   The preferred embodiment of the present invention has been described above, but the present invention is not limited to the above embodiment. The above-described embodiment is an exemplification, and has substantially the same configuration as the technical idea described in the claims of the present invention, and has the same operational effects or equivalents thereof. Is included in the technical scope of the present invention.

2つのデジタル音響信号の一般的な合成の様子を示す図である。It is a figure which shows the mode of the general synthesis | combination of two digital sound signals. デジタル音響信号Aに電子透かしを埋め込む様子を示す図である。It is a figure which shows a mode that a digital watermark is embedded in the digital acoustic signal A. FIG. デジタル音響信号Bに電子透かしを埋め込む様子を示す図である。It is a figure which shows a mode that a digital watermark is embedded in the digital acoustic signal B. FIG. 電子透かしを埋め込んだデジタル音響信号同士を合成する様子を示す図である。It is a figure which shows a mode that the digital acoustic signals which embedded the electronic watermark are synthesize | combined. 素材音響信号の信号波形を模式的に示した図である。It is the figure which showed the signal waveform of the material acoustic signal typically. 素材音響信号への識別音響信号Daの埋め込み位置を示す図である。It is a figure which shows the embedding position of the identification acoustic signal Da to a raw material acoustic signal. 音響信号再生装置における素材音響信号の指定画面を示す図である。It is a figure which shows the designation | designated screen of the material acoustic signal in an acoustic signal reproducing | regenerating apparatus. 音響信号再生部の詳細を示す機能ブロック図である。It is a functional block diagram which shows the detail of an acoustic signal reproducing part. 合成ブロックが蓄積された状態の音響信号再生部を示す図である。It is a figure which shows the acoustic signal reproduction | regeneration part of the state by which the synthetic | combination block was accumulate | stored. 音響信号再生部におけるを示すフローチャートである。It is a flowchart which shows in an acoustic signal reproduction | regeneration part.

符号の説明Explanation of symbols

1・・・圧縮ブロック読込手段
2・・・ブロック復号手段
3・・・合成比率設定手段
4・・・波形合成処理手段
5・・・合成ブロック蓄積手段
6・・・サウンドデバイスドライバ
7・・・サウンドデバイス
8・・・タイマー

DESCRIPTION OF SYMBOLS 1 ... Compression block reading means 2 ... Block decoding means 3 ... Composition ratio setting means 4 ... Waveform composition processing means 5 ... Synthesis block storage means 6 ... Sound device driver 7 ... Sound device 8 ... Timer

Claims (9)

合成されることにより再生音響信号を生成する複数の素材音響信号に対して、識別音響信号を電子透かしとして埋め込む方法であって、
電子透かしとしての役割を果たす識別音響信号を作成する識別信号作成段階と、
前記複数の素材音響信号から2以上の素材音響信号を選択し、前記識別音響信号と同一長さの合成位置を設定する合成位置設定段階と、
前記識別音響信号を、前記選択した2以上の素材音響信号の合成位置に、少なくとも1以上は加算により、少なくとも1以上は減算により合成する識別信号合成段階と、
を備えていることを特徴とする音響信号に対する電子透かしの埋め込み方法。
A method of embedding an identification acoustic signal as a digital watermark for a plurality of material acoustic signals that are combined to generate a reproduced acoustic signal,
An identification signal creation stage for creating an identification acoustic signal that serves as a digital watermark;
A composite position setting step of selecting two or more material acoustic signals from the plurality of material acoustic signals and setting a composite position having the same length as the identification acoustic signal;
An identification signal synthesizing step for synthesizing the identification acoustic signal at the synthesis position of the selected two or more material acoustic signals by adding at least one or more and subtracting at least one or more;
An electronic watermark embedding method for an audio signal, comprising:
請求項1において、
前記合成位置設定段階は、前記選択された2以上の素材音響信号に対して、無音部領域の検出を行い、選択された全ての素材音響信号において無音部でない位置を選択して設定するものであることを特徴とする音響信号に対する電子透かしの埋め込み方法。
In claim 1,
The synthetic position setting step detects a silent part region for the two or more selected material acoustic signals, and selects and sets a position that is not a silent part in all selected material acoustic signals. A method for embedding a digital watermark into an acoustic signal.
請求項1において、
前記識別信号作成段階において作成される前記識別音響信号は、音声により表現された内容を記録したものであることを特徴とする音響信号に対する電子透かしの埋め込み方法。
In claim 1,
The method for embedding a digital watermark in an acoustic signal, wherein the identification acoustic signal created in the identification signal creating step is a recording of contents expressed by voice.
請求項1において、
前記識別信号作成段階は、著作権元を識別可能なテキストデータを基に、テキスト音声合成により前記識別音響信号を作成するものであることを特徴とする音響信号に対する電子透かしの埋め込み方法。
In claim 1,
The method of embedding a digital watermark in an acoustic signal, wherein the identifying signal creating step creates the identifying acoustic signal by text-to-speech synthesis based on text data capable of identifying a copyright source.
請求項1において、
前記各素材音響信号が複数のチャンネルから構成されるステレオ信号の場合、
前記識別信号作成段階は、複数のチャンネルから構成される識別音響信号を作成し、
前記識別信号合成段階は、複数のチャンネルから構成される合成位置に対して合成を行うものであることを特徴とする音響信号に対する電子透かしの埋め込み方法。
In claim 1,
When each material acoustic signal is a stereo signal composed of a plurality of channels,
The identification signal creation step creates an identification acoustic signal composed of a plurality of channels,
The method of embedding a digital watermark in an acoustic signal, wherein the identification signal synthesis step performs synthesis on a synthesis position composed of a plurality of channels.
請求項1において、
前記合成位置設定段階および前記識別信号合成段階を繰り返し実行し、複数の識別音響信号を複数の合成位置に合成するとともに、同一識別音響信号を複数の異なる合成位置に合成することを特徴とする音響信号に対する電子透かしの埋め込み方法。
In claim 1,
The synthesis position setting step and the identification signal synthesis step are repeatedly executed to synthesize a plurality of identification sound signals into a plurality of synthesis positions and to synthesize the same identification sound signal into a plurality of different synthesis positions. A method for embedding a digital watermark in a signal.
請求項1において、
前記識別信号合成段階の後段に、前記識別音響信号が合成された各素材音響信号に対してロスレス圧縮を行うための圧縮符号化段階を有することを特徴とする音響信号に対する電子透かしの埋め込み方法。
In claim 1,
A method for embedding a digital watermark in an acoustic signal, comprising a compression coding step for performing lossless compression on each material acoustic signal synthesized with the identification acoustic signal after the identification signal synthesis step.
請求項1から請求項7のいすれかに基づく、音響信号に対する電子透かしの埋め込み方法により前記識別音響信号が合成された素材音響信号を複数収納した記録媒体。   A recording medium storing a plurality of material acoustic signals obtained by synthesizing the identification acoustic signal by an electronic watermark embedding method for the acoustic signal based on any one of claims 1 to 7. 電子透かしとして作成された識別音響信号が合成された素材音響信号を複数読み込んで、当該素材音響信号を複数合成することにより前記識別音響信号を消去した状態で再生音響信号を作成することを特徴とする音響信号の再生装置。


A plurality of material sound signals obtained by combining identification sound signals created as digital watermarks are read, and a plurality of the material sound signals are combined to create a reproduction sound signal in a state where the identification sound signals are erased. A sound signal reproducing apparatus.


JP2004049376A 2004-02-25 2004-02-25 How to embed digital watermark Expired - Fee Related JP4570026B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004049376A JP4570026B2 (en) 2004-02-25 2004-02-25 How to embed digital watermark

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004049376A JP4570026B2 (en) 2004-02-25 2004-02-25 How to embed digital watermark

Publications (2)

Publication Number Publication Date
JP2005241796A true JP2005241796A (en) 2005-09-08
JP4570026B2 JP4570026B2 (en) 2010-10-27

Family

ID=35023614

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004049376A Expired - Fee Related JP4570026B2 (en) 2004-02-25 2004-02-25 How to embed digital watermark

Country Status (1)

Country Link
JP (1) JP4570026B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014090443A (en) * 2013-11-29 2014-05-15 Yamaha Corp Identification information overlapping apparatus
WO2016047307A1 (en) * 2014-09-26 2016-03-31 凸版印刷株式会社 Content generating device, content inspecting device, content generating method, and computer-readable medium including content data structure

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000083014A (en) * 1998-09-04 2000-03-21 Nippon Telegr & Teleph Corp <Ntt> Information multiplexing method and method and device for extracting information
JP2002091465A (en) * 2000-09-05 2002-03-27 Internatl Business Mach Corp <Ibm> Data processing detecting system, additional information embedding device, additional information detector, digital contents, music contents processor, additional data embedding method and contents processing detecting method, storage medium and program transmitter
JP2002169579A (en) * 2000-12-01 2002-06-14 Takayuki Arai Device for embedding additional data in audio signal and device for reproducing additional data from audio signal
JP2003162288A (en) * 2001-11-28 2003-06-06 M Ken Co Ltd Method for embedding watermark information in sound information and method for detecting the watermark information from the sound information having the watermark information embedded
JP2003208187A (en) * 2001-09-17 2003-07-25 Matsushita Electric Ind Co Ltd Data-update apparatus, reproduction apparatus, data- addition apparatus, data-detection apparatus and data- removal apparatus
WO2004008456A1 (en) * 2002-07-11 2004-01-22 H.T.A High Tech Applications Holdings Limited Access controlled optical disc and method therefor

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000083014A (en) * 1998-09-04 2000-03-21 Nippon Telegr & Teleph Corp <Ntt> Information multiplexing method and method and device for extracting information
JP2002091465A (en) * 2000-09-05 2002-03-27 Internatl Business Mach Corp <Ibm> Data processing detecting system, additional information embedding device, additional information detector, digital contents, music contents processor, additional data embedding method and contents processing detecting method, storage medium and program transmitter
JP2002169579A (en) * 2000-12-01 2002-06-14 Takayuki Arai Device for embedding additional data in audio signal and device for reproducing additional data from audio signal
JP2003208187A (en) * 2001-09-17 2003-07-25 Matsushita Electric Ind Co Ltd Data-update apparatus, reproduction apparatus, data- addition apparatus, data-detection apparatus and data- removal apparatus
JP2003162288A (en) * 2001-11-28 2003-06-06 M Ken Co Ltd Method for embedding watermark information in sound information and method for detecting the watermark information from the sound information having the watermark information embedded
WO2004008456A1 (en) * 2002-07-11 2004-01-22 H.T.A High Tech Applications Holdings Limited Access controlled optical disc and method therefor

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014090443A (en) * 2013-11-29 2014-05-15 Yamaha Corp Identification information overlapping apparatus
WO2016047307A1 (en) * 2014-09-26 2016-03-31 凸版印刷株式会社 Content generating device, content inspecting device, content generating method, and computer-readable medium including content data structure
JP2016071431A (en) * 2014-09-26 2016-05-09 凸版印刷株式会社 Content creation device, content inspection device, content creation method, and data structure of content

Also Published As

Publication number Publication date
JP4570026B2 (en) 2010-10-27

Similar Documents

Publication Publication Date Title
US6442517B1 (en) Methods and system for encoding an audio sequence with synchronized data and outputting the same
JP2009157272A (en) Audio playback device
JP2008505430A (en) How to record, play and manipulate acoustic data on data support
JP2006084748A (en) Device and method for reproduction
TW200304123A (en) Audio frequency scaling during video trick modes utilizing digital signal processing
JPWO2005096270A1 (en) Content distribution server and terminal for distributing content frame for reproducing music
JP4570026B2 (en) How to embed digital watermark
JP4649901B2 (en) Method and apparatus for coded transmission of songs
JP2004093729A (en) Recording device and reproducing device for music data
JP2009004037A (en) Audio encoding device and audio decoding device
JP2005122034A (en) Audio data compression method
JP4400363B2 (en) Sound source system, computer-readable recording medium recording music files, and music file creation tool
JP4107212B2 (en) Music playback device
JP2009271635A (en) File editing apparatus and file editing method
JP2005532585A (en) Audio coding
KR100552605B1 (en) Multi track audio format converting/recovering method and system
JP2007179604A (en) Music player, reproduction control method, and program
KR20020069255A (en) Reproducing arrangement for the reproduction of compressed data in a multi-speed reproducing mode
JP2006079742A (en) Device, method and program for processing information
KR100826659B1 (en) Method for listening specific performance part which is erased or selected from music file
JP2009122609A (en) Acoustic signal coder and acoustic signal decoder, their method, program and recording medium
JP4765460B2 (en) Speech coding apparatus and speech coding method
JP3900576B2 (en) Music information playback device
JP2008225232A (en) Signal processing method and audio content distribution method
JP4529859B2 (en) Audio playback device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070209

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20091030

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091111

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100108

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100302

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100426

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100804

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100805

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130820

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4570026

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees