JP2012037701A - Audio electronic watermark embedding device and program - Google Patents
Audio electronic watermark embedding device and program Download PDFInfo
- Publication number
- JP2012037701A JP2012037701A JP2010177167A JP2010177167A JP2012037701A JP 2012037701 A JP2012037701 A JP 2012037701A JP 2010177167 A JP2010177167 A JP 2010177167A JP 2010177167 A JP2010177167 A JP 2010177167A JP 2012037701 A JP2012037701 A JP 2012037701A
- Authority
- JP
- Japan
- Prior art keywords
- signal
- digital watermark
- spreading
- embedding
- audio signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000005236 sound signal Effects 0.000 claims abstract description 51
- 230000003111 delayed effect Effects 0.000 claims abstract description 15
- 238000001228 spectrum Methods 0.000 claims abstract description 7
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 230000001934 delay Effects 0.000 abstract description 4
- 230000002708 enhancing effect Effects 0.000 abstract 1
- 238000001514 detection method Methods 0.000 description 26
- 239000003550 marker Substances 0.000 description 17
- 238000000034 method Methods 0.000 description 16
- 238000004458 analytical method Methods 0.000 description 11
- 238000009792 diffusion process Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 108010076504 Protein Sorting Signals Proteins 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000000819 phase cycle Methods 0.000 description 1
- 238000010183 spectrum analysis Methods 0.000 description 1
Images
Landscapes
- Editing Of Facsimile Originals (AREA)
Abstract
Description
本発明は、オーディオ信号に電子透かしを埋め込む電子透かし埋め込み装置およびプログラムに関するものである。 The present invention relates to a digital watermark embedding apparatus and program for embedding a digital watermark in an audio signal.
近年、ディジタルオーディオコンテンツに対する需要は非常に高く、それをセキュアに配信するための技術が求められている。それを実現するための1技術として電子透かしがよく用いられる。 In recent years, the demand for digital audio content is very high, and a technology for securely distributing it is required. Digital watermarking is often used as one technique for realizing this.
ディジタルオーディオ信号に電子透かし情報を埋め込む、および検出する技術として種々の手法が提案されているが、そのための代表的な手法として、特許文献1に掲げるように、拡散用のPN信号(疑似ランダム系列)を鍵情報とし、オリジナルのオーディオ信号のエコー成分を前記PN信号を利用して拡散して、電子透かしを埋め込み、さらに検出側では、電子透かしが埋め込まれた信号を適宜変換した上で、前記PN信号との相関を見ることにより電子透かしの埋め込み有無を判断する装置が提案されている。
Various techniques have been proposed as techniques for embedding and detecting digital watermark information in a digital audio signal. As a typical technique therefor, as disclosed in
また、特許文献2として、疑似ランダム系列を用いて原信号を拡散する方法に対し、そのロバスト性を高めるための手法を提案している。
また、電子透かしを2重にかつ逆位相で埋め込むことで、ロバスト性を向上させる手法も提案されている。 In addition, a technique for improving robustness by embedding a digital watermark in double and in opposite phase has been proposed.
しかしながら、特許文献1に記載の発明は、特定のスペクトル成分のみを持つ個所または無音の箇所では電子透かしを正しく検出できないという問題がある。電子透かしを強く埋めることで正しく検出できるようになるが、その場合音質に影響を及ぼすことになる。
However, the invention described in
また、特許文献2に記載の発明では、透かしを特定する為の相関値のピークを取得する必要があるが、このピークは透かしを埋めた個所にぴったりと一致しない限り現れないはずである。よって、透かし情報の有無の判定のために音声信号サンプルの塊を1サンプルずつスライドさせながら取得する必要があるため、処理が重くなるという問題が生ずる。この問題は特許文献1に記載の発明についても同様のことが言える。
In the invention described in
また、電子透かしを2重にかつ逆位相で埋め込む手法であっても、無音の箇所への対応が困難になるという問題がある。 In addition, there is a problem that it is difficult to deal with a silent part even if the method of embedding a digital watermark in a double and opposite phase is used.
したがって、本発明は、特定のスペクトル成分のみを持つ箇所または無音の箇所でも電子透かしを検出できるようにロバスト性を高め、さらに電子すかしを埋めた位置を高速に検出可能な電子透かし埋め込み装置およびプログラムを提供することを目的とする。 Therefore, the present invention provides a digital watermark embedding device capable of improving robustness so that a digital watermark can be detected even in a portion having only a specific spectral component or a silent portion, and further capable of detecting a position where a digital watermark is embedded at high speed. The purpose is to provide a program.
上記目的を実現するため本発明による電子透かし埋め込み装置は、入力されたオーディオ信号に対し、電子透かし情報を埋め込む電子透かし埋め込み装置において、前記オーディオ信号を所定の遅延量の時間だけ遅延させる時間遅延手段と、前記遅延された信号を所定の拡散用系列を用いて拡散する時間拡散手段と、前記入力されたオーディオ信号の信号値または信号の特性に基づき、前記拡散された信号を適応的に変換する透かし強度調整手段と、前記拡散された信号または前記変換された信号を埋め込む畳み込み手段とを備え、前記遅延量および前記拡散用系列の一方または両者を異ならせて、前記時間遅延手段、前記時間拡散手段および前記畳み込み手段を複数回実施することで、前記電子透かし情報を複数回埋め込む。 To achieve the above object, a digital watermark embedding device according to the present invention is a time delay means for delaying an audio signal by a predetermined delay amount in an electronic watermark embedding device for embedding digital watermark information with respect to an input audio signal. And time spreading means for spreading the delayed signal using a predetermined spreading sequence, and adaptively converting the spread signal based on the signal value or signal characteristic of the input audio signal. A watermark strength adjusting means; and a convolution means for embedding the spread signal or the converted signal, wherein one or both of the delay amount and the spreading sequence are made different, and the time delay means and the time spread The digital watermark information is embedded a plurality of times by executing the means and the convolution means a plurality of times.
また、前記透かし強度調整手段は、前記拡散された信号と前記入力されたオーディオ信号との振幅比または電力比に基づき、前記拡散された信号の大きさを調整することも好ましい。 Further, it is preferable that the watermark strength adjusting unit adjusts the size of the spread signal based on an amplitude ratio or a power ratio between the spread signal and the input audio signal.
また、前記透かし強度調整手段は、前記拡散された信号より前に位置する信号と前記入力されたオーディオ信号との振幅比または電力比に基づき、前記拡散された信号の大きさを調整することも好ましい。 Further, the watermark strength adjusting means may adjust the size of the spread signal based on an amplitude ratio or a power ratio between a signal positioned before the spread signal and the input audio signal. preferable.
上記目的を実現するため本発明による電子透かし埋め込み装置は、入力されたオーディオ信号に対し、電子透かし情報を埋め込む電子透かし埋め込み装置において、前記オーディオ信号を所定の遅延量の時間だけ遅延させる時間遅延手段と、前記遅延された信号を所定の拡散用系列を用いて拡散する時間拡散手段と、微小疑似ランダム信号を重畳することで、前記入力されたオーディオ信号を適応的に変換する信号値変換手段と、前記拡散された信号を埋め込む畳み込み手段とを備え、前記遅延量および前記拡散用系列の一方または両者を異ならせて、前記時間遅延手段、前記時間拡散手段および前記畳み込み手段を複数回実施することで、前記電子透かし情報を複数回埋め込む。 To achieve the above object, a digital watermark embedding device according to the present invention is a time delay means for delaying an audio signal by a predetermined delay amount in an electronic watermark embedding device for embedding digital watermark information with respect to an input audio signal. Time spreading means for spreading the delayed signal using a predetermined spreading sequence; and signal value converting means for adaptively converting the input audio signal by superimposing a small pseudo-random signal. A convolution unit that embeds the spread signal, and the time delay unit, the time spread unit, and the convolution unit are performed a plurality of times by changing one or both of the delay amount and the spreading sequence. The digital watermark information is embedded a plurality of times.
また、前記微小疑似ランダム信号を重畳は、前記オーディオ信号の音量が所定の閾値より低い場合に行うことも好ましい。 Moreover, it is also preferable to superimpose the minute pseudo random signal when the volume of the audio signal is lower than a predetermined threshold.
また、前記微小疑似ランダム信号を重畳は、前記オーディオ信号の周波数スペクトルが一部の周波数のみに存在する場合に行うことも好ましい。 Moreover, it is also preferable to superimpose the minute pseudo random signal when the frequency spectrum of the audio signal exists only in a part of the frequencies.
上記目的を実現するため本発明による電子透かし埋め込みプログラムは、入力されたオーディオ信号に対し、電子透かし情報を埋め込むコンピュータを、前記オーディオ信号を所定の遅延量の時間だけ遅延させる時間遅延手段と、前記遅延された信号を所定の拡散用系列を用いて拡散する時間拡散手段と、前記入力されたオーディオ信号の信号値または信号の特性に基づき、前記拡散された信号を適応的に変換する透かし強度調整手段と、前記拡散された信号または前記変換された信号を埋め込む畳み込み手段ととして機能させ、前記遅延量および前記拡散用系列の一方または両者を異ならせて、前記時間遅延手段、前記時間拡散手段および前記畳み込み手段を複数回実施することで、前記電子透かし情報を複数回埋め込む。 In order to achieve the above object, a digital watermark embedding program according to the present invention includes a time delay unit for delaying the audio signal by a predetermined delay amount for a computer that embeds digital watermark information in an input audio signal, and Time spreading means for spreading the delayed signal using a predetermined spreading sequence, and watermark strength adjustment for adaptively converting the spread signal based on the signal value or signal characteristic of the input audio signal Means and a convolution means for embedding the spread signal or the transformed signal, and one or both of the delay amount and the spreading sequence are made different, the time delay means, the time spread means, and The digital watermark information is embedded a plurality of times by executing the convolution means a plurality of times.
上記目的を実現するため本発明による電子透かし埋め込みプログラムは、入力されたオーディオ信号に対し、電子透かし情報を埋め込むコンピュータを、前記オーディオ信号を所定の遅延量の時間だけ遅延させる時間遅延手段と、前記遅延された信号を所定の拡散用系列を用いて拡散する時間拡散手段と、微小疑似ランダム信号を重畳することで、前記入力されたオーディオ信号を適応的に変換する信号値変換手段と、前記拡散された信号を埋め込む畳み込み手段ととして機能させ、前記遅延量および前記拡散用系列の一方または両者を異ならせて、前記時間遅延手段、前記時間拡散手段および前記畳み込み手段を複数回実施することで、前記電子透かし情報を複数回埋め込む。 In order to achieve the above object, a digital watermark embedding program according to the present invention includes a time delay unit for delaying the audio signal by a predetermined delay amount for a computer that embeds digital watermark information in an input audio signal, and Time spreading means for spreading the delayed signal using a predetermined spreading sequence, signal value converting means for adaptively converting the input audio signal by superimposing a small pseudo-random signal, and the spreading By implementing the time delay means, the time spreading means, and the convolution means a plurality of times, by functioning as a convolution means for embedding the generated signal, making one or both of the delay amount and the spreading sequence different, The digital watermark information is embedded a plurality of times.
本発明によれば、もとの音源の如何にかかわらず電子透かしを埋め込むことができるようになる。また、電子透かし埋め込みによる音質の劣化を抑制することができるようになる。 According to the present invention, it becomes possible to embed a digital watermark regardless of the original sound source. In addition, it is possible to suppress deterioration in sound quality due to digital watermark embedding.
本発明を実施するための最良の形態について図面を参照して説明する。図1は、本発明の実施形態における電子透かし埋め込み装置の第1の構成例を示す。図2は、本発明の実施形態における電子透かし埋め込み装置の第2の構成例を示す。図3は、本発明の実施形態における電子透かし検出装置の構成例を示す。本実施形態は、入力されたオーディオ信号を、一定の遅延量で遅延したPN系列信号で拡散することを2回繰り返す。また、本発明の第1の構成例は、入力されたオーディオ信号の信号値そのもの、もしくは信号の特性に基づき、電子透かしとして加える信号を適応的に変換した上で電子透かしを重畳する。本発明の第2の構成例は、電子透かしを加える前のオーディオ信号そのものを適応的に変換した上で電子透かしを重畳する。 The best mode for carrying out the present invention will be described with reference to the drawings. FIG. 1 shows a first configuration example of a digital watermark embedding apparatus according to an embodiment of the present invention. FIG. 2 shows a second configuration example of the digital watermark embedding apparatus according to the embodiment of the present invention. FIG. 3 shows a configuration example of the digital watermark detection apparatus in the embodiment of the present invention. In this embodiment, the input audio signal is spread twice with a PN sequence signal delayed by a certain delay amount. The first configuration example of the present invention superimposes a digital watermark after adaptively converting a signal to be added as a digital watermark based on the signal value itself of the input audio signal or the signal characteristics. In the second configuration example of the present invention, the digital watermark is superimposed after adaptively converting the audio signal itself before adding the digital watermark.
電子透かし埋め込み装置1は、電子透かし情報をオーディオ信号に埋め込み、電子透かし埋め込み済みオーディオ信号を出力する。第1の構成例の電子透かし埋め込み装置1は、時間遅延部11a、時間遅延部11b、時間拡散部12a、時間拡散部12b、畳み込み部13a、畳み込み部13b、疑似ランダム系列発生器14、反転部15、透かし強度調整部16a、および透かし強度調整部16bを備えている。
The digital
時間遅延部11a、時間遅延部11bは、遅延情報として遅延量α、βがそれぞれ入力され、入力されたオーディオ信号のフレームをそれぞれ遅延量α、βだけ遅延させ、時間拡散部12a、時間拡散部12bに送出する。ここで、フレームとは時間拡散をさせる単位を意味する。疑似ランダム系列発生器14は、PN系列信号(拡散信号)を作成して時間拡散部12a、反転部15へ送出する。反転部15は、入力されたPN系列信号のビットを反転させ、時間拡散部12bへ送出する。時間拡散部12a、時間拡散部12bは、時間α、βだけ遅延されて入力されたフレームを、PN系列信号、反転されたPN系列信号で時間軸上に拡散し新たなフレームを作成して、畳み込み部13a、畳み込み部13bへ送出する。畳み込み部13aは、外部から入力された原フレームと時間拡散部12aから送出されたフレームに畳み込み処理を実施する。
The
ここで、透かし強度調整部16aおよび透かし強度調整部16bは、畳み込みの強度をフレームごとに調整することができる。例えば、PN系列信号で時間拡散された信号と外部から入力された原フレーム、または畳み込み部13aから入力されたフレームの振幅比もしくは電力(パワー)比に基づき、時間拡散された信号の大きさを調整したうえで入力フレームに重畳することができる。または、当該フレームより前に位置するフレームの時間拡散された信号と入力されたフレームの振幅比もしくは電力(パワー)比に基づき、当該フレームの時間拡散された信号の大きさを調整したうえで原フレームに重畳することも可能である。
Here, the watermark
畳み込み部13bは、畳み込み部13aから出力されたフレームと時間拡散部12bから送出されたフレームに畳み込み処理を実施し、電子透かし埋め込み済みオーディオ信号を出力する。
The
第2の構成例の電子透かし埋め込み装置1は、第1の構成例の電子透かし埋め込み装置1の透かし強度調整部16aおよび透かし強度調整部16bの代わりに、信号値変換部17を備えている。
The digital
信号値変換部17は、入力オーディオ信号がいかなる場合においても、埋め込まれた電子透かしを検出できるようにするために、該信号が無音もしくは単一スペクトルの場合は、微小な疑似ランダム信号(ホワイトノイズに代表されるもの)を加える。なお、無音もしくは単一スペクトルであるか否かの判断はある決められたフレーム単位で行われる。無音であるか否かは区間ごとのパワーの最大値がある決められた閾値より小さいか否かを観測することにより判別できる。単一スペクトルであるか否かはスペクトル解析を行い、そのスペクトルがある特定の周波数に偏っているか否かを観測することにより判別することができる。
In order to enable detection of an embedded digital watermark in any case of an input audio signal, the signal
なお、透かし強度調整部16a、透かし強度調整部16b、および信号値変換部17の両方を備えた構成とすることも可能である。
It is also possible to adopt a configuration including both the watermark
また、疑似ランダム系列発生器14が拡散信号を生成する際、フレーム単位でハニング窓を適用することにより音質上の劣化を抑制することができる。
Further, when the pseudo
電子透かし検出装置2は、埋め込みに使用した遅延情報および拡散用系列を用いて、電子透かし埋め込み済みオーディオ信号から電子透かし情報を取り出す。電子透かし検出装置2は、ケプストラム分析部21、相関取得部22、相関取得部23、反転部24、およびデコード部25を備えている。
The digital
ケプストラム分析部21は、電子透かし埋め込み済みオーディオ信号のフレームに対して、ケプストラム分析を行し、ケプストラム係数を求め、相関取得部22、相関取得部23に送出する。なお、本実施形態では、オーディオ信号のフレームに対して、ケプストラム分析を行っているが、分析の方法は、音楽の信号を表す特徴ベクトルを分析するものであれば良く、ケプストラム分析に限定されるものではない。反転部24は、入力された拡散用系列のビットを反転させ、相関取得部23へ送出する。相関取得部22は、遅延情報に対するケプストラム係数と拡散用系列の相関値を求め、相関取得部23は、遅延情報に対するケプストラム係数と反転された拡散用系列の相関値を求める。デコード部25は、これらの相関値から、元の電子透かし情報に変換して出力する。
The cepstrum analysis unit 21 performs cepstrum analysis on the digital watermark embedded audio signal frame, obtains cepstrum coefficients, and sends them to the
なお、本実施形態では、拡散用系列は電子透かし検出装置2に入力されたが、このかわりに、電子透かし検出装置2が疑似ランダム系列発生器を備え、電子透かし埋め込み装置1の疑似ランダム系列発生器14に与えられた乱数のシードと、同じシードを入力する形態とすることもできる。
In this embodiment, the spreading sequence is input to the digital
また、電子透かし埋め込み装置1および電子透かし検出装置2の各機能は、勿論、装置に搭載されたコンピュータによって実行されるプログラムによっても実現できる。
In addition, each function of the digital
以下に本電子透かし埋め込み装置と電子透かし検出装置を用いた実施例を示す。
(実施例1)
実施例1は、オーディオ信号上での同期等を目的とし、電子透かしの有無を特定するための同期マーカ信号の埋め込み−検出の例を示す。
An embodiment using the digital watermark embedding apparatus and the digital watermark detection apparatus will be described below.
Example 1
Example 1 shows an example of embedding-detecting a synchronization marker signal for specifying the presence or absence of a digital watermark for the purpose of synchronization on an audio signal or the like.
本実施例では、拡散用系列および遅延量をそれぞれ2個用意して、これらを複数のフレームに埋め込む。また、拡散用系列の逆位相の系列を用いて、同一フレームに同期マーカ信号を2重に埋め込むことにより、ロバスト性を向上、つまり電子透かしの検出耐性を高めることができる。 In this embodiment, two spreading sequences and two delay amounts are prepared and embedded in a plurality of frames. In addition, by using double-phase synchronization marker signals in the same frame by using a reverse-phase sequence of a spreading sequence, robustness can be improved, that is, digital watermark detection resistance can be increased.
最初に、同期マーカ信号の埋め込みを示す。事前に電子透かし埋め込み装置1で用いられる、
・拡散用系列:P(n)=Pa,Pb
・各フレームにおける遅延量:Δ=α,β
を決定する。拡散用系列は、例えば疑似ランダム系列発生器14に乱数のシードを与えることによって生成される。また、フレームサイズ:Fr[サンプル]を事前に決定しておく。
First, the embedding of the synchronization marker signal is shown. Used in advance by the digital
・ Diffusion sequence: P (n) = P a , P b
・ Delay amount in each frame: Δ = α, β
To decide. The spreading sequence is generated, for example, by giving a random number seed to the
本実施例では、以下の表1のように4つのフレームを1つの同期信号として扱う。また、1つのフレームに2重に透かしを埋め込む。2重に埋め込むことでよりロバスト性を高めることが可能となる。フレーム1から4において、拡散用系列および遅延量を異ならせつつ、複数のフレームに埋め込み、さらに、逆位相の系列を用いて、同一フレームに2重に埋め込んでいる。
表1によれば、フレーム1は、時間遅延部11aで時間αだけ遅延され、時間拡散部12aでPaを用いて拡散され、畳み込み部13aで1回目の埋め込みが行われる。次に、時間遅延部11bで時間βだけ遅延され、時間拡散部12bで−Paを用いて拡散され、畳み込み部13bで2回目の埋め込みが行われる。フレーム2から4についても同様の処理が行われ、埋め込みが行われる。
According to Table 1, the
さらに、検出のロバスト性を高めるために同期マーカチェック用ビットを前記同期マーカ信号から特定のサンプルだけ離れた位置に付加することが可能となる。なお、同期マーカチェック用ビットは、あらかじめ何を埋め込むかを決めておき、下記実施例2にある方式を用い、チェック用ビットを埋め込む。 Furthermore, in order to improve the robustness of detection, a synchronization marker check bit can be added at a position away from the synchronization marker signal by a specific sample. Note that what is embedded in the synchronization marker check bit is determined in advance, and the check bit is embedded using the method in the second embodiment below.
次に、同期マーカ信号の検出の例を示す。透かし埋め込みに用いた
・拡散用系列:P(n)=Pa,Pb
・各フレームにおける遅延量:Δ=α,β
を電子透かし検出装置2に入力する。また、同期信号を検出する単位:F[サンプル]を事前に決定しておく。Fは1以上の整数であるが、1にすると1サンプルずつ行うことと同じになるため、電子透かし検出に多くの時間を必要とする。そのため、16≦F≦32を満たすFが適切である。
Next, an example of detection of the synchronization marker signal is shown. Used for watermark embedding • Spreading sequence: P (n) = P a , P b
・ Delay amount in each frame: Δ = α, β
Is input to the digital
4フレーム分のデータについて以下を行う。
(ア)ケプストラム分析部21は、4フレームすべてに対しケプストラム分析を行い、ケプストラム係数を求める。
(イ)遅延α,βに対する各ケプストラム係数と前述の拡散用系列との相関値を、フレームごとに電子透かし埋め込み時の方法にあわせて求め、それぞれCi[X](i=1,…,4)とおく。具体的には、相関取得部22が、遅延α,βに対する各ケプストラム係数と前述の拡散用系列との相関値Q[l,j]を求め、相関取得部23は、遅延α,βに対する各ケプストラム係数と前述の拡散用系列の反転値との相関値Q[l,j]を求め、表2のようにCi[X]を求める。ただし、Q[l,j]において、lは遅延Δを示しαまたはβであり、jはPN系列Pjを示しaまたはbである。
The following is performed on the data for four frames.
(A) The cepstrum analysis unit 21 performs cepstrum analysis on all four frames to obtain cepstrum coefficients.
(A) Correlation values between the cepstrum coefficients for the delays α and β and the above-described spreading sequence are obtained for each frame according to the method of embedding the digital watermark, and Ci [X] (i = 1,..., 4 )far. Specifically, the
表1の透かし埋め込みの場合、以下の表2のように、Ci[X]が求まる。
(ウ)図4のように4フレームの始点をFだけスライドさせたものに対する上記各フレームのC[(i−1)×Fr+X]の値を求め、その総和をすべて加算する。具体的には以下を求める(m=0,..,3)。
ただし、C[(i−1)×Fr+X]のXは、4フレームの先頭を基準にした相対位置を示しており、C[(i−1)×Fr+X]は、基準の位置からXサンプルの点を始点とし、1フレーム分のケプストラム係数を利用した場合の相関値を指す。
(C) The value of C [(i−1) × Fr + X] is obtained for each frame obtained by sliding the start point of 4 frames by F as shown in FIG. 4, and all the sums thereof are added. Specifically, the following is obtained (m = 0,..., 3).
However, X of C [(i−1) × Fr + X] indicates a relative position with reference to the head of the four frames, and C [(i−1) × Fr + X] is X samples from the reference position. The correlation value when a point is used as a starting point and a cepstrum coefficient for one frame is used.
上記で求められたG[X]の分布は、例えば、図5のようになる。すべてのm(m=0,…,3)、およびd[サンプル]に対し、
G[m×F]≧Th1かつG[m×F+d]≧Th2
となり、m(m=0,..,3)に対し、
G[m×F]−G[m×F+d]≧Th3
となる点が全4箇所中3箇所以上となった場合、4フレームの先頭位置を同期ポイント候補とする。ただし、Th1、Th2、Th3は閾値を示す定数であり、dはサンプル数を示す定数である。
The distribution of G [X] obtained above is, for example, as shown in FIG. For all m (m = 0, ..., 3) and d [sample],
G [m × F] ≧ Th1 and G [m × F + d] ≧ Th2
And for m (m = 0,..., 3)
G [m × F] −G [m × F + d] ≧ Th3
When the number of points becomes 3 or more out of all 4 locations, the head position of 4 frames is set as a synchronization point candidate. Here, Th1, Th2, and Th3 are constants indicating threshold values, and d is a constant indicating the number of samples.
前記求められた同期ポイント候補から一定距離(この距離は埋め込み時と共通)離れた点の後から始まるJ[フレーム]に対し、すかしID検出(検出方法は実施例2で示す)を行い、その結果が埋め込んだすかしIDと同じになった場合、当該位置が正しい同期ポイントであると判断する。 Perform watermark ID detection (detection method is shown in Example 2) for J [frame] starting after a certain distance (this distance is common with embedding) from the obtained synchronization point candidate, If the result is the same as the embedded watermark ID, it is determined that the position is the correct synchronization point.
(実施例2)
実施例2は、電子透かしが埋め込まれている場所が特定されている前提で電子透かしにより任意の情報を伝送するための埋め込み−検出(ID検出)の例を示す。
(Example 2)
The second embodiment shows an example of embedding-detection (ID detection) for transmitting arbitrary information using a digital watermark on the premise that a place where the digital watermark is embedded is specified.
本実施例でも、拡散用系列および遅延量をそれぞれ2個用意して、これらを複数のフレームに埋め込む。また、拡散用系列の逆位相の系列を用いて、同一フレームに電子透かしを2重に埋め込むことにより、ロバスト性を向上させることができる。 Also in this embodiment, two spreading sequences and two delay amounts are prepared and embedded in a plurality of frames. In addition, robustness can be improved by embedding a digital watermark twice in the same frame using an antiphase sequence of a spreading sequence.
最初に、電子透かし埋め込みを示す。事前に電子透かし埋め込み装置1で用いられる、
・拡散用系列:P(n)=Pa,Pb
・各フレームにおける遅延量:Δ=α,β
を決定する。拡散用系列は、例えば疑似ランダム系列発生器14に乱数のシードを与えることによって生成される。また、フレームサイズ:Fr[サンプル]を事前に決定しておく。
First, digital watermark embedding is shown. Used in advance by the digital
・ Diffusion sequence: P (n) = P a , P b
・ Delay amount in each frame: Δ = α, β
To decide. The spreading sequence is generated, for example, by giving a random number seed to the
2フレーム分の信号を読み込み、表3のように1フレームにつき2個の透かしを埋め込む。2回透かしを埋め込むことにより、ロバスト性を高めることができる。フレーム1から2おいて、拡散用系列および遅延量を異ならせつつ、複数のフレームに埋め込む。また、異なる拡散用系列および遅延量を用いることにより、ビット0、1を埋め込む。さらに、逆位相の系列を用いて、同一フレームに2重に埋め込んでいる。
The signal for two frames is read and two watermarks are embedded per frame as shown in Table 3. Robustness can be enhanced by embedding the watermark twice.
表3の場合、例えば、ビット0を埋め込む場合、フレーム0は、時間遅延部11aで時間αだけ遅延され、時間拡散部12aでPaを用いて拡散され、畳み込み部13aで1回目の透かしが埋め込まれ、次に、時間遅延部11bで時間βだけ遅延され、時間拡散部12bで−Paを用いて拡散され、畳み込み部13bで2回目の透かしが埋め込まれる。フレーム1についても同様な処理が行われ、2フレームにビット0が埋め込まれる。ビット1を埋め込む場合も同様に行われる。
次に、電子透かし検出の例を示す。透かし埋め込みに用いた
・拡散用系列:P(n)=Pa,Pb
・各フレームにおける遅延量:Δ=α,β
を電子透かし検出装置2に入力する。
Next, an example of digital watermark detection will be shown. Used for watermark embedding • Spreading sequence: P (n) = P a , P b
・ Delay amount in each frame: Δ = α, β
Is input to the digital
2フレーム分の信号を読み込み、ケプストラム分析部21は、2フレームに対してケプストラム分析を行い、ケプストラム係数を求める。その出力をJ[1]、J[2]とする。相関取得部22、相関取得部23は相関値、Q[l,j]を求める。ここで、Q[l,j]=「J[k]をΔ[l]だけ遅延させた信号とPj(n)との相関値」とする。前述の表3のように透かしを埋め込みの場合、1フレーム目は、R[0]=Q[α,a]−Q[β,a]、2フレーム目は、R[1]=Q[α,b]−Q[β,b]を求める。
The signal for two frames is read, and the cepstrum analysis unit 21 performs cepstrum analysis on the two frames to obtain a cepstrum coefficient. The outputs are J [1] and J [2]. The
R[0]−R[1]>0ならば、デコーダ部25は、ビット0を出力し、
R[0]−R[1]≦0ならば、デコーダ部25は、ビット1を出力し、埋め込まれた電子透かし情報が検出される。
If R [0] −R [1]> 0, the
If R [0] −R [1] ≦ 0, the
(実施例3)
実施例3は、実施例1および2の組み合わせであり、オーディオストリーム内に任意の情報を任意の場所に電子透かしとして埋め込み、検出する方式の例を示す。
(Example 3)
The third embodiment is a combination of the first and second embodiments, and shows an example of a method of embedding and detecting arbitrary information as an electronic watermark in an arbitrary location in an audio stream.
透かしを入れ込むためのフォーマットは図6の通りとする。同期マーカ信号、同期マーカチェック信号(以上は場所を特定するものに相当する)、透かしID信号(任意の情報に相当する)を1つの単位として埋め込み、検出を行う。 The format for inserting the watermark is as shown in FIG. Detection is performed by embedding a synchronization marker signal, a synchronization marker check signal (which corresponds to a location specifying signal), and a watermark ID signal (corresponding to arbitrary information) as one unit.
前述のフォーマットに従い、以下の手順で電子透かしを埋め込む。
1.同期マーカの箇所に同期マーカを入れる。
2.その直後に同期マーカチェック信号を入れる。
3.その直後に透かしID信号を必要なフレーム数入れる。
1については、実施例1で説明した埋め込み方法を用い、2、3については、実施例2で説明した埋め込み方法を用いる。
In accordance with the above-described format, a digital watermark is embedded by the following procedure.
1. Insert a sync marker at the sync marker.
2. Immediately after that, a synchronization marker check signal is input.
3. Immediately thereafter, a necessary number of frames are input with a watermark ID signal.
The embedding method described in the first embodiment is used for 1, and the embedding method described in the second embodiment is used for 2 and 3.
以下の手順で電子透かしを検出する。
1.一定サンプルごとに同期マーカ信号の候補を検出する。
2.検出された同期マーカ信号の候補位置の直後に同期マーカチェック信号が入っているかを確認する。入っていなければ1に戻る。この処理は必要に応じ行う。
3.検出された同期マーカ信号+同期マーカチェック信号に基づき透かしID信号が埋まっている場所を特定し、その分シフトする。
4.透かしID信号の検出を行う。
1については、実施例1で説明した検出方法を用い、2、3、4については、実施例2で説明した検出方法を用いる。
The digital watermark is detected by the following procedure.
1. A candidate for a synchronization marker signal is detected for every fixed sample.
2. It is confirmed whether a synchronization marker check signal is input immediately after the detected candidate position of the synchronization marker signal. If not, go back to 1. This process is performed as necessary.
3. Based on the detected synchronization marker signal + synchronization marker check signal, the place where the watermark ID signal is buried is specified and shifted by that amount.
4). A watermark ID signal is detected.
The detection method described in the first embodiment is used for 1 and the detection method described in the second embodiment is used for 2, 3, and 4.
以上のように、もとの音源の如何にかかわらず電子透かしを埋め込むことができる電子透かし埋め込み装置が提供される。本装置の用途として、例えば、電子透かしをDRM(Digital Rights Management)として利用することができる。コンテンツ提供者がユーザ情報を電子透かしとして埋め込むことにより、コンテンツの不正流出を防ぐことができる。また、ユーザが電子透かし検出装置により、電子透かしを検出することにより、正規製品であることを確認することができる。また、放送の音声に該放送が流された時間を電子透かしとして埋め込み、テレビの近くに検出装置を設置することによって、どの番組に接触していたのかを検出可能になるため、メディア接触等の調査にも使用することができる。 As described above, a digital watermark embedding device capable of embedding a digital watermark regardless of the original sound source is provided. As an application of this apparatus, for example, a digital watermark can be used as DRM (Digital Rights Management). The content provider embeds user information as a digital watermark, thereby preventing unauthorized leakage of content. Further, the user can confirm that the product is a genuine product by detecting the digital watermark with the digital watermark detection device. In addition, it is possible to detect which program was touched by embedding the time when the broadcast was broadcast in the audio of the broadcast as a digital watermark and installing a detection device near the TV. It can also be used for research.
また、以上述べた実施形態は全て本発明を例示的に示すものであって限定的に示すものではなく、本発明は他の種々の変形態様および変更態様で実施することができる。従って本発明の範囲は特許請求の範囲およびその均等範囲によってのみ規定されるものである。 Moreover, all the embodiments described above are illustrative of the present invention and are not intended to limit the present invention, and the present invention can be implemented in other various modifications and changes. Therefore, the scope of the present invention is defined only by the claims and their equivalents.
1 電子透かし埋め込み装置
11a、11b 時間遅延部
12a、12b 時間拡散部
13a、13b 畳み込み部
14 疑似ランダム系列発生器
15 反転部
16a、16b 透かし強度調整部
17 信号値変換部
2 電子透かし検出装置
21 ケプストラム分析部
22、23 相関取得部
24 反転部
25 デコード部
DESCRIPTION OF
Claims (8)
前記オーディオ信号を所定の遅延量の時間だけ遅延させる時間遅延手段と、
前記遅延された信号を所定の拡散用系列を用いて拡散する時間拡散手段と、
前記入力されたオーディオ信号の信号値または信号の特性に基づき、前記拡散された信号を適応的に変換する透かし強度調整手段と、
前記拡散された信号または前記変換された信号を埋め込む畳み込み手段と、
を備え、前記遅延量および前記拡散用系列の一方または両者を異ならせて、前記時間遅延手段、前記時間拡散手段および前記畳み込み手段を複数回実施することで、前記電子透かし情報を複数回埋め込むことを特徴とする電子透かし埋め込み装置。 In the digital watermark embedding device that embeds digital watermark information for the input audio signal,
Time delay means for delaying the audio signal by a predetermined delay amount;
Time spreading means for spreading the delayed signal using a predetermined spreading sequence;
Watermark strength adjusting means for adaptively converting the spread signal based on a signal value or signal characteristics of the input audio signal;
Convolution means for embedding the spread signal or the transformed signal;
And embedding the digital watermark information a plurality of times by implementing one or both of the delay amount and the spreading sequence and performing the time delay means, the time spreading means, and the convolution means a plurality of times. An electronic watermark embedding device characterized by the above.
前記オーディオ信号を所定の遅延量の時間だけ遅延させる時間遅延手段と、
前記遅延された信号を所定の拡散用系列を用いて拡散する時間拡散手段と、
微小疑似ランダム信号を重畳することで、前記入力されたオーディオ信号を適応的に変換する信号値変換手段と、
前記拡散された信号を埋め込む畳み込み手段と、
を備え、前記遅延量および前記拡散用系列の一方または両者を異ならせて、前記時間遅延手段、前記時間拡散手段および前記畳み込み手段を複数回実施することで、前記電子透かし情報を複数回埋め込むことを特徴とする電子透かし埋め込み装置。 In the digital watermark embedding device that embeds digital watermark information for the input audio signal,
Time delay means for delaying the audio signal by a predetermined delay amount;
Time spreading means for spreading the delayed signal using a predetermined spreading sequence;
Signal value conversion means for adaptively converting the input audio signal by superimposing a minute pseudorandom signal;
Convolution means for embedding the spread signal;
And embedding the digital watermark information a plurality of times by implementing one or both of the delay amount and the spreading sequence and performing the time delay means, the time spreading means, and the convolution means a plurality of times. An electronic watermark embedding device characterized by the above.
前記オーディオ信号を所定の遅延量の時間だけ遅延させる時間遅延手段と、
前記遅延された信号を所定の拡散用系列を用いて拡散する時間拡散手段と、
前記入力されたオーディオ信号の信号値または信号の特性に基づき、前記拡散された信号を適応的に変換する透かし強度調整手段と、
前記拡散された信号または前記変換された信号を埋め込む畳み込み手段と、
として機能させ、前記遅延量および前記拡散用系列の一方または両者を異ならせて、前記時間遅延手段、前記時間拡散手段および前記畳み込み手段を複数回実施することで、前記電子透かし情報を複数回埋め込むことを特徴とする電子透かし埋め込みプログラム。 A computer that embeds digital watermark information in the input audio signal.
Time delay means for delaying the audio signal by a predetermined delay amount;
Time spreading means for spreading the delayed signal using a predetermined spreading sequence;
Watermark strength adjusting means for adaptively converting the spread signal based on a signal value or signal characteristics of the input audio signal;
Convolution means for embedding the spread signal or the transformed signal;
And embedding the digital watermark information a plurality of times by performing the time delay means, the time spreading means, and the convolution means a plurality of times with different one or both of the delay amount and the spreading sequence. A digital watermark embedding program characterized by that.
前記オーディオ信号を所定の遅延量の時間だけ遅延させる時間遅延手段と、
前記遅延された信号を所定の拡散用系列を用いて拡散する時間拡散手段と、
微小疑似ランダム信号を重畳することで、前記入力されたオーディオ信号を適応的に変換する信号値変換手段と、
前記拡散された信号を埋め込む畳み込み手段と、
として機能させ、前記遅延量および前記拡散用系列の一方または両者を異ならせて、前記時間遅延手段、前記時間拡散手段および前記畳み込み手段を複数回実施することで、前記電子透かし情報を複数回埋め込むことを特徴とする電子透かし埋め込みプログラム。 A computer that embeds digital watermark information in the input audio signal.
Time delay means for delaying the audio signal by a predetermined delay amount;
Time spreading means for spreading the delayed signal using a predetermined spreading sequence;
Signal value conversion means for adaptively converting the input audio signal by superimposing a minute pseudorandom signal;
Convolution means for embedding the spread signal;
And embedding the digital watermark information a plurality of times by performing the time delay means, the time spreading means, and the convolution means a plurality of times with different one or both of the delay amount and the spreading sequence. A digital watermark embedding program characterized by that.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010177167A JP5554658B2 (en) | 2010-08-06 | 2010-08-06 | Audio digital watermark embedding apparatus and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010177167A JP5554658B2 (en) | 2010-08-06 | 2010-08-06 | Audio digital watermark embedding apparatus and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012037701A true JP2012037701A (en) | 2012-02-23 |
JP5554658B2 JP5554658B2 (en) | 2014-07-23 |
Family
ID=45849759
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010177167A Active JP5554658B2 (en) | 2010-08-06 | 2010-08-06 | Audio digital watermark embedding apparatus and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5554658B2 (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014062332A1 (en) * | 2012-10-16 | 2014-04-24 | The Nielsen Company (Us), Llc | Methods and apparatus to perform audio watermark detection and extraction |
JP2016038455A (en) * | 2014-08-07 | 2016-03-22 | 株式会社ビデオリサーチ | Audio watermark embedded device, system, and method |
WO2019183401A1 (en) * | 2018-03-21 | 2019-09-26 | The Nielsen Company (Us), Llc | Methods and apparatus to identify signals using a low power watermark |
JP2021197698A (en) * | 2020-06-17 | 2021-12-27 | Toa株式会社 | Sound emitting device, sound forming program, and sound forming method |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003536113A (en) * | 2000-06-08 | 2003-12-02 | マークエニー・インコーポレイテッド | Digital watermark embedding / extracting method for copyright protection and copy protection of digital audio contents, and apparatus using the same |
JP2004173237A (en) * | 2002-11-08 | 2004-06-17 | Sanyo Electric Co Ltd | Apparatus and method for embedding electronic watermark, and apparatus and method for extracting electronic watermark |
JP3554825B2 (en) * | 2002-03-11 | 2004-08-18 | 東北大学長 | Digital watermark system |
JP2008058953A (en) * | 2006-07-26 | 2008-03-13 | Nec (China) Co Ltd | Media program identification method and apparatus based on audio watermarking |
JP2009025324A (en) * | 2007-07-17 | 2009-02-05 | Dainippon Printing Co Ltd | Device for embedding information in sound signal and device for extracting information from sound signal |
JP2011523091A (en) * | 2008-05-29 | 2011-08-04 | イントラソニックス エス.ア.アール.エル | Data embedding system |
-
2010
- 2010-08-06 JP JP2010177167A patent/JP5554658B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003536113A (en) * | 2000-06-08 | 2003-12-02 | マークエニー・インコーポレイテッド | Digital watermark embedding / extracting method for copyright protection and copy protection of digital audio contents, and apparatus using the same |
JP3554825B2 (en) * | 2002-03-11 | 2004-08-18 | 東北大学長 | Digital watermark system |
JP2004173237A (en) * | 2002-11-08 | 2004-06-17 | Sanyo Electric Co Ltd | Apparatus and method for embedding electronic watermark, and apparatus and method for extracting electronic watermark |
JP2008058953A (en) * | 2006-07-26 | 2008-03-13 | Nec (China) Co Ltd | Media program identification method and apparatus based on audio watermarking |
JP2009025324A (en) * | 2007-07-17 | 2009-02-05 | Dainippon Printing Co Ltd | Device for embedding information in sound signal and device for extracting information from sound signal |
JP2011523091A (en) * | 2008-05-29 | 2011-08-04 | イントラソニックス エス.ア.アール.エル | Data embedding system |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014062332A1 (en) * | 2012-10-16 | 2014-04-24 | The Nielsen Company (Us), Llc | Methods and apparatus to perform audio watermark detection and extraction |
US9368123B2 (en) | 2012-10-16 | 2016-06-14 | The Nielsen Company (Us), Llc | Methods and apparatus to perform audio watermark detection and extraction |
JP2016038455A (en) * | 2014-08-07 | 2016-03-22 | 株式会社ビデオリサーチ | Audio watermark embedded device, system, and method |
WO2019183401A1 (en) * | 2018-03-21 | 2019-09-26 | The Nielsen Company (Us), Llc | Methods and apparatus to identify signals using a low power watermark |
US10923133B2 (en) | 2018-03-21 | 2021-02-16 | The Nielsen Company (Us), Llc | Methods and apparatus to identify signals using a low power watermark |
JP2021197698A (en) * | 2020-06-17 | 2021-12-27 | Toa株式会社 | Sound emitting device, sound forming program, and sound forming method |
JP7325378B2 (en) | 2020-06-17 | 2023-08-14 | Toa株式会社 | SOUND EMITTING DEVICE, SOUND FORMING PROGRAM AND SOUND FORMING METHOD |
Also Published As
Publication number | Publication date |
---|---|
JP5554658B2 (en) | 2014-07-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9704494B2 (en) | Down-mixing compensation for audio watermarking | |
US7454034B2 (en) | Digital watermarking of tonal and non-tonal components of media signals | |
JP3554825B2 (en) | Digital watermark system | |
Arnold et al. | A phase-based audio watermarking system robust to acoustic path propagation | |
JP2008529046A5 (en) | ||
CN110163787B (en) | Audio digital robust blind watermark embedding method based on dual-tree complex wavelet transform | |
JP5554658B2 (en) | Audio digital watermark embedding apparatus and program | |
Hu et al. | High-performance self-synchronous blind audio watermarking in a unified FFT framework | |
Neubauer et al. | Continuous steganographic data transmission using uncompressed audio | |
KR100355033B1 (en) | Apparatus and Method for Watermark Embedding and Detection using the Linear Prediction Analysis | |
US20180075852A1 (en) | Method and apparatus for embedding and regaining watermarks in an ambisonics representation of a sound field | |
US20150221317A1 (en) | Method and apparatus for watermarking successive sections of an audio signal | |
JP5601665B2 (en) | Audio digital watermark embedding device, detection device, and program | |
Dymarski et al. | Time and sampling frequency offset correction in audio watermarking | |
Dieu et al. | An improved technique for hiding data in audio | |
Li et al. | A novel audio watermarking in wavelet domain | |
Trivedi et al. | An algorithmic digital audio watermarking in perceptual domain using direct sequence spread spectrum | |
Zhao et al. | A spread spectrum audio watermarking system with high perceptual quality | |
Del Galdo et al. | Audio watermarking for acoustic propagation in reverberant environments | |
Piotrowski et al. | Using drift correction modulation for steganographic radio transmission | |
KR20030037174A (en) | Method and Apparatus of Echo Signal Injecting in Audio Water-Marking using Echo Signal | |
Kondo et al. | On a Synchronization Method for Audio Watermarks Robust Against Aerial Transmission Using Embedded Random Synchronization Pattern | |
Xiong et al. | Optimized SS-based Audio Watermarking System Using Partial Embedding Method | |
Kondo et al. | A Frame Synchronization Method for Audio Watermarks Robust Against Analog Aerial Transmission. | |
Pal et al. | Secured data transmission through audio signal (SDTAS) |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130304 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20130408 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20130703 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20130710 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20130703 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131018 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131030 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131224 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140514 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140529 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5554658 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |