JP2009152963A - Digital watermarking system - Google Patents

Digital watermarking system Download PDF

Info

Publication number
JP2009152963A
JP2009152963A JP2007330013A JP2007330013A JP2009152963A JP 2009152963 A JP2009152963 A JP 2009152963A JP 2007330013 A JP2007330013 A JP 2007330013A JP 2007330013 A JP2007330013 A JP 2007330013A JP 2009152963 A JP2009152963 A JP 2009152963A
Authority
JP
Japan
Prior art keywords
embedding
embedded
image
digital watermark
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007330013A
Other languages
Japanese (ja)
Other versions
JP4942633B2 (en
Inventor
Mitsuyoshi Suzuki
光義 鈴木
Hiroshi Ito
浩 伊藤
Toyokazu Sugai
豊和 菅井
Rei Niina
麗 新名
Atsumichi Murakami
篤道 村上
Kotaro Asai
光太郎 浅井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2007330013A priority Critical patent/JP4942633B2/en
Publication of JP2009152963A publication Critical patent/JP2009152963A/en
Application granted granted Critical
Publication of JP4942633B2 publication Critical patent/JP4942633B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To obtain a digital watermarking system capable of making information remain even if being attacked with large image degradation. <P>SOLUTION: There is provided a watermarking system equipped with a digital watermark embedding unit 100A for embedding watermark information in an image and a digital watermark detector 200 for detecting the watermark information from the image with the embedded watermark information. The digital watermark embedding unit 100A is equipped with an error-correcting encoder 101 for performing error-correcting encoding which repeats each information bit as redundant data for the watermark information to obtain the embedded data, an embedding position determining unit 102 for determining an embedded position based on a key 2, an embedding distribution function generator 105 for generating an embedding absolute value varying each embedded data, an embedding pattern generator 103 for producing an embedding pattern based on the embedded data, the embedded position and the embedded absolute value, and an adder 104 for adding the embedding pattern to the image. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

この発明は、画像コンテンツに透かし情報を埋め込む電子透かしシステムに関するものである。   The present invention relates to a digital watermark system for embedding watermark information in image content.

電子透かしは、画像コンテンツの空間的相関や時間的相関などを利用して人間の目や耳に感知できないように情報を埋め込む技術であり、コンテンツの性質によっては埋め込んだものから、情報を検出するときに完全な情報として復元できないことが多いため、誤り訂正符号を用いて誤検出率を低下させる手法を用いる。   Digital watermarking is a technology that embeds information so that it cannot be perceived by human eyes or ears using the spatial correlation or temporal correlation of image content. Depending on the nature of the content, information is detected from the embedded content. Since it is often impossible to restore as complete information, a method of reducing the false detection rate using an error correction code is used.

図8は、従来の電子透かしシステムの構成を示すブロック図である。図8において、従来の電子透かしシステムは、電子透かし埋め込み器100と、電子透かし検出器200とが設けられている。   FIG. 8 is a block diagram showing a configuration of a conventional digital watermark system. In FIG. 8, the conventional digital watermark system includes a digital watermark embedder 100 and a digital watermark detector 200.

電子透かし埋め込み器100は、誤り訂正符号化器101と、埋め込み位置決定器102と、埋め込みパターン生成器103と、加算器104とが設けられている。   The digital watermark embedder 100 is provided with an error correction encoder 101, an embedding position determiner 102, an embedding pattern generator 103, and an adder 104.

電子透かし検出器200は、減算器201と、検出データ生成器202と、誤り訂正復号器203とが設けられている。   The digital watermark detector 200 is provided with a subtractor 201, a detection data generator 202, and an error correction decoder 203.

つぎに、従来の電子透かしシステムの動作について図面を参照しながら説明する。   Next, the operation of the conventional digital watermark system will be described with reference to the drawings.

電子透かし埋め込み器100においては、配布される人のIDなどの埋め込み情報(透かし情報)1に対し誤り訂正符号化器101で各情報ビットを繰り返して冗長データとする繰り返し符号などの誤り訂正符号化を行い、埋め込みデータ101dを得る。ここで、例えば、埋め込み情報1が16ビットで、埋め込みデータ101dが16000ビットの場合、各ビットを16000/16=1000回繰り返す符号となる。   In the digital watermark embedder 100, error correction coding such as a repetitive code in which each information bit is repeatedly made redundant data by the error correction coder 101 with respect to embedded information (watermark information) 1 such as a distributed person ID. To embed data 101d. Here, for example, when the embedding information 1 is 16 bits and the embedding data 101d is 16000 bits, it is a code that repeats each bit 16000/16 = 1000 times.

鍵2で乱数などにより埋め込み位置決定器102で埋め込み位置102dを決める。冗長ビットが0のときは−1、1のときは+1として、埋め込みパターン生成器103で埋め込みパターン103dを得る。そして、加算器104で原画(画像)10に埋め込みパターン103dを加算することにより、埋め込み後画像11を得る。   The embedding position 102d is determined by the embedding position determiner 102 using a random number or the like with the key 2. The embedding pattern generator 103 obtains an embedding pattern 103d by setting -1 when the redundant bit is 0 and +1 when it is 1. Then, an embedded image 11 is obtained by adding the embedded pattern 103 d to the original image (image) 10 by the adder 104.

埋め込み後画像11は一般に配布するが、配布される人のIDが透かし情報として入っていて誰に配布したものであるかが判ってしまうので、不正にコピーして2次配布したい人は画質劣化の少ない攻撃により透かし情報を消そうとする。埋め込み後画像11に対し攻撃器12で攻撃を行い、攻撃後画像13を得て、不正に配布する。   The post-embedding image 11 is generally distributed, but since the ID of the person to be distributed is included as watermark information and it is known to whom the image is distributed, the person who wants to copy illegally and distribute it secondarily deteriorates the image quality. It tries to erase watermark information by an attack with few. The post-embedding image 11 is attacked by the attacking device 12, and the post-attack image 13 is obtained and distributed illegally.

電子透かし検出器200においては、不正配布された攻撃後画像13を入手し、減算器201で攻撃後画像13から原画10を減算した差分である検出パターン201dを得る。ここで、検出パターン201dが+のときはデータ“1”、−のときは“0”と判定する。   The digital watermark detector 200 obtains the post-attack image 13 that has been illegally distributed, and obtains a detection pattern 201 d that is a difference obtained by subtracting the original image 10 from the post-attack image 13 by the subtractor 201. Here, when the detection pattern 201d is +, it is determined as data “1”, and when it is −, it is determined as “0”.

埋め込みのときに生成した埋め込み位置102dに従い、検出データ生成器202で順次取り出して誤り冗長ビットを含む検出データ202dを得て、誤り訂正復号器203で誤り復号して検出情報3を得る。上記の1000回繰り返す繰り返し誤り訂正符号の場合では、多数決により、“1”が半分の501個を超えたとき“1”、逆に“0”が半分の501個を超えたとき“0”と誤り復号する。攻撃がない場合は、埋め込んだ情報1がそのまま検出されるため検出情報3は正確な情報となる。   According to the embedding position 102d generated at the time of embedding, the detection data generator 202 sequentially extracts the detection data 202d including error redundant bits, and the error correction decoder 203 performs error decoding to obtain detection information 3. In the case of the error correction code repeated 1000 times, “1” is exceeded when “1” exceeds half 501 and “0” is exceeded when “0” exceeds half 501. Error decoding. When there is no attack, the embedded information 1 is detected as it is, so that the detection information 3 is accurate information.

ただし、ここでは、検出者が原画10自体を所持しているかどうかの場合わけがあるが、簡単のために原画10を所持しており、原画10のデータを利用できるものとした。   However, here, there is a case where the detector has the original image 10 itself, but for the sake of simplicity, the original image 10 is possessed and the data of the original image 10 can be used.

図9は、従来の電子透かしシステムによる電子透かしのデータ埋め込み後の各画素の変化量の分布を示す図である。図9において、横軸は原画からの変化量、縦軸はその分布である。データ“1”を埋め込んだ領域は原画に対し+1の変化があり、データ“0”を埋め込む領域は原画に対し−1の変化があり、これらはほぼ対称に分布する。埋め込まない領域は変化が0である。   FIG. 9 is a diagram showing a distribution of change amounts of each pixel after embedding digital watermark data by the conventional digital watermark system. In FIG. 9, the horizontal axis represents the amount of change from the original image, and the vertical axis represents the distribution. The area where data “1” is embedded has a change of +1 with respect to the original picture, and the area where data “0” is embedded has a change of −1 with respect to the original picture, and these are distributed almost symmetrically. The change is 0 in the non-embedded area.

攻撃は原画10に対し、たとえばランダムに数値を加算することで行う。弱い攻撃で全ての画素にランダムに±2を加算すると検出したときにデータがプラスならば“1”、マイナスならば“0”であるが、これは±2を加算した時の極性に従うため、埋め込んだデータはまったく検出できずに正常な情報が検出できない。   The attack is performed on the original image 10 by, for example, randomly adding a numerical value. When it is detected that ± 2 is randomly added to all pixels in a weak attack, it is “1” if the data is positive, “0” if it is negative, but this follows the polarity when ± 2 is added. The embedded data cannot be detected at all, and normal information cannot be detected.

なお、電子透かしの先行技術文献として、例えば、特許文献1、特許文献2及び特許文献3がある。   For example, Patent Document 1, Patent Document 2, and Patent Document 3 are prior art documents for digital watermarking.

特開2000−106624号公報JP 2000-106624 A 特開2004−104494号公報JP 2004-104494 A 特開2006−025409号公報JP 2006-025409 A

上述したような従来の電子透かしシステムでは、原画に対して+1または−1などの固定値の変化を与えることで情報を埋め込んでいたため、攻撃において、この変化より少し大きな弱い変化を与えることで小さな画質劣化でデータが消去されてしまい、埋め込んだ情報を正確に検出することができなかった。逆に、埋め込みの固定値を大きくすると画質劣化が大きくて利用できないなどの問題点があった。   In the conventional digital watermarking system as described above, information is embedded by giving a change of a fixed value such as +1 or −1 to the original image. Therefore, in the attack, a slightly larger change than this change is given. The data was erased due to small image quality degradation, and the embedded information could not be detected accurately. On the other hand, when the fixed value of embedding is increased, there is a problem that the image quality deteriorates and cannot be used.

また、攻撃の大きさは不明であるため、埋め込みの強度をどの程度に設定するかという問題点があった。   Also, since the magnitude of the attack is unknown, there is a problem of how much embedding strength is set.

さらに、1つの電子透かしシステムでは方式が分かるとそれに対する攻撃方法が研究され破られてしまうため、複数の電子透かし要素を重畳したいが、正常に検出できるかわからなくなるなどの問題点があった。   Further, if one digital watermarking system knows the method, the attack method against it will be researched and broken, and there is a problem that it is not possible to detect normally though it is desired to superimpose a plurality of digital watermark elements.

この発明は、上述のような課題を解決するためになされたもので、その目的は、電子透かし埋め込み後の画質を保障し、大きな画質劣化の攻撃でも情報が残り、また、攻撃の大きさが不明なため、変化の最大値を十分大きくし、また、できる限りデータを強く埋め込み、検出の精度を向上し、また、電子透かし要素を重畳し、各々の埋め込んだ情報を正確に検出することができる電子透かしシステムを得るものである。   The present invention has been made to solve the above-described problems, and its purpose is to guarantee the image quality after embedding a digital watermark, information remains even in the case of a large image quality degradation attack, and the size of the attack is small. Since it is unknown, the maximum value of change can be made sufficiently large, data can be embedded as much as possible to improve detection accuracy, and digital watermark elements can be superimposed to accurately detect each embedded information A digital watermarking system that can be obtained is obtained.

この発明に係る電子透かしシステムは、第1の画像に透かし情報を埋め込む電子透かし埋め込み器と、前記電子透かし埋め込み器により透かし情報を埋め込んだ第2の画像から透かし情報を検出する電子透かし検出器とを設けた電子透かしシステムであって、前記電子透かし埋め込み器は、前記透かし情報に対し各情報ビットを繰り返して冗長データとする誤り訂正符号化を行って埋め込みデータを得る誤り訂正符号化器と、鍵に基づき埋め込み位置を決定する埋め込み位置決定器と、埋め込みデータ毎に変化する埋め込み絶対値を発生する埋め込み分布関数発生器と、前記埋め込みデータ、前記埋め込み位置及び前記埋め込み絶対値に基づき、埋め込みパターンを生成する埋め込みパターン生成器と、前記第1の画像に前記埋め込みパターンを加算する加算器とを有するものである。   A digital watermark system according to the present invention includes a digital watermark embedder that embeds watermark information in a first image, and a digital watermark detector that detects watermark information from a second image in which the watermark information is embedded by the digital watermark embedder. An electronic watermarking system, wherein the electronic watermark embedder performs error correction coding by repeating each information bit for the watermark information to make redundant data, and obtains embedded data; An embedding position determiner that determines an embedding position based on a key, an embedding distribution function generator that generates an embedding absolute value that changes for each embedding data, and an embedding pattern based on the embedding data, the embedding position, and the embedding absolute value. And an embedded pattern generator for generating the embedded pattern in the first image. Those having an adder for adding.

この発明に係る電子透かしシステムは、透かし情報埋め込み後の画質劣化と攻撃耐性を定量的に設定できるという効果を奏する。   The digital watermark system according to the present invention has an effect that it is possible to quantitatively set image quality deterioration and attack resistance after embedding watermark information.

実施の形態1.
この発明の実施の形態1に係る電子透かしシステムについて図1から図3までを参照しながら説明する。図1は、この発明の実施の形態1に係る電子透かしシステムの構成を示すブロック図である。なお、各図中、同一符号は同一又は相当部分を示す。
Embodiment 1 FIG.
A digital watermark system according to Embodiment 1 of the present invention will be described with reference to FIGS. FIG. 1 is a block diagram showing a configuration of a digital watermark system according to Embodiment 1 of the present invention. In addition, in each figure, the same code | symbol shows the same or equivalent part.

図1において、この発明の実施の形態1に係る電子透かしシステムは、電子透かし埋め込み器100Aと、電子透かし検出器200とが設けられている。   In FIG. 1, the digital watermark system according to Embodiment 1 of the present invention is provided with a digital watermark embedder 100A and a digital watermark detector 200.

電子透かし埋め込み器100Aは、誤り訂正符号化器101と、埋め込み位置決定器102と、埋め込みパターン生成器103と、加算器104と、埋め込み分布関数発生器105とが設けられている。   The digital watermark embedder 100A is provided with an error correction encoder 101, an embedding position determiner 102, an embedding pattern generator 103, an adder 104, and an embedding distribution function generator 105.

電子透かし検出器200は、減算器201と、検出データ生成器202と、誤り訂正復号器203とが設けられている。   The digital watermark detector 200 is provided with a subtractor 201, a detection data generator 202, and an error correction decoder 203.

図2は、この発明の実施の形態1に係る電子透かしシステムの埋め込み分布関数発生器の構成を示すブロック図である。   FIG. 2 is a block diagram showing the configuration of the embedded distribution function generator of the digital watermark system according to Embodiment 1 of the present invention.

図2において、埋め込み分布関数発生器105は、乱数発生器1051と、複数(12個)の数値レジスタ1052と、比較器1053とから構成されている。   In FIG. 2, the embedded distribution function generator 105 includes a random number generator 1051, a plurality (12) of numerical registers 1052, and a comparator 1053.

この実施の形態1では、電子透かしの変化の分布を規定することで、画質を保障したものである。また、分布の分散を大きくすることで、強い攻撃に対してでも誤り訂正符号の一部が残存することで埋め込んだ情報を正確に検出することができるようにしたものである。   In the first embodiment, the image quality is guaranteed by defining the distribution of changes in the digital watermark. Also, by increasing the distribution variance, it is possible to accurately detect the embedded information because part of the error correction code remains even against a strong attack.

つぎに、この実施の形態1に係る電子透かしシステムの動作について図面を参照しながら説明する。   Next, the operation of the digital watermark system according to the first embodiment will be described with reference to the drawings.

図3(a)〜(c)は、この発明の実施の形態1に係る電子透かしシステムによる電子透かしのデータ埋め込み後の各画素の変化量の分布を示す図である。   FIGS. 3A to 3C are diagrams showing the distribution of the change amount of each pixel after the digital watermark data is embedded by the digital watermark system according to Embodiment 1 of the present invention.

埋め込み分布関数発生器105は、電子透かしの埋め込みの大きさの分布を規定し、埋め込みデータ101d毎に変化する埋め込み絶対値(105d)Eを発生する。埋め込みパターン生成器103は、埋め込みデータ101dが“1”のとき+E、“0”のとき−Eとして、埋め込みパターン103dを生成する。   The embedding distribution function generator 105 defines a distribution of the embedding size of the digital watermark, and generates an embedding absolute value (105d) E that changes for each embedding data 101d. The embedding pattern generator 103 generates an embedding pattern 103d as + E when the embedding data 101d is “1” and −E when it is “0”.

すなわち、乱数発生器1051は、0から1までの実数の乱数を発生する。比較器1053は、この乱数と、あらかじめ設定した0から1の順次大きくなる値をもつm個の数値レジスタ1052と比較し、乱数が数値レジスタ1052よりも大きくなる最初の番号E(0からm)を埋め込み絶対値105dとして出力する。但し、数値レジスタ1よりも小さかったときはE=0として、データを埋め込まないことを示す。   That is, the random number generator 1051 generates a real random number from 0 to 1. The comparator 1053 compares this random number with the m number registers 1052 having sequentially increasing values from 0 to 1, and the first number E (0 to m) at which the random number is larger than the number register 1052. Is embedded and output as an absolute value 105d. However, when it is smaller than the numerical register 1, E = 0 is set, indicating that no data is embedded.

レジスタの数値は、例えば、図3(b)の変化量の中程度の分布関数に対応し、0の分布が、0.790、0以外の±1から±5の分布が各々0.042であり、レジスタ1は0.790、レジスタ2〜5はそれに順次発生分布0.042を加算した数値、レジスタ6以降は1.000となる。なお、各レジスタ1052に図3(a)〜(c)の分布関数に対応した3つの数値を予め設定しておき、いずれかを選択するようにしても良い。   The numerical value of the register corresponds to, for example, the medium distribution function of the change amount in FIG. 3B, the distribution of 0 is 0.790, and the distribution of ± 1 to ± 5 other than 0 is 0.042. Yes, register 1 is 0.790, registers 2-5 are numerical values obtained by sequentially adding the occurrence distribution 0.042, and register 6 and later are 1.000. Note that three numerical values corresponding to the distribution functions shown in FIGS. 3A to 3C may be set in advance in each register 1052, and one of them may be selected.

図3において、(a)は変化量の小さい分布関数、(b)は変化量の中程度の分布関数、(c)は変化量の大きい分布関数をそれぞれ示し、3種類ある。(a)に示す変化量の小さい分布関数は、変化量が−3から+3までと小さいが0以外の分布の割合が大きい。また、(c)に示す変化量の大きい分布関数は、変化量が−12から+12までと大きいが0以外の分布の割合が小さい。さらに、(b)に示す変化量の中程度の分布関数は、その中間であり、これらの画質劣化はS/N=−3dBで等しく、見た目では同等である。   In FIG. 3, (a) shows a distribution function with a small amount of change, (b) shows a distribution function with a medium amount of change, and (c) shows a distribution function with a large amount of change. The distribution function with a small change amount shown in (a) has a small change amount from −3 to +3, but a large proportion of distributions other than 0. The distribution function having a large change amount shown in (c) has a large change amount from −12 to +12, but the distribution ratio other than 0 is small. Further, the medium distribution function of the change amount shown in (b) is intermediate, and these image quality degradations are equal at S / N = -3 dB, and are visually equivalent.

変化量の小さい分布関数(a)は、±2をランダムに加算する弱い攻撃では、大部分のデータが消され、±4をランダムに加算する中程度の攻撃と±6をランダムに加算する強い攻撃で完全に消される。   The distribution function (a) with a small amount of change is a weak attack in which ± 2 is added at random. Most of the data is erased, and a moderate attack in which ± 4 is added randomly and a strong attack in which ± 6 is added randomly. It is completely erased by the attack.

また、変化量の大きい分布関数(c)は、弱い攻撃では大部分のデータが残存し、中程度の攻撃と強い攻撃でも多くのデータが残存し、誤り訂正により埋め込んだ情報が正確に検出できる。   In the distribution function (c) having a large change amount, most of the data remains in a weak attack, and a large amount of data remains in a moderate attack and a strong attack, and information embedded by error correction can be accurately detected. .

以上は、画像の画素の値に直に数値を加算する簡単な電子透かし方式の場合の説明であるが、例えば画像をブロックに区切ってDCTなどを行い、周波数領域の成分に規定の変化を与えたときに画質劣化で定義してもよく、電子透かしの種類などが異なっても同様である。   The above is a description of a simple digital watermarking method in which a numerical value is added directly to a pixel value of an image. For example, DCT is performed by dividing an image into blocks, and a prescribed change is given to frequency domain components. It may be defined by image quality degradation at the time, and the same applies even if the type of digital watermark is different.

この実施の形態1に係る電子透かしシステムは、画像に埋め込む情報の誤り訂正用の冗長ビットを含む多数のデータを埋め込む電子透かしにおいて、データ埋め込み後の各画素の変化量の分布を規定して分散させ、画質劣化の大きい強い攻撃に対してでも変化量が大きい部分のデータが一部残存することで、その残存したデータから誤り訂正により埋め込んだ情報を検出可能としたものである。   In the digital watermark system according to the first embodiment, in a digital watermark in which a large number of data including redundant bits for error correction of information to be embedded in an image is embedded, the distribution of the change amount of each pixel after the data is embedded is defined and distributed. In addition, even when a strong attack with a large image quality deterioration occurs, a part of data with a large change amount remains, so that information embedded by error correction can be detected from the remaining data.

つまり、電子透かしの変化の分布を規定することで、画質を保障することができる。また、分布の分散を大きくすることで、強い攻撃に対してでも誤り訂正符号の一部が残存することで埋め込んだ情報を正確に検出することができる。透かし情報埋め込み後の画質劣化と攻撃耐性を定量的に設定できる。   In other words, image quality can be ensured by defining the distribution of changes in the digital watermark. Further, by increasing the distribution variance, it is possible to accurately detect the embedded information because a part of the error correction code remains even against a strong attack. Image quality degradation and attack resistance after embedding watermark information can be set quantitatively.

実施の形態2.
この発明の実施の形態2に係る電子透かしシステムについて図4を参照しながら説明する。図4は、この発明の実施の形態2に係る電子透かしシステムによる電子透かしのデータ埋め込み後の各画素の変化量の分布を示す図である。なお、この発明の実施の形態2に係る電子透かしシステムの構成は、上記の実施の形態1と同様である。
Embodiment 2. FIG.
A digital watermark system according to Embodiment 2 of the present invention will be described with reference to FIG. FIG. 4 is a diagram showing the distribution of the change amount of each pixel after the digital watermark data is embedded by the digital watermark system according to the second embodiment of the present invention. The configuration of the digital watermark system according to the second embodiment of the present invention is the same as that of the first embodiment.

この実施の形態2では、変化の大きい領域の分布を小さくすることで、変化の最大値を十分大きくしても電子透かしデータの埋め込みの画像の平均的な画質劣化を規定値以内にしたものである。   In the second embodiment, by reducing the distribution of the region having a large change, the average image quality deterioration of the image embedded with the digital watermark data is within the specified value even if the maximum value of the change is sufficiently large. is there.

電子透かし埋め込みのときの画質劣化を規定値以下とするとき、攻撃者が決める攻撃の強さは不明であるため、変化の大きな分布が必要となるが、大きな変化の割合が大きいと画質劣化の規定値を越えてしまう。そこで、図4に示すような分布関数を埋め込み分布関数発生器105の数値レジスタ1052に設定することにより、変化量に従い分布が減少する分布関数により、画像の平均的な画質劣化を規定値以下とする分布により、十分変化の大きな分布が可能となる。   When the image quality degradation during digital watermark embedding is less than the specified value, the strength of the attack determined by the attacker is unknown, so a large distribution of changes is required. The specified value will be exceeded. Therefore, by setting the distribution function as shown in FIG. 4 in the numerical value register 1052 of the embedded distribution function generator 105, the average image quality degradation of the image is reduced to a predetermined value or less by the distribution function in which the distribution decreases according to the amount of change. This distribution allows a sufficiently large distribution.

この実施の形態2に係る電子透かしシステムは、埋め込み強度の分布を変化量の大きさに従って徐々に減少させるように変化させ、変化量の最大値を一定値まで大きくしても、画像の埋め込みの画質劣化を規定値以下に保障したものである。   The digital watermarking system according to the second embodiment changes the embedding strength distribution so as to gradually decrease in accordance with the amount of change, and even if the maximum amount of change is increased to a certain value, This guarantees image quality degradation below a specified value.

つまり、変化の大きい領域の分布を小さくすることで、変化の最大値を十分大きくしても電子透かしデータの埋め込みの画像の平均的な画質劣化を規定値以内にすることができる。強い攻撃に対しても、誤り訂正データが残存して情報を検出できる埋め込みの変化量の分布を得ることができる。   In other words, by reducing the distribution of regions with large changes, even if the maximum value of the change is sufficiently large, the average image quality degradation of the image embedded with the digital watermark data can be kept within a specified value. Even against a strong attack, it is possible to obtain a distribution of the amount of change in embedding in which error correction data remains and information can be detected.

実施の形態3.
この発明の実施の形態3に係る電子透かしシステムについて図5及び図6を参照しながら説明する。図5は、この発明の実施の形態3に係る電子透かしシステムの構成を示すブロック図である。
Embodiment 3 FIG.
A digital watermark system according to Embodiment 3 of the present invention will be described with reference to FIGS. FIG. 5 is a block diagram showing a configuration of a digital watermark system according to Embodiment 3 of the present invention.

図5において、電子透かし埋め込み器100Bは、誤り訂正符号化器101と、埋め込み位置決定器102と、埋め込みパターン生成器103と、加算器104と、埋め込み分布関数発生器105と、画像特徴検出器106とが設けられている。その他の構成は、上記の実施の形態1と同様である。   In FIG. 5, an electronic watermark embedder 100B includes an error correction encoder 101, an embedded position determiner 102, an embedded pattern generator 103, an adder 104, an embedded distribution function generator 105, and an image feature detector. 106. Other configurations are the same as those in the first embodiment.

埋め込み分布関数発生器105の各レジスタ1052は、図6(a)〜(c)の分布関数に対応した3つの数値が予め設定されており、画像の特徴に応じていずれかを選択出力する。   In each register 1052 of the embedded distribution function generator 105, three numerical values corresponding to the distribution functions shown in FIGS. 6A to 6C are set in advance, and one of them is selectively output according to the feature of the image.

つぎに、この実施の形態3に係る電子透かしシステムの動作について図面を参照しながら説明する。   Next, the operation of the digital watermark system according to the third embodiment will be described with reference to the drawings.

図6(a)〜(c)は、この発明の実施の形態3に係る電子透かしシステムによる電子透かしのデータ埋め込み後の各画素の変化量の分布を示す図である。   FIGS. 6A to 6C are diagrams showing distributions of change amounts of respective pixels after embedding digital watermark data by the digital watermark system according to Embodiment 3 of the present invention.

この実施の形態3では、埋め込み量の異なる分布関数をいくつか用意し、画像の変化量が大きい部分など、透かしを強く埋め込んでも目立たない領域に大きな分布関数を割り当てるものである。   In the third embodiment, several distribution functions having different embedding amounts are prepared, and a large distribution function is assigned to a region that is not conspicuous even if the watermark is strongly embedded, such as a portion where the amount of change in the image is large.

画像特徴検出器106は、原画10の画像の変化量が大きい部分など、透かしを強く埋め込んでも目立たない領域を区別し、埋め込み分布関数発生器105でその領域ごとに分布を変更する。   The image feature detector 106 distinguishes a region that is not conspicuous even if the watermark is strongly embedded, such as a portion where the change amount of the image of the original image 10 is large, and the embedded distribution function generator 105 changes the distribution for each region.

図6において、(a)に示す埋め込み量の小さい分布関数は、画質劣化がS/N=−3 dB、(b)に示す埋め込み量の中程度の分布関数は、画質劣化がS/N=−6dB、(c)に示す埋め込み量の大きい分布関数は、画質劣化がS/N=−9dBである。   In FIG. 6, the distribution function with a small embedding amount shown in FIG. 6A has an image quality degradation of S / N = −3 dB, and the distribution function with a medium embedding amount shown in FIG. The distribution function with a large embedding amount shown in −6 dB and (c) has an image quality degradation of S / N = −9 dB.

透かしを埋め込むと目立つ領域には、埋め込み量の小さい分布関数(a)に従い、透かしを強く埋め込んでも目立たない領域には、埋め込み量の大きい分布関数(c)に従い、中程度の領域には、埋め込み量の中程度の分布関数(b)に従ってデータを埋め込む。   The embedding area is emphasized in the distribution function (a) with a small embedding amount in the embedding area. The embedding area is inconspicuous in the distribution function (c) with the embedding amount in the non-conspicuous area. Data is embedded according to the medium quantity distribution function (b).

埋め込み量の大きい分布関数(c)に従った領域を含む画像は、強い攻撃を受けた場合でも残存するデータ量が多く、検出のとき誤り訂正復号により信頼性の高い正確な情報が検出できる。   An image including a region according to the distribution function (c) having a large embedding amount has a large amount of remaining data even when subjected to a strong attack, and at the time of detection, accurate information with high reliability can be detected by error correction decoding.

この実施の形態3に係る電子透かしシステムは、原画10の特徴により、埋め込み位置ごとに埋め込み強度の分散を変化させたものである。   In the digital watermark system according to the third embodiment, the distribution of the embedding strength is changed for each embedding position according to the characteristics of the original image 10.

つまり、埋め込み量の異なる分布関数をいくつか用意し、画像の変化量が大きい部分など、透かしを強く埋め込んでも目立たない領域に大きな分布関数を割り当て、見えにくいところに強く埋め込み、検出の精度を高くすることができる。   In other words, prepare several distribution functions with different embedding amounts, assign large distribution functions to inconspicuous areas even if the watermark is strongly embedded, such as areas where the amount of change in the image is large, and embed it strongly in areas that are difficult to see, increasing detection accuracy can do.

実施の形態4.
この発明の実施の形態4に係る電子透かしシステムについて図7を参照しながら説明する。図7は、この発明の実施の形態4に係る電子透かしシステムの構成を示すブロック図である。
Embodiment 4 FIG.
A digital watermark system according to Embodiment 4 of the present invention will be described with reference to FIG. FIG. 7 is a block diagram showing a configuration of a digital watermark system according to Embodiment 4 of the present invention.

図7において、この発明の実施の形態4に係る電子透かしシステムは、上記の実施の形態1〜3の電子透かし埋め込み器のいずれかである、複数の電子透かし埋め込み器(要素)100Xと、上記の実施の形態1〜3の電子透かし検出器のいずれかである、複数の電子透かし検出器(要素)200Xとが設けられている。   In FIG. 7, a digital watermark system according to Embodiment 4 of the present invention includes a plurality of digital watermark embedders (elements) 100X, which is one of the digital watermark embedders of the above first to third embodiments, A plurality of digital watermark detectors (elements) 200X, which is one of the digital watermark detectors of the first to third embodiments, are provided.

また、1Xは各要素埋め込み情報、3Xは各要素検出情報である。つまり、複数の電子透かし埋め込み器(要素)100Xは、それぞれ、埋め込み分布関数発生器105などを有している。その他の構成は、上記の実施の形態1と同様である。   Further, 1X is each element embedding information, and 3X is each element detection information. That is, each of the plurality of digital watermark embedders (elements) 100X includes the embedded distribution function generator 105 and the like. Other configurations are the same as those in the first embodiment.

つぎに、この実施の形態4に係る電子透かしシステムの動作について図面を参照しながら説明する。   Next, the operation of the digital watermark system according to the fourth embodiment will be described with reference to the drawings.

この実施の形態4では、埋め込みの画質劣化が少ないことを保障し、情報を正確に検出できる攻撃の最大画質劣化を保障する電子透かし要素を縦列に順次並べて埋め込み、攻撃後画像から各電子透かし要素で各埋め込み情報を検出するものである。   In the fourth embodiment, digital watermark elements that guarantee small image quality deterioration of embedding and that can accurately detect information and that guarantee maximum image quality deterioration of an attack are sequentially embedded in a column and embedded. In this case, each embedded information is detected.

電子透かし埋め込み側においては、原画10に対し、各要素埋め込み情報i(1X)(i=1,2,・・・,k)を電子透かし埋め込み器要素i(100X)で順次埋め込んでいき、埋め込み後画像11を得る。   On the digital watermark embedding side, each element embedding information i (1X) (i = 1, 2,..., K) is sequentially embedded in the original image 10 by the digital watermark embedder element i (100X). A rear image 11 is obtained.

攻撃者は、埋め込み後画像11に対し、攻撃器12で攻撃し、攻撃後画像13を得る。   The attacker attacks the post-embedding image 11 with the attacking device 12 to obtain the post-attack image 13.

電子透かし検出側においては、攻撃後画像13から、埋め込み順序に無関係に各々直に電子透かし検出器要素i(200X)により各要素検出情報i(3X)を得る。   On the digital watermark detection side, each element detection information i (3X) is obtained from the post-attack image 13 directly by the digital watermark detector element i (200X) regardless of the embedding order.

電子透かし要素1〜kを1〜kの順で重畳するとき、各要素の埋め込みのときの画質劣化をN1〜Nk、各要素の保障する攻撃の画質劣化をA1〜Ak、重畳後にできた埋め込み後画像11に対する攻撃の画質劣化をAとするとき、
A1>N2+N3+・・・+Nk+A,
A2>N3+N4+・・・+Nk+A,
A3>N4+N5+・・・+Nk+A,
A(k−1)>Nk+A,
Ak>A
を満たすように重畳することで、各要素検出情報i(3X)は正確に検出する要件を満たすため、全て正確に検出できる。
When superimposing digital watermark elements 1 to k in the order of 1 to k, image quality degradation when embedding each element is N1 to Nk, image quality degradation of an attack guaranteed by each element is A1 to Ak, embedding after superimposition When the image quality degradation of the attack on the rear image 11 is A,
A1> N2 + N3 +... + Nk + A,
A2> N3 + N4 +... + Nk + A,
A3> N4 + N5 +... + Nk + A,
A (k−1)> Nk + A,
Ak> A
Since the element detection information i (3X) satisfies the requirement for accurate detection by superimposing so as to satisfy the above, all can be detected accurately.

この実施の形態4に係る電子透かしシステムは、攻撃画質劣化規定値以下の攻撃に対し正しい情報の検出を保障し、その攻撃画質劣化規定値より小さい埋め込み画質劣化規定値以下の画質劣化をもつ複数の電子透かしの要素を順次重畳する電子透かしシステムにおいて、各透かし要素の攻撃の後から重畳する透かしの画質劣化と攻撃の合計よりも大きくなるように重畳することで、各透かし要素の情報を全て正確に検出することを可能にしたものである。   The digital watermark system according to the fourth embodiment guarantees correct information detection against an attack that is equal to or less than the attack image quality degradation prescribed value, and has a plurality of image quality degradations that are less than the embedded image quality degradation prescribed value that is smaller than the attack image degradation prescribed value. In the digital watermark system that sequentially superimposes the digital watermark elements, the information of each watermark element is all overlaid by superimposing it after the attack of each watermark element so as to be larger than the sum of the image quality degradation and the attack of the watermark to be superimposed. This makes it possible to detect accurately.

つまり、埋め込みの画質劣化が少ないことを保障し、情報を正確に検出できる攻撃の最大画質劣化を保障する電子透かし要素を縦列に順次並べて埋め込み、攻撃後画像から各電子透かし要素で各埋め込み情報を検出することができる。複数の電子透かし要素を重畳して各々の電子透かし要素の情報を正確に検出することができる。   In other words, it is guaranteed that there is little image quality degradation of embedding, and watermark elements that guarantee the maximum image quality degradation of attacks that can accurately detect information are embedded in tandem, and each embedded information is embedded in each watermark element from the post-attack image. Can be detected. Information of each digital watermark element can be accurately detected by superimposing a plurality of digital watermark elements.

この発明の実施の形態1に係る電子透かしシステムの構成を示すブロック図である。It is a block diagram which shows the structure of the digital watermark system which concerns on Embodiment 1 of this invention. この発明の実施の形態1に係る電子透かしシステムの埋め込み分布関数発生器の構成を示すブロック図である。It is a block diagram which shows the structure of the embedding distribution function generator of the digital watermark system which concerns on Embodiment 1 of this invention. この発明の実施の形態1に係る電子透かしシステムによる電子透かしのデータ埋め込み後の各画素の変化量の分布を示す図である。It is a figure which shows distribution of the variation | change_quantity of each pixel after the digital watermark data embedding by the digital watermark system which concerns on Embodiment 1 of this invention. この発明の実施の形態2に係る電子透かしシステムによる電子透かしのデータ埋め込み後の各画素の変化量の分布を示す図である。It is a figure which shows distribution of the variation | change_quantity of each pixel after the digital watermark data embedding by the digital watermark system based on Embodiment 2 of this invention. この発明の実施の形態3に係る電子透かしシステムの構成を示すブロック図である。It is a block diagram which shows the structure of the digital watermark system which concerns on Embodiment 3 of this invention. この発明の実施の形態3に係る電子透かしシステムによる電子透かしのデータ埋め込み後の各画素の変化量の分布を示す図である。It is a figure which shows distribution of the variation | change_quantity of each pixel after the digital watermark data embedding by the digital watermark system based on Embodiment 3 of this invention. この発明の実施の形態4に係る電子透かしシステムの構成を示すブロック図である。It is a block diagram which shows the structure of the digital watermark system which concerns on Embodiment 4 of this invention. 従来の電子透かしシステムの構成を示すブロック図である。It is a block diagram which shows the structure of the conventional digital watermark system. 従来の電子透かしシステムによる電子透かしのデータ埋め込み後の各画素の変化量の分布を示す図である。It is a figure which shows distribution of the variation | change_quantity of each pixel after the data embedding of the digital watermark by the conventional digital watermark system.

符号の説明Explanation of symbols

1 埋め込み情報、2 鍵、3 検出情報、10 原画、11 埋め込み後画像、12 攻撃器、13 攻撃後画像、100A、100B 電子透かし埋め込み器、101 誤り訂正符号化器、102 埋め込み位置決定器、103 埋め込みパターン生成器、104 加算器、105 埋め込み分布関数発生器、106 画像特徴検出器、200 電子透かし検出器、201 減算器、202 検出データ生成器、203 誤り訂正復号器、1051 乱数発生器、1052 数値レジスタ、1053 比較器。   1 embedded information, 2 keys, 3 detection information, 10 original image, 11 post-embedding image, 12 attack device, 13 post-attack image, 100A, 100B digital watermark embedding device, 101 error correction encoder, 102 embedding position determination device, 103 Embedded pattern generator, 104 adder, 105 embedded distribution function generator, 106 image feature detector, 200 digital watermark detector, 201 subtractor, 202 detection data generator, 203 error correction decoder, 1051 random number generator, 1052 Numeric register, 1053 comparator.

Claims (4)

第1の画像に透かし情報を埋め込む電子透かし埋め込み器と、
前記電子透かし埋め込み器により透かし情報を埋め込んだ第2の画像から透かし情報を検出する電子透かし検出器とを備えた電子透かしシステムであって、
前記電子透かし埋め込み器は、
前記透かし情報に対し各情報ビットを繰り返して冗長データとする誤り訂正符号化を行って埋め込みデータを得る誤り訂正符号化器と、
鍵に基づき埋め込み位置を決定する埋め込み位置決定器と、
埋め込みデータ毎に変化する埋め込み絶対値を発生する埋め込み分布関数発生器と、
前記埋め込みデータ、前記埋め込み位置及び前記埋め込み絶対値に基づき、埋め込みパターンを生成する埋め込みパターン生成器と、
前記第1の画像に前記埋め込みパターンを加算する加算器とを有する
ことを特徴とする電子透かしシステム。
A digital watermark embedder for embedding watermark information in the first image;
A digital watermark system comprising: a digital watermark detector for detecting watermark information from a second image in which watermark information is embedded by the digital watermark embedder;
The digital watermark embedder is:
An error correction encoder that performs embedded error correction coding by repeating each information bit to redundant data for the watermark information; and
An embedding position determiner that determines an embedding position based on a key;
An embedded distribution function generator that generates an embedded absolute value that changes for each embedded data;
An embedding pattern generator for generating an embedding pattern based on the embedding data, the embedding position and the embedding absolute value;
An electronic watermarking system comprising: an adder that adds the embedded pattern to the first image.
前記埋め込み分布関数発生器は、透かし情報の埋め込み後の各画素の変化量の分布が変化量の大きさに従って徐々に減少するような、埋め込み絶対値を発生する
ことを特徴とする請求項1記載の電子透かしシステム。
2. The embedded distribution function generator generates an embedded absolute value such that a distribution of a change amount of each pixel after embedding watermark information gradually decreases according to the magnitude of the change amount. Digital watermarking system.
前記電子透かし埋め込み器は、
前記第1の画像の変化量に基づき領域を区別する画像特徴検出器をさらに有し、
前記埋め込み分布関数発生器は、前記領域毎に各画素の変化量の分布が異なるような、埋め込み絶対値を発生する
ことを特徴とする請求項1記載の電子透かしシステム。
The digital watermark embedder is:
An image feature detector for distinguishing regions based on the amount of change in the first image;
The digital watermarking system according to claim 1, wherein the embedded distribution function generator generates an embedded absolute value such that a distribution of a change amount of each pixel is different for each region.
透かし情報に対し各情報ビットを繰り返して冗長データとする誤り訂正符号化を行って埋め込みデータを得る誤り訂正符号化器、鍵に基づき埋め込み位置を決定する埋め込み位置決定器、埋め込みデータ毎に変化する埋め込み絶対値を発生する埋め込み分布関数発生器、前記埋め込みデータ、前記埋め込み位置及び前記埋め込み絶対値に基づき、埋め込みパターンを生成する埋め込みパターン生成器、並びに前記第1の画像に前記埋め込みパターンを加算する加算器をそれぞれ有し、各透かし情報の保障する攻撃の画質劣化が、各透かし情報の埋め込みのときの画質劣化と、重畳後にできた埋め込み後画像に対する攻撃の画質劣化との合計よりも大きくなるように、第1の画像に複数の透かし情報を順次重畳してそれぞれ埋め込む複数の電子透かし埋め込み器と、
前記複数の電子透かし埋め込み器により複数の透かし情報を順次重畳して埋め込んだ第2の画像から複数の透かし情報をそれぞれ検出する複数の電子透かし検出器と
を備えたことを特徴とする電子透かしシステム。
An error correction coder that obtains embedded data by performing error correction coding to make each information bit redundant data for watermark information, an embedded position determiner that determines an embedded position based on a key, and changes for each embedded data An embedding distribution function generator for generating an embedding absolute value, an embedding pattern generator for generating an embedding pattern based on the embedding data, the embedding position and the embedding absolute value, and adding the embedding pattern to the first image. The image quality degradation of the attack that each watermark information guarantees with each adder is larger than the sum of the image quality degradation when embedding each watermark information and the image quality degradation of the attack on the post-embedding image formed after superimposition. In this way, a plurality of electronic images that are sequentially superimposed and embedded with a plurality of watermark information on the first image And lyrics embedded device,
A plurality of digital watermark detectors respectively detecting a plurality of watermark information from a second image in which a plurality of watermark information are sequentially superimposed and embedded by the plurality of digital watermark embedders; .
JP2007330013A 2007-12-21 2007-12-21 Digital watermarking system Expired - Fee Related JP4942633B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007330013A JP4942633B2 (en) 2007-12-21 2007-12-21 Digital watermarking system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007330013A JP4942633B2 (en) 2007-12-21 2007-12-21 Digital watermarking system

Publications (2)

Publication Number Publication Date
JP2009152963A true JP2009152963A (en) 2009-07-09
JP4942633B2 JP4942633B2 (en) 2012-05-30

Family

ID=40921546

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007330013A Expired - Fee Related JP4942633B2 (en) 2007-12-21 2007-12-21 Digital watermarking system

Country Status (1)

Country Link
JP (1) JP4942633B2 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000106624A (en) * 1998-07-28 2000-04-11 Canon Inc Data processing unit, method and computer-readable storage medium
JP2003087552A (en) * 2001-09-17 2003-03-20 Sony Corp Device and method for inserting electronic watermark
JP2004104494A (en) * 2002-09-10 2004-04-02 Canon Inc Electronic watermark embedding device and its control method
JP2006025409A (en) * 2004-06-11 2006-01-26 Canon Inc Apparatus and method for image processing

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000106624A (en) * 1998-07-28 2000-04-11 Canon Inc Data processing unit, method and computer-readable storage medium
JP2003087552A (en) * 2001-09-17 2003-03-20 Sony Corp Device and method for inserting electronic watermark
JP2004104494A (en) * 2002-09-10 2004-04-02 Canon Inc Electronic watermark embedding device and its control method
JP2006025409A (en) * 2004-06-11 2006-01-26 Canon Inc Apparatus and method for image processing

Also Published As

Publication number Publication date
JP4942633B2 (en) 2012-05-30

Similar Documents

Publication Publication Date Title
US6512837B1 (en) Watermarks carrying content dependent signal metrics for detecting and characterizing signal alteration
TW401700B (en) Watermarking an information signal
JP5539348B2 (en) Structured multi-pattern watermark generation apparatus and method, watermark embedding apparatus and method using the same, and watermark detection apparatus and method
EP1908007B1 (en) Image watermarking
Zhang et al. A novel image steganography algorithm against statistical analysis
JP2007089078A (en) Apparatus, method and program for determining propriety of encoding
US7970165B2 (en) System and method for watermarking data
US8345569B2 (en) Multiple watermarks for fidelity assessment
JP4942633B2 (en) Digital watermarking system
Tefas et al. Multi-bit image watermarking robust to geometric distortions
JP2007324720A (en) Electronic watermark system
EP2329451B1 (en) Method for constructing inner codes for anti-collusion forensic code for watermarking digital content
Agrawal et al. Data hiding in gray-scale images using pixel value differencing
KR100469999B1 (en) Authentication watermarking method and apparatus of binary still image using hash value of image
Lee et al. Image authentication based on modular embedding
US7796778B2 (en) Digital watermarking system according to background image pixel brightness value and digital watermarking method
CN104867099A (en) DEM Integrity authentication method based on prevention of repeating embedding of double watermarks
KR101051002B1 (en) Asymmetric watermarking system based on subspace
Hernandez-Avalos et al. Analysis of an Adaptive Watermarking Scheme Designed for Video Copyright Protection
JP2007295106A (en) Electronic watermark device
JP5601665B2 (en) Audio digital watermark embedding device, detection device, and program
Hussain et al. Improved bit plane splicing LSB technique for secret data hiding in images using linear congruent method
Puhan et al. Localization and text sequence restoration using noise pixels in binary document image watermarking
Lu et al. Hierarchical watermarking technique of distortion control mechanism
JP2010212975A (en) Tampering detection information generating apparatus, image generating apparatus and tampering detection apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101004

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120116

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120131

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120228

R150 Certificate of patent or registration of utility model

Ref document number: 4942633

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150309

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees