JP2023068677A - Digital watermark embedding and extracting method - Google Patents

Digital watermark embedding and extracting method Download PDF

Info

Publication number
JP2023068677A
JP2023068677A JP2021179878A JP2021179878A JP2023068677A JP 2023068677 A JP2023068677 A JP 2023068677A JP 2021179878 A JP2021179878 A JP 2021179878A JP 2021179878 A JP2021179878 A JP 2021179878A JP 2023068677 A JP2023068677 A JP 2023068677A
Authority
JP
Japan
Prior art keywords
embedded
embedding
watermark
information
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021179878A
Other languages
Japanese (ja)
Inventor
河村尚登
Naoto Kawamura
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kawamura Naoto
Original Assignee
Kawamura Naoto
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kawamura Naoto filed Critical Kawamura Naoto
Priority to JP2021179878A priority Critical patent/JP2023068677A/en
Publication of JP2023068677A publication Critical patent/JP2023068677A/en
Pending legal-status Critical Current

Links

Images

Abstract

To obtain a digital watermark method which has print and scan resistance and correctly extracts watermark information even when it is printed in a curved surface.SOLUTION: Image data is divided into a plurality of blocks, and bit information is multiplexed by using two different kinds of digital watermark embedding techniques for each block, and the bit information is embedded. Extraction of a watermark from the embedded image obtains a high percentage of a correct answer by calculating the embedded bit information and its reliability from each digital watermark method and selecting the highly reliable watermark information.SELECTED DRAWING: Figure 1

Description

本発明は,文書画像に情報を埋め込む電子透かしに関するもので,異なる埋め込み方法で透かし情報を多重化して埋め込むことにより,正確な透かし情報の抽出が可能な電子透かし埋め込みおよび抽出方法に関するものである。 The present invention relates to an electronic watermark for embedding information in a document image, and more particularly to an electronic watermark embedding and extraction method capable of extracting accurate watermark information by multiplexing and embedding watermark information using different embedding methods.

画像内に情報を埋め込む不可視の電子透かし技術は,埋め込まれた情報の利用に様々な応用が考えられる。なかでも,著作権保護用の電子透かし技術は,その最も有用な応用と考えられている。かかる応用においては,画像データ内に著作権情報などを不可視の情報として埋め込み,違法に使用した場合,著作権侵害として訴追することにより著作権を保護するもので有る。この運用においては,違法使用を訴えるためにはネット上の画像データや印刷物の画像データを常に追跡・監視する必要があり,そのため,監視体制を敷く必要がある。また,画像を一部切り取ったり,拡大や縮小をするなどの様々な編集・加工処理やJPEGでの画像圧縮を施したりすると埋め込まれた透かし情報が消散しやすい。このため,監視や追跡は容易ではない。 Invisible digital watermarking technology, which embeds information in an image, has various applications for using the embedded information. Among them, digital watermarking technology for copyright protection is considered to be the most useful application. In such applications, when copyright information is embedded as invisible information in image data and illegally used, the copyright is protected by prosecution for copyright infringement. In this operation, it is necessary to constantly track and monitor image data on the Internet and image data in print in order to sue illegal use, so it is necessary to establish a monitoring system. In addition, the embedded watermark information tends to dissipate when the image is partially cropped, enlarged or reduced, or subjected to various editing and processing processes, as well as image compression using JPEG. This makes it difficult to monitor and track.

一方,情報を埋め込まれた画像をスマートフォンのカメラなどで撮影し,抽出した情報から特定のアプリケーションを起動させたり,ネット上のホームページなどに誘導する電子透かしの応用が進行している。 On the other hand, progress is being made in the application of digital watermarking, in which images embedded with information are photographed with a smartphone camera or the like, and extracted information can be used to launch a specific application or direct users to websites on the Internet.

例えば,商店などで購入者が商品のパッケージに情報を埋め込んだ画像をスマートフォンで読み取ることにより,その商品の価格や賞味期限,生産地等の商品に関する様々な情報を得ることができる。また商店側は,商品についたバーコードの様に売り上げや在庫管理などに利用できる。また,ファーストフード店などで,お客が商品の写真をスマートフォンで読み取って,そのお店のアプリから注文する等の応用が考えられる。 For example, by using a smartphone to read an image in which a purchaser has embedded information in a product package at a store, etc., it is possible to obtain a variety of information about the product, such as the price, expiration date, and place of production of the product. Stores can also use it for sales and inventory management, just like barcodes attached to products. In addition, applications such as customers at fast-food restaurants using smartphones to scan product photos and place orders using the restaurant's app are conceivable.

かかる応用は,画像データに関連するメタ情報などを埋め込むためアノテーション(Annotation)応用と呼ばれる。このアノテーション応用の電子透かしは,運用に際して,著作権保護の電子透かしと要件が多少異なる。 Such applications are called annotation applications because they embed meta information and the like related to image data. This annotation-based digital watermark has slightly different requirements from the digital watermark for copyright protection in operation.

一つは,埋め込まれた画像の品位は,著作権保護の場合は画像自体が商品のため,高品質を保つ必要があるが,アノテーションの場合は,埋め込まれた情報が主で画像は単なる埋め込み媒体であるため,必ずしも高品位で有る必要はない。その代り,埋め込まれた情報が100%正しく読み取れなければならず,高信頼性が必要となることである。特に,カメラで読み取る時に台形歪がはいったり,撮影時の照明ムラ,更には紙の汚れや傷などがあり,これらに対しても正確に情報が抽出することが要請される。 One is that in the case of copyright protection, the quality of the embedded image must be high because the image itself is a product, but in the case of annotations, the embedded information is the main factor, and the image is simply embedded. Since it is a medium, it does not necessarily have to be of high quality. Instead, the embedded information must be read 100% correctly, requiring high reliability. In particular, there are trapezoidal distortions when reading with a camera, uneven illumination during photography, and stains and scratches on paper.

2つ目は,著作権保護の場合は,購入者が鍵により必要に応じて透かしを除去し,原画に戻したり,第二著作権者を追記できる必要があり,このため電子透かしは可逆型である必要がある。一方,アノテーション応用の場合は,その必要がなく,電子透かし技術は必ずしも可逆型である必要はない。 Second, in the case of copyright protection, it is necessary for the purchaser to be able to remove the watermark as necessary using a key, restore the original image, or add the second copyright holder. must be. On the other hand, in the case of annotation application, there is no such need, and digital watermarking technology does not necessarily need to be reversible.

このように,アノテーション応用の電子透かし技術は,著作権保護での運用と比較して技術に課せられる要件が異なり,画像品質よりも透かし情報が高い正答率で読み取れることが必要となり,正答率,信頼性を高めるための様々な方策が要請される。 In this way, digital watermarking technology for annotation applications has different technical requirements compared to copyright protection. Various measures are required to improve reliability.

このアノテーション応用の場合,読み取り物は印刷物で有り,またモニターに表示された画像である。このため,電子透かし技術は印刷・スキャン耐性のあるものでなければならない。また,パッケージに印刷の場合,印刷面が円筒状や球面状となる場合がある。さらに,プラスチック包装紙に印刷された場合,形状に柔軟性があり画像が曲面状となるため,埋め込まれた透かし情報は歪曲される。このような場合でも透かし情報が正確に読み取れることが望ましい。 In the case of this annotation application, the readout is the printed material and the image displayed on the monitor. Therefore, digital watermarking technology must be print- and scan-resistant. Moreover, in the case of printing on a package, the printed surface may be cylindrical or spherical. Furthermore, when printed on plastic wrapping paper, the embedded watermark information is distorted due to the flexibility of the shape and the curved surface of the image. It is desirable that the watermark information can be read accurately even in such cases.

かかる印刷・スキャン耐性を満たす電子透かし法として,グリーンノイズ拡散型の電子透かし法を提案してきた。例えば,特許文献1および2では,画像をブロックに分割し,ブロック毎に埋め込み情報のビット列(0,1)に応じたグリーンノイズパターンを埋め込み,抽出はブロック毎にスペクトルを求め,その形状から埋め込みビット列を得るもので有る。この方法はグリーンノイズパターンの空間周波数の主周波数をプリンタでは応答性が高く,人の視覚的には応答性が低くなるように設定することにより,視覚的に高画質でありながら,埋め込み強度を強くすることができ,印刷・スキャン耐性を得ている。 As an electronic watermarking method that satisfies such printing/scanning resistance, we have proposed a green noise diffusion type electronic watermarking method. For example, in Patent Documents 1 and 2, an image is divided into blocks, and a green noise pattern corresponding to the bit string (0, 1) of the embedded information is embedded in each block. There is one that obtains a bit string. In this method, the dominant frequency of the spatial frequency of the green noise pattern is set so that the responsiveness of the printer is high and the responsiveness of the human eye is low. It can be strengthened, and print/scan resistance is obtained.

しかしながら,プラスチック包装紙の印刷のような歪曲がある場合は,埋め込み情報が正しく得られないという問題がある。つまり,カメラで撮影した2次元画像に幾何学的歪が生じ,同期ずれが起き,かつ,見かけの空間周波数も変化してしまうためである。 However, when there is distortion such as printing on plastic wrapping paper, there is a problem that the embedded information cannot be obtained correctly. This is because the two-dimensional image captured by the camera is geometrically distorted, desynchronized, and the apparent spatial frequency is also changed.

特開2018-182471号公報Japanese Patent Application Laid-Open No. 2018-182471 特願2017-117460号公報Japanese Patent Application No. 2017-117460

かかる問題を解決し,印刷・スキャン耐性があり,曲面状に印刷された場合でも正しく透かし情報が抽出される電子透かし法を得ることが課題である。 It is an object to obtain a digital watermarking method that solves this problem, has print/scan resistance, and can extract watermark information correctly even when printed on a curved surface.

前記課題を解決するため本発明は,デジタル画像データに,ビット列に展開した透かし情報を埋め込む電子透かし法において、画像データを複数のブロックに展開し,ブロック毎に2種類の異なる電子透かし埋め込み手法を用いてビット情報を多重化して埋め込み,埋め込みビット情報の抽出は,埋め込まれた画像をブロックに分割し,第1の電子透かし法ではブロック内の画像データを周波数空間に変換したパターンの分布から,第2の電子透かし法での抽出は実空間(画素空間)での輝度パターンの分布から,埋め込まれたビット情報とその信頼度を算出し,得られた両者の信頼度から透かし情報を決定することを特徴とする。 In order to solve the above-mentioned problems, the present invention provides an electronic watermarking method for embedding watermark information expanded into bit strings into digital image data. The embedded bit information is extracted by dividing the embedded image into blocks. Extraction by the second digital watermarking method calculates the embedded bit information and its reliability from the distribution of the luminance pattern in the real space (pixel space), and determines the watermark information from the obtained reliability of both. It is characterized by

この方法によれば,異なる2種類の埋め込み方法で埋め込む時,第1の電子透かし法での透かし情報の抽出は周波数空間に変換したスペクトルパターンの分布から,第2の電子透かし法での透かし情報の抽出は実空間(画素空間)での輝度パターンの分布から,それぞれ演算処理して実行される。第2の電子透かしでの埋め込みは低周波パターンであるため第1の電子透かし法によるスペクトル分布への影響はほとんどない。また第1の電子透かし埋め込みは,空間平均した埋め込みデータ値は0であるため,第2の電子透かし埋め込みには影響し無い。すなわち,それぞれの方法が互いに影響を及ぼさないようにできる。また,2つのものから信頼度の高い方を選ぶことにより埋め込み情報の正答率を高めることができる。 According to this method, when embedding by two different embedding methods, the extraction of watermark information by the first digital watermark method is performed by extracting the watermark information by the second digital watermark method from the distribution of the spectrum pattern converted into the frequency space. is extracted from the distribution of the luminance pattern in the real space (pixel space) by arithmetic processing. Since the second digital watermark embeds a low-frequency pattern, the first digital watermark method has almost no effect on the spectral distribution. In addition, the first digital watermark embedding does not affect the second digital watermark embedding because the spatially averaged embedding data value is zero. That is, each method can be prevented from affecting each other. Also, by selecting the one with the higher reliability from the two, it is possible to increase the correct answer rate of the embedded information.

また,前記2種類の異なる電子透かし方法のうち,第1の電子透かし法は,そのスペクトルが低周波域および高周波域で低減したグリーンノイズ特性を示す複数のドットパターンから埋め込みビット情報に応じて1つを選択してブロック毎に埋め込み,抽出はブロック毎に画像のスペクトル分布パターンを求め,そのパターンからビット情報および信頼度を算出するものであり,第2の電子透かし法は,ブロック内の複数画素からなる部分領域にビット情報に応じて画素データに一定値を加算あるいは減算して埋め込み,抽出はかかる埋め込まれた部分領域内の画素の平均データと領域外の平均データからビット情報及び信頼度を算出するものであり,それぞれの信頼度を比較し,信頼度の高い方のビット情報を選択することを特徴とする。 In addition, among the two different electronic watermarking methods, the first electronic watermarking method uses a plurality of dot patterns that exhibit green noise characteristics whose spectrum is reduced in the low and high frequency regions, and one dot pattern corresponding to the embedded bit information. One is selected and embedded in each block, and the extraction obtains the spectral distribution pattern of the image for each block, and calculates the bit information and reliability from the pattern. Pixel data is embedded by adding or subtracting a constant value according to the bit information in a partial area consisting of pixels, and extraction is performed by extracting bit information and reliability from the average data of pixels in the embedded partial area and the average data outside the area. is calculated, and the reliability is compared, and the bit information with the higher reliability is selected.

この方法によれば,第1の電子透かし法では,埋め込みドットパターンは高画質と高耐性を維持し,埋め込み強度を強くすることができ,印刷・スキャン耐性のある電子透かしが可能であり,第2の電子透かし法では検出パターンの位置ずれや歪曲に耐性のある電子透かしが可能である。したがって,これらを組み合わせて互いに補完して用いることで曲面状の印刷画像からの抽出が可能となる。また,両者の信頼度は,それぞれ異なる手法及び演算処理で抽出されるため,一概に比較はできないため,それぞれ規格化した後,信頼度の大きい方をビット情報を選択することにより正答率の高い電子透かし法が実現できる。 According to this method, in the first digital watermarking method, the embedded dot pattern can maintain high image quality and high durability, the embedding strength can be increased, and an electronic watermark with printing and scanning resistance is possible. The electronic watermarking method 2 enables electronic watermarking that is resistant to displacement and distortion of the detected pattern. Therefore, it is possible to extract from a curved printed image by combining these and complementing each other. In addition, since the reliability of both is extracted by different methods and arithmetic processing, it cannot be compared unconditionally. A digital watermarking method can be realized.

次に,前記電子透かし方法において,透かし情報を埋め込む前に,埋め込み画像の平滑化操作を行い,第1の電子透かし方法での埋め込みは,かかる平滑化された画像の輝度情報に埋め込み,第2の電子透かしの埋め込みは,平滑化された画像のブルー(青)データに埋め込むことを特徴とする。 Next, in the electronic watermarking method, before embedding watermark information, a smoothing operation is performed on the embedded image. The digital watermark embedding of is characterized by embedding in the blue data of the smoothed image.

この方法によれば,透かし情報の抽出正答率を,画像によらず高めることが可能となる。第一の電子透かし法はドットパターンのフーリエ変換でスペクトルが求まるが,画像のスペクトルパターンと重なるため,高周波成分が大きい画像の場合,判定エラーが生じやすい。このため事前に画像全体に平滑化操作を行うことにより,画像の高周波成分は低周波側へシフトし,画像によらずこの問題から回避される。また,第1の電子透かし法では画像の輝度データに埋め込んでも,グリーンノイズパターンが,視認され難いため画質低下にはならない。一方,第2の電子透かし法では,比較的大きな領域に埋め込むために,輝度情報に埋め込んだ場合,埋め込みパターンが視認されるため,青(B)信号に埋め込むことにより視認され難く,高画質性能を維持することが可能である。 According to this method, it is possible to increase the rate of correct answers for extracting watermark information regardless of the image. In the first digital watermarking method, the spectrum is obtained by Fourier transform of the dot pattern, but since it overlaps with the spectrum pattern of the image, judgment errors are likely to occur in the case of images with large high-frequency components. Therefore, by performing a smoothing operation on the entire image in advance, the high-frequency components of the image are shifted to the low-frequency side, and this problem can be avoided regardless of the image. Further, in the first electronic watermarking method, even if embedded in the luminance data of the image, the green noise pattern is difficult to be visually recognized, so that the image quality does not deteriorate. On the other hand, in the second digital watermarking method, since the embedded pattern is visible when embedded in luminance information, it is difficult to be seen when embedded in a blue (B) signal because it is embedded in a relatively large area. can be maintained.

更に,前記2種類の異なる電子透かし法において,埋め込みはそれぞれ異なるブロックにて行い,各ブロックにおいて透かしビット情報を埋め込む際,埋め込んだ直後に埋め込み情報から透かしビットと信頼度を算出し,信頼度が所定の閾値よりも低い場合は,閾値に達するまで埋め込み強度を大きくすることを繰り返すことを特徴とする。 Furthermore, in the two different types of digital watermarking methods, embedding is performed in different blocks, and when embedding watermark bit information in each block, watermark bits and reliability are calculated from the embedding information immediately after embedding. If it is lower than a predetermined threshold, the embedding strength is repeatedly increased until the threshold is reached.

第1の電子透かし法では,画像の高周波成分が大きいところでは抽出時の信頼度が低下し,判定エラーが生じやすい。また,第2の電子透かし法では,ブロック内の輝度変化が大きい箇所や画像のエッジ部分などで判定エラーが生じやすい。通常,両者は画像の同じ場所で発生することが多いため,それぞれの電子透かしの埋め込むブロックを異なるようにすれば,正答率と信頼度を向上させることができる。また,ブロックでの埋め込み直後に信頼度を算出し,信頼度が低い場合は所定の信頼度になるように埋め込み強度を強くすることにより,透かしの抽出における正答率を更に上げることが可能となる。 In the first digital watermarking method, the reliability at the time of extraction is lowered where the high-frequency component of the image is large, and judgment errors are likely to occur. In addition, in the second digital watermarking method, determination errors are likely to occur in locations where there is a large change in luminance within a block, edge portions of an image, and the like. Usually, both occur at the same place in the image, so if the blocks embedded with the respective digital watermarks are different, the correct answer rate and reliability can be improved. In addition, the reliability is calculated immediately after embedding in the block, and if the reliability is low, the embedding strength is increased so that the reliability is set to a predetermined level, making it possible to further increase the correct answer rate in watermark extraction. .

以上,かかる2つの異なる電子透かし方法を用い,様々な方策をとることにより,高画質を維持しつつ,印刷・スキャン耐性を有し,抽出データの正答率を向上させ信頼度の高い透かし情報を得ることができる。そして,曲面状に歪曲された画像からも透かし情報の抽出が可能となる。 As described above, by using these two different digital watermarking methods and taking various measures, it is possible to maintain high image quality, have printing and scanning resistance, improve the correct answer rate of extracted data, and obtain highly reliable watermark information. Obtainable. It is also possible to extract watermark information from an image that has been distorted into a curved surface.

本発明の電子透かしの運用形態の図FIG. 2 is a diagram of the operation form of digital watermarking according to the present invention; 本発明の電子透かし埋め込みシステムの図Diagram of the digital watermark embedding system of the present invention 第1の電子透かし法の埋め込みパターンとそのスペクトル特性を表す図A diagram showing the embedding pattern of the first digital watermarking method and its spectral characteristics. 第2の電子透かし法における埋め込みでの部分領域を表す図A diagram showing a sub-region for embedding in the second digital watermarking method 本発明の電子透かし方法における透かしの埋め込みのフローを表す図A diagram showing the flow of watermark embedding in the digital watermarking method of the present invention. 本発明の電子透かし方法における透かしの抽出のフローを表す図A diagram showing the flow of watermark extraction in the digital watermarking method of the present invention. 第2の電子透かし法における抽出時の部分領域を表す図A diagram showing a partial region at the time of extraction in the second digital watermarking method 本発明の電子透かし法の透かし情報の埋め込まれた画像を表す図A diagram showing an image embedded with watermark information according to the digital watermarking method of the present invention.

図2は本発明の電子透かし埋め込み画像作成ための電子透かしシステムの構成図である。制作者のパーソナルコンピュータ(PC)1には、埋め込まれる画像データが、例えばハードディスクなどのデータメモリ2に保管されている。画像データは、プログラムメモリにある画像処理プログラムにより、CPUや,ROM,RAMなどを用いて画像処理され、モニター3に埋め込まれた画像が表示される。PC1にはプリンタ4が接続され、埋め込まれた画像はプリンタから印刷物5が出力される。また,ネットを介して埋め込まれた画像を送信し,外部ディスプレイ7に表示することもできる。 FIG. 2 is a configuration diagram of an electronic watermark system for creating an electronic watermark embedded image according to the present invention. In a personal computer (PC) 1 of a creator, image data to be embedded is stored in a data memory 2 such as a hard disk. The image data is image-processed by the image processing program in the program memory using the CPU, ROM, RAM, etc., and the embedded image is displayed on the monitor 3 . A printer 4 is connected to the PC 1, and the embedded image is output as a printed matter 5 from the printer. Also, the embedded image can be transmitted via the network and displayed on the external display 7 .

画像に情報を埋め込むためには、キーボードから文字情報を入れる。埋め込み可能な文字数は画像サイズおよびブロックサイズにより異なる。512画素×512画素でブロックサイズ32×32の時、ブロック毎に1ビット埋め込むこととして最大32バイト、ブロックサイズ16×16の時、最大128バイト可能である。これはASCIIコードに限れば,それぞれ32文字,128文字である。 In order to embed information in the image, character information is entered from the keyboard. The number of characters that can be embedded varies depending on the image size and block size. When the block size is 32.times.32 with 512 pixels.times.512 pixels, a maximum of 32 bytes can be embedded in each block, and when the block size is 16.times.16, a maximum of 128 bytes is possible. As far as the ASCII code is concerned, these are 32 characters and 128 characters, respectively.

情報の正確性を高め信頼度を向上するために,誤り訂正符号を導入する。紙面の傷や汚れ,照明ムラ,ディスプレイ画像では環境光や外光による反射等による抽出エラーを排除するためである。ここでは,リードソロモン符号によるRS(16,6)を用いる。これは,16ワード中,6ワードの検査符号を挿入し(したがって情報符号は10ワードに減少する),3ワードの誤りを訂正することが可能である。符号化されたビット情報は、画像の中に埋め込まれる。 In order to improve the accuracy and reliability of information, error correction codes are introduced. This is to eliminate extraction errors due to flaws and stains on the paper surface, uneven lighting, reflection of ambient light and external light in the display image, and the like. Here, RS (16, 6) by Reed-Solomon code is used. It inserts 6 words of check code out of 16 words (thus reducing the information code to 10 words) and is able to correct 3 words of error. The encoded bit information is embedded within the image.

図1は、アノテーション用の運用形態を示したものである。誤り訂正符号を含む透かし情報8を埋め込まれた画像9は、印刷5あるいはディスプレイ7に出力/表示される。ユーザはそれをスマートフォンなどのカメラ10で撮影し,スマートフォンに組み込まれている透かし抽出用のソフトウェアで透かし情報を抽出する。その結果,ネット上のホームページ12にリンクしたり特定のアプリケーション13が起動したりする。この透かし抽出ソフトウェアは、例えば,配信者のホームページなどから自由にダウンロードできる。 FIG. 1 shows an operational mode for annotation. An image 9 embedded with watermark information 8 including an error correction code is output/displayed on a print 5 or a display 7 . The user takes a picture of it with a camera 10 such as a smart phone, and extracts watermark information using watermark extraction software incorporated in the smart phone. As a result, a link to a home page 12 on the net or a specific application 13 is activated. This watermark extraction software can be freely downloaded from, for example, the distributor's home page.

以下,本発明の実施例に基づいて説明する。
第1の電子透かし方法に用いるグリーンノイズパターンは,以下のStepで生成する。
Step1: まず,初期値としてR×Rの領域にR^2/2個のランダムドットを配置しp(x,y)とする。初期値はホワイトノイズ特性を示す。
Step2: 次に,ドットパターンの二次元フーリエ変換を行い,P(fx,fy)を得る。
Step3: P(fx,fy)に対して,周波数fx,fyが,
fx,min≦fx≦fx,max
fy,min≦fy≦fy,max
の帯域に制限するフィルタD(fx,fy)を乗じて新たなスペクトル特性P'(fx,fy)を得る。
Step4: P'(fx,fy)に逆フーリエ変換を行い,多値のドットパターンp'(x,y)を得る。
Step5: 誤差関数: e(x,y)=p'(x,y)-p(x,y)
を求め,誤差の大きい順に白,黒反転する。
Step2~5を繰り返し行い,誤差関数が一定の値以下になった時に終了し最終的なパターンを得る。
Examples of the present invention will be described below.
The green noise pattern used in the first electronic watermarking method is generated in the following steps.
Step1: First, as an initial value, R^2/2 random dots are placed in an R×R area and p(x,y). The initial value indicates white noise characteristics.
Step2: Next, we perform the two-dimensional Fourier transform of the dot pattern to obtain P(fx,fy).
Step3: For P(fx,fy), the frequencies fx,fy are
fx,min≤fx≤fx,max
fy,min≤fy≤fy,max
is multiplied by a filter D(fx,fy) that limits the band to obtain a new spectral characteristic P'(fx,fy).
Step4: Perform inverse Fourier transform on P'(fx,fy) to obtain multivalued dot pattern p'(x,y).
Step5: Error function: e(x,y)=p'(x,y)-p(x,y)
are obtained, and white and black are reversed in order of large error.
Steps 2 to 5 are repeated, and when the error function becomes below a certain value, the process ends and the final pattern is obtained.

かかる方法で得られたドットパターンは,最大周波数fmaxおよび最小周波数fminを調整することにより,人の目には視認され難く,プリンタやスキャナーやカメラなどでは十分な応答特性,すなわち,十分な解像度を得ることができ,透かし情報の抽出が可能である。電子透かし用の埋め込みパターンとするためには,埋め込みビット“0”および”1”に対応させる必要があるため,2種類の異方性パターンを作成する。図3に32画素×32画素のドットパターンおよびそのスペクトルを示す。2種類のパターンpi(x,y) (i=0,1)はスペクトルが楕円形状で,それぞれ90°回転したものである。 By adjusting the maximum frequency fmax and minimum frequency fmin, the dot pattern obtained by such a method is difficult to be visually recognized by the human eye, and has sufficient response characteristics for printers, scanners, cameras, etc., that is, sufficient resolution. It is possible to obtain the watermark information and extract the watermark information. Two types of anisotropic patterns are created because it is necessary to correspond to embedded bits "0" and "1" in order to create an embedding pattern for digital watermarking. FIG. 3 shows a dot pattern of 32×32 pixels and its spectrum. The two types of patterns pi(x,y) (i=0,1) have elliptical spectra, each of which is rotated by 90°.

ここで,Step1において,初期値の乱数を異なるものにすることにより,得られるドットパターンは異なる。すなわち,疑似乱数発生器で乱数発生のSEED(種)値を変えることによりドットパターンを変えることが可能となる。しかし,スペクトル形状は変化しない。このため,抽出用のソフトウェアは変更なしで共通に使える。 Here, in Step 1, by using different random numbers for the initial values, different dot patterns are obtained. In other words, the dot pattern can be changed by changing the SEED value for random number generation in the pseudo-random number generator. However, the spectral shape does not change. Therefore, the extraction software can be used in common without modification.

これは,第三者がデータを改変したり捏造することを防御する。二次元パターンなどの可視型のパターンは,容易に改変や捏造が可能であるが,グリーンノイズパターンは複雑で,かつ,埋め込み画像毎にSEED値を変更することによりパターンを変化出来るため,除去や改変が困難となりセキュリティが向上する。 This protects third parties from modifying or falsifying the data. Visible patterns such as two-dimensional patterns can be easily modified or forged, but green noise patterns are complicated and can be changed by changing the SEED value for each embedded image. Modification is difficult and security is improved.

次に,2種類の電子透かし法の各々について説明する。まず,第1の電子透かし方法の透かしデータの埋め込みについて説明する。
透かし情報の埋め込みは,カラー画像データを輝度と色差信号となるY,Cb,Crに変換し,輝度Yに透かし情報を埋め込む。これは,印刷時にも印刷データからの抽出を容易にするためである。色情報に埋め込んだ場合,赤緑青(RGB)の色チャンネルからなる画像データは,印刷では減法混色系のシアン・マゼンタ・イエロー・黒(CMYK)の色材に変換されるが,各色材の分光特性はオーバラップし,互いにクロストークがあるため,色分離精度が悪くなるためである。
Next, each of the two types of digital watermarking methods will be described. First, embedding of watermark data in the first electronic watermarking method will be described.
In embedding watermark information, color image data is converted into Y, Cb, and Cr, which are luminance and color difference signals, and watermark information is embedded in luminance Y. This is to facilitate extraction from print data during printing. When embedded in color information, image data consisting of red, green, and blue (RGB) color channels is converted into subtractive cyan, magenta, yellow, and black (CMYK) colorants in printing. This is because the characteristics overlap and crosstalk occurs with each other, resulting in poor color separation accuracy.

透かし情報の埋め込みは、デジタル画像データi(x,y)をR画素×R画素 のブロックに分割し、それぞれのブロックに対してグリーンノイズパターンの埋め込みを透かしビット情報(0あるいは1)に対応して埋め込むものとする。今,グリーンノイズ特性を示すドットパターンをpi(x,y) (i=0,1,2)とすると,透かし埋め込み画像w(x,y)は,
w(x,y)=i(x,y) + g ・ pi(x,y)
となる。ここで、gは埋め込み強度である。pi(x,y)は,埋め込まれた画像の局所的平均濃度を不変にするため±1/2 の値をとるものとする。
For embedding watermark information, digital image data i(x,y) is divided into R pixel × R pixel blocks, and a green noise pattern is embedded in each block corresponding to watermark bit information (0 or 1). shall be embedded. Let pi(x,y) (i=0,1,2) be the dot pattern showing the green noise characteristics, then the watermark embedded image w(x,y) is
w(x,y)=i(x,y) + g・pi(x,y)
becomes. where g is the embedding strength. pi(x,y) shall take values ±1/2 to keep the local mean density of the embedded image unchanged.

次に,透かし情報の抽出について説明する。カメラやスキャナーで読み取った画像は,大きさ,傾き,台形ひずみ等を補正後,ブロック単位でFFT(高速フーリエ変換)によりスペクトル変換される。変換されたスペクトルパターンW(x,y)は,埋め込み時に使用したパターンp0およびp1に応じて、図3に示される楕円リング形状のスペクトルパターンとなる。この楕円リングの形状をパターン認識することにより埋め込みビットを判定する。 Next, extraction of watermark information will be described. Images read by a camera or scanner are corrected for size, tilt, trapezoidal distortion, etc., and then spectrally transformed by FFT (Fast Fourier Transform) in block units. The converted spectral pattern W(x,y) becomes an elliptical ring-shaped spectral pattern shown in FIG. 3 according to the patterns p0 and p1 used at the time of embedding. The embedded bits are determined by pattern recognition of the shape of this elliptical ring.

この楕円リングの形状をした2つのマスクD0およびD1により,マスク内の累積輝度値Q0およびQ1を以下の様に求める。
Q0=(1/Z0)ΣD0(x,y)・W(x,y)
Q1=(1/Z1)ΣD1(x,y)・W(x,y) (1)
ただし,Zi=ΣDi(x,y) (i=0,1) である。
上式から,埋め込まれたビットは,実験的に求めた閾値Thにより,
Q0-Q1>Th の時 ビット=0
Q1-Q0>Th の時 ビット=1 (2)
それ以外の時 ビットは不定
を得る。また,信頼度 Rel1は,
Rel1 = |Q0-Q1| (3)
とする。
Using these two elliptical ring-shaped masks D0 and D1, the cumulative luminance values Q0 and Q1 in the mask are obtained as follows.
Q0=(1/Z0)ΣD0(x,y)・W(x,y)
Q1=(1/Z1)ΣD1(x,y)・W(x,y) (1)
However, Zi = ΣDi(x, y) (i = 0, 1).
From the above equation, the embedded bit is determined by the experimentally determined threshold value Th.
Bit = 0 when Q0-Q1>Th
When Q1-Q0>Th Bit = 1 (2)
Otherwise the bit gets undefined. Also, the reliability Rel1 is
Rel1 = |Q0-Q1| (3)
and

次に第2の電子透かし方法の埋め込みについて説明する。図4はブロック(14)内の部分領域S(16)を示したもので,S領域に含まれる画素に埋め込むものとする。透かしビット情報0,1に対応して一定の値σを画像データに加算あるいは減算する。すなわち,以下の方法で埋め込む。
埋め込みビット0の時,領域Sの画像データにσを加算。 w(x,y)=i(x,y)+σ
埋め込みビット1の時,領域Sの画像データにσを減算。 w(x,y)=i(x,y)-σ (4)
ブロック内のS以外の領域をTとすると,領域T(15)に対しては何もしない。
Next, the embedding of the second electronic watermarking method will be described. FIG. 4 shows the partial area S(16) in the block (14), which is embedded in the pixels included in the S area. A constant value .sigma. is added to or subtracted from the image data corresponding to watermark bit information 0 or 1. FIG. That is, embed by the following method.
When the embedded bit is 0, σ is added to the image data of area S. w(x,y)=i(x,y)+σ
When the embedded bit is 1, σ is subtracted from the image data of area S. w(x,y)=i(x,y)-σ (4)
If the area other than S in the block is T, then nothing is done for area T(15).

埋め込みに用いる画像データは青(B)チャンネルの画像データを用いる。これは,ディスプレイで表示した場合は,人の視覚特性から識別し難く,また,印刷時はイエローの色材で印刷されるため同様に識別し難いためである。部分領域S(16)は,例えば,ブロックサイズを32画素×32画素としたとき,16画素×16画素~20画素×20画素の様に大きな領域であるため,その空間周波数は直流(DC)成分に近い低周波数となり,第1の電子透かし法でのスペクトル分布と大きく異なり,互いの干渉は殆ど生じないため,第1の電子透かし法の抽出精度に影響を与えない。 The image data used for embedding is blue (B) channel image data. This is because when it is displayed on a display, it is difficult to distinguish from the human visual characteristics, and when it is printed, it is printed with a yellow color material, so it is similarly difficult to distinguish. For example, when the block size is 32 pixels × 32 pixels, the partial region S (16) is a large region such as 16 pixels × 16 pixels to 20 pixels × 20 pixels, so its spatial frequency is direct current (DC) It has a low frequency close to that of the component, is significantly different from the spectrum distribution in the first electronic watermarking method, and hardly interferes with each other, so it does not affect the extraction accuracy of the first electronic watermarking method.

透かしの抽出は,埋め込み画像をR画素×R画素のブロックに分割し,ブロック内の部分領域S内の画像データの加算値A,およびS外の領域Tの画像データの加算値Bを以下式で求める。
A=(1/Ns)Σs w(x,y)
B=(1/Nt)Σt w(x,y) (5)
ここでNs およびNt は,それぞれ部分領域SおよびT内の画素数で,Σs ,Σt は部分領域SおよびTでの加算である。
ビット判定は
A-B>0 の時 ビット=0
A-B<0の時 ビット=1 (6)
となる。また信頼度Rel2は
Rel2=|A-B| (7)
とする。
For watermark extraction, the embedded image is divided into blocks of R pixels × R pixels, and the added value A of the image data in the partial area S in the block and the added value B of the image data in the area T outside S are calculated by the following formula. Ask for
A=(1/Ns)Σsw(x,y)
B=(1/Nt)Σtw(x,y) (5)
where Ns and Nt are the number of pixels in the partial areas S and T respectively, and Σs and Σt are the additions in the partial areas S and T.
Bit judgment is
Bit = 0 when AB>0
When AB<0 Bit = 1 (6)
becomes. Reliability Rel2 is
Rel2=|AB| (7)
and

以上,それぞれの電子透かし法について説明したが,続いて,本発明の2種類の電子透かし法を組み合わせた方法について説明する。
図5に,本発明の電子透かし法の透かしの埋め込みのフローを示す。まず,前処理(20)として,埋め込み文字列をビット情報に展開し,リードソロモン符号による訂正符号を付加する。誤り訂正符号を用いることで,埋め込み情報量は減少するため,あらかじめ埋め込むビット情報を考慮しておく必要がある。
前処理として,埋め込まれる画像自体に僅かな平滑化を行う。これは,第1の電子透かし法でのグリーンノイズパターンと画像とのスペクトル干渉を低減させるためである。僅かな,例えば2画素幅の平滑フィルタを掛けると,画像のナイキスト周波数は1/2になり,グリーンノイズパターンのスペクトルとの重なりは殆ど無くなる。このようにすることにより,画像依存性がなくなり,どのような画像でも安定して埋め込み及び抽出が可能となる。デジタルカメラなどの光学系に用いられるローパスフィルタと同様の効果がある。
Each of the digital watermarking methods has been described above. Subsequently, a method combining the two types of digital watermarking methods of the present invention will be described.
FIG. 5 shows the flow of watermark embedding in the digital watermarking method of the present invention. First, as preprocessing (20), the embedded character string is developed into bit information, and a correction code is added using Reed-Solomon code. Since the amount of embedded information is reduced by using the error correction code, it is necessary to consider the bit information to be embedded in advance.
As a pre-processing, the embedded image itself is slightly smoothed. This is to reduce the spectral interference between the green noise pattern and the image in the first digital watermarking method. Applying a small smoothing filter, say 2 pixels wide, reduces the Nyquist frequency of the image by a factor of 2 and almost eliminates the overlap with the spectrum of the green noise pattern. By doing so, image dependence is eliminated, and any image can be stably embedded and extracted. It has the same effect as a low-pass filter used in optical systems such as digital cameras.

これらの前処理後,画像データをブロックに分割する(21)。例えば,512画素×512画素の画像を32画素×32画素のブロックで分割した場合,総ブロック数は256個となる。各ブロックはラスター順にブロック番号を振り,埋め込みは各ブロックに順次行う。 After these preprocessing, the image data is divided into blocks (21). For example, when an image of 512×512 pixels is divided into blocks of 32×32 pixels, the total number of blocks is 256. Block numbers are assigned to each block in raster order, and embedding is performed sequentially for each block.

まず,第1の埋め込み(23)を埋め込みの強度g(g<<1)で,1ブロック行う。次に,埋め込んだばかりの1ブロックの画像データを高速フーリエ変換(FFT)を行い(24),ビット情報と信頼度を求める(25)。一様で平坦な画像で有れば埋め込んだビット値と高い信頼度が戻ってくるが,高周波成分が強い画像で有れば間違った値と,低い信頼度が戻ることがある。この場合は,正しい埋め込み値と,あらかじめ定めた一定の信頼値T1以上となるように埋め込み強度をΔg大きくして(27),再度埋め込みを試みる。かかる操作を繰り返し,T1以上になった段階で終了する(26)。 First, the first embedding (23) is performed for one block with an embedding strength g (g<<1). Next, fast Fourier transform (FFT) is performed on the image data of one block just embedded (24), and bit information and reliability are obtained (25). If the image is uniform and flat, the embedded bit values and high reliability are returned, but if the image has strong high-frequency components, incorrect values and low reliability may be returned. In this case, the embedding strength is increased by Δg (27) so that the embedding value is equal to or greater than the predetermined constant confidence value T1, and the embedding is attempted again. This operation is repeated, and when it reaches T1 or more, it ends (26).

次に,k番目ずれたn+k番目のブロックにおいて,第2の電子透かし法による埋め込みを行う。これは,後述の埋め込み位置を変えることによって,抽出データの正答率を向上させるためである。
第2の電子透かし法での埋め込みは,ブロック内の部分領域Sに対して,埋め込みの強度をσとして式(4)に沿って,
埋め込みビット0の時 領域Sの画像データにσを加算
埋め込みビット1の時 領域Sの画像データにσを減算
なる演算処理を行う(29)。次に,埋め込み直後の画像データから,埋め込みビットと信頼度を抽出する(30)。一様で平坦な画像で有れば埋め込んだビット値と高い信頼度が戻ってくるが,画像のエッジなどが存在する場合は,間違った値と低い信頼度となる。信頼度をあらかじめ定めた閾値T2と比較して(31),T2以下の場合は埋め込み強度をΔσだけ大きくして(32),再度埋め込みを試みる。かかる操作を信頼度がT2以上になるまで繰り返す。
Next, embedding by the second digital watermarking method is performed in the (n+k)th block shifted by the kth. This is to improve the correct answer rate of the extracted data by changing the embedding position, which will be described later.
Embedding in the second digital watermarking method is performed according to equation (4) with the embedding strength σ for the partial area S in the block.
When the embedded bit is 0: σ is added to the image data of the area S. When the embedded bit is 1: σ is subtracted from the image data of the area S (29). Next, the embedded bit and reliability are extracted from the image data immediately after the embedding (30). If the image is uniform and flat, the embedded bit value and high reliability are returned, but if there are edges in the image, etc., an incorrect value and low reliability are returned. The reliability is compared with a predetermined threshold value T2 (31), and if it is equal to or less than T2, the embedding strength is increased by Δσ (32), and the embedding is tried again. This operation is repeated until the reliability reaches T2 or higher.

1ブロックが終了すると,次のブロック(n+1番目のブロック)に移り(34)同様の埋め込み操作を行う。第2の電子透かしでは,n+k mod N 番目のブロックとなる(ただし,Nは総ブロック数,mod はNを法とする剰余を表す。またkは任意の整数であらかじめ定めておく)。2種類の電子透かし法による埋め込み順は,どちらを先にやっても良い。画素への埋め込みは全て線形であるため,埋め込み順が変わっても結果は同じであるからである。
全ブロックが終了したか否かを判断し(33),終了した時点で埋め込みを終える。
When one block ends, the next block (n+1th block) is moved to (34) and the same embedding operation is performed. In the second digital watermark, it is the n+k mod N-th block (where N is the total number of blocks, mod is the remainder modulo N, and k is an arbitrary integer that is predetermined). Either of the two types of digital watermarking can be embedded first. This is because the embedding into pixels is all linear, so even if the order of embedding changes, the result is the same.
A judgment is made as to whether or not all blocks have been completed (33), and the embedding is completed when completed.

図6は,透かしの抽出のフローを示したものである。まず,埋め込まれた画像はカメラなどで撮影されるため,台形ひずみなどが生じるため,画像補正(39)を行う。この補正は,画像の4隅を検出し,射影変換にて台形ひずみを補正し,所定の画像サイズにする。
続いて,画像データをブロックに分割し(40),最初のブロックから抽出の処理を行う(41)。
FIG. 6 shows the flow of watermark extraction. First, since the embedded image is photographed by a camera or the like, trapezoidal distortion occurs, so image correction (39) is performed. This correction detects the four corners of the image, corrects the trapezoidal distortion by projective transformation, and makes it a predetermined image size.
Subsequently, the image data is divided into blocks (40), and extraction processing is performed from the first block (41).

まず,第1の電子透かし法での抽出を行う。ブロック内の画像データはFFTによりスペクトルパターンに変換される(42)。その後,スペクトルパターン識別(44)を式(1),(2)により行い,埋め込みビットb1,および信頼度Rel1を算出する(44)。 First, extraction is performed by the first digital watermarking method. The image data in the block is transformed (42) into a spectral pattern by FFT. After that, spectral pattern identification (44) is performed using equations (1) and (2), and embedded bit b1 and reliability Rel1 are calculated (44).

次に,kだけずれたブロックにおいて(45),第2の電子透かし法による抽出を行う。部分領域SおよびTに分割し(46),それぞれの領域の平均画素データを式(5)により求め,式(6)および式(7)により埋め込みビットb2,および信頼度Rel2を算出する(47)。この時,部分領域SおよびTは図7に示すように,同期ずれを回避するため,埋め込み時の境界線(破線)より小さい領域S(18)およびT(17)とすることにより,画像に歪曲がある場合でも抽出が可能となる。 部分領域Sを小さくするほど,同期誤差に対する耐性は向上するが,平均画素データの統計量の精度が低下し分散が大きくなるため,実験的に定める。 Next, in a block shifted by k (45), extraction is performed by the second digital watermarking method. Divide into partial areas S and T (46), find the average pixel data of each area by equation (5), and calculate embedded bit b2 and reliability Rel2 by equations (6) and (7) (47 ). At this time, as shown in Fig. 7, the partial areas S and T are set to areas S (18) and T (17) smaller than the boundary line (dashed line) at the time of embedding in order to avoid synchronization deviation. Extraction is possible even when there is distortion. As the partial area S is made smaller, the resistance to synchronization errors improves, but the accuracy of the statistics of the average pixel data decreases and the variance increases, so it is determined experimentally.

続いて,両者の信頼度を比較する。両者の信頼度の導出式が異なるため,一概に比較できないため,規格化する必要がある。第1の電子透かし法では,一様画像に埋め込んだ画像から抽出して求めた|Q0-Q1|を規格化係数として,第2の電子透かし法では埋め込み強度σを規格化係数として,かつ非線形係数も導入して信頼度を変換する。非線形係数は実験的に決める。かかる変換された信頼度をあらためてRel1およびRel2として,次のビット判定を行う。
まず,両者の抽出ビットがb1=b2 であれば(48),ビット=b1(あるいはb2)と決定する(49)。そうでない場合は,信頼度が,Rel1>Rel2 であるか否かを見て(50),そうであればビット=b1(52),そうでなければビット=b2に決定する(51)。続いて全ブロック終了か否かを判断し(53),終了でない場合は,次のブロック(n+1番目のブロック)に移る(54)。埋め込み時と同じように,第2の電子透かしでは,n+1+k mod N 番目のブロックとなる(ただし,Nは総ブロック数,mod は剰余を表す)。全ブロックが終了したら,抽出されたビット列を誤り訂正逆符号化し(55),埋め込み文字列を得る(56)。
Next, we compare the reliability of both. Since the derivation formulas for the reliability of the two are different, they cannot be compared unconditionally, so they must be standardized. In the first digital watermarking method, |Q0-Q1| obtained by extracting from the image embedded in the uniform image is used as the normalization coefficient, and in the second digital watermarking method, the embedding strength σ is used as the normalization coefficient, and non-linear A coefficient is also introduced to transform confidence. Nonlinear coefficients are determined experimentally. The following bit determination is performed using the converted reliability as Rel1 and Rel2.
First, if the extracted bits of both are b1=b2 (48), it is determined that bit=b1 (or b2) (49). Otherwise, it is checked whether the reliability is Rel1>Rel2 (50), and if so, bit=b1 (52), otherwise bit=b2 (51). Subsequently, it is determined whether or not all blocks are finished (53), and if not finished, the next block (n+1th block) is moved to (54). As with embedding, the second digital watermark is the n+1+k mod N-th block (where N is the total number of blocks and mod is the remainder). After all blocks are completed, the extracted bit string is subjected to error correction reverse encoding (55) to obtain an embedded character string (56).

図8に以上の処理による埋め込み画像を示す。256画素×256画素の画像を2画素平滑化した画像にブロックサイズ32画素×32画素でASCIIコードの8文字(64ビット)の埋め込み操作を行ったものである。埋め込みパターンを見やすくするために,埋め込み強度を意図的に大きくしている(g=0.25, σ=48)。同図において,(A)は第1の電子透かし法のみで,(B)は第2の電子透かし法のみで埋め込んだ時の埋め込み画像である。実際はカラー画像に埋め込んでいるが,(A)は輝度成分を,(B)は青チャンネル成分を白黒で表示している。また,画像の一部(左上部分の白枠で囲った約64×64の部分)を拡大したものを下段に示す。(A)の拡大図からグリーンノイズパターンが視認されるが,拡大しなければ明視の距離以上での観察においては人の目では視認され難い。(B)の第2の電子透かし法での埋め込みは埋め込んだ領域のパッチパターンが視認されるが,実際に運用する場合は,埋め込み強度は低く,かつ青成分に埋め込むため,カラー画像からは視認はされ難い。 FIG. 8 shows an embedded image obtained by the above processing. An image of 256 pixels×256 pixels is smoothed by 2 pixels, and 8 characters (64 bits) of ASCII code are embedded in a block size of 32 pixels×32 pixels. The embedding intensity is intentionally increased (g=0.25, σ=48) to make the embedding pattern easier to see. In the figure, (A) is an embedded image when only the first electronic watermarking method is used, and (B) is an embedded image when only the second electronic watermarking method is used. Although they are actually embedded in a color image, (A) displays the luminance component and (B) displays the blue channel component in black and white. The lower part shows an enlarged view of a part of the image (approximately 64×64 portion surrounded by a white frame in the upper left part). A green noise pattern is visually recognized from the enlarged view of (A), but it is difficult to be visually recognized by the human eye in observation at a distance of clear vision or longer unless the image is enlarged. In embedding by the second digital watermarking method in (B), the patch pattern in the embedded area is visible. hard to get rid of.

(C)は両者の電子透かし法を用いて埋め込んだものを示す。それぞれのパターンが重なりあっているが,それぞれ独立に抽出可能で,互いに抽出精度に悪影響を及ぼすことはない。つまり,第1の電子透かし法での埋め込みパターンは空間周波数がfmaxからfminまでの帯域に制限されたものであり,第2の電子透かし法は,埋め込まれた部分領域(パッチ)の空間周波数特性は第1の電子透かし法に比べ極めて低周波で,直流(DC)成分に近い。このため,両者の空間周波数での干渉やクロストークは生じず,第1の電子透かし法での抽出精度は悪化することはない。
また,第2の電子透かし法での抽出精度は,部分領域(パッチ)の平均画素値は第1の透かし法からの影響はない。なぜなら第1の電子透かし法では埋め込みパターンpi(x,y) は,±1/2 の値で有るため,平均濃度(あるいは平均輝度)はパッチサイズにおいては不変であるからである。このため第2の電子透かし法での抽出精度は悪化することはない。
(C) shows the embedding using both digital watermarking methods. Although these patterns overlap each other, they can be extracted independently and do not adversely affect the extraction accuracy. In other words, the embedding pattern in the first digital watermarking method has a spatial frequency limited to the band from fmax to fmin, and the second digital watermarking method has the spatial frequency characteristics of the embedded subregion (patch). has a much lower frequency than the first digital watermarking method, and is close to a direct current (DC) component. Therefore, no interference or crosstalk occurs in the spatial frequencies of the two, and the extraction accuracy in the first electronic watermarking method does not deteriorate.
As for the extraction accuracy in the second digital watermarking method, the average pixel value of the partial area (patch) is not affected by the first watermarking method. This is because the embedding pattern pi(x,y) has a value of ±1/2 in the first digital watermarking method, so the average density (or average brightness) does not change with the patch size. Therefore, extraction accuracy in the second digital watermarking method does not deteriorate.

透かし情報の抽出は(C)の画像で行う。2種類の電子透かし法による抽出で,正答の信頼度を向上させる様々な対策が講じられているため,高い精度で正答が得られる。その理由は,2種類の電子透かし法を用いて,互いの弱点を補完するためである。しかも,互いに独立に作用するため,一方の手法が他方へ悪影響を及ぼすことはない。このため,印刷・スキャン耐性があり,曲面状に印刷された場合でも正しく透かし情報を抽出することが可能である。 Watermark information is extracted from the image (C). With two types of digital watermarking methods, various measures are taken to improve the reliability of correct answers, so correct answers can be obtained with high accuracy. The reason is that two types of digital watermarking methods are used to complement each other's weak points. Moreover, since they act independently of each other, one method does not adversely affect the other. Therefore, it has printing and scanning resistance, and it is possible to extract watermark information correctly even when it is printed on a curved surface.

本発明は,2種類の電子透かし法で同一の埋め込み情報をそれぞれの透かし法で埋め込むが,誤り訂正能力,運用形態,使用環境などから,1種類の電子透かし法で充分正確な埋め込み情報が得られる場合には,それぞれ別の透かし情報を埋め込むことが可能となる。この場合埋め込み可能な情報量は2倍となる。 In the present invention, the same embedded information is embedded by two types of electronic watermarking methods by each watermarking method. If it is possible to embed different watermark information for each. In this case, the amount of information that can be embedded is doubled.

以上のように,本発明は画像データを複数のブロックに展開し,ブロック毎に2種類の異なる電子透かし埋め込み手法を用いてビット情報を多重化して埋め込むことにより,印刷・スキャン耐性があり,曲面状に印刷された場合でも正しく透かし情報が抽出される電子透かし法を得ることができたものである。
利用形態として,商店などでの商品紹介が考えられる。パッケージ等に埋め込まれた画像をスマートフォンのカメラなどで撮影し,その商品の価格や賞味期限,生産地等の商品に関する様々な情報を得ることができる。また,プラスチック包装された商品の様に平面上でない印刷物からの透かし読み取りも可能である。抽出した情報から特定のアプリケーションを起動させたり,ネット上のホームページなどに誘導することもできる。また,商店においても,POSのような売り上げ・在庫管理等にも利用可能である。
また,二次元バーコードのように使うことが可能である。二次元バーコードと比較すると,埋め込み容量は少ないが,埋め込み情報の改ざんや修正が困難であり,より安全である。
As described above, the present invention develops image data into a plurality of blocks, multiplexes and embeds bit information using two different digital watermark embedding techniques for each block, and thus has print/scan resistance and curved surface. It is possible to obtain a digital watermarking method that correctly extracts watermark information even when printed in a shape.
As a form of use, product introduction at a store or the like is conceivable. Images embedded in packages, etc., can be photographed with a smartphone camera, etc., and various information about the product, such as the price, expiration date, and place of production, can be obtained. It is also possible to read watermarks from non-flat printed matter such as plastic-wrapped products. It is also possible to launch a specific application from the extracted information, or to navigate to a home page on the Internet. It can also be used for sales and inventory management like POS in shops.
It can also be used like a two-dimensional barcode. Compared to two-dimensional barcodes, the embedded capacity is smaller, but it is more secure because it is difficult to tamper with or modify the embedded information.

1はパーソナルコンピュータ(PC)、2はデータメモリ,3はモニター,4はプリンタ、5はプリンタから出力される印刷物,6はネットワーク,7は外部モニタ,8は透かし情報,9は埋め込み画像,10はカメラ撮影,11は透かし抽出,12はホームページ,13はアプリケーションソフト,14は埋め込みブロック,15,16は埋め込み時の部分領域,17,18は抽出時の部分領域である。 1 is a personal computer (PC); 2 is a data memory; 3 is a monitor; 4 is a printer; 11 is camera photography, 11 is watermark extraction, 12 is a home page, 13 is application software, 14 is an embedded block, 15 and 16 are partial areas at the time of embedding, and 17 and 18 are partial areas at the time of extraction.

Claims (4)

デジタル画像データに,ビット列に展開した透かし情報を埋め込む電子透かし方法において、画像データを複数のブロックに展開し,ブロック毎に2種類の異なる電子透かし埋め込み手法を用いてビット情報を多重化して埋め込み,
埋め込みビット情報の抽出は,埋め込まれた画像をブロックに分割し,第1の電子透かし法ではブロック内の画像データを周波数空間に変換したパターンの分布から,第2の電子透かし法での抽出は実空間(画素空間)での輝度パターンの分布から,埋め込まれたビット情報とその信頼度を算出し,
得られた両者の信頼度から透かし情報を決定することを特徴とする電子透かし埋め込み及び抽出方法。
In an electronic watermarking method for embedding watermark information expanded into bit strings in digital image data, image data is expanded into a plurality of blocks, and bit information is multiplexed and embedded using two different electronic watermark embedding methods for each block,
The embedded bit information is extracted by dividing the embedded image into blocks, and by the first digital watermarking method, the image data in the block is converted into frequency space. Calculate the embedded bit information and its reliability from the distribution of the luminance pattern in the real space (pixel space),
A method of embedding and extracting a digital watermark, characterized in that watermark information is determined from the obtained reliability of both.
前記2種類の異なる電子透かし方法のうち,第1の電子透かし法は,そのスペクトルが低周波域および高周波域で低減したグリーンノイズ特性を示す複数のドットパターンから埋め込みビット情報に応じて1つを選択してブロック毎に埋め込み,抽出はブロック毎に画像のスペクトル分布パターンを求め,そのパターンからビット情報および信頼度を算出するものであり,
第2の電子透かし法は,ブロック内の複数画素からなる部分領域にビット情報に応じて画素データに一定値を加算あるいは減算して埋め込み,抽出はかかる埋め込まれた部分領域内の画素の平均データと領域外の平均データからビット情報及び信頼度を算出するものであり,
それぞれの信頼度を比較し,信頼度の高い方のビット情報を選択することを特徴とする請求項1に記載の電子透かし埋め込み及び抽出方法。
Of the two different electronic watermarking methods, the first electronic watermarking method selects one from a plurality of dot patterns whose spectrum exhibits reduced green noise characteristics in the low and high frequency regions according to the embedded bit information. Select and embed in each block, extract the spectral distribution pattern of the image for each block, and calculate bit information and reliability from that pattern.
The second digital watermarking method embeds pixel data by adding or subtracting a constant value according to bit information in a partial area consisting of a plurality of pixels in a block, and extracts the average data of the pixels in the embedded partial area. and the average data outside the area to calculate bit information and reliability,
2. The method of embedding and extracting a digital watermark according to claim 1, wherein the respective reliability levels are compared and bit information with higher reliability is selected.
前記電子透かし方法において,透かし情報を埋め込む前に,埋め込み画像の平滑化操作を行い,第1の電子透かし方法での埋め込みは,かかる平滑化された画像の輝度情報に埋め込み,第2の電子透かしの埋め込みは,平滑化された画像のブルー(青)データに埋め込むことを特徴とする請求項2に記載の電子透かし埋め込み及び抽出方法。 In the above-described electronic watermarking method, the embedded image is smoothed before watermark information is embedded, and the embedding in the first electronic watermarking method embeds luminance information in the smoothed image, and embeds the second electronic watermark in the luminance information of the smoothed image. 3. The method of embedding and extracting a digital watermark according to claim 2, wherein the embedding of is embedded in the blue data of the smoothed image. 前記2種類の異なる電子透かし法において,埋め込みはそれぞれ異なるブロックにて行い,各ブロックにおいて透かしビット情報を埋め込む際,埋め込んだ直後に埋め込み情報から透かしビットと信頼度を算出し,信頼度が所定の閾値よりも低い場合は,閾値に達するまで埋め込み強度を大きくすることを繰り返すことを特徴とする請求項2に記載の電子透かし埋め込み及び抽出方法。 In the two different types of digital watermarking methods, embedding is performed in different blocks, and when watermark bit information is embedded in each block, the watermark bits and reliability are calculated from the embedded information immediately after embedding, and the reliability is set to a predetermined value. 3. A digital watermark embedding and extracting method according to claim 2, wherein if it is lower than the threshold, increasing the embedding strength is repeated until the threshold is reached.
JP2021179878A 2021-11-03 2021-11-03 Digital watermark embedding and extracting method Pending JP2023068677A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021179878A JP2023068677A (en) 2021-11-03 2021-11-03 Digital watermark embedding and extracting method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021179878A JP2023068677A (en) 2021-11-03 2021-11-03 Digital watermark embedding and extracting method

Publications (1)

Publication Number Publication Date
JP2023068677A true JP2023068677A (en) 2023-05-18

Family

ID=86327748

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021179878A Pending JP2023068677A (en) 2021-11-03 2021-11-03 Digital watermark embedding and extracting method

Country Status (1)

Country Link
JP (1) JP2023068677A (en)

Similar Documents

Publication Publication Date Title
JP7184438B2 (en) Generating and reading optical codes with variable density to match visual quality and reliability
JP4218920B2 (en) Image processing apparatus, image processing method, and storage medium
US20190347755A1 (en) Geometric Enumerated Watermark Embedding for Colors and Inks
US9401001B2 (en) Full-color visibility model using CSF which varies spatially with local luminance
US8550366B2 (en) Method, apparatus and computer program for embedding barcode in color image
US7995790B2 (en) Digital watermark detection using predetermined color projections
US8843756B2 (en) Image processing apparatus and image processing method
US6763122B1 (en) Watermarking an image in color plane separations and detecting such watermarks
US8699089B2 (en) Variable data image watermarking using infrared sequence structures in black separation
JP2001148776A (en) Image processing unit and method and storage medium
JP2004343712A (en) Image processing system, image processing apparatus, and image processing method
JP2001218006A (en) Picture processor, picture processing method and storage medium
Murali et al. Comparision and analysis of photo image forgery detection techniques
US20200344379A1 (en) Method of Embedding and Extracting Watermark Data
CN113052745B (en) Digital watermark model training method, ceramic watermark image manufacturing method and ceramic
Trémeau et al. Recent trends in color image watermarking
US7593137B2 (en) Image processing method, image printing method, image printing mechanism and printed matter
JP2023068677A (en) Digital watermark embedding and extracting method
JP4311698B2 (en) Image processing apparatus, image processing method, and recording medium
CN116109465A (en) Text document processing method and device, storage medium and electronic equipment
JP2018207247A (en) Digital watermarking apparatus and method
JP3884891B2 (en) Image processing apparatus and method, and storage medium
JP2000358154A (en) Electric watermark capable of adjusting visibility of watermark
JP2018182471A (en) Electronic watermark device and method
JP3809310B2 (en) Image processing apparatus and method, and storage medium