JP4889529B2

JP4889529B2 - Image processing method, image processing apparatus, computer program, and recording medium

Info

Publication number: JP4889529B2
Application number: JP2007071231A
Authority: JP
Inventors: 妙子石津; 隆之西村
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2007-03-19
Filing date: 2007-03-19
Publication date: 2012-03-07
Anticipated expiration: 2027-03-19
Also published as: JP2008236227A

Description

本発明は、画像処理方法に関し、特に、ディザ展開した画像に埋めこまれた電子透かしから著作権情報などを検出する画像処理方法に関する。 The present invention relates to an image processing method, and more particularly to an image processing method for detecting copyright information and the like from a digital watermark embedded in a dithered image.

デジタル情報は、劣化なく簡単にコピーでき、改ざんも容易であるという特徴がある。このため、デジタル情報は、不正にコピーされて勝手に再利用されたり、改ざんされたりする。これを防止する方法として、電子透かしやデータハイディングがある。電子透かしは、デジタル画像などを普通に再生した場合には、視覚で感知できない情報を付加する手法である。電子透かしを埋込む方法は、次の２つがある。内容データの標本値に直接埋込む技術（方法１）と、周波数成分に埋込む技術（方法２）である。方法１は、加工や圧縮などの処理が行なわれると、埋込んだデータが失われやすいが、処理負荷が軽い。方法２は、加工や圧縮などの処理には強いが、埋込みや抽出の処理負荷が重い。画質を損ねては意味を成さない画像や、大きく価値が下がる画像への電子透かしとしては、方法２よりも方法１の方が、画質劣化場所を局所化できるメリットがある。 Digital information is characterized in that it can be easily copied without deterioration and can be easily altered. For this reason, digital information is illegally copied and reused or tampered without permission. As a method for preventing this, there are digital watermarking and data hiding. Digital watermarking is a technique for adding information that cannot be perceived visually when a digital image or the like is normally reproduced. There are the following two methods for embedding a digital watermark. There are a technique (Method 1) for directly embedding in sample values of content data and a technique (Method 2) for embedding in frequency components. In Method 1, when processing such as processing or compression is performed, embedded data is easily lost, but the processing load is light. Method 2 is strong for processing such as processing and compression, but has a heavy processing load for embedding and extraction. As an electronic watermark for an image that does not make sense if the image quality is impaired or an image whose value is greatly reduced, Method 1 has an advantage that the image quality degradation location can be localized rather than Method 2.

さて、電子透かしをデジタルコンテンツに付加する用途には、次のようなものがある。（Ａ）著作権情報の記録、（Ｂ）違法コピー者情報の追跡、（Ｃ）IPアドレスの履歴記録、（Ｄ）違法コピーの防止（不可視・高耐性型）、（Ｅ）改ざん防止への応用（不可視・低耐性）、（Ｆ）認証、（Ｇ）秘密通信、（Ｈ）デジタルコンテンツの注釈やラベルの埋込み（可視・不可逆型、所有権者表示）、（Ｉ）透かし除去可能化（可視・可逆型、コンテンツ配布）。 There are the following applications for adding a digital watermark to digital contents. (A) Record copyright information, (B) Track illegal copy information, (C) Record IP address history, (D) Prevent illegal copying (invisible / high resistance type), (E) Prevent tampering Applications (invisible / low tolerance), (F) authentication, (G) secret communication, (H) digital content annotation and label embedding (visible / irreversible, owner's display), (I) watermark removal enabled (visible)・ Reversible type, content distribution).

その中で、例えば、デジタルカメラへの用途としては、証明写真の改ざん検知方法がある。非特許文献１に開示されているように、写真撮影時に、カメラの製造番号や日時等を、撮影画像に透かしとして埋込むと同時に、その電子署名を作成する機構をカメラに設ける。これにより、証明写真の改ざん検知に加え、撮影カメラの特定や撮影日時の確認が可能となる。改ざん検知は、電子署名技術だけで可能だが、透かし技術を活用することで、撮影カメラや撮影日時の特定化が可能になり、改ざん抑止に、より効果的に作用する。更に、電子透かしの埋込み情報量を多くすることによって、改ざん場所を特定化する精度向上に発展できる。また、著作権保護のためにも、多くの情報を透かし埋込みできる方が、埋込み情報の解析時に情報抽出しやすくなり、有効性が高くなる。しかしながら、電子透かしを埋込むことによって、埋込み対象のデジタルコンテンツ・データが劣化するので、埋込みデータ量を増やしても、その影響による画質劣化をできるだけ少なくすることが重要である。 Among them, for example, as an application to a digital camera, there is an identification photo tampering detection method. As disclosed in Non-Patent Document 1, at the time of taking a picture, the camera production number, date and time, etc. are embedded as a watermark in the taken image, and at the same time, a mechanism for creating the electronic signature is provided in the camera. As a result, in addition to detection of alteration of the ID photo, it is possible to identify the shooting camera and check the shooting date and time. Although tampering detection is possible only with the digital signature technology, the use of the watermark technology makes it possible to specify the shooting camera and shooting date and time, and it works more effectively to prevent tampering. Furthermore, by increasing the amount of information embedded in the digital watermark, it is possible to improve the accuracy of specifying the alteration location. In addition, for copyright protection, the ability to embed a lot of information in a watermark makes it easier to extract information when analyzing the embedded information, and the effectiveness is enhanced. However, since the digital content data to be embedded is deteriorated by embedding the digital watermark, it is important to reduce image quality deterioration due to the influence even if the amount of embedded data is increased.

ところで、「人間の眼は、画像平坦部に存在するノイズを感知する能力よりも、エッジ部に存在するノイズを感知する能力の方が低い」という特性を利用して、電子透かしを画像へ直接埋込む場合は、一般に画像エッジ部に透かしを埋込む。しかし、画像領域の中で、通常、エッジ部は平坦部よりも領域が狭く、埋込む透かし量が多い場合には、著しく画質が劣化する。特に、帳票、図面、地図など人工的に作成された画像の輪郭線を過度に侵食したり、あるいは、画像の骨格線を分断させたり、消去するような画質の劣化は、元画像の持つ情報や意味を失ってしまう。そこで、このような画像エッジの持つ限界を克服するアイディアとして、印刷物のディザ展開方法に注目する方法がある。ディザ展開することによって、エッジ部と、それ以外とを区別することを緩和し、かつ、全体のグラデーション表現を実現している。電子透かしは、画像エッジ部を識別して埋込まなくても、画質劣化に直結せず、ディザ展開方法を識別して、情報埋込み及び抽出するものである。この方法は、情報埋込み場所が偏らず、均一化できるメリットがある。 By the way, using the characteristic that “the human eye is less capable of sensing noise present in the edge portion than the ability to sense noise present in the flat portion of the image”, the digital watermark is directly applied to the image. In the case of embedding, a watermark is generally embedded in the image edge portion. However, in the image region, the edge portion is usually narrower than the flat portion, and the image quality deteriorates remarkably when the embedded watermark amount is large. In particular, deterioration of image quality that excessively erodes the contour lines of artificially created images such as forms, drawings, and maps, or breaks or erases the skeleton lines of images, is the information that the original image has. Or lose meaning. Thus, as an idea for overcoming the limitations of such image edges, there is a method of paying attention to a dither development method for printed matter. By dithering, the distinction between the edge portion and the other portions is eased, and the entire gradation expression is realized. Even if an image edge portion is not identified and embedded, the digital watermark is not directly linked to image quality degradation, and identifies and embeds and extracts information by identifying a dither development method. This method has an advantage that the information embedding location is not biased and can be made uniform.

ここで、ディザ法について説明する。図９に示すとおり、ディザ法は、面積階調法の体系の中の一部を構成する。注目するのは、この中の組織的ディザ法である。組織的ディザ法は、Ｎ×Ｎ（これをディザマトリックスという）をつくり、このディザマトリックスＤ_Nを一種のマスクとして原画像に重ね合わせ、各画素の濃度ｆ(x,y)と対応するしきい値Ｔxyとを比較し、しきい値より小さければ、０を出力画像信号に使用し、しきい値以上であれば、１を出力信号に使用する（出力画像を２値化する）というものである。Ｎ×Ｎ画素の処理が済むと、ディザマトリックスを次のＮ×Ｎの画素の位置に移動し、同じ処理を繰返す。 Here, the dither method will be described. As shown in FIG. 9, the dither method constitutes a part of the system of the area gradation method. Of particular note is the organized dither method. Systematic dither method is to make a N × N (this is called dither matrix), superimposed on the original image the dither matrix D _N as a kind of mask, the corresponding threshold and density of each pixel f (x, y) The value Txy is compared, and if it is smaller than the threshold, 0 is used for the output image signal, and if it is equal to or greater than the threshold, 1 is used for the output signal (binarizes the output image). is there. When the processing of N × N pixels is completed, the dither matrix is moved to the position of the next N × N pixel, and the same processing is repeated.

組織的ディザ法では、２値化のために入力画像と同じサイズのディザマトリックスを用いるので、出力画像も同サイズになる特徴がある。しきい値の配列は、ある規則に従っており、各しきい値は、ディザマトリックスの中で１回しか現われない。しきい値の配置方法について、ドット集中型を例に説明する。組織的ディザ法の中の他の型であるBayer型であっても、ディザマトリクスの構成が異なるだけで、それ以外の内容は、同じである。ドット集中型のＮ×ＮディザマトリックスＤ_Nは、次式で与えられる。Ｄ_(N-2)の上下外側に１行ずつ及び左右外側に１列ずつ新たに生成することによって形成する。成分の値は、マトリックスの中心成分が０で、その周りに渦巻状に単調１増加の値の列で構成する。

In the systematic dither method, a dither matrix having the same size as the input image is used for binarization, so that the output image has the same size. The array of thresholds follows a certain rule, and each threshold appears only once in the dither matrix. The threshold arrangement method will be described by taking a dot concentration type as an example. The Bayer type which is another type in the systematic dither method is the same except for the dither matrix configuration. The dot concentration type N × N dither matrix _DN is given by the following equation. D _(N-2) is formed by newly generating one row on the upper and lower outer sides and one column on the left and right outer sides. The component value is composed of a matrix in which the central component of the matrix is 0, and the value is monotonously increased by 1 around the matrix.

ここで、Ｎは２の倍数、ｄＮ_{1 1}はマトリックスＤ_Nの１行１列の成分、同様に、ｄＮ_{1 2}は１行２列の成分、ｄＮ_{2 1}は２行１列の成分、及びｄＮ_{N N}はＮ行Ｎ列の成分などをそれぞれ表す。また、その値は、渦巻状に単調１増加の値の列を構成する以下の内容になる。
ｄＮ_{(N-1) 1}＝(Ｎ−２)²，
ｄＮ_{(N-2) 1}＝(Ｎ−２)²＋１，
ｄＮ_{(N-3) 1}＝(Ｎ−２)²＋２，
‥‥，
ｄＮ_{1 1}＝(Ｎ−２)²＋(Ｎ−２)＝(Ｎ−２)×(Ｎ−１)，
‥‥，
ｄＮ_{1 N}＝(Ｎ−２)²，
‥‥，
ｄＮ_{N N}＝(Ｎ−1/2)²−1/4，
‥‥，
ｄＮ_{N 1}＝Ｎ²−１

初期値として，Ｄ₂（２×２マトリクス）を以下の内容とする。

従って、Ｄ₄（４×４マトリクス）は、次の通りとなる。

例としては、正規のディザマトリックスＤ₄が上の通りだとすると、別種のディザマトリクスＤ'₄としては、Ｄ₄を左回りに90度回転した以下が例として挙げられる。

Ｄ₄をビットON情報、Ｄ'₄をビットOFF情報等として使用する。 Here, N multiple of 2, the components of the first row and first column of dN _{1 1} matrix D _N, similarly, components _{1 2} 1 row 2 column dN, components dN _{2 1} 2 row and first column, and dN _NN represents N rows and N columns of components, respectively. Moreover, the value becomes the following contents which comprise the row | line | column of the value of monotone 1 increase in a spiral.
dN _{(N-1) 1} = (N-2) ² ,
dN _{(N−2) 1} = (N−2) ² +1,
dN _{(N-3) 1} = (N-2) ² +2,
...
dN _{1 1} = (N−2) ² + (N−2) = (N−2) × (N−1),
...
dN _{1 N} = (N−2) ² ,
...
dN _NN = (N−1 / 2) ² −1/4,
...
dN _{N 1} = N ² −1

As an initial value, D ₂ (2 × 2 matrix) has the following contents.

Therefore, D ₄ (4 × 4 matrix) is as follows.

As an example, assuming that the regular dither matrix D ₄ is as above, another type of dither matrix D ′ ₄ is the following example in which D ₄ is rotated 90 degrees counterclockwise.

D ₄ is used as bit ON information, D ′ ₄ is used as bit OFF information, and the like.

以上の画素値展開方法は、印刷用各色の色素（インク、トナーなど）毎に別個の内容である。印刷用データは、ＣＭＹＫのディザ展開による網点（例えば、上記ドット集中型の中心ドットを結んで形成）の特徴を持ちながら、各色のディザ処理を組み合わせて形づくられている。ＣＭＹＫの網点形状は、ＣＭＹＫの色別に、網点角度を固定した等間隔の平行直線上に点列が並ぶ。そのため、電子透かし等の新たな情報付加機能は、「直線状に並んだ点列の規則を変更することによって、付加信号を形成する方法」で実現するのが妥当である。この場合、情報付加のための画素値変更処理は、印刷用データが、各色のディザ処理の組合せで構成されていることを考慮し、違和感の無い画質（画素値変更部における正規のディザ処理を肩代りするなど）に仕上げる必要がある。これに関連する従来技術の例を以下にあげる。 The above-described pixel value development method has different contents for each color pigment (ink, toner, etc.) for printing. The print data is formed by combining the dither processing of each color while having the characteristics of halftone dots (for example, formed by connecting the central dots of the dot concentration type) by CMYK dither expansion. In the CMYK halftone dot shape, a sequence of dots is arranged on a parallel straight line with a fixed halftone dot angle for each color of CMYK. Therefore, it is appropriate to realize a new information addition function such as a digital watermark by “a method of forming an additional signal by changing the rule of a point sequence arranged in a straight line”. In this case, the pixel value changing process for adding information takes into account that the print data is composed of a combination of dithering processes for each color, so that there is no sense of incongruity image quality (regular dithering in the pixel value changing unit Should be finished). Examples of related art related to this will be given below.

特許文献１に開示された「画像へのデータ合成方法」は、画像信号中に文書等の他のデータを混入し又は分離する方法である。対称形となる閾値テーブルを使用して、電子透かしON/OFF情報にする。組織的ディザ法におけるディザマトリックスの数を従来の２倍以上（同じ濃度を表すマトリックスの数を２倍以上にする）に増やし、複数種類のディザマトリックスを使い分けることによって、電子透かしのbit ON/OFF情報に使用する方法である。メリットは、画素値変更が原画像に及ばず、ディザ表現だけになるので、画質劣化が軽減することである。
特許第2640939号公報（特開昭63-214067号公報）「電子透かし技術に関する調査報告書」1999年３月、日本電子工業振興協会編。 The “method of combining data with an image” disclosed in Patent Document 1 is a method of mixing or separating other data such as a document in an image signal. Digital watermark ON / OFF information is made using a symmetrical threshold table. By increasing the number of dither matrices in the systematic dither method to more than twice the number of conventional dither matrices (doubling the number of matrices that represent the same concentration), and using different types of dither matrices separately, digital watermark bit ON / OFF This is the method used for information. The merit is that the pixel value change does not reach the original image but only the dither expression, thereby reducing image quality degradation.
Japanese Patent No. 2640939 (Japanese Patent Laid-Open No. 63-214067) “Survey Report on Digital Watermark Technology”, March 1999, edited by Japan Electronics Industry Promotion Association.

しかし、上述したように、従来のディザを利用した電子透かしの埋込み方法では、bit表現方法が単純であるので埋込み情報が見破られやすく、成りすましの格好の標的となりやすい。また、特許文献１の方法では、組織的ディザ法を使用することによって、例えば、4×4格子1組によって１bitを表現しており、埋込む透かし情報密度を多く出来ていない。 However, as described above, in the conventional digital watermark embedding method using dither, since the bit expression method is simple, the embedded information is easily overlooked, and it is easy to become an impersonated target. In the method of Patent Document 1, for example, 1 bit is expressed by one set of 4 × 4 lattices by using the systematic dither method, and the embedded watermark information density cannot be increased.

本発明の目的は、これらを鑑みて改善点を提案するものである。上記従来の問題を解決して、ディザ化した画像に電子透かしを埋め込む際に、改ざん検知や著作権情報抽出の性能を上げるために、画質劣化を極力抑えながら、埋め込む透かし情報量をできるだけ多くすることであり、かつ、ディザ展開部への電子透かし情報埋込み方法を複雑化し、解読され難くすることを目的とする。 The object of the present invention is to propose improvements in view of these. In order to improve the performance of tamper detection and copyright information extraction when embedding digital watermarks into dithered images by solving the above conventional problems, the amount of watermark information to be embedded is increased as much as possible while minimizing image quality degradation. In addition, it is an object to complicate a method of embedding digital watermark information in a dither expansion unit and make it difficult to decipher.

上記の課題を解決するために、本発明では、画像処理方法を、電子透かし埋込みのために特定画像領域を組織的ディザ法のドット集中型のディザ展開画素にディザ展開する際に、電子透かし情報を埋込むべき矩形領域を決定して、矩形領域と電子透かし情報との対応付けを行い、平面を埋め尽くす２個の基本形による非周期的タイル貼りの頂点の位置に点を表す画素を置くことによって、平面に無駄なく埋込データを埋込対象となる画像データに電子透かしとしてbit ON/OFF情報を埋め込み、電子透かし情報を抽出すべき矩形領域を決定して、矩形領域と電子透かし情報との対応付けを行い、電子透かしが埋め込まれた画像データの中から電子透かしを抽出するようにした。 In order to solve the above-described problems, in the present invention, when an image processing method dither develops a specific image area into dot-concentrated dither development pixels of a systematic dither method for embedding a digital watermark, The rectangular area to be embedded is determined , the rectangular area is associated with the digital watermark information, and the pixel representing the point is placed at the apex position of the aperiodic tiling by the two basic shapes filling the plane. By embedding embedded data in a plane without waste, embedding bit ON / OFF information as a digital watermark in image data to be embedded, determining a rectangular area from which the digital watermark information is to be extracted, The digital watermark is extracted from the image data in which the digital watermark is embedded.

上記の構成により、平面を埋め尽くすタイルパターンの頂点部にドット展開する画像のディザ展開処理の特徴を生かして、画像の場所を選ばず、画質劣化を均質化（複数の菱形など適用する形の種類を限定することによる）かつ抑え、かつ埋込む電子透かし情報量を増加し、及び埋込んだ画像から埋込み情報を抽出することが可能になる。 The above configuration makes it possible to homogenize image quality degradation regardless of the location of the image by utilizing the characteristics of the dither development processing of the image that develops dots at the apex of the tile pattern that fills the plane (a shape that applies multiple diamonds, etc.) It is possible to reduce the amount of digital watermark information to be embedded, and to extract embedded information from an embedded image.

以下、本発明を実施するための最良の形態について、図１〜図８を参照しながら詳細に説明する。 Hereinafter, the best mode for carrying out the present invention will be described in detail with reference to FIGS.

本発明の実施例は、ディザの色別固有の画素点配置に注目して、ディザを形作る画素点の位置に、平面を埋め尽くす非周期的タイリングでの多角形の頂点の位置を使用することにより、電子透かし情報を埋め込み、抽出時には、この画素点の位置から、平面を埋め尽くす非周期的タイリング基本形の辺を認識することによって判断する画像処理方法である。 The embodiment of the present invention uses the position of the vertex of a polygon in the aperiodic tiling that fills the plane, focusing on the pixel point arrangement specific to each color of the dither, and the position of the pixel point forming the dither. Thus, the electronic watermark information is embedded, and at the time of extraction, this is an image processing method for determining by recognizing a side of a non-periodic tiling basic shape that fills the plane from the position of this pixel point.

図１は、本発明の実施例における画像処理方法を実行する画像処理装置の構成を示す機能ブロック図である。図２は、電子透かしを埋め込む処理手順を示す流れ図である。図３は、画像を解析して電子透かしを抽出する処理手順を示す流れ図である。図４は、２個の菱形の基本図形を構成要素にする方法を説明する図である。図５は、矢じり形と凧形２個の基本図形を構成要素にする方法を説明する図である。図６は、２個の基本図形を構成要素にする方法の詳細を説明する図である。図７は、矩形領域内の左上先頭に埋め込む菱形の形と向きの種類を示す図である。図８は、先頭の菱形に続く菱形とbit列情報を示す図である。 FIG. 1 is a functional block diagram illustrating a configuration of an image processing apparatus that executes an image processing method according to an embodiment of the present invention. FIG. 2 is a flowchart showing a processing procedure for embedding a digital watermark. FIG. 3 is a flowchart showing a processing procedure for analyzing an image and extracting a digital watermark. FIG. 4 is a diagram for explaining a method of using two rhombus basic figures as constituent elements. FIG. 5 is a diagram for explaining a method of using two basic figures of an arrowhead shape and a saddle shape as constituent elements. FIG. 6 is a diagram for explaining the details of a method of using two basic figures as constituent elements. FIG. 7 is a diagram showing the shape of the rhombus embedded at the top left in the rectangular area and the type of orientation. FIG. 8 is a diagram showing a diamond following the first diamond and bit string information.

図１において、CPU（中央処理装置）１は、この画像処理装置の動作制御を行うものである。ROM（リード・オンリ・メモリ）２は、CPU１が起動時に実行するプログラムや必要なデータ等を記憶するためのものである。RAM（ランダム・アクセス・メモリ）３は、CPU１のワークエリア等を構成するためのものである。時計回路４は、現在日時情報を出力するためのものである。磁気ディスク装置５は、種々のアプリケーションプログラム、ワークデータ、ファイルデータ、画像データデータなどの種々のデータを記憶するためのものである。 In FIG. 1, a CPU (central processing unit) 1 controls the operation of the image processing apparatus. A ROM (Read Only Memory) 2 is for storing a program executed by the CPU 1 at startup and necessary data. A RAM (Random Access Memory) 3 is for configuring a work area of the CPU 1. The clock circuit 4 is for outputting current date information. The magnetic disk device 5 is for storing various data such as various application programs, work data, file data, and image data data.

ディザ展開部６は、電子透かし埋込みの為に特定画像領域をディザ展開する手段であり、生成されたデータは、磁気ディスク装置５に保存された後、電子透かし埋込み部９に与えられる。また、電子透かし埋込み又は抽出箇所をチェックする為に、ディザ展開できるかどうかチェックするための手段でもあり、チェック結果のデータは、磁気ディスク装置５に保存された後、電子透かし埋込み部９又は電子透かし抽出部10に与えられる。対象となる領域の範囲は、ディザ展開領域決定部11より指示される。ソースデータ符号化部７は、任意のデータ入力手段で外部から入力されたデータを使用して、暗号化または符号化するためのものである。ソースデータ符号化部７の出力データは、磁気ディスク装置５に保存された後、電子透かし埋込み部９に与えられる。 The dither developing unit 6 is a means for dithering a specific image area for embedding a digital watermark. The generated data is stored in the magnetic disk device 5 and then given to the digital watermark embedding unit 9. Also, it is a means for checking whether or not dithering can be performed in order to check the digital watermark embedding or extraction location. After the check result data is stored in the magnetic disk device 5, the digital watermark embedding unit 9 or the electronic watermark This is given to the watermark extraction unit 10. The range of the target area is instructed by the dither development area determination unit 11. The source data encoding unit 7 is for encrypting or encoding using data input from the outside by an arbitrary data input means. The output data of the source data encoding unit 7 is stored in the magnetic disk device 5 and then given to the digital watermark embedding unit 9.

電子透かし抽出データ復号化部８は、電子透かし抽出部10によって磁気ディスク装置５に格納されている電子透かし抽出データを暗号解読など復号化し、磁気ディスク装置５の別の場所に格納する。電子透かし埋込部９は、ソースデータ符号部化７により生成された埋込データを、埋込対象となる画像データに対して、電子透かしとして埋込むためのものである。電子透かし埋込み対象となる領域の範囲は、ディザ展開領域決定部11で決定し、電子透かし埋込みは、ディザ展開部６で行う。電子透かし抽出部10は、電子透かしが埋込まれた画像データの中から電子透かしを抽出し、メモリ４の別の場所に格納するためのものである。電子透かし抽出対象となる領域範囲及び抽出情報は、ディザ展開領域決定部11で決定する。また、抽出直後の電子透かし情報は、電子透かし抽出データ復号化部８による暗号解読など復号化する目的のために、磁気ディスク装置５に格納する。 The digital watermark extraction data decoding unit 8 decodes the digital watermark extraction data stored in the magnetic disk device 5 by the digital watermark extraction unit 10 such as decryption, and stores it in another location on the magnetic disk device 5. The digital watermark embedding unit 9 is for embedding the embedded data generated by the source data encoding unit 7 into the image data to be embedded as a digital watermark. The range of the region to be embedded with the digital watermark is determined by the dither expansion region determination unit 11, and the digital watermark embedding is performed by the dither expansion unit 6. The digital watermark extraction unit 10 is for extracting a digital watermark from the image data in which the digital watermark is embedded and storing it in another location in the memory 4. The area range and extraction information to be subjected to digital watermark extraction are determined by the dither development area determination unit 11. The digital watermark information immediately after extraction is stored in the magnetic disk device 5 for the purpose of decoding such as decryption by the digital watermark extraction data decoding unit 8.

ディザ展開領域決定部11は、電子透かし情報を複数の基本ディザ展開方法を使い分けることによって埋込むべき、又は電子透かし情報を抽出すべき、矩形領域を決定し、電子透かし情報との対応付けを行う。電子透かし埋込み又は抽出処理の有効性は、ディザ展開部６のチェック結果に従って判断する。CRT画面表示装置12は、この画像処理装置を操作するための画面を表示するためのものであり、表示制御部13は、CRT画面表示装置12の表示内容を制御するためのものである。キーボード装置14は、この画像処理装置に種々のキー操作を行うためのものであり、画面指示装置15は、CRT画面表示装置12の任意の点を指示する等の操作作業を行うためのものであり、入力制御部16は、キーボード装置14および画面指示装置15の入力情報を取り込む等するためのものである。 The dither expansion area determination unit 11 determines a rectangular area in which digital watermark information should be embedded by using a plurality of basic dither expansion methods or to extract digital watermark information, and associates the digital watermark information with the digital watermark information . The effectiveness of the digital watermark embedding or extraction process is determined according to the check result of the dither expansion unit 6. The CRT screen display device 12 is for displaying a screen for operating the image processing device, and the display control unit 13 is for controlling the display contents of the CRT screen display device 12. The keyboard device 14 is for performing various key operations on the image processing device, and the screen instruction device 15 is for performing operation operations such as instructing an arbitrary point on the CRT screen display device 12. The input control unit 16 is for taking in the input information of the keyboard device 14 and the screen indicating device 15.

ネットワークインタフェース回路17は、この画像処理装置をネットワーク（図示略）に接続するためのものであり、ネットワーク伝送制御部18は、ネットワークを介して他の端末装置との間で種々の情報をやりとりするための伝送制御処理を行うためのものである。これらのCPU１、ROM２、RAM３、時計回路４、磁気ディスク装置５、ディザ展開部６、ソースデータ符号化部７、電子透かし抽出データ復号化部８、電子透かし埋込部９、電子透かし抽出部10、ディザ展開領域決定部11、表示制御部13、入力制御部16、および、値とワーク伝送制御部18は、バス19に接続されており、これらの各要素間のデータのやりとりは、主としてこのバス19を介して行われる。 The network interface circuit 17 is for connecting the image processing apparatus to a network (not shown), and the network transmission control unit 18 exchanges various information with other terminal devices via the network. This is for performing transmission control processing. These CPU 1, ROM 2, RAM 3, clock circuit 4, magnetic disk device 5, dither expansion unit 6, source data encoding unit 7, digital watermark extraction data decoding unit 8, digital watermark embedding unit 9, digital watermark extraction unit 10 The dither development area determination unit 11, the display control unit 13, the input control unit 16, and the value and work transmission control unit 18 are connected to the bus 19, and data exchange between these elements is mainly performed in this manner. This is done via bus 19.

また、CRT画面表示装置12、キーボード装置14および画面指示装置15は、ユーザに対するユーザ・インタフェース機能を実現しており、例えば、各種操作指示や機能選択指令、編集データ等を入力したり、電子透かしデータを画像ブロック単位に埋込むまたは抽出する時のブロックサイズを入力したり、埋込まれたデータ内容を隠蔽する目的で、電子透かしデータを暗号化する時および暗号化された電子透かしを解読する時に、秘密キーを入力するために用いられる。また、キー操作により、電子透かし解読結果を入力イメージ画像データと重ね合わせて表示させたり、どちらか一方のみを選択して表示させたりするような表示操作機能も実現することができる。また、処理画像データは、例えば、磁気ディスク装置５にあらかじめ保存されたもの、あるいは、ネットワークを介し、他の端末装置等から受信したものを適用することができる。なお、さらに、交換可能な記憶媒体を適用できる光学ディスク装置（例えば、CD-ROM駆動装置、DVD駆動装置など）や、デジタルスチルカメラ装置、スキャナ装置を備えて、処理画像データを入力するようにすることも可能である。 The CRT screen display device 12, the keyboard device 14, and the screen instruction device 15 realize a user interface function for the user. For example, various operation instructions, function selection commands, edit data, etc. Enter the block size when embedding or extracting data in image block units, or decrypting the watermark data for the purpose of concealing the embedded data contents Sometimes used to enter a secret key. In addition, a display operation function can be realized in which a digital watermark decryption result is displayed superimposed on the input image image data by key operation, or only one of them is selected and displayed. The processed image data can be, for example, data stored in advance in the magnetic disk device 5 or data received from another terminal device or the like via a network. Furthermore, an optical disk device (for example, a CD-ROM drive device, a DVD drive device, etc.) to which a replaceable storage medium can be applied, a digital still camera device, and a scanner device are provided so that processed image data can be input. It is also possible to do.

上記のように構成された画像処理装置で実行する本発明の実施例における画像処理方法の動作手順を説明する。最初に、画像処理方法の原理と概要を説明する。ディザの色別固有の画素点配置に注目して、ディザを形作る画素点の位置に平面を埋め尽くす非周期的タイリングでの多角形の頂点の位置を使用することにより、電子透かし情報を埋め込み、抽出時には、この画素点の位置から、平面を埋め尽くす非周期的タイリング基本形の辺を認識することによって判断する。 An operation procedure of the image processing method in the embodiment of the present invention executed by the image processing apparatus configured as described above will be described. First, the principle and outline of the image processing method will be described. Embedding watermark information by using the positions of the vertices of the polygon in aperiodic tiling that fills the plane at the positions of the pixel points forming the dither, paying attention to the pixel point arrangement specific to each dither color At the time of extraction, the determination is made by recognizing the side of the aperiodic tiling basic shape filling the plane from the position of this pixel point.

電子透かし埋込みのために特定画像領域を組織的ディザ法のドット集中型のディザ展開画素にディザ展開する際に、電子透かし情報を埋め込むべき矩形領域を決定して矩形領域と電子透かし情報との対応付けを行い、平面を埋め尽くす２個の基本形による非周期的タイル貼りの頂点の位置に点を表す画素を置き、埋込データを埋込対象となる画像データに電子透かしとしてbit ON/OFF情報を埋め込み、電子透かし情報を抽出すべき矩形領域を決定して矩形領域と電子透かし情報との対応付けを行い、電子透かしが埋め込まれた画像データの中から電子透かしを抽出する。平面を埋め尽くす２個の基本形は、内角が36度と144度の菱形と内角が72度と108度の菱形である。 When dithering a specific image area to a dot-concentrated dithered pixel in the systematic dither method for embedding a digital watermark, the rectangular area in which the digital watermark information is to be embedded is determined and the correspondence between the rectangular area and the digital watermark information A pixel representing a point is placed at the apex position of aperiodic tiling with two basic shapes that fill the plane, and the bit ON / OFF information is used as the watermark for the embedded image data. Is determined, a rectangular area from which digital watermark information is to be extracted is determined, the rectangular area is associated with the digital watermark information, and the digital watermark is extracted from the image data in which the digital watermark is embedded. The two basic shapes that fill the plane are diamonds with interior angles of 36 and 144 degrees, and diamonds with interior angles of 72 and 108 degrees.

図６に示すように、頂点に集まる辺の数が偶数個ならbit０を表し、奇数個ならbit１を表すように最小情報１bitを埋め込む。または、頂点に集まる辺によって形成される角の角度に、１つ置きにマイナス値で足しこむことによって、合計値がマイナスならbit０を表し、プラスならbit１を表し、ゼロなら当該頂点での1bit情報は無効値であることを表すように最小情報１bitを埋め込む。または、頂点に集まる辺によって形成される角の角度に、１つ置きの角度だけを足しこむことによって、合計値が単位角度の偶数倍ならbit０を表し、奇数倍ならbit１を表すように最小情報１bitを埋め込む。または、基本形の形状の並びでbit列を表すように最小情報１bitを埋め込む。図５に示すように、平面を埋め尽くす２個の基本形が、内角が36度と72度と216度である矢じり形と内角が72度と144度の凧形である場合は、矢じり形が下向きならbit０を表し、上向きならbit１を表すように最小情報１bitを埋め込む。 As shown in FIG. 6, 1 bit of minimum information is embedded so that bit 0 is represented if the number of sides gathered at the vertex is an even number, and bit 1 is represented if it is an odd number. Or, by adding every other negative value to the angle formed by the edges gathered at the vertices, if the total value is negative, it represents bit 0, if it is positive, it represents bit 1, if it is zero, 1 bit information at the vertex Embeds 1 bit of minimum information to indicate an invalid value. Or, by adding only every other angle to the angle formed by the edges gathered at the vertices, the minimum information is represented as bit 0 if the total value is an even multiple of the unit angle, and bit 1 if it is an odd multiple. Embed 1 bit. Alternatively, the minimum information of 1 bit is embedded so as to represent a bit string in the arrangement of basic shapes. As shown in Fig. 5, if the two basic shapes that fill the plane are an arrowhead shape with internal angles of 36, 72, and 216 degrees and a saddle shape with internal angles of 72 degrees and 144 degrees, the arrowhead shape is The minimum information of 1 bit is embedded so that bit 0 represents bit 0 and bit 1 represents upward.

次に、図２と図４と図７と図８を参照しながら、電子透かしを埋め込む場合の処理の要点を、処理順に説明する。(Ａ)印刷画像全体に敷き詰める菱形を、埋め込むべきbit情報に従って、一つずつ決定する。(Ｂ)画像に敷き詰める菱形の場所と形を決定する。例えば、図４で示すように、埋め込み先の対象画像が矩形領域とする。図４の左上（‘ａ’）から右上（‘ｉ’）まで埋める。その後、右上の菱形に接続する右上直下（‘ｊ’）を埋める。さらに、左上（‘ａ’）の菱形に接続する左上直下（‘ｒ’）まで埋める。その菱形に接続する左上直下が接続できないので、‘ｓ’を埋める。このような順に敷き詰める。埋込情報（bit値）も、その順番に埋め込む。 Next, with reference to FIG. 2, FIG. 4, FIG. 7, and FIG. (A) The diamonds to be spread over the entire print image are determined one by one according to the bit information to be embedded. (B) Determine the location and shape of the diamonds to be spread over the image. For example, as shown in FIG. 4, the target image to be embedded is a rectangular area. Fill from the upper left ('a') to the upper right ('i') in FIG. After that, the area directly below the upper right ('j') connected to the upper right diamond is filled. Furthermore, it fills up to the lower left ('r') connected to the upper left ('a') diamond. Since the upper left corner connected to the diamond cannot be connected, ‘s’ is filled. Lay down in this order. The embedding information (bit value) is also embedded in that order.

その際に、平面状の矩形領域に埋め込む上での制限事項として、例えば、以下の制限事項がある。（制限ａ）画像矩形領域に菱形を敷き詰める埋込順の規則がある。（制限ｂ）新たに埋込む菱形は、この矩形領域の内側に収まることが必要である。（制限ｃ）埋め込み情報は、矩形領域の内側に敷き詰める菱形で、総て表現する。（制限ｄ）一頂点に集まる菱形の角の合計は、平面化のために360度であることが必須である。（制限ｅ）ドット展開時のドット高密度化の回避するために、一頂点に集まる角の数が７以上になることを禁止する。 At that time, for example, there are the following restrictions as a restriction on embedding in a planar rectangular region. (Restriction a) There is a rule of embedding order in which rhombuses are laid in an image rectangular area. (Restriction b) The diamond to be newly embedded needs to fit inside the rectangular area. (Restriction c) The embedding information is all represented by rhombuses spread inside the rectangular area. (Restriction d) It is essential that the sum of the corners of the rhombus gathering at one vertex is 360 degrees for planarization. (Restriction e) In order to avoid dot density increase at the time of dot development, it is prohibited that the number of corners gathered at one vertex is 7 or more.

ここで、（制限ｄ）においては、一頂点を複数の菱形で埋め尽くす場合に、360度を形成するために、菱形の頂点を１点に合せて一つずつ並べていって埋め尽くすことになる。最後の埋め尽くしに使用する菱形は、選ぶことができなくて、必然的に合計が360度になるように決定されることになる。例えば、ある頂点について、複数の菱形の頂点によって、既に合計で324度分が決まっている場合、扱っている２つの菱形の頂点が集まって敷き詰める角度の合計は、総て36度の倍数になるので、残りは36度（360−324）になる。この時、残りの36度の角度を敷き詰められる菱形の頂点角の組合せは、36度のもの（図４の角度α）ひとつしかなく、選択の余地がない。同様に、残り角度と、そこを敷き詰めるために選択できる角度の組合せは、以下のとおりである。 Here, in (Restriction d), when one vertex is filled with a plurality of rhombuses, in order to form 360 degrees, the vertices of the rhombus are arranged one by one according to one point and filled. . The rhombus used for the last filling cannot be chosen and will inevitably be determined so that the total is 360 degrees. For example, if a total of 324 degrees is already determined by a plurality of rhombus vertices for a certain vertex, the total angle of the two rhombus vertices that are handled and gathered together is a multiple of 36 degrees. So the rest will be 36 degrees (360-324). At this time, there is only one combination of the apex angles of the rhombus that can spread the remaining 36 degrees (36 degrees (angle α in FIG. 4)), and there is no room for selection. Similarly, the combination of the remaining angle and the angle that can be selected to spread the remaining angle is as follows.

残り角度が72度の場合は、敷き詰められる組合せは、｛72度｝と｛36度→36度｝の２種類である。残り角度が108度の場合は、敷き詰められる組合せは、｛108度｝と｛72度→36度｝と｛36度→72度｝と｛36度→36度→36度｝である。残り角度が144度の場合は、敷き詰められる組合せは、｛144度｝と｛108度→36度｝と｛72度→72度｝と｛72度→36度→36度｝と｛36度→108度｝と｛36度→72度→36度｝と｛36度→36度→72度｝と｛36度→36度→36度→36度｝である。｛｝で埋込める１組を表し、‘→’でそれぞれの場合の埋込み順を表してある。 When the remaining angle is 72 degrees, there are two types of combinations, {72 degrees} and {36 degrees → 36 degrees}. When the remaining angle is 108 degrees, the combinations to be spread are {108 degrees}, {72 degrees → 36 degrees}, {36 degrees → 72 degrees}, and {36 degrees → 36 degrees → 36 degrees}. When the remaining angle is 144 degrees, the combinations to be spread are {144 degrees}, {108 degrees → 36 degrees}, {72 degrees → 72 degrees}, {72 degrees → 36 degrees → 36 degrees}, and {36 degrees → 108 degrees}, {36 degrees → 72 degrees → 36 degrees}, {36 degrees → 36 degrees → 72 degrees}, and {36 degrees → 36 degrees → 36 degrees → 36 degrees}. {} Represents one set to be embedded, and '→' represents the embedding order in each case.

ひとつの頂点について、敷き詰める菱形の最後の角（全角表現の数字角度：36度）は、他の角度を選択できる余地がなく、任意情報を埋め込む機能には使用できない。ただし、この使用できない角を持つ菱形を、情報埋込み時に無効にすること、及び情報抽出時に無効と認識することは可能であるので、埋込み情報bit列全体の誤認識に繋がることはない。 For one vertex, the last corner of the rhombus to be spread (numerical angle of full-width expression: 36 degrees) has no room for selecting another angle and cannot be used for the function to embed arbitrary information. However, since the diamonds having unusable corners can be invalidated at the time of embedding information and recognized as invalid at the time of information extraction, it does not lead to erroneous recognition of the entire embedded information bit string.

以上の制限のもとに、菱形を埋め込む方法（順番）は、例えば、上記(Ｂ)に従うと、矩形画像領域の左上からはめ込むものであり、最初に埋め込む菱形は、図７のように、４種類の中から選べることになる。ここで、埋込み情報の先頭bit値が０で、図７の〔１〕を選んだ場合は、はめ込む菱形の２番目のものは、同様に上記(Ｂ)に従って、図８のように、５種類となり、埋込むべきbit列情報に従って、その後に続いてはめ込む菱形の形と向きが決定していく。 Under the above restrictions, the method (order) of embedding the diamond is, for example, according to the above (B), fitting from the upper left of the rectangular image area. You can choose from the types. Here, when the first bit value of the embedding information is 0 and [1] in FIG. 7 is selected, the second one of the diamonds to be inserted is similarly in accordance with the above (B), as shown in FIG. Then, according to the bit string information to be embedded, the shape and direction of the diamond to be subsequently inserted are determined.

次に、図２のフローチャートの各ステップ（Ｓ1〜Ｓ8）に従って説明する。ステップ１で、選択機能を決定するために、キーボードからのキー入力等で入力）し、以下の処理のために、その内容をメモリに保存する。電子透かしにして埋め込みたい情報を、パスワードなどの秘密キーによって予め暗号化してから電子透かしに埋め込み、埋込情報の解読をより困難にする。また、図８の(ａ)と(ｂ)のように、同一情報を埋め込むのに、複数の状態が選べるので、(ａ)又は(ｂ)のどちらを選択するのかを、この秘密キーを使用してランダム数を生成し、その結果が偶数か奇数かで判断する。この方法は、既存の方法を利用することで可能である。ただし、常に暗号化してから電子透かしを埋め込むのは必須ではなく、暗号化する必要があるかどうかは選択できるものである。条件入力は、図７で表すドット展開開始位置の明確化と、（制限ａ）を決定するために、オペレータが指示するものである。この指示は、次のステップ２で利用される。 Next, description will be made according to the steps (S1 to S8) in the flowchart of FIG. In step 1, the selection function is determined (by key input from the keyboard or the like), and the contents are stored in the memory for the following processing. Information to be embedded as a digital watermark is pre-encrypted with a secret key such as a password and then embedded in the digital watermark, making it difficult to decrypt the embedded information. Also, as shown in FIGS. 8A and 8B, since a plurality of states can be selected to embed the same information, this secret key is used to select either (a) or (b). Then, a random number is generated, and it is judged whether the result is an even number or an odd number. This method is possible by using an existing method. However, it is not essential to always embed a digital watermark after it is encrypted, and it is possible to select whether encryption is necessary. The condition input is instructed by the operator in order to clarify the dot development start position shown in FIG. 7 and to determine (limit a). This instruction is used in the next step 2.

ステップ２は、ループ処理の最初の処理であり、新たに埋め込む菱形は、現時点で、最後（直前）に埋込んだ菱形に接するように埋め込むので、ここでは、接する辺を決定する。捜索順の<1>〜<4>は、ステップ１の条件入力で決定している。また、ループの最初では、図７で表すドット展開開始位置をステップ１の条件入力で指定された通りに実行する。<1>〜<4>の捜索において、既に別の菱形が接していれば、次の位置（<1>→<2>など捜索位置の番号を上げる）を捜索する。また、空いている位置が見つかっても、そこに新たに接する菱形が矩形全体画像の内側に展開できなければ、電子透かし埋込み情報を持つ菱形としては有効にならないので、捜索番号を上げて（例えば、<2>→<3>など）捜索する。 Step 2 is the first process of the loop process, and the diamond to be newly embedded is embedded so as to be in contact with the diamond embedded at the end (immediately before). The search order <1> to <4> are determined by the condition input in step 1. At the beginning of the loop, the dot development start position shown in FIG. 7 is executed as specified by the condition input in step 1. In the search of <1> to <4>, if another diamond is already in contact, the next position (increase the search position number such as <1> → <2>) is searched. Also, even if a vacant position is found, if the new diamond that touches it cannot be expanded inside the entire rectangular image, it will not be effective as a diamond with digital watermark embedded information, so increase the search number (for example, , <2> → <3>, etc.)

ステップ３では、新たに菱形が埋め込める空き領域が無ければ、ステップ４に移行する。まだ空き領域が存在する場合には、ステップ５に移行する。ステップ４は、電子透かし後処理を行う。即ち、埋込み状態を示す報告情報を出力する。ステップ４の処理が終了した後は、実行を終了する。ステップ５は、（制限ｄ）を判断する。該当すれば、今回の埋込みの菱形は、電子透かし情報として有効な１bit情報とみなさないと判断とし、穴埋め用の菱形を埋め込む情報を記憶してステップ７に移行する。また、該当しなければ、今回の埋込みの菱形は電子すかし情報として有効であるとみなして、ステップ６に移行する。 In step 3, if there is no empty area in which a new diamond can be embedded, the process proceeds to step 4. If free space still exists, the process proceeds to step 5. Step 4 performs post-watermarking processing. That is, report information indicating the embedded state is output. After the process of step 4 is finished, the execution is finished. Step 5 determines (limit d). If applicable, it is determined that the embedding rhombus of this time is not regarded as effective 1-bit information as digital watermark information, and the information for embedding the rhombus for embedding is stored, and the process proceeds to step 7. If not, the embedding rhombus of this time is regarded as effective as electronic watermark information, and the process proceeds to step 6.

ステップ６は、埋め込むべき菱形を選択して、対象画像に埋め込む情報を記憶する。ステップ７は、上記の埋め込むべき菱形の位置情報を基に、埋込み対象画像に対し、新たに埋め込む菱形の頂点に当たる２点の位置にディザを形成するドット展開する。ステップ８は、以降に埋め込む（ループ処理の以降の処理用）菱形の位置を決定するために必要な情報として、今回埋め込んだ菱形の位置情報（４頂点の位置座標値）を記憶する。 Step 6 selects a diamond to be embedded and stores information to be embedded in the target image. In step 7, based on the position information of the rhombus to be embedded, dot development is performed to form a dither at the positions of two points corresponding to the apexes of the new rhombus to be embedded. Step 8 stores the position information (positional coordinate values of the four vertices) of the diamond embedded this time as information necessary for determining the position of the diamond embedded later (for processing subsequent to the loop processing).

次に、図３と図７と図８を参照しながら、処理詳細フローを説明する。このフローチャートは、印刷物などの画像を解析して電子透かしを抽出する場合を表現している。最初に、処理の要点を処理順に説明する。(Ｃ)印刷画像全体に敷き詰められている菱形を形成する全辺を認識する。菱形を形成する頂点とみなす開始点を決定し、そこから、菱形の一辺の長さ（LL）に相当する距離の位置にある印刷された単位ドット（２×２dot、３×３dotなど）を捜索する。見つかれば、その点と開始点とを結んだ直線が、一辺の長さLLの菱形を形成する辺とみなせる。同様に、新たに見つかった単位ドットを開始点にして、そこから、菱形の一辺の長さに相当する距離の位置にある印刷された単位ドット（２×２dot、３×３dotなど）を捜索し、見つかった点と、当該開始点とを結んだ直線が菱形を形成する１辺と判断できることになる。(Ｄ)埋め込まれているbit情報を抽出する。上記（Ｃ）によって、印刷画像に敷き詰められている菱形の位置と種類（２種類など複数種類からの識別）が明確になっているので、bit情報埋込み時と同様に、菱形の辺と頂点との関係から、埋め込まれているbit情報を抽出する。 Next, a detailed processing flow will be described with reference to FIGS. 3, 7, and 8. This flowchart represents a case where an electronic watermark is extracted by analyzing an image such as a printed matter. First, the main points of the processing will be described in the order of processing. (C) Recognize all sides forming a rhombus that is spread over the entire printed image. Determine the starting point to be considered as the apex that forms the rhombus, and search for the printed unit dot (2x2dot, 3x3dot, etc.) located at a distance corresponding to the length (LL) of one side of the rhombus To do. If found, a straight line connecting the point and the start point can be regarded as a side forming a rhombus with a side length LL. Similarly, starting from a newly found unit dot, a printed unit dot (2 × 2 dots, 3 × 3 dots, etc.) located at a distance corresponding to the length of one side of the rhombus is searched from there. The straight line connecting the found point and the starting point can be determined as one side forming a rhombus. (D) Extract the embedded bit information. Since the position and type (identification from a plurality of types such as two types) of the rhombus laid on the printed image is clear from the above (C), the side and apex of the rhombus The embedded bit information is extracted from the relationship.

次に、図３のフローチャートの各ステップ（Ｓ11〜Ｓ18）に従って説明する。ステップ11によって、選択機能を決定するための情報をキー入力し、以下の処理のために、その内容をメモリに保存する。電子透かしにして埋め込みたい情報を、秘密キー（パスワードなど）によって予め暗号化してあるので、それを解読するためのキーを入力する。また、図８の(ａ)と(ｂ)のように、同一情報を埋め込むのに、複数の状態が選べるので、(ａ)又は(ｂ)のどちらかを選択する。例えば、この秘密キーを使用してランダム数を生成し、その結果が偶数か奇数かで判断するなどの方法を利用する。この方法は既存の方法を利用することで可能である。ただし、常に暗号化してから電子透かしを埋め込むのは、必須ではなく、暗号化する必要があるかどうかは、選択できるものである。 Next, description will be made according to the steps (S11 to S18) of the flowchart of FIG. In step 11, information for determining the selection function is keyed, and the contents are stored in the memory for the following processing. Since information to be embedded as a digital watermark is previously encrypted with a secret key (password or the like), a key for decrypting the information is input. Also, as shown in FIGS. 8A and 8B, since a plurality of states can be selected for embedding the same information, either (a) or (b) is selected. For example, a method of generating a random number using this secret key and judging whether the result is even or odd is used. This method is possible by using an existing method. However, it is not essential to embed a digital watermark after always encrypting it, and it is possible to select whether or not it is necessary to encrypt.

条件入力は、図７に示すドット展開開始位置と（制限ａ）を決定するために、オペレータが行うものである。この指示は、ステップ13で利用される。以上の入力は、電子透かし埋込み時と一致させることによって有効になる。ステップ12では、上記(Ｃ)に従って、画像全体のドット展開点を分析して、全菱形を認識する。ステップ13は、ループ処理の最初の処理であり、新たに抽出する菱形は、現時点で、最後（直前）に抽出した菱形に接するように抽出するので、ここでは、接する辺を決定する。捜索順の<1>〜<4>は、ステップ11の条件入力で決定している。また、ループの最初では、図７に示すドット展開開始位置をステップ11の条件入力で指定されたとおりに実行する。<1>〜<4>の捜索において、既に別の菱形が接していれば、次の位置（<1>→<2>など捜索位置の番号を上げる）を捜索する。また、空いている位置が見つかっても、そこに新たに接する菱形が矩形全体画像の内側に展開できなければ、電子透かし埋込み情報を持つ菱形としては有効にならないので、捜索番号を上げて（例えば、<2>→<3>など）捜索する。 The condition input is performed by the operator in order to determine the dot development start position and (limit a) shown in FIG. This instruction is used in step 13. The above input is validated by making it coincide with that when embedding a digital watermark. In step 12, according to the above (C), the dot development points of the entire image are analyzed to recognize all diamonds. Step 13 is the first process of the loop process, and the newly extracted rhombus is extracted so as to be in contact with the last (immediately preceding) extracted rhombus at this time, and therefore the tangent side is determined here. <1> to <4> in the search order are determined by the condition input in step 11. At the beginning of the loop, the dot development start position shown in FIG. 7 is executed as specified by the condition input in step 11. In the search of <1> to <4>, if another diamond is already in contact, the next position (increase the search position number such as <1> → <2>) is searched. Also, even if a vacant position is found, if the new diamond that touches it cannot be expanded inside the entire rectangular image, it will not be effective as a diamond with digital watermark embedded information, so increase the search number (for example, , <2> → <3>, etc.)

ステップ14では、新たに菱形が抽出できる空き領域が無ければ、ステップ15に移行する。まだ空き領域が存在する場合には、ステップ16に移行する。ステップ15では、電子透かし後処理を行う。即ち、抽出処理が成功したかどうか、抽出情報は何か、などを出力する。ステップ15の処理が終了した後は、プログラムの実行を終了する。ステップ16では、（制限ｄ）を判断する。該当すれば、今回の埋込みの菱形は、電子透かし情報として有効な１bit情報とみなさない判断とし、穴埋め用の菱形の抽出情報を記憶してステップ17に移行する。また、該当しなければ、今回抽出の菱形は電子すかし情報として有効であるとみなして、ステップ17に移行する。ステップ17では、抽出した菱形が電子透かしとして有効であるとみなして、１bit情報として記憶する。ステップ18では、抽出した菱形の位置情報を基に、これ以降に抽出する菱形（ループ処理以降の処理用の菱形）の位置を決定するために必要な情報として、今回抽出した菱形の位置情報（４頂点の位置座標値）を記憶する。 In step 14, if there is no empty area from which a new diamond can be extracted, the process proceeds to step 15. If free space still exists, the process proceeds to step 16. In step 15, digital watermark post-processing is performed. That is, whether or not the extraction process is successful, what is the extraction information, and the like are output. After the process of step 15 is finished, the execution of the program is finished. In step 16, (limit d) is determined. If applicable, it is determined that the embedding rhombus of this time is not regarded as valid 1-bit information as digital watermark information, and the extracted information of the rhombus for embedding is stored, and the process proceeds to step 17. If not applicable, the diamond extracted this time is regarded as valid as electronic watermark information, and the process proceeds to step 17. In step 17, the extracted rhombus is regarded as effective as a digital watermark and stored as 1-bit information. In Step 18, based on the extracted rhombus position information, as the information necessary for determining the position of the rhombus to be extracted thereafter (the rhombus for processing after the loop process), The position coordinates of the four vertices) are stored.

上記のように、本発明の実施例では、画像処理方法を、ディザの色別固有の画素点配置に注目して、ディザを形作る画素点の位置に、平面を埋め尽くす非周期的タイリングでの多角形の頂点の位置を使用することにより、電子透かし情報を埋め込み、抽出時には、この画素点の位置から、平面を埋め尽くす非周期的タイリング基本形の辺を認識することによって判断するようにしたので、画像のディザ展開処理の特徴を生かして、画像の場所を選ばず、画質劣化を均質化かつ抑え、かつ解読され難く、電子透かしを埋込み及び抽出することが可能になる。 As described above, in the embodiment of the present invention, the image processing method is performed by aperiodic tiling that fills a plane at the position of the pixel point forming the dither, paying attention to the pixel point arrangement specific to each color of the dither. By using the position of the vertex of the polygon, the watermark information is embedded, and at the time of extraction, it is determined by recognizing the edge of the aperiodic tiling basic shape that fills the plane from the position of this pixel point. Therefore, it is possible to embed and extract a digital watermark by making use of the characteristics of the image dither development processing, regardless of the location of the image, to uniformize and suppress image quality degradation, and to be difficult to decode.

本発明の画像処理方法は、ディザ展開した画像に埋め込まれた電子透かしから著作権情報などを検出する画像処理方法として最適である。 The image processing method of the present invention is optimal as an image processing method for detecting copyright information and the like from a digital watermark embedded in a dithered image.

本発明の実施例における画像処理方法を実行する画像処理装置の構成を示す機能ブロック図である。1 is a functional block diagram illustrating a configuration of an image processing apparatus that executes an image processing method according to an embodiment of the present invention. 本発明の実施例における画像処理方法で電子透かしを埋め込む処理手順を示す流れ図である。It is a flowchart which shows the process sequence which embeds a digital watermark with the image processing method in the Example of this invention. 本発明の実施例における画像処理方法で画像を解析して電子透かしを抽出する処理手順を示す流れ図である。It is a flowchart which shows the process sequence which analyzes an image with the image processing method in the Example of this invention, and extracts a digital watermark. 本発明の実施例における画像処理方法で２個の菱形の基本図形を構成要素にする方法を説明する図である。It is a figure explaining the method of making two rhombus basic figures into a component by the image processing method in the example of the present invention. 本発明の実施例における画像処理方法で矢じり形と凧形２個の基本図形を構成要素にする方法を説明する図である。It is a figure explaining the method of making an arrowhead shape and two saddle-shaped basic figures into a component by the image processing method in the Example of this invention. 本発明の実施例における画像処理方法で２個の基本図形を構成要素にする方法の詳細を説明する図である。It is a figure explaining the detail of the method of making two basic figures into a component by the image processing method in the Example of this invention. 本発明の実施例における画像処理方法で矩形領域内の左上先頭に埋め込む菱形の形と向きの種類を示す図である。It is a figure which shows the kind of rhombus shape and direction embedded at the upper left head in a rectangular area with the image processing method in the Example of this invention. 本発明の実施例における画像処理方法で先頭の菱形に続く菱形とbit列情報を示す図である。It is a figure which shows the rhombus and bit string information which follow the head rhombus with the image processing method in the Example of this invention. 面積階調法の体系の中のディザ法の位置を説明する図である。It is a figure explaining the position of the dither method in the system of the area gradation method.

Explanation of symbols

１・・・CPU、２・・・ROM、３・・・RAM、６・・・ディザ展開部、７・・・ソースデータ符号部、８・・・電子透かし抽出データ復号化部、９・・・電子透かし埋込部、10・・・電子透かし抽出部、11・・・ディザ展開領域決定部、12・・・CRT画面表示装置、13・・・表示制御部、14・・・キーボード装置、15・・・画面指示装置、16・・・入力制御部、17・・・ネットワークインタフェース回路、18・・・ネットワーク伝送制御部。 DESCRIPTION OF SYMBOLS 1 ... CPU, 2 ... ROM, 3 ... RAM, 6 ... Dither expansion part, 7 ... Source data encoding part, 8 ... Digital watermark extraction data decoding part, 9 ...・ Digital watermark embedding unit, 10 ... Digital watermark extraction unit, 11 ... Dither development area determination unit, 12 ... CRT screen display device, 13 ... Display control unit, 14 ... Keyboard device, 15 ... screen instruction device, 16 ... input control unit, 17 ... network interface circuit, 18 ... network transmission control unit.

Claims

When dithering a specific image area to a dot-concentrated dither development pixel in the systematic dither method for embedding a digital watermark, a rectangular area in which the digital watermark information is to be embedded is determined, and the rectangular area, the digital watermark information, the association was carried out, place the pixels representing the point in the position of non-periodic tile bonded Rino vertex by two basic form fill the plane, bit oN as an electronic watermark embedding data into image data to be buried object Embedding the / OFF information, determining the rectangular area from which the digital watermark information should be extracted, associating the rectangular area with the digital watermark information, and extracting the digital watermark from the image data in which the digital watermark is embedded An image processing method characterized by the above.

2. The image processing method according to claim 1, wherein the two basic shapes filling up the plane are a rhombus having inner angles of 36 degrees and 144 degrees and a rhombus having inner angles of 72 degrees and 108 degrees.

2. The image processing method according to claim 1, wherein the minimum information of 1 bit is embedded so that bit 0 is represented if the number of sides gathered at the vertex is an even number, and bit 1 is represented if the number is an odd number.

By alternately adding and subtracting the angle formed by the edges gathered at the vertices, if the total value is negative, it indicates bit 0, if it is positive, it indicates bit 1, and if it is zero, the 1-bit information at the vertex is invalid. The image processing method according to claim 1, wherein the minimum information of 1 bit is embedded.

It is characterized by adding every other angle formed by the edges gathered at the vertices and embedding 1 bit of minimum information so that it represents bit0 if the total value is an even multiple of the unit angle and represents bit1 if it is an odd multiple. The image processing method according to claim 1.

The image processing method according to claim 1, wherein the minimum information of 1 bit is embedded so as to represent a bit string in an arrangement of basic shapes.

The two basic shapes that fill the plane are an arrowhead shape whose inner angles are 36 degrees, 72 degrees and 216 degrees, and a saddle shape whose inner angles are 72 degrees and 144 degrees. If the arrowhead shape is downward, it represents bit0, The image processing method according to claim 1, wherein the minimum information of 1 bit is embedded so as to represent bit 1 if it is upward.

A dither expansion unit for dithering a specific image area into dot-concentrated dither expansion pixels in a systematic dither method for embedding a digital watermark, a rectangular area for embedding digital watermark information, and a rectangular area for extracting digital watermark information A dither expansion area determination unit that determines the correspondence between a rectangular area and digital watermark information, and a digital watermark embedding unit that embeds bit ON / OFF information as digital watermark in the image data to be embedded And an electronic watermark extraction unit that extracts an electronic watermark from image data in which the electronic watermark is embedded, wherein the electronic watermark embedding unit has two basic forms that fill a plane. An image processing apparatus comprising means for placing a pixel representing a point at a vertex position of aperiodic tiling.

9. The image processing apparatus according to claim 8, wherein the two basic shapes filling the plane are a rhombus whose inner angles are 36 degrees and 144 degrees, and a rhombus whose inner angles are 72 degrees and 108 degrees.

9. The image according to claim 8, wherein the digital watermark embedding unit includes means for embedding minimum information of 1 bit so that bit 0 is represented when the number of sides gathered at the vertex is an even number, and bit 1 is represented when the number is an odd number. Processing equipment.

The digital watermark embedding unit expresses bit0 if the total value obtained by alternately adding and subtracting the angles formed by the edges gathered at the vertex is negative, indicates bit1 if it is positive, and if it is zero, 1bit information at the vertex is invalid. 9. The image processing apparatus according to claim 8, further comprising means for embedding the minimum information of 1 bit so as to represent a value.

The digital watermark embedding unit represents the bit 0 if the total value obtained by adding only every other angle formed by the edges gathered at the vertices is an even multiple of the unit angle, and represents the bit 1 if it is an odd multiple. 9. The image processing apparatus according to claim 8, further comprising means for embedding 1 bit of information.

9. The image processing apparatus according to claim 8, wherein the digital watermark embedding unit includes means for embedding 1 bit of minimum information so as to represent a bit string in an arrangement of basic shapes.

The two basic shapes that fill the plane are an arrowhead shape whose inner angles are 36 degrees, 72 degrees and 216 degrees, and a saddle shape whose inner angles are 72 degrees and 144 degrees. 9. The image processing apparatus according to claim 8, further comprising means for embedding 1 bit of minimum information so that bit 0 is represented if the shape is downward and bit 1 is represented if the shape is upward.

A computer program describing a processing procedure for causing a computer to execute the image processing method according to claim 1.

A recording medium on which the computer program according to claim 15 is recorded.