JP2008085920A - 電子透かし埋め込み装置および検出装置 - Google Patents

電子透かし埋め込み装置および検出装置 Download PDF

Info

Publication number
JP2008085920A
JP2008085920A JP2006266015A JP2006266015A JP2008085920A JP 2008085920 A JP2008085920 A JP 2008085920A JP 2006266015 A JP2006266015 A JP 2006266015A JP 2006266015 A JP2006266015 A JP 2006266015A JP 2008085920 A JP2008085920 A JP 2008085920A
Authority
JP
Japan
Prior art keywords
information
embedding
pattern
graphic pattern
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006266015A
Other languages
English (en)
Other versions
JP5015540B2 (ja
Inventor
Jun Takahashi
潤 高橋
Kensuke Kuraki
健介 倉木
Taizo Anami
泰三 阿南
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2006266015A priority Critical patent/JP5015540B2/ja
Priority to EP07018936.0A priority patent/EP1906645B1/en
Priority to US11/862,592 priority patent/US8160294B2/en
Priority to KR1020070098446A priority patent/KR100911973B1/ko
Priority to CN2007101617009A priority patent/CN101155239B/zh
Publication of JP2008085920A publication Critical patent/JP2008085920A/ja
Application granted granted Critical
Publication of JP5015540B2 publication Critical patent/JP5015540B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387Composing, repositioning or otherwise geometrically modifying originals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H04N1/32149Methods relating to embedding, encoding, decoding, detection or retrieval operations
    • H04N1/32203Spatial or amplitude domain methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0021Image watermarking
    • G06T1/005Robust watermarking, e.g. average attack or collusion attack resistant
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H04N1/32149Methods relating to embedding, encoding, decoding, detection or retrieval operations
    • H04N1/32203Spatial or amplitude domain methods
    • H04N1/32208Spatial or amplitude domain methods involving changing the magnitude of selected pixels, e.g. overlay of information or super-imposition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H04N1/32149Methods relating to embedding, encoding, decoding, detection or retrieval operations
    • H04N1/32203Spatial or amplitude domain methods
    • H04N1/32229Spatial or amplitude domain methods with selective or adaptive application of the additional information, e.g. in selected regions of the image
    • H04N1/32235Spatial or amplitude domain methods with selective or adaptive application of the additional information, e.g. in selected regions of the image in highly textured regions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H04N1/32149Methods relating to embedding, encoding, decoding, detection or retrieval operations
    • H04N1/32288Multiple embedding, e.g. cocktail embedding, or redundant embedding, e.g. repeating the additional information at a plurality of locations in the image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H04N1/32149Methods relating to embedding, encoding, decoding, detection or retrieval operations
    • H04N1/32288Multiple embedding, e.g. cocktail embedding, or redundant embedding, e.g. repeating the additional information at a plurality of locations in the image
    • H04N1/32293Repeating the additional information in a regular pattern
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H04N1/32149Methods relating to embedding, encoding, decoding, detection or retrieval operations
    • H04N1/32288Multiple embedding, e.g. cocktail embedding, or redundant embedding, e.g. repeating the additional information at a plurality of locations in the image
    • H04N1/32304Embedding different sets of additional information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H04N1/32149Methods relating to embedding, encoding, decoding, detection or retrieval operations
    • H04N1/3232Robust embedding or watermarking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/913Television signal processing therefor for scrambling ; for copy protection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00General purpose image data processing
    • G06T2201/005Image watermarking
    • G06T2201/0051Embedding of the watermark in the spatial domain
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00General purpose image data processing
    • G06T2201/005Image watermarking
    • G06T2201/0062Embedding of the watermark in text images, e.g. watermarking text documents using letter skew, letter distance or row distance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00General purpose image data processing
    • G06T2201/005Image watermarking
    • G06T2201/0065Extraction of an embedded watermark; Reliable detection

Abstract

【課題】埋め込まれた情報が視覚的に判別しにくく、かつ、印刷後にコピー、切り取り等の加工が行われた場合でも検出可能な形で、画像データに情報を埋め込み、その印刷物から安定して情報を検出する。
【解決手段】検出手段101は、画像データ111内の背景以外の領域から、埋め込み情報112または埋め込み情報112が存在する領域の位置を表す図形パターン113を埋め込み可能な図形パターン領域を検出する。埋め込み手段102は、検出された図形パターン領域に図形パターン113を埋め込んで、透かし入り画像データ114を生成する。
【選択図】図1

Description

本発明は、画像データに対して情報を人間が知覚しにくい形で埋め込み、印刷用の透かし入り画像データを生成する電子透かし埋め込み装置と、透かし入り画像データの印刷物から取得されたスキャン画像から、埋め込まれた情報を検出する電子透かし検出装置に関する。
電子透かしは、画像、音声等の電子データに対して、著作権情報や印刷者の追跡情報を埋め込む技術である。電子透かし技術では、電子データから「透かし」として埋め込まれた情報を検出することによって、著作物の無断複製の確認や、社内情報の漏えいに対する追跡が可能となる。特に、文書画像のように印刷が可能である電子媒体に対しては、電子データ上のみならず、印刷された紙媒体からでも、情報が検出できるようにする必要がある。
従来の文書画像に対する電子透かし技術としては、英文字列の文字間隔を変更することで情報を埋め込む方法(例えば、下記の非特許文献1を参照)、文字を拡大、縮小、または回転させて情報を埋め込む方法(例えば、下記の非特許文献2を参照)が知られている。
また、文書の背景に情報を埋め込む方法としては、ドットパターンを文書画像の背景に埋め込む方法が開示されている(例えば、下記の特許文献1および特許文献2を参照)。文書画像の背景部分に対して特定のドットパターンを埋め込むことで、印刷文書に多少の汚れ等があった場合でも、安定して情報を検出することができる。
さらに、印刷文書の背景以外に情報を埋め込む方法として、2値画像に対する人間の視覚特性に基づいて改変の判断基準およびその優先順位を与え、優先順位が高い画素から順に改変を施すことで、透かし情報を挿入する技術(例えば、下記の特許文献3を参照)や、文書画像の文字の特徴点を抽出し、特徴点に電子透かしを埋め込む技術(例えば、下記の特許文献4を参照)が開示されている。
下記の特許文献5は、白黒2値文書画像への透かし情報埋め込み方法に関し、特許文献6は、2値画像を多値画像に変換して埋め込み位置を特定するデータ埋め込み方法に関する。また、下記の非特許文献3は、人間の視覚は、近接した領域、閉じた領域、連続した領域をまとまりとして知覚しやすいことを示している。
特許第3628312号 特開2001−346032号公報 特開2004−289783号公報 特開2006−074166号公報 特開2001−078006号公報 特開2006−108994号公報 J. T. Brassil, S. Low, N. F. Maxemchuk, and L. O’Gorman, "Electronic marking and identification techniques to discourage document copying", Proc. IEEE INFOCOM ’94, vol. 3, pp. 1278-1287, 1994 中村康弘、松井甲子雄共著、"著作権保護のための和文印刷文書への署名情報の埋め込み"、情報処理学会第50回全国大会、vol.3、p.203−204、1994年 淀川英二、東倉陽一、中根一成共著、「視聴覚の認知科学」、電子情報通信学会編、コロナ社、p.18−21、1998年
上述した従来の電子透かし埋め込み方法には、次のような問題がある。
非特許文献1および非特許文献2のような埋め込み方法では、文書中の文字にのみ情報を埋め込むことが可能であり、埋め込む情報量が文字数に大きく依存してしまうという問題がある。
特許文献1および特許文献2のような埋め込み方法では、背景に埋め込まれたドットパターンが目につきやすく、情報が埋め込まれていることが簡単に認識されてしまうという問題がある。
特許文献3および特許文献4のような埋め込み方法では、図形や文字の輪郭や切れ目に重点的に情報を埋め込んでいるため、印刷やコピーが何度か繰り返された場合には、輪郭部分がかすれたりぼけたりするため、埋め込まれた情報を失う可能性が高いという問題がある。
本発明の課題は、埋め込まれた情報が視覚的に判別しにくく、かつ、印刷後にコピー、切り取り等の加工が行われた場合でも検出可能な形で、画像データに情報を埋め込み、その印刷物から安定して情報を検出することである。
図1は、本発明の電子透かし埋め込み装置の原理図である。図1の電子透かし埋め込み装置は、検出手段101と埋め込み手段102を備え、画像データ111に情報を埋め込む。
検出手段101は、画像データ111内の背景以外の領域から、埋め込み情報112または埋め込み情報112が存在する領域の位置を表す図形パターン113を埋め込み可能な図形パターン領域を検出する。埋め込み手段102は、検出された図形パターン領域に図形パターン113を埋め込んで、透かし入り画像データ114を生成する。
検出手段101は、画像データ111内の文字や図、写真、網点等が存在する領域、つまり背景以外の領域において、図形パターン113の形状に応じた図形パターン領域を検出し、その図形パターン領域の情報を埋め込み手段102に通知する。埋め込み手段102は、通知された図形パターン領域に図形パターン113を埋め込むことで、埋め込み情報112が埋め込まれた透かし入り画像データ114を生成する。
検出手段101および埋め込み手段102は、例えば、後述する図7の図形パターン領域検出部705および情報埋め込み処理部706にそれぞれ対応する。
また、本発明の電子透かし検出装置は、図形パターン検出手段と情報検出手段を備え、透かし入り画像データに埋め込まれた情報を検出する。
図形パターン検出手段は、透かし入り画像データ内の背景以外の領域から図形パターンを検出する。情報検出手段は、検出された図形パターンが表す埋め込み情報、または、検出された図形パターンが表す位置にある領域に存在する埋め込み情報を検出する。
図形パターン検出手段は、透かし入り画像データ内の背景以外の領域に埋め込まれた図形パターンを検出し、その図形パターンの情報を情報検出手段に通知する。情報検出手段は、通知された図形パターン、または、通知された図形パターンが表す位置にある領域から、埋め込まれた情報を検出する。
図形パターン検出手段および情報検出手段は、例えば、後述する図19の図形パターン検出部1904および情報検出処理部1905にそれぞれ対応する。
本発明によれば、以下のような優れた効果が得られる。
(1)画像データ内の背景以外の領域に対して情報が埋め込まれるため、人間が知覚しにくい形で情報を埋め込むことが可能になる。
(2)画像データ中に複数種類の図形パターンを埋め込むようにすれば、埋め込まれた情報の解読がさらに困難になる。
(3)図形パターンは特定のパターンで表されているため、コピーや印刷等で印刷物にかすれやにじみが発生した場合でも、安定して情報を検出することができる。
(4)画像データ中に情報を分散して埋め込むようにすれば、画像データの一部が切り取られた場合でも、安定して情報を検出することができる。
以下、図面を参照しながら、本発明を実施するための最良の形態を詳細に説明する。
視覚的に判別しにくい形で情報を埋め込むためには、人間の視覚特性を考慮する必要がある。例えば、非特許文献3によると、人間の視覚は、近接した領域、閉じた領域、連続した領域をまとまりとして知覚しやすい。
特許文献3の方法では、図形や文字の輪郭や切れ目の画素を改変することで、情報を埋め込んでいる。この場合、改変画素を図形や文字のまとまり、つまり図形や文字の一部分として認識させることで、人間が知覚しにくい情報の埋め込みが可能である。
逆に、無地部分である背景部分の画素を改変すると、人間は改変画素を孤立点、つまり独立した部分として認識するため、人間の知覚しにくい形で情報を埋め込むことは非常に困難である。したがって、人間の知覚しにくい形で情報を埋め込むためには、画像データ中の文字や図、写真、網点等が存在する領域、つまり背景以外の領域に情報を埋め込む必要がある。しかし、前述した通り、コピーが何度か繰り返された場合、形のゆがみや輪郭部分のかすれにより、埋め込まれた情報が消失する可能性がある。
また、印刷後にコピー、切り取り等の加工が行われた場合でも、情報を検出できるようにするためには、特許文献1や特許文献2の方法のように、情報を画像データ全体に埋め込む必要がある。このとき、コピーや印刷に対する耐性を持たせるために、特定のドットパターンとして情報を埋め込むことが望ましいが、単純にドットパターンを埋め込むだけではドットパターンが目に付きやすく、視覚的に簡単に認識されてしまう。
そこで、本実施形態の電子透かし埋め込み装置では、画像データ中の背景以外の領域(以下では、前景と呼ぶ)に対して特定のパターンを埋め込むことで、視覚的に判別しにくく、かつ、安定して検出できる形で情報を埋め込む。特定のパターンとしては、図形パターンが用いられる。
具体的には、図形パターンを画像データ内に分散配置し、図形パターン自身または図形パターンの近傍領域に情報が埋め込まれる。こうして生成された透かし入り画像データから図形パターンを検出することで、埋め込まれた情報が検出される。
まず、情報の埋め込みに用いられる図形パターンについて説明する。図形パターンは、画像データの前景に埋め込まれるパターンであり、フィルタで検出可能な周波数、位相、振幅等の信号的特徴を有する。例えば、図2の基本パターン201と方向パターン202を合成したパターン203が、図形パターンとして用いられる。
基本パターン201は、画像データ内で図形パターン203を埋め込み可能な領域を検出するために使用される。基本パターン201の画素値は、背景の画素値と大きく異なっていることが望ましい。
方向パターン202は、一定の周期で画素値を変更したパターンで構成されており、図形パターン203の検出と、埋め込み情報の判別に使用される。方向パターン202の画素値は、背景の画素値と異なっていれば、基本パターン201の画素値と同じまたは近い値であっても構わない。
例えば、方向パターン202を構成する1つの正方形を1ドットとすると、図形パターン203に対して、フィルタ範囲が横8ドットで、2周期の波(周波数)を検出する非線形フィルタを適用することで、方向パターン202の検出が可能である。
一般に、方向パターンが周波数、位相、振幅等の信号的特徴を有するパターンで構成されていれば、図形パターンの構成には制限はない。
図3は、図2以外の図形パターンの構成例を示している。図形パターン301は、図2の方向パターン202を図形パターン203とは逆方向に接続したものであり、図形パターン302は、基本パターンおよび方向パターンを縦方向に配置したものであり、図形パターン303は、基本パターンおよび方向パターンを斜め方向に配置したものである。
また、図形パターン304のように、基本パターンが直線以外で構成されていてもよい。図形パターン305は、基本パターンから方向パターン306を削除して作成されている。
このように、方向パターンは、基本パターンに対する所定の方向(上下左右、斜め方向等)を示しており、同一の基本パターンに異なる方向パターンを組み合わせることで、異なる情報を表すことが可能になる。
図2の図形パターン203は、例えば、図4に示されるように、2次元行列401として、電子透かし埋め込み装置のメモリに格納される。2次元行列401は、基本パターン201の部分を示す値“1”と、基本パターン201ではない部分を示す値“0”と、方向パターン202の部分を示す値“a”と、後述するパターンマッチングに使用しない部分を示す値“x”から構成される。
また、図3の図形パターン303を2次元行列で表現すると、図5のようになる。2次元行列501において、値“x”で示される部分は、パターンマッチングの際、背景にすべきか前景にすべきかわからない。このように、図形パターンが2次元行列で表現しにくい場合に、パターンマッチングに使用しない部分がドントケアとして定義される。
2次元行列401および501の各要素は、画像データの1画素に対応させてもよく、数画素に対応させてもよい。
図6は、このような図形パターンを埋め込んだ画像データの例を示している。画像データ601の文字の輪郭部分に、図形パターン301および302を埋め込むことで、画像データ602が得られる。
次に、図7から図18までを参照しながら、図形パターンを用いた電子透かし埋め込み装置の構成と動作について説明する。
図7は、電子透かし埋め込み装置の構成例を示している。電子透かし埋め込み装置701は、図形パターン入力部702、画像データ入力部703、埋め込み情報入力部704、図形パターン領域検出部705、情報埋め込み処理部706、および画像データ出力部707を備える。
図形パターン入力部702には図形パターン711が入力され、画像データ入力部703には画像データ712が入力され、埋め込み情報入力部704には埋め込み情報713が入力される。
以下の説明では、画像データ712の白画素領域が背景部分であり、黒画素領域が前景部分であることを前提として説明するが、本発明はこれに限定されるものでない。例えば、カラー画像の輝度値が高い部分を背景部分とし、輝度値が低い部分を前景部分とすれば、白黒画像以外の画像に対しても本発明は適用可能である。
図形パターン入力部702は、入力された図形パターン711の情報を、例えば、図4のような2次元行列の形式で格納する。この場合、同時に使用する数種類の図形パターンを図形パターン入力部702に入力してもよい。例えば、図8に示す図形パターン801〜804を入力すれば、画像データ712に対して4種類の図形パターンを埋め込むことができる。
埋め込み情報入力部704は、埋め込み情報713を透かし情報714として情報埋め込み処理部706に出力する。透かし情報714は、論理“0”または“1”で表されるビット列である。一方、埋め込み情報713は、テキストであっても数値であってもよい。
例えば、埋め込み情報713が英字テキストであれば、埋め込み情報入力部704は、埋め込み情報713中のテキストを、テキストに対応するASCII(登録商標)コードに変換し、透かし情報714として出力する。
また、検出精度を高めるため、誤り訂正符号を用いた符号ビットを追加して、透かし情報714を生成してもよい。例えば、57ビットの情報に6ビットのハミング符号を追加した63ビットの情報を透かし情報714として用いた場合、透かし情報714に対して1ビットのビット誤りを訂正することができる。
画像データ入力部703は、画像データ712を図形パターン領域検出部705と情報埋め込み処理部706に出力し、図形パターン入力部702は、図形パターン711の情報を図形パターン領域検出部705に出力する。
図形パターン領域検出部705は、画像データ712から図形パターン711を埋め込み可能な領域を検出する。情報埋め込み処理部706は、画像データ712と、図形パターン領域検出部705の処理結果と、透かし情報714とを用いて、画像データ712に透かし情報714を示す図形パターン711を埋め込んだ画像データを生成する。
情報埋め込み処理部706は、生成した画像データを画像データ出力部707に出力し、画像データ出力部707は、透かし情報714を埋め込んだ透かし入り画像データ715を出力する。透かし入り画像データ715は、プリンタ等で印刷してもよく、そのまま電子データとして保存してもよい。
図9は、図形パターン領域検出部705による図形パターン領域検出処理のフローチャートである。図形パターン領域検出部705は、まず、画像データ712からマッチング判定部分を読み込む(ステップ901)。読み込まれるマッチング判定部分の大きさは、埋め込まれる図形パターンの種類により異なる。
次に、パターンマッチング処理を行い(ステップ902)、マッチング判定部分が図形パターン711を構成する基本パターンと一致しているか否かを判定する(ステップ903)。
パターンマッチング処理では、基本パターンが画像データ712の前景に一致し、基本パターンではない部分が画像データの背景に一致しているか否かがチェックされる。このとき、例えば、2次元行列401の“a”および“x”が示すように、方向パターンの部分およびパターンマッチングに使用しない部分に対しては、パターンマッチング処理は行われない。
例えば、図形パターン203の2次元行列401の各要素を1ドットとすると、まず、画像データ712から8×3のサイズ(横8ドット、縦3ドット)の領域が取り出される。そして、取り出された領域と2次元行列401を重ね合わせて、以下の2つ条件が満たされるか否かがチェックされる。
(1)2次元行列401の“1”の部分全体に、画像データ712の前景が重なる。
(2)2次元行列401の“0”の部分全体に、画像データ712の背景が重なる。
ここでは、黒画素の画素値を“1”、白画素の画素値を“0”とし、図10に示すように、画像データf上の点(i,j)の画素値をf(i,j)とする。さらに、a×bのサイズの基本パターンt上の点(k,l)に対応する行列要素をt(k,l)として、パターンマッチング処理が行われる。2次元行列401の場合は、a=8、b=1である。このとき、次式の値が0になれば、点(i,j)において上記(1)の条件が満たされたことになる。
上記(2)の条件についても、基本パターンtの代わりに2次元行列401の“0”の部分を用いることで、チェックすることができる。
(1)および(2)の両方の条件が満たされれば、マッチング判定部分が基本パターンと一致するものとみなし、点(i,j)の座標をメモリに保存する(ステップ904)。このような処理を画像データ712全体に対して行うことで、図形パターン711を埋め込み可能な複数の図形パターン領域が検出される。
その後、情報埋め込み処理部706は、図形パターン711自身を用いて透かし情報714を埋め込むか、または、図形パターン711の近傍領域に透かし情報714を埋め込む。
図11は、図形パターン自身を用いて情報を埋め込む処理のフローチャートである。情報埋め込み処理部706は、まず、画像データ712の全体または一部を、複数の埋め込み領域に分割する(ステップ1101)。各埋め込み領域は、例えば、m×nのサイズ(横mドット、縦nドット、mおよびnは自然数)の矩形領域である。ただし、埋め込み領域の大きさは、図形パターン711より大きくする必要がある。
次に、各埋め込み領域に埋め込まれる透かし情報714に対応する図形パターン711を判定する(ステップ1102)。1つの埋め込み領域内に複数の図形パターン領域が存在していれば、その数の範囲内で1つ以上の図形パターン711を埋め込むことが可能である。また、透かし情報714に応じて、1種類の図形パターン711を単独で用いてもよく、数種類の図形パターン711を組み合わせて用いてもよい。
例えば、透かし情報714のビット列に応じて、図8の4種類の図形パターン801〜804を次のように組み合わせて用いる。
(a)例えば、先頭ビットのような、特定位置のビットが“1”の場合、図形パターン801と図形パターン804を埋め込む。
(b)特定位置のビットが“0”の場合、図形パターン802と図形パターン803を埋め込む。
(c)特定位置以外の位置のビットが“1”の場合、図形パターン801と図形パターン803を埋め込む。
(d)特定位置以外の位置のビットが“0”の場合、図形パターン802と図形パターン804を埋め込む。
このとき、各埋め込み領域に埋め込まれた2種類の図形パターンの組み合わせから、透かし情報714の1ビット判定と、透かし情報714の位置判定を、同時に行うことができる。ただし、2種類の図形パターンを埋め込み可能な領域が存在しない埋め込み領域には、1種類の図形パターンのみを埋め込むことにする。
透かし情報714の1ビットまたは数ビットを情報の単位とした情報列は、図12に示すように、情報列に対応する複数の埋め込み領域に連続的に埋め込まれる。図12には、先頭から番号0〜3で表された透かし情報列1201を埋め込む例として、3種類の方法が示されている。
領域1202では、透かし情報列1201が行方向に連続して埋め込まれており、領域1203では、透かし情報列1201が2×2のサイズの2次元行列として埋め込まれており、領域1204では、その2次元行列がずらして埋め込まれている。いずれの埋め込み方法を用いるかは、あらかじめパラメータとして埋め込み前に設定しておくのが望ましい。
次に、各埋め込み領域内において、図形パターン領域検出部705により検出された図形パターン領域に対して、透かし情報714に対応する方向パターンを挿入する(ステップ1103)。これにより、各埋め込み領域には、1種類または数種類の図形パターン711が埋め込まれる。
図13は、画像データ1301に対して、情報列“1101”を4つの埋め込み領域に分割して埋め込んだ場合の透かし入り画像データ715の例を示している。埋め込み領域1302には、先頭ビット“1”に対応する2種類の図形パターン801および804が埋め込まれ、埋め込み領域1303には、ビット“1”に対応する1種類の図形パターン801が埋め込まれている。さらに、埋め込み領域1304には、ビット“0”に対応する1種類の図形パターン804が埋め込まれ、埋め込み領域1305には、ビット“1”に対応する1種類の図形パターン803が埋め込まれている。
図14は、図11の情報埋め込み処理とは異なり、図形パターンの近傍領域に情報を埋め込む処理のフローチャートである。この場合、画像データ712に含まれる前景のエッジ部分に影を付けることで、情報が埋め込まれ、埋め込み位置を示す目印として図形パターン711が埋め込まれる。
情報埋め込み処理部706は、まず、情報が埋め込まれる埋め込み領域を決定する(ステップ1401)。ここでは、図形パターン領域検出部705により検出された図形パターン領域に埋め込み可能な図形パターン711の方向パターンに基づいて、埋め込み領域が決定される。方向パターンの形状と埋め込み領域が存在する方向があらかじめ対応付けられていれば、埋め込み領域は、基本パターンに対して方向パターンと同じ方向に存在してもよく、方向パターンと異なる方向に存在してもよい。
この埋め込み領域の形状は、埋め込まれる図形パターンに近接していれば、どのような形状でも構わないが、埋め込む情報よりも大きくする必要がある。例えば、埋め込み領域は、図形パターン711の上下左右のいずれかの方向に隣接する、m×nのサイズの矩形領域として設定される。この場合、透かし情報714がSビット(Sは自然数)であれば、m×nはS以上である。
次に、埋め込み領域の特徴量を算出する(ステップ1402)。埋め込み領域の特徴量は、画像データ712内で隣接する画素間が異なる、輪郭のエッジ部分の近傍画素数として算出される。したがって、特徴量は、画像データ712と、画像データ712を数画素移動させた画像データとの差分により算出することができる。
例えば、黒画素の画素値を“1”、白画素の画素値を“0”、画像データ712の横方向をx軸、縦方向をy軸、横xドット目、縦yドット目の画素値をf(x,y)(xおよびyは0以上の整数)と定義する。そして、f(x,y)と、右(x軸の正の方向)にiドット、下(y軸の正の方向)にjドットだけ離れた画素値f(x+i,y+j)(iおよびjは整数)とを比較し、次の(2)式または(3)式を満たす部分の画素数を特徴量とする。

f(x,y)=0 かつ f(x+i,y+j)=1 (2a)
f(x,y)=1 かつ f(x+i,y+j)=0 (2b)

そして、エッジ部分に影を付けるために、前景の画素数を増加または減少させる。画素数を増加させる場合は、(2a)式を満たすx、yに対してf(x,y)=1と設定し、画素数を減少させる場合は、(2b)式を満たすx、yに対してf(x,y)=0と設定する。こうして増減させた画素の画素値を変更することで、エッジ部分に情報が埋め込まれる。
図15は、i=−1、j=0とした場合に増減する画素を示している。画像データ1501の前景の画素数を減少させると、画像データ1502の黒画素に相当する部分が減少し、前景の画素数を増加させると、画像データ1503の黒画素に相当する部分が増加する。
画像データ1502および画像データ1503の一部を拡大すると、図16のようになる。画像データ1502の前景部分1601では、画素1611〜1613が情報埋め込み位置となり、画像データ1503の前景部分1602では、画素1621〜1623が情報埋め込み位置となる。
次に、ステップS1401で決定された埋め込み領域に、対応する図形パターン711の方向パターンを挿入する(ステップ1403)。ここで、異なる図形パターン711に対応する複数の埋め込み領域が重なっている場合は、上記特徴量が最も多い埋め込み領域を優先して、方向パターンを挿入する。
次に、方向パターンが挿入された埋め込み領域に対して、増減させた画素の画素値を変更することで情報を埋め込む(ステップ1404)。このとき、すべての埋め込み領域に同じ透かし情報714を埋め込んでもよく、透かし情報714を図形パターン711の種類に応じて分割して埋め込んでもよい。
例えば、埋め込みに使用する図形パターン711が4種類ある場合、透かし情報714を4分割した情報を、それぞれの図形パターン711に対応する埋め込み領域に埋め込むことができる。
ここでは、増減させた画素が前景の影に見えるように、情報が埋め込まれる。この影は、白と黒の中間となる画素値により表現される。各埋め込み領域において、透かし情報列を横方向または縦方向に並べることで、あるいはその両方の方向に並べることで、情報を埋め込むことができる。
例えば、影の画素値として、図17の画素値1701〜1703を使用し、透かし情報列の開始を意味する情報を画素値1702(0.5)に対応させ、ビット“1”および“0”をそれぞれ画素値1701(0.25)および画素値1703(0.75)に対応させる。
図18は、画像データ1801に対して透かし情報列“1101”を、埋め込み領域の横方向に埋め込んだ結果を示している。得られた画像データ1802の領域1803では、図形パターン804の右側に埋め込み領域が確保されており、影の画素1811〜1815が生成されている。
この例では、前景の画素数を減少させて影を付けているが、画像データ712全体における前景または背景の画素数を大きく変動させないためには、複数の埋め込み領域に対して、前景の画素数をランダムに増減させることが望ましい。
また、情報が埋め込まれた透かし入り画像データ715を出力する際に、画像データ出力部707において影の画素がディザリングにより2値化されても構わないが、ディザリング後の画素のパターンが方向パターンの周期と一致しないように、影の濃度を変更する必要がある。
次に、図19から図27までを参照しながら、透かし入り画像データから埋め込まれた情報を検出する電子透かし検出装置の構成と動作について説明する。
図19は、電子透かし検出装置の構成例を示している。電子透かし検出装置1901は、画像データ入力部1902、図形パターン入力部1903、図形パターン検出部1904、情報検出処理部1905、および情報出力部1906を備える。
ここでは、透かし入り印刷物をスキャナ装置で読み込んだ透かし入り画像データ1911から、情報を検出することを想定しているが、それ以外にも、電子データとして保存された、図7の透かし入り画像データ715を透かし入り画像データ1911として入力しても構わない。
まず、画像データ入力部1902に透かし入り画像データ1911が入力され、同時に、図形パターン入力部1903に図形パターン1912が入力される。図形パターン1912としては、電子透かし埋め込み装置701に入力される図形パターン711と同一のものが入力される。入力された透かし入り画像データ1911と図形パターン1912は、図形パターン検出部1904に送られる。
次に、図形パターン検出部1904は、透かし入り画像データ1911から図形パターン1912が埋め込まれている箇所を検出し、情報検出処理部1905は、図形パターン検出部1904の検出結果から、埋め込まれている透かし情報1913を検出する。
そして、情報出力部1906は、透かし情報1913を埋め込み情報1914に変換して出力する。透かし情報1913に誤り訂正符号が含まれている場合、情報出力部1709により誤りビットの訂正処理を行うことで、検出精度が向上する。こうして、情報出力部1906から出力された埋め込み情報1914が、透かし入り画像データ1911に埋め込まれていた情報として保存される。
図20は、図形パターン検出部1904による図形パターン検出処理のフローチャートである。図形パターン検出部1904は、まず、透かし入り画像データ1911に非線形フィルタを適用することで、希望する図形パターン1912の方向パターンを検出する(ステップ2001)。
非線形フィルタとしては、方向パターンの周波数、位相、振幅等の信号的特徴を検出できるものであれば、どのようなフィルタを用いてもよい。例えば、n番目のパターンの画素値(0〜255)をx(n)(n=0,1,...,N−1)として、次式で表される1次元フーリエ変換を非線形フィルタとして用いてもよい。
図21は、方向パターン2101に対して(3)式の1次元フーリエ変換を適用した結果を示している。方向パターン2101は、横方向に並んだ8ドットの画素から構成されているので、N=8となる。この例では、k=0,1,2,...,7に対して、X(k)の振幅|X(k)|がグラフで表されており、方向パターン2101は周期2の波(周波数)であるため、フーリエ変換後はk=2およびk=6における振幅が大きいことがわかる。フーリエ変換の性質上、k=0では常に振幅が大きくなる。
このように、透かし入り画像データ1911から方向パターン2101の大きさに対応する領域を取り出し、その領域に対してフーリエ変換を行い、方向パターンの周期に対応するk>0の振幅が所定の閾値より大きい領域を見つけることで、方向パターンを検出することができる。なお、透かし入り画像データ1911の前景領域のみに対して非線形フィルタを適用すれば、処理を高速化することができる。
例えば、図22の透かし入り画像データ2201に非線形フィルタを適用すると、画像データ2202に示されるような方向パターンが検出される。
次に、検出された方向パターンの周辺に対して、図形パターン全体を用いたパターンマッチング処理を行う(ステップ2002)。
一般に、方向パターンを検出しただけでは、その領域に希望する図形パターン1912が埋め込まれているか否かは判別できない。例えば、透かし入り画像データ1911に、図8の図形パターン801と図形パターン802を埋め込んだ場合、方向パターンを検出しただけでは、どちらの図形パターンであるかを判別することはできない。図形パターン803と図形パターン804を埋め込んだ場合も同様である。
そこで、方向パターンの周辺に対して図形パターン全体を用いたパターンマッチング処理を行うことで、図22の画像データ2203に示されるように、埋め込まれた図形パターン1912を判別することができる。判別された図形パターン1912の種類は、メモリに記録される(ステップ2003)。
このように、透かし入り画像データ1911内に分散して配置された図形パターン1912の方向パターンに注目して検出処理を行うことで、画像の一部が切り取られた場合や、印刷またはコピーにより輪郭部分がかすれたり、ぼやけたりした場合でも、図形パターン1912を検出することが可能となる。
前述したように、透かし情報1913の埋め込み方法として2種類の方法が考えられるため、採用された埋め込み方法に応じて検出方法も異なってくる。情報検出処理部1905は、図形パターン1912自身から透かし情報1913を検出するか、または、図形パターン1912の近傍領域から透かし情報1913を検出する。
図23は、図形パターン自身から情報を検出する処理のフローチャートである。情報検出処理部1905は、まず、検出された図形パターン1912から埋め込み領域の境界判定を行う(ステップ2301)。
各埋め込み領域は、前述したように、m×nのサイズの矩形領域である。例えば、この埋め込み領域に埋め込まれた図形パターン1912の種類により1ビットを判定する場合、透かし入り画像データ1911から、Am×Bnのサイズの矩形領域R(AおよびBは任意の自然数)を取り出す。そして、この矩形領域Rを横mドット、縦nドットの範囲で1ドットずつずらして、次式の値を計算する。
矩形領域Rを、m×nのサイズを持つA×B個の矩形領域に分割したとき、C(k,l)は、左からk番目かつ上からl番目の矩形領域r(k,l)において、ビット“1”に対応する図形パターン1912の数を表す。また、D(k,l)は、その矩形領域においてビット“0”に対応する図形パターン1912の数を表す。
矩形領域Rが埋め込み領域の境界に一致していれば、各矩形領域r(k,l)内には、ビット“1”または“0”のいずれか一方に対応する図形パターン1912のみが含まれるため、(4)式の値が最も大きくなる。これに対して、矩形領域Rが埋め込み領域の境界からずれていれば、各矩形領域r(k,l)内には、ビット“1”および“0”に対応する図形パターン1912が混在するため、(4)式の値は小さくなる。そこで、(4)式の値が最も大きくなる箇所が、矩形領域の境界と判定される。
例えば、図24の矩形領域2401を矩形領域Rとして、2×2個の矩形領域に分割した場合、A=B=2として、矩形領域2401を上下左右にずらしながら、(4)式の値が計算される。
次に、透かし情報の開始位置を検出する(ステップ2302)。透かし情報の開始位置は、各埋め込み領域に埋め込まれた図形パターン1912の種類から判別される。例えば、図8の4種類の図形パターン801〜804を、前述した(a)〜(d)のように組み合わせて情報を埋め込んだ場合、各埋め込み領域において、次式の値を計算する。

|(図形パターン801の数)−(図形パターン802の数)
−(図形パターン803の数)+(図形パターン804の数)| (5)

透かし情報列における先頭位置のような、特定位置に対応する(5)式の値は、他の位置と比較すると大きくなるため、(5)式により透かし情報の開始位置を特定することが可能である。
埋め込み領域から図形パターン1912が1種類のみ検出された場合、または、図形パターン1912がまったく検出できなかった場合は、同じ透かし情報列に対応する複数の埋め込み領域における図形パターン1912の数を合計して、(5)式を計算してもよい。
例えば、図12の領域1202の場合、透かし情報列1201の情報“0”、“1”、“2”、および“3”に対応するすべての埋め込み領域から、図形パターン801〜804の種類と数が計算される。
前述した(a)〜(d)の組み合わせにより、各埋め込み領域に含まれている情報の位置が指定されているため、特定位置の図形パターンが検出できれば、各埋め込み領域に含まれている情報の順序番号を決定することができる。
次に、各埋め込み領域に埋め込まれた図形パターン1912の種類から、透かし情報1913を判定する。透かし情報1913の判定では、同じ情報が埋め込まれているすべての埋め込み領域から図形パターン1912の種類と数を算出して、多数決判定を行ってもよい。あるいは、1次元方向または2次元行列の連続的な透かし情報を判定してもよい。
上述した例では、透かし情報列の特定位置に対して次式の値を計算し、その値が0より大きければビット“1”と判定し、0より小さければビット“0”と判定する。

(図形パターン801の数)−(図形パターン802の数)
−(図形パターン803の数)+(図形パターン804の数) (6)

また、特定位置以外の位置に対しては次式の値を計算し、その値が0より大きければビット“1”と判定し、0より小さければビット“0”と判定する。

(図形パターン801の数)−(図形パターン802の数)
+(図形パターン803の数)−(図形パターン804の数) (7)

図25は、図形パターンの近傍領域から情報を検出する処理のフローチャートである。この場合、情報検出処理部1905は、まず、検出された図形パターン1912の方向パターンに基づいて、埋め込み領域を抽出し(ステップ2501)、抽出された各埋め込み領域の特徴量を算出する(ステップ2502)。埋め込み領域の特徴量としては、エッジ部分の画素値が算出される。そして、得られた特徴量から透かし情報1914を判定する(ステップ2503)。例えば、すべての埋め込み領域から情報を算出し、多数決判定を用いて透かし情報1914が判定される。
図14のステップS1404の処理により、図形パターン1912の近傍画素に影として情報が埋め込まれているが、印刷やコピー等により影部分がかすれたり、ぼやけたりする可能性がある。
図21は、透かし入り画像データ1911において、情報が埋め込まれているエッジ部分のラインと画素値の関係を示している。横軸は、透かし入り画像データ1911内の横方向または縦方向の画素列を表し、縦軸は、各画素の画素値を表している。このうち、影として埋め込まれた画素値2601は、印刷やコピー等により画素値2602のように変化する可能性がある。
そこで、ステップ2503では、影部分と隣接する前景部分の画素値の勾配と、影部分と隣接する背景部分の画素値の勾配の差を算出して、埋め込まれている情報が判定される。例えば、注目画素の近傍画素に対して、図27に示すような横方向ソーベル(Sobel )フィルタ2701および縦方向ソーベルフィルタ2702を適用することで、画素値の勾配が求められる。
注目画素の座標を(i,j)、点(i,j)の画素値をf(i,j)とすると、横方向ソーベルフィルタ2701の出力Gxと、縦方向ソーベルフィルタ2702の出力Gyは、それぞれ次式のようになる。

Gx=f(i−1,j−1)+2f(i−1,j)+f(i−1,j+1)
−f(i+1,j−1)−2f(i+1,j)−f(i+1,j+1) (8)
Gy=f(i−1,j−1)+2f(i,j−1)+f(i+1,j−1)
−f(i−1,j+1)−2f(i,j+1)−f(i+1,j+1) (9)

勾配の大きさGは、GxおよびGyを用いて、次式により計算される。

G=|Gx|+|Gy| (10)

例えば、図17に示した影の画素値を使用して、白画素から黒画素へ変化する場合の勾配を考えると、次の不等式が成立する。

(白→黒の勾配の大きさ)>(白→画素値1703の勾配の大きさ)>
(白→画素値1702の勾配の大きさ)>(白→画素値1701の勾配の大きさ)
(11)

したがって、勾配の大きさにより影の種類が判別できるため、情報の判別が可能となる。
ところで、図7の電子透かし埋め込み装置701と図19の電子透かし検出装置1901は、例えば、図28に示すような情報処理装置(コンピュータ)を用いて構成される。図28の情報処理装置は、CPU(中央処理装置)2801、メモリ2802、入力装置2803、出力装置2804、外部記憶装置2805、媒体駆動装置2806、およびネットワーク接続装置2807を備え、それらはバス2808により互いに接続されている。
メモリ2802は、例えば、ROM(read only memory)、RAM(random access memory)等を含み、処理に用いられるプログラムおよびデータを格納する。CPU2801は、メモリ2802を利用してプログラムを実行することにより、上述した処理を行う。
この場合、図7の図形パターン入力部702、画像データ入力部703、埋め込み情報入力部704、図形パターン領域検出部705、情報埋め込み処理部706、および画像データ出力部707と、図19の画像データ入力部1902、図形パターン入力部1903、図形パターン検出部1904、情報検出処理部1905、および情報出力部1906は、メモリ2802に格納されたプログラムに対応する。
入力装置2803は、例えば、キーボード、ポインティングデバイス等であり、オペレータからの指示や情報の入力に用いられる。出力装置2804は、例えば、ディスプレイ、プリンタ、スピーカ等であり、オペレータへの問い合わせや処理結果の出力に用いられる。
外部記憶装置2805は、例えば、磁気ディスク装置、光ディスク装置、光磁気ディスク装置、テープ装置等である。情報処理装置は、この外部記憶装置2805に、プログラムおよびデータを格納しておき、必要に応じて、それらをメモリ2802にロードして使用する。
媒体駆動装置2806は、可搬記録媒体2809を駆動し、その記録内容にアクセスする。可搬記録媒体2809は、メモリカード、フレキシブルディスク、光ディスク、光磁気ディスク等の任意のコンピュータ読み取り可能な記録媒体である。オペレータは、この可搬記録媒体2809にプログラムおよびデータを格納しておき、必要に応じて、それらをメモリ2802にロードして使用する。
ネットワーク接続装置2807は、LAN(local area network)等の通信ネットワークに接続され、通信に伴うデータ変換を行う。また、情報処理装置は、必要に応じて、プログラムおよびデータを外部の装置からネットワーク接続装置2807を介して受け取り、それらをメモリ2802にロードして使用する。
図29は、図28の情報処理装置にプログラムおよびデータを提供する方法を示している。可搬記録媒体2809やサーバ2901のデータベース2911に格納されたプログラムおよびデータは、情報処理装置2902のメモリ2802にロードされる。サーバ2901は、そのプログラムおよびデータを搬送する搬送信号を生成し、通信ネットワーク上の任意の伝送媒体を介して情報処理装置2902に送信する。CPU2801は、そのデータを用いてそのプログラムを実行し、上述した処理を行う。
(付記1)画像データに情報を埋め込む電子透かし埋め込み装置であって、
前記画像データ内の背景以外の領域から、埋め込み情報または埋め込み情報が存在する領域の位置を表す図形パターンを埋め込み可能な図形パターン領域を検出する検出手段と、
検出された図形パターン領域に前記図形パターンを埋め込んで、透かし入り画像データを生成する埋め込み手段と
を備えることを特徴とする電子透かし埋め込み装置。
(付記2)画像データに情報を埋め込むコンピュータのためのプログラムであって、
前記画像データ内の背景以外の領域から、埋め込み情報または埋め込み情報が存在する領域の位置を表す図形パターンを埋め込み可能な図形パターン領域を検出し、
検出された図形パターン領域に前記図形パターンを埋め込んで、透かし入り画像データを生成する
処理を前記コンピュータに実行させることを特徴とするプログラム。
(付記3)前記図形パターンは、フィルタにより検出可能な信号的特徴を有することを特徴とする付記2記載のプログラム。
(付記4)前記図形パターンは、基本パターンと、該基本パターンに対する所定の方向を示す方向パターンとを含むことを特徴とする付記2または3記載のプログラム。
(付記5)前記図形パターンを構成する基本パターンと、前記背景以外の領域とのパターンマッチングを行うことで、前記図形パターン領域を検出する処理を、前記コンピュータに実行させることを特徴とする付記2、3、または4記載のプログラム。
(付記6)前記画像データを複数の埋め込み領域に分割し、それぞれの埋め込み領域に含まれる図形パターン領域に、前記埋め込み情報に応じて複数種類の図形パターンのいずれかを埋め込む処理を、前記コンピュータに実行させることを特徴とする付記2、3、4、または5記載のプログラム。
(付記7)埋め込まれた図形パターンの近傍領域に前記埋め込み情報を埋め込む処理を、前記コンピュータに実行させることを特徴とする付記2、3、4、または5記載のプログラム。
(付記8)前記図形パターンの近傍領域に、複数の異なる画素値を有し、前記埋め込み情報を表す複数の画素を生成することで、前記埋め込み情報を埋め込む処理を、前記コンピュータに実行させることを特徴とする付記7記載のプログラム。
(付記9)透かし入り画像データに埋め込まれた情報を検出するコンピュータのためのプログラムであって、
前記透かし入り画像データ内の背景以外の領域から図形パターンを検出し、
検出された図形パターンが表す埋め込み情報、または、検出された図形パターンが表す位置にある領域に存在する埋め込み情報を検出する
処理を前記コンピュータに実行させることを特徴とするプログラム。
(付記10)前記図形パターンが有する信号的特徴をフィルタにより検出することで、該図形パターンを検出する処理を、前記コンピュータに実行させることを特徴とする付記9記載のプログラム。
(付記11)前記図形パターンに含まれる基本パターンに対する所定の方向を示す方向パターンを検出し、該基本パターンと該方向パターンを含む該図形パターンと、検出された方向パターンの周辺領域とのパターンマッチングを行うことで、該図形パターンを検出する処理を、前記コンピュータに実行させることを特徴とする付記9または10記載のプログラム。
(付記12)前記透かし入り画像データ内の複数の埋め込み領域の境界を判定し、検出された複数の図形パターンのうち、それぞれの埋め込み領域に属する図形パターンの種類から、該図形パターンが表す埋め込み情報を検出する処理を、前記コンピュータに実行させることを特徴とする付記9、10、または11記載のプログラム。
(付記13)前記検出された図形パターンが表す位置にある領域内の複数の画素から画素値を抽出し、抽出された画素値を用いて前記埋め込み情報を検出する処理を、前記コンピュータに実行させることを特徴とする付記9、10、または11記載のプログラム。
本発明の電子透かし埋め込み装置の原理図である。 図形パターンを示す図である。 様々な図形パターンを示す図である。 第1の図形パターンの格納方法を示す図である。 第2の図形パターンの格納方法を示す図である。 第1の図形パターン埋め込み処理を示す図である。 電子透かし埋め込み装置の構成図である。 4種類の図形パターンを示す図である。 図形パターン領域検出処理のフローチャートである。 パターンマッチングを示す図である。 第1の情報埋め込み処理のフローチャートである。 3種類の埋め込み方法を示す図である。 第2の図形パターン埋め込み処理を示す図である。 第2の情報埋め込み処理のフローチャートである。 情報埋め込み位置を示す図である。 情報埋め込み位置の拡大図である。 影の画素値を示す図である。 情報埋め込み処理を示す図である。 電子透かし検出装置の構成図である。 図形パターン検出処理のフローチャートである。 非線形フィルタ処理を示す図である。 図形パターン検出処理を示す図である。 第1の情報検出処理のフローチャートである。 境界判定処理を示す図である。 第1の情報検出処理のフローチャートである。 影の画素値の変動を示す図である。 ソーベルフィルタを示す図である。 情報処理装置の構成図である。 プログラムおよびデータの提供方法を示す図である。
符号の説明
101 検出手段
102 埋め込み手段
111、601、602、712、1301、1501、1502、1503、1801、1802、2201、2202、2203 画像データ
112、713、1914 埋め込み情報
113、203、301、302、303、304、305、711、801、802、803、804、1912 図形パターン
114、715、1911 透かし入り画像データ
201 基本パターン
202、306、2101 方向パターン
401、501 2次元行列
701 電子透かし埋め込み装置
702 図形パターン入力部
703 画像データ入力部
704 埋め込み情報入力部
705 図形パターン領域検出部
706 情報埋め込み処理部
707 画像データ出力部
714、1913 透かし情報
1201 透かし情報列
1202、1203、1204、1803 領域
1301、1302、1303、1304 埋め込み領域
1601、1602 前景部分
1611、1612、1613、1621、1622、1623、1811、1812、1813、1814、1815 画素
1701、1702、1703、2601、2602 画素値
1901 電子透かし検出装置
1902 画像データ入力部
1903 図形パターン入力部
1904 図形パターン検出部
1905 情報検出処理部
1906 情報出力部
2401 矩形領域
2701 横方向ソーベルフィルタ
2702 縦方向ソーベルフィルタ
2801 CPU
2802 メモリ
2803 入力装置
2804 出力装置
2805 外部記憶装置
2806 媒体駆動装置
2807 ネットワーク接続装置
2808 バス
2809 可搬記録媒体
2901 サーバ
2902 情報処理装置
2911 データベース

Claims (10)

  1. 画像データに情報を埋め込む電子透かし埋め込み装置であって、
    前記画像データ内の背景以外の領域から、埋め込み情報または埋め込み情報が存在する領域の位置を表す図形パターンを埋め込み可能な図形パターン領域を検出する検出手段と、
    検出された図形パターン領域に前記図形パターンを埋め込んで、透かし入り画像データを生成する埋め込み手段と
    を備えることを特徴とする電子透かし埋め込み装置。
  2. 画像データに情報を埋め込むコンピュータのためのプログラムであって、
    前記画像データ内の背景以外の領域から、埋め込み情報または埋め込み情報が存在する領域の位置を表す図形パターンを埋め込み可能な図形パターン領域を検出し、
    検出された図形パターン領域に前記図形パターンを埋め込んで、透かし入り画像データを生成する
    処理を前記コンピュータに実行させることを特徴とするプログラム。
  3. 前記図形パターンは、フィルタにより検出可能な信号的特徴を有することを特徴とする請求項2記載のプログラム。
  4. 前記図形パターンを構成する基本パターンと、前記背景以外の領域とのパターンマッチングを行うことで、前記図形パターン領域を検出する処理を、前記コンピュータに実行させることを特徴とする請求項2または3記載のプログラム。
  5. 前記画像データを複数の埋め込み領域に分割し、それぞれの埋め込み領域に含まれる図形パターン領域に、前記埋め込み情報に応じて複数種類の図形パターンのいずれかを埋め込む処理を、前記コンピュータに実行させることを特徴とする請求項2、3、または4記載のプログラム。
  6. 埋め込まれた図形パターンの近傍領域に前記埋め込み情報を埋め込む処理を、前記コンピュータに実行させることを特徴とする請求項2、3、または4記載のプログラム。
  7. 透かし入り画像データに埋め込まれた情報を検出するコンピュータのためのプログラムであって、
    前記透かし入り画像データ内の背景以外の領域から図形パターンを検出し、
    検出された図形パターンが表す埋め込み情報、または、検出された図形パターンが表す位置にある領域に存在する埋め込み情報を検出する
    処理を前記コンピュータに実行させることを特徴とするプログラム。
  8. 前記図形パターンが有する信号的特徴をフィルタにより検出することで、該図形パターンを検出する処理を、前記コンピュータに実行させることを特徴とする請求項7記載のプログラム。
  9. 前記透かし入り画像データ内の複数の埋め込み領域の境界を判定し、検出された複数の図形パターンのうち、それぞれの埋め込み領域に属する図形パターンの種類から、該図形パターンが表す埋め込み情報を検出する処理を、前記コンピュータに実行させることを特徴とする請求項7または8記載のプログラム。
  10. 前記検出された図形パターンが表す位置にある領域内の複数の画素から画素値を抽出し、抽出された画素値を用いて前記埋め込み情報を検出する処理を、前記コンピュータに実行させることを特徴とする請求項7または8記載のプログラム。
JP2006266015A 2006-09-28 2006-09-28 電子透かし埋め込み装置および検出装置 Expired - Fee Related JP5015540B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2006266015A JP5015540B2 (ja) 2006-09-28 2006-09-28 電子透かし埋め込み装置および検出装置
EP07018936.0A EP1906645B1 (en) 2006-09-28 2007-09-26 Electronic watermark embedment apparatus and electronic watermark detection apparatus
US11/862,592 US8160294B2 (en) 2006-09-28 2007-09-27 Electronic watermark embedment apparatus and electronic watermark detection apparatus
KR1020070098446A KR100911973B1 (ko) 2006-09-28 2007-09-28 전자 워터마크 매립 장치 및 검출 장치
CN2007101617009A CN101155239B (zh) 2006-09-28 2007-09-28 电子水印嵌入装置及检测装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006266015A JP5015540B2 (ja) 2006-09-28 2006-09-28 電子透かし埋め込み装置および検出装置

Publications (2)

Publication Number Publication Date
JP2008085920A true JP2008085920A (ja) 2008-04-10
JP5015540B2 JP5015540B2 (ja) 2012-08-29

Family

ID=38656478

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006266015A Expired - Fee Related JP5015540B2 (ja) 2006-09-28 2006-09-28 電子透かし埋め込み装置および検出装置

Country Status (5)

Country Link
US (1) US8160294B2 (ja)
EP (1) EP1906645B1 (ja)
JP (1) JP5015540B2 (ja)
KR (1) KR100911973B1 (ja)
CN (1) CN101155239B (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010136331A (ja) * 2008-12-08 2010-06-17 Mitsubishi Electric Research Laboratories Inc 文書内にメッセージを埋め込む方法及び読取り可能媒体上に格納される文書
JP2013519963A (ja) * 2010-02-16 2013-05-30 イクステンシス インク. 未承認フォントのリンクの防止
US8588414B2 (en) 2007-05-30 2013-11-19 Fujitsu Limited Image encryption and image decryption apparatus and method

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4862942B2 (ja) * 2007-03-14 2012-01-25 コニカミノルタビジネステクノロジーズ株式会社 画像処理装置、画像処理方法およびそのプログラム
US8325970B2 (en) * 2007-03-19 2012-12-04 Ricoh Company, Limited Apparatus, method, and computer product for image processing
US8275168B2 (en) * 2009-08-28 2012-09-25 Seiko Epson Corporation Orientation free watermarking message decoding from document scans
CN101976194A (zh) 2010-10-29 2011-02-16 中兴通讯股份有限公司 一种设置用户界面的方法及装置
US8942484B2 (en) * 2011-09-06 2015-01-27 Qualcomm Incorporated Text detection using image regions
CN104102666B (zh) * 2013-04-11 2017-11-07 宏碁股份有限公司 数据分享系统及其数据分享方法
US9275428B2 (en) * 2014-03-20 2016-03-01 Xerox Corporation Dark to light watermark without special materials
CN105469082B (zh) * 2014-09-12 2019-02-26 威海新北洋荣鑫科技股份有限公司 金融票据处理方法和装置
JP2017124527A (ja) * 2016-01-13 2017-07-20 株式会社リコー 画像形成装置及び通知方法
US20180130108A1 (en) * 2016-11-09 2018-05-10 Morphotrust Usa, Llc Embedding security information in an image
WO2018126187A1 (en) 2016-12-30 2018-07-05 Jones Robert L Embedded variable line patterns
CN108665403B (zh) 2017-03-29 2022-06-24 腾讯科技(深圳)有限公司 数字水印嵌入方法、提取方法、装置及数字水印系统
KR101989170B1 (ko) * 2018-02-02 2019-06-14 주식회사 엘아이텍 문건 식별정보 삽입장치 및 방법
CN110865856B (zh) * 2018-08-27 2022-04-22 华为技术有限公司 一种界面元素颜色显示方法及装置
US11314996B1 (en) 2019-06-04 2022-04-26 Idemia Identity & Security USA LLC Embedded line patterns using square-wave linecode
WO2021056183A1 (en) * 2019-09-24 2021-04-01 Citrix Systems, Inc. Watermarks for text content
US11841955B2 (en) * 2020-04-23 2023-12-12 The Nielsen Company (Us), Llc Methods and apparatus to encrypt media for identification

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07307861A (ja) * 1994-05-16 1995-11-21 Minolta Co Ltd 画像処理装置
JP2000059610A (ja) * 1998-08-07 2000-02-25 Ricoh Co Ltd 画像処理装置および画像処理方法および情報記録媒体
JP2001251490A (ja) * 2000-03-06 2001-09-14 Ricoh Co Ltd 印刷制御装置、複写機、印刷制御方法、複写制御方法、印刷制御プログラムを記録した媒体及び複写制御プログラムを記録した媒体
JP2006259795A (ja) * 2005-03-15 2006-09-28 Toshiba Corp 文字認識用の帳票、文字認識装置、文字認識プログラムおよび文字認識方法

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3373811B2 (ja) * 1999-08-06 2003-02-04 インターナショナル・ビジネス・マシーンズ・コーポレーション 白黒2値文書画像への透かし情報埋め込み・検出方法及びその装置
JP2001144944A (ja) * 1999-11-16 2001-05-25 Hitachi Ltd 印刷物および印刷システム
US7006257B1 (en) * 1999-11-19 2006-02-28 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium
US6526155B1 (en) * 1999-11-24 2003-02-25 Xerox Corporation Systems and methods for producing visible watermarks by halftoning
US6801636B2 (en) * 2000-01-31 2004-10-05 Canon Kabushiki Kaisha Image processing apparatus and method, and storage medium
JP2001275115A (ja) * 2000-03-23 2001-10-05 Nec Corp 電子すかしデータ挿入装置および検出装置
JP4218920B2 (ja) * 2000-04-07 2009-02-04 キヤノン株式会社 画像処理装置及び画像処理方法並びに記憶媒体
JP3837999B2 (ja) 2000-06-05 2006-10-25 富士ゼロックス株式会社 画像生成方法および画像生成装置
US7095870B2 (en) * 2000-12-21 2006-08-22 Hitachi, Ltd. Electronic watermark embedding apparatus and method and a format conversion device having a watermark embedding function
US7174030B2 (en) * 2001-02-06 2007-02-06 Victor Company Of Japan, Ltd. Method and apparatus for embedding and reproducing watermark into and from contents data
JP3581960B2 (ja) 2001-03-13 2004-10-27 株式会社フクハラ 自動ドレン排出方法および装置
JP3628312B2 (ja) 2001-07-18 2005-03-09 沖電気工業株式会社 透かし情報埋め込み装置,及び,透かし情報検出装置
JP3937841B2 (ja) * 2002-01-10 2007-06-27 キヤノン株式会社 情報処理装置及びその制御方法
US7321667B2 (en) * 2002-01-18 2008-01-22 Digimarc Corporation Data hiding through arrangement of objects
JP2003230001A (ja) * 2002-02-01 2003-08-15 Canon Inc 文書用電子透かし埋め込み装置及び文書用電子透かし抽出装置並びにそれらの制御方法
JP3960959B2 (ja) * 2002-11-08 2007-08-15 三洋電機株式会社 電子透かし埋め込み装置と方法ならびに電子透かし抽出装置と方法
JP4194462B2 (ja) * 2002-11-12 2008-12-10 キヤノン株式会社 電子透かし埋め込み方法、電子透かし埋め込み装置、及びそれらを実現するプログラム並びにコンピュータ可読記憶媒体
JP4193665B2 (ja) 2003-03-05 2008-12-10 株式会社日立製作所 二値画像用電子透かし方法
US20050063562A1 (en) * 2003-08-07 2005-03-24 Brunk Hugh L. Conveying fingerprint minutiae with digital watermarks
JP2005150815A (ja) * 2003-11-11 2005-06-09 Oki Electric Ind Co Ltd 透かし情報埋め込み装置,透かし情報検出装置,透かし情報埋め込み方法,透かし情報検出方法,および印刷物
JP2005192001A (ja) * 2003-12-26 2005-07-14 Toshiba Corp 電子透かし埋め込み方法および電子透かし埋め込み装置
CN1635533A (zh) 2003-12-30 2005-07-06 刘瑞祯 数字印章系统
US8032754B2 (en) * 2004-01-09 2011-10-04 Microsoft Corporation Systems and methods for embedding media forensic identification markings
JP4534519B2 (ja) 2004-02-20 2010-09-01 沖電気工業株式会社 電子透かし埋め込み装置及び電子透かし検出装置
JP3930502B2 (ja) * 2004-03-29 2007-06-13 沖電気工業株式会社 品質調整システムおよび透かし品質検査装置
JP4791710B2 (ja) * 2004-06-24 2011-10-12 セイコーエプソン株式会社 印刷装置、プログラム、印刷システムおよび印刷制御方法
JP4324058B2 (ja) 2004-08-31 2009-09-02 キヤノン株式会社 画像処理装置及びその方法
JP2006121656A (ja) 2004-09-24 2006-05-11 Ricoh Co Ltd 電子透かし埋込装置、電子透かし埋込方法、その方法をコンピュータに実行させるためのプログラム
JP2006108994A (ja) 2004-10-04 2006-04-20 Konica Minolta Business Technologies Inc 画像処理方法および装置
JP2006166282A (ja) * 2004-12-10 2006-06-22 Oki Electric Ind Co Ltd 情報埋め込み装置および情報抽出装置
JP4319157B2 (ja) * 2005-03-03 2009-08-26 株式会社リコー 画像処理方法、改ざん検出方法、画像処理装置、改ざん検出装置
CN100583191C (zh) * 2005-06-17 2010-01-20 鸿富锦精密工业(深圳)有限公司 文本加密系统及方法
CN1322470C (zh) 2005-07-04 2007-06-20 杭州天谷信息科技有限公司 一种抗数模模数变换过程的数字水印防伪方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07307861A (ja) * 1994-05-16 1995-11-21 Minolta Co Ltd 画像処理装置
JP2000059610A (ja) * 1998-08-07 2000-02-25 Ricoh Co Ltd 画像処理装置および画像処理方法および情報記録媒体
JP2001251490A (ja) * 2000-03-06 2001-09-14 Ricoh Co Ltd 印刷制御装置、複写機、印刷制御方法、複写制御方法、印刷制御プログラムを記録した媒体及び複写制御プログラムを記録した媒体
JP2006259795A (ja) * 2005-03-15 2006-09-28 Toshiba Corp 文字認識用の帳票、文字認識装置、文字認識プログラムおよび文字認識方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8588414B2 (en) 2007-05-30 2013-11-19 Fujitsu Limited Image encryption and image decryption apparatus and method
JP2010136331A (ja) * 2008-12-08 2010-06-17 Mitsubishi Electric Research Laboratories Inc 文書内にメッセージを埋め込む方法及び読取り可能媒体上に格納される文書
JP2013519963A (ja) * 2010-02-16 2013-05-30 イクステンシス インク. 未承認フォントのリンクの防止

Also Published As

Publication number Publication date
EP1906645A1 (en) 2008-04-02
KR100911973B1 (ko) 2009-08-13
JP5015540B2 (ja) 2012-08-29
CN101155239B (zh) 2012-11-28
KR20080029933A (ko) 2008-04-03
US20080080738A1 (en) 2008-04-03
EP1906645B1 (en) 2017-01-04
CN101155239A (zh) 2008-04-02
US8160294B2 (en) 2012-04-17

Similar Documents

Publication Publication Date Title
JP5015540B2 (ja) 電子透かし埋め込み装置および検出装置
JP3592545B2 (ja) 画像処理装置および画像処理方法および情報記録媒体
JP4510092B2 (ja) 電子透かしの埋め込み及び検出
US7499565B2 (en) Method of watermarking for binary images
JP4296126B2 (ja) スクリーン作成装置
JP2008085695A (ja) 電子透かし埋め込み装置および検出装置
US8270663B2 (en) Watermarked information embedding apparatus
JP2010157993A (ja) 文書内にメッセージを埋め込む方法、及び距離場を使用して文書内にメッセージを埋め込む方法
JP5085349B2 (ja) 分散型微小セキュリティ・マークを埋め込むためのシステム及び方法
US8588460B2 (en) Electronic watermark embedding device, electronic watermark detecting device, and programs therefor
JP4595014B2 (ja) 電子透かし埋め込み装置および検出装置
US20100142756A1 (en) Document security method
JP4469301B2 (ja) 情報埋め込み装置、印刷用媒体、および、情報読み取り装置
JP4061143B2 (ja) 画像処理装置および画像処理方法
JP2006222572A (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP2006237858A (ja) 画像処理装置、画像処理方法、その方法をコンピュータに実行させるプログラム、および記録媒体
JP4285300B2 (ja) 情報埋め込み装置を実現するプログラム,および,情報読み取り装置を実現するプログラム
JP3780181B2 (ja) 画像処理装置及びデータ処理装置とその方法及び記憶媒体
JP2007097189A (ja) 情報埋め込み装置、画像形成装置及び情報埋め込み方法
JP2008085579A (ja) 情報埋め込み装置、情報読み取り装置、情報埋め込み方法、情報読み取り方法、およびコンピュータプログラム
JP3720748B2 (ja) 画像処理装置及びその制御方法並びにコンピュータプログラム及び記録媒体
JP5454094B2 (ja) 画像変換方法、画像変換装置、画像変換システム及び画像変換プログラム
WO2008035394A1 (fr) Dispositif d'imbrication de filigrane électronique
JP2006340073A (ja) 情報埋め込み装置、情報抽出装置、情報埋め込み方法および情報抽出方法
JP2006157831A (ja) 改ざん検出装置,透かし入り画像出力装置,透かし入り画像入力装置,透かし入り画像出力方法,および透かし入り画像入力方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090611

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110328

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110405

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110603

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110830

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111026

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120605

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120607

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150615

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees