JP2005026797A - 電子透かし埋め込み方法及び装置、電子透かし検出方法及び装置、電子透かし検出システム、プログラム並びに記録媒体 - Google Patents

電子透かし埋め込み方法及び装置、電子透かし検出方法及び装置、電子透かし検出システム、プログラム並びに記録媒体 Download PDF

Info

Publication number
JP2005026797A
JP2005026797A JP2003187473A JP2003187473A JP2005026797A JP 2005026797 A JP2005026797 A JP 2005026797A JP 2003187473 A JP2003187473 A JP 2003187473A JP 2003187473 A JP2003187473 A JP 2003187473A JP 2005026797 A JP2005026797 A JP 2005026797A
Authority
JP
Japan
Prior art keywords
image data
digital watermark
watermark detection
correction marker
geometric transformation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003187473A
Other languages
English (en)
Other versions
JP2005026797A5 (ja
JP3888549B2 (ja
Inventor
Takao Nakamura
高雄 中村
Atsushi Katayama
淳 片山
Hisato Miyaji
寿人 宮地
Masashi Yamamuro
雅司 山室
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2003187473A priority Critical patent/JP3888549B2/ja
Publication of JP2005026797A publication Critical patent/JP2005026797A/ja
Publication of JP2005026797A5 publication Critical patent/JP2005026797A5/ja
Application granted granted Critical
Publication of JP3888549B2 publication Critical patent/JP3888549B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Editing Of Facsimile Originals (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Processing (AREA)

Abstract

【課題】電子透かしに対して高度な幾何変換耐性を簡単な処理で実現可能にする。
【解決手段】透かし入り画像に、画像の基準点あるいは基準線を表わす印の補正マーカを付加した補正マーカ付き透かし入り画像を作成し提供する。補正マーカ付き透かし入りのアナログ画像を入力し、アナログ/デジタル変換して入力画像データを出力し、該入力画像データ中から補正マーカを検出し、基準点あるいは基準点が所定の状態からどの程度歪んでいるかを表わす幾何変換パラメータを推定し、該幾何変換パラメータを用いて入力画像データを幾何変換して補正済み画像データを得、該補正済み画像データ内に埋め込まれている透かし情報を検出する。
【選択図】 図6

Description

【0001】
【発明の属する技術分野】
本発明は、画像や映像などのコンテンツに、別の副情報を知覚されないように埋め込み、またこの副情報を読み取る技術である電子透かし技術に関するものである。今日、電子透かし技術は、コンテンツの著作権保護システムや、コンテンツに関するサービス提供システムなどに用いられている。
【0002】
【従来の技術】
画像、映像や音声といったコンテンツの流通の際、コンテンツデータ自体のみをユーザに提供するのではなく、別のサービスに関する広告情報を付加して提供することで、コンテンツ流通を広告ビジネスとして利用する方法については既に実現されている。また、コンテンツとサービス情報との結び付けの方法として、コンテンツの編集加工や印刷などアナログ出力を施された場合でも結び付けを維持するために、電子透かし技術を用いる方法が提案されている(例えば、特許文献1、特許文献2参照)。
【0003】
このような技術では、例えば、コンテンツのIDを、電子透かし技術を用いてコンテンツの中に埋め込み、サービス情報の提示の際には、コンテンツの中に埋め込まれたコンテンツIDを電子透かし技術を用いて読み出して、コンテンツIDに関連付けられたサービス情報を提示する、という方法をとる。さらに、電子透かしのアナログ変換耐性(デジタル画像を紙などのアナログメディアに印刷したものをスキャナやカメラのような入力デバイスを用いて再デジタル化し、再デジタル化画像からも電子透かしが検出可能)を利用して、紙などアナログメディア上のコンテンツから関連サービス情報を提供することも可能である。
【0004】
しかしながら、従来の電子透かし技術では、画像の射影変換耐性など複雑な幾何変換に耐性を持たせることが困難であり、その計算処理量も膨大であった。さらに紙メディアから関連サービス情報を提供するシステムを利用する場合、利用者にとって、手元にある印刷画像は当該システム上で電子透かしが埋め込まれたものであり、関連サービス情報を取得可能か、それとも当該システムで処理されたものではなく関連サービス情報が得られないものか、を容易に知ることが出来なかった。このため利用者は数多くの当該システム対象外のコンテンツからの電子透かし検出を試み、手間や時間の無駄に終わるといった問題があった。
【0005】
【特許文献1】
特開2002−14978号公報
【特許文献2】
特開2002−16785号公報
【0006】
【発明が解決しようとする課題】
本発明は、このように従来の技術において不可能であった、電子透かしに対して高度な幾何変換耐性を簡単な処理で実現させ、さらにコンテンツ関連情報提供システムの利用者にとって、手元にあるコンテンツから関連サービス情報取得が可能か否かを、容易に知ることができるようにすることにある。
【0007】
【課題を解決するための手段】
本発明の第一の形態では、画像データと透かし情報を入力とし、画像データ内に透かし情報を埋め込み、透かし入り画像データを作成する電子透かし埋め込み手段と、透かし入り画像に、画像の基準点あるいは基準線を表す印である補正マーカを付加し、補正マーカ付き透かし入り画像データを作成する補正マーカ追加手段、補正マーカ付き透かし入り画像データを紙に印刷、ディスプレイに表示などの手段で、アナログ画像を出力する出力手段を備える。
【0008】
また、アナログ画像を入力し、アナログ/デジタル変換して入力画像データとして出力する入力手段、入力画像データ中から補正マーカを検出し、基準点あるいは基準線が所定の状態からどの程度歪んでいるかを表す幾何変換パラメータを推定する補正マーカ認識手段、幾何変換パラメータを用いて入力画像データを幾何変換して、補正済み画像データを作成する幾何変換補正手段、補正済み画像データ内に埋め込まれている透かし情報を読み取って、その結果を出力する電子透かし検出手段を備える。
【0009】
本発明の第二の形態においては、推定された幾何変換パラメータが予め定められた値の範囲か否か調べ、範囲外であれば検出不能の旨を処理結果として出力して処理を終了し、幾何変換パラメータが予め定められた値の範囲内であれば、そのまま幾何変換パラメータを出力して処理続行とする検出可否判定手段を更に備える。
【0010】
本発明の第三の形態においては、ネットワーク上に電子透かし検出クライアント装置と電子透かし検出サーバ装置があり、電子透かし検出クライアント装置はアナログ画像を入力とし、アナログ/デジタル変換して入力画像データとして出力する入力手段、入力画像データ中から補正マーカを検出し、基準点あるいは基準線が所定の状態からどの程度歪んでいるかを表す幾何変換パラメータを推定する補正マーカ認識手段、幾何変換パラメータを用いて入力画像データを幾何変換して、補正済み画像データを作成する幾何変換補正手段、補正済み画像データをサーバに送信して電子透かし検出処理を要求し、その応答を処理結果として出力する通信処理手段を備え、また、電子透かし検出サーバ装置は、電子透かし検出クライアント装置から送られた補正済み画像データ内に埋め込まれている透かし情報を読み取って、その結果を電子透かし検出クライアント装置に返信する電子透かし検出手段を備える。
【0011】
本発明の第四の形態においては、ネットワーク上に電子透かし検出クライアント装置と電子透かし検出サーバ装置があり、電子透かし検出クライアント装置は、アナログ画像を入力とし、アナログ/デジタル変換して入力画像データとして出力する入力手段、入力画像データ中から補正マーカを検出し、基準点あるいは基準線が所定の状態からどの程度歪んでいるかを表す幾何変換パラメータを推定する補正マーカ認識手段、入力画像データと幾何変換パラメータをサーバに送信して電子透かし検出処理を要求し、その応答を処理結果として出力する通信処理手段を備え、また、電子透かし検出サーバ装置は、電子透かし検出クライアント装置から送られた幾何変換パラメータを用いて入力画像データを幾何変換して、補正済み画像データを作成する幾何変換補正手段、補正済み画像データ内に埋め込まれている透かし情報を読み取って、その結果を電子透かし検出クライアント装置に返信する電子透かし検出手段を備える。
【0012】
本発明の第五の形態においては、第三あるいは第四の形態のクライアント/サーバ型電子透かし検出システムにおいて、電子透かし検出クライアント装置が、推定された幾何変換パラメータが予め定められた値の範囲か否か調べ、範囲外であれば検出不能の旨を処理結果として出力して処理を終了し、幾何変換パラメータが予め定められた値の範囲内であれば、そのまま幾何変換パラメータを出力して処理続行とする検出可否判定手段を更に備える。
【0013】
【発明の実施の形態】
以下、図面を参照して本発明の実施例を説明する。
[実施例1]
本実施例は、画像データと透かし情報を入力して、補正マーカ付き透かし入り画像データをアナログ出力するものである。図1に本実施例の電子透かし埋め込み装置の構成例を示し、図2にその処理フローチャートを示す。
【0014】
図1において、電子透かし埋め込み装置100は、電子透かし埋め込み部110、補正マーカ追加部120、出力部130から構成され、画像データ101と透かし情報102を入力とし、補正マーカ付き透かし入りのアナログ画像131を出力する。
【0015】
電子透かし埋め込み部110は、画像データ101と透かし情報102を入力とし(ステップ201)、電子透かし技術を用いて画像データ内に透かし情報を不可視に埋め込み、透かし入り画像データを作成して出力する(ステップ202)。電子透かし技術としては、従来から画素置換法や周波数領域利用法などが知られている。画素置換法は、画像データの各画素の濃度値が複数ビット(例えば8ビット)で構成されるのに対応して複数のビットプレーンを考え、画像の特徴にあまり影響しない冗長なビットプレーン(例えば最下位のビットプレーン)に透かし情報を埋め込む方式である。また、周波数領域利用法は、画像データを周波数変換し、冗長な周波数係数を微小変更して透かし情報を埋め込む方式である。本発明では、電子透かし技術自体はどのような方式でもよい。図3に電子透かし埋め込み部110の具体的処理例を示す。
【0016】
補正マーカ追加部120は、透かし入り画像データ111を入力とし、該透かし入り画像データ111に予め定めた画像の基準点あるいは基準線を表す印である補正マーカを付加し、補正マーカ付き透かし入り画像データ121を作成する(ステップ203)。補正マーカ付き透かし入り画像データの例を図4に示す。図4(a)は画像(透かし入り画像データ)の周り(本例では4隅)に特定のパターンを配置・付加して補正マーカ401とした例、図4(b)は画像を囲む枠のようなものを補正マーカ402とした例である。また、図4(c)は補正マーカ403を電子透かし技術を用いて画像に不可視に埋め込んだ例である。なお、補正マーカの付加は図4の(a)〜(c)に限らないことは云うまでもない。
【0017】
出力部は、補正マーカ付き透かし入り画像データ121を入力とし、該補正マーカ付き透かし入り画像データ121を紙に印刷、あるいはディスプレイに表示などの手段で、アナログ画像131として出力する(ステップ204)。図5に紙で印刷する例を示す。これは、図4(a)の補正マーカ付き透かし入り画像データを紙に印刷した例である。
【0018】
〔実施例2〕
本実施例は、紙に印刷出力などされたアナログ画像を入力して、透かし情報を読み取り出力するものである。図6に本実施例の電子透かし検出装置の構成例を示し、図7にその処理フローチャートを示す。
【0019】
図6において、電子透かし検出装置600は、入力部610、補正マーカ認識部620、幾何変換補正部630、電子透かし検出部640から構成され、アナログ画像601を入力とし、検出した透かし情報641を出力する。
【0020】
図8に入力部610の処理内容を示す。入力部610は光学スキャナ装置810やカメラ装置820などのアナログ入力手段を持ち、紙に印刷された補正マーカ付き透かし入り画像などのアナログ画像601を入力し、アナログ/デジタル変換を行って入力画像データ611を出力する(ステップ701)。一般に入力画像データ611は、光学スキャナ装置810に用紙が正しく設定されない場合、あるいは、カメラ装置820の撮影角度などにより、幾何変換(幾何変形)を受ける。入力画像データ611の例を図9に示す。図9の(a)〜(c)は、それぞれ、図4の(a)〜(c)の補正マーカ付き透かし入り画像データについて紙に印刷出力したもの(アナログ画像)をカメラで斜めから撮影して入力した例である。
【0021】
補正マーカ認識部620は、入力画像データ611を入力とし、該入力画像データ中の補正マーカを認識し、透かし入り画像データに生じた幾何変換のパラメータを推定し、幾何変換パラメータ情報621を出力する(ステップ702)。図10に補正マーカ認識部620での処理内容を示す。図10(a)のように、特定のパターンが補正マーカとして付加されている場合は、パターン認識技術を用いてパターンの位置、姿勢を認識し、幾何変換パラメータを推定する。図10の(b)ように、画像の枠線の形で補正マーカが付加されている場合は、直線認識、コーナー認識により幾何変換パラメータ情報を推定する。また、図10の(c)のように、補正マーカが電子透かし技術を用いて不可視に埋め込まれている場合、電子透かし検出により補正マーカを認識し、幾何変換パラメータ情報を推定する。
【0022】
補正マーカの認識による幾何変換パラメータの推定方法としては、例えば『清水慶行、太田直哉、金谷健一、「信頼性評価を備えた最適な射影変換の計算プログラム」、情報処理学会研究報告 98−CVIM−111−5 (1998−05)、pp.33−40、1998.5.27』で示されるように、基準点4点とその幾何変換後の4点から、射影変換のパラメータを推定する方法がある。ここで、図10の(a)のような画像のコーナー4点に特定のパターンを配置する補正マーカの場合、あらかじめ定められた基準点として補正マーカの初期座標値を採り、幾何変換後の点として補正マーカ認識により得られる幾何変換後のパターンの座標値を採ることにより、両者の差から射影変換のパラメータ(幾何変換パラメータ)の推定が実現できる。
【0023】
幾何変換補正部630は、入力画像データ611と幾何変換パラメータ情報621を入力とし、幾何変換パラメータ情報621を用いて入力画像データ611を幾何変換し、補正済み画像データ631を出力する(ステップ703)。図11に幾何変換補正部630の処理内容を示す。幾何変換補正部630は、入力画像データ611に対して、幾何変換パラメータ情報621で表される幾何変換の逆変換を施すことにより画像の姿勢を補正し、補正済み画像データ631を得る。
【0024】
電子透かし検出部640は、補正済み画像データ631を入力とし、該補正済み画像データ631に対して電子透かし検出を試み、読み取った透かし情報を出力する(ステップ704)。電子透かし検出処理は、基本的に電子透かし処理埋め込みの逆処理である。図12に電子透かし検出部640での処理内容を示す。
【0025】
なお、本実施例における電子透かし検出装置600では、可視あるいは不可視な補正マーカが付加されたアナログ画像だけでなく、特に補正マーカを付加しない場合でも、入力画像データを幾何補正することが可能である。すなわち、図13のように、紙に印刷出力された透かし入りアナログ画像1301の画像と背景(紙面)のコントラストがはっきりしており、画像領域と背景領域が切り分け可能な場合、カメラ装置820などで入力された画像データ1302をもとに画像のエッジ検出、コーナー検出によって画像の基準点と変換後の基準点座標を算出でき、それゆえ幾何変換パラメータを推定することが可能となる。
【0026】
実施例1、2によれば、電子透かし埋め込み時に画像の基準点あるいは基準線を表す印である補正マーカを付加し、電子透かし検出の際にこの補正マーカを用いて幾何変換パラメータを推定し、入力画像を補正することで、射影変換などの複雑な幾何変換に対する電子透かしの耐性を実現することができる。また、補正マーカを用いた幾何変換の補正は、補正マーカが可視であれば、不可視な方法よりもマーカの探索が容易であるため、複雑な幾何変換に対応した電子透かし技術の実装を容易にすることも可能である。さらに補正マーカを可視とした時には、補正マーカを「この補正マーカ付きのコンテンツからは関連サービス情報取得が可能である」という意味を表すものとして利用者にアピールすることで、利用者がコンテンツから関連サービス情報取得が可能か否かを簡単に知ることができるようになる。
【0027】
[実施例3]
本実施例は、先の実施例2と同様に紙に印刷出力などされたアナログ画像を入力して、透かし情報を読み取り出力するものであるが、幾何変換パラメータが予め定められた値の範囲外であれば、透かし検出不能として処理を終了するようにしたものである。図14に本実施例の電子透かし検出装置の構成例を示し、図15、図16にその処理フローチャートを示す。
【0028】
図14において、電子透かし検出装置1400は、入力部1410、補正マーカ認識部1420、検出可否判定部1430、幾何変換補正部1440、電子透かし検出部1450から構成され、補正マーカ付き等の透かし入りアナログ画像1401を入力とし、検出不能あるいは透かし情報を検出結果1451として出力する。
【0029】
入力部1410、補正マーカ認識部1420、幾何変換補正部1440および電子透かし検出部1450の処理内容は、先の実施例2と同様である。すなわち、入力部1410においてアナログ画像1401を入力し、アナログ/デジタル変換して入力画像データ1411を出力し(ステップ1501)、補正マーカ認識部1420において入力画像データ中の補正マーカ等を認識して幾何変換パラメータ情報1421を得る(ステップ1502)。幾何変換補正部1440では、後述する検出可否判定部1430で透かし検出可が判定された場合、幾何変換パラメータ情報1421を用いて入力画像データ1411を幾何変換して補正し、補正済み画像データ1441を得る(ステップ1504)。電子透かし検出部1450は、補正済み画像データ1441に対して電子透かし検出を試み、読み取った透かし情報を検出結果1451として出力する(ステップ1505)。本実施例の特徴は、検出可否判定部1430を付加した点にある。検出可否判定部1430は、幾何変換パラメータ情報1420を入力とし、透かし検出可否を判定する(ステップ1503)。
【0030】
図16は検出可否判定部1430の処理フローチャートである。検出可否判定部1430では、幾何変換パラメータ情報1421を入力し(ステップ1601)、この入力された幾何変換パラメータ情報の値が、予め定められた値の範囲か否かを調べ(ステップ1602)、範囲内であれば、入力された幾何変換パラメータ情報1421をそのまま出力して幾何変換補正部1440に送るが(ステップ1603)、範囲外であれば検出不能としてその旨を検出結果として出力し(ステップ1604)、該電子透かし検出装置1400の処理を終了する。
【0031】
例えば、図17(a)に示すように、アナログ入力画像に施された幾何変換(幾何変形)が緩い場合は補正を行った後で電子透かしの検出が可能であるが、図17(b)のように幾何変換が激しい場合、アナログ/デジタル変換時のサンプリングにより画像情報が欠落してしまうため、電子透かしの検出が困難となる。このように幾何変換の程度が激しくなるにつれ、電子透かしの検出が困難となることから、電子透かし検出可能性の程度から幾何変換パラメータの値の範囲を予め定めておく。例えば、幾何補正の対象が射影変換である場合、図10(a)、(b)で例示したように、補正マーカの認識により射影変換のパラメータが取得可能である。このとき、アナログ画像に対するカメラの撮影角度が、アナログ画像の法線方向から例えば15度以内の範囲である場合にのみ検出可能とする、といった基準で上記処理を行うことが可能である。
【0032】
本実施例によれば、先の実施例1、2の作用・効果に加えて、補正マーカ認識により推定した幾何変換パラメータが予め定められた値の範囲の場合にのみ電子透かしの検出処理を行うようにすることで、電子透かしの検出が不可能な場合の処理量を削減し、トータルでの処理効率を改善できる。
【0033】
[実施例4]
本実施例は、ネットワークを介して接続された、電子透かし検出クライアント装置と、電子透かし検出サーバ装置からなるクライアント/サーバ型電子透かし検出システムを提供するものである。
【0034】
図18に本実施例の電子透かし検出システムの全体構成図を示す。図18において、1810は電子透かし検出クライアント装置、1820は電子透かし検出サーバ装置、1830はネットワークである。便宜上、図18では一つの電子透かし検出クライアント装置しか示していないが、一般には複数(多数)の電子透かし検出クライアント装置1810がネットワーク1830を介して電子透かし検出サーバ装置1820を共有することが可能である。
【0035】
電子透かし検出クライアント装置1810は、入力部1811、補正マーカ認識部1812、検出可否判定部1813、幾何変換補正部1814、通信処理部1815から構成され、アナログ画像1801を入力とし、検出不能あるいは透かし情報を検出結果1804として出力する。ここで、入力部1811、補正マーカ認識部1812、検出可否判定部1813および幾何変換補正部1814での処理は、先の実施例3の該当する部分での処理と同様である。すなわち、入力部1811においてアナログ画像1801を入力し、アナログ/デジタル変換して入力画像データを出力し、補正マーカ認識部1812において入力画像データ中の補正マーカを認識して幾何変換パラメータ情報を得る。そして、検出可否判定部1813において電子透かし検出可否を判定し、幾何変換パラメータが所定の値の範囲外の場合、「検出不能」を検出結果1804として出力し処理を終了する。一方、幾何変換パラメータが所定の値の範囲内の場合は処理を続け、幾何変換補正部1814において、幾何変換パラメータ情報を用いて入力画像データを補正し、補正済み画像データを得る。通信処理部1815は、幾何変換補正部1814で出力された補正済み画像データ1802を、電子透かし検出サーバ装置1820に送信して電子透かし検出を依頼し、電子透かし検出サーバ装置1820より透かし情報1803を受信し、該透かし情報1803を検出結果1804として出力する。
【0036】
電子透かし検出サーバ装置1820は、通信処理部1821と電子透かし検出部1822から構成される。通信処理部1821は電子透かし検出クライアント装置1810から送られてくる、補正済み画像データ1802を受信し、電子透かし検出部1822に送る。電子透かし検出部1822は補正済み画像データ内に埋め込まれている透かし情報を読み取って通信処理部1821に送る。通信処理部1821は、該透かし情報1803を依頼元の電子透かし検出クライアント装置1810に返送する。電子透かし検出部1822の処理は、先の実施例2や3の電子透かし検出部での処理と同様である。
【0037】
本実施例によれば、電子透かし検出処理を、補正マーカを認識し幾何変換パラメータ推定を行って画像の幾何補正を行う第1処理部分と、電子透かしを検出する第2処理部分とに分離し、さらに第1処理部分の処理で推定した幾何変換パラメータが予め定められた値の範囲の場合にのみ、第2処理部分後半の処理を行うようにすることで、電子透かしの検出が不可能な場合の処理量を削減し、トータルでの処理効率を改善できる。さらに第1処理部分と判定部分をクライアント端末上に、第2処理部分をサーバ上に実装するクライアント・サーバ型システムとすることにより、クライアント端末上で電子透かし検出可否の判定を行い、検出可能な時のみサーバに電子透かし検出処理要求をかけることで、サーバの負荷を低くすることができ、また利用者に対するレスポンスタイムを短くすることができる。また必要な場合にしかクライアント・サーバ間の通信が行われないため、通信量の削減も実現する。さらに電子透かし検出処理はサーバで行うため、アルゴリズムの秘匿性が高まり安全性も向上する。
【0038】
[実施例5]
本実施例は、先の実施例4と同様に、ネットワークを介して接続された、電子透かし検出クライアント装置と、電子透かし検出サーバ装置からなるクライアント/サーバ型電子透かし検出システムを提供するものであるが、電子透かし検出機能に加えて幾何変換機能もサーバ側に持たせるものである。
【0039】
図19に本実施例の電子透かし検出システムの全体構成図を示す。図19において、1910は電子透かし検出クライアント装置、1920は電子透かし検出サーバ装置、1930はネットワークである。この場合も、一般に複数(多数)の電子透かし検出クライアント装置がネットワーク1930を介して電子透かし検出サーバ装置1920を共有することが可能である。
【0040】
電子透かし検出クライアント装置1910は、入力部1911、補正マーカ認識部1912、検出可否判定部1913、通信処理部1914から構成され、アナログ画像1901を入力とし、検出不能あるいは透かし情報を検出結果として出力とする。ここで、入力部1911、補正マーカ認識部1912および検出可否判定部1913での処理は、先の実施例3の該当する部分での処理と同様である。すなわち、入力部1911においてアナログ画像を入力し、アナログ/デジタル変換して入力画像データを出力し、補正マーカ認識部において1912入力画像データ中の補正マーカを認識して幾何変換パラメータ情報を得る。そして、検出可否判定部1913において透かし検出可否を判定し、幾何変換パラメータが所定の値の範囲外の場合、「検出不能」を検出結果1905として出力し処理を終了する。一方、幾何変換パラメータが所定の値の範囲内の場合は処理を続ける。この場合、通信処理部1914は、入力画像データ1902と幾何変換パラメータ情報1903を電子透かし検出サーバ装置1920に送信して電子透かし検出を依頼し、電子透かし検出サーバ装置1920より透かし情報を受信し、該透かし情報を検出結果1905として出力する。
【0041】
電子透かし検出サーバ装置1920は、通信処理部1921、幾何変換補正部1922および電子透かし検出部1923から構成される。通信処理部1921は、電子透かし検出クライアント装置1910から送られてくる入力画像データ1902と幾何変換パラメータ情報1903を受信し、幾何変換補正部1922に送る。幾何変換補正部1922は幾何変換パラメータ情報を用いて入力画像データを幾何変換して補正済み画像データを作成し、電子透かし検出部1923は該補正済み画像データ内に埋め込まれている透かし情報を読み取って通信処理部1921に送る。通信処理部1921は、該透かし情報1904を依頼元の電子透かし検出クライアント装置1910に返送する。ここで、幾何変換補正部1922および電子透かし検出部1923での処理は、先の実施例2の該当部分と同様である。
【0042】
本実施例によれば、先の実施例4と比較して、幾何変換補正処理をクライアント側ではなくサーバ側で処理することによって、より処理能力の低いクライアント端末を用いても電子透かしの検出を効率的に行うことが可能となる。
【0043】
[実施例6]
本実施例は、先の実施例4や5において、電子透かし検出クライアント装置の検出可否判定部を省略したものである。それ以外は先の実施例4や5と同様の構成であるので図面は省略する。本実施例の動作は、先の実施例2と基本的に同様である。本実施例によれば、検出可否判定部を省略した分、電子透かし検出クライアント装置の構成が簡単化され、安価なクライアント装置を提供できる。実際には、ユーザのニーズに応じて、検出可否判定部を備えた電子透かし検出クライアント装置や本実施例の検出可否判定部を省略した電子透かし検出クライアント装置がネットワーク上に混在することになる。
【0044】
以上、本発明の実施例を説明したが、電子透かし埋め込み装置や電子透かし検出装置等における一部もしくは全部の処理機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実現することができること、あるいは、その処理手順をコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることができることは言うまでもない。また、コンピュータでその処理機能を実現するためのプログラム、あるいは、コンピュータにその処理手順を実行させるためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えば、FDやMO、ROM、メモリカード、CD、DVD、リムーバブルディスクなどに記録して、保存したり、提供したりすることができるとともに、インターネット等のネットワークを通してそのプログラムを配布したりすることが可能である。
【0045】
【発明の効果】
本発明によれば、電子透かし埋め込み時に画像の基準点あるいは基準線を表す印である補正マーカを付加し、検出の際に、補正マーカを用いて基準点あるいは基準線が所定の状態からどの程度歪んでいるかを表す幾何変換パラメータを推定して画像を補正することで、射影変換などの複雑な幾何変換に対する電子透かしの耐性を実現できる。また、補正マーカを用いた幾何変換の補正は、補正マーカが可視であれば、不可視な方法よりもマーカの探索が容易であるため補正処理も容易となる。さらに補正マーカを可視とした時に、補正マーカを「この補正マーカ付きのコンテンツからは関連サービス情報取得が可能である」という意味を表すものとして利用者にアピールすることで、利用者がコンテンツから関連サービス情報取得が可能か否かを簡単に知ることができる。
【0046】
また、本発明によれば、電子透かし検出処理を、補正マーカを認識して幾何変換パラメータを推定し画像の幾何変換補正を行う処理部分と、電子透かしを検出する処理部分とに分離し、さらに前半の処理で推定した幾何変換パラメータが予め定められた値の範囲の場合にのみ後半の処理を行うようにすることで、電子透かしの検出が不可能な場合の処理量を削減し、トータルでの処理効率を改善できる。
【0047】
さらに、本発明によれば、処理の前半部分と判定部分をクライアント端末上に、後半部分をサーバ上に実装するクライアント・サーバ型システムとすることにより、クライアント端末上で電子透かし検出可否の判定を行い、検出可能な時のみサーバに後半処理要求をかけることでサーバの負荷を低くすることができ、また利用者に対するレスポンスタイムを短くすることができる。また必要な場合にしかクライアント・サーバ間の通信が行われないため、通信量の削減も実現する。さらに電子透かし検出処理はサーバで行うため、アルゴリズムの秘匿性が高まり安全性も向上する。
【0048】
また、本発明によれば、幾何変換補正処理をクライアントではなくサーバ側で処理することによって、より処理能力の低いクライアント端末を用いても電子透かしの検出を効率的に行うことが可能となる。さらに、電子透かし検出可否判定機能を省略すれば、より安価なクライアント端末を用いて電子透かしを行うことも可能である。
【図面の簡単な説明】
【図1】本発明の実施例1としての電子透かし埋め込み装置の構成図である。
【図2】本発明の実施例1の処理フローチャートである。
【図3】電子透かし埋め込みを説明する図である。
【図4】補正マーカ付き透かし入り画像の一例を示す図である。
【図5】補正マーカ付き透かし入り画像の出力例を示す図である。
【図6】本発明の実施例2としての電子透かし検出装置の構成図である。
【図7】本発明の実施例2の処理フローチャートである。
【図8】補正マーカ付き透かし入り画像の入力動作を説明する図である。
【図9】入力画像データの一例を示す図である。
【図10】補正マーカの認識を説明する図である。
【図11】入力画像データの幾何変換補正を説明する図である。
【図12】電子透かし検出を説明する図である。
【図13】補正マーカ無しの場合の幾何変換パラメータ推定を説明する図である。
【図14】本発明の実施例3としての電子透かし検出装置の構成図である。
【図15】本発明の実施例3の処理フローチャートである。
【図16】電子透かし検出可否判定の処理フローチャートである。
【図17】電子透かし検出可能/不可能の入力画像データの一例を示す図である。
【図18】本発明の実施例4としてのクライアント/サーバ型電子透かし検出システムの構成図である。
【図19】本発明の実施例5としてのクライアント/サーバ型電子透かし検出システムの構成図である。
【符号の説明】
100 電子透かし埋め込み装置
101 画像データ
102 透かし情報
110 電子透かし埋め込み部
120 補正マーカ追加部
130 出力部
131 アナログ画像
600、1400 電子透かし検出装置
601、1401 アナログ画像
610、1410 入力部
620、1421 補正マーカ認識部
1430 検出可否判定部
630、1440 幾何変換補正部
640、1450 電子透かし検出部
641 透かし検出部
1451 検出結果

Claims (16)

  1. 画像内に別の情報を不可視に埋め込む電子透かし埋め込み方法であって、
    画像データと透かし情報を入力とし、画像データ内に透かし情報を埋め込み、透かし入り画像データを作成するステップと、
    透かし入り画像データに、画像の基準点あるいは基準線を表す印である補正マーカを付加し、補正マーカ付き透かし入り画像データを作成するステップと、
    補正マーカ付き透かし入り画像データをアナログ出力するステップと、を有することを特徴とする電子透かし埋め込み方法。
  2. 請求項1に記載の電子透かし埋め込み方法であって、
    透かし入り画像データに付加する補正マーカが可視であることを特徴とする電子透かし埋め込み方法。
  3. 請求項1に記載の電子透かし埋め込み方法であって、
    透かし入り画像データに付加する補正マーカが透かし入り画像データ内に不可視に埋め込まれることを特徴とする電子透かし埋め込み方法。
  4. 画像内に別の情報を不可視に埋め込む電子透かし埋め込み装置であって、
    画像データと透かし情報を入力とし、画像データ内に透かし情報を埋め込み、透かし入り画像データを作成する手段と、
    透かし入り画像データに、画像の基準点あるいは基準線を表す印である補正マーカを付加し、補正マーカ付き透かし入り画像データを作成する手段と、
    補正マーカ付き透かし入り画像データをアナログ出力する手段と、を有することを特徴とする電子透かし埋め込み装置。
  5. 画像内に不可視に埋め込まれた情報を検出する電子透かし検出方法であって、
    アナログ画像を入力とし、アナログ/デジタル変換を行って入力画像データを出力するステップと、
    入力画像データ中から補正マーカを検出し、検出した補正マーカの変形度合いから幾何変換パラメータを推定するステップと、
    幾何変換パラメータを用いて入力画像データを幾何変換して、補正済み画像データを作成するステップと、
    補正済み画像データ内に埋め込まれている透かし情報を読み取って、その結果を出力するステップと、を有すること特徴とする電子透かし検出方法。
  6. 請求項5に記載の電子透かし検出方法であって、
    推定された幾何変換パラメータが予め定められた値の範囲か否か調べ、範囲外であれば検出不能の旨を処理結果として出力して処理を終了するステップを更に有することを特徴とする電子透かし検出方法。
  7. 請求項5もしくは6に記載の電子透かし検出方法であって、入力画像データ中の可視な補正マーカを認識し、検出した補正マーカの変形度合いから幾何変換パラメータを推定することを特徴とする電子透かし検出方法。
  8. 請求項5もしくは6に記載の電子透かし検出方法であって、入力画像データ中に不可視に埋め込まれた補正マーカを認識し、検出した補正マーカの変形度合いから幾何変換パラメータを推定することを特徴とする電子透かし検出方法。
  9. 請求項5もしくは6に記載の電子透かし検出方法であって、入力画像データ中の背景領域と画像領域を認識し、検出した画像の輪郭の変形度合いから幾何変換パラメータを推定することを特徴とする電子透かし検出方法。
  10. 画像内に不可視に埋め込まれた情報を検出する電子透かし検出装置であって、
    アナログ画像を入力とし、アナログ/デジタル変換を行って入力画像データを出力する手段と、
    入力画像データ中から補正マーカを検出し、検出した補正マーカの変形度合いから幾何変換パラメータを推定する手段と、
    幾何変換パラメータを用いて入力画像データを幾何変換して、補正済み画像データを作成する手段と、
    補正済み画像データ内に埋め込まれている透かし情報を読み取って、その結果を出力する手段と、を有すること特徴とする電子透かし検出装置。
  11. 請求項5に記載の電子透かし検出装置であって、
    推定された幾何変換パラメータが予め定められた値の範囲か否か調べ、範囲外であれば検出不能の旨を処理結果として出力して処理を終了する手段を更に有することを特徴とする電子透かし検出装置。
  12. 電子透かし検出クライアント装置と電子透かし検出サーバ装置とがネットワークを介して接続され、画像内に不可視に埋め込まれた情報を検出する電子透かし検出システムであって、
    電子透かし検出クライアント装置は、アナログ画像を入力とし、アナログ/デジタル変換を行って入力画像データを出力する手段と、入力画像データ中から補正マーカを検出し、検出した補正マーカの変形度合いから幾何変換パラメータを推定する手段と、幾何変換パラメータを用いて入力画像データを幾何変換して、補正済み画像データを作成する手段と、補正済み画像データを電子透かし検出サーバ装置に送信して電子透かし検出処理を要求し、その応答を処理結果として出力する手段を備え、
    電子透かし検出サーバ装置は、電子透かし検出クライアント装置から送られた補正済み画像データ内に埋め込まれている透かし情報を読み取って、その結果を電子透かし検出クライアント装置に返信する手段を備える、ことを特徴とする電子透かし検出システム。
  13. 電子透かし検出クライアント装置と電子透かし検出サーバ装置とがネットワークを介して接続され、画像内に不可視に埋め込まれた情報を検出する電子透かし検出システムであって、
    電子透かし検出クライアント装置は、アナログ画像を入力とし、アナログ/デジタル変換を行って入力画像データを出力する手段と、入力画像データ中から補正マーカを検出し、検出した補正マーカの変形度合いから幾何変換パラメータを推定する手段と、入力画像データと幾何変換パラメータを電子透かし検出サーバ装置に送信して電子透かし検出処理を要求し、その応答を処理結果として出力する手段を備え、
    電子透かし検出サーバ装置は、電子透かし検出クライアント装置から送られた幾何変換パラメータを用いて入力画像データを幾何変換して、補正済み画像データを作成する手段と、補正済み画像データ内に埋め込まれている透かし情報を読み取って、その結果を電子透かし検出クライアント装置に返信する手段を備える、ことを特徴とする電子透かし検出システム。
  14. 請求項12もしくは13に記載の電子透かし検出システムであって、
    電子透かし検出クライアント装置は、推定された幾何変換パラメータが予め定められた値の範囲か否か調べ、範囲外であれば検出不能の旨を処理結果として出力して処理を終了する手段を更に備えることを特徴とする電子透かし検出システム。
  15. 請求項1、2、3、5、6、7、8、9のいずれか1項に記載の電子透かし埋め込み方法もしくは電子透かし検出方法の処理ステップをコンピュータで実行することを特徴とするプログラム。
  16. 請求項1、2、3、5、6、7、8、9のいずれか1項に記載の電子透かし埋め込み方法もしくは電子透かし検出方法の処理ステップをコンピュータで実行することを特徴とするプログラムを記録した記録媒体。
JP2003187473A 2003-06-30 2003-06-30 電子透かし検出システム Expired - Lifetime JP3888549B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003187473A JP3888549B2 (ja) 2003-06-30 2003-06-30 電子透かし検出システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003187473A JP3888549B2 (ja) 2003-06-30 2003-06-30 電子透かし検出システム

Publications (3)

Publication Number Publication Date
JP2005026797A true JP2005026797A (ja) 2005-01-27
JP2005026797A5 JP2005026797A5 (ja) 2005-07-21
JP3888549B2 JP3888549B2 (ja) 2007-03-07

Family

ID=34186317

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003187473A Expired - Lifetime JP3888549B2 (ja) 2003-06-30 2003-06-30 電子透かし検出システム

Country Status (1)

Country Link
JP (1) JP3888549B2 (ja)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007208452A (ja) * 2006-01-31 2007-08-16 Toshiba Corp 画像処理方法および画像処理装置
JP2009206990A (ja) * 2008-02-28 2009-09-10 Fujitsu Ltd 画像復号化装置、画像暗号化装置、画像復号化方法および画像復号化プログラム
JP2010103925A (ja) * 2008-10-27 2010-05-06 Mitsubishi Electric Corp 電子透かしの同期回復装置及び電子透かしの同期回復プログラム
US7856117B2 (en) 2005-06-02 2010-12-21 Fujitsu Limited Image processing apparatus
US8189853B2 (en) 2006-01-24 2012-05-29 Fuji Xerox Co., Ltd. Watermarked image generation apparatus, watermarked image analysis apparatus, watermarked image generation method, medium and computer readable medium
JP2015192389A (ja) * 2014-03-28 2015-11-02 日本電信電話株式会社 マーカ埋め込み装置、マーカ検出装置、及びプログラム
JP2016048851A (ja) * 2014-08-27 2016-04-07 日本電信電話株式会社 マーカ埋め込み装置、マーカ検出装置、方法、及びプログラム
JP2017112471A (ja) * 2015-12-15 2017-06-22 カシオ計算機株式会社 印刷装置、印刷方法および印刷物の製造方法
JP2017183948A (ja) * 2016-03-29 2017-10-05 日本電信電話株式会社 電子透かし埋め込み装置、電子透かし検出装置、方法、及びプログラム
US10033904B2 (en) 2015-10-06 2018-07-24 Canon Kabushiki Kaisha Information processing apparatus for multiplexing information in an image, information processing method, and storage medium storing program
EP3422690A1 (en) 2017-06-28 2019-01-02 Canon Kabushiki Kaisha Information processing apparatus, control method thereof, and program
JP2019009747A (ja) * 2017-06-28 2019-01-17 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
CN113535453A (zh) * 2021-07-14 2021-10-22 上海中畅数据技术有限公司 一种告警数据水印检测系统及方法
WO2021261016A1 (ja) * 2020-06-26 2021-12-30 株式会社Retail AI 画像処理装置と画像処理システムと画像処理プログラムと画像処理方法

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7856117B2 (en) 2005-06-02 2010-12-21 Fujitsu Limited Image processing apparatus
US8189853B2 (en) 2006-01-24 2012-05-29 Fuji Xerox Co., Ltd. Watermarked image generation apparatus, watermarked image analysis apparatus, watermarked image generation method, medium and computer readable medium
JP4550745B2 (ja) * 2006-01-31 2010-09-22 株式会社東芝 画像処理方法および画像処理装置
JP2007208452A (ja) * 2006-01-31 2007-08-16 Toshiba Corp 画像処理方法および画像処理装置
JP2009206990A (ja) * 2008-02-28 2009-09-10 Fujitsu Ltd 画像復号化装置、画像暗号化装置、画像復号化方法および画像復号化プログラム
JP2010103925A (ja) * 2008-10-27 2010-05-06 Mitsubishi Electric Corp 電子透かしの同期回復装置及び電子透かしの同期回復プログラム
JP2015192389A (ja) * 2014-03-28 2015-11-02 日本電信電話株式会社 マーカ埋め込み装置、マーカ検出装置、及びプログラム
JP2016048851A (ja) * 2014-08-27 2016-04-07 日本電信電話株式会社 マーカ埋め込み装置、マーカ検出装置、方法、及びプログラム
US10033904B2 (en) 2015-10-06 2018-07-24 Canon Kabushiki Kaisha Information processing apparatus for multiplexing information in an image, information processing method, and storage medium storing program
JP2017112471A (ja) * 2015-12-15 2017-06-22 カシオ計算機株式会社 印刷装置、印刷方法および印刷物の製造方法
JP2017183948A (ja) * 2016-03-29 2017-10-05 日本電信電話株式会社 電子透かし埋め込み装置、電子透かし検出装置、方法、及びプログラム
EP3422690A1 (en) 2017-06-28 2019-01-02 Canon Kabushiki Kaisha Information processing apparatus, control method thereof, and program
JP2019009747A (ja) * 2017-06-28 2019-01-17 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
US10992837B2 (en) 2017-06-28 2021-04-27 Canon Kabushiki Kaisha Information processing apparatus, control method thereof, and storage medium
JP7182858B2 (ja) 2017-06-28 2022-12-05 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
WO2021261016A1 (ja) * 2020-06-26 2021-12-30 株式会社Retail AI 画像処理装置と画像処理システムと画像処理プログラムと画像処理方法
CN113535453A (zh) * 2021-07-14 2021-10-22 上海中畅数据技术有限公司 一种告警数据水印检测系统及方法
CN113535453B (zh) * 2021-07-14 2024-03-19 上海中畅数据技术有限公司 一种告警数据水印检测系统及方法

Also Published As

Publication number Publication date
JP3888549B2 (ja) 2007-03-07

Similar Documents

Publication Publication Date Title
JP3888549B2 (ja) 電子透かし検出システム
KR100465950B1 (ko) 정보 처리 장치 및 그 제어 방법, 컴퓨터 프로그램을 저장한 저장 매체
JP2002232685A (ja) 電子透かし処理装置、情報処理装置、ディジタルコンテンツ配布システム、電子透かし挿入方法、及び記憶媒体
US8175322B2 (en) Method of digital watermark and the corresponding device, and digital camera which can append watermark
US20020015509A1 (en) Method and apparatus for superposing a digital watermark and method and apparatus for detecting a digital watermark
JP2004109172A (ja) 電子文書およびこれの印刷媒体の真正性管理方法およびシステム、ならびにプログラム、記録媒体
JP2004140764A (ja) 画像処理装置及び画像処理方法
WO2005076591A1 (ja) 付加情報処理装置、付加情報処理システムおよび付加情報処理方法
JP2002142094A (ja) 電子透かし埋込装置、電子透かし検出装置、電子透かし埋込方法、電子透かし検出方法及び記録媒体
KR20020084216A (ko) 트랜스마킹, 렌더링 명령들로서의 워터마크 삽입 기능들,및 멀티미디어 신호들의 특징-기반 워터마킹
JP3736379B2 (ja) 電子透かし埋め込み処理装置、電子透かし検出処理装置、および電子透かし埋め込み処理方法、電子透かし検出処理方法、並びにプログラム記憶媒体、およびプログラム
US7283261B2 (en) Image processing method, manipulation detection method, image processing device, manipulation detection device, image processing program, manipulation detection program, and image formation medium
JP2001309157A (ja) 書類認証方法、システム、書類作成装置、書類認証装置及び記録媒体
JP2004147253A (ja) 画像処理装置及び画像処理方法
JP4922965B2 (ja) 電子透かし生成装置、電子透かし生成方法、電子透かし生成プログラム、電子透かし検出装置、及び電子透かし検出プログラム
JP4382747B2 (ja) 電子透かし検出方法及び装置及びプログラム
JP5806648B2 (ja) 電子透かし埋め込み装置、電子透かし検出装置、及び電子透かし埋め込み方法、電子透かし検出方法、並びにプログラム
JP4881141B2 (ja) 画像処理装置および画像処理装置の制御方法
JP4187726B2 (ja) 透かし埋め込み装置およびプログラム
JP4679084B2 (ja) 電子透かしの付加
JP3708044B2 (ja) 電子透かし埋め込み方法及び装置並びに電子透かし検出方法及び装置
JP2003304387A (ja) 画像管理システム,電子透かし埋め込み装置,認証コード管理装置,電子透かし検出装置,及び,画像管理方法
Fung et al. Rotation, scaling, and translation-invariant multi-bit watermarking based on log-polar mapping and discrete Fourier transform
JP4922852B2 (ja) 情報付加装置、情報付加方法、画像形成装置、情報付加プログラム及び該プログラムを格納した記録媒体
JP2004356802A (ja) データ処理方法及びデータ処理装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041129

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041129

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060511

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060517

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060704

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060823

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061019

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20061122

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20061122

R151 Written notification of patent or utility model registration

Ref document number: 3888549

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101208

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101208

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111208

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111208

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121208

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121208

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131208

Year of fee payment: 7

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

EXPY Cancellation because of completion of term