JP3654077B2 - オンライン電子透かし検出システム、オンライン電子透かし検出方法、及びオンライン電子透かし検出用プログラムを記録した記録媒体 - Google Patents

オンライン電子透かし検出システム、オンライン電子透かし検出方法、及びオンライン電子透かし検出用プログラムを記録した記録媒体 Download PDF

Info

Publication number
JP3654077B2
JP3654077B2 JP25352299A JP25352299A JP3654077B2 JP 3654077 B2 JP3654077 B2 JP 3654077B2 JP 25352299 A JP25352299 A JP 25352299A JP 25352299 A JP25352299 A JP 25352299A JP 3654077 B2 JP3654077 B2 JP 3654077B2
Authority
JP
Japan
Prior art keywords
information
authentication
extraction
key
encryption
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP25352299A
Other languages
English (en)
Other versions
JP2001075477A (ja
Inventor
一彦 峯松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP25352299A priority Critical patent/JP3654077B2/ja
Priority to US09/656,169 priority patent/US6700993B1/en
Publication of JP2001075477A publication Critical patent/JP2001075477A/ja
Application granted granted Critical
Publication of JP3654077B2 publication Critical patent/JP3654077B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0021Image watermarking
    • G06T1/005Robust watermarking, e.g. average attack or collusion attack resistant
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00General purpose image data processing
    • G06T2201/005Image watermarking
    • G06T2201/0065Extraction of an embedded watermark; Reliable detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00General purpose image data processing
    • G06T2201/005Image watermarking
    • G06T2201/0083Image watermarking whereby only watermarked image required at decoder, e.g. source-based, blind, oblivious
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3233Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document of authentication information, e.g. digital signature, watermark
    • H04N2201/3235Checking or certification of the authentication information, e.g. by comparison with data stored independently

Description

【0001】
【発明の属する技術分野】
本発明は、電子透かし検出技術に関し、特に電子透かしの検出にセンターが介在するオンライン電子透かし検出システム、オンライン電子透かし検出方法、およびオンライン電子透かし検出用プログラムを記録した記録媒体に関する。
【0002】
【従来の技術】
近年、画像、映像等のデジタル化されたメディアの普及により、そのメディアの著作者を識別する情報などをメディアに付加しておき、必要に応じ読み出すシステムに対するニーズが生じている。複製の許可に関する情報をメディアに付加しておき、メディアの再生装置にこの情報を読み書きする機能を持たせることで、違法な複製を再生しないようにするシステムが上記のシステムの一例として考えられる。この場合、複製の許可に関する情報がメディアそのものと不可分でないと、この情報のみを改ざんして再生装置にかけることで不正が可能となってしまうことがある。よって、これらのシステムにおいては、メディアに付加する情報はメディアそのものと不可分であることが必要とされる場合が多い。
【0003】
この問題を解決する技術の一つとして電子透かし(Digital water mark)技術がある。例えば静止画への電子透かし技術とは、デジタルデータ化された元画像を、人間の視覚では認識が困難な程度の変更を加えることで、何らかの付加的な情報が埋め込まれた透かし入り画像を得る技術を意味する。電子透かし埋め込みにより、見た目を大きく損なうことなく、画像そのものへ情報が埋め込まれ、対応する電子透かし検出により、透かし入り画像から該当する埋め込み情報が検出されることになる。
【0004】
電子透かしの方式例としては、インゲマー コックス(Ingemar Cox)らによる方式がある。これは特開平9−191394号及び文献「セキュアスプレッド スペクトラム ウォーターマーキング フォー マルチメディア、1997年12月、アイ・イー・イー・イー・トランザクションズ・オン・イメージ・プロセシング、第6巻、第12号(Secure spread spectrum watermarking for multimedia, IEEE TRANSACTIONS ON IMAGEPROCESSING,Vol.6, No.12, DECEMBER, 1997)」に開示されている。この方式では、元画像をフーリエ変換や離散コサイン変換を用いて、信号領域のデータ(スペクトル)に変換し、スペクトルの中で視覚的に重要と思われる個所へ擬似乱数により生成されるノイズを足し合わせることで、情報を埋め込んでいる。また、J.R.Smithらによる文献1「モジュレーションアンド インフォメーション ハイディング イン イメージズ、1996年7月、ファースト・ワークショップ・オン・インフォメーション・ハイディング、レクチャーノーツ イン コンピュータ サイエンス 第1174巻(Modulation and imformation in images, First workshop on information hiding, Lecture notes in computer science vol.1174)」では、電子透かしの埋め込みと検出を、それぞれ通信における変調と復調ととらえたモデルが示されている。このモデルもしくはこのモデルの簡単な修正により、現在提案されている多くの電子透かしの方式を説明できる。以下にモデルの概略を述べる。なお、電子透かしの方式には、検出において元画像を用いる方式と用いない方式とが存在するが、本発明におけるシステムでは後者を対象とするため、以下では元画像を必要としない検出を行う電子透かしの方式を対象として、記述を行うものとする。
【0005】
元画像を必要としない検出を用いる電子透かし方式においては、画像Sへ情報Vを埋め込む場合、Sを変換して得られたデータf(S)に対して、行列Mを用いて、f(S’)=W’×Vを満たす透かし入り画像S’が作成される。データf(S)の例としては、DCTやフーリエ変換などの信号変換されたデータもしくはデータの一部や、画像のモーメントなどの各種統計量が考えられる。ここでは、データf(S)をSの特徴量と呼ぶことにする。透かし入り画像S’から検出を行う場合は、W×f(S’)を求める。ただしW’の各列ベクトルは直交していることが必要である。また、W’はWの逆行列である。埋め込み情報がVである場合は、《式1》により、検出により埋め込み情報Vが得られることが示される。《式1》W×f(S’)=W×W’×V=VW’は変調行列、Wは復調行列とも呼ばれる。
【0006】
透かし入り画像S’へ何らかの編集が行われている場合などは、《式1》は成り立たないが、編集の程度に依存して埋め込み情報VとW×f(S’)とのユークリッド距離が近くなることが考えられる。この場合には、W×f(S’)を量子化することでVが得られる。埋め込んだ情報の1ビットが1か−1である場合、ベクトルX=(x1,…,xn)の量子化q(X)は以下の《式2》で表される。《式2》q(X)=(x’1, x’2,…,x’m), もしxiが正ならx’i=1、それ以外はx’i=−1このモデルに当てはまる電子透かしの方式において、検出を実行するためには、変換f()と、行列Wを知れば十分である。つまり、f()とWは、電子透かしの検出を行うために必要な鍵として考えることが可能である。この場合、f()とWを知る者は、元画像の信号領域のどこを変更することで情報を埋め込んでいるかが分かる。従って、透かし入り画像を改ざんすることが可能である。ただしここでいう改ざんとは、透かし入り画像の画質を大きく落とすことなく、本来埋め込まれている情報が検出されないか、本来とは異なる情報が検出されるように透かし入り画像を変更することを指す。
【0007】
電子透かしを用いたシステムにおいては、透かし入り画像のユーザなら誰でもが埋め込み情報を知ることができるという条件が要求されることがある。以下では、上記の条件を満たすために考えられる2つのアプローチについて説明する。
【0008】
まず、1つめのアプローチの例としては松井らによる文献「電子透かしの応用:一般利用者の協力に基づく海賊版データ摘発手法(1998年1月、暗号と情報セキュリティシンポジウム、10.2.C)」が挙げられる。この文献が提案するシステムでは、電子透かし検出プログラムをユーザへ予め配布しておき、ユーザは単独でこのプログラムを用いて検出を実行し、埋め込み情報を得ることになる。松井らのシステムでは、検出に必要な鍵情報は検出プログラムに含まれているが、上述のように、検出に必要な鍵情報をユーザが知った場合、ユーザによる改ざんが可能であるので、ユーザが検出プログラムから鍵情報を知ることはできないという仮定が必要となる。このように、プログラムが悪意のあるユーザによる解析に対して安全であることを、このプログラムが耐タンパー性を持つと表現することにする。
【0009】
もう一つのアプローチとしては、信頼できるセンターが検出を実行し、検出結果のみをユーザに通知するシステムがある。例としては吉浦らによる文献「公開鍵暗号に基づくセキュア電子透かしシステム(1997年9月、電子情報通信学会基礎・境界ソサイエティ大会、SA−7−7)」が挙げられる。吉浦らのシステムにおいては、検出を実行するセンターが不正な検出結果をユーザへ回答したとしてもユーザは見ぬくことができないので、検出を実行するセンターがどの程度信頼できるかが重要となる。また吉浦らのシステムにおいて、信号領域への変換などの検出処理の一部を、ユーザが実行することも考えられるが、この場合もユーザが自らの持つソフトウェアを解析することで、改ざんが成功する可能性は増加するといえる。
【0010】
上述した2つのアプローチによる、透かし入り画像のユーザの誰もが埋め込み情報を知ることができるシステムにおいては、改ざんに対する安全性やシステムの信頼性が、検出プログラムの耐タンパー性や、検出を実行するセンターの信頼性といった物理的な要因に影響を受けているといえる。この問題を解決するためには、検出の必要な鍵情報をユーザへ公開しても埋め込み情報の改ざんが困難であるような電子透かし技術の開発が重要である。近年、具体的な方式としては、岩村らによる文献「誤り訂正符号を用いたアルゴリズム公開型電子透かし(1999年1月、暗号と情報セキュリティシンポジウム)」が提案されている。しかし、岩村らの方式では、透かし入り画像ごとに鍵が必要となるという問題がある。
【0011】
【発明が解決しようとする課題】
上述した従来の透かし入り画像の埋め込み情報をユーザが知ることが可能であるシステムにおいて、センターが介在して検出処理を行う場合の問題点として、ユーザはセンターの回答が不正であるかどうかを見分けることができないという点が挙げられる。また検出処理の一部をユーザが行い、残りをセンターが行う場合には、ユーザが持つソフトウェアに耐タンパー性が求められることも問題である。
【0012】
本発明の目的は、上記の問題を解決するために、検出を実行するセンターが不正な検出結果を回答した場合、ユーザがこれを検知することが可能であり、かつユーザが所持するプログラムに耐タンパー性を仮定しなくとも、ユーザにとって透かし入り画像の改ざんが困難であるような、電子透かし検出システムを提供することである。
【0013】
【課題を解決するための手段】
本願の第1の発明は、ユーザ端末装置と検出センター装置とを備えたオンライン電子透かし検出システムにおいて、
前記ユーザ端末装置は、
画像を入力する画像入力手段と、入力された画像から特徴量を抽出する特徴量抽出手段と、乱数による認証情報を生成する認証情報生成手段と、
前記認証情報を前記検出センター装置から受信した抽出及び暗号化鍵によって暗号化する認証情報暗号化手段と、
前記抽出及び暗号化鍵を用いて前記特徴量から埋め込み情報を抽出し抽出した前記埋め込み情報の暗号化を行う埋め込み情報抽出及び暗号化手段と、
暗号化した前記埋め込み情報と暗号化した前記認証情報を結合し、結合した情報の並び替え順序を規定する生成鍵によって並び替えてこれを第一の送信情報として前記検出センター装置に送信する第一の送信情報生成手段と、
前記検出センター装置から第二の送信情報を受信すると前記第二の送信情報における並び替えの順序を前記第一の送信情報生成手段から受け取った前記生成鍵によって元に戻し前記検出センター装置によって復号された前記埋め込み情報を抽出して出力する埋め込み情報抽出手段と、
前記検出センター装置から第二の送信情報を受信すると前記第二の送信情報における並び替えの順序を前記第一の送信情報生成手段から受け取った前記生成鍵によって元に戻し前記認証情報と前記検証センター装置から受信した認証鍵とを用いて、第二の送信情報の認証を行い認証結果を出力する認証手段と、
抽出された前記埋め込み情報と前記認証結果とを入力して表示装置へ出力する認証及び埋め込み情報抽出結果表示手段と、を備え、
前記検出センター装置は、
前記埋め込み情報の抽出に必要な復調行列を生成する復調行列生成手段と、
準同型性を持つ公開鍵暗号により前記復調行列を行列の成分ごとに暗号化し、
前記埋め込み情報の抽出と暗号化に必要な前記抽出及び暗号化鍵として
前記ユーザ端末装置に送信する抽出及び暗号化鍵生成手段と、
前記第一の送信情報を受信すると、前記準同型性を持つ公開鍵暗号の復号処理により前記第一の送信情報を復号し前記第二の送信情報として前記ユーザ端末装置に送信する第二の送信情報生成手段と、
前記認証鍵を前記復調行列の各行和値を 2 値量子化して得られるベクトルとして生成して前記ユーザ端末装置に送信する認証鍵生成手段と、を備えることを特徴とする。
【0014】
本願の第2の発明は、ユーザ端末装置と検出センター装置とを備えたオンライン電子透かし検出システムにおいて、
前記ユーザ端末装置は、
画像を入力する画像入力手段と、入力された画像から特徴量を抽出する特徴量抽出手段と、乱数による認証情報を生成する認証情報生成手段と、
前記認証情報を前記検出センター装置から受信した認証鍵によって暗号化する認証情報暗号化手段と、
前記抽出及び暗号化鍵を用いて前記特徴量から埋め込み情報を抽出し抽出した前記埋め込み情報の暗号化を前記抽出及び暗号化鍵によって行う埋め込み情報抽出及び暗号化手段と、
暗号化した前記埋め込み情報と暗号化した前記認証情報を結合し、結合した情報の並び替え順序を規定する生成鍵によって並び替えてこれを第一の送信情報として前記検出センター装置に送信する第一の送信情報生成手段と、
前記検出センター装置から第二の送信情報を受信すると前記第二の送信情報における並び替えの順序を前記第一の送信情報生成手段から受け取った前記生成鍵によって元に戻し前記検出センター装置によって復号された前記埋め込み情報を抽出して出力する埋め込み情報抽出手段と、
前記検出センター装置から第二の送信情報を受信すると前記第二の送信情報における並び替えの順序を前記第一の送信情報生成手段から受け取った前記生成鍵によって元に戻し前記認証情報を用いて、第二の送信情報の認証を行い認証結果を出力する認証手段と、
抽出された前記埋め込み情報と前記認証結果とを入力して表示装置へ出力する認証及び埋め込み情報抽出結果表示手段と、を備え、
前記検出センター装置は、
前記埋め込み情報の抽出に必要な復調行列を生成する復調行列生成手段と、
準同型性を持つ公開鍵暗号により前記復調行列を行列の成分ごとに暗号化し、
前記埋め込み情報の抽出と暗号化に必要な前記抽出及び暗号化鍵として
前記ユーザ端末装置に送信する抽出及び暗号化鍵生成手段と、
前記第一の送信情報を受信すると、前記準同型性を持つ公開鍵暗号の復号処理により
前記第一の送信情報を復号し前記第二の送信情報として前記ユーザ端末装置に送信する第二の送信情報生成手段と、
前記認証鍵を前記準同型性を持つ公開鍵暗号の暗号化鍵として生成して前記ユーザ端末装置に送信する認証鍵生成手段と、を備えることを特徴とする。
【0015】
本願の第3の発明は、オンライン電子透かし検出システムにおいて、埋め込み情報の抽出に必要な復調行列を生成する復調行列生成手段と、前記復調行列生成手段が出力する前記復調行列を、行列の成分ごとに準同型性を持つ公開鍵暗号で暗号化して得られる暗号文を、前記埋め込み情報の抽出と暗号化に必要な抽出及び暗号化鍵としてユーザ端末装置へ送信する抽出及び暗号化鍵生成手段と、前記ユーザ端末装置から受信する第一の送信情報を前記準同型性を持つ公開鍵暗号の復号処理により復号し第二の送信情報として前記ユーザ端末装置へ送信する第二の送信情報生成手段と、前記復調行列の各行和値を 2 値量子化して得られるベクトルを認証鍵として前記ユーザ端末装置へ送信する認証鍵生成手段を含んで構成される検出センター装置と、
画像の入力を行う画像入力手段と前記画像から特徴量を算出する特徴量抽出手段と前記検出センター装置から受信する前記抽出及び暗号化鍵を用いて前記特徴量から埋め込み情報の抽出及び該埋め込み情報の暗号化を行う埋め込み情報抽出及び暗号化手段と前記第二の送信情報を認証するための認証情報を生成する認証情報生成手段と前記抽出及び暗号化鍵を用いて前記認証情報を暗号化する認証情報暗号化手段と前記認証情報暗号化手段が出力する暗号化認証情報と埋め込み情報抽出及び暗号化手段が出力する前記暗号化埋め込み情報を用いて前記第一の送信情報と生成鍵を生成し前記検出センター装置へ前記第一の送信情報を送信する第一の送信情報生成手段と前記検出センター装置より前記第二の送信情報と前記認証鍵を受信し前記認証鍵と前記生成鍵と前記認証情報生成手段が出力する前記認証情報を用いて前記第二の送信情報を認証する認証手段と前記第二の送信情報と前記生成鍵より前記埋め込み情報を抽出する埋め込み情報抽出手段と前記認証手段が出力する認証結果と埋め込み情報抽出手段が出力する前記埋め込み情報抽出結果を表示する認証及び埋め込み情報抽出結果表示手段を含んで構成されるユーザ端末装置とからなることを特徴とする。
【0016】
本願の第4の発明は、オンライン電子透かし検出システムにおいて、埋め込み情報の抽出に必要な復調行列を生成する復調行列生成手段と前記復調行列生成手段が出力する前記復調行列を、行列の成分ごとに準同型性を持つ公開鍵暗号で暗号化して得られる暗号文を、前記埋め込み情報の抽出と暗号化に必要な抽出及び暗号化鍵としてユーザ端末装置へ送信する抽出及び暗号化鍵生成手段と前記ユーザ端末装置から受信する第一の送信情報を前記準同型性を持つ公開鍵暗号の復号処理により復号し第二の送信情報として前記ユーザ端末装置へ送信する第二の送信情報生成手段と、前記準同型性を持つ公開鍵暗号の暗号化鍵を認証鍵として前記ユーザ端末装置へ送信する認証鍵生成手段を含んで構成される検出センター装置と、
画像の入力を行う画像入力手段と前記画像から特徴量を算出する特徴量抽出手段と前記検出センター装置から受信する前記抽出及び暗号化鍵を用いて前記特徴量から埋め込み情報の抽出及び該埋め込み情報の暗号化を行う埋め込み情報抽出及び暗号化手段と前記第二の送信情報を認証するための認証情報を生成する認証情報生成手段と前記認証鍵を用いて前記認証情報を暗号化する認証情報暗号化手段と前記認証情報暗号化手段が出力する暗号化認証情報と埋め込み情報抽出及び暗号化手段が出力する前記暗号化埋め込み情報を用いて前記第一の送信情報と生成鍵を生成し前記検出センター装置へ前記第一の送信情報を送信する第一の送信情報生成手段と前記検出センター装置より前記第二の送信情報を受信し前記生成鍵と前記認証情報生成手段が出力する前記認証情報を用いて前記第二の送信情報を認証する認証手段と前記第二の送信情報と前記生成鍵より前記埋め込み情報を抽出する埋め込み情報抽出手段と前記認証手段が出力する認証結果と前記埋め込み情報抽出手段が出力する前記埋め込み情報抽出結果を表示する認証及び埋め込み情報抽出結果表示手段を含んで構成されるユーザ端末装置とからなることを特徴とするオンライン電子透かし検出システム。
【0017】
本願の第5の発明は、検出センター装置
復調行列生成手段が、埋め込み情報の抽出に必要な復調行列を生成し、抽出及び暗号化鍵生成手段が、準同型性を持つ公開鍵暗号により前記復調行列を行列の成分ごとに暗号化し、前記埋め込み情報の抽出と暗号化に必要な抽出及び暗号化鍵としてユーザ端末装置に送信し、認証鍵生成手段が、認証鍵を前記復調行列の各行和値を 2 値量子化して得られるベクトルとして生成して前記ユーザ端末装置に送信し、
前記ユーザ端末装置
認証情報生成手段が、乱数による認証情報を生成し、認証情報暗号化手段が、前記認証情報を前記抽出及び暗号化鍵によって暗号化し、
画像入力手段が、画像を入力し、特徴量抽出手段が、入力された画像から特徴量を抽出し、
埋め込み情報抽出及び暗号化手段が、前記抽出及び暗号化鍵によって前記特徴量から前記埋め込み情報を抽出し、前記抽出及び暗号化鍵によって抽出した前記埋め込み情報の暗号化を行い、
第一の送信情報生成手段が、暗号化した前記埋め込み情報と暗号化した前記認証情報を結合し、結合した情報の並び替え順序を規定する生成鍵によって並び替えを行ってこれを第一の送信情報として前記検出センター装置に送信し、
前記検出センター装置
第二の送信情報生成手段が、前記第一の送信情報を受信すると、前記準同型性を持つ公開鍵暗号の復号処理により前記第一の送信情報を復号し前記第二の送信情報として前記ユーザ端末装置に送信し、
前記ユーザ端末装置
埋め込み情報抽出手段が、前記検出センター装置から前記第二の送信情報を受信すると前記第二の送信情報における並び替えの順序を前記第一の送信情報生成手段から受け取った前記生成鍵によって元に戻し前記検出センター装置によって復号された前記埋め込み情報を抽出して出力し、認証手段が、前記検出センター装置から前記第二の送信情報を受信すると前記第二の送信情報における並び替えの順序を前記第一の送信情報生成手段から受け取った前記生成鍵によって元に戻し前記認証情報と前記検証センター装置から受信した認証鍵とを用いて前記第二の送信情報の認証を行い認証結果を出力し、
認証及び埋め込み情報抽出結果表示手段が、前記埋め込み情報抽出手段からの前記埋め込み情報と前記認証手段からの認証結果とを入力して表示装置へ出力する、ことを含む。
【0018】
本願の第6の発明は、検出センター装置
復調行列生成手段が、埋め込み情報の抽出に必要な復調行列を生成し、抽出及び暗号化鍵生成手段が、準同型性を持つ公開鍵暗号により前記復調行列を行列の成分ごとに暗号化し、前記埋め込み情報の抽出と暗号化に必要な抽出及び暗号化鍵として前記ユーザ端末装置に送信し、認証鍵生成手段が、認証鍵を前記準同型性を持つ公開鍵暗号の暗号化鍵として生成してユーザ端末装置に送信し、
前記ユーザ端末装置
認証情報生成手段が、乱数による認証情報を生成し、認証情報暗号化手段が、前記認証情報を前記認証鍵によって暗号化し、
画像入力手段が、画像を入力し、特徴量抽出手段が、入力された画像から特徴量を抽出し、
埋め込み情報抽出及び暗号化手段が、前記抽出及び暗号化鍵によって前記特徴量から前記埋め込み情報を抽出し、前記抽出及び暗号化鍵によって抽出した前記埋め込み情報の暗号化を行い、
第一の送信情報生成手段が、暗号化した前記埋め込み情報と暗号化した前記認証情報を結合し、結合した情報の並び替え順序を規定する生成鍵によって並び替えを行ってこれを第一の送信情報として前記検出センター装置に送信し、
前記検出センター装置
第二の送信情報生成手段が、前記第一の送信情報を受信すると、前記準同型性を持つ公開鍵暗号の復号処理により前記第一の送信情報を復号し前記第二の送信情報として前記ユーザ端末装置に送信し、
前記ユーザ端末装置
埋め込み情報抽出手段が、前記検出センター装置から前記第二の送信情報を受信すると前記第二の送信情報における並び替えの順序を前記第一の送信情報生成手段から受け取った前記生成鍵によって元に戻し前記検出センター装置によって復号された前記埋め込み情報を抽出して出力し、認証手段が、前記検出センター装置から第二の送信情報を受信すると前記第二の送信情報における並び替えの順序を前記第一の送信情報生成手段から受け取った前記生成鍵によって元に戻し前記認証情報を用いて前記第二の送信情報の認証を行い認証結果を出力し、
認証及び埋め込み情報抽出結果表示手段が、前記埋め込み情報抽出手段からの前記埋め込み情報と前記認証手段からの認証結果とを入力して表示装置へ出力する、ことを含む。
【0019】
本願の第7の発明は、第3の発明のユーザ端末装置及び検出センター装置と同等の処理を実行する第1のオンライン電子透かし検出用プログラムを記録した記録媒体であることを特徴とする。
【0020】
本願の第8の発明は、第4の発明のユーザ端末装置及び検出センター装置と同等の処理を実行する第2のオンライン電子透かし検出用プログラムを記録した記録媒体であることを特徴とする。
【0031】
【発明の実施の形態】
次に、本発明の実施の形態について図面を参照して詳細に説明する。
【0032】
図1は、本発明の第1の実施の形態を示すブロック図である。
【0033】
図1を参照すると、本発明の電子透かし検出システムはユーザ端末部10と検出センター部20から構成される。
【0034】
検出センター部20は、埋め込み情報の抽出に必要な復調行列を生成する復調行列生成手段21と、埋め込み情報の抽出と暗号化に必要な抽出及び暗号化鍵をユーザ端末部10へ送信する抽出及び暗号化鍵生成手段22と、ユーザ端末部10から受信する第一の送信情報より第二の送信情報を生成し、ユーザ端末部10へ送信する第二の送信情報生成手段23と、ユーザ端末部10が第二の送信情報の認証を行うための認証鍵をユーザ端末部へ送信する認証鍵生成手段24から構成される。
【0035】
ユーザ端末部10は、画像の入力を行う画像入力手段11と、画像から特徴量を算出する特徴量抽出手段12と、検出センター部20から受信する抽出及び暗号化鍵を用いて特徴量から埋め込み情報の抽出及び埋め込み情報の暗号化を同時に行う埋め込み情報抽出及び暗号化手段13と、第二の送信情報を認証するための認証情報を生成する認証情報生成手段14と、検出センター部20の抽出及び暗号化鍵生成手段22より受信する抽出及び暗号化鍵を用いて認証情報を暗号化する認証情報暗号化手段15と、認証情報暗号化手段15が出力する暗号化認証情報と埋め込み情報抽出及び暗号化手段13が出力する暗号化埋め込み情報を用いて第一の送信情報と生成鍵を生成し検出センター部20へ第一の送信情報を送信する第一の送信情報生成手段16と、検出センター部20より第二の送信情報と認証鍵を受信し認証鍵と生成鍵と認証情報生成手段14が出力する認証情報を用いて第二の送信情報を認証する認証手段18と、第二の送信情報と生成鍵より埋め込み情報を抽出する埋め込み情報抽出手段17と、認証手段18が出力する認証結果と埋め込み情報抽出手段17が出力する埋め込み情報抽出結果を表示する認証及び埋め込み情報抽出結果表示手段19から構成される。
【0036】
まず、ユーザ端末部10を構成する各手段について説明する。
【0037】
画像入力手段11は、電子透かしを検出する対象となる画像を入力する手段である。これは例えば、CD−ROM等のメディアから画像を読み取る装置や、印刷物から画像を読み取るスキャナーなどの装置により実現される。画像入力手段11から出力される画像のデータのフォーマットは、例えばBMP(WindowsBitmap)等の汎用のフォーマットが用いられる。
【0038】
特徴量抽出手段12は、画像から特徴量を計算する手段である。ここで、本発明での電子透かし方式を、文献1でのモデルがあてはまる方式とする。すなわち、特徴量抽出手段12が出力する画像Sの特徴量は《式1》におけるf(S)であり、f(S)は長さmの実数ベクトルとする。f(S)の例としては、DCTやフーリエ変換などの信号変換されたデータもしくはデータの一部や、画像のモーメントなどの各種統計量を用いることが可能である。
【0039】
埋め込み情報抽出及び暗号化手段13は、抽出及び暗合化鍵を用いて、特徴量から埋め込み情報の抽出と、抽出された埋め込み情報の暗合化を行う。変調行列及び復調行列をそれぞれ、《式1》におけるW’とWとし、《式1》における埋め込み情報Vの長さをnとする。Vの各ビットは−1か1である。Wはn×m行列であり、その各列ベクトルが直交するものとする。埋め込み情報の抽出は、W×f(S)を《式2》が示す量子化関数q()を用いて量子化することで行われる。ただし以下ではW×f(S)もq(W×f(S))も区別せず、埋め込み情報と呼ぶことにする。また、行列Wの(i,j)成分をw(i,j)と表すことにする。ここで抽出及び暗号化鍵は、復調行列Wを成分ごとに暗号化したものである。平文Xに対する暗号文をE(X)とすると、抽出及び暗号化鍵は(i,j)成分がE(w(i,j))である行列EWとなる。E(w(i,j))をew(i,j)と表記するものとする。
【0040】
ただし本発明で用いる暗号E()は以下の条件を満たすものとする。
【0041】
条件1.
2つの暗号文E(X),E(Y)の積が、それぞれの平文の和の暗号文E(X+Y)となる。
【0042】
条件2.
暗号化関数は引数として乱数パラメータを持ち、単一の平文について、乱数パラメータに依存して異なる暗号文が存在する。
【0043】
条件1.を満たす暗合は準同型性を持つ暗号と呼ばれる。上記の2つの条件を満たす暗号の例としては,岡本らの文献2「アニュー パブリックキー クリプトシステム アズ セキュア アズ ファクタリング、ユーロクリプト’98、レクチャーノーツ イン コンピュータ サイエンス、第1403巻、1998年(A new public−keycryptosystem as secure as factoring, EuroCrypt’98, Lecture notes in computerscience 1403,1998)」による暗号がある。上記の2つの条件を満たす暗号においては、暗号化鍵、及び乱数パラメータも暗号化関数E()の引数であるが、ここでは省略する。
【0044】
埋め込み情報抽出及び暗号化手段13の処理においては、ユーザが埋め込み情報を直接には認識できないような処理が行われる。具体的には、特徴量をf(S)=(t1,t2,…,tm)とすると、埋め込み情報抽出及び暗号化手段13が出力する暗号化埋め込み情報Gは以下で示される。《式3》{暗号化埋め込み情報}G=(g1,g2,…,gn),gi=(ew(i,1)^t1)×(ew(i,2)^t2)×…×(ew(i,m)^tm)ただし、a^bはaのb乗を表すとする。
【0045】
以下の《式4》により、GはW×f(S)を要素ごとに暗号化したベクトルであることが示される。《式4》gi=(ew(i,1)^t1)×(ew(i,2)^t2)×…×(ew(i,m)^tm)=E(w(i,1)×t1)×E(w(i,2)×t2)×…×E(w(i,m)×tm)=E(w(i,1)×t1+w(i,2)×t2+…+w(i,m)×tm)
認証情報生成手段14は、長さnのランダムな実数ベクトルを認証情報Zとして出力する。認証情報生成手段14は、乱数生成器と、この乱数生成器へ与える初期パラメータの生成機能により実現される。例えば、乱数生成器としてSHA(Securehash algorithm)などの公知のハッシュ関数を利用し、初期パラメータとしてキーボードから入力される文字や、プログラムのプロセスID等を用いることが可能である。
【0046】
認証情報暗号化手段15は、抽出及び暗号化鍵EWと認証情報Zから暗号化認証情報Hを生成する。認証情報をZ=(z1,z2,…,zn)とすると、暗号化認証情報Hは以下の《式5》で与えられる。《式5》{暗号化認証情報}H=(h1,h2,…,hn),hi=(ew(i,1)^zi)×(ew(i,2)^zi)×…×(ew(i,m)^zi)
以下の《式6》により、hiが(Wのi番目の行和×zi)を平文とする暗号文であることが示される。《式6》hi=(ew(i,1)^zi)×(ew(i,2)^zi)×…×(ew(i,m)^zi)=E(w(i,1)zi)×E(w(i,2)zi)×E(w(i,m)zm)=E((w(i,1)+w(i,2)+…+w(i,m))×zi)
第一の送信情報生成手段16は、暗号化認証情報Hと暗号化埋め込み情報Gより、第一の送信情報を生成する。また、第一の送信情報の生成に関する情報を生成鍵として出力する。ここで、第一の送信情報は暗号化埋め込み情報Gと暗号化認証情報Hをランダムに連結した長さ2nのベクトルである。ランダムに連結するとは、GとHを連結したのち、連結したベクトルの成分をランダムな順序に並び替えることである。並び替えの方法は2nの階乗通り存在する。また、生成鍵は、2nの階乗通りある並び替えのうち、どの並び替えを行ったかを示す情報である。
【0047】
埋め込み情報抽出手段17は、生成鍵を用いて第二の送信情報より埋め込み情報を抽出する。抽出した結果を埋め込み情報抽出結果として出力する。ここで第二の送信情報は、第一の送信情報の各成分を復号し、《式2》で示される量子化を行った、長さ2nのベクトルである。埋め込み情報抽出手段17は、生成鍵を用いて、第二の送信情報より、暗号化埋め込み情報の復号及び量子化がなされている部分ベクトルを特定し、この部分ベクトルを埋め込み情報とするものである。得られた埋め込み情報を埋め込み情報抽出結果とする。埋め込み情報抽出結果は、抽出された埋め込み情報そのものである場合だけでない。例えば埋め込み情報に誤り訂正符号化が成されている場合、埋め込み情報抽出手段17は誤り訂正復号も行い、埋め込み情報抽出結果として、誤り訂正復号した結果を返すことも考えられる。
【0048】
認証手段18は、生成鍵と認証鍵Kと認証情報Zを用いて、第二の送信情報の認証を行い、認証結果を出力する。ここでの認証結果は検出センター部20が不正な回答をしたかどうかを示す2値情報である。ここで、認証鍵KはWの各行和の正負を示す情報であり、《式7》で与えられる。《式7》{認証鍵}K=(k1,k2,…,kn), もし(w(i,1)+…+w(i,m))が正ならki=1,負ならki=−1
《式7》が示すように、認証鍵KはWより一意に定まる。
【0049】
認証手段18は、生成鍵を用いて、第二の送信情報より、暗号化認証情報Hの復号及び量子化がなされている部分ベクトルA=(a1,a2,…,an)を特定し、(Z,K)の組とAが矛盾しないかを確認する。センターが正しい処理を行っている場合は、《式6》によりai=q((w(i,1)+…+w(i,m))×zi)であるので、i=1,2,…,nについてzi×kiとaiの正負が一致することになる。認証手段18は、i=1,2,…,nについてzi×kiとaiの正負が一致した場合、センターが正しい回答をしたと認め、そうでない場合にはセンターが不正な回答をしたと認める。
【0050】
《式6》が示すように、暗号化認証情報Hは、認証情報Zそのものの暗合文ではなく、センターが定めるWにより一意に定まる認証鍵Kと、ユーザが任意に定めた認証情報Zにより定まる平文の暗号文である。
【0051】
したがって、センターがユーザに第二の送信情報を送信する際に、Hに対応する部分について正しい値(Hを復号し、さらに量子化した値)を送信しなかった場合、ユーザはZとKを知っているので、センターが正しい値を返さなかったことに気づくことになる。もしセンターが、第一の送信情報の内、どこがHに相当する部分かを知ることができれば、センターはユーザに気づかれないように不正な回答を成功させることが可能となる。すなわち、暗号化埋め込み情報に相当する部分のみ不正な値を送信し、Hに相当する部分は正しい値を送信することができる。しかし、センターは生成鍵を知らないため、どこがHに相当する部分かを知ることはできない。
【0052】
認証及び埋め込み情報抽出結果表示手段19は、埋め込み情報抽出結果と認証結果を入力とし、モニターなどの表示装置へ表示する。表示装置の代わりに、プリンターなどの印刷装置を用いて印刷物による表示を行うことも可能である。
【0053】
画像入力手段11と、認証及び埋め込み情報抽出結果表示手段19を除いたその他の手段については、中央処理装置、デジタル信号処理装置を用いることで実現が可能である。
【0054】
次に、検出センター部20を構成する手段について説明する。
【0055】
埋め込み情報の抽出に必要な復調行列を生成する復調行列生成手段21は、復調行列Wを生成する。Wは埋め込みに用いる変調行列と対応しており、変調行列と復調行列は《式1》の関係(すなわち、互いの積が単位行列となること)を満たしていなければならない。
【0056】
抽出及び暗号化鍵生成手段22は、Wを用いて、Wを暗号E()の暗号化鍵を用いて成分ごとに暗号化した抽出及び暗号化鍵EWを出力する。E()の引数である乱数パラメータは適当な乱数生成器により得るものとする。
【0057】
第二の送信情報生成手段23は、暗号E()の復号鍵を用いて第一の送信情報を成分ごとに復号し、復号結果を《式2》に従って量子化する。量子化結果を第二の送信情報として出力する。
【0058】
認証鍵生成手段24は、復調行列Wを用いて認証鍵Kを生成し、出力する。前述のように、認証鍵KはWに依存して一意に決まる。
【0059】
検出センター部20の各手段については、中央処理装置を用いることで実現が可能である。また、ユーザ端末部10及び検出センター部20における通信処理は、デジタルデータを送受信可能なコンピュータネットワークを用いることで実現される。インターネットが例として挙げられる。
【0060】
以上で説明した本発明の第1の実施の形態においては、暗合E()は共通鍵暗合でも、公開鍵暗合でも適用可能である。
【0061】
E()が文献2の暗合と同じく公開鍵暗合である場合に考えることができる、本発明の第2の実施の形態を以下に示す。第2の実施形態においては、第1の実施形態よりも復調行列Wについてユーザに知られる情報が少ないため、ユーザが不正なデータを送信しWを知ろうとする攻撃に対しより安全と考えられる。
【0062】
本発明の第2の実施の形態においては、ユーザ端末部については認証情報暗号化手段215と認証手段218が、検出センター部については抽出及び暗号化鍵生成手段222及び認証鍵生成手段224の動作がが第1の実施の形態と異なる。その他の手段の動作については、第1の実施の形態と名称が同じものは、同じ動作をするものとする。
【0063】
図2は本発明の電子透かし検出システムの第2の実施の形態を示すブロック図である。
【0064】
まず、ユーザ端末部210の認証情報暗号化手段215と認証手段218について説明する。
【0065】
認証情報暗号化手段215は、認証鍵K’を用いて、認証情報Zから暗号化認証情報H’を生成する。第1の実施の形態とは異なり、H’は認証情報Zの暗号文そのものである。従って、認証情報をZ=(z1,z2,…,zn)とすると、暗号化認証情報はH’=(E(z1),E(z2),…,E(zn))である。また、認証鍵K’は暗合E()の暗号化鍵である。
【0066】
認証手段218は、生成鍵と認証情報Zを用いて、第二の送信情報の認証を行い、認証結果を出力する。ここでの認証結果は検出センター部220が不正な回答をしたかどうかを示す2値情報である。
【0067】
認証手段218は、生成鍵を用いて、第二の送信情報より、暗号化認証情報H’の復号及び量子化がなされている部分ベクトルA=(a1,a2,…,an)を特定し、ziとaiの正負が一致するかをi=1,…,nについて確認する。認証手段218は、i=1,2,…,nについてziとaiの正負が一致した場合、センターが正しい回答をしたと認め、そうでない場合にはセンターが不正な回答をしたと認める。
【0068】
センターがユーザに第二の送信情報を送信する際に、H’に対応する部分について正しい値(Hを復号し、さらに量子化した値)を送信しなかった場合、ユーザはZを知っているので、センターが正しい値を返さなかったことに気づくことになる。もしセンターが、第一の送信情報の内、どこがH’に相当する部分かを知ることができれば、センターはユーザに気づかれないように不正な回答を成功させることが可能となる(暗号化埋め込み情報に相当する部分のみ不正な値を送信し、H’に相当する部分は正しい値を送信することができる)。しかし、センターは生成鍵を知らないため、どこがH’に相当する部分かを知ることはできない。
【0069】
次に、検出センター部220の、抽出及び暗号化鍵生成手段222と認証鍵生成手段224について説明する。
【0070】
抽出及び暗号化鍵生成手段222は、Wを用いて、Wを暗号E()の暗号化鍵を用いて成分ごとに暗号化した抽出及び暗号化鍵EWを出力する。E()の引数である乱数パラメータは適当な乱数生成器により得るものとする。
【0071】
認証鍵生成手段224は、復調行列Wを用いて、認証鍵K’を生成し、出力する。前述のように認証鍵K’は暗合E()の暗号化鍵であるため、センターが認証鍵K’をどのように生成するかは暗合E()に依存する。
【0072】
次に、第1の実施の形態における、電子透かし検出システム全体の動作について説明する。
【0073】
透かしの検出を行う前の準備として、検出センター部20の復調行列生成手段21が復調行列Wを生成し、抽出及び暗号化鍵生成手段22と認証鍵生成手段24へWを与える。次に抽出及び暗号化鍵生成手段22が、Wを用いて抽出及び暗号化鍵EWを生成する。また、認証鍵生成手段24はWを用いて認証鍵Kを生成する。EWについては、暗合化関数E()における暗号化鍵が、文献2の暗合のように、乱数に依存して定められる場合であれば、ユーザ端末部10の要求の度に乱数によって異なるEWを定めることもできる。KについてはWが変更されない限り固定である。
【0074】
次に、抽出及び暗号化鍵生成手段22が、抽出及び暗号化鍵EWをユーザ端末部10の埋め込み情報抽出及び暗号化手段13と認証情報暗号化手段15へ送信しておく。また、認証鍵生成手段24は認証鍵Kをユーザ端末部10の認証手段18へ送信しておく。ここで、EW及びKは固定として、あらかじめユーザ端末部10の持つプログラムに含まれるものとしてもよい。
【0075】
次に、ユーザ端末部10を操作するユーザが、ユーザ端末部10の画像入力手段11へ、CD−ROM等のメディアから画像を入力する。画像入力手段11は入力された画像を電子透かし検出システムで用いる形式の画像データに変換して、特徴量抽出手段12に与える。特徴量抽出手段12は、画像の特徴量を出力し、埋め込み情報抽出及び暗号化手段13へ与える。
【0076】
ユーザ端末部10の埋め込み情報抽出及び暗号化手段13は、抽出及び暗号化鍵EWを用いて、特徴量f(S)から暗号化埋め込み情報Gを求め、第一の送信情報生成手段16へ与える。認証情報生成手段14は認証情報Zを生成し、認証情報暗号化手段15へ与える。
【0077】
ユーザ端末部10の認証情報暗号化手段15は抽出及び暗号化鍵EWと認証情報Zより暗号化認証情報Hを求め、第一の送信情報生成手段16へ与える。
【0078】
ユーザ端末部10の第一の送信情報生成手段16は、暗号化認証情報Hと暗号化埋め込み情報Gより、第一の送信情報を生成し、検出センター部20の第二の送信情報生成手段23へ送信する。次に、第一の送信情報生成手段16は生成鍵を埋め込み情報抽出手段17と認証手段18へ与える。
【0079】
検出センター部20の第二の送信情報生成手段23は、第一の送信情報より第二の送信情報を求め、ユーザ端末部10の埋め込み情報抽出手段17と認証手段18へ送信する。
【0080】
ユーザ端末部10の埋め込み情報抽出手段17は、生成鍵を用いて第二の送信情報より埋め込み情報を抽出し、埋め込み情報抽出結果を認証及び埋め込み情報抽出結果表示手段19へ与える。次に、認証手段18は生成鍵と認証鍵Kと認証情報Zを用いて、第二の送信情報の認証を行い、その結果を認証及び埋め込み情報抽出結果表示手段19へ出力する。
【0081】
最後に、ユーザ端末部10の認証及び埋め込み情報抽出結果表示手段19は埋め込み情報抽出結果と認証結果を表示する。認証結果より、正しく認証が成されたと判断した場合、ユーザは埋め込み情報抽出結果より、埋め込み情報を得る。認証に失敗した場合、ユーザは検出センター部20が埋め込み情報抽出結果について不正な回答を返したと判断する。
【0082】
次に、第2の実施の形態における、電子透かし検出システム全体の動作について説明する。
【0083】
透かしの検出を行う前の準備として、検出センター部220の復調行列生成手段221が復調行列Wを生成し、抽出及び暗号化鍵生成手段222へWを与える。次に抽出及び暗号化鍵生成手段222が、Wを用いて抽出及び暗号化鍵EWを生成する。また、認証鍵生成手段224は認証鍵K’を生成する。EWとK’については、暗合化関数E()における暗号化鍵が、文献2の暗合のように、乱数に依存して定められる場合であれば、ユーザ端末部210の要求の度に乱数によって異なるEWとK’を定めることもできる。
【0084】
次に、抽出及び暗号化鍵生成手段222が、EWをユーザ端末部210の埋め込み情報抽出及び暗号化手段213へ送信しておく。また、認証鍵生成手段224は認証鍵K’をユーザ端末部210の認証手段218へ送信しておく。ここで、EW及びK’は固定として、あらかじめユーザ端末部210の持つプログラムに含まれるものとしてもよい。
【0085】
以下、ユーザ端末部210の画像入力と特徴量抽出、埋め込み情報の抽出及び暗号化、認証情報Zの生成は第三の発明と同様である為省略する。
【0086】
次に、ユーザ端末部210の認証情報暗号化手段215は認証鍵K’と認証情報Zより暗号化認証情報H’を求め、第一の送信情報生成手段216へ与える。
【0087】
ユーザ端末部210の第一の送信情報生成手段216は、暗号化認証情報H’と暗号化埋め込み情報Gより、第一の送信情報を生成し、検出センター部220の第二の送信情報生成手段223へ送信する。次に、第一の送信情報生成手段216は生成鍵を埋め込み情報抽出手段217と認証手段218へ与える。
【0088】
以下、検出センター部220による第二の送信情報の生成、ユーザ端末部210による埋め込み情報抽出は第1の実施の形態と同様である為省略する。
【0089】
次に、認証手段218は生成鍵と認証情報Zを用いて、第二の送信情報の認証を行い、その結果を認証及び埋め込み情報抽出結果表示手段219へ出力する。
【0090】
最後の、埋め込み情報抽出結果と認証結果の表示については第1の実施の形態と同様である為省略する。
【0091】
次に、図3を参照すると、本発明の第3の実施の形態は、第1のオンライン電子透かし検出用プログラム又は第2のオンライン電子透かし検出用プログラムを格納した記録媒体300を備える。この記録媒体300は、磁気ディスク、半導体メモリその他の記録媒体であって良い。
【0092】
第1のオンライン電子透かし検出用プログラムは記録媒体300からユーザ端末部301と検出センター部302に読み込まれ、各々の動作を制御する。ユーザ端末部301は、第1のオンライン電子透かし検出用プログラムの制御により以下の処理、即ち第1の実施の形態におけるユーザ端末部10と同一の処理を実行し、検出センター部302は、第1のオンライン電子透かし検出用プログラムの制御により第1の実施の形態における検出センター部20と同一の処理を実行する。
【0093】
第2のオンライン電子透かし検出用プログラムは記録媒体300からユーザ端末部301と検出センター部302に読み込まれ、各々の動作を制御する。ユーザ端末部301は、第2のオンライン電子透かし検出用プログラムの制御により以下の処理、即ち第2の実施の形態におけるユーザ端末部210と同一の処理を実行し、検出センター部302は、第2のオンライン電子透かし検出用プログラムの制御により第2の実施の形態における検出センター部220と同一の処理を実行する。
【0094】
【発明の効果】
以上で説明したように、本発明によれば、検出を実行するセンターが不正な検出結果を回答した場合、ユーザが高い確率でこれを検知することが可能であり、かつユーザが所持するプログラムに耐タンパー性を仮定しなくとも、ユーザにとって透かし入り画像の改ざんが困難である、電子透かし検出システムを実現することができる効果がある。
【図面の簡単な説明】
【図1】本発明の第1の実施の形態を示すブロック図である。
【図2】本発明の第2の実施の形態を示すブロック図である。
【図3】本発明の第3の実施の形態を示すブロック図である。
【符号の説明】
10 ユーザ端末部
11 画像入力手段
12 特徴量抽出手段
13 埋め込み情報抽出及び暗号化手段
14 認証情報生成手段
15 認証情報暗号化手段
16 第一の送信情報生成手段
17 埋め込み情報抽出手段
18 認証手段
19 認証及び埋め込み情報抽出結果表示手段
20 検出センター部
21 復調行列生成手段
22 抽出及び暗号化鍵生成手段
23 第二の送信情報生成手段
24 認証鍵生成手段
210 ユーザ端末部
211 画像入力手段
212 特徴量抽出手段
213 埋め込み情報抽出及び暗号化手段
214 認証情報生成手段
215 認証情報暗号化手段
216 第一の送信情報生成手段
217 埋め込み情報抽出手段
218 認証手段
219 認証及び埋め込み情報抽出結果表示手段
220 検出センター部
221 復調行列生成手段
222 抽出及び暗号化鍵生成手段
223 第二の送信情報生成手段
224 認証鍵生成手段
300 記録媒体
301 ユーザ端末部
302 検出センター部

Claims (8)

  1. ユーザ端末装置と検出センター装置とを備えたオンライン電子透かし検出システムにおいて、
    前記ユーザ端末装置は、
    画像を入力する画像入力手段と、入力された画像から特徴量を抽出する特徴量抽出手段と、乱数による認証情報を生成する認証情報生成手段と、
    前記認証情報を前記検出センター装置から受信した抽出及び暗号化鍵によって暗号化する認証情報暗号化手段と、
    前記抽出及び暗号化鍵を用いて前記特徴量から埋め込み情報を抽出し抽出した前記埋め込み情報の暗号化を行う埋め込み情報抽出及び暗号化手段と、
    暗号化した前記埋め込み情報と暗号化した前記認証情報を結合し、結合した情報の並び替え順序を規定する生成鍵によって並び替えてこれを第一の送信情報として前記検出センター装置に送信する第一の送信情報生成手段と、
    前記検出センター装置から第二の送信情報を受信すると前記第二の送信情報における並び替えの順序を前記第一の送信情報生成手段から受け取った前記生成鍵によって元に戻し前記検出センター装置によって復号された前記埋め込み情報を抽出して出力する埋め込み情報抽出手段と、
    前記検出センター装置から第二の送信情報を受信すると前記第二の送信情報における並び替えの順序を前記第一の送信情報生成手段から受け取った前記生成鍵によって元に戻し前記認証情報と前記検証センター装置から受信した認証鍵とを用いて、第二の送信情報の認証を行い認証結果を出力する認証手段と、
    抽出された前記埋め込み情報と前記認証結果とを入力して表示装置へ出力する認証及び埋め込み情報抽出結果表示手段と、を備え、
    前記検出センター装置は、
    前記埋め込み情報の抽出に必要な復調行列を生成する復調行列生成手段と、
    準同型性を持つ公開鍵暗号により前記復調行列を行列の成分ごとに暗号化し、
    前記埋め込み情報の抽出と暗号化に必要な前記抽出及び暗号化鍵として
    前記ユーザ端末装置に送信する抽出及び暗号化鍵生成手段と、
    前記第一の送信情報を受信すると、前記準同型性を持つ公開鍵暗号の復号処理により前記第一の送信情報を復号し前記第二の送信情報として前記ユーザ端末装置に送信する第二の送信情報生成手段と、
    前記認証鍵を前記復調行列の各行和値を 2 値量子化して得られるベクトルとして生成して前記ユーザ端末装置に送信する認証鍵生成手段と、を備えることを特徴とするオンライン電子透かし検出システム。
  2. ユーザ端末装置と検出センター装置とを備えたオンライン電子透かし検出システムにおいて、
    前記ユーザ端末装置は、
    画像を入力する画像入力手段と、入力された画像から特徴量を抽出する特徴量抽出手段と、乱数による認証情報を生成する認証情報生成手段と、
    前記認証情報を前記検出センター装置から受信した認証鍵によって暗号化する認証情報暗号化手段と、
    前記抽出及び暗号化鍵を用いて前記特徴量から埋め込み情報を抽出し抽出した前記埋め込み情報の暗号化を前記抽出及び暗号化鍵によって行う埋め込み情報抽出及び暗号化手段と、
    暗号化した前記埋め込み情報と暗号化した前記認証情報を結合し、結合した情報の並び替え順序を規定する生成鍵によって並び替えてこれを第一の送信情報として前記検出センター装置に送信する第一の送信情報生成手段と、
    前記検出センター装置から第二の送信情報を受信すると前記第二の送信情報における並び替えの順序を前記第一の送信情報生成手段から受け取った前記生成鍵によって元に戻し前記検出センター装置によって復号された前記埋め込み情報を抽出して出力する埋め込み情報抽出手段と、
    前記検出センター装置から第二の送信情報を受信すると前記第二の送信情報における並び替えの順序を前記第一の送信情報生成手段から受け取った前記生成鍵によって元に戻し前記認証情報を用いて、第二の送信情報の認証を行い認証結果を出力する認証手段と、
    抽出された前記埋め込み情報と前記認証結果とを入力して表示装置へ出力する認証及び埋め込み情報抽出結果表示手段と、を備え、
    前記検出センター装置は、
    前記埋め込み情報の抽出に必要な復調行列を生成する復調行列生成手段と、
    準同型性を持つ公開鍵暗号により前記復調行列を行列の成分ごとに暗号化し、
    前記埋め込み情報の抽出と暗号化に必要な前記抽出及び暗号化鍵として
    前記ユーザ端末装置に送信する抽出及び暗号化鍵生成手段と、
    前記第一の送信情報を受信すると、前記準同型性を持つ公開鍵暗号の復号処理により
    前記第一の送信情報を復号し前記第二の送信情報として前記ユーザ端末装置に送信する第二の送信情報生成手段と、
    前記認証鍵を前記準同型性を持つ公開鍵暗号の暗号化鍵として生成して前記ユーザ端末装置に送信する認証鍵生成手段と、を備えることを特徴とするオンライン電子透かし検出システム。
  3. オンライン電子透かし検出システムにおいて、埋め込み情報の抽出に必要な復調行列を生成する復調行列生成手段と、前記復調行列生成手段が出力する前記復調行列を、行列の成分ごとに準同型性を持つ公開鍵暗号で暗号化して得られる暗号文を、前記埋め込み情報の抽出と暗号化に必要な抽出及び暗号化鍵としてユーザ端末装置へ送信する抽出及び暗号化鍵生成手段と、前記ユーザ端末装置から受信する第一の送信情報を前記準同型性を持つ公開鍵暗号の復号処理により復号し第二の送信情報として前記ユーザ端末装置へ送信する第二の送信情報生成手段と、前記復調行列の各行和値を 2 値量子化して得られるベクトルを認証鍵として前記ユーザ端末装置へ送信する認証鍵生成手段を含んで構成される検出センター装置と、
    画像の入力を行う画像入力手段と前記画像から特徴量を算出する特徴量抽出手段と前記検出センター装置から受信する前記抽出及び暗号化鍵を用いて前記特徴量から埋め込み情報の抽出及び該埋め込み情報の暗号化を行う埋め込み情報抽出及び暗号化手段と前記第二の送信情報を認証するための認証情報を生成する認証情報生成手段と前記抽出及び暗号化鍵を用いて前記認証情報を暗号化する認証情報暗号化手段と前記認証情報暗号化手段が出力する暗号化認証情報と埋め込み情報抽出及び暗号化手段が出力する前記暗号化埋め込み情報を用いて前記第一の送信情報と生成鍵を生成し前記検出センター装置へ前記第一の送信情報を送信する第一の送信情報生成手段と前記検出センター装置より前記第二の送信情報と前記認証鍵を受信し前記認証鍵と前記生成鍵と前記認証情報生成手段が出力する前記認証情報を用いて前記第二の送信情報を認証する認証手段と前記第二の送信情報と前記生成鍵より前記埋め込み情報を抽出する埋め込み情報抽出手段と前記認証手段が出力する認証結果と埋め込み情報抽出手段が出力する前記埋め込み情報抽出結果を表示する認証及び埋め込み情報抽出結果表示手段を含んで構成されるユーザ端末装置とからなることを特徴とするオンライン電子透かし検出システム。
  4. オンライン電子透かし検出システムにおいて、埋め込み情報の抽出に必要な復調行列を生成する復調行列生成手段と前記復調行列生成手段が出力する前記復調行列を、行列の成分ごとに準同型性を持つ公開鍵暗号で暗号化して得られる暗号文を、前記埋め込み情報の抽出と暗号化に必要な抽出及び暗号化鍵としてユーザ端末装置へ送信する抽出及び暗号化鍵生成手段と前記ユーザ端末装置から受信する第一の送信情報を前記準同型性を持つ公開鍵暗号の復号処理により復号し第二の送信情報として前記ユーザ端末装置へ送信する第二の送信情報生成手段と、前記準同型性を持つ公開鍵暗号の暗号化鍵を認証鍵として前記ユーザ端末装置へ送信する認証鍵生成手段を含んで構成される検出センター装置と、
    画像の入力を行う画像入力手段と前記画像から特徴量を算出する特徴量抽出手段と前記検出センター装置から受信する前記抽出及び暗号化鍵を用いて前記特徴量から埋め込み情報の抽出及び該埋め込み情報の暗号化を行う埋め込み情報抽出及び暗号化手段と前記第二の送信情報を認証するための認証情報を生成する認証情報生成手段と前記認証鍵を用いて前記認証情報を暗号化する認証情報暗号化手段と前記認証情報暗号化手段が出力する暗号化認証情報と埋め込み情報抽出及び暗号化手段が出力する前記暗号化埋め込み情報を用いて前記第一の送信情報と生成鍵を生成し前記検出センター装置へ前記第一の送信情報を送信する第一の送信情報生成手段と前記検出センター装置より前記第二の送信情報を受信し前記生成鍵と前記認証情報生成手段が出力する前記認証情報を用いて前記第二の送信情報を認証する認証手段と前記第二の送信情報と前記生成鍵より前記埋め込み情報を抽出する埋め込み情報抽出手段と前記認証手段が出力する認証結果と前記埋め込み情報抽出手段が出力する前記埋め込み情報抽出結果を表示する認証及び埋め込み情報抽出結果表示手段を含んで構成されるユーザ端末装置とからなることを特徴とするオンライン電子透かし検出システム。
  5. 検出センター装置
    復調行列生成手段が、埋め込み情報の抽出に必要な復調行列を生成し、抽出及び暗号化鍵生成手段が、準同型性を持つ公開鍵暗号により前記復調行列を行列の成分ごとに暗号化し、前記埋め込み情報の抽出と暗号化に必要な抽出及び暗号化鍵としてユーザ端末装置に送信し、認証鍵生成手段が、認証鍵を前記復調行列の各行和値を 2 値量子化して得られるベクトルとして生成して前記ユーザ端末装置に送信し、
    前記ユーザ端末装置
    認証情報生成手段が、乱数による認証情報を生成し、認証情報暗号化手段が、前記認証情報を前記抽出及び暗号化鍵によって暗号化し、
    画像入力手段が、画像を入力し、特徴量抽出手段が、入力された画像から特徴量を抽出し、
    埋め込み情報抽出及び暗号化手段が、前記抽出及び暗号化鍵によって前記特徴量から前記埋め込み情報を抽出し、前記抽出及び暗号化鍵によって抽出した前記埋め込み情報の暗号化を行い、
    第一の送信情報生成手段が、暗号化した前記埋め込み情報と暗号化した前記認証情報を結合し、結合した情報の並び替え順序を規定する生成鍵によって並び替えを行ってこれを第一の送信情報として前記検出センター装置に送信し、
    前記検出センター装置
    第二の送信情報生成手段が、前記第一の送信情報を受信すると、前記準同型性を持つ公開鍵暗号の復号処理により前記第一の送信情報を復号し前記第二の送信情報として前記ユーザ端末装置に送信し、
    前記ユーザ端末装置
    埋め込み情報抽出手段が、前記検出センター装置から前記第二の送信情報を受信すると前記第二の送信情報における並び替えの順序を前記第一の送信情報生成手段から受け取った前記生成鍵によって元に戻し前記検出センター装置によって復号された前記埋め込み情報を抽出して出力し、認証手段が、前記検出センター装置から前記第二の送信情報を受信すると前記第二の送信情報における並び替えの順序を前記第一の送信情報生成手段から受け取った前記生成鍵によって元に戻し前記認証情報と前記検証センター装置から受信した認証鍵とを用いて前記第二の送信情報の認証を行い認証結果を出力し、
    認証及び埋め込み情報抽出結果表示手段が、前記埋め込み情報抽出手段からの前記埋め込み情報と前記認証手段からの認証結果とを入力して表示装置へ出力する、
    ことを特徴とするオンライン電子透かし検出方法。
  6. 検出センター装置
    復調行列生成手段が、埋め込み情報の抽出に必要な復調行列を生成し、抽出及び暗号化鍵生成手段が、準同型性を持つ公開鍵暗号により前記復調行列を行列の成分ごとに暗号化し、前記埋め込み情報の抽出と暗号化に必要な抽出及び暗号化鍵として前記ユーザ端末装置に送信し、認証鍵生成手段が、認証鍵を前記準同型性を持つ公開鍵暗号の暗号化鍵として生成してユーザ端末装置に送信し、
    前記ユーザ端末装置
    認証情報生成手段が、乱数による認証情報を生成し、認証情報暗号化手段が、前記認証情報を前記認証鍵によって暗号化し、
    画像入力手段が、画像を入力し、特徴量抽出手段が、入力された画像から特徴量を抽出し、
    埋め込み情報抽出及び暗号化手段が、前記抽出及び暗号化鍵によって前記特徴量から前記埋め込み情報を抽出し、前記抽出及び暗号化鍵によって抽出した前記埋め込み情報の暗号化を行い、
    第一の送信情報生成手段が、暗号化した前記埋め込み情報と暗号化した前記認証情報を結合し、結合した情報の並び替え順序を規定する生成鍵によって並び替えを行ってこれを第一の送信情報として前記検出センター装置に送信し、
    前記検出センター装置
    第二の送信情報生成手段が、前記第一の送信情報を受信すると、前記準同型性を持つ公開鍵暗号の復号処理により前記第一の送信情報を復号し前記第二の送信情報として前記ユーザ端末装置に送信し、
    前記ユーザ端末装置
    埋め込み情報抽出手段が、前記検出センター装置から前記第二の送信情報を受信すると前記第二の送信情報における並び替えの順序を前記第一の送信情報生成手段から受け取った前記生成鍵によって元に戻し前記検出センター装置によって復号された前記埋め込み情報を抽出して出力し、認証手段が、前記検出センター装置から第二の送信情報を受信すると前記第二の送信情報における並び替えの順序を前記第一の送信情報生成手段から受け取った前記生成鍵によって元に戻し前記認証情報を用いて前記第二の送信情報の認証を行って認証結果を出力し、
    認証及び埋め込み情報抽出結果表示手段が、前記埋め込み情報抽出手段からの前記埋め込み情報と前記認証手段からの認証結果とを入力して表示装置へ出力する、
    ことを特徴とするオンライン電子透かし検出方法。
  7. 請求項記載のユーザ端末装置及び検出センター装置と同等の処理を実行する第1のオンライン電子透かし検出用プログラムを記録した記録媒体。
  8. 請求項記載のユーザ端末装置及び検出センター装置と同等の処理を実行する第2のオンライン電子透かし検出用プログラムを記録した記録媒体。
JP25352299A 1999-09-07 1999-09-07 オンライン電子透かし検出システム、オンライン電子透かし検出方法、及びオンライン電子透かし検出用プログラムを記録した記録媒体 Expired - Fee Related JP3654077B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP25352299A JP3654077B2 (ja) 1999-09-07 1999-09-07 オンライン電子透かし検出システム、オンライン電子透かし検出方法、及びオンライン電子透かし検出用プログラムを記録した記録媒体
US09/656,169 US6700993B1 (en) 1999-09-07 2000-09-06 System and method for on-line digital watermark detection

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP25352299A JP3654077B2 (ja) 1999-09-07 1999-09-07 オンライン電子透かし検出システム、オンライン電子透かし検出方法、及びオンライン電子透かし検出用プログラムを記録した記録媒体

Publications (2)

Publication Number Publication Date
JP2001075477A JP2001075477A (ja) 2001-03-23
JP3654077B2 true JP3654077B2 (ja) 2005-06-02

Family

ID=17252549

Family Applications (1)

Application Number Title Priority Date Filing Date
JP25352299A Expired - Fee Related JP3654077B2 (ja) 1999-09-07 1999-09-07 オンライン電子透かし検出システム、オンライン電子透かし検出方法、及びオンライン電子透かし検出用プログラムを記録した記録媒体

Country Status (2)

Country Link
US (1) US6700993B1 (ja)
JP (1) JP3654077B2 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3472188B2 (ja) * 1999-03-31 2003-12-02 キヤノン株式会社 情報処理システム、情報処理装置、情報処理方法及び記憶媒体
US8392827B2 (en) * 2001-04-30 2013-03-05 International Business Machines Corporation Method for generation and assembly of web page content
CA2350029A1 (en) * 2001-06-08 2002-12-08 Cloakware Corporation Sustainable digital watermarking via tamper-resistant software
FR2829644A1 (fr) * 2001-09-10 2003-03-14 St Microelectronics Sa Procede securise de transmission de donnees multimedia
US7237115B1 (en) * 2001-09-26 2007-06-26 Sandia Corporation Authenticating concealed private data while maintaining concealment
GB2382753A (en) * 2001-12-03 2003-06-04 Sony Uk Ltd Encrypting video data, ensuring that all encrypted data values lie in a legal range
KR100878518B1 (ko) * 2001-12-03 2009-01-13 삼성전자주식회사 워터마크 삽입방법, 전송방법, 복원방법 및 그 장치
US20030131350A1 (en) * 2002-01-08 2003-07-10 Peiffer John C. Method and apparatus for identifying a digital audio signal
EP1561341A4 (en) 2002-10-23 2010-12-15 Nielsen Media Res Inc DEVICE AND METHOD FOR INSERTING DIGITAL DATA FOR USE WITH COMPRESSED AUDIO / VIDEO DATA
US7460684B2 (en) 2003-06-13 2008-12-02 Nielsen Media Research, Inc. Method and apparatus for embedding watermarks
CA2562137C (en) 2004-04-07 2012-11-27 Nielsen Media Research, Inc. Data insertion apparatus and methods for use with compressed audio/video data
US8412363B2 (en) * 2004-07-02 2013-04-02 The Nielson Company (Us), Llc Methods and apparatus for mixing compressed digital bit streams
EP2958106B1 (en) 2006-10-11 2018-07-18 The Nielsen Company (US), LLC Methods and apparatus for embedding codes in compressed audio data streams
JP5140021B2 (ja) * 2009-03-10 2013-02-06 富士ゼロックスシステムサービス株式会社 情報処理システム、画像処理装置及び画像処理プログラム
GB2531770A (en) * 2014-10-30 2016-05-04 Ibm Confidential Extracting System Internal Data
US10826900B1 (en) * 2014-12-31 2020-11-03 Morphotrust Usa, Llc Machine-readable verification of digital identifications
US10154275B2 (en) * 2015-02-16 2018-12-11 Disney Enterprises, Inc. Systems and methods for embedding metadata into video contents

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5646997A (en) * 1994-12-14 1997-07-08 Barton; James M. Method and apparatus for embedding authentication information within digital data
US5530759A (en) * 1995-02-01 1996-06-25 International Business Machines Corporation Color correct digital watermarking of images
EP0766468B1 (en) 1995-09-28 2006-05-03 Nec Corporation Method and system for inserting a spread spectrum watermark into multimedia data
US5664018A (en) * 1996-03-12 1997-09-02 Leighton; Frank Thomson Watermarking process resilient to collusion attacks
US5734752A (en) * 1996-09-24 1998-03-31 Xerox Corporation Digital watermarking using stochastic screen patterns
JP3651721B2 (ja) * 1996-11-01 2005-05-25 株式会社東芝 移動計算機装置、パケット処理装置及び通信制御方法
US6504941B2 (en) * 1998-04-30 2003-01-07 Hewlett-Packard Company Method and apparatus for digital watermarking of images

Also Published As

Publication number Publication date
JP2001075477A (ja) 2001-03-23
US6700993B1 (en) 2004-03-02

Similar Documents

Publication Publication Date Title
JP3654077B2 (ja) オンライン電子透かし検出システム、オンライン電子透かし検出方法、及びオンライン電子透かし検出用プログラムを記録した記録媒体
Zhao et al. Dual domain watermarking for authentication and compression of cultural heritage images
US8612765B2 (en) Security based on subliminal and supraliminal channels for data objects
US6834344B1 (en) Semi-fragile watermarks
Lou et al. Steganographic method for secure communications
KR100465950B1 (ko) 정보 처리 장치 및 그 제어 방법, 컴퓨터 프로그램을 저장한 저장 매체
JP5537032B2 (ja) 安全な閾値復号プロトコル計算
Chang et al. Privacy-preserving reversible information hiding based on arithmetic of quadratic residues
Bouslimi et al. A crypto-watermarking system for ensuring reliability control and traceability of medical images
US7111167B1 (en) Digital watermarks with values derived from remote platforms
EP0905967A1 (en) Method for generating digital watermarks and for exchanging data containing digital watermarks
Anand et al. Joint watermarking-encryption-ECC for patient record security in wavelet domain
JP2002510943A (ja) 安全なデジタル透かしのための複数の変換の利用及び適用
US20060045309A1 (en) Systems and methods for digital content security
Chandramouli et al. Digital watermarking
Srivastava et al. Design and implementation of crypto based water marking techniques for EHR security
JP3854804B2 (ja) 情報処理装置及びその制御方法及びコンピュータプログラム及び記憶媒体
Ma et al. A Novel Image Digital Rights Management Scheme with High‐Level Security, Usage Control and Traceability
Yongliang et al. Secure watermark verification scheme
JP4086419B2 (ja) 情報処理装置およびその方法
GURUNATHAN et al. RSA Cryptography and GZIP Steganography Techniques for Information Hiding and Security using Java
Chen et al. A lightweight and anonymous copyright-protection protocol
Yong et al. An efficient fingerprinting scheme with symmetric and commutative encryption
Hu et al. Bandwidth efficient asymmetric fingerprinting based on one-out-of-two oblivious transfer
Bouslimi et al. Encryption and Watermarking for medical Image Protection

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040210

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040405

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040817

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041012

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20041102

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041224

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050208

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050221

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080311

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090311

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090311

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100311

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100311

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110311

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110311

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120311

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120311

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130311

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130311

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140311

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees