JP2009201069A - 電子透かし生成装置、電子透かし生成方法、電子透かし生成プログラム、電子透かし検出装置、及び電子透かし検出プログラム。 - Google Patents

電子透かし生成装置、電子透かし生成方法、電子透かし生成プログラム、電子透かし検出装置、及び電子透かし検出プログラム。 Download PDF

Info

Publication number
JP2009201069A
JP2009201069A JP2008043491A JP2008043491A JP2009201069A JP 2009201069 A JP2009201069 A JP 2009201069A JP 2008043491 A JP2008043491 A JP 2008043491A JP 2008043491 A JP2008043491 A JP 2008043491A JP 2009201069 A JP2009201069 A JP 2009201069A
Authority
JP
Japan
Prior art keywords
signal
pattern
image
frequency space
signals
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008043491A
Other languages
English (en)
Other versions
JP4922965B2 (ja
Inventor
Seiji Tominaga
昌治 富永
Takahiko Horiuchi
隆彦 堀内
Ryoichi Saito
了一 斎藤
Masahiro Wada
真宏 和田
Shoichi Masuzawa
昌一 増澤
Kazuo Tani
和夫 谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Instruments Inc
Chiba University NUC
Original Assignee
Seiko Instruments Inc
Chiba University NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Instruments Inc, Chiba University NUC filed Critical Seiko Instruments Inc
Priority to JP2008043491A priority Critical patent/JP4922965B2/ja
Publication of JP2009201069A publication Critical patent/JP2009201069A/ja
Application granted granted Critical
Publication of JP4922965B2 publication Critical patent/JP4922965B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Editing Of Facsimile Originals (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)

Abstract

【課題】電子透かしで提供できる情報量を増大させる。
【解決手段】周波数空間に多値化した信号を分布させて信号パターンを生成し、これを逆離散フーリエ変換して画像空間における透かしパターンを生成する。信号の多値化は、ロバストに検出できる信号である2値信号を集合させて塊とし、形状や面積などの特徴が異なった信号を生成することにより行う。これにより、ロバストな多値化信号を実現することができる。これら多値化した信号は、透かしパターンとした後、これを離散フーリエ変換して周波数空間に変換すると、元の信号パターンが復元されるが、復元した個々の信号は相互に識別することが可能である。このように、本実施の形態では、元の信号の特徴量を認識し、値の違う信号を区別することができる。
【選択図】図1

Description

本発明は、電子透かし生成装置、電子透かし生成方法、電子透かし生成プログラム、電子透かし検出装置、及び電子透かし検出プログラムに関し、例えば、直交変換を用いて直交空間に信号パターンを埋め込むものに関する。
近年、画像データ(デジタル画像)に透かし情報を埋め込む電子透かしの研究が盛んになされている。
透かし情報を埋め込んだ画像データを印刷すると、画像に透かしが重畳されて印刷されるが、透かしは、ユーザの視認性を損なわないような色や階調にて印刷される。
そして、透かしは、電子透かし検出機能を備えたカメラで画像を撮影することにより検出することができる。このように、電子透かしを用いることにより、画像に付加的な情報を埋め込むことができる。
画像データに透かし情報を埋め込む手法は各種提案されているが、その1つに直交変換を用いるものがある。これは、画像空間とは別の直交空間において透かし情報を埋め込むものである。
直交変換としては、例えば、離散フーリエ変換、離散コサイン変換、ウェーブレット変換などがある。
なお、これらの直交変換のうち、離散フーリエ変換後の変換係数からなる空間は周波数空間とも呼ばれ、他の変換の変換係数からなる空間は周波数空間とは呼ばないが、周波数空間と広義に称する場合もあるため、以下では、これらを周波数空間と総称することにする。
より詳細には、周波数空間で透かし情報を定義し、これを画像空間に変換すると、周波数空間で定義された透かし情報に対応する透かし画像が生成される。この透かし画像を周波数空間に逆変換すると透かし情報が復元され、これによって透かし情報を検出することができる。
ここで、周波数空間での透かし情報を、画像空間に変換した場合に人間の視覚にとって目立たない又は無視可能な透かし画像となるように設定すると、埋め込み対象の画像のデザイン性、又は視認性を損なわずに、透かし画像を埋め込むことができる。
この周波数空間を用いた電子透かしの埋め込み方法は、他の埋め込み方法と比較して高い耐性を有する(即ち、ロバストである)という特徴がある。
このように周波数空間での透かし情報を用いた技術に次の特許文献1の「電子透かし挿入方法及び電子透かし検出方法並びに電子透かし挿入装置及び電子透かし検出装置」がある。
特開2006−287700公報
この技術は、周波数空間に2値化した信号を所定のパターンに配置することにより透かし情報を設定し、これを逆離散フーリエ変換して、その結果生成された透かし画像を対象となっている画像に埋め込むものである。画像に埋め込んだ透かし画像を検出して逆変換すると、元の信号パターンを復元することができる。
また、この技術を用いた応用例として、次の特許文献2の「印刷装置、印刷方法、及び印刷プログラム」がある。
特開2006−130801公報
図9に示したように、この技術では、虚軸と実軸で張られた周波数空間1に信号を分布させた信号パターン16を定義する。
ここで、図中の黒丸は信号が配置されていることを示し、白丸は信号が配置されていないことを示している。即ち、信号パターン16では、周波数空間1での所定の位置に信号が「ある場合」か「ない場合」かの2値の情報が定義されている。
次に、信号パターン16を逆離散フーリエ変換して画像空間における透かしパターン2を生成する。
必要がある場合には、これを2値化して2値化透かしパターン3を生成し、階調調節などをしてこれを画像に重ね合わせて印刷する。
図の例では、「明日は特売日」なる文字データ5に2値化透かしパターン3を加算又は減算して重ねて印刷してある。
この印刷をカメラで撮影して離散フーリエ変換すると、周波数空間1においてスペクトル画像1aが得られ、信号パターン6aが復元される。
なお、簡略化のためスペクトル画像1aでは、原画像によるスペクトルは省略し、信号パターン6aのみ示してある。
この信号パターンを特定のURL(Uniform Resource Locators)などに対応づけておくと、ユーザを当該URLのウェブサイトに誘導することができる。
このような仕組みを用いて、例えば、ポスターに電子透かしを埋め込んでおき、ユーザが携帯電話のカメラでこれを撮影すると、携帯電話がポスターの電子透かしを解析して、当該ポスターと関係のあるコンテンツを提供するウェブサイトに接続する、といったようなサービスを提供することができる。
例えば、特定のコンテンツの識別番号(ID)やURLなどと紐づいた電子透かしを画像に埋め込むビジネスを展開する場合、多数の信号パターンが必要となる。
そのためには、上記の信号の「ある場合」、「ない場合」の2進法を基本とするアルゴリズムでは、周波数空間にて配置する信号の配置密度を高め、信号パターンを増やす必要があるが、密度を高めると、隣接した信号の影響を受けやすくなるため、信号パターンの検出が困難になるという問題があった。
そこで、本発明は、電子透かしで提供できる情報量を増大させることを目的とする。
上記課題を解決する本発明の第1の態様は、周波数空間における位置を指定する位置指定手段と、特徴量の異なる複数種類の信号を選択する信号選択手段と、前記指定した位置に前記選択した信号を配置する信号配置手段と、前記配置した信号によって形成されたパターンを画像空間に変換する変換手段と、を具備したことを特徴とする電子透かし生成装置にある。
本発明の第2の態様は、第1の態様において、前記特徴量は、前記信号が周波数空間において占める面積であることを特徴とする電子透かし生成装置にある。
本発明の第3の態様は、第1の態様において、前記特徴量は、前記信号が周波数空間において形成する形状であることを特徴とする電子透かし生成装置にある。
本発明の第4の態様は、第1、第2、又は第3の態様において、前記信号が、2値信号の集合から構成されていることを特徴とする電子透かし生成装置にある。
本発明の第5の態様は、第1から第4までのうちの何れか1の態様において、前記画像空間に変換されたパターンを画像に埋め込むパターン埋込手段と、前記パターンを埋め込んだ画像を出力する画像出力手段と、を具備したことを特徴とする電子透かし生成装置にある。
本発明の第6の態様は、位置指定手段と、信号選択手段と、信号配置手段と、変換手段と、を備えたコンピュータにおいて、前記位置指定手段で、周波数空間における位置を指定する位置指定ステップと、前記信号選択手段で、特徴量の異なる複数種類の信号を選択する信号選択ステップと、前記信号配置手段で、前記指定した位置に前記選択した信号を配置する信号配置ステップと、前記変換手段で、前記配置した信号によって形成されたパターンを画像空間に変換する変換ステップと、から構成されたことを特徴とする電子透かし生成方法にある。
本発明の第7の態様は、周波数空間における位置を指定する位置指定機能と、特徴量の異なる複数種類の信号を選択する信号選択機能と、前記指定した位置に前記選択した信号を配置する信号配置機能と、前記配置した信号によって形成されたパターンを画像空間に変換する変換機能と、をコンピュータで実現する電子透かし生成プログラムにある。
本発明の第8の態様は、周波数空間で定義されたパターンが埋め込まれた画像データを取得する画像データ取得手段と、前記取得した画像データに埋め込まれているパターンを画像空間から周波数空間に変換することにより周波数空間でのパターンを復元するパターン復元手段と、前記復元したパターンで配置されている信号の位置と信号の特徴量を検出する検出手段と、を具備したことを特徴とする電子透かし検出装置にある。
本発明の第9の態様は、周波数空間で定義されたパターンが埋め込まれた画像データを取得する画像データ取得機能と、前記取得した画像データに埋め込まれているパターンを画像空間から周波数空間に変換することにより周波数空間でのパターンを復元するパターン復元機能と、前記復元したパターンで配置されている信号の位置と信号の特徴量を検出する検出機能と、をコンピュータで実現する電子透かし検出プログラムにある。
本発明によれば、周波数空間にて配置する信号を多値化することにより電子透かしで提供できる情報量を増大させることができ、また、一定量の情報を埋め込む際に、2値信号を用いた場合と比較して、対象の画像サイズを小さく設定することができる。
(1)実施の形態の概要
周波数空間に多値化した信号を分布させて信号パターンを生成し、これを逆離散フーリエ変換して画像空間における透かしパターンを生成する。ここで、多値化とは3値化以上を意味する。
信号の多値化は、ロバストに検出できる信号である2値信号を集合させて塊とし、形状や面積などの特徴が異なった信号を生成することにより行う。これにより、ロバストな多値化信号を実現することができる。
これら多値化した信号は、透かしパターンとした後、これを離散フーリエ変換して周波数空間に変換すると、元の信号パターンが復元されるが、復元した個々の信号は、例えば、元の信号の特徴に対応して、振幅の最大値が異なったり、振幅の積算値が異なるなどし、相互に識別することが可能となる。
このように、本実施の形態では、復元した際の振幅の最大値などを用いて、元の信号の特徴量を認識し、値の違う信号を区別することができる。
ある多値化した信号に対して、どのような量で当該信号の特徴量を計測するかは、個々の信号によって最適なものが異なり、実験などによって決めることができる。
逆に言えば、元の信号を復元した場合に、識別可能な特徴量が生じるような形状、面積に信号を形成するものである。
このように信号自体を多値化すると、周波数空間に埋め込める情報の量が飛躍的に増大する。
一例として、第1種信号と第2種信号を特徴量の異なる2つの信号としてこれを周波数空間に配置すると、信号パターンでは、所定の位置に「第1種信号がある場合」、「第2種信号がある場合」、及び「信号がない場合」の3値が可能となり、定義可能な信号パターンの個数が飛躍的に増大する。
(2)実施の形態の詳細
図1(a)は、本実施の形態に係る信号の信号パターンの一例を説明するための図である。
周波数空間1は、直交する虚軸(垂直軸)と実軸(水平軸)で張られた空間であり、信号を同心状に配置する(即ち、周波数成分を付与する)ことにより信号パターンが形成されている。この信号パターンを逆離散フーリエ変換すると、画像空間における模様状の透かしパターンが得られる。
一例として、信号パターンは、原点を中心とする同心の円10〜40上の予め指定された信号位置に信号を配置することにより生成される。
最も外側に位置する円10に配置される信号は、透かしパターンを埋め込んだ画像をカメラで撮影する際に生じる「被写体とカメラの距離による画像の拡大縮小率」を検出するためのものである。
円10上には、信号を配置するための位置として信号位置10a、・・・、信号位置10e、・・・が均等に分布するように指定されている。
後に、透かしパターンから信号パターンが復元された際には、円10上の信号を用いて撮影による拡大縮小率が補正される。
最も外側から2番目に位置する円20に配置される信号は、透かしパターンを埋め込んだ画像をカメラで撮影する際に生じる「被写体と水平行な方向へのカメラの回転角度」を検出するためのものである。
円20上には、信号を配置するための位置として信号位置20a、・・・、20c、・・・が均等に分布するように指定されている。
後に、透かしパターンから信号パターンが復元された際には、円20上の信号を用いて撮影による回転角度が補正される。
円30、40に配置される信号は、透かし情報を規定するためのもので、これらに配置された信号により信号パターンが設定される。
円30上には、信号を配置するための位置として信号位置30a、・・・、信号位置30c、・・・が均等に分布するように指定されている。
このように、円30上には信号位置が12個指定されているが、この周波数空間1では、信号が点対称に分布するという特性があり、このため信号パターンは6個の信号位置により規定される。
円40上には、信号を配置するための位置として信号位置40a、信号位置40b、・・・が均等に分布するように指定されている。
このように、円30上には信号位置が8個指定されているが、この周波数空間1では、信号が点対称に分布するという特性があり、このため信号パターンは4個の信号位置により規定される。
円30、40に分布する信号のパターンに、例えば、コンテンツのIDやウェブサイトのURLなどを対応づけることができる。
図1(b)は、円30、40上の信号位置に配置される信号を示した図である。
信号位置に配置する信号には、例えば、面積や形状などの特徴量が異なる第1種信号と第2種信号が用意されている。
図1(a)(b)では、第1種信号を黒丸で表し、第2種信号を黒四角で表し、信号を配置しない場合を白丸で表してある。
このように、信号位置に配置する信号を第1種信号と第2種信号とすることにより、従来は、信号位置に信号が「ある場合」と「ない場合」の2値しかとることができなかったものが、本実施の形態では、「第1種信号がある場合」、「第2種信号がある場合」、及び「信号がない場合」の3値をとることができる。
本実施の形態では、信号パターンを復元して検出する段階では、信号強度(特徴量)の大きい順に並べて、相対的な値で信号成分を決定する。
この方式を用いると、信号が点対称に分布していることを考慮して、円30の場合には、6個の信号位置のうちの2個の信号位置に第2種信号を分布させ、別の2個の信号位置に第1種信号を分布させるときに自由度が最大となる。
従って、円30の信号パターンでは、62×42×22=90種類の信号パターンを表すことが可能である。
一方、2値の場合には、6個の信号位置のうち3個の信号位置に信号を分布させることになるので、63=20種類の信号パターンが可能である。
このように、同じ信号位置に信号を分布させる場合でも、信号を多値化することにより多くの信号パターンを実現できることがわかる。
以上の例では、円30、40に信号を分布させたが、例えば、更に、円30の外側に24個の信号位置を有する円を設けた場合には、12個の信号位置により信号パターンを規定することができるため、2値の場合より約1000倍近い情報量を埋め込むことが可能となる。
次に、信号の多値化について説明する。
一般にディジタル信号処理においては、信号を多値化することにより情報量を増加させることができるが、電子透かしの分野においては、信号の多値化による情報量の増大化に関する技術は進展していなかった。これは次のような理由による。
即ち、信号の多値化の試みは、信号の強度を多段階に設定することにより行うのが一般的であるが、電子透かしの場合には、透かしパターンを埋め込む画像のコンテンツに起因した雑音成分や、入力処理における雑音成分に対して信号強度を適切に検出できず、十分にロバストな埋め込みが期待できなかったためである。
このような理由から、2値信号自体を多値化することにより埋め込み信号の強度を増加させることは困難であると考えられる。
そこで、本実施の形態では、ロバストな検出が可能である2値信号の集合を用いて多値の信号を表現することとした。
これによって信号強度はロバストな検出が可能な2値信号を扱うにも関わらず、信号の多値化を実現することができる。
具体的には、2値信号の集合からなる塊によって新たな信号を形成し、周波数空間において異なる信号を混在して分布させることにより信号の多値化を図る。
従来の信号の分布は、図2(a)のように、2値信号の1信号単位を信号位置に分布させたり、図2(b)のように、複数の1信号単位を集合させた信号単位を信号位置に分布させて行われてきた。
これに対し、本実施の形態では、例えば、図2(c)に示したように、1信号単位による信号と、複数の1信号単位を所定形状に集合させて塊とした信号単位を混在させることにより多値化を図る。
図2(c)において、2値信号の1信号単位からなる信号を第1種信号とすると、1信号単位の集合からなる信号は第2種信号となる。
集合からなる信号の形状は、例えば、図2(d)に示したように、十字形、矩形、あるいはドーナツ型など、各種のものが考えられる。
ここで、重要なのは、透かしパターンを画像に埋め込んだ後に、透かしパターンを復元して検出する際に、これら多値化した信号が区別できることである。
次に、図3の各図を用いて信号の形状例について説明する。
本実施の形態では、1画素を2値信号の1信号単位とし、一例として、5×5(図3(e)の場合は7×7)に配列した画素にて信号の形状を定義する。
これら画素のうち、黒塗りのものが信号を形成している1信号単位に該当する。このように、本実施の形態では、周波数空間を画素によって1信号単位に区分し、当該1信号単位の集合で信号の形状を設定している。
図3(a)は、中央の1信号単位によって信号の形状を定義したものである。
図3(b)は、5×5の全ての1信号単位を集合させて信号の形状を定義したものである。
図3(c)は、1信号単位を十字状に集合させて信号の形状を定義したものである。
図3(d)は、できるだけ円形状に近づくように1信号単位を集合させて信号の形状を定義したものである。
以上に例示した信号形状のうち、信号パターンを復元した際に、区別できるものであれば、任意のものを選択してこれらを組み合わせて多値信号とすることができる。
例えば、図3(a)の信号と、図3(b)の信号が区別できる場合には、例えば、図3(a)の信号を第1種信号、図3(b)の信号を第2種信号とすることができる。
更に、図3(c)の信号が区別できる場合には、これを第3種信号として採用し、4値の信号にて信号パターンを設定することができる。
図3(e)は、7×7の画素によって信号の形状を設定する例である。この例では、外周、及び内周の1信号単位をそれぞれ集合させることによりドーナツ型の信号を形成している。
本願発明者は、各種の信号形状について実験を行っているが、信号の形状が正方形の場合、1辺の信号単位数を偶数とすると(例えば、6×6)局所領域内の信号強度の最大値を特徴量とすることで安定した信号の検出が行え、更に1辺の信号単位数を奇数とすると(例えば、5×5)、局所領域内の強度の合計値を利用する際も安定した信号の検出が行える結果が得られている。
また、最大値を利用する場合、複数画素からなる1信号単位信号を用いて画像に重畳する処理の際、透かし信号の強度の変更(縮小)が大きいことから結果的に1画素からなる1信号単位信号の方が強度が大きくなる。
更に、合計値を利用する場合、複数画素からなる1信号単位信号の方が広い面積で信号が出現するため、1信号単位信号よりも強度合計が大きくなることが実験的に検証されている。
なお、この合計値を利用する場合のとき、複数画素からなる1信号単位信号の領域において中央部画素を除く信号の構成とすると安定した信号の検出が行える検出結果も実験的に得られている。
図4は、本実施の形態に係る情報処理装置50のハードウェア的な構成を説明するための図である。
情報処理装置50は、CPU(Central Processing Unit)51、RAM(Random Access Memory)52、ROM(Read Only Memory)53、入力装置54、表示装置55、印刷装置56、通信制御装置57、記憶装置58、記憶媒体駆動装置59、入出力I/F(インターフェース)60などの各機能部がバスラインで接続されて構成されている。
CPU51は、所定のプログラムに従って、各種の演算処理、及び情報処理や情報処理装置50を構成する各構成要素の制御を行ったりする中央処理装置である。
より具体的には、例えば、CPU51は、周波数空間での信号の配置を行ったり、信号の信号パターンを逆離散フーリエ変換して透かしパターンを生成したり、透かしパターンを画像データに埋め込んだり、あるいは、画像から透かしパターンを検出して離散フーリエ変換し、信号パターンを復元したりする。
ROM53は、情報処理装置50を動作させるための基本的なプログラムやデータなどを記憶した読み出し専用のメモリである。
RAM52は、CPU51が動作するためのワーキングメモリを提供する読み書きが可能なメモリである。
入力装置54は、例えば、キーボードやマウスなどの操作デバイスを有しており、ユーザが情報処理装置50を操作する際に使用する。
表示装置55は、例えば、液晶ディスプレイなどの表示デバイスを備えており、例えば、ユーザが情報処理装置50を操作する際の各種画面を表示する。
通信制御装置57は、情報処理装置50をインターネットなどの通信ネットワークに接続する装置である。情報処理装置50は、通信制御装置57を介して、各種サーバ装置や端末装置と通信することができる。
印刷装置56は、例えば、レーザプリンタ、インクジェットプリンタ、熱転写プリンタなどのプリンタを備えており、電子透かしを埋め込んだ画像や、その他の画像などを印刷することができる。
入出力I/F(インターフェース)60は、各種の外部装置と接続するためのインターフェースであって、例えば、スキャナやデジタル式カメラを情報処理装置50に接続し、これらを用いて画像を情報処理装置50に取り込むように構成することができる。
記憶媒体駆動装置59は、装着された着脱可能な記憶媒体を駆動し、データの読み書きを行う機能部である。
読み書き可能な記憶媒体としては、例えば、光ディスク、光磁気ディスク、磁気ディスクなどがあり、これらから画像データを読み取ったり、書き込み可能な記憶媒体の場合には、画像データやその他のデータを書き込むことができる。
記憶装置58は、例えば、ハードディスクなどで構成された大容量で読み書き可能な記憶装置である。
記憶装置58には、プログラム類を格納したプログラム格納部61とデータ類を記憶したデータ格納部62が形成されている。
プログラム格納部61には、情報処理装置50を動作させるための基本的なソフトウェアであるOS(Operating System)や、信号パターンを生成したり、信号パターンを変換したり、変換した透かしパターンを画像データに埋め込んだりする機能をCPU51に発揮させる電子透かし埋込プログラムや、画像データから透かしパターンを検出してこれを逆変換し、信号パターンを復元したりする機能をCPU51に発揮させる電子透かし検出プログラムなどが記憶されている。
データ格納部62には、例えば、信号パターン、信号パターンを変換した透かしパターン、及びその他のデータが記憶されている。
図5は、信号パターン生成画面71の一例を示した図である。
信号パターン生成画面71は、表示装置55(図4)のディスプレイに表示され、ユーザが信号パターンを生成するのを支援する。
画面左には、信号を配置するための周波数空間が表示されており、円10と円20には、それぞれ拡大縮小率検出用、回転角度検出用の信号がデフォルトで配置されている。
そして、円30と円40は、デフォルトでは、全ての信号位置が「信号なし」、即ち、白丸の状態となっており、ユーザが信号を配置するようになっている。
なお、周波数空間における信号パターンは、原点に対して点対称であるという性質があるため、第1象限と第4象限を入力する様になっている。
信号欄73には、第1種信号と第2種信号が表示されており、ユーザがポインタ72をマウス操作することにより、信号欄73から円30、40の所望の信号位置にドラッグアンドドロップできるようになっている。
このように、ユーザは、マウス操作によって、円30、40の信号位置に所望の信号を配置していくことができる。
変換ボタン74は、周波数空間で設定した信号パターンを逆離散フーリエ変換して、透かしパターンを生成するためのボタンである。
ユーザが信号の配置後、変換ボタン74をクリックすると、情報処理装置50は、変換処理を行う。
次に、電子透かしの利用手順について説明する。利用手順は、大まかに述べると次のようになる。
(1)周波数空間に多値化した信号を分布させ信号パターンを設定する。
(2)設定した信号パターンを逆離散フーリエ変換することによって透かしパターンを生成する。
(3)生成した透かしパターンを埋め込み対象の画像(原画像)と合成することにより、当該画像に透かしパターンを埋め込む。
(4)透かしパターンを埋め込んだ画像を印刷する。
以上が、電子透かしの埋め込まれた画像を生成するプロセスであり、電子透かし埋込プログラムを用いて行われる。
(5)印刷された画像をデジタル式カメラなどにより撮影する。
(6)撮影された画像から透かしパターンを抽出する。
(7)抽出した透かしパターンを離散フーリエ変換することにより信号パターンを復元する。
以上が埋め込まれた電子透かしを復元するプロセスであり、電子透かし検出プログラムを用いて行われる。
次に、フローチャートを用いて以上に述べたプロセスをより詳細に説明する。
図6は、情報処理装置50が行う電子透かし埋め込み処理の手順を説明するためのフローチャートである。以下の処理は、CPU51が電子透かし埋込プログラムに従って行うものである。
以下のステップのうち、ステップ5〜ステップ25は、周波数空間における処理であって、ステップ30〜ステップ40は、画像空間における処理である。
まず、情報処理装置50は、例えば、信号パターン生成画面71(図5)にて、周波数空間における拡大縮小率検出用の信号パターンの配置を受け付け(ステップ5)、更に回転角度検出用の信号パターンの配置を受け付ける(ステップ10)。これらの信号パターンは、例えば、図1(a)の円10、円20に配置された信号であり、例えば、デフォルトで設定されている。
次に、情報処理装置50は、例えば、信号パターン生成画面71にて、周波数空間における透かし情報用の信号パターンの配置を受け付ける(ステップ15)。
この信号パターンは、例えば、図1(a)の円30、円40に配置された信号であり、例えば、ユーザが情報処理装置50を操作して、これらの円上の所定信号位置に多値の信号を配置することにより所望のパターンを生成する。
このように、情報処理装置50は、周波数空間において信号を配置する位置(円上の所定位置)を指定する位置指定手段を備えている。
また、情報処理装置50は、多値化することにより特徴量を異ならせた複数種類の信号を、例えば、ユーザからの操作を受け付けるなどして選択する信号選択手段と、周波数空間で指定した位置に当該選択した信号を配置する信号配置手段を備えている。
以上のようにして信号パターンの配置を受け付けた後、ユーザが、例えば、信号パターン生成画面71の変換ボタン74をクリックすると、情報処理装置50は、受け付けた信号の配置にて信号パターンを生成し(ステップ20)、これを逆離散フーリエ変換する(ステップ25)。
このように、情報処理装置50は、周波数空間で配置した信号によって形成されたパターンを画像空間に変換する変換手段を備えている。
この際、逆変換によって出力される透かしパターンのサイズは、入力された信号パターンのサンプル数と同じサイズとする。
この逆変換により、図9の従来例に示した透かしパターン2のような模様の画像データが生成される。
逆変換によって得られた透かしパターンには、逆変換によって負の値も計算されるが、情報処理装置50は、一例として、負の部分がなくなるようオフセット処理をしている。
次に、情報処理装置50は、例えば、所定の閾値を用いてこれを2値化する(ステップ30)。例えば、オフセットしていない透かしパターンの場合にはゼロを閾値とし、オフセットした透かしパターンの場合は、オフセット量を閾値とすることができる。
すると、図9の従来例に示した2値化透かしパターン3のような透かし模様の画像データが生成される。2値化透かしパターンも負の部分がなくなるようにオフセット処理されている。
情報処理装置50は、以上のようにして生成した、透かしパターンや2値化透かしパターンの画像データをファイルとして例えば、データ格納部62(図4)に保存する。
次に、ユーザが情報処理装置50を操作して、データ格納部62に格納してある画像データから、電子透かしを埋め込む対象となる原画像データを選択する。
すると、情報処理装置50は、原画像データに2値化透かしパターンを加算、又は減算して(ステップ35)、当該画像データに2値化透かしパターンを埋め込む。
埋め込みは、原画像と同じサイズになるまで透かしパターンを繰り返すことで、原画像と透かしパターンのサイズを合わせて行われる。
このように、透かしパターンは、原画像に繰り返し埋め込まれているので、原画像の一部が欠損したとしても、他の部分から信号パターンを復元することができ、ロバストな透かしを実現することができる。
このように、情報処理装置50は、画像空間に変換されたパターン(透かしパターン)を画像(原画像)に埋め込むパターン埋込手段を備えている。
情報処理装置50は、このようにして2値化透かしパターン3が埋め込まれた画像データをファイルに出力したり、あるいはプリンタで印刷するなどして出力する(ステップ40)。
なお、本実施の形態では、2値化透かしパターンを対象画像に埋め込んだが、2値化しない透かしパターンを埋め込むように構成することもできる。
このように、情報処理装置50は、パターン(透かしパターン)を埋め込んだ画像を出力する画像出力手段を備えている。
以上のようにして、情報処理装置50は、周波数空間における多値化された信号による信号パターンの生成、これを変換することによる画像空間における透かしパターンの生成、及び、画像データへの透かしパターンの埋め込みを行うことができる。
なお、情報処理装置50は、通信制御装置57を介して、生成した信号パターン、透かしパターン、及び透かしパターンを埋め込んだ画像データを他のサーバ装置に送信して提供することができる。
図7は、情報処理装置50が行う電子透かし検出処理の手順を説明するためのフローチャートである。以下の処理は、CPU51が電子透かし検出プログラムに従って行うものである。
以下のステップのうち、ステップ50、及びステップ55は、画像空間における処理であって、ステップ60〜ステップ80は、周波数空間における処理である。
まず、透かしパターンが埋め込まれた画像を印刷したものを用意し、これをデジタル式カメラで撮影する。そして、例えば、入出力I/F60を用いて撮影された画像データをカメラから情報処理装置50に転送する。転送された画像データは、例えば、データ格納部62に格納される。
このように、情報処理装置50は、周波数空間で定義されたパターンが埋め込まれた画像データを取得する画像データ取得手段を備えている。
透かしパターンを離散フーリエ変換するに際して、変換に供される画像のサイズは、逆変換によって作成された透かしパターンと同じサンプリング数であることが必要である。
このため、情報処理装置50は、透かしパターンが埋め込まれた画像データを得ると、入力された画像を透かしパターンと同じ縦横比率を持つブロックに分割する(ステップ50)。
次に、情報処理装置50は、分割した画像データを離散フーリエ変換し、これを周波数空間でのスペクトル成分に変換する(ステップ55)。
このスペクトル成分には、原画像のスペクトル成分に、透かしパターンの情報成分(信号)が重畳されている。
一般に、原画像によるスペクトル成分は直流成分が多いため、周波数空間では、原画像によるスペクトル成分は原点付近に強く現れる。一方、透かしパターンは、虚軸、実軸から離れた領域にて成分が設定されている(配置されている)ため、原画像のスペクトルとは区別されて復元される。
このように、情報処理装置50は、デジタル式カメラなどから取得した画像データに埋め込まれているパターン(透かしパターン)を画像空間から周波数空間に変換することにより周波数空間でのパターン(信号パターン)を復元するパターン復元手段を備えている。
次に、情報処理装置50は、周波数空間においてスペクトル成分の振幅を計算し(ステップ60)、更にこれを積算する(ステップ65)。この結果、図9に示したようなスペクトル画像1aのような画像が得られる。
次に、情報処理装置50は、得られたスペクトル画像に対して拡大縮小率の検出を行う(ステップ70)。
この検出は、任意の半径において、拡大縮小率検出用パターンの成分数(円10上の信号数)と同数で、特に振幅の積算値が大きいものを検出し、当該信号が配置されている円の半径を検出することにより行う。この検出した半径の大小によってスペクトル画像の拡大縮小率が決定される。
次に、情報処理装置50は、回転角度の検出を行う(ステップ75)。
この検出では、情報処理装置50は、まず、先に検出した拡大縮小率により円20の半径を計算する。
そして、その半径の円周上において、回転角検出用パターンの成分分布をなし、最も総和振幅の大きいスペクトルを円20上に配置された信号とし、この信号の回転角度を検出することにより、スペクトル画像の回転角度が検出される。
このようにして、拡大縮小率、及び回転角を検出した後、情報処理装置50は、スペクトル画像の拡大縮小率と回転角を補正した後、信号パターンの検出を行う(ステップ80)。
この検出では、情報処理装置50は、まず円30、円40の周上で信号位置を定め、当該信号位置に信号があるか否か、また、信号がある場合には多値のうちのどの値の信号であるかを特徴量にて認識する。
多値化の成分は、信号の形状によって特徴が異なるが、例えば、信号パターンで、1画素で構成した第1種信号と、13画素の集合で構成した第2種信号を分布させた場合には、局所領域内での振幅の最大値は1画素の方が大きく、13画素の方が小さい性質がある。
この性質は、一般に透かしパターンを原画像に重畳しても保持される。従って、この場合には、振幅を特徴量とし、円ごとに信号位置において最大振幅の高い順に信号にランクをつけ、相対的に最大振幅の大きい信号を第1種信号、相対的に振幅の小さい信号を第2種信号、他の信号位置に関しては信号なしと判定する。
なお、以上は、特徴量の一例であって、信号の形状によっては、局所領域内の振幅の総和を信号の強度として利用することも可能である。
このように、情報処理装置50は、復元したパターン(信号パターン)で配置されている信号の位置(成分)と信号の特徴量を検出する検出手段と、周波数空間における信号の分布と分布した各信号の特徴量からなるパターンを認識する認識手段を備えている。
以上では、原画像に埋め込まれた透かしパターンの信号パターンを情報処理装置50で検出したが、この検出機能は、例えば、携帯電話などの携帯端末や、ユーザのパーソナルコンピュータで実現することもでき、ユーザが画像から信号パターンを検出するのに用いることもできる。
次に、以上に説明した電子透かしをビジネスに応用する例について説明する。
図8は、情報提供システム100の構成を示した図である。
情報提供システム100は、情報処理装置50、URLサーバ101、プリンタ102、レシート103、携帯電話104、サービスサーバ105などにより構成されている。
また、図8では、プリンタ102と携帯電話104を1台のみ示してあるが、プリンタ102は店舗が備えただけ複数存在することができ、携帯電話104は各携帯電話ユーザごとに存在している。
以下、図に括弧で示した番号に従って説明する。
(1)情報処理装置50は、信号パターンと、当該信号パターンによる透かしパターンを埋め込んだ透かし画像データを生成し、URLサーバ101に送信して提供する。
(2)URLサーバ101は、これら信号パターンと透かし画像データを受信すると、これにIDを付与し、更にリンク先のURLを対応づけてURLデータベースに格納する。
(3)プリンタ102は、例えば、スーパーなどのキャッシュレジスタに設置されており、レシートを印刷する。
その際に、プリンタ102は、URLサーバ101に透かし画像データを要求し、これに対してURLサーバ101が送信してきた透かし画像データを用いて電子透かし入りの画像をレシート103に印刷する。
(4)ユーザは、レシート103を受け取ると、これに印刷されている電子透かし入り画像を携帯電話104に内蔵されたデジタル式カメラで撮影する。
携帯電話104には、予め、電子透かしを解析して携帯電話104をウェブサイトに接続するためのアプリケーションがインストールされている。
このアプリケーションにより、携帯電話104は、撮影した画像を離散フーリエ変換して信号パターンを復元する。
(5)また、このアプリケーションは、URLサーバ101のURLデータベースに記憶されているのと同様の信号パターンとIDの対応を記憶しており、携帯電話104は、復元した信号パターンに対応するIDをURLサーバ101に送信する。
(6)URLサーバ101は、携帯電話104からIDを受信すると、このIDに対応するURLをURLデータベースで検索し、これを携帯電話104に送信する。
(7)携帯電話104は、URLサーバ101からURLを受信すると、これを用いて、サービスサーバ105のウェブサイトに接続する。
このようにして、ユーザは、レシート103に印刷された電子透かし入りの画像を携帯電話104で撮影することにより、サービスサーバ105のウェブサイトにアクセスして、各種のサービスを受けることができる。
以上に説明した本実施の形態により、次のような効果を得ることができる。
(1)周波数空間に配置する信号を多値化することにより、周波数空間に埋め込む情報量を増大させることができる。
(2)ロバストに検出できる2値信号を集合させて多値信号を生成するため、透かしパターンを画像に埋め込んでも多値信号をロバストに検出することができる。
(3)周波数空間での信号の形状や大きさにより、信号に特有な特徴量にて信号の多値を読み取ることができる。
(4)透かしパターンの数を増大させることにより、より多彩なサービスを提供することができる。
(5)多値信号を用いた場合、画像の単位面積当たりに埋め込める情報量が2値信号より多くなる。そのため、同じ情報量でも必要とする画像の面積を小さくすることができる。また、同じ画像の面積でも埋め込める情報量が多くなる。
なお、以上に説明した実施の形態では、直交変換の一例として離散フーリエ変換と逆離散フーリエ変換を用いたが、ウェーブレット変換などの他の直交変換を用いて、周波数空間に埋め込む信号を多値化することもできる。
本実施の形態に係る信号の信号パターンの一例を説明するための図である。 信号の分布などを説明するための図である。 信号の形状例を説明するための図である。 情報処理装置のハードウェア的な構成を説明するための図である。 信号パターン生成画面の一例を示した図である。 電子透かし埋め込み処理の手順を説明するためのフローチャートである。 電子透かし検出処理の手順を説明するためのフローチャートである。 情報提供システムの構成を示した図である。 従来例を説明するための図である。
符号の説明
1 周波数空間
10 円
20 円
30 円
40 円
50 情報処理装置
51 CPU
52 RAM
53 ROM
54 入力装置
55 表示装置
56 印刷装置
57 通信制御装置
58 記憶装置
59 記憶媒体駆動装置
60 入出力I/F
61 プログラム格納部
62 データ格納部

Claims (9)

  1. 周波数空間における位置を指定する位置指定手段と、
    特徴量の異なる複数種類の信号を選択する信号選択手段と、
    前記指定した位置に前記選択した信号を配置する信号配置手段と、
    前記配置した信号によって形成されたパターンを画像空間に変換する変換手段と、
    を具備したことを特徴とする電子透かし生成装置。
  2. 前記特徴量は、前記信号が周波数空間において占める面積であることを特徴とする請求項1に記載の電子透かし生成装置。
  3. 前記特徴量は、前記信号が周波数空間において形成する形状であることを特徴とする請求項1に記載の電子透かし生成装置。
  4. 前記信号は、2値信号の集合から構成されていることを特徴とする請求項1、請求項2、又は請求項3に記載の電子透かし生成装置。
  5. 前記画像空間に変換されたパターンを画像に埋め込むパターン埋込手段と、
    前記パターンを埋め込んだ画像を出力する画像出力手段と、
    を具備したことを特徴とする請求項1から請求項4までのうちの何れか1の請求項に記載の電子透かし生成装置。
  6. 位置指定手段と、信号選択手段と、信号配置手段と、変換手段と、を備えたコンピュータにおいて、
    前記位置指定手段で、周波数空間における位置を指定する位置指定ステップと、
    前記信号選択手段で、特徴量の異なる複数種類の信号を選択する信号選択ステップと、
    前記信号配置手段で、前記指定した位置に前記選択した信号を配置する信号配置ステップと、
    前記変換手段で、前記配置した信号によって形成されたパターンを画像空間に変換する変換ステップと、
    から構成されたことを特徴とする電子透かし生成方法。
  7. 周波数空間における位置を指定する位置指定機能と、
    特徴量の異なる複数種類の信号を選択する信号選択機能と、
    前記指定した位置に前記選択した信号を配置する信号配置機能と、
    前記配置した信号によって形成されたパターンを画像空間に変換する変換機能と、
    をコンピュータで実現する電子透かし生成プログラム。
  8. 周波数空間で定義されたパターンが埋め込まれた画像データを取得する画像データ取得手段と、
    前記取得した画像データに埋め込まれているパターンを画像空間から周波数空間に変換することにより周波数空間でのパターンを復元するパターン復元手段と、
    前記復元したパターンで配置されている信号の位置と信号の特徴量を検出する検出手段と、
    を具備したことを特徴とする電子透かし検出装置。
  9. 周波数空間で定義されたパターンが埋め込まれた画像データを取得する画像データ取得機能と、
    前記取得した画像データに埋め込まれているパターンを画像空間から周波数空間に変換することにより周波数空間でのパターンを復元するパターン復元機能と、
    前記復元したパターンで配置されている信号の位置と信号の特徴量を検出する検出機能と、
    をコンピュータで実現する電子透かし検出プログラム。
JP2008043491A 2008-02-25 2008-02-25 電子透かし生成装置、電子透かし生成方法、電子透かし生成プログラム、電子透かし検出装置、及び電子透かし検出プログラム Active JP4922965B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008043491A JP4922965B2 (ja) 2008-02-25 2008-02-25 電子透かし生成装置、電子透かし生成方法、電子透かし生成プログラム、電子透かし検出装置、及び電子透かし検出プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008043491A JP4922965B2 (ja) 2008-02-25 2008-02-25 電子透かし生成装置、電子透かし生成方法、電子透かし生成プログラム、電子透かし検出装置、及び電子透かし検出プログラム

Publications (2)

Publication Number Publication Date
JP2009201069A true JP2009201069A (ja) 2009-09-03
JP4922965B2 JP4922965B2 (ja) 2012-04-25

Family

ID=41144048

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008043491A Active JP4922965B2 (ja) 2008-02-25 2008-02-25 電子透かし生成装置、電子透かし生成方法、電子透かし生成プログラム、電子透かし検出装置、及び電子透かし検出プログラム

Country Status (1)

Country Link
JP (1) JP4922965B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101565677B1 (ko) 2014-02-10 2015-11-13 영남대학교 산학협력단 데이터가 포함된 영상 정보 송수신 장치 및 방법
JP2017073696A (ja) * 2015-10-08 2017-04-13 日本電信電話株式会社 パターン生成装置、情報埋め込み装置、情報検出装置、方法、媒体、及びプログラム
US10275846B2 (en) 2016-05-25 2019-04-30 Ricoh Company, Ltd. Information processing apparatus, information processing method, and recording medium

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10164549A (ja) * 1996-11-28 1998-06-19 Ibm Japan Ltd 認証情報を画像に隠し込むシステム及び画像認証システム
JPH10164349A (ja) * 1996-11-27 1998-06-19 Ibm Japan Ltd データハイディング方法及びデータ抽出方法
JP2004015093A (ja) * 2002-06-03 2004-01-15 Canon Inc カラー画像形成装置
JP2004048567A (ja) * 2002-07-15 2004-02-12 Sony Corp 信号処理装置およびその方法
JP2006130801A (ja) * 2004-11-08 2006-05-25 Seiko Instruments Inc 印刷装置、印刷方法、及び印刷プログラム
JP2006319632A (ja) * 2005-05-12 2006-11-24 Zecang Gu 情報埋込コード、情報埋込コード生成方法、および情報埋込コード生成装置
WO2007049333A1 (ja) * 2005-10-25 2007-05-03 Fujitsu Limited 背景地紋画像生成方法
JP2007288576A (ja) * 2006-04-18 2007-11-01 Kyodo Printing Co Ltd 情報シンボルの符号化方法及びその装置並びに情報シンボルの復号化方法及び復号化装置
JP2008035112A (ja) * 2006-07-27 2008-02-14 Ricoh Co Ltd 画像表示媒体、合成画像表示データの作成方法及び画像生成システム

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10164349A (ja) * 1996-11-27 1998-06-19 Ibm Japan Ltd データハイディング方法及びデータ抽出方法
JPH10164549A (ja) * 1996-11-28 1998-06-19 Ibm Japan Ltd 認証情報を画像に隠し込むシステム及び画像認証システム
JP2004015093A (ja) * 2002-06-03 2004-01-15 Canon Inc カラー画像形成装置
JP2004048567A (ja) * 2002-07-15 2004-02-12 Sony Corp 信号処理装置およびその方法
JP2006130801A (ja) * 2004-11-08 2006-05-25 Seiko Instruments Inc 印刷装置、印刷方法、及び印刷プログラム
JP2006319632A (ja) * 2005-05-12 2006-11-24 Zecang Gu 情報埋込コード、情報埋込コード生成方法、および情報埋込コード生成装置
WO2007049333A1 (ja) * 2005-10-25 2007-05-03 Fujitsu Limited 背景地紋画像生成方法
JP2007288576A (ja) * 2006-04-18 2007-11-01 Kyodo Printing Co Ltd 情報シンボルの符号化方法及びその装置並びに情報シンボルの復号化方法及び復号化装置
JP2008035112A (ja) * 2006-07-27 2008-02-14 Ricoh Co Ltd 画像表示媒体、合成画像表示データの作成方法及び画像生成システム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101565677B1 (ko) 2014-02-10 2015-11-13 영남대학교 산학협력단 데이터가 포함된 영상 정보 송수신 장치 및 방법
JP2017073696A (ja) * 2015-10-08 2017-04-13 日本電信電話株式会社 パターン生成装置、情報埋め込み装置、情報検出装置、方法、媒体、及びプログラム
US10275846B2 (en) 2016-05-25 2019-04-30 Ricoh Company, Ltd. Information processing apparatus, information processing method, and recording medium

Also Published As

Publication number Publication date
JP4922965B2 (ja) 2012-04-25

Similar Documents

Publication Publication Date Title
US11238556B2 (en) Embedding signals in a raster image processor
Poljicak et al. Discrete Fourier transform–based watermarking method with an optimal implementation radius
JP4187749B2 (ja) ハーフトーンウォーターマーキングおよび関連アプリケーション
US6694041B1 (en) Halftone watermarking and related applications
US6614914B1 (en) Watermark embedder and reader
Chang Adversarial learning for invertible steganography
US20190139176A1 (en) Generating artistic designs encoded with robust, machine-readable data
Verma et al. An overview of robust digital image watermarking
JP4296126B2 (ja) スクリーン作成装置
EP1347410A2 (en) Image processing method and apparatus
JP2008085920A (ja) 電子透かし埋め込み装置および検出装置
Gourrame et al. A zero-bit Fourier image watermarking for print-cam process
CN110766594A (zh) 信息隐藏方法及装置、检测方法、装置及防伪溯源方法
Sinha Roy et al. On the implementation of a copyright protection scheme using digital image watermarking
JP4595014B2 (ja) 電子透かし埋め込み装置および検出装置
WO2004102476A1 (en) Embedding spatially variant metadata in imagery
JP4922965B2 (ja) 電子透かし生成装置、電子透かし生成方法、電子透かし生成プログラム、電子透かし検出装置、及び電子透かし検出プログラム
Reed et al. Closed form non-iterative watermark embedding
Kim et al. The watermark evaluation testbed (WET)
Gourrame et al. Fourier image watermarking: print-cam application
JP2010206399A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP4679084B2 (ja) 電子透かしの付加
US20070297684A1 (en) Data Conversion Apparatus, Data Conversion Method, and Data Conversion System
JP6920719B2 (ja) 電子透かし装置および方法
US7333628B2 (en) Data embedding with multi-level screening

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101213

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111108

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111118

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120120

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120206

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4922965

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150210

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250