JP2006157788A - 複写管理システム、透かし情報抽出装置、透かし情報抽出方法、およびそのプログラム - Google Patents

複写管理システム、透かし情報抽出装置、透かし情報抽出方法、およびそのプログラム Download PDF

Info

Publication number
JP2006157788A
JP2006157788A JP2004348463A JP2004348463A JP2006157788A JP 2006157788 A JP2006157788 A JP 2006157788A JP 2004348463 A JP2004348463 A JP 2004348463A JP 2004348463 A JP2004348463 A JP 2004348463A JP 2006157788 A JP2006157788 A JP 2006157788A
Authority
JP
Japan
Prior art keywords
unit
watermark information
variance
image data
copy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004348463A
Other languages
English (en)
Other versions
JP4104590B2 (ja
Inventor
Yasuhiro Fujii
康広 藤井
Takaaki Yamada
隆亮 山田
Shinobu Nagagawa
忍 永川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2004348463A priority Critical patent/JP4104590B2/ja
Publication of JP2006157788A publication Critical patent/JP2006157788A/ja
Application granted granted Critical
Publication of JP4104590B2 publication Critical patent/JP4104590B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

【課題】透かし情報が埋め込まれた画像から透かし情報を迅速に抽出することができる透かし情報抽出装置30を提供する。
【解決手段】本発明の透かし情報抽出装置30は、文字および/または画像等の記録物64を電子データである画像データに変換するスキャナ部300と、画像データに含まれる画素の輝度変化の低周波成分を除去するフィルタ部302と、輝度変化の低周波成分が除去された画像データについて、予め定められた面積の単位領域を画像データ上でずらすことにより、画像データのそれぞれの場所での単位領域内における輝度値の分散を算出する分散算出部308と、輝度値の分散が最も高い単位領域から順に透かし情報の抽出を試みる透かし情報抽出部304と、透かし情報抽出部304が透かし情報を抽出した場合に、その旨を出力する抽出結果出力部306とを備えることを特徴とする。
【選択図】図2

Description

本発明は、文字および/または画像等の記録物に埋め込まれた透かし情報を抽出する技術に関する。
絵画や映画等のデジタル画像データに微妙な改変を施すことにより、当該デジタル画像データ内に透かし情報を埋め込む電子透かし技術が知られている。この電子透かし技術は、透かし情報が埋め込まれたデジタル画像データが、拡大縮小等の変形や、部分的な切り出し等の加工、フォーマット変換等のメディアの変遷があったとしても、埋め込まれた透かし情報を正しく抽出できることが好ましい。このような機能を実現する方法として、透かし情報に相当する画像パターン(以下透かしパターンと呼ぶ)をオリジナルのデジタル画像データに規則的に配置することにより透かし情報をデジタル画像データに埋め込み、透かしパターンの配置規則に基づいて、透かし情報が埋め込まれたデジタル画像データから抽出した透かしパターンを重畳することにより、埋め込まれた情報を抽出する技術が知られている。
しかし、上述の従来技術では、画像の変形の度合いが各箇所において微妙に異なるような局所的な変形に対しては、埋め込んだ透かしパターンの規則性にずれが生じるため、デジタル画像データから抽出した透かしパターンを重畳しても、埋め込まれた透かし情報を適切に抽出することができない場合がある。局所的変形は、透かし情報が埋め込まれたデジタル画像データを紙等の記録媒体に記録し、当該記録媒体をスキャナ等で読み取り、再びデジタル化した場合等に生じやすい。このような不都合を回避するための技術として、記録媒体上に記録された画像を小領域(以下これを抽出単位領域と呼ぶ)に分割し、当該抽出単位領域毎に透かし情報を抽出する技術が知られている(例えば、特許文献1または2参照)。記録媒体に記録された画像が局所的に変形している場合であっても、画像を複数の抽出単位領域に分割することにより、それぞれの抽出単位領域では、抽出単位領域全体にわたって均一に変形しているとみなすことができ、当該抽出単位領域全体に拡大縮小や回転等の幾何補正を施すことにより、当該抽出単位領域毎に透かし情報を抽出することができる。
また、透かし情報をデジタル画像データに埋め込む場合、デジタル画像データの輝度の変化の比較的激しい箇所に埋め込むことが好ましい。これにより、デジタル画像データの輝度の変化の比較的緩やかな箇所に埋め込まれた透かし情報よりも、埋め込まれた透かし情報を目立たなくすることができる。
米国特許第6108434号明細書 米国特許出願公開第2002/0021823号明細書
しかし、上記した特許文献1および2に記載の技術では、埋め込まれた透かし情報を抽出する場合、全ての抽出単位領域のそれぞれについて、順番に透かし情報の抽出を試みている。そのため、画像サイズが大きい場合、透かし情報の抽出処理が完了するのに時間がかかる場合があった。さらに、透かし画像が埋め込まれている可能性の低い、デジタル画像データの輝度の変化が比較的緩やかな箇所についても、透かし情報の抽出を試みるので、本来埋め込んだ情報と異なる情報を誤って抽出してしまう場合があった。
そこで本発明は、上記の課題を解決することのできる複写管理システム、透かし情報抽出装置、透かし情報抽出方法、およびそのプログラムを提供することを目的とする。例えば、透かし情報が埋め込まれた記録物から透かし情報を迅速に抽出することができるようにする。
上記課題を解決するために、透かし情報抽出装置は、画像データを複数の単位領域に分割し、単位領域毎の輝度値の分散に基づいて、輝度値の分散が最も高い単位領域から順に透かし情報の抽出を試みる。
例えば、記録物に埋め込まれた透かし情報を抽出する透かし情報抽出装置であって、記録物を電子データである画像データに変換するスキャナ部と、スキャナ部が取り込んだ画像データに含まれる画素の輝度変化の低周波成分を除去するフィルタ部と、フィルタ部によって輝度変化の低周波成分が除去された画像データについて、予め定められた面積の単位領域内の輝度値の分散を算出する分散算出部と、単位領域を画像データ内でずらすことにより、画像データのそれぞれの場所の単位領域内における輝度値の分散を、分散算出部に算出させる分散算出指示部と、分散算出指示部からの指示に応じて分散算出部が算出したそれぞれの単位領域の輝度値の分散に基づいて、輝度値の分散が最も高い単位領域から順に透かし情報の抽出を試みる透かし情報抽出部と、透かし情報抽出部が記録物から透かし情報を抽出できた場合に、その旨を出力する透かし情報出力部とを備えることを特徴とする透かし情報抽出装置を提供する。
本発明によれば、記録物の中から迅速に透かし情報を抽出することができる。
以下に、本発明の実施の形態を説明する。
図1は、本発明の一実施形態に係る透かし情報抽出システム10の構成を示す。透かし情報抽出システム10は、コンピュータ20および透かし情報抽出装置30を備える。透かし情報抽出装置30は、文字および/または画像等の記録物を電子データである画像データに変換し、変換した画像データに埋め込まれた透かし情報を抽出する。コンピュータ20は、ユーザからの操作に応じて、透かし情報抽出装置30に透かし情報の抽出を開始させると共に、透かし情報抽出装置30が記録物から抽出した透かし情報を表示する。
なお、本実施形態において、記録媒体とは、記録用紙だけでなく、CD−ROMや回路基板等が含まれる。また、記録物とは、当該記録媒体に記録された記録内容を示し、記録用紙に記録された文字や画像、CD−ROMに記録されたラベル、および回路基板に記録された回路パターン等が含まれる。
図2は、コンピュータ20および透かし情報抽出装置30の詳細な構成の一例を示すブロック図である。コンピュータ20は、入力部200および表示部202を備える。入力部200は、例えばキーボードやマウス等を介して、ユーザからの操作入力を受け付け、受け付けた操作入力に応じて、透かし情報抽出装置30に透かし情報の抽出の開始を指示する。また、入力部200は、ユーザからの操作に応じて、透かし情報抽出装置30の透かし情報の抽出のために用いるパラメータ(詳しくは後述する)の入力を受け付け、受け付けたパラメータを透かし情報抽出装置30へ送る。表示部202は、透かし情報抽出装置30の透かし情報抽出パラメータを、入力部200を介してユーザに入力させるための入力画面を表示する。また、表示部202は、透かし情報抽出装置30が記録物から抽出した透かし情報を表示する。
透かし情報抽出装置30は、分散算出指示部300、分散算出部302、スキャナ部304、フィルタ部306、透かし情報抽出部308、および抽出結果出力部310を備える。スキャナ部304は、記録物を電子データである画像データに変換する。
フィルタ部306は、スキャナ部304が変換した画像データに含まれる画素の輝度変化の低周波成分を除去する。フィルタ部306は、例えば以下に示す数学式1に従って、各画素の輝度値Yを算出する。
Figure 2006157788
ここで、Y(i,j)は画素(i,j)の輝度値を示し、R(i,j)は画素(i,j)の赤の信号レベルを示し、G(i,j)は画素(i,j)の緑の信号レベルを示し、B(i,j)は画素(i,j)の青の信号レベルを示す。
そして、フィルタ部306は、画像データ内の画素の輝度変化である空間周波数を算出し、予め定められた周波数以上の輝度変化に対応する画素のみを抽出する。透かし情報を画像データ内の輝度変化の比較的激しい箇所に埋め込むことにより、画像データの輝度変化の比較的緩やかな箇所に埋め込まれた透かし情報よりも、埋め込まれた透かし情報を目立たなくすることができるので、予め定められた周波数以上の輝度変化に対応する画素のみを抽出することにより、フィルタ部306は、透かし情報が含まれる可能性の低い画素を削減することができ、透かし情報を誤って抽出する可能性を低くすることができる。
分散算出部302は、フィルタ部306によって輝度変化の低周波成分が除去された画像データについて、予め定められた面積の画像データ上の領域である単位領域内の輝度値の分散を算出する。分散算出部302は、例えば以下に示す数学式2に従って、画素(i,j)から画素(i,j)に囲まれた単位領域の輝度値の分散Vを算出する。
Figure 2006157788
また、他の例として、分散算出部302は、以下に示す数学式3または4に従って、単位領域の輝度値の分散Vを算出してもよい。
Figure 2006157788
Figure 2006157788
なお、一般的なCPUに用いられる浮動小数演算装置は、絶対値の計算に必要な条件分岐演算よりも乗算のほうが高速に処理することができる場合が多いので、分散算出部302は、数学式3または4ではなく、数学式2に従って分散Vを算出することが好ましい。
また、浮動小数演算装置の浮動小数点演算速度が高速な特別なCPUを用いる場合、分散算出部302は、数学式2よりも、以下に示す数学式5に従って分散Vを算出することが好ましい。
Figure 2006157788
数学式2では、いったんデジタル画像データの画素の輝度値Y(i,j)の平均を計算した後、もう一度画像データを走査して、平均との差分の二乗を計算する必要があるが、数学式5では、一度の走査で画素の輝度値Y(i,j)の和とその二乗和を計算すれば分散Vを求めることができるので、より高速に分散Vを算出することができる。
分散算出指示部300は、単位領域を画像データ内でずらすことにより、画像データのそれぞれの場所における単位領域内の輝度値の分散を、分散算出部302に算出させる。本例において、分散算出指示部300が単位領域を画像データ上でずらす単位は、画素の倍数である。また、分散算出指示部300が単位領域を画像データの縦方向へずらす単位は、単位領域の縦の画素数よりも少なく、かつ分散算出指示部300が単位領域を画像データの横方向へずらす単位は、単位領域の横の画素数よりも少ないことが好ましい。これにより、透かし情報が複数の単位領域にまたがっている場合であっても、正しく抽出することができる可能性を高めることができる。
透かし情報抽出部308は、分散算出指示部300からの指示に応じて分散算出部302が算出したそれぞれの単位領域の輝度値の分散に基づいて、輝度値の分散が最も高い単位領域から順に透かし情報の抽出を試みる。透かし情報抽出部308は、透かし情報の抽出を試みる対象の単位領域から透かし情報を抽出することができた場合、抽出した透かし情報を抽出結果出力部310へ送る。本例において、透かし情報には、所定の桁数の予め定められた数字が含まれており、透かし情報抽出部308は、抽出した透かし情報に含まれる当該数字が予め定められた数字である場合に、透かし情報を正しく抽出することができたと判定する。
透かし情報の抽出を試みる対象の単位領域から透かし情報を抽出することができなかった場合、透かし情報抽出部308は、次に輝度値の分散が高い単位領域について、透かし情報の抽出を試みる。透かし情報抽出部308は、入力部200を介してユーザから輝度値の分散の閾値である分散閾値を受け取り、受け取った分散閾値以上の輝度値の分散を有する単位領域の全てについて、透かし情報が抽出されなかった場合に、画像データ内に透かし情報が埋め込まれていない旨を抽出結果出力部310へ通知すると共に、分散閾値未満の輝度値の分散を有する単位領域についての透かし情報の抽出を停止する。なお、透かし情報を抽出することができなかった場合、透かし情報抽出部308は、透かし情報の抽出を試みる対象の単位領域に対して、回転、拡大、および平行移動等の幾何補正を施し、再度透かし情報の抽出を試みてもよい。
抽出結果出力部310は、透かし情報抽出部308が画像データ内のいずれかの単位領域から透かし情報を抽出した場合に、透かし情報抽出部308が抽出した透かし情報を表示部202に表示させる。一方、透かし情報抽出部308が分散閾値以上の画像データ内の全ての単位領域から透かし情報を抽出することができなかった場合、抽出結果出力部310は、画像データ内に透かし情報が埋め込まれていない旨を表示部202に表示させる。
図3は、透かし情報抽出装置30のハードウェア構成の一例を示す。透かし情報抽出装置30は、CPU320、RAM322、ROM324、通信インターフェイス326、スキャナ装置328、およびメディアインターフェイス330を備える。CPU320は、RAM322およびROM324に格納されたプログラムに基づいて動作し、各部の制御を行う。ROM324は、透かし情報抽出装置30の起動時にCPU320が実行するブートプログラムや、透かし情報抽出装置30のハードウェアに依存するプログラム等を格納する。RAM322は、CPU320が実行するプログラムおよびCPU320が使用するデータ等を格納する。通信インターフェイス326は、コンピュータ20からの透かし情報抽出開始の指示を受信してCPU320へ送ると共に、透かし情報抽出装置30が検出した透かし情報をコンピュータ20へ送信する。スキャナ装置328は、CPU320によって制御され、記録物を画像データに変換する。メディアインターフェイス330は、記憶媒体332からプログラムまたはデータを読み取り、RAM322に提供する。
RAM322を介してCPU320に提供されるプログラムは、記憶媒体332に格納されてユーザから提供される。当該プログラムは、記憶媒体332から読み出され、記憶媒体332を介して透かし情報抽出装置30にインストールされ、透かし情報抽出装置30において実行される。透かし情報抽出装置30にインストールされて実行されるプログラムは、透かし情報抽出装置30を、分散算出指示部300、分散算出部302、スキャナ部304、フィルタ部306、透かし情報抽出部308、および抽出結果出力部310としてそれぞれ機能させる。
記憶媒体332は、例えばDVD、PD等の光学記録媒体、MD等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体記録装置等であってよい。透かし情報抽出装置30は、これらのプログラムを、記憶媒体332から読み取って実行する。また、透かし情報抽出装置30は、例えばインターネット網等の通信回線を介して、これらのプログラムを取得してもよい。
図4は、透かし情報を抽出するためのパラメータを入力するための入力画面40の一例を示す。表示部202は、入力画面40内にチェックボックス408、抽出開始ボタン412、および複数の入力ボックス400、402、404、406、410を表示する。入力ボックス400および402には、単位領域の横および縦の長さが画素を単位としてそれぞれ入力される。入力ボックス404および406には、単位領域を画像データ上で横および縦方向へ移動させるステップが画素を単位としてそれぞれ入力される。
チェックボックス408がチェックされた場合、入力ボックス410に入力された分散閾値が有効になる。なお、チェックボックス408がチェックされない場合、分散閾値に0が設定され、透かし情報抽出部308は、全ての単位領域について透かし情報の抽出を試みる。抽出開始ボタン412がマウス等を介してクリックされると、コンピュータ20は透かし情報抽出装置30に透かし情報の抽出を開始させる。
本例では、単位領域のサイズ、単位領域の移動ステップ、および分散閾値を透かし情報を検出するためのパラメータとして設定するが、この他に、単位領域から透かし情報を抽出することができなかった場合に、透かし情報抽出部308が単位領域に対して行う幾何補正の程度を指定するパラメータ等も透かし情報を検出するためのパラメータとして設定してもよい。
図5は、画像データを複数の単位領域単に分割して、それぞれの単位領域毎に分散を算出する過程を説明するための概念図である。図5(a)は、スキャナ部304によって変換された画像データ50を示す。図5(b)は、フィルタ部306によって輝度変化の低周波数成分が除去された画像データ52を示す。図5(c)は、分散算出部302によって算出されたそれぞれの単位領域の輝度値の分散を配置した画像データ54を示す。
図5(a)において、画像データ50には、木500、雲502、家504、および道506が含まれる。ここで、木500の輝度変化は、雲502、家504、および道506に比べて最も高く、道506の輝度変化は、木500、雲502、および家504に比べて最も低いと仮定する。
フィルタ部306によって輝度変化の低周波数成分が除去されることにより、図5(b)に示すような画像データ52が得られる。ここでは、フィルタ部306によって輝度変化の周波数成分が除去されなかった画素を白で示し、フィルタ部306によって輝度変化の周波数成分が除去された画素を黒で示している。木500に対応する画像データ52の部分は、輝度変化の周波数成分が高いので、フィルタ部306によって輝度変化の周波数成分が除去されず白く表示されている。一方、道506に対応する画像データ52の部分は、輝度変化の周波数成分が低いので、フィルタ部306によって輝度変化の周波数成分が除去されて黒く表示されている。
分散算出部302によって、画像データ52内の単位領域毎に輝度変化の分散が算出され、図5(c)に示す画像データ54を得る。ここでは、輝度値の分散が高い単位領域ほど白く、輝度値の分散が低い単位領域ほど黒くなるように示している。木500に対応する画像データ54の部分である単位領域540および542は、輝度値の分散が高いので白く表示されている。一方、道506に対応する画像データ52の部分である単位領域544は、輝度値の分散が低いので黒く表示されている。
透かし情報抽出部308は、輝度値の分散の最も高い単位領域である、例えば単位領域542に対応する画像データ52内の単位領域から透かし情報の抽出を試みる。単位領域542に対応する画像データ52内の単位領域から透かし情報を抽出することができなかった場合、次に輝度値の分散が高い単位領域である、例えば単位領域540に対応する画像データ52内の単位領域から透かし情報の抽出を試みる。そして、入力部200を介してユーザから入力された分散閾値以上の輝度値の分散を有する全ての単位領域から透かし情報を抽出することができなかった場合、分散閾値未満の輝度値の分散を有する単位領域である、例えば単位領域546等に対して透かし情報の抽出を試みることなく、透かし情報抽出部308は、画像データ50に透かし情報が埋め込まれていない旨を抽出結果出力部310に送る。
図6は、透かし情報抽出装置30の動作の一例を示すフローチャートである。入力画面40の抽出開始ボタン412をクリックされる等の所定のタイミングで、本フローチャートに示す透かし情報抽出装置30の動作が開始する。まず、スキャナ部304は、記録物を電子データである画像データに変換する(S100)。次に、フィルタ部306は、スキャナ部304が変換した画像データに含まれる画素の輝度変化の低周波成分を除去する(S102)。次に、分散算出部302は、フィルタ部306によって輝度変化の低周波成分が除去された画像データについて、予め定められた面積の単位領域を、分散算出指示部300からの指示に従って画像データ上でずらしながら、それぞれの単位領域内の輝度値の分散を算出する(S104)。
次に、透かし情報抽出部308は、分散算出指示部300からの指示に応じて分散算出部302が算出したそれぞれの単位領域の輝度値の分散に基づいて、輝度値の分散が最も高い単位領域から順に透かし情報の抽出を試みる(S106)。そして、透かし情報抽出部308は、対象となっている単位領域から透かし情報を抽出することができたか否かを判定する(S108)。透かし情報を抽出することができた場合(S108:Yes)、抽出結果出力部310は、透かし情報抽出部308が抽出した透かし情報を表示部202に表示させ(S114)、本フローチャートに示す透かし情報抽出装置30の動作は終了する。
ステップ108において、透かし情報を抽出することができなかった場合(S108:No)、分散閾値以上の全ての単位領域について、透かし情報の抽出を試行したか否かを判定する(S110)。分散閾値以上の全ての単位領域について、透かし情報の抽出を試行した場合(S110:Yes)、抽出結果出力部310は、透かし情報が検出されなかった旨を表示部202に表示させ(S112)、本フローチャートに示す透かし情報抽出装置30の動作は終了する。
ステップ110において、分散閾値以上の全ての単位領域について、透かし情報の抽出を試行していない場合(S110:No)、透かし情報抽出部308は、次に輝度値の分散が高い単位領域から透かし情報の抽出を試みる(S106)。
図7は、本発明の他の実施形態に係る複写管理システム60の構成を示す。複写管理システム60は、ネットワーク66、複写装置70、および複写管理サーバ80を備える。ネットワーク66は、複写装置70と複写管理サーバ80とを接続し、互いに通信させる。複写装置70は、ユーザ62から記録物64の複写指示を受け付けた場合に、記録物64の複写の可否をネットワーク66を介して複写管理サーバ80に問い合わせ、複写管理サーバ80から複写を許可する旨を受け取った場合に、ユーザ62からの指示に応じて記録物64を他の記録媒体に複写する。複写管理サーバ80は、複写装置70から複写の可否の問い合わせを受けた場合、後述するデータベースを参照して、記録物64の複写の可否を判定し、判定結果を、ネットワーク66を介して複写装置70に通知する。
図8は、複写装置70の詳細な構成の一例を示すブロック図である。複写装置70は、分散算出指示部700、分散算出部702、入力部704、スキャナ部706、フィルタ部708、透かし情報抽出部710、透かし情報出力部712、表示部714、および複写部716を有する。
入力部704は、例えばキーパッドやタッチパネル等であり、ユーザ62からの操作に応じて、記録物64の画像データへの変換をスキャナ部706に指示する。また、入力部704は、ユーザ62からの操作に応じて、複写装置70の透かし情報の抽出のために用いる、検出単位領域のサイズや、検出単位領域の移動ステップの大きさ、分散閾値等のパラメータ、およびユーザ62を識別するユーザID等の入力を受け付け、受け付けたパラメータおよびユーザIDを分散算出指示部700および透かし情報抽出部710へ送る。表示部714は、透かし情報を抽出するためのパラメータをユーザ62に入力させるための入力画面を表示する。また、表示部714は、複写管理サーバ80が複写を許可しない旨を通知した場合にその旨を表示することにより、その旨をユーザ62に通知する。
分散算出指示部700、分散算出部702、スキャナ部706、フィルタ部708、透かし情報抽出部710、および透かし情報出力部712のそれぞれは、図2において説明した分散算出指示部300、分散算出部302、スキャナ部304、フィルタ部306、透かし情報抽出部308、および抽出結果出力部310のそれぞれと同一または同様の機能および構成を有するため、以下に説明する点を除き、詳細な説明を省略する。透かし情報出力部712は、透かし情報抽出部710が画像データ内のいずれかの単位領域から透かし情報を抽出した場合に、透かし情報抽出部710が抽出した透かし情報を記録物64の複写を指示したユーザ62のユーザIDと共にネットワーク66を介して複写管理サーバ80へ送信する。一方、透かし情報抽出部710が分散閾値以上の画像データ内の全ての単位領域から透かし情報を抽出することができなかった場合、透かし情報出力部712は、画像データ内に透かし情報が埋め込まれていない旨を複写部716に通知する。なお、本例において、記録物に埋め込まれた透かし情報は、透かし情報を正しく検出できたか否かを判定するための予め定められた桁数かつ予め定められた数字、および記録物を識別する記録物IDを含む。
複写部716は、複写管理サーバ80から複写を許可する旨を受信した場合または透かし情報出力部712から透かし情報が埋め込まれていない旨を受信した場合に、スキャナ部706が変換した画像データを他の記録媒体に記録することにより、記録物64を他の記録媒体に複写する。
図9は、複写管理サーバ80の詳細な構成の一例を示すブロック図である。複写管理サーバ80は、複写可否通知部800、複写許可情報格納部802、および複写履歴格納部804を有する。複写許可情報格納部802は、記録物64の複写を許可するユーザ62のユーザIDを、記録物IDに対応付けて格納する。複写履歴格納部804は、記録物64の複写を許可した場合に、複写を許可した記録物64の記録物IDを、複写を許可したユーザ62のユーザIDに対応付けて格納する。
複写可否通知部800は、ネットワーク66を介して複写装置70から複写を指示したユーザ62のユーザIDと共に記録物64の透かし情報を受け取った場合に、透かし情報から記録物IDを抽出し、複写許可情報格納部802を参照して、透かし情報と共に受信したユーザIDが透かし情報から抽出した記録物IDに対応付けられて複写許可情報格納部802に格納されているか否かを判定する。当該ユーザIDが当該記録物IDに対応付けられて複写許可情報格納部802に格納されている場合、複写可否通知部800は、受信した透かし情報が埋め込まれている記録物64を受信したユーザIDに対応するユーザ62によって複写されることを許可する旨を、ネットワーク66を介して複写装置70に通知する。そして、複写可否通知部800は、複写を許可したユーザ62のユーザIDを、複写を許可した記録物64の記録物IDに対応付けて複写履歴格納部804に格納する。
図10は、複写許可情報格納部802に格納されるデータ構造の一例を示す。複写許可情報格納部802は、記録物64の複写を許可するユーザ62のユーザIDである複写許可者ID8022を、記録物ID8020に対応付けて格納する。複写許可情報格納部802を参照することにより、複写可否通知部800は、透かし情報と共に複写装置70から受け取ったユーザIDに対応するユーザ62に、当該透かし情報が埋め込まれている記録物64の複写を許可するか否かを判定することができる。
なお、透かし情報と共に受信したユーザIDが透かし情報から抽出した記録物IDに対応付けられて複写許可情報格納部802に格納されていない場合、複写可否通知部800は、受信した透かし情報が埋め込まれている記録物64を、当該透かし情報と共に受信したユーザIDに対応するユーザ62によって複写されることを許可しない旨を複写装置70に通知する。これにより、複写管理システム60は、記録物64の複写が許可されていないユーザ62による記録物64の複写を確実に防止することができる。
また、複写許可情報格納部802は、それぞれのユーザ62毎に複写可能な回数である複写可能残数を、それぞれの複写許可者ID8022に対応付けてさらに格納してもよい。この場合、複写装置70から透かし情報と共にユーザIDを受け取った後、複写可否通知部800は、複写許可情報格納部802を参照して、1以上の複写可能残数が受け取ったユーザIDに対応付けて複写許可情報格納部802に格納されている場合に、複写を許可する旨を複写装置70に通知すると共に、複写許可情報格納部802に格納されている複写可能残数を1減ずる。これにより、複写管理システム60は、記録物64の複写が許可されているユーザ62の複写の回数も制限することができ、より厳密に記録物64の複写を管理することができる。
図11は、複写履歴格納部804に格納されるデータ構造の一例を示す。複写履歴格納部804は、記録物64の複写を許可したユーザ62のユーザIDである複写者ID8042およびそのユーザ62による複写の回数である複写回数8044を、記録物ID8040に対応付けて格納する。複写履歴格納部804を参照することにより、いずれの記録物64が、いずれのユーザ62によって複写されているかを管理することができる。
図12は、複写装置70の動作の一例を示すフローチャートである。入力部704を介して複写の指示がユーザ62から入力される等の所定のタイミングで、本フローチャートに示す複写装置70の動作が開始する。まず、入力部704は、ユーザ62からキーパッドやタッチパネル等を介して受け付けた透かし情報検出のためのパラメータや複写を指示したユーザ62のユーザID等を取得する(S200)。次に、スキャナ部706は、記録物64を電子データである画像データに変換する(S202)。
次に、フィルタ部708は、スキャナ部706が変換した画像データに含まれる画素の輝度変化の低周波成分を除去する(S204)。次に、分散算出部702は、フィルタ部708によって輝度変化の低周波成分が除去された画像データについて、予め定められた面積の単位領域を、分散算出指示部700からの指示に従って画像データ上でずらしながら、それぞれの単位領域内の輝度値の分散を算出する(S206)。
次に、透かし情報抽出部710は、分散算出指示部700からの指示に応じて分散算出部702が算出したそれぞれの単位領域の輝度値の分散に基づいて、輝度値の分散が最も高い単位領域から順に透かし情報の抽出を試みる(S208)。そして、透かし情報抽出部710は、対象となっている単位領域から透かし情報を抽出することができたか否かを判定する(S210)。透かし情報を抽出することができなかった場合(S210:No)、分散閾値以上の全ての単位領域について、透かし情報の抽出を試行したか否かを判定する(S212)。分散閾値以上の全ての単位領域について、透かし情報の抽出を試行していない場合(S212:No)、透かし情報抽出部710は、次に輝度値の分散が高い単位領域から透かし情報の抽出を試みる(S208)。
ステップ212において、分散閾値以上の全ての単位領域について、透かし情報の抽出を試行した場合(S212:Yes)、透かし情報出力部712は、透かし情報が検出されなかった旨を複写部716へ通知する。そして、複写部716は、スキャナ部706が変換した画像データを他の記録媒体に記録することにより、記録物64を他の記録媒体に複写し(S214)、本フローチャートに示す複写装置70の動作は終了する。
ステップ210において、透かし情報を抽出することができた場合(S210:Yes)、透かし情報出力部712は、透かし情報抽出部710が抽出した透かし情報をネットワーク66を介して複写管理サーバ80へ送る(S216)。次に、複写部716は、複写管理サーバ80から複写を許可する旨を受信したか否かを判定する(S218)。複写管理サーバ80から複写を許可する旨を受信した場合(S218:Yes)、複写部716は、スキャナ部706が変換した画像データを他の記録媒体に複写し(S214)、本フローチャートに示す複写装置70の動作は終了する。
ステップ218において、複写管理サーバ80から複写を許可する旨を受信しなかった場合(S218:No)、表示部714は、複写を許可しない旨を表示することにより、その旨を記録物64の複写を指示したユーザ62に通知し(S220)、本フローチャートに示す複写装置70の動作は終了する。
なお、本例では、ステップ208から212において、記録物64から透かし情報を抽出することができなかった場合に、ステップ214において記録物64を複写しているが、他の例として、透かし情報を抽出することができ、かつ抽出された透かし情報およびユーザIDに基づいて複写の許可が通知された場合にのみ記録物64を複写してもよい。これにより、より確実に記録物64の複写を管理することができる。
図13は、複写管理サーバ80の動作の一例を示すフローチャートである。電源投入等の所定のタイミングで、本フローチャートに示す複写管理サーバ80の動作が開始する。まず、複写可否通知部800は、ユーザIDと共に透かし情報複写装置70から受信したか否かを判定する(S300)。ユーザIDと共に透かし情報を受信していない場合(S300:No)、複写可否通知部800は、ユーザIDと共に透かし情報を受信するまでステップ300を繰り返す。
ステップ300において、ユーザIDと共に透かし情報を受信した場合(S300:Yes)、複写可否通知部800は、複写装置70からユーザIDと共に受信した透かし情報から記録物IDを抽出し、複写許可情報格納部802を参照して、透かし情報と共に受信したユーザIDが、透かし情報から抽出した記録物IDに対応付けられて複写許可情報格納部802に格納されているか否かを判定する(S302)。受信したユーザIDが抽出した記録物IDに対応付けられて複写許可情報格納部802に格納されていない場合(S302:No)、複写可否通知部800は、複写を許可しない旨を複写装置70に通知し(S308)、再びステップ300に示した処理を行う。
ステップ302において、受信したユーザIDが抽出した記録物IDに対応付けられて複写許可情報格納部802に格納されている場合(S302:Yes)、複写可否通知部800は、受信した透かし情報が埋め込まれている記録物64を、受信したユーザIDに対応するユーザ62によって複写されることを許可する旨を、ネットワーク66を介して複写装置70に通知する(S304)。そして、複写可否通知部800は、複写を許可したユーザ62のユーザIDを、複写を許可した記録物64の記録物IDに対応付けて複写履歴格納部804に格納し(S306)、再びステップ300に示した処理を行う。
上記説明から明らかなように、本実施形態の透かし情報抽出システム10によれば、記録物から迅速に透かし情報を抽出することができる。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記した実施の形態に記載の範囲には限定されない。また、上記した実施の形態に、多様な変更または改良を加えることが可能であることが当業者にとって明らかである。さらに、そのような変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
例えば、汎用のコンピュータ等を分散算出指示部300、分散算出部302、フィルタ部306、透かし情報抽出部308、および抽出結果出力部310として機能させ、スキャナ部304に代えて汎用のスキャナ装置を用いることにより、汎用のコンピュータと汎用のスキャナ装置とを用いて透かし情報抽出装置30の機能を実現させてもよい。また、透かし情報抽出装置30が有する複数の機能ブロックのそれぞれは、ASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)等の集積ロジックICによりハード的に実現されるものでもよく、DSP(Digital Signal Processor)や汎用計算機によりソフトウェア的に実現されてもよく、あるいは、部分的にハードウェアまたはソフトウェアで実現させた機能ブロックを組み合わせてもよい。
本発明の一実施形態に係る透かし情報抽出システム10の構成を示す図である。 コンピュータ20および透かし情報抽出装置30の詳細な構成の一例を示すブロック図である。 透かし情報抽出装置30のハードウェア構成の一例を示す図である。 透かし情報を抽出するためのパラメータを入力するための入力画面40の一例を示す図である。 画像データを複数の単位領域単に分割して、それぞれの単位領域毎に分散を算出する過程を説明するための概念図である。 透かし情報抽出装置30の動作の一例を示すフローチャートである。 本発明の他の実施形態に係る複写管理システム60の構成を示す図である。 複写装置70の詳細な構成の一例を示すブロック図である。 複写管理サーバ80の詳細な構成の一例を示すブロック図である。 複写許可情報格納部802に格納されるデータ構造の一例を示す図である。 複写履歴格納部804に格納されるデータ構造の一例を示す図である。 複写装置70の動作の一例を示すフローチャートである。 複写管理サーバ80の動作の一例を示すフローチャートである。
符号の説明
10・・・透かし情報抽出システム、20・・・PC、200・・・入力部、704・・・入力部、202・・・表示部、714・・・表示部、30・・・透かし情報抽出装置、300・・・分散算出指示部、700・・・分散算出指示部、302・・・分散算出部、702・・・分散算出部、304・・・スキャナ部、706・・・スキャナ部、306・・・フィルタ部、708・・・フィルタ部、308・・・透かし情報抽出部、710・・・透かし情報抽出部、310・・・抽出結果出力部、320・・・CPU、322・・・RAM、324・・・ROM、326・・・通信インターフェイス、328・・・スキャナ装置、330・・・メディアインターフェイス、332・・・記憶媒体、40・・・入力画面、400、402、404、406、410・・・入力ボックス、408・・・チェックボックス、412・・・抽出開始ボタン、500・・・木、502・・・雲、504・・・家、506・・・道、50、52、54・・・画像データ、540、542、544、546・・・単位領域、60・・・複写管理システム、62・・・ユーザ、64・・・記録物、66・・・ネットワーク、70・・・複写装置、712・・・透かし情報出力部、716・・・複写部、80・・・複写管理サーバ、800・・・複写可否通知部、802・・・複写許可情報格納部、8020、8040・・・記録物ID、8022・・・複写許可者ID、804・・・複写履歴格納部、8042・・・複写者ID、8044・・・複写回数

Claims (10)

  1. 記録物に埋め込まれた透かし情報を抽出する透かし情報抽出装置であって、
    前記記録物を電子データである画像データに変換するスキャナ部と、
    前記スキャナ部が変換した前記画像データに含まれる画素の輝度変化の低周波成分を除去するフィルタ部と、
    前記フィルタ部によって前記輝度変化の低周波成分が除去された前記画像データについて、予め定められた面積の単位領域内の輝度値の分散を算出する分散算出部と、
    前記単位領域を前記画像データ内でずらすことにより、前記画像データのそれぞれの場所の前記単位領域内における輝度値の分散を、前記分散算出部に算出させる分散算出指示部と、
    前記分散算出指示部からの指示に応じて前記分散算出部が算出したそれぞれの前記単位領域の前記輝度値の分散に基づいて、前記輝度値の分散が最も高い前記単位領域から順に透かし情報の抽出を試みる透かし情報抽出部と、
    前記透かし情報抽出部が前記記録物から前記透かし情報を抽出できた場合に、その旨を出力する透かし情報出力部と
    を備えることを特徴とする透かし情報抽出装置。
  2. 請求項1に記載の透かし情報抽出装置であって、
    前記透かし情報抽出部は、
    予め定められた分散閾値以上の前記輝度値の分散を有する前記単位領域について、前記透かし情報を抽出できなかった場合に、前記画像データに前記透かし情報が埋め込まれていない旨を前記透かし情報出力部に出力させると共に、前記分散閾値未満の前記輝度値の分散を有する前記単位領域について、以降の前記透かし情報の抽出を行わないこと
    を特徴とする透かし情報抽出装置。
  3. 請求項2に記載の透かし情報抽出装置であって、
    ユーザから前記分散閾値の入力を受け付ける分散閾値受付部をさらに備え、
    前記透かし情報抽出部は、
    前記分散閾値受付部が受け付けた前記分散閾値以上の前記輝度値の分散を有する前記単位領域について、前記透かし情報を抽出できなかった場合に、前記画像データに前記透かし情報が埋め込まれていない旨を前記透かし情報出力部に出力させると共に、前記分散閾値未満の前記輝度値の分散を有する前記単位領域について、以降の前記透かし情報の抽出を行わないこと
    を特徴とする透かし情報抽出装置。
  4. 請求項1から3のいずれかに記載の透かし情報抽出装置であって、
    前記分散算出指示部は、
    前記画像データの画素の倍数を単位とする移動ステップ分、前記単位領域を前記画像データ上でずらすことにより、前記画像データのそれぞれの場所での前記単位領域内における輝度値の分散を前記分散算出部に算出させること
    を特徴とする透かし情報抽出装置。
  5. 請求項4に記載の透かし情報抽出装置であって、
    ユーザから前記移動ステップの入力を受け付ける移動ステップ受付部をさらに備え、
    前記分散算出指示部は、
    前記移動ステップ受付部が受け付けた前記移動ステップ分、前記単位領域を前記画像データ上でずらすことにより、前記画像データのそれぞれの場所での前記単位領域内における輝度値の分散を前記分散算出部に算出させること
    を特徴とする透かし情報抽出装置。
  6. 記録物に埋め込まれた透かし情報を抽出する透かし情報抽出装置の透かし情報抽出方法であって、
    前記透かし情報抽出装置は、
    前記記録物を電子データである画像データに変換するステップと、
    変換した前記画像データに含まれる画素の輝度変化の低周波成分を除去するステップと、
    前記輝度変化の低周波成分が除去された前記画像データについて、予め定められた面積の単位領域を前記画像データ上でずらしながら、それぞれの前記単位領域内の輝度値の分散をそれぞれ算出するステップと、
    算出したそれぞれの前記単位領域の前記輝度値の分散に基づいて、前記輝度値の分散が最も高い前記単位領域から順に透かし情報の抽出を試みるステップと、
    前記透かし情報を前記記録物から抽出できた場合に、その旨を出力するステップと
    を行うことを特徴とする透かし情報抽出方法。
  7. 記録物に埋め込まれた透かし情報を抽出する透かし情報抽出装置を制御するプログラムであって、
    前記透かし情報抽出装置に、
    前記記録物を電子データである画像データに変換するスキャナ機能、
    前記スキャナ機能が変換した前記画像データに含まれる画素の輝度変化の低周波成分を除去するフィルタ機能、
    前記フィルタ機能によって前記輝度変化の低周波成分が除去された前記画像データについて、予め定められた面積の単位領域内の輝度値の分散を算出する分散算出機能、
    前記単位領域を前記画像データ内でずらすことにより、前記画像データのそれぞれの場所の前記単位領域内における輝度値の分散を、前記分散算出機能に算出させる分散算出指示機能、
    前記分散算出指示機能からの指示に応じて前記分散算出機能が算出したそれぞれの前記単位領域の前記輝度値の分散に基づいて、前記輝度値の分散が最も高い前記単位領域から順に透かし情報の抽出を試みる透かし情報抽出機能、および
    前記透かし情報抽出機能が前記記録物から前記透かし情報を抽出できた場合に、その旨を出力する透かし情報出力機能
    を実現させることを特徴とするプログラム。
  8. 記録物の複写を管理する複写管理システムであって、
    前記記録物を電子データである画像データに変換し、変換した前記画像データを他の記録媒体に記録することにより、前記記録物を前記他の記録媒体に複写する複写装置と、
    前記複写装置が変換した前記画像データから透かし情報が抽出された場合に、抽出された前記透かし情報に基づいて、前記記録物の複写の可否を判定し、前記記録物の複写が許可されている場合に、前記複写装置に前記記録物を複写させる複写判定サーバと
    を備え、
    前記複写装置は、
    前記記録物を前記画像データに変換するスキャナ部と、
    前記スキャナ部が変換した前記画像データに含まれる画素の輝度変化の低周波成分を除去するフィルタ部と、
    前記フィルタ部によって前記輝度変化の低周波成分が除去された前記画像データについて、予め定められた面積の単位領域内の輝度値の分散を算出する分散算出部と、
    前記単位領域を前記画像データ内でずらすことにより、前記画像データのそれぞれの場所の前記単位領域内における輝度値の分散を、前記分散算出部に算出させる分散算出指示部と、
    前記分散算出指示部からの指示に応じて前記分散算出部が算出したそれぞれの前記単位領域の前記輝度値の分散に基づいて、前記輝度値の分散が最も高い前記単位領域から順に透かし情報の抽出を試みる透かし情報抽出部と、
    前記透かし情報抽出部が前記記録物から前記透かし情報を抽出できた場合に、抽出された前記透かし情報を前記複写判定サーバへ出力する透かし情報出力部と、
    前記複写判定サーバから、前記記録物の複写を許可する旨を受け取った場合に、前記スキャナ部が変換した前記画像データを前記他の記録媒体に複写する複写部と
    を有し、
    前記複写判定サーバは、
    前記記録物の複写を許可するか否かを示す情報を、前記記録物の記録物識別情報に対応付けて格納する複写許可情報格納部と、
    前記複写装置から前記透かし情報を受け取り、前記透かし情報に含まれる前記記録物の記録物識別情報を参照して、複写を許可する旨が前記記録物の記録物識別情報に対応付けられて前記複写許可情報格納部に格納されている場合に、前記記録物の複写を許可する旨を前記複写装置に通知する複写可否通知部と
    を有することを特徴とする複写管理システム。
  9. 請求項8に記載の複写管理システムであって、
    前記複写装置は、
    前記記録物の複写を依頼するユーザを識別するユーザ識別情報を前記ユーザから受け付け、前記透かし情報出力部に、受け付けた前記ユーザ識別情報を、前記透かし情報抽出部が抽出した前記透かし情報と共に、前記複写判定サーバへ出力させる識別情報受付部をさらに有し、
    前記複写判定サーバは、
    前記記録物の複写が許可されている前記ユーザの前記ユーザ識別情報を、前記記録物の記録物識別情報に対応付けて格納する複写許可者格納部をさらに有し、
    前記複写可否通知部は、
    前記記録物の記録物識別情報に対応付けられて複写を許可する旨が前記複写許可情報格納部に格納されている場合であり、かつ前記透かし情報抽出装置から前記透かし情報と共に受け取った前記ユーザ識別情報が、前記記録物の記録物識別情報に対応付けられて複写を許可する旨が前記複写許可者格納部に格納されている場合に、前記記録物の複写を許可する旨を前記複写装置に通知すること
    を特徴とする複写管理システム。
  10. 請求項9に記載の複写管理システムであって、
    前記複写判定サーバは、
    前記記録物の複写を許可した場合に、前記複写を許可した前記ユーザの前記ユーザ識別情報を、前記複写を許可した前記記録物の記録物識別情報に対応付けて格納する複写済みリスト格納部をさらに有すること
    を特徴とする複写管理システム。
JP2004348463A 2004-12-01 2004-12-01 複写管理システム、透かし情報抽出装置、透かし情報抽出方法、およびそのプログラム Active JP4104590B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004348463A JP4104590B2 (ja) 2004-12-01 2004-12-01 複写管理システム、透かし情報抽出装置、透かし情報抽出方法、およびそのプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004348463A JP4104590B2 (ja) 2004-12-01 2004-12-01 複写管理システム、透かし情報抽出装置、透かし情報抽出方法、およびそのプログラム

Publications (2)

Publication Number Publication Date
JP2006157788A true JP2006157788A (ja) 2006-06-15
JP4104590B2 JP4104590B2 (ja) 2008-06-18

Family

ID=36635477

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004348463A Active JP4104590B2 (ja) 2004-12-01 2004-12-01 複写管理システム、透かし情報抽出装置、透かし情報抽出方法、およびそのプログラム

Country Status (1)

Country Link
JP (1) JP4104590B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014036329A (ja) * 2012-08-08 2014-02-24 Fuji Xerox Co Ltd 画像処理装置および画像処理プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014036329A (ja) * 2012-08-08 2014-02-24 Fuji Xerox Co Ltd 画像処理装置および画像処理プログラム

Also Published As

Publication number Publication date
JP4104590B2 (ja) 2008-06-18

Similar Documents

Publication Publication Date Title
Piva An overview on image forensics
US7536026B2 (en) Image processing apparatus and method
JP3719347B2 (ja) ディジタル画像または圧縮ディジタル画像への透かし挿入方法、ディジタル画像キャプチャリング装置、コンピュータシステム、および透かし入りディジタル画像の改ざん検出方法
JP4485585B2 (ja) デジタル像符牒の処理方法及びシステム
Agreste et al. An image adaptive, wavelet-based watermarking of digital images
US6198832B1 (en) Embedding and detecting a watermark in images
Queluz Authentication of digital images and video: Generic models and a new contribution
JP2006121656A (ja) 電子透かし埋込装置、電子透かし埋込方法、その方法をコンピュータに実行させるためのプログラム
Su et al. Geometrically resilient digital image watermarking by using interest point extraction and extended pilot signals
JP4296126B2 (ja) スクリーン作成装置
JP2003204429A (ja) 電子透かしの符号生成装置と符号生成方法、および電子透かしの復号装置と復号方法、並びに電子透かしの符号生成復号プログラムと、これを記録した記録媒体
Borra et al. Digital image watermarking tools: state-of-the-art
US7440584B2 (en) System and method for marking data and document distribution
JP2008262424A (ja) 画像処理装置及びその制御方法、並びにコンピュータプログラム
JP2009111980A (ja) 閉ループ処理における文書の真偽判定
US8848984B2 (en) Dynamic thresholds for document tamper detection
US8180098B2 (en) Method of extracting a watermark
JP4104590B2 (ja) 複写管理システム、透かし情報抽出装置、透かし情報抽出方法、およびそのプログラム
JP2006174085A (ja) 画像処理装置,画像処理方法
JP4167372B2 (ja) 電子透かしの埋め込み方法、抽出方法、不可視化方法、及び可視化方法並びに埋め込み装置
JP2005236800A (ja) 画像領域判定方法、画像処理装置およびプログラム
JP2010206399A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP4360418B2 (ja) 画像処理装置、ビューワ、画像処理プログラム及び画像処理システム
JP2008148110A (ja) 画像処理装置およびその制御方法
JP2004312568A (ja) フォーマット情報に基づく電子透かし情報の検出方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060801

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080226

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080318

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080325

R151 Written notification of patent or utility model registration

Ref document number: 4104590

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110404

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120404

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120404

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130404

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140404

Year of fee payment: 6

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250