JP2005295458A - 情報検出装置,情報埋め込み装置,画像処理システム,情報検出方法,および情報埋め込み方法 - Google Patents

情報検出装置,情報埋め込み装置,画像処理システム,情報検出方法,および情報埋め込み方法 Download PDF

Info

Publication number
JP2005295458A
JP2005295458A JP2004111413A JP2004111413A JP2005295458A JP 2005295458 A JP2005295458 A JP 2005295458A JP 2004111413 A JP2004111413 A JP 2004111413A JP 2004111413 A JP2004111413 A JP 2004111413A JP 2005295458 A JP2005295458 A JP 2005295458A
Authority
JP
Japan
Prior art keywords
information
additional information
area
image
input image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004111413A
Other languages
English (en)
Other versions
JP4232676B2 (ja
Inventor
Takashi Hashimoto
隆志 橋本
Kurato Maeno
蔵人 前野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oki Electric Industry Co Ltd
Original Assignee
Oki Electric Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oki Electric Industry Co Ltd filed Critical Oki Electric Industry Co Ltd
Priority to JP2004111413A priority Critical patent/JP4232676B2/ja
Publication of JP2005295458A publication Critical patent/JP2005295458A/ja
Application granted granted Critical
Publication of JP4232676B2 publication Critical patent/JP4232676B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Analysis (AREA)

Abstract

【課題】 透かし検出失敗時における原因の切分けを容易にし,再検出時に適切な画像を入力するための補助となる情報を提供することの可能な情報検出装置を提供する。
【解決手段】 入力画像上の付加情報を検出する情報検出装置13は,入力画像が入力される入力部109と,入力画像上の付加情報を検出する検出部110と,検出された付加情報から,付加情報領域が入力画像内に不足なく存在するかを判定し,付加情報領域が不足していると判定した場合に,不足領域の位置方向を検出する領域判定部111と,不足領域の位置方向を出力する出力部112と,を備えたことを特徴とする。透かし領域の欠落の有無を判定し,欠落領域の情報を通知することで再検出時に適切な画像を入力するための補助となる情報を提供できる。
【選択図】 図21



Description

本発明は,印刷媒体上の電子透かしを用いた,情報の埋め込み/読み取り処理にかかり,特に,情報検出装置,情報埋め込み装置,画像処理システム,情報検出方法,および情報埋め込み方法に関する。
印刷媒体上の電子透かしを用いた,情報の埋め込み/読み取り処理に関する従来技術として,特開2003−209676号公報「印刷文書への秘密情報埋め込みおよび検出方法」に開示される技術がある。同文献の電子透かし読み取り方法では,電子透かしを印刷した媒体をスキャナ・カメラ等の入力デバイスによって取得し,得られた画像を入力画像として画像処理により透かし信号を検出し,情報読み取りを行っている。
この方法において,印刷媒体の入力時に入力条件により印刷媒体上の透かし信号領域が入力画像に収まらず,はみ出してしまう場合がある。特にカメラでの撮影では,媒体と撮影部の位置関係が固定でないため,入力画像外の透かし領域が発生する可能性がある。また,給紙装置を備えるスキャナでは,用紙送りの不具合などにより用紙位置のずれが発生し,透かし領域がはみ出してしまう場合がある。この場合,正常に入力されなかった媒体部分の透かし信号は当然検出不能である。
このように透かし信号が一部欠落している入力画像において,透かし信号より情報読み取りが可能かは,透かし符号の埋め込み形式や誤り訂正能力に依存して決まる。誤り訂正能力を超える場合は透かし媒体の一部,または全体の情報読み取りが失敗する。それにより,信号の耐エラー性は低下する。
一方,透かし印刷媒体の情報読み取りが失敗する場合には,その原因として透かし領域の欠落の他に,印刷時の不具合による透かし品質の不良,媒体の汚れ等による透かし信号の劣化,ピントずれ・歪み等による入力時の環境要因などが考えられる。
原因が透かし領域の欠落による場合であれば,透かし領域を入力画像内に収まるよう正しく再入力を行うことによって,情報読み取りが可能である。対して他の原因による場合であれば,単純な再入力では読み取り可能にはならない。
特開2003−209676号公報 特開2003−101762号公報
従来は透かし読み取り処理の失敗の場合,原因を自動で判断する手段がないため,透かし領域の欠落がないかを入力画像から人手で判断し,透かし媒体の再入力(再撮影や再スキャンなど)を行う必要があった。これは給紙装置付スキャナによる自動処理では大きな負担となる。また,媒体の再入力時に,適切な媒体位置を示す指針がないため,再び欠落領域を生じた画像を入力してしまう場合もあった。
本発明は,従来の電子透かし技術が有する上記問題点に鑑みてなされたものであり,本発明の目的は,画像上に付加された透かしなどの付加情報の検出(検証)失敗時における原因の切分けを容易にし,再検出時に適切な画像を入力するための補助となる情報を提供することの可能な,新規かつ改良された情報検出装置,情報埋め込み装置,画像処理システム,情報検出方法,および情報埋め込み方法を提供することである。
上記課題を解決するため,本発明の第1の観点によれば,入力画像上の付加情報を検出する情報検出装置が提供される。本発明の情報検出装置は,
入力画像が入力される入力部(109)と,入力画像上の付加情報を検出する検出部(110)と,検出された付加情報から,付加情報領域が入力画像内に不足なく存在するかを判定し,付加情報領域が不足していると判定した場合に,不足領域の位置方向を検出する領域判定部(111)と,不足領域の位置方向を出力する出力部(112)と,を備えたことを特徴とする(請求項1)。
かかる構成によれば,情報読み取り時の入力画像について,付加情報領域の欠落の有無を判定し,欠落領域の画像上の方向および欠落領域の大きさを利用者に通知することができる。このようにして,付加情報検出失敗時の原因の切分けを容易にする。加えて,欠落領域の情報を通知することで再検出時に適切な画像を入力するための補助となる情報を提供できる。
本発明の情報検出装置において,以下のような応用が可能である。
入力画像上の付加情報は,(透かし信号情報のように)入力画像の全面に(繰り返し)埋め込まれた情報であってもよい(請求項2)。あるいは,入力画像上の付加情報は,(バーコードのように)入力画像の一部の領域に埋め込まれた情報であってもよい(請求項3)。このように,本発明は様々な形式の付加情報に対応可能である。
領域判定部(111)は,入力画像の境界(輪郭あるいは境界線ともいう。)付近の付加情報を集計し,付加情報領域が入力画像の境界に十分近いかを判断することにより,付加情報領域が入力画像内に不足なく存在するかを判定するようにしてもよい(請求項4)。例えば,境界線から内側へ一定ピクセル分を探索し,その領域における付加情報の検出量に応じて,付加情報領域が入力画像内に不足なく存在するかを判定するようにしてもよい。
領域判定部(111)は,入力画像の境界に対して,法線方向に付加情報を収集することにより,付加情報領域が入力画像内に不足なく存在するかを判定するようにしてもよい(請求項5)。付加情報検出で得られた信号位置情報の補正処理(例えば,逆回転補正処理)を行うことなく,入力画像の境界付近に付加情報が存在しているかを判定できる。
入力画像上の付加情報が,付加情報領域の境界付近に境界用の信号が配置されたものである場合に,領域判定部(111)は,境界用の付加情報信号から付加情報領域の境界を検出し,検出された境界が閉路を形成しているかを判定することにより,付加情報領域が入力画像内に不足なく存在するかを判定するようにしてもよい(請求項6)。より適切に不足領域の方向を判定することができる。
入力画像上の付加情報が,付加情報領域の内部に画像上の位置を表す位置情報信号が配置されたものである場合に,領域判定部(111)は,付加情報領域に埋め込まれた位置情報信号を検出し,検出された位置情報から推定領域として付加情報領域全体の大きさを検出し,検出された位置情報から検出領域として推定領域内の付加情報を検出した位置を検出し,推定領域と検出領域から付加情報領域に不足があるかを判定することにより,付加情報領域が入力画像内に不足なく存在するかを判定するようにしてもよい(請求項7)。付加情報領域に不足のある入力画像においても,付加情報領域の全体の範囲を算定することができる。このようにして,不足部分の範囲を使用者に通知することができ,利便性が向上する。
入力画像上の付加情報が,複数の独立して読み取りできる分割付加情報の集合である場合に,領域判定部(111)は,付加情報領域に埋め込まれた位置情報信号を検出し,検出された位置情報から推定領域として付加情報領域全体の大きさを検出し,検出された位置情報から検出領域として推定領域内の付加情報を検出した位置を検出し,推定領域と検出領域から付加情報領域に不足があるかを判定することにより,付加情報領域が入力画像内に不足なく存在するかを判定するようにしてもよい(請求項8)。復号できた分割小領域内の情報を読み取ることができる。そのため,重要な情報などを冗長して埋め込んでおけば,復号できた分割小領域からその情報を読み取ることができるので,情報検出の信頼性が向上する。
以上のような本発明の情報検出装置は,例えば携帯電話などの携帯端末機やデジタルカメラなどとして実現することも可能である。すなわち,入力部は,入力画像を撮像する撮像手段(カメラ機能や赤外線通信機能など)であり,出力部は,情報を画面上に表示する表示手段(液晶モニタなど)であり,入力部,検出部,領域判定部,および出力部を,携帯可能な筐体に一体に備えるようにしてもよい(請求項9)。
本発明の第2の観点によれば,画像上に付加情報を埋め込む情報埋め込み装置が提供される。本発明の第1の情報埋め込み装置は,画像上の付加情報として,付加情報領域の境界付近に境界用の信号を配置する画像形成部(105)を備えたことを特徴とする(請求項10)。
本発明の第2の情報埋め込み装置は, 画像上の付加情報として,付加情報領域の内部に画像上の位置を表す位置情報信号を配置する画像形成部(105)を備えたことを特徴とする(請求項11)。
本発明の第3の情報埋め込み装置は, 画像上の付加情報を,複数の独立して読み取りできる分割付加情報の集合として埋め込む画像形成部(105)を備えたことを特徴とする(請求項12)。
本発明の第3の観点によれば,画像上に付加情報を埋め込む情報埋め込み装置(11)と,入力画像上の付加情報を検出する情報検出装置(12)とを含む画像処理システム(10)が提供される。本発明の第1の画像処理システムでは,情報埋め込み装置(11)は,画像上の付加情報として,付加情報領域の境界付近に境界用の信号を配置し,情報検出装置(12)は,境界用の付加情報信号から付加情報領域の境界を検出し,検出された境界が閉路を形成しているかを判定することにより,付加情報領域が入力画像内に不足なく存在するかを判定することを特徴とする(請求項13)。
本発明の第2の画像処理システムでは,情報埋め込み装置は,画像上の付加情報として,付加情報領域の内部に画像上の位置を表す位置情報信号を配置し,情報検出装置(12)は,付加情報領域に埋め込まれた位置情報信号を検出し,検出された位置情報から推定領域として付加情報領域全体の大きさを検出し,検出された位置情報から検出領域として推定領域内の付加情報を検出した位置を検出し,推定領域と検出領域から付加情報領域に不足があるかを判定することにより,付加情報領域が入力画像内に不足なく存在するかを判定することを特徴とする(請求項14)。
本発明の第3の画像処理システムでは,情報埋め込み装置(11)は,画像上の付加情報を,複数の独立して読み取りできる分割付加情報の集合として埋め込み,情報検出装置(12)は,付加情報領域に埋め込まれた位置情報信号を検出し,検出された位置情報から推定領域として付加情報領域全体の大きさを検出し,検出された位置情報から検出領域として推定領域内の付加情報を検出した位置を検出し,推定領域と検出領域から付加情報領域に不足があるかを判定することにより,付加情報領域が入力画像内に不足なく存在するかを判定することを特徴とする(請求項15)。
上記本発明の画像処理システムの応用例として,情報検出装置は,例えば携帯電話などの携帯端末機やデジタルカメラなどとして実現することも可能である。すなわち,情報検出装置は,画像を撮像する撮像手段(カメラ機能や赤外線通信機能など)と,付加情報領域が入力画像内に不足なく存在するかを判定した判定結果を画面上に表示する表示手段(液晶モニタなど)とを備え,撮像手段および表示手段を,携帯可能な筐体に一体に備えた携帯端末機として実現することも可能である(請求項16)。
本発明の第4の観点によれば,入力画像上の付加情報を検出する情報検出方法が提供される。本発明の情報検出装置は,入力画像が入力される入力工程(109)と,入力画像上の付加情報を検出する検出工程(110)と,検出された付加情報から,付加情報領域が入力画像内に不足なく存在するかを判定する領域判定工程(111)と,付加情報領域が不足していると判定された場合に,不足領域の位置方向を検出する方向検出工程と,不足領域の位置方向を出力する出力工程(112)と,を含むことを特徴とする(請求項17)。
かかる方法によれば,情報読み取り時の入力画像について,付加情報領域の欠落の有無を判定し,欠落領域の画像上の方向および欠落領域の大きさを利用者に通知することができる。このようにして,付加情報検出失敗時の原因の切分けを容易にする。加えて,欠落領域の情報を通知することで再検出時に適切な画像を入力するための補助となる情報を提供できる。
本発明の情報検出方法において,以下のような応用が可能である。
入力画像上の付加情報は,(透かし信号情報のように)入力画像の全面に(繰り返し)埋め込まれた情報であってもよい(請求項18)。あるいは,入力画像上の付加情報は,(バーコードのように)入力画像の一部の領域に埋め込まれた情報であってもよい(請求項19)。このように,本発明は様々な形式の付加情報に対応可能である。
領域判定工程(111)において,入力画像の境界付近の付加情報を集計し,付加情報領域が入力画像の境界に十分近いかを判断することにより,付加情報領域が入力画像内に不足なく存在するかを判定するようにしてもよい(請求項20)。例えば,境界線から内側へ一定ピクセル分を探索し,その領域における付加情報の検出量に応じて,付加情報領域が入力画像内に不足なく存在するかを判定するようにしてもよい。
領域判定工程(111)において,入力画像の境界に対して,法線方向に付加情報を収集することにより,付加情報領域が入力画像内に不足なく存在するかを判定するようにしてもよい(請求項21)。付加情報検出で得られた信号位置情報の補正処理(例えば,逆回転補正処理)を行うことなく,入力画像の境界付近に付加情報が存在しているかを判定できる。
入力画像上の付加情報が,付加情報領域の境界付近に境界用の信号が配置されたものである場合に,領域判定工程(111)において,境界用の付加情報信号から付加情報領域の境界を検出し,検出された境界が閉路を形成しているかを判定することにより,付加情報領域が入力画像内に不足なく存在するかを判定するようにしてもよい(請求項22)。より適切に不足領域の方向を判定することができる。
入力画像上の付加情報が,付加情報領域の内部に画像上の位置を表す位置情報信号が配置されたものである場合に,領域判定工程(111)において,付加情報領域に埋め込まれた位置情報信号を検出し,検出された位置情報から推定領域として付加情報領域全体の大きさを検出し,検出された位置情報から検出領域として推定領域内の付加情報を検出した位置を検出し,推定領域と検出領域から付加情報領域に不足があるかを判定することにより,付加情報領域が入力画像内に不足なく存在するかを判定するようにしてもよい(請求項23)。付加情報領域に不足のある入力画像においても,付加情報領域の全体の範囲を算定することができる。このようにして,不足部分の範囲を使用者に通知することができ,利便性が向上する。
入力画像上の付加情報が,複数の独立して読み取りできる分割付加情報の集合である場合に,領域判定工程(111)において,付加情報領域に埋め込まれた位置情報信号を検出し,検出された位置情報から推定領域として付加情報領域全体の大きさを検出し,検出された位置情報から検出領域として推定領域内の付加情報を検出した位置を検出し,推定領域と検出領域から付加情報領域に不足があるかを判定することにより,付加情報領域が入力画像内に不足なく存在するかを判定するようにしてもよい(請求項24)。復号できた分割小領域内の情報を読み取ることができる。そのため,重要な情報などを冗長して埋め込んでおけば,復号できた分割小領域からその情報を読み取ることができるので,情報検出の信頼性が向上する。
本発明の第5の観点によれば,画像上に付加情報を埋め込む情報埋め込み方法が提供される。本発明の第1の情報埋め込み方法は,画像上の付加情報として,付加情報領域の境界付近に境界用の信号を配置する画像形成工程(105)を含むことを特徴とする(請求項25)。
本発明の第2の情報埋め込み方法は,画像上の付加情報として,付加情報領域の内部に画像上の位置を表す位置情報信号を配置する画像形成工程(105)を含むことを特徴とする(請求項26)。
本発明の第3の情報埋め込み方法は,画像上の付加情報を,複数の独立して読み取りできる分割付加情報の集合として埋め込む画像形成工程(105)を含むことを特徴とする(請求項27)。
また,本発明の他の観点によれば,コンピュータ(携帯電話などの携帯端末機やデジタルカメラなどを含む)を,上記情報検出装置または情報埋め込み装置として機能させるためのプログラムと,そのプログラムを記録した,コンピュータにより読み取り可能な記録媒体が提供される。ここで,プログラムはいかなるプログラム言語により記述されていてもよい。また,記録媒体としては,例えば,CD−ROM,DVD−ROM,フレキシブルディスクなど,プログラムを記録可能な記録媒体として現在一般に用いられている記録媒体,あるいは将来用いられるいかなる記録媒体をも採用することができる。
なお上記において,構成要素に付随して括弧書きで記した参照符号は,理解を容易にするため,後述の実施形態および図面における対応する構成要素またはステップを一例として記したに過ぎず,本発明がこれに限定されるものではない。
以上説明したように,本発明によれば,透かし検出失敗時の原因の切分けを容易にし,再検出時に適切な画像を入力するための補助となる情報を提供することが可能である。
以下に添付図面を参照しながら,本発明にかかる情報検出装置,情報埋め込み装置,画像処理システム,情報検出方法,および情報埋め込み方法の好適な実施形態について詳細に説明する。なお,本明細書および図面において,実質的に同一の機能構成を有する構成要素については,同一の符号を付することにより重複説明を省略する。
(第1の実施形態)
図1は,第1の実施形態の構成を示す図である。
本実施形態にかかる画像処理システム20は,図1に示したように,情報埋め込み装置11と,情報検出装置13を含んで構成されている。そして,情報埋め込み装置11から出力された印刷媒体108を,情報検出装置13に入力する構成となっている。以下に,情報埋め込み装置11および情報検出装置13の詳細について説明する。
(情報埋め込み装置11)
情報埋め込み装置11は,図1に示したように,埋め込み情報102および文書データ103を処理する装置であり,文書画像形成部104と,透かし画像形成部105と,透かし入り文書画像合成部106と,出力デバイス107を備えて構成されている。以下に各構成要素について詳細に説明する。
埋め込み情報102は媒体に透かし信号として埋め込む情報(文字列や画像,音声データなど)である。文書データ103は文書作成ツール等により作成された,透かしを埋め込むデータである。
文書画像形成部104では媒体に印刷された状態の画像が作成される。具体的には,文書画像中の白画素領域は何も印刷されない部分であり,黒画素領域は黒塗料で印刷される部分である。
透かし画像形成部105では,埋め込み情報102をディジタル化して数値に変換したものをN元符号化(Nは2以上)し,符号語の各シンボルをあらかじめ用意した信号に割り当てる。信号は任意の大きさの矩形領域中にドットを配列することにより任意の方向と波長を持つ波を表現し,波の方向や波長に対して信号パターンを割り当てたものである。透かし画像は,これらの信号がある規則に従って画像上に配置されたものである。
透かし入り文書画像合成部106では文書画像と透かし画像を重ねあわせて透かし入りの文書画像を作成する。
出力デバイス107はプリンタなどの出力装置で,透かし入り文書画像を媒体に印刷する。したがって,文書画像形成部,透かし画像形成部,透かし入り文書画像合成部はプリンタドライバの一機能として実現されていてもよい。
透かし入り文書出力部11は以上のように構成されている。出力デバイス107が出力する印刷媒体108は,元の文書に対して埋め込み情報102を埋め込んで印刷されたものであり,物理的に保管・管理される。
(情報検出装置13)
情報検出装置13は,図1に示したように,入力デバイス109と,透かし検出部110と,透かし領域判定部111と,結果通知部112を備えて構成されている。以下に各構成要素について詳細に説明する。
入力デバイス109はスキャナなどの入力装置で,印刷媒体を多値階調の画像として計算機に取り込む。
透かし検出部110は入力画像に対してフィルタ処理を行い,埋め込まれた信号を検出する。検出された信号からシンボルを復元し,埋め込まれた埋め込み情報102を取り出す。
本実施形態は以上のように構成されている。
次いで,情報埋め込み装置11及び情報検出装置13の動作について説明する。まず,図1〜図11を参照しながら,情報埋め込み装置11の動作について説明する。
(文書画像形成部104)
文書データ103はフォント情報やレイアウト情報を含むデータであり,ワープロソフト等で作成されるものとする。文書画像形成部104は,この文書データ103をもとに,文書が紙に印刷された状態の画像をページごとに作成する。この文書画像は白黒の二値画像であり,画像上で白い画素(値が1の画素)は背景であり,黒い画素(値が0の画素)は文字領域(インクが塗布される領域)であるものとする。
(透かし画像形成部105)
埋め込み情報102は文字,音声,画像などの各種データであり,透かし画像形成部105ではこの情報から文書画像の背景として重ね合わせる透かし画像を作成する。
図2は,透かし画像形成部105の処理の流れを示す流れ図である。
まず,埋め込み情報102をN元符号に変換する(ステップS101)。Nは任意であるが,本実施形態では説明を容易にするためN=2とする。従って,ステップS101で生成される符号は2元符号であり,0と1のビット列で表現されるものとする。このステップS101ではデータをそのまま符号化してもよいし,データを暗号化したものを符号化してもよい。
次いで,符号語の各シンボルに対して透かし信号を割り当てる(ステップS102)。透かし信号とはドット(黒画素)の配列によって任意の波長と方向を持つ波を表現したものである。透かし信号については,さらに後述する。
さらに,符号化されたデータのビット列に対応する信号ユニットを透かし画像上に配置する(ステップS103)。
上記ステップS102において,符号語の各シンボルに対して割り当てる透かし信号について説明する。図3は透かし信号の一例を示す説明図である。
透かし信号の幅と高さをそれぞれSw,Shとする。SwとShは異なっていてもよいが,本実施形態では説明を容易にするためSw=Shとする。長さの単位は画素数であり,図3の例ではSw=Sh=12である。これらの信号が紙面に印刷されたときの大きさは,透かし画像の解像度に依存しており,例えば透かし画像が600dpi(dot per inch:解像度の単位であり,1インチ当たりのドット数)の画像であるとしたならば,図3の透かし信号の幅と高さは,印刷文書上で12/600=0.02(インチ)となる。
以下,幅と高さがSw,Shの矩形を1つの信号の単位として「信号ユニット」と称する。図3(1)は,ドット間の距離が水平軸に対してarctan(3)(arctanはtanの逆関数)の方向に密であり,波の伝搬方向はarctan(−1/3)である。以下,この信号ユニットをユニットAと称する。図3(2)はドット間の距離が水平軸に対してarctan(−3)の方向に密であり,波の伝搬方向はarctan(1/3)である。以下,この信号ユニットをユニットBと称する。
図4は,図3(1)の画素値の変化をarctan(1/3)の方向から見た断面図である。図4において,ドットが配列されている部分が波の最小値の腹(振幅が最大となる点)となり,ドットが配列されていない部分は波の最大値の腹となっている。
また,ドットが密に配列されている領域はそれぞれ1ユニットの中に2つ存在するため,この例では1ユニットあたりの周波数は2となる。波の伝播方向はドットが密に配列されている方向に垂直となるため,ユニットAの波は水平方向に対してarctan(−1/3),ユニットBの波はarctan(1/3)となる。なお,arctan(a)の方向とacrtan(b)の方向が垂直のとき,a×b=−1である。
本実施形態では,ユニットAで表現される透かし信号にシンボル0を割り当て,ユニットBで表現される透かし信号にシンボル1を割り当てる。また,これらをシンボルユニットと称する。
透かし信号には図3(1),(2)で示されるもの以外にも,例えば図5(3)〜(5)で示されるようなドット配列が考えられる。図5(3)は,ドット間の距離が水平軸に対してarctan(1/3)の方向に密であり,波の伝搬方向はarctan(−3)である。以下,この信号ユニットをユニットCと称する。図5(4)は,ドット間の距離が水平軸に対してarctan(−1/3)の方向に密であり,波の伝搬方向はarctan(3)である。以下,この信号ユニットをユニットDと称する。図5(5)は,ドット間の距離が水平軸に対してarctan(1)の方向に密であり,波の伝搬方向はarctan(−1)である。なお,図5(5)は,ドット間の距離が水平軸に対してarctan(−1)の方向に密であり,波の伝搬方向はarctan(1)であると考えることもできる。以下,この信号ユニットをユニットEと称する。
このようにして,先に割り当てた組み合わせ以外にも,シンボル0とシンボル1を割り当てるユニットの組み合わせのパターンが複数考えられるため,どの透かし信号がどのシンボルに割り当てられているかを秘密にして第三者(不正者)が埋め込まれた信号を簡単に解読できないようにすることもできる。
さらに,図2に示したステップS102で,埋め込み情報102を4元符号で符号化した場合には,例えば,ユニットAに符号語のシンボル0を,ユニットBにシンボル1を,ユニットCにシンボル2を,ユニットDにシンボル3を割り当てることも可能である
図3,図5に示した透かし信号の一例においては,1ユニット中のドットの数をすべて等しくしているため,これらのユニットを隙間なく並べることにより,透かし画像の見かけの濃淡が均一となる。したがって印刷された紙面上では,単一の濃度を持つグレー画像が背景として埋め込まれているように見える。
このような効果を出すために,例えば,ユニットEを背景ユニット(シンボルが割り当てられていない信号ユニット)と定義し,これを隙間なく並べて透かし画像の背景とし,シンボルユニット(ユニットA,ユニットB)を透かし画像に埋め込む場合は,埋め込もうとする位置の背景ユニット(ユニットE)とシンボルユニット(ユニットA,ユニットB)とを入れ替える。
図6(1)はユニットEを背景ユニットと定義し,これを隙間なく並べて透かし画像の背景とした場合を示す説明図である。図6(2)は図6(1)の背景画像の中にユニットAを埋め込んだ一例を示し,図6(3)は図6(1)の背景画像の中にユニットBを埋め込んだ一例を示している。本実施形態では,背景ユニットを透かし画像の背景とする方法について説明するが,シンボルユニットのみを配置することによって透かし画像を生成してもよい。
次いで,符号語の1シンボルを透かし画像に埋め込む方法について,図7を参照しながら説明する。
図7は,透かし画像へのシンボル埋め込み方法の一例を示す説明図である。ここでは,例として「0101」というビット列を埋め込む場合について説明する。
図7(1),(2)に示すように,同じシンボルユニットを繰り返し埋め込む。これは文書中の文字が埋め込んだシンボルユニットの上に重なった場合,信号検出時に検出されなくなることを防ぐためであり,シンボルユニットの繰り返し数と配置のパターン(以下,ユニットパターンと称する。)は任意である。
すなわち,ユニットパターンの一例として,図7(1)のように繰り返し数を4(1つのユニットパターン中に4つのシンボルユニットが存在する)にしたり,図7(2)のように繰り返し数を2(1つのユニットパターン中に2つのシンボルユニットが存在する)にしたりすることができ,あるいは,繰り返し数を1(1つのユニットパターン中には1つのシンボルユニットだけが存在する)としてもよい。
また,図7(1),(2)は1つのシンボルユニットに対して1つのシンボルが与えられているが,図7(3)のようにシンボルユニットの配置パターンに対してシンボルを与えてもよい。
1ページ分の透かし画像の中に何ビットの情報量を埋め込むことができるかは,信号ユニットの大きさ,ユニットパターンの大きさ,文書画像の大きさに依存する。文書画像の水平方向と垂直方向にいくつの信号を埋め込んだかは,既知として信号検出を行ってもよいし,入力装置から入力された画像の大きさと信号ユニットの大きさから逆算してもよい。
1ページ分の透かし画像の水平方向にPw個,垂直方向にPh個のユニットパターンが埋め込めるとすると,画像中の任意の位置のユニットパターンをU(x,y),x=1〜Pw,y=1〜Phと表現し,U(x,y)を「ユニットパターン行列」と称することにする。また,1ページに埋め込むことができるビット数を「埋め込みビット数」と称する。埋め込みビット数はPw×Phである。
図8は,埋め込み情報102を透かし画像に埋め込む方法について示した流れ図である。
ここでは1枚(1ページ分)の透かし画像に,同じ情報を繰り返し埋め込む場合について説明する。同じ情報を繰り返し埋め込むことにより,透かし画像と文書画像を重ね合わせたときに1つのユニットパターン全体が塗りつぶされるなどして埋め込み情報が消失するような場合でも,埋め込んだ情報を取り出すことを可能とするためである。
まず,埋め込み情報102をN元符号に変換する(ステップS201)。図2のステップS101と同様である。以下では,符号化されたデータをデータ符号と称し,ユニットパターンの組み合わせによりデータ符号を表現したものをデータ符号ユニットDuと称する。
次いで,データ符号の符号長(ここではビット数)と埋め込みビット数から,1枚の画像にデータ符号ユニットを何度繰り返し埋め込むことができるかを計算する(ステップS202)。本実施形態ではデータ符号の符号長データをユニットパターン行列の第1行に挿入するものとする。データ符号の符号長を固定長として符号長データは透かし画像には埋め込まないようにしてもよい。
データ符号ユニットを埋め込む回数Dnは,データ符号長をCnとして以下の式で計算される。
Figure 2005295458
ここで剰余をRn(Rn=Cn−(Pw×(Ph−1)))とすると,ユニットパターン行列にはDn回のデータ符号ユニットおよびデータ符号の先頭Rnビット分に相当するユニットパターンを埋め込むことになる。ただし,剰余部分のRnビットは必ずしも埋め込まなくてもよい。
図9の説明では,ユニットパターン行列のサイズを9×11(11行9列),データ符号長を12(図中で0〜11の番号がついたものがデータ符号の各符号語を表わす)とする。
次いで,ユニットパターン行列の第1行目に符号長データを埋め込む(ステップS203)。図9の例では符号長を9ビットのデータで表現して1度だけ埋め込んでいる例を説明しているが,ユニットパターン行列の幅Pwが十分大きい場合,データ符号と同様に符号長データを繰り返し埋め込むこともできる。
さらに,ユニットパターン行列の第2行以降に,データ符号ユニットを繰り返し埋め込む(ステップS204)。図9で示すようにデータ符号のMSB(most significant bit)またはLSB(least significant bit)から順に行方向に埋め込む。図9の例ではデータ符号ユニットを7回,およびデータ符号の先頭6ビットを埋め込んでいる例を示している。
データの埋め込み方法は図9のように行方向に連続になるように埋め込んでもよいし,列方向に連続になるように埋め込んでもよい。
以上,透かし画像形成部105における,透かし画像について説明した。次いで,情報埋め込み装置11の透かし入り文書画像合成部106について説明する。
(透かし入り文書画像合成部106)
透かし入り文書画像合成部106では,文書画像形成部104で作成した文書画像と,透かし画像形成部で作成した透かし画像を重ね合わせる。透かし入り文書画像の各画素の値は,文書画像と透かし画像の対応する画素値の論理積演算(AND)によって計算する。すなわち,文書画像と透かし画像のどちらかが0(黒)であれば,透かし入り文書画像の画素値は0(黒),それ以外は1(白)となる。
図10は,透かし入り文書画像の一例を示す説明図である。図11は,図10の一部を拡大して示した説明図である。ここで,ユニットパターンは図7(1)のパターンを用いている。透かし入り文書画像は,出力デバイス107により印刷媒体108として出力される。
以上,情報埋め込み装置11の動作について説明した。
次いで,図1,及び,図12〜図20を参照しながら,情報検出装置13の動作について説明する。
(透かし検出部110)
図12は,透かし検出部110の処理の流れを示す流れ図である。
まず,スキャナなどの入力デバイス109によって印刷媒体108を入力し,透かし入り文書画像を計算機のメモリ等に入力する(ステップS301)。この画像を入力画像と称する。入力画像は多値画像であり,以下では256階調のグレイ画像として説明する。また入力画像の解像度(入力デバイス109で読み込むときの解像度)は,上記情報埋め込み装置11で作成した透かし入り文書画像と異なっていてもよいが,ここでは上記情報埋め込み装置11で作成した画像と同じ解像度であるとして説明する。また,入力画像は回転や伸縮などの補正が行われているものとする。
次いで,入力画像の大きさと信号ユニットの大きさから,ユニットパターンがいくつ埋め込まれているかを計算する(ステップS302)。例えば入力画像の大きさがW(幅)×H(高さ)であるとして,信号ユニットの大きさをSw×Sh,ユニットパターンはUw×Uh個のユニットから構成されるとすると,入力画像中に埋め込まれているユニットパターンの数(N=Pw×Ph)は以下のように計算される。
Figure 2005295458
ただし,情報埋め込み装置11と情報検出装置13で解像度が異なる場合には,それらの解像度の比によって入力画像中の信号ユニットの大きさを正規化した後,上記の計算を行う。
次いで,ステップS302で計算したユニットパターン数をもとに入力画像に対してユニットパターンの区切り位置を設定する(ステップS303)。図13は入力画像(図13(1))と,ユニットパターンの区切り位置を設定した後の入力画像(図13(2))の一例を示している。
次いで,ユニットパターンの区切りごとにシンボルユニットの検出を行い,ユニットパターン行列を復元する(ステップS304)。以下に,信号検出の詳細を説明する。
図14は,入力画像中における,図3(1)に示したユニットAに対応する領域の一例を示した説明図である。図3では信号ユニットは二値画像であるが,ここでは多値画像である。二値画像を印刷した場合,インクのにじみなどが原因で濃淡が連続的に変化するため,図14のようにドットの周囲が白と黒の中間色になる。したがって図14を波の伝播方向と平行な方向から見た断面図は図15のようになる。図4が矩形波であるのに対し,図15は滑らかな波となる。
また,実際には紙の厚さの局所的な変化や,印刷文書の汚れ,出力デバイスや画像入力デバイスの不安定性などの要因により,入力画像中には多くの雑音成分が付加されることになるが,ここでは雑音成分のない場合について説明する。しかしながら,ここで説明する方法を用いれば,雑音成分が付加された画像に対しても安定した信号検出を行うことができる。
以下では入力画像から信号ユニットを検出するために,波の周波数と方向,および影響範囲を同時に定義できる二次元ウェーブレットフィルタを用いる。以下では,二次元ウェーブレットフィルタの一つであるガボールフィルタを用いる例を示すが,ガボールフィルタと同様な性質を持つフィルタであれば,必ずしもガボールフィルタである必要はなく,さらには信号ユニットと同じドットパターンを持つテンプレートを定義してパターンマッチングを行うなどの方法でもよい。
以下にガボールフィルタG(x,y),x=0〜gw−1,y=0〜gh−1を示す。gw,ghはフィルタのサイズであり,ここでは上記情報埋め込み装置11で埋め込んだ信号ユニットと同じ大きさである。
Figure 2005295458
信号検出には透かし画像に埋め込んだシンボルユニットと周波数,波の方向,および大きさが等しいガボールフィルタを,埋め込んだ信号ユニットの種類と同じ数だけ用意する。ここでは図3のユニットAとユニットBに対応するガボールフィルタをフィルタA,フィルタBと称する。
入力画像中の任意の位置でのフィルタ出力値はフィルタと画像間のコンボリューションにより計算する。ガボールフィルタの場合は実数フィルタと虚数フィルタ(虚数フィルタは実数フィルタと半波長分位相がずれたフィルタ)が存在するため,それらの2乗平均値をフィルタ出力値とする。例えば,フィルタAの実数フィルタと画像間のコンボリューションがRc,虚数フィルタとのコンボリューションがIcであったとすると,出力値F(A)は以下の式で計算する。
Figure 2005295458
図16は,ステップS303によって区切られたユニットパターンU(x,y)中に埋め込まれているシンボルユニットがユニットAであるかユニットBであるかを判定する方法について説明する説明図である。
ユニットパターンU(x,y)に対するシンボル判定ステップを以下のように行う。
(1)フィルタAの位置を移動しながら,ユニットパターンU(x,y)中のすべての位置についてF(A)を計算した結果の最大値をユニットパターンU(x,y)に対するフィルタAの出力値とし,これをFu(A,x,y)とする。
(2)ユニットパターンU(x,y)に対するフィルタBの出力値を(1)と同様に計算し,これをFu(B,x,y)とする。
(3)Fu(A,x,y)とFu(B,x,y)を比較し,Fu(A,x,y)≧Fu(B,x,y)であればユニットパターンU(x,y)に埋め込まれているシンボルユニットはユニットAであると判定し,Fu(A,x,y)<Fu(B,x,y)であればユニットパターンU(x,y)に埋め込まれているシンボルユニットはユニットBであると判定する。
(1),(2)において,フィルタを移動するステップ幅は任意であり,ユニットパターン上の代表的な位置での出力値のみを計算してもよい。また,(3)でFu(A,x,y)とFu(B,x,y)の差の絶対値があらかじめ定めておいた閾値以下であった場合には判定不能としてもよい。
また(1)において,フィルタをずらしながらコンボリューションを計算する過程で,F(A)の最大値があらかじめ定めた閾値を超えた場合に,ただちにU(x,y)に埋め込まれているシンボルユニットはユニットAであると判定して処理を中止してもよい。(2)においても同様に,F(B)の最大値があらかじめ定めた閾値を超えた場合に,ただちにU(x,y)に埋め込まれているシンボルユニットはユニットBであると判定してもよい。
以上,信号検出(ステップS304)の詳細について説明した。再び,図12の流れ図に戻り,以降のステップS305について説明する。ステップS305では,ユニットパターン行列のシンボルを連結してデータ符号を再構成し,元の情報を復元する。
図17は情報復元の一例を示す説明図である。情報復元のステップは以下の通りである。
(1)各ユニットパターンに埋め込まれているシンボルを検出する(図17(1))。
(2)シンボルを連結してデータ符号を復元する(図17(2))。
(3)データ符号を復号して埋め込まれた情報を取り出す(図17(3))。
図18〜図20はデータ符号の復元方法の一例を示す説明図である。復元方法は基本的に図8の逆の処理となる。
まず,ユニットパターン行列の第1行から符号長データ部分を取り出して,埋め込まれたデータ符号の符号長を得る(ステップS401)。
次いで,ユニットパターン行列のサイズとS401で得たデータ符号の符号長をもとに,データ符号ユニットを埋め込んだ回数Dnおよび剰余Rnを計算する(ステップS402)。
次いで,ユニットパターン行列の2行目以降からステップS203と逆の方法でデータ符号ユニットを取り出す(ステップS403)。図19の例ではU(1,2)(2行1列)から順に12個のパターンユニットごとに分解する(U(1,2)〜U(3,3),U(4,3)〜U(6,4),・・・)。Dn=7,Rn=6であるため,12個のパターンユニット(データ符号ユニット)は7回取り出され,剰余として6個(データ符号ユニットの上位6個に相当する)のユニットパターン(U(4,11)〜U(9,11))が取り出される。
次いで,ステップS403で取り出したデータ符号ユニットに対してビット確信度演算を行うことにより,埋め込んだデータ符号を再構成する(ステップS404)。以下,ビット確信度演算について説明する。
図20のようにユニットパターン行列の2行1列目から最初に取り出されたデ−外符号ユニットをDu(1,1)〜Du(12,1)とし,順次Du(1,2)〜Du(12,2),・・・,と表記する。また,剰余部分はDu(1,8)〜Du(6,8)とする。ビット確信度演算は各データ符号ユニットの要素ごとに多数決を取るなどして,データ符号の各シンボルの値を決定することである。これにより,文字領域との重なりや紙面の汚れなどが原因で,任意のデータ符号ユニット中の任意のユニットから正しく信号検出を行えなかった場合(ビット反転エラーなど)でも,最終的に正しくデータ符号を復元することができる。
具体的には例えばデータ符号の1ビット目は,Du(1,1),Du(1,2),・・・,Du(1,8)の信号検出結果が1である方が多い場合には1と判定し,0である方が多い場合には0と判定する。同様にデータ符号の2ビット目はDu(2,1),Du(2,2),・・・,Du(2,8)の信号検出結果による多数決によって判定し,データ符号の12ビット目はDu(12,1),Du(12,2),・・・,Du(12,7)(Du(12,8)は存在しないためDu(12,7)までとなる)の信号検出結果による多数決によって判定する。
ビット確信度演算は,図16の信号検出フィルタの出力値を加算することによっても行うこともできる。これは,例えば図3(1)のユニットAに0のシンボルが割り当てられ,図3(2)のユニットBに1のシンボルが割り当てられているものとし,Du(m,n)に対するフィルタAによる出力値の最大値をDf(A,m,n),Du(m,n)に対するフィルタBによる出力値の最大値をDf(B,m,n)とすると,データ符号のMビット目は,
Figure 2005295458
の場合は1と判定し,それ以外の場合は0と判定する。ただし,N<Rnの場合はDfの加算はn=1〜Rn+1までとなる。
ここではデータ符号を繰り返し埋め込む場合について説明したが,データを符号化する際に誤り訂正符号などを用いることにより,データ符号ユニットの繰り返しを行わないような方法も実現できる。
以上詳細に説明したように,本実施形態によれば,以下のような優れた効果がある。
(1−1)ドットの配列の違いにより埋め込み情報を表現するため,元の文書のフォント,文字間や行間のピッチに対する変更を伴わない。
(1−2)シンボルを割り当てているドットパターンと,シンボルを割り当てていないドットパターンの濃度(一定区間内のドットの数)が等しいため,人の目には文書の背景に一様な濃度の網掛けがされているように見え,情報の存在が目立たない。
(1−3)シンボルを割り当てているドットパターンと割り当てていないドットパターンを秘密にしておくことで,埋め込まれている情報の解読が困難となる。
(1−4)情報を表わすパターンは細かいドットの集まりで,文書の背景として一面に埋め込まれているため,埋め込みアルゴリズムが公開されたとしても,印刷された文書に対する埋め込み情報の改ざんが困難となる。
(1−5)波(濃淡変化)の方向の違いにより埋め込み信号を検出するため(1画素単位の詳細な検出を行わないので),印刷文書に多少の汚れなどがあった場合でも,安定した情報検出を行うことができる。
(1−6)同じ情報を繰り返し埋め込み,検出時には繰り返し埋め込まれた情報のすべてを利用して情報復元を行うため,大きなフォントの文字によって信号部分が隠されたり,用紙が汚れていたりすることによる部分的な情報の欠落が発生しても,安定して埋め込んだ情報を取り出すことができる。
(第2の実施形態)
図21は,第2の実施形態の構成を示す図である。
本実施形態にかかる画像処理システム10の構成は,図21に示したように,第1の実施形態(図1)の情報検出装置13を情報検出装置12に置き換えたものである。本実施形態の情報検出装置12は,第1の実施形態の情報検出装置13の構成要素に加え,透かし領域判定部111と結果通知部112を備えたことを特徴とする。他の構成要素については,第1の実施形態と実質的に同様であるため,重複説明を省略する。
透かし領域判定部111は,検出された信号を集計し,透かし信号領域が入力画像境界に透かし領域が接しているかを判定する機能部である。詳細には,透かし検出部110により検出された入力画像上の付加情報たる埋め込み情報102から,付加情報領域が入力画像内に不足なく存在するかを判定する。そして,付加情報領域が不足していると判定した場合に,不足領域の位置や方向を検出する。透かし領域判定部111の機能のうち,不足領域の位置や方向の検出については,本実施形態以降の実施形態で説明する。
判定結果通知部112は,透かし領域が入力画像内に不足していると判定された場合において,判定結果をもとに,不足している領域の方向を使用者に通知(出力)する機能部である。
本実施形態は以上のように構成されている。
次いで,本実施形態の動作について説明する。以下では,第1の実施形態への追加機能についてのみ説明する。
図22は,第2の実施形態における透かし領域判定部111の動作を示すフローチャートである。
<逆回転補正処理(ステップS21)>
入力画像の境界線方向を得るために,透かし信号検出で得られた信号位置情報を回転補正で得られた補正角を正負逆に適用し,入力画像と同角度に戻す。
<境界近傍探索処理(ステップS22)>
図23(a)に示したように,入力画像21の境界線付近に透かし信号22が検出されているかを探索する。探索の範囲(境界近傍探索範囲)23は,例えば境界線から内側へ一定ピクセル分などとする。
<透かし領域判定処理(ステップS23)>
境界近傍探索処理(ステップS22)で得られた境界線付近の信号数により,入力画像境界に透かし領域が接しているかを判定する。判定方法は,図23(b)に示したように,例えば境界近傍領域内で境界と法線方向信号数を集計し,閾値pN以上の信号が一辺内に閾値q以上存在するならば接していると判定する,などとする。
(第2の実施形態の効果)
以上のように,第2の実施形態によれば,入力画像の境界付近を探索することによって,透かし領域が入力画像から外れているかを判別でき,その結果をユーザに通知することにより,透かし検出の精度を向上させることができる。
(第3の実施形態)
本実施形態の構成は,上記第2の実施形態(図21)と実質的に同様のため,重複説明を省略する。
図24は,第3の実施形態における透かし領域判定部111の動作を示すフローチャートである。第2の実施形態において,透かし領域判定部111に境界線方向の導出と境界線方向の透かし信号探索処理を用いたものである。
<境界線方向導出処理(ステップS31)>
透かし画像の回転補正処理における回転補正角θを用いて,入力画像の補正前の境界線方向を得る。境界線方向は,例えば入力画像が矩形である場合にはθ,θ+πである。
<透かし信号探索処理(ステップS32)>
得られた境界線方向を利用して境界線方向に沿った透かし信号の境界を求める。図25(a)に示したように,回転補正済み入力画像31の各境界線に対して,法線方向に透かし信号の集計値を計測する。
<透かし領域判定処理(ステップS33)>
透かし信号探索処理(ステップS32)で得られた集計値により,入力画像領域の境界付近でかつ急激に減少している位置を不足領域境界とし,入力画像範囲32の境界に透かし信号領域33が接しているかを判定する。判定方法は,図23(b)に示したように,例えば集計値を2回微分した値の絶対値が一定の閾値以上となる位置(グラフの傾きの変化が一定の閾値以上となる点)を境界とする,などとする。
(第3の実施形態の効果)
以上説明したように,第3の実施形態によれば,透かし検出で得られた信号位置情報の逆回転補正処理を行うことなく,入力画像の境界付近に透かし信号が存在しているかを判定できる。
(第4の実施形態)
本実施形態の構成は,上記第2の実施形態(図21)と実質的に同様のため,重複説明を省略する。ただし,透かし画像形成部105において,透かし領域の境界を表す透かし境界信号を埋め込む。透かし境界信号は,専用の信号パターンであってもよいし,透かし信号の特定のパターンを用いてもよい。
図26は,第4の実施形態における透かし領域判定部111の動作を示すフローチャートである。第2の実施形態において,透かし領域判定部111に境界信号の検出と境界線信号の閉路探索処理を用いたものである。
<境界信号検出処理(ステップS41)>
図27(a)に示したように,回転補正済み入力画像41のうち,入力画像範囲42の境界部分に埋め込まれた透かし境界信号43を検出する。透かし境界信号43は,透かし信号領域44の境界部分に埋め込まれている。境界線信号の検出は,透かし検出部110と同様の方法で行うことができる。
<境界信号閉路探索処理(ステップS42)>
境界信号検出処理(ステップS41)で検出された透かし境界信号43について,隣接する信号によって閉路が形成されているかを探索する。例えば図27(b)に示したように,隣接する境界信号を順次連結し,ラベリングを行う。連結先の信号がすでにラベリング済みであれば,透かし境界信号43が閉路を形成していると判断する。一方,境界信号の端点45が途切れていれば,透かし境界信号43が閉路を形成していないと判断する。
<透かし領域判定処理(ステップS43)>
境界信号閉路探索処理(ステップS42)で得られた境界信号の閉路情報において,閉路が形成されている場合はその透かし領域は入力画像内に不足なく存在していると判定する。閉路が形成されていない場合は,境界信号の端点方向に透かし領域が不足していると判定する。
(第4の実施形態の効果)
以上説明したように,第4の実施形態によれば,第2の実施形態の効果に加えて,適切に不足領域の方向を判定することができる。
(第5の実施形態)
本実施形態の構成は,上記第2の実施形態(図21)と実質的に同様のため,重複説明を省略する。ただし,透かし画像形成部105において,透かし領域の特定の位置に位置情報信号を配置する。
位置情報信号は埋め込み透かし全体とは独立して情報読み取りできる信号であり,透かし領域内における自己の位置を情報として埋め込む。位置情報信号51は,例えば図28に示したように構成される。位置情報を持つ信号(位置情報信号本体)52の境界位置に,情報埋め込みに用いる透かし信号領域54とは異なる周波数特徴を有する位置情報用境界信号53で囲んで配置する。位置情報信号51を配置する位置は,例えば格子点上に配置してもよいし,領域の不足は主に領域の端付近で発生すると考えられるため,透かし領域の端に密になるよう配置してもよい。
図29は,第5の実施形態における透かし領域判定部111の動作を示すフローチャートである。第2の実施形態において,透かし領域判定部111に位置情報信号の復号処理と集計処理を用いたものである。
<位置情報信号復号処理(ステップS51)>
入力画像55から位置情報信号51を検出,復号を行い,検出可能な位置情報を読み取る。図30(a)に示したように,入力画像55と,透かし入り媒体56上の透かし領域57との重なった領域にある位置情報信号51を検出する。
<位置情報集計処理(ステップS52)>
位置情報信号復号処理(ステップS51)で得られた位置情報を集計する。図30(b)に示したように,検出された位置情報信号51に含まれる透かしの全領域の大きさを抽出し,仮想的に推定透かし領域59を作成する。推定透かし領域59内に各位置情報の位置を配置し,位置情報の位置を内包する検出透かし領域58を作成する。
<透かし領域判定処理(ステップS53)>
位置情報集計処理(ステップS52)で作成した推定透かし領域59と,検出透かし領域58との比較を行い,位置情報51が検出されなかった領域を求め,入力画像における透かしの不足領域として判定する。
(第5の実施形態の効果)
第5の実施形態によれば,透かし領域に不足のある入力画像においても,透かし領域の全体の範囲を算定することができる。このようにして,不足部分の範囲を使用者に通知することができ,利便性が向上する。
(第6の実施形態)
本実施形態の構成は,上記第2の実施形態(図21)と実質的に同様のため,重複説明を省略する。ただし,透かし画像形成部105において,透かし領域を各々が独立して情報読み取りできる分割小領域の集合として構成する。分割小領域は,例えば格子状に分割された領域とする。分割小領域内には,透かし領域全体の範囲の情報および当該小領域の透かし領域内の位置情報が埋め込まれる。また,署名情報など重要な情報は複数の小領域内に冗長して埋め込まれる。
図31は,第6の実施形態における透かし領域判定部111の動作を示すフローチャートである。第2の実施形態において,透かし判定部に分割小領域透かしの復号処理と集計処理を用いたものである。
<透かし小領域復号処理(ステップS61)>
入力画像内の分割小領域について情報の復号を行う。復号の手段は上記第1の実施形態と実質的に同様であるが,対象領域は透かし領域の一部分である。図32(a)に示したように,入力画像61と,透かし入り媒体62上の透かし領域63との重なった領域にある位置情報信号64を検出する。
<位置情報集計処理(ステップS62)>
透かし小領域復号処理(ステップS61)で得られた分割小領域の透かし情報を集計する。図32(b)に示したように,検出された位置情報信号64から,透かしの全領域(推定全透かし領域)66とその内部の分割小領域(透かし小領域)65を作成する。
<透かし領域判定処理(ステップS63)>
位置情報集計処理(ステップS62)で透かし領域内の位置情報64が検出できなかった領域を求め,入力画像における透かしの不足領域として判定する。
(第6の実施形態の効果)
第6の実施形態によれば,第5の実施形態の効果に加えて,復号できた分割小領域内の情報を読み取ることができる。そのため,重要な情報などを冗長して埋め込んでおけば,復号できた分割小領域からその情報を読み取ることができるので,情報検出の信頼性が向上する。
以上,添付図面を参照しながら本発明にかかる情報検出装置,情報埋め込み装置,画像処理システム,情報検出方法,および情報埋め込み方法の好適な実施形態について説明したが,本発明はかかる例に限定されない。当業者であれば,特許請求の範囲に記載された技術的思想の範疇内において各種の変更例または修正例に想到し得ることは明らかであり,それらについても当然に本発明の技術的範囲に属するものと了解される。
例えば,上記実施形態で説明した情報検出装置12,13は,例えば携帯電話などの携帯端末機やデジタルカメラなどとして実現することも可能である。この場合,入力デバイス109は,デジタルカメラの撮像機能や,携帯端末機のカメラ機能(カメラ付き携帯電話など)あるいは赤外線通信機能などで実現することができる。また,結果通知部112は,デジタルカメラや携帯端末機の液晶モニタとして実現することができる。
本発明は,印刷媒体上の電子透かしを用いた,情報の埋め込み/読み取り処理に利用可能であり,特に,情報検出装置,情報埋め込み装置,画像処理システム,情報検出方法,および情報埋め込み方法として利用可能である。
第1の実施形態にかかる情報埋め込み装置及び情報検出装置の構成を示す説明図である。 情報埋め込み方法の処理の流れを示す流れ図である。 信号ユニットの一例を示す説明図であり,(1)はユニットAを,(2)はユニットBを示している。 図3(1)の画素値の変化をarctan(1/3)の方向から見た断面図である。 信号ユニットの一例を示す説明図であり,(3)はユニットCを,(4)はユニットDを,(5)はユニットEを示している。 背景画像の説明図であり,(1)はユニットEを背景ユニットと定義し,これを隙間なく並べた透かし画像の背景とした場合を示し,(2)は(1)の背景画像の中にユニットAを埋め込んだ一例を示し,(3)は(1)の背景画像の中にユニットBを埋め込んだ一例を示している。 透かし画像へのシンボル埋め込み方法の一例を示す説明図である。 埋め込み情報102を透かし画像に埋め込む方法について示した流れ図である。 透かし検出部110の処理の流れを示す流れ図である。 透かし入り文書画像の一例を示す説明図である。 図10の一部を拡大して示した説明図である。 透かし検出部110の処理の流れを示す流れ図である。 (1)入力画像と,(2)ユニットパターンの区切り位置を設定した後の入力画像の一例を示す説明図である。 入力画像中におけるユニットAに対応する領域の一例を示した説明図である。 図14を波の伝播方向と平行な方向から見た断面図である。 ユニットパターンU(x,y)中に埋め込まれているシンボルユニットがユニットAであるかユニットBであるかを判定する方法について説明する説明図である。 情報復元の一例を示す説明図である。 データ符号の復元方法の一例を示す説明図である。 データ符号の復元方法の一例を示す説明図である。 データ符号の復元方法の一例を示す説明図である。 情報埋め込み装置と情報検出装置の構成を示す説明図である。 第2の実施形態における透かし領域判定部111の動作を示すフローチャートである。 第2の実施形態における透かし領域の判定方法を示す説明図である。 第3の実施形態における透かし領域判定部111の動作を示すフローチャートである。 第3の実施形態における透かし領域の判定方法を示す説明図である。 第4の実施形態における透かし領域判定部111の動作を示すフローチャートである。 第4の実施形態における透かし領域の判定方法を示す説明図である。 第5の実施形態における位置情報信号の説明図である。 第5の実施形態における透かし領域判定部111の動作を示すフローチャートである。 第5の実施形態における透かし領域の判定方法を示す説明図である。 第6の実施形態における透かし領域判定部111の動作を示すフローチャートである。 第6の実施形態における透かし領域の判定方法を示す説明図である。
符号の説明
10 画像処理システム
11 情報埋め込み装置
12 情報検出装置
13 情報検出装置
102 埋め込み情報
103 文書データ
104 文書画像形成部
105 透かし画像形成部
106 透かし入り文書画像合成部
107 出力デバイス
108 印刷媒体
109 入力デバイス
110 透かし検出部
111 透かし領域判定部
112 結果通知部

Claims (27)

  1. 入力画像上の付加情報を検出する情報検出装置であって,
    前記入力画像が入力される入力部と,
    前記入力画像上の付加情報を検出する検出部と,
    前記検出された付加情報から,付加情報領域が前記入力画像内に不足なく存在するかを判定し,前記付加情報領域が不足していると判定した場合に,不足領域の位置方向を検出する領域判定部と,
    前記不足領域の位置方向を出力する出力部と,
    を備えたことを特徴とする,情報検出装置。
  2. 前記入力画像上の付加情報は,前記入力画像の全面に埋め込まれた情報であることを特徴とする,請求項1に記載の情報検出装置。
  3. 前記入力画像上の付加情報は,前記入力画像の一部の領域に埋め込まれた情報であることを特徴とする,請求項1に記載の情報検出装置。
  4. 前記領域判定部は,
    前記入力画像の境界付近の前記付加情報を集計し,前記付加情報領域が前記入力画像の境界に十分近いかを判断することにより,前記付加情報領域が前記入力画像内に不足なく存在するかを判定することを特徴とする,請求項1〜3のいずれかに記載の情報検出装置。
  5. 前記領域判定部は,
    前記入力画像の境界に対して,法線方向に前記付加情報を収集することにより,前記付加情報領域が前記入力画像内に不足なく存在するかを判定することを特徴とする,請求項1〜3のいずれかに記載の情報検出装置。
  6. 前記入力画像上の付加情報が,前記付加情報領域の境界付近に境界用の信号が配置されたものである場合に,
    前記領域判定部は,
    前記境界用の付加情報信号から前記付加情報領域の境界を検出し,前記検出された境界が閉路を形成しているかを判定することにより,前記付加情報領域が前記入力画像内に不足なく存在するかを判定することを特徴とする,請求項1〜3のいずれかに記載の情報検出装置。
  7. 前記入力画像上の付加情報が,前記付加情報領域の内部に画像上の位置を表す位置情報信号が配置されたものである場合に,
    前記領域判定部は,
    付加情報領域に埋め込まれた位置情報信号を検出し,
    前記検出された位置情報から推定領域として前記付加情報領域全体の大きさを検出し,
    前記検出された位置情報から検出領域として前記推定領域内の付加情報を検出した位置を検出し,
    前記推定領域と前記検出領域から付加情報領域に不足があるかを判定することにより,前記付加情報領域が前記入力画像内に不足なく存在するかを判定することを特徴とする,請求項1〜3のいずれかに記載の情報検出装置。
  8. 前記入力画像上の付加情報が,複数の独立して読み取りできる分割付加情報の集合である場合に,
    前記領域判定部は,
    付加情報領域に埋め込まれた位置情報信号を検出し,
    前記検出された位置情報から推定領域として付加情報領域全体の大きさを検出し,
    前記検出された位置情報から検出領域として前記推定領域内の付加情報を検出した位置を検出し,
    前記推定領域と前記検出領域から付加情報領域に不足があるかを判定することにより,前記付加情報領域が前記入力画像内に不足なく存在するかを判定することを特徴とする,請求項1〜3のいずれかに記載の情報検出装置。
  9. 前記入力部は,前記入力画像を撮像する撮像手段であり,
    前記出力部は,情報を画面上に表示する表示手段であり,
    前記入力部,前記検出部,前記領域判定部,および前記出力部を,携帯可能な筐体に一体に備えたことを特徴とする,請求項1〜8のいずれかに記載の情報検出装置。
  10. 画像上に付加情報を埋め込む情報埋め込み装置であって,
    前記画像上の付加情報として,付加情報領域の境界付近に境界用の信号を配置する画像形成部を備えたことを特徴とする,情報埋め込み装置。
  11. 画像上に付加情報を埋め込む情報埋め込み装置であって,
    前記画像上の付加情報として,付加情報領域の内部に画像上の位置を表す位置情報信号を配置する画像形成部を備えたことを特徴とする,情報埋め込み装置。
  12. 画像上に付加情報を埋め込む情報埋め込み装置であって,
    前記画像上の付加情報を,複数の独立して読み取りできる分割付加情報の集合として埋め込む画像形成部を備えたことを特徴とする,情報埋め込み装置。
  13. 画像上に付加情報を埋め込む情報埋め込み装置と,入力画像上の付加情報を検出する情報検出装置とを含む画像処理システムであって,
    前記情報埋め込み装置は,前記画像上の付加情報として,付加情報領域の境界付近に境界用の信号を配置し,
    前記情報検出装置は,
    前記境界用の付加情報信号から前記付加情報領域の境界を検出し,前記検出された境界が閉路を形成しているかを判定することにより,前記付加情報領域が前記入力画像内に不足なく存在するかを判定することを特徴とする,画像処理システム。
  14. 画像上に付加情報を埋め込む情報埋め込み装置と,入力画像上の付加情報を検出する情報検出装置とを含む画像処理システムであって,
    前記情報埋め込み装置は,前記画像上の付加情報として,付加情報領域の内部に画像上の位置を表す位置情報信号を配置し,
    前記情報検出装置は,
    付加情報領域に埋め込まれた位置情報信号を検出し,
    前記検出された位置情報から推定領域として付加情報領域全体の大きさを検出し,
    前記検出された位置情報から検出領域として前記推定領域内の付加情報を検出した位置を検出し,
    前記推定領域と前記検出領域から付加情報領域に不足があるかを判定することにより,前記付加情報領域が前記入力画像内に不足なく存在するかを判定することを特徴とする,画像処理システム。
  15. 画像上に付加情報を埋め込む情報埋め込み装置と,入力画像上の付加情報を検出する情報検出装置とを含む画像処理システムであって,
    前記情報埋め込み装置は,前記画像上の付加情報を,複数の独立して読み取りできる分割付加情報の集合として埋め込み,
    前記情報検出装置は,
    付加情報領域に埋め込まれた位置情報信号を検出し,
    前記検出された位置情報から推定領域として付加情報領域全体の大きさを検出し,
    前記検出された位置情報から検出領域として前記推定領域内の付加情報を検出した位置を検出し,
    前記推定領域と前記検出領域から付加情報領域に不足があるかを判定することにより,前記付加情報領域が前記入力画像内に不足なく存在するかを判定することを特徴とする,画像処理システム。
  16. 前記情報検出装置は,
    前記画像を撮像する撮像手段と,
    前記付加情報領域が前記入力画像内に不足なく存在するかを判定した判定結果を画面上に表示する表示手段とを備え,
    前記撮像手段および前記表示手段を,携帯可能な筐体に一体に備えた携帯端末機であることを特徴とする,請求項13〜15のいずれかに記載の画像処理システム。
  17. 入力画像上の付加情報を検出する情報検出方法であって,
    前記入力画像が入力される入力工程と,
    前記入力画像上の付加情報を検出する検出工程と,
    前記検出された付加情報から,付加情報領域が前記入力画像内に不足なく存在するかを判定する領域判定工程と,
    前記付加情報領域が不足していると判定された場合に,不足領域の位置方向を検出する方向検出工程と,
    前記不足領域の位置方向を出力する出力工程と,
    を含むことを特徴とする,情報検出方法。
  18. 前記入力画像上の付加情報は,前記入力画像の全面に埋め込まれた情報であることを特徴とする,請求項16に記載の情報検出方法。
  19. 前記入力画像上の付加情報は,前記入力画像の一部の領域に埋め込まれた情報であることを特徴とする,請求項16に記載の情報検出方法。
  20. 前記領域判定工程において,
    前記入力画像の境界付近の前記付加情報を集計し,前記付加情報領域が前記入力画像の境界に十分近いかを判断することにより,前記付加情報領域が前記入力画像内に不足なく存在するかを判定することを特徴とする,請求項17〜19のいずれかに記載の情報検出方法。
  21. 前記領域判定工程において,
    前記入力画像の境界に対して,法線方向に前記付加情報を収集することにより,前記付加情報領域が前記入力画像内に不足なく存在するかを判定することを特徴とする,請求項17〜19のいずれかに記載の情報検出装置。
  22. 前記入力画像上の付加情報が,前記付加情報領域の境界付近に境界用の信号が配置されたものである場合に,
    前記領域判定工程において,
    前記境界用の付加情報信号から前記付加情報領域の境界を検出し,前記検出された境界が閉路を形成しているかを判定することにより,前記付加情報領域が前記入力画像内に不足なく存在するかを判定することを特徴とする,請求項17〜19のいずれかに記載の情報検出方法。
  23. 前記入力画像上の付加情報が,前記付加情報領域の内部に画像上の位置を表す位置情報信号が配置されたものである場合に,
    前記領域判定工程において,
    付加情報領域に埋め込まれた位置情報信号を検出し,
    前記検出された位置情報から推定領域として付加情報領域全体の大きさを検出し,
    前記検出された位置情報から検出領域として前記推定領域内の付加情報を検出した位置を検出し,
    前記推定領域と前記検出領域から付加情報領域に不足があるかを判定することにより,前記付加情報領域が前記入力画像内に不足なく存在するかを判定することを特徴とする,請求項17〜19のいずれかに記載の情報検出方法。
  24. 前記入力画像上の付加情報が,複数の独立して読み取りできる分割付加情報の集合である場合に,
    前記領域判定工程において,
    付加情報領域に埋め込まれた位置情報信号を検出し,
    前記検出された位置情報から推定領域として付加情報領域全体の大きさを検出し,
    前記検出された位置情報から検出領域として前記推定領域内の付加情報を検出した位置を検出し,
    前記推定領域と前記検出領域から付加情報領域に不足があるかを判定することにより,前記付加情報領域が前記入力画像内に不足なく存在するかを判定することを特徴とする,請求項17〜19のいずれかに記載の情報検出方法。
  25. 画像上に付加情報を埋め込む情報埋め込み方法であって,
    前記画像上の付加情報として,付加情報領域の境界付近に境界用の信号を配置する画像形成工程を含むことを特徴とする,情報埋め込み方法。
  26. 画像上に付加情報を埋め込む情報埋め込み方法であって,
    前記画像上の付加情報として,付加情報領域の内部に画像上の位置を表す位置情報信号を配置する画像形成工程を含むことを特徴とする,情報埋め込み方法。
  27. 画像上に付加情報を埋め込む情報埋め込み方法であって,
    前記画像上の付加情報を,複数の独立して読み取りできる分割付加情報の集合として埋め込む画像形成工程を含むことを特徴とする,情報埋め込み方法。
JP2004111413A 2004-04-05 2004-04-05 情報検出装置,画像処理システム,および情報検出方法 Expired - Fee Related JP4232676B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004111413A JP4232676B2 (ja) 2004-04-05 2004-04-05 情報検出装置,画像処理システム,および情報検出方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004111413A JP4232676B2 (ja) 2004-04-05 2004-04-05 情報検出装置,画像処理システム,および情報検出方法

Publications (2)

Publication Number Publication Date
JP2005295458A true JP2005295458A (ja) 2005-10-20
JP4232676B2 JP4232676B2 (ja) 2009-03-04

Family

ID=35327857

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004111413A Expired - Fee Related JP4232676B2 (ja) 2004-04-05 2004-04-05 情報検出装置,画像処理システム,および情報検出方法

Country Status (1)

Country Link
JP (1) JP4232676B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007134937A (ja) * 2005-11-10 2007-05-31 Hitachi Ltd 領域分割による透かしデータ埋め込み方法、装置、プログラム及びシステム
US7616837B2 (en) 2005-11-24 2009-11-10 Canon Kabushiki Kaisha Image processing apparatus, image processing method, program, and storage medium
KR100938539B1 (ko) 2007-06-15 2010-01-25 캐논 가부시끼가이샤 정보 처리 장치 및 그 방법
JP2017073653A (ja) * 2015-10-06 2017-04-13 キヤノン株式会社 画像処理装置、画像処理装置の制御方法及びプログラム
JP2019009747A (ja) * 2017-06-28 2019-01-17 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
US10412265B2 (en) 2015-10-06 2019-09-10 Canon Kabushiki Kaisha Information processing apparatus that displays a prompt to move the apparatus and information processing method

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007134937A (ja) * 2005-11-10 2007-05-31 Hitachi Ltd 領域分割による透かしデータ埋め込み方法、装置、プログラム及びシステム
JP4512197B2 (ja) * 2005-11-10 2010-07-28 株式会社日立製作所 領域分割による透かしデータ埋め込み方法、装置、プログラム及びシステム
US7616837B2 (en) 2005-11-24 2009-11-10 Canon Kabushiki Kaisha Image processing apparatus, image processing method, program, and storage medium
KR100938539B1 (ko) 2007-06-15 2010-01-25 캐논 가부시끼가이샤 정보 처리 장치 및 그 방법
JP2017073653A (ja) * 2015-10-06 2017-04-13 キヤノン株式会社 画像処理装置、画像処理装置の制御方法及びプログラム
US10412265B2 (en) 2015-10-06 2019-09-10 Canon Kabushiki Kaisha Information processing apparatus that displays a prompt to move the apparatus and information processing method
JP2019009747A (ja) * 2017-06-28 2019-01-17 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JP7182858B2 (ja) 2017-06-28 2022-12-05 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム

Also Published As

Publication number Publication date
JP4232676B2 (ja) 2009-03-04

Similar Documents

Publication Publication Date Title
JP4277800B2 (ja) 透かし情報検出方法
JP3628312B2 (ja) 透かし情報埋め込み装置,及び,透かし情報検出装置
JP4035717B2 (ja) 画像処理装置及び画像処理方法
JP3964684B2 (ja) 電子透かし埋め込み装置,電子透かし検出装置,電子透かし埋め込み方法,及び,電子透かし検出方法
JP4289350B2 (ja) 画像処理装置及び画像処理方法
JP4819723B2 (ja) 情報抽出装置、情報抽出方法、情報抽出プログラム及び記録媒体
WO2005094058A1 (ja) 印刷媒体の品質調整システム,検査用透かし媒体出力装置,透かし品質検査装置,調整済透かし媒体出力装置,印刷媒体の品質調整方法,および検査用透かし媒体
JP4207049B2 (ja) 同定機能付き印刷物、画像生成装置、画像処理装置及びその方法
JP2008109531A (ja) 情報生成装置、情報生成プログラム、情報生成方法、情報読取システム、電子ペン及び記録媒体
KR20070052332A (ko) 화상 처리 방법 및 화상 처리 장치
JP2005150815A (ja) 透かし情報埋め込み装置,透かし情報検出装置,透かし情報埋め込み方法,透かし情報検出方法,および印刷物
JP4232676B2 (ja) 情報検出装置,画像処理システム,および情報検出方法
JP2004147253A (ja) 画像処理装置及び画像処理方法
JP4192887B2 (ja) 改ざん検出装置,透かし入り画像出力装置,透かし入り画像入力装置,透かし入り画像出力方法,および透かし入り画像入力方法
JP4232689B2 (ja) 情報埋め込み方法および情報抽出方法
JP4096902B2 (ja) 透かし情報検出装置及び透かし情報検出方法
JP2008085579A (ja) 情報埋め込み装置、情報読み取り装置、情報埋め込み方法、情報読み取り方法、およびコンピュータプログラム
JP4382747B2 (ja) 電子透かし検出方法及び装置及びプログラム
JP4881141B2 (ja) 画像処理装置および画像処理装置の制御方法
JP4672513B2 (ja) 情報処理システム,地紋重畳装置,回答抽出装置,地紋重畳方法,回答抽出方法
JP4341620B2 (ja) 記入用文書作成装置及び作成方法、記入内容抽出装置及び抽出方法
JP4192906B2 (ja) 透かし情報検出装置及び透かし情報検出方法
JP2006094108A (ja) 画像処理方法および画像処理装置、並びに付加情報解析方法および付加情報解析システム
WO2006059681A1 (ja) 改ざん検出装置,透かし入り画像出力装置,透かし入り画像入力装置,透かし入り画像出力方法,および透かし入り画像入力方法
JP5009414B2 (ja) 地紋重畳装置、および地紋重畳方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070112

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080815

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080826

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081022

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081118

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081201

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111219

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111219

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111219

Year of fee payment: 3

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111219

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111219

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111219

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121219

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131219

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees