JP2008301283A - 画像処理装置およびその制御方法 - Google Patents

画像処理装置およびその制御方法 Download PDF

Info

Publication number
JP2008301283A
JP2008301283A JP2007146100A JP2007146100A JP2008301283A JP 2008301283 A JP2008301283 A JP 2008301283A JP 2007146100 A JP2007146100 A JP 2007146100A JP 2007146100 A JP2007146100 A JP 2007146100A JP 2008301283 A JP2008301283 A JP 2008301283A
Authority
JP
Japan
Prior art keywords
image data
reduced image
reduced
image
histogram
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
JP2007146100A
Other languages
English (en)
Other versions
JP2008301283A5 (ja
Inventor
Takami Eguchi
貴巳 江口
Masanori Yokoi
優智 横井
Koji Harada
耕二 原田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2007146100A priority Critical patent/JP2008301283A/ja
Priority to US12/128,221 priority patent/US8064636B2/en
Publication of JP2008301283A publication Critical patent/JP2008301283A/ja
Publication of JP2008301283A5 publication Critical patent/JP2008301283A5/ja
Ceased legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

【課題】文書画像中の文字列の行間隔から、埋め込まれた透かし情報をより高精度に抽出する。
【解決手段】入力した文書画像から第1の方向に対して縮小画像データを生成する画像縮小手段と、生成された縮小画像データを前記第1の方向と予め定められた関係にある第2の方向に走査して、有意画素で構成される領域の各々の高さのヒストグラムを生成し、該ヒストグラムに基づいて前記縮小画像データにおいて有効な領域として見なす領域の高さの範囲を決定し、少なくとも前記範囲外の高さを有する有意画素で構成される領域はノイズ成分と見なし、当該領域を非有意画素として設定し、ノイズ成分が非有意画素として設定された後の縮小画像を前記第2の方向に走査し、当該第2の方向に連続する非有意画素の領域の長さを行間隔として検出し、該検出手段で検出した文字列の行間隔に基づき、前記文書画像に埋め込まれた透かし情報を抽出する抽出手段とを備える。
【選択図】図10

Description

本発明は、文書画像中の文字列の行間隔に基づき当該文書画像に埋め込まれた透かし情報を抽出する画像処理技術に関するものである。
文書画像に著作権や複写制御等の情報を持たせるため、非特許文献1の198ページ〜199ページの記載に示されるように、行間隔を利用して情報を埋め込む方法(以下、行間透かしと呼ぶ。)が知られている。図2は、行間透かしの概念を示す図である。行間透かしを用いた文書画像から埋め込まれた情報を抽出する場合には、まず当該文書画像内の文字列間の行間隔を求めることになる。行間隔を求めるため、一般的には文書画像に対して全走査を行いヒストグラムを求め、当該ヒストグラムから行間隔を導出する。そして、導出された行間隔と埋め込み時に使用した規則とに従って情報を抽出する。規則とは、例えば、図2において、2値情報の「0」を埋め込みたい場合は行間隔U,Dに対しU>Dとなるよう設定することである。一方、2値情報の「1」を埋め込みたい場合は行間隔U,Dに対しU<Dとなるよう設定する。
松井甲子雄著 「電子透かしの基礎」 森北出版株式会社 1998年
しかしながら、上述の行間透かしを用いた文書画像から埋め込まれた情報を抽出する方法においては以下の問題点がある。すなわち、行間隔を測定するために、文書画像に対して全走査を行い、ヒストグラムを求める必要があり、情報抽出処理に時間がかかる。特に埋め込む情報が複製制御情報の場合、複写機内で複写制御情報を抽出し、抽出した情報から複写可能か否かの判断を行い、その後、複写処理を行うため、一枚の文書を複写する一連の処理にかなりの時間を有することになる。
また、文書画像に手書き等による追記(図17)がある場合や、折り目やコピーなどによりスキャナでの読み取りの際に黒画素のノイズが加わった場合に行間隔を測定することが困難であった。
上述の問題点の少なくとも1つを解決するため、本発明の画像処理装置は以下の構成を備える。すなわち、文書画像を入力し、当該文書画像中の文字列の行間隔から、埋め込まれた透かし情報を抽出する画像処理装置であって、文書画像を画像データとして入力する入力手段と、入力した文書画像から第1の方向に対して縮小された縮小画像データを生成する画像縮小手段と、該画像縮小手段で生成された縮小画像データを前記第1の方向と予め定められた関係にある第2の方向に走査して、有意画素で構成される領域の各々の高さのヒストグラムを生成し、該ヒストグラムに基づいて前記縮小画像データにおいて有効な領域として見なす領域の高さの範囲を決定する範囲決定手段と、前記縮小画像データにおいて少なくとも前記範囲外の高さを有する有意画素で構成される領域はノイズ成分と見なし、当該領域を非有意画素として設定する設定手段と、該設定手段でノイズ成分が非有意画素として設定された後の縮小画像を前記第2の方向に走査し、当該第2の方向に連続する非有意画素の領域の長さを行間隔として検出する検出手段と、該検出手段で検出した文字列の行間隔に基づき、前記文書画像に埋め込まれた透かし情報を抽出する抽出手段とを備える。
上述の問題点の少なくとも1つを解決するため、本発明の画像処理装置の制御方法は以下の構成を備える。すなわち、文書画像を入力し、当該文書画像中の文字列の行間隔から、埋め込まれた透かし情報を抽出する画像処理装置の制御方法であって、文書画像を画像データとして入力する入力工程と、入力した文書画像から第1の方向に対して縮小された縮小画像データを生成する画像縮小工程と、該画像縮小工程で生成された縮小画像データを前記第1の方向と予め定められた関係にある第2の方向に走査して、有意画素で構成される領域の各々の高さのヒストグラムを生成し、該ヒストグラムに基づいて前記縮小画像データにおいて有効な領域として見なす領域の高さの範囲を決定する範囲決定工程と、前記縮小画像データにおいて少なくとも前記範囲外の高さを有する有意画素で構成される領域はノイズ成分と見なし、当該領域を非有意画素として設定する設定工程と、該設定工程でノイズ成分が非有意画素として設定された後の縮小画像を前記第2の方向に走査し、当該第2の方向に連続する非有意画素の領域の長さを行間隔として検出する検出工程と、該検出工程で検出した文字列の行間隔に基づき、前記文書画像に埋め込まれた透かし情報を抽出する抽出工程とを備える。
本発明によれば、文書画像中の文字列の行間隔に基づいて文書画像に埋め込まれた透かし情報をより効率的に抽出可能とする技術を提供することができる。
以下に、図面を参照して、この発明の好適な実施の形態を詳しく説明する。なお、以下の実施の形態はあくまで例示であり、本発明の範囲を限定する趣旨のものではない。
(第1実施形態)
本発明に係る画像処理装置の第1実施形態として、紙の文書原稿を画像読取装置(スキャナ)で読み込み、読み込んだ文書画像データに対し透かし情報の抽出を行う画像処理装置を例に挙げて以下に説明する。
<装置構成>
図1は、第1実施形態における画像処理装置11の主要な機能構成を示すブロック図である。図1に示すように、画像処理装置11は、画像入力部101、画像縮小部102、情報抽出部103、閾値決定部104、制御部110、操作部111から構成される。
画像入力部101は、上述の透かし情報の埋め込まれた文書画像に対応する画像データを入力する機能部である。具体的には、外部のスキャナにより読み取られ生成された紙の文書原稿に基づいた画像データをUSBなどの外部機器接続用インタフェースにより入力する。もちろん、イーサネット(登録商標)などのネットワークを介して画像データを入力するよう構成してもよい。
画像縮小部102は、画像入力部101により入力された画像データに対し、第1の方向(たとえば画像の水平方向)と、第1の方向と直交する第2の方向(たとえば画像の垂直方向)へそれぞれ縮小する機能部である。入力された画像データがビットマップ(ラスタ)形式である場合、一般的には、上述の第1および第2の方向は画像データを構成する画素の配列方向と一致する。なお、ここでは直交する2つの方向に縮小する構成であると説明したが、後述するように、1つの方向のみに縮小する構成としてもよい。
閾値決定部104は、画像データ上の有意画素が文字列に対応する領域のものであるか否かを決定するための閾値を決定する機能部である。つまり、有意画素と見なす範囲の決定を行う範囲決定手段(閾値導出手段)である。動作の詳細については後述する。
情報抽出部103は、画像縮小部102により生成された縮小画像データから、透かし情報に対応するバイナリ(2値)情報を抽出する機能部である。具体的には、画像縮小部102により生成された縮小画像データに対し、有意画素の有無を検出することにより実行される。そして、有意画素が検出された部分を文字列領域として判定し、有意画素が検出されない領域を行間部分として判定する。そして、行間部分として判定された複数の行間それぞれに対応する長さ(連続する画素数)に基づいて、各行間に対応する2値(0または1)を決定する。なお、行間部分の長さと2値との対応や情報量(ビット数)などの、透かし情報の埋め込みアルゴリズムについては、予め情報抽出部103に設定されているものとする。
制御部110は、上述の各機能部が連係して動作するよう制御するための機能部である。また、操作部111はユーザからの指示を受け付けるための機能部である。なお、上述の各機能部の動作の詳細については後述する。
<透かし情報の埋め込まれた画像データ>
第1実施形態では、透かし情報の埋め込みアルゴリズムは以下の通りであるとして説明する。もちろん、文字列の行間隔に基づいて透かし情報を埋め込むものであれば、他のアルゴリズムであっても適用可能である。
図2は、透かし情報が埋め込まれた文書原稿を例示的に示す図である。図2においては、白色の用紙に黒色で文字が記録されている。また、複数の行からなる文字列のそれぞれの間隔(行間隔)についてU,Dの2種類を用いて、2値情報を埋め込んでいる。具体的には、連続する2つの行間(UおよびD:nは自然数)に対して、以下のように行間を設定する。
「0」を埋め込む場合: U>D
「1」を埋め込む場合: U<D
そして、当該透かし情報入り文書原稿は、電荷結合素子(CCD)などの光学センサを有するスキャナにより読み取られ、画像データIが生成される。ここでは、生成された文書画像データIは、紙原稿の文字部分が黒、背景部分が白である2値画像であるとして説明する。なお、以降では文字部分に対応する”黒画素”のことを”有意画素”と呼ぶこともある。
図3は、透かし情報の埋め込まれた2値画像データを例示的に示す図である。なお、画像データの水平方向の画素数はW0、垂直方向の画素数はH0とする。ここで、図3(a)は、横書きの文字原稿が正しい方向で記録された画像データを示している。一方、図3(b)と図3(c)とは傾きのある文書画像である。上述のように紙の文書原稿をスキャナにより読み取る際には、基準方向とのずれやユーザによる紙原稿配置のミスなどにより、図3(b)と図3(c)のような画像データが入力されることがある。
<装置の動作>
以下、画像処理装置11が、画像データIから透かし情報を抽出する動作をフローチャートを参照して詳細に説明する。
図10は、第1実施形態に係る画像処理装置11の動作フローチャートである。なお、以下のフローはたとえばユーザによる操作部111を介した画像読取指示をトリガに実行される。
ステップS1001では、画像入力部101は、透かし情報入り文書画像に対応する画像データIをスキャナから受信し、画像データIを画像縮小部102に供給する。
ステップS1002では、画像縮小部102は、画像入力部101より供給された画像データIを水平方向と垂直方向へそれぞれ縮小し、水平方向の縮小画像データIsh、垂直方向の縮小画像データIsvを生成する。そして、縮小画像データIshおよび縮小画像データIsvを情報抽出部103に供給する。
図4は、画像データIを水平方向に縮小した縮小画像データIsh、および、垂直方向へ縮小した縮小画像データIsvの例を示す図である。なお、図4(a)は図3(a)の文書画像、図4(b)は図3(b)の文書画像、図4(c)は図3(c)の文書画像のそれぞれに基づいて生成した縮小画像データである。なお、縮小画像データIshの水平方向の画素数はW1(1<W1<W0)、垂直方向の画素数はH0とする。縮小画像データIsvの水平方向の画素数はW0、垂直方向の画素数はH1(1<H1<H0)とする。なお、縮小画像Ish、Isvを生成する際の縮小率は、入力された画像データに対し解像度情報検出を行い当該解像度情報に基づいて決定すると好適である。
なお、ここで、水平・垂直の2つの方向に対して縮小画像を生成するのは、図3(c)に示すように90度傾きのある画像データIが入力された場合に対応するためである。このような状況は、スキャナによる読み取りではしばしば発生する。そのため、あらかじめ画像データIの入力方向が保障されている場合は、文字列方向に対応する1方向のみに縮小を行うよう構成してもよい。
図4から、画像縮小部102による縮小により、文字列方向に縮小した縮小画像に対しては、複数の文字列が複数の有意画素の固まり(オブジェクト)として表現されることがわかる。以下、当該縮小画像の生成についてさらに詳しく説明する。
画像縮小部102が実行する縮小処理の具体的な計算手法としては、入力された画像データに対し単に一定周期での画素の間引きによる縮小が考えられる。しかし、文字列部分と行間部分とをより正確に識別するために、以下のようなバイリニア法を利用した計算を行うとよい。
バイリニア法では、画像データIの中の近接する4つの画素の画素値に基づいて、対応する縮小画像データの画素の画素値を算出する。この場合、4つの画素の少なくとも1つが黒である場合計算結果は中間調(グレー)となる(図5左)。具体的には、白を0黒を1として演算した結果が0より大きく1より小さい値となる。
行間部分には有意画素である黒画素は存在しないため、1つでも黒画素が存在する場合、当該近接する4つの画素の存在する部分は文字列領域であると推定できる。そのため、中間調として算出された部分を有意画素である黒へと変換させる(図5右)ことにより、文字列領域と行間領域とをより高精度に分割することができる。つまり、文字列領域には有意画素が存在しない場合がある(画数の少ない文字など)が、行間領域には有意画素は一般に存在することは無いことを利用しているのである。
なお、画像縮小部102による水平・垂直方向への縮小率は、オブジェクトが認識できる程度の大きさとなる縮小率であればよい。具体的な縮小率の値は予め指定した固定値としてもよいし、入力された画像データの付加データ(スキャナによる読取解像度情報など)に基づいて随時決定してもよい。また、ここでは縮小画像を生成するアルゴリズムの一例としてバイリニア法を適用したが、本発明はこれに限定されることはない。ニアレストレイバー、バイキュービックなど、種々の計算手法を利用して縮小可能である。
ステップS1003では、閾値決定部103は、画像縮小部102より供給された画像縮小データIshを用いて、閾値Th_minおよびTh_maxを求める。
図12は、第1実施形態に係る閾値決定の詳細フローチャートである。なお、以下の処理は閾値決定部104が実行する。
ステップS701では、画像縮小データIshを、縮小方向と直交する方向へ1走査を行う。そして、文字列に対応するオブジェクトを示す有意画素(ここでは黒画素)の連続画素数の度数分布を求め、その度数分布から最頻値mを求める。
図13は、連続画素数の度数分布を例示的に示す図である。図において、横軸は黒画素の連続数、縦軸は該当する画素数を持つオブジェクトの数である。なお、最頻値とはモードとも呼ばれ、度数分布において度数が最大になる横軸の値のことである。
そして、以下のステップで、最頻値mの周りの値で、オブジェクト数が、オブジェクト総数の所定の割合r%の中に収まるように、下限の閾値Th_minおよび上限の閾値Th_maxを決定する。このrは、あらかじめセットした値でもよいし、使用者の入力によって都度設定される値でもよい。ここでは、Th_maxとTh_minを度数分布の横軸において最頻値mをはさんでほぼ等距離にあるように決定する場合について説明する。
ステップS702では、初期値としてlow=m,high=mをセットする。ここで、lowとhighは、度数分布の横軸に対応した閾値の候補値である。
ステップS703では、黒画素数lowから黒画素数highの間に入る度数の和が、全体の度数のr%を超えるか否かを判定する。YesならステップS704へ、NoならステップS705へ進む。
ステップS704では、Th_minにlowの値を、Th_maxにhighの値をセットして処理を終了する。
ステップS705では、lowの値が1より大きくかつhighが画像の縦サイズより小さいか否か判定する。YesならステップS706へ、NoならステップS708へ進む。
ステップS706では、m−low ≦ high−m であるか否かを判定する。YesならステップS707へ、NoならステップS709へ進む。
ステップS707では、lowの値を1減少させセットする。その後、ステップS703に戻る。
ステップS708では、highの値が画像の縦サイズ相当の画素数より小さく、かつ、low=1であるか否かを判定する。YesならステップS709へ、NoならS710へ進む。
ステップS709では、highを1増加させセットする。その後、ステップS703に戻る。
ステップS710では、lowが1より大きく、かつ、highが画像の縦サイズに等しいか否かを判定する。YesならステップS707へ、NoならS704に進む。ただし、ステップS710からステップS704に処理が進むのは、low=1かつhigh=画像の縦サイズである場合であり、r=100のときのみ生じる。
以上の処理は、最頻値を中心に、閾値範囲の上端・下端を交互に広げ、ステップS703で全体のr%を超えると判定されるまで続くことになる。前述の図13の分布に対して、上述の閾値決定処理をr=65にセットし実行した場合、m=35が設定され、Th_min=29、Th_max=36が導出されることになる。
ところで、上述の閾値決定の計算においてはrの値に対する閾値の感受性が高い。たとえば、図13において、rをr=65からr=66に増加させた場合、導出されるTh_minは29から7へ大きく変化する。そのため、たとえば、いくつかのrに対して実行し、Th_minおよびTh_maxの組を求め、Th_minもしくはTh_maxが大きく変動するrの値を探索する。そして、大幅な変動が生じるrが存在する場合、その変動が生じる直前のrの値に対するTh_minもしくはTh_maxを確定した閾値としてもよい。この処理によって、さらに精度よく閾値を決定することが可能になる。
なお、上述のステップS701においては1走査により連続画素数の度数分布を導出するよう説明したが、閾値をより精度よく決定するために、複数回の走査結果から度数分布を求め最頻値を導出するよう構成してもよい。
ステップS1004では、情報抽出部103は、画像縮小部102より供給された縮小画像データの1つを用いて各文字列領域間の長さ(行間隔)を計測する。このとき、ステップS1003で導出した閾値Th_minおよびTh_maxの間の連続画素数(距離)を有するオブジェクトのみを用いる部分に特徴がある。つまり、閾値Th_minおよびTh_maxの間以外(閾値の範囲外)の有意画素部分をノイズ成分と見なすのである。ここでは、水平方向に縮小した縮小画像データIshに対して計測するものとする。具体的な計測方法は以下の通りである。
図6は、縮小画像データIshの拡大図である。まず、情報抽出部103は、縮小画像データIshに対し縮小方向(ここでは水平方向)と直交する方向(ここでは垂直方向)へ、走査を行うことにより有意画素の有無を検出する。そして、有意画素の有無が反転する位置を、文字列領域をと行間領域との境界として決定する。
たとえば、図6における矢印に沿って反転位置を検出した場合、x〜x10の各画素位置が検出されることになる。このとき、行間隔であるU、D、U、Dのそれぞれの長さは、U=x−x、D=x−x、U=x−x、D=x−xである(単位は画素(pix))。
ただし、検出した反転位置に基づき導出される連続する有意画素数が、Th_minより小さいか、Th_maxより大きい場合、当該反転位置については読み飛ばす。つまり、連続する有意画素数がTh_minより大きくかつTh_maxより小さくなるオブジェクトのみ有意なオブジェクトと見なすのである。
図18は、手書き文字(ノイズ)が混入した画像の縮小画像データ(Ish)に対し走査を実行する様子を例示的に示す図である。図18においては、手書き文字が行間隔D1の部分を横切っており、走査により有意画素として検出される。しかし、当該手書き部分に対する連続した有意画素数は閾値Th_minよりも小さい(短い)ため、有意なオブジェクトとは見なされず破棄される。
なお、前述のように、ステップS1002における縮小処理の結果、文字列領域が文字の並び方向に縮小されると同時に、中間調部分が有意画素に変換されている。そのため、文字列領域における有意画素(ここでは黒)の密度が結果的に高くなっている。その結果、情報抽出部103は、文字列領域と行間領域との境界をより高精度に検出可能であり、行間隔を高精度に計測可能である。
なお、上述の方法は、縮小画像データIshが図4(b)に示すよう多少傾いている場合においても有効である。図8は、図4(b)の縮小画像データIshに対する走査を例示的に示す図である。この場合、矢印に沿った行間隔の長さは、図6の場合とは異なる結果となる。具体的には、文字列の傾きθ(度)としたとき、長さが1/cosθ倍になる。ただし、各行間隔の相対的長さ関係は変化しない。
なお、上述のバイリニア法を利用した縮小画像データを利用する場合、一般的には1回の走査で十分である。しかし、より高精度に検出を行うときには、縮小した画像に対して、複数の走査を行い、複数回における平均値を行間隔としてもよい。また、縮小画像データを間引きにより生成した場合にも、複数回の走査は有効である。 図7は、縮小画像データIshに対し複数回の走査を実行する様子を例示的に示す図である。図7では、黒色オブジェクトで示される文字列部分が、より現実の縮小画像データに近いものとして示している。つまり、図6のような理想的な矩形オブジェクトではなく、非有意画素(白色画素)を含んだものとして示されている。そのため、走査位置によってオブジェクト間(行間隔)の計測値が微妙に異なることになる。
例えば、図中に示すように走査位置を3箇所(矢印(1)(2)(3))行った値がそれぞれ、
矢印(1): U=10[pix]、D=4[pix]、U=4[pix]、D=12[pix]
矢印(2): U= 8[pix]、D=5[pix]、U=6[pix]、D=10[pix]
矢印(3): U= 6[pix]、D=3[pix]、U=5[pix]、D= 8[pix]
であったとする。その場合、例えばそれぞれの長さの平均値である、
=8[pix]、D= 4[pix]、U=5[pix]、D=10[pix]
をオブジェクト間の距離(行間隔)と決定するとよい。
ステップS1005では、情報抽出部103は、ステップS1003で導出した行間隔に基づいて透かし情報を導出する。具体的には、情報抽出部103に予め設定された埋め込みアルゴリズムに対応させて透かし情報を算出する。例えば、図6では、U<D、U>Dであることから透かし情報は「10(2進)」として導出される。
ただし、ステップS1003で、図4(c)に示す縮小画像データIshに対して計測した場合、オブジェクト間の距離を計測することができない。そのため、ステップS1004で、透かし画像を抽出することができない。つまり、ステップS1001において、90度回転した状態で画像データIが入力されていたため、縮小画像データIshは一般的に黒色のべた画像となってしまっているからである。
ステップS1006では、制御部110は、ステップS1005において情報が抽出できたか否かを判定する。情報が抽出できたか否かの判断は、例えば、U,Dが計測できた場合は、情報が抽出できたとし、U,Dが計測できなかった場合は抽出ができなかったと判定する。あるいは、予め設定された埋め込みアルゴリズムで規定された値以外の値が検出された場合に情報が抽出できなかったとする。また、読み取り結果に対して、予め指定された誤検出/未検出の判定を行うことにより決定してもよい。
ステップS1007では、閾値決定部103は、画像縮小部102より供給された縮小画像データのもう1つ(Isv)を用いて、閾値Th_minおよびTh_maxを求める。導出方法はステップS1003と同様であるため説明は省略する。
ステップS1008では、情報抽出部103は、画像縮小部102より供給された画像縮小データIsvを用いて各文字列領域間の長さ(行間隔)を計測する。つまり、ここでは、垂直方向に縮小した縮小画像データIsv(第2の縮小画像データ)に対して計測するものとする。具体的な計測方法はステップS1004と同様である。ただし、情報抽出部103は、縮小画像データIsvに対し縮小方向(ここでは垂直方向)と直交する方向(ここでは水平方向)へ、走査を行うことにより有意画素の有無を検出することに注意する(図9)。
尚、ステップS1004では、垂直方向に走査し、ステップS1008では、水平方向に走査する例を示したが、ステップS1004で水平方向に走査し、ステップS1008で垂直方向に走査することにしてもよい。また、これら2つの方向(第1の方向と第2の方向)は、直交していることが望ましいが、必ずしも直交しなくてもよく、多少の傾きを有していても構わない。例えば、85度回転方向や95度回転方向であっても構わない。つまり、第1の方向と第2の方向は、実施形態の構成をシンプルにする上では、直交であることが望ましいが、ほぼ直交となるような予め決められた関係にあればよい。
ステップS1009では、情報抽出部103は、ステップS1008で導出した行間隔に基づいて透かし情報を導出する。具体的な計測方法はステップS1005と同様である。
以上のような動作フローを経て、画像処理装置11は、画像データIから透かし情報を抽出する。
なお、上述の説明においては、図3に示したパターンの文書画像データであるとして説明した。つまり、ほぼ正常な方向か90度回転入力される文書画像データであるとした。これらに加え、上下あるいは左右逆に入力される場合は、図6〜図9に示した走査方向に加え逆方向の走査も実行するよう構成するとよい。さらに、そのような状況が想定される場合には、透かし情報の埋め込みアルゴリズムとして読取開始方向に依存しないよう構成したアルゴリズムを用いることも好適である。
例えば、埋め込む情報が「101(2進)」や「11010(2進)」で、スタートビットを「0」、ストップビットを「11」とした場合、情報は、「010111(2進)」、「01101011(2進)」となる。さらに、どちらからでも読み取りが可能なように「010111000101(2進)」、「0110101100101001(2進)」のようにした情報を埋め込めば、上から下の走査1回のみで情報の抽出が可能である。なお、上記情報の後半部分がビット反転しているのは、判定条件が
「0」を埋め込む場合: U>D
「1」を埋め込む場合: U<D
の場合、反対方向から読むとUとDの順序が反対となり、ビット反転するためである。
また、上記とは別に、スタートビット、ストップビットを同じ「0」としておけば、埋め込む情報が「101(2進)」の場合は「001010(2進)」となる。反対方向から読むと「101011(2進)」で、スタートビットが「1」となっている。よって、情報部分を反転させ「010100(2進)」さらに反対方向に並べかえることにより「001010(2進)」となり、抽出することができる。
なお、第1実施形態では、図2に示したような、透かし情報を1組(2つ)の行間隔の相対的長さに対応させて埋め込むアルゴリズムを用いて説明を行った。しかし、最初に述べたように本発明は、この埋め込みアルゴリズムに限定されることない。例えば、最初の行間隔(文字列の1行目と2行目との間)を基準として、2つ目(文字列の2行目と3行目との間)以降の行間隔を最初の行間隔との相対的長さに対応させて情報を埋め込むアルゴリズムなどでもよい。また、相対的行間隔による2値情報ではなく、行間隔に基づくより多値の情報を埋め込むようにしてもよい。つまり、行間隔を使用した任意の埋め込みアルゴリズム全般に対し有効な手法である。
以上説明したように、第1実施形態に係る画像処理装置によれば、より高精度にあるいはより高速に、透かし情報を抽出することが可能となる。特に、追記や、折り目・コピーなどによるノイズを含む文書画像データからも高精度に情報抽出を行うことが可能となる。
(第2実施形態)
第2実施形態では、第1実施形態とは異なる閾値決定部の動作例について説明する。つまり、第1実施形態で説明した図12相当部分の動作のみが異なる例について説明する。その他の処理は第1実施形態と同様であるため説明は省略する。
第1の実施形態の場合は、Th_maxとTh_minが度数分布の横軸において最頻値mをはさんでほぼ等距離にあるように決定した。しかし、この方法では、度数分布によっては必要以上に閾値の範囲が広がってしまう場合がある。そこで、第2実施形態では、所定の黒画素に対する度数が存在するかどうかを探索し、度数が存在する位置に閾値を設定する。そのことにより、閾値の範囲が必要以上に広くなるのを防ぐことができる。
図14は、第2実施形態に係る閾値決定の詳細フローチャートである。なお、以下の処理は閾値決定部104が実行する。
ステップS901では、画像縮小データIshを、縮小方向と直交する方向へ1走査を行うことにより黒画素から成るオブジェクトの連続画素の度数分布を求め、その度数分布から最頻値mを求める。
そして、以下のステップで、最頻値mの周りの値で、オブジェクト数が、オブジェクト総数の所定の割合r%の中に収まるように、下限の閾値Th_minおよび上限の閾値Th_maxを決定する。このrは、あらかじめセットした値でもよいし、使用者の入力によって都度設定される値でもよい。
ステップS902では、初期値としてlow=m,high=m,Temp_min=m,Temp_max=mにセットする。ここで、lowとhighは、度数分布の横軸に対応した、閾値探索のための変数であり、Temp_minとTemp_maxは閾値の候補値である。
ステップS903では、Temp_minからTemp_maxの間に入る度数の和が、全体の度数のr%を超えるか否か判定する。そして、YesならステップS904へ、NoならステップS905へ進む。
ステップS904では、Th_minにTemp_minの値を、Th_maxにTemp_maxの値をセットし、処理を終了する。
ステップS905では、lowの値が1より大きく、かつ、highの値が画像の縦サイズより小さいか否か判定する。そして、YesならステップS906へ、NoならステップS911へ進む。
ステップS906では、highの値を1増加させ、lowの値を1減少させる
ステップS907では、highの値に対応した度数が1以上であるか否かを判定する。YesであればステップS908に、NoであればステップS908をスキップしてS909に進む。
ステップS908では、Temp_maxにhighの値をセットし、その後ステップS909に進む。
ステップS909では、lowの値に対応した度数が1以上であるか否かを判定する。YesであればステップS910に進み、NoであればステップS910をスキップしてステップS903に戻る。
ステップS910では、Temp_minにlowの値をセットしてステップS903に戻る。
ステップS911では、highの値が画像の縦サイズより小さく、かつ、low=1であるか否かを判定する。YesならステップS912へ、NoならステップS915へ進む。
ステップS912では、highの値を1増加させる。
ステップS913では、highの値に対応した度数が1以上であるか否かを判定する。YesであればステップS914に進み、NoならステップS911に戻る。
ステップS914では、Temp_maxにhighの値をセットしてS903に戻る。
ステップS915では、lowの値が1より大きく、かつ、highの値が画像の縦サイズに等しいか否かを判定する。YesならステップS916へ、NoならステップS904に進む。ただし、ステップS915からステップS904に処理が進むのは、low=1かつhigh=画像の縦サイズである場合であり、r=100のときのみ生じる。
ステップS916では、lowの値を1減少させる。
ステップS917では、lowの値に対応した度数が1以上であるか否かを判定する。YesであればステップS918に進み、NoならステップS915に戻る。
ステップS918では、Temp_minにlowの値をセットしてS903に戻る。
以上の処理は、最頻値を中心に、閾値範囲の上端・下端を交互に広げ、ステップS903で全体のr%を超えると判定されるまで続くことになる。
上述の、処理を行うことにより、度数分布に依存して必要以上に閾値の範囲が広がってしまうことを防止することが可能となる。その結果、ステップS1004における情報抽出部103による各文字列領域間の長さの計測において、閾値の範囲内か否かの判定をより高速に実行することが可能となる。
(第3実施形態)
第3実施形態では、閾値決定部104における閾値決定と情報抽出部103における距離測定において、単一ドット幅によるライン走査の替わりに、矩形ウインドウによるエリア走査を用いる。以下では、第1実施形態との相違点となる、エリア走査による距離計測処理について説明する。その他の処理は第1実施形態とほぼ同様であるため、説明は省略する。
図15は、矩形ウインドウにより縮小画像Ishをエリア走査する状態を例示的に示す図である。ここでは、矩形ウインドウの大きさを、幅を縮小画像Ishの幅、高さを数ピクセルとする。ただし、垂直方向の画素数Hwは1≦Hwを満たす任意の値、水平方向の画素数Wwは(1<Ww≦W1)を満たす任意の値が利用可能である。なお、ここで高さを数ピクセル設ける理由は、図16のように、元画像の文書に傾きがある場合でもオブジェクト間の距離を測定可能にするためである。ただし、矩形ウインドウの幅は2ピクセル以上であれば良く、高さは1ピクセル以上であれば後述の処理を行うことが可能である。
ここでは、閾値決定部104は、
Th_min = r/100 * (矩形ウインドウ内の全画素数)
となる閾値Th_minを決定する。ここで、rは矩形ウインドウ内の全画素数に対する割合(%)を示し、あらかじめセットした値でもよいし、使用者の入力によって都度設定される値でもよい。
そして、閾値決定部104は、エリア走査時にウインドウ内における有意画素(ここでは黒画素)の数がTh_minの値(画素数)より大きい場合に、当該ウインドウがオブジェクトが存在する位置にあると判定する。そして、図15に示すように、縮小画像Ishに対し矩形ウインドウを上から下に1画素ずつずらしながらエリア走査を行う。そして、エリア走査中の各位置に対して、上述のオブジェクト有無の判定を行う。そして、有意画素の有無が反転する位置を文字列領域を行間領域との境界として決定する。
エリア走査完了後、決定した各境界の座標に基づいて、オブジェクト間の距離を導出し、情報を抽出する。
以上説明したように、第3実施形態に係る画像処理装置によれば、エリア走査を用いることにより、より高精度にあるいはより高速に、透かし情報を抽出することが可能となる。特に、追記や、折り目・コピーなどによるノイズを含む文書画像データからも高精度に情報抽出を行うことが可能となる。
(変形例)
なお、矩形ウインドウを用いた走査による、オブジェクト間の距離計測において、当該矩形ウインドウの横方向に独立してオブジェクトの判定を行っても良い。つまり、ライン走査を矩形ウインドウの横サイズ分だけ同時に実行するよう構成してもよい。例えば、矩形ウインドウの横サイズが10ピクセルの場合、10個の境界座標値を決定するよう構成してもよい。例えば、
21, 19, 20, 21, 20, 20, 21, 20, 19, 21
が、矩形ウインドウの各ラインについて、有意画素の有無が反転(例えば黒画素から白画素)する位置と判定した座標とする。そして、矩形ウインドウを縮小画像Ishの縦方向に1ピクセルずつずらし、上記の処理を繰り返した後、
33, 32, 33, 31, 30, 30, 32, 33, 30, 32
が、次に有意画素の有無が反転する位置(つまり白画素から黒画素)と判定した座標とする。
この場合、それぞれの座標の値の差を平均し、オブジェクト間の距離とする。上記の例の場合、
((33−21)+(32−19)+(33−20)+(31−21)+(30−20)+(30−20)+(32−21)+(33−20)+(30−19)+(32−21))/10 = 11.4
となるため、オブジェクト間距離は11.4と算出される。または、整数に丸めた値11をオブジェクト間距離としても良い。
このような構成とすることにより、図16のように傾いた縮小画像Ishであっても良好にオブジェクト間の距離に計測を行うことが可能となる。
(第4実施形態)
第4実施形態では、スキャナなどで読み取った文書画像をコンピュータ(PC)上で動作するプログラムにより、透かし情報の抽出を実行する形態について説明する。
<機器構成>
図11は、PCの内部構成を示す図である。
同図において、1101はCPUで、RAM1102やROM1103に格納されているプログラムやデータに基づいて、図1に示した、機能ブロックの各部を実現する。
1102はRAMで、外部記憶装置1108からロードされたプログラムやデータを記憶する。また、他のコンピュータシステム1114からI/F(インターフェース)1115を介してダウンロードしたプログラムやデータを一時的に記憶する。さらに、CPU1101が各種の処理を行うために必要とするエリアを備える。
1103はROMで、コンピュータの機能プログラムや設定データなどを記憶する。1104はディスプレイ制御装置で、画像や文字等をディスプレイ1105に表示させるための制御処理を行う。1105はディスプレイで、画像や文字などを表示する。なお、ディスプレイとしてはCRTや液晶画面などが適用可能である。
1106は操作入力デバイスで、キーボードやマウスなど、CPU1101に各種の指示を入力することのできるデバイスにより構成されている。1107は操作入力デバイス1106を介して入力された各種の指示等をCPU1101に通知するためのI/Oである。
1108はハードディスクなどの大容量情報記憶装置として機能する外部記憶装置で、OS(オペレーティングシステム)や各種アプリケーションプログラム、さらに、入出力原稿画像などを記憶する。外部記憶装置1108への情報の書き込みや外部記憶装置1108からの情報の読み出しはI/O1109を介して行われる。
1110は文書や画像を出力する為のプリンタで、出力データはI/O1111を介してRAM1102、もしくは外部記憶装置1108から送られる。なお、文書や画像を出力する為のプリンタとしては、例えばインクジェットプリンタ、レーザビームプリンタ、熱転写型プリンタ、ドットインパクトプリンタなどが挙げられる。
1112は文書や画像を読み取るためのスキャナで、入力データはI/O1113を介してRAM1102、もしくは外部記憶装置1108に送られる。
1116は、CPU1101、ROM1103、RAM1102、I/O1111、I/O1109、ディスプレイ制御装置1104、I/F1115、I/O1107、I/O1113を繋ぐバスである。
<装置の動作>
外部記憶装置1108には、アプリケーションプログラムとして、第1実施形態で説明した各機能部および動作フローを実現するための、画像処理プログラムが記憶されている。ユーザによる、操作入力デバイス1106を介した、当該画像処理プログラムの起動指示に基づき、第1〜第3実施形態で説明した動作フローが開始される。なお、詳細動作は第1実施形態とほぼ同様であるため省略する。
(他の実施形態)
以上、本発明の実施形態について詳述したが、本発明は、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
なお、本発明は、前述した実施形態の機能を実現するプログラムを、システム或いは装置に直接或いは遠隔から供給し、そのシステム或いは装置が、供給されたプログラムコードを読み出して実行することによっても達成される。従って、本発明の機能処理をコンピュータで実現するために、コンピュータにインストールされるプログラムコード自体も本発明の技術的範囲に含まれる。
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等、プログラムの形態を問わない。
プログラムを供給するための記録媒体としては、例えば、フロッピー(登録商標)ディスク、ハードディスク、光ディスク(CD、DVD)、光磁気ディスク、磁気テープ、不揮発性のメモリカード、ROMなどがある。
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他、そのプログラムの指示に基づき、コンピュータ上で稼動しているOSなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。
第1実施形態における画像処理装置11の主要な機能構成を示すブロック図である。 透かし情報が埋め込まれた文書原稿を例示的に示す図である。 透かし情報の埋め込まれた2値画像データを例示的に示す図である。 画像データIを水平方向に縮小した縮小画像データIsh、および、垂直方向へ縮小した縮小画像データIsvの例を示す図である。 中間調として算出された部分の有意画素である黒への変換を例示的に示す図である。 縮小画像データIshの拡大図である。 縮小画像データIshに対し複数回の走査を実行する様子を例示的に示す図である。 図4(b)の縮小画像データIshに対する走査を例示的に示す図である。 縮小画像データIsvに対し水平方向へ走査を行う様子を例示的に示す図である。 第1実施形態に係る画像処理装置11の動作フローチャートである。 PCの内部構成を示す図である。 第1実施形態に係る閾値決定の詳細フローチャートである。 連続画素数の度数分布を例示的に示す図である。 第2実施形態に係る閾値決定の詳細フローチャートである。 矩形ウインドウにより縮小画像Ishをエリア走査する状態を例示的に示す図である。 矩形ウインドウにより傾きのある縮小画像Ishをエリア走査する状態を例示的に示す図である。 手書きが追記された文書画像を例示的に示す図である。 手書きが追記された画像の縮小画像Ishに対し走査を実行する様子を例示的に示す図である。
符号の説明
11 画像処理装置
101 画像入力部
102 画像縮小部
103 情報抽出部
104 閾値決定部
110 制御部
111 操作部

Claims (6)

  1. 文書画像を入力し、当該文書画像中の文字列の行間隔から、埋め込まれた透かし情報を抽出する画像処理装置であって、
    文書画像を画像データとして入力する入力手段と、
    入力した文書画像から第1の方向に対して縮小された縮小画像データを生成する画像縮小手段と、
    該画像縮小手段で生成された縮小画像データを前記第1の方向と予め定められた関係にある第2の方向に走査して、有意画素で構成される領域の各々の高さのヒストグラムを生成し、該ヒストグラムに基づいて前記縮小画像データにおいて有効な領域として見なす領域の高さの範囲を決定する範囲決定手段と、
    前記縮小画像データにおいて少なくとも前記範囲外の高さを有する有意画素で構成される領域はノイズ成分と見なし、当該領域を非有意画素として設定する設定手段と、
    該設定手段でノイズ成分が非有意画素として設定された後の縮小画像を前記第2の方向に走査し、当該第2の方向に連続する非有意画素の領域の長さを行間隔として検出する検出手段と、
    該検出手段で検出した文字列の行間隔に基づき、前記文書画像に埋め込まれた透かし情報を抽出する抽出手段と
    を備えることを特徴とする画像処理装置。
  2. 前記範囲決定手段は、
    前記ヒストグラムにおける最頻値をとる高さ、および、前記ヒストグラムの全体の度数に対する予め指定された割合に基づいて前記範囲の上限の閾値および下限の閾値を導出する閾値導出手段を更に備えることを特徴とする請求項1に記載の画像処理装置。
  3. 前記画像縮小手段は、更に、前記画像データから前記第1と直交した方向に対して縮小した第2の縮小画像データを生成し、
    前記検出手段で有効な行間隔が検出されなかった場合、
    前記範囲決定手段は、当該第2の縮小画像データを前記第1の方向に走査して、有意画素で構成される領域の各々の高さのヒストグラムを生成し、該ヒストグラムに基づいて前記第2の縮小画像データにおいて有効な領域として見なす領域の高さの範囲を決定し、
    前記設定手段は、前記第2の縮小画像データにおいて少なくとも当該決定された範囲外の高さを有する有意画素で構成される領域はノイズ成分と見なし、当該領域を非有意画素として設定し、
    前記検出手段は、当該ノイズ成分が非有意画素として設定された後の第2の縮小画像データを前記第1の方向に走査し、当該第1の方向に連続する非有意画素の領域の長さを行間隔として検出し、
    前記抽出手段は、当該検出された文字列の行間隔に基づき、前記文書画像に埋め込まれた透かし情報を抽出する
    ことを特徴とする請求項1または2に記載の画像処理装置。
  4. 文書画像を入力し、当該文書画像中の文字列の行間隔から、埋め込まれた透かし情報を抽出する画像処理装置の制御方法であって、
    文書画像を画像データとして入力する入力工程と、
    入力した文書画像から第1の方向に対して縮小された縮小画像データを生成する画像縮小工程と、
    該画像縮小工程で生成された縮小画像データを前記第1の方向と予め定められた関係にある第2の方向に走査して、有意画素で構成される領域の各々の高さのヒストグラムを生成し、該ヒストグラムに基づいて前記縮小画像データにおいて有効な領域として見なす領域の高さの範囲を決定する範囲決定工程と、
    前記縮小画像データにおいて少なくとも前記範囲外の高さを有する有意画素で構成される領域はノイズ成分と見なし、当該領域を非有意画素として設定する設定工程と、
    該設定工程でノイズ成分が非有意画素として設定された後の縮小画像を前記第2の方向に走査し、当該第2の方向に連続する非有意画素の領域の長さを行間隔として検出する検出工程と、
    該検出工程で検出した文字列の行間隔に基づき、前記文書画像に埋め込まれた透かし情報を抽出する抽出工程と、
    を備えることを特徴とする制御方法。
  5. 更に、前記画像データから前記第1と直交した方向に対して縮小した第2の縮小画像データを生成する工程と、
    前記検出工程で有効な行間隔が検出されなかった場合、
    前記第2の縮小画像データを前記第1の方向に走査して、有意画素で構成される領域の各々の高さのヒストグラムを生成し、該ヒストグラムに基づいて前記第2の縮小画像データにおいて有効な領域として見なす領域の高さの範囲を決定する工程と、
    前記第2の縮小画像データにおいて少なくとも当該決定された範囲外の高さを有する有意画素で構成される領域はノイズ成分と見なし、当該領域を非有意画素として設定する工程と、
    当該ノイズ成分が非有意画素として設定された後の第2の縮小画像データを前記第1の方向に走査し、当該第1の方向に連続する非有意画素の領域の長さを行間隔として検出する工程と、
    前記検出された文字列の行間隔に基づき、前記文書画像に埋め込まれた透かし情報を抽出する工程と、
    を備えることを特徴とする請求項4に記載の制御方法。
  6. 請求項4または請求項5に記載の画像処理装置の制御方法の各工程をコンピュータに実行させるためのプログラム。
JP2007146100A 2007-05-31 2007-05-31 画像処理装置およびその制御方法 Ceased JP2008301283A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2007146100A JP2008301283A (ja) 2007-05-31 2007-05-31 画像処理装置およびその制御方法
US12/128,221 US8064636B2 (en) 2007-05-31 2008-05-28 Image processing apparatus and method of controlling the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007146100A JP2008301283A (ja) 2007-05-31 2007-05-31 画像処理装置およびその制御方法

Publications (2)

Publication Number Publication Date
JP2008301283A true JP2008301283A (ja) 2008-12-11
JP2008301283A5 JP2008301283A5 (ja) 2010-02-25

Family

ID=40174350

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007146100A Ceased JP2008301283A (ja) 2007-05-31 2007-05-31 画像処理装置およびその制御方法

Country Status (1)

Country Link
JP (1) JP2008301283A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113536043A (zh) * 2020-04-21 2021-10-22 德国邮政股份公司 用于封闭单元的检验方法和检验设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113536043A (zh) * 2020-04-21 2021-10-22 德国邮政股份公司 用于封闭单元的检验方法和检验设备

Similar Documents

Publication Publication Date Title
JP4310288B2 (ja) 画像処理装置及びその方法、プログラム並びに記憶媒体
JP5015540B2 (ja) 電子透かし埋め込み装置および検出装置
US7106884B2 (en) Digital watermark embedding apparatus for document, digital watermark extraction apparatus for document, and their control method
JP5049920B2 (ja) 画像処理装置及び画像処理方法
US8064636B2 (en) Image processing apparatus and method of controlling the same
JPWO2007049340A1 (ja) 電子透かしの埋め込み及び検出
JP2009071626A (ja) 画像処理装置、画像処理方法、画像処理プログラム、並びに、記録媒体
JP2010003087A (ja) 画像処理装置および画像処理方法
JP2007134987A (ja) 透かし情報埋め込み装置,透かし情報埋め込み方法,およびコンピュータプログラム
JP2006050551A (ja) 画像処理装置及びその方法、並びにプログラム及び記憶媒体
US8059859B2 (en) Image processing apparatus and method of controlling the same
JP6413542B2 (ja) 画像処理装置及び画像処理プログラム
JP4140519B2 (ja) 画像処理装置、プログラムおよび記録媒体
US8150185B2 (en) Image processing for generating a thin line binary image and extracting vectors
JP4873554B2 (ja) 画像配信装置および画像配信方法
JP2008301283A (ja) 画像処理装置およびその制御方法
JP2006237858A (ja) 画像処理装置、画像処理方法、その方法をコンピュータに実行させるプログラム、および記録媒体
JP4861251B2 (ja) 画像処理装置およびその制御方法
JP4789867B2 (ja) 画像処理装置およびその制御方法
JP4861250B2 (ja) 画像処理装置およびその制御方法
JP2008301284A (ja) 画像処理装置およびその制御方法
JP2009010937A (ja) 画像処理装置およびその制御方法
JP2010103862A (ja) 文書処理装置および文書処理方法
JP3885001B2 (ja) 画像処理方法及び画像処理装置
JP3814547B2 (ja) 画像処理装置及びその方法

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100108

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100108

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110613

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20110715

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110719

AA92 Notification of invalidation

Free format text: JAPANESE INTERMEDIATE CODE: A971092

Effective date: 20110802