JP2002190957A - 文書処理装置及び方法 - Google Patents

文書処理装置及び方法

Info

Publication number
JP2002190957A
JP2002190957A JP2000388887A JP2000388887A JP2002190957A JP 2002190957 A JP2002190957 A JP 2002190957A JP 2000388887 A JP2000388887 A JP 2000388887A JP 2000388887 A JP2000388887 A JP 2000388887A JP 2002190957 A JP2002190957 A JP 2002190957A
Authority
JP
Japan
Prior art keywords
area
image
partial
binarizing
binary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000388887A
Other languages
English (en)
Other versions
JP2002190957A5 (ja
JP4366011B2 (ja
Inventor
Tomotoshi Kanatsu
知俊 金津
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2000388887A priority Critical patent/JP4366011B2/ja
Priority to US10/013,675 priority patent/US7170647B2/en
Publication of JP2002190957A publication Critical patent/JP2002190957A/ja
Publication of JP2002190957A5 publication Critical patent/JP2002190957A5/ja
Application granted granted Critical
Publication of JP4366011B2 publication Critical patent/JP4366011B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals

Abstract

(57)【要約】 【課題】カラー文書中の色によって表された領域の区別
を維持した領域分割を可能とする。 【解決手段】カラー画像2301を2値化処理して2値
画像2310を得るとともに、カラー画像2301より
下地色の異なる領域を抽出し、該領域の位置と大きさを
表す領域情報2320を生成する。そして、2値画像2
310と領域情報2320に基づいて領域分割を行い、
領域分割結果2330を得る。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、文書の電子化処理
を行うための文書処理装置及び方法に関し、特に文書の
電子化処理に際して実行される像域分離処理に関する。
【0002】
【従来の技術】近年、情報の電子化が進み、文書を紙で
はなく電子化して保存、あるいは送信するという需要が
高まっている。特に、蓄積メディアの低価格化、および
通信帯域の増大により、電子化の対象となる文書は白黒
2値のものから、フルカラーの文書へと広がりつつあ
る。
【0003】ここでいう文書の電子化とは、単に紙文書
をスキャナなどにより光電変換し、画像データ化するこ
とのみにとどまらず、記載されている内容を認識して、
文書を構成するテキスト、記号、図、写真、表などそれ
ぞれ性質の異なる領域に分割し、文字部は文字コード情
報、図はベクトルデータ、写真は画像データ、表は構造
データ、といったように各々最も適した形態でデータ化
する処理のことを指す。
【0004】そのような文書の電子化処理の第1段階と
して行われるのが、1頁の文書画像に書かれた内容を分
析し、文字や図、写真、表など異なる性質の部分要素に
分割する処理、すなわち領域分割処理である。図25は
領域分割の一例を示す図である。
【0005】このような領域分割処理の実現例として
は、米国特許第5680478号の“Methodand Appara
tus for character recognition”(Shin-Ywangら/Can
onK.K)などが挙げられる。この例では、文書画像中の
黒画素の8連結輪郭塊、白画素の4連結輪郭塊の集合を
抽出し、その形状、大きさ、集合状態などから、文字領
域、絵や図、表、枠、線といった文書に特徴的な領域を
抽出している。図25の例では、文字領域(ブロック
1、3、4、6)、絵や図領域(ブロック2)、表領域
(ブロック5)、枠、線(7)といった文書に特徴的な
領域を抽出している。
【0006】ここで、黒画素の8連結輪郭塊(以下、黒
画素塊)とは、図14のように、ある黒画素から8方向
のいずれかで連結している黒画素の集合体である。ま
た、白画素の4連結輪郭塊(以下、白画素塊)とは、図
16のようにある白画素から4方向のいずれかで連結し
ている白画素の集合体を指す。
【0007】上述の領域分割処理は、その動作原理よ
り、入力となる文書画像が白黒2値であることが前提と
なる。従って、この技術を利用してカラー文書の領域分
割を行うためには、あらかじめ文書画像の2値化を行う
必要がある。一般にカラー画像の2値化は、画素の輝度
分布から閾値を求め、画像の各画素を、前出の輝度閾値
を境に白又は黒の画素へと変換することで行われる。
【0008】
【発明が解決しようとする課題】カラー画像の2値化の
ための閾値の求め方には、全画面単一で求める方法と、
領域毎に求める方法が考えられる。本出願人による特願
平11−238581号にて提案されている2値化方法
では、入力原稿の内容に応じて、領域毎に動的に最適な
閾値を求め、これを用いることで領域毎に最適な2値化
が行われる。特に低輝度下地上の高輝度文字と、高輝度
下地上の低輝度文字が混在するカラー画像から、それら
すべてが白地上の黒文字に自動的に変換されるような2
値化を可能とし、領域分割処理の入力として最適な2値
画像を得ることが可能である。
【0009】図24は先に提案された2値化手法によっ
て色付きの下地を含む文書に領域分離を行った様子を説
明する図である。図24において、カラーの文書230
1は、下半分に濃い色付の下地領域があり、その上に薄
い色の文字が載っているものとし、それ以外は薄い色の
下地に濃い色の文字となっているものとする。この様な
文書においては、上半分と下半分は意味的に分離してい
るであろうことが理解できる。
【0010】文書2301のようなカラー文書に対し
て、前述の2値化方式で2値化を行うと、図24の23
02で示されるような2値画像が生成される。2値画像
2302では、下地は除去されてすべて白画素になり、
文字はすべて黒画素になっている。このとき、2値画像
2302に対し従来通り領域分割処理を行うと、図24
中2303のような結果が得られる、画面の下半分に存
在した下地付の領域の情報が欠落しているために、本来
TEXT1およびTEXT2はそれぞれ中央で2つに分
離すべきなのにもかかわらず、結合してしまっている。
【0011】つまり、本来カラー画像の持っている下地
色による文字領域の範囲指定情報は2値化の際に失われ
てしまう。
【0012】本発明は上記の問題に鑑みてなされたもの
であり、色によって表された領域の区別を維持した領域
分割を可能にすることを目的とする。
【0013】
【課題を解決するための手段】上記の目的を達成するた
めの本発明による文書処理装置は以下の構成を備える。
すなわち、カラー画像より下地色の異なる領域を抽出
し、該領域の位置と大きさを表す領域情報を生成する生
成手段と、前記カラー画像を2値化することにより2値
画像データを得る2値化手段と、前記2値化手段で得ら
れた2値画像データと前記生成手段で生成された領域情
報に基づいて領域分割を行う分割処理手段とを備える。
【0014】また、上記の目的を達成するための本発明
の文書処理方法は以下の工程を備える。すなわち、カラ
ー画像より下地色の異なる領域を抽出し、該領域の位置
と大きさを表す領域情報を生成する生成工程と、前記カ
ラー画像を2値化することにより2値画像データを得る
2値化工程と、前記2値化工程で得られた2値画像デー
タと前記生成工程で生成された領域情報に基づいて領域
分割を行う分割処理工程とを備える。
【0015】
【発明の実施の形態】以下、添付の図面を参照して本発
明の好適な実施形態を説明する。
【0016】図1は本実施形態による文書処理装置の装
置概観を示す図である。図1において、101はコンピ
ュータ装置であり、添付のフローチャートを参照して以
下で説明する処理を実現するためのプログラムを含む、
文書の電子化処理プログラムを実行する。コンピュータ
装置101は、ユーザに状況や画像を表示するためのデ
ィスプレイ装置102、およびユーザの操作を受け付け
るキーボードやマウス等のポインティングデバイスを含
んで構成される入力装置103が付随する。ディスプレ
イ102表示デバイスとしては、CRTやLCD等が用
いられる。104はスキャナ装置であり、文書画像を光
学的に読み取り、電子化し、得られた画像データをコン
ピュータ装置101に送る。本実施形態では、カラース
キャナを用いる。
【0017】図2は本実施形態による文書処理装置の構
成を示すブロック図である。図1において、201はC
PUであり、ROM202或いはRAM203に格納さ
れた制御プログラムを実行することにより、後述の電子
化処理を含む各種機能を実現する。202はROMであ
り、CPU201によって実行される各種制御プログラ
ムやデータが格納される。203はRAMであり、CP
U201によって実行される各種制御プログラムを格納
したり、CPU201が各種処理を実行するのに必要な
作業領域を提供する。204は外部記憶装置であり、添
付のフローチャートを参照して説明する処理をCPU1
01によって実現するための制御プログラムや、画像入
力装置104を読み取って得られた文書画像データ等を
格納する。205はコンピュータバスであり、上述の各
構成を接続する。
【0018】図3は本実施形態の文書処理装置による文
書の電子化処理の概要を示す図である。本実施形態によ
る電子化処理の流れは、まず入力部301において電子
化の対象とするカラー文書をスキャナ104を用いて読
み込み、文書を画像データとして外部記憶装置204に
格納する。次に、2値化部302において、後段の領域
分割処理のために外部記憶装置204に格納された文書
画像データに対して2値化処理を施す。領域分割部30
3では、2値化部302で得られた2値画像から、文
字、図、表、枠、線などの要素を抽出し、各領域に分割
する。電子化文書作成部304は、分割された各要素毎
の属性に基づいて文字認識データや用いたり表構造デー
タを用いたりして電子化文書を作成する。出力部305
は生成された電子化文書を外部記憶装置204に格納す
る。なお、出力部305における出力の形態は外部記憶
装置204への格納に限られるものではなく、ディスプ
レイ102へ表示出力したり、不図示のネットワークイ
ンターフェースを介してネットワーク上の他の装置へ出
力したり、不図示のプリンタへ出力したりすることも可
能である。
【0019】以下、図3に示した2値化部302の動作
について図面参照して説明する。図4は本実施形態によ
る2値化処理を説明するフローチャートである。また、
図5は本実施形態の説明に用いるカラー文書画像の例を
示す図である。なお、図5に示すカラー文書画像は、3
つの下地色(下地A501、下地B502、下地C50
3)を含み、下地A501の部分が白、下地B502の
部分が黄色、下地C503の部分が青であるとする。一
方、文字色は、文字列A504,文字列B505が共に
黒、文字列C506は白である。
【0020】まず、ステップS401にて処理対象のカ
ラー文書画像を輝度画像に変換する。ここでは一般的に
元画像のカラー形式をRGB形式、輝度画像は1画素あ
たり0〜255のグレイスケール形式とし、各画素の輝
度Yは元画像の画素値R,G,Bに対し、Y=0.29
9R+0.587G+0.114Bによって求めること
にするが、他の形式/変換式を用いてもよいことはもち
ろんである。これにより図5の下地色A501,下地色
B502,下地色C503の各部分の輝度はそれぞれ2
55,200,40(実際は紙面状態や光電変換時のば
らつきによって、同じ下地色であっても位置によって輝
度値がばらつく。したがって、図6のようなヒストグラ
ム曲線の山は、ある程度の幅を有することになる)へと
変換される。
【0021】次に、ステップS402にて、ステップS
401で得られた輝度画像データのヒストグラムをと
る。図6は図5に示したカラー画像から得られる輝度値
のヒストグラムを示す図である。ヒストグラムが得られ
たならば、ステップS403において、そのヒストグラ
ムから複数の閾値を決定する。例えば図6に示したヒス
トグラムからは、t1,t2の2個の閾値が抽出され
る。
【0022】この複数の閾値t1,t2は例えば以下の
ような手順で決定できる。ヒストグラムの輝度値255
(白)から0(黒)まで参照する。参照した輝度値から
閾値を選択する条件は、例えば、以下の各条件を設定す
る。
【0023】条件1:当該ヒストグラム曲線において、
現在の参照点と、その参照点から横軸の輝度値の大きい
方向に例えば10画素分だけさかのぼった点との間に含
まれる合計度数(面積)が、所定の第1の値より大き
い。
【0024】条件2:当該ヒストグラム曲線における縦
軸の度数の急激な減少が発生(例えば「所定の第1の傾
きより大」が1回、または「所定の第2の傾きより大」
が連続して2回発生)。
【0025】条件3:当該ヒストグラム曲線の緩い減
少、または上昇が発生(所定の第3の傾きより小)。
【0026】本実施形態において、図6に示すt1、t
2の各点は、上記の各条件のうち、「条件1」が満足さ
れた後に「条件2」が満足され、その後更に「条件3」
が満足された結果として検出した。尚、参照点は、当該
ヒストグラム曲線を所定の間隔で参照するようにしても
よい。また、本実施形態では以上のような条件を用いた
が、閾値の決定はこれに限るものではない。例えば更に
以下のような条件4〜6を同時に満たす場合を閾値とし
て選択しても良い。
【0027】条件4:当該ヒストグラム曲線において、
現在の参照点と、その参照点から横軸の輝度値の大きい
方向に例えば40画素さかのぼった点との間に含まれる
合計度数(面積)が、所定の第2の値より大きい。
【0028】条件5:当該ヒストグラム曲線上の現在の
参照点における縦軸の度数が、所定の第3の値より小さ
い。
【0029】条件6:当該ヒストグラム曲線において、
現在の参照点と、その参照点から横軸の輝度値の大きい
方向に例えば20画素さかのぼった点におけるヒストグ
ラム値が、所定の第4の値より大きい。
【0030】ステップS404にて、各閾値から複数の
2値画像を作成する。これらはテンポラリの2値画像で
ある。本例では、閾値t1で2値化することにより、図
7の(a)に示す2値画像701が、閾値t2で2値化
することにより図7の(b)に示す2値画像702が生
成される。ここで、領域703及び704はそれぞれ図
5に示す下地B502、C503の領域である。閾値t
1では下地B502と下地C503の部分も黒となり、
閾値t2では、下地502の部分は白となり、下地C5
03の部分は黒となる。
【0031】次に、ステップS405にて、ステップS
404で得られた各2値画像中の黒領域を抽出し、これ
を下地色の異なる領域を示す領域情報として記録する。
これは、2値画像上の黒画素の連結成分を追跡して、一
定の大きさ以上となる四角形の領域を抽出する処理であ
る。図7の例では、2値画像701より領域703が、
2値画像702より領域704がそれぞれ抽出される。
【0032】次に、ステップS406にて、ステップS
405で抽出した各領域内の解析を行う。ここでは、ス
テップS401で得られた輝度画像より、ステップS4
05で抽出された各領域の範囲を切り出し、各範囲毎に
輝度値のヒストグラムをとり、このヒストグラムから各
領域について輝度値の反転が必要か否か判断し、必要な
場合は輝度値を反転する。更に、このヒストグラムから
各領域内に最適な2値化閾値を、図6と同様にして求め
る(ただし、対象とする領域の大きさが小さくなるので
判断に用いる所定の値は異なる)。求められた2値化閾
値及び反転情報は、各領域情報に付随するように出力さ
れる。尚、反転が必要か否かは、例えば以下に示す計算
式により、ヒストグラムの平均値(average)とそのスキ
ュー(skew)とを求めて判断できる。
【0033】 (average)=Σip(i), σ2=Σ(i-av)2p(i), (skew)=1/σ2Σ(i-av)3p(i), 但し、Σip(i)は、ip(i)のi=0からi=255までの場
合の総和、p(i)は確率密度、avは平均値を表わす。
【0034】このスキューの絶対値がしきい値より大き
いときには、その領域は文字を含むと判断し、更に文字
を含むと判断されて且つスキューが正のときには、領域
の画像を反転すべきと判断して反転フラグがyesにな
る。
【0035】本例では、領域703より図8に示される
ヒストグラムが求められて反転必要なしと判断されて該
ヒストグラムから閾値t21が求められる。さらに、領
域704より図9に示されるヒストグラムが求められて
反転必要ありと判断され、図9のヒストグラムを反転し
て閾値t22が求められる(尚、図9は反転前のヒスト
グラムを表し、閾値t22は反転前のヒストグラムの対
応する値として示している)。そして、図10に示すよ
うに、それぞれの領域毎に、座標値と2値化閾値、反転
情報を1組とした領域情報が記憶される。
【0036】本例では、領域703に対する領域情報1
001は、座標値として矩形の左端のx座標l1、右端
のx座標r1、上端のt1、下端のb1を、2値化閾値
として図8のヒストグラムから求まった閾値t21を、
反転情報として反転無し(no)を有する。同様に、領
域704に対する領域情報1002は、座標値として矩
形の左端のx座標l2、右端のx座標r2、上端のt
2、下端のb2を、2値化閾値として図9のヒストグラ
ムから求まった閾値t22を、反転情報として反転有り
(yes)を有する。
【0037】次いで、ステップS407にて、ステップ
S406で得られた領域情報を基に、ステップS401
で得た輝度画像から最終的な2値画像を生成する。本例
によれば、 (1)全面を閾値t1で2値化して2値画像701を得
る。 (2)2値画像701上の領域703の部分の輝度画像
について、領域情報1001の内容にしたがって処理
(この場合閾値(t21)で2値化)を行い、得られた
画像を領域703の部分に上書きする。この結果、2値
画像702が得られる。 (3)領域704については、対応する領域情報100
2が反転有りを示すので、領域704の部分の輝度画像
について反転処理を行い、閾値t22を用いて2値化し
て得られた画像を領域704の部分に上書きする。この
結果、図5に示したカラー画像から図11に示すような
最終2値画像が得られることになる。
【0038】次に、以上のようにして2値化部302に
よって得られた2値画像と領域情報を用いて、領域分割
部303が領域分割を行う。以下、領域分割部303の
処理について説明する。
【0039】図12は本実施形態の領域分割処理を説明
するフローチャートである。領域分割部303では、ス
テップS1201にて、2値化部302により得られた
2値化された文書画像から文書要素が抽出され、それら
の木構造表現が作られる。このステップS1201の処
理の詳細について図13のフローチャートを用いて説明
する。図13は図12のステップS1201の要素抽出
及び木構造化の処理を説明するフローチャートである。
【0040】ステップS1301では、2値化画像から
すべての黒画素塊を抽出する。なお、黒画素塊とは、上
述したように黒画素の8連結輪郭塊であり、図14に示
すように、縦横斜めに接触した画素で作られた輪郭を持
つ黒画素の集合のことである。続くステップS1302
では、抽出した黒画素塊が、予め予想される最大文字高
さおよび幅(予め実験的に求めた値)に対し定められた
閾値以下の大きさを有するかどうかを判定し、閾値以下
である場合はステップS1308に進み、当該黒画素塊
を文字要素と判定する。これを“CHAR”と呼ぶ。
【0041】ステップS1303では、抽出した黒画素
が一定比率以上で縦長あるいは横長であるかどうかを判
断する。当該黒画素塊が一定比率以上で縦長あるいは横
長であった場合は、ステップS1309において“LI
NE”と判定する。また、ステップS1304では、抽
出した黒画素塊中の黒画素のなす輪郭に注目し、その形
状が細い斜めの線状であった場合は、ステップS130
9へ進み、当該黒画素塊を“LINE”と判定する。
【0042】ステップS1305では、黒画素塊の輪郭
形状が四角形かどうかを調べる。図15は、(a)黒画
素塊の輪郭が四角形の場合と、(b)黒画素塊の輪郭が
非四角形である場合の例を示す図である。ステップS1
305において、黒画素塊の輪郭形状が四角形でなけれ
ば、ステップS1312へ進み、当該黒画素塊を“PICT
URE”と判定する。
【0043】一方、黒画素塊が四角形ならばステップS
1306へ進む。ステップS1306では、黒画素塊の
内部に存在する白画素の4連結輪郭塊を抽出する。白画
素の4連結輪郭塊とは、図16のように、縦横のみに接
触した画素で作られた輪郭を持つ白画素の集合のことで
ある。以降この集合を白画素塊と呼ぶ。
【0044】ステップS1307では、ステップS13
06で黒画素塊から抽出された白画素塊の形状がすべて
四角形であり、かつ黒画素塊内を所定の間隔で隙間なく
埋めているかどうかを判定する。この判定の結果がYE
Sであった場合は、ステップS1311へ進み、当該黒
画素塊を“FRAME”と判定する。図17は、枠(FRAME)
と図(PICTURE)における内部白画素塊の配置例を示す
図である。ステップS1307の判定によれば、
(a)、(b)はステップS1307の判定条件を満た
すので、ステップS1311で枠(FRAME)であると判
定されることになる。
【0045】また、図17の(c)に示した白画素塊の
配列は、「黒画素塊から抽出された白画素塊の形状がす
べて四角形であり、かつ黒画素塊内を隙間なく埋めてい
る」という条件を満たしておらず、ステップS1312
において図(PICTURE)と判定されることになる。結
局、ステップS1312では、ステップS1307まで
の条件のいずれにもあてはまらない黒画素塊を、“PICT
URE”としている。
【0046】さて、本実施形態では、各要素の親となる
要素“GROUND”を導入する。画面全体をひとつの“GROU
ND”とすると、これまで画像から抽出された各要素は、
すべてその子供の要素として表現される。そして、“FR
AME”と判定された黒画素塊の内部から抽出された白画
素塊のひとつひとつをそれぞれ“GROUND”とし、更にこ
の白画素の内部で、上述したステップS1301〜S1
312の処理を行って子供となる要素を抽出する(ステ
ップS1313)。なお、“FRAME”の内部で更に“FRA
ME”が抽出されたときには、これをGROUNDとしてさらに
再帰的に処理を行う。
【0047】すべての再帰的内部探索が終了した時点
で、画像から抽出された要素は木構造を構成することに
なる。図18は、文書画像の例と、これをステップS1
201の要素抽出、木構造化によって処理して得られる
木構造の例を示す図である。図18の(a)に示される
ように、文書画像1801は、テキスト列(CHAR)18
02、1807、1808と、フレーム(FRAME)18
04と、図(PICTURE)1803、1809とを有す
る。
【0048】この文書画像1801を上述の処理によっ
て木構造化すると、図18の(b)のようになる。GROU
ND1821は文書画像1801の全体を示し、その要素
の一つであるFRAME1824は文書画像1801中のフ
レーム1804に対応する。更にフレーム1804は2
つのフレームに分けられ、木構造上では、それぞれGROU
ND1825、1826として示されている。
【0049】以上のようにして、図12のステップS1
201で文書画像要素の木構造を得ると、ステップS1
202において、ステップS406で取得した領域情報
を木構造に当てはめる。即ち、2値化部302による2
値化処理の際に記録された領域情報を参照して、ステッ
プS301で得られた木構造を変更する。このステップ
S1202の処理について、図19のフローチャートを
用いて説明する。
【0050】ステップS1901では、領域情報が存在
するかどうかを調べる。領域情報がなければ、そのまま
本処理を終了する。領域情報が存在する場合は、ステッ
プS1902へ進み、領域を仮想的に“FRAME”および
“GROUND”の組と考えて要素の木構造の適当な箇所に挿
入する。すなわち、領域を内包する“GROUND”を親とす
る位置に、その領域情報が表す矩形に対応する新たな
“FRAME”を挿入し、その子として新たな“GROUND”を
置く。
【0051】ステップS1903では、ステップS19
02で挿入した“FRAME”と同じ親(GROUND)を持つ兄
弟のうち、当該領域内部に位置する要素をすべて自分の
子孫、すなわち新たな“GROUND”の子供へと移動する。
【0052】図20は、上述した木構造変更処理の例を
説明する図である。文書画像2001は色付きの下地領
域2002を有する。2値化部302はこの文書画像2
001を2値化して2値画像2010を生成するととも
に、領域2002に対応する領域情報2020を生成す
る(図4)。領域分割部303は、2値画像2010に
ついて図13のフローチャートで説明した処理を施すこ
とにより、画像全体をGROUND2031とする木構造20
30を生成する(S1201)。そして、木構造203
0に、領域情報2020を当てはめて、木構造を変更
し、木構造2040を得る。
【0053】より具体的には、GROUND2031を親とし
て、領域2002に相当する枠(FRAME)を挿入して、
その子としてGROUND2041を置く。そして、領域20
02に含まれる各要素(A,B,C,図形)をGROUND2
041の子として配置することにより、木構造を変更す
る。
【0054】以上のようにして、ステップS1202の
処理を終えたならば、ステップS1203へ進む。ステ
ップS1203では、文字要素をグループ化して行およ
び文字領域を作成する。ステップS1203の処理につ
いて、図21のフローチャートを用いて説明する。図2
1はステップS1203における文字領域の作成処理を
説明するフローチャートである。
【0055】ステップS2101では、各“CHAR”に対
し、それぞれ隣り合う“CHAR”との水平距離が閾値内に
あるもの同志をグループ化する。このグループを“TEXT
LINE”と呼ぶ。但し、これらのグループ化は、同じ親を
持つ“CHAR”間のみで行われる。
【0056】次に、ステップS2102において、更に
この“TEXTLINE”同志で、それぞれ隣り合う垂直距離が
閾値内にあるもの同志をグループ化する。こうして得ら
れた“TEXTLINE”のグループを“TEXT”あるいは文字領
域と呼ぶ。但し、これらのグループ化は同じ親をもつ
“CHAR”からなる“TEXTLINE”の間のみで行う。
【0057】以上の処理で、文書画像は文字領域である
“TEXT”、線の画像部分である“LLINE”、図や写真の
領域である“PICTURE”、表や枠の領域である“FRAME”
という各要素に分割される。
【0058】なお、ステップS2103における文字領
域作成時のグループ化は、木構造を意識して行われるの
で、例えば図22のように、2値画像上の実線の枠=
“FRAME1”がある場合、“FRAME1”内外それぞれの文
字は必ず異なるグループとなる。すなわち、“TEXT1”
と“TEXT3”、“TEXT2”と“TEXT4”のように異なる文
字領域にグループ化される。
【0059】同様に、図23におけるようなカラー画像
の処理の場合、2値化処理後の画像上では枠となるよう
な情報がなくても、ステップS1202における処理に
より、2値化処理時に得られた領域情報が領域分割に反
映され、色下地上の文字は他と異なる文字領域となり、
図22と同様な正しい領域分割結果が得られる。即ち、
2値化処理部302によって、文書画像2301の2値
画像2310が得られるとともに領域情報2320が得
られる。2値画像2310を領域分割する際に、ステッ
プS1202の処理により、領域情報2320が反映さ
れて、2330に示す如く領域分割結果が得られる。
【0060】もし、ステップS1202の処理を行わな
いで領域分割処理を行った場合は、下地の情報が反映さ
れることがないので、図24のように誤った文字領域が
得られることになる。
【0061】以上説明したように、本実施形態によれ
ば、カラー画像を2値化して領域分割処理を行う際に、
2値化処理時に記憶された色付下地の領域情報を用いて
領域分割処理の解析内容を変更するので、カラー画像の
分割処理に際して2値化の際に失われてしまった情報を
も正しく反映した文字領域の抽出が可能になり、より高
精度な領域分割処理が可能になる。
【0062】なお、上記実施形態によれば、2値化部3
02が保存する領域情報、および領域分割部303が処
理する“FRAME”領域は四角形に限定していたが、これ
は矩形の任意連接体、あるいは円、楕円などの領域を対
象とするようにしてもよい。この場合でも、カラー画像
にあって、2値化の際に失われてしまった情報をも正し
く反映した文字領域の抽出が可能になり、より高精度な
領域分割処理が可能になる。
【0063】なお、本発明は、複数の機器(例えばホス
トコンピュータ、インタフェイス機器、リーダ、プリン
タなど)から構成されるシステムに適用しても、一つの
機器からなる装置(例えば、複写機、ファクシミリ装置
など)に適用してもよい。
【0064】また、本発明の目的は、前述した実施形態
の機能を実現するソフトウェアのプログラムコードを記
録した記憶媒体(または記録媒体)を、システムあるい
は装置に供給し、そのシステムあるいは装置のコンピュ
ータ(またはCPUやMPU)が記憶媒体に格納された
プログラムコードを読み出し実行することによっても、
達成されることは言うまでもない。この場合、記憶媒体
から読み出されたプログラムコード自体が前述した実施
形態の機能を実現することになり、そのプログラムコー
ドを記憶した記憶媒体は本発明を構成することになる。
また、コンピュータが読み出したプログラムコードを実
行することにより、前述した実施形態の機能が実現され
るだけでなく、そのプログラムコードの指示に基づき、
コンピュータ上で稼働しているオペレーティングシステ
ム(OS)などが実際の処理の一部または全部を行い、
その処理によって前述した実施形態の機能が実現される
場合も含まれることは言うまでもない。
【0065】さらに、記憶媒体から読み出されたプログ
ラムコードが、コンピュータに挿入された機能拡張カー
ドやコンピュータに接続された機能拡張ユニットに備わ
るメモリに書込まれた後、そのプログラムコードの指示
に基づき、その機能拡張カードや機能拡張ユニットに備
わるCPUなどが実際の処理の一部または全部を行い、
その処理によって前述した実施形態の機能が実現される
場合も含まれることは言うまでもない。
【0066】
【発明の効果】以上説明したように、本発明によれば、
色によって表された領域の区別を維持した領域分割が可
能となる。
【図面の簡単な説明】
【図1】本実施形態による文書処理装置の装置概観を示
す図である。
【図2】本実施形態による文書処理装置の構成を示すブ
ロック図である。
【図3】本実施形態の文書処理装置による文書の電子化
処理の概要を示す図である。
【図4】本実施形態による2値化処理を説明するフロー
チャートである。
【図5】本実施形態の説明に用いるカラー文書画像の例
を示す図である。
【図6】図5に示したカラー画像から得られる輝度値の
ヒストグラムを示す図である。
【図7】(a)は図5に示したカラー画像を図6に示す
閾値t1で2値化した画像を示し、(b)は閾値t2で
2値化した画像を示す図である。
【図8】図7の領域703における輝度値のヒストグラ
ムを示す図である。
【図9】図7の領域704における輝度値のヒストグラ
ムを示す図である。
【図10】領域情報を示す図である。
【図11】図5に示したカラー画像の最終的な2値画像
を示す図である。
【図12】本実施形態の領域分割処理を説明するフロー
チャートである。
【図13】図12のステップS1201の要素抽出及び
木構造化の処理を説明するフローチャートである。
【図14】黒画素の8連結輪郭塊の例を示す図である。
【図15】(a)黒画素塊の輪郭が四角形の場合と、
(b)黒画素塊の輪郭が非四角形である場合の例を示す
図である。
【図16】白画素の4連結輪郭塊の例を示す図である。
【図17】枠(FRAME)と図(PICTURE)における内部白
画素塊の配置例を示す図である。
【図18】文書画像の例と、これをステップS1201
の要素抽出、木構造化によって処理して得られる木構造
の例を示す図である。
【図19】図12のステップS1202による木構造の
変更処理を説明するフローチャートである。
【図20】上述した木構造変更処理の例を説明する図で
ある。
【図21】ステップS1203における文字領域の作成
処理を説明するフローチャートである。
【図22】枠領域を持つ文書の領域分割処理例を示す図
である。
【図23】本実施形態により色付き下地領域を持つカラ
ー文書が正しく領域分割される様子を示す図である。
【図24】一般的な手法により色付きの下地領域を持つ
カラー文書に領域分割を行った様子を説明する図であ
る。
【図25】領域分割の一例を示す図である。
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) H04N 1/40 H04N 1/40 F Fターム(参考) 5B029 AA02 DD05 EE08 5C077 MP05 MP08 PP13 PP21 PP27 PP28 PP58 PQ08 RR04 RR16 5C082 AA01 AA19 BA02 BA12 BB26 CA54 CA56 CB06 DA87 MM02 MM08 MM09 5L096 AA02 EA43 FA44 FA74 GA38 GA51 HA09

Claims (11)

    【特許請求の範囲】
  1. 【請求項1】 カラー画像より下地色の異なる領域を抽
    出し、該領域の位置と大きさを表す領域情報を生成する
    生成手段と、 前記カラー画像を2値化することにより2値画像データ
    を得る2値化手段と、 前記2値化手段で得られた2値画像データと前記生成手
    段で生成された領域情報に基づいて領域分割を行う分割
    処理手段とを備えることを特徴とする文書処理装置。
  2. 【請求項2】 前記生成手段は、前記カラー画像を複数
    の閾値により2値化して複数の2値画像を取得し、各2
    値画像において所定サイズより大きい黒領域を抽出して
    下地色の異なる領域とすることを特徴とする請求項1に
    記載の文書処理装置。
  3. 【請求項3】 前記2値化手段は、 前記生成手段で抽出した黒領域の各々に対応する前記カ
    ラー画像の部分領域について2値化のための閾値を設定
    する設定手段と、 設定されたそれぞれの閾値で前記部分領域を2値化して
    2値化部分画像を取得する取得手段と、 得られた2値化部分画像を合成して前記カラー画像の2
    値画像を生成する合成手段とを備えることを特徴とする
    請求項2に記載の文書処理装置。
  4. 【請求項4】 前記2値化手段において、 前記生成手段で抽出した黒領域に対応する前記カラー画
    像の部分領域について白黒の反転を行うか否かを決定す
    る決定手段と、 反転を行うと決定された部分領域の、前記取得手段で取
    得した2値部分画像の白黒を反転する反転手段を更に備
    え、 前記合成手段は、前記取得手段で取得した2値部分画像
    と前記反転手段で取得した2値部分画像を用いることを
    特徴とする請求項3に記載の文書処理装置。
  5. 【請求項5】 前記分割処理手段は、 前記2値化手段で得られた2値画像データから文書要素
    を抽出して木構造を形成する形成手段と、 前記木構造の中に、前記領域情報が示す領域に含まれる
    文書要素を、該領域を示す親に接続される子とした部分
    木構造を形成して木構造を変更する変更手段とを備え、 前記形成手段と変更手段によって得られた木構造に基づ
    いて領域分割を行うことを特徴とする請求項1に記載の
    文書処理装置。
  6. 【請求項6】 カラー画像より下地色の異なる領域を抽
    出し、該領域の位置と大きさを表す領域情報を生成する
    生成工程と、 前記カラー画像を2値化することにより2値画像データ
    を得る2値化工程と、 前記2値化工程で得られた2値画像データと前記生成工
    程で生成された領域情報に基づいて領域分割を行う分割
    処理工程とを備えることを特徴とする文書処理方法。
  7. 【請求項7】 前記生成工程は、前記カラー画像を複数
    の閾値により2値化して複数の2値画像を取得し、各2
    値画像において所定サイズより大きい黒領域を抽出して
    下地色の異なる領域とすることを特徴とする請求項6に
    記載の文書処理方法。
  8. 【請求項8】 前記2値化工程は、 前記生成工程で抽出した黒領域の各々に対応する前記カ
    ラー画像の部分領域について2値化のための閾値を設定
    する設定工程と、 設定されたそれぞれの閾値で前記部分領域を2値化して
    2値化部分画像を取得する取得工程と、 得られた2値化部分画像を合成して前記カラー画像の2
    値画像を生成する合成工程とを備えることを特徴とする
    請求項7に記載の文書処理方法。
  9. 【請求項9】 前記2値化工程において、 前記生成工程で抽出した黒領域に対応する前記カラー画
    像の部分領域について白黒の反転を行うか否かを決定す
    る決定工程と、 反転を行うと決定された部分領域の、前記取得工程で取
    得した2値部分画像の白黒を反転する反転工程を更に備
    え、 前記合成工程は、前記取得工程で取得した2値部分画像
    と前記反転工程で取得した2値部分画像を用いることを
    特徴とする請求項8に記載の文書処理方法。
  10. 【請求項10】 前記分割処理工程は、 前記2値化工程で得られた2値画像データから文書要素
    を抽出して木構造を形成する形成工程と、 前記木構造の中に、前記領域情報が示す領域に含まれる
    文書要素を、該領域を示す親に接続される子とした部分
    木構造を形成して木構造を変更する変更工程とを備え、 前記形成工程と変更工程によって得られた木構造に基づ
    いて領域分割を行うことを特徴とする請求項6に記載の
    文書処理方法。
  11. 【請求項11】 請求項6乃至10のいずれか1項に記
    載の文書処理方法をコンピュータに実現させるための制
    御プログラムを格納することを特徴とする記憶媒体。
JP2000388887A 2000-12-21 2000-12-21 文書処理装置及び方法 Expired - Fee Related JP4366011B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2000388887A JP4366011B2 (ja) 2000-12-21 2000-12-21 文書処理装置及び方法
US10/013,675 US7170647B2 (en) 2000-12-21 2001-12-13 Document processing apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000388887A JP4366011B2 (ja) 2000-12-21 2000-12-21 文書処理装置及び方法

Publications (3)

Publication Number Publication Date
JP2002190957A true JP2002190957A (ja) 2002-07-05
JP2002190957A5 JP2002190957A5 (ja) 2008-02-14
JP4366011B2 JP4366011B2 (ja) 2009-11-18

Family

ID=18855549

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000388887A Expired - Fee Related JP4366011B2 (ja) 2000-12-21 2000-12-21 文書処理装置及び方法

Country Status (2)

Country Link
US (1) US7170647B2 (ja)
JP (1) JP4366011B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010026239A (ja) * 2008-07-18 2010-02-04 Casio Comput Co Ltd 表示装置、表示方法及びプログラム
KR101037936B1 (ko) 2004-11-16 2011-05-30 삼성전자주식회사 컬러문서의 선택적 스캔 시스템 및 방법
JP2021501382A (ja) * 2018-02-12 2021-01-14 オラクル・インターナショナル・コーポレイション 自動コード生成
US11119738B2 (en) 2017-01-18 2021-09-14 Oracle International Corporation Generating data mappings for user interface screens and screen components for an application

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3950777B2 (ja) * 2002-09-30 2007-08-01 キヤノン株式会社 画像処理方法、画像処理装置および画像処理プログラム
JP4423076B2 (ja) * 2004-03-22 2010-03-03 キヤノン株式会社 認識対象切出し装置および方法
JP4713107B2 (ja) * 2004-08-20 2011-06-29 日立オムロンターミナルソリューションズ株式会社 景観中文字列認識方式および装置
US7848567B2 (en) * 2004-09-23 2010-12-07 Fuji Xerox Co., Ltd. Determining regions of interest in synthetic images
JP4646797B2 (ja) * 2005-02-01 2011-03-09 キヤノン株式会社 画像処理装置及びその制御方法、プログラム
US7570403B2 (en) * 2005-03-16 2009-08-04 Kabushiki Kaisha Toshiba Color image processing apparatus
TWI289809B (en) * 2005-07-05 2007-11-11 Compal Electronics Inc A method for undistorting image frame
JP4717562B2 (ja) * 2005-09-02 2011-07-06 キヤノン株式会社 画像処理装置及び方法
JP5215545B2 (ja) * 2006-09-13 2013-06-19 Towa株式会社 電子部品の装着状況の検査方法
US20090007128A1 (en) * 2007-06-28 2009-01-01 International Business Machines Corporation method and system for orchestrating system resources with energy consumption monitoring
JP4960817B2 (ja) 2007-09-19 2012-06-27 キヤノン株式会社 画像処理装置、および画像処理方法
WO2009059138A1 (en) 2007-11-01 2009-05-07 Wms Gaming Inc. Wagering game apparatus and method to provide a trusted gaming environment
JP5656353B2 (ja) * 2007-11-07 2015-01-21 インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation マルチリンガル・テキスト・リソースのアクセスを制御するための方法および装置
JP5121599B2 (ja) * 2008-06-30 2013-01-16 キヤノン株式会社 画像処理装置、画像処理方法およびそのプログラムならびに記憶媒体
US8103098B2 (en) * 2008-09-03 2012-01-24 Primax Electronics Ltd. Method for generating a non-graphical digital image from an original digital image
JP5208043B2 (ja) * 2009-04-16 2013-06-12 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP5462522B2 (ja) * 2009-05-07 2014-04-02 キヤノン株式会社 画像処理装置、画像処理方法、当該画像処理方法をコンピュータに実現させるためのプログラム
JP5462557B2 (ja) * 2009-09-03 2014-04-02 キヤノン株式会社 画像処理装置及びその制御方法
JP5511450B2 (ja) * 2010-03-16 2014-06-04 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP5733907B2 (ja) 2010-04-07 2015-06-10 キヤノン株式会社 画像処理装置、画像処理方法、コンピュータプログラム
US9367899B1 (en) * 2015-05-29 2016-06-14 Konica Minolta Laboratory U.S.A., Inc. Document image binarization method
CN105761230B (zh) * 2016-03-16 2018-12-11 西安电子科技大学 基于天空区域分割处理的单幅图像去雾方法
JP6452657B2 (ja) * 2016-09-07 2019-01-16 キヤノン株式会社 画像処理装置、その制御方法、及びプログラム
CN111476067B (zh) * 2019-01-23 2023-04-07 腾讯科技(深圳)有限公司 图像的文字识别方法、装置、电子设备及可读存储介质
CN113554658A (zh) * 2020-04-23 2021-10-26 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN111611783B (zh) * 2020-06-18 2023-04-25 山东旗帜信息有限公司 一种图形表格的定位分割方法及装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5617485A (en) * 1990-08-15 1997-04-01 Ricoh Company, Ltd. Image region segmentation system
JP3100391B2 (ja) * 1990-08-15 2000-10-16 株式会社リコー カラー画像の領域分離装置
US5680479A (en) 1992-04-24 1997-10-21 Canon Kabushiki Kaisha Method and apparatus for character recognition
US5872864A (en) * 1992-09-25 1999-02-16 Olympus Optical Co., Ltd. Image processing apparatus for performing adaptive data processing in accordance with kind of image
JP3258122B2 (ja) * 1993-03-31 2002-02-18 株式会社東芝 画像処理装置
US5768412A (en) * 1994-09-19 1998-06-16 Hitachi, Ltd. Region segmentation method for particle images and apparatus thereof
US5848185A (en) * 1994-12-28 1998-12-08 Canon Kabushiki Kaisha Image processing apparatus and method
US5920655A (en) * 1995-02-10 1999-07-06 Canon Kabushiki Kaisha Binarization image processing for multi-level image data
JPH11238581A (ja) 1998-02-23 1999-08-31 Matsushita Electric Works Ltd 出力容量増幅器
US6360006B1 (en) * 1998-09-29 2002-03-19 Canon Kabushiki Kaisha Color block selection
JP4018310B2 (ja) * 1999-04-21 2007-12-05 株式会社リコー 画像二値化装置、画像撮像装置、画像二値化方法、画像撮像方法およびその方法の各工程としてコンピュータを機能させるためのプログラムを記録したコンピュータ読取可能な記録媒体
JP3708363B2 (ja) * 1999-05-07 2005-10-19 シャープ株式会社 カラー画像形成装置
US6473522B1 (en) * 2000-03-14 2002-10-29 Intel Corporation Estimating text color and segmentation of images
GB2364416B (en) * 2000-06-30 2004-10-27 Post Office Image processing for clustering related text objects
JP3904840B2 (ja) * 2000-08-15 2007-04-11 富士通株式会社 多値画像から罫線を抽出する罫線抽出装置
US6580433B2 (en) * 2001-03-06 2003-06-17 Mitsubishi Heavy Industries, Ltd. Automatic reverse method for reversing the black-and-white monochrome image, and printer unit using the same
US6983078B2 (en) * 2001-05-01 2006-01-03 Hewlett-Packard Development Company, L.P. System and method for improving image quality in processed images

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101037936B1 (ko) 2004-11-16 2011-05-30 삼성전자주식회사 컬러문서의 선택적 스캔 시스템 및 방법
JP2010026239A (ja) * 2008-07-18 2010-02-04 Casio Comput Co Ltd 表示装置、表示方法及びプログラム
US11119738B2 (en) 2017-01-18 2021-09-14 Oracle International Corporation Generating data mappings for user interface screens and screen components for an application
JP2021501382A (ja) * 2018-02-12 2021-01-14 オラクル・インターナショナル・コーポレイション 自動コード生成

Also Published As

Publication number Publication date
US20020085243A1 (en) 2002-07-04
US7170647B2 (en) 2007-01-30
JP4366011B2 (ja) 2009-11-18

Similar Documents

Publication Publication Date Title
JP4366011B2 (ja) 文書処理装置及び方法
JP4646797B2 (ja) 画像処理装置及びその制御方法、プログラム
JP3950777B2 (ja) 画像処理方法、画像処理装置および画像処理プログラム
KR101399709B1 (ko) 모델-기반 디워핑 방법 및 장치
JP3308032B2 (ja) スキュー補正方法およびスキュー角検出方法およびスキュー補正装置およびスキュー角検出装置
JP4469873B2 (ja) 画像文書の検索装置、プログラム、及び記録媒体
CN105528614B (zh) 一种漫画图像版面的识别方法和自动识别系统
JP2007074030A (ja) 画像処理装置及び方法
JP4366003B2 (ja) 画像処理装置及び画像処理方法
JP2003152995A (ja) 画像処理装置
EP0949579A2 (en) Multiple size reductions for image segmentation
JP4582204B2 (ja) 画像処理装置、画像変換方法、およびコンピュータプログラム
JP2000207489A (ja) 文字抽出方法、装置および記録媒体
JP2003244447A (ja) 画像処理装置及び画像処理方法
JP5171421B2 (ja) 画像処理装置、画像処理方法、コンピュータプログラム
JP4441300B2 (ja) 画像処理装置、画像処理方法、画像処理プログラムおよびこのプログラムを記憶した記録媒体
JP4208520B2 (ja) 画像処理装置および画像処理方法、プログラムおよび記憶媒体
US8295602B2 (en) Image processing apparatus and image processing method
JP2002175532A (ja) 画像処理装置、画像処理方法および画像処理プログラムを記録した記憶媒体
JP2003338934A (ja) 画像処理装置および方法
JP2001043312A (ja) 文書画像処理装置
JP4587167B2 (ja) 画像処理装置及び画像処理方法
JP2004242075A (ja) 画像処理装置および方法
JP2002314806A (ja) 画像処理方法及びその装置
JP2002312794A (ja) 画像処理方法及びその装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071221

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071221

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20071221

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20080829

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090327

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090403

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090601

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090807

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090824

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120828

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120828

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130828

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees