JP2000050051A - 画像認識装置 - Google Patents

画像認識装置

Info

Publication number
JP2000050051A
JP2000050051A JP10216695A JP21669598A JP2000050051A JP 2000050051 A JP2000050051 A JP 2000050051A JP 10216695 A JP10216695 A JP 10216695A JP 21669598 A JP21669598 A JP 21669598A JP 2000050051 A JP2000050051 A JP 2000050051A
Authority
JP
Japan
Prior art keywords
image
document
histogram
image data
density
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP10216695A
Other languages
English (en)
Other versions
JP3675181B2 (ja
Inventor
Shoji Imaizumi
祥二 今泉
Kazuhiro Ueda
和弘 上田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Minolta Co Ltd
Original Assignee
Minolta Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Minolta Co Ltd filed Critical Minolta Co Ltd
Priority to JP21669598A priority Critical patent/JP3675181B2/ja
Publication of JP2000050051A publication Critical patent/JP2000050051A/ja
Application granted granted Critical
Publication of JP3675181B2 publication Critical patent/JP3675181B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Abstract

(57)【要約】 【課題】 高濃度な背景画像に文字が白抜きで表現され
ているような原稿等であっても精度良く原稿方向の認識
が行える画像認識装置を提供することを目的とする。 【解決手段】 方向認識の対象原稿が高濃度な背景画像
に文字が白抜きで表現されているような原稿D2であっ
た場合には、作成したヒストグラムH3、H4を反転さ
せ、図7(a)に示すようなヒストグラムH1、H2と
し、反転後のヒストグラムに基づいて、原稿方向の認識
を行う。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、複写機などの画像
形成装置の原稿読取部に用いられ、読み取った原稿の方
向を認識する画像認識装置に関する。
【0002】
【従来の技術】原稿自動搬送装置(ADF)を用いて複
数枚の原稿のコピーを行った場合、原稿セット台にセッ
トした原稿の一部が他の原稿と逆方向なっていた場合で
も、そのままコピーされ、当該一部の原稿は逆方向のま
ま記録紙上に再現され出力されるのが通常である。
【0003】したがって、記録紙に再現される画像の方
向を揃えたいのであれば、やはり、コピーしようとする
原稿の方向を、複写機の利用者が一枚づつ確認し、揃え
た上でコピーを行う必要がある。しかし、このような確
認作業は結構手間がかかるものであり、原稿枚数が多け
れば、それだけ逆方向の原稿を見落とすおそれも大きく
なる。この確認作業が不完全であると、出力された記録
紙について、いちいち、その方向を変更するといった作
業をしなければならない。さらに、複数部をソートして
コピーしたような場合にあっては、その部数回分上記し
た作業を繰り返さなければならず、その煩に耐えない。
【0004】そこで、従来、読み取った原稿データから
原稿の方向を認識し(このような原稿方向の認識を以
下、「原稿方向認識」という。)、その画像出力が適切
な方向になるように画像データを回転処理して出力する
方法が種々提案されている。原稿方向認識方法として、
例えば、以下に記すような、原稿における文字画像の分
布状況(文書のレイアウト情報)から原稿の方向を認識
する方法がある。
【0005】先ず、読み取った原稿の画像データに基づ
き、主走査方向と副走査方向について黒画素数を計数し
て得られるヒストグラムを作成する。作成された二つの
ヒストグラムの内、度数0の領域とそうでない領域とが
一定間隔で現れるような分布をしたヒストグラムが、そ
の原稿の行方向を示していることになる。一般に、文字
画像は行間が空白になっているからである。
【0006】行方向が分かれば、他方のヒストグラムか
ら、横書原稿の左右方向あるいは縦書原稿の上下方向を
判別する。通常、各文は、横書であれば左側に、縦書で
あれば上側に(以下、当該左側、当該上側の両方を合わ
せて「行頭側」という。)詰めて書き始めるため、各文
頭は行頭側で揃う一方、文末は区々になる。したがっ
て、上記他方のヒストグラムにおいては、全体的に一方
から他方向かって漸減するような分布、即ち、行頭側か
ら行末側に向かって漸減するような分布状態となるの
で、その原稿の行頭側が判断できる。
【0007】以上のようにして判断した行方向と行頭側
とからその原稿における文書の先頭が判り、その結果、
原稿方向の認識が可能となる。
【0008】
【発明が解決しようとする課題】しかしながら、上記従
来の方法は、文字が黒色で表現されることを前提として
いるため、雑誌等でよく見かける高濃度な背景画像に文
字が白抜きで表現されているような原稿等にあっては、
原稿方向の認識の精度が低下するといった事態が生じ
る。例えば、行頭側を認識するためのヒストグラムにあ
っては、上記した分布状態が、全く逆の傾向を示してし
まうからである。
【0009】上記の課題に鑑み、本発明は、原稿の種類
にかかわらず、精度良く原稿方向の認識が行える画像認
識装置を提供することを目的とする。
【0010】
【課題を解決するための手段】上記の課題を解決するた
め、本発明に係る画像認識装置は、文字画像を含む原稿
の画像データに基づいて、当該原稿の方向を画像方向認
識手段によって認識する画像認識装置であって、前記画
像データの濃度を反転させる濃度反転手段と、濃度反転
手段による反転が行われると、前記画像方向認識手段は
反転後の画像データに基づいて原稿の方向を認識するこ
とを特徴とする。
【0011】また、前記濃度反転手段は、前記画像デー
タの平均濃度が所定の基準濃度よりも高いか否かを判定
する濃度判定部を含み、高いと判定した場合に、前記反
転動作を実行することを特徴とする。また、画像方向認
識手段が反転前の画像データに基づいて原稿の方向が認
識できなかったときに限り、濃度反転手段による反転動
作を許可する反転許可手段を備えたことを特徴とする。
【0012】上記の課題を解決するため、本発明に係る
画像認識装置は、文字画像を含む原稿の方向を認識する
画像認識装置であって、前記原稿の画像データから、当
該原稿の濃度分布を示すヒストグラムを作成するヒスト
グラム作成手段と、作成されたヒストグラムを反転させ
るヒストグラム反転手段と、反転後のヒストグラムに基
づいて、原稿方向を認識する原稿方向認識手段とを備え
たことを特徴とする。
【0013】また、前記ヒストグラム反転手段は、前記
画像データの平均濃度が所定の基準濃度よりも高いか否
かを判定する濃度判定部を含み、高いと判定した場合
に、前記反転動作を実行することを特徴とする。
【0014】
【発明の実施の形態】以下、本発明に係る画像認識装置
の実施の形態を、デジタル複写機に適用した場合につい
て説明する。 (1)デジタル複写機全体の構成 まず、デジタル複写機(以下、単に「複写機」とい
う。)の全体の構成を図1により説明する。
【0015】同図に示すように、この複写機は、原稿自
動搬送装置10と、画像読取部30と、プリンタ部50
と、給紙部70とからなる。原稿自動搬送装置10は、
原稿を自動的に画像読取部30に搬送する装置であっ
て、原稿給紙トレイ11に載置された原稿は、給紙ロー
ラ12、捌きローラ13により1枚ずつ分離されて下方
に送られ、搬送ベルト14によって、プラテンガラス3
1上の原稿読取位置まで搬送される。
【0016】原稿読取位置に搬送された原稿は、画像読
取部30のスキャナ32によりスキャンされた後、再
び、搬送ベルト14により図の右方向に送られ、排紙ロ
ーラ15を経て原稿排紙トレイ16上に排出される。画
像読取部30は、上記プラテンガラス31の原稿読取位
置に搬送された原稿の画像を光学的に読み取るものであ
って、スキャナ32、CCDイメージセンサ(以下、単
に「CCDセンサ」という。)38などから構成され
る。
【0017】スキャナ32には、露光ランプ33とこの
露光ランプ33の照射による原稿からの反射光をプラテ
ンガラス31に平行な方向に光路変更するミラー34が
設置され、図の矢印方向に移動することによりプラテン
ガラス31上の原稿をスキャンする。原稿からの反射光
はミラー34に反射された後、さらにミラー35、36
および集光レンズ37を介してCCDイメージセンサ3
8まで導かれ、ここで電気信号に変換されて画像データ
が生成される。なお、本実施の形態のCCDセンサ38
の解像度は、400DPIとする。
【0018】当該画像データは、制御部100内の画像
信号前処理部110(図2参照)においてA/D変換さ
れてデジタル信号となり、さらにシェーディング補正や
濃度変換処理等を加えられた後、中間調処理部120へ
送られ、公知の誤差拡散処理を加えられた後、高解像度
画像メモリ130(同図2)に格納される。高解像度画
像メモリ130に格納された画像データは、後述するよ
うにCPU190でなされた原稿方向認識処理の結果に
応じて回転処理され、プリンタ部50のレーザダイオー
ド51の駆動信号となる。
【0019】プリンタ部50は、公知の電子写真方式に
より記録シート上に画像を形成するものであって、上記
駆動信号を受信するとレーザダイオード51を駆動して
レーザ光を出射させる。レーザ光は、所定の角速度で回
転するポリゴンミラー52側面のミラー面で反射され、
fθレンズ53、ミラー54、55を介して、感光体ド
ラム56の表面を露光走査する。
【0020】この感光体ドラム56は、上記露光を受け
る前にクリーニング部57で感光体表面の残留トナーを
除去され、さらにイレーサランプ(図示せず)の照射を
受けて除電された後、帯電チャージャ58により一様に
帯電されており、このように一様に帯電した状態で上記
露光を受けると、感光体ドラム56表面に静電潜像が形
成される。
【0021】現像器59は、感光体ドラム56表面に形
成された上記静電潜像を現像する。一方、給紙部70に
は、2つの用紙カセット71、72が設けられており、
上述の感光体ドラム56の露光および現像の動作と同期
して、必要なサイズの記録シートが、用紙カセット7
1、72のいずれかから、給紙ローラ711もしくは7
21の駆動により給紙される。給紙された記録シート
は、感光体ドラム56の下方で当該感光体ドラム56の
表面に接触し、転写チャージャ60の静電力により、感
光体ドラム56表面に形成されていたトナー像が当該記
録シート表面に転写される。
【0022】その後、記録シートは、分離チャージャ6
1の静電力によって感光体ドラム56の表面から剥さ
れ、搬送ベルト62により定着部63に搬送される。記
録シートに転写されたトナー像は、定着部63において
内部にヒータを備えた定着ローラ64で加熱されながら
押圧されることにより定着される。定着後の記録シート
は、排出ローラ65により排紙トレイ66上に排出され
る。
【0023】また、複写機前面の操作しやすい位置に
は、操作パネル90が設けられており、コピー枚数を入
力するテンキーやコピー開始を指示するスタートキー、
各種のコピーモードを設定するための設定キー、上記設
定キーなどにより設定されたモードをメッセージで表示
する表示部などが設けられている。 (2)制御部100の構成 次に、上記制御部100の構成を図2のブロック図を参
照して説明する。
【0024】同図に示すように、制御部100は、画像
信号前処理部110、中間調処理部120、高解像度画
像メモリ130、回転処理部140、LD駆動部15
0、解像度変換部160、単純2値化処理部170、低
解像度認識用メモリ180、CPU190、RAM19
1及びROM192から成る。画像信号前処理部110
は、A/Dコンバータ、シェーディング補正部、MTF
補正部、γ補正部などを備えており、400DPIの解
像度で入力された原稿の画像データは、A/Dコンバー
タでデジタルの多値信号、例えば256(0〜255)
階調のデータ値に変換され、シェーディング補正部でC
CDセンサ38の感度ムラが補正された後、MTF補正
部でエッジ強調などの画質改善のための処理を受け、γ
補正部でγ補正処理を加えられた後に、中間調処理部1
20および解像度変換部160に送られる。
【0025】中間調処理部120は、写真などのような
濃淡(中間調)のある画像を含む原稿を忠実に再現する
ため、擬似中間調再現法によって、当該濃淡画像の階調
再現処理を行うものであって、本実施の形態では公知の
誤差拡散法が用いられる。画像信号前処理部110から
送られてくる画像データは、当該誤差拡散処理において
2値化される。なお、画像データが2値化される際の閾
値(2値化レベル1)は、CPU190から設定される
ようになっており、本実施の形態では2値化レベル1=
64が設定されている。誤差拡散後のデータ値が64を
越える画素については黒色(255)で、それ以下の画
素については白色(0)で置き換えられる。このように
して2値化された画像データは、ページ単位で高解像度
画像メモリ130に格納される。
【0026】ここで、新聞を原稿とした画像データを中
間調処理部120で2値化したものの一部を図3(a)
に示す(画像201)。新聞などのように、中間調をし
た地肌に黒色の文字が表わされている原稿を中間調処理
部120で2値化すると、本図に示すように、地肌領域
は、黒点(黒画素)が散在した形で、文字領域は密集し
た形で表現される。目の積分効果により、人は、画像2
01の地肌領域を原稿(新聞)と同様な中間調であると
感じ、文字領域は真っ黒であると感じるのである。
【0027】原稿画像の濃淡部分は、その画像データが
中間調処理部120で2値化されると、当該濃淡の程度
に応じた間隔で黒画素が散在した形で表わされる。当該
黒画素の間隔は、誤差拡散後の2値化処理における閾値
(2値化レベル1)の大小によって決定される。即ち、
閾値が小さいとより多くの画素を黒(255)に置き換
えることとなり、閾値が大きいと黒に置き換わる画素の
数は少なくなる。誤差拡散処理の目的は、原稿画像を忠
実に再生することにあるため、当該閾値を極端に小さな
値にすることはなく(濃淡部分が原稿画像よりも黒っぽ
く表現されてしまう)、また、極端に大きな値にするこ
ともない(濃淡部分が原稿画像よりも白っぽく表現され
てしまう)。この閾値の決定は、経験によるところが大
きいが、256階調の真ん中よりも少し小さ目の値に設
定されるのが通常であると思われる。
【0028】図2に戻って、回転処理部140は、CP
U190からの指示により高解像度画像メモリ130か
ら目的のページの画像データを順次読み出して、後述す
る原稿方向認識処理の結果に基づき必要に応じて回転処
理した後、LD駆動部150に転送する。なお、この回
転処理は、画像データのメモリアドレスを変更する公知
の技術(例えば、特開昭60−126769号公報)に
よってなされる。
【0029】LD駆動部150は、転送されてくる画像
データに基づいてレーザダイオード51の駆動信号を生
成し、レーザダイオード51を駆動させる。一方、解像
度変換部160は、画像信号前処理部110から送られ
てくる画像データ(400DPI)を25DPIの低解
像度画像データに変換する。この解像度変換処理は、公
知の技術であって、400DPIの画像データの中から
主走査方向と副走査方向にそれぞれ連続する16画素×
16画素のマトリクスを1ブロックとして抽出し、この
1ブロック中の256個の画素の中で最も階調データの
値が高いものを取得して当該25DPIの1画素として
の階調データ値とし、これを画像データ全体について行
い、25DPIの画像データに変換するものである。
【0030】このように画像データの解像度を低解像度
に変換するのは、後述するヒストグラムによる原稿方向
の認識のためには、原稿における文字の分布情報(文書
のレイアウト情報)があれば足り、文字の形状がそのま
ま保存される高解像度である必要が無い一方、低解像度
に変換することにより情報量が少なくなるため、その後
の処理を高速化でき、また、当該情報を格納するための
メモリに安価なものが使用できることとなり、装置全体
のコストダウンに寄与するからである。
【0031】単純2値化処理部170は、解像度変換部
160において25DPIに解像度変換された低解像度
画像データを2値化して低解像度認識用メモリ180に
格納する。単純2値化処理部170は、コンパレータを
備えており、当該コンパレータで、低解像度画像データ
の各画素毎の階調データ値と2値化のための閾値(2値
化レベル2)との大小比較をし、2値化レベル2よりも
大きい画素は黒(255)に、2値化レベル2以下の画
素は白(0)に、それぞれ置き換えら(2値化され)、
低解像度認識用メモリ180に格納される。この場合の
2値化レベル2は、上記2値化レベル1と同様にCPU
190から設定されるようになっており、本例では、2
値化レベル2=200が設定される。この2値化レベル
2(=200)に前記した2値化レベル1(=64)よ
りも極端に大きな値を用いるのは、2値化レベル1の値
が原稿画像を可能な限り忠実に再現する目的で設定され
る値であるのに対し、2値化レベル2は、原稿画像から
可能な限り黒で表現される文字情報のみを抽出すること
を目的とするからである。即ち、2値化レベル2の値
は、原稿画像データの内、通常は黒(255)又は黒に
近い濃度で表現される文字のデータを抽出でき、かつ、
それ以外のデータを可能な限り排除できるような値に設
定する必要があるからである。なお、2値化レベル2
は、この値200に限定されることはなく、文字以外の
画像である中間調画像を極力除去できる値であればよ
い。
【0032】ここで、上述した新聞の原稿を単純2値化
処理部170において2値化処理させた後の一部を図3
(b)に示す(画像202)。画像信号前処理部110
から送られてくる原稿の画像データの内、文字部分は、
解像度変換部160において低解像度画像データに変換
されたために、文字の線幅が太くなり、その結果として
線間に隙間がなくなって文字部分が黒ベタとなって連結
した柱状形になっている。一方、地肌部分は、解像度変
換部160による処理直後には、所定の階調値としてそ
の濃度情報は保存されているものの、その階調値のほと
んどは200以下のため、2値化処理部170で白
(0)画素に置き換えられている。即ち、低解像度認識
用メモリ180には、文字の分布情報(文書のレイアウ
ト情報)や文字サイズ(文字高さ)情報を含み、それ以
外の情報は可能な限り排除された形の画像データが格納
されることとなる。
【0033】低解像度認識用メモリ180は、2値化さ
れた低解像度画像データをページ毎に格納する。RAM
191は、CPU190にてなされる後述するノイズ除
去処理1あるいは2後の原稿画像データを記憶すると共
に各種の制御変数などを一時記憶する。ROM192
は、原稿自動搬送装置10における原稿搬送動作や画像
読取部30におけるスキャン動作やプリンタ部50にお
ける画像形成動作に関するプログラムおよび画像データ
を回転処理させるためのプログラムなどに加えて上述の
2値化処理にて設定される2値化レベル1と2値化レベ
ル2の値および後述の孤立点判定条件値が格納されてい
る。
【0034】CPU190は、ROM192から必要な
プログラムを読み出して、2値化レベル1および2の値
をそれぞれ設定し、あるいは後述する反転フラグを設定
し、または低解像度認識用メモリ180に格納されてい
る低解像度画像データを1ページ毎に読み出して後述す
るノイズ除去処理1あるいは2を行った後、ページ毎に
RAM191に格納し、このデータからヒストグラムを
生成し、これに基づいて文字の方向を認識して原稿方向
を認識し、適切な方向で画像データが出力されるように
回転処理部140に回転角信号を送出する原稿方向認識
処理を行う。さらに、原稿自動搬送装置10、画像読取
部30、プリンタ部50などの動作をタイミングを取り
ながら統一的に制御して円滑な複写動作を実行させる。
【0035】上記したヒストグラムの作成及び作成され
たヒストグラムに基づく原稿方向の認識は、例えば、特
開平9ー9040号公報で開示されている公知の技術に
よって実現できるため、ここでは、その詳細な説明は省
略し、概略を述べるにとどめる。例えば、図7(a)に
示す原稿D1を例にとって、説明する。原稿D1は、白
地に黒色で文字が書かれている一般的な原稿(以下、
「通常原稿」という。)である。CPU190は、原稿
D1の、低解像度認識用メモリ180に格納されている
画像データから、主走査方向について黒画素を計数して
ヒストグラムH1を、副走査方向について黒画素を計数
してヒストグラムH2をそれぞれ作成する。これらヒス
トグラムH1,H2の内、低度数の領域と高度数の領域
とが交互に現れるような分布を示すヒストグラムがその
原稿の行方向を示すことになる。文字画像は一般的に行
間が空白(度数0)になっているからである。本例で
は、ヒストグラムH1から、当該原稿D1の行の方向
は、主走査方向にあることがわかる。
【0036】行方向が分かれば、他方のヒストグラムH
2から、その行頭側を判別する。当該行頭側は、「従来
の技術」の項でも説明したように、ヒストグラムH2の
分布の増減傾向から判断する。増減傾向は、ヒストグラ
ムが急激に変化する部分(以下、「エッジ」という。)
の数のカウント結果から判断する。ヒストグラムを度数
軸(画素数を目盛った軸)と直交する軸方向(一方向)
に見ていき、度数が増加するエッジ(以下、「立ち上が
りエッジ」という。)と度数が減少するエッジ(以下、
「立ち下がりエッジ」という。)の数をそれぞれ個別に
カウントし、両カウント値の大小を比較する。その結
果、立ち下がりエッジの数が立ち上がりエッジの数より
も多い場合には、そのヒストグラムは、前記一方向に漸
減していると考えられ、その逆の場合には、前記一方向
に漸増しているものと考えられる。例えば、ヒストグラ
ムH2の場合、紙面左から右に向かう一方向に、両エッ
ジの数をカウントすると、立ち上がりエッジは1個、立
ち下がりエッジは5個となり、立ち下がりエッジの数が
立ち上がりエッジの数よりも多いことが判る。よって、
ヒストグラムH2は、紙面左から右に向かって、漸減し
ていると考えられ、「従来の技術」の項でも説明したよ
うに、このことから、当該原稿の行頭側は、紙面に向か
って左側であると判断できる。
【0037】以上のようにして判断した行方向と行頭側
とから原稿D1における文書の先頭は、紙面に向かって
左上にあることが判り、その結果、原稿方向の認識が可
能となる。続いて、ヒストグラム作成の前処理を含めた
原稿方向認識処理の手順を図4のフローチャートに基づ
いて説明する。
【0038】CPU190は、まずノイズ除去処理1と
して、低解像度認識用メモリ180に格納されている低
解像度画像データ内の孤立点をノイズとみなしてノイズ
除去フィルタ3×3を用いて除去し、ノイズ除去後の画
像データをRAM191に格納する(ステップS1、S
2)。そして、RAM191に格納された画像データか
ら、原稿画像中の文字画像の濃度分布を示すヒストグラ
ムを生成する(ステップS3)。続いて生成されたヒス
トグラムから、原稿の平均濃度を求め、当該平均濃度が
所定の基準濃度を越える高濃度であるか否かを判断し
(ステップS4)、所定濃度を越えると判断した場合
は、反転フラグを「1」に設定し(ステップS5)、当
該ヒストグラムを反転させる(ステップS6)。
【0039】次に、生成されたヒストグラムから、原稿
の文字画像のサイズを検出し(ステップS8)、検出し
た文字サイズが所定のサイズよりも大きい場合には、ノ
イズ除去処理2としてノイズ除去フィルタのサイズを3
×3よりも大きな5×5に変更して低解像度認識用メモ
リ180に格納された画像データ内の孤立点を除去し
て、これをRAM191に格納させ(ステップS9、S
10)、上記ステップS3のヒストグラム生成処理と同
様の処理を行いヒストグラムを再生成する(ステップS
11)。そして、反転フラグが「1」であるか否かを判
断し(ステップS12)、「1」の場合には、上記ステ
ップS6のヒストグラム反転処理と同様の処理を行い、
ステップS11で生成されたヒストグラムを反転させる
(ステップS13)。反転フラグが「0」の場合には、
ステップS14に移る。なお、図示していないが、ステ
ップS13でヒストグラムの反転が行われた後に、上記
反転フラグは、「0」にリセットされる。
【0040】一方、検出された文字サイズが所定サイズ
以下の場合には(ステップS8で「N」)、ステップS
9〜S13を行わずにステップS14に移る。これは、
ノイズ除去フィルタのサイズを3×3にして孤立点を除
去し、これに基づいてヒストグラムを生成するという処
理がステップS1〜S6の中ですでに行なわれているか
らである。従って、文字サイズが所定サイズ以下の場合
には、ステップS9〜S13がスキップされることによ
り、ステップS1〜S6と同じ処理が実質的に選択され
て行なわれたことになる。
【0041】そして、上記ステップS3もしくはS11
で生成されたヒストグラム、あるいはステップS6もし
くはS13で反転されたヒストグラムに基づいて、原稿
方向を1ページ毎に認識し、この認識結果に基づいて原
稿の回転角度を設定する(ステップS14、S15)。
この認識処理と回転角度設定処理は、公知の技術、例え
ば特開平9−9040号公報に開示されている技術によ
り行う。
【0042】次に、上記の各処理の主なものについて図
5〜図8を用いてより具体的に説明する。 (ノイズ除去処理1)図5(a)は、ノイズ除去処理1
において用いられるノイズ除去フィルタ3×3(以下、
「フィルタ3×3」という。)により、孤立点が除去さ
れる様子を示したものである。
【0043】フィルタ3×3は、図に示すようにある1
つの画素(注目画素)が黒色画素であって、かつその注
目画素を取り囲む周辺画素が全て白色画素である場合
に、その注目画素を白色画素に変更させることにより、
孤立点を除去するものである。ノイズ除去処理1では、
フィルタ3×3の中心部に各画素が位置するようにフィ
ルタ3×3を順次移動させることにより、画像データ内
の孤立点を除去する。本実施の形態では、原稿画像が2
5DPIの解像度に画素分割されているので、1画素の
大きさは、約1mm(縦)×約1mm(横)となる。従
って、このフィルタ3×3を用いることにより、約1m
m×約1mmの大きさの孤立点を除去できることにな
る。
【0044】(文字サイズ検出処理)生成される二つの
ヒストグラムの内、行方向を示すヒストグラムに基づい
て、文字サイズを検出する。例えば、図7(a)であれ
ば、ヒストグラムH1から検出する。ヒストグラムH1
の分布を見れば分かるように、ヒストグラムの谷の部分
が行間を、山の部分が文字部をそれぞれ示している。従
って、ヒストグラムH1の山の部分の幅方向(副走査方
向)の画素数を計数すれば、文字の高さを求めることが
でき、この文字の高さから文字サイズを検出することが
できる。
【0045】(ノイズ除去処理2)ノイズ除去処理2で
は、検出された文字サイズが所定のサイズ、本実施の形
態では12ポイントよりも大きい場合に、ノイズ除去処
理1で用いたフィルタ3×3よりも大きなサイズのノイ
ズ除去フィルタ5×5(以下、「フィルタ5×5」とい
う。)に変更して画像データ内の孤立点を除去する。
【0046】図5(b)は、フィルタ5×5により孤立
点が除去される様子を示した図である。フィルタ5×5
は、縦5画素×横5画素の平方領域における中央の9画
素内(太線内)に、孤立点判定条件として設定される値
(本実施の形態では4)以下の数の黒画素が存在してい
る場合に、これを孤立点として除去する処理を行う。従
って、フィルタ5×5では、フィルタ3×3では除去で
きない大きさの孤立点、例えば黒画素が2×2個連結し
ているものを除去できることになる。
【0047】このように、本実施の形態では、原稿画像
中に存在する孤立点を除去するのに際し、文字サイズが
12ポイント以下の場合には、フィルタ3×3を用い、
12ポイントを越える場合にフィルタ5×5を用い、と
いったように文字サイズに応じてフィルタを使い分けて
ノイズを除去している。これは、ノイズとみなせる孤立
点の大きさと文字サイズの大きさとを相対的な関係とし
て捉えたからである。すなわち、文字のサイズが大きく
なれば、ノイズとみなせる孤立点の大きさもそれに合わ
せて大きいものになると考えられるからである。原稿画
像内に存在するノイズは、大きさがまちまちであり、文
字と同程度の大きさのものもあれば、1画素程度の微小
なものもあるが、上述したようにここでのノイズ除去処
理は、可能な限り文字画像のみからヒストグラムを生成
するために行うものなので、上記従来技術のような複雑
な処理を用いてまで全てのノイズを除去する必要はな
く、文字画像から離間している孤立点を極力除去できれ
ば足りる。
【0048】しかし、大小の孤立点の内でどれが文字画
像かノイズかを判断できなければ、文字画像から離間し
ている孤立点を除去することができない。そこで、文字
サイズを検出することにより、その大きさに相当する画
像が文字を構成する画像であると判断すると共に、文字
サイズよりもある程度小さな孤立点については、文字画
像の構成部分とは考えにくいことから、これをノイズと
みなすようにした。具体的には、本実施の形態では文字
画像が12ポイント(文字高さが約4.2mm)以下で
あれば、その1/4程度の大きさ(高さが約1mm)の
孤立点を除去できるフィルタ3×3を使用し、12ポイ
ントを越える文字画像の場合には、最大2mm×2mm
までの孤立点を除去できるフィルタ5×5を使用すると
いうように、文字サイズに応じてフィルタを切り換える
ようにしている。
【0049】図6(a)、(b)は、8ポイント(文字
高さ約2.8mm)の文字原稿と18ポイント(文字高
さ約6.3mm)の文字原稿に同じ大きさの孤立点(ノ
イズ)が存在している様子を示す図である。なお、この
孤立点は、縦2mm×横2mmの大きさである。この文
字原稿に対して本実施の形態の原稿方向認識処理を行う
と、まず8ポイント文字原稿については、ノイズ除去処
理1のフィルタ3×3により孤立点除去処理が行われ
る。ところが、1mm×1mmの大きさの孤立点を除去
するフィルタ3×3では、このノイズを除去できない。
上述したように、文字サイズの半分以上の大きさの孤立
点をノイズとみなすことはできず、逆にこれを除去しよ
うとして、フィルタサイズを大きくすれば、文字画像の
一部も除去されることになり不都合が生じるからであ
る。
【0050】一方、18ポイント文字原稿については、
最大2mm×2mmまでの大きさの孤立点を除去できる
フィルタ5×5を用いたノイズ除去処理2が行われるの
で、このノイズは除去されることになる。このように、
ノイズとみなす孤立点を文字サイズに応じて設定し、こ
れを除去するフィルタを文字サイズに応じて切り換えて
用いることにより、一定サイズのフィルタを用いるだけ
では除去できない孤立点が的確に除去されるようにな
り、これによりノイズが可能な限り除去された画像デー
タからヒストグラム生成されてより正確な原稿方向認識
を行うことができる。
【0051】なお、文字サイズに応じたフィルタサイズ
の切り換えは、2段階(12ポイント以下の場合にはフ
ィルタ3×3、12ポイントよりも大きな場合にはフィ
ルタサイズ5×5)に限定されないことはいうまでもな
く、文字サイズに応じてノイズとみなせる孤立点を除去
できるフィルタサイズを設定すればよいので、例えばポ
イント毎に異なるサイズのフィルタを準備しておいてそ
れぞれを適宜切り換えるようにしてもよいし、ポイント
毎に上記孤立点判定条件を異なる値(1〜9まで設定可
能)に設定するようにしてもよい。このようにすれば、
さらに孤立点除去を的確に行える。
【0052】また、上記では低解像度(25DPI)の
画像データに対して、フィルタサイズを3×3と5×5
を用いているが、例えば画像データが高解像度(400
DPI)であれば、1画素の大きさが約63μm×63
μmと小さくなるので、フィルタ3×3や5×5で除去
できる孤立点の大きさもそれに合わせて小さくなる。こ
のように解像度が変われば1画素の大きさが変わり、除
去する孤立点の大きさに対応する画素数(例えば1mm
平方の大きさの孤立点を考える場合、25DPIでは約
1画素分に相当するが、400DPIでは、縦16×横
16画素の領域に相当する)も変わるので、フィルタサ
イズは、孤立点の大きさに対応する画素数に応じて設定
される必要がある。
【0053】また、上記においてはノイズとみなす孤立
点を文字サイズの1/4程度の大きさのものとしている
が、もちろんこの値に限定されることはなく、例えば文
字サイズの1/6程度や1/3程度の値などに設定する
ようにしてもよい。但し、この値が小さすぎるとより小
さなノイズ除去精度が低下するし、大きすぎると文字画
像の一部をもノイズとみなされて除去されることが考え
られるので、実験等により最適な値に設定されることが
好ましい。
【0054】(ヒストグラム反転処理)雑誌等でよく見
かける高濃度の地肌に文字が白抜きで表現されているよ
うな原稿(以下、「反転原稿」という。)の場合、原稿
方向の認識の精度が低下してしまうことがある。例え
ば、反転原稿の極端な例として、図7(b)に示す原稿
D2を例にとって説明する。原稿D2は、内容は全く同
じである原稿D1(同図(a))の白・黒を反転させた
ものである。即ち、原稿D2は、黒色の地肌に文字を白
抜きで表現した原稿である。
【0055】この原稿D2の画像データに基づいて主走
査方向と副走査方向についてヒストグラムを作成すると
それぞれH3、H4のようになる。ここで、副走査方向
のヒストグラムH4について、原稿D1のヒストグラム
H2のときと同様に、紙面左から右に向かう一方向に、
立ち上がりエッジと立ち下がりエッジの数をカウントす
ると、立ち上がりエッジは6個、立ち下がりエッジは2
個となり、立ち上がりエッジの数が立ち下がりエッジの
数よりも多くなり、ヒストグラムH4は、紙面左から右
にむかって漸増していると判断される。その結果、原稿
D2の行頭側は、紙面に向かって右側にあると判定され
るのであるが、この判定結果は、原稿D1の場合と逆で
あり、誤ったものとなっている。
【0056】そこで、反転原稿の場合は、作成したヒス
トグラムを反転させることとする。ヒストグラムを反転
させるとは、対象となるヒストグラムにおける度数の最
大値をDmaxとした場合に、次式によって、反転後の度
数を求めて、ヒストグラムを作成し直すことをいう。 (反転前の度数)+(反転後の度数)=Dmax … (1) 即ち、対象となるヒストグラムの各度数の当該ヒストグ
ラムにおける最大度数に対する補数を反転後の度数とし
てヒストグラムを作成するのである。
【0057】上記のようにして、原稿D2のヒストグラ
ムH3、H4を反転させると、原稿D1のヒストグラム
H1、H2と同様なものとなり、当該反転後のヒストグ
ラムに基づいてなされる原稿方向の認識は正確なものと
なる。このように反転原稿の場合には、ヒストグラムを
反転させ、反転後のヒストグラムに基づいて原稿方向の
認識を行うことにより、その精度が向上する。
【0058】原稿方向認識対象となっている原稿が反転
原稿であるか否かは、当該原稿の平均濃度が所定の基準
濃度を越えているか否かで判断する。平均濃度とは、当
該原稿の全画素数に対する黒画素の総数の割合(%)を
いう。図7に示す反転原稿D2は、通常原稿D1と比較
して、原稿全体に占める黒画素の数が圧倒的に多い、即
ち、平均濃度が圧倒的に高いため、平均濃度が所定の基
準濃度を越えているものは、反転原稿とみなすこととし
たのである。ここで、基準濃度は、経験的に求められる
ものであるが、よく見かける通常原稿の平均濃度は、1
0〜15%程度であるというデータが得られており、こ
のことから、基準濃度は、40〜50%の範囲で定めれ
ば、反転原稿の検出が可能になると思われる。
【0059】なお、本実施の形態で平均濃度は、図4に
示すフローチャートのステップS3で作成したヒストグ
ラムH1とヒストグラムH2のどちらか一方の度数を合
計すると、当該原稿の黒画素の総数が求まるので、これ
に基づいて算出することができる。 (3)変形例 なお、本発明は、上記実施の形態に限定されないのは言
うまでもなく、以下のような変形例を考えることができ
る。
【0060】(3−1)上記実施の形態では、方向認識
の対象となる原稿が反転原稿の場合には、ヒストグラム
を反転させることとしたが、これに限らず、当該原稿の
画像データを反転させ、反転後の画像データからヒスト
グラムを作成し、当該ヒストグラムに基づいて原稿方向
の認識を行ってもよい。この場合のフローチャートを図
8に示す。なお、当該フローチャートにおいては、ノイ
ズ除去に関する処理は省略している。
【0061】先ず、低解像度認識用メモリ180に格納
されている画像データ1ページの平均濃度を算出する
(ステップS21)。この場合には、当該1ページの黒
画素数を計数し、当該計数結果を総画素数で除して求め
る。続いて、平均濃度が所定の基準濃度を越えているか
否かを判断し(ステップS22)、越えていれば、当該
画像データの濃度を反転させてRAM191へ格納す
る。ここで、画像データの濃度を反転させるとは、当該
画像データを表わすための階調値の最大値をKmax(本
例では、Kmax=255)とした場合に、次式によっ
て、当該画像データの各画素の階調値を変換することを
いう。
【0062】 (反転前の階調値)+(反転後の階調値)=Kmax … (2) 即ち、画像データの各画素の階調値の最大階調値に対す
る補数を反転後の階調値として置き換えるのである。な
お、本例の場合、低解像度認識用メモリ180に格納さ
れている画像データの階調値は0(白)と255(黒)
の2通りしかないので、上記反転作業は、単に、黒画素
を白画素に、白画素を黒画素に置き換える作業となる。
【0063】一方、ステップS22で平均濃度が所定の
基準濃度以下であると判断した場合は、ステップS23
をスキップしてステップS24へ進む。ステップS24
〜S26で行う処理は、既に説明した図4のフローチャ
ートのステップS3(S11)、S14、S15と同様
なのでここでは、その説明を省略する。
【0064】以上説明したように、本変形例において
は、図7に示す原稿D1のような通常原稿の場合は、そ
のままの画像データに基づいてヒストグラムが作成さ
れ、原稿D2のような反転原稿の場合は、その画像デー
タが反転され、反転後の画像データに基づいてヒストグ
ラムが作成されることとなる。したがって、反転原稿の
場合は、上記実施の形態でヒストグラムを反転させた場
合と同様の効果が得られる。
【0065】(3−2)上記の変形例では、ヒストグラ
ムによって原稿の方向を認識する画像認識装置におい
て、認識対象となる原稿が反転原稿であった場合に、先
ず画像データを反転させることとしたが、この画像デー
タの反転は、ヒストグラムによって原稿の方向を認識す
る画像認識装置に限らず、他の方法によるものに対して
も有効である。
【0066】他の方法として、例えば、特開平4−22
9763号公報や特開平6−103410号公報には、
いわゆるパターンマッチングと呼ばれる方法が開示され
ている。すなわち、予め所定の参照文字についてその線
部分における複数の点(参照点)を抽出してパターンと
して記憶しておき、原稿画像を読み取って得られた画像
データから文字画像を切り出して、当該切り出された文
字と参照点とを比較し、各参照点における文字の画像信
号の有無を、切り出した文字画像を90゜ずつ回転させ
ながら確認して各回転角における一致度を求める。その
一致度が一番高い回転角を、当該文字の方向と認識し、
これにより原稿方向の認識を行うようにしている。
【0067】具体的には、例えば、図9(a)に示すよ
うに、参照文字「A」について6個の参照点A1〜A6
を抽出して記憶しておき、切り出された文字画像が図9
(b)に示すように「A」が90゜左方向に横向きにな
っている場合には、参照点A2、A5には文字の画像信
号は存在しないので一致度は低く、この文字画像を90
゜ずつ回転していき、参照点との一致度が最も高い回転
角を求めてこれを文字の方向として認識するようにして
いる。
【0068】しかしながら、上記の方法によっても、原
稿方向が認識できないときがある。反転原稿が対象とな
った場合等である。なぜなら、反転原稿の場合、文字画
像をいくら回転させても参照点にあたる箇所に画像信号
が現れないからである。このような場合に、画像データ
を反転させた上で、パターンマッチングすると、原稿方
向の認識が可能となる場合がある。
【0069】そこで、パターンマッチング等で原稿方向
を認識する画像認識装置において、原稿の方向が認識で
きなかったときに限り、画像データの濃度反転を行い、
反転後の画像データに基づいて、原稿の方向を認識する
こととしてもよい。 (3−3)上記実施の形態では、擬似中間調再現法とし
て誤差拡散法を用いたが、これに限らず、例えば、ディ
ザ法などを用いてもよい。
【0070】(3−4)上記実施の形態では、モノクロ
のデジタル複写機に本発明に係る画像認識装置を適用し
た例を説明したが、本発明の画像認識装置は、フルカラ
ーデジタル複写機にも適用可能である。その際、有彩色
のカラーデータを予めキャンセルする回路を組み込んで
おく必要がある。フルカラー原稿であっても文字画像は
一般に黒色が大半であり、この黒色の文字画像に基づい
てヒストグラムを生成し原稿方向の認識が行われるから
である。なお、カラーデータキャンセル回路は公知であ
るので、ここでの説明は省略する。
【0071】(3−5)上記実施の形態では、本発明に
係る画像認識装置をデジタル複写機に適用した例を説明
したが、その他の原稿の読取りが必要な装置、例えばフ
ァクシミリ装置やイメージリーダにおける画像認識装置
としても適用される。
【0072】
【発明の効果】以上説明したように、本発明に係る画像
認識装置は、文字画像を含む原稿の画像データの濃度が
反転され、反転後の画像データに基づいて原稿の認識が
なされるので、例えば、高濃度背景に文字が白抜きで表
わされているような原稿の方向認識の精度が高くなる。
【0073】また、本発明に係る画像認識装置は、文字
画像を含む原稿の画像データから作成されたヒストグラ
ムが反転され、反転後のヒストグラムに基づいて原稿の
認識がなされるので、例えば、高濃度背景に文字が白抜
きで表わされているような原稿の方向認識の精度が高く
なる。
【図面の簡単な説明】
【図1】本発明の実施の形態に係るデジタル複写機の全
体の構成を示す図である。
【図2】上記複写機に設置される制御部のブロック図で
ある。
【図3】(a)は、中間調の地肌部分に文字画像が形成
されている原稿の画像データを中間調処理部で2値化処
理した場合の画像を示す図であり、(b)は、(a)に
示す画像データが単純2値化処理部において2値化処理
された後の画像を示す図である。
【図4】原稿方向認識処理の全体の動作を示すフローチ
ャートである。
【図5】(a)は、ノイズ除去フィルタ3×3により孤
立点が除去される様子を示した図であり、(b)は、ノ
イズ除去フィルタ5×5により孤立点が除去される様子
を示した図である。
【図6】(a)は、8ポイントの文字原稿の例を、
(b)は、18ポイントの文字原稿の例をそれぞれ示す
図であって、双方の文字原稿に同じ大きさの孤立点(ノ
イズ)が存在している様子を示した図である。
【図7】(a)は、通常原稿に基づいて生成されたヒス
トグラムの一例を示す図であり、(b)は、反転原稿に
基づいて生成されたヒストグラムの一例を示す図であ
る。
【図8】実施の形態の変形例における、原稿方向認識処
理の全体の動作を示すフローチャートである。
【図9】いわゆるパターンマッチングによる原稿方向の
認識方法を説明するための図である。
【符号の説明】
100 制御部 120 中間調処理部 170 単純2値化処理部 180 低解像度認識用メモリ 190 CPU 191 RAM 192 ROM
───────────────────────────────────────────────────── フロントページの続き Fターム(参考) 5C072 AA05 BA04 BA05 BA10 UA07 UA11 UA13 UA17 UA20 XA01 5C076 AA22 AA24 AA25 AA27 CA10

Claims (5)

    【特許請求の範囲】
  1. 【請求項1】 文字画像を含む原稿の画像データに基づ
    いて、当該原稿の方向を画像方向認識手段によって認識
    する画像認識装置であって、 前記画像データの濃度を反転させる濃度反転手段と、 濃度反転手段による反転が行われると、前記画像方向認
    識手段は反転後の画像データに基づいて原稿の方向を認
    識することを特徴とする画像認識装置。
  2. 【請求項2】 前記濃度反転手段は、前記画像データの
    平均濃度が所定の基準濃度よりも高いか否かを判定する
    濃度判定部を含み、高いと判定した場合に、前記反転動
    作を実行することを特徴とする請求項1記載の画像認識
    装置。
  3. 【請求項3】 画像方向認識手段が反転前の画像データ
    に基づいて原稿の方向が認識できなかったときに限り、
    濃度反転手段による反転動作を許可する反転許可手段を
    備えたことを特徴とする請求項1記載の画像認識装置。
  4. 【請求項4】 文字画像を含む原稿の方向を認識する画
    像認識装置であって、 前記原稿の画像データから、当該原稿の濃度分布を示す
    ヒストグラムを作成するヒストグラム作成手段と、 作成されたヒストグラムを反転させるヒストグラム反転
    手段と、 反転後のヒストグラムに基づいて、原稿方向を認識する
    原稿方向認識手段とを備えたことを特徴とする画像認識
    装置。
  5. 【請求項5】 前記ヒストグラム反転手段は、前記画像
    データの平均濃度が所定の基準濃度よりも高いか否かを
    判定する濃度判定部を含み、高いと判定した場合に、前
    記反転動作を実行することを特徴とする請求項4記載の
    画像認識装置。
JP21669598A 1998-07-31 1998-07-31 画像認識装置 Expired - Fee Related JP3675181B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP21669598A JP3675181B2 (ja) 1998-07-31 1998-07-31 画像認識装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP21669598A JP3675181B2 (ja) 1998-07-31 1998-07-31 画像認識装置

Publications (2)

Publication Number Publication Date
JP2000050051A true JP2000050051A (ja) 2000-02-18
JP3675181B2 JP3675181B2 (ja) 2005-07-27

Family

ID=16692481

Family Applications (1)

Application Number Title Priority Date Filing Date
JP21669598A Expired - Fee Related JP3675181B2 (ja) 1998-07-31 1998-07-31 画像認識装置

Country Status (1)

Country Link
JP (1) JP3675181B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7407288B2 (en) 2003-10-29 2008-08-05 Seiko Epson Corporation Eye-flow guiding level calculating system, eye-flow guiding level calculating program, and eye-flow guiding level calculating method

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7407288B2 (en) 2003-10-29 2008-08-05 Seiko Epson Corporation Eye-flow guiding level calculating system, eye-flow guiding level calculating program, and eye-flow guiding level calculating method
CN100481063C (zh) * 2003-10-29 2009-04-22 精工爱普生株式会社 视线诱导度算出系统及方法

Also Published As

Publication number Publication date
JP3675181B2 (ja) 2005-07-27

Similar Documents

Publication Publication Date Title
JP3695163B2 (ja) 画像形成装置
JP4912270B2 (ja) 画像処理装置及びその制御方法
JP3581477B2 (ja) デジタル複写機
US6266156B1 (en) Area judging apparatus
JPH0364267A (ja) カラー複写装置及びカラー画像形成装置
JPH0818777A (ja) 画像処理装置
JP3492096B2 (ja) 画像処理装置
JP3671682B2 (ja) 画像認識装置
JP3629959B2 (ja) 画像認識装置
JP3675181B2 (ja) 画像認識装置
JP3198267B2 (ja) 画像処理装置と画像形成装置
JP2000287077A (ja) 網点画像判別方法及び装置
JP3135240B2 (ja) 画像処理装置
JP3629962B2 (ja) 画像認識装置
JP2001285631A (ja) 領域判別方法および装置
JP2507927B2 (ja) 画像処理装置
JP2000341511A (ja) 画像処理装置
JPH10257325A (ja) 画像形成装置
JP2001057633A (ja) 像域分離処理を用いる画像デ−タ処理装置
JPH06178111A (ja) 画像処理装置
JPH07121063B2 (ja) 画像処理装置
JPH11308461A (ja) 画像処理方法及び装置
JPH1155524A (ja) 画像処理装置
JP2001157060A (ja) 画像処理装置
JPH0951432A (ja) 画像処理装置およびその方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20041214

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20050121

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20050203

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050412

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050425

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090513

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090513

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100513

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110513

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120513

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130513

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140513

Year of fee payment: 9

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees