JP2005175700A - 画像読取処理装置 - Google Patents

画像読取処理装置 Download PDF

Info

Publication number
JP2005175700A
JP2005175700A JP2003410582A JP2003410582A JP2005175700A JP 2005175700 A JP2005175700 A JP 2005175700A JP 2003410582 A JP2003410582 A JP 2003410582A JP 2003410582 A JP2003410582 A JP 2003410582A JP 2005175700 A JP2005175700 A JP 2005175700A
Authority
JP
Japan
Prior art keywords
image
reading
image quality
document
original
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003410582A
Other languages
English (en)
Other versions
JP4160894B2 (ja
Inventor
Arinori Hikosaka
有儀 彦阪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Document Solutions Inc
Original Assignee
Kyocera Mita Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Mita Corp filed Critical Kyocera Mita Corp
Priority to JP2003410582A priority Critical patent/JP4160894B2/ja
Publication of JP2005175700A publication Critical patent/JP2005175700A/ja
Application granted granted Critical
Publication of JP4160894B2 publication Critical patent/JP4160894B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Facsimile Scanning Arrangements (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Input (AREA)

Abstract

【課題】縦筋発生の要因があっても、縦筋を防止するための画像処理の最適化を行うこと。
【手段】汚れ検知手段により読取位置に汚れがあることが検知されたことに応答して、当該検知された汚れの画像が読み取った原稿画像の中で目立たないように、前記モード画質調整手段および/または応用画質調整手段を調整する制御手段を有することを特徴とする画像読取処理装置である。
汚れ検知手段により読取位置に汚れがあることが検知された場合には、検知された汚れの画像が、読み取った原稿画像の中で目立たなくなるように、モード画質調整手段および/または応用画質調整手段が調整される。つまり、ゴミや汚れが目立たなくなるように、自動的に最適な画質モード、画質調整の組み合わせが選択されて、原稿画像の読取処理が行われる。
【選択図】 図8

Description

この発明は、ディジタル複写機、ファクシミリ装置、スキャナ装置等の画像読取処理装置に関する。
ディジタル複写機、ファクシミリ装置、スキャナ装置等においては、光源を光らせて原稿に光を照射し、その反射光を読み取り、ディジタルデータに変換し、そのディジタルデータに種々の画像処理を実行することで所望の画像出力を得ている。
ここで原稿を読み取る際の読取方式は、大別して2つに分類される。1つは、原稿を固定し、光源を移動させて読み取る方式(これを「原稿固定読み方式」ということにする。)であり、もう1つは、原稿を移動させて読み取る方式(これを「光源固定読み方式」ということにする。)である。
ところで、光源と原稿の間にゴミが入ってしまった場合や読取位置が汚れた場合、原稿固定読み方式では、光源が動くため、光源がゴミを照らすのは一瞬であり、読み込んだ画像に対してのゴミの影響は小さな点でしか現れてこない。一方、光源固定読み方式の場合は、光源とゴミ(読取面の汚れ)の関係が固定されているために、光源は常にゴミ(汚れ)を照らしていることになり、読み込んだ画像に対するゴミ(汚れ)の関係は、縦黒筋、縦白筋になって現れてしまい、無視できない画像異常になる。
そこでかかる画像異常を減少するため、特許文献1では、原稿固定読み方式か光源固定読み方式かに応じて、エッジ強調処理のエッジ強調度合いを変化させて、縦筋発生の抑制を試みている。
また、特許文献2では、黒筋となる情報があれば操作部等に黒筋の発生とその発生位置を通知し、清掃を促している。
特開2002−27253号 特開平6−303428号
しかしながら、上記従来技術におけるエッジ強調度合いの変更では、黒筋の発生を防止できない場合がある。また、黒筋の発生およびその発生位置を通知するものは、原稿画像の読取動作を中止して通知をするため、原稿画像の読取動作を停止せざるを得ない。このため、従来技術は、いずれも、ユーザに対する原稿画像の読取処理の要求を満足するものではなかった。
この発明は、かかる背景のもとになされたもので、縦筋発生の要因があっても、縦筋を防止するための画像処理の最適化を行うことを目的とするものである。また、この発明は、必要以上に原稿画像の読取動作の停止を避けることを目的とするものである。この発明は、さらに、常に良好な原稿画像の読取処理が行われるように、読取面にゴミや汚れなどが付着した場合に、画質への影響度合いを通知し、未然に縦筋の発生を防止する画像読取処理装置を提供することである。
課題を解決するための手段および発明の効果
上記目的を達成するための請求項1記載の発明は、読取位置に対して原稿を移動させ、読取位置に対向する原稿領域を順次読み取る原稿読取手段と、原稿の読取に際して、読取位置に汚れがあるか否かを検知する汚れ検知手段と、原稿読取手段が読み取った原稿画像に対して、原稿の種別に応じた画像処理を行うモード画質調整手段と、原稿読取手段が読み取った原稿画像に対して、シャープネス、濃度などの調整を行う応用画質調整手段と、を備え、前記汚れ検知手段により読取位置に汚れがあることが検知されたことに応答して、当該検知された汚れの画像が読み取った原稿画像の中で目立たないように、前記モード画質調整手段および/または応用画質調整手段を調整する制御手段を有することを特徴とする画像読取処理装置である。
この構成によれば、汚れ検知手段により読取位置に汚れがあることが検知された場合には、検知された汚れの画像が、読み取った原稿画像の中で目立たなくなるように、モード画質調整手段および/または応用画質調整手段が調整される。つまり、ゴミや汚れが目立たなくなるように、自動的に最適な画質モード、画質調整の組み合わせが選択されて、原稿画像の読取処理が行われる。
この結果、処理された画像データに基づくコピー物や、ファクシミリ送信物として、読取位置の汚れに伴う縦黒筋や縦白筋の発生がほとんどない画像を出力することができる。 請求項2記載の発明のように、モード画質調整手段および応用画質調整手段を調整しても、汚れ検知手段によって検知された汚れの画像が、原稿画像中で目立つと判別されたときには、原稿読取手段による原稿の読取を中止させて、読取位置に汚れがある旨の報知を行うようにするのが好ましい。
こうすることによって、縦黒筋または縦白筋の目立つ画像異常のあるコピーやファクシミリ送信等を未然に防ぐことができる。
請求項3記載の発明のように、汚れ検知手段により読取位置の汚れが検知されたときであって、モード画質調整手段および/または応用画質調整手段の調整を行って、汚れに基づく縦筋の発生が目立たないように原稿画像の処理が行われた場合には、その原稿画像の処理が行われた後に、ユーザに対して、読取位置に汚れがある旨の報知を行うのが好ましい。
ユーザには、原稿読取処理が中断することなく行われた後、読取位置の汚れが報知されるので、ユーザは、その後の画像読取処理に備えて、読取位置を清掃すればよい。かかる場合、ユーザが所望する原稿画像の読取処理は中断されずに行われるから、使い勝手の良い装置とすることができる。
以下には、図面を参照して、この発明の実施形態について具体的に説明をする。
図1は、この発明の一実施形態に係る画像読取処理装置の概略構成図である。この画像読取処理装置は、一例として、ディジタル複写機に適用されるものである。
画像読取処理装置は、読取部1および画像処理部2を含む。読取部1には、原稿をセットするためのセット台3と、セット台3にセットされた原稿を、読み取りのため1枚ずつ搬送する搬送機構(複数のローラ等からなる)4と、搬送される原稿を読み取るための読取位置5と、読み取り後の原稿が排出される排出台6とが含まれている。
また、読取位置5の下方には、読取位置5を照らすためのランプ7と、ランプ7により照らされて、読取位置5で反射する光を導くための光学系8が備えられている。光学系8で導かれる光はCCD9に結像される。この実施形態では、光学系8のランプ7は移動可能であるが、以下の説明は、ランプ7が図示の位置に固定されている場合の原稿読取動作について説明する。
CCD9の出力は、画像処理部2に含まれるアナログ回路10、A/D変換回路11および画像処理回路12によって処理され、ビデオ信号として次段の制御部へ出力される。画像処理回路12は、装置全体を制御するCPU13の制御下に置かれている。
図2は、画像処理回路12の詳細な構成を示すブロック図である。
画像処理回路12には、A/D変換回路から入力されるディジタル画像データに基づき、基準データを生成する基準データ生成回路14と、この基準データ生成回路14で生成された基準データに基づき、入力画像データのシェーディング補正を行うシェーディング補正処理回路15、シェーディング補正後の画像データに対して変倍処理を行う変倍処理回路16、変倍処理された画像データに対してフィルタ処理を行うフィルタ処理回路17、フィルタ処理がされた画像データに対してγ補正処理を行うγ補正処理回路18、γ補正がされた画像データに対して階調処理を行う階調処理回路19が備えられている。そして階調処理された画像データは、ビデオ信号として次段の制御部へ出力される。
画像処理回路12には、また、CPU−インタフェース部20が備えられていて、CPU13と接続されている。これにより、画像処理回路12はCPU13の制御下に置かれている。さらに、CPU−インタフェース部20を介して画像入力制御部21が接続されており、CCD9およびアナログ回路10と接続されている。
この実施形態では、画像処理回路12へ入力されるディジタル画像データに関して、まず、CPU13が汚れに基づく異常画素を有した画像データであるか否かを判別する。この判別は、ライン単位で連続的に入力される画像データに関し、複数ラインにまたがって同じ位置に同じ濃度の画像データが現れる場合に、汚れがあると判別することができる。
そして、入力画像データに汚れがある場合には、その汚れを目立たなくするために、フィルタ処理回路17、γ補正処理回路18および階調処理回路19によって、画質調整を自動的に行う。
図3は、フィルタ処理回路17によって行われるフィルタ処理の例を示す図である。図3において、平滑化とは、画素毎の細かな変動をなくし、滑らかな画像にすることを言う。平滑化により、画素本来が持つ高周波成分は失われることになる。
エッジ強調とは、画素間の濃度差を明確にして、文字や画像の輪郭を明瞭にすることである。
この実施例では、フィルタ処理として、図3に示すように、文字モード、文字・写真モードおよび写真モードという、原稿画質に応じて、それぞれ異なる平滑化処理およびエッジ強調処理が行われる。
図4は、平滑化処理の内容を説明するための図である。図4における左側の9つのブロックが、注目画素Eを中心に、その周囲に配置されたデータであり、これが入力データである。この入力データに対して、右側の9つのブロックで示されるフィルタ係数が掛け合わされる。すなわち、平滑化処理とは、入力データに対してフィルタ係数で特定される値を掛け合わせることにより出力データを得ることである。この計算式は、図4に示す数式の通りであり、計算された値data_outが注目画素Eの平滑化後の値となる。
図5は、エッジ強調処理を説明するための図である。エッジ強調処理では、左側の9つのブロックの中心にある注目画素Xに、右側の9つのブロックからなるフィルタ係数の値が掛け合わされ、差分値Sが算出される。そして強調された後の値X′は、元の値Xに差分値Sを加えたものとなる。
図6は、平滑化後にエッジ強調を行った場合の差分値Sおよび強調度X′の関係を示す図である。
図7は、γ補正処理回路18で行われるγ補正のための曲線と、階調処理回路19で行われる2値化しきい値の可変範囲との関係を示す図である。
左側の図7(A)は、γ補正曲線であり、256階調の入力データのうちの48が初期設定値とされ、32〜128の範囲で濃度調整が行えることを示している。
右側の図7(B)は、2値化しきい値であり、256階調の入力データのうち128の値が2値化基準値の初期設定値であり、それを96〜160の範囲で可変できることを表わしている。
さらに、下記の表は、エッジ強調のゲイン値可変範囲、すなわちシャープネス調整の範囲を示すものである。このシャープネス調整のためのゲイン値可変範囲は、文字モード、文字・写真モード、写真モードについてそれぞれ異なる範囲が定められている。
Figure 2005175700
次に一例として、文字モードの場合において、汚れの画素(注目画素E)の値が、40,60,65,70,80の場合につき、それぞれ、どのように画質調整が行われるかについて具体的に説明をする。
E=40のとき:
平滑化によりdata_out=30、X′=145≧128、よって汚れが目立ちNG。
そこで、ゲインを12/16→10/16に変更する。つまりシャープネスを自動調整する。これにより、X′=127<128となり、汚れが目立たなくなりOK。
E=60のとき:
平滑化によりdata_out=52、ゲインを12/16→8/16に調整すると、X′=156≧128であり、NG。
そこで、濃度しきい値を、128→160に変更する。よって、156<160であり、汚れが目立たなくなりOK。つまり、この場合は、シャープネス調整および濃度調整を行う。
E=65のとき:
平滑化によりdata_out=56、ゲインを12/16→8/16に変更し、しきい値を128→160に変更。しかし、X′=177≧160であり、NG。
そこで、フィルタ条件を、文字・写真モードに変更し、かつ、シャープネスを最小にする。これにより、data_out=48、X′=133<128となり、汚れが目立たなくなり、OK。
E=70のとき:
平滑化によりdata_out=52、ゲインを8/16→4/16に変更、X′=104<128となり、OK。つまり、この場合は、画質モードを変更し、γ補正による濃度再現を開始したことにより、汚れが目立たなくなっている。
E=80のとき:
文字・写真モードに変更し、かつ、シャープネス最小、濃度最低に設定する。これによってもX′=140≧128であり、NG。
つまり、汚れの値が80のときには、汚れを目立たなくするように調整することはできない。
以上説明した具体例のように、汚れの画素を目立たなくする処理は、
(1)同一画質モードでのシャープネス調整
(2)上記(1)に加えて濃度調整
(3)異なる画質モードでのシャープネス調整
(4)上記(3)に加えての濃度調整
という順序で、画像領域全体に対する影響を極力抑えるようにして調整される。
図8は、図1および図2に示すこの発明の一実施形態における制御動作を表わすフローチャートである。
図8に示すフローチャートにより、汚れの画素を目立たなくするための処理を含む全体的な処理内容について説明をする。
読取部1において原稿の読み取りが開始すると、まず、CPU13において読取位置5に汚れがあるか否かの判別が行われる(ステップS1)。
汚れの判別は、順次入力されてくるラインデータの同じ画素位置に、同じ濃度のデータがあるか否かにより行われる。通常、原稿の先端余白等には、画像データは記録されていないから、入力される画像データの最初のラインデータから、同じ画素位置に同じ濃度の画素が現れる場合、かつそれが複数ライン連続して現れる場合、読取位置5の汚れであると判別することができる(ステップS2でYES)。
もし、複数ライン連続して同一画素に同一濃度の出力がない場合は、読取位置5に汚れがないと判別し(ステップS2でNO)、原稿を読み取ってその読み取った画像に基づくコピーを行い出力をする(ステップS9)。
一方、読取位置5に汚れがあると判別されたときは、まず、シャープネス調整が行われる(ステップS3)。その結果、汚れの画素の濃度が所定の濃度未満になったか、所定の濃度以上であるかの判別がされる(ステップS4)。もし、シャープネス調整の結果、汚れの画素の濃度が所定濃度未満になったときには、汚れの画素に基づく縦筋は目立たなくなるから、その場合は、画像処理を行ってコピー処理をする(ステップS10)。そして、コピー出力後には、読取画像に対して画質調整を変更した旨のメッセージを出力し(ステップS11)、読取位置5の清掃を促すメッセージを行う(ステップS12)。
これにより、ユーザは、次回のコピーに備えて読取位置5の清掃を行うことになる。この清掃は、今回のコピー終了後であるから、今回のコピーが中断されることなく、ユーザにとっては望ましい。
ステップS4で、所定濃度以上か否かの判別がされ、シャープネス調整をしたけれども、汚れの画素の濃度が所定濃度以上であれば、次いで、濃度調整が行われる(ステップS5)。
そしてその結果、汚れの画素の濃度が所定濃度以上のままか、所定濃度未満になったかの判別がされる(ステップS6)。
もし、濃度調整の結果、汚れの画素が所定濃度未満となった場合は、汚れの画素は縦筋として目立たなくなったわけであるから、原稿画像のコピー出力をし(ステップS10)、画質調整を変更した旨のメッセージを出力し(ステップS11)、その後に清掃を促すメッセージを出力する(ステップS12)。
ステップS6で、汚れの画素が所定の濃度以上であれば、現在の画質モードが、文字モードか否かが判別されて、文字モードの場合は、文字・写真モードに変更される(ステップS8)。そして、文字・写真モードに変更後、ステップS3からの処理が繰返される。 一方、ステップS7において、現在の画質モードが文字モードでない場合には、汚れの画素を目立たなくすることは困難であると判別して、読取位置5に汚れのあることの警告を行い、清掃を促すメッセージが出力される(ステップS13)。そして、読み取り動作が停止される(ステップS14)。
以上のこの発明の一実施形態の動作によれば、読取位置5に汚れがあっても、その汚れが目立たなくなるように画質調整が行われ、コピーが実行されるから、不必要にコピー動作が中断せず、ユーザにとって使い易い装置となる。
一方、読取位置5の汚れがひどく、コピーに目立った縦筋が現れるような場合には、汚れがある旨の警告をし、読取動作が停止されるから、無用なコピーが生じることなく、好ましい装置となる。
この発明は、複写機のみに適用されるわけではなく、ファクシミリ装置や、スキャナ装置においても同様に適用することができる。
その他、この発明は、請求項記載の範囲内において種々の変更が可能である。
この発明の一実施形態に係る画像読取処理装置の概略構成図である。 画像処理回路12の詳細な構成を示すブロック図である。 フィルタ処理回路17によって行われるフィルタ処理の例を示す図である。 平滑化処理の内容を説明するための図である。 エッジ強調処理を説明するための図である。 平滑化後にエッジ強調を行った場合の差分値Sおよび強調度X′の関係を示す図である。 γ補正処理回路18で行われるγ補正のための曲線と、階調処理回路19で行われる2値化しきい値の可変範囲との関係を示す図である。 この発明の一実施形態における制御動作を表わすフローチャートである。
符号の説明
1 読取部
2 画像処理部
5 読取位置
7 ランプ
8 光学系
12 画像処理回路
17 フィルタ処理回路
18 γ補正処理回路
19 階調処理回路

Claims (3)

  1. 読取位置に対して原稿を移動させ、読取位置に対向する原稿領域を順次読み取る原稿読取手段と、
    原稿の読取に際して、読取位置に汚れがあるか否かを検知する汚れ検知手段と、
    原稿読取手段が読み取った原稿画像に対して、原稿の種別に応じた画像処理を行うモード画質調整手段と、
    原稿読取手段が読み取った原稿画像に対して、シャープネス、濃度などの調整を行う応用画質調整手段と、
    を備え、
    前記汚れ検知手段により読取位置に汚れがあることが検知されたことに応答して、当該検知された汚れの画像が読み取った原稿画像の中で目立たないように、前記モード画質調整手段および/または応用画質調整手段を調整する制御手段を有することを特徴とする画像読取処理装置。
  2. 前記制御手段は、前記モード画質調整手段および応用画質調整手段を調整しても、前記検知された汚れの画像が原稿画像中で目立つと判別したときは、前記原稿読取手段による原稿の読み取りを中止させ、読取位置に汚れがある旨の報知を行うことを特徴とする、請求項1記載の画像読取処理装置。
  3. 前記制御手段は、前記汚れの画像が読み取った原稿画像の中で目立たないように、前記モード画質調整手段および/または応用画質調整手段の調整を行った場合には、読み取った原稿画像の処理後に、読取位置に汚れがある旨の報知を行うことを特徴とする、請求項1記載の画像読取処理装置。
JP2003410582A 2003-12-09 2003-12-09 画像読取処理装置 Expired - Fee Related JP4160894B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003410582A JP4160894B2 (ja) 2003-12-09 2003-12-09 画像読取処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003410582A JP4160894B2 (ja) 2003-12-09 2003-12-09 画像読取処理装置

Publications (2)

Publication Number Publication Date
JP2005175700A true JP2005175700A (ja) 2005-06-30
JP4160894B2 JP4160894B2 (ja) 2008-10-08

Family

ID=34731633

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003410582A Expired - Fee Related JP4160894B2 (ja) 2003-12-09 2003-12-09 画像読取処理装置

Country Status (1)

Country Link
JP (1) JP4160894B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007125672A1 (ja) 2006-03-30 2007-11-08 Nihon Dempa Kogyo Co., Ltd. 超音波深触子

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007125672A1 (ja) 2006-03-30 2007-11-08 Nihon Dempa Kogyo Co., Ltd. 超音波深触子

Also Published As

Publication number Publication date
JP4160894B2 (ja) 2008-10-08

Similar Documents

Publication Publication Date Title
JP4768538B2 (ja) 画像読取装置及び該方法
JP2000316097A (ja) 画像処理方法及び画像処理装置
JP2006094515A (ja) 画像読取装置
JP6338469B2 (ja) 画像処理装置および画像処理方法
JP2003101737A (ja) 画像処理装置及び画像読取装置
JP2002077584A (ja) 画像処理システム、方法および記憶媒体
JP4085580B2 (ja) 画像処理装置
JP2005117090A (ja) 画像読取り装置
JP2006197445A (ja) 画像処理装置
JP2008028699A (ja) 画像読取装置及び該方法
JP4160894B2 (ja) 画像読取処理装置
JP7391653B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2007135096A (ja) 画像読取り装置及び方法、並びにプログラム及び記憶媒体
JP2002262083A (ja) 画像処理装置
JP2005006249A (ja) 画像読み取り装置
JP4849144B2 (ja) 画像読取装置および筋状ノイズ補正方法
JP2004266522A (ja) デジタル画像読取装置
JP2002152473A (ja) 画像入力装置
CN109936676B (zh) 一种用于复合机的输稿器的控制方法及装置
CN109862202B (zh) 一种用于复合机的输稿器的控制方法及装置
JP2011023920A (ja) 画像読取装置および画像形成装置
JP2002152473A5 (ja)
JP2008028698A (ja) 画像読取装置及び該方法
JPH08340447A (ja) 裏写り除去機能付き画像処理装置
JP2007067961A (ja) 画像処理装置及び画像形成装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061127

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080317

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080408

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080604

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080626

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080718

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110725

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120725

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120725

Year of fee payment: 4

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120725

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130725

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees