JP2000244729A - 画像処理装置 - Google Patents
画像処理装置Info
- Publication number
- JP2000244729A JP2000244729A JP11044965A JP4496599A JP2000244729A JP 2000244729 A JP2000244729 A JP 2000244729A JP 11044965 A JP11044965 A JP 11044965A JP 4496599 A JP4496599 A JP 4496599A JP 2000244729 A JP2000244729 A JP 2000244729A
- Authority
- JP
- Japan
- Prior art keywords
- image
- document
- book
- height
- calculating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/40—Picture signal circuits
- H04N1/409—Edge or detail enhancement; Noise or error suppression
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/04—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa
- H04N1/047—Detection, control or error compensation of scanning velocity or position
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/40—Picture signal circuits
- H04N1/401—Compensating positionally unequal response of the pick-up or reproducing head
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/04—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa
- H04N1/10—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using flat picture-bearing surfaces
- H04N1/1013—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using flat picture-bearing surfaces with sub-scanning by translatory movement of at least a part of the main-scanning components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/04—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa
- H04N1/19—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using multi-element arrays
- H04N1/191—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using multi-element arrays the array comprising a one-dimensional array, or a combination of one-dimensional arrays, or a substantially one-dimensional array, e.g. an array of staggered elements
- H04N1/192—Simultaneously or substantially simultaneously scanning picture elements on one main scanning line
- H04N1/193—Simultaneously or substantially simultaneously scanning picture elements on one main scanning line using electrically scanned linear arrays, e.g. linear CCD arrays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
- H04N2201/024—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof deleted
- H04N2201/02406—Arrangements for positioning elements within a head
- H04N2201/02439—Positioning method
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
- H04N2201/04—Scanning arrangements
- H04N2201/0402—Arrangements not specific to a particular one of the scanning methods covered by groups H04N1/04 - H04N1/207
- H04N2201/0434—Arrangements not specific to a particular one of the scanning methods covered by groups H04N1/04 - H04N1/207 specially adapted for scanning pages of a book
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
- H04N2201/04—Scanning arrangements
- H04N2201/047—Detection, control or error compensation of scanning velocity or position
- H04N2201/04701—Detection of scanning velocity or position
- H04N2201/04703—Detection of scanning velocity or position using the scanning elements as detectors, e.g. by performing a prescan
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
- H04N2201/04—Scanning arrangements
- H04N2201/047—Detection, control or error compensation of scanning velocity or position
- H04N2201/04701—Detection of scanning velocity or position
- H04N2201/04734—Detecting at frequent intervals, e.g. once per line for sub-scan control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
- H04N2201/04—Scanning arrangements
- H04N2201/047—Detection, control or error compensation of scanning velocity or position
- H04N2201/04701—Detection of scanning velocity or position
- H04N2201/04737—Detection of scanning velocity or position by detecting the scanned medium directly, e.g. a leading edge
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
- H04N2201/04—Scanning arrangements
- H04N2201/047—Detection, control or error compensation of scanning velocity or position
- H04N2201/04753—Control or error compensation of scanning position or velocity
- H04N2201/04758—Control or error compensation of scanning position or velocity by controlling the position of the scanned image area
- H04N2201/04787—Control or error compensation of scanning position or velocity by controlling the position of the scanned image area by changing or controlling the addresses or values of pixels, e.g. in an array, in a memory, by interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
- H04N2201/04—Scanning arrangements
- H04N2201/047—Detection, control or error compensation of scanning velocity or position
- H04N2201/04753—Control or error compensation of scanning position or velocity
- H04N2201/04794—Varying the control or compensation during the scan, e.g. using continuous feedback or from line to line
Abstract
装置により読み取ったブック原稿の読取画像における画
像の歪み、明るさのむら、ぼけを低コストで補正する。 【解決手段】 製本された原稿をフラットベッドスキャ
ナで読み取って得た画像92から、原稿の天と地におけ
る輪郭線10に基づいて、少なくとも1本以上の基準直
線12を抽出し、基準直線12と輪郭線10に基づい
て、前記原稿が原稿台から離れている補正領域における
輪郭線10と基準直線12との距離Lnを各画素ごとに
算出し、この算出された距離から補正領域における原稿
天地の端縁の原稿台からの高さHnを算出し、見開き頁
の輪郭線10の高さから補正領域における原稿内部の原
稿台からの高さを算出し、その高さに応じて補正領域に
おける画質を補正する。
Description
て原稿載置台となるフラットベッドスキャナを持つ、汎
用スキャナ、ファイリング・システム、複写機、ファク
シミリ、及び、その他印刷機械一般において、厚みのあ
る製本された原稿(ブック原稿)の見開き頁を読み取っ
た際のブックセンタ、すなわちブック原稿における見開
き頁中央の綴じ代部付近の画像に生じる明度、歪み、ぼ
け等を補正する画像処理方法および装置に関するもので
ある。
読み取る場合、図1のようにブック原稿の見開き頁中央
の綴じ代部(以下、ブックセンタという)が原稿台から
離れるため、このブックセンタを読み取った原稿は、暗
くなったり、歪んだり、ぼけたりする。その結果、読み
取った原稿の一部が見難くなる、といった問題がある。
62−143557号には、読取部に、読取部と原稿台
上の原稿面との距離を検出する距離センサを設け、副走
査方向への読取ピッチを、読取部と原稿面との距離に対
応して原稿走査中に変化させる機能を持たせたものが開
示されている。これにより副走査方向への歪みを無く
し、原稿の画像情報を正確に読み取らせるようにしてい
る。
稿に対して所定の間隔をおいて配置された原稿読取手段
を備え、原稿面の曲がり具合を検知し、その結果に応じ
て再生時に画像データを補正する原稿読取装置が開示さ
れている。
開昭62−143557号開示のものにおいては、読取
部と原稿台上の原稿面との距離を検出する距離センサ
と、読取部の副走査方向の読取ピッチを読取部と原稿面
との距離に対応して原稿走査中に変化させる機能とを必
要とし、また上記特開平3−117965号のものにお
いては、原稿読取部がブック原稿を上方から読み取る位
置に設けられており、原稿読取部とブック原稿との間に
所定の間隔を必要とするもので、フラットベッドスキャ
ナではない。このように特開昭62−143557号並
びに特開平3−117965号における原稿読取部は、
従来の汎用スキャナとはシステム構成が異なり、これら
を利用するにはコストがかかるという問題があった。
読取装置でブック原稿を読み取ると、ブックセンタを読
み取った画像が、暗くなったり、ぼやけたり、更には図
15のように、見開き頁以外の頁の輪郭が表れるといっ
た問題が生じ、そのような読取画像に対して特開昭62
−143557号並びに特開平3−117965号の方
法を用いた場合、ブック原稿見開き頁の輪郭抽出が困難
となり、更には輪郭部の高さ抽出も困難となる。
置としてフラットベッドスキャナを持つ、汎用スキャ
ナ、ファイリング・システム、複写機、ファクシミリ、
及び、その他印刷機械一般において、実際に読み取った
ブック原稿の読取画像から、ブックセンタの原稿台から
の距離を画像処理のみによって算出し、その算出した原
稿台からの距離を利用して、ブックセンタにおける画像
の歪み、明るさのむら、ぼけ補正を低コストで実現でき
る、画像処理装置を提供することを目的とするものであ
る。
からの高さ(浮き)の検出を低コストで可能とするブッ
クセンタ高さ算出装置を提供することを目的とするもの
である。
法は、ブック原稿の見開き頁を原稿載置台を備えた画像
読取装置で読み取って得た画像を入力し、その読取画像
におけるブック原稿の輪郭線に基づいてブック原稿の各
点における原稿載置台からの高さを算出し、ブックセン
タ高さ算出部で算出された高さ情報に基づいて読取画像
の画質を補正することを特徴とするものである。
原稿の見開き頁を原稿載置台を備えた画像読取装置で読
み取って得た画像を入力し、その読取画像におけるブッ
ク原稿の輪郭線に基づいてブック原稿の各点における原
稿載置台からの高さを算出するブックセンタ高さ算出部
と、ブックセンタ高さ算出部で算出された高さ情報に基
づいて読取画像の画質を補正する画像補正手段とを備え
たことを特徴とするものである。
におけるブック原稿の天と地における輪郭線に基づい
て、少なくとも1本以上の基準直線を抽出する基準直線
抽出手段と、基準直線と輪郭線とに基づいて、ブック原
稿の見開き頁が原稿載置台から離れている部分の読取画
像に対応する補正領域を抽出する補正領域決定手段と、
この補正領域における前記輪郭線と前記基準直線との距
離を各画素ごとに算出する読取画像内距離算出手段と、
その算出された距離から前記補正領域におけるブック原
稿の天地端縁の原稿載置台からの高さを算出する端線高
さ算出手段と、算出された高さから補正領域内のブック
原稿内部における各点の原稿台からの高さを算出する全
画素高さ分布算出手段とを有するものとすることができ
る。
天(アタマ)と地(罫下)における見開き頁の輪郭線を
少なくとも1本以上抽出し、その見開き頁の輪郭線に対
して、歪みのない直線部を延長して得た直線をいう。
ブックセンタにおける綴じ代部付近の原稿台からの距離
を求めることは可能である。しかしこの場合には、ブッ
ク原稿の両頁が同じ傾きとなるようにするための手段が
必要になる。一般的には、フラットベッドに置かれた原
稿の両頁は傾きが異なり、また天と地においても両頁は
傾きが異なることが多い。そのような場合には両頁それ
ぞれの天地における基準直線(合計4本)を求めれば、
より正確にブックセンタの原稿台からの距離を求められ
る。
線と、基準直線とブック原稿の見開き頁の輪郭線とが離
れる点(補正開始点)を同頁の天地で結んだ直線とに挟
まれた領域をいう。
るさのむら、歪みあるいはぼけのいずれを補正する手段
であってもよい。
取装置がラインセンサである場合は、本の天地がスキャ
ナの長さ方向と平行にならないように置く必要がある。
一方、エリアセンサを用いた場合には、本の置き方に制
約はない。
は、厚みのある製本された原稿をフラットベッドスキャ
ナを使用する画像読取装置で読み取って得た画像から、
前記画像における前記原稿の天と地における輪郭線に基
づいて基準直線を抽出し、この基準直線と輪郭線に基づ
いて、原稿が原稿台から離れている部分の画像に対応す
る補正領域における原稿天地の端縁の原稿台からの高さ
を算出し、この高さからこの補正領域内の原稿内部にお
ける各点の原稿台からの高さを算出するものであるた
め、ブックセンタの原稿台からの距離を画像処理のみに
よって算出することができ、したがって特別なセンサや
装置を必要とせず、従来の汎用スキャナと何らシステム
構成を変えることがなく、低コストでブックセンタ高さ
を算出し、その部分における画質補正を行うことができ
る。
れている部分の画像に対する補正領域における原稿の天
地端縁の原稿載置台からの高さの算出は、原稿が原稿載
置台に対して傾いて置かれていたり見開き頁の左右の傾
きが異なる場合でも可能であり、またその傾きを補正す
ることでより良い画質補正を行うことができる。
を補正する手段である場合には、算出した原稿台からの
距離を利用して、ブックセンタが原稿台に接した場合に
おける明度を計算し、その明度へと補正するため、ブッ
クセンタにおける明度のむらがなくなり、画像が見やす
くなる。
る手段である場合には、算出した原稿台からの距離を利
用して、ブックセンタが原稿台に接した場合における綴
じ代部の原稿台に対する位置を計算し、すでに読み取っ
た画像上の補正領域における画素を、上記の計算した位
置へと移動し、画素の移動によって生じる欠落部分には
補間を行い、歪みを補正する。これにより、ブックセン
タにおける歪みがなくなり、画像が見やすくなる。
る手段である場合には、算出した原稿台からの距離を利
用して、ブック原稿が原稿台から浮くことに起因する画
像のぼけに対し、高さに適したぼけ補正フィルタを用い
て、画像のぼけを補正する。
ぼけがなくなり、画像が見やすくなる。
間するため、歪みの補正を行った後に明るさのむらの補
正やぼけの補正を行おうとすると、補間した画素に対す
る高さも必要になる。この場合は、補間した画素の高さ
は、周辺の実在画素が持つ高さを利用して求めてもよ
い。一方、明るさのむらの補正やぼけの補正を行った後
に歪みの補正を行う場合には、その後の処理に高さを必
要としないので、補間した画素に対する高さを求める必
要はない。
の一実施の形態について詳細に説明する。
原稿を取り込んだ読取画像から画像処理のみによって、
ブック原稿における綴じ代部付近(ブックセンタ)の原
稿載置台からの距離を求め、その原稿載置台からの距離
に基づいて、歪み、明るさのむら、ぼけの補正を行うも
のである。
における処理の流れを示すブロック図である。原稿載置
台を備えたフラットベッドスキャナを持つ画像読取装置
から送られる読取画像90に対して、基準直線抽出手段
101と、補正領域決定手段102と、読取画像内距離
算出手段103と、端縁高さ算出手段104と、全画素
高さ分布算出手段105とで構成されたブックセンタ高
さ算出部106により、ブックセンタの原稿台からの距
離を求める。その原稿載置台からの距離に基づいて、明
度補正手段107では、明度補正を行い、歪み補正手段
108で歪みの補正を行い、ぼけ補正手段109でぼけ
の補正を行う。画像補正の選択110で上記各補正手段
107,108,109のうち少なくともいずれか一つ
を選択して必要な画像処理を行い、画質を改善する。ま
た、その後トリミング手段111で不必要な部分をカッ
トするトリミング処理を、傾き補正手段112で原稿画
像の傾きを補正する処理を行い、出力画像の見栄えを良
くする。
距離を求める各手段について説明する。
いて説明する。図1は、原稿台2にブック原稿3を置
き、画像読取装置4によって原稿面を読み取る場合の斜
視図である。ここで、図2のように主走査方向(do
t)、副走査方向(dot)、原稿台2からの高さ(mm)を
それぞれ、x、y、z方向とする。図3のように、ブッ
ク原稿3の両頁の傾きが違う場合を考慮し、4本の基準
直線11、12、13、14を抽出する。縮小光学系を
持つ画像読取装置4によってブック原稿3を読み取った
場合、1画素の濃度を8bitsで表現し、白レベルを25
5、黒レベルを0とすると、ブック原稿3の綴じ代部付
近(ブックセンタ)では、原稿台2から浮くにしたがっ
て取り込まれた画像の濃度値が低くなる。ここで、原稿
台2から浮いていない部分の原稿の平均濃度値を検出
し、その平均濃度値を基に読取画像90(図14)を二
値化すると、図3のように、綴じ代部付近の画像はカッ
トされ、原稿台2から浮いていない原稿部分91のみが
白く、他の部分はすべて黒となる画像が得られる。この
画像から得られる天と地の部分の見開き頁の輪郭線の略
直線部分を直線として延長し、基準直線を抽出する。図
3にはこうして抽出した基準直線11〜14を表してい
る。見開き頁の輪郭線の直線部分を検出するためには、
ハフ変換や輪郭追跡や最小二乗法等の直線検出法を用い
ることも可能である。
いて図4を用いて説明する。ブック原稿3を取り込んだ
画像92に対して、先に求めた各基準直線11〜14と
見開き頁の輪郭線とが離れる点をそれぞれ補正開始点2
1、22、23、24とする。見開き頁の輪郭線と、補
正開始点21、23を結んだ直線と、補正開始点22、
24を結ぶ直線とに挟まれた領域を補正領域50とす
る。
光軸42に向かって最も窪んでいる点をブックセンタ点
31、32とする。図4のように、ブックセンタ点3
1、32を結ぶ直線を上下分割線41とし、その直線よ
り上は上部領域61、下は下部領域62とする。
5のように綴じ代付近が暗くなるため、綴じ代付近にお
ける見開き頁の輪郭線、およびブックセンタ点31、3
2を検出することが困難となる。そこで、綴じ代部付近
における読取画像90に対しては平均化処理を施した
後、二値化処理をすることで、図4のような2値化読取
画像92が得られ、前記綴じ代部付近における見開き頁
の輪郭線、およびブックセンタ点31、32を検出する
ことができる。
3について、図2を用いて説明する。図2(b)は、図
2(a)のA部の拡大図である。図2(b)において距
離Ln(n=1、2、・・・)は、見開き頁の輪郭線10
上の画素から基準直線11〜14への距離を示してい
る。Ln(n=1、2、・・・)は、ブック原稿3の綴じ
代部付近の輪郭部において画素ごとに算出する。このと
き、量子化誤差の影響によりLnとLn-1とが同じ値にな
る場合がある。しかし綴じ代部付近の実際の高さは滑ら
かに変化しているので、このような場合、Lnの値をLn
-1とLn+1の値で補間すると、より高精度な高さを求め
ることができる。
いて、図5を用いて説明する。図5はブック原稿3、原
稿台2、レンズ6と結像面7の位置関係を模式的に表し
た図である。ブック原稿3が原稿台2から浮いていない
ときは光路Dを通り、浮いている時は光路Dより内側の
光路Eを通る。この時、結像面7における前記距離Ln
(n=1、2、・・・)と、ブック原稿3の端縁におけ
る原稿台からの高さHn(n=1、2、・・・)には式1
の関係があり、Ln(n=1、2、・・・)から見開き頁
の輪郭線上の各画素の高さHnを求めることができる。
る原稿台2からの高さ A :光路Dと原稿台2が交差する点から、光路Eと原
稿台2が交差する点までの距離 B :レンズ6から受光面7までの距離 C :光軸から基準直線までの距離 Ln(n=1、2、・・・):基準直線から輪郭線10へ
の距離 (5)次に、全画素高さ分布算出手段105について説
明する。先の端縁高さ算出手段でブック原稿3の端縁に
おける原稿台2からの高さ(Hn)分布を算出したが、
端縁より内側、つまり、ブック原稿頁内の各画素の高さ
H’n(n=1、2、・・・)については、Hnを補間し
て算出する。
は、前記上下分割線41により上下領域61、62に分
割される。ここでは例として、上部領域61の内部の高
さ算出について図6を用いて説明する。
(副走査方向)にΔaずつ移動した点をpan(n=0、
1、2、・・・)とする。また、歪み補正開始点23
(pb0)からy軸方向(副走査方向)にΔbずつ移動し
た点をpbn(n=0、1、2、・・・)とする。ここ
で、Δa、Δbはそれぞれ歪み補正開始点21からブッ
クセンタ点31までの距離vと、歪み補正開始点23か
らブックセンタ点32までの距離wによって決まり、w
<vのときはΔa=1、Δb=w/v、v<wのときは
Δa=v/w、Δb=1、w=vのときはΔa=Δb=
1である。
向かって湾曲していく見開き頁の輪郭線上の点panと、
補正開始点23からブックセンタ点32へ向かって湾曲
していく見開き頁の輪郭線上の点pbnとを、直線で結
ぶ。その直線の付近における画素pn(n=0、1、2、
・・・)を求め、pnに対応したブック原稿3の、原稿
台2からの高さH’nを、点panの高さHanと点pbnの
高さHbnの一次元補間から求める。式2に前記直線上任
意の点piの高さH’nを求める一般式を示す。なお、
式2中のiは、点piと点panのx座標の差分であり、
jは点pbnと点panのx座標の差分である。
部付近の原稿台2からの距離を求めることが可能とな
る。
る。図11は原稿台2上に置かれたブック原稿3が光源
5a、5bからの照明光を受け、その反射光がミラー8
を介しCCD9に受光される様子を表したものである。
図11において、ブック原稿3の綴じ代部付近の原稿台
2から浮いた点をBとし、点Bから原稿台2に向かって
下ろした垂線が原稿台2と交わる点をAとする。この点
Aの補正後の明度を算出するには、点A、点Bそれぞれ
の、入射光に対する光の強度、反射光に対する光の強度
が必要となる。以下にそれらの求め方を説明する。
強度は、光源5a、5bからの距離に反比例する。よっ
て、以下の式3、式4で求めることができる。
式5、式6で求めている。
す角 ψ2:光源5bから点Bへの照明光と点Bの法線とのな
す角 ここで、上記cosθは光源5a、5bの位置によって決
まる数値であり、図11から以下の式7で求めることが
できる。
りであるから、α、Φを求めればよい。
る点Cの高さH(yi)は補正開始点21〜24のy座標
y0からC点のy座標yiまでのtan(Φ(yi))Δyの積分
で求めることができる。
ル画像上で行うためΔyを1とし、式12によりΦ(y
i)を求めた。
からの点光源からの光線と仮定することができ、以下の
式13、式14が成り立つ。
式13と式14の比例定数は同じであるので、式13を
式14で割ると式15になる。
DAを求めることができる。
代入すれば点Aの明度を求めることができ、点Bの明度
を補正することができる。
る。綴じ代部付近のぼけは、ブック原稿3の綴じ代部付
近が原稿台2より浮いてしまうことが原因である。つま
り、ブック原稿3の綴じ代部付近が原稿台2から浮き、
縮小光学系の被写界深度範囲から離れるためぼけてしま
う。また、ぼけの強度は綴じ代部付近の浮き具合により
様々である。そこで、画像のぼけの強度に応じて補正量
が変化するようなぼけ補正処理を加えることにより画質
劣化を改善する。
さHは、正比例関係にある。そこで、ぼけ補正の強度を
綴じ代部付近の高さHに応じて変化させるようなラプラ
シアンオペレータによる画像補正処理を行う。
理の一般的な式を示す。この式の、g(i,j)は補正後
の画像、f(i,j)は補正前の画像である。式19が本
実施の形態において使用した方法で、ディジタル・ラプ
ラシアンに重みづけをしたものである。重みγは高さH
に比例する関数を示しており、高さHが大きな値になる
と、重みγも大きな値になる。
入すれば、高さによって度合いの異なるぼけ補正を行う
ことができる。
る。歪み補正では、ブック原稿3の綴じ代部が原稿台2
に接した場合における、綴じ代部の原稿台2に対する位
置(歪み補正後の位置)を計算する。そして、補正領域
における画素を算出した位置へと移動し、画素の移動に
よって生じる欠落部分は補間を行い、歪みを補正する。
図7はブック原稿3が原稿台2から浮いている様子を示
したものである。始めに補正領域におけるブック原稿端
縁を補正する場合について説明する。
合に、ブック原稿3の端縁における点rn(n=1、
2、・・・)が基準直線上の点qn(n=1、2、・・
・)へ移動すると考える。点rnの高さHnは、基準直
線から見開き頁の輪郭線までの距離Lnを用いて、式1
から算出することができる。
の点qnへ移動する方法を図8から説明する。点rnの
原稿台からの高さHnは先に求めているので、y’:基
準直線方向(dot)の歪み補正量kを求めれば、点rn
の歪み補正後の座標点qnを求めることができる。歪み
補正開始点q0と点r1を直線で結んだ距離がS1、そ
の時のy’座標方向への移動量をt1、点rn−1と点
rnを直線で結んだ距離がsn、その時のy’座標方向
への移動量をtnとする。この時のs1は式20で、sn
は式21で求めることができる。
と距離(t1+t2+・・・+tn+k)を等距離とすれ
ば、式22からkの距離を求めることができ、点qnの
座標を求めることができる。
簡単にするために点q0と点rnを直線で結んだ距離u
を用いてkを求めることも可能である(式23参照)。
応した補正領域におけるブック原稿端縁の画素を、qn
へと移動することにより、ブック原稿端縁の歪みを補正
することができる。
側の画素を歪み補正する場合の説明を行う。
て、光軸42より左側を分割領域71、右側を分割領域
73とし、下部領域62においては、光軸42より左側
を分割領域72、右側を分割領域74とする。ここで、
光軸42とは縮小光学系のスキャナユニット内における
光学系の光軸である。
準直線11〜14を基に歪み補正を行うが、見開き頁の
端縁より内側の画素については画素ごとに基準直線を求
める必要がある。画素ごとの基準直線を求めた後は、ブ
ック原稿端縁と同様、歪み補正後の位置を算出し、画素
の移動を行う。例として、図9の歪み補正前の点pnを
補正後の位置におけるqnへ移動する方法を以下に示
す。点pnから輪郭部の基準直線11と垂直に交わる方
向にLnだけ移動した点qmを求める。基準直線に対し
て垂直な方向(dot)をx’方向とし、平行な方向(do
t)をy’方向とする。ここで点pnにおける高さH’n
は式2から求められるので、Lnは式1から逆算でき
る。点qmを通り基準直線11と平行な直線が、点pn
の基準直線nとなる。更に、点pnの高さHnと式20
〜式22を用いて、点pnのy’方向への歪み補正量k
を求める。よって点pnを基準直線n上の点qnへ移動
することができる。
に対しては、近傍の画素から補間を行う。この補間は各
領域ごとに独立で処理を行う。なぜなら、各領域の歪み
補正はそれぞれに対応した基準直線を基に行っているの
で、各領域での画素の欠落は、それぞれの基準直線の傾
きと同じ方向性をもって生じているからである。例え
ば、領域1で欠落画素が存在した場合は、その欠落画素
から基準直線11の傾き方向の存在する画素を見つけ補
間を行う。
求める方法を以下に示す。欠落画素pmから基準直線1
1の傾き方向に実在画素を探す。基準直線11の傾きで
y座標の大きくなる方向に探すと実在画素p2、基準直
線11の傾きでy座標の小さくなる上方向に探すと実在
画素p1を見つけることができる。実在画素p1、p2
の濃度をそれぞれd1、d2、pmからp1までの距離
をv1、pmからp2までの距離をw1とすると、欠落
画素pmの濃度dmは式24で求められる。
画像は伸長されるため、そのまま出力すると両頁の画像
が重なり合ってしまう。したがって本実施の形態では両
頁の重なりを防ぐため、各頁の最大伸長量(ブックセン
タ点31、32の伸長量)から、各頁の副走査方向に対
する移動量を求め、頁の重なりを防ぐ。
ブック原稿の前小口部(図13に示す部分)を検出し、
ブック原稿3の一番内側の頁のみを抽出することでトリ
ミング処理を行う。
に対して、高域強調処理を用い二値化する。更に、特定
の領域に分割し、各領域内で直線が存在するかを判断す
る。各領域において頁のかさばりが直線となって現われ
るので、直線が検出できなくなったところを、一番内側
の頁の始まりとすることでトリミング処理を行うことが
できる。なお、上記直線検出はハフ変換や輪郭追跡や最
小二乗法等を用いることにより行う。
組む際に、傾いて画像を取り込んだり、ブック原稿左右
の頁の傾きが違っていたりして、出力結果の見栄えが良
くない時がある。そのようなときには、傾き補正処理を
施し、出力結果の見栄えを良くする。なお、左右の頁の
傾きは、先に述べた基準直線から求めることができ、ア
フィン変換等の回転処理を施すことで、左右の頁の傾き
を独立に補正する。
小光学系を持つ画像読取装置4でブック原稿3を読み込
んだ読取画像90から、画像処理のみによって、ブック
原稿3における綴じ代部付近の原稿台2からの距離Hn
を求め、その原稿台2からの距離を基に、歪み、明るさ
のむら、ぼけの補正等の画質改善を行うことが可能とな
る。なお、上記実施の形態では、高さ検出と画質改善を
一つにまとめて行っているが、高さ検出のみを行うこと
ができることは言うまでもない。
における原稿台とブック原稿と画像読取装置の位置関係
を示す斜視図
開き頁の輪郭線の高さ算出を説明するための要部拡大図
二値化処理後の画像
ンズ、結像面の位置関係を示す概念図
開き頁の輪郭線以外の高さ算出を説明するための要部拡
大図
き頁の輪郭線の歪み補正を説明するための要部拡大図
き頁の輪郭線の歪み補正を説明するための要部拡大図
き頁の輪郭線以外の歪み補正を説明するための要部拡大
図
するための要部拡大図
明するための概念図
明するための概念図
図
ためのブック原稿の読取画像
Claims (6)
- 【請求項1】 ブック原稿の見開き頁を原稿載置台を備
えた画像読取装置で読み取って得た画像を入力し、該読
取画像における前記ブック原稿の輪郭線に基づいて、前
記ブック原稿の各点における前記原稿載置台からの高さ
を算出するブックセンタ高さ算出部と、 前記ブックセンタ高さ算出部で算出された高さ情報に基
づき前記読取画像の画質を補正する画像補正手段とを備
えたことを特徴とする画像処理装置。 - 【請求項2】 前記ブックセンタ高さ算出部は、 前記読取画像における前記ブック原稿の天と地における
輪郭線に基づいて、少なくとも1本以上の基準直線を抽
出する基準直線抽出手段と、 前記基準直線と前記輪郭線とに基づいて、前記ブック原
稿の見開き頁が前記原稿載置台から離れている部分の前
記読取画像に対応する補正領域を抽出する補正領域決定
手段と、 前記補正領域における前記輪郭線と前記基準直線との距
離を各画素ごとに算出する読取画像内距離算出手段と、 算出された前記距離から前記補正領域における前記ブッ
ク原稿の天地端縁の前記原稿載置台からの高さを算出す
る端線高さ算出手段と、 算出された前記高さから前記補正領域内の前記ブック原
稿内部における各点の原稿台からの高さを算出する全画
素高さ分布算出手段とを有するものである請求項1記載
の画像処理装置。 - 【請求項3】 前記画質補正手段が、画像の明るさのむ
らを補正する明度補正手段を有するものである請求項1
記載の画像処理装置。 - 【請求項4】 前記画質補正手段が、画像の歪みを補正
する歪み補正手段を有するものである請求項1記載の画
像処理装置。 - 【請求項5】 前記画質補正手段が、画像のぼけを補正
するボケ補正手段を有するものである請求項1記載の画
像処理装置。 - 【請求項6】 ブック原稿の見開き頁を原稿載置台を備
えた画像読取装置で読み取って得た画像を入力し、該読
取画像における前記ブック原稿の輪郭線に基づいて、前
記ブック原稿の各点における前記原稿載置台からの高さ
を算出し、前記ブックセンタ高さ算出部で算出された高
さ情報に基づいて前記読取画像の画質を補正することを
特徴とする画像処理方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP04496599A JP3618056B2 (ja) | 1999-02-23 | 1999-02-23 | 画像処理装置 |
EP00103650A EP1032191B1 (en) | 1999-02-23 | 2000-02-21 | Method and apparatus for correcting degradation of book center image by image processing based on contour of book center image |
DE60039138T DE60039138D1 (de) | 1999-02-23 | 2000-02-21 | Verfahren und Gerät zur Korrektur der Degradation vom Buchmittenbild durch Bildverarbeitung auf dem Umriss des Buchmittenbildes bezugnehmend |
US09/510,733 US6816624B1 (en) | 1999-02-23 | 2000-02-22 | Method and apparatus for correcting degradation of book center image by image processing based on contour of book center image |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP04496599A JP3618056B2 (ja) | 1999-02-23 | 1999-02-23 | 画像処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2000244729A true JP2000244729A (ja) | 2000-09-08 |
JP3618056B2 JP3618056B2 (ja) | 2005-02-09 |
Family
ID=12706205
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP04496599A Expired - Fee Related JP3618056B2 (ja) | 1999-02-23 | 1999-02-23 | 画像処理装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US6816624B1 (ja) |
EP (1) | EP1032191B1 (ja) |
JP (1) | JP3618056B2 (ja) |
DE (1) | DE60039138D1 (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007221838A (ja) * | 2001-08-27 | 2007-08-30 | Ricoh Co Ltd | 画像歪み補正装置、画像読取装置、画像形成装置及びプログラム |
US7548351B2 (en) | 2005-12-27 | 2009-06-16 | Canon Kabushiki Kaisha | Image reading device and image forming apparatus |
JP2010130277A (ja) * | 2008-11-27 | 2010-06-10 | Oki Data Corp | 画像処理装置および画像形成装置 |
EP2642446A2 (en) * | 2012-03-22 | 2013-09-25 | Sony Computer Entertainment Europe Limited | System and method of estimating page position |
US9019565B2 (en) | 2012-12-24 | 2015-04-28 | Samsung Electronics Co., Ltd. | Image scanning apparatus and method for image compensation |
JP2016092697A (ja) * | 2014-11-07 | 2016-05-23 | 株式会社リコー | 画像読取装置、画像形成装置及び画像読取方法 |
WO2019064835A1 (ja) * | 2017-09-29 | 2019-04-04 | パナソニックIpマネジメント株式会社 | 載置検出システム |
Families Citing this family (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW527817B (en) * | 2000-08-11 | 2003-04-11 | Canon Kk | Image sensor and image reading apparatus |
JP2002358514A (ja) | 2000-12-14 | 2002-12-13 | Ricoh Co Ltd | 画像歪み補正装置、プログラム、記憶媒体、画像歪み補正方法、画像読取装置および画像形成装置 |
US6763141B2 (en) * | 2000-12-28 | 2004-07-13 | Xerox Corporation | Estimation of local defocus distance and geometric distortion based on scanned image features |
KR20040044858A (ko) * | 2001-09-07 | 2004-05-31 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 카메라 및 이미지 원근 수정 및 회전과 스태거링 수정을가진 이미지 장치 |
DE10156040B4 (de) * | 2001-11-15 | 2005-03-31 | Océ Document Technologies GmbH | Verfahren, Vorrichtung und Computerprogramm-Produkt zum Entzerren einer eingescannten Abbildung |
US7170644B2 (en) * | 2002-08-30 | 2007-01-30 | Xerox Corporation | Method and system for reducing distortion in scanned images |
JP4113804B2 (ja) | 2003-03-19 | 2008-07-09 | 株式会社リコー | 画像処理装置及び画像処理プログラム |
KR100677154B1 (ko) * | 2004-12-03 | 2007-02-02 | 삼성전자주식회사 | 문서와 플랫 베드 간의 수직 거리 측정 장치 및 왜곡 보상기능을 가지는 스캐닝 장치 및 방법 |
US8213687B2 (en) * | 2006-04-28 | 2012-07-03 | Hewlett-Packard Development Company, L.P. | Image processing methods, image processing systems, and articles of manufacture |
JP4991411B2 (ja) * | 2006-07-28 | 2012-08-01 | キヤノン株式会社 | 画像処理方法 |
US8270044B2 (en) * | 2006-10-26 | 2012-09-18 | Samsung Electronics Co., Ltd. | Scanning apparatus having image correction function |
US7903876B2 (en) * | 2007-02-27 | 2011-03-08 | Seiko Epson Corporation | Distortion correction of a captured image |
US7873216B2 (en) * | 2007-02-27 | 2011-01-18 | Seiko Epson Corporation | Distortion correction of a scanned image |
KR101279034B1 (ko) | 2007-07-11 | 2013-07-02 | 삼성전자주식회사 | 스캐너 모듈 및 이를 채용한 화상독취장치 |
KR101282247B1 (ko) | 2007-12-03 | 2013-07-10 | 삼성전자주식회사 | 스캐닝장치와 이의 이미지보정방법 |
JP5199787B2 (ja) * | 2008-08-21 | 2013-05-15 | キヤノン株式会社 | 画像処理装置、画像処理方法、およびプログラム |
US20110110604A1 (en) * | 2009-11-10 | 2011-05-12 | Prakash Reddy | Cropping scanned pages to remove artifacts |
KR101621848B1 (ko) * | 2009-12-14 | 2016-06-01 | 삼성전자주식회사 | 화상처리장치 및 방법 |
JP2011255593A (ja) * | 2010-06-09 | 2011-12-22 | Canon Inc | 記録装置 |
JP5777601B2 (ja) * | 2012-12-25 | 2015-09-09 | 京セラドキュメントソリューションズ株式会社 | 画像処理装置および画像読取装置 |
TWD166688S (zh) * | 2014-03-10 | 2015-03-21 | 虹光精密工業股份有限公司 | 掃描器 |
JP7367437B2 (ja) * | 2019-10-03 | 2023-10-24 | 富士フイルムビジネスイノベーション株式会社 | 画像処理装置、折り筋形成装置、および折り装置 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS62143557A (ja) | 1985-12-18 | 1987-06-26 | Matsushita Electric Ind Co Ltd | 画像読み取り装置 |
JP3063099B2 (ja) | 1989-09-29 | 2000-07-12 | ミノルタ株式会社 | 原稿読み取り装置 |
JP2931647B2 (ja) * | 1990-03-16 | 1999-08-09 | 株式会社リコー | 原稿読取装置 |
JPH04331562A (ja) * | 1990-07-31 | 1992-11-19 | Xerox Corp | 文書複写機 |
JP3175250B2 (ja) | 1991-12-05 | 2001-06-11 | ミノルタ株式会社 | 原稿読み取り装置 |
US5585926A (en) * | 1991-12-05 | 1996-12-17 | Minolta Co., Ltd. | Document reading apparatus capable of rectifying a picked up image data of documents |
US5497236A (en) * | 1993-06-23 | 1996-03-05 | Ricoh Company Ltd. | Method and apparatus for distortion correction of scanned images |
JPH09205544A (ja) * | 1996-01-26 | 1997-08-05 | Minolta Co Ltd | 読取り画像の修正方法及び画像読取り装置 |
JPH1013669A (ja) * | 1996-06-26 | 1998-01-16 | Minolta Co Ltd | 画像読取り装置におけるデータ処理方法 |
JP3631333B2 (ja) * | 1996-08-23 | 2005-03-23 | シャープ株式会社 | 画像処理装置 |
JPH10336439A (ja) * | 1997-05-28 | 1998-12-18 | Minolta Co Ltd | 画像読取り装置 |
US6330050B1 (en) | 1997-07-24 | 2001-12-11 | Ricoh Company, Ltd | Image processing device for providing correction of a curvature distortion of a bound portion of a spread book |
-
1999
- 1999-02-23 JP JP04496599A patent/JP3618056B2/ja not_active Expired - Fee Related
-
2000
- 2000-02-21 DE DE60039138T patent/DE60039138D1/de not_active Expired - Fee Related
- 2000-02-21 EP EP00103650A patent/EP1032191B1/en not_active Expired - Lifetime
- 2000-02-22 US US09/510,733 patent/US6816624B1/en not_active Expired - Lifetime
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007221838A (ja) * | 2001-08-27 | 2007-08-30 | Ricoh Co Ltd | 画像歪み補正装置、画像読取装置、画像形成装置及びプログラム |
JP4507124B2 (ja) * | 2001-08-27 | 2010-07-21 | 株式会社リコー | 画像歪み補正装置、画像読取装置、画像形成装置及びプログラム |
US7548351B2 (en) | 2005-12-27 | 2009-06-16 | Canon Kabushiki Kaisha | Image reading device and image forming apparatus |
JP2010130277A (ja) * | 2008-11-27 | 2010-06-10 | Oki Data Corp | 画像処理装置および画像形成装置 |
EP2642446A2 (en) * | 2012-03-22 | 2013-09-25 | Sony Computer Entertainment Europe Limited | System and method of estimating page position |
EP2642446A3 (en) * | 2012-03-22 | 2016-09-07 | Sony Computer Entertainment Europe Limited | System and method of estimating page position |
US9019565B2 (en) | 2012-12-24 | 2015-04-28 | Samsung Electronics Co., Ltd. | Image scanning apparatus and method for image compensation |
JP2016092697A (ja) * | 2014-11-07 | 2016-05-23 | 株式会社リコー | 画像読取装置、画像形成装置及び画像読取方法 |
WO2019064835A1 (ja) * | 2017-09-29 | 2019-04-04 | パナソニックIpマネジメント株式会社 | 載置検出システム |
Also Published As
Publication number | Publication date |
---|---|
US6816624B1 (en) | 2004-11-09 |
DE60039138D1 (de) | 2008-07-24 |
EP1032191B1 (en) | 2008-06-11 |
EP1032191A3 (en) | 2003-01-02 |
EP1032191A2 (en) | 2000-08-30 |
JP3618056B2 (ja) | 2005-02-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3618056B2 (ja) | 画像処理装置 | |
JP3425366B2 (ja) | 画像補正装置 | |
US9509884B2 (en) | Skew detection | |
JP3376077B2 (ja) | 歪修正装置、歪修正方法及び画像処理装置 | |
JP3631333B2 (ja) | 画像処理装置 | |
US8587818B2 (en) | Captured image processing system and recording medium | |
US5764383A (en) | Platenless book scanner with line buffering to compensate for image skew | |
US8270044B2 (en) | Scanning apparatus having image correction function | |
EP1307039A2 (en) | Image processing apparatus and image scanning apparatus | |
US20030198398A1 (en) | Image correcting apparatus and method, program, storage medium, image reading apparatus, and image forming apparatus | |
JP2000228722A (ja) | 傾き調整及び写真配置のための方法、装置および記録媒体 | |
US7350710B2 (en) | Two-dimensional code extracting method | |
JP7341808B2 (ja) | 画像読取装置およびその制御方法 | |
JP2019179342A (ja) | 画像処理装置および画像処理方法 | |
JP2004310726A (ja) | 画像検査方法、画像検査装置、およびプログラム | |
JP3024660B2 (ja) | 画像読取装置 | |
JP2000261653A (ja) | 画像処理装置 | |
JP3852247B2 (ja) | 画像形成装置及び転写画像歪み補正方法 | |
JPH11355513A (ja) | 画像読取装置及び複写機 | |
JPH11288453A (ja) | 再生用のスキャン環境における原稿画像のスキュ―角度および黒い境界線を検出する方法およびシステム | |
JP3684479B2 (ja) | デジタルカメラ | |
JP3906524B2 (ja) | 画像読み取り装置 | |
JP2004048633A (ja) | 画像補正装置、プログラム、記憶媒体及びページ外形の直線部分と曲線部分の境界点の検出方法 | |
JP2000354166A (ja) | 画像読み取り装置 | |
JP2009284299A (ja) | 画像処理装置、画像形成装置、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040301 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040309 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040427 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041026 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041108 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071119 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081119 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091119 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091119 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101119 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111119 Year of fee payment: 7 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111119 Year of fee payment: 7 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121119 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121119 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131119 Year of fee payment: 9 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |