JP2002135592A - 画像処理装置及び記録媒体 - Google Patents

画像処理装置及び記録媒体

Info

Publication number
JP2002135592A
JP2002135592A JP2001269405A JP2001269405A JP2002135592A JP 2002135592 A JP2002135592 A JP 2002135592A JP 2001269405 A JP2001269405 A JP 2001269405A JP 2001269405 A JP2001269405 A JP 2001269405A JP 2002135592 A JP2002135592 A JP 2002135592A
Authority
JP
Japan
Prior art keywords
image
smoothing
processing
edge
target area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001269405A
Other languages
English (en)
Other versions
JP4568460B2 (ja
Inventor
Yoshihiro Terada
義弘 寺田
Alan Filipski
フィリップスキー アラン
T Ring Marvin
ティー.リング マーヴィン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
GTX Corp
Original Assignee
Fuji Xerox Co Ltd
GTX Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, GTX Corp filed Critical Fuji Xerox Co Ltd
Publication of JP2002135592A publication Critical patent/JP2002135592A/ja
Application granted granted Critical
Publication of JP4568460B2 publication Critical patent/JP4568460B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/174Segmentation; Edge detection involving the use of two or more images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10008Still image; Photographic image from scanner, fax or copier
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20004Adaptive image processing
    • G06T2207/20012Locally adaptive
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20016Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20192Edge enhancement; Edge preservation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30176Document

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Color Image Communication Systems (AREA)

Abstract

(57)【要約】 【課題】 カラー文書画像を高品質化することが可能な
画像処理装置及び記録媒体を提供する。 【解決手段】 「フィルタサイズ」、「オフセット」、
及び「オーバーラップ」の3つのパラメータで規定され
る平滑化条件を設定し(ステップ200)、エッジ検出
処理で生成されたエッジ画像24を参照し、注目領域内
にエッジ画素が存在するか否かの判定をする(ステップ
202)。注目領域内にエッジ画素が存在しない場合に
は平滑化処理が行なわれ(ステップ204)、エッジ画
素が存在する場合には平滑化処理を施すのは不適切と判
断し、平滑化処理を行わずに次の処理に移行する。この
ような処理を画像走査が終了するまで行い、画像走査が
終了した場合には次の平滑化条件を設定して上記と同様
の処理を行う。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、画像処理装置及び
記録媒体に関し、特に、カラー原稿の読込みや複写等、
デジタルカラー画像処理において高画質化処理が可能な
画像処理装置及び記録媒体に関する。
【0002】
【従来の技術】近年、スキャナ・複写機・プリンタなど
の分野でデジタルカラー機器の発達・普及が目覚まし
い。また、パーソナル・コンピュータやワープロソフト
等の文書作成環境の進歩・発達もあり、上記のようなデ
ジタルカラー機器を利用するカラー画像再現の分野にお
いては、人物・風景等の自然画像のみならず、主に文字
情報やグラフ・図表などから構成される文書画像も重要
な処理対象となってきている。
【0003】それらの文書画像を自然画像と比較した場
合の特徴としては、文書画像の場合は2,3色からせい
ぜい数十色程度までといった非常に少ない色数で表現さ
れている事、広い面積を有する同一色領域が多く存在す
る事などがある。このため、元々の原稿の品質、画像の
読み込み機器のデバイス特性、階調補正やMTF補正な
どの画像処理における過強調等に起因して、本来は同一
であるべき色領域におけるノイズや色むらが画像再現を
行う際に生じる、という問題がある。
【0004】この問題を解決するため、原画像中の色数
を減らす所謂減色処理的な手法を用いて色を均一化する
方式が各種提案されている。例えば、特開平8−225
32号公報には、原画像中に存在する色の成分比率を限
定することによって文書画像中に存在するムラを軽減す
る技術が記載されている。また、特開平10−2432
50号公報には、原画像中の色の分布からフラットに再
現するべき色領域とそうでない色領域を設定し、色の補
正を行うことによって均一な色領域の再現を向上させる
技術が記載されている。
【0005】
【発明が解決しようとする課題】しかしながら、上記従
来技術は、何れも各画素単位で色を最も近い色に置き換
えたり、或いは補正係数を異ならせたりする処理であ
り、原画像中に存在する網点成分や微小ノイズの影響を
受けやすく、その結果として色数の減少が必ずしも所望
領域の均一色化に結びつかない場合があった。また、色
の置換に先立って行われる代表色設定も複雑な演算処理
が必要とされ、全体として処理規模に対して妥当な処理
品質が得られない、という問題があった。
【0006】本発明は上記事実に鑑みて成されたもので
あり、カラー文書画像を高品質化することが可能な画像
処理装置及び記録媒体を提供することを目的とする。
【0007】
【課題を解決するための手段】上記目的を達成するため
に、本発明は、画像を走査読み取りする画像読み取り手
段により読み取った入力画像からエッジを検出するエッ
ジ検出手段と、前記入力画像より小さな大きさの処理対
象領域、該処理対象領域の移動量、及び前記入力画像内
の走査範囲を含む予め定められた複数の平滑化条件か
ら、1つの平滑化条件を選択し、かつ選択した平滑化条
件に基づいて、前記走査範囲内について前記移動量づつ
前記処理対象領域を移動して走査しながら前記入力画像
の前記エッジが検出されていない前記処理対象領域内を
平滑化する平滑化処理を、複数行う平滑化手段と、を有
することを特徴としている。
【0008】本発明によれば、エッジ検出手段は、画像
を走査読み取りする画像読み取り手段、例えばスキャナ
などにより予め定めた解像度で読み取った入力画像から
エッジを検出する。このエッジには、例えば文字や線等
として認識することができる、周囲の色と異なる色を有
する一定の領域が含まれる。
【0009】ところで、例えば文書画像などの比較的広
い面積を有する同一色領域が多い画像を走査読み取りし
た場合、前記同一色領域において色むらが生じる場合が
あり、画質が低下する場合がある。このため、同一色領
域の色を略均一にすることにより、読み取った画像を元
の画像に近づけることが望まれる。
【0010】そこで、平滑化手段は、まず、予め定めら
れた複数の平滑化条件の中から1つを選択する。この平
滑化条件は、入力画像より小さな大きさの処理対象領
域、すなわち平滑化を行う領域の大きさ、この領域の1
回当たりの移動量、及び入力画像内の走査範囲、すなわ
ち平滑化処理を行う平滑化対象範囲を含む。
【0011】そして、選択した平滑化条件に基づいて、
走査範囲内について移動量づつ処理対象領域を移動して
走査しながら入力画像のエッジが検出されていない処理
対象領域内を平滑化する。すなわち、処理対象領域内に
エッジ検出手段により検出されたエッジが存在するか否
かを判断し、エッジが存在する場合には平滑化するのは
妥当でないと判断し、設定された移動量分処理対象領域
を移動させ、同様の処理を行う。一方、エッジが存在し
ない場合には、その処理対象領域内を平滑化する。
【0012】このような平滑化処理を、複数の平滑化条
件で行う。すなわち、選択した平滑化条件で走査範囲内
全てについて平滑化が終了した場合には、複数の平滑化
条件の中から別の平滑化条件を設定し、上記と同様の処
理を行う。すなわち、処理対象領域の大きさ、移動量、
走査範囲の少なくとも1つが前回とは異なる平滑化条件
で平滑化処理を行う。
【0013】平滑化処理は、入力画像に対して直接行っ
ても良く、この場合、平滑化処理の終了により最終的な
処理画像が得られる。また、平滑化画像を生成し、生成
した平滑化画像と入力画像とを合成することにより最終
的な処理画像を得るようにしてもよい。
【0014】このように、エッジ画素を含まない領域に
対してのみ異なる複数の平滑化条件で平滑化処理を施す
ため、略均一色の領域や緩やかな階調変化を有するグラ
デーション領域を良好に再現することができる。
【0015】なお、予め定められた複数の平滑化条件は
記憶手段に記憶しておいてもよい。これにより、平滑化
条件の変更などが容易となる。
【0016】また、平滑化手段は、処理対象領域内の画
素値の平均値を求め、該求めた平均値で処理対象領域内
の画素値を置換することにより処理対象領域内を平滑化
してもよいし、処理対象領域内の画素値の中央値を求
め、該求めた中央値で処理対象領域内の画素値を置換す
ることにより処理対象領域内を平滑化してもよい。
【0017】また、平滑化手段は、処理対象領域内に検
出されたエッジが存在するか否かを判断し、エッジが存
在しない場合に、処理対象領域を拡張するようにしても
よい。この際、処理対象領域内にエッジが存在すると判
断されるまで処理対象領域を拡張し、拡張した処理対象
領域にエッジが存在する場合には直前の処理対象領域を
処理対象領域として再設定することが好ましい。これに
より、より効率的に平滑化処理を行うことができる。
【0018】また、入力画像の解像度より低解像度の変
換画像を複数生成する画像生成手段をさらに備え、平滑
化手段は、複数の変換画像に対して平滑化処理を複数行
うことにより複数の平滑化画像をさらに生成し、該生成
した複数の平滑化画像を入力画像と同一解像度の変換平
滑化画像に各々変換し、該各々変換した変換平滑化画像
と入力画像とを合成するようにしてもよい。
【0019】入力画像を該入力画像の解像度よりも低解
像度の変換画像に変換するには、例えば入力画像を複数
画素を含む領域で分割し、該領域内の画素平均値を算出
し、該算出した画素平均値を前記領域の画素値とするこ
とにより行うことができる。この低解像度の変換画像は
1つ生成してもよいし複数生成してもよい。
【0020】そして、例えば複数種類の解像度の変換画
像に対して種類の異なる平滑化条件で、すなわち高解像
度の画像に対しては処理対象領域の大きさを小さくし、
低解像度の画像に対しては処理対象領域の大きくして各
々独立に平滑化処理を施し、この平滑化処理後の変換平
滑化画像と入力画像とを合成することにより、効率よく
平滑化処理を行うことができる。
【0021】また、入力画像から線分要素を抽出する線
分要素抽出手段と、入力画像から線分要素を除外した差
分画像を生成する差分画像生成手段と、をさらに備え、
平滑化手段は、差分画像に対して平滑化処理を複数行う
ようにしてもよい。
【0022】すなわち、画像中に文字や表、罫線などの
線分要素が存在する場合には、この線分要素を除外した
差分画像に対して平滑化処理を複数行う。これにより、
文字などの線分要素を含む画像においても精度よく平滑
化処理を行うことができ、高画質化を図ることができ
る。
【0023】また、線分要素に含まれる画素の画素値と
予め定めた特定色の画素値とを比較し、線分要素に含ま
れる画素の画素値と予め定めた特定色の画素値との差が
所定範囲内の場合に、線分要素に含まれる画素の画素値
を特定色の画素値に置換するようにしてもよい。
【0024】すなわち、例えば線分要素の3次元色空間
における色分布を計測し、該計測した色分布に基づいて
線分要素に含まれる画素の画素値と特定色の画素値との
3次元色空間における距離を求め、該求めた距離が所定
閾値以下の場合には、特定色に近い色であると判断し、
特定色の画素値で置換する。これにより、線分要素中の
色のばらつきを低減することができる。また、特定色を
黒色とすることにより文字等の黒色が多い文書画像の画
質を良好にすることができる。
【0025】なお、画像を走査読み取りする画像読み取
り手段により読み取った入力画像からエッジを検出する
ステップと、前記入力画像より小さな大きさの処理対象
領域、該処理対象領域の移動量、及び前記入力画像内の
走査範囲を含む予め定められた複数の平滑化条件から、
1つの平滑化条件を選択し、かつ選択した平滑化条件に
基づいて、前記走査範囲内について前記移動量づつ前記
処理対象領域を移動して走査しながら前記入力画像の前
記エッジが検出されていない前記処理対象領域内を平滑
化する平滑化処理を、複数行うステップと、を含む処理
を実行させるためのプログラムを記録したコンピュータ
読み取り可能な記録媒体により、コンピュータ上で上記
の処理を実行させることができる。
【0026】また、その他の上記各処理についても、こ
れらの処理を実行させるためのプログラムを記録したコ
ンピュータ読み取り可能な記録媒体により、コンピュー
タ上で実行させることができる。
【0027】
【発明の実施の形態】[第1実施形態]以下、図面を参
照して本発明の第1実施形態について説明する。図1に
は本発明に係る画像処理装置10の概略ブロック図が示
されている。
【0028】図1に示すように、画像処理装置10は、
画像入力手段12、画像処理手段14、画像記憶手段1
6、画像表示手段18、画像出力手段20、及び通信手
段22で構成されている。
【0029】画像入力手段12は、画像を入力するため
のものであり、例えばフラットベッドスキャナ等のカラ
ー画像入力機器である。画像処理手段14は、画像入力
手段12で入力した入力画像に対して高画質化のための
画像処理を施すためのものである。画像記憶手段16
は、画像入力手段12から入力されたカラ一原画像や画
像処理手段14によって補正処理されたカラー画像等を
蓄積・保持するものである。画像表示手段18は、画像
処理手段14で補正処理が行われたカラー画像を表示す
るためのものである。画像出力手段20は、画像処理手
段14で補正処理が行われたカラー画像を印刷するため
のものである。通信手段22は、画像処理手段14で補
正処理が行われたカラー画像を例えば他の機器へ送信す
るためのものである。
【0030】なお、画像入力手段12は本発明の画像読
み取り手段に、画像処理手段14は本発明のエッジ検出
手段、平滑化手段、画像生成手段、線分要素抽出手段、
差分画像生成手段に、画像記憶手段16は本発明の記憶
手段に各々対応する。
【0031】このような画像処理装置10では、処理対
象となる例えば用紙上に記録された文書画像は画像入力
手段12で読み込まれる。画像入力手段12は、読み込
んだ画像を例えば1画素当たりR,G,B各8ビットの
フルカラー画像として画像処理手段14へ出力する。
【0032】画像処理手段14で補正処理が施されたカ
ラー画像は、画像記憶手段16に蓄積・保持されたり、
画像表示手段18で表示されたり、画像出力手段20か
ら印刷出力されたり、通信手段22を介して他のデジタ
ルカラー処理機器へ送信されたりする。
【0033】次に、画像処理手段14において実行され
うる画像処理の詳細について説明する。
【0034】図2には本実施形態における画像処理の概
略的な流れを示すフローチャートを示した。図2に示す
ように、まず、画像入力手段12から入力されたデジタ
ルカラー画像に対してエッジ検出処理が施される(ステ
ップ100)。ここでは、入力されたR(赤),G
(緑),B(青)の各画像それぞれに対してSobel
オペレーション等の公知のエッジ検知処理を施した後、
得られた2値画像の論理和をとってエッジ情報を表す2
値画像を生成しエッジ画像24として画像記憶手段16
に記憶する。
【0035】次に、生成されたエッジ画像24を参照し
ながら、R,G,Bの各画像に対して平滑化処理を行う
(ステップ102)。
【0036】なお、エッジ検出処理は本発明のエッジ検
出手段に、平滑化処理は本発明の平滑化手段に各々対応
する。
【0037】この平滑化処理について図3に示すフロー
チャートを参照して説明する。図3に示すように、まず
平滑化条件の設定が行なわれる(ステップ200)。す
なわち、本実施形態における平滑化処理は、入力画像に
対して複数の平滑化フィルタを繰り返しかけることによ
って行われるが、この平滑化フィルタのパラメータが設
定される。
【0038】平滑化フィルタは、図4(a)、(b)に
示すように、「フィルタサイズ」、「オフセット」、及
び「オーバーラップ」の3つのパラメータによって規定
されるものである。
【0039】フィルタサイズは、図4(a)、(b)に
示すように、処理対象領域としての注目領域26の大き
さ、すなわち縦横のサイズ(画素数)を決定するための
パラメータであり、縦横同一サイズ、すなわち正方形状
のフィルタとなるようにしてもよいし、縦横が異なるサ
イズ、すなわち長方形状のフィルタとなるようにしても
よい。
【0040】オフセットは、図4(b)に示すように、
平滑化処理の開始点、すなわち入力画像28の端部から
平滑化フィルタをかける平滑化領域30の端部までの距
離を決定するためパラメータであり、原点、例えば原稿
端部(図4(b)において左上端部)からの距離を示す
画素数で表すことができる。なお、オフセットは、縦横
同一のオフセットとしてもよいし、縦のオフセットと横
のオフセットが異なっていても良い。
【0041】オーバーラップは、図4(b)に示すよう
に、平滑化フィルタによる処理を重複させる重複領域3
2の幅を決定するためのパラメータであり、縦横共に同
一幅でオーバーラップされるように設定してもよいし、
縦横がそれぞれ異なる幅でオーバーラップされるように
設定してもよい。
【0042】平滑化処理は、前記3つのパラメータによ
って規定された注目領域26の画素値を代表値に置き換
えることによって実現される。すなわち、前記平滑化条
件の設定は前記3つのパラメータを設定して平滑化フィ
ルタを設定することである。
【0043】平滑化処理の画像走査は1画素単位に注目
領域26を移動させるものではなく、移動量(=フィル
タサイズ−オーバーラップ)で決定される画素幅で注目
領域26の移動を行なう。
【0044】図5には平滑化フィルタで処理される平滑
化領域30の一例を示した。図5(a)には、フィルタ
サイズ=5、オフセット=0、オーバーラップ=0のパ
ラメータで規定される平滑化フィルタにより処理される
平滑化領域30が示されている。図5(b)には、フィ
ルタサイズ=9、オフセット=5、オーバーラップ=0
のパラメータで規定される平滑化フィルタにより処理さ
れる平滑化領域30が示されている。図5(c)には、
フィルタサイズ=7、オフセット=4、オーバーラップ
=2のパラメータで規定される平滑化フィルタにより処
理される平滑化領域30が示されている。図5(d)に
は、フィルタサイズ=8、オフセット=2、オーバーラ
ップ=3のパラメータで規定される平滑化フィルタによ
り処理される平滑化領域30が示されている。
【0045】このように、各パラメータを変更すること
により適用する平滑化フィルタの特性を異ならせること
によって、平滑化処理に起因して発生するブロック状の
ノイズや疑似輪郭の発生を防止することが可能となる。
【0046】画像記憶手段16には、複数種類の平滑化
フィルタのパラメータが例えば以下の表1で示すような
平滑化フィルタデータとして記憶される。
【0047】
【表1】
【0048】上記平滑化条件の設定(ステップ200)
では、画像記憶手段16に記憶された平滑化フィルタの
パラメータを読み出して設定する。例えば上記表1に示
した平滑化フィルタのパラメータを用いる場合には、ま
ずフィルタNo1のパラメータ、すなわちフィルタサイ
ズ=52、オフセット=10、オーバーラップ=8で規
定される平滑化フィルタが設定される。
【0049】次に、エッジ検出処理で生成されたエッジ
画像24を参照し、注目領域26の中にエッジ画素が存
在するか否かの判定が行なわれる(ステップ202)。
ここで、注目領域26の中にエッジ画素が存在しない場
合には、平滑化処理が行なわれる(ステップ204)。
【0050】平滑化処理は、注目領域26の全画素を代
表色で置き換えることによって実現される。例えば注目
領域26内の平均値を求めてこれを代表色値とし、全画
素を代表色値で置き換える。
【0051】一方、注目領域26の中にエッジ画素が存
在する場合には、平滑化処理を施すのは不適切と判断
し、平滑化処理を行わずに次の処理に移行する。
【0052】次に、画像走査が終了したか否か、すなわ
ち、平滑化領域30全てに対して平滑化処理が終了した
か否かを判断し(ステップ206)、終了していない場
合には、上記ステップ202〜206の処理を繰り返
す。
【0053】一方、平滑化領域30全てに対して平滑化
処理が終了した場合には、全ての平滑化フィルタについ
て上記の処理が終了したか否かを判断し(ステップ20
8)、終了した場合には、本処理を終了する。
【0054】一方、全ての平滑化フィルタについて上記
の処理が終了していない場合には、ステップ200に戻
り、次の平滑化パラメータ、すなわち、上記表1のフィ
ルタNo2のパラメータ、すなわちフィルタサイズ=3
2、オフセット=8、オーバーラップ=10で規定され
る平滑化フィルタが設定され、上記と同様の処理が行わ
れる。以下同様にして順次平滑化処理が行われ、最後に
フィルタNo8のパラメータで規定される平滑化フィル
タによる平滑化処理が行われ、本処理が終了する。
【0055】なお、2回目以降の平滑化処理では、それ
以前に施されている平滑化処理によって、注目領域26
が既に均一色化されている場合が多い。均一化されてい
る領域に対してさらに平均値の算出や画素値置換処理を
施すのは処理速度の観点から好ましくない。従って、平
滑フィルタの設定にも依存するが、平滑化処理は例えば
上記表1に示すようにフィルタサイズの大きいものから
順に行うことが好ましい。さらに、各平滑化フィルタに
よる平滑化処理の前若しくは平均値算出時に、注目領域
26が略均一色となっているか否かの判定を行ない、略
均一色となっている場合にはその注目領域26の平滑化
処理を行わないようにすることがより好ましい。これら
の処理を行うことにより、本処理の簡素化及び高速化を
図ることが可能となる。
【0056】このような処理によって平滑化処理される
平滑化領域30の一例について図6に示す。図6(a)
にはエッジ検出によって生成されたエッジ画像24が示
されている。図6(a)に示すように、エッジ画像24
はエッジ画素34を含んだ画像である。このようなエッ
ジ画像24を参照し、例えば図5(a)に示したような
フィルタサイズ=5、オフセット=0、オーバーラップ
=0のパラメータで規定される平滑化フィルタによりエ
ッジ画素34が存在しない領域に対してのみ平滑化処理
を行なうことにより、図6(b)に示すように、エッジ
画素34を除外した領域のみ平滑化領域30(図中斜線
で示した領域)となる。
【0057】また、同様に、例えば図5(c)に示した
ようなフィルタサイズ=7、オフセット=4、オーバー
ラップ=2のパラメータで規定される平滑化フィルタに
よりエッジ画素が存在しない領域に対してのみ平滑化処
理を行なうことにより、図6(c)に示すように、エッ
ジ画素34を除外した領域のみが平滑化領域30(図中
斜線で示した領域)となる。また、図中網線で示される
領域は、重複して平滑化処理が施される領域である。
【0058】以上のように、エッジ画素を含まない領域
に対してのみ条件(パラメータ)の異なる複数の平滑化
フィルタにより平滑化処理を施すことにより、良好なス
ムージング効果を得ることができる。
【0059】なお、本実施形態では注目領域の画素値を
置換する代表値として、注目領域の平均値を用いる例を
示したが、本発明はこれに限定されるものではない。例
えば領域内の中央値、すなわち注目領域内で最も小さい
画素値と最も大きい画素値との中間の値を代表色値とし
て設定してもよい。これにより演算を簡素化することが
できる。また、平滑化フィルタのパラメータに領域内画
素に対する重み係数を追加し畳み込み演算によって代表
値を決定するようにしてもよい。
【0060】[第2実施形態]次に、本発明の第2実施
形態について説明する。第2実施形態では、上記第1実
施形態で説明した「フィルタサイズ」、「オフセッ
ト」、及び「オーバーラップ」で規定される平滑化フィ
ルタをエッジが検出されるまでそのサイズを拡張する場
合について説明する。
【0061】すなわち、本実施形態では、図7(a)に
示すような初期設定で設定された平滑化フィルタによる
平滑化領域30を、エッジ画像24を参照しながらエッ
ジ画素34に接するまで拡張していき(以下、このよう
な平滑化フィルタを拡張フィルタと称する)、接した時
点で図7(b)に示すような平滑化領域30を確定す
る。
【0062】拡張フィルタの場合にも、初期パラメータ
として「フィルタサイズ」、「オフセット」、及び「オ
ーバーラップ」の3つのパラメータが設定されるが、上
記第1実施形態で説明した平滑化フィルタとは異なり、
エッジ画素34の位置によってフィルタサイズが可変と
なるため、オフセットやオーバーラップのパラメータの
重要度は低い。
【0063】このような処理によって平滑化処理される
平滑化領域30の一例について図8に示す。図8(a)
にはエッジ検出によって生成されたエッジ画像24が示
されている。図6(a)に示すように、エッジ画像24
はエッジ画素34を含んだ画像である。このようなエッ
ジ画像24を参照し、例えば図5(a)に示したような
フィルタサイズ=5、オフセット=0、オーバーラップ
=0のパラメータを初期設定値とした拡張フィルタによ
り平滑化処理を行なうことにより、図8(b)に示すよ
うに、エッジ画素34を除外した領域のみが平滑化領域
30(図中斜線で示した領域)となる。
【0064】また、同様に、例えば図5(c)に示した
ようなフィルタサイズ=7、オフセット=4、オーバー
ラップ=2のパラメータを初期設定値とした拡張フィル
タにより平滑化処理を行なうことにより、図8(c)に
示すように、エッジ画素34を除外した領域のみが平滑
化領域30(図中斜線で示した領域)となる。
【0065】次に、具体的な処理について図9に示すフ
ローチャートを参照して説明する。なお、上記第1実施
形態で説明した処理と同様の処理については同一符号を
付し、その詳細な説明は省略する。
【0066】まず、図2に示すようにエッジ検出が行わ
れてエッジ画像が生成され(ステップ100)、平滑化
処理が行われる(ステップ102)。
【0067】図9に示すように、平滑化処理では、拡張
フィルタの初期条件、すなわち前記3つのパラメータの
初期値が設定される(ステップ200)。次に、エッジ
検出処理で生成されたエッジ画像24を参照し、初期設
定で設定された平滑化フィルタによる注目領域26の中
にエッジ画素が存在するか否かの判定が行なわれる(ス
テップ202)。
【0068】そして、注目領域26内にエッジ画素が存
在する場合には、その注目領域26は平滑化処理の対象
外の領域であると判断し、次の処理へ移行する。一方、
注目領域26内にエッジ画素が存在しない場合には、エ
ッジ画像24を参照しながら注目領域26の拡張、すな
わち平滑化フィルタのサイズの拡張を行なう(ステップ
300)。ここで、注目領域26の拡張は、例えば初期
設定領域から水平方向及び垂直方向にそれぞれ1画素ず
つ領域を拡大することにより行われる。
【0069】そして、拡張された領域内にエッジ画素が
あるか否かを判定し(ステップ302)、拡張領域内に
エッジ画素が存在しない場合には注目領域26をさらに
縦横1画素ずつ拡張して上記と同様の判定を行う(ステ
ップ300、302)。
【0070】一方、拡張領域内にエッジ画素が存在する
と判定された場合には、その時点における注目領域26
を平滑化領域として確定する(ステップ304)。そし
て、確定された平滑化領域の全画素値を注目領域の平均
値に置換することによって平滑化処理が行なわれる(ス
テップ204)。
【0071】次に、画像走査が終了したか否か、すなわ
ち、平滑化領域30全てに対して平滑化処理が終了した
か否かを判断し(ステップ206)、終了していない場
合には、上記ステップ202、300、302、20
4、206の処理を繰り返す。
【0072】一方、平滑化領域30全てに対して平滑化
処理が終了した場合には、全ての平滑化フィルタについ
て上記の処理が終了したか否かを判断し(ステップ20
8)、終了した場合には、本処理を終了する。
【0073】一方、全ての平滑化フィルタについて上記
の処理が終了していない場合には、ステップ200に戻
り、次の平滑化パラメータが設定され、上記と同様の処
理が行われる。以下同様にして順次平滑化処理が行わ
れ、最後の平滑化フィルタによる平滑化処理が行われて
本処理が終了する。
【0074】以上のように、平滑化すべき領域をエッジ
画像に基づいて拡張していく平滑化フィルタを用いるこ
とにより、広い面積を有する領域を効率的にスムージン
グする事が可能となる。
【0075】なお、本実施形態では正方形状の平滑化処
理領域を水平方向と垂直方向にそれぞれ等しく拡張して
いく場合について説明したが、本発明はこれに限定され
るものではない。例えば図10(a)に示すような長方
形の平滑化領域30を図10(b)に示すように相似形
に拡張していっても良いし、また、図10(c)に示す
ような長方形の平滑化領域30を図10(d)に示すよ
うに非相似形の形状に拡張していってもよい。
【0076】[第3実施形態]次に、本発明の第3実施
形態について説明する。上記第2実施形態で説明した拡
張フィルタは、広い面積を持つ非エッジ領域を平滑化す
る際に非常に効率的であるが、文字や入り組んだエッジ
近辺を処理するには上記第1実施形態で説明したような
平滑化フィルタのフィルタサイズを小さく設定して処理
することが効果的である。従って、本実施形態では、両
者を組合わせて平滑化を行なう事によってより効果的な
平滑化処理を行う場合について説明する。
【0077】図11には、上記第1実施形態で示した平
滑化フィルタ(以下、通常フィルタと称する)及び上記
第2実施形態で説明した拡張フィルタの双方を用いる場
合の平滑化処理の流れを示した。なお、第2実施形態で
説明した処理と同一処理については同一符号を付し、そ
の詳細な説明は省略する。
【0078】図11に示すように、まず平滑化条件を設
定する(ステップ200)。以下に本実施形態で使用さ
れる平滑化フィルタデータを示す。
【0079】
【表2】
【0080】表2に示すように、フィルタNo1の平滑
化フィルタ、すなわち最初に設定される平滑化フィルタ
は、パラメータがフィルタサイズ=13、オフセット=
0、オーバーラップ=0の拡張フィルタであり、それ以
降のフィルタNo1〜No6のパラメータは第1実施形
態で説明した通常フィルタである。
【0081】従って、上記平滑化条件の設定(ステップ
200)では、まず最初にフィルタNo1の拡張フィル
タが設定される。
【0082】次に、設定されたフィルタが通常フィルタ
であるか拡張フィルタであるかのフィルタ種類の判定が
行なわれる(ステップ306)。そして、通常フィルタ
が設定されていると判定された場合には、上記第1実施
形態で説明したのと同様の通常フィルタによる平滑化処
理が行なわれる(ステップ308)。すなわち、図3に
示すステップ202〜206の各処理が行われる。
【0083】一方、拡張フィルタが設定されていると判
定された場合には、上記第2実施形態で説明したのと同
様の拡張フィルタによる平滑化処理が行なわれる(ステ
ップ310)。すなわち、図9に示すステップ202、
300、302、304、204、206の各処理が行
われる。
【0084】次に、全ての平滑化フィルタについて上記
の処理が終了したか否かを判断し(ステップ208)、
全ての平滑化フィルタについて上記の処理が終了してい
ない場合には、ステップ200に戻り、次の平滑化パラ
メータが設定され、上記と同様の処理が行われる。以下
同様にして順次平滑化処理が行われ、最後の平滑化フィ
ルタによる平滑化処理が行われて本処理が終了する。
【0085】以上のように平滑化すべき領域をエッジ情
報に基づいて拡張していく拡張フィルタ及び通常フィル
タを組み合わせて平滑化処理することにより、文字や入
り組んだエッジ等を含む画像でも効率的にスムージング
する事が可能となる。
【0086】[第4実施形態]次に、本発明の第4実施
形態について説明する。本実施形態では、入力画像に対
して縮小処理を行なって複数の解像度を有する画像を生
成し、この複数レベルの画像に対して各々条件の異なる
平滑化処理を行う場合について説明する。
【0087】図12に示すように、本実施形態では、入
力画像40に対して縮小処理を行ない、複数の解像度を
有する変換画像42A,42B,42C、42D…を生
成する。そして、生成された各変換画像を用いて、広い
参照領域を必要とする場合は低解像度の変換画像、例え
ば変換画像42Dに対して平滑化処理を行なって平滑化
画像44Dを生成し、文字やエッジ近辺等の狭い参照領
域で平滑化処理を行う必要がある場合には高解像度の画
像、例えば変換画像42Aに対して平滑化処理を行なっ
て平滑化画像44Aを生成する。そして、これら複数の
平滑化画像を統合することにより最終的な処理画像46
を得る。
【0088】次に、図13に示すフローチャートを参照
して具体的な画像処理の流れについて説明する。なお、
上記実施形態で説明した処理と同様の処理については同
一符号を付し、その詳細な説明は省略する。
【0089】まず、画像入力手段12により入力された
入力画像40に対して内部データ構造への解像度変換処
理が行なわれる(ステップ400)。図14には、この
解像度変換の具体例について示した。なお、図中A〜I
はそれぞれの画素の画素値を示す。図14(a)に示す
所定レベルKの画像を例えば50%縮小して図14
(b)に示す一つ上位の(解像度が低い)レベル(K+
1)の画像を生成するには、図14(a)に示すよう
に、縦横2画素ずつ合計4画素を1つのブロック50と
し、このブロック50内の画素値の平均値、すなわち、
E=(A+B+C+D)/4を求め、この求めた平均値
Eをレベル(K+1)の画像の1画素の画素値とする。
これをレベルKの画像全てについて行うことにより、レ
ベルKの画像を50%縮小したレベル(K+1)の画像
が生成される。
【0090】同様に、図14(b)に示すレベル(K+
1)の画像を50%縮小して図14(c)に示す一つ上
位のレベル(K+2)の画像を生成するには、図14
(b)に示すように、縦横2画素ずつ合計4画素を1つ
のブロック52とし、このブロック52内の画素値の平
均値、すなわち、I=(E+F+G+H)/4を求め、
この求めた平均値Iをレベル(K+2)の画像の1画素
の画素値とする。これをレベル(K+1)の画像全てに
ついて行うことにより、レベル(K+1)の画像を50
%縮小したレベル(K+2)の画像が生成される。な
お、縮小率は50%に限らず、任意に設定可能である。
【0091】このような処理を行うことにより、図15
に示すような解像度が異なる複数レベルの画像が生成さ
れる。なお、図15に示したように、本実施形態では入
力画像(原画像)の解像度をレベル0として、入力画像
に対して50%縮小処理を施した解像度をレベル1、さ
らにレベル1の画像に対して50%縮小処理を行なった
解像度をレベル2、以後同様にレベル3,レベル4…と
する。従って、レベルが高くなる(レベルが上位にな
る)に従って解像度は低下し、逆にレベルが低くなる
(レベルが下位になる)に従って画像の解像度は高くな
る。
【0092】このようにして解像度変換を行った結果生
成された内部データ構造60の構成を示した。この内部
データ構造60は、ヘッダ情報62及びポインタ情報6
4で構成されている。
【0093】ヘッダ情報62は、解像度変換で生成され
る画像の数、すなわちレベル数N及び画像情報で構成さ
れる。画像情報には入力画像の幅、高さ、1画素当たり
のビット数等の情報が含まれる。
【0094】ポインタ情報64は、レベル数N分のポイ
ンタ(アドレス)で構成されている。このポインタは、
対応するレベルの画像データ66、具体的にはR,G,
Bの各画素値が記憶された領域へのアドレスである。こ
のポインタを参照することにより、対応するレベルの画
像データ66がどのアドレスに格納されているかを知る
ことができる。
【0095】次に、生成した各レベルの画像に対してエ
ッジ検出処理(ステップ100)が行なわれ、エッジ画
像24が生成される。そして、生成したエッジ画像を参
照して平滑化処理が行われる(ステップ102)。
【0096】ここで行なわれるエッジ検出処理及び平滑
化処理は、上記第1実施形態及び上記第2実施形態で説
明したのと同様の処理であるが、処理パラメータ、例え
ばエッジ検出に用いるエッジ検出オペレーションの計数
やエッジ判定に用いられる閾値パラメータ、平滑化処理
に用いる平滑化フィルタの設定、すなわち通常の平滑化
フィルタや拡張フィルタの「フィルタサイズ」、「オフ
セット」、及び「オーバーラップ」の各種パラメータと
その組合わせはレベル毎に独立に設定される。
【0097】以下に、平滑化フィルタデータの一例を示
す。
【0098】
【表3】
【0099】この例では、比較的解像度の低いレベル
3、レベル2の画像に対しては、拡張フィルタ及び通常
フィルタの組み合わせで平滑化処理し、比較的解像度の
高いレベル1,レベル0の画像に対しては通常フィルタ
を用いて平滑化処理するようなデータとなっている。ま
た、高解像度の画像に対しフィルタサイズが大きいフィ
ルタで平滑化処理すると処理時間が長くなり効率的でな
いため、高解像度の画像に対して用いるフィルタは比較
的フィルタサイズが小さく、低解像度の画像に対して用
いるフィルタは比較的フィルタサイズが大きくなってい
る。なお、表3ではレベル数は0〜3までの4つとして
いるが、これに限らず、さらに多いレベル数又は少ない
レベル数でもよい。
【0100】平滑化処理では、例えば上記表3に示す各
フィルタにより対応するレベルの画像に対して平滑化処
理し、処理後の各レベルの画像から後述する画像統合処
理に必要とされるマップ画像(平滑化画像)44を生成
する。マップ画像44は、例えば平滑化処理が行なわれ
た後の2値画像情報である。
【0101】図17(f)には所定レベルの画像に対し
て平滑化処理を施した場合のマップ画像44の一例を示
した。図17(a)にはエッジ検出によって生成された
エッジ画像24が示されている。図17(a)に示すよ
うに、エッジ画像24はエッジ画素34を含んだ画像で
ある。このようなエッジ画像24を参照し、例えば図5
(a)に示したようなフィルタサイズ=5、オフセット
=0、オーバーラップ=0のパラメータで規定される通
常フィルタにより平滑化処理を行なうことにより、図1
7(b)に示すように、エッジ画素34を除外した領域
のみが平滑化領域30(図中斜線で示した領域)とな
る。
【0102】また、例えば図5(c)に示したようなフ
ィルタサイズ=7、オフセット=4、オーバーラップ=
2のパラメータで規定される通常フィルタにより平滑化
処理を行なうことにより、図17(c)に示すように、
エッジ画素34を除外した領域のみが平滑化領域30
(図中斜線で示した領域)となる。
【0103】また、例えば図5(a)に示したようなフ
ィルタサイズ=5、オフセット=0、オーバーラップ=
0のパラメータを初期値とした拡張フィルタにより平滑
化処理を行なうことにより、図17(d)に示すよう
に、エッジ画素34を除外した領域のみが平滑化領域3
0(図中斜線で示した領域)となる。
【0104】また、例えば図5(c)に示したようなフ
ィルタサイズ=7、オフセット=4、オーバーラップ=
2のパラメータを初期値とした拡張フィルタにより平滑
化処理を行なうことにより、図17(e)に示すよう
に、エッジ画素34を除外した領域のみが平滑化領域3
0(図中斜線で示した領域)となる。
【0105】そして、マップ画像44は、図17(f)
に示すように、上記4種類のフィルタ処理が行なわれた
後の各平滑化領域30の画素の論理和(図中黒く塗りつ
ぶした領域)をとる事によって得られる。
【0106】次に、生成されたマップ画像44を参照
し、各レベルの画像を統合する(ステップ402)。図
18(b)〜(e)には各レベルで生成された平滑化処
理後のマップ画像44を示した。図18(a)はエッジ
画像24であり、図18(b),(c),(d),
(e)は、それぞれレベル0,1,2,3の変換画像で
平滑化処理が施された後のマップ画像44A,44B,
44C、44Dをそれぞれ示す。
【0107】画像統合処理では、図12に示すように、
まず各マップ画像44を拡大する処理が行なわれる。図
19(b),(c),(d),(e)には図18
(b),(c),(d),(e)に示すマップ画像を拡
大した変換平滑化画像としての拡大マップ画像を各々示
した。
【0108】このように、全てのマップ画像44の解像
度を同じにした後、各マップ画像44を参照し、平滑化
領域30の各画素の画素値を入力画像40に対して書き
込んでいくことにより画像統合が完成し、図19(f)
に示すような最終的な処理画像46が生成される。
【0109】このように、入力画像から入力解像度より
も低解像度の変換画像を生成し、複数種類の解像度の変
換画像に対して種類の異なるフィルタ、すなわち高解像
度の画像に対してはフィルタサイズが小さいフィルタ
を、低解像度の画像に対してはフィルタサイズが大きい
フィルタを用いて各々独立に平滑化処理を施し、この平
滑化処理後の画像と入力画像とを合成することにより、
効率よく平滑化画像を得ることができる。
【0110】[第5実施形態]次に、本発明の第5実施
形態について説明する。本発明は、広い面積を有する画
素値の変動の少ない領域に対して平滑化処理を施すこと
によって文書画像を高品質化するものであるが、文書画
像には図20(a)に示すように文字70が含まれてい
たり、図20(b)に示すように表・罫線72などの文
書構成要素が平滑化対象となる領域に存在する場合が多
い。
【0111】そこで、本実施形態では、このような平滑
化処理対象中に線要素を含む画像をより高品質に再現す
る処理を行なう場合について説明する。
【0112】図21に示すように、まず入力画像40か
ら線分要素の抽出を行ない、入力画像40を線分画像7
4と入力画像から線分要素を除去した差分画像76とに
分離する。その後、差分画像76に対してエッジ検出処
理を行ってエッジ画像24を生成する。そして、エッジ
画像24及び差分画像76に対して解像度変換を行って
複数の変換画像を生成し、これらに対してそれぞれ平滑
化処理を施して平滑化画像を生成して統合すると共に線
分画像74に対して減色処理を施す。そして、減色処理
された線分画像と統合された平滑化画像とを統合するこ
とによって最終的な処理画像46を得る。
【0113】次に、図22に示すフローチャートを参照
して具体的な画像処理の流れについて説明する。なお、
上記実施形態で説明した処理と同様の処理については同
一符号を付し、その詳細な説明は省略する。
【0114】まず、画像入力手段12により入力された
入力画像40に対して線分要素抽出処理が行なわれる
(ステップ500)。線分要素の抽出処理には多くの公
知な手法が存在するが、本実施形態の場合には、浮動2
値化処理及び孤立ノイズ除去処理という2つの公知手法
を用いる。
【0115】浮動2値化処理では、注目画素と周辺領域
の平均色との差異を所定閾値と比較し、色の差異が所定
閾値を越える場合には注目画素を線分要素の候補とす
る。この時の参照する周辺領域は、抽出したい文字・線
分要素の大きさや入力画像の解像度に依存するが、本発
明の主たる適用対象である文書画像の場合には、入力解
像度は200〜400dpi(dot per inc
h)、文書中の文字サイズは6〜50ポイント程度が一
般的であるため、例えば21×21画素から51×51
画素程度が好ましい。また、色の差異を求めるにあたっ
ては例えばRGB色空間における2色の3次元距離を用
いる。
【0116】以上の処理によって抽出された線分要素候
補に対して孤立ノイズの除去処理を行なう。これは、文
書中の汚れや綱点など、誤って抽出された線分要素候補
を除去する為に行なう処理である。孤立ノイズであるか
否かの判定は、例えば注目線分要素候補の画素の周辺7
×7画素領域において、線分要素候補として抽出された
画素の画素数と抽出/非抽出の反転回数をカウントし、
画素数が所定閾値に満たないか、或いは反転回数が所定
閾値を越える場合には、その画素は誤抽出されたノイズ
成分と判断して線分要素候補から除外する。以上のよう
な処理によって入力画像から線分要素が抽出される。
【0117】次に、抽出された線分要素を参照し、入力
画像40を線分画像74と差分画像76とに分離する画
像分離処理が行なわれる(ステップ502)。図23に
は、線分画像74及び差分画像76の一例を示した。図
23(a)に示すような入力画像40から線分要素を抽
出すると図23(b)に示すような線分画像74が得ら
れる。そして、この線分画像74を入力画像40から除
去することにより図23(c)に示すような画像が生成
され、除去された画素の画素値を周辺画素から補間した
値に置き換える事によって図23(d)に示すような差
分画像76が得られる。
【0118】差分画像76は、データ構造変換処理によ
り複数の解像度を有する内部データ構造へ変換される
(ステップ400)。これにより、図21に示すよう
に、変換差分画像76A,76B,76C,76D…が
生成される。また、エッジ検出処理(ステップ100)
が施されてエッジ画像24が生成される。エッジ検出処
理で検出されたエッジ画像24に対しては差分画像76
と同様に縮小処理(データ構造変換処理)が施され、図
21に示すように、変換差分画像と同じ数の変換エッジ
画像24A,24B,24C,24D…が生成される
(ステップ504)。
【0119】図24には、エッジ画像の一例を示した。
図24(a)はエッジ画像24が、図24(b)には変
換エッジ画像24Bが、図24(c)には変換エッジ画
像24Cがそれぞれ示されている。エッジ画像24に対
する縮小処理(ステップ504)では、例えば4画素の
論理和をとることによって行なわれる。すなわち、図2
4(a)に示すエッジ画像24の2×2画素の画素値の
論理和を求め、この論理和の値を図24(b)に示すエ
ッジ画像24Bの1画素の値とする。これにより、エッ
ジ画像24を50%縮小した、すなわち解像度を1/2
にした変換エッジ画像24Bが得られる。同様に、エッ
ジ画像24Bから図24(c)に示すような変換エッジ
画像24Cを生成することができる。
【0120】このような処理によりエッジ画像24のデ
ータ構造変換を行なうことにより、あるレベルの画像で
はエッジ検出される画素が異なるレベルの画像ではエッ
ジ検出されなかったり、またはあるレベルの画像ではエ
ッジ検出されない画素が異なるレベルの画像ではエッジ
検出されたりすることを防ぐことができる。これによ
り、平滑化画像を統合する際の不整合を防止することが
できる。
【0121】そして、このようにして生成された変換エ
ッジ画像及び変換差分画像に対して平滑化処理を行い
(ステップ102)、各レベルのマップ画像44(平滑
化画像)を生成する。そして、複数レベルのマップ画像
44を画像統合する(ステップ402)。
【0122】一方、線分画像74に対しては減色処理が
施される(ステップ506)。ここでは、例えば線分画
像74中の黒画素を検知して純粋な黒色、すなわちR,
G,Bの各画素値をR=G=B=0に置換する処理が行
なわれる。これは、文書画像中の黒文字や黒線をより良
好に表現する為の処理であり、線分画像74の各画素の
色と黒とのRGB3次元色空間における距離を所定閾値
と比較して、閾値以下すなわち黒に十分近いと判断され
る場合には、その画素の値をR=G=B=0に置換する
ことによって実現される。
【0123】なお、この減色処理は黒色のみに対して行
う場合に限定されるものではなく、黒の他にも、白・赤
・青・緑・黄色・マゼンタ・シアン等の純色について同
様の処理を行っても良い。このような純色の画素を正確
に再現することは文書画像を高品質にする上で非常に効
果的である。また、各種提案されている減色処理の手法
をこの線分画像に施すことによって、予め設定された色
だけではなく、処理画像に応じて適応的に特定色の文字
や線分要素を高品質化する事が可能となる。
【0124】そして、減色処理された線分画像を統合さ
れた平滑化画像に書き込むことにより最終的な処理画像
46が生成される(ステップ508)。
【0125】このように、入力画像を線分画像と差分画
像に分離してそれぞれに対して解像度変換及び平滑化処
理を施し、処理後の画像を統合することにより、平滑化
処理対象となる領域に文字や罫線などの線分要素が存在
するような文書であっても良好な画質を得る事が可能と
なる。
【0126】
【発明の効果】以上説明したように、本発明によれば、
文書画像などの比較的広い面積を有する同一色領域が多
い画像を走査読み取りした場合でも、読み取った画像を
高画質化することができる、という効果を有する。
【図面の簡単な説明】
【図1】 本発明に係る画像処理装置の概略構成図であ
る。
【図2】 画像処理の流れを示すフローチャートであ
る。
【図3】 平滑化処理の流れを示すフローチャートであ
る。
【図4】 平滑化フィルタについて説明するための図で
ある。
【図5】 平滑化フィルタについて説明するための図で
ある
【図6】 平滑化領域について説明するための図であ
る。
【図7】 拡張フィルタについて説明するための図であ
る。
【図8】 平滑化領域について説明するための図であ
る。
【図9】 平滑化処理の流れを示すフローチャートであ
る。
【図10】 拡張フィルタについて説明するための図で
ある。
【図11】 平滑化処理の流れを示すフローチャートで
ある。
【図12】 平滑化処理の概念について説明するための
図である。
【図13】 画像処理の流れを示すフローチャートであ
る。
【図14】 解像度変換について説明するための図であ
る。
【図15】 解像度変換について説明するための図であ
る。
【図16】 内部データ構造の構成を示す図である。
【図17】 マップ画像について説明するための図であ
る。
【図18】 画像統合について説明するための図であ
る。
【図19】 画像統合にについて説明するための図であ
る。
【図20】 文字や線分要素を含んだ文書画像の一例を
示す図である。
【図21】 平滑化処理の概念について説明するための
図である。
【図22】 画像処理の流れを示すフローチャートであ
る。
【図23】 差分画像について説明するための図であ
る。
【図24】 エッジ画像の縮小処理について説明するた
めの図である。
【符号の説明】
10 画像処理装置 12 画像入力手段 14 画像処理手段 16 画像記憶手段 18 画像表示手段 20 画像出力手段 22 通信手段
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) H04N 1/40 H04N 1/40 F 1/46 1/46 Z (72)発明者 アラン フィリップスキー アメリカ合衆国 アリゾナ州 85016、フ ェニックス、イースト・キャメルバック・ ロード 2390、スイート 410ジーティー エックス・コーポレーション内 (72)発明者 マーヴィン ティー.リング アメリカ合衆国 アリゾナ州 85016、フ ェニックス、イースト・キャメルバック・ ロード 2390、スイート 410ジーティー エックス・コーポレーション内 Fターム(参考) 5B057 AA11 BA02 BA29 BA30 CC02 CD06 CE02 CE05 CE06 CE17 CE18 CH08 CH09 CH11 CH18 DA08 DC16 5C076 AA21 AA22 AA26 AA27 AA32 BA06 BB04 BB07 CA10 5C077 LL02 LL19 MP06 MP08 PP02 PP20 PP27 PP32 PP43 PP46 PP47 PP58 PP61 PP65 PP68 PQ08 PQ20 PQ22 RR11 TT06 5C079 HB01 LA06 LA10 LA14 LA17 LA28 LA31 LA37 LB00 MA02 NA01 NA02 PA02

Claims (11)

    【特許請求の範囲】
  1. 【請求項1】 画像を走査読み取りする画像読み取り手
    段により読み取った入力画像からエッジを検出するエッ
    ジ検出手段と、 前記入力画像より小さな大きさの処理対象領域、該処理
    対象領域の移動量、及び前記入力画像内の走査範囲を含
    む予め定められた複数の平滑化条件から、1つの平滑化
    条件を選択し、かつ選択した平滑化条件に基づいて、前
    記走査範囲内について前記移動量づつ前記処理対象領域
    を移動して走査しながら前記入力画像の前記エッジが検
    出されていない前記処理対象領域内を平滑化する平滑化
    処理を、複数行う平滑化手段と、 を有する画像処理装置。
  2. 【請求項2】 前記予め定められた複数の平滑化条件を
    記憶する記憶手段をさらに備えたことを特徴とする請求
    項1記載の画像処理装置。
  3. 【請求項3】 前記平滑化手段は、前記処理対象領域内
    の画素値の平均値を求め、該求めた平均値で前記処理対
    象領域内の画素値を置換することにより前記処理対象領
    域内を平滑化することを特徴とする請求項1又は請求項
    2記載の画像処理装置。
  4. 【請求項4】 前記平滑化手段は、前記処理対象領域内
    の画素値の中央値を求め、該求めた中央値で前記処理対
    象領域内の画素値を置換することにより前記処理対象領
    域内を平滑化することを特徴とする請求項1又は請求項
    2記載の画像処理装置。
  5. 【請求項5】 前記平滑化手段は、前記処理対象領域内
    に検出された前記エッジが存在するか否かを判断し、前
    記エッジが存在しない場合に、前記処理対象領域を拡張
    することを特徴とする請求項1乃至請求項4の何れか1
    項に記載の画像処理装置。
  6. 【請求項6】 前記平滑化手段は、前記処理対象領域内
    に検出された前記エッジが存在するか否かを判断し、前
    記エッジが存在しない場合には前記処理対象領域を拡張
    する処理を前記処理対象領域内に前記エッジが存在する
    と判断されるまで繰り返し、拡張した前記処理対象領域
    にエッジが存在する場合には直前の処理対象領域を処理
    対象領域として再設定することを特徴とする請求項5記
    載の画像処理装置。
  7. 【請求項7】 前記入力画像の解像度より低解像度の変
    換画像を複数生成する画像生成手段をさらに備え、前記
    平滑化手段は、前記複数の変換画像に対して前記平滑化
    処理を複数行うことにより複数の平滑化画像をさらに生
    成し、該生成した複数の平滑化画像を前記入力画像と同
    一解像度の変換平滑化画像に各々変換し、該各々変換し
    た変換平滑化画像と前記入力画像とを合成することを特
    徴とする請求項1乃至請求項6の何れか1項に記載の画
    像処理装置。
  8. 【請求項8】 前記入力画像から線分要素を抽出する線
    分要素抽出手段と、前記入力画像から前記線分要素を除
    外した差分画像を生成する差分画像生成手段と、をさら
    に備え、前記平滑化手段は、前記差分画像に対して前記
    平滑化処理を複数行うことを特徴とする請求項1乃至請
    求項7の何れか1項に記載の画像処理装置。
  9. 【請求項9】 前記線分要素に含まれる画素の画素値と
    予め定めた特定色の画素値とを比較し、前記線分要素に
    含まれる画素の画素値と予め定めた特定色の画素値との
    差が所定範囲内の場合に、前記線分要素に含まれる画素
    の画素値を前記特定色の画素値に置換することを特徴と
    する請求項8記載の画像処理装置。
  10. 【請求項10】 前記特定色は黒色であることを特徴と
    する請求項9記載の画像処理装置。
  11. 【請求項11】 画像を走査読み取りする画像読み取り
    手段により読み取った入力画像からエッジを検出するス
    テップと、 前記入力画像より小さな大きさの処理対象領域、該処理
    対象領域の移動量、及び前記入力画像内の走査範囲を含
    む予め定められた複数の平滑化条件から、1つの平滑化
    条件を選択し、かつ選択した平滑化条件に基づいて、前
    記走査範囲内について前記移動量づつ前記処理対象領域
    を移動して走査しながら前記入力画像の前記エッジが検
    出されていない前記処理対象領域内を平滑化する平滑化
    処理を、複数行うステップと、 を含む処理を実行させるためのプログラムを記録したコ
    ンピュータ読み取り可能な記録媒体。
JP2001269405A 2000-09-05 2001-09-05 画像処理装置及び記録媒体 Expired - Fee Related JP4568460B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US655310 2000-09-05
US09/655,310 US6901170B1 (en) 2000-09-05 2000-09-05 Image processing device and recording medium

Publications (2)

Publication Number Publication Date
JP2002135592A true JP2002135592A (ja) 2002-05-10
JP4568460B2 JP4568460B2 (ja) 2010-10-27

Family

ID=24628379

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001269405A Expired - Fee Related JP4568460B2 (ja) 2000-09-05 2001-09-05 画像処理装置及び記録媒体

Country Status (2)

Country Link
US (1) US6901170B1 (ja)
JP (1) JP4568460B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007071789A (ja) * 2005-09-08 2007-03-22 Yanmar Co Ltd 栗の品質検査方法
JP2008529411A (ja) * 2005-01-25 2008-07-31 アドバンスト・マイクロ・ディバイシズ・インコーポレイテッド オーバーラップスムージングおよびインループデブロッキングの区分的な処理
JP2010244113A (ja) * 2009-04-01 2010-10-28 Canon Inc 画像処理装置および画像処理方法、並びにプログラム
JP2014216788A (ja) * 2013-04-24 2014-11-17 株式会社メイクソフトウェア 画像出力装置

Families Citing this family (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001024115A1 (en) * 1999-09-28 2001-04-05 Koninklijke Philips Electronics N.V. Device and method for filtering
JP4172616B2 (ja) * 2001-09-21 2008-10-29 株式会社リコー 画像処理装置
KR100587143B1 (ko) * 2004-05-06 2006-06-08 매그나칩 반도체 유한회사 영상 신호의 에지 검출 방법
US8749839B2 (en) 2005-03-24 2014-06-10 Kofax, Inc. Systems and methods of processing scanned data
US9769354B2 (en) 2005-03-24 2017-09-19 Kofax, Inc. Systems and methods of processing scanned data
US9137417B2 (en) 2005-03-24 2015-09-15 Kofax, Inc. Systems and methods for processing video data
US7649649B2 (en) * 2005-11-17 2010-01-19 Xerox Corporation Determining the color match between image data and graphics objects
KR100818988B1 (ko) * 2006-09-05 2008-04-04 삼성전자주식회사 영상신호 처리 방법 및 장치
US9576272B2 (en) 2009-02-10 2017-02-21 Kofax, Inc. Systems, methods and computer program products for determining document validity
US9767354B2 (en) 2009-02-10 2017-09-19 Kofax, Inc. Global geographic information retrieval, validation, and normalization
US8958605B2 (en) 2009-02-10 2015-02-17 Kofax, Inc. Systems, methods and computer program products for determining document validity
US8774516B2 (en) 2009-02-10 2014-07-08 Kofax, Inc. Systems, methods and computer program products for determining document validity
US9349046B2 (en) 2009-02-10 2016-05-24 Kofax, Inc. Smart optical input/output (I/O) extension for context-dependent workflows
JP5731525B2 (ja) 2009-11-13 2015-06-10 コーニンクレッカ フィリップス エヌ ヴェ 3dビデオにおける深さ遷移の効率的な符号化
US9047531B2 (en) 2010-05-21 2015-06-02 Hand Held Products, Inc. Interactive user interface for capturing a document in an image signal
US8600167B2 (en) 2010-05-21 2013-12-03 Hand Held Products, Inc. System for capturing a document in an image signal
WO2012016374A1 (en) * 2010-08-03 2012-02-09 Empire Technology Development Llc Method for identifying objects in video
JP5965638B2 (ja) * 2011-12-27 2016-08-10 オリンパス株式会社 画像処理システムを備えた顕微鏡システム
JP5777507B2 (ja) * 2011-12-27 2015-09-09 キヤノン株式会社 情報処理装置、情報処理方法、及びそのプログラム
US9483794B2 (en) 2012-01-12 2016-11-01 Kofax, Inc. Systems and methods for identification document processing and business workflow integration
US10146795B2 (en) 2012-01-12 2018-12-04 Kofax, Inc. Systems and methods for mobile image capture and processing
US9514357B2 (en) 2012-01-12 2016-12-06 Kofax, Inc. Systems and methods for mobile image capture and processing
US9058515B1 (en) 2012-01-12 2015-06-16 Kofax, Inc. Systems and methods for identification document processing and business workflow integration
US9058580B1 (en) 2012-01-12 2015-06-16 Kofax, Inc. Systems and methods for identification document processing and business workflow integration
US8693731B2 (en) 2012-01-17 2014-04-08 Leap Motion, Inc. Enhanced contrast for object detection and characterization by optical imaging
US9679215B2 (en) 2012-01-17 2017-06-13 Leap Motion, Inc. Systems and methods for machine control
US11493998B2 (en) 2012-01-17 2022-11-08 Ultrahaptics IP Two Limited Systems and methods for machine control
US8638989B2 (en) 2012-01-17 2014-01-28 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US10691219B2 (en) 2012-01-17 2020-06-23 Ultrahaptics IP Two Limited Systems and methods for machine control
US9070019B2 (en) 2012-01-17 2015-06-30 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US9501152B2 (en) 2013-01-15 2016-11-22 Leap Motion, Inc. Free-space user interface and control using virtual constructs
US9696867B2 (en) 2013-01-15 2017-07-04 Leap Motion, Inc. Dynamic user interactions for display control and identifying dominant gestures
US9459697B2 (en) 2013-01-15 2016-10-04 Leap Motion, Inc. Dynamic, free-space user interactions for machine control
US9208536B2 (en) 2013-09-27 2015-12-08 Kofax, Inc. Systems and methods for three dimensional geometric reconstruction of captured image data
US9355312B2 (en) 2013-03-13 2016-05-31 Kofax, Inc. Systems and methods for classifying objects in digital images captured using mobile devices
EP2973226A4 (en) 2013-03-13 2016-06-29 Kofax Inc CLASSIFICATION OF OBJECTS ON DIGITAL IMAGES RECORDED BY MOBILE DEVICES
US9702977B2 (en) 2013-03-15 2017-07-11 Leap Motion, Inc. Determining positional information of an object in space
US10620709B2 (en) 2013-04-05 2020-04-14 Ultrahaptics IP Two Limited Customized gesture interpretation
US20140316841A1 (en) 2013-04-23 2014-10-23 Kofax, Inc. Location-based workflows and services
US9916009B2 (en) 2013-04-26 2018-03-13 Leap Motion, Inc. Non-tactile interface systems and methods
EP2992481A4 (en) 2013-05-03 2017-02-22 Kofax, Inc. Systems and methods for detecting and classifying objects in video captured using mobile devices
US9436288B2 (en) 2013-05-17 2016-09-06 Leap Motion, Inc. Cursor mode switching
US10620775B2 (en) 2013-05-17 2020-04-14 Ultrahaptics IP Two Limited Dynamic interactive objects
US9747696B2 (en) 2013-05-17 2017-08-29 Leap Motion, Inc. Systems and methods for providing normalized parameters of motions of objects in three-dimensional space
US10281987B1 (en) 2013-08-09 2019-05-07 Leap Motion, Inc. Systems and methods of free-space gestural interaction
US9721383B1 (en) 2013-08-29 2017-08-01 Leap Motion, Inc. Predictive information for free space gesture control and communication
US9632572B2 (en) 2013-10-03 2017-04-25 Leap Motion, Inc. Enhanced field of view to augment three-dimensional (3D) sensory space for free-space gesture interpretation
US9996638B1 (en) 2013-10-31 2018-06-12 Leap Motion, Inc. Predictive information for free space gesture control and communication
US9386235B2 (en) 2013-11-15 2016-07-05 Kofax, Inc. Systems and methods for generating composite images of long documents using mobile video data
CN204480228U (zh) 2014-08-08 2015-07-15 厉动公司 运动感测和成像设备
US9760788B2 (en) 2014-10-30 2017-09-12 Kofax, Inc. Mobile document detection and orientation based on reference object characteristics
US9696795B2 (en) 2015-02-13 2017-07-04 Leap Motion, Inc. Systems and methods of creating a realistic grab experience in virtual reality/augmented reality environments
US10429923B1 (en) 2015-02-13 2019-10-01 Ultrahaptics IP Two Limited Interaction engine for creating a realistic experience in virtual reality/augmented reality environments
US10242285B2 (en) 2015-07-20 2019-03-26 Kofax, Inc. Iterative recognition-guided thresholding and data extraction
US9779296B1 (en) 2016-04-01 2017-10-03 Kofax, Inc. Content-based detection and three dimensional geometric reconstruction of objects in image and video data
US11062176B2 (en) 2017-11-30 2021-07-13 Kofax, Inc. Object detection and image cropping using a multi-detector approach
US11875012B2 (en) 2018-05-25 2024-01-16 Ultrahaptics IP Two Limited Throwable interface for augmented reality and virtual reality environments
WO2022007792A1 (zh) * 2020-07-06 2022-01-13 先临三维科技股份有限公司 生成数字化模型的方法及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000013605A (ja) * 1998-06-18 2000-01-14 Minolta Co Ltd 画像処理装置および方法ならびに画像処理プログラムを記録した記録媒体

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3143209B2 (ja) * 1992-05-25 2001-03-07 株式会社リコー 画像変倍装置
JP3452212B2 (ja) 1994-07-07 2003-09-29 富士ゼロックス株式会社 減色処理を行なうカラー画像処理装置
JP3778229B2 (ja) 1996-05-13 2006-05-24 富士ゼロックス株式会社 画像処理装置、画像処理方法、および画像処理システム
US6055340A (en) * 1997-02-28 2000-04-25 Fuji Photo Film Co., Ltd. Method and apparatus for processing digital images to suppress their noise and enhancing their sharpness
US6185334B1 (en) * 1998-01-30 2001-02-06 Compaq Computer Corporation Method for reconstructing a dithered image

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000013605A (ja) * 1998-06-18 2000-01-14 Minolta Co Ltd 画像処理装置および方法ならびに画像処理プログラムを記録した記録媒体

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008529411A (ja) * 2005-01-25 2008-07-31 アドバンスト・マイクロ・ディバイシズ・インコーポレイテッド オーバーラップスムージングおよびインループデブロッキングの区分的な処理
JP2007071789A (ja) * 2005-09-08 2007-03-22 Yanmar Co Ltd 栗の品質検査方法
JP4664778B2 (ja) * 2005-09-08 2011-04-06 ヤンマー株式会社 栗の品質検査方法
JP2010244113A (ja) * 2009-04-01 2010-10-28 Canon Inc 画像処理装置および画像処理方法、並びにプログラム
JP2014216788A (ja) * 2013-04-24 2014-11-17 株式会社メイクソフトウェア 画像出力装置

Also Published As

Publication number Publication date
US6901170B1 (en) 2005-05-31
JP4568460B2 (ja) 2010-10-27

Similar Documents

Publication Publication Date Title
JP2002135592A (ja) 画像処理装置及び記録媒体
JP5260635B2 (ja) パンクロマチック画像を用いたノイズ低減されたカラーの画像
JP4568459B2 (ja) 画像処理装置及び記録媒体
JP4764903B2 (ja) テキストマップの中からライン構造を検出する方法および画像処理装置
US7885486B2 (en) Image processing system, method for processing image and computer readable medium
KR101224936B1 (ko) 화상 처리 장치, 화상 형성 장치, 및 컴퓨터 판독 가능한 매체
JP2012048580A (ja) 画像処理装置、画像処理方法、プログラム、および記憶媒体
JP4140519B2 (ja) 画像処理装置、プログラムおよび記録媒体
JP4857975B2 (ja) 画像処理システムおよび画像処理プログラム
JP3604910B2 (ja) 画像縮小装置及び画像縮小プログラムを記録した記録媒体
JP3495841B2 (ja) 画像処理装置及びその方法及びそのコンピュータプログラム製品
JP4827137B2 (ja) 解像度変換処理方法、画像処理装置、画像表示装置及びプログラム
JP4084719B2 (ja) 画像処理装置および該画像処理装置を備える画像形成装置、ならびに画像処理方法、画像処理プログラムおよびコンピュータ読み取り可能な記録媒体
JP4545167B2 (ja) 画像処理方法、画像処理装置、画像形成装置、コンピュータプログラム及び記録媒体
JP2006050481A (ja) 画像処理装置、画像処理方法及びそのプログラム
JP2006252108A (ja) 画像処理装置、画像処理方法及びそのプログラム
JP4517288B2 (ja) 画像処理装置、画像処理方法及びそのプログラム
JP4165599B2 (ja) 画像処理装置
JP2021097288A (ja) 画像処理システムおよびプログラム
JP4736121B2 (ja) 画像解析装置、画像処理装置、画像解析方法、画像解析プログラム及びこれを記録した記録媒体
JP2006050480A (ja) 画像処理装置、画像処理方法及びそのプログラム
JP5013243B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム及びこれを記録した記録媒体
JP4545134B2 (ja) 画像処理方法、画像処理装置、画像形成装置、コンピュータプログラム及び記録媒体
JP4506954B2 (ja) 画像処理装置および画像処理方法、画像処理プログラム、記憶媒体
JP4032734B2 (ja) 画像処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080619

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20091113

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100301

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100406

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100611

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100803

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100809

R150 Certificate of patent or registration of utility model

Ref document number: 4568460

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130813

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees