JP2005038415A - 画像処理装置および画像処理方法、画像処理プログラム、記憶媒体 - Google Patents

Abstract

【課題】 ２値画像の細部の情報を保ったまま適切にアンチエイリアス処理するとともに高画質に拡大できる画像処理装置および画像処理方法を提供する。
【解決手段】 初期拡大処理部５１で原画像をｎ倍に拡大したｎ倍原画像を作成し、前処理部５２で前処理を行っておく。ドメインブロック抽出部５３でｎ倍原画像からドメインブロック画像を抽出し、その種類をドメインブロック分類部５４で分類する。種類に応じて、適宜ドメインブロック画像を小さく分割する。レンジブロック抽出部５５でドメインブロック画像より大きなレンジブロック画像をｎ倍原画像から抽出し、縮小レンジブロック作成部５６でドメインブロック画像と同じ大きさに縮小した後、ドメインブロック画像との類似度を類似度判定部５７で判定し、その結果に従い、改良ドメインブロック作成部５８で改良ドメインブロック画像を得る。必要に応じて反復処理部６１で反復処理が可能である。
【選択図】 図１

Description

本発明は、入力された２値のデジタル画像をプリンタやディスプレイ装置などへ印刷出力または表示出力する際の画質を改善する技術に関するものである。

プリンタ、低解像度ディスプレイ、携帯端末など、表現可能な色数が少ない装置においては、従来から擬似階調処理（スクリーン処理）によって所望の色数に減色し、擬似階調画像を作成している。擬似階調画像のうち、２値画像はプリンタ、ファクシミリ等、様々な装置に広く用いられており、多値画像（連続階調画像）に比べてデータ量が格段に少ないことから、データ伝送にも適している。また、近年の文書の電子化に伴い、紙文書をスキャンして、デジタルドキュメントとして保存するということが広く行われている。このような場合にも、データ量が少ない２値画像が用いられる場合が多い。更に、印刷のみを目的とした文書、画像は、元のデータを伝送するよりも、２値画像に変換してから伝送する方が改竄などの耐性が高く、セキュリティの観点からも２値画像の利点が多い。このような背景から、２値画像は広く用いられている。

ところで、近年の電子文書の広汎な流通により、一般的にデジタル画像を高品質に表示または印刷することが求められており、この要求は２値画像においても同じである。例えば、スキャン文書、ファクシミリ画像、地図、地形図、ＧＩＳ（地理情報システム）情報、図面画像などの２値画像の高精細な印刷、あるいはオンデマンド印刷が重要な要求の一つである。

高品質に表示または印刷するためには、２値画像の画質改善技術が必要となるが、とりわけ、異なる解像度を持った出力機器に画像を高画質出力するための拡大技術が重要となる。そこで、以下に２値画像を拡大する従来の方法について述べる。

２値画像には大きく分けて２つの種類の画像がある。一つは、文字や線画などの画像であり、これらは画素一つ一つが意味を持っている画像である。このような２値画像を、以後、文字線画画像と呼ぶ。もう一つは、多値画像に擬似階調処理を施した画像であり、これは、一つ一つのドットが意味を持つのではなく、ドットの集合が画像の濃度を表現するものとなる。このような２値画像を、以後、ハーフトーン画像、または中間調画像と呼ぶ。なお、文字線画画像も多値画像に擬似階調処理が施されて得られる場合がある。その場合には、多値画像において例えば所定の濃度未満を０、所定の濃度以上を１に変換する単純２値化の方法、あるいはそれに類した方法が取られることが多い。

文字線画画像としては、スキャン文書、ファクシミリ画像、地図画像、地形図画像、図面画像などさまざまなものがある。一方、ハーフトーン画像は写真などを２値化したものが多い。これらの分類は、画像の内容ではなく、ハーフトーン処理の際の方法で行う方が良い。一例を挙げると網点法、誤差拡散法などによってハーフトーン画像を分類できる。このように、文字線画画像とハーフトーン画像とでは、画像そのものの意味が異なっているため、画像処理を行う際にもそれぞれ異なる処理が行われる場合が多い。なお上述のスキャン文書、ファクシミリ画像などには文字線画画像とハーフトーン画像が１枚の画像に含まれている場合もあるが、このような場合には、文字／画像分離部を設けてそれぞれを分離して処理する構成がとられる場合もある。

前記したスキャン文書、ファクシミリ画像、地図、地形図、ＧＩＳ（地理情報システム）、図面画像などが２値画像として提供される場合、それは文字線画画像である場合が多い。なぜならこれらの画像は細部の情報を忠実に保つ必要性があるため、細部情報が一定範囲でまとめられて一つの濃淡情報に変換されるハーフトーン画像ではその目的に合わないからである。

また、２値の文字線画画像をプリンタなどの２値の高解像度出力機器に出力する場合、多値画像以上に高解像度での出力能力を享受することができる。なぜなら、多値画像の場合には、プリンタの解像度限界まで解像度を上げたとしても、ハーフトーン処理によって実際の解像度がスクリーン線数まで低下してしまう。これに対して２値文字線画画像の場合、プリンタの解像度限界そのものの解像度で出力できる。逆に言えば、２値画像は、出力機器に応じた解像度変換を適切に施さないと画像の劣化が目立ちやすいといえる。例えば、６００ｄｐｉのプリンタにそれぞれ４００ｄｐｉの多値画像と２値画像を出力する場合、前者は任意の解像度変換法を使用しても画質にほとんど差が出ないのに対し、後者は解像度変換法の差が明白に画質に現れる。こうした点から、２値文字線画画像の拡大法は、より精密に行う必要がある。

文字線画画像の拡大方法としては、２値画像のまま行う方法と多値化してから行う方法がある。２値画像のまま拡大を行う方法は、一般に入力／出力先の解像度が固定の場合に使用されることが多い。例えば特許文献１には、２値画像で異なる色の画素（黒と白）が隣り合う部分には、予め設定しておいたルールに基づいて黒画素または白画素を補間する方法が記載されている。このような拡大方法では、２値画像のままで解像度変換を行うため処理は高速であるが、固定解像度に限定される場合が多く、広汎に使用するには問題点がある。また、拡大はできるが、画像に適切なアンチエイリアスが掛からないため、画像を更に別の拡大方式で拡大する際に高画質で拡大することができないという問題がある。

多値化してから拡大を行う方法として、例えば特許文献２には、２値画像を多値化するに際し、予め設定した重み係数に基づいて原画像における注目ドット及びその周囲の画素値との関係から多値画素値を決定する方法が記載されている。２値画像を単純多値化以外の方式で多値化してから拡大する場合には、多値化した際に細部情報の喪失が起こり、細部の画質劣化が生じる場合がある。またアンチエイリアスが掛けられた画像が得られても、それが適切でない場合が多く、やはり画像を更に別の拡大方式で拡大する際に高画質で拡大することができない。なお、単純多値化方式で多値化してから拡大する場合には、一般的に多値画像を拡大する方式が使われることになるが、自然画などの多値画像を拡大する方式では、一般に単純多値化された画像のジャギーを取り除くことはできないという問題がある。

以上を総合すると、２値文字線画画像を２値画像のままで拡大する場合には、拡大することはできてもアンチエイリアス処理ができず、従って任意倍に高画質拡大することが困難となる。また２値画像を多値化してから拡大するという場合には、多値化した際に細部情報の喪失が起こり、画質劣化が生じる。また、これらの従来の拡大方式の一般的な問題点として、画像を更に異なる方式を使用して高画質拡大するために適したアンチエイリアス効果が得られないという問題がある。

なお、一般の画像の高画質化及び高画質拡大に関して、本願出願人が先に出願した特願２００２−０７９３８８号および特願２００３−３３００７６号に記載の手法を組み合わせた方法がある。この方法を用いると自然画を高画質に拡大することができる。またこの方法を用いて２値画像をアンチエイリアスまたは拡大することもでき、高画質化が行える。しかし、２値画像は多値画像と比べてジャギーが強いため、この方法を使ってもジャギーが残る場合があり、またテクスチュア部分にアンチエイリアスが掛かった結果、細線の欠落が発生するなどの問題があった。

特開２０００−２６８１６６号公報 特開２００１−２６８３５１号公報

本発明は、上述した事情に鑑みてなされたもので、２値画像の細部の情報を保ったまま適切にアンチエイリアス処理するとともに高画質に拡大できる画像処理装置および画像処理方法、画像処理プログラムと、その画像処理プログラムを格納した記憶媒体を提供することを目的とするものである。

本発明は、多数の画素で表現された２値の原画像を処理して拡大されたアンチエイリアス画像を得る画像処理装置および画像処理方法であって、原画像をｎ倍（例えば２倍）に拡大し、さらに単純多値化して多値のｎ倍原画像を取得する。このｎ倍原画像の所定部位に対してあらかじめドット補正を行い、以後の処理による高画質化を図ることができる。

このｎ倍原画像から第１のブロック単位Ｄ１の大きさで複数のドメインブロック画像を抽出する。また、ｎ倍原画像からドメインブロック画像を含むようにレンジブロック画像を抽出する。更に、ドメインブロック画像に従って、抽出したレンジブロック画像からドメインブロック画像と同じ第１のブロック単位の改良ドメインブロック画像を得る。

なお、改良ドメインブロック画像は、抽出したレンジブロック画像を第１のブロック単位に縮小して縮小レンジブロック画像を作成し、必要に応じてドメインブロック画像と縮小レンジブロック画像との類似度を求める処理を行い、縮小ドメインブロック画像の個々の画素値を変換することにより改良ドメインブロック画像を作成構成を取ることもできる。この後、改良ドメインブロック画像内の画素値の最大値と最小値の関係およびエッジ度に基づいてエッジ強調処理を行うことができる。

ｎ倍原画像から抽出したドメインブロック画像が、ｎ倍原画像上で共通部分を有するように抽出すると、改良ドメインブロック画像も重複した画素を含むことになる。この場合、それぞれの改良ドメインブロック画像が重複した画素について、重複度合いに応じた除算処理を行っておく。

さらに、このような処理を全てのドメインブロック画像について終了した後、出力された画像をｎ倍原画像に置き換えて、再びドメインブロック画像の抽出処理から所定回数だけ反復して行うことができる。

なお、ｎ倍原画像に対して行うドット補正による前処理は、例えば、原画像内の２×２市松パターンについて、周囲の画素の色数に応じてドットの接続方向を決定し、ｎ倍原画像内で、２×２市松パターンと対応する２ｎ×２ｎパターンの市松部分に、ドットの接続方向に線がつながるようにドットを配置して行うことができる。また、原画像内のエッジ部のドット接続方向及び接続長を算出し、ｎ倍原画像において、原画像内のエッジ部と対応する位置にあるドットの接続部分の濃度値を補正して行うことができる。

また、レンジブロック画像の抽出の際には、１つのドメインブロック画像に対して１つ以上のレンジブロック画像を抽出し、それぞれのレンジブロック画像について縮小を行い、複数の縮小されたレンジブロック画像のうちドメインブロック画像と最も類似度が高いと判定された縮小されたレンジブロック画像を選択して改良ドメインブロック画像を作成するように構成することができる。このとき、類似度判定手段は、縮小されたレンジブロック画像の画素値ｚを一次式ａｚ＋ｂによりドメインブロック画像の画素値に最小二乗近似した際に、最小二乗誤差が最も小さい縮小されたレンジブロック画像を最も類似度が高い最類似縮小レンジブロック画像であると判定することができる。

さらに改良ドメインブロック画像を作成する際には、抽出されたレンジブロック画像を第１のブロック単位の大きさに縮小したレンジブロック画像とドメインブロック画像との関係（例えば類似関係）、及びドメインブロックの分類結果に基づいて、改良ドメインブロックを作成する。例えば最も類似度が高いと判定された縮小レンジブロック画像に対応する最小二乗係数ａ、ｂを用いて、最類似縮小レンジブロック画像の画素値を一次式ａｚ＋ｂで変換することにより、改良ドメインブロック画像を作成することができる。

さらに、出力された改良ドメインブロック画像に対して例えばエッジ強調処理などの後処理を行うことができる。エッジ強調処理を行う場合には、改良ドメインブロック画像内の画素値の最大値と最小値の関係（例えば平均値）及び改良ドメインブロック画像のエッジ度とから、改良ドメインブロック画像に対してエッジを強調する処理を行うことができる。このとき、例えば上述の平均値とエッジ強調の強さに従い、平均値よりも大きい画素値を平均値との距離に応じてより大きく変換し、平均値よりも小さい画素値を平均値との距離に応じてより小さく変換するように行うことができる。この時のエッジ強調の強度は、ドメインブロック画像中の画素値の標準偏差の値が小さい場合には強く、標準偏差の値が大きい場合には弱くなるように設定することができる。

また本発明は、上述のような画像の画質改善処理を行う画像処理をコンピュータに実行させる画像処理プログラムを提供するものである。さらに、このような画像処理プログラムを格納した記憶媒体を提供するものである。

以上の説明から明らかなように、本発明による２値画像の画像画質改善処理によれば、原画像に対してより小さい小数サイズブロックでの局所コラージュ処理あるいは同等の処理を施すことができるので、画像の細部を忠実に保ったまま、ジャギーを適切に補正することができる。また、アンチエイリアス処理と２倍拡大処理を同時に実行するため、２値画像がアンチエイリアスされたことに伴う情報の喪失がない。本発明は局所自己相似性に基づいた画質改善処理であるため、後段に更に局所自己相似性を利用した拡大を行えば、ジャギーの発生を抑えて任意倍に高画質拡大できる。本発明によれば、このような効果を有し、さらに上述したような種々の効果を有するものである。

図１は、本発明の実施の一形態を含むシステムの一例を示すブロック図である。図中、１は画像入力部、２はメモリ部、３は画像出力部、４は制御部、５は画質改善処理部、５１は初期拡大処理部、５２は前処理部、５３はドメインブロック抽出部、５４はドメインブロック分類部、５５はレンジブロック抽出部、５６は縮小レンジブロック作成部、５７は類似度判定部、５８は改良ドメインブロック作成部、５９はエッジ強調処理部、６０は平均値演算部、６１は反復処理部である。なお、図１に示した画質改善処理部５の各ブロックや制御部４などはコンピュータ上の処理プログラムモジュールとして存在してもよいし、一部または全部が専用のハードウエアで構成されていてもよい。

画像入力部１は、図１に示したシステムの外部からデジタル化された２値画像データを入力し、メモリ部２に転送する。メモリ部２は、前記画像入力部１から入力された画像データや、画質改善後の画像データ、さらに画質改善処理に用いられる各種の途中の演算結果や処理パラメータなどを保持する。画質改善処理部５は、前記メモリ部２に保持された処理対象の画像に対して画質改善処理を施す。画像出力部３は、画質改善処理部５により画質が改善された画像データなどを、図１に示したシステムの外部に出力する。制御部４は、各部の処理を制御する。

画質改善処理部５は、初期拡大処理部５１、前処理部５２、ドメインブロック抽出部５３、ドメインブロック分類部５４、レンジブロック抽出部５５、縮小レンジブロック作成部５６、類似度判定部５７、改良ドメインブロック作成部５８、エッジ強調処理部５９、平均値演算部６０、反復処理部６１などを含んで構成されている。画質改善処理部５から出力される改良ドメインブロック画像はメモリ部２に書き込まれるが、このとき、同じ画素について先に書き込まれている値に対して新たな改良ドメインブロック画像の画素値を加算して値を更新してゆく。以下、各部の概要を説明する。なお、詳細については後述する。

初期拡大処理部５１は、入力される２値の原画像を例えば最近傍法でｎ倍に拡大し、さらにここでは単純多値化して多値のｎ倍原画像を得る。なお、拡大方法は任意であり、最近傍法に限られるものではない。また、以下の説明では簡単のため２倍に拡大するものとし、ｎ倍原画像は２倍原画像として説明するが、ｎ倍において同様である。さらに、多値化の方法も任意であるが、ここでは上述のように２値の０，１を多値の最小値、最大値に対応づける単純多値化の方法を採用したものとして説明する。なお、多値の最小値、最大値としては、以下の説明で必要であれば０，２５５として説明するが、これに限られるものではない。

前処理部５２は、初期拡大処理部５１で得た２倍原画像の所定部位に対してドット補正を行う。具体的には、原画像の２×２市松パターンに対応する２倍原画像の市松部分に小ドットを置くことにより、線の接続方向を補正する。更に、後段の反復処理部６１で画質が充分改善されるまで処理を反復することを行うが、その反復収束の速度を速めるために、原画像のエッジ部分に対応する２倍原画像のエッジ部分の画素値を補正する効果を持たせることもできる。

ドメインブロック抽出部５３は、２倍原画像から第１のブロック単位Ｄ１の大きさでドメインブロック画像を抽出する。なお、ブロック単位とは、ブロックサイズによって定められる任意のブロック全体の総称を意味する。抽出するドメインブロック画像は、それぞれのドメインブロック画像が重ならないように原画像を分割するほか、原画像上で共通部分を有するようにドメインブロック画像を抽出することもできる。また、原画像がカラー画像である場合には、原画像の各色成分について、相対的に同一の位置からレンジブロック画像を抽出する。

ドメインブロック分類部５４は、必要に応じてドメインブロック抽出部５３で抽出したドメインブロック画像の種類を分類する。分類は、例えばドメインブロック画像の標準偏差および凹凸度などに基づいて行うことができる。分類する種類としては、例えば平坦部、ステップエッジ部、細線部、テクスチュア部などに分類することができる。更に分類した結果に応じて、細線部の場合には、第１のブロック単位Ｄ１以下の第３のブロック単位Ｄ２、テクスチュア部であれば第３のブロック単位Ｄ２以下の第５のブロック単位Ｄ３で、それぞれドメインブロック画像から複数の分割ドメインブロック画像を得る。以後の処理では、この分割ドメインブロック画像をドメインブロック画像として扱う。

なお、ジャギーなどの画質劣化は主にステップエッジ部、細線部、テクスチュア部に発生している。従って、これらに対して画質改善のための処理を行えば全体として画質の向上を図ることが可能である。そのため、例えば平坦部などでは、以下の処理を行わずに２倍原画像のドメインブロック画像をそのまま改良ドメインブロック画像として出力するように制御し、処理時間を短縮することが可能である。また、第３のブロック単位Ｄ２と第５のブロック単位Ｄ３は第１のブロック単位Ｄ１と同じ大きさにすることもでき、その場合には、効果としてはブロックを分類するだけで、分割ドメインブロックの作成を行わないようにすることもできる。

なお、上述のような分類は一例であり、さらに細分してもよいし、処理対象を絞るのであればもっと少なく分類してもよい。また、このようなドメインブロック画像の分類による処理の制御自体を行わなければ、このドメインブロック分類部５４を設けずに構成することも可能である。

レンジブロック抽出部５５は、ドメインブロック分類部５４で抽出したドメインブロック画像について、第１のブロック単位Ｄ１よりも大きな第２のブロック単位Ｒ１で２倍原画像からレンジブロック画像を抽出する。また、ドメインブロック分類部５４で第３のブロック単位Ｄ２または第５のブロック単位Ｄ３でドメインブロック画像（分割ドメインブロック画像）を抽出した場合には、それぞれ第３のブロック単位Ｄ２よりも大きな第４のブロック単位Ｒ２、第５のブロック単位Ｄ３よりも大きな第６のブロック単位Ｒ３で、それぞれ２倍原画像からレンジブロック画像を抽出する。ここで、抽出するレンジブロック画像は、ドメインブロック画像に対してはドメインブロック画像を含むように抽出し、分割ドメインブロックに対しては分割ドメインブロック画像を含むように抽出する。このとき、１つのドメインブロック画像または分割ドメインブロック画像に対して複数のレンジブロック画像を抽出してもよい。

縮小レンジブロック作成部５６は、レンジブロック抽出部５５で抽出した第２のブロック単位Ｒ１、第４のブロック単位Ｒ２、第６のブロック単位Ｒ３のレンジブロック画像を、それぞれ第１のブロック単位Ｄ１、第３のブロック単位Ｄ２、第５のブロック単位Ｄ３の大きさに縮小し、縮小レンジブロック画像を作成する。縮小方法は任意である。なお、レンジブロック抽出部５５で複数のレンジブロック画像を抽出している場合には、それぞれのレンジブロック画像について縮小を行う。

類似度判定部５７は、縮小レンジブロック作成部５６により縮小した縮小レンジブロック画像と、ドメインブロック抽出部５３で抽出したドメインブロック画像（ドメインブロック分類部５４で抽出した分割ドメインブロック画像を含む）との類似度を判定し、類似度に関する情報を改良ドメインブロック作成部５８に渡す。類似度の判定は任意であるが、例えば、縮小レンジブロック画像の画素値ｚを一次式ａｚ＋ｂによりドメインブロック画像の画素値に最小二乗近似した際の最小二乗誤差を用いることができる。この時の最小二乗係数ａ，ｂを改良ドメインブロック作成部５８に渡すように構成することができる。なお、レンジブロック画像が複数抽出されている場合、ドメインブロック画像と最も類似度が高い縮小レンジブロック画像を選択する。上述のような最小二乗誤差を用いる場合、その最小二乗誤差が最小の縮小レンジブロック画像を最類似縮小レンジブロック画像として選択すればよい。また、レンジブロック画像が一つだけ抽出されている場合、類似度の判定を行わず、最小２乗係数ａ，ｂを改良ドメインブロック作成部５８に直接渡すように構成することもできる。

改良ドメインブロック作成部５８は、縮小レンジブロック作成部５６で作成された縮小レンジブロック画像に対して、類似度判定部５７で得られた類似度に関する情報を元に画素値の変換を行い、画素値変換の結果を改良ドメインブロック画像として出力する。例えば類似度判定部５７で最小二乗誤差を計算している場合、そのとき得られた最小二乗係数ａ、ｂを用いて縮小レンジブロック画像（最類似縮小レンジブロック画像）の画素値を一次式ａｚ＋ｂで変換することにより改良ドメインブロック画像を作成する。なお、類似度の判定が行われていない場合には、直接、縮小レンジブロック画像の画素値ｚを一次式ａｚ＋ｂによりドメインブロック画像の画素値に最小二乗近似しても良いし、最小レンジブロック画像そのものを改良ドメインブロック画像としても良い。

エッジ強調処理部５９は、ドメインブロック分類部５２において平坦部以外に分類されたドメインブロック画像に対応する改良ドメインブロック画像に対して、改良ドメインブロック画像内の画素値の最大値と最小値の関係からエッジ強調処理を行う。具体的には、改良ドメインブロック画像内の最大画素値と最小画素値の平均値を取り、エッジ強調の強度に従い、平均値よりも大きい画素値を平均値との距離に応じてより大きく変換し、平均値よりも小さい画素値を平均値との距離に応じてより小さく変換することができる。このときのエッジ強調の強度は、ドメインブロック画像の画素値の標準偏差値が小さい場合には強く、標準偏差値が大きい場合には弱くなるように設定することもできる。なお、ドメインブロック分類部５４を設けない構成の場合には、ドメインブロック画像の画素値の標準偏差値が所定値以上のときだけエッジ強調処理を行うようにすれば良い。

平均値演算部６０は、ドメインブロック抽出部５３でドメインブロック画像を抽出し、ドメインブロック分類部５４で分割ドメインブロック画像を抽出した際に、処理後の改良ドメインブロック画像が重複する画素について平均値を演算する。この演算は、改良ドメインブロック画像の作成の際に、改良ドメインブロック画像の各画素値をメモリに加算すると同時に、メモリ２に別に用意した画素値の重複量記憶用メモリに、１回の重複につき１を加算してゆき、全てのドメインブロックについて処理が終わった後に、この重複量記憶メモリの値を参照して、加算された画素値を除算するようにして行うことができる。あるいは、原画像における位置からあらかじめ重複量がわかる場合には、改良ドメインブロック画像の画素値を重複量で除算した後にメモリ２中の画素値と加算して書き戻すように構成してもよい。

反復処理部６１は、平均値演算部６０が終了して得られた画質改善画像を２倍原画像として、再び前処理部５２またはドメインブロック抽出部５３以降の処理を反復させる。なお、反復は所定回数だけ行ったり、得られた画質改善画像から特徴量を抽出して自動的に終了判定を行ってもよい。

なお、本発明の画質改善処理部５は、２値文字線画画像を対象としている。そのため、処理に入る前に、入力された画像が２値文字線画画像であるか否かを判定する処理部を設けても良いし、入力された画像が２値文字線画画像でない場合には処理を終了するようにしても良い。

以下、本発明の主要部である画質改善処理部５について、図を参照しながらいくつかの例について詳細に説明してゆく。なお、各例において、入力される原画像は２値文字線画画像であるとする。

まず第１の例について説明する。この第１の例では、第１のブロック単位Ｄ１、第３のブロック単位Ｄ２、第５のブロック単位Ｄ３を等しいものとし、また１つのドメインブロック画像に対して複数のレンジブロック画像を抽出して最適な縮小レンジブロック画像を選択する例を示している。

図２は、本発明の実施の一形態における画質改善処理部５の動作の一例を示すフローチャート、図３は、同じく前処理部５２の処理終了までの原画像および２倍原画像の具体例の説明図、図４は、同じくドメインブロック抽出部５３以降の処理の一例を説明するための模式図である。動作を開始する前の準備として、画質改善処理の対象となる原画像の縦横それぞれ２倍のサイズで８ビット値の画像を記憶するためのメモリ領域をメモリ部２中に確保し、０で初期化しておく。これは、画質改善処理部５から出力される改良ドメインブロック画像（エッジ強調処理を行ったものを含む）を加算して書き込んでゆくために行うものである。

Ｓ１０１において、初期拡大処理部５１により原画像を２倍サイズの画像に例えば最近傍法などによって拡大し、さらに単純多値化して２倍原画像を得る。つまり、原画像を最近傍法によって２倍に拡大した後に、０は０に、１は２５５に変換して２倍原画像を得る。この初期拡大処理部５１の処理によって、例えば図３（Ａ）に示した原画像は、図３（Ｂ）に示すようになる。なお、図３（Ｂ）においては図３（Ａ）と同様に黒画素と白画素とで示しているが、画素値としては多値化しているため０，２５５に変換されている。

Ｓ１０２においては、前処理部５２によって２倍原画像を修正する。図５は、前処理部の動作の一例を示すフローチャート、図６は、前処理部によって修正されるパターン具体例の説明図である。ここでは原画像の２×２市松パターンに対して修正を行う例を示している。Ｓ１２１において原画像から２×２画素ブロックを抽出し、その２×２画素ブロックが市松パターであるか否かをＳ１２２で判定する。市松パターンでなければ当該２×２画素パターンに対応する２倍原画像については修正を行わない。例えば図６（Ａ）の中央の２×２画素パターンのように市松パターンであった場合には、Ｓ１２３において、２×２画素パターンを含む４×４画素パターンのうちの白画素数および黒画素数をカウントする。

そしてＳ１２４において、カウントした白画素数および黒画素数を判定し、少ない方の色の画素がつながるように、２倍原画像の対応部分に小ドットを１ないし複数配置する。この例では、４×４（＝１６）画素のうち黒画素が６画素以下か、あるいは白画素が６画素以下か、それ以外かによって場合分けを行っている。黒画素が６画素以下の場合には黒線が存在しているものと判定し、Ｓ１２５において、２倍原画像の黒の段差部に黒ドットを配置する。図６に示した例がこの場合に当たり、図６（Ａ）に示した原画像を２倍に拡大した２倍原画像は図６（Ｂ）に示すようになる。図６（Ａ）の場合には、黒画素数が６画素、白画素数が１０画素となるので、黒画素が６画素以下の条件を満たし、図６（Ｃ）に示すように段差部に２つの黒ドットを配置している。これによって、黒線が斜めにつながった画像に修正することができる。

同様に白画素が６画素以下の場合には白線が存在しているものと判断し、Ｓ１２６において、２倍原画像の白の段差部に２つの白ドットを配置する。これ以外の場合には誤判定の可能性があるため、ここでは修正の処理を行っていない。なお、判断条件はこの例に限られるものではなく、画素数を調整するほか、黒画素や白画素の配置についても考慮するように構成することができる。また、配置するドットの数や位置についても、適宜決めておけばよい。

Ｓ１２７においてすべての２×２画素ブロックについて処理を行ったか否かを判断し、未処理の２×２画素ブロックが残っている場合にはＳ１２１へ戻り、次の２×２画素ブロックの処理を行う。すべての２×２画素ブロックについて処理を終えたら、前処理部５２における２×２市松パターンに対する修正処理を終了する。なお、上述のような市松パターンのほかにも、あらかじめ修正を施した方が良好な結果を得られる種々のパターンについて、同様の修正処理を施すことができる。

上述のような前処理部５２の処理によって、図３（Ｂ）に示した２倍原画像は図３（Ｃ）に示したように補正される。斜めの黒線が連続するとともに、黒線の間の白線部分も斜めに抜けている。このような補正の処理は、後続の画質改善処理における不具合の発生を防ぐために行われるものである。後続の画質改善処理では、局所領域の性質をその局所領域の近傍でも有しているという局所自己相似性を利用した局所コラージュ処理を行っているが、上述の市松パターンは、局所自己相似性が崩れる部分であり、この部分を補正しておくことによって、良好な局所コラージュ処理を行うことが可能となる。

図２に戻り、Ｓ１０３においては、ドメインブロック抽出部５３により原画像の中からドメインブロック画像を抽出する。図７は、ドメインブロック抽出部５３で抽出されるドメインブロック画像の一例の説明図である。ここでは第１のブロック単位Ｄ１の大きさを３×３画素とし、３×３画素の大きさのドメインブロック画像を抽出している。なお、図４（Ａ）においても、３×３画素のドメインブロック画像を太線で示している。ここでは、原画像の端から１画素ずつシフトさせた３×３画素の大きさのドメインブロック画像を順次抽出してゆく。そして、抽出したドメインブロック画像を処理対象とし、以下の処理によって画質を改善し、作成される改良ドメインブロック画像をメモリ部２内のドメインブロック画像に対応する位置に加算して書き込んでゆく。以下の説明では、１つのドメインブロック画像についての処理を説明してゆく。

Ｓ１０４では、ドメインブロック分類部５４により、Ｓ１０３で抽出したドメインブロック画像の種類を分類する。図８は、ドメインブロック分類部５４におけるドメインブロック画像の分類処理の一例を示すフローチャートである。まずＳ１３１において、ドメインブロック画像内の画素値｛ｄ_ij｜ｉ，ｊ＝１，２，３｝について、画素平均値Ｄｖ＝Σｄ_ij／９並びに画素標準偏差ＶＤｖ＝Σ（ｄ_ij−Ｄｖ）² を求める。Ｓ１３２において、Ｓ１３１で得られた画素値標準偏差ＶＤｖが、予め定めたエッジ部判定用閾値Ｓｖ１に対して、Ｓｖ１＜ＶＤｖを満たしているか否かを判定し、満たしていた場合にはＳ１３３でドメインブロック画像をエッジ部に分類する。満たしていない場合には、Ｓ１３４においてドメインブロック画像を平坦部に分類する。なお、この例ではドメインブロック画像の種類をエッジ部と平坦部にしか分類していないが、後述の例のようにさらに多くの種類に分類してもよい。また、判定用閾値Ｓｖ１は任意であり、固定値でも、可変値でもよい。なお、ここでの標準偏差ＶＤｘの値は、正確には変動と呼ばれる値であり、真の標準偏差値から定数項と平方根を除いたものを使用している。

Ｓ１０４においてドメインブロック画像の分類結果を判定し、分類結果がエッジ部であったドメインブロック画像については、以下の画質改善処理を行う。また、分類結果がエッジ部以外、すなわちこの例では平坦部であると判定されたドメインブロック画像については、画質改善処理を行わずにＳ１１１に進み、ドメインブロック画像をそのまま改良ドメインブロック画像として、メモリ部２の画質改善後の画像を記憶するためのメモリ領域へ加算書き込みを行う。

Ｓ１０５では、Ｓ１０４で分類された結果に応じてドメインブロック画像を更に小さなブロックに分割し、分割ドメインブロック画像を抽出する。ただし、この動作例では、この時点でドメインブロック画像はエッジ部のみに分類されており、ここでは分割ドメインブロックの抽出を行わない。あるいは、ドメインブロック画像と同じ大きさの分割ドメインブロック画像を抽出すると考えてもよい。

Ｓ１０６では、レンジブロック抽出部５５により原画像からドメインブロック画像を含むレンジブロック画像を抽出する。ここでは一例として、第１のブロック単位Ｄ１よりも大きい第２のブロック単位Ｒ１として４×４画素とする。図９は、レンジブロック抽出部５３で抽出するレンジブロック画像の一例の説明図である。レンジブロック画像の大きさを４×４画素とし、５×５画素の範囲をレンジブロック画像の抽出範囲とした場合、３×３画素の大きさのドメインブロック画像を含むレンジブロック画像としては、図９（Ａ）〜（Ｄ）に示すような４つのレンジブロック画像の抽出が可能である。なお、図４（Ａ）では図９（Ｂ）に示した例を記載している。

Ｓ１０７では、Ｓ１０６で抽出したすべてのレンジブロック画像を、縮小レンジブロック作成部５６によりドメインブロック画像と同じ大きさにそれぞれ縮小して縮小レンジブロック画像を得る。上述のように、ここではドメインブロック画像のサイズを３×３画素としているので、４×４画素のレンジブロック画像を３×３画素の縮小レンジブロック画像に縮小することになる。縮小方法としては任意であるが、ここでは一例として投影法を用いることとする。なお、特に投影法（線形縮小）を用いた場合には、隣り合う画素値を面積比に応じて加重加算して縮小するため、本発明におけるアンチエイリアス処理（ジャギーの補正）を特に効果的に行うことができる。

図１０は、縮小レンジブロック作成部５６における投影法による縮小処理の一例の説明図である。ここでの投影法による縮小処理は、例えば図１０（Ａ）に一部示すように、４×４画素の画像を３×３画素の画像に投影した際の領域比率に基づいて、画素値を加重加算することによって行う。図１０（Ｂ）に示す４×４サイズの画素値を｛Ｐ_ij｜ｉ，ｊ＝１，２，３，４｝、図１０（Ｃ）に示す縮小後の３×３サイズの画素値を｛Ｑ_ij｜ｉ，ｊ＝１，２，３｝とした場合に、各Ｑ_ijは、
Ｑ₁₁＝（９×Ｐ₁₁＋３×Ｐ₂₁＋３×Ｐ₁₂＋１×Ｐ₂₂）／１６
Ｑ₂₁＝（６×Ｐ₂₁＋６×Ｐ₃₁＋２×Ｐ₂₂＋２×Ｐ₃₂）／１６
Ｑ₃₁＝（３×Ｐ₃₁＋３×Ｐ₄₂＋９×Ｐ₄₁＋１×Ｐ₃₂）／１６
Ｑ₁₂＝（６×Ｐ₁₂＋６×Ｐ₁₃＋２×Ｐ₂₂＋２×Ｐ₂₃）／１６
Ｑ₂₂＝（４×Ｐ₂₂＋４×Ｐ₃₂＋４×Ｐ₂₃＋４×Ｐ₃₃）／１６
Ｑ₃₂＝（６×Ｐ₄₂＋６×Ｐ₄₃＋２×Ｐ₃₂＋２×Ｐ₃₃）／１６
Ｑ₁₃＝（９×Ｐ₁₄＋３×Ｐ₁₃＋３×Ｐ₂₄＋１×Ｐ₂₃）／１６
Ｑ₂₃≡（２×Ｐ₂₃＋２×Ｐ₃₃＋６×Ｐ₂₄＋６×Ｐ₃₄）／１６
Ｑ₃₃＝（３×Ｐ₄₃＋３×Ｐ₃₄＋９×Ｐ₄₄＋１×Ｐ₃₃）／１６
で与えられる。

一般にドメインブロック画像と、そのドメインブロック画像を含むレンジブロック画像とは類似していることが予想される（局所自己相似性）。このような仮定が成り立つ場合には、エッジ部に現出するジャギーは加重加算によってある程度軽減される。しかし、これはドメインブロック画像とレンジブロック画像とが類似していることが前提である。そのため、次のステップでドメインブロック画像に類似しているレンジブロック画像を選択する。

図２に戻り、Ｓ１０８では、類似度判定部５７において、Ｓ１０７でそれぞれのレンジブロック画像から作成した縮小レンジブロック画像とドメインブロック画像との類似度を判断する。ここでは、縮小レンジブロック画像に対して画素値変換を行うことにより、ドメインブロック画像と最も類似した画素値及びパターンを持つ縮小レンジブロック画像の選出と、そのとき得られる類似度に関する情報の取得を行う。まず、全ての縮小レンジブロック画像の画素値｛ｒ_ijk ｜ｉ，ｊ＝１，２，３，ｋ＝１，…，４｝について、それぞれ画素平均値Ｒｖ_k ＝Σｒ_ijk ／９、並びに、画素標準偏差ＶＲｖ_k ＝Σ（ｒ_ijk −Ｒｖ_k ）² を求める。次に、縮小レンジブロック画像の画素値ｚをそれぞれ一次変換ａｚ＋ｂで対応するドメインブロック画像の画素値に最小二乗近似した際の変換係数ａ_k とｂ_k 、並びに変換誤差Ｅ_k ＝Σ（ｄ_ij−ａ_k ×ｒ_ijk −ｂ_k ）² を求める。最小二乗法において、ａ_k 、ｂ_k 、Ｅ_k は以下の計算式で直接求めることができる。なお、Ｄｖ、ＶＤｖは、ドメインブロック分類部５４で計算したものを使うことができる。
ａ_k ＝（Σ（ｒ_ijk −Ｒｖ_k ）×（ｄ_ij−Ｄｖ））／ＶＲｖ_k
ｂ_k ＝Ｄｖ−ａ_k ×Ｒｖ_k
Ｅ_k ＝ＶＤｖ−ａ_k ×ａ_k ×ＶＲｖ_k

ここで、Ｅ＝ｍｉｎ｛Ｅ_k ｜ｋ∈Ｇ｝とおき、Ｅ＝Ｅ_k なるｋに対して、ａ＝ａ_k 、ｂ＝ｂ_k とおく。このｋが指し示す縮小レンジブロック画像が最もドメインブロック画像と類似したものとなる。なお、実際にはｂ_k はＥ_k の決定に必要ないので、Ｅ_k が最小となるｋが求まり、最終的にａ_k が決まった後にｂ_k を計算すれば良い。

Ｓ１０９では、改良ドメインブロック作成部５８により、類似度判定部５７において選択された３×３サイズの縮小レンジブロック画像の全画素ｚに対して、類似度判定部５７において求められた変換係数ａ、ｂによって画素値変換ａｚ＋ｂを施す。この結果を図４（Ｄ）に示すように３×３画素のドメインブロック画像の改良ドメインブロック画像とする。

このような処理において、得られた改良ドメインブロック画像はレンジブロック画像から作成されたものである。しかし、上述のようにドメインブロック画像とレンジブロック画像が類似していれば、縮小レンジブロック画像は縮小によってドメインブロック画像のジャギーがある程度軽減された画像である。さらに、改良ドメインブロック作成部５８で作成した改良ドメインブロック画像では、画素値変換によってドメインブロック画像に類似させた（最小二乗近似させた）画像となっている。従って、改良ドメインブロック画像は、ドメインブロック画像について画質を改良した画像であると言うことができる。

さらにエッジ部の画質を向上させるため、エッジ強調処理部５９によるエッジ強調処理を施すことができる。Ｓ１１０において、エッジ強調処理部５９により改良ドメインブロック画像に対してエッジ強調処理を行う。ここでは、改良ドメインブロック画像内の画素値の中間値ａｖに対して、ａｖよりも大きな画素値はより大きく、ａｖよりも小さい画素値はより小さくすることによってエッジ強調処理を行う。

図１１は、エッジ強調処理部５９におけるエッジ強調処理の一例の説明図である。図１１（Ａ）に示す３×３画素の改良ドメインブロック画像ｐ_ij（ｉ，ｊ＝１，２，３）に対して、画素最小値ｍｉｎｐ及び画素最大値ｍａｘｐを
ｍｉｎｐ＝ｍｉｎ｛ｐ_ij｝
ｍａｘｐ＝ｍａｘ｛ｐ_ij｝
とおき、更に
ａｖ＝（ｍａｘｐ＋ｍｉｎｐ）／２
ｌ＝（ｍａｘｐ−ｍｉｎｐ）／２
とおく。

このとき、以下の演算によって図１１（Ｃ）に示すエッジ強調画素値ｑ_ij（ｉ，ｊ＝１，２，３）が得られる。
ｑ_ij＝ａｖ＋ｆ（（ｐ_ij−ａｖ）／ｌ）・ｌ
ここで、エッジ強調関数ｆとしては、図１１（Ｂ）に示したように原点（０，０）を中心にＳ字型をした関数を用いる。例えば、
ｆ（ｘ）＝ｘ（１−ｘ² ）・α＋ｘ （α＝０．０〜１．０）
などの関数を使用することができる。変数αはエッジ強調の強度を規定するパラメータであり、この場合は０．０〜１．０の値を取ることができる。なお、α＞０．５の場合には、関数が単調増加でなくなるため、オーバーシュート／アンダーシュートが発生しやすくなるという欠点があるものの、エッジ強調の効果を大きくすることができる。α＝０．０とした場合には、実質上エッジ強調がなされず、α値が大きいほど強いエッジ強調効果が与えられる。α値は固定にしておいても良いし、エッジ部の強度に対応する画素値標準偏差ＶＤｖ値の逆数に比例するように可変にしても良い。このようにすると、ボケた部分（すなわち標準偏差が小さい部分）には強めのエッジ強調が掛かり、もともとシャープな部分（すなわち標準偏差が大きい部分）には弱めにエッジ強調が掛かるように調整することができる。もちろん、ｆ（ｘ）として、この他の関数を使用することもでき、エッジ強調のパラメータは各関数固有に定めることができる。例えばエッジ強調を行うか否かを切り替えるような構成も可能である。

Ｓ１１１では、以上のようにしてエッジ強調処理を施した改良ドメインブロック画像を、メモリ部２中の画質改善画像用領域に対して加算書き込みを行う（図４（Ｆ））。エッジ強調処理を行わない場合には、改良ドメインブロック作成部５８で作成された改良ドメインブロック画像自体を、また分類された種別が平坦部であった場合にはドメインブロック抽出部５３で抽出したドメインブロック画像自体を、メモリ部２中の画質改善用領域に加算書き込みを行う。加算書き込みは、書き込む領域の画素値をメモリ部２から読み出し、読み出した画素値と得られた改良ドメインブロック画像等の画素値とを加算し、改めて同じ位置に書き込むことによって行われる。

Ｓ１１２において、ドメインブロック抽出部５３で抽出すべき全てのドメインブロック画像について処理を行ったか否かを判定し、未処理のドメインブロック画像が存在する場合にはＳ１０３へ戻り、処理を繰り返す。

すべてのドメインブロック画像について処理を終えたら、Ｓ１１３で平均値演算部６０においてメモリ部２中の画質改善用領域に書き込まれた画像について平均値を算出する処理を行う。図１２は、平均値演算部６０における平均値演算処理の一例の説明図である。上述のようなドメインブロック画像に対する処理を行うと、原画像におけるドメインブロック画像の重複量（加算回数）は図１２に示すような値となる。従って、平均値演算部６０では、メモリ部２の画質改善画像用領域に格納されている値を、この重複量の値で除算した結果得られる画像を、画質改善画像メモリに再度書き込み、画素値を更新する。この際に、画素値が０以下になっている場合には、その画素値を０に置き換え、最大値（例えば２５５）を越える場合には、最大値（例えば２５５）に置き換える。

上述のような処理を行うことによってアンチエイリアスされた２倍拡大画像が出力されるが、このような処理を複数回繰り返すことによって、よりアンチエイリアスの効果を高めることができる。Ｓ１１４において、反復処理部６１は上述のような工程を所定回数反復したか否かを判断する。所定回数反復していない場合には、Ｓ１１５において、出力された２倍拡大画像を２倍原画像に置き換えてＳ１０３へ戻り、処理を繰り返す。所定回数反復した場合には、画像を画像出力部３へ出力し、画質改善処理を終了する。ここでは一例として反復回数として５回を指定し、５回反復したら終了とする。

なお、平均値演算部６０による平均化処理は、重複計算が全て終了した画素に対しては順次行って出力しても良く、そのようにすることで省メモリ化できる。また、２値画像の場合、平坦部（真白または真黒）が多く、ドメインブロック分類部５４で平坦部に分類され、画質改善処理を施さずにドメインブロック抽出部５３で抽出したドメインブロック画像をそのまま改良ドメインブロック画像とする場合が多く発生する。このような変更のないドメインブロック画像をＳ１１１でメモリ２中の値に加算せず、平坦部は全く処理を行わずに、代わりにエッジ部をＳ１１１でメモリ２の値と加算する際に、メモリ２中に予め用意した重複量記憶領域に重複量を１つずつ追加してゆくこともできる。この場合、Ｓ１１３で平均値計算を行う際に、この重複量記憶領域を参照して重複量で除算すれば平均値計算を行うことができる。つまり、実際に画質改善処理を行った新しい画素のみをメモリ２中の値と加算すると同時に、その各画素の重複処理量も加算し、最後に各画素をその重複量で除算する。また重複量記憶領域中の重複量が０の部分は前処理済みの２倍原画像の値をそのまま出力すれば良い。このように部分的に加算を行う方法の場合、すべての画素について加算を行う上述の例の結果とは若干画素値が変わる部分が生じるが、拡大画質に大きな差は現れず、平坦部が多いほど高速化の効果を得ることができる。

また、上述の画質改善処理は、エッジ部に対して局所コラージュ処理を行って画質を改善している。つまり、３×３画素のドメインブロック画像を含む４×４画素のレンジブロック画像を選択し、その４×４画素を３×３画素に縮小して輝度合わせを行い、エッジ強調後にドメインブロック画像に置き換えている。４×４画素を３×３画素に縮小すると、上述のようにジャギーの目立つエッジ部は平均化されて多少のボケが加わってアンチエイリアスされ、更にエッジ強調処理によって、シャープ化される。また、２値画像の場合、１回の処理でジャギーが取れきれない部分がある。そのため、上述のように反復処理部６１により反復処理を行って２倍画像の画質を徐々に改善している。もちろん、１回の処理のみで終了してもよい。

さらに、ドメインブロック画像、レンジブロック画像の形状は共に正方形としたが、もちろんどちらか片方、あるいは両方を長方形にしても良い。例えば、ドメインブロック画像のサイズを２×３画素とし、これに対してレンジブロック画像のサイズを３×４画素としても良いし、ドメインブロック画像のサイズを２×３画素とし、これに対するレンジブロック画像のサイズを４×４画素としても良い。以下にレンジブロック画像のサイズを変更した例として、第２の例を示す。

第２の例について説明する。上述の第１の例では、レンジブロック画像のサイズを４×４画素としたが、この第２の例では５×５画素とした例について説明してゆく。ドメインブロック画像のサイズは第１の例と同じく３×３画素とする。さらに、この第２の例では、レンジブロック画像の探索処理に従って類似度判定処理を行わず、ドメインブロック画像に対して常に同じ位置からレンジブロック画像を１つ選択するものとして説明する。

この第２の例において、上述の第１の例と異なるのは、レンジブロック抽出部５５、縮小レンジブロック作成部５６、類似度判定部５７の処理、すなわち図２に示した処理のうちのＳ１０６〜Ｓ１０８の処理である。以下、その部分について具体的に説明する。

ドメインブロック分類部５４によってドメインブロック画像を分類した結果、ドメインブロック画像がエッジ部に分類された場合、レンジブロック抽出部５５により原画像からレンジブロック画像を抽出する。図１３は、レンジブロック抽出部５５におけるレンジブロック画像抽出処理の別の例の説明図である。この第２の例では、図１３に示すようにドメインブロック画像を中央位置に含むように５×５ブロックを選択する。この場合、レンジブロック画像は１つのみが抽出される。もちろん、レンジブロック画像の抽出範囲を広げれば複数のレンジブロック画像を検索することができるが、上述のようにこの例では図１３に示すように１つのレンジブロック画像を固定的に抽出する。レンジブロック画像の抽出に際して、画像の緑の部分では、３×３画素のドメインブロック画像を中央に含むように５×５画素のレンジブロック画像を取れない。このような場合には、例えば１画素分シフトした位置からレンジブロック画像を選択すれば良い。

なお、ドメインブロック画像が平坦部に分類された場合はレンジブロック画像の抽出を行わず、ドメインブロック画像自身を改良ドメインブロック画像として選択し、例えば図２におけるＳ１１１へ移行し、メモリ部２への加算書き込みを行う。

次に、抽出した５×５画素サイズのレンジブロック画像を、縮小レンジブロック作成部５６により３×３サイズの縮小レンジブロックに縮小する。ここでの縮小方法も投影法を用いる。図１４は、縮小レンジブロック作成部５６における投影法による縮小処理の別の例の説明図である。投影法による縮小処理は、例えば図１４（Ａ）に一部示したように、５×５画素サイズの画像を３×３画素サイズの画像に投影した際の領域比率に基づいて画素値を加重加算して行う。図１４（Ｂ）に示すように５×５画素サイズのレンジブロック画像の画素値が｛Ｐ_ij｜ｉ，ｊ＝１，２，３，４，５｝、図１４（Ｃ）に示すように縮小後の３×３画素サイズの縮小レンジブロック画像の画素値を｛Ｑ_ij｜ｉ，ｊ＝１，２，３｝とした場合に、各Ｑ_ijは、
Ｑ₁₁＝（９×Ｐ₁₁＋６×Ｐ₂₁＋６×Ｐ₁₂＋４×Ｐ₂₂）／２５
Ｑ₂₁＝（３×Ｐ₂₁＋３×Ｐ₄₁＋２×Ｐ₂₂＋２×Ｐ₄₂＋６×Ｐ₃₂＋９×Ｐ₃₁）／２５
Ｑ₃₁＝（６×Ｐ₃₁＋６×Ｐ₄₂＋９×Ｐ₄₁＋４×Ｐ₃₂）／２５
Ｑ₁₂＝（３×Ｐ₁₂＋３×Ｐ₁₄＋２×Ｐ₂₂＋２×Ｐ₂₃＋６×Ｐ₂₃＋９×Ｐ₁₃）／２５
Ｑ₂₂＝（１×Ｐ₂₂＋１×Ｐ₄₂＋１×Ｐ₂₄＋１×Ｐ₄₄＋３×Ｐ₃₂＋３×Ｐ₂₃＋３×Ｐ₄₃＋３×Ｐ₄₄＋９×Ｐ₃₃）／２５
Ｑ₃₂＝（３×Ｐ₅₂＋３×Ｐ₅₄＋２×Ｐ₄₂＋２×Ｐ₄₄＋６×Ｐ₄₃＋９×Ｐ₅₃）／２５
Ｑ₁₃＝（９×Ｐ₁₅＋６×Ｐ₁₄＋６×Ｐ₂₅＋４×Ｐ₂₄）／２５
Ｑ₂₃＝（３×Ｐ₂₅＋３×Ｐ₄₅＋２×Ｐ₂₄＋２×Ｐ₄₄＋６×Ｐ₃₄＋９×Ｐ₃₅）／２５
Ｑ₃₃＝（６×Ｐ₅₄＋６×Ｐ₄₅＋９×Ｐ₅₅＋４×Ｐ₄₄）／２５
で与えられる。

次に類似度判定部５７で類似度の判定処理を行うが、この第２の例ではレンジブロック画像を一つだけしか選択していないため、最類似縮小レンジブロック画像を選択するという処理は、実用上は必要ない。つまり、縮小レンジブロック作成部５６で作成した縮小レンジブロック画像自身を最類似縮小レンジブロック画像として選択すれば良い。まず、全ての縮小レンジブロック画像の画素値｛ｒ_ij｜ｉ，ｊ＝１，２，３｝について、それぞれ画素平均値Ｒｖ＝Σｒ_ij／９及び画素標準偏差ＶＲｖ＝Σ（ｒ_ij−Ｒｖ）² を求める。次に、縮小レンジブロック画素値をそれぞれ一次変換ａｚ＋ｂで対応するドメインブロック画像画素値に最小二乗近似した際の変換係数ａ、ｂを以下の式から求める。
ａ＝（Σ（ｒ_ij−Ｒｖ）×（ｄ_ij−Ｄｖ））／ＶＲｖ
ｂ＝Ｄｖ−ａ×Ｒｖ
この第２の例では、最類似縮小レンジブロック画像を選択する処理が必要ないので、上述の第１の例で行っている最小二乗誤差の計算は不要である。

以降の改良ドメインブロック作成部５８、エッジ強調処理部５９、平均値演算部６０、反復処理部６１の処理については上述の第１の例と同様であるので、ここでは説明を省略する。なお、この第２の例においても、平均値計算部６０の除算量はメモリ２を使用して記憶しておいても良い。つまり、ドメインブロック画像がエッジ部と分類されて処理されたときに限って新しい画素値を加算すると同時に、予め用意した重複量記憶領域に１を加算しておき、最後の平均値計算部６０での除算の際にこの重複領域奥領域を参照して除算しても良い。このようにすることで、平坦部に関してＳ１１１で行うメモリ２への加算書き込みを省略して高速化することができる。

この第２の例では、上述の第１の例で４×４画素としていたレンジブロック画像のサイズを５×５画素に変更した例を示した。５×５画素から３×３画素に縮小した場合、４×４から３×３に縮小するよりもアンチエイリアス効果が高い。従って、この第２の例では第１の例に比べて、エッジ部の改善効果が高く、良好な処理画像を得ることができる。加えて、レンジブロック画像を探索せずに、常に３×３ブロックを中央位置に含む５×５ブロックを最類似縮小レンジブロック画像として選択しているため、４箇所の４×４ブロックのうちの１つを選択する場合に比べて、画像全体に渡って均一なコラージュ処理が施され、画質が安定する。特に２値画像の場合には、このことが画質に与える効果が大きく、探索を行わずに５×５ブロックを縮小する方が高画質な場合がある。もちろん探索処理を行わない分だけ高速化することもできる。

ここで、上述の第１の例と第２の例で述べた本発明の効果をまとめる。本発明のようにドメインブロック画像を含むレンジブロック画像を抽出し、縮小して改良ドメインブロック画像として書き込むという局所コラージュ処理の部分は、画像の局所自己相似性の仮定を前提としている。しかし、この局所コラージュ処理は自然画において良好な画質改善が得られるが、２値画像の場合、必ずしも適切な効果が出ない場合がある。この理由としては、２値画像の場合、ジャギーが強く細線が多いために、局所自己相似性をより強く適切に追求する必要があり、通常の局所コラージュ処理では、局所自己相似性の追求が足りていないからであると考えられる。そのため本発明では、この点に関して大きな改善を図っている。

本発明では、原画像に対してあらかじめ初期拡大処理部５１による拡大処理を行っている。この初期拡大処理部５１による拡大処理を行わず、原画像に対して整数サイズのブロックを使用して局所コラージュ処理を行った場合、上述のように２値画像においては局所自己相似性が不足する部分が生じる。そのため本発明においては初期拡大処理部５１による拡大処理を行うことによって、原画像に対してより小さな小数サイズのブロックを使用した局所コラージュ処理を行い、より適切に局所自己相似性を追求することができている。

図１５は、第１および第２の例における原画像および２倍画像中のドメインブロック画像およびレンジブロック画像の関係の説明図である。図中、黒画素をハッチングによって示している。上述の具体例では、初期拡大処理部５１により原画像を最近傍法で２倍に拡大し、図１５（Ｂ）に示す２倍原画像から３×３ブロックサイズのドメインブロック画像と４×４または５×５ブロックサイズのレンジブロック画像を抽出した。２倍原画像ではこれらのブロックサイズは整数サイズであるが、対応する原画像（図１５（Ａ））においては１．５×１．５ブロックサイズのドメインブロック画像と、２×２または２．５×２．５ブロックサイズのレンジブロック画像となる。

このように原画像上で整数ブロックサイズよりも小さな小数ブロックサイズで処理を行うことによって、特に細線など、大きなブロックでは局所自己相似性が崩れてしまう部分に対しても、小さなブロックを使用することにより局所自己相似性を保って処理を行うことができ、画質を大きく向上させることができる。

なお、原画像に対して小数サイズブロックを適用する代わりに、上述のように初期拡大処理部５１により拡大処理を行っているため、アンチエイリアス効果を得ると同時に２倍に拡大された画像を得ることができる。このことは、単にアンチエイリアスと２倍拡大が同時にできるというだけではなく、２値画像にアンチエイリアスを施した際の情報喪失を、画像を拡大することによって抑える効果も併せ持っており、相乗効果によって画質改善の効果が高められている。もちろん、原画像と同じサイズの画像を得たい場合には、処理後に縮小処理を行えばよい。

上述のように、第１，第２の例では、原画像に対して小数サイズブロックで局所コラージュ処理を行ったのと同様の効果があり、細部の情報を忠実に保ったまま拡大することができる。その反面で、小さなブロックを使用しているため１回の処理で得られるアンチエイリアスの効果が減るという欠点がある。そのため、上述の第１，第２の例では、反復処理部６１によって局所コラージュ処理を複数回反復する処理を行ってアンチエイリアスの効果を徐々に高めている。このように反復を行うことは画質の点から好ましいが、処理速度が遅くなるという点からは、できるだけ反復を少なくすることが好ましい。そこで、以下の第３，第４の例では、この反復の回数を減らすための方法を詳しく述べてゆく。

第３の例について説明する。以上述べてきた第１、第２の例ではブロックサイズを全て固定して処理を行った。この第３の例では、画像の各部位に応じてブロックサイズを変更して、それぞれ少ない回数の反復で各部に適切にアンチエイリアス効果が得られる処理方法について説明する。なお、この第３の例でも第２の例と同じく、レンジブロック画像の探索処理を行わず、ドメインブロック画像に対して常に同じ位置からレンジブロック画像を１つ選択するものとして説明する。

この第３の例において、上述の第２の例と本質的に異なるのは、ドメインブロック分類部５４、レンジブロック抽出部５５、縮小レンジブロック作成部５６の処理である。すなわち、図２に示した処理のうちのＳ１０４〜Ｓ１０６の処理である。以下、その部分について具体的に説明する。

まず、第１のブロック単位Ｄ１の大きさを４×４画素とし、ドメインブロック抽出部５３で２倍原画像からドメインブロック画像を抽出する。

この第３の例においては上述の第１，第２の例とは異なり、ドメインブロック分類部５４において、ドメインブロック画像を平坦部、ステップエッジ部、細線部、孤立点部、先端部、テクスチュア部に分類する。つまり、第１，第２の例ではエッジ部として共通に扱っていた部分を細分し、それぞれ別の部分として分類する。

図１６は、ドメインブロック分類部５４におけるドメインブロック画像の分類処理の別の例を示すフローチャートである。ここで、Ｓ１４１〜Ｓ１４４におけるエッジ部と平坦部の分類までは、第１，第２の例における図８に示したフローチャートと同じである。Ｓ１４３でエッジ部と分類された場合には、次のＳ１４５において、ドメインブロック画像の凹凸量と白画素数、黒画素数を計算する。図１７は、凹凸量の計算処理の一例の説明図である。凹凸量の計算としては、例えば図１７に示すように、先に抽出した４×４ドメインブロック画像（図１７（Ａ）中の太枠線）を、図１７（Ｂ）に示す原画像上に逆射影する。２倍原画像上における４×４ドメインブロック画像に対応する原画像上の画像は、２×２ブロックサイズの画像である。なお、逆射影した際の位置が小数単位である場合には、小数を切り捨てた位置のブロックを使用すれば良い。

この原画像上の２×２ブロックの周囲の画素、例えば４×４ブロック画像を使用して凹凸量を計算することができる。この４×４ブロック画像のうち、中央の２×２以外の画素（ｐ₁ 〜ｐ₁₂、ｐ₁₃＝ｐ₁ 、各ｐ_i は０か１の値）に対して、
凹凸量＝Σ_i=1 ¹² ｜ｐ_i −ｐ_i+1 ｜
で凹凸量を計算することができる。

また、原画像上の４×４ブロック画像内の白画素数と黒画素数をそれぞれカウントする。このようにして２倍原画像におけるドメインブロック画像に対応する原画像の画素およびその周囲の画素から、原画像における凹凸量、黒画素数、白画素数を得ることができる。図１７に示した例では、凹凸量＝４、黒画素数＝５、白画素数＝９となる。

図１６に戻り、Ｓ１４６において、Ｓ１４５で算出した凹凸量の値に応じて処理を分岐する。まず、凹凸量＝０の場合には、Ｓ１５０において孤立点に分類する。次に、凹凸量＝４の場合には、Ｓ１５１において細線部に分類する。次に、凹凸量＞４の場合には、Ｓ１５２においてテクスチュア部に分類する。最後に、凹凸量＝２の場合には、Ｓ１４７において黒画素数と白画素数の差に応じて更に分類する。すなわち、黒画素数と白画素数の差が所定以下の場合、Ｓ１４８においてステップエッジ部に分類し、所定以上の場合、Ｓ１４９において先端部に分類する。例えば所定数を４とし、
｜黒画素数−白画素数｜≦４
のときステップエッジ部と分類することができる。

図１８は、ドメインブロック分類部５４におけるドメインブロック画像の分類処理の別の例による分類結果の具体例の説明図である。上述の図１６で示したフローチャートにより分類した結果をまとめて図１８に図示している。なお、図１８においては、原画像上での画像を示している。まず図１８（Ａ）の例では、中央の２×２ブロックの周囲には黒画素が存在しない。従って凹凸量は０となり、孤立点として分類される。図１８（Ｂ）の例では、中央の２×２ブロックの周囲の画素から凹凸量を算出すると、４となる。従って、この場合は細線に分類される。図１８（Ｃ）に示す例では、中央の２×２ブロックの周囲の画素から凹凸量が６と算出される。従ってこの場合はテクスチュア部に分類される。図１８（Ｄ）および（Ｅ）に示す例では、中央の２×２ブロックの周囲の画素から凹凸量はいずれも２と算出されるので、さらに白画素数と黒画素数の差を算出する。図１８（Ｄ）に示す例では白画素数および黒画素数とも８であるので、差は０となり、差が所定以下と判断されてステップエッジ部に分類される。また図１８（Ｅ）に示す例では白画素数は１３、黒画素数は３であるので、差は１０となり、所定以上と判断されて先端部に分類される。図１８に示したこれらの例においては、それぞれの分類結果は妥当なものと考えられるであろう。

ドメインブロック画像を分類したら、図２のＳ１０４で平坦部か否かを判断し、平坦部以外の場合にはＳ１０５へ進む。上述のＳ１０５の説明では、分類結果に応じてドメインブロック画像をさらに小さなブロックに分割するとのみ述べ、第１の例ではエッジ部のみに分類されているため実際には分割を行わなかった。この第３の例では、この時点でステップエッジ部、細線部、孤立点部、先端部、テクスチュア部に分類されている。これらの分類に応じて、必要ならさらに小さなブロックへの分割を行う。

図１９は、分類結果に従ったドメインブロック画像の分割処理およびレンジブロック画像の抽出の一例の説明図である。ドメインブロック分類部５４による分類結果がステップエッジ部であった場合には、図１９（Ａ）に示すように、ドメインブロック画像のブロック単位は第１のブロック単位Ｄ１（＝４）のままとしている。この場合、ドメインブロック画像の分割は行わない。

また、細線部に分類されたドメインブロック画像については、図１９（Ｂ）に示すように、ブロック単位として第１のブロック単位Ｄ１以下の第３のブロック単位Ｄ２とする。ここでは第３のブロック単位Ｄ２＝３としている。この場合、元の４×４ブロックサイズのドメインブロック画像から３×３ブロックサイズの分割ドメインブロック画像を取得する方法は４通り存在する。すなわち図１９（Ｂ）に示すように左上に寄せた位置のほか、左下、右上、右下にそれぞれ寄せた位置の３×３サイズのブロックを分割ドメインブロック画像として取得することができる。

さらに、先端部、孤立点部、テクスチュア部に分類されたドメインブロック画像については、図１９（Ｃ）に示すように、ブロック単位として第２のブロック単位Ｄ３以下の第５のブロック単位Ｄ３とする。ここでは第５のブロック単位Ｄ３＝２としている。この場合、元の４×４ブロックサイズのドメインブロック画像から２×２ブロックサイズの分割ドメインブロック画像を取得する方法は９通り存在し、それぞれ、分割ドメインブロック画像として取得する。

なお、細線部に分類されたドメインブロック画像から得られた４つの分割ドメインブロック画像、および、先端部、孤立点部、テクスチュア部に分類されたドメインブロック画像から得られた９つの分割ドメインブロック画像は、以降の処理ではドメインブロック抽出部５３で抽出した元のドメインブロック画像に代えて新たなドメインブロック画像として扱い、処理を進める。

次に、図２のＳ１０６においてレンジブロック抽出部５５でレンジブロック画像の抽出処理が行われる。ドメインブロック分類部５４で分類された結果、ステップエッジ部の場合には第１のブロック単位Ｄ１のドメインブロック画像が１個、細線部は第３のブロック単位Ｄ２の分割ドメインブロックが４個、先端部、孤立点部、テクスチュア部は第５のブロック単位Ｄ３の分割ドメインブロックが９個、それぞれ抽出されている。そこで、第１のブロック単位Ｄ１、第３のブロック単位Ｄ２、第５のブロック単位Ｄ３に対してそれぞれ第２のブロック単位Ｒ１、第４のブロック単位Ｒ２、第６のブロック単位Ｒ３（Ｒ１＞Ｄ１、Ｒ２＞Ｄ２、Ｒ３＞Ｄ３）のレンジブロック画像を抽出する。

つまり、ステップエッジ部の場合には、第２のブロック単位Ｒ１でドメインブロック画像を含むようにレンジブロック画像を抽出する。また、細線部の場合には、４個の分割ドメインブロック画像に対して、第４のブロック単位Ｒ２でそれぞれの分割ドメインブロック画像を含むようにレンジブロック画像を抽出し、４個のレンジブロック画像を得る。さらに、先端部、孤立点部、テクスチュア部の場合には、９個の分割ドメインブロック画像に対して、第６のブロック単位Ｒ３でそれぞれの分割ドメインブロック画像を含むようにレンジブロック画像を抽出し、９個のレンジブロック画像を得る。第２のブロック単位Ｒ１、第４のブロック単位Ｒ２、第６のブロック単位Ｒ３としては、例えば、
ステップエッジ部：第２のブロック単位Ｒ１＝６
細線部：第４のブロック単位Ｒ２＝５
先端部、孤立点部、テクスチュア部：第６のブロック単位Ｒ３＝４
とすることができる。このようにレンジブロック画像のブロック単位を定めた場合には、上述の第２の例と同様、レンジブロック画像の探索を行わずに、ドメインブロックまたは分割ドメインブロック画像を中央に含むようにレンジブロック画像をそれぞれ１つだけ抽出することができる。そのため、レンジブロック画像の探索は行わない。

それぞれの分類に応じて抽出されるレンジブロック画像の一例を図１９に示している。図１９（Ａ）はステップエッジ部の場合であり、４×４サイズのドメインブロック画像を含む６×６サイズのレンジブロック画像を抽出する。また、図１９（Ｂ）は細線部の場合であって、分割ドメインブロック画像としてドメインブロック画像の左上の３×３ブロックについてレンジブロック画像を抽出した例を示している。それぞれの分割ドメインブロック画像について、同様にレンジブロック画像が抽出される。図１９（Ｃ）は先端部、孤立点部、テクスチュア部の場合であり、分割ドメインブロック画像としてドメインブロック画像の左上の２×２ブロックについてレンジブロック画像を抽出した例を示している。９個のそれぞれの分割ドメインブロック画像について、同様にレンジブロック画像が抽出される。

この第３の例における残りの処理は、本質的には第２の例と同様である。つまり、ドメインブロック抽出部５３で抽出されたドメインブロック画像がステップエッジ部に分類された場合には第２のブロック単位Ｒ１のレンジブロック画像を第１のブロック単位Ｄ１に縮小し、最小二乗近似して改良ドメインブロック画像として採用する。また、細線部に分類された場合には、第３のブロック単位Ｄ２の４個の分割ドメインブロックに対して、それぞれ第４のブロック単位Ｒ２の４個のレンジブロック画像を第３のブロック単位Ｄ２に縮小し、最小二乗近似して、４個の改良ドメインブロック画像として採用する。さらに、先端部、孤立点部、テクスチュア部に分類された場合には、第５のブロック単位Ｄ３の９個の分割ドメインブロック画像に対して、それぞれ第６のブロック単位Ｒ３の９個のレンジブロック画像を第５のブロック単位Ｄ３に縮小し、最小二乗近似して、９個の改良ドメインブロック画像として採用する。これらの結果は、ブロック単位にかかわらず、全てメモリ２中の２倍原画像更新用記憶領域の対応する位置に加算される。なお、各レンジブロック画像の縮小の際には、それぞれブロックサイズに応じて図９や図１３に示したのと同様の投影法を使用すると良い。

なお、この第３の例における平均値演算部６０は、異なるブロックサイズで改良ドメインブロック画像を重複させて加算しているため、第１，第２の例で行ったように固定的に除算処理を行うことができない、そこで、平均値演算部６０での除算処理のために、第１，第２の例の最後の部分で述べたように、除算値を記憶するための記憶領域（重複量記憶領域）を用意し、改良ドメインブロック画像の画素値を加算する際に、重複量記憶領域の同じ位置に１を加算してゆき、処理が終わった後に、この重複量記憶領域の値で画素値を除算するように構成すればよい。

この第３の例の場合、原画像を利用してドメインブロックを分類しているが、２倍原画像から分類することも可能である。但し、反復処理部６１によって反復される毎に２倍原画像が更新されるため、反復の度に分類結果が変わる可能性がある。更に反復につれて、２倍原画像の画素値は０〜２５５の値を取るため、分類方法がより複雑になる場合もある。こうした場合には、例えば、２倍原画像の分類の際にブロックを１／２サイズに縮小し、更に単純２値化（１２７以下を０、１２８以上を１）して上述のような分類方法を使用することもできる。

第３の例では、ステップエッジ部には大きいブロックサイズ、細線にはやや小さ目のブロックサイズ、先端部、孤立点部、テクスチュア部には小さいブロックサイズをそれぞれ使用することにより、各部に局所コラージュ処理を適用する際に、より適切な効果を得ることができる。大きなブロックを固定で使用した場合、ステップエッジ部の画質の向上量が大きいものの、細線部、テクスチュア部などではつぶれなどの問題が生じる。一方、小さなブロックサイズを固定して使用した場合、全ての部分に画質向上を行え、かつ、つぶれなどの問題も少ないが、全体に画質向上量が小さくなる。そのため、特にステップエッジ部などの部分で効果が小さくなり、充分な画質向上を得るには多くの反復が必要となる。第３の例ではこれらの点を考慮し、各部分でそれぞれ適切なブロックサイズを選択している。言い換えれば、各部分で画像の局所自己相似性を適切に高めるようにしている。

第３の例では、このような点から第１，第２の例に比べても、同じ反復回数（例えば５回）を使用したときに、より高画質な画像を得る場合が多い。その反面、ドメインブロック画像を分類する処理が複雑となったり、分類がうまく行かずに誤ったブロックサイズが選択されたり、ブロックサイズが切り替わる境界部分で画質が変化するなどの問題も併せ持っている。また、反復回数を同じにした場合に、処理時間も第１，第２の例に比べて増大する傾向がある。そこで、次の第４の例では、第１，第２の例のようにブロックサイズを固定とし、なおかつ第３の例のように、各部に適切な局所コラージュ処理を施すことができる一例を説明する。

第４の例について説明する。第４の例では、第１，第２の例と同様にブロックサイズを固定として処理するが、ドメインブロック画像のサイズを２×２とし、レンジブロックサイズを４×４として処理する。この第４の例では、第２の例と同様にレンジブロック画像の探索処理を行わず、ドメインブロック画像を中心に含む位置から常にレンジブロック画像を１つ選択する。この第４の例が第２の例と本質的に異なるのは、前処理部５２、つまり図２に示した処理のうちＳ１０２の処理のみである。従って、以下に前処理部５２の説明を行う。

これまでの第１ないし第３の例における前処理部５２の目的は、後段の局所コラージュ処理の際に、問題が発生する部分を修正することのみであった。つまり、局所自己相似性の崩れやすい市松部分を適切な方向に接続するという処理のみであった。この第４の例では、前処理部５２の目的として、これに加えて、後段の局所コラージュ処理の収束を速めるという別の目的を加える。以下に、第４の例の前処理部５２の処理方法について具体的に説明する。

図２０は、前処理部５２の動作の別の例を示すフローチャート、図２１は、第４の例において前処理部５２の処理対象とするパターンの一例の説明図である。この第４の例の前処理部５２では、２×２画素単位で走査してゆき、２×２ドットが市松、Ｌ字、逆Ｌ字の場合について前処理補正を行う。ここで、市松、Ｌ字、逆Ｌ字は図２１（Ａ）〜（Ｃ）に示したような形態であり、更に白黒逆転したものもそれぞれ市松、Ｌ字、逆Ｌ字とする。なお、以降の処理は白黒逆転したものについても全く同様であるため、その説明は省略する。

Ｓ１６１において、２倍原画像から２×２画素のブロック画像を抽出し、Ｓ１６２において、パターンが図２１に示す市松、Ｌ字、逆Ｌ字のいずれかに該当するか否かを判定する。図２２は、前処理部５２における市松、Ｌ字、逆Ｌ字の判定方法の一例の説明図である。図２１に示す３つのパターンとも、２×２の上側の２つの画素の値は異なっている。従って、市松、Ｌ字、逆Ｌ字の判定の際には、２×２の上側の２つの画素の値が異なるか否かを先に調べておき、その後にいずれのパターンであるかを判定しても良い。例えば図２２（Ａ）に示したように２つの画素とも黒画素の場合や、図２２（Ｃ）に示したように２つの画素とも白画素の場合には、市松、Ｌ字、逆Ｌ字のいずれのパターンにも該当しないと判断できる。また、図２２（Ｂ）に示したように、２つの画素の値が異なる場合には、図２２（Ｄ）〜（Ｆ）に示した市松、Ｌ字、逆Ｌ字のいずれかのパターンである可能性がある。従って、図２２（Ｂ）に示すように２つの画素の値が異なる場合に、市松、Ｌ字、逆Ｌ字のパターンを検出するように構成すればよい。図２２（Ａ）や（Ｃ）、および図２２（Ｂ）の場合であっても市松、Ｌ字、逆Ｌ字のいずれのパターンでもない場合には、Ｓ１６１へ戻って、次の２×２画素のブロック画像の抽出を行う。

２×２画素のブロック画像が市松だった場合には、第１の例における図５のフローチャートで説明したのと同様に、Ｓ１６３において、２×２を含む４×４ブロックの白画素数と黒画素数を計数し、Ｓ１６４で所定値との比較を行う。例えば所定値を６とし、黒画素数≦６ならばＳ１６５においてＬ字であると分類し、また白画素数≦６ならばＳ１６６において逆Ｌ字であると分類して処理を進める。それ以外ならば、処理を終了する。

Ｓ１６２でＬ字、逆Ｌ字に分類された場合、および、Ｓ１６５でＬ字，Ｓ１６６で逆Ｌ字に分類された場合には、Ｓ１６７でそれぞれＬ字または逆Ｌ字用の方法を用いて、原画像でのドットの接続方向（水平ｏｒ垂直）及び接続長を抽出する。更にＳ１６８において、Ｓ１６７の抽出結果に基づいて、２倍原画像の相当位置に画素を補間する。すべての２×２画素のブロック画像について処理を終えたか否かをＳ１６９で判定し、未処理の２×２画素のブロック画像が残っている場合には、当該未処理のブロック画像について処理を行うべく、Ｓ１６１へ戻る。すべての２×２画素のブロック画像について処理を終えたら、前処理部５２における処理を終了する。

図２３は、前処理部５２におけるＬ字に分類されたブロック画像の接続方向および接続長の抽出処理の一例を示すフローチャート、図２４は、同じく接続方向および接続長の抽出と画素補間処理の具体例の説明図である。例えば図２２のＳ１６２およびＳ１６４で２×２画素のブロック画像がＬ字であると判定された場合には、図２４（Ａ）においてハッチングを施して示した２×２画素のブロック画像の更に外側の画素値を参照する。そして、まずＳ１７１およびＳ１８０において、ドットの接続方向（水平ｏｒ垂直）を判定する。図２４に示すように、２×２画素の左上にあるドット（図２２（Ｂ）ではｒ１で示したドット）が白であれば水平方向であるとし、Ｓ１７１からＳ１７２へ進む。また、２×２画素の右下にあるドット（図２２（Ｃ）ではｑ２で示したドット）が白であれば垂直方向であると判定してＳ１８０からＳ１８１へ進む。両方とも満たさない場合には、当該２×２画素のブロック画像について処理を終了する。

例えばドットの接続方向が水平方向であった場合には、左右それぞれについて、ドットの接続長を算出する。それには、Ｓ１７２でｉ＝２として、Ｓ１７３でｐ_i-1 ＝白、ｐ_i ＝黒であるか否かを判定し、条件に合致していればＳ１７４でｉに２を加算してＳ１７３へ戻り、左側に隣接する２画素の判定を繰り返す。このようにして、２×２画素のブロック画像の左上側に水平方向に連続するｐ_i-1 ＝白、ｐ_i ＝黒のペアをｉにより計数してゆき、Ｓ１７５でｉを１／２にして左接続長とする。

さらに、Ｓ１７６でｉ＝２として、Ｓ１７７でｑ_i-1 ＝白、ｑ_i ＝黒であるか否かを判定し、条件に合致していればＳ１７８でｉに２を加算してＳ１７７へ戻り、右側に隣接する２画素の判定を繰り返す。このようにして、２×２画素のブロック画像の右側に水平方向に連続するｑ_i-1 ＝白、ｑ_i ＝黒のペアをｉにより計数してゆき、Ｓ１７９でｉを１／２にして左接続長とする。

これによって、左右それぞれの方向の接続長が求められる。なお、ｐ_i 、ｑ_i の位置関係を図２４（Ｂ）に示している。

同様に、ドットの接続方向が垂直方向であった場合には、上下それぞれについて、ドットの接続長を算出する。そのために、Ｓ１８１でｉ＝２として、Ｓ１８２でｒ_i-1 ＝白、ｒ_i ＝黒であるか否かを判定し、条件に合致していればＳ１８３でｉに２を加算してＳ１８２へ戻り、上側に隣接する２画素の判定を繰り返す。このようにして、２×２画素のブロック画像の左上側に垂直方向に連続するｒ_i-1 ＝白、ｒ_i ＝黒のペアをｉにより計数してゆき、Ｓ１８４でｉを１／２にして上接続長とする。

さらに、Ｓ１８５でｉ＝２として、Ｓ１８６でｓ_i-1 ＝白、ｓ_i ＝黒であるか否かを判定し、条件に合致していればＳ１８７でｉに２を加算してＳ１８６へ戻り、右下側に隣接する２画素の判定を繰り返す。このようにして、２×２画素のブロック画像の右下側に垂直方向に連続するｓ_i-1 ＝白、ｓ_i ＝黒のペアをｉにより計数してゆき、Ｓ１８８でｉを１／２にして下接続長とする。

これによって、上下それぞれの方向の接続長が求められる。なお、ｒ_i 、ｓ_i の位置関係を図２４（Ｃ）に示している。

左右方向または上下方向の接続長をそれぞれ抽出したら、図２０のＳ１６８における画素補間処理を行う。接続方向が水平方向の場合には、例えば図２４（Ｄ）〜（Ｇ）に示すように、接続方向である水平方向に対して、２倍原画像中に、接続長に応じた画素値を配分する。例えば、接続方向が水平方向で左方向の接続長がｋであった場合には、新たにｋ個の画素を対応位置に配置する。配分する画素の画素値Ｎ₁ 、…、Ｎ_k は、
Ｎ₁ ＝（０×ｋ＋２５５×１）／（ｋ＋１）
Ｎ₂ ＝（０×（ｋ−１）＋２５５×２）／（ｋ＋１）
：
Ｎ_k-1 ＝（０×２＋２５５×（ｋ−１））／（ｋ＋１）
Ｎ_k ＝（０×１＋２５５×ｋ）／（ｋ＋１）
を計算すればよい。つまり、Ｌ字部分に２５５までの濃度をｋ＋１個分に均等配分して配置すればよい。右方向についても同様に画素の配置を行えばよい。

図２４（Ｄ）〜（Ｇ）には、左右の接続長が同じであった場合のドット配置の例を図示している。左右の接続長が異なる場合、例えば左方向が２で右方向が４の場合には、左方向には図２４（Ｅ）の左側に配置した２ドット（濃度８５、１７０）、右方向には図２４（Ｇ）の右側に配置した４個のドット（濃度５１、１０２、１５３、２０４）、計６個のドットを対応位置に配置すればよい。

また、接続方向が縦方向であった場合についても、水平方向の場合と全く同様にしてドットの配置を行うことができる。その場合の画素の一例を図２４（Ｈ）〜（Ｋ）に示している。以上によって、Ｌ字の場合の配置処理は終了する。

図２５は、前処理部５２における逆Ｌ字に分類されたブロック画像の接続方向および接続長の抽出と画素補間処理の具体例の説明図である。接続方向が逆Ｌ字であった場合も上述のＬ字の場合と同様であり、２×２画素の上の２画素のうちの右側の画素と、左側の２画素のうちの上側の画素により接続方向が左右方向か上下方向かを判別する。そしてし、左右方向であれば図２５（Ｂ）に荒いハッチングを施して示した２画素ずつについて連続性を判断し、上下方向であれば図２５（Ｃ）に荒いハッチングを施して示した２画素ずつについて連続性を判断して、それぞれの接続長を求める。そして、それぞれの接続長に応じて、水平方向であれば図２５（Ｄ）〜（Ｇ）に示すように、また垂直方向であれば図２５（Ｈ）〜（Ｋ）に示すように、画素を補間すればよい。以上によって、逆Ｌ字の場合の配置処理も終了する。以上により、この第４の例における前処理部５２の処理が終了し、２倍原画像のエッジ部が修正される。

なお、２値画像では、本来はなだらかな曲線であるべきエッジが表現できずに、Ｌ字、逆Ｌ字部分の接続長が微妙にずれて表現される場合がある。このような部分に前処理部５２でドットを配置する際には、接続長を少しだけ増加させてエッジをぼけさせると良い。具体的には、Ｌ字または逆Ｌ字として分類された部分に対して、左右または上下の接続長が１しか違わない場合に、それぞれ接続長を１ずつ増加させて処理すると良い。

図２６は、前処理部５２において接続長を増加させて補間処理を行う場合の具体例の説明図である。例えば、図２６（Ａ）において太線で囲んだ２×２画素のブロック画像はＬ字と判定されるが、このＬ字部分での左接続長は１、右接続長は２となる。この場合、通常に前処理部５２で補間処理を行うと、図２６（Ｂ）に示したように、左側に１ドット、右側に２ドットが配置される。これに対して、この接続長を左右に１ずつ増加させ、図２６（Ｃ）に示したように左側に２ドット、右側に３ドットの配置を行うことで補助するドットを増加させることができる。

あるいは、配置するドットの数は変えずに、濃度だけ（接続長を１段階増加させたときのものに）変えても良い。なおこの際に、図２６（Ｃ）に示しているように、周囲の画素とのつながりを考慮し、２ドット側のドットを配置する際には、３ドット側に１ドット分だけ位置をシフトする。この１ドット分の開始位置のシフトは、この例に限らず、常に接続長が短い側に関して行うようにするとよい。

以上の処理は、市松からＬ字、逆Ｌ字に分類されてきたブロックに対しても同じように行う。このような処理を加えるとぼけが加わるため、前処理部５２の終了時点での画質は、変更を行わないときと比べて必ずしも良いわけではない。しかし、この多少のぼけによってエッジ部の角度の方向性が全体的に平均化されるため、後段で局所コラージュ処理を行うと、角度は均一のままでぼけのみが修正され、最終的な画質を向上することができる。

なお、同様の要領で、Ｌ字または逆Ｌ字として分類された部分に対して、左右または上下の接続長が２だけ違う場合に、長い方の接続長を１つ減らし、短い方の接続長を１つ増加させ、ドットを配置する際には、開始位置を接続長の長かった側に１ドット分シフトするようにしても良い。

また、上述の前処理部５２による処理はＬ字および逆Ｌ字に関するものであったが、市松部分について特別に処理を行ってもよい。図２３に示したＬ字の処理に関して、例えば接続方向が水平方向であると判定する際に、図２４（Ｂ）のｒ１が白であるという条件によって行っている。この場合、図２４（Ｂ）のｒ２については判断していないので、ｒ２が黒画素であり、１ドット分上側の２×２画素のブロック画像では市松パターンとなっていることが考えられる。このような場合、その上側のブロック画像ではＬ字／逆Ｌ字／それ以外の、３つのうちどれかに分類されて処理されることになる。つまり、ｒ２が黒であることを許容すると、市松の周囲で異なる処理が施される場合が発生し、画質劣化が生じる場合がある。このような不具合を避けるために、ｒ２の画素値が白であることを条件として付加するとよい。この場合には、市松として処理したブロック画像に対しては、ブロックを１ドット分所定方向にシフトした位置にある２×２ブロック画像をＬ字、または逆Ｌ字として更に処理すればよい。同様に垂直方向の判定の際にも、ｑ２に加えてｑ１が黒であることを条件としても良く、また逆Ｌ字の場合にも同様である。

図２７は、実際にＬ字の場合と市松をＬ字と判定した場合の差異の説明図である。上述のように市松パターンの場合でもＬ字または逆Ｌ字として処理されることがあるが、実際にＬ字のパターンの場合と比較してその差異を説明する。図２７（Ａ）は真にＬ字の場合を示しており、太線で囲んだ２カ所の２×２画素のブロック画像においてＬ字と判定される。なお、左下側のブロック画像は、白黒反転されたＬ字である。この２箇所のブロック画像に対してＬ字用の処理が行われることで、結果的に左右方向に延在する黒線の上下部分に画素が補間され、補正される。

一方、図２７（Ｂ）に示すような市松の部分でも、太線で囲んだ２カ所の２×２画素のブロック画像において、上側のブロック画像は市松パターンが検出され、下側のブロック画像は白黒反転したＬ字パターンが検出される。従って、これらのブロック画像に対して補間処理を行うことになる。

このとき下側のブロック画像（Ｌ字）の方は、図２４（の白黒反転）において、ｒ２に相当する位置に白ドットがあるため、上記のｒ２の条件を付加した場合、この下側のブロック画像に対してはＬ字の場合の処理が行われないことになる。そこで、市松部分を処理した際には、更にブロックを１ドット分所定方向にシフトした位置にある２×２画素のブロック画像をＬ字、または逆Ｌ字として更に処理する。この場合には下側のブロック画像を処理対象として画素の補間処理を行う。このような部分的な改変によって、市松部分の画質をより高めることが可能である。

図２８は、４５度方向のエッジ判定の一例の説明図、図２９は、４５度方向のエッジに対する補間処理の一例の説明図である。前処理部５２は、さらに４５度方向に対しても補間処理を行うように構成することができる。図２８（Ａ）に示した例は白黒反転したＬ字パターンの場合を示している。この場合、２×２画素のブロック画像の右側の２画素が黒画素の場合、４５度のエッジが存在する可能性がある。このような場合に、ブロック画像の右下に斜めに２画素ずつ、左側の画素が白で右側の画素が黒である対を探索する。この探索は上述の水平、垂直方向の場合と同様である。これによって斜め方向の接続長が得られる。この接続長により、例えば接続長が０であれば図２８（Ｂ）に示すエッジが、１であれば図２８（Ｃ）に示すエッジが、２であれば図２８（Ｄ）に示すエッジが、３であれば図２８（Ｅ）に示すエッジが、それぞれ存在すると考えられる。いずれの場合も垂直方向の画素数をｎとすれば水平方向の画素数がｎ＋１の傾きを持ったエッジと考えることができる。このような考えに基づき、斜め方向の画素の補間を行う。

ここでは補間する画素の値（濃度値）は、エッジによって分割される面積比に応じて決定する。エッジの傾きは上述のように水平方向ｎ＋１、垂直方向ｎであるので、図２９においてＡ０部分の画素全体に対する面積比は、
画素全体：Ａ０＝（ｎ＋１）² ：（ｎ・（ｎ＋１）／２）
である。従って、濃度値Ｐ（Ａ０）は、濃度値幅を０〜２５５としたとき、
Ｐ（Ａ０）＝（ｎ・（ｎ＋１）／２）／（（ｎ＋１）² ）
＝（ｎ／２（ｎ＋１））×２５５
である。同様に、図２９においてＡ１部分の画素全体に対する面積比は、
画素全体：Ａ１＝（ｎ＋１）² ：（（ｎ−１）² ・（ｎ＋１）／２ｎ）
である。従って、濃度値Ｐ（Ａ１）は、濃度値幅を０〜２５５としたとき、
Ｐ（Ａ１）＝（（ｎ−１）² ・（ｎ＋１）／２ｎ）／（（ｎ＋１）² ）
＝（（ｎ−１）² ／２ｎ（ｎ＋１））×２５５
である。一般化すると、Ａｋ部分の画素全体に対する面積比は、
画素全体：Ａｋ＝（ｎ＋１）² ：（（ｎ−ｋ）² ・（ｎ＋１）／２ｎ）
である。従って、濃度値Ｐ（Ａｋ）は、濃度値幅を０〜２５５としたとき、
Ｐ（Ａｋ）＝（（ｎ−ｋ）² ・（ｎ＋１）／２ｎ）／（（ｎ＋１）² ）
＝（（ｎ−ｋ）² ／２ｎ（ｎ＋１））×２５５
で求めることができる。

また、図２９においてＢ０部分の画素全体に対する面積比は、
画素全体：Ｂ０＝（ｎ＋１）² ：（（ｎ＋１）² −（ｎ＋１）／２ｎ）
である。従って、濃度値Ｐ（Ｂ０）は、濃度値幅を０〜２５５としたとき、
Ｐ（Ｂ０）＝（（ｎ＋１）² −（ｎ＋１）／２ｎ）／（（ｎ＋１）² ）
＝（１−１／２ｎ（ｎ＋１））×２５５
である。同様に、図２９においてＢ１部分の画素全体に対する面積比は、
画素全体：Ｂ１＝（ｎ＋１）² ：（（ｎ＋１）² −２（ｎ＋１）／ｎ）
である。従って、濃度値Ｐ（Ｂ１）は、濃度値幅を０〜２５５としたとき、
Ｐ（Ｂ１）＝（（ｎ＋１）² −２（ｎ＋１）／ｎ）／（（ｎ＋１）² ）
＝（１−２／ｎ（ｎ＋１））×２５５
である。一般化すると、Ｂｋ部分の画素全体に対する面積比は、
画素全体：Ｂｋ＝（ｎ＋１）² ：（（ｎ＋１）² −（ｋ＋１）² （ｎ＋１）／２ｎ）
である。従って、濃度値Ｐ（Ｂｋ）は、濃度値幅を０〜２５５としたとき、
Ｐ（Ｂｋ）＝（（ｎ＋１）² −（ｋ＋１）² （ｎ＋１）／２ｎ）／（（ｎ＋１）² ）
＝（１−（ｋ＋１）² ／２ｎ（ｎ＋１））×２５５
で求めることができる。

このような補間処理によって、斜め４５度方向のエッジに対しても補正を行うことができる。なお、図示した右下方向に限らず、左上方向、逆Ｌ字の場合には右上方向、左下方向についても同様の補間処理を行うことができる。前処理部５２では、このほかにも、必要な各種の補正（補間）処理を適宜行うことができる。

なお、この第４の例における残りの処理は、２×２ブロック単位のドメインブロック画像、４×４ブロック単位のレンジブロック画像を用いて、第２の例と全く同様に行うことができる。その際、縮小レンジブロック画像を４×４から２×２に縮小するための処理は、図１０や図１４と同様に作成することができる。なお、この第４の例では、反復処理部６１の反復回数は、例えば５回程度に設定するとよい。もちろん、反復回数は任意に設定可能である。

このように、この第４の例によれば、局所コラージュ処理を行う前に、前処理部５２で市松部分を補正すると同時に、局所コラージュ処理で収束の遅い低角度の線を中心に、仮の補正（アンチエイリアス）を行うことによって、後の局所コラージュ処理の収束を速めることができる。この第４の例では、局所コラージュで使用するブロックは２×２と小さいため、細部の情報を忠実に保ち、かつ前処理と局所コラージュ処理によってジャギーが適切に補正された画像を得ることができる。本発明の処理は、彫刻に例えるならば、前処理部が「ノミ」、局所コラージュ処理が「やすり」のような関係になっている。前処理で大まかな形態を整え、局所コラージュ本処理で細かな修正を行っている。なお速度に関しては、前処理に若干の負担が増えるものの、局所コラージュ処理自体は小さいブロックサイズを用いる上に、傾向として反復の回数が少なくても充分な画質に収束するため、全体での速度は第１ないし第３の例に比べて速くなる。

また、この第４の例の前処理部５２では、上下左右とも６画素を参照して行っているため、接続長は最大で４となっているが、もちろん更に同様の手順でより広範囲の画素を参照するようにしても良い。そのようにすることで、より低角度の線を拾うことができ、その接続長分だけジャギーを前処理により補正することができ、確実に高画質化することができる。画素値を新たに配置する際には、濃度値幅（例えば０〜２５５）を接続長ｋに対してｋ＋１等分してｋ個配置しているが、配置する画素の個数や画素値はこの限りではない。例えば、配置するドットの総数を減らし、全て黒ドットか白ドットを配置するようにしても良い。また、この第４の例では、接続方向の決定の際に、初めに水平方向か否かを判断し、次に垂直方向か否かを判断しているが、これはその逆でも良い。なお、これらの周辺の画素を参照する際には、画像の上下左右端などでは走査域が外にはみ出ないように、これらの走査量を適宜減らすとよい。

第５の例について説明する。この第５の例では、本発明を簡易に構成する場合について説明する。図３０は、画質改善処理部５の簡易な構成例を示すブロック図である。図中の符号は図１と同様であり、重複する説明を省略する。図３０には、図１に示した画質改善処理部５の構成のうち、簡易に構成する場合に最低限必要となる構成について示している。

まず、１回のみの処理で済ます場合には、反復処理部６１を設けずに構成することができる。また、各部の説明でも述べたように、改良ドメインブロック画像が重複する画素について予め除算してメモリ２中の画素値と加算し、書き戻す構成であれば、平均値演算部６０を設けずに構成することができる。

また、ある程度の画質で十分な場合には、エッジ強調処理部５９によるエッジ強調処理や、前処理部５２によって予め市松パターンなどに修正を加えておく必要はない。従って、エッジ強調処理部５９や前処理部５２についても、設けずに構成することができる。

さらに、上述の各部の説明でも述べているように、ドメインブロック画像の分類による処理の制御を行わなければ、ドメインブロック分類部５４を設けずに構成することができる。同様に、上述の第２の例でも述べているように、レンジブロック抽出部５５でレンジブロック画像を固定的に１つのみ抽出するような場合には、それぞれのレンジブロック画像とドメインブロック画像との類似度の判定は不要である。従って、類似度判定部５７を設けずに構成することができる。この場合、上述の説明では唯一のレンジブロック画像とドメインブロック画像とから最小２乗係数を算出しているが、同様の処理を改良ドメインブロック作成部５８で行うか、あるいは最小２乗係数を用いずに改良ドメインブロック画像を作成すれば、類似度判定部３７を設けなくてもよい。

さらにまた、改良ドメインブロック作成部５８において、ドメインブロック画像に従ってレンジブロック画像から改良ドメインブロック画像を生成する処理は、上述の例に限られるものではなく、そのほかの各種の処理により生成することができる。例えば、ドメインブロック画像とレンジブロック画像を参照して、変換式などに従って直接、ドメインブロック画像と同じサイズの階調ドメインブロック画像を生成することができる。この場合、縮小レンジブロック作成部５６についても設けずに構成することができる。

図３１は、画質改善処理部５を簡易な構成とした場合の動作の一例を示すフローチャートである。なお、各ステップの符号は、図２に示した処理と対応するステップの符号を付して重複する説明を省略する。まず、図２でも説明したように、メモリ部２中に領域を確保し、０で初期化しておく。

Ｓ１０１において、初期拡大処理部５１により原画像をｎ倍サイズの画像に拡大し、ｎ倍原画像を得る。上述の各例と同様にｎ＝２として２倍に拡大した画像を得ることとする。Ｓ１０３において、ドメインブロック抽出部５３によりｎ倍（２倍）原画像の中からドメインブロック画像を抽出する。さらにＳ１０６において、レンジブロック抽出部５５により原画像からドメインブロック画像を含む１つのレンジブロック画像を抽出する。

Ｓ１０９において、改良ドメインブロック作成部５８は、Ｓ１０３で抽出したドメインブロック画像に従ってＳ１０６で抽出したレンジブロック画像からドメインブロック画像と同じ大きさの改良ドメインブロック画像を作成する。例えばドメインブロック画像とレンジブロック画像とを用いた演算などによって改良ドメインブロック画像の各画素値を求めることができる。

Ｓ１１１では、Ｓ１０８で作成した改良ドメインブロック画像の各画素値を加算回数で除算して、メモリ部２中の画質改善画像用領域に対して加算書き込みを行う。

Ｓ１１２において、ドメインブロック抽出部５３で抽出すべき全てのドメインブロック画像について処理を行ったか否かを判定し、未処理のドメインブロック画像が存在する場合にはＳ１０３へ戻り、処理を繰り返す。

すべてのドメインブロック画像について処理を終えれば、アンチエイリアス処理されたｎ倍（２倍）拡大画像を得ることができる。もちろん、上述の第１〜第４の例で示した処理の方が画質がよいが、この第５の例では処理の構成を大幅に簡略化することができ、また、処理速度を向上させることができる。

なお、この第５の例と上述の第１〜第４の例との中間の構成も可能であり、第５の例において設けなかった各部について適宜設けて構成することができる。

上述のいずれの例においても、例えば本発明によるアンチエイリアス処理とともに２倍の拡大を行った後に、例えば特願２００２−０７９３８８号の方法などで任意倍に拡大し、最後に単純２値化することができる。なお、第４の例として示した方法の場合には、より適切なアンチエイリアス画像が得られるので、後段の拡大倍率が２倍以下であれば、線形補間法などのより簡易な方法を使っても、最後に２値化された際にジャギーが現れにくい。また、第４の例の方法で拡大してから単純２値化した画像を、更に第４の例の方法で拡大する、という処理を繰り返しても良い。このようにすることで、ボケをまったく発生させずに任意の倍率に変換することができる。このような組み合わせを使用することによって、任意の２値画像を任意の倍率で高画質に解像度変換することができる。

上述のような本発明の画像処理装置および画像処理方法は、「理想的な画像においては、注目ブロック（ドメインブロック）画像と類似のレンジブロック画像が、そのごく近辺に同じ向きに存在する。また、その類似度（最小二乗法での変換パラメータａ）は、スケールに依存しない。」という、画像の局所自己相似性の仮定に基づいている。この局所自己相似性の仮定は、エッジ部が視覚的に良好な場合に満たされており、逆に言えば局所自己相似性を満たすように画像を修正すれば、視覚的に良好になるということができる。上述の局所コラージュの手法は、注目ブロックよりも大きなサイズのブロックを最小二乗法で輝度を合わせながら（必要に応じてエッジ強調を行いながら）、注目ブロックの上に張り込んでゆき、ブロックの重複部分は最後に平均を取る処理を行う。この処理（特に縮小処理）によって、ジャギーがアンチエイリアスさる。

デジタル画像は、視覚的に良好なエッジ部分において局所自己相似性の仮定が良く成り立っており、逆にいえば、エッジ部は局所自己相似性を高める処理によって高画質化することができる。一方で細線などでは局所自己相似性が崩れやすい傾向があるため、局所自己相似性を高める処理を行っても高画質化されるとは限らない。特に２値画像の細線などではこの問題が顕著である。しかしながら、細線も充分に拡大すれば本来はステップエッジを伴った太線とみなすことができる。つまり、細線も見るスケールをより小さくすれば局所自己相似性が成り立つということであり、より小さな領域で局所自己相似性を有していれば良いことになる。本発明はこの視点に立ってなされたものであり、原画像を局所コラージュする際に、従来の整数サイズブロックではなく、より細かい小数サイズブロックを使用して、より正確に局所自己相似性を追求している。また、２値画像は局所自己相似性が極端に低い画像であるため、この局所コラージュ処理を反復することによって、より理想的な画像に近づけているのである。

このとき、小数画素サイズを扱うことは、処理を複雑とし、処理速度を低下させる要因となる。ここで、原画像に対して局所コラージュ処理を行う際に小数ブロックを使用するというのは、最近傍法で拡大した原画像に、整数サイズブロックで局所コラージュ処理を行うのとほぼ同じことである。実際の演算は小数ブロックで行う場合よりも、拡大して整数サイズで処理を行った方が簡易である。また、拡大を行うことによって、拡大画像にアンチエイリアスが掛かった状態の画像が得られ、単に２倍拡大とアンチエイリアスを同時に行うというだけではなく、アンチエイリアスを掛けた際の情報喪失を２倍拡大によって抑えることができる。つまり、画像の情報が適切に保たれ、かつ高画質化されているので、この後段で更に拡縮する際にも、より好都合である。特に、もともとの目的が２値画像の拡大であるならば、原画像を拡大して整数サイズで局所コラージュ処理を行った方が有利である。もちろん、アンチエイリアスのみが必要な場合や、メモリの制約がある場合、小数サイズで処理を行う方法を用いることもできる。その場合には、数ラインごとに２倍拡大メモリを保持し、その内部で得られた画素値を平均化してアンチエイリアス画像を出力すればよい。

図３２は、原画像および原画像を単純に最近傍法で４倍に拡大した一例の説明図、図３３は、第４の例による２倍拡大とアンチエイリアス処理を２回繰り返して４倍に拡大した画像の一例の説明図である。図３２（Ｂ）に示した画像からわかるように、図３２（Ａ）に示す原画像を最近傍法によって４倍に拡大した画像ではエッジ部にジャギーが発生している。

同じ原画像に対して上述のような本発明の処理を施すことによって、アンチエイリアス処理が施された、高画質の画像を得ることができ、更に拡大処理を行うことによって、図３３に示すように高画質な拡大画像を得ることができる。

図３４は、本発明の画像処理装置の機能または画像処理方法をコンピュータプログラムで実現した場合におけるコンピュータプログラム及びそのコンピュータプログラムを格納した記憶媒体の一例の説明図である。図中、７１はプログラム、７２はコンピュータ、８１は光磁気ディスク、８２は光ディスク、８３は磁気ディスク、８４はメモリ、９１は光磁気ディスク装置、９２は光ディスク装置、９３は磁気ディスク装置である。

上述の本発明の実施の一形態の説明及び第１乃至第４の例として示した画質改善処理部５の機能は、コンピュータにより実行可能なプログラム７１によっても実現することが可能である。その場合、そのプログラム７１およびそのプログラムが用いるデータなどは、コンピュータが読み取り可能な記憶媒体に記憶することも可能である。記憶媒体とは、コンピュータのハードウェア資源に備えられている読取装置に対して、プログラムの記述内容に応じて、磁気、光、電気等のエネルギーの変化状態を引き起こして、それに対応する信号の形式で、読取装置にプログラムの記述内容を伝達できるものである。例えば、光磁気ディスク８１，光ディスク８２、磁気ディスク８３，メモリ８４（ＩＣカード、メモリカードなどを含む）等である。もちろんこれらの記憶媒体は、可搬型に限られるものではない。

これらの記憶媒体にプログラム７１を格納しておき、例えばコンピュータ７２の光磁気ディスク装置９１，光ディスク装置９２，磁気ディスク装置９３，あるいは図示しないメモリスロットにこれらの記憶媒体を装着することによって、コンピュータからプログラム７１を読み出し、本発明の画像処理装置の機能または画像処理方法を実行することができる。あるいは、予め記憶媒体をコンピュータ７２に装着しておき、例えばネットワークなどを介してプログラム７１をコンピュータ７２に転送し、記憶媒体にプログラム７１を格納して実行させてもよい。あるいは、他のコンピュータにおいて記憶媒体に格納されたプログラムを読み出し、コンピュータ７２に転送して実行してもよい。

なお、コンピュータ７２は、図１に示すメモリ部２，制御部４と一体となっていてよいし、さらに、画像入力部１や画像出力部３などと一体となっていてもよい。もちろん、本発明の一部の機能についてハードウェアによって構成することもできるし、あるいは、すべてをハードウェアで構成してもよい。

本発明の実施の一形態を含むシステムの一例を示すブロック図である。 本発明の実施の一形態における画質改善処理部５の動作の一例を示すフローチャートである。 本発明の実施の一形態における前処理部５２の処理終了までの原画像および２倍原画像の具体例の説明図である。 本発明の実施の一形態におけるドメインブロック抽出部５３以降の処理の一例を説明するための模式図である。 前処理部の動作の一例を示すフローチャートである。 前処理部によって修正されるパターン具体例の説明図である。 ドメインブロック抽出部５３で抽出されるドメインブロック画像の一例の説明図である。 ドメインブロック分類部５４におけるドメインブロック画像の分類処理の一例を示すフローチャートである。 レンジブロック抽出部５３で抽出するレンジブロック画像の一例の説明図である。 縮小レンジブロック作成部５６における投影法による縮小処理の一例の説明図である。 エッジ強調処理部５９におけるエッジ強調処理の一例の説明図である。 平均値演算部６０における平均値演算処理の一例の説明図である。 レンジブロック抽出部５５におけるレンジブロック画像抽出処理の別の例の説明図である。 縮小レンジブロック作成部５６における投影法による縮小処理の別の例の説明図である。 第１および第２の例における原画像および２倍画像中のドメインブロック画像およびレンジブロック画像の関係の説明図である。 ドメインブロック分類部５４におけるドメインブロック画像の分類処理の別の例を示すフローチャートである。 凹凸量の計算処理の一例の説明図である。 ドメインブロック分類部５４におけるドメインブロック画像の分類処理の別の例による分類結果の具体例の説明図である。 分類結果に従ったドメインブロック画像の分割処理およびレンジブロック画像の抽出の一例の説明図である。 前処理部５２の動作の別の例を示すフローチャートである。 第４の例において前処理部５２の処理対象とするパターンの一例の説明図である。 前処理部５２における市松、Ｌ字、逆Ｌ字の判定方法の一例の説明図である。 前処理部５２におけるＬ字に分類されたブロック画像の接続方向および接続長の抽出処理の一例を示すフローチャートである。 前処理部５２におけるＬ字に分類されたブロック画像の接続方向および接続長の抽出と画素補間処理の具体例の説明図である。 前処理部５２における逆Ｌ字に分類されたブロック画像の接続方向および接続長の抽出と画素補間処理の具体例の説明図である。 前処理部５２において接続長を増加させて補間処理を行う場合の具体例の説明図である。 実際にＬ字の場合と市松をＬ字と判定した場合の差異の説明図である。 ４５度方向のエッジ判定の一例の説明図である。 ４５度方向のエッジに対する補間処理の一例の説明図である。 画質改善処理部５の簡易な構成例を示すブロック図である。 画質改善処理部５を簡易な構成とした場合の動作の一例を示すフローチャートである。 原画像および原画像を単純に最近傍法で４倍に拡大した一例の説明図である。 第４の例による２倍拡大とアンチエイリアス処理を２回繰り返して４倍に拡大した画像の一例の説明図である。 本発明の画像処理装置の機能または画像処理方法をコンピュータプログラムで実現した場合におけるコンピュータプログラム及びそのコンピュータプログラムを格納した記憶媒体の一例の説明図である。

符号の説明

１…画像入力部、２…メモリ部、３…画像出力部、４…制御部、５…画質改善処理部、５１…初期拡大処理部、５２…前処理部、５３…ドメインブロック抽出部、５４…ドメインブロック分類部、５５…レンジブロック抽出部、５６…縮小レンジブロック作成部、５７…類似度判定部、５８…改良ドメインブロック作成部、５９…エッジ強調処理部、６０…平均値演算部、６１…反復処理部、７１…プログラム、７２…コンピュータ、８１…光磁気ディスク、８２…光ディスク、８３…磁気ディスク、８４…メモリ、９１…光磁気ディスク装置、９２…光ディスク装置、９３…磁気ディスク装置。

Claims (20)

1. ２値の原画像の画質改善処理を行う画像処理装置において、前記原画像を所定の方式でｎ倍に拡大しｎ倍原画像を得る初期拡大手段と、ｎ倍原画像から第１のブロック単位の大きさでドメインブロック画像を抽出するドメインブロック抽出手段と、前記ドメインブロック画像に関して前記第１のブロック単位よりも大きな第２のブロック単位で前記ｎ倍原画像からレンジブロック画像を抽出するレンジブロック抽出手段と、前記ドメインブロック画像に従って前記レンジブロック抽出手段により抽出した前記レンジブロック画像から前記第１のブロック単位の大きさの改良ドメインブロック画像を作成する改良ドメインブロック作成手段を有することを特徴とする画像処理装置。
2. 前記初期拡大手段は、前記原画像を２倍に拡大するとともに単純多値化して多値の前記ｎ倍原画像を得ることを特徴とする請求項１に記載の画像処理装置。
3. さらに、前記原画像を使用して前記初期拡大手段で得た前記ｎ倍原画像の所定部位に対してドット補正を行う前処理手段を有することを特徴とする請求項１または請求項２に記載の画像処理装置。
4. 前記前処理手段は、前記原画像内の２×２市松パターンについて、周囲の画素の色数に応じてドットの接続方向を決定し、前記初期拡大手段で得られたｎ倍原画像内で、前記２×２市松パターンと対応する２ｎ×２ｎパターンの市松部分に、前記ドットの接続方向に線がつながるようにドットを配置してドット補正を行うことを特徴とする請求項３に記載の画像処理装置。
5. 前記前処理手段は、前記原画像内のエッジ部のドット接続方向及び接続長を算出し、前記初期拡大手段で得られたｎ倍原画像において、前記原画像内のエッジ部と対応する位置にあるドットの接続部分の濃度値を補正することを特徴とする請求項３または請求項４に記載の画像処理装置。
6. 前記ドメインブロック抽出手段は、ｎ倍原画像上で共通部分を有するように前記ドメインブロック画像を抽出するものであり、さらに、前記ドメインブロック抽出手段で抽出したそれぞれのドメインブロック画像に対応して前記改良ドメインブロック作成手段から出力されるそれぞれの前記改良ドメインブロック画像が重複した画素について重複度合いに応じた除算処理を行う平均値演算手段を有することを特徴とする請求項１ないし請求項５のいずれか１項に記載の画像処理装置。
7. さらに、全ての前記ドメインブロック画像について処理が終了した後に出力された画像をｎ倍原画像に置き換えて再び前記ドメインブロック抽出手段に処理を行わせる反復処理を所定回数だけ行う反復処理手段を有することを特徴とする請求項１ないし請求項６のいずれか１項に記載の画像処理装置。
8. さらに、前記ドメインブロック抽出手段で抽出した前記ドメインブロック画像の種類を分類するドメインブロック分類手段を有し、該ドメインブロック分類手段は、予め定めた種類に分類された前記ドメインブロック画像に対しては、前記第１のブロック単位以下の第３のブロック単位で前記ドメインブロック画像から１ないし複数の分割ドメインブロック画像を抽出し、それぞれの前記分割ドメインブロックを新たなドメインブロック画像とすることを特徴とする請求項１ないし請求項７のいずれか１項に記載の画像処理装置。
9. さらに、前記レンジブロック抽出手段により抽出した前記レンジブロック画像を前記第１のブロック単位の大きさに縮小して縮小レンジブロック画像を作成する縮小レンジブロック作成手段を備え、前記改良ドメインブロック作成手段は、前記縮小レンジブロック作成手段により作成された前記縮小レンジブロック画像から前記第１のブロック単位の大きさの改良ドメインブロック画像を作成することを特徴とする請求項１ないし請求項８のいずれか１項に記載の画像処理装置。
10. 前記改良ドメインブロック作成手段は、前記縮小レンジブロック作成手段で作成された縮小レンジブロック画像を一次式ａｚ＋ｂにより前記ドメインブロック画像の画素値に最小二乗近似することにより前記改良ドメインブロック画像を作成することを特徴とする請求項９に記載の画像処理装置。
11. さらに、前記縮小レンジブロック作成手段により作成された前記縮小レンジブロック画像と前記ドメインブロック画像との類似度を判定する類似度判定手段を備え、前記改良ドメインブロック作成手段は、前記縮小レンジブロック作成手段で作成された前記縮小レンジブロック画像に対して前記類似度判定手段で得られた類似度を元に画素値変換した結果を前記改良ドメインブロック画像として出力することを特徴とする請求項９または請求項１０に記載の画像処理装置。
12. 前記レンジブロック抽出手段は、１つの前記ドメインブロック画像に対して１つ以上の前記レンジブロック画像を抽出し、前記縮小レンジブロック作成手段は、１つ以上の前記レンジブロック画像についてそれぞれ縮小を行い、前記類似度判定手段は、１つ以上の前記縮小レンジブロック画像のうち前記ドメインブロック画像と最も類似度が高いと判定された縮小レンジブロック画像を選択することを特徴とする請求項１１に記載の画像処理装置。
13. 前記類似度判定手段は、前記縮小レンジブロック画像の画素値ｚを一次式ａｚ＋ｂにより前記ドメインブロック画像の画素値に最小二乗近似した際に、最小二乗誤差が最も小さい前記縮小レンジブロック画像を最も類似度が高い縮小レンジブロック画像であると判定することを特徴とする請求項１２に記載の画像処理装置。
14. さらに、前記改良ドメインブロック画像内の画素値の最大値と最小値の関係及び前記改良ドメインブロック画像のエッジ度とから前記改良ドメインブロック画像に対してエッジ強調処理を行うエッジ強調手段を有することを特徴とする請求項１ないし請求項１３のいずれか１項に記載の画像処理装置。
15. 前記エッジ強調手段は、前記改良ドメインブロック画像内の最大画素値と最小画素値の平均値を取り、エッジ強調の強度に従い、平均値よりも大きい画素値を平均値との距離に応じてより大きく変換し、平均値よりも小さい画素値を平均値との距離に応じてより小さく変換することを特徴とする請求項１４に記載の画像処理装置。
16. 前記エッジ強調手段におけるエッジ強調の強度は、前記ドメインブロック画像中の画素値の標準偏差の値が小さい場合には強く、標準偏差の値が大きい場合には弱くなるように設定することを特徴とする請求項１５に記載の画像処理装置。
17. ２値の原画像の画質改善処理を行う画像処理方法において、前記原画像を初期拡大手段によりｎ倍に拡大してｎ倍原画像を取得し、前記ｎ倍原画像から第１のブロック単位の大きさでドメインブロック画像をドメインブロック抽出手段により抽出し、前記ドメインブロック画像に関して前記第１のブロック単位よりも大きな第２のブロック単位で前記ｎ倍原画像からレンジブロック画像をレンジブロック抽出手段により抽出し、前記ドメインブロック画像に従って前記レンジブロック画像から前記第１のブロック単位の大きさの改良ドメインブロック画像を改良ドメインブロック作成手段により作成して出力することを特徴とする画像処理方法。
18. ２値の原画像の画質改善処理を行う画像処理方法において、前記原画像を初期拡大手段によりｎ倍に拡大してｎ倍原画像を取得し、前記ｎ倍原画像から第１のブロック単位の大きさでドメインブロック画像をドメインブロック抽出手段により抽出し、前記ドメインブロック画像に関して前記第１のブロック単位よりも大きな第２のブロック単位で前記ｎ倍原画像からレンジブロック画像をレンジブロック抽出手段により抽出し、前記レンジブロック画像を前記第１のブロック単位の大きさに縮小して縮小レンジブロック画像を縮小レンジブロック作成手段により作成し、前記縮小レンジブロック画像と前記ドメインブロック画像との類似度を類似度判定手段により判定し、前記縮小レンジブロック画像に対して前記類似度を元に改良ドメインブロック作成手段で画素値変換した結果を改良ドメインブロック画像として出力することを特徴とする画像処理方法。
19. ２値の原画像の画質改善処理を行う画像処理をコンピュータに実行させる画像処理プログラムであって、請求項１ないし請求項１６のいずれか１項に記載の画像処理装置の機能あるいは請求項１７または請求項１８に記載の画像処理方法をコンピュータに実行させることを特徴とする画像処理プログラム。
20. ２値の原画像の画質改善処理を行う画像処理をコンピュータに実行させるプログラムを格納したコンピュータ読取可能な記憶媒体において、請求項１ないし請求項１６のいずれか１項に記載の画像処理装置の機能あるいは請求項１７または請求項１８に記載の画像処理方法をコンピュータに実行させるプログラムを格納したことを特徴とするコンピュータが読取可能な記憶媒体。

Images