JP2005123812A - 画像処理装置 - Google Patents

Abstract

【課題】 ボケやジャギーなどをなるべく生じさせず、かつ処理負荷をなるべく抑えながら、処理対象画像データを拡大できる画像処理装置を提供する。
【解決手段】 処理対象画像データの拡大処理を行う画像処理装置であって、処理対象画像データの少なくとも一部を利用して、制御部１１が所定特徴量を算出し、互いに異なる複数の拡大方法を組み合せ、又は単独で、特徴量に基づいて拡大方法の少なくとも一つに関する処理パラメータを制御しながら用いて、拡大画像を生成する。
【選択図】 図１

Description

本発明は、画像データに対して拡大処理を行う画像処理装置に関する。

画像処理のうち、画像データを拡大する処理は、多くのシステムにおいて基本的な処理の一つである。近年では、インターネット等の通信網の発展に伴い、これら通信網を介して送受される画像データをプリンタ等で印刷する際、良好な結果を得るために高画質な画像データの拡大処理の重要性は、ますます大きくなっている。

従来、色を含む多階調で表現された画像データ（以下では、これを多値画像データと称する）を拡大処理する既存の代表的な手法としては、最近傍法や線形補間法、キュービック・コンボリューション法などがある。

このうち最近傍法は、拡大後の各画素値として、その画素を原画像上に逆写像した際に最も距離が近い画素の画素値を使うという方法であり、演算量が少ないため高速に処理できるが、原画像の１画素がそのまま矩形形状に拡大されるため、隣り合う画素の画素値の差が小さい場合は画質劣化の程度は小さくほとんど影響はないが、逆に大きい場合などは、斜線部やエッジ部のジャギーが目立ったり、倍率が大きい場合には画像がモザイク状になるなど、画質劣化の程度は大きい。

線形補間法は、画素間の画素値が直線的に変化していると仮定し、拡大後の画素を逆写像した点の近傍４画素の画素値を線形に補間して画素値を求めるという方法であり、最近傍法よりも重いものの演算量は比較的少なく、ジャギーなども発生しにくい。その一方で、直線的に変化しているという仮定に当てはまらないエッジ部分を中心に、画像全体がボケ気味になってしまう。

キュービック・コンボリューション法は、標本化定理に基づいてｓｉｎｃ関数（ｓｉｎ（ｘ）／ｘ）を近似した近似補間関数を定義し、拡大後の画素を逆写像した点の近傍１６画素（Ｘ、Ｙ方向それぞれ４画素）と近似補間関数との畳み込みにより、拡大後の画素値を求める方法である。この方法は、最近傍法や線形補完法に比べて画質は比較的良いが、参照範囲が大きく演算量が大きくなる。また高域強調気味の特性を持つためエッジ部分でジャギーが発生したりノイズ成分が強調されてしまう。

これらの問題を解決する試みとして、例えば特許文献１には、精度の高い補間演算処理を行ったあとに精度の低い補間演算処理をする２段階の補間処理を行う技術、並びに、これらの処理の負担割合を印刷の精細度に基づいて定める技術が開示されている。また、入力画像サイズと変倍率から、動的に複数のしきい値を決定し、決定された複数のしきい値をそれぞれ用いた複数の可変重み付けフィルタを用いて入力画像データをフィルタ処理した後に、補間関数を用いて解像度変換処理する技術もある。
特開２０００−２９９７８０号公報

しかしながら、上記特許文献１に記載のような従来の画像処理においては、最終出力の精細度によってのみ処理負担の割合を変更しており、処理対象となる元の画像データの解像度には配慮されていない。すなわち、拡大率が大きい場合には原画像の画質を維持する拡大方法を適用するといった処理は為されていないのが現状である。

本発明は、上記実情に鑑みて為されたもので、ボケやジャギーなどをなるべく生じさせず、かつ処理負荷をなるべく抑えながら、処理対象画像データを拡大できる画像処理装置を提供することを、その目的の一つとする。

上記従来例の問題点を解決するための本発明は、処理対象画像データに対して、その拡大処理を行う画像処理装置であって、前記処理対象画像データの少なくとも一部を利用して、所定特徴量を算出する手段と、互いに異なる複数の拡大方法を組み合せ、又は単独で用いて、拡大画像を生成する拡大画像生成手段と、を含み、前記拡大画像生成手段が、前記特徴量に基づいて前記拡大方法の少なくとも一つに関する処理パラメータを制御する、ことを特徴としている。

また、上記従来例の問題点を解決するための本発明は、処理対象画像データに対して、その拡大処理を行う画像処理装置であって、前記処理対象画像データを、予め定められた規則で、画像ブロックに分割する分割手段と、前記画像ブロックごとに、所定の特徴量を算出する手段と、互いに異なる複数の拡大方法を組み合せ、又は単独で用いて、前記画像ブロックごとの拡大画像ブロックを生成する拡大画像領域生成手段と、を含み、前記拡大画像領域生成手段が、前記特徴量に基づいて前記拡大方法の少なくとも一つに関する処理パラメータを制御する、ことを特徴としている。

ここで、前記拡大画像領域生成手段が、前記特徴量と処理対象画像データの拡大率とに基づいて前記拡大方法の少なくとも一つに関する処理パラメータを制御する、こととしてもよい。また、前記処理パラメータは、複数の拡大方法の組み合せにおいて、各拡大方法による拡大率ｍiの設定（Πｍi＝Ｍ、ここでＭは処理対象画像データの拡大率）を含むことも好ましい。さらに、前記拡大画像領域生成手段が用いる拡大方法には、処理負荷と拡大画像の画質との平衡関係から、処理負荷優先の処理を行う第一拡大方法と、画質優先の処理を行う第二拡大方法とが少なくとも含まれることとしてもよい。この場合に、前記第二拡大方法は、前記処理対象画像データのうち、拡大処理する画像ブロックの近傍についての前記特徴量と、当該画像ブロックの近傍の画素値とに基づく拡大処理を行う方法であってもよい。

またこれらにおいて、前記特徴量は、前記画像ブロック内の画素値間の不連続性に関する量であることとしてもよい。これにより例えば特徴量に応じて処理負荷の異なる拡大方法を選択し、特徴量によって不連続部分（いわゆるエッジ部分）などの画質に影響する画像領域については高画質で拡大処理を行い、不連続でない、いわゆる平坦部分などでは処理負荷の軽い拡大手段を用いて拡大画像領域を生成するなどといった処理が可能となる。さらに、エッジ部分などの画像領域と平坦部分を切り分ける特徴量に基づいた所定値も、処理対象となった画像データや拡大倍率に応じて設定する事ができ、拡大処理における画質を維持しつつ処理負荷を軽減できる。

さらに前記拡大画像領域生成手段は、前記特徴量に基づいて制御した、前記拡大方法の少なくとも一つに関する処理パラメータを、複数の画像ブロックで共通に用いることとしてもよい。また、前記特徴量には、さらに、処理対象画像データの解像度、サイズの少なくとも一方が含まれてもよい。また、前記処理パラメータには、拡大方法の少なくとも一つで用いられる画像強調処理に関するものを含むこととしてもよい。

また、上記従来例の問題点を解決するための本発明は、処理対象画像データに対して、その拡大処理を行う画像処理方法であって、前記処理対象画像データを、予め定められた規則で、画像ブロックに分割する工程と、前記画像ブロックごとに、所定の特徴量を算出する工程と、互いに異なる複数の拡大方法を組み合せ、又は単独で用いて、前記画像ブロックごとの拡大画像ブロックを生成する拡大画像領域生成工程と、を含み、前記拡大画像領域生成工程にて、前記特徴量に基づいて前記拡大方法の少なくとも一つに関する処理パラメータが制御される、ことを特徴としている。

また、本発明の一態様に係るプログラムは、コンピュータに処理対象画像データの拡大処理を実行させる画像処理プログラムであって、前記処理対象画像データを、予め定められた規則で、画像ブロックに分割する手順と、前記画像ブロックごとに、所定の特徴量を算出する手順と、互いに異なる複数の拡大方法を組み合せ、又は単独で用いて、前記画像ブロックごとの拡大画像ブロックを生成する手順であって、前記特徴量に基づいて前記拡大方法の少なくとも一つに関する処理パラメータが制御して、前記拡大画像ブロックを生成する手順と、を、コンピュータに実行させることを特徴としている。

本発明の実施の形態について図面を参照しながら説明する。本発明の実施の形態に係る画像処理装置は、図１に示すように、制御部１１と、記憶部１２と、入出力部１３とを含んで構成されている。制御部１１は、記憶部１２に格納されている画像処理プログラムを読出して実行するものであり、この制御部１１の画像処理プログラムに従った動作については、後に詳しく述べる。

記憶部１２は、制御部１１によって実行されるプログラムを格納した、コンピュータ可読な記録媒体である。またこの記憶部１２は、制御部１１の処理の過程で生じる種々のデータを格納するワークメモリとしても動作する。入出力部１３は、外部装置から入力される画像データ等の情報を制御部１１に出力する。また、この入出力部１３は、制御部１１から入力される指示に従って画像データ等の情報を外部の装置に出力する。

ここで制御部１１によって実行される画像処理プログラムの内容について説明する。図２は、本実施の形態に係る画像処理プログラムの機能ブロック図である。図２に示すように、本実施の形態の画像処理プログラムは、画像データ格納部２１と、画像処理部２２と、拡大処理解析部２３とを含んで構成され、さらに画像処理部２２は、特徴量保存拡大処理部２５と、補間処理部２６とを含み、補間処理部２６は、少なくとも一つの補間処理モジュール（補間処理方法ないし補間処理手段）を含む。図２においては、補間処理部２６は、これら補間処理モジュールとして最近傍補間処理部３１と、線形補間処理部３２とを含む例について示している。

ここで画像データ格納部２１は、処理対象となる画像データを保持し、また処理中の画像データや拡大処理後の画像データを記憶部１２に格納するものである。なお、ここで画像データは、画像処理部２２において処理可能な画像フォーマット（例えばＢＭＰ形式や、ＴＩＦＦ，ＰＮＧなど）で記述されたデータであり、外部装置としてのディジタルカメラやスキャナから取込まれ、またはコンピュータ上で作成、編集された画像データである。

画像処理部２２の特徴量保存拡大処理部２５は、処理対象となった画像データを、予め定められた規則で画像ブロックに分割し、各画像ブロックごとに所定の特徴量を算出する。また、この特徴量保存拡大処理部２５は、各画像ブロックを順次注目ブロックとして、各注目ブロックに対し、上記算出した特徴量に基づいて決定した方法で拡大処理を行って、注目拡大画像ブロックを生成する。そして、各注目拡大画像ブロックを、処理対象の画像データ内の注目ブロックの位置に基づいて決められる態様で配列して、処理対象画像データを拡大した拡大画像データを生成する。

ここで画像ブロックへの分割に関して予め定められた規則とは、例えば所定のサイズ（幅及び高さで規定されるサイズ）のブロックに分割する規則などである。また拡大方法は、例えば次のように決定できる。すなわち特徴量として、注目ブロック内の画素値の不連続性に関する情報、例えばエッジ強度を表す数値（隣接画素値の差が、所定のしきい値を超える部分における当該差の絶対値など）を算出する場合、特徴量保存拡大処理部２５は、その特徴量と、予め定められている値（既定値）とを比較し、特徴量が当該既定値よりも大きい場合と、そうでない場合とで互いに異なる拡大方法を選択的に用いて拡大処理を行ってもよい。

すなわち、上記拡大方法には、処理負荷と拡大画像の画質との平衡関係から、処理負荷優先の処理を行う第一拡大方法と、画質優先の処理を行う第二拡大方法とが少なくとも含まれ、特徴量が上記既定値よりも大きい場合は、画質を優先とする第二拡大方法を用い、そうでない場合は、処理負荷（つまり速度）を優先する第一拡大方法を用いる。

つまり、算出された特徴量を所定の既定値と比較することにより、注目画像ブロックを特徴的ブロックとそうでないブロック（以後、平坦ブロックと呼ぶ）に分離し、それぞれに適した拡大処理を適用することができる。さらに上記既定値を後述のように変更可能な値とすることで特徴ブロックと平坦ブロックの分離割合を所定の条件に基づいて制御できる。

なお以下の説明では、特徴量はエッジの強度やその角度（後述）として説明するが、本実施の形態の特徴量はこれに限定されるわけではなく、例えば注目ブロックの各画素値の平均値を求め、その平均値に対する注目領域の各画素値のばらつきを表すような値（例えば、標準偏差や分散）などであってもよい。

補間処理部２６は、記憶部１２に格納されている画像データに対して、最近傍補間処理部３１による補間処理（最近傍補間処理）と、線形補間処理部３２による補間処理（線形補間処理）と、の少なくとも一方による補間処理を行い、画像データの拡大処理を行う。具体的には、通常は線形補間処理部３２による線形補間処理を行うように設定し、より高速に拡大処理を行う必要がある場合などに最近傍補間処理部３１による最近傍補間処理を行うように設定することもできる。

拡大処理解析部２３は、処理対象画像データの解像度（あるいは縦横サイズ）、拡大処理後の画像データの解像度（あるいは縦横サイズ）及び／又は拡大倍率に基づき、特徴量保存拡大処理部２５で処理すべき拡大処理（特徴量保存拡大処理）の割合と、補間処理部２６で処理すべき拡大処理（補間拡大処理）の割合を定め、また特徴量保存拡大処理部２５における上記既定値（ここでは特徴ブロックと平坦ブロックの分離割合を制御する値であり、この値を以後、「平坦部抽出値」と呼ぶ）や、後述するコントラスト強調のための所定の強調パターンなど、処理パラメータを制御する。

なお、ここで拡大処理の割合とは、特徴量保存拡大処理と補間拡大処理とを多段階で順次適用する場合の、各拡大処理での拡大率である。具体的にｉ番目の拡大処理での拡大率をｍi、処理対象画像データから最終結果である拡大画像データへの拡大率をＭとすれば、

ここでｎは、組み合せに係る拡大処理の数（すなわち段階数）である。このように本実施の形態において特徴的なことの一つは、各段階で用いる各拡大方法の拡大率が、上記特徴量に基づいて定められることである。この処理の詳細は後に詳しく述べる。

またここで、前述のように特徴ブロックと平坦ブロックを分離する特徴量としてエッジ強度を用いる場合、平坦部抽出値が大きい場合は、注目ブロックが平坦ブロックとして判断される割合が大きくなる。逆に平坦部抽出値が小さい場合はエッジ強度が小さいブロックも特徴ブロックとして抽出することとなって、注目ブロックが平坦ブロックとして判断される割合が小さくなる。換言すれば、平坦部抽出値を大きく設定すると、特徴量保存拡大処理部２５で速度優先の方法で処理されるブロックの数が増加し、拡大処理全体の処理負荷は小さくなる。逆に平坦部抽出値を小さく設定すると、画質優先の方法で処理されるブロックの数が増加し、画質が向上する一方で拡大処理全体の処理負荷は大きくなる。

具体的にこの拡大処理解析部２３は、処理対象となった画像データのサイズが例えばＶＧＡサイズ（６４０×４８０画素）以下である場合は、拡大率が比較的大きい第一既定拡大率（例えば８倍）を超えているか否かを調べて、その結果に応じて処理パラメータを設定する（例えば８倍以下の拡大率であれば、画質を優先したパラメータ＃１とし、８倍以上であれば処理負荷が大きくなると考えられるので、画質をなるべく優先しながら、処理負荷を低下させるようパラメータ＃２を設定する）。

また、処理対象となった画像データのサイズがＶＧＡサイズを超えている場合は、拡大率が上記第一既定拡大率より比較的小さい、第二既定拡大率（例えば４倍）を超えているか否かを調べて、その結果に応じて処理パラメータを設定する（例えば４倍以下の拡大率であれば、速度を優先したパラメータ＃３とし、４倍以上であれば処理負荷も大きくなるが、画質低下を防止する要請も同じく大きくなると考えられるので、画質をなるべく優先しながら、処理負荷を低下させるようパラメータ＃４を設定する）。

ここで、上記パラメータ＃１から＃４は、具体的数値に則して表せば、次の表における特徴量保存拡大の処理倍率と平坦部抽出値とで示されるようになる。

ここで、パラメータ＃１は、４倍の拡大率に対して特徴量保存拡大処理の拡大率が４であり、補間拡大処理は行われない（つまり特徴量保存拡大処理が単独で行われる）ことを示し、パラメータ＃２では、１０倍の拡大率に対して特徴量保存拡大処理の拡大率が４であり、残り２．５倍の拡大が補間拡大処理によって行われることが示されている。

なお、上記の表において、平坦部抽出値は最大エッジ強度を「１０」として０から１０で正規化されているものとし、平坦部抽出値が大きいほど平坦部抽出率が増加するように設定されている。つまり値「０」は全ての注目ブロックを特徴ブロックとして処理することを示し、値「１０」は全ての注目ブロックを平坦ブロックで処理することを示す。

なお、平坦部抽出値は上記で設定された値に限ったものではなく、他の値で正規化して設定されたものでもよい。

このように、拡大処理解析部２３が、処理対象画像データのサイズや、拡大処理後の画像データのサイズ、及びそれらから算出される拡大率に基づいて、特徴量保存拡大処理と補間拡大処理とのそれぞれを組み合せるか否か、また、組み合せる際にはその割合（各段階での拡大率）を設定し、また特徴量保存拡大処理における特徴ブロックと平坦ブロックの分離割合を制御することで、拡大処理全体の処理負荷を制御しながら、高画質な拡大画像データを得ることができるようになる。

つまり、ここでは複数の拡大方法がグループに分けられており、各拡大方法グループごとに少なくとも一つの拡大方法が関連づけられている。そして特徴量として算出される値（この値が複数ある場合は、そのうちの少なくとも一部）に基づいて、複数の拡大方法グループのそれぞれについて、処理の負担割合（それぞれが担当する拡大率）を設定する。なお、各負担割合は０％以上であるとする（すなわち処理を行わない拡大方法グループもあり得る）。そして、処理を負担する各拡大方法グループについて、その拡大方法グループに関連する拡大方法が複数あれば、そのうちの一つが、特徴量として算出される値（この値が複数ある場合は、そのうちの少なくとも一部）に基づいて選択的に用いられ、拡大処理が行われている。

次に、特徴量保存拡大処理部２５の動作について説明する。図３は本実施の形態に係る特徴量保存拡大処理部２５の一例を表す構成ブロック図である。同図に示すように、特徴量保存拡大処理部２５は、画像ブロック設定部４１と、画像ブロック特徴量算出部４２と、拡大画像ブロック生成部４３と、画像ブロック配置部４４とを含んで構成されている。さらに拡大画像ブロック生成部４３は、第１生成部５１および第２生成部５２を含む。

画像ブロック設定部４１は、画像ブロック特徴量算出部４２及び拡大画像ブロック生成部４３における処理で必要とされる所定の画像ブロックのサイズをそれぞれ設定し、記憶部１２に格納されている処理対象画像データから当該それぞれ設定したブロックサイズの画像ブロックを順次（例えばラスタスキャン順に）切り出し、各ブロックサイズの画像ブロックを画像ブロック特徴量算出部４２および拡大画像ブロック生成部４３にそれぞれ出力する。

画像ブロック特徴量算出部４２は、画像ブロック設定部４１から入力される画像ブロックの少なくとも一部（例えば中心部近傍の矩形部分）を注目領域とし、この注目領域の注目領域の周辺部を含む画像ブロック内の各画素値に基づいて特徴量を算出して出力する。

ここで特徴量としては、注目領域のエッジ強度およびエッジ角度とすることができ、ここではこれらを例として述べるが、これらに限られるものではなく、例えば注目領域の各画素値の平均値を求め、その平均値に対する注目領域の各画素値のばらつきを表すような値（例えば、標準偏差や分散）などでもよい。

拡大画像ブロック生成部４３は、複数の拡大処理モジュールとして、第１生成部５１及び第２生成部５２を有しており、画像ブロック特徴量算出部４２で算出された特徴量に従って、これら複数の拡大処理モジュールのいずれかを利用して、当該特徴量の算出に用いられた注目領域に対応する拡大画像ブロックを生成する。ここで第１生成部５１と第２生成部５２とは、互いに異なる拡大方法を用いて画像データの拡大を行うものであり、例えば第１生成部５１は、第２生成部５２よりも画質を優先した拡大方法を用い、第２生成部５２は、第１生成部５１よりも速度（処理負荷）を優先した拡大方法を用いるものとしてもよい。

この場合、例えば画像ブロック特徴量算出部４２が特徴量としてエッジ強度を出力しているときには、この特徴量と予め定めた既定値とを比較し、その比較の結果に応じて、例えば特徴量としてのエッジ強度が上記既定値が大きい場合に画質優先の第１生成部５１による拡大処理を行い、そうでない場合は速度優先の第２生成部５２による拡大処理を行うこととすればよい。

画像ブロック配置部４４は、拡大画像ブロック生成部４３で生成された拡大画像ブロックを順次配置し、解像度変換あるいは拡大された拡大画像データを生成して画像データ格納部２１に出力し、記憶部１２に格納させる。なお、拡大画像ブロックの配置方法については、例えば順次並べてゆく方法の他、拡大画像ブロックを重なり合うように順次配置して重畳させ、重なる画素値の総和を重なった数で割ることにより拡大処理結果である画像データの各画素値を算出するようにしてもよい。

ここで拡大画像ブロック生成部４３および画像ブロック配置部４４についてより詳しく説明する。まず、画像ブロック特徴量算出部４３の詳細について説明する。ここでは注目領域を２×２画素サイズブロック、注目領域を含む周辺領域を４×４画素サイズブロックとする。画像ブロック特徴量算出部４３は、例えば図４に示すように、エッジ強度算出部６１と、エッジ方向推定部６２と、エッジパターン選択部６３とを含む。

エッジ強度算出部６１は、画像ブロック設定部４１で切り出された画像ブロック中の注目領域のエッジ強度Ｇを次の式（１）で算出する。

なお、エッジ強度は上記式（１）で算出されるものに限定されるわけでなく、以下の式（２）などで算出しても良い。

ここで、｜・｜は、絶対値をとることを意味する。

次にエッジ強度算出部６１は、算出されたエッジ強度Ｇと所定の閾値Ｔｈとの比較を行い、注目領域の拡大処理手法を選択する。なお、注目領域のエッジ強度Ｇが閾値Ｔｈよりも小さい場合は、エッジ方向推定部６２及びエッジパターン選択部６３における処理は行われず、拡大画像ブロック生成部４３の第２生成部５２における拡大処理が行われる。

以下にエッジ方向推定部６２およびエッジパターン選択部６３の処理の詳細を説明する。図５は、注目領域および周辺領域の具体例と注目領域のエッジ方向の一例の説明図である。図５（Ａ）は注目領域および周辺領域の一例を示している。各矩形はそれぞれ画素を表し、矩形内の各数字はそれぞれの画素値を示している。注目領域は太線枠で囲まれた中心部近傍の画素｛ａ，ｂ，ｃ，ｄ｝＝｛１５，１０４，８６，２０３｝である。この図５に示す例を用いて、エッジ方向推定部６２におけるエッジ方向推定処理の流れについて説明する。

図６は、エッジ方向推定部６２におけるエッジ方向推定処理の一例を示すフローチャート図である。エッジ方向推定部６２は、上記注目領域のエッジ角度Θを、次の式（３）で計算する（Ｓ１１）。

具体的に図５（Ａ）の注目領域のエッジ角度Θは、注目領域｛ａ，ｂ，ｃ，ｄ｝＝｛１５，１０４，８６，２０３｝のなので、式（１）よりｇｘ＝−１０３、ｇｙ＝−８５となり、エッジ角度ΘはΘ＝−１４０．５°となる。このエッジ角度Θの方向は図５（Ｂ）において矢印つきの線分で示す。

さらに得られたエッジ角度Θが２２．５°ごとに区分された方向（８方向）の角度範囲のいずれに含まれるかを調べる。この場合、エッジ角度Θが０°あるいは±１８０°を方向０、２２．５°あるいは−１５７．５°の方向を「方向１」、４５°あるいは−１３５°の方向を「方向２」、６７．５°あるいは−１１２．５°の方向を「方向３」、９０°あるいは−９０°の方向を「方向４」、１１２．５°あるいは−６７．５°の方向を「方向５」、１３５°あるいは−４５°の方向を「方向６」、１５７．５°あるいは−２２．５°の方向を「方向７」とし、これらの角度の±１１．２５°の範囲をそれぞれの方向であるものとしている。上述の具体例におけるエッジ角度Θ（＝−１４０．５°）は−１３５°±１１．２５°の範囲内に含まれるので、エッジ角度は「方向２」となる。

また、この処理Ｓ１１では、エッジ角度の参照数をカウントするための変数としての角度参照数Ｌを「１」に初期化しておく。

次に処理Ｓ１１で計算された注目領域のエッジ角度Θに応じて、図５（Ａ）に示した周辺領域（太線枠外の領域）中からエッジ方向の推定に用いる参照領域を選択する（Ｓ１２）。図７は、エッジ方向の推定に用いる参照領域の一例の説明図である。図中の太線枠で示した２×２画素が参照領域である。図７（Ａ）はＳ１１で求めたエッジ角度が「方向０」である場合、図７（Ｂ）は「方向４」の場合、図７（Ｃ）はそれ以外の方向の場合を示している。なお、図７（Ａ）及び（Ｂ）に示す方向０及び方向４の場合の参照領域の数は２であり、図７（Ｃ）に示す方向０，４以外の方向の場合の参照領域の数は４である。図５に示した具体例では、エッジ角度の方向は「方向２」であるので、図７（Ｃ）に示した４つの参照領域が選択の候補となる。なお、参照領域の選択は図７に示したものに限定されるわけではなく、例えば図７（Ｃ）の場合などは、参照領域数を８としたり、それぞれの方向に応じた参照領域を設定してもよい。

次に、エッジ方向推定部６２は、処理Ｓ１２で選択された参照領域の１つに対して、処理Ｓ１１と同様に式（３）に従って、エッジ角度Θを計算する（Ｓ１３）。そして、この処理Ｓ１３で計算された参照領域のエッジ角度と、Ｓ１１で計算された注目領域のエッジ角度との差が予め設定されている閾値Θｔｈより小さいか否かを判断する（Ｓ１４）。

この判断の結果、両エッジ角度の差が予め設定されている閾値Θｔｈよりも小さい場合には（Ｙｅｓの場合）、角度参照数をインクリメントし（Ｓ１５）、Ｓ１６に移行する。一方処理Ｓ１４において、両エッジ方向の差が予め設定されている閾値Θｔｈよりも大きい場合（Ｎｏの場合）には、エッジ方向推定には適さない参照領域と判断し、そのまま処理Ｓ１６に移行する。

エッジ方向推定部６２は、全ての選択可能な参照領域のエッジ角度計算が終了したか否かを判断し（Ｓ１６）、終了していれば、注目領域のエッジ角度と、処理Ｓ１４においてエッジ方向推定に適したと判断された参照領域のエッジ角度との総和を計算し、前記エッジ角度の総和を角度参照数で割った平均エッジ角度を注目領域の推定エッジ方向として（Ｓ１７）、処理を終了する。

また、処理Ｓ１６において、まだ終了していない参照領域がある場合には、Ｓ１３に移行して処理を続ける。

図５に示した具体例では、上部の参照領域｛８６，２０３，１７１，２１１｝からエッジ角度ΘＵ＝−１４９．４°、左部の参照領域｛１０，１５，２０，８６｝からエッジ角度ΘＬ＝−１３１．２°、下部の参照領域｛１，１０２，１５，１０４｝からエッジ角度ΘＤ＝−１７５．２°、右部の参照領域｛１０４，２１５，２０３，２１９｝からエッジ角度ΘＲ＝−１４１．０°となる。注目領域のエッジ角度Θ＝−１４０．５°とそれぞれの参照領域のエッジ角度が比較され、その差が閾値Θｔｈより小さい参照領域の数が角度参照数としてカウントされる。

図８は、図５に示した注目領域における推定エッジ方向の一例の説明図である。例えば上述の具体例において、すべての参照領域について注目領域のエッジ角度との差が閾値Θｔｈより小さいとすれば、注目領域及び４つの参照領域から求められたエッジ角度の総和は−７３７．３°となり、角度参照数５で割ることによって平均エッジ角度は−１４７．５°と求めることができる。この場合も上述の注目領域のエッジ方向と同様に、例えば８方向のいずれかに正規化するとすれば、−１４７．５°は「方向１」となる。これを推定エッジ方向とする。

なおここでの説明では、画素値に深さがない、いわばグレースケール画像である場合を例として説明を行っているが、これに限定されるわけではない。例えばＲＧＢ色空間のカラー画像の場合には、各々の色成分のデータにおけるエッジ角度Ｇｒ、Ｇｇ、Ｇｂの強さにより選択された色空間データで上記の処理を行えばよい。このようにすることで、カラー画像における拡大画像データのエッジ部の色ずれなど、画質低下を抑えることが可能となる。

また、上述の説明では注目領域および参照領域における式（１）を用いたエッジ角度計算後に８方向のいずれかに正規化したが、勿論これに限定されるわけではなく、さらに精度の高いエッジ方向が必要であれば１２方向（１５．０°ごと）、１６方向（１２．２５°ごと）など、さらに多数の方向に正規化しても良い。

次に、エッジパターン選択部６３の動作の詳細について説明する。図９は、記憶部１２に格納されている、エッジパターンテーブルの一例の説明図である。エッジパターン選択部６３は、例えば図９に示すようなエッジパターンテーブルを用いて、エッジパターンの変換を行う。図９に示したように、エッジパターンテーブルには注目領域のパターンサイズに対応する第１エッジパターンがそれぞれのエッジ方向（ここでは８方向）ごとに１ないし数パターン登録されており、それぞれのパターンに対応して、第１エッジパターンのパターンサイズよりも大きなパターンサイズのパターンが第２エッジパターンとして登録されている。

エッジパターン選択部６３は、例えば図９に示すようなエッジパターンテーブルを用いて、エッジ方向推定部６２で推定された注目領域のエッジ方向に相当する第１エッジパターンを選択し、選択された第１エッジパターンに対応する第２エッジパターンを決定する。

具体的に図５（Ａ）に示した注目領域およびその周辺領域の場合、注目領域に対する推定エッジ方向は、エッジ方向推定部６２によって、上述のようにすべての参照領域について注目領域のエッジ角度との差が閾値Θｔｈより小さいとした場合には「方向１」であると求められている。そこで、注目領域の推定エッジ方向（方向１）に従い、図９に示すエッジパターンテーブル内から注目領域のエッジパターンに相当するパターン候補が選択されることとなる。この例の場合、「方向１」の第１エッジパターンであるパターン０からパターン３の４つのパターンが選択され、図５（Ａ）に示す注目領域に対する第１エッジパターンの候補となる。そしてエッジパターン選択部６３が、以下に説明するように、パターン０からパターン３のいずれか１つを注目領域に対する第１エッジパターンとして選択することになる。

この選択の方法について、図１０を参照しながら説明する。図１０は、図５に示した注目領域に対応する第１エッジパターンの選択方法の具体例の説明図である。この具体例では、推定エッジ方向が「方向１」であったので、注目領域に対するエッジパターンとして、エッジパターンテーブルから第１エッジパターン中の４つのエッジパターンの候補が選択された。選択されたエッジパターンの候補を図１０（Ａ）として示している。

このようなエッジパターンの候補のそれぞれについて、図１０（Ｂ）に示すようにビットパターン化する。ここでは白部分を０、それ以外を１としてビットパターン化している。ただし、図９に示すエッジパターンテーブルを予めビットテーブル化して登録しておいても良く、その場合は、このビットパターン化の処理は省略できる。

次に式（４）に従い、注目領域中の平均画素値を計算し、注目領域内の各々の画素値から平均値を引き、その符号を以て注目領域の画素値パターンとする。

なお、図５（Ａ）に示す例の場合ではＭｅａｎ＝（１５＋１０４＋８６＋２０３）／４＝１０２であり、ａ＿ｓｉｇｎ＝−８７、ｂ＿ｓｉｇｎ＝２、ｃ＿ｓｉｇｎ＝−１６、ｄ＿ｓｉｇｎ＝１０１であり、その符号を画素値パターンとすると図１０（Ｃ）に示すようになる。さらに画素値パターンを図１０（Ｄ）に示すようにビットパターン化する。

次に、図１０（Ｂ）に示した各エッジパターン候補のビットパターンと、図１０（Ｄ）に示した注目領域のビットパターンとのパターンマッチングを行い、注目領域に対する第１エッジパターン中のエッジパターンを１つ選択する。この場合はパターン２が注目領域に対する第１エッジパターンとして選択される（図１０（Ｅ））。

最後に、第１エッジパターンが選択されると、それに１対１に対応するように予め用意された第２エッジパターンを決定する。この場合はエッジパターンテーブルから、第１エッジパターンにおける「方向１」のパターン２に対応する第２エッジパターン（方向１、パターン２）が選択される（図１０（Ｆ））。第２エッジパターンは、後述する拡大画像ブロック生成部４３における注目領域に対する拡大画像ブロック生成の際に使用される。

なお、第１および第２エッジパターンは図９に示したものに限定されるわけではなく、例えば、入力画像データの種類に応じて図９とは異なったエッジパターンを用いてもよく、また各角度における第１および第２エッジパターン候補数を増減させてもよい。もちろん、テーブルとして構成する必要もなく、特定された第１エッジパターンから第２エッジパターンが導出できればよい。

次に拡大画像ブロック生成部４３について説明する。まず、拡大画像ブロック生成部４３の第１生成部５１における拡大画像ブロックの生成処理の一例について説明する。先に述べたように、拡大処理解析部２３では、処理対象画像データの解像度や縦横サイズ、拡大処理結果の画像データの解像度や縦横サイズ、それらから算出される拡大倍率（または、独立に得られる拡大倍率）に基づき、特徴量保存拡大処理と補間拡大処理との処理割合が設定される。さらに拡大画像ブロック生成部４３の第１生成部５１で用いるコントラスト強調のための所定の強調カーネルを設定する。

そこでまず、拡大画像ブロック生成部４３の第１生成部５１では、拡大処理解析部２３で設定され、特徴量保存拡大処理部２５における拡大倍率に応じたサイズおよび要素の強調カーネルを用いて、上述した画像ブロック設定部４１で切り出された画像ブロック中の注目領域およびその周辺領域の画像データのコントラストを強調する。

すなわち、この強調処理のための強調カーネルもまた、特徴量に基づいて制御される処理パラメータの一つであってよい。

次の表は、いくつかの具体的な処理対象画像データのサイズや拡大処理後の画像データのサイズおよび拡大倍率に対応する強調カーネル要素値の例を示すものである。この表の中で、特徴量保存拡大処理倍率は［表１］で示した値と同様である。

図１１は、[表２]中における画質最優先パラメータ設定時における拡大画像ブロック生成部４３の第１生成部５１で用いる強調カーネルの具体例を表す説明図である。［表２］中の１．６および１．２の値は、図１１（Ａ）に示す強調カーネル（カーネル０）、図１１（Ｂ）に示す強調カーネル（カーネル１）の中心の画素値に対応する重み係数を表している。また図１２は、図１１に示す強調カーネルで画素Ｐを強調する場合の説明図である。画質を最優先とするパラメータ設定（既に述べたパラメータ＃１）における特徴量保存拡大処理は、４倍の拡大を２回の２倍拡大に分けて遂行してもよい。この場合に、図１１（Ａ）に示す強調カーネル（カーネル０）は、倍率４倍のうち最初の２倍の時に、図１１（Ｂ）に示す強調カーネル（カーネル１）は倍率が次の２倍の時（4倍処理時）に、それぞれ用いられる。なお、上述の強調カーネルによる強調処理は、それぞれの２倍拡大の前に行う。図中、中心の画素値とその画素の上下左右に配置されたハッチングを施した画素を使用し、下部に記載した重みを用いて強調処理を行うことを示している。

拡大処理を行う場合、４倍、８倍の処理を行うと、原画像の特徴を有している画素は２画素、４画像離れた位置の画素となる。そのため、図１１に示すように倍率が高いほど離れた画素を選択して強調処理に用いている。もちろん、８倍、１６倍以降の倍率においても同様である。また、参照する画素の位置は、図１１に示すような上下左右に限られたものではない。例えば、斜め方向の画素を含めたり、さらに離れた画素をも参照するように構成したり、処理対象画像データの種類およびサイズなどにより用いるカーネルを変更するなど、カーネルの要素（参照する画素）および要素間の距離が図１１に示した強調カーネルと異なったものを用いてもよい。

例えば図１１（Ａ）に示すような強調カーネルを用いる場合、図１２（Ａ）に示すように、例えば中心の参照画素Ｐの強調処理を行う場合には、その上下左右に存在する画素ａ，ｂ，ｃ，ｄを参照し、また重みとして中心の注目画素については１．６を、周辺の参照画素に対しては０．１５をそれぞれ用いる。これらにより、画素Ｐの画素値Ｐ’は次の式（５）に従って計算することができる。

なお、例えば図１１（Ｂ）に示すような強調カーネルを用いる場合にも、同様に図１２（Ｂ）に示すように参照画素Ｐの強調処理を行う場合には、その上下左右に１画素おいて存在する画素ａ，ｂ，ｃ，ｄを参照し、また重みとして中心の注目画素については１．２を、周辺の参照画素に対しては０．０５をそれぞれ用いて式（５）と同様にして画素Ｐの画素値Ｐ’を計算すればよい。

これらの処理を経て第１生成部５１は、実際に拡大画像ブロックを生成する。この拡大画像ブロックの生成処理の詳細について説明する。拡大画像ブロック生成部４３の第１生成部５１では、画像ブロック特徴量算出部４２のエッジパターン選択部６３で得られた第２エッジパターンと、上述の画像強調処理においてコントラスト強調された画素値とを用いて、注目領域に対する拡大画像ブロックを生成する。

図１３は、第１生成部５１における拡大画像ブロック生成処理の一例を示すフローチャート図である。まず、画像強調処理によりコントラスト強調された注目領域、および、画像ブロック特徴量算出部４２のエッジパターン選択部６３で選択された第２エッジパターンを用いて、まず３×３画素の拡大画像ブロックを生成する（Ｓ２１）。この３×３画素の拡大画像ブロックの生成処理の具体例は、図１４（Ａ）に示したようなものとなる。

図１４（Ａ）では図５（Ａ）に示した注目領域及び周辺領域の一例を示している。また、この注目領域に対応して、例えば図１０において説明したようにして求められた第２エッジパターン（図９における「方向１」のパターン２）を図１４（Ｂ）に示している。図１４（Ｂ）においては、それぞれの画素をｐ０〜ｐ８としている。図１４（Ａ）に示した注目領域｛ａ，ｂ，ｃ，ｄ｝をもとに、画素ｐ０〜ｐ８の画素値を次の式によって計算する。
ｐ０＝ａ
ｐ１＝（ａ＋ｃ）／２
ｐ２＝ｂ
ｐ３＝（ａ＋ｃ）／２
ｐ４＝（ｂ＋ｃ）／２
ｐ５＝（ｂ＋ｄ）／２
ｐ６＝ｃ
ｐ７＝（ｂ＋ｄ）／２
ｐ８＝ｄ
このような計算を行うことによって、図１４（Ｃ）に示すように３×３画素の拡大画像ブロックを生成することができる。

図１５は、第２エッジパターンと３×３画素の拡大画像ブロックを生成する際に用いる計算式の一例の説明図である。上述のように図１４（Ｂ）に示したような第２エッジパターンが選択されている場合には、上述の式によって３×３画素の拡大画像ブロックを生成することができるが、この時用いる計算式は、選択された第２エッジパターン毎に決まっている。図１５（Ａ）に示した第２エッジパターンは図９に示す「方向１」のパターン０であり、
ｐ０＝ａ
ｐ２＝ｂ
ｐ３＝（ａ＋ｃ）／２
ｐ４＝（ｂ＋ｃ）／２
ｐ５＝（ｂ＋ｄ）／２
ｐ６＝ｃ
ｐ７＝（ｃ＋ｄ）／２
ｐ８＝ｄ
ｐ１＝２×ｐ４−ｐ７
によって３×３画素の拡大画像ブロックを生成することができる。

図１５（Ｂ）に示した第２エッジパターンは図９に示す「方向５」のパターン１であり、この場合は、
ｐ０＝ａ
ｐ１＝（ａ＋ｃ）／２
ｐ２＝ｂ
ｐ３＝（ｃ＋ｄ）／２
ｐ４＝（ａ＋ｄ）／２
ｐ５＝（ａ＋ｂ）／２
ｐ６＝ｃ
ｐ７＝（ｃ＋ｄ）／２
ｐ８＝ｄ
によって３×３画素の拡大画像ブロックを生成することができる。

さらに図１５（Ｃ）に示した第２エッジパターンは図９に示す「方向２」のパターン０であり、この場合は、
ｐ０＝ａ
ｐ１＝ａ
ｐ２＝ｂ
ｐ３＝ａ
ｐ４＝（ｂ＋ｃ）／２
ｐ５＝（ｂ＋ｄ）／２
ｐ６＝ｃ
ｐ７＝（ｃ＋ｄ）／２
ｐ８＝ｄ
によって３×３画素の拡大画像ブロックを生成することができる。

さらに図１５（Ｄ）に示した第２エッジパターンは図９に示す「方向０」のパターン０であり、この場合は、
ｐ０＝ａ
ｐ１＝（ａ＋ｂ）／２
ｐ２＝ｂ
ｐ３＝（ａ＋ｃ）／２
ｐ５＝（ｂ＋ｄ）／２
ｐ６＝ｃ
ｐ７＝（ｃ＋ｄ）／２
ｐ８＝ｄ
ｐ４＝（ｐ１＋ｐ７）／２
によって３×３画素の拡大画像ブロックを生成することができる。

なお、他の第２エッジパターンの場合にも、同様にそれぞれの第２エッジパターンに対応した計算式に従って計算を行うことによって、３×３画素の拡大画像ブロックを生成することができる。

第１生成部５１は、画像ブロック特徴量算出部４２のエッジ方向推定部６２で推定された注目領域の推定エッジ方向を判断し（Ｓ２２）、推定エッジ方向が方向１〜方向３および方向５〜方向７の場合は、処理Ｓ２１で生成された３×３画素の拡大画像ブロックから４×４画素の拡大画像ブロックを生成する。ここでは、３×３画素の拡大画像ブロックと、コントラスト強調された注目領域及びその周辺領域から、まず３×４画素の拡大画像ブロックを生成し、その後、生成した３×４画素の拡大画像ブロックとコントラスト強調された注目領域及びその周辺領域から４×４画素の拡大画像ブロックを生成することになる。

図１６は、３×４画素の拡大画像ブロックの生成処理の具体例の説明図である。図１６（Ａ）には一例として図５（Ａ）に示した注目領域及び周辺領域の例を示している。また、図１６（Ｂ）におけるｐ０〜ｐ８は、図１４（Ｃ）に示した３×３画素の拡大画像ブロックを中央部に示している。

まず図１６（Ｂ）の中央部に示す３×３画素の拡大画像ブロックとともに、図１６（Ａ）において太線枠で示した、コントラスト強調された周辺領域中の参照画素（ｒ０〜ｒ５）を用いて、図１６（Ｃ）に示す３×４画素の拡大画像ブロック（ｑ０〜ｑ１１）を生成する。３×４画素の拡大画像ブロックの各画素値ｑ０〜ｑ１１は、次のような計算式により決定される。
ｑ０＝０．２×ｒ０＋０．８×ｐ０
ｑ１＝０．４×ｐ０＋０．６×ｐ１
ｑ２＝０．６×ｐ１＋０．４×ｐ２
ｑ３＝０．８×ｐ２＋０．２×ｒ１
ｑ４＝０．２×ｒ２＋０．８×ｐ３
ｑ５＝０．４×ｐ３＋０．６×ｐ４
ｑ６＝０．６×ｐ４＋０．４×ｐ５
ｑ７＝０．８×ｐ５＋０．２×ｒ３
ｑ８＝０．２×ｒ４＋０．８×ｐ６
ｑ９＝０．４×ｐ６＋０．６×ｐ７
ｑ１０＝０．６×ｐ７＋０．４×ｐ８
ｑ１１＝０．８×ｐ８＋０．２×ｒ５

図１７は、推定エッジ方向による参照画素の選択方法の説明図である。図１６に示した例では、図５（Ａ）に示した注目領域及び周辺領域から画像ブロック特徴量算出部４２で求めた推定エッジ方向が「方向１」であった場合を想定して、参照画素の位置を図１６（Ａ）に太線枠で囲んだように左上から下へ３画素と右下から上へ３画素とした。この参照画素の例を図１７（Ａ）に示しているが、このような位置の画素を参照画素とするのは、注目領域の推定エッジ方向が方向１（２２．５°）から方向３（６７．５°）の場合である。注目領域の推定エッジ方向が方向５（１１２．５°）から方向７（１５７．５°）の場合には、図１７（Ｂ）に太線枠で囲んで示すように、左下から上へ３画素と右上から下へ３画素とするとよい。このように、注目領域における推定エッジ方向に従って、参照画素を選択する。もちろん、参照画素の選択は図１７に示すように２パターンからの選択に限定されるわけではなく、推定エッジ方向に従い、より多くの参照画素選択パターンを用意してもよい。また、選択する参照画素についても、推定エッジ方向によって変更してもよい。

図１８は、４×４画素の拡大画像ブロックの生成処理の具体例の説明図である。上述のようにして生成された３×４画素の拡大画像ブロック、および、コントラスト強調された周辺領域中の参照画素（ｒ０〜ｒ７）を用いて、４×４画素の拡大画像ブロックを生成する。コントラスト強調された注目領域及び参照領域を図１８（Ａ）に示し、生成された３×４画素の拡大画像ブロックを図１８（Ｂ）の中央部に示している。ここでは参照画素ｒ０〜ｒ７として、図１８（Ａ）において太線枠で示したように、コントラスト強調された参照領域の下部４画素と上部４画素を用いる。そして、次のような計算式に従って、図１８（Ｃ）に示す４×４画素の拡大画像ブロック（ｓ０〜ｓ１５）を生成する。

ｓ０＝０．２×ｒ０＋０．８×ｑ０
ｓ１＝０．２×ｒ１＋０．８×ｑ１
ｓ２＝０．２×ｒ２＋０．８×ｑ２
ｓ３＝０．２×ｒ３＋０．８×ｑ３
ｓ４＝０．４×ｑ０＋０．６×ｑ４
ｓ５＝０．４×ｑ１＋０．６×ｑ５
ｓ６＝０．４×ｑ２＋０．６×ｑ６
ｓ７＝０．４×ｑ３＋０．６×ｑ７
ｓ８＝０．６×ｑ４＋０．４×ｑ８
ｓ９＝０．６×ｑ５＋０．４×ｑ９
ｓ１０＝０．６×ｑ６＋０．４×ｑ１０
ｓ１１＝０．６×ｑ７＋０．４×ｑ１１
ｓ１２＝０．８×ｑ８＋０．２×ｒ４
ｓ１３＝０．８×ｑ９＋０．２×ｒ５
ｓ１４＝０．８×ｑ１０＋０．２×ｒ６
ｓ１５＝０．８×ｑ１１＋０．２×ｒ７

なお、上記で説明した図１８における４×４画素の拡大画像ブロックの生成処理において、ここでは３×３画素ブロック→３×４画素ブロック→４×４画素ブロックという処理の流れによって拡大処理を行う例を示したが、３×３画素ブロック→４×３画素ブロック→４×４画素ブロックの処理の流れでもよいし、３×３画素ブロックから４×４画素ブロックを生成してもよい。もちろん、これらの場合の参照画素の選択は適宜変更されることになる。

こうして、４×４の拡大画像ブロックが生成されると、第１生成部５１はその処理を終了する。

一方、処理Ｓ２２において、注目領域の推定エッジ方向が方向１〜方向３および方向５〜方向７の場合、すなわちエッジ方向が垂直あるいは水平方向以外の場合には、第１生成部５１は、処理Ｓ２１で生成された３×３画素の拡大画像ブロックから４×４画素の拡大画像ブロックを生成する。図１９は、推定エッジ方向が「方向０」および「方向４」の場合における４×４画素の拡大画像ブロックの生成処理の一例の説明図である。注目領域の推定エッジ方向が「方向０」および「方向４」の場合は、図１９（Ａ）に示すコントラスト強調された周辺領域中の画素（Ａ，Ｂ，Ｃ，Ｄ）を用い、図１９（Ｂ）において左右に示す参照画素ｒ０〜ｒ５を次のような式を用いて算出する。
ｒ０＝Ａ
ｒ１＝Ｂ
ｒ２＝０．５×Ａ＋０．５×Ｃ
ｒ３＝０．５×Ｂ＋０．５×Ｄ
ｒ４＝Ｃ
ｒ５＝Ｄ
なお、図１９（Ｂ）の中央部には、処理Ｓ２１で生成された３×３画素の拡大画像ブロックｐ０〜ｐ８を示している。

このようにして３×３画素の拡大画像ブロックと、参照画素ｒ０〜ｒ５が得られると、これらを用いて上述の図１６で説明した計算方法によって３×４画素の拡大画像ブロックｑ０〜ｑ１１を生成する。これを図１９（Ｃ）に示している。さらに、このようにして生成した３×４画素の拡大画像ブロックｑ０〜ｑ１１と、図１９（Ａ）に示すコントラスト強調された周辺領域の上下４画素ずつを参照画素とし、上述の図１８に示した計算方法によって図１９（Ｄ）に示す４×４画素の拡大画像ブロック（ｓ０〜ｓ１５）を生成する。

以上の処理により、画像ブロック特徴量算出部４２において閾値Ｔｈよりエッジ強度Ｇが大きいと判断された注目領域に対する４×４画素の拡大画像ブロック（例えば図１８（Ｃ）または図１９（Ｄ）に示すｓ０〜ｓ１５）が生成される。

次に、画像ブロック特徴量算出部４２において閾値Ｔｈよりエッジ強度Ｇが小さいと判断された注目領域に対しては、拡大画像ブロック生成部４３の第２生成部５２において、上述したような注目領域の画像特徴を保存する第１生成部５１における拡大処理ではなく、処理負荷を軽減した、より簡便な拡大画像ブロックの生成処理を行う。例えばその一例として、２×２画素の注目領域から最近傍補間により４×４画素の拡大画像ブロックを生成することができる。もちろん、この第２生成部５２において用いる拡大方法は他の方法であってもよく、第１生成部５１よりも処理負荷の軽い方法であればよい。

このように、画像ブロック特徴量算出部４２で算出された画像特徴量に従って、拡大画像ブロック生成部４３において行う拡大処理を選択することにより、高画質な拡大処理が実現でき、さらには処理負荷も削減することが可能となる。なお、ここでは拡大画像ブロック生成部４３は２つの拡大処理モジュールを有しているものとしたが、３つ以上の拡大処理モジュールを設けておき、画像ブロック特徴量算出部４２で算出された特徴量に基づいていずれかの拡大処理モジュールを選択的に使用して拡大処理を行うように構成することもできる。

次に、画像ブロック配置部４４について説明する。画像ブロック配置部４４は、拡大画像ブロック生成部４３で生成された注目領域に対する拡大画像ブロックを所定の方法により順次配置する。具体的に図２０は、拡大画像ブロック生成部４３で生成された４×４画素の拡大画像ブロックを配置する具体例の説明図である。図２０に示す例では、順次生成された拡大画像ブロック０および拡大画像ブロック１をオーバーラップさせるように配置している。オーバーラップする画素は各々前画素値との平均をとるようにして配置すればよい。また、オーバーラップする画素の総和を計算し、前記画素値の総和をオーバーラップした数で割ることにより各画素値を算出するようにしてもよい。この場合、注目画素は例えば１画素づつずらしながら選択し、拡大処理を行ってゆくことになる。あるいは、オーバーラップさせずに並べて配置してもよい。この場合、注目領域を重ならないように選択してゆけばよい。

なお、４×４画素の拡大画像ブロックは、拡大画像ブロック生成部４３中の第１生成部５１と第２生成部５２のいずれかで生成されるため、これらの拡大方法の違いによる画質劣化は、上述のようにオーバーラップさせて平均化することによっても抑制される。

ここで、特徴量保存拡大処理部２５の動作例を図２１のフローチャート図を参照しながら説明する。まず、画像ブロック設定部４１の処理として、画像ブロック特徴量算出部４２及び拡大画像ブロック生成部４３における処理で必要とされる所定の画像ブロックのサイズをそれぞれ設定し、記憶部１２に格納されている処理対象画像データから当該それぞれ設定したブロックサイズの画像ブロックを順次（例えばラスタスキャン順に）切り出し、各ブロックサイズの画像ブロックを画像ブロック特徴量算出部４２および拡大画像ブロック生成部４３にそれぞれ出力する（Ｓ３１）。

画像ブロック特徴量算出部４２は、入力された画像ブロック中の注目領域のエッジ強度Ｇを式（１）で算出する（Ｓ３２）。なお、｛ａ，ｂ，ｃ，ｄ｝は注目領域内の各画素値である。入力画像データがグレースケール画像でなく、例えばＲＧＢ色空間のカラー画像の場合は、注目領域に関してＲ，Ｇ，Ｂの各色空間の色成分毎の画像ブロックそれぞれについて、式（１）を用いてエッジ強度Ｇｒ、Ｇｇ、Ｇｂを計算し、Ｇｒ、Ｇｇ、Ｇｂ中で最大のエッジ強度である色成分の画像ブロックを選択し、そのエッジ強度を注目領域の（すべての色成分に共通の）エッジ強度とする。

そして画像ブロック特徴量算出部４２は、算出した注目領域のエッジ強度Ｇと所定の閾値Ｔｈとの比較を行う（Ｓ３３）。ここで閾値Ｔｈよりエッジ強度Ｇが大きい場合は、注目領域が入力画像中のエッジ部分あるいは変化の大きい部分であるので、そうした注目領域の画像特徴を保存するような拡大画像ブロックの生成処理を行うべく、処理Ｓ３４に移行する。また、処理Ｓ３３において、注目領域のエッジ強度Ｇが閾値Ｔｈよりも小さい場合は、処理Ｓ３４〜Ｓ３７の処理に比べて処理負荷の小さい拡大画像ブロックの生成処理を行うため、処理Ｓ３８に移行する。

すなわち、画像ブロック特徴量算出部４２は、閾値Ｔｈよりエッジ強度Ｇが大きいと判断された注目領域およびその注目領域を含む１ないし複数の周辺領域中の参照領域のエッジ角度Θを、式（３）で計算する（Ｓ３４）。

なお、ｇｘ、ｇｙはＳ３２において各々算出された値である。そして、得られた複数のエッジ角度Θから注目領域のエッジ方向θを推定する。例えば得られた複数のエッジ角度Θの平均値を取るなどの演算を行い、エッジ方向θを推定することができるが、これに限られるものではない。

次に画像ブロック特徴量算出部４２は、処理Ｓ３４で推定したエッジ方向θおよび注目領域の画素分布パターンを用いて第１および第２エッジパターンを選択する（Ｓ３５）。ここで第１および第２エッジパターンについては、後に詳しく述べるが、エッジ方向および画素分布パターン毎に予め用意されたパターンであり、図９に示したように、記憶部１２内にテーブル情報として記憶されている。

次に、拡大画像ブロック生成部４３の第１生成部５１は、拡大率に応じたサイズおよび要素値をもつ所定の強調パターン（以下、強調カーネルと呼ぶ）を用いて、画像ブロック設定部４１で切り出された画像ブロック中の注目領域およびその周辺領域の画像データを強調処理する（Ｓ３６）。

そしてこの第１生成部５１が、画像ブロック特徴量算出部４２で推定された前記注目領域のエッジ方向θと、選択された前記エッジパターンおよび処理Ｓ３６において算出された注目領域および周辺領域の強調された画素値を用いて、注目領域に対する拡大画像ブロックを生成する（Ｓ３７）。

このように、処理Ｓ３３において注目領域のエッジ強度Ｇが大きい場合に、そのようなエッジ部分あるいは変化が大きいという特徴を保存するような拡大画像ブロックが生成される。これによって、エッジ部分などについてボケやジャギーの少ない高画質の拡大画像ブロックの生成を行うことができる。

一方、処理Ｓ３３において、閾値Ｔｈよりエッジ強度Ｇが小さいと判断された注目領域に対しては、拡大画像ブロック生成部４３の第２生成部５２によって拡大処理が行われる（Ｓ３８）。ここで、第２生成部５２における拡大画像ブロック生成処理は、処理Ｓ３４〜Ｓ３７における拡大画像ブロックの生成処理とは異なり、例えば最近傍補間などの処理負荷の小さい拡大処理となっている。すなわち、エッジ強度Ｇが小さい場合には、上述のような複雑で処理時間を要する処理を行わなくても、処理負荷の小さい拡大画像ブロックの生成処理でも十分な画質を得ることができるので、エッジ強度Ｇが小さい場合には第２生成部５２を選択して処理負荷の小さい拡大画像ブロックの生成処理を行い、全体としての処理時間の短縮を図っている。

次に、こうして生成された各画像ブロックに対応する拡大処理結果（拡大画像ブロック）について、画像ブロック配置部４４が、既に説明した方法で順次配置し、これを画像データ格納部２１に出力して記憶部１２に格納させる（Ｓ３９）。

そしてすべての画像ブロックについて処理が完了したか否かを調べ（Ｓ４０）、完了していなければ処理Ｓ３１に戻って処理を続け、完了していれば、拡大処理を終了する。

このように、本実施の形態によると、処理対象となった画像データを例えば所定サイズの画像ブロックに分けて、各画像ブロックについてエッジ強度やエッジ方向等の特徴量を算出する。そして、この特徴量に基づいて拡大処理の方法を選択し、また、拡大処理を組み合せた時の、当該組み合せに係る拡大処理の処理パラメータ（拡大率など）を制御する。これにより、拡大処理全体の処理負荷を軽くしながら、高画質な拡大画像を得ることができるようになる。

なお、特徴量保存拡大処理では、画像ブロック毎に、その画像ブロックの特徴量に応じて拡大方法を切り替えるので、例えば、処理対象画像データ中の特徴的な部分に関しては、その特徴量を保存する拡大手法を適用し、平坦な部分（空や肌などの画像部分）などの特徴的でない部分に関しては処理負荷の小さい拡大方法を適用することによって、特徴的部分のボケやジャギーの画質欠陥を抑制した高画質な拡大処理を行うとともに、処理負荷が小さく高速に拡大処理を行うことができる。

なお、ここまでの説明では、各画像ブロックごとに特徴量に基づく処理を行っているが、画像ブロックの一つについて定めた処理パラメータを複数の画像ブロックで共通に用いてもよい。例えば、処理パラメータとして各画像ブロックごとに定めた特徴量保存拡大処理と補間拡大処理との処理負担の割合のうち、特徴量保存拡大処理の割合が最も高いパラメータなど（所定の統計処理結果）を用いて、処理対象画像データ全体など、複数の画像ブロックを含む部分の拡大処理を行ってもよい。

また、この特徴量にはさらに、処理対象画像データ自体の解像度、サイズの少なくとも一方が含まれてもよいし、処理対象となった画像データの種類（線画、グラフィックス、自然画の別など）が含まれてもよい。さらに、データ形式（圧縮方式など）ごとに異なる特徴量を算出し、これを利用してもよい。例えばＪＰＥＧ（Joint Picture Experts Group）圧縮を利用した画像データを処理対象とする場合、モスキートノイズの量を特徴量として算出し、モスキートノイズの量が多いほど、特徴量保存拡大処理の処理負担割合を低減して、モスキートノイズをぼかすようにしてもよい。

本発明の実施の形態に係る画像処理装置の一例を表す構成ブロック図である。 本発明の実施の形態に係る画像処理装置の処理の一例を表す機能ブロック図である。 特徴量保存拡大処理の一例を表す機能ブロック図である。 特徴量保存拡大処理における処理の一部の例を表す機能ブロック図である。 注目領域と周辺領域の具体例と注目領域のエッジ方向の例を表す説明図である。 エッジ方向推定処理の例を表すフローチャート図である。 エッジ方向の推定に用いる参照領域の一例を表す説明図である。 推定エッジ方向の例を表す説明図である。 エッジパターンテーブルの例を表す説明図である。 第１エッジパターンの選択方法の例を表す説明図である。 画像強調処理に用いる強調カーネルの例を表す説明図である。 強調カーネルを利用して画素Ｐを強調する処理の例を表す説明図である。 第１生成部における拡大画像ブロックの生成処理の例を表すフローチャート図である。 ３×３画素の拡大画像ブロックの生成処理の例を表す説明図である。 第２エッジパターンと３×３画素の拡大画像ブロック生成に用いる計算式の例を表す説明図である。 ３×４画素の拡大画像ブロックの生成処理の例を表す説明図である。 推定エッジ方向による参照画素の選択方法を表す説明図である。 ４×４画素の拡大画像ブロックの生成処理の例を表す説明図である。 推定エッジ方向が「方向０」又は「方向４」である場合の４×４画素の拡大画像ブロックの生成処理例を表す説明図である。 拡大画像ブロックの配置例を表す説明図である。 特徴量保存拡大処理の例を表すフローチャート図である。

符号の説明

１１ 制御部、１２ 記憶部、１３ 入出力部、２１ 画像データ格納部、２２ 画像処理部、２３ 拡大処理解析部、２５ 特徴量保存拡大処理部、２６ 補間処理部、３１ 最近傍補間処理部、３２ 線形補間処理部、４１ 画像ブロック設定部、４２ 画像ブロック特徴量算出部、４３ 拡大画像ブロック生成部、４４ 画像ブロック配置部、５１ 第１生成部、５２ 第２生成部、６１ エッジ強度算出部、６２ エッジ方向推定部、６３ エッジパターン選択部。

Claims (12)

1. 処理対象画像データに対して、その拡大処理を行う画像処理装置であって、
   前記処理対象画像データの少なくとも一部を利用して、所定特徴量を算出する手段と、
   互いに異なる複数の拡大方法を組み合せ、又は単独で用いて、拡大画像を生成する拡大画像生成手段と、
   を含み、
   前記拡大画像生成手段が、前記特徴量に基づいて前記拡大方法の少なくとも一つに関する処理パラメータを制御する、ことを特徴とする画像処理装置。
2. 処理対象画像データに対して、その拡大処理を行う画像処理装置であって、
   前記処理対象画像データを、予め定められた規則で、画像ブロックに分割する分割手段と、
   前記画像ブロックごとに、所定の特徴量を算出する手段と、
   互いに異なる複数の拡大方法を組み合せ、又は単独で用いて、前記画像ブロックごとの拡大画像ブロックを生成する拡大画像領域生成手段と、
   を含み、
   前記拡大画像領域生成手段が、前記特徴量に基づいて前記拡大方法の少なくとも一つに関する処理パラメータを制御する、ことを特徴とする画像処理装置。
3. 請求項２に記載の画像処理装置において、
   前記拡大画像領域生成手段が、前記特徴量と処理対象画像データの拡大率とに基づいて前記拡大方法の少なくとも一つに関する処理パラメータを制御する、ことを特徴とする画像処理装置。
4. 請求項２又は３に記載の画像処理装置において、
   前記処理パラメータは、複数の拡大方法の組み合せにおいて、各拡大方法による拡大率ｍiの設定（Πｍi＝Ｍ、ここでＭは処理対象画像データの拡大率）を含むことを特徴とする画像処理装置。
5. 請求項２から４のいずれか一項に記載の画像処理装置において、
   前記拡大画像領域生成手段が用いる拡大方法には、処理負荷と拡大画像の画質との平衡関係から、処理負荷優先の処理を行う第一拡大方法と、画質優先の処理を行う第二拡大方法とが少なくとも含まれることを特徴とする画像処理装置。
6. 請求項５に記載の画像処理装置において、
   前記第二拡大方法は、前記処理対象画像データのうち、拡大処理する画像ブロックの近傍についての前記特徴量と、当該画像ブロックの近傍の画素値とに基づく拡大処理を行う方法であることを特徴とする画像処理装置。
7. 請求項２から６のいずれか一項に記載の画像処理装置において、
   前記特徴量は、前記画像ブロック内の画素値間の不連続性に関する量であることを特徴とする画像処理装置。
8. 請求項２から７のいずれか一項に記載の画像処理装置において、
   前記拡大画像領域生成手段は、前記特徴量に基づいて制御した、前記拡大方法の少なくとも一つに関する処理パラメータを、複数の画像ブロックで共通に用いることを特徴とする画像処理装置。
9. 請求項２から８のいずれか一項に記載の画像処理装置において、
   前記特徴量には、さらに、処理対象画像データの解像度、サイズの少なくとも一方が含まれることを特徴とする画像処理装置。
10. 請求項２から９のいずれか一項に記載の画像処理装置において、
    前記処理パラメータには、拡大方法の少なくとも一つで用いられる画像強調処理に関するものを含むことを特徴とする画像処理装置。
11. 処理対象画像データに対して、その拡大処理を行う画像処理方法であって、
    前記処理対象画像データを、予め定められた規則で、画像ブロックに分割する工程と、
    前記画像ブロックごとに、所定の特徴量を算出する工程と、
    互いに異なる複数の拡大方法を組み合せ、又は単独で用いて、前記画像ブロックごとの拡大画像ブロックを生成する拡大画像領域生成工程と、
    を含み、
    前記拡大画像領域生成工程にて、前記特徴量に基づいて前記拡大方法の少なくとも一つに関する処理パラメータが制御される、ことを特徴とする画像処理方法。
12. コンピュータに処理対象画像データの拡大処理を実行させる画像処理プログラムであって、
    前記処理対象画像データを、予め定められた規則で、画像ブロックに分割する手順と、
    前記画像ブロックごとに、所定の特徴量を算出する手順と、
    互いに異なる複数の拡大方法を組み合せ、又は単独で用いて、前記画像ブロックごとの拡大画像ブロックを生成する手順であって、前記特徴量に基づいて前記拡大方法の少なくとも一つに関する処理パラメータが制御して、前記拡大画像ブロックを生成する手順と、
    を、コンピュータに実行させることを特徴とする画像処理プログラム。
    

Images