JP2008021207A - 画像処理システムおよび画像処理プログラム - Google Patents

Abstract

【課題】入力された画像に対してボケやジャギーを生じさせること無く、鮮鋭度が高い滑らかなエッジの再現と、さらにはテクスチャなどの細部の構造を再現することができる拡大処理を、処理負荷が小さく高速に行うことが可能な画像処理システムを提供する。
【解決手段】画像処理システムの分割手段は画像データを複数の領域に分割し、分類手段は前記分割手段によって分割された前記複数の領域を３以上の種類に分類し、生成手段は前記分類手段によって分類された種類毎に異なる処理を行い、前記各々の領域に対する画像処理ブロックを生成する。
【選択図】図１

Description

本発明は、画像処理システムおよび画像処理プログラムに関する。

画像の拡大処理は、画像の編集やファイリング、表示、印刷などを行うシステムにとって基本的な処理の一つである。また近年、インターネットのホームページ上の画像やデジタルビデオなどのディスプレイ解像度での表示を主目的とした画像データなどの普及により、これらの低解像度画像を高解像度のプリンタなどで印刷することも頻繁に行われている。このプリンタによる印刷の際に、高画質の出力結果を得ることが望まれており、高画質の拡大処理に対する重要度が高まっている。なお、画像の拡大処理は、画像の高解像度処理をも含む概念である。

カラーを含む多階調で表現された画像（以下では、これを「多値画像」と称する場合もある）を拡大処理する既存の代表的な手法としては、最近傍補間法や線形補間法、キュービック・コンボリューション法などがある。最近傍補間法は、拡大後の各画素値として、その画素を原画像上に逆写像した際に最も距離が近い画素の画素値を使うという方法である。この方法は、演算量が少ないため高速に処理することができる。しかし、原画像の１画素がそのまま矩形形状に拡大されるため、隣り合う画素の画素値の差が小さい場合は画質劣化の程度は小さくほとんど影響はないが、逆に大きい場合などは、斜線部やエッジ部のジャギーが目立ったり、倍率が大きい場合には画像がモザイク状になるなど、画質劣化の程度は大きい。

線形補間法は、画素間の画素値が直線的に変化していると仮定し、拡大後の画素を逆写像した点の近傍４画素の画素値を線形に補間して画素値を求めるという方法である。この方法では、最近傍補間法よりも処理は重いものの演算量は比較的少なく、ジャギーなども発生しにくい。その一方で、直線的に変化しているという仮定に当てはまらないエッジ部分や細かな構造で構成されるテクスチャ部分を中心に、画像全体がボケ気味になるという欠点がある。

キュービック・コンボリューション法は、標本化定理に基づいてｓｉｎｃ関数（ｓｉｎ（ｘ）／ｘ）を近似した補間関数を定義し、拡大後の画素を逆写像した点の近傍１６画素（Ｘ、Ｙ方向それぞれ４画素）と前記の近似補間関数との畳み込み演算により、拡大後の画素値を求める方法である。この方法は、前記２つの手法に比べて画質は比較的良いが、拡大倍率が大きくなるとエッジ部分でジャギーが発生したり、高域が強調気味となる特性を持つためノイズ成分が強調されてしまうなどの欠点もある。

これら拡大画像の画質問題を解決する試みとして、例えば特許文献１などの新規方式が提案されている。特許文献１に記載されている技術では、ＤＣＴの正変換、逆変換を繰り返し行いながら高周波成分を復元して拡大するゲルヒベルグ−パポリスの反復法（ＧＰ反復法）を利用した手法であり、さらに平坦部分に生じるリンギングを抑制するために、平坦部分領域においては、原画像をバイリニア法やキュービック法で補間拡大した画像を参照画像とし、参照画像の対応する領域との誤差を許容偏差に制限する処理を行う。しかし特許文献１による技術では、抑制処理を行うとはいえ発生するリンギングによりテクスチャなどの細かな構造が損なわれることが考えられる。また反復法が基本となっており、さらに画像中の大部分を占める平坦部分のリンギングを抑制するための参照処理なども加わり演算量が非常に多い。

上述したように画像中の細かな構造で構成されるテクスチャが損なわれないように、それらを抽出する技術として、たとえば特許文献２、特許文献３などが提案されている。テクスチャ特徴量を抽出するために、特許文献２に記載の技術では、濃度共起行列を用いた抽出を行うことが記載されており、また特許文献３に記載の技術では、特許文献２と同様に濃度共起行列、あるいは自己相関関数またはフーリエパワースペクトルのいずれかを用いた評価関数を用いて抽出を行うことが記載されている。しかし、特許文献２および特許文献３に記載の技術はどれも演算量が非常に多く、拡大処理と併用するには処理時間に問題がある。
特許第３４０４１３８号公報 特開２００１−０７６１３８号公報 特開平０６−０６０１８２号公報

本発明は、このような背景技術の状況の中でなされたもので、入力された画像に対してボケやジャギーを生じさせること無く、鮮鋭度が高い滑らかなエッジの再現と、さらにはテクスチャなどの細部の構造を再現することができる画像処理を、処理負荷が小さく高速に行うことが可能な画像処理システムおよび画像処理プログラムを提供することを目的とするものである。

かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。
［１］ 画像データを複数の領域に分割する分割手段と、
前記分割手段によって分割された前記複数の領域を３以上の種類に分類する分類手段と、
前記分類手段によって分類された種類毎に異なる処理を行い、前記各々の領域に対する画像処理ブロックを生成する生成手段
を有することを特徴とする画像処理システム。

［２］ 前記分割手段によって分割された前記領域毎にエッジ強度を算出するエッジ強度算出手段を有し、
前記分類手段は、前記エッジ強度算出手段によって算出された前記エッジ強度によって分類すること
を特徴とする［１］に記載の画像処理システム。

［３］ 画像データを複数の領域に分割する分割手段と、
前記分割手段によって分割された前記各々の領域についてエッジ強度を算出するエッジ強度算出手段と、
前記エッジ強度算出手段によって算出されたエッジ強度に応じて複数の閾値を設定する閾値設定手段と、
前記エッジ強度算出手段によって算出された前記各々の領域のエッジ強度と前記閾値設定手段によって設定された閾値とに基づいて前記各々の領域についての処理を行い、前記各々の領域に対する拡大ブロックを生成する生成手段
を有することを特徴とする画像処理システム。

［４］ 前記生成手段は、各々の領域から算出される画像特徴量に応じた処理が行われる
ことを特徴とする［１］乃至［３］に記載の画像処理システム。

［５］ 前記画像特徴量は、各画素の色要素値、前記領域の周辺領域のエッジ強度値及びエッジ角度を少なくとも含むものである
ことを特徴とする［４］に記載の画像処理システム。

［６］ 前記各画素の色要素値が所定の条件を満たす場合は、前記領域から算出される画像特徴量に応じた処理を行わない
ことを特徴とする［５］に記載の画像処理システム。

［７］ 前記領域の周辺領域のエッジ強度が所定以上の条件を満たす場合は、前記領域から算出される画像特徴量に応じた処理を行わない
ことを特徴とする［５］に記載の画像処理システム。

［８］ 前記領域の周辺領域のエッジ角度が所定以上の条件を満たさない場合は、前記領域から算出される画像特徴量に応じた処理を行わない
ことを特徴とする［５］に記載の画像処理システム。

［９］ 注目画素を含む所定の大きさの画像領域の特徴量を算出する領域特徴量算出手段と、
前記領域特徴量算出手段により算出された特徴量が所定の条件を満たす画像領域を抽出する画像領域抽出手段と、
前記領域特徴量算出手段により算出された特徴量が所定の条件を満たす画像領域および前記画像領域抽出手段により抽出された画像領域に対して拡大画像領域を生成する拡大画像領域生成手段と、
前記拡大画像領域生成手段とは異なる拡大手法により入力画像の拡大画像を生成する拡大処理手段と、
前記拡大画像領域生成手段によって生成された拡大画像領域と、前記拡大処理手段によって生成された拡大画像とに基づいて、入力画像に対する拡大画像を生成する拡大画像生成手段
を有することを特徴とする画像処理システム。

［１０］ 前記領域特徴量算出手段は、お互いが重なり合う画像領域の特徴量を算出する
ことを特徴とする［９］に記載の画像処理システム。

［１１］ 前記領域特徴量算出手段は、前記画像領域内の各画素値から前記画像領域内の階調変化量を前記特徴量として算出する
ことを特徴とする［９］に記載の画像処理システム。

［１２］ 前記領域特徴量算出手段は、前記画像領域内の各画素値から前記画像領域内の階調変化方向を前記特徴量として算出する
ことを特徴とする［９］に記載の画像処理システム。

［１３］ 前記領域特徴量算出手段は、予め用意された複数のエッジパターンのうち、それぞれの画像領域における階調変化に対応するエッジパターンを前記特徴量として選択する
ことを特徴とする［９］に記載の画像処理システム。

［１４］ 前記領域特徴量算出手段は、色空間におけるそれぞれの色成分毎に特徴量を算出し、算出した１つあるいは複数の前記特徴量をもとに前記色空間における１つの色成分のデータを選択し、該色成分のデータにおける前記画像領域の特徴量を前記画像領域の特徴量とする
ことを特徴とする［９］に記載の画像処理システム。

［１５］ 前記画像領域抽出手段は、前記画像領域内の各画素の色差情報を用いて画像領域の選別を行う
ことを特徴とする［９］に記載の画像処理システム。

［１６］ 前記画像領域抽出手段は、前記画像領域の近傍領域内の前記領域特徴量算出手段により算出された特徴量が所定の条件を満たす画像領域の有無に基づいて画像領域の選別を行う
ことを特徴とする［９］に記載の画像処理システム。

［１７］ 前記画像領域抽出手段は、前記領域特徴量算出手段により算出された画像領域とその近傍領域の特徴量の比較結果に基づいて画像領域の選別を行う
ことを特徴とする［９］に記載の画像処理システム。

［１８］ 前記拡大画像領域生成手段が用いる所定の条件と前記画像領域抽出手段が用いる所定の条件は異なり、
前記拡大画像領域生成手段は、前記領域特徴量算出手段により算出された前記特徴量が所定の条件を満たす画像領域と前記画像領域抽出手段で抽出された画像領域とで異なる拡大手法で拡大画像領域を生成する
ことを特徴とする［９］に記載の画像処理システム。

［１９］ 前記拡大画像領域生成手段は、前記領域特徴量算出手段で算出された前記特徴量が所定の条件を満たす画像領域に対して前記画像領域の特徴量とともに該画像領域の近傍領域の特徴量および近傍領域内の画素値を用いて前記拡大画像領域を生成する拡大手段を有する
ことを特徴とする［９］に記載の画像処理システム。

［２０］ 前記拡大画像領域生成手段は、拡大率に応じてカーネル要素及びカーネル要素間距離が異なるエッジ強調カーネルを用いて、前記画像領域内の画素値を補正し、補正された画素値を用いて前記拡大画像領域を生成する拡大手段を有する
ことを特徴とする［９］乃至［１１］のいずれか１項に記載の画像処理システム。

［２１］ 前記拡大画像領域生成手段は、前記領域特徴量算出手段により算出された階調変化の方向に応じて近傍領域内の画素値を選択し、選択された画素値を用いて前記拡大画像領域を生成する拡大手段を有する
ことを特徴とする［９］乃至［１１］のいずれか１項に記載の画像処理システム。

［２２］ 前記拡大画像領域生成手段は、前記領域特徴量算出手段により算出された特徴量に対応する既定の演算式をもちいて前記拡大画像領域を生成する拡大手段を有する
ことを特徴とする［９］乃至［１１］のいずれか１項に記載の画像処理システム。

［２３］ 前記拡大処理手段は、拡大手法として最近傍補間法を用いる
ことを特徴とする［９］に記載の画像処理システム。

［２４］ 前記拡大処理手段は、拡大手法として線形補間法を用いる
ことを特徴とする［９］に記載の画像処理システム。

［２５］ 前記拡大処理手段は、入力画像毎あるいは入力画像中の数ライン毎に拡大画像を生成する
ことを特徴とする［９］に記載の画像処理システム。

［２６］ 前記拡大画像生成手段は、前記拡大画像領域生成手段で生成された前記拡大画像領域を、前記拡大処理手段で生成された拡大画像上の対応する位置に配置する
ことを特徴とする［９］に記載の画像処理システム。

［２７］ 前記拡大画像生成手段は、前記拡大画像領域生成手段で生成された前記拡大画像領域を、前記拡大処理手段で生成された拡大画像上の対応する位置に配置する際に、前記拡大画像上の各画素値を前記拡大画像領域の各画素値で置き換える
ことを特徴とする［９］に記載の画像処理システム。

［２８］ 前記拡大画像生成手段は、前記拡大画像領域生成手段で順次生成される前記拡大画像領域が重なり合う場合は、重なる画素値の総和を算出し、前記画素値の総和を重なった数で割ることにより前記拡大画像の画素値を算出する
ことを特徴とする［９］に記載の画像処理システム。

［２９］ コンピュータに、［１］乃至［２８］のいずれか１項に記載の画像処理システムの機能を実現させることを特徴とする画像処理プログラム。

本発明にかかる画像処理システムおよび画像処理プログラムによれば、本構成を有していない場合に比較して、全体としての処理負荷を抑え、かつ、画像として特徴的な部分について高画質な画像処理を適用することにより、特徴的な部分の特徴量を保存して、ボケやジャギーなどの画質欠陥を抑制した高画質な画像を得ることができる。

本実施の形態の概要となる一例を説明する。なお、本実施の形態では、画像処理として、拡大処理を主に例示する。
本実施の形態に関する技術は、カラーを含む多階調で表現された画像の拡大処理を行う画像処理技術に関するものであり、特に入力された画像に対してボケやジャギーなどの画質欠陥をなるべく生じさせること無く、高画質にしかも処理負荷が軽い拡大処理を行う画像処理技術に関するものである。
本実施の形態における一例として、原画像からブロックを切り出し、画像として特徴のあるブロックに対して、その特徴に適した拡大処理を施して拡大ブロックを生成し、原画像に対しては処理負荷の小さい手法で拡大して拡大画像を生成する。そして、その拡大画像上に、前記拡大ブロックを重畳させて配置することで出力画像を生成する。特徴のあるブロックの抽出の際に、閾値の設定により特徴ブロックの抽出度合いを制御できる。つまり、処理負荷の大きい特徴ブロック拡大処理の処理割合が制御でき、画質と処理速度のバランスを任意にとる事が可能となる。

図１は、本実施の形態の画像処理システム及び画像処理方法の実施の形態を示すブロック図である。図中、１は記憶部、２は画像ブロック設定部、３は画像ブロック特徴量算出部、４はテクスチャブロック抽出部、５は高画質画像ブロック生成部、６は高速拡大処理部、７は拡大画像生成部である。

なお、実施の形態の構成要素である部分（記憶部１、画像ブロック設定部２等）は、一般的に論理的に分離可能なソフトウェア、ハードウェア等のモジュールを指す。したがって、本実施の形態における構成部分はプログラムにおけるモジュールのことだけでなく、ハードウェア構成におけるモジュールも指す。それゆえ、本実施の形態は、プログラム、システムおよび方法の説明をも兼ねている。また、構成部分は機能にほぼ一対一に対応しているが、実装においては、１構成部分を１プログラムで構成してもよいし、複数構成部分を１プログラムで構成してもよく、逆に１構成部分を複数プログラムで構成してもよい。また、複数構成部分は１コンピュータによって実行されてもよいし、分散または並列環境におけるコンピュータによって１構成部分が複数コンピュータで実行されてもよい。また、以下、「接続」とは物理的な接続の他、論理的な接続を含む。
また、システムとは、複数のコンピュータ、ハードウェア、装置等がネットワーク等で接続されて構成されるほか、１つのコンピュータ、ハードウェア、装置等によって実現される場合も含まれる。

記憶部１は、画像データが拡大処理されるまで一時的に記憶する機能や、解像度変換または拡大処理された拡大画像データが図示しない出力装置に出力されるまで一時的に記憶する機能などを備えたものである。なお、画像データは画像処理システムで処理可能な画像フォーマット（例えば、ＢＭＰ、ＴＩＦＦ、ＰＮＧなど）で記述されたデータであり、図示しないデジタルカメラやスキャナなどによって取り込まれたり、パーソナルコンピュータ等において作成、編集等の処理をするアプリケーションプログラムで作成された画像データ等である。拡大画像データについても、同様の画像フォーマットのデータである。

画像ブロック設定部２は、画像ブロック特徴量算出部３、テクスチャブロック抽出部４及び高画質画像ブロック生成部５における処理で必要とされる既定の画像ブロックサイズをそれぞれ設定し、記憶部１により記憶されている入力画像データから、設定されたブロックサイズの画像ブロックを順次（例えばラスタスキャン順に）切り出し、このブロックサイズの画像ブロックそれぞれを画像ブロック特徴量算出部３、テクスチャブロック抽出部４及び高画質画像ブロック生成部５にそれぞれ出力する。

画像ブロック特徴量算出部３は、画像ブロック設定部２から順次入力される画像ブロックの少なくとも一部である注目領域における画像特徴量を、注目領域又はこの注目領域の周辺部を含む画像ブロック内の各画素値に基づいて算出する。画像特徴量とは、例えば、注目領域のエッジ強度（階調変化量）又はエッジ角度（階調変化の方向）などである。しかしこれに限られるものではなく、画像ブロック特徴量算出部３は、例えば注目領域の各画素値の平均値を算出し、この平均値に対する注目領域の各画素値のばらつきを表す値（例えば標準偏差又は分散）を画像特徴量として算出してもよい。

また、画像ブロック特徴量算出部３は、それぞれの注目領域について算出された画像特徴量と基準値とを比較し、注目領域の切り分けを行う。ここで、注目領域の切り分けとは、特徴のある画像ブロック（例えば、エッジやテクスチャを含んだ画像ブロックなど）と、特徴の少ない画像ブロック（例えば、画素値変化の少ない画像ブロックなど）とを切り分けることを意味する。より具体的には、画像ブロック特徴量算出部３は、基準値を複数設定し、算出された画像特徴量を前記複数の基準値と比較することにより画像ブロックの属性を判定する。例えば、大小２つの基準値、基準値１、基準値２を設け（ここで、基準値１＜基準値２とする）、画像特徴量が基準値２以上である画像ブロックを特徴ブロックと判定し、算出された画像特徴量が基準値１未満である画像ブロックを非特徴ブロックと判定する。さらに、算出された画像特徴量が基準値１以上、基準値２未満である画像ブロックを抽出候補ブロックと判定する。本例では、画像ブロック特徴量算出部３は、画像特徴量の１つとして画像ブロックのエッジ強度（数値）を算出し、算出されたエッジ強度が基準値２以上である画像ブロックを特徴ブロックであると判定し、エッジ強度が基準値１未満である画像ブロックを非特徴ブロックであると判定し、さらに基準値１以上、基準値２未満である画像ブロックを抽出候補ブロックと判定する。なお、特徴ブロックの切り分けに用いる特徴量は、エッジ強度に限られるものではなく、上述の標準偏差、分散又はその他の特徴量であってもよい。また、基準値を２つ（基準値１、基準値２）とすることにより３種類の画像ブロックに分類したが、この基準値を３以上として、４種類以上の画像ブロックに分類してもよい。

テクスチャブロック抽出部４は、画像ブロック特徴量算出部３において、算出された特徴量に基づいて抽出候補ブロックとして判定された画像ブロックのうち、高画質画像ブロック生成部５における処理を必要とするテクスチャを含んだ画像ブロックのみを抽出する。

高画質画像ブロック生成部５は、画像ブロック特徴量算出部３において特徴ブロックと判定された画像ブロック中の注目領域およびテクスチャブロック抽出部４で抽出された画像ブロック中の注目領域に対して、画像ブロック特徴量算出部３において算出された画像特徴量を用いて、前記注目領域に対応する拡大画像ブロックを生成する。高画質画像ブロック生成部５における拡大処理は、注目領域に含まれる特徴を保持するような拡大手法を適用するのが望ましい。
また、高画質画像ブロック生成部５は、画像ブロック特徴量算出部３により算出された特徴量が基準値２以上である特徴ブロックおよびテクスチャブロック抽出部４で抽出された画像ブロックについてのみ、拡大処理を行う。

高速拡大処理部６は、記憶部１により記憶されている入力画像データを拡大する。高速拡大処理部６は、高画質画像ブロック生成部５による拡大処理よりも処理負荷の小さい拡大アルゴリズムを適用する。具体的には、高速拡大処理部６は、例えば、最近傍補間拡大法や線形補間拡大法などを適用して入力画像データを拡大する。また、高速拡大処理部６は、画像ブロック毎の処理ではなく、入力画像単位又は入力画像の数ライン単位で拡大処理を行うことができる。

拡大画像生成部７は、高画質画像ブロック生成部５により拡大された拡大画像ブロックと、高速拡大処理部６により拡大された拡大画像とを用いて原画像に対する拡大画像を生成する。より具体的には、拡大画像生成部７は、画像ブロック特徴量算出部３により算出された画像特徴量が基準値２以上である画像ブロック（特徴ブロック）およびテクスチャブロック抽出部４で抽出された画像ブロックについて、高画質画像ブロック生成部５で拡大した拡大画像ブロックを適用し、画像特徴量が基準値１未満である画像ブロック（非特徴ブロック）については高速拡大処理部６により拡大された拡大画像を適用して、１つの拡大画像を生成する。

［画像ブロック特徴量算出部の詳細説明］
次に、画像ブロック特徴量算出部３をより詳細に説明する。なお、注目領域が２×２画素サイズブロックであり、注目領域を含む周辺領域が４×４画素サイズブロックである場合を具体例として説明する。
本例の画像ブロック特徴量算出部３は、図１に示すように、エッジ強度算出部３１、エッジ角度算出部３２を含む。

エッジ強度算出部３１は、画像ブロック設定部２で切り出された画像ブロック中の注目領域のエッジ強度Ｇを次の式（１）で算出する。
ｇｘ＝（ａ＋ｃ−ｂ−ｄ）／２
ｇｙ＝（ａ＋ｂ−ｃ−ｄ）／２
Ｇ＝ｇｘ×ｇｘ＋ｇｙ×ｇｙ・・・式（１）
上記式におけるａ、ｂ、ｃ及びｄは、図２に例示するように、注目領域にある各画素の画素値である。また、このように算出される「ｇｘ」は、主走査方向（図２の左右方向）の画素値の変化量を示し、「ｇｙ」は、副走査方向（図２の上下方向）の画素値の変化量を示す。
なお、エッジ強度は上記式（１）で算出されるものに限定されるわけでなく、以下の式（２）などで算出しても良い。
Ｇ＝｜ｇｘ｜＋｜ｇｙ｜・・・式（２）
すなわち、エッジ強度Ｇは、（ｇｘ）の絶対値と（ｇｙ）の絶対値との和として算出されてもよい。

また、エッジ強度算出部３１は、算出されたエッジ強度Ｇと基準値１（既定のしきい値Ｔｈ１）および基準値２（既定のしきい値Ｔｈ２）（ここで、Ｔｈ１＜Ｔｈ２とする）との比較を行い、注目領域が特徴ブロック、抽出候補ブロック又は非特徴ブロックのいずれであるかを判定し、判定結果を高画質画像ブロック生成部５等に出力する。なお、注目領域のエッジ強度Ｇがしきい値Ｔｈ１よりも小さい場合は、エッジ角度算出部３２は、この注目領域について処理を行わない。

エッジ角度算出部３２は、画像ブロック設定部２で切り出された画像ブロック中の注目領域のエッジ角度を算出する。
図２（Ａ）は、注目領域及び周辺領域を例示し、図２（Ｂ）は、この注目領域について算出されるエッジ角度を例示する図である。
図２（Ａ）に例示するように、注目領域（画像領域）は２×２の矩形領域（主走査方向及び副走査方向にそれぞれ２つ）を有し、周辺領域は４×４の矩形領域（主走査方向及び副走査方向にそれぞれ４つ）を有する。各矩形はそれぞれ画素に相当し、矩形内の各数字はそれぞれの画素値を示している。すなわち、注目領域は、中心部近傍の画素｛ａ，ｂ，ｃ，ｄ｝＝｛１５，１０４，８６，２０３｝である。以下、この図２（Ａ）で例示する注目領域を具体例として、エッジ角度算出部３２におけるエッジ角度算出処理を説明する。
エッジ角度算出部３２は、図２（Ａ）に例示した注目領域のエッジ角度Θを、次の式（３）で計算する。
Θ＝arctan（ｇｙ／ｇｘ）・・・式（３）
図２（Ａ）では、注目領域の画素値は、｛ａ，ｂ，ｃ，ｄ｝＝｛１５，１０４，８６，２０３｝であり、式（１）より、
ｇｘ＝−１０３
ｇｙ＝−８５
となり、これらを式（３）に代入することにより、
Θ＝−１４０．５°
となる。
このエッジ角度Θの方向は、図２（Ｂ）に示された破線方向に相当する。

さらに、エッジ角度算出部３２は、算出されたエッジ角度Θが２２．５°ごとに区分された方向（８方向）の角度範囲のいずれに含まれるかを判定する。本例では、エッジ角度Θが０°又は±１８０°を中心とした角度範囲を「方向０」とし、２２．５°又は−１５７．５°を中心とした角度範囲を「方向１」とし、４５°又は−１３５°を中心とした角度範囲を「方向２」とし、６７．５°又は−１１２．５°を中心とした角度範囲を「方向３」とし、９０°又は−９０°を中心とした角度範囲を「方向４」とし、１１２．５°又は−６７．５°を中心とした角度範囲を「方向５」とし、１３５°又は−４５°を中心とした角度範囲を「方向６」とし、１５７．５°又は−２２．５°を中心とした角度範囲を「方向７」する。これらの角度範囲は、それぞれの中心から±１１．２５°の範囲である。上述の具体例におけるエッジ角度Θ（＝−１４０．５°）は、−１３５°±１１．２５°の範囲内に含まれるので、エッジ角度は「方向２」となる。

［テクスチャブロック抽出部の詳細説明］
テクスチャブロック抽出部４は、画像ブロック特徴量算出部３で算出された注目領域のエッジ強度Ｇが、しきい値Ｔｈ１以上しきい値Ｔｈ２未満と判定された注目領域（以後、抽出候補ブロックと呼ぶ）に対して、高画質画像ブロック生成部５における処理を必要とするテクスチャを含んだ注目領域（以後、テクスチャブロックと呼ぶ）のみを抽出する。

図３は、テクスチャブロック抽出部４によるテクスチャブロック抽出処理の具体例を示すフローチャートである。
ステップＳ３００において、テクスチャブロック抽出部４は注目領域の各画素値から色差成分Ｃｂ、Ｃｒを以下の式（４）で計算する。
Ｃｂ＝ −０．１６９×ｒ−０．３３１×ｇ＋０．５００×ｂ
Ｃｒ＝ ０．５００×ｒ−０．４１９×ｇ−０．０８１×ｂ ・・・式（４）
ここで、ｒ、ｇ、ｂはそれぞれＲＧＢ色空間における注目領域の各画素値である。
なお、色差成分Ｃｂ、Ｃｒの算出は式（４）で示した算出式に限られたものではなく、以下の式（５）に示すような簡略された算出式を用いてもよい。
Ｃｂ＝ ｂ−ｇ
Ｃｒ＝ ｒ−ｇ ・・・式（５）
また、ステップＳ３００における処理は、具体例として入力画像がＲＧＢ色空間で表されている場合について述べているが、入力画像がＲＧＢ色空間以外で表されている場合でも相当の算出式により色差成分を算出すればよい。さらには入力画像が例えばＹＣｂＣｒ色空間やＹＵＶ色空間などの色差成分を含む色空間で表されている場合には、ステップＳ３００における処理は省略できる。

ステップＳ３０１において、テクスチャブロック抽出部４はステップＳ３００で算出した注目領域の各画素の色差成分Ｃｂ、Ｃｒを比較する。テクスチャブロック抽出部４は、注目領域の全ての画素で各画素の色差成分がＣｂ＞Ｃｒの場合は、テクスチャブロックの候補ブロックとしてステップＳ３０２に処理を移す。つまり本実施例の場合は注目領域の４画素の各々の色差成分がすべてＣｂ＞Ｃｒを満たすなら処理がステップＳ３０２に移る。注目領域中のどれか１つでもＣｂ＞Ｃｒを満たさない画素がある場合は、ステップＳ３０６に処理を移して、注目領域をテクスチャブロックの候補から除外し、非特徴ブロックとする。

なお、図３に示したステップＳ３０１における処理では、具体例として赤みのある注目領域をテクスチャブロックの候補から除外する例を示している。これは例えば人の肌色部分などをテクスチャとして処理しないようにするためであり、図３には図示しないがステップＳ３０１の処理の別の具体例として、各画素の色差成分がＣｂ＜Ｃｒの場合にテクスチャブロックの候補から除外し、空色部分などをテクスチャとして処理しないようにしてももちろんよい。ステップＳ３０１における処理の目的は、各画素の色差成分を用いて抽出候補ブロックから必要なテクスチャブロックの候補を選択することにあり、この目的に応じた条件式ならどのようなものを用いてもよい。

ステップＳ３０２において、テクスチャブロック抽出部４は、注目領域の周辺領域にエッジ強度算出部３１で特徴ブロックと判定された画像ブロックが存在するかどうかを判定する。より具体的には、図４（Ａ）に例示するように注目領域の周辺領域に特徴ブロックが１つでもある場合には、ステップＳ３０６に処理を移して注目領域をテクスチャブロックの候補から除外する。図４（Ｂ）に例示するように注目領域の周辺領域に特徴ブロックが存在しない場合には、注目領域をテクスチャブロックの候補ブロックとしてステップＳ３０３に処理を移す。ステップＳ３０２における処理を行うことにより、例えばエッジ部分付近により多く現れるＪＰＥＧなどの圧縮に起因するモスキートノイズを含む画像領域と本来のテクスチャを含む画像領域を分離することが可能となる。

ステップＳ３０３において、テクスチャブロック抽出部４は、エッジ角度算出部３２で「方向０」から「方向７」の８方向で正規化されて算出された注目領域のエッジ角度と同じエッジ角度を持つ周辺領域中の注目領域と同サイズの画像ブロックを検索する。例えば、本例に示す実施例のように、注目領域が２×２画素サイズブロックであり、注目領域を含む周辺領域が４×４画素サイズブロックである場合、周辺領域中には２×２画像サイズブロックは注目領域を含めて９ブロック存在するが、ステップＳ３０３における処理は、注目領域と同じエッジ角度を持つ画像ブロックが前記９ブロック中に何ブロックあるかをカウントする。

ステップＳ３０４において、テクスチャブロック抽出部４は、ステップＳ３０３において注目領域と同じエッジ角度を持つ周辺領域中の注目領域と同サイズの画像ブロックの数Ｃｎｔを所定の基準値と比較し、Ｃｎｔが所定の基準値よりも大きい場合は、ステップＳ３０６に処理を移して注目領域をテクスチャブロックの候補から除外する。Ｃｎｔが所定の基準値よりも小さい場合は、ステップＳ３０５に処理を移して注目領域をテクスチャブロックと判定し、テクスチャブロック抽出処理を終了する。ここで、例えば基準値を２とした場合、図５（Ａ）に示すように、注目領域と同じエッジ角度を持つものが他にない場合、および図５（Ｂ）に示すように、注目領域と同じエッジ角度を持つものが１つ存在する場合がテクスチャブロックとして判定される。

［高画質画像ブロック生成部の詳細説明］
次に、高画質画像ブロック生成部５をより詳細に説明する。
高画質画像ブロック生成部５は、図１に例示するように、テクスチャブロック拡大処理部５１と、エッジブロック拡大処理部５２で構成される。

まず、テクスチャブロック拡大処理部５１について説明する。
テクスチャブロック拡大処理部５１は、前述したようにテクスチャブロック抽出部４においてテクスチャブロックと判定された注目領域に対して拡大画像ブロック生成処理を行う。テクスチャブロック拡大処理部５１は、まず所定のサイズおよび係数の強調カーネルを用いて、画像ブロック設定部２により切り出された画像ブロック中の注目領域およびその周辺領域の画像データのコントラストを強調する。

図６は、テクスチャブロック拡大処理部５１において用いられる強調カーネル６００（コントラスト強調カーネル）を例示する図である。
図６に例示するように、強調カーネル６００は、重み付け係数「１．４０」及び「−０．１０」を用いてコントラストを強調する。
具体的には図６に示すように強調カーネル６００は、テクスチャブロック抽出部４でテクスチャブロックと分類された注目領域を含む周辺領域のコントラスト強調処理に用いられる。テクスチャブロックに対して上記のような重み付け係数を持つ強調カーネルを用いてコントラスト強調処理を行うことにより、テクスチャを際立たせ、テクスチャの再現性を向上させることができる。

強調カーネル６００は、図６に例示するように、注目画素Ｐの直下画素ａ、直右画素ｂ、直上画素ｃ及び直左画素ｄを参照して、これらの画素の画素値にそれぞれ重み付け係数（−０．１０）を掛け合わせ、重み付け係数（１．４０）が掛けられた注目画素Ｐの画素値と合算し、合算された値を注目画素Ｐの画素値とする。
例えば、以下の式（６）に従って、コントラスト強調処理後の画素値Ｐ’が算出される。
（画素値Ｐ’）＝１．４０×Ｐ−０．１０ ×（ａ＋ｂ＋ｃ＋ｄ）・・・式（６）

なお、重み付け係数は図６に例示したものに限られたものではない。また、参照する画素の位置も、図６に示すような上下左右に限られたものではない。例えば、斜め方向の画素を参照してコントラスト強調処理を行ったり、さらに離れた画素を参照してコントラスト強調処理を行ったり、重み付け係数および参照する画素位置それぞれは、処理対象画像データの種類及びサイズなどにより適宜変更してもよい。

次にテクスチャブロック拡大処理部５１は、前述したようにコントラスト強調処理が行われた注目領域とその周辺領域の画素値を用いて、注目領域に対する拡大画像ブロックを生成する。テクスチャブロック拡大処理部５１における拡大画像ブロック生成処理は、入力画像中のテクスチャ構造をより多く保存することが目的であるため、コントラスト強調処理された注目領域を補間演算による画素値の平均化や高域成分の欠落がない最近傍補間法で拡大する。また、拡大画像ブロックと同サイズの注目領域を含む周辺領域を拡大画像ブロックとして出力してもよい。

次にエッジブロック拡大処理部５２について説明する。
エッジブロック拡大処理部５２は、図７に例示するように、エッジ方向推定部７１、エッジパターン選択部７２、拡大ブロック生成部７３で構成され、画像ブロック特徴量算出部３において、特徴ブロックであると判定された注目領域に対して、推定エッジ方向およびエッジパターンに基づいて、拡大画像ブロック生成処理を行う。

エッジ方向推定部７１におけるエッジ方向推定処理の具体例を図８に示すフローチャートを用いて説明する。
ステップＳ１００において、エッジ方向推定部７１は、画像ブロック特徴量算出部３で算出された注目領域のエッジ角度Θに応じて、図２（Ａ）に示した周辺領域（太線枠外の領域）の中からエッジ方向の推定に用いる参照領域を選択する。より具体的には、エッジ方向推定部７１は、算出されたエッジ角度Θの方向で注目領域と隣接する可能性のある画素を含むように、参照領域を選択する。
例えば、エッジ方向推定部７１は、注目領域について算出されたエッジ角度が「方向０」に含まれる場合に、図９（Ａ）に例示する参照領域（太線で囲まれた２つの領域）を選択し、算出されたエッジ角度が「方向４」に含まれる場合に、図９（Ｂ）に例示する参照領域（太線で囲まれた２つの領域）を選択し、算出されたエッジ角度が上記以外の方向（方向１〜３、方向５〜７）に含まれる場合に、図９（Ｃ）に例示する参照領域（太線で囲まれた４つの領域）を選択する。図２に示した具体例では、画像ブロック特徴量算出部３で算出されたエッジ角度の方向は「方向２」であるので、図９（Ｃ）に示した４つの参照領域が選択の候補となる。
なお、参照領域は、図９に例示したものに限定されるわけではなく、例えば図９（Ｃ）の場合などは、参照領域数を８としたり、それぞれの方向に応じた参照領域を設定してもよい。

ステップＳ１１０において、選択された参照領域それぞれに対して、注目領域と同様に、画像ブロック特徴量算出部３は、式（１）及び式（３）に従ってエッジ角度Θを算出し、エッジ方向推定部７１に算出結果を出力する。
ステップＳ１２０において、エッジ方向推定部７１は、それぞれの参照領域について算出されたエッジ角度と、注目領域について算出されたエッジ角度とを比較して、これらの差分が予め設定されている閾値Θｔｈより小さいか否かを判断する。エッジ方向推定部７１は、エッジ角度の差分が閾値Θｔｈより小さい場合には、この参照領域のエッジ角度を適正なエッジ角度として判定してＳ１３０の処理に移行し、エッジ角度の差分が閾値Θｔｈ以上である場合には、この参照領域のエッジ角度を適正なエッジ角度ではないと判定してＳ１４０の処理に移行する。

ステップＳ１３０において、エッジ方向推定部７１は、角度参照数をインクリメントする。すなわち、エッジ方向推定部７１は、参照領域について算出されたエッジ角度が適正なエッジ角度であると判断された場合にのみ、角度参照数をインクリメントする。
なお、角度参照数は、エッジ角度の参照数をカウントするための変数であり、注目領域ごとに「角度参照数１」に初期化される。

ステップＳ１４０において、エッジ方向推定部７１は、選択した全ての参照領域についてエッジ角度を算出したか否かを判断し、全ての参照領域についてエッジ角度が算出された場合には、Ｓ１５０の処理に移行し、これ以外の場合には、Ｓ１１０の処理に戻って次の参照領域についてエッジ角度を算出する。
ステップＳ１５０において、エッジ方向推定部７１は、注目領域のエッジ角度と、適正なエッジ角度として判定された参照領域のエッジ角度との総和を計算し、算出されたエッジ角度の総和を角度参照数で割った平均エッジ角度を注目領域の推定エッジ方向とする。

なお、図２に示した具体例では、上部の参照領域｛８６，２０３，１７１，２１１｝からエッジ角度ΘＵ＝−１４９．４°、左部の参照領域｛１０，１５，２０，８６｝からエッジ角度ΘＬ＝−１３１．２°、下部の参照領域｛１，１０２，１５，１０４｝からエッジ角度ΘＤ＝−１７５．２°、右部の参照領域｛１０４，２１５，２０３，２１９｝からエッジ角度ΘＲ＝−１４１．０°となる。注目領域のエッジ角度Θ＝−１４０．５°とそれぞれの参照領域のエッジ角度が比較され、その差分が閾値Θｔｈより小さい参照領域の数が角度参照数としてカウントされる。

図１０は、図２に示した注目領域における推定エッジ方向の一例の説明図である。例えば上述の具体例において、すべての参照領域について注目領域のエッジ角度との差分が閾値Θｔｈより小さいとすれば、注目領域及び４つの参照領域から求められたエッジ角度の総和は−７３７．３°となり、角度参照数５で割ることによって平均エッジ角度は−１４７．５°と求めることができる。この場合も、エッジ方向推定部７１は、先に述べた画像ブロック特徴量算出部３における注目領域のエッジ方向と同様に、例えば８方向のいずれかに含まれるかを判定する。本例では、平均エッジ角度が−１４７．５°であるため「方向１」に含まれ、これが推定エッジ方向となる。

なお、本実施形態では、１画素につき１色要素であるグレースケール画像を具体例として説明しているが、これに限定されるわけではない。例えば、１画素につき３色要素のＲＧＢ色空間のカラー画像が入力される場合には、各々の色成分のデータにおけるエッジ強度Ｇｒ、Ｇｇ、Ｇｂの強さにより選択された色空間データで上記のエッジ方向推定処理を行えばよい。より具体的には、画像ブロック特徴量算出部３は、それぞれの色成分についてエッジ強度を算出し、算出されたエッジ強度Ｇｒ、Ｇｇ、Ｇｂが最大となる色成分を選択して、選択された色成分についてのみ特徴量を算出する。このようにすることで、カラー画像における拡大画像データのエッジ部の色ずれなど、画質低下を抑えることが可能となる。
また、本例では、注目領域及び参照領域について式（１）により算出されたエッジ角度は、８方向のいずれかに分類されたが、これに限定されるものではなく、より精度の高いエッジ方向が必要であれば１２方向（１５．０°ごと）、１６方向（１２．２５°ごと）など、さらに多数の角度領域に分類してもよい。

次に、エッジパターン選択部７２について説明する。
図１１は、エッジパターン選択部７２で用いるエッジパターンテーブルを例示する図である。
図１１に例示するように、エッジパターン選択部７２は、推定エッジ方向とエッジパターンとを互いに対応付けたエッジパターンテーブルを有する。エッジパターンテーブルには、注目領域のパターンサイズに対応するエッジパターンがそれぞれの推定エッジ方向（ここでは８方向）ごとに１つ以上のエッジパターンが登録されている。
エッジパターン選択部７２は、このエッジパターンテーブルを参照して、エッジ方向推定部７１によりそれぞれの注目領域について推定された推定エッジ方向に対応するエッジパターンを選択する。
本例では、図１０に例示するように、注目領域に対する推定エッジ方向がエッジ方向推定部７１によって「方向１」であると推定されているため、エッジパターン選択部７２は、この推定エッジ方向（方向１）に従い、図１１に示すエッジパターンテーブルの中から、方向１に対応する「パターン０」から「パターン３」までの４つのエッジパターンを選択し、これらをこの注目領域（図１１）に対するエッジパターンの候補とする。

次に、エッジパターン選択部７２は、注目領域の画素値に基づいて、エッジパターンの候補となった１つ以上のエッジパターンの中から、１つのエッジパターンを選択する。エッジパターンの具体的な選択方法の一例について、図１２を参照しながら説明する。
図１２は、図１１に示した注目領域に対応するエッジパターンの選択方法を説明する図である。
本例では、推定エッジ方向が「方向１」であったため、図１２（Ａ）に例示するように、エッジパターンの候補として、「パターン０」から「パターン３」までの４つのエッジパターンが選択されている。これらのエッジパターンは、図１２（Ｂ）に例示するように、ビットパターンとして表現される。具体的には、白部分を０、それ以外を１としてビットパターン化し、「ビットパターン０」から「ビットパターン３」までのビットパターンが生成される。なお、これらのビットパターンは、図１１に示すエッジパターンテーブルにビットテーブルとして予め登録されていてもよい。

エッジパターン選択部７２は、注目領域に相当するビットパターンを判定する。具体的には、エッジパターン選択部７２は、以下に示す式（７）に従い、注目領域中の平均画素値を計算し、注目領域内の各々の画素値から平均値を引き、その符号を以て注目領域の画素値パターンとする。
Ｍｅａｎ＝（ａ＋ｂ＋ｃ＋ｄ）／４
ａ＿ｓｉｇｎ＝ａ−Ｍｅａｎ
ｂ＿ｓｉｇｎ＝ｂ−Ｍｅａｎ
ｃ＿ｓｉｇｎ＝ｃ−Ｍｅａｎ
ｄ＿ｓｉｇｎ＝ｄ−Ｍｅａｎ・・・式（７）

なお、本例では、図１２（Ｃ）に示すように、Ｍｅａｎ＝（１５＋１０４＋８６＋２０３）／４＝１０２であり、ａ＿ｓｉｇｎ＝−８７、ｂ＿ｓｉｇｎ＝２、ｃ＿ｓｉｇｎ＝−１６、ｄ＿ｓｉｇｎ＝１０１となる。よって、エッジパターン選択部７２は、これらの正負符号を判定して、図１２（Ｃ）に示すように、注目領域のビットパターン（１０１０）を生成する。
そして、エッジパターン選択部７２は、図１２（Ｂ）に例示するエッジパターン候補に対応するビットパターンと、図１２（Ｃ）に例示する注目領域のビットパターンとのパターンマッチングを行い、最も類似するエッジパターンを選択パターンとして決定する。選択されたエッジパターンは、後述する拡大ブロック生成部７３における拡大画像ブロック生成処理に適用される。

なお、エッジパターンは、図１１に示したものに限定されるわけではなく、例えば、エッジパターン選択部７２は、入力画像データの種類に応じて、エッジパターンテーブルを切り替えて、異なるエッジパターンを適用してもよい。また、エッジパターン選択部７２は、各角度におけるエッジパターン候補数を増減させてもよい。

次に、拡大ブロック生成部７３について説明する。
拡大ブロック生成部７３は、エッジ方向推定部７１およびエッジパターン選択部７２で得られた注目領域に対するエッジパターンおよび推定エッジ方向に基づいて、拡大画像ブロック生成処理を行う。
拡大ブロック生成部７３は、まず、拡大処理の拡大倍率に応じたサイズおよび係数の強調カーネルを用いて、画像ブロック設定部２により切り出された画像ブロック中の注目領域およびその周辺領域の画像データのコントラストを強調する。
図１３は、拡大ブロック生成部７３で用いられる強調カーネル５３３（エッジ強調カーネル）を例示する図である。なお、図１３（Ａ）に例示する第１の強調カーネル５３３ａの説明に関しては、図６で示したテクスチャブロック拡大処理部５１で用いた強調カーネル６００と重み付け係数「１．６０」及び「−０．１５」が異なるだけで動作は同様なので省略する。

図１３（Ｂ）に例示するように、第２の強調カーネル５３３ｂは、重み付け係数「１．２０」及び「−０．０５」を用いてコントラストを強調する。これらの強調カーネルは、対象画像に対して既になされた拡大処理の拡大倍率に対応付けられており、互いに異なる重み付け係数を用いて、互いに異なる位置の画素値を参照する。
第２の強調カーネル５３３ｂは、第１の強調カーネル５３３ａよりも拡大倍率の大きな画像に対して適用され、図１３（Ｂ）に例示するように、注目画素Ｐから１画素分離間した下画素ａ、右画素ｂ、上画素ｃ及び左画素ｄを参照して、これらの画素の画素値にそれぞれ重み付け係数（−０．０５）を掛け合わせ、重み付け係数（１．２０）が掛けられた注目画素Ｐの画素値と合算し、合算された値を注目画素Ｐの画素値とする。
第２の強調カーネル５３３ｂを適用する場合に、以下の式（８）に従って、コントラスト強調処理後の画素値Ｐ’が算出される。
（画素値Ｐ’）＝１．２０×Ｐ−０．０５×（ａ＋ｂ＋ｃ＋ｄ）・・・式（８）

このように、既になされた拡大処理の拡大倍率に応じて強調カーネルが異なるのは、４倍、８倍と順に画像を拡大していくと、原画像の特徴を有している画素は、２画素、４画素離れた位置の画素となる。そのため、拡大ブロック生成部７３は、図１３に例示するように、拡大倍率が高いほど離れた画素を参照して強調処理を行う。例えば、拡大ブロック生成部７３は、２倍拡大処理を２回連続して適用することにより４倍拡大が実現される場合に、最初の２倍拡大処理において第１の強調カーネル５３３ａ（図１３（Ａ））を適用し、２回目の２倍拡大処理において第２の強調カーネル５３３ｂ（図１３（Ｂ））を適用する。なお、８倍、１６倍以降の倍率においても同様である。
また、参照する画素の位置は、図１３に示すような上下左右に限られたものではない。例えば、拡大ブロック生成部７３は、斜め方向の画素を参照してコントラスト強調処理を行ったり、さらに離れた画素を参照してコントラスト強調処理を行ったり、処理対象画像データの種類及びサイズなどにより適用する強調カーネルを切り替えたりしてもよい。

次に拡大ブロック生成部７３は、エッジ方向推定部７１およびエッジパターン選択部７２で得られた注目領域に対する推定エッジ方向およびエッジパターンと、前述したようにコントラスト強調処理が行われた注目領域とその周辺領域の画素値を用いて、注目領域に対する拡大画像ブロックを生成する。

図１４は拡大ブロック生成部７３における拡大画像ブロックの生成処理の具体例の説明図である。まず拡大ブロック生成部７３は、注目領域のエッジパターンおよび推定エッジ方向に基づき、コントラスト強調処理を施された画素値を用いて３×３画像ブロックに相当する画素値を算出する。図１４（Ａ）には図２（Ａ）に示した注目領域及び周辺領域の一例を示している。この注目領域は前述したように画像ブロック特徴量算出部３において、エッジパターン１０１０、推定エッジ方向は「方向１」と求められている。拡大ブロック生成部７３では、（エッジパターン１０１０）−（推定エッジ方向「１」）の組み合わせの場合、図１４（Ｂ）に示すように、３×３画像ブロックに相当するそれぞれの画素をｐ０〜ｐ８とすると、図１４（Ａ）に示した注目領域の画素値｛ａ，ｂ，ｃ，ｄ｝をもとに、ｐ０〜ｐ８の画素値を次の式によって計算する。
ｐ０＝ａ
ｐ１＝（ａ＋ｂ）／２
ｐ２＝ｂ
ｐ３＝（ａ＋ｃ）／２
ｐ４＝（ｂ＋ｃ）／２
ｐ５＝（ｂ＋ｄ）／２
ｐ６＝ｃ
ｐ７＝（ｂ＋ｄ）／２
ｐ８＝ｄ
これらの計算式は、（エッジパターン）−（推定エッジ方向）の組み合わせにより一意に決定され、３×３画像ブロック相当の画素値が計算される。

図１５は、他の（エッジパターン）−（推定エッジ方向）の組み合わせの場合に用いる計算式の一例の説明図である。図１５（Ａ）は（エッジパターン１０００）−（推定エッジ方向「１」）の場合であり、
ｐ０＝ａ
ｐ２＝ｂ
ｐ３＝ａ
ｐ４＝（ｂ＋ｃ）／２
ｐ５＝（ｂ＋ｄ）／２
ｐ６＝ｃ
ｐ７＝（ｃ＋ｄ）／２
ｐ８＝ｄ
ｐ１＝（ｐ４＋ｃ）／２
によって３×３画像ブロック相当の画素値を計算する。

図１５（Ｂ）は（エッジパターン１１００）−（推定エッジ方向「５」）の場合であり、この場合は、
ｐ０＝ａ
ｐ１＝（ａ＋ｂ）／２
ｐ２＝ｂ
ｐ４＝（ａ＋ｄ）／２
ｐ６＝ｃ
ｐ７＝（ｃ＋ｄ）／２
ｐ８＝ｄ
ｐ３＝（ｐ４＋ｃ）／２
ｐ５＝（ｐ４＋ｂ）／２
によって３×３画像ブロック相当の画素値を計算する。

図１５（Ｃ）は（エッジパターン１０００）−（推定エッジ方向「２」）の場合であり、この場合は、
ｐ０＝ａ
ｐ１＝ａ
ｐ２＝ｂ
ｐ３＝ａ
ｐ４＝（ｂ＋ｃ）／２
ｐ５＝（ｂ＋ｄ）／２
ｐ６＝ｃ
ｐ７＝（ｃ＋ｄ）／２
ｐ８＝ｄ
によって３×３画像ブロック相当の画素値を計算する。

図１８（Ｄ）は（エッジパターン０１０１）−（推定エッジ方向「７」）の場合であり、この場合は、
ｐ０＝ａ
ｐ２＝ｂ
ｐ３＝（ａ＋ｃ）／２
ｐ４＝（ａ＋ｄ）／２
ｐ５＝（ｂ＋ｄ）／２
ｐ６＝ｃ
ｐ８＝ｄ
ｐ１＝（ｐ４＋ｂ）／２
ｐ７＝（ｐ４＋ｃ）／２
によって３×３画像ブロック相当の画素値を計算する。なお、他のエッジパターンの場合にも、同様にそれぞれのエッジパターンに対応した計算式に従って計算を行うことによって、３×３画像ブロック相当の画素値を計算する事ができる。

次に、拡大ブロック生成部７３は、前述のように計算された３×３画像ブロック相当の画素値と、注目領域の推定エッジ方向に基づいて選択された周辺領域内の複数の参照画素を用いて４×４画像ブロックを生成する。

図１６は、注目領域における推定エッジ方向に基づく参照画素ｒ０〜ｒ１３の選択方法の説明図である。注目領域の推定エッジ方向が方向１（２２．５°）から方向３（６７．５°）の場合には、図１６（Ａ）に示したように、参照画素ｒ０〜ｒ５を図１６（Ａ）に太線枠で囲んだように左上から下へ３画素と右下から上へ３画素となるように選択する。また、注目領域の推定エッジ方向が方向５（１１２．５°）から方向７（１５７．５°）の場合には、図１６（Ｂ）に示したように、参照画素ｒ０〜ｒ５を左下から上へ３画素と右上から下へ３画素となるように選択する。参照画素ｒ６〜ｒ１３は推定エッジ方向に拠らず、図１６（Ａ）（Ｂ）に示すように、上下それぞれ４画素を選択する。このように、注目領域における推定エッジ方向に基づいて、参照画素を選択する。もちろん、参照画素の選択は図１６に示すように２パターンからの選択に限定されるわけではなく、推定エッジ方向に従い、より多くの参照画素選択パターンを用意してもよい。また、選択する参照画素についても、推定エッジ方向によって変更してもよい。

図１７は、４×４画素の拡大画像ブロックの生成処理の具体例の説明図である。図１７に示すように、計算された３×３画像ブロック相当の画素値ｐ０〜ｐ８、および注目領域における推定エッジ方向に基づいて選択された参照画素ｒ０〜ｒ１３を用いて、次のような計算式に従って４×４画素の拡大画像ブロックに相当する画素値（ｓ０〜ｓ１５）を計算し、４×４拡大画像ブロックを生成する。
ｓ０＝０．２×ｒ６＋０．１６×ｒ０＋０．６４×ｐ０
ｓ１＝０．２×ｒ７＋０．３２×ｐ０＋０．４８×ｐ１
ｓ２＝０．２×ｒ８＋０．４８×ｐ１＋０．３２×ｐ２
ｓ３＝０．２×ｒ９＋０．６４×ｐ２＋０．１６×ｒ１
ｓ４＝０．０８×ｒ０＋０．３２×ｐ０＋０．１２×ｒ２＋０．４８×ｐ３
ｓ５＝０．１６×ｐ０＋０．２４×ｐ１＋０．２４×ｐ３＋０．３６×ｐ４
ｓ６＝０．２４×ｐ１＋０．１６×ｐ２＋０．３６×ｐ４＋０．２４×ｐ５
ｓ７＝０．３２×ｐ２＋０．０８×ｒ１＋０．４８×ｐ５＋０．１２×ｒ３
ｓ８＝０．１２×ｒ２＋０．４８×ｐ３＋０．０８×ｒ４＋０．３２×ｐ６
ｓ９＝０．２４×ｐ３＋０．３６×ｐ４＋０．１６×ｐ６＋０．２４×ｐ７
ｓ１０＝０．３６×ｐ４＋０．２４×ｐ５＋０．２４×ｐ７＋０．１６×ｐ８
ｓ１１＝０．４８×ｐ５＋０．１２×ｒ３＋０．３２×ｐ８＋０．０８×ｒ５
ｓ１２＝０．１６×ｒ４＋０．６４×ｐ６＋０．２×ｒ１０
ｓ１３＝０．３２×ｐ６＋０．４８×ｐ７＋０．２×ｒ１１
ｓ１４＝０．４８×ｐ７＋０．３２×ｐ８＋０．２×ｒ１２
ｓ１５＝０．６４×ｐ８＋０．１６×ｒ５＋０．２×ｒ１３

以上のような処理を行うことにより、画像ブロック特徴量算出部３において特徴ブロックと判断された注目領域に対する４×４画素の拡大画像ブロック（ｓ０〜ｓ１５）が生成される。

以上説明したように、画像ブロック特徴量算出部３で算出された画像特徴量に従って、拡大ブロック生成部７３により拡大画像ブロック生成処理を行うことで、ジャギーを抑えた高画質な拡大処理ができる。

[拡大画像生成部の詳細]
次に、拡大画像生成部７をより詳細に説明する。
高画質画像ブロック生成部５で生成された注目領域に対する拡大画像ブロックと、高速拡大処理部６から出力された拡大画像とを統合する。図１８は、高画質画像ブロック生成部５で生成された４×４画素の拡大画像ブロックと、高速拡大処理部６から出力された拡大画像とを統合する具体例の説明図である。図１８に示すように、順次生成された拡大画像ブロック０および拡大画像ブロック１は、高速拡大処理部６から出力された拡大画像上の対応する位置に順次配置するようにして統合される。このとき拡大画像上の各画素値を拡大ブロックの各画素値（Ｓ０〜Ｓ１５）で置き換えるように配置してもよいし、また拡大画像上の各画素値と拡大ブロックの各画素値（Ｓ０〜Ｓ１５）を重畳するように配置してもよい。
また拡大画像ブロック同士（図１８における拡大画像ブロック０と拡大画像ブロック１）の拡大画像上の対応位置がオーバーラップする場合は、各拡大画像ブロックのオーバーラップする画素は各々平均をとるようにする。または、オーバーラップする画素の総和を計算し、前記画素値の総和をオーバーラップした数で割ることにより各画素値を算出するようにしてもよい。

［全体動作］
次に、本例の画像処理システムおよび画像処理方法の全体動作を説明する。
図１９は、本例の画像拡大処理のフローチャートである。
図１９に示すように、ステップ２２０（Ｓ２２０）において、画像ブロック設定部２は、画像ブロック特徴量算出部３、テクスチャブロック抽出部４、高画質画像ブロック生成部５における処理で必要とされる既定の画像ブロックのサイズをそれぞれ設定し、記憶部１に記憶されている処理対象画像データから、設定されたブロックサイズの画像ブロックを順次（例えばラスタスキャン順に）切り出し、切り出された各画像ブロックを画像ブロック特徴量算出部３、テクスチャブロック抽出部４、高画質画像ブロック生成部５にそれぞれ出力する。

ステップ２２５（Ｓ２２５）において、画像ブロック特徴量算出部３は、入力された画像ブロック中の注目領域のエッジ強度Ｇを式（１）で算出する。なお、｛ａ，ｂ，ｃ，ｄ｝は図２に例示するように注目領域内の各画素値である。入力画像データがグレースケール画像でなく、例えばＲＧＢ色空間のカラー画像である場合には、画像ブロック特徴量算出部３は、注目領域に関してＲ，Ｇ，Ｂの各色空間の色成分毎の画像ブロックそれぞれについて、式（１）を用いてエッジ強度Ｇｒ、Ｇｇ、Ｇｂを計算し、Ｇｒ、Ｇｇ、Ｇｂの中で最大のエッジ強度である色成分の画像ブロックを選択し、そのエッジ強度を注目領域の（すべての色成分に共通の）エッジ強度とする。

ステップ２３０（Ｓ２３０）において、画像ブロック特徴量算出部３は、注目領域のエッジ強度Ｇに基づいて、この注目領域が非特徴ブロックであるかそうでないかを判定する。具体的には、画像ブロック特徴量算出部３は、算出されたエッジ強度Ｇが既定の閾値Ｔｈ１および閾値Ｔｈ２（Ｔｈ１＜Ｔｈ２）のうち、Ｔｈ１未満である場合（すなわち、注目領域内の階調変化量が非常に小さい場合）に、この注目領域を非特徴ブロックとする。
本例の画像処理システムは、注目領域が非特徴ブロックであると判定された場合にＳ２２０の処理に戻り次の画像ブロックを処理し、この注目ブロックが非特徴ブロックでないと判定された場合には画像特徴を保存するような拡大処理を行うべくＳ２３５の処理に移行する。

ステップ２３５（Ｓ２３５）において、画像ブロック特徴量算出部３は、非特徴ブロックでないと判定された画像領域に対して、注目領域及びその注目領域を含む１ないし複数の周辺領域中の参照領域のエッジ角度Θを、式（３）で計算する。
なお、ｇｘ、ｇｙは式（１）において各々算出される値である。

ステップ２４０（Ｓ２４０）において、画像ブロック特徴量算出部３は、注目領域のエッジ強度Ｇに基づいて、この注目領域が特徴ブロックであるかテクスチャブロックの候補ブロックであるかを判定する。具体的には、画像ブロック特徴量算出部３は、算出されたエッジ強度Ｇが既定の閾値Ｔｈ１および閾値Ｔｈ２（Ｔｈ１＜Ｔｈ２）のうち、Ｔｈ２以上である場合（すなわち、注目領域内の階調変化量が非常に大きい場合）に、この注目領域を特徴ブロックとし、算出されたエッジ強度Ｇが既定の閾値Ｔｈ２未満である場合、つまりはエッジ強度Ｇが閾値Ｔｈ１以上閾値Ｔｈ２未満の注目領域の場合に、この注目領域をテクスチャブロックの候補ブロックとする。
本例の画像処理システムは、注目領域が特徴ブロックであると判定された場合にエッジを保存するような拡大処理を行うべくＳ２５０の処理に移行し、この注目ブロックがテクスチャブロックの候補ブロックであると判定された場合にはテクスチャブロックの抽出処理を行うべくＳ２４５の処理に移行する。

ステップ２４５（Ｓ２４５）において、テクスチャブロック抽出部４は、画像ブロック特徴量算出部３においてテクスチャブロックの候補ブロックと判定された注目領域に対して、図３のフローチャートに示したようにテクスチャブロック抽出処理（Ｓ３００〜Ｓ３０６までの処理）を行い、テクスチャブロックを抽出する。

ステップ２５０（Ｓ２５０）において、エッジ方向推定部７１は、画像ブロック特徴量算出部３において特徴ブロックと判定された注目領域及びその注目領域を含む１ないし複数の周辺領域中の参照領域のエッジ角度Θから注目領域のエッジ方向θを推定する。例えば、エッジ方向推定部７１は、得られた複数のエッジ角度Θの平均値を算出し、算出された平均値を推定エッジ方向θとする。

ステップ２５５（Ｓ２５５）において、エッジパターン選択部７２は、推定されたエッジ方向θ及び注目領域（特徴ブロック）の画素分布パターンを用いてエッジパターンを選択する。ここで、エッジパターンについては、エッジ方向及び画素分布パターンに応じて予め用意されたパターンテーブル（図１１）の中から選択される。

ステップ２６０（Ｓ２６０）において、テクスチャブロック拡大処理部５１およびエッジブロック拡大処理部５２の拡大ブロック生成部７３は、所定のサイズ及び重み付け係数が設定された強調カーネル６００（図６）および拡大率に応じてサイズ及び重み付け係数が設定された強調カーネル５３３（図１３）を用いて、画像ブロック設定部２により切り出された画像ブロック中の注目領域及びその周辺領域の画像データに対してコントラスト強調処理を施す。

ステップ２６５（Ｓ２６５）において、テクスチャブロック拡大処理部５１は入力画像中のテクスチャ構造をより多く保存するために、Ｓ２６０においてコントラスト強調処理が施された注目領域を補間演算による画素値の平均化や高域成分の欠落がない最近傍補間法で拡大する。またエッジブロック拡大処理部５２の拡大ブロック生成部７３は、エッジ方向推定部７１およびエッジパターン選択部７２で得られた前記注目領域の推定エッジ方向θおよびエッジパターンと、Ｓ２６０においてコントラスト強調処理が施された注目領域および周辺領域内の画素値を用いて、エッジパターンと推定エッジ方向θに対応する算出式（図１４〜図１５）により３×３画像ブロックに相当する画素値（ｐ０〜ｐ８）を生成する。さらに前記生成された画素値（ｐ０〜ｐ８）と推定エッジ方向θに基づいて選択された参照画素（ｒ０〜ｒ１３）を用いて、図１７に示す算出式により注目領域に対する拡大画像ブロックを生成する。

ステップ２７０（Ｓ２７０）において、画像処理システムは、全ての入力画像データについてＳ２２０からＳ２６５までの処理が完了したか否かを判定し、処理が完了していないと判定された場合に、Ｓ２２０の処理に戻って次の画素ブロックに対する処理を行い、全ての入力画像データについて処理が完了していると判定された場合に、Ｓ２７５の処理に移行する。

ステップ２７５（Ｓ２７５）において、高速拡大処理部６は、記憶部１に記憶されている入力画像データを画像毎または数ライン毎に入力し、線形補間法により拡大処理を行う。なお、本例の高速拡大処理部６は、本例による高画質画像ブロック生成処理（Ｓ２２０〜Ｓ２６５までの処理）が終了した後に拡大処理を行っているが、高画質画像ブロック生成処理と並行して拡大処理を行ってもよいし、高画質画像ブロック生成処理の前に拡大処理を行ってもよい。

ステップ２８０（Ｓ２８０）において、拡大画像生成部７は、高画質画像ブロック生成部５により生成された拡大画像と、高速拡大処理部６により拡大された拡大画像を統合する。
なお、拡大画像生成部７は、拡大画像の統合方法として、高画質画像ブロック生成部５により生成された拡大画像で単純に置き換える方法、又は、高画質画像ブロック生成部５により生成された拡大画像と高速拡大処理部６により生成された拡大画像との平均化処理を行う方法などを適用してもよい。すなわち、拡大画像生成部７は、高画質画像ブロック生成部５により生成された拡大画像を用いるのであれば、処理速度及び画質を勘案し、種々の統合方法を適用しうる。

図２０は、本実施の形態の画像処理システムの機能または画像処理方法をコンピュータプログラムで実現した場合におけるコンピュータプログラム及びそのコンピュータプログラムを格納した記憶媒体の一例の説明図である。図中、３０１はプログラム、３０２はコンピュータ、３１１は光磁気ディスク、３１２は光ディスク、３１３は磁気ディスク、３１４はメモリ、３２１は光磁気ディスク装置、３２２は光ディスク装置、３２３は磁気ディスク装置である。

上述の実施の形態で説明した画像処理の機能は、コンピュータにより実行可能なプログラム３０１によっても実現することが可能である。その場合、そのプログラム３０１およびそのプログラムが用いるデータなどは、コンピュータが読み取り可能な記憶媒体に記憶することも可能である。記憶媒体とは、コンピュータのハードウェア資源に備えられている読取装置に対して、プログラムの記述内容に応じて、磁気、光、電気等のエネルギーの変化状態を引き起こして、それに対応する信号の形式で、読取装置にプログラムの記述内容を伝達できるものである。例えば、光磁気ディスク３１１，光ディスク３１２（ＣＤやＤＶＤなどを含む）、磁気ディスク３１３，メモリ３１４（ＩＣカード、メモリカードなどを含む）等である。もちろんこれらの記憶媒体は、可搬型に限られるものではない。

これらの記憶媒体にプログラム３０１を格納しておき、例えばコンピュータ３０２の光磁気ディスク装置３２１，光ディスク装置３２２，磁気ディスク装置３２３，あるいは図示しないメモリスロットにこれらの記憶媒体を装着することによって、コンピュータからプログラム３０１を読み出し、本実施の形態の画像処理システムの機能または画像処理方法を実行することができる。あるいは、予め記憶媒体をコンピュータ３０２に装着しておき、例えばネットワークなどを介してプログラム３０１をコンピュータ３０２に転送し、記憶媒体にプログラム３０１を格納して実行させてもよい。なお、記憶部１は、コンピュータ３０２内のメモリあるいは付属の磁気ディスク装置やその他の記憶媒体を適用することができる。もちろん、本実施の形態の一部の機能についてハードウェアによって構成することもできるし、あるいは、すべてをハードウェアで構成してもよい。

図２１を参照して、実施の形態の画像処理システムの機能または画像処理方法を実現するコンピュータ３０２のハードウェア構成例について説明する。図２１に示す構成は、例えばパーソナルコンピュータ（ＰＣ）などによって構成されるシステムであり、スキャナ等のデータ読み取り部４１７と、プリンタなどのデータ出力部４１８を備えたハード構成例を示している。

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）４０１は、上述の実施の形態において説明した各種の構成要素である部分、すなわち、画像ブロック設定部２、画像ブロック特徴量算出部３等の各構成要素の実行シーケンスを記述したコンピュータ・プログラムに従った処理を実行する制御部である。
ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）４０２は、ＣＰＵ４０１が使用するプログラムや演算パラメータ等を格納する。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）４０３は、ＣＰＵ４０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を格納する。これらはＣＰＵバスなどから構成されるホストバス４０４により相互に接続されている。

ホストバス４０４は、ブリッジ４０５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス４０６に接続されている。
キーボード４０８、マウス等のポインティングデバイス４０９は、操作者により操作される入力デバイスである。ディスプレイ４１０は、液晶表示装置またはＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）などから成り、各種情報をテキストやイメージ情報として表示する。

ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）４１１は、ハードディスクを内蔵し、ハードディスクを駆動し、ＣＰＵ４０１によって実行するプログラムや情報を記録または再生させる。ハードディスクには、入力画像、拡大処理された画像などが格納される。さらに、その他の各種のデータ処理プログラム等、各種コンピュータ・プログラムが格納される。
ドライブ４１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体４１３に記録されているデータまたはプログラムを読み出して、そのデータまたはプログラムを、インタフェース４０７、外部バス４０６、ブリッジ４０５、およびホストバス４０４を介して接続されているＲＡＭ４０３に供給する。リムーバブル記録媒体４１３も、ハードディスクと同様のデータ記録領域として利用可能である。

接続ポート４１４は、外部接続機器４１５を接続するポートであり、ＵＳＢ、ＩＥＥＥ１３９４等の接続部を持つ。接続ポート４１４は、インタフェース４０７、および外部バス４０６、ブリッジ４０５、ホストバス４０４等を介してＣＰＵ４０１等に接続されている。通信部４１６は、ネットワークに接続され、外部とのデータ通信処理を実行する。データ読み取り部４１７は、例えばスキャナであり、ドキュメントの読み取り処理を実行する。データ出力部４１８は、例えばプリンタであり、ドキュメントデータの出力処理を実行する。

なお、図２１に示すシステムのハードウェア構成は、１つの構成例を示すものであり、本実施の形態は、図２１に示す構成に限らず、本実施の形態において説明した構成要素である部分を実行可能な構成であればよい。例えば、一部の構成要素である部分を専用のハードウェア（例えばＡＳＩＣ等）で構成してもよく、一部の構成要素である部分は外部のシステム内にあり通信回線で接続しているような形態でもよく、さらに図２１に示すシステムが複数互いに通信回線によって接続されていて互いに協調動作するようにしてもよい。また、複写機、ファックス、スキャナ、プリンタ、複合機（多機能複写機とも呼ばれ、スキャナ、プリンタ、複写機、ファックス等の機能を有している）などに組み込まれていてもよい。

以上説明したように、本実施の形態は、注目画素を含む所定の大きさの画像領域の特徴量を算出し、その算出された特徴量が所定の条件を満たす前記画像領域から選別されて画像領域を抽出し、算出された特徴量が所定の条件を満たす画像領域および抽出された画像領域に対して拡大画像領域を生成し、さらには、異なる拡大手法により入力画像の拡大画像を生成し、前記拡大画像領域と、異なる拡大手法により生成された拡大画像とに基づいて、入力画像に対する拡大画像を生成している。このような拡大処理によって、高画質拡大処理を特徴的な部分（特徴ブロックおよびテクスチャブロック）にのみ適用することにより、全体としての処理負荷を抑え、かつ、特徴的な部分について高画質拡大処理を適用することにより、特徴的な部分の特徴量を保存して、ボケやジャギーなどの画質欠陥を抑制した高画質な拡大画像が得ることができる。

なお、説明したプログラムについては、記録媒体に格納することも可能であり、その場合は、例えば以下の発明としても把握することができる。
コンピュータに、
画像データを複数の領域に分割する分割機能と、
前記分割機能によって分割された前記複数の領域を３以上の種類に分類する分類機能と、
前記分類機能によって分類された種類毎に異なる処理を行い、前記各々の領域に対する画像処理ブロックを生成する生成機能
を実現させるための画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体。

コンピュータに、
注目画素を含む所定の大きさの画像領域の特徴量を算出する領域特徴量算出機能と、
前記領域特徴量算出機能により算出された特徴量が所定の条件を満たす画像領域を抽出する画像領域抽出機能と、
前記領域特徴量算出機能により算出された特徴量が所定の条件を満たす画像領域および前記画像領域抽出機能により抽出された画像領域に対して拡大画像領域を生成する拡大画像領域生成機能と、
前記拡大画像領域生成機能とは異なる拡大手法により入力画像の拡大画像を生成する拡大処理機能と、
前記拡大画像領域生成機能によって生成された拡大画像領域と、前記拡大処理機能によって生成された拡大画像とに基づいて、入力画像に対する拡大画像を生成する拡大画像生成機能
を実現させるための画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体。

「プログラムを記録したコンピュータ読み取り可能な記録媒体」とは、プログラムのインストール、実行、プログラムの流通などのために用いられる、プログラムが記録されたコンピュータで読み取り可能な記録媒体をいう。
なお、記録媒体としては、例えば、デジタル・バーサタイル・ディスク（ＤＶＤ）であって、ＤＶＤフォーラムで策定された規格である「ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ−ＲＡＭ等」、ＤＶＤ＋ＲＷで策定された規格である「ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等」、コンパクトディスク（ＣＤ）であって、読出し専用メモリ（ＣＤ−ＲＯＭ）、ＣＤレコーダブル（ＣＤ−Ｒ）、ＣＤリライタブル（ＣＤ−ＲＷ）等、光磁気ディスク（ＭＯ）、フレキシブルディスク（ＦＤ）、磁気テープ、ハードディスク、読出し専用メモリ（ＲＯＭ）、電気的消去および書換可能な読出し専用メモリ（ＥＥＰＲＯＭ）、フラッシュ・メモリ、ランダム・アクセス・メモリ（ＲＡＭ）等が含まれる。
そして、上記のプログラムまたはその一部は、上記記録媒体に記録して保存や流通等させることが可能である。また、通信によって、例えば、ローカル・エリア・ネットワーク（ＬＡＮ）、メトロポリタン・エリア・ネットワーク（ＭＡＮ）、ワイド・エリア・ネットワーク（ＷＡＮ）、インターネット、イントラネット、エクストラネット等に用いられる有線ネットワーク、あるいは無線通信ネットワーク、さらにはこれらの組合せ等の伝送媒体を用いて伝送することが可能であり、また、搬送波に乗せて搬送することも可能である。
さらに、上記のプログラムは、他のプログラムの一部分であってもよく、あるいは別個のプログラムと共に記録媒体に記録されていてもよい。

本実施の形態である画像処理システム及び画像処理方法の一例を示すブロック図である。 注目領域にある各画素の画素値の具体的例示についての説明図である。 テクスチャブロック抽出部によるテクスチャブロック抽出処理の具体例を示すフローチャートである。 注目領域の周辺領域に特徴ブロックが存在する場合、存在しない場合の具体的例示についての説明図である。 注目領域と同じエッジ角度を持つものが他にない場合、１つ存在する場合の具体的例示についての説明図である。 テクスチャブロック拡大処理部において用いられる強調カーネル（コントラスト強調カーネル）を例示する図である。 エッジブロック拡大処理部の内部構成についての一例を示すブロック図である。 エッジ方向推定部におけるエッジ方向推定処理の具体例を示すフローチャートである。 注目領域について算出されたエッジ角度が「方向０」、「方向４」、それ以外の方向の場合の一例を示す説明図である。 注目領域における推定エッジ方向の一例の説明図である。 エッジパターン選択部で用いるエッジパターンテーブルを例示する説明図である。 注目領域に対応するエッジパターンの選択方法の一例の説明図である。 拡大ブロック生成部で用いられる強調カーネル（エッジ強調カーネル）を例示する説明図である。 拡大ブロック生成部における拡大画像ブロックの生成処理の具体例の説明図である。 （エッジパターン）−（推定エッジ方向）の組み合わせの場合に用いる計算式の一例の説明図である。 注目領域における推定エッジ方向に基づく参照画素ｒ０〜ｒ１３の選択方法の一例の説明図である。 ４×４画素の拡大画像ブロックの生成処理の具体例の説明図である。 高画質画像ブロック生成部で生成された４×４画素の拡大画像ブロックと、高速拡大処理部から出力された拡大画像とを統合する具体例の説明図である。 画像拡大処理の一例を示すフローチャートである。 画像処理システムの機能または画像処理方法をコンピュータプログラムで実現した場合におけるコンピュータプログラム及びそのコンピュータプログラムを格納した記憶媒体の一例の説明図である。 画像処理システムの機能または画像処理方法を実現するコンピュータのハードウェア構成の一例の説明図である。

符号の説明

１…記憶部、２…画像ブロック設定部、３…画像ブロック特徴量算出部、４…テクスチャブロック抽出部、５…高画質画像ブロック生成部、６…高速拡大処理部、７…拡大画像生成部、３０１…プログラム、３０２…コンピュータ、３１１…光磁気ディスク、３１２…光ディスク、３１３…磁気ディスク、３１４…メモリ、３２１…光磁気ディスク装置、３２２…光ディスク装置、３２３…磁気ディスク装置。

Claims (29)

1. 画像データを複数の領域に分割する分割手段と、
   前記分割手段によって分割された前記複数の領域を３以上の種類に分類する分類手段と、
   前記分類手段によって分類された種類毎に異なる処理を行い、前記各々の領域に対する画像処理ブロックを生成する生成手段
   を有することを特徴とする画像処理システム。
2. 前記分割手段によって分割された前記領域毎にエッジ強度を算出するエッジ強度算出手段を有し、
   前記分類手段は、前記エッジ強度算出手段によって算出された前記エッジ強度によって分類すること
   を特徴とする請求項１に記載の画像処理システム。
3. 画像データを複数の領域に分割する分割手段と、
   前記分割手段によって分割された前記各々の領域についてエッジ強度を算出するエッジ強度算出手段と、
   前記エッジ強度算出手段によって算出されたエッジ強度に応じて複数の閾値を設定する閾値設定手段と、
   前記エッジ強度算出手段によって算出された前記各々の領域のエッジ強度と前記閾値設定手段によって設定された閾値とに基づいて前記各々の領域についての処理を行い、前記各々の領域に対する拡大ブロックを生成する生成手段
   を有することを特徴とする画像処理システム。
4. 前記生成手段は、各々の領域から算出される画像特徴量に応じた処理が行われる
   ことを特徴とする請求項１乃至３に記載の画像処理システム。
5. 前記画像特徴量は、各画素の色要素値、前記領域の周辺領域のエッジ強度値及びエッジ角度を少なくとも含むものである
   ことを特徴とする請求項４に記載の画像処理システム。
6. 前記各画素の色要素値が所定の条件を満たす場合は、前記領域から算出される画像特徴量に応じた処理を行わない
   ことを特徴とする請求項５に記載の画像処理システム。
7. 前記領域の周辺領域のエッジ強度が所定以上の条件を満たす場合は、前記領域から算出される画像特徴量に応じた処理を行わない
   ことを特徴とする請求項５に記載の画像処理システム。
8. 前記領域の周辺領域のエッジ角度が所定以上の条件を満たさない場合は、前記領域から算出される画像特徴量に応じた処理を行わない
   ことを特徴とする請求項５に記載の画像処理システム。
9. 注目画素を含む所定の大きさの画像領域の特徴量を算出する領域特徴量算出手段と、
   前記領域特徴量算出手段により算出された特徴量が所定の条件を満たす画像領域を抽出する画像領域抽出手段と、
   前記領域特徴量算出手段により算出された特徴量が所定の条件を満たす画像領域および前記画像領域抽出手段により抽出された画像領域に対して拡大画像領域を生成する拡大画像領域生成手段と、
   前記拡大画像領域生成手段とは異なる拡大手法により入力画像の拡大画像を生成する拡大処理手段と、
   前記拡大画像領域生成手段によって生成された拡大画像領域と、前記拡大処理手段によって生成された拡大画像とに基づいて、入力画像に対する拡大画像を生成する拡大画像生成手段
   を有することを特徴とする画像処理システム。
10. 前記領域特徴量算出手段は、お互いが重なり合う画像領域の特徴量を算出する
    ことを特徴とする請求項９に記載の画像処理システム。
11. 前記領域特徴量算出手段は、前記画像領域内の各画素値から前記画像領域内の階調変化量を前記特徴量として算出する
    ことを特徴とする請求項９に記載の画像処理システム。
12. 前記領域特徴量算出手段は、前記画像領域内の各画素値から前記画像領域内の階調変化方向を前記特徴量として算出する
    ことを特徴とする請求項９に記載の画像処理システム。
13. 前記領域特徴量算出手段は、予め用意された複数のエッジパターンのうち、それぞれの画像領域における階調変化に対応するエッジパターンを前記特徴量として選択する
    ことを特徴とする請求項９に記載の画像処理システム。
14. 前記領域特徴量算出手段は、色空間におけるそれぞれの色成分毎に特徴量を算出し、算出した１つあるいは複数の前記特徴量をもとに前記色空間における１つの色成分のデータを選択し、該色成分のデータにおける前記画像領域の特徴量を前記画像領域の特徴量とする
    ことを特徴とする請求項９に記載の画像処理システム。
15. 前記画像領域抽出手段は、前記画像領域内の各画素の色差情報を用いて画像領域の選別を行う
    ことを特徴とする請求項９に記載の画像処理システム。
16. 前記画像領域抽出手段は、前記画像領域の近傍領域内の前記領域特徴量算出手段により算出された特徴量が所定の条件を満たす画像領域の有無に基づいて画像領域の選別を行う
    ことを特徴とする請求項９に記載の画像処理システム。
17. 前記画像領域抽出手段は、前記領域特徴量算出手段により算出された画像領域とその近傍領域の特徴量の比較結果に基づいて画像領域の選別を行う
    ことを特徴とする請求項９に記載の画像処理システム。
18. 前記拡大画像領域生成手段が用いる所定の条件と前記画像領域抽出手段が用いる所定の条件は異なり、
    前記拡大画像領域生成手段は、前記領域特徴量算出手段により算出された前記特徴量が所定の条件を満たす画像領域と前記画像領域抽出手段で抽出された画像領域とで異なる拡大手法で拡大画像領域を生成する
    ことを特徴とする請求項９に記載の画像処理システム。
19. 前記拡大画像領域生成手段は、前記領域特徴量算出手段で算出された前記特徴量が所定の条件を満たす画像領域に対して前記画像領域の特徴量とともに該画像領域の近傍領域の特徴量および近傍領域内の画素値を用いて前記拡大画像領域を生成する拡大手段を有する
    ことを特徴とする請求項９に記載の画像処理システム。
20. 前記拡大画像領域生成手段は、拡大率に応じてカーネル要素及びカーネル要素間距離が異なるエッジ強調カーネルを用いて、前記画像領域内の画素値を補正し、補正された画素値を用いて前記拡大画像領域を生成する拡大手段を有する
    ことを特徴とする請求項９乃至請求項１１のいずれか１項に記載の画像処理システム。
21. 前記拡大画像領域生成手段は、前記領域特徴量算出手段により算出された階調変化の方向に応じて近傍領域内の画素値を選択し、選択された画素値を用いて前記拡大画像領域を生成する拡大手段を有する
    ことを特徴とする請求項９乃至請求項１１のいずれか１項に記載の画像処理システム。
22. 前記拡大画像領域生成手段は、前記領域特徴量算出手段により算出された特徴量に対応する既定の演算式をもちいて前記拡大画像領域を生成する拡大手段を有する
    ことを特徴とする請求項９乃至請求項１１のいずれか１項に記載の画像処理システム。
23. 前記拡大処理手段は、拡大手法として最近傍補間法を用いる
    ことを特徴とする請求項９に記載の画像処理システム。
24. 前記拡大処理手段は、拡大手法として線形補間法を用いる
    ことを特徴とする請求項９に記載の画像処理システム。
25. 前記拡大処理手段は、入力画像毎あるいは入力画像中の数ライン毎に拡大画像を生成する
    ことを特徴とする請求項９に記載の画像処理システム。
26. 前記拡大画像生成手段は、前記拡大画像領域生成手段で生成された前記拡大画像領域を、前記拡大処理手段で生成された拡大画像上の対応する位置に配置する
    ことを特徴とする請求項９に記載の画像処理システム。
27. 前記拡大画像生成手段は、前記拡大画像領域生成手段で生成された前記拡大画像領域を、前記拡大処理手段で生成された拡大画像上の対応する位置に配置する際に、前記拡大画像上の各画素値を前記拡大画像領域の各画素値で置き換える
    ことを特徴とする請求項９に記載の画像処理システム。
28. 前記拡大画像生成手段は、前記拡大画像領域生成手段で順次生成される前記拡大画像領域が重なり合う場合は、重なる画素値の総和を算出し、前記画素値の総和を重なった数で割ることにより前記拡大画像の画素値を算出する
    ことを特徴とする請求項９に記載の画像処理システム。
29. コンピュータに、請求項１乃至請求項２８のいずれか１項に記載の画像処理システムの機能を実現させることを特徴とする画像処理プログラム。

Images