JP2006344002A - 画像処理装置、エッジ検出装置、画像処理方法、エッジ検出方法及びそのプログラム - Google Patents

Abstract

【課題】 軽い処理負荷で、高画質な拡大画像を高速に得ることができる画像処理装置を提供する。
【解決手段】 画像拡大プログラム４の画像ブロック特徴量算出部４２０は、画像ブロック中の注目領域のエッジ強度を算出し、この注目領域が特徴ブロックであるか非特徴ブロックであるかを判定し、ブロック重畳度を算出する。高画質画像ブロック生成部４３０は、注目領域及びその周辺領域の画像データに対して、コントラスト強調処理を施し、注目領域のエッジパターン及び注目領域の推定エッジ方向等に基づいて、注目領域に対する拡大画像ブロックを生成する。高速拡大処理部４４０は、入力画像データに対して拡大処理を行う。拡大画像生成部４５０は、算出されたブロック重畳度に基づいて、高画質画像ブロック生成部４３０により生成された拡大画像と、高速拡大処理部４４０により拡大された拡大画像を統合する。
【選択図】図１９

Description

本発明は、画像を拡大する画像処理装置に関する。

画像の拡大処理は、画像の編集やファイリング、表示、印刷などを行うシステムにとって、基本的な処理の一つである。また近年、インターネットのホームページ上の画像やデジタルビデオなどのディスプレイ解像度での表示を主目的とした画像データなどの普及により、これらの低解像度画像を高解像度のプリンタなどで印刷することも頻繁に行われている。このプリンタによる印刷の際に、高画質の出力結果を得ることが望まれており、高画質の拡大処理に対する重要度が高まっている。

カラーを含む多階調で表現された画像（以下では、これを多値画像と称する）を拡大処理する既存の代表的な手法としては、最近傍法や線形補間法、キュービック・コンボリューション法などがある。最近傍法は、拡大後の各画素値として、その画素を原画像上に逆写像した際に最も距離が近い画素の画素値を使う方法である。この方法は、演算量が少ないため、高速に処理することができる。しかし、原画像の１画素がそのまま矩形形状に拡大されるため、隣り合う画素の画素値の差が小さい場合は、画質劣化の程度は小さくほとんど影響はないが、逆に大きい場合などは、斜線部やエッジ部のジャギーが目立ったり、倍率が大きい場合には、画像がモザイク状になるなど、画質劣化の程度は大きい。

線形補間法は、画素間の画素値が直線的に変化していると仮定し、拡大後の画素を逆写像した点の近傍４画素の画素値を線形に補間して画素値を求める方法である。この方法では、最近傍法よりも処理は重いが、演算量は比較的少なく、ジャギーなども発生しにくい。その一方で、直線的に変化しているという仮定に当てはまらないエッジ部分を中心に、画像全体がボケ気味になるという欠点がある。

キュービック・コンボリューション法は、標本化定理に基づいてｓｉｎｃ関数（ｓｉｎ（ｘ）／ｘ）を近似した補間関数を定義し、拡大後の画素を逆写像した点の近傍１６画素（Ｘ、Ｙ方向それぞれ４画素）と前記の近似補間関数との畳み込み演算により、拡大後の画素値を求める方法である。この方法では、前記２つの手法に比べて画質は比較的良いが、参照範囲が大きく、演算量が多いという欠点がある。また、高域が強調気味となる特性を持つため、エッジ部分で軽いジャギーが発生したり、ノイズ成分が強調されてしまうなどの欠点もある。

これら拡大画像の画質問題を解決する試みとして、例えば、特許文献１、特許文献２などの新規方式が提案されている。
特許文献１に記載されている技術は、原画像の変化度合いの検出法として、エッジ検出フィルタによるエッジ検出を行い、そのエッジ検出結果に基づいてエッジ画素を定義する。そして、この方法は、エッジ画素と判断された場合には、キュービック・コンボリューション法の３次関数形状を調整したＭ−キュービック法で拡大を行い、そうでない場合には、最近傍法で拡大する。しかし、変化度合いの大きいエッジ部分を、キュービック・コンボリューション法の３次関数形状よりもエッジを強調するように調整したＭ−キュービック法で行うので、エッジ部でジャギーが発生したり、エッジ部周辺のオーバーシュートあるいはアンダーシュートが増大するという欠点がある。

特許文献２に記載されている技術は、ＤＣＴの正変換、逆変換を繰り返し行いながら高周波成分を復元して拡大する手法である。さらに、この手法は、平坦部分に生じるリンギングを抑制するために、平坦部分領域においては、原画像をバイリニア法やキュービック法で補間拡大した画像を参照画像とし、参照画像の対応する領域との誤差を許容偏差に制限する処理を行う。しかし、本特許は、ＤＣＴの正変換、逆変換を繰り返し行う反復法を基本としており、画像中の大部分を占める平坦部のリンギングを抑制するための参照処理など、演算量が非常に多い。

また、画像のエッジ部分のアンダーシュート、オーバーシュートを抑制する試みとして、特許文献３の方式が提案されている。特許文献３に記載されている技術は、エッジ部を示す指標として分散値を用いて、分散値がある閾値より大きいエッジ部では、強調係数がより小さくなるように補正して高域強調処理を行うことにより、過度の強調（アンダーシュートやオーバーシュートの発生）を抑制する。しかし、この手法を画像の拡大処理に用いた場合、オーバーシュート、アンダーシュートはある程度抑制されうるが、エッジ部分がボケることは防がれない。

特開２０００−１８８６８１号公報 特許第３４０４１３８号 特開平９−９３４３９号公報

本発明は、上述した背景からなされたものであり、画像を高画質に拡大する画像処理装置を提供することを目的とする。

上記目的を達成するために、本発明にかかる画像処理装置は、入力画像の拡大処理を行う画像処理装置であって、注目画素を含む所定の大きさの画像領域の特徴量を算出する領域特徴量算出手段と、前記領域特徴量算出手段により算出された画像領域の特徴量に基づいて、この画像領域に対応する拡大画像領域を生成する拡大画像領域生成手段と、前記拡大画像領域生成手段とは異なる拡大手法を適用して、入力画像の拡大画像を生成する拡大処理手段と、前記領域特徴量算出手段により算出された特徴量が所定の条件を満たす画像領域が重畳する場合、その重畳する度合いに基づいて、前記拡大画像領域生成手段により生成された拡大画像領域の生成値を補正し、この拡大画像領域と、前記拡大処理手段により生成された拡大画像とに基づいて、入力画像に対する拡大画像を生成する拡大画像生成手段とを有する。

好適には、前記領域特徴量算出手段は、画像領域内の各画素値に基づいて、画像領域における階調変化量を算出し、この階調変化量を画像領域の特徴量とする。
好適には、前記領域特徴量算出手段は、画像領域内の各画素値に基づいて、画像領域における階調変化方向を算出し、この階調変化方向を画像領域の特徴量とする。

好適には、前記領域特徴量算出手段は、画像領域内の各画素値に基づいて、画像領域における階調変化を算出し、この階調変化が既定の画素値パターンに対応する場合に、この画素値パターンを画像領域の特徴量として選択する。
好適には、前記領域特徴量算出手段は、色空間における色成分それぞれについて特徴量を算出し、算出された特徴量に基づいて１つの色成分を選択し、この色成分について算出された特徴量を画像領域の特徴量とする。

好適には、前記拡大画像領域生成手段は、前記領域特徴量算出手段により算出された画像領域の特徴量が所定の条件を満たす場合に、画像領域の特徴量と、この画像領域の近傍領域の特徴量と、この近傍領域内の画素値とを用いて、拡大画像領域を生成する。
好適には、前記拡大画像領域生成手段は、階調変化を強調するエッジ強調処理を拡大率に応じて行って、画像領域内の画素値を補正し、補正された画素値を用いて拡大画像領域を生成する。

好適には、前記拡大画像領域生成手段は、前記領域特徴量算出手段により算出された階調変化方向に応じて、画像領域の近傍領域内の画素値を選択し、選択された画素値を用いて拡大画像領域を生成する。
好適には、前記拡大画像領域生成手段は、前記領域特徴量算出手段により算出された特徴量に対応する既定の演算式を用いて、拡大画像領域を生成する。

好適には、前記拡大処理手段は、少なくとも最近傍補間法に基づいた拡大手法を適用する。
好適には、前記拡大処理手段は、少なくとも線形補間法に基づいた拡大手法を適用する。
好適には、前記拡大処理手段は、入力画像毎あるいは入力画像中の数ライン毎に、拡大画像を生成する。

好適には、前記拡大画像生成手段は、前記拡大画像領域生成手段により生成された拡大画像領域を、前記拡大処理手段により生成された拡大画像上の対応する位置に配置する。
好適には、前記拡大画像生成手段は、前記拡大画像領域生成手段により生成された前記拡大画像領域の生成値を、前記拡大処理手段により生成された拡大画像上の対応する位置の画素値を用いて補正する。

好適には、前記拡大画像生成手段は、前記拡大画像領域生成手段により生成された拡大画像領域の生成値と、前記拡大処理手段により生成された拡大画像上の対応する位置の画素値とを、所定の割合で線形和した値を用いて、この画素値を補正する。
好適には、前記拡大画像生成手段は、複数の画像領域において前記領域特徴量算出手段により算出された画像領域の特徴量が所定の条件を満たし、これらの画像領域が互いに重畳する場合、これらの画像領域が重畳する度合いに基づいて、線形和の割合を決定する。

好適には、前記拡大画像生成手段は、前記領域特徴量算出手段により算出された画像領域の特徴量と、この画像領域と重畳する画像領域の特徴量とに基づいて、入力画像のエッジ部及びエッジ周辺部を判定する。
好適には、前記拡大画像生成手段は、複数の画像領域において前記領域特徴量算出手段により算出された画像領域の特徴量が所定の条件を満たし、これらの画像領域が互いに重畳する場合、これらの画像領域が重畳する度合いが所定値以上である画像部分を、エッジ部と判定する。
好適には、前記拡大画像生成手段は、複数の画像領域において前記領域特徴量算出手段により算出された画像領域の特徴量が所定の条件を満たし、これらの画像領域が互いに重畳する場合、これらの画像領域が重畳する度合いが所定値以下である画像部分を、エッジ周辺部と判定する。

また、好適には、前記拡大画像生成手段は、前記拡大画像領域生成手段により生成された拡大画像領域で、エッジ部に対応する画像部分の生成値を、前記拡大処理手段により生成された拡大画像の対応する位置に配置する。
また、好適には、前記拡大画像生成手段は、前記拡大画像領域生成手段により生成された拡大画像領域で、エッジ周辺部に対応する画像部分の生成値と、前記拡大処理手段により生成された拡大画像の対応する位置の画素値とを用いて、この画素値を補正する。
さらに、好適には、前記拡大画像生成手段は、前記拡大画像領域生成手段により生成された拡大画像領域で、エッジ部及びエッジ周辺部のいずれにも対応しない画像部分には、前記拡大処理手段により生成された拡大画像上の対応する位置の画素値を用いる。

また、本発明にかかるエッジ検出措置は、入力画像のエッジを検出するエッジ検出装置であって、注目画素を含む所定の大きさの画像領域の特徴量を算出する領域特徴量算出手段と、前記領域特徴量算出手段により算出された画像領域の特徴量と、この画像領域と重畳する画像領域の特徴量とに基づいて、入力画像のエッジ部及びエッジ周辺部を判定する判定手段とを有する。

好適には、前記判定手段は、複数の画像領域において前記領域特徴量算出手段により算出された画像領域の特徴量が所定の条件を満たし、これらの画像領域が互いに重畳する場合、これらの画像領域が重畳する度合いが所定値以上である画像部分を、エッジ部と判定する。
好適には、前記判定手段は、複数の画像領域において前記領域特徴量算出手段により算出された画像領域の特徴量が所定の条件を満たし、これらの画像領域が互いに重畳する場合、これらの画像領域が重畳する度合いが所定値以下である画像部分を、エッジ周辺部と判定する。

また、本発明にかかる画像処理方法は、入力画像の拡大処理を行う画像処理方法であって、注目画素を含む所定の大きさの画像領域の特徴量を算出し、前記算出された画像領域の特徴量に基づいて、この画像領域に対応する拡大画像領域を生成し、前記生成とは異なる拡大手法を適用して、入力画像の拡大画像を生成し、前記算出された特徴量が所定の条件を満たす画像領域が重畳する場合、その重畳する度合いに基づいて、前記生成された拡大画像領域の生成値を補正し、この拡大画像領域と、前記生成された拡大画像とに基づいて、入力画像に対する拡大画像を生成する。

また、本発明にかかるエッジ検出方法は、入力画像のエッジを検出するエッジ検出方法であって、注目画素を含む所定の大きさの画像領域の特徴量を算出し、前記算出された画像領域の特徴量と、この画像領域と重畳する画像領域の特徴量とに基づいて、入力画像のエッジ部及びエッジ周辺部を判定する。

また、本発明にかかる第１のプログラムは、コンピュータを含み、入力画像の拡大処理を行う画像処理装置において、注目画素を含む所定の大きさの画像領域の特徴量を算出する領域特徴量算出ステップと、前記算出された画像領域の特徴量に基づいて、この画像領域に対応する拡大画像領域を生成する拡大画像領域生成ステップと、前記生成とは異なる拡大手法を適用して、入力画像の拡大画像を生成する拡大処理ステップと、前記算出された特徴量が所定の条件を満たす画像領域が重畳する場合、その重畳する度合いに基づいて、前記生成された拡大画像領域の生成値を補正し、この拡大画像領域と、前記生成された拡大画像とに基づいて、入力画像に対する拡大画像を生成する拡大画像生成ステップとを前記画像処理装置のコンピュータに実行させる。

さらに、本発明にかかる第２のプログラムは、コンピュータを含む入力画像のエッジを検出するエッジ検出装置でおいて、注目画素を含む所定の大きさの画像領域の特徴量を算出する領域特徴量算出ステップと、前記算出された画像領域の特徴量と、この画像領域と重畳する画像領域の特徴量とに基づいて、入力画像のエッジ部及びエッジ周辺部を判定する判定ステップとを前記エッジ検出装置のコンピュータに実行させる。

本発明の画像処理装置によれば、軽い処理負荷で、高画質な拡大画像を高速に得ることができる。

［ハードウェア構成］
本実施形態における画像処理装置２のハードウェア構成を説明する。
図１は、本発明にかかる画像処理方法が適応される画像処理装置２のハードウェア構成を、制御装置２０を中心に例示する図である。
図１に例示するように、画像処理装置２は、ＣＰＵ２０２及びメモリ２０４などを含む制御装置２０、通信装置２２、ＨＤＤ・ＣＤ装置などの記憶装置２４、並びに、ＬＣＤ表示装置あるいはＣＲＴ表示装置及びキーボード・タッチパネルなどを含むユーザインターフェース装置（ＵＩ装置）２６を有する。
画像処理装置２は、例えば、画像拡大プログラム４（図２を参照して後述）がインストールされた汎用コンピュータであり、通信装置２２又は記憶装置２４などを介して画像データを取得し、取得された画像データを出力解像度に応じて拡大する。例えば、画像処理装置２は、プリンタ装置１０に対して画像データを出力する場合には、６００ｄｐｉ又は２４００ｄｐｉなどの解像度に変換し、ＵＩ装置２６に対して画像データを出力する場合には、７５ｄｐｉなどの解像度に変換する。

［画像拡大プログラム］
図２は、制御装置２０（図１）により実行され、本発明にかかる画像処理方法を実現する画像拡大プログラム４の機能構成を示す図である。
図２に示すように、画像拡大プログラム４は、記憶部４００、画像ブロック設定部４１０、画像ブロック特徴量算出部４２０、高画質画像ブロック生成部４３０、高速拡大処理部４４０及び拡大画像生成部４５０を有する。また、画像ブロック特徴量算出部４２０は、エッジ強度算出部４２２、エッジ方向推定部４２４及びエッジパターン選択部４２６を有し、拡大画像生成部４５０は、ブロック重畳度判定部４５２及び出力値補正部４５４を有する。
なお、画像拡大プログラム４の全部又は一部は、ＡＳＩＣなどのハードウェアにより実現されてもよい。

記憶部４００は、画像データが拡大処理されるまで画像データを一時的に記憶し、解像度変換又は拡大処理された拡大画像データが出力装置（不図示）に出力されるまで一時的に記憶する。なお、画像データは、画像処理装置２により処理可能である画像フォーマット（例えば、ＢＭＰ、ＴＩＦＦ、ＰＮＧなど）で記述されたデータであり、デジタルカメラ（不図示）又はスキャナ（不図示）などにより取り込まれた画像データ、又は、パーソナルコンピュータ（画像処理装置２など）等において作成又は編集等を行うアプリケーションプログラムにより作成された画像データ等である。拡大画像データ（拡大された後の画像データ）もまた、同様の画像フォーマットのデータである。

画像ブロック設定部４１０は、画像ブロック特徴量算出部４２０及び高画質画像ブロック生成部４３０の処理において必要とされる既定の画像ブロックサイズをそれぞれ設定する。また、画像ブロック設定部４１０は、記憶部４００により記憶されている入力画像データから、設定されたブロックサイズの画像ブロックを順次（例えばラスタスキャン順に）切り出し、このブロックサイズの画像ブロックそれぞれを、画像ブロック特徴量算出部４２０及び高画質画像ブロック生成部４３０それぞれに対して出力する。

画像ブロック特徴量算出部４２０は、画像ブロック設定部４１０から順次入力される画像ブロックの少なくとも一部である注目領域における画像特徴量を、注目領域又はこの注目領域の周辺部を含む画像ブロック内の各画素値に基づいて算出する。画像特徴量は、例えば、注目領域のエッジ強度（階調変化量）又はエッジ角度（階調変化の方向）である。しかし、画像特徴量はこれらに限られない。画像ブロック特徴量算出部４２０は、例えば、注目領域の各画素値の平均値を算出し、この平均値に対する注目領域の各画素値のばらつきを表す値（例えば標準偏差又は分散）を画像特徴量として算出してもよい。

また、画像ブロック特徴量算出部４２０は、それぞれの注目領域について算出された画像特徴量と基準値とを比較し、注目領域の切り分けを行う。注目領域の切り分けにより、特徴のある画像ブロック（例えば、エッジを含んだ画像ブロックなど）と、特徴の少ない画像ブロック（例えば、画素値変化の少ない画像ブロックなど）とが切り分けられる。より具体的には、画像ブロック特徴量算出部４２０は、算出された画像特徴量が基準値以上である画像ブロックを特徴ブロックと判定し、算出された画像特徴量が基準値未満である画像ブロックを非特徴ブロックと判定する。
本例では、画像ブロック特徴量算出部４２０は、画像特徴量の１つとして画像ブロックのエッジ強度（数値）を算出し、算出されたエッジ強度が基準値以上である画像ブロックを特徴ブロックであると判定し、エッジ強度が基準値未満である画像ブロックを非特徴ブロックであると判定する。なお、特徴ブロックの切り分けに用いられる特徴量は、エッジ強度に限られず、例えば注目領域の平均値に対する注目領域の各画素値のばらつきを表す値である標準偏差、分散又はその他の特徴量であってもよい。

高画質画像ブロック生成部４３０は、画像ブロック特徴量算出部４２０により算出された画像特徴量を用いて、注目領域に対応する拡大画像ブロックを生成する。高画質画像ブロック生成部４３０における拡大処理には、注目領域に含まれる特徴を保持する拡大手法が適用されることが望ましい。また、高画質画像ブロック生成部４３０は、画像ブロック特徴量算出部４２０により算出された特徴量が基準値以上である画像ブロック（すなわち、特徴ブロック）についてのみ、拡大処理を行う。

高速拡大処理部４４０は、記憶部４００により記憶されている入力画像データを拡大する。高速拡大処理部４４０は、高画質画像ブロック生成部４３０による拡大処理よりも処理負荷の小さい拡大アルゴリズムを適用する。具体的には、高速拡大処理部４４０は、例えば、最近傍補間拡大法や線形補間拡大法などを適用して、入力画像データを拡大する。また、高速拡大処理部４４０は、画像ブロック毎の処理ではなく、入力画像単位又は入力画像の数ライン単位で拡大処理を行う。

拡大画像生成部４５０は、高画質画像ブロック生成部４３０により拡大された拡大画像ブロックと、高速拡大処理部４４０により拡大された拡大画像とを用いて、原画像に対する拡大画像を生成する。より具体的には、拡大画像生成部４５０は、画像ブロック特徴量算出部４２０により算出された画像特徴量が基準値以上である画像ブロック（特徴ブロック）が重なり合う場合には、その重なり数に従い、高画質画像ブロック生成部４３０により拡大された拡大画像ブロックの各々の画素値を、高速拡大処理部４４０により拡大された拡大画像の相当する位置の画素値に基づいて補正することにより、拡大画像を生成する。

［画像ブロック特徴量算出部］
次に、画像ブロック特徴量算出部４２０を、より詳細に説明する。なお、注目領域が２×２画素サイズブロックであり、注目領域を含む周辺領域が４×４画素サイズブロックである場合を具体例として説明する。
エッジ強度算出部４２２は、画像ブロック設定部４１０により切り出された画像ブロックの中の注目領域のエッジ強度Ｇを、次の式（１）により算出する。

ｇｘ＝（ａ＋ｃ−ｂ−ｄ）／２
ｇｙ＝（ａ＋ｂ−ｃ−ｄ）／２
Ｇ＝ｇｘ×ｇｘ＋ｇｙ×ｇｙ・・・（１）

式（１）において、ａ、ｂ、ｃ及びｄは、図６に例示するように、注目領域にある各画素の画素値である。ｇｘは、主走査方向（図６の左右方向）の画素値の変化量を示し、ｇｙは、副走査方向（図６の上下方向）の画素値の変化量を示す。
なお、エッジ強度は、上記式（１）のみにより算出される値でなく、以下の式（２）などにより算出されてもよい。
Ｇ＝｜ｇｘ｜＋｜ｇｙ｜・・・（２）
すなわち、エッジ強度Ｇは、ｇｘの絶対値と、ｇｙの絶対値との和として算出されてもよい。

また、エッジ強度算出部４２２は、算出されたエッジ強度Ｇと基準値（既定のしきい値Ｔｈ）との比較を行い、注目領域が特徴ブロック又は非特徴ブロックのいずれであるかを判定し、判定結果を高画質画像ブロック生成部４３０等に対して出力する。
なお、注目領域のエッジ強度Ｇがしきい値Ｔｈよりも小さい場合は、エッジ方向推定部４２４及びエッジパターン選択部４２６は、この注目領域について処理を行わない。

図３は、エッジ強度算出部４２２において、エッジ強度Ｇと基準値との比較により特徴ブロックと判定された領域を例示する。
図４は、互いに重なり合う特徴ブロックを例示する。
図３に例示するように、特徴ブロックは、原画像中のエッジ付近に集中する。さらに、画像ブロック特徴量算出部４２０が、注目領域の画像特徴量を、１画素づつ主走査方向及び副走査方向にずらしながら算出すると、図４に例示するように、原画像中のエッジ付近においては、特徴ブロックは互いに重なり合う。

図５は、特徴ブロック同士の重なり数（ブロック重畳度）を例示する。
図５に例示するように、ブロック重畳度の範囲は、例えば１〜４であり、エッジ強度算出部４２２は、このブロック重畳度も算出し、算出結果を高画質画像ブロック生成部４３０及び拡大画像生成部４５０に対して出力する。
ブロック重畳度が算出されると、原画像中のエッジ付近において、エッジ領域とエッジ周辺領域とが区別される。より具体的には、ブロック重畳度が小さい領域は、エッジ周辺領域であると区別され、ブロック重畳度が大きい領域は、エッジ領域であると区別される。

エッジ方向推定部４２４について説明する。
図６は、注目領域及び周辺領域の具体例と、注目領域のエッジ方向の一例の説明図であり、図６（Ａ）は、注目領域及び周辺領域を例示し、図６（Ｂ）は、この注目領域について推定されるエッジ方向を例示する図である。
図６（Ａ）に例示するように、注目領域（画像領域）は、２×２の矩形領域（主走査方向及び副走査方向にそれぞれ２つ）を有し、周辺領域は、４×４の矩形領域（主走査方向及び副走査方向にそれぞれ４つ）を有する。各矩形は、それぞれ画素に相当し、矩形内の各数字はそれぞれの画素値を示している。すなわち、注目領域は、中心部近傍の画素｛ａ，ｂ，ｃ，ｄ｝＝｛１５，１０４，８６，２０３｝である。
以下、この図６（Ａ）で例示する注目領域を具体例として、エッジ方向推定部４２４によるエッジ方向推定処理を説明する。

図７は、エッジ方向推定部４２４によるエッジ方向推定処理（Ｓ１０）を示すフローチャートである。
図８は、エッジ方向推定処理（Ｓ１０）のＳ１０２の処理において選択される参照領域を例示する図である。なお、図８におけるハッチングされた部分は、図６に示した注目領域に相当する。
図７に示すように、ステップ１００（Ｓ１００）において、エッジ方向推定部４２４は、図６（Ａ）に例示した注目領域のエッジ角度Θを、次の式（３）で計算する。
Θ＝arctan（ｇｙ／ｇｘ）・・・（３）
図６（Ａ）では、注目領域の画素値は、｛ａ，ｂ，ｃ，ｄ｝＝｛１５，１０４，８６，２０３｝であり、式（１）より、
ｇｘ＝−１０３
ｇｙ＝−８５
となり、これらを式（３）に代入すると、
Θ＝−１４０．５°
となる。
このエッジ角度Θの方向は、図６（Ｂ）に示された破線方向に相当する。

さらに、エッジ方向推定部４２４は、算出されたエッジ角度Θが２２．５°ごとに区分された方向（８方向）の角度範囲のいずれに含まれるかを判定する。本例では、エッジ角度Θが０°又は±１８０°を中心とした角度範囲を「方向０」とし、２２．５°又は−１５７．５°を中心とした角度範囲を「方向１」とし、４５°又は−１３５°を中心とした角度範囲を「方向２」とし、６７．５°又は−１１２．５°を中心とした角度範囲を「方向３」とし、９０°又は−９０°を中心とした角度範囲を「方向４」とし、１１２．５°又は−６７．５°を中心とした角度範囲を「方向５」とし、１３５°又は−４５°を中心とした角度範囲を「方向６」とし、１５７．５°又は−２２．５°を中心とした角度範囲を「方向７」する。これらの角度範囲は、それぞれの中心から±１１．２５°の範囲である。上述の具体例におけるエッジ角度Θ（＝−１４０．５°）は、−１３５°±１１．２５°の範囲内に含まれるので、エッジ角度は「方向２」となる。

ステップ１０２（Ｓ１０２）において、エッジ方向推定部４２４は、算出された注目領域のエッジ角度Θに応じて、図６（Ａ）に示した周辺領域（太線枠外の領域）の中からエッジ方向の推定に用いる参照領域を選択する。より具体的には、エッジ方向推定部４２４は、算出されたエッジ角度Θの方向で注目領域と隣接する可能性のある画素を含むように、参照領域を選択する。
例えば、エッジ方向推定部４２４は、注目領域について算出されたエッジ角度が「方向０」に含まれる場合に、図８（Ａ）に例示する参照領域（太線で囲まれた２つの領域）を選択し、算出されたエッジ角度が「方向４」に含まれる場合に、図８（Ｂ）に例示する参照領域（太線で囲まれた２つの領域）を選択し、算出されたエッジ角度が上記以外の方向（方向１〜３、方向５〜７）に含まれる場合に、図８（Ｃ）に例示する参照領域（太線で囲まれた４つの領域）を選択する。図６に示した具体例では、エッジ角度の方向は「方向２」であるので、図８（Ｃ）に示した４つの参照領域が選択の候補となる。
なお、参照領域は、図８に例示した領域に限定されず、例えば図８（Ｃ）の場合には、参照領域数は８であったり、それぞれの方向に応じて設定されてもよい。

ステップ１０４（Ｓ１０４）において、エッジ方向推定部４２４は、選択された参照領域それぞれに対して、Ｓ１００の処理と同様に、式（１）及び式（３）に従って、エッジ角度Θを計算する。
ステップ１０６（Ｓ１０６）において、エッジ方向推定部４２４は、それぞれの参照領域について算出されたエッジ角度と、注目領域について算出されたエッジ角度とを比較して、これらの差分が予め設定されている閾値Θｔｈより小さいか否かを判断する。エッジ方向推定部４２４は、エッジ角度の差分が閾値Θｔｈより小さい場合には、この参照領域のエッジ角度を適正なエッジ角度として判定してＳ１０８の処理に移行し、エッジ角度の差分が閾値Θｔｈ以上である場合には、この参照領域のエッジ角度を適正なエッジ角度ではないと判定してＳ１１０の処理に移行する。

ステップ１０８（Ｓ１０８）において、エッジ方向推定部４２４は、角度参照数をインクリメントする。すなわち、エッジ方向推定部４２４は、参照領域について算出されたエッジ角度が適正なエッジ角度であると判断された場合にのみ、角度参照数をインクリメントする。
なお、角度参照数は、エッジ角度の参照数をカウントするための変数であり、注目領域ごとに「角度参照数１」に初期化される。

ステップ１１０（Ｓ１１０）において、エッジ方向推定部４２４は、選択した全ての参照領域についてエッジ角度を算出したか否かを判断し、全ての参照領域についてエッジ角度が算出された場合には、Ｓ１１２の処理に移行し、これ以外の場合には、Ｓ１０４の処理に戻って次の参照領域についてエッジ角度を算出する。
ステップ１１２（Ｓ１１２）において、エッジ方向推定部４２４は、注目領域のエッジ角度と、適正なエッジ角度として判定された参照領域のエッジ角度との総和を計算し、算出されたエッジ角度の総和を角度参照数で割った平均エッジ角度を注目領域の推定エッジ方向とする。

なお、図６に示した具体例では、エッジ角度ΘＵは、上部の参照領域｛８６，２０３，１７１，２１１｝からΘＵ＝−１４９．４°となり、エッジ角度ΘＬは、左部の参照領域｛１０，１５，２０，８６｝からΘＬ＝−１３１．２°となり、エッジ角度ΘＤは、下部の参照領域｛１，１０２，１５，１０４｝からΘＤ＝−１７５．２°となり、エッジ角度ΘＲは、右部の参照領域｛１０４，２１５，２０３，２１９｝からΘＲ＝−１４１．０°となる。注目領域のエッジ角度Θ＝−１４０．５°とそれぞれの参照領域のエッジ角度とが比較され、その差分が閾値Θｔｈより小さい参照領域の数が、角度参照数としてカウントされる。

図９は、図６に示した注目領域における推定エッジ方向の一例の説明図である。例えば上述の具体例において、すべての参照領域について注目領域のエッジ角度との差分が閾値Θｔｈより小さいとすれば、注目領域及び４つの参照領域から求められたエッジ角度の総和は−７３７．３°となり、角度参照数５で割ることによって、平均エッジ角度は−１４７．５°と求められる。この場合においても、エッジ方向推定部４３４は、上述の注目領域のエッジ方向と同様に、平均エッジ角度が例えば８方向のいずれかに含まれるかを判定する。本例では、平均エッジ角度が−１４７．５°であるため「方向１」に含まれ、「方向１」が推定エッジ方向となる。

なお、本実施形態では、１画素につき１色要素であるグレースケール画像を具体例として説明しているが、これに限定されるわけではない。例えば、１画素につき３色要素のＲＧＢ色空間のカラー画像が入力される場合には、各々の色成分のデータにおけるエッジ強度Ｇｒ、Ｇｇ、Ｇｂの強さにより選択された色空間データにより、上記のエッジ方向推定処理が行われればよい。より具体的には、画像ブロック特徴量算出部４２０は、それぞれの色成分についてエッジ強度を算出し、算出されたエッジ強度Ｇｒ、Ｇｇ、Ｇｂが最大となる色成分を選択して、選択された色成分についてのみ特徴量を算出する。このようにして、カラー画像における拡大画像データのエッジ部の色ずれなど、画質低下が抑えられることが可能となる。
また、本例では、注目領域及び参照領域について、式（１）により算出されたエッジ角度は、８方向のいずれかに分類されたが、分類は８方向に限定されず、より精度の高いエッジ方向が必要であれば、分類は、１２方向（１５．０°ごと）、１６方向（１２．２５°ごと）など、さらに多数の角度領域を対象としてなされてもよい。

エッジパターン選択部４２６について説明する。
図１０は、エッジパターン選択部４２６により用いられるエッジパターンテーブルを例示する図である。
図１０に例示するように、エッジパターン選択部４２６は、推定エッジ方向とエッジパターンとを互いに対応付けたエッジパターンテーブルを有する。エッジパターンテーブルには、エッジパターンが、注目領域のパターンサイズに対応して、推定エッジ方向（例えば８方向）ごとに１つ以上登録されている。
エッジパターン選択部４２６は、このエッジパターンテーブルを参照して、エッジ方向推定部４２４によりそれぞれの注目領域について推定された推定エッジ方向に対応するエッジパターンを選択する。
本例では、図９に例示するように、注目領域に対する推定エッジ方向が、エッジ方向推定部４２４により「方向１」であると推定されているため、エッジパターン選択部４２６は、この推定エッジ方向（方向１）に従い、図１０に示すエッジパターンテーブルの中から、方向１に対応する「パターン０」から「パターン３」までの４つのエッジパターンを選択し、これらをこの注目領域に対するエッジパターンの候補とする。

エッジパターン選択部４２６は、注目領域の画素値に基づいて、エッジパターンの候補となった１つ以上のエッジパターンの中から、１つのエッジパターンを選択する。エッジパターンの具体的な選択方法について、図１１を参照しながら説明する。
図１１は、図１０に示した注目領域に対応するエッジパターンの選択方法を説明する図である。
本例では、推定エッジ方向が「方向１」であったため、図１１（Ａ）に例示するように、エッジパターンの候補として、「パターン０」から「パターン３」までの４つのエッジパターンが選択されている。これらのエッジパターンは、図１１（Ｂ）に例示するように、ビットパターンとして表現される。具体的には、エッジパターンは、白部分を０、それ以外を１としてビットパターン化され、「ビットパターン０」から「ビットパターン３」までのビットパターンが生成される。なお、これらのビットパターンは、図１０に示すエッジパターンテーブルにビットテーブルとして予め登録されていてもよい。

エッジパターン選択部４２６は、注目領域に相当するビットパターンを判定する。具体的には、エッジパターン選択部４２６は、以下に示す式（４）に従い、注目領域中の平均画素値を計算し、注目領域内の各々の画素値から平均値を引き、その符号を以て注目領域の画素値パターンとする。

Ｍｅａｎ＝（ａ＋ｂ＋ｃ＋ｄ）／４
ａ＿ｓｉｇｎ＝ａ−Ｍｅａｎ
ｂ＿ｓｉｇｎ＝ｂ−Ｍｅａｎ
ｃ＿ｓｉｇｎ＝ｃ−Ｍｅａｎ
ｄ＿ｓｉｇｎ＝ｄ−Ｍｅａｎ・・・（４）

なお、本例では、図１１（Ｃ）に示すように、Ｍｅａｎ＝（１５＋１０４＋８６＋２０３）／４＝１０２であり、ａ＿ｓｉｇｎ＝−８７、ｂ＿ｓｉｇｎ＝２、ｃ＿ｓｉｇｎ＝−１６、ｄ＿ｓｉｇｎ＝１０１となる。よって、エッジパターン選択部４２６は、これらの正負符号を判定して、図１１（Ｃ）に示すように、注目領域のビットパターン（１０１０）を生成する。
エッジパターン選択部４２６は、図１１（Ｂ）に例示するエッジパターン候補に対応するビットパターンと、図１１（Ｃ）に例示する注目領域のビットパターンとのパターンマッチングを行い、最も類似するエッジパターンを選択パターンとして決定する。選択されたエッジパターンは、後述する高画質画像ブロック生成部４３０における拡大画像ブロック生成処理に適用される。

なお、エッジパターンは、図１０に示したエッジパターンに限定されず、例えば、エッジパターン選択部４２６は、入力画像データの種類に応じて、エッジパターンテーブルを切り替えて、異なるエッジパターンを適用してもよい。また、エッジパターン選択部４２６は、各角度におけるエッジパターン候補数を増減させてもよい。

［高画質画像ブロック生成部］
次に、高画質画像ブロック生成部４３０をより詳細に説明する。
高画質画像ブロック生成部４３０は、画像ブロック特徴量算出部４２０において、特徴ブロックであると判定された注目領域に対して、画像ブロック特徴量算出部４２０により得られた注目領域に対するエッジパターン及び推定エッジ方向に基づいて、拡大画像ブロック生成処理を行う。
高画質画像ブロック生成部４３０は、まず、拡大処理の拡大倍率に応じたサイズ及び係数の強調カーネルを用いて、画像ブロック設定部４１０により切り出された画像ブロック中の注目領域およびその周辺領域の画像データのコントラストを強調する。

図１２は、高画質画像ブロック生成部４３０により用いられる強調カーネル４３２（エッジ強調カーネル）を例示する図である。
図１２に例示するように、第１の強調カーネル４３２ａは、重み付け係数「１．６０」及び「−０．１５」を用いてコントラストを強調し、第２の強調カーネル４３２ｂは、重み付け係数「１．２０」及び「−０．０５」を用いてコントラストを強調する。これらの強調カーネルは、対象画像に対して既になされた拡大処理の拡大倍率に対応付けられており、互いに異なる重み付け係数を用いて、互いに異なる位置の画素値を参照する。

第１の強調カーネル４３２ａは、図１２（Ａ）に例示するように、注目画素Ｐの直下画素ａ、直右画素ｂ、直上画素ｃ及び直左画素ｄを参照して、これらの画素の画素値にそれぞれ重み付け係数（−０．１５）を掛け合わせ、重み付け係数（１．６０）が掛けられた注目画素Ｐの画素値と合算し、合算された値を注目画素Ｐの画素値とする。
第２の強調カーネル４３２ｂは、第１の強調カーネル４３２ａよりも拡大倍率の大きな画像に対して適用され、図１２（Ｂ）に例示するように、注目画素Ｐから１画素分離間した下画素ａ、右画素ｂ、上画素ｃ及び左画素ｄを参照して、これらの画素の画素値にそれぞれ重み付け係数（−０．０５）を掛け合わせ、重み付け係数（１．２０）が掛けられた注目画素Ｐの画素値と合算し、合算された値を注目画素Ｐの画素値とする。
例えば、第１の強調カーネル４３２ａを適用する場合に、以下の式（５）に従って、コントラスト強調後の画素値Ｐ’が算出される。
画素値Ｐ’＝１．６０×Ｐ−０．１５×（ａ＋ｂ＋ｃ＋ｄ）・・・（５）

このように、強調カーネルは、既になされた拡大処理の拡大倍率に応じて異なるので、画像が、４倍、８倍と順に拡大されると、原画像の特徴を有している画素は、２画素、４画像離れた位置の画素となる。そのため、高画質画像ブロック生成部４３０は、図１２に例示するように、拡大倍率が高いほど離れた画素を参照して強調処理を行う。例えば、高画質画像ブロック生成部４３０は、２倍拡大処理を２回連続して適用することにより４倍拡大が実現される場合に、最初の２倍拡大処理において第１の強調カーネル４３２ａ（図１２（Ａ））を適用し、２回目の２倍拡大処理において第２の強調カーネル４３２ｂ（図１２（Ｂ））を適用する。なお、８倍、１６倍以降の倍率においても同様である。
また、参照する画素の位置は、図１２に示すような上下左右に限られない。例えば、高画質画像ブロック生成部４３０は、斜め方向の画素を参照してコントラスト強調を行ったり、さらに離れた画素を参照してコントラスト強調を行ったり、又は、処理対象画像データの種類及びサイズなどにより適用する強調カーネルを切り替えたりしてもよい。

次に、高画質画像ブロック生成部４３０は、画像ブロック特徴量算出部４２０により得られた注目領域に対するエッジパターン及び推定エッジ方向と、前述したようにコントラスト強調処理が行われた注目領域とその周辺領域との画素値とを用いて、注目領域に対する拡大画像ブロックを生成する。

図１３は、高画質画像ブロック生成部４３０における拡大画像ブロックの生成処理の具体例の説明図である。まず、高画質画像ブロック生成部４３０は、注目領域のエッジパターン及び推定エッジ方向基づき、コントラスト強調処理を施された画素値を用いて、３×３画像ブロックに相当する画素値を算出する。図１３（Ａ）は、図６（Ａ）に示した注目領域及び周辺領域の一例を示す。前述したように画像ブロック特徴量算出部４２０において、この注目領域はエッジパターン１０１０に対応し、推定エッジ方向は「方向１」であると求められている。高画質画像ブロック生成部４３０は、（エッジパターン１０１０）−（推定エッジ方向「１」）の組み合わせの場合、図１３（Ｂ）に示すように、３×３画像ブロックに相当するそれぞれの画素をｐ０〜ｐ８とすると、図１３（Ａ）に示した注目領域の画素値｛ａ，ｂ，ｃ，ｄ｝をもとに、ｐ０〜ｐ８の画素値を次の式によって計算する。なお、エッジパターンと推定エッジ方向との組み合わせは、「（エッジパターン）−（推定エッジ方向）」と表される。

ｐ０＝ａ
ｐ１＝（ａ＋ｂ）／２
ｐ２＝ｂ
ｐ３＝（ａ＋ｃ）／２
ｐ４＝（ｂ＋ｃ）／２
ｐ５＝（ｂ＋ｄ）／２
ｐ６＝ｃ
ｐ７＝（ｂ＋ｂ）／２
ｐ８＝ｄ

これらの計算式は、（エッジパターン）−（推定エッジ方向）の組み合わせにより一意に決定され、３×３画像ブロック相当の画素値が計算される。

図１４は、他の（エッジパターン）−（推定エッジ方向）の組み合わせの場合に用いられる計算式の一例の説明図である。
図１４（Ａ）は、（エッジパターン１０００）−（推定エッジ方向「１」）の場合に用いられる計算式を示し、３×３画像ブロック相当の画素値は、次の式によって計算される。

ｐ０＝ａ
ｐ２＝ｂ
ｐ３＝ａ
ｐ４＝（ｂ＋ｃ）／２
ｐ５＝（ｂ＋ｄ）／２
ｐ６＝ｃ
ｐ７＝（ｃ＋ｄ）／２
ｐ８＝ｄ
ｐ１＝（ｐ４＋ｃ）／２

図１４（Ｂ）は（エッジパターン１１００）−（推定エッジ方向「５」）の場合に用いられる計算式を示し、３×３画像ブロック相当の画素値は、次の式によって計算される。

ｐ０＝ａ
ｐ１＝（ａ＋ｂ）／２
ｐ２＝ｂ
ｐ４＝（ａ＋ｄ）／２
ｐ６＝ｃ
ｐ７＝（ｃ＋ｄ）／２
ｐ８＝ｄ
ｐ３＝（ｐ４＋ｃ）／２
ｐ５＝（ｐ４＋ｂ）／２

図１４（Ｃ）は（エッジパターン１１００）−（推定エッジ方向「２」）の場合に用いられる計算式を示し、３×３画像ブロック相当の画素値は、次の式によって計算される。

ｐ０＝ａ
ｐ１＝ａ
ｐ２＝ｂ
ｐ３＝ａ
ｐ４＝（ｂ＋ｃ）／２
ｐ５＝（ｂ＋ｄ）／２
ｐ６＝ｃ
ｐ７＝（ｃ＋ｄ）／２
ｐ８＝ｄ

図１４（Ｄ）は（エッジパターン０１０１）−（推定エッジ方向「７」）の場合に用いられる計算式を示し、３×３画像ブロック相当の画素値は、次の式によって計算される。

ｐ０＝ａ
ｐ２＝ｂ
ｐ３＝（ａ＋ｃ）／２
ｐ４＝（ａ＋ｄ）／２
ｐ５＝（ｂ＋ｄ）／２
ｐ６＝ｃ
ｐ８＝ｄ
ｐ１＝（ｐ４＋ｂ）／２
ｐ７＝（ｐ４＋ｃ）／２

なお、他のエッジパターンの場合にも、同様にそれぞれのエッジパターンに対応した計算式に従って計算を行うことによって、３×３画像ブロック相当の画素値が計算されることができる。

次に、高画質画像ブロック生成部４３０は、前述のように計算された３×３画像ブロック相当の画素値と、注目領域の推定エッジ方向に基づいて選択された周辺領域内の複数の参照画素とを用いて４×４画像ブロックを生成する。

図１５は、注目領域における推定エッジ方向に基づく参照画素ｒ０〜ｒ１３の選択方法の説明図である。注目領域の推定エッジ方向が方向１（２２．５°）から方向３（６７．５°）の場合には、図１５（Ａ）に示したように、参照画素ｒ０〜ｒ５は、図１５（Ａ）に太線枠で囲んだように左上から下へ３画素と右下から上へ３画素となるように選択される。また、注目領域の推定エッジ方向が方向５（１１２．５°）から方向７（１５７．５°）の場合には、図１５（Ｂ）に示したように、参照画素ｒ０〜ｒ５は、左下から上へ３画素と右上から下へ３画素となるように選択される。参照画素ｒ６〜ｒ１３は、推定エッジ方向に拠らず、図１５（Ａ）及び図１５（Ｂ）に示すように、上下それぞれ４画素を選択される。このように、参照画素は、注目領域における推定エッジ方向に基づいて選択される。もちろん、参照画素の選択は、図１５に示すように２パターンからの選択に限定されず、推定エッジ方向に従い、より多くの参照画素選択パターンが用意されてもよい。また、選択する参照画素は、推定エッジ方向に応じて変更されてもよい。

図１６は、４×４画素の拡大画像ブロックの生成処理の具体例の説明図である。図１６に示すように、計算された３×３画像ブロック相当の画素値ｐ０〜ｐ８、及び注目領域における推定エッジ方向に基づいて選択された参照画素ｒ０〜ｒ１３を用いて、次の計算式に従って、４×４画素の拡大画像ブロックに相当する画素値（ｓ０〜ｓ１５）が計算されて、４ｘ４拡大画像ブロックが生成される。

ｓ０＝０．２×ｒ６＋０．１６×ｒ０＋０．６４×ｐ０
ｓ１＝０．２×ｒ７＋０．３２×ｐ０＋０．４８×ｐ１
ｓ２＝０．２×ｒ８＋０．４８×ｐ１＋０．３２×ｐ２
ｓ３＝０．２×ｒ９＋０．６４×ｐ２＋０．１６×ｒ１
ｓ４＝０．０８×ｒ０＋０．３２×ｐ０＋０．１２×ｒ２＋０．４８×ｐ３
ｓ５＝０．１６×ｐ０＋０．２４×ｐ１＋０．２４×ｐ３＋０．３６×ｐ４
ｓ６＝０．２４×ｐ１＋０．１６×ｐ２＋０．３６×ｐ４＋０．２４×ｐ５
ｓ７＝０．３２×ｐ２＋０．０８×ｒ１＋０．４８×ｐ５＋０．１２×ｒ３
ｓ８＝０．１２×ｒ２＋０．４８×ｐ３＋０．０８×ｒ４＋０．３２×ｐ６
ｓ９＝０．２４×ｐ３＋０．３６×ｐ４＋０．１６×ｐ６＋０．２４×ｐ７
ｓ１０＝０．３６×ｐ４＋０．２４×ｐ５＋０．２４×ｐ７＋０．１６×ｐ８
ｓ１１＝０．４８×ｐ５＋０．１２×ｒ３＋０．３２×ｐ８＋０．０８×ｒ５
ｓ１２＝０．１６×ｒ４＋０．６４×ｐ６＋０．２×ｒ１０
ｓ１３＝０．３２×ｐ６＋０．４８×ｐ７＋０．２×ｒ１１
ｓ１４＝０．４８×ｐ７＋０．３２×ｐ８＋０．２×ｒ１２
ｓ１５＝０．６４×ｐ８＋０．１６×ｒ５＋０．２×ｒ１３

このようにして、４×４画素の拡大画像ブロック（ｓ０〜ｓ１５）は、画像ブロック特徴量算出部４２０により特徴ブロックと判断された注目領域に対して生成される。

以上説明したように、高画質画像ブロック生成部４３０が、画像ブロック特徴量算出部４２０により算出された画像特徴量に従って、拡大画像ブロック生成処理を行うことにより、ジャギーを抑えた高画質な拡大処理ができる。

［拡大画像生成部］
次に、拡大画像生成部４５０をより詳細に説明する。
拡大画像生成部４５０は、高画質画像ブロック生成部４３０により生成された注目領域に対する拡大画像ブロックと、高速拡大処理部４４０から出力された拡大画像とを用いて、原画像に対する拡大画像を生成する。

拡大画像生成部４５０において、ブロック重畳度判定部４５２は、エッジ強度算出部４２２により算出された特徴ブロックのブロック重畳度に基づいて、画像中のエッジ部分と判定された領域に対して、エッジ周辺領域（エッジ周辺部）であるのか最も確からしいエッジ領域（エッジ部）であるのかを判定する。つまり、ブロック重畳度が小さい領域は、画像中において非特徴ブロック（平坦部分）と特徴ブロック（エッジ部分）との境界領域と考えられ、エッジ周辺領域と判定される。また、ブロック重畳度が大きい領域は、周辺領域の多くが特徴ブロックであり、最も確からしいエッジ領域と判定される。例えば、ブロック重畳度１及び２の領域は、エッジ周辺領域と判定され、ブロック重畳度３及び４の領域は、最も確からしいエッジ領域と判定される。判定基準は、先述の例に限られず、例えば、ブロック重畳度の各レベル（レベル１〜レベル４）に対して、より細かくエッジを分類する判定基準が設けられてもよい。

出力値補正部４５４は、ブロック重畳度判定部４５２によるブロック重畳度に基づいた判定結果に従って、高画質画像ブロック生成部４３０により生成された注目領域に対する拡大画像ブロック内の画素値を補正する。
図１７は、ブロック重畳度に基づいた判定結果に従う拡大画像ブロック内の画素値補正を具体的に説明する図である。
図１７は、ブロック重畳度判定部４５２における判定の具体例として、ブロック重畳度１及び２の領域はエッジ周辺領域と判定され、ブロック重畳度３及び４の領域は最も確からしいエッジ領域と判定される例を示している。
図１７に示すように、ブロック重畳度判定部４５２において、最も確からしいエッジ領域と判定された領域に相当する、高画質画像ブロック生成部４３０により生成された拡大画像ブロック内の画素値は、そのまま出力される。一方、ブロック重畳度判定部４５２において、エッジ周辺領域と判定された領域に相当する拡大画像ブロック内の画素値は、補正されて出力される。

図１８は、画素値補正を具体的に説明した図である。
図１８に示すように、エッジ周辺領域と判定された領域相当する拡大画像ブロック内の画素値は、高速拡大処理部４４０から出力された拡大画像上の対応する位置の画素値を用いて以下の式（６）により補正される。
補正値＝α×ｓ＋（1‐α）×v ・・・（６）
ここで、ｓは、拡大画像ブロック内の画素値、vは、高速拡大処理部４４０から出力された拡大画像上の画素値、αは、変数（０≦α≦１）である。ここで、変数αは、ある所定の値であってもよいし、ブロック重畳度に基づいて可変であってもよい。

このように、画像拡大プログラム４は、ブロック重畳度に基づいて、画像中のエッジ部分を、エッジ周辺領域及び最も確からしいエッジ領域のように分類し、最も確からしいエッジ領域では、高画質画像ブロック生成部４３０により生成された拡大画像ブロックの画素値をそのまま出力し、エッジ周辺領域に対しては、高画質画像ブロック生成部４３０により生成された拡大画像ブロックの画素値を、高速拡大処理部４４０による拡大画像の画素値で補正することにより、エッジの鮮鋭度や滑らかさを保持しながら、エッジ周辺領域のアンダーシュートやオーバーシュートといった画質劣化の原因を抑制することが可能となる。

［全体動作］
画像処理装置２の全体動作（画像拡大処理）を説明する。
図１９は、画像処理装置２の全体動作を示すフローチャート（Ｓ２０）である。
図１９に示すように、ステップ２００（Ｓ２００）において、画像ブロック設定部４１０は、画像ブロック特徴量算出部４２０及び高画質画像ブロック生成部４３０における処理で必要とされる既定の画像ブロックのサイズをそれぞれ設定し、記憶部４００に記憶されている処理対象画像データから、設定されたブロックサイズの画像ブロックを順次（例えばラスタスキャン順に）切り出し、切り出された各画像ブロックを、画像ブロック特徴量算出部４２０及び高画質画像ブロック生成部４３０にそれぞれ出力する。

ステップ２０２（Ｓ２０２）において、画像ブロック特徴量算出部４２０は、入力された画像ブロック中の注目領域のエッジ強度Ｇを、式（１）を用いて算出する。
なお、｛ａ，ｂ，ｃ，ｄ｝は、図６に例示するように注目領域内の各画素値である。入力画像データがグレースケール画像でなく、例えばＲＧＢ色空間のカラー画像である場合には、画像ブロック特徴量算出部４２０は、注目領域に関してＲ，Ｇ，Ｂの各色空間の色成分毎の画像ブロックそれぞれについて、式（１）を用いてエッジ強度Ｇｒ、Ｇｇ、Ｇｂを計算し、Ｇｒ、Ｇｇ、Ｇｂの中で最大のエッジ強度である色成分の画像ブロックを選択し、そのエッジ強度を注目領域の（すべての色成分に共通の）エッジ強度とする。

ステップ２０４（Ｓ２０４）において、画像ブロック特徴量算出部４２０は、注目領域のエッジ強度Ｇに基づいて、この注目領域が特徴ブロックであるか非特徴ブロックであるかを判定する。具体的には、画像ブロック特徴量算出部４２０は、算出されたエッジ強度Ｇが既定の閾値Ｔｈ以上である場合（すなわち、注目領域内の階調変化量が大きい場合）に、この注目領域を特徴ブロックとし、算出されたエッジ強度Ｇが既定の閾値Ｔｈ未満である場合（すなわち、注目領域内の階調変化量が小さい場合）に、この注目領域を非特徴ブロックとする。
画像処理装置２は、注目領域が特徴ブロックであると判定された場合に、この注目領域の画像特徴を保存するような拡大処理行うべくＳ２０６の処理に移行し、注目領域が非特徴ブロックであると判定された場合に、Ｓ２００の処理に戻り、次の画像ブロックを処理する。

ステップ２０６（Ｓ２０６）において、画像ブロック特徴量算出部４２０は、特徴ブロックと判定された画像領域に対して、その特徴ブロックが既に特徴ブロックであると判定された画像領域と重なり合う場合は、ブロック重畳度を算出する。

ステップ２０８（Ｓ２０８）において、画像ブロック特徴量算出部４２０は、注目領域（特徴ブロック）及びその注目領域を含む１乃至複数の周辺領域中の参照領域のエッジ角度Θを、式（３）を用いて計算する。
なお、ｇｘ、ｇｙは、式（１）において各々算出される値である。そして、画像ブロック特徴量算出部４２０は、算出された複数のエッジ角度Θから注目領域のエッジ方向θを推定する。例えば、画像ブロック特徴量算出部４２０は、得られた複数のエッジ角度Θの平均値を算出し、算出された平均値を推定エッジ方向θとする。

ステップ２１０（Ｓ２１０）において、画像ブロック特徴量算出部４２０は、推定されたエッジ方向θ及び注目領域（特徴ブロック）の画素分布パターンを用いて、エッジパターンを選択する。エッジパターンは、エッジ方向及び画素分布パターンに応じて、予め用意されたパターンテーブル（図１０）の中から選択される。

ステップ２１２（Ｓ２１２）において、高画質画像ブロック生成部４３０は、拡大率に応じてサイズ及び重み付け係数が設定された強調カーネル４３２（図１２）を用いて、画像ブロック設定部４１０により切り出された画像ブロック中の注目領域（特徴ブロック）及びその周辺領域の画像データに対して、コントラスト強調処理を施す。

ステップ２１４（Ｓ２１４）において、高画質画像ブロック生成部４３０は、画像ブロック特徴量算出部４２０により得られた注目領域のエッジパターン及び前記注目領域の推定エッジ方向θと、Ｓ２１２においてコントラスト強調が施された注目領域及び周辺領域内の画素値を用いて、エッジパターンと推定エッジ方向θとに対応する算出式（図１３、図１４）により、３×３画像ブロックに相当する画素値（ｐ０〜ｐ８）を生成する。さらに、高画質画像ブロック生成部４３０は、生成された画素値（ｐ０〜ｐ８）と推定エッジ方向θとに基づいて選択された参照画素（ｒ０〜ｒ１３）を用いて、図１６に示す算出式により、注目領域に対する拡大画像ブロックを生成する。

ステップ２１６（Ｓ２１６）において、画像処理装置２は、全ての入力画像データについて、Ｓ２００からＳ２１４までの処理が完了したか否かを判定し、処理が完了していないと判定された場合に、Ｓ２００の処理に戻り、次の画素ブロックに対する処理を行い、全ての入力画像データについて処理が完了していると判定された場合に、Ｓ２１８の処理に移行する。

ステップ２１８（Ｓ２１８）において、高速拡大処理部４４０は、記憶部４００に記憶されている入力画像データを、画像毎または数ライン毎に入力し、最近傍補間法により拡大処理を行う。
なお、本例においては、高速拡大処理部４４０は、高画質画像ブロック生成部４３０による拡大処理（Ｓ２００〜Ｓ２１４までの処理）が終了した後に拡大処理を行っているが、高画質画像ブロック生成部４３０による拡大処理と並行して拡大処理を行ってもよいし、高画質画像ブロック生成部４３０による拡大処理の前に拡大処理を行ってもよい。

ステップ２２０（Ｓ２２０）において、拡大画像生成部４５０は、Ｓ２０６において算出されたブロック重畳度に基づき、高画質画像ブロック生成部４３０により生成された拡大画像と、高速拡大処理部４４０により拡大された拡大画像を統合する。
拡大画像生成部４５０は、拡大画素の統合方法として、ブロック重畳度が大きい領域に対しては、高画質画像ブロック生成部４３０により生成された拡大画像の値を出力値とし、ブロック重畳度が小さい領域に対しては、高画質画像ブロック生成部４３０により生成された拡大画像と高速拡大処理部４４０により生成された拡大画像とを用いて、式（６）により算出される値を出力値とする。

以上説明したように、本実施形態における画像処理装置２は、注目画素を含む所定の大きさの画像領域の特徴量を算出し、算出された特徴量が所定の条件を満たす画像領域に対して拡大画像領域を生成し、さらに、異なる拡大手法により入力画像の拡大画像を生成し、算出された特徴量が所定の条件を満たす画像領域が重なり合う場合、その重なり数に基づいて、生成された拡大画像領域の生成値を補正し、補正された拡大画像領域と、異なる拡大手法により生成された拡大画像とに基づいて、入力画像に対する拡大画像を生成する。

このような拡大処理によって、本実施形態における画像処理装置２は、高画質拡大処理を特徴的な部分（特徴ブロック）にのみ適用することにより、全体としての処理負荷を抑え、かつ、特徴的な部分について高画質拡大処理を適用するので、特徴的な部分の特徴量を保存して、ボケやジャギーなどの画質欠陥を抑制した高画質な拡大画像を高速に得ることができる。また、本実施形態における画像処理装置２は、エッジの鮮鋭度や滑らかさを保持しながら、エッジ部周辺のアンダーシュートやオーバーシュートといった画質欠陥を抑制することができる。

本発明にかかる画像処理方法が適応される画像処理装置２のハードウェア構成を、制御装置２０を中心に例示する図である。 制御装置２０により実行され、本発明にかかる画像処理方法を実現する画像拡大プログラム４の機能構成を示す図である。 エッジ強度算出部４２２において、エッジ強度Ｇと基準値との比較により特徴ブロックと判定された領域を例示する。 互いに重なり合う特徴ブロックを例示する。 特徴ブロック同士の重なり数（ブロック重畳度）を例示する。 注目領域及び周辺領域の具体例と、注目領域のエッジ方向の一例の説明図であり、図６（Ａ）は、注目領域及び周辺領域を例示し、図６（Ｂ）は、この注目領域について推定されるエッジ方向を例示する図である。 エッジ方向推定部４２４によるエッジ方向推定処理（Ｓ１０）を示すフローチャートである。 エッジ方向推定処理（Ｓ１０）のＳ１０２の処理において選択される参照領域を例示する図である。 図６に示した注目領域における推定エッジ方向の一例の説明図である。 エッジパターン選択部４２６により用いられるエッジパターンテーブルを例示する図である。 図１０に示した注目領域に対応するエッジパターンの選択方法を説明する図である。 高画質画像ブロック生成部４３０により用いられる強調カーネル４３２（エッジ強調カーネル）を例示する図である。 高画質画像ブロック生成部４３０における拡大画像ブロックの生成処理の具体例の説明図である。 エッジパターンと推定エッジ方向との組み合わせの場合に用いられる計算式の一例の説明図である。 注目領域における推定エッジ方向に基づく参照画素ｒ０〜ｒ１３の選択方法の説明図である。 ４×４画素の拡大画像ブロックの生成処理の具体例の説明図である。 ブロック重畳度に基づいた判定結果に従う拡大画像ブロック内の画素値補正を具体的に説明する図である。 画素値補正を具体的に説明した図である。 画像処理装置２の全体動作を示すフローチャート（Ｓ２０）である。

符号の説明

２・・・画像処理装置
１０・・・プリンタ装置
２０・・・制御装置
２０２・・・ＣＰＵ
２０４・・・メモリ
２２・・・通信装置
２４・・・記憶装置
２６・・・ＵＩ装置
４・・・画像拡大プログラム
４００・・・記憶部
４１０・・・画像ブロック設定部
４２０・・・画像ブロック特徴量算出部
４２２・・・エッジ強度算出部
４２４・・・エッジ方向推定部
４２６・・・エッジパターン選択部
４３０・・・高画質画像ブロック生成部
４３２ａ、４３２ｂ・・・強調カーネル
４３４・・・エッジ方向推定部
４４０・・・高速拡大処理部
４５０・・・拡大画像生成部
４５２・・・ブロック重畳度判定部
４５４・・・出力値補正部

Claims (29)

1. 入力画像の拡大処理を行う画像処理装置であって、
   注目画素を含む所定の大きさの画像領域の特徴量を算出する領域特徴量算出手段と、
   前記領域特徴量算出手段により算出された画像領域の特徴量に基づいて、この画像領域に対応する拡大画像領域を生成する拡大画像領域生成手段と、
   前記拡大画像領域生成手段とは異なる拡大手法を適用して、入力画像の拡大画像を生成する拡大処理手段と、
   前記領域特徴量算出手段により算出された特徴量が所定の条件を満たす画像領域が重畳する場合、その重畳する度合いに基づいて、前記拡大画像領域生成手段により生成された拡大画像領域の生成値を補正し、この拡大画像領域と、前記拡大処理手段により生成された拡大画像とに基づいて、入力画像に対する拡大画像を生成する拡大画像生成手段と
   を有する画像処理装置。
2. 前記領域特徴量算出手段は、画像領域内の各画素値に基づいて、画像領域における階調変化量を算出し、この階調変化量を画像領域の特徴量とする
   請求項１に記載の画像処理装置。
3. 前記領域特徴量算出手段は、画像領域内の各画素値に基づいて、画像領域における階調変化方向を算出し、この階調変化方向を画像領域の特徴量とする
   請求項１に記載の画像処理装置。
4. 前記領域特徴量算出手段は、画像領域内の各画素値に基づいて、画像領域における階調変化を算出し、この階調変化が既定の画素値パターンに対応する場合に、この画素値パターンを画像領域の特徴量として選択する
   請求項１に記載の画像処理装置。
5. 前記領域特徴量算出手段は、色空間における色成分それぞれについて特徴量を算出し、算出された特徴量に基づいて１つの色成分を選択し、この色成分について算出された特徴量を画像領域の特徴量とする
   請求項１に記載の画像処理装置。
6. 前記拡大画像領域生成手段は、前記領域特徴量算出手段により算出された画像領域の特徴量が所定の条件を満たす場合に、画像領域の特徴量と、この画像領域の近傍領域の特徴量と、この近傍領域内の画素値とを用いて、拡大画像領域を生成する
   請求項１に記載の画像処理装置。
7. 前記拡大画像領域生成手段は、階調変化を強調するエッジ強調処理を拡大率に応じて行って、画像領域内の画素値を補正し、補正された画素値を用いて拡大画像領域を生成する
   請求項１に記載の画像処理装置。
8. 前記拡大画像領域生成手段は、前記領域特徴量算出手段により算出された階調変化方向に応じて、画像領域の近傍領域内の画素値を選択し、選択された画素値を用いて拡大画像領域を生成する
   請求項３に記載の画像処理装置。
9. 前記拡大画像領域生成手段は、前記領域特徴量算出手段により算出された特徴量に対応する既定の演算式を用いて、拡大画像領域を生成する
   請求項１に記載の画像処理装置。
10. 前記拡大処理手段は、少なくとも最近傍補間法に基づいた拡大手法を適用する
    請求項１に記載の画像処理装置。
11. 前記拡大処理手段は、少なくとも線形補間法に基づいた拡大手法を適用する
    請求項１に記載の画像処理装置。
12. 前記拡大処理手段は、入力画像毎あるいは入力画像中の数ライン毎に、拡大画像を生成する
    請求項１に記載の画像処理装置。
13. 前記拡大画像生成手段は、前記拡大画像領域生成手段により生成された拡大画像領域を、前記拡大処理手段により生成された拡大画像上の対応する位置に配置する
    請求項１に記載の画像処理装置。
14. 前記拡大画像生成手段は、前記拡大画像領域生成手段により生成された前記拡大画像領域の生成値を、前記拡大処理手段により生成された拡大画像上の対応する位置の画素値を用いて補正する
    請求項１に記載の画像処理装置。
15. 前記拡大画像生成手段は、前記拡大画像領域生成手段により生成された拡大画像領域の生成値と、前記拡大処理手段により生成された拡大画像上の対応する位置の画素値とを、所定の割合で線形和した値を用いて、この画素値を補正する
    請求項１４に記載の画像処理装置。
16. 前記拡大画像生成手段は、複数の画像領域において前記領域特徴量算出手段により算出された画像領域の特徴量が所定の条件を満たし、これらの画像領域が互いに重畳する場合、これらの画像領域が重畳する度合いに基づいて、線形和の割合を決定する
    請求項１５に記載の画像処理装置。
17. 前記拡大画像生成手段は、前記領域特徴量算出手段により算出された画像領域の特徴量と、この画像領域と重畳する画像領域の特徴量とに基づいて、入力画像のエッジ部及びエッジ周辺部を判定する
    請求項１に記載の画像処理装置。
18. 前記拡大画像生成手段は、複数の画像領域において前記領域特徴量算出手段により算出された画像領域の特徴量が所定の条件を満たし、これらの画像領域が互いに重畳する場合、これらの画像領域が重畳する度合いが所定値以上である画像部分を、エッジ部と判定する
    請求項１７に記載の画像処理装置。
19. 前記拡大画像生成手段は、複数の画像領域において前記領域特徴量算出手段により算出された画像領域の特徴量が所定の条件を満たし、これらの画像領域が互いに重畳する場合、これらの画像領域が重畳する度合いが所定値以下である画像部分を、エッジ周辺部と判定する
    請求項１７に記載の画像処理装置。
20. 前記拡大画像生成手段は、前記拡大画像領域生成手段により生成された拡大画像領域で、エッジ部に対応する画像部分の生成値を、前記拡大処理手段により生成された拡大画像の対応する位置に配置する
    請求項１７又は１８に記載の画像処理装置。
21. 前記拡大画像生成手段は、前記拡大画像領域生成手段により生成された拡大画像領域で、エッジ周辺部に対応する画像部分の生成値と、前記拡大処理手段により生成された拡大画像の対応する位置の画素値とを用いて、この画素値を補正する
    請求項１７又は１９に記載の画像処理装置。
22. 前記拡大画像生成手段は、前記拡大画像領域生成手段により生成された拡大画像領域で、エッジ部及びエッジ周辺部のいずれにも対応しない画像部分には、前記拡大処理手段により生成された拡大画像上の対応する位置の画素値を用いる
    請求項１７乃至１９のいずれかに記載の画像処理装置。
23. 入力画像のエッジを検出するエッジ検出装置であって、
    注目画素を含む所定の大きさの画像領域の特徴量を算出する領域特徴量算出手段と、
    前記領域特徴量算出手段により算出された画像領域の特徴量と、この画像領域と重畳する画像領域の特徴量とに基づいて、入力画像のエッジ部及びエッジ周辺部を判定する判定手段と
    を有するエッジ検出装置。
24. 前記判定手段は、複数の画像領域において前記領域特徴量算出手段により算出された画像領域の特徴量が所定の条件を満たし、これらの画像領域が互いに重畳する場合、これらの画像領域が重畳する度合いが所定値以上である画像部分を、エッジ部と判定する
    請求項２３に記載のエッジ検出装置。
25. 前記判定手段は、複数の画像領域において前記領域特徴量算出手段により算出された画像領域の特徴量が所定の条件を満たし、これらの画像領域が互いに重畳する場合、これらの画像領域が重畳する度合いが所定値以下である画像部分を、エッジ周辺部と判定する
    請求項２３に記載のエッジ検出装置。
26. 入力画像の拡大処理を行う画像処理方法であって、
    注目画素を含む所定の大きさの画像領域の特徴量を算出し、
    前記算出された画像領域の特徴量に基づいて、この画像領域に対応する拡大画像領域を生成し、
    前記生成とは異なる拡大手法を適用して、入力画像の拡大画像を生成し、
    前記算出された特徴量が所定の条件を満たす画像領域が重畳する場合、その重畳する度合いに基づいて、前記生成された拡大画像領域の生成値を補正し、この拡大画像領域と、前記生成された拡大画像とに基づいて、入力画像に対する拡大画像を生成する
    画像処理方法。
27. 入力画像のエッジを検出するエッジ検出方法であって、
    注目画素を含む所定の大きさの画像領域の特徴量を算出し、
    前記算出された画像領域の特徴量と、この画像領域と重畳する画像領域の特徴量とに基づいて、入力画像のエッジ部及びエッジ周辺部を判定する
    エッジ検出方法。
28. コンピュータを含み、入力画像の拡大処理を行う画像処理装置において、
    注目画素を含む所定の大きさの画像領域の特徴量を算出する領域特徴量算出ステップと、
    前記算出された画像領域の特徴量に基づいて、この画像領域に対応する拡大画像領域を生成する拡大画像領域生成ステップと、
    前記生成とは異なる拡大手法を適用して、入力画像の拡大画像を生成する拡大処理ステップと、
    前記算出された特徴量が所定の条件を満たす画像領域が重畳する場合、その重畳する度合いに基づいて、前記生成された拡大画像領域の生成値を補正し、この拡大画像領域と、前記生成された拡大画像とに基づいて、入力画像に対する拡大画像を生成する拡大画像生成ステップと
    を前記画像処理装置のコンピュータに実行させるプログラム。
29. コンピュータを含む入力画像のエッジを検出するエッジ検出装置でおいて、
    注目画素を含む所定の大きさの画像領域の特徴量を算出する領域特徴量算出ステップと、
    前記算出された画像領域の特徴量と、この画像領域と重畳する画像領域の特徴量とに基づいて、入力画像のエッジ部及びエッジ周辺部を判定する判定ステップと
    を前記エッジ検出装置のコンピュータに実行させるプログラム。

Images