JP2006050481A - 画像処理装置、画像処理方法及びそのプログラム - Google Patents

Abstract

【課題】 比較的軽い処理負荷で、高画質な拡大画像を得ることができる画像処理装置を提供する。
【解決手段】 画像処理装置２は、注目画素を含む既定の大きさの画像領域のエッジ強度を算出し、算出されたエッジ強度が基準値以上である画像領域に対しては、算出された特徴量に基づいて注目画素を含む画像領域の拡大パラメータを算出し、算出された拡大パラメータと入力画像データの画素値とを用いて拡大画素値を生成し、算出されたエッジ強度が基準値未満である画像領域に対しては、算出された特徴量によらず、既定の補間式（最近傍法など）を適用して拡大画素値を生成する。
【選択図】図１７

Description

本発明は、画像を拡大する画像処理装置に関する。

例えば、特許文献１は、原画像を２値化して、この２値化画像と２次元パターンとを照合することにより斜め成分の方向を判定し、判定された斜め成分の方向をもとに補間処理を行う画素数変換装置を開示する。
また、特許文献２は、補正対象のパターン毎、かつ、倍率毎に拡大画素のドット配置情報を有し、パターンマッチング結果及び倍率から１つのドット配置情報を抽出する画像処理装置を開示する。
また、特許文献３は、画素の変化度合いが小さい場合にはニアリスト法による補間処理で補間を実行し、画素の変化度合いが大きい場合にはキュービック法による補間処理で補間を実行する画像データ補間装置を開示する。
また、特許文献４は、第１の補間処理機能と第２の補間処理機能とを有し、画像の性質に基づいてこれらの補間処理の重畳比率を決定する画像データ補間装置を開示する。
特開２０００−２２８７２３号公報 特開２００１−１８８９００号公報 特開２０００−１８８６８１号公報 特開２００２−１６５０８９号公報

本発明は、上述した背景からなされたものであり、画像を高画質に拡大する画像処理装置を提供することを目的とする。

［画像処理装置］
上記目的を達成するために、本発明にかかる画像処理装置は、入力画像の拡大処理を行う画像処理装置であって、入力画像における既定の大きさの画像領域について、階調変化に関する特徴量を算出する領域特徴量算出手段と、前記領域特徴量算出手段により算出された特徴量に基づいて、拡大画像データを生成するよう処理する第１の拡大処理手段と、前記第１の拡大処理手段とは異なる拡大処理方法を適用して、入力画像の拡大画像データを生成するよう処理する第２の拡大処理手段と、前記第１の拡大処理手段により生成された拡大画像データと、前記第２の拡大処理手段により生成された拡大画像データとに基づいて、入力画像に対応する拡大画像データを生成する拡大画像生成手段とを有する。

好適には、前記領域特徴量算出手段は、画像領域における階調変化量を前記特徴量として算出し、前記第１の拡大処理手段は、前記領域特徴量算出手段により算出される階調変化量が基準値以上である画像領域についてのみ、拡大画像データを生成するよう処理し、前記拡大画像生成手段は、前記領域特徴量算出手段により算出される階調変化量が基準値以上である画像領域については、少なくとも前記第１の拡大処理手段により生成された拡大画像データを適用し、前記領域特徴量算出手段により算出される階調変化量が基準値未満である画像領域については、前記第２の拡大処理手段により生成された拡大画像データを適用する。

好適には、前記領域特徴量算出手段により算出された特徴量に基づいて、パラメータを生成するパラメータ生成手段をさらに有し、前記第１の拡大処理手段は、処理対象画素が含まれる画像領域内の画素値と、前記パラメータ生成手段によりこの画像領域について生成されたパラメータとを用いて、この処理対象画素に対応する拡大画像データを生成するよう処理する。

好適には、前記領域特徴量算出手段は、前記画像領域における階調変化量を前記特徴量として算出する。

好適には、前記領域特徴量算出手段は、前記画像領域における階調変化の方向を前記特徴量として算出し、前記パラメータ生成手段は、前記領域特徴量算出手段により算出された階調変化の方向に応じて画像領域内から参照画素を選択し、少なくとも、選択された参照画素の画素値を前記パラメータとする。

好適には、前記領域特徴量算出手段は、予め用意された複数のエッジパターンのうち、それぞれの画像領域における階調変化に対応するエッジパターンを前記特徴量として選択し、前記パラメータ生成手段は、前記領域特徴量算出手段により選択されたエッジパターンに対応する演算式を用いて、前記パラメータを算出する。

好適には、前記領域特徴量算出手段は、色空間におけるそれぞれの色成分毎に前記特徴量を算出し、算出された１つ以上の特徴量に基づいていずれか１つの色成分を選択し、選択された色成分の特徴量を前記画像領域の特徴量とする。

好適には、前記領域特徴量算出手段は、それぞれの色成分について、前記画像領域における階調変化量を算出し、算出された階調変化量が最大である色成分を選択する。

好適には、前記パラメータ生成手段は、前記領域特徴量算出手段により算出された特徴量に対応する既定の演算式を用いてパラメータを生成する。

好適には、前記パラメータ生成手段は、拡大率に応じてカーネル要素及びカーネル要素間距離が異なるエッジ強調カーネルを用いて、入力画像の画素値を補正し、補正された画素値を用いてパラメータを生成する。

好適には、処理対象画素が含まれる複数の画像領域であって、前記領域特徴量算出手段により算出された特徴量が既定の条件を満たす画像領域の配置状態を判定する配置パターン判定手段をさらに有し、前記第１の拡大処理手段は、前記配置パターン判定手段により処理対象画素について判定された配置状態に基づいて、複数の配置状態に対応付けられた複数の算出式の中からいずれかの算出式を選択し、選択された算出式を用いて、処理対象画素に対応する拡大画像データを算出する。

好適には、前記第１の拡大処理手段は、前記パラメータ生成手段により生成されたパラメータと、処理対象画素が含まれる画像領域中の画素値とを重み付け加算して拡大画像データを生成するよう処理する。

好適には、前記第２の拡大処理手段は、前記第１の拡大処理手段よりも処理負荷の軽い拡大処理方法を適用して、入力画像の拡大画像データを生成するよう処理する。

好適には、前記第２の拡大処理手段は、入力画像毎に、又は、入力画像に含まれる１以上のライン毎に、拡大画像データを生成するよう処理する。

［画像処理方法］
また、本発明にかかる画像処理方法は、入力画像の拡大処理を行う画像処理方法であって、入力画像における既定の大きさの画像領域について、階調変化に関する特徴量を算出し、算出された特徴量が既定の条件を満たす場合に、算出された特徴量を用いる第１の拡大処理方法を適用して、この画像領域に対応する拡大画像データを生成するよう処理し、前記第１の拡大処理方法とは異なる第２の拡大処理方法を適用して、この入力画像の少なくとも一部に対応する拡大画像データを生成するよう処理し、前記第１の拡大処理方法を適用して生成された拡大画像データと、前記第２の拡大処理手段を適用して生成された拡大画像データとに基づいて、入力画像に対応する拡大画像データを生成する。

［プログラム］
また、本発明にかかるプログラムは、入力画像の拡大処理を行う画像処理装置において、入力画像における既定の大きさの画像領域について、階調変化に関する特徴量を算出するステップと、算出された特徴量が既定の条件を満たす場合に、算出された特徴量を用いる第１の拡大処理方法を適用して、この画像領域に対応する拡大画像データを生成するよう処理するステップと、前記第１の拡大処理方法とは異なる第２の拡大処理方法を適用して、この入力画像の少なくとも一部に対応する拡大画像データを生成するよう処理するステップと、前記第１の拡大処理方法を適用して生成された拡大画像データと、前記第２の拡大処理手段を適用して生成された拡大画像データとに基づいて、入力画像に対応する拡大画像データを生成するステップとを前記画像処理装置に実行させる。

本発明の画像処理装置によれば、比較的軽い処理負荷で、高画質な拡大画像を得ることができる。

まず、本発明の理解を助けるために、その背景及び概略を説明する。
画像の拡大処理は、画像の編集、ファイリング、表示、又は印刷などを行うシステムにおいて基本的な処理の一つである。また近年、インターネット上のホームページに表示される画像やデジタルビデオなどのように、ディスプレイ解像度での表示を主目的とした画像データが普及しており、これらの低解像度画像を高解像度のプリンタなどで印刷することも頻繁に行われている。このプリンタによる印刷の際に、高画質の出力結果を得るためには高画質の拡大処理が必要とされる。

多階調で表現されたカラー画像（以下、多値画像）を拡大処理する手法としては、例えば、最近傍法、線形補間法、キュービック・コンボリューション法などがある。
最近傍法は、拡大後の各画素値として、その画素を原画像上に逆写像した際に最も距離が近い画素の画素値を適用するという方法である。この方法は、演算量が少ないため高速に拡大処理することができる。しかし、原画像の１画素がそのまま矩形形状に拡大されるため、隣り合う画素の画素値の差が小さい場合は画質劣化の程度は小さくほとんど影響はないが、画素値の差が大きい場合などは、斜線部やエッジ部のジャギーが目立ったり、拡大倍率が大きい場合には画像がモザイク状になるなど、画質劣化の程度は大きい。

また、線形補間法は、画素間の画素値が直線的に変化していると仮定し、拡大後の画素を逆写像した点の近傍４画素の画素値を線形に補間して画素値を求めるという方法である。この方法では、最近傍法よりも処理は重いものの演算量は比較的少なく、ジャギーなども発生しにくい。その一方で、直線的に変化しているという仮定に当てはまらないエッジ部分を中心に、画像全体がボケ気味になるという欠点がある。

キュービック・コンボリューション法は、標本化定理に基づいてｓｉｎｃ関数（ｓｉｎ（ｘ）／ｘ）を近似した補間関数を定義し、この近似補間関数と拡大後の画素を逆写像した点の近傍１６画素（Ｘ、Ｙ方向それぞれ４画素）との畳み込み演算により、拡大後の画素値を求める方法である。この方法は、上記２つの手法に比べて画質は比較的良いが、参照範囲が大きく演算量が多いという欠点がある。また、高域が強調気味となる特性を持つため、エッジ部分で軽いジャギーが発生したりノイズ成分が強調されてしまうなどの欠点もある。

これらの問題を解決する試みとして、例えば、特許文献１、特許文献２、特許文献３及び特許文献４などの手法が提案されている。
特許文献１に記載されている手法では、まず原画像を２値化し、その２値画像から原画像に含まれる斜め成分の方向を予め用意した２次元パターン（行列データ）と一致判定することにより求め、求められた斜め方向に沿って補間処理をする。またそれ以外の部分は線形補間処理を行っている。しかし、原画像を予め定められた閾値により２値化してから斜め成分の方向判定を行っているので、濃度差の大きいエッジに対しては有効であるが、濃度差の小さいエッジの再現には問題がある。

また、特許文献２に記載されている手法では、パターンファイルに１対１に対応した整数倍率毎のドット配置ファイル（拡大パターンファイル）と画素ブロックのどの位置の画素値でドット配置ファイルの画素値を決定するかという画素参照情報とにより拡大画像ブロックを生成する。さらに一致パターンがないときは単純に原画像ブロックの注目画素で拡大画像ブロックを生成する。しかし、特許文献２では、パターンマッチングのみで一意に拡大ブロックを生成しているため、パターンファイル及びドット配置ファイルの数により拡大画像の画質が決まる。つまり、画質向上には予め多くのパターンファイルが必要である。しかしながら、多くのパターンファイルを予め用意しておくのは現実的ではない。

また、特許文献３に記載されている手法では、原画像の変化度合いの検出法として、エッジ検出フィルタによるエッジ検出を行い、そのエッジ検出結果に基づいてエッジ画素を定義する。そしてエッジ画素と判断された場合には、キュービック・コンボリューション法の３次関数形状を調整したＭ−キュービック法で拡大を行い、そうでない場合は最近傍法で拡大する。しかし、変化度合いの大きいエッジ部分をＭ−キュービック法で補間するため、キュービック・コンボリューション法の画質特徴を踏襲し、ジャギーの発生やノイズ成分が強調されるという欠点がある。

また、特許文献４に記載されている手法では、画像の性質を予めブロック毎の濃度ヒストグラムで測り、その結果に基づいて第１補間（パターンマッチング法又はニアレストネイバー法（ＮＮ法））と第２補間（キュービック・コンボリューション法あるいはＭ−キュービック法）との結果を重畳する。第１補間処理の１つであるパターンマッチング法では、予め定めた角度パターンに原画像ブロックから生成したパターン（２値化パターン）が一致した場合、原画像ブロックを含む参照ブロックを用いて所定のルールで注目画素に対する補間画素ブロックを生成する。しかし、特許文献４においても、Ｍ−キュービック法との重畳であるのでジャギーの発生やノイズ成分が強調される問題がある。

そこで、本実施形態における画像処理装置２は、注目画素を含む既定の大きさの画像領域の特徴量を算出し、それぞれの画像領域について算出された特徴量に応じて、この特徴量に基づいて拡大画素を生成する第１の拡大処理、又は、この第１の拡大処理よりも処理負荷の軽い第２の拡大処理を適用する。より具体的には、画像処理装置２は、エッジ強度（特徴量）が基準値以上である画像領域に対しては、算出された特徴量に基づいて注目画素を含む画像領域の拡大パラメータを算出し、算出された拡大パラメータと入力画像データの画素値とを用いて拡大画素値を生成し、エッジ強度が基準値未満である画像領域に対しては、算出された特徴量によらず、既定の補間式（最近傍法、線形補間法など）を適用して拡大画素値を生成する。これにより、入力画像中の特徴的な部分の特徴量を保存する画像拡大処理を実現でき、特徴的部分のボケ及びジャギーの画質欠陥を抑制した高画質な拡大画像を高速に得ることができる。

［ハードウェア構成］
次に、画像処理装置２のハードウェア構成を説明する。
図１は、本発明にかかる画像処理方法が適応される画像処理装置２のハードウェア構成を、制御装置２０を中心に例示する図である。
図１に例示するように、画像処理装置２は、ＣＰＵ２０２及びメモリ２０４などを含む制御装置２０、通信装置２２、ＨＤＤ・ＣＤ装置などの記録装置２４、並びに、ＬＣＤ表示装置あるいはＣＲＴ表示装置及びキーボード・タッチパネルなどを含むユーザインターフェース装置（ＵＩ装置）２６から構成される。
画像処理装置２は、例えば、画像拡大プログラム５（後述）がインストールされた汎用コンピュータであり、通信装置２２又は記録装置２４などを介して画像データを取得し、取得された画像データを出力解像度に応じて拡大する。例えば、画像処理装置２は、プリンタ装置１０に対して画像データを出力する場合には、６００ｄｐｉ又は２４００ｄｐｉなどの解像度に変換し、ＵＩ装置２６に対して画像データを出力する場合には、７５ｄｐｉなどの解像度に変換する。

［画像拡大プログラム］
図２は、制御装置２０（図１）により実行され、本発明にかかる画像処理方法を実現する画像拡大プログラム５の機能構成を例示する図である。
図２に例示するように、画像拡大プログラム５は、記憶部５００、画像ブロック設定部５１０、画像ブロック特徴量算出部５２０、高画質拡大処理部５３０、高速拡大処理部５４０及び拡大画像統合部５５０を有する。
なお、画像拡大プログラム５の全部又は一部をＡＳＩＣなどのハードウェアで実現してもよい。

画像拡大プログラム５において、記憶部５００は、画像データが他の機能構成により拡大処理されるまで一時的に記憶する機能、及び、解像度変換又は拡大処理された拡大画像データが出力されるまで一時的に記憶する機能などを備える。記憶部５００に記憶される画像データは、画像処理装置２で処理可能な画像フォーマット（例えば、ＢＭＰ、ＴＩＦＦ、ＰＮＧなど）で記述されたデータであり、パーソナルコンピュータ（不図示）等において編集等された画像データ等である。拡大された後の画像データ（拡大画像データ）も、同様の画像フォーマットのデータである。すなわち、記憶部５００は、メモリ２０４（図１）及び記録装置２４（図１）を制御して、入力された画像データを記憶し、画像ブロック設定部５１０、画像ブロック特徴量算出部５２０、高画質拡大処理部５３０、高速拡大処理部５４０及び拡大画像統合部５５０に対してワークエリアを提供する。

画像ブロック設定部５１０は、画像ブロック特徴量算出部５２０及び高画質拡大処理部５３０における処理で必要とされる既定の画像ブロックサイズをそれぞれ設定し、記憶部５００により記憶されている入力画像データから、設定されたブロックサイズの画像ブロックを順次（例えばラスタスキャン順に）切り出し、このブロックサイズの画像ブロックそれぞれを画像ブロック特徴量算出部５２０及び高画質拡大処理部５３０にそれぞれ出力する。

画像ブロック特徴量算出部５２０（領域特徴量算出手段）は、画像ブロック設定部５１０から順次入力される画像ブロックの少なくとも一部（例えば中心部近傍の矩形部分）を注目領域とし、注目領域における画像特徴量を、注目領域又はこの注目領域の周辺部を含む画像ブロック内の各画素値に基づいて算出する。画像特徴量とは、例えば、注目領域のエッジ強度（階調変化量）又はエッジ角度（階調変化の方向）などである。しかしこれに限られるものではなく、画像ブロック特徴量算出部５２０は、例えば注目領域の各画素値の平均値を算出し、この平均値に対する注目領域の各画素値のばらつきを表す値（例えば標準偏差又は分散）を画像特徴量として算出してもよい。

また、画像ブロック特徴量算出部５２０は、それぞれの注目領域について算出された画像特徴量と基準値とを比較し、注目領域の切り分けを行う。ここで、注目領域の切り分けとは、特徴のある画像ブロック（例えば、エッジを含んだ画像ブロックなど）と、特徴の少ない画像ブロック（例えば、画素値変化の少ない画像ブロックなど）とを切り分けることを意味する。より具体的には、画像ブロック特徴量算出部５２０は、算出された画像特徴量が基準値以上である画像ブロックを特徴ブロックと判定し、算出された画像特徴量が基準値未満である画像ブロックを非特徴ブロックと判定する。本例では、画像ブロック特徴量算出部５２０は、画像特徴量の１つとして画像ブロックのエッジ強度（数値）を算出し、算出されたエッジ強度が基準値以上である画像ブロックを特徴ブロックであると判定し、エッジ強度が基準値未満である画像ブロックを非特徴ブロックであると判定する。なお、特徴ブロックの切り分けに用いる特徴量は、エッジ強度に限られるものではなく、上述の標準偏差、分散又はその他の特徴量であってもよい。

高画質拡大処理部５３０（第１の拡大処理手段）は、画像ブロック特徴量算出部５２０により算出された画像特徴量を用いて、入力画像データを拡大する。高画質拡大処理部５３０は、画像ブロック毎に拡大処理を行い、それぞれの画像ブロックに含まれる特徴を維持するような拡大アルゴリズムを適用することが望ましい。
また、高画質拡大処理部５３０は、画像ブロック特徴量算出部５２０により算出された画像特徴量が基準値以上である画像ブロック（すなわち、特徴ブロック）についてのみ、拡大処理を行う。

高速拡大処理部５４０（第２の拡大処理手段）は、記憶部５００により記憶されている入力画像データを拡大する。高速拡大処理部５４０は、高画質拡大処理部５３０による拡大処理よりも処理負荷の小さい拡大アルゴリズムを適用する。具体的には、高速拡大処理部５４０は、例えば、最近傍補間拡大法又は線形補間法などを適用して入力画像データを拡大する。また、高速拡大処理部５４０は、画像ブロック毎の処理ではなく、入力画像単位又は入力画像の数ライン単位で拡大処理を行うことができる。

拡大画像統合部５５０は、高画質拡大処理部５３０により拡大された拡大画像と、高速拡大処理部５４０により拡大された拡大画像とを統合する。より具体的には、拡大画像統合部５５０は、画像ブロック特徴量算出部５２０により算出された画像特徴量が基準値以上である画像ブロック（特徴ブロック）については、高画質拡大処理部５３０により拡大された拡大画像を適用し、算出された画像特徴量が基準値未満である画像ブロック（非特徴ブロック）については、高速拡大処理部５４０により拡大された拡大画像を適用して、１つの拡大画像を生成する。

［画像ブロック特徴量算出部の詳細説明］
次に、画像ブロック特徴量算出部５２０をより詳細に説明する。なお、注目領域が２×２画素サイズブロックであり、注目領域を含む周辺領域が４×４画素サイズブロックである場合を具体例として説明する。
本例の画像ブロック特徴量算出部５２０は、図２に示すように、エッジ強度算出部５２２、エッジ方向推定部５２４及びエッジパターン選択部５２６を含む。

エッジ強度算出部５２２は、画像ブロック設定部５１０で切り出された画像ブロック中の注目領域のエッジ強度Ｇを次の式（１）で算出する。
ｇｘ＝（ａ＋ｃ−ｂ−ｄ）／２
ｇｙ＝（ａ＋ｂ−ｃ−ｄ）／２
Ｇ＝ｇｘ×ｇｘ＋ｇｙ×ｇｙ・・・式（１）
上記式におけるａ、ｂ、ｃ及びｄは、図３に例示するように、注目領域にある各画素の画素値である。また、このように算出される「ｇｘ」は、主走査方向（図３の左右方向）の画素値の変化量を示し、「ｇｙ」は、副走査方向（図３の上下方向）の画素値の変化量を示す。
なお、エッジ強度は上記式（１）で算出されるものに限定されるわけでなく、以下の式（２）などで算出しても良い。
Ｇ＝｜ｇｘ｜＋｜ｇｙ｜・・・式（２）
すなわち、エッジ強度Ｇは、（ｇｘ）の絶対値と（ｇｙ）の絶対値との和として算出されてもよい。

また、エッジ強度算出部５２２は、算出されたエッジ強度Ｇと基準値（既定のしきい値Ｔｈ）との比較を行い、注目領域が特徴ブロック又は非特徴ブロックのいずれであるかを判定し、判定結果をブロックパターン選択部５３４等に出力する。なお、注目領域のエッジ強度Ｇがしきい値Ｔｈよりも小さい場合は、エッジ方向推定部５２４及びエッジパターン選択部５２６は、この注目領域について処理を行わない。

次に、エッジ方向推定部５２４について説明する。
図３（Ａ）は、注目領域及び周辺領域を例示し、図３（Ｂ）は、この注目領域について推定されるエッジ方向を例示する図である。
図３（Ａ）に例示するように、注目領域（画像領域）は２×２の矩形領域（主走査方向及び副走査方向にそれぞれ２つ）を有し、周辺領域は４×４の矩形領域（主走査方向及び副走査方向にそれぞれ４つ）を有する。各矩形はそれぞれ画素に相当し、矩形内の各数字はそれぞれの画素値を示している。すなわち、注目領域は、中心部近傍の画素｛ａ，ｂ，ｃ，ｄ｝＝｛１５，１０４，８６，２０３｝である。以下、この図３（Ａ）で例示する注目領域を具体例として、エッジ方向推定部５２４によるエッジ方向推定処理を説明する。

図４は、エッジ方向推定部５２４によるエッジ方向推定処理（Ｓ１０）のフローチャートである。
図５は、Ｓ１１０において選択される参照領域を例示する図である。なお、図５におけるハッチングされた部分は、図３に示した注目領域に相当する。

図４に示すように、ステップ１００（Ｓ１００）において、エッジ方向推定部５２４は、図３（Ａ）に例示した注目領域のエッジ角度Θを、次の式（３）で計算する。
Θ＝arctan（ｇｙ／ｇｘ）・・・式（３）
図３（Ａ）では、注目領域の画素値は、｛ａ，ｂ，ｃ，ｄ｝＝｛１５，１０４，８６，２０３｝であり、式（１）より、
ｇｘ＝−１０３
ｇｙ＝−８５
となり、これらを式（３）に代入することにより、
Θ＝−１４０．５°
となる。
このエッジ角度Θの方向は、図３（Ｂ）に示された破線方向に相当する。

さらに、エッジ方向推定部５２４は、算出されたエッジ角度Θが２２．５°ごとに区分された方向（８方向）の角度範囲のいずれに含まれるかを判定する。本例では、エッジ角度Θが０°又は±１８０°を中心とした角度範囲を「方向０」とし、２２．５°又は−１５７．５°を中心とした角度範囲を「方向１」とし、４５°又は−１３５°を中心とした角度範囲を「方向２」とし、６７．５°又は−１１２．５°を中心とした角度範囲を「方向３」とし、９０°又は−９０°を中心とした角度範囲を「方向４」とし、１１２．５°又は−６７．５°を中心とした角度範囲を「方向５」とし、１３５°又は−４５°を中心とした角度範囲を「方向６」とし、１５７．５°又は−２２．５°を中心とした角度範囲を「方向７」する。これらの角度範囲は、それぞれの中心から±１１．２５°の範囲である。上述の具体例におけるエッジ角度Θ（＝−１４０．５°）は、−１３５°±１１．２５°の範囲内に含まれるので、エッジ角度は「方向２」となる。

ステップ１１０（Ｓ１１０）において、エッジ方向推定部５２４は、算出された注目領域のエッジ角度Θに応じて、図３（Ａ）に示した周辺領域（太線枠外の領域）の中からエッジ方向の推定に用いる参照領域を選択する。より具体的には、エッジ方向推定部５２４は、算出されたエッジ角度Θの方向で注目領域と隣接する可能性のある画素を含むように、参照領域を選択する。
例えば、エッジ方向推定部５２４は、注目領域について算出されたエッジ角度が「方向０」に含まれる場合に、図５（Ａ）に例示する参照領域（太線で囲まれた２つの領域）を選択し、算出されたエッジ角度が「方向４」に含まれる場合に、図５（Ｂ）に例示する参照領域（太線で囲まれた２つの領域）を選択し、算出されたエッジ角度が上記以外の方向（方向１〜３、方向５〜７）に含まれる場合に、図５（Ｃ）に例示する参照領域（太線で囲まれた４つの領域）を選択する。図３に示した具体例では、エッジ角度の方向は「方向２」であるので、図５（Ｃ）に示した４つの参照領域が選択の候補となる。
なお、参照領域は、図５に例示したものに限定されるわけではなく、例えば図５（Ｃ）の場合などは、参照領域数を８としたり、それぞれの方向に応じた参照領域を設定してもよい。

ステップ１２０（Ｓ１２０）において、エッジ方向推定部５２４は、選択された参照領域それぞれに対して、Ｓ１００と同様に、式（１）及び式（３）に従ってエッジ角度Θを計算する。
ステップ１３０（Ｓ１３０）において、エッジ方向推定部５２４は、それぞれの参照領域について算出されたエッジ角度と、注目領域について算出されたエッジ角度とを比較して、これらの差分が予め設定されている閾値Θｔｈより小さいか否かを判断する。エッジ方向推定部５２４は、エッジ角度の差分が閾値Θｔｈより小さい場合には、この参照領域のエッジ角度を適正なエッジ角度として判定してＳ１４０の処理に移行し、エッジ角度の差分が閾値Θｔｈ以上である場合には、この参照領域のエッジ角度を適正なエッジ角度ではないと判定してＳ１５０の処理に移行する。

ステップ１４０（Ｓ１４０）において、エッジ方向推定部５２４は、角度参照数をインクリメントする。すなわち、エッジ方向推定部５２４は、参照領域について算出されたエッジ角度が適正なエッジ角度であると判断された場合にのみ、角度参照数をインクリメントする。
なお、角度参照数は、エッジ角度の参照数をカウントするための変数であり、注目領域ごとに「角度参照数１」に初期化される。

ステップ１５０（Ｓ１５０）において、エッジ方向推定部５２４は、選択した全ての参照領域についてエッジ角度を算出したか否かを判断し、全ての参照領域についてエッジ角度が算出された場合には、Ｓ１６０の処理に移行し、これ以外の場合には、Ｓ１２０の処理に戻って次の参照領域についてエッジ角度を算出する。
ステップ１６０（Ｓ１６０）において、エッジ方向推定部５２４は、注目領域のエッジ角度と、適正なエッジ角度として判定された参照領域のエッジ角度との総和を計算し、算出されたエッジ角度の総和を角度参照数で割った平均エッジ角度を注目領域の推定エッジ方向とする。

なお、図３に示した具体例では、上部の参照領域｛８６，２０３，１７１，２１１｝からエッジ角度ΘＵ＝−１４９．４°、左部の参照領域｛１０，１５，２０，８６｝からエッジ角度ΘＬ＝−１３１．２°、下部の参照領域｛１，１０２，１５，１０４｝からエッジ角度ΘＤ＝−１７５．２°、右部の参照領域｛１０４，２１５，２０３，２１９｝からエッジ角度ΘＲ＝−１４１．０°となる。注目領域のエッジ角度Θ＝−１４０．５°とそれぞれの参照領域のエッジ角度が比較され、その差分が閾値Θｔｈより小さい参照領域の数が角度参照数としてカウントされる。

図６は、図３に示した注目領域における推定エッジ方向の一例の説明図である。例えば上述の具体例において、すべての参照領域について注目領域のエッジ角度との差分が閾値Θｔｈより小さいとすれば、注目領域及び４つの参照領域から求められたエッジ角度の総和は−７３７．３°となり、角度参照数５で割ることによって平均エッジ角度は−１４７．５°と求めることができる。この場合も、エッジ方向推定部５２４は、上述の注目領域のエッジ方向と同様に、例えば８方向のいずれかに含まれるかを判定する。本例では、平均エッジ角度が−１４７．５°であるため「方向１」に含まれ、これが推定エッジ方向となる。

なお、本実施形態では、１画素につき１色要素であるグレースケール画像を具体例として説明しているが、これに限定されるわけではない。例えば、１画素につき３色要素のＲＧＢ色空間のカラー画像が入力される場合には、各々の色成分のデータにおけるエッジ強度Ｇｒ、Ｇｇ、Ｇｂの強さにより選択された色空間データで上記のエッジ方向推定処理（Ｓ１０）を行えばよい。より具体的には、画像ブロック特徴量算出部５２０は、それぞれの色成分についてエッジ強度を算出し、算出されたエッジ強度Ｇｒ、Ｇｇ、Ｇｂが最大となる色成分を選択して、選択された色成分についてのみ特徴量を算出する。このようにすることで、カラー画像における拡大画像データのエッジ部の色ずれなど、画質低下を抑えることが可能となる。
また、本例では、注目領域及び参照領域について式（１）により算出されたエッジ角度は、８方向のいずれかに分類されたが、これに限定されるものではなく、より精度の高いエッジ方向が必要であれば１２方向（１５．０°ごと）、１６方向（１２．２５°ごと）など、さらに多数の角度領域に分類してもよい。

次に、エッジパターン選択部５２６について説明する。
図７は、エッジパターン選択部５２６で用いるエッジパターンテーブルを例示する図である。
図７に例示するように、エッジパターン選択部５２６は、推定エッジ方向とエッジパターンとを互いに対応付けたエッジパターンテーブルを有する。エッジパターンテーブルには、注目領域のパターンサイズに対応するエッジパターンがそれぞれの推定エッジ方向（ここでは８方向）ごとに１つ以上のエッジパターンが登録されている。
エッジパターン選択部５２６は、このエッジパターンテーブルを参照して、エッジ方向推定部５２４によりそれぞれの注目領域について推定された推定エッジ方向に対応するエッジパターンを選択する。
本例では、図６に例示するように、注目領域に対する推定エッジ方向がエッジ方向推定部５２４によって「方向１」であると推定されているため、エッジパターン選択部５２６は、この推定エッジ方向（方向１）に従い、図７に示すエッジパターンテーブルの中から、方向１に対応する「パターン０」から「パターン３」までの４つのエッジパターンを選択し、これらをこの注目領域（図３）に対するエッジパターンの候補とする。

次に、エッジパターン選択部５２６は、注目領域の画素値に基づいて、エッジパターンの候補となった１つ以上のエッジパターンの中から、１つのエッジパターンを選択する。エッジパターンの具体的な選択方法について、図８を参照しながら説明する。
図８は、図３に示した注目領域に対応するエッジパターンの選択方法を説明する図である。
本例では、推定エッジ方向が「方向１」であったため、図８（Ａ）に例示するように、エッジパターンの候補として、「パターン０」から「パターン３」までの４つのエッジパターンが選択されている。これらのエッジパターンは、図８（Ｂ）に例示するように、ビットパターンとして表現される。具体的には、白部分を０、それ以外を１としてビットパターン化し、「ビットパターン０」から「ビットパターン３」までのビットパターンが生成される。なお、これらのビットパターンは、図７に示すエッジパターンテーブルにビットテーブルとして予め登録されていてもよい。

エッジパターン選択部５２６は、注目領域に相当するビットパターンを判定する。具体的には、エッジパターン選択部５２６は、以下に示す式（４）に従い、注目領域中の平均画素値を計算し、注目領域内の各々の画素値から平均値を引き、その符号を以て注目領域の画素値パターンとする。
Ｍｅａｎ＝（ａ＋ｂ＋ｃ＋ｄ）／４
ａ＿ｓｉｇｎ＝ａ−Ｍｅａｎ
ｂ＿ｓｉｇｎ＝ｂ−Ｍｅａｎ
ｃ＿ｓｉｇｎ＝ｃ−Ｍｅａｎ
ｄ＿ｓｉｇｎ＝ｄ−Ｍｅａｎ・・・式（４）
なお、本例では、図８（Ｃ）に示すように、Ｍｅａｎ＝（１５＋１０４＋８６＋２０３）／４＝１０２であり、ａ＿ｓｉｇｎ＝−８７、ｂ＿ｓｉｇｎ＝２、ｃ＿ｓｉｇｎ＝−１６、ｄ＿ｓｉｇｎ＝１０１となる。よって、エッジパターン選択部５２６は、これらの正負符号を判定して、図８（Ｃ）に示すように、注目領域のビットパターン（１０１０）を生成する。
そして、エッジパターン選択部５２６は、図８（Ｂ）に例示するエッジパターン候補に対応するビットパターンと、図８（Ｃ）に例示する注目領域のビットパターンとのパターンマッチングを行い、最も類似するエッジパターンを選択パターンとして決定する。選択されたエッジパターンは、後述する拡大パラメータ算出部５３２による注目領域における拡大パラメータの算出処理に適用される。

なお、エッジパターンは、図７に示したものに限定されるわけではなく、例えば、エッジパターン選択部５２６は、入力画像データの種類に応じて、エッジパターンテーブルを切り替えて、異なるエッジパターンを適用してもよい。また、エッジパターン選択部５２６は、各角度におけるエッジパターン候補数を増減させてもよい。

［高画質拡大処理部の詳細説明］
次に、高画質拡大処理部５３０をより詳細に説明する。
本例の高画質拡大処理部５３０は、図２に示すように、拡大パラメータ算出部５３２、ブロックパターン選択部５３４及び拡大画素生成部５３６を含む。

拡大パラメータ算出部５３２は、画像ブロック特徴量算出部５２０から入力された各画像ブロックの画像特徴量に基づいて、拡大画素生成部５３６における拡大画素値算出処理に用いる複数の拡大パラメータを算出する。ここで、複数の拡大パラメータとは、画像ブロック設定部５１０から入力された画像ブロック内の複数の画素値及びこれらの画素値から画像ブロック特徴量算出部５２０で算出された画像特徴量に基づいて算出される値などである。
なお、拡大パラメータ算出部５３２は、画像ブロック特徴量算出部５２０により特徴ブロック（画像特徴量が基準値以上）であると判定された画像ブロックについてのみ、拡大パラメータを算出する。

ブロックパターン選択部５３４は、拡大対象画素（注目画素）に対応する特徴ブロックの位置及び数に基づいて、特徴ブロックパターンを選択する。例えば、ブロックパターン選択部５３４は、注目画素が含まれる画像ブロックのうち、画像ブロック特徴量算出部５２０により特徴ブロックであると判定されたものを特定し、特定された特徴ブロックの数と、注目画素に対するこれらの特徴ブロックの位置とに基づいて、特徴ブロックパターンを選択する。

拡大画素生成部５３６は、入力画像データ中の拡大対象画素（注目画素）を含む画像ブロック中の画素値と、拡大パラメータ算出部５３２で算出された拡大パラメータ（注目画素を含む画像ブロックについて設定されたもの）と、ブロックパターン選択部５３６により選択された特徴ブロックパターン（注目画素を含む画像ブロックについて選択されたもの）とを用いて、注目画素に対応する拡大画素値（拡大画像データ）を算出する。拡大画像はこの拡大画素値により構成される。

（拡大パラメータ算出部の詳細）
次に、拡大パラメータ算出部５３２をより詳細に説明する。
拡大パラメータ算出部５３２は、まず、拡大処理の拡大倍率に応じたサイズ及び係数の強調カーネルを用いて、画像ブロック設定部５１０により切り出された画像ブロック中の注目領域及びその周辺領域の画像データのコントラストを強調する。
図９は、拡大パラメータ算出部５３２により用いられる強調カーネル５３３（エッジ強調カーネル）を例示する図である。
図９に例示するように、第１の強調カーネル５３３ａは、重み付け係数「１．６０」及び「−０．１５」を用いてコントラストを強調し、第２の強調カーネル５３３ｂは、重み付け係数「１．２０」及び「−０．０５」を用いてコントラストを強調する。これらの強調カーネルは、対象画像に対して既になされた拡大処理の拡大倍率に対応付けられており、互いに異なる重み付け係数を用いて、互いに異なる位置の画素値を参照する。
第１の強調カーネル５３３ａは、図９（Ａ）に例示するように、注目画素Ｐの直下画素ａ、直右画素ｂ、直上画素ｃ及び直左画素ｄを参照して、これらの画素の画素値にそれぞれ重み付け係数（−０．１５）を掛け合わせ、重み付け係数（１．６０）が掛けられた注目画素Ｐの画素値と合算し、合算された値を注目画素Ｐの画素値とする。
第２の強調カーネル５３３ｂは、第１の強調カーネル５３３ａよりも拡大倍率の大きな画像に対して適用され、図９（Ｂ）に例示するように、注目画素Ｐから１画素分離間した下画素ａ、右画素ｂ、上画素ｃ及び左画素ｄを参照して、これらの画素の画素値にそれぞれ重み付け係数（−０．０５）を掛け合わせ、重み付け係数（１．２０）が掛けられた注目画素Ｐの画素値と合算し、合算された値を注目画素Ｐの画素値とする。
例えば、第１の強調カーネル５３３ａを適用する場合に、以下の式（５）に従って、コントラスト強調後の画素値Ｐ’が算出される。
（画素値Ｐ’）＝１．６０×Ｐ‐０．１５×（ａ＋ｂ＋ｃ＋ｄ）・・・式（５）

このように、既になされた拡大処理の拡大倍率に応じて強調カーネルが異なるのは、４倍、８倍と順に画像を拡大していくと、原画像の特徴を有している画素は、２画素、４画像離れた位置の画素となる。そのため、拡大パラメータ算出部５３２は、図９に例示するように、拡大倍率が高いほど離れた画素を参照して強調処理を行う。例えば、拡大パラメータ算出部５３２は、２倍拡大処理を２回連続して適用することにより４倍拡大が実現される場合に、最初の２倍拡大処理において第１の強調カーネル５３３ａ（図９（Ａ））を適用し、２回目の２倍拡大処理において第２の強調カーネル５３３ｂ（図９（Ｂ））を適用する。なお、８倍、１６倍以降の倍率においても同様である。
また、参照する画素の位置は、図９に示すような上下左右に限られたものではない。例えば、拡大パラメータ算出部５３２は、斜め方向の画素を参照してコントラスト強調を行ったり、さらに離れた画素を参照してコントラスト強調を行ったり、処理対象画像データの種類及びサイズなどにより適用する強調カーネルを切り替えたりしてもよい。

次に、拡大パラメータ算出部５３２は、エッジ方向推定部５２４により推定された推定エッジ方向と、エッジパターン選択部５２６により選択されたエッジパターンと、コントラスト強調がなされた画素値とを用いて、注目領域の画像特徴量に基づく拡大パラメータを算出する。
図１０は、拡大パラメータ算出部５３２により算出される拡大パラメータを例示する図である。
図１０に例示するように、「ｕｈ」、「ｌｈ」、「ｌｖ」、「ｒｖ」及び「ｍｉｄ」の５つの拡大パラメータは、注目領域（図１０中のハッチングを施した領域）の各画素の画素値（ａ、ｂ、ｃ、ｄ）を用いて、既定の計算式によりそれぞれ算出される。この注目領域の画素値は、図９で例示した強調カーネルによりコントラスト強調がなされたものである。また、この計算式（演算式）は、エッジ方向推定部５２４で得られた推定エッジ方向と、エッジパターン選択部５２６で得られたエッジパターンとで決定される。
また、図１０に例示したｒｅｆ[０,５]は、注目領域の推定エッジ方向に応じて一意に設定される。具体的には、注目領域の推定エッジ方向が方向１(２２.５°)から方向３（６７.５°）のいずれかである場合には、図１０（Ａ）に示すように、注目領域周辺のコントラスト強調された画素のうち、左上から下へ３画素（ｒｅｆ４、ｒｅｆ２及びｒｅｆ０）と、右下から上へ３画素（ｒｅｆ１、ｒｅｆ３及びｒｅｆ５）とがｒｅｆ[０,５]として設定される（以後、このｒｅｆ設定をｔｙｐｅＡと呼ぶ）。また、注目領域の推定エッジ方向が方向５(１１２.５°）から方向７（１５７.５°）のいずれかである場合には、図１０（Ｂ）に示すように、左下から上へ３画素（ｒｅｆ０、ｒｅｆ２及びｒｅｆ４）と、右上から下へ３画素（ｒｅｆ５、ｒｅｆ３及びｒｅｆ１）とがｒｅｆ[０,５]として設定される（以後、このｒｅｆ設定をｔｙｐｅＢと呼ぶ）。さらに、注目領域の推定エッジ方向が方向０又は方向４（すなわち垂直方向又は水平方向の場合）である場合は、図１０（Ｃ）に示すように、ｒｅｆ[０,５]が設定される（以後、このｒｅｆ設定をｔｙｐｅＣと呼ぶ）。
なお、ｒｅｆ設定は、図１０に例示した３パターンに限定されるものではなく、推定エッジ方向に従い、より多くのｒｅｆ設定パターンが用意されてもよい。

次に、エッジ方向推定部５２４で得られた推定エッジ方向、及び、エッジパターン選択部５２６で得られたエッジパターンに基づいて決定される拡大パラメータの計算式を説明する。
図１１は、推定エッジ方向及びエッジパターンに応じて決定される拡大パラメータの計算式を例示する図である。
図１１（Ａ）に例示するように、拡大パラメータ算出部５３２は、エッジ方向推定部５２４によりエッジ方向１と推定され、かつ、エッジパターン選択部５２６によりエッジパターン２が選択された場合（すなわち、図３（Ａ）に例示した注目領域が処理対象である場合）、この注目領域（図３（Ａ）に相当）に対して以下の計算式を設定する。
ｕｈ＝（ａ＋ｃ）／２
ｌｈ＝（ｂ＋ｄ）／２
ｌｖ＝（ａ＋ｃ）／２
ｒｖ＝（ｂ＋ｄ）／２
ｍｉｄ＝（ｂ＋ｃ）／２
ｒｅｆ［０，５］＝ｔｙｐｅＡ
なお、上記ａ，ｂ，ｃ及びｄは、注目領域にある各画素の画素値である。

また、拡大パラメータ算出部５３２は、推定エッジ方向１であり、かつ、エッジパターン０である場合には、図１１（Ｂ）に例示するように、以下の計算式を設定する。
ｌｈ＝（ｃ＋ｄ）／２
ｌｖ＝（ａ＋ｃ）／２
ｒｖ＝（ｂ＋ｄ）／２
ｍｉｄ＝（ｂ＋ｃ）／２
ｕｈ＝２＊ｍｉｄ−ｌｈ
ｒｅｆ［０，５］＝ｔｙｐｅＡ

また、拡大パラメータ算出部５３２は、推定エッジ方向３であり、かつ、エッジパターン０である場合には、図１１（Ｃ）に例示するように、以下の計算式を設定する。
ｕｈ＝（ａ＋ｂ）／２
ｌｈ＝（ｃ＋ｄ）／２
ｒｖ＝（ｂ＋ｄ）／２
ｍｉｄ＝（ｂ＋ｃ）／２
ｌｖ＝２＊ｍｉｄ−ｒｖ
ｒｅｆ［０，５］＝ｔｙｐｅＡ

また、拡大パラメータ算出部５３２は、推定エッジ方向７であり、かつ、エッジパターン１である場合には、図１１（Ｄ）に例示するように、以下の計算式を設定する。
ｕｈ＝（ｂ＋ｄ）／２
ｌｈ＝（ａ＋ｃ）／２
ｒｖ＝（ａ＋ｃ）／２
ｍｉｄ＝（ｂ＋ｄ）／２
ｌｖ＝（ａ＋ｄ）／２
ｒｅｆ［０，５］＝ｔｙｐｅＢ

拡大パラメータ算出部５３２は、以上のように設定された計算式に基づいて、拡大パラメータ（ｕｈ、ｌｈなど）を算出する。
なお、他の推定エッジ方向及びエッジパターンの組合せについても、同様にそれぞれ一意に対応した計算式が設定され、この計算式に従って拡大パラメータが算出され設定される。

（ブロックパターン選択部の詳細）
次に、ブロックパターン選択部５３４をより詳細に説明する。
図１２は、ブロックパターン選択部５３４により選択される特徴ブロックパターンを例示する図である。
図１２に例示するように、ブロックパターン選択部５３４は、注目画素が含まれた複数の画像ブロックの中から、特徴ブロックとして画像特徴量算出部５２０により判定された画像ブロック（図中の丸印）を特定し、特定された画像ブロック（特徴ブロック）の数（特徴ブロック数）、及び、特定された特徴ブロックとこの注目画素との位置関係（ブロックパターン）を判定する。なお、本図において、ハッチングされた矩形領域が注目画素に相当し、丸印が付された２×２サイズの領域が特徴ブロックに相当する。
換言すると、ブロックパターン選択部５３４は、画像ブロック特徴量算出部１２により特徴ブロックとして判断された２×２サイズの画像ブロックが、拡大対象画素（注目画素）を中心とした３×３サイズの画像ブロック中に、どれだけあるか（特徴ブロック数）、及び、その特徴ブロックがどのように配置しているか（ブロックパターン）を判断し、図１２に例示された特徴ブロックパターンの中から１つの特徴ブロックパターンを選択する。
なお、ブロックパターン選択部５３４により選択されうる特徴ブロックパターンは、図１２に例示したものに限定されるわけではなく、画像ブロック設定部５１０により設定される画像ブロックサイズ（すなわち、画像ブロック特徴量算出部５２０、拡大パラメータ算出部５３２及び拡大画素生成部５３６における処理で必要とされる画像ブロックサイズ）に従って、特徴ブロックパターンの特徴ブロック数及びブロックパターンは便宜変更される。

（拡大画素生成部の詳細）
次に、拡大画素生成部５３６をより詳細に説明する。
拡大画素生成部５３６は、拡大パラメータ算出部５３２により算出された複数の拡大パラメータと、入力画像データ中の拡大対象画素（注目画素）が含まれる画像ブロック中の画素値とを用いて、ブロックパターン選択部５３４により選択された特徴ブロックパターンに対応した演算式に従って、この注目画素に対応する拡大画素値（拡大倍率に応じた拡大処理後の画素の画素値）を算出する。
図１３は、注目画素が含まれた複数の画像ブロック（近傍ブロック）を例示する図である。
図１３に例示するように、拡大画素生成部５３６は、拡大画素生成処理において、拡大対象画素である注目画素が含まれる複数の近傍ブロックの画素値を参照して、注目画素に対応する拡大画素値を生成する。具体的には、拡大画素生成部５３６は、拡大対象画素である注目画素Ｅを拡大する場合に、図１３に示すように、近傍ブロック０（ＡＢＤＥ）、近傍ブロック１（ＢＣＥＦ）、近傍ブロック２（ＤＥＧＨ）及び近傍ブロック３（ＥＦＨＩ）の４つの近傍ブロックに関して、それぞれの近傍ブロックについて拡大パラメータ算出部５３２により算出された拡大パラメータの一部を用いて、注目画素に対応する拡大画素の画素値を算出する。

以下、図１４〜図１６を参照して、注目画素Ｅを主走査方向及び副走査方向にそれぞれ２倍拡大する場合を具体例として説明する。
図１４は、特徴ブロック数が４であり、かつ、ブロックパターンが０である場合に適用される拡大画素の算出式を例示する図である。
図１４に例示するように、拡大画素生成部５３６は、拡大対象画素である注目画素Ｅを拡大倍率２倍で拡大する場合に、拡大画素Ｓ０、Ｓ１、Ｓ２、Ｓ３を生成する。より具体的には、拡大画素生成部５３６は、注目画素Ｅが含まれた４つの近傍ブロック（図１３）の画素値と、拡大パラメータ算出部５３２により算出された拡大パラメータとを用いて、以下に示す算出式により拡大画素Ｓ０、Ｓ１、Ｓ２、Ｓ３の画素値を算出する。この場合の算出式は、特徴ブロック数４及びブロックパターン０に対応付けられたものである。なお、注目画素Ｅを含む近傍ブロック内の画素値は、拡大パラメータ算出部５３２により予めコントラスト強調がなされている。
特徴ブロック数４及びブロックパターン０に対応する算出式の一例は以下である。

Ｓ０＝０．０５×（Ａ＋Ｂ）＋０．３６×Ｅ
＋０．１２×ｕｈ（ＤＥＧＨ）＋０．０６×ｌｈ（ＡＢＤＥ）
＋０．１２×ｌｖ（ＢＣＥＦ）＋０．０６×ｒｖ（ＡＢＤＥ）
＋０．０９×ｍｉｄ（ＡＢＤＥ）
＋０．０４×ｒｅｆ０（ＥＦＨＩ）
＋０．０３×ｒｅｆ２（ＢＣＥＦ）
＋０．０２×ｒｅｆ４（ＢＣＥＦ）

Ｓ１＝０．０５×（Ｂ＋Ｃ）＋０．３６×Ｅ
＋０．１２×ｕｈ（ＥＦＨＩ）＋０．０６×ｌｈ（ＢＣＥＦ）
＋０．１２×ｒｖ（ＡＢＤＥ）＋０．０６×ｌｖ（ＢＣＥＦ）
＋０．０９×ｍｉｄ（ＢＣＥＦ）
＋０．０４×ｒｅｆ１（ＤＥＧＨ）
＋０．０３×ｒｅｆ３（ＡＢＤＥ）
＋０．０２×ｒｅｆ５（ＡＢＤＥ）

Ｓ２＝０．０５×（Ｇ＋Ｈ）＋０．３６×Ｅ
＋０．１２×ｌｈ（ＡＢＤＥ）＋０．０６×ｕｈ（ＤＥＧＨ）
＋０．１２×ｌｖ（ＥＦＨＩ）＋０．０６×ｒｖ（ＤＥＧＨ）
＋０．０９×ｍｉｄ（ＤＥＧＨ）
＋０．０４×ｒｅｆ４（ＢＣＥＦ）
＋０．０３×ｒｅｆ２（ＥＦＨＩ）
＋０．０２×ｒｅｆ０（ＥＦＨＩ）

Ｓ３＝０．０５×（Ｈ＋Ｉ）＋０．３６×Ｅ
＋０．１２×ｌｈ（ＢＣＥＦ）＋０．０６×ｕｈ（ＥＦＨＩ）
＋０．１２×ｒｖ（ＤＥＧＨ）＋０．０６×ｌｖ（ＥＦＨＩ）
＋０．０９×ｍｉｄ（ＥＦＨＩ）
＋０．０４×ｒｅｆ５（ＡＢＤＥ）
＋０．０３×ｒｅｆ３（ＤＥＧＨ）
＋０．０２×ｒｅｆ１（ＤＥＧＨ）

なお、上式に示した記号（ＡからＥ）は、それぞれ図１３で説明した注目画素及び近傍画素の画素値を表す。また、ｕｈ、ｌｈ、ｌｖ、ｒｖ、ｒｅｆ[０、５]は、それぞれ拡大パラメータ算出部５３２により算出された、カッコ内のアルファベット列（ＡＢＤＥ、ＢＣＥＦ、ＤＥＧＨ、ＥＦＨＩ）で表される近傍ブロック０から近傍ブロック３における拡大パラメータである。

図１５は、特徴ブロック数が１であり、かつ、ブロックパターンが３である場合に適用される拡大画素の算出式を例示する図である。
図１５に例示するように、拡大画素生成部５３６は、特徴ブロック数１及びブロックパターン３に対応する算出式を適用して、注目画素Ｅに対応する拡大画素Ｓ０、Ｓ１、Ｓ２、Ｓ３を生成する。
特徴ブロック数１及びブロックパターン３に対応する算出式の一例は以下である。

Ｓ０＝０．３２×Ｅ
＋０．４８×ｌｖ（ＢＣＥＦ）
＋０．１２×ｒｅｆ２（ＢＣＥＦ）
＋０．０８×ｒｅｆ４（ＢＣＥＦ）

Ｓ１＝０．１６×Ｅ
＋０．２４×ｌｈ（ＢＣＥＦ）
＋０．２４×ｌｖ（ＢＣＥＦ）
＋０．３６×ｍｉｄ（ＢＣＥＦ）

Ｓ２＝０．２×Ｇ
＋０．６４×Ｅ
＋０．１６×ｒｅｆ４（ＢＣＥＦ）

Ｓ３＝０．２×Ｈ
＋０．３２×Ｅ
＋０．４８×ｌｈ（ＢＣＥＦ）

図１６は、特徴ブロック数が２であり、かつ、ブロックパターンが３である場合に適用される拡大画素の算出式を例示する図である。
図１６に例示するように、拡大画素生成部５３６は、特徴ブロック数２及びブロックパターン３に対応する算出式を適用して、注目画素Ｅに対応する拡大画素Ｓ０、Ｓ１、Ｓ２、Ｓ３を生成する。
特徴ブロック数２及びブロックパターン３に対応する算出式の一例は以下である。

Ｓ０＝０．１×Ａ
＋０．４８×Ｅ
＋０．２４×ｌｖ（ＢＣＥＦ）
＋０．０８×ｒｅｆ０（ＥＦＨＩ）
＋０．０６×ｒｅｆ２（ＢＣＥＦ）
＋０．０４×ｒｅｆ４（ＢＣＥＦ）

Ｓ１＝０．１×Ｂ
＋０．２４×Ｅ
＋０．２４×ｕｈ（ＥＦＨＩ）
＋０．１２×ｌｈ（ＢＣＥＦ）
＋０．１２×ｌｖ（ＢＣＥＦ）
＋０．１８×ｍｉｄ（ＢＣＥＦ）

Ｓ２＝０．１×Ｇ
＋０．４８×Ｅ
＋０．２４×ｌｖ（ＥＦＨＩ）
＋０．０８×ｒｅｆ４（ＢＣＥＦ）
＋０．０６×ｒｅｆ２（ＥＦＨＩ）
＋０．０４×ｒｅｆ０（ＥＦＨＩ）

Ｓ３＝０．１×Ｈ
＋０．２４×Ｅ
＋０．２４×ｌｈ（ＢＣＥＦ）
＋０．１２×ｕｈ（ＥＦＨＩ）
＋０．１２×ｌｖ（ＥＦＨＩ）
＋０．１８×ｍｉｄ（ＥＦＨＩ）

以上例示したように、拡大画素生成部５３６は、それぞれの特徴ブロックパターン（特徴ブロック数及びブロックパターン）と、算出式とを互いに対応付けており、特徴ブロックパターンに対応付けられた算出式を用いて、拡大画素の画素値（Ｓ０、Ｓ１、Ｓ２及びＳ３）を算出する。
なお、拡大画素生成部５３６は、注目画素を中心とした３×３サイズの画像ブロックの中に特徴ブロックが１つも存在しない場合には、この注目画素に対応する拡大画素の生成処理を行わず、次の注目画素（例えばラスタスキャン順で右隣の画素）の処理に移行する。すなわち、画像拡大プログラム５（図２）は、注目画素を中心とした３×３サイズの画像ブロックの中に特徴ブロックが１つも存在しない場合には、高速拡大処理部５４０により生成された拡大画素を適用する。

このように、本実施形態における画像拡大プログラム５は、処理対象となった画像データを既定サイズの画像ブロックに分けて、各画像ブロックを特徴ブロック又は非特徴ブロックに切り分け、特徴ブロックに対してのみエッジ強度及びエッジ方向等の特徴量を算出する。そして、画像拡大プログラム５は、この特徴ブロックの画像特徴量に基づいて特徴ブロック毎の拡大パラメータを算出し、入力画像データにおける注目画素から拡大画素を生成する際に、この特徴ブロックに対応する拡大パラメータを用いることにより、拡大処理全体の処理負荷を抑えた、高画質な拡大画像を得ることができるようになる。

［全体動作］
次に、画像拡大プログラム５の全体動作を説明する。
図１７は、画像拡大プログラム５による画像拡大処理（Ｓ２０）のフローチャートである。
図１７に示すように、ステップ２００（Ｓ２００）において、画像ブロック設定部５１０は、画像ブロック特徴量算出部５２０、拡大パラメータ算出部５３２及び拡大画素生成部５３６における処理で必要とされる既定の画像ブロックのサイズをそれぞれ設定し、記憶部５００に記憶されている処理対象画像データから、設定されたブロックサイズの画像ブロックを順次（例えばラスタスキャン順に）切り出し、切り出された各画像ブロックを画像ブロック特徴量算出部５２０、拡大パラメータ算出部５３２及び拡大画素生成部５３６にそれぞれ出力する。

ステップ２０５（Ｓ２０５）において、画像ブロック特徴量算出部５２０は、入力された画像ブロック中の注目領域のエッジ強度Ｇを式（１）で算出する。なお、｛ａ，ｂ，ｃ，ｄ｝は図３に例示するように注目領域内の各画素値である。入力画像データがグレースケール画像でなく、例えばＲＧＢ色空間のカラー画像である場合には、画像ブロック特徴量算出部５２０は、注目領域に関してＲ，Ｇ，Ｂの各色空間の色成分毎の画像ブロックそれぞれについて、式（１）を用いてエッジ強度Ｇｒ、Ｇｇ、Ｇｂを計算し、Ｇｒ、Ｇｇ、Ｇｂの中で最大のエッジ強度である色成分の画像ブロックを選択し、そのエッジ強度を注目領域の（すべての色成分に共通の）エッジ強度とする。

ステップ２１０（Ｓ２１０）において、画像ブロック特徴量算出部５２０は、注目領域のエッジ強度Ｇに基づいて、この注目領域が特徴ブロックであるか非特徴ブロックであるかを判定する。具体的には、画像ブロック特徴量算出部５２０は、算出されたエッジ強度Ｇが既定の閾値Ｔｈ以上である場合（すなわち、注目領域内の階調変化量が大きい場合）に、この注目領域を特徴ブロックとし、算出されたエッジ強度Ｇが既定の閾値Ｔｈ未満である場合（すなわち、注目領域内の階調変化量が小さい場合）に、この注目領域を非特徴ブロックとする。
画像拡大プログラム５は、注目領域が特徴ブロックであると判定された場合に、この注目領域の画像特徴を保存するような拡大処理行うべくＳ１０の処理に移行し、注目領域が非特徴ブロックであると判定された場合にＳ２００の処理に戻り次の画像ブロックを処理する。

Ｓ１０において、画像ブロック特徴量算出部５２０は、注目領域（特徴ブロック）及びその注目領域を含む１ないし複数の周辺領域中の参照領域のエッジ角度Θを、式（３）で計算する。
なお、ｇｘ、ｇｙは式（１）において各々算出される値である。そして、画像ブロック特徴量算出部５２０は、算出された複数のエッジ角度Θから注目領域のエッジ方向θを推定する。例えば、画像ブロック特徴量算出部５２０は、得られた複数のエッジ角度Θの平均値を算出し、算出された平均値を推定エッジ方向θとする。

ステップ２１５（Ｓ２１５）において、画像ブロック特徴量算出部５２０は、推定されたエッジ方向θ及び注目領域（特徴ブロック）の画素分布パターンを用いてエッジパターンを選択する。ここで、エッジパターンについては、エッジ方向及び画素分布パターンに応じて予め用意されたパターンテーブル（図７）の中から選択される。

ステップ２２０（Ｓ２２０）において、拡大パラメータ算出部５３２は、拡大率に応じてサイズ及び重み付け係数が設定された強調カーネル５３３（図９）を用いて、画像ブロック設定部５１０により切り出された画像ブロック中の注目領域（特徴ブロック）及びその周辺領域の画像データに対してコントラスト強調処理を施す。さらに、拡大パラメータ算出部５３２は、コントラスト強調処理が施された画像データと、エッジ方向推定部５２４により推定された推定エッジ方向と、エッジパターン選択部５２６により選択されたエッジパターンとを用いて、これら注目領域（特徴ブロック）の画像特徴量に基づく拡大パラメータ（ｕｈ、ｌｈ、ｌｖ、ｒｖ、ｍｉｄ、ｒｅｆ）を算出する。

ステップ２２５（Ｓ２２５）において、ブロックパターン選択部５３６は、入力画像データの拡大対象画素（注目画素）が含まれる画像ブロックの中から、特徴ブロックを特定し、特定された特徴ブロックの数及び位置に基づいて、特徴ブロックパターンのテーブル（図１２）から１つの特徴ブロックパターンを選択する。
そして、拡大画素生成部５３６は、注目画素が含まれる画像ブロックの画素値（コントラスト強調された画素値）と、注目画素周辺（注目画素を含む）の画像ブロックについて拡大パラメータ算出部５３２により算出された複数の拡大パラメータ（ｕｈ、ｌｈ、ｌｖ、ｒｖ、ｍｉｄ、ｒｅｆ）とを用いて、ブロックパターン選択部５３６により選択された特徴ブロックパターンに対応する算出式（図１４〜図１６）により拡大画素値（注目画素に対応する拡大画素の画素値）を生成し、生成された拡大画素の画素値を記憶部５００に出力し格納させる。

ステップ２３０（Ｓ２３０）において、画像拡大プログラム５は、全ての入力画像データについてＳ２００からＳ２２５までの処理が完了したか否かを判定し、処理が完了していないと判定された場合に、Ｓ２００の処理に戻って次の画素ブロックに対する処理を行い、全ての入力画像データについて処理が完了していると判定された場合に、Ｓ２３５の処理に移行する。

ステップ２３５（Ｓ２３５）において、高速拡大処理部５４０（図２）は、記憶部５００に記憶されている入力画像データを画像毎または数ライン毎に入力し、最近傍補間法により拡大処理を行う。
なお、本例の高速拡大処理部５４０は、最近傍補間法を適用するが、これに限定されるものではなく、高画質拡大処理部５３０による拡大処理（Ｓ２００〜Ｓ２２５による拡大処理）よりも処理負荷の軽い拡大処理（例えば線形補間法など）を、処理速度要求又は出力画像データに要求される画質なども勘案して適用してもよい。また、本例の高速拡大処理部５４０は、高画質拡大処理部５３０による拡大処理（Ｓ２００〜Ｓ２２５までの処理）が終了した後に拡大処理を行っているが、高画質拡大処理部５３０による拡大処理と並行して拡大処理を行ってもよいし、高画質拡大処理部５３０による拡大処理の前に拡大処理を行ってもよい。

ステップ２４０（Ｓ２４０）において、拡大画像統合部５５０（図２）は、拡大画素正西部５３６により生成された拡大画素を、高速拡大処理部５４０により拡大された拡大画像上の対応する位置に配置する。
なお、拡大画像統合部５５０は、拡大画素の統合方法として、拡大画素生成部５３６により生成された拡大画素で単純に置き換える方法、又は、拡大画像生成部５３６により生成された拡大画素と高速拡大処理部５４０により生成された拡大画素との平均化処理を行う方法などを適用してもよい。すなわち、拡大画素統合部５５０は、拡大画素生成部５３６により生成された拡大画素を用いるのであれば、処理速度及び画質を勘案し、種々の統合方法を適用しうる。

以上説明したように、本実施形態における画像処理装置２は、注目画素を含む所定の大きさの画像領域の特徴量を算出し、算出された特徴量に従って拡大画素生成に用いる拡大パラメータを算出し、算出された拡大パラメータと入力画像データの画素値とを用いて拡大画素値を生成している。さらに、画像処理装置２は、入力画像データを特徴量と関係なく、上記の特徴量の基づく拡大手法とは異なる拡大手法（最近傍法など）で拡大して拡大画像を生成し、特徴量に基づく拡大手法で生成された拡大画素を、この拡大画像上の対応する位置に所定の方法で配置して、拡大された出力画像を得る。特徴量に基づく高画質拡大処理は処理負荷が重いが、画像処理装置２は、このような高画質拡大処理を特徴的な部分（特徴ブロック）にのみ適用することにより、全体としての処理負荷を抑え、かつ、特徴的な部分について高画質拡大処理を適用することにより、特徴的な部分の特徴量を保存して、ボケやジャギーなどの画質欠陥を抑制した高画質な拡大画像が得ることができる。

本発明にかかる画像処理方法が適応される画像処理装置２のハードウェア構成を、制御装置２０を中心に例示する図である。 制御装置２０（図１）により実行され、本発明にかかる画像処理方法を実現する画像拡大プログラム５の機能構成を例示する図である。 （Ａ）は、注目領域及び周辺領域を例示し、（Ｂ）は、この注目領域について推定されるエッジ方向を例示する図である。 エッジ方向推定部５２４によるエッジ方向推定処理（Ｓ１０）のフローチャートである。 Ｓ１１０において選択される参照領域を例示する図である。 図３に示した注目領域における推定エッジ方向の一例の説明図である。 エッジパターン選択部５２６で用いるエッジパターンテーブルを例示する図である。 図３に示した注目領域に対応するエッジパターンの選択方法を説明する図である。 拡大パラメータ算出部５３２により用いられる強調カーネル５３３を例示する図である。 拡大パラメータ算出部５３２により算出される拡大パラメータを例示する図である。 推定エッジ方向及びエッジパターンに応じて決定された拡大パラメータの計算式を例示する図である。 ブロックパターン選択部５３４により選択される特徴ブロックパターンを例示する図である。 注目画素が含まれた複数の画像ブロック（近傍ブロック）を例示する図である。 特徴ブロック数が４であり、かつ、ブロックパターンが０である場合に適用される拡大画素の算出式を例示する図である。 特徴ブロック数が１であり、かつ、ブロックパターンが３である場合に適用される拡大画素の算出式を例示する図である。 特徴ブロック数が２であり、かつ、ブロックパターンが３である場合に適用される拡大画素の算出式を例示する図である。 画像拡大プログラム５による画像拡大処理（Ｓ２０）のフローチャートである。

符号の説明

２・・・画像処理装置
５・・・画像拡大プログラム
５００・・・記憶部
５１０・・・画像ブロック設定部
５２０・・・画像ブロック特徴量算出部
５２２・・・エッジ強度算出部
５２４・・・エッジ方向推定部
５２６・・・エッジパターン選択部
５３０・・・高画質拡大処理部
５３２・・・拡大パラメータ算出部
５３３・・・強調カーネル
５３４・・・ブロックパターン選択部
５３６・・・拡大画素生成部
５４０・・・高速拡大処理部
５５０・・・拡大画像統合部

Claims (16)

1. 入力画像の拡大処理を行う画像処理装置であって、
   入力画像における既定の大きさの画像領域について、階調変化に関する特徴量を算出する領域特徴量算出手段と、
   前記領域特徴量算出手段により算出された特徴量に基づいて、拡大画像データを生成するよう処理する第１の拡大処理手段と、
   前記第１の拡大処理手段とは異なる拡大処理方法を適用して、入力画像の拡大画像データを生成するよう処理する第２の拡大処理手段と、
   前記第１の拡大処理手段により生成された拡大画像データと、前記第２の拡大処理手段により生成された拡大画像データとに基づいて、入力画像に対応する拡大画像データを生成する拡大画像生成手段と
   を有する画像処理装置。
2. 前記領域特徴量算出手段は、画像領域における階調変化量を前記特徴量として算出し、
   前記第１の拡大処理手段は、前記領域特徴量算出手段により算出される階調変化量が基準値以上である画像領域についてのみ、拡大画像データを生成するよう処理し、
   前記拡大画像生成手段は、前記領域特徴量算出手段により算出される階調変化量が基準値以上である画像領域については、少なくとも前記第１の拡大処理手段により生成された拡大画像データを適用し、前記領域特徴量算出手段により算出される階調変化量が基準値未満である画像領域については、前記第２の拡大処理手段により生成された拡大画像データを適用する
   請求項１に記載の画像処理装置。
3. 前記領域特徴量算出手段により算出された特徴量に基づいて、パラメータを生成するパラメータ生成手段
   をさらに有し、
   前記第１の拡大処理手段は、処理対象画素が含まれる画像領域内の画素値と、前記パラメータ生成手段によりこの画像領域について生成されたパラメータとを用いて、この処理対象画素に対応する拡大画像データを生成するよう処理する
   請求項１又は２に記載の画像処理装置。
4. 前記領域特徴量算出手段は、前記画像領域における階調変化量を前記特徴量として算出する
   請求項１に記載の画像処理装置。
5. 前記領域特徴量算出手段は、前記画像領域における階調変化の方向を前記特徴量として算出し、
   前記パラメータ生成手段は、前記領域特徴量算出手段により算出された階調変化の方向に応じて画像領域内から参照画素を選択し、少なくとも、選択された参照画素の画素値を前記パラメータとする
   請求項３に記載の画像処理装置。
6. 前記領域特徴量算出手段は、予め用意された複数のエッジパターンのうち、それぞれの画像領域における階調変化に対応するエッジパターンを前記特徴量として選択し、
   前記パラメータ生成手段は、前記領域特徴量算出手段により選択されたエッジパターンに対応する演算式を用いて、前記パラメータを算出する
   請求項３に記載の画像処理装置。
7. 前記領域特徴量算出手段は、色空間におけるそれぞれの色成分毎に前記特徴量を算出し、算出された１つ以上の特徴量に基づいていずれか１つの色成分を選択し、選択された色成分の特徴量を前記画像領域の特徴量とする
   請求項１に記載の画像処理装置。
8. 前記領域特徴量算出手段は、それぞれの色成分について、前記画像領域における階調変化量を算出し、算出された階調変化量が最大である色成分を選択する
   請求項７に記載の画像処理装置。
9. 前記パラメータ生成手段は、前記領域特徴量算出手段により算出された特徴量に対応する既定の演算式を用いてパラメータを生成する
   請求項３に記載の画像処理装置。
10. 前記パラメータ生成手段は、拡大率に応じてカーネル要素及びカーネル要素間距離が異なるエッジ強調カーネルを用いて、入力画像の画素値を補正し、補正された画素値を用いてパラメータを生成する
    請求項３に記載の画像処理装置。
11. 処理対象画素が含まれる複数の画像領域であって、前記領域特徴量算出手段により算出された特徴量が既定の条件を満たす画像領域の配置状態を判定する配置パターン判定手段
    をさらに有し、
    前記第１の拡大処理手段は、前記配置パターン判定手段により処理対象画素について判定された配置状態に基づいて、複数の配置状態に対応付けられた複数の算出式の中からいずれかの算出式を選択し、選択された算出式を用いて、処理対象画素に対応する拡大画像データを算出する
    請求項１に記載の画像処理装置。
12. 前記第１の拡大処理手段は、前記パラメータ生成手段により生成されたパラメータと、処理対象画素が含まれる画像領域中の画素値とを重み付け加算して拡大画像データを生成するよう処理する
    請求項３に記載の画像処理装置。
13. 前記第２の拡大処理手段は、前記第１の拡大処理手段よりも処理負荷の軽い拡大処理方法を適用して、入力画像の拡大画像データを生成するよう処理する
    請求項１に記載の画像処理装置。
14. 前記第２の拡大処理手段は、入力画像毎に、又は、入力画像に含まれる１以上のライン毎に、拡大画像データを生成するよう処理する
    請求項１に記載の画像処理装置。
15. 入力画像の拡大処理を行う画像処理方法であって、
    入力画像における既定の大きさの画像領域について、階調変化に関する特徴量を算出し、
    算出された特徴量が既定の条件を満たす場合に、算出された特徴量を用いる第１の拡大処理方法を適用して、この画像領域に対応する拡大画像データを生成するよう処理し、
    前記第１の拡大処理方法とは異なる第２の拡大処理方法を適用して、この入力画像の少なくとも一部に対応する拡大画像データを生成するよう処理し、
    前記第１の拡大処理方法を適用して生成された拡大画像データと、前記第２の拡大処理手段を適用して生成された拡大画像データとに基づいて、入力画像に対応する拡大画像データを生成する
    画像処理方法。
16. 入力画像の拡大処理を行う画像処理装置において、
    入力画像における既定の大きさの画像領域について、階調変化に関する特徴量を算出するステップと、
    算出された特徴量が既定の条件を満たす場合に、算出された特徴量を用いる第１の拡大処理方法を適用して、この画像領域に対応する拡大画像データを生成するよう処理するステップと、
    前記第１の拡大処理方法とは異なる第２の拡大処理方法を適用して、この入力画像の少なくとも一部に対応する拡大画像データを生成するよう処理するステップと、
    前記第１の拡大処理方法を適用して生成された拡大画像データと、前記第２の拡大処理手段を適用して生成された拡大画像データとに基づいて、入力画像に対応する拡大画像データを生成するステップと
    を前記画像処理装置に実行させるプログラム。

Images