JP2006174276A - 画像処理装置、画像処理方法及びそのプログラム - Google Patents

Abstract

【課題】 比較的軽い処理負荷で、高画質な拡大画像を得ることができる画像処理装置を提供する。
【解決手段】 画像処理装置２は、注目領域の特徴を抽出し、抽出された特徴に基づいて、注目領域内及びその近傍領域内の画素値を変換し、変換された画素値と、抽出された特徴とに応じて、注目画素を含む所定の大きさの画像領域を拡大する複数の拡大手法を切り替えて拡大画像領域を生成し、得られた拡大画像領域を配置して、拡大された出力画像を生成する。このように、画像処理装置２は、入力画像中のエッジ部分に関しては、エッジを滑らかにする拡大手法を適用し、入力画像中の平坦な部分（真白や真黒の画像部分）に関しては処理負荷の小さい拡大手法を適用することによって、エッジ部分のジャギーを抑制した高画質な拡大処理を行うとともに、処理負荷を抑えて高速に拡大処理を行う。
【選択図】図２３

Description

本発明は、画像を拡大する画像処理装置に関する。

二値画像の拡大処理は、ディジタル複写機や複合機、プリンタ、ＦＡＸ、スキャナなどの編集やファイリング、表示、印刷などを行うシステムにとって基本的な処理の一つである。また近年、高解像度のディジタル複写機や複合機、プリンタの普及に伴い、印刷出力の際に高画質の出力結果を得ることが望まれており、高画質拡大処理に対する重要度が高まっている。
二値画像を拡大処理する既存の代表的な手法としては、最近傍法や線形補間法がある。最近傍法は、拡大後の画素値として、その画素を原画像上に逆写像した際に最も距離が近い画素の画素値を使うという方法である。この方法は、演算量が少ないため高速に処理することができる。しかし、原画像の１画素がそのまま矩形形状に拡大されるため、二値画像においては斜線部やエッジ部のジャギーが目立ち、倍率が大きい場合には画質劣化の程度は非常に大きい。
これらの問題を解決する試みとして、例えば特許文献１、特許文献２などの新規方式が提案されている。
特許文献１に記載されている技術では、着目画素を中心とする所定領域毎に予め用意されたテンプレートとマッチングをとり、マッチングパターンに対応するスムージング拡大パターンにより拡大し、前記拡大パターンを拡大率に応じて１つ以上の画素に分割し、その各画素毎に平滑化処理を施して着目画素を拡大および多値化する。またパターンは予め複数のパターン群に分け、マッチングをとる優先順位を予め決めることによりパターンの誤検出を防止している。しかし、本技術は、基本的に、テンプレートマッチングと平滑化処理のみによる２値画像の拡大であり、非常に多くのテンプレートを必要とし、用意されないパターンのエッジに関してはスムージング拡大処理を行うことができない。
特許文献２に記載されている技術では、まず原画像を２値化し、その２値画像から原画像に含まれる斜め成分の方向を、方向毎に予め用意した２次元パターン（行列データ）と一致判定することにより求め、求められた方向の斜線と画素位置を格子点と見なした場合の交点とその交点における画素値を求める事により補間処理を行う。しかし、本技術は、求められた方向により補正がされてはいるが基本的には線形補間（内挿）法による補間処理であり、十分なジャギーの低減は行えない。
特開平７−２２１９７６号公報 特開２０００−２２８７２３号公報

本発明は、上述した背景からなされたものであり、画像を高画質に拡大する画像処理装置を提供することを目的とする。

［画像処理装置］
上記目的を達成するために、本発明にかかる画像処理装置は、入力画像の拡大処理を行う画像処理装置であって、入力画像に含まれる注目画素について、この注目画素を含む既定の大きさの画像領域の特徴を抽出する領域特徴抽出手段と、前記領域特徴抽出手段により抽出された特徴に基づいて、少なくともこの画像領域内の画素値を変換する画素値変換手段と、前記画素値変換手段により変換された画像領域の画素値に基づいて拡大画像領域を生成する１つの生成手段、及び、前記１つの生成手段とは異なる処理により拡大画像領域を生成する他の生成手段を含む拡大画像領域生成手段と、前記拡大画像領域生成手段により生成された拡大画像領域を配置する画像配置手段とを有し、前記拡大画像領域生成手段は、前記領域特徴抽出手段により抽出された特徴に応じた前記生成手段を適用する。

好適には、前記画素値変換手段は、前記画像領域の画素値が既定の条件を満たしている場合にのみ、前記画像領域内の画素値と、この画像領域の近傍領域内の画素値とを変換する。

好適には、前記領域特徴抽出手段は、前記画像領域の画素値が既定の条件を満たしている場合に、この画像領域の画素値パターンをこの画像領域の特徴として抽出する。

好適には、前記領域特徴抽出手段は、抽出された画素値パターンが既定のパターンである場合に、この画素値パターンを補正する。

好適には、前記領域特徴抽出手段は、前記画像領域における画素値パターンに基づいて、階調変化に関する複数の角度を算出し、算出された複数の角度に基づいて、この画像領域における階調変化の変化方向を、前記特徴として抽出し、前記画素値変換手段は、前記領域特徴抽出手段により抽出された変化方向に応じて、前記画像領域内の画素値を変換する。

好適には、前記画素値変換手段は、前記領域特徴抽出手段により抽出された変化方向に応じた位置の画素群を参照して、平滑化処理を行う。

好適には、前記画素値変換手段は、前記平滑化処理がなされた複数の画素値を用いて、階調変化を強調するエッジ強調処理を行う。

好適には、前記画素値変換手段は、前記領域特徴抽出手段により抽出された特徴に基づいて、前記画像領域内の画素値と、この画像領域の近傍領域内の画素値とを変換し、前記１つの生成手段は、前記領域特徴抽出手段により抽出された特徴が既定の条件を満たす画像領域の注目画素に対して、この画像領域の特徴、前記画素値変換手段により変換された画像領域の画素値、及び、前記画素値変換手段により変換された近傍領域の画素値に基づいて、注目画素に対応する拡大画像領域を生成する。

好適には、前記領域特徴抽出手段は、前記画像領域における階調変化の度合いを示す階調変化度を前記特徴として抽出し、前記１つの生成手段は、前記他の生成手段よりも処理負荷の大きな拡大処理を行い、前記拡大画像領域生成手段は、画像領域の階調変化度が既定の基準以上である場合に、前記１つの生成手段を適用し、画像領域の階調変化度が前記基準に満たない場合に、前記他の生成手段を適用する。

好適には、前記画像配置手段は、前記拡大画像領域生成手段により生成される複数の拡大画像領域が拡大後の画像において互いに重なり合う場合に、これらの拡大画像領域に基づいて、この重複部分の画素値を決定する。

好適には、前記画像配置手段は、前記拡大画像領域生成手段により生成される複数の拡大画像領域が拡大後の画像において互いに重なり合う場合に、これら拡大画像領域の重複部分について、同一画素に対応する複数の画素値の平均値を算出する。

［画像処理方法］
また、本発明にかかる画像処理方法は、入力画像の拡大処理を行う画像処理方法であって、入力画像に含まれる注目画素について、この注目画素を含む既定の大きさの画像領域の特徴を抽出し、抽出された特徴に応じて、少なくともこの画像領域内の画素値を変換し、抽出された特徴に基づいて、変換された画像領域の画素値に基づいて拡大画像領域を生成する１つの生成手法、又は、前記１つの生成手法とは異なる処理により拡大画像領域を生成する他の生成手法を選択し、選択された生成手法を適用して、拡大画像領域を生成し、生成された拡大画像領域を配置する。

［プログラム］
また、本発明にかかるプログラムは、入力画像の拡大処理を行う画像処理装置において、入力画像に含まれる注目画素について、この注目画素を含む既定の大きさの画像領域の特徴を抽出するステップと、抽出された特徴に応じて、少なくともこの画像領域内の画素値を変換するステップと、抽出された特徴に基づいて、変換された画像領域の画素値に基づいて拡大画像領域を生成する１つの生成手法、又は、前記１つの生成手法とは異なる処理により拡大画像領域を生成する他の生成手法を選択するステップと、選択された生成手法を適用して、拡大画像領域を生成するステップと、生成された拡大画像領域を配置するステップとを前記画像処理装置に実行させる。

本発明の画像処理装置によれば、比較的軽い処理負荷で、高画質な拡大画像を得ることができる。

［ハードウェア構成］
まず、本実施形態における画像処理装置２のハードウェア構成を説明する。
図１は、本発明にかかる画像処理方法が適応される画像処理装置２のハードウェア構成を、制御装置２０を中心に例示する図である。
図１に例示するように、画像処理装置２は、ＣＰＵ２０２及びメモリ２０４などを含む制御装置２０、通信装置２２、ＨＤＤ・ＣＤ装置などの記録装置２４、並びに、ＬＣＤ表示装置あるいはＣＲＴ表示装置及びキーボード・タッチパネルなどを含むユーザインターフェース装置（ＵＩ装置）２６から構成される。
画像処理装置２は、例えば、画像拡大プログラム５（後述）がインストールされた汎用コンピュータであり、通信装置２２又は記録装置２４などを介して画像データを取得し、取得された画像データを出力解像度に応じて拡大する。例えば、画像処理装置２は、プリンタ装置１０に対して画像データを出力する場合には、６００ｄｐｉ又は２４００ｄｐｉなどの解像度に変換し、ＵＩ装置２６に対して画像データを出力する場合には、７５ｄｐｉなどの解像度に変換する。

［画像拡大プログラム］
図２は、制御装置２０（図１）により実行され、本発明にかかる画像処理方法を実現する画像拡大プログラム５の機能構成を例示する図である。
図２に例示するように、画像拡大プログラム５は、拡大処理部５００、画像データ格納部５７０、多値変換部５８０、及び二値変換部５９０を有する。また、拡大処理部５００は、画像ブロック設定部５１０、画像ブロック特徴抽出部５２０、画素値変換部５３０、拡大画像ブロック生成部５４０、及び画像ブロック配置部５６０を有する。
なお、画像拡大プログラム５の全部又は一部をＡＳＩＣなどのハードウェアで実現してもよい。

画像データ格納部５７０は、メモリ２０４（図１）又は記録装置２４（図１）を制御して、画像データが拡大処理部５００で拡大処理されるまで一時的に記憶する機能、及び、解像度変換または拡大処理された拡大画像データが出力装置（不図示）に出力されるまで一時的に記憶する機能などを実現する。なお、画像データは、画像処理装置２で処理可能な画像フォーマット（例えば、ＢＭＰ、ＴＩＦＦ、ＰＮＧなど）で記述されたデータであり、ＦＡＸ（不図示）又はスキャナ（不図示）などによって取り込まれた画像データ、又は、パーソナルコンピュータ（画像処理装置２など）において作成又は編集等を処理するアプリケーションプログラムで作成された画像データ等である。拡大画像データ（拡大された後の画像データ）も、同様の画像フォーマットのデータである。

多値変換部５８０は、二値で表現された画像データを、多値で表現された画像データに変換し、拡大処理部５００に出力する。例えば、多値変換部５８０は、入力された二値画像データが０又は１の１ビットで表現されている場合に、０又は２５５の８ビット表現に変換する。
なお、入力された２値画像データが予め８ビット表現の状態で画像データ格納部５７０に格納されている場合には、他と変換部５８０は、この画像データ（８ビット表現）をそのまま拡大処理部５００に出力する。

二値変換部５９０は、拡大処理部５００から出力された多値の拡大画像データを二値化処理して画像データ格納部５７０に出力する。二値変換部５９０は、例えば、閾値処理によって二値化処理を行う。本例の二値変換部５９０は、閾値ｔを予めｔ＝１２８とし、拡大画像データの画素値がｔ未満である場合に、０を出力し、画素値がｔ以上である場合に、１を出力する。なお、閾値ｔは、前述のように予め設定してもよいし、例えば入力画像データの濃度分布などから動的に設定してもよい。

拡大処理部５００は、画像ブロック設定部５１０、画像ブロック特徴抽出部５２０、画素値変換部５３０、拡大画像ブロック生成部５４０、及び画像ブロック配置部５６０を含んで構成されており、多値変換部５８０から、拡大処理の対象となる画像データを取得し、拡大処理によって生成された拡大画像データを二値変換部５９０に出力する。

画像ブロック設定部５１０は、画像ブロック特徴抽出部５２０及び拡大画像ブロック生成部５４０における処理で必要とされる所定のブロックサイズをそれぞれ設定し、多値変換部５８０から入力された入力画像データ（多値表現）から注目画素を含むそれぞれのブロックサイズの画像ブロックを順次切り出し、画像ブロック特徴抽出部５２０に出力する。

画像ブロック特徴抽出部５２０は、画像ブロック設定部５１０から順次入力される画像ブロックの少なくとも一部（例えば中心部近傍の矩形部分）を注目領域とし、注目領域における画像特徴量を、注目領域あるいは注目領域の周辺部を含む画像ブロックを参照して抽出あるいは算出する。抽出あるいは算出される画像特徴量は、例えば、エッジパターン、エッジ方向、画像ブロック内の白（又は黒）画素の画素数、あるいは、画像ブロック内の白（又は黒）画素の比率などである。
また、画像ブロック特徴抽出部５２０は、さらに、抽出あるいは算出した画像特徴量に基づいて、注目領域の切り分けを行う。ここで、注目領域の切り分けとは、注目領域の属性に応じて注目領域を分類することであり、例えば、注目領域がエッジを含む領域（以下、エッジ領域）と、白（又は黒）のみの領域（以下、平坦領域）とを切り分けることである。

画素値変換部５３０は、画像ブロック特徴抽出部５２０による注目領域の切り分けの結果に基づいてエッジ領域であると判断された注目領域と、その周辺部を含む画像ブロック内の画素値を変換する。画素値変換部５３０により変換された画像ブロック内の画素値は、後述する拡大画像ブロック生成部５４０の第１生成部５４２における拡大画像ブロック生成に用いられる。
より具体的には、画素値変換部５３０は、平滑化部５３２及び強調部５３４を含み、この平滑化部５３２は、画像ブロック特徴抽出部５２０により算出された注目領域におけるエッジ方向に基づいて、画像ブロック内の画素値を平滑化する。また、強調部５３４は、平滑化部５３２によりエッジ方向に基づいて平滑化された画像ブロック内の画素値のコントラストを強調する。

拡大画像ブロック生成部５４０は、拡大画像ブロックを互いに異なる拡大処理により生成する複数の拡大手段を有する。本例の拡大画像ブロック生成部５４０は、第１生成部５４２及び第２生成部５４４を有する。
拡大画像ブロック生成部５４０は、画像ブロック特徴抽出部５２０により抽出あるいは算出された画像特徴量に基づいて、複数の拡大手段（本例では、第１生成部５４２及び第２生成部５４４）を切り替えて注目領域に対応する拡大画像ブロックを生成する。
例えば、拡大画像ブロック生成部５４０は、注目領域に対して、画像ブロック特徴抽出部５２０により切り分けられたエッジ領域と平坦領域に応じて、第１生成部５４２あるいは第２生成部５４４のいずれかに切り替えて拡大画像ブロックを生成する。なお、本例では、エッジ領域であると判断された注目領域の場合には第１生成部５４３により拡大画像ブロックが生成され、平坦領域であると判断された注目領域の場合には第２生成部５４４により拡大画像ブロックが生成される場合を具体例とする。
第１生成部５４２及び第２生成部５４４における拡大手法は任意であるが、上述の例のようにエッジ領域であると判断された注目領域の場合に動作する第１生成部５４２は、第２生成部５４４と比較して、ジャギーの発生を抑えた、より画質を優先した拡大手法を適用することが望ましい。この場合に、第２生成部５４４は、第１生成部５４２よりも高速処理が可能な拡大手法を適用することが望ましく、これによって全体の処理時間を短縮することができる。

画像ブロック配置部５６０は、拡大画像ブロック生成部５４０により生成された拡大画像ブロックを順次配置し、解像度変換あるいは拡大された拡大画像データを二値変換部５９０に出力する。なお、拡大画像ブロックの配置方法については後述するが、例えば順次並べてゆく方法の他、拡大画像ブロックが重なり合うように順次配置して重畳させ、重なる画素値の総和を重なった数で割ることにより画素値を算出するように構成することもできる。

次に、画像ブロック特徴抽出部５２０、画素値変換部５３０、及び拡大画像ブロック生成部５４０について、より詳しく説明する。
まず、画像ブロック特徴抽出部５２０の詳細について説明する。なお、注目領域が２×２画素サイズブロック（互いに直交する方向が２画素である正方領域）であり、注目領域を含む周辺領域が４×４画素サイズブロック（互いに直交する方向が４画素である正方領域）である場合を具体例として説明する。

図３は、本実施例における画像ブロック特徴抽出部５２０の機能構成を示すブロック図である。
図３に示すように、画像ブロック特徴抽出部５２０は、エッジパターン選択部５２２と、エッジ方向推定部５２４とを含む。
エッジパターン選択部５２２は、注目領域である２×２画像ブロックのエッジパターンを選択し、選択されたエッジパターンに基づき、注目領域がエッジ領域であるか、白（または黒）のみの平坦領域であるかを判断する。
また、エッジパターン選択部５２２は、注目領域がエッジ領域である場合に、そのエッジパターンに相当するエッジ角度を注目領域の初期エッジ角度として決定する。

図４は、２×２画像ブロックにおけるパターンとそのエッジ角度を例示する図である。
図４に例示するように、各エッジパターンには、それぞれ相当するエッジ角度が設定されており、エッジパターン選択部５２２は、注目領域がどのエッジパターンであるかによって初期エッジ角度を決定する。
また、注目領域が平坦パターンである場合には、この注目領域は平坦領域として切り分けられる。
ただし、注目領域が図４の太枠で示されたエッジパターン（市松エッジパターン）である場合、注目領域のエッジパターンのみでは一意にその初期角度を決定できない。つまり初期エッジ角度を４５°とするのか１３５°とするのかを決定できない。その理由は、図４に例示した太枠内の上方の市松エッジパターンａを例にとると、二値画像では、注目領域がこの市松エッジパターンａであったときには、４５°方向に黒画素が続いている領域の一部分である場合と、１３５°方向に白画素が続いている領域の一部分である場合とのどちらの場合も考えられ、２×２画像ブロックの注目領域単体のみでは判断できないからである。

そこで、本実施例におけるエッジパターン選択部５２２は、図５に示すように、注目領域（図５中の市松エッジパターン領域）を一部に含む、ラスタスキャン順における一つ手前の２×２画像ブロック領域（図５において太枠で囲まれた領域）のエッジパターンに基づいて、市松エッジパターンである注目領域の初期エッジ角度を決定する。
図６は、市松エッジパターンと一つ手前（スキャン方向の上流側）の２×２画像ブロック領域のエッジパターンとの考えられる全ての組み合わせと、その組み合わせによって決定される初期エッジ角度の１例を示した図である。
図６に示したように、注目領域が市松エッジパターンである場合に、エッジパターン選択部５２２は、一つ手前の画像ブロックのエッジパターンを参照して、４５°又は１３５°のどちらの角度を初期エッジ角度とするのかを決定する。
なお、本例では、市松エッジパターンと一つ手前の画像ブロックのエッジパターンとの２つのブロックの組み合わせにより初期エッジ角度を決定したが、これに限定されるわけではない。例えば、エッジパターン選択部５２２は、注目領域のエッジパターンと、一つ先の画像ブロックのエッジパターンとの組み合わせで初期エッジ角度を決定してもよいし、また１つ手前と一つ先との３ブロックのエッジパターンの組み合わせなどで、市松エッジパターンにおける初期エッジ角度を決定してもよく、市松エッジパターンの初期エッジ角度決定のために組み合わせる画像ブロックの数や位置は要求される処理速度や画質に応じて可変である。

また、エッジパターン選択部５２２は、ある特定パターンを抽出し、抽出された特定パターンを既定のパターンに強制的に補正するため、関連する画像ブロックの初期エッジ角度およびエッジパターンを補正する。
図７は、特定パターンの抽出の一例として、補正される特定パターンを含む画像の一部分を例示する。
図７に例示するように、図中の点線で囲まれた画像の凹凸パターンは、１画素だけ飛び出した（あるいは凹んだ）パターンで、例えば原稿をＦＡＸやスキャナなどで電子文書として取り込む場合に解像度などに起因して生じるパターンであり、本来の画像を構成する意味のある特徴パターンではない。このような凹凸パターンは、拡大処理後のジャギーの原因となり画質に大きく影響する。

図８は、凹凸パターン（１画素だけ飛び出した、あるいは凹んだもの）の抽出および補正を具体的に例示する図である。なお、本図において、太枠で囲まれた領域が注目領域である。
図８（Ａ）に示すように、太枠の注目領域（図８（Ａ）に示された第４の領域）とその一部分を含む複数の周辺領域（図８（Ａ）に示された第１〜３の領域）のエッジパターンは、黒画素を１、白画素を０としてビットパターン化されると、第１の領域は「１１１０」、第２の領域は「１０００」、第３の領域は「１０１１」、第４の領域（すなわち注目領域）は「００１０」となる。したがって、エッジパターン選択部５２２は、図８（Ａ）で示すように、第１〜４の各領域のエッジパターン列が「１１１０」、「１０００」、「１０１１」、「００１０」であると判断した場合に、凹凸パターン（本例では、右に凸のパターン）が存在すると判断し、この凹凸パターンを抽出する。

エッジパターン選択部５２２は、前述のように抽出された凹凸パターン（本例では、右に凸のパターン）を補正するため、第１〜４の各領域のエッジパターンおよび初期エッジ角度を図８（Ｂ）で示すように変更する。つまり、エッジパターン選択部５２２は、第１の領域を、エッジパターン「１０１０」かつ初期エッジ角度０°に変更し、第２の領域を、平坦パターン（ビットパターン「００００」）に変更し、第３の領域を、エッジパターン「１０１０」かつ初期エッジ角度０°に変更し、第４の領域（注目領域）を平坦パターン「００００」に変更する。
このように、エッジパターン選択部５２２は、注目領域および周辺領域のエッジパターンおよび初期エッジ角度を変更することにより、凹凸パターン（本例では、右に突出した凸パターン）を補正することが可能となる。

図９は、図８に示した例とは異なる場合の凹凸パターン補正の具体例を示した図である。このように１画素だけ突出した、あるいは凹んだ凹凸パターンを補正することにより、図７に例示した画像は、図１０で示すように凹凸パターンが補正される。なお、本実施例では上述のように凹凸パターンの抽出および補正に限定して説明を行ったが、これに限ったものではなく、入力画像データの種類、要求される画質、又は処理速度に応じて、凹凸パターンとは異なる特定パターン（例えば、１画素だけ孤立した孤立点パターンなど）の抽出および補正を行ってもよい。

次に、エッジ方向推定部５２４の処理の詳細を説明する。
図１１は、注目領域および周辺領域の具体例と注目領域のエッジ方向の一例の説明図である。図１１（Ａ）は、注目領域（図１１中の太枠内領域）および周辺領域の一例を示している。図１１に示す例を用いて、エッジ方向推定部５２４によるエッジ方向推定処理の流れについて説明する。
図１２は、エッジ方向推定部２２によるエッジ方向推定処理（Ｓ１０）の一例を示すフローチャート図である。

ステップ１１０（Ｓ１１０）において、エッジ方向推定部５２４は、注目領域および参照領域のエッジ角度の総和を表す変数（エッジ角度総和）に、すでにエッジパターン選択部５２２により設定されている注目領域の初期エッジ角度を代入する。
また、エッジ方向推定部５２４は、エッジ角度の参照数をカウントするための変数としての角度参照数を「１」に初期化しておく。

ステップ１２０（Ｓ１２０）において、エッジ方向推定部５２４は、エッジパターン選択部５２２により設定された注目領域の初期エッジ角度に応じて、図１１（Ａ）に示した周辺領域（太線枠外の領域）中からエッジ方向の推定に用いる参照領域を選択する。
図１３は、エッジ方向の推定に用いる参照領域を例示する図である。図中の太線枠で示した２×２画素が参照領域である。図１３（Ａ）は、エッジパターン選択部５２２により設定された初期エッジ角度が「角度０°」である場合の参照領域を例示し、図１３（Ｂ）は、初期エッジ角度が「角度９０°」である場合の参照領域を例示し、図１３（Ｃ）は、初期エッジ角度が「角度０°又は９０°」以外の角度である場合の参照領域を例示している。なお、図１３（Ａ）及び（Ｂ）に示す角度０°及び角度９０°の場合の参照領域の数は２であり、図１３（Ｃ）に示す角度０°、９０°以外の角度の場合の参照領域の数は４である。
図１１に示した具体例では、注目領域の初期エッジ角度は「角度４５°」であるため、図１４（Ｃ）に例示した４つの参照領域が選択の候補となる。なお、参照領域の選択は、図１３に示したものに限定されるわけではなく、例えば図１３（Ｃ）の場合などは、参照領域数を８としたり、それぞれの角度に応じた参照領域を設定してもよい。

ステップ１３０（Ｓ１３０）において、エッジ方向推定部５２４は、Ｓ１２０において選択された参照領域の１つに対して、エッジ方向推定に適したエッジパターンであるか否かを判断する。例えば、エッジ方向推定部５２４は、図１１（Ａ）に例示した注目領域に対して、参照領域として右隣の参照領域を例にとると、図１４（Ｂ）に示すように３種類のエッジパターンを候補とする。そして、エッジ方向推定部５２４は、Ｓ１３０において、図１４（Ｃ）に示すように注目領域における初期エッジ角度（この例においては４５°）と大きく異なる第３のエッジパターン（初期エッジ角度１３５°）を、図１４（Ａ）に示す注目領域のエッジ方向推定に適さないエッジパターンであると判断する。
図１１に示した具体例の場合では、注目領域に対する右隣の参照領域のエッジパターンは、図１４（Ｂ）で示した第１のエッジパターンであるので、エッジ方向推定部５２４は、エッジ方向推定に適するエッジパターンであると判断する。
エッジ方向推定部５２４は、この判断の結果、本注目領域におけるエッジ方向推定に適した参照領域である場合には、Ｓ１４０の処理に移行し、これ以外である場合には、Ｓ１５０の処理に移行する。

ステップ１４０（Ｓ１４０）において、エッジ方向推定部５２４は、エッジ角度総和に参照領域の初期エッジ角度を加え、角度参照数をインクリメントする。

ステップ１５０（Ｓ１５０）において、エッジ方向推定部５２４は、全ての選択可能な参照領域の処理が終了したか否かを判断し、終了したと判断した場合に、Ｓ１６０の処理に移行し、終了していないと判断した場合に、Ｓ１３０の処理に戻って、次の参照領域について処理を行う。

ステップ１６０（Ｓ１６０）において、エッジ方向推定部５２４は、注目領域の初期エッジ角度と、Ｓ１３０においてエッジ方向推定に適したと判断された参照領域の初期エッジ角度との総和（エッジ角度総和）を角度参照数で割った平均エッジ角度を注目領域の推定エッジ角度として、処理を終了する。

図１１に示した具体例では、図１１（Ｂ）に示すように、上部の参照領域の初期エッジ角度０°、左部の参照領域の初期エッジ角度０°、下部の参照領域の初期エッジ角度４５°、右部の参照領域の初期エッジ角度４５°となり、注目領域の初期エッジ角度４５°との総和は１３５°になる。エッジ方向推定部５２４は、この総和１３５°を角度参照数５で割ることによって平均エッジ角度２７°を求める。この平均エッジ角度が、図１１に示した注目領域に対する推定エッジ角度となる。
さらに、エッジ方向推定部５２４は、求められた注目領域に対する推定エッジ角度Θを、２２．５°ごとに区分された方向（８方向）の角度範囲（方向０〜７）に分類する。本例の場合、０°あるいは±１８０°を中心とした角度範囲を「方向０」、２２．５°あるいは−１５７．５°を中心とした角度範囲を「方向１」、４５°あるいは−１３５°を中心とした角度範囲を「方向２」、６７．５°あるいは−１１２．５°を中心とした角度範囲を「方向３」、９０°あるいは−９０°を中心とした角度範囲を「方向４」、１１２．５°あるいは−６７．５°を中心とした角度範囲を「方向５」、１３５°あるいは−４５°を中心とした角度範囲を「方向６」、１５７．５°あるいは−２２．５°を中心とした角度範囲を「方向７」とし、エッジ方向推定部５２４は、推定エッジ角度Θをいずれかの角度範囲（上記各中心角度から±１１．２５°の範囲）に分類する。上述の図１１の具体例における推定エッジ角度Θ（＝２７°）は２２．５°±１１．２５°の範囲内に含まれるので、エッジ方向推定部５２４は、図１１に示した注目領域に対する最終的な推定エッジ方向を「方向１」であると判定する（図１１（Ｂ）の矢印線分方向）。
なお、本例では推定エッジ角度Θを計算した後に８方向のいずれかに正規化（分類）したが、これに限定されるわけではなく、さらに精度の高いエッジ方向が必要であれば１２方向（１５．０°ごと）、１６方向（１２．２５°ごと）など、さらに多数の方向に正規化してもよい。

次に、画素値変換部５３０について説明する。
画素値変換部５３０は、図２に例示するように、平滑化部５３２と強調部５３４とで構成される。
平滑化部５３２は、画像ブロック特徴抽出部５２０によって推定された注目領域の推定エッジ方向に応じた画素値平滑化処理を、注目領域と注目領域を含む周辺領域内の画素に対して施す。
図１５は、推定エッジ方向に対応する平滑化カーネルを例示する図である。なお、図中に示された平滑化カーネル内の数字は、画素値に乗ずる重み付けの係数である。
例えば注目領域の推定エッジ方向が「方向３」である場合に、平滑化部５３２は、この「方向３」に応じて、図１５中の第３の平滑化カーネルを用いて平滑化処理を行う。この場合、平滑化部５３２は、図１６に示すように、例えば中心の画素Ｐの平滑化処理を行う場合には、画素ａ及び画素ｂを用いて、平滑化画素値Ｐ'を次の式（１）に従って計算する。

注目画素値Ｐ'＝（２．０×Ｐ＋１．０×（ａ＋ｂ））/４．０・・・（１）

なお、平滑化部５３２により用いられる平滑化カーネルは、図１５に示したものに限定されるわけではなく、入力画像データの種類、又は、要求される平滑化の程度などにより異なるものであってもよい。

強調部５３４は、平滑化部５３２によって平滑化処理（注目領域の推定エッジ方向に対応する平滑化カーネルを用いた平滑化処理）がなされた注目領域とこれを含む周辺領域内の画素に対して、コントラスト強調処理を施す。
図１７は、強調部５３４により適用される強調カーネルの具体例を表す図である。
図１７に示す「１．６０」の値は、図１７（Ａ）に示す強調カーネルの中心の画素値に対応する重み係数を表し、「０．１５」の値は、中心画素の上下左右に配置された画素値に対応する重み係数を表している。
また、図１７（Ｂ）は、図１７（Ａ）に示す強調カーネルで画素Ｐを強調する場合の説明図である。図１７（Ｂ）に示すように、強調部５３４は、例えば、中心の参照画素Ｐの強調処理を行う場合に、その上下左右に存在する画素ａ、ｂ、ｃ、ｄを参照し、また重みとして中心の注目画素については「１．６０」を、周辺の参照画素に対しては「０．１５」をそれぞれ用いる。このように、強調部５３４は、画素Ｐの画素値Ｐ'を次の式（２）に従って計算する。

注目画素値Ｐ'＝１．６０×Ｐ‐０．１５×（ａ＋ｂ＋ｃ＋ｄ）・・・（２）

上記のように、平滑化部５３２および強調部５３４の処理を経て、画素値変換部５３０は、後述する拡大画像ブロック生成部５４０で用いるため、注目領域とその周辺領域の画素値を変換する。

次に、拡大画像ブロック生成部５４０について詳細に説明する。
まず、拡大画像ブロック生成部５４０に含まれる第１生成部５４２について説明する。第１生成部５４２は、画像ブロック特徴抽出部５２０によってエッジ領域であると判断された注目領域に対して拡大画像ブロック生成処理を行う。より具体的には、第１生成部５４２は、画像ブロック特徴抽出部５２０により得られた注目領域のエッジパターン及び推定エッジ方向と、画素値変換部５３０により変換された注目領域及びその周辺領域の画素値とを用いて、注目領域に対する拡大画像ブロックを生成する。

図１８は、第１生成部５４２による拡大画像ブロックの生成処理を説明する図である。
まず、第１生成部５４２は、注目領域のエッジパターン及び推定エッジ方向に基づき、画素値変換部５３０により変換された画素値を用いて３×３画像ブロックに相当する画素値を算出する。
図１８（Ａ）には、図１１（Ａ）に例示した注目領域及び周辺領域が示されている。この注目領域に関しては、上記のように画像ブロック特徴抽出部５２０によって、エッジパターン「１１１０」、及び、推定エッジ方向「方向１」が求められている。
第１生成部５４２は、特徴量の組合せが（エッジパターン１１１０）及び（推定エッジ方向「方向１」）である場合、図１８（Ｂ）に示すように、３×３画像ブロックに相当するそれぞれの画素をｐ０〜ｐ８とすると、図１８（Ａ）に示した注目領域の画素値｛ａ，ｂ，ｃ，ｄ｝をもとに、ｐ０〜ｐ８の画素値を次の式によって計算する。

ｐ０＝ａ
ｐ１＝（ａ＋ｂ）／２
ｐ２＝ｂ
ｐ３＝（ａ＋ｃ）／２
ｐ４＝（ｂ＋ｃ）／２
ｐ５＝ｄ
ｐ６＝ｃ
ｐ７＝（ｐ４＋ｂ）／２
ｐ８＝ｄ

第１生成部５４２は、これらの計算式を、（エッジパターン）と（推定エッジ方向）との組合せ（特徴量の組合せ）に基づいて一意に決定し、決定した計算式を用いて３×３画像ブロック相当の画素値を計算する。

図１９は、特徴量の他の組合せ（エッジパターンと推定エッジ方向との組合せ）に対応する計算式を例示する図である。
図１９（Ａ）は、エッジパターン「１０００」と推定エッジ方向「方向１」との組合せに対応する計算式を例示する。
ｐ０＝ａ
ｐ２＝ｂ
ｐ３＝ａ
ｐ４＝（ｂ＋ｃ）／２
ｐ５＝（ｂ＋ｄ）／２
ｐ６＝ｃ
ｐ７＝（ｃ＋ｄ）／２
ｐ８＝ｄ
ｐ１＝（ｐ４＋ｃ）／２
第１生成部５４２は、特徴量の組合せがエッジパターン「１０００」及び推定エッジ方向「方向１」である場合に、上記の計算式を用いて３×３画像ブロック相当の画素値を計算する。

図１９（Ｂ）は、エッジパターン「１１００」と推定エッジ方向「方向５」との組合せに対応する計算式を例示する。
ｐ０＝ａ
ｐ１＝（ａ＋ｂ）／２
ｐ２＝ｂ
ｐ４＝（ａ＋ｄ）／２
ｐ６＝ｃ
ｐ７＝（ｃ＋ｄ）／２
ｐ８＝ｄ
ｐ３＝（ｐ４＋ｃ）／２
ｐ５＝（ｐ４＋ｂ）／２
第１生成部５４２は、特徴量の組合せがエッジパターン「１１００」及び推定エッジ方向「方向５」である場合に、上記の計算式を用いて３×３画像ブロック相当の画素値を計算する。

図１９（Ｃ）は、エッジパターン「１１００」と推定エッジ方向「方向２」との組合せに対応する計算式を例示する。
ｐ０＝ａ
ｐ１＝ａ
ｐ２＝ｂ
ｐ３＝ａ
ｐ４＝（ｂ＋ｃ）／２
ｐ５＝（ｂ＋ｄ）／２
ｐ６＝ｃ
ｐ７＝（ｃ＋ｄ）／２
ｐ８＝ｄ
第１生成部５４２は、特徴量の組合せがエッジパターン「１１００」及び推定エッジ方向「方向２」である場合に、上記の計算式を用いて３×３画像ブロック相当の画素値を計算する。

図１９（Ｄ）は、エッジパターン「０１０１」と推定エッジ方向「方向７」との組合せに対応する計算式を例示する。
ｐ０＝ａ
ｐ２＝ｂ
ｐ３＝（ａ＋ｃ）／２
ｐ４＝（ａ＋ｄ）／２
ｐ５＝（ｂ＋ｄ）／２
ｐ６＝ｃ
ｐ８＝ｄ
ｐ１＝（ｐ４＋ｂ）／２
ｐ７＝（ｐ４＋ｃ）／２
第１生成部５４２は、特徴量の組合せがエッジパターン「０１０１」及び推定エッジ方向「方向７」である場合に、上記の計算式を用いて３×３画像ブロック相当の画素値を計算する。

なお、他の組合せ（エッジパターン及び推定エッジ方向）の場合にも、第１生成部５４２は、同様にそれぞれのエッジパターン及び推定エッジ方向に対応した計算式に従って計算を行うことにより、３×３画像ブロック相当の画素値を計算する。

次に、第１生成部５４２は、上記のように計算された３×３画像ブロック相当の画素値と、注目領域の推定エッジ方向に基づいて選択された周辺領域内の複数の参照画素とを用いて、４×４画像ブロックを生成する。

図２０は、推定エッジ方向に基づく参照画素ｒ０〜ｒ１３の選択方法を説明する図である。
第１生成部５４２は、注目領域の推定エッジ方向が方向１（２２．５°）から方向３（６７．５°）である場合に、図２０（Ａ）に太線枠で囲んだように、参照画素ｒ０〜ｒ５を左上から下へ３画素と右下から上へ３画素となるように選択する。
また、第１生成部５４２は、注目領域の推定エッジ方向が方向５（１１２．５°）から方向７（１５７．５°）である場合に、図２０（Ｂ）に太線枠で示したように、参照画素ｒ０〜ｒ５を左下から上へ３画素と右上から下へ３画素となるように選択する。
また、第１生成部５４２は、参照画素ｒ６〜ｒ１３として、推定エッジ方向に拠らず、図２０（Ａ）（Ｂ）に示すように、上下それぞれ４画素を選択する。
このように、第１生成部５４２は、注目領域における推定エッジ方向に基づいて、参照画素を選択する。なお、参照画素の選択は、図２０に例示する２パターンからの選択に限定されるわけではなく、推定エッジ方向に従い、より多くの参照画素選択パターンを用意してもよい。また、選択する参照画素についても、推定エッジ方向によって変更してもよい。

図２１は、４×４画素の拡大画像ブロックの生成処理を説明する図である。
図２１に示すように、第１生成部５４２は、計算された３×３画像ブロック相当の画素値ｐ０〜ｐ８と、注目領域における推定エッジ方向に基づいて選択された参照画素ｒ０〜ｒ１３とを用いて、以下のような計算式に従って４×４画素の拡大画像ブロックに相当する画素値（ｓ０〜ｓ１５）を計算し、４ｘ４拡大画像ブロックを生成する。

ｓ０＝０．２×ｒ６＋０．１６×ｒ０＋０．６４×ｐ０
ｓ１＝０．２×ｒ７＋０．３２×ｐ０＋０．４８×ｐ１
ｓ２＝０．２×ｒ８＋０．４８×ｐ１＋０．３２×ｐ２
ｓ３＝０．２×ｒ９＋０．６４×ｐ２＋０．１６×ｒ１
ｓ４＝０．０８×ｒ０＋０．３２×ｐ０＋０．１２×ｒ２＋０．４８×ｐ３
ｓ５＝０．１６×ｐ０＋０．２４×ｐ１＋０．２４×ｐ３＋０．３６×ｐ４
ｓ６＝０．２４×ｐ１＋０．１６×ｐ２＋０．３６×ｐ４＋０．２４×ｐ５
ｓ７＝０．３２×ｐ２＋０．０８×ｒ１＋０．４８×ｐ５＋０．１２×ｒ３
ｓ８＝０．１２×ｒ２＋０．４８×ｐ３＋０．０８×ｒ４＋０．３２×ｐ６
ｓ９＝０．２４×ｐ３＋０．３６×ｐ４＋０．１６×ｐ６＋０．２４×ｐ７
ｓ１０＝０．３６×ｐ４＋０．２４×ｐ５＋０．２４×ｐ７＋０．１６×ｐ８
ｓ１１＝０．４８×ｐ５＋０．１２×ｒ３＋０．３２×ｐ８＋０．０８×ｒ５
ｓ１２＝０．１６×ｒ４＋０．６４×ｐ６＋０．２×ｒ１０
ｓ１３＝０．３２×ｐ６＋０．４８×ｐ７＋０．２×ｒ１１
ｓ１４＝０．４８×ｐ７＋０．３２×ｐ８＋０．２×ｒ１２
ｓ１５＝０．６４×ｐ８＋０．１６×ｒ５＋０．２×ｒ１３

以上のように処理を行うことにより、画像ブロック特徴抽出部５２０によってエッジ領域であると判断された注目領域に対応する４×４画素の拡大画像ブロック（ｓ０〜ｓ１５）が生成される。

次に、拡大画像ブロック生成部５４０に含まれる第２生成部５４４について説明する。第２生成部５４４は、画像ブロック特徴抽出部５２０によって平坦領域であると判断された注目領域に対して、上述したような注目領域のエッジを滑らかにするような第１生成部５４２による拡大処理とは異なる処理を適用する。例えば、第２生成部５４４は、第１生成部５４２と比較して、処理負荷を軽減した、より簡便な拡大画像ブロックの生成処理を行う。本例の第２生成部５４４は、２×２画素の注目領域から最近傍補間により４×４画素の拡大画像ブロックを生成する。もちろん、この第２生成部５４４に適用される拡大手法は、任意であり、第１生成部５４２よりも処理負荷の軽い手法であればどのような手法を用いてもよい。

以上説明したように、拡大画像ブロック生成部５４０は、画像ブロック特徴抽出部５２０により抽出または算出された画像特徴量に応じて、拡大手段（第１生成部５４２及び第２生成部５４４）を選択することにより、ジャギーを抑えて高画質に拡大でき、さらには処理負荷も削減することが可能となる。具体的には、第２生成部５４４は、第１生成部５４２よりも処理負荷の軽い拡大手法を用いることによって、拡大処理全体の処理負荷を軽減し、処理時間を短縮して高速な拡大処理を実現し、第１生成部５４２は、第２生成部５４４よりもエッジ領域を高画質に拡大する拡大手法を用いることによって、拡大画像の高画質化を実現する。なお、本例では、の拡大画像ブロック生成部５４０が２つの拡大手法を有し、これらのいずれかを選択的に用いる形態を具体例として説明したが、さらに複数の拡大手法を設けておき、画像ブロック特徴抽出部５２０により抽出された種々の画像特徴量に応じて複数の拡大手法の中からいずれかを選択して拡大処理を行うように構成してもよい。

次に、画像ブロック配置部５６０について説明する。
画像ブロック配置部５６０は、拡大画像ブロック生成部５４０により生成された拡大画像ブロック（注目領域に対応する拡大画像ブロック）を既定の方法により順次配置する。

図２２は、拡大画像ブロック生成部５４０により生成された４×４画素の拡大画像ブロックを配置する具体例を説明する図である。
図２２に示すように、拡大画像ブロック生成部５４０（第１生成部５４２又は第２生成部５４４）により順次生成された拡大画像ブロックｂｋ０及び拡大画像ブロックｂｋ１は、互いに重なり合うように配置される。画像ブロック配置部５６０は、オーバーラップする画素（重なり合う画素）について、各々前画素値との平均をとるようにして配置する。また、画像ブロック配置部５６０は、オーバーラップする画素の総和を計算し、画素値の総和をオーバーラップした数で割ることにより各画素値を算出するようにしてもよい。
この場合、画像ブロック配置部５６０は、注目画素を１画素ずつずらしながら選択し、拡大処理を行ってゆくことになる。
また、画像ブロック配置部５６０は、順次生成される拡大画像ブロックをオーバーラップさせずに並べてゆくこともできる。この場合、画像ブロック配置部５６０は、注目領域を重ならないように選択してゆけばよい。
なお、４×４画素の拡大画像ブロックは、拡大画像ブロック生成部５４０中の第１生成部５４２又は第２生成部５４４のいずれかで生成されるため、拡大方式の違いによる画質劣化が懸念されるが、上述のように、画像ブロック配置部５６０が複数の拡大画像ブロックをオーバーラップさせて平均化することによって、そのような画質劣化の発生を抑えることができる。

次に、拡大処理部５００の全体動作を説明する。
図２３は、拡大処理部５００による画像拡大処理（Ｓ２０）を説明するフローチャートである。
ステップ２１０（Ｓ２１０）において、画像ブロック設定部５１０は、画像ブロック特徴抽出部５２０及び拡大画像ブロック生成部５４０による処理で必要とされる所定の画像ブロックのサイズをそれぞれ設定し、設定されたブロックサイズの画像ブロックを順次（例えばラスタスキャン順に）切り出し、各ブロックサイズの画像ブロックを画像ブロック特徴抽出部５２０に出力する。

ステップ２２０（Ｓ２２０）において、画像ブロック特徴抽出部５２０は、入力された画像ブロック中の注目領域がエッジ領域であるのか平坦領域であるのかを判断する。
拡大処理部５００は、注目領域がエッジ領域である場合に、画像ブロック特徴抽出部５２０に、注目領域のエッジパターンの設定、エッジパターンに相当するエッジ角度の初期エッジ角度としての設定、並びに、ある特定エッジパターンの抽出及び補正を行わせ、ジャギーを低減するような拡大画像ブロック生成処理を行うべく、Ｓ２３０の処理に移行する。
また、拡大処理部５００は、注目領域が平坦領域である場合に、Ｓ２６０の処理に移行する。

ステップ２３０（Ｓ２３０）において、画像ブロック特徴抽出部５２０は、エッジ領域と判断された注目領域及びその注目領域を含む１ないし複数の周辺領域中の参照領域の初期エッジ角度Θから注目領域のエッジ方向θを推定する。例えば、画像ブロック特徴抽出部５２０は、得られた複数のエッジ角度Θの平均値を算出し、この平均値をエッジ方向θとする。なお、エッジ方向は、エッジ角度の平均値に限られるものではない。

ステップ２４０（Ｓ２４０）において、画素値変換部５３０（平滑化部５３２）は、画像ブロック特徴抽出部５２０により得られた推定エッジ方向θに応じた平滑化カーネルを用いて、注目領域及びその周辺領域内画素の平滑化処理を行う。
さらに、画素値変換部５３０（強調部５３４）は、平滑化処理が施された注目領域及びその周辺領域内の画素に対して、コントラスト強調処理を施す。

ステップ２５０（Ｓ２５０）において、拡大画像ブロック生成部５４０の第１生成部５４２は、画像ブロック特徴抽出部５２０により得られた注目領域のエッジパターン及びこの注目領域の推定エッジ方向θと、Ｓ２４０において画素値変換部５３０により画素値変換処理が施された注目領域及び周辺領域内の画素値とを用いて、注目領域に対する拡大画像ブロックを生成する。
このように、拡大画像ブロック生成部５４０は、Ｓ２２０においてエッジ領域であると判断された場合に、そのようなエッジ部分のジャギーを抑えるような拡大画像ブロックを第１生成部５４２に生成させる。これによって、エッジ部分などについてジャギーの少ない高画質の拡大画像ブロックの生成を行うことができる。

ステップ２６０（Ｓ２６０）において、拡大画像ブロック生成部５４０の第２生成部５４４は、画像ブロック特徴抽出部５３０によって平坦領域であると判断された注目領域に対する拡大画像ブロックを生成する。
第２生成部５４４によりなされる拡大画像ブロック生成処理は、Ｓ２３０〜Ｓ２５０における拡大画像ブロックの生成処理（第１生成部５４２による処理）とは異なり、例えば最近傍補間などの処理負荷の小さい拡大処理でよい。すなわち、注目領域が平坦領域である場合には、上述のような複雑で処理時間を要する処理をする必要がなく、より処理負荷の小さい拡大画像ブロックの生成処理で十分である。
したがって、拡大画像ブロック生成部５４０は、注目領域が平坦領域である場合に、第２生成部５４４を選択して処理負荷の小さい拡大画像ブロックの生成処理を行い、全体としての処理時間の短縮を図っている。

ステップ２７０（Ｓ２７０）において、画像ブロック配置部５６０は、拡大画像ブロック生成部５４０（第１生成部５４２又は第２生成部５４４）により生成された拡大画像ブロックを順次配置する。なお、拡大画像ブロック配置する方法として、拡大画像ブロック生成部５４０により生成された拡大画像ブロックをオーバーラップするように順次配置する方法などが考えられる。複数の拡大画像ブロックをオーバーラップさせる場合には、画像ブロック配置部５６０は、順次前画素値との平均を取るようにする方法や、オーバーラップする全画素値の総和をオーバーラップ数で割るという方法を適用する。ただ、画像ブロック配置部５６０は、処理速度や画質を勘案し、拡大画像ブロック生成部５４０によって生成される拡大画像ブロックを用いる方法であればどのような手法を適用してもよい。

ステップ２８０（Ｓ２８０）において、拡大処理部５００は、すべての入力画像データについて処理が完了したか否かを調べ、完了していない場合に、Ｓ２１０の処理に戻って処理を続け、完了している場合に、拡大画像データを所定の出力先に出力して拡大処理を終了する。

以上説明したように、本実施形態における画像処理装置２は、注目画素を含む所定の大きさの画像領域の特徴を抽出し、抽出された特徴に基づいて、画像領域内及びその近傍領域内の画素値を変換し、変換された画素値と、抽出された特徴とに応じて、注目画素を含む所定の大きさの画像領域を拡大する複数の拡大手法を切り替えて拡大画像領域を生成し、得られた拡大画像領域を所定の方法で配置して、拡大された出力画像を生成する。
このように、本画像処理装置２は、例えば、入力画像中のエッジ部分に関しては、エッジを滑らかにする拡大手法を適用し、入力画像中の平坦な部分（真白や真黒の画像部分）に関しては処理負荷の小さい拡大手法を適用することによって、エッジ部分のジャギーを抑制した高画質な拡大処理を行うとともに、処理負荷を抑えて高速に拡大処理を行うことができる。

本発明にかかる画像処理方法が適応される画像処理装置２のハードウェア構成を、制御装置２０を中心に例示する図である。 制御装置２０（図１）により実行され、本発明にかかる画像処理方法を実現する画像拡大プログラム５の機能構成を例示する図である。 画像ブロック特徴抽出部５２０の機能構成を示すブロック図である。 ２×２画像ブロックにおけるパターンとそのエッジ角度を例示する図である。 注目領域が市松エッジパターンである場合に、注目領域の初期エッジ角度を決定するために参照される領域を例示する図である。 市松エッジパターンとの組み合わせによって決定される初期エッジ角度を例示する図である。 補正される特定パターンを含む画像の一部分を表す図である。 凹凸パターンの抽出および補正を説明する図である。 図８とは異なる凹凸パターンの補正を説明する図である。 図７に示した画像（特定パターンを含む）の補正後を例示する図である。 注目領域及び周辺領域の具体例と注目領域のエッジ方向とを例示する図である。 エッジ方向推定部５３４によるエッジ方向推定処理（Ｓ１０）のフローチャートである。 エッジ方向の推定に用いる参照領域を例示する図である。 適正なエッジパターン判断を説明する図である。 推定エッジ方向に対応する平滑化カーネルを例示する図である。 平滑化カーネルによる平滑化処理を説明する図である。 強調カーネルを例示し、この強調カーネルによる強調処理を説明する図である。 第１生成部５４２による拡大画像ブロックの生成処理を説明する図である。 エッジパターンと推定エッジ方向との組み合わせに対応する計算式の他の例を示す図である。 注目領域の推定エッジ方向に基づく参照画素ｒ０〜ｒ１３の選択方法を説明する図である。 ４×４画素の拡大画像ブロックの生成処理を説明する図である。 拡大画像ブロック生成部５４０により生成された拡大画像ブロックの配置方法を例示する図である。 拡大処理部５００による画像拡大処理（Ｓ２０）を説明するフローチャートである。

符号の説明

２・・・画像処理装置
５・・・画像拡大プログラム
５００・・・拡大処理部
５１０・・・画像ブロック設定部
５２０・・・画像ブロック特徴抽出部
５３０・・・画素値変換部
５３２・・・平滑化部
５３４・・・強調部
５４０・・・拡大画像ブロック生成部
５４２・・・第１生成部
５４４・・・第２生成部
５６０・・・画像ブロック配置部

Claims (13)

1. 入力画像の拡大処理を行う画像処理装置であって、
   入力画像に含まれる注目画素について、この注目画素を含む既定の大きさの画像領域の特徴を抽出する領域特徴抽出手段と、
   前記領域特徴抽出手段により抽出された特徴に基づいて、少なくともこの画像領域内の画素値を変換する画素値変換手段と、
   前記画素値変換手段により変換された画像領域の画素値に基づいて拡大画像領域を生成する１つの生成手段、及び、前記１つの生成手段とは異なる処理により拡大画像領域を生成する他の生成手段を含む拡大画像領域生成手段と、
   前記拡大画像領域生成手段により生成された拡大画像領域を配置する画像配置手段と
   を有し、
   前記拡大画像領域生成手段は、前記領域特徴抽出手段により抽出された特徴に応じた前記生成手段を適用する
   画像処理装置。
2. 前記画素値変換手段は、前記画像領域の画素値が既定の条件を満たしている場合にのみ、前記画像領域内の画素値と、この画像領域の近傍領域内の画素値とを変換する
   請求項１に記載の画像処理装置。
3. 前記領域特徴抽出手段は、前記画像領域の画素値が既定の条件を満たしている場合に、この画像領域の画素値パターンをこの画像領域の特徴として抽出する
   請求項１に記載の画像処理装置。
4. 前記領域特徴抽出手段は、抽出された画素値パターンが既定のパターンである場合に、この画素値パターンを補正する
   請求項３に記載の画像処理装置。
5. 前記領域特徴抽出手段は、前記画像領域における画素値パターンに基づいて、階調変化に関する複数の角度を算出し、算出された複数の角度に基づいて、この画像領域における階調変化の変化方向を、前記特徴として抽出し、
   前記画素値変換手段は、前記領域特徴抽出手段により抽出された変化方向に応じて、前記画像領域内の画素値を変換する
   請求項１に記載の画像処理装置。
6. 前記画素値変換手段は、前記領域特徴抽出手段により抽出された変化方向に応じた位置の画素群を参照して、平滑化処理を行う
   請求項５に記載の画像処理装置。
7. 前記画素値変換手段は、前記平滑化処理がなされた複数の画素値を用いて、階調変化を強調するエッジ強調処理を行う
   請求項６に記載の画像処理装置。
8. 前記画素値変換手段は、前記領域特徴抽出手段により抽出された特徴に基づいて、前記画像領域内の画素値と、この画像領域の近傍領域内の画素値とを変換し、
   前記１つの生成手段は、前記領域特徴抽出手段により抽出された特徴が既定の条件を満たす画像領域の注目画素に対して、この画像領域の特徴、前記画素値変換手段により変換された画像領域の画素値、及び、前記画素値変換手段により変換された近傍領域の画素値に基づいて、注目画素に対応する拡大画像領域を生成する
   請求項１に記載の画像処理装置。
9. 前記領域特徴抽出手段は、前記画像領域における階調変化の度合いを示す階調変化度を前記特徴として抽出し、
   前記１つの生成手段は、前記他の生成手段よりも処理負荷の大きな拡大処理を行い、
   前記拡大画像領域生成手段は、画像領域の階調変化度が既定の基準以上である場合に、前記１つの生成手段を適用し、画像領域の階調変化度が前記基準に満たない場合に、前記他の生成手段を適用する
   請求項１に記載の画像処理装置。
10. 前記画像配置手段は、前記拡大画像領域生成手段により生成される複数の拡大画像領域が拡大後の画像において互いに重なり合う場合に、これらの拡大画像領域に基づいて、この重複部分の画素値を決定する
    請求項１に記載の画像処理装置。
11. 前記画像配置手段は、前記拡大画像領域生成手段により生成される複数の拡大画像領域が拡大後の画像において互いに重なり合う場合に、これら拡大画像領域の重複部分について、同一画素に対応する複数の画素値の平均値を算出する
    請求項１０に記載の画像処理装置。
12. 入力画像の拡大処理を行う画像処理方法であって、
    入力画像に含まれる注目画素について、この注目画素を含む既定の大きさの画像領域の特徴を抽出し、
    抽出された特徴に応じて、少なくともこの画像領域内の画素値を変換し、
    抽出された特徴に基づいて、変換された画像領域の画素値に基づいて拡大画像領域を生成する１つの生成手法、又は、前記１つの生成手法とは異なる処理により拡大画像領域を生成する他の生成手法を選択し、
    選択された生成手法を適用して、拡大画像領域を生成し、
    生成された拡大画像領域を配置する
    画像処理方法。
13. 入力画像の拡大処理を行う画像処理装置において、
    入力画像に含まれる注目画素について、この注目画素を含む既定の大きさの画像領域の特徴を抽出するステップと、
    抽出された特徴に応じて、少なくともこの画像領域内の画素値を変換するステップと、
    抽出された特徴に基づいて、変換された画像領域の画素値に基づいて拡大画像領域を生成する１つの生成手法、又は、前記１つの生成手法とは異なる処理により拡大画像領域を生成する他の生成手法を選択するステップと、
    選択された生成手法を適用して、拡大画像領域を生成するステップと、
    生成された拡大画像領域を配置するステップと
    を前記画像処理装置に実行させるプログラム。

Images