JP2007141028A

JP2007141028A - 画像解析装置、画像処理装置、画像解析方法、画像解析プログラム及びこれを記録した記録媒体

Info

Publication number: JP2007141028A
Application number: JP2005335461A
Authority: JP
Inventors: Satoshi Kubota; 聡久保田
Original assignee: Fuji Xerox Co Ltd
Current assignee: Fujifilm Business Innovation Corp
Priority date: 2005-11-21
Filing date: 2005-11-21
Publication date: 2007-06-07
Anticipated expiration: 2025-11-21
Also published as: JP4736121B2

Abstract

【課題】画像の解析精度を維持しつつ、高速で画像を解析する。
【解決手段】画像ブロック設定部４２は、画像ブロック選択部４２０、エッジ強度算出部４２２を有する。画像ブロック選択部４２０は、特徴量保存拡大処理部４４における処理で必要な注目領域を含む画像ブロックサイズと、画像ブロックを順次選択する際の画像ブロックの位置を示すブロック移動量を設定し、処理すべき画像ブロックとして前記ブロック移動量が示す位置の所定サイズの画像ブロックを設定する。また画像ブロック選択部４２０は、エッジ強度算出部４２２で算出されたエッジ強度に基づいて、基準値（既定のしきい値Ｔｈ）との比較を行い、注目領域が特徴ブロック又は非特徴ブロックのいずれであるかを判定し、特徴ブロックであると判定された画像ブロックだけを選択して特徴量保存拡大処理部４４に出力する。
【選択図】図２

Description

本発明は、画像を解析する画像解析装置、画像処理装置、画像解析方法、画像解析プログラム及びこれを記録した記録媒体に関するものである。

画像を解析し、解析結果に応じて画像を拡大するなどの処理を行う画像処理装置が知られている。例えば画像の拡大処理は、画像の編集やファイリング、表示、印刷などを行うシステムにとって、基本的な処理の一つである。また近年、インターネットのホームページ上の画像やデジタルビデオなどのディスプレイ解像度での表示を主目的とした画像データなどの普及により、これらの低解像度画像を高解像度のプリンタなどで印刷することも頻繁に行われている。このプリンタによる印刷の際に、高画質の出力結果を得ることが望まれており、高画質の拡大処理に対する重要度が高まっている。

カラーを含む多階調で表現された画像（以下では、これを多値画像と称する）を拡大処理する既存の代表的な手法としては、最近傍法や線形補間法、キュービック・コンボリューション法などがある。最近傍法は、拡大後の各画素値として、その画素を原画像上に逆写像した際に最も距離が近い画素の画素値を使う方法である。この方法は、演算量が少ないため、高速に処理することができる。しかし、原画像の１画素がそのまま矩形形状に拡大されるため、隣り合う画素の画素値の差が小さい場合は、画質劣化の程度は小さくほとんど影響はないが、逆に大きい場合などは、斜線部やエッジ部のジャギーが目立ったり、倍率が大きい場合には、画像がモザイク状になるなど、画質劣化の程度は大きい。

線形補間法は、画素間の画素値が直線的に変化していると仮定し、拡大後の画素を逆写像した点の近傍４画素の画素値を線形に補間して画素値を求める方法である。この方法では、最近傍法よりも処理は重いが、演算量は比較的少なく、ジャギーなども発生しにくい。その一方で、直線的に変化しているという仮定に当てはまらないエッジ部分を中心に、画像全体がボケ気味になるという欠点がある。

キュービック・コンボリューション法は、標本化定理に基づいてｓｉｎｃ関数（ｓｉｎ（ｘ）／ｘ）を近似した補間関数を定義し、拡大後の画素を逆写像した点の近傍１６画素（Ｘ、Ｙ方向それぞれ４画素）と前記の近似補間関数との畳み込み演算により、拡大後の画素値を求める方法である。この方法では、前記２つの手法に比べて画質は比較的良いが、参照範囲が大きく、演算量が多いという欠点がある。また、高域が強調気味となる特性を持つため、エッジ部分で軽いジャギーが発生したり、ノイズ成分が強調されてしまうなどの欠点もある。

これら拡大画像の画質問題を解決する試みとして、例えば、特許文献１は、画像データの画素の変化度合いに最適な補間処理を複数の補間処理の中から選択して実行する画像データ補間装置を開示する。また、特許文献２は、人間の視覚感度が鈍い画像の成分、及び画素密度が低く情報量が減っている画像の成分に対し、補間精度を低くして演算処理量を低減させることにより、画質を維持しつつ全体の演算量を低減させる画像データ補間方法を開示する。また、特許文献３は、肌色領域や空色領域であると判断した注目ブロックに対してはバイリニア法で画素補間し、その他の色調の領域に対してはＭキュービック法で画素補間する画像データ補間方法を開示する。また、特許文献４は、エッジ部に適した画像拡大法を使って拡大した画像と、非エッジ部に適した画像拡大法を使って拡大した画像を合成するが画像拡大装置を開示する。

特開平１１−２９８７２１号公報特開２０００−１５１９８９号公報特開２０００−１５１９９０号公報特許第３５７８９２１号

しかしながら、上記従来例においては、画像の解析精度を維持しつつ、高速で画像を解析することは何ら開示されていない。

そこで、本発明は、画像の解析精度を維持しつつ、高速で画像を解析することができる画像解析装置、画像処理装置、画像解析方法、画像解析プログラム及びこれを記録した記録媒体を提供することを目的とする。

上記目的を達成するため、本発明の第１の特徴とするところは、入力画像から所定サイズの画像領域を選択する画像領域選択手段と、この画像領域選択手段が選択した画像領域の特徴量を算出する特徴量算出手段と、この特徴量算出手段が算出した特徴量に応じて、前記画像領域選択手段が次に選択する画像領域の位置を制御する選択位置制御手段と、前記特徴量算出手段が算出した特徴量を記憶する記憶手段とを有する画像解析装置にある。即ち、画像領域選択手段が次に選択する画像領域の位置を、画像領域の特徴量に応じて制御することができるので、画像の解析精度に影響を与えない画像領域を解析しないようにすることができ、画像の解析精度を維持しつつ、高速で画像を解析することができる。

好適には、前記特徴量算出手段が算出する特徴量が所定の閾値よりも大きいか否かを判定する判定手段をさらに有し、特徴量が所定の閾値以下であると前記判定手段が判定した場合、前記選択位置制御手段は、前記画像領域選択手段が最後に選択した画像領域と次に選択する画像領域との距離を所定の基準距離よりも大きくするよう制御する。

また、好適には、特徴量が所定の閾値よりも大きいと前記判定手段が判定した場合、前記選択位置制御手段は、前記画像領域選択手段が最後に選択した画像領域と次に選択する画像領域との距離を所定の基準距離にするよう制御する。

また、好適には、特徴量が所定の閾値よりも大きいと前記判定手段が判定した場合、前記選択位置制御手段は、特徴量が所定の閾値以下であると前記判定手段が判定した最後の画像領域に遡って、前記画像領域選択手段が画像領域を選択するよう制御する。

また、好適には、前記判定手段に対して閾値を設定する閾値設定手段をさらに有する。

また、好適には、前記選択位置制御手段に対して、前記画像領域選択手段が最後に選択した画像領域と次に選択する画像領域との基準距離を設定する基準距離設定手段をさらに有する。

また、好適には、前記特徴量算出手段は、前記画像領域選択手段が選択した画像領域内の階調変化量を特徴量として算出する。

また、好適には、前記特徴量算出手段は、前記画像領域選択手段が選択した画像領域内の階調変化方向を特徴量として算出する。

また、好適には、複数のエッジパターンを記憶するエッジパターン記憶手段をさらに有し、前記特徴量算出手段は、前記画像領域選択手段が選択した画像領域内のエッジパターンを算出し、算出したエッジパターンに対応する前記エッジパターン記憶手段に記憶されたエッジパターンのいずれかを特徴量とみなす。

また、好適には、前記特徴量算出手段は、前記画像領域選択手段が選択した画像領域内の1つ以上の色成分に基づいて、特徴量を算出する。

また、本発明の第２の特徴とするところは、入力画像から所定サイズの画像領域を選択する画像領域選択手段と、この画像領域選択手段が選択した画像領域の特徴量を算出する特徴量算出手段と、この特徴量算出手段が算出した特徴量に応じて、前記画像領域選択手段が次に選択する画像領域の位置を制御する選択位置制御手段と、前記特徴量算出手段が算出した特徴量を記憶する記憶手段と、前記特徴量算出手段が算出する特徴量が所定の閾値よりも大きいか否かを判定する判定手段と、特徴量が所定の閾値よりも大きいと前記判定手段が判定した場合に、前記画像領域選択手段が選択した画像領域に第１の処理を行う第１の処理手段と、入力画像に対して第２の処理を行う第２の処理手段と、この第２の処理手段が処理した入力画像、及び前記第１の処理手段が処理した画像領域の画像から出力画像を生成する出力画像生成手段とを有する画像処理装置にある。

好適には、特徴量が所定の閾値以下であると前記判定手段が判定した場合、前記選択位置制御手段は、前記画像領域選択手段が最後に選択した画像領域と次に選択する画像領域との距離を所定の基準距離よりも大きくするよう制御する。

また、好適には、前記第１の処理手段は、前記画像領域選択手段が選択した画像領域に対し、前記特徴量算出手段が算出した特徴量を保存する拡大処理を行い、前記第２の処理手段は、入力画像に対して前記第１の処理手段による拡大処理とは異なる拡大処理を行う。

また、好適には、前記第１の処理手段は、前記特徴量算出手段が算出した特徴量とともに、前記画像領域選択手段が選択した画像領域の近傍領域の特徴量および画素値を用いて拡大処理を行う。

また、好適には、前記第１の処理手段は、カーネル要素及びカーネル要素間距離が画像の拡大率に応じて異なるエッジ強調カーネルを用いて補正した画像領域の画素値を用いて拡大処理を行う。

また、好適には、前記第１の処理手段は、前記画像領域選択手段が選択した画像領域の階調変化の方向に応じて選択した近傍領域内の画素値を用いて拡大処理を行う。

また、好適には、前記第１の処理手段は、前記特徴量算出手段が算出した特徴量に応じた演算により、拡大処理を行う。

また、好適には、前記第２の処理手段は、最近傍補間法または線形補間法を用いて拡大処理を行う。

また、好適には、前記第２の処理手段は、入力画像毎又は入力画像中の数ライン毎に拡大処理を行う。

また、好適には、前記出力画像生成手段は、前記第１の処理手段が処理した画像領域の画像を、前記第２の処理手段が処理した入力画像上の対応する位置に配置することによって出力画像を生成する。

また、本発明の第３の特徴とするところは、入力画像から所定サイズの画像領域を選択し、選択した画像領域の特徴量を算出し、算出した特徴量を記憶し、算出した特徴量に応じて、次に選択する画像領域の位置を制御する画像解析方法にある。

また、本発明の第４の特徴とするところは、入力画像から所定サイズの画像領域を選択するステップと、選択した画像領域の特徴量を算出するステップと、算出した特徴量を記憶するステップと、算出した特徴量に応じて、次に選択する画像領域の位置を制御するステップとをコンピュータに実行させる画像解析プログラムにある。

また、本発明の第５の特徴とするところは、入力画像から所定サイズの画像領域を選択するステップと、選択した画像領域の特徴量を算出するステップと、算出した特徴量を記憶するステップと、算出した特徴量に応じて、次に選択する画像領域の位置を制御するステップとをコンピュータに実行させるための画像解析プログラムを記録したコンピュータ読み取り可能な記録媒体にある。

本発明によれば、画像の解析精度を維持しつつ、高速で画像を解析することができる。

［ハードウェア構成］
本実施形態における画像処理装置２のハードウェア構成を説明する。
図１は、本発明にかかる画像解析方法が適用される画像処理装置２のハードウェア構成を、制御装置２０を中心に例示する図である。
図１に例示するように、画像処理装置２は、ＣＰＵ２０２及びメモリ２０４などを含む制御装置２０、通信装置２２、ＨＤＤ・ＣＤ装置などの記憶装置２４、並びに、ＬＣＤ表示装置あるいはＣＲＴ表示装置及びキーボード・タッチパネルなどを含むユーザインターフェース装置（ＵＩ装置）２６を有する。
画像処理装置２は、汎用コンピュータとしての機能を有し、例えば入力画像を拡大するなどの処理を行うプログラムがインストールされている。例えば、画像処理装置２は、フルカラーのプリンタ装置１０に対して画像データを出力する場合には、６００ｄｐｉ又は２４００ｄｐｉなどの解像度に変換し、ＵＩ装置２６に対して画像データを出力する場合には、７５ｄｐｉなどの解像度に変換する。

記録媒体２０４は、本発明の画像処理装置の機能または画像解析方法をコンピュータプログラムで実現した場合におけるコンピュータプログラムを格納した記憶媒体の一例である。ここで、記憶媒体とは、コンピュータのハードウェア資源に備えられている読取装置に対して、プログラムの記述内容に応じて、磁気、光、電気等のエネルギーの変化状態を引き起こして、それに対応する信号の形式で、読取装置にプログラムの記述内容を伝達できるものである。記録媒体２０４は、例えば、光磁気ディスク、光ディスク（ＣＤやＤＶＤなどを含む）、磁気ディスク、メモリ（ＩＣカード、メモリカードなどを含む）等である。もちろんこれらの記憶媒体は、可搬型に限られるものではない。

［画像拡大プログラム］
図２は、制御装置２０（図１）により実行され、本発明にかかる画像解析方法を用いる画像拡大プログラム４の機能構成を示す図である。
図２に示すように、画像拡大プログラム４は、記憶部４０、画像ブロック設定部４２、特徴量保存拡大処理部４４、高速拡大処理部４６６及び拡大画像生成部４８を有する。

記憶部４０は、画像データが拡大処理されるまで画像データを一時的に記憶し、解像度変換又は拡大処理された拡大画像データが出力装置（不図示）に出力されるまで一時的に記憶する。なお、画像データは、画像処理装置２により処理可能である画像フォーマット（例えば、ＢＭＰ、ＴＩＦＦ、ＰＮＧなど）で記述されたデータであり、デジタルカメラ（不図示）又はスキャナ（不図示）などにより取り込まれた画像データ、又は、パーソナルコンピュータ（画像処理装置２など）等において作成又は編集等を行うアプリケーションプログラムにより作成された画像データ等である。拡大画像データ（拡大された後の画像データ）もまた、同様の画像フォーマットのデータである。

画像ブロック設定部４２は、画像ブロック選択部４２０、エッジ強度算出部４２２を有し、特徴量保存拡大処理部４４における処理で必要とされる既定の画像ブロックサイズ及び次に選択すべき画像ブロックの位置を示すブロック移動量をそれぞれ設定し、記憶部４０により記憶される入力画像データから、設定された所定サイズの画像ブロックをブロック移動量に基づいて順次選択する。さらに、選択された画像ブロックを画像特徴量に基づいて切り分け、特徴量保存拡大処理部４４に出力する画像ブロックを抽出する。画像ブロックの切り分けとは、特徴のある画像ブロック（例えば、エッジを含んだ画像ブロックなど）と、特徴の少ない画像ブロック（例えば、画素値変化の少ない画像ブロックなど）とを切り分けることを意味する。より具体的には、画像ブロック設定部４２は、画像特徴量が基準値以上である画像ブロックを特徴ブロックと判定し、画像特徴量が基準値未満である画像ブロックを非特徴ブロックと判定する。本例では、画像ブロック設定部４２は、画像特徴量の１つとして画像ブロックのエッジ強度（数値）を算出し、算出されたエッジ強度が基準値以上である画像ブロックを特徴ブロックであると判定し、エッジ強度が基準値未満である画像ブロックを非特徴ブロックであると判定する。なお、特徴ブロックの切り分けに用いる特徴量は、エッジ強度に限られるものではなく、例えば画像ブロックの各画素値の平均値を求め、その平均値に対する各画素値のばらつきを表すような値（例えば、標準偏差や分散）などの、種々の画像特徴量であってもよい。
なお、画像ブロック設定部４２の詳細については後述する。

特徴量保存拡大処理部４４は、画像ブロック設定部４２から出力された所定サイズの画像ブロック（以後、注目領域と呼ぶ）に対して、前記注目領域の画像特徴を保存した拡大画像ブロックを生成する。なお、画像特徴量としてエッジ強度およびエッジ角度を用いた特徴量保存拡大処理部４４の詳細については後述する。

高速拡大処理部４６は、記憶部４０により記憶されている入力画像データを拡大する。高速拡大処理部４６は、特徴量保存拡大処理部４４による拡大処理よりも処理負荷の小さい拡大アルゴリズムを適用する。具体的には、高速拡大処理部４６は、例えば、最近傍補間拡大法や線形補間拡大法などを適用して入力画像データを拡大する。また、高速拡大処理部４６は、画像ブロック毎の処理ではなく、入力画像単位又は入力画像の数ライン単位で拡大処理を行うことができる。

拡大画像生成部４８は、特徴量保存拡大処理部４４により拡大された拡大画像ブロックと、高速拡大処理部４６により拡大された拡大画像とを用いて原画像に対する拡大画像を生成する。より具体的には、拡大画像生成部４８は、画像ブロック設定部４２で選択および出力された画像特徴量が基準値以上である画像ブロック（特徴ブロック）について、特徴量保存拡大処理部４４で拡大した拡大画像を適用し、画像特徴量が基準値未満である画像ブロック（非特徴ブロック）については高速拡大処理部４６により拡大された拡大画像を適用して、１つの拡大画像を生成する。

［画像ブロック設定部の詳細説明］
次に、画像ブロック設定部４２についてより詳細に説明する。画像ブロック設定部４２は、図２に示すように、画像ブロック選択部４２０、エッジ強度算出部４２２を有する。
画像ブロック選択部４２０は、特徴量保存拡大処理部４４における処理で必要な注目領域を含む画像ブロックサイズと、画像ブロックを順次選択する際の画像ブロックの位置を示すブロック移動量を設定し、処理すべき画像ブロックとして前記ブロック移動量が示す位置の所定サイズの画像ブロックを設定する。以降、本例では注目領域が２×２画素サイズブロックであり、注目領域を含む周辺領域が４×４画素サイズブロックである場合を具体例として説明する。
また画像ブロック選択部４２０は、後述するエッジ強度算出部４２２で算出されたエッジ強度に基づいて、基準値（既定のしきい値Ｔｈ）との比較を行い、注目領域が特徴ブロック又は非特徴ブロックのいずれであるかを判定し、特徴ブロックであると判定された画像ブロックだけを選択して特徴量保存拡大処理部４４に出力する。

エッジ強度算出部４２２は、画像ブロック選択部４２０で設定された画像ブロック中の注目領域のエッジ強度Ｇを次の式（１）で算出する。
ｇｘ＝（ａ＋ｃ−ｂ−ｄ）／２
ｇｙ＝（ａ＋ｂ−ｃ−ｄ）／２
Ｇ＝ｇｘ×ｇｘ＋ｇｙ×ｇｙ・・・式（１）
上記式におけるａ、ｂ、ｃ及びｄは、図３に例示するように、注目領域にある各画素の画素値である。また、このように算出される「ｇｘ」は、主走査方向（図３の左右方向）の画素値の変化量を示し、「ｇｙ」は、副走査方向（図３の上下方向）の画素値の変化量を示す。
なお、エッジ強度は上記式（１）で算出されるものに限定されるわけでなく、以下の式（２）などで算出しても良い。
Ｇ＝｜ｇｘ｜＋｜ｇｙ｜・・・式（２）
すなわち、エッジ強度Ｇは、（ｇｘ）の絶対値と（ｇｙ）の絶対値との和として算出されてもよい。

図４は、本例における画像ブロック設定部４２による画像ブロック設定処理のフローチャートである。
図４に示すように、ステップＳ１００において、画像ブロック選択部４２０は、次に選択すべき注目領域の位置を示すブロック移動量を初期値として１に設定する。

ステップＳ１０２において、画像ブロック選択部４２０は、ステップＳ１００において設定されたブロック移動量に従って、現在選択されている画像ブロックからブロック移動量分、ラスタスキャン方向にシフトした位置の注目領域を選択する。

ステップＳ１０４において、エッジ強度算出部４２２は、ステップＳ１０２で選択された注目領域のエッジ強度Ｇを式（１）あるいは式（２）で算出する。なお、｛ａ，ｂ，ｃ，ｄ｝は図５に例示するように注目領域内の各画素値である。入力画像データがグレースケール画像でなく、例えばＲＧＢ色空間のカラー画像である場合には、エッジ強度算出部４２２は、注目領域に関してＲ，Ｇ，Ｂ各色空間の色成分毎の画像ブロックそれぞれについて、式（１）あるいは式（２）を用いてエッジ強度Ｇｒ、Ｇｇ、Ｇｂを計算し、Ｇｒ、Ｇｇ、Ｇｂの中で最大のエッジ強度である色成分の画像ブロックを選択し、そのエッジ強度を注目領域の（すべての色成分に共通の）エッジ強度とする。

ステップＳ１０６において、画像ブロック選択部４２０は、ステップＳ１０４においてエッジ強度算出部４２２で算出されたエッジ強度Ｇと所定の基準値Ｔｈとの比較を行う。算出されたエッジ強度Ｇが所定の基準値Ｔｈよりも小さい場合は、注目領域は非特徴ブロック、つまり平坦領域に属する画像ブロックであると判定し、ステップＳ１００に処理を戻してブロック移動量を再設定する。算出されたエッジ強度Ｇが所定の基準値Ｔｈよりも大きい場合は、注目領域は特徴ブロック、つまりエッジ領域に属する画像ブロックであると判定し、ステップＳ１０８に処理を移す。

ステップＳ１０８において、画像ブロック選択部４２０は、現在設定されているブロック移動量が１であるかそうでないかを判定する。設定されているブロック移動量が１の場合は、ステップＳ１１０に処理を移す。現在設定されているブロック移動量が１でない場合は、ステップＳ１００に処理を戻してブロック移動量を再設定する。

ステップＳ１００において、ステップＳ１０６において特徴ブロックと判定された注目領域を含む周辺領域（４×４サイズ画像ブロック）を特徴量保存拡大処理部４４へ出力する。またブロック移動量も初期値"１"に設定する。

ここで、ステップＳ１００におけるブロック移動量の再設定処理について、図５を用いて詳細に説明する。図５は、画像ブロック選択部４２０による注目領域の選択処理の具体例を説明する図である。ここで、図５（Ａ）に例示する図において、各々の小さい四角が画素を表しており、大きい四角で囲まれた２×２の画像ブロック（画像ブロック３ａ、画像ブロック３ｂ）が注目領域を示す画像ブロックである。ハッチングされた部分は画像のエッジ領域（各画素の画素値変化が大きい領域）を構成する画素を示し、ハッチングされていない部分は平坦な領域（各画素の画素値変化が小さい領域）を構成する画素を示す。
また、図５（Ｂ）、図５（Ｄ）に示す各々の四角い枠は、選択される注目領域である。

図４に示したステップＳ１０６において、画像ブロック選択部４２０で選択された注目領域が非特徴ブロックと判定されてステップＳ１００に処理が戻された場合、図５（Ｂ）に例示するように、画像ブロック選択部４２０はブロック移動量を"２"に再設定する。このようにブロック移動量を増加するように設定することで、図５（Ｂ）に示すように、ブロック移動量が１（初期値）の場合と比較して、選択される注目領域が間引かれ、非特徴ブロックが属する平坦領域における画像ブロック選択の処理負荷が減少し、処理時間の短縮が可能となる。なお、ブロック移動量が１の場合のブロック間の距離を基準距離とする。

図４に示したステップＳ１０８において、画像ブロック選択部４２０で選択された注目領域が特徴ブロックと判定されたがブロック移動量が１ではないとしてステップＳ１００に処理が戻された場合（例えば、図５（Ｂ）のハッチングされた画像ブロックにおける処理の場合）、画像ブロック選択部４２０は、図５（Ｃ）に例示するようにブロック移動量を"−１"に再設定し、１つ手前の画像ブロックを次の注目領域として選択するようにする。このように注目領域を遡って選択することで、図５（Ｂ）に示したように平坦領域においてブロック移動量"２"で画像ブロックを間引きながら選択した際に、平坦領域とエッジ領域との境界付近で間引かれた画像ブロック（例えば、図５（Ａ）の画像ブロック３ｂ）を処理することが可能となる。これにより図５（Ｂ）に示したような注目領域の間引き選択処理によって間引かれた、本来特徴ブロックとして特徴量保存拡大処理部４４に出力されるべき注目領域を処理することが可能となる。

また、画像ブロック選択部４２０は、例えば図５（Ａ）のハッチングされた部分であるエッジ領域においては、図４のステップＳ１１０の処理で述べたようにブロック移動量を"１"に設定して、注目領域を間引かずに選択する（図５（Ｄ）に例示）。これにより特徴ブロックとして判定される注目領域は全て特徴量保存拡大処理部４４へ出力され、画像のエッジ領域は特徴量を保存した拡大処理が施されて拡大後のエッジ領域の画質は保たれる。

［特徴量保存拡大処理部の詳細説明］
図６は、本実施例の特徴量保存拡大処理部４４の構成及びその周辺を示すブロック図である。
図６に示すように、特徴量保存拡大処理部４４は、画像ブロック特徴量算出部４４０、高画質画像ブロック生成部４４２を有する。なお、記憶部４０は図２に記載のものと同様である。

画像ブロック特徴量算出部４４０は、エッジ方向推定部４４４及びエッジパターン選択部４４６を有し、画像ブロック設定部４２から順次入力される特徴ブロックと判定された画像ブロックの少なくとも一部である注目領域における画像特徴量を、注目領域又はこの注目領域の周辺部を含む画像ブロック内の各画素値に基づいて算出する。画像特徴量とは、例えば、注目領域のエッジ角度（階調変化の方向）又はエッジパターン（階調変化のパターン）などである。しかしこれに限られるものではなく、画像ブロック特徴量算出部４４０は、例えば注目領域の各画素値の平均値を算出し、この平均値に対する注目領域の各画素値のばらつきを表す値（例えば標準偏差又は分散）を画像特徴量として算出してもよい。

高画質画像ブロック生成部４４２は、画像ブロック特徴量算出部４４０により算出された画像特徴量を用いて、注目領域に対応する拡大画像ブロックを生成する。高画質画像ブロック生成部４４２における拡大処理は、注目領域に含まれる特徴を保持するような拡大手法を適用するのが望ましい。
また、高画質画像ブロック生成部４４２は、画像ブロック設定部４２により算出された特徴量が基準値以上である画像ブロック（すなわち、特徴ブロック）についてのみ、拡大処理を行う。

［画像ブロック特徴量算出部の詳細説明］
次に、画像ブロック特徴量算出部４４０をより詳細に説明する。なお、注目領域が２×２画素サイズブロックであり、注目領域を含む周辺領域が４×４画素サイズブロックである場合を具体例として説明する。
本例の画像ブロック特徴量算出部４４０は、図６に示すように、エッジ方向推定部４４４、エッジパターン選択部４４６を含む。

エッジ方向推定部４４４は、画像ブロック設定部４２から出力された特徴ブロックである画像ブロック中の注目領域のエッジ方向を推定する。
図３（Ａ）は、注目領域及び周辺領域を例示し、図３（Ｂ）は、この注目領域について推定されるエッジ方向を例示する図である。
図３（Ａ）に例示するように、注目領域（画像領域）は２×２の矩形領域（主走査方向及び副走査方向にそれぞれ２つ）を有し、周辺領域は４×４の矩形領域（主走査方向及び副走査方向にそれぞれ４つ）を有する。各矩形はそれぞれ画素に相当し、矩形内の各数字はそれぞれの画素値を示している。すなわち、注目領域は、中心部近傍の画素｛ａ，ｂ，ｃ，ｄ｝＝｛１５，１０４，８６，２０３｝である。以下、この図３（Ａ）で例示する注目領域を具体例として、エッジ方向推定部４４４によるエッジ方向推定処理を説明する。

図７は、エッジ方向推定部４４４によるエッジ方向推定処理（Ｓ２０）のフローチャートである。
図８は、Ｓ２１０において選択される参照領域を例示する図である。なお、図８におけるハッチングされた部分は、図３に示した注目領域に相当する。
図７に示すように、ステップ２００（Ｓ２００）において、エッジ方向推定部４４４は、図３（Ａ）に例示した注目領域のエッジ角度Θを、次の式（３）で計算する。
Θ＝arctan（ｇｙ／ｇｘ）・・・式（３）
図３（Ａ）では、注目領域の画素値は、｛ａ，ｂ，ｃ，ｄ｝＝｛１５，１０４，８６，２０３｝であり、式（１）より、
ｇｘ＝−１０３
ｇｙ＝−８５
となり、これらを式（３）に代入することにより、
Θ＝−１４０．５°
となる。
このエッジ角度Θの方向は、図３（Ｂ）に示された破線方向に相当する。

さらに、エッジ方向推定部４４４は、算出されたエッジ角度Θが２２．５°ごとに区分された方向（８方向）の角度範囲のいずれに含まれるかを判定する。本例では、エッジ角度Θが０°又は±１８０°を中心とした角度範囲を「方向０」とし、２２．５°又は−１５７．５°を中心とした角度範囲を「方向１」とし、４５°又は−１３５°を中心とした角度範囲を「方向２」とし、６７．５°又は−１１２．５°を中心とした角度範囲を「方向３」とし、９０°又は−９０°を中心とした角度範囲を「方向４」とし、１１２．５°又は−６７．５°を中心とした角度範囲を「方向５」とし、１３５°又は−４５°を中心とした角度範囲を「方向６」とし、１５７．５°又は−２２．５°を中心とした角度範囲を「方向７」する。これらの角度範囲は、それぞれの中心から±１１．２５°の範囲である。上述の具体例におけるエッジ角度Θ（＝−１４０．５°）は、−１３５°±１１．２５°の範囲内に含まれるので、エッジ角度は「方向２」となる。

ステップ２０２（Ｓ２０２）において、エッジ方向推定部４４４は、算出された注目領域のエッジ角度Θに応じて、図３（Ａ）に示した周辺領域（太線枠外の領域）の中からエッジ方向の推定に用いる参照領域を選択する。より具体的には、エッジ方向推定部４４４は、算出されたエッジ角度Θの方向で注目領域と隣接する可能性のある画素を含むように、参照領域を選択する。
例えば、エッジ方向推定部４４４は、注目領域について算出されたエッジ角度が「方向０」に含まれる場合に、図８（Ａ）に例示する参照領域（太線で囲まれた２つの領域）を選択し、算出されたエッジ角度が「方向４」に含まれる場合に、図８（Ｂ）に例示する参照領域（太線で囲まれた２つの領域）を選択し、算出されたエッジ角度が上記以外の方向（方向１〜３、方向５〜７）に含まれる場合に、図８（Ｃ）に例示する参照領域（太線で囲まれた４つの領域）を選択する。図３に示した具体例では、エッジ角度の方向は「方向２」であるので、図８（Ｃ）に示した４つの参照領域が選択の候補となる。
なお、参照領域は、図８に例示したものに限定されるわけではなく、例えば図８（Ｃ）の場合などは、参照領域数を８としたり、それぞれの方向に応じた参照領域を設定してもよい。

ステップ２０４（Ｓ２０４）において、エッジ方向推定部４４４は、選択された参照領域それぞれに対して、Ｓ２００と同様に、式（１）及び式（３）に従ってエッジ角度Θを計算する。

ステップ２０６（Ｓ２０６）において、エッジ方向推定部４４４は、それぞれの参照領域について算出されたエッジ角度と、注目領域について算出されたエッジ角度とを比較して、これらの差分が予め設定されている閾値Θｔｈより小さいか否かを判断する。エッジ方向推定部４４４は、エッジ角度の差分が閾値Θｔｈより小さい場合には、この参照領域のエッジ角度を適正なエッジ角度として判定してＳ２０８の処理に移行し、エッジ角度の差分が閾値Θｔｈ以上である場合には、この参照領域のエッジ角度を適正なエッジ角度ではないと判定してＳ２１０の処理に移行する。

ステップ２０８（Ｓ２０８）において、エッジ方向推定部４４４は、角度参照数をインクリメントする。すなわち、エッジ方向推定部４４４は、参照領域について算出されたエッジ角度が適正なエッジ角度であると判断された場合にのみ、角度参照数をインクリメントする。
なお、角度参照数は、エッジ角度の参照数をカウントするための変数であり、注目領域ごとに「角度参照数１」に初期化される。

ステップ２１０（Ｓ２１０）において、エッジ方向推定部４４４は、選択した全ての参照領域についてエッジ角度を算出したか否かを判断し、全ての参照領域についてエッジ角度が算出された場合には、Ｓ２１２の処理に移行し、これ以外の場合には、Ｓ２０４の処理に戻って次の参照領域についてエッジ角度を算出する。

ステップ２１２（Ｓ２１２）において、エッジ方向推定部４４４は、注目領域のエッジ角度と、適正なエッジ角度として判定された参照領域のエッジ角度との総和を計算し、算出されたエッジ角度の総和を角度参照数で割った平均エッジ角度を注目領域の推定エッジ方向とする。

なお、図３に示した具体例では、上部の参照領域｛８６，２０３，１７１，２１１｝からエッジ角度ΘＵ＝−１４９．４°、左部の参照領域｛１０，１５，２０，８６｝からエッジ角度ΘＬ＝−１３１．２°、下部の参照領域｛１，１０２，１５，１０４｝からエッジ角度ΘＤ＝−１７５．２°、右部の参照領域｛１０４，２１５，２０３，２１９｝からエッジ角度ΘＲ＝−１４１．０°となる。注目領域のエッジ角度Θ＝−１４０．５°とそれぞれの参照領域のエッジ角度が比較され、その差分が閾値Θｔｈより小さい参照領域の数が角度参照数としてカウントされる。

図９は、図３に示した注目領域における推定エッジ方向の一例の説明図である。例えば上述の具体例において、すべての参照領域について注目領域のエッジ角度との差分が閾値Θｔｈより小さいとすれば、注目領域及び４つの参照領域から求められたエッジ角度の総和は−７３７．３°となり、角度参照数５で割ることによって平均エッジ角度は−１４７．５°と求めることができる。この場合も、エッジ方向推定部４４４は、上述の注目領域のエッジ方向と同様に、例えば８方向のいずれかに含まれるかを判定する。本例では、平均エッジ角度が−１４７．５°であるため「方向１」に含まれ、これが推定エッジ方向となる。

なお、本実施形態では、１画素につき１色要素であるグレースケール画像を具体例として説明しているが、これに限定されるわけではない。例えば、１画素につき３色要素のＲＧＢ色空間のカラー画像が入力される場合には、各々の色成分のデータにおけるエッジ強度Ｇｒ、Ｇｇ、Ｇｂの強さにより選択された色空間データで上記のエッジ方向推定処理を行えばよい。より具体的には、それぞれの色成分についてエッジ強度算出部４２２においてエッジ強度を算出し、算出されたエッジ強度Ｇｒ、Ｇｇ、Ｇｂが最大となる色成分を選択して、画像ブロック特徴量算出部４４０は、選択された色成分についてのみ特徴量を算出する。このようにすることにより、カラー画像における拡大画像データのエッジ部の色ずれなど、画質低下を抑えることが可能となる。
また、本例では、注目領域及び参照領域について式（１）により算出されたエッジ角度は、８方向のいずれかに分類されたが、これに限定されるものではなく、より精度の高いエッジ方向が必要であれば１２方向（１５．０°ごと）、１６方向（１２．２５°ごと）など、さらに多数の角度領域に分類してもよい。

次に、エッジパターン選択部４４６について説明する。
図１０は、エッジパターン選択部４４６で用いるエッジパターンテーブルを例示する図である。
図１０に例示するように、エッジパターン選択部４４６は、推定エッジ方向とエッジパターンとを互いに対応付けたエッジパターンテーブルを有する。エッジパターンテーブルには、注目領域のパターンサイズに対応するエッジパターンがそれぞれの推定エッジ方向（ここでは８方向）ごとに１つ以上のエッジパターンが登録されている。
エッジパターン選択部４４６は、このエッジパターンテーブルを参照して、エッジ方向推定部４４４によりそれぞれの注目領域について推定された推定エッジ方向に対応するエッジパターンを選択する。
本例では、図１０に例示するように、注目領域に対する推定エッジ方向がエッジ方向推定部４４４によって「方向１」であると推定されているため、エッジパターン選択部４４６は、この推定エッジ方向（方向１）に従い、図１０に示すエッジパターンテーブルの中から、方向１に対応する「パターン０」から「パターン３」までの４つのエッジパターンを選択し、これらをこの注目領域（図１０）に対するエッジパターンの候補とする。

次に、エッジパターン選択部４４６は、注目領域の画素値に基づいて、エッジパターンの候補となった１つ以上のエッジパターンの中から、１つのエッジパターンを選択する。エッジパターンの具体的な選択方法について、図１１を参照しながら説明する。
図１１は、図１０に示した注目領域に対応するエッジパターンの選択方法を説明する図である。
本例では、推定エッジ方向が「方向１」であったため、図１１（Ａ）に例示するように、エッジパターンの候補として、「パターン０」から「パターン３」までの４つのエッジパターンが選択されている。これらのエッジパターンは、図１１（Ｂ）に例示するように、ビットパターンとして表現される。具体的には、白部分を０、それ以外を１としてビットパターン化し、「ビットパターン０」から「ビットパターン３」までのビットパターンが生成される。なお、これらのビットパターンは、図１０に示すエッジパターンテーブルにビットテーブルとして予め登録されていてもよい。

エッジパターン選択部４４６は、注目領域に相当するビットパターンを判定する。具体的には、エッジパターン選択部４４６は、以下に示す式（４）に従い、注目領域中の平均画素値を計算し、注目領域内の各々の画素値から平均値を引き、その符号を以て注目領域の画素値パターンとする。
Ｍｅａｎ＝（ａ＋ｂ＋ｃ＋ｄ）／４
ａ＿ｓｉｇｎ＝ａ−Ｍｅａｎ
ｂ＿ｓｉｇｎ＝ｂ−Ｍｅａｎ
ｃ＿ｓｉｇｎ＝ｃ−Ｍｅａｎ
ｄ＿ｓｉｇｎ＝ｄ−Ｍｅａｎ・・・式（４）
なお、本例では、図１１（Ｃ）に示すように、Ｍｅａｎ＝（１５＋１０４＋８６＋２０３）／４＝１０２であり、ａ＿ｓｉｇｎ＝−８７、ｂ＿ｓｉｇｎ＝２、ｃ＿ｓｉｇｎ＝−１６、ｄ＿ｓｉｇｎ＝１０１となる。よって、エッジパターン選択部４４６は、これらの正負符号を判定して、図１１（Ｃ）に示すように、注目領域のビットパターン（１０１０）を生成する。
そして、エッジパターン選択部４４６は、図１１（Ｂ）に例示するエッジパターン候補に対応するビットパターンと、図１１（Ｃ）に例示する注目領域のビットパターンとのパターンマッチングを行い、最も類似するエッジパターンを選択パターンとして決定する。選択されたエッジパターンは、後述する拡大画像ブロック生成部１４における拡大画像ブロック生成処理に適用される。

なお、エッジパターンは、図１０に示したものに限定されるわけではなく、例えば、エッジパターン選択部４４６は、入力画像データの種類に応じて、エッジパターンテーブルを切り替えて、異なるエッジパターンを適用してもよい。また、エッジパターン選択部４４６は、各角度におけるエッジパターン候補数を増減させてもよい。

［高画質画像ブロック生成部の詳細説明］
次に、高画質画像ブロック生成部４４２をより詳細に説明する。
高画質画像ブロック生成部４４２は、画像ブロック設定部４２において、特徴ブロックであると判定された画像ブロック中の注目領域に対して、画像ブロック特徴量算出部４４０で得られた注目領域に対するエッジパターンおよび推定エッジ方向に基づいて、拡大画像ブロック生成処理を行う。
高画質画像ブロック生成部４４２は、まず、拡大処理の拡大倍率に応じたサイズおよび係数の強調カーネルを用いて、画像ブロック設定部４２により出力された画像ブロック中の注目領域およびその周辺領域の画像データのコントラストを強調する。

図１２は、高画質画像ブロック生成部４４２により用いられる強調カーネル４５０（エッジ強調カーネル）を例示する図である。
図１２に例示するように、第１の強調カーネル４５０ａは、重み付け係数「１．６０」及び「−０．１５」を用いてコントラストを強調し、第２の強調カーネル４５０ｂは、重み付け係数「１．２０」及び「−０．０５」を用いてコントラストを強調する。これらの強調カーネルは、対象画像に対して既になされた拡大処理の拡大倍率に対応付けられており、互いに異なる重み付け係数を用いて、互いに異なる位置の画素値を参照する。

第１の強調カーネル４５０ａは、図１２（Ａ）に例示するように、注目画素Ｐの直下画素ａ、直右画素ｂ、直上画素ｃ及び直左画素ｄを参照して、これらの画素の画素値にそれぞれ重み付け係数（−０．１５）を掛け合わせ、重み付け係数（１．６０）が掛けられた注目画素Ｐの画素値と合算し、合算された値を注目画素Ｐの画素値とする。
第２の強調カーネル４５０ｂは、第１の強調カーネル４５０ａよりも拡大倍率の大きな画像に対して適用され、図１２（Ｂ）に例示するように、注目画素Ｐから１画素分離間した下画素ａ、右画素ｂ、上画素ｃ及び左画素ｄを参照して、これらの画素の画素値にそれぞれ重み付け係数（−０．０５）を掛け合わせ、重み付け係数（１．２０）が掛けられた注目画素Ｐの画素値と合算し、合算された値を注目画素Ｐの画素値とする。
例えば、第１の強調カーネル４５０ａを適用する場合に、以下の式（５）に従って、コントラスト強調後の画素値Ｐ'が算出される。
（画素値Ｐ'）＝１．６０×Ｐ‐０．１５×（ａ＋ｂ＋ｃ＋ｄ）・・・式（５）

このように、既になされた拡大処理の拡大倍率に応じて強調カーネルが異なるのは、４倍、８倍と順に画像を拡大していくと、原画像の特徴を有している画素は、２画素、４画像離れた位置の画素となる。そのため、高画質画像ブロック生成部４４２は、図１２に例示するように、拡大倍率が高いほど離れた画素を参照して強調処理を行う。例えば、高画質画像ブロック生成部４４２は、２倍拡大処理を２回連続して適用することにより４倍拡大が実現される場合に、最初の２倍拡大処理において第１の強調カーネル４５０ａ（図１２（Ａ））を適用し、２回目の２倍拡大処理において第２の強調カーネル４５０ｂ（図１２（Ｂ））を適用する。なお、８倍、１６倍以降の倍率においても同様である。

また、参照する画素の位置は、図１２に示すような上下左右に限られたものではない。例えば、高画質画像ブロック生成部４４２は、斜め方向の画素を参照してコントラスト強調を行ったり、さらに離れた画素を参照してコントラスト強調を行ったり、処理対象画像データの種類及びサイズなどにより適用する強調カーネルを切り替えたりしてもよい。

次に高画質画像ブロック生成部４４２は、画像ブロック特徴抽出部１１で得られた注目領域に対するエッジパターンおよび推定エッジ方向と、前述したようにコントラスト強調処理が行われた注目領域とその周辺領域の画素値を用いて、注目領域に対する拡大画像ブロックを生成する。

図１３は、高画質画像ブロック生成部４４２における拡大画像ブロックの生成処理の具体例の説明図である。まず高画質画像ブロック生成部４４２は、注目領域のエッジパターンおよび推定エッジ方向基づき、コントラスト強調処理を施された画素値を用いて３×３画像ブロックに相当する画素値を算出する。図１３（Ａ）には図７（Ａ）に示した注目領域及び周辺領域の一例を示している。この注目領域は前述したように画像ブロック特徴量算出部４４０において、エッジパターン１０１０、推定エッジ方向は「方向１」と求められている。高画質画像ブロック生成部４４２では、（エッジパターン１０１０）−（推定エッジ方向「１」）の組み合わせの場合、図１３（Ｂ）に示すように、３×３画像ブロックに相当するそれぞれの画素をｐ０〜ｐ８とすると、図１３（Ａ）に示した注目領域の画素値｛ａ，ｂ，ｃ，ｄ｝をもとに、ｐ０〜ｐ８の画素値を次の式によって計算する。
ｐ０＝ａ
ｐ１＝（ａ＋ｂ）／２
ｐ２＝ｂ
ｐ３＝（ａ＋ｃ）／２
ｐ４＝（ｂ＋ｃ）／２
ｐ５＝（ｂ＋ｄ）／２
ｐ６＝ｃ
ｐ７＝（ｂ＋ｂ）／２
ｐ８＝ｄ

これらの計算式は、（エッジパターン）−（推定エッジ方向）の組み合わせにより一意に決定され、３×３画像ブロック相当の画素値が計算される。

図１４は、他の（エッジパターン）−（推定エッジ方向）の組み合わせの場合に用いる計算式の一例の説明図である。図１４（Ａ）は（エッジパターン１０００）−（推定エッジ方向「１」）の場合であり、
ｐ０＝ａ
ｐ２＝ｂ
ｐ３＝ａ
ｐ４＝（ｂ＋ｃ）／２
ｐ５＝（ｂ＋ｄ）／２
ｐ６＝ｃ
ｐ７＝（ｃ＋ｄ）／２
ｐ８＝ｄ
ｐ１＝（ｐ４＋ｃ）／２
によって３×３画像ブロック相当の画素値を計算する。

図１４（Ｂ）は（エッジパターン１１００）−（推定エッジ方向「５」）の場合であり、この場合は、
ｐ０＝ａ
ｐ１＝（ａ＋ｂ）／２
ｐ２＝ｂ
ｐ４＝（ａ＋ｄ）／２
ｐ６＝ｃ
ｐ７＝（ｃ＋ｄ）／２
ｐ８＝ｄ
ｐ３＝（ｐ４＋ｃ）／２
ｐ５＝（ｐ４＋ｂ）／２
によって３×３画像ブロック相当の画素値を計算する。

図１４（Ｃ）は（エッジパターン１１００）−（推定エッジ方向「２」）の場合であり、この場合は、
ｐ０＝ａ
ｐ１＝ａ
ｐ２＝ｂ
ｐ３＝ａ
ｐ４＝（ｂ＋ｃ）／２
ｐ５＝（ｂ＋ｄ）／２
ｐ６＝ｃ
ｐ７＝（ｃ＋ｄ）／２
ｐ８＝ｄ
によって３×３画像ブロック相当の画素値を計算する。

図１４（Ｄ）は（エッジパターン０１０１）−（推定エッジ方向「７」）の場合であり、この場合は、
ｐ０＝ａ
ｐ２＝ｂ
ｐ３＝（ａ＋ｃ）／２
ｐ４＝（ａ＋ｄ）／２
ｐ５＝（ｂ＋ｄ）／２
ｐ６＝ｃ
ｐ８＝ｄ
ｐ１＝（ｐ４＋ｂ）／２
ｐ７＝（ｐ４＋ｃ）／２
によって３×３画像ブロック相当の画素値を計算する。なお、他のエッジパターンの場合にも、同様にそれぞれのエッジパターンに対応した計算式に従って計算を行うことによって、３×３画像ブロック相当の画素値を計算する事ができる。

次に、高画質画像ブロック生成部４４２は、前述のように計算された３×３画像ブロック相当の画素値と、注目領域の推定エッジ方向に基づいて選択された周辺領域内の複数の参照画素を用いて４×４画像ブロックを生成する。
図１５は、注目領域における推定エッジ方向に基づく参照画素ｒ０〜ｒ１３の選択方法の説明図である。注目領域の推定エッジ方向が方向１（２２．５°）から方向３（６７．５°）の場合には、図１５（Ａ）に示したように、参照画素ｒ０〜ｒ５を図１５（Ａ）に太線枠で囲んだように左上から下へ３画素と右下から上へ３画素となるように選択する。また、注目領域の推定エッジ方向が方向５（１１２．５°）から方向７（１５７．５°）の場合には、図１５（Ｂ）に示したように、参照画素ｒ０〜ｒ５を左下から上へ３画素と右上から下へ３画素となるように選択する。参照画素ｒ６〜ｒ１３は推定エッジ方向に拠らず、図１５（Ａ）（Ｂ）に示すように、上下それぞれ4画素を選択する。このように、注目領域における推定エッジ方向に基づいて、参照画素を選択する。もちろん、参照画素の選択は図１５に示すように２パターンからの選択に限定されるわけではなく、推定エッジ方向に従い、より多くの参照画素選択パターンを用意してもよい。また、選択する参照画素についても、推定エッジ方向によって変更してもよい。

図１６は、４×４画素の拡大画像ブロックの生成処理の具体例の説明図である。図１６に示すように、計算された３×３画像ブロック相当の画素値ｐ０〜ｐ８、および注目領域における推定エッジ方向に基づいて選択された参照画素ｒ０〜ｒ１３を用いて、次のような計算式に従って４×４画素の拡大画像ブロックに相当する画素値（ｓ０〜ｓ１５）を計算し、４ｘ４拡大画像ブロックを生成する。
ｓ０＝０．２×ｒ６＋０．１６×ｒ０＋０．６４×ｐ０
ｓ１＝０．２×ｒ７＋０．３２×ｐ０＋０．４８×ｐ１
ｓ２＝０．２×ｒ８＋０．４８×ｐ１＋０．３２×ｐ２
ｓ３＝０．２×ｒ９＋０．６４×ｐ２＋０．１６×ｒ１
ｓ４＝０．０８×ｒ０＋０．３２×ｐ０＋０．１２×ｒ２＋０．４８×ｐ３
ｓ５＝０．１６×ｐ０＋０．２４×ｐ１＋０．２４×ｐ３＋０．３６×ｐ４
ｓ６＝０．２４×ｐ１＋０．１６×ｐ２＋０．３６×ｐ４＋０．２４×ｐ５
ｓ７＝０．３２×ｐ２＋０．０８×ｒ１＋０．４８×ｐ５＋０．１２×ｒ３
ｓ８＝０．１２×ｒ２＋０．４８×ｐ３＋０．０８×ｒ４＋０．３２×ｐ６
ｓ９＝０．２４×ｐ３＋０．３６×ｐ４＋０．１６×ｐ６＋０．２４×ｐ７
ｓ１０＝０．３６×ｐ４＋０．２４×ｐ５＋０．２４×ｐ７＋０．１６×ｐ８
ｓ１１＝０．４８×ｐ５＋０．１２×ｒ３＋０．３２×ｐ８＋０．０８×ｒ５
ｓ１２＝０．１６×ｒ４＋０．６４×ｐ６＋０．２×ｒ１０
ｓ１３＝０．３２×ｐ６＋０．４８×ｐ７＋０．２×ｒ１１
ｓ１４＝０．４８×ｐ７＋０．３２×ｐ８＋０．２×ｒ１２
ｓ１５＝０．６４×ｐ８＋０．１６×ｒ５＋０．２×ｒ１３

以上のように処理を行うことにより、画像ブロック特徴量算出部４４０において特徴ブロックと判断された注目領域に対する４×４画素の拡大画像ブロック（ｓ０〜ｓ１５）が生成される。
このように、画像ブロック特徴量算出部４４０で算出された画像特徴量に従って、高画質画像ブロック生成部４４２により拡大画像ブロック生成処理を行うことで、ジャギーを抑えた高画質な拡大処理ができる。

[拡大画像生成部の詳細]
次に、拡大画像生成部１６をより詳細に説明する。
高画質画像ブロック生成部４４２で生成された注目領に対する拡大画像ブロックと、高速拡大処理部４６から出力された拡大画像とを統合する。図１７は、高画質画像ブロック生成部４４２で生成された４×４画素の拡大画像ブロックと、高速拡大処理部４６から出力された拡大画像とを統合する具体例の説明図である。図１７に示すように、順次生成された拡大画像ブロック０および拡大画像ブロック１は、高速拡大処理部４６から出力された拡大画像上の対応する位置に順次配置するようにして統合される。このとき拡大画像上の各画素値を拡大ブロックの各画素値（ｓ０〜ｓ１５）で置き換えるように配置してもよいし、また拡大画像上の各画素値と拡大ブロックの各画素値（ｓ０〜ｓ１５）を重畳するように配置してもよい。
また拡大画像ブロック同士（図１７における拡大画像ブロック０と拡大画像ブロック１）の拡大画像上の対応位置がオーバーラップする場合は、各拡大画像ブロックのオーバーラップする画素は各々平均をとるようにする。または、オーバーラップする画素の総和を計算し、前記画素値の総和をオーバーラップした数で割ることにより各画素値を算出するようにしてもよい。

［全体動作］
次に、本例の画像処理装置および画像処理方法の全体動作を説明する。
図１８は、本例の画像拡大処理のフローチャートである。
図１８に示すように、ステップＳ３００において、画像ブロック設定部４２は、図４で示したフローチャート（ステップＳ１００〜ステップＳ１１０）に基づく処理により、特徴量保存拡大処理部４４で処理すべき規定のサイズの画像ブロック、つまり特徴ブロックを選択し、特徴量保存拡大処理部４４に出力する。

ステップＳ３０２において、画像ブロック特徴量算出部４４０は、画像ブロック設定部４２から出力された特徴ブロック中の注目領域、及びその注目領域を含む１ないし複数の周辺領域中の参照領域のエッジ角度Θを、式（３）で計算する。
なお、ｇｘ、ｇｙは式（１）あるいは式（２）において各々算出される値である。そして、画像ブロック特徴量算出部４４０は、算出された複数のエッジ角度Θから注目領域のエッジ方向θを推定する。例えば、画像ブロック特徴量算出部４４０は、得られた複数のエッジ角度Θの平均値を算出し、算出された平均値を推定エッジ方向θとする。

ステップＳ３０４において、画像ブロック特徴量算出部４４０は、推定されたエッジ方向θ及び注目領域（特徴ブロック）の画素分布パターンを用いてエッジパターンを選択する。ここで、エッジパターンについては、エッジ方向及び画素分布パターンに応じて予め用意されたパターンテーブル（図１０）の中から選択される。

ステップＳ３０６において、高画質画像ブロック生成部４４２は、拡大率に応じてサイズ及び重み付け係数が設定された強調カーネル４５０（図１２）を用いて、画像ブロック設定部４２により出力された特徴ブロック中の注目領域、及びその周辺領域の画像データに対してコントラスト強調処理を施す。

ステップＳ３０８において、高画質画像ブロック生成部４４２は、画像ブロック特徴量算出部４４０で得られた注目領域のエッジパターンおよび前記注目領域の推定エッジ方向θと、ステップＳ３０６においてコントラスト強調が施された注目領域および周辺領域内の画素値を用いて、エッジパターンと推定エッジ方向θに対応する算出式（図１３〜図１４）により３×３画像ブロックに相当する画素値（ｐ０〜ｐ８）を生成する。さらに前記生成された画素値（ｐ０〜ｐ８）と推定エッジ方向θに基づいて選択された参照画素（ｒ０〜ｒ１３）を用いて、図１６に示す算出式により注目領域に対する拡大画像ブロックを生成する。

ステップＳ３１０において、画像処理装置は、全ての入力画像データについてステップＳ３００からステップＳ３０８までの処理が完了したか否かを判定し、処理が完了していないと判定された場合に、ステップＳ３００の処理に戻って次の画像ブロックに対する処理を行い、全ての入力画像データについて処理が完了していると判定された場合に、ステップＳ３１２の処理に移行する。

ステップＳ３１２において、高速拡大処理部４６は、記憶部４０に記憶されている入力画像データを画像毎または数ライン毎に入力し、最近傍補間法により拡大処理を行う。なお、本例の高速拡大処理部４６は、本例による高画質画像ブロック生成処理（ステップＳ３００〜ステップＳ３０８までの処理）が終了した後に拡大処理を行っているが、高画質画像ブロック生成処理と並行して拡大処理を行ってもよいし、高画質画像ブロック生成処理の前に拡大処理を行ってもよい。

ステップＳ３１４において、拡大画像生成部４８は、高画質画像ブロック生成部４４２により生成された拡大画像と、高速拡大処理部４６により拡大された拡大画像を統合する。
なお、拡大画像生成部４８は、拡大画素の統合方法として、高画質画像ブロック生成部４４２により生成された拡大画像で単純に置き換える方法、又は、高画質画像ブロック生成部４４２により生成された拡大画像と高速拡大処理部４６により生成された拡大画像との平均化処理を行う方法などを適用してもよい。すなわち、拡大画像生成部４８は、高画質画像ブロック生成部４４２により生成された拡大画像を用いるのであれば、処理速度及び画質を勘案し、種々の統合方法を適用しうる。

以上説明したように、本実施形態における画像処理方法は、注目画素を含む所定の大きさの画像領域の特徴に基づいて複数の選択手段を切替えて画像領域を選択し、選択された画像領域の特徴量を算出し、算出された特徴量が所定の条件を満たす前記画像領域に対して拡大画像領域を生成し、さらには、異なる拡大手法により入力画像の拡大画像を生成し、前記拡大画像領域と、異なる拡大手法により生成された拡大画像とに基づいて、入力画像に対する拡大画像を生成している。このような拡大処理によって、高画質拡大処理を特徴的な部分（特徴ブロック）にのみ適用することにより、全体としての処理負荷を抑え、かつ、特徴的な部分について高画質拡大処理を適用することにより、特徴的な部分の特徴量を保存して、ボケやジャギーなどの画質欠陥を抑制した高画質な拡大画像が得ることができる。

本発明にかかる画像解析方法が適用される画像処理装置のハードウェア構成を、制御装置を中心に例示する図である。制御装置により実行され、本発明にかかる画像解析方法を用いる画像拡大プログラムの機能構成を示す図である。注目領域及び周辺領域の具体例と、注目領域のエッジ方向の一例の説明図であり、図３（Ａ）は、注目領域及び周辺領域を例示し、図３（Ｂ）は、この注目領域について推定されるエッジ方向を例示する図である。本例における画像ブロック設定部による画像ブロック設定処理のフローチャートである。画像ブロック選択部による注目領域の選択処理の具体例を説明する図である。本実施例の特徴量保存拡大処理部の構成及びその周辺を示すブロック図である。エッジ方向推定部によるエッジ方向推定処理（Ｓ２０）のフローチャートである。図７に示したＳ２１０の処理において選択される参照領域を例示する図である。図３に示した注目領域における推定エッジ方向の一例の説明図である。エッジパターン選択部で用いるエッジパターンテーブルを例示する図である。図１０に示した注目領域に対応するエッジパターンの選択方法を説明する図である。高画質画像ブロック生成部により用いられる強調カーネル（エッジ強調カーネル）を例示する図である。高画質画像ブロック生成部における拡大画像ブロックの生成処理の具体例の説明図である。他の（エッジパターン）−（推定エッジ方向）の組み合わせの場合に用いる計算式の一例の説明図である。注目領域における推定エッジ方向に基づく参照画素ｒ０〜ｒ１３の選択方法の説明図である。４×４画素の拡大画像ブロックの生成処理の具体例の説明図である。高画質画像ブロック生成部で生成された４×４画素の拡大画像ブロックと、高速拡大処理部から出力された拡大画像とを統合する具体例の説明図である。本例の画像拡大処理のフローチャートである。

符号の説明

２・・・画像処理装置
１０・・・プリンタ装置
２０・・・制御装置
２０２・・・ＣＰＵ
２０４・・・メモリ
２２・・・通信装置
２４・・・記憶装置
２４０・・・記録媒体
２６・・・ＵＩ装置
４・・・画像拡大プログラム
４０・・・記憶部
４２・・・画像ブロック設定部
４２０・・・画像ブロック選択部
４２２・・・エッジ強度算出部
４４・・・特徴量保存拡大処理部
４４０・・・画像ブロック特徴量算出部
４４２・・・高画質画像ブロック生成部
４４４・・・エッジ方向推定部
４４６・・・エッジパターン選択部
４５０ａ、４５０ｂ・・・強調カーネル
４６・・・高速拡大処理部
４８・・・拡大画像生成部

Claims

入力画像から所定サイズの画像領域を選択する画像領域選択手段と、この画像領域選択手段が選択した画像領域の特徴量を算出する特徴量算出手段と、この特徴量算出手段が算出した特徴量に応じて、前記画像領域選択手段が次に選択する画像領域の位置を制御する選択位置制御手段と、前記特徴量算出手段が算出した特徴量を記憶する記憶手段とを有する画像解析装置。
前記特徴量算出手段が算出する特徴量が所定の閾値よりも大きいか否かを判定する判定手段をさらに有し、特徴量が所定の閾値以下であると前記判定手段が判定した場合、前記選択位置制御手段は、前記画像領域選択手段が最後に選択した画像領域と次に選択する画像領域との距離を所定の基準距離よりも大きくするよう制御する請求項１記載の画像解析装置。
特徴量が所定の閾値よりも大きいと前記判定手段が判定した場合、前記選択位置制御手段は、前記画像領域選択手段が最後に選択した画像領域と次に選択する画像領域との距離を所定の基準距離にするよう制御する請求項２記載の画像解析装置。
特徴量が所定の閾値よりも大きいと前記判定手段が判定した場合、前記選択位置制御手段は、特徴量が所定の閾値以下であると前記判定手段が判定した最後の画像領域に遡って、前記画像領域選択手段が画像領域を選択するよう制御する請求項３記載の画像解析装置。
前記判定手段に対して閾値を設定する閾値設定手段をさらに有する請求項２乃至４いずれか記載の画像解析装置。
前記選択位置制御手段に対して、前記画像領域選択手段が最後に選択した画像領域と次に選択する画像領域との基準距離を設定する基準距離設定手段をさらに有する請求項２乃至５いずれか記載の画像解析装置。
前記特徴量算出手段は、前記画像領域選択手段が選択した画像領域内の階調変化量を特徴量として算出する請求項１乃至６いずれか記載の画像解析装置。
前記特徴量算出手段は、前記画像領域選択手段が選択した画像領域内の階調変化方向を特徴量として算出する請求項１乃至６いずれか記載の画像解析装置。
複数のエッジパターンを記憶するエッジパターン記憶手段をさらに有し、前記特徴量算出手段は、前記画像領域選択手段が選択した画像領域内のエッジパターンを算出し、算出したエッジパターンに対応する前記エッジパターン記憶手段に記憶されたエッジパターンのいずれかを特徴量とみなす請求項１乃至６いずれか記載の画像解析装置。
前記特徴量算出手段は、前記画像領域選択手段が選択した画像領域内の1つ以上の色成分に基づいて、特徴量を算出する請求項１乃至９いずれか記載の画像解析装置。
入力画像から所定サイズの画像領域を選択する画像領域選択手段と、この画像領域選択手段が選択した画像領域の特徴量を算出する特徴量算出手段と、この特徴量算出手段が算出した特徴量に応じて、前記画像領域選択手段が次に選択する画像領域の位置を制御する選択位置制御手段と、前記特徴量算出手段が算出した特徴量を記憶する記憶手段と、前記特徴量算出手段が算出する特徴量が所定の閾値よりも大きいか否かを判定する判定手段と、特徴量が所定の閾値よりも大きいと前記判定手段が判定した場合に、前記画像領域選択手段が選択した画像領域に第１の処理を行う第１の処理手段と、入力画像に対して第２の処理を行う第２の処理手段と、この第２の処理手段が処理した入力画像、及び前記第１の処理手段が処理した画像領域の画像から出力画像を生成する出力画像生成手段とを有する画像処理装置。
特徴量が所定の閾値以下であると前記判定手段が判定した場合、前記選択位置制御手段は、前記画像領域選択手段が最後に選択した画像領域と次に選択する画像領域との距離を所定の基準距離よりも大きくするよう制御する請求項１１記載の画像処理装置。
特徴量が所定の閾値よりも大きいと前記判定手段が判定した場合、前記選択位置制御手段は、前記画像領域選択手段が最後に選択した画像領域と次に選択する画像領域との距離を所定の基準距離にするよう制御する請求項１２記載の画像処理装置。
特徴量が所定の閾値よりも大きいと前記判定手段が判定した場合、前記選択位置制御手段は、特徴量が所定の閾値以下であると前記判定手段が判定した最後の画像領域に遡って、前記画像領域選択手段が画像領域を選択するよう制御する請求項１３記載の画像処理装置。
前記判定手段に対して閾値を設定する閾値設定手段をさらに有する請求項１１乃至１４いずれか記載の画像処理装置。
前記選択位置制御手段に対して、前記画像領域選択手段が最後に選択した画像領域と次に選択する画像領域との基準距離を設定する基準距離設定手段をさらに有する請求項１１乃至１５いずれか記載の画像処理装置。
前記特徴量算出手段は、前記画像領域選択手段が選択した画像領域内の階調変化量を特徴量として算出する請求項１１乃至１６いずれか記載の画像処理装置。
前記特徴量算出手段は、前記画像領域選択手段が選択した画像領域内の階調変化方向を特徴量として算出する請求項１１乃至１６いずれか記載の画像処理装置。
複数のエッジパターンを記憶するエッジパターン記憶手段をさらに有し、前記特徴量算出手段は、前記画像領域選択手段が選択した画像領域内のエッジパターンを算出し、算出したエッジパターンに対応する前記エッジパターン記憶手段に記憶されたエッジパターンのいずれかを特徴量とみなす請求項１１乃至１６いずれか記載の画像処理装置。
前記特徴量算出手段は、前記画像領域選択手段が選択した画像領域内の1つ以上の色成分に基づいて、特徴量を算出する請求項１１乃至１９いずれか記載の画像処理装置。
前記第１の処理手段は、前記画像領域選択手段が選択した画像領域に対し、前記特徴量算出手段が算出した特徴量を保存する拡大処理を行い、前記第２の処理手段は、入力画像に対して前記第１の処理手段による拡大処理とは異なる拡大処理を行う請求項１１乃至２０いずれか記載の画像処理装置。
前記第１の処理手段は、前記特徴量算出手段が算出した特徴量とともに、前記画像領域選択手段が選択した画像領域の近傍領域の特徴量および画素値を用いて拡大処理を行う請求項２１記載の画像処理装置。
前記第１の処理手段は、カーネル要素及びカーネル要素間距離が画像の拡大率に応じて異なるエッジ強調カーネルを用いて補正した画像領域の画素値を用いて拡大処理を行う請求項２１記載の画像処理装置。
前記第１の処理手段は、前記画像領域選択手段が選択した画像領域の階調変化の方向に応じて選択した近傍領域内の画素値を用いて拡大処理を行う請求項２１記載の画像処理装置。
前記第１の処理手段は、前記特徴量算出手段が算出した特徴量に応じた演算により、拡大処理を行う請求項２１記載の画像処理装置。
前記第２の処理手段は、最近傍補間法または線形補間法を用いて拡大処理を行う請求項２１乃至２５いずれか記載の画像処理装置。
前記第２の処理手段は、入力画像毎又は入力画像中の数ライン毎に拡大処理を行う請求項２１乃至２５いずれか記載の画像処理装置。
前記出力画像生成手段は、前記第１の処理手段が処理した画像領域の画像を、前記第２の処理手段が処理した入力画像上の対応する位置に配置することによって出力画像を生成する請求項１１乃至２７いずれか記載の画像処理装置。
入力画像から所定サイズの画像領域を選択し、選択した画像領域の特徴量を算出し、算出した特徴量を記憶し、算出した特徴量に応じて、次に選択する画像領域の位置を制御する画像解析方法。
入力画像から所定サイズの画像領域を選択するステップと、選択した画像領域の特徴量を算出するステップと、算出した特徴量を記憶するステップと、算出した特徴量に応じて、次に選択する画像領域の位置を制御するステップとをコンピュータに実行させる画像解析プログラム。
入力画像から所定サイズの画像領域を選択するステップと、選択した画像領域の特徴量を算出するステップと、算出した特徴量を記憶するステップと、算出した特徴量に応じて、次に選択する画像領域の位置を制御するステップとをコンピュータに実行させるための画像解析プログラムを記録したコンピュータ読み取り可能な記録媒体。