JP2010141863A - 画像処理方法、装置並びにプログラム - Google Patents

Abstract

【課題】画像処理後の画質を向上させることが可能な画像拡大装置、画像拡大方法。
【解決手段】拡大前画像をドットマトリクス状の画素別の階調データで表現した画像データから同拡大前の元画像を設定された拡大率に従って拡大する画像処理方法であって、元画像の２×２画素で囲まれた各セルの中心のエッジ方向を連続値の二次元ベクトルとして決定する手段と、上記エッジの連続値の二次元ベクトルから３値の二次元ベクトルへ変換する手段と、上記３値の二次元ベクトルと拡大画像の元画像に対応する座標から判定し、拡大処理のための上記元画像のサンプリング画素と重みを決定してジャギーを抑えたスムーズなエッジを生成する。
【選択図】図１

Description

本発明は、画像処理方法、画像処理装置および画像処理プログラムに関する。

従来よりネガフィルムやカラーリバーサルフィルムなどの写真フィルムに記録された写真画像をスキャナなどの読取装置で光電的に読み取って得たデジタル画像や、デジタルカメラ・や携帯電話付属のカメラなどのデジタル撮像装置により被写体を撮像することにより得られた画像データを、それを再生するモニタなどの再生装置のサイズに適合するように拡大縮小することが行われている。また近年では動画でのリアルタイム高品質の画像拡大の需要が高まっている。

このような画像データの拡大処理は、画像データにより表される画像を構成する画素の間に拡大率に応じて新たな画素を補間することにより行われる。このような補間方法としては、ニアレストネイバー法、バイリニア法およびバイキュービック法などの種々の方法が知られている。これらの方法は、補間画素の近傍の画素を参照画素とし、参照画素の画素値による補間演算を行って補間画素の画素値を算出する。

しかしながら、前記の拡大手法を用いて画像データを拡大した場合、画像に含まれるエッジ部分にブラーやシャギーが発生するという問題がある。これらのアーティファクトを抑えるために画像に含まれるエッジ成分を検出し、エッジの状態に応じて異なる処理による補間演算を行ういくつかのアダプティブな手法がある（特許文献１参照）。
特開２００７−１７１４５５

従来のバイリニア法やバイキュービック法による補間処理では、拡大画像のエッジにジャギーのアーティファクトが目立っていた。

エッジ成分を検出しエッジの状態に応じて異なる処理による補間演算を行う手法はジャギーを抑えた拡大処理を行うことが可能であるが、上記のバイリニア法やバイキュービック法と比べ、一般的に計算コストを要しリアルタイムの動画処理には向かないものが多い。例えば特許文献１の手法では、エッジ部分と非エッジ部分を分けて処理をしておりエッジ部分において計算画素と同じエッジの側にある参照画素を検索し処理をしており動画適用のためには計算工程の多い手法である。高速な処理のためには質と計算コストのトレードオフで計算工程を簡略化する必要がある他、プログラムまたは装置での実装時に並列化、テーブル参照に向いた手法が必要となる。

またエッジの状態に応じてアダプティブに補間処理を行う手法では、エッジの方向を離散化してその離散値に応じて異なる補間処理を行う。近傍の画素のみでのエッジ方向の正確な判定は困難であり、ノイズでのエッジと区別する必要もある。そのために広い範囲の画素の情報を使用してエッジの接続の情報を使用した判定が望ましい結果が得られる。

さらに、ドットや細いラインの先端などのエッジは、上記のエッジとして判定して拡大処理時にシャープに描画するのではなく、非エッジ状態として等方的な補間で丸みを持った状態として描画する方が良好な結果となることが多い。近傍とのエッジとの接続の状態だけを見るのではなく、ドットやエッジのコーナーの一部であるかどうかも判定する必要がある。

拡大後の画素の計算のために、バイリニア法では２×２近傍、バイキュービック法では４×４のサンプリング点と重みを等方的に決定するが、それがジャギーの生じる原因となる。エッジの方向に沿ってサンプリングする元画像の近傍画素を選択して出力画素の値を算出することによってスムーズなエッジの拡大画像を生成する。

本発明は、上記課題にかんがみてなされたもので、画像処理後の画質を向上させることが可能な画像処理装置、画像処理方法および画像処理プログラムの提供を目的とする。

本発明の元画像の２×２画素で囲まれた各セルの中心のエッジ方向を連続値の二次元ベクトルとして決定する手段は、画像の横方向と縦方向をそれぞれ正と負、またはその逆とする方向値と、縦横方向をそれぞれ４５度ずらした斜めの二方向をそれぞれ正と負、またはその逆とする方向値から成る二次元ベクトルの連続値として算出することを特徴とする。

方向値の範囲は上限と下限が正と負でなくても、符号なしで範囲の中心を方向なしとして表現することもできる。

上記エッジの連続値の二次元ベクトルから３値の二次元ベクトルへ変換する手段は、上記連続値の二次元ベクトルを、近傍のセルで同様に算出した連続値の二次元ベクトルと成分ごとに平均化処理をした後に、３値化したエッジ方向を表す二次元ベクトルとして決定することを特徴とする。

２×２の画素のみで検出したエッジの連続的な方向値はノイズを含んでいる可能性もありエッジ方向算出の精度が十分ではない。そこで近傍のセルの方向値との平均をとることによりエッジの接続を滑らかにすると共にノイズの影響を軽減する。この平均化の作業はエッジ方向値の二次元ベクトルの各成分で独立に行う。

平均化の演算には４近傍や８近傍のラプラシアンフィルタ、その他の平均化フィルタを用いることができる。

また斜め方向のエッジ方向値に関しては、中心のセルを含んだ平均と中心のセルを除いた平均を用意する。もしその２つの平均値の符号が異なっているならば、そのセルはドット、またはエッジのコーナーの一部である可能性が高い。

最終的に、縦横方向の中心のセルを含んだ平均値、斜め方向の中心のセルを含んだ平均値、斜め方向の中心のセルを含まない平均値を求め、それぞれを正、負、０近辺で３値化する。その組み合わせから８つ方向と方向なしを加えた９通りにエッジ方向が離散化されることになる。

上記３値の二次元ベクトルと拡大画像の元画像に対応する座標から判定し、拡大処理のための上記元画像のサンプリング画素と重みを決定して補間計算を行う画像拡大手段は、拡大後の画素が対応する座標の元画像の近傍４画素で囲まれるセルとその隣接セルの上記３値の二次元ベクトルと、隣接セルの３値の二次元ベクトルの接続状態から元画像の近傍画素からサンプリング画素と重みを決定し、拡大画素の値を算出することを特徴とする。

バイリニアやバイキュービックの従来法による等方的なサンプリング画素と重みを使用せず、エッジの方向に沿ったサンプリング画素を選択して出力画素の算出を行う。拡大後の画素が対応する元画像のセルだけでなく、隣接するセルのセルから併せて判定しサンプリング画素を決定する。

なお、本発明の画像処理方法を、コンピュータに実行させるためのプログラム、または装置として提供してもよい。

本発明の元画像の２×２画素で囲まれた各セルの中心のエッジ方向を離散値の二次元ベクトルとして決定する手段は、最初に連続値の二次元ベクトルとしてエッジを検出し平均化の後で離散化を行うことで、容易に滑らかなエッジとコーナーの判定を行うことが可能である。

本発明のエッジの方向値に基づいて補間処理を行う画像拡大手段は、拡大後の各画素に対応する元画像のセルの方向値と座標から自動的に参照すべき元画像の近傍の画素と補間の重みを決定することができ、拡大処理時にジャギーを抑え平滑化したエッジを生成することができる。

なお、本発明の画像処理方法を、コンピュータに実行させるための装置並びにプログラムとして実行させることができる。

以下、図面を参照して、本発明の実施形態について説明する。図１は、本発明の第１の実施形態による画像拡大装置の構成を示すブロック図である。図示のように、本実施形態による画像拡大装置は、画像データＳ０および画像データＳ０の拡大率Ｋの入力を受け付ける入力部１と、エッジ検出部１０と、エッジ平均化処理部２０と、エッジパターン決定部３０と、エッジ接続判定部４０と、補間画素の画素値を算出する補間演算部５０と、入力部１、エッジ検出部１０および補間演算部３０の動作を制御する制御部６０とを備える。

ここでエッジの左右（横）方向をＸ，上下（縦）方向をＹ，右上方向をＮＥ，左上方向をＳＥとそれぞれ記号で表すものとする。

エッジ検出部１０は、まず画像Ｓ０上に補間画素ＤＰ（０．０≦δｘ、δｙ＜１．０。δｘ、δｙは拡大画素の対応するセル内でのローカルな座標。）の近傍に位置する４×４の４画素（図２に示す４画素ＳＰ（ｉ，ｊ）（ｉ，ｊ＝０〜１）で４画素の中心のセルＣ（０，０）でのエッジ方向の連続値ベクトルを決定する。まず４画素からＸ，Ｙ，ＮＥ，ＳＥの４方向値を算出する。ＳＰ（ｉ，ｊ）での輝度値をＩ（ｉ，ｊ）とし｜｜の括弧は値の絶対値を表すものとすると、Ｘ方向値＝｜Ｉ（０，０）＋Ｉ（１，０）−Ｉ（０，１）−Ｉ（１，１）｜、Ｙ方向値＝｜Ｉ（０，０）−Ｉ（１，０）＋Ｉ（０，１）−Ｉ（１，１）｜、ＮＥ方向値＝｜Ｉ（１，０）−Ｉ（０，１）｜、ＳＥ方向値＝｜Ｉ（０，０）−Ｉ（１，１）｜と算出する。次に縦横方向と斜め方向を成分とする方向値の二次元ベクトルを決定する。縦横方向を決定するためにはＸ方向値−Ｙ方向値とし、斜め方向はＮＥ方向値−ＳＥ方向値とする。

画像が輝度の１チャンネルでなく、ＲＧＢなどの３チャンネルの場合は各チャンネルでＸ，Ｙ，ＮＥ，ＳＥの４方向値を算出し、それぞれのチャンネルごとの最大値を採用する。

エッジ平均化処理部２０のためには図２における拡大後の画素ＤＰが対応する９近傍セルＣ（ｉ，ｊ）（ｉ，ｊ＝−１〜１）でエッジ検出部の処理を完了させる。

エッジ平均化処理部２０では、Ｃ（ｉ，ｊ）（ｉ，ｊ＝−１〜１）からの平均値を算出する。縦横方向成分の中心のセルを含んだ平均値、斜め方向成分の中心のセルを含んだ平均値、斜め方向成分の中心のセルを含まない平均値を算出する。それぞれの平均値の算出には例えばラプラシアンフィルタがある。

エッジパターン決定部３０では、エッジ平均化処理部２０で算出した３つの平均値を正、負、０近辺で３値化する。まず斜め方向の自分を含んだ平均値と斜め方向の自分を含まない平均値を比較しその符号が正と負で異なる場合は０とする。自分と周りの平均の符合が異なるセルはドットやラインの一端である可能性が高いからである。

縦横方向と斜め方向の組み合わせから、２次元ベクトルとして（Ｘ，０）、（Ｙ，０）、（０，ＮＥ），（０，ＳＥ），（Ｘ，ＮＥ），（Ｘ，ＳＥ），（Ｙ，ＮＥ），（Ｙ，ＳＥ）の８方向とエッジなしを表す（０，０）の９通りにエッジ方向を離散化する。

次の図２における拡大後の画素ＤＰが対応するセルＣ（０，０）におけるエッジ接続判定部４０のために９近傍セルＣ（ｉ，ｊ）（ｉ，ｊ＝−１〜１）でエッジパターン決定部の処理を完了させるものとする。

エッジ接続判定部４０において、図２における拡大後の画素ＤＰが対応するセルＣ（０，０）の方向離散値が（Ｘ，ＮＥ），（Ｘ，ＳＥ）の場合は左または右のセルを参照し、（Ｙ，ＮＥ），（Ｙ，ＳＥ）の場合は上または下のセルを参照する。それ以外の方向の場合は新たに更新を行わない。例えば（Ｘ，ＮＥ）の場合で拡大後の画素ＤＰが図３におけるＡの領域に対応しているならば右、Ｂの領域に対応しているならば左のセルのベクトル値と比較する。参照セルのベクトル値が（Ｘ，ＮＥ）と同じ場合はそのままだが、異なる場合は（０，ＮＥ）と縦横方向の成分を０とする。（Ｘ，ＳＥ）の場合は拡大後の画素ＤＰが図３におけるＤの領域に対応しているならば左、Ｅの領域に対応しているならば右のセルのベクトル値と同様に比較する。（Ｙ，ＮＥ），（Ｙ，ＳＥ）方向の場合は上または下のＣ（０，１）とＣ（０，−１）と比較し、同様に更新を行う。

補間処理部５０において、エッジ接続判定部４０で算出した最終的なエッジの離散値と図２における拡大後の画素ＤＰの対応するセル内でのローカル座標δｘ、δｙからサンプリング画素と重みを決定し、画素ＤＰでの値を算出する。

拡大後の画素ＤＰが対応するセルＣ（０，０）のエッジ状態のベクトル値の斜め成分が０の場合は、近傍の４点ＳＰ（０，０）、ＳＰ（１，０）、ＳＰ（０，１）、ＳＰ（１，１）を用いて補間を行う。

セルＣ（０，０）のエッジ状態値が（０，ＮＥ）の場合は拡大後の画素ＤＰの座標によって補間のために参照する元画像の画素が異なる。図３に示すエッジ状態が（０，ＮＥ）のセルにおいて、ＤＰが３点ＳＰ（０，０）、ＳＰ（１，０）、ＳＰ（１，１）で囲まれる３角形Ａの領域に位置する場合はこれらの３点を用いて補間を行う。同様にＤＰが３点ＳＰ（０，０）、ＳＰ（０，１）、ＳＰ（１，１）で囲まれる３角形Ｂの領域に位置する場合はこれらの３点を用いて補間を行う。

セルＣ（０，０）のエッジ状態値が（０，ＳＥ）の場合は、図４に示すＮＥの場合と３角形の向きが左右対称のセルの領域分割で同様の補間を行う。

セルＣ（０，０）のエッジ状態値が（Ｘ，ＮＥ）の場合も拡大後の画素ＤＰの座標によって補間のために参照する元画像の画素が異なる。ＤＰが図９における３点ＳＰ（０，０）、ＳＰ（１，０）、ＳＰ（２，１）で囲まれる３角形Ｆの領域に位置する場合はこれらの３点を用いて補間を行う。３点ＳＰ（０，０）、ＳＰ（１，１）、ＳＰ（２，１）で囲まれる３角形Ｇの領域に位置する場合はこれらの３点を用いて補間を行う。３点ＳＰ（−１，０）、ＳＰ（０，０）、ＳＰ（１，１）で囲まれる３角形Ｈの領域に位置する場合はこれらの３点を用いて補間を行う。３点ＳＰ（−１，０）、ＳＰ（０，１）、ＳＰ（１，１）で囲まれる３角形Ｉの領域に位置する場合はこれらの３点を用いて補間を行う。

セルＣ（０，０）のエッジ状態値が（Ｘ，ＳＥ），（Ｙ，ＮＥ），（Ｙ，ＳＥ）の場合も、図５における（Ｘ，ＮＥ）の場合と同様に隣のセルをまたいだ分割領域の３角形を使用して補間を行う。

拡大画素の全ての画素において上記の元画像からの補間処理を行う。

本発明の実施形態による画像拡大装置の構成を示すブロック図 エッジ方向計算と補間計算を説明するための図 斜め成分がＮＥ方向のセルの領域分割図 斜め成分がＳＥ方向のセルの領域分割図 エッジ方向の二次元ベクトルが（Ｘ、ＮＥ）方向のセルの領域分割図

符号の説明

１ 入力部
１０ エッジ検出部
２０ エッジ平均化処理部
３０ エッジ離散化処理部
４０ エッジ接続判定部
５０ 補間演算部
６０ 制御部
Ｋ 拡大率
Ｓ 元画像データ
Ｓ１ 拡大画像データ

Claims (4)

1. 拡大前画像をドットマトリクス状の画素別の階調データで表現した画像データから同拡大前の元画像を設定された拡大率に従って拡大する画像処理方法であって、元画像の２×２画素で囲まれた各セルの中心のエッジ方向を連続値の二次元ベクトルとして決定する手段と、上記エッジの連続値の二次元ベクトルから３値の二次元ベクトルへ変換する手段と、上記３値の二次元ベクトルと拡大画像の元画像に対応する座標から、拡大処理のための上記元画像のサンプリング画素と重みを決定して補間計算を行う画像拡大手段を特徴とする画像処理方法、装置、並びにプログラム。
2. 上記元画像の２×２画素で囲まれた各セルの中心のエッジ方向を連続値の二次元ベクトルとして決定する手段は、画像の横方向と縦方向をそれぞれ正と負、またはその逆とする方向値と、縦横方向をそれぞれ４５度ずらした斜めの二方向をそれぞれ正と負、またはその逆とする方向値から成る二次元ベクトルの連続値として算出することを特徴とする請求項１に記載の画像処理方法、装置、並びにプログラム。
3. 上記エッジの連続値の二次元ベクトルから３値の二次元ベクトルへ変換する手段は、上記連続値の二次元ベクトルを、近傍のセルで同様に算出した連続値の二次元ベクトルと成分ごとに平均化処理をした後に、３値化したエッジ方向を表す二次元ベクトルとして決定することを特徴とする請求項１に記載の画像処理方法、装置、並びにプログラム。
4. 上記３値の二次元ベクトルと拡大画像の元画像に対応する座標から判定し、拡大処理のための上記元画像のサンプリング画素と重みを決定してジャギーを抑えたスムーズなエッジを生成する画像拡大手段は、拡大後の画素が対応する座標の元画像の近傍４画素で囲まれるセルとその隣接セルの上記３値の二次元ベクトルと、隣接セルの３値の二次元ベクトルの接続状態から元画像の近傍画素からサンプリング画素と重みを決定し、拡大画素の値を算出することを特徴とする請求項１に記載の画像処理方法、装置、並びにプログラム。

Images