JP2004288046A - Image processing method, device and program - Google Patents

Abstract

<P>PROBLEM TO BE SOLVED: To suppress mosquito noise while enhancing sharpness in image enlarging/reducing processing. <P>SOLUTION: An interpolation coefficient computing means 120 computes a cubic spline interpolation coefficient Cij and a B spline interpolation coefficient Bij based on an enlargement/reduction ratio β. A medium frequency component extracting means 140 extracts a medium frequency component YM from a luminance component Y formed by a luminance component forming means 130. A weighting coefficient setting means 150 estimates a medium frequency component YMp of interpolated pixels using the medium frequency component YM and sets a weighting coefficient α such that the larger the absolute value ¾YMp¾ of the interpolated pixel, the more the cubic spline interpolation coefficient is weighted. An interpolation operation means 180 performs interpolation operation to image data S1 obtained by a color gradation processing means 1, using an interpolation coefficient obtained by the weighting addition of the interpolation coefficients Cij and Bij with the weighting coefficient α. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【数２】

ここで、式（５）および式（６）における原画素データＹ_ｋ−１，Ｙ_ｋ，Ｙ_ｋ＋１，Ｙ_ｋ＋２の各係数を補間係数と称する。すなわち、式（５）により示すキュービックスプライン補間演算における補間係数は原画素データＹ_ｋ−１，Ｙ_ｋ，Ｙ_ｋ＋１，Ｙ_ｋ＋２に対応して夫々Ｃ_ｋ−１，Ｃ_ｋ，Ｃ_ｋ＋１，Ｃ_ｋ＋２であり、式（６）により示すＢスプライン補間演算における補間係数は原画素データＹ_ｋ−１，Ｙ_ｋ，Ｙ_ｋ＋１，Ｙ_ｋ＋２に対応して夫々Ｂ_ｋ−１，Ｂ_ｋ，Ｂ_ｋ＋１，Ｂ_ｋ＋２である。式（５）に示す補間演算を各区間について繰り返すことによりキュービックスプライン補間演算による、原画素データとは画素ピッチの異なる補間画素データを得ることができ、式（６）に示す補間演算を各区間について繰り返すことによりＢスプライン補間演算による、原画素データと画素ピッチの異なる補間画素データを得ることができる。
【０００６】
このように、鮮鋭度の高い補間画像を得たい場合は例えばキュービックスプライン補間演算を用い、鮮鋭度が低いが滑らかな補間画像を得たい場合はＢスプライン補間演算を用いればよい。
【０００７】
さらに、最もシャープな鮮鋭度から最も滑らかな鮮鋭度の範囲内の中間的な所望する鮮鋭度の補間画像を得るために、特許文献１には、画像に対して拡大または縮小処理する際に、互いに鮮鋭度が異なる２つの補間関数の対応する係数同士を、所望とする補間画像の鮮鋭度に応じて重み付け加算することにより、補間画像の鮮鋭度をきめ細かく調整することを可能とした画像データの補間方法が提案されている。この方法によれば、例えば鮮鋭度が互いに異なる２つの補間関数として上記キュービックスプライン補間演算とＢスプライン補間演算を採用した場合、補間係数は、キュービックスプライン補間演算の補間係数とＢスプライン補間演算の補間係数とを、原画像のサンプル点（画素点）に対応するごとに重み付けして加算して得たものであり、この重み付けの割合（重み付け係数）αを変更することにより、最もシャープな鮮鋭度から最も滑らかな鮮鋭度の範囲の内の中間的な所望とする鮮鋭度の補間画像を得ることができる。
【０００８】
すなわち、キュービックスプライン補間演算の補間係数をＣ_ｋ−１，Ｃ_ｋ，Ｃ_ｋ＋１，Ｃ_ｋ＋２、Ｂスプライン補間演算の補間係数をＢ_ｋ−１，Ｂ_ｋ，Ｂ_ｋ＋１，Ｂ_ｋ＋２としたときに、重み付けのされた補間係数Ａ_ｋ−１，Ａ_ｋ，Ａ_ｋ＋１，Ａ_ｋ＋２を、下記の式（７）のように設定する。
【０００９】
【数３】

このようにして得られた新たな補間係数Ａ_ｋ−１，Ａ_ｋ，Ａ_ｋ＋１，Ａ_ｋ＋２に基づいて下記の式（８）により補間画素データＹ_Ｐを算出する。
【００１０】
【数４】

なお、実際の画像は画素が２次元に配列されて形成されるため、上記補間係数Ａｋを、互いに異なる２つの配列方向（ｉ方向、ｊ方向）ごとの補間係数Ａｉｊと表すものとする。
【００１１】
特許文献１に提案された方法は、互いに鮮鋭度が異なる２つの補間演算としてキュービックスプライン補間演算とＢスプライン補間演算とを採用した場合、０と１の範囲内に重み付け係数αを調整するようにしているので、キュービックスプライン補間演算による最もシャープな補間画像に対応する鮮鋭度から、Ｂスプライン補間演算による最も滑らかな補間画像に対応する鮮鋭度の範囲内でのみ鮮鋭度の調整が可能である。一方、補間画像についてより多彩な表現が求められる場合、例えば、キュービックスプライン補間演算単独で得られた補間画像よりもさらにシャープな鮮鋭度の補間画像や、Ｂスプライン補間演算単独で得られた補間画像よりもさらに滑らかな画像に対応する鮮鋭度の補間画像が要求される場合があり、特許文献１に提案された方法では、このような多彩な鮮鋭度についての要望に応えることはできない。
【００１２】
そこで、特許文献２には、重み付け係数αを０から１の範囲のものに限らず、任意の実数とすることによって、補間係数を求める際に使用した２つの補間演算の鮮鋭度の間の範囲内の鮮鋭度に限られない範囲の多彩な鮮鋭度を有する補間画像を得ることを可能とする方法が提案されている。
【００１３】
また、原画像に対する拡大縮小処理が様々な分野で行われ、通信の分野においても必要性が高まりつつある。特に、近年、通信技術の発展および移動通信網の整備に伴って、カメラ付きの携帯電話機などの携帯端末が急速に普及し、携帯端末の機能も充実し、携帯端末の表示画面の大サイズ化、高解像度化が進む背景において、画像データをそのまま表示すると画像が画面と比べて小さくて見づらくなるという問題を避けるために、画像を拡大処理して表示する必要性が生じる。
逆に、大きいサイズの画像データを表示画面の小さい携帯端末に表示させるとき、そのまま表示させると、画像が表示画面からはみ出し、全体像を見ることができないという問題があるため、この場合において、画像を縮小処理して表示することが望まれる。
【００１４】
一方、携帯通信網などのネットワーク上を流れる画像データは、通信時間の短縮、ネットワークの負荷の軽減などの理由から、通常圧縮されている。特に携帯電話機などの携帯端末の場合には、付属するカメラで撮影して得た画像データの殆どは他の携帯端末装置またはコンピュータなどに送信されるので、容量制限が厳しいため高圧縮されている。このように高圧縮された画像データは、圧縮に起因するノイズが目立つため、抑制する必要がある。その一方で、シャープ感も欠如するため、シャープネス補正を行うことによって鮮鋭度を高めることが望まれる。
【００１５】
また、圧縮に起因するノイズの中で、高周波数成分の欠如により、波状の符号化雑音として現れるノイズがある。これは主に画像の高周波数成分に存在し、復号画像中を蚊が飛んでいるように見えるため、モスキートノイズと呼ばれている。
【００１６】
【特許文献１】
特開平２−２７８４７８号公報
【００１７】
【特許文献２】
特開平９−９３４２５号公報
【００１８】
【発明が解決しようとする課題】
上述したように、高圧縮された画像を拡大縮小する際には、画像の鮮鋭度を高めることが望ましいので、拡大縮小処理する際に用いる補間演算の方法としてはキュービックスプライン補間演算が望ましいが、キュービックスプライン補間演算では、補間画像にモスキートノイズが残ってしまうという問題がある。
【００１９】
特許文献１および特許文献２に記載された補間方法による拡大縮小処理は、鮮鋭度が異なる２つの補間演算の補間係数を重み付け加算して処理済みの画像の鮮鋭度を調整することができるものの、補間画像の鮮鋭度を高くすればノイズも目立ってしまう。
【００２０】
また、画像を再生する際にモスキートノイズの抑制と拡大縮小処理を別々に行う方法もあるが、時間がかかり、迅速さが要求される携帯電話などの通信の分野には向いていない。
【００２１】
本発明は、上記事情に鑑みてなされたものであり、補間画像の鮮鋭度を高めるとともにモスキートノイズを抑制することができる拡大縮小処理を効率良く行うことができる画像処理方法および装置並びにそのためのプログラムを提供することを目的とするものである。
【００２２】
【課題を解決するための手段】
本発明の画像処理方法は、原画像を表す多数の原画素データＹｉｊに対して補間演算を行って、前記原画素データと画素ピッチの異なる補間画素データを求めることによって目的補間画像を得る画像処理方法であって、
第１の補間画像を得るための下記式（１）により表される補間関数ｆにおける前記各原画素データＹｉｊごとに対応する補間係数Ｂｉｊ、および前記第１の補間画像より鮮鋭度が高い第２の補間画像を得るための下記式（２）により表される補間関数ｇにおける前記各原画素データＹｉｊごとに対応する補間係数Ｃｉｊを夫々求め、
前記原画像中の中周波数成分を抽出し、
該中周波数成分に基づいて、前記目的補間画像における各補間点のエッジらしさを推定すると共に、該補間点に対応する重み付け係数αを、推定された該エッジらしさが大きいほど大きくなるように設定し、
前記補間係数ＢｉｊおよびＣｉｊを、設定された前記重み付け係数αで線形結合して得られた下記式（３）に示す新たな補間係数Ａｉｊを有する式（４）に示す補間関数ｈを用いた補間演算を施して補間画素データを求めることを特徴とするものである。
【００２３】
ｆ＝ΣＢｉｊ・Ｙｉｊ （１）
ｇ＝ΣＣｉｊ・Ｙｉｊ （２）
Ａｉｊ＝（１−α）Ｂｉｊ＋αＣｉｊ （３）
ｈ＝ΣＡｉｊ・Ｙｉｊ （４）
（ただし、ｉ＝１，２，．．．、ｊ＝１，２，．．．）
ここで、前記補間関数ｆと前記補間関数ｇとしては、夫々鮮鋭度の比較的低いＢスプライン補間演算関数と、これよりも鮮鋭度の高いキュービックスプライン補間演算関数とするのが望ましい。この両者の組み合わせの場合は、第１階微分係数が連続するからである。
【００２４】
ただし、本発明に用いられる補間関数ｆおよび補間関数ｇは、これらの組み合わせに限るものではなく、Ｂスプライン補間演算関数、キュービックスプライン補間演算関数、線形補間演算関数、ラグランジェ補間演算関数などの種々の補間演算関数を用いることができ、これらのうちの任意の２つ補間演算関数の組み合わせることができる。
【００２５】
また各補間係数Ｂｉｊ、Ｃｉｊは、画像を構成する画素の互いに異なる２つの配列方向（ｉ方向、ｊ方向とする）ごとの補間係数を意味するものである（従来技術の項に記載した補間係数Ｂ_ｋ−１，Ｂ_ｋ，Ｂ_ｋ＋１，Ｂ_ｋ＋２およびＣ_ｋ−１，Ｃ_ｋ，Ｃ_ｋ＋１，Ｃ_ｋ＋２などの各原画素データに乗じられる係数に該当する）。
【００２６】
本発明の画像処理方法は、原画像の中周波数成分に基づいて、目的補間画像を構成する各補間画素の位置（補間点）におけるエッジらしさを推定して、該エッジらしさが大きいほど、該補間画素に対応する重み付け係数αを大きく設定することを特徴とするものであり、「エッジらしさ」としては、該当する画素の部分がエッジ部分である可能性を示すことができるものであればいかなる値を用いてもよい。例えば、中周波数成分のＲＧＢ３色のうちの２色からなる少なくとも１組の色空間における、相対応する画素についての相関値や、中周波数成分において、平坦部、エッジ部についての出現数に対してプロットした局所分散値や、エッジ検出フィルタを中周波数成分に適用した濃度差などを中周波数成分におけるエッジらしさとして用いてもよく、演算を高速にする視点から、前記目的補間画像における補間画素の中周波数成分の絶対値を推定して該補間画素のエッジらしさとすることが好ましい。
【００２７】
また、目的補間画像における補間画素の中周波数成分を推定する方法としては、例えば、該補間画素と夫々相隣し、該補間画素を挟む２つの原画像における画素の中周波数成分の平均値や、１次補間値などを該補間画素の中周波数成分として推定するようにすればよい。
【００２８】
本発明の画像処理装置は、原画像を表す多数の原画素データＹｉｊに対して補間演算を行って、前記原画素データと画素ピッチの異なる補間データを求めることによって目的補間画像を得る画像処理装置であって、
第１の補間画像を得るための下記式（１）により表される補間関数ｆにおける前記各原画素データＹｉｊごとに対応する補間係数Ｂｉｊ、および前記第１の補間画像より鮮鋭度が高い第２の補間画像を得るための下記式（２）により表される補間関数ｇにおける前記各原画素データＹｉｊごとに対応する補間係数Ｃｉｊを夫々求める補間係数算出手段と、
前記原画像中の中周波数成分を抽出する抽出手段と、
該抽出手段により抽出された前記原画像中の中周波数成分に基づいて、前記目的補間画像における各補間点のエッジらしさを推定すると共に、該補間点に対応する重み付け係数αを、推定された該エッジらしさが大きいほど大きくなるように設定する重み付け係数設定手段と、
前記補間係数算出手段により算出された前記補間係数ＢｉｊおよびＣｉｊを、前記重み付け係数設定手段により設定された前記重み付け係数αで線形結合して得られた下記式（３）に示す新たな補間係数Ａｉｊを有する式（４）に示す補間関数ｈを用いた補間演算を施して補間画素データを求める補間演算手段とを備えたことを特徴とするものである。
【００２９】
ｆ＝ΣＢｉｊ・Ｙｉｊ （１）
ｇ＝ΣＣｉｊ・Ｙｉｊ （２）
Ａｉｊ＝（１−α）Ｂｉｊ＋αＣｉｊ （３）
ｈ＝ΣＡｉｊ・Ｙｉｊ （４）
（ただし、ｉ＝１，２，．．．、ｊ＝１，２，．．．）
本発明の画像処理装置に用いられる２つの前記補間関数としては、前記補間関数ｆが、Ｂスプライン補間演算関数であり、前記補間関数ｇがが、キュービックスプライン補間演算関数であることが好ましい。
【００３０】
本発明の画像処理装置における前記重み付け係数設定手段は、前記目的補間画像における補間画素の中周波数成分の絶対値を推定して該補間画素のエッジらしさとするものであることが望ましい。
【００３１】
本発明のプログラムは、原画像を表す多数の原画素データＹｉｊに対して補間演算を行って、前記原画素データと画素ピッチの異なる補間画素データを求めることによって目的補間画像を得る画像処理をコンピュータに行わせるためのプログラムであって、
前記画像処理が、第１の補間画像を得るための下記式（１）により表される補間関数ｆにおける前記各原画素データＹｉｊごとに対応する補間係数Ｂｉｊ、および前記第１の補間画像より鮮鋭度が高い第２の補間画像を得るための下記式（２）により表される補間関数ｇにおける前記各原画素データＹｉｊごとに対応する補間係数Ｃｉｊを夫々求める補間係数算出処理と、
前記原画像中の中周波数成分を抽出する抽出処理と、
該中周波数成分に基づいて、前記目的補間画像における補間点のエッジらしさを推定すると共に、該補間点に対応する重み付け係数αを、推定された該エッジらしさが大きいほど大きくなるように設定する重み付け係数設定処理と、
前記補間係数ＢｉｊおよびＣｉｊを、設定された前記重み付け係数αで線形結合して得られた下記式（３）に示す新たな補間係数Ａｉｊを有する式（４）に示す補間関数ｈを用いた補間演算を施して補間画素データを求める補間演算処理とからなることを特徴とするものである。
【００３２】
ｆ＝ΣＢｉｊ・Ｙｉｊ （１）
ｇ＝ΣＣｉｊ・Ｙｉｊ （２）
Ａｉｊ＝（１−α）Ｂｉｊ＋αＣｉｊ （３）
ｈ＝ΣＡｉｊ・Ｙｉｊ （４）
（ただし、ｉ＝１，２，．．．、ｊ＝１，２，．．．）
【００３３】
【発明の効果】
本発明の画像処理方法および装置は、原画像を表す多数の原画素データに対して補間演算を行うことにより目的補間画像を得るために互いに鮮鋭度が異なる補間関数の補間係数を重み付け加算して得た新たな補間係数を得、この補間係数を用いて補間演算を行う際に、モスキートノイズが中周波数成分に殆ど存在しないから中周波数成分から推定されたエッジらしさが確実であることを利用して、原画像の中周波数成分から目的補間画像における補間点のエッジらしさを推定し、該エッジらしさが大きい補間画素ほど、２つの補間関数のうちの鮮鋭度が高い補間関数の重みが大きくなるように重み付け係数を設定するようにしているので、エッジらしさが大きい、すなわちモスキートノイズである可能性が小さい補間画素ほど、そのデータは鮮鋭度の高い補間関数の重みが大きくなるように設定された重み付け係数で重み付け加算して得た補間係数により求められる一方、エッジらしさが小さい、すなわちモスキートノイズである可能性が大きい補間画素ほど、そのデータは鮮鋭度の高い補間関数の重みが小さくすなわち鮮鋭度の低い補間関数の重みが大きくなるように設定された重み付け係数で重み付け加算して得た補間係数により求められる。したがって、目的補間画像の鮮鋭度を高めつつ、モスキートノイズを抑制することができる。
【００３４】
また、鮮鋭度を高める処理およびモスキートノイズを抑制する処理は、拡大縮小処理に含まれているので、処理時間を短縮することができ、効率が良い。
【００３５】
本発明のプログラムは、本発明の画像処理方法をコンピュータに実行させることができる。
【００３６】
【発明の実施の形態】
以下、図面を参照して、本発明の実施形態について説明する。
【００３７】
図１は、本発明の実施形態となる画像再生装置の構成を示すブロック図である。図示のように、本実施形態の画像再生装置は、ＲＧＢの３色データである原画像データＳ０に対して色処理および階調処理を施して色階調処理済みの画像データＳ１を得る色階調処理手段１と、色階調処理済みの画像データＳ１に対して拡大縮小処理を行って拡縮済みの画像データＳ２を得る拡大縮小処理手段１００と、拡縮済みの画像データＳ２を表示する再生手段となるモニタ２とを備える。
【００３８】
色階調処理手段１は、画像データＳ０に基づいて、画像データＳ０に対して施す色処理および階調処理のパラメータを決定し、このパラメータを用いて画像データＳ０に対して色処理および階調処理を施して、色階調処理済みの画像データＳ１を得る。
【００３９】
拡大縮小処理手段１００は、モニタ２の表示画面の大きさに合わせて画像データＳ１を拡大縮小する拡縮倍率βを算出する拡縮倍率算出手段１１０と、拡縮倍率算出手段１１０により算出した拡縮倍率βに基づいてキュービックスプライン補間関数の補間係数ＣｉｊおよびＢスプライン補間関数の補間係数Ｂｉｊを算出する補間係数算出手段１２０と、色階調処理済みの画像データＳ１を構成するＲＧＢ色データから輝度成分Ｙを生成する輝度成分生成手段１３０と、輝度成分生成手段１３０により生成した輝度成分Ｙから中周波数成分ＹＭを抽出する中周波数成分抽出手段１４０と、該中周波数成分ＹＭに基づいて、重み付け係数αを設定する重み付け係数設定手段１５０と、補間係数算出手段１２０により算出された補間係数Ｂｉｊ、Ｃｉｊおよび重み付け係数設定手段１５０により設定された重み付け係数αを用いて、色階調処理手段１により得られた色階調処理済みの画像データＳ１に対して補間演算を行って補間画像データである拡縮済みの画像データＳ２を得る補間演算手段１８０とを備えてなる。以下、拡大縮小処理手段１００の各構成について具体的に説明する。
【００４０】
補間係数算出手段１２０は、キュービックスプライン補間係数算出手段１２２とＢスプライン補間係数算出手段１２４とを備えてなる。キュービックスプライン補間係数算出手段１２２は、上述の式（５）により示されるキュービックスプライン補間演算式における各原画素データＹ_ｋ−１，Ｙ_ｋ，Ｙ_ｋ＋１，Ｙ_ｋ＋２に夫々対応する補間係数Ｃ_ｋ−１，Ｃ_ｋ，Ｃ_ｋ＋１，Ｃ_ｋ＋２を原画像における画素Ｘ_ｋとＸ_ｋ＋１の間に位置する補間点Ｘｐの補間係数として、全ての補間点に対して求めるものであり、Ｂスプライン補間係数算出手段１２４は、上述の式（６）により示されるＢスプライン補間演算式における各原画素データＹ_ｋ−１，Ｙ_ｋ，Ｙ_ｋ＋１，Ｙ_ｋ＋２に夫々対応する補間係数Ｂ_ｋ−１，Ｂ_ｋ，Ｂ_ｋ＋１，Ｂ_ｋ＋２を原画像における画素Ｘ_ｋとＸ_ｋ＋１の間に位置する補間点Ｘｐの補間係数として、全ての補間点に対して求めるものである。なお、画像の画素は２次元に配列されて形成されるため、上記補間係数Ｃ_ｋ−１，Ｃ_ｋ，Ｃ_ｋ＋１，Ｃ_ｋ＋２およびＢ_ｋ−１，Ｂ_ｋ，Ｂ_ｋ＋１，Ｂ_ｋ＋２は、画像を構成する画素の互いに異なる２つの配列方向（ｉ方向、ｊ方向とする）ごとに求められるものであり、そのように求められたものを、夫々ＣｉｊとＢｉｊと表記する。
【００４１】
なお、補間係数ＣｉｊおよびＢｉｊを求める際に使用されるｔは、格子間隔を１に規格化し、画素Ｘ_ｋを基準としたときの補間点Ｘｐの画素Ｘ_ｋ＋１方向への位置を示すものであり、原画像（画像データＳ１により表される画像）における格子間隔と、拡縮倍率算出手段１１０により算出された拡縮倍率βから求められる。
【００４２】
輝度成分生成手段１３０は、画像データＳ１を構成するＲＧＢ色データＲ１、Ｇ１、Ｂ１に対して下記の式（９）に示す演算を施すことにより輝度成分Ｙを生成する。
【００４３】
Ｙ＝０．３Ｒ１＋０．５９Ｇ１＋０．１１Ｂ１ （９）
中周波数成分抽出手段１４０は、輝度成分Ｙに対して７×７ローパスフィルタ（ＬＰＦ）によるフィルタリング処理を施して輝度成分Ｙの低周波数成分ＹＬを得るフィルタリング手段１４２と、輝度成分Ｙに対して３×３ローパスフィルタによるフィルタリング処理を施して輝度成分Ｙの低中周波数成分ＹＬＭを得るフィルタリング手段１４４と、下記の式（１０）に従って低中周波数成分ＹＬＭから低周波数成分ＹＬを減算して中周波数成分ＹＭを得る減算手段１４６とを備えてなる。なお、ローパスフィルタは上述したものに特に限る必要はなく、画像の特性に応じて例えばそのサイズを変えたりしてもよい。
【００４４】
ＹＭ＝ＹＬＭ−ＹＬ （１０）
重み付け係数設定手段１５０は、中周波数成分抽出手段１４０により得られた各画素の中周波数成分ＹＭから、各補間点Ｘｐの中周波数成分ＹＭｐを推定してその絶対値｜ＹＭｐ｜を該補間点の画素（補間画素）のエッジらしさとし、このエッジらしさに応じて図３に示すテーブルＴ０に従って重み付け係数αを設定して補間演算手段１８０に供するものである。
【００４５】
重み付け係数設定手段１５０は、下記の式（１１）に従って画素Ｘ_ｋとＸ_ｋ＋１の間に位置する補間点Ｘｐの中周波数成分ＹＭｐを推定する。
【００４６】
ＹＭｐ＝（ＹＭ）_Ｋ×（１−ｔ）＋（ＹＭ）_Ｋ＋１×ｔ （１１）
ただし、（ＹＭ）_Ｋ：画素Ｘ_Ｋにおける中周波数成分
（ＹＭ）_Ｋ＋１：画素Ｘ_Ｋ＋１における中周波数成分
図３は、重み付け係数設定手段１５０が重み付け係数αの設定に用いたテーブルＴ０を示すものである。なお、横軸は中周波数成分ＹＭｐの絶対値を表したものであるが、その数値はデータのビット数により変わるため、図示の数値に限るものではない。縦軸の重み付け係数αについても同様である。図示のように、テーブルＴ０は、推定された中周波数成分ＹＭｐの絶対値｜ＹＭｐ｜が所定の第１の閾値（ここでは２０）より小さい補間画素（すなわち、エッジらしさが小さく、ノイズである可能性が高い補間点の画素）に対して重み付け係数αを０に、絶対値｜ＹＭｐ｜がこの所定の第１の閾値より大きいが、所定の第２の閾値（ここでは６０）より小さい補間画素（すなわち、エッジらしさが比較的に大きく、ノイズである可能性が比較的に小さい画素）に対して絶対値｜ＹＭｐ｜が大きいほど重み付け係数αを大きく設定するようにするものである。すなわち、エッジらしさが低い（｜ＹＭｐ｜≦２０）補間画素に対して、鮮鋭度を高めるよりもモスキートノイズの抑制を重視し、Ｂスプライン補間演算方法により補間画像データを求めるようにする一方、エッジらしさが比較的に大きい（２０≦｜ＹＭｐ｜≦６０）補間画素に対して、そのエッジらしさが大きいほど鮮鋭度を高めるように、すなわちキュービックスプライン補間演算に重みを置くようにして補間画像データを求めるように重み付け係数αが設定される。
【００４７】
片方、推定された中周波数成分ＹＭｐの絶対値｜ＹＭｐ｜が所定の第２の閾値よりも大きい補間画素の場合、ノイズである可能性がないので、この補間画素に対して鮮鋭度を高めるため、完全にキュービックスプライン補間演算により補間画素データを求めるように、重み付け係数αが１となる。
【００４８】
このように、図３に示すテーブルＴ０を参照して、重み付け係数設定手段は、推定さいれた補間画素の中周波数成分ＹＭｐの絶対値｜ＹＭｐ｜に応じて重み付け係数αを設定する。
【００４９】
補間演算手段１８０は、重み付け係数設定手段１５０により設定された重み付け係数αを用いて、上記の式（７）に従って、補間係数算出手段１２０により算出されたキュービックスプライン補間係数ＣｉｊおよびＢスプライン補間係数Ｂｉｊに対して重み付け加算を行って補間係数Ａｉｊを得、この補間係数Ａｉｊを用いて、上記の式（８）に従って色階調処理済みの画像データＳ１に対して補間演算を行って補間画像データである拡縮済みの画像データＳ２を得る。
【００５０】
図４は、本実施形態の画像再生装置の動作を示すフローチャートである。図示のように、本実施形態の画像再生装置は、画像データＳ０を再生するのに当たって、まず、色階調処理手段１により画像データＳ０に対して色処理および階調処理を行って、色階調処理済みの画像データＳ１を得る（Ｓ１０）。拡縮倍率算出手段１１０は、画像データＳ１をモニタ２の画面サイズに合わせて表示するための拡縮倍率βを算出し（Ｓ２０）、補間係数算出手段１２０は、この拡縮倍率βに対応したキュービックスプライン補間演算とＢスプライン補間演算の補間係数ＣｉｊとＢｉｊとを夫々算出する（Ｓ２５）。輝度成分生成手段１３０は、ＲＧＢ画像データである画像データＳ１の輝度成分Ｙを生成し（Ｓ３０）、中周波数成分抽出手段１４０は、輝度成分Ｙから中周波数成分ＹＭを抽出する（Ｓ３２）。重み付け係数設定手段１５０は、中周波数成分抽出手段１４０により抽出した中周波数成分ＹＭを用いて各補間画素の中周波数成分ＹＭｐを推定してその絶対値｜ＹＭｐ｜に応じて重み付け係数αを設定する（Ｓ３４）。補間演算手段１８０は、重み付け係数設定手段１５０により設定された重み付け係数αを用いて、補間係数算出手段１２０により算出した補間係数ＣｉｊとＢｉｊとを重み付け加算し、重み付け加算して得た新しい補間係数Ａｉｊを用いて色階調処理済みの画像データＳ１に対して補間演算を行って補間画像データＳ２を得る（Ｓ４０）。再生手段となるモニタ２は、補間画像データ、すなわち拡縮済みの画像データＳ２を画面に表示することによって再生する（Ｓ５０）。
【００５１】
このように、本実施形態の画像再生装置によれば、鮮鋭度の高い補間画像を得ることができるキュービックスプライン補間演算と滑らかな補間画像を得ることができるＢスプライン補間演算の補間係数を重み付け加算して得た新しい補間係数を用いて補間演算を行い、補間画像を得ることによって原画像に対して拡大縮小処理を行う際に、原画像の中周波数成分から補間点のエッジらしさを推定し、エッジらしさが大きい補間点ほど、この補間点のデータ（補間画素データ）を求めるときにキュービックスプライン補間演算に重みを置くように重み付け係数を設定して補間演算を行うようにしているので、補間画像において、エッジらしさが大きい画素の部分は鮮鋭度が高く、エッジらしさが小さい画素の部分はモスキートノイズが抑制されて滑らかであり、画質が良い。
【００５２】
また、画像に対して拡大縮小処理を行うと同時にモスキートノイズの抑制を行っているので、処理時間の短縮を図ることができ、効率が良い。
【００５３】
以上、本発明の１つの望ましい実施形態について説明したが、本発明の画像処理方法および装置は、上述した実施形態に限られることがなく、本発明の主旨を変えない限り、種々の変更、増減を加えることができる。
【００５４】
例えば、上述した実施形態において、拡大縮小処理手段１００は、再生手段となるモニタ２の画面サイズに合わせて画像の拡縮倍率βを算出するようにしているが、操作者により拡縮倍率を入力するようにしてもよい。
【００５５】
また、上述した実施形態は、画像再生装置自身により拡大縮小処理を行うようにしているが、拡大縮小処理を行う部分と拡大縮小処理済みの画像データを再生（例えば表示）する部分とが別々になるような構成であってもよい。例えば、本発明の画像処理方法をおよび装置を、携帯電話機間の中継を行う中継サーバ装置に適用し、中継サーバ装置は、送信元の携帯電話機から送信されてきた画像データを送信先の携帯電話機に転送する際に、送信先の携帯電話機の画面サイズに合わせて拡大縮小処理を行うようにしてもよい。
【００５６】
また、上述した実施形態の画像再生装置において、キュービックスプライン補間演算とＢスプライン補間演算の補間係数の重み付け係数αを０〜１の範囲内に設定するようにしているが、特許文献２に記載されたように、重み付け係数αを０から１の範囲のものに限らず、例えば、図５に示すテーブルＴ’０のように設定するようにすれば、エッジらしさが大きい補間画素の部分はより高い鮮鋭度を有し、エッジらしさが小さい補間画素の部分はモスキートノイズがより抑制されて滑らかになる。
【００５７】
また、上述した実施形態の画像再生装置において、補間画素の中周波数成分を推定してその絶対値をこの補間画素の中周波数成分におけるエッジらしさとし、このエッジらしさに応じて重み付け係数αを直接設定するようにしているが、例えば、特許文献２に記載されたように、所望する補間画像の鮮鋭度に対応した重み付け係数（ここではα０とする）を入力すると共に、補間画素の中周波数成分におけるエッジらしさに応じて、このエッジらしさが大きいほど、入力された重み付け係数α０を大きくするように修正するようにして重み付け係数を設定するよいにしてもよい。こうすることによって、操作者所望の鮮鋭度を考慮に入れると共に、モスキートノイズを抑制した補間演算を実現することができる。
【００５８】
なお、この場合、直接所望の重み付け係数α０を入力するようにしてもよいが、特許文献２に記載されたように、無機質な係数である重み付け係数α０を入力する代わりに、補間画像に対する所望のレスポンスＲを入力し、Ｂスプライン補間関数についての空間周波数とレスポンスＲ１とを互いに異なる複数の画像拡縮倍率ごとに予め対応付けて設定された複数の第１のルックアップテーブル、およびキュービックスプライン補間関数についての空間周波数とレスポンスＲ２とを互いに異なる複数の画像拡縮倍率ごとに予め対応付けて設定された複数の第２のルックアップテーブルのうち、補間画像の拡縮倍率に対応した第１のルックアップテーブルおよび第２のルックアップテーブルを参照して、この画像拡縮倍率におけるＢスプライン補間関数のレスポンスＲ１およびキュービックスプライン補間関数のレスポンスＲ２を求め、求められたレスポンスＲ１およびレスポンスＲ２と所望のレスポンスＲとに基づいて重み付け係数α０を求めるようにしてもよい。
【図面の簡単な説明】
【図１】本発明の実施形態となる画像再生装置の構成を示すブロック図
【図２】補間演算を説明するための図
【図３】図１に示す画像再生装置における重み付け係数設定手段１５０が用いたテーブルＴ０を示す図
【図４】図１に示す画像再生装置の動作を示すフローチャート
【図５】重み付け係数を設定するための他のテーブルの例Ｔ’０を示す図
【符号の説明】
１ 色階調処理手段
２ モニタ
１００ 拡大縮小処理手段
１１０ 拡縮倍率算出手段
１２０ 補間係数算出手段
１２２ キュービックスプライン補間係数算出手段
１２４ Ｂスプライン補間係数算出手段
１３０ 輝度成分生成手段
１４０ 中周波数成分抽出手段
１４２，１４４ フィルタリング手段
１４６ 減算手段
１５０ 重み付け係数設定手段
１８０ 補間演算手段
Ｓ０ 原画像データ
Ｓ１ 色階調処理済みの画像データ
Ｓ２ 拡縮処理済みの画像データ
α 重み付け係数
β 拡縮倍率[0001]
BACKGROUND OF THE INVENTION
The present invention relates to image processing, specifically to an image enlargement / reduction processing method and apparatus, and a program therefor.
[0002]
[Prior art]
There are various processes for enlarging or reducing an image represented by digital image data (obtained by scanning a negative film with a scanner or obtained by photographing with a digital camera, hereinafter referred to as image data for short). Is done in the field. When enlarging or reducing the original image, an interpolation operation is performed on a large number of pixel data representing the original image (hereinafter referred to as original pixel data), thereby obtaining interpolated pixel data having a data number different from the number of original pixel data. As an interpolation method for performing this interpolation calculation, various methods have been conventionally proposed. In general, a method using a cubic spline interpolation function is often used. In this method, the original pixel data Yk is connected by a cubic function {fk} for each section, and the value of fk at the set position of the interpolation point (set position in each section) is used as the interpolation pixel data. .
[0003]
Of the interpolation calculations using a cubic spline interpolation function, the interpolation calculation that passes through the original pixel data is an interpolation method with a relatively high sharpness, and for example, cubic spline interpolation calculations are known. . In key bispline interpolation calculation, the spline interpolation function fk is required to pass through the original sample points (pixel points of the original image), and the first-order differential coefficient must be continuous between the sections. The interpolated image represented by the interpolated pixel data obtained by the calculation has a relatively high sharpness. On the other hand, for example, a B-spline interpolation calculation is known as an interpolation function for obtaining interpolation pixel data representing a smooth interpolation image with low sharpness. B-spline interpolation does not require passing through the original sample points, but instead requires that the first and second order differential coefficients be continuous between each section. The interpolated image represented by the obtained interpolated pixel data has a low sharpness but is smooth.
[0004]
Specifically, for example, consecutive pixel points X _k-2 , X _k-1 , X _k , X _{k + 1} , X _{k + 2} ,. . . The original pixel data of Y is respectively Y as shown in FIG. _k-2 , Y _k-1 , Y _k , Y _{k + 1} , Y _{k + 2} ,. . . X of each section _k-2 ~ X _k-1 , X _k-1 ~ X _k , X _k ~ X _{k + 1} , X _{k + 1} ~ X _{k + 2} The interval (referred to as the grid interval) is 1 and the interpolation point (interpolation pixel point) is the interval X _k ~ X _{k + 1} Within the range of pixel point X _k Pixel point X from _{k + 1} Interpolation point X in the direction _P Where t (0 ≦ t ≦ 1) is the interpolation point X by cubic spline interpolation. _P Data (interpolated pixel data) Y _P Is obtained by the interpolation function shown in the following equation (5), while the interpolation point X is calculated by the B-spline interpolation calculation. _P Data (interpolated pixel data) Y _P Is obtained by an interpolation function shown in the following equation (6).
[0005]
[Expression 1]

[Expression 2]

Here, the original pixel data Y in the equations (5) and (6) _k-1 , Y _k , Y _{k + 1} , Y _{k + 2} These coefficients are referred to as interpolation coefficients. That is, the interpolation coefficient in the cubic spline interpolation calculation represented by the equation (5) is the original pixel data Y _k-1 , Y _k , Y _{k + 1} , Y _{k + 2} Corresponding to each C _k-1 , C _k , C _{k + 1} , C _{k + 2} The interpolation coefficient in the B-spline interpolation calculation shown by the equation (6) is the original pixel data Y _k-1 , Y _k , Y _{k + 1} , Y _{k + 2} Corresponding to each B _k-1 , B _k , B _{k + 1} , B _{k + 2} It is. By repeating the interpolation calculation shown in Expression (5) for each section, interpolated pixel data having a pixel pitch different from the original pixel data can be obtained by cubic spline interpolation calculation. The interpolation calculation shown in Expression (6) is performed in each section. By repeating the above, interpolated pixel data having a pixel pitch different from the original pixel data can be obtained by B-spline interpolation calculation.
[0006]
Thus, for example, cubic spline interpolation calculation is used to obtain an interpolation image with high sharpness, and B-spline interpolation calculation is used to obtain a smooth interpolation image with low sharpness.
[0007]
Furthermore, in order to obtain an interpolated image having an intermediate desired sharpness within the range from the sharpest sharpness to the smoothest sharpness, Patent Document 1 discloses that when an image is enlarged or reduced, Image data that enables fine adjustment of the sharpness of the interpolated image by weighting and adding the corresponding coefficients of the two interpolation functions having different sharpnesses according to the desired sharpness of the interpolated image. Interpolation methods have been proposed. According to this method, for example, when the cubic spline interpolation calculation and the B-spline interpolation calculation are employed as two interpolation functions having different sharpness, the interpolation coefficient is the interpolation coefficient of the cubic spline interpolation calculation and the interpolation of the B-spline interpolation calculation. The coefficient is obtained by weighting and adding each coefficient corresponding to the sample point (pixel point) of the original image. By changing this weighting ratio (weighting coefficient) α, the sharpest sharpness is obtained. To obtain an interpolated image having a desired sharpness in the middle of the smoothest sharpness range.
[0008]
That is, the interpolation coefficient of the cubic spline interpolation operation is set to C _k-1 , C _k , C _{k + 1} , C _{k + 2} , The interpolation coefficient of B spline interpolation calculation is B _k-1 , B _k , B _{k + 1} , B _{k + 2} The weighted interpolation coefficient A _k-1 , A _k , A _{k + 1} , A _{k + 2} Is set as in the following equation (7).
[0009]
[Equation 3]

The new interpolation coefficient A thus obtained _k-1 , A _k , A _{k + 1} , A _{k + 2} Based on the following equation (8), the interpolated pixel data Y _P Is calculated.
[0010]
[Expression 4]

Since an actual image is formed by arranging pixels in two dimensions, the interpolation coefficient Ak is expressed as an interpolation coefficient Aij for each of two different arrangement directions (i direction and j direction).
[0011]
In the method proposed in Patent Document 1, when cubic spline interpolation calculation and B-spline interpolation calculation are employed as two interpolation calculations having different sharpness, the weighting coefficient α is adjusted within a range of 0 and 1. Therefore, the sharpness can be adjusted only within the sharpness range corresponding to the smoothest interpolated image by the B-spline interpolation calculation from the sharpness corresponding to the sharpest interpolated image by the cubic spline interpolation calculation. On the other hand, when more various expressions are required for an interpolation image, for example, an interpolation image with sharper sharpness than an interpolation image obtained by cubic spline interpolation alone, or an interpolation image obtained by B spline interpolation alone In some cases, an interpolation image having a sharpness corresponding to a smoother image may be required, and the method proposed in Patent Document 1 cannot meet such various demands for sharpness.
[0012]
Therefore, in Patent Document 2, the weighting coefficient α is not limited to the range of 0 to 1, but by setting the weighting coefficient α to an arbitrary real number, the range between the sharpnesses of the two interpolation operations used when obtaining the interpolation coefficient There has been proposed a method that makes it possible to obtain an interpolated image having various sharpnesses within a range not limited to the sharpness.
[0013]
In addition, enlargement / reduction processing for an original image is performed in various fields, and the necessity is increasing in the field of communication. In particular, with the development of communication technology and the development of mobile communication networks in recent years, mobile terminals such as mobile phones with cameras have rapidly spread, the functions of mobile terminals have been enhanced, and the display screen of mobile terminals has been enlarged. In order to avoid the problem that if the image data is displayed as it is in the background of increasing the resolution, the image is smaller than the screen and is difficult to see, the image needs to be enlarged and displayed.
Conversely, when displaying large image data on a mobile terminal with a small display screen, if displayed as it is, there is a problem that the image protrudes from the display screen and the entire image cannot be seen. It is desirable to reduce and display the image.
[0014]
On the other hand, image data flowing on a network such as a mobile communication network is usually compressed for reasons such as shortening communication time and reducing network load. Particularly in the case of a mobile terminal such as a mobile phone, most of the image data obtained by photographing with the attached camera is transmitted to another mobile terminal device or a computer, and therefore is highly compressed due to severe capacity restrictions. . Such highly compressed image data must be suppressed because noise due to compression is conspicuous. On the other hand, since sharpness is also lacking, it is desirable to increase sharpness by performing sharpness correction.
[0015]
Further, among noises resulting from compression, there is noise that appears as wavy coding noise due to lack of high-frequency components. This is called mosquito noise because it exists mainly in the high-frequency component of the image and it appears that mosquitoes are flying in the decoded image.
[0016]
[Patent Document 1]
JP-A-2-278478
[0017]
[Patent Document 2]
JP-A-9-93425
[0018]
[Problems to be solved by the invention]
As described above, when enlarging / reducing a highly compressed image, it is desirable to increase the sharpness of the image. Therefore, cubic spline interpolation is preferable as an interpolation operation method used for enlarging / reducing processing. In cubic spline interpolation computation, there is a problem that mosquito noise remains in the interpolated image.
[0019]
Although the enlargement / reduction processing by the interpolation method described in Patent Literature 1 and Patent Literature 2 can adjust the sharpness of the processed image by weighted addition of interpolation coefficients of two interpolation operations having different sharpness, If the sharpness of the interpolated image is increased, noise will be conspicuous.
[0020]
Although there is a method of separately performing mosquito noise suppression and enlargement / reduction processing when reproducing an image, it is time consuming and is not suitable for the field of communication such as a mobile phone that requires quickness.
[0021]
The present invention has been made in view of the above circumstances, and an image processing method and apparatus capable of efficiently performing enlargement / reduction processing capable of increasing the sharpness of an interpolated image and suppressing mosquito noise, and a program therefor Is intended to provide.
[0022]
[Means for Solving the Problems]
According to the image processing method of the present invention, an interpolation process is performed on a large number of original pixel data Yij representing an original image, and an interpolated pixel data having a pixel pitch different from the original pixel data is obtained to obtain a target interpolation image. A method,
An interpolation coefficient Bij corresponding to each of the original pixel data Yij in the interpolation function f represented by the following expression (1) for obtaining the first interpolation image, and a second higher sharpness than the first interpolation image The interpolation coefficient Cij corresponding to each of the original pixel data Yij in the interpolation function g represented by the following equation (2) for obtaining the interpolation image of
Extracting a medium frequency component in the original image;
Based on the intermediate frequency component, the edge-likeness of each interpolation point in the target interpolation image is estimated, and the weighting coefficient α corresponding to the interpolation point is set so as to increase as the estimated edge-likeness increases. ,
Interpolation using the interpolation function h shown in Expression (4) having a new interpolation coefficient Aij shown in the following Expression (3) obtained by linearly combining the interpolation coefficients Bij and Cij with the set weighting coefficient α This is characterized in that interpolation pixel data is obtained by performing an operation.
[0023]
f = ΣBij · Yij (1)
g = ΣCij · Yij (2)
Aij = (1-α) Bij + αCij (3)
h = ΣAij · Yij (4)
(Where i = 1, 2,..., J = 1, 2,...)
Here, it is desirable that the interpolation function f and the interpolation function g are a B-spline interpolation calculation function having a relatively low sharpness and a cubic spline interpolation calculation function having a higher sharpness. This is because in the case of a combination of both, the first-order differential coefficients are continuous.
[0024]
However, the interpolation function f and the interpolation function g used in the present invention are not limited to these combinations, and various types such as a B-spline interpolation calculation function, a cubic spline interpolation calculation function, a linear interpolation calculation function, and a Lagrange interpolation calculation function. These interpolation calculation functions can be used, and any two of these interpolation calculation functions can be combined.
[0025]
The interpolation coefficients Bij and Cij mean interpolation coefficients for two different arrangement directions (i direction and j direction) of pixels constituting the image (interpolation coefficients described in the prior art section). B _k-1 , B _k , B _{k + 1} , B _{k + 2} And C _k-1 , C _k , C _{k + 1} , C _{k + 2} Etc., corresponding to the coefficient multiplied by each original pixel data).
[0026]
The image processing method of the present invention estimates the edge-likeness at the position (interpolation point) of each interpolation pixel constituting the target interpolation image based on the medium frequency component of the original image. The weighting coefficient α corresponding to the pixel is set to be large, and the “edge-likeness” is any value as long as it can indicate the possibility that the corresponding pixel portion is an edge portion. May be used. For example, with respect to the correlation value for the corresponding pixels in at least one set of color spaces composed of two of the three RGB colors of the medium frequency component, and the number of appearances for the flat portion and the edge portion in the medium frequency component The plotted local dispersion value or the density difference obtained by applying an edge detection filter to the medium frequency component may be used as the edge likeness in the medium frequency component. It is preferable to estimate the absolute value of the frequency component to obtain the edge likeness of the interpolated pixel.
[0027]
Further, as a method of estimating the intermediate frequency component of the interpolation pixel in the target interpolation image, for example, the average value of the intermediate frequency components of the pixels in the two original images adjacent to each other and sandwiching the interpolation pixel, A primary interpolation value or the like may be estimated as a middle frequency component of the interpolation pixel.
[0028]
The image processing apparatus of the present invention performs an interpolation operation on a large number of original pixel data Yij representing an original image, and obtains an interpolation image having a pixel pitch different from that of the original pixel data, thereby obtaining a target interpolation image. Because
An interpolation coefficient Bij corresponding to each of the original pixel data Yij in the interpolation function f represented by the following expression (1) for obtaining the first interpolation image, and a second higher sharpness than the first interpolation image Interpolation coefficient calculating means for respectively obtaining an interpolation coefficient Cij corresponding to each original pixel data Yij in the interpolation function g represented by the following equation (2) for obtaining the interpolation image of:
Extracting means for extracting a medium frequency component in the original image;
Based on the medium frequency component in the original image extracted by the extraction means, the edge likelihood of each interpolation point in the target interpolation image is estimated, and the weighting coefficient α corresponding to the interpolation point is estimated. Weighting coefficient setting means for setting so as to increase as the edge-likeness increases,
A new interpolation coefficient Aij shown in the following equation (3) obtained by linearly combining the interpolation coefficients Bij and Cij calculated by the interpolation coefficient calculation means with the weighting coefficient α set by the weighting coefficient setting means And an interpolation calculation means for obtaining interpolation pixel data by performing an interpolation calculation using the interpolation function h shown in the equation (4).
[0029]
f = ΣBij · Yij (1)
g = ΣCij · Yij (2)
Aij = (1-α) Bij + αCij (3)
h = ΣAij · Yij (4)
(Where i = 1, 2,..., J = 1, 2,...)
As the two interpolation functions used in the image processing apparatus of the present invention, it is preferable that the interpolation function f is a B-spline interpolation calculation function and the interpolation function g is a cubic spline interpolation calculation function.
[0030]
The weighting coefficient setting means in the image processing apparatus according to the present invention is preferably configured to estimate an absolute value of a middle frequency component of an interpolation pixel in the target interpolation image and to obtain an edge likeness of the interpolation pixel.
[0031]
The program according to the present invention performs image processing for obtaining a target interpolation image by performing an interpolation operation on a large number of original pixel data Yij representing an original image and obtaining interpolated pixel data having a pixel pitch different from that of the original pixel data. Is a program for letting
The image processing is sharper than the first interpolation image and the interpolation coefficient Bij corresponding to each original pixel data Yij in the interpolation function f represented by the following equation (1) for obtaining the first interpolation image. An interpolation coefficient calculation process for obtaining an interpolation coefficient Cij corresponding to each original pixel data Yij in the interpolation function g represented by the following equation (2) for obtaining a second interpolation image having a high degree;
An extraction process for extracting a medium frequency component in the original image;
Based on the intermediate frequency component, the edge-likeness of the interpolation point in the target interpolation image is estimated, and the weighting coefficient α corresponding to the interpolation point is set so as to increase as the estimated edge-likeness increases. Coefficient setting process,
Interpolation using the interpolation function h shown in Expression (4) having a new interpolation coefficient Aij shown in the following Expression (3) obtained by linearly combining the interpolation coefficients Bij and Cij with the set weighting coefficient α It is characterized by comprising an interpolation calculation process for performing calculation to obtain interpolation pixel data.
[0032]
f = ΣBij · Yij (1)
g = ΣCij · Yij (2)
Aij = (1-α) Bij + αCij (3)
h = ΣAij · Yij (4)
(Where i = 1, 2,..., J = 1, 2,...)
[0033]
【The invention's effect】
The image processing method and apparatus according to the present invention weights and adds interpolation coefficients of interpolation functions having different sharpnesses to obtain a target interpolation image by performing an interpolation operation on a large number of original pixel data representing the original image. When the new interpolation coefficient obtained is obtained and interpolation is performed using this interpolation coefficient, it is used that the edge-likeness estimated from the medium frequency component is certain because mosquito noise hardly exists in the medium frequency component. Thus, the edge-likeness of the interpolation point in the target interpolation image is estimated from the middle frequency components of the original image, and the weight of the interpolation function having the higher sharpness of the two interpolation functions is increased as the edge-likeness of the interpolation pixel is larger. Since the weighting coefficient is set in the interpolation pixel, the interpolation pixel having a large edge-likeness, that is, the possibility of being mosquito noise is smaller. While it is obtained by an interpolation coefficient obtained by weighted addition with a weighting coefficient set so as to increase the weight of the interpolation function having a high degree of sharpness, an interpolation pixel having a small edge likelihood, i.e., having a high possibility of mosquito noise, The data is obtained by an interpolation coefficient obtained by weighted addition with a weighting coefficient set so that the weight of the interpolation function with high sharpness is small, that is, the weight of the interpolation function with low sharpness is large. Therefore, it is possible to suppress mosquito noise while increasing the sharpness of the target interpolation image.
[0034]
In addition, since the processing for increasing the sharpness and the processing for suppressing mosquito noise are included in the enlargement / reduction processing, the processing time can be shortened and the efficiency is high.
[0035]
The program of the present invention can cause a computer to execute the image processing method of the present invention.
[0036]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the drawings.
[0037]
FIG. 1 is a block diagram showing a configuration of an image reproducing apparatus according to an embodiment of the present invention. As shown in the figure, the image reproduction apparatus according to the present embodiment performs color processing and gradation processing on original image data S0 that is RGB three-color data to obtain color gradation processed image data S1. Tone processing means 1, enlargement / reduction processing means 100 for performing enlargement / reduction processing on the image data S1 that has been subjected to color gradation processing, and obtaining enlarged / reduced image data S2, and reproduction means for displaying the enlarged / reduced image data S2 And a monitor 2.
[0038]
The color gradation processing means 1 determines parameters for color processing and gradation processing to be performed on the image data S0 based on the image data S0, and uses these parameters to perform color processing and gradation on the image data S0. Processing is performed to obtain color gradation processed image data S1.
[0039]
The enlargement / reduction processing unit 100 calculates the enlargement / reduction ratio β for calculating the enlargement / reduction ratio β for enlarging / reducing the image data S 1 according to the size of the display screen of the monitor 2, and the enlargement / reduction ratio β calculated by the enlargement / reduction ratio calculation unit 110. Based on the interpolation coefficient calculation means 120 for calculating the interpolation coefficient Cij of the cubic spline interpolation function and the interpolation coefficient Bij of the B-spline interpolation function based on this, and the luminance component Y is generated from the RGB color data constituting the color gradation processed image data S1 Brightness component generating means 130, medium frequency component extracting means 140 for extracting the intermediate frequency component YM from the luminance component Y generated by the luminance component generating means 130, and the weighting coefficient α is set based on the intermediate frequency component YM. Weighting coefficient setting means 150 and interpolation coefficients Bij and Ci calculated by interpolation coefficient calculation means 120 The weighting coefficient α set by the weighting coefficient setting means 150 is used to perform interpolation calculation on the color gradation processed image data S1 obtained by the color gradation processing means 1 to perform scaling of the interpolated image data. And an interpolation calculation means 180 for obtaining the completed image data S2. Hereinafter, each configuration of the enlargement / reduction processing means 100 will be described in detail.
[0040]
The interpolation coefficient calculation unit 120 includes a cubic spline interpolation coefficient calculation unit 122 and a B-spline interpolation coefficient calculation unit 124. The cubic spline interpolation coefficient calculation means 122 calculates each original pixel data Y in the cubic spline interpolation calculation formula shown by the above-described formula (5). _k-1 , Y _k , Y _{k + 1} , Y _{k + 2} Interpolation coefficient C corresponding to _k-1 , C _k , C _{k + 1} , C _{k + 2} Pixel X in the original image _k And X _{k + 1} Are calculated for all interpolation points as interpolation coefficients of the interpolation point Xp located between the two points, and the B-spline interpolation coefficient calculation means 124 calculates each of the B-spline interpolation calculation formulas expressed by the above-described formula (6). Original pixel data Y _k-1 , Y _k , Y _{k + 1} , Y _{k + 2} Interpolation coefficient B corresponding to each _k-1 , B _k , B _{k + 1} , B _{k + 2} Pixel X in the original image _k And X _{k + 1} As the interpolation coefficient of the interpolation point Xp located between the two, it is obtained for all the interpolation points. Since the pixels of the image are formed in a two-dimensional array, the interpolation coefficient C _k-1 , C _k , C _{k + 1} , C _{k + 2} And B _k-1 , B _k , B _{k + 1} , B _{k + 2} Is obtained for each of two different arrangement directions (i-direction and j-direction) of the pixels constituting the image, and those obtained are denoted as Cij and Bij, respectively.
[0041]
Note that t used in obtaining the interpolation coefficients Cij and Bij normalizes the grid interval to 1, and the pixel X _k Pixel X at the interpolation point Xp with reference to _{k + 1} This indicates the position in the direction, and is obtained from the grid interval in the original image (the image represented by the image data S1) and the enlargement / reduction ratio β calculated by the enlargement / reduction ratio calculation means 110.
[0042]
The luminance component generation unit 130 generates the luminance component Y by performing the calculation shown in the following equation (9) on the RGB color data R1, G1, B1 constituting the image data S1.
[0043]
Y = 0.3R1 + 0.59G1 + 0.11B1 (9)
The medium frequency component extracting unit 140 performs filtering processing on the luminance component Y by a 7 × 7 low-pass filter (LPF) to obtain a low frequency component YL of the luminance component Y, and 3 for the luminance component Y. Filtering means 144 that obtains a low-medium frequency component YLM of the luminance component Y by performing filtering processing by a × 3 low-pass filter, and a medium-frequency component by subtracting the low-frequency component YL from the low-medium frequency component YLM according to the following equation (10) Subtracting means 146 for obtaining YM. Note that the low-pass filter is not particularly limited to the above-described one, and may be changed in size, for example, according to the characteristics of the image.
[0044]
YM = YLM-YL (10)
The weighting coefficient setting unit 150 estimates the middle frequency component YMp of each interpolation point Xp from the middle frequency component YM of each pixel obtained by the middle frequency component extraction unit 140, and calculates the absolute value | YMp | The pixel (interpolated pixel) is assumed to be an edge, and the weighting coefficient α is set according to the edge likeness according to the table T0 shown in FIG.
[0045]
The weighting coefficient setting means 150 uses the pixel X according to the following equation (11). _k And X _{k + 1} The intermediate frequency component YMp of the interpolation point Xp located between is estimated.
[0046]
YMp = (YM) _K × (1-t) + (YM) _{K + 1} Xt (11)
However, (YM) _K : Pixel X _K Medium frequency component in
(YM) _{K + 1} : Pixel X _{K + 1} Medium frequency component in
FIG. 3 shows the table T0 used by the weighting coefficient setting means 150 for setting the weighting coefficient α. Although the horizontal axis represents the absolute value of the medium frequency component YMp, the numerical value varies depending on the number of data bits, and is not limited to the illustrated numerical value. The same applies to the weighting coefficient α on the vertical axis. As shown in the figure, the table T0 can be an interpolation pixel whose absolute value | YMp | Interpolation pixels having a weighting coefficient α of 0 for an interpolation point pixel having a high characteristic) and an absolute value | YMp | larger than this predetermined first threshold value but smaller than a predetermined second threshold value (here 60) The weighting coefficient α is set to be larger as the absolute value | YMp | is larger with respect to (that is, a pixel having a relatively large edge likelihood and a relatively small possibility of being a noise). That is, for an interpolation pixel having a low edge likelihood (| YMp | ≦ 20), emphasis is placed on suppression of mosquito noise rather than increasing sharpness, and interpolation image data is obtained by the B-spline interpolation calculation method. For an interpolation pixel having a relatively high likelihood (20 ≦ | YMp | ≦ 60), the higher the edge likelihood is, the higher the sharpness is, that is, the weight of the cubic spline interpolation operation is set. The weighting coefficient α is set so as to be obtained.
[0047]
On the other hand, in the case of an interpolation pixel in which the absolute value | YMp | of the estimated intermediate frequency component YMp is larger than a predetermined second threshold, there is no possibility of noise, so that the sharpness of this interpolation pixel is increased. The weighting coefficient α is 1 so that the interpolated pixel data is completely obtained by the cubic spline interpolation calculation.
[0048]
As described above, with reference to the table T0 shown in FIG. 3, the weighting coefficient setting means sets the weighting coefficient α according to the absolute value | YMp | of the estimated intermediate frequency component YMp of the interpolation pixel.
[0049]
The interpolation calculation means 180 uses the weighting coefficient α set by the weighting coefficient setting means 150 and the cubic spline interpolation coefficient Cij and the B-spline interpolation coefficient Bij calculated by the interpolation coefficient calculation means 120 according to the above equation (7). Is subjected to weighted addition to obtain an interpolation coefficient Aij, and the interpolation coefficient Aij is used to perform an interpolation operation on the image data S1 subjected to color gradation processing according to the above equation (8). A certain scaled image data S2 is obtained.
[0050]
FIG. 4 is a flowchart showing the operation of the image reproduction apparatus of this embodiment. As shown in the figure, in reproducing the image data S0, the image reproducing apparatus of the present embodiment first performs color processing and gradation processing on the image data S0 by the color gradation processing means 1, and then displays the color scale. Image data S1 that has been processed is obtained (S10). The enlargement / reduction ratio calculation unit 110 calculates an enlargement / reduction ratio β for displaying the image data S1 in accordance with the screen size of the monitor 2 (S20), and the interpolation coefficient calculation unit 120 performs cubic spline interpolation corresponding to the enlargement / reduction ratio β. The interpolation coefficients Cij and Bij for the calculation and the B-spline interpolation calculation are calculated (S25). The luminance component generation unit 130 generates the luminance component Y of the image data S1 that is RGB image data (S30), and the intermediate frequency component extraction unit 140 extracts the intermediate frequency component YM from the luminance component Y (S32). The weighting coefficient setting means 150 estimates the intermediate frequency component YMp of each interpolation pixel using the intermediate frequency component YM extracted by the intermediate frequency component extraction means 140 and sets the weighting coefficient α according to the absolute value | YMp |. (S34). The interpolation calculation means 180 weights and adds the interpolation coefficients Cij and Bij calculated by the interpolation coefficient calculation means 120 using the weighting coefficient α set by the weighting coefficient setting means 150, and obtains a new interpolation coefficient obtained by weighting addition. Interpolation is performed on the image data S1 having undergone color gradation processing using Aij to obtain interpolated image data S2 (S40). The monitor 2 serving as a reproducing unit reproduces the interpolated image data, that is, the enlarged / reduced image data S2 by displaying it on the screen (S50).
[0051]
As described above, according to the image reproducing apparatus of the present embodiment, the weighted addition of the interpolation coefficients of the cubic spline interpolation calculation that can obtain an interpolation image with high sharpness and the B-spline interpolation calculation that can obtain a smooth interpolation image. When performing the enlargement / reduction process on the original image by obtaining an interpolation image using the new interpolation coefficient obtained in this way, the edge likeness of the interpolation point is estimated from the middle frequency component of the original image, Interpolation points are set so that weighting coefficients are set so that interpolation points with higher edge-likeness are weighted in cubic spline interpolation calculation when obtaining data (interpolation pixel data) of the interpolation point. In this case, the pixel portion having a large edge likelihood has high sharpness, and the pixel portion having a small edge likelihood suppresses mosquito noise. It is smooth, the image quality is good.
[0052]
Further, since the mosquito noise is suppressed simultaneously with the enlargement / reduction processing for the image, the processing time can be shortened and the efficiency is high.
[0053]
Although one preferred embodiment of the present invention has been described above, the image processing method and apparatus of the present invention are not limited to the above-described embodiment, and various changes, increases / decreases can be made without changing the gist of the present invention. Can be added.
[0054]
For example, in the above-described embodiment, the enlargement / reduction processing means 100 calculates the image enlargement / reduction ratio β according to the screen size of the monitor 2 serving as the reproduction means, but the operator inputs the enlargement / reduction ratio. It may be.
[0055]
In the above-described embodiment, the enlargement / reduction processing is performed by the image reproduction apparatus itself, but the portion for performing the enlargement / reduction processing and the portion for reproducing (for example, displaying) the image data that has been subjected to the enlargement / reduction processing are separately provided. The structure which becomes may be sufficient. For example, the image processing method and apparatus of the present invention are applied to a relay server device that relays between mobile phones, and the relay server device receives image data transmitted from a source mobile phone as a destination mobile phone. When transferring to, enlargement / reduction processing may be performed according to the screen size of the destination mobile phone.
[0056]
Further, in the image reproducing apparatus of the above-described embodiment, the weighting coefficient α of the interpolation coefficient of the cubic spline interpolation calculation and the B-spline interpolation calculation is set within the range of 0 to 1, which is described in Patent Document 2. As described above, if the weighting coefficient α is not limited to a value in the range of 0 to 1, for example, if it is set as in the table T′0 shown in FIG. The portion of the interpolated pixel having sharpness and small edge-likeness is smoothed by suppressing mosquito noise.
[0057]
Further, in the image reproducing device according to the above-described embodiment, the intermediate frequency component of the interpolation pixel is estimated, and the absolute value thereof is set as the edge of the intermediate frequency component of the interpolation pixel, and the weighting coefficient α is directly set according to the edge likeness. However, as described in Patent Document 2, for example, a weighting coefficient (here, α0) corresponding to the desired sharpness of the interpolated image is input, and at the intermediate frequency component of the interpolated pixel, Depending on the edge likelihood, the weighting coefficient may be set such that the larger the edge likelihood is, the larger the input weighting coefficient α0 is. By doing so, it is possible to realize an interpolation calculation that takes into consideration the sharpness desired by the operator and suppresses mosquito noise.
[0058]
In this case, the desired weighting coefficient α0 may be directly input. However, as described in Patent Document 2, instead of inputting the weighting coefficient α0 that is an inorganic coefficient, a desired weighting coefficient α0 may be input. A plurality of first look-up tables in which a response R is input and a spatial frequency and response R1 for a B-spline interpolation function are set in advance in association with a plurality of different image scaling factors, and a cubic spline interpolation function Among the plurality of second look-up tables set in advance by associating the spatial frequency and the response R2 with each other for a plurality of different image enlargement / reduction ratios, a first look-up table corresponding to the enlargement / reduction ratio of the interpolated image, and B-spline interpolation at this image scaling factor with reference to the second lookup table The response R1 of the function and the response R2 of the cubic spline interpolation function may be obtained, and the weighting coefficient α0 may be obtained based on the obtained response R1, the response R2, and the desired response R.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of an image reproduction apparatus according to an embodiment of the present invention.
FIG. 2 is a diagram for explaining interpolation calculation
FIG. 3 is a view showing a table T0 used by the weighting coefficient setting unit 150 in the image reproduction apparatus shown in FIG.
4 is a flowchart showing the operation of the image reproduction apparatus shown in FIG.
FIG. 5 is a diagram showing an example T′0 of another table for setting a weighting coefficient;
[Explanation of symbols]
1 color gradation processing means
2 Monitor
100 Enlargement / reduction processing means
110 Enlargement / reduction ratio calculation means
120 Interpolation coefficient calculation means
122 Cubic spline interpolation coefficient calculation means
124 B-spline interpolation coefficient calculation means
130 Luminance component generation means
140 Medium frequency component extraction means
142,144 Filtering means
146 Subtraction means
150 Weighting coefficient setting means
180 Interpolation calculation means
S0 Original image data
S1 Color gradation processed image data
S2 Enlarged / reduced image data
α weighting factor
β Scale factor

Claims (7)

An image processing method for obtaining a target interpolation image by performing an interpolation operation on a large number of original pixel data Yij representing an original image and obtaining interpolated pixel data having a pixel pitch different from that of the original pixel data,
An interpolation coefficient Bij corresponding to each of the original pixel data Yij in the interpolation function f represented by the following expression (1) for obtaining the first interpolation image, and a second higher sharpness than the first interpolation image The interpolation coefficient Cij corresponding to each of the original pixel data Yij in the interpolation function g represented by the following equation (2) for obtaining the interpolation image of
Extracting a medium frequency component in the original image;
Based on the intermediate frequency component, the edge-likeness of each interpolation point in the target interpolation image is estimated, and the weighting coefficient α corresponding to the interpolation point is set so as to increase as the estimated edge-likeness increases. ,
Interpolation using the interpolation function h shown in Expression (4) having a new interpolation coefficient Aij shown in the following Expression (3) obtained by linearly combining the interpolation coefficients Bij and Cij with the set weighting coefficient α An image processing method characterized by performing calculation to obtain interpolated pixel data.
f = ΣBij · Yij (1)
g = ΣCij · Yij (2)
Aij = (1-α) Bij + αCij (3)
h = ΣAij · Yij (4)
(Where i = 1, 2,..., J = 1, 2,...) The image processing method according to claim 1, wherein the interpolation function f is a B-spline interpolation calculation function, and the interpolation function g is a cubic spline interpolation calculation function. 3. The image processing method according to claim 1, wherein an absolute value of a middle frequency component of the interpolation point in the target interpolation image is estimated to be an edge-likeness of the interpolation point. An image processing apparatus that obtains a target interpolation image by performing an interpolation operation on a large number of original pixel data Yij representing an original image to obtain interpolation data having a pixel pitch different from that of the original pixel data,
An interpolation coefficient Bij corresponding to each of the original pixel data Yij in the interpolation function f represented by the following expression (1) for obtaining the first interpolation image, and a second higher sharpness than the first interpolation image Interpolation coefficient calculating means for respectively obtaining an interpolation coefficient Cij corresponding to each original pixel data Yij in the interpolation function g represented by the following equation (2) for obtaining the interpolation image of:
Extracting means for extracting a medium frequency component in the original image;
Based on the medium frequency component in the original image extracted by the extraction means, the edge likelihood of each interpolation point in the target interpolation image is estimated, and the weighting coefficient α corresponding to the interpolation point is estimated. Weighting coefficient setting means for setting so as to increase as the edge-likeness increases,
A new interpolation coefficient Aij shown in the following equation (3) obtained by linearly combining the interpolation coefficients Bij and Cij calculated by the interpolation coefficient calculation means with the weighting coefficient α set by the weighting coefficient setting means An image processing apparatus comprising: an interpolation calculation unit that obtains interpolation pixel data by performing an interpolation calculation using an interpolation function h represented by Expression (4) having:
f = ΣBij · Yij (1)
g = ΣCij · Yij (2)
Aij = (1-α) Bij + αCij (3)
h = ΣAij · Yij (4)
(Where i = 1, 2,..., J = 1, 2,...) The image processing apparatus according to claim 4, wherein the interpolation function f is a B-spline interpolation calculation function, and the interpolation function g is a cubic spline interpolation calculation function. 6. The image processing according to claim 4 or 5, wherein the weighting coefficient setting means estimates an absolute value of a middle frequency component of an interpolation point in the target interpolation image to make it an edge like the interpolation point. apparatus. A program for causing a computer to perform image processing for obtaining a target interpolation image by performing interpolation calculation on a large number of original pixel data Yij representing an original image and obtaining interpolated pixel data having a pixel pitch different from that of the original pixel data Because
The image processing is sharper than the first interpolation image and the interpolation coefficient Bij corresponding to each original pixel data Yij in the interpolation function f represented by the following equation (1) for obtaining the first interpolation image. An interpolation coefficient calculation process for obtaining an interpolation coefficient Cij corresponding to each original pixel data Yij in the interpolation function g represented by the following equation (2) for obtaining a second interpolation image having a high degree;
An extraction process for extracting a medium frequency component in the original image;
Based on the intermediate frequency component, the edge-likeness of the interpolation point in the target interpolation image is estimated, and the weighting coefficient α corresponding to the interpolation point is set so as to increase as the estimated edge-likeness increases. Coefficient setting process,
Interpolation using the interpolation function h shown in Expression (4) having a new interpolation coefficient Aij shown in the following Expression (3) obtained by linearly combining the interpolation coefficients Bij and Cij with the set weighting coefficient α A program comprising interpolation calculation processing for calculating interpolation pixel data by performing calculation.
f = ΣBij · Yij (1)
g = ΣCij · Yij (2)
Aij = (1-α) Bij + αCij (3)
h = ΣAij · Yij (4)
(Where i = 1, 2,..., J = 1, 2,...)

Images