JP2016085628A - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Abstract

【課題】ステップエッジにおけるオーバーシュート・リンギングの低減と、高周波成分の維持とを両立させる補間処理を行うことが可能な画像処理装置、画像処理方法、およびプログラムを提供する。
【解決手段】垂直ステップエッジ領域を判定する第１の領域判定部と、水平ステップエッジ領域を判定する第２の領域判定部と、ステップエッジ領域の判定結果に対応する補間処理を行う補間処理部とを備え、第１の領域判定部は、垂直方向における補間値と周辺画素の画素値との差分の絶対値を算出し、上側および下側の周辺画素に対応する絶対値の最大値および最小値の関係によって垂直ステップエッジ領域を判定し、第２の領域判定部は、注目画素における水平方向の補間値と周辺画素の画素値との差分の絶対値を算出し、左側および右側の周辺画素に対応する絶対値の最大値および最小値の関係によって水平ステップエッジ領域を判定する、画像処理装置が提供される。
【選択図】図３

Description

本発明は、画像処理装置、画像処理方法、およびプログラムに関する。

近年、テレビ（television）受像機などの表示装置の高精細化に伴い、画像の補間処理の重要性が増している。このような中、補間処理に関する技術が開発されている。画像中のオーバーシュート（overshoot）が発生する領域を検出し、検出結果に基づいて２つの補間処理の中から補間処理を決定する技術としては、例えば下記の特許文献１に記載の技術が挙げられる。

特開２０１０−００９３８１号公報

例えば特許文献１に記載の技術のように、オーバーシュートが発生する領域の検出結果に応じて補間処理を決定することによって、オーバーシュートを抑制することができる可能性はある。しかしながら、例えば特許文献１に記載の技術では、補間処理のための参照画素それぞれの１画素分の特性に基づきオーバーシュートが発生する領域を検出するので、領域の検出性能が十分であるとはいえない。

本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、ステップエッジ（step edge）におけるオーバーシュート・リンギング（ringing）の低減と、テクスチャ（texture）などの高周波成分の維持とを両立させる補間処理を行うことが可能な、新規かつ改良された画像処理装置、画像処理方法、およびプログラム（program）を提供することにある。

上記目的を達成するために、本発明の第１の観点によれば、入力される入力画像信号から画像における垂直方向のステップエッジを示す垂直ステップエッジ領域を判定する垂直ステップエッジ領域判定部と、上記入力画像信号から画像における水平方向のステップエッジを示す水平ステップエッジ領域を判定する水平ステップエッジ領域判定部と、上記垂直ステップエッジ領域の判定結果、および上記水平ステップエッジ領域の判定結果に対応する補間処理を行う補間処理部と、を備え、上記垂直ステップエッジ領域判定部は、注目画素に対応する垂直方向の補間値と上記注目画素の垂直方向の周辺画素の画素値との差分の絶対値を算出し、上記注目画素の位置を基準とした上側の周辺画素に対応する上記絶対値の最大値および最小値と、上記注目画素の位置を基準とした下側の周辺画素に対応する上記絶対値の最大値および最小値との関係によって、上記垂直ステップエッジ領域を判定し、上記水平ステップエッジ領域判定部は、注目画素に対応する水平方向の補間値と上記注目画素の水平方向の周辺画素の画素値との差分の絶対値を算出し、上記注目画素の位置を基準とした左側の周辺画素に対応する上記絶対値の最大値および最小値と、上記注目画素の位置を基準とした右側の周辺画素に対応する上記絶対値の最大値および最小値との関係によって、上記水平ステップエッジ領域を判定する、画像処理装置が提供される。

かかる構成によって、画像の垂直方向に対して垂直ステップエッジ領域の判定結果に対応する補間処理を行い、また、画像の水平方向に対して水平ステップエッジ領域の判定結果に対応する補間処理を行うことが可能となる。よって、かかる構成によって、ステップエッジにおけるオーバーシュート・リンギングの低減と、テクスチャなどの高周波成分の維持とを両立させる補間処理を行うことができる。

また、上記補間処理部は、上記垂直ステップエッジ領域の判定結果に応じて、補間によりオーバーシュートおよびリンギングが発生しない第１の補間処理の結果、または上記第１の補間処理と異なる第２の補間処理の結果を用いることによって、垂直方向の補間を行い、上記水平ステップエッジ領域の判定結果に応じて、上記第１の補間処理の結果、または上記第２の補間処理の結果を用いることによって、水平方向の補間を行ってもよい。

また、上記垂直ステップエッジ領域の判定結果に基づいて、垂直方向の補間において補間によりオーバーシュートおよびリンギングが発生しない第１の補間処理の結果と上記第１の補間処理と異なる第２の補間処理の結果とを混合するための、第１混合比を算出する第１混合比算出部と、上記水平ステップエッジ領域の判定結果に基づいて、水平方向の補間において上記第１の補間処理の結果と上記第２の補間処理の結果とを混合するための、第２混合比を算出する第２混合比算出部と、をさらに備え、上記補間処理部は、上記第１混合比に応じて、上記第１の補間処理の結果と上記第２の補間処理の結果とを混合して、垂直方向の補間を行い、上記第２混合比に応じて、上記第１の補間処理の結果と上記第２の補間処理の結果とを混合して、水平方向の補間を行ってもよい。

また、上記垂直ステップエッジ領域判定部は、補間によりオーバーシュートおよびリンギングが発生しない第１の補間処理によって、上記注目画素に対応する垂直方向の補間値を算出してもよい。

また、上記水平ステップエッジ領域判定部は、補間によりオーバーシュートおよびリンギングが発生しない第１の補間処理によって、上記注目画素に対応する水平方向の補間値を算出してもよい。

また、上記目的を達成するために、本発明の第２の観点によれば、入力される入力画像信号から画像における垂直方向のステップエッジを示す垂直ステップエッジ領域を判定する垂直ステップエッジ領域判定ステップと、上記入力画像信号から画像における水平方向のステップエッジを示す水平ステップエッジ領域を判定する水平ステップエッジ領域判定ステップと、上記垂直ステップエッジ領域の判定結果、および上記水平ステップエッジ領域の判定結果に対応する補間処理を行う補間処理ステップと、を有し、上記垂直ステップエッジ領域判定ステップでは、注目画素に対応する垂直方向の補間値と上記注目画素の垂直方向の周辺画素の画素値との差分の絶対値が算出され、上記注目画素の位置を基準とした上側の周辺画素に対応する上記絶対値の最大値および最小値と、上記注目画素の位置を基準とした下側の周辺画素に対応する上記絶対値の最大値および最小値との関係によって、上記垂直ステップエッジ領域が判定され、上記水平ステップエッジ領域判定ステップでは、注目画素に対応する水平方向の補間値と上記注目画素の水平方向の周辺画素の画素値との差分の絶対値が算出され、上記注目画素の位置を基準とした左側の周辺画素に対応する上記絶対値の最大値および最小値と、上記注目画素の位置を基準とした右側の周辺画素に対応する上記絶対値の最大値および最小値との関係によって、上記水平ステップエッジ領域が判定される、画像処理方法が提供される。

かかる方法が用いられることによって、画像の垂直方向に対して垂直ステップエッジ領域の判定結果に対応する補間処理を行い、また、画像の水平方向に対して水平ステップエッジ領域の判定結果に対応する補間処理を行うことが可能となる。よって、かかる方法が用いられることによって、ステップエッジにおけるオーバーシュート・リンギングの低減と、テクスチャなどの高周波成分の維持とを両立させる補間処理を行うことができる。

また、上記目的を達成するために、本発明の第３の観点によれば、コンピュータを、
入力される入力画像信号から画像における垂直方向のステップエッジを示す垂直ステップエッジ領域を判定する垂直ステップエッジ領域判定手段、上記入力画像信号から画像における水平方向のステップエッジを示す水平ステップエッジ領域を判定する水平ステップエッジ領域判定手段、上記垂直ステップエッジ領域の判定結果、および上記水平ステップエッジ領域の判定結果に対応する補間処理を行う補間処理手段、として機能させ、上記垂直ステップエッジ領域判定手段は、注目画素に対応する垂直方向の補間値と上記注目画素の垂直方向の周辺画素の画素値との差分の絶対値を算出し、上記注目画素の位置を基準とした上側の周辺画素に対応する上記絶対値の最大値および最小値と、上記注目画素の位置を基準とした下側の周辺画素に対応する上記絶対値の最大値および最小値との関係によって、上記垂直ステップエッジ領域を判定し、上記水平ステップエッジ領域判定手段は、注目画素に対応する水平方向の補間値と上記注目画素の水平方向の周辺画素の画素値との差分の絶対値を算出し、上記注目画素の位置を基準とした左側の周辺画素に対応する上記絶対値の最大値および最小値と、上記注目画素の位置を基準とした右側の周辺画素に対応する上記絶対値の最大値および最小値との関係によって、上記水平ステップエッジ領域を判定する、プログラムが提供される。

かかるプログラムが用いられることによって、画像の垂直方向に対して垂直ステップエッジ領域の判定結果に対応する補間処理を行い、また、画像の水平方向に対して水平ステップエッジ領域の判定結果に対応する補間処理を行うことが可能となる。よって、かかるプログラムが用いられることによって、ステップエッジにおけるオーバーシュート・リンギングの低減と、テクスチャなどの高周波成分の維持とを両立させる補間処理を行うことができる。

本発明によれば、ステップエッジにおけるオーバーシュート・リンギングの低減と、テクスチャなどの高周波成分の維持とを両立させる補間処理を行うことができる。

本発明の実施形態に係る画像処理方法を説明するための説明図である。 本発明の実施形態に係る画像処理方法に係る垂直ステップエッジ領域判定処理の一例を説明するための説明図である。 第１の実施形態に係る画像処理装置の構成の一例を示すブロック（block）図である。 第１の実施形態に係る画像処理装置が備える垂直ステップエッジ領域判定部の構成の一例を示す説明図である。 第２の実施形態に係る画像処理装置の構成の一例を示すブロック図である。 第２の実施形態に係る画像処理装置が備える第１混合比算出部の構成の一例を示す説明図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

（本発明の実施形態に係る画像処理方法）
まず、本発明の実施形態に係る画像処理方法について説明する。以下では、本発明の実施形態に係る画像処理方法に係る処理を、本発明の実施形態に係る画像処理装置が行う場合を例に挙げて、本発明の実施形態に係る画像処理方法について説明する。

［１］本発明の実施形態に係る画像処理方法の概要
例えば、１次元の信号をＵ倍（Ｕは、正の整数）に拡大する際、アンチエイリアシングフィルタ（anti-aliasing filter）をＵ個に分解したポリフェーズフィルタ（polyphase filter）から、補間位置に対応したものを計算すれば、補間結果（補間値）が得られる。ここで、ポリフェーズフィルタとは、アップサンプラ（up-sampler）により内挿された０に対する乗算を省略するように構成されたフィルタである。

元の画像信号のサンプリング（sampling）間隔を１とし、ｎ番目（ｎは整数）のサンプル（sample）の周辺の任意の位置ｘ（ｎ−０．５≦ｘ＜ｎ＋０．５）を補間位置とすると、ｎ番目のサンプルに対するポリフェーズフィルタの係数の符号は“ｓｇｎ（ｓｉｎｃ（ｎ−ｘ））”となる。

ここで、アンチエイリアシングフィルタとして線形補間を適用すると、ポリフェーズフィルタはｘ＜ｎの場合はｎ−１番目とｎ番目、ｘ＞ｎの場合はｎ番目とｎ＋１番目の２つのサンプルを入力とする２タップ（tap）のフィルタとなり、係数は常に正である。この場合オーバーシュート（いわゆるアンダーシュート（undershoot）も含む。以下、同様とする。）・リンギングは発生しない。

一方、キュービック（cubic）補間や、２−ｌｏｂｂｅｄのＬａｎｃｚｏｓ（以下、「Ｌａｎｃｚｏｓ２」と示す場合がある。）または３−ｌｏｂｂｅｄのＬａｎｃｚｏｓ（以下、「Ｌａｎｃｚｏｓ３」と示す場合がある。）などのフィルタを適用すると、ｘ＜ｎの場合はｎ−２番目とｎ＋１番目、ｘ＞ｎの場合はｎ−１番目とｎ＋２番目のサンプルに対する係数が負となる。画像の拡大の場合、遠くのエッジの影響によるリンギングや演算量を抑えるなどの理由から、一般的には６タップ以内で実装されることが多く、さらにタップ数が多い場合でも、補間位置から離れた画素に対する係数の重みは小さくなっていく。このため、オーバーシュート・リンギングの主要因となるのは、これら補間位置に近い画素に対する負の係数のみと考えてよい。

図１は、本発明の実施形態に係る画像処理方法を説明するための説明図である。図１は、Ｌａｎｃｚｏｓ３を用いてステップエッジ領域を２倍に補間処理した場合の波形の一例を示している。例えば図１に示すように、エッジの近くで平坦度が高くなっているエッジを含む領域が「ステップエッジ領域」に該当する。

図１に示す例では、補間位置はｎ−０．２５，ｎ＋０．２５であり、それぞれ＃０と＃１のポリフェーズフィルタで補間される。これらの係数は、＃０がｎ−３番目からｎ＋２番目のサンプルに対して順に（０．００７４，−０．０６８０，０．２７１０，０．８９２８，−０．１３３３，０．０３０１）であり、＃１がｎ−２番目からｎ＋３番目のサンプルに対して順に（０．０３０１，−０．１３３３，０．８９２８，０．２７１０，−０．０６８０，０．００７４）である。

例えば図１に示すように、ステップエッジ領域に対してキュービック補間やＬａｎｃｚｏｓなどのフィルタを用いて補間が行われた場合に元の画像信号の波形からずれが大きいのは、エッジを境とした元の画素２つ分の領域など、エッジの周辺の領域となっている。

よって、ステップエッジ領域に対しては、キュービック補間やＬａｎｃｚｏｓなどによる補間処理ではなく、線形補間などのオーバーシュート・リンギングが発生しない補間処理を行えば、ステップエッジにおけるオーバーシュート・リンギングは低減される。また、ステップエッジ領域以外の領域に対しては、キュービック補間やＬａｎｃｚｏｓなどによる補間処理を行うことによって、元の高周波成分の減衰が少ない補間を実現することが可能である。

そこで、本発明の実施形態に係る画像処理装置は、入力される画像信号（以下、「入力画像信号」と示す。）からステップエッジ領域を判定し、ステップエッジ領域の判定結果に対応する補間処理を行う。

ここで、本発明の実施形態に係る画像処理装置が処理する、入力画像信号が示す画像としては、例えば、本発明の実施形態に係る画像処理装置が備える記録媒体や、本発明の実施形態に係る画像処理装置に接続されている外部の記録媒体から読み出された画像データが示す画像が挙げられる。また、本発明の実施形態に係る画像処理装置が処理する入力画像信号が示す画像は、例えば、本発明の実施形態に係る画像処理装置が備える通信デバイスが外部装置から受信した画像信号が示す画像や、本発明の実施形態に係る画像処理装置に接続されている外部の通信デバイスが受信した画像信号が示す画像であってもよい。

より具体的には、本発明の実施形態に係る画像処理装置は、入力画像信号から垂直ステップエッジ領域を判定する処理（垂直ステップエッジ領域判定処理）と、入力画像信号から水平ステップエッジ領域を判定する処理（水平ステップエッジ領域判定処理）とを独立に行う。

ここで、本発明の実施形態に係る垂直ステップエッジ領域とは、入力画像信号が示す画像における垂直方向のステップエッジを示す領域であり、また、本発明の実施形態に係る水平ステップエッジ領域とは、入力画像信号が示す画像における水平方向のステップエッジを示す領域である。

本発明の実施形態に係る垂直ステップエッジ領域判定処理、および水平ステップエッジ領域判定処理の一例については、後述する。

垂直ステップエッジ領域、および水平ステップエッジ領域が判定されると、本発明の実施形態に係る画像処理装置は、垂直ステップエッジ領域の判定結果、および水平ステップエッジ領域の判定結果に対応する補間処理を行う（補間処理）。

ここで、本発明の実施形態に係る補間処理としては、例えば、“補間によりオーバーシュートおよびリンギングが発生しない第１の補間処理”や、“第１の補間処理と異なる第２の補間処理”、“第１の補間処理と第２の補間処理とを組み合わせた処理”が挙げられる。

本発明の実施形態に係る第１の補間処理としては、例えば線形補間が挙げられる。なお、本発明の実施形態に係る第１の補間処理は、線形補間に限られず、補間によりオーバーシュートおよびリンギングが発生しない任意の補間処理であってもよい。

また、本発明の実施形態に係る第２の補間処理としては、例えば、Ｌａｎｃｚｏｓ２やＬａｎｃｚｏｓ３、キュービック補間など、リンギングは発生しうるが元の高周波成分の減衰が少ない補間処理が挙げられる。なお、本発明の実施形態に係る第２の補間処理は、上記に限られない。例えば、本発明の実施形態に係る第２の補間処理は、一次元の補間が可能な、第１の補間処理と異なる任意の補間処理であってもよい。

また、本発明の実施形態に係る第１の補間処理と第２の補間処理とを組み合わせた処理としては、例えば、第１の補間処理の結果と第２の補間処理の結果とを混合して補完を行う処理が挙げられる。

本発明の実施形態に係る画像処理装置は、垂直ステップエッジ領域の判定結果に対応する補間処理によって、画像の垂直方向の補間を行い、また、水平ステップエッジ領域の判定結果に対応する補間処理によって、画像の水平方向の補間を行う。本発明の実施形態に係る補間処理の一例については、後述する。

本発明の実施形態に係る画像処理装置は、本発明の実施形態に係る画像処理方法に係る処理として、例えば、上記垂直ステップエッジ領域判定処理、上記水平ステップエッジ領域判定処理、および上記補間処理を行う。

［２］本発明の実施形態に係る画像処理方法に係る処理
次に、本発明の実施形態に係る画像処理方法に係る処理について、より具体的に説明する。

（１）垂直ステップエッジ領域判定処理、水平ステップエッジ領域判定処理
まず、垂直ステップエッジ領域判定処理と水平ステップエッジ領域判定処理とについて説明する。

垂直ステップエッジ領域判定処理は、垂直方向の補間を行う場合にステップエッジ領域であるか否かを判定する処理であり、また、水平ステップエッジ領域判定処理は、水平方向の補間を行う場合にステップエッジ領域であるか否かを判定する処理である。垂直ステップエッジ領域判定処理と水平ステップエッジ領域判定処理とは、それぞれ独立した１次元的処理であるので、以下では、垂直ステップエッジ領域判定処理について説明する。なお、水平ステップエッジ領域判定処理については、以下に示す垂直ステップエッジ領域判定処理における垂直方向を水平方向に読み替えればよい。

図２は、本発明の実施形態に係る画像処理方法に係る垂直ステップエッジ領域判定処理の一例を説明するための説明図である。図２では、注目画素を中心とする５×５の画素の領域を示している。

本発明の実施形態に係る画像処理装置は、例えば、図２に示す注目画素に対応する補間位置に対して、垂直方向の補間値を求める。本発明の実施形態に係る画像処理装置は、例えば、線形補間などの第１の補間処理によって、垂直方向の補間値を求める。

線形補間により垂直方向の補間値を求める場合を例に挙げると、本発明の実施形態に係る画像処理装置は、例えば下記の数式１により補間値Ｃを算出する。ここで、下記の数式１に示す“Ｓ（ｎ_ｘ，ｎ_ｙ）”は、（ｎ_ｘ，ｎ_ｙ）の位置の画素（注目画素）のサンプル値であり、“Ｓ（ｎ_ｘ，ｎ_ｙ−１）”は、（ｎ_ｘ，ｎ_ｙ−１）の位置の画素のサンプル値である。本発明の実施形態に係るサンプル値としては、輝度値が挙げられる。以下では、サンプル値を「画素値」と示す場合がある。

なお、補間位置が、（ｎ_ｘ，ｎ_ｙ）の位置の画素と（ｎ_ｘ，ｎ_ｙ−１）の位置の画素との間にある場合には、（ｎ_ｘ，ｎ_ｙ−１）の位置の画素のサンプル値を用いて上記数式１と同様に補間値Ｃは算出される。

本発明の実施形態に係る画像処理装置は、“注目画素に対応する垂直方向の補間値Ｃと注目画素の垂直方向の周辺画素の画素値との差分の絶対値”（以下、「差分絶対値」と示す場合がある。）を、例えば下記の数式２により算出する。

ここで、下記の数式２に示す“ＤＵ”は、注目画素の位置を基準とした上側の周辺画素に対応する差分絶対値を示しており、下記の数式２に示す“ＤＬ”は、注目画素の位置を基準とした下側の周辺画素に対応する差分絶対値を示している。以下では、注目画素の位置を基準とした上側の周辺画素を「上側の周辺画素」と示し、注目画素の位置を基準とした下側の周辺画素を「下側の周辺画素」と示す。

なお、図２では、注目画素の垂直方向の周辺画素が、注目画素の上側の２画素、および注目画素の下側の２画素であり、差分絶対値が４つ算出される例を示しているが、本発明の実施形態に係る注目画素の垂直方向の周辺画素は、図２に示す例に限られない。例えば、本発明の実施形態に係る注目画素の垂直方向の周辺画素は、注目画素の上側の２画素以上の画素、および注目画素の下側の２画素以上の画素であってもよい。

また、本発明の実施形態に係る画像処理装置は、例えば下記の数式３に示すように、上側の周辺画素に対応する差分絶対値の最大値ＤＵ_ｍａｘおよび最小値ＤＵ_ｍｉｎと、下側の周辺画素に対応する差分絶対値の最大値ＤＬ_ｍａｘおよび最小値ＤＬ_ｍｉｎとを求める。

ここで、“最大値ＤＵ_ｍａｘ＞最大値ＤＬ_ｍａｘ”である場合は、最大のエッジが補間位置の上側に存在していることを示し、“最大値ＤＵ_ｍａｘ＜最大値ＤＬ_ｍａｘ”である場合は、最大のエッジが補間位置の上側に存在することを示している。また、最大エッジのある側と反対側が平坦であれば、ステップエッジと判定することが可能である。

よって、本発明の実施形態に係る画像処理装置は、上側の周辺画素に対応する差分絶対値の最大値ＤＵ_ｍａｘおよび最小値ＤＵ_ｍｉｎと、下側の周辺画素に対応する差分絶対値の最大値ＤＬ_ｍａｘおよび最小値ＤＬ_ｍｉｎとの関係によって、垂直ステップエッジ領域を判定する。

より具体的には、本発明の実施形態に係る画像処理装置は、例えば下記の（ａ）〜（ｃ）に示す判定基準よって、垂直ステップエッジ領域を判定する。

（ａ）最大値ＤＵ_ｍａｘ＞最大値ＤＬ_ｍａｘの場合
本発明の実施形態に係る画像処理装置は、例えば“ＤＵ_ｍａｘ／ＤＬ_ｍａｘ＞α”を満たす場合に、ステップエッジ領域と判定する。ここで、“α”は、判定のための基準値である。基準値αは、例えば、ステップエッジを含む画像を利用して実験的に得られる。なお、基準値αは、上記に示す方法に限られず、任意の方法によって設定されてもよい。

（ｂ）最大値ＤＵ_ｍａｘ＜最大値ＤＬ_ｍａｘの場合
本発明の実施形態に係る画像処理装置は、例えば“ＤＬ_ｍａｘ／ＤＵ_ｍａｘ＞α”を満たす場合に、ステップエッジ領域と判定する。

（ｃ）最大値ＤＵ_ｍａｘ＝最大値ＤＬ_ｍａｘの場合
本発明の実施形態に係る画像処理装置は、例えば“ＤＵ_ｍａｘ／ｍｉｎ（ＤＵ_ｍｉｎ，ＤＬ_ｍｉｎ）＞α”を満たす場合に、ステップエッジ領域と判定する。

また、本発明の実施形態に係る画像処理装置は、例えば上記判定式のｍｉｎ項において、“ＤＵ_ｍｉｎ＜β、およびＤＬ_ｍｉｎ＜β”を満たす場合にのみ、ステップエッジ領域と判定してもよい。ここで、“β”は、画像におけるエッジではない部分が平滑化されないようにするための基準値であり、基準値αに対して微小な値を有する。基準値βは、例えば、ステップエッジを含む画像を利用して実験的に得られる。なお、基準値βは、上記に示す方法に限られず、任意の方法によって設定されてもよい。

本発明の実施形態に係る画像処理装置は、垂直ステップエッジ領域判定処理として、例えば上記のような処理を行うことによって、垂直ステップエッジ領域を判定する。

また、本発明の実施形態に係る画像処理装置は、例えば、ある注目画素において垂直ステップエッジ領域の判定に要する周辺画素の数が不足している場合には、当該注目画素を垂直ステップエッジ領域に含まれる画素であると判定しない。なお、上記の場合における処理が、上記に示す例に限られないことは、言うまでもない。

上述した垂直ステップエッジ領域判定処理と同様の処理を画像の水平方向に適用することによって、水平ステップエッジ領域を判定することが可能である。つまり、本発明の実施形態に係る画像処理装置では、水平ステップエッジ領域判定処理として、上述した垂直ステップエッジ領域判定処理と同様の処理が画像の水平方向に行われる。

（２）補間処理
本発明の実施形態に係る画像処理装置は、垂直ステップエッジ領域の判定結果、および水平ステップエッジ領域の判定結果に対応する補間処理を行う。本発明の実施形態に係る画像処理装置は、垂直ステップエッジ領域の判定結果に対応する補間処理によって、画像の垂直方向の補間を行い、また、水平ステップエッジ領域の判定結果に対応する補間処理によって、画像の水平方向の補間を行う。

本発明の実施形態に係る画像処理装置は、例えば、画像の垂直方向の補間、画像の水平方向の補間の順番に、補間処理を行う。なお、本発明の実施形態に係る画像処理装置は、画像の水平方向の補間、画像の垂直方向の補間の順番に、補間処理を行うことも可能である。以下では、本発明の実施形態に係る画像処理装置が、画像の垂直方向の補間、画像の水平方向の補間の順番に、補間処理を行う場合を主に例に挙げる。

（２−１）補間処理の第１の例：第１の補間処理の結果、または第２の補間処理の結果の選択による補間
本発明の実施形態に係る画像処理装置は、垂直ステップエッジ領域の判定結果に応じて、第１の補間処理の結果、または、第２の補間処理の結果を用いることによって、垂直方向の補間を行う。また、本発明の実施形態に係る画像処理装置は、水平ステップエッジ領域の判定結果に応じて、第１の補間処理の結果、または、第２の補間処理の結果を用いることによって、水平方向の補間を行う。

より具体的には、本発明の実施形態に係る画像処理装置は、例えば、画像の垂直方向の補間値として、第１の補間処理の補間値（第１の補間処理の結果）と第２の補間処理の補間値（第２の補間処理の結果）との双方を求めておく。補間位置に対応する垂直ステップエッジ領域の判定結果が垂直ステップエッジ領域を示す場合には、本発明の実施形態に係る画像処理装置は、例えば、第１の補間処理の補間値を最終的な補間値とする。また、補間位置に対応する垂直ステップエッジ領域の判定結果が垂直ステップエッジ領域を示す場合には、本発明の実施形態に係る画像処理装置は、例えば、第２の補間処理の補間値を最終的な補間値とする。

なお、第１の例に係る補間処理は、垂直方向に対応する第１の補間処理の補間値と第２の補間処理の補間値との双方を求めておくことに限られない。例えば、本発明の実施形態に係る画像処理装置は、それぞれの補間位置に対応する垂直ステップエッジ領域の判定結果に応じて、第１の補間処理、または第２の補間処理の一方の補間処理を行い、行われた補間処理により得られる補間値を、画像の垂直方向の最終的な補間値とすることも可能である。

垂直方向の補間が行われると、本発明の実施形態に係る画像処理装置は、例えば、垂直方向の補間が行われた結果の画像信号を用いて、画像の水平方向の補間値として、第１の補間処理の補間値（第１の補間処理の結果）と第２の補間処理の補間値（第２の補間処理の結果）との双方を求めておく。補間位置に対応する水平ステップエッジ領域の判定結果が水平ステップエッジ領域を示す場合には、本発明の実施形態に係る画像処理装置は、例えば、第１の補間処理の補間値を最終的な補間値とする。また、補間位置に対応する水平ステップエッジ領域の判定結果が水平ステップエッジ領域を示す場合には、本発明の実施形態に係る画像処理装置は、例えば、第２の補間処理の補間値を最終的な補間値とする。

なお、第１の例に係る補間処理は、水平方向に対応する第１の補間処理の補間値と第２の補間処理の補間値との双方を求めておくことに限られない。例えば、本発明の実施形態に係る画像処理装置は、それぞれの補間位置に対応する水平ステップエッジ領域の判定結果に応じて、第１の補間処理、または第２の補間処理の一方の補間処理を行い、行われた補間処理により得られる補間値を、画像の水平方向の最終的な補間値とすることも可能である。

本発明の実施形態に係る画像処理装置は、例えば上記のように、画像の垂直方向、水平方向それぞれにおいて第１の補間処理の結果または第２の補間処理の結果を選択的に用いて、画像の垂直方向、水平方向それぞれの補間を行う。

なお、画像の水平方向の補間、画像の垂直方向の補間の順番に、補間処理が行われる場合には、上記に示した第１の例に係る補間処理の具体例において、垂直と水平を入れ替えればよい。

（２−２）補間処理の第２の例：第１の補間処理の結果と第２の補間処理の結果との混合による補間
本発明の実施形態に係る画像処理装置は、垂直ステップエッジ領域の判定結果に基づいて第１混合比を算出する。また、本発明の実施形態に係る画像処理装置は、水平ステップエッジ領域の判定結果に基づいて第２混合比を算出する。

ここで、本発明の実施形態に係る第１の混合比、第２の混合比は、第１の補間処理の結果と第１の補間処理と異なる第２の補間処理の結果とを混合する割合を示す値である。本発明の実施形態に係る第１の混合比、第２の混合比の算出方法の一例については、後述する第２の実施形態に係る画像処理装置において説明する。

本発明の実施形態に係る画像処理装置は、第１混合比に応じて、第１の補間処理の補間値（第１の補間処理の結果）と第２の補間処理の補間値（第２の補間処理の結果）とを混合して、垂直方向の補間を行う。また、本発明の実施形態に係る画像処理装置は、第２混合比に応じて、第１の補間処理の結果と第２の補間処理の結果とを混合して、水平方向の補間を行う。

より具体的には、本発明の実施形態に係る画像処理装置は、例えば、画像の垂直方向の補間値として、第１の補間処理の補間値（第１の補間処理の結果）と第２の補間処理の補間値（第２の補間処理の結果）との双方を求めておく。本発明の実施形態に係る画像処理装置は、垂直ステップエッジ領域の判定結果に基づく第１混合比に応じて、第１の補間処理の補間値（第１の補間処理の結果）と第２の補間処理の補間値（第２の補間処理の結果）とを混合し、混合した結果の値を、画像の垂直方向の最終的な補間値とする。

垂直方向の補間が行われると、本発明の実施形態に係る画像処理装置は、例えば、垂直方向の補間が行われた結果の画像信号を用いて、画像の水平方向の補間値として、第１の補間処理の補間値（第１の補間処理の結果）と第２の補間処理の補間値（第２の補間処理の結果）との双方を求めておく。本発明の実施形態に係る画像処理装置は、水平ステップエッジ領域の判定結果に基づく第２混合比に応じて、第１の補間処理の補間値（第１の補間処理の結果）と第２の補間処理の補間値（第２の補間処理の結果）とを混合し、混合した結果の値を、画像の水平方向の最終的な補間値とする。

本発明の実施形態に係る画像処理装置は、例えば上記のように、画像の垂直方向、水平方向それぞれにおいて、第１の補間処理の結果と第２の補間処理の結果とを混合することにより、画像の垂直方向、水平方向それぞれの補間を行う。

なお、画像の水平方向の補間、画像の垂直方向の補間の順番に、補間処理が行われる場合には、上記に示した第２の例に係る補間処理の具体例において、垂直と水平を入れ替えればよい。

本発明の実施形態に係る画像処理装置は、本発明の実施形態に係る画像処理方法に係る処理として、例えば上記（１）に示す処理（垂直ステップエッジ領域判定処理、水平ステップエッジ領域判定処理）、および上記（２）に示す処理（補間処理）を行う。

ここで、本発明の実施形態に係る画像処理装置は、上記（２）に示す処理（補間処理）において、上記（１）に示す処理（垂直ステップエッジ領域判定処理、水平ステップエッジ領域判定処理）における垂直ステップエッジ領域の判定結果、および水平ステップエッジ領域の判定結果に対応する補間処理を行う。

したがって、本発明の実施形態に係る画像処理装置は、ステップエッジにおけるオーバーシュート・リンギングの低減と、テクスチャなどの高周波成分の維持とを両立させる補間処理を行うことができる。

また、ステップエッジにおけるオーバーシュート・リンギングの低減と、テクスチャなどの高周波成分の維持とを両立させる補間処理が実現されることによって、エンハンス（enhancement）処理（特にエンハンス型超解像処理）が行われた場合に、効果的に画質を向上させることができる。

また、さらに、斜め補間などのジャギー（jaggy）を低減することが可能な処理が行われることによって、ステップエッジ周辺のテクスチャ成分の保存とジャギー低減との両立が可能となる。

（本発明の実施形態に係る画像処理装置）
次に、上述した本発明の実施形態に係る画像処理方法に係る処理を行うことが可能な、本発明の実施形態に係る画像処理装置の構成の一例について説明する。

［Ｉ］第１の実施形態に係る画像処理装置
図３は、第１の実施形態に係る画像処理装置１００の構成の一例を示すブロック図である。図３は、画像の垂直方向の補間、画像の水平方向の補間の順番に、補間処理が行われる場合における画像処理装置の構成の一例を示している。

画像処理装置１００は、例えば、垂直ステップエッジ領域判定部１０２と、水平ステップエッジ領域判定部１０４と、補間処理部１０６とを備える。

画像処理装置１００は、例えば、ＣＰＵ（Central Processing Unit）などのプロセッサ（processor）や各種処理回路などで構成され、画像処理装置１００全体を制御する制御部（図示せず）などを備えていてもよい。制御部（図示せず）を備える場合、画像処理装置１００では、制御部（図示せず）が、垂直ステップエッジ領域判定部１０２、水平ステップエッジ領域判定部１０４、および補間処理部１０６の役目を果たすことが可能である。

なお、垂直ステップエッジ領域判定部１０２、水平ステップエッジ領域判定部１０４、および補間処理部１０６の１または２以上が、制御部（図示せず）とは別体の処理回路（例えば、専用の処理回路、または、汎用の処理回路）などで実現されてもよいことは、言うまでもない。また、垂直ステップエッジ領域判定部１０２、水平ステップエッジ領域判定部１０４、および補間処理部１０６における１または２以上における処理は、プロセッサなどで実行されるプログラム（ソフトウェア（software））により実現されてもよい。

垂直ステップエッジ領域判定部１０２は、上記（１）に示す垂直ステップエッジ領域判定処理を主導的に行う役目を果たし、入力画像信号から画像における垂直方向のステップエッジを示す垂直ステップエッジ領域を判定する。垂直ステップエッジ領域判定部１０２は、例えば、上側の周辺画素に対応する差分絶対値の最大値および最小値と、下側の周辺画素に対応する差分絶対値の最大値および最小値との関係によって、垂直ステップエッジ領域を判定する。

図４は、第１の実施形態に係る画像処理装置１００が備える垂直ステップエッジ領域判定部１０２の構成の一例を示す説明図である。図４に示すＡは、垂直ステップエッジ領域の判定に係る補間位置が、例えば図２に示す（ｎ_ｘ，ｎ_ｙ）の位置の画素と（ｎ_ｘ，ｎ_ｙ−１）の位置の画素との間にある場合の構成を示している。また、図４に示すＢは、垂直ステップエッジ領域の判定に係る補間位置が、例えば図２に示す（ｎ_ｘ，ｎ_ｙ）の位置の画素と（ｎ_ｘ，ｎ_ｙ＋１）の位置の画素との間にある場合の構成を示している。

図４に示す“線形補間”は、２つのサンプル値から補間値を求める部分であり、その係数は補間位置に応じたものとする。図４に示す“差分絶対値”は、２つの入力の差分を計算し、その絶対値を求める部分である。図４に示す“最大値”は、２つの入力の大きい方を出力する部分である。図４に示す“最小値”は、２つの入力の小さい方を出力する部分である。

ここで、ｎ番目の画素に対してマイナス（minus）側の画素との差分絶対値の最大値を“Ａ”、最小値を“Ｂ”、プラス（plus）側の画素との差分絶対値の最大値を“Ｃ”、最小値を“Ｄ”とする。

図４に示す“組み合わせ決定”は、ＡとＣとの関係に基づき下記のような出力を行う部分である。
・Ａ＞Ｃのとき、Ｅ＝Ａ，Ｆ＝Ｄを出力する。
・Ａ＜Ｃのとき、Ｅ＝Ｃ，Ｆ＝Ｂを出力する。
・Ａ＝Ｃのとき、ＢとＤの小さい方をＦとして出力し、Ｅ＝Ａを出力する。

ここで、Ｅはｎ番目のサンプル周辺の最大エッジの大きさ、Ｆは最大エッジと反対側の平坦さを示す指標となる。例えば、“Ｅが極めて大きい値であり、かつＦがほぼ０である場合”には、ステップエッジであると判定される。また、“Ｅが極めて大きい値であり、かつＦがほぼ０である場合”に該当しないときには、ステップエッジではないと判定される。

図４に示す“比率判定”は、上記のような判定を行う部分である。図４に示す“比率判定”は、例えば、Ｅ／Ｆ
＞αである場合にステップエッジであると判定する。また、図４に示す“比率判定”は、例えば、Ｅ＞Ｆ・αである場合にステップエッジであると判定してもよい。また、上述したように、図４に示す“比率判定”は、上述した基準値βをさらに用いて、Ｆ＜βであることを判定の条件に加えてもよい。

再度図３を参照して、第１の実施形態に係る画像処理装置１００の構成の一例を説明する。水平ステップエッジ領域判定部１０４は、上記（１）に示す水平ステップエッジ領域判定処理を主導的に行う役目を果たし、入力画像信号から画像における水平方向のステップエッジを示す水平ステップエッジ領域を判定する。水平ステップエッジ領域判定部１０４は、例えば、水平方向における注目画素の位置を基準とした左側の周辺画素に対応する差分絶対値の最大値および最小値と、水平方向における注目画素の位置を基準とした右側の周辺画素に対応する差分絶対値の最大値および最小値との関係によって、水平ステップエッジ領域を判定する。

水平ステップエッジ領域判定部１０４は、例えば、図４に示す垂直ステップエッジ領域判定部１０２の構成と同様の構成を有し、垂直ステップエッジ領域判定部１０２と同様の処理を画像の水平方向に対して行うことによって、水平ステップエッジ領域を判定する。

補間処理部１０６は、上記（２−１）に示す第１の例に係る補間処理を主導的に行う役目を果たし、垂直ステップエッジ領域判定部１０２における垂直ステップエッジ領域の判定結果、および水平ステップエッジ領域判定部１０４における水平ステップエッジ領域の判定結果に対応する補間処理を行う。

補間処理部１０６は、例えば、第１垂直補間処理部１０８と、第２垂直補間処理部１１０と、第１選択部１１２と、第１水平補間処理部１１４と、第２水平補間処理部１１６と、第２選択部１１８とを備える。ここで、補間処理部１０６では、第１垂直補間処理部１０８、第２垂直補間処理部１１０、および第１選択部１１２が、画像の垂直方向の補間を行う役目を果たす。また、補間処理部１０６では、第１水平補間処理部１１４、第２水平補間処理部１１６、および第２選択部１１８が、画像の水平方向の補間を行う役目を果たす。

第１垂直補間処理部１０８は、第１の補間処理を行う役目を果たし、例えば入力画像信号に対して画像の垂直方向に線形補間を行う。線形補間を行う場合、第１垂直補間処理部１０８は、例えば上記数式１に示す演算を行うことによって、補間を行う。

第２垂直補間処理部１１０は、第２の補間処理を行う役目を果たし、例えば入力画像信号に対して、画像の垂直方向に、Ｌａｎｃｚｏｓ２やＬａｎｃｚｏｓ３、キュービック補間などを行う。

具体例を挙げると、ｍ−ｌｏｂｂｅｄ Ｌａｎｃｚｏｓ（ｍは、２以上の整数）によって補間を行う場合には、第２垂直補間処理部１１０は、下記の数式４に示す関数を用いたアンチエイリアシングフィルタによる処理によって、補間を行う。

Ｌａｎｃｚｏｓ３の係数は、上記数式４より算出される。例えば、補間位置がｎ番目のサンプルの±０．２５であるときアンチエイリアシングフィルタの係数は、ｘ＝｛−２．７５，−２．２５，−１．７５，−１．２５，−０．７５，−０．２５，０．２５，０．７５，１．２５，１．７５，２．２５，２．７５｝の１２点について、ｈ（ｘ，３）を計算すれば得られる。

ポリフェーズフィルタ＃０は、位置−０．２５に対する係数であるので、ｎ−３番目のサンプルからｎ＋２番目のサンプルに対して、ｘ＝｛−２．７５，−１．７５，−０．７５，０．２５，１．２５，２．２５｝の６点が対応する。また、ポリフェーズフィルタ＃１は、位置０．２５に対する係数であるので、ｎ−２番目のサンプルからｎ＋３番目のサンプルに対して、ｘ＝｛−２．２５，−１．２５，−０．２５，０．７５，１．７５，２．７５｝の６点が対応する。なお、直流成分が変動することを防止するためには、それぞれ係数の総和を１に正規化すればよい。

第１選択部１１２は、垂直ステップエッジ領域判定部１０２から伝達される垂直ステップエッジ領域の判定結果に応じて、対応する第１垂直補間処理部１０８において求められた補間値、または、対応する第２垂直補間処理部１１０において求められた補間値の一方を出力する。

例えば第１選択部１１２がスイッチ（switch）を含んで構成される場合、垂直ステップエッジ領域の判定結果は、例えば信号レベル（ハイレベル／ローレベル）で表される。上記の場合、第１選択部１１２は、例えば、当該信号レベルに応じて上記スイッチにより出力を切り替えることによって、第１垂直補間処理部１０８において求められた補間値、または、第２垂直補間処理部１１０において求められた補間値の一方を出力する。なお、第１選択部１１２の構成や、垂直ステップエッジ領域の判定結果が、上記に示す例に限られないことは、言うまでもない。

第１水平補間処理部１１４は、第１の補間処理を行う役目を果たし、例えば第１選択部１１２から伝達される画像の垂直方向に補間が行われた画像信号に対して線形補間を行う。また、第２水平補間処理部１１６は、第２の補間処理を行う役目を果たし、例えば第１選択部１１２から伝達される画像の垂直方向に補間が行われた画像信号に対して、Ｌａｎｃｚｏｓ２やＬａｎｃｚｏｓ３、キュービック補間などを行う。

第２選択部１１８は、水平ステップエッジ領域判定部１０４から伝達される水平ステップエッジ領域の判定結果に応じて、対応する第１水平補間処理部１１４において求められた補間値、または、対応する第２水平補間処理部１１６において求められた補間値の一方を出力する。

例えば第２選択部１１８がスイッチを含んで構成される場合、水平ステップエッジ領域の判定結果は、例えば信号レベル（ハイレベル／ローレベル）で表される。上記の場合、第２選択部１１８は、例えば、当該信号レベルに応じて上記スイッチにより出力を切り替えることによって、第１水平補間処理部１１４において求められた補間値、または、第２水平補間処理部１１６において求められた補間値の一方を出力する。なお、第２選択部１１８の構成や、水平ステップエッジ領域の判定結果が、上記に示す例に限られないことは、言うまでもない。

補間処理部１０６は、例えば図３に示す構成を有することによって、上記（２−１）に示す第１の例に係る補間処理を行う。

なお、第１の実施形態に係る補間処理部１０６の構成は、図３に示す構成に限られない。

例えば、補間処理部１０６は、第１水平補間処理部１１４、第２水平補間処理部１１６、および第２選択部１１８の後段に、第１垂直補間処理部１０８、第２垂直補間処理部１１０、および第１選択部１１２が設けられる構成であってもよい。補間処理部１０６が上記の構成をとる場合、画像処理装置１００では、画像の水平方向の補間、画像の垂直方向の補間の順番に、補間処理が行われる。

また、補間処理部１０６は、例えば、第１選択部１１２を備えず、垂直ステップエッジ領域判定部１０２から伝達される垂直ステップエッジ領域の判定結果に応じて、第１垂直補間処理部１０８または第２垂直補間処理部１１０の一方が処理を行う構成をとる構成であってもよい。同様に、補間処理部１０６は、例えば、第２選択部１１８を備えず、水平ステップエッジ領域判定部１０４から伝達される水平ステップエッジ領域の判定結果に応じて、第１水平補間処理部１１４または第２水平補間処理部１１６の一方が処理を行う構成であってもよい。

第１の実施形態に係る画像処理装置１００は、例えば図３に示す構成（変形例も含む。）によって、本発明の実施形態に係る画像処理方法に係る処理（上記垂直ステップエッジ領域判定処理、上記水平ステップエッジ領域判定処理、および上記（２−１）に示す第１の例に係る補間処理）を行う。

よって、画像処理装置１００は、ステップエッジにおけるオーバーシュート・リンギングの低減と、テクスチャなどの高周波成分の維持とを両立させる補間処理を行うことができる。

また、画像処理装置１００は、例えば上述したような、本発明の実施形態に係る画像処理方法に係る処理が行われることにより奏される効果を、奏することができる。

また、画像処理装置１００は、図３に示す構成（変形例も含む。）をとることによって、例えば、画像処理に要するラインメモリを削減することが可能である。

［ＩＩ］第２の実施形態に係る画像処理装置
第１の実施形態では、上記（２−１）に示す第１の例に係る補間処理が行われる構成、すなわち、ステップエッジ領域の判定結果に基づいて第１の補間処理と第２の補間処理とが切り替えられる構成をしめしたが、本発明の実施形態に係る画像処理装置は、上記（２−１）に示す第１の例に係る補間処理を行う第１の実施形態に係る画像処理装置に限られない。

例えば、エッジの振幅が小さい場合は、オーバーシュート・リンギングは視覚的に目立たないので、エッジの振幅に応じて、第１の補間処理の結果と第２の補間処理の結果とを混合してもよい。

そこで次に、第２の実施形態に係る画像処理装置として、上記（２−２）に示す第２の例に係る補間処理を行う画像処理装置について説明する。

以下では、第２の実施形態に係る画像処理装置について、第１の実施形態に係る画像処理装置との相違点を中心に説明する。また、以下では、第１の実施形態に係る画像処理装置と同様の点については、説明を省略する。

図５は、第２の実施形態に係る画像処理装置２００の構成の一例を示すブロック図である。図５は、図３と同様に、画像の垂直方向の補間、画像の水平方向の補間の順番に、補間処理が行われる場合における画像処理装置の構成の一例を示している。

画像処理装置２００は、例えば、垂直ステップエッジ領域判定部１０２と、水平ステップエッジ領域判定部１０４と、第１混合比算出部２０２と、第２混合比算出部２０４と、補間処理部２０６とを備える。

画像処理装置２００は、例えば、ＣＰＵなどのプロセッサや各種処理回路などで構成され、画像処理装置２００全体を制御する制御部（図示せず）などを備えていてもよい。制御部（図示せず）を備える場合、画像処理装置２００では、制御部（図示せず）が、垂直ステップエッジ領域判定部１０２、水平ステップエッジ領域判定部１０４、第１混合比算出部２０２、第２混合比算出部２０４、および補間処理部２０６の役目を果たすことが可能である。

なお、垂直ステップエッジ領域判定部１０２、水平ステップエッジ領域判定部１０４、第１混合比算出部２０２、第２混合比算出部２０４、および補間処理部２０６の１または２以上が、制御部（図示せず）とは別体の処理回路（例えば、専用の処理回路、または、汎用の処理回路）などで実現されてもよいことは、言うまでもない。また、垂直ステップエッジ領域判定部１０２、水平ステップエッジ領域判定部１０４、第１混合比算出部２０２、第２混合比算出部２０４、および補間処理部２０６の１または２以上における処理は、プロセッサなどで実行されるプログラムにより実現されてもよい。

第１混合比算出部２０２は、垂直ステップエッジ領域判定部１０２から伝達される垂直ステップエッジ領域の判定結果に基づいて第１混合比を算出する。

より具体的には、第１混合比算出部２０２は、例えば、垂直ステップエッジ領域の判定結果と、図４における“Ｅ”（注目画素の周辺の最大エッジの大きさ）とを用いて、第１混合比を算出する。

図６は、第２の実施形態に係る画像処理装置２００が備える第１混合比算出部２０２の構成の一例を示す説明図である。

第１の補間処理の割合を“ｂ１”（０≦ｂ１≦１）とし、第２の補間処理の割合を“ｂ２”（ｂ２＝１−ｂ１）とする。ここで、ｂ１、ｂ２が、第１混合比の一例に該当する。つまり、第１混合比は、例えば、ｂ１またはｂ２の一方を決定することによって求まる。

上述したように、垂直ステップエッジ領域ではない場合には、第２の補間処理が行われるので、垂直ステップエッジ領域ではない領域は、ｂ１＝０、ｂ２＝１である。

また、垂直ステップエッジ領域である場合、ｂ１は、例えば下記の数式５で求められる。

ここで、上記数式５に示す“ａ”は、第１混合比を調整する設定値である。設定値ａの値によって、例えば、振幅の小さいステップエッジは鈍りすぎず、振幅の大きいステップエッジでは十分なオーバーシュート・リンギング低減効果が得られることが可能となる。ここで、設定値ａの値は、例えばサンプル画像を利用して実験的に得られる。なお、設定値ａは、上記に示す方法に限られず、任意の方法によって設定されてもよい。

また、上記数式５に示す“ｃ”は、振幅の小さいテクスチャ領域が第１の補間処理によって鈍ることを防ぐための固定の設定値である。設定値ｃは、例えばサンプル画像を利用して実験的に得られる。なお、設定値ｃは、上記に示す方法に限られず、任意の方法によって設定されてもよい。

また、図６に示すように、ｂ１の値には、例えば制限値Ｌ（０≦Ｌ≦１）が設定される。制限値Ｌが設定されることによって、例えば、画像に精彩感をだすためにオーバーシュート・リンギングを許容することが可能となる。ここで、制限値Ｌは、例えばサンプル画像を利用して実験的に得られる。なお、制限値Ｌは、上記に示す方法に限られず、任意の方法によって設定されてもよい。

第１混合比算出部２０２は、例えば上記のように、第１混合比を算出する。

なお、本発明の実施形態に係る第１混合比の算出方法は、上記に示す例に限られない。例えば、第１混合比算出部２０２は、制限値Ｌを用いずに第１混合比を算出することも可能である。つまり、制限値Ｌは、設定されていなくてもよい。

再度図５を参照して、第２の実施形態に係る画像処理装置２００の構成の一例を説明する。第２混合比算出部２０４は、水平ステップエッジ領域判定部１０４から伝達される水平ステップエッジ領域の判定結果に基づいて第２混合比を算出する。

第２混合比算出部２０４は、例えば第１混合比算出部２０２と同様の方法によって、第２混合比を算出する。

補間処理部２０６は、上記（２−１）に示す第２の例に係る補間処理を主導的に行う役目を果たす。補間処理部２０６は、第１混合比算出部２０２から伝達される第１混合比に応じて、第１の補間処理の結果と第２の補間処理の結果とを混合して、垂直方向の補間を行う。また、補間処理部２０６は、第２混合比算出部２０４から伝達される第２混合比に応じて、第１の補間処理の結果と第２の補間処理の結果とを混合して、水平方向の補間を行う。

補間処理部２０６は、例えば、第１垂直補間処理部１０８と、第２垂直補間処理部１１０と、第１混合部２０８と、第１水平補間処理部１１４と、第２水平補間処理部１１６と、第２混合部２１０とを備える。ここで、補間処理部２０６では、第１垂直補間処理部１０８、第２垂直補間処理部１１０、および第１混合部２０８が、画像の垂直方向の補間を行う役目を果たす。また、補間処理部２０６では、第１水平補間処理部１１４、第２水平補間処理部１１６、および第２混合部２１０が、画像の水平方向の補間を行う役目を果たす。

補間処理部２０６では、第１混合部２０８が、第１混合比に応じて第１の補間処理による補間値（第１の補間処理の結果）と第２の補間処理による補間値（第２の補間処理の結果）とを混合する点、および、第２混合部２１０が、第２混合比に応じて第１の補間処理による補間値（第１の補間処理の結果）と第２の補間処理による補間値（第２の補間処理の結果）とを混合する点が、第１の実施形態に係る補間処理部１０６と異なる。

第１混合比を“ｂ１_１”、“ｂ２_１”（ｂ２_１＝１−ｂ１_１）とすると、第１混合部２０８は、例えば、第１の補間処理による補間値と第２の補間処理による補間値とを、ｂ１_１：ｂ２_１の割合で混合する。また、第２混合比を“ｂ２_１”、“ｂ２_１”（ｂ２_２＝１−ｂ１_２）とすると、第２混合部２１０は、例えば、第１の補間処理による補間値と第２の補間処理による補間値とを、ｂ１_２：ｂ２_２の割合で混合する。

補間処理部２０６は、例えば図５に示す構成を有することによって、上記（２−２）に示す第２の例に係る補間処理を行う。

なお、第２の実施形態に係る補間処理部２０６の構成は、図５に示す構成に限られない。

例えば、補間処理部２０６は、第１水平補間処理部１１４、第２水平補間処理部１１６、および第２混合部２１０の後段に、第１垂直補間処理部１０８、第２垂直補間処理部１１０、および第１混合部２０８が設けられる構成であってもよい。補間処理部２０６が上記の構成をとる場合、画像処理装置２００では、画像の水平方向の補間、画像の垂直方向の補間の順番に、補間処理が行われる。

第２の実施形態に係る画像処理装置２００は、例えば図５に示す構成（変形例も含む。）によって、本発明の実施形態に係る画像処理方法に係る処理（上記垂直ステップエッジ領域判定処理、上記水平ステップエッジ領域判定処理、および上記（２−２）に示す第２の例に係る補間処理）を行う。

よって、画像処理装置２００は、ステップエッジにおけるオーバーシュート・リンギングの低減と、テクスチャなどの高周波成分の維持とを両立させる補間処理を行うことができる。

また、画像処理装置２００は、例えば上述したような、本発明の実施形態に係る画像処理方法に係る処理が行われることにより奏される効果を、奏することができる。

また、画像処理装置２００は、図５に示す構成（変形例も含む。）をとることによって、例えば、画像処理に要するラインメモリを削減することが可能である。

以上、本発明の実施形態として、画像処理装置を挙げて説明したが、本発明の実施形態は、かかる形態に限られない。本発明の実施形態は、例えば、ＰＣ（Personal Computer）やサーバなどのコンピュータ（computer）や、タブレット（tablet）型の装置、携帯電話やスマートフォン（smart phone）などの通信装置など、画像信号を処理することが可能な、様々な機器に適用することができる。

（本発明の実施形態に係るプログラム）
コンピュータを、本発明の実施形態に係る画像処理装置として機能させるためのプログラム（例えば、“コンピュータを、垂直ステップエッジ領域判定部１０２に相当する垂直ステップエッジ領域判定手段、水平ステップエッジ領域判定部１０４に相当する水平ステップエッジ領域判定手段、および補間処理部１０６に相当する補間処理手段として機能させることが可能なプログラム”や、“コンピュータを、垂直ステップエッジ領域判定手段、水平ステップエッジ領域判定手段、第１混合比算出部２０２に相当する第１混合比算出手段、第２混合比算出部２０４に相当する第１混合比算出手段、および補間処理部２０６に相当する補間処理手段として機能させることが可能なプログラム”）が、コンピュータにおいて実行されることによって、ステップエッジにおけるオーバーシュート・リンギングの低減と、テクスチャなどの高周波成分の維持とを両立させる補間処理を行うことができる。

また、コンピュータを、本発明の実施形態に係る画像処理装置として機能させるためのプログラムが、コンピュータにおいて実行されることによって、上述した本発明の実施形態に係る画像処理装置が用いられることにより奏される効果を、奏することができる。

また、上記では、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

例えば、上記では、コンピュータを、本発明の実施形態に係る画像処理装置として機能させるためのプログラム（コンピュータプログラム）が提供されることを示したが、本発明の実施形態は、さらに、上記プログラムを記憶させた記録媒体も併せて提供することができる。

１００、２００ 画像処理装置
１０２ 垂直ステップエッジ領域判定部
１０４ 水平ステップエッジ領域判定部
１０６、２０６ 補間処理部
１０８ 第１垂直補間処理部
１１０ 第２垂直補間処理部
１１２ 第１選択部
１１４ 第１水平補間処理部
１１６ 第２水平補間処理部
１１８ 第２選択部
２０２ 第１混合比算出部
２０４ 第２混合比算出部
２０８ 第１混合部
２１０ 第２混合部

Claims (7)

1. 入力される入力画像信号から画像における垂直方向のステップエッジを示す垂直ステップエッジ領域を判定する垂直ステップエッジ領域判定部と、
   前記入力画像信号から画像における水平方向のステップエッジを示す水平ステップエッジ領域を判定する水平ステップエッジ領域判定部と、
   前記垂直ステップエッジ領域の判定結果、および前記水平ステップエッジ領域の判定結果に対応する補間処理を行う補間処理部と、
   を備え、
   前記垂直ステップエッジ領域判定部は、注目画素に対応する垂直方向の補間値と前記注目画素の垂直方向の周辺画素の画素値との差分の絶対値を算出し、前記注目画素の位置を基準とした上側の周辺画素に対応する前記絶対値の最大値および最小値と、前記注目画素の位置を基準とした下側の周辺画素に対応する前記絶対値の最大値および最小値との関係によって、前記垂直ステップエッジ領域を判定し、
   前記水平ステップエッジ領域判定部は、注目画素に対応する水平方向の補間値と前記注目画素の水平方向の周辺画素の画素値との差分の絶対値を算出し、前記注目画素の位置を基準とした左側の周辺画素に対応する前記絶対値の最大値および最小値と、前記注目画素の位置を基準とした右側の周辺画素に対応する前記絶対値の最大値および最小値との関係によって、前記水平ステップエッジ領域を判定することを特徴とする、画像処理装置。
2. 前記補間処理部は、
   前記垂直ステップエッジ領域の判定結果に応じて、補間によりオーバーシュートおよびリンギングが発生しない第１の補間処理の結果、または前記第１の補間処理と異なる第２の補間処理の結果を用いることによって、垂直方向の補間を行い、
   前記水平ステップエッジ領域の判定結果に応じて、前記第１の補間処理の結果、または前記第２の補間処理の結果を用いることによって、水平方向の補間を行うことを特徴とする、請求項１に記載の画像処理装置。
3. 前記垂直ステップエッジ領域の判定結果に基づいて、垂直方向の補間において補間によりオーバーシュートおよびリンギングが発生しない第１の補間処理の結果と前記第１の補間処理と異なる第２の補間処理の結果とを混合するための、第１混合比を算出する第１混合比算出部と、
   前記水平ステップエッジ領域の判定結果に基づいて、水平方向の補間において前記第１の補間処理の結果と前記第２の補間処理の結果とを混合するための、第２混合比を算出する第２混合比算出部と、
   をさらに備え、
   前記補間処理部は、
   前記第１混合比に応じて、前記第１の補間処理の結果と前記第２の補間処理の結果とを混合して、垂直方向の補間を行い、
   前記第２混合比に応じて、前記第１の補間処理の結果と前記第２の補間処理の結果とを混合して、水平方向の補間を行うことを特徴とする、請求項１に記載の画像処理装置。
4. 前記垂直ステップエッジ領域判定部は、補間によりオーバーシュートおよびリンギングが発生しない第１の補間処理によって、前記注目画素に対応する垂直方向の補間値を算出することを特徴とする、請求項１〜３のいずれか１項に記載の画像処理装置。
5. 前記水平ステップエッジ領域判定部は、補間によりオーバーシュートおよびリンギングが発生しない第１の補間処理によって、前記注目画素に対応する水平方向の補間値を算出することを特徴とする、請求項１〜４のいずれか１項に記載の画像処理装置。
6. 入力される入力画像信号から画像における垂直方向のステップエッジを示す垂直ステップエッジ領域を判定する垂直ステップエッジ領域判定ステップと、
   前記入力画像信号から画像における水平方向のステップエッジを示す水平ステップエッジ領域を判定する水平ステップエッジ領域判定ステップと、
   前記垂直ステップエッジ領域の判定結果、および前記水平ステップエッジ領域の判定結果に対応する補間処理を行う補間処理ステップと、
   を有し、
   前記垂直ステップエッジ領域判定ステップでは、注目画素に対応する垂直方向の補間値と前記注目画素の垂直方向の周辺画素の画素値との差分の絶対値が算出され、前記注目画素の位置を基準とした上側の周辺画素に対応する前記絶対値の最大値および最小値と、前記注目画素の位置を基準とした下側の周辺画素に対応する前記絶対値の最大値および最小値との関係によって、前記垂直ステップエッジ領域が判定され、
   前記水平ステップエッジ領域判定ステップでは、注目画素に対応する水平方向の補間値と前記注目画素の水平方向の周辺画素の画素値との差分の絶対値が算出され、前記注目画素の位置を基準とした左側の周辺画素に対応する前記絶対値の最大値および最小値と、前記注目画素の位置を基準とした右側の周辺画素に対応する前記絶対値の最大値および最小値との関係によって、前記水平ステップエッジ領域が判定されることを特徴とする、画像処理方法。
7. コンピュータを、
   入力される入力画像信号から画像における垂直方向のステップエッジを示す垂直ステップエッジ領域を判定する垂直ステップエッジ領域判定手段、
   前記入力画像信号から画像における水平方向のステップエッジを示す水平ステップエッジ領域を判定する水平ステップエッジ領域判定手段、
   前記垂直ステップエッジ領域の判定結果、および前記水平ステップエッジ領域の判定結果に対応する補間処理を行う補間処理手段、
   として機能させ、
   前記垂直ステップエッジ領域判定手段は、注目画素に対応する垂直方向の補間値と前記注目画素の垂直方向の周辺画素の画素値との差分の絶対値を算出し、前記注目画素の位置を基準とした上側の周辺画素に対応する前記絶対値の最大値および最小値と、前記注目画素の位置を基準とした下側の周辺画素に対応する前記絶対値の最大値および最小値との関係によって、前記垂直ステップエッジ領域を判定し、
   前記水平ステップエッジ領域判定手段は、注目画素に対応する水平方向の補間値と前記注目画素の水平方向の周辺画素の画素値との差分の絶対値を算出し、前記注目画素の位置を基準とした左側の周辺画素に対応する前記絶対値の最大値および最小値と、前記注目画素の位置を基準とした右側の周辺画素に対応する前記絶対値の最大値および最小値との関係によって、前記水平ステップエッジ領域を判定することを特徴とする、プログラム。
   

Images