JP2006526832A - 画像の補間 - Google Patents

Abstract

画像のサンプルＰｉ，Ｐｏｔのサンプル値ｆを補間する方法において、サンプルＰｉ，Ｐｏｔの特定の１つについてサンプル値ｆの局所的な勾配の方向は、サンプルＰｉ，Ｐｏｔのうちの特定の１つの付近にあるサンプル値ｆから決定される。インタポレータの入力値ａ_iの位置は、サンプルＰｉ，Ｐｏｔのうちの特定の１つの局所的な勾配８の方向で選択される。サンプルＰｉ，Ｐｏｔのうちの特定の１つについてインタポレータの入力値ａ_iは、インタポレータの入力値ａ_iの付近にある画素値ｆから補間される。ワープドディスタンス型の補間のためのワープファクタは、インタポレータの入力値ａ_iを使用して決定される。

Description

本発明は、画像の画素の画素値を補間する方法に関する。
さらに、本発明は、ワープドディスタンス式のインタポレータ、及びかかるワープドディスタンス式のインタポレータを有するディスプレイ装置に関する。

ワープドディスタンス（WaDi: Warped Distance）コンセプトは、G.Ramponiによる刊行物“Warped distance for space-variant linear image interpolation”, IEEE Transactions on Image processing, vol.8 no.5, May 1999から知られている。線形補間のためのワープドディスタンスのコンセプトは、線形補間を自然（グラフィックではない）画像の局所的な画素のコンフィギュレーションに適用する。特に、エッジが補間処理によりぼやけるのを防止するのを目的としていた。

ＷａＤｉコンセプトは、１次元補間を実行する。水平方向では、補間されたサンプルは、補間されるべきサンプルを挟んでいる２つの隣接する水平方向のサンプルの線形結合である。線形補間は、２つの隣接する水平方向のサンプルに関して補間されるべきサンプルの部分的な位置（すなわち位相）に依存する。ルミナンスエッジにある補間は、位相を局所的にワープすることで調整され、補間されるべきサンプルは、右又は左の入力サンプルの方向に仮想的に移動される。このワープは、ルミナンスエッジが存在する場合には大きく、平滑な部分では小さい。ワープの量を決定するため、補間される必要がある１つの画素の周りの４つの画素が分析され、該サンプルが属する平坦な領域に向かって補間されるべきサンプルが移動されるように非対称な値が計算される。

２次元画像の補間は、水平方向で入力サンプルにＷａＤｉアルゴリズムを実行して補間された水平サンプルを得て、次いで垂直方向で補間された水平サンプルにＷａＤｉアルゴリズムを実行することで得られる。問題は、比較的複雑なアルゴリズムが必要とされることである。

本発明の目的は、より高い性能のアルゴリズムを提供する２次元画像にＷａＤｉ補間を実行することにある。

本発明の第一の態様は、請求項１に記載された画像のサンプルのサンプル値を補間する方法を提供する。本発明の第二の態様は、請求項７に記載されたワープドディスタンス式のインタポレータを提供する。本発明の第三の態様は、請求項８に記載されたディスプレイ装置を提供することにある。本発明に係る有利な実施の形態は、従属の請求項に定義されている。

画像のサンプルのサンプル値を補間する方法は、特定の１つのサンプルの近隣にサンプル値から特定の１つのサンプルについて局所的な勾配の方向を決定する。この局所的な勾配は、特定のサンプルの位置でのサンプル値の変化の方法を示している。たとえば、画像が白の左領域と黒の右領域を含み、特定のサンプルが白の領域と黒の領域との間の垂直の境界に近い場合、勾配は白領域の水平方向に向かう。通常、局所的な勾配は、画像のそれぞれの出力サンプルについて決定される。

その後、特定のサンプルの勾配方向に配置されるインタポレータの入力値を使用して、ワープドディスタンスＷａＤｉインタポレータ向けのワープファクタが決定される。次いで、局所的な勾配の方向における特定のサンプルを通して延びるラインで公知のＷａＤｉインタポレータ向けのインタポレータ入力値が選択される。

通常、これらのインタポレータの入力値は、入力サンプルとは一致しないので、インタポレータの入力値は、インタポレータの入力値に隣接する入力のサンプル値から補間される必要がある。

局所的な勾配の方向におけるワープファクタの決定は、水平及び垂直方向で連続してＷａＤｉ補間を実行する代わりに、ＷａＤｉ補間を１つのステップで実行することができるという利点を有している。

請求項２に記載される本発明に係る実施の形態では、ＷａＤｉ補間は、出力画像がスケーリングされた入力画像であるシステムに適用される。このアプローチは、少なくとも２であるスケーリングファクタについて特に関心があり、このことは、出力サンプル間の距離が入力サンプル間の距離の殆ど半分であることを意味している。２つの連続するサンプル間で経過される時間、又はこれらのサンプルがディスプレイスクリーンの画素で表示されるときにディスプレイスクリーン上の位置を示す場合がある。

この実施の形態では、出力画像は、はじめに、たとえばシンプルな双一次変換を使用することで未処理の補間されたデータを得るために入力画像から粗く補間される。結果的に得られる低域通過バージョンの画像により、勾配の推定が雑音の影響を受けにくくなる。たとえばキュービック補間といった、より複雑な補間が使用されるが、より高い計算上の複雑さとなるといった問題点を有する。局所的な勾配は、出力画素又はシンプルなインタポレータにより供給される未処理の補間されたデータを使用することで決定される。

請求項３に記載される本発明に係る実施の形態では、局所的な勾配は、入力サンプル値を使用することにより入力マップで決定される。発見される局所的な勾配は、出力マップにおける出力サンプルの出力サンプルの位置にマッピングされる。このマッピングは、たとえば、最近接アプローチを使用することによるか、又は線形補間によりかで実行される場合がある。このアプローチは、未処理（生）の補間ステップを必要とせず、したがってより少ない計算上の労力を要する。

請求項４に記載の本発明に係る実施の形態では、サンプルの位置が直交するｘ、ｙ座標により定義されるマトリクスに配置される。公知のＳｏｂｅｌ（水平方向微分）フィルタは、局所的な勾配の方向を評価するために使用される。

請求項５に記載の本発明に係る実施の形態では、勾配を決定するために使用される隣接するインタポレータの入力値間の距離は、コヒーレントな補間を提供するために隣接する入力サンプル間の距離に実質的に等しい。

請求項６に記載の本発明に係る実施の形態では、ワープファクタがｘ座標及びｙ座標に投影され、ＷａＤｉインタポレータを制御して、投影されたワープファクタに従ってｘ方向及びｙ方向における距離（時間領域でサンプルをワープするための距離、空間領域で画素をワープするための距離）を修正する。したがって、標準的なＷａＤｉアルゴリズムを２回実行する代わりに、すなわち、はじめに中間的な結果を得るためにｘ方向で実行し、次いで中間的な結果を使用してｙ方向で実行する代わりに、１つのワープファクタのコンポーネントは、入力サンプルから補間された出力サンプルを直接的に得るために使用される。

本発明のこれらの態様及び他の態様は、以下に記載される実施の形態を参照して明らかになるであろう。

図１は、従来の２ステップの補間アプローチを示している。
公知の線形補間技術では、２次元の入力画像ＩＩ（図６参照）は、ｘ方向及びｙ方向を有する矩形のグリッドに入力サンプルＰｉが位置されるように、通常等間隔でサンプリングされる入力サンプルＰｉにより表現される。また、入力サンプルＰｉは、入力画素Ｐｉとも呼ばれ、これは、入力サンプルＰｉがディスプレイスクリーンＤＳに表示された場合に（図６参照）、時間的な矩形グリッドがディスプレイスクリーンＤＳの位置での矩形グリッドを示すという事実に基づいている。入力サンプルＰｉの値は、入力画素Ｐｉの強度を決定する。ディスプレイスクリーンＤＳに実際に表示されるべき出力サンプルＰｏは、ディスプレイスクリーンＤＳの画素に対応する出力画素Ｐｏを得るために入力サンプルＰｉから補間される必要がある。これは、たとえば、マトリクス型ディスプレイのケースのようにディスプレイスクリーンＤＳの解像度が固定されている場合に、入力画像ＩＩの解像度がディスプレイスクリーンＤＳの解像度とは異なることが必要とされる。

図１は、入力サンプルＰｉ間で位置される出力サンプルＰｏの補間を示している。入力画像のサンプルのｊ番目の行のｉ番目の入力サンプルＰｉの値は、ｆ（ｘ_i，ｙ_j）により示される。出力サンプルＰｏの値は、ｆ_O（ｘ，ｙ）により示される。図１では、出力サンプルＰｏに最も近い４つの入力サンプルＰｉが示されている。

はじめに、入力画像ＩＩは、水平方向ｘで補間される。行ｙ_iでは、時間的なサンプルＰｔ１の値ｆｔ（ｘ，ｙ_j）は、列ｘ_iにおける入力サンプルＰｉの値ｆ（ｘ_i，ｙ_j）と、列ｘ_i+1における入力サンプルＰｉの値ｆ（ｘ_i+1，ｙ_j）とを使用して決定される。同様にして、行ｙ_j+1では、時間的なサンプルＰｔ２の値ｆｔ（ｘ_i，ｙ_j+1）は、列ｘ_iにおける入力サンプルＰｉの値ｆ（ｘ_i，ｙ_j+1）と、列ｘ_i+1における入力サンプルＰｉの値ｆ（ｘ_i+1，ｙ_j+1）とを使用して決定される。次いで、出力画素Ｐｏの値ｆ_O（ｘ，ｙ）は、時間的なサンプルＰｔ１及びＰｔ２を使用して決定される。

時間的なサンプルＰｔ１及びＰｔ２の値は、以下のように計算される。

ここでＳ_Xはｘとｘ_iとの間のｘ方向における距離である。

出力サンプルＰｏの値は以下のように計算される場合がある。

ここでＳ_Yはｙとｙ_iとの間のｙ方向における距離である。

図２は、公知のワープドディスタンスのコンセプトを説明する波形を示している。図１に関して説明されたのと同様に、ワープドディスタンスのコンセプト（更にＷａＤｉとも呼ばれる）は、２ステップで出力サンプルＰｏの値を決定する。図１に関して説明された線形補間との違いは、距離Ｓ_X及びＳ_Yが入力画像ＩＩの局所的な特徴に従って調整（ワープ）され、補間された出力画像ＯＩ（図６参照）の知覚された品質が増加することである。したがって、ＷａＤｉは、調整された距離Ｓ_Xによりｘ方向に線形補間アルゴリズムをはじめに適用して、一時的又は中間的な補間されたサンプルＰｔを得ることで、入力画像ＩＩを補間する。次いで、ＷａＤｉは、調整された距離Ｓ_Yにより中間的な補間されたサンプルＰｔにｙ方向で線形補間アルゴリズムを適用して、出力サンプルＰｏを得る。

ＷａＤｉは、ワープファクタＡに基づいて距離Ｓ_X及びＳ_Yをワープする。

ここで係数ａ１〜ａ４は、補間されるべき出力サンプルＰｏの近傍における入力サンプル値ｆ（ｘ_i，ｙ_j）である。ＷａＤｉにより実行されるステップに依存して、入力サンプルａ１〜ａ４は、ｘ方向又はｙ方向にいずれかで配列される。Ｌは、たとえば８ビットルミナンス信号についてＬ＝２５６といった、サンプルを表示するために利用可能なレベル数である。

図２は、ｘ方向にけるＷａＤｉを説明するための波形及び入力サンプルＰｉを示している。
特に、ＷａＤｉの目的は、補間処理によりエッジがぼやけるのを防止することにあった。補間されるべき中間的なサンプルＰｔが出力領域における位置ｕ（図示せず）にある場合、入力領域における出力サンプルＰｏの対応する位置はｘ＝ｕ／ｚであり、ｚはスケーリングファクタである。入力領域は、入力画素Ｐｉを含んでおり、出力領域は出力画素Ｐｏを含んでいる。断片の位置（fractional position）又は位相は、Ｓ_X=ｘ−ｘ₀であり、ｘ₀はｘの次の左の入力サンプルＰｉである。このｘ₀での入力サンプルＰｉはサンプル値ａ２を有し、ｘ₁での入力サンプルＰｉは値ａ３を有し、ｘ_-1での入力サンプルＰｉは値ａ１を有し、ｘ₂での入力サンプルＰｉは図示される例では１である値ａ４を有する。シンプルなテント（双一次）カーネルがＷａＤｉの線形補間のベースカーネルとして適用される場合、出力値は、以下のように示される。

ここでｘ₁はｘの次の右手の入力サンプルである。

一般的に言えば、補間されたサンプルｆｔ（ｘ）は、近傍のサンプルｆ（ｘ₀）及びｆ（ｘ₁）の線形結合であり、この線形結合は、断片の位置（又は位相）Ｓ_Xに依存する。ルミナンスエッジでの補間は、位相Ｓ_Xを局所的にワープすることで調整され、ｘは右又は左入力サンプルＰｉに向かって仮想的に移動される。このワープは、ルミナンスエッジが存在する場合に大きく、平滑な部分で小さい。ワープの量を決定するため、補間される必要がある位置ｘでのサンプルの周りの位置ｘ_-1，ｘ₀，ｘ₁及びｘ₂での４つのサンプルＰｉが分析され、非対称な値又はワープファクタＡが計算される。

ここで、Ｌは許容されるルミナンスレベルの数（８ビット量子化のケースで２５６）である。また、ｘ_-1は入力サンプルｘ₀に先行する入力サンプルであり、ｘ₂は入力サンプルｘ₁に連続する入力サンプルである。Ｓ字湾曲状のエッジモデルが適用されるとすると、式（５）における非対称な値Ａは、エッジが完全に対称であるときに０であり、エッジがサンプルＰｔの右（左）手側でより平坦であるときに１（又は−１）に近づく。

補間されるべきサンプルＰｔは、該サンプルが属する平坦な領域に向かって移動されるべきである。したがって、ワープファクタがＡ＞０であるとき、位相Ｓ_Xが増加する必要があり、ワープファクタがＡ＜０であるとき、位相Ｓ_Xは減少する必要がある。これは、以下のワープ関数により得られる。

ここで、ｋは制御可能な場合がある一般的なワープの量である。ワープされる位相Ｓ_X’は、ｋが範囲［０，１］にある場合に範囲［０，１］のままである。なお、Ａ及びｋの値に関わらず、２つの極値Ｓ_X＝０及びＳ_X＝１（それぞれＳ_X’＝０及びＳ_X’＝１）が保持される。ワープされる中間的なサンプルは、ＷＰとして示される。

ｘ方向で公知のＷａＤｉを実行することでワープされた中間的なサンプルＷＰを決定するために説明されたのと同じ方式で、ＷａＤｉは、出力サンプルＰｏを得るために、ｙ方向においてワープされた中間的なサンプルＷＰを補間する必要がある。

位相Ｓ_Xを変えることは、まるでワープされたかのように、ＷａＤｉの線形フィルタの式を適用する前に、中間又は出力グリッドのそれぞれにおいて、補間されるべきサンプルの位置Ｐｔ又はＰｏを移動することに等価である。実際に、サンプルの最後の位置Ｐｔ又はＰｏは変化せず、アルゴリズムは、補間されるべきサンプルＰｔ又はＰｏに、まるでワープされた位置にあるかのように得られた値を割り当てる。ファクタｋはワープ量を制御し、より大きなｋの値は、シャープニング効果を増加させる。位相Ｓ_Xが間隔０〜１にあることを確認するため、ファクタｋが≦１に選択される必要がある。しかし、自然画像について、ファクタｋは１よりも大きいことが好ましい。｜Ａ｜は通常小さいので、これらより大きなファクタｋでさえ、位相Ｓ_Xはなお１よりも小さい。位相Ｓ_Xが１よりも大きくなる場合には１にクリップされ、０よりも小さくなる場合には０にクリップされる。

本発明に係る実施の形態では、公知のＷａＤｉと比較して、入力画像又は出力画像のいずれかで、局所的な勾配（θ）の方向で、ワープ関数が１度だけ決定される。

図３は、特定の出力サンプルについて、インタポレータの入力値ａ１〜ａ４が本発明の実施の形態に従って局所的な勾配の方向にどのように配列される場合があるかを示している。入力サンプルＰｉは、ｘ，ｙ空間で距離ｄの間隔で配置される大きなドットにより示されている。出力サンプルＰｏは、出力グリッドを形成する水平及び垂直ラインの交点により示されている。図３は、例を通してファクタ２でのスケーリングを示している。ラインＴＲは、（境界ＴＲの左手側にある）黒の領域と白の領域との間の境界を示している。出力画素Ｐの位置にある局所的な勾配の方向は、境界ＴＲに垂直な破線ＤＬＧにより示される。

本発明は、ｘ又はｙ方向で局所的な１次元の特性に従うものではないが、２次元の特性から、位相Ｓ_X及びＳ_Yを変化することに基づいている。したがって、ワープファクタＡは、対角線である場合がある局所的な勾配方向θに沿って１ステップで計算される。ｘ方向及びｙ方向において個別にファクタＡを決定する必要がない。

公知のＷａＤｉに関して説明されたように、非対称な値又はワープファクタＡは、値が決定される必要がある出力サンプルＰの近傍に位置される入力値ａ１〜ａ４を使用することで計算される。しかし、本発明の実施の形態によれば、これらの入力値は、ｘ方向における入力サンプルＰｉであるか、又はｙ方向におけるワープされた一時的なサンプルＰｔのいずれでもない。ここで、入力値ａ１〜ａ４とは、局所的な勾配θの方向に配列される。図３に示されるように、ワープファクタＡを決定するために使用される入力値ａ１〜ａ４は、ラインＤＬＧ上に、すなわち局所的な勾配θの方向で位置される。通常、これらの値ａ１〜ａ４は、入力サンプルＰｉと一致せず、入力サンプルＰｉから補間される必要がある。好ましくは、入力値ａ１〜ａ２のうちの２つの連続する値の間の距離ｄは、画像補間ステージと一致した状態で入力画像ＩＩのサンプルＰｉのサンプリング周期に等しい。

このサンプリング周期は、ｘ方向又はｙ方向のいずれかで２つの連続する入力サンプルＰｉ間の距離ｄに対応する。たとえば、入力値ａ１〜ａ４は、図３に示される位置における双一次補間により得られる。入力値ａ１〜ａ４のこれらの位置は、補間されるべき出力画素Ｐの（ｘｐ，ｙｐ）位置から、距離−１．５−ｄ，−０．５−ｄ，０．５−ｄ，１．５−ｄのそれぞれで、最大の勾配の方向θに沿って選択され、ここでｄは入力グリッドにおける２つの連続する入力画素Ｐｉ間の距離である。入力値ａ１〜ａ４の座標ｘ及びｙは、以下の式で決定される。

ここでｉは入力値ａ_iのインデックスである。

２つの可能な実施の形態は、局所的な勾配θを決定するために説明される。第一の実施の形態では、入力画像ＩＩは、たとえば双一次フィルタといった公知のアルゴリズムではじめに補間され、粗く補間された出力サンプルを得る。局所的な勾配θは、これら出力サンプルから出力領域で決定される。たとえば、Ｓｏｂｅｌフィルタを使用することによる。探索方向に沿った関数の勾配（directional derivative）の値を得るため、ｘ及びｙ方向に沿ったＳｏｂｅｌフィルタの可能なマスクは、以下に示される。

位置ｘ_i，ｙ_jでの勾配の方向は、次いで以下のように推定される。

ここでｆ１は入力画像ＩＩの粗い補間の結果であり、θは−π／２とπ／２との間で変化する角度である。

勾配の評価は、出力領域においてＳｏｂｅｌの方法を使用することで実行されている。たとえばシンプルな双一次インタポレータといった前処理は、低域通過バージョンの入力画像ＩＩを表す未処理の補間された出力サンプルを得るために必要とされ、したがって、勾配の推定は、雑音に対する感度が低くなる。粗い補間は、たとえばバイキュービック補間のような、より複雑な方法で実行される場合があり、このバイキュービック補間は、勿論、より高い計算上の複雑さが必要とされるという問題点を有するが、良好な勾配の値θを提供する。この第一の実施の形態が非常に良好な勾配の評価を与えるが、全体の処理時間に顕著なオーバヘッドを追加する。

別の実施の形態では、勾配θを推定する最適に準じるソリューションは、（入力サンプルＰｉを使用して）入力領域においてＳｏｂｅｌフィルタを適用し、次いで、これらの勾配の値を出力グリッドにマッピングすることである。このマッピングは、たとえば、最近接アプローチを使用するか、又は推定された勾配値θを線形補間することで実行される場合がある。

非常に高い補間ファクタの値が必要とされる場合、Ｓｏｂｅｌフィルタの通過帯域は、余りに広くなり、勾配の評価が機能しなくなる。高い補間ファクタについて、全体のアルゴリズムを２度実行して、２ステップで画像をリサイズすることが良好である。たとえば、ファクタ８による補間は、ファクタ２によるインタポレータのカスケードによる補間となる。代替的に、Ｓｏｂｅｌフィルタが使用され、中間解像度のバージョンの入力画像ＩＩを処理して勾配の値θを得る場合がある。同じ勾配の値θは、超高解像度の出力グリッドにおける出力画素Ｐｏのグループに割り当てられる。

図４は、本発明に係る１ステップのワープドディスタンスのコンセプトの実施の形態を説明するためのフローチャートを示している。
ステップ１は、入力サンプルＰｉ（ｉ，ｊ）を受信し、（勾配とも呼ばれる）局所的な勾配θ（ｍ，ｎ）を供給する。先に説明された第一の実施の形態では、ステップ１０は、入力画素Ｐｉ（ｉ，ｊ）を補間し、Ｓｏｂｅｌ_Xフィルタリングステップ１１及びＳｏｂｅｌ_Yフィルタリングステップ１２に入力される推定された出力サンプルＩ’（ｍ，ｎ）を得る。分割ステップ１３では、Ｓｏｂｅｌ_Yフィルタリングステップ１２の出力は、Ｓｏｂｅｌ_Xフィルタリングステップ１１の出力により分割される。ステップ１４は、分割ステップ１３の出力の逆正接を計算することで勾配θ（ｍ，ｎ）を決定する。

ステップ２は、ワープファクタＡの決定とも呼ばれる局所的な非対称予測を実行する。ステップ２０では、局所的な勾配の方向θ、すなわちラインＤＬＧに沿った位置で決定されるため、４つのａ１〜ａ４が入力値選択される。Ｐ（ｍ，ｎ）は、その値が補間される必要がある出力サンプルであり、θ（Ｐ）は、この出力サンプルＰ（ｍ，ｎ）の位置での局所的な勾配である。ステップ２１では、入力値ａ１〜ａ４の値は、入力値ａ１〜ａ４の位置を囲んでいる入力サンプルＰｉの補間により決定される。好ましくは、双一次補間が使用される。ステップ２２では、ワープファクタＡは、補間された入力値ａ１〜ａ４から１ステップで式５に従って決定される。

ステップ３は、出力サンプルＰｏ（ｉ，ｊ）の値を決定する。ステップ３０は、勾配θ（ｍ，ｎ）及びワープファクタＡを受け、公知のＷａＤｉアプローチについて式６で行ったのと同じ方式で距離Ｓ_X及びＳ_Yをワープすることで、局所的なワープコンポーネント又は距離ＳＬ_X及びＳＬ_Yを計算する。結果を得るため、ワーピングファクタＡは、ｘ及びｙ方向に投影される。以下の式はこれらの動作を実行する。

公知のＷａＤｉアプローチにおけるように、ｋは歪みの強度を調整する乗算ファクタであり、θは勾配の方向を定義する角度である。分母でのオプショナルファクタ４は、公知のＷａＤｉ結果との比較のためにのみ提供される。なお、ｋファクタは、（外部の）自動制御により、サンプル−サンプル（又は出力画素を示す場合にはピクセル−ピクセル）ベースで変動することができる。たとえば、ナチュラルコンテンツ検出器を使用して、局所的な画素が写真の一部であるかに関する可能性を評価することができる。この評価に依存して、最良の結果を得るためにｋファクタを介して、ワープ作用を調節することができる。

オプショナルのクリッピングステップ３１は、限界を含めて０〜１の範囲に保持するため、局所的なワープ距離ＳＬ_X及びＳＬ_Yの値をクリップする。さもなければ、特に乗算ファクタｋ＞４の場合に、ワープ距離ＳＬ_X又はＳＬ_Yはゼロよりも小さいか又は１よりも大きい事が生じる場合があり、このことは、補間されるべき出力画素Ｐｏが４つの最近接の入力画素Ｐｉにより形成される正方形の外に移動することを意味しており、このことは、良好な補間を提供しない。クリップされたワープ距離は、ＳＬＣ_X及びＳＬＣ_Yにより示される。

なお、式８及び９に基づいて、位相Ｓ_X＝０及び位相Ｓ_Y＝０である場合、Ａが非ゼロである場合、ワープ距離ＳＬ_X及びＳＬ_Yはゼロに等しくならない場合がある。したがって、入力グリッドにおける点に対応する出力グリッドにおける点で補間された出力画素Ｐｏ（ｍ，ｎ）は、対応する入力サンプルＰｉ（ｉ，ｊ）とは異なる値を有する場合がある。したがって、本発明に係る調整されたＷａＤｉアルゴリズムは、近似的な補間アルゴリズムである。

補間ステップ３２は、リニアカーネルを好ましくは使用するインタポレータにより入力サンプルＰｉ（ｉ，ｊ）を補間する。クリップされたワープ距離ＳＬＣ_X及びＳＬＣ_Yは、公知のＷａＤｉにおけるのと同じやり方で隣接する入力サンプルＰｉ（ｉ，ｊ）を重み付けすることで、出力サンプルＰｏ（ｍ，ｎ）がどのように補間される必要があるかを決定する。

出力サンプルの値ｆ（ｘ’，ｙ’）又は画素Ｐｏ（ｘ，ｙ）が評価される必要があるワープされた位置ｘ’，ｙ’は、３つのファクタにより影響される。
補間している出力画素Ｐｏの座標ｘ，ｙ。
ワープファクタＡを計算するために使用される入力値ａ_iの位置を制約する局所的な勾配の方向θ。
及び、ワープ強度のパラメータｋの値。

図５は、本発明に係る１ステップのワープドディスタンスのコンセプトの別の実施の形態の一部に関するフローチャートを示している。図５は、先に説明された第二の実施の形態に係る局所的な勾配θ（ｍ，ｎ）の方向を決定するステップ１で要求されるステップを示している。ここで、ステップ１は、図４に示されるステップ１０〜１４の代わりに、ステップ１５及び１６を有している。ステップ１５では、局所的な勾配θ（ｉ，ｊ）の方向は、入力サンプルＰｉの入力画像ＩＩで決定される。ステップ１６は、入力領域からのこれら局所的な勾配θ（ｉ，ｊ）を出力領域にマッピングし、出力画素Ｐｏの局所的な勾配θ（ｍ，ｎ）を得る。本発明に係るこの実施の形態のＷａＤｉ処理の他のステップは、図４に示されるステップに等しい。

図６は、本発明に係るワープドディスタンス式のインタポレータを有するディスプレイ装置のブロック図を示している。入力ビデオプロセッサＩＶＰは、入力ビデオＩＶを処理し、入力サンプルＰｉを有する入力画像ＩＩを得る。入力ビデオＩＶがＲＧＢ信号を有する場合、入力ビデオプロセッサＩＶＰは、ルミナンス値を決定するためのマトリクスを有する場合がある。スケーラＷＩは、１ステップで２次元の入力画像ＩＩを処理することができるように調整される公知のＷａＤｉインタポレータである、本発明に従うＷａＤｉインタポレータを有する。スケーラＷＩは、出力サンプルＰｏを有する出力画像ＯＩを供給する。かかるスケーラは、通常、マトリクス型ディスプレイを有するディスプレイ装置で必要とされる。かかるマトリクス型ディスプレイは、それぞれの行における画素（表示素子）数及び行数により決定される固有の解像度を有する。他方で、入力画像ＩＩは、マトリクス型ディスプレイの固有の解像度とは異なる解像度を有している。したがって、マトリクス型ディスプレイの画素に表示されるべき出力サンプルＰｏは、入力サンプルＰｉから補間される必要がある。スケーラＷＩは、存在する場合に、３つの信号Ｒ，Ｇ及びＢのそれぞれを補間可能にするため、入力ビデオＩＶを受信する場合がある。出力ビデオ処理は、出力ビデオＯＩを処理して、ディスプレイスクリーンＤＳを有するディスプレイ装置ＤＰを駆動するのに適したビデオ駆動信号ＶＤＳを得る。

結論付けると、本発明に係る好適な実施の形態は、所与の順序で次のステップを実行するデジタルプロセッサに向けられる。
予め決定された最初の補間方法により入力画像ＩＩを補間して、一時的な出力サンプルＰｏｔを有する粗く補間された出力画像Ｉ’（ｍ，ｎ）を得る（１０）。一時的な出力サンプルＰｏｔは、局所的な勾配の方向θ（ｍ，ｎ）を計算するためにそれらを使用する目的で決定され、表示されるのを意図していない。他のアルゴリズムが使用される場合もあるが、Ｓｏｂｅｌフィルタ１１及び１２、分割手段１３、逆正接計算手段１４のようなシンプルなアルゴリズムを使用して、この粗く補間された出力画像Ｉ’（ｍ，ｎ）における局所的な勾配の方向θ（ｍ，ｎ）を計算する。

補間した出力画素Ｐｏ（ｍ，ｎ）の周りに位置される、２０で選択された予め決定された位置において、入力画像ＩＩからこの勾配の方向θ（ｍ，ｎ）に沿って多数の補間された入力値ａ_iを決定する（２１）。これら入力値ａ_iを使用して、ワープファクタＡを計算することでＷａＤｉアプローチのエッジモデルに整合させる。このワープファクタＡを使用して、勾配の方向θ（ｍ，ｎ）に沿ってワープを計算する。

ｘ及びｙ軸の勾配の方向θ（ｍ，ｎ）に沿って計算されたワープを投影し（３０）、必要であれば、クリッピングを実行する（３１）。投影されたｘ及びｙ方向のワープコンポーネントを（最も近い左上の入力画素Ｐｉ（ｉ，ｊ）に関して補間されるべき出力サンプルＰｏ（ｍ，ｎ）のオフセットを表す）位相Ｓ_X及びＳ_Yの値に適用し（３２）、出力サンプルＰｏ（ｍ，ｎ）のワープされた位置を計算する。リニアフィルタリング技術を使用して（３２）、ワープされた位置における出力サンプル値Ｐｏ（ｍ，ｎ）を補間する。出力サンプルＰｏ（ｍ，ｎ）は、表示されるために使用される。

本発明に係るＷａＤｉアルゴリズムは、補間処理が写真画像又はビデオに関して要求されるたびに使用される。アルゴリズムは、２よりも大きいスケーリングファクタが必要とされるときに最良に実行される。たとえば、アルゴリズムは、ビデオウォールアプリケーション、フォトリタッチングソフトウェア及び他の環境で使用される場合がある。たとえば、デジタルディスプレイシステムのコントローラのような集積回路内部で有効である。アルゴリズムは、リアルタイムアプリケーション及びバッチ処理アプリケーションの両者で実現される。

なお、先に記載された実施の形態は、本発明を制限のではなく例示するものであって、当業者であれば、特許請求の範囲から逸脱することなしに多くの代替的な実施の形態を設計することができる。

本発明に係るＷａＤｉ処理はグレイスケール画像について記載されたが、同じ処理をカラー画像に使用することもできる。ＷａＤｉプロセッサは、ＲＧＢ（赤、緑及び青）入力信号を受ける場合、ワープされた距離ＳＬ_X及びＳＬ_Yは、ＲＧＢ入力信号から決定されるルミナンス値を使用することで計算される場合がある。違いは、最後のステップ３２において、ワープされた距離ＳＬ_X及びＳＬ_Y、又はクリップされたワープされた距離ＳＬＣ_X，ＳＬＣ_Yの同じ値を使用してＲＧＢ信号のそれぞれ１つに対して個別に、補間が３回適用されることである。

請求項では、括弧間に配置される参照符号は、請求項を限定するとして解釈されるべきではない。動詞「有する“comprise”」及びその派生語の使用は、請求項で述べた以外のエレメント又はステップの存在を排除するものではない。エレメントに先行する冠詞“ａ”又は“ａｎ”は、複数のかかるエレメントの存在を排除するものではない。本発明は、幾つかの異なるエレメントを有するハードウェアにより、適切にプログラムされたコンピュータにより実現される場合がある。幾つかの手段を列挙している装置の請求項では、幾つかのこれらの手段は、同一のハードウェアにより実施される場合がある。所定の手段が相互に異なる請求項で引用されるという事実は、これらの手段の組み合わせを使用することができないことを示していない。

公知の２ステップの補間アプローチを示す図である。 公知のワープドディスタンスコンセプトを説明する波形を示す図である。 特定の出力サンプルについて、本発明に実施の形態に係る局所的な勾配の方向におけるインタポレータの入力値の配置を示す図である。 本発明に係る１ステップのワープドディスタンスのコンセプトの実施の形態を説明するためのフローチャートである。 本発明に係る１ステップのワープドディスタンスのコンセプトの別の実施の形態の一部に関するフローチャートである。 本発明に係るワープドディスタンス式のインタポレータを有するディスプレイ装置のブロック図である。

Claims (8)

1. 画像のサンプルのサンプル値を補間する方法であって、
   サンプルのうちの特定の１つの付近にあるサンプル値から前記サンプルのうちの特定の１つのサンプル値の局所的な勾配の方向を決定するステップと、
   前記サンプルのうちの特定の１つの局所的な勾配の方向におけるインタポレータの入力値の位置を選択するステップと、
   前記インタポレータの入力値の付近にあるサンプル値から前記サンプルのうちの特定の１つについてインタポレータの入力値を補間するステップと、
   前記インタポレータの入力値を使用して、ワープされる距離のインタポレータのためのワープファクタを１ステップで決定するステップと、
   を含むことを特徴とする方法。
2. 入力サンプル値を有する入力サンプルをもつ入力画像をデジタル的にスケーリングして出力サンプルをもつ出力画像を得るためのシステムにおいて、出力画像は前記入力画像から補間され、
   当該方法は、
   前記入力サンプル値を補間して、一時的な出力サンプル値を有する補間された一時的な出力サンプルを得るステップを更に含み、
   前記局所的な勾配の方向を決定するステップは、近隣の一時的な出力サンプル値から出力サンプルのそれぞれ１つについて局所的な勾配の方向を決定する、
   請求項１記載の画像のサンプルのサンプル値を補間する方法。
3. 入力サンプルをもつ入力画像をデジタル的にスケーリングして出力サンプルをもつ出力画像を得るためのシステムにおいて、出力画像は入力画像から補間され、
   前記局所的な勾配の方向を決定するステップは、入力サンプルの勾配の値を得るため、近隣の入力サンプル値から入力サンプルのそれぞれ１つについて局所的な勾配の方向を決定し、
   当該方法は、前記入力サンプルの勾配の値を前記出力サンプルの出力勾配の値にマッピングするステップを更に有し、前記出力勾配の値の対応する１つは、前記サンプルのうちの特定の１つの局所的な勾配として使用される、
   請求項１記載の画像のサンプルのサンプル値を補間する方法。
4. 前記入力サンプル及び前記出力サンプルは、ｘ方向における画素の行とｙ方向における画素の列とを有するマトリクス状に配列され、
   前記局所的な勾配の方向を決定するステップは、一時的な出力サンプルに対してｘ方向において第一のＳｏｂｅｌフィルタリングを行い、ｙ方向において第二のＳｏｂｅｌフィルタリングを行うステップを含み、
   前記出力サンプルの局所的な勾配は、前記第二のＳｏｂｅｌフィルタリングを前記第一のＳｏｂｅｌフィルタリングで割った逆正接である、
   請求項２記載の画像のサンプルのサンプル値を補間する方法。
5. 隣り合うインタポレータの入力値の間の距離は、隣り合う入力サンプルの間の距離に実質的に等しい、
   請求項２又は３記載の画像のサンプルのサンプル値を補間する方法。
6. 前記入力サンプルと前記出力サンプルは、ｘ方向における画素の行とｙ方向における画素の列とを有するマトリクス状に配列され、
   前記ワープファクタを決定するステップは、前記ワークファクタをｘ軸とｙ軸に投影して、第一及び第二のワープコンポーネントをそれぞれ得るステップと、インタポレータが前記第一及び第二のワープコンポーネントにより決定された修正される距離で前記入力サンプルを補間するステップとを含む、
   請求項２又は３記載の画像のサンプルのサンプル値を補間する方法。
7. 画像のサンプルのサンプル値を補間するワープドディスタンス式のインタポレータであって、
   サンプルのうちの特定の１つの付近にあるサンプル値から前記サンプルのうちの特定の１つのサンプル値の局所的な勾配の方向を決定する手段と、
   前記サンプルのうちの特定の１つの局所的な勾配の方向においてインタポレータの入力値の位置を選択する手段と、
   前記インタポレータの入力値の付近にある画素値から前記サンプルのうちの特定の１つのインタポレータの入力値を補間する手段と、
   前記インタポレータの入力値を使用してワープドディスタンス式のインタポレータについてワープファクタを１ステップで決定する手段と、
   を有することを特徴とするワープドディスタンス式のインタポレータ。
8. 請求項７記載のワープドディスタンス式のインタポレータ及びディスプレイスクリーンを有するディスプレイ装置。

Images