JP2007501560A

JP2007501560A - 補間画像の後処理

Info

Publication number: JP2007501560A
Application number: JP2006522463A
Authority: JP
Inventors: ハーン，ヘラルトデ; ビーベラーズ，アーウィン
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2003-08-05
Filing date: 2004-07-29
Publication date: 2007-01-25
Also published as: KR20060069443A; EP1654872A1; US7136107B2; CN1833440A; WO2005013614A1; US20050030424A1

Abstract

入力画像を出力画像に変換するための画像変換ユニット（１００）が開示される。該画像変換ユニット（１００）は：入力画像のピクセルに対応するピクセル値の第一の群の第一の重み付き和を計算する第一の計算手段と、当該入力画像のサンプリンググリッドには存在しない空間位置についての補間によって計算される補間値の第二の群の第二の重み付き和を計算する第二の計算手段と、前記第一の重み付き和および前記第二の重み付き和を組み合わせることによって第三の和を計算するための組み合わせ手段と、前記第三の和を、当該入力画像のピクセル値から導かれる最小値と最大値との間に制限する制限手段、とを有する。

Description

本発明は、入力画像を出力画像に変換するための画像変換ユニットに関する。

本発明はさらに、
・入力画像のシーケンスに対応する信号を受信するための受信手段と、
・入力画像の最初の画像を出力画像に変換するための画像変換ユニット、
とを有する画像処理装置に関する。

本発明はさらに、入力画像を出力画像に変換する方法に関する。

本発明はさらに、処理手段とメモリとを有するコンピュータ設備によって読み込まれる、入力画像を出力画像に変換するための命令を有するコンピュータプログラムプロダクトに関する。

インターレースは、画像の奇数番目と偶数番目の走査線を交互に送信する一般的なビデオ放送手順である。インターレース解除はその完全な垂直解像度を復元しようとする。すなわち、各画像について奇数番目と偶数番目の走査線を同時に得られるようにするのである。インターレースされたビデオ信号の順次走査信号への変換のためには、過去数十年の間に多様な方法が提案されてきた。インターレース解除の初歩は、ヘラルト・デハーンおよびエルウィン・ベレルスによるIEEE集録（1998）中の概説論文「インターレース解除―概説」に見出すことができる。

最高の画質を与えるアルゴリズムは、補間を、空間次元において（エッジ依存補間）、あるいは時間次元において（動き補償された補間）見出される最大の相関に適応させる。現在最も進んだ諸方法は、動き補償と方向性適応の両方を適用する。こうした方法の不都合な点は、動きベクトルおよび／またはエッジ方向の誤差の影響を受けやすいということである。結果として、深刻な画像乱れが生じることがある。

本発明の目的の一つは、冒頭段落において記載された種類の画像変換ユニットであってピクセル値の補間によって引き起こされる乱れを軽減するよう構成されたものを提供することである。

本発明のこの目的は、前記画像変換ユニットが：
・入力画像のピクセルに対応するピクセル値の第一の群の第一の重み付き和を計算する第一の計算手段と、
・当該入力画像のサンプリンググリッドには存在しない空間位置についての補間によって計算される補間値の第二の群の第二の重み付き和を、フィルタ係数――フィルタ係数の和は実質０に等しい――に基づいて計算する第二の計算手段と、
・前記第一の重み付き和および前記第二の重み付き和を組み合わせることによって第三の和を計算するための組み合わせ手段と、
・前記第三の和を、当該入力画像のピクセル値の第三の群から導かれる最小値と当該入力画像のピクセル値の第四の群から導かれる最大値との間に制限する制限手段、
とを有することによって達成される。

好ましくは、前記第一の計算手段は低域通過フィルタに対応する。フィルタ係数の和は０に等しいので、前記第二の計算手段は高域通過フィルタに対応する。乱れ、すなわち不適切な補間値の適応の軽減は、これらの補間値の高域通過フィルタ処理によって導かれる値を当該画像のもとの値の低域通過フィルタ処理によって導かれる他の値と組み合わせることによって達成される。換言すれば、当該画像の低周波部分が補間値の高周波部分を増幅したものに加えられる。増幅は好適なフィルタ係数を適用した結果である。提案される処理の結果として、出力画像には低周波乱れは発生しない。潜在的なアンダーシュートおよびオーバーシュートは前記制限手段によって解消される。

好ましくは、前記第三のピクセル値の群および前記第四のピクセル値の群は互いに同じものである。典型的には、前記第三のピクセル値の群は考慮している補間値の近傍のピクセルに属する２０個未満の値からなる。

本発明に基づく画像フィルタユニットのある実施形態はさらに、さらなる入力画像のさらなるピクセル値に基づいて補間値を計算するための補間ユニットを有している。代替的には該補間ユニットは空間的上方変換（アップコンバージョン）ユニットである。空間的上方変換技法はたとえば、標準精細度（SD: standard definition）ビデオ素材を高精細度（HD: high definition）テレビ（TV： television）表示装置で見られるようにする。この上方変換を達成するためには、従来の線形技法に加えて、いくつかの非線形アルゴリズムが提案されている。時に、こうした技法はコンテンツベース、コンテンツ適応的あるいはエッジ依存の空間的上方変換と称される。いくつかのこうした上方変換技術は、ISCE2002集録、エルフルト、ドイツ国、23-26、2002年9月所収のモン・チャオらによる概説論文『空間上方変換技術の概説』で記載されている。

あるいはまた、当該画像変換ユニットは、前記補間ユニット、たとえばインターレース解除ユニットまたは空間的上方変換ユニットをもたず、そのような補間ユニットに接続されて、乱れの軽減を一種の後処理のように実行するよう構成される。

本発明に基づく画像フィルタユニットのある実施形態では、前記第二の計算手段のフィルタ係数は固定される、すなわちあらかじめ決められる。これらのフィルタ係数は、補間値の高周波部分の増幅が達成されるように決定される。前記制限手段のため、オーバーシュートまたはアンダーシュートの危険はない。しかし、代替的に、フィルタ係数を制御可能としてもよい。そのため、本発明に基づく画像フィルタユニットのある実施形態は、補間ユニットの制御信号に基づいてフィルタ係数を制御するための制御手段を有している。本発明に基づくこの実施形態の利点は、乱れの軽減が改善されることである。

補間を制御するパラメータの品質は乱れの確率に関係している。たとえば、動き補償されたインターレース解除の場合、動きベクトルの正確さが順次出力画像の品質、すなわち補間されたピクセル値の適切さにとって重要である。その場合、動きベクトルの品質についての知識をフィルタ係数の制御に適用することが有益である。動きベクトルの品質を表現する一つのパラメータは一致誤差である。典型的な動き推定ユニットは、第一の画像のピクセル値と第二の画像のさらなるピクセル値との間の差の総和に基づいて動きベクトルを推定するよう構成されている。一致誤差は、差分絶対値和（SAD: Sum of Absolute Difference）などでよい。好ましい動き推定は、『IEEE紀要：ビデオ技術回路・システム』第３巻第５号、1993年10月、368〜379ページのG・デハーンらによる論文「３Ｄ再帰的検索ブロックマッチングを用いた真の動き推定」において述べられている。

エッジ依存補間の場合は、推定されたエッジの品質についての知識をフィルタ係数の制御に適用することが有益である。

本発明に基づく画像フィルタのある実施形態では、前記最小値はピクセル値の前記第三の群のうち該最小値をもつある特定のピクセル値に等しい。あるいはまた、前記最小値は前記第三の群のうち比較的小さな値をもついくつかのピクセル値を平均することによって計算される。前記最大値の確定も、好ましくは最大値に関する同様の手法に基づいて行われる。

本発明のさらなる目的は、冒頭段落において記載された種類の画像処理装置であってピクセル値の補間によって引き起こされる乱れを軽減するよう構成されたものを提供することである。

当該画像処理装置は任意的に前記第二の画像を表示するための表示装置を有している。当該画像処理装置はたとえばテレビ、セットトップボックス、衛星チューナー、VCR（ビデオカセットレコーダー）プレーヤーまたはDVD（デジタル多用途ディスク）プレーヤーなどでありうる。

本発明のさらなる目的の一つは、冒頭段落において記載された種類の方法であってピクセル値の補間によって引き起こされる乱れが軽減されるような方法を提供することである。

本発明のこの目的は、前記方法が：
・入力画像のピクセルに対応するピクセル値の第一の群の第一の重み付き和を計算し、
・当該入力画像のサンプリンググリッドには存在しない空間位置についての補間によって計算される補間値の第二の群の第二の重み付き和を、フィルタ係数――フィルタ係数の和は実質０に等しい――に基づいて計算し、
・前記第一の重み付き和および前記第二の重み付き和を組み合わせることによって第三の和を計算し、
・前記第三の和を、当該入力画像のピクセル値の第三の群から導かれる最小値と当該入力画像のピクセル値の第四の群から導かれる最大値との間に制限する、
ことを有することによって達成される。

本発明のさらなる目的の一つは、冒頭段落において記載された種類のコンピュータプログラムプロダクトであってそれによりピクセル値の補間によって引き起こされる乱れが軽減されるようなものである。

本発明のこの目的は、前記コンピュータプログラムプロダクトが、読み込まれたのちに、前記処理手段に：
・入力画像のピクセルに対応するピクセル値の第一の群の第一の重み付き和を計算し、
・当該入力画像のサンプリンググリッドには存在しない空間位置についての補間によって計算される補間値の第二の群の第二の重み付き和を、フィルタ係数――フィルタ係数の和は実質０に等しい――に基づいて計算し、
・前記第一の重み付き和および前記第二の重み付き和を組み合わせることによって第三の和を計算し、
・前記第三の和を、当該入力画像のピクセル値の第三の群から導かれる最小値と当該入力画像のピクセル値の第四の群から導かれる最大値との間に制限する、
ことを実行する能力を与えることによって達成される。

画像変換ユニットおよびその変形に対する修正は、記載されている画像処理装置、方法およびコンピュータプログラムプロダクトの修正および変形に対応することがありうる。

本発明に基づく画像変換ユニット、画像処理装置、方法およびコンピュータプログラムプロダクトのこれらのことを含むさまざまな側面は、以下に記載される実装および実施形態との関連で、および付属の図面を参照することで、明らかとなり、明快になることであろう。

図面を通じて、同じ参照符号は同様の部分を示すのに使われている。

図１は、本発明に基づく画像変換ユニット１００のある実施形態をその環境中で、すなわちインターレース解除ユニット１１０およびマージユニット１１２に接続された形で示す概略図である。インターレース解除ユニットは、ある特定のビデオフィールドについて欠けているピクセルの値を計算するよう構成されている。たとえば、ある画像の偶数番目の行に対応するビデオフィールドでは、奇数番目の行に対応するピクセル値が欠けている。すなわち、入力画像のサンプリンググリッドにはそれに対応する空間位置についてのピクセル値がないのである。これらの欠けているピクセル値は現在のビデオフィールドのピクセル値の補間によって近似される。それはたとえば、値を計算する必要のある空間位置の上および下の行から取ったピクセル値が補間の入力として使われるということである。実際に取られるピクセル値は画像中の検出されたエッジに基づいていてもよい。好ましくは、時間的環境におけるピクセル値も補間のために適用される。好ましくは、この後者の種類の補間の入力としては、以前のビデオフィールドからのピクセル値および動きベクトルが使用される。

マージユニット１１２は、ある入力画像の奇数番目または偶数番目の行のいずれかに対応するもとからのピクセル値を、出力画像のそれぞれ偶数番目または奇数番目のビデオ行に対応する画像変換ユニット１００によって計算された値と組み合わせることによって出力画像を構築するよう構成されている。

画像変換ユニット１００は：
・入力画像のピクセルに対応するピクセル値の第一の群の第一の重み付き和を計算する低域通過フィルタ１０４と、
・補間値の第二の群の第二の重み付き和を計算する高域通過フィルタ１０２と、
・前記第一の重み付き和および前記第二の重み付き和を組み合わせることによって第三の和を計算するための加算ユニット１０６と、
・前記第三の和を、ある最小値とある最大値との間に制限する制限手段１０８、
とを有する。

低域通過フィルタ１０４の出力I_LF(y,n)は式（１）で指定される：
I_LF(y,n)＝1×O(y−3,n)＋8×O(y−1,n)＋8×O(y＋1,n)＋1×O(y＋3,n) （１）
ここで、O(y,n)はビデオ信号中、もともと得られていた行からの標本値、yは垂直位置、すなわち順次フレームすなわち出力画像における行番号、nは画像番号を示す。式（１）から、この低域通過フィルタ処理は、考慮している補間値の上および下に位置する４つのピクセルの値に基づいていることがわかる。

高域通過フィルタ処理１０２の出力I_HF(y,n)は式（２）で指定される：
I_HF(y,n)＝−5×I_i(y−2,n)＋10×I_i(y,n)−5×I_i(y＋2,n) （２）
ここで、I_i(y,n)はインターレース解除ユニット１１０から得られる補間された標本値である。式（２）から、この高域通過フィルタ処理が３つのピクセル値に基づいていることがわかる。ある特定のピクセルのフィルタ処理された値は、その特定のピクセル、その特定にピクセルの上に位置するピクセルおよびその特定のピクセルの下に位置するピクセルに基づいている。

高域通過フィルタ１０２の出力および低域通過フィルタの出力は、前記第一の重み付き和および前記第二の重み付き和を組み合わせることによって第三の和を計算するための加算ユニット１０６に接続されている。

前記加算ユニット１０６の出力は、前記第三の和をある最小値とある最大値との間に制限するための制限ユニット１０８に接続されている。最小値および最大値は、その補間された標本値の上および下の行から取ったピクセル値の群から導かれる。好ましくは、その群のピクセルの水平位置の偏位は、高々水平方向にある所定の距離（たとえば±3標本点）である。制限ユニット１０８の制限動作は式（３）で指定される：
I(y,n)＝clip(I_LF＋I_HF, min, max) （３）
ここで、
clip(a,min,max)＝
a min＜a＜maxの場合
min a＜minの場合
max a＞maxの場合（４）
である。

低域通過フィルタ１０４、高域通過フィルタ１０２、加算ユニット１０６および制限ユニット１０８は一つのプロセッサを使って実装されてもよい。その上、画像変換ユニット１００、インターレース解除ユニット１１０およびマージユニット１１２が一つのプロセッサを使って実装されてもよい。通常、これらの機能はソフトウェアプログラムプロダクトの制御のもとに実行される。実行中、通常はソフトウェアプログラムプロダクトはRAMのようなメモリに読み込まれ、そこから実行される。プログラムはROM、ハードディスクまたは磁気および／もしくは光記憶のような補助記憶装置から読み込まれることもできるが、あるいはインターネットのようなネットワークを通じて読み込まれてもよい。任意的に、特定用途向けICが開示されている機能を提供する。

図１Ｂは、図１Ａの画像変換ユニットを複数の入力および出力標本値とともに示す概略図である。ある特定の標本値I(y,n)は７つの標本値の重み付き和に基づいて計算される。任意的に、出力標本値はその値によっては、さらなる入力標本値に基づいて制限される。さらなる入力標本値とはたとえば、
O(x−2,y＋1,n),O(x−1,y＋1,n),O(x,y＋1,n),O(x＋1,y＋1,n),O(x＋2,y＋1,n),
O(x−2,y−1,n),O(x−1,y−1,n),O(x,y−1,n),O(x＋1,y−1,n),O(x＋2,y−1,n)
からなる集合からのものである。

図１Ａおよび図１Ｂとの関連で述べた画像変換ユニット１００は、インターレース解除ユニット１１０に接続され、垂直方向に一次元的なフィルタ処理を実行するよう構成されている。本発明に基づくある代替的な実施形態が水平方向の一次元的なフィルタ処理を実行するよう構成され、本発明に基づくさらなる実施形態が水平方向と垂直方向の両方の二次元的なフィルタ処理を実行するよう構成されることは明らかであろう。この最後の実施形態は、入力画像をより高い空間解像度の出力画像に変換するよう構成された空間的上方変換ユニットと組み合わせて適用されてもよい。

図２は、高域通過フィルタ１０２を制御するための制御ユニット２０２を有する、本発明に基づく画像変換ユニット２００のある実施形態を示す概略図である。制御ユニット２０２は、補間ユニット、たとえばインターレース解除ユニット１１０によって与えられる制御信号に基づいて高域通過フィルタのためにフィルタ係数を計算するよう構成されている。制御信号は、当該画像中の動きベクトルの推定またはエッジの推定から導かれることができる。制御ユニット２０２、低域通過フィルタ１０４、高域通過フィルタ１０２、加算ユニット１０６および制限ユニット１０８は一つのプロセッサを使って実装されてもよい。

図３は、本発明に基づく画像変換ユニット３００の、乗算ユニット３０２を有する代替的な実施形態を示す概略図である。乗算ユニット３０２は高域通過フィルタ処理された信号I_HF(y,n)に制御ユニット２０２によって与えられる利得を乗算するよう構成されている。図２との関連で述べた高域通過フィルタ１０２のフィルタ係数の調整によってもこの利得の調整によるのと同じ効果が達成できることを注意しておく。乗算ユニット３０２、制御ユニット２０２、低域通過フィルタ１０４、高域通過フィルタ１０２、加算ユニット１０６および制限ユニット１０８は一つのプロセッサを使って実装してもよい。

図４は、本発明に基づく画像処理装置４００のある実施形態を示す概略図である。この画像処理装置は：
・SD画像を表す信号を受信するための受信手段４０２と、
・図１Ａ、図１Ｂ、図２および図３との関連でそれぞれ述べた画像処理コンポーネント１１０、１１２、１００、２００、３００の組み合わせ４０４と、
・画像処理コンポーネントの組み合わせ４０４のHD出力画像を表示するための表示装置４０６、とを有している。この表示装置４０６は任意的である。

信号はアンテナまたはケーブルを通じて受信された放送信号であってもよいが、VCＲ（ビデオカセットレコーダー）またはDVD（デジタル多用途ディスク）のような記憶装置からの信号であってもよい。信号は入力コネクタ４０８に与えられる。画像処理装置４００はたとえばテレビである。あるいはまた、画像処理装置４００は前記任意的な表示装置はもたず、HD画像を表示装置４０６を有する装置に与える。その場合、画像処理装置４００はたとえばセットトップボックス、衛星チューナー、VCRプレーヤーまたはDVDプレーヤーでありうるが、映画スタジオまたは放送局によって使用されるシステムであってもよい。

上述した実施形態は本発明を説明するものであって限定するものではないこと、また当業者は付属の特許請求の範囲から外れることなく代替的な実施形態を考案することができるであろうことを注意しておく。請求項において、括弧に入れて参照符号があったとしても、当該請求項を限定するものと解釈してはならない。「有する」の語は請求項に挙げられていない要素またはステップの存在を排除するものではない。要素の単数形の表現はそのような要素が複数存在することを排除するものではない。本発明はいくつかの別個の要素からなるハードウェアによって、および好適にプログラムされたコンピュータによって実装することができる。いくつかの手段を列挙するユニットの請求項では、それらの手段のいくつかが同一のハードウェア要素によって具現されることもできる。

本発明に基づく画像変換ユニットのある実施形態をその環境中で示す概略図である。図１Ａの画像変換ユニットを複数の入力および出力標本値とともに示す概略図である。高域通過フィルタを制御するための制御ユニットを有する、本発明に基づく画像変換ユニットのある実施形態を示す概略図である。乗算ユニットを有する、本発明に基づく画像変換ユニットの代替的な実施形態を示す概略図である。本発明に基づく画像処理装置のある実施形態を示す概略図である。

Claims

・入力画像のピクセルに対応するピクセル値の第一の群の第一の重み付き和を計算する第一の計算手段と、
・当該入力画像のサンプリンググリッドには存在しない空間位置についての補間によって計算される補間値の第二の群の第二の重み付き和を、フィルタ係数――フィルタ係数の和は実質０に等しい――に基づいて計算する第二の計算手段と、
・前記第一の重み付き和および前記第二の重み付き和を組み合わせることによって第三の和を計算するための組み合わせ手段と、
・前記第三の和を、当該入力画像のピクセル値の第三の群から導かれる最小値と当該入力画像のピクセル値の第四の群から導かれる最大値との間に制限する制限手段、
とを有することを特徴とする、入力画像を出力画像に変換するための画像変換ユニット。
前記補間値をさらなる入力画像のさらなるピクセル値に基づいて計算する補間ユニットをさらに有することを特徴とする、請求項１記載の画像変換ユニット。
前記補間ユニットがインターレース解除ユニットであることを特徴とする、請求項２記載の画像変換ユニット。
前記補間ユニットが空間的上方変換ユニットであることを特徴とする、請求項２記載の画像変換ユニット。
前記補間ユニットの制御信号に基づいて前記フィルタ係数を制御する制御手段をさらに有することを特徴とする、請求項２記載の画像変換ユニット。
前記補間ユニットが動きベクトルに基づいて前記補間値を計算するよう構成されており、前記制御信号が動きベクトルに基づいていることを特徴とする、請求項５記載の画像変換ユニット。
前記最小値が、ピクセル値の前記第三の群のうち該最小値をもつある特定のピクセル値に等しいことを特徴とする、請求項１記載の画像変換ユニット。
・入力画像のシーケンスに対応する信号を受信するための受信手段と、
・入力画像の最初の画像を出力画像に変換するための、請求項２記載の画像変換ユニット、
とを有することを特徴とする画像処理装置。
出力画像を表示するための表示装置をさらに有することを特徴とする、請求項８記載の画像処理装置。
テレビであることを特徴とする、請求項９記載の画像処理装置。
・入力画像のピクセルに対応するピクセル値の第一の群の第一の重み付き和を計算し、
・当該入力画像のサンプリンググリッドには存在しない空間位置についての補間によって計算される補間値の第二の群の第二の重み付き和を、フィルタ係数――フィルタ係数の和は実質０に等しい――に基づいて計算し、
・前記第一の重み付き和および前記第二の重み付き和を組み合わせることによって第三の和を計算し、
・前記第三の和を、当該入力画像のピクセル値の第三の群から導かれる最小値と当該入力画像のピクセル値の第四の群から導かれる最大値との間に制限する、
ことを有することを特徴とする、入力画像を出力画像に変換する方法。
処理手段とメモリとを有するコンピュータ設備によって読み込まれる、入力画像を出力画像に変換するための命令を有するコンピュータプログラムであって、読み込まれたのちに、前記処理手段に：
・入力画像のピクセルに対応するピクセル値の第一の群の第一の重み付き和を計算し、
・当該入力画像のサンプリンググリッドには存在しない空間位置についての補間によって計算される補間値の第二の群の第二の重み付き和を、フィルタ係数――フィルタ係数の和は実質０に等しい――に基づいて計算し、
・前記第一の重み付き和および前記第二の重み付き和を組み合わせることによって第三の和を計算し、
・前記第三の和を、当該入力画像のピクセル値の第三の群から導かれる最小値と当該入力画像のピクセル値の第四の群から導かれる最大値との間に制限する、
ことを実行する能力を与えることを特徴とするコンピュータプログラム。