JP2005538464A - 画像変換のためのユニット及びその方法 - Google Patents

Abstract

第１の解像度を持つ第１の画像を、この第１の解像度よりも高い第２の解像度を持つ第２の画像に変換する画像変換ユニット（２００）は、この第１の画像のフィルタリングされたピクセル値を、これらフィルタリングされたピクセル値に基づいて第１のフィルタ係数を計算する係数計算手段（１０６）に供給するためのフィルタ（１１２）を有する。この係数計算手段（１０６）は、第１の画像の第１のピクセル値及び第１のフィルタ係数に基づいて前記第２の画像の第２のピクセル値を計算する適応フィルタリング手段（１０４）を制御するように構成されている。

Description

本発明は、第１の解像度を持つ第１の画像を、第２の解像度を持つ第２の画像に変換する画像変換ユニットに関する。この画像変換ユニットは、
−第１の画像のピクセル値に基づいて第１のフィルタ係数を計算する係数計算手段と、
−前記第１の画像のピクセル値の第１のピクセル値及び前記第１のフィルタ係数に基づいて前記第２の画像の第２のピクセル値を計算する適応フィルタリング手段と、
を有する。

本発明はさらに、第１の解像度を持つ第１の画像を第２の解像度を持つ第２の画像に変換する方法にも関する。この方法は、
−第１の画像のピクセル値に基づいて第１のフィルタ係数を計算するステップと、
−前記第１の画像のピクセル値の第１のピクセル値及び前記第１のフィルタ係数に基づいて前記第２の画像の第２のピクセル値を計算するステップと、
を有する。

本発明はさらに、
−第１の画像に対応する信号を入力する入力手段と、
−第１の画像を第２の画像に変換する上述した画像変換ユニットと、
を有する画像処理装置にも関する。

ＨＤＴＶの登場は、ＳＤ(standard definition)ビデオ素材をＨＤＴＶ(high definition television)ディスプレイ上において見られることを可能にする空間アップコンバージョン技術の必要性を強調している。従来の技術は、バイリニア(bi-linear)補間のような線形補間方法と、多相のローパス補間フィルタを使用する方法とである。前者は、その品質が低いために、テレビジョン用途では一般的ではないが、後者は商業的に利用可能なＩＣに利用可能である。前記線形方法の場合、フレームにおけるピクセル数は増大するが、スペクトルの高周波部分は拡張されない、すなわち画像の知覚的なシャープさは増大しない。言い換えると、ディスプレイの機能を完全に活用していない。

従来の線形技術に加え、このアップコンバージョンを達成するために、多数の非線形アルゴリズムが提案されてきた。時々、これら技術はコンテンツベース又はエッジ依存型の空間アップコンバージョンと呼ばれる。これら技術の幾つかは既に民生用電子機器の市場において利用可能である。

冒頭の段落に述べた種類の画像変換ユニットの実施例は、Xin Li他による論文”New Edge-Directed Interpolation” in IEEE Transactions on Image Processing, Vol. 10, No 10, October 2001, pp. 1521-1527から知られている。この画像変換ユニットにおいて、補間アップコンバージョンフィルタのフィルタ係数は、局所的な画像コンテンツに適合する。この補間アップコンバージョンフィルタ開口は、

に規定されるような４次の補間アルゴリズムを用いる。Ｆ_HD(i, j)はＨＤ出力ピクセルの輝度値であり、Ｆ_SD(i, j)は入力ピクセルの輝度値であり、w_iはフィルタ係数である。これらフィルタ係数はＬＭＳ(Least Mean Square)最適化手順を用いてより大きい開口から得られる。引用される論文において、フィルタ係数を計算する方法が説明されている。従来技術による方法も図１Ａ及び図１Ｂと関連して説明されている。この方法は、ぼやけを防ぐために、エッジを横切るのではなくエッジに沿って補間することを目的としている。この著者はエッジの方位がスケーリングと共に変化しないというセンシティブな仮定を立てている。これにより、これら係数は、ＬＭＳ方法を用いることにより、局所的なウィンドウ内におけるＳＤ入力画像から近似されることができる。

引用される従来技術による”New
Edge-Directed Interpolation”方法が多くの画像部分において比較的良好に働いたとしても、非常に細かい画像のエリアにおけるアップコンバージョンに関する問題がある。

本発明の目的は冒頭の段落に述べた種類の画像変換ユニットに、非常に細かい画像のエリアにおいて改善された性能を提供することである。

本発明のこの目的は、画像変換ユニットがさらに、第１の画像をフィルタリングして、フィルタリングされたピクセル値を得る他のフィルタリング手段と、これらフィルタリングされたピクセル値に基づいて第１のフィルタ係数を計算するように構成される係数計算手段とを有するので達成される。ピクセル値は輝度値又は色値である。画像変換ユニットを用いて補間される従来のアルゴリズム、すなわちエッジの方位がスケーリングと共に変化しないことを基礎とする仮定は、もはやこれらエリアにおいて適正ではない。これは、係数が低い密度の格子において最適化されたとしても、この格子においてエイリアシング(aliasing)を防ぐことに意味がないからである。本発明による画像変換ユニットにおいて、フィルタ係数を計算する前に他のフィルタリング手段が含まれている。この他のフィルタリング手段は、第１の画像の入力ピクセルを出力ピクセル、すなわち第２の画像のピクセルに処理するダイレクトパスにではなく、フィルタ係数を決めるための制御パスにあることに注意されたい。好ましくは、この他のフィルタリング手段は空間ローパスフィルタを有する。

本発明による画像変換ユニットの実施例において、空間ローパスフィルタは、第１の画像のサンプリング周波数の４分の１に略対応する通過帯域を持つ。このローパスフィルタはサンプリング定理に対応している。

この空間ローパスフィルタは、１次元のフィルタ、若しくは２つの直交フィルタのカスケード接続でもよいが、代わりに２次元のフィルタが用いられてもよい。本発明による画像変換ユニットの実施例において、空間ローパスフィルタは、第１の画像のピクセルからなるブロックの平均ピクセル値を用いて、フィルタリングされたピクセル値の第１のピクセル値を計算するように構成される。本発明による実施例の利点は、それが比較的簡単なことである。ピクセルからなるブロックは、例えば２×２、２×３又は４×４ピクセルに対応する。

本発明の他の目的は、冒頭の段落に述べた種類の方法に、非常に細かい画像のエリアにおいて改善された性能を提供することである。

本発明のこの目的は、前記方法がさらに、第１の画像をフィルタリングして、フィルタリングされたピクセル値を得るステップと、これらフィルタリングされたピクセル値に基づいて第１のフィルタ係数を計算するステップとを有するので達成される。

本発明の他の目的は、冒頭の段落に述べた種類の画像処理装置に、非常に細かい画像のエリアにおいて改善された性能を提供することである。

本発明のこの目的は、画像処理装置の画像変換ユニットがさらに、第１の画像をフィルタリングして、フィルタリングされたピクセル値を得る他のフィルタリング手段と、これらフィルタリングされたピクセル値に基づいて第１のフィルタ係数を計算するように構成される係数計算手段とをさらに有するので達成される。この画像処理装置は、第２の画像を表示する表示装置を任意に有する。画像処理装置は、例えばＴＶ、セットトップボックス、ＶＣＲ(Video Cassette Recorder)プレーヤ又はＤＶＤプレーヤでもよい。

画像変換ユニット及びそれらユニットの変形体の変更は、記載される前記方法及び前記画像処理装置の変更並びにそれら装置の変形体に対応する。

本発明による画像変換ユニット、方法及び画像処理装置のこれら並びに他の態様は、以下に記載される方法及び実施例に関して、且つ添付する図を参照することから明らかであり、これらを参照して説明される。

同じ参照番号はこれら図を通じて同じ部分を示すのに用いられる。

図１Ａは従来技術による画像変換ユニット１００の実施例を概略的に示す。この画像変換ユニット１００は、入力接続部１０８においてＳＤ画像を供給し、出力接続部１１０においてＨＤ画像を供給する。この画像変換ユニット１００は、
−ＨＤ出力ピクセルの位置に対応するＳＤ入力画像の第１の画像内における特定の位置の第１の隣接ピクセルにおけるピクセル１−４の値の第１の組を取得し、前記ＳＤ入力画像の第１の画像内における特定の位置の第２の隣接ピクセルにおけるピクセル１−１６の値の第２の組を取得するように構成されるピクセル取得ユニット１０２；
−ピクセル１−４の値の第１の組と、ピクセル１−１６の値の第２の組とに基づいてフィルタ係数を計算するように構成されるフィルタ係数計算ユニット１０６であり、言い換えると、これらフィルタ係数が局所的なウィンドウ内におけるＳＤ入力画像から近似され、これが図１Ｂと関連して説明されるＬＭＳ方法を用いることにより行われる、フィルタ係数計算ユニット１０６；及び
−ピクセル１−４の値の第１の組、及び数１で指定されるようなフィルタ係数に基づいてＨＤ出力ピクセルの値を計算する適応フィルタリングユニット１０４であり、故に、前記フィルタ係数計算ユニット１０６が前記適応フィルタリングユニット１０４を制御するように構成される適応フィルタリングユニット１０４；
を有する。

図１Ｂは、従来技術による方法を説明するために、ＳＤ入力画像の多数のピクセル１−１６と、ＨＤ出力画像の１つのＨＤピクセルとを概略的に示す。このＨＤ出力ピクセルは、４つのピクセル１−４の加重平均として補間される。これはＨＤ出力ピクセルＦ_HDの輝度値が４つのＳＤ隣接ピクセルの加重和；

となる。ここで、Ｆ_SD(1)からＦ_SD(4)は、４つのＳＤ入力ピクセル１−４の値であり、w₁からw₄は計算されるべきフィルタ係数である。従来の方法が説明される引用される論文の著者は、エッジの方位がスケーリングと共に変化しないというセンシティブな仮定を立てる。この仮定の結果は、標準的な解像度格子上において、任意のフィルタ係数が補間するための係数と同じことである。つまり、
−ピクセル１は５、７、１１及び４から得られる（ピクセル１はこのピクセルの４つの隣接ピクセルから得られることを意味する）、
−ピクセル２は、６、８、３及び１２から得られる、
−ピクセル３は、９、２、１３及び１５から得られる、
−ピクセル４は、１、１０、１４及び１６から得られる
ことである。これは、ＬＳＭ最適化の場合、ＨＤ出力ピクセルを補間するための任意の４つのフィルタ係数が見つけられる４つの一次方程式の組を与える。

４つの重みを計算するのに用いられる、ＳＤ格子上のピクセルセットとＭが示される場合、最適化時にセットＭにわたるＭＳＥ(Mean Square Error)は、本来のＳＤピクセルＦ_SDと補間されたＳＤピクセルＦ_SIとの間の２乗誤差として書かれることができる。

行列での公式化は、

である。ここで

は、ＭにおけるＳＤピクセル（ピクセルＦ_SD(1, 1)からＦ_SD(1, 4)、Ｆ_SD(2, 1)からＦ_SD(2, 4)、Ｆ_SD(3, 1)からＦ_SD(3, 4)、Ｆ_SD(4, 1)からＦ_SD(4, 4)）を含み、Ｃはｋ番目の行が数５における各ＳＤピクセルの４つの対角のＳＤ隣接ピクセルの重みの総和から構成される４×Ｍ²の行列である。各行の重みの総和は、等式（３）に用いられるようなピクセルＦ_SIを示している。最小のＭＳＥ、すなわちＬＭＳを見つけるために、

に対するＭＳＥの導関数が計算される。

等式（７）を解くことにより、フィルタ係数がわかり、等式（２）を用いることにより、ＨＤ出力ピクセルの値が計算されることができる。

本実施例において、４×４ピクセルからなるウィンドウは、フィルタ係数の計算に用いられる。例えば４×４の代わりに８×８のようなより大きなウィンドウにおけるＬＭＳ最適化は良好な結果を与える。

本発明をさらに説明するために、本発明の非常に簡単な例示的な実施例が説明され、この実施例において、他のフィルタリング手段は４つのピクセルを平均化したフィルタであり、ＬＭＳ方法は補間されるべきＨＤピクセルの周りの５×５ブロック上に適用される。ピクセルの番号付けに対しては、図２Ａを参照する。初めに、低密度の格子上のフィルタリングされたピクセルが、それらピクセルの対角の隣接ピクセルの平均値、すなわち
ピクセルａ＝（５＋６＋９＋１）／４
ピクセルｂ＝（６＋７＋１＋２）／４
・・・
ピクセルｉ＝（４＋１２＋１５＋１６）／４
を用いて計算される。次いで、ピクセル１、２、３及び４の重みの総和として（ピクセルｅと同じ位置において）ピクセルＨＤを補間するために最適なフィルタ係数が計算されなければならない。この目的のために、これら４つの対角の隣接ピクセルから９個のフィルタリングされたピクセルａ、ｂ、ｃ、...ｉの最適な補間を解くためのＬＭＳ方法が用いられる。例えばピクセルｅはピクセルａ、ｃ、ｇ及びｉから補間される。図２Ａは、ピクセルａ、ｂ、ｃ、ｄ、ｆ、ｇ、ｈ及びｉの対角の隣接ピクセルがこの図に示されていないので、拡張される必要はない。

明らかにＬＭＳアルゴリズムに対する開口は、例えば５×５又は７×７に拡張されることができ、より高い次数のフィルタは、４つのピクセルを平均化したフィルタを有利に置き換えることができる。さらに、偶数個のタップを備える対称型フィルタは、４×４、８×８等のようなブロックサイズと共に使用されることができる。さらに、開口の形状が矩形である必要はない。

図２Ｂは、本発明による画像変換ユニット２００の実施例を概略的に示す。この画像変換ユニット２００は、入力接続部１０８においてＳＤ画像を供給し、出力接続部１１０においてＨＤ画像を供給する。これらＳＤ入力画像は、ＣＣＩＲ−６０１において指定されるようなピクセル行列、例えば６２５×７２０ピクセル又は５２５×７２０ピクセルを有する。これらＨＤ出力画像は、例えば水平方向及び垂直方向において２倍又は１．５倍のピクセル数であるピクセル行列を有する。画像変換ユニット２００は、
−出力ピクセルＨＤの位置に対応するＳＤ入力画像の第１の画像内における特定の位置の第１の隣接ピクセルにおけるピクセル１−４の値の第１の組を取得し、この特定の位置の第２の隣接ピクセルにおけるピクセル１−１６の値の第２の組を取得するように構成されるピクセル取得ユニット１０２、
−ピクセル１−１６の値の第２の組に基づいて、平均化された値ａ、ｂ、ｃ、…ｉの組、すなわちフィルタリングされたピクセル値ａ、ｂ、ｃ、…ｉの組を計算するためのローパスフィルタ１１２、
−フィルタリングされたピクセルａ、ｂ、ｃ、…ｉの組及びピクセル１−１６の値の第２の組に基づいてフィルタ係数を計算するように構成されるフィルタ係数計算ユニット１０６であり、言い換えると、これらフィルタ係数は局所的なウィンドウ内におけるフィルタリングされたＳＤ入力画像から近似され、これは図１Ｂ及び２Ａと関連して説明されるＬＭＳ方法を用いて行われるフィルタ係数計算ユニット１０６、及び
−ピクセル１−４の値の第２の値に基づいてＨＤ出力画像のピクセル値を計算するための適応フィルタリングユニット１０４であり、ＨＤ出力ピクセルは、ピクセル１−４の重みの合計として計算される適応フィルタリングユニット１０４、
を有する。

ピクセル取得ユニット１０２、ローパスフィルタ１１２、フィルタ係数計算ユニット１０６及び適応フィルタリングユニット１０４は、１つのプロセッサを用いて実施されてもよい。通常、これら機能はソフトウェアプログラムの制御下で行われる。実行中、通常はこのソフトウェアプログラムはＲＡＭのようなメモリ内にロードされ、そこから実行される。このプログラムはＲＯＭ、ハードディスク、又は磁気的及び／又は光学的な記憶装置のようなバックグラウンドメモリからロードされてもよく、若しくはインターネットのようなネットワークを介してロードされてもよい。任意には、アプリケーション特有の集積回路がこの開示された機能を提供する。

ＳＤ入力画像をＨＤ出力画像に変換するために、多数の処理ステップが必要とされる。これら処理ステップは、図３Ａ−３Ｄを用いて説明される。図３ＡはＳＤ入力画像を概略的に示し、図３Ｄは図３ＡのＳＤ入力画像から得られるＨＤ出力画像を概略的に示し、図３Ｂ及び３Ｃは中間結果を概略的に示す。

−図３ＡはＳＤ入力画像を概略的に示す。各Ｘ記号は個々のピクセルに対応している。
−図３Ｂは解像度を高めるためにピクセルが追加された図３ＡのＳＤ入力画像を概略的に示す。追加されるピクセルは＋記号を用いて示される。これら追加のピクセルは個々の対角の隣接ピクセルの補間を用いて計算される。この補間のためのフィルタ係数は、図２Ｂと関連して説明されるように決められる。
−図３Ｃは、図３Ｂを４５°回転した後の画像を概略的に示す。図３Ａに基づいて図３Ｂに示されるような画像を計算するのに用いられたのと同じ画像変換ユニット２００は、図３Ｂに示されるような画像に基づいて図３Ｄに示されるような画像を計算するのに使用されることができる。これは、新しいピクセルが個々の対角の隣接ピクセルの補間を用いて計算されることを意味する。
−図３Ｄは最終的なＨＤ出力画像を概略的に示す。最後の変換ステップ時に追加されたピクセルはＯ記号を用いて示される。

図４は、本発明による画像処理装置４００の実施例を概略的に示し、
−ＳＤ画像を表す信号を入力するための入力手段４０２であり、この信号はアンテナ又はケーブルを介して入力される放送信号であるが、ＶＣＲ又はＤＶＤのような記憶装置からの信号でもよく、この信号は入力接続部４０８において供給される入力手段４０２、
−図２Ｂと関連して説明されるような画像変換ユニット４０４、及び
−画像変換ユニット２００のＨＤ出力画像を表示する表示装置４０６であり、この装置は任意である表示装置、
を有する。画像処理装置４００は、例えばＴＶでもよい。代替的に、画像処理装置４００は任意の表示装置は持つのではなく、表示装置４０６を有する装置にＨＤ画像を供給する。次いで、画像処理装置４００は、例えばセットトップボックス、衛星チューナ、ＶＣＲプレーヤ又はＤＶＤプレーヤでもよい。しかし、撮影所又は放送局により供給されるようなシステムでもよい。

上述される実施例は本発明を制限するのではなく説明するものであり、当業者は添付した特許請求の範囲から外れることなく他の実施例を設計することが可能である。この特許請求の範囲において、括弧内にある如何なる参照符号もこの請求項を制限するものとして見られることはない。「有する」という用語は、特許請求の範囲において挙げられていない要素又はステップの存在を排除するものではない。要素を単数形で記載することはこのような要素が複数あることを排除するものではない。本発明は、幾つかの個別の要素を有するハードウェア及び適切にプログラムされたコンピュータを用いて実施されることができる。幾つかの手段を列挙している単一の請求項において、これら手段の幾つかはハードウェアの同一の項目により具現化されることができる。

従来技術による画像変換ユニットの実施例を概略的に示す。 従来技術による方法を説明するために多数のピクセルを概略的に示す。 本発明による方法を説明するために多数のピクセルを概略的に示す。 本発明による画像変換ユニットの実施例を概略的に示す。 ＳＤ入力画像を概略的に示す。 解像度を上げるためにピクセルが追加された図３ＡのＳＤ入力画像を概略的に示す。 図３Ｂを４５°回転した後の画像を概略的に示す。 図３ＡのＳＤ入力画像から得られるＨＤ出力画像を概略的に示す。 本発明による画像処理装置の実施例を概略的に示す。

Claims (7)

1. 第１の解像度を持つ第１の画像を、第２の解像度を持つ第２の画像に変換する画像変換ユニットであって、
   −前記第１の画像のピクセル値に基づいて第１のフィルタ係数を計算する係数計算手段と、
   −前記第１の画像の前記ピクセル値の第１のピクセル値及び前記第１のフィルタ係数に基づいて前記第２の画像の第２のピクセル値を計算する適応フィルタリング手段と、
   を有する画像変換ユニットにおいて、前記第１の画像をフィルタリングして、フィルタリングされたピクセル値を得る他のフィルタリング手段と、前記フィルタリングされたピクセル値に基づいて前記第１のフィルタ係数を計算するように構成される前記係数計算手段とをさらに有することを特徴とする画像変換ユニット。
2. 前記他のフィルタリング手段は空間ローパスフィルタを有することを特徴とする請求項１に記載の画像変換ユニット。
3. 前記空間ローパスフィルタは、前記第１の画像のサンプリング周波数の４分の１に略対応する通過帯域を持つことを特徴とする請求項２に記載の画像変換ユニット。
4. 前記空間ローパスフィルタは、前記第１の画像のピクセルからなるブロックの平均ピクセル値を用いて、前記フィルタリングされたピクセル値の第１のピクセル値を計算するように構成されることを特徴とする請求項２に記載の画像変換ユニット。
5. 第１の解像度を持つ第１の画像を、第２の解像度を持つ第２の画像に変換する方法であって、
   −前記第１の画像のピクセル値に基づいて第１のフィルタ係数を計算するステップと、
   −前記第１の画像のピクセル値の第１のピクセル値及び前記第１のフィルタ係数に基づいて前記第２の画像の第２のピクセル値を計算するステップと、
   を有する方法において、
   −前記第１の画像をフィルタリングして、前記フィルタリングされたピクセル値を得るステップと、前記フィルタリングされたピクセル値に基づいて前記第１のフィルタ係数を計算するステップとをさらに有することを特徴とする方法。
6. −第１の画像に対応する信号を入力する入力手段と、
   −前記第１の画像を第２の画像に変換する、請求項１に記載の画像変換ユニットと、
   を有する画像処理装置。
7. 前記第２の画像を表示する表示装置をさらに有する請求項６に記載の画像処理装置。

Images