JP2008503960A - ピクセル補間 - Google Patents

Abstract

入力画像から選択されるセットの入力ピクセル（１０１〜１１４）の入力ピクセル値に基づいて、出力画像の出力ピクセルの出力ピクセル値を計算するための補間ユニット（８００）が、開示される。該補間ユニット（８００）は、第１グループのピクセル（１０１〜１０７）及び第２グループのピクセル（１０８〜１１４）を有し、入力ピクセルを選択するための入力ピクセル選択手段（８０２）と、セットの入力ピクセル（１０１〜１１４）に基づいて出力ピクセル値を決定するための順序統計フィルタリング手段（８０４）とを有する。前記セットの入力ピクセルは、第１ピクセル群（１０１〜１０７）及び第２ピクセル群（１０８〜１１４）の各入力ピクセルにより形成される入力ピクセル対（１０３，１１３）を接続する線（１１５，１１６）が、出力ピクセルが位置される出力画像における位置に対応する特定の入力画像における位置（１００）で交差する、ことを特徴とする。

Description

本発明は、奇数である複数の入力画像から選択されたセットの入力ピクセルの入力ピクセル値に基づいて、出力画像の出力ピクセルの出力ピクセル値を計算するための補間ユニットに関する。

本発明は、さらに、
‐画像を表す画像信号を受信する受信手段と、
‐上記補間ユニットと、
を有する画像処理装置に関する。

本発明は、更に、奇数である複数の入力画像から選択されたセットの入力ピクセルの入力ピクセル値に基づいて、出力画像の出力ピクセルの出力ピクセル値を計算することによる補間の方法に関する。

本発明は、更に、奇数である複数の入力画像から選択されたセットの入力ピクセルの入力ピクセル値に基づいて、出力画像の出力ピクセルの出力ピクセル値を補間する命令を有する、コンピュータ装置によりロードされるべきコンピュータプログラムに関する。

テレビジョン標準方式の慣性と、ディスプレイ装置の革新との組み合わせの結果、インターレースされたビデオをプログレッシブ走査信号に変換する、すなわちデインターレースするためのアルゴリズムの需要が増加している。単一の最適デインターレースアルゴリズムは、存在しない。むしろ、様々なアルゴリズムが幅広い計算上及び会計上の予算に合わせて設計される。最も高い画像品質を提供するアルゴリズムは、前記補間を空間的な次元か又は時間的な次元において見られる最大相関に適合する。空間的な次元では前記アルゴリズムは、エッジ方位に適合させ得るが、一方時間的な領域ではモーション適合性及びモーション補償が提案される。G. de Haan and E.B. Bellersによる文献"De-interlacing-An overview", in Proceedings of the IEEE, Vol. 86, No. 9, Sep. 1998, pp. 1839-1857を参照されたい。

空間的及び時間的デインターレースアルゴリズム間の相互作用が、可能な最もよい画質にとって決定的であるが、実際には、設計上の制約は、高価すぎる又は不適切であるためにモーション補償又はモーション適応アルゴリズムを除外し得る。それゆえ多くの場合では、デインターレースは、定義により、デインターレースされるべき単一の奇数又は偶数のフィールドに含まれる空間情報に単に基づく。空間デインターレースアルゴリズムのこのサブクラスでは、エッジ依存アルゴリズムは、更なるサブカテゴリである。

空間的なアルゴリズムでは、全情報の５０％を表す１つのフィールドのみが、利用可能である。ビデオ信号がナイキスト限界よりも上の垂直周波数を含むので、欠けている情報を信頼できるように補間することは不可能である。この場合における最良のオプションは、欠けている値を信号が最も定常である方向に補間することである。図１の（ａ）〜（ｄ）に描写するように、画像のエッジに沿って補間することが最も良い。この場合では、簡素な垂直補間は、結果として好ましくない「階段」効果となる。図１の（ｃ）の点線を参照されたい。

本発明の目的は、強固で相対的に実施することが容易である、最初の段落に記載された種類の新たな補間ユニットを提供することである。

本発明のこの目的は、前記補間ユニットが
‐第１ピクセル群と第２ピクセル群とを有し、前記第１ピクセル群と前記第２ピクセル群とのそれぞれの入力ピクセルにより形成される入力ピクセル対を接続する線が、出力ピクセルが位置される出力画像の位置に対応する特定の入力画像の位置で交差する、入力ピクセルを選択するための入力ピクセル選択手段と、
‐前記セットの入力ピクセルに基づいて出力ピクセル値を決定する順序統計フィルタリング手段と、
を有することで達成される。

これは、順序統計フィルタリング手段に供給される入力ピクセルが、特定の態様で選択されるということを意味する。文献では、順序統計フィルタは、ランク順序フィルタとも呼ばれる。前記セットの入力ピクセルの入力ピクセルは、特定の入力画像の前記位置の周囲に位置される。特定の入力画像の前記位置は、出力ピクセルの位置に空間的に適合する。前記セットのピクセルの各々、すなわち前記第１群の各ピクセルに対して、相手側のピクセル、すなわち前記第２群の各ピクセルがある。第１群のピクセルを第２群の各ピクセルに接続する線は、特定の入力画像の前記位置で交差する。典型的に、しかし排他的ではないが、第１群の第１ピクセル及び前記位置の間の第１の距離と、第１群の第１ピクセルの相手側のピクセル及び前記位置の間の第２の距離とは、相互に等しい。この場合、第１群の第１ピクセルとその相手側のピクセルとは、前記位置の周囲に対称的に位置される。

選択されたピクセルの順序統計フィルタと組み合わせる、入力ピクセルのセットの特定の構成の結果、エッジ依存補間となる。言い換えると、順序統計フィルタリングは、出力として、入力画像におけるエッジのような輝度構造に相対的に良く適合する出力ピクセル値を供給する。本発明による補間ユニットの利点は、例えば複数のエッジ方位を評価するような費用のかかる計算なしで、適切な出力ピクセル値が決定されるということである。

奇数とは、１，３，５，７，９…等に等しい如何なる数をも意味される。入力画像の数が１の場合、補間は空間的なフィルタリングである。入力画像の数が１よりも大きい場合、補間はいわゆる空間的時間的フィルタリングである。典型的に特定の入力画像は、時間的に入力画像の中心に位置される。

本明細書では、焦点はデインターレースにあり、すなわち本明細書において開示される複数の実施例はデインターレースに関する。しかしながら本発明による補間ユニット、方法及びコンピュータプログラムは、空間的なスケーリング、特に空間的な拡大スケーリングのための一般的な補間技術にも適用することができる。デインターレースでは、フィールド及びフレームのコンセプトが知られている。フィールドは、奇数又は偶数のビデオライン、すなわちフレームの行を有する。この明細書では、画像とは、フィールド又はフレームが意味される。

本発明による一実施例の補間ユニットは、重み付きメジアンフィルタを有する。これは、入力ピクセル値のコピーである順序統計フィルタリング手段の入力サンプルが重み付けされるということである。いくらかの入力ピクセルに対して複数のコピーがあり、他のものに対しては、１つのコピーのみが付与される。好ましくは、フィルタリング手段の出力、すなわち出力ピクセルの出力ピクセル値は、入力ピクセル値の選択されたものに等しい。代替として、フィルタリング手段の出力は、複数の選択された入力ピクセル値の重み付け平均を取ることにより計算される。重み付け平均を計算するために使用されるべき補間重み係数は、フィルタリング手段の入力サンプルのセットをつくるために使用されるべき選択重み係数とは典型的に異なる。

好ましくは、選択重み係数は距離に関連付けられる。例えば特定の入力画像における前記位置の相対的に近くに位置される入力ピクセル対の第１のものは、前記特定の入力画像における前記位置の相対的から遠くに位置される入力ピクセル対の第２のものと比較して、相対的に高い重みを持つ。

本発明による一実施例の補間ユニットでは、第１ピクセル群は、特定の入力画像における前記位置より上に位置される第１行の特定の入力画像から選択され、前記第２ピクセル群は、特定の入力画像における前記位置より下に位置される第２行の特定の入力画像から選択される。本発明によるこの実施例は、特にデインターレースに適している。それから、ピクセルの第１グループ及びピクセルの第２グループは、２つの、後に続く偶数のビデオライン又は後に続く奇数のビデオラインから選択される。出力ピクセルは、これら２つのビデオラインの間に位置する（奇数／偶数の）ビデオラインに属する。

好ましくは、本発明による補間ユニットの出力は、G. de Haan及びE. Bellersの発明（代理人整理番号PHNL030931）に基づいて同出願人により２００３年８月５日に出願されたＵＳ出願番号１０／６３９４２１に明記されたように画像変換ユニットにより更に処理される。

本発明による一実施例の補間ユニットでは、入力ピクセルのセットは、特定の入力画像に時間的に先立つ前の入力画像から、及び特定の入力画像の時間的に後に続く次の入力画像から選択される更なる入力ピクセルを有する。好ましくは、特定の入力画像から選択される入力ピクセルの代わりに、入力ピクセルのセットも、他の入力画像から選択される更なる入力ピクセルを有する。典型的に入力の前の画像、特定の入力画像及び次の入力画像は、シーケンスのビデオイメージの一部である。上記のように、この記載の文脈における画像は、フィールド又はフレームであり得る。交点すなわち前記位置は、多次元空間にある点である。したがって前の入力画像から選択される入力ピクセルは、次の入力画像におけるその相手側のピクセルを有する。これら２つのピクセルを接続する線は、他のこのような接続線と前記位置で交差する。時間的入力ピクセルを取り入れることは、補間ユニットの頑強さにとって有利である。

本発明による一実施例の補間ユニットは、第１順序統計フィルタの第１出力と第２順序統計フィルタの第２出力との平均を計算することにより、出力ピクセル値を計算するように用意される。本発明によるこの実施例は、デインターレースに有利である。好ましくは、入力サンプル及び統計フィルタリングの選択は以下に従う。
‐入力の第１順序統計フィルタは、前記第１ピクセル群のピクセルの第１のもの、前記第２ピクセル群のピクセルの第１のもの及び前の入力画像の第１行のピクセルの第１のものを有し、
‐入力の第２順序統計フィルタは、前記第１ピクセル群のピクセルの前記第１のもの、前記第２ピクセル群のピクセルの前記第１のもの及び次の入力画像の第１行のピクセルの第１のものを有する。

好ましくは、前の画像の第１行のピクセルの第１のものと次の画像の第１行のピクセルの第１のものとが、前記位置の周りに対称的に位置される。好ましくは、第１順序統計フィルタは、第１の３タップメジアンフィルタであり、第２順序統計フィルタは、第２の３タップメジアンフィルタである。時間的な入力ピクセル、すなわち前の入力画像及び次の入力画像からの選択は、誤り基準値の最小化に基づいて選択される。

本発明の更なる目的は、最初の段落に記載された種類の強固で相対的に実施することが容易な、画像処理装置を提供することである。

本発明のこの目的は、画像処理装置の補間ユニットが
‐入力ピクセルを選択するための入力ピクセル選択手段であって、第１ピクセル群及び第２ピクセル群を有し、該第１ピクセル群と該第２ピクセル群との各入力ピクセルにより形成される入力ピクセル対を接続する線が、出力ピクセルが位置される出力画像における位置に対応する特定の入力画像における位置で交差する、入力ピクセル選択手段と、
‐入力ピクセルのセットに基づいて出力ピクセル値を決定する順序統計フィルタリング手段と、
を有することで達成される。

本発明の更なる目的は、強固で相対的に実施することが容易な、最初の段落に記載された種類の方法を提供することである。

本発明のこの目的は、前記方法が
‐第１ピクセル群及び第２ピクセル群を有し、該第１ピクセル群と該第２ピクセル群との各入力ピクセルにより形成される入力ピクセル対を接続する線が、出力ピクセルが位置される出力画像における位置に対応する、特定の入力画像における位置で交差する、入力ピクセルを選択するステップと、
‐入力ピクセルのセットを順序統計フィルタリングすることにより出力ピクセル値を決定するステップと、
を有することで達成される。

本発明の更なる目的は、最初の段落に記載された種類の強固で相対的に実施することが容易なコンピュータプログラムを提供することである。

本発明のこの目的は、処理手段及びメモリを有するコンピュータ装置が、ロードされた後に、前記処理手段に
‐第１ピクセル群と第２ピクセル群とを有し、該第１ピクセル群及び該第２ピクセル群の各入力ピクセルにより形成される入力ピクセル対を接続する線が、出力ピクセルが位置される出力画像における位置に対応する、特定の入力画像における位置で交差する、入力ピクセルを選択するステップと、
‐入力ピクセルのセットを順序統計フィルタリングすることにより出力ピクセル値を決定するステップと、
を実行する能力を付与することで達成される。

前記補間ユニットの修正及びこの変形例は、記載された画像処理装置、方法及びコンピュータプログラムの補間ユニットの修正及び変形例に対応し得る。

本発明による画像処理装置、方法及びコンピュータプログラムの補間ユニットのこれら及び他の態様は、以下に記載された導入及び実施例から、並びに添付の図を参照して明らかになる、及び明らかにされるだろう。

図を通して類似の部分を示すために、同じ参照符号が使用される。

図１は垂直平均及びエッジ方向の平均の効果を概略的に示す。図１の（ａ）は、オリジナルの画像を概略的に示す。図１の（ｂ）は、該オリジナルの画像に基づいてインターレースされた画像を概略的に示す。すなわち、奇数／偶数番目のビデオラインのみが既定の時間間隔に対して残ったままである。図１の（ｃ）は、図１の（ｂ）に記載されたようなインターレースされた画像に基づく第１の出力画像を概略的に示す。図１の（ｂ）の欠けているピクセル値は、垂直平均により計算されている。ここでわかるように、階段状のケースパターンがこのやり方により生じる。図１の（ｄ）は、図１の（ｂ）に記載されたようなインターレースされた画像に基づく第２の出力画像を概略的に示す。しかしながら、図１の（ｂ）の欠けているピクセル値は、エッジ方向の平均により計算される。これは、欠けているピクセル値を計算するために、適切なピクセルが選択されるということを意味する。ここでわかるように、第２の出力画像とオリジナル画像とは、実質的に相互に等しい。この例は、入力ピクセルの適切な選択により、出力ピクセルが補間によって計算することができ、最適値に相対的に良く似ている、ということを実際に示している。本発明による補間ユニットは、既定のセットの入力ピクセルを順序統計フィルタリングすることにより、適切な入力ピクセルを決定するように構成される。以下では、図２〜７に関連して、複数のこれらの選択がより詳細に説明されるだろう。

図２は、本発明による単一の入力画像のセットの入力ピクセル１０１〜１１４を概略的に示す。該セットの入力ピクセルは、第１ピクセル群と第２ピクセル群とを有する。第１ピクセル群、ピクセル１０１〜１０７は、入力画像の第１行に位置される。第２ピクセル群、ピクセル１０８〜１１４は、入力画像の第２行に位置される。前記セットの入力ピクセルは、出力ピクセルの値を決定するために使用される。出力ピクセルは、出力画像に属し、入力画像の交点１００に空間的に対応する出力画像における位置に位置される。交点１００は、第１ピクセル群及び第２ピクセル群の各入力ピクセルにより形成される入力ピクセル対を接続する線が、交差する場所に位置される。例えば、第１群のピクセルの第１のもの１０３は、第２群のピクセルの第１のもの１１２と対を形成する。これら２つのピクセル１０３，１１２は、第１の線１１５により接続される。ピクセルの更なる対は、第１群のピクセルの第２のもの１０７及び第２群のピクセルの第２のもの１０８により成される。これらの２つのピクセル１０７、１０８は、第２の線１１６により接続される。この場合、図２に示されるように、対の各ピクセルは、例えば第１の線１１５及び第２の線１１６の交点１００の周りに対称的に位置される。

入力ピクセルの各々に対して、対応する重み係数は、図２において与えられる。例えば第１群の第１ピクセル１０３の重み係数は３であり、第２群の第２ピクセル１０８の重み係数は１である。出力ピクセルの値を計算するために、以下のサンプルが順序統計フィルタリングに使用される。１の重み係数をもつ第１グループ及び第２グループのピクセル、すなわち参照符号１０１，１０２，１０６，１０７，１０８，１０９，１１３及び１１４で参照されるピクセルは、１度だけコピーされる。３の重み係数を持つ第１グループ及び第２グループのピクセル、すなわち参照符号１０３，１０５，１１０及び１１２で参照されるピクセルは、３回コピーされる。８の重み係数をもつ第１グループ及び第２グループのピクセル、すなわち参照符号１０４及び１１２で参照されるピクセルは、８回コピーされる。これは、１４の入力ピクセルに基づいて３６サンプル（８×１＋４×３＋２×８）をもつセットが生成されることを意味する。このサンプルセットから、出力ピクセルの値は、順序統計フィルタリングに基づいて決定される。このような順序統計フィルタリングの一例は、中心値をもつ複数のサンプルを選択することに対応する。これは、例えば４０％のサンプルが選択されたサンプルの値よりも下の値を持ち、４０％のサンプルが選択されたサンプルよりも上の値を持つことを意味する。続いて、出力ピクセルの値は、重み付け平均の選択されたサンプルにより計算される。

代替として、第１順序統計フィルタリングは、第１ピクセル群に適用され、第２順序統計フィルタリングは、第２ピクセル群に適用される。結局、これら２つの順序統計フィルタリング操作の出力は、出力ピクセルの値を達成するために組み合わされる。

図３は、本発明による、３つの連続した入力画像の入力ピクセルの一例である選択を概略的に示す。第１ピクセル群は、図２に記載されたように現在の画像ｎからの複数のピクセル１０１〜１０７を有する。第１ピクセル群は、さらに、前の画像ｎ−１の複数のピクセル２０１〜２０７を有する。第２ピクセル群は、図２に関して記載されるように、現在の画像ｎからの複数のピクセル１０８〜１１４を有する。第２ピクセル群は、さらに、次の画像ｎ＋１の複数のピクセル２０８〜２１４を有する。前の画像ｎ−１のピクセルの重み係数と次の画像のための重み係数とは、相互に等しく１である。ピクセル対の各ピクセルを接続する線の交点１００を持つ条件は、依然として有効である。例えば、時間的な相互接続線２１５により次の画像のピクセル第１のもの２０８と接続される、前の画像ｎ−１のピクセルの第１のもの２０７は、対を形成する。この場合、交点は、２つの空間的な次元と１つの時間的な次元とを持つ３次元空間に位置される。

再び、本発明により、出力画像における位置に対応する入力画像の位置の周りに対称的に置かれたセットの２８ピクセルによって出力ピクセルの値が決定される。この出力ピクセルの値は、順序統計フィルタリングにより計算される。

図４は、誤り基準値の最小化に基づく入力ピクセルの選択を概略的に示す。入力ピクセルのセットは、前の画像ｎ−１、現在の画像ｎ及び次の画像ｎ＋１からのピクセルを有する。ピクセル対の各ピクセルを接続する線の交点を有する条件は依然として有効である。図４に関して示されるような順序統計フィルタリング及びピクセルの選択は、特に、デインターレースに関連する。図４に示されるような例では、現在の画像ｎから選択される２つのピクセル１０４，１１１がある。これら２つのピクセル１０４，１１１は、それぞれ、交点１００の上及び下に位置される行から選択される。好ましくは、２つのピクセル１０４，１１１は、同じ水平座標を有する。その上、評価に使用される前の画像ｎ−１の７つのピクセル２０１〜２０７があり、最終的に１つのピクセル２０３が選択される。これらの７つのピクセル２０１〜２０７は、交点１００が位置される場所と同じ行に位置される。評価のために使用される次の画像ｎ＋１の７つのピクセル２０８〜２１４があり、最終的に１つのピクセル２１２が選択される。これら７つのピクセル２０８〜２１４も、交点１００が位置される場所と同じ行に位置される。出力ピクセルの最終的な出力値は、２つの３タップメジアンフィルタの出力の平均を計算することによって決定される。該メジアンフィルタの第１のものの入力は、現在の画像ｎの２つのピクセル１０４，１１１及び前の画像ｎ−１の選択されたピクセル２０３を有する。メジアンフィルタの第２のものの入力も、現在の画像ｎの２つのピクセル１０４，１１１を有し、更に、次の画像ｎ＋１の選択されたピクセル２１２を有する。

２つの選択されたピクセル２０３及び２１２の決定は、誤り基準値の最小化に基づく。２つの選択されたピクセルは、補間の位置すなわち出力ピクセルの位置に対応する位置の周りに対称的に位置される。評価は、複数のピクセル対を比較することにより行われる。これらのピクセル対は全て補間の位置の周りに対称的に位置される。好ましくは、該評価は、２つのメジアンフィルタの１つ又はより多くの、出力を比較することに基づく。例えば、最小化されるべき誤り基準値は、２つのメジアンフィルタの出力間の絶対値の差を有する項を有し、該メジアンフィルタは、前の画像ｎ−１及び次の画像ｎ＋１の候補のピクセル２０１〜２０７及び２０８〜２１４を与えられる。代替として、誤り基準は、メジアンフィルタの１つ及び考慮中の候補ピクセルの間の絶対値の差を有する項を有する。

図５は、単一の入力画像の入力ピクセルの選択を概略的に示し、これによると第１入力ピクセル１０３と交点１００との間の第１距離５０１及び第２入力ピクセル１１２と前記交点との間の第２距離５０２は相互に異なる。第２入力ピクセル１１２は、第１入力ピクセル１０３の相手側のピクセルである。上記のように、図２〜４に関して入力ピクセルは、典型的に交点の周りに対称的に位置される。しかしながら、これは必要ではない。図５では、入力ピクセルがピクセル対の各ピクセル間の接続線の交点１００の周りに位置されるが、選択されたピクセルと交点との間の距離は相互に異なるということが説明される。好ましくは、ピクセル対の両方のピクセルの選択重み係数は、相互に等しい。選択重み係数は、図５でわかるように、交点１００へのそれぞれの距離に依存する。

図６は、本発明による入力ピクセルの代替の選択を概略的に示す。図６は、第１ピクセル群のピクセルが単一の行又は列に位置される必要がないということを明確に示している。言い換えると、第１ピクセル群のピクセルは、２つの空間的次元に広がり得、第２ピクセル群のピクセルもこれら２つの空間的次元に広がり得る。図６に図示されるような交点１００は、複数の入力ピクセル６０１〜６１２に囲まれている。中心において補間された出力ピクセルの値は、取り囲む１２の重み付けピクセル６０１〜６１２の中心重み付けメジアンである。ピクセルの対称的な対に付与された重み付けは、各対のピクセル間の絶対値の差及び交点１００への相対的な距離により決定される。

図７は、入力サンプルの選択を概略的に示し、これによると複数の入力サンプル７０１〜７０４は、入力ピクセルのコピーであり、他の入力サンプル７０５，７０６は、入力ピクセルの更なるコピーを平均することにより計算される。中心において補間された出力ピクセルの値は、該ピクセルを取り囲む６つの重み付けピクセルの中心の重み付けメジアンである。ピクセルの対称的な対に与えられた重みは、交点１００への相対的な距離により決定され、補間されたピクセル７０５、７０６（グレーのもの）の重みよりもオリジナルのピクセル７０１〜７０４（黒いもの）の重みの方が高い。

図８は、本発明による補間ユニット８００を概略的に示す。補間ユニット８００は、
‐第１ピクセル群及び第２ピクセル群を有する、入力ピクセルを選択するための入力ピクセル選択手段８０２と、
‐入力ピクセルのセットに基づいて出力ピクセル値を決定するための順序統計フィルタリング手段８０４と、
を有する。

前記補間ユニット８００は、その入力コネクタ８０６に入力画像を供給され、出力コネクタ８０８で出力画像を供給するように構成される。補間ユニット８００は、順序統計フィルタリングのためのセットのサンプルを生成するために適切な入力ピクセルを選択するように構成される。該セットのサンプルは、第１ピクセル群及び第２ピクセル群の各入力ピクセルにより形成される入力ピクセル対を接続する線が、出力ピクセルが位置される出力画像における位置に対応する入力画像における位置で、交差することを特徴とする。

セットのサンプル及びセットの順序統計フィルタを生成する例は、図２〜７に関して説明される。

入力ピクセル選択手段８０２及び順序統計フィルタリング手段８０４は、１つのプロセッサを用いて実行され得る。通常これらの機能は、ソフトウェアプログラムの制御の元で実行される。実行の間、通常ソフトウェアプログラムは、ＲＡＭのようなメモリへロードされ、そこから実行される。プログラムは、ＲＯＭ、ハードディスク又は磁気的及び／若しくは光学的ストレージのようなバックグラウンドメモリからロードされ得るか、インターネットのようなネットワークを介してロードされ得る。オプションとして用途特定集積回路が、開示された機能を備える。

図９は、
‐入力画像を表す信号を受信するための受信手段９０２と、
‐図８に記載されるような補間ユニット８００と、
‐該補間ユニット８００の出力画像をディスプレイするためのディスプレイ装置９０４と、
を有する、本発明による画像処理装置９００を概略的に示す。このディスプレイ装置９０４はオプションである。

信号は、アンテナ又はケーブルを介して受信される放送信号であり得るが、ＶＣＲ（ビデオカセットレコーダ）又はデジタル多用途ディスク（ＤＶＤ）のようなストレージ装置からの信号でもあり得る。信号は、入力コネクタ９０４で供給される。画像処理装置９００は、例えばＴＶであり得る。代替として、画像処理装置９００は、オプションのディスプレイ装置を有していないが、ディスプレイ装置９０４を有する装置にHD画像を供給する。それから、画像処理装置９００は、例えばセットトップボックス、衛星チューナ、ＶＣＲプレーヤ又はＤＶＤプレーヤであり得る。しかし、フィルムスタジオ又は放送局により適用されるシステムでもあり得る。

上記の実施例は、本発明を制限するのではなく説明しており、当業者は、修正された請求項の範囲から逸脱することなく代替の実施例を設計することができるだろう、ということを留意されるべきである。請求項では、括弧書きされたいかなる参照符号も請求項を制限するものとして解釈されるべきではない。「有する」という言葉は、請求項に列挙されていない要素又はステップの存在を排除するものではない。要素について単数の表記は、このような要素の複数の存在を排除するものではない。本発明は、いくつかの区別された要素を有するハードウェアによって、及び適切にプログラムされたコンピュータによって実施することができる。いくつかの手段を列挙するユニットの請求項では、これらの手段のいくつかは、ハードウェアの同じ部品により実施することができる。第１、第２及び第３などの言葉の使用は、いかなる順序を示すものではない。これらの言葉は、名称として解釈されるべきである。

図１の（ａ）〜（ｄ）は、垂直平均及びエッジ方向の平均の効果を概略的に示す。 図２は、本発明による単一入力画像の入力ピクセルの選択を概略的に示す。 図３は、本発明による３つの一連の入力画像の入力ピクセルの選択を概略的に示す。 図４は、誤り基準値の最小化に基づいた入力ピクセルの選択を概略的に示す。 図５は、単一の入力画像の入力ピクセルの選択を概略的に示し、第１入力ピクセル及び交点の間の第１距離と、その相手側の入力ピクセル及び交点の間の第２距離とは、相互に異なる。 図６は、本発明による入力ピクセルの更なる選択を概略的に示す。 図７は、複数のサンプルが入力ピクセルのコピーであり、また他の複数のサンプルが入力ピクセルの更なるコピーを平均することにより計算される、入力サンプルの選択を概略的に示す。 図８は、本発明による補間ユニットを概略的に示す。 図９は、本発明により画像処理装置を概略的に示す。

Claims (14)

1. 奇数である複数の入力画像から選択されるセットの入力ピクセルの入力ピクセル値に基づいて、出力画像の出力ピクセルの出力ピクセル値を計算するための補間ユニットであって、
   ‐第１ピクセル群と第２ピクセル群とを有し、前記第１ピクセル群及び前記第２ピクセル群の各入力ピクセルにより形成される入力ピクセル対を接続する線が、前記出力ピクセルが位置される前記出力画像における位置に対応する、特定の入力画像における位置で交差する、前記入力ピクセルを選択するための入力ピクセル選択手段と、
   ‐前記セットの入力ピクセルに基づいて、前記出力ピクセル値を決定するための順序統計フィルタリング手段と、
   を有する、補間ユニット。
2. 前記順序統計フィルタリング手段が中心重み付けメジアンフィルタを有する、請求項１に記載の補間ユニット。
3. 前記特定の入力画像における前記位置の相対的に近くに位置される前記入力ピクセル対の第１の対が、前記特定の入力画像における前記位置から相対的に遠くに位置される前記入力ピクセル対の第２の対と比較して、相対的に高い重みを持つ、請求項２に記載の補間ユニット。
4. 前記第１ピクセル群が、前記特定の入力画像における前記位置よりも上に位置される前記特定の入力画像の第１行から選択され、前記第２ピクセル群が、前記特定の入力画像における前記位置よりも下に位置される前記特定の入力画像の第２行から選択される、請求項１乃至３の何れか一項に記載の補間ユニット。
5. 前記セットの入力ピクセルが、前記特定の入力画像に時間的に先立っている前の入力画像から、及び前記特定の入力画像の時間的に後にくる次の入力画像から、選択される更なる入力ピクセルを有する、請求項１乃至４の何れか一項に記載の補間ユニット。
6. 前記更なる入力ピクセルが、前記位置が位置される前記特定の入力画像の第３行に対応する前記前の入力画像の第１行から選択されると共に、前記特定の入力画像の前記第３行に対応する前記次の入力画像の第１行から選択される、請求項５に記載の補間ユニット。
7. 第１出力の第１順序統計フィルタ及び第２出力の第２順序統計フィルタの平均を計算することによって、出力ピクセル値を計算するように構成される、請求項６に記載の補間ユニット。
8. ‐入力の前記第１順序統計フィルタが、前記第１ピクセル群のピクセルの第１のものと、前記第２ピクセル群のピクセルの第１のものと、前記前の入力画像の第１行のピクセルの第１のものとを有し、
   ‐入力の前記第２順序統計フィルタが、前記第１ピクセル群のピクセルの第１のものと、前記第２ピクセル群のピクセルの第１のものと、前記次の入力画像の第１行のピクセルの第１のものとを有する、
   請求項７に記載の補間ユニット。
9. 前記前の画像の第１行のピクセルの第１のもの及び前記次の画像の第１行のピクセルの第１のものが、前記位置の周りに対称的に位置される、請求項８に記載の補間ユニット。
10. 前記第１順序統計フィルタが第１の３タップメジアンフィルタであり、前記第２順序統計フィルタが第２の３タップメジアンフィルタである、請求項７乃至９の何れか一項に記載の補間ユニット。
11. 前記前の入力画像の第１行のピクセルの第１のものが、誤り規準値の最小化に基づいて選択される、請求項１０に記載の補間ユニット。
12. ‐画像を表す画像信号を受信するための受信手段と、
    ‐奇数である複数の入力画像から選択されるセットの入力ピクセルの入力ピクセル値に基づいて出力画像を計算するための補間ユニットであって、請求項１乃至１１の何れか一項に記載の補間ユニットと、
    を有する画像処理装置。
13. 奇数である複数の入力画像から選択されるセットの入力ピクセルの入力ピクセル値に基づいて、出力画像の出力ピクセルの出力ピクセル値を計算することによる補間の方法であって、
    ‐第１ピクセル群と第２ピクセル群とを有し、該第１ピクセル群及び該第２ピクセル群の各入力ピクセルにより形成される入力ピクセル対を接続する線が、前記出力ピクセルが位置される前記出力画像の位置に対応する特定の入力画像における位置で交差する、入力ピクセルを選択するステップと、
    ‐前記セットの入力ピクセルを順序統計フィルタリングすることにより、前記出力ピクセル値を決定するステップと、
    を有する方法。
14. 奇数である複数の入力画像から選択されるセットの入力ピクセルの入力ピクセル値に基づいて、出力画像の出力ピクセルの出力ピクセル値を補間する命令を有し、処理手段とメモリとを有するコンピュータ装置によりロードされるべきコンピュータプログラムであって、ロードされた後で
    ‐第１ピクセル群と第２ピクセル群とを有し、該第１ピクセル群及び該第２ピクセル群の各入力ピクセルにより形成される入力ピクセル対を接続する線が、前記出力ピクセルが位置される出力画像における位置に対応する、特定の入力画像における位置で交差する、入力ピクセルを選択するステップと、
    ‐前記セットの入力ピクセルを順序統計フィルタリングすることにより、前記出力ピクセル値を決定するステップと、
    を実行する能力を処理手段に付与する、コンピュータプログラム。

Images