JP2005507595A - ビデオ画像の改善される空間的な解像度 - Google Patents

Abstract

本発明は、画像のエッジに沿って補間することによって、画像の解像度を改善するための方法及び装置に関する。エッジは検出され、該エッジの方向が計算される（１０）。新しい画素の補間（１２）が、上記エッジの方向に沿って実行される。本発明によれば、プリフィルタ（８）は、新しい画素が補間される方向においてはハイパスフィルタリングで、別の方向においてはローパスフィルタリングで使用される。

Description

【技術分野】
【０００１】
本発明は、ビデオ画像の解像度を改善するための方法及び装置に関する。
【背景技術】
【０００２】
ビデオライン上の画素の数、又は入力ビデオ信号におけるビデオラインの数が、ディスプレイに必要な数と異なる場合は、常に空間スケーリングが必要である。このことは、インタレースされるビデオ信号がプログレッシブビデオ信号を供給するためにデインタレースされなければならない場合か、又は、表示装置が元の信号が供給し得る比とは異なる比を要求するように、アスペクト比が適応されなければならない場合である。高品位な空間スケーリングは、補間するローパスフィルタを用いるアップスケーリングによって実現される。このフィルタでは、入力信号が最初は、所望の帯域の２倍のサンプリング周波数でサンプリングされる。これらのサンプルは補間され、その後ゼロスタッフィング方法によって大幅に減らされる。入力信号の帯域幅は低下されないが、さらに、追加のスペクトル成分がピクチャを改善するために用いられることもできない。
【０００３】
T.Doyle他著，HDTVの信号処理，第II章「エッジ情報を用いるプログレッシブ走査変換（Progressive Scan Conversion using Edge Information）」において、画像の二次元相関性の使用が開示されている。この相関性を用いることによって、最も高い相関性に沿って、すなわち、エッジに沿って画素を補間することが可能である。エッジは、クロミナンス値又は輝度値が急速に画像の画素のラインに沿って変化するとき、ピクチャに生じる。図１に示されるように画素対の３つの異なる値に注目することが提案されている。図１では、インタレースされる画像の一連における１つの画像が図示されている。各々の画素２及び画素４は、例えば、８ビット値のような値によって表される。この値は、表示された画像の空間的に対応する位置における画素２及び画素４の色又は強度のいずれかを表す。
【０００４】
図１に示されるピクチャマトリックスは、垂直の画素列ｖ及び水平画素ラインｈによって表される。各々の画像はピクチャの一方の半分を表し、これはピクチャの他方の半分を表す次に続く画像によって完全なものにされる。プログレッシブビデオ信号を生成するために、各画像では補間によって足りない画素が充填される。図１では、黒い画素２が、ビデオ信号における実際の画素を表し、白い画素４は、補間されなければならない、足りない画素を表す。
【０００５】
水平ラインから＋４５°，−４５°及び９０°の方向における画素２の３つの対ａ，ｂ及びｃの輝度値に注目することが提案されている。中間の画素４ａは、上記３つの画素対の輝度値のうち最も小さい差をもつ画素対の値を用いることによって補間される。この理由は、この対が画像におけるエッジと交差しない対であると考えられるためである。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
この方法の欠点は、画素４ａを通る細い垂直ラインでは、同じ差をもつ３つの画素対ａ，ｂ，ｃをもたらすということである。その場合、補間は画像にノイズ及びアーチファクトを生じる。水平ラインの近傍の方向におけるエッジが相関性テストに含まれるならば、この問題は増大する。これは、画像の最大のディテール(detail，細かい部分)と比較して大きい距離にわたって、上記の差が測定されるという事実のためである。
【０００７】
したがって、本発明の目的は、ピクチャの鮮明さ(sharpness，シャープネス)を向上させることにある。この目的のために、本発明は、独立クレームにより規定される方法及び装置を供給する。従属クレームは、有利な実施形態を規定する。
【課題を解決するための手段】
【０００８】
有利なことに、補間によって生じるノイズ及びアーチファクトの低減がもたらされ得る。有利なことに、新しいスペクトル成分が、本質的に非線形である、エッジ方向依存の補間によって供給されることができる。
【０００９】
１つの軸では、ローディテール（low detail，低精度）領域は、ハイパスフィルタでフィルタリングされる。ローディテールをもつ領域では、種々の異なる補間法が適切であり得る。ハイパスフィルタの結果が、画像の他の処理のために使われてもよい。
【００１０】
第１の方向に対して０°と４５°との間の角度を有するエッジのインパクトを減らすために、第２の軸に沿ってローパスフィルタがハイディテール（high detail，高精度）部をフィルタリングする。さらに、ローパスフィルタは、プリフィルタのノイズ感度を低減する。
【００１１】
プリフィルタの出力は、第１の軸において増加されるディテールを有すると共に、第２の軸において減少されるディテールを有する画像である。
【００１２】
プリフィルタの出力が、ゼロとは異なる値をもつごく僅かの画素だけを含むので、特定の補間において、デジタル信号プロセッサは、他の処理のために使われてもよい。空間的なエッジは、プリフィルタリングされる画像においてゼロ交差を検出することによって、プリフィルタの出力から検出される。ゼロ交差は、連続的な画素の画素値が、これらの値を負から正に又はその逆に急速に変える場合、見つけられることができる。
【００１３】
エッジが検出された後、エッジの方向（角度）が検出される。その後、補間は検出されたエッジに沿って実行される。
【００１４】
請求項２によれば、エッジの角度は、ローパスフィルタリングされる軸に沿って同様の値である画素のバーの長さに対応する。調整可能なスレッショルド値を上回る画素の数をカウントすることか、又は調整可能なスレッショルド値を下回る画素の数をカウントすることによって、バーの長さが計算されることができる。この長さは、エッジの角度に関する情報を含む。
【００１５】
さらに、隣接するバーの位置が、エッジの方向を決定するために用いられてもよい。請求項３によれば、ゼロ交差から、ハイパスフィルタリングされる軸に沿って隣接するライン上の白いバー及び黒いバーのローパスフィルタリングされる軸に沿って先端の位置が求められ、この先端の位置の距離から、エッジの角度が計算され得る。
【００１６】
特に、-１／４，+１／２，-１／４ＦＩＲハイパスフィルタ、及び+１／３，+１／３，+１／３ＦＩＲローパスフィルタが好ましい。水平軸及び垂直軸のような直交軸が好ましい。
【００１７】
請求項４による補間が、さらに提案されている。元のビデオ画像から、エッジの方向は、ゼロ交差のまわりの単調な領域に沿った画素の数から計算され得る。これらの２つの技法を組み合わせることによって、補間エラーを減少させることが可能である。一般に、ハイパスフィルタリング及びローパスフィルタリングによる補間が用いられているが、この補間が正確でない場合、すなわち、異なるエッジの領域が互いに接近している場合、異なるエッジのバーは、１つのエッジから存在し且つ接続されるものであろうと想到され得る。この場合、補間は適切ではない。ハイパスフィルタリングされる軸に最も近接する計算される角度は、２つの補間オプションから選択されることが好ましい。
【００１８】
すでにデインタレースされているビデオ信号を改善するために、請求項５による方法が提案されている。特に、上記ハイパスフィルタからの結果が、エッジの検出を決定するために用いられ得る。この場合、本発明による補間は、標準の補間よりも良好である。マルチプレクサ又はフェーダに、標準の（例えば動きベクトル補償型）補間される画像と、ハイパスフィルタリング及びローパスフィルタリング並びにエッジ予測により補間されている画像との間で、多重化／フェードするように指示することによって、ビデオ信号のかなりの画像について鮮明さが向上されることができる。すでにデインタレースされたビデオ信号のこのポスト処理は、画像品質を向上させる。
【００１９】
本発明の好ましい使用は、ＭＰＥＧコーデックシステム、とりわけ、動き検出を行わないシステムに向けられてもよい。別の好ましい用途は、走査レート変換を用いるハイエンドＴＶシステムに向けられる。
【００２０】
本発明のこれら及び他の態様は、本明細書の以下に説明される実施形態から明らかになると共に、これらの実施形態を参照して明瞭に説明されるであろう。
【発明を実施するための最良の形態】
【００２１】
図２は、ビデオ信号入力ポート６、プリフィルタ回路８、補間角度検出回路１０、エッジ依存の補間回路１２及びビデオ信号出力ポート１４を図示している。
【００２２】
アスペクト比変換について、すなわち、４：３ＴＶ信号が１６：９ＴＶ信号に変換されなければならない場合、既存の画素の中間に新しい画素を加えるために水平画素間を補間することが必要である。良好な補間結果を実現するために、補間される画素が十分に予測され、実際の画像に合致するべきである。
【００２３】
プログレッシブビデオ信号は、ビデオ信号入力ポート６に供給される。プリフィルタ回路８は、水平空間的なハイパスフィルタリング及び垂直空間的なローパスフィルタリングを実行する。これらのフィルタは、例えば、入力ビデオ信号の輝度成分をフィルタリングする。そのため、ハイパスフィルタリングは、新しい画素が必要とされる方向に適用され、 ローパスフィルタリングは、別の方向に適用される。図２の装置が、他のラインを生成するために使われるならば、垂直ハイパスフィルタリング及び水平ローパスフィルタリングが用いられる。本発明が、例えば、まず水平方向に他の画素を生成し、その後、垂直方向に他のラインを生成するために用いられるならば（この順序はもちろん逆にされてもよいが）、第１の補間ステップにおいては図２の装置が水平ハイパスフィルタリング及び垂直ローパスフィルタリングで使用され、第２の補間ステップにおいては図２の装置が水平ローパスフィルタリング及び垂直ハイパスフィルタリングで使用される。
【００２４】
垂直軸に沿ったハイパスフィルタリングによって、垂直方向におけるハイディテールが通過する。水平ラインの場合、垂直空間周波数が高い。垂直ラインは、異なる方法によって補間されるほうが良い。それゆえ、ハイパスフィルタの出力は、どこで異なる補間が用いられるべきかを決定するために使用され得る。
【００２５】
水平軸に沿ったローパスフィルタリングによって、水平方向におけるディテールが減少される。これは、垂直ラインがローパスフィルタの中を通過しないことを意味する。
【００２６】
プリフィルタリング後、エッジ及び該エッジの角度は、角度検出回路１０によって検出される。まず、ゼロ交差が水平軸に沿って検出される。これらのゼロ交差は、画像におけるエッジに関する情報を提供する。少なくとも２つの正の画素と、２つの負の画素とが、１つの水平ライン上に互いに隣接して生じる場合、ゼロ交差は検出される。
【００２７】
ゼロ交差では、白いバー及び黒いバーの長さが、所要の補間角度を反映する。ゼロ交差ポイントから始まって、上側の隣接ライン及び下側の隣接ラインにおける正のバー及び負のバーの先端の水平位置が検出される。異なるライン上の最も右側の位置と最も左側の位置との間の差が、所要の角度を決定する。
【００２８】
補間情報は、エッジ依存の補間回路１２において元のビデオ信号を補間するために使用される。エッジ依存の補間回路１２の出力は、ビデオ出力ポート１４に供給される。
【００２９】
図３は、図２に加えて、決定回路１６、マルチプレクサ１８、及び動き補償型デインタレーサ２０を図示している。
【００３０】
走査レート変換を用いるハイエンドＴＶでは、エッジ依存の補間が、動き依存の補間よりも一層良好な結果をもたらし得る。これらの２つの方法を組み合わせることによって、出力ビデオ信号は改善されることができる。
【００３１】
プリフィルタ回路８の出力は、エッジが確かに検出されているか否かに関する情報を与える。エッジが確かに検出されている場合、本発明による補間は、動き補償型デインタレーサ２０によって実行される動き補償型インタレースよりも優れている。図３の実施形態では、プリフィルタ８及びエッジ依存の補間器１２が、もっぱら元のラインを使用し、これらの機器は、動き補償型デインタレーサ２０によって補間されたラインを使用しない。
【００３２】
決定回路１６は、エッジが確かに検出されているか否かを決定する。この場合、決定回路１６の出力は、マルチプレクサ１８に（該マルチプレクサ自体の制御入力部ｓを介して）エッジ依存の補間回路１２からの出力信号を用いるように指示する。他の全ての場合においては、動き補償型デインタレーサ２０からの補間信号が使用されなければならない。この出力信号は、表示装置Ｄ上に表示される。
【００３３】
これらの２つの補間法を多重化することによって、ビデオ信号出力ポート１４における出力ビデオ信号の品質が改善される。マルチプレクサ（ハードスイッチ）の代わりに、フェーダ（ソフトスイッチ）が使用されることも可能である。
【００３４】
本発明による方法は、スケール標準解像度をはじめとして高精細度解像度にも適用され得る。この場合、本発明による補間は、まず、垂直ドメインで、その後、水平ドメインで実行される。ビデオ画像における明白なエッジの場合には、本発明による補間が、ピクチャの鮮明さを改善する。
【００３５】
上述の実施例は、本発明を限定するよりむしろ例示するものであり、当業者であれば、添付の請求項の範囲から逸脱することなく、多くの代替の実施例を案出することが可能であろうことに留意する必要がある。請求項において、括弧内に記されるいかなる参照符号も請求項の範囲を限定するものとして、解釈されてはならない。さらに、動詞「有する(comprising)」は列記されたもの以外の他の構成要素又はステップの存在を除外しないものとする。構成要素に先行する単数表現の冠詞「a」又は「an」は、そうした構成要素の複数の存在を除外するものではない。本発明は、幾つかの別個の素子を有するハードウェアによって、さらに適切にプログラムされたコンピュータによって実施されることができる。幾つかの手段を列挙するデバイスクレームにおいて、これらの手段の幾つかは、ハードウェアの１つの同じアイテムによって具現化されることができる。ある方策が相互に異なる従属クレームにおいて詳述されているという単なる事実は、これらの方策の組み合わせが有利に用いられることができないということを示すものではない。
【図面の簡単な説明】
【００３６】
【図１】インタレース画像の画素マトリックスを示す。
【図２】本発明による補間を概略的に示す。
【図３】本発明によるポスト処理を概略的に示す。
【符号の説明】
【００３７】
２ 画像画素
４ 補間される画素
６ ビデオ信号入力ポート
８ プリフィルタ回路
１０ 角度検出回路
１２ エッジ依存の補間回路
１４ ビデオ信号出力ポート
１６ 決定回路
１８ マルチプレクサ
２０ 動き補償型デインタレーサ
Ｄ 表示装置

Claims (7)

1. 第１の方向において入力ビデオ画像の既存の画素間で新しい画素を得るために、前記入力ビデオ画像を空間的に補間する方法であって、
   前記第１の方向において前記入力ビデオ画像を空間的にハイパスフィルタリングし、第２の方向において前記入力ビデオ画像を空間的にローパスフィルタリングすることによって、前記入力ビデオ画像をプリフィルタリングするステップと、
   前記プリフィルタリングの出力から前記入力ビデオ画像におけるエッジの空間的な方向を計算するステップと、
   前記エッジの前記空間的な方向に沿って前記新しい画素を補間するステップと
   を有する方法。
2. 前記入力ビデオ画像において前記ローパスフィルタリングされる軸に配向された、スレッショルド値を下回る画素の数をカウントすることか、又はスレッショルド値を上回る画素の数をカウントすることによって、前記プリフィルタリングの前記出力信号から前記エッジの前記空間的な方向を計算することを特徴とする、請求項１に記載の方法。
3. 前記ローパスフィルタリングされる軸に沿った画素の第１のゼロ交差の位置を突き止め、前記第１のゼロ交差について、前記第１のゼロ交差のまわりに対称的に配される少なくとも２つのゼロ交差の位置を、それぞれ、前記ハイパスフィルタリングされる軸に沿った少なくとも１つの画素のオフセットにより、突き止めることによって、前記プリフィルタリングの前記出力信号から前記空間的な前記エッジの前記方向を計算することを特徴とする、請求項１に記載の方法。
4. 前記プリフィルタリングされる画像のゼロ交差のまわりの単調な領域内の画素の数を計算し、前記画素の数により前記エッジの前記方向を計算し、前記プリフィルタリングから計算される前記エッジの前記空間的な方向を、前記画素の数から計算される前記エッジの前記空間的な方向と比較し、前記エッジのどの方向が前記軸の１つに最も近接するかを決定することを特徴とする、請求項１に記載の方法。
5. エッジ方向が検出されているか否かを決定し、
   プログレッシブビデオ信号を供給するために入力ビデオ信号をデインタレースし、
   エッジ検出の前記決定に従って、前記デインタレースと前記補間との間において多重化するか又はフェードすることを特徴とする、請求項１に記載の方法。
6. 第１の方向において入力ビデオ画像の既存の画素間で新しい画素を得るために、前記入力ビデオ画像を空間的に補間するための装置であって、
   前記第１の方向において空間的なハイパスフィルタリングを実行し、第２の方向において空間的なローパスフィルタリングを実行するためのプリフィルタ手段と、
   前記入力ビデオ画像における前記プリフィルタ手段の出力からエッジの方向を計算するための計算手段と、
   前記計算されるエッジに沿って前記新しい画素を補間するための補間手段と
   を有する装置。
7. 補間される画像を生成するための請求項６に記載の前記補間するための装置と、
   前記補間される画像を表示するための表示装置と
   を有する表示機器。