JP2014161093A - 運動補償されたビデオの空間アップコンバート - Google Patents

Abstract

【課題】ビデオについて運動補償されたビデオの空間アップコンバートを実行するための方法を提供する。
【解決手段】連続するフィールドにおける水平サンプルが、空間的内挿技法を用いて最初に内挿される。運動補償されたインターレース解除技法を用いた対応する垂直サンプルの内挿が、これに続く。そのような技法は、適応再帰的な運動補償されたビデオの空間アップコンバート、または、一般化されたサンプリング定理を用いた適応再帰的な運動補償されたビデオの空間アップコンバートを含むことができる。本発明は、例えば携帯電話のような携帯装置上でキャプチャされたビデオを、その後テレビに十分に表示できるよう、コンバートするために用いることができる。
【選択図】図１（ａ）

Description

発明の分野
本発明は一般的に、ビデオ処理に関する。より詳細には、本発明は、ビデオ処理において運動補償を用いたビデオの空間アップコンバートに関する。

発明の背景
ビデオの空間アップコンバート（Ｖ−ＳＵＣ：ｖｉｄｅｏ ｓｐａｔｉａｌ ｕｐ−ｃｏｎｖｅｒｓｉｏｎ）は、ビデオ解像度の向上としても、また知られている。Ｖ−ＳＵＣは、水平及び垂直の両方の空間的内挿を通じて、任意のビデオシーケンスにおける空間解像度を向上させるために用いられる。ビデオの空間アップコンバートは、ビデオ信号が１つのフォーマットから別のフォーマットへと変換されるようなビデオフォーマット変換（ＶＦＣ：ｖｉｄｅｏ ｆｏｒｍａｔ ｃｏｎｖｅｒｓｉｏｎ）の、１つの態様である。ＶＦＣにおける２つの典型的な態様は、ビデオスキャン速度アップコンバートとしても知られているようなビデオのインターレース解除（ｖｉｄｅｏ ｄｅｉｎｔｅｒｌａｃｉｎｇ）と、ビデオピクチャ速度アップコンバートである。インターレース解除は、垂直方向における内挿を通じた、ビデオ信号の空間解像度の向上を伴う。ビデオピクチャ速度アップコンバートは、時間的内挿を通じて、ビデオ信号におけるピクチャ速度（フレーム速度としても知られている）を向上させる。

ビデオの空間アップコンバートは、携帯電話でキャプチャされたビデオのテレビ出力のためには必須である。ＮＴＳＣテレビの典型的な空間解像度は、６４０×４８０ないしは８００×５７６である。対照的に、従来の携帯電話によってキャプチャされたビデオは、典型的にはＳＩＦ（３２０×２４０）、ＣＩＦ（３５２×２８８）、またはＱＣＩＦ（１７６×１４４）としての空間解像度を有する。したがって、携帯電話でキャプチャされたビデオを正規のテレビ装置に表示する前に、その空間解像度を向上させる必要がある。ビデオの空間アップコンバートにおける別の例としては、標準解像度テレビ（ＳＤＴＶ： ｓｔａｎｄａｒｄ ｄｅｆｉｎｉｔｉｏｎ ＴＶ）の信号を高解像度テレビ（ＨＤＴＶ： ｈｉｇｈ ｄｅｆｉｎｉｔｉｏｎ ＴＶ）装置において表示することが含まれる。

ビデオの空間アップコンバートは主に、空間解像度向上のプロセスにおいて、２つの仕事を全うする必要がある。アンチエイリアシングと、過度に滑らかなアーティファクトを克服するための、高空間周波数発生である。

デジタルビデオ信号は、元の連続的ビデオ信号の３次元（３Ｄ）サンプリングを通じて得られる。例えば、Δｘ，Δｙ，及びＴによって、３Ｄサンプリンググリッドを指定するような、それぞれ水平方向、垂直方向、及び時間方向においてのサンプリング距離を表すことができる。この状況において、デジタルビデオ信号のフーリエスペクトルは、サンプリング周波数ｆ_s ^x，ｆ_s ^y，及びｆ_s ^t，によって指定される３Ｄサンプリンググリッドに沿った、連続的ビデオ信号のフーリエスペクトルの複数のレプリケーションの集合体である。ここにおいて、ｆ_s ^x＝１／（Δｘ），ｆ_s ^y＝１／（Δｙ），及びｆ_s ^t＝１／Ｔである。座標（０，０，０）に中心があるレプリケーションは、ベースバンドスペクトルとも言われる。元の連続的信号が帯域制限され、そしてｆ_max ^x，ｆ_max ^y，及びｆ_max ^tと表示されるような各々の方向における最大周波数が、以下の制限を、すなわちｆ_max ^x≦ｆ_s ^x／２＝１／（２Δｘ），ｆ_max ^y≦ｆ_s ^y／２＝１／（２Δｙ），及びｆ_max ^t≦ｆ_s ^t／２＝１／（２Ｔ）を満たす場合、その連続的信号を、その３Ｄサンプルから完全に復元することができる。そして、理想的な内挿フィルタリングはベースバンドスペクトルを全て通すことに対応し、その他のレプリケーションはゼロ設定される。上述の制限が破られる場合には、隣接したスペクトルレプリケーションがお互いに重なり、エイリアシングを生じる。

連続的ビデオ信号がサンプリングされる場合、各々のサンプリング周波数の半分よりも大きい全ての周波数が除去され、エイリアシングの問題を回避できるようにと、アンチエイリアシングフィルタリングが最初に適用される。しかしながら、カメラによってキャプチャされるプログレッシブスキャンされたビデオに対しては、そうはならない。垂直方向及び時間方向の両方におけるサンプリングは、カメラを用いて統合されるスキャンフォーマットの一部であることが知られている。こうして、カメラの光学経路においては所望のアンチエイリアシングが要求されるのであって、それは極端に困難であり、また実現するために高額の費用がかかる。したがって、図１において示される通りｆ_y−ｆ_t周波数空間において通常はエイリアシングが存在する。ｆ_y−ｆ_t周波数空間において、スペクトルの方向性が垂直の運動により決定される一方、スペクトルサポートの範囲はそのシーンの垂直の詳細により決定される。

デジタルビデオ信号がアップサンプリングされる場合、理想的な内挿フィルタは、エイリアシング部分を可能な限り抑えつつ、エイリアシングすることなく、ベースバンドスペクトルを全て通すべきである。図１（ｂ）において示す通り、垂直の運動が存在する場合、内挿のための理想的な低域通過フィルタは、エイリアシングすることなく、効率的にベースバンドスペクトルを抽出するために、運動補償されるべきである。

対照的に、水平サンプリングは画像取得プロセスの後に実現される。この理由により、サンプリングを行う前において、水平方向にアンチエイリアシングフィルタリングを実装可能である。これは、ビデオの空間アップコンバートのために、水平方向及び垂直方向における内挿を別々に扱うべきであるということを意味含んでいる。高周波数成分はサンプリングプロセスにおいてフィルタ除去されるか、またはアップサンプリングプロセスにおけるエイリアシングに起因して抑えられるので、空間アップコンバート後のビデオ信号は高周波数成分を欠いており、ぼやけや過度に滑らかなアーティファクトを生じる。空間的内挿の間の高周波数成分を高めるために、多くの空間フィルタが設計されてきた。

ビデオの空間アップコンバートのための従来の技法は主として、フレーム毎を基礎としての空間的内挿を通じて実現されてきた。この理由から、２Ｄ静止画像のための空間的内挿技法は、ビデオ信号に対する使用へと直接拡張されてきた。そこにおいて、デジタルビデオの異なったフレームにまたがっての相関は完全に無視されてきた。

有限インパルス応答（ＦＩＲ）フィルタリングを用いた空間的内挿は、最も一般的に使われている技法である。そこにおいては、静止画像の水平方向及び垂直方向の両方において、画像に依存しないＦＩＲフィルタが適用される。典型的な例としては、双線形フィルタ、双三次フィルタ、双三次スプラインフィルタ、ガウスフィルタ、及びＬａｎｃｚｏｓフィルタを含む、さまざまな内挿ＦＩＲフィルタが設計されてきた。これらＦＩＲフィルタは、そのフィルタカーネルの長さだけでなく、もっぱら異なった通過帯域及び阻止帯域周波数によって、お互いから差別化される。これらＦＩＲフィルタの設計は、主に、エイリアスを含まないベースバンドスペクトルを全て通し、エイリアシングスペクトル成分を抑え、そしてエッジのような、画像の詳細を維持するために、高周波数を高めることを目標としたものである。言及されている通り、適切なアンチエイリアシングは通常、水平サンプリングに先立って適用されるのであり、しかしながら垂直サンプリングにおいて適用されるのではないのであるが、水平内挿と垂直内挿のために異なったフィルタを用いるということが示唆されている。

画像コンテンツ依存のフィルタもまた、画像の空間的内挿のために開発されてきた。そのようなフィルタとしては、ウィナーフィルタと呼ばれるものがある。ウィナーフィルタは、最小の二乗平均誤差（ＭＳＥ：ｍｅａｎ ｓｑｕａｒｅ ｅｒｒｏｒ）に目標を置いた線形フィルタである。これらの種類のフィルタにおける係数は局所的画像コンテンツから得られるのであって、したがって局所的画像特性に適合する。それ以外の画像の空間的内挿技法もまた、従来から知られている。これらの技法には、画像コンテンツにおける異なった解像度にまたがった幾何学的二重性を用いるＮｅｗ Ｅｄｇｅ−Ｄｉｒｅｃｔｅｄ Ｉｎｔｅｒｐｏｌａｔｉｏｎ （ＮＥＤＩ）や、最適な復元理論に基づいており、そして任意の因子による画像の内挿を可能とするために用いることが可能な２次適応（Ａ Ｑｕａ： Ａｄａｐｔｉｖｅ Ｑｕａｄｒａｔｉｃ）画像内挿が含まれる。より長いＦＩＲフィルタカーネル、または画像に依存するフィルタがしばしば好ましいということが示されてきた。

それにも関わらず、ビデオの空間アップコンバートのためにフレーム毎を基礎としての空間的内挿を用いる技法に対しては、時間方向における運動の軌道に沿っての相関が広範囲に亘って無視されている。ＮＥＤＩはビデオの空間アップコンバートにおいて用いるために、運動補償を考慮に入れることにより拡張されてきた、ということが知られている。しかしながら、この運動補償の考慮は、特定の概略的フレームワークに制限されている。加えて、運動補償は「超解像」（最近になって出現した応用であり、任意のビデオ信号の空間解像度を向上させることも狙ったものである）のために考慮されてきた。しかしながら、超解像の目標は、空間解像度の向上した所定のビデオシーケンスから１つまたは限られたセットの画像を発生させることに置かれている、という意味で、超解像とビデオの空間アップコンバートとはかなり異なっている。対照的に、ビデオの空間アップコンバートは、ビデオシーケンスにおけるあらゆるピクチャの空間解像度を向上させることを狙ったものである。効率的なビデオの空間アップコンバート技法においては、現在のフレームの解像度を向上させるために限られた数の隣接フレームを用いることが許されるのみであって、計算の複雑性は合理的に低いままで維持されるべきである。したがって、運動補償されたビデオの空間アップコンバートの概念が大々的に検討されることはなかった。

発明の概要
本発明は、ビデオの空間アップコンバートとビデオのインターレース解除との間の関連性を利用することにより、効率的な運動補償されたビデオのアップコンバート技法を設計することを含む。具体的に言えば、ビデオの空間アップコンバートのための２つの空間的方向における内挿が異なって扱われ、そして運動補償された技法が垂直方向における内挿のために用いられるような発想を、本発明は含む。

本発明は、ビデオの空間アップコンバートのための空間解像度向上のプロセスに伴う、２つの主要な課題に取り組む。詳細には、本発明は、アンチエイリアシングと、高空間周波数発生の両方に取り組む。それは過度に滑らかなアーティファクトを克服するために役立つのであって、従来のアプローチを採用していれば、そのようなアーティファクトが存在することになるだろう。本発明を用いれば、水平及び垂直の両方向において、２のスケーリングパラメータでビデオ解像度が向上する。

本発明におけるこれらの、そして他の利点と特徴とは、その編成や動作方法と共に、以下に続く詳細な説明を添付図面と組み合わせた時に、明らかとなるであろう。そこにおいて、同様の要素は、以下に説明される複数の図面の全般に亘って同様の数字を有している。

図１（ａ）は、垂直運動を伴うプログレッシブスキャンされたビデオに対するｆ_y−ｆ_t周波数空間の表現である。 図１（ｂ）は、垂直運動を伴わない、プログレッシブスキャンされたビデオに対するｆ_y−ｆ_t周波数空間の表現である。 図２は、ビデオのインターレース解除に対する３次元サンプリンググリッドの表現である。 図３は、ビデオの空間アップコンバートに対する３次元サンプリンググリッドの表現である。 図４（ａ）はビデオのインターレース解除を用いた、運動補償されたサンプルを用いた垂直の内挿の例を示す、表現である。 図４（ｂ）は、ビデオの空間アップコンバートを用いた、運動補償されたサンプルを用いた垂直の内挿の例を示す、表現である。 図５は、ビデオの空間アップコンバートにおける４種類のサンプルの表現である。 図６は、一般化されたサンプリング定理（ＧＳＴ：Ｇｅｎｅｒａｌｉｚｅｄ Ｓａｍｐｌｉｎｇ Ｔｈｅｏｒｅｍ）を用いた運動補償された内挿の表現である。 図７は、本発明の本質を組み込むことが可能な電子装置の斜視図である。 そして図８は、図７の電子装置における回路の概略的表現である。

好ましい実施形態の詳細な説明
本発明は、ビデオの空間アップコンバートとビデオのインターレース解除との間の緊密な関連性を取り扱う。このことは重要である。なぜならば、ビデオフォーマット変換（ＶＦＣ）におけるこれら２つの態様の間での類似性が一旦明らかにされれば、ビデオのインターレース解除の領域における成功を、ビデオの空間アップコンバートの領域に直接転用することができるからである。詳細には、運動補償されたビデオのアップコンバート技法は、各々の運動補償されたビデオのインターレース解除アルゴリズムを拡張することにより、容易に作り出すことができる。

ビデオにおけるユニークかつ重要な特性とは、運動である。ビデオの空間解像度向上という課題において、運動の軌道に沿っての相関を考慮することは有益である。しかしながら、運動補償されたビデオの空間アップコンバート技法は、優れた質を有する空間解像度の向上したビデオの構成において、時間的相関を用いずにそのような相関を考慮することよりも、更に有利である。この事実は、ビデオのインターレース解除における運動補償の利点と、ビデオの空間アップコンバート及びビデオのインターレース解除の間での緊密な関連性と、によってサポートされている。

本発明は、ビデオの空間アップコンバートとビデオのインターレース解除との間の関連性を利用することにより、効率的な運動補償されたビデオのアップコンバート技法を設計するという概念を含む。具体的に言えば、ビデオの空間アップコンバートのための２つの空間的方向における内挿が異なって扱われ、そして運動補償された技法が垂直方向における内挿のために用いられるような発想を、本発明は含む。ビデオの空間アップコンバートは、携帯ビジュアルコンテンツのテレビ出力のために要求される。携帯ビジュアルコンテンツサービスと伝統的テレビビジネスとの結合が急速に進んでおり、消費者の電子機器市場においては、効率的なビデオの空間アップコンバートへの要求が厳しくなる一方である。

運動補償されたビデオの空間アップコンバートのためには、正確な運動ベクトルが要求される。ビデオ予測符号化のための運動は、ビデオフォーマット変換（ＶＦＣ）のための運動とは異なると言うことに注意すべきである。ビデオ予測符号化において、あるブロックにおける運動ベクトルが隣接ブロックにおける運動ベクトルと相関している必要はない。他方、ビデオフォーマット変換に対しては、ある対象に属する隣接ブロックにおける運動ベクトルがお互いに相関しているべきであるような、真の運動が識別されることになっている。そのような運動は、ビデオのインターレース解除またはビデオのフレーム速度アップコンバートのために実装される運動評価作業と同様のやり方で、ビデオの空間アップコンバートのために、得ることが可能である。運動補償されたビデオの空間アップコンバート技法は、その運動評価の必要性に起因して、運動補償されない技法よりも多くの計算資源を必要とする。しかしながら、運動評価は従来から知られており、ビデオのインターレース解除のために用いることが可能である。したがって、ビデオの空間アップコンバートにおいて運動評価のためにかかる追加的コストは限定的なものである。

本発明に従えば、ビデオのインターレース解除は、図２において示される通り、ビデオの垂直解像度を向上させるために用いられる。対照的に、ビデオの空間アップコンバートは、水平及び垂直の両方のビデオ解像度を向上させるために用いられる。このことは図３において表現されている。

ビデオの空間アップコンバートに対しては、図３において描写されている通り、元のビデオ信号が空間的距離（Δｘ’，Δｙ’）をおいてサンプリングされるならば、その３Ｄサンプリンググリッドを、同一の時間的サンプリング距離を有し、しかしながら空間的サンプリング距離はそれぞれΔｘ＝Δｘ’／２及びΔｙ＝Δｙ’／２を有するようなグリッドへと、転換することができる。水平解像度が最初に向上される場合、すなわちＦＩＲ内挿フィルタリングの使用を通じて水平サンプルが最初に内挿される場合、その内挿された水平サンプルを、垂直解像度の向上のために、再帰的に用いることができる。図２におけるインターレースされたビデオに対する３Ｄサンプリンググリッドと比較して、図３におけるビデオの空間的アップコンバートのための垂直サンプルの内挿は、隣接フレームにおける「元の」垂直サンプリング線が、ビデオのインターレース解除シナリオのためにインターレースされるのではなく、ビデオの空間アップコンバートに対する同一の位置に配置される、ということを除いては、同様のやり方で実現可能である。したがって、ビデオの空間アップコンバートとビデオのインターレース解除との間の緊密な関連性が、３Ｄサンプリンググリッドの観点から確立される。

運動補償されたインターレース解除技法は、運動補償されたサンプルを、前のフレームから（または、前のフレームと次に続くフレームとの両方から）、現在のフレームにおける内挿されるサンプルのための候補として、取得する。ここにおいて議論される例は具体的にフレームへの言及をしているのではあるが、フレーム、フレームの一部分、または他の情報コレクションを含みうるような、異なった種類のさまざまなフィールドを、本発明と組み合わせて用いることが可能であるということに注意すべきである。ビデオの空間アップコンバートとビデオのインターレース解除との間の関連性に起因して、本発明における運動補償されたビデオのインターレース解除技法は、ビデオの空間アップコンバートを使用するためにと、修正及び拡張可能であるべきである。

以下は、本発明における１つの実施形態の実装を示す単純な例である。図４（ａ）において示されるようなビデオのインターレース解除に対して、ビデオ信号が一様な垂直速度ｖ＝２ｋΔｙ／Ｔ （但しｋ∈Ｚ）を有する対象を含むだけである場合には、内挿されるサンプルを、単純に前のフレームからの運動補償されたサンプルによって置き換えることができる。同じように、図４（ｂ）において示されるビデオの空間アップコンバートに対しては、ビデオ信号が垂直速度ｖ＝（２ｋ＋１）Δｙ／Ｔ （但しｋ∈Ｚ）を含むのみである場合には、内挿されるサンプルを、同じく単純に、前のフレームからの運動補償されたサンプルによって置き換えることができる。ビデオシーケンスの運動の軌道に沿っての時間的相関を考慮するので、運動補償の使用はまた、ビデオのインターレース解除において運動補償作業が演じる役割と同様、ビデオの空間アップコンバートにおいても有益である。

一般的に、本発明に従っての運動補償されたビデオの空間アップコンバートのための方法は、２つのステップを通じて実装することが可能である。第１のステップは、幅広い様々な空間的内挿技法を用いた水平サンプルの内挿を伴う。第２のステップは、運動補償されたインターレース解除に類似した技法の使用を通じての、垂直サンプルの内挿を伴う。垂直サンプリングがカメラによる画像取得プロセスの一部として実現される一方、水平サンプリングは画像取得プロセスの後に実装されるので、水平方向及び垂直方向における空間的内挿のために異なった方法を使用するということは、許容可能である。ビデオのインターレース解除における運動補償の成功、そしてビデオフォーマット変換（ＶＦＣ）における２つの態様の間での緊密な関連性は、ビデオの空間的アップコンバートにおける運動補償の成功を暗示する。

本発明のプロセスを実装するための異なった実施形態においては、２つのビデオインターレース解除方法が選択される。これらの方法は、特に優れた、インターレース解除されたビデオの質を実証した。これらの方法は、２つの運動補償されたビデオの空間アップコンバート技法を作り上げるために用いられる。

アルゴリズムI：適応再帰的な、運動補償されたビデオの空間アップコンバート

適応再帰的なビデオのインターレース解除技法から拡張して、以下のような適応再帰的な運動補償された（ＡＲＭＣ：Ａｄａｐｔｉｖｅ Ｒｅｃｕｒｓｉｖｅ Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｅｄ）ビデオの空間アップコンバートを実装することができる：

全ての離散的空間座標

及び時間座標ｎにおいて、

は元のサンプルを、

は最初に内挿されるサンプルを、そして

は、ビデオの空間アップコンバート後に最終的に内挿されるサンプルを、それぞれ表す。
（・）^Tは、ベクトル／行列の転置を表す。図５において示される通り、３次元サンプリンググリッドにおける４種類の座標が、（ｘｍｏｄ２，ｙｍｏｄ２）＝（０，０）に対する“Ａ”と、（ｘｍｏｄ２，ｙｍｏｄ２）＝（１，０）に対する“Ｂ”と、（ｘｍｏｄ２，ｙｍｏｄ２）＝（０，１）に対する“Ｃ”と、（ｘｍｏｄ２，ｙｍｏｄ２）＝（１，１）に対する“Ｄ”と、によって指示されている。

は、

に配置されたサンプルの運動ベクトルを表す。

任意の空間的内挿技法を、Ｂ，Ｃ，Ｄの地点において最初に内挿されるサンプル

を生成するために、用いてよい。水平サンプル（Ｂ）及び垂直サンプル（Ｃ及びＤ）の内挿のために、異なったＦＩＲフィルタを選択することが可能である。

は元のサンプルＡに対する運動ベクトルの信頼性により決定される。

ここで、CLIP（m1,a,m2）は下式のとおりであり、cはスカラー量である。

は、サンプルＢに対する運動の軌道に沿った固定されていないピクセルが、ビデオの空間アップコンバート後に、その水平に隣接したピクセルにおけるものと同じとなるように、選択される。

式（３）において、δはゼロによる除算を回避するための小さな定数であり、また以下の通りである。

は、サンプルＣに対する運動の軌道に沿った固定されていないピクセルが、ビデオの空間アップコンバート後に、その垂直に隣接したピクセルにおけるものと同じとなるように、選択される。

式（４）において、δはゼロによる除算を回避するための小さな定数であり、また以下の通りである。

は、サンプルＤに対する運動の軌道に沿った固定されていないピクセルが、ビデオの空間アップコンバート後に、その４つの斜めに隣接したピクセルにおけるものと同じとなるように、選択される。

式（５）において、δはゼロによる除算を回避するための小さな定数であり、また以下の通りである。

アルゴリズムＩＩ：適応再帰的な、一般化されたサンプリング定理（ＧＳＴ：Ｇｅｎｅｒａｌｉｚｅｄ Ｓａｍｐｌｉｎｇ Ｔｈｅｏｒｅｍ）を用いたビデオの空間アップコンバート

最大周波数ｆ_maxを有する、連続的な帯域制限された信号は、少なくともｆ_s＝２ｆ_maxのサンプリング周波数を用いての、その離散的サンプルから完全に復元することができる。１９５６年にＹｅｎが明らかにした、一般化されたサンプリング定理（ＧＳＴ）は、最大周波数ｆ_maxを有する任意の帯域制限された信号は、そのＮ個のバラバラな、各々のセットが少なくともｆ_s＝２ｆ_max／Ｎのサンプリング周波数を用いて得られるような、離散的サンプルのセットから完全に復元することができることを示した。この状況で、「バラバラであること」とは、時間／空間領域におけるシフトか、または同等に、周波数領域における位相差のことを言っている。

図６において示される通り、垂直方向における内挿のみを考慮する場合は、運動ベクトルの垂直成分が２ｋ （但しｋ∈Ｚ）に等しくない限りにおいて、２つのバラバラなサンプルセットを、フレームｎにおける高解像度サンプルの内挿のために利用することができる。１つのセットは、フレームｎにおける元のサンプルで構成され、そしてもう１つのセットは、フレーム（ｎ−１）からの運動補償されたサンプルで構成される。最大垂直周波数がｆ_max ^y≦２ｆ_s ^y／２＝ｆ_s ^y，を満たす場合、元の連続的信号は、２つのサンプルセットから厳密に復元することができるのであり、そして、再構築された信号を再サンプリングすることにより、内挿されたサンプルが更に得られる。これが、内挿においてＧＳＴを用いる基本的発想である。

ビデオのインターレース解除においてＧＳＴがうまく用いられてきた。既知のインターレース解除アルゴリズム、適応再帰的ＧＳＴから拡張して、以下のような、適応再帰的な運動補償されたＧＳＴを用いる枠組み（ＡＲＭＣ−ＧＳＴ：Ａｄａｐｔｉｖｅ Ｒｅｃｕｒｓｉｖｅ Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｅｄ ｓｃｈｅｍｅ ｕｓｉｎｇ ＧＳＴ）を、ビデオの空間アップコンバートのために用いることができる。ＡＲＭＣ−ＧＳＴは、２ステップのアルゴリズムである。第１のステップは、水平内挿を伴う。水平方向における内挿のための、最適化されたＦＩＲフィルタが設計される。これは、従来より理解されていた１Ｄ内挿の問題である。水平内挿を通じて、Ｂ位置におけるサンプルが得られる。第２のステップは、垂直内挿を伴う。垂直内挿は、Ｃ及びＤ位置におけるサンプルを得るために、以下のように実装される。

式（６）において、

は式（４）から得られ、

は式（５）から得られ、そして

は任意の空間的内挿技法によって得られるのであり、また以下の通りである。

（７）

式（７）において、

及び

，（但しｋ，ｍ∈Ｚ）は、垂直方向における、運動ベクトルの垂直成分の関数としての、２つのＦＩＲフィルタである。ＦＩＲフィルタは、ＧＳＴを用いたビデオのインターレース解除においてのそれらの設計と厳密に同じやり方で設計することができる。その参照によって設計されるのと同様に、バラバラなサンプルの２セットからの連続的信号の復元において、ｆ_max ^y≦２ｆ_s ^y／２＝ｆ_s ^yという条件が満たされるならば、各々のサンプルセットに対するエイリアシングは、２つの隣接したスペクトルレプリケーションの干渉によってのみ引き起こされる、ということが知られている。元の連続信号のスペクトルはこうして、２つのサンプルセットにおけるスペクトルの、複素数の（ｃｏｍｐｌｅｘ）重み付けを用いた線形結合として、閉じた形式で表現することができる。そして、再構築された連続信号の再サンプリングを通じて内挿されるサンプルが得られる。

図７と図８とは、本発明を実装することが可能であるような、１つの代表的電子装置１２を示している。図７と図８とにおいて示される電子装置１２には、携帯電話が含まれる。しかしながら、本発明は如何なる種類の電子装置にも制限されるわけではなく、例えば個人用デジタル補助装置、パーソナルコンピュータ、統合メッセージ装置のような装置、及び幅広いさまざまな他の装置へと組み込むことが可能であることに注意することが重要である。本発明は、幅広いさまざまな電子装置１２に組み込むことが可能であるということを、理解すべきである。

図７及び図８における電子装置１２は、筐体３０、液晶ディスプレイの形でのディスプレイ３２、キーパッド３４、マイクロフォン３６、イヤーピース３８、バッテリ４０、赤外線ポート４２、アンテナ４４、本発明の１つの実施形態に従うところではＵＩＣＣ（ｕｎｉｖｅｒｓａｌ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ ｃａｒｄ）の形式での、スマートカード４６、カードリーダ４８、無線インターフェース回路５２、コーデック回路５４、コントローラ５６、及びメモリ５８を含む。コントローラ５６はカメラプロセッサ１１６と同じユニットであっても、または異なったユニットであってもよいということに注意すべきである。メモリ５８は、本発明のさまざまな実施形態におけるプライマリメモリユニット１１４と同じ構成要素であってもよいし、そうでなくともよい。個別の回路や素子は、全て当該技術分野において広く知られている種類のものであり、例えば携帯電話のＮｏｋｉａ ｒａｎｇｅ内のものである。

本発明は、携帯端末のためのテレビ出力システムの一部として実装することが可能である。そのようなシステムは、ハンドセットによってキャプチャされたビデオを、離れたテレビ装置において表示させることを、ユーザにとって可能とする。

本発明は、方法ステップの一般的コンテクストにおいて説明されており、その方法ステップは、１つの実施形態においては、ネットワーク化された環境においてコンピュータにより実行される、例えばプログラムコードのようなコンピュータ実行可能な命令を含むプログラム製品によって実装することが可能である。

一般にプログラムモジュールは、特定のタスクを実行するか、または特定の抽象データ型を実装するような、ルーチン、プログラム、オブジェクト、コンポーネント、データ構造等を含む。コンピュータ実行可能な命令、関連するデータ構造、そしてプログラムモジュールは、ここに開示される方法のステップを実行するためのプログラムコードの例を表す。そのような実行可能命令または関連するデータ構造の特定のシーケンスは、そのようなステップにおいて説明される機能を実装するための対応する振る舞いの例を表す。

さまざまなデータベース検索ステップ、相関ステップ、比較ステップ、及び決定ステップを成し遂げるための、規則に基づくロジック及び他のロジックを用いて、標準的なプログラム技法を用いて、本発明のソフトウェア及びＷＥＢでの実装を完成させることができる。併せて、ここで、そして請求の範囲において使われるような、「コンポーネント（構成要素）」及び「モジュール（部品）」という単語は、１以上のソフトウェアコード、及び／またはハードウェア実装、及び／またはマニュアル入力を受け付けるための機器の実装を網羅することを意図している、ということに注意すべきである。

本発明の実施形態についての前述の説明は、描写と記述の目的で与えられたものである。それは網羅的であることを意図されているものではないし、また本発明を、その開示された正確な形式へと制限することを意図されたものでもない。上記教示に照らしての修正及び変更が可能であるし、またそれらは本発明の実践から習得されるかもしれない。実施形態は、そしていわゆる当業者が、本発明を、さまざまな実施形態で、そして特定の意図された使用に合うようにとさまざまな修正を加えて、利用できるようにするために、本発明の原理とその実践的な応用を説明する目的で、選択され、そして記述されたものである。

Claims (20)

1. 第１のフィールド及び第２のフィールドを含むビデオであって、該第１のフィールド及び該第２のフィールドの各々が複数の水平サンプルと複数の垂直サンプルとを有するビデオについて、運動補償されたビデオの空間アップコンバートを実行するための方法であって、
   前記第１のフィールドと前記第２のフィールドとにおける前記複数の水平サンプルを、空間的内挿技法を用いて内挿することと、
   前記第１のフィールドと前記第２のフィールドとにおける前記複数の垂直サンプルを、運動補償されたインターレース解除技法を用いて内挿することと、
   を含む、方法。
2. 前記運動補償されたインターレース解除技法が、適応再帰的な運動補償されたビデオの空間アップコンバートを含む、請求項１に記載の方法。
3. 前記運動補償されたインターレース解除技法が、一般化されたサンプリング定理を用いた適応再帰的なビデオの空間アップコンバートを含む、請求項１に記載の方法。
4. 最適化された有限インパルス応答フィルタが前記複数の水平サンプルの内挿に用いられる、請求項１に記載の方法。
5. 少なくとも１つの最適化された有限インパルス応答フィルタが前記複数の垂直サンプルの内挿に用いられる、請求項１に記載の方法。
6. 前記ビデオが携帯装置によってキャプチャされ、更に前記方法が、前記複数の水平サンプルと前記複数の垂直サンプルとが内挿された後に、前記ビデオをテレビに表示することを含む、請求項１に記載の方法。
7. 前記ビデオは、高解像度ではないテレビ向けのビデオであって、更に前記方法が、前記複数の水平サンプルと前記複数の垂直サンプルとが内挿された後に前記ビデオを高解像度テレビに表示することを含む、請求項１に記載の方法。
8. 第１のフィールド及び第２のフィールドを含むビデオであって、該第１のフィールド及び該第２のフィールドの各々が複数の水平サンプルと複数の垂直サンプルとを有するビデオについて、運動補償されたビデオの空間アップコンバートを実行するためのコンピュータプログラム製品であって、
   前記第１のフィールドと前記第２のフィールドとにおける前記複数の水平サンプルを、空間的内挿技法を用いて内挿するためのコンピュータコードと、
   前記第１のフィールドと前記第２のフィールドとにおける前記複数の垂直サンプルを、運動補償されたインターレース解除技法を用いて内挿するためのコンピュータコードと、 を含む、コンピュータプログラム製品。
9. 前記運動補償されたインターレース解除技法が、適応再帰的な運動補償されたビデオの空間アップコンバートを含む、請求項８に記載のコンピュータプログラム製品。
10. 前記運動補償されたインターレース解除技法が、一般化されたサンプリング定理を用いた適応再帰的なビデオの空間アップコンバートを含む、請求項８に記載のコンピュータプログラム製品。
11. 最適化された有限インパルス応答フィルタが前記複数の水平サンプルの内挿に用いられる、請求項８に記載のコンピュータプログラム製品。
12. 少なくとも１つの最適化された有限インパルス応答フィルタが前記複数の垂直サンプルの内挿に用いられる、請求項８に記載のコンピュータプログラム製品。
13. 前記ビデオは携帯装置によってキャプチャされ、更に前記コンピュータプログラム製品が、前記複数の水平サンプルと前記複数の垂直サンプルとが内挿された後に前記ビデオをテレビに表示するためのコンピュータコードを含む、請求項８に記載のコンピュータプログラム製品。
14. 前記ビデオは、高解像度ではないテレビ向けのビデオであって、更に前記コンピュータプログラム製品が、前記複数の水平サンプルと前記複数の垂直サンプルとが内挿された後に前記ビデオを高解像度テレビに表示することを含む、請求項８に記載のコンピュータプログラム製品。
15. プロセッサと、
    第１のフィールド及び第２のフィールドを含むビデオであって、該第１のフィールド及び該第２のフィールドの各々が複数の水平サンプルと複数の垂直サンプルとを有するビデオについて、運動補償されたビデオの空間アップコンバートを実行するためのコンピュータプログラム製品、を含む、前記プロセッサへ動作可能に接続されたメモリユニットと、 を含む、電子装置であって、
    前記コンピュータプログラム製品が、
    前記第１のフィールドと前記第２のフィールドとにおける前記複数の水平サンプルを、空間的内挿技法を用いて内挿するためのコンピュータコードと、
    前記第１のフィールドと前記第２のフィールドとにおける前記複数の垂直サンプルを、運動補償されたインターレース解除技法を用いて内挿するためのコンピュータコードと、 を含む、
    電子装置。
16. 前記運動補償されたインターレース解除技法が、適応再帰的な運動補償されたビデオの空間アップコンバートを含む、請求項１５に記載の電子装置。
17. 前記運動補償されたインターレース解除技法が、一般化されたサンプリング定理を用いた適応再帰的なビデオの空間アップコンバートを含む、請求項１５に記載の電子装置。
18. 最適化された有限インパルス応答フィルタが前記複数の水平サンプルの内挿に用いられる、請求項１５に記載の電子装置。
19. 少なくとも１つの最適化された有限インパルス応答フィルタが前記複数の垂直サンプルの内挿に用いられる、請求項１５に記載の電子装置。
20. 前記電子装置は携帯電話を含む、請求項１５に記載の電子装置。

Images