JP2009525639A - エッジ・ベースの空間‐時間的フィルタリングの方法および装置 - Google Patents

Abstract

エッジ・ベースの空間‐時間的フィルタリングのための方法および装置が提供される。画像のシーケンスをフィルタリングする装置は、空間的フィルタ（１１０、１９０）、動き補償器（１３０）、ブロッキング除去フィルタ（１４０）および時間的フィルタ（１５０）を含む。空間的フィルタ（１１０、１９０）は、シーケンス中のある画像と、シーケンス中で前記画像に関して先行する諸画像および後続の諸画像のうちから選択される少なくとも一つの基準画像とを空間的にフィルタリングするためのものである。前記空間的フィルタと信号通信する動き補償器（１３０）は、空間的フィルタリングに続いて、前記画像について、前記少なくとも一つの基準画像からの複数の時間的予測を形成するためのものである。前記動き補償器と信号通信するブロッキング除去フィルタ（１４０）は、前記の複数の時間的予測をブロッキング除去フィルタリングするためのものである。前記ブロッキング除去フィルタと信号通信する時間的フィルタ（１５０）は、前記複数の時間的予測を時間的にフィルタリングし、前記複数の時間的予測を組み合わせて前記画像のノイズ削減されたバージョンを生成するためのものである。

Description

〈関連出願への相互参照〉
本願は、2006年1月31日に出願された米国仮出願第60/764,252号の利益を主張するものである。該文献はここに参照によってその全体において組み込まれる。

〈発明の分野〉
本発明は、概括的にはビデオ・エンコードおよびデコードに関し、より詳細にはエッジ・ベースの空間‐時間的フィルタリングのための方法および装置に関する。

低解像度画像のシーケンスからの超解像（super-resolution）画像の生成が近年多大な関心を集めており、いくつかの有力なアルゴリズムの登場につながっている。にもかかわらず、既存のアルゴリズムの大半は比較的複雑で実装が難しいモデルに依拠している。さらに、既存のアルゴリズムの多くは、必ずしも満足のいく結果を達成しない。

撮像センサーの物理的な制約が、取り込まれた画像の画像解像度およびその後の品質を著しく制限することがある。検出器アレイが十分に密でなければ、これはエイリアシングの生じた、あるいはアンダーサンプリングされた画像につながりうる。近年、同じ場面の複数の取り込まれた画像を考慮することによってより高解像度でより高品質の画像が生成されるたくさんの研究がなされている。この工程は超解像画像生成と呼ばれる。超解像画像生成は、たとえばビデオ・カメラを使うことによって逐次的に取り込まれる複数の画像に特に好適である。というのも、相続くフレーム間に高い時間的および空間的相関があるからである。

超解像画像生成は、低解像度ビデオからの印刷用スチール画像の生成から、標準精細度（SD: Standard Definition）信号からの高精細度テレビ（HDTV: High Definition Television）信号の生成まで、多くの異なる応用をもちうる。もう一つの応用は、特に2001年9月11日以降、容疑者を特定することなどによって犯罪を解決し、またさらには犯罪を予防する目的のために、取り込まれたビデオ・シーケンスから高解像度画像を生成することが望ましいセキュリティ／監視システムおよび法科学の分野である。他の応用は、航空／衛星撮像、天文学およびさらには医療撮像を含む。映画や人気テレビ番組によく出てくるスチール画像からの超解像画像の生成は、いまだ多分にフィクションであるが、最近提案された方法の多くは、かなり印象的な結果を生じることができる。

従来の技法の多くは、低解像度画像の低周波データから高周波情報が抽出されるフーリエ領域法を利用する。そのような方法は比較的実装が簡単だが、残念ながら、ローカルおよびグローバルな動きを扱えないので、性能および適用可能性の面でかなり限られもする。一方、空間領域の技法はそれよりも著しく良好な結果を生じることができる。ただし、空間領域の技法は、動き位置合わせ（motion registration）の考慮を必要とし、多くの場合反復処理をするので、はるかに複雑である。こうした方法のいくつかは、圧縮されたビデオにも適用されており、適用可能性および有用性の面で、より魅力的なものとなっている。一般に、これらの方法の大半は、ソースの統計を全く考慮に入れることなく空間領域において解像度を高めるために、凸射影（POCS: Projections Onto Convex Sets）のような決定論的な方法を使う。一方、最大尤度または最大事後確率（MAP: maximum a-posteriori probability）推定のような統計的定式化に基づいているものもある。

超解像生成と非常によく似た応用は、ビデオのノイズ除去である。ビデオのノイズ除去は、客観的品質および主観的品質を同時に改善しつつ、符号化効率を著しく高めることができるので、多くの現代のビデオ・エンコード・アーキテクチャの機能となっている。デジタル・スチール画像またはビデオ画像は、取り込みやアナログ‐デジタル変換工程に起因する、またさらには伝送上の理由に起因するノイズを含むことがある。しかしながら、ノイズは、それがもちうる視覚上の不快な効果は別としても、多くの応用、特にビデオ圧縮において深刻な悪影響をもちうる。そのランダム性のため、ノイズは、空間的および時間的な相関を著しく低下させ、それによりそのようなノイズのあるビデオ信号の符号化効率を制限してしまうことがある。よって、エッジやテクスチャーといった画像の重要な細部を取り除くことなくノイズを除去することが望ましい。

空間的もしくは時間的なフィルタリング方法またはその組み合わせのいずれかを考えることによってノイズ除去が実行されるいくつかのビデオ・ノイズ除去アーキテクチャが提案されてきている。空間的方法は、ウィーナー・フィルタリングまたはウェーブレット・フィルタリングといった最も進んだものでさえ、スチール画像について、より適切である傾向がある。その一方、その性質上、時間的方法および空間‐時間的方法は、隣接する画像間に存在する時間的な相関のため、ビデオ信号のほうにより適切である。そのような諸方法は当技術分野においてよく知られており、一般に動き補償フィルタおよび非動き補償フィルタに分類できる。それらは、現在の画像をフィルタリングするために、動き推定および動き補償の技法を考慮してもよいまたはしなくてもよい。

第一の従来式アプローチでは、空間‐時間的ビデオ・ノイズ除去アーキテクチャは、国際標準化機構／国際電気標準会議（ISO/IEC）動画像専門家グループ−４（MPEG-4）第１０部先進ビデオ符号化（AVC）規格／国際電気通信連合電気通信セクター（ITU-T）H.264勧告（以下では「MPEG-4 AVC規格」）に準拠するビデオ・エンコーダと組み合わせて提示された。この第一の従来式アプローチでは、空間的フィルタリングは閾値ベースの3×3のピクセル平均を使って全ピクセルに対して実行され、その一方、時間的フィルタリングの実行にはMPEG-4 AVC規格の動き推定プロセスが再利用される。MPEG-4 AVC規格がブロックまたはマクロブロックを予測するために複数の基準の考慮および使用を許容することを考えると、この戦略を使って、本質的に、現在ピクセルについていくつかの可能な時間的予測を生成することが可能である。これらの時間的予測は次いで、一緒に平均されて、最終的なフィルタリングされた画像を形成する。このアプローチでは、動き推定および動き補償は以前にフィルタリングされたピクセルに対して実行されることを注意しておくべきである。このプロセスは、より精確な動き場の生成につながりうるものの、場合によってはテクスチャーまたはエッジといった、場面のより微細な詳細の一部の除去につながることもありうる。

第二の従来技術の方法において提案された、この概念の拡張は、閾値ベースの中央値の代わりにウェーブレット・フィルタリングの考慮を通じて、より進んだ動き補償方法を実行することに関わる。この第二の従来技術のアプローチでは、動き補償された残差に適用され、それにより最終的なノイズ除去されたビデオについてのより少ないアーチファクトにつながるブロッキング除去フィルタが導入される。

従来技術のこれらおよびその他の欠点および不都合な点が、エッジ・ベースの空間‐時間的フィルタリングのための方法および装置に向けられている本発明によって対処される。

本願の原理のある側面によれば、画像のシーケンスをフィルタリングするための装置が提供される。本装置は空間的フィルタ、動き補償器、ブロッキング除去フィルタおよび時間的フィルタを含む。空間的フィルタは、シーケンス中のある画像と、シーケンス中で前記画像に関して先行する諸画像および後続の諸画像のうちから選択される一つまたは複数の基準画像とを空間的にフィルタリングするためのものである。前記空間的フィルタと信号通信する動き補償器は、空間的フィルタリングに続いて、前記画像について、前記一つまたは複数の基準画像からの複数の時間的予測を形成するためのものである。前記動き補償器と信号通信するブロッキング除去フィルタは、前記の複数の時間的予測をブロッキング除去フィルタリングするためのものである。前記ブロッキング除去フィルタと信号通信する時間的フィルタは、前記複数の時間的予測を時間的にフィルタリングし、前記複数の時間的予測を組み合わせて前記画像のノイズ削減されたバージョンを生成するためのものである。

本願の原理のもう一つの側面によれば、画像のシーケンスから超解像画像を形成するための装置が提供される。本装置は空間的フィルタ、動き補償器、空間的アップサンプリング器、ブロッキング除去フィルタおよび時間的フィルタを含む。空間的フィルタは、シーケンス中のある画像と、シーケンス中で前記画像に関して先行する諸画像および後続の諸画像のうちから選択される一つまたは複数の基準画像とを空間的にフィルタリングするためのものである。前記空間的フィルタと信号通信する動き補償器は、空間的フィルタリングに続いて、前記画像について、前記一つまたは複数の基準画像からの複数の時間的予測を形成するためのものである。前記動き補償器と信号通信する空間的アップサンプリング器は、前記画像および前記一つまたは複数の基準画像に対して空間的なアップサンプリングを実行するためのものである。前記動き補償器と信号通信するブロッキング除去フィルタは、前記の複数の時間的予測をブロッキング除去フィルタリングするためのものである。前記ブロッキング除去フィルタと信号通信する時間的フィルタは、前記複数の時間的予測を時間的にフィルタリングし、前記複数の時間的予測を組み合わせて前記画像のアップサンプリングされたバージョンを生成するためのものである。

本願の原理のさらにもう一つの側面によれば、画像のシーケンスをフィルタリングするための方法が提供される。本方法は、シーケンス中のある画像と、シーケンス中で前記画像に関して先行する諸画像および後続の諸画像のうちから選択される一つまたは複数の基準画像とを空間的にフィルタリングすることを含む。本方法はさらに、空間的フィルタリングに続いて、前記画像について、前記一つまたは複数の基準画像からの複数の時間的予測を形成することを含む。本方法はまた、前記の複数の時間的予測をブロッキング除去フィルタリングすることを含む。さらに、本方法は、ブロッキング除去フィルタリングに続いて、前記複数の時間的予測を時間的にフィルタリングし、前記複数の時間的予測を組み合わせて前記画像のノイズ削減されたバージョンを生成することを含む。

本願の原理のさらなる側面によれば、画像のシーケンスから超解像画像を形成するための方法が提供される。本方法は、シーケンス中のある画像と、シーケンス中で前記画像に関して先行する諸画像および後続の諸画像のうちから選択される一つまたは複数の基準画像とを空間的にフィルタリングすることを含む。本方法はさらに、空間的フィルタリングに続いて、前記画像について、前記一つまたは複数の基準画像からの複数の時間的予測を形成することを含む。本方法はまた、前記画像および前記一つまたは複数の基準画像に対して空間的アップサンプリングを実行し、前記の複数の時間的予測をブロッキング除去フィルタリングすることを含む。さらに、本方法は、ブロッキング除去フィルタリングに続いて、前記複数の時間的予測を時間的にフィルタリングし、前記複数の時間的予測を組み合わせて前記画像のアップサンプリングされたバージョンを生成することを含む。

本発明のこれらのおよびその他の側面、特徴および利点は、付属の図面との関連で読まれるべき例示的な実施形態の以下の詳細な記述から明白となるであろう。

本発明は、エッジ・ベースの空間‐時間的フィルタリングのための方法および装置に向けられている。

本記載は、本発明の原理を例解する。よって、ここに明示的に記述または図示されなくても、本発明の原理を具現し、その精神および範囲内に含まれるさまざまな構成を当業者は考案できるであろうことは理解されるであろう。

本稿で挙げられるあらゆる例および条件付きの言辞は、本発明の原理および発明者によって当技術分野の発展のために寄与される概念の理解において読者を助ける教授目的を意図されており、そのような特定的に挙げられる例および条件に限定することはないものとして解釈されるものとする。

さらに、本発明の原理、側面および実施形態ならびにその個別的な例を挙げる本稿におけるあらゆる陳述は、その構造的等価物および機能的等価物両方を包含することが意図される。さらに、そのような等価物が現在知られている等価物および将来開発される等価物の両方、すなわち構造に関わりなく同じ機能を実行する開発される任意の要素を含むことが意図される。

よって、たとえば、当業者は、本稿で呈示されるブロック図が本発明の原理を具現する例示的な回路の概念的な図を表していることを理解するであろう。同様に、あらゆるフローチャート、流れ図、状態遷移図、擬似コードなどがさまざまなプロセスを表しており、実質的にコンピュータ可読媒体中に表現され、よってコンピュータやプロセッサが明示的に示されていなくても、コンピュータまたはプロセッサによって実行されてもよいことも理解されるであろう。

図面に示されているさまざまな要素の機能は、専用ハードウェアおよび適切なソフトウェアとの関連でソフトウェアを実行する機能をもつハードウェアの使用を通じて提供されてもよい。プロセッサによって提供されるとき、そうした機能は単一の専用プロセッサによって提供されても、単一の共有プロセッサによって提供されても、あるいは一部が共有されていてもよい複数の個別プロセッサによって提供されてもよい。さらに、用語「プロセッサ」または「コントローラ」の明示的な使用は、ソフトウェアを実行する機能をもつハードウェアのみを指すものと解釈すべきではない。それらは、暗黙的に、これに限らないが、デジタル信号プロセッサ（DSP）ハードウェア、ソフトウェアを記憶するための読み出し専用メモリ（ROM）、ランダム・アクセス・メモリ（RAM）および不揮発性記憶装置を含んでいてもよい。

従来のものおよび／またはカスタムのその他のハードウェアが含まれていてもよい。同様に、図面に示されるいかなるスイッチも単に概念的なものである。その機能はプログラム論理の動作を通じて、専用論理を通じて、プログラム制御と専用論理の相互作用を通じて、あるいはさらには手動で実行されてもよい。特定の技法は、コンテキストからより特定的に理解されるままに、実装者によって選択可能である。

本願の請求項では、指定された機能を実行するための手段として表現されたいかなる要素も、その機能を実行するいかなる仕方をも包含することが意図されている。それに含まれるものとしてはたとえば、ａ）その機能を実行する回路要素の組み合わせまたはｂ）任意の形の、したがってファームウェア、マイクロコードなどを含むソフトウェアを、当該機能を実行するためにそのソフトウェアを実行する適切な回路と組み合わせたもの、がある。そのような請求項によって定義されるところの発明は、挙げられているさまざまな手段によって提供される機能性が、請求項が求める仕方で組み合わされ、まとめられているという事実に存する。よって、そのような機能性を提供できるいかなる手段も本稿で示されているものと等価であると見なされる。

明細書における本願の原理の「一つの実施形態」または「ある実施形態」への言及は、その実施形態との関連で記述される特定の特徴、構造、特性などが本願の原理の少なくとも一つの実施形態に含められることを意味する。よって、本明細書を通じて所々に現れる「一つの実施形態では」または「ある実施形態では」の句の出現は、必ずしもみなが同じ実施形態を指しているのではない。

図１に目を転じると、超解像画像生成機能のある例示的なエンコーダが、参照符号１００によって概括的に指示されている。エンコーダ１００は空間的フィルタ１１０を含み、該空間的フィルタ１１０の出力は、動き推定器およびテクスチャー／エッジ解析器１２０の第一の入力と信号通信するよう接続されている。動き推定器およびテクスチャー／エッジ解析器１２０の第一の出力は、動き補償器１３０の第二の入力、ブロッキング除去フィルタ１４０の第二の入力および時間的フィルタ１５０の第二の入力と信号通信するよう接続されている。動き推定器およびテクスチャー／エッジ解析器１２０の第二の出力は、動き補償器１３０の第一の入力と信号通信するよう接続されている。動き補償器１３０の出力は、ブロッキング除去フィルタ１４０の第一の入力と信号通信するよう接続されている。ブロッキング除去フィルタ１４０の出力は、時間的フィルタ１５０の第一の入力と信号通信するよう接続されている。時間的フィルタ１５０の出力は、超解像画像記憶１８０の第一の入力と信号通信するよう接続されている。超解像画像記憶１８０の出力は、動き補償器１３０の第三の入力と信号通信するよう接続されている。空間的アップサンプリング器１７０の出力が、超解像画像記憶の第二の入力と信号通信するよう接続されている。

エンコーダ１００の入力は、空間的フィルタ１１０の入力、画像記憶１６０の入力および空間的フィルタ１９０の入力と信号通信するよう接続されている。画像記憶１６０の出力は、空間的アップサンプリング器１７０の入力ならびに動き推定器およびテクスチャー／エッジ解析器１２０の第二の入力と信号通信するよう接続されている。空間的フィルタ１９０の出力は、時間的フィルタ１５０の第三の入力と信号通信するよう接続されている。時間的フィルタ１５０の出力は、エンコーダ１００の出力として利用可能である。

動き推定器およびテクスチャー／エッジ解析器１２０、動き補償器１３０、ブロッキング除去フィルタ１４０、時間的フィルタ１５０、画像記憶１６０および任意的に空間的アップサンプリング器１７０から、動き補償された時間的フィルタリング（MCTF: Motion Compensated Temporal Filtering）ループ１９９が形成されると考えられてもよい。

本願の原理によれば、ブロック・ベースの動き補償されたフィルタリングを空間‐時間的フィルタリングと組み合わせたものに基づいて、ビデオ・エンコード方法および装置が提供される。ここに与えられる本願の原理の教示を与えられれば、超解像画像の生成を離れて、ここに記載されるアプローチが、既存の空間‐時間的ノイズ除去方式の性能を改善するためにも使えることは理解しておくものとする。

上に参照した第二の従来技術のアプローチによれば、ノイズ除去は、動き推定および動き補償を実行して現在画像についていくつかの異なる時間的にフィルタリングされた予測を生成し、該予測が次いで空間的にフィルタリングされた予測のセットとともに組み合わせ／平均されることによって実行された。しかしながら、ある種の場合には、いかなる動き推定アルゴリズムを使って推定された時間的フィルタの動きベクトルも正しくない、または十分精確でないことがありうる。たとえば、これは、隠蔽（occlusion）、フェード（fades）またはクロスフェード（cross-fades）または非並進運動（回転、ズームなど）の際に事実でありうる。そのような場合のために動き補償された信号を使うことは、明らかに、深刻なアーチファクトにつながりうる。これらの場合のいくつかを考慮するよう動き推定アルゴリズムを向上させることもできるが、これは、はるかに複雑なシステムにつながるであろう。

それに代わるより単純なアプローチは、ゆがみ閾値（たとえば、試験される現在ブロックのMAD）を導入することである。これは、そのような場合を検出しようと試みるもので、基本的には、特定の参照基準からのブロック予測を、そのゆがみがその値を超える場合に拒否する。本願の原理のある実施形態では、我々はこの閾値を5に等しいと考える。さらに、ある実施形態では、現在ブロックの分散が非常に小さい場合（たとえば0）、これは、このブロックについては時間的補間が不要である可能性がきわめて高いことを含意していることがありうるので、現在ブロックは、もし補間されるとしたら完全に空間的に補間される。たとえば、時間的な参照基準内に存在しうるノイズは、時間的予測を助けるのでなく、害することがありうる。そのようなすべての場合において、我々は、所与の参照基準からの予測を、時刻tにおけるもとのフレームの画像からの空間的に補完されたブロック予測で置き換えた。これも、時間的な予測に比べて空間的な予測に対する重みを増す方法と見ることができる。

閾値処理の方法は、動き補償された予測のいくつかのアーチファクトを軽減できるものの、残念ながら、すべてを解消するわけではない。動き補償された方法が、動きの不連続性のため、ブロック境界で深刻なブロッキング・アーチファクトにつながりうることはよく知られている。この目的のため、いくつかのビデオ符号化規格は、そのような不連続性を考慮し、そのような境界において知的な空間的フィルタリング技法を使うことによってアーチファクトを軽減しようとする、ループ内ブロッキング除去（in-loop deblocking）アーキテクチャを導入している。いくつかの状況では、たとえ予測からのゆがみが小さいとしても、同様の問題が、我々のアプローチにおいても存することがありうる。この目的のため、各予測を動き補償したのちに適用されうるブロッキング除去フィルタが導入される。そのようなブロッキング除去フィルタは、現在の量子化レベルを考慮しながら、境界位置におけるピクセル値および動きを考慮して、それらのピクセルがブロッキング・アーチファクトを軽減するためにフィルタリングされる必要があるかどうかを判別する。我々の場合、我々は、インター・スライスのためにMPEG-4 AVC規格において使用されるフィルタを考慮し、本願の原理のある実施形態では、該フィルタを、直前の段落で記載した閾値処理および分散のプロセスによって置換されるブロックに属さないエッジ上で常に、その動きにも関わりなく、適用されるよう修正した。これは、我々の動き補償された予測について、主観的な品質の面で特に、著しく改善されたパフォーマンスにつながる。

エッジがおそらく画像を補間するときに向上させたい最も重要な特徴であることも考える場合、本願の原理のある実施形態は、特にエッジに関して符号化パフォーマンスを向上させるためにここで導入されるエッジ・ベースの判定基準に関わる。エッジは、よく知られたキャニー（Canny）・エッジ検出器に基づいて計算されうる。もちろん、本願の原理は、キャニー・エッジ検出器のみの使用に限定されるものではなく、よって他のエッジ検出アルゴリズムも、本願の原理の範囲を維持しつつ本願の原理に基づいて用いられてもよい。あるピクセルがエッジであると見出される場合、ある実施形態では、所与の参照基準についてそのピクセルに対する重みを修正したいことがありうる。および／または、ある実施形態では、追加的な参照基準、たとえば、エッジ保存補間の使用を通じて生成された画像のような参照基準を導入してもいいほどである。

本願の原理のある実施形態のある解説上の例に関してまとめると、時刻tにおける画像f(t)をアップサンプリングまたはノイズ除去しようとしており、動き推定および動き補償の目的で2つの過去のフレームおよび2つの未来のフレーム、すなわちf(t−2),f(t−1),f(t＋1)およびf(t＋2)を使えるとする。これら4枚の画像を使った動き推定は、f(t)をサイズB₁×B₂で重なり合わないブロックに分割し、これらの基準画像のそれぞれの中の小さな窓内で検索を実行して可能な最良一致をみつけることによって実行される。f(t)を含めてこれら5枚の画像は次いで、たとえばMPEG-4 AVC規格によって使用される6タップ・フィルタ、零次ホールドまたは一次ホールド（zero or first order hold）を使って、あるいはさらにはウェーブレットのようなより高度な補間方法を使って、空間的にアップサンプリングされる。低解像度画像からの動きベクトルは、動き補償されたフレームを生成するために使われ、生成されたフレームは次いでブロッキング除去フィルタリングされ、超解像の動き補償された予測を与える。このプロセスを通じて生成された諸仮設、たとえばこの新しい画像内のピクセル(x,y)についての諸仮設は、f_sp′(x,y,t),f_T′(x,y,t−2),f_T′(x,y,t−1),f_T′(x,y,t＋1)およびf_T′(x,y,t＋2)である。これら5つの予測は次いで、重み付けされた平均を使って一緒に組み合わされ、最終的なノイズ除去された画像を次のように与える：

重みは、先に論じたように適応的であってもよいし（たとえば、ゆがみ、エッジなどに基づく）、および／または固定であって、各仮設の時間的距離および信頼性に依存してもよい。ある実施形態では、ピクセルがエッジ位置に属さない場合、

を生成するための次の式が使われてもよい：

ピクセルがエッジに属する場合、ある実施形態では、

は次のように計算される：

ここで指定されている値は単に解説のためであって、本願の原理の範囲を維持しながら他の値も使用できることは理解しておくものとする。

図２に目を転じると、エッジ・ベースのノイズ・フィルタリングを使う例示的なビデオ・エンコード方法が概括的に参照符号２００で示されている。

方法２００は、開始ブロック２０５を含む。開始ブロック２０５は制御を機能ブロック２１０に渡す。機能ブロック２１０は、現在ブロック（以下「ブロック」）の空間的フィルタリングを実行して空間的予測子（predictor）を形成し、制御を機能ブロック２１５に渡す。機能ブロック２１５は、ブロックの分散を計算し、制御を判断ブロック２２０に渡す。判断ブロック２２０は分散が閾値より小さいかどうかを判定する。もしそうであれば、制御は機能ブロック２６０に渡される。もしそうでなければ、制御はループ端ブロック２７０に渡される。

機能ブロック２６０は、全予測子の重み付けされた平均を実行して、フィルタリングされたブロックを形成し、制御を終了ブロック２６５に渡す。

ループ端ブロック２７０は、ブロック中の各ピクセルpについてループを実行し、制御を機能ブロック２７５に渡す。機能ブロック２７５はエッジ検出フィルタを適用し、制御を判断ブロック２８０に渡す。判断ブロック２８０は、エッジが検出されたかどうかを判定する。もしそうであれば、制御は機能ブロック２８５に渡される。もしそうでなければ、制御は機能ブロック２９０に渡される。

機能ブロック２８５は、エッジ重みの使用を設定し、制御をループ端ブロック２９５に渡す。

機能ブロック２９０は、非エッジ重みの使用を設定し、制御をループ端ブロック２９５に渡す。

ループ端ブロック２９５はループを終え、制御をループ端ブロック２２５に渡す。ループ端ブロック２２５は、各参照画像rについてループを実行し、制御を機能ブロック２３０に渡す。機能ブロック２３０は、参照画像r内のブロックbの動き推定を実行し、MAD[p,r]を計算し、制御を判断ブロック２４０に渡す。判断ブロック２４０は、MAD[p,r]が閾値より小さいかどうかを判定する。もしそうであれば、制御は機能ブロック２４５に渡される。もしそうでなければ、制御は機能ブロック２９７に渡される。

機能ブロック２４５は、動き補償された予測を形成し、機能ブロック２５０に制御を渡す。機能ブロック２５０はブロッキング除去フィルタを動き補償された予測に適用して、時間的予測を形成し、制御をループ端ブロック２５５に渡す。ループ端ブロック２５５はループを終え、制御を機能ブロック２６０に渡す。

機能ブロック２９７は、前記基準の予測子としての使用を禁止し、制御をループ端ブロック２５５に渡す。

ここで、本発明の数多くの付随的な利点／特徴のいくつかについて述べる。その一部は上述してある。たとえば、ある利点／特徴は、画像のシーケンスをフィルタリングする装置である。該装置は、空間的フィルタと、動き補償器と、ブロッキング除去フィルタと、時間的フィルタとを含む。前記空間的フィルタは、シーケンス中のある画像と、シーケンス中で前記画像に関して先行する諸画像および後続の諸画像のうちから選択される一つまたは複数の基準画像とを空間的にフィルタリングするためのものである。前記動き補償器は、前記空間的フィルタと信号通信しており、空間的フィルタリングののち、前記画像について、前記一つまたは複数の基準画像からの複数の時間的予測を形成するためのものである。前記ブロッキング除去フィルタは、前記動き補償器と信号通信しており、前記の複数の時間的予測をブロッキング除去フィルタリングするためのものである。前記時間的フィルタは、前記ブロッキング除去フィルタと信号通信しており、前記複数の時間的予測を時間的にフィルタリングし、前記複数の時間的予測を組み合わせて前記画像のノイズ削減されたバージョンを生成するためのものである。

もう一つの利点／特徴は、前記複数の時間的予測が前記画像との相関に基づいている、上記のような装置である。前記画像はもとの入力画像である。

さらにもう一つの利点／特徴は、上記のような装置であって、前記空間的フィルタ、前記動き補償器、前記ブロッキング除去フィルタおよび前記時間的フィルタと信号通信する、前記画像および前記一つまたは複数の基準画像におけるテクスチャーおよびエッジのうち少なくとも一方を複数解析方法に関して解析する解析器をさらに有する装置である。前記動き補償器、前記ブロッキング除去フィルタおよび前記時間的フィルタによってそれぞれ、前記複数の時間的予測が形成され、ブロッキング除去フィルタリングされ、時間的にフィルタリングされ、その少なくとも一つは前記解析器によって与えられるテクスチャー情報およびエッジ情報のうちの少なくとも一方に基づいている。

さらに、もう一つの利点／特徴は、上記のような解析器を有する装置であって、前記複数解析方法が、エッジ検出、分散解析およびテクスチャー検出のうちの少なくとも一つを含む装置である。

さらに、もう一つの利点／特徴は、上記のような解析器を有する装置であって、前記ブロッキング除去フィルタが、もとの入力画像である前記画像との相関および前記複数解析方法の一つまたは複数のうち少なくとも一方に基づいて適応される、装置である。

また、もう一つの利点／特徴は、上記のような解析器を有する装置であって、前記ブロッキング除去フィルタが、前記複数解析方法の一つまたは複数およびもとの入力画像である前記画像との相関のうち少なくとも一方に基づいて適応される、装置である。

さらに、もう一つの利点／特徴は、上記のような解析器を有する装置であって、前記複数解析方法が、前記動き補償器によって前記一つまたは複数の時間的予測がどのように形成されるかを決定するために使われる、装置である。

さらにもう一つの利点／特徴は、画像のシーケンスから超解像画像を形成するための装置である。本装置は空間的フィルタ、動き補償器、空間的アップサンプリング器、ブロッキング除去フィルタおよび時間的フィルタを含む。空間的フィルタは、シーケンス中のある画像と、シーケンス中で前記画像に関して先行する諸画像および後続の諸画像のうちから選択される一つまたは複数の基準画像とを空間的にフィルタリングするためのものである。前記空間的フィルタと信号通信する動き補償器は、空間的フィルタリングに続いて、前記画像について、前記一つまたは複数の基準画像からの複数の時間的予測を形成するためのものである。前記動き補償器と信号通信する空間的アップサンプリング器は、前記画像および前記一つまたは複数の基準画像に対して空間的なアップサンプリングを実行するためのものである。前記動き補償器と信号通信するブロッキング除去フィルタは、前記の複数の時間的予測をブロッキング除去フィルタリングするためのものである。前記ブロッキング除去フィルタと信号通信する時間的フィルタは、前記複数の時間的予測を時間的にフィルタリングし、前記複数の時間的予測を組み合わせて前記画像のアップサンプリングされたバージョンを生成するためのものである。

もう一つの利点／特徴は、前記複数の時間的予測がもとの入力画像である前記画像との相関に基づいている、上記のような装置である。

さらにもう一つの利点／特徴は、上記のような装置であって、前記空間的フィルタ、前記動き補償器、前記ブロッキング除去フィルタおよび前記時間的フィルタと信号通信する、前記画像および前記一つまたは複数の基準画像におけるテクスチャーおよびエッジのうち少なくとも一方を複数解析方法に関して解析する解析器をさらに有する装置である。前記動き補償器、前記ブロッキング除去フィルタおよび前記時間的フィルタによってそれぞれ、前記複数の時間的予測が形成され、ブロッキング除去フィルタリングされ、時間的にフィルタリングされ、その少なくとも一つは前記解析器によって与えられるテクスチャー情報およびエッジ情報のうちの少なくとも一方に基づいている。

さらに、もう一つの利点／特徴は、上記のような解析器を有する装置であって、前記複数解析方法が、エッジ検出、分散解析およびテクスチャー検出のうちの少なくとも一つを含む、装置である。

さらに、もう一つの利点／特徴は、上記のような解析器を有する装置であって、前記ブロッキング除去フィルタが、前記複数解析方法の一つまたは複数およびもとの入力画像である前記画像との相関のうち少なくとも一方に基づいて適応される、装置である。

また、もう一つの利点／特徴は、上記のような解析器を有する装置であって、前記複数解析方法が、前記動き補償器によって前記一つまたは複数の時間的予測がどのように形成されるかを決定するために使われる、装置である。

本発明のこれらおよびその他の特徴および利点が、本稿の教示に基づいて当業者には容易に認識できるであろう。本発明の教示はさまざまな形のハードウェア、ソフトウェア、特殊目的プロセッサまたはそれらの組み合わせにおいて実装されうることは理解しておくものとする。

最も好ましくは、本発明の教示はハードウェアとソフトウェアの組み合わせとして実装される。さらに、ソフトウェアは、プログラム記憶ユニット上で具体的に実現されるアプリケーション・プログラムとして実装されてもよい。アプリケーション・プログラムは、いかなる好適なアーキテクチャを有する機械にアップロードされ、該機械によって実行されてもよい。好ましくは、前記機械は、一つまたは複数の中央処理装置（CPU）、ランダム・アクセス・メモリ（RAM）および入出力（I/O）インターフェースのようなハードウェアを有するコンピュータ・プラットフォーム上で実装される。コンピュータ・プラットフォームはまた、オペレーティング・システムおよびマイクロ命令コードをも含んでいてもよい。本稿に記載されたさまざまなプロセスおよび機能は、マイクロ命令コードの一部でも、アプリケーション・プログラムの一部でも、あるいはそれらの任意の組み合わせでもよく、CPUによって実行されてもよい。さらに、前記コンピュータ・プラットフォームには、追加的なデータ記憶ユニットおよび印刷ユニットのようなさまざまな他の周辺ユニットが接続されていてもよい。

さらに、付属の図面に描かれている構成するシステム構成要素および方法のいくつかは好ましくはソフトウェアで実装されるので、システム構成要素またはプロセス機能ブロックの間の実際の接続は、本発明がプログラムされる仕方に依存して異なることがありうることは理解しておくべきである。本稿の教示を与えられれば、当業者は本発明のこれらのおよび同様の実装または構成を考えることができるであろう。

本稿では例示的な実施形態について付属の図面を参照して記載してきたが、本発明は厳密なこれらの実施形態に限定されるものではないこと、および本発明の範囲または精神から外れることなく当業者によってさまざまな変更および修正がそれになしうることは理解しておくものとする。そのようなすべての変更および修正は、付属の請求項に記載される本発明の範囲内に含まれることが意図されている。

本願の原理が適用されうる、超解像画像生成機能をもつ例示的なエンコーダのブロック図である。 本願の原理のある実施形態に基づく、エッジ・ベースのノイズ・フィルタリングを使った例示的なビデオ・エンコード方法の流れ図である。

Claims (26)

1. 画像のシーケンスをフィルタリングする装置であって：
   シーケンス中のある画像と、シーケンス中で前記画像に関して先行する諸画像および後続の諸画像のうちから選択される少なくとも一つの基準画像とを空間的にフィルタリングする空間的フィルタと；
   前記空間的フィルタと信号通信する、空間的フィルタリングののち、前記画像について、前記少なくとも一つの基準画像からの複数の時間的予測を形成する動き補償器と；
   前記動き補償器と信号通信する、前記の複数の時間的予測をブロッキング除去フィルタリングする、ブロッキング除去フィルタと；
   前記ブロッキング除去フィルタと信号通信する、前記複数の時間的予測を時間的にフィルタリングし、前記複数の時間的予測を組み合わせて前記画像のノイズ削減されたバージョンを生成する時間的フィルタとを有する、
   装置。
2. 前記複数の時間的予測がもとの入力画像である前記画像との相関に基づいている、請求項１記載の装置。
3. 請求項１記載の装置であって、前記空間的フィルタ、前記動き補償器、前記ブロッキング除去フィルタおよび前記時間的フィルタと信号通信する、前記画像および前記少なくとも一つの基準画像におけるテクスチャーおよびエッジのうち少なくとも一方を複数解析方法に関して解析する解析器をさらに有し、
   前記動き補償器、前記ブロッキング除去フィルタおよび前記時間的フィルタによってそれぞれ、前記複数の時間的予測が形成され、ブロッキング除去フィルタリングされ、時間的にフィルタリングされ、その少なくとも一つは前記解析器によって与えられるテクスチャー情報およびエッジ情報のうちの少なくとも一方に基づいている、
   装置。
4. 前記複数解析方法が、エッジ検出、分散解析およびテクスチャー検出のうちの少なくとも一つを含む、請求項３記載の装置。
5. 前記ブロッキング除去フィルタが、もとの入力画像である前記画像との相関および前記複数解析方法の一つまたは複数のうち少なくとも一方に基づいて適応される、請求項３記載の装置。
6. 前記ブロッキング除去フィルタが、前記複数解析方法の一つまたは複数およびもとの入力画像である前記画像との相関のうち少なくとも一方に基づいて適応される、請求項３記載の装置。
7. 前記複数解析方法が、前記動き補償器によって前記一つまたは複数の時間的予測がどのように形成されるかを決定するために使われる、請求項３記載の装置。
8. 画像のシーケンスから超解像画像を形成する装置であって：
   シーケンス中のある画像と、シーケンス中で前記画像に関して先行する諸画像および後続の諸画像のうちから選択される少なくとも一つの基準画像とを空間的にフィルタリングする空間的フィルタと；
   前記空間的フィルタと信号通信する、空間的フィルタリングののち、前記画像について、前記少なくとも一つの基準画像からの複数の時間的予測を形成する動き補償器と；
   前記動き補償器と信号通信する、前記画像および前記少なくとも一つの基準画像に対して空間的なアップサンプリングを実行する空間的アップサンプリング器と；
   前記動き補償器と信号通信する、前記の複数の時間的予測をブロッキング除去フィルタリングするブロッキング除去フィルタと；
   前記ブロッキング除去フィルタと信号通信する、前記複数の時間的予測を時間的にフィルタリングし、前記複数の時間的予測を組み合わせて前記画像のアップサンプリングされたバージョンを生成する、時間的フィルタとを有する、
   装置。
9. 前記複数の時間的予測がもとの入力画像である前記画像との相関に基づいている、請求項８記載の装置。
10. 請求項８記載の装置であって、前記空間的フィルタ、前記動き補償器、前記ブロッキング除去フィルタおよび前記時間的フィルタと信号通信する、前記画像および前記少なくとも一つの基準画像におけるテクスチャーおよびエッジのうち少なくとも一方を複数解析方法に関して解析する解析器をさらに有し、
    前記動き補償器、前記ブロッキング除去フィルタおよび前記時間的フィルタによってそれぞれ、前記複数の時間的予測が形成され、ブロッキング除去フィルタリングされ、時間的にフィルタリングされ、その少なくとも一つは前記解析器によって与えられるテクスチャー情報およびエッジ情報のうちの少なくとも一方に基づいている、
    装置。
11. 前記複数解析方法が、エッジ検出、分散解析およびテクスチャー検出のうちの少なくとも一つを含む、請求項１０記載の装置。
12. 前記ブロッキング除去フィルタが、前記複数解析方法の一つまたは複数およびもとの入力画像である前記画像との相関のうち少なくとも一方に基づいて適応される、請求項１０記載の装置。
13. 前記複数解析方法が、前記動き補償器によって前記一つまたは複数の時間的予測がどのように形成されるかを決定するために使われる、請求項１０記載の装置。
14. 画像のシーケンスをフィルタリングする方法であって：
    シーケンス中のある画像と、シーケンス中で前記画像に関して先行する諸画像および後続の諸画像のうちから選択される少なくとも一つの基準画像とを空間的にフィルタリングする段階と；
    空間的フィルタリングののち、前記画像について、前記少なくとも一つの基準画像からの複数の時間的予測を形成する段階と；
    前記の複数の時間的予測をブロッキング除去フィルタリングする段階と；
    前記のブロッキング除去フィルタリングののち、前記複数の時間的予測を時間的にフィルタリングし、前記複数の時間的予測を組み合わせて前記画像のノイズ削減されたバージョンを生成する段階とを含む、
    方法。
15. 前記複数の時間的予測がもとの入力画像である前記画像との相関に基づいている、請求項１４記載の方法。
16. 請求項１４記載の方法であって、前記画像および前記少なくとも一つの基準画像におけるテクスチャーおよびエッジのうち少なくとも一方を複数解析方法に関して解析する段階をさらに有し、
    前記複数の時間的予測が形成され、ブロッキング除去フィルタリングされ、時間的にフィルタリングされ、その少なくとも一つは前記解析する段階によって与えられるテクスチャー情報およびエッジ情報のうちの少なくとも一方に基づいている、
    方法。
17. 前記複数解析方法が、エッジ検出、分散解析およびテクスチャー検出のうちの少なくとも一つを含む、請求項１６記載の方法。
18. 前記ブロッキング除去フィルタリングする段階が、もとの入力画像である前記画像との相関および前記複数解析方法の一つまたは複数のうち少なくとも一方に基づいて適応される、請求項１６記載の方法。
19. 前記ブロッキング除去フィルタリングする段階が、前記複数解析方法の一つまたは複数およびもとの入力画像である前記画像との相関のうち少なくとも一方に基づいて適応される、請求項１６記載の方法。
20. 前記複数解析方法が、前記形成する段階によって前記一つまたは複数の時間的予測がどのように形成されるかを決定するために使われる、請求項１６記載の方法。
21. 画像のシーケンスから超解像画像を形成する方法であって：
    シーケンス中のある画像と、シーケンス中で前記画像に関して先行する諸画像および後続の諸画像のうちから選択される少なくとも一つの基準画像とを空間的にフィルタリングする段階と；
    空間的フィルタリングののち、前記画像について、前記一つまたは複数の基準画像からの複数の時間的予測を形成する段階と；
    前記画像および前記少なくとも一つの基準画像に対して空間的アップサンプリングを実行する段階と；
    前記の複数の時間的予測をブロッキング除去フィルタリングする段階と；
    前記ブロッキング除去フィルタリングする段階ののち、前記複数の時間的予測を時間的にフィルタリングし、前記複数の時間的予測を組み合わせて前記画像のアップサンプリングされたバージョンを生成することを含む、
    方法。
22. 前記複数の時間的予測がもとの入力画像である前記画像との相関に基づいている、請求項２１記載の方法。
23. 請求項２１記載の方法であって、前記画像および前記少なくとも一つの基準画像におけるテクスチャーおよびエッジのうち少なくとも一方を複数解析方法に関して解析する段階をさらに有し、
    前記複数の時間的予測が形成され、ブロッキング除去フィルタリングされ、時間的にフィルタリングされ、その少なくとも一つは前記解析する段階によって与えられるテクスチャー情報およびエッジ情報のうちの少なくとも一方に基づいている、
    方法。
24. 前記複数解析方法が、エッジ検出、分散解析およびテクスチャー検出のうちの少なくとも一つを含む、請求項２３記載の方法。
25. 前記ブロッキング除去フィルタリングする段階が、前記複数解析方法の一つまたは複数およびもとの入力画像である前記画像との相関のうち少なくとも一方に基づいて適応される、請求項２３記載の方法。
26. 前記複数解析方法が、前記形成する段階によって前記一つまたは複数の時間的予測がどのように形成されるかを決定するために使われる、請求項２３記載の方法。

Images