JP2017073135A - ビデオエピトメを用いて画像からノイズを除去する方法及び装置 - Google Patents

ビデオエピトメを用いて画像からノイズを除去する方法及び装置 Download PDF

Info

Publication number
JP2017073135A
JP2017073135A JP2016198594A JP2016198594A JP2017073135A JP 2017073135 A JP2017073135 A JP 2017073135A JP 2016198594 A JP2016198594 A JP 2016198594A JP 2016198594 A JP2016198594 A JP 2016198594A JP 2017073135 A JP2017073135 A JP 2017073135A
Authority
JP
Japan
Prior art keywords
image
epitome
video
patch
version
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2016198594A
Other languages
English (en)
Other versions
JP2017073135A5 (ja
Inventor
アラン，マルタン
Alain Martin
ギュイモ，クリスティーヌ
Guillemot Christine
トロ，ドミニク
Thoreau Dominique
ギヨテル，フィリップ
Philippe Guillotel
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of JP2017073135A publication Critical patent/JP2017073135A/ja
Publication of JP2017073135A5 publication Critical patent/JP2017073135A5/ja
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8541—Content authoring involving branching, e.g. to different story endings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8549—Creating video summaries, e.g. movie trailer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)

Abstract

【課題】画像からノイズを除去する、特に、ソースビデオ画像に基づくビデオエピトメを用いて画像からノイズを除去する方法及び装置。
【解決手段】本原理の実施形態は、ビデオに含まれる画像を処理する方法であって、画像の復号されたバージョンを生成するよう画像の符号化されたバージョンを復号するステップと、画像の復号されたバージョンと、前記画像に関連するテクスチャエピトメであるビデオ画像エピトメとを用いて、画像のノイズ除去されたバージョンを生成するステップとを有し、ビデオ画像エピトメは、画像のソースバージョンから抽出されたものであり、生成するステップは、複数の最近傍パッチのうちの少なくとも１つに対応するビデオ画像エピトメに位置する対応するパッチを用いて、現在のパッチからノイズを除去することを有する、方法を提供する。
【選択図】図２

Description

本開示は、ビデオ画像からノイズを除去する方法及び装置に関係があり、特に、ソースビデオ画像に基づくビデオエピトメ（epitome）を用いてビデオ画像からノイズを除去する方法及び装置に関係がある。
本項目は、以下で記載及び／又は請求される本発明の様々な態様に関係があり得る技術の様々な態様を読者に紹介することを目的とする。この議論は、本発明の様々な態様のより良い理解を助けるよう読者に背景情報を提供するのに有用であると信じられている。然るに、それらの記述は、先行技術の承認としてではなく、この観点から読まれるべき点が理解されるべきである。
パッチに基づいた方法は、ノイズ除去方法の実施を相当に改善してきた。特に、Buades et alによって著され、CVPR2005の会報において公開された「A non-local algorithm for image denoising」と題された論文（非特許文献１）によって示された非局所平均（ＮＬＭ；Non Local Mean）、及びDabov et alによって著され、２００７年８月にTransaction on Image Processing，vol.16，no.8，pp.2080-2095において公開された「Image denoising by sparse 3D transform-domain collaborative filtering」と題された論文（非特許文献２）によって示されたブロックマッチング３Ｄ（ＢＭ３Ｄ；Block Matching 3D）は、現在、参照方法である。
両方の方法について、パッチは、ノイジー画像／ビデオの中から最初にそのＫ最近傍（Ｋ−ＮＮ；K nearest neighbors）を探すことによって、ノイズを除去される。ＮＬＭ法は、Ｋ−ＮＮと現在のパッチとの間の距離に依存する重みを用いてＫ−ＮＮを結合する。ＢＭ３Ｄは２段階の方法である。最初の段階では、ＢＭ３Ｄは、Ｋ−ＮＮを３Ｄグループにおいてスタックし、次いで、そのグループに対して３Ｄ変換を適用する。グループのパッチは、次いで、ハード閾値化（hard thresholding）を用いてフィルタをかけられ、ノイズ除去された推定が逆変換後に得られる。夫々のピクセルについて、いくつかの推定が得られ、最終的にそれらは平均化される。第２段階では、新しいＫ−ＮＮが、最初のステップから得られたノイズ除去された推定の中から見つけられる。２つの３Ｄグループが、最初のノイズ除去された推定からのＫ−ＮＮ及びノイジー画像／ビデオにおける対応するパッチを夫々含んで形成される。次いで、２つのグループに対して３Ｄ変換が適用される。ノイジーなパッチを含む３Ｄ変換されたグループは、最初のノイズ除去された推定を含む変換された３Ｄグループがオラクル（oracle）として使用されるウィナー（Wiener）フィルタを用いて、フィルタをかけられる。最終的な推定は、逆変換後に得られる。それらの方法は、それらがソース信号からの如何なる予備的知識もなしでノイジー画像／ビデオに対して適用されるので、“ブラインド（blind）”アルゴリズムである。本願で用いられる語「ソース信号」は、符号化／復号化動作、例えば、送信及びテレビ受信機による復号化より前のＨＥＶＣ符号化、の前の原ビデオ画像信号を言う。
代替的に、エピトメ表現に基づくパッチに基づいたノイズ除去方法が設計されてきた。画像のエピトメは、画像のテスクチャ及び構造特性の本質を含む要約表現である。エピトメアプローチは、画像内の繰り返されるコンテンツを利用することによって、画像における冗長情報（テスクチャ）を減らすことを狙う。エピトメ原理は、Hoppe et alによって著され、ACM SIGGRAPH 2008の会議録（ACM Transaction on Graphics，Vol.27，no.3，pp.1-10，2008）で公開された「Factoring Repeated Content Within and Among Images」と題された論文（非特許文献３）によって最初に開示された。図１はHoppeの方法を説明する。画像Ｙから、テクスチャエピトメＥ及び変換マップφは、Ｙの全画像ブロックがＥの一致したパッチから再構成され得るように決定される。一致したパッチは、変換されたパッチとしても知られる。ブロックと対照的に、パッチはピクセルグリッドに属する。自己相似性が画像Ｙにおいて特定されると、Hoppeの方法は、エピトメチャートを構成するよう冗長なテクスチャパッチを特定する。全てのエピトメチャートの和集合は、テクスチャエピトメＥを構成する。夫々のエピトメチャートは、画像における繰り返し領域を表す。エピトメチャートの構成は、いくつかのチャート拡張ステップが後に続くチャート初期化ステップから成る。変換マップφは、画像Ｙの夫々のブロックとテクスチャエピトメＥのテクスチャパッチとの間の対応を追跡する割り当てマップである。変換マップは、文献においてベクトルマップ又は割り当てマップとしても知られている。テクスチャエピトメＥ及び変換マップφによれば、画像Ｙのコンテンツに非常に似たコンテンツを持った画像Ｙ′を再構成することが可能である。以下で、語「ビデオエピトメ」は、テクスチャエピトメＥ及び変換マップφ、又は必要に応じて単にテクスチャエピトメＥのいずれかを指してよい。
現在のパッチに基づいたノイズ除去方法は、Cheung et alによって著され、International Journal of Computer Vision，vol.76，pp.141-152，2008において公開された「Video epitomes」と題された論文（非特許文献４）において見られるように、エピトメからのパッチを平均化するか、あるいは、Aharon et alによって著され、２００８年７月にSIAM Journal on Imaging Sciences，pp.228-247において公開された「Sparse and redundant modeling of image content using image-signature dictionary」と題された論文（非特許文献５）において見られるように、スパース表現（sparse representation）を用いてパッチを結合する。それらの方法では、エピトメは、ノイジー画像／ビデオから直接に抽出される。ビデオエピトメを用いるノイズ除去方法の性能を改善することが望ましい。
本原理に従って、方法及び装置は、画像からノイズを除去すること、特に、ソースビデオ画像に基づくビデオエピトメを用いて画像からノイズを除去することに関して記載される。より高い品質バージョンの画像、すなわち、ソースバージョン、からのビデオエピトメの抽出は、より高い品質のビデオエピトメをもたらし、ノイズ除去プロセスを改善する。本願で使用される語「高品質又はより高い品質のビデオ」は、符号化又は圧縮プロセスを受けたその後の又は他のバージョンのビデオよりもビデオアーチファクト及び歪みが少ないビデオ画像を言う。
本原理に従って、ビデオに含まれる画像を処理する方法であって、前記画像の復号されたバージョンを生成するよう前記画像の符号化されたバージョンを復号するステップと、前記画像の前記復号されたバージョンと、前記画像に関連するテクスチャエピトメであるビデオ画像エピトメとを用いて、前記画像のノイズ除去されたバージョンを生成するステップであり、前記ビデオ画像エピトメは、前記画像のソースバージョンから抽出されたものである、ステップとを有し、前記生成するステップは、複数の最近傍パッチのうちの少なくとも１つに対応する前記ビデオ画像エピトメに位置する対応するパッチを用いて、現在のパッチからノイズを除去することを有する、方法が提供される。
本原理に従って、ビデオの画像を処理する装置であって、前記画像の符号化されたバージョンにアクセスし、前記画像の復号されたバージョンと、前記画像に関連するテクスチャエピトメであるビデオ画像エピトメとを生成するよう構成され、前記ビデオ画像エピトメは、前記画像のソースバージョンから抽出されたものである、通信インターフェイスと、該通信インターフェイスへ結合され、前記画像の前記復号されたバージョン及び前記ビデオ画像エピトメを用いて前記復号された画像のノイズ除去されたバージョンを含む表示のための出力を生成するよう構成されるプロセッサとを有し、前記画像エピトメ及び前記プロセッサは、複数の最近傍パッチのうちの少なくとも１つに対応する前記ビデオ画像エピトメに位置する前記対応するパッチを用いて現在のパッチからノイズを除去することによって、前記復号された画像のノイズ除去されたバージョンを生成するよう構成される、装置が提供される。
本原理に従って、ビデオの画像を処理する装置であって、画像にアクセスするよう構成される通信インターフェイスと、該通信インターフェイスへ結合され、前記画像の符号化されたバージョンを生成し、前記符号化より前に前記画像のソースバージョンからビデオエピトメを抽出し、前記画像の前記符号化されたバージョン、前記ビデオエピトメ、及びビットストリームにおける前記ビデオエピトメの存在を示すフラグを含む前記ビットストリームを生成するよう構成されるプロセッサと有する装置が提供される。実施形態において、前記ビデオエピトメも、符号化された画像と同じか又は異なった符号化方法を用いて符号化される。
実施形態において、前記エピトメはテクスチャエピトメであり、前記生成するステップは、復号された画像における現在のパッチからノイズを除去することにおいて使用されるＫ最近傍パッチを特定し、該特定されたＫ最近傍パッチに対応する前記ビデオエピトメに位置する対応するパッチにアクセスし、前記ビデオエピトメに位置する前記対応するパッチを用いて前記現在のパッチからノイズを除去することを有する。
実施形態において、前記ノイズを除去することは、前記ビデオエピトメを用いてノイズを除去する非局所平均方法を実施することを有する。
実施形態において、前記ノイズを除去することは、エピトメパッチと対応するノイジーパッチとの間の平均二乗誤差としてノイズレベルを推定することによってフィルタリングパラメータを設定することを有し、該フィルタリングパラメータは、前記推定されたノイズレベルと予め定義されたユーザパラメータとの積として設定される。
実施形態において、前記ノイズを除去することは、ハード閾値化ステップ及びウィナーフィルタリングステップを用いることを有する。実施形態において、前記ハード閾値化は、ノイジーパッチのグループ及びそれらの対応する画像エピトメパッチに対して３Ｄ変換を実施することと、該変換されたパッチ間の閾値化規則を決定することと、前記ノイジーパッチのグループの中のパッチにおいて前記現在のパッチを代入することと、該現在のパッチを含む前記ノイジーパッチのグループに前記閾値化規則を適用することと、前記現在のパッチの第１のノイズ除去されたバージョンを生成するよう逆変換を実施することとによって、閾値を適応的に選択することを有する。実施形態において、前記現在のパッチの前記第１のノイズ除去されたバージョンは、前記ウィナーフィルタリングステップのためのオラクルとして使用される。
実施形態において、前記ビデオエピトメ及び前記画像の前記符号化されたバージョンは、通信チャネルにわたって受信されるビットストリームを介してアクセスされ、前記ビデオエピトメは符号化され、前記ビットストリームは、前記ビデオエピトメが前記画像の符号化されたバージョンとともに含まれることを示すフラグを含む。
添付の図面とともに検討される例となる実施形態の以下の説明を参照することによって、本原理の上記及び他の特徴、並びにそれらを実現する様態は、更に明らかになり、本原理は、より良く理解されるだろう。
変換マップφ及びエピトメＥから成る分解表現による画像Ｙからのエピトメの構成及び画像Ｙ′の再構成の絵による例である。
本原理に従うノイズ除去の絵による例である。
本原理に従って、適応ＮＬＭを用いるエピトメに基づいたノイズ除去の絵による例である。
本原理に従って、ＢＭ３Ｄを用いるエピトメに基づいたノイズ除去のためのハード閾値化の絵による例である。
本原理に従って、ＢＭ３Ｄを用いるエピトメに基づいたノイズ除去のためのウィナーフィルタリングの絵による例である。
ビデオのキーフレームから抽出されたエピトメの絵による例である。
スケーラブル圧縮スキームにおけるエピトメの符号化を説明する絵による例である。
本原理の例となる実施形態の様々な態様が実装され得るシステムの例を表すブロック図を表す。
１つ以上の実施により使用され得るビデオ処理システムの例を表すブロック図を表す。
１つ以上の実施により使用され得るビデオ処理システムの他の例を表すブロック図を表す。
本願で示される記載は、本原理の様々な態様を実施するための例となる実施形態を説明する。そのような例は、特許請求の範囲の適用範囲を制限するものとして決して解釈されるべきではない。
本原理は、ビデオエピトメを使用するノイズ除去のための方法及び装置に関係がある。特に、本原理に従う実施形態は、復号器でのノイズ除去性能を改善するよう、ノイズ除去プロセスの間、ソースビデオ画像から抽出されたビデオエピトメを使用する。ビデオエピトメの抽出は、符号化より前の、ビデオに含まれる画像の予備的処理の部分であることができる。ソースビデオ画像は、如何なる符号化又は圧縮も実施される前の、通常は、例えば、受信器デバイスへの送信より前の画像であるから、ソースビデオ画像は、一般的に、画像の符号化されて後に復号されたバージョンよりも高い品質にあり、よって、抽出されたビデオエピトメも、前もって符号化されて復号されている画像から抽出されたビデオエピトメよりも高い品質レベルにある。本原理に従う実施形態は、ノイジーな復号された画像から抽出されたエピトメがノイズ除去のために使用される最新の方法と正反対である。
本原理に従うノイズ除去の絵による説明は、図２において示されている。従来の符号化／復号化スキームは、下側の箱２０２において示されており、ビデオ画像Ｘは、ＨＥＶＣ又はＶＰ９のような特定の符号化スキームを用いて符号化２０６され、送信チャネルを介して受信器へ送信される。符号化は、一般的に、画像信号において冗長性を取り除き、３つのステップ、予測、変換及び符号化を伴う。復号器は、符号化された信号を受信し、符号化ステップと逆のものに一般的に対応する様々な復号化動作２０８を実施して、出力画像Ｙを生成する。本原理に従う実施形態は、提案される改善２０４によって示されるように、ノイズ除去スキームを従来の符号化／復号化スキームに加える。本原理に従って、エピトメＥは、高品質のソース画像Ｘから抽出２１０され、その後に、符号化された画像とともに送信されるよう符号化２１２される。復号器側では、符号化されたエピトメＥは復号２１４され、復号された画像Ｙに適用されて、ノイズ除去された画像
（外１）
が提供される。本実施形態で見られるような、ソース画像から抽出された高品質のエピトメの包含は、例えば、圧縮されたビデオビットストリームのヘッダフィールドにおける１ビットフラグを用いて、ビットストリームにおけるフラグ又は高レベルシンタックス要素によって伝えられる。そのようなシグナリングは、そのようなエピトメがノイズ除去動作に利用可能であることを復号器に知らせる。
画像からエピトメを構成する従前の方法は知られており、本実施形態に関連して使用されてよい。例えば、１つの適切な方法は、２０１５年７月３０日付けで公開された米国特許出願公開第２０１５／０２１５６２９号明細書（Alain et al.，“Method and Apparatus for Constructing an Epitome from an Image”）において記載されている。なお、この特許文献は、参照により本願に援用される。そこで記載されているように、方法は、テクスチャエピトメＥ及び変換マップφを生成する。変換マップは、我々がエピトメから画像を再構成したい場合に必要である。本原理は、必ずしも画像を再生するためではなく、ノイズ除去のためにビデオエピトメを使用することに向けられている。そのようなものとして、本原理は、たとえ変換マップがビットストリームにより含まれているとしても、テクスチャエピトメＥを使用すれば十分である。
ビデオのキーフレームからのエピトメの抽出は、図６において示されている。ここで、我々は、キーフレームをグループ・オブ・ピクチャ（ＧＯＰ；group of picture）の最初のフレームとして定義した。他の基準が、キーフレームを定義することにおいて使用されてよく、例えば、キーフレームは、構成ファイルにおいてユーザによって定義されてよい。この例におけるＧＯＰは８つのフレームから成り、本原理に従って、ＧＯＰ内の如何なるフレームも、周囲フレームからのエピトメを用いてノイズを除去されてよい。例えば、エピトメＥｉは、ＧＯＰｉのＩフレームから生成され、次いで、ＧＯＰｉのＢフレームからノイズを除去するために、エピトメＥｉ＋１とともに使用される。なお、異なるフレームから抽出されたエピトメの他の配置又は組み合わせが、ノイズ除去を提供するために、異なるフレーム又はフレームの組み合わせに適用されてよいことは明らかである。
ノイズ除去を実施するよう、我々は、Ｎ×Ｎの重なり合ったパッチを考える。複雑さを制限するよう、全ての重なり合ったパッチが処理されるわけではなく、代わりに、我々は、２つの処理されたパッチ間の行及び列の両方においてステップｓを定義する。重なり合った領域にあるパッチはいくつかのパッチに属し、よって、いくつかのノイズ除去された推定をノイズ除去プロセスの終わりに有する。それらの推定は、最終的なノイズ除去された値を得るために平均化される。方法は、次のステップ：１）エピトメパッチと同じ場所に配置されたノイジーパッチの中から現在のパッチのＫ−ＮＮを探すステップと、２）ノイジーなＫ−ＮＮパッチとエピトメにおける対応する高品質パッチとの間のノイズ除去規則を学習するステップと、３）ノイズ除去されたパッチを得るよう、前に学習されたノイズ除去規則を現在のパッチに対して適用するステップとを有する。いくつかの“ノイズ除去規則”は、以下で更に記載される。
エピトメに基づいたＮＬＭ
ＮＬＭを使用するノイズ除去方法がこれより記載される。ｙを、ノイズ除去されるべき現在のパッチであるとする。我々は、ｉ＝１・・・Ｋとして、ｙのＫ−ＮＮをｙｉと表記する。エピトメからの対応する高品質パッチは、ｉ＝１・・・Ｋとして、ｘｉと表される。ｙ及びそのＫ−ＮＮから、我々は、ｉ＝１・・・Ｋとして、重みｗｉの組を計算する。ノイズ除去された推定パッチ
（外２）
は、Ｋ個の高品質パッチの線形結合として求められる：
現在のパッチ３１８からノイズを除去するこの方法は、図３において表されている。現在のパッチ３１８は、ノイジー画像に位置する任意のパッチであり、我々がノイズを除去したいと望むものである。ステップ３２０で、我々は、例えば、全探索ブロックマッチング（ＢＭ）アルゴリズムを用いて、エピトメと同じ場所に配置されたノイジーパッチの中からＫ−ＮＮを見つける。代替的に、Barnes et al，“The generalized PatchMatch correspondence algorithm”，Lecture Notes in Computer Science，vol.6313 LNCS，pp.29-4，2010で示されている一般化されたパッチマッチ（PatchMatch）アルゴリズムのような、近似最近傍（ＡＮＮ；approximate nearest neighbors）探索アルゴリズムが使用されてよい。ここで、ノイジー画像３０２は、ノイズ除去動作の前の復号された画像に対応する。エピトメが抽出された高品質画像３０６の位置に対応するノイジー画像３０２における位置は、参照番号３０８及び３１０によって示されており、領域３３２及び３３４に対応する。パッチ３１２、３１４及び３１６は、ノイジー画像のエピトメ位置３０８及び３１０内にあり、それらの位置は、高品質エピトメ３３２及び３３４のパッチ３３６、３３８及び３４０に対応する。ステップ３３０で、我々は、ノイジーなＫ−ＮＮパッチ３２２、３２４及び３２６から現在のパッチ３２８を近似する重みを学習する。重みを計算するよう、我々は、ＮＬＭアルゴリズム適応させ、ｙとそのＫ−ＮＮとの間の距離に応じた指数関数的重み、すなわち、パッチ３２２、３２４及び３２６を使用する。我々は、ｄｉがｙとそのＮＮｙｉとの間の距離を表し、Ｎ２がパッチにおけるピクセルの数を表すとして、
（外３）
に留意する。その場合に、重みは：
のように計算される。ここで、σＮＬＭは、フィルタリングの次数となるパラメータである。元のＮＬＭアルゴリズムでは、σＮＬＭは、ノイズレベルσｎに応じて、経験的に設定される。本実施形態において、我々は、このパラメータを自動的に適応させる方法を提案する。ノイズレベルσｎは、高品質のエピトメパッチと対応するノイジーパッチとの間の平均二乗誤差として推定される。我々は、次いで、αが予め定義されたユーザパラメータであるとして、σＮＬＭ＝α×σｎを設定することができる。ステップ３４４で、我々は、ノイズ除去されたパッチ３４２を導出するよう、式１を用いて、対応するＫ−ＮＮ高品質パッチ（３３６、３３８及び３４０）を結合する。
エピトメに基づいたＢＭ３Ｄ
他の実施形態では、我々は、ＢＭ３Ｄに基づいた方法を使用することを提案する。この方法は、元のＢＭ３Ｄにおいて見られるように、３Ｄ変換されたパッチグループに対して実施される２つのステップ：ハード閾値化ステップ及びウィナーフィルタリングステップから成る。なお、本原理は、一般的に、変換係数のハード閾値化又はウィナーフィルタリングに基づいた如何なる方法にも適用され得る。
ハード閾値化
このステップの態様は、閾値を選択することである。元の方法において且つ同様のアルゴリズムに関して、閾値は、通常は、手動により及び／又は経験的に設定される。このパラメータは、通常は、ノイズレベルに応じて設定される。閾値が大きすぎる場合には、多くの係数は除外され、過度の情報が失われ得る。ここで、我々は、閾値を選択する適応的手法を提案する。
閾値を選択するステップは、図４において表されている。ステップ４００で、現在のパッチ４４０に関して、我々は、例えば、ＢＭアルゴリズムを用いて、高品質のエピトメ４１６及び４２４におけるパッチ４２０、４２２及び４２４と同じ場所に配置されたノイジー画像パッチの中からＫ−ＮＮパッチ４３２、４３４及び４３６を見つける。このステップは、前述の実施形態のステップ３２０と同様である。ステップ４０２で、Ｋ−ＮＮ及びエピトメからのそれらの対応する高品質パッチ４２０、４２２及び４２４は、我々がＧｙ及びＧｘ ＨＴと夫々表記する３Ｄグループにおいてスタックされる。ステップ４０４で、我々は、次いで、両方のグループに対して３Ｄ変換ＴＨＴを適用する。２つの変換されたグループから、我々は、ステップ４０６で、次のように計算されるバイナリ３ＤマスクＭτの形で、ノイズ除去規則を求めることができる：
ここで、ξは、３Ｄ行列におけるインデックスを示す。要素４４０に対応する現在のパッチｙからノイズを除去するよう、我々は、ステップ４０８で、Ｇｙにおいて、ｙの最も近いＮＮをパッチｙ自体によって置き換えて、Ｇｙ′と表される３Ｄグループを得る。我々は、次いで、ステップ４１０で、変換ＴＨＴをＧｙ′に適用することができ、後に閾値化規則Ｍτが続いて、最終的に、ステップ４１２で、我々は、逆変換を適用して、ノイズ除去されたグループ
（外４）
を得る：
ここで、“・”は、要素ごとの（element-by-element）乗算を表す。最初のステップでノイズを除去されたパッチ
（外５）
は、次いで、Ｇｙ′におけるｙの同じ位置で
（外６）
から抽出される。
ウィナーフィルタリング
ＢＭ３Ｄアルゴリズムの第２のステップは、３Ｄ変換グループのウィナーフィルタリングにある。このとき、前のステップであるハード閾値化で得られた第１のノイズ除去された推定がオラクルとして使用される。最適なウィナーフィルタリングは、ソース信号を知っていることに依存し、故に、元のＢＭ３Ｄアルゴリズムでは、ソース信号は、ハード閾値化ステップの後で得られた、オラクルと称される第１のノイズ除去された推定によって置換される。本実施形態において、我々は、エピトメからの高品質パッチをウィナーフィルタリングのためのオラクルとして用いることによってこのステップを適応させることを提案する。このステップは、直接にノイジーフレームに対してではなく、前のステップで得られたノイズ除去された推定に対して実施される。実施形態のステップは、図５において表されている。
ステップ５０２で、我々は、最初に、例えば、ＢＭアルゴリズムを用いて、２つの最も近いキーフレームからのエピトメパッチ５２２、５２４及び５２６と同じ場所に配置された第１の推定パッチの中から現在のパッチ
（外７）
のＫ−ＮＮパッチ５３６、５３８及び５４０を探す。ステップ５０４で、Ｋ−ＮＮパッチ５３６、５３８及び５４０並びにエピトメ５１８及び５２０からのそれらの対応する高品質パッチ５２２、５２４及び５２６は、我々が
（外８）
と表記する３Ｄグループにおいてスタックされる。それらのグループは、Ｋ−ＮＮが異なっているので、前のステップのグループ
（外９）
とは夫々異なっている。我々は、対応するノイズパッチを含む第３のグループを更に計算する：
ステップ５０６で、我々は、次いで、両方のグループに対して３Ｄ変換ＴＷｉｅｎを適用する。ステップ５０８で、我々は、次いで、ウィナーフィルタ係数を計算することができる：
要素５４２に対応する現在のパッチ
（外１０）
からノイズを除去するよう、我々は、ステップ５１０で、
（外１１）
において、
（外１２）
の最も近いＮＮをパッチ
（外１３）
自体によって置き換えて、
（外１４）
と表記される３Ｄグループを得る。ステップ５１２で、我々は、次いで、変換ＴＷｉｅｎを
（外１５）
に適用し、後にウィナーフィルタリングが続いて、最終的に、ステップ５１４で、ノイズ除去されたグループ
（外１６）
を得るよう逆変換を適用することができる：
最終的なノイズ除去されたパッチ
（外１７）
は、次いで、
（外１８）
における
（外１９）
の同じ位置で
（外２０）
から抽出される。
本原理に従って、ノイズ除去は、高品質のソース画像から生成される１つ以上のエピトメを用いて実施されてよく、エピトメの数及び形状は、抽出方法及び画像自体に基づき異なってよい。加えて、抽出されたエピトメは、既知の符号化方法を用いて、符号化されたビデオ画像とともに送信されるように符号化されてよい。符号化方法は、ビデオ画像自体のために用いられる符号化方法と同じか又は異なってよい。例えば、図７は、スケーラブル圧縮スキーム（例えば、ＳＨＶＣ）を用いるエピトメの符号化を示す。図７において、原画像の符号化は、ベースレイヤとして扱われ、抽出されたエピトメは、エンハンスメントレイヤとして扱われる。例えば、エピトメＥｉは、ＧＯＰｉのＩフレームから抽出され、エピトメＥｉ＋１は、ＧＯＰｉ＋１の最初のＢフレームから抽出され、以降同様に続く。このようにしてソース画像及び抽出されたエピトメを符号化することは、本原理が、既存の圧縮標準におけるスケーラブルビデオ拡張に関連して容易に使用されることを可能にする。
図８は、本原理の例となる実施形態の様々な態様が実装され得るシステムの例のブロック図を表す。システム８００は、後述される様々なコンポーネントを含むデバイスとして具現されてよく、上記のプロセスを実施するよう構成される。そのようなデバイスの例には、制限なしに、パーソナルコンピュータ、ラップトップコンピュータ、スマートフォン、タブレットコンピュータ、デジタルマルチメディアセットトップボックス、デジタルテレビジョン受信機、パーソナルビデオ記録システム、接続された家庭用電気製品、及びサーバがある。システム８００は、図８で示されるように、且つ、上記の例となるビデオシステムを実装するよう当業者によって知られるように、他の同様のシステムへ、及び通信チャネルを介してディスプレイへ通信上結合されてよい。
システム８００は、少なくとも１つのプロセッサ８１０を含んでよく、プロセッサ８１０は、上述された様々なプロセスを実施するように、自身にロードされた命令を実行するよう構成される。プロセッサ８１０は、当該技術で知られるように、埋込メモリ、入出力インターフェイス、及び様々な他の回路構成を含んでよい。システム８００は、少なくとも１つのメモリ８２０（例えば、揮発性メモリデバイス、不揮発性メモリデバイス）を更に含んでよい。システム８００は記憶デバイス８４０を更に含んでよく、記憶デバイス８４０は、制限なしに、ＥＥＰＲＯＭ、ＲＯＭ、ＰＲＯＭ、ＲＡＭ、ＤＲＡＭ、ＳＲＡＭ、フラッシュ、磁気ディスクドライブ、及び／又は光学ディスクドライブを含む不揮発性メモリを含んでよい。記憶デバイス８４０は、制限されない例として、内部記憶デバイス、取付型記憶デバイス、及び／又はネットワークアクセス可能な記憶デバイスを有してよい。システム８００は、データを処理して符号化されたビデオ又は復号されたビデオを提供するよう構成される符号器／復号器モジュール８３０を更に含んでよい。
符号器／復号器モジュール８３０は、符号化及び／又は復号化機能を実施するようデバイスにおいて含まれ得るモジュールに相当する。知られるように、デバイスは、符号化モジュール及び復号化モジュールの一方又は両方を含んでよい。加えて、符号器／復号器モジュール８３０は、システム８００の別個の要素として実装されてよく、あるいは、当業者に知られるようにハードウェアとソフトウェアとの組み合わせとしてプロセッサ８１０内に組み込まれてよい。符号器／復号器モジュール８３０は、例えば、通信チャネルからのデータ又はデバイス８００に配置されたビデオカメラからの圧縮されるべき生ビデオデータを受信してよい。高品質のソース画像からのエピトメの抽出及び受信されたエピトメの復号化を含む本原理の態様は、符号器／復号器モジュール８３０より前に又はその中で予備的処理として実装されてよい。
上述された様々なプロセスを実施するようプロセッサ８１０にロードされるプログラムコードは、記憶デバイス８４０に記憶されており、その後に、プロセッサ８１０による実行のためにメモリ８２０にロードされてよい。本原理の例となる実施形態に従って、プロセッサ８１０、メモリ８２０、記憶デバイス８４０及び符号器／復号器モジュール８３０の１つ以上は、ＨＤＲビデオ、ビットストリーム、方程式、式、行列、変数、オペレーション及び動作ロジックを含むがそれらに制限されない、上記のプロセスの実施中の様々な項目の１つ以上を記憶してよい。
システム８００は、通信チャネル８６０を介した他のデバイスとの通信を可能にする通信インターフェイス８５０を更に含んでよい。通信インターフェイス８５０は、通信チャネル８６０からデータを送信及び受信するよう構成されるトランシーバを含んでよいがそれに限られない。通信インターフェイスは、制限なしに、モデム又はネットワークカードを含んでよく、通信チャネルは、有線及び／又は無線媒体内で実装されてよい。システム８００の様々なコンポーネントは、内部バス、ワイヤ、及び印刷回路基板を含むがそれらに制限されない様々な適切な接続を用いて、接続又は通信上結合されてよい。
本原理に従う例となる実施形態は、プロセッサ８１０によって若しくはハードウェアによって、又はハードウェアとソフトウェアとの組み合わせによって実装されるコンピュータソフトウェアによって実施されてよい。制限されない例として、本原理に従う例となる実施形態は、１つ以上の集積回路によって実装されてよい。メモリ８２０は、技術環境に適した如何なるタイプのものであってもよく、制限されない例として、光学メモリデバイス、磁気メモリデバイス、半導体に基づいたメモリデバイス、固定メモリ及びリムーバブルメモリのような、如何なる適切なデータ記憶技術によっても実装されてよい。プロセッサ８１０は、技術環境に適した如何なるタイプのものであってもよく、制限されない例として、マイクロプロセッサ、汎用コンピュータ、特別目的のコンピュータ、及びマルチコアアーキテクチャに基づくプロセッサの１つ以上を包含してよい。
図９を参照して、データ送信システム９００が示されている。システム９００には、上記の特徴及び原理が適用されてよい。データ送信システム９００は、例えば、衛星、ケーブル、電話回線、又は地上放送のような様々な媒体のいずれかを用いて信号を送信するヘッドエンド又は送信システムであってよい。データ送信システム９００は、記憶のために信号を供給するためにも使用されてよい。送信は、インターネット又は何らかの他のネットワーク上で提供されてよい。データ送信システム９００は、例えば、ビデオコンテンツ及び他のコンテンツを生成及び配信することが可能である。
データ送信システム９００は、処理されたデータ及び他の情報をプロセッサ９０１から受信する。一実施において、プロセッサ９０１はフォワード変換を実行する。プロセッサ９０１は、例えば、ビデオのフォーマットを示す９００へのメタデータを更に供給してよい。プロセッサ９０１は、本原理に従って、符号器９０２より前で予備的処理を更に実施してよい。予備的処理は、上述されたようなビデオエピトメの抽出を含んでよい。
データ送信システム又は装置９００は、符号器９０２と、符号化された信号及びビデオエピトメを様々な実施形態に従って送信することが可能な送信器９０４とを含む。符号器９０２は、プロセッサ９０１からデータ情報を受信する。符号器９０２は、符号化された信号を生成する。
符号器９０２は、例えば、様々な情報片を受信して記憶又は送信のための構造化されたフォーマットへと組み立てるアセンブリユニットを含むサブモジュールを含んでよい。様々な情報片は、例えば、符号化された又は符号化されていないビデオ、及び符号化された又は符号化されていない要素を含んでよい。上述されたように、符号器９０２は、その後の送信のために同じ又は異なった符号化技術を用いてビデオエピトメ及びビデオ画像を符号化してよい。代替的に、ビデオエピトメは、プロセッサによってビデオから抽出されてよく、符号器９０２より前に符号化されてよい。いくつかの実施において，符号器９０２はプロセッサ９０１を含み、従って、プロセッサ９０１の動作を実施する。
送信器９０４は、符号器９０２から符号化された信号を受信し、符号化された信号を１つ以上の出力信号において送信する。送信器９０４は、例えば、符号化されたピクチャ及び／又はそれらに関する情報を表す１つ以上のビットストリームを有するプログラム信号を送信するよう構成されてよい。典型的な送信器は、例えば、エラー訂正符号化を提供すること、信号においてデータをインターリーブすること、信号においてエネルギをランダマイズすること、及び変調器９０６を用いて１つ以上のキャリア上に信号を変調することの１つ以上のような機能を実施する。送信器９０４は、アンテナ（図示せず。）を含むか、又はそれとインターフェイス接続してよい。更には、送信器９０４の実装は、変調器９０６に制限されてよい。
データ送信システム９００はまた、記憶ユニット９０８へ通信上結合される。一実施において、記憶ユニット９０８は、符号器９０２へ結合され、符号器９０２からの、ビデオエピトメを含む符号化されたビットストリームを記憶する。他の実施では、記憶ユニット９０８は、送信器９０４へ結合され、送信器９０４からのビットストリームを記憶する。送信器９０４からのビットストリームは、例えば、送信器によって更に処理されている、ビデオエピトメを含む１つ以上の符号化されたビットストリームを含んでよい。記憶ユニット９０８は、別の実施では、標準ＤＶＤ、ブルーレイディスク、ハードドライブ、又は何らかの他の記憶デバイスの１つ以上である。
図１０を参照すると、データ受信システム１０００が示されている。システム１０００には、上記の特徴及び原理が適用されてよい。データ受信システム１０００は、記憶デバイス、衛星、ケーブル、電話回線、又は地上放送のような様々な媒体上で信号を受信するよう構成されてよい。信号は、インターネット又は何らかの他のネットワーク上で受信されてよい。
データ受信システム１０００は、例えば、携帯電話機、コンピュータ、セットトップボックス、テレビジョン、又は符号化されたビデオを受信し、例えば、表示（例えば、ユーザへの表示）のために、処理のために、若しくは記憶のために、復号されたデータを供給する他のデバイスであってよい。よって、データ受信システム１０００は、その出力を、例えば、テレビジョンの画面、コンピュータモニタ、コンピュータ（記憶、処理若しくは表示のため）、又は何らかの他の記憶、処理若しくは表示デバイスへ供給してよい。
データ受信システム１０００は、データ情報を受信し処理することが可能である。データ受信システム又は装置１０００は、例えば、本願の実施において記載される信号のような、符号化された信号を受信する受信器１００２を含む。受信器１００２は、例えば、ビットストリームを供給する信号、又は図９のデータ送信システム９００から出力された信号を受信してよい。
受信器１００２は、例えば、符号化されたピクチャを表す、ビデオエピトメを含む複数のビットストリームを有するプログラム信号を受信するよう構成されてよい。典型的な受信器は、例えば、変調及び符号化されたデータ信号を受信すること、復調器１００４を用いて１つ以上のキャリアからデータ信号を復調すること、信号においてエネルギをデランダマイズすること、信号においてデータをデインターリーブすること、並びに信号においてエラー訂正復号化を行うことの１つ以上のような機能を実施する。受信器１００２は、アンテナ（図示せず。）を含むか、又はそれとインターフェイス接続してよい。受信器１００２の実装は、復調器１００４に制限されてよい。
データ受信システム１０００は復号器１００６を含む。受信器１００２は、受信された信号を復号器１００６へ供給する。受信器１００２によって復号器１００６へ供給される信号は、１つ以上の符号化されたビットストリームを含んでよい。復号器１００６は、例えば、ビデオ情報を含む復号されたビデオ信号のような、復号された信号を出力する。本原理に従って、復号器１００６は、ビットストリームにおいて符号化されたビデオエピトメを符号化されたビデオ画像から分離して処理するプリプロセッサを含んでよい。符号化されたビデオエピトメは、符号化されたビデオ画像と同じ又は異なった復号化プロセスを用いて復号されてよい。
データ受信システム又は装置１０００はまた、記憶ユニット１００７へ通信上結合される。一実施において、記憶ユニット１００７は受信器１００２へ結合され、受信器１００２は、記憶ユニット１００７からビットストリームにアクセスする。他の実施では、記憶ユニット１００７は、復号器１００６へ結合され、復号器１００６は、記憶ユニット１００７からビットストリームにアクセスする。記憶ユニット１００７からアクセスされるビットストリームは、別の実施では、１つ以上の符号化されたビットストリームを含む。記憶ユニット１００７は、別の実施では、標準ＤＶＤ、ブルーレイディスク、ハードドライブ、又は何らかの他の記憶デバイスの１つ以上である。
復号器１００６からの出力データは、一実施において、プロセッサ１００８へ供給される。プロセッサ１００８は、一実施において、後処理を実施するよう構成されるプロセッサである。後処理は、例えば、上記のノイズ除去動作を含んでよい。いくつかの実施において、復号器１００６はプロセッサ１００８を含み、従って、プロセッサ１００８の動作を実施する。他の実施では、プロセッサ１００８は、例えば、セットトップボックス又はテレビジョンのような下流デバイスの部分である。
本願で記載される実施は、例えば、方法若しくはプロセス、装置、ソフトウェアプログラム、データストリーム、又は信号において実装されてよい。たとえ１つの実施形態に関してしか論じられていない（例えば、方法としてしか論じられていない）としても、論じられている特徴の実施は、他の形態（例えば、装置又はプログラム）においても実装されてよい。装置は、例えば、適切なハードウェア、ソフトウェア、及びファームウェアにおいて実装されてよい。方法は、例えば、処理デバイス全般を指すプロセッサのような装置において実装されてよい。プロセッサは、例えば、コンピュータ、マイクロプロセッサ、集積回路、又はプログラム可能論理デバイスを含む。プロセッサは、例えば、コンピュータ、携帯電話機、ポータブル／パーソナルデジタルアシスタント（“ＰＤＡ”）、及びエンドユーザ間の情報のやり取りを助ける他のデバイスのような通信デバイスも含む。
本原理の「一実施形態」若しくは「実施形態」又は「一実施」若しくは「実施」との言及、並びにそれらの他の変形は、実施形態に関連して記載されている特定の機構、構造、特性などが本原理の少なくとも１つの実施形態に含まれることを意味する。よって、本明細書の全体を通して様々な箇所に現れる「一実施形態において」若しくは「実施形態において」又は「一実施において」若しくは「実施において」との表現並びに何らかの他の変形の出現は、必ずしも全てが同じ実施形態に言及しているわけではない。
加えて、本願又はその特許請求の範囲は、様々な情報片を“決定すること（determining）”に言及してよい。情報を決定することは、例えば、情報を推定すること、情報を計算すること、情報を予測すること、又はメモリから情報を取り出すことの１つ以上を含んでよい。
更には、本願又はその特許請求の範囲は、様々な情報片に“アクセスすること（accessing）”に言及してよい。情報にアクセスすることは、例えば、情報を受信すること、（例えば、メモリから）情報を取り出すこと、情報を記憶すること、情報を処理すること、情報を送信すること、情報を移動すること、情報をコピーすること、情報を削除すること、情報を計算すること、情報を決定すること、情報を予測すること、又は情報を推測することの１つ以上を含んでよい。
加えて、本願又はその特許請求の範囲は、様々な情報片を“受信すること（receiving）”に言及してよい。受信することは、“アクセスすること”と同様に、広義な語であるよう意図される。情報を受信することは、例えば、情報にアクセスすること、又は（例えば、メモリから）情報を取り出すことの１つ以上を含んでよい。更には、“受信すること”は、通常は、１つの方法又は他において、例えば、情報を記憶すること、情報を処理すること、情報を送信すること、情報を移動すること、情報をコピーすること、情報を消去すること、情報を計算すること、情報を決定すること、情報を予測すること、又は情報を推定することのような動作中に、関与する。
当業者に明らかなように、実施は、例えば、記憶又は送信され得る情報を運ぶようフォーマット化された様々な信号を生成してよい。情報は、例えば、方法を実行するための命令、又は記載されている実施のうちの１つによって生成されたデータを含んでよい。例えば、信号は、記載されている実施形態のビットストリームを運ぶようフォーマット化されてよい。そのような信号は、例えば、電磁波（例えば、スペクトルの無線周波数部分を使用する。）として、あるいは、ベースバンド信号として、フォーマット化されてよい。フォーマッティングは、例えば、データストリームを符号化し、符号化されたデータストリームによりキャリアを変調することを含んでよい。信号が運ぶ情報は、例えば、アナログ又はデジタル情報であってよい。信号は、知られているように、多種多様な有線又は無線リンクにわたって送信されてよい。信号は、プロセッサ可読媒体において記憶されてよい。
Buades et al，"A non-local algorithm for image denoising"，the proceedings of CVPR 2005 Dabov et al，"Image denoising by sparse 3D transform-domain collaborative filtering"，Transaction on Image Processing，vol.16，no.8，pp.2080-2095，August 2007 Hoppe et al，"Factoring Repeated Content Within and Among Images"，the proceedings of ACM SIGGRAPH 2008（ACM Transaction on Graphics，Vol.27，no.3，pp.1-10，2008） Cheung et al，"Video epitomes"，International Journal of Computer Vision，vol.76，pp.141-152，2008 Aharon et al，"Sparse and redundant modeling of image content using image-signature dictionary"，SIAM Journal on Imaging Sciences，pp.228-247，July 2008
３０２，４２６ ノイジー画像（復号された画像）
３０６，４１４ 高品質画像
８００ システム
８１０、９０１，１００８ プロセッサ
８２０ メモリ
８３０ 符号器／復号器モジュール
８４０ 記憶デバイス
８５０ 通信インターフェイス
８６０ 通信チャネル
９００ データ送信システム
９０２ 符号器
９０４ 送信器
９０６ 変調器
９０８，１００７ 記憶ユニット
１０００ データ受信システム
１００２ 受信器
１００４ 復調器
１００６ 復号器

Claims (13)

  1. ビデオに含まれる画像を処理する方法であって、
    前記画像の復号されたバージョンを生成するよう前記画像の符号化されたバージョンを復号するステップと、
    前記画像の前記復号されたバージョンと、前記画像に関連するテクスチャエピトメであるビデオ画像エピトメとを用いて、前記画像のノイズ除去されたバージョンを生成するステップであり、前記ビデオ画像エピトメは、前記画像のソースバージョンから抽出されたものである、ステップと
    を有し、
    前記生成するステップは、
    複数の最近傍パッチのうちの少なくとも１つに対応する前記ビデオ画像エピトメに位置する対応するパッチを用いて、現在のパッチからノイズを除去することを有する、
    方法。
  2. 前記ノイズを除去することは、前記ビデオ画像エピトメを用いてノイズを除去する非局所平均法を実施することを有する、
    請求項１に記載の方法。
  3. 前記ノイズを除去することは、前記画像エピトメパッチと前記対応するノイジーパッチとの間の平均二乗誤差としてノイズレベルを推定することによってフィルタリングパラメータを設定することを有し、該フィルタリングパラメータは、前記推定されたノイズレベルと予め定義されたユーザパラメータとの積として設定される、
    請求項２に記載の方法。
  4. 前記ノイズを除去することは、ハード閾値化ステップ及びウィナーフィルタリングステップを含む方法を用いることを有する、
    請求項１に記載の方法。
  5. 前記ハード閾値化ステップは、ノイジーパッチのグループ及びそれらの対応する画像エピトメパッチに対して３Ｄ変換を実施することと、該変換されたパッチ間の閾値化規則を決定することと、前記ノイジーパッチのグループの中のパッチにおいて前記現在のパッチを代入することと、該現在のパッチを含む前記ノイジーパッチのグループに前記閾値化規則を適用することと、前記現在のパッチの第１のノイズ除去されたバージョンを生成するよう逆変換を実施することとによって、前記閾値を適応的に選択することを有する、
    請求項４に記載の方法。
  6. 前記現在のパッチの前記第１のノイズ除去されたバージョンは、前記ウィナーフィルタリングステップのためのオラクルとして使用される、
    請求項５に記載の方法。
  7. 前記ビデオ画像エピトメ及び前記画像の前記符号化されたバージョンは、通信チャネルにわたって受信されるビットストリームを介してアクセスされ、
    前記ビデオ画像エピトメは符号化され、前記ビットストリームは、前記ビデオ画像エピトメが前記画像の符号化されたバージョンとともに含まれることを示すフラグを含む、
    請求項１に記載の方法。
  8. ビデオの画像を処理する装置であって、
    前記画像の符号化されたバージョンにアクセスし、前記画像の復号されたバージョンと、前記画像に関連するテクスチャエピトメであるビデオ画像エピトメとを生成するよう構成され、前記ビデオ画像エピトメは、前記画像のソースバージョンから抽出されたものである、通信インターフェイスと、
    前記通信インターフェイスへ結合され、前記画像の前記復号されたバージョン及び前記ビデオ画像エピトメを用いて前記復号された画像のノイズ除去されたバージョンを含む表示のための出力を生成するよう構成されるプロセッサと
    を有し、
    前記画像エピトメ及び前記プロセッサは、
    複数の最近傍パッチのうちの少なくとも１つに対応する前記ビデオ画像エピトメに位置する前記対応するパッチを用いて現在のパッチからノイズを除去すること
    によって、前記復号された画像のノイズ除去されたバージョンを生成するよう構成される、
    装置。
  9. 前記プロセッサは、前記ビデオ画像エピトメを用いてノイズを除去する非局所平均を実施するよう構成される、
    請求項８に記載の装置。
  10. 前記プロセッサは、前記画像エピトメパッチと前記対応するノイジーパッチとの間の平均二乗誤差としてノイズレベルを推定することによってフィルタリングパラメータを設定するよう構成され、
    前記フィルタリングパラメータは、前記推定されたノイズレベルと予め定義されたユーザパラメータとの積として設定される、
    請求項８に記載の装置。
  11. 前記プロセッサは、ハード閾値化ステップ及びウィナーフィルタリングステップを含む方法を用いることによってノイズを除去するよう構成される、
    請求項１０に記載の装置。
  12. 前記プロセッサは、ノイジーパッチのグループ及びそれらの対応する画像エピトメパッチに対して３Ｄ変換を実施することと、該変換されたパッチ間の閾値化規則を決定することと、前記ノイジーパッチのグループの中のパッチにおいて前記現在のパッチを代入することと、該現在のパッチを含む前記ノイジーパッチのグループに前記閾値化規則を適用することと、前記現在のパッチの第１のノイズ除去されたバージョンを生成するよう逆変換を実施することとによって、前記閾値を適応的に選択することで、前記ハード閾値化ステップを実施するよう構成される、
    請求項１１に記載の装置。
  13. 前記現在のパッチの前記第１のノイズ除去されたバージョンは、前記ウィナーフィルタリングステップのためのオラクルとして使用される、
    請求項１２に記載の装置。
JP2016198594A 2015-10-09 2016-10-07 ビデオエピトメを用いて画像からノイズを除去する方法及び装置 Withdrawn JP2017073135A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP15306605.5A EP3154021A1 (en) 2015-10-09 2015-10-09 Method and apparatus for de-noising an image using video epitome
EP15306605.5 2015-10-09

Publications (2)

Publication Number Publication Date
JP2017073135A true JP2017073135A (ja) 2017-04-13
JP2017073135A5 JP2017073135A5 (ja) 2019-11-14

Family

ID=54361029

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016198594A Withdrawn JP2017073135A (ja) 2015-10-09 2016-10-07 ビデオエピトメを用いて画像からノイズを除去する方法及び装置

Country Status (5)

Country Link
US (1) US20170103499A1 (ja)
EP (2) EP3154021A1 (ja)
JP (1) JP2017073135A (ja)
KR (1) KR20170044028A (ja)
CN (1) CN107018287A (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112311962B (zh) * 2019-07-29 2023-11-24 深圳市中兴微电子技术有限公司 一种视频去噪方法和装置、计算机可读存储介质
CN110971786B (zh) * 2019-11-21 2022-04-19 维沃移动通信有限公司 一种拍摄方法及电子设备

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102726044B (zh) * 2010-01-22 2016-08-10 汤姆逊许可证公司 使用基于示例的超分辨率的用于视频压缩的数据剪切
US20140029672A1 (en) * 2011-01-21 2014-01-30 Thomson Licensing Method of coding a sequence of images and corresponding reconstruction method
EP2666298A1 (en) * 2011-01-21 2013-11-27 Thomson Licensing Method of coding an image epitome
US8982958B2 (en) * 2012-03-07 2015-03-17 Intellectual Ventures Fund 83 Llc Video representation using a sparsity-based model
CN103366384B (zh) * 2013-07-08 2016-03-30 浙江工业大学 重要度驱动的面向全局冗余图像压缩方法
CN105684449B (zh) * 2013-11-08 2019-04-09 汤姆逊许可公司 从原始图像的低质量版本和摘要构建原始图像的估计的方法和装置
EP2903288A1 (en) 2014-01-30 2015-08-05 Thomson Licensing Method and apparatus for constructing an epitome from an image

Also Published As

Publication number Publication date
EP3154023A1 (en) 2017-04-12
EP3154021A1 (en) 2017-04-12
US20170103499A1 (en) 2017-04-13
CN107018287A (zh) 2017-08-04
KR20170044028A (ko) 2017-04-24

Similar Documents

Publication Publication Date Title
US11622112B2 (en) Decomposition of residual data during signal encoding, decoding and reconstruction in a tiered hierarchy
El-Shafai et al. Security of 3D-HEVC transmission based on fusion and watermarking techniques
US10616603B2 (en) Methods and apparatuses for encoding and decoding digital images through superpixels
US9911179B2 (en) Image decontouring in high dynamic range video processing
El’Arbi et al. A dynamic video watermarking algorithm in fast motion areas in the wavelet domain
CN115191116A (zh) 使用嵌入信令来校正信号损伤
JP6883219B2 (ja) 符号化装置及び符号化方法、並びに、システム
El-Shafai et al. Efficient multi-level security for robust 3D color-plus-depth HEVC
WO2023000179A1 (zh) 视频超分辨网络及视频超分辨、编解码处理方法、装置
CN115409716B (zh) 视频处理方法、装置、存储介质及设备
JP6065613B2 (ja) 動画像符号化装置
JP2005519543A (ja) レイヤ映像符合化のための方法及びシステム
El-Shafai et al. Efficient Hybrid Watermarking Scheme for Security and Transmission Bit Rate Enhancement of 3D Color-Plus-Depth Video Communication
Zhou et al. $\ell_ {2} $ Restoration of $\ell_ {\infty} $-Decoded Images Via Soft-Decision Estimation
JP2017073135A (ja) ビデオエピトメを用いて画像からノイズを除去する方法及び装置
CN115880381A (zh) 图像处理方法、图像处理装置、模型训练方法
Petrov et al. Intra frame compression and video restoration based on conditional markov processes theory
WO2022226850A1 (zh) 点云质量增强方法、编码和解码方法及装置、存储介质
CN114882133B (zh) 一种图像编解码方法、系统、设备及介质
EP3945721A1 (en) Method for image processing and apparatus for implementing the same
CN117813634A (zh) 用于对图像或视频进行编码/解码的方法和装置
JP2023124387A (ja) ビットレート決定装置、符号化装置、およびプログラム
Pan et al. A novel reversible data hiding using border point and localization
JP2024510433A (ja) ビデオ圧縮のための時間的構造ベースの条件付き畳み込みニューラルネットワーク
CN116934647A (zh) 基于空间角度可变形卷积网络的压缩光场质量增强方法

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20181220

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20181227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191002

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191002

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20191106

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20200107