JP2019050580A

JP2019050580A - ビデオシーケンスをトーンマッピングする方法

Info

Publication number: JP2019050580A
Application number: JP2018196650A
Authority: JP
Inventors: ボアタールロナン; Boitard Ronan; ソロードミニク; Dominique Thoreau; ボアタッチカドウ; Bouatouch Kadi; コジョレミ; Cozot Remi
Original assignee: Thomson Licensing SAS
Current assignee: Thomson Licensing SAS
Priority date: 2013-05-23
Filing date: 2018-10-18
Publication date: 2019-03-28
Also published as: EP3000097A1; KR20160013023A; WO2014187808A1; CN105393280A; BR112015029097A2; JP2016529747A; US20160142593A1

Abstract

【課題】ローカルトーンマッピングオペレータを備える、ビデオシーケンスをトーンマッピングするための装置及び方法を提供する。【解決手段】ビデオシーケンスをトーンマッピングするための装置は、トーンマッピングされるビデオシーケンスのフレームの画素に関連付けられた空間的近傍を、前記フレームの時間フィルタリングされたバージョン内の同一場所に位置する画素の周辺に位置するフレームの時間フィルタリングされたバージョンの画素から決定する手段と、決定した空間的近傍を使用して、フレームの画素にローカルトーンマッピングオペレータを適用する手段と、を備える。前記フレームの前記画素と、前記同一場所に位置する画素とは、同一の空間的座標を有する。【選択図】図１ａ

Description

本発明は一般に、ビデオのトーンマッピングに関する。特に、本発明の技術分野は、ビデオシーケンスのローカルトーンマッピングに関する。

このセクションは、以下に説明され、および／または添付の特許請求の範囲に記載される本発明の種々の態様に関連し得る技術の、種々の態様を読者に紹介することを意図している。この議論は、本発明の種々の態様をよりよく理解しやすくするための背景情報を読者に提供するのに役立つものと考えられる。従って、これらの記述はこの観点から読まれるべきであり、従来技術の自認として読まれるべきではない。

ハイダイナミックレンジ（ＨＤＲ）イメージは、コンピュータグラフィックスのコミュニティおよび画像処理のコミュニティの両方において広く知られるようになっており、ＨＤＲ技術を使用することから得られる利点は、すでにトーンマッピングオペレータ（ＴＭＯ）のおかげで評価できている。事実、ＴＭＯはＨＤＲ画像において利用可能な広範囲の値をＬＤＲ (ローダイナミックレンジ) ディスプレイ上に再現する。ＬＤＲフレームは、ＨＤＲ画像のダイナミックレンジより低いダイナミックレンジを有することに留意されたい。

ＴＭＯには２つの主要なタイプがある。すなわち、グローバルオペレータおよびローカルオペレータである。

グローバルオペレータは、単調増加するトーンマップ曲線を全体画像について計算するために、ＨＤＲフレームの特性を使用する。結果として、これらのオペレータは空間の輝度（ｂｒｉｇｈｔｎｅｓｓ）の一貫性を確実にする。しかしながら、これらは通常ＨＤＲフレームに含まれるさらに細かい細部を再現することができない。

対照的に、ローカルオペレータはその空間の近傍に基づいて各画素をトーンマッピングする。これらの技術は、局所的な空間のコントラストを高めることによって、より詳細なフレームを提供する。

周知のローカルＴＭＯは各画素の空間的近傍をフィルタリングする。フィルタリングされた画像は、各色チャンネルをスケーリングしてＬＤＲフレームを取得するために使用される（Chiu K., Herf M., Shirley P., Swamy S., Wang C, Zimmerman K.: Spatially Nonuniform Scaling Functions for High Contrast Images f. Interface, May (1993))。
より洗練された解決手段は、ピラミッド構造の手法を使用し、このピラミッドの各レベルは空間的近傍の異なるサイズに対応し、各色チャンネルは、ピラミッドの各レベルを使用して圧縮され、すべてのレベルについてのすべての結果を組み合わせると、トーンマッピングされたフレームを与える(Rahman Z., Jobson D.: A multiscale retinex for color rendition and dynamic range compression. SPIE International Symposium on (1996))。

他の一部の通常の解決手段は、より細かい細部を維持するための周波数サブバンド分解を使用する。サブバンドは別個に処理され、トーンマッピングされたフレームを取得するために結合される(Tumblin J.: LCIS: A boundary hierarchy for detail-preserving contrast reduction. Proceedings of the 26th annual conference on (1999))。

鮮明な階調再現（ＰＴＲ）［ＲＳＳＦ０２］オペレータは、ラプラシアンピラミッド分解に依拠する(Reinhard E., Stark M., Shirley P., Ferwerda J.: Photographic tone reproduction for digital images. ACM Trans. Graph. 21 , 3 (July 2002), 267{276.)。閾値は、組み合わせではなく、各画素について使用するための最良の近傍サイズを選択することを可能にする。

他の周知の解決手段では、勾配領域のトーンマッピングを実行するために、勾配領域圧縮（ＧｒａｄｉｅｎｔＤｏｍａｉｎＣｏｍｐｒｅｓｓｉｏｎ）(ＧＤＣ)を使用する (Fattal R., Lischinski D.: Gradient domain high dynamic range compression. ACM Transactions on Graphics (2002))。勾配は、ガウシアン・ピラミッド（ｇａｕｓｓｉａｎｐｙｒａｍｉｄ）の各レベルにおいて画素の周りの空間的近傍から計算される。倍率は、勾配の大きさに基づいて各画素について決定される。すべての勾配場（ｇｒａｄｉｅｎｔｆｉｅｌｄ）は、圧縮された勾配場を取得するためにすべての解決手段において結合される。この勾配場は常に積分可能とは限らないので、トーンマッピングされたフレームを計算するために近似が使用される。

入力ビデオシーケンスの各フレームにＴＭＯを別個に適用すると、時間的な不整合が生じる。時間的な不整合には主要な２つのタイプがある。すなわち、ちらつくアーチファクトおよび時間的な輝度の不整合である。

ちらつくアーチファクトは、ＴＭＯまたはシーンのいずれかによるものである。実際、ＴＭＯによりちらつくアーチファクトは、連続するフレームにおいてトーンマップ曲線の急速な変化によりもたらされる。結果として、同様のＨＤＲのルミナンス値が異なるＬＤＲの値にマッピングされる。シーンによるちらつきは、照明条件の急速な変化に対応する。時間的に近いフレームを考慮せずにＴＭＯを適用すると、異なるＨＤＲの値が同様のＬＤＲの値にマッピングされることになる。時間的な輝度の不整合に関し、これはトーンマッピング処理の工程中に相対的なＨＤＲフレームの輝度が維持されない場合に発生する。結果として、ＨＤＲシーケンスにおいて最も明るいとして維持されたフレームは、必ずしもＬＤＲシーケンスにおいて最も明るいとは限らない。ちらつくアーチファクトとは異なり、輝度の不整合は、必ずしも連続するフレームに沿って現れるわけではない。

要約すると、グローバルであれローカルであれ、ＨＤＲビデオシーケンスの各フレームに別個にＴＭＯを適用すると、時間的な不整合が生じる。

トーンマップ曲線の時間フィルタリングに基づく解決手段が設計されている (Boitard R., Thoreau D., Bouatouch K., Cozot R.: Temporal Coherency in Video Tone Mapping, a Survey. In HDRi2013 - First International Conference and SME Workshop on HDR imaging (201 3), no. 1 , pp. 1 -6)。しかしながら、ローカルＴＭＯが非線形で空間的に変化するトーンマップ曲線を有するため、これらの技術はグローバルＴＭＯに有効でしかない。

ローカルＴＭＯについては、時間的整合の維持は、時間および空間に亘るトーンマッピングの激しい変動を避けることにある。ＧＤＣオペレータに基づく解決手段は、Ｌｅｅ他により提案されている(Lee C, Kim C.-S.: Gradient Domain Tone Mapping of High Dynamic Range Videos. In 2007 IEEE International Conference on Image Processing (2007), no. 2, IEEE, pp. II I-461 -III-464.)。

まず、この技術は連続するＨＤＲフレームの各対に対して画素に関する動き推定を実行し、結果の動きフィールドが、対応するＬＤＲフレームについて時間整合性の制約として使用される。この制約は、動きベクトルを通じて関連付けられる２つの画素が同様にトーンマッピングされることを確実にする。

この技術によりもたらされる視覚的改善にもかかわらず、依然としていくつかの短所がある。第１に、この解決手段は、連続するフレームの対の間での時間整合性しか維持しない。第２に、この技術は動き推定の堅牢性に依存する。この推定に失敗すると、時間整合性の制約が、異なるオブジェクトに属する画素に適用される。この動き推定の問題を、整合しない動きベクトル（ｎｏｎ-ｃｏｈｅｒｅｎｔｍｏｔｉｏｎｖｅｃｔｏｒ）と呼ぶことにする。さらに、この技術は、ＧＤＣオペレータという１つのローカルＴＭＯについてしか設計されておらず、他のＴＭＯに拡張することができない。

従来技術の上述した欠点のうちの少なくとも１つを解決するため、特に、時間を通じてローカルＴＭＯの空間的近傍の計算を安定させるため、ビデオシーケンスをトーンマッピングするために使用されるローカルＴＭＯの空間的近傍が、トーンマッピングされるフレームの時間フィルタリングされたバージョンについて決定される。

トーンマッピングされたオペレータの空間的近傍を決定するために、フレームの（通常の）元のルミナンスではなくトーンマッピングされるフレームの時間フィルタリングされたバージョンを使用すると、空間的近傍の時間整合性が維持され、したがってトーンマッピングされたフレームにおいてちらつくアーチファクトを制限することが可能になる。

一実施形態によれば、本方法は、
トーンマップされるフレームの画素ごとに動きベクトルを取得するステップと、
推定された動きベクトルを使用してビデオシーケンスの一部のフレームを動き補償し、該動き補償されたフレームを時間フィルタリングして、トーンマッピングされる上記フレームの時間フィルタリングされたバージョンを取得するステップと、
を含む。

一実施形態によれば、この方法は、
整合しない動きベクトルを検出し、推定された動きベクトルが整合している場合にのみ、この動きベクトルを使用してトーンマッピングされるフレームの各画素を時間フィルタリングするステップをさらに含む。

一実施形態によれば、動きベクトルは、トーンマッピングされるフレームと、この動きベクトルに対応する動き補償されたフレームとの間の誤差が閾値より大きい場合に整合しないとして検出される。

本発明の別の態様によれば、本発明は、ローカルトーンマッピングオペレータを備える、ビデオシーケンスをトーンマッピングするための装置に関する。この装置は、トーンマッピングされる上記ビデオシーケンスのフレームの時間フィルタリングされたバージョンを取得する手段と、上記ローカルトーンマッピングオペレータにより使用される空間的近傍を決定する手段と、をさらに含むことにおいて特徴づけられる。

本発明の具体的な特質、ならびに本発明の他の目的、利点、機能および使用は、添付の図面と組み合わせて、以下の好ましい実施形態の説明から明らかになるであろう。

本実施形態は、以下の図面を参照して説明される。
ビデオシーケンスをトーンマッピングする方法のステップの図である。ビデオシーケンスのトーンマッピングされるフレームの時間フィルタリングされたバージョンを計算する方法のステップの図である。ビデオシーケンスのトーンマッピングされるフレームの時間フィルタリングされたバージョンを計算する方法の変形例のステップの図である。本方法のステップ１００および２００の実施形態を示す図である。本方法のステップ１００および２００の別の実施形態を示す図である。本方法のステップ１００および２００の別の実施形態を示す図である。ビデオシーケンスをトーンマッピングする方法を実装するように構成された手段を含む装置のアーキテクチャの例を示す図である。

フレーム(画像とも呼ぶ)は、各々がフレームデータのうちの少なくとも１つの項目と関連付けられた画素またはフレーム位置を含む。フレームデータの項目は、例えば、ルミナンスデータの項目またはクロミナンスデータの項目である。

一般に、ビデオシーケンスをトーンマッピングするための方法は、フレームごとのローカルトーンマッピングを、ビデオシーケンスの各フレームに適用することにある。

本方法は、上記ローカルトーンマッピングオペレータにより使用される空間的近傍が、トーンマッピングされるフレームの時間フィルタリングされたバージョンに対して決定されることにおいて特徴づけられる。

したがって、ローカルＴＭＯの空間的近傍の確定（ｄｅｆｉｎｉｔｉｏｎ）は、時間整合性に従う。即ち、空間的近傍は、トーンマッピングされるフレームのトーンマッピングされたバージョンにおいてちらつくアーチファクトを回避する、フレーム毎により安定した確定を有する。

本方法の利点の１つは、任意の従来技術のローカルトーンマッピングオペレータを使用できることである。なぜなら、トーンマッピングされるフレームの時間フィルタリングされたバージョンは、その空間的近傍を決定するためにのみ使用されるからである。

図１ａは、ビデオシーケンスをトーンマッピングするための方法のステップの図を示し、ここで時間フィルタリングされたバージョンは、トーンマッピングされる各フレームＦ０について取得される。

入力ビデオシーケンスは、例えば、ハイダイナミックレンジビデオシーケンス（ＨＤＲ）とすることができ、トーンマッピングされたビデオシーケンスＶ’はローダイナミックレンジ（ＬＤＲ）、すなわち入力ビデオシーケンスＶより低いダイナミックレンジのビデオシーケンスとすることができる。ＴＭＯは任意の従来技術のローカルトーンマッピングオペレータのことを言う。トーンマッピングされるフレームの時間フィルタリングされたバージョンは、以下では時間フィルタリングされたフレームＬ_ＴＦと呼ぶ。

本方法の一実施形態によれば、時間フィルタリングされたフレームＬ_ＴＦは通信ネットワークを介してメモリまたはリモートの機器から取得される。

図１ｂは、ビデオシーケンスのトーンマッピングされるフレームＦ０から時間フィルタリングされたフレームＬ_ＴＦを計算する方法の図である。

ステップ１００において、フレームＦ０の各画素について動きベクトルを取得する。

一実施形態によれば、フレームＦ０の各画素に対し、動きベクトルが通信ネットワークを介してメモリまたはリモートの機器から取得される。

動き推定ステップ１００の実施形態によれば、現在のブロックと、推定された一致するブロックとの間の誤差メトリックを最小するために動きベクトル（δ_ｘ，δ_ｙ）が定義される。

例えば、動き推定において使用される最も共通するメトリックは、以下で与えられる差の絶対値の合計（ＳＡＤ）である。

ここで、Ωは使用される正方形ブロックの全ての画素位置（ｘ，ｙ）を表す。

ステップ２００において、推定された動きベクトルを使用してビデオシーケンスＶの一部のフレームを動き補償し、動き補償されたフレームを時間フィルタリングして、時間フィルタリングされたフレームＬ_ＴＦを取得する。

ステップ１００および２００は共に、動き補償時間フィルタリング（ＭＣＴＦ）技術に対応する。

図１ｃに図示されているステップ２００の変形例によれば、整合しない動きベクトルが検出され、推定された動きベクトルが整合する（ｃｏｈｅｒｅｎｔ）場合にのみ、この動きベクトルを使用して、トーンマッピングされるフレームの各画素が時間フィルタリングされる。

これは、整合しない動きベクトルの問題を解決する。なぜなら、フレームＦ０のトーンマッピングされたバージョン内でいくらかのゴースティングアーチファクトをもたらすフレームＦ０の異なるオブジェクトに属する画素の動き補償を回避するからである。

ステップ１００および２００の実施形態によれば、時間フィルタの長さＮが取得され、推定された動きベクトルにより、フレームＦ０に関して現在のフレームの動き補償を通じて（Ｎ−１）個の動き補償されたフレームが取得され、そして上記動き補償されたフレームの上記時間フィルタを使用した時間フィルタリングの結果として、時間フィルタリングされたフレームＬ_ＴＦが得られる。

図２に示されるように、時間フィルタの長さＮは５に等しく（Ｎ＝５）、（Ｎ−１）個の動きベクトルＭＶｎが推定される（ＭＥ）。すなわち、２つの直前のフレームＦ−２およびＦ−１の各々について１つ、および２つの後続のフレームＦ１およびＦ２の各々について１つである。ついで、推定された動きベクトルＭＶｎによって、フレームＦ０に関し現在のフレームの動き補償により取得される（Ｎ−１）個の動き補償されたフレームＣＦ−ｎを入力として有する長さＮの時間フィルタからの出力として、時間フィルタリングされたフレームＬ_ＴＦが取得される。このような入力は、動きベクトルＭＶ−２により取得される動き補償されたフレームＣＦ−２、動きベクトルＭＶ−１により取得される動き補償されたフレームＣＦ−１、動きベクトルＭＶ−１により取得される動き補償されたフレームＣＦ１および動きベクトルＭＶ２により取得される動き補償されたフレームＣＦ２である。４つの動き補償されたフレームは、この例にしたがって取得される。

多くのタイプの時間フィルタリングを使用することができ、簡単なものは、以下の式により与えられる平均である。

ここで、ＣＦｎはｎ番目の動き補償されたフレームを表す。

本発明は、いかなる時間フィルタリングのタイプにも限定されず、信号処理において通常使用される他のいかなる時間フィルタリングにも使用することができる。時間フィルタの長さの具体的な値は、本発明の範囲を制限するものではない。

図２に関して説明したステップ１００および２００の実施形態の、図１ｃに例示した変形例の実施形態によれば、フレームＦ０と、動きベクトルに対応する動き補償されたフレームＣＦｎとの間の誤差ε_ｎ（ｘ，ｙ）が閾値より大きい場合に、この動きベクトルが整合しないとして検出される。

一実施形態によれば、誤差ε_ｎ（ｘ，ｙ）は、以下の式により与えられる。

一実施形態によれば、閾値は現在のフレームＦ０の画素の値に比例する。

例えば、動きベクトルは、ε_ｎ（ｘ，ｙ）＞Ｔの場合に整合しないとして検出され、ここでＴはユーザが定義した閾値であり、（ｘ，ｙ）は画素位置である。

フレームＬ_ＴＦを取得するために、整合する画素に対応する動き補償されたフレームＣＦｎにおける各画素が時間フィルタリングにおいて使用される。所与の位置において、整合する動きベクトルがない場合、フレームＦ０の画素値のみが使用される（時間フィルタリングはない）。

図３および４に例示されたステップ１００および２００の別の実施形態によれば、いくつかの低周波サブバンドを取得するためにダイアディックウェーブレット分解（ｄｙａｄｉｃｗａｖｅｌｅｔｄｅｃｏｍｐｏｓｉｔｉｏｎ）と組み合わされた後方（ｆｏｒｗａｒｄ-）および前方（ｆｏｒｗａｒｄ-ｏｒｉｅｎｔｅｄ）動き補償がフレームＦ０に適用される。フレームＦ０の各画素について、分解の後方部分の少なくとも１つの低周波サブバンドが選択され、分解の前方部分の少なくとも１つの低周波サブバンドが選択され、フレームＬ_ＴＦの画素が２つの選択された低周波サブバンドに属する２つの画素の融合（ｂｌｅｎｄｉｎｇ）となる。

通常のダイアディックウェーブレット分解では、各レベルが時間周波数に対応するピラミッドを構築する。各レベルは、図３に示す予測および更新ステップを使用して計算される。動き補償された分解を実行するために、動き推定から得られた動きベクトルは、予測ステップにおいて使用される。フレームＨ_ｔ＋１は、フレームＦ_ｔ＋１と、フレームＦ_ｔの動き補償されたバージョン（ＭＣ）との差から得られる。更新ステップの間に、フレームＦ_ｔを、フレームＨ_ｔ＋１の逆動き補償されたバージョンと加えることにより、低周波フレームＬ_ｔが得られる。それは低周波サブバンドＬ_ｔにおいて接続されていない画素（図３の暗い色の点）またはマルチ接続された画素（図３の灰色の点）をもたらすことができる。接続されていない画素またはマルチ接続された画素は、動きベクトルが逆に戻る場合にそれぞれ関連する画素のない画素またはマルチ接続された画素のある画素である。

この欠点を回避するため、複数レベルに分解するための特定の構造が、２つのレベルの分解について図４で示すように、フレームＦ０に適用される。

このようなフレームＦ０の分解は、以下の後方または前方動きベクトルを用いた直交変換を用いる。

ここで、Ｈ_ｔおよびＬ_ｔはそれぞれ高周波数サブバンドおよび低周波サブバンドであり、ｖ_ｂおよびｖ_ｆはそれぞれ後方動きベクトルおよび前方動きベクトルであり、ｎはフレームＦ_ｔ＋１における画素位置であり、ｐはｎ＋ｖ_ｂに対応する。

このような分解の特定の構造は、時間フィルタリングがフレームＦ０に集中することを確実にする。

このような直交変換の適用により、図４に示す２つのレベルの分類の場合には２つの低周波サブバンドを与える。

本実施形態の変形例によれば、時間フィルタの長さは、フレームＦ０の各画素について適応的に選択される。

これは、より堅牢な動き推定を与え、したがってＴＭＯの近傍のより安定した確定を与えるので、有利である。

図４に関して説明したステップ１００および２００の実施形態の図１ｂに示す変形例の実施形態によれば、フレームＦ０と分解の後方部分の低周波サブバンドとの間の誤差ε_ｂ，ｎ（ｘ，ｙ）、およびフレームＦ０と分解の前方部分の低周波サブバンドとの間の誤差ε_ｆ，ｎ(ｘ，ｙ)のそれぞれが閾値より大きい場合に、後方動きベクトルｖ_ｂおよび前方動きベクトルｖ_ｆのそれぞれは、不整合として検出される。

一実施形態によれば、誤差は

によって与えられ、ここでＬ_ｂ，ｎ（ｘ，ｙ）およびＬ_ｆ，ｎ(ｘ，ｙ)は分解の後方部分および前方部分それぞれの低周波サブバンド(図４のＬ−０，Ｌ０，ＬＬ−０，ＬＬ０)である。

一実施形態によれば、閾値は現在フレームＦ０の画素の値に比例する。

例えば、後方動きベクトルは、ε_ｂ，ｎ（ｘ、ｙ）＞Ｔの場合に不整合として検出され、ここでＴはユーザが定義した閾値であり、（ｘ，ｙ）は画素位置である。同じ例を、前方動きベクトルに対して使用することができる。

一実施形態によれば、対応する動きベクトルが整合する場合に、分解の後方部分および前方部分の低周波サブバンドから開始し、分解の全ての低周波サブバンドが考慮され、トーンマッピングされるフレームの各画素に対して単一の低周波サブバンドが選択される。

その結果、時間フィルタリングされたフレームＬ_ＴＦ内の画素は、２つの低周波サブバンドに関連する場合がある。この場合、画素は、２つの選択された低周波サブバンドに属する２つの画素の融合である（双方に方向づけられた（ｄｕａｌ−ｏｒｉｅｎｔｅｄ）フィルタリング）。２つの選択された低周波サブバンドの平均または加重平均等の多くのタイプの融合を使用することができる。

２つの低周波サブバンドのうちの１つだけが選択され得る場合、時間フィルタリングされたフレームＬ_ＴＦ内の画素値は、選択された低周波サブバンドの画素値の値に等しい（一方に方向づけられた（ｓｉｎｇｌｅ−ｏｒｉｅｎｔｅｄ）フィルタリング）。

２つの低周波サブバンドのいずれも選択できなければ、時間フィルタリングされたフレームＬ_ＴＦ内の画素値はフレームＦ０の値に等しい（時間フィルタリングはない）。

図１ａ、１ｂ、２〜４において、モジュールは機能単位であり、これらは区別可能な物理的単位であってもよく、そうでなくてもよい。例えば、またはそれらのモジュールまたはそれらの一部は、固有の部品または回路で一緒にしても良いし、ソフトウェアの機能に関与しても良い。反対に、一部のモジュールは潜在的に別個の物理的エンティティから構成されることとしても良い。本発明と互換性のある装置は、純粋なハードウェアを用いて、例えばＡＳＩＣまたはＦＰＧＡまたはＶＬＳＩ（それぞれ＜＜特定用途向け集積回路＞＞、＜＜フィールドプログラマブルゲートアレイ＞＞または＜＜超大規模集積回路＞＞）などの専用のハードウェアを用いて、または、デバイスに組み込まれたいくつかの集積電子部品によって、またはハードウェアコンポーネントおよびソフトウェアコンポーネントの組み合わせによって実装することができる。

図５は、本発明の方法を実装するシステムにおいて使用することができる装置５００を示す。装置は、デジタルデータバスおよびアドレスバス５０により相互接続された以下の構成要素、
−処理ユニット５３（または中央演算処理装置としてのＣＰＵ）、
−メモリ５５、
−接続５１を介してネットワーク内で接続された他の装置に対する装置５００の相互接続のための、ネットワークインタフェース５４
を含む。

処理ユニット５３はマイクロプロセッサ、カスタムチップ、専用の(マイクロ)コントローラ等として実装することができる。メモリ５５は、ＲＡＭ(ランダムアクセスメモリ)、ハードディスクドライブ、不揮発性ランダムアクセスメモリ、ＥＰＲＯＭ（消去可能プログラマブルＲＯＭ）等の、揮発性および／または不揮発性メモリの任意の形式で実装することができる。装置５００は、本発明の方法にかかるデータ処理装置を実装するために適合する。処理ユニット５３およびメモリ５５は、トーンマッピングされるフレームの時間フィルタリングされたバージョンを取得するために連携する。また、メモリ５５はトーンマッピングされるフレームの時間フィルタリングされたバージョンを格納するために構成することもできる。また、このようなトーンマッピングされるフレームの時間フィルタリングされたバージョンは、ネットワークインタフェース５４から取得することもできる。また、処理ユニット５３およびメモリ５５は、トーンマッピングされるビデオシーケンスのフレームの時間フィルタリングされたバージョンに対してローカルトーンマッピングオペレータの空間的近傍を決定するために、および潜在的にこのようなオペレータをトーンマッピングされるフレームに適用するためにも連携する。

また、装置５００の処理ユニットおよびメモリは、図１ａ、１ｂ、２〜４に関係して説明される方法の任意の実施形態および／または変形例を実装するように構成される。

本明細書に記載されている「１つの実施形態」または「一実施形態」は、本発明の少なくとも１つの実装に含まれることができる実施形態に関連して説明される特定の機能、構造、または特性を意味する。本明細書において種々の位置に「一実施形態において」という表現が現れるが、すべてが同じ実施形態について言及しているとは限らないし、また他の実施形態とは相互に排他的な個別のまたは代替の実施形態について言及しているとも限らない。

特許請求の範囲にみられる参照符号は単に例示であって、請求項の範囲を限定する効果はない。

明示的に説明はしていないが、本実施形態および変形形態は、任意の組み合わせまたはサブコンビネーションで用いることができる。

明示的に説明はしていないが、本実施形態および変形形態は、任意の組み合わせまたはサブコンビネーションで用いることができる。
［付記１］
ビデオシーケンスをトーンマッピングするための方法であって、トーンマッピングされる前記ビデオシーケンスの各フレームにローカルトーンマッピングオペレータが適用され、前記ローカルトーンマッピングオペレータによって用いられる空間的近傍は、トーンマッピングされる前記フレーム（Ｆ０）の時間フィルタリングされたバージョン（Ｌ _ＴＦ）に対して決定されることを特徴とする、前記方法。
［付記２］
トーンマッピングされる前記フレームの各画素に対して動きベクトルを取得するステップと、
推定された動きベクトルを使用して前記ビデオシーケンスの一部のフレームを動き補償し、およびトーンマッピングされる前記フレーム（Ｆ０）の前記時間フィルタリングされたバージョン（Ｌ _ＴＦ）を取得するために前記動き補償されたフレームを時間フィルタリングするステップ（２００）と、
を含む、付記１に記載の方法。
［付記３］
整合しない動きベクトルを検出し、および推定された動きベクトルが整合する場合にのみこの動きベクトルを用いて、トーンマッピングされる前記フレームの各画素を時間フィルタリングするステップをさらに含む、付記２に記載の方法。
［付記４］
動きベクトルは、トーンマッピングされる前記フレーム（Ｆ０）と、この動きベクトルに対応する動き補償されたフレームとの間の誤差（ε _ｎ（ｘ，ｙ），ε _ｂ，ｎ（ｘ，ｙ），ε _ｆ，ｎ（ｘ，ｙ））が閾値より大きい場合に、整合しないとして検出される、付記３に記載の方法。
［付記５］
時間フィルタの長さＮが取得され、前記推定された動きベクトルにより、トーンマッピングされる前記フレーム（Ｆ０）に関し現在のフレームの動き補償を通じて（Ｎ−１）個の動き補償されたフレームが取得され、トーンマッピングされる前記フレーム（Ｆ０）の前記時間フィルタリングされたバージョン（Ｌ _ＴＦ）は、前記動き補償されたフレームの前記時間フィルタを用いた時間フィルタリングから得られる、付記２から４のいずれか１項に記載の方法。
［付記６］
ダイアディックウェーブレット分解と組み合わせた後方のおよび前方の動き補償が、いくつかの低周波サブバンドを取得するためにトーンマッピングされる前記フレーム（Ｆ０）に適用され、トーンマッピングされる前記フレームの各画素について、前記ダイアディックウェーブレット分解の後方部分の少なくとも１つの低周波サブバンドが選択され、前記ダイアディックウェーブレット分解の前方部分の少なくとも１つの低周波サブバンドが選択され、トーンマッピングされる前記フレームの時間フィルタリングされたバージョン（Ｌ _ＴＦ）の画素は２つの前記選択された低周波サブバンドに属する２つの画素の融合である、付記２から４のいずれか１項に記載の方法。
［付記７］
前記ダイアディックウェーブレット分解の後方および前方部分の低周波サブバンドから開始し、前記ダイアディックウェーブレット分解の全ての低周波サブバンドが考慮され、対応する動きベクトルが整合する場合に、トーンマッピングされる前記フレームの各画素について単一の低周波サブバンドが選択される、付記３または４に従属する場合の付記６に記載の方法。
［付記８］
ローカルトーンマッピングオペレータを含む、ビデオシーケンスをトーンマッピングするための装置であって、トーンマッピングされる前記ビデオシーケンスのフレームの時間フィルタリングされたバージョンを取得する手段と、前記ローカルトーンマッピングオペレータにより用いられる空間的近傍を決定する手段と、を備えたことを特徴とする、前記装置。
［付記９］
付記１から７のいずれか１項に記載の方法を実装するように構成された手段をさらに備える、付記８に記載の装置。

Claims

ビデオシーケンスをトーンマッピングするための方法であって、トーンマッピングされる前記ビデオシーケンスの各フレームにローカルトーンマッピングオペレータが適用され、前記ローカルトーンマッピングオペレータによって用いられる空間的近傍は、トーンマッピングされる前記フレーム（Ｆ０）の時間フィルタリングされたバージョン（Ｌ_ＴＦ）に対して決定されることを特徴とする、前記方法。
トーンマッピングされる前記フレームの各画素に対して動きベクトルを取得するステップと、
推定された動きベクトルを使用して前記ビデオシーケンスの一部のフレームを動き補償し、およびトーンマッピングされる前記フレーム（Ｆ０）の前記時間フィルタリングされたバージョン（Ｌ_ＴＦ）を取得するために前記動き補償されたフレームを時間フィルタリングするステップ（２００）と、
を含む、請求項１に記載の方法。
整合しない動きベクトルを検出し、および推定された動きベクトルが整合する場合にのみこの動きベクトルを用いて、トーンマッピングされる前記フレームの各画素を時間フィルタリングするステップをさらに含む、請求項２に記載の方法。
動きベクトルは、トーンマッピングされる前記フレーム（Ｆ０）と、この動きベクトルに対応する動き補償されたフレームとの間の誤差（ε_ｎ（ｘ，ｙ），ε_ｂ，ｎ（ｘ，ｙ），ε_ｆ，ｎ（ｘ，ｙ））が閾値より大きい場合に、整合しないとして検出される、請求項３に記載の方法。
時間フィルタの長さＮが取得され、前記推定された動きベクトルにより、トーンマッピングされる前記フレーム（Ｆ０）に関し現在のフレームの動き補償を通じて（Ｎ−１）個の動き補償されたフレームが取得され、トーンマッピングされる前記フレーム（Ｆ０）の前記時間フィルタリングされたバージョン（Ｌ_ＴＦ）は、前記動き補償されたフレームの前記時間フィルタを用いた時間フィルタリングから得られる、請求項２から４のいずれか１項に記載の方法。
ダイアディックウェーブレット分解と組み合わせた後方のおよび前方の動き補償が、いくつかの低周波サブバンドを取得するためにトーンマッピングされる前記フレーム（Ｆ０）に適用され、トーンマッピングされる前記フレームの各画素について、前記ダイアディックウェーブレット分解の後方部分の少なくとも１つの低周波サブバンドが選択され、前記ダイアディックウェーブレット分解の前方部分の少なくとも１つの低周波サブバンドが選択され、トーンマッピングされる前記フレームの時間フィルタリングされたバージョン（Ｌ_ＴＦ）の画素は２つの前記選択された低周波サブバンドに属する２つの画素の融合である、請求項２から４のいずれか１項に記載の方法。
前記ダイアディックウェーブレット分解の後方および前方部分の低周波サブバンドから開始し、前記ダイアディックウェーブレット分解の全ての低周波サブバンドが考慮され、対応する動きベクトルが整合する場合に、トーンマッピングされる前記フレームの各画素について単一の低周波サブバンドが選択される、請求項３または４に従属する場合の請求項６に記載の方法。
ローカルトーンマッピングオペレータを含む、ビデオシーケンスをトーンマッピングするための装置であって、トーンマッピングされる前記ビデオシーケンスのフレームの時間フィルタリングされたバージョンを取得する手段と、前記ローカルトーンマッピングオペレータにより用いられる空間的近傍を決定する手段と、を備えたことを特徴とする、前記装置。
請求項１から７のいずれか１項に記載の方法を実装するように構成された手段をさらに備える、請求項８に記載の装置。