JP2018531447A - リアルタイムトーンマッピングのためのシステム及び方法 - Google Patents
リアルタイムトーンマッピングのためのシステム及び方法 Download PDFInfo
- Publication number
- JP2018531447A JP2018531447A JP2018512335A JP2018512335A JP2018531447A JP 2018531447 A JP2018531447 A JP 2018531447A JP 2018512335 A JP2018512335 A JP 2018512335A JP 2018512335 A JP2018512335 A JP 2018512335A JP 2018531447 A JP2018531447 A JP 2018531447A
- Authority
- JP
- Japan
- Prior art keywords
- tone
- image
- input image
- luminance level
- base layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 137
- 238000013507 mapping Methods 0.000 title claims abstract description 133
- 238000001914 filtration Methods 0.000 claims abstract description 72
- 230000006870 function Effects 0.000 claims description 36
- 238000009792 diffusion process Methods 0.000 claims description 32
- 230000000007 visual effect Effects 0.000 claims description 21
- 238000003860 storage Methods 0.000 claims description 17
- 238000013500 data storage Methods 0.000 claims description 7
- 230000003247 decreasing effect Effects 0.000 claims description 5
- 238000007906 compression Methods 0.000 claims description 4
- 230000006835 compression Effects 0.000 claims description 4
- 238000004519 manufacturing process Methods 0.000 claims description 4
- 230000035945 sensitivity Effects 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 description 19
- 230000002123 temporal effect Effects 0.000 description 19
- 238000000605 extraction Methods 0.000 description 16
- 238000011156 evaluation Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 8
- 230000003044 adaptive effect Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 7
- 238000000354 decomposition reaction Methods 0.000 description 6
- 239000000203 mixture Substances 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 230000002457 bidirectional effect Effects 0.000 description 4
- 238000010276 construction Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 238000009472 formulation Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 230000007704 transition Effects 0.000 description 4
- 230000006978 adaptation Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000009795 derivation Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000004451 qualitative analysis Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 241000600039 Chromis punctipinnis Species 0.000 description 1
- 206010047571 Visual impairment Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000013020 final formulation Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000035699 permeability Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000003892 spreading Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 208000029257 vision disease Diseases 0.000 description 1
- 230000004393 visual impairment Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/40—Picture signal circuits
- H04N1/407—Control or modification of tonal gradation or of extreme levels, e.g. background level
- H04N1/4072—Control or modification of tonal gradation or of extreme levels, e.g. background level dependent on the contents of the original
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/6027—Correction or control of colour gradation or colour contrast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20208—High dynamic range [HDR] image processing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Picture Signal Circuits (AREA)
- Facsimile Image Signal Circuits (AREA)
Abstract
Description
本願は、2015年9月2日に出願された「リアルタイムなノイズ把握型トーンマッピングを行うためのシステム及び方法」と題する米国仮特許出願第62/213,290号からの優先権を主張しており、当該開示の全体は参照によって取り込まれる。
非特許文献19では、11種のビデオトーンマッピングオペレータが評価及び分析された。同文献は、種々のオペレータを次のように分類した:視覚系の特性及び限界を模倣するような視覚系シミュレータ(VSS、visual system simulator)、オリジナルの場面外観(original scene appearance)を保全しようとするような場面再現オペレータ(SRP、scene reproduction operator)、及び主観的に選好されるイメージをもたらすような主観的性質オペレータ(BSQ、best subjective quality operator)。非特許文献19は、全てのオペレータが、フリッカリング、ゴースティング、増幅されたノイズレベル、又はディテールの欠如等のアーチファクトをもたらしやすいものである、と結論している。
大まかに説明されているように、そして添付の図面にて例示されているように、入力イメージ/ビデオをトーンマッピングするための新規なシステム及び方法が開示されている。また、新規なシステム及び方法は、トーンマッピングのステップまたはトーンマッピングの一部を行うに際して効果的な1以上の下位要素を含むことができる。システム及び方法の幾つかの例示的実施形態では、トーンマッピングはリアルタイムで行われるか、及び/又は、トーンマッピングはノイズの存在を考慮することができる(例えば、「ノイズ把握型」のもの)。システム及び方法のトーンカーブ生成部分は、入力イメージとトーンマッピングされたイメージとの間のイメージコントラスト歪みのモデルに基づいている。本願開示の新規なトーンマッピングシステム及び方法、本願開示の例示的実施形態、並びにそれらの変種は、本願においては一般的には「リアルタイムコントラスト歪みベースドTMO」という。
ビデオシーケンス中の視認可能なノイズは、現代的なノイズ除去アルゴリズム(非特許文献27、6)を用いることによって大幅に削減し得る。もっとも、過度に強力なノイズ除去を施すと、ブラーがもたらされ、イメージ鮮鋭度が損なわれる。鮮鋭度の欠如はノイズ以上に許容し難いアーチファクトであるが故に、通常のビデオ処理慣行では、控えめなノイズ削減を施して、そして、残存するノイズをマニュアルカラーグレーディング工程で隠蔽する。
任意のTMOにとっての主たる制約は、ターゲット表示装置上で表示できる輝度の利用可能レンジに起因する。このようなレンジは、OLEDかLCDであるか等の特定の表示技術に依存するばかりでなく、アンビエント光のレベルにも依存する。アンビエント光の一部はディスプレイスクリーンから反射されるのであり、それによって利用可能ディスプレイコントラストが減る。
入力輝度からディスプレイの輝度へと画素の値をマッピングするトーンカーブが、イメージコントラストを表示可能レンジに落とし込むための主たる道具とされる。トーンカーブは写真分野で伝統的に用いられており、トーンカーブはS字型の形状を有しており、トーンカーブは低位及び高位のトーンにより高い歪みをもたらすことを代償にして中位のトーンにおけるコントラストを保つ。トーンカーブの形状が一定とされるのがアナログフィルムの必須条件であったが、デジタル処理においては、各イメージについて、そして、全てのイメージ領域に関して、トーンカーブを変化させることが許容される。
トーンマッピングに起因する最も関連性のある歪みは、多分イメージコントラストの変化であるといえよう。イメージコントラスト歪みのモデルは、記号Gで表されるマッピングされていないイメージのコントラストと、記号
で表される適用されたトーンカーブによってトーンマッピングされた後のイメージのコントラストとの間の、差異を考慮する。最も単純なケースにおいては、イメージコントラストG又は
は2つの近隣ピクセル間の差異とすることができるが、イメージコントラスト歪みについての他の解釈も可能である。
。外側の積分では、その結果を、全ての入力対数輝度レベルlにわたって「合算」する。p(l)は、所与のコントラストGが背景輝度l上で表示される確率である。p(G|l)は、背景輝度lを与えられた場合にイメージコントラストG内で発見される確率である。例えば、コントラストGが勾配(gradient)として定義された場合、この確率はヘビーテールな分布に従うであろう。自然なイメージに関しては、一般的なケースにおいては、コントラスト分布は局所的輝度lとは独立であり、よって、p(G|l)=p(G)との仮定を定立することができる。
ここで、skはセグメントk内のトーンカーブの傾斜(slope)である:
様々な例示的実施形態によれば、トーンカーブの値は、生成されたトーンカーブに起因する式(10)における想定コントラスト歪みを削減又は最小化するように計算される:
i) マッピングされていないイメージの任意の領域が、所与の第(k番目)輝度レベルセグメント内に入る輝度レベルを有する確率;
ii) 所与の第(k番目)輝度レベルセグメントの区分的線形傾斜の関数。
先述のセクションにおいては、確率p(lk)は(イメージヒストグラムから取得された)イメージにおける所与の輝度値の発生頻度に対応するものと仮定されていた。もっとも、該概念は、イメージ内の特定の輝度レベルの重要性を推定するための材料としては理想的ではない、と解された。例えば、イメージの結構な部分が均質的な面(例えば、白色の壁)を含んでいる場合、ヒストグラムに形成されるピーク故にそれに対応するp(lk)は高い値となるであろう。通常の場合、平坦な面がイメージにおいて最も顕著な部分とはならず、これらの部位に高重要度を割り当てて、急勾配のトーンカーブを割り付けることには大して意味があるとはいえない。同様に、夜間のシーンにおいては、相当程度の量のノイズを包含し僅かなディテールのみを有する大きな領域が、多くの場合含まれる。このような領域にダイナミックレンジを割り付けていては、ノイズが増幅され、見栄えが良くない結果がもたらされることとなる。
上記にて提案されたノイズ把握型コントラスト測定は、イメージ顕著性についての単純な測定であるとみなされ得る。仮にこの単純な顕著性測定が不十分のならば、より先進的な測定を用いることができるのであり、例えば検知された顔や肌トーンにより高い顕著性を割り当てることができる。一部の例においては、トーン優先度パラメータを含めることが有益たり得るのであり、該パラメータはp(lk)値をそれらの入力対数輝度(input log-luminance)に応じて重み付けることによって高位又は低位のトーンの重要性をバランシングする。これによって、作出されるイメージに対して追加的な創作的制御パラメータを得る。
リアルタイムコントラスト歪みベースドTMOについての1つの例示的実施形態によれば、入力ビデオ(或いはマッピングされていないビデオ)における時間的な変化を考慮して、トーンマッピングされた出力イメージのフリッカリングを低減することができる。
人間の視覚系は、局所的なシーン領域に適応できる能力故に、広い範囲の輝度レベルを知覚することができる。このような空間的な局所的適応の正確な仕組み及び空間的広がりについては良く理解されてはいないが、例えば明るさ判定をなす際には、視野において局所的及び大域的な情報プーリングがなされていることについて十分な証拠がある(非特許文献3)。1つの例示的実施形態によれば、異なるトーンカーブが計算されて、フレームのイメージの異なるイメージ領域に対して適用される。非特許文献35に示されているように、局所適応型トーンカーブは、目立つアーチファクトをもたらさずにして、イメージディテールの視認性をかなり増大させることができる。図4は、大域的及び局所的トーンカーブを用いて生成されたフレームを示す。
トーンカーブを計算するためにヒストグラムを用いるのは、イメージエンハンスメント手法として人気のあるヒストグラムイコライゼーションと似ているようにも見受けられ得る。しかし、これら2つの方法の目的及び結果はかなり異なる。
ベース及びディテール層分解法(図1のb及びd)は、トーンマッピングにおいて局所的コントラストを保つためによく用いられる手法である。エッジ保存ローパスフィルタによって取得されたベース層(b)はトーンカーブを用いて圧縮され、また、ディテール層(d)は維持されるかエンハンスさえされる。
フィルタ構築: 伝導プロセスとしてイメージフィルタリングのための拡散オペレーションが遂行されるのであって、拡散PDEに従って画素値I(p)は時間tに関してそれらの近隣へと伝播される:
として用いることによって、拡散を均質的イメージ領域に拘束することにより、エッジを保存する。イメージフィルタリングにおいてこれは、時間ドメインを離散化することによって、及び、各画素pにおけるインフローVをそれに最も近い近隣画素から適応型平滑化手順によって反復的に計算することによって、近似される。これは、k+1回目の反復については次式で表される:
は天井演算を表す。この定式化によって、例えばガウス差(DoG、difference of Gaussians)を用いる場合等と比べて、より速く拡散がエッジにて停止する。式(26)を式(27)と組み合わせると、画素が近傍Ωの半径よりも高コントラストなエッジに近接した場合に、フローが完全に停止される。高速な拡散を保証しつつエッジに付近でのフィルタリングを可能とするために、Ωのサイズに関しては、とても小さいカーネルから開始して拡散の進行に応じてその半径を増大させていく。Ωのサイズは、N回の反復後のフィルタのネットサイズがNσとなるように変化するのであって、ここでσはカーネルの初期サイズである。換言すれば、
図7は、異なるローパスエッジ停止フィルタの挙動を示すために、1次元的な信号について図示しており、同図は、これらのフィルタを、様々な例示的実施形態による本願開示の高速ディテール抽出型拡散フィルタと比較する。入力(7a)は、ノイズ関数を用いてディテール(緑)を付加した信号(ブルー)である。そして、フィルタを用いて、ディテールなしに信号を再構築する。再構築のMSEは、104でスケーリングされて、数値的比較のために供される。本願開示のディテール抽出拡散法は、次のフィルタと比較される:古典的な双方向フィルタ(BF)及び異方性拡散フィルタ(AD)、トライラテラルフィルタ(TF)、並びに、現在の水準の最先端フィルタたる高速局所的ラプラシアン(FLL、fast local laplacian)フィルタ(非特許文献4)。区分的一定性の仮定が成立する場合の左側のステップエッジにおいては、ゼロ次フィルタは何らの問題ももたらさない。もっとも、右側の平滑エッジに関しては、BFはバンディングをもたらし、ADは階段状アーチファクトをもたらしがちである。TF、FLL及び本願開示のディテール抽出拡散フィルタは、視認可能なアーチファクトを生成しない。もっとも、本願開示のディテール抽出拡散フィルタに比べると、TF及びFLLは共に計算量的に高コストである。さらなる重要な差異としては、本願開示のディテール抽出拡散フィルタはアーチファクトをもたらさずにしてトーンマッピングのためのディテール抽出をなすように特別に設計されているのに対して、例えばFL等は平滑な強度推移において偽のエッジを作成しがちである、ということが挙げられる。
ベース層が局所的トーンカーブを用いてトーンマッピングされたらば、組み合わせ下位モジュール136にてこれをディテール層と再度組み合わせることができる。ディテール層に変化がもたらされていない場合、トーンマッピングにおいて局所的コントラストは保存されることになる。ディテール層の値が増幅又はエンハンスされている場合、イメージディテールはブーストされるのであり、高品質のエッジ停止空間フィルタを用いて組み合わされた際には魅力的な様相をもたらし得る。もっとも、イメージディテールをエンハンスすることには、ノイズ増幅の危険がつきまとう。ノイズ把握型トーンカーブ(セクション4.1)はより暗いトーンにおける幾らかのノイズ(特にセンサ読み出しノイズ)を隠蔽できるが、より明るいイメージ部分におけるノイズを隠すことに関しては効果的ではない。
このセクションでは、様々な例示的実施形態との関係で説明されたトーンマッピングシステム及び方法について概説を提示するのであって、該概説は、視覚的質、性能及び機能の観点から著されている。ノイズ把握能力や、ディスプレイ及び観察条件への適応能力や、ディテールエンハンスメント能力等を含む具体的な機能も論じられており、これによってどのようにして本願開示の様々な例示的実施形態によるトーンマッピングのシステム及び方法を、共通のイメージング用途の文脈において適用することができるかを例示している。
本願開示のトーンマッピングシステム及び方法の性能を視覚的質の観点にて評価するために、主観的評価を質的分析実験として行った。実験では、本願開示のトーンマッピングシステム及び方法の実装例を、次の6つの最先端のビデオトーンマッピング方法と比較した:即ち、2つの大域的オペレータたる、Mal-adaptation TMO(非特許文献22)と、ディスプレイ適応TMO(非特許文献29)、並びに、4つの局所的オペレータたる、仮想露出TMO(非特許文献10)と、時間コヒーレンスTMO(非特許文献13)と、ゾーナル時間コヒーレンスTMO(非特許文献14)と、運動経路フィルタリング(非特許文献6)。評価は採点実験として遂行され、イメージ処理の経験を積んでいるユーザ10人に対して、ビデオクリップのセットをランダムな順序で見させた。これらのクリップは、非特許文献21から入手されており、7つのオペレータを用いて各々をトーンマッピングした。ユーザには次の属性に関して各クリップを採点するように依頼したのであり、これによって局所的レベルにおけるコントラストを評価した:全般的な明るさ、全般的なコントラスト、全般的な彩度、時間的な色一貫性、時間的フリッカリング、ゴースティング、過度のノイズ、及び、ディテール再現性。採点の最終結果は、観測者達の平均値とされており、図9に示されており、それぞれの異なるシーケンスについて示されている。総評するに、本願開示のトーンマッピングシステム及び方法によれば、視認可能なアーチファクトをもたらさずにして、丁度良いレベルのイメージ特性を呈する結果を一貫して提供することができる、という点が見出された。
本願にて開示されたリアルタイムコントラスト歪みベースドTMOの全ステップは並列的に計算されることができ、GPU上での実装に適している。空間フィルタリングは、分離可能なローパスフィルタを用いて水平及び垂直勾配フィルタを伴って構築されている。つまり、拡散処理の各反復回においては、4つの1Dフィルタカーネルを実行するだけで足りる。局所的ヒストグラムの計算及びトーンカーブについての時間的フィルタリングは、自明的に並列的である。本願開示のトーンマッピングシステム及び方法の全ての部分は、CUDA6.5を用いて実装された。現代的なグラフィックスカードを伴えば、完全なTMOパイプラインはフルHD映像についてリアルタイムで実行される。表3は、720p及び1080pのHD入力を用いてGeForce(登録商標) GTX 980上で実行されるリアルタイムコントラスト歪みベースドTMOの実装例の性能を示す。
ビデオ事後処理
ビデオがカラーグレーディングを要している場合、本願開示のトーンマッピングシステム及び方法は、高品質自動調整及びスタイリゼーション用の様々な創造的コントラスト制御手段の両者を提供する。特に魅力的なのはディテールエンハンスメントであり、これによってディテール視認性を維持又は強く増大させることができ、これを目立つアーチファクトの発生なしに行える(図12上部)。これは図12の左上及び中央寄りの上部に示されており、大域的トーンマッピングの結果が、ディテール層を元のコントラストに保全したイメージと、比較されている。トーン優先度調整によってより暗いトーンとより明るいトーンとの間の注目度をシフトすることができ、これをする際にはクリッピング等の歪みが最小化されるのであり、この際にはトーンカーブの正確な形状を制御するといった面倒を回避することができる(図12下部)。動作をリアルタイムなフレームレートで実行できるため、あるパラメータが調整されるに際して、視覚的フィードバックはフル解像度で提供される。また、重きはコントラストに置かれ、色の諸問題は考慮されないため、本願開示のトーンマッピングシステム及び方法は、既存のソリューションと組み合わせることができ、これによってカラーグレーディングのあらゆる観点に対応することができる。
センサによって撮像されたイメージは、デジタルビューファインダに表示されたり、イメージ(JPEG)又は動画(MPEG)として保存される前に、デモザイキングンやノイズ除去やシャープニング等の一連のオペレーションを通されなくてはならない。この処理連鎖における要はトーンマッピングであり、該処理においては、センサのより広いダイナミックレンジを、ディスプレイ又は出力ファイルによってサポートされるより狭小なダイナミックレンジへとマッピングする。本願開示のトーンマッピングシステム及び方法は、当該目的に適している。なぜならば、該システム及び方法は、カメラのノイズレベルに適応するような自動的なトーンマッピング及びディテールエンハンスメントを提供するからである。図13及び14は、ノイズ把握型処理を有する場合及び有さない場合のトーンマッピングの結果を示す。ノイズの視認性を低減させるために、ノイジーなイメージ領域においてはエンハンスメントを低く抑えるのであって、より暗いイメージトーン内においては、センサー読み出しノイズの大部分が隠蔽される。もっとも、デジタルビューファインダなどにおいてノイズレベルに関してのプレビューが望ましい場合、図13及び14の左上部に示してあるようにノイズ把握型処理を無効化しておくことができる。ノイズ把握型トーン再現がノイズ除去と実際は競合していないことを強調するために、図14は最先端のノイズ除去方法の適用による結果をも示している(V-BM4D、非特許文献27)。ノイズ除去ステップは対数ドメインにおいてトーンマッピング前に行われる。ノイズ把握型の機能なき場合、ノイズ除去に起因するアーチファクトは明確に視認可能であるが、両方の方法を相補的にあわせると、それらアーチファクトはイメージのより暗いトーン中に隠蔽される。
ディスプレイの実効コントラストは、アンビエント光レベルに強く依存する。携帯型機器が日光下で用いられる場合、発光型ディスプレイ(例えば、LCDやOLED等)は殆ど読めないくらいになる。なぜならば、スクリーンから反射される光がそのコントラストを減らしてしまうからである。通常の対処法はスクリーンの明るさを増大させることであるが、こうすると電力消費が大きく増えてしまう。別の方策としてはディスプレイ上に表示された内容に対してトーンマッピングを施して、特定の観察条件下で効果的なイメージコントラストに適応するようにする。これは図15に示されており、上段の列には適応のなされていないイメージが示されており、下段には適応されたイメージが示されている。後者の場合において、内容は明らかにより視認し易くなっており、全般的により良好な質を呈している。非特許文献29にて提案されるディスプレイ適応トーンマッピング(中段)と比較すると、本願開示のトーンマッピングシステム及び方法は、その局所的処理故に、より良好なコントラスト及びディテール視認性をもたらす。
本願明細書では、新規なリアルタイムコントラスト歪みベースドTMO及びその構成要素の例示的実施形態が説明されている。利点としては、本願開示のトーンカーブ生成システム及び方法は、2次プログラミングを数値的に解かなくて良いことが挙げられる。ヒストグラムイコライゼーション法等の既存のアドホック方法とは対照的に、リアルタイムコントラスト歪みベースドTMOでは良好に定義された最小化問題を解くことになる。局所的トーンカーブは、イメージ内容、ノイズレベル及び表示機能などに動的に適応するのであり、アンビエント光への補償も含まれる。また、リアルタイムコントラスト歪みベースドTMOの構成要素としての新規なエッジ停止フィルタについても説明している。このフィルタは、トーンマッピングにおいてディテールを保存及びエンハンスできるように設計されている。該フィルタは、オーバーシューティング及びソフトなエッジにおけるリンギングアーチファクトを回避するのであり、これらはトーンマッピングのために用いられる大部分のフィルタにとって共通する問題であり、ディテールエンハンスメントが必要とされる場合に特にそうであるといえる。フィルタは反復的ガウスぼかしとして実装できるため、効率的なハードウェア実装が可能となる。最後に上述の側面を包括的なビデオTMOとして組み合わせるのであり、これはノイズの視認性を制御し、また、ディスプレイ及びアンビエント光に適応する能力をもたらす。
・ コントラスト歪みを最小化する局所的なディスプレイ適応型トーンカーブを計算するための高速な手順。
・ イメージノイズに適応するノイズ把握型トーンカーブ。
・ トーンマッピング用のベース/ディテール層分解用のフィルタ設計であって、リンギングアーチファクトを伴わずにして、ディテールエンハンスメント用の高速エッジ停止非線形拡散近似(fast edge-stopping non-linear diffusion approximation)をもたらす、フィルタ設計。
・ 新規なノイズ制御法とディスプレイ適応性とを組み合わせるリアルタイムな統合型のビデオトーンマッピングソリューション(integrated, real-time video tone-mapping solution)であって、該ソリューションはディスプレイの制約を前提にして高コントラスト及び詳細なディテールを付されたビデオをもたらす、ソリューション。
実験に参加して下さったボランティア諸君に感謝したい。また、本稿の随所で用いたHDRビデオシーケンスに関しては、Jan Froehlichらにも感謝する(https://hdr-2014.hdm-stuttgart.de)。また、評価セクションで用いた時間的コヒーレンスTMOについての実装に関しては、Ronan Boitardにも感謝する。
この付録では、最適な傾斜(式14)を、KTT法を用いてどのようにして式(13)から解析的に導出するかを示す。ここでは先ず第2の制約(式12)の等価条件のみを検討する。ε′(sk)をこの制約で最小化することは、次の関数を最小化することと等価である:
傾斜割り当て公式を導出するために行われた工程を逆行することによって、ヒストグラムイコライゼーションのための仮定的な目的関数を見つけることができるのであり、それは次式で表される:
非特許文献18、15、1、2、7、43、8、42等に示される多くの双方向フィルタ用の拡張及び加速化機構は、リアルタイム処理を完全に可能とする。もっとも、区分的に一定な根底的信号の存在を仮定するような双方向フィルタや異方性拡散フィルタ等(非特許文献34)のフィルタは、自然なイメージにおける複雑な空間強度的推移を正しく再構築することに関して失敗する(非特許文献37)。この効果は図16に示されており、そこではフィルタカーネルは滑らかなエッジの一方側に向けてバイアスされている(センサ画素においてなされる面サンプリング故に、自然なイメージにおけるエッジは帯域制限されている)。再構築の際、先述のバイアス及び区分的に一定な信号についての仮定故に、シャープニング過多がもたらされる。結果としてもたらされる再構築アーチファクトは、多くの用途では視覚的に取るに足らないものとして許容され得る。もっとも、ディテール抽出の用途に関しては、このシャープニング過多は、芸術的観点からディテールがエンハンスされている場合には特にそうであるが、無視できないバンディング又はリンギング現象をもたらす(例えば、図8b及び9aを参照)。
Claims (80)
- 入力イメージをトーンマッピングしてトーンマップされた出力イメージを生成する方法であって、該方法は、
前記入力イメージとトーンマップされたイメージとの間のイメージコントラスト歪みについてのモデルに基づいてトーンカーブを決定するステップと、
前記決定されたトーンカーブに従って前記入力イメージをトーンマッピングするステップと
を含み、
前記トーンカーブを決定するステップは、前記イメージコントラスト歪みについてのモデル内のイメージコントラスト歪みを減少させるためにトーンカーブの値を解析的に計算することを含む、
方法。 - 前記入力イメージは通常ダイナミックレンジ及び高ダイナミックレンジのいずれか1つである、請求項1に記載の方法。
- 前記トーンカーブの前記値は、前記イメージコントラスト歪みについてのモデル内のイメージコントラスト歪みを最小化するために解析的に計算される、請求項1又は2に記載の方法。
- 前記トーンカーブを決定するステップは、
前記入力イメージの輝度レベルの部分に対応する複数の輝度レベルセグメントを規定するステップと、
各々の所与の輝度レベルセグメントについて、前記所与の輝度レベルセグメントのトーンカーブの部分を表す区分的線形傾斜を、決定するステップと
を含む、請求項1〜3のいずれか1つに記載の方法。 - 各々の所与の輝度レベルセグメントのトーンカーブの部分を表す前記区分的線形傾斜を決定するステップに関しては、前記区分的線形傾斜が非減少的であり、また、前記区分的線形傾斜によってトーンマッピングされた前記出力イメージは前記トーンマッピングされた出力イメージを表示するための表示装置の利用可能ダイナミックレンジ内に収まる、請求項4に記載の方法。
- (i)前記入力イメージの任意の領域が第(k番目)輝度レベルセグメント内に入る輝度レベルを有する確率、
(ii)第(k番目)輝度レベルセグメントのイメージ顕著性、及び
(iii)所与の第(k番目)輝度レベルセグメントの前記区分的線形傾斜の関数
の少なくとも2つについての積についての、全輝度レベルセグメント(k=1..N)にわたっての和を減らすために、前記輝度レベルセグメントのトーンカーブの部分を表す前記区分的線形傾斜が決定される、請求項4又は5に記載の方法。 - 前記イメージ顕著性は、前記入力イメージの複数の領域の前記所与の第(k番目)輝度レベルセグメントのイメージコントラストに基づいて決定される、請求項6に記載の方法。
- 前記イメージ顕著性は、前記所与の第(k番目)輝度レベルセグメントについてのイメージコントラストが前記入力イメージのノイズモデルのノイズレベルよりも大きくなるような前記入力イメージの領域の量についての関数である、請求項7に記載の方法。
- 各々の輝度レベルセグメントの前記線形傾斜は
- 前記最小化させることは、
- 前記入力イメージの任意の領域が所与の第(k番目)輝度レベルセグメントに収まる確率が、前記入力イメージのノイズレベルよりも大きなコントラストの領域を有する前記入力イメージに基づいて、調整される、請求項6〜10のいずれか1つに記載の方法。
- 前記入力イメージの任意の領域が所与の第(k番目)輝度レベルセグメントに収まる確率が、前記入力イメージの任意の画素が所与の第(k番目)輝度レベルセグメントに収まる確率を前記入力イメージのノイズレベルよりも大きなイメージコントラスト値を有する入力イメージ内画素の個数によってさらに重み付けした確率に、対応する、請求項11に記載の方法。
- 前記入力イメージは複数の局所的領域に細分化され、また、各々の前記局所的領域について局所的トーンカーブが決定される、請求項1〜12のいずれか1つに記載の方法。
- 前記入力イメージをベース層とディテール層とに分解するステップであって、前記トーンカーブが前記ベース層について決定され、また、前記トーンマッピングが前記ベース層に対して適用される、ステップと、
前記ディテール層を前記トーンマッピングされたベース層と組み合わせるステップと
をさらに含む、請求項1〜13のいずれか1つに記載の方法。 - 請求項14に記載の方法であって、前記入力イメージを分解するステップは、前記入力イメージに空間フィルタを適用してベース層とディテール層とを生成することを含み、該フィルタリングは複数の画素の各々について、
前記画素の周囲の領域内において前記入力イメージのエッジの存在を検知することと、
前記領域内における前記エッジの存在に従って、前記領域にフィルタリングカーネルを選択的に適用することと
を伴う、方法。 - 前記ディテール層を、前記トーンマッピングされたベース層の視認性閾値と前記入力イメージのノイズモデルとに基づいて調節するステップをさらに含む、請求項14又は15に記載の方法。
- 入力イメージをトーンマッピングしてトーンマッピングされた出力イメージを生成する方法であって、該方法は、
前記入力イメージに空間フィルタを適用してベース層とディテール層とを生成するステップを含み、該フィルタリングは複数の画素の各々について、
前記画素の周囲の領域内において前記入力イメージのエッジの存在を検知することと、
前記領域内における前記エッジの存在に従って、前記領域にフィルタリングカーネルを選択的に適用すること
とを含む、方法。 - 前記空間フィルタは反復的に適用されて前記フィルタリングカーネルのサイズは反復毎に増大され、
所与の画素についての反復間フィルタリングフローは、前記所与の画素の周囲の領域内の勾配が、前記領域内におけるエッジの存在を表す所定のエッジ閾値より大きいと決定された際に、停止される、
請求項17に記載の方法。 - 前記ベース層をトーンマッピングするステップと、
前記ディテール層と前記トーンマッピングされたベース層とを組み合わせるステップ
とをさらに含む、請求項17又は18に記載の方法。 - 視認性閾値と前記入力イメージのノイズモデルとに基づいて前記ディテール層を調節するステップをさらに含み、
前記調節されたディテール層のモデルは前記トーンマッピングされたベース層と組み合わされる、
請求項17〜19のいずれか1つに記載の方法。 - 入力イメージをトーンマッピングしてトーンマッピングされた出力イメージを生成する方法であって、
前記入力イメージのフィルタリングからベース層とディテール層とを抽出するステップと、
前記ベース層をトーンマッピングするステップと、
視認性閾値と前記入力イメージのノイズモデルとに基づいて前記ディテール層を調節するステップと、
前記トーンマッピングされたベース層と前記調節されたディテール層とを組み合わせるステップ
とを含む、方法。 - 前記ディテール層は、前記視認性閾値と前記ノイズモデルから決定されたノイズレベルとの比率に従って調節される、請求項21に記載の方法。
- 前記視認性閾値は前記トーンマッピングされたベース層に基づいて決定され、また、前記ノイズモデルはトーンマッピング前の前記ベース層に基づいて決定される、請求項21又は22に記載の方法。
- 前記視認性閾値は検知可能最小差異に対応する、請求項23に記載の方法。
- ノイズモデル生成器と、
1つ以上のコンテキストパラメータを受信するように動作可能なトーンマッピングモジュールと
を備えるコンテキスト把握型トーンマッピングオペレータであって、
該トーンマッピングモジュールは、
i)入力イメージのベース層と前記入力イメージのディテール層とを抽出するためのエッジ停止フィルタリング下位モジュールと、
ii)トーンカーブ生成下位モジュールと、
iii)前記ベース層と前記ディテール層とを組み合わせるための組み合わせ下位モジュールと
を備え、
前記エッジ停止フィルタリング下位モジュール、前記トーンカーブ生成下位モジュール、前記組み合わせ下位モジュールの少なくとも1つは、前記1つ以上のコンテキストパラメータの少なくとも1つに基づいて調整可能である、トーンマッピングオペレータ。 - 前記コンテキストパラメータは、観察者特性、アンビエント光、出力ディスプレイ装置のピーク輝度、アンビエント反射率、前記出力ディスプレイ装置のダイナミックレンジ、ユーザ定義パラメータ、スピード、露出の1つ以上を含む、請求項25に記載のトーンマッピングオペレータ。
- 前記コンテキストパラメータは、アンビエント光、出力ディスプレイ装置のピーク輝度、前記出力ディスプレイ装置のダイナミックレンジ、露出の1つ以上を含み、
前記トーンカーブ生成下位モジュールは、前記アンビエント光、前記ピーク輝度、ダイナミックレンジの1つ以上に基づいて実効出力ダイナミックレンジを決定して、前記実効出力ダイナミックレンジに基づいて前記トーンカーブを生成する、
請求項25又は26に記載のトーンマッピングオペレータ。 - 前記コンテキストパラメータは観察者特性を含み、
前記組み合わせ下位モジュールは、前記観察者特性に基づいて前記ディテール層を調節し、また、前記ベース層を前記調節されたディテール層と組み合わせる、
請求項25〜27のいずれか1つに記載のトーンマッピングオペレータ。 - 前記コンテキストパラメータはスピードを含み、
前記エッジ停止フィルタリング下位モジュールは、前記スピードに従った反復回数の適用をなすように構成されている、
請求項25〜28のいずれか1つに記載のトーンマッピングオペレータ。 - 前記コンテキストパラメータは観察者プリファレンスを含み、
前記トーンカーブ生成下位モジュールは前記観察者プリファレンスに基づいてトーンマッピングのためのトーンカーブを生成し、並びに、前記組み合わせ下位モジュールは前記観察者プリファレンスに基づいて前記ディテール層を調節してまた前記ベース層を前記調節されたディテール層と組み合わせる、
請求項25〜29のいずれか1つに記載のトーンマッピングオペレータ。 - トーンマッピングされた出力イメージを入力イメージから生成するためのコンピュータによって実施されるシステムであって、該システムは、
少なくとも1つのデータ記憶装置と、
前記少なくとも1つの記憶装置に結合された少なくとも1つのプロセッサと
を備え、
前記少なくとも1つのプロセッサは、
前記入力イメージとトーンマップされたイメージとの間のイメージコントラスト歪みについてのモデルに基づいてトーンカーブを決定するステップと、
前記決定されたトーンカーブに従って前記入力イメージをトーンマッピングするステップと
をなすように構成されており、
前記トーンカーブを決定するステップは、前記イメージコントラスト歪みについてのモデル内のイメージコントラスト歪みを減少させるためにトーンカーブの値を解析的に計算することを含む、
システム。 - 前記入力イメージは通常ダイナミックレンジ及び高ダイナミックレンジのいずれか1つである、請求項31に記載のシステム。
- 前記トーンカーブの前記値は、前記イメージコントラスト歪みについてのモデル内のイメージコントラスト歪みを最小化するために解析的に計算される、請求項31又は32に記載のシステム。
- 前記トーンカーブを決定するステップは、
前記入力イメージの輝度レベルの部分に対応する複数の輝度レベルセグメントを規定するステップと、
各々の所与の輝度レベルセグメントについて、前記所与の輝度レベルセグメントのトーンカーブの部分を表す区分的線形傾斜を、決定するステップ
とを含む、請求項31〜33のいずれか1つに記載のシステム。 - 各々の所与の輝度レベルセグメントのトーンカーブの部分を表す前記区分的線形傾斜を決定するステップに関しては、前記区分的線形傾斜が非減少的であり、また、前記区分的線形傾斜によってトーンマッピングされた前記出力イメージは前記トーンマッピングされた出力イメージを表示するための表示装置の利用可能ダイナミックレンジ内に収まる、請求項34に記載のシステム。
- (i)前記入力イメージの任意の領域が第(k番目)輝度レベルセグメント内に入る輝度レベルを有する確率、
(ii)第(k番目)輝度レベルセグメントのイメージ顕著性、及び
(iii)所与の第(k番目)輝度レベルセグメントの前記区分的線形傾斜の関数
の少なくとも2つについての積についての、全輝度レベルセグメント(k=1..N)にわたっての和を減らすために、前記輝度レベルセグメントのトーンカーブの部分を表す前記区分的線形傾斜が決定される、請求項34又は35に記載のシステム。 - 前記イメージ顕著性は、前記入力イメージの複数の領域の前記所与の第(k番目)輝度レベルセグメントのイメージコントラストに基づいて決定される、請求項36に記載のシステム。
- 前記イメージ顕著性は、前記所与の第(k番目)輝度レベルセグメントについてのイメージコントラストが前記入力イメージのノイズモデルのノイズレベルよりも大きくなるような前記入力イメージの領域の量についての関数である、請求項37に記載のシステム。
- 各々の輝度レベルセグメントの前記線形傾斜は
- 前記最小化させることは、
- 前記入力イメージの任意の領域が所与の第(k番目)輝度レベルセグメントに収まる確率が、前記入力イメージのノイズレベルよりも大きなコントラストの領域を有する前記入力イメージに基づいて、調整される、請求項36〜40のいずれか1つに記載のシステム。
- 前記入力イメージの任意の領域が所与の第(k番目)輝度レベルセグメントに収まる確率が、前記入力イメージの任意の画素が所与の第(k番目)輝度レベルセグメントに収まる確率を前記入力イメージのノイズレベルよりも大きなイメージコントラスト値を有する入力イメージ内画素の個数によってさらに重み付けした確率に、対応する、請求項41に記載のシステム。
- 前記入力イメージは複数の局所的領域に細分化され、また、各々の前記局所的領域について局所的トーンカーブが決定される、請求項31〜42のいずれか1つに記載のシステム。
- 前記少なくとも1つのプロセッサは、
前記入力イメージをベース層とディテール層とに分解するステップであって、前記トーンカーブが前記ベース層について決定され、また、前記トーンマッピングが前記ベース層に対して適用される、ステップと、
前記ディテール層を前記トーンマッピングされたベース層と組み合わせるステップ
とをさらになすように構成されている、請求項31〜43のいずれか1つに記載のシステム。 - 請求項44に記載のシステムであって、前記入力イメージを分解するステップは、前記入力イメージに空間フィルタを適用してベース層とディテール層とを生成することを含み、該フィルタリングは複数の画素の各々について、
前記画素の周囲の領域内において前記入力イメージのエッジの存在を検知することと、
前記領域内における前記エッジの存在に従って、前記領域にフィルタリングカーネルを選択的に適用すること
とを伴う、システム。 - 前記少なくとも1つのプロセッサは、前記ディテール層を、前記トーンマッピングされたベース層の視認性閾値と前記入力イメージのノイズモデルとに基づいて調節するステップをさらになすように構成されている、請求項44又は45に記載のシステム。
- トーンマッピングされた出力イメージを入力イメージから生成するためのコンピュータによって実施されるシステムであって、該システムは、
少なくとも1つのデータ記憶装置と、
前記少なくとも1つの記憶装置に結合された少なくとも1つのプロセッサ
とを備え、前記少なくとも1つのプロセッサは、前記入力イメージに空間フィルタを適用してベース層とディテール層とを生成するステップをなすように構成されており、該フィルタリングは複数の画素の各々について、
前記画素の周囲の領域内において前記入力イメージのエッジの存在を検知することと、
前記領域内における前記エッジの存在に従って、前記領域にフィルタリングカーネルを選択的に適用すること
とを含む、システム。 - 前記空間フィルタは反復的に適用されて前記フィルタリングカーネルのサイズは反復毎に増大され、
所与の画素についての反復間フィルタリングフローは、前記所与の画素の周囲の領域内の勾配が、前記領域内におけるエッジの存在を表す所定のエッジ閾値より大きいと決定された際に、停止される、
請求項47に記載のシステム。 - 前記少なくとも1つのプロセッサは、
前記ベース層をトーンマッピングするステップと、
前記ディテール層と前記トーンマッピングされたベース層とを組み合わせるステップ
とをさらになすように構成されている、請求項47又は48に記載のシステム。 - 前記少なくとも1つのプロセッサは、
視認性閾値と前記入力イメージのノイズモデルとに基づいて前記ディテール層を調節するステップをさらになすように構成されており、
前記調節されたディテール層のモデルは前記トーンマッピングされたベース層と組み合わされる、
請求項47〜49のいずれか1つに記載のシステム。 - トーンマッピングされた出力イメージを入力イメージから生成するためのコンピュータによって実施されるシステムであって、該システムは、
少なくとも1つのデータ記憶装置と、
前記少なくとも1つの記憶装置に結合された少なくとも1つのプロセッサ
とを備え、前記少なくとも1つのプロセッサは、
前記入力イメージのフィルタリングからベース層とディテール層とを抽出するステップと、
前記ベース層をトーンマッピングするステップと、
視認性閾値と前記入力イメージのノイズモデルとに基づいて前記ディテール層を調節するステップと、
前記トーンマッピングされたベース層と前記調節されたディテール層とを組み合わせるステップ
とをなすように構成されている、システム。 - 前記ディテール層は、前記視認性閾値と前記ノイズモデルから決定されたノイズレベルとの比率に従って調節される、請求項51に記載のシステム。
- 前記視認性閾値は前記トーンマッピングされたベース層に基づいて決定され、また、前記ノイズモデルはトーンマッピング前の前記ベース層に基づいて決定される、請求項52に記載のシステム。
- 前記視認性閾値は検知可能最小差異に対応する、請求項53に記載のシステム。
- トーンマッピングされた出力イメージを入力イメージから生成するためのコンピュータ実行可能命令を備えたコンピュータ可読記憶媒体であって、該コンピュータ実行可能命令は請求項1〜16のいずれか1つに記載の方法を行うためのものである、コンピュータ可読記憶媒体。
- トーンマッピングされた出力イメージを入力イメージから生成するためのコンピュータ実行可能命令を備えたコンピュータ可読記憶媒体であって、該コンピュータ実行可能命令は請求項17〜20のいずれか1つに記載の方法を行うためのものである、コンピュータ可読記憶媒体。
- トーンマッピングされた出力イメージを入力イメージから生成するためのコンピュータ実行可能命令を備えたコンピュータ可読記憶媒体であって、該コンピュータ実行可能命令は請求項21〜24のいずれか1つに記載の方法を行うためのものである、コンピュータ可読記憶媒体。
- トーンマッピングされたビデオ出力を生成する方法であって、
入力ビデオを取得するステップと、
コントラスト歪みを最小化するコンテキスト把握型トーンマッピングオペレータを前記入力ビデオに適用して、出力ビデオを生成するステップであって、前記トーンマッピングオペレータは少なくとも1つのコンテキスト把握型パラメータを適用する、ステップ
とを含む、方法。 - 前記入力ビデオは、対応するビット深度を有し、また、低ダイナミックレンジ若しくは高ダイナミックレンジを有している、請求項58に記載の方法。
- 前記少なくとも1つのコンテキスト把握型パラメータは、イメージ若しくはビデオノイズ、ディスプレイ特性、観察条件、イメージ内容、個々の視覚システムの感度、又はイメージディテールに関してのユーザ選好のうち1つ以上を含む、請求項58に記載の方法。
- 前記コンテキスト把握型トーンマッピングオペレータを適用するステップは、エッジ停止空間フィルタを適用することを含む、請求項58に記載の方法。
- 前記コンテキスト把握型トーンマッピングオペレータを適用するステップは、少なくとも1つのトーンカーブを適用することを含む、請求項58に記載の方法。
- 前記少なくとも1つのトーンカーブはビデオフレーム内の各タイルのコンテキストに局所的に適応する、請求項62に記載の方法。
- 前記タイルは、重複している又は重複していない方形画素領域のいずれかである、請求項63に記載の方法。
- 前記少なくとも1つのトーンカーブは、考慮されるフレーム領域内のコントラスト歪みを最小化する、請求項62に記載の方法。
- 前記コントラスト歪みは、ソース及びターゲットイメージのコントラスト間の差の二乗の期待される値として推定され、両イメージにおけるコントラストは所与とされる、請求項65に記載の方法。
- 前記コントラスト歪みは、入力輝度レベルの関数たる重要性尺度によって重み付けされる、請求項65に記載の方法。
- 前記重要性尺度は局所的コントラスト推定である、請求項67に記載の方法。
- 前記局所的コントラスト推定は画素の値の標準偏差でありこれはノイズレベルによってハード閾値化される、請求項68に記載の方法。
- 前記コンテキスト把握型トーンマッピングオペレータを適用するステップは、イメージディテールに対してノイズ把握型制御を適用することを含む、請求項58に記載の方法。
- 1つ以上のイメージフレームからディテールを抽出する方法であって、該方法は、
前記1つ以上の入力フレームに高速時空間フィルタを適用するステップを含み、該ステップは、
等方拡散オペレータを入力イメージの1つ以上の近傍に適用することと、
対応するスムージングパラメータ及び輝度値を伴う拡散オペレーションを適用することによって前記近傍のサイズを反復的に増大させること
とを伴う、方法。 - コンテキスト把握型トーンマッピングオペレータを適用することをさらに含む請求項71に記載の方法であって、
前記時空間フィルタを1つ以上の入力フレームに適用してディテール層とベース層とを取得するステップと、
少なくとも1つのトーンカーブを用いて前記ベース層を圧縮してトーンマッピングされたベース層を生成するステップと、
イメージディテールにノイズ把握型制御を適用するに際して前記ディテール層と前記ベース層と前記少なくとも1つのトーンカーブとを用いて出力ディテール層を生成するステップと、
前記トーンマッピングされたベース層と前記出力ディテール層とを組み合わせて出力ビデオを生成するステップ
とを含む、方法。 - 逆ディスプレイモデルを前記組み合わされた層に適用してトーンマッピングされた出力を生成するステップをさらに含む、請求項72に記載の方法。
- 前記少なくとも1つのトーンカーブを適用するに際して、前記入力ビデオに対応するノイズモデルを用いるステップをさらに含む、請求項72に記載の方法。
- 前記少なくとも1つのトーンカーブを適用するステップは、ピーク輝度、ダイナミックレンジ、及び出力ディスプレイと関連付けられているアンビエント光の少なくとも1つを考慮する、請求項72に記載の方法。
- 前記少なくとも1つのトーンカーブを適用するステップは、局所的/大域的パラメータ、トーン圧縮、露出、及びノイズ制御の少なくとも1つを考慮する、請求項72に記載の方法。
- 前記ノイズ把握型制御をイメージディテールに適用することは、ディテールスケーリング及びノイズ可視性制御の少なくとも1つを考慮する、請求項72に記載の方法。
- 前記エッジ停止空間フィルタはエッジ停止関数を活用する、請求項72に記載の方法。
- 請求項58〜78のいずれか1つに記載の方法を行うためのコンピュータ実行可能命令を備えるコンピュータ可読記憶媒体。
- プロセッサとメモリとを備えるシステムであって、前記メモリは請求項58〜78のいずれか1つに記載の方法を行うためのコンピュータ実行可能命令を備える、システム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201562213290P | 2015-09-02 | 2015-09-02 | |
US62/213,290 | 2015-09-02 | ||
PCT/CA2016/051043 WO2017035661A1 (en) | 2015-09-02 | 2016-09-02 | System and method for real-time tone-mapping |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021022661A Division JP7152540B2 (ja) | 2015-09-02 | 2021-02-16 | フィルタリング方法、及びシステム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2018531447A true JP2018531447A (ja) | 2018-10-25 |
JP2018531447A6 JP2018531447A6 (ja) | 2018-12-13 |
JP7008621B2 JP7008621B2 (ja) | 2022-01-25 |
Family
ID=58186398
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018512335A Active JP7008621B2 (ja) | 2015-09-02 | 2016-09-02 | リアルタイムトーンマッピングのためのシステム及び方法 |
JP2021022661A Active JP7152540B2 (ja) | 2015-09-02 | 2021-02-16 | フィルタリング方法、及びシステム |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021022661A Active JP7152540B2 (ja) | 2015-09-02 | 2021-02-16 | フィルタリング方法、及びシステム |
Country Status (6)
Country | Link |
---|---|
US (3) | US11107204B2 (ja) |
EP (2) | EP3944615A1 (ja) |
JP (2) | JP7008621B2 (ja) |
CN (1) | CN108702496B (ja) |
CA (1) | CA2997118A1 (ja) |
WO (1) | WO2017035661A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022154410A1 (ko) * | 2021-01-13 | 2022-07-21 | 삼성전자 주식회사 | 이미지 필터 효과의 생성 방법 및 그 전자 장치 |
Families Citing this family (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9955084B1 (en) * | 2013-05-23 | 2018-04-24 | Oliver Markus Haynold | HDR video camera |
WO2017035661A1 (en) * | 2015-09-02 | 2017-03-09 | Irystec Software Inc. | System and method for real-time tone-mapping |
US10755392B2 (en) * | 2017-07-13 | 2020-08-25 | Mediatek Inc. | High-dynamic-range video tone mapping |
CN108550158B (zh) * | 2018-04-16 | 2021-12-17 | Tcl华星光电技术有限公司 | 图像边缘处理方法、电子装置及计算机可读存储介质 |
WO2020027233A1 (ja) | 2018-07-31 | 2020-02-06 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置及び車両制御システム |
US11820289B2 (en) | 2018-07-31 | 2023-11-21 | Sony Semiconductor Solutions Corporation | Solid-state imaging device and electronic device |
EP3867860A1 (en) * | 2018-10-19 | 2021-08-25 | GoPro, Inc. | Tone mapping and tone control integrations for image processing |
WO2020203265A1 (ja) * | 2019-03-29 | 2020-10-08 | ソニー株式会社 | 映像信号処理装置、映像信号処理方法および撮像装置 |
CN110223256A (zh) * | 2019-06-10 | 2019-09-10 | 北京大学深圳研究生院 | 一种逆色调映射方法、装置及电子设备 |
CN110445986B (zh) * | 2019-07-30 | 2021-03-23 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
US11473971B2 (en) * | 2019-09-27 | 2022-10-18 | Apple Inc. | Ambient headroom adaptation |
CN110737440B (zh) * | 2019-10-22 | 2023-03-14 | 吉林工程技术师范学院 | 一种基于达芬奇内怀旧色系数字校色插件的编程法 |
CN110866860B (zh) * | 2019-11-01 | 2023-12-26 | 上海菲戈恩微电子科技有限公司 | 生物特征识别用的cis芯片的图像处理方法 |
US11790950B2 (en) * | 2020-01-14 | 2023-10-17 | Robert Salem Abraham | Film-making using style transfer |
CN115361510A (zh) * | 2020-05-08 | 2022-11-18 | 华为技术有限公司 | 一种高动态范围hdr视频的处理方法、编码设备和解码设备 |
CN114359058A (zh) * | 2020-10-13 | 2022-04-15 | 影石创新科技股份有限公司 | 基于深度学习的图像调色方法及计算机可读存储介质 |
CN112819736B (zh) * | 2021-01-13 | 2023-08-29 | 浙江理工大学 | 一种基于多曝光的工件字符图像局部细节增强融合方法 |
US11810274B2 (en) * | 2021-03-04 | 2023-11-07 | Nvidia Corporation | Tone management using tone gain functions for high dynamic range imaging applications |
US11606544B2 (en) * | 2021-06-08 | 2023-03-14 | Black Sesame Technologies Inc. | Neural network based auto-white-balancing |
US11961206B2 (en) * | 2021-09-09 | 2024-04-16 | Samsung Electronics Co., Ltd. | Image generation using non-linear scaling and tone-mapping based on cubic spline curves |
US20230127327A1 (en) * | 2021-10-22 | 2023-04-27 | Samsung Electronics Co., Ltd. | System and method for learning tone curves for local image enhancement |
WO2022036338A2 (en) * | 2021-11-09 | 2022-02-17 | Futurewei Technologies, Inc. | System and methods for depth-aware video processing and depth perception enhancement |
US11734806B2 (en) * | 2021-11-24 | 2023-08-22 | Roku, Inc. | Dynamic tone mapping |
KR102564447B1 (ko) * | 2021-11-30 | 2023-08-08 | 엘지전자 주식회사 | 디스플레이 장치 |
WO2023128070A1 (en) * | 2022-01-03 | 2023-07-06 | Lg Electronics Inc. | Display device |
CN115018707B (zh) * | 2022-06-16 | 2023-07-18 | 山东工商学院 | 基于九曲面片双四次拟合的图像放大方法和装置 |
CN116109513B (zh) * | 2023-02-27 | 2023-08-04 | 南京林业大学 | 一种基于局部环境光投影恒常先验的图像去雾方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090027558A1 (en) * | 2007-07-27 | 2009-01-29 | Rafal Mantiuk | Apparatus and Method for Rendering High Dynamic Range Images for Standard Dynamic Range Display |
US20130241931A1 (en) * | 2012-03-14 | 2013-09-19 | Dolby Laboratiories Licensing Corporation | Efficient Tone-Mapping Of High-Bit-Depth Video To Low-Bit-Depth Display |
US20150213618A1 (en) * | 2014-01-28 | 2015-07-30 | Ittiam Systems (P) Ltd. | System and method for tone mapping on high dynamic range images |
Family Cites Families (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7020352B2 (en) * | 2001-05-25 | 2006-03-28 | Seiko Epson Corporation | Photo extraction techniques |
US8120570B2 (en) * | 2004-12-02 | 2012-02-21 | Sharp Laboratories Of America, Inc. | Systems and methods for tone curve generation, selection and application |
JPWO2006117919A1 (ja) * | 2005-04-28 | 2008-12-18 | コニカミノルタホールディングス株式会社 | 画像処理方法および画像処理装置ならびに画像処理プログラム |
US9177509B2 (en) * | 2007-11-30 | 2015-11-03 | Sharp Laboratories Of America, Inc. | Methods and systems for backlight modulation with scene-cut detection |
TWI352315B (en) * | 2008-01-21 | 2011-11-11 | Univ Nat Taiwan | Method and system for image enhancement under low |
WO2010088465A1 (en) * | 2009-02-02 | 2010-08-05 | Gentex Corporation | Improved digital image processing and systems incorporating the same |
EP2382617A1 (en) * | 2010-01-19 | 2011-11-02 | Pixar | Selective diffusion of filtered edges in images |
US8831340B2 (en) | 2010-01-27 | 2014-09-09 | Adobe Systems Incorporated | Methods and apparatus for tone mapping high dynamic range images |
US9230312B2 (en) * | 2010-01-27 | 2016-01-05 | Adobe Systems Incorporated | Methods and apparatus for performing tone mapping on high dynamic range images |
US9692991B2 (en) * | 2011-11-04 | 2017-06-27 | Qualcomm Incorporated | Multispectral imaging system |
CN102722868B (zh) * | 2012-05-23 | 2014-08-20 | 西安理工大学 | 一种高动态范围图像色调映射方法 |
US8917336B2 (en) * | 2012-05-31 | 2014-12-23 | Apple Inc. | Image signal processing involving geometric distortion correction |
US8965141B2 (en) * | 2012-08-17 | 2015-02-24 | Thomson Licensing | Image filtering based on structural information |
US9412155B2 (en) * | 2012-12-31 | 2016-08-09 | Karl Storz Imaging, Inc. | Video system with dynamic contrast and detail enhancement |
US9275445B2 (en) * | 2013-08-26 | 2016-03-01 | Disney Enterprises, Inc. | High dynamic range and tone mapping imaging techniques |
US8958658B1 (en) | 2013-09-10 | 2015-02-17 | Apple Inc. | Image tone adjustment using local tone curve computation |
GB201410635D0 (en) * | 2014-06-13 | 2014-07-30 | Univ Bangor | Improvements in and relating to the display of images |
US9361679B2 (en) * | 2014-07-28 | 2016-06-07 | Disney Enterprises, Inc. | Temporally coherent local tone mapping of HDR video |
US9378543B2 (en) * | 2014-07-28 | 2016-06-28 | Disney Enterprises, Inc. | Temporally coherent local tone mapping of high dynamic range video |
CN104408752B (zh) * | 2014-12-11 | 2017-07-04 | 西安电子科技大学 | 一种基于混合色调映射算法的高动态范围图像压缩方法 |
US9742963B2 (en) * | 2015-05-08 | 2017-08-22 | Adobe Systems Incorporated | Color rendering on a hue plane |
WO2017035661A1 (en) * | 2015-09-02 | 2017-03-09 | Irystec Software Inc. | System and method for real-time tone-mapping |
US9857953B2 (en) * | 2015-11-17 | 2018-01-02 | Adobe Systems Incorporated | Image color and tone style transfer |
US10547871B2 (en) * | 2017-05-05 | 2020-01-28 | Disney Enterprises, Inc. | Edge-aware spatio-temporal filtering and optical flow estimation in real time |
US11276369B2 (en) * | 2017-09-08 | 2022-03-15 | Apple Inc. | Electronic display burn-in detection and mitigation |
US10692191B2 (en) * | 2018-08-10 | 2020-06-23 | Apple Inc. | Per-pixel photometric contrast enhancement with noise control |
-
2016
- 2016-09-02 WO PCT/CA2016/051043 patent/WO2017035661A1/en active Application Filing
- 2016-09-02 JP JP2018512335A patent/JP7008621B2/ja active Active
- 2016-09-02 US US15/757,154 patent/US11107204B2/en active Active
- 2016-09-02 EP EP21196068.7A patent/EP3944615A1/en active Pending
- 2016-09-02 CA CA2997118A patent/CA2997118A1/en active Pending
- 2016-09-02 EP EP16840480.4A patent/EP3345388B1/en active Active
- 2016-09-02 CN CN201680063702.1A patent/CN108702496B/zh active Active
-
2021
- 2021-02-16 JP JP2021022661A patent/JP7152540B2/ja active Active
- 2021-05-14 US US17/320,689 patent/US11756174B2/en active Active
-
2023
- 2023-09-11 US US18/244,672 patent/US20230419463A1/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090027558A1 (en) * | 2007-07-27 | 2009-01-29 | Rafal Mantiuk | Apparatus and Method for Rendering High Dynamic Range Images for Standard Dynamic Range Display |
US20130241931A1 (en) * | 2012-03-14 | 2013-09-19 | Dolby Laboratiories Licensing Corporation | Efficient Tone-Mapping Of High-Bit-Depth Video To Low-Bit-Depth Display |
US20150213618A1 (en) * | 2014-01-28 | 2015-07-30 | Ittiam Systems (P) Ltd. | System and method for tone mapping on high dynamic range images |
Non-Patent Citations (1)
Title |
---|
MANTIUK ET AL.: "Display adaptive tone mapping", ACM TRANSACTIONS ON GRAPHICS, vol. 27, no. 3, JPN6020033554, August 2008 (2008-08-01), pages 1 - 68, ISSN: 0004551675 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022154410A1 (ko) * | 2021-01-13 | 2022-07-21 | 삼성전자 주식회사 | 이미지 필터 효과의 생성 방법 및 그 전자 장치 |
Also Published As
Publication number | Publication date |
---|---|
EP3345388A4 (en) | 2019-07-24 |
CN108702496A (zh) | 2018-10-23 |
US20230419463A1 (en) | 2023-12-28 |
WO2017035661A1 (en) | 2017-03-09 |
EP3345388B1 (en) | 2021-11-24 |
EP3345388A1 (en) | 2018-07-11 |
JP2021077420A (ja) | 2021-05-20 |
US11107204B2 (en) | 2021-08-31 |
EP3944615A1 (en) | 2022-01-26 |
CA2997118A1 (en) | 2017-03-09 |
JP7008621B2 (ja) | 2022-01-25 |
US20210272251A1 (en) | 2021-09-02 |
US11756174B2 (en) | 2023-09-12 |
US20200286213A1 (en) | 2020-09-10 |
JP7152540B2 (ja) | 2022-10-12 |
CN108702496B (zh) | 2021-09-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7152540B2 (ja) | フィルタリング方法、及びシステム | |
JP2018531447A6 (ja) | リアルタイムトーンマッピングのためのシステム及び方法 | |
Eilertsen et al. | Real-time noise-aware tone mapping | |
Eilertsen et al. | A comparative review of tone‐mapping algorithms for high dynamic range video | |
US9275445B2 (en) | High dynamic range and tone mapping imaging techniques | |
Huo et al. | Physiological inverse tone mapping based on retina response | |
Chen et al. | Robust image and video dehazing with visual artifact suppression via gradient residual minimization | |
Kovaleski et al. | High-quality reverse tone mapping for a wide range of exposures | |
Guo et al. | Low-light image enhancement via breaking down the darkness | |
Boitard et al. | Temporal coherency for video tone mapping | |
Guarnieri et al. | High dynamic range image display with halo and clipping prevention | |
Boschetti et al. | High dynamic range image tone mapping based on local histogram equalization | |
Lee et al. | Noise reduction and adaptive contrast enhancement for local tone mapping | |
WO2010024782A1 (en) | A method and system for displaying an hdr image on a ldr display device | |
Park et al. | Generation of high dynamic range illumination from a single image for the enhancement of undesirably illuminated images | |
Singh et al. | Weighted least squares based detail enhanced exposure fusion | |
CN109478316B (zh) | 实时自适应阴影和高光增强 | |
El Mezeni et al. | Enhanced local tone mapping for detail preserving reproduction of high dynamic range images | |
CN112819699A (zh) | 视频处理方法、装置及电子设备 | |
Bonnier et al. | Locally adaptive multiscale contrast optimization | |
Zhang et al. | A dynamic range adjustable inverse tone mapping operator based on human visual system | |
Liu et al. | An adaptive tone mapping algorithm based on gaussian filter | |
Lee et al. | Ghost and noise removal in exposure fusion for high dynamic range imaging | |
Martínez-Cañada et al. | Exposure fusion algorithm based on perceptual contrast and dynamic adjustment of well-exposedness | |
Krawczyk et al. | HDR tone mapping |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180510 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190828 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200908 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20201207 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20210203 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210216 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210727 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210826 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220105 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220111 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7008621 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |