JP2021521517A - ニューラルネットワークマッピングを用いるhdr画像表現 - Google Patents
ニューラルネットワークマッピングを用いるhdr画像表現 Download PDFInfo
- Publication number
- JP2021521517A JP2021521517A JP2020555148A JP2020555148A JP2021521517A JP 2021521517 A JP2021521517 A JP 2021521517A JP 2020555148 A JP2020555148 A JP 2020555148A JP 2020555148 A JP2020555148 A JP 2020555148A JP 2021521517 A JP2021521517 A JP 2021521517A
- Authority
- JP
- Japan
- Prior art keywords
- image
- mapping
- input
- dynamic range
- color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 146
- 238000013507 mapping Methods 0.000 title claims abstract description 141
- 238000000034 method Methods 0.000 claims abstract description 108
- 238000005457 optimization Methods 0.000 claims abstract description 7
- 241000023320 Luma <angiosperm> Species 0.000 claims description 37
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 claims description 37
- 230000008569 process Effects 0.000 claims description 37
- 230000001537 neural effect Effects 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 7
- 238000003062 neural network model Methods 0.000 claims description 3
- 230000001419 dependent effect Effects 0.000 claims description 2
- 239000010410 layer Substances 0.000 description 45
- 230000006870 function Effects 0.000 description 24
- 238000010606 normalization Methods 0.000 description 14
- 238000009826 distribution Methods 0.000 description 6
- 238000007906 compression Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000006835 compression Effects 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000013500 data storage Methods 0.000 description 3
- 239000002356 single layer Substances 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004301 light adaptation Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/002—Image coding using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/001—Model-based coding, e.g. wire frame
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0102—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving the resampling of the incoming video signal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Facsimile Image Signal Circuits (AREA)
Abstract
Description
本願は、2018年4月9日付け出願の米国仮特許出願第62/654,614号および2018年4月9日付け出願の欧州特許出願第18166320.4号に基づく優先権を主張するものであり、両出願の開示内容を全て本願に援用する。
本発明は、広く画像に関する。より詳細には、本発明のある実施形態は、ニューラルネットワークマッピングを用いて、ハイダイナミックレンジ画像をある表現から別の表現へマッピングすることに関する。
本明細書において、用語「ダイナミックレンジ」(DR)は、人間の視覚システム(HVS)が画像においてある範囲の強度(例えば、輝度、ルマ)(例えば、最暗のグレー(黒)から最明の白(ハイライト)まで)を知覚する能力に関連し得る。この意味では、DRはシーン−リファード(scene-referred)の強度に関する。DRはまた、ディスプレイデバイスが特定の幅を有する強度範囲を妥当にまたは近似的に描画する能力にも関連し得る。この意味では、DRは、ディスプレイ−リファード(display-referred)の強度に関する。本明細書中の任意の箇所において、ある特定の意味が特に明示的に指定されている場合を除いて、この用語はどちらの意味としても(例えば、区別なく)使用できるものとする。
同様の部材に同様の参照符号を付した添付図面の各図において、本発明のある実施形態を限定する事なく例示する。
ニューラルネットワークに基づき画像マッピング関数を導出することを、本明細書に記載する。1組の対応する画像、すなわち、同一のシーンを表現するが異なるレベルのダイナミックレンジで表現する画像群に対し、本節において、エンコーダがニューラルネットワークに基づくマッピングを用いてこれらの画像のうち1つをもう1つの画像において(in terms of)近似することを、可能にする方法を説明する。以下の説明においては、便宜上、本発明を完全に理解できるように、多数の詳細事項を説明する。ただし、これらの詳細事項が無くても本発明を実施可能であることは明白であろう。他方、本発明の説明を不必要に煩雑にしたり、不明瞭にしたり、難読化したりしないように、周知の構造およびデバイスの細かな詳細までは説明しない。
本明細書に記載の実施形態例は、ニューラルネットワークを用いて画像マッピング関数を導出することに関する。第1の実施形態において、エンコーダは、第1のダイナミックレンジを有する画像を第2のダイナミックレンジを有する画像において(in terms of)近似するように各々が適応された、1つ以上のニューラルネットワーク(NN)モデルにアクセスできる。エンコーダは、第1のダイナミックレンジにおける第1の画像と、第2のダイナミックレンジにおける第2の画像とを受信する。これらの2つの画像は同一のシーンを表現している。エンコーダは、様々なNNモデルから、第1の画像と第2の画像とに基づき第2の画像を近似する出力画像を決定するためのニューラルネットワークモデルを選択する。エンコーダは次に、最適化基準(optimizing criterion)と、第1の画像と、第2の画像とに基づき、選択されたNNモデルにおけるパラメータ群の少なくともいくつかの値を決定する。これらのパラメータは、選択されたNNモデルの少なくとも1つの層(layer)におけるノード群の少なくともいくつかに対する活性化関数とともに用いられる、ノード重み(node weights)および/またはノードバイアス(node biases)を含む。ここで、いくつかのノード重みおよび/またはノードバイアスは既定であってもよく、ゆえに、選択されたNNモデルのパラメータ群の全ての値を最適化基準に則って決定する必要はないかも知れないことに留意されたい。生成された出力画像は圧縮されてもよく、当該マッピングを特徴付けるNNパラメータは、デコーダへ引き渡されるメタデータとして符号化され得る。
図1は、本発明のある実施形態による、HDR−SDRシステム(100)におけるデータフローの一例を表している。HDRカメラ(110)を用いて、HDR画像またはHDR映像シーケンスをキャプチャする。キャプチャに引き続き、キャプチャされた画像または映像をマスタリング処理(120)において処理することにより、ターゲットHDR画像(125)を作成する。マスタリング処理は、編集、一次的および二次的な色補正(color correction)、色変換(color transformation)、およびノイズ除去(noise filtering)などの、様々な処理ステップを組み入れ得る。本処理のHDR出力(125)は、キャプチャ画像がターゲットHDRディスプレイ(例えばHDRディスプレイ160)にどのように表示されるかについての、制作意図を表現している。
背景
限定はせずに、
にしたい。
注記:本明細書の以降の部分において、NNの入力および出力パラメータを、式(1a)におけるマッピングの観点から表現することがある。しかし、本明細書に記載の方法は、単純にSDR入力とHDR入力とを入れ替えることにより、式(1b)のマッピングを表現するように、容易に拡張することができる。
ある実施形態において、入力信号を[−1 1]の範囲へ正規化し直す(renormalizing)ことにより、性能を向上させることが可能である。このような態様において、ニューラルネットワークは、以下を含む必要がある。
・入力信号の各チャネルを[−1 1]へスケーリングする、プリスケーリング段(正規化)(normalization)
・[−1 1]に納まっている出力信号の各チャネルを、元の範囲へスケーリングし戻す、ポストスケーリング段(非正規化)(de-normalization)
・各入力成分に対する正規化パラメータ(例えば、ゲイン、最小、および最大){G,nmin,nmax}
・L層ニューラルパラメータ。例えば、第j番目の層における
図3Aは、グローバルマッピングのある実施形態による、HDRからSDRへのマッピングを生成するためのシステムの一例を表している。ここでは、画素の位置に拘らず、画像全体に対して同一の画素マッピングが行われる。一例として、一般性を失うことなく、当該入力はYCbCr4:2:0フォーマットであるものと想定する。但し、使用されている色形式(例えば、YCbCr4:2:2または4:4:4、RGB、ICtCpなど)に拘らず、同様なアーキテクチャを適用することが可能である。所与のリファレンスHDR(125)およびSDR(145)フレームに対し、3つのニューラルネットワーク(305)を用いて、Y、Cb、およびCrをマッピングする。入力4:2:0フォーマットのために、ある実施形態において、NNユニット(305)に対する全ての入力が同一の空間解像度を有するように、ダウンスケーリング器(down-scaler)310およびアップスケーリング器(up-scaler)315を使用し得る。これらのアップスケーリングおよびダウンスケーリング関数は、もしも当該入力が4:4:4フォーマットであるならば、省くことができる。図3Aに表すように、
・Y−NNM(305−Y)は、入力として、vY、vCb,Cr(アップサンプリングされた)、およびsYを有し、出力として、マッピングされたSDR
・Cb−NNM(305−Cb)は、入力として、vY(ダウンサンプリングされた)、vCb,Cr、およびsCbを有し、出力として、マッピングされたSDR
・Cr−NNM(305−Cr)は、入力として、vY(ダウンサンプリングされた)、vCb,Cr、およびsCrを有し、出力として、マッピングされたSDR
図3Bは、ある実施形態による、HDRからSDRへのマッピングを生成するためのシステムの一例を表しており、ここでは、画素マッピングはローカルレベルで行われる(ローカルマッピング)。この空間ドメインの変動性(variance)をモデリングするために、ニューラルネットワークマッピング(NNM)ユニット(305)は、位置的な画素情報を表現するさらなる入力307を有する。(xi,yi)は、第i番目の画素に対する正規化座標を表すものとする。すなわち、xi∈[0,1]かつyi∈[0,1]である。これらの正規化値は、元の座標を、画像の対応する寸法(dimensions)(例えば、幅と高さ)で割ることにより、算出できる。このとき、入力HDRベクトルは
・Y−NNM(305−Y)は、入力として、vY、vCb,Cr(アップサンプリングされた)、sY、および(xY,yY)を有し、出力として、マッピングされたSDR
・Cb−NNM(305−Cb)は、入力として、vY(ダウンサンプリングされた)、vCb,Cr、sCb、および(xCb,yCb)を有し、出力として、マッピングされたSDR
・Cr−NNM(305−Cr)は、入力として、vY(ダウンサンプリングされた)、vCb,Cr、sCr、および(xCr,yCr)を有し、出力として、マッピングされたSDR
ある実施形態において、先述のようにエンコーダは、複数のSDRもしくはHDR「グレード」(grades)、または、複数のSDRもしくはHDR「トリム」(trims)にアクセス可能であってもよいことが考えられる。このとき、図3Cに示すように、ニューラルネットワークマッピングネットワークは、これらの複数のトリムを利用することにより、ある表現から別の表現へのマッピングをさらに改善し得る。
・Y−NNM(305−Y)は、入力として、vY、vCb,Cr(アップサンプリングされた)、sY、および利用可能なグレードID(例えばt0、t1、およびt2)を有し、出力として、マッピングされたSDR
・Cb−NNM(305−Cb)は、入力として、vY(ダウンサンプリングされた)、vCb,Cr、sCb、および(xCb,yCb)、ならびに利用可能なグレードID(例えばt0、t1、およびt2)を有し、出力として、マッピングされたSDR
・Cr−NNM(305−Cr)は、入力として、vY(ダウンサンプリングされた)、vCb,Cr、sCr、および利用可能なグレードID(例えばt0、t1、およびt2)を有し、出力として、マッピングされたSDR
本明細書において、「3Dマッピングテーブル(3D−MTまたは3DMT)」という用語は、入力画像データを表現し、より効率的な画像処理のために用いられる、3Dルックアップテーブルのことを指す。3Dマッピングテーブルは、B.Wenらによる2017年10月4日付け出願の米国特許出願シリアル番号第15/725,101号、「Inverse Luma/Chroma Mappings with Histogram Transfer and Approximation」において初めて導入されたものであり、この出願の開示内容を全て本願に援用する。3Dマッピングテーブルは、2Dマッピングの拡張として導出されたものであり、両画像の累積密度関数(cumulative density functions)(CDF)がマッチしなければならないという制約に基づき、第1のダイナミックレンジにおける画像を別のダイナミックレンジへマッピングする。
(表1)3Dマッピングテーブルの生成/パートA
(表2)3Dマッピングテーブルの生成/パートB
次なるステップは、非ゼロ個の画素を有する3Dヒストグラムビンを特定し、画素を一切有しないビンを破棄することである。
(表3)3Dマッピングテーブルの生成/パートC
・ルマ3D−MTに対し、入力は、元の解像度におけるHDR Y、アップサンプリングされたHDR Cb/Cr、元の解像度におけるSDR Y、およびアップサンプリングされたSDR Cb/Crであり、出力は、
・クロマ3DMTに対し、入力は、ダウンサンプリングされたHDR Y、元の解像度におけるHDR Cb/Cr、ダウンサンプリングされたSDR Y、および元の解像度におけるSDR Cb/Crであり、出力は、
・Y NNMに対し、入力は、第1の3DMTからの
・Cb NNMに対し、入力は、第2の3DMTからの
・Cr NNMに対し、入力は、第2の3DMTからの
・Y−NNM(380−Y)は、入力として、vY、vCb,Cr(アップサンプリングされた)、およびメタデータ382−Yを有し、出力として、マッピングされた
・Cb−NNM(380−Cb)は、入力として、vY(ダウンサンプリングされた)、vCb,Cr、およびメタデータ382−Cbを有し、出力として、マッピングされた
・Cr−NNM(380−Cr)は、入力として、vY(ダウンサンプリングされた)、vCb,Cr、およびメタデータ382−Cbを有し、出力として、マッピングされた
前述のように、NNMメタデータは、入力正規化パラメータ群と、ニューラルネットワークパラメータ群とを含む。これらの値は、典型的には単精度または倍精度の浮動小数点数である。メタデータオーバーヘッドは、マッピングの効率に影響を及ぼすことなくメタデータオーバーヘッドデータの量を抑制するための、当該分野で知られるロッシーまたはロスレスデータ圧縮方式を適用することにより、低減されることが可能である。
(表4)NNMメタデータをサポートするビットストリーム構文例
注記:coefficient_data_typeが0に等しい場合には、fp_nnm_norm_gain_coef[ y ][ x ][ cmp ]を用いることにより、mapping_idc[ y ][ x ][ cmp ]に対応付けられた、正規化におけるゲイン係数の値(the value of the gain coefficient in the normalization)が導出される。
・coefficient_data_typeが0に等しいならば、ゲイン係数の値は、fp_nnm_norm_gain_coef[ y ][ x ][ cmp ] = (nnm_norm_gain_int[ y ][ x ][ cmp ] << coefficient_log2_denom) + nnm_norm_gain_coef[ y ][ x ][ cmp ]に等しい。
・coefficient_data_typeが1に等しいならば、ゲイン係数の値は、nnm_norm_gain_coef[ y ][ x ][ cmp ]に等しい。
注記:coefficient_data_typeが0に等しい場合には、fp_nnm_norm_nmin_coef[ y ][ x ][ cmp ]を用いることにより、mapping_idc[ y ][ x ][ cmp ]に対応付けられた、正規化ドメインにおける最小値の値(the value of the minimum value in the normalization domain)が導出される。
・coefficient_data_typeが0に等しいならば、ゲイン係数の値は、fp_nnm_norm_nmin_coef[ y ][ x ][ cmp ] = (nnm_norm_nmin_int[ y ][ x ][ cmp ] << coefficient_log2_denom) + nnm_norm_nmin_coef[ y ][ x ][ cmp ]に等しい。
・coefficient_data_typeが1に等しいならば、ゲイン係数の値は、nnm_norm_nmin_coef[ y ][ x ][ cmp ]に等しい。
注記:coefficient_data_typeが0に等しい場合には、fp_nnm_norm_vmin_coef[ y ][ x ][ cmp ]を用いることにより、mapping_idc[ y ][ x ][ cmp ]に対応付けられた、非正規化ドメインにおける最小値の値(the value of the minimum value in the de-normalization domain)が導出される。
・coefficient_data_typeが0に等しいならば、ゲイン係数の値は、fp_nnm_norm_vmin_coef[ y ][ x ][ cmp ] = (nnm_norm_vmin_int[ y ][ x ][ cmp ] << coefficient_log2_denom) + nnm_norm_vmin_coef[ y ][ x ][ cmp ]に等しい。
・coefficient_data_typeが1に等しいならば、ゲイン係数の値は、nnm_norm_vmin_coef[ y ][ x ][ cmp ]に等しい。
注記:coefficient_data_typeが0に等しい場合には、fp_nnm_weight_coef[ y ][ x ][ cmp ][ i ][ j ]を用いることにより、mapping_idc[ y ][ x ][ cmp ][ i ]][ j ]に対応付けられた、層jにおけるノードiに対する重み付け係数(the weighting coefficients for node i at layer j)が導出される。
・coefficient_data_typeが0に等しいならば、ゲイン係数の値は、fp_nnm_weight_coef[ y ][ x ][ cmp ][ i ][ j ] = (nnm_weight_int[ y ][ x ][ cmp ][ i ][ j ] << coefficient_log2_denom) + nnm_weight_coef[ y ][ x ][ cmp ] [ i ][ j ]に等しい。
・coefficient_data_typeが1に等しいならば、ゲイン係数の値は、nnm_weight_coef[ y ][ x ][ cmp ][ i ][ j ]に等しい。
本発明の実施形態は、コンピュータシステム、電子回路およびコンポーネントで構成されたシステム、マイクロコントローラ、フィールドプログラマブルゲートアレイ(FPGA)または他のコンフィギュラブルまたはプログラマブルロジックデバイス(PLD)、離散時間またはデジタル信号プロセッサ(DSP)、特定用途向けIC(ASIC)などの集積回路(IC)デバイス、および/または、このようなシステム、デバイスまたはコンポーネントを1つ以上含む装置、を用いて実施し得る。このコンピュータおよび/またはICは、本明細書に記載のようなNNMベースのマッピングに関する命令を行い、制御し、または実行し得る。このコンピュータおよび/またはICは、本明細書に記載のNNMベースのマッピングに関する様々なパラメータまたは値のいずれを演算してもよい。これらの画像および映像ダイナミックレンジ拡張実施形態は、ハードウェア、ソフトウェア、ファームウェア、および、その様々な組み合わせで実施され得る。
HDRおよびSDR画像をマッピングするにあたりニューラルネットワークを適用することに関する実施形態例を上述した。この明細書中において、各実装毎に異なり得る多数の具体的な詳細に言及しながら本発明の実施形態を説明した。従って、本発明が如何なるものかおよび出願人は本発明が如何なるものであると意図しているかについての唯一且つ排他的な指標は、後の訂正を含む、これら請求項が生じる具体的な形態の、本願から生じる1組の請求項である。当該請求項に含まれる用語に対して本明細書中に明示したあらゆる定義が、請求項内で使用される当該用語の意味を決定するものとする。よって、請求項に明示的に記載されていない限定事項、構成要素、特性、特徴、利点または属性は、いかなる形であれ請求の範囲を限定するものではない。従って、本明細書および図面は、限定的ではなく、例示的であると認識されるべきものである。
raw画素データにおける飽和画素値を回復させるための方法およびデバイスに関する、本発明の列挙実施形態例(enumerated example embodiments)(「EEE」)を上述した。ゆえに本発明の実施形態は、以下に列挙する例のうち、1つ以上に関し得る。
EEE1.
エンコーダにおける、第1のダイナミックレンジから第2のダイナミックレンジへ画像をマッピングする方法であって、
第1のダイナミックレンジを有する画像を第2のダイナミックレンジを有する画像において(in terms of)近似するように各々が適応された、1つ以上のニューラルネットワーク(NN)モデルを用意する工程と、
前記第1のダイナミックレンジにおける第1の画像と前記第2のダイナミックレンジにおける第2の画像とを受信する工程であって、前記2つの画像は同一のシーンを表現している、工程と、
前記様々なNNモデルから、前記第1の画像と前記第2の画像とに基づき前記第2の画像を近似する出力画像を決定するためのニューラルネットワークモデルを選択する工程と、
ある最適化基準と、前記第1の画像と、前記第2の画像とに従って、前記選択されたNNモデルのパラメータの値を決定する工程であって、前記パラメータは、前記選択されたNNモデルの各層におけるノードの各々についての、ノード重みおよびノードバイアスを含む、工程と、
前記選択されたNNモデルの前記パラメータを出力する工程と、
を包含する方法。
EEE2.
前記1つ以上のNNモデルは、グローバルマッピングNNモデルと、ローカルマッピングNNモデルと、複数のカラーグレードを用いるグローバルマッピングNNモデルとを含む、EEE1に記載の方法。
EEE3.
前記1つ以上のNNモデルはグローバルマッピングNNモデルを含み、前記グローバルマッピングNNモデルは、前記第1および前記第2の画像の色成分の各々につき1つずつの、3つのニューラルネットワークを備え、前記3つのニューラルネットワークの各々は、前記第1の画像および前記第2の画像の3色成分全ての画素値に基づく入力を受け取る、先行EEEのいずれかに記載の方法。
EEE4.
前記1つ以上のNNモデルはローカルマッピングモデルを含み、前記ローカルマッピングNNモデルは、前記第1および前記第2の画像の色成分の各々につき1つずつの、3つのニューラルネットワークを備え、前記3つのニューラルネットワークの各々は、前記第1の画像および前記第2の画像の3色成分全ての画素値に基づく入力と、前記入力画素値の画素座標を示す入力とを受け取る、先行EEEのいずれかに記載の方法。
EEE5.
さらに、第3のダイナミックレンジにおける第3の画像を受信する工程を包含する方法であって、
前記第3の画像は、前記第1および前記第2の画像と同一のシーンを表現しており、
前記1つ以上のNNモデルは、前記3つの画像の色成分の各々につき1つずつの3つのニューラルネットワークを備えた、複数のカラーグレードを用いるグローバルマッピングモデルを含み、前記3つのニューラルネットワークの各々は、前記3つの画像の3色成分全ての画素値に基づく入力と、前記入力画素値のカラーグレードを示す入力とを受け取る、
先行EEEのいずれかに記載の方法。
EEE6.
前記入力画素の入力グレードの前記カラーグレードを示す前記入力は、各カラーグレードの正規化ピーク明度の正規化ベクトルを含む、EEE5に記載の方法。
EEE7.
前記3つのニューラルネットワークの各々に対する入力画素値は、−1と1の間に正規化される、EEE3〜5のいずれかに記載の方法。
EEE8.
前記選択されたNNモデルの前記パラメータはさらに、前記正規化された入力画素値の各色成分についての、ゲイン係数と、最小値と、最大値とを含む、EEE7に記載の方法。
EEE9.
全ての入力画像は4:2:0YCbCr色形式で表されており、
第2の色成分(Cb)および第3の色成分(Cr)についての前記ニューラルネットワークへ入力する前に、前記第1の画像のY成分を、前記第1の画像のCbまたはCr成分の解像度までダウンサンプリングするための、画像ダウンサンプリング器と、
第1の色成分(Y)についての前記ニューラルネットワークへ入力する前に、前記第2の画像のCbおよびCr成分を、前記第1の画像のY成分の解像度までアップサンプリングするための、画像アップサンプリング器と、
をさらに含む、EEE3〜5のいずれかに記載の方法。
EEE10.
前記画素座標は、(x,y)位置のペアを含み、前記位置のペアにおける値は、0と1の間になるように正規化される、EEE4またはEEE4に従属するときの先行EEEのいずれかに記載の方法。
EEE11.
前記最適化基準は、前記出力画像と前記第2の入力画像との間の平均二乗誤差を最小化することを含む、先行EEEのいずれかに記載の方法。
EEE12.
全ての入力画像は4:2:0YCbCr色形式で表されており、さらに、
前記第1および前記第2の画像に由来する入力ルマ(Y)およびクロマ(CbまたはCr)画素値を、前記第1の画像における第1の正規化ルマおよびクロマサンプル点から、前記第2の画像への第1の平均ルマおよびクロマ3Dマッピングへの、マッピングとして表現する、第1の3Dマッピングテーブル(3DMT)を生成する工程であって、前記入力クロマ画素値は、前記入力ルマ画素値の空間解像度にマッチするようにアップサンプリングされる、工程と、
前記第1および前記第2の画像に由来する入力ルマ画素値およびクロマ画素値を、前記第1の画像における第2の正規化ルマおよびクロマサンプル点から、前記第2の画像への第2の平均ルマおよびクロマ3Dマッピングへの、マッピングとして表現する、第2の3DMTを生成する工程であって、前記入力ルマ画素値は、前記入力クロマ画素値の空間解像度にマッチするようにダウンサンプリングされる、工程と、
入力として、前記第1の画像における前記第1の正規化ルマおよびクロマサンプル点と、前記第2の画像への前記第1の平均ルマ3Dマッピングとを与えることにより、Y出力成分についての前記ニューラルネットワークの前記パラメータを生成する工程と、
入力として、前記第1の画像における前記第2の正規化ルマおよびクロマサンプル点と、前記第2の画像への前記第2の平均Cb3Dマッピングとを与えることにより、Cb出力成分についての前記ニューラルネットワークの前記パラメータを生成する工程と、
入力として、前記第1の画像における前記第2の正規化ルマおよびクロマサンプル点と、前記第2の画像への前記第2の平均Cr3Dマッピングとを与えることにより、Cr出力成分についての前記ニューラルネットワークの前記パラメータを生成する工程と、
を包含する、EEE3またはEEE3に従属するときの先行EEEのいずれかに記載の方法。
EEE13.
前記第1のダイナミックレンジは、前記第2のダイナミックレンジに等しいか、または前記第2のダイナミックレンジよりも高い、先行EEEのいずれかに記載の方法。
EEE14.
前記第1のダイナミックレンジは、前記第1のダイナミックレンジよりも低い、先行EEEのいずれかに記載の方法。
EEE15.
前記出力画像を生成する工程と、
前記出力画像を圧縮することにより、符号化画像を生成する工程と、
前記符号化画像と前記選択されたNNモデルの前記パラメータとを結合することにより、出力ビットストリームを生成する工程と、
をさらに包含する、先行EEEのいずれかに記載の方法
EEE16.
デコーダにおける、第1のダイナミックレンジから第2のダイナミックレンジへ画像をマッピングする方法であって、
第1のダイナミックレンジにおける符号化画像と、画像メタデータとを含む圧縮ビットストリームを受信する工程であって、前記画像メタデータは、前記符号化画像を出力画像へマッピングするためのニューラルネットワーク(NN)モデルのパラメータを含み、前記画像メタデータは、前記符号化画像の1つ以上の色成分につき、前記NNにおけるニューラルネット層数と、各層におけるニューラルノード数と、各ノードの活性化関数とともに用いられる重みおよびオフセットとを含む、工程と、
前記符号化画像と、前記NNモデルの前記パラメータとに基づき、出力画像を生成する工程と、
を包含する方法。
EEE17.
EEE16に記載の方法であって、前記画像メタデータはさらにスケーリングメタデータを含み、前記スケーリングメタデータは、前記符号化画像の各色成分につき、ゲイン値と、最小値と、最大値とを含み、前記方法はさらに、前記スケーリングメタデータと前記出力画像とに基づき、非正規化出力画像を生成する工程を包含する、方法。
EEE18.
前記活性化関数はシグモイド関数を含む、EEE16または17に記載の方法。
EEE19.
EEE1〜18のいずれかに記載の方法を1つ以上のプロセッサで実行するためのコンピュータ実行可能命令を格納した、非一時的なコンピュータ可読記憶媒体。
EEE20.
プロセッサを備えており、かつ、EEE1〜18のいずれかに記載の方法を実行するように構成された装置。
Claims (16)
- 第1のダイナミックレンジから第2のダイナミックレンジへ画像をマッピングする方法であって、
第1のダイナミックレンジを有する画像を第2のダイナミックレンジを有する画像において(in terms of)近似するように各々が適応された、1つ以上のニューラルネットワーク(NN)モデルを用意する工程と、
前記第1のダイナミックレンジにおける第1の画像と前記第2のダイナミックレンジにおける第2の画像とを受信する工程であって、前記2つの画像は同一のシーンを表現している、工程と、
前記様々なNNモデルから、前記第1の画像と前記第2の画像とに基づき前記第2の画像を近似する出力画像を決定するためのニューラルネットワークモデルを選択する工程と、
ある最適化基準と、前記第1の画像と、前記第2の画像とに従って、前記選択されたNNモデルのパラメータの値を決定する工程であって、前記パラメータは、前記選択されたNNモデルの層におけるノードについての、ノード重みおよび/またはノードバイアスを含む、工程と、
前記選択されたNNモデルの前記パラメータを出力する工程と、
を包含する方法。 - 前記1つ以上のNNモデルはグローバルマッピングNNモデルを含み、前記グローバルマッピングNNモデルは、前記第1および前記第2の画像の色成分の各々につき1つずつの、3つのニューラルネットワークを備え、前記3つのニューラルネットワークの各々は、前記第1の画像および前記第2の画像の3色成分全ての画素値に基づく入力を受け取る、請求項1に記載の方法。
- 前記1つ以上のNNモデルはローカルマッピングモデルを含み、前記ローカルマッピングNNモデルは、前記第1および前記第2の画像の色成分の各々につき1つずつの、3つのニューラルネットワークを備え、前記3つのニューラルネットワークの各々は、前記第1の画像および前記第2の画像の3色成分全ての画素値に基づく入力と、前記入力画素値の画素座標を示す入力とを受け取る、先行請求項のいずれかに記載の方法。
- さらに、第3のダイナミックレンジにおける第3の画像を受信する工程を包含する方法であって、
前記第3の画像は、前記第1および前記第2の画像と同一のシーンを表現しており、
前記1つ以上のNNモデルは、前記3つの画像の色成分の各々につき1つずつの3つのニューラルネットワークを備えた、複数のカラーグレードを用いるグローバルマッピングモデルを含み、前記3つのニューラルネットワークの各々は、前記3つの画像の3色成分全ての画素値に基づく入力と、前記入力画素値のカラーグレードを示す入力とを受け取る、
先行請求項のいずれかに記載の方法。 - 前記入力画素の入力グレードの前記カラーグレードを示す前記入力は、各カラーグレードの正規化ピーク明度の正規化ベクトルを含む、請求項4に記載の方法。
- 前記3つのニューラルネットワークの各々に対する入力画素値は、−1と1の間に正規化される、請求項2〜4のいずれかに記載の方法。
- 前記選択されたNNモデルの前記パラメータはさらに、前記正規化された入力画素値の各色成分についての、ゲイン係数と、最小値と、最大値とを含む、請求項6に記載の方法。
- 全ての入力画像は4:2:0YCbCr色形式で表されており、
第2の色成分(Cb)および第3の色成分(Cr)についての前記ニューラルネットワークへ入力する前に、前記第1の画像のY成分を、前記第1の画像のCbまたはCr成分の解像度までダウンサンプリングする工程と、
第1の色成分(Y)についての前記ニューラルネットワークへ入力する前に、前記第2の画像のCbおよびCr成分を、前記第1の画像のY成分の解像度までアップサンプリングする工程と、
をさらに含む、請求項2〜4のいずれかに記載の方法。 - 前記画素座標は、(x,y)位置のペアを含み、前記位置のペアにおける値は、0と1の間になるように正規化される、請求項3または請求項3に従属するときの先行請求項のいずれかに記載の方法。
- 前記最適化基準は、前記出力画像と前記第2の入力画像との間の平均二乗誤差を最小化することを含む、先行請求項のいずれかに記載の方法。
- 全ての入力画像は4:2:0YCbCr色形式で表されており、さらに、
前記第1および前記第2の画像に由来する入力ルマ(Y)およびクロマ(CbまたはCr)画素値を、前記第1の画像における第1の正規化ルマおよびクロマサンプル点から、前記第2の画像への第1の平均ルマおよびクロマ3Dマッピングへの、マッピングとして表現する、第1の3Dマッピングテーブル(3DMT)を生成する工程であって、前記入力クロマ画素値は、前記入力ルマ画素値の空間解像度にマッチするようにアップサンプリングされる、工程と、
前記第1および前記第2の画像に由来する入力ルマ画素値およびクロマ画素値を、前記第1の画像における第2の正規化ルマおよびクロマサンプル点から、前記第2の画像への第2の平均ルマおよびクロマ3Dマッピングへの、マッピングとして表現する、第2の3DMTを生成する工程であって、前記入力ルマ画素値は、前記入力クロマ画素値の空間解像度にマッチするようにダウンサンプリングされる、工程と、
入力として、前記第1の画像における前記第1の正規化ルマおよびクロマサンプル点と、前記第2の画像への前記第1の平均ルマ3Dマッピングとを与えることにより、Y出力成分についての前記ニューラルネットワークの前記パラメータを生成する工程と、
入力として、前記第1の画像における前記第2の正規化ルマおよびクロマサンプル点と、前記第2の画像への前記第2の平均Cb3Dマッピングとを与えることにより、Cb出力成分についての前記ニューラルネットワークの前記パラメータを生成する工程と、
入力として、前記第1の画像における前記第2の正規化ルマおよびクロマサンプル点と、前記第2の画像への前記第2の平均Cr3Dマッピングとを与えることにより、Cr出力成分についての前記ニューラルネットワークの前記パラメータを生成する工程と、
を包含する、先行請求項のいずれかに記載の方法。 - 前記第1のダイナミックレンジは、前記第2のダイナミックレンジと異なる、先行請求項のいずれかに記載の方法。
- 前記第1のダイナミックレンジは、前記第2のダイナミックレンジに等しいか、前記第2のダイナミックレンジよりも低いか、または前記第2のダイナミックレンジよりも高い、先行請求項のいずれかに記載の方法。
- 前記出力画像を生成する工程と、
前記出力画像を圧縮することにより、符号化画像を生成する工程と、
前記符号化画像と前記選択されたNNモデルの前記パラメータとを結合することにより、出力ビットストリームを生成する工程と、
をさらに包含する、先行請求項のいずれかに記載の方法 - 第1のダイナミックレンジから第2のダイナミックレンジへ画像をマッピングする方法であって、
第1のダイナミックレンジにおける符号化画像と、画像メタデータとを含む圧縮ビットストリームを受信する工程であって、前記画像メタデータは、前記符号化画像を出力画像へマッピングするためのニューラルネットワーク(NN)モデルのパラメータを含み、前記画像メタデータは、前記符号化画像の1つ以上の色成分につき、前記NNにおけるニューラルネット層数と、少なくとも1つの層におけるニューラルノード数と、前記少なくとも1つの層におけるノードの活性化関数とともに用いられる重みおよびオフセットとを含む、工程と、
前記符号化画像と、前記NNモデルの前記パラメータとに基づき、出力画像を生成する工程と、
を包含する方法。 - 請求項15に記載の方法であって、前記画像メタデータはさらにスケーリングメタデータを含み、前記スケーリングメタデータは、前記符号化画像の各色成分につき、ゲイン値と、最小値と、最大値とを含み、前記方法はさらに、前記スケーリングメタデータと前記出力画像とに基づき、非正規化出力画像を生成する工程を包含する、方法。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862654614P | 2018-04-09 | 2018-04-09 | |
EP18166320.4 | 2018-04-09 | ||
EP18166320 | 2018-04-09 | ||
US62/654,614 | 2018-04-09 | ||
PCT/US2019/026406 WO2019199701A1 (en) | 2018-04-09 | 2019-04-08 | Hdr image representations using neural network mappings |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021521517A true JP2021521517A (ja) | 2021-08-26 |
JP7189230B2 JP7189230B2 (ja) | 2022-12-13 |
Family
ID=66223879
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020555148A Active JP7189230B2 (ja) | 2018-04-09 | 2019-04-08 | ニューラルネットワークマッピングを用いるhdr画像表現 |
Country Status (7)
Country | Link |
---|---|
US (1) | US11361506B2 (ja) |
EP (1) | EP3776474A1 (ja) |
JP (1) | JP7189230B2 (ja) |
KR (1) | KR102361987B1 (ja) |
CN (1) | CN112204617B (ja) |
TW (1) | TWI729377B (ja) |
WO (1) | WO2019199701A1 (ja) |
Families Citing this family (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11501135B2 (en) * | 2018-05-29 | 2022-11-15 | British Cayman Islands Intelligo Technology Inc. | Smart engine with dynamic profiles |
JP2020005201A (ja) * | 2018-06-29 | 2020-01-09 | 日本放送協会 | 送信装置及び受信装置 |
CA3147581A1 (en) * | 2019-08-13 | 2021-02-18 | James Edward GEACH | Predicting visible/infrared band images using radar reflectance/backscatter images of a terrestrial region |
CN111147857B (zh) * | 2019-12-06 | 2023-01-20 | Oppo广东移动通信有限公司 | 一种图像处理方法、图像处理装置、电子设备和存储介质 |
WO2021168001A1 (en) * | 2020-02-19 | 2021-08-26 | Dolby Laboratories Licensing Corporation | Joint forward and backward neural network optimization in image processing |
CN111401247B (zh) * | 2020-03-17 | 2023-07-28 | 杭州小影创新科技股份有限公司 | 一种基于级联卷积神经网络的人像分割方法 |
EP4133740A4 (en) * | 2020-04-07 | 2024-04-17 | Nokia Technologies Oy | FEATURE DOMAIN RESIDUE FOR VIDEO CODING FOR MACHINES |
US11223841B2 (en) * | 2020-05-29 | 2022-01-11 | Samsung Electronics Co., Ltd. | Apparatus and method for performing artificial intelligence encoding and artificial intelligence decoding on image |
CN111970564B (zh) * | 2020-08-26 | 2023-03-24 | 展讯通信(上海)有限公司 | Hdr视频显示处理的优化方法及装置、存储介质、终端 |
JP2023543520A (ja) * | 2020-11-19 | 2023-10-16 | ホアウェイ・テクノロジーズ・カンパニー・リミテッド | 機械学習を基にしたピクチャコーディングにおけるクロマサブサンプリングフォーマット取り扱いのための方法 |
EP4205395A4 (en) * | 2020-12-24 | 2023-07-12 | Huawei Technologies Co., Ltd. | CODING WITH FEATURE MAP DATA SIGNALING |
US11528435B2 (en) | 2020-12-25 | 2022-12-13 | Industrial Technology Research Institute | Image dehazing method and image dehazing apparatus using the same |
KR102374069B1 (ko) * | 2021-01-06 | 2022-03-11 | 아주대학교산학협력단 | Hdr 이미지 생성 장치 및 방법 |
TWI783594B (zh) * | 2021-07-26 | 2022-11-11 | 國立清華大學 | 多目標神經網路演化方法及裝置 |
CN113781318A (zh) * | 2021-08-02 | 2021-12-10 | 中国科学院深圳先进技术研究院 | 一种图像颜色映射方法、装置、终端设备及存储介质 |
US20230047271A1 (en) * | 2021-08-02 | 2023-02-16 | Mediatek Singapore Pte. Ltd. | Color Component Processing In Down-Sample Video Coding |
US20230059233A1 (en) * | 2021-08-18 | 2023-02-23 | Samsung Electronics Co., Ltd. | Efficient inverse tone mapping network for standard dynamic range (sdr) to high dynamic range (hdr) conversion on hdr display |
WO2023033991A1 (en) * | 2021-08-30 | 2023-03-09 | Dolby Laboratories Licensing Corporation | Reshaper for learning-based image/video coding |
KR20230055264A (ko) * | 2021-10-18 | 2023-04-25 | 삼성전자주식회사 | 디스플레이 장치 및 그 제어 방법 |
US20230186435A1 (en) * | 2021-12-14 | 2023-06-15 | Netflix, Inc. | Techniques for component-based image preprocessing |
CN114359083B (zh) * | 2021-12-24 | 2022-11-29 | 北京航空航天大学 | 一种面向干扰环境的高动态热红外图像自适应预处理方法 |
KR102465841B1 (ko) * | 2022-08-10 | 2022-11-10 | 주식회사 고업 | 딥러닝을 이용한 sdr 콘텐츠의 hdr10+ 콘텐츠 변경 시스템 |
CN115422986B (zh) * | 2022-11-07 | 2023-08-22 | 深圳传音控股股份有限公司 | 处理方法、处理设备及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010086482A (ja) * | 2008-10-02 | 2010-04-15 | Canon Inc | 画像認識装置および画像認識方法 |
US20100246940A1 (en) * | 2009-03-25 | 2010-09-30 | Micro-Star Internationa'l Co., Ltd. | Method of generating hdr image and electronic device using the same |
JP2014520414A (ja) * | 2011-04-14 | 2014-08-21 | ドルビー ラボラトリーズ ライセンシング コーポレイション | 複数色チャネル多重回帰予測器 |
JP2015529890A (ja) * | 2012-10-08 | 2015-10-08 | コーニンクレッカ フィリップス エヌ ヴェ | 色制約付きの輝度変更画像処理 |
JP2016538632A (ja) * | 2013-10-28 | 2016-12-08 | クゥアルコム・インコーポレイテッドQualcomm Incorporated | 教師あり学習を使用してクラスにタグ付けするための方法および装置 |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7149262B1 (en) | 2000-07-06 | 2006-12-12 | The Trustees Of Columbia University In The City Of New York | Method and apparatus for enhancing data resolution |
US6879731B2 (en) | 2003-04-29 | 2005-04-12 | Microsoft Corporation | System and process for generating high dynamic range video |
US7142723B2 (en) | 2003-07-18 | 2006-11-28 | Microsoft Corporation | System and process for generating high dynamic range images from multiple exposures of a moving scene |
US20090317017A1 (en) | 2008-06-20 | 2009-12-24 | The Hong Kong University Of Science And Technology | Image characteristic oriented tone mapping for high dynamic range images |
PL3564954T3 (pl) | 2010-01-19 | 2021-04-06 | Dolby International Ab | Ulepszona transpozycja harmonicznych oparta na bloku podpasma |
EP2591602A1 (en) | 2010-07-06 | 2013-05-15 | Koninklijke Philips Electronics N.V. | Generation of high dynamic range images from low dynamic range images |
EP2807823B1 (en) * | 2012-01-24 | 2018-03-28 | Dolby Laboratories Licensing Corporation | Piecewise cross color channel predictor |
WO2014009844A1 (en) | 2012-07-13 | 2014-01-16 | Koninklijke Philips N.V. | Improved hdr image encoding and decoding methods and devices |
WO2015128295A1 (en) | 2014-02-26 | 2015-09-03 | Thomson Licensing | Method and apparatus for encoding and decoding hdr images |
RU2667034C2 (ru) | 2014-05-28 | 2018-09-13 | Конинклейке Филипс Н.В. | Способы и устройства для кодирования hdr-изображений и способы и устройства для использования таких кодированных изображений |
US10136147B2 (en) * | 2014-06-11 | 2018-11-20 | Dolby Laboratories Licensing Corporation | Efficient transcoding for backward-compatible wide dynamic range codec |
JP6577703B2 (ja) | 2014-08-05 | 2019-09-18 | キヤノン株式会社 | 画像処理装置及び画像処理方法、プログラム、記憶媒体 |
US9607366B1 (en) | 2014-12-19 | 2017-03-28 | Amazon Technologies, Inc. | Contextual HDR determination |
US10015491B2 (en) | 2015-04-06 | 2018-07-03 | Dolby Laboratories Licensing Corporation | In-loop block-based image reshaping in high dynamic range video coding |
US9794540B2 (en) | 2015-04-17 | 2017-10-17 | Google Inc. | Hardware-based convolutional color correction in digital images |
JP6320440B2 (ja) | 2015-08-04 | 2018-05-09 | ドルビー ラボラトリーズ ライセンシング コーポレイション | ハイダイナミックレンジ信号のための信号再構成 |
EP3131284A1 (en) | 2015-08-13 | 2017-02-15 | Thomson Licensing | Methods, systems and aparatus for hdr to hdr inverse tone mapping |
EP3220349A1 (en) | 2016-03-16 | 2017-09-20 | Thomson Licensing | Methods, apparatus, and systems for extended high dynamic range ("hdr") hdr to hdr tone mapping |
US9639935B1 (en) | 2016-05-25 | 2017-05-02 | Gopro, Inc. | Apparatus and methods for camera alignment model calibration |
CN109964238A (zh) | 2016-09-30 | 2019-07-02 | 渊慧科技有限公司 | 使用神经网络生成视频帧 |
US10264287B2 (en) * | 2016-10-05 | 2019-04-16 | Dolby Laboratories Licensing Corporation | Inverse luma/chroma mappings with histogram transfer and approximation |
-
2019
- 2019-04-08 US US17/045,941 patent/US11361506B2/en active Active
- 2019-04-08 JP JP2020555148A patent/JP7189230B2/ja active Active
- 2019-04-08 EP EP19718564.8A patent/EP3776474A1/en active Pending
- 2019-04-08 CN CN201980035144.1A patent/CN112204617B/zh active Active
- 2019-04-08 KR KR1020207032222A patent/KR102361987B1/ko active IP Right Grant
- 2019-04-08 WO PCT/US2019/026406 patent/WO2019199701A1/en unknown
- 2019-04-09 TW TW108112378A patent/TWI729377B/zh active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010086482A (ja) * | 2008-10-02 | 2010-04-15 | Canon Inc | 画像認識装置および画像認識方法 |
US20100246940A1 (en) * | 2009-03-25 | 2010-09-30 | Micro-Star Internationa'l Co., Ltd. | Method of generating hdr image and electronic device using the same |
JP2010231756A (ja) * | 2009-03-25 | 2010-10-14 | Micro-Star Internatl Co Ltd | Hdr画像生成方法および同方法を用いる電子デバイス |
JP2014520414A (ja) * | 2011-04-14 | 2014-08-21 | ドルビー ラボラトリーズ ライセンシング コーポレイション | 複数色チャネル多重回帰予測器 |
JP2015529890A (ja) * | 2012-10-08 | 2015-10-08 | コーニンクレッカ フィリップス エヌ ヴェ | 色制約付きの輝度変更画像処理 |
JP2016538632A (ja) * | 2013-10-28 | 2016-12-08 | クゥアルコム・インコーポレイテッドQualcomm Incorporated | 教師あり学習を使用してクラスにタグ付けするための方法および装置 |
Non-Patent Citations (3)
Title |
---|
GABRIEL EILERTSEN ET AL.: "HDR image reconstruction from a single exposure using deep CNNs", [ONLINE], JPN6021051981, 20 October 2017 (2017-10-20), US, ISSN: 0004673591 * |
MIKAEL LE PENDU ET AL.: "Local Inverse Tone Curve Learning for High Dynamic Range Image Scalable Compression", IEEE TRANSACTIONS ON IMAGE PROCESSING, JPN7021005692, December 2015 (2015-12-01), US, pages 5753 - 5763, XP011588191, ISSN: 0004673592, DOI: 10.1109/TIP.2015.2483899 * |
平尾 克彦 外2名: "Deep Neural Networksを用いたSDR画像からのHDR画像生成手法に関する一検討", 電子情報通信学会技術研究報告 VOL.116 NO.496, JPN6021051977, 27 February 2017 (2017-02-27), JP, pages 37 - 42, ISSN: 0004673590 * |
Also Published As
Publication number | Publication date |
---|---|
TWI729377B (zh) | 2021-06-01 |
US11361506B2 (en) | 2022-06-14 |
JP7189230B2 (ja) | 2022-12-13 |
TW201944357A (zh) | 2019-11-16 |
WO2019199701A1 (en) | 2019-10-17 |
KR20200142035A (ko) | 2020-12-21 |
US20210150812A1 (en) | 2021-05-20 |
CN112204617A (zh) | 2021-01-08 |
EP3776474A1 (en) | 2021-02-17 |
CN112204617B (zh) | 2023-09-05 |
KR102361987B1 (ko) | 2022-02-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7189230B2 (ja) | ニューラルネットワークマッピングを用いるhdr画像表現 | |
CN109416832B (zh) | 高效的基于直方图的亮度外观匹配 | |
CN108885783B (zh) | 编码和解码可逆制作质量单层视频信号 | |
US10575028B2 (en) | Coding of high dynamic range video using segment-based reshaping | |
JP6846442B2 (ja) | ハイダイナミックレンジ画像のためのクロマ再構成 | |
KR102380164B1 (ko) | 게이밍 및/또는 sdr+ 콘텐츠에 대한 자동 디스플레이 관리 메타데이터 생성 | |
CN113228660B (zh) | 增强的标准动态范围视频(sdr+)中的基于机器学习的动态合成 | |
CN105744277B (zh) | 分层vdr编译码中的层分解 | |
JP6684971B2 (ja) | ハイダイナミックレンジ映像を符号化するためのセグメントベース再構成 | |
JP7094451B2 (ja) | 再構成関数の補間 | |
TWI812874B (zh) | 張量乘積之b平滑曲線預測子 | |
JP2020524446A (ja) | 効率的なエンド・ツー・エンドシングルレイヤー逆ディスプレイマネジメント符号化 | |
Lauga et al. | Segmentation-based optimized tone mapping for high dynamic range image and video coding | |
US11895416B2 (en) | Electro-optical transfer function conversion and signal legalization | |
CN117999784A (zh) | 用于基于学习的图像/视频编解码的整形器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A529 | Written submission of copy of amendment under article 34 pct |
Free format text: JAPANESE INTERMEDIATE CODE: A529 Effective date: 20201208 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201208 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211206 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220104 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220331 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220712 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220819 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221115 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221201 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7189230 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |