JP2020017079A - トーンマッピング処理及びトーンマッピングパラメータの自動調整更新によるhdr映像変換方法及びその装置 - Google Patents
トーンマッピング処理及びトーンマッピングパラメータの自動調整更新によるhdr映像変換方法及びその装置 Download PDFInfo
- Publication number
- JP2020017079A JP2020017079A JP2018139721A JP2018139721A JP2020017079A JP 2020017079 A JP2020017079 A JP 2020017079A JP 2018139721 A JP2018139721 A JP 2018139721A JP 2018139721 A JP2018139721 A JP 2018139721A JP 2020017079 A JP2020017079 A JP 2020017079A
- Authority
- JP
- Japan
- Prior art keywords
- tone mapping
- mapping processing
- result
- learning
- offset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
- 238000013507 mapping Methods 0.000 title claims abstract description 146
- 238000012545 processing Methods 0.000 title claims abstract description 117
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 46
- 238000000034 method Methods 0.000 title claims description 84
- 230000006870 function Effects 0.000 claims abstract description 43
- 230000000007 visual effect Effects 0.000 claims abstract description 11
- 238000000605 extraction Methods 0.000 claims abstract description 6
- 238000003672 processing method Methods 0.000 claims description 26
- 230000003287 optical effect Effects 0.000 abstract 1
- 239000000203 mixture Substances 0.000 description 17
- 238000010586 diagram Methods 0.000 description 11
- 210000003127 knee Anatomy 0.000 description 7
- 238000011156 evaluation Methods 0.000 description 6
- 238000002474 experimental method Methods 0.000 description 6
- 238000004519 manufacturing process Methods 0.000 description 6
- 238000012892 rational function Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 238000012884 algebraic function Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
Abstract
Description
の3つになる。リニアHDR画像/映像入力をxとして、リニアSDR画像/映像出力をyとすると、グローバルトーンマッピング処理は次のようになる。
端末側で、グローバルTM処理と同時に画像ヒストグラム特徴、ディスプレイ特性データ、視聴環境光データと対応する調整結果による最適パラメータを用いて、逐次的に更新学習を行ってもよいし、データとパラメータを保存して、後から更新学習を行ってもよい。クラウド側にデータと対応するパラメータを送信して、これまでの学習データと統合して、再学習することも可能である。
・学習データ(画像ヒストグラム特徴とマニュアルによる調整パラメータの組)によるパラメータの予測式の計算、
・追加学習データによる学習結果の予測式の更新、
・学習結果の予測式によるパラメータの計算とそれによるトーンマッピング処理、
そして,バリエーションとして,学習データに
・ディスプレイ特性データ、
・視聴環境光データ、
を追加してもよい。(カメラマン、VE、カラリストによるマスタモニタ、標準視聴環境以外の場合)
また、第三実施例のべき乗パラメータωによるコントラスト強調は、1DLUTによる実現も可能ではあるが、簡易な演算処理によるトーンマッピング処理となることから、パラメータβあるいはλによる四則演算のみの計算の方がさらに好ましいものとなる。また、演算処理によるトーンマッピング処理であることから、連続的な変化や調整が可能になるので好ましい。(但し、1DLUTの場合には、計算して、その結果をテーブルに書き込む工程が必要となることが想定される)
Claims (25)
- グローバルトーンマッピング関数を計算するための、HDR画素値をクリップ処理するハードクリップ変換と視覚特性を考慮したナカ−ラシュトン関数を計算した結果をミックス処理するトーンマッピング処理部と、
前記トーンマッピング処理部の結果にオフセット項を追加するオフセット処理部と、
前記トーンマッピング処理部の処理に先立つHDR画像/映像入力の画素値をスケールするスケール変換部と、
前記トーンマッピング処理部と前記オフセット処理部の結果をクリップ処理するクリップ処理部と、
前記HDR画像/映像入力から画素値ヒストグラム特徴を抽出するヒストグラム特徴抽出部と、
トーンマッピング処理におけるスケールs、ミックス係数α、オフセットdの調整結果とHDR画像/映像入力における画素値ヒストグラム特徴、およびディスプレイ特性データ、視聴環境光データを用いた事前の学習を行う学習部と、
前記HDR画像/映像入力における画素値ヒストグラム特徴、およびディスプレイ特性データ、視聴環境光データを用いて、事前の学習結果からトーンマッピング処理におけるスケールs、ミックス係数α、オフセットdの最適パラメータの予測を行う予測部とを備える
ことを特徴とするトーンマッピング処理装置。 - 請求項1に記載のトーンマッピング処理装置において、
ディスプレイ特性データ、および視聴環境光データを取得するデータ取得部をさらに備える
ことを特徴とするトーンマッピング処理装置。 - 請求項1または請求項2に記載のトーンマッピング処理装置において、
トーンマッピング処理におけるスケールs、ミックス係数α、オフセットdの調整結果とHDR画像/映像入力における画素値ヒストグラム特徴、およびディスプレイ特性データ、視聴環境光データを用いて、学習結果を逐次更新する逐次学習部をさらに備える
ことを特徴とするトーンマッピング処理装置。 - 画面全体に対して一様なレベル変換を行うグローバルトーンマッピング関数をHDR画素値をクリップ処理するハードクリップ変換と視覚特性を考慮したナカ−ラシュトン関数のミックス処理関数として定義し、これにオフセット項を追加することにより、知覚現実感を再現する
ことを特徴とするトーンマッピング処理方法。 - 請求項4に記載のトーンマッピング処理方法において、
事前の学習により予め決定された最適なパラメータをHDR映像における画素値ヒストグラム特徴及びディスプレイ特性及び視聴環境光データから予測する
ことを特徴とするトーンマッピング処理方法。 - 請求項4または請求項5に記載のトーンマッピング処理方法において、
前記ミックス処理関数のパラメータの調整を繰り返すことにより、学習結果を更新する
ことを特徴とするトーンマッピング処理方法。 - グローバルトーンマッピング関数を計算するための、HDR画素値をクリップ処理するハードクリップ変換と視覚特性を考慮したナカ−ラシュトン関数を計算した結果をミックス処理するトーンマッピング処理段階と、
前記トーンマッピング処理段階の結果にオフセット項を追加するオフセット処理段階と、
前記トーンマッピング処理段階の処理に先立つHDR画像/映像入力の画素値をスケールするスケール変換段階と、
前記トーンマッピング処理段階と前記オフセット処理段階の結果をクリップ処理するクリップ処理段階と、
前記HDR画像/映像入力から画素値ヒストグラム特徴を抽出するヒストグラム特徴抽出段階と、
トーンマッピング処理におけるスケールs、ミックス係数α、オフセットdの調整結果とHDR画像/映像入力における画素値ヒストグラム特徴、およびディスプレイ特性データ、視聴環境光データを用いた事前の学習を行う学習段階と、
前記HDR画像/映像入力における画素値ヒストグラム特徴、およびディスプレイ特性データ、視聴環境光データを用いて、事前の学習結果からトーンマッピング処理におけるスケールs、ミックス係数α、オフセットdの最適パラメータの予測を行う予測段階とを有する
ことを特徴とするトーンマッピング処理方法。 - 請求項7に記載のトーンマッピング処理方法において、
ディスプレイ特性データ、および視聴環境光データを取得するデータ取得段階をさらに有する
ことを特徴とするトーンマッピング処理方法。 - 請求項7または請求項8に記載のトーンマッピング処理方法において、
トーンマッピング処理におけるスケールs、ミックス係数α、オフセットdの調整結果とHDR画像/映像入力における画素値ヒストグラム特徴、およびディスプレイ特性データ、視聴環境光データを用いて、学習結果を逐次更新する逐次学習段階をさらに有する
ことを特徴とするトーンマッピング処理方法。 - 請求項1に記載のトーンマッピング処理装置において、
前記最適パラメータについて、
スケール変換の結果を、さらにべき乗処理した結果に対して、ナカ−ラシュトン関数による変換とのミックス処理を行い、オフセット項dを加えて、クリップ処理を行うように、調整パラメータとして、前記スケールs、前記ミックス係数α、前記オフセットd、に加えてべき乗指数ωをさらに含む
ことを特徴とするトーンマッピング処理装置。 - 請求項10に記載のトーンマッピング処理装置において、
前記トーンマッピング処理は、
ことを特徴とするトーンマッピング処理装置。 - 請求項11に記載のトーンマッピング処理装置において、
前記べき乗指数ωは、1.0以上であり、前記べき乗処理は、予め入力値に対する出力値を計算した結果を格納した1次元ルックアップテーブル(1DLUT)を用いる
ことを特徴とするトーンマッピング処理装置。 - 請求項10乃至請求項12のいずれか一項に記載のトーンマッピング処理装置において、
トーンマッピング処理におけるスケールs、ミックス係数α、オフセットdの調整結果とHDR画像/映像入力における画素値ヒストグラム特徴、およびディスプレイ特性データ、視聴環境光データを用いて、学習結果を逐次更新する逐次学習部をさらに備える
ことを特徴とするトーンマッピング処理装置。 - 請求項7に記載のトーンマッピング処理方法において、
前記最適パラメータについて、
スケール変換の結果を、さらにべき乗処理した結果に対して、ナカ−ラシュトン関数による変換とのミックス処理を行い、オフセット項dを加えて、クリップ処理を行うように、調整パラメータとして、前記スケールs、前記ミックス係数α、前記オフセットd、に加えてべき乗指数ωをさらに含む
ことを特徴とするトーンマッピング処理方法。 - 請求項14に記載のトーンマッピング処理方法において、
前記トーンマッピング処理は、
ことを特徴とするトーンマッピング処理方法。 - 請求項11に記載のトーンマッピング処理方法において、
前記べき乗指数ωは、1.0以上であり、前記べき乗処理は、予め入力値に対する出力値を計算した結果を格納した1次元ルックアップテーブル(1DLUT)を用いる
ことを特徴とするトーンマッピング処理方法。 - 請求項14乃至請求項16のいずれか一項に記載のトーンマッピング処理方法において、
トーンマッピング処理におけるスケールs、ミックス係数α、オフセットdの調整結果とHDR画像/映像入力における画素値ヒストグラム特徴、およびディスプレイ特性データ、視聴環境光データを用いて、学習結果を逐次更新する逐次学習する工程をさらに備える
ことを特徴とするトーンマッピング処理方法。 - 請求項4に記載のトーンマッピング処理方法において、
前記ミックス処理関数のパラメータは、
スケール変換の結果を、さらにべき乗処理した結果に対して、ナカ−ラシュトン関数による変換とのミックス処理を行い、オフセット項dを加えて、クリップ処理を行うように、調整パラメータとして、スケールs、ミックス係数α、オフセットd、に加えてべき乗指数ωを含む
ことを特徴とするトーンマッピング処理方法。 - 請求項18に記載のトーンマッピング処理方法において、
前記トーンマッピング処理は、
ことを特徴とするトーンマッピング処理方法。 - 請求項19に記載のトーンマッピング処理方法において、
前記べき乗指数ωは、1.0以上であり、前記べき乗処理は、予め入力値に対する出力値を計算した結果を格納した1次元ルックアップテーブル(1DLUT)を用いる
ことを特徴とするトーンマッピング処理方法。 - 請求項18乃至請求項20のいずれか一項に記載のトーンマッピング処理方法において、
トーンマッピング処理におけるスケールs、ミックス係数α、オフセットdの調整結果とHDR画像/映像入力における画素値ヒストグラム特徴、およびディスプレイ特性データ、視聴環境光データを用いて、学習結果を逐次更新する逐次学習する工程をさらに備える
ことを特徴とするトーンマッピング処理方法。 - 請求項10に記載のトーンマッピング処理装置において、
コントラスト強調を行うために、前記べき乗処理によりトーンマッピング処理関数の立ち上がりはS字特性である
ことを特徴とするトーンマッピング処理装置。 - 請求項14または請求項18に記載のトーンマッピング処理方法において、
コントラスト強調を行うために、前記べき乗処理によりトーンマッピング処理関数の立ち上がりはS字特性である
ことを特徴とするトーンマッピング処理方法。 - グローバルトーンマッピング関数を計算するための、HDR画素値をクリップ処理するハードクリップ変換と視覚特性を考慮したナカ−ラシュトン関数を計算した結果をミックス処理するトーンマッピング処理部と、
前記トーンマッピング処理部の結果にオフセット項を追加するオフセット処理部と、
前記トーンマッピング処理部の処理に先立つHDR画像/映像入力の画素値をスケールするスケール変換部と、
前記トーンマッピング処理部と前記オフセット処理部の結果をクリップ処理するクリップ処理部と、
前記HDR画像/映像入力から画素値ヒストグラム特徴を抽出するヒストグラム特徴抽出部と、
トーンマッピング処理におけるスケールs、ミックス係数αの調整結果とHDR画像/映像入力における画素値ヒストグラム特徴、およびディスプレイ特性データ、視聴環境光データを用いた事前の学習を行う学習部と、
前記HDR画像/映像入力における画素値ヒストグラム特徴、およびディスプレイ特性データ、視聴環境光データを用いて、事前の学習結果からトーンマッピング処理におけるスケールs、ミックス係数αの最適パラメータの予測を行う予測部とを備え、
前記トーンマッピング処理は、下記式に基づいて前記HDR画像/映像入力xからSDR画像/映像出力yを算出する
- グローバルトーンマッピング関数を計算するための、HDR画素値をクリップ処理するハードクリップ変換と視覚特性を考慮したナカ−ラシュトン関数を計算した結果をミックス処理するトーンマッピング処理部と、
前記トーンマッピング処理部の結果にオフセット項を追加するオフセット処理部と、
前記トーンマッピング処理部の処理に先立つHDR画像/映像入力の画素値をスケールするスケール変換部と、
前記トーンマッピング処理部と前記オフセット処理部の結果をクリップ処理するクリップ処理部と、
前記HDR画像/映像入力から画素値ヒストグラム特徴を抽出するヒストグラム特徴抽出部と、
トーンマッピング処理におけるスケールs、ミックス係数α、オフセットdの調整結果とHDR画像/映像入力における画素値ヒストグラム特徴、およびディスプレイ特性データ、視聴環境光データを用いた事前の学習を行う学習部と、
前記HDR画像/映像入力における画素値ヒストグラム特徴、およびディスプレイ特性データ、視聴環境光データを用いて、事前の学習結果からトーンマッピング処理におけるスケールs、ミックス係数α、オフセットdの最適パラメータの予測を行う予測部とを備え、
前記トーンマッピング処理は、下記式に基づいて前記HDR画像/映像入力xからSDR画像/映像出力yを算出する
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018139721A JP2020017079A (ja) | 2018-07-25 | 2018-07-25 | トーンマッピング処理及びトーンマッピングパラメータの自動調整更新によるhdr映像変換方法及びその装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018139721A JP2020017079A (ja) | 2018-07-25 | 2018-07-25 | トーンマッピング処理及びトーンマッピングパラメータの自動調整更新によるhdr映像変換方法及びその装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2020017079A true JP2020017079A (ja) | 2020-01-30 |
Family
ID=69581495
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018139721A Ceased JP2020017079A (ja) | 2018-07-25 | 2018-07-25 | トーンマッピング処理及びトーンマッピングパラメータの自動調整更新によるhdr映像変換方法及びその装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2020017079A (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113691785A (zh) * | 2020-05-18 | 2021-11-23 | 爱思开海力士有限公司 | 局部色调映射电路、图像感测装置及其操作方法 |
WO2022004518A1 (ja) * | 2020-06-30 | 2022-01-06 | ソニーグループ株式会社 | 映像信号処理装置、映像信号処理方法および撮像装置 |
WO2022172449A1 (ja) * | 2021-02-15 | 2022-08-18 | 株式会社ソニー・インタラクティブエンタテインメント | 学習装置、動画像生成装置、学習済モデルの生成方法、動画像生成方法及びプログラム |
CN115250345A (zh) * | 2021-04-27 | 2022-10-28 | 凌巨科技股份有限公司 | 图像处理装置以及调整白平衡的方法 |
KR102594410B1 (ko) * | 2022-06-03 | 2023-10-30 | 동국대학교 산학협력단 | 히스토그램 기반 변환함수 추정에 기반하여 개선 영상을 획득하는 영상 개선 장치 및 방법 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09147099A (ja) * | 1995-11-24 | 1997-06-06 | Hitachi Ltd | ディジタル画像の階調変換処理システム |
JP2006122476A (ja) * | 2004-10-29 | 2006-05-18 | Konica Minolta Medical & Graphic Inc | 画像処理装置 |
JP2015510600A (ja) * | 2011-12-06 | 2015-04-09 | ドルビー ラボラトリーズ ライセンシング コーポレイション | 異なる表示機能の間で知覚ルミナンス非線形性ベースの画像データ交換を改善する装置および方法 |
WO2017072011A1 (en) * | 2015-10-28 | 2017-05-04 | Thomson Licensing | Method and device for selecting a process to be applied on video data from a set of candidate processes driven by a common set of information data |
-
2018
- 2018-07-25 JP JP2018139721A patent/JP2020017079A/ja not_active Ceased
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09147099A (ja) * | 1995-11-24 | 1997-06-06 | Hitachi Ltd | ディジタル画像の階調変換処理システム |
JP2006122476A (ja) * | 2004-10-29 | 2006-05-18 | Konica Minolta Medical & Graphic Inc | 画像処理装置 |
JP2015510600A (ja) * | 2011-12-06 | 2015-04-09 | ドルビー ラボラトリーズ ライセンシング コーポレイション | 異なる表示機能の間で知覚ルミナンス非線形性ベースの画像データ交換を改善する装置および方法 |
WO2017072011A1 (en) * | 2015-10-28 | 2017-05-04 | Thomson Licensing | Method and device for selecting a process to be applied on video data from a set of candidate processes driven by a common set of information data |
Non-Patent Citations (2)
Title |
---|
奥田 正浩: "高ダイナミックレンジ画像処理", 電子情報通信学会誌, vol. 93, no. 2, JPN6022028269, 1 February 2010 (2010-02-01), JP, pages 139 - 144, ISSN: 0004819647 * |
松永 力, 趙 延軍: "エッジ強度最大化による最適トーンマッピング", 第24回画像センシングシンポジウム (SSII 2018), vol. IS1-20, SO1-IS1-20, JPN6022028268, 13 June 2018 (2018-06-13), JP, ISSN: 0004819646 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113691785A (zh) * | 2020-05-18 | 2021-11-23 | 爱思开海力士有限公司 | 局部色调映射电路、图像感测装置及其操作方法 |
CN113691785B (zh) * | 2020-05-18 | 2023-07-04 | 爱思开海力士有限公司 | 局部色调映射电路、图像感测装置及其操作方法 |
WO2022004518A1 (ja) * | 2020-06-30 | 2022-01-06 | ソニーグループ株式会社 | 映像信号処理装置、映像信号処理方法および撮像装置 |
WO2022172449A1 (ja) * | 2021-02-15 | 2022-08-18 | 株式会社ソニー・インタラクティブエンタテインメント | 学習装置、動画像生成装置、学習済モデルの生成方法、動画像生成方法及びプログラム |
CN115250345A (zh) * | 2021-04-27 | 2022-10-28 | 凌巨科技股份有限公司 | 图像处理装置以及调整白平衡的方法 |
CN115250345B (zh) * | 2021-04-27 | 2023-06-13 | 凌巨科技股份有限公司 | 图像处理装置以及调整白平衡的方法 |
KR102594410B1 (ko) * | 2022-06-03 | 2023-10-30 | 동국대학교 산학협력단 | 히스토그램 기반 변환함수 추정에 기반하여 개선 영상을 획득하는 영상 개선 장치 및 방법 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2020017079A (ja) | トーンマッピング処理及びトーンマッピングパラメータの自動調整更新によるhdr映像変換方法及びその装置 | |
CN108496356B (zh) | 用于色调映射的方法、装置和计算机可读介质 | |
US9685120B2 (en) | Image formats and related methods and apparatuses | |
RU2607981C2 (ru) | Устройства и способы для анализа градуировок изображения | |
Valenzise et al. | Performance evaluation of objective quality metrics for HDR image compression | |
CN114584849A (zh) | 视频质量评估方法、装置、电子设备及计算机存储介质 | |
KR102369148B1 (ko) | 이미지 캡처 방법 및 시스템 | |
TWI666921B (zh) | 將高動態範圍影像進行色調映射之方法及裝置 | |
CN110021052B (zh) | 用于生成眼底图像生成模型的方法和装置 | |
CN103353982A (zh) | 一种基于直方图均衡化的色调映射方法 | |
KR20180032750A (ko) | 영상 처리 방법 및 이를 수행하는 표시 장치 | |
Boitard et al. | Zonal brightness coherency for video tone mapping | |
CN110889802B (zh) | 图像处理方法和装置 | |
CN109478316B (zh) | 实时自适应阴影和高光增强 | |
EP2232475B1 (en) | Method and apparatus using performance prediction for optimization of color fidelity of a display | |
US11989868B2 (en) | Video quality assessing method and apparatus | |
CN109102484B (zh) | 用于处理图像的方法和装置 | |
CN114500843B (zh) | 拍摄方法、装置、存储介质以及电子设备 | |
CN110770787A (zh) | 高效端到端单层逆向显示管理编码 | |
Song et al. | Luminance enhancement and detail preservation of images and videos adapted to ambient illumination | |
Narwaria et al. | Study of high dynamic range video quality assessment | |
US11388348B2 (en) | Systems and methods for dynamic range compression in multi-frame processing | |
JP2018093320A (ja) | 映像信号変換装置およびそのプログラム、ならびに、映像表示装置 | |
Khaldieh | Tone mapping of high dynamic range video for video gaming applications | |
KR100435205B1 (ko) | 방송용 디지털 카메라의 자동 설정 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210715 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220610 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220706 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220829 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221130 |
|
A045 | Written measure of dismissal of application [lapsed due to lack of payment] |
Free format text: JAPANESE INTERMEDIATE CODE: A045 Effective date: 20230324 |