JP2019207603A - エッジ強度最大化によるトーンマッピング処理方法及びhdr映像変換装置 - Google Patents
エッジ強度最大化によるトーンマッピング処理方法及びhdr映像変換装置 Download PDFInfo
- Publication number
- JP2019207603A JP2019207603A JP2018103273A JP2018103273A JP2019207603A JP 2019207603 A JP2019207603 A JP 2019207603A JP 2018103273 A JP2018103273 A JP 2018103273A JP 2018103273 A JP2018103273 A JP 2018103273A JP 2019207603 A JP2019207603 A JP 2019207603A
- Authority
- JP
- Japan
- Prior art keywords
- tone mapping
- hdr
- mapping processing
- processing method
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013507 mapping Methods 0.000 title claims abstract description 99
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 94
- 238000003672 processing method Methods 0.000 title claims abstract description 22
- 238000012545 processing Methods 0.000 claims abstract description 53
- 238000012886 linear function Methods 0.000 claims abstract description 16
- 238000000034 method Methods 0.000 claims description 71
- 238000009826 distribution Methods 0.000 claims description 2
- 230000011218 segmentation Effects 0.000 claims 3
- 238000001914 filtration Methods 0.000 claims 1
- 230000000717 retained effect Effects 0.000 abstract 1
- 230000006870 function Effects 0.000 description 36
- 238000004364 calculation method Methods 0.000 description 24
- 210000003127 knee Anatomy 0.000 description 24
- 238000010586 diagram Methods 0.000 description 15
- 230000009466 transformation Effects 0.000 description 10
- 238000011156 evaluation Methods 0.000 description 9
- 239000013598 vector Substances 0.000 description 7
- 238000004519 manufacturing process Methods 0.000 description 5
- 238000005192 partition Methods 0.000 description 5
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 230000001186 cumulative effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000008358 core component Substances 0.000 description 1
- 238000011982 device technology Methods 0.000 description 1
- 239000003623 enhancer Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011158 quantitative evaluation Methods 0.000 description 1
- 238000012892 rational function Methods 0.000 description 1
- 230000000087 stabilizing effect Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Studio Devices (AREA)
Abstract
Description
・ダイナミックレンジを拡大したHDR映像を標準ダイナミックレンジSDR映像に変換する卜ーンマッピング処理(HDR→SDR変換処理)において、画面全体に対して一様なレベル変換を行うグローバルトーンマッピング関数を区分線形関数で表し、その関数パラメータを変換結果のSDR映像におけるエッジ強度を最大化するように、入力HDR映像における画素値から自動的に計算する。
・トーンマッピング関数パラメータは入力HDR画素値のエッジ強度を累積加算することにより得られる連立方程式を解くことにより、閉形式解として計算される。
・トーンマッピング関数パラメータを計算するための、入力HDR画像における平均輝度値とエッジ強度のトレードオフを調整する正則化パラメータを複数HDR画像から予め決定した結果と各HDR画像のヒストグラム特徴量から正則化パラメータを予測する式を計算する事前の最適パラメータ学習と入力HDR画像から抽出したヒストグラム特徴から正則化パラメータを予測計算して、エッジ強度最大化する卜ーンマッピング処理を遂行する。
・HDR入力の全画素の対数輝度値の平均によりスケール変換されたHDR画素を区分線形関数により卜ーンマッピング(TM)処理する卜ーンマッピング処理部
・HDR入力をスケール変換するための対数輝度値平均計算部およびスケール変換部
・HDR入力の画素値のエッジ強度を計算するエッジ強度計算部
・HDR入力の画素値のエッジ強度の累積加算結果と平均対数輝度値、正則化パラメータによりSDR変換画像におけるエッジ強度を最大化する卜ーンマッピングパラメータを計算するTMパラメータ計算部
・正則化パラメータを事前の最適パラメータ学習により予測するための正則化パラメータ探索方法
・正則化パラメータを事前の最適パラメータ学習により予測するためのHDR画像からのヒストグラム特徴の抽出部
・複数のHDR画像における探索による正則化パラメータとヒストグラム特徴ベクトルから予測式を計算する最適パラメータ学習部
・HDR入力に対してエッジ強度最大化卜ーンマッピング処理を行うエッジ強度最大化TM処理部とHDR入力画像からヒストグラム特徴ベクトルを抽出するヒストグラム特徴抽出部とヒストグラム特徴ベクトルに対して正則化パラメータを予測計算する正則化パラメータ予測部
(Abstract)
(1 はじめに)
評価用HDR画像(The HDR Photographic Survey, http://rit-mcsl.org/fairchild//HDR.html及びCreating cinematic wide gamut HDR-video for the evaluation of tone mapping operators and HDR-displays[3],https://hdr-2014.hdm-stuttgart.de/)(OpenEXR(http://www.openexr.com/))20枚を、リニア変換、ハードクリップ変換、ニー変換、ReinhardグローバルTM[14,15]、エッジ強度最大化TMにより、SDR画像(8ビット,[0,255])に変換する。RGB表色系からxyY表色系へ変換して、輝度値Yのみ処理した結果をRGB値に戻す[15]。各グローバルTM処理は、対数輝度値の平均値と最大最小値から決定した係数[15]を修正した値によりスケール変換した輝度値Yに対して行う。ニー変換におけるニー関数,ReinhardグローバルTM処理を後述の(付録B,C)に示す。
ハイダイナミックレンジ(HDR)画像をトーンマッピング(Tone Mapping,TM)処理した結果の標準ダイナミックレンジ(SDR)画像におけるエッジ強度を最大化するTMパラメータを計算した。SLT(Slice Transform)モデルにより定義されたグローバルTM処理を正則化により、エッジ強度を優先するリニア変換と平均輝度値を優先するハードクリップ変換のトレードオフとして、HDR入力画像から自動的に決定するものであり、解は最小二乗法により閉形式として得られる。リニア変換、ハードクリップ変換、ReinhardグローバルTMによるSDR変換画像における平均輝度値とエッジ強度により比較評価した。
今後の課題としては。
・ベイズ推定等による超パラメータの自動決定
・マルチコアCPU/GPU/FPGAによる実装とHDR映像のリアルタイム処理
が挙げられる。
[1]A. O. Akyuz, False color visualization for HDR images, Proceedings of First International Conference and SME Workshop on HDR imaging (HDRi2013),Porto,Portugal,pp.26-30 (April 2013).
[2]C. M. Bishop, Pattern Recognition and Machine Learning, Springer 2006.元田 浩(監訳),「パターン認識と機械学習(上・下)」丸善出版, 2012年4月.
[3]J. Froehlich, S. Grandinetti, B. Eberhardt, S. Walter, A. Schilling, and H. Brendel, Creating cinematic wide gamut HDR-video for the evaluation of tone mapping operators and HDR-displays, Proceedings of SPIE 9023, Digital Photography X, 90230X (March 7, 2014).
[4]画像電子学会編,「カラーマネジメント技術一拡張色空間とカラーアピアランス」,東京電機大学出版局, 2008年7月.
[5]Y. Hel-Or and D. Shaked, A discriminative approach for wavelet denoising, IEEE Transactions on Image Processing, 17-4 (April 2008), 443-457.
[6]金谷 健一,「これなら分かる最適化数学一基礎原理から計筧手法まで一」共立出版,2005年9月.
[7]H. R. Kang, Computational Color Technology, SPIE Publications, May 2006.
[8]P. Ledda, A. Chalmers, T. Troscianko, and H. Seetzen, Evaluation of tone mapping operators using a high dynamic range display, A CM Transactions on Graphics- Proceedings of ACM SIGGRAPH 2005, 24-3, pp. 640-648 (July 2005).
[9]松永 力,時間空間方向性補間とマルチスケール非線形工ンハンサによる1パスビデオ超解像,第20回画像センシングシンポジウム(SSII2014)講演論文集,横浜(パシフィコ横浜), 2014年6月.
[10]松永 力,広色域映像のための最適色域マッピング,第22回画像センシングシンポジウム(SSII2016)講演論文集,横浜(パシフィコ横浜), 2016年6月.
[11]J. Morovic, Color Gamut Mapping, John Wiley & Sons Ltd., August 2008.
[12]日本放送協会,「スーパーハイビジョン映像技術」特集号, NHK技研R&D, No. 137, 2013年1月.
[13]S. C. Park, M. K. Park, and M. G. Kang, Super-resolution image reconstruction: A technical overview, IEEE Signal Processing Magazine, 20-3 (May 2003), 21-36.
[14]E. Reinhard, M. Stark, P. Shirley, and J. Ferwerda, Photographic tone reproduction for digital images, ACM Transactions on Graphics - Proceedings of ACM SIGGRAPH 2002, 21-3, pp. 267-276 (July 2002).
[15]E. Reinhard, G. Ward, S. Pattanaik, and P. Debevec, High Dynamic Range Imaging: Acquisition, Display, and Image-based Lighting, Amsterdam, Elsevier/Morgan Kaufmann, 2005.
[16]趙 延軍,松永 力, MXFファイルに対応した1パスビデオ超解像アップ変換のGPUによる高速化, GPUテクノロジ・カンファレンス(GTC Japan 2014), 2014-8008,東京(東京ミッドタウンホール&カンファレンス), 2014年7月.
Claims (9)
- HDR映像をSDR映像に変換するトーンマッピング処理において、
画面全体に対して一様なレベル変換を行うグローバルトーンマッピング関数を区分線形関数で表し、関数パラメータを変換結果のSDR映像のエッジ強度を最大化するように、入力HDR映像における画素値から自動的に計算する
ことを特徴とするトーンマッピング処理方法。 - 請求項1に記載のトーンマッピング処理方法において、
前記区分線形関数は、折れ線近似である
ことを特徴とするトーンマッピング処理方法。 - 請求項2に記載のトーンマッピング処理方法において、
前記区分線形関数の入力区分点は、前記HDR映像における1フレーム中の最大輝度値レベルを再帰的に二分割して、最小区分点が、100%白レベルを1.0として正規化した輝度値に対して、0.01以下になるまで繰り返すことにより決定される
ことを特徴とするトーンマッピング処理方法。 - 請求項2に記載のトーンマッピング処理方法において、
前記区分線形関数の入力区分点を、1フレーム内の入力HDR画素値における最大輝度値から再帰的に分割することによって決定する工程と、
トーンマッピングパラメータを、1フレーム内の入力HDR画素値によるエッジ強度を最大化するものを算出するか、または、
複数フレーム内における入力HDR画素値によるエッジ強度を最大化するものを算出するか、の工程と、
得られたトーンマッピングパラメータに対して時系列フィルタ処理を遂行する工程と、を有する
ことを特徴とするトーンマッピング処理方法。 - 請求項1乃至請求項4のいずれか一項に記載のトーンマッピング処理方法において、
変換後の前記SDR映像のエッジ強度を最大化するような区分線形関数によるトーンマッピングパラメータpは、次の目的関数Jを最小化するものとして得られる
ことを特徴とするトーンマッピング処理方法。 - 請求項1乃至請求項5のいずれか一項に記載のトーンマッピング処理方法において、
入力される前記HDR映像における平均輝度値とエッジ強度を最大化するためのトレードオフを調整する正則化パラメータλ,μを、前記HDR画像のヒストグラム特徴量から予測する
ことを特徴とするトーンマッピング処理方法。 - 請求項1乃至請求項6のいずれか一項に記載のトーンマッピング処理方法において、
前記HDR映像のみから自動的にトーンマッピング処理を行うためのパラメータを計算することにより、前記HDR映像と前記SDR映像の同時放送・配信のための卜ーンマッピング処理におけるマニュアル調整が不要である
ことを特徴とするトーンマッピング処理方法。 - 請求項1乃至請求項7のいずれか一項に記載のトーンマッピング処理方法において、
前記関数パラメータは、連立方程式を解くことにより、閉形式解として得られるものである
ことを特徴とするトーンマッピング処理方法。 - 請求項1乃至請求項8のいずれか一項に記載のトーンマッピング処理方法を遂行する
ことを特徴とするトーンマッピング処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018103273A JP7137185B2 (ja) | 2018-05-30 | 2018-05-30 | エッジ強度最大化によるトーンマッピング処理方法及びhdr映像変換装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018103273A JP7137185B2 (ja) | 2018-05-30 | 2018-05-30 | エッジ強度最大化によるトーンマッピング処理方法及びhdr映像変換装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019207603A true JP2019207603A (ja) | 2019-12-05 |
JP7137185B2 JP7137185B2 (ja) | 2022-09-14 |
Family
ID=68767693
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018103273A Active JP7137185B2 (ja) | 2018-05-30 | 2018-05-30 | エッジ強度最大化によるトーンマッピング処理方法及びhdr映像変換装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7137185B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022108201A1 (ko) * | 2020-11-23 | 2022-05-27 | 삼성전자 주식회사 | 영상을 제공하는 방법 및 이를 지원하는 전자 장치 |
CN115660994A (zh) * | 2022-10-31 | 2023-01-31 | 哈尔滨理工大学 | 一种基于区域最小二乘估计的图像增强方法 |
CN116029914A (zh) * | 2022-07-27 | 2023-04-28 | 荣耀终端有限公司 | 图像处理方法与电子设备 |
JP2023161738A (ja) * | 2022-04-26 | 2023-11-08 | Jig-Saw株式会社 | 情報処理装置、情報処理方法、およびプログラム |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11341307A (ja) * | 1995-09-25 | 1999-12-10 | Matsushita Electric Ind Co Ltd | 画像表示方法及びその装置 |
JP2014176449A (ja) * | 2013-03-14 | 2014-09-25 | Panasonic Corp | 内視鏡 |
-
2018
- 2018-05-30 JP JP2018103273A patent/JP7137185B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11341307A (ja) * | 1995-09-25 | 1999-12-10 | Matsushita Electric Ind Co Ltd | 画像表示方法及びその装置 |
JP2014176449A (ja) * | 2013-03-14 | 2014-09-25 | Panasonic Corp | 内視鏡 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022108201A1 (ko) * | 2020-11-23 | 2022-05-27 | 삼성전자 주식회사 | 영상을 제공하는 방법 및 이를 지원하는 전자 장치 |
JP2023161738A (ja) * | 2022-04-26 | 2023-11-08 | Jig-Saw株式会社 | 情報処理装置、情報処理方法、およびプログラム |
CN116029914A (zh) * | 2022-07-27 | 2023-04-28 | 荣耀终端有限公司 | 图像处理方法与电子设备 |
CN116029914B (zh) * | 2022-07-27 | 2023-10-20 | 荣耀终端有限公司 | 图像处理方法与电子设备 |
CN115660994A (zh) * | 2022-10-31 | 2023-01-31 | 哈尔滨理工大学 | 一种基于区域最小二乘估计的图像增强方法 |
Also Published As
Publication number | Publication date |
---|---|
JP7137185B2 (ja) | 2022-09-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
RU2740034C1 (ru) | Линейный кодер для обработки изображений/видео | |
Rao et al. | A Survey of Video Enhancement Techniques. | |
KR101831551B1 (ko) | 높은 동적 범위의 이미지 생성 및 렌더링 | |
JP7137185B2 (ja) | エッジ強度最大化によるトーンマッピング処理方法及びhdr映像変換装置 | |
US8290295B2 (en) | Multi-modal tone-mapping of images | |
US7945115B2 (en) | Visual processing device, visual processing method, visual processing program, and semiconductor device | |
CN109792523B (zh) | 单层后向兼容编解码器的实时整形 | |
US20090317017A1 (en) | Image characteristic oriented tone mapping for high dynamic range images | |
CN110944176B (zh) | 图像帧降噪方法和计算机存储介质 | |
KR20150108774A (ko) | 비디오 시퀀스를 프로세싱하는 방법, 대응하는 디바이스, 컴퓨터 프로그램 및 비일시적 컴퓨터 판독가능 매체 | |
CN104021532A (zh) | 一种红外图像的图像细节增强方法 | |
WO2018231968A1 (en) | Efficient end-to-end single layer inverse display management coding | |
JP7472403B2 (ja) | Sdrからhdrへのアップコンバートのための適応的ローカルリシェーピング | |
US20150170338A1 (en) | Image processing method and apparatus | |
CN110889809A (zh) | 图像处理方法及装置、电子设备、存储介质 | |
CN114240767A (zh) | 一种基于曝光融合的图像宽动态范围处理方法及装置 | |
JP2012238932A (ja) | 3d自動色補正装置とその色補正方法と色補正プログラム | |
Zhang et al. | Multi-scale-based joint super-resolution and inverse tone-mapping with data synthesis for UHD HDR video | |
US8189950B2 (en) | Image enhancement method using local gain correction | |
JP2022542312A (ja) | 電気-光伝達関数変換及び信号適法化 | |
CN103618904B (zh) | 基于像素的运动估计方法及装置 | |
JP6826472B2 (ja) | 画像処理装置およびその制御方法 | |
Cho et al. | Efficient image enhancement technique by decimation method | |
Nguyen et al. | Optimized tone mapping of HDR images via HVS model-based 2D histogram equalization | |
KR19980015067A (ko) | 밝기 보상 기능을 가진 양자화된 평균-분리 히스토그램 등화를 이용한 화질 개선 방법 및 그 회로 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210513 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220414 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220526 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220721 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220802 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220826 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7137185 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |