JP2020017079A - トーンマッピング処理及びトーンマッピングパラメータの自動調整更新によるｈｄｒ映像変換方法及びその装置 - Google Patents

Abstract

【課題】ＨＤＲ映像をＳＤＲ映像に変換するトーンマッピング処理パラメータの調整を自動化する。【解決手段】グローバルトーンマッピング関数を計算する変換装置は、ＨＤＲ画素値のハードクリップ変換と、視覚特性を考慮したナカ−ラシュトン関数とをミックス処理するトーンマッピング処理部と、その結果にオフセット項を追加するオフセット処理部と、ＨＤＲ画素値をスケールするスケール変換部と、トーンマッピング処理部とオフセット処理部の結果をクリップ処理するクリップ処理部と、ＨＤＲ映像から画素値ヒストグラム特徴を抽出するヒストグラム特徴抽出部と、トーンマッピング処理のパラメータ（スケールｓ、ミックス係数α、オフセットｄ）の調整結果と前記画素値ヒストグラム特徴、およびディスプレイ特性データ、視聴環境光データを用いた事前の学習を行う学習部と、学習部の学習結果から前記パラメータの最適値を予測する予測部とを備える。【選択図】図３

Description

本発明は、知覚現実感を再現するトーンマッピング処理方法及びＨＤＲ映像変換方法及びその装置等に関する。

ＨＤＲ画像をＳＤＲ画像に変換する処理は、トーンマッピング（Tone mapping、ＴＭ）と呼ばれて、グラフィックスの分野で多くの研究がなされており、様々な手法が提案されている。放送で用いることを考えると、画像全体に対して一様なレベル変換を行うグローバルＴＭ処理が処理速度の観点からは優位である。カメラ内部でも、古くからダイナミックレンジの圧縮として、ニー（Ｋｎｅｅ）と呼ばれる処理が用いられている。

ニー処理はニーポイントとニースロープ（ゲイン、あるいは圧縮率）による１次式で関数が決まる簡易な処理である。

カメラにおける逆光補正のための長時間露光信号と短時間露光信号を合成した映像におけるニー処理として、フレーム内の合成信号の輝度値により、ニーポイントと圧縮率（ニースロープ）を制御する技術が特許文献１に開示されている。

また、下記特許文献２に記載のように、ディスプレイの特性や視聴環境による輝度弁別闘を実験的に評価した結果から、知覚現実感を再現するトーンマッピング処理を検討しているものもある。

E. Reinhard，G.Ward，S.Pattanaik，and P. Debevec，High Dynamic Range Imaging: Acquisition，Display，and Image-based Lighting，Amsterdam，Elsevier／Morgan Kaufmann，2005. S.Iwaida et al. Reproduction of Perceptual Reality in Standard-Dynamic-Range （SDR） Environments Using High-Dynamic-Range （HDR） Images Compressed by Global Tone Mapping, SID2017 DIGEST, P-216L.

ＨＤＲ画像／映像における高輝度階調情報のすべてをＳＤＲ画像／映像で表現することは不可能である。しかしながら、高輝度値をクリップするハードクリップ変換によるＳＤＲ変換画像／映像では、高輝度階調が失われてしまう。ＨＤＲ最大輝度値から決定されるスケール変換であるリニア変換では、すべての階調は保存されるものの、平均輝度値の低下により視認性が悪い。画像／映像内容に応じたマニュアルによる調整では、調整コストが掛かるだけでなく、変換結果の品質を一定に保つことも難しい。さらに、トーンマッピングを行うための様々な関数におけるパラメータの意味やその決定方法が明らかではない。そして、ディスプレイの特性や視聴環境によっても、変換結果の見易さは異なるが、視聴環境を制御したラボにおける評価実験には、相当の時間が掛かることが知られている。

本発明においては、画面全体に対して一様なレベル変換を行うグローバルトーンマッピング関数をＨＤＲ画素値をクリップ処理するハードクリップ変換と視覚特性を考慮したナカ−ラシュトン関数のミックス処理として定義する。さらに、オフセット項を追加することにより、知覚現実感を再現することを可能とする。少数パラメータの調整により連続的な変化が可能であり、事前の学習により、最適なパラメータをＨＤＲ映像における画素値ヒストグラム特徴、およびディスプレイ特性、視聴環境光データから予測する。調整を繰り返すことにより、学習結果を更新することができる。

本発明のトーンマッピング処理装置は、グローバルトーンマッピング関数を計算するための、ＨＤＲ画素値をクリップ処理するハードクリップ変換と視覚特性を考慮したナカ−ラシュトン関数を計算した結果をミックス処理するトーンマッピング処理部と、トーンマッピング処理部の結果にオフセット項を追加するオフセット処理部と、トーンマッピング処理部の処理に先立つＨＤＲ画像／映像入力の画素値をスケールするスケール変換部と、トーンマッピング処理部とオフセット処理部の結果をクリップ処理するクリップ処理部と、ＨＤＲ画像／映像入力から画素値ヒストグラム特徴を抽出するヒストグラム特徴抽出部と、トーンマッピング処理におけるスケールｓ、ミックス係数α、好ましくはオフセットｄの調整結果とＨＤＲ画像／映像入力における画素値ヒストグラム特徴、およびディスプレイ特性データ、視聴環境光データを用いた事前の学習を行う学習部と、ＨＤＲ画像／映像入力における画素値ヒストグラム特徴、およびディスプレイ特性データ、視聴環境光データを用いて、事前の学習結果からトーンマッピング処理におけるスケールｓ、ミックス係数α、好ましくはオフセットｄの最適パラメータの予測を行う予測部とを備えることを特徴とする。

また、本発明のトーンマッピング処理装置は好ましくは、ディスプレイ特性データ、および視聴環境光データを取得するデータ取得部をさらに備えることを特徴とする。

本発明のトーンマッピング処理装置は、さらに好ましくはトーンマッピング処理におけるスケールｓ、ミックス係数α、オフセットｄの調整結果とＨＤＲ画像／映像入力における画素値ヒストグラム特徴、およびディスプレイ特性データ、視聴環境光データを用いて、学習結果を逐次更新する逐次学習部をさらに備えることを特徴とする。

本発明の方法では、簡易な演算処理によるグローバルトーンマッピング処理であるため、少数パラメータの調整により、連続的な変化が可能となる。人間の視覚特性を考慮した関数に基づいているので、知覚現実感を再現することが可能である。具体的には高輝度、および暗部のディテールの再現性を改善することができる。様々な画像、ディスプレイ、視聴環境に適応した最適なパラメータを事前の調整による学習結果を用いて、ＨＤＲ画像／映像における画素値ヒストグラム特徴、およびディスプレイ特性、視聴環境光データから自動的に予測することができる。さらに好ましくは、調整を繰り返し行うことにより、学習結果を逐次的に更新して、より見易い変換結果が得られるものとなる。

グローバルトーンマッピング処理ブロック図である。 グローバルトーンマッピング関数グラフを説明する図である。 オフセット項を追加したグローバルトーンマッピング処理ブロック図である。 オフセット項を追加したグローバルトーンマッピング関数グラフ（両対数目盛）を説明する図である。 真のＴＭパラメータ値（tmo（true））を、ｓ＝０．０８３３３，α＝０．９７，ｄ＝０．０２としたときの真の入出力データ値に、それぞれ独立にノイズレベル０．０１の正規乱数誤差を加えた人工データ（data）に対して、不等式制約を課した逐次二次計画法によりＴＭパラメータを推定した例である。 ビデオ映像におけるトーンマッピング処理全体ブロック図である。 最適パラメータ学習処理ブロック図である。 最適パラメータ予測によるＴＭ処理ブロック図である。 残差に対する損失関数を示すグラフである。 オフセット項を追加したグローバルトーンマッピング処理例を示す図である。 オフセット項、及びべき乗処理を追加したグローバルトーンマッピング処理ブロック図である。 オフセット項、及びべき乗処理を追加したグローバルトーンマッピング処理例を示す図である。 各処理結果の比較グラフである。

本実施形態では、知覚現実感を再現するトーンマッピング処理及びトーンマッピングパラメータの自動調整更新によるＨＤＲ映像変換方法及び装置について説明する。ダイナミックレンジを拡大した映像（以下、適宜『ＨＤＲ映像』と称する）を標準ダイナミックレンジ映像（以下、適宜『ＳＤＲ映像』と称する）に変換するトーンマッピング処理（ＨＤＲ→ＳＤＲ変換処理）において、画面全体に対して一様なレベル変換を行うグローバルトーンマッピング関数をＨＤＲ画素値をクリップ処理するハードクリップ変換と視覚特性を考慮した”ナカ−ラシュトン関数”のミックス処理として定義する。

さらに、オフセット項を追加することにより、知覚現実感を再現することが可能となる。少数パラメータの調整により連続的な変化が可能であり、事前の学習により、最適なパラメータをＨＤＲ映像における画素値ヒストグラム特徴、およびディスプレイ特性、視聴環境光データから予測することができる。調整を繰り返すことにより、学習結果を更新して、自動的に見易い変換結果が得られるものとなる。

本実施形態の方法は、各種の映像機器に適用可能であり、ダイナミックレンジを拡大したＨＤＲ映像制作におけるダイナミックレンジ変換装置として実現可能であり、テレビ受像機・映像再生機等に付帯されるＨＤＲ→ＳＤＲ変換機能としても使用可能である。

この方法は、画面全体に対して一様なレベル変換を行うグローバルトーンマッピング関数をＨＤＲ画素値をクリップ処理するハードクリップ変換と視覚特性を考慮したナカ−ラシュトン関数のミックス処理として定義した点に特徴がある。

さらに好ましくは、オフセット項を追加することにより、知覚現実感を再現する処理、具体的には暗部のディテールの再現性、を可能とした点に特徴がある。

また、上記トーンマッピング処理は、簡易な演算処理による実現が可能であり、少数パラメータ（スケールｓ、ミックス係数α、オフセットｄ）の調整により連続的な可変が可能となる点にも特徴がある。

また好ましくは、上記トーンマッピング処理における最適なパラメータ（スケールｓ、ミックス係数α、オフセットｄ）を、様々な画像／映像、ディスプレイ、視聴環境における事前の調整結果に対するＨＤＲ画像／映像における画素値ヒストグラム特徴、およびディスプレイ特性、視聴環境光データから機械学習を行い、未知のＨＤＲ画像／映像における最適パラメータをＨＤＲ画像／映像における画素値ヒストグラム特徴、およびディスプレイ特性、視聴環境光データから自動的に予測できる点にも特徴がある。

そして、さらに好ましくは上記トーンマッピング処理における最適パラメータ学習の結果を、調整を繰り返し行うことにより、学習結果を逐次的に更新する点にも特徴がある。

本実施形態では、カメラマンやＶＥ、カラリストが調整したパラメータｓ，α、ｄ等を画像から抽出したヒストグラム特徴から計算するための予測する式を求めることが、学習となる。そして、学習に用いた画像以外の未知の画像のためのパラメータをその予測式を用いて、自動的に決定する（計算する）ものとなる。

さらに、調整したパラメータ（スケールｓ、ミックス係数α、オフセットｄ）等と画像のヒストグラム特徴の組（学習データ）を追加することにより、予測式を適宜更新する。この更新については、オペレータ等による入力で学習データを追加することも可能である。正解付きの学習データ（つまり、カラリスト等が調整したパラメータを正しい真のパラメータとして、そのときの画像のヒストグラム特徴の組み合わせ）を用いるので、いわゆる『教師あり学習』とも称される。

本発明の実現方法としては、ベースバンドビデオ信号を処理するハードウェア装置により実現することも可能であるし、ＭＸＦファイルを処理するソフトウェアおよびそれを実行するコンピュータをベースとした装置により実現することも可能であるし、ＭＸＦファイルをベースバンドビデオ信号に変換、あるいは逆変換する装置を用いれば、いかなる構成による実現も可能である。カメラ映像を動画像圧縮したもの、あるいはＭＸＦファイルをＩＰ（インターネット・プロトコル）伝送して、クラウド上で処理を行うことも可能である。ＩＰ伝送された圧縮映像をベースバンドビデオ信号に復号して、トーンマッピング処理を行った結果を再び圧縮してストリーム配信する等、様々なシステム形態への展開が考えられる。

また、テレビ受像機、ＰＣディスプレイやスマートフォン、タブレット等の端末における視聴にも適用できる。各端末のディスプレイ特性、視聴環境光データにより、端末側で標準的な学習結果を逐次更新していくことも可能であるし、各端末がネットワーク接続されている場合には、各端末における調整結果による学習データをサンプリングして、クラウド側ですべての学習データを統合して、標準的な学習結果をさらに更新して、改善することも可能である。

また、ラボにおける制御された環境下での評価実験データを学習に用いてもよい。評価実験データの測定には、相応の時間を要するが、信頼性の高い評価実験データを学習に用いることにより、トーンマッピング処理における最適パラメータの予測精度の向上が期待される。評価実験データに対するトーンマッピング処理パラメータの推定方法としては、不等式制約を課した逐次２次計画法を用いることができる。トーンマッピング処理パラメータの推定方法、および実験データと見なした正規乱数誤差を加えた人工データに対する推定シミュレーションの結果を後に示す。

図３は、オフセット項を追加した場合のグローバルトーンマッピング処理ブロック図を説明する図である。ハードクリップ変換とナカ−ラシュトン関数による変換のミックス処理を行った結果に対して、オフセット項ｄを加えて、クリップ処理を行う。したがって、調整パラメータとしては、スケールｓ、ミックス係数α、そしてオフセットｄ
の３つになる。リニアＨＤＲ画像／映像入力をｘとして、リニアＳＤＲ画像／映像出力をｙとすると、グローバルトーンマッピング処理は次のようになる。

オフセット項ｄを追加することにより、知覚現実感を再現することが可能となる。具体的には、暗部のディテールの再現性が向上する。ＨＤＲ画像／映像を視聴するためには、照明等の光のディスプレイへの反射・映り込みの影響を避ける必要があり、例えば映画館のような非常に暗い環境が必要となる。しかし、そのような環境を用意することは、日常的には現実的ではない。モバイル端末等による視聴においては、実際不可能な場合も多いと思われる。そのような視聴環境が明るい場合に対応するためには、ラボにおける輝度弁別閾の測定データから鑑みて、グローバルトーンマッピング処理にオフセット項を追加すればよいことがわかる。図４に、オフセット項を追加したグローバルトーンマッピング関数のグラフを示す。オフセット項を追加したトーンマッピング関数を両対数目盛で表示すると、Ｓ字特性を示す。

が得られる。最適パラメータ学習には、線形回帰（重回帰）、ニューラルネットワーク、サポートペクターマシン等を用いることができる。

これは、スケールｓ、ミックス係数α、オフセットｄのすべてを調整により決定した結果を最適パラメータとした教師あり学習であり、放送局やプロダクション等の番組制作における使用も含む一般的なＨＤＲ画像／映像の視聴状況を想定している。パラメータを調整するのは、カラリスト、ビデオエンジニア（ＶＥ）、カメラマン等の映像制作に携わる専門的な知識を持ったオペレータであってもいいし、番組制作者のみならず、一般的な視聴者によるパラメータ調整も考えられる。

ディスプレイは、放送局やプロダクション等の番組制作では、マスターモニターであり、視聴環境は標準環境、あるいはそれに準ずる環境であり、常に一定の環境と見なせる。したがって、ディスプレイ特性データ、環境光を照度計により測定した結果を学習に用いる。テレビ受像機、ＰＣ、スマートフォン、タブレット等の様々な端末による視聴における調整結果を用いることも可能であり、様々な端末のディスプレイ特性データ、視聴環境光データは付属するセンサにより得られる。

あるいは、テレビ受像機、ＰＣ、スマートフォン、タブレット等のディスプレイ、室内、屋外、昼、夜、照明あり／なし、晴れ、曇り、雨等の視聴環境に関する簡単な分類によることも可能である。ラボ（研究室）における精密な評価実験データから推定したパラメータ結果を用いることも可能である。

調整によるパラメータをオフセットｄのみとする簡易な方法も考えられる。その場合、スケールｓ、ミックス係数αは、画像ヒストグラム特徴ベクトルｈ、のみから教師なし学習により決定するものとしてもよい（詳細は後述する）。

ヒストグラム特徴ベクトルｈは、画面全体の画素値から抽出したものだけではなく、例えば、画面全体を分割した分割領域毎の画素値から抽出したものも用いてもよい。局所領域におけるヒストグラム特徴を用いることにより、ＨＤＲ画像／映像の識別・分類性能が向上して、トーンマッピング処理結果の視認性の向上が期待される。

調整によるパラメータをオフセットｄのみとする簡易な方法の場合には、スケールｓ、ミックス係数αは、画像ヒストグラム特徴ベクトルｈのみから教師なし学習により決定した値を用いてグローバルトーンマッピング処理をすることができる。

学習済みのパラメータをさらに追加されたデータにより学習するためには、次のような確率的勾配降下法を用いる。すなわち、全てのデータを用いて再学習するのではなく、それまでの学習結果のパラメータを初期値として、追加データのみを用いて、学習結果を更新していけばよい。

ｓｇｎ（・）は符号関数であり、Ｃはパラメータ更新に与える影響の大きさをコントロールする正のパラメータである。収束するか所定の反復回数になるまで繰り返す。
端末側で、グローバルＴＭ処理と同時に画像ヒストグラム特徴、ディスプレイ特性データ、視聴環境光データと対応する調整結果による最適パラメータを用いて、逐次的に更新学習を行ってもよいし、データとパラメータを保存して、後から更新学習を行ってもよい。クラウド側にデータと対応するパラメータを送信して、これまでの学習データと統合して、再学習することも可能である。

調整による最適ＴＭパラメータを用いずに、画像ヒストグラム特徴のみから、ＴＭパラメータを計算することも可能である。スケール係数ｓを計算するには、次のようにする。

１．画面全体の対数輝度値の平均を計算する。

ここで、δはlog0を避けるための微小定数であり、例えば、δ＝０．００００１とする。

２．画面全体の対数輝度値の平均値と最大最小値から決定した係数αによりスケール変換を行う。

になる。もちろん、調整による最適ＴＭパラメータを用いた教師あり学習を行ってもよい。

図１１は、オフセット項、およびべき乗処理（Power）を追加した場合のグローバルトーンマッピング処理ブロック図である。スケール変換の結果を、さらにべき乗処理した結果に対して、ナカ−ラシュトン関数による変換とのミックス処理を行い、オフセット項ｄを加えて、クリップ処理を行う。したがって、調整パラメータとしては、スケールｓ、ミックス係数α、そして、オフセットd、べき乗指数ωの４つになる。リニアＨＤＲ画像／映像入力をｘとして、リニアＳＤＲ画像／映像出力をｙとすると、グローバルトーンマッピング処理は次のようになる。

オフセット項を追加することにより、知覚現実感を再現することが可能となるが、さらにべき乗処理を行うことにより、トーンマッピング処理結果のコントラストが強調される。べき乗指数ωは、１．０以上とする。べき乗処理は、予め入力値に対する出力値を計算した結果を格納した１次元ルックアップテーブル（１ＤＬＵＴ）を用いる。ルックアップテーブルからの複数の離散的な出力値を用いた補間処理を併用すれば、テーブル用メモリの容量を削減できる。図１２にオフセット項、およびべき乗処理を追加したトーンマッピング処理例を示す。

べき乗指数を増すことにより、トーンマッピング処理関数の立ち上がりがＳ字特性を示し、急峻になっていくことから、コントラストの強調がなされる。

になる。スケールｓは、オフセット項のみを追加した場合と同じである。

べき乗処理を追加したことにより、べき乗指数パラメータωが追加になるが、これまで同様、最適パラメータ学習、および学習結果による予測ＴＭパラメータを用いたグローバルＴＭ処理、そして、追加の学習データを用いた更新学習もすべて同様に行うことが可能である。

コントラスト強調を行うために、べき乗処理によりトーンマッピング処理関数の立ち上がりをＳ字特性としたが、次のようなミックス処理、あるいは有理関数処理（除算処理）によっても、可能である。

べき乗処理は、予め入力値に対する出力値を計算した結果を格納した１次元ルックアップテーブル（１ＤＬＵＴ）と補間処理により計算可能であるが、このようなミックス処理、あるいは有理関数処理（除算処理）により計算することもできる。べき乗指数によるテーブルメモリの内容を書き換えるのではなく、ミックス係数パラメータβ、あるいは有理関数パラメータλを可変することにより、連続的にトーンマッピング処理関数の立ち上がりＳ字特性を調整することができて、四則演算のみによる代数関数としてトーンマッピング処理関数が記述可能となる。図１３に、各処理のグラフを示す。

ミックス処理、あるいは有理関数処理（除算処理）を追加したことにより、ミックス係数パラメータβ、あるいは有理関数パラメータλが追加になるが、これまで同様、最適パラメータ学習、および学習結果による予測ＴＭパラメータを用いたグローバルＴＭ処理、そして、追加の学習データを用いた更新学習もすべて同様に行うことが可能である。

上述したように、第一実施例として、パラメータはｓ，αの２つとすることができ、また第二実施例としてパラメータはｓ，α，ｄの３つとすることができ、第三実施例としてパラメータはｓ，α，ｄ，ω（β or λ）の４つとすることができる。さらに、
・学習データ（画像ヒストグラム特徴とマニュアルによる調整パラメータの組）によるパラメータの予測式の計算、
・追加学習データによる学習結果の予測式の更新、
・学習結果の予測式によるパラメータの計算とそれによるトーンマッピング処理、
そして，バリエーションとして，学習データに
・ディスプレイ特性データ、
・視聴環境光データ、
を追加してもよい。（カメラマン、ＶＥ、カラリストによるマスタモニタ、標準視聴環境以外の場合）
また、第三実施例のべき乗パラメータωによるコントラスト強調は、１ＤＬＵＴによる実現も可能ではあるが、簡易な演算処理によるトーンマッピング処理となることから、パラメータβあるいはλによる四則演算のみの計算の方がさらに好ましいものとなる。また、演算処理によるトーンマッピング処理であることから、連続的な変化や調整が可能になるので好ましい。（但し、１ＤＬＵＴの場合には、計算して、その結果をテーブルに書き込む工程が必要となることが想定される）

上述の実施形態で説明した開示内容は、その具体的な説明実例に限定されるものではなく、本発明の技術思想の範囲内において、当業者の知り得る公知技術または周知技術を適宜適用してアレンジして利用することが可能である。

本発明は、映像機器全般に適用可能であって、特にダイナミックレンジを拡大したＨＤＲ映像制作におけるダイナミックレンジ変換装置に好適である。また、受像機／映像再生機におけるＨＤＲ→ＳＤＲ変換機能等にも好適である。

Claims (25)

1. グローバルトーンマッピング関数を計算するための、ＨＤＲ画素値をクリップ処理するハードクリップ変換と視覚特性を考慮したナカ−ラシュトン関数を計算した結果をミックス処理するトーンマッピング処理部と、
   前記トーンマッピング処理部の結果にオフセット項を追加するオフセット処理部と、
   前記トーンマッピング処理部の処理に先立つＨＤＲ画像／映像入力の画素値をスケールするスケール変換部と、
   前記トーンマッピング処理部と前記オフセット処理部の結果をクリップ処理するクリップ処理部と、
   前記ＨＤＲ画像／映像入力から画素値ヒストグラム特徴を抽出するヒストグラム特徴抽出部と、
   トーンマッピング処理におけるスケールｓ、ミックス係数α、オフセットｄの調整結果とＨＤＲ画像／映像入力における画素値ヒストグラム特徴、およびディスプレイ特性データ、視聴環境光データを用いた事前の学習を行う学習部と、
   前記ＨＤＲ画像／映像入力における画素値ヒストグラム特徴、およびディスプレイ特性データ、視聴環境光データを用いて、事前の学習結果からトーンマッピング処理におけるスケールｓ、ミックス係数α、オフセットｄの最適パラメータの予測を行う予測部とを備える
   ことを特徴とするトーンマッピング処理装置。
2. 請求項１に記載のトーンマッピング処理装置において、
   ディスプレイ特性データ、および視聴環境光データを取得するデータ取得部をさらに備える
   ことを特徴とするトーンマッピング処理装置。
3. 請求項１または請求項２に記載のトーンマッピング処理装置において、
   トーンマッピング処理におけるスケールｓ、ミックス係数α、オフセットｄの調整結果とＨＤＲ画像／映像入力における画素値ヒストグラム特徴、およびディスプレイ特性データ、視聴環境光データを用いて、学習結果を逐次更新する逐次学習部をさらに備える
   ことを特徴とするトーンマッピング処理装置。
4. 画面全体に対して一様なレベル変換を行うグローバルトーンマッピング関数をＨＤＲ画素値をクリップ処理するハードクリップ変換と視覚特性を考慮したナカ−ラシュトン関数のミックス処理関数として定義し、これにオフセット項を追加することにより、知覚現実感を再現する
   ことを特徴とするトーンマッピング処理方法。
5. 請求項４に記載のトーンマッピング処理方法において、
   事前の学習により予め決定された最適なパラメータをＨＤＲ映像における画素値ヒストグラム特徴及びディスプレイ特性及び視聴環境光データから予測する
   ことを特徴とするトーンマッピング処理方法。
6. 請求項４または請求項５に記載のトーンマッピング処理方法において、
   前記ミックス処理関数のパラメータの調整を繰り返すことにより、学習結果を更新する
   ことを特徴とするトーンマッピング処理方法。
7. グローバルトーンマッピング関数を計算するための、ＨＤＲ画素値をクリップ処理するハードクリップ変換と視覚特性を考慮したナカ−ラシュトン関数を計算した結果をミックス処理するトーンマッピング処理段階と、
   前記トーンマッピング処理段階の結果にオフセット項を追加するオフセット処理段階と、
   前記トーンマッピング処理段階の処理に先立つＨＤＲ画像／映像入力の画素値をスケールするスケール変換段階と、
   前記トーンマッピング処理段階と前記オフセット処理段階の結果をクリップ処理するクリップ処理段階と、
   前記ＨＤＲ画像／映像入力から画素値ヒストグラム特徴を抽出するヒストグラム特徴抽出段階と、
   トーンマッピング処理におけるスケールｓ、ミックス係数α、オフセットｄの調整結果とＨＤＲ画像／映像入力における画素値ヒストグラム特徴、およびディスプレイ特性データ、視聴環境光データを用いた事前の学習を行う学習段階と、
   前記ＨＤＲ画像／映像入力における画素値ヒストグラム特徴、およびディスプレイ特性データ、視聴環境光データを用いて、事前の学習結果からトーンマッピング処理におけるスケールｓ、ミックス係数α、オフセットｄの最適パラメータの予測を行う予測段階とを有する
   ことを特徴とするトーンマッピング処理方法。
8. 請求項７に記載のトーンマッピング処理方法において、
   ディスプレイ特性データ、および視聴環境光データを取得するデータ取得段階をさらに有する
   ことを特徴とするトーンマッピング処理方法。
9. 請求項７または請求項８に記載のトーンマッピング処理方法において、
   トーンマッピング処理におけるスケールｓ、ミックス係数α、オフセットｄの調整結果とＨＤＲ画像／映像入力における画素値ヒストグラム特徴、およびディスプレイ特性データ、視聴環境光データを用いて、学習結果を逐次更新する逐次学習段階をさらに有する
   ことを特徴とするトーンマッピング処理方法。
10. 請求項１に記載のトーンマッピング処理装置において、
    前記最適パラメータについて、
    スケール変換の結果を、さらにべき乗処理した結果に対して、ナカ−ラシュトン関数による変換とのミックス処理を行い、オフセット項ｄを加えて、クリップ処理を行うように、調整パラメータとして、前記スケールｓ、前記ミックス係数α、前記オフセットd、に加えてべき乗指数ωをさらに含む
    ことを特徴とするトーンマッピング処理装置。
11. 請求項１０に記載のトーンマッピング処理装置において、
    前記トーンマッピング処理は、
    
    で表される
    ことを特徴とするトーンマッピング処理装置。
12. 請求項１１に記載のトーンマッピング処理装置において、
    前記べき乗指数ωは、１．０以上であり、前記べき乗処理は、予め入力値に対する出力値を計算した結果を格納した１次元ルックアップテーブル（１ＤＬＵＴ）を用いる
    ことを特徴とするトーンマッピング処理装置。
13. 請求項１０乃至請求項１２のいずれか一項に記載のトーンマッピング処理装置において、
    トーンマッピング処理におけるスケールｓ、ミックス係数α、オフセットｄの調整結果とＨＤＲ画像／映像入力における画素値ヒストグラム特徴、およびディスプレイ特性データ、視聴環境光データを用いて、学習結果を逐次更新する逐次学習部をさらに備える
    ことを特徴とするトーンマッピング処理装置。
14. 請求項７に記載のトーンマッピング処理方法において、
    前記最適パラメータについて、
    スケール変換の結果を、さらにべき乗処理した結果に対して、ナカ−ラシュトン関数による変換とのミックス処理を行い、オフセット項ｄを加えて、クリップ処理を行うように、調整パラメータとして、前記スケールｓ、前記ミックス係数α、前記オフセットd、に加えてべき乗指数ωをさらに含む
    ことを特徴とするトーンマッピング処理方法。
15. 請求項１４に記載のトーンマッピング処理方法において、
    前記トーンマッピング処理は、
    
    で表される
    ことを特徴とするトーンマッピング処理方法。
16. 請求項１１に記載のトーンマッピング処理方法において、
    前記べき乗指数ωは、１．０以上であり、前記べき乗処理は、予め入力値に対する出力値を計算した結果を格納した１次元ルックアップテーブル（１ＤＬＵＴ）を用いる
    ことを特徴とするトーンマッピング処理方法。
17. 請求項１４乃至請求項１６のいずれか一項に記載のトーンマッピング処理方法において、
    トーンマッピング処理におけるスケールｓ、ミックス係数α、オフセットｄの調整結果とＨＤＲ画像／映像入力における画素値ヒストグラム特徴、およびディスプレイ特性データ、視聴環境光データを用いて、学習結果を逐次更新する逐次学習する工程をさらに備える
    ことを特徴とするトーンマッピング処理方法。
18. 請求項４に記載のトーンマッピング処理方法において、
    前記ミックス処理関数のパラメータは、
    スケール変換の結果を、さらにべき乗処理した結果に対して、ナカ−ラシュトン関数による変換とのミックス処理を行い、オフセット項ｄを加えて、クリップ処理を行うように、調整パラメータとして、スケールｓ、ミックス係数α、オフセットd、に加えてべき乗指数ωを含む
    ことを特徴とするトーンマッピング処理方法。
19. 請求項１８に記載のトーンマッピング処理方法において、
    前記トーンマッピング処理は、
    
    で表される
    ことを特徴とするトーンマッピング処理方法。
20. 請求項１９に記載のトーンマッピング処理方法において、
    前記べき乗指数ωは、１．０以上であり、前記べき乗処理は、予め入力値に対する出力値を計算した結果を格納した１次元ルックアップテーブル（１ＤＬＵＴ）を用いる
    ことを特徴とするトーンマッピング処理方法。
21. 請求項１８乃至請求項２０のいずれか一項に記載のトーンマッピング処理方法において、
    トーンマッピング処理におけるスケールｓ、ミックス係数α、オフセットｄの調整結果とＨＤＲ画像／映像入力における画素値ヒストグラム特徴、およびディスプレイ特性データ、視聴環境光データを用いて、学習結果を逐次更新する逐次学習する工程をさらに備える
    ことを特徴とするトーンマッピング処理方法。
22. 請求項１０に記載のトーンマッピング処理装置において、
    コントラスト強調を行うために、前記べき乗処理によりトーンマッピング処理関数の立ち上がりはＳ字特性である
    ことを特徴とするトーンマッピング処理装置。
23. 請求項１４または請求項１８に記載のトーンマッピング処理方法において、
    コントラスト強調を行うために、前記べき乗処理によりトーンマッピング処理関数の立ち上がりはＳ字特性である
    ことを特徴とするトーンマッピング処理方法。
24. グローバルトーンマッピング関数を計算するための、ＨＤＲ画素値をクリップ処理するハードクリップ変換と視覚特性を考慮したナカ−ラシュトン関数を計算した結果をミックス処理するトーンマッピング処理部と、
    前記トーンマッピング処理部の結果にオフセット項を追加するオフセット処理部と、
    前記トーンマッピング処理部の処理に先立つＨＤＲ画像／映像入力の画素値をスケールするスケール変換部と、
    前記トーンマッピング処理部と前記オフセット処理部の結果をクリップ処理するクリップ処理部と、
    前記ＨＤＲ画像／映像入力から画素値ヒストグラム特徴を抽出するヒストグラム特徴抽出部と、
    トーンマッピング処理におけるスケールｓ、ミックス係数αの調整結果とＨＤＲ画像／映像入力における画素値ヒストグラム特徴、およびディスプレイ特性データ、視聴環境光データを用いた事前の学習を行う学習部と、
    前記ＨＤＲ画像／映像入力における画素値ヒストグラム特徴、およびディスプレイ特性データ、視聴環境光データを用いて、事前の学習結果からトーンマッピング処理におけるスケールｓ、ミックス係数αの最適パラメータの予測を行う予測部とを備え、
    前記トーンマッピング処理は、下記式に基づいて前記ＨＤＲ画像／映像入力ｘからＳＤＲ画像／映像出力ｙを算出する
    ことを特徴とするトーンマッピング処理装置。
25. グローバルトーンマッピング関数を計算するための、ＨＤＲ画素値をクリップ処理するハードクリップ変換と視覚特性を考慮したナカ−ラシュトン関数を計算した結果をミックス処理するトーンマッピング処理部と、
    前記トーンマッピング処理部の結果にオフセット項を追加するオフセット処理部と、
    前記トーンマッピング処理部の処理に先立つＨＤＲ画像／映像入力の画素値をスケールするスケール変換部と、
    前記トーンマッピング処理部と前記オフセット処理部の結果をクリップ処理するクリップ処理部と、
    前記ＨＤＲ画像／映像入力から画素値ヒストグラム特徴を抽出するヒストグラム特徴抽出部と、
    トーンマッピング処理におけるスケールｓ、ミックス係数α、オフセットｄの調整結果とＨＤＲ画像／映像入力における画素値ヒストグラム特徴、およびディスプレイ特性データ、視聴環境光データを用いた事前の学習を行う学習部と、
    前記ＨＤＲ画像／映像入力における画素値ヒストグラム特徴、およびディスプレイ特性データ、視聴環境光データを用いて、事前の学習結果からトーンマッピング処理におけるスケールｓ、ミックス係数α、オフセットｄの最適パラメータの予測を行う予測部とを備え、
    前記トーンマッピング処理は、下記式に基づいて前記ＨＤＲ画像／映像入力ｘからＳＤＲ画像／映像出力ｙを算出する
    ことを特徴とするトーンマッピング処理装置。