JP2019207603A

JP2019207603A - エッジ強度最大化によるトーンマッピング処理方法及びｈｄｒ映像変換装置

Info

Publication number: JP2019207603A
Application number: JP2018103273A
Authority: JP
Inventors: 力松永; Tsutomu Matsunaga; 延軍趙; Yanjun Zhao
Original assignee: For A Co Ltd
Current assignee: For A Co Ltd
Priority date: 2018-05-30
Filing date: 2018-05-30
Publication date: 2019-12-05
Anticipated expiration: 2038-05-30
Also published as: JP7137185B2

Abstract

【課題】エッジ強度最大化卜ーンマッピング処理により、ＨＤＲ画像／映像の持つ高輝度階調情報を失うことなく、ＳＤＲ画像／映像に変換することができる【解決手段】ＨＤＲ映像をＳＤＲ映像に変換するトーンマッピング処理において、画面全体に対して一様なレベル変換を行うグローバルトーンマッピング関数を区分線形関数で表し、関数パラメータを変換結果のＳＤＲ映像のエッジ強度を最大化するように、入力ＨＤＲ映像における画素値から自動的に計算することを特徴とするトーンマッピング処理方法とする。また、好ましくは、区分線形関数は、折れ線近似であることを特徴とする。【選択図】図１

Description

本発明は、エッジ強度最大化によるトーンマッピング処理方法及びＨＤＲ映像変換装置に関する。

ＨＤＲ画像をＳＤＲ画像に変換する処理は、トーンマッピング(Tone mapping、ＴＭ)と呼ばれて、グラフィックスの分野で多くの研究がなされており、様々な手法が提案されている。放送で用いることを考えると、画像全体に対して一様なレベル変換を行うグローバルＴＭ処理が処理速度の観点からは優位である。カメラ内部でも、古くからダイナミックレンジの圧縮として、ニー(Knee)と呼ばれる処理が用いられている。

ニー処理はニーポイントとニースロープ（ゲイン、あるいは圧縮率）による１次式で関数が決まる簡易な処理である。

カメラにおける逆光補正のための長時間露光信号と短時間露光信号を合成した映像におけるニー処理として、フレーム内の合成信号の輝度値により、ニーポイントと圧縮率（ニースロープ）を制御する技術が特許文献１に開示されている。

Blu-ray Disc（登録商標）に記録されているハイダイナミックレンジ対応コンテンツを、表示する受像機に合わせて、トーンマッピング処理するためのメタデータの各種要素、構造に関する内容が標準規格として、米国映画テレビ技術者協会(Society of Motion Picture and Television Engineers, SMPTE)により定められている。（例えば、非特許文献２）さらに、Applicationとして、４つのトーンマッピング処理方式が提案されている。（例えば、非特許文献３乃至非特許文献６）

下記非特許文献２では、トーンマッピング処理としては、輝度値に対して、Ｓ字曲線（シグモイド曲線）により行われている。そして、フレーム中の最大・最小・平均輝度値の３パラメータからＳ字曲線を決定しているが、その後に続く、色調整、ディテール強調等のパラメータはいずれも主観的なマニュアル調整による。

また、下記非特許文献３では、トーンマッピング処理として、いくつかの処理が行われているが、基本的には輝度値に対する処理であり、輝度値のシャドウ部（低輝度領域）、ハイライト部（高輝度領域）のゲイン調整、およびそれらを滑らかに接続する中間輝度領域からなるカーブを用いている。その後の微調整として、区分線形関数による方法も記述があるが、具体的な調整方法は見当たらない。

また、下記非特許文献５では、ＨＤＲ→ＳＤＲ変換を、プリ／ポスト１ＤＬＵＴ（ルックアップテーブル）＋３×３カラーマトリクス変換によりモデル化して、そのモデルパラメータをメタデータとしている。モデルパラメータは、予めマニュアルにより変換したＳＤＲ画像と元のＨＤＲ画像の間のユークリッド距離が最小となるように決定する。モデルの妥当性は、推定したパラメータによる変換結果のＳＤＲ画像と元のＨＤＲ画像の間のＰＳＮＲ，ＳＳＩＭ、および△Ｅにより、実験的に評価している。パラメータの計算方法に関しては、非特許文献７に記載がなされている。

また、非特許文献６では、トーンマッピング関数に、直線と４次ベジェ曲線（多項式関数）を接続したものを用いている。ベジェ曲線は少ない制御点により滑らかな曲線を実現できるものの、計算コストは高い。シーン中の最大輝度値からトーンマッピングパラメータを計算しているが、その根拠は明らかではない。

さらに、非特許文献８では、画像の局所的な処理によるローカルトーンマッピング処理であるが、その前処理としての画面全体に対して一様なレベル変換を行うグローバルトーンマッピング関数には、有理式関数を用いている。

特開２０１０−２７３２３９号公報

E. Reinhard，G.Ward，S.Pattanaik，and P. Debevec，High Dynamic Range Imaging: Acquisition，Display，and Image-based Lighting，Amsterdam，Elsevier/Morgan Kaufmann，2005. SMPTE ST 2094-1:2016, SMPTE STANDARD Dynamic Metadata for Color Volume Transform - Core Components,Approved May 18, 2016. SMPTE ST 2094-10:2016, SMPTE STANDARD Dynamic Metadata for Color Volume Transform - Application #1, Approved May 18, 2016. SMPTE ST 2094-20:2016, SMPTE STANDARD Dynamic Metadata for Color Volume Transform - Application #2, Approved July 6, 2016. SMPTE ST 2094-30:2016, SMPTE STANDARD Dynamic Metadata for Color Volume Transform - Application #3, Approved July 6, 2016. SMPTE ST 2094-40:2016, SMPTE STANDARD Dynamic Metadata for Color Volume Transform - Application #4, Approved August 24, 2016. W. Redmann, P. Andrivon, P. Bordes and F. Urban, Reference-Based Color Volume Remapping, SMPTE 2015 Annual Technical Conference and Exhibition, Loews Hollywood Hotel, Hollywood, CA, 2015, pp. 1-14. E. Reinhard, M. Stark, P. Shirley, and J. Ferwerda, Photographic tone reproduction for digital images, ACM Transactions on Graphics - Proceedings of ACM SIGGRAPH 2002, 21-3, pp. 267-276 (July 2002).

ＨＤＲ画像／映像における高輝度階調情報のすべてをＳＤＲ画像／映像で表現することは不可能である。しかしながら、ハードクリップ変換によるＳＤＲ変換画像／映像では、高輝度階調が失われてしまう。最大輝度値から決定されるスケール変換であるリニア変換では、すべての階調は保存されるものの、平均輝度値の低下により視認性が悪い。画像／映像内容に応じたマニュアルによる調整では、調整コストが掛かるだけでなく、変換結果の品質を一定に保つことも難しい。さらに、トーンマッピングを行うための様々な関数におけるパラメータの意味やその決定方法が明らかではない。ＳＤＲ変換画像／映像における画質を定量的に評価する方法も明らかではない。

区分線形関数により定義した卜ーンマッピング処理のためのパラメータを入力ＨＤＲ画像の画素値のエッジ強度を計算することにより、自動的に決定される。パラメータはＳＤＲ変換画像における入力ＨＤＲ画素のエッジ強度を最大化するものであり、連立方程式を解くことにより、閉形式解として得られる。画像全体の明るさを表す平均輝度値をできるだけ明るく、エッジ強度を最大化するためのトレードオフを調整するパラメータをＨＤＲ画像のヒストグラム特徴量から予測して用いる。

本発明では、エッジ強度最大化卜ーンマッピング処理により、ＨＤＲ画像／映像の持つ高輝度階調情報を失うことなく、ＳＤＲ画像／映像に変換することができる。画像／映像のみから自動的にトーンマッピング処理を行うためのパラメータを計算することにより、ＨＤＲ映像とＳＤＲ映像の同時放送・配信のための卜ーンマッピング処理(ＨＤＲ→ＳＤＲ変換処理)におけるマニュアル調整が不要となるのみならず、ＳＤＲ変換画像／映像の品質も維持できる。

本実施形態のエッジ強度最大化トーンマッピング処理ブロック概念図である。区分線形関数によるグローバルＴＭ処理を説明する図である。トーンマッピング処理全体ブロック図である。トーンマッピング処理（ＴＭ処理）のブロック図である。画面全体を一様にレベル変換するグローバルＴＭ処理における従来トーンマッピング処理のブロック図である。リニア変換、ハードクリップ変換、ニー変換、ReinhardグローバルＴＭの一例を示す図である。エッジ強度最大化ＴＭ処理における正則化パラメータλ，μを決定するための事前の最適パラメータ学習のブロック図である。事前の正則化パラメータの最適パラメータ学習の結果を用いて、正則化パラメータをヒストグラム特徴から予測して、エッジ強度最大化ＴＭ処理するブロック図である。正則化パラメータλ，μの決定方法を説明する図である。正則化パラメータλ，μの決定方法を説明する図である。正則化パラメータλ，μの決定方法を説明する図である。正則化パラメータλ，μの決定方法を説明する図である。（ａ）は正則化パラメータλ，μの比率によるエッジ強度最大化ＴＭのパラメータ計算結果を示す図であり、（ｂ）はλ，μの大きさによるエッジ強度最大化ＴＭのパラメータ計算結果を示す図であり、（ｃ）は評価用ＨＤＲ画像２０枚のエッジ強度最大化ＴＭのパラメータ計算結果を示す図であり、（ｄ）はＳＤＲ変換画像における平均輝度値とエッジ強度相乗平均の平均・標準偏差を説明する図である。ＳＤＲ変換画像例（１）１段目段左から、ＨＤＲ入力画像（The ＨＤＲ Photographic Survey, http://rit-mcsl.org/fairchild//ＨＤＲ.html）の擬似カラー表示［１］、各トーンマッピング関数、および各ＳＤＲ変換画像における平均輝度値とエッジ強度相乗平均のグラフ。２段目左から、リニア変換、ハードクリップ変換、ReinhardグローバルＴＭ［１４，１５］、エッジ強度最大化（λ＝0.0033，μ＝0.0067）によるＳＤＲ変換画像。３段目は、各変換によるＳＤＲ変換画像のエッジ強度画像であり、見易さのためにレベルを４倍している。ＳＤＲ変換画像例（２）１段目段左から、ＨＤＲ入力画像（The ＨＤＲ Photographic Survey, http://rit-mcsl.org/fairchild//ＨＤＲ.html）の擬似カラー表示［１］、各トーンマッピング関数、および各ＳＤＲ変換画像における平均輝度値とエッジ強度相乗平均のグラフ。２段目左から、リニア変換、ハードクリップ変換、ReinhardグローバルＴＭ［１４，１５］、エッジ強度最大化（λ＝0.37，μ＝0.63）によるＳＤＲ変換画像。３段目は、各変換によるＳＤＲ変換画像のエッジ強度画像であり、見易さのためにレベルを４倍している。ＳＤＲ変換画像例（３）１段目段左から、ＨＤＲ入力画像（The ＨＤＲ Photographic Survey, http://rit-mcsl.org/fairchild//ＨＤＲ.html）の擬似カラー表示［１］、各トーンマッピング関数、および各ＳＤＲ変換画像における平均輝度値とエッジ強度相乗平均のグラフ。２段目左から、リニア変換、ハードクリップ変換、ReinhardグローバルＴＭ［１４，１５］、エッジ強度最大化（λ＝0.0003，μ＝0.0007）によるＳＤＲ変換画像。３段目は、各変換によるＳＤＲ変換画像のエッジ強度画像であり、見易さのためにレベルを４倍している。

本実施形態で開示する処理方法や装置は、ダイナミックレンジを拡大した映像(以下ＨＤＲ映像と称する)を標準ダイナミックレンジ映像(以下ＳＤＲ映像と称する)に変換するトーンマッピング処理(ＨＤＲ→ＳＤＲ変換処理)において、画面全体に対して一様なレベル変換を行うグローバルトーンマッピング関数を区分線形関数で表し、関数パラメータを変換結果のＳＤＲ映像のエッジ強度を最大化するように、入力ＨＤＲ映像における画素値から自動的に計算する。変換結果のＳＤＲ映像における平均輝度値とエッジ強度のトレードオフを実現するものであり、入力ＨＤＲ映像における高輝度値の階調が失われないことに特徴がある。

本実施形態で説明する処理方法は、次のような特徴を有する。
・ダイナミックレンジを拡大したＨＤＲ映像を標準ダイナミックレンジＳＤＲ映像に変換する卜ーンマッピング処理(ＨＤＲ→ＳＤＲ変換処理)において、画面全体に対して一様なレベル変換を行うグローバルトーンマッピング関数を区分線形関数で表し、その関数パラメータを変換結果のＳＤＲ映像におけるエッジ強度を最大化するように、入力ＨＤＲ映像における画素値から自動的に計算する。
・トーンマッピング関数パラメータは入力ＨＤＲ画素値のエッジ強度を累積加算することにより得られる連立方程式を解くことにより、閉形式解として計算される。
・トーンマッピング関数パラメータを計算するための、入力ＨＤＲ画像における平均輝度値とエッジ強度のトレードオフを調整する正則化パラメータを複数ＨＤＲ画像から予め決定した結果と各ＨＤＲ画像のヒストグラム特徴量から正則化パラメータを予測する式を計算する事前の最適パラメータ学習と入力ＨＤＲ画像から抽出したヒストグラム特徴から正則化パラメータを予測計算して、エッジ強度最大化する卜ーンマッピング処理を遂行する。

また、本実施形態で説明する処理方法は、次のような特徴的要素を有することが好ましい。
・ＨＤＲ入力の全画素の対数輝度値の平均によりスケール変換されたＨＤＲ画素を区分線形関数により卜ーンマッピング(ＴＭ)処理する卜ーンマッピング処理部
・ＨＤＲ入力をスケール変換するための対数輝度値平均計算部およびスケール変換部
・ＨＤＲ入力の画素値のエッジ強度を計算するエッジ強度計算部
・ＨＤＲ入力の画素値のエッジ強度の累積加算結果と平均対数輝度値、正則化パラメータによりＳＤＲ変換画像におけるエッジ強度を最大化する卜ーンマッピングパラメータを計算するＴＭパラメータ計算部
・正則化パラメータを事前の最適パラメータ学習により予測するための正則化パラメータ探索方法
・正則化パラメータを事前の最適パラメータ学習により予測するためのＨＤＲ画像からのヒストグラム特徴の抽出部
・複数のＨＤＲ画像における探索による正則化パラメータとヒストグラム特徴ベクトルから予測式を計算する最適パラメータ学習部
・ＨＤＲ入力に対してエッジ強度最大化卜ーンマッピング処理を行うエッジ強度最大化ＴＭ処理部とＨＤＲ入力画像からヒストグラム特徴ベクトルを抽出するヒストグラム特徴抽出部とヒストグラム特徴ベクトルに対して正則化パラメータを予測計算する正則化パラメータ予測部

また、本実施形態で説明する処理方法の実現方法としては、ベースバンドビデオ信号を処理するハードウェア装置により実現することも可能であるし、MXFファイルを処理するソフトウェアおよびそれを実行するコンピュータをベースとした装置により実現することも可能であるし、MXFファイルをベースバンドビデオ信号に変換、あるいは逆変換する装置を用いれば、いかなる構成による実現も可能である。カメラ映像を動画像圧縮したもの、あるいはMXFファイルをIP(インターネット・プロトコル)伝送して、クラウド上で処理を行うことも可能である。IP伝送された圧縮映像をベースバンドビデオ信号に復号して、エッジ強度最大化卜ーンマッピング処理を行った結果を再び圧縮してストリーム配信する等、様々なシステム形態への展開が考えられる。Blu-ray Discに記録されているハイダイナミックレンジ対応コンテンツを、表示する受像機に合わせて、トーンマッピング処理するために、映像のフレーム毎、シーン毎に計算したＴＭパラメータをメタデータとして埋め込むことも可能である。

また、さらに好ましい形態としては、１フレーム内の入力ＨＤＲ画素値によるエッジ強度のみならず、複数フレームにおける画素値によるエッジ強度からＴＭパラメータを計算することも可能であるし、１フレーム毎のＴＭパラメータの結果をフレーム間に渡って、時系列フィルタ処理を行うことも可能である。複数フレームヘの拡張、あるいはフレーム間の時系列フィルタ処理により、ＨＤＲ映像のトーンマッピング処理がさらに安定化する効果が得られるものとなる。

ここで、区分線形関数の入力区分点は、１フレーム内の入力ＨＤＲ画素値における最大輝度値から再帰的に分割することによって決定することができる。一方、ＴＭパラメータの計算においては、１フレーム内の画素値のみからエッジ強度を最大化するトーンマッピングパラメータを計算することに代えて、複数フレームにおける画素値を用いることもできる。例えば、３フレームの画素値を用いてトーンマッピングパラメータを計算する場合には、ＴＭパラメータは３フレーム毎に得られることになる。より多くの画素値データを用いてトーンマッピングパラメータを算出することにより、パラメータの計算結果の信頼性の向上が期待される。

そして、１フレーム毎にＴＭパラメータが計算されて得られる場合であっても、あるいは、複数フレーム毎にパラメータが計算されて得られる場合であっても、いずれかで得られたＴＭパラメータに対して、時系列フィルタ処理を掛けることができる。

図１に示したエッジ強度最大化トーンマッピング処理ブロック図について以下に説明する。ＨＤＲ画像／映像は、RGB色空間からｘｙＹ色空間へ変換して、輝度値Ｙのみ処理した結果をＲＧＢに戻すことにより、ＳＤＲ画像／映像に変換する。各グローバルＴＭ処理は、全画素の平均対数輝度値がグレイレベルａ（％）になるようにスケール変換した輝度値Ｙに対して行う。あるいは、全画素による対数輝度値の平均値と最大最小値からグレイレベルａを計算してもよい。

輝度値に変換されたＨＤＲ入力Ｌｗは、全画素の対数輝度値の平均を計算するとともに（対数輝度値平均計算）、注目画素に隣接する画素を用いて、水平垂直エッジ強度を計算して（エッジ強度計算）、その結果を累積加算していく。フレーム全体の画素のエッジ強度の累積加算結果と平均対数輝度値、最大輝度値から決定される入力区分点、正則化パラメータλ，μを用いて、トーンマッピング処理結果のＳＤＲ画像／映像におけるエッジ強度を最大化するトーンマッピングパラメータを計算する(ＴＭパラメータ計算)。

ＴＭパラメータは、連立方程式を解く閉形式解として計算できる。入力区分点は、ＨＤＲ画像における最大輝度値レベルを再帰的に２分割して、最小区分点が０．０１以下になるまで繰り返すことにより決定する。図２は、区分線形関数によるグローバルＴＭ処理を説明する図である。そのようにして計算されたＴＭパラメータを平均対数輝度値とグレイレベルａにより計算されるスケール係数によりスケール変換されたLに対して、トーンマッピング処理を行い（ＴＭ処理）、ＳＤＲ出力Ldになる。スケール変換は次のように計算する。

また、図３にトーンマッピング処理全体ブロック図を示す。ＨＤＲ入力として、輝度色差ＹＣｂＣｒ形式の映像を処理する場合には、ＨＤＲ入力を輝度色差ＹＣｂＣｒからＲＧＢに変換して（ＹＣｂＣｒ→ＲＧＢ変換）、RGB毎にEOTF（電気−光変換関数）によるレベル変換を行い、リニアＲＧＢに変換する。リニアＲＧＢをさらに、xyY色空間に変換して、輝度値Ｙのみをトーンマッピング処理する（スケール変換＆ＴＭ処理）。トーンマッピング処理によりＳＤＲ変換された輝度値とｘｙ値を再びＲＧＢ値に戻す（ｘｙＹ→ＲＧＢ変換）。ＳＤＲ変換されたＲＧＢをOETF(光−電気変換関数)によりレベル変換して、さらに輝度色差ＹＣｂＣｒに変換して（ＲＧＢ→ＹＣｂＣｒ変換）、ＳＤＲ出力する。

また、図４に、トーンマッピング処理（ＴＭ処理）のブロック図を示す。画素値のエッジ強度を最大化するように計算されたトーンマッピングパラメータ（ＴＭパラメータ）は、入力区分点に対する出力区分点として与えられる。区分点間を直線で接続された区分線形関数により表される。スケール変換されたＴＭ処理へのＴＭ入力は、最大輝度値を再帰的に２分割することにより決定された入力区分点のいずれの区分点間隔に属するかを判別される（入力区分アドレス計算）。

入力画素値の属する区分点間隔を示すアドレスをＴＭパラメータ計算結果を格納したゲインオフセットLUT（ルックアップテーブル）に入力する。ゲインオフセットLUTから出力されるＴＭパラメータ計算結果に基づく該当するゲイン・オフセット値によりＴＭ入力画素はゲインオフセット補正されて（ゲインオフセット補正）、ＳＤＲ変換されたＴＭ出力になる。トーンマッピング処理（ＴＭ処理）は、エッジ強度最大化するように計算されたトーンマッピングパラメータ（ＴＭパラメータ）による処理だけではなく、リニア変換、ハードクリップ変換、ニー変換等、様々なトーンマッピング処理を行う場合も同様である。

また、図５に画面全体を一様にレベル変換するグローバルＴＭ処理における従来トーンマッピング処理のブロック図を示す。比較のために、リニア変換、ハードクリップ変換、ニー変換等のトーンマッピング処理においても、全画素の対数輝度値の平均とグレイレベルによるスケール変換を行った輝度値に対してトーンマッピング処理を行うものとするが、図１のエッジ強度最大化トーンマッピング処理と比較して、画素値のエッジ強度を計算して、トーンマッピングパラメータ（ＴＭパラメータ）を計算する処理は行っていないことに注意する。次に表１及び図６において、リニア変換、ハードクリップ変換、ニー変換、ReinhardグローバルＴＭの各式の表と各関数の一例をグラフ表示して説明する。

図６は、リニア変換、ハードクリップ変換、ニー変換、ReinhardグローバルＴＭの一例を示す図である。横軸は入力輝度値Lであり、縦軸は出力輝度値Ldである。いずれも、画素値２５５を１．０とする正規化を行っている。入力区分点は、ＨＤＲ画像における最大輝度値レベルを再帰的に２分割して、最小区分点が０．０１以下になるまで繰り返すことにより決定した。ニー変換におけるニー関数のニーポイントＰ＝０．９、ニースロープｄ=１、上限値ａ＝１への到達点bを入力ＨＤＲ画像の最大値qmax=１２．９９２とした。ReinhardグローバルＴＭ関数におけるLwhiteを入力ＨＤＲ画像における最大値とした。

また、図７は、エッジ強度最大化ＴＭ処理における正則化パラメータλ，μを決定するための事前の最適パラメータ学習のブロック図である。正則化パラメータλ，μは、ＳＤＲ変換画像におけるエッジ強度を優先するリニア変換と平均輝度値を優先するハードクリップ変換のトレードオフを決めるものである。これを複数のＨＤＲ画像を学習用画像として、探索により決定した正則化パラメータと画像から抽出したヒストグラム特徴ベクトルにより、最適パラメータ学習として、λ，μを予測する式を生成する。

正則化パラメータλ，μの探索による決定方法は図９乃至図１２の正則化パラメータλ，μの決定方法に説明している。ＴＭパラメータの計算結果がReinhardグローバルＴＭによる平均輝度値を越えず、かつ単調増加を満たす最小値となるように決定する。そのようにして決定したλ，μ値を画像から抽出したヒストグラム特徴ベクトルに対する予測式として計算する。予測式を計算するための予測器には、線形重回帰、多層パーセプトロン（ニューラルネットワーク）、サポートベクターマシン等を用いることができる。

図８は、事前の正則化パラメータの最適パラメータ学習の結果を用いて、正則化パラメータをヒストグラム特徴から予測して、エッジ強度最大化ＴＭ処理するブロック図である。ＨＤＲ入力からヒストグラム特徴を抽出して（ヒストグラム特徴抽出）、ヒストグラム特徴ベクトルｈから正則化パラメータλ，μを予測計算して（正則化パラメータ予測）、エッジ強度最大化ＴＭ処理へ入力する。エッジ強度最大化ＴＭ処理は、ＨＤＲ入力を処理して、ＳＤＲ変換されたＳＤＲ出力を出力する。

（エッジ強度最大化による最適トーンマッピングについて）
（Ａｂｓｔｒａｃｔ）

ハイダイナミックレンジ（ＨＤＲ）画像をトーンマッピング(Tone Mapping，ＴＭ）処理した結果の標準ダイナミックレンジ（ＳＤＲ）画像におけるエッジ強度を最大化するＴＭパラメータを計算する。ＳＬＴ（Slice Transform)モデルにより定義されたグローバルＴＭ処理を正則化により、エッジ強度を優先するリニア変換と平均輝度値を優先するハードクリップ変換のトレードオフとして、ＨＤＲ入力画像から自動的に決定するものであり、解は最小二乗法により閉形式として得られる。
（１はじめに）

次世代テレビ放送としての4K/8K(スーパーハイビジョン（後述文献リスト［１２］参照、以下同様)超高精細映像は、解像度だけではなく、広色域、高フレームレート、高ビット深度がＩＴＵ−Ｒ勧告BT.2020（Recommendation ITU-R BT.2020-1, Parameter values for ultra-high definition television systems for production and international programme exchange (2014)）として規定されている。映像の明るさを拡張するハイダイナミックレンジ(ＨＤＲ)も、拡張された信号レベルを圧縮するための非線形の伝達関数がITU-R勧告BT.2100（Recommendation ITU-R BT.2 100，Image parameter values for high dynamic range television for use in production and international programme exchange (2016)）として規定された。

4K/8K放送におけるＨＤコンテンツのリパーパス(repurpose)のためには、解像度変換が必要になる。近年、超解像技術が盛んに研究されている［１３］。その処理の多くは反復によるものであるが、松永は画像の局所的な時間空間方向による補間の重み付け平均とマルチスケール化した非線形エンハンサによる１パスビデオ超解像を提案した［９］。趙・松永［１６］は１パスビデオ超解像処理をＧＰＵにより高速化した。

放送事業者は、現行地上デジタル放送はＨＤであっても、将来を見据えた4Kでのコンテンツ制作に取り組み始めている。４Ｋ・８Ｋ実用放送開始後も、ＨＤ放送を併存、継続していくことになると、4K/8K解像度・色域で収録した映像コンテンツを、逆にＨＤ解像度・色域へ変換しなければならない。ここで問題となるのは色域の変換であり、より広範囲な色域を持つ4K/8Kコンテンツを、より狭い色域のＨＤコンテンツに変換しなければならない。色域の変換は、プリンタやディスプレイヘカラー表示するための色域（ガマット）マッピング（Gamut Mapping、ＧＭ）処理が、カラーマネジメント技術として研究されてきた［４，１１］。

松永［１０］は、次世代テレビ放送4K/8K(スーパーハイビジョン）におけるBT.2020色空間から、現行地上デジタル放送におけるBT.709（Recommendation ITU-R BT.709-5,Parameter values for the HDTV standards for production and international programme exchange （04/2002））色空間へ色域の変換を行うために、均等色空間であるＣＩＥＬＡＢ表色系にて、色相毎に最大色差平均の最小化による色域マッピング値を計算した。そして、RGB表色系を入出力とする３次元ルックアップテーブル（３ＤＬＵＴ）補間［７］による計算精度を実験的に評価した。

近年、さらに、映像の明るさを拡張するハイダイナミックレンジ（ＨＤＲ）に注目が集まっている。ＨＤＲ映像は100％を越える信号レベルを様々な非線形の伝達関数によりレベル変換したものを、圧縮・伝送し、これを受像機側で元の信号レベル（リニアＲＧＢ）に戻して高輝度表示するものである。最新のカメラでは、イメージセンサの進化により、これまでのダイナミックレンジを越えて撮像することが可能となっており、『表示装置の技術向上により、『黒』の表示輝度は変えず、表示装置の最大輝度（ピーク輝度）を増大すること（ダイナミックレンジを拡張すること）が可能となった」「再現範囲が広かった領域をハイライト再現に用い、新たな視聴体験を提供する」「現実に近いハイライト再現（鏡面反射や光沢の再現）、ハイライト部の白飛びなどの改善効果がある」とされている（総務省「情報通信審議会情報通信技術分科会ＩＴＵ部会放送業務委員会（第19回）配付資料」,２０１５年９月２日開催。http://www.soumu.go.jp/main_sosiki/joho_tsusin/policyreports/joho_tsusin/docs_Broadcast/02ryutsu08_03000224.html）。そして、解像度、色域同様にＨＤＲ制作されたコンテンツのＳＤＲ映像への変換が必要とされている。

ＨＤＲ画像をＳＤＲ画像に変換する処理は、トーンマッピング(Tone Mapping、ＴＭ）と呼ばれて、グラフィックスの分野で多くの研究がなされており、様々な手法が提案されている［１５］。

放送で用いることを考えると、画像全体に対して一様なレベル変換を行うグローバルＴＭ処理が処理速度の観点からは優位である。カメラ内部でも、古くからダイナミックレンジ圧縮として、ニー（Ｋｎｅｅ）と呼ばれる処理が用いられてきた（後述の（付録Ｂ）ご参照）。

しかし、グローバルＴＭ処理を行うにしても、そのレベル変換を行う関数はどのように決定すればよいのかについては、従来、様々な関数が提案されているものの、ある方法とある方法のどちらがよいかを客観的、定量的に評価する方法は知られていない。すなわち、従来の評価方法としては、主観的な評価によるものがあるが［８］、定量的に評価することは難しい。本書面は、それらの従来課題に答えるものであり、グローバルＴＭ処理した結果のＳＤＲ画像におけるエッジ強度を最大化するＴＭパラメータをＨＤＲ入力画像から自動的に決定する。

本書面の構成は、２章で、エッジ強度を最大化するためのトーンマッピングについて説明する。はじめに、ＳＬＴ(Slice Transform)モデル［５］によるグローバルＴＭ処理を定義して、その処理結果のＳＤＲ画像におけるエッジ強度による目的関数を決定する。そして、エッジ強度による目的関数を最小化するグローバルＴＭパラメータをＨＤＲ入力画像から計算する。計算の安定化のために、正則化項［２］を導入するが、これは、エッジ強度を優先するリニア変換によるトーンマッピングと平均輝度値を優先するハードクリップ変換によるトーンマッピングのトレードオフになる。最終的な目的関数をベクトル行列形式で書き直して、最小二乗法による閉形式の解を導出する。３章で画像シミュレーションを行う。リニア変換、ハードクリップ変換、ニー変換、ReinhardグローバルＴＭ［１４，１５］、そして、エッジ強度最大化ＴＭによるＳＤＲ変換画像の結果における平均輝度値とエッジ強度により比較する。また、４章で総括してまとめを記載する。

（２エッジ強度最大化によるトーンマッピング）

ＴＭ処理結果のＳＤＲ画像におけるエッジ強度を最大化するようなＴＭパラメータｐを計算する。入力区分点ｑは予め与えられているとする。したがって，次の目的関数Ｊを最小化する。

（３画像シミュレーション）
評価用ＨＤＲ画像（The ＨＤＲ Photographic Survey, http://rit-mcsl.org/fairchild//ＨＤＲ.html及びCreating cinematic wide gamut ＨＤＲ-video for the evaluation of tone mapping operators and ＨＤＲ-displays［３］,https://hdr-2014.hdm-stuttgart.de/）（ＯｐｅｎＥＸＲ（http://www.openexr.com/））20枚を、リニア変換、ハードクリップ変換、ニー変換、ReinhardグローバルＴＭ［１４，１５］、エッジ強度最大化ＴＭにより、ＳＤＲ画像(8ビット,[0,255])に変換する。ＲＧＢ表色系からｘｙＹ表色系へ変換して、輝度値Ｙのみ処理した結果をＲＧＢ値に戻す［１５］。各グローバルＴＭ処理は、対数輝度値の平均値と最大最小値から決定した係数［１５］を修正した値によりスケール変換した輝度値Ｙに対して行う。ニー変換におけるニー関数,ReinhardグローバルＴＭ処理を後述の（付録Ｂ，Ｃ）に示す。

図１３（ａ）は、評価用ＨＤＲ画像の１枚(図１４)の正則化パラメータλ，μ＝１０として、その比率を１０：０〜０：１０まで変えたときのエッジ強度最大化ＴＭパラメータｐの計算結果を表示したものである。入力区分点ｑはＨＤＲ画像における最大輝度値レベルを再帰的に２分割して、最小区分点が０．０１以下になるまで繰り返すことにより決定した。パラメータ計算に用いる画素は全画素に対して、水平１画素垂直１ラインおきにサンプリングした。比率を変えることにより、ハードクリップ変換からリニア変換まで変化している。

また、図１３（ｂ）は、λ，μの比率を３．３：６．７に固定して、それぞれの大きさを33〜3.3×10^−４，67〜6.7×10^−４まで変えたときのｐの計算結果を表示したものである。比率は、ＳＤＲ変換画像における平均輝度値がReinhardグローバルＴＭによる平均輝度値を越えないように選んだ。λ，μの大きさにより、ＴＭ関数の形が微妙に変化しており、そのときのλ，μ値におけるエッジ強度を最大化するようにｐが計算される。λ，μが大きくなるに従い、データとしての画素値のエッジ強度によらず、ハードクリップ変換とリニア変換を３．３：６．７で混合した結果(Mix)に近づく。λ，μが小さ過ぎると、正則化の効果が得られず、計算結果は不安定となり、大きく変動する。λ＝0.0033，μ＝0.0067としたときに、ｐの計算結果がReinhardグローバルＴＭによる平均輝度値を越えず、かつ単調増加を満たす最小値となった。最終的なＴＭ関数によるＳＤＲ変換画像の結果は、図１４に示す。その他の評価用ＨＤＲ画像も同様にしてλ，μの値を決定する。

図１３（ｃ）は、そのようにして決定したλ，μによる評価用ＨＤＲ画像２０枚のエッジ強度最大化ＴＭパラメータｐの計算結果を重ねて表示したものである（ただし、最大輝度値を１．０とする正規化をしている）。ｐの計算結果は変動しており、ＨＤＲ入力画像に適応している。

図１３（ｄ）は、トーンマッピング関数によるＳＤＲ変換画像における平均輝度値とＬＤＲ／ＨＤＲエッジ強度、エッジ強度相乗平均の平均・標準偏差の結果をグラフ表示したものである。ＨＤＲ入力画像における入力区分点ｑによる最大２区間［ｑ_ｎ−２，ｑ_ｎ］の画素値と同じ座標に対して計算したものをＨＤＲエッジ強度、それ以外の面素値と同じ座標に対して計算したものをＬＤＲエッジ強度として、それぞれ次のように計算する。

ここで、Ｎ_Ｈ，Ｎ_ＬはそれぞれＳＤＲ変換画像におけるＨＤＲ／ＬＤＲエッジ強度を計算する画素数である。グラフの横軸が平均輝度値(Average Luminance)、縦軸がエッジ強度相乗平均(Edge Power Geometric Mean，

)であり、エラーバーは各標準偏差を表す。［表２］にＳＤＲ変換画像における平均輝度値とエッジ強度、およびＬＤＲ／ＨＤＲエッジ強度の相乗平均の平均・標準偏差の結果を数値で示す。表中括弧内は標準偏差である。

リニア変換はＨＤＲエッジ強度が最大であるが、平均輝度値が低く、視認性が著しく悪い。ハードクリップ変換は最も明るく、視認性が良いものの、ＨＤＲエッジ強度が著しく低く、ＨＤＲ画素はクリップにより階調が失われていることが明らかである。ニー変換、ReinhardグローバルＴＭ（ニー変換におけるニー関数のニーポイントp＝０．９，ニースロープｄ＝１，上限値ａ＝１への到達点ｂを入力ＨＤＲ画像の最大値とした。ReinhardグローバルＴＭ関数におけるＬ_{ｗｈｉｔｅ}をＨＤＲ入力画像における最大値とした。それぞれ後述する（付録Ｂ，Ｃ）参照。）、エッジ強度最大化ＴＭによる結果は、その中間様を示しているが、エッジ強度最大化ＴＭによる結果が、ＳＤＲ変換画像におけるＨＤＲエッジ強度がリニア変換に次いで大きく、エッジ強度相乗平均が最大であり、ＨＤＲ画素の階調が保存されていると期待される。

図１４、図１５、図１６は、ＳＤＲ変換画像例である。それぞれ１段目左から、ＨＤＲ入力画像を擬似カラー表示［１］したもの、各トーンマッピング関数、および各トーンマッピング関数によるエッジ強度のグラフである。２段目左から、リニア変換、ハードクリップ変換、ReinhardグローバルＴＭ、エッジ強度最大化ＴＭによるＳＤＲ変換画像の結果である。リニア変換による結果は全体に暗く、逆にハードクリップ変換による結果は明るい。ReinhardグローバルＴＭとエッジ強度最大化ＴＭによる結果はその中間様であり、ＨＤＲ画素の階調が保存されているが、エッジ強度最大化ＴＭの方が、エッジ強度相乗平均が大きく、コントラストが強調されている。３段目は、各変換によるＳＤＲ変換画像のエッジ強度画像である。リニア変換による結果は明るさは暗いものの、エッジ情報としてはすべて保存されている。逆に、ハードクリップ変換による結果は明るいものの、ＨＤＲ画素におけるエッジ情報はクリップにより失われている。

（４まとめ）
ハイダイナミックレンジ（ＨＤＲ）画像をトーンマッピング(Tone Mapping，ＴＭ）処理した結果の標準ダイナミックレンジ（ＳＤＲ）画像におけるエッジ強度を最大化するＴＭパラメータを計算した。ＳＬＴ（Slice Transform)モデルにより定義されたグローバルＴＭ処理を正則化により、エッジ強度を優先するリニア変換と平均輝度値を優先するハードクリップ変換のトレードオフとして、ＨＤＲ入力画像から自動的に決定するものであり、解は最小二乗法により閉形式として得られる。リニア変換、ハードクリップ変換、ReinhardグローバルＴＭによるＳＤＲ変換画像における平均輝度値とエッジ強度により比較評価した。

輝度値のスケール変換係数、正則化パラメータ等の超パラメータが存在している。これをＴＭパラメータｐ同様、画像自身から自動的に決定したい。正則化パラメータλ，μはReinhardグローバルＴＭ関数を基準として、探索により決定している。これには、正則化パラメータの決定に用いられるベイズ推定［２］の適用が期待される。
今後の課題としては。
・ベイズ推定等による超パラメータの自動決定
・マルチコアＣＰＵ／ＧＰＵ／ＦＰＧＡによる実装とＨＤＲ映像のリアルタイム処理
が挙げられる。

（参考文献リスト）下記各文献冒頭の［番号］は、本文中の文献［番号］に対応します。
［１］A. O. Akyuz, False color visualization for HDR images, Proceedings of First International Conference and SME Workshop on HDR imaging (HDRi2013),Porto,Portugal,pp.26-30 (April 2013).
［２］C. M. Bishop, Pattern Recognition and Machine Learning, Springer 2006.元田浩(監訳),「パターン認識と機械学習（上・下）」丸善出版, 2012年4月.
［３］J. Froehlich, S. Grandinetti, B. Eberhardt, S. Walter, A. Schilling, and H. Brendel, Creating cinematic wide gamut HDR-video for the evaluation of tone mapping operators and HDR-displays, Proceedings of SPIE 9023, Digital Photography X, 90230X (March 7, 2014).
［４］画像電子学会編，「カラーマネジメント技術一拡張色空間とカラーアピアランス」,東京電機大学出版局, 2008年７月．
［５］Y. Hel-Or and D. Shaked, A discriminative approach for wavelet denoising, IEEE Transactions on Image Processing, 17-4 (April 2008), 443-457.
［６］金谷健一，「これなら分かる最適化数学一基礎原理から計筧手法まで一」共立出版，2005年9月．
［７］H. R. Kang, Computational Color Technology, SPIE Publications, May 2006.
［８］P. Ledda, A. Chalmers, T. Troscianko, and H. Seetzen, Evaluation of tone mapping operators using a high dynamic range display, A CM Transactions on Graphics- Proceedings of ACM SIGGRAPH 2005, 24-3, pp. 640-648 (July 2005).
［９］松永力,時間空間方向性補間とマルチスケール非線形工ンハンサによる１パスビデオ超解像,第20回画像センシングシンポジウム(SSII2014)講演論文集,横浜(パシフィコ横浜), 2014年６月.
［１０］松永力,広色域映像のための最適色域マッピング,第22回画像センシングシンポジウム(SSII2016)講演論文集，横浜(パシフィコ横浜), 2016年６月.
［１１］J. Morovic, Color Gamut Mapping, John Wiley & Sons Ltd., August 2008.
［１２］日本放送協会，「スーパーハイビジョン映像技術」特集号, NHK技研R&D, No. 137, 2013年１月．
［１３］S. C. Park, M. K. Park, and M. G. Kang, Super-resolution image reconstruction: A technical overview, IEEE Signal Processing Magazine, 20-3 (May 2003), 21-36.
［１４］E. Reinhard, M. Stark, P. Shirley, and J. Ferwerda, Photographic tone reproduction for digital images, ACM Transactions on Graphics - Proceedings of ACM SIGGRAPH 2002, 21-3, pp. 267-276 (July 2002).
［１５］E. Reinhard, G. Ward, S. Pattanaik, and P. Debevec, High Dynamic Range Imaging: Acquisition, Display, and Image-based Lighting, Amsterdam, Elsevier/Morgan Kaufmann, 2005.
［１６］趙延軍，松永力, MXFファイルに対応した１パスビデオ超解像アップ変換のＧＰＵによる高速化, GPUテクノロジ・カンファレンス(ＧＴＣ Japan 2014), 2014-8008,東京(東京ミッドタウンホール＆カンファレンス), 2014年7月．

（付録Ａ、付録Ｂ、付録Ｃ）

上述の実施形態で説明した開示内容は、その具体的な説明実例に限定されるものではなく、本発明の技術思想の範囲内において、当業者の知り得る公知技術または周知技術を適宜適用してアレンジして利用することが可能である。

本発明は、映像機器全般に適用可能であって、特にダイナミックレンジを拡大したＨＤＲ映像制作におけるダイナミックレンジ変換装置に好適である。また、受像機／映像再生機におけるＨＤＲ→ＳＤＲ変換機能等にも好適である。

Claims

ＨＤＲ映像をＳＤＲ映像に変換するトーンマッピング処理において、
画面全体に対して一様なレベル変換を行うグローバルトーンマッピング関数を区分線形関数で表し、関数パラメータを変換結果のＳＤＲ映像のエッジ強度を最大化するように、入力ＨＤＲ映像における画素値から自動的に計算する
ことを特徴とするトーンマッピング処理方法。
請求項１に記載のトーンマッピング処理方法において、
前記区分線形関数は、折れ線近似である
ことを特徴とするトーンマッピング処理方法。
請求項２に記載のトーンマッピング処理方法において、
前記区分線形関数の入力区分点は、前記ＨＤＲ映像における１フレーム中の最大輝度値レベルを再帰的に二分割して、最小区分点が、１００％白レベルを１．０として正規化した輝度値に対して、０．０１以下になるまで繰り返すことにより決定される
ことを特徴とするトーンマッピング処理方法。
請求項２に記載のトーンマッピング処理方法において、
前記区分線形関数の入力区分点を、１フレーム内の入力ＨＤＲ画素値における最大輝度値から再帰的に分割することによって決定する工程と、
トーンマッピングパラメータを、１フレーム内の入力ＨＤＲ画素値によるエッジ強度を最大化するものを算出するか、または、
複数フレーム内における入力ＨＤＲ画素値によるエッジ強度を最大化するものを算出するか、の工程と、
得られたトーンマッピングパラメータに対して時系列フィルタ処理を遂行する工程と、を有する
ことを特徴とするトーンマッピング処理方法。
請求項１乃至請求項４のいずれか一項に記載のトーンマッピング処理方法において、
変換後の前記ＳＤＲ映像のエッジ強度を最大化するような区分線形関数によるトーンマッピングパラメータｐは、次の目的関数Ｊを最小化するものとして得られる

ことを特徴とするトーンマッピング処理方法。
請求項１乃至請求項５のいずれか一項に記載のトーンマッピング処理方法において、
入力される前記ＨＤＲ映像における平均輝度値とエッジ強度を最大化するためのトレードオフを調整する正則化パラメータλ，μを、前記ＨＤＲ画像のヒストグラム特徴量から予測する
ことを特徴とするトーンマッピング処理方法。
請求項１乃至請求項６のいずれか一項に記載のトーンマッピング処理方法において、
前記ＨＤＲ映像のみから自動的にトーンマッピング処理を行うためのパラメータを計算することにより、前記ＨＤＲ映像と前記ＳＤＲ映像の同時放送・配信のための卜ーンマッピング処理におけるマニュアル調整が不要である
ことを特徴とするトーンマッピング処理方法。
請求項１乃至請求項７のいずれか一項に記載のトーンマッピング処理方法において、
前記関数パラメータは、連立方程式を解くことにより、閉形式解として得られるものである
ことを特徴とするトーンマッピング処理方法。
請求項１乃至請求項８のいずれか一項に記載のトーンマッピング処理方法を遂行する
ことを特徴とするトーンマッピング処理装置。