JP2018152702A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】所望の表示輝度を高精度に得ることを可能にする技術を提供する。
【解決手段】本発明の画像処理装置は、基準の表示輝度に関連した情報を取得する取得手段と、前記情報に基づいて、画像データの相対輝度と表示輝度との対応関係を、所定の相対輝度に前記基準の表示輝度が対応付けられるように決定する決定手段と、を有する。
【選択図】図１

Description

本発明は、画像処理装置および画像処理方法に関する。

近年、広いダイナミックレンジを有する画像データが扱われる機会が増している。例えば、撮像装置の受光性能の向上に伴い、広いダイナミックレンジを有する撮影画像データ（撮影によって得られる画像データ；被写体像を表す画像データ）を生成可能な撮像装置が増している。広いダイナミックレンジを有する画像データは、「ＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）画像データ」などと呼ばれる。

そして、ＨＤＲ画像データの階調特性として、Ｌｏｇ特性（Ｌｏｇ階調特性）に近い階調特性が使用されている。Ｌｏｇ階調特性は、輝度の増加に対して階調値が対数的に増加する階調特性である。換言すれば、ＨＤＲ画像データとして、Ｌｏｇ特性（Ｌｏｇ変換特性）に近い変換特性で変換された画像データが使用されている。変換特性は、変換前の階調値の変化に対する、変換後の階調値の変化の特性である。Ｌｏｇ変換特性は、変換前の階調値の増加に対して、変換後の階調値が対数的に増加する変換特性である。ＨＤＲ画像データなどの階調値は相対輝度で定義されている。

例えば、映画製作現場では、ＨＤＲ画像データの階調特性、ＨＤＲ画像データの変換特性、等として、ダイナミックレンジが広いフィルムの特性に基づいて定められたＣｉｎｅｏｎ Ｌｏｇ特性が使用されている。基準白色の相対輝度が１００％である場合に、Ｃｉｎｅｏｎ Ｌｏｇ特性では、相対輝度のレンジとして、１０００％以上の相対輝度までのレンジが使用されている。

また、表示装置の表示性能の向上に伴い、数十万対一の高コントラストでの表示、数千ｎｉｔ（ｃｄ／ｍ^２）の高輝度での表示、等が可能な表示装置が増している。例えば、液晶表示装置においては、液晶パネルの背面に光を照射するバックライトユニットを用いたローカルディミング制御により、高コントラストでの表示が実現できる。また、バックライトユニットの発光輝度（発光量）を高めることで、高輝度での表示が実現できる。

そして、高コントラストかつ高輝度での表示を実現可能な表示装置でＨＤＲ画像データを表示するための画像制作ワークフローの検討が進んでいる。従来は、画像データを表示装置で表示するための規格として、Ｒｅｃ．７０９などが使用されていた。図９に示すように、Ｒｅｃ．７０９では、相対輝度１００％を表示輝度（画面の輝度）１００ｎｉｔに変換することが定義されている。そして、図９に示すように、表示輝度の上限が１０００ｎｉｔである場合には、ＨＤＲ画像データの相対輝度１０００％は、表示輝度１０００ｎｉｔに変換される。

ここで、撮影対象の被写体の輝度、撮影環境、等に基づいて、撮影画像データの表示輝度を変更したいというニーズがある。例えば、昼間と夜とでは被写体の輝度が異なるため、昼間に得られた撮影画像データと夜に得られた撮影画像データとで表示輝度を異ならせたいというニーズがある。

上述したように、ＨＤＲ画像データなどの階調値は相対輝度で定義されている。そのため、ＨＤＲ画像データの表示輝度として所望の表示輝度が得られないことがある。例えば、複数の撮影画像データの間で被写体の輝度（絶対輝度）が異なっていても、当該複数の撮影画像データの間で相対輝度が同じ場合には、互いに異なる複数の絶対輝度が同じ表示
輝度に変換される。

表示輝度の制御に関する従来技術として、撮影に関連した情報（撮影時間、シャッタースピード、等）に基づいて表示輝度を制御する技術が提案されている（特許文献１）。

特開２００９−７７２２３号公報

しかしながら、特許文献１に記載の技術では、画面全体に渡って表示輝度が一律に増減されるだけであるため、所望の表示輝度が得られないことがある。

本発明は、所望の表示輝度を高精度に得ることを可能にする技術を提供することを目的とする。

本発明の第１の態様は、
基準の表示輝度に関連した情報を取得する取得手段と、
前記情報に基づいて、画像データの相対輝度と表示輝度との対応関係を、所定の相対輝度に前記基準の表示輝度が対応付けられるように決定する決定手段と、
を有することを特徴とする画像処理装置である。

本発明の第２の態様は、
基準の表示輝度に関連した情報を取得するステップと、
前記情報に基づいて、画像データの相対輝度と表示輝度との対応関係を、所定の相対輝度に前記基準の表示輝度が対応付けられるように決定するステップと、
を有することを特徴とする画像処理方法である。

本発明の第３の態様は、上述した画像処理方法の各ステップをコンピュータに実行させるためのプログラムである。

本発明によれば、所望の表示輝度を高精度に得ることが可能となる。

実施例１に係る表示システムの構成例 実施例１に係る変換特性の一例 実施例１に係る対応関係（相対輝度と表示輝度との対応関係）の一例 実施例１に係る対応関係の一例 実施例２に係る表示システムの構成例 実施例２に係る確認項目の一例 実施例２に係る第２対応関係の一例 実施例２に係る第１対応関係の一例 相対輝度と表示輝度との対応関係の一例

＜実施例１＞
以下、本発明の実施例１について説明する。なお、以下では、本実施例に係る画像処理
装置を有する表示装置の例を説明する。表示装置は、例えば、液晶表示装置、有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）表示装置、プラズマ表示装置、ＭＥＭＳ（Ｍｉｃｒｏ Ｅｌｅｃｔｒｏ Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍ）シャッタ方式表示装置、等である。なお、画像処理装置は表示装置とは別体の装置であってもよい。表示装置とは別体の画像処理装置は、例えば、パーソナルコンピュータ（ＰＣ）、再生装置（例えば、ブルーレイプレーヤ）、サーバ装置、等である。

図１は、本実施例に係る表示システムの構成例を示す。図１の表示システムは、撮像装置１００と表示装置３００を有する。撮像装置１００は、カメラ制御部１０１、撮像部１０２、ＲＡＷ現像部１０３、及び、情報付加部１０４を有する。

カメラ制御部１０１は、撮像装置１００の各機能部の処理を制御する。例えば、カメラ制御部１０１は、撮像装置１００の処理で使用されるパラメータの設定を行う。具体的には、パラメータの初期値、前回使用されたパラメータ、等が、不図示の不揮発性メモリに記録されている。そして、撮像装置１００の起動時に、カメラ制御部１０１は、不揮発性メモリからパラメータを読み出し、読み出したパラメータを設定する。また、カメラ制御部１０１は、撮像装置１００に対するユーザ操作に応じて、設定されているパラメータを変更する。

撮像部１０２は、撮影画像データ（撮影によって得られる画像データ；被写体像を表す画像データ）であるＲＡＷ画像データ１１０を生成し、生成したＲＡＷ画像データを出力する。例えば、撮像部１０２は、レンズとイメージセンサを有する。レンズは、被写体からの光をイメージセンサへ導く。イメージセンサは、レンズによってイメージセンサ上に結像された被写体像（被写体の画像；光学像）を、電気信号（ＲＡＷ画像データ１１０）に変換する。イメージセンサとして、ＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ、等を用いることができる。

本実施例では、ＲＡＷ画像データ１１０の画素値はＲＧＧＢ値（Ｒ値、２つのＧ値、及び、Ｂ値の組み合わせ）である。ＲＡＷ画像データ１１０の階調値（Ｒ値、２つのＧ値、及び、Ｂ値のそれぞれ）は１６ビットの値である。そして、ＲＡＷ画像データの階調特性は、輝度の増加に対して階調値が線形に増加するリニア特性である。

ＲＡＷ現像部１０３は、撮像部１０２から出力されたＲＡＷ画像データ１１０をＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）画像データ１１１に変換し、ＨＤＲ画像データ１１１を出力する。ＨＤＲ画像データ１１１は、広いダイナミックレンジを有する撮影画像データである。

本実施例では、ＨＤＲ画像データ１１１の画素値はＲＧＢ値（Ｒ値、Ｇ値、及び、Ｂ値の組み合わせ）である。ＨＤＲ画像データ１１１の階調値（Ｒ値、Ｇ値、及び、Ｂ値のそれぞれ）は１０ビットの値である。そして、ＨＤＲ画像データ１１１の階調値は相対輝度で定義されており、ＨＤＲ画像データ１１１の階調特性は、相対輝度の増加に対して階調値が対数的に増加するＬｏｇ特性である。

本実施例では、ＲＡＷ現像部１０３は、ＲＡＷ画像データ１１０を中間画像データに変換する。本実施例では、中間画像データの画素値はＲＧＢ値である。中間画像データの階調値（Ｒ値、Ｇ値、及び、Ｂ値のそれぞれ）は１６ビットの値である。そして、中間画像データの階調値は相対輝度で定義されており、中間画像データの階調特性は、相対輝度の増加に対して階調値が線形に増加するリニア特性である。そのため、中間画像データの階調値は「相対輝度」とも言える。本実施例では、基準白色の相対輝度は１００％であり、
中間画像データ（およびＨＤＲ画像データ１１１）の相対輝度のレンジは０〜１６００％のレンジである。

そして、ＲＡＷ現像部１０３は、図２（Ａ）の変換特性を用いて、中間画像データをＨＤＲ画像データ１１１に変換する。図２（Ａ）の変換特性は、変換前の階調値（相対輝度）の増加に対して、変換後の階調値が対数的に増加するＬｏｇ特性である。そのため、階調特性がＬｏｇ特性である画像データが、ＨＤＲ画像データ１１１として得られる。

なお、ＲＡＷ画像データ１１０からＨＤＲ画像データ１１１への変換方法は特に限定されない。例えば、上記中間画像データの生成が省略されてもよいし、図２（Ａ）の変換特性とは異なる変換特性が使用されてもよい。ＲＡＷ画像データ１１０からＨＤＲ画像データ１１１への変換の方法が複数の撮像装置の間で異なっていてもよい。

情報付加部１０４は、カメラ制御部１０１によって設定された基準表示輝度（基準の表示輝度）に関連した基準表示輝度情報１１３を、ＲＡＷ現像部１０３から出力されたＨＤＲ画像データ１１１に付加することにより、伝送信号２００を生成する。そして、情報付加部１０４は、伝送信号２００を表示装置３００へ出力する。本実施例では、基準表示輝度情報１１３は基準表示輝度を示す。基準表示輝度は、表示輝度（画面の輝度）の基準である。具体的には、基準表示輝度は、所定の相対輝度に対応付ける表示輝度である。所定の相対輝度は特に限定されないが、本実施例では、所定の相対輝度は１００％である。

なお、基準表示輝度情報１１３の付加方法は特に限定されない。ＨＤＲ画像データ１１１の各フレームについて基準表示輝度情報１１３の付加が行われてもよいし、そうでなくてもよい。例えば、ＨＤＲ画像データ１１１の複数フレームに対して基準表示輝度情報１１３の付加が１回だけ行われてもよい。ＨＤＲ画像データ１１１の全フレームに対して基準表示輝度情報１１３の付加が１回だけ行われてもよい。

また、基準表示輝度情報１１３の生成方法は特に限定されない。例えば、基準表示輝度を指定するユーザ操作に応じて基準表示輝度情報１１３が生成されてもよい。他のユーザ操作に応じて基準表示輝度情報１１３が生成されてもよい。ユーザは、基準表示輝度を考慮しながら、撮像装置の露出合わせ、被写体像の輝度の決定、被写体像の構図の決定、等を行う。そのため、撮像パラメータ（シャッタースピード、絞り、ＩＳＯ感度、等）の設定値、撮影画像データ（ＲＡＷ画像データ１１０など）、等に応じて基準表示輝度情報１１３が自動で決定されてもよい。撮影パラメータの設定値は自動で設定された値であってもよいが、ユーザが意図した基準表示輝度情報１１３（基準表示輝度）を得るために、撮影パラメータの設定値はユーザ操作に応じて設定された値であることが好ましい。

本実施例では、伝送信号２００は、ＳＤＩ（シリアル・デジタル・インターフェース）フォーマットを有する。そして、ＳＤＩフォーマットのアンシラリ領域に基準表示輝度情報１１３が書き込まれており、ＳＤＩフォーマットの画像領域にＨＤＲ画像データ１１１が書き込まれている。なお、伝送信号２００のフォーマットは特に限定されない。例えば、伝送信号２００は、ＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）フォーマットを有していてもよい。

表示装置３００は、ディスプレイ制御部３０１、データ分離部３０２、階調特性変換部３０３、階調変換部３０４、ガンマ変換部３０５、及び、表示部３０６を有する。

ディスプレイ制御部３０１は、表示装置３００の各機能部の処理を制御する。例えば、ディスプレイ制御部３０１は、表示装置３００の処理で使用されるパラメータの設定を行う。具体的には、パラメータの初期値、前回使用されたパラメータ、等が、不図示の不揮
発性メモリに記録されている。そして、表示装置３００の起動時に、ディスプレイ制御部３０１は、不揮発性メモリからパラメータを読み出し、読み出したパラメータを設定する。また、ディスプレイ制御部３０１は、表示装置３００に対するユーザ操作に応じて、設定されているパラメータを変更する。

データ分離部３０２は、伝送信号２００から基準表示輝度情報１１３を抽出（取得）し、基準表示輝度情報１１３を出力する。また、データ分離部３０２は、伝送信号２００からＨＤＲ画像データ１１１を抽出（取得）し、ＨＤＲ画像データ１１１を出力する。本実施例では、データ分離部３０２は、伝送信号２００のアンシラリ領域から基準表示輝度情報１１３を抽出し、伝送信号２００の画像領域からＨＤＲ画像データ１１１を抽出する。

なお、基準表示輝度情報１１３とＨＤＲ画像データ１１１の取得方法は特に限定されない。例えば、基準表示輝度情報１１３とＨＤＲ画像データ１１１が表示装置３００に個別に入力され、基準表示輝度情報１１３とＨＤＲ画像データ１１１が表示装置３００によって個別に取得されてもよい。基準表示輝度情報１１３を出力する装置は、ＨＤＲ画像データ１１１を出力する装置と同じであってもよい。基準表示輝度情報１１３を出力する装置が、ＨＤＲ画像データ１１１を出力する装置と異なっていてもよい。

階調特性変換部３０３は、図２（Ｂ）の変換特性を用いて、データ分離部３０２から出力されたＨＤＲ画像データ１１１をリニア画像データ３１３に変換する。そして、階調特性変換部３０３は、リニア画像データ３１３を出力する。

本実施例では、リニア画像データ３１３の画素値はＲＧＢ値である。リニア画像データ３１３の階調値（Ｒ値、Ｇ値、及び、Ｂ値のそれぞれ）は１６ビットの値である。そして、リニア画像データ３１３の階調値は相対輝度で定義されており、リニア画像データ３１３の階調特性は、相対輝度の増加に対して階調値が線形に増加するリニア特性である。そのため、リニア画像データ３１３の階調値は「相対輝度」とも言える。本実施例では、リニア画像データ３１３の相対輝度のレンジも０〜１６００％のレンジである。図２（Ｂ）の変換特性は、図２（Ａ）の変換特性の逆特性である。そのため、上述したリニア画像データ３１３が得られる。

ディスプレイ制御部３０１は、データ分離部３０２から出力された基準表示輝度情報１１３を、階調変換部３０４へ転送する。また、ディスプレイ制御部３０１は、表示部３０６の上限表示輝度（表示輝度の上限）に関連した上限表示輝度情報３１５を、階調変換部３０４へ出力する。本実施例では、上限表示輝度情報３１５は上限表示輝度を示す。階調変換部３０４は、基準表示輝度情報１１３と上限表示輝度情報３１５に基づいて、階調特性変換部３０３から出力されたリニア画像データ３１３を、処理画像データ３１６に変換する。そして、階調変換部３０４は、処理画像データ３１６を出力する。

本実施例では、処理画像データ３１６の階調値は表示輝度（絶対輝度）で定義されており、処理画像データ３１６の階調特性は、表示輝度の増加に対して階調値が線形に増加するリニア特性である。そのため、処理画像データ３１６の階調値は「表示輝度」とも言える。

なお、上限表示輝度はメーカによって予め定められていてもよいし、そうでなくてもよい。例えば、上限表示輝度を指定するユーザ操作、他のユーザ操作、等に応じて上限表示輝度が設定されてもよい。上限表示輝度は、ＡＢＬ（Ａｕｔｏ Ｂｒｉｇｈｔｎｅｓｓ Ｌｉｍｉｔｅｒ）処理などによって変化してもよい。

ガンマ変換部３０５は、表示部３０６（表示部３０６が有する表示素子）の特性に応じ
たガンマ変換処理を、階調変換部３０４から出力された処理画像データ３１６に施すことにより、表示画像データ３１７を生成する。そして、ガンマ変換部３０５は、表示画像データ３１７を出力する。

本実施例では、表示画像データ３１７の階調値は表示輝度（絶対輝度）で定義されている。そして、表示画像データ３１７の階調特性は、表示部３０６の特性に応じたガンマ特性である。

表示部３０６は、ガンマ変換部３０５から出力された表示画像データ３１７に応じて画面に画像を表示する。例えば、表示部３０６は、マトリクス状に配置された複数の表示素子を有する。そして、各表示素子は、表示画像データ３１７に応じて駆動される。それにより、画面に画像が表示される。表示部３０６では、表示画像データ３１７の階調値を定義する表示輝度で画像が表示される。表示部３０６として、液晶パネルとバックライトユニット（発光部）の組み合わせ、ＭＥＭＳシャッタ方式表示パネルと発光部の組み合わせ、等を用いることができる。表示部３０６として、有機ＥＬ表示パネル、プラズマ表示パネル、等を用いることもできる。なお、複数の表示素子の間で特性（表示画像データ３１７の階調値と表示素子の表示輝度との対応関係）が共通していてもよいし、複数の表示素子の間で特性が異なっていてもよい。

階調変換部３０４の処理について詳細に説明する。本実施例では、階調変換部３０４は、階調変換部３０４は、基準表示輝度情報１１３と上限表示輝度情報３１５に基づいて、相対輝度と表示輝度との対応関係を決定する。そして、階調変換部３０４は、決定した対応関係に従ってリニア画像データ３１３の階調値を変換することにより、処理画像データ３１６を生成する。具体的には、階調変換部３０４は、基準表示輝度が上限表示輝度よりも高いか否かを判断する。そして、基準表示輝度が上限表示輝度以下である場合には、階調変換部３０４は、基準白色の相対輝度（所定の相対輝度）１００％に基準表示輝度が対応付けられるように、相対輝度と表示輝度の対応関係を決定する。一方で、基準表示輝度が上限表示輝度よりも高い場合には、階調変換部３０４は、基準白色の相対輝度１００％に上限表示輝度が対応付けられるように、相対輝度と表示輝度の対応関係を決定する。

階調変換部３０４の処理の具体例について説明する。

まず、基準表示輝度が１００ｎｉｔであり、且つ、上限表示輝度が１０００ｎｉｔである場合の例を説明する。この場合には、階調変換部３０４は、相対輝度と表示輝度の対応関係として、図３（Ａ）の対応関係を決定する。図３（Ａ）の対応関係では、基準白色の相対輝度１００％に基準表示輝度１００ｎｉｔが対応付けられている。そのため、階調変換部３０４は、相対輝度１００％に対応する階調値（リニア画像データ３１３の階調値）を、基準表示輝度１００ｎｉｔに対応する階調値（処理画像データ３１６の階調値）へ変換する。図３（Ａ）の対応関係では、０％から１０００％までの相対輝度の増加に対して、０ｎｉｔから１０００ｎｉｔまで表示輝度が線形に増加する。そのため、０％から１０００％までの相対輝度のレンジについてリニア画像データ３１３の階調が好適に表現された画像を表示することが可能となる。そして、図３（Ａ）の対応関係では、１０００％以上の相対輝度のレンジに対して、上限表示輝度１０００ｎｉｔが対応付けられている。

次に、基準表示輝度が４００ｎｉｔであり、且つ、上限表示輝度が１０００ｎｉｔである場合の例を説明する。この場合には、階調変換部３０４は、相対輝度と表示輝度の対応関係として、図３（Ｂ）の対応関係を決定する。図３（Ｂ）の対応関係では、基準白色の相対輝度１００％に基準表示輝度４００ｎｉｔが対応付けられている。そのため、階調変換部３０４は、相対輝度１００％に対応する階調値を、基準表示輝度４００ｎｉｔに対応する階調値へ変換する。図３（Ｂ）の対応関係では、０％から２５０％までの相対輝度の
増加に対して、０ｎｉｔから１０００ｎｉｔまで表示輝度が線形に増加する。そのため、０％から２５０％までの相対輝度のレンジについてリニア画像データ３１３の階調が好適に表現された画像を表示することが可能となる。そして、図３（Ｂ）の対応関係では、２５０％以上の相対輝度のレンジに対して、上限表示輝度１０００ｎｉｔが対応付けられている。

次に、基準表示輝度が１２００ｎｉｔであり、且つ、上限表示輝度が１０００ｎｉｔである場合の例を説明する。この場合には、階調変換部３０４は、相対輝度と表示輝度の対応関係として、図３（Ｃ）の対応関係を決定する。図３（Ｃ）の対応関係では、基準白色の相対輝度１００％に上限表示輝度１０００ｎｉｔが対応付けられている。そのため、階調変換部３０４は、相対輝度１００％に対応する階調値を、上限表示輝度１０００ｎｉｔに対応する階調値へ変換する。図３（Ｃ）の対応関係では、０％から１００％までの相対輝度の増加に対して、０ｎｉｔから１０００ｎｉｔまで表示輝度が線形に増加する。そのため、０％から１００％までの相対輝度のレンジについてリニア画像データ３１３の階調が好適に表現された画像を表示することが可能となる。そして、図３（Ｃ）の対応関係では、１００％以上の相対輝度のレンジに対して、上限表示輝度１０００ｎｉｔが対応付けられている。

以上述べたように、本実施例によれば、基準表示輝度に関連した情報に基づいて、所定の相対輝度に基準表示輝度が対応付けられるように、相対輝度と表示輝度との対応関係が決定される。それにより、所望の表示輝度を高精度に得ることが可能となる。

なお、基準表示輝度情報１１３は、基準表示輝度を示す情報に限られない。例えば、基準表示輝度情報１１３は、相対輝度と表示輝度との所定の対応関係において基準表示輝度に対応する相対輝度（基準相対輝度）を示す情報であってもよい。以後、リニア画像データ３１３の相対輝度を「第１相対輝度」と記載し、所定の対応関係における相対輝度を「第２相対輝度」と記載する。所定の対応関係は、例えば、ＩＴＵ−ＢＴ．２１００で規定されるＨＬＧ（Ｈｙｂｒｉｄ Ｌｏｇ−Ｇａｍｍａ）の対応関係である。基準相対輝度は、所定の第１相対輝度（基準白色の相対輝度１００％）に対応付ける第２相対輝度である。

基準表示輝度情報１１３が基準相対輝度を示す場合における階調変換部３０４の処理の具体例を説明する。

まず、階調変換部３０４は、所定の第１相対輝度に基準相対輝度（基準の第２相対輝度）が対応付けられるように、第１相対輝度と第２相対輝度との対応関係を決定する。そして、階調変換部３０４は、決定された対応関係に従って第１相対輝度が第２相対輝度に変換されるように、リニア画像データ３１３の階調値を変換する。それにより、第１処理画像データが生成される。

ここで、第１処理画像データの階調値は相対輝度で定義されており、第１処理画像データの階調特性は、相対輝度の増加に対して階調値が線形に増加するリニア特性である。そのため、第１処理画像データの階調値は「相対輝度」とも言える。第１処理画像データの相対輝度のレンジは０〜１６００％のレンジである。

具体的には、所定の第１相対輝度が１００％であり、且つ、基準相対輝度が４００％である場合には、第１相対輝度と第２相対輝度との対応関係として、図４（Ａ）の対応関係が決定される。図４（Ａ）の対応関係では、第１相対輝度１００％に基準相対輝度４００％が対応付けられている。そのため、階調変換部３０４は、第１相対輝度１００％に対応する階調値（リニア画像データ３１３の階調値）を、基準相対輝度（第２相対輝度）４０
０％に対応する階調値（第１処理画像データの階調値）へ変換する。図４（Ａ）の対応関係では、０％から４００％までの第１相対輝度の増加に対して、０％から１６００％まで第２相対輝度が線形に増加する。そして、図４（Ａ）の対応関係では、４００％以上の第１相対輝度のレンジに対して、第２相対輝度１６００％が対応付けられている。

次に、階調変換部３０４は、第２相対輝度と表示輝度との上記所定の対応関係に従って第１処理画像データの階調値を変換することにより、第２処理画像データ（処理画像データ３１６）を生成する。図４（Ｂ）は、所定の対応関係の一例を示す。図４（Ｂ）の対応関係では、基準白色の相対輝度１００％に表示輝度１００ｎｉｔが対応付けられている。そのため、階調変換部３０４は、第２相対輝度１００％に対応する階調値（第１処理画像データの階調値）を、表示輝度１００ｎｉｔに対応する階調値（第２処理画像データの階調値）へ変換する。図４（Ｂ）の対応関係では、０％から１０００％までの第２相対輝度の増加に対して、０ｎｉｔから１０００ｎｉｔまで表示輝度が線形に増加する。そして、図４（Ｂ）の対応関係では、１０００％以上の第２相対輝度のレンジに対して、上限表示輝度１０００ｎｉｔが対応付けられている。

第２相対輝度と表示輝度との所定の対応関係が図４（Ｂ）の対応関係である場合に、図４（Ａ）の対応関係の決定は、「図３（Ｂ）の対応関係の決定」に対応する。

なお、表示装置３００（画像処理装置）は、基準表示輝度情報１１３に関連した情報をユーザに通知する通知部を有していてもよい。通知部は、基準表示輝度情報１１３に関連した情報として基準表示輝度をユーザに通知してもよいし、そうでなくてもよい。ユーザへの通知は、画像表示、音声出力、ランプ点灯、等によって実現できる。

なお、本実施例の各画像データのフォーマット、各画像データの種類、等は特に限定されない。例えば、表示装置３００（画像処理装置）に入力される画像データは、撮影画像データでなくてもよいし、ＨＤＲ画像データでなくてもよい。イラスト画像を表す画像データ、ダイナミックレンジが広くない画像データ、等が使用されてもよい。画像データの画素値としてＹＣｂＣｒ値（Ｙ値、Ｃｂ値、及び、Ｃｒ値の組み合わせ）が使用されてもよい。画像データの階調特性として、輝度の増加に対して階調値が非線形に増加する非リニア特性が使用されてもよい。同様に、画像データの変換特性として、変換前の階調値の増加に対して変換後の階調値が非線形に増加する非リニア特性が使用されてもよい。Ｌｏｇ特性も非リニア特性に含まれるが、Ｌｏｇ特性とは異なる非リニア特性が使用されてもよい。相対輝度のレンジは０〜１６００％のレンジより広くても狭くてもよいし、表示輝度のレンジは０〜１０００ｎｉｔのレンジより広くても狭くてもよい。

＜実施例２＞
以下、本発明の実施例２について説明する。なお、以下では、実施例１と異なる点（構成、処理、等）について詳しく説明し、実施例１と同じ点についての説明は省略する。

図５は、本実施例に係る表示システムの構成例を示す。図５において、図１（実施例１）の機能部と同じ機能部には、図１の符号と同じ符号が付されている。図５の表示システムは、撮像装置１００と表示装置９００を有する。図５の撮像装置１００は、実施例１の撮像装置１００と同じ装置である。

表示装置９００は、データ分離部３０２、階調特性変換部３０３、ガンマ変換部３０５、表示部３０６、ディスプレイ制御部９０１、項目判断部９０２、及び、階調変換部９０３を有する。

ディスプレイ制御部９０１は、図１のディスプレイ制御部３０１の機能と同様の機能を
有する。但し、ディスプレイ制御部９０１は、上限表示輝度情報３１５を項目判断部９０２と階調変換部９０３へ出力する。また、ディスプレイ制御部９０１は、確認相対輝度に関連した確認相対輝度情報９１０を取得し、確認相対輝度情報９１０を項目判断部９０２と階調変換部９０３へ出力する。確認相対輝度は、ユーザが好適に階調を確認したい相対輝度のレンジ（確認レンジ）に属する最大の相対輝度である。本実施例では、確認相対輝度情報９１０は、確認相対輝度を示す。確認レンジを示す情報を、確認相対輝度情報９１０として使用することもできる。

なお、確認相対輝度情報９１０の取得方法は特に限定されない。例えば、確認相対輝度を指定するユーザ操作、確認レンジを指定するユーザ操作、他のユーザ操作、等に応じて確認相対輝度情報９１０が生成されて取得されてもよい。表示装置９００の外部装置から確認相対輝度情報９１０が取得されてもよい。

項目判断部９０２は、上限表示輝度情報３１５と確認相対輝度情報９１０をディスプレイ制御部９０１から取得し、上限表示輝度情報３１５と確認相対輝度情報９１０に基づいて確認項目を判断する。そして、項目判断部９０２は、確認項目の判断結果である確認項目情報９１１を、階調変換部９０３へ出力する。確認項目は、画像確認に対応する。項目判断部９０２は、ユーザが所望する画像確認に対応する確認項目を自動で判断する。

階調変換部９０３は、図１の階調変換部３０４の機能と同様の機能を有する。但し、階調変換部９０３と階調変換部３０４とで、相対輝度と表示輝度との対応関係の決定方法が互いに異なる。階調変換部９０３は、基準表示輝度情報１１３、上限表示輝度情報３１５、確認相対輝度情報９１０、及び、確認項目情報９１１に基づいて、相対輝度と表示輝度との対応関係を決定する。階調変換部９０３は、相対輝度と表示輝度との対応関係として、所定の相対輝度（基準白色の相対輝度）に基準表示輝度が対応付けられた第１対応関係、または、確認相対輝度に上限表示輝度が対応付けられた第２対応関係を決定する。第１対応関係は、実施例１の方法で決定された対応関係である。

項目判断部９０２の処理の具体例について説明する。本実施例では、項目判断部９０２は、図６に示す３種類の確認項目（「輝度確認」、「階調確認」、及び、「明度重視確認」）のいずれかを選択する。「輝度確認」は、好適な輝度での画像確認に対応し、「階調確認」は好適な階調性での画像確認に対応し、「明度重視確認」は、高い輝度での画像確認に対応する。なお、確認項目の種類数は３種類より多くても少なくてもよい。

項目判断部９０２では、相対輝度と表示輝度との所定の対応関係が考慮される。所定の対応関係は、例えば、Ｒｅｃ．７０９の対応関係である。ここでは、上記所定の対応関係において、基準白色の相対輝度１００％に表示輝度１００ｎｉｔが対応付けられており、相対輝度１０００％に上限表示輝度１０００ｎｉｔが対応付けられているとする。以後、所定の対応関係において上限表示輝度１０００ｎｉｔに対応する相対輝度１０００％を、「参照相対輝度」と記載する。

まず、確認相対輝度が参照相対輝度１０００％と等しい場合を考える。この場合には、第２対応関係として、図７（Ａ）に示す対応関係を得ることができる。図７（Ａ）の対応関係では、上記所定の対応関係と同様に、基準白色の相対輝度１００％に表示輝度１００ｎｉｔが対応付けられており、確認相対輝度１０００％に上限表示輝度１０００ｎｉｔが対応付けられている。そのため、上記所定の対応関係に基づく対応関係、好適な輝度での画像確認、等をユーザが望んでいると判断することができる。従って、図６に示すように、確認相対輝度が参照相対輝度１０００％と等しい場合には、項目判断部９０２は「輝度確認」を選択する。

次に、確認相対輝度が参照相対輝度１０００％よりも高い１６００％である場合を考える。この場合には、第２対応関係として、図７（Ｂ）に示す対応関係を得ることができる。図７（Ｂ）の対応関係では、基準白色の相対輝度１００％に対して１００ｎｉｔよりも低い表示輝度６２．５ｎｉｔが対応付けられている。しかし、図７（Ｂ）の対応関係では、相対輝度の増加に対して表示輝度が増加するレンジが広い。具体的には、相対輝度のレンジ全体（０〜１６００％）において、相対輝度の増加に対して表示輝度が線形に増加する。そのため、好適な階調性での画像確認をユーザが望んでいると判断することができる。従って、図６に示すように、確認相対輝度が参照相対輝度１０００％よりも高い場合には、項目判断部９０２は「階調確認」を選択する。

最後に、確認相対輝度が参照相対輝度１０００％よりも低い５００％である場合を考える。この場合には、第２対応関係として、図７（Ｃ）に示す対応関係を得ることができる。図７（Ｃ）の対応関係では、基準白色の相対輝度１００％に対して１００ｎｉｔよりも高い表示輝度２００ｎｉｔが対応付けられている。そのため、高い輝度での画像確認をユーザが望んでいると判断することができる。従って、図６に示すように、確認相対輝度が参照相対輝度１０００％よりも低い場合には、項目判断部９０２は「明度重視確認」を選択する。

階調変換部９０３の処理の具体例について説明する。

確認項目情報９１１が「輝度確認」を示す場合には、階調変換部９０３は、第１対応関係または第２対応関係を決定する。本実施例では、確認項目情報９１１が「輝度確認」を示す場合には、階調変換部９０３は、第１対応関係を決定する。基準表示輝度が４００ｎｉｔである場合には、図８の第１対応関係が決定される。図８の第１対応関係によれば、相対輝度１００％に対応する階調値が、表示輝度４００ｎｉｔに対応する階調値へ変換される。それにより、好適な表示輝度で画像を表示することが可能となる。

なお、確認項目情報９１１が「輝度確認」を示す場合に階調変換部９０３が第２対応関係（図７（Ａ））を決定してもよい。それによっても、好適な表示輝度で画像を表示することが可能となる。例えば、確認項目情報９１１が「輝度確認」を示す場合に、階調変換部９０３は、表示装置９００に対するユーザ操作に応じて、第１対応関係または第２対応関係を決定してもよい。

確認項目情報９１１が「階調確認」を示す場合には、階調変換部９０３は、第２対応関係（図７（Ｂ））を決定する。それにより、好適な階調性で画像を表示することが可能となる。

確認項目情報９１１が「明度重視確認」を示す場合には、階調変換部９０３は、第１対応関係または第２対応関係を決定する。本実施例では、確認項目情報９１１が「明度重視確認」を示す場合には、階調変換部９０３は、第２対応関係（図７（Ｃ））において基準白色の相対輝度１００％に対応する表示輝度が基準表示輝度よりも高いか否かを判断する。そして、第２対応関係において相対輝度１００％に対応する表示輝度が基準表示輝度よりも高い場合には、階調変換部９０３は、第２対応関係で必要な表示輝度が満たされると判断し、第２対応関係を決定する。それにより、第１対応関係が決定される場合の表示輝度よりも高い表示輝度で画像を表示することが可能となる。第２対応関係において相対輝度１００％に対応する表示輝度が基準表示輝度以下である場合には、階調変換部９０３は、第２対応関係では表示輝度が不足すると判断し、第１対応関係を決定する。それにより、第２対応関係が決定される場合の表示輝度よりも高い表示輝度で画像を表示することが可能となる。

なお、確認項目情報９１１が「明度重視確認」を示す場合に、上記方法とは異なる方法で、第１対応関係または第２対応関係が決定されてもよい。確認項目情報９１１が「明度重視確認」を示す場合に、常に第２対応関係が決定されてもよい。それによっても、上記所定の対応関係が使用される場合の表示輝度よりも高い表示輝度で画像を表示することが可能となる。

以上述べたように、本実施例によれば、確認相対輝度をさらに考慮して、相対輝度と表示輝度との対応関係が決定される。それにより、所望の表示輝度をより高精度に得ることが可能となる。具体的には、ユーザが所望する画像確認に好適な表示輝度を高精度に得ることができる。

なお、確認項目の判断方法などは特に限定されない。例えば、確認相対輝度が参照相対輝度と等しい場合は、第２対応関係において基準白色の相対輝度に対応する表示輝度が、上記所定の対応関係において基準白色の相対輝度に対応する表示輝度と等しい場合である。 確認相対輝度が参照相対輝度よりも高い場合は、第２対応関係において基準白色の相対輝度に対応する表示輝度が、所定の対応関係において基準白色の相対輝度に対応する表示輝度よりも高い場合である。そして、確認相対輝度が参照相対輝度よりも低い場合は、第２対応関係において基準白色の相対輝度に対応する表示輝度が、所定の対応関係において基準白色の相対輝度に対応する表示輝度よりも低い場合である。そのため、確認相対輝度と参照相対輝度の比較ではなく、複数の表示輝度の比較によって確認項目を判断することもできる。

なお、表示装置９００（画像処理装置）は、決定された確認項目に関連した情報をユーザに通知する通知部を有していてもよい。通知部は、確認項目に関連した情報として当該確認項目をユーザに通知してもよいし、そうでなくてもよい。「決定された確認項目」は、「確認相対輝度が、「確認相対輝度が参照相対輝度と等しい場合」、「確認相対輝度が参照相対輝度よりも高い場合」、及び、「確認相対輝度が参照相対輝度よりも低い場合」のいずれに対応するかを示す項目」とも言える。ユーザへの通知は、画像表示、音声出力、ランプ点灯、等によって実現できる。

なお、実施例１，２の各機能部は、個別のハードウェアであってもよいし、そうでなくてもよい。２つ以上の機能部の機能が、共通のハードウェアによって実現されてもよい。１つの機能部の複数の機能のそれぞれが、個別のハードウェアによって実現されてもよい。１つの機能部の２つ以上の機能が、共通のハードウェアによって実現されてもよい。また、各機能部は、ハードウェアによって実現されてもよいし、そうでなくてもよい。例えば、装置が、プロセッサと、制御プログラムが格納されたメモリとを有していてもよい。そして、装置が有する少なくとも一部の機能部の機能が、プロセッサがメモリから制御プログラムを読み出して実行することにより実現されてもよい。

なお、実施例１，２はあくまで一例であり、本発明の要旨の範囲内で実施例１，２の構成を適宜変形したり変更したりすることにより得られる構成も、本発明に含まれる。実施例１，２の構成を適宜組み合わせて得られる構成も、本発明に含まれる。

＜その他の実施例＞
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

３０２：データ分離部 ３０４，９０３：階調変換部

Claims (17)

1. 基準の表示輝度に関連した第１情報を取得する第１取得手段と、
   前記第１情報に基づいて、画像データの相対輝度である第１相対輝度と表示輝度との対応関係を、所定の第１相対輝度に前記基準の表示輝度が対応付けられるように決定する決定手段と、
   を有することを特徴とする画像処理装置。
2. 前記第１情報は、前記基準の表示輝度を示す
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記第１情報は、画像データの相対輝度である第２相対輝度と前記表示輝度との所定の対応関係において前記基準の表示輝度に対応する基準の第２相対輝度を示し、
   前記決定手段は、前記所定の第１相対輝度に前記基準の第２相対輝度が対応付けられるように、前記第１相対輝度と前記第２相対輝度との対応関係を決定する
   ことを特徴とする請求項１に記載の画像処理装置。
4. 前記基準の表示輝度が前記表示輝度の上限よりも高い場合において、前記決定手段は、前記所定の第１相対輝度に前記表示輝度の上限が対応付けられるように、前記第１相対輝度と前記表示輝度との対応関係を決定する
   ことを特徴とする請求項１〜３のいずれか１項に記載の画像処理装置。
5. 前記第１情報に関連した情報をユーザに通知する第１通知手段、をさらに有する
   ことを特徴とする請求項１〜４のいずれか１項に記載の画像処理装置。
6. 前記第１通知手段は、前記基準の表示輝度をユーザに通知する
   ことを特徴とする請求項５に記載の画像処理装置。
7. 前記第１相対輝度である第３相対輝度に関連した第２情報を取得する第２取得手段、をさらに有し、
   前記決定手段は、前記第１情報と前記第２情報に基づいて、前記第１相対輝度と前記表示輝度との対応関係として、前記所定の第１相対輝度に前記基準の表示輝度が対応付けられた第１対応関係、または、前記第３相対輝度に前記表示輝度の上限が対応付けられた第２対応関係を決定する
   ことを特徴とする請求項１〜６のいずれか１項に記載の画像処理装置。
8. 前記第２情報は、前記第３相対輝度を示す
   ことを特徴とする請求項７に記載の画像処理装置。
9. 前記第１相対輝度と前記表示輝度との所定の対応関係において前記表示輝度の上限に対応する第１相対輝度である第４相対輝度よりも前記第３相対輝度が高い第１の場合において、前記決定手段は、前記第２対応関係を決定し、
   前記第４相対輝度よりも前記第３相対輝度が低い第２の場合と、前記第３相対輝度が前記第４相対輝度と等しい第３の場合とにおいて、前記決定手段は、前記第１対応関係または前記第２対応関係を決定する
   ことを特徴とする請求項７または８に記載の画像処理装置。
10. 前記第３の場合において、前記決定手段は、前記第１対応関係を決定する
    ことを特徴とする請求項９に記載の画像処理装置。
11. 前記第３の場合において、前記決定手段は、ユーザ操作に応じて、前記第１対応関係または前記第２対応関係を決定する
    ことを特徴とする請求項９に記載の画像処理装置。
12. 前記第４相対輝度よりも前記第３相対輝度が低く、且つ、前記第２対応関係において前記所定の第１相対輝度に対応する表示輝度が前記基準の表示輝度よりも高い場合において、前記決定手段は、前記第２対応関係を決定し、
    前記第４相対輝度よりも前記第３相対輝度が低く、且つ、前記第２対応関係において前記所定の第１相対輝度に対応する表示輝度が前記基準の表示輝度以下である場合において、前記決定手段は、前記第１対応関係を決定する
    ことを特徴とする請求項９〜１１のいずれか１項に記載の画像処理装置。
13. 前記第１の場合は、前記第２対応関係において前記所定の第１相対輝度に対応する表示輝度が、前記所定の対応関係において前記所定の第１相対輝度に対応する表示輝度よりも高い場合であり、
    前記第２の場合は、前記第２対応関係において前記所定の第１相対輝度に対応する表示輝度が、前記所定の対応関係において前記所定の第１相対輝度に対応する表示輝度よりも低い場合であり、
    前記第３の場合は、前記第２対応関係において前記所定の第１相対輝度に対応する表示輝度が、前記所定の対応関係において前記所定の第１相対輝度に対応する表示輝度と等しい場合である
    ことを特徴とする請求項９〜１２のいずれか１項に記載の画像処理装置。
14. 前記第３相対輝度が、前記第１の場合、前記第２の場合、及び、前記第３の場合のいずれに対応するかに関連した情報をユーザに通知する第２通知手段、をさらに有する
    ことを特徴とする請求項９〜１３のいずれか１項に記載の画像処理装置。
15. 前記第２通知手段は、前記第３相対輝度が、前記第１の場合、前記第２の場合、及び、前記第３の場合のいずれに対応するかをユーザに通知する
    ことを特徴とする請求項１４に記載の画像処理装置。
16. 基準の表示輝度に関連した情報を取得するステップと、
    前記情報に基づいて、画像データの相対輝度と表示輝度との対応関係を、所定の相対輝度に前記基準の表示輝度が対応付けられるように決定するステップと、
    を有することを特徴とする画像処理方法。
17. 請求項１６に記載の画像処理方法の各ステップをコンピュータに実行させるためのプログラム。