JP2018136482A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】複数の画像の間における見えの、階調変換処理に起因した違いを低減可能にする技術を提供する。【解決手段】画像処理装置は、複数の入力画像データを取得する取得手段と、入力画像データの輝度関連値の閾値を決定する決定手段と、複数の入力画像データのそれぞれについて、決定手段によって決定された前記閾値に基づいて前記輝度関連値のレンジに対応する表示輝度のレンジが所定のレンジに圧縮されるように輝度関連値と表示輝度の対応関係を変更する画像処理を、入力画像データに施すことにより、処理画像データを生成する処理手段と、を有し、閾値以下の輝度関連値のレンジにおいて、変更後の対応関係は変更前の対応関係と略同一であり、決定手段は、複数の入力画像データの間で共通の閾値を決定する。【選択図】図１

Description

本発明は、画像処理装置および画像処理方法に関する。

近年、撮像装置の受光性能の向上に伴い、一般的なビデオガンマとして用いられているＢＴ．７０９よりもダイナミックレンジ（輝度関連値のレンジ；関連輝度レンジ）が広い撮影画像データが生成されるようになってきている。ダイナミックレンジが広い画像データは、「ＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）画像データ」などと呼ばれる。ＨＤＲ画像データのデータフォーマットとして、例えば、ダイナミックレンジが広いフィルムの特性に基づいて定められたＣｉｎｅｏｎ Ｌｏｇが使用されている。

一方で、表示装置では、消費電力の増加、部品の発熱による信頼性の低下、等への懸念により、ダイナミックレンジ（実現可能な表示輝度のレンジ；実現可能レンジ）が制限され、ＨＤＲ画像データの輝度関連値に対応する表示輝度が実現できないことがある。そこで、ＨＤＲ画像データの関連輝度レンジに対応する表示輝度レンジ（表示輝度のレンジ）が実現可能レンジに圧縮されるように輝度関連値（ＨＤＲ画像データの輝度関連値）と表示輝度の対応関係を変更する画像処理が提案されている（特許文献１）。このような画像処理は、「ニー処理（階調変換処理）」などと呼ばれる。

ニー処理について、図１０，１１を用いて説明する。図１０，１１は、輝度関連値（ＨＤＲ画像データの輝度関連値）と表示輝度の対応関係の一例を示す。図１０は、ニー処理による変更前の対応関係を示し、図１１は、ニー処理による変更後の対応関係を示す。図１０，１１では、ＨＤＲ画像データの関連輝度レンジは０〜１０００％である。図１０では、０〜１０００％の関連輝度レンジに、０〜１０００ｃｄ／ｍ^２の表示輝度レンジが対応付けられている。図１０では、０％から１０００％までの輝度関連値の増加に対して、表示輝度が０ｃｄ／ｍ^２から１０００ｃｄ／ｍ^２まで線形に増加する（線形特性）。

ここで、実現可能レンジが０〜５００ｃｄ／ｍ^２のレンジである場合を考える。ニー処理では、「ニーポイント」などと呼ばれる閾値（輝度関連値の閾値）が使用される。図１１では、ニーポイント以下の輝度関連値のレンジにおいて、変更後の対応関係は変更前の対応関係（図１０）と同一であり、ニーポイントよりも大きい輝度関連値に対応する表示輝度のレンジが圧縮されている。そして、０〜１０００％の関連輝度レンジに対応付けられた表示輝度レンジが、０〜１０００ｃｄ／ｍ^２のレンジから、０〜５００ｃｄ／ｍ^２のレンジ（実現可能レンジ）に圧縮されている。

ニーポイントは、例えば、変更前の対応関係を維持したい輝度関連値のレンジに基づいて決定される。例えば、撮影画像データにニー処理を施す場合には、被写体の明るさに基づいてニーポイントが決定される。

また、画像制作のワークフローでは、撮影時などにおいて、複数の撮像装置のそれぞれについて、撮影画像データに基づく画像が表示装置に表示され、表示結果に基づいて、撮影画像データの露出の確認、撮影画像データの色調整、等が行われることがある。その際に、複数の撮影画像データにそれぞれ対応する複数の画像が画面に並べて表示されることがある。

特開２００４−２２０４３８号公報

しかしながら、各々にニー処理が施されている複数の画像データにそれぞれ対応する複数の画像を画面に並べて表示する場合において、複数の画像の間における見えの、ニー処理に起因した違いが生じることがある。そして、そのような違いが生じた場合に、ユーザが、当該違いがニー処理によるものであることに気付かずに、誤った操作を行うことがある。例えば、上記画像データが撮影画像データである場合に、ユーザが、撮像装置の露出設定が誤っていると勘違いして、誤った露出合わせを行うことがある。

本発明は、各々に階調変換処理が施されている複数の画像データにそれぞれ対応する複数の画像を画面に並べて表示する場合において、複数の画像の間における見えの階調変換処理に起因した違いを低減可能にする技術を提供することを目的とする。

本発明の第１の態様は、
複数の入力画像データを取得する取得手段と、
前記入力画像データの輝度関連値の閾値を決定する決定手段と、
前記複数の入力画像データのそれぞれについて、前記決定手段によって決定された前記閾値に基づいて前記輝度関連値のレンジに対応する表示輝度のレンジが所定のレンジに圧縮されるように前記輝度関連値と前記表示輝度の対応関係を変更する画像処理を、前記入力画像データに施すことにより、処理画像データを生成する処理手段と、
を有し、
前記閾値以下の輝度関連値のレンジにおいて、変更後の対応関係は変更前の対応関係と略同一であり、
前記決定手段は、前記複数の入力画像データの間で共通の前記閾値を決定する
ことを特徴とする画像処理装置である。

本発明の第２の態様は、
複数の入力画像データを取得する取得ステップと、
前記入力画像データの輝度関連値の閾値を決定する決定ステップと、
前記複数の入力画像データのそれぞれについて、前記決定ステップにおいて決定された前記閾値に基づいて前記輝度関連値のレンジに対応する表示輝度のレンジが所定のレンジに圧縮されるように前記輝度関連値と前記表示輝度の対応関係を変更する画像処理を、前記入力画像データに施すことにより、処理画像データを生成する処理ステップと、
を有し、
前記閾値以下の輝度関連値のレンジにおいて、変更後の対応関係は変更前の対応関係と略同一であり、
前記決定ステップでは、前記複数の入力画像データの間で共通の前記閾値が決定されることを特徴とする画像処理方法である。

本発明の第３の態様は、上述した画像処理方法の各ステップをコンピュータに実行させるためのプログラムである。

本発明によれば、各々に階調変換処理が施されている複数の画像データにそれぞれ対応する複数の画像を画面に並べて表示する場合において、複数の画像の間における見えの階調変換処理に起因した違いが低減可能となる。

実施例１に係る表示装置の構成例を示すブロック図 実施例１に係る表示の一例を示す図 実施例１に係る階調特性の一例を示す図 実施例１に係る画質設定情報の一例を示す図 実施例１に係る変更前の対応関係の一例を示す図 実施例１に係る変更後の対応関係の一例を示す図 実施例１に係るグラフィック画像の一例を示す図 実施例１に係るグラフィック画像の一例を示す図 実施例２に係る変更後の対応関係の一例を示す図 ニー処理による変更前の対応関係の一例を示す図 ニー処理による変更前の対応関係の一例を示す図

＜実施例１＞
以下、本発明の実施例１について説明する。以下では、本実施例に係る画像処理装置を有する表示装置の例を説明する。表示装置は、例えば、液晶表示装置、有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）表示装置、プラズマ表示装置、ＭＥＭＳ（Ｍｉｃｒｏ Ｅｌｅｃｔｒｏ Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍ）シャッタ方式表示装置、等である。なお、画像処理装置は表示装置とは別体の装置であってもよい。表示装置とは別体の画像処理装置は、例えば、パーソナルコンピュータ（ＰＣ）、再生装置（例えば、ブルーレイプレーヤ）、サーバ装置、等である。

図１は、本実施例に係る表示装置１００の構成例を示すブロック図である。表示装置１００は、入力部１０１，１０２、画質設定部１０３、ニーポイント決定部１０４、参照レンジ決定部１０５、画像処理部１０６、合成部１０７、及び、表示部１０８を有する。表示装置１００には、複数の入力画像データが入力される。本実施例では、表示装置１００に、撮像装置１１１，１１２が接続されている。そして、撮像装置１１１を用いた撮影によって生成された撮影画像データ（被写体を表す画像データ）Ｉ１と、撮像装置１１２を用いた撮影によって生成された撮影画像データＩ２とのそれぞれが、入力画像データとして、表示装置１００に入力される。その後、図２に示すように、表示装置１００の２画面表示機能を用いて、入力画像データＩ１に基づく画像と、入力画像データＩ２に基づく画像とが、表示装置１００（表示部１０８）の画面に並べて表示される。

なお、入力画像データは撮影画像データに限られない。例えば、入力画像データは、イラストを表すイラスト画像データであってもよい。２つよりも多くの入力画像データが表示装置１００に入力され、２つよりも多くの画像が画面に並べて表示されてもよい。

本実施例では、入力画像データＩ１，Ｉ２のそれぞれは、ダイナミックレンジ（輝度関連値のレンジ；関連輝度レンジ）が広い画像データである。例えば、入力画像データＩ１，Ｉ２のそれぞれは、ＢＴ．７０９よりもダイナミックレンジが広い画像データである。ダイナミックレンジが広い画像データは、「ＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）画像データ」などと呼ばれる。具体的には、入力画像データＩ１の関連輝度レンジ（ダイナミックレンジ）は０〜１０００％のレンジであり、入力画像データＩ２の関連輝度レンジは０〜２０００％のレンジである。また、本実施例では、入力画像データＩ１，Ｉ２のそれぞれの階調値は１０ビットの値（０〜１０２３）である。

本実施例では、図３に示すように、入力画像データＩ１，Ｉ２のそれぞれの階調特性は、輝度関連値の増加に対して階調値が対数的に増加する対数特性である。図３は、入力画像データＩ１の階調特性の一例を示す。また、本実施例では、表示装置１００のダイナミ
ックレンジ（実現可能な表示輝度のレンジ；実現可能レンジ）は０〜８００ｃｄ／ｍ^２のレンジである。表示輝度は、画面の輝度である。

輝度関連値は、輝度に関連した値である。輝度の表現の一形式として、光が物体で反射する際の反射率が使用されることがある。環境光に照らされた物体の輝度は０〜１００％程度の反射率で表現され、それを超える輝度（照明装置、太陽、等の光源の輝度）は１００％よりも高い反射率で表現されることが多い。

なお、入力画像データのダイナミックレンジは上記レンジ（０〜１０００％のレンジ、０〜２０００％のレンジ）より狭くても広くてもよい。複数の入力画像データの間で関連輝度レンジが異なっていてもよいし、複数の入力画像データの間で関連輝度レンジが等しくてもよい。関連輝度レンジが互いに異なる２つ以上の入力画像データを複数の入力画像データが含んでいてもよいし、関連輝度レンジが等しい２つ以上の入力画像データを複数の入力画像データが含んでいてもよい。入力画像データはＨＤＲ画像データに限られない。例えば、入力画像データは、ＢＴ．７０９の画像データであってもよい。入力画像データの階調特性は対数特性に限られない。例えば、入力画像データの階調特性は、輝度関連値の増加に対して階調値が非線形に増加する他の非線形特性、輝度関連値の増加に対して階調値が線形に増加する線形特性、等であってもよい。入力画像データのビット数は１０ビットより多くても少なくてもよい。実現可能レンジは０〜８００ｃｄ／ｍ^２のレンジより狭くても広くてもよい。輝度関連値は反射率に限られない。例えば、輝度関連値は、輝度（輝度値）であってもよいし、撮像装置が有する撮像センサに入射した光の量（光量）であってもよい。

入力部１０１，１０２は、複数の入力画像データを取得し、複数の入力画像データを画像処理部１０６へ出力する。本実施例では、入力部１０１は、撮像装置１１１から出力された入力画像データＩ１を取得し、入力画像データＩ１を画像処理部１０６へ出力する。入力部１０２は、撮像装置１１２から出力された入力画像データＩ２を取得し、入力画像データＩ２を画像処理部１０６へ出力する。入力部１０１，１０２のそれぞれは、例えば、入力端子である。

画質設定部１０３は、表示装置１００に対するユーザ操作に基づいて、入力画像データに基づく画像を画面に表示する際の画質に関する設定を行う。そして、画質設定部１０３は、画質に関する設定の結果を、画質設定情報として、ニーポイント決定部１０４と参照レンジ決定部１０５へ出力する。本実施例では、画質設定部１０３は、入力画像データＩ１，Ｉ２のそれぞれについて、画質に関する設定を行う。

図４は、画質設定情報の一例を示す。図４の例では、画質設定情報は、入力画像データＩ１，Ｉ２のそれぞれについて、表示位置の情報、階調特性の情報、色域の情報、及び、色温度の情報を含む。図４の例では、表示位置として「画面左」と「画面右」が示されており、階調特性として「ガンマ１」と「ガンマ２」が示されており、色域として「ＢＴ．２０２０」が示されており、色温度として「Ｄ６５」が示されている。

なお、画質設定情報は上記情報に限られない。画質設定情報には、上記複数の情報とは異なる情報が含まれていてもよい。例えば、画質設定情報には、入力画像データの関連輝度レンジの情報が含まれていてもよい。画質設定情報には、上記複数の情報の少なくとも一部が含まれていなくてもよい。画質設定情報の生成方法は、上記方法に限られない。例えば、入力画像データのメタデータから、メタデータに含まれている情報の少なくとも一部が取得され、取得された情報に基づいて、画質設定情報の少なくとも一部が決定されてもよい。表示装置１００の使用環境などが検出され、検出結果に基づいて、画質設定情報の少なくとも一部が決定されてもよい。

本実施例では、画像処理部１０６において、複数の入力画像データのそれぞれに対して、関連輝度レンジに対応する表示輝度レンジ（表示輝度のレンジ）が所定のレンジに圧縮されるように輝度関連値と表示輝度の対応関係を変更する画像処理が施される。このような画像処理は「ニー処理」などと呼ばれる。所定のレンジは特に限定されないが、本実施例では、所定のレンジとして実現可能レンジが使用される。

ニーポイント決定部１０４は、画質設定部１０３から出力された画質設定情報に基づいて、「ニーポイント」などと呼ばれる閾値（輝度関連値の閾値）を決定する。そして、ニーポイント決定部１０４は、ニーポイントを画像処理部１０６へ通知する。ニーポイントはニー処理で使用される。本実施例では、ニーポイント決定部１０４は、複数の入力画像データの間で共通する輝度関連値のレンジの中心に対応する輝度関連値を、ニーポイントとして決定する。具体的には、ニーポイント決定部１０４は、入力画像データＩ１と入力画像データＩ２の間で共通する輝度関連値のレンジの中心に対応する輝度関連値を、ニーポイントとして決定する。

上述したように、入力画像データＩ１の関連輝度レンジは０〜１０００％のレンジであり、入力画像データＩ２の関連輝度レンジは０〜２０００％のレンジである。そのため、入力画像データＩ１と入力画像データＩ２の間で共通する輝度関連値のレンジは、０〜１０００％のレンジである。従って、ニーポイント決定部１０４では、５００％（＝１０００％×０．５）が、ニーポイントとして決定される。ニーポイントは特に限定されないが、本実施例では、ニー処理による変更前の対応関係において表示装置１００（表示部１０８）で実現可能な表示輝度に対応する輝度関連値が、ニーポイントとして決定される。

なお、ニーポイントの決定方法は上記方法に限られない。例えば、画質設定情報から関連輝度レンジが判断されずに、入力画像データ、入力画像データのメタデータ、等から関連輝度レンジが判断されてもよい。複数の入力画像データのそれぞれの関連輝度レンジに基づいて、上記中心の輝度関連値とは異なる輝度関連値が、ニーポイントとして決定されてもよい。複数の入力画像データの間で共通する輝度関連値のレンジに基づいて、上記中心の輝度関連値とは異なる輝度関連値が、ニーポイントとして決定されてもよい。ニーポイントの決定において、複数の入力画像データの間で共通しない輝度関連値が考慮されてもよい。ユーザ操作、表示装置１００の使用環境、等に基づいてニーポイントが決定されてもよい。

参照レンジ決定部１０５は、画質設定部１０３から出力された画質設定情報に基づいて、輝度関連値の或るレンジである参照レンジを決定する。例えば、ＢＴ．７０９の関連輝度レンジに対応する設定に応じて、０〜１００％の参照レンジを決定し、ＢＴ．７０９の関連輝度レンジよりも広い関連輝度レンジに対応する設定に応じて、０〜１００％のレンジよりも広い参照レンジを決定する。そして、参照レンジ決定部１０５は、参照レンジを画像処理部１０６へ通知する。参照レンジはニー処理で使用される。本実施例では、参照レンジ決定部１０５は、複数の入力画像データのそれぞれについて、参照レンジを個別に決定する。具体的には、参照レンジ決定部１０５は、入力画像データＩ１の関連輝度レンジを入力画像データＩ１の参照レンジとして決定し、入力画像データＩ２の関連輝度レンジを入力画像データＩ２の参照レンジとして決定する。

なお、参照レンジの決定方法は上記方法に限られない。例えば、画質設定情報から関連輝度レンジが判断されずに、入力画像データ、入力画像データのメタデータ、等から関連輝度レンジが判断されてもよい。ユーザ操作、表示装置１００の使用環境、等に基づいて参照レンジが決定されてもよい。

画像処理部１０６は、複数の入力画像データのそれぞれについて、ニーポイントと参照レンジに基づくニー処理を入力画像データに施すことにより、処理画像データを生成する。そして、画像処理部１０６は、複数の入力画像データから得られた複数の処理画像データを、合成部１０７へ出力する。ニー処理では、入力画像データの階調特性を変更することにより、輝度関連値と表示輝度の対応関係が変更される。そのため、ニー処理は「階調変換処理」とも言える。

本実施例では、画像処理部１０６は、階調変換部１０９，１１０を有する。階調変換部１０９は、ニーポイントと入力画像データＩ１の参照レンジとに基づくニー処理を入力画像データＩ１に施すことにより、処理画像データＰ１を生成する。そして、階調変換部１０９は、処理画像データＰ１を合成部１０７へ出力する。階調変換部１１０は、ニーポイントと入力画像データＩ２の参照レンジとに基づくニー処理を入力画像データＩ２に施すことにより、処理画像データＰ２を生成する。そして、階調変換部１１０は、処理画像データＰ２を合成部１０７へ出力する。

階調変換部１０９，１１０の処理について詳細に説明する。階調変換部１０９は、入力画像データＩ１の階調特性を対数特性から線形特性に変換する。階調変換部１１０は、入力画像データＩ２の階調特性を対数特性から線形特性に変換する。その結果、図５に示すように、輝度関連値の増加に対して表示輝度が線形に増加する対応関係に、輝度関連値と表示輝度の対応関係が変換される。図５の例では、入力画像データＩ１の関連輝度レンジ（０〜１０００％）に、０〜１０００ｃｄ／ｍ^２の表示輝度レンジが対応付けられている。そして、入力画像データＩ２の関連輝度レンジ（０〜２０００％）に、０〜２０００ｃｄ／ｍ^２の表示輝度レンジが対応付けられている。

その後、階調変換部１０９は、ニーポイントと入力画像データＩ１の参照レンジとに基づいて対応関係（輝度関連値と表示輝度の対応関係）が変更されるように、入力画像データＩ１の階調特性を変換する（ニー処理）。階調変換部１１０は、ニーポイントと入力画像データＩ２の参照レンジとに基づいて対応関係が変更されるように、入力画像データＩ２の階調特性を変換する。本実施例に係るニー処理では、ニーポイント以下（閾値以下）の輝度関連値のレンジにおいて、変更後の対応関係が変更前の対応関係と略同一となるように、階調特性が変換される。「略」は「完全」を含む。また、ニーポイントよりも大きい輝度関連値のレンジにおいて、変更後の対応関係として、参照レンジに基づく対応関係が得られるように、階調特性が変換される。

図６は、ニー処理による変更後の対応関係（輝度関連値と表示輝度の対応関係）の一例を示す。図６には、変更前の対応関係が比較のために記載されている。図６では、ニーポイント（５００ｃｄ／ｍ^２）以下の輝度関連値のレンジにおいて、変更後の対応関係が変更前の対応関係と同一であり、ニーポイントよりも大きい輝度関連値に対応する表示輝度のレンジが圧縮されている。そして、入力画像データＩ１の関連輝度レンジ（０〜１０００％）に対応付けられた表示輝度レンジが、０〜１０００ｃｄ／ｍ^２のレンジから、０〜８００ｃｄ／ｍ^２のレンジ（実現可能レンジ）に圧縮されている。同様に、入力画像データＩ２の関連輝度レンジ（０〜２０００％）に対応付けられた表示輝度レンジが、０〜２０００ｃｄ／ｍ^２のレンジから、０〜８００ｃｄ／ｍ^２の実現可能レンジに圧縮されている。

なお、ニー処理は上記処理に限られない。例えば、ニーポイントよりも大きい輝度関連値のレンジにおいて、変更後の対応関係は、参照レンジに基づく対応関係でなくてもよい。ニーポイントよりも大きい輝度関連値のレンジにおいて、変更後の対応関係は、ユーザ操作、表示装置１００の使用環境、等に基づいて決定されてもよい。

合成部１０７は、複数の処理画像データにそれぞれ対応する複数の画像を表示部１０８の画面に並べて表示する制御を行う。具体的には、合成部１０７は、複数の処理画像データを合成することにより、複数の処理画像データにそれぞれ対応する複数の画像が並べられた合成画像を表す合成画像データを生成する。そして、合成部１０７は、合成画像データを表示部１０８へ出力する。本実施例では、合成部１０７は、処理画像データＰ１，Ｐ２を合成することにより、処理画像データＰ１に基づく画像と処理画像データＰ２に基づく画像とが並べられた合成画像を表す合成画像データを生成する。

表示部１０８は、合成部１０７から出力された合成画像データに応じて、合成画像を画面に表示する。

以上述べたように、本実施例によれば、複数の入力画像データの間で共通のニーポイントが決定されて使用される。それにより、変更前の対応関係が維持される輝度関連値のレンジが複数の入力画像データの間で一致する。その結果、各々に階調変換処理（ニー処理）が施されている複数の画像データにそれぞれ対応する複数の画像を画面に並べて表示する場合において、複数の画像の間における見えの、階調変換処理に起因した違いが低減可能となる。

なお、表示装置１００は、決定されたニーポイントをユーザに通知する通知部をさらに有していてもよい。例えば、ニーポイントを示すグラフィック画像が、ＯＳＤ（Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）の形式で画面に表示されることにより、ニーポイントがユーザに通知されてもよい。ユーザへの通知の方法は特に限定されない。例えば、音声の出力、ランプの点灯、等によって、ユーザへの通知が実現されてもよい。

なお、ニーポイント決定部１０４は、表示装置１００に対するユーザ操作に応じて、ニーポイントを変更してもよい。例えば、ニーポイントを変更するユーザ操作を受け付け可能な形態で、ニーポイントを通知するグラフィック画像が表示されてもよい。ユーザ操作に応じて、複数の入力画像データのそれぞれについてニーポイントが個別に変更されてもよいし、そうでなくてもよい。変更後のニーポイントとして、複数の入力画像データの間で共通のニーポイントが決定されてもよい。図７は、複数の入力画像データのそれぞれについてニーポイントを個別に指定可能なグラフィック画像の一例を示す。図８は、複数の入力画像データの間で共通のニーポイントを指定可能なグラフィック画像の一例を示す。

＜実施例２＞
以下、本発明の実施例２について説明する。なお、以下では、実施例１と異なる点（構成、処理、等）について詳しく説明し、実施例１と同じ点についての説明は省略する。

実施例１に係る参照レンジ決定部１０５は、複数の入力画像データのそれぞれについて、参照レンジを個別に決定する。これに対し、本実施例に係る参照レンジ決定部１０５は、複数の入力画像データの間で共通の参照レンジを決定する。具体的には、本実施例に係る参照レンジ決定部１０５は、複数の入力画像データの間で共通する輝度関連値のレンジを、参照レンジとして決定する。本実施例でも、入力画像データＩ１の関連輝度レンジは０〜１０００％のレンジであり、入力画像データＩ２の関連輝度レンジは０〜２０００％のレンジである。そのため、入力画像データＩ１と入力画像データＩ２の間で共通する輝度関連値のレンジは、０〜１０００％のレンジである。従って、本実施例に係る参照レンジ決定部１０５では、０〜１０００％のレンジが、参照レンジとして決定される。

なお、参照レンジの決定方法は上記方法に限られない。例えば、複数の入力画像データのそれぞれの関連輝度レンジに基づいて、上記レンジとは異なるレンジが、参照レンジとして決定されてもよい。参照レンジの決定において、複数の入力画像データの間で共通し
ない輝度関連値が考慮されてもよい。

以上述べたように、本実施例によれば、複数の入力画像データの間で共通のニーポイントだけでなく、複数の入力画像データの間で共通の参照レンジが決定されて使用される。それにより、複数の入力画像データの間で変更後の対応関係（輝度関連値と表示輝度の対応関係）が一致する輝度関連値のレンジとして、変更前の対応関係が維持される輝度関連値のレンジよりも広いレンジが得られる。例えば、図９に示すように、参照レンジにおける変更後の対応関係が、複数の入力画像データの間で一致する。その結果、複数の画像の間における見えの、階調変換処理（ニー処理）に起因した違いがより低減可能となる。

なお、図１の各機能部は、個別のハードウェアであってもよいし、そうでなくてもよい。２つ以上の機能部の機能が、共通のハードウェアによって実現されてもよい。１つの機能部の複数の機能のそれぞれが、個別のハードウェアによって実現されてもよい。１つの機能部の２つ以上の機能が、共通のハードウェアによって実現されてもよい。また、各機能部は、ハードウェアによって実現されてもよいし、そうでなくてもよい。例えば、装置が、プロセッサと、制御プログラムが格納されたメモリとを有していてもよい。そして、装置が有する少なくとも一部の機能部の機能が、プロセッサがメモリから制御プログラムを読み出して実行することにより実現されてもよい。

なお、実施例１，２はあくまで一例であり、本発明の要旨の範囲内で実施例１，２の構成を適宜変形したり変更したりすることにより得られる構成も、本発明に含まれる。実施例１，２の構成を適宜組み合わせて得られる構成も、本発明に含まれる。

＜その他の実施例＞
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１，１０２：入力部 １０４：ニーポイント決定部 １０６：画像処理部

Claims (17)

1. 複数の入力画像データを取得する取得手段と、
   前記入力画像データの輝度関連値の閾値を決定する決定手段と、
   前記複数の入力画像データのそれぞれについて、前記決定手段によって決定された前記閾値に基づいて前記輝度関連値のレンジに対応する表示輝度のレンジが所定のレンジに圧縮されるように前記輝度関連値と前記表示輝度の対応関係を変更する画像処理を、前記入力画像データに施すことにより、処理画像データを生成する処理手段と、
   を有し、
   前記閾値以下の輝度関連値のレンジにおいて、変更後の対応関係は変更前の対応関係と略同一であり、
   前記決定手段は、前記複数の入力画像データの間で共通の前記閾値を決定する
   ことを特徴とする画像処理装置。
2. 前記決定手段は、前記複数の入力画像データのそれぞれの、前記輝度関連値のレンジに基づいて、前記閾値を決定する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記決定手段は、前記複数の入力画像データの間で共通する輝度関連値のレンジに基づいて、前記閾値を決定する
   ことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記決定手段は、前記複数の入力画像データの間で共通する輝度関連値のレンジの中心に対応する輝度関連値を、前記閾値として決定する
   ことを特徴とする請求項１〜３のいずれか１項に記載の画像処理装置。
5. 前記閾値よりも大きい輝度関連値のレンジにおいて、前記変更後の対応関係は、前記輝度関連値の或るレンジである参照レンジに基づいており、
   前記決定手段は、前記複数の入力画像データの間で共通の前記参照レンジをさらに決定する
   ことを特徴とする請求項１〜４のいずれか１項に記載の画像処理装置。
6. 前記決定手段は、前記複数の入力画像データのそれぞれの、前記輝度関連値のレンジに基づいて、前記参照レンジを決定する
   ことを特徴とする請求項５に記載の画像処理装置。
7. 前記決定手段は、前記複数の入力画像データの間で共通する輝度関連値のレンジを、前記参照レンジとして決定する
   ことを特徴とする請求項５または６に記載の画像処理装置。
8. 前記複数の入力画像データは、前記輝度関連値のレンジが互いに異なる２つ以上の入力画像データを含む
   ことを特徴とする請求項１〜７のいずれか１項に記載の画像処理装置。
9. 複数の処理画像データにそれぞれ対応する複数の画像を表示部に並べて表示する制御を行う制御手段、をさらに有する
   ことを特徴とする請求項１〜８のいずれか１項に記載の画像処理装置。
10. 前記複数の入力画像データのそれぞれは、撮影によって生成された撮影画像データである
    ことを特徴とする請求項１〜９のいずれか１項に記載の画像処理装置。
11. 前記閾値をユーザに通知する通知手段、をさらに有する
    ことを特徴とする請求項１〜１０のいずれか１項に記載の画像処理装置。
12. 前記決定手段は、ユーザ操作に応じて、前記閾値を変更する
    ことを特徴とする請求項１〜１１のいずれか１項に記載の画像処理装置。
13. 前記決定手段は、ユーザ操作に応じて、前記複数の入力画像データのそれぞれについて前記閾値を個別に変更する
    ことを特徴とする請求項１〜１２のいずれか１項に記載の画像処理装置。
14. 前記所定のレンジは、表示部で実現可能な表示輝度のレンジである
    ことを特徴とする請求項１〜１３のいずれか１項に記載の画像処理装置。
15. 前記決定手段は、前記変更前の対応関係において表示部で実現可能な表示輝度に対応する輝度関連値を、前記閾値として決定する
    ことを特徴とする請求項１〜１４のいずれか１項に記載の画像処理装置。
16. 複数の入力画像データを取得する取得ステップと、
    前記入力画像データの輝度関連値の閾値を決定する決定ステップと、
    前記複数の入力画像データのそれぞれについて、前記決定ステップにおいて決定された前記閾値に基づいて前記輝度関連値のレンジに対応する表示輝度のレンジが所定のレンジに圧縮されるように前記輝度関連値と前記表示輝度の対応関係を変更する画像処理を、前記入力画像データに施すことにより、処理画像データを生成する処理ステップと、
    を有し、
    前記閾値以下の輝度関連値のレンジにおいて、変更後の対応関係は変更前の対応関係と略同一であり、
    前記決定ステップでは、前記複数の入力画像データの間で共通の前記閾値が決定されることを特徴とする画像処理方法。
17. 請求項１６に記載の画像処理方法の各ステップをコンピュータに実行させるためのプログラム。

Images