JP2018061233A - 画像処理装置、画像処理方法およびプログラム - Google Patents

Abstract

【課題】視覚的な階調段差の発生を抑制しつつ階調潰れを低減可能な階調変換特性を決定する。【解決手段】Ｍ階調の入力画像をＮ階調の出力画像に変換するための階調変換特性を決定する画像処理装置は、入力画像の第ｉ階調に対応する輝度値Ｙ（ｉ）と第（ｉ＋ｄ）階調に対応する輝度値Ｙ（ｉ＋ｄ）との差が所与の閾値を超えない最大のｄを決定し、当該決定されたｄに基づいて、入力画像の第ｉ階調及び第（ｉ＋ｄ）階調が出力画像の第ｊ階調及び第（ｊ＋１）階調にそれぞれ対応するように階調変換特性を設定する。【選択図】図１

Description

本発明は、画像の階調変換処理に関するものである。

近年、デジタルカメラ等の画像入力機器において、撮影可能な輝度レンジであるダイナミックレンジ（以下Ｄレンジと記す）の拡大が進んでいる。一般的に、撮影Ｄレンジの拡大に伴い、撮影した画像データの記録、伝送に必要なビット数が増加する。例えば、Ｄレンジ１００：１の輝度リニアの画像を記録する場合、１画素あたりのｂｉｔ数は、通常の８ｂｉｔ（＝２５６）階調で十分である。しかしながら、Ｄレンジを１００００：１に拡張した場合、最低でも１４ｂｉｔ（＝１５３８４）階調が必要となる。

Ｄレンジの広い画像はデータ量が大きくなるため、画像をより少ないｂｉｔ数で量子化する技術が提案されている。例えば、特許文献１では、ＪＮＤ（Just Noticeable Difference）と呼ばれる、人間の輝度弁別能力を考慮し、非線形な量子化を行う技術が開示されている。具体的には、暗い輝度領域では細かく明るい輝度領域では粗く量子化することにより、視覚的に階調段差を生じさせない量子化を行う方法が開示されている。

特開２０１５−１５９５４３号公報

しかしながら、上述の特許文献１に記載の技術においては、実際の画像機器（例えば撮像センサー）のＡＤ変換における量子化ｂｉｔ数等を考慮していないため、必ずしも使用する画像機器に最適化されていない。

本発明はこのような問題を鑑みてなされたものであり、より好適な画像の階調変換（階調圧縮）を可能とする技術を提供することを目的とする。

上述の問題点を解決するため、本発明に係る画像処理装置は以下の構成を備える。すなわち、Ｍ階調の入力画像をＮ階調（ただしＭ＞Ｎ）の出力画像に変換するための階調変換特性を決定する画像処理装置は、前記入力画像の第ｉ階調に対応する輝度値Ｙ（ｉ）と第（ｉ＋ｄ）階調に対応する輝度値Ｙ（ｉ＋ｄ）との差が所与の閾値を超えない最大のｄ（ただしｄは正整数）を決定する決定手段と、前記決定手段により決定されたｄに基づいて、前記入力画像の第ｉ階調及び第（ｉ＋ｄ）階調が前記出力画像の第ｊ階調及び第（ｊ＋１）階調にそれぞれ対応するように、前記階調変換特性を設定する設定手段と、を有する。

あるいは、Ｍ階調の入力画像をＮ階調（ただしＭ＞Ｎ）の出力画像に変換するための階調変換特性を決定する画像処理装置は、所定の輝度閾値より小さい輝度範囲において、前記入力画像の第ｉ階調及び第（ｉ＋１）階調が前記出力画像の第ｊ階調及び第（ｊ＋１）階調にそれぞれ対応するように前記階調変換特性を設定する第１の設定手段と、前記所定の輝度閾値以上の輝度範囲において、前記入力画像の第ｉ階調に対応する輝度値Ｙ（ｉ）と第（ｉ＋ｄ）階調に対応する輝度値Ｙ（ｉ＋ｄ）との差が所与の閾値を超えない最大のｄ（ただしｄは正整数）を決定し、前記入力画像の第ｉ階調及び第（ｉ＋ｄ）階調が前記出力画像の第ｊ階調及び第（ｊ＋１）階調にそれぞれ対応するように前記階調変換特性を設定する第２の設定手段と、を有する。

本発明によれば、より好適な画像の階調変換を可能とする技術を提供することができる。

第１実施形態に係る画像処理装置の構成を示すブロック図である。 第１実施形態における画像処理装置の処理を示すフローチャートである。 Ｂａｒｔｅｎモデルに基づくＪＮＤ算出を説明する図である。 第１実施形態にて算出した階調変換特性の一例を示す図である。 ルックアップテーブル（ＬＵＴ）を用いた階調変換処理を説明する図である。 第２実施形態に係る画像処理装置の構成を示すブロック図である。 第２実施形態における画像処理装置の処理を示すフローチャートである。 第１及び第２実施形態における閾値の違いを示す図である。 第３実施形態に係る画像処理装置の構成を示すブロック図である。 第３実施形態における画像処理装置の処理を示すフローチャートである。 階調変換特性の算出方法を説明する図である。 算出した階調変換特性を説明する図である。 露出の違いによる階調変換特性の違いを説明する図である。 第４実施形態に係る画像処理装置の構成を示すブロック図である。 第４実施形態における画像処理装置の処理を示すフローチャートである。

以下に、図面を参照して、この発明の好適な実施の形態を詳しく説明する。なお、以下の実施の形態はあくまで例示であり、本発明の範囲を限定する趣旨のものではない。

（第１実施形態）
本発明に係る画像処理装置の第１実施形態として、Ｍ階調の入力画像をＮ階調（ただしＭ＞Ｎ）の出力画像に階調変換（階調圧縮）する画像処理装置を例に挙げて以下に説明する。

＜装置構成＞
図１は、第１実施形態に係る画像処理装置の構成を示すブロック図である。上述のように、画像処理装置１は、Ｍ階調で表された入力画像をＮ階調の出力画像に変換するための階調変換特性を算出する装置である。また、変換特性記憶部２は、画像処理装置１が算出した階調変換特性、すなわち、入力階調値および当該入力階調値に対応する出力階調値を記憶する装置である。

条件設定部３は、階調変換特性算出における条件を設定する。入力階調設定部４は、算出対象となる入力階調値を設定する。入力輝度値算出部５は、設定された入力階調値に対する輝度値を算出する。入力輝度差算出部６は、入力階調値における１階調分の輝度差を算出する。ＪＮＤ算出部７は、入力階調値に対応する輝度値における、弁別可能な輝度差であるＪＮＤを算出する。

輝度差比較部８は、入力輝度差算出部６にて算出した入力階調１階調分の輝度差と、ＪＮＤ算出部７にて算出したＪＮＤとを比較する。例えば大小関係を判定する。出力階調設定部９は、輝度差比較部８における比較結果に基づき、入力階調値に対応する出力階調値を設定する。

＜装置の動作＞
図２は、第１実施形態における画像処理装置の処理を示すフローチャートである。

Ｓ２０１では、条件設定部３は、階調変換特性を算出するために必要な条件である、入力階調数および出力階調数の設定を行う。ここでは、入力階調数としてＭ、出力階調数としてＮを設定する（ただし、Ｍ＞Ｎ）。Ｓ２０２では、条件設定部３は、ＪＮＤの係数ｋの初期値を設定する（係数決定手段）。ここでは、ｋ＝１を設定する。

Ｓ２０３では、入力階調設定部４は、階調変換特性を算出するための、対象となる入力階調値ｎ（第ｉ階調）の初期値を設定する。ここでは、ｎ＝０を設定する。Ｓ２０４では、出力階調設定部９は、初期値（ｎ＝０）の入力階調値に対する出力階調値ｍの初期値を設定する。ここでは、ｍ＝０を設定する。Ｓ２０５では、入力階調設定部４は、入力階調ステップΔｎの初期値（正整数ｄ）を設定する。ここでは、Δｎ＝１を設定する。

Ｓ２０６では、入力輝度値算出部５は、入力階調値がｎ、（ｎ＋Δｎ）の場合の輝度値Ｙ_in（ｎ）、Ｙ_in（ｎ＋Δｎ）を算出する。Ｓ２０７では、輝度差算出部８は、入力輝度値Ｙ_in（ｎ）とＹ_in（ｎ＋Δｎ）との輝度差ΔＹ_inを、以下の数式（１）を用いて算出する。

Ｓ２０８では、ＪＮＤ算出部７は、入力階調値がｎの場合の輝度値Ｙ_in（ｎ）における、輝度値に関する所定の関数としてのＪＮＤ値を算出する。算出の詳細については後述する。

Ｓ２０９では、輝度差比較部８は、Ｓ２０７にて算出した輝度差ΔＹ_inと、Ｓ２０８にて算出したＪＮＤにＳ２０２にて設定した係数ｋを掛けた値である所与の閾値（ｋ×ＪＮＤ）と、を比較する。この時、ΔＹ_inの値が（ｋ×ＪＮＤ）以上であればＳ２１１に進み、そうでなければＳ２１０に進む。Ｓ２１０では、出力階調設定部９は、Δｎの値を１カウントずつ増加させる。そして、輝度値Ｙ_in（ｎ）とＹ_in（ｎ＋Δｎ）との輝度差ΔＹ_inが所与の閾値（ｋ×ＪＮＤ）を超えない最大のΔｎ値を算出し、Ｓ２１１に進む。Ｓ２１１では、出力階調設定部９は、出力階調値（ｍ＋１）に対応する入力階調値を（ｎ＋Δｎ）に設定し、変換特性記憶部２に記憶する。すなわち、入力画像における第ｉ階調及び第（ｉ＋ｄ）階調が出力画像の第ｊ階調及び第（ｊ＋１）階調にそれぞれ対応するように設定する。

Ｓ２１２では、出力階調設定部９は、出力階調値（ｍ＋１）が、出力階調値の最大値Ｍに達したかどうかを判断する。最大値Ｍに達していれば、Ｓ２１４に進み、達していなければ、Ｓ２１３にて入力階調値ｎ、ｍの値をそれぞれ（ｎ＋Δｎ）、（ｍ＋１）に変更し、Ｓ２０５に戻る。

Ｓ２１４では、入力階調設定部４は、入力階調値がＳ２０１にて設定した値Ｎに等しいかとかを判断し、等しければ処理を終了し、そうでなければＳ２１５に進む。Ｓ２１５では、（ｎ＋Δｎ）の値がＮよりも大きければ、Ｓ２１６に進み、小さければＳ２１７に進む。

Ｓ２１６では、条件設定部３は、ＪＮＤの係数ｋの値に予め設定した値（Δｋ）を加算した値で係数ｋを更新し、Ｓ２０３に戻る。Ｓ２１７では、条件設定部３は、ＪＮＤの係数ｋの値から予め設定した値（Δｋ）を減算した値で係数ｋを更新し、Ｓ２０３に戻る。

＜ＪＮＤ算出方法＞
ある輝度値に対し弁別可能な最小の輝度差（ＪＮＤ）を算出するための視覚モデルが知られている。例えば、Ｗｅｂｅｒの法則と呼ばれるモデルでは、ある輝度値Ｙに対するＪＮＤ（ΔＹ）は、その比率で求められるとしており、数式（２）によりモデル化されている。

数式（２）において、定数ｃｏｎｓｔａｎｔに適切な値を設定することにより、輝度値Ｙに対するＪＮＤを算出することが出来る。

一方、ＪＮＤの算出方法は、上述のＷｅｒｂｅｒの法則から算出する方法に限定されるものではない。例えば、Ｂａｒｔｅｎモデルと呼ばれる視覚のコントラスト感度から算出する方法もある。Ｂａｒｔｅｎモデルによる視覚のコントラスト感度は、数式（３）によりモデル化されている。

ここで、各パラメータは例えば以下のように設定される。

図３は、Ｂａｒｔｅｎモデルに基づくＪＮＤ算出を説明する図である。数式（３）から、図３（ａ）に示すように、輝度値、および空間周波数毎の視覚のコントラスト感度Ｓ（Ｌ，ｕ）が算出される。このとき、数式（４）に示すように、最もコントラスト感度の高い空間周波数を用い、その時のコントラスト感度の逆数を算出することにより、図３（ｂ）に示すような、任意の輝度値でのＪＮＤを算出する方法もある。すなわち、要求される精度でのＪＮＤ値を算出可能な方法であれば、任意の視覚モデルを使用することが可能である。

＜階調変換特性＞
ここで、第１実施形態により算出される階調変換特性に関して説明する。ここでは、入力データの階調は１４ｂｉｔ（＝１６３８４）階調で表され、入力階調値と輝度値の関係が線形に対応し、最大輝度は８００ｃｄ／ｍ^２であるとする。この入力階調に対し、１０ｂｉｔ（＝１０２４）階調の出力階調を割り当てるとする。

この時、入力階調値ｎ、（ｎ＋１）に対応する輝度値Ｙ_in（ｎ）、Ｙ_in（ｎ＋１）の輝度差ΔＹ_in（ｎ，ｎ＋１）を、数式（１）により算出する。

図４は、第１実施形態にて算出した階調変換特性の一例を示す図である。図４（ａ）の曲線４０１は、数式（１）により算出される入力階調における各階調の輝度差を示している。例えば、入力画像の入力階調の特性は、当該入力画像を生成した撮像装置の階調特性に基づいている。また、図４（ａ）の曲線４０２は、Ｂａｒｔｅｎのモデルにより算出したＪＮＤを示している。

第１実施形態においては、曲線４０１および曲線４０２の交点の輝度値（Ｙｃ）を所定の輝度閾値とし、輝度値が所定の輝度閾値よりも小さい輝度範囲においては、入力階調の階調差（輝度差）をそのまま出力階調の階調差（輝度差）に割り当てる。一方、輝度値が所定の輝度閾値以上の輝度範囲においては、入力階調が１カウント増加しても、その輝度差は視覚的に弁別できない。そのため、出力階調の階調差を、輝度差が視覚的に弁別できない値まで増加させる。

図４（ｂ）は、上述のようにして算出した階調変換特性（入出力階調の対応関係）を示している。また、図４（ｃ）は、図４（ｂ）の出力階調における輝度と１階調分の輝度差との関係を示している。

図４（ｃ）から理解されるように、第１実施形態によれば、Ｙｃよりも小さな輝度範囲では、入力データの階調差をそのまま出力する。一方、Ｙｃよりも大きな輝度範囲では、出力階調の階調差が、入力データの階調差を超えない階調となるように階調変換を行うこととなる。

＜階調変換方法＞
上述の説明においては階調変換特性の算出方法について述べた。実際の階調変換処理にあたっては、上述の手法により入力階調の各階調値に対応する出力階調値を予め算出しておき、ルックアップテーブル（以下ＬＵＴと記す）の形式で保存し利用するよう構成するとよい。

図５は、ＬＵＴを用いた階調変換処理を説明する図である。階調変換部５０２は、階調変換処理の対象となる入力画像データを入力画像データ記憶部５０１から取得する。そして、階調変換部５０２は、ＬＵＴ記憶部５０３に保存しておいたＬＵＴを参照し、入力画像データに含まれる各階調値に対応する出力階調値を算出し、出力画像データとして出力画像データ記憶部５０４に格納する。

以上説明したとおり第１実施形態によれば、人間の視覚特性（ＪＮＤ）を考慮して階調間の輝度差を決定する。これにより、視覚的な階調段差の発生を抑制しつつ階調潰れを低減可能な効率的な階調変換特性を決定することが可能となる。

（第２実施形態）
第２実施形態では、変換特性を決定する他の形態について説明する。具体的には、第２実施形態では、輝度差の閾値として第１実施形態における視覚特性であるＪＮＤを用いる代わりに画像出力機器（撮像素子など）の階調再現特性を用いる。

＜装置構成＞
図６は、第２実施形態に係る画像処理装置の構成を示すブロック図である。なお、条件設定部３〜入力輝度差算出部６および輝度差比較部８〜出力階調設定部９は、図１の同名の機能部と同様であるため説明を省略する。

画像処理装置６０１は、第１実施形態と同様に、Ｍ階調で表された入力画像をＮ階調の出力画像に変換するための階調変換特性を算出する装置である。機器特性記憶部６０２は、階調変換の入力及び出力の対象となる画像入力機器および画像出力機器それぞれの階調特性を記憶する。出力輝度差算出部６０３は、機器特性記憶部６０２に記憶されている、画像出力機器の階調特性における出力階調の輝度差を算出する。

図７は、第２実施形態における画像処理装置の処理を示すフローチャートである。なお、Ｓ２０３〜Ｓ２０７、Ｓ２１１〜Ｓ２１７は、第１実施形態と同様であるため、説明を省略する。

Ｓ７０１では、条件設定部３は、階調変換の対象となる入力機器及び出力機器の階調特性を機器特性記憶部６０２から取得する。ここで、入力機器の階調特性としては、例えば、デジタルカメラ等の画像撮像機器から出力される映像信号の階調特性を取得する。すなわち、被写体の輝度値と入力階調値との関係を取得する。また、出力機器の階調特性としては、例えば、液晶ディスプレイ等の画像表示装置に入力される映像信号の階調特性を取得する。すなわち、出力階調値と発光輝度値との関係を取得する。Ｓ７０２では、条件設定部３は、ΔＹ_outの係数ｋの初期値を設定する。ここでは、ｋ＝１を設定する。

Ｓ７０８では、輝度差算出部８は、輝度値Ｙ_in（ｎ）に対応する出力機器の階調値ｍを算出する。その後、出力機器における階調値ｍ、（ｍ＋１）に対する発光輝度Ｙ_out（ｍ）、Ｙ_out（ｍ＋１）の輝度差ΔＹ_outを、数式（１）を用いて算出する。

Ｓ７０９では、輝度差比較部８は、Ｓ２０７にて算出した入力階調の輝度差ΔＹ_inと、Ｓ７０８にて算出したΔＹ_outに係数ｋを掛けた値（ｋ×ΔＹ_out）と、を比較する。この時、ΔＹ_inの値が（ｋ×ΔＹ_out）以上であればＳ２１１に進み、そうでなければＳ７１０に進む。Ｓ７１０では、出力階調設定部９は、Δｎの値を１カウントずつ増加させる。そして、入力輝度値Ｙ_in（ｎ）とＹ_in（ｎ＋Δｎ）との輝度差ΔＹ_inが（ｋ×ΔＹ_out）を超えない最大のΔｎ値を算出し、Ｓ２１１に進む。

＜閾値の設定＞
第１実施形態においては、階調段差の判断のための閾値として、視覚の弁別輝度であるＪＮＤを用いる形態について説明した。第２実施形態においては、出力機器の階調再現特性、具体的には出力機器が再現可能な最小の輝度差（ΔＹ_out）を用いている。この方法は、入力機器に加え出力機器の特性も特定可能な場合に有効である。

図８は、第１実施形態における閾値及び第２実施形態における閾値の違いを示す図である。曲線８０１は入力機器の階調特性、曲線８０２はＪＮＤ、曲線８０３は、出力機器の階調特性をそれぞれ示している。

ＪＮＤに基づいて閾値を設定する第１実施形態では、Ｙ_１より小さい輝度範囲において入力階調の階調差（輝度差）をそのまま出力階調の階調差に割り当てることになる。しかしながら、この場合、入力階調の輝度差を当該出力機器では再現できない範囲（Ｙ_２〜Ｙ_１の範囲）が存在することになる。すなわち、Ｙ_２〜Ｙ_１の輝度範囲においては、再現可能な階調よりも、細かいピッチで出力階調値を設定してしまうため、階調の無駄が生じてしまう。

そこで、第２実施形態では、出力機器の特性（曲線８０３）を考慮し、Ｙ_２より小さい輝度範囲において入力階調の階調差（輝度差）をそのまま出力階調の階調差に割り当てる。そして、Ｙ_２より大きい輝度範囲においては、曲線８０３を超えない範囲で最大の輝度差となる複数ステップの入力階調の階調差を出力階調の階調差に割り当てる。

以上説明したとおり第２実施形態によれば、入力機器及び出力機器の双方の階調特性を考慮して、階調段差の判断のための閾値を設定する。この構成により、より効率的に、入力階調を少ない出力階調に変換することが可能となる。

（第３実施形態）
第３実施形態では、入力画像を撮影した際の撮像条件（露出条件）に基づき、入力データの各階調に対する絶対輝度の対応関係を算出する。そして、入力階調１階調分の輝度差とＪＮＤに基づいて階調変換特性を算出し階調変換処理を行う形態について説明する。

＜装置構成＞
図９は、第３実施形態に係る画像処理装置の構成を示すブロック図である。画像処理装置９０１は、Ｍ階調で表された画像データをＮ階調の画像データに変換する装置である。画像取得装置９０２は、デジタルカメラ等の、画像データを取得する装置である。

画像入力部９０３は、画像取得装置９０２から画像データを入力データとして読み込む。階調数設定部９０４は、入力データおよび出力データの階調数（入力階調数Ｍ、出力階調数Ｎ）を設定する。露出条件取得部９０５は、入力画像を撮影した際の露出条件を取得する。輝度値取得部９０６は、露出条件取得部９０５にて取得した露出条件に基づき、階調数取得部９０４にて設定された入力階調（Ｍ階調）の画素値に対応する絶対輝度値を導出する。輝度差算出部９０７は、輝度値取得部９０６にて算出した入力データの絶対輝度値に基づき、入力階調１階調分の輝度差を算出する。

ＪＮＤ算出部９０８は、輝度値取得部９０６にて算出した絶対輝度値に対し、視覚が弁別可能な最小輝度差（以下ＪＮＤと記す）を算出する。変換特性算出部９０９は、輝度値取得部９０６にて算出した絶対輝度値と、ＪＮＤ算出部９０８にて算出されたＪＮＤと、に基づき、階調変換特性を算出する。階調変換部９１０は、変換特性算出部９０９にて算出した階調変換特性を用いて、入力データの階調変換処理を行い出力データを生成する。画像出力部９１１は、階調変換部９１０にて変換された出力データを出力する。画像記憶部９１２は、画像出力部９１１にて出力された階調変換後の画像データ（出力データ）を格納する。

＜装置の動作＞
図１０は、第３実施形態における画像処理装置の処理を示すフローチャートである。Ｓ１００１では、画像取得装置９０２は、画像データを取得する。例えば、デジタルカメラで撮像を行い画像データを生成する。Ｓ１００２では、階調数設定部９０４は、入力データおよび出力データの階調数を設定する。例えば、不図示のユーザインターフェースを介してユーザからの指定を受け付ける。

Ｓ１００３では、画像入力部９０３は、Ｓ１００１で取得した画像データを入力データとして読み込む。例えば、ネットワークを介して画像データを受信するか、あるいは、フラッシュメモリ等の記憶媒体を介して画像データを読み込む。Ｓ１００４では、露出条件取得部９０５は、Ｓ１００１で画像取得した際のカメラの設定より、絞り／シャッタースピード／ＩＳＯ感度等の、露出条件を取得する。例えば、ネットワークを介して当該入力データを撮影時のカメラ設定を受信するか、あるいは、入力データに付加されたメタデータ（ＥＸＩＦタグなど）を読み込むことにより露出条件を取得する。

あるいは、図示しないユーザインターフェースを介して、絞り／シャッタースピード／ＩＳＯ感度の条件に関する情報をユーザによる手動操作により受け付けるよう構成しても良い。すなわち、画像を撮影した際の、画素値と絶対輝度との対応関係を算出すために必要な情報を取得可能であれば、その方法を限定するものではない。

Ｓ１００５では、輝度値取得部９０６は、Ｓ１００４で取得した露出条件に基づき、Ｓ１００２で読み込んだ入力データの画素値と絶対輝度値との対応関係を導出する。Ｓ１００６では、輝度差算出部９０７は、Ｓ１００５で算出した対応関係から、入力画素値が１階調変化した場合の輝度差を算出する。輝度差の算出の詳細については後述する。

Ｓ１００７では、ＪＮＤ算出部９０８は、Ｓ１００５で算出した、入力画像の画素値と絶対輝度値に基づき、各階調でのＪＮＤを算出する。なお、ＪＮＤの算出については第１実施形態と同様であるため説明を省略する。Ｓ１００８では、変換特性算出部９０９は、Ｓ１００６で算出した輝度差とＳ１００７で算出したＪＮＤとの関係に基づき、入出力データ間の階調変換特性を算出する。階調変換特性の算出の詳細については後述する。

Ｓ１００９では、階調変換部９１０は、Ｓ１００８で算出した階調変換特性を用いて、Ｓ１００１で読み込んだ入力データの階調変換処理を行う。Ｓ１０１０では、画像出力部９１１は、Ｓ１００９にて階調変換処理を行った画像を画像記憶部９１２に格納する。

＜入力階調の輝度差の算出（Ｓ１００６）＞
入力階調ｎ、および入力階調（ｎ＋１）に対応する輝度値が、Ｙ_in（ｎ）およびＹ_in（ｎ＋１）であったとする。このとき、入力階調ｎと（ｎ＋１）との輝度差ΔＹ_in（ｎ）を数式（５）に示す式を用いて算出する。

＜階調変換特性の算出（Ｓ１００８）＞
ここでは、入力データは１４ｂｉｔ（＝１６３８４）階調で表され、入力階調と輝度の関係が線形に対応しているとする。図１１は、階調変換特性の算出方法を説明する図である。

ある露出条件Ａ（絞りｆ_０、シャッタースピードｓ_０、ＩＳＯ感度Ｉ_０）の時、撮影に用いるセンサーの飽和輝度が１６００ｃｄ／ｍ^２であったとする。この条件において、センサーからの出力値は、１４ｂｉｔで量子化されるため、数式（５）により、全階調にわたる１階調分の輝度差を算出すると、図１１（ａ）のようになる。すなわち、最大輝度１６００ｃｄ／ｍ^２に対して、輝度が線形に１６３８４階調で分割されているので、１階調分の輝度差は約０．０９８ｃｄ／ｍ^２となる。

ただし、数式（５）にて算出する輝度差は、絶対輝度に対する比として表されるため絶対輝度が大きい程、Ｙ_in（ｎ）は小さな値となる。よって、図１１（ａ）は、単調減少の特性となる。ここで、図１１（ａ）の特性（実線）に、数式（２）にて算出したＪＮＤの値（点線）を重ねたものを、図１１（ｂ）に示す。

図１１（ｂ）を見ると、低輝度では、センサー出力値の１階調分の輝度差はＪＮＤよりも大きく、高輝度では、出力値の１階調分の輝度差はＪＮＤを下回っている。すなわち、低輝度側では、出力階調が入力階調（センサー出力値）よりも少ない場合、出力階調の１階調分の輝度差が増加し階調段差が大きくなってしまう。一方、高輝度側では、入力階調の１階調分の輝度差はＪＮＤを十分下回っているため、出力階調が入力階調よりも少ない場合であっても階調段差は視認されない。

そこで、センサー出力値の１階調分の階調段差とＪＮＤとを比較し、交点１１０１を求める。そして、交点１１０１よりも小さい輝度範囲では、センサー出力値の１階調差をそのまま出力階調値の１階調差として対応付ける。一方、交点１１０１よりも大きい輝度範囲では、センサー出力値の輝度差がＪＮＤを超えない最大の階調差を、出力階調の１階調として対応付ける。

図１２は、算出した階調変換特性を説明する図である。図１２に示す階調特性は、図１１の交点１１０１に相当する輝度値を境界とし、低輝度側では入力階調に対し、出力階調が傾き１の直線となり、高輝度側では、入力階調よりも少ない階調で出力階調値が出力させる非線形な特性となる。

さらに、ここで、露出条件を変えた場合を考える。例えば、条件Ａに対し、露出をプラス４段（条件Ｂとする）およびマイナス４段（条件Ｃとする）変化させた条件を考える。ただし、絞り、ＩＳＯ感度はｆ_０、Ｉ_０のままとする。この時、シャッタースピードは条件Ａのシャッタースピードに対して１６倍、および１／１６倍となる。センサー出力値は、露光量と比例の関係にあるとすると、条件Ｂおよび条件Ｃの露出条件において、センサーの飽和輝度は、それぞれ１００ｃｄ／ｍ^２、２５６００ｃｄ／ｍ^２となる。

図１３は、露出の違いによる階調変換特性の違いを説明する図である。条件Ｂ、および条件Ｃに関しても、条件Ａの場合と同様に、センサー出力値の全階調での１階調分の輝度差を算出すると、図１３（ａ）のようになる。図１３（ａ）を見て明らかなように、露出条件が異なる場合、ＪＮＤとの交点も異なる。そのため、前述の方法により階調変換特性を算出した場合、図１３（ｂ）のように、露出条件毎に異なる階調変換特性が算出されることになる。

以上説明したとおり第３実施形態によれば、入力階調１階調分の輝度差とＪＮＤに基づいて階調変換特性を算出し階調変換を行う。すなわち、実際に撮影した被写体の絶対輝度値に依存する、視覚の輝度弁別可能な最小輝度差を考慮した階調変換処理を行う。これにより、階調段差の少ない階調変換処理が可能となる。

（第４実施形態）
第４実施形態では、入力画像を撮影した際の露出条件の設定値に応じて、予め作成しておいた複数の階調変換特性から１つの階調変換特性を選択し使用する方法について説明する。

＜装置構成＞
図１４は、第４実施形態に係る画像処理装置の構成を示すブロック図である。画像処理装置１４０１は、Ｍ階調で表された入力階調を、Ｎ階調の出力階調に変換する装置である。なお、画像入力部１４０３〜入力階調輝度取得部１４０６、階調変換部１４１０〜画像出力部１４１１は、図９における画像入力部９０３〜入力階調輝度取得部９０６、階調変換部９１０〜画像出力部９１１と同様であるため説明を省略する。

変換特性選択部１４１２は、露出条件取得部１４０５にて取得した露出条件に基づき、複数の階調変換特性の中から１つの階調変換特性を選択する。変換特性記憶部１４１３は、複数の露出条件に対応する階調変換特性を予め記憶している。

＜装置の動作＞
図１５は、第４実施形態における画像処理装置の処理を示すフローチャートである。なお、Ｓ１５０１〜Ｓ１５０４、Ｓ１５０６〜Ｓ１５０７は、第３実施形態におけるＳ１００１〜Ｓ１００４、Ｓ１００９〜Ｓ１０１０と、同様であるため、説明を省略する。

Ｓ１５０５では、変換特性選択部１４１２は、変換特性記憶部１４１３に記憶されている複数の階調変換特性の中から１つの階調変換特性を選択する。具体的には、Ｓ１５０４にて取得した対応関係に基づき階調変換特性を選択する。変換特性の選択の詳細については後述する。

＜階調変換特性の選択（Ｓ１５０５）＞
上述の第３実施形態で述べたように、撮影時の露出条件を変えることにより、センサーの飽和輝度や、センサー出力における１階調の輝度間隔が変化する。それに伴い、階調変換特性を変える処理を行うが、階調変換特性は、撮影の度に計算する必要はない。すなわち、カメラのセンサー特性が分かっていれば露出条件から算出可能であるため、入力画素値と絶対輝度値との関係に応じて予め算出しておくことができる。実際の撮影時には、予め算出しておいた複数の階調変換特性から、露出条件に適合する１つの階調変換特性を選択すればよい。

この時、カメラが設定可能な絞り、シャッタースピード、ＩＳＯ感度の全ての組み合わせについて、階調変換特性を算出しておく必要はない。例えば、数式（６）に示すように、絞り、シャッタースピード、ＩＳＯ感度の値からＥＶ値を算出し、ＥＶ値に基づいて、階調変換特性を選択するようにしても良い。

尚、記憶しておく階調変換特性に関しては、ＬＵＴ形式で記憶しておいてもよいし、或いは、数式（７）のように、関数近似し、関数のパラメータのみを記憶しておくようにしても良い。

以上説明したとおり第４実施形態によれば、カメラのセンサー特性に基づいて予め複数の階調変換特性を算出しておき、露出条件に応じて１つの階調変換特性を選択して使用する。これにより、撮影の度に階調変換特性を計算する必要が無くなり計算コストが低減される。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１ 画像処理装置； ２ 変換特性記憶部； ３ 条件設定部； ４ 入力階調設定部； ５ 入力輝度値算出部； ６ 入力輝度差算出部； ７ ＪＮＤ算出部； ８ 輝度差比較部； ９ 出力階調設定部

Claims (12)

1. Ｍ階調の入力画像をＮ階調（ただしＭ＞Ｎ）の出力画像に変換するための階調変換特性を決定する画像処理装置であって、
   前記入力画像の第ｉ階調に対応する輝度値Ｙ（ｉ）と第（ｉ＋ｄ）階調に対応する輝度値Ｙ（ｉ＋ｄ）との差が所与の閾値を超えない最大のｄ（ただしｄは正整数）を決定する決定手段と、
   前記決定手段により決定されたｄに基づいて、前記入力画像の第ｉ階調及び第（ｉ＋ｄ）階調が前記出力画像の第ｊ階調及び第（ｊ＋１）階調にそれぞれ対応するように、前記階調変換特性を設定する設定手段と、
   を有することを特徴とする画像処理装置。
2. Ｍ階調の入力画像をＮ階調（ただしＭ＞Ｎ）の出力画像に変換するための階調変換特性を決定する画像処理装置であって、
   所定の輝度閾値より小さい輝度範囲において、前記入力画像の第ｉ階調及び第（ｉ＋１）階調が前記出力画像の第ｊ階調及び第（ｊ＋１）階調にそれぞれ対応するように階調変換特性を設定する第１の設定手段と、
   前記所定の輝度閾値以上の輝度範囲において、前記入力画像の第ｉ階調に対応する輝度値Ｙ（ｉ）と第（ｉ＋ｄ）階調に対応する輝度値Ｙ（ｉ＋ｄ）との差が所与の閾値を超えない最大のｄ（ただしｄは２以上の正整数）を決定し、前記入力画像の第ｉ階調及び第（ｉ＋ｄ）階調が前記出力画像の第ｊ階調及び第（ｊ＋１）階調にそれぞれ対応するように階調変換特性を設定する第２の設定手段と、
   を有することを特徴とする画像処理装置。
3. 前記入力画像は撮像装置により撮像された画像であり、
   前記画像処理装置は、前記入力画像を撮像した際の前記撮像装置における撮像条件を取得する取得手段と、
   前記撮像条件に基づいて、前記入力画像における各階調に対する輝度値の対応関係を導出する導出手段と、
   を更に有し、
   前記第１の設定手段及び前記第２の設定手段は、前記対応関係に基づいて階調変換特性を設定する
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記入力画像は撮像装置により撮像された画像であり、
   前記画像処理装置は、前記入力画像を撮像した際の前記撮像装置における撮像条件を取得する取得手段と、
   前記撮像装置における複数の撮像条件に対応する複数の階調変換特性を記憶する記憶手段と、
   を更に有し、
   前記第１の設定手段及び前記第２の設定手段は、前記複数の階調変換特性から前記撮像条件に対応する１つの階調変換特性を選択する
   ことを特徴とする請求項２に記載の画像処理装置。
5. 前記所与の閾値は、輝度値に関する所定の関数に係数ｋを乗じて得られる値であり、
   前記階調変換特性において、前記入力画像における第（Ｍ−１）階調と前記出力画像における第（Ｎ−１）階調とが対応するように前記係数ｋを決定する係数決定手段を更に有する
   ことを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
6. 前記所定の関数は、人間が弁別可能な最小の輝度差を表す関数である
   ことを特徴とする請求項５に記載の画像処理装置。
7. 前記所定の関数は前記出力画像を処理する画像出力機器で再現可能な最小の輝度差を表す関数である
   ことを特徴とする請求項５に記載の画像処理装置。
8. 前記入力画像の階調特性は、該入力画像を生成した撮像装置の階調特性に基づいている
   ことを特徴とする請求項１乃至７の何れか１項に記載の画像処理装置。
9. 前記階調変換特性に基づいて前記入力画像を前記出力画像に変換する画像処理手段を更に有する
   ことを特徴とする請求項１乃至８の何れか１項に記載の画像処理装置。
10. Ｍ階調の入力画像をＮ階調（ただしＭ＞Ｎ）の出力画像に変換するための階調変換特性を決定する画像処理方法であって、
    前記入力画像の第ｉ階調に対応する輝度値Ｙ（ｉ）と第（ｉ＋ｄ）階調に対応する輝度値Ｙ（ｉ＋ｄ）との差が所与の閾値を超えない最大のｄ（ただしｄは正整数）を決定する決定工程と、
    前記決定工程により決定されたｄに基づいて、前記入力画像の第ｉ階調及び第（ｉ＋ｄ）階調が前記出力画像の第ｊ階調及び第（ｊ＋１）階調にそれぞれ対応するように、前記階調変換特性を設定する設定工程と、
    を含むことを特徴とする画像処理方法。
11. Ｍ階調の入力画像をＮ階調（ただしＭ＞Ｎ）の出力画像に変換するための階調変換特性を決定する画像処理方法であって、
    所定の輝度閾値より小さい輝度範囲において、前記入力画像の第ｉ階調及び第（ｉ＋１）階調が前記出力画像の第ｊ階調及び第（ｊ＋１）階調にそれぞれ対応するように前記階調変換特性を設定する第１の設定工程と、
    前記所定の輝度閾値以上の輝度範囲において、前記入力画像の第ｉ階調に対応する輝度値Ｙ（ｉ）と第（ｉ＋ｄ）階調に対応する輝度値Ｙ（ｉ＋ｄ）との差が所与の閾値を超えない最大のｄ（ただしｄは正整数）を決定し、前記入力画像の第ｉ階調及び第（ｉ＋ｄ）階調が前記出力画像の第ｊ階調及び第（ｊ＋１）階調にそれぞれ対応するように前記階調変換特性を設定する第２の設定工程と、
    を含むことを特徴とする画像処理方法。
12. コンピュータを、請求項１乃至９の何れか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images