JP2020038505A - 画像処理装置、撮像装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】補正対象画像に適用された階調変換処理の入出力特性の最大出力輝度値に応じた輝度補正を行うことを可能にする技術を提供する。【解決手段】第１の最大出力輝度値を持つ第１の入出力特性に従う階調変換処理が適用された第１の画像を取得する取得手段と、前記第１の入出力特性と第２の最大出力輝度値を持つ第２の入出力特性との間の出力輝度値に関する差異、及び前記第２の入出力特性に従う階調変換処理が適用された第２の画像の輝度値を補正するための第２の補正情報に基づいて、前記第１の画像の輝度値を補正するための第１の補正情報を生成する生成手段と、前記第１の補正情報に従って前記第１の画像の輝度値を補正する補正手段と、を備えることを特徴とする画像処理装置を提供する。【選択図】図１１

Description

本発明は、画像処理装置、撮像装置、画像処理方法、及びプログラムに関する。

近年ディスプレイのＬＥＤ素子の進化などにより、高ダイナミックレンジ（以下、「ＨＤＲ」と呼ぶ）な画像データを圧縮することなくそのまま表示することができるようになってきた。ＨＤＲでは高ダイナミックレンジを生かした画像表現が可能となるため、従来のダイナミックレンジ（以下、「ＳＤＲ」と呼ぶ）では表現できていなかった高輝度域の色やディテールをより忠実に再現することができる。

このＨＤＲの普及に伴い、ＨＤＲでもＳＤＲと同様に被写体やシーンに合わせた画作りが求められている。例えば、ポートレートシーンでは透明感のある肌色再現のために明るく、風景撮影では青空・緑を鮮やかにするような画作りが好まれる。これらの画像表現の実現のためには元の画像信号に何らかの色・輝度の補正を施す必要が生じる。

ここで、ＨＤＲにはＳＭＰＴＥ ＳＴ２０８４で規格化されているＰＱ（Ｐｅｒｃｅｐｔｕａｌ Ｑｕｏｎｔｉｚａｔｉｏｎ）方式と、ＡＲＩＢ ＳＴＤ−Ｂ６７で開発されたＨＬＧ（Ｈｙｂｒｉｄ Ｌｏｇ Ｇａｍｍａ）方式の２つがある。この２方式の大きな違いとしては、ＨＬＧ方式がＳＤＲと同様に輝度値を相対的に扱うのに対して、ＰＱ方式は最大１００００ｎｉｔｓの絶対輝度で扱うという点が挙げられる。この違いにより、ＰＱ方式において出力ダイナミックレンジ（Ｄレンジ）が変化するような撮影モードで撮影した場合には、ディスプレイ表示したときのピーク輝度が変化することになる。以降、ＨＤＲについての記載はＰＱ方式を前提としたものとする。

図４において、ガンマカーブ４１，４２は、出力Ｄレンジが異なる２種類の撮影モードに対応する入出力特性の例を示している。横軸に入力段数、縦軸に出力輝度を示す。各撮影モードのガンマカーブを比較すると、カーブが寝始めるまでの輝度域においては共通の入出力特性を持つが、それより高輝度域においては異なる入出力特性を持つ。その結果、ガンマカーブ４１，４２は、それぞれ異なるピーク輝度４３，４４を持つ。

ここで、ＨＤＲの色・輝度の補正に話を戻し、図４に示したような２種類の撮影モードで現像した画像それぞれに対してある色・輝度の補正を適用した場合の概念図を図５に示す。図５（ａ）は、ある色・輝度の補正について、ピーク輝度の小さい撮影モードのある入力輝度域に対する補正効果の概念図であり、図５（ｂ）は、同じ色・輝度の補正についてより低い入力輝度域に対する補正効果の概念図である。図５（ｃ）は、同じ色・輝度の補正についてピーク輝度の大きい撮影モードの図５（ａ）と同じ入力輝度域に対する補正効果の概念図であり、図５（ｄ）は、図５（ｃ）の撮影モードの理想的な補正効果の概念図である。図５（ｃ）では、図５（ａ）と同じ入力輝度域で同じ補正が適用されているが、出力Ｄレンジの違いから補正量の不足を感じる。そのため、ピーク輝度が小さい撮影モードと同等の補正効果をピーク輝度が大きい撮影モードでも得るためには、図５（ｂ）に示すような対象の入力輝度域よりも低い入力輝度域の補正と同等の補正を適用して図５（ｄ）のような効果を出す必要がある。

このように、ＨＤＲにおいては撮影モードによってピーク輝度に差異が生じる場合があるため、この差異を無視して同じ補正をかけると図５に示したような補正量の過不足が生じる場合がある。これは、ピーク輝度が大きい場合には小さい場合と比較して階調性が向上することで高輝度域の色のりが良くなることが原因である。従って、入力信号が同一でも撮影モードによって明度や彩度が異なってくるため、補正効果にも違いが生じる。そのため、どの撮影モードでも適切な補正効果を出すためには、ピーク輝度の変化に応じて補正量も変化させる必要が生じる。

ここで特許文献１を参照すると、出力デバイスによって表現可能な色域が異なる場合にも、適切な色再現を可能とする明度・彩度・色相の補正方法が開示されている。次に特許文献２を参照すると、ＨＤＲ撮影した画像をＳＤＲモニタに表示する時にＨＤＲ本来の階調性を再現するための色・輝度の補正手法が開示されている。

特許第４８７８００８号公報 特開２０１８−０２６６０６号公報

特許文献１には、ＨＤＲの画像出力については記載されていない。また、特許文献２の補正手法は、ピーク輝度をＨＤＲの輝度値からＳＤＲの輝度値まで圧縮する時の補正手法であり、この手法によって出力される画像はＨＤＲでなくＳＤＲとなる。従来、出力Ｄレンジの変化に応じてＨＤＲ画像の輝度補正を効果的に適応させる技術は知られていない。

本発明はこのような状況に鑑みてなされたものであり、補正対象画像に適用された階調変換処理の入出力特性の最大出力輝度値に応じた輝度補正を行うことを可能にする技術を提供することを目的とする。

上記課題を解決するために、本発明は、第１の最大出力輝度値を持つ第１の入出力特性に従う階調変換処理が適用された第１の画像を取得する取得手段と、前記第１の入出力特性と第２の最大出力輝度値を持つ第２の入出力特性との間の出力輝度値に関する差異、及び前記第２の入出力特性に従う階調変換処理が適用された第２の画像の輝度値を補正するための第２の補正情報に基づいて、前記第１の画像の輝度値を補正するための第１の補正情報を生成する生成手段と、前記第１の補正情報に従って前記第１の画像の輝度値を補正する補正手段と、を備えることを特徴とする画像処理装置を提供する。

本発明によれば、補正対象画像に適用された階調変換処理の入出力特性の最大出力輝度値に応じた輝度補正を行うことが可能となる。

なお、本発明のその他の特徴及び利点は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。

第１の実施形態に係るＲＡＷ画像の現像について説明する図。 画像処理装置の一例であるデジタルカメラの、主として光学部材やセンサ等の配置を示す断面図。 カメラ本体１及び交換レンズ２の電気回路の構成例を示すブロック図。 出力Ｄレンジが異なる入出力特性の例を示す図。 ピーク輝度の差異に起因する補正量の過不足を説明する図。 ＰＱ−ＥＯＴＦを示す図。 合成ＬＵＴの生成処理を説明する図。 基準入出力特性と選択入出力特性の出力輝度値の差異を示す図。 第１の実施形態に係る基準ＬＵＴと合成ＬＵＴの差異を示す図。 第１の実施形態に係る差分ＬＵＴの生成処理のフローチャート。 第１の実施形態に係る差分ＬＵＴの生成処理を説明する図。 第２の実施形態に係るＲＡＷ画像の現像について説明する図。 基準入出力特性と選択入出力特性の傾きの差異を示す図。 第２の実施形態に係る基準ＬＵＴと合成ＬＵＴの差異を示す図。 第２の実施形態に係る差分ＬＵＴの生成処理のフローチャート。 第２の実施形態に係る差分ＬＵＴの生成処理を説明する図。

以下、添付図面を参照して、本発明の実施形態を説明する。添付図面の全体を通じて、同一の参照符号が付与された要素は、同一又は同様の要素を表す。なお、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。また、実施形態の中で説明されている特徴の組み合わせすべてが、本発明に必須とは限らない。また、別々の実施形態の中で説明されている特徴を適宜組み合せることも可能である。

なお、以下の実施形態においては、画像処理装置の一例としてのデジタルカメラについて説明する。しかしながら、以下の実施形態は、デジタルカメラのような撮影を主目的とした機器に限らない。例えば、以下の実施形態は、携帯電話、パーソナルコンピュータ（ラップトップ型、デスクトップ型、タブレット型など）、ゲーム機など、画像処理装置を内蔵又は外部接続する任意の機器に適用可能である。

［第１の実施形態］
図２は、画像処理装置の一例であるデジタルカメラの、主として光学部材やセンサ等の配置を示す断面図である。本実施形態におけるデジタルカメラは、レンズ交換可能な所謂デジタル一眼レフカメラであり、カメラ本体１と交換レンズ２を有している。カメラ本体１において、撮像素子１０は例えばＣＭＯＳイメージセンサやＣＣＤイメージセンサであり、複数の画素（蓄積型光電変換素子）が配列されている。撮像素子１０の前方近傍に設けられていたメカニカルシャッター１１は、撮像素子１０の露出タイミング及び露出時間を制御する。半透過性の主ミラー３と、主ミラー３の背面に配置された第１の反射ミラー７は、撮影時には上部に跳ね上がる。第２の反射ミラー８は、第１の反射ミラー７が反射した光束を更に反射し、ＡＦセンサ９（焦点検出用センサ）に入射させる。ＡＦセンサ９は、例えば画素数が撮像素子１０よりも少ない撮像素子であってよい。第１の反射ミラー７、第２の反射ミラー８、及びＡＦセンサ９は、撮影画面内の任意の位置での位相差検出方式での焦点検出を行うための構成である。ＡＥセンサ６（測光用センサ）は、ペンタプリズム４及び第３の反射ミラー５で反射された撮影画面の像を受光する。ＡＥセンサ６は、受光部を複数の領域に分割し、領域ごとに被写体の輝度情報を出力できる。分割数に制限は無い。なお、撮像素子においては、受光部に配置される画素以外に、画素信号の増幅回路や信号処理用の周辺回路などが形成されている。ペンタプリズム４によってファインダー光学系が構成される。図２には示していないが、ペンタプリズム４で反射された被写体像はアイピースから観察可能である。ＡＥセンサ６には、主ミラー３によって反射されてピント板１２によって拡散された光線のうち光軸外の一部が入射する。交換レンズ２は、カメラ本体１に設けられたレンズマウントの接点を通じ、必要に応じてカメラ本体１と情報通信を行う。なお、ライブビュー表示時及び動画記録時には常時主ミラー３が上部に跳ね上がった状態となるため、露出制御や焦点調節制御は撮像面の画像情報を使用して行うこととなる。

図３は、図２に示したカメラ本体１及び交換レンズ２の電気回路の構成例を示すブロック図である。カメラ本体１において、カメラ制御部２１は、例えば内部にＡＬＵ（ＡＲＩＴＨＭＥＴＩＣ ａｎｄ Ｌｏｇｉｃ Ｕｎｉｔ）、ＲＯＭ、ＲＡＭ、Ａ／Ｄコンバータ、タイマー、シリアル通信ポート（ＳＰＩ）等を内蔵したワンチップマイクロコンピュータである。カメラ制御部２１は、例えばＲＯＭに記憶されたプログラムを実行することにより、カメラ本体１及び交換レンズ２の動作を制御する。カメラ制御部２１の具体的な動作については後述する。

ＡＦセンサ９及びＡＥセンサ６の出力信号は、カメラ制御部２１のＡ／Ｄコンバータ入力端子に接続される。信号処理回路２５は、カメラ制御部２１の指示に従って撮像素子１０を制御し、撮像素子１０が出力する信号にＡ／Ｄ変換及び信号処理を適用し、画像信号を得る。また信号処理回路２５は、得られた画像信号を記録するにあたって、圧縮・合成等の必要な画像処理を行う。メモリ２８はＤＲＡＭ等であり、信号処理回路２５が種々の信号処理を行う際のワーク用メモリとして使われたり、後述する表示器２７に画像を表示する際のＶＲＡＭとして使われたりする。表示器２７は、背面液晶ディスプレイ、又は、ＨＤＭＩ（登録商標）等の規格に従ってカメラ本体１に接続される外部ディスプレイなどである。表示器２７は、デジタルカメラの設定値やメッセージ、メニュー画面等の情報や撮像画像を表示する。表示器２７は、カメラ制御部２１からの指示により制御される。記憶部２６は、例えばフラッシュメモリ等の不揮発性メモリであり、撮像された画像信号が信号処理回路２５から入力される。

モーター２２は、カメラ制御部２１の制御に従い、主ミラー３及び第１の反射ミラー７のアップ・ダウンやメカニカルシャッター１１のチャージを行う。操作部２３は、ユーザがデジタルカメラを操作するために用いるスイッチなどの入力デバイス群である。操作部２３には撮影準備動作の開始及び撮影開始を指示するためのレリーズスイッチや、撮影モードを選択するための撮影モード選択スイッチ、方向キー、決定キー等が含まれる。接点部２９は、交換レンズ２と通信を行うための接点であり、カメラ制御部２１のシリアル通信ポートの入出力信号が接続される。シャッター駆動部２４は、カメラ制御部２１の出力端子に接続されてメカニカルシャッター１１を駆動する。

交換レンズ２には、接点部２９と対をなす接点部５０が設けられている。接点部５０には、カメラ制御部２１と同様のワンチップマイクロコンピュータであるレンズ制御部５１が接続され、レンズ制御部５１はカメラ制御部２１と通信することができる。レンズ制御部５１は、例えばＲＯＭに記憶されたプログラムを実行し、カメラ制御部２１からの指示に基づいて交換レンズ２の動作を制御する。また、レンズ制御部５１は、交換レンズ２の状態などの情報を、カメラ制御部２１に通知する。フォーカスレンズ駆動部５２は、レンズ制御部５１の出力端子に接続され、フォーカスレンズを駆動する。ズーム駆動部５３は、レンズ制御部５１の制御に従い、交換レンズの画角を変更する。絞り駆動部５４は、レンズ制御部５１の制御に従い、絞りの開口量を調整する。

交換レンズ２がカメラ本体１に装着されると、接点部２９，５０を介してレンズ制御部５１とカメラ制御部２１とがデータ通信可能となる。また、接点部２９，５０を通じて、交換レンズ２内のモーターやアクチュエータを駆動するための電力も供給される。カメラ制御部２１が焦点検出や露出演算を行うために必要なレンズ固有の光学的な情報や、距離エンコーダに基づいた被写体距離に関する情報等がレンズ制御部５１からカメラ制御部２１へとデータ通信によって出力される。また、カメラ制御部２１が焦点検出や露出演算を行った結果求められた焦点調節情報や絞り情報は、カメラ制御部２１からレンズ制御部５１へとデータ通信によって出力される。レンズ制御部５１は、焦点調節情報に従ってフォーカスレンズを制御し、絞り情報に従って絞りを制御する。

以下、第１の実施形態における撮影から現像までの具体的な動作について説明する。操作部２３（図３）に含まれる電源スイッチがオンされるなどにより、カメラ制御部２１が動作可能になると、まずカメラ制御部２１は交換レンズ２のレンズ制御部５１と通信を行ない、焦点検出や測光に必要な各種レンズの情報を得るなどの初期化処理を行う。また、操作部２３では、ユーザの各種設定が受け付けられ、任意の撮影モードが設定される。操作部２３に含まれるレリーズスイッチの半押し操作が行われると、カメラ制御部２１は、ＡＦ（オートフォーカス）処理やＡＥ（自動露出）処理などの撮影準備動作を開始する。その後、レリーズスイッチの全押し操作が行われると、カメラ制御部２１は、撮影動作を行う。

撮影動作が行われると、交換レンズ２を通過した光は撮像素子１０によって電気信号に変換される。この電気信号から作られた画像データはＲＡＷ画像と呼ばれる。ＲＡＷ画像が生成されると、信号処理回路２５による現像処理が行われる。

図１を参照して、第１の実施形態に係るＲＡＷ画像の現像について説明する。なお、図１に示す各部の機能は、例えば、カメラ制御部２１、信号処理回路２５、又はこれらの組み合わせにより実装することができる。

ＲＡＷ画像１０１の各画素は、各々単一の色プレーンにおける強度しか持たない。ホワイトバランス部１０２は、光源による色かぶりを補正して白を再現するための処理を行う。具体的には、ホワイトバランス部１０２は、各画素のＲＧＢデータを、例えばｘｙ色空間等の所定の色空間にプロットし、その結果その色空間上で光源色の可能性が高い黒体輻射軌跡付近にプロットされたデータのＲ，Ｇ，Ｂを積分する。そして、ホワイトバランス部１０２は、その積分値からＲ成分及びＢ成分のホワイトバランス係数Ｇ／Ｒ及びＧ／Ｂを求める。ホワイトバランス部１０２は、以上の処理により生成されたホワイトバランス係数を用いてホワイトバランス処理を実施する。

色補間部１０３は、ノイズリダクションやＲＡＷ画像の補間処理を行うことにより、全ての画素においてＲ、Ｇ、Ｂの色情報が揃ったカラー画像を生成する。生成されたカラー画像は、マトリクス変換部１０４及びガンマ変換部１０５における処理を経る。これにより、基本的なカラー画像（補正対象の画像）が生成される（画像生成処理）。ガンマ変換部１０５におけるＨＤＲ現像の場合のガンマ特性は、例えばＰＱ（Ｐｅｒｃｅｐｔｕａｌ Ｑｕｏｎｔｉｚａｔｉｏｎ）のＥＯＴＦ（Ｅｌｅｃｔｒｏ−Ｏｐｔｉｃａｌ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）（図６）の逆特性である。しかしながら、ガンマ特性として、ＯＯＴＦ（Ｏｐｔｏ−Ｏｐｔｉｃａｌ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）特性を組み合わせてもよい。

その後、色輝度調整部１０６は、画像の見栄えを改善するための処理をカラー画像に対して行う。ここでは、例えば、ポートレートの場合に明度を高くする、風景の場合に緑や青空の彩度を強調する、といった画像補正が行われる。この画像補正は、例えばＲＧＢ等の色信号値に対して色輝度調整用のルックアップテーブル（ＬＵＴ）を適用することで実行される。

また、第１の実施形態においては特に、色輝度調整部１０６は、カラー画像の輝度成分（ここでは、Ｉ値とする）に対して調整処理（補正処理）を行う。Ｉ値とは、ＨＤＲで表現可能な高輝度域まで評価できるＩＣｔＣｐ色空間から算出される輝度評価値である。カメラ本体１は、基準となるピーク輝度（第２の最大出力輝度値）を持つ入出力特性（基準入出力特性、第２の入出力特性）に対応する撮影モード向けの輝度調整用ＬＵＴ（基準ＬＵＴ、第２の補正情報）を設計値１１１として予め保持する。差分ＬＵＴ生成部１１２は、撮影時に選択された撮影モードに対応する入出力特性（選択入出力特性、第１の入出力特性）のピーク輝度（第１の最大出力輝度値）に応じて、基準ＬＵＴの高輝度域の補正量に対する差分に相当するＬＵＴ（差分ＬＵＴ）を生成する。差分ＬＵＴ（第３の補正情報）の生成処理の詳細については後述する。ＬＵＴ合成部１１３は、基準ＬＵＴと差分ＬＵＴとを合成することにより、基準ＬＵＴの高輝度域の補正量が変更された新たな輝度調整用ＬＵＴ（合成ＬＵＴ）を生成する。合成ＬＵＴ（第１の補正情報）の生成処理の詳細については後述する。色輝度調整部１０６は、カラー画像に対して合成ＬＵＴを適用することにより、カラー画像の輝度値を調整（補正）する。色輝度調整部１０６における処理が完了すると、圧縮部１０７は、高解像度画像をＨＥＶＣ等の規格に従って圧縮する。記録制御部１０８は、圧縮された画像を、現像画像１０９として記憶部２６に記録する。

以下、図１０及び図１１を参照して、差分ＬＵＴ生成部１１２による差分ＬＵＴの生成処理の詳細について説明する。Ｓ１０００で、差分ＬＵＴ生成部１１２は、撮影条件１１０（図１）を取得し、撮影モードを判別する。カメラ本体１には、通常の撮影モード（通常モード）以外に、高輝度の階調性を優先する撮影モード（階調優先モード）があり、ユーザは撮影シーンに応じてどちらの撮影モードで撮影するかを選択している。この２つの撮影モード間では、撮影画像をＨＤＲ現像した場合にピーク輝度に差が生じる。そのため、どの撮影モードで撮影されたかという情報は、差分ＬＵＴの生成のために利用可能である。以下の説明においては、通常モードが前述した基準入出力特性（第２の最大出力輝度値を持つ第２の入出力特性）に対応するものとする。また、階調優先モードがユーザにより選択されており、階調優先モードが前述した選択入出力特性（第１の最大出力輝度値を持つ第１の入出力特性）に対応するものとする。

Ｓ１００１で、差分ＬＵＴ生成部１１２は、設計値１１１（図１）から、基準入出力特性及び選択入出力特性を取得する。Ｓ１００２で、差分ＬＵＴ生成部１１２は、設計値１１１（図１）から、基準ＬＵＴ（基準入出力特性に従う階調変換処理が適用された画像の輝度値を補正するためのＬＵＴ）を取得する。

Ｓ１００３で、差分ＬＵＴ生成部１１２は、基準ＬＵＴと同じグリッドを持つスルーＬＵＴを生成する。スルーＬＵＴとは、例えば図１１に示すように、ＬＵＴの各グリッド点（各情報部分）についてＩＮ（入力）とＯＵＴ（出力）に同じ値が設定されたＬＵＴである。

Ｓ１００４で、差分ＬＵＴ生成部１１２は、スルーＬＵＴの処理済みグリッド点数が総グリッド点数未満であるか否かを判定する。処理済みグリッド点数が総グリッド点数未満の場合、処理はＳ１００５に進み、そうでない場合、本フローチャートの処理は終了する。

Ｓ１００５で、差分ＬＵＴ生成部１１２は、スルーＬＵＴの１つの未処理グリッド点の入力値（Ｉ値）を読み出す。Ｓ１００４における判定とＳ１００５における読み出しが繰り返し行われることにより、最終的にスルーＬＵＴの全グリッド点が処理される。

Ｓ１００６で、差分ＬＵＴ生成部１１２は、Ｓ１００５において読み出されたＩ値について選択入出力特性に基づく逆引きを行うことにより、入力信号値を取得する。例えば、図１１の符号１１０１に示すように、Ｓ１００５において読み出されたＩ値（スルーＬＵＴのＩＮ）が１８の場合、選択入出力特性における入力信号値は４である。

Ｓ１００７で、差分ＬＵＴ生成部１１２は、Ｓ１００６において取得した入力信号値に対応する出力値（Ｉ値）を基準入出力特性から取得する。図１１の例の場合、符号１１０２に示すように、基準入出力特性からＩ値として１６が取得される。

Ｓ１００８で、差分ＬＵＴ生成部１１２は、基準ＬＵＴを参照して、Ｓ１００７において取得したＩ値に対応する補正量を取得する。図１１の例の場合、符号１１０３に示すように、補正量として「＋２」が取得される。

Ｓ１００９で、差分ＬＵＴ生成部１１２は、スルーＬＵＴの処理対象グリッド点（Ｓ１００５において読み出したＩ値に対応するグリッド点）の出力値に対して、Ｓ１００８において取得した補正量を加える。図１１の例の場合、符号１１０４に示すように、入力信号値「１８」に対応する出力値に「＋２」が加えられることにより、スルーＬＵＴにおいて、入力信号値「１８」が出力値「２０」に対応付けられる。なお、ここでスルーＬＵＴの出力値に加えられる値は、この補正量に基づく値であれば、必ずしもＳ１００８において取得した補正量に等しい必要はない。

Ｓ１０１０で、差分ＬＵＴ生成部１１２は、処理対象グリッド点（Ｓ１００５において読み出したＩ値に対応するグリッド点）の入力信号値を、基準ＬＵＴに従ってこの入力信号値を補正した場合に得られる出力値に書き換える。図１１の例の場合、符号１１０５に示すように、入力信号値「１８」が「１９」に書き換えられる。これにより、入力信号値「１９」と出力値「２０」とが対応付けられたグリッド点を持つ差分ＬＵＴが生成される。

その後、処理はＳ１００４に戻り、全てのグリッド点について同様の処理が繰り返される。これにより、差分ＬＵＴの生成処理が完了する。

なお、ここでは可変グリッドのＬＵＴを想定した図を例に示したが、固定グリッドの場合には前後の特性から補間によって値を求めることができる。また、出力値（Ｉ値）に基づいて基準ＬＵＴから補正量を取得する際などに対象の値が存在しない場合には、その都度補間処理により値を算出することができる。

次に、図７〜図９を参照して、ＬＵＴ合成部１１３による合成ＬＵＴの生成処理の詳細について説明する。図７に示すように、ＬＵＴ合成部１１３は、基準ＬＵＴの出力値に対して差分ＬＵＴを適用することにより、合成ＬＵＴを生成する。こうして得られる合成ＬＵＴの補正範囲７２は、基準ＬＵＴの補正範囲７１よりも広い。従って、合成ＬＵＴを使用することにより、基準ＬＵＴにおいては補正範囲外であった高輝度域に対しても補正が適用されるようになる。図９は、第１の実施形態に係る基準ＬＵＴと合成ＬＵＴの差異を示す図である。図９において、横軸はＩ値を示し、縦軸は補正量を示す。補正量９１は、基準ＬＵＴによる補正量を示し、補正量９２は、合成ＬＵＴによる補正量を示す。補正量９１と補正量９２の比較から理解できるように、合成ＬＵＴを使用することにより、基準ＬＵＴにおいては補正範囲外であった高輝度域に対しても補正が適用される。また、出力輝度値に差異がない輝度域については、補正量にも差異がない。図８（ａ）は、ピーク輝度が異なる２種類の撮影モードに対応する入出力特性の例を示し、図８（ｂ）は、図８（ａ）の撮影モード間での出力値（Ｉ値）の差分の例を示す。図８（ａ）において、横軸は入力信号値を示し、縦軸はＩ値を示す。図８（ｂ）において、横軸は入力信号値を示し、縦軸はＩ値の差分を示す。また、ガンマカーブ８１は通常モードに対応し、ガンマカーブ８２は階調優先モードに対応するものとする。図８から理解できるように、入力信号値が閾値８３を超える高輝度域において、出力値（Ｉ値）に差異が生じている。このように出力値（Ｉ値）に差異が生じる領域において、基準ＬＵＴと合成ＬＵＴとの間に差異が生じる。

以上説明したように、第１の実施形態によれば、カメラ本体１は、選択入出力特性と基準入出力特性との間の出力輝度値に関する差異（入力値ごとの出力輝度値の差異）、及び基準ＬＵＴに基づいて、合成ＬＵＴを生成する。これにより、補正対象画像に適用された階調変換処理の入出力特性の最大出力輝度値に応じた輝度補正を行うことが可能となる。

［第２の実施形態］
第１の実施形態では、選択入出力特性と基準入出力特性との間の出力輝度値に関する差異として、選択入出力特性と基準入出力特性との間の入力値ごとの出力輝度値の差異に着目した。第２の実施形態では、選択入出力特性と基準入出力特性との間の出力輝度値に関する差異として、選択入出力特性と基準入出力特性との間の入力値ごとの出力輝度値の傾きの差異に着目する。本実施形態において、デジタルカメラの基本的な構成は第１の実施形態と同様である（図２及び図３参照）。以下、主に第１の実施形態と異なる点について説明する。

図１２を参照して、第２の実施形態に係るＲＡＷ画像の現像について説明する。図１２においては、図１の差分ＬＵＴ生成部１１２が、差分ＬＵＴ生成部１２４に置き換わっている。これ以外の構成は、第１の実施形態と同様である。差分ＬＵＴ生成部１２４は、撮影条件１１０及び設計値１１１を取得後、ガンマデータ（入出力特性）から算出した傾きに応じて差分ＬＵＴを生成する。

図１３（ａ）は、異なるピーク輝度を持つ撮影モードで撮影したときのそれぞれのガンマカーブの概念図であり、図１３（ｂ）は、その時の撮影モード間での傾きの変化の概念図である。図１３（ａ）において、横軸は入力信号値を示し、縦軸はＩ値を示す。図１３（ｂ）において、横軸は入力信号値を示し、縦軸は傾きを示す。ガンマカーブ１３１は、基準となるピーク輝度を持つ撮影モードに対応する。ここで、ガンマカーブ１３２に示すように、ガンマカーブ１３１より大きいピーク輝度を持つ撮影モードで撮影を行った場合を考える。符号１３３は、ガンマカーブ１３１における傾きの変化を示し、符号１３４は、ガンマカーブ１３２における傾きの変化を示す。ここに示すように、入力信号値１３５を閾値としてそれより高輝度域において傾きに差分（差異）が生じている。第１の実施形態においては、出力値の差分に着目していたが、傾きについても、同一の輝度域で差分が生じている。図１３の例の場合、第２の実施形態では、入力信号値１３５より大きい輝度域において補正量の拡張が行われることになる。

以下、図１５及び図１６を参照して、差分ＬＵＴ生成部１２４による差分ＬＵＴの生成処理の詳細について説明する。図１５において、図１０と同一又は同様の処理が行われるステップは、図１０と同一の符号を持つ。

Ｓ１５０１で、差分ＬＵＴ生成部１２４は、基準入出力特性及び選択入出力特性それぞれについて傾きを演算し、各入出力値に対応付ける。傾きは以下の式１を用いて求められる。

Ｓ１５０２で、差分ＬＵＴ生成部１２４は、Ｓ１００５において読み出されたＩ値を選択入出力特性における出力輝度値として用いて、この出力輝度値の位置に対応する選択入出力特性の傾きを取得する。例えば、図１６の符号１６０１に示すように、Ｓ１００５において読み出されたＩ値（スルーＬＵＴのＩＮ）が３２の場合、出力輝度値が３２である位置に対応する選択入出力特性の傾きは２である。

Ｓ１５０３で、差分ＬＵＴ生成部１２４は、基準入出力特性において、Ｓ１５０２において取得した傾きと同じ値に対応する出力輝度値を取得する。Ｓ１５０２において取得した傾きと同じ値に複数の出力輝度値が対応する場合、差分ＬＵＴ生成部１２４は、そのうちの最小値を選択する。図１６の例の場合、符号１６０２に示すように、基準入力特性において傾き２に対応する出力値（Ｉ値）である１８が取得される。

これ以降の処理は、第１の実施形態と同様である。即ち、図１６の例の場合、Ｓ１００８において、符号１６０３に示すように、補正量として「＋１」が取得される。Ｓ１００９において、符号１６０４に示すように、入力信号値「３２」に対応する出力値に「＋１」が加えられることにより、スルーＬＵＴにおいて、入力信号値「３２」が出力値「３３」に対応付けられる。Ｓ１０１０において、符号１６０５に示すように、入力信号値「３２」が「３２」に書き換えられる（この例の場合、書き換え前後の数値は同一である）。これにより、入力信号値「３２」と出力値「３３」とが対応付けられたグリッド点を持つ差分ＬＵＴが生成される。

なお、第１の実施形態と同様に、ＬＵＴが固定グリッドの場合には前後の特性から補間によって値を求めることができる。また、出力値（Ｉ値）に基づいて基準ＬＵＴから補正量を取得する際などに対象の値が存在しない場合には、その都度補間処理により値を算出することができる。

その後、ＬＵＴ合成部１１３は、差分ＬＵＴを基準ＬＵＴと合成する。これにより、基準ＬＵＴに対して図１４に示すような補正量拡張が実行されることになる。図１４は、第２の実施形態に係る基準ＬＵＴと合成ＬＵＴの差異を示す図である。図１４において、横軸はＩ値を示し、縦軸は補正量を示す。補正量１４１は、基準ＬＵＴによる補正量を示し、補正量１４２は、合成ＬＵＴによる補正量を示す。ここに示すように、出力輝度値の傾きの差異に基づいて差分ＬＵＴを生成する場合にも、第１の実施形態と同様に、基準ＬＵＴでは補正範囲外であった高輝度域まで補正範囲を拡張することができる。また、第２の実施形態においては、基準となるピーク輝度を持つ基準入出力特性と同じ傾きを持つ輝度域においては同じ補正量を用いることができる。そのため、図１３のガンマカーブ１３２ではガンマカーブ１３１に比較してリニアな領域が延長しているが、このリニア領域内では、符号１４３に示すように一定の補正量を用いることができる。

［その他の実施形態］
第１の実施形態及び第２の実施形態では、ＰＱ方式でのＨＤＲを想定したときの輝度補正について説明を行ったが、ＨＬＧ方式でも同様の手法で補正量を拡張することが可能である。また、第１の実施形態及び第２の実施形態で示した手法は、ＨＤＲの撮影モードの差異に対応する合成ＬＵＴに限らず、例えばＳＤＲとＨＤＲのピーク輝度の差異に対応する合成ＬＵＴを生成する処理にも適用可能である。

また、第１の実施形態及び第２の実施形態では、ピーク輝度の大きい入出力特性を持つ撮影モード時に、ピーク輝度の小さい入出力特性を持つ基準の撮影モードの補正情報（基準ＬＵＴ）を用いて補正量を拡張した。しかしながら、このピーク輝度の大小関係が逆になっていた場合にも上記の構成を適用可能である（この場合、結果的に補正範囲が縮小される）。

また、第１の実施形態及び第２の実施形態では、ＩＣｔＣｐ色空間から算出されるＩ値に対するＬＵＴや入出力特性（ガンマデータ）を前提としたが、ＲＧＢ色空間やＹＵＶ色空間に対しても同様の処理を応用することは可能である。

また、第１の実施形態及び第２の実施形態ではカラー画像の輝度成分（Ｉ値）に対する補正処理を前提としたが、色成分（彩度や色相）に対する処理も同様の処理を応用することは可能である。彩度と色相はＩＣｔＣｐ色空間の色成分であるＣｔ値及びＣｐ値を用いてそれぞれ式２、式３から求められる。このような色成分に対する補正処理の場合、例えば第１の実施形態においては図１０及び図１０のＳ１００７（図１１の符号１１０２に対応）まで同じ手法を用いてI値を取得した後、そのＩ値に基づいてＣｔ値及びＣｐ値の補正量を求める。図１１では第１の実施形態の説明のために省略されているが、色輝度調整用のＬＵＴにはＣｔ値及びＣｐ値の補正についてのＬＵＴも含まれているため、基準ＬＵＴのそれを参照してＣｔＣｐのスルーＬＵＴの書き換え処理を行う。

Chroma（彩度）＝ √(Ct^2 + Cp^2) …式２
Hue（色相）＝ (tan(Cp/Ct))^(-1) …式３

また、第１の実施形態及び第２の実施形態では、スルーＬＵＴの出力値を書き換えた後にスルーＬＵＴの入力値を書き換えることにより差分ＬＵＴを作成した（図１１及び図１６の符号１１０４，１１０５，１６０４，１６０５参照）。しかしながら、スルーＬＵＴの出力値を書き換える際に、基準ＬＵＴにおいて基準入出力特性に対応する補正量を出力値から減算した上で、この補正量を入力値及び出力値の両方に加えてもよい。例えば、図１１の例の場合、差分ＬＵＴ生成部１１２は、符号１１０４に示す処理において、基準ＬＵＴにおいて入力値１８に対応する補正量「＋１」を取得する。そして、差分ＬＵＴ生成部１１２は、スルーＬＵＴの出力値を１８から２０に書き換える代わりに、２０から補正量「＋１」を減算した「１９」に書き換える。その後、符号１１０５に示す処理において、差分ＬＵＴ生成部１１２は、入力値「１８」及び出力値「１９」のそれぞれに補正量「＋１」を加えることにより、入力値「１９」を出力値「２０」に対応づける差分ＬＵＴを生成する。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１…カメラ本体、２…交換レンズ、１０…撮像素子、２１…カメラ制御部、２５…信号処理回路、１０５…ガンマ変換部、１０６…色輝度調整部、１１２…差分ＬＵＴ生成部、１１３…ＬＵＴ合成部

Claims (11)

1. 第１の最大出力輝度値を持つ第１の入出力特性に従う階調変換処理が適用された第１の画像を取得する取得手段と、
   前記第１の入出力特性と第２の最大出力輝度値を持つ第２の入出力特性との間の出力輝度値に関する差異、及び前記第２の入出力特性に従う階調変換処理が適用された第２の画像の輝度値を補正するための第２の補正情報に基づいて、前記第１の画像の輝度値を補正するための第１の補正情報を生成する生成手段と、
   前記第１の補正情報に従って前記第１の画像の輝度値を補正する補正手段と、
   を備えることを特徴とする画像処理装置。
2. 前記生成手段は、前記第１の入出力特性と前記第２の入出力特性との間の入力値ごとの出力輝度値の差異、及び前記第２の補正情報に基づいて、前記第１の補正情報を生成する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記生成手段は、前記第１の補正情報における第１の輝度値を補正するための第１の情報部分を、前記第２の補正情報における第２の輝度値を補正するための第２の情報部分に基づいて決定し、
   前記第２の輝度値は、前記第２の入出力特性において、前記第１の入出力特性において前記第１の輝度値に対応する入力値に対応する、出力輝度値である
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記生成手段は、前記第１の入出力特性と前記第２の入出力特性との間の入力値ごとの出力輝度値の傾きの差異、及び前記第２の補正情報に基づいて、前記第１の補正情報を生成する
   ことを特徴とする請求項１に記載の画像処理装置。
5. 前記生成手段は、前記第１の補正情報における第１の輝度値を補正するための第１の情報部分を、前記第２の補正情報における第２の輝度値を補正するための第２の情報部分に基づいて決定し、
   前記第２の輝度値は、出力輝度値が前記第１の輝度値である位置に対応する前記第１の入出力特性の傾きに対応する、前記第２の入出力特性の出力輝度値である
   ことを特徴とする請求項４に記載の画像処理装置。
6. 前記生成手段は、前記第１の情報部分に従う前記第１の輝度値の補正量が、前記第２の情報部分に従う前記第２の輝度値の補正量に等しくなるように、前記第１の情報部分を決定する
   ことを特徴とする請求項３又は５に記載の画像処理装置。
7. 前記生成手段は、前記第２の補正情報に従って前記第１の輝度値を補正することにより得られる第３の輝度値を、前記第１の補正情報に従って前記第１の輝度値を補正することにより得られる第４の輝度値に補正するための第３の情報部分を含む、第３の補正情報を更に生成する
   ことを特徴とする請求項３、５、及び６のいずれか１項に記載の画像処理装置。
8. 前記第１の入出力特性及び前記第２の入出力特性の出力輝度値は、ＩＣｔＣｐ色空間におけるＩ値である
   ことを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 請求項１乃至８のいずれか１項に記載の画像処理装置と、
   撮像手段と、
   前記撮像手段により生成された画像に対して前記第１の入出力特性に従う階調変換処理を適用することにより前記第１の画像を生成する画像生成手段と、
   を備えることを特徴とする撮像装置。
10. 画像処理装置が実行する画像処理方法であって、
    第１の最大出力輝度値を持つ第１の入出力特性に従う階調変換処理が適用された第１の画像を取得する取得工程と、
    前記第１の入出力特性と第２の最大出力輝度値を持つ第２の入出力特性との間の出力輝度値に関する差異、及び前記第２の入出力特性に従う階調変換処理が適用された第２の画像の輝度値を補正するための第２の補正情報に基づいて、前記第１の画像の輝度値を補正するための第１の補正情報を生成する生成工程と、
    前記第１の補正情報に従って前記第１の画像の輝度値を補正する補正工程と、
    を備えることを特徴とする画像処理方法。
11. コンピュータを、請求項１乃至８のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。