JP2021069004A - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】撮影画像の色調が変更された場合でも違和感なく被写体の立体感を補正できるようにする。
【解決手段】撮影画像と仮想光源による光沢成分画像とを合成して補正画像を生成する画像処理装置にて、仮想光源の光源色を設定する設定部と、撮影画像の色調に基づいて、設定された仮想光源の光源色を補正する補正部と、補正された仮想光源の光源色での撮影画像の被写体に対応する光沢成分画像を生成する光沢成分生成部と、撮影画像と生成された光沢成分画像を合成して補正画像を生成する光沢成分付与部とを有する。
【選択図】図３

Description

本発明は、撮影画像の色調が変更する画像処理技術に関する。

写真撮影においてライティングは被写体の印象を決める大きな要因の一つである。例えば、あるライティングでは平坦な印象になる被写体が、適度な光沢がつくようにライティングを調整することにより立体的な印象になる場合もある。ライティングを画像処理により疑似的に変更する方法として、例えば、特許文献１に記載の画像処理装置が提案されている。特許文献１に記載の画像処理装置では、被写体の部分領域の属性を検出して属性に応じて部分領域に与える光沢成分を生成し、生成した光沢成分を用いて部分領域の光沢感を補正する。

特開２０１６−２１３７１８号公報

しかしながら、特許文献１に記載の画像処理装置では、画像全体の色調を変更した際の挙動について考慮されていない。例えば、ホワイトバランスなどを変更し画像全体の色調を補正する場合、光沢成分の色調を別途調整する必要が生じる。また、光沢成分を補正した後に別途画像全体の色調を補正する場合、色調の補正後に光沢成分の調整を行うことが困難となる。これらについて考慮されていないため、画像全体の色調を変更した場合に違和感のある画像となってしまうことがある。

本発明は、このような事情に鑑みてなされたものであり、撮影画像の色調が変更された場合でも違和感なく被写体の立体感を補正できるようにすることを目的とする。

本発明に係る画像処理装置は、撮影画像と仮想光源による光沢成分画像とを合成して補正画像を生成する画像処理装置であって、前記仮想光源の光源色を設定する設定手段と、前記撮影画像の色調に基づいて、設定された前記仮想光源の光源色を補正する第１の補正手段と、補正された前記仮想光源の光源色での前記撮影画像の被写体に対応する前記光沢成分画像を生成する生成手段と、前記撮影画像と生成された前記光沢成分画像を合成して前記補正画像を生成する合成手段とを有することを特徴とする。

本発明によれば、撮影画像の色調が変更された場合でも違和感なく撮影画像における被写体の立体感を補正することができる。

第１の実施形態における撮像装置の一例を示す外観図である。 第１の実施形態における撮像装置の内部構成例を示す図である。 第１の実施形態における画像処理部の機能構成例を示す図である。 第１の実施形態における画像処理部の処理例を示すフローチャートである。 カラー画像データと距離画像データと法線画像データを説明する図である。 現像パラメータ設定画面の例を示す図である。 照明パラメータ設定画面の例を示す図である。 光沢成分付与処理を説明する図である。 第１の実施形態における照明パラメータ補正処理の例を示すフローチャートである。 光沢成分生成処理を説明する図である。 第２の実施形態における画像処理部の処理例を示すフローチャートである。 第２の実施形態における照明パラメータ補正処理の例を示すフローチャートである。

以下、本発明の実施形態を図面に基づいて説明する。

（第１の実施形態）
まず、本実施形態における画像処理装置を有する撮像装置について説明する。
＜撮像装置の外観＞
図１は、本実施形態における画像処理装置を有する撮像装置の一例を示す外観図である。図１（ａ）は撮像装置の前面の外観を示しており、図１（ｂ）は撮像装置の背面の外観を示している。撮像装置１０１は、光学部１０２、撮像ボタン１０３、ストロボ１０４、距離画像取得部１０５、表示部１０６、及び操作ボタン１０７を有する。

光学部１０２は、ズームレンズ、フォーカスレンズ、ブレ補正レンズ、絞り、及びシャッターによって構成される鏡筒であり、被写体の光情報を集光する。撮像ボタン１０３は、ユーザが撮像の開始を撮像装置１０１に指示するためのボタンである。ストロボ１０４は、ユーザの指示に従って、撮像装置１０１による撮像の開始に合わせて発光させることができる照明である。

距離画像取得部１０５は、撮像指示に応じて被写体の距離画像データを取得する。距離画像データとは、画像の各画素の画素値として、その画素に対応する被写体距離を格納した画像データである。距離画像取得部１０５は、赤外光を発光する赤外発光部と、被写体により反射した赤外光を受光する受光部とを有する。距離画像取得部１０５は、発光した赤外光が被写体により反射して受光するまでの時間に基づいて、撮像装置から被写体までの距離値を算出する。そして、距離画像取得部１０５は、算出した距離値と受光部のセンサ画素数や画角等を含む距離撮像情報に基づいて被写体の位置情報を算出し、距離画像データを生成する。なお、距離画像データの取得方法は、必ずしもこれに限られない。例えば、距離画像取得部１０５の代わりに光学部１０２と同様の光学系を設け、異なる２つの視点から撮像された画像データ間の視差に基づいて、三角測量を行うことにより距離画像データを取得することもできる。

表示部１０６は、撮像装置１０１にて処理された画像データや他の各種データを表示する液晶ディスプレイ等の表示装置である。図１に示す例のように、撮像装置１０１が光学ファインダを備えていない場合、フレーミング操作（ピントや構図の確認）は表示部１０６を用いて行われる。すなわち、撮像装置１０１に関して、表示部１０６においてライブビュー画像を確認しながら撮像が行われるので、フレーミングやフォーカシング等の操作が行われるときには表示部１０６が電子ファインダとしても機能する。その他、表示部１０６では、カメラ設定メニュー画面や現像パラメータ設定画面等も表示することができる。

操作ボタン１０７は、撮像装置１０１の動作モードの切り換え操作や、撮像パラメータ等をユーザが撮像装置１０１に指示するためのボタンである。なお、撮像装置１０１は、動作モードの一つとして、撮像された画像における光沢感を撮像後に補正するライティング補正処理モードを有する。ユーザは、操作ボタン１０７又は撮像ボタン１０３を用いて、ライティング補正処理モードへの切り換えや、ライティング補正処理に用いる仮想照明の照明パラメータの設定等を行うことができる。その他、表示部１０６がタッチスクリーン機能を備え、そのタッチスクリーンを用いたユーザ指示を操作ボタン１０７の入力として扱うことも可能である。

＜撮像装置の内部構成＞
図２は、本実施形態における画像処理装置を有する撮像装置の内部構成例を示すブロック図である。ＣＰＵ２０１は、各構成部の処理に関わり、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０２やＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０３に格納された命令を順に読み込み、解釈し、その解釈結果に従って処理を実行する。ＲＯＭ２０２は、ＣＰＵ２０１により実行されるプログラムなどを記憶する。ＲＡＭ２０３は、ＣＰＵ２０１により実行されるプログラムや各種画像データなどを記憶する。

光学系制御部２０４は、光学部１０２に対して、フォーカスを合わせる、シャッターを開く、絞りを調整する等のＣＰＵ２０１から指示された制御を行う制御回路である。制御部２０５は、撮像ボタン１０３や操作ボタン１０７からのユーザ指示を受け取り、撮像、ライティング補正処理モードへの切り換え、照明パラメータの設定等の制御を行う制御回路である。カラー撮像素子部２０６は、光学部１０２にて集光された光情報を電流値に変換する撮像素子である。カラー撮像素子部２０６は、ベイヤ配列等の所定の配列を有するカラーフィルタを備え、光学部１０２において集光された光から被写体の色情報を取得する。

Ａ／Ｄ変換部２０７は、カラー撮像素子部２０６において検知された被写体の色情報をデジタル信号値に変換してＲＡＷ画像データとする処理回路である。なお、本実施形態では、同時刻に撮像した距離画像データとＲＡＷ画像データを取得できるものとする。画像処理部２０８は、Ａ／Ｄ変換部２０７で取得されたＲＡＷ画像データに対して現像処理を行い、カラー画像データを生成する。また、画像処理部２０８は、カラー画像データや距離画像データを用いて、カラー画像データにライティング補正を施した補正画像データを生成する等の各種画像処理を実行する。

キャラクタージェネレーション部２０９は、文字やグラフィック等を生成する処理回路である。キャラクタージェネレーション部２０９により生成された文字やグラフィックは、表示部１０６において、画像データや補正画像データ等に重畳して表示される。エンコーダ部２１０は、ＲＡＷ画像データやカラー画像データ等の各種画像データを所定のファイルフォーマットに変換する。本実施形態では、各種画像データとともに、撮影時の情報などが保存されるものとする。メディアＩ／Ｆ２１１は、ＰＣ／メディア２１３（例えば、ハードディスク、メモリカード、ＣＦカード、ＳＤカード等）に、画像データを送受信するためのインタフェースである。メディアＩ／Ｆ２１１としては、例えば、ＵＳＢ（Universal Serial Bus）等が用いられる。メディアＩ／Ｆ２１１を通じて受信された画像データは、ＲＡＭ２０３に記憶され画像処理部２０８によって各種画像処理を実行することができる。システムバス２１２は、データを送受信するためのバスである。

＜画像処理部の構成＞
図３は、本実施形態における画像処理装置としての画像処理部２０８の機能構成例を示すブロック図である。現像パラメータ設定部３０１は、ＲＡＭ２０３から取得したＲＡＷ画像データの撮影情報や制御部２０５から得られるユーザ操作に応じた情報に基づいて、現像パラメータを設定する。現像パラメータは、ホワイトバランスなどを含む。

現像処理部３０２は、現像パラメータ設定部３０１により設定される現像パラメータに基づいて、ＲＡＭ２０３から取得したＲＡＷ画像データに対して現像処理を施し、カラー画像データを生成する。ＲＡＷ画像データに施す現像処理は、ホワイトバランス処理、デモザイク処理、ノイズリダクション処理、色変換処理等を含む。生成したカラー画像データは、表示部１０６へ出力して表示することや、ＲＡＭ２０２、ＰＣ／メディア２１３などの記憶装置に記憶することができる。

法線生成部３０３は、ＲＡＭ２０３から取得した距離画像データに基づいて法線画像データを生成する。照明パラメータ設定部３０４は、制御部２０５から得られるユーザ操作に応じた情報に基づいて、照明パラメータを設定する。照明パラメータは、照明の明るさ、色、位置などを含む。高輝度領域抽出部３０５は、現像処理部３０２により生成されたカラー画像データから輝度の高い領域を抽出する。

照明パラメータ補正部３０６は、現像パラメータ設定部３０１により設定される現像パラメータや高輝度領域抽出部３０５により抽出された高輝度領域に基づいて、照明パラメータ設定部３０４により設定される照明パラメータを補正する。照明パラメータ補正部３０６は、照明パラメータに含まれるホワイトバランスの調整量や高輝度領域の色情報に基づいて照明パラメータの色を補正する。

光沢成分生成部３０７は、ＲＡＭ２０３から取得した距離画像データ、法線生成部３０３により生成された法線画像データ、及び照明パラメータ補正部３０６から取得した照明パラメータに基づいて光沢成分画像データを生成する。光沢成分画像データは、撮影画像に含まれる被写体に対応する光沢成分を表す画像データである。

光沢成分付与部３０８は、現像処理部３０２から取得したカラー画像データと光沢成分生成部３０７により生成された光沢成分画像データとに基づいて、撮影画像における被写体の光沢感を補正した補正画像データを生成する。なお、撮像装置１０１は、光沢成分画像データや補正画像データをＲＡＭ２０３やＰＣ／メディア２１３等の記憶装置に出力して記憶することや、表示部１０６に出力して表示することができる。

＜画像処理部の動作＞
図４は、第１の実施形態における画像処理部２０８の処理例を示すフローチャートである。図４には、ライティング補正処理の例を示している。図４に示す処理において、画像処理部２０８は、先ず、カラー画像データに対応する法線画像データを生成する。また、画像処理部２０８は、ユーザ操作などに基づいて設定された現像パラメータに基づいてＲＡＷ画像データに対して現像処理を施しカラー画像データを生成する。また、画像処理部２０８は、ユーザ操作などに基づいて設定された照明パラメータを現像パラメータに含まれるホワイトバランスの変化量に基づいて補正する。そして、画像処理部２０８は、距離画像データと法線画像データ、及び補正した照明パラメータに基づいて、カラー画像データに対してライティング補正処理を施し光沢感を補正した補正画像データを生成する。なお、本実施形態におけるライティング補正処理は、光沢成分生成処理と光沢成分付与処理とを有する。以下、図４を参照して、画像処理部２０８の動作手順の詳細について説明する。

ステップＳ４０１において、法線生成部３０３は、ＲＡＭ２０３から取得した距離画像データに基づきカラー画像データに対応する法線画像データを生成する。図５に、カラー画像データ、距離画像データ、法線画像データの例を示す。図５（ａ）に示すカラー画像データＩ５０１の画素（ｉ，ｊ）にはＲＧＢ値が画素値として格納しているものとし、それぞれＩ_r（ｉ，ｊ）、Ｉ_g（ｉ，ｊ）、Ｉ_b（ｉ，ｊ）と表すものとする。図５（ｂ）に示す距離画像データＤ５０２の画素（ｉ，ｊ）には画素値として撮像装置から被写体までの距離値Ｄ（ｉ，ｊ）を格納しているものとする。図５（ｃ）に示す法線画像データＮ５０３の画素（ｉ，ｊ）には法線ベクトル（Ｎ_x，Ｎ_y，Ｎ_z）の各要素を格納しているものとする。法線画像生成処理の詳細については後述する。

ステップＳ４０２において、現像パラメータ設定部３０１は、ＲＡＭ２０３から取得したＲＡＷ画像データに含まれる撮影情報と制御部２０５から取得したユーザ操作に応じた情報とに基づいて現像パラメータを設定する。図６に本実施形態における現像パラメータに含まれるホワイトバランス設定画面の例を示す。本実施形態では、例えば、太陽光、電球、蛍光灯などの各種光源に対応するホワイトバランス値をあらかじめＲＯＭ２０２などに記憶しておく。現像パラメータ設定部３０１は、ホワイトバランス設定画面に表示された各種光源のうち、ユーザ操作に基づき選択された光源に対応するホワイトバランス値を取得する。

ステップＳ４０３において、照明パラメータ設定部３０４は、制御部２０５から取得したユーザ操作に応じた情報に基づいて照明パラメータ設定する。図７に本実施形態における照明パラメータ設定画面の例を示す。本実施形態では、照明パラメータとして、照明の明るさ、光源色、及び位置情報がユーザ操作に基づいて設定される。各照明パラメータは、ユーザ操作に基づいて入力された数値に基づいて設定する。例えば、光源色パラメータＬは、照明パラメータ設定画面の光沢色入力領域７０２〜７０４に入力された値に基づいて設定する。具体的には、光沢色入力領域７０２〜７０４に入力された値を２５５で割り、０から１までの範囲の値として利用する。入力したＲＧＢ値に対応する色が光源色表示領域７０１に表示されユーザに提示される。また、チェックボックス７０５を設け、チェックボックス７０５がチェックされている場合のみ、照明パラメータ補正部３０６が後述する照明パラメータ補正処理により光源色パラメータを補正する。なお、本実施形態では光沢が付与されている場合のみチェックボックス７０５にチェック可能とする。照明パラメータに含まれる光源色パラメータが更新された場合、照明パラメータ設定画面におけるＲＧＢ値や光源色表示領域７０１に表示される色が、更新された光源色パラメータに応じて更新される。

ステップＳ４０４において、現像処理部３０２は、現像パラメータ設定部３０１により設定された現像パラメータに基づいて、ＲＡＭ２０３から取得したＲＡＷ画像データに現像処理を施してカラー画像データを生成する。本実施形態では、現像処理部３０２は、ＲＡＷ画像データに対してノイズリダクション処理やデモザイク処理を施し各画素にＲＧＢ値が画素値として格納されたカラー画像データＩを生成する。そして、現像処理部３０２は、（式１）に示すように、現像パラメータに含まれるホワイトバランス値とカラー画像データＩに基づいて色調を補正したカラー画像データＩ’を生成する。

ここで、ＷＢ_r、ＷＢ_g、ＷＢ_bはＲ、Ｇ、Ｂそれぞれのホワイトバランス値を表す。

ステップＳ４０５において、照明パラメータ補正部３０６は、現像パラメータ設定部３０１により設定される現像パラメータに基づいて、照明パラメータ設定部３０４により設定される照明パラメータに含まれる光源色パラメータを補正する。光源色パラメータの補正処理の詳細については後述する。

ステップＳ４０６において、光沢成分生成部３０７は、照明パラメータ補正部３０６により補正された照明パラメータに基づいて、距離画像データと法線画像データとから光沢成分画像データを生成する。光沢成分画像データを生成する光沢成分生成処理の詳細については後述する。

ステップＳ４０７において、光沢成分付与部３０８は、現像処理部３０２から取得したカラー画像データと光沢成分生成部３０７により生成された光沢成分画像データとを合成することによって、光沢感を補正した補正画像データを生成する。本実施形態では、（式２）に従いカラー画像データＩ’と光沢成分画像データＳ’とを加算することにより補正画像データＪを生成する。

ここで、Ｊ_r、Ｊ_g、Ｊ_bは補正画像データＪにおけるＲ、Ｇ、Ｂそれぞれの画素値を表し、Ｓ_r’、Ｓ_g’、Ｓ_b’は光沢成分画像データＳ’におけるＲ、Ｇ、Ｂそれぞれの画素値を表す。図８にステップＳ４０７での光沢成分付与処理により生成される補正画像データの例を示す。カラー画像データＩ’８０１と光沢成分画像データＳ’８０２とを加算することにより補正画像データＪ８０３が生成される。その後、補正画像データに対して色処理を施し、所定の色空間に変換してもかまわない。

ステップＳ４０８において、画像処理部２０８は、ステップＳ４０７において生成した補正画像データを表示部１０６に出力することで補正画像データを表示する。

ステップＳ４０９において、画像処理部２０８は、制御部２０６から取得したユーザ操作に応じた情報に基づいて、ライティング補正処理を終了するか否かを判定する。画像処理部２０８は、ライティング補正処理を終了すると判定した場合（ＹＥＳ）にはステップＳ４１０へ進む。一方、ライティング補正処理を終了しないと判定した場合（ＮＯ）には、画像処理部２０８は、ステップＳ４０２へ進み再び現像パラメータの設定を行う。

ステップＳ４１０において、画像処理部２０８は、ステップＳ４０７において生成した補正画像データをＰＣ／メディア２１３に出力し記録する。その後、図４に示すライティング補正処理を終了する。なお、画像処理部２０８は、カラー画像データ、距離画像データ、法線画像データ、光沢成分画像データなどを補正画像データと関連づけてＰＣ／メディア２１３に出力し記録するようにしてもかまわない。なお、図４に示す処理順序は一例であり、これに限定されるものではなく、処理に必要なパラメータや画像等が処理を行う前に得られていればよい。例えば、ステップＳ４０２での現像パラメータの設定処理はステップＳ４０４での現像処理を行う前に行われていれば良く、ステップＳ４０３での照明パラメータの設定処理はステップＳ４０５での照明パラメータ補正処理を行う前に行われていれば良い。

＜法線画像生成処理＞
ここでは、図４に示したステップＳ４０１において法線生成部３０３が行う法線画像生成処理について説明する。本実施形態における法線画像生成処理は、距離画像データに基づいて法線画像データを取得する。法線生成部３０３は、先ず、距離画像データにおける各画素の２次元的な座標値と各画素に格納された距離値とに基づいて、画素毎に３次元的な座標値を算出する。法線生成部３０３は、次に、３次元的な座標値に基づいて、画素毎に対応する法線ベクトルを算出する。

法線ベクトルを算出する方法としては、対象画素及びその周辺画素の３次元的な座標値を用いて、３次元的な座標値から算出した勾配に基づいて算出する方法や、画素毎に平面を当て嵌め、その平面における垂線を法線ベクトルとして算出する方法がある。本実施形態では、一例として後者の方法により法線ベクトルを算出する。

以下、法線ベクトルを算出する手順を詳述する。先ず、法線ベクトルの算出対象とする画素とその近傍に位置する画素の３次元的な座標値を（ｘ₀，ｙ₀，ｚ₀）、・・・、（ｘ_n-1，ｙ_n-1，ｚ_n-1）とする。なお、ここで、ｘ座標値は２次元的な座標値の水平方向の座標値、ｙ座標値は２次元的な座標値の垂直方向の座標値に基づいて求められる。また、ｚ座標値は距離値に基づいて求められる。次に、法線生成部３０３は、これらの座標値に対して、平面ａｘ＋ｂｙ＋ｃ＝ｚを当て嵌め、下記の（式３）に示される関数Ｅが最小となるａ、ｂ、ｃを求める。

なお、（式３）において、ａ、ｂ、ｃは、下記の（式４）を用いて算出することができる。また、これらの式において示されるｉは、画素のインデックス値を示している。

そして、平面ａｘ＋ｂｙ＋ｃ＝ｚに垂直なベクトルＮ＝（Ｎ_x，Ｎ_y，Ｎ_z）は、求められたａ、ｂを用いて、下記の（式５）より算出することができる。

このようにして、法線生成部３０３は、対象画素における法線ベクトルを算出する。法線生成部３０３は、同様の処理を画像データにおける各々の画素に対して実行して法線ベクトルを算出することで、法線画像データを生成する。すなわち、法線画像データは、画素（ｉ，ｊ）に法線ベクトル（Ｎ_x（ｉ，ｊ），Ｎ_y（ｉ，ｊ），Ｎ_z（ｉ，ｊ））が格納された画像データとして示される。以上の処理により、法線生成部３０３は法線画像データを生成する。

＜照明パラメータ補正処理＞
ここでは、図４に示したステップＳ４０５において照明パラメータ補正部３０６が行う照明パラメータ補正処理について説明する。図９は、第１の実施形態における照明パラメータ補正処理の例を示すフローチャートである。本実施形態における照明パラメータ補正処理は、現像パラメータに含まれるホワイトバランス値の変化量に基づいて、照明パラメータに含まれる光源色パラメータを補正する。

ステップＳ９０１において、照明パラメータ補正部３０６は、光源色を補正するか否かの判定を行う。照明パラメータ補正部３０６は、照明パラメータ設定画面のチェックボックス７０５の状態に基づいて判定を行う。チェックボックス７０５がチェックされており、光源色を補正すると判定した場合（ＹＥＳ）、照明パラメータ補正部３０６は、光源色パラメータを補正するためにステップＳ９０２へ進む。一方、チェックボックス７０５がチェックされておらず、光源色を補正しないと判定した場合（ＮＯ）、照明パラメータ補正部３０６は、光源色パラメータを補正せずに照明パラメータ補正処理を終了する。

ステップＳ９０２において、照明パラメータ補正部３０６は、現像パラメータに含まれるホワイトバランス値が変更されたか否かの判定を行う。照明パラメータ補正部３０６は、ホワイトバランス値が変更されたと判定した場合（ＹＥＳ）にはステップＳ９０３へ進み、ホワイトバランス値が変更されていないと判定した場合（ＮＯ）には光源色パラメータを補正せずに照明パラメータ補正処理を終了する。

ステップＳ９０３において、照明パラメータ補正部３０６は、現像パラメータに含まれるホワイトバランス値の変化量に基づいて、照明パラメータに含まれる光源色パラメータを補正する。本実施形態では、照明パラメータ補正部３０６は、下記の（式６）に従って光源色パラメータＬを補正するものとする。

ここで、Ｌ_r、Ｌ_g、Ｌ_bはＲ、Ｇ、Ｂそれぞれの補正前の光源色パラメータを表し、Ｌ_r’、Ｌ_g’、Ｌ_b’はＲ、Ｇ、Ｂそれぞれの補正後の光源色パラメータを表す。また、ＷＢ_r、ＷＢ_g、ＷＢ_bはＲ、Ｇ、Ｂそれぞれの変更前のホワイトバランス値を表し、ＷＢ_r’、ＷＢ_g’、ＷＢ_b’はＲ、Ｇ、Ｂそれぞれの変更後のホワイトバランス値を表す。以上の処理に従い光源色パラメータを補正することにより、ホワイトバランスの変更に合わせて光沢成分の色調を補正することができる。

ステップＳ９０４において、照明パラメータ補正部３０６は、光源色パラメータを更新する。照明パラメータ補正部３０６は、まず、光源色パラメータＬを補正後の光源色パラメータＬ’に更新する。そして、補正後の光源色パラメータＬ’に基づいて、照明パラメータ設定画面の光沢色入力領域７０２〜７０４に表示する値や光源色表示領域７０１に表示する色を更新する。以上の処理により、照明パラメータ補正部３０６は照明パラメータに含まれる光源色パラメータを補正する。

＜光沢成分生成処理＞
ここでは、図４に示したステップＳ４０６において光学成分生成部３０７が行う光沢成分生成処理につて説明する。本実施形態における光沢成分生成処理は、距離画像データ及び法線画像データに基づき、ユーザ操作によって設定された照明パラメータに応じてカラー画像データに対して仮想照明として仮想光源を加えることにより光沢成分画像データを生成する。仮想照明による光沢の強度は、既存の鏡面反射を表すＢｌｉｎｎ−ＰｈｏｎｇモデルやＴｏｒｒａｎｃｅ-Ｓｐａｒｒｏｗモデル等に従って算出することができる。本実施形態では、光学成分生成部３０７は、まず照明パラメータに含まれる仮想照明の位置、強度αに基づき、下記の（式７）に従って光沢強度画像データＳを生成する。

ここで、βは鏡面反射率であり、ｃは光沢の広がりを示すパラメータである。パラメータｃに関して、その値が大きいほど鋭い光沢となり、その値が小さいほど柔らかな光沢となる。Ｈはハーフベクトルであり、図１０に示すように画素（ｉ，ｊ）の位置Ｐから仮想光源（仮想照明）１００１に向かう単位ベクトルＶと、位置Ｐから撮像装置１０１に対応する位置Ｃに向かう単位ベクトルＥとの平均ベクトルを大きさ１に正規化したものである。次に、光学成分生成部３０７は、光沢強度画像データＳと光源色パラメータＬ’とに基づいて、下記の（式８）に従って光沢成分画像データＳ’を生成する。

ここで、Ｓ_r’、Ｓ_g’、Ｓ_b’は光沢成分画像データＳ’の画素値であり、それぞれＲ、Ｇ、Ｂ成分の値を示す。以上の処理により、光学成分生成部３０７はカラー画像データ中の被写体に応じた光沢成分画像データを生成する。

なお、本実施形態では、距離画像データと法線画像データと照明パラメータとに基づいて光沢成分画像データを生成しているが、光沢成分画像データの生成方法はこれに限らない。例えば、あらかじめＰＣ／メディア２１３などに記録しておいた光沢強度画像データを取得し、これに基づいて光沢成分画像データを生成してもかまわない。あるいは、ユーザ操作に基づくペイント作業により光沢強度画像データを生成し、これに基づいて光沢成分画像データを生成してもかまわない。

また、本実施形態では、図９に示したステップＳ９０１において、チェックボックス７０５の状態に応じて光源色を補正するか否かの判定を行っていたが、判定方法はこれに限らない。例えば、被写体に光沢が付与されているか否かを判定し、光沢が付与されている場合のみ補正処理を行ってもかまわない。

＜ホワイトバランス処理の順序を変えた場合の処理手順＞
前述した説明では、ホワイトバランス処理後のカラー画像データに対して光沢成分画像データを加えるようにしているが、処理の順序はこれに限らない。ホワイトバランス処理前のカラー画像データに対して光沢成分画像データを加え、その後、ホワイトバランス処理を施してもかまわない。以下、この場合の処理手順について図４に示したフローチャートに従い、前述した画像処理部２０８の動作との差分を説明する。具体的には、図４に示したステップＳ４０４〜Ｓ４０７の処理が異なる。

ステップＳ４０１〜Ｓ４０３の処理は、前述した説明と同様である。
ステップＳ４０４において、現像処理部３０２は、ＲＡＷ画像データに対してノイズリダクション処理やデモザイク処理を施し各画素にＲＧＢ値が画素値として格納されたカラー画像データＩを生成する。なお、ホワイトバランス処理は、このステップＳ４０４の処理では行わず、以降のステップＳ４０７において行う。

ステップＳ４０５において、照明パラメータ補正部３０６は、現像パラメータに基づいて光源色パラメータを補正する。ここでは、図９に示したフローチャートに従って処理を行うが、ステップＳ９０３、Ｓ９０４での処理が異なる。ステップＳ９０３では、照明パラメータ補正部３０６は、下記の（式９）に従って光源色パラメータＬを補正する。

Ｌ_r”、Ｌ_g”、Ｌ_b”はＲ、Ｇ、Ｂそれぞれの補正後の光源色パラメータである。Ｌ_r”、Ｌ_g”、Ｌ_b”は続くステップＳ９０４での処理では使用せず、ステップＳ４０６での処理において使用する。ステップＳ９０４では、照明パラメータ補正部３０６は、照明パラメータを更新する。まずは、光源色パラメータＬを前述した（式６）に従い補正する。次に、光源色パラメータＬを補正後の光源色パラメータＬ’に更新し、補正後の光源色パラメータＬ’に基づいて、照明パラメータ設定画面の光沢色入力領域７０２〜７０４に表示する値や光源色表示領域７０１に表示する色を更新する。

次に、ステップＳ４０６において、光沢成分生成部３０７は、照明パラメータ補正部３０６により補正された照明パラメータに基づいて、距離画像データと法線画像データとから光沢成分画像データを生成する。光沢成分生成部３０７は、まず、前述した（式７）に従って光沢強度画像データＳを生成する。次に、光沢成分生成部３０７は、光沢強度画像データＳと光源色パラメータＬ”とに基づいて、下記の（式１０）に従って光沢成分画像データＳ”を生成する。

ここで、Ｓ_r”、Ｓ_g”、Ｓ_b”は光沢成分画像データＳ”の画素値であり、それぞれＲ、Ｇ、Ｂ成分の値を示す。以上の処理により、光沢成分生成部３０７はカラー画像データ中の被写体に応じた光沢成分画像データを生成する。

続いて、ステップＳ４０７において、光沢成分付与部３０８は、カラー画像データと光沢成分画像データとを合成することによって、光沢感を補正した補正画像データを生成する。この際、ホワイトバランス処理も合わせて行う。ここでは、光沢成分付与部３０８は、（式１１）に従い補正画像データＪを生成する。

以上の処理により、処理手順を変えても同等の効果を得ることができる。

以上のように、第１の実施形態によれば、撮影画像に対するホワイトバランスの変更に応じて付与された光沢成分の色を補正することで、撮影画像の色調が変更された場合でも違和感なく撮影画像における被写体の立体感を補正することができる。

（第２の実施形態）
前述した第１の実施形態では、画像処理部２０８は、ホワイトバランス値の変更量のみに基づいて照明パラメータ（光源色パラメータ）を補正する。以下に説明する第２の実施形態では、画像処理部２０８は、ホワイトバランス値とカラー画像データの高輝度領域の色とに基づいて照明パラメータ（光源色パラメータ）を補正する。前述した第１の実施形態では、光沢成分の色が光源色と等しくなる被写体が主な対象となるが、被写体の反射特性によって光沢成分の色が光源色とは異なる場合もある。第２の実施形態では、撮影画像中に反射特性の異なる被写体が存在する場合においても違和感なく撮影画像における被写体の立体感を補正することが可能となる。

第２の実施形態における画像処理装置（画像処理部２０８）、及びそれを有する撮像装置の構成等は、第１の実施形態と同様であるので、その説明は省略する。以下では、第２の実施形態における画像処理部２０３の動作について説明する。
＜第２実施形態における画像処理部の動作＞
図１１は、第２の実施形態における画像処理部２０８の処理例を示すフローチャートである。図１１には、ライティング補正処理の例を示している。

ステップＳ１１０１〜Ｓ１１０４の処理は、第１の実施形態において図４に示したステップＳ４０１〜Ｓ４０４の処理と同様である。
ステップＳ１１０１において、法線生成部３０３は、ＲＡＭ２０３から取得した距離画像データに基づきカラー画像データに対応する法線画像データを生成する。
ステップＳ１１０２において、現像パラメータ設定部３０１は、ＲＡＭ２０３から取得したＲＡＷ画像データに含まれる撮影情報と制御部２０５から取得したユーザ操作に応じた情報とに基づいて現像パラメータを設定する。
ステップＳ１１０３において、照明パラメータ設定部３０４は、制御部２０５から取得したユーザ操作に応じた情報に基づいて照明パラメータ設定する。
ステップＳ４０４において、現像処理部３０２は、現像パラメータ設定部３０１により設定された現像パラメータに基づいて、ＲＡＭ２０３から取得したＲＡＷ画像データに現像処理を施してカラー画像データを生成する。

ステップＳ１１０５において、高輝度領域抽出部３０５は、現像処理部３０２から取得したカラー画像データ内の輝度値の高い画素を高輝度領域として抽出する。高輝度領域抽出部３０５は、まず、カラー画像データの各画素のＲＧＢ値に基づいて各画素の輝度値Ｙを算出する。そして、高輝度領域抽出部３０５は、しきい値Ｙｔｈを利用して各画素について二値化処理を施し、輝度値Ｙがしきい値Ｙｔｈ以上となる画素の集合を高輝度領域として抽出する。しきい値Ｙｔｈは、カラー画像データの輝度値Ｙのヒストグラムに基づいて設定する。例えば、カラー画像データ全体において、上位ｎ％に対応する輝度値をしきい値Ｙｔｈとする。なお、高輝度領域の抽出方法は、これに限るものではない。例えば、しきい値Ｙｔｈをユーザ操作に基づいて決定してもかまわない。また、しきい値Ｙｔｈに基づいて抽出した高輝度領域に対して、ユーザ操作に基づき領域を追加あるいは削除する補正処理を加えてもかまわない。

ステップＳ１１０６において、照明パラメータ補正部３０６は、現像パラメータ設定部３０１により設定された現像パラメータと高輝度領域抽出部３０５により抽出されたカラー画像データの高輝度領域とに基づいて、光源色パラメータを補正する。光源色パラメータの補正処理の詳細については後述する。

ステップＳ１１０７において、光沢成分生成部３０７は、照明パラメータ補正部３０６により補正された照明パラメータに基づいて、距離画像データと法線画像データとから光沢成分画像データを生成する。光沢成分生成部３０７は、まず、前述した（式７）に従って光沢強度画像データＳを生成する。次に、光沢成分生成部３０７は、光沢強度画像データＳとステップＳ１１０６において補正された光源色パラメータＭ’とに基づいて、下記の（式１２）に従って光沢成分画像データＳ’を生成する。

ここで、Ｍ_r’、Ｍ_g’、Ｍ_b’は高輝度領域の色情報に基づくＲ、Ｇ、Ｂそれぞれの補正後の光源色パラメータを表す。以上の処理により、光沢成分生成部３０７はカラー画像データ中の被写体に応じた光沢成分画像データを生成する。

ステップＳ１１０８〜Ｓ１１１１の処理は、第１の実施形態において図４に示したステップＳ４０７〜Ｓ４１０の処理と同様である。
ステップＳ１１０８において、光沢成分付与部３０８は、現像処理部３０２から取得したカラー画像データと光沢成分生成部３０７により生成された光沢成分画像データとを合成することによって、光沢感を補正した補正画像データを生成する。
ステップＳ１１０９において、画像処理部２０８は、ステップＳ１１０８において生成した補正画像データを表示部１０６に出力することで補正画像データを表示する。
ステップＳ１１１０において、画像処理部２０８は、制御部２０６から取得したユーザ操作に応じた情報に基づいて、ライティング補正処理を終了するか否かを判定する。ライティング補正処理を終了すると判定した場合（ＹＥＳ）にはステップＳ１１１１へ進み、ライティング補正処理を終了しないと判定した場合（ＮＯ）にはステップＳ１１０２へ進む。

ステップＳ１１１１において、画像処理部２０８は、ステップＳ１１０８において生成した補正画像データをＰＣ／メディア２１３に出力して記録し、示すライティング補正処理を終了する。なお、画像処理部２０８は、カラー画像データ、距離画像データ、法線画像データ、光沢成分画像データなどを補正画像データと関連づけてＰＣ／メディア２１３に出力し記録するようにしてもかまわない。なお、図１１に示す処理順序は一例であり、これに限定されるものではなく、処理に必要なパラメータや画像等が処理を行う前に得られていればよい。

＜第２実施形態における照明パラメータ補正処理＞
ここでは、図１１に示したステップＳ１１０６において照明パラメータ補正部３０６が行う照明パラメータ補正処理について説明する。本実施形態における照明パラメータ補正処理は、現像パラメータに含まれるホワイトバランス値の変化量と、カラー画像データにおける高輝度領域の色情報とに基づいて、照明パラメータに含まれる光源色パラメータを補正する。図１２は、第２の実施形態における照明パラメータ補正処理の例を示すフローチャートである。

ステップＳ１２０１において、照明パラメータ補正部３０６は、第１の実施形態と同様にして光源色を補正するか否かの判定を行う。光源色を補正すると判定した場合（ＹＥＳ）には、照明パラメータ補正部３０６はステップＳ１１０２へ進み、光源色を補正しないと判定した場合（ＮＯ）には、照明パラメータ補正部３０６は、光源色パラメータを補正せずに照明パラメータ補正処理を終了する。

ステップＳ１２０２において、照明パラメータ補正部３０６は、現像パラメータに含まれるホワイトバランス値が変更されたか否かの判定を行う。照明パラメータ補正部３０６は、ホワイトバランス値が変更されたと判定した場合（ＹＥＳ）にはステップＳ１１０３へ進み、ホワイトバランス値が変更されていないと判定した場合（ＮＯ）には光源色パラメータを補正せずに照明パラメータ補正処理を終了する。

ステップＳ１２０３において、照明パラメータ補正部３０６は、カラー画像データにおける高輝度領域の色情報を取得する。照明パラメータ補正部３０６は、カラー画像データから高輝度領域の画素値を抽出し、抽出した高輝度領域の画素値を平均することにより高輝度領域の色情報Ｈ’とする。

ステップＳ１２０４において、照明パラメータ補正部３０６は、現像パラメータに含まれるホワイトバランス値の変化量とカラー画像データにおける高輝度領域の色情報とに基づいて、照明パラメータに含まれる光源色パラメータを補正する。本実施形態では、照明パラメータ補正部３０６は、まず、前述した（式６）に従いホワイトバランス値の変化量に基づく補正を行って補正後の光源色パラメータＬ’を取得する。次に、照明パラメータ補正部３０６は、下記の（式１３）に従い高輝度領域の色情報も用いた光源色パラメータの補正を行う。

ここで、Ｈ_r’、Ｈ_g’、Ｈ_b’はＲ、Ｇ、Ｂそれぞれの高輝度領域の色情報を表す。また、ｗは高輝度領域の色情報に対する重みであり０から１までの範囲の値をとる。重みｗが大きな値になるほど高輝度領域の色情報を優先して利用することとなり、付与する光沢の色が高輝度領域の色に近づく。本実施形態では、重みｗはユーザ操作に基づきカラー画像中の領域毎に異なる値が設定されているものとする。

ステップＳ１１０５において、照明パラメータ補正部３０６は、光源色パラメータを更新する。照明パラメータ補正部３０６は、まず、補正前の光源色パラメータＬを、ホワイトバランス値の変化量とカラー画像データにおける高輝度領域の色情報に基づき補正した
補正後の光源色パラメータＭ’に更新する。そして、補正後の光源色パラメータＭ’に基づいて、照明パラメータ設定画面の光沢色入力領域７０２〜７０４に表示する値や光源色表示領域７０１に表示する色を更新する。以上の処理により、照明パラメータ補正部３０６は照明パラメータに含まれる光源色パラメータを補正する。

なお、本実施形態では、高輝度領域の色情報に対する重みｗをユーザ操作に基づいて設定しているが、重みｗの設定方法はこれに限らない。カラー画像中に対して物体検出処理や物体認識処理を施し、その結果に基づいて重みｗを設定してもかまわない。例えば、肌として認識された領域については重みｗを小さな値に設定し、金属として認識された領域については重みｗを大きな値に設定する。これにより、肌における光沢と、金属光沢をそれぞれ違和感なく補正することができる。

また、本実施形態では、ステップＳ１２０３において高輝度領域の色情報を取得しているが、この際、高輝度領域のうち重みｗが大きな領域のみから色情報を取得してもかまわない。これにより、光沢成分の色が光源色と異なる領域のみから、高輝度領域の色情報を取得して補正を行うことができる。

＜第２の実施形態における、ホワイトバランス処理の順序を変えた場合の処理手順＞
前述した説明では、ホワイトバランス処理後のカラー画像データに対して光沢成分画像データを加えるようにしているが、処理の順序はこれに限らない。ホワイトバランス処理前のカラー画像データに対して光沢成分画像データを加え、その後、ホワイトバランス処理を施してもかまわない。以下、この場合の処理手順について図１１に示したフローチャートに従い、前述した画像処理部２０８の動作との差分を説明する。具体的には、図１１に示したステップＳ１１０４及びステップＳ１１０６〜Ｓ１１０８の処理が異なる。

ステップＳ１１０１〜Ｓ１１０３の処理は、前述した説明と同様である。
ステップＳ１１０４において、現像処理部３０２は、ＲＡＷ画像データに対してノイズリダクション処理やデモザイク処理を施し各画素にＲＧＢ値が画素値として格納されたカラー画像データＩを生成する。

ステップＳ１１０５の処理は、前述した説明と同様である。
ステップＳ１１０６において、照明パラメータ補正部３０６は、現像パラメータとカラー画像データにおける高輝度領域の色情報とに基づいて光源色パラメータを補正する。ここでは、図１２に示したフローチャートに従って処理を行うが、ステップＳ１２０４、Ｓ１２０５での処理が異なる。ステップＳ１２０４では、照明パラメータ補正部３０６は、まず、前述した（式９）に従ってホワイトバランス値に基づく補正を行い光源色パラメータＬ”を取得する。次に、照明パラメータ補正部３０６は、下記の（式１４）に従い高輝度領域の色情報に基づく補正を行う。

ここで、Ｍ_r、Ｍ_g、Ｍ_bは補正後のＲ、Ｇ、Ｂそれぞれの光源色パラメータである。この光源色パラメータＭ_r、Ｍ_g、Ｍ_bは、続くステップＳ１２０５の処理では使用せず、ステップＳ１１０７の処理で使用する。ステップＳ１２０５では、照明パラメータ補正部３０６は、照明パラメータを更新する。まずは、前述した（式６）に従いホワイトバランス値の変化量に基づく補正を行い補正後の光源色パラメータＬ’を取得する。そして、光源色パラメータＬを補正後の光源色パラメータＬ’に更新し、補正後の光源色パラメータＬ’に基づいて、照明パラメータ設定画面の光沢色入力領域７０２〜７０４に表示する値や光源色表示領域７０１に表示する色を更新する。

次に、ステップＳ１１０７において、光沢成分生成部３０７は、照明パラメータ補正部３０６により補正された照明パラメータに基づいて、距離画像データと法線画像データとから光沢成分画像データを生成する。光沢成分生成部３０７は、まず、前述した（式７）に従って光沢強度画像データＳを生成する。次に、光沢成分生成部３０７は、光沢強度画像データＳと光源色パラメータＭに基づいて、下記の（式１５）に従って光沢成分画像データＳ”を生成する。

続いて、ステップＳ１１０８において、光沢成分付与部３０８は、カラー画像データと光沢成分画像データとを合成することによって、光沢感を補正した補正画像データを生成する。この際、ホワイトバランス処理も合わせて行う。ここでは、光沢成分付与部３０８は、前述した式（１１）に従い補正画像データＪを生成する。以上の処理により、処理手順を変えても同等の効果を得ることができる。

以上のように、第２の実施形態によれば、撮影画像に対するホワイトバランス値の変更量と高輝度領域の色情報とに基づいて付与された光沢成分の色を補正する。これにより、撮影画像の色調が変更され、撮影画像中に反射特性の異なる被写体が存在する場合においても違和感なく撮影画像における被写体の立体感を補正することができる。

（本発明の他の実施形態）
本発明は、前述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

なお、前記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１０１：撮像装置 ２０８：画像処理部 ３０１：現像パラメータ設定部 ３０２：現像処理部 ３０３：法線生成部 ３０４：照明パラメータ設定部 ３０５：高輝度領域抽出部 ３０６：照明パラメータ補正部 ３０７：光沢成分生成部 ３０８：光沢成分付与部

Claims (9)

1. 撮影画像と仮想光源による光沢成分画像とを合成して補正画像を生成する画像処理装置であって、
   前記仮想光源の光源色を設定する設定手段と、
   前記撮影画像の色調に基づいて、設定された前記仮想光源の光源色を補正する第１の補正手段と、
   補正された前記仮想光源の光源色での前記撮影画像の被写体に対応する前記光沢成分画像を生成する生成手段と、
   前記撮影画像と生成された前記光沢成分画像を合成して前記補正画像を生成する合成手段とを有することを特徴とする画像処理装置。
2. 前記第１の補正手段は、前記撮影画像の色調が変更された場合に、前記色調の変更量に基づいて、設定された前記仮想光源の光源色を補正することを特徴とする請求項１記載の画像処理装置。
3. 設定された前記色調に応じて前記撮影画像を補正する第２の補正手段を有し、
   前記合成手段は、補正された前記撮影画像と生成された前記光沢成分画像とを合成することを特徴とする請求項１又は２記載の画像処理装置。
4. 前記撮影画像から輝度が所定のしきい値より高い高輝度領域を抽出する抽出手段を有し、
   前記第１の補正手段は、前記撮影画像の色調及び前記高輝度領域の色情報に基づいて、設定された前記仮想光源の光源色を補正することを特徴とする請求項１〜３の何れか１項に記載の画像処理装置。
5. 前記仮想光源の光源色を表示する表示手段を有することを特徴とする請求項１〜４の何れか１項に記載の画像処理装置。
6. 前記生成手段は、前記撮影画像に対応する距離画像、前記距離画像から生成される法線画像、及び補正された前記仮想光源の光源色の情報を含む前記仮想光源に係る情報に基づいて、前記光沢成分画像を生成することを特徴とする請求項１〜５の何れか１項に記載の画像処理装置。
7. 前記第１の補正手段による前記仮想光源の光源色の補正を行うか否かを切り換え可能であることを特徴とする請求項１〜６の何れか１項に記載の画像処理装置。
8. 撮影画像と仮想光源による光沢成分画像とを合成して補正画像を生成する画像処理方法であって、
   前記仮想光源の光源色を設定する設定工程と、
   前記撮影画像の色調に基づいて、設定された前記仮想光源の光源色を補正する第１の補正工程と、
   補正された前記仮想光源の光源色での前記撮影画像の被写体に対応する前記光沢成分画像を生成する生成工程と、
   前記撮影画像と生成された前記光沢成分画像を合成して前記補正画像を生成する合成工程とを有することを特徴とする画像処理方法。
9. 撮影画像と仮想光源による光沢成分画像とを合成して補正画像を生成する画像処理装置のコンピュータに、
   前記仮想光源の光源色を設定する設定ステップと、
   前記撮影画像の色調に基づいて、設定された前記仮想光源の光源色を補正する第１の補正ステップと、
   補正された前記仮想光源の光源色での前記撮影画像の被写体に対応する前記光沢成分画像を生成する生成ステップと、
   前記撮影画像と生成された前記光沢成分画像を合成して前記補正画像を生成する合成ステップとを実行させるためのプログラム。

Images