JP2019179464A - 画像処理装置、その制御方法、プログラム - Google Patents

Abstract

【課題】 仮想的な光源を被写体に当てた時に、自然なハイライトや陰影を付けること。【解決手段】 入力された入力画像に対する仮想光源の特性を設定し、入力画像中の被写体の形状情報を生成し、仮想光源の特性と、生成された形状情報とに基づき、入力画像中の被写体に仮想的な光の効果を付加する画像処理装置において、仮想光源の特性に基づいて、被写体のうち特定の領域の形状情報の精度を制御する。【選択図】 図４

Description

本発明は、画像処理装置に関し、特に仮想光源を用いて画像に効果を付加する画像処理装置に関するものである。

従来から写真撮影においては、補助照明やレフ板による光の調整によって、被写体に生じる光と影の領域の調整が行われている。これにより、被写体の印象をさまざまに変化させた写真撮影が可能となる。また、これらの光の調整を撮影後に行う技術として、被写体領域に対して、光の反射によるハイライトや陰影成分を加える方法がある。

これにより、絵画的な印象深い画像にすることや、立体感を強調した画像にすることが可能となる。

例えば、特許文献１では、被写体の顔領域に対して、予め用意した陰影パターンを当てはめることで、陰影を付与している。これにより、処理負荷を抑えつつ望ましい陰影を持つ被写体写真を得ることができる。

特開２０１２−１０５０１６号公報

しかしながら、上記の特許文献１の方法では、予め用意された陰影パターンを当てはめており、個々の被写体に応じた陰影感の微妙な制御を行うことは難しい。特に予め用意した被写体の表情や形状が、撮影した被写体の表情と大きく異なる場合には、実際に生じるはずの陰影と大きく異なってしまい違和感が生じるという課題があった。

本発明に係る画像処理装置は、画像を入力する入力手段と、前記入力手段により入力された入力画像に対する仮想光源の特性を設定する設定手段と、前記入力画像中の被写体の形状情報を生成する生成手段と、前記仮想光源の特性と、前記生成手段により生成された前記形状情報とに基づき、前記入力画像中の被写体に仮想的な光の効果を付加する付加手段とを有し、前記生成手段は、前記仮想光源の特性に基づいて、前記被写体のうち特定の領域の形状情報の精度が、前記被写体のうち他の領域の形状情報の精度よりも高くなるよう制御することを特徴とする。

本発明により、仮想的な光源を被写体に当てる場合に、違和感の少ないハイライトや陰影を付けることが可能となる。

本発明におけるデジタルカメラの構成を示すブロック図である。 本発明における画像処理部の構成を示すブロック図である。 本発明におけるリライティング処理部の構成を示すブロック図である。 本発明の第１の実施例における法線生成のフローを示す図である。 本発明における法線の例を示す図である。 本発明におけるリライティングによる反射成分の演算を示す図である。 本発明におけるリライティングの結果を示す図ある。 本発明の第２の実施例における法線生成のフローを示す図である。 本発明の第２の実施例における被写体特徴点を説明する図である。

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。本実施例では、画像処理装置としてデジタルカメラに適用した例について説明する。

＜第１の実施例＞
以下、図１〜図７を参照して、本発明の第１の実施例におけるデジタルカメラについて説明する。

図１は、本発明の実施形態によるデジタルカメラの構成例を示すブロック図である。

図１において、１００はデジタルカメラ全体、１０１はズームレンズ、フォーカスレンズを含むレンズ群、１０２は絞り機能を備えるシャッターである。１０３は光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像部、１０４はアナログ信号をデジタル信号に変換するＡ／Ｄ変換器、１０５はＡ／Ｄ変換器１０４から出力される画像データに対し、ホワイトバランス処理や、γ処理、輪郭強調、色補正処理などの各種画像処理を行う画像処理部である。１０６は画像メモリ、１０７は画像メモリ１０６を制御するメモリ制御部、１０８は入力デジタル信号をアナログ信号に変換するＤ／Ａ変換器、１０９はＬＣＤ等の表示器、１１０は画像データを圧縮符号化・復号化するコーデック部である。１１１は記録媒体１１２とのインタフェースＩ／Ｆ、１１２はメモリカードやハードディスク等の記録媒体、１１３は、撮影画像中から顔が映っている領域を検出する顔検出処理部、１１４は、撮影画像にリライティング処理を行うリライティング処理部、５０はデジタルカメラ１００のシステム全体を制御するシステム制御部である。１２１は、プログラムやパラメータなどを格納するＥＥＰＲＯＭなどの不揮発性メモリであり、１２２はシステム制御部５０の動作用の定数、変数、不揮発性メモリ１２４から読みだしたプログラム等を展開するシステムメモリである。１２３はストロボなどの物理的な光源装置である。なお、デジタルカメラの構成は図１に示した構成には限定されない。例えば１つのハードウェアが、実行するプログラムに応じて複数の処理部や制御部などとして機能してもよい。逆に、複数のハードウェアが協働して１つの処理部や制御部などとして機能してもよい。また、各種の処理はプログラムに従い実行されてもよいし、各種処理を行うための回路を設けてもよい。

次に、上記のように構成されたデジタルカメラ１００における被写体撮影時の基本動作について説明する。撮像部１０３は、レンズ１０１及びシャッター１０２を介して入射した光を光電変換し、入力画像信号としてＡ／Ｄ変換器１０４へ出力する。Ａ／Ｄ変換器１０４は撮像部１０３から出力されるアナログ画像信号をデジタル画像信号に変換し画像処理部１０５に出力する。

画像処理部１０５は、Ａ／Ｄ変換器１０４からの画像データ、又は、メモリ制御部１０７からの画像データに対し、ホワイトバランスなどの色変換処理、γ処理、輪郭強調処理などを行う。また、画像処理部１０５では、顔検出部１１３の顔検出結果や、撮像した画像データを用いて所定の評価値算出処理を行い、得られた評価値結果に基づいてシステム制御部５０が露光制御、測距制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理などを行う。

画像処理部１０５から出力された画像データは、メモリ制御部１０７を介して画像メモリ１０６に書き込まれる。画像メモリ１０６は、撮像部１０３から出力された画像データや、表示部１０９に表示するための画像データを格納する。

また、Ｄ／Ａ変換器１０８は、画像メモリ１０６に格納されている画像表示用のデータをアナログ信号に変換して表示部１０９に供給する。表示部１０９は、ＬＣＤ等の表示器上に、Ｄ／Ａ変換器１０８からのアナログ信号に応じた表示を行う。

コーデック部１１０は、画像メモリ１０６に記録された画像データをＪＰＥＧ，ＭＰＥＧなどの規格に基づきそれぞれ圧縮符号化する。システム制御部５０は符号化した画像データを関連付けて、記録インタフェース１１１を介して記録媒体１１２に格納する。

以上、被写体撮影時の基本動作について説明した。

上記の基本動作以外に、システム制御部５０は、前述した不揮発性メモリ１２４に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。ここでいうプログラムとは、本実施形態にて後述する各種フローチャートを実行するためのプログラムのことである。この際、システム制御部５０の動作用の定数、変数、不揮発性メモリ１２１から読み出したプログラム等をシステムメモリ１２２に展開する。

次に、画像処理部１０５の詳細について図２を用いて説明する。図２は画像処理部１０５の構成を示すブロック図である。なお、図２、図３に示す構成を実現するための具体的な構成は種々の形態が考えられる。例えば図２、図３に示す１つの部分ごとに１つのハードウェアを用意してもよいし、１つのハードウェアが複数の部分として機能してもよい。また、画像処理部１０５以外のハードウェアを含む複数のハードウェアが共同して図２、図３に示すいずれかの部分として機能してもよい。

図２において、２００は同時化処理部、２０１はＷＢ増幅部、２０２は輝度・色信号生成部、２０３は輪郭強調処理部、２０４は輝度ガンマ処理部、２０５は色変換処理部、２０６は色γ処理部、２０７は色差信号生成部、である。

次に、画像処理部１０５における処理について説明する。図１のＡ／Ｄ変換部１０４から入力された画像信号が画像処理部１０５に入力される。

画像処理部１０５に入力された画像信号は同時化処理部２００に入力される。同時化処理部２００は入力されたベイヤーＲＧＢの画像データに対して、同時化処理を行い、色信号Ｒ，Ｇ，Ｂを生成する。ＷＢ増幅部２０１は、システム制御部５０が算出するホワイトバランスゲイン値に基づき、ＲＧＢの色信号にゲインをかけ、ホワイトバランスを調整する。ＷＢ増幅部２０１が出力したＲＧＢ信号は輝度・色信号生成部２０２に入力される。輝度・色信号生成部２０２ＲＧＢ信号から輝度信号Ｙを生成し、生成した輝度信号Ｙを輪郭強調処理部２０３、色信号ＲＧＢを色変換処理部２０５へ出力する。

輪郭強調処理部２０３では、輝度信号に対して輪郭強調処理を行い、輝度ガンマ処理部２０４へ出力する。輝度ガンマ処理部２０４では輝度信号Ｙに対してガンマ補正を行い、輝度信号Ｙを画像メモリ１０６に出力する。

色変換処理部２０５は、ＲＧＢ信号に対するマトリクス演算などにより、所望のカラーバランスへ変換する。色ガンマ処理部２０６では、ＲＧＢの色信号にガンマ補正を行う。色差信号生成部２０７では、ＲＧＢ信号から色差信号Ｒ−Ｙ、Ｂ−Ｙ信号を生成する。

画像メモリ１０６に出力された画像信号Ｙ，Ｒ−Ｙ，Ｂ−Ｙ信号は、コーデック部１１０によって圧縮符号化し、記録媒体２００に記録する。

次に、リライティング処理部１１４の構成および動作について図３を用いて説明する。リライティング処理とは、仮想的な光源を想定し、撮影により得られた画像に仮想光源により照らされた効果を付与する処理である。本実例におけるリライティング処理は、例えば撮影前にリライティング処理を行うかをユーザ操作などに基づき設定しておくことで、撮影時に実行される。もちろん、撮影のたびにリライティング処理を行うかをユーザに確認する構成にしてもよいし、撮影・記録済みの画像に対してユーザが任意のタイミングでリライティング処理を行うよう指示してもよい。

ユーザ操作によりリライティング処理を行うよう選択された場合は、画像処理部１０５から出力したデータをリライティング処理部１１４に入力し、仮想光源によるリライティング処理を行う。なお、リライティング処理の中でも、複数のモードを選択できるようにしてもよい。本実施例では、「陰影モード」と「キャッチライトモード」を選択可能とする。これらのモードについては後述する。

図３はリライティング処理部１１４の構成を示すブロック図である。

図３において、３０１は入力された輝度・色差信号（Ｙ、Ｂ−Ｙ、Ｒ−Ｙ）をＲＧＢ信号に変換するＲＧＢ信号変換部、３０２はデガンマ処理を行うデガンマ処理部である。３０３は仮想光源によるリライティング信号を付加する仮想光源付加処理部である。また、３０４はＲＧＢ信号にガンマ特性をかけるガンマ処理部、３０５は、ＲＧＢ信号を輝度・色差信号（Ｙ、Ｂ−Ｙ、Ｒ−Ｙ）に変換する輝度・色差信号変換部である。また、３０６は被写体の（被写体面に対する）法線を生成する法線生成部、３０７は仮想光源が被写体に反射した成分を算出する仮想光源反射成分算出部である。

以下、上記の構成のリライティング処理部１１４の動作について説明する。リライティング処理部１１４は、画像メモリ１０６に記録された輝度・色差信号（Ｙ、Ｂ−Ｙ、Ｒ−Ｙ）を読み出し、入力とする。

ＲＧＢ信号変換部３０１は、入力された輝度・色差信号（Ｙ、Ｂ−Ｙ、Ｒ−Ｙ）をＲＧＢ信号に変換し、デガンマ処理部３０２へ出力する。

デガンマ処理部３０２は、画像処理部１０５のガンマ処理部で掛けられたガンマ特性と逆の特性の演算を行いリニアデータに変換する。デガンマ処理部３０２は、リニア変換後のＲＧＢ信号（Ｒｔ、Ｇｔ、Ｂｔ）を、仮想光源反射成分算出部３０７および仮想光源付加処理部３０３に出力する。

一方、法線生成部３０６は被写体に対応した法線を生成する。法線生成部３０６で行う法線生成のフローを図４に示す。

図４において、被写体毎の一般的な法線特性を表すベース法線モデルを読み込む。ベース法線モデルとしては例えば被写体が人間である場合は人型の法線モデルを予め不揮発性メモリ１２１に記録しておき、被写体に応じたモデルを読み込む。ベースの法線モデルは、法線の解像度（密度）が低く、目や鼻、口などの細部の法線情報を省略したモデルとなっている。法線モデルの例を図５に示す。なお、法線モデルは顔の向きごとに複数記録しておいてもよく、その場合は撮影した被写体から推測した被写体の向きに基づく向きのモデルを読み込む。

図５において図５（Ａ）は撮影した被写体を示している。図５（Ｂ）は人物の顔に対応した法線モデルである。法線モデルは２次元の画像データとして保持しており、各座標位置に対する被写体表面に対する法線ベクトルのデータを持っている。５０１は法線ベクトルの一例を示している。本実施例のデジタルカメラは、５０１に示すような法線ベクトルを画素毎に持っているものとする。また、法線モデルには目や口などの特徴点の座標位置も含まれる。例えば５０２は、目の特徴点の位置を示している。

図４に戻り、ステップＳ４０２では主被写体の特徴点の位置情報を抽出し取得する。本実施例では主被写体が人物であるため、人物の特徴点、具体的には顔検出部１１３（図１）によって検出された顔および、目や口、鼻、輪郭などの顔の特徴点の位置を読み込む。

ステップＳ４０３では、図５（Ｂ）に示す法線モデルを、Ｓ４０２で取得した被写体の特徴点に基づきフィッティングさせる。本実施例のフィッティングでは、顔と法線モデルの特徴点の位置を極力一致させるよう、法線モデルを変化させる。具体的には顔の特徴点と法線モデルの特徴点の差が最小になるよう最適化を行い、各画素の変換特性を決定する。なお、撮影画像に形状情報をフィッティングする方法に関しては多数の技術が知られており、フィッティングができるのであれば、それらのどのような手法を用いてもかまわない。ここまでの処理で、被写体にフィッティングされたベース法線モデルが得られる。前述したように、ベース法線モデルは目や鼻、口などの細部の法線情報を省略した精度の低いモデルであるため、比較的被写体形状に近付けられる可能性が高い。しかし、細部についての法線情報は得られないため、以下の処理でこれらの細部の法線モデルを取得する処理を行う。

ステップＳ４０４では、現在のリライティングモードを取得する。リライティングモードとはリライティング処理の効果を決めるモードであり、ユーザ操作によって事前に選択されているものとする。前述したように本実施例では、リライティングモードとして「陰影モード」、「キャッチライトモード」の２つがあるものとする。

ステップＳ４０５では、リライティングモードに応じて、高解像度法線モデルを取得する。リライティングモードが、「陰影モード」の場合は、「鼻」の高解像度法線パーツを読み込む。高解像度法線パーツとは、より精度の高い高解像度法線モデルのうち、特定の領域（人物であれば特定の器官など）のみを示すモデルである。

「鼻」の高解像度法線パーツの例を図５（Ｃ）に示す。

一方で、リライティングモードが「キャッチライトモード」の場合、「眼球」の高解像度法線パーツを読み込む。「眼球」の高解像度法線パーツを図５（Ｄ）に示す。

図４に戻り、ステップＳ４０６では、高解像度法線パーツを被写体にフィッティングし、高解像度法線パーツをベース法線モデルと合成する。本実施例の高解像度法線パーツは、ベース法線と同様にそれぞれ複数の特徴点を含み、この特徴点を対応する被写体の特徴点と一致するようにフィッティングを行う。高解像度法線パーツの特徴点の一例を５０３、５０４に示す。また、フィッティング後に高解像度法線パーツをフィッティング済みのベース法線モデルと合成する。ベース法線に「鼻」の高解像度法線パーツを合成した例を図５（Ｅ）、「眼球」の高解像度法線パーツを合成した例を図５（Ｆ）に示す。このようにすることで、被写体全体のうち、リライティングモードに応じて部分的に解像度の高い法線情報を生成することが可能となる。以上、法線生成部３０６による法線情報の生成フローについて説明した。

図３の説明に戻る。仮想光源反射成分算出部３０７では、光源と被写体の距離Ｋ、法線情報Ｎ、仮想光源の鏡面反射方向Ｓ、仮想光源パラメータ、被写体の反射率に基づき、設置した仮想光源が被写体に反射する成分を算出する。なお、仮想光源パラメータおよび被写体の反射率は後述するフローにて決定する。

反射光成分の算出方法の具体例を、図６を用いて説明する。図６において６０１が被写体、６０２は設定した仮想光源の位置を示している。本実施例では、仮想光源（点光源）の反射成分として拡散反射と鏡面反射を考慮してリライティング処理を行う。

カメラ１００で撮影された撮影画像の水平画素位置Ｈ１（垂直画素位置は説明の簡略化のため省略）における拡散反射成分は、カメラ座標Ｈ１における法線Ｎ１と仮想光源の方向ベクトルＬ１の内積に比例し、仮想光源と被写体位置の距離Ｋ１の二乗に反比例する値となる。また、鏡面反射成分は、被写体に対する鏡面反射方向Ｓと被写体位置からカメラの方向Ｖ（視線の方向）の内積に比例する。

この関係を数式で表現すると仮想光源による被写体反射成分（Ｒａ、Ｇａ、Ｂａ）は下記の通りとなる。

ここで、αは仮想光源の強さ、Ｌは仮想光源の３次元方向ベクトル、Ｎは被写体の３次元法線ベクトル、Ｋは仮想光源と被写体の距離である。また、Ｓは仮想光源の鏡面反射ベクトル、Ｖはカメラから被写体位置への方向を示す視線方向ベクトル、ｋｄは被写体の拡散反射率、ｋｓは被写体の鏡面反射率である。また、βは反射した光の広がり具合を示す輝き係数であり、この値が大きくなると鏡面反射特性が急峻になる。Ｒｔ、Ｇｔ、Ｂｔはデガンマ処理部３０２から出力された撮影ＲＧＢデータである。また、Ｒｗ、Ｂｗは仮想光源の色を制御するパラメータである。仮想光源は複数設定することも可能であり、仮想光源毎に拡散反射と鏡面反射のパラメータを制御することが可能である。

なお、仮想光源の強さ、仮想光源の位置、被写体の拡散反射率、被写体の鏡面反射率、輝き係数、仮想光源の色、仮想光の照射範囲の少なくとも１つは、事前にユーザ操作により設定されていてもよいし、デジタルカメラ１００が自動的に設定してもよい。例えば、キャッチライトモードであれば被写体の正面に仮想光源の位置を設定し、鏡面反射率や輝き係数を大きく設定することが考えられる。

上記のように算出した仮想光源による反射成分（Ｒａ、Ｇａ、Ｂａ）は仮想光源付加処理部３０４へ出力される。

仮想光源付加処理部３０３では、被写体領域に対して、仮想光源成分（Ｒａ、Ｇａ、Ｂａ）を付加する下記の処理を行う。
Ｒｏｕｔ ＝ Ｒｇ ＋ Ｒａ
Ｇｏｕｔ ＝ Ｇｇ ＋ Ｇａ
Ｂｏｕｔ ＝ Ｂｇ ＋ Ｂａ

仮想光源付加処理部３０３から出力された画像信号（Ｒｏｕｔ、Ｇｏｕｔ、Ｂｏｕｔ）はガンマ処理部３０４に入力される。ガンマ処理部３０４では、ＲＧＢの入力信号にガンマ補正を行う。色差信号生成部３０５では、ＲＧＢ信号から輝度Ｙ、色差信号Ｒ−Ｙ、Ｂ−Ｙ信号を生成する。以上が、リライティング処理部１１４の動作である。

システム制御部５０は、リライティング補正部１１４が出力した輝度・色差信号を、メモリ制御部１０７の制御によって、画像メモリ１０６に蓄積したのち、コーデック部１１０で圧縮符号化を行う。また、Ｉ／Ｆ１１１を介して記録媒体１１２に記録する。

リライティング処理後の結果画像を図７に示す。図７（Ａ）は「陰影モード」で被写体に光を当てた場合の例である。鼻領域の法線の解像度を相対的に高くすることで、顔の陰影において重要な器官である鼻領域に起因する光と陰のコントラストを強くし、陰影を付ける効果を高めることが可能となる。逆に鼻領域以外の領域については法線の解像度を相対的に低くすることで、被写体の形状と法線の形状が異なる事により不自然な陰影やハイライトが付くなどの弊害を低減させることができるようになる。

一方、図７（Ｂ）は「キャッチライトモード」で被写体に光を当てた場合の例である。被写体全体を明るくしつつ、眼球の法線の解像度を相対的に高くすることで、７０１に示すような、はっきりしたキャッチライトを目に入れることが可能となる。逆に眼球領域以外の領域については法線の解像度を相対的に低くすることで、被写体の形状と法線の形状が異なる事により不自然な陰影やハイライトが付くなどの弊害を低減させることができるようになる。

以上で説明したように、本実施例では、リライティング処理のモードに応じて、部分的に高解像度の法線を生成する構成とした。これにより、実際の被写体と法線の差による弊害を減らしつつ、リライティングの目的にあった効果を得ることが可能となる。

なお、本実施例はリライティングモードに応じて、部分的に高解像度の法線を生成する構成としたが、高解像度法線の生成を判断する情報をリライティングモード情報に限定するものではない。リライティングモードに限らず、反射光の特性（鏡面反射、拡散反射）、光の照射範囲、強度、光を当てる被写体の種類などリライティングの特性を決めるパラメータであればどのような情報を用いてもかまわない。例えば、リライティングにおいて、鏡面反射成分のゲインを拡散反射と比較して強くしている場合は、「鼻」や「頬」の高解像度法線を追加して、鏡面反射成分によるハイライトの効果を出すように制御することも可能である。また、目だけに光を当てている場合は、「眼球」の高解像度法線を追加してキャッチライトの効果がより強く出るように制御することも可能である。

また、鏡面反射成分のゲインがほぼ０で、拡散反射成分のゲインが大きい場合には、全体に光が回るように部分的な高解像度の法線付加は行わずベース法線のみで、反射光成分を生成するように制御することも可能である。解像度の低いベース法線を利用することで、陰影の少ない拡散した光を当てる効果を出すことが可能となる。

また、上記実施例では、リライティングモードが「陰影モード」と「キャッチライトモード」の２つがある場合について説明したが、リライティングモードをこれらに限定するものではない。リライティングモードに応じて、部分的に法線情報を加える（もしくは法線の解像度を高める）方法をとるのであれば、どのようなリライティングモードであってもかまわない。例えば、「唇のツヤを出すモード」を追加し、このモードの場合は、唇の形状の高解像度法線を追加することで、唇に鏡面反射成分を付け、ツヤ（光沢）を出すことが可能となる。

また、本実施例では低解像度の法線モデルに高解像度法線を合成する例を説明したが、高解像度の法線モデルに、鼻や眼球領域を除いた領域の低解像度の法線を合成してもよい。この場合は、被写体全体の法線モデルのうち、一部の法線の解像度を低下させる処理を行うことになる。

また、本実施例では法線モデルを被写体にフィッティングさせる例について説明したがモデルとして持っておく情報は被写体の形状特性を示すものであればどのような情報であってもかまわない。例えば、被写体の立体形状情報を示す３次元のワイヤーフレーム情報であってもかまわない。この場合、ワイヤーフレームが持つ特徴点の情報を基に被写体にフィッティングし、ワイヤーフレームの各点の角度情報から法線を算出する。

また、本実施例では、法線情報を画像データとして記録している場合について説明したが法線が生成できるのであればこの方法に限定するものではない。例えば、法線モデルの代わりに３次元の立体形状モデルをもっておき３次元の立体形状を被写体にフィッティングさせ、３次元立体形状モデルから法線情報を生成する構成をとってもかまわない。

＜第２の実施例＞
以下、図８〜９を参照して、本発明の第２の実施例における、デジタルカメラについて説明する。

第１の実施例では、リライティングのパラメータに基づいて、付加する高解像度の法線情報を選択する例について説明したが、第２の実施例では、被写体と高解像度法線パーツの特徴点の一致度に基づいて、高解像度の法線情報を利用するか否かを決定する。つまり、被写体と高解像度法線パーツの特徴点がある程度類似していると判断すれば、高解像度の法線情報を利用することとする。

第２の実施例における、デジタルカメラの全体構成は実施例１（図１〜図３）で説明したものと同様であるため、説明は省略する。第２の実施例では、法線生成部（図３の３０６）が法線を生成するフローが実施例１と異なるため、図８を用いて、法制生成部３０６の動作フローについて詳細を説明する。

図８において、Ｓ８０１〜Ｓ８０３ではベース法線モデルを読み込み、ベース法線を被写体にフィッティングする。この処理は、図４のＳ４０１〜４０３と同じであるため、説明は省略する。

ステップＳ８０４では、複数ある高解像度法線パーツの中から一つを読み込む。高解像度法線パーツとしては、「眼球」「鼻」「口」「頬」などを用意しておき順に読み込む。本実施例では、最初に「口」の法線を読み込む場合を例に説明する。

ステップＳ８０５では、被写体の特徴点と、法線パーツが持つ特徴点の位置関係の比較を行う。これについて図９に被写体および法線の例を用いて説明する。図９（Ａ）（Ｂ）はそれぞれ撮影した被写体像を示している。図９において、白丸の９０１および９０２は「口」の特徴点の位置である。また、図９（Ｂ）はベース法線および高解像度の「口」の法線を示している。９０３は法線における「口」の特徴点の位置を示している。

このとき、法線の特徴点と撮影した被写体の特徴点の形状の比較を行う。例えば図９の例の場合、撮影した被写体の口の特徴点９０１と法線の特徴点９０３とを比較する。比較の手法は口の両端の特徴点の距離でサイズを正規化した後に、撮影画像の特徴点９０１、９０２と法線の特徴点９０３の間の相対距離を算出する。全ての特徴点間の距離の総和が所定の閾値以下の場合は、撮影画像の特徴点の形状が法線と同じと判断する。閾値以上の場合は、撮影画像と法線の形状が異なると判断する。９０１、９０２の例の場合、法線の特徴点の形状は「口」が閉じている。そのため、同じように「口」が閉じている法線の特徴点９０３は法線と形状が同じと判断する。一方、「口」が開いている９０２の場合は被写体の特徴点９０２と法線の特徴点９０３は形状が異なると判断する。

ステップＳ８０６では、ステップＳ８０５で被写体と法線の特徴点の形状が同じと判断した場合は、ステップＳ８０７へ進み、被写体と法線の特徴点の形状が異なると判断した場合は、ステップＳ８０７をスキップしてステップＳ８０８へ進む。

ステップＳ８０７では、高解像度の法線（例えば口の高解像度法線）を被写体にフィッティングし、ベース法線と合成する。この処理は図４の４０６の処理と同じである。

ステップＳ８０８では、全ての高解像度法線パーツを処理したかを判断する。上記は高解像度法線が「口」の場合を例に説明したが、高解像度法線パーツは「口」以外にも「眼球（目）」や「鼻」、など複数ある。これら、すべての高解像度法線パーツを同様に処理するまでステップＳ８０４に戻って繰り返す。

以上説明した通り、本実施例ではリライティング処理を行う場合に、高解像度法線パーツと被写体の特徴点を比較し、特徴点の形状が近い高解像度法線パーツのみを利用する構成とした。これにより、被写体の形状と法線の形状が異なる事により不自然な陰影やハイライトが付くなどの弊害を低減させることができるようになる。

＜他の実施形態＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (16)

1. 画像を入力する入力手段と、
   前記入力手段により入力された入力画像に対する仮想光源の特性を設定する設定手段と、
   前記入力画像中の被写体の形状情報を生成する生成手段と、
   前記仮想光源の特性と、前記生成手段により生成された前記形状情報とに基づき、前記入力画像中の被写体に仮想的な光の効果を付加する付加手段とを有し、
   前記生成手段は、前記仮想光源の特性に基づいて、前記被写体のうち特定の領域の形状情報の精度が、前記被写体のうち他の領域の形状情報の精度よりも高くなるよう制御することを特徴とする画像処理装置。
2. 前記形状情報は、被写体面に対する法線情報もしくは立体形状情報であることを特徴とする請求項１に記載の画像処理装置。
3. 前記生成手段は、前記被写体の形状情報を示す第１の形状情報と、前記被写体のうち特定の領域の形状情報を示す第２の形状情報とを取得し、
   前記第１の形状情報と前記第２の形状情報とに基づき、前記付加手段による効果の付加に用いる第３の形状情報を生成することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記第２の形状情報は、前記第１の形状情報よりも前記特定の領域における前記形状情報の精度が高いことを特徴とする請求項３に記載の画像処理装置。
5. 前記生成手段は、被写体領域のうちいずれを特定の領域とするかを前記仮想光源の特性に基づいて判断することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記特定の領域は、人物の鼻を示す領域であることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記特定の領域は、人物の眼を示す領域であることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
8. 前記特定の領域は、人物の唇を示す領域であることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
9. 前記仮想光源の特性とは、前記仮想的な光を照射することによる効果を示すモードであることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
10. 前記モードは、前記入力画像内の人物に陰影を付加する第１のモードを含み、
    前記第１のモードにおいて、前記生成手段は、前記入力画像中の人物の鼻を示す領域の形状情報の精度を高くすることを特徴とする請求項６に記載の画像処理装置。
11. 前記モードは、前記入力画像内の人物の眼にキャッチライトの効果を付加する第２のモードを含み、
    前記第２のモードにおいて、前記生成手段は、前記入力画像中の人物の眼を示す領域の形状情報の精度を高くすることを特徴とする請求項１０に記載の画像処理装置。
12. 前記モードは、前記入力画像内の人物の唇に光沢を付加する第３のモードを含み、
    前記第３のモードにおいて、前記生成手段は、前記入力画像中の人物の唇を示す領域の形状情報の精度を高くすることを特徴とする請求項１１に記載の画像処理装置。
13. 前記仮想光源の特性は、仮想光源の位置、強度、照射範囲、光源の色、被写体の反射特性いずれかを含む情報であることを特徴とする請求項１乃至１２のいずれか１項に記載の画像処理装置。
14. 入力画像中の被写体から特徴情報を抽出する抽出手段をさらに有し、
    前記付加手段は、前記第２の形状情報と前記抽出手段により抽出された特徴情報とが類似していないと判断された場合、前記第２の形状情報を用いて前記仮想的な光の効果を付加しないことを特徴とする請求項４に記載の画像処理装置。
15. 画像を入力する入力工程と、
    前記入力工程で入力された入力画像に対する仮想光源の特性を設定する設定工程と、
    前記入力画像中の被写体の形状情報を生成する生成工程と、
    前記仮想光源の特性と、前記生成工程で生成された前記形状情報とに基づき、前記入力画像中の被写体に仮想的な光の効果を付加する付加工程とを有し、
    前記生成工程では、前記仮想光源の特性に基づいて、前記被写体のうち特定の領域の形状情報の精度が、前記被写体のうち他の領域の形状情報の精度よりも高くなるようにすることを特徴とする画像処理装置の制御方法。
16. コンピュータを、請求項１乃至１４のいずれか１項に記載の画像処理装置として機能させるコンピュータが実行可能な画像処理装置。

Images