JP2018201089A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】 動きのある被写体を撮影した動画について、フレーム画像ごとにリライティング処理のパラメータが設定すると、リライティング処理の効果が変化してしまい、リライティング処理後の動画が視聴者に見づらいという課題がある。【解決手段】 動画を構成する複数のフレーム画像に対して仮想光源によるリライティング効果を付与する画像処理を行う画像処理装置であって、動画撮影時の撮影画角の変動に関する撮影情報を取得する取得手段と、複数のフレーム画像にリライティング効果を付与する画像処理を行う処理手段と、処理手段による画像処理に用いるパラメータを設定する設定手段と、を備え、設定手段は、複数のフレーム画像のうちで撮影画角の変動が生じた期間のフレーム画像に対して、少なくとも撮影情報を用いてパラメータを設定する。【選択図】 図１

Description

本発明は、動画を構成する複数のフレーム画像に対して仮想光源によるリライティング効果を付与する画像処理に関する。

従来から、撮影画像に撮影時に存在しなかった仮想的な光源（以下、仮想光源と称する）を設定し、画像内の被写体に対して仮想光源から光が照射されたような効果を付与する画像処理が知られている。このような画像処理はリライティング処理と称され、撮影時の環境光で生じた影などの暗部領域を明るくするなどすることが可能である。

下記特許文献１は、画像中の顔領域情報を作成し、顔領域情報の結果に応じて、領域毎にリライティングなどの特殊処理をする方法を開示している。より具体的には、顔の有無および顔の位置といった顔領域情報とシーン判別手段によるシーン判別結果に応じて、顔領域でのリライティング処理を行う。

特開２００７−１４８５３７号公報

画像にリライティング処理を行って陰影を補正する場合、仮想光源の位置、強度、角度といったリライティング処理に用いるパラメータを適切に決定することが必要である。

この点に関し、特許文献１は、顔の有無および顔の位置といった顔領域情報と更にシーン判別手段による夕景、夜景、青空といったシーン判別結果に応じてリライティング処理をする対象領域やリライティング強度を決定している。

しかしながら、特許文献１は静止画を対象としたものであり、動画については仮想光源をどのように設定するか考慮していない。例えば、歩いていたり走っていたりといった動きのある被写体をフレーム画像ごとに最適な仮想光源のパラメータでリライティング処理してしまうと、パラメータがフレーム単位で切り替えられ、リライティング処理後の動画像が見づらいという課題がある。

そこで、本発明は、動画に対して仮想光源によるリライティング効果を適切に付与する画像処理を提供する。

本発明の１実施態様は、動画を構成する複数のフレーム画像に対して仮想光源によるリライティング効果を付与する画像処理を行う画像処理装置であって、動画撮影時の撮影画角の変動に関する撮影情報を取得する取得手段と、前記複数のフレーム画像にリライティング効果を付与する画像処理を行う処理手段と、前記処理手段による画像処理に用いるパラメータを設定する設定手段と、を備え、前記設定手段は、前記複数のフレーム画像のうちで撮影画角の変動が生じた期間のフレーム画像に対して、少なくとも前記撮影情報を用いて、前記パラメータを設定することを特徴とする。

本発明によれば、動画に対して適切なリライティング処理を行うことが可能となる。

本発明におけるデジタルカメラの構成を示すブロック図である。 本発明における画像処理部の構成を示すブロック図である。 本発明におけるリライティング処理部の構成を示すブロック図である。 本発明における仮想光源の照射による反射を説明する図である。 本発明におけるリライティング処理前後の画像を説明する図である。 本発明における仮想光源パラメータを決定するフローチャートである。 本発明における仮想光源パラメータとカメラ情報の対応を示す表である。

以下、本発明の実施形態について図面を用いて詳細に説明する。なお、本発明を動画撮影が可能なデジタルカメラに適用した実施形態を用いて説明するが、本発明はデジタルカメラに限らず、他の画像処理装置に適用することができる。

（第１の実施形態）
図１〜７を参照して、本発明の実施形態を説明する。

図１は、本発明の実施形態によるデジタルカメラの構成例を示すブロック図である。

図１において、１００はデジタルカメラ全体、１０１はズームレンズ、フォーカスレンズを含むレンズ群、１０２は絞り機能を備えるシャッター、１０３は光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像部、１０４は、アナログ信号をデジタル信号に変換するＡ／Ｄ変換器、１０５はＡ／Ｄ変換器１０４から出力される画像データに対し、ホワイトバランス処理や、γ処理、輪郭強調、色補正処理などの各種画像処理を行う画像処理部である。

１０６は画像メモリ、１０７は画像メモリ１０６を制御するメモリ制御部、１０８は入力デジタル信号をアナログ信号に変換するＤ／Ａ変換器、１０９はＬＣＤ等の表示部、１１０は画像データを圧縮符号化・復号化するコーデック部である。

１１１は記録媒体１１２とのインタフェースＩ／Ｆ、１１２はメモリカードやハードディスク等の記録媒体、１１３は、撮影画像中から被写体の顔を検出する顔検出部、１１４は、撮影画像にリライティング処理を行うリライティング処理部、５０はデジタルカメラ１００のシステム全体を制御するシステム制御部である。

また、１２１は、プログラムやパラメータなどを格納するＥＥＰＲＯＭなどの不揮発性メモリであり、１２２はシステム制御部５０の動作用の定数、変数、不揮発性メモリ１２１から読みだしたプログラム等を展開するシステムメモリである。１２３は被写体との距離を測定し、撮影画素の画素単位に対応する距離情報を２次元の距離マップ画像として出力する測距センサである。

次に、上記のように構成されたデジタルカメラ１００の撮影時の基本動作について説明する。撮像部１０３は、レンズ１０１及びシャッター１０２を介して入射した光を光電変換し、入力画像信号としてＡ／Ｄ変換器１０４へ出力する。Ａ／Ｄ変換器１０４は撮像部１０３から出力されるアナログ画像信号をデジタル画像信号に変換し画像処理部１０５に出力する。

画像処理部１０５は、Ａ／Ｄ変換器１０４からの画像データ、又は、メモリ制御部１０７からの画像データに対し、ホワイトバランスなどの色変換処理、γ処理、輪郭強調処理などを行う。また、画像処理部１０５では、顔検出部１１３で取得した顔検出結果や、撮像した画像データを用いて所定の評価値算出処理（図示しない）を行い、得られた評価値結果に基づいてシステム制御部５０が露光制御、測距制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理などを行う。

画像処理部１０５から出力された画像データは、メモリ制御部１０７を介して画像メモリ１０６に書き込まれる。画像メモリ１０６は、撮像部１０３から出力された画像データや、表示部１０９に表示するための画像データを格納する。

また、Ｄ／Ａ変換器１０８は、画像メモリ１０６に格納されている画像表示用のデータをアナログ信号に変換して表示部１０９に供給する。表示部１０９は、ＬＣＤ等の表示器上に、Ｄ／Ａ変換器１０８からのアナログ信号に応じた表示を行う。

コーデック部１１０は、画像メモリ１０６に記録された画像データをＭＰＥＧなどの規格に基づきそれぞれ圧縮符号化する。システム制御部５０は符号化した画像データを関連付けて、記録インタフェース１１１を介して記録媒体１１２に格納する。

上記の基本動作以外に、システム制御部５０は、前述した不揮発性メモリ１２１に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。ここでいうプログラムとは、本実施形態にて後述する各種フローチャートを実行するためのプログラムのことである。この際、システム制御部５０の動作用の定数、変数、不揮発性メモリ１２１から読み出したプログラム等をシステムメモリ１２２に展開する。

次に、画像処理部１０５の詳細な構成について図２を用いて説明する。図２は画像処理部１０５の構成を示すブロック図である。

図２において、２００は同時化処理部、２０１はＷＢ増幅部、２０２は輝度・色信号生成部、２０３は輪郭強調処理部、２０４は輝度ガンマ処理部、２０５は色変換処理部、２０６は色γ処理部、２０７は色差信号生成部、２０８は陰影情報取得部である。

次に、画像処理部１０５における処理について説明する。図１のＡ／Ｄ変換部１０４から入力された画像信号が画像処理部１０５に入力される。

画像処理部１０５に入力された画像信号は同時化処理部２００に入力される。同時化処理部２００は入力されたベイヤーＲＧＢの画像データに対して、同時化処理を行い、色信号Ｒ，Ｇ，Ｂを生成する。

ＷＢ増幅部２０１は、システム制御部５０が算出するホワイトバランスゲイン値に基づき、ＲＧＢの色信号にゲインをかけ、ホワイトバランスを調整する。ＷＢ増幅部２０１が出力したＲＧＢ信号は輝度・色信号生成部２０２に入力される。輝度・色信号生成部２０２は、ＲＧＢ信号から輝度信号Ｙを生成し、生成した輝度信号Ｙを輪郭強調処理部２０３、色信号ＲＧＢを色変換処理部２０５へ出力する。

輪郭強調処理部２０３では、輝度信号に対して輪郭強調処理を行い、輝度ガンマ処理部２０４へ出力する。輝度ガンマ処理部２０４では輝度信号Ｙに対してガンマ補正を行い、輝度信号Ｙを画像メモリ１０６に出力する。

色変換処理部２０５は、ＲＧＢ信号に対するマトリクス演算などにより、所望のカラーバランス（色空間）に変換する。色ガンマ処理部２０６では、ＲＧＢの色信号にガンマ補正を行う。色差信号生成部２０７では、ＲＧＢ信号から色差信号Ｒ−Ｙ信号、Ｂ−Ｙ信号を生成する。

画像メモリ１０６に出力された画像信号（輝度信号Ｙ，色差信号（Ｒ−Ｙ信号，Ｂ−Ｙ信号））は、コーデック部１１０によって圧縮符号化し、記録媒体１１２に記録する。

また、色変換処理部２０５の出力するＲＧＢ信号を陰影情報取得部２０８にも入力する。陰影情報取得部２０８は、撮影時の環境光源によって被写体に生じた陰影の状態を解析するための情報（陰影情報）を取得する。例えば、被写体の平均輝度情報や顔領域の輝度ヒストグラム情報などを陰影情報として取得してもよい。

次に、リライティング処理部１１４の詳細な構成および動作について、図３を用いて説明する。

例えばユーザ操作により、リライティング処理が選択されている場合は、画像処理部１０５から出力した画像信号をリライティング処理部１１４に入力し、仮想光源によるリライティング処理を行う。

図３は、リライティング処理部１１４の構成を示すブロック図である。

図３において、３０１は入力された画像信号（輝度信号Ｙ，色差信号（Ｒ−Ｙ信号，Ｂ−Ｙ信号））をＲＧＢ信号に変換するＲＧＢ信号変換部、３０２はデガンマ処理を行うデガンマ処理部である。

また、３０３は測距センサ１２３から出力される撮像装置と被写体との距離情報を取得する距離算出部、３０４は被写体の法線を算出する法線算出部、３０５は仮想光源が被写体に反射した成分を算出する仮想光源反射成分算出部、３０６は仮想光源によるリライティング効果を付加する仮想光源付加処理部である。

また、３０７はＲＧＢ信号にガンマ特性をかけるガンマ処理部、３０８はＲＧＢ信号を輝度信号（Ｙ）・色差信号（Ｂ−Ｙ信号、Ｒ−Ｙ信号）に変換する輝度・色差信号変換部である。

上述した構成のリライティング処理部１１４の動作について説明する。

リライティング処理部１１４は、画像メモリ１０６に記録された輝度・色差信号（Ｙ、Ｂ−Ｙ、Ｒ−Ｙ）を読み出し、入力とする。ＲＧＢ信号変換部３０１は、入力された輝度・色差信号（Ｙ、Ｂ−Ｙ、Ｒ−Ｙ）をＲＧＢ信号に変換し、デガンマ処理部３０２へ出力する。

デガンマ処理部３０２は、画像処理部１０５のガンマ処理部で掛けられたガンマ特性と逆の特性の演算を行いリニアデータに変換する。デガンマ処理部３０２は、リニア変換後のＲＧＢ信号（Ｒｔ、Ｇｔ、Ｂｔ）を、仮想光源反射成分算出部３０５および仮想光源付加処理部３０６に出力する。

一方、距離算出部３０３は、測距センサ１２３から取得した被写体距離情報（被写体距離値）を用いて距離マップを生成する。ここで被写体距離情報とは、撮影画像の画素単位で得られる２次元の距離情報（距離値）のことである。また距離マップとは、たとえば被写体距離値を画素単位で階調などを用いて示した画像である。

法線算出部３０４は、距離算出部３０３が生成した距離マップから法線マップを算出する。距離マップから法線マップを生成する方法に関して公知の技術を用いることが可能であるが、本実施形態における具体的な処理例について図４を用いて説明する。

図４はカメラ撮影座標と、被写体の関係を示す図である。例えば、図４に示すようにある被写体４０１に対して、撮影画像の水平方向の差分ΔＨに対する距離（奥行き）Ｄの差分ΔＤから勾配情報を算出し、勾配情報から法線Ｎを算出することが可能である。撮影した各画素に対して上記の処理を行うことで、撮影画像の各画素に対応する法線情報Ｎを算出可能である。法線算出部３０４は、撮影画像の各画素に対応する法線情報を法線マップとして仮想光源反射成分算出部３０５に出力する。

仮想光源反射成分算出部３０５では、光源と被写体の距離Ｋ、法線情報Ｎ、仮想光源パラメータＬに基づき、設定した仮想光源から照射される光が被写体にて反射する成分を算出する。具体的には、光源と被写体との距離Ｋの二乗に反比例し、被写体法線ベクトルＮと光源方向ベクトルＬの内積に比例するように、撮影画像に対応する座標位置の反射成分を算出する。

これについて、図４を用いて説明する。図４において、４０１が被写体、４０２は設定した仮想光源の位置を示している。カメラ１００で撮影された撮影画像の水平画素位置Ｈ１（垂直画素位置は説明の簡略化のため省略）における反射成分は、カメラ座標Ｈ１における法線Ｎ１と仮想光源の方向ベクトルＬ１の内積に比例し、仮想光源と被写体位置の距離Ｋ１に反比例する値となる。

この関係を数式で表現すると、仮想光源による被写体反射成分（Ｒａ、Ｇａ、Ｂａ）は下記の数式（１）の通りとなる。
Ｒａ＝α×（−Ｌ・Ｎ）／Ｋ^２×Ｒｔ
Ｇａ＝α×（−Ｌ・Ｎ）／Ｋ^２×Ｇｔ （１）
Ｂａ＝α×（−Ｌ・Ｎ）／Ｋ^２×Ｂｔ

ここで、αは仮想光源から照射される光の強さであり、リライティング補正量のゲイン値である。Ｌは仮想光源の３次元方向ベクトル、Ｎは被写体の３次元法線ベクトル、Ｋは仮想光源と被写体の距離である。また、Ｒｔ、Ｇｔ、Ｂｔはデガンマ処理部３０２から出力された撮影ＲＧＢデータである。

上記の数式により算出された仮想光源による反射成分（Ｒａ、Ｇａ、Ｂａ）は仮想光源付加処理部３０６へ出力される。仮想光源付加処理部３０６は、仮想光源成分（Ｒａ、Ｇａ、Ｂａ）を付加するように、下記の数式（２）に従う処理を行う。
Ｒｏｕｔ＝Ｒｔ＋Ｒａ
Ｇｏｕｔ＝Ｇｔ＋Ｇａ （２）
Ｂｏｕｔ＝Ｂｔ＋Ｂａ

仮想光源付加処理部３０６から出力された画像信号（Ｒｏｕｔ、Ｇｏｕｔ、Ｂｏｕｔ）はガンマ処理部３０７に入力される。ガンマ処理部３０７では、ＲＧＢの入力信号にガンマ補正を行う。輝度・色差信号変換部３０８では、ＲＧＢ信号から輝度信号Ｙ、色差信号Ｒ−Ｙ、Ｂ−Ｙ信号を生成する。

以上が、リライティング処理部１１４の動作である。リライティング処理部１１４によるリライティング処理の実施例を図５に示す。図５（ａ）がリライティング処理前の撮影画像であり、図５（ｂ）がリライティング処理後の撮影画像の例である。図５（ａ）で暗かった中央の人物被写体に仮想光源の光をあててリライティング処理をすることで図５（ｂ）のように明るく補正される。

システム制御部５０は、リライティング補正部１１４が出力した輝度信号と色差信号を、メモリ制御部１０７の制御によって、画像メモリ１０６に蓄積したのち、コーデック部１１０で圧縮符号化を行う。また、Ｉ／Ｆ１１１を介して、画像信号を記録媒体１１２に記録する。

図６は、システム制御部５０の動作を示したフローチャートである。以下、図６のフローチャートに従って、システム制御部５０が取得した動画撮影時の撮影画角の変動に関するカメラ情報に基づいて、リライティング処理部１１４の仮想光源のパラメータを決定する動作について説明する。

ここでカメラ情報とは、撮影時の撮影画角の変動に関する撮影情報であり、例えば、カメラのレンズのズーム動作の有無、パンニング動作の有無などである。

図６にリライティング処理部１１４の仮想光源のパラメータを決定するシステム制御部５０のフローチャートを示す。

ステップＳ６０１では、操作部１２０を介してユーザからの操作によってリライティング処理が選択されているか判定する。即ち、リライティング処理部１１４による処理を行うか否かを判定する。リライティング処理を行う場合はステップ６０２に進む。

ステップＳ６０２では、被写体を動画撮影する。

ステップＳ６０３では、レンズ群１０１、シャッター１０２、撮像部１０３の設定値からカメラ本体から被写体までの距離、レンズのズーム動作の有無、パンニング動作の有無等のカメラ情報を、フレーム毎に取得する。なお、以下の説明において１フレームで取得された画像をフレーム画像と称し、動画は複数のフレーム画像で構成される。

ステップＳ６０４では、ステップＳ６０３において取得したカメラ情報と仮想光源のパラメータ設定表に基づき、仮想光源のパラメータを決定する。具体的には、図７（ａ）に示すような各フレームにおけるカメラ情報と、図７（ｂ）に示すズーム動作時の仮想光源設定表に基づいて決定する。

図７（ａ）において、７０１はフレーム番号（フレームＮｏ．）、７０２はカメラ情報を示す。図７（ｂ）において、７０３はカメラ情報、７０４はモード、７０５は仮想光源の設定を示す。ここでモードとは、カメラ情報（ズーム動作、パンニング動作）ごとにあらかじめ設定された仮想光源の設定方法を示すコードである。カメラ情報の種類とモードに応じて、仮想光源の設定方法が一意に決定される。なお、モードは操作部１２０を用いて複数のモードから選択可能にしてもよい。

例えば、フレーム番号が０から３の期間において、図７（ａ）によりカメラ情報としてズームイン動作中という情報を取得する。次に、図７（ｂ）により、ズームイン動作中であって、モード０が設定されていれば、この期間においては、当該期間の前のフレームで設定された仮想光源の位置から変えないように制御する。

なお、モード１が設定されている場合は、当該期間の前のフレームで設定された仮想光源の位置から、被写体に対して相対的に遠くなる位置に再度設定し、その期間では設定された位置から変えないように制御する。何れのモードであっても、ズーム動作中は仮想光源の位置を固定する。カメラの画角が被写体をズームアップして撮影していた場合は、仮想光源の位置を僅かにずらしただけでも反射光の変化が大きいからである。

より具体的には、フレーム番号が１の時に、顔検出部１１３で取得した主被写体の顔位置が（ｘ_１，ｙ_１）であるとすると、仮想光源による被写体反射成分（Ｒａ（ｘ_１，ｙ_１）、Ｇａ（ｘ_１，ｙ_１）、Ｂａ（ｘ_１，ｙ_１））は、次式（３）で表わされる。
Ｒａ（ｘ_１，ｙ_１）
＝α×（−Ｌ（ｘ_１，ｙ_１）・Ｎ（ｘ_１，ｙ_１））／Ｋ（ｘ_１，ｙ_１）^２×Ｒｔ
Ｇａ（ｘ_１，ｙ_１）
＝α×（−Ｌ（ｘ_１，ｙ_１）・Ｎ（ｘ_１，ｙ_１））／Ｋ（ｘ_１，ｙ_１）^２×Ｇｔ （３）
Ｂａ（ｘ_１，ｙ_１）
＝α×（−Ｌ（ｘ_１，ｙ_１）・Ｎ（ｘ_１，ｙ_１））／Ｋ（ｘ_１，ｙ_１）^２×Ｂｔ

Ｌ（ｘ_１，ｙ_１）は、仮想光源の３次元方向ベクトル、Ｎ（ｘ_１，ｙ_１）は、（ｘ_１，ｙ_１）の位置にいる被写体の３次元法線ベクトル、Ｋ（ｘ_１，ｙ_１）は仮想光源と（ｘ_１，ｙ_１）の位置にいる被写体との距離を示す。仮想光源からの光が被写体にあたるとは、（Ｒａ（ｘ_１，ｙ_１）、Ｇａ（ｘ_１，ｙ_１）、Ｂａ（ｘ_１，ｙ_１））が正の値となることを示す。

図７（ａ）においてフレーム番号０〜３の期間はズームイン動作中であり、図７（ｂ）によりズームイン動作中であり、モードが０の時は仮想光源の位置を変えない、すなわちフレーム番号０〜３の期間では被写体との距離Ｋ（ｘ_０，ｙ_０）をデフォルトのまま変えないように制御する。また、モードが１の時は仮想光源の位置をデフォルトの位置よりも遠くにして、その期間では変更しないように制御する、すなわち、被写体との距離Ｋ（ｘ_０，ｙ_０）をデフォルトの値よりも大きい値に設定するよう制御する。

以上の処理によって、制御部５０はズーム動作の有無といったカメラ情報に基づいて、リライティング処理部１１４の仮想光源のパラメータを決定する。

なお、図７（ｂ）の仮想光源設定表において、モードが０、１の２つある場合について説明したが、カメラ情報を基に仮想光源の位置、発光角度（照射角度）、発光強度、光源の種類（色温度）などのパラメータを制御するものであれば、これに限定するものではない。少なくとも１つのパラメータを設定するものであればよい。なお、カメラ情報の種類や仮想光源の設定をより詳細に設定して３つ以上のモードを用意しても良い。

また、ズーム動作とは別にパンニング動作にあわせて仮想光源の設定を行ってもよい。パンニング動作の検出方法としては、例えば対象画像を任意の領域に分け、各領域内の動きベクトルの時間的変化を検出し、同じ方向の動きベクトルが所定数以上ある場合に、パンニング動作がなされていると判断する。または、カメラに搭載されたセンサから出力された動き情報を用いてもよい。

パンニング動作時の仮想光源設定の例を図７（ｃ）に示す。

図７（ｃ）において、７０６はカメラ情報、７０７はモード、７０８は仮想光源設定を示す。パンニング動作中且つモードが０の場合は仮想光源の位置を変えないよう制御し、パンニング動作中且つモードが１の場合は仮想光源の位置はパンニングの速度と連動するように制御し、パンニング動作中且つモードが２の場合は仮想光源の位置は変えずに仮想光源の角度をパンニングと連動するよう制御する例である。

パンニング動作と仮想光源の位置や角度の変更を連動する方法としては、例えば対象画像を任意の領域に分け、各領域内の動きベクトルの時間的変化によりパンニングの速度を算出し、算出したパンニング速度と同一の速度で仮想光源の位置を変更する。もしくは算出したパンニング速度に任意の係数を乗算した速度に合わせて、仮想光源の位置を変更するといった方法がある。

また、本実施形態では、リライティング処理によって画像内の被写体領域を明るく補正する場合について述べたが、逆に暗くなるようにリライティング処理を行ってもよい。その場合、仮想光源のゲイン値αをマイナスに設定すればよい。

さらに、仮想光源の位置と処理対象画素の距離Ｄの算出方法は、上述した算出方法に限定するものではなく、他の算出方法を用いてもよい。例えば、カメラ位置および被写体位置を３次元位置として取得し、３次元での距離で計算してもよい。

また、仮想光源を付加する場合に、距離の二乗に反比例する式で計算したが、仮想光源の付加量をこの方式で算出するものに限定するものではない。例えば、距離Ｄに反比例するものや、ガウス分布的に照射範囲が変化する式であってもよい。

さらに、本実施形態では、フレームごとにカメラ情報を取得して仮想光源のパラメータの設定をフレーム単位で処理する例について説明したがこれに限るものではない。１フレーム単位ではなく数フレーム単位でカメラ情報を取得して制御する構成にしても良い。

また、本実施形態では、撮像装置としてデジタルカメラが被写体情報を基に仮想光源のパラメータを決定しリライティング処理する例について説明したがこれに限るものではない。例えば、パーソナルコンピューター等において、デジタルカメラで撮影した画像データを取り込み、取り込んだ画像データの被写体情報を解析することで、仮想光源のパラメータを決定してパーソナルコンピューターにおいてリライティング処理を行う構成であっても良い。

また、パーソナルコンピューター等において、リライティング処理機能を有するデジタルカメラで撮影したリライティング処理前の画像データと、デジタルカメラにおいて取得した被写体情報、仮想光源のパラメータ情報とを取り込み、デジタルカメラでのリライティング処理ではユーザの意図通りにリライティング出来ていないシーンに限り、再度仮想光源のパラメータを編集しリライティング処理をし直すといった構成としても良い。

５０ システム制御部
１００ デジタルカメラ
１０５ 画像処理部
１１４ リライティング処理部
１２０ 操作部

Claims (6)

1. 動画を構成する複数のフレーム画像に対して仮想光源によるリライティング効果を付与する画像処理を行う画像処理装置であって、
   動画撮影時の撮影画角の変動に関する撮影情報を取得する取得手段と、
   前記複数のフレーム画像にリライティング効果を付与する画像処理を行う処理手段と、
   前記処理手段による画像処理に用いるパラメータを設定する設定手段と、を備え、
   前記設定手段は、前記複数のフレーム画像のうちで撮影画角の変動が生じた期間のフレーム画像に対して、少なくとも前記撮影情報を用いて、前記パラメータを設定することを特徴とする画像処理装置。
2. 前記撮影画角の変動は、前記動画を撮影する撮影装置のズーム動作またはパンニング動作によって生じる変動であることを特徴とする請求項１に記載の画像処理装置。
3. 前記設定手段が設定するパラメータは、前記仮想光源の位置、発光強度、発光角度および種類の少なくとも１つを含むことを特徴とする請求項１または請求項２に記載の画像処理装置。
4. 撮影画角の変動が前記動画を撮影する撮影装置のズーム動作によって生じる場合は、前記仮想光源の位置を変えないモードと、前記仮想光源の位置を被写体に対して相対的に遠くするモードを選択可能とする選択手段を備えることを特徴とする請求項１から請求項３までの何れか１項に記載の画像処理装置。
5. 撮影画角の変動が前記動画を撮影する撮影装置のパンニング動作によって生じる場合は、前記仮想光源の位置を変えないモードと、前記仮想光源の位置をパンニング動作に連動して変更するモードと、前記仮想光源の位置を変更せずに発光角度をパンニング動作に連動して変更するモードを選択可能とする選択手段を備えることを特徴とする請求項１から請求項４までの何れか１項に記載の画像処理装置。
6. 動画を構成する複数のフレーム画像に対して仮想光源によるリライティング効果を付与する画像処理方法であって、
   動画撮影時の撮影画角の変動に関する撮影情報を取得する取得ステップと、
   前記複数のフレーム画像にリライティング効果を付与する画像処理を行う処理ステップと、
   前記処理ステップでの画像処理に用いるパラメータを設定する設定ステップと、を備え、
   前記設定ステップでは、前記複数のフレーム画像のうちで撮影画角の変動が生じた期間のフレーム画像に対して、少なくとも前記撮影情報を用いて、前記パラメータを設定することを特徴とする画像処理方法。

Images