JP2022079381A - 情報処理装置、撮像装置、制御方法及びプログラム - Google Patents
情報処理装置、撮像装置、制御方法及びプログラム Download PDFInfo
- Publication number
- JP2022079381A JP2022079381A JP2020190565A JP2020190565A JP2022079381A JP 2022079381 A JP2022079381 A JP 2022079381A JP 2020190565 A JP2020190565 A JP 2020190565A JP 2020190565 A JP2020190565 A JP 2020190565A JP 2022079381 A JP2022079381 A JP 2022079381A
- Authority
- JP
- Japan
- Prior art keywords
- light source
- virtual light
- arrangement position
- target subject
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 137
- 230000010365 information processing Effects 0.000 title claims abstract description 26
- 238000003384 imaging method Methods 0.000 title claims abstract description 18
- 238000012545 processing Methods 0.000 claims abstract description 49
- 230000008859 change Effects 0.000 claims abstract description 33
- 230000000694 effects Effects 0.000 claims abstract description 26
- 230000008569 process Effects 0.000 claims description 123
- 238000011002 quantification Methods 0.000 claims 1
- 230000004048 modification Effects 0.000 description 22
- 238000012986 modification Methods 0.000 description 22
- 238000001514 detection method Methods 0.000 description 12
- 230000015654 memory Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 9
- 230000003936 working memory Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000005286 illumination Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 238000010191 image analysis Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 201000005569 Gout Diseases 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
【課題】リライティング処理によって好適な照明効果を実現する仮想光源の配置を行う情報処理装置、撮像装置、制御方法及びプログラムを提供する。【解決手段】撮像装置は、対象被写体の正面を基準として定められた、対象被写体と仮想光源の相対的な位置関係を示す相対関係情報を取得する第1の取得手段と、撮像画像について被撮像方向に対する対象被写体の向きの情報を取得する第2の取得手段と、第1の取得手段が取得した相対関係情報と第2の取得手段が取得した対象被写体の向きの情報とに基づいて、リライティング処理についての仮想光源の暫定的な配置位置を設定する設定手段と、暫定的な配置位置に仮想光源を設定して行われるリライティング処理の有効性を判定する判定手段と、判定結果に基づいて、リライティング処理を行う仮想光源の配置位置を暫定的な配置位置とするか暫定的な配置位置とは異なる配置位置に変更するかを制御する制御手段と、を有する。【選択図】図3
Description
本発明は、情報処理装置、撮像装置、制御方法及びプログラムに関し、特に仮想光源を配置した効果を撮像画像に付す技術に関する。
撮像画像に表れる被写体の像に対して、仮想光源を配置した3次元的な照明効果を付すことで、違和感なく暗部の明るさを補正する技術(以下、リライティング処理として言及)が知られている。このようなリライティング処理は、仮想光源の3次元的な配置位置(光源位置)をユーザが指定する運用が考えられるが、適用対象の撮像画像が多数ある場合、それぞれに対してユーザが光源位置を設定することは現実的ではない。特許文献1には、1つの撮像画像に対するリライティング処理において適用した被写体と仮想光源の相対的な位置関係を、他の撮像画像に対するリライティング処理においても採用することで、設定の簡略化を実現する方法が開示されている。
しかしながら、撮像の構図や被写体のポージングは撮像画像間で種々の態様をとり得るものであり、特定の撮像画像について採用されたものと同様の相対位置関係を示す仮想光源を転用しても、好適な照明効果が得られない可能性があった。
本発明は、リライティング処理によって好適な照明効果が実現される仮想光源の配置を行う情報処理装置、撮像装置、制御方法及びプログラムを提供することを目的とする。
前述の目的を達成するために、本発明の情報処理装置は、撮像画像に含まれる対象被写体の像に適用するリライティング処理について、仮想光源の設定を行う情報処理装置であって、対象被写体の正面を基準として定められた、該対象被写体と仮想光源の相対的な位置関係を示す相対関係情報を取得する第1の取得手段と、撮像画像について、被撮像方向に対する対象被写体の向きの情報を取得する第2の取得手段と、第1の取得手段により取得された相対関係情報と、第2の取得手段により取得された対象被写体の向きの情報とに基づいて、リライティング処理についての仮想光源の暫定的な配置位置を設定する設定手段と、暫定的な配置位置に仮想光源を設定して行われるリライティング処理の有効性を判定する判定手段と、判定手段による判定結果に基づいて、リライティング処理を行う仮想光源の配置位置を、暫定的な配置位置とするか、暫定的な配置位置とは異なる配置位置に変更するかを制御する制御手段と、を有することを特徴とする。
このような構成により本発明によれば、リライティング処理によって好適な照明効果が実現される仮想光源の配置を行うことが可能となる。
[実施形態1]
以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
以下に説明する一実施形態は、撮像装置の一例としての、撮像画像に対してリライティング処理を適用可能なデジタルカメラに、本発明を適用した例を説明する。しかし、本発明は、撮像画像に対して行われるリライティング処理について、仮想光源の条件を設定することが可能な任意の機器に適用可能である。
《デジタルカメラ100の構成》
図1は、本実施形態に係るデジタルカメラ100の機能構成を示したブロック図である。
図1は、本実施形態に係るデジタルカメラ100の機能構成を示したブロック図である。
制御部101は、例えばマイクロコンピュータやCPU等の演算装置であり、デジタルカメラ100が有する各ブロックの動作を制御する。より詳しくは、制御部101は、記録媒体102に記録されている各ブロックの動作プログラムを読み出し、メモリ103に展開して実行することで、各ブロックの動作を制御する。
記録媒体102は、例えば不揮発性メモリ等の、データの恒久的な保持及び書き換えが可能に構成された記録装置である。記録媒体102は、デジタルカメラ100が備える各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記録する。また記録媒体102は、撮像画像及び該撮像画像に対応付けられた関連データ、画像処理が適用されることで生成された画像データを記録する、メモリカード等のデジタルカメラ100から着脱可能な記録装置を含むものであってもよい。
一方、メモリ103は、例えば揮発性メモリ等の、データの一時的な記憶が可能に構成された記録装置であり、デジタルカメラ100が有する各ブロックの動作の制御プログラムの展開領域として機能する。またメモリ103は、各ブロックの動作により出力された中間データの一時的な記憶領域としても用いられる。本実施形態では、制御部101と後述の画像処理部106が、メモリ103をワークメモリとして使用するものとする。
撮像部104は、例えばCCDイメージセンサやCMOSイメージセンサ等の撮像素子である。撮像部104は、不図示の撮像光学系により撮像素子の撮像面に結像された光学像を光電変換してアナログ画像信号を得る。また撮像部104は、得られたアナログ画像信号に対してA/D変換処理を適用し、デジタル画像データ(以下、単に撮像画像として言及)を出力する。
構成部105は、撮像部104により撮像が行われた撮像範囲に含まれる被写体について、デジタルカメラ100との距離(撮像方向における距離)の分布を示した距離マップを構成する。距離マップは、例えば撮像画像と同様の画素構造を有する二次元情報であり、各画素に、撮像画像の対応画素の被写体までの距離の情報が格納された情報であってよい。構成部105は、例えばデジタルカメラ100に設けられた外界センサの出力に基づいて、撮像画像に対応する距離マップを構成してもよいし、視差を有する関係にある複数の撮像画像についてステレオマッチングを行うことで距離マップを構成してもよい。あるいは、構成部105は、その他の手法により撮像時の被写体の距離分布を取得し、距離マップを構成するものであってもよい。構成部105により構成された距離マップは、該当の撮像画像に対応付けられて、記録媒体102に記録されるものとする。
距離マップは、該距離マップが対応付けられた撮像画像に対するリライティング処理において、少なくとも処理対象の被写体(以下、対象被写体として言及)の3次元形状を把握するために参照される。なお、本実施形態では、対象被写体の3次元形状の把握が距離マップに基づいて行われるものとして説明するが、本発明の実施はこれに限られるものではなく、他の情報に基づいて行われるものであってもよいことは言うまでもない。
画像処理部106は、撮像画像に対してリライティング処理を含む種々の画像処理を適用する。より詳しくは、画像処理部106は、メモリ103に展開された撮像画像に対して画像処理を適用し、処理後の画像データを記録媒体102に書き出して記録する。画像処理部106により行われる画像処理は、例えば、ホワイトバランス調整、色補間、縮小/拡大等の撮像画像の記録時に行われる処理を始め、その他の処理を含むものであってよい。
表示制御部107は、表示部110を介した情報提示を制御する。表示部110は、例えばLCD等の表示装置であり、デジタルカメラ100の使用時に係る種々の情報表示を行う。表示制御部107は、デジタルカメラ100が撮像モードで動作している場合には、撮像部104により出力された撮像画像を表示(スルー表示)することで、デジタルビューファインダの機能を実現する。また表示制御部107は、デジタルカメラ100が閲覧モードで動作している場合には、記録媒体102に記録されている撮像画像や、画像処理の適用によって得られた画像の表示を実現する。
操作入力部108は、例えばレリーズスイッチ、設定ボタン、モード設定ダイアル等のユーザインタフェースを含み、ユーザによりなされた操作入力を検出すると、該操作入力に対応する制御信号をシステム制御部101に出力する。また表示部110がタッチパネルセンサを備える態様においては、操作入力部108は、表示部110に対してなされたタッチ操作を検出するインタフェースとしても機能する。
本実施形態ではハードウェアとしてデジタルカメラ100が有する各ブロックに対応した回路やプロセッサにより処理が実現されるものとして説明する。しかしながら、本発明の実施はこれに限られるものではなく、各ブロックの処理が該ブロックと同様の処理を行うプログラムにより実現されるものであってもよい。即ち、本発明は、本実施形態で例示するような撮像装置に組み込まれた回路(画像処理部106)により実現される態様に限らず、汎用PC等の情報処理装置において、対応するアプリケーションプログラムが実行されることで実現される態様も含む。
《リライティング処理に係る機能構成》
続いて、本実施形態の画像処理部106により実現されるリライティング処理に係る機能構成について説明する。
続いて、本実施形態の画像処理部106により実現されるリライティング処理に係る機能構成について説明する。
本実施形態に係るリライティング処理は、基本的には、対象被写体の正面を基準とする一定の相対位置に配置された仮想光源に基づいた、固定的な照明効果を付すことができる機能である。即ち、画像処理部106の該当機能は、撮像画像について対象被写体の位置及び向きが定まれば、仮想空間内の一定の位置に仮想光源を配置してリライティング処理を適用できる。換言すれば、該機能は、適用対象として選択された複数の撮像画像のそれぞれについて個別の仮想光源の設定を要さず、例えば、うち1つの撮像画像について設定された仮想光源の相対的な位置関係等を承継して設定することができる。
一方で、このような設定方法では、対象被写体の向きによっては仮想光源により照明される面が撮像画像に表れていない、または、表れていたとしても小さい等、好適な照明効果が付与された出力画像を得られない可能性がある。従って、本実施形態の画像処理部106では、予め定められた相対位置関係に基づいて仮想光源の配置位置を設定した場合のリライティング処理の有効性を判定し、該判定結果に基づき、必要に応じて仮想光源の配置位置の変更(再設定)を行う。
なお、以下の説明では、リライティング処理に係り、対象被写体の形状を示すモデル(もしくはポイントクラウド)と仮想光源とを仮想的に配置する3次元空間について、対象被写体を原点とする2種類の直交座標系が定義されるものとする。
1つの直交座標系は、撮像時の対象被写体とデジタルカメラ100との位置関係を基準に定められるものであり、本明細書において「絶対座標系」として言及される。絶対座標系は、対象被写体とデジタルカメラ100とを結ぶ軸をz軸とし、対象被写体の位置の該z軸に直交する平面において、現実世界(撮像環境)の鉛直方向に対応する軸をy軸、y軸と直交する軸をx軸として構成される。ここで、現実世界の鉛直方向に対応する軸は、鉛直方向を示すベクトルをz軸に直交する平面に射影して形成される、該直交点を通る軸である。そして、z軸は対象被写体からデジタルカメラ100に向かう方向を、y軸は鉛直上向き方向を、x軸は撮像方向から見て右方向を、それぞれ正とする所謂右手系に構成されているものとする。また絶対座標系のz軸の正の方向は、一つの側面では対象被写体から見たデジタルカメラ100の方向を指しており、以下、対象被写体の被撮像方向としても言及する。
もう1つの直交座標系は、対象被写体の向き(姿勢)を基準に定められるものであり、本明細書において「相対座標系」として言及される。相対座標系は、対象被写体の正面方向に向かう軸をz軸とし、対象被写体の位置の該z軸に直交する平面において、対象被写体について定義された上方向に対応する軸をy軸、y軸と直交する軸をx軸として構成される。そして、z軸は正面方向を、y軸は上向き方向を、x軸は対象被写体の正面から見て右方向を、それぞれ正とする右手系に構成されているものとする。
また、両座標系において任意の方向は軸周りの回転角で規定されるものとし、x軸周りの回転角はx軸の正の方向に見て反時計回りを正の回転方向とし、y軸周りの回転角はy軸の正の方向に見て時計回りを正の回転方向とする符号を付して表される。本実施形態では絶対座標系における対象被写体からデジタルカメラ100に向かう方向、及び相対座標系における対象被写体の正面方向をz軸とするため、x軸周りの回転がピッチ角(以下、仰俯角)を示し、y軸周りの回転がヨー角度(以下、方位角)を示す。
図2は、本実施形態のリライティング処理について、画像処理部106が実現するモジュール構成を示したブロック図である。図2は、リライティング処理の実行により実現される機能を便宜的にモジュールに分離して示したものであり、画像処理部106の回路構成において、これらのモジュールが個別のマイクロチップやプロセッサに分離されることを限定するものではない。
読込モジュール201は、リライティング処理の適用対象である撮像画像、及び該撮像画像に対応付けられた距離マップを記録媒体102から読み込む。読込モジュール201は、読み込んだ情報を作業用メモリ208に展開する。上述したように、本実施形態のリライティング処理の適用対象は複数の撮像画像であってよく、読込モジュール201は適用対象の全ての撮像画像について処理が完了するまで、順に該当の撮像画像を読み込む動作を行う。
また読込モジュール201は、適用対象の一連の撮像画像群について暫定的に設定される仮想光源の配置位置の特定に用いられる情報である相対関係情報を取得し、作業用メモリ208に展開する。本実施形態では相対関係情報は、暫定的に設定される仮想光源について、対象被写体との距離、及び対象被写体の正面方向に対する角度(相対座標系における方位角及び仰俯角)の情報を含んで構成されているものとして説明する。換言すれば、本実施形態の相対関係情報は、相対座標系における仮想光源の配置位置の極座標表現(動径及び2種類の偏角)を含んで構成される。相対関係情報は、例えばリライティング処理の実行に先立ってユーザによりなされた数値入力等に基づいて構成されるものであってもよいし、プリセットの照明条件のうちの選択操作がなされた照明条件に基づいて構成されるものであってもよい。なお、暫定的に設定される仮想光源とは、撮像画像のそれぞれに適用するリライティング処理についての初期設定の仮想光源であり、後述の判定モジュール204の判定結果によってはそのまま処理に採用される。
検出モジュール202は、作業用メモリ208に展開された適用対象の撮像画像に含まれる対象被写体の像を検出する。対象被写体の像の検出は、画像解析によって特定パターンを抽出することにより行われるものであってもよいし、該撮像画像の撮像時に行われた検出結果が存在する場合には、該検出結果を参照して行われるものであってもよい。あるいは、ユーザにより対象被写体の選択に係る操作入力がなされた場合には、該選択内容に基づいて、検出モジュール202は対象被写体の像を特定すればよい。以下では、検出モジュール202は、人物の顔を対象被写体として検出するものとして説明するが、本発明の実施はこれに限られるものではなく、その他の種類の被写体を対象被写体としてもよいことは容易に理解されよう。
また検出モジュール202は、検出した対象被写体について、該対象被写体の向き(対象被写体(人物の顔)の正面方向)を導出する。ここで、対象被写体の向きは、絶対座標系を基準に定められるものであり、対象被写体の正面方向を示すベクトルの、xz平面への射影ベクトルとz軸がなす角度(方位角)と、yz平面への射影ベクトルとz軸がなす角度(仰俯角)で表現されるものとする。即ち、対象被写体がデジタルカメラ100と正対している状態で撮像された場合(被撮像方向が対象被写体の正面方向と一致する場合)には、方位角0度、仰俯角0度となる。また、それ以外の状態で撮像された場合には、それぞれz軸からのずれ角に符号が付された状態で表現される。対象被写体の向きは、例えば適用対象の撮像画像の画像解析や、撮像画像に対応付けられた距離マップに基づいて得られる法線情報を参照して導出されるものであってよい。
設定モジュール203は、対象被写体のリライティング処理に用いられる仮想光源について、各種パラメータの設定を行う。仮想光源のパラメータは、仮想光源の配置位置に加え、仮想光源の種類、色温度、強度等を含むものであってよい。以下の説明では、本実施形態に係る仮想光源の有効性の判定の説明を簡潔にするため、仮想光源は全方向を照射する点光源として説明する。設定モジュール203は、検出モジュール202により導出された該対象被写体の向きの情報と相対関係情報とに基づいて、1体の対象被写体に対する暫定的な仮想光源の配置位置(初期設定位置)を絶対座標系の座標値として導出する。
判定モジュール204は、行われるリライティング処理について、その有効性を判定する。本実施形態では、判定モジュール204の判定の対象となるリライティング処理は、初期設定位置に仮想光源を配置して行われるリライティング処理である。判定モジュール204は、得られた判定結果の情報を変更モジュール205に出力する。
変更モジュール205は、入力された判定結果に応じて、設定モジュール203に仮想光源の設定を変更させるか否かの制御を行う。より詳しくは、変更モジュール205は、初期設定位置に仮想光源を配置して行われるリライティング処理の有効性が所定の基準を満たさないと判定された場合には、仮想光源の配置位置の再設定を設定モジュール203に行わせる。反対に、変更モジュール205は、該リライティング処理の有効性が所定の基準を満たすと判定された場合には、初期設定位置を仮想光源の最終的な配置位置として決定させる。
リライティングモジュール206は、設定モジュール203により設定された仮想光源の設定にてリライティング処理を実行することで、適用対象の撮像画像に含まれる対象被写体の像に照明効果を付す。リライティングモジュール206で適用されるリライティング処理は、対象被写体の像が表れる領域の各画素について、仮想光源によって照明効果が付与された後の画素値を導出して置き換えることにより行われるものであってよい。ここで、本実施形態のリライティング処理は、対象被写体の暗部の明るさを引き上げることを目的とするものであり、仮想光源により照射された光は対象被写体の表面において拡散反射(全方向に均一に反射)する照明効果を実現するものとする。この場合、任意の画素に対する照明効果は、対象被写体の形状を展開した3次元空間における、該画素に対応する面の法線と仮想光源から該面に向かうベクトルとがなす角θの余弦(内積)に比例し、仮想光源と該面までの距離Dの2乗に反比例して表れる。従って、例えば処理対象の画素が画素値(Rin, Gin, Bin)である場合、適用後の画素値(Rout, Gout, Bout)は
で表せる。ここで、Aはcosθに応じて変化する係数、(Rv, Gv, Bv)は仮想光源について定義された光源反射色、Mは適用後の画素値を正規化するための正規化係数である。しかしながら、本発明の実施に際してリライティング処理の演算式はこれに限られるものではなく、他の演算式を用いて導出されるものであってよい。
で表せる。ここで、Aはcosθに応じて変化する係数、(Rv, Gv, Bv)は仮想光源について定義された光源反射色、Mは適用後の画素値を正規化するための正規化係数である。しかしながら、本発明の実施に際してリライティング処理の演算式はこれに限られるものではなく、他の演算式を用いて導出されるものであってよい。
書出モジュール207は、リライティングモジュール206によるリライティング処理が適用されて得られた画像(結果画像)を、記録媒体102に書き出して記録させる。結果画像の書き出しに際し、書出モジュール207は、適用されたリライティング処理における仮想光源の設定の情報を記録後に参照可能なよう、結果画像に対応付けてもよい。
《生成処理》
以下、このようなモジュール構成をもつ本実施形態の画像処理部106で実現される、特定の被写体に対してリライティング処理を適用した結果画像を生成する生成処理の内容について、図3のフローチャートを用いて具体的な処理を説明する。該フローチャートに対応する処理は、制御部101が、例えば記録媒体102に記憶されている対応する処理プログラムを読み出してメモリ103に展開して実行することにより、画像処理部106に行わせることができる。本生成処理は、例えば適用対象として複数の撮像画像が選択され、該複数の撮像画像について仮想光源の初期設定位置の情報の入力により相対関係情報が構成された際に開始されるものとして説明する。即ち、本フローチャートに係る生成処理の実行に先立って、相対関係情報は作業用メモリ208に格納されている。
以下、このようなモジュール構成をもつ本実施形態の画像処理部106で実現される、特定の被写体に対してリライティング処理を適用した結果画像を生成する生成処理の内容について、図3のフローチャートを用いて具体的な処理を説明する。該フローチャートに対応する処理は、制御部101が、例えば記録媒体102に記憶されている対応する処理プログラムを読み出してメモリ103に展開して実行することにより、画像処理部106に行わせることができる。本生成処理は、例えば適用対象として複数の撮像画像が選択され、該複数の撮像画像について仮想光源の初期設定位置の情報の入力により相対関係情報が構成された際に開始されるものとして説明する。即ち、本フローチャートに係る生成処理の実行に先立って、相対関係情報は作業用メモリ208に格納されている。
S301で、読込モジュール201は、適用対象の複数の撮像画像のうちのリライティング処理を未適用の撮像画像を特定し、処理対象の撮像画像(対象画像)として読み込んで作業用メモリ208に展開する。
S302で、検出モジュール202は、対象画像について対象被写体の像を検出する。本実施形態では発明の理解を容易ならしめるべく、各撮像画像には1体の対象被写体の像のみが表れているものとして説明するが、本発明の実施はこれに限られるものではない。複数体の対象被写体の像が表れている場合には、例えば、対象画像中を占める画素数が最も多い像のものを対象被写体の像としてもよいし、いずれの対象被写体にリライティング処理を適用するかの選択をユーザに要求してもよい。あるいは、対象被写体が人物である場合には、人物の認識を行い、予め選択された人物に該当する像のみを検出するものとしてもよい。
また、本ステップにおいて検出モジュール202は、検出した対象被写体の向きを導出する。上述したように、対象被写体の向きの導出には、対象画像に対応付けられた距離マップの情報が参照されてもよい。
S303で、設定モジュール203は、仮想光源の初期設定を行う。当該初期設定は、仮想光源の配置位置を初期設定位置に仮設定することを含み、設定モジュール203は、相対関係情報に基づいて仮想光源の絶対座標系の座標値を導出する。ここで、相対関係情報において、対象被写体の正面方向に対して方位角α、仰俯角β、距離Dの位置から照明することが規定される場合、初期設定位置の相対座標系の座標値(light_x, light_y, light_z)は、
となる。そして設定モジュール203は、S302において検出された対象被写体の向きに基づく回転行列を用いて相対座標系から絶対座標系への座標変換を行い、仮想光源の絶対座標系の座標値を得る。
となる。そして設定モジュール203は、S302において検出された対象被写体の向きに基づく回転行列を用いて相対座標系から絶対座標系への座標変換を行い、仮想光源の絶対座標系の座標値を得る。
S304で、判定モジュール204は、S303において設定された仮想光源によるリライティング処理について有効性を判定する。本実施形態では、有効性の判定に係る演算を簡略化すべく、判定モジュール204は、初期設定位置がいずれの位置にあるかに基づいて、行われるリライティング処理の有効性が所定の基準を満たすか否かを判定する。より詳しくは、判定モジュール204は、仮想光源の初期設定位置が絶対座標系において対象被写体とどのような配置関係となるかに基づいて、該初期設定位置の仮想光源に基づくリライティング処理の有効性の判定を行う。
ここで、仮想光源が対象被写体よりも手前(デジタルカメラ100側)に配置される場合には、仮想光源から照射された光は、結果画像に表れる対象被写体の面(前面)で主に反射されることになる。故に、結果画像に表れる、照明効果が付与される(明るさ補正がなされる)画素の数という観点では、該仮想光源について行われるリライティング処理は有効性が高いと言える。一方で、仮想光源がデジタルカメラ100から見て対象被写体よりも遠離した位置に配置される場合には、仮想光源から照射された光は、結果画像に表れない対象被写体の面(背面)で主に反射されることになる。故に、該仮想光源について行われるリライティング処理は有効性が高いとは言い難い。従って、本実施形態の判定モジュール204は、仮想光源が対象被写体よりも奥、即ち、初期設定位置の絶対座標系におけるz座標が負の値であるか否かにより有効性の判定を行うものとする。より詳しくは、判定モジュール204は、初期設定位置の絶対座標系におけるz座標が負の値である場合には、行われるリライティング処理の有効性が所定の基準を満たさないと判定し、0以上である場合には所定の基準を満たすと判定する。
本判定の具体例として、対象被写体である人物の顔に対して、方位角-60度の方向から照明することを相対関係情報が規定している態様について、図を参照して説明する。例えば、図4(a)に示されるように、対象被写体400がデジタルカメラ100に対して左方(+45度の方位)を向いた状態で対象画像が撮像された場合、絶対座標系のxz空間では、図4(b)のような状態で対象被写体と正面方向が規定される。そして、相対関係情報に基づいて定義される仮想光源の初期設定位置401は、図4(c)に示されるように、同xz空間においてz軸に対して-15度をなす位置となる。この場合、絶対座標系において初期設定位置は対象被写体よりも手前、即ち、対象被写体よりもデジタルカメラ100寄りの位置となるため、判定モジュール204は、該仮想光源に係るリライティング処理の有効性が所定の基準を満たすと判定する。
一方、例えば図5(a)に示されるように、対象被写体500がデジタルカメラ100に対して右方(-45度の方位)を向いた状態で対象画像が撮像された場合、絶対座標系のxz空間では、図5(b)のような状態で対象被写体と正面方向が定義される。そして相対関係情報に基づいて定義される仮想光源の初期設定位置501は、図5(c)に示されるように、同xz空間においてz軸に対して-105度をなす位置となる。この場合、絶対座標系において初期設定位置は対象被写体よりも奥、即ち、対象被写体よりもデジタルカメラ100から遠離した位置となるため、判定モジュール204は、該仮想光源に係るリライティング処理の有効性が所定の基準を満たさないと判定する。
なお、本実施形態では絶対座標系と相対座標系が共通の位置に原点を有するものとしているため、図4及び図5を用いて例示した態様では、単純に角度の加減のみに基づいて判定が可能であったが、本発明の実施はこのような態様に限定されるものではない。即ち、相対座標系の原点が絶対座標系と異なって規定される場合には、仮想光源と対象被写体との距離も考慮して、判定が行われることは言うまでもない。
S305で、変更モジュール205は、S304においてなされた判定結果に基づいて、仮想光源の配置位置を変更するか否かを判断する。変更モジュール205は、初期設定位置に配置した仮想光源に係るリライティング処理の有効性が所定の基準を満たすとの判定結果であった場合には、仮想光源の配置位置を変更しないと判断して処理をS308に移す。即ち、この場合、設定モジュール203は、変更モジュール205からその旨の情報を受信し、リライティングモジュール206が行うリライティング処理について、仮想光源の配置位置を初期設定位置に決定(本設定)する。また変更モジュール205は、初期設定位置に配置した仮想光源に係るリライティング処理の有効性が所定の基準を満たさないとの判定結果であった場合には、仮想光源の配置位置を変更すると判断して処理をS306に移す。
S306で、変更モジュール205は、対象被写体が面対称形状を有する被写体であるか否かを判断する。本実施形態では、人物の顔を対象被写体として検出するため、顔の正中線を通る面を対称面として、対象被写体は面対称形状を有しているものとして扱い、変更モジュール205は処理をS307に移す。なお、人物の顔以外の被写体を対象被写体とする態様においても、事前に形状の対称性が判明している被写体については、検出された被写体がいずれの種別に該当するかに基づいて本ステップの判断を行ってもよい。あるいは、距離マップに基づいて3次元形状を構成し、該3次元形状に基づいて対称性の有無の判断を行うものであってもよい。このとき、変更モジュール205は、対象被写体が面対称形状を有する被写体ではないと判断した場合は、設定モジュール203に仮想光源の配置位置を初期設定位置で決定させ、処理をS308に移す。
S307で、変更モジュール205は、新たな仮想光源の配置位置を導出し、設定モジュール203に設定させる。本実施形態では、変更モジュール205は、対象被写体の形状に係る対称面を介して、初期設定位置と面対称になる位置を新たな仮想光源の配置位置として導出する。例えば、対象被写体と初期設定位置とが図5(c)で示した態様にある場合、変更モジュール205は、図6(a)に示される対称関係の位置601を新たな仮想光源の配置位置として導出する。換言すれば、新たな仮想光源の配置位置は、相対座標系において、初期配置位置の3次元座標を導出する演算式において、方位角の正負を反転させて得られる座標になる。設定モジュール203は、変更モジュール205から変更指示とともに新たな仮想光源の配置位置の情報を受信すると、該情報に基づいて仮想光源の設定を更新し、配置位置を変更して本設定を完了する。
S308で、リライティングモジュール206は、設定モジュール203により設定された仮想光源に基づいて対象被写体にリライティング処理を適用し、結果画像を生成する。本ステップで行われるリライティング処理は、S307において仮想光源の位置の再設定がなされている場合には変更後の仮想光源に基づいて行われ、なされていない場合にはS303において設定された仮想光源に基づいて行われる。
S309で、書出モジュール207は、リライティングモジュール206により生成された結果画像を記録媒体102に書き出す。このとき、書出モジュール207は、生成に際して用いられた仮想光源の設定の情報を、該結果情報に関連付けて記録させる。
S310で、読込モジュール201は、適用対象の複数の撮像画像に、リライティング処理を未適用の撮像画像が存在するか否かを判断する。読込モジュール201は、未適用の撮像画像が存在すると判断した場合は処理をS301に戻し、存在しないと判断した場合は本生成処理を完了する。
以上説明したように、本実施形態の撮像装置によれば、リライティング処理において、好適な照明効果を実現するよう仮想光源を配置することができる。より詳しくは、対象被写体に対して一定の相対関係を示す位置に仮想光源を設定してリライティング処理を適用する態様において、有効性が所定の基準を満たさないと判定される場合に、適応的に光源位置を再設定してリライティング処理を実行できる。
なお、本実施形態では、1つの対象画像に対して1体の対象被写体の像を特定してリライティング処理を行う態様について説明したが、複数体の対象被写体の像を検出し、その各々について仮想光源の設定・判定及びリライティング処理を行うものとしてもよい。
[変形例1]
上述した実施形態1では、仮想光源の初期設定位置が、対象被写体とデジタルカメラ100とを結ぶ軸を含む座標系において対象被写体よりも奥となる場合に、リライティング処理の有効性が所定の基準を満たされないと判定する態様について説明した。しかしながら、本発明の実施はこれに限られるものではなく、所定の基準を満たされるか否かの判定は、初期設定位置の深度値(絶対座標系におけるz座標の値)と、0ではない予め定められた閾値との比較によりなされるものであってもよい。即ち、初期設定位置の深度値が閾値を上回る場合は所定の基準が満たされると判定し、閾値を下回る場合は所定の基準が満たされないと判定するものとしてもよい。
上述した実施形態1では、仮想光源の初期設定位置が、対象被写体とデジタルカメラ100とを結ぶ軸を含む座標系において対象被写体よりも奥となる場合に、リライティング処理の有効性が所定の基準を満たされないと判定する態様について説明した。しかしながら、本発明の実施はこれに限られるものではなく、所定の基準を満たされるか否かの判定は、初期設定位置の深度値(絶対座標系におけるz座標の値)と、0ではない予め定められた閾値との比較によりなされるものであってもよい。即ち、初期設定位置の深度値が閾値を上回る場合は所定の基準が満たされると判定し、閾値を下回る場合は所定の基準が満たされないと判定するものとしてもよい。
例えば、図5に例示した態様において、仮想光源と対象被写体との距離が10であれば、初期設定位置の絶対座標(light_x’, light_y’, light_z’)は
となる。ここで、閾値がz=-5に設定される態様では、変更モジュール205は設定モジュール203に配置位置の変更を行わせないため、リライティングモジュール206によるリライティング処理は初期設定位置に基づいて実行される。
となる。ここで、閾値がz=-5に設定される態様では、変更モジュール205は設定モジュール203に配置位置の変更を行わせないため、リライティングモジュール206によるリライティング処理は初期設定位置に基づいて実行される。
[変形例2]
上述した実施形態1及び変形例1では、リライティング処理の有効性が所定の基準を満たすか否かの判定を、初期設定位置のz座標に基づいて行うものとして説明したが、本発明の実施はこれに限られるものではない。有効性の判定は、絶対座標系における初期設定位置を示すベクトルの方位角に基づいて行われるものであってもよい。判定モジュール204は、-180度~+180度の範囲で定められる方位角の絶対値が、例えば120度を上回る場合にリライティング処理の有効性が所定の基準を満たさないものとして判定してもよい。この場合、図5に例示した態様では、初期設定位置を示すベクトルの方位角は-105度であるため、判定モジュール204は、リライティング処理の有効性が所定の基準を満たすと判定する。なお、本変形例では方位角の絶対値について閾値を設ける態様について説明したが、予め定められた方位角の範囲について、所定の基準が満たされない、または所定の基準が満たされることを定める態様であってもよい。
上述した実施形態1及び変形例1では、リライティング処理の有効性が所定の基準を満たすか否かの判定を、初期設定位置のz座標に基づいて行うものとして説明したが、本発明の実施はこれに限られるものではない。有効性の判定は、絶対座標系における初期設定位置を示すベクトルの方位角に基づいて行われるものであってもよい。判定モジュール204は、-180度~+180度の範囲で定められる方位角の絶対値が、例えば120度を上回る場合にリライティング処理の有効性が所定の基準を満たさないものとして判定してもよい。この場合、図5に例示した態様では、初期設定位置を示すベクトルの方位角は-105度であるため、判定モジュール204は、リライティング処理の有効性が所定の基準を満たすと判定する。なお、本変形例では方位角の絶対値について閾値を設ける態様について説明したが、予め定められた方位角の範囲について、所定の基準が満たされない、または所定の基準が満たされることを定める態様であってもよい。
[変形例3]
上述した実施形態及び変形例では、リライティング処理の有効性が所定の基準を満たすか否かの判定を、相対関係情報により定まる仮想光源の初期設定位置の絶対座標を導出した上で行うものとして説明したが、本発明の実施はこれに限られるものではない。他の撮像画像に係るリライティング処理に用いられた仮想光源の設定に基づいて相対関係情報が構成され、これを用いて対象画像についての仮想光源の初期設定が行われる場合、両画像における対象被写体の向きに基づいて上記判定を行うものとしてもよい。
上述した実施形態及び変形例では、リライティング処理の有効性が所定の基準を満たすか否かの判定を、相対関係情報により定まる仮想光源の初期設定位置の絶対座標を導出した上で行うものとして説明したが、本発明の実施はこれに限られるものではない。他の撮像画像に係るリライティング処理に用いられた仮想光源の設定に基づいて相対関係情報が構成され、これを用いて対象画像についての仮想光源の初期設定が行われる場合、両画像における対象被写体の向きに基づいて上記判定を行うものとしてもよい。
例えば、前者の画像において対象被写体が図4(a)に示したようにデジタルカメラ100の左方を向いており、後者の画像においては図5(a)に示したように右方を向いている態様を例に説明する。この場合、前者の画像の前面(デジタルカメラ100に向いている面)を好適に照明するよう仮想光源が設定されたとすると、該照明される面が表れにくい後者の画像に、同様の相対関係の仮想光源を設定したとしても好適な結果画像が得られない可能性がある。故に、判定モジュール204は、例えば、前者の画像における対象被写体の方位角と後者の画像における対象被写体の方位角の正負が異なる場合に、リライティング処理の有効性が所定の基準を満たさないと判定するものとしてもよい。
[実施形態2]
上述した実施形態及び変形例では、最終的な仮想光源の配置位置が決定した後にリライティング処理を実行して結果画像を記録する態様について説明したが、本発明の実施はこれに限られるものではない。例えば、仮想光源の配置位置の決定に際して、位置の異なる複数種類の仮想光源のそれぞれについてリライティング処理を適用して得られる画像(以下、試行画像として言及し、結果画像と峻別する)を生成し、最終的な仮想光源の配置位置を決定してもよい。
上述した実施形態及び変形例では、最終的な仮想光源の配置位置が決定した後にリライティング処理を実行して結果画像を記録する態様について説明したが、本発明の実施はこれに限られるものではない。例えば、仮想光源の配置位置の決定に際して、位置の異なる複数種類の仮想光源のそれぞれについてリライティング処理を適用して得られる画像(以下、試行画像として言及し、結果画像と峻別する)を生成し、最終的な仮想光源の配置位置を決定してもよい。
《生成処理》
以下、本実施形態の画像処理部106で実現される、特定の被写体に対してリライティング処理を適用した結果画像を生成する生成処理の内容について、図7のフローチャートを用いて具体的な処理を説明する。該フローチャートに対応する処理は、制御部101が、例えば記録媒体102に記憶されている対応する処理プログラムを読み出してメモリ103に展開して実行することにより、画像処理部106に行わせることができる。本生成処理は、例えば適用対象として複数の撮像画像が選択され、該複数の撮像画像について仮想光源の初期設定位置の情報の入力により相対関係情報が構成された際に開始されるものとして説明する。
以下、本実施形態の画像処理部106で実現される、特定の被写体に対してリライティング処理を適用した結果画像を生成する生成処理の内容について、図7のフローチャートを用いて具体的な処理を説明する。該フローチャートに対応する処理は、制御部101が、例えば記録媒体102に記憶されている対応する処理プログラムを読み出してメモリ103に展開して実行することにより、画像処理部106に行わせることができる。本生成処理は、例えば適用対象として複数の撮像画像が選択され、該複数の撮像画像について仮想光源の初期設定位置の情報の入力により相対関係情報が構成された際に開始されるものとして説明する。
なお、本実施形態の生成処理の説明において、実施形態1の生成処理と同様の処理を行うステップについては同一の参照番号を付して説明を省略し、以下では、本実施形態固有の処理を行うステップについてのみ説明する。また実施形態1と同様に、検出モジュール202により検出される対象被写体は人物の顔であるものとし、顔の正中線を通る面を対称面とする面対称形状を有しているものとして説明する。
S302において対象被写体の像の検出と対象被写体の向きの導出がなされると、設定モジュール203はS701で、2種類の仮想光源の配置位置を仮設定(本設定の比較候補として設定)する。ここで、本ステップにおいて設定される2種類の配置位置は、1種類は相対関係情報に基づく配置位置(初期設定位置)であり、もう1種類は対象被写体の対称面を介して初期設定位置と面対称になる配置位置(以下、候補位置として言及)である。
S702で、リライティングモジュール206は、対象画像に対して、仮想光源を初期設定位置と候補位置のそれぞれに配置したリライティング処理を適用し、2種類の試行画像を生成する。
S703で、判定モジュール204は、S702において生成された2種類の試行画像に基づいて、初期設定位置と候補位置のいずれに仮想光源を配置した方がリライティング処理の有効性が高いか否かを判定する。ここで、リライティング処理の有効性の高さは、例えば明るさの補正量(対象画像の画素値からの変化量)の総和により定量化されるものであってもよいし、補正量が閾値以上である画素の総数により定量化されるものであってもよい。即ち、本ステップにおいて判定モジュール204は、2種類の試行画像について、付与された照明効果を定量化して比較を行うことで、初期設定位置と候補位置のいずれに仮想光源を配置した方がリライティング処理の有効性が高いかを判定する。判定モジュール204は、初期設定位置に仮想光源を配置した方がリライティング処理の有効性が高いと判定した場合は処理をS704に移し、候補位置に仮想光源を配置した方がリライティング処理の有効性が高いと判定した場合は処理をS705に移す。
なお、本実施形態では、照明効果の付与量を基準に有効性の判定を行うものとして説明するが、本発明の実施はこれに限られるものではない。例えば、試行画像における輝度変化の連続性等に基づいて、より自然な表現となる試行画像を有効性が高いものとして判定する等、その他の基準を採用するものであってもよい。
S704で、書出モジュール207は、リライティングモジュール206により生成された試行画像のうちの、仮想光源を初期設定位置に配置したリライティング処理により得られた試行画像を、結果画像として記録媒体102に書き出す。このとき、書出モジュール207は、生成に際して用いられた仮想光源の設定の情報(配置位置が初期設定位置であることを含む)を、該結果情報に関連付けて記録させる。
一方、S703において候補位置に仮想光源を配置した方がリライティング処理の有効性が高いと判定した場合は、書出モジュール207はS705で、候補位置に係るリライティング処理により得られた試行画像を、結果画像として記録媒体102に書き出す。このとき、書出モジュール207は、生成に際して用いられた仮想光源の設定の情報(配置位置が候補位置であることを含む)を、該結果情報に関連付けて記録させる。
このようにすることで、試行画像ベースでリライティング処理の有効性を判定し、より好適な態様の結果画像を出力することができる。なお、本実施形態では、判定に先立って初期設定位置と候補位置のそれぞれについて、書き出し品質のリライティング処理を実行して2種類の試行画像を得た上で判定を行う態様について説明したが、本発明の実施はこれに限られるものではない。例えば、判定用には対象被写体の一部の領域に限定してリライティング処理を適用して得られた画像を用いる、あるいは、画像の生成をせずとも、画素値の演算結果(あるいは、正規化前の値)のみを用いて判定を行う等に変形が可能である。
[変形例4]
上述した実施形態2では、2種類の仮想光源の配置位置のそれぞれについて照明効果を定量化することでリライティング処理の有効性を判定するものとして説明したが、本発明の実施はこれに限られるものではない。例えば、初期設定位置の仮想光源についてのみ照明効果を定量化し、その値が所定の閾値に満たないのであれば、変更モジュール205が仮想光源の配置位置を変更するよう構成されていてもよい。即ち、仮想光源の変更後の配置位置についての照明効果の評価を行わずに、設定変更を行うものとしてもよい。
上述した実施形態2では、2種類の仮想光源の配置位置のそれぞれについて照明効果を定量化することでリライティング処理の有効性を判定するものとして説明したが、本発明の実施はこれに限られるものではない。例えば、初期設定位置の仮想光源についてのみ照明効果を定量化し、その値が所定の閾値に満たないのであれば、変更モジュール205が仮想光源の配置位置を変更するよう構成されていてもよい。即ち、仮想光源の変更後の配置位置についての照明効果の評価を行わずに、設定変更を行うものとしてもよい。
[変形例5]
上述した実施形態及び変形例では、初期設定位置とは異なる仮想光源の配置位置を、対称面を介して初期設定位置と面対称となる位置に決定する態様について説明したが、本発明の実施はこれに限られるものではない。面対称となる位置に仮想光源を配置する場合、相対関係情報によっては対象被写体と仮想光源との位置関係が極端に変化し得るため、対象被写体の意図しない部位に照明効果が付された結果画像が出力される可能性もある。このため、初期設定位置とは異なる仮想光源の配置位置は、絶対座標系におけるx座標の正負は初期設定位置と同一になるように決定してもよい。例えば、仮想光源の初期設定位置が図5(c)の501である場合は、図6(b)に示されるように、対象被写体と仮想光源との距離は維持したまま、対象被写体の正面方向に対する方位角を変更することでz座標が0以上となるように決定してもよい。図6(b)の例では、z座標が0となるよう方位角を変更した位置602(方位角を+15度した位置:方位角が-90度の位置)に配置位置が決定されている。あるいは、単純に初期設定位置の絶対座標のz座標値を0にすることで、簡易的に対象被写体よりも奥にならない位置に決定してもよい。
上述した実施形態及び変形例では、初期設定位置とは異なる仮想光源の配置位置を、対称面を介して初期設定位置と面対称となる位置に決定する態様について説明したが、本発明の実施はこれに限られるものではない。面対称となる位置に仮想光源を配置する場合、相対関係情報によっては対象被写体と仮想光源との位置関係が極端に変化し得るため、対象被写体の意図しない部位に照明効果が付された結果画像が出力される可能性もある。このため、初期設定位置とは異なる仮想光源の配置位置は、絶対座標系におけるx座標の正負は初期設定位置と同一になるように決定してもよい。例えば、仮想光源の初期設定位置が図5(c)の501である場合は、図6(b)に示されるように、対象被写体と仮想光源との距離は維持したまま、対象被写体の正面方向に対する方位角を変更することでz座標が0以上となるように決定してもよい。図6(b)の例では、z座標が0となるよう方位角を変更した位置602(方位角を+15度した位置:方位角が-90度の位置)に配置位置が決定されている。あるいは、単純に初期設定位置の絶対座標のz座標値を0にすることで、簡易的に対象被写体よりも奥にならない位置に決定してもよい。
[変形例6]
上述した実施形態及び変形例では、初期設定位置とは異なる仮想光源の配置位置を予め定められた手法で導出するものとして説明したが、本発明の実施はこれに限られるものではない。該異なる仮想光源の配置位置は、例えば対象被写体の形状や対象画像における陰影の分布等に基づいて、初期設定位置に配置する場合よりもリライティング処理の有効性が高くなると推定される配置位置を特定することで、決定されるものであってもよい。
上述した実施形態及び変形例では、初期設定位置とは異なる仮想光源の配置位置を予め定められた手法で導出するものとして説明したが、本発明の実施はこれに限られるものではない。該異なる仮想光源の配置位置は、例えば対象被写体の形状や対象画像における陰影の分布等に基づいて、初期設定位置に配置する場合よりもリライティング処理の有効性が高くなると推定される配置位置を特定することで、決定されるものであってもよい。
[変形例7]
ところで、相対関係情報に基づかない位置に仮想光源を配置した場合、該仮想光源により照射される対象被写体の方向が、対象画像の撮像時の環境光の方向と重複する可能性がある。本来、リライティング処理の適用によって暗部の明るさの引き上げが期待されるところ、既に環境光により照明されている対象被写体の部位に対してリライティング処理でさらに照明効果を付与した場合、結果画像はユーザが所望しない態様となり得る。故に、変更モジュール205は、仮想光源の配置位置を初期設定位置から変更する際に、対象画像について環境光の方向を取得し、変更後の仮想光源から対象被写体に向かう方向と環境光の方向の類似度が閾値を上回る場合には変更を行わないよう制御してもよい。
ところで、相対関係情報に基づかない位置に仮想光源を配置した場合、該仮想光源により照射される対象被写体の方向が、対象画像の撮像時の環境光の方向と重複する可能性がある。本来、リライティング処理の適用によって暗部の明るさの引き上げが期待されるところ、既に環境光により照明されている対象被写体の部位に対してリライティング処理でさらに照明効果を付与した場合、結果画像はユーザが所望しない態様となり得る。故に、変更モジュール205は、仮想光源の配置位置を初期設定位置から変更する際に、対象画像について環境光の方向を取得し、変更後の仮想光源から対象被写体に向かう方向と環境光の方向の類似度が閾値を上回る場合には変更を行わないよう制御してもよい。
[変形例8]
上述した実施形態及び変形例では、適用対象の複数の撮像画像について、まず共通の相対関係情報に基づいて仮想光源の配置位置(初期設定位置)を設定した上で、判定モジュール204の判定結果に応じて適応的に配置位置の変更を行う方式について説明した。当該方式は、例えば複数の静止画像に対して一括でリライティング処理を適用する態様において、設定操作を簡略化する観点で好適である。一方で、動画に対してリライティング処理を適用する、即ち、該動画を構成する一連のフレームの画像を適用対象とする態様では、フレーム間で仮想光源の設定が異なった場合に、鑑賞者に煩雑な印象を与えうる出力(動画)となり得る。あるいは、動画に限らず、同一の撮像シーンで撮像された複数の撮像画像に対して、仮想光源の配置位置を異ならせたリライティング処理を適用して結果画像を生成した場合、これらを一時に閲覧する際に鑑賞者に違和感を与えうる。
上述した実施形態及び変形例では、適用対象の複数の撮像画像について、まず共通の相対関係情報に基づいて仮想光源の配置位置(初期設定位置)を設定した上で、判定モジュール204の判定結果に応じて適応的に配置位置の変更を行う方式について説明した。当該方式は、例えば複数の静止画像に対して一括でリライティング処理を適用する態様において、設定操作を簡略化する観点で好適である。一方で、動画に対してリライティング処理を適用する、即ち、該動画を構成する一連のフレームの画像を適用対象とする態様では、フレーム間で仮想光源の設定が異なった場合に、鑑賞者に煩雑な印象を与えうる出力(動画)となり得る。あるいは、動画に限らず、同一の撮像シーンで撮像された複数の撮像画像に対して、仮想光源の配置位置を異ならせたリライティング処理を適用して結果画像を生成した場合、これらを一時に閲覧する際に鑑賞者に違和感を与えうる。
このため、適用対象の複数の撮像画像のうちの、同一の撮像シーンを撮像している撮像画像については、共通の仮想光源の配置位置を設定する、即ち、対象被写体と仮想光源の相対関係を保持するよう制御が行われてもよい。例えば動画に対して生成処理を実行する場合、同一の撮像シーンで撮像されたフレーム区間については、該区間の先頭フレームの画像のリライティング処理に採用された仮想光源の設定を保持するよう、変更モジュール205の動作が制御されてもよい。
[その他の実施形態]
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。
100:デジタルカメラ、101:制御部、102:記録媒体、103:メモリ、104:撮像部、106:画像処理部、201:読込モジュール、202:検出モジュール、203:設定モジュール、204:判定モジュール、205:変更モジュール、206:リライティングモジュール、207:書出モジュール、208:作業用メモリ
Claims (14)
- 撮像画像に含まれる対象被写体の像に適用するリライティング処理について、仮想光源の設定を行う情報処理装置であって、
前記対象被写体の正面を基準として定められた、該対象被写体と仮想光源の相対的な位置関係を示す相対関係情報を取得する第1の取得手段と、
前記撮像画像について、被撮像方向に対する前記対象被写体の向きの情報を取得する第2の取得手段と、
前記第1の取得手段により取得された前記相対関係情報と、前記第2の取得手段により取得された前記対象被写体の向きの情報とに基づいて、前記リライティング処理についての仮想光源の暫定的な配置位置を設定する設定手段と、
前記暫定的な配置位置に仮想光源を設定して行われる前記リライティング処理の有効性を判定する判定手段と、
前記判定手段による判定結果に基づいて、前記リライティング処理を行う仮想光源の配置位置を、前記暫定的な配置位置とするか、前記暫定的な配置位置とは異なる配置位置に変更するかを制御する制御手段と、
を有することを特徴とする情報処理装置。 - 前記制御手段は、
前記判定手段により前記有効性が所定の基準を満たすと判定された場合に、前記リライティング処理を行う仮想光源の配置位置を前記暫定的な配置位置に決定するよう前記設定手段を制御し、
前記判定手段により前記有効性が前記所定の基準に満たないと判定された場合に、前記リライティング処理を行う仮想光源の配置位置を前記暫定的な配置位置から前記異なる配置位置に変更させるよう前記設定手段を制御する
ことを特徴とする請求項1に記載の情報処理装置。 - 前記判定手段は、前記暫定的な配置位置の前記被撮像方向における位置に基づいて、前記有効性を判定することを特徴とする請求項2に記載の情報処理装置。
- 前記判定手段は、前記暫定的な配置位置が、前記被撮像方向において所定の位置よりも前記撮像画像を撮像した撮像装置から遠離した位置にある場合に、前記有効性が前記所定の基準に満たないと判定することを特徴とする請求項2または3に記載の情報処理装置。
- 前記判定手段は、前記暫定的な配置位置が、前記被撮像方向において前記対象被写体よりも前記撮像画像を撮像した撮像装置から遠離した位置にある場合に、前記有効性が前記所定の基準に満たないと判定することを特徴とする請求項2乃至4のいずれか1項に記載の情報処理装置。
- 前記判定手段は、前記暫定的な配置位置が、前記対象被写体の正面を基準とする所定の方位角の範囲にある場合に、前記有効性が前記所定の基準に満たないと判定することを特徴とする請求項2または3に記載の情報処理装置。
- 前記相対関係情報は、異なる撮像画像に対して適用される前記リライティング処理における、前記対象被写体と仮想光源の相対的な位置関係を示しており、
前記情報処理装置は、前記異なる撮像画像について、被撮像方向に対する前記対象被写体の向きの情報を取得する第3の取得手段をさらに有し、
前記判定手段は、前記第2の取得手段により取得された前記対象被写体の向きの情報と、前記第3の取得手段により取得された前記対象被写体の向きの情報とに基づいて、前記有効性を判定する
ことを特徴とする請求項1または2に記載の情報処理装置。 - 前記暫定的な配置位置と前記異なる配置位置のそれぞれについて、前記リライティング処理の適用により生じる照明効果を定量化する定量化手段をさらに有し、
前記判定手段は、前記定量化手段により定量化された各配置位置の照明効果に基づいて、前記有効性を判定する
ことを特徴とする請求項1に記載の情報処理装置。 - 前記判定手段は、
前記暫定的な配置位置の照明効果が前記異なる配置位置の照明効果よりも大きい場合に前記有効性が高いと判定し、
前記暫定的な配置位置の照明効果が前記異なる配置位置の照明効果よりも小さい場合に前記有効性が低いと判定し、
前記制御手段は、
前記判定手段により前記有効性が高いと判定された場合に、前記リライティング処理を行う仮想光源の配置位置を前記暫定的な配置位置に決定するよう前記設定手段を制御し、
前記判定手段により前記有効性が低いと判定された場合に、前記リライティング処理を行う仮想光源の配置位置を前記暫定的な配置位置から前記異なる配置位置に変更するよう前記設定手段を制御する
ことを特徴とする請求項8に記載の情報処理装置。 - 前記撮像画像における環境光の方向を推定する推定手段をさらに有し、
前記制御手段は、前記異なる配置位置から前記対象被写体に向かう方向と前記推定手段により推定された環境光の方向との類似度が閾値を上回る場合には、前記リライティング処理を行う仮想光源の配置位置を前記異なる配置位置に変更しないよう前記設定手段を制御する
ことを特徴とする請求項1乃至9のいずれか1項に記載の情報処理装置。 - 前記撮像画像として一連の撮像画像群が選択される場合に、各撮像画像が撮像された撮像シーンを特定する特定手段をさらに有し、
前記制御手段は、前記一連の撮像画像群のうちの同一の撮像シーンで撮像された撮像画像群について、前記リライティング処理を行う仮想光源の配置位置と前記対象被写体との相対的な位置関係が保持されるよう前記設定手段を制御する
ことを特徴とする請求項1乃至10のいずれか1項に記載の情報処理装置。 - 撮像を行い撮像画像を出力する撮像手段と、
請求項1乃至11のいずれか1項に記載の情報処理装置と、
前記情報処理装置により設定された前記リライティング処理を行う仮想光源の配置位置の設定で、前記リライティング処理を実行する実行手段と、
を有することを特徴とする撮像装置。 - 撮像画像に含まれる対象被写体の像に適用するリライティング処理について、仮想光源の設定を行う情報処理装置の制御方法であって、
前記対象被写体の正面を基準として定められた、該対象被写体と仮想光源の相対的な位置関係を示す相対関係情報を取得する第1の取得工程と、
前記撮像画像について、被撮像方向に対する前記対象被写体の向きの情報を取得する第2の取得工程と、
前記第1の取得工程において取得された前記相対関係情報と、前記第2の取得工程において取得された前記対象被写体の向きの情報とに基づいて、前記リライティング処理についての仮想光源の暫定的な配置位置を設定する設定工程と、
前記暫定的な配置位置に仮想光源を設定して行われる前記リライティング処理の有効性を判定する判定工程と、
前記判定工程における判定結果に基づいて、前記リライティング処理を行う仮想光源の配置位置を、前記暫定的な配置位置とするか、前記暫定的な配置位置とは異なる配置位置に変更するかを制御する制御工程と、
を有することを特徴とする制御方法。 - コンピュータを、請求項1乃至11のいずれか1項に記載の情報処理装置の各手段として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020190565A JP2022079381A (ja) | 2020-11-16 | 2020-11-16 | 情報処理装置、撮像装置、制御方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020190565A JP2022079381A (ja) | 2020-11-16 | 2020-11-16 | 情報処理装置、撮像装置、制御方法及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022079381A true JP2022079381A (ja) | 2022-05-26 |
Family
ID=81707548
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020190565A Pending JP2022079381A (ja) | 2020-11-16 | 2020-11-16 | 情報処理装置、撮像装置、制御方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2022079381A (ja) |
-
2020
- 2020-11-16 JP JP2020190565A patent/JP2022079381A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6685827B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
US10303973B2 (en) | Image processing apparatus, image processing method, and storage medium for lighting processing on image using model data | |
JP2015201839A (ja) | 画像処理装置、その制御方法、およびプログラム | |
CN108010118B (zh) | 虚拟对象处理方法、虚拟对象处理装置、介质和计算设备 | |
JP6576083B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
US9049397B2 (en) | Image processing device and image processing method | |
JP7480882B2 (ja) | 情報処理装置、認識支援方法およびコンピュータプログラム | |
JPWO2019035155A1 (ja) | 画像処理システム、画像処理方法、及びプログラム | |
JPWO2010026983A1 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
JP2018163648A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
KR102650217B1 (ko) | 이미지를 제공하기 위한 방법 및 이를 지원하는 전자 장치 | |
Zheng | Spatio-temporal registration in augmented reality | |
CN109427089B (zh) | 基于环境光照条件的混合现实对象呈现 | |
JP6896811B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP7116925B2 (ja) | 観察装置の作動方法、観察装置、およびプログラム | |
JP7057086B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2022079381A (ja) | 情報処理装置、撮像装置、制御方法及びプログラム | |
JP2007315777A (ja) | 三次元形状計測システム | |
US20210350625A1 (en) | Augmenting live images of a scene for occlusion | |
JP5506371B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP6272572B1 (ja) | 表示制御装置および表示制御方法 | |
US10902669B2 (en) | Method for estimating light for augmented reality and electronic device thereof | |
WO2018180860A1 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP5865092B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
CN113132715B (zh) | 一种图像处理方法、装置、电子设备及其存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20210103 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210113 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231115 |