JP2021158513A - 画像処理装置及びその制御方法、撮像装置、プログラム、記憶媒体 - Google Patents

Abstract

【課題】フラッシュ発光を伴う連写撮影により得られた画像間の明るさのバラつきを抑制することができる画像処理装置を提供する。【解決手段】フラッシュを発光させながら連写撮影された画像を取得する第１の取得部と、連写撮影におけるフラッシュの発光情報を取得する第２の取得部と、発光情報に基づいて、フラッシュの発光ばらつきを検出する検出部と、発光ばらつきの検出結果に基づいて、発光ばらつきによる連写撮影された画像の明るさのばらつきを補正するための仮想光源のパラメータを設定する設定部と、設定された仮想光源のパラメータに基づいて、連写撮影された画像を補正する補正部とを備える。【選択図】図６

Description

本発明は、入力された画像の明るさを補正することが可能な画像処理装置に関するものである。

従来、撮影した画像中の被写体に対して、仮想的な光源（仮想光源）から光を照射して明るさを調節する、所謂リライティングと呼ばれる技術が知られている。仮想光源の位置、強度、角度といった仮想光源のパラメータを適切に設定することにより、単純に被写体全体の明るさを一律で変えるのではなく、環境光によって生じた影などの暗部領域を明るくし、好ましい画像を得ることが可能となる。

特許文献１には、動画像に対し所望のリライティング結果を得るために、カメラの位置、ズーム動作、パンニング動作といった情報に基づいて仮想光源のパラメータを設定する技術が開示されている。

特開２０１８−１８５５７６号公報

しかしながら、特許文献１に開示された技術は、動画像撮影時のリライティング制御に関するものであり、フラッシュ発光を伴う静止画の連写撮影での制御は特に考慮されていない。例えば、フラッシュ発光を伴う連写撮影において、フラッシュの発光抜けや発光ばらつきによって、連写画像にも関わらず画像毎の被写体の明るさにばらつきが生じ、前後の画像でつながりが悪くなってしまうことがある。

本発明は上述した課題に鑑みてなされたものであり、その目的は、フラッシュ発光を伴う連写撮影により得られた画像間の明るさのバラつきを抑制することができる画像処理装置を提供することである。

本発明に係わる画像処理装置は、フラッシュを発光させながら連写撮影された画像を取得する第１の取得手段と、前記連写撮影における前記フラッシュの発光情報を取得する第２の取得手段と、前記発光情報に基づいて、前記フラッシュの発光ばらつきを検出する検出手段と、前記発光ばらつきの検出結果に基づいて、前記発光ばらつきによる前記連写撮影された画像の明るさのばらつきを補正するための仮想光源のパラメータを設定する設定手段と、設定された前記仮想光源のパラメータに基づいて、前記連写撮影された画像を補正する補正手段と、を備えることを特徴とする。

本発明によれば、フラッシュ発光を伴う連写撮影により得られた画像間の明るさのバラつきを抑制することができる画像処理装置を提供することが可能となる。

本発明の第１の実施形態に係わる撮像装置の構成を示すブロック図。 画像処理回路の構成を示すブロック図。 リライティング処理回路の構成を示すブロック図。 仮想光源の照射による反射を説明する図。 リライティング処理前後の画像を説明する図。 リライティング撮影動作を示すフローチャート。 仮想光源の設定処理の動作を示すフローチャート。 被写体領域のブロック分割を説明する図。 フラッシュ発光を伴う連写撮影における撮影画像を時系列順に並べた図。

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

（第１の実施形態）
図１は、本発明の第１の実施形態に係わる撮像装置１００の構成を示すブロック図である。

図１において、撮像装置１００は、撮像部として、撮影レンズ１０と、絞り機能を備えるシャッター１２と、光学像を電気信号に変換する撮像素子１４とを備える。撮像素子１４により生成されたアナログの画像信号は、Ａ／Ｄ変換器１６によりデジタル信号に変換される。

タイミング発生回路１８は、メモリ制御回路２２及びシステム制御回路５０により制御され、撮像素子１４、 Ａ／Ｄ変換器１６、 Ｄ／Ａ変換器２６にクロック信号や制御信号を供給する。

画像処理回路２０は、 Ａ／Ｄ変換器１６からのデータ或いはメモリ制御回路２２からのデータに対して所定の画素補間処理や色変換処理を行う。また、画像処理回路２０においては、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてシステム制御回路５０が露光制御部４０、測距制御部４２に対して制御を行う、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理を行っている。さらに、画像処理回路２０においては、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。

リライティング処理回路２１は、撮影画像に対してリライティング処理を行う。メモリ制御回路２２は、Ａ／Ｄ変換器１６、タイミング発生回路１８、画像処理回路２０、リライティング処理回路２１、画像表示メモリ２４、Ｄ／Ａ変換器２６、メモリ３０、圧縮・伸長回路３２を制御する。

Ａ／Ｄ変換器１６からのデータが画像処理回路２０、メモリ制御回路２２を介して、或いはＡ／Ｄ変換器１６のデータがメモリ制御回路２２を介して、直接画像表示メモリ２４或いはメモリ３０に書き込まれる。

画像表示メモリ２４に書き込まれた表示用の画像データはＤ／Ａ変換器２６を介してＴＦＴ−ＬＣＤ等から成る画像表示部２８により表示される。画像表示部２８を用いて撮像した画像データを逐次表示すれば、電子ファインダー機能を実現することが可能である。また、画像表示部２８は、システム制御回路５０の指示により任意に表示をＯＮ／ＯＦＦすることが可能であり、表示をＯＦＦにした場合には、撮像装置１００の電力消費を大幅に低減することが出来る。

メモリ３０は、撮影した静止画像や動画像を格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶容量を備えている。これにより、複数枚の静止画像を連続して撮影する連写撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ３０に対して行うことが可能となる。また、メモリ３０はシステム制御回路５０の作業領域としても使用することが可能である。

圧縮・伸長回路３２は、適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮伸長する回路であり、メモリ３０に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ３０に書き込む。

露光制御部４０は絞り機能を備えるシャッター１２を制御する制御部であり、フラッシュ４８と連携するフラッシュ調光機能も有する。測距制御部４２は、撮影レンズ１０のフォーカシングを制御し、ズーム制御部４４は、撮影レンズ１０のズーミングを制御する。

フラッシュ４８は、ＡＦ補助光の投光機能、フラッシュ調光機能も有する。露光制御部４０、測距制御部４２はＴＴＬ方式を用いて制御を行い、撮像した画像データを画像処理回路２０によって演算した演算結果に基づき、システム制御回路５０が露光制御部４０、測距制御部４２に対して指示を送る。

システム制御回路５０は、撮像装置１００全体を制御する。メモリ５２は、システム制御回路５０の動作用の定数、変数、プログラム等を記憶する。

表示部５４は、システム制御回路５０でのプログラムの実行に応じて、文字、画像、音声等を用いて動作状態やメッセージ等を出力する液晶表示装置、スピーカー等を有する。表示部５４は、撮像装置１００の操作部近辺の視認し易い位置に単数或いは複数個所設置され、例えばＬＣＤやＬＥＤ、発音素子等の組み合わせにより構成されている。

また、表示部５４は、その一部の機能が光学ファインダー１２０内に設置されている。表示部５４の表示内容のうち、ＬＣＤ等に表示するものとしては、シングルショット／連写撮影表示、セルフタイマー表示、圧縮率表示、記録画素数表示、記録枚数表示、残撮影可能枚数表示、シャッタースピード表示、絞り値表示、露出補正表示等がある。さらに、フラッシュ表示、赤目緩和表示、マクロ撮影表示、ブザー設定表示、時計用電池残量表示、電池残量表示、エラー表示、複数桁の数字による情報表示、記録媒体２００及び２１０の着脱状態表示、通信Ｉ／Ｆ動作表示、日付・時刻表示等もある。また、表示部５４の表示内容のうち、光学ファインダー１２０内に表示するものとしては、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、露出補正表示等がある。

不揮発性メモリ５６は、電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭ等が用いられる。測距センサ２９は、被写体との距離を測定し、撮影画素の画素単位に対応する距離情報を２次元の距離マップ画像として出力する。

６０、６２、６４及び７０で示される部材は、システム制御回路５０の各種の動作指示を入力するための操作手段であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。

ここで、これらの操作手段について具体的に説明する。

モードダイアルスイッチ６０は、電源オフ、自動撮影モード、静止画撮影モード、動画撮影モード、パノラマ撮影モード、リライティング撮影モード、再生モード、マルチ画面再生・消去モード、ＰＣ接続モード等の各機能モード、等を切り替え設定できる。

シャッタースイッチＳＷ１（６２）は、不図示のシャッターボタンの操作途中でＯＮとなり、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作開始を指示する。

シャッタースイッチＳＷ２（６４）は、不図示のシャッターボタンの操作完了でＯＮとなり、露光処理、現像処理、記録処理という一連の処理の動作開始を指示する。なお、露光処理では、撮像素子１４から読み出した信号をＡ／Ｄ変換器１６、メモリ制御回路２２を介してメモリ３０に画像データとして書き込む。現像処理では、画像処理回路２０やメモリ制御回路２２での演算を用いて画像データの現像を行う。記録処理では、メモリ３０から画像データを読み出し、圧縮・伸長回路３２で圧縮を行い、記録媒体２００或いは２１０に書き込む。

操作部７０は、各種ボタンやタッチパネル等からなり、メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写／連写／セルフタイマー切り替えボタン等を含む。さらに、メニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタン、再生画像移動＋（プラス）ボタン、再生画像移動−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付／時間設定ボタン等も含む。

電源制御部８０は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成されている。そして、電池の装着の有無、電池の種類、電池残量の検出を行い、検出結果及びシステム制御回路５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部へ供給する。

コネクタ８２，８４は、電源部８６と電源制御部８０を接続する。電源部８６は、アルカリ電池やリチウム電池等の一次電池、ＮｉＣｄ電池やＮｉＭＨ電池やＬｉイオン電池等の二次電池、ＡＣアダプター等からなる。

インターフェース９０，９４はメモリカードやハードディスク等の記録媒体とのインターフェースであり、コネクタ９２，９６はメモリカードやハードディスク等の記録媒体と接続を行うコネクタである。

なお、本実施形態では、記録媒体を取り付けるインターフェース及びコネクタを２系統持つものとして説明している。もちろん、記録媒体を取り付けるインターフェース及びコネクタは、単数或いは複数、いずれの系統数を備える構成としても構わない。また、異なる規格のインターフェース及びコネクタを組み合わせて備える構成としても構わない。

インターフェース及びコネクタとしては、ＰＣＭＣＩＡカードやＣＦ（コンパクトフラッシュ（登録商標））カード等の規格に準拠したものを用いて構成してもよい。

さらに、インターフェース９０，９４、そしてコネクタ９２，９６をＰＣＭＣＩＡカードやＣＦ（コンパクトフラッシュ（登録商標））カード等の規格に準拠したものを用いて構成した場合、ＬＡＮカードやモデムカード、ＵＳＢカード、ＩＥＥＥ１３９４カード、Ｐ１２８４カード、ＳＣＳＩカード、ＰＨＳ等の通信カード、等の各種通信カードを接続することにより、他のコンピュータやプリンタ等の周辺機器との間で画像データや画像データに付属した管理情報を転送し合うことが出来る。

光学ファインダー１２０は、画像表示部２８による電子ファインダー機能を使用すること無しに、光学ファインダーのみを用いて撮影を行うことが可能である。また、光学ファインダー１２０内には、表示部５４の一部の機能、例えば、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、露出補正表示などが設置されている。

記録媒体１３０は、メモリカードやハードディスク等の記録媒体である。記録媒体１３０は、半導体メモリや磁気ディスク等から構成される記録部１３２、撮像装置１００とのインターフェース１３４、撮像装置１００と接続を行うコネクタ１３６を備えている。

記録媒体１４０は、メモリカードやハードディスク等の記録媒体である。記録媒体１４０は、半導体メモリや磁気ディスク等から構成される記録部１４２、撮像装置１００とのインターフェース１４４、撮像装置１００と接続を行うコネクタ１４６を備えている。

次に、画像処理回路２０の詳細構成について、図２を用いて説明する。図２は画像処理回路２０の構成を示すブロック図である。

図２において、画像処理回路２０は、同時化処理部２００、ＷＢ増幅部２０１、輝度・色信号生成部２０２、輪郭強調処理部２０３、輝度ガンマ処理部２０４を備える。さらに、色変換処理部２０５、色ガンマ処理部２０６、色差信号生成部２０７、陰影情報取得部２０８を備える。

次に、画像処理回路２０における処理について説明する。図１のＡ／Ｄ変換器１６から入力された画像信号が画像処理回路２０に入力される。

画像処理回路２０に入力された画像信号は同時化処理部２００に入力される。同時化処理部２００は入力されたベイヤーＲＧＢの画像データに対して、同時化処理を行い、色信号Ｒ，Ｇ，Ｂを生成する。ＷＢ増幅部２０１は、システム制御回路５０が算出するホワイトバランスゲイン値に基づき、ＲＧＢの色信号にゲインをかけ、ホワイトバランスを調整する。ＷＢ増幅部２０１が出力したＲＧＢ信号は輝度・色信号生成部２０２に入力される。輝度・色信号生成部２０２は、ＲＧＢ信号から輝度信号Ｙを生成し、生成した輝度信号Ｙを輪郭強調処理部２０３、色信号ＲＧＢを色変換処理部２０５へ出力する。

輪郭強調処理部２０３では、輝度信号に対して輪郭強調処理を行い、輝度ガンマ処理部２０４へ出力する。輝度ガンマ処理部２０４では輝度信号Ｙに対してガンマ補正を行い、輝度信号Ｙをメモリ３０に出力する。

色変換処理部２０５は、ＲＧＢ信号を、マトリクス演算などにより所望のカラーバランスの信号へ変換する。色ガンマ処理部２０６では、ＲＧＢの色信号にガンマ補正を行う。色差信号生成部２０７では、ＲＧＢ信号から色差信号Ｒ−Ｙ，Ｂ−Ｙを生成する。

メモリ３０に出力された画像信号Ｙ, Ｒ−Ｙ, Ｂ−Ｙは、圧縮・伸長回路３２によって圧縮符号化され、記録部１３２または記録部１４２に記録される。

また、色変換処理部２０５の出力であるＲＧＢ信号は、陰影情報取得部２０８へも入力される。陰影情報取得部２０８は、環境光源によって被写体に生じた陰影の状態を解析するための情報を取得する。例えば、被写体の平均輝度情報および顔領域の輝度ヒストグラム情報などを陰影情報として取得する。

次に、リライティング処理回路２１の構成および動作について図３を用いて説明する。ユーザの操作によりリライティングモードが選択されている場合は、画像処理回路２０から出力されたデータがリライティング処理回路２１に入力され、仮想光源によるリライティング処理が行われる。

図３はリライティング処理回路２１の構成を示すブロック図である。

図３において、ＲＧＢ信号変換部３０１は、入力された輝度・色差信号（Ｙ，Ｂ−Ｙ，Ｒ−Ｙ）をＲＧＢ信号に変換する。デガンマ処理部３０２は、デガンマ処理を行う。距離算出部３０３は、測距センサ２９から出力される撮像装置と被写体との距離情報を取得する。法線算出部３０４は、被写体の法線ベクトルの情報を算出する。仮想光源反射成分算出部３０５は、仮想光源が被写体に反射した成分を算出する。仮想光源付加処理部３０６は、仮想光源によるリライティング効果を付加する。ガンマ処理部３０７は、ＲＧＢ信号にガンマ特性をかける。輝度・色差信号変換部３０８は、ＲＧＢ信号を輝度・色差信号（Ｙ，Ｂ−Ｙ，Ｒ−Ｙ）に変換する。

次に、上記のように構成されるリライティング処理回路２１の動作について説明する。

リライティング処理回路２１は、メモリ３０に記録された輝度・色差信号（Ｙ，Ｂ−Ｙ，Ｒ−Ｙ）を読み出し、入力とする。ＲＧＢ信号変換部３０１は、入力された輝度・色差信号（Ｙ，Ｂ−Ｙ，Ｒ−Ｙ）をＲＧＢ信号に変換し、デガンマ処理部３０２へ出力する。

デガンマ処理部３０２は、画像処理回路２０のガンマ処理部で掛けられたガンマ特性と逆の特性の演算を行い、リニアデータに変換する。デガンマ処理部３０２は、リニア変換後のＲＧＢ信号（Ｒｔ，Ｇｔ，Ｂｔ）を、仮想光源反射成分算出部３０５および仮想光源付加処理部３０６に出力する。

一方、距離算出部３０３は、測距センサ２９から取得した被写体距離情報から距離マップを算出する。被写体距離情報とは、撮影画像の画素単位で得られる２次元の距離情報のことである。法線算出部３０４は、距離算出部３０３から取得した距離情報から法線マップを算出する。距離マップから法線マップを生成する方法に関しては、公知の技術を用いるものとするが、具体的な処理例について図４を用いて説明する。

図４は、撮像装置１００の座標と、被写体の関係を示す図である。例えば、図４に示すようにある被写体４０１に対して、撮影画像の水平方向の差分ΔＨに対する距離（奥行き）Ｄの差分ΔＤから勾配情報を算出し、勾配情報から法線ベクトルＮの情報を算出することが可能である。撮影した各画素に対して上記の処理を行うことにより、撮影画像の各画素に対応する法線ベクトルＮの情報を算出可能である。法線算出部３０４は、撮影画像の各画素に対応する法線ベクトルの情報を法線マップとして仮想光源反射成分算出部３０５に出力する。

仮想光源反射成分算出部３０５では、光源と被写体の距離Ｋ、法線ベクトルＮの情報、仮想光源方向ベクトルＬの情報に基づき、設置した仮想光源が被写体に反射する成分を算出する。

具体的には、光源と被写体との距離Ｋの二乗に反比例し、被写体の法線ベクトルＮと光源方向ベクトルＬの内積に比例するように、撮影画像に対応する座標位置の反射成分を算出する。

これについて、図４を用いて説明する。図４において、被写体４０１の位置と、設定した仮想光源４０２の位置を示している。撮像装置１００で撮影された撮影画像の水平画素の位置座標Ｈ１（垂直画素位置は説明を分かりやすくするために省略）における反射成分は、座標Ｈ１における法線ベクトルＮ１と仮想光源の方向ベクトルＬ１の内積に比例し、仮想光源４０２と被写体４０１の距離Ｋ１の二乗に反比例する値となる。

この関係を数式で表現すると仮想光源による被写体反射成分（Ｒａ，Ｇａ，Ｂａ）は下記の通りとなる。

Ｒａ＝α×（−Ｌ・Ｎ）／Ｋ²×Ｒｔ
Ｇａ＝α×（−Ｌ・Ｎ）／Ｋ²×Ｇｔ …（１）
Ｂａ＝α×（−Ｌ・Ｎ）／Ｋ²×Ｂｔ
ここで、αは仮想光源の強さであり、リライティング補正量のゲイン値である。Ｌは仮想光源の３次元方向ベクトル、Ｎは被写体の３次元法線ベクトル、Ｋは仮想光源と被写体の距離である。Ｒｔ，Ｇｔ，Ｂｔはデガンマ処理部３０２から出力された撮影ＲＧＢデータである。

上記のように算出された仮想光源による反射成分（Ｒａ，Ｇａ，Ｂａ）は仮想光源付加処理部３０６へ出力される。仮想光源付加処理部３０６では、仮想光源成分（Ｒａ，Ｇａ，Ｂａ）を付加する下記の処理を行う。

Ｒｏｕｔ＝Ｒｔ＋Ｒａ
Ｇｏｕｔ＝Ｇｔ＋Ｇａ …（２）
Ｂｏｕｔ＝Ｂｔ＋Ｂａ
仮想光源付加処理部３０６から出力された画像信号（Ｒｏｕｔ，Ｇｏｕｔ，Ｂｏｕｔ）はガンマ処理部３０７に入力される。ガンマ処理部３０７では、ＲＧＢの入力信号にガンマ補正を行う。色差信号生成部３０８では、ＲＧＢ信号から輝度信号Ｙ、色差信号Ｒ−Ｙ、Ｂ−Ｙを生成する。

以上のように、リライティング処理回路２１は動作する。リライティング処理回路２１によりリライティング処理した例を図５に示す。図５（ａ）がリライティング処理前の撮影画像を示し、図５（ｂ）がリライティング処理後の撮影画像の例を示している。図５（ａ）では暗かった被写体が、仮想光源をあててリライティング処理をすることにより、図５（ｂ）のように明るく補正される。

システム制御回路５０は、リライティング処理回路２１が出力した輝度・色差信号を、メモリ制御回路２２の制御によって、メモリ３０に蓄積したのち、圧縮・伸長回路３２で圧縮符号化を行う。また、記録部１３２または記録部１４２に記録する。

図６は、システム制御回路５０の動作を示したフローチャートである。以下、図６のフローチャートに従って、システム制御回路５０が取得した撮像装置の情報に基づいて、リライティング処理回路２１の仮想光源のパラメータを決定する動作について説明する。

まず、ステップＳ６０１では、システム制御回路５０は、モードダイアル６０の設定状態がリライティング撮影モードであるか否かを判定する。リライティング撮影モードでなければ、ステップＳ６０２に進み、各モード（例えば、動画撮影モード、再生モードなど）の処理を実行する。本実施形態では、モードダイアル６０によりリライティング撮影モードを選択しているが、静止画撮影モードの詳細設定でリライティング設定を選択するようにしてもよい。

ステップＳ６０３では、システム制御回路５０は、ユーザがシャッタースイッチＳＷ１（６２）を押下したか否かを判定する。押下されていれば、ステップＳ６０４に進み、押下されていなければステップＳ６０１に戻る。

ステップＳ６０４では、システム制御回路５０は、ＡＦ（オートフォーカス）処理及びＡＥ（自動露出）処理を行う。具体的には、ＡＦ結果に基づいて撮影レンズ１０の焦点を被写体に合わせ、またＡＥ結果から絞り値、シャッター開放時間及びフラッシュ４８の発光判断の決定を行う。そして、それらの決定値をシステム制御回路５０の内部メモリあるいはメモリ５２に記憶してステップＳ６０５に進む。

ステップＳ６０５では、システム制御回路５０は、シャッタースイッチＳＷ２（６４）の状態を調べる。放されていたらステップＳ６０３に戻り、押下されていればステップＳ６０６へ進む。

ステップＳ６０６では、システム制御回路５０は、システム制御回路５０の内部メモリあるいはメモリ５２に記憶されている絞り値、シャッター開放時間及び発光判断に従って、露光制御部４０によって絞り機能を有するシャッター１２を制御する。また、システム制御回路５０によってフラッシュ４８を制御して、撮像素子１０を露光させる。そして、撮像素子１４から電荷信号を読み出し、Ａ／Ｄ変換器１６、画像処理回路２０及びメモリ制御回路２２を介して、メモリ３０に一旦画像データを書き込む。

ステップＳ６０７では、システム制御回路５０は、ステップＳ６０６におけるフラッシュ４８の発光情報をメモリ３０に保存してステップＳ６０８に進む。ここで言う、発光情報とは、フラッシュが発光したか発光していないか、フラッシュの発光量、フラッシュの充電情報の少なくとも一つを含む情報であり、過去に撮影した画像の発光情報も保存されている。

ステップＳ６０８では、システム制御回路５０は、ステップＳ６０７で記憶した発光情報に基づいて、発光ばらつきを検出してステップＳ６０９に進む。発光ばらつきの検出方法は既知の方法を用いればよい。例えば、ステップＳ６０４の発光判断とステップＳ６０７で記憶された発光情報を比較して発光ばらつきを判断してもよいし、ステップＳ６０７で記憶された過去の発光情報と現在の発光情報を比較して発光ばらつきを判断してもよい。特にフラッシュの発光を伴う連写撮影においては、次の撮影までにフラッシュ発光のための充電が間に合わずに、発光抜けや発光量不足が生じる場合があるが、上記方法で発光ばらつきを検出することができる。

ステップＳ６０９では、システム制御回路５０は、メモリ３０に記憶された画像データを読み出し、被写体に仮想光源をあてる仮想光源の設定（詳細は後述する）を行い、再びメモリ３０に記憶する。さらに、メモリ３０に記憶された仮想光源をあてる処理を行った後の画像データに対して、圧縮伸長回路３２においてＪＰＥＧ方式等の所定の圧縮処理を行い、記録媒体１３０あるいは１４０に書き込む。

ステップＳ６１１では、システム制御回路５０は、リライティング撮影が終了か否かを判定する。リライティング撮影が続く場合はステップＳ６０４に戻ってＳ６０４〜Ｓ６１１の処理を繰り返し、そうでなければこのフローを終了する。

次に、ステップＳ６０９の仮想光源の設定処理について、図７のフローチャートを用いて説明する。

ステップＳ７０１では、システム制御回路５０は、ステップＳ６０８での検出結果に基づいて、フラッシュの発光ばらつきがあったか否かを判定する。発光ばらつきがあった場合、リライティング処理をするためにステップＳ７０２に進む。発光ばらつきが無かった場合、リライティング処理をせずに終了する。なお、本実施形態では、発光ばらつきが無かった場合、リライティング処理を終了するように説明したが、発光ばらつきがない場合でもリライティング処理を終了せずに、仮想光源のパラメータの設定などによりリライティング効果がかからないようにしてもよい。また、発光ばらつきの有無の判断に所定の閾値を設けて、発光ばらつきがあった場合でも、閾値以下ならば、発光ばらつきが無いとして扱ってもよい。

ステップＳ７０２では、システム制御回路５０は、画像処理回路２０を用いて、メモリ３０に記憶されている画像データから被写体領域を抽出する。

ステップＳ７０３では、システム制御回路５０は、被写体の陰影状態を検出する。被写体の陰影状態の検出には、例えば、本実施形態では被写体領域中の明るさの分布を利用するが、他にも、被写体領域中のコントラストを表す情報、被写体領域中で陰影が生じている領域の輪郭の特性、被写体領域中で陰影が生じている領域の面積を表す情報などを利用してもよい。被写体領域中の明るさの分布を検出するために、例えば、図８に示したように、被写体領域８０１を複数の部分（例えば、８×８＝６４個のブロック）に分割して、分割したブロック毎に輝度平均値を算出する。図８では、例として人物被写体を示したが、人物でなくてもよい。

ステップＳ７０４では、システム制御回路５０は、ステップＳ７０３で検出した被写体の陰影状態に基づいて仮想光源パラメータを算出する。仮想光源パラメータとは、仮想光源の向き、位置、強さ、照射範囲、色味の少なくとも一つを含んでいる。

また、本実施形態では、フラッシュ発光を伴う連写撮影において、発光ばらつきによる連続撮影画像の被写体の明るさばらつきを抑制することを目的としている。そのため、ステップＳ６０８で発光ばらつきを検出した場合、本実施形態では、発光ばらつきが検出された画像（注目画像）の前または後に連続して撮影した画像データの少なくともどちらか一方と比較して仮想光源パラメータを設定する。ここでは、分かりやすくするために、前の画像データと比較するものとして説明する。

まず、発光ばらつきに該当する画像データ（注目画像）と、その前に連続して撮影した画像データについて、それぞれのブロック毎の輝度平均値の差分を算出する。そして、ブロック毎の差分が減るように仮想光源パラメータを設定する。例として、仮想光源パラメータの決め方の簡単な方法について説明する。

まず、仮想光源の角度設定について説明する。説明を分かりやすくするために、水平方向成分だけについて説明すると、まず水平８ブロックのブロック毎に重みを付ける。顔の内側において、外縁近くのブロックほど重みを重くし、ブロック毎の輝度差分と重みを乗算して評価値を算出する。そして、顔の左右で別々にそれぞれの評価値の和を算出する。左右別々に算出した評価値の和が大きい方向から被写体に仮想光源があたるようにする。そのときに顔の左右の評価値の差に応じて仮想光源の角度を決定する。例えば、評価値の差が所定値以上のときの角度を４５度として、差が小さくなるにつれて光源の角度を０度（正面）に近づける。左右の評価値の和が顔の右側が大きく、評価値の差が所定値以上の場合、顔の右４５度から仮想光源が照射されるように仮想光源パラメータを設定すればよい。左右の差が所定値未満の場合は、正面に近い位置から仮想光源があたるように設定する。垂直方向でも同様に、仮想光源の角度を決定することができる。

次に、仮想光源の強さの設定について説明する。仮想光源で照明した後の明るさの目標値は、例えば、注目画像の前に連続して撮影した画像データの被写体の明るさの平均値（画像信号（Ｒｏｕｔ１、Ｇｏｕｔ１、Ｂｏｕｔ１））とする。その目標値と注目画像の被写体の画像信号（Ｒｏｕｔ２、Ｇｏｕｔ２、Ｂｏｕｔ２）が近くなるように仮想光源パラメータを設定する。注目画像の被写体の明るさは、被写体領域全ての平均としてもよいし、仮想光源が照射される側の平均としてもよい。注目画像における仮想光源の強さα２、仮想光源と被写体の距離Ｋ２を変更することにより、Ｒｏｕｔ１とＲｏｕｔ２、Ｇｏｕｔ１とＧｏｕｔ２、Ｂｏｕｔ１とＢｏｕｔ２の差が所定値以内となるように仮想光源パラメータを設定すればよい。

ステップＳ７０５では、ステップＳ７０４で決定した仮想光源パラメータを用いて、仮想光源付加処理部３０６により仮想光源の効果を付加する処理が行われる。

また、連続して撮影した画像データの被写体が所定以上大きく動いていた場合、前後の被写体の明るさをリライティング処理で同等にすることが困難になるため、仮想光源パラメータに基づいた補正を実施しないようにしてもよい。被写体の動き検出の方法は既存の方法でよく、例えば、撮像装置の動きを検出するジャイロを用いて、撮像装置の動きから被写体の動きを算出すればよい。あるいは、前後の撮像データから被写体の動きベクトルを算出し、動きベクトルの大きさが所定値以上の場合に被写体が動いたとみなしてもよい。

また、本実施形態では、リライティングにより明るく補正する場合について説明したが、逆に暗くするリライティングを行ってもよい。その場合、仮想光源のゲイン値αをマイナスに設定する。

また、仮想光源の位置と処理対象画素の距離Ｄの算出方法は、本実施形態の方法に限定されるものではなく、どのような算出方法を用いてもよい。例えば、カメラの位置および被写体位置を３次元位置として取得し、３次元での距離を計算してもよい。

また、仮想光源の効果を付加する場合に、仮想光源成分の量を距離の二乗に反比例する式で計算したが、仮想光源の効果を付加する度合いをこの方式で算出するものに限定されるものではない。例えば、距離Ｄに反比例するものや、ガウス分布的に照射範囲が変化する式であってもよい。

また、本実施形態では、毎フレーム毎にカメラ情報を取得し、仮想光源のパラメータの設定をリアルタイムに処理する例について説明したがこれに限られるものではない。毎フレーム毎ではなく数フレーム毎にカメラ情報を取得する構成にしてもよい。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。なお、第２の実施形態の撮像装置のブロック構成は、図１に示した第１の実施形態の撮像装置と同様であるため、説明を省略する。以下では第１の実施形態と異なる点に主眼を置いて説明を行う。

第１の実施形態では、ステップＳ７０４において、フラッシュの発光ばらつきが検出された画像を注目画像として、注目画像の前または後に連続して撮影した画像データの少なくともどちらか一方と比較して仮想光源パラメータを設定した。これに対し、第２の実施形態では、連続して撮影した画像データであれば複数枚使用してもよいものとする。

図９はフラッシュ発光を伴う連写撮影における撮影画像を時系列順に並べた図である。４枚目は発光量が足りていないコマを表しており、５枚目は発光しなかったコマを表している。

注目画像が４枚目の場合は、比較画像を１つ前の３枚目だけにしても問題無いが、注目画像が５枚目の場合は、比較画像が１つ前の４枚目だけではリライティング補正の精度が悪くなってしまう。そこで、注目画像が５枚目のような場合を想定して、注目画像が撮像されたタイミングから所定時間内に撮影された画像であれば、注目画像の前後の複数枚の画像データ（所定範囲の画像データ）を比較対象とする。例えば、２，３，４，６，７，８枚目を比較対象画像データとして扱う。上記では、注目画像が撮像されたタイミングから所定時間以内に撮影された画像データを比較対象画像データとしたが、注目画像の前後の連続したあらかじめ設定された枚数内の画像を比較対象画像データとしてもよい。

ステップＳ７０４において、比較対象画像データが複数枚の場合、仮想光源の目標の明るさは、複数の比較対象画像データの中で一番明るい画像と同じにするなど、比較画像データの中から選択した１枚の被写体の明るさを目標値として仮想光源パラメータを算出してもよい。また、各比較画像における被写体の明るさを、注目画像から時間的に近い比較画像の重みを重くして加重平均した明るさを目標の明るさにして、仮想光源パラメータを算出してもよい。または、比較画像毎に求めた仮想光源パラメータを加重平均した値に基づいてパラメータを設定してもよいし、比較画像の中から選択した１枚から求めた仮想光源パラメータを設定するようにしてもよい
これにより、第２の実施形態では、連続して発光ばらつきが発生した場合でも、被写体の明るさのばらつきを抑制することが可能となる。

（他の実施形態）
また本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現できる。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現できる。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１０：撮影レンズ、１４：撮像素子、２０：画像処理回路、２１：リライティング処理回路、５０：システム制御回路、１００：撮像装置

Claims (17)

1. フラッシュを発光させながら連写撮影された画像を取得する第１の取得手段と、
   前記連写撮影における前記フラッシュの発光情報を取得する第２の取得手段と、
   前記発光情報に基づいて、前記フラッシュの発光ばらつきを検出する検出手段と、
   前記発光ばらつきの検出結果に基づいて、前記発光ばらつきによる前記連写撮影された画像の明るさのばらつきを補正するための仮想光源のパラメータを設定する設定手段と、
   設定された前記仮想光源のパラメータに基づいて、前記連写撮影された画像を補正する補正手段と、
   を備えることを特徴とする画像処理装置。
2. 前記補正手段は、前記発光ばらつきの検出結果に基づいて、前記連写撮影された画像の中から、前記仮想光源で補正する対象の画像を選択して補正することを特徴とする請求項１に記載の画像処理装置。
3. 前記発光情報を記憶する記憶手段をさらに備えることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記発光情報は、フラッシュが発光したか発光しなかったかの情報、フラッシュの発光量の情報、フラッシュの充電情報の少なくとも一つを含むことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記設定手段は、前記仮想光源のパラメータとして、前記仮想光源の向き、位置、強さ、範囲、色味の少なくとも一つを設定することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記設定手段は、補正する対象の画像と、その画像の前または後に撮影された画像の少なくとも一方とを比較し、比較の結果に応じて前記仮想光源のパラメータを設定することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記設定手段は、補正する対象の画像と、その画像の前または後の所定範囲に撮影された画像とを比較し、比較の結果に応じて前記仮想光源のパラメータを設定することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
8. 前記所定範囲とは、前記補正する対象の画像に対する、前または後の所定の時間の範囲、または所定の枚数の範囲であることを特徴とする請求項７に記載の画像処理装置。
9. 前記設定手段は、前記所定範囲に撮影された複数の画像における被写体の明るさを加重平均した明るさを、前記仮想光源で照明する場合の目標の明るさとして、前記仮想光源のパラメータを設定することを特徴とする請求項７または８に記載の画像処理装置。
10. 前記設定手段は、前記所定範囲に撮影された複数の画像から選択した一つの画像における被写体の明るさを、前記仮想光源で照明する場合の目標の明るさとして、前記仮想光源のパラメータを設定することを特徴とする請求項７または８に記載の画像処理装置。
11. 前記設定手段は、前記所定範囲に撮影された複数の画像それぞれにおける被写体の明るさに基づいて求めた前記仮想光源のパラメータを加重平均し、前記仮想光源のパラメータを設定することを特徴とする請求項７または８に記載の画像処理装置。
12. 被写体の動きを検出する動き検出手段をさらに備え、被写体の動きが所定以上である場合、前記補正手段は補正を行わないことを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。
13. 被写体を撮像する撮像手段と、
    請求項１乃至１２のいずれか１項に記載の画像処理装置と、
    を備えることを特徴とする撮像装置。
14. 前記フラッシュをさらに備えることを特徴とする請求項１３に記載の撮像装置。
15. フラッシュを発光させながら連写撮影された画像を取得する第１の取得工程と、
    前記連写撮影における前記フラッシュの発光情報を取得する第２の取得工程と、
    前記発光情報に基づいて、前記フラッシュの発光ばらつきを検出する検出工程と、
    前記発光ばらつきの検出結果に基づいて、前記発光ばらつきによる前記連写撮影された画像の明るさのばらつきを補正するための仮想光源のパラメータを設定する設定工程と、
    設定された前記仮想光源のパラメータに基づいて、前記連写撮影された画像を補正する補正工程と、
    を備えることを特徴とする画像処理装置の制御方法。
16. コンピュータを、請求項１乃至１２のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
17. コンピュータを、請求項１乃至１２のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images