JP2016122989A

JP2016122989A - 撮像方法

Info

Publication number: JP2016122989A
Application number: JP2014262085A
Authority: JP
Inventors: 靖史佐光; Yasushi Sako; 勉奥野; Tsutomu Okuno
Original assignee: Acutelogic Corp
Current assignee: Acutelogic Corp
Priority date: 2014-12-25
Filing date: 2014-12-25
Publication date: 2016-07-07
Anticipated expiration: 2034-12-25
Also published as: CN105744248B; KR101660654B1; CN105744248A; US9479707B2; US20160191881A1; KR20160078922A; JP5849150B1

Abstract

【課題】発光源の制御や調整を行いやすくしつつ、ホワイトバランスを適切に調整しやすい。
【解決手段】２つのＬＥＤ発光部からの予備発光なしに被写体を撮像（Ｓ５）した画像に基づき、輝度値を取得する（Ｓ６）。また、２つのＬＥＤ発光部から予備発光しつつ撮像（Ｓ７）した画像に基づき、輝度値を取得する（Ｓ８）。取得された輝度値に基づいて、フラッシュ光及び環境光の全体に対するフラッシュ光の光量比を取得する（Ｓ１０〜Ｓ１２）。また、フラッシュ光量比等に基づいてＬＥＤ発光部からの発光量及び合成光の色を取得する（Ｓ１３）。取得した合成光の色に基づいて補正係数を取得する（Ｓ１４）。また、取得した発光量に基づき、２つのＬＥＤ発光部から発光させつつ本撮影を行う（Ｓ１５）。上記補正係数に基づいて撮像画像に補正を施す（Ｓ１６）。
【選択図】図７

Description

本発明は、撮像方法、特に、撮像された画像にホワイトバランス調整を施す撮像方法に関する。

従来、撮像された画像にホワイトバランス調整を施す際に、フラッシュ光の色と環境光の色とが異なることから、撮像画像のどの領域に基づいてホワイトバランスを調整すればよいかという問題が生じる場合がある。例えば、距離が近い被写体と距離が遠い被写体では、被写体に照射される環境光に対するフラッシュ光の割合が異なる。このため、撮像画像におけるいずれの被写体領域に基づいてホワイトバランスを調整するかに応じてホワイトバランスの調整結果が異なる。よって、この場合、いずれの被写体領域に合わせてホワイトバランスを調整するかが問題となる。

このような問題への対処法の１つとして、フラッシュ光の色を環境光の色にできるだけ近づけることが考えられる。フラッシュ光の色と環境光の色が一致すれば、いずれの被写体領域に合わせてもホワイトバランスの結果が異なることがなくなるからである。そして、フラッシュ光の色を環境光の色に近づけるための具体的な方法として、フラッシュ光を１つの発光源から出射させるのではなく複数の発光源から出射させることで、複数の発光源から出射される光による混色を１つの発光源から出射させる場合よりも環境光の色に近づけることがなされている。特許文献１は、２個の発光源を用いてフラッシュ光全体を環境光に近づけるものである。特許文献２及び３は、３個の発光源を用いてフラッシュ光全体を環境光に近づけるものである。

特許第５３１１９６３号特開２０１２−１４１４４５号公報特許第５００７５２３号

複数の発光源を使用してフラッシュ光全体を環境光に近づける場合、発光源からの出射光の色が発光源同士で異なるほど、調整可能な範囲が広がる。このため、さまざまな環境光に対応することができる。この観点からは、特許文献１のように２個の発光源を用いるよりも、特許文献２、３のように３個の発光源を用いる方が、さまざまな環境光に対応しやすい。２個の発光源で調整できる範囲は１次元的に広がるのに対し、３個の発光源で調整できる範囲は２次元的に広がるからである。

しかしながら、発光源を２個から３個にすると、混色によってフラッシュ光の色を環境光の色に近づける際、２個同士の調整が３個同士の調整となるため、発光源の微妙な制御が難しくなる。また例えば、各発光源における個体差を低減する調整を行う場合、２個の発光源よりも３個の発光源に関して調整する方が難しくなる。

一方で、発光源を２個とすると、フラッシュ光の色と環境光の色とを一致させにくくなることから、上記の通り、ホワイトバランスを適切に調整しにくくなるおそれがある。

本発明の目的は、発光源の制御や調整を行いやすくしつつ、ホワイトバランスを適切に調整しやすい撮像方法を提供することにある。

本発明の撮像方法は、出射光の色温度が互いに異なると共に互いの出射光の光量比を可変制御可能な２つの発光源から被写体に向けて光を出射させつつ被写体を撮像する撮像方法であって、環境光に対応する光源色を取得する光源色取得ステップと、２つの発光源から発光させないで被写体を撮像する発光なしステップ及び２つの発光源から発光させつつ被写体を撮像する発光ありステップを含む予備撮像ステップと、前記予備撮像ステップにおいて撮像される被写体の撮像画像に基づいて、環境光による光量と前記２つの発光源による合計の光量との関係を示す光量情報を取得する発光源光量取得ステップと、前記光源色取得ステップにおいて取得された光源色に対応するｘｙ色度座標上の座標を通る第１直線を、前記２つの発光源からの出射光の色に対応するｘｙ色度座標上の２つの座標を結ぶ線分と所定の角度で交わるように引いた場合における前記第１直線と前記線分の交点と、前記発光源光量取得ステップで取得された前記光量情報とに基づいて、前記２つの発光源からの出射光の各光量が前記交点と一致する、又は、前記交点に近いｘｙ色度座標上の所定の点に対応するように、前記２つの発光源から被写体に向けて光を出射させつつ被写体を撮像する撮像ステップと、前記所定の点と前記光源色に対応するｘｙ色度座標上の座標とを通る第２直線上の１点であって、前記発光源光量取得ステップで取得された前記光量情報に対応する１点の座標に関して取得されたホワイトバランス調整用の補正値に基づいて、前記撮像ステップにおいて撮像された画像にホワイトバランス調整を施すホワイトバランス調整ステップと、を備えている。

本発明においては、２個の発光源を用いることで発光源からの発光色を環境光の光源色に近づけることとした。このため、３個の発光源を用いる場合と比べ、発光源の可変制御や個体差調整を行いやすい。

また本発明では、出射光の色温度が異なる２つの発光源を用いることとした。そして、ｘｙ色度座標において、環境光に対応する光源色の座標を通る第１直線を、２つの発光源に対応する２つの座標を結ぶ線分と所定の角度で交わるように引いた場合に、２つの発光源の混色光量を、第１直線と上記線分の交点に基づいて決定することとした。これにより、２つの発光源の混色を、２つの発光源に対応する２つの座標を結ぶ線分上の範囲で環境光の光源色に近づけることができるようにした。つまり、フラッシュ光を少なくとも色温度に関して環境光に近づけられるようにした。

さらに、本発明では、被写体の撮像画像に基づいて環境光の光量と２つの発光源による合計の光量との関係を示す光量情報を取得する。そして、かかる情報に基づいて、上記交点に一致する、又は、交点に近い線分上の１点と光源色に対応する座標とを通る第２直線上の１点を、上記光量情報に対応するように取得すると共に、取得された１点に関してホワイトバランス調整を画像に施すこととした。したがって、例えば、被写体領域から主被写体と背景を分離した上で必要な領域に限定してその領域に必要な発光量を調整することができると共に、フラッシュ光と環境光の光量比に基づいてホワイトバランスを調整することができる。

以上のように、本発明は、発光源の可変制御を行いやすくしつつフラッシュ光の色を環境光に近づけると共に、フラッシュ光の色と環境光の色が異なる場合であっても、必要な領域に着目しつつホワイトバランスを適切に調整しやすくなっている。なお、光量情報は、例えば、環境光の光量に対する２つの発光源の合計の光量の比であってもよいし、環境光と２つの発光源の合計の光量に対する２つの発光源の合計の光量の比であってもよい。また、環境光の光量と２つの発光源の合計の光量のそれぞれを示す情報を含むものであってもよいし、環境光と２つの発光源の合計の光量と、２つの発光源の合計の光量のそれぞれを示す情報を含むものであってもよい。このように、光量情報は、環境光による光量と２つの発光源による合計の光量との関係を示す情報であれば、どのような情報であってもよい。

また、本発明においては、前記撮像ステップ及び前記ホワイトバランス調整ステップにおいて用いられる前記２つの発光源からの出射光による混色光の色情報を、前記２つの発光源に関する少なくとも２つの実測値に基づいて補正することが好ましい。これによると、２つの発光源に関する少なくとも２つの実測値に基づいて２つの発光源からの出射光による混色光の色情報を補正している。このため、すべての色情報に関してあらかじめ実測する必要がない。

また、本発明においては、前記２つの実測値と前記線分上の複数の座標値とを記憶する記憶手段の記憶内容に基づいて、前記２つの実測値に従って前記座標値を補正する座標値補正ステップをさらに備えていることが好ましい。これによると、少なくとも２つの実測値に従って座標値を補正するので、あらかじめすべての座標値を実測しておく必要がない。

また、本発明においては、前記発光なしステップにおける撮像画像から得られるＲ信号，Ｇ信号及びＢ信号をＧ信号で正規化した色成分比をＰ０＿ｒ、Ｐ０＿ｇ及びＰ０＿ｂとし、前記発光ありステップにおける撮像画像から得られるＲ信号，Ｇ信号及びＢ信号と前記発光なしステップにおける撮像画像から得られるＲ信号，Ｇ信号及びＢ信号との差分をＧ信号で正規化した色成分比をＰ１＿ｒ、Ｐ１＿ｇ及びＰ１＿ｂとし、前記２つの発光源からの出射光による混色のＲ成分，Ｇ成分及びＢ成分をＧ成分で正規化した色成分比をＰ２＿ｒ、Ｐ２＿ｇ及びＰ２＿ｂとするとき、環境光の光源色のＲ成分，Ｇ成分及びＢ成分をＧ成分で正規化したＰｅ＿ｒ、Ｐｅ＿ｇ及びＰｅ＿ｂを以下の数式１に基づいて算出することが好ましい。（数式１）Ｐｅ＿ｉ＝Ｐ０＿ｉ＊Ｐ２＿ｉ／Ｐ１＿ｉ（ｉ＝ｒ，ｉ＝ｇ及びｉ＝ｂのそれぞれに関する）

これによると、発光源からの出射光が被写体に反射した反射光が撮像画像に反映されていれば、環境光に対応する光源色を取得できる。また例えば、この取得方法を光源色取得ステップでの別の算出方法と組み合わせて用いる場合には、２つの方法を相補的に用いることで、より精度の高い光源色推定が可能になる。

また、本発明においては、前記２つの発光源が発光ダイオードであり、前記発光源光量取得ステップが、前記予備撮像ステップにおける撮像画像から得られる画像信号に基づいて、画像信号における距離情報Ｄ（ｍ，ｎ）を、以下の数式２に従って取得するステップと、距離情報Ｄ（ｍ，ｎ）に基づいて、主被写体に対応する領域を前記撮像画像から取得するステップと、前記主被写体に対応する領域に関して前記光量情報を取得するステップとを含んでいることが好ましい。なお、（ｍ，ｎ）は、撮像画像における縦方向及び横方向に関する位置を示し、ＬＶ０は、前記２つの発光源の合計のフラッシュ光の光量をＡＰＥＸ値で示し、Ｙ０（ｍ，ｎ）は、発光なしステップにおける撮像画像から得られる（ｍ，ｎ）における輝度値を示し、Ｙ１（ｍ，ｎ）は、発光ありステップにおける撮像画像から得られる（ｍ，ｎ）における輝度値を示し、ｌｏｇ_xは、底ｘの対数である。（数式２）Ｄ（ｍ，ｎ）＝（ＬＶ０−ＬＯＧ₂（Ｙ１（ｍ，ｎ）／Ｙ０（ｍ，ｎ）−１））／２

これによると、予備撮像ステップにおける撮像結果から各画素位置の距離情報を適切に取得すると共に、主被写体に着目して適切に光量情報を取得できる。したがって、被写体領域から主被写体と背景を分離した上で必要な領域に限定してその領域に必要な発光量を調整することができる。

本発明の別の観点によれば、本発明に係る上記方法をコンピュータに実行させるプログラムとして本発明が実現されてもよい。このプログラムは、フレキシブルディスクなどの磁気記録媒体、ＤＶＤ−ＲＯＭなどの光学記録媒体、ハードディスクやＵＳＢメモリなどのコンピュータ読み取りが可能な記録装置等に記録して配布可能なほか、インターネットを介したダウンロード等により配布可能である。

本発明の一実施形態に係る撮像装置の構成を示す機能ブロック図である。２つのＬＥＤ発光部への供給電圧とそれによって２つの発光部から被写体に照射される２色のフラッシュ光による混色との関係を示す表である。図３（ａ）は、図２に示した２色のフラッシュ光による混色のＣＩＥｘｙ色座標図であり、個体ばらつきの平均付近に位置するＬＥＤ個体の典型品に対して全ての混色パターンを実測した個体差調整値の基準値である。図３（ｂ）は、任意の２つのＬＥＤ個体をそれぞれ単独発光させた場合に得られる２つの実測値と、図３（ａ）に示す基準値の座標を線分の両端の２点間に座標変換した近似値とを示すＣＩＥｘｙ色座標図である。図３（ｂ）において、線分の両端の２つの座標が２つの実測値に対応し、線分上の混色パターンの座標が近似値に対応する。図４（ａ）は撮影シーンの一例である。図４（ｂ）は、図４（ａ）に示す撮影シーンの撮像画像を複数のブロックに分割した場合における、被写体までの距離に関するブロックの分布を示すグラフである。図５（ａ）及び図５（ｂ）は環境光の光源色（Ｐｅ）、ＬＥＤ発光部からの発光による混色を示すＣＩＥｘｙ色度座標図である。２つのＬＥＤ発光部における各光量と本撮影に必要な合計の発光量との関係を示すグラフである。撮像装置による撮影動作における一連の動作の流れを示すフロー図である。

本発明の一実施の形態に係る撮像装置１について、図面を参照しつつ説明する。撮像装置１は、図１に示すように、撮像光学系２、撮像素子３、撮像制御部１０、ＬＥＤ発光部１１及び１２、ユーザインタフェース部２０、撮影条件記憶部３０、個体差補正部４０、並びに、画像処理部１００を有している。撮像光学系２は、絞り、及び、フォーカスレンズを含む各種のレンズを有し、被写体からの光を撮像素子３へと導いて、撮像素子３において結像させる。撮像素子３は、ＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）方式が採用されたイメージセンサである。撮像素子３は、所定の配列方式で配列されたカラーフィルタと、各カラーフィルタを通じて受光した光の強度に応じたアナログ信号を出力する光電変換素子と、光電変換素子からのアナログ信号の利得を変換する利得変換部と、そのアナログ信号をデジタル信号に変換するＡＤ変換部とを備えている。なお、撮像素子３として、ＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）方式が採用されたイメージセンサが用いられてもよい。この場合、撮像素子３からのアナログ信号の利得を変換する利得変換部と、そのアナログ信号をデジタル信号に変換するＡＤ変換部とが別途設けられればよい。カラーフィルタの配列方式はいずれが採用されてもよいが、例えば、ベイヤー（Ｂａｙｅｒ）配列方式が採用されてもよい。ベイヤー配列は、Ｒ（赤）及びＧ（緑）が横方向に交互に並んだ行とＧ（緑）及びＢ（青）が横方向に交互に並んだ行とが縦方向に交互に並んだ配列である。撮像素子３は、カラーフィルタの配列方式に従って各画素が並んだ画像を示す画像信号を出力する。

ＬＥＤ発光部１１及び１２はそれぞれＬＥＤ発光素子（発光ダイオード）からなる。ＬＥＤ発光部１１とＬＥＤ発光部１２は互いに色温度が異なるフラッシュ光を被写体に向けて出射する。ＬＥＤ発光部１１及び１２に設けられた各ＬＥＤ発光素子には、電圧供給部から発光量制御用の電圧が供給される。この供給電圧の大きさが変更されることにより、ＬＥＤ発光部１１及び１２のそれぞれからの発光量が複数段階で離散的に調整される。例えば、最大の発光量で発光させるときの供給電圧を１００％とするとき、供給電圧を０％とすることで発光なしとすることができ、供給電圧を２０、４０、６０、８０又は１００％とすることで段階的に発光量を大きくしながらＬＥＤ発光素子から発光させることができる。ＬＥＤ発光部１１及び１２から出射された光が同時に被写体に照射されることで、被写体には、２つの発光部からの２色のフラッシュ光による混色の光が照射されることになる。図２は、２つの発光部への供給電圧と、それによって２つの発光部から被写体に照射される２色のフラッシュ光による混色との関係を示している。図２の例によると、２つの発光部のそれぞれにおいて発光量を６段階で変更できるため、合計で３６パターンの混色が実現可能である。

撮像光学系２、撮像素子３及びＬＥＤ発光部１１及び１２は、後述のとおり撮像制御部１０によって制御されることで、被写体を撮像する撮影動作を実行する。撮影動作のモードには、ＬＥＤ発光部１１及び１２からの発光なし（フラッシュなし）で被写体を撮像するモードと、ＬＥＤ発光部１１及び１２からの発光あり（フラッシュあり）で被写体を撮像するモードとがある。以下においては、主に、後者のフラッシュありでの撮像に関する構成を説明する。フラッシュありでの撮影動作は、最終出力用の撮像画像を取得するための本撮影動作と、本撮影の撮影条件を取得するための予備撮影動作とを含む。予備撮影動作では、ＬＥＤ発光部１１及び１２からの発光なしで被写体が撮影された後、ＬＥＤ発光部１１及び１２からのフラッシュ光が照射されつつ被写体が撮影される。以下、予備撮影動作におけるフラッシュ光の発光を「予備発光」とする。

ユーザインタフェース部２０は、タッチパネル付きディスプレイや各種のボタンスイッチ等を有している。ユーザは、ディスプレイに表示された情報に従ってタッチパネルやボタンスイッチ等を操作する。ユーザによる操作内容を示す信号は、撮像制御部１０や画像処理部１００へと送信される。

撮影条件記憶部３０は、ＬＥＤ発光部１１及び１２、撮像光学系２及び撮像素子３を制御するために必要な制御情報を記憶している。以下において、主に、ＬＥＤ発光部１１及び１２を制御するために撮影条件記憶部３０が記憶している情報（以下、「発光部制御情報」とする）について説明する。発光部制御情報は予備撮影動作における制御情報（ａ）と、本撮影動作における制御情報（ｂ）とを含んでいる。予備撮影動作における制御情報（ａ）は、ＬＥＤ発光部１１及び１２への各供給電流を示す情報を含んでいると共に、ＬＥＤ発光部１１及び１２の合計のフラッシュ光の光量ＬＶ０（ＡＰＥＸ値）、ＬＥＤ発光部１１及び１２の合計のフラッシュ光の混色のＣＩＥｘｙ色座標、並びに、ＬＥＤ発光部１１及び１２の合計のフラッシュ光の混色のＲＧＢ色成分比を示す情報を、ＬＥＤ発光部１１及び１２への各供給電流と関連付けつつ含んでいる。本撮影動作における制御情報（ｂ）は、ＬＥＤ発光部１１及び１２への各供給電流を示す情報を含んでいると共に、ＬＥＤ発光部１１及び１２の合計のフラッシュ光の光量ＬＶ１（ＡＰＥＸ値）、ＬＥＤ発光部１１及び１２の合計のフラッシュ光の混色のＣＩＥｘｙ色座標（以下、単に「色度座標」とする）、並びに、ＬＥＤ発光部１１及び１２の合計のフラッシュ光の混色のＲＧＢ色成分比を示す情報を、ＬＥＤ発光部１１及び１２への各供給電流と関連付けつつ含んでいる。

また、発光部制御情報の色度座標は、ＬＥＤ発光素子の典型品として、ばらつきの平均に位置する一製品に関して測定されたものである。図３（ａ）は、かかる典型品の色度座標点ｐ１〜ｐ５を示している。点ｐ１〜ｐ５は、点ｐ１及びｐ５を結ぶほぼ線分Ｌ１上に分布している。図３（ａ）の点ｐ１は、ＬＥＤ発光部１１のみを発光させた場合に被写体に照射される光の色に対応している。つまり、点ｐ１は、ＬＥＤ発光部１１の発光色そのものを示している。点ｐ５は、ＬＥＤ発光部１２のみを発光させた場合に被写体に照射される光の色に対応している。つまり、点ｐ５は、ＬＥＤ発光部１２の発光色そのものを示している。点ｐ２〜ｐ４は、ＬＥＤ発光部１１及び１２の両方を、これらから出射されるフラッシュ光量をさまざまに変更しつつ発光させた際における、被写体に照射される２色のフラッシュ光による混色を示している。ＬＥＤ発光部１１からの出射光の光量に対するＬＥＤ発光部１２からの出射光の光量の比は、点ｐ１から離れた位置の点ほど大きくなる。なお、図２の表には３６パターンの混色が含まれる。このため、色度座標上には３６個の点が表れる。これらの点は、すべてほぼ線分Ｌ１上に分布することになる。図３（ａ）は簡単のため、３６個のうち、点ｐ１〜ｐ５の５個のみを表している。

個体差補正部４０は、撮影条件記憶部３０に記憶された発光部制御情報の一部に対して、ＬＥＤ発光部１１及び１２の個体差に起因するずれを抑制するための補正を施す。補正対象となる情報は、上記のとおり、一典型品に関して測定された情報である。当該一典型品とは別のＬＥＤ発光素子は、上記一製品の特性と異なった特性を有している（個体差がある）場合がある。そこで、個体差補正部４０は、自機に搭載されたＬＥＤ発光素子の特性を示す特性値を記憶している特性値記憶部４２と、この特性値に基づいて撮影条件記憶部３０の記憶情報を補正する情報補正部４１とを備えている。特性値記憶部４２が特性値として記憶しているのは、ＬＥＤ発光部１１の発光色を示す色度座標上の座標値とＬＥＤ発光部１２の発光色を示す色度座標上の座標値である。これらの座標値は、撮像装置１の製造工程において製品ごとに実測され、特性値記憶部４２（ＥＥＰＲＯＭ等）に書き込まれている。したがって、これらの座標値は、補正前の発光部制御情報よりも、その製品に搭載されたＬＥＤ発光素子の特性値を正確に反映している。図３（ｂ）の点ｑ１及びｑ２は、特性値記憶部４２（ＥＥＰＲＯＭ等）に書き込まれた特性値の一例に対応する。図３（ｂ）に示すように、補正前の発光部制御情報が示す点ｐ１及び点ｐ５は、実測によって取得された点ｑ１及びｑ２からずれている。したがって、点ｐ１及び点ｐ５の間に位置する点ｐ２〜ｐ４等の他の点についても同様に、実際の値からずれているものと推測される。

情報補正部４１は、特性値記憶部４２（ＥＥＰＲＯＭ等）に書き込まれた特性値に基づき、撮影条件記憶部３０に記憶された座標値に対応する点ｐ１〜ｐ５を含む３６個の点を、例えばアフィン変換等の座標変換処理によって、変換後の点ｐ１’及び点ｐ５’が点ｑ１及びｑ２にほぼ一致するように、点ｐ１’〜ｐ５’ を含む３６個の新たな点へと変換する。変換後の３６個の点は、点ｐ１’及び点ｐ５’を結ぶ線分Ｌ１’上にほぼ分布することになる。例えばアフィン変換では、座標の拡大・縮小、回転、平行移動を行う。変換後の座標値は、補正後の発光部制御情報として、撮影条件記憶部３０に記憶される。撮影条件記憶部３０に記憶されたこれらの補正後の発光部制御情報は、画像処理部１００及び撮像制御部１０によって使用される。なお、個体差補正部４０による補正処理は、撮像装置１の電源投入時など、撮影動作に先立って行われる。

画像処理部１００は、撮像素子３から出力されたデジタル画像信号に所定の信号処理を施すことにより、被写体像に対応する画像データを生成する。画像処理部１００が生成した画像データは、画像を表示するディスプレイに、表示すべき画像に係る画像信号として出力されたり、コンピュータ読み取り可能な記録媒体へと出力されたりする。

撮像制御部１０は、撮像光学系２のシャッターや絞りの駆動を制御することで露出を調整したり、撮像光学系２のフォーカスレンズの駆動を制御することで焦点合わせを行ったり、撮像素子３の感度や駆動を制御したりする。さらに、撮像制御部１０は、ＬＥＤ発光部１１及び１２からのフラッシュ光量を制御したりする。このような制御に必要な絞りやシャッタースピード、感度、ガイドナンバーなどの各種の条件値は、画像処理部１００において演算された結果に基づいて撮像制御部１０が演算する。

撮像制御部１０は、上記の制御を適宜組み合わせることにより、撮像光学系２、撮像素子３並びにＬＥＤ発光部１１及び１２に被写体を撮影する撮影動作を実行させる。撮像制御部１０は、画像処理部１００が演算した予備撮影動作用の撮影条件値に基づき、撮像光学系２、撮像素子３並びにＬＥＤ発光部１１及び１２に予備撮影動作を実行させる。予備撮影動作の後、撮像制御部１０は、撮像光学系２、撮像素子３並びにＬＥＤ発光部１１及び１２に本撮影動作を実行させる。撮像制御部１０は、画像処理部１００が演算した制御値等に基づいてＬＥＤ発光部１１及び１２等に本撮影動作を実行させる。

撮像制御部１０、撮影条件記憶部３０、個体差補正部４０、ユーザインタフェース部２０及び画像処理部１００の機能は、ＣＰＵ、メモリなどの記憶用デバイス、各種インタフェースなどからなるハードウェアと、記憶部に記憶されたプログラムデータなどの各種データからなるソフトウェアとが互いに協働することで実現されている。また、撮像制御部１０、撮影条件記憶部３０、個体差補正部４０、ユーザインタフェース部２０及び画像処理部１００の機能は、このようなハードウェア及びソフトウェアの協働による機能にＡＳＩＣ等の専用回路の機能が組み合わされることで実現されてもよい。

以下、画像処理部１００についてより詳細に説明する。以下の説明は主に、ＬＥＤ発光部１１及び１２の制御値を演算したり、画像に補正を施したりする処理に係る。画像処理部１００は、その他の制御値を演算したり、その他の処理を画像に施したりしてもよい。画像処理部１００は、発光量取得部１０１、光源取得部１０２、制御値取得部１０３、補正係数取得部１０４及び画像補正部１０５を有している。

発光量取得部１０１は、本撮影時に必要なＬＥＤ発光部１１及び１２の合計の発光量を算出する。発光量取得部１０１は、予備発光なしで被写体が撮影された際に撮像素子３から出力されるデジタル画像信号から輝度信号を算出すると共に、予備発光ありで被写体が撮影された際に撮像素子３から出力されるデジタル画像信号から輝度信号を算出する。そして、発光量取得部１０１は、予備発光なしのときの輝度信号と予備発光ありのときの輝度信号の差を分析し、その分岐結果に基づいて、本撮影時に必要なＬＥＤ発光部１１及び１２の合計の発光量を算出する。

光源取得部１０２は、撮像素子３からのデジタル画像信号に基づいて、第１の環境光の光源色を推定算出する。本実施形態では、撮像装置１の電源が投入されて装置が起動すると、装置の動作モードが、フラッシュなしで被写体の動画に対応するデジタル画像信号が撮像素子３から出力されるモードに移行する。動画に対応するデジタル画像信号は、静止画に対応する画像信号を１フレームとするとき、所定の時間間隔で撮像素子３から連続的に出力された複数のフレームを含んでいる。光源取得部１０２は、１フレームごとに、被写体における白い色と推定される領域に関するＲＧＢ画素信号の平均値を、環境光の推定値として算出する。なお、光源取得部１０２が、１フレームの画像信号に基づいて、被写体における反射光のうち、鏡面反射光の成分と拡散反射光を分離すると共に、鏡面反射光に対応する信号成分から環境光の光源色を推定してもよい。光源取得部１０２は、このように推定算出した第１の環境光の光源色を、制御値取得部１０３へと出力する。なお、第１の環境光の光源色は、フラッシュなしで撮影が行われる場合において、ホワイトバランス係数及び色再現係数を算出する際に用いられる。これについては説明を省略する。

また、光源取得部１０２は、予備撮影動作における予備発光ありのときのデジタル画像信号と予備撮影動作における予備発光なしのときのデジタル画像信号に基づいて、以下の通り、第２の環境光の光源色を算出する。

光源取得部１０２は、まず、予備発光なしで被写体が撮影された際に撮像素子３から出力されるデジタル画像信号に基づき、輝度分布情報Ｙ０（ｍ，ｎ）を生成する。（ｍ，ｎ）は、画像内を水平方向と垂直方向のそれぞれについて所定画素数からなるブロックに分割した場合において、水平方向にｍ番目、垂直方向にｎ番目のブロック（以下、「ブロック（ｍ，ｎ）」とする）を示す。このように、画像を複数画素からなるブロックに分割し、各ブロックに関して演算することで、各画素に関して演算する場合と比べて演算量が減少する。なお、画素ごとに演算がなされてもよい。Ｙ０（ｍ，ｎ）は、予備発光なしで被写体が撮影された際のブロック（ｍ，ｎ）の輝度値を示す。また、光源取得部１０２は、予備発光なしで被写体が撮影された際に撮像素子３から出力されるデジタル画像信号に基づき、色分布情報Ｃ０＿ｒ（ｍ，ｎ）、Ｃ０＿ｇ（ｍ，ｎ）及びＣ０＿ｂ（ｍ，ｎ）を生成する。これらは、ブロック（ｍ、ｎ）内に含まれる画素におけるＲ信号、Ｇ信号及びＢ信号の各平均値に対応する。なお、平均値ではなく、ブロック（ｍ，ｎ）内の画素値の積算値やこれらの画素値のいずれかであってもよい。

次に、光源取得部１０２は、予備撮影動作において、予備発光ありで被写体が撮影された際に撮像素子３から出力されるデジタル画像信号に基づき、輝度分布情報Ｙ１（ｍ，ｎ）を生成する。Ｙ１（ｍ，ｎ）は、予備発光ありで被写体が撮影された際のブロック（ｍ，ｎ）の輝度値を示す。また、光源取得部１０２は、予備発光ありで被写体が撮影された際に撮像素子３から出力されるデジタル画像信号に基づき、色分布情報Ｃ１＿ｒ（ｍ，ｎ）、Ｃ１＿ｇ（ｍ，ｎ）及びＣ１＿ｂ（ｍ，ｎ）を生成する。これらは、ブロック（ｍ、ｎ）内に含まれる画素におけるＲ信号、Ｇ信号及びＢ信号の各平均値に対応する。なお、平均値ではなく、ブロック（ｍ，ｎ）内の画素値の積算値やこれらの画素値のいずれかであってもよい。

次に、光源取得部１０２は、Ｙ１とＹ０の差分（＝Ｙ１（ｍ，ｎ）−Ｙ０（ｍ，ｎ））の大きさから、各ブロックにおける光源評価上の信頼度を示す重み分布Ｗｔ（ｍ，ｎ）を取得する。Ｗｔ（ｍ，ｎ）は、Ｙ１とＹ０の差分の大きさに応じて単調に増大する値に設定される。例えば、Ｗｔ（ｍ，ｎ）は、Ｙ１とＹ０の差分の大きさに応じて複数段階で大きくなる値を取ってもよいし、Ｙ１とＹ０の差分と１つの閾値との大小関係に応じて２値のいずれかを取ってもよい。Ｙ１とＹ０の差分は、ＬＥＤ発光部１１及び１２によるフラッシュ光の反射量に対応した大きさとなる。したがって、Ｗｔ（ｍ，ｎ）は、フラッシュ光の反射量の大きさに応じた値を取ることになる。

次に、光源取得部１０２は、各ブロックに関して以下の数式に対応する演算を行うことにより色分布情報をＧ信号に関して正規化する。これによって、光源取得部１０２は、ブロック（ｍ，ｎ）に関する色成分比Ｐ０＿ｒ（ｍ，ｎ）、Ｐ０＿ｇ（ｍ，ｎ）及びＰ０＿ｂ（ｍ，ｎ）、並びに、色成分比Ｐ１＿ｒ（ｍ，ｎ）、Ｐ１＿ｇ（ｍ，ｎ）及びＰ１＿ｂ（ｍ，ｎ）を取得する。
Ｐ０＿ｉ（ｍ，ｎ）＝Ｃ０＿ｉ（ｍ，ｎ）／Ｃ０＿ｇ（ｍ，ｎ）（ｉ＝ｒ，ｇ及びｂのそれぞれに関する）
Ｐ１＿ｉ（ｍ，ｎ）＝（Ｃ１＿ｉ（ｍ，ｎ）−Ｃ０＿ｉ（ｍ，ｎ））／（Ｃ１＿ｇ（ｍ，ｎ）−Ｃ０＿ｇ（ｍ，ｎ））（ｉ＝ｒ，ｇ及びｂのそれぞれに関する）

次に、光源取得部１０２は、以下の数式に対応する演算を行うことにより、フラッシュ光に係る色成分比Ｐ２＿ｒ、Ｐ２＿ｇ及びＰ２＿ｂを取得する。なお、Ｆ＿ｒ，Ｆ＿ｂ及びＦ＿ｇは、予備発光時にＬＥＤ発光部１１及び１２から出射される両方のフラッシュ光による混色のＲ成分、Ｇ成分及びＢ成分である。これらの値は、撮影条件記憶部３０に記憶された発光部制御情報（ａ）から取得される。なお、Ｆ＿ｒ，Ｆ＿ｂ及びＦ＿ｇは、あらかじめＧ成分に関して正規化されている。すなわち、Ｆ＿ｇ＝１である。
Ｐ２＿ｉ＝Ｆ＿ｉ（ｉ＝ｒ，ｇ及びｂのそれぞれに関する）

次に、光源取得部１０２は、上記の通り取得された色成分比に基づいて、各ブロックに関して以下の数式に対応する演算を行うことにより、ブロック（ｍ，ｎ）に関する環境光の色を示す色成分比Ｐｅ＿ｒ（ｍ，ｎ）、Ｐｅ＿ｇ（ｍ，ｎ）及びＰｅ＿ｂ（ｍ，ｎ）を取得する。
Ｐｅ＿ｉ（ｍ，ｎ）＝Ｐ０＿ｉ（ｍ，ｎ）＊Ｐ２＿ｉ／Ｐ１＿ｉ（ｍ，ｎ）（ｉ＝ｒ，ｇ及びｂのそれぞれに関する）

次に、光源取得部１０２は、重みＷｔ（ｍ，ｎ）を用いてＰｅ＿ｉ（ｍ，ｎ）の荷重平均値＜Ｐｅ＿ｒ＞、＜Ｐｅ＿ｇ＞及び＜Ｐｅ＿ｂ＞を以下の通りに算出する。なお、ΣＸは、Ｘをすべてのブロック（ｍ，ｎ）に関して足し合わせることを意味する。
＜Ｐｅ＿ｒ＞＝Σ（Ｐｅ＿ｒ（ｍ，ｎ）＊Ｗｔ（ｍ，ｎ））／ΣＷｔ（ｍ，ｎ）
＜Ｐｅ＿ｇ＞＝Σ（Ｐｅ＿ｇ（ｍ，ｎ）＊Ｗｔ（ｍ，ｎ））／ΣＷｔ（ｍ，ｎ）
＜Ｐｅ＿ｂ＞＝Σ（Ｐｅ＿ｂ（ｍ，ｎ）＊Ｗｔ（ｍ，ｎ））／ΣＷｔ（ｍ，ｎ）

なお、以上の演算は、Ｇ成分を基準として正規化されている。よって、Ｐ０＿ｇ，Ｐ１＿ｇ、Ｐ２＿ｇ及び＜Ｐｅ＿ｇ＞のいずれの値も１である。したがって、これらＧ成分の要素が最初からすべて１に設定されると共に、Ｒ成分及びＢ成分に関してのみ、演算がなされてもよい。

光源取得部１０２は、このようにして、第２の環境光の光源色を示す＜Ｐｅ＿ｒ＞、＜Ｐｅ＿ｇ＞及び＜Ｐｅ＿ｂ＞を取得する。これらの値は、各ブロックの信頼度を示す重みＷｔ（ｍ，ｎ）を用いた加重平均から取得される。このため、フラッシュ光の反射量が大きく信頼度の高いブロックにおける色成分比が、フラッシュ光の反射量が小さく信頼度の低いブロックにおける色成分比に比べて算出結果に反映されやすい。したがって、環境光の光源色が適切に算出されやすい。なお、第２の環境光の光源色を以上のように算出することができる理由については後述する。光源取得部１０２は＜Ｐｅ＿ｒ＞、＜Ｐｅ＿ｇ＞及び＜Ｐｅ＿ｂ＞を制御値取得部１０３へと出力する。

制御値取得部１０３は、予備撮影動作において撮像素子３から出力されるデジタル画像信号に基づき、本撮影動作において使用される各種の条件値を、以下の通りに演算する。

まず、制御値取得部１０３は、予備撮影動作において被写体が撮影された際のデジタル画像信号に基づき、画像内の各位置に関する撮像装置１からの距離情報を取得する。例えば、この距離情報は、画像内の各位置に関する輝度に関する、予備発光ありと予備発光なしの間の差に基づいて取得される。制御値取得部１０３は、一例として、光源取得部１０２が取得したＹ０（ｍ，ｎ）及びＹ１（ｍ，ｎ）から、ブロック（ｍ，ｎ）における距離情報Ｄ（ｍ，ｎ）を以下のように演算する。ＬＶ０は、撮影条件記憶部３０の発光部制御情報（ａ）から取得される。ｌｏｇ_xは、底ｘの対数である。
Ｄ（ｍ，ｎ）＝（ＬＶ０−ＬＯＧ₂（Ｙ１（ｍ，ｎ）／Ｙ０（ｍ，ｎ）−１））／２

次に、制御値取得部１０３は、Ｄ（ｍ，ｎ）とユーザインタフェース部２０を介したユーザ入力とに基づいて、画像領域を主被写体に対応する領域とそれ以外の領域に分離する。制御値取得部１０３は、Ｄ（ｍ，ｎ）に基づき、距離に関するブロックの分布情報を生成する。例えば、図４（ａ）の撮影シーンに関して図４（ｂ）の分布情報が生成されたとする。図４（ｂ）に示すように、ブロックの分布には複数のピークが表れる。これら複数のピークのうち、距離が最も大きいところに表れたピークと、距離が次に大きいところに表れたピークとの間の距離情報値ｄを境界としたとき、Ｄ（ｋ１，ｌ１）が距離情報値ｄより大きいブロック（ｋ１，ｌ１）は背景領域に属すると捉えられる。また、Ｄ（ｋ２，ｌ２）が距離情報値ｄ以下のピークに相当するブロック（ｋ２，ｌ２）は、図４（ａ）のＢ１〜Ｂ３に示す被写体の領域に属すると捉えられる。被写体Ｂ１〜Ｂ３のうちのいずれかは、ユーザが最も重要な撮影対象として意図した被写体（以下、「主被写体」とする）である。そこで、制御値取得部１０３は、図４（ａ）の画像をディスプレイに表示すると共に、主被写体がいずれであるかをユーザに選択させるように、ユーザインタフェース部２０に指示する。このとき、制御値取得部１０３は、Ｄ（ｍ，ｎ）と図４（ｂ）に示す分布情報とから、画像内の各ブロックが被写体Ｂ１〜Ｂ３及び背景のいずれの領域に属するのかを示す情報を生成する。そして、制御値取得部１０３は、上記情報に基づいて被写体の選択状況をユーザに指示する指示画像（例えば、図４（ａ）の矢印Ｃ）をディスプレイに表示するように、ユーザインタフェース部２０に指示する。ユーザは、ディスプレイに表示された指示画像を参照しつつ、ボタン等を介して、自らが主被写体と定めるものを被写体Ｂ１〜Ｂ３から選択する。制御値取得部１０３は、ユーザによる選択結果に基づき、各ブロックを主被写体の領域に属するものと主被写体の領域外に属するものとに分別する。なお、制御値取得部１０３が、ユーザ入力に依らず、距離情報Ｄ（ｍ，ｎ）に基づいて主被写体領域を自動で分別してもよい。例えば、被写体Ｂ１〜Ｂ３のうち、最も近いものを主被写体として選択してもよい。

次に、制御値取得部１０３は、上記のとおりに主被写体の領域をそのほかの領域から分離した結果とブロックに関する輝度分布情報とに基づいて、以下の通り環境光及びフラッシュ光全体の光量に対するフラッシュ光量の比（以下、「フラッシュ光量比」とする）を演算する。まず、制御値取得部１０３は、主被写体領域とそれ以外の領域とでそれぞれ重みα，βを取る重み分布Ｗｃ（ｍ，ｎ）を生成する。重みα及びβは、主被写体領域における環境光及びフラッシュ光のバランスをそれ以外の領域に対して重視するか否か等の基準に応じ、αとβの相対的な大小関係を調整することで決定される。

また、制御値取得部１０３は、Ｙ０（ｍ，ｎ）及びＹ１（ｍ，ｎ）から、フラッシュ光量比の算出基準となるブロック（ｍ，ｎ）に関する基準値ｒ（ｍ，ｎ）を以下のように算出する。ＬＶ０及びＬＶ１は、撮影条件記憶部３０から取得される。
ｒ（ｍ，ｎ）＝ｌｏｇ₂［（Ｙ１（ｍ，ｎ）−Ｙ０（ｍ，ｎ））／Ｙ０（ｍ，ｎ）］＋（ＬＶ１−ＬＶ０）

そして、制御値取得部１０３は、フラッシュ光量比Ｒ（光量情報）を以下のように算出する。フラッシュ光量比Ｒは、本撮影に必要な全体の光量（環境光とフラッシュ光の合成光の光量）に対するフラッシュ光量の比を示す。
Ｒ＝（Ａ／（Ａ＋１））
Ａ＝２＾（Σ（ｒ（ｍ，ｎ）＊Ｗｃ（ｍ，ｎ））／ΣＷｃ（ｍ，ｎ））

次に、制御値取得部１０３は、フラッシュ光量比Ｒと、光源取得部１０２が取得した環境光の色と、撮影条件記憶部３０の記憶内容とに基づいて、本撮影動作時における環境光とフラッシュ光の合成光の色を以下の通りに算出する。ここでいう撮影条件記憶部３０の記憶内容とは、具体的には、個体差補正部４０が補正した後の混色の座標に関する情報（図３（ｂ）の点ｐ１’〜ｐ５’の座標を含む情報）である。

まず、制御値取得部１０３は、光源取得部１０２が算出した第１の環境光の光源色と第２の環境光の光源色とのいずれかを選択する。上述の第１の環境光の光源色の推定方法によると、被写体において白い色の領域が比較的小さい場合や、被写体からの反射光に含まれる鏡面反射光の成分が比較的小さい場合には、光源色を適切に取得できないおそれがある。そこで、制御値取得部１０３は、被写体において白い色の領域が比較的小さい場合や、被写体からの反射光に含まれる鏡面反射光の成分が比較的小さい場合には、第２の環境光の光源色を選択する。一方、制御値取得部１０３は、被写体において白い色の領域が比較的大きい場合や、被写体からの反射光に含まれる鏡面反射光の成分が比較的大きい場合には、第１の環境光の光源色を選択する。被写体において白い色の領域が比較的小さいか否かや、被写体からの反射光に含まれる鏡面反射光の成分が比較的小さいか否かは、白い色の領域の面積や鏡面反射光と所定の閾値との比較によって判定されてもよい。以下、第１及び第２の環境光の光源色のうち、選択された光源色の色成分比をＰｒ、Ｐｇ及びＰｂとする。第１の環境光の光源色が選択された場合、Ｐｒ，Ｐｇ及びＰｂは、第１の環境光の光源色におけるＲ成分、Ｇ成分及びＢ成分をＧ成分で正規化した値となる。第２の環境光の光源色が選択された場合、Ｐｒ＝＜Ｐｅ＿ｒ＞、Ｐｇ＝＜Ｐｅ＿ｇ＞、Ｐｂ＝＜Ｐｅ＿ｂ＞となる。

制御値取得部１０３は、図５（ａ）に示す色度座標における座標ｑ３を算出する。座標ｑ３は、ＬＥＤ発光部１１の発光色に対応する座標ｐ１’とＬＥＤ発光部１２の発光色に対応する座標ｐ５’とを結ぶ線分Ｌ１’と、当該線分Ｌ１’と直交し且つ環境光の色に対応する座標Ｐｅを通る直線Ｌ２とを引いた場合に、線分Ｌ１’と直線Ｌ２の交点の座標に相当する。したがって、座標ｑ３は、線分Ｌ１’上の点の中で、座標Ｐｅから最も近い点に該当することになる。座標Ｐｅは、Ｐｒ、Ｐｇ及びＰｂが示す色に対応する。

次に、制御値取得部１０３は、ＬＥＤ発光部１１及び１２の発光色による混色に対応する線分Ｌ１’上の３６個の点（個体差補正部４０による補正後の点）のうち、色度座標上、座標ｑ３に近い点の中で、本撮影時のフラッシュ光量に近いものを抽出する。３６個の点は線分Ｌ１’上で離散的に配置しているため、必ずしも座標ｑ３と一致するとは限らないからである。なお、３６個の点のうちで座標ｑ３に一致するものがあれば、座標ｑ３に一致するその点が抽出されてもよい。図５（ａ）の例では、点ｐｓ’が抽出される。点ｐｓ’の抽出方法は、以下のとおり、２つのステップを含んでいる。まず、第１抽出ステップとして、発光量取得部１０１が取得した本撮影時に必要な発光量に基づいて、３６個の点のうち、本撮影時のフラッシュ光量に近い複数の点が抽出される。図６は、一抽出例を示す。図６の横軸ＸはＬＥＤ発光部１１への供給電圧が０、２０、４０、６０、８０及び１００％であるときのＬＥＤ発光部１１の発光量Ｆａ、Ｆｂ、Ｆｃ、Ｆｄ及びＦｅを示す。図６の縦軸ＹはＬＥＤ発光部１２への供給電圧が０、２０、４０、６０、８０及び１００％であるときのＬＥＤ発光部１２の発光量Ｆｆ、Ｆｇ、Ｆｈ、Ｆｉ及びＦｊを示す。破線は、Ｘ＝Ｆａ、Ｘ＝Ｆｂ、Ｘ＝Ｆｃ、Ｘ＝Ｆｄ、Ｘ＝Ｆｅ、Ｙ＝Ｆｆ、Ｙ＝Ｆｇ、Ｙ＝Ｆｈ、Ｙ＝Ｆｉ、及び、Ｙ＝Ｆｊの各直線を示す。図６の曲線は、本撮影に必要な合計の発光量と、ＬＥＤ発光部１１及び１２のそれぞれにおける発光量との関係を示す。このとき、制御値取得部１０３は、破線及び座標軸からなる格子上の格子点であって、曲線よりも＋Ｙ側に位置する点のうち、曲線に最も近い点を、Ｘ＝０、Ｆａ、Ｆｂ、Ｆｃ、Ｆｄ及びＦｅのそれぞれについて抽出する。図６に示す６つの黒い点は、抽出された点を示す。第２抽出ステップとして、第１抽出ステップで抽出された複数の点の中で、色度座標上において座標ｑ３に対応する発光量の比に最も近いものが、点ｐｓ’に対応する発光量の比を示す点として抽出される。例えば、図６に示す６つの点のうち、座標ｑ３に対応する発光量の比に最も近い１つの点が抽出される。

このようにして抽出された点ｐｓ’は、図２に示す３６個の混色のうちのいずれか１色を表す。よって、ＬＥＤ発光部１１及び１２における各発光量がｐｓ’に対応するものとして決定する。このように、ＬＥＤ発光部１１及び１２における各発光量を決定する点ｐｓ’を抽出することが、本発明における「第１直線と線分の交点に近いｘｙ色度座標上の所定の点」を取得することに対応する。

撮像制御部１０は、本撮影動作において、制御値取得部１０３が取得した点ｐｓ’に対応する発光量で発光するようにＬＥＤ発光部１１及び１２を制御する。具体的には、撮像制御部１０は、点ｐｓ’に対応する発光量となるような電圧をＬＥＤ発光部１１及び１２にそれぞれ供給するように電圧供給部を制御する。

さらに、制御値取得部１０３は、本撮影時におけるフラッシュ光及び環境光の合成光（撮影光）の色を示す座標ｔを取得する。座標ｔは、点Ｐｓ’及び点Ｐｅの両方を通る直線Ｌ２’上の座標であって、Ｐ４’−Ｐｅ間の距離：ｔ−Ｐｅ間の距離が１：Ｒとなるような座標である。

補正係数取得部１０４は、制御値取得部１０３が算出した座標ｔに基づいて、本撮影において取得されるデジタル画像信号を補正するためのホワイトバランス係数及び色再現マトリクスを以下の通りに取得する。ホワイトバランス係数は３つの実数値からなる。３つの実数値は、画像データの各画素におけるＲ信号、Ｇ信号及びＢ信号にそれぞれ乗算される。色再現マトリクスは、画像データの各画素におけるＲ信号、Ｇ信号及びＢ信号の３要素からなるベクトルに乗算する３行３列からなる行列である。補正係数取得部１０４は、複数種類の基準光源の光源色と関連付けて、ホワイトバランス係数の基準値及び色再現マトリクスの基準値を保持している。補正係数取得部１０４は、座標ｔに対応する色と近い光源色の基準光源を複数抽出する。そして、補正係数取得部１０４は、抽出した複数の基準光源に関連付けて保持している複数の基準値に、抽出した基準光源の光源色と座標ｔに対応する色との差に応じた補間演算を施すことで、デジタル画像信号を補正するためのホワイトバランス係数及び色再現マトリクスを取得する。

次に、画像補正部１０５は、補正係数取得部１０４が座標ｔに関して取得したホワイトバランス係数及び色再現マトリクスに基づいて、本撮影の際に撮像素子３から出力されたデジタル画像信号にホワイトバランス補正処理及び色再現処理を施す。具体的には、本撮影の際に撮像素子３から出力されたデジタル画像信号に含まれる各画素のＲ信号、Ｇ信号及びＢ信号にホワイトバランス係数及び色再現マトリクスを乗算する。本撮影動作においては、上記のとおり、撮像制御部１０が、点ｐｓ’に対応する光量でＬＥＤ発光部１１及び１２からフラッシュ光を被写体に照射させる。つまり、フラッシュ光及び環境光の両方によって、被写体に照射される撮影光が、主被写体（図５（ａ）の被写体Ｂ２）に関して座標ｔに対応する色となる。したがって、本撮影の際に撮像素子３から出力されたデジタル画像信号に、補正係数取得部１０４が座標ｔに関して取得したホワイトバランス係数及び色再現マトリクスに基づいてホワイトバランス補正処理及び色再現処理を施すと、当該デジタル画像信号が、被写体本来の色に近い色を示す信号に補正される。

以下、撮像装置１による撮影動作における一連の動作の流れについて、図７に従って説明する。起動後、撮像装置１の動作モードは、フラッシュ発光なしで撮像素子３から動画に対応するデジタル画像信号が出力されるモードとなる（ステップＳ１）。次に、画像処理部１００が、撮像素子３から出力された動画の１フレームごとに、ＲＧＢ画素信号を取得する（ステップＳ２）。次に、光源取得部１０２が、１フレームごとのＲＧＢ画素信号に基づいて第１の環境光の光源色を推定演算する（ステップＳ３）。次に、フラッシュありで撮影するかどうかが判定される（ステップＳ４）。フラッシュありで撮影しないと判定された場合（ステップＳ４、Ｎｏ）、ステップＳ１が実行される。フラッシュありで撮影すると判定された場合（ステップＳ４、Ｙｅｓ）、撮像制御部１０が、撮像光学系２及び撮像素子３に予備発光なしでの予備撮影動作を実施させる（ステップＳ５）。画像処理部１００は、このときに撮像素子３から出力されるデジタル画像信号に基づいて輝度分布情報Ｙ０（ｍ，ｎ）等の輝度情報やＲＧＢ画素信号を取得する（ステップＳ６）。次に、撮像制御部１０が、撮像光学系２、撮像素子３並びにＬＥＤ発光部１１及び１２に、予備発光ありでの予備撮影動作を実施させる（ステップＳ７）。画像処理部１００は、このときに撮像素子３から出力されるデジタル画像信号に基づいて輝度分布情報Ｙ１（ｍ，ｎ）等の輝度情報やＲＧＢ画素信号を取得する（ステップＳ８）。次に、発光量取得部１０１が、ステップＳ６及びＳ８において取得された輝度信号に基づいて、本撮影時に必要なＬＥＤ発光部１１及び１２の合計の発光量を算出する（Ｓ９）。次に、光源取得部１０２が、ステップＳ６及びＳ８において取得された輝度情報に基づいて、第２の環境光の光源色を算出する（ステップＳ１０）。

次に、制御値取得部１０３が、ステップＳ６及びＳ８において取得された輝度分布情報Ｙ０（ｍ，ｎ）及びＹ１（ｍ，ｎ）に基づいて距離情報Ｄ（ｍ，ｎ）を取得する（ステップＳ１１）。次に、制御値取得部１０３が、ステップＳ１１において取得された距離情報Ｄ（ｍ，ｎ）に基づいて、フラッシュ光量比Ｒを取得する（ステップＳ１２）。次に、制御値取得部１０３が、フラッシュ光及び環境光の合成光（撮影光）の色を示す座標ｔを取得する（ステップＳ１３）。ステップＳ１３では、まず、ステップＳ９において取得された必要発光量と、撮影条件記憶部３０に記憶されている発光部制御情報とに基づいて、ＬＥＤ発光部１１及び１２の各発光量に対応する色度座標上の点ｐｓ’が取得される。そして、ステップＳ１２において取得されたフラッシュ光量比Ｒと、ステップＳ３及びステップＳ１０において取得された第１及び第２の環境光の光源色のいずれか（Ｐｒ、Ｐｇ、Ｐｂ）に対応する色度座標Ｐｅと、点ｐｓ’とに基づいて、座標ｔが取得される。次に、補正係数取得部１０４が、ステップＳ１３において取得された座標ｔに基づいて、補正係数（ホワイトバランス係数及び色再現マトリクス）を取得する（ステップＳ１４）。次に、撮像制御部１０が、ステップＳ１３において取得された点ｐｓ’と撮影条件記憶部３０に記憶されている発光部制御情報等に基づいて、撮像光学系２、撮像素子３並びにＬＥＤ発光部１１及び１２に本撮影動作を実行させる（ステップＳ１５）。次に、画像補正部１０５が、ステップＳ１４において取得された補正係数に基づいて、ステップＳ１５において実行された本撮影動作の際に撮像素子３から出力されたデジタル画像信号に補正処理（ホワイトバランス調整処理及び色再現処理）を施す（ステップＳ１６）。そして、処理がすべて終了したと判定する（ステップＳ１７，Ｙｅｓ）と、撮像装置１は、処理を終了する。処理がまだ終了していないと判定する（ステップＳ１７，Ｎｏ）と、撮像装置１は、ステップＳ１の処理に戻る。

以上説明した本実施形態によると、ＬＥＤ発光部１１及び１２の２個の発光源を用いることとした。このため、３個の発光源を用いる場合と比べて発光源の制御や調整を行いやすくしつつ、２つの発光部によってフラッシュ光色を環境光の色に近づけられる。

また本実施形態では、ＬＥＤ発光部１１及び１２からの出射光の色温度が異なっている。そして、色度座標において、環境光に対応する光源色の座標を通る直線Ｌ２を線分Ｌ１’と直交するように引いた場合に、２つの発光源からの光量を、線分Ｌ１’と直線Ｌ２の交点ｑ３に基づいて決定することとした。これにより、２つの発光源の混色を線分Ｌ１’上の範囲で調整できるようにした。つまり、フラッシュ光を少なくとも色温度に関して環境光に近づけられるようにした。

さらに、本実施形態では、ＬＥＤ発光部１１及び１２からの発光による３６パターンの混色のいずれかに対応する線分上の１点ｐｓ’を取得すると共に、ｐｓ’と環境光の光源色に対応する座標Ｐｅとを通る直線Ｌ２’上の座標ｔを、フラッシュ光量比Ｒに対応するように取得する。そして、取得された座標ｔに関してホワイトバランス調整を画像に施すこととした。したがって、主被写体領域に着目してバランスを取ったフラッシュ光と環境光の光量比に基づいてホワイトバランスを調整することができる。

以上のように、本発明は、発光源の制御や調整を行いやすくしつつフラッシュ光の色を環境光に近づけると共に、フラッシュ光の色と環境光の色が異なる場合であっても、主被写体領域に着目してホワイトバランスを適切に調整しやすくなっている。

また、本実施形態においては、特性値記憶部４２に記憶されたＬＥＤ発光部１１及び１２の発光色の実測値に基づいて、これらの発光による混色の座標値が補正される。実測値は２つであるのに対し、混色の座標値は３６個である。つまり、座標値より数の少ない実測値に基づいてすべての座標値を補正するようにしている。このため、撮像装置１の製造時において、発光量を変えつつすべての発光量についてＬＥＤ発光部１１及び１２の発光による混色を実測したりする必要がない。よって、製造工程を簡易にすることができる。

以下、光源取得部１０２において、第２の環境光の光源色を上述のように算出することができる理由について説明する。以下の説明において用いられる各変数は下記のとおりである。
ＡＶ：絞り値［ＡＰＥＸ値］＝ＬＯＧ₂（ＦＮｏ^２）
ＴＶ：露光時間［ＡＰＥＸ値］＝ＬＯＧ₂（１／時間［ＳＥＣ］）
ＳＶ：ＩＳＯ感度［ＡＰＥＸ値］＝ＬＯＧ₂（ＩＳＯ／３．１２５）
ＤＶ：被写体との距離［ＡＰＥＸ値］＝ＬＯＧ₂（距離［ｍ］／１［ｍ］）
ＲＶ：被写体の反射率［ＡＰＥＸ値］＝ＬＯＧ₂（反射率［％］／１８［％］）
ＢＶ：環境光の輝度値［ＡＰＥＸ値］
ＬＶ：ＬＥＤ光の輝度値［ＡＰＥＸ値］

Ｙｔｒｇ：適正露出時の輝度目標値
Ｙｎｏｎ：予備撮影時の輝度評価値（予備発光なし＝環境光）
Ｙｐｒｅ：予備撮影時の輝度評価値（予備発光有＝環境光＋ＬＥＤ光）
ＡＶａ：予備撮影時に使用したＡＶ値
ＴＶａ：予備撮影時に使用したＴＶ値
ＳＶａ：予備撮影時に使用したＳＶ値
ＬＶａ：予備撮影時に使用したＬＶ値
ＢＶａ：予備撮影時の環境光の輝度値［ＡＰＥＸ値］
ＲＶａ：予備撮影時の被写体の反射率［ＡＰＥＸ値］＝ＬＯＧ₂（反射率［％]／１８[％]）
ＤＶａ：予備撮影時の被写体との距離［ＡＰＥＸ値］＝ＬＯＧ₂（距離［ｍ］／１［ｍ］)

適正露光時の露出の一般式は、以下の式で示すことが知られている。環境光の輝度値ＢＶ、ＬＥＤ光の輝度値ＬＶは以下の通りである。
ＢＶ＝ＡＶ＋ＴＶ−ＳＶ．．．（ａ０）
ＬＶ＝ＡＶ＋２＊ＤＶ＋（ＴＶ−５）＋（５−ＳＶ）．．．（ａ１）

式（ａ０）,（ａ１）に被写体の反射率ＲＶとの関係を加えた式が、以下の式（ａ２）,（ａ３）で表わされる。
ＢＶ＋ＲＶ＝ＡＶ＋ＴＶ−ＳＶ．．．（ａ２）
ＬＶ＋ＲＶ＝ＡＶ＋２＊ＤＶ＋（ＴＶ−５）＋（５−ＳＶ）．．．（ａ３）

予備撮影時に取得される各輝度評価値は、以上の一般式から、下記の通りに表される。Ｙｎｏｎは、環境光ＢＶの式で表すことができるので、以下のとおりに表わすことができる。
Ｙｎｏｎ＝Ｙｔｒｇ＊２＾（（ＢＶａ＋ＲＶａ）−（ＡＶａ＋ＴＶａ−ＳＶａ））．．．（ｂ０）

予備撮影時における予備発光有りの時の輝度評価値Ｙｐｒｅは、環境光ＢＶとＬＥＤ光ＬＶを加算した式で表すことができるので、以下のとおりに表わすことができる。
Ｙｐｒｅ＝Ｙｔｒｇ＊２＾（（ＢＶａ＋ＲＶａ）−（ＡＶａ＋ＴＶａ−ＳＶａ））＋Ｙｔｒｇ＊２＾（（ＬＶａ＋ＲＶａ−２＊ＤＶａ）−（ＡＶａ＋ＴＶａ−ＳＶａ））．．．（ｂ１）

予備撮影時に得られる色評価値は、上記輝度式にＲＧＢ色成分比を加えて表すことができる。環境光、ＬＥＤ光、被写体反射率の色成分比を下記のように定義する。なお、２つのＬＥＤ発光部による発光の場合、以下のＬＥＤ光は２つの発光部からの発光の合成光である。
・環境光色のＲＧＢ色成分比：（Ｐｅｎｖ＿ｒ，Ｐｅｎｖ＿ｇ，Ｐｅｎｖ＿ｂ)
・ＬＥＤ光色のＲＧＢ色成分比：（Ｐｌｅｄ＿ｒ，Ｐｌｅｄ＿ｇ，Ｐｌｅｄ＿ｂ)
・被写体色のＲＧＢ色成分比：（Ｐｔｒｇ＿ｒ，Ｐｔｒｇ＿ｇ，Ｐｔｒｇ＿ｂ)

そうした場合、予備発光なしの時の色評価値Ｃｎｏｎ＿ｒ，Ｃｎｏｎ＿ｇ及びＣｎｏｎ＿ｂは、式（ｂ０）とＲＧＢ色成分比から、以下の式で表すことができる。以下、変数が“Ｘ＿ｉ”のようにインデックスｉを用いて表される数式は、ｉ＝ｒ、ｇ及びｂのそれぞれに関して成立することを示すものとする。
Ｃｎｏｎ＿ｉ＝Ｐｔｒｇ＿ｉ＊Ｐｅｎｖ＿ｉ＊Ｙｔｒｇ＊２＾（（ＢＶａ＋ＲＶａ）−（ＡＶａ＋ＴＶａ−ＳＶａ））．．．（ｄ０）

予備発光ありの時の色評価値Ｃｐｒｅ＿ｒ，Ｃｐｒｅ＿ｇ及びＣｐｒｅ＿ｂは、式（ｂ１）とＲＧＢ色成分比から、以下の式で表すことができる。
Ｃｐｒｅ＿ｉ＝Ｐｔｒｇ＿ｉ＊Ｐｅｎｖ＿ｉ＊Ｙｔｒｇ＊２＾（（ＢＶａ＋ＲＶａ）−（ＡＶａ＋ＴＶａ−ＳＶａ））＋Ｐｔｒｇ＿ｉ＊Ｐｌｅｄ＿ｉ＊Ｙｔｒｇ＊２＾（（ＬＶａ＋ＲＶａ−２＊ＤＶａ）−（ＡＶａ＋ＴＶａ−ＳＶａ））．．．（ｄ１）

また、予備発光ありの色評価値Ｃｐｒｅ＿ｉから予備発光なしの色評価値Ｃｎｏｎ＿ｉを減算することで、予備発光ありの色評価値Ｃｐｒｅ＿ｉから環境光の成分を除去することにより、ＬＥＤ光源による色評価値Ｃｄｉｆ＿ｉの式が得られる。
Ｃｄｉｆ＿ｉ＝（Ｃｐｒｅ＿ｉ−Ｃｎｏｎ＿ｉ）＝Ｐｔｒｇ＿ｉ*Ｐｌｅｄ＿ｉ＊Ｙｔｒｇ＊２＾（（ＬＶａ＋ＲＶａ−２＊ＤＶａ）−（ＡＶａ＋ＴＶａ−ＳＶａ））．．．（ｄ２）

予備撮影時に得られる色評価値の式を、以下の通りＧ基準で正規化し、色成分比の式に変換する。予備発光なしの時の評価値の色成分比Ｐｎｏｎ＿ｒ，Ｐｎｏｎ＿ｇ，Ｐｎｏｎ＿ｂは、式（ｄ０）から、以下の式で表すことができる。なお、Ｇ基準の正規化により、Ｐｔｒｇ＿ｇ＝Ｐｅｎｖ＿ｇ＝Ｐｌｅｄ＿ｇ＝１である。
Ｐｎｏｎ＿ｉ＝Ｃｎｏｎ＿ｉ／Ｃｎｏｎ＿ｇ＝Ｐｔｒｇ＿ｉ*Ｐｅｎｖ＿ｉ＊Ａ／（（Ｐｔｒｇ＿ｇ＊Ｐｅｎｖ＿ｇ）＊Ａ）＝Ｐｔｒｇ＿ｉ*Ｐｅｎｖ＿ｉ．．．（ｅ０）
Ａ＝Ｙｔｒｇ＊２＾（（ＢＶａ＋ＲＶａ）−（ＡＶａ＋ＴＶａ−ＳＶａ））

ＬＥＤ光のみの時の評価値の色成分比Ｐｄｉｆ＿ｒ，Ｐｄｉｆ＿ｇ，Ｐｄｉｆ＿ｂは、式（ｄ２）から、以下の式で表すことができる。
Ｐｄｉｆ＿ｉ＝Ｃｄｉｆ＿ｉ／Ｃｄｉｆ＿ｇ＝Ｐｔｒｇ＿ｉ*Ｐｌｅｄ＿ｉ＊Ｂ／（（Ｐｔｒｇ＿ｇ＊Ｐｌｅｄ＿ｇ）＊Ｂ）＝Ｐｔｒｇ＿ｉ*Ｐｌｅｄ＿ｉ．．．（ｅ１）
Ｂ＝Ｙｔｒｇ＊２＾（（ＬＶａ＋ＲＶａ−２＊ＤＶａ）−（ＡＶａ＋ＴＶａ−ＳＶａ））

ＬＥＤ光色のＲＧＢ色成分比は既知の値である。このため、光源色と被写体色の混合比である評価値の色成分比Ｐｎｏｎ＿ｉ,Ｐｌｅｄ＿ｉから、環境光の光源色を以下の通り算出することができる。式（ｅ１）から、被写体色のＲＧＢ色成分比Ｐｔｒｇ＿ｉが算出できる。
Ｐｔｒｇ＿ｉ＝Ｐｄｉｆ＿ｉ／Ｐｌｅｄ＿ｉ．．．（ｆ０）

被写体色のＲＧＢ色成分比Ｐｔｒｇ＿ｉが算出できるので、式（ｅ０）から、環境光色のＲＧＢ色成分比Ｐｅｎｖ＿ｉが算出できる。この方法によると、予備撮影時においてＬＥＤ発光部１１及び１２からの出射光が被写体に反射した反射光が撮像画像に反映されていれば、環境光に対応する光源色を取得できる。
Ｐｅｎｖ＿ｉ＝Ｐｎｏｎ＿ｉ／Ｐｔｒｇ＿ｉ．．．（ｆ１）

［変形例］
以下、上述の実施形態に係る変形例について説明する。上述の実施形態では、第１及び第２の環境光の光源色のいずれかが選択されている。しかし、被写体における白い色の領域の大小や、被写体からの反射光に含まれる鏡面反射光の成分の大小に応じた重みに従って、第１の環境光の光源色と第２の環境光の光源色との加重平均を取った値が環境光の光源色として用いられてもよい。

また、上述の実施形態においては、ＬＥＤ発光部１１及び１２における各発光色の実測値に基づき、これらの発光部からの発光による混色を示す座標値を補正している。これにより、ＬＥＤ発光素子の個体差に基づく設定値のずれが補正されている。これに関する一変形例として、ＬＥＤ発光素子における発光色の個体差に基づくばらつきを複数のグループに分類し、グループを示す識別値を特性値の代わりに各撮像装置に記憶させておいてもよい。そして、かかる識別値に基づき、ばらつきに応じた補正方法に従って座標値が補正されてもよい。この場合にも、識別値は座標値の数より少なくできるので、装置の製造時においてすべての座標値を実測する必要がない。

また、上述の実施形態では、線分Ｌ１’と直交する直線Ｌ２に基づいてＬＥＤ発光部１１及び１２の発光量等が決定される。しかし、９０度以外の角度で線分Ｌ１’と直交する直線に基づいてＬＥＤ発光部１１及び１２の発光量等が決定されてもよい。例えば、線分Ｌ１’に対し、環境光の光源色と色温度が等しくなるような角度で引いた直線に基づいてＬＥＤ発光部１１及び１２の発光量等が決定されてもよい。この場合、かかる直線と線分Ｌ１’の交点は環境光の光源色と同じ色温度になる。そして、かかる交点に応じてフラッシュ光の混色が決定されるので、ＬＥＤ発光部１１及び１２からの発光による混色を色温度に関して環境光の光源色に最も近づけることができる。このように色温度を等しくする観点で線分Ｌ１’と直線の角度を設定する以外に、その他の観点に基づいて角度を設定してもよい。

１…撮像装置、２…撮像光学系、３…撮像素子、１０…撮像制御部、１１，１２…発光部、３０…撮影条件記憶部、４０…個体差補正部、１００…画像処理部、１０１…光源取得部、１０３…制御値取得部、１０４…補正係数取得部、１０５…画像補正部

本発明の撮像方法は、出射光の色温度が互いに異なると共に互いの出射光の光量比を可変制御可能な２つの発光源から被写体に向けて光を出射させつつ被写体を撮像する撮像方法であって、環境光に対応する光源色を取得する光源色取得ステップと、２つの発光源から発光させないで被写体を撮像する発光なしステップ及び２つの発光源から発光させつつ被写体を撮像する発光ありステップを含む予備撮像ステップと、前記予備撮像ステップにおいて撮像される被写体の撮像画像に基づいて、環境光による光量と前記２つの発光源による合計の光量との関係を示す光量情報を取得する発光源光量取得ステップと、前記光源色取得ステップにおいて取得された光源色に対応するｘｙ色度座標上の座標を通る第１直線を、前記２つの発光源からの出射光の色に対応するｘｙ色度座標上の２つの座標を結ぶ線分と所定の角度で交わるように引いた場合における前記第１直線と前記線分の交点と、前記発光源光量取得ステップで取得された前記光量情報とに基づいて、前記２つの発光源からの出射光の各光量が前記交点と一致する、又は、前記交点に近いｘｙ色度座標上の所定の点に対応するように、前記２つの発光源から被写体に向けて光を出射させつつ被写体を撮像する撮像ステップと、前記所定の点と前記光源色に対応するｘｙ色度座標上の座標とを通る第２直線上の１点であって、前記発光源光量取得ステップで取得された前記光量情報に対応する１点の座標に関して取得されたホワイトバランス調整用の補正値に基づいて、前記撮像ステップにおいて撮像された画像にホワイトバランス調整を施すホワイトバランス調整ステップと、を備えており、前記発光なしステップにおける撮像画像から得られるＲ信号，Ｇ信号及びＢ信号をＧ信号で正規化した色成分比をＰ０＿ｒ、Ｐ０＿ｇ及びＰ０＿ｂとし、前記発光ありステップにおける撮像画像から得られるＲ信号，Ｇ信号及びＢ信号と前記発光なしステップにおける撮像画像から得られるＲ信号，Ｇ信号及びＢ信号との差分をＧ信号で正規化した色成分比をＰ１＿ｒ、Ｐ１＿ｇ及びＰ１＿ｂとし、前記２つの発光源からの出射光による混色のＲ成分，Ｇ成分及びＢ成分をＧ成分で正規化した色成分比をＰ２＿ｒ、Ｐ２＿ｇ及びＰ２＿ｂとするとき、環境光の光源色のＲ成分，Ｇ成分及びＢ成分をＧ成分で正規化したＰｅ＿ｒ、Ｐｅ＿ｇ及びＰｅ＿ｂを以下の数式１に基づいて算出する。（数式１）Ｐｅ＿ｉ＝Ｐ０＿ｉ＊Ｐ２＿ｉ／Ｐ１＿ｉ（ｉ＝ｒ、ｉ＝ｇ及びｉ＝ｂのそれぞれに関する）。

さらに、本発明では、被写体の撮像画像に基づいて環境光の光量と２つの発光源による合計の光量との関係を示す光量情報を取得する。そして、かかる情報に基づいて、上記交点に一致する、又は、交点に近い線分上の１点と光源色に対応する座標とを通る第２直線上の１点を、上記光量情報に対応するように取得すると共に、取得された１点に関してホワイトバランス調整を画像に施すこととした。したがって、例えば、被写体領域から主被写体と背景を分離した上で必要な領域に限定してその領域に必要な発光量を調整することができると共に、フラッシュ光と環境光の光量比に基づいてホワイトバランスを調整することができる。また、発光源からの出射光が被写体に反射した反射光が撮像画像に反映されていれば、環境光に対応する光源色を取得できる。また例えば、この取得方法を光源色取得ステップでの別の算出方法と組み合わせて用いる場合には、２つの方法を相補的に用いることで、より精度の高い光源色推定が可能になる。

以上のように、本発明は、発光源の可変制御を行いやすくしつつフラッシュ光の色を環境光に近づけると共に、フラッシュ光の色と環境光の色が異なる場合であっても、必要な領域に着目しつつホワイトバランスを適切に調整しやすくなっている。なお、光量情報は、例えば、環境光の光量に対する２つの発光源の合計の光量の比であってもよいし、環境光と２つの発光源の合計の光量に対する２つの発光源の合計の光量の比であってもよい。また、環境光の光量と２つの発光源の合計の光量のそれぞれを示す情報を含むものであってもよいし、環境光と２つの発光源の合計の光量と、２つの発光源の合計の光量のそれぞれを示す情報を含むものであってもよい。このように、光量情報は、環境光による光量と２つの発光源による合計の光量との関係を示す情報であれば、どのような情報であってもよい。また、本発明の別の観点における撮像方法は、出射光の色温度が互いに異なると共に互いの出射光の光量比を可変制御可能な２つの発光源から被写体に向けて光を出射させつつ被写体を撮像する撮像方法であって、環境光に対応する光源色を取得する光源色取得ステップと、２つの発光源から発光させないで被写体を撮像する発光なしステップ及び２つの発光源から発光させつつ被写体を撮像する発光ありステップを含む予備撮像ステップと、前記予備撮像ステップにおいて撮像される被写体の撮像画像に基づいて、環境光による光量と前記２つの発光源による合計の光量との関係を示す光量情報を取得する発光源光量取得ステップと、前記光源色取得ステップにおいて取得された光源色に対応するｘｙ色度座標上の座標を通る第１直線を、前記２つの発光源からの出射光の色に対応するｘｙ色度座標上の２つの座標を結ぶ線分と直交するように引いた場合における前記第１直線と前記線分の交点と、前記発光源光量取得ステップで取得された前記光量情報とに基づいて、前記２つの発光源からの出射光の各光量が前記交点と一致する、又は、前記交点に近いｘｙ色度座標上の所定の点に対応するように、前記２つの発光源から被写体に向けて光を出射させつつ被写体を撮像する撮像ステップと、前記所定の点と前記光源色に対応するｘｙ色度座標上の座標とを通る第２直線上の１点であって、前記発光源光量取得ステップで取得された前記光量情報に対応する１点の座標に関して取得されたホワイトバランス調整用の補正値に基づいて、前記撮像ステップにおいて撮像された画像にホワイトバランス調整を施すホワイトバランス調整ステップと、を備えている。

また、本発明のさらに別の観点における撮像方法は、出射光の色温度が互いに異なると共に互いの出射光の光量比を可変制御可能な２つの発光源から被写体に向けて光を出射させつつ被写体を撮像する撮像方法であって、前記２つの発光源に関する少なくとも２つの実測値に基づいて、前記２つの発光源に関する混色光の色情報を示す、前記実測値とは異なる値からなる前記実測値の数より多い値を補正する補正ステップと、環境光に対応する光源色を取得する光源色取得ステップと、前記２つの発光源から発光させないで被写体を撮像する発光なしステップ及び前記２つの発光源から発光させつつ被写体を撮像する発光ありステップを含む予備撮像ステップと、前記予備撮像ステップにおいて撮像される被写体の撮像画像に基づいて、環境光による光量と前記２つの発光源による合計の光量との関係を示す光量情報を取得する発光源光量取得ステップと、前記光源色取得ステップにおいて取得された光源色に対応するｘｙ色度座標上の座標を通る第１直線を、前記２つの発光源からの出射光の色に対応するｘｙ色度座標上の２つの座標を結ぶ線分と所定の角度で交わるように引いた場合における前記第１直線と前記線分の交点と、前記発光源光量取得ステップで取得された前記光量情報と、前記補正ステップにおいて補正された前記色情報を示す値とに基づいて、前記２つの発光源からの出射光の各光量が前記交点と一致する、又は、前記交点に近いｘｙ色度座標上の所定の点に対応するように、前記２つの発光源から被写体に向けて光を出射させつつ被写体を撮像する撮像ステップと、前記所定の点と前記光源色に対応するｘｙ色度座標上の座標とを通る第２直線上の１点であって、前記発光源光量取得ステップで取得された前記光量情報に対応する１点の座標に関して取得されたホワイトバランス調整用の補正値に基づいて、前記撮像ステップにおいて撮像された画像にホワイトバランス調整を施すホワイトバランス調整ステップと、を備えている。これによると、２つの発光源に関する少なくとも２つの実測値に基づいて２つの発光源からの出射光による混色光の色情報を補正している。このため、すべての色情報に関してあらかじめ実測する必要がない。

また、本発明においては、前記補正ステップが、前記２つの実測値と前記線分上の複数の座標値とを記憶する記憶手段の記憶内容に基づいて、前記２つの実測値に従って前記座標値を補正する座標値補正ステップを含んでいることが好ましい。これによると、少なくとも２つの実測値に従って座標値を補正するので、あらかじめすべての座標値を実測しておく必要がない。

また、本発明のさらに別の観点における撮像方法は、出射光の色温度が互いに異なると共に互いの出射光の光量比を可変制御可能な２つの発光ダイオードから被写体に向けて光を出射させつつ被写体を撮像する撮像方法であって、環境光に対応する光源色を取得する光源色取得ステップと、２つの発光ダイオードから発光させないで被写体を撮像する発光なしステップ及び２つの発光ダイオードから発光させつつ被写体を撮像する発光ありステップを含む予備撮像ステップと、前記予備撮像ステップにおいて撮像される被写体の撮像画像に基づいて、環境光による光量と前記２つの発光ダイオードによる合計の光量との関係を示す光量情報を取得する発光源光量取得ステップと、前記光源色取得ステップにおいて取得された光源色に対応するｘｙ色度座標上の座標を通る第１直線を、前記２つの発光ダイオードからの出射光の色に対応するｘｙ色度座標上の２つの座標を結ぶ線分と所定の角度で交わるように引いた場合における前記第１直線と前記線分の交点と、前記発光源光量取得ステップで取得された前記光量情報とに基づいて、前記２つの発光ダイオードからの出射光の各光量が前記交点と一致する、又は、前記交点に近いｘｙ色度座標上の所定の点に対応するように、前記２つの発光ダイオードから被写体に向けて光を出射させつつ被写体を撮像する撮像ステップと、前記所定の点と前記光源色に対応するｘｙ色度座標上の座標とを通る第２直線上の１点であって、前記発光源光量取得ステップで取得された前記光量情報に対応する１点の座標に関して取得されたホワイトバランス調整用の補正値に基づいて、前記撮像ステップにおいて撮像された画像にホワイトバランス調整を施すホワイトバランス調整ステップと、を備えており、前記発光源光量取得ステップが、前記予備撮像ステップにおける撮像画像から得られる画像信号に基づいて、画像信号における距離情報Ｄ（ｍ，ｎ）を、以下の数式に従って取得するステップと、距離情報Ｄ（ｍ，ｎ）に基づいて、主被写体に対応する領域を前記撮像画像から取得するステップと、前記主被写体に対応する領域に関して前記光量情報を取得するステップとを含んでいる。なお、（ｍ，ｎ）は、撮像画像における縦方向及び横方向に関する位置を示し、ＬＶ０は、前記２つの発光源の合計のフラッシュ光の光量をＡＰＥＸ値で示し、Ｙ０（ｍ，ｎ）は、発光なしステップにおける撮像画像から得られる（ｍ，ｎ）における輝度値を示し、Ｙ１（ｍ，ｎ）は、発光ありステップにおける撮像画像から得られる（ｍ，ｎ）における輝度値を示し、ＬＯＧ _xは、底ｘの対数である。（数式２）Ｄ（ｍ，ｎ）＝（ＬＶ０−ＬＯＧ₂（Ｙ１（ｍ，ｎ）／Ｙ０（ｍ，ｎ）−１））／２

また、本発明のさらに別の観点における撮像方法は、出射光の色温度が互いに異なると共に互いの出射光の光量比を可変制御可能な２つの発光ダイオードから被写体に向けて光を出射させつつ被写体を撮像する撮像方法であって、環境光に対応する光源色を取得する光源色取得ステップと、２つの発光ダイオードから発光させないで被写体を撮像する発光なしステップ及び２つの発光ダイオードから発光させつつ被写体を撮像する発光ありステップを含む予備撮像ステップと、前記予備撮像ステップにおいて撮像される被写体の撮像画像に基づいて、環境光による光量と前記２つの発光ダイオードによる合計の光量との関係を示す光量情報を取得する発光源光量取得ステップと、前記光源色取得ステップにおいて取得された光源色に対応するｘｙ色度座標上の座標を通る第１直線を、前記２つの発光ダイオードからの出射光の色に対応するｘｙ色度座標上の２つの座標を結ぶ線分と所定の角度で交わるように引いた場合における前記第１直線と前記線分の交点と、前記発光源光量取得ステップで取得された前記光量情報とに基づいて、前記２つの発光ダイオードからの出射光の各光量が前記交点と一致する、又は、前記交点に近いｘｙ色度座標上の所定の点に対応するように、前記２つの発光ダイオードから被写体に向けて光を出射させつつ被写体を撮像する撮像ステップと、前記所定の点と前記光源色に対応するｘｙ色度座標上の座標とを通る第２直線上の１点であって、前記発光源光量取得ステップで取得された前記光量情報に対応する１点の座標に関して取得されたホワイトバランス調整用の補正値に基づいて、前記撮像ステップにおいて撮像された画像にホワイトバランス調整を施すホワイトバランス調整ステップと、を備えており、前記発光源光量取得ステップが、前記予備撮像ステップにおける撮像画像から得られる画像信号に基づいて、画像信号における距離情報Ｄ（ｍ，ｎ）を、以下の数式に従って取得するステップと、距離情報Ｄ（ｍ，ｎ）に基づいて、主被写体に対応する領域を前記撮像画像から取得するステップと、前記主被写体に対応する領域に関して前記光量情報を取得するステップとを含んでいる。なお、（ｍ，ｎ）は、撮像画像における縦方向及び横方向に関する位置を示し、ＬＶ０は、前記２つの発光ダイオードの合計のフラッシュ光の光量をＡＰＥＸ値で示し、Ｙ０（ｍ，ｎ）は、発光なしステップにおける撮像画像から得られる（ｍ，ｎ）における輝度値を示し、Ｙ１（ｍ，ｎ）は、発光ありステップにおける撮像画像から得られる（ｍ，ｎ）における輝度値を示し、ＬＯＧ_xは、底ｘの対数である。（数式２）Ｄ（ｍ，ｎ）＝（ＬＶ０−ＬＯＧ₂（Ｙ１（ｍ，ｎ）／Ｙ０（ｍ，ｎ）−１））／２

Claims

出射光の色温度が互いに異なると共に互いの出射光の光量比を可変制御可能な２つの発光源から被写体に向けて光を出射させつつ被写体を撮像する撮像方法であって、
環境光に対応する光源色を取得する光源色取得ステップと、
２つの発光源から発光させないで被写体を撮像する発光なしステップ及び２つの発光源から発光させつつ被写体を撮像する発光ありステップを含む予備撮像ステップと、
前記予備撮像ステップにおいて撮像される被写体の撮像画像に基づいて、環境光による光量と前記２つの発光源による合計の光量との関係を示す光量情報を取得する発光源光量取得ステップと、
前記光源色取得ステップにおいて取得された光源色に対応するｘｙ色度座標上の座標を通る第１直線を、前記２つの発光源からの出射光の色に対応するｘｙ色度座標上の２つの座標を結ぶ線分と所定の角度で交わるように引いた場合における前記第１直線と前記線分の交点と、前記発光源光量取得ステップで取得された前記光量情報とに基づいて、前記２つの発光源からの出射光の各光量が前記交点と一致する、又は、前記交点に近いｘｙ色度座標上の所定の点に対応するように、前記２つの発光源から被写体に向けて光を出射させつつ被写体を撮像する撮像ステップと、
前記所定の点と前記光源色に対応するｘｙ色度座標上の座標とを通る第２直線上の１点であって、前記発光源光量取得ステップで取得された前記光量情報に対応する１点の座標に関して取得されたホワイトバランス調整用の補正値に基づいて、前記撮像ステップにおいて撮像された画像にホワイトバランス調整を施すホワイトバランス調整ステップと、
を備えていることを特徴とする撮像方法。
前記撮像ステップ及び前記ホワイトバランス調整ステップにおいて用いられる前記２つの発光源からの出射光による混色光の色情報を、前記２つの発光源に関する少なくとも２つの実測値に基づいて補正することを特徴とする請求項１に記載の撮像方法。
前記２つの実測値と前記線分上の複数の座標値とを記憶する記憶手段の記憶内容に基づいて、前記２つの実測値に従って前記座標値を補正する座標値補正ステップをさらに備えていることを特徴とする請求項２に記載の撮像方法。
前記発光なしステップにおける撮像画像から得られるＲ信号，Ｇ信号及びＢ信号をＧ信号で正規化した色成分比をＰ０＿ｒ、Ｐ０＿ｇ及びＰ０＿ｂとし、前記発光ありステップにおける撮像画像から得られるＲ信号，Ｇ信号及びＢ信号と前記発光なしステップにおける撮像画像から得られるＲ信号，Ｇ信号及びＢ信号との差分をＧ信号で正規化した色成分比をＰ１＿ｒ、Ｐ１＿ｇ及びＰ１＿ｂとし、前記２つの発光源からの出射光による混色のＲ成分，Ｇ成分及びＢ成分をＧ成分で正規化した色成分比をＰ２＿ｒ、Ｐ２＿ｇ及びＰ２＿ｂとするとき、環境光の光源色のＲ成分，Ｇ成分及びＢ成分をＧ成分で正規化したＰｅ＿ｒ、Ｐｅ＿ｇ及びＰｅ＿ｂを以下の数式１に基づいて算出することを特徴とする請求項１〜３のいずれか１項に記載の撮像方法。
（数式１）Ｐｅ＿ｉ＝Ｐ０＿ｉ＊Ｐ２＿ｉ／Ｐ１＿ｉ（ｉ＝ｒ、ｉ＝ｇ及びｉ＝ｂのそれぞれに関する）
前記２つの発光源が発光ダイオードであり、
前記発光源光量取得ステップが、
前記予備撮像ステップにおける撮像画像から得られる画像信号に基づいて、画像信号における距離情報Ｄ（ｍ，ｎ）を、以下の数式２に従って取得するステップと、
距離情報Ｄ（ｍ，ｎ）に基づいて、主被写体に対応する領域を前記撮像画像から取得するステップと、
前記主被写体に対応する領域に関して前記光量情報を取得するステップとを含んでいることを特徴とする請求項１〜４のいずれか１項に記載の撮像方法。
（数式２）Ｄ（ｍ，ｎ）＝（ＬＶ０−ＬＯＧ₂（Ｙ１（ｍ，ｎ）／Ｙ０（ｍ，ｎ）−１））／２
なお、（ｍ，ｎ）は、撮像画像における縦方向及び横方向に関する位置を示し、ＬＶ０は、前記２つの発光源の合計のフラッシュ光の光量をＡＰＥＸ値で示し、Ｙ０（ｍ，ｎ）は、発光なしステップにおける撮像画像から得られる（ｍ，ｎ）における輝度値を示し、Ｙ１（ｍ，ｎ）は、発光ありステップにおける撮像画像から得られる（ｍ，ｎ）における輝度値を示し、ｌｏｇ_xは、底ｘの対数である。