JP2014116656A - 撮像装置、撮像方法及びプログラム - Google Patents

Abstract

【課題】被写体を撮像する際に、より簡便に投光装置からの投光の正反射位置を特定することが可能な、撮像装置、撮像方法及びプログラムを提供すること。
【解決手段】本発明に係る撮像装置は、互いに異なる分光放射特性を有する照明光をそれぞれ投光する複数の光源と、複数の前記照明光を利用して被撮像物を撮像する撮像部と、前記複数の照明光それぞれを撮像した際に前記撮像部から出力される画素間の出力比率が、参照出力比率として予め格納される記憶部と、前記撮像部から出力される前記複数の照明光を利用した前記被撮像物の撮像画像と、前記記憶部に格納された前記参照出力比率とを利用して、前記撮像画像に前記照明光の正反射領域が存在するかを判断する判断部と、を備える。
【選択図】図６

Description

本発明は、撮像装置、撮像方法及びプログラムに関する。

撮像装置を用いて写真を撮る場合、周囲が暗いなどの状況によっては、撮影補助照明の投光を用いて撮像を行うことがある。この際に、被写体の状況によっては、補助照明による正反射が写真に写りこんでしまい、不自然な画像が生成されてしまう場合がある。

そこで、下記の特許文献１では、カメラに搭載可能な投光装置において、複数の発光素子（ＬＥＤ）を設け、これら発光素子の発光パターンを変更した撮影を数回行い、投光装置からの発光の正反射に対応する部位を画像補正する技術が開示されている。

特開２０１０−７４７２５号公報

上記特許文献１では、複数回撮影する際の投光方法については言及されてはいないものの、複数の投光パターンが投影できるように投光装置を構成し、投光する角度を変化させることで正反射位置をずらして、得られた画像を補間し合うことが読み取れる。しかしながら、複数の投光パターンを投光可能なようにＬＥＤ等の発光部材を配置すると、装置自体が複雑かつ大型化してしまうという問題がある。

また、上記特許文献１の技術は、同文献で着目しているようなマクロ撮影では有効ではあるが、通常の撮影では投光パターンが小さくなり、正反射位置の特定が困難になるという問題があった。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、被写体を撮像する際に、より簡便に投光装置からの投光の正反射位置を特定することが可能な、撮像装置、撮像方法及びプログラムを提供することにある。

上記課題を解決するために、本発明のある観点によれば、互いに異なる分光放射特性を有する照明光をそれぞれ投光する複数の光源と、複数の前記照明光を利用して被撮像物を撮像する撮像部と、前記複数の照明光それぞれを撮像した際に前記撮像部から出力される画素間の出力比率が、参照出力比率として予め格納される記憶部と、前記撮像部から出力される前記複数の照明光を利用した前記被撮像物の撮像画像と、前記記憶部に格納された前記参照出力比率とを利用して、前記撮像画像に前記照明光の正反射領域が存在するかを判断する判断部と、を備える撮像装置が提供される。

かかる構成によれば、複数の光源は、互いに異なる分光放射特性を有する照明光をそれぞれ投光し、撮像部は、複数の照明光を利用して被撮像物を撮像し、記憶部には、複数の照明光それぞれを撮像した際に撮像部から出力される画素間の出力比率が、参照出力比率として予め格納される。また、判断部は、撮像部から出力される複数の照明光を利用した被撮像物の撮像画像と、記憶部に格納された参照出力比率とを利用して、撮像画像に照明光の正反射領域が存在するかを判断する。これにより、より簡便に投光装置からの投光の正反射位置を特定することが可能となる。

前記判断部は、それぞれの前記照明光を利用して撮像された前記撮像画像において、前記照明光に対応する前記参照出力比率と同一の出力比率を有する箇所を抽出して正反射候補領域とし、抽出された前記正反射候補領域が複数の前記撮像画像の間で互いに一致した場合に、一致した当該正反射候補領域を、前記照明光の正反射領域と判断することが好ましい。これにより、雰囲気光による正反射位置ではなく、照明光による正反射位置をより正確に特定することが可能となる。

前記複数の光源は、前記照明光の投射角が互いに略同一となるように配設されてもよい。これにより、より正確に照明光の正反射位置を特定することが可能となる。

前記正反射領域に含まれる画素に対して補間処理を行う補間処理部を更に備えることが好ましい。これにより、照明光の正反射に由来する撮像画像の部位に対して、補間処理を行うことが可能となる。

前記補間処理部は、前記撮像画像における隣接画素、前記照明光を利用した撮像の前後に得られた撮像画像、又は、前記照明光の強度変調の度合いに応じて、前記正反射領域に含まれる画素を補間してもよい。これにより、照明光の正反射に由来する撮像画像の部位に対して、補間処理を行うことが可能となる。

前記補間処理部は、前記正反射領域が所定の閾値以上の大きさを有していた場合、当該正反射領域の補間方法をユーザに選択させるための通知を出力してもよい。これにより、ユーザは、正反射領域の補間方法を選択することが可能となる。

前記補間処理部は、前記正反射領域が所定の閾値以上の大きさを有していた場合、撮像エラーが発生した旨をユーザに知らせるための通知を出力してもよい。これにより、ユーザは、適切に撮像が行われていない旨を確認することが可能となる。

前記複数の光源のうち少なくとも１つは、前記撮像装置に対して着脱可能に設けられていてもよい。これにより、複数の光源の撮像装置に対する設置の自由度を向上させることが可能となる。

また、上記課題を解決するために、本発明の別の観点によれば、互いに異なる分光放射特性を有する照明光をそれぞれ投光する複数の光源から照射される複数の前記照明光を利用して、被撮像物を撮像する撮像ステップと、予め保持されている、前記複数の照明光それぞれを撮像した際に前記撮像部から出力される画素間の出力比率である参照出力比率と、前記撮像ステップで出力される前記複数の照明光を利用した前記被撮像物の撮像画像と、を利用して、前記撮像画像に前記照明光の正反射領域が存在するかを判断する判断ステップと、を含む撮像方法が提供される。

かかる構成によれば、撮像ステップでは、互いに異なる分光放射特性を有する照明光をそれぞれ投光する複数の光源から照射される複数の照明光を利用して、被撮像物が撮像され、判断ステップでは、予め保持されている、前記複数の照明光それぞれを撮像した際に前記撮像部から出力される画素間の出力比率である参照出力比率と、前記撮像ステップで出力される前記複数の照明光を利用した前記被撮像物の撮像画像と、を利用して、前記撮像画像に前記照明光の正反射領域が存在するかが判断される。これにより、より簡便に投光装置からの投光の正反射位置を特定することが可能となる。

また、上記課題を解決するために、本発明の更に別の観点によれば、コンピュータに、互いに異なる分光放射特性を有する照明光をそれぞれ投光する複数の光源から照射される複数の前記照明光それぞれを撮像した際に出力される画素間の出力比率を、参照出力比率として記憶する記憶機能と、前記複数の照明光を利用して撮像された被撮像物の撮像画像と、前記参照出力比率とを利用して、前記撮像画像に前記照明光の正反射領域が存在するかを判断する判断機能と、を実現させるためのプログラムが提供される。

これにより、互いに異なる分光放射特性を有する照明光を利用して撮像された複数の撮像画像を利用して、コンピュータに、撮像画像に照明光の正反射領域が存在するか否かを判断させることが可能となる。

以上説明したように本発明によれば、分光放射特性の異なる複数の照明光をそれぞれ用いて複数の画像を撮像し、得られた複数の画像と予め格納されている参照出力比率とに基づいて判断を行うことで、より簡便に投光装置からの投光の正反射位置を特定することが可能となる。

物質の反射特性について説明するための模式図である。 フラッシュ光による正反射の影響について説明するための模式図である。 本発明の実施形態に係る撮像処理の一例について説明するための説明図である。 同実施形態に係る撮像処理の一例について説明するための説明図である。 同実施形態に係る撮像装置の構成の一例を示したブロック図である。 同実施形態に係る撮像装置が備える画像処理部の構成の一例を示したブロック図である。 同実施形態に係る撮像装置の一例について説明するための説明図である。 同実施形態に係る撮像方法の流れの一例を示した流れ図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

（フラッシュ光による正反射の影響について）
本発明の実施形態に係る撮像装置及び撮像方法を説明するに先立ち、まず、物質の反射特性、及び、フラッシ光による正反射の影響について、図１及び図２を参照しながら説明する。図１は、物質の反射特性について説明するための模式図であり、図２は、フラッシュ光による正反射の影響について説明するための模式図である。

物質は、ある波長の光が照射された場合にどのような波長の光を反射するか、という特性を表した、固有の分光反射特性を有している。図１に例示したように、太陽光などの雰囲気光の光源から射出された光が被写体等の物質に照射された場合、照射光が物質内部へ侵入して拡散／反射が起こり、固有の分光放射特性に基づいて雰囲気光のスペクトルとの関係による反射スペクトルを放射する。この際、光源と物質との配置状態が表面界での反射である正反射条件を満足した場合、光源のスペクトルをほぼ保持したままで、光源からの光を反射する。

カメラ等の撮像装置を用いて被写体を撮像する際、図２に示したように、フラッシュ光を照射可能な投光装置が用いられることがある。カメラは、被写体である物質で反射した雰囲気光を撮像することとなるが、フラッシュ光は雰囲気光とは異なる位置から照射されるため、図２に示したように被写体の状態によっては、雰囲気光に加えてフラッシュ光の正反射も、カメラによって撮像されてしまうことが多い。フラッシュ光の正反射が撮像されてしまった場合、フラッシュ光が正反射している部分では、フラッシュ光の正反射が雰囲気光の反射光に重畳してしまって、雰囲気光の反射光に関する情報を消してしまう。その結果、ガラス越しに被写体を撮像した際にフラッシュ光の正反射に対応する部分が白ヌケしてしまう等といったように、不自然な画像が生成されてしまう。

また、一般的なフラッシュ撮影は、雰囲気光の照度が低い場合に行われることが多く、このような状況下では雰囲気光の正反射位置が不明なことが多い。この際においても、投光したフラッシュ光の正反射が撮像されて、不自然な画像が生成される場合がある。

フラッシュ光の正反射に伴う不自然な画像が生成された場合、撮像画像中に含まれるフラッシュ光の正反射領域を補正して、フラッシュ光の正反射に関する情報を除去することが好ましい。そのためには、撮像画像中において、どの部分がフラッシュ光の正反射領域であるのかを正確に特定することが重要である。

そこで、本発明者は、装置自体が大型化することを防止しつつ、より簡便に投光装置からの投光の正反射位置を特定することが可能な撮像装置及び撮像方法について鋭意検討を行った結果、以下で説明するような、本発明の実施形態に係る撮像装置及び撮像方法に想到した。

（第１の実施形態）
以下では、図３〜図８を参照しながら、本発明の第１の実施形態に係る撮像装置及び撮像方法について、詳細に説明する。

＜正反射位置の特定方法ついて＞
以下では、図３及び図４を参照しながら、本実施形態に係る撮像装置及び撮像方法における正反射位置の特定方法について説明する。図３は、本実施形態に係る撮像処理の一例について説明するための説明図であり、図４は、本実施形態に係る撮像処理の一例について説明するための説明図である。

本発明者は、フラッシュ光の正反射位置を正確に特定する方法について鋭意検討した結果、図３に例示したように、分光放射特性が互いに異なる複数の照射光をアクティブに照射可能な複数の光源を用いることに想到した。分光放射特性は、物質が放射する光の特性を示すものであり、例えば、放射する光の波長や明るさ（照度）等を挙げることができる。また、照射光をアクティブに照射するとは、雰囲気光に存在しない（撮像視野に存在しない）加工した光や人工的な光を撮影補助の為に能動的に照射することを意味する。

図３に示した例では、撮像装置（カメラ）に対して、互いに異なる分光放射特性を有する２種類のフラッシュ光（フラッシュ光１及びフラッシュ光２）を用いる場合について示している。本実施形態では、雰囲気光とフラッシュ光１とを用いて被写体を撮像するとともに、雰囲気光とフラッシュ光２とを用いて被写体を撮像する。それぞれ得られた撮像画像には、雰囲気光の反射光とともに、それぞれのフラッシュ光の正反射領域が含まれている。

本実施形態に係る撮像装置及び撮像方法では、それぞれのフラッシュ光を用いて撮像をした際に撮像素子から出力される画素間の出力比率（例えば、ベイヤ配列を有している撮像素子から出力される、Ｒ画素、Ｇ画素、Ｂ画素間の出力比率）が、予め参照出力比率として格納されている。図３に示した例では、フラッシュ光１に関する参照出力比率１と、フラッシュ光２に関する参照出力比率２と、が予め格納されていることとなる。

その上で、本実施形態に係る撮像装置及び撮像方法では、例えば図４に示したように、フラッシュ光１を用いて撮像した撮像画像（撮像画像１）と、参照出力比率１とを利用して、フラッシュ光１の正反射領域の候補となる部分（正反射候補領域１）を特定する。同様に、フラッシュ光２を用いて撮像した画像（撮像画像２）と、参照出力比率２とを利用して、フラッシュ光２の正反射領域の候補となる部分（正反射候補領域２）を特定する。その上で、２つの撮像画像間で比較を行い、抽出された候補領域が一致するか否かを判断する。抽出された正反射候補領域が互いに一致した場合、本実施形態に係る撮像装置及び撮像方法では、かかる候補領域を、フラッシュ光の正反射領域と判断する。

なお、本実施形態に係る撮像装置及び撮像方法では、各フラッシュ光の分光放射特性（例えば波長）が互いに異なっていればよく、それ以外の要件については、特に限定されるものではない。一般的なフラッシュ光としては、キセノン（Ｘｅ）光源を用いた白色光が用いられることが多いが、かかるフラッシュ光を、本実施形態に係る複数の光源における一方の光源とすればよい。また、キセノン光源以外の光源については、発光波長がキセノンの主な発光波長以外の波長であればよく、特に限定されるものでもない。例えば、オートフォーカス（ＡＦ）用に撮像装置に予め設けられている光源や、赤目補正用に予め設けられている光源等、撮像装置に予め設けられているフラッシュ光用途以外の光源を、本発明における光源として利用してもよい。また、フラッシュ光以外に設けられた２つの発光素子（ＬＥＤ）等を、本発明における光源として利用してもよい。

また、参照出力比率を、Ｒ画素、Ｇ画素、Ｂ画素間の出力比率を例に挙げて説明したが、上記以外の波長領域を有する撮像素子に対しても、同様にして参照出力比率を得ることは可能である。

以上、本実施形態に係る正反射位置の特定方法について、詳細に説明した。

＜撮像装置の構成について＞
続いて、以上説明したような正反射位置の特定方法を実現可能な撮像装置の構成の一例について、図５を参照しながら詳細に説明する。図５は、本実施形態に係る撮像装置の構成の一例を示したブロック図である。

図５に例示したように、本実施形態に係る撮像装置１０は、ＣＰＵ１０１、ＲＯＭ、１０３、ＲＡＭ１０５、撮像光学系１０７、撮像素子１０９、光学系駆動部１１１、画像処理部１１３、投光光源１１５、表示制御部１１７、ＬＣＤ／ＥＶＦ１１９、操作インタフェース（Ｉ／Ｆ）１２１、操作部１２３、記録メディアＩ／Ｆ１２５及び記録メディア１２７等を主に備える。

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１は、演算処理装置および制御装置として機能し、ＲＯＭ１０３やＲＡＭ１０５等に記録された各種プログラムに従って、撮像装置１０内の動作全般またはその一部を制御する。ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０３は、ＣＰＵ１０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０５は、ＣＰＵ１０１が使用するプログラムや、プログラムの実行において適宜変化するパラメータ等を一次記憶する。これらはＣＰＵバス等の内部バスにより構成されるバスにより相互に接続されている。

これらＣＰＵ１０１、ＲＯＭ１０３、ＲＡＭ１０５等が互いに連携することで、撮像装置１０のオートフォーカス（ＡＦ）を制御するＡＦ部や、自動露光（ＡＥ）を制御するＡＥ部や、ホワイトバランスを自動制御するＡＷＢ部等が実現されることとなる。

撮像光学系１０７は、後述する光学系駆動部１１１による駆動制御のもとで、被写体からの光を後述する撮像素子１０９の受光面に入射させる。これにより、撮像素子１０９において、受光面に入射した光が電気信号へと変換され、撮像画像が生成されることとなる。この撮像光学系１０７は、例えば、ズームレンズやフォーカスレンズ等のレンズ群、絞り、シャッター、ＮＤフィルタ等から構成されている。

撮像光学系１０７により導光された光（雰囲気光やフラッシュ光等を含む。）は、撮像光学系１０７の後段に設けられた撮像素子１０９の受光面に入射する。撮像素子１０９は、受光素子が２次元状に配列された受光面を有しており、この受光面に入射した光を、その光量に応じた電気信号へと変換する。この電気信号を１つ又は複数の受光素子によって構成される画素毎に順次読み出すことで、入射した光に応じた画像が生成されることとなる。なお、撮像素子１０９において画素信号がリセットされるタイミングや画素信号が読み出されるタイミングは、後述する光学系駆動部１１１により制御される。本実施形態に係る撮像装置１０では、撮像素子１０９の種類は特に限定されず、ＣＭＯＳセンサやＣＣＤセンサ等のように、公知の撮像素子を利用することが可能である。撮像素子１０９によって生成された電気信号（すなわち、撮像画像）は、後述する画像処理部１１３へと出力される。

光学系駆動部１１１は、撮像光学系１０７を構成するレンズ群、絞り、シャッター、ＮＤフィルタ等の部材や、撮像素子１０９の駆動制御を行う処理部である。光学系駆動部１１１が、レンズ群の焦点位置や、絞りの開閉度合いや、シャッターの開閉タイミングや、撮像素子１０９の読み出しタイミング等を制御することで、被写体を撮像した撮像画像が生成されることとなる。光学系駆動部１１１の具体的な構成については特に限定されるものではなく、公知のあらゆる技術を利用することが可能である。

画像処理部１１３は、撮像素子１０９により生成された撮像画像に対して、公知の前処理及び後処理等を含む各種の画像処理を実施する。また、画像処理部１１３は、撮像素子１０９によって生成され、公知の前処理及び後処理が施された撮像画像を圧縮する圧縮処理を行うことも可能である。更に、本実施形態に係る画像処理部１１３は、上述したような、アクティブに投光した光の正反射領域を特定して、かかる正反射領域に対して補間処理を行う。この画像処理部１１３の詳細な構成については、以下で詳述する。

投光光源１１５は、被写体を撮像する際に投光されるアクティブな光の光源である。本実施形態に係る撮像装置１０では、互いに分光光学特性の異なる複数の投光光源が設けられており、上述の正反射位置の特定処理に利用される。このような投光光源１１５として、例えば、フラッシュ光として用いられるキセノン光源や、オートフォーカス（ＡＦ）用に撮像装置に予め設けられている光源や、赤目補正用に予め設けられている光源等を挙げることができる。また、正反射位置の特定処理用に、１又は複数のＬＥＤが設けられていても良い。

なお、上記の正反射位置の特定処理に用いられる投光光源１１５は、その投光角が互いに等しくなっていることが好ましい。また、投光角は完全に同一でなくともよく、撮像画像の画角や被写体までの距離に応じて、撮像画像において投光角の違いが無視できる程度であれば、複数の投光光源間で投光角には所定の違いが存在していてもよい。

表示制御部１１７は、後述するＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ：液晶ディスプレイ）やＥＶＦ（Ｅｌｅｃｔｒｏｎｉｃ Ｖｉｅｗ Ｆｉｎｄｅｒ：電子ビューファインダ）等の表示装置の表示制御を行う。これにより、表示装置の表示画面に、撮像画像や、撮像装置１０が備える各種の機能を選択するためのメニュー画面等が表示されることとなる。

ＬＣＤやＥＶＦは、撮像装置１０に設けられた表示装置として機能するものであり、表示制御部１１７によって表示内容が制御される。撮像装置１０のユーザは、これら表示装置の表示画面に表示される内容を見ることで、撮像した画像をその場で確認したり、各種のメニューを選択したりすることができる。

操作Ｉ／Ｆ１２１は、ハードキーやダイヤル等の操作部１２３に対してユーザが行った各種の操作に関する情報（操作情報）を撮像装置１０に入力するためのインタフェースである。操作Ｉ／Ｆ１２１から入力された各種の操作情報は、ＣＰＵ１０１に通知され、操作情報に応じた各種の機能が実現されることとなる。なお、操作部１２３の構成については特に限定されるものではなく、タッチパネル等を利用した操作手段など、公知の入力手段を適用することが可能である。

記録メディアＩ／Ｆ１２５は、後述する記録メディア１２７を撮像装置１０に対して接続させるためのインタフェースであり、記録メディア１２７を駆動するためのドライバとしても機能する。また、記録メディア１２７は、撮像装置１０に設けられた外部記憶装置の一例である。記録メディアＩ／Ｆ１２５は、記録メディア１２７に対して各種のデータを書き込んだり、記録メディア１２７から各種のデータを読み出したりすることができる。また、記録メディアＩ／Ｆ１２５は、表示制御部１１７と連携して、記録メディア１２５に記録されている各種のデータを、ＬＣＤやＥＶＦ等の表示装置１１９に表示させることもできる。なお、本実施形態においては、記録メディア１２７の種類は特に限定されず、公知の各種記録メディアを用いることが可能である。また、記録メディアＩ／Ｆ１２５の種類は、記録メディア１２７の種類に応じて適宜選択することが可能である。

＜画像処理部の構成について＞
続いて、図６を参照しながら、本実施形態に係る撮像装置１０が備える画像処理部１１３の詳細な構成について、説明する。図６は、本実施形態に係る撮像装置が備える画像処理部の構成の一例を示したブロック図である。

図６に示したように、本実施形態に係る画像処理部１１１は、公知の前処理及び後処理や、画像圧縮処理を行う処理部（図示せず。）に加えて、データ取得部１５１と、判断部１５３と、補間処理部１５５と、を備える。

データ取得部１５１は、撮像素子１０９により撮像された撮像画像の実体データを取得する。かかる実体データは、撮像素子１０９から直接取得してもよいし、記録メディア１２７から取得してもよい。データ取得部１５１は、取得した撮像画像の実体データを、後述する判断部１５３及び補間処理部１５５に出力する。

判断部１５３は、ＲＯＭ１０３やＲＡＭ１０５や記録メディア１２７等に格納されている参照出力比率を利用して、データ取得部１５１から出力された撮像画像の実体データに対して、上述の正反射領域の特定処理を行う。以下では、波長が互いに異なる２つの照明光（以下では、第１照明光及び第２照明光と称する。）を利用して、正反射位置の特定処理を行う場合を例に挙げて、説明を行うものとする。

判断部１５３は、第１照明光を用いて撮像された撮像画像（第１撮像画像）と、第２照明光を用いて撮像された撮像画像（第２撮像画像）と、をそれぞれ取得すると、第１照明光に対応する参照出力比率と、第２照明光に対応する参照出力比率と、をそれぞれ取得する。その後、判断部１５３は、第１撮像画像を構成する画素の画素値と、第１照明光に対応する参照出力比率と、を比較して、第１撮像画像の画素値から算出される出力比率が、参照出力比率と同様となっている箇所を特定する。ここで、算出される出力比率が参照出力比率と同様であるとは、両者が完全に同一である場合に加えて、両者を同一だとみなすことが出来る程度に類似している場合をも含むものとする。かかる画素が存在した場合、判断部１５３は、該当する画素の座標（例えば、撮像画像における該当画素の位置）を記憶する。このような画素の集合が、第１照明光の正反射領域の候補（すなわち、正反射候補領域）となる。また、判断部１５３は、同様にして、第２撮像画像における正反射候補領域を特定する。

その後、判断部１５３は、それぞれの撮像画像から抽出した正反射候補領域について、領域の座標が重複しているものがあるか否かを判断する。撮像画像間で領域の座標が重複しているものが存在した場合、判断部１５３は、かかる正反射候補領域を、照明光の正反射領域と判断する。照明光の分光光学特性（例えば波長）が異なっている場合であっても、照明光の正反射領域の位置は変化しないと考えられるからである。

判断部１５３は、正反射領域の位置を特定すると、当該正反射領域の位置を表す情報（正反射領域位置情報）を、後述する補間処理部１５５に出力する。

補間処理部１５５は、判断部１５３から出力された正反射領域位置情報を参照し、特定された正反射領域に含まれる画素に対して、公知の補間処理を行う。これにより、照明光の正反射に由来する撮像画像の部位に対して、補間処理を行うことが可能となる。

例えば、補間処理部１５５は、撮像画像における正反射領域の隣接画素、照明光を利用した撮像の前後に得られた撮像画像（すなわち、正反射領域を含む撮像画像の前後に撮像された撮像フレーム）、又は、照明光の強度変調の度合い（照明光の強度を変調したときに関係）に応じて、正反射領域に含まれる画素を補間することができる。

なお、補間処理部１５５が実施する正反射領域の補間方法は、上記の例に限定されるものではなく、他の公知の補間処理を適用することも可能である。

また、補間処理部１５５は、正反射領域が所定の閾値以上の大きさ（面積）を有していた場合、当該正反射領域の補間方法をユーザに選択させるための通知を出力してもよい。これにより、ユーザは、例えば上記のような複数の補間方法の中から、正反射領域の補間に利用する補間方法を選択することが可能となる。

また、補間処理部１５５は、正反射領域が所定の閾値以上の大きさ（面積）を有していた場合、撮像エラーが発生した旨をユーザに知らせるための通知を出力してもよい。これにより、ユーザは、適切に撮像が行われていない旨を確認することが可能となる。

以上、図６を参照しながら、本実施形態に係る画像処理部１１３の構成について、詳細に説明した。

以上説明したような正反射領域の特定方法は、フラッシュを用いて撮像を行う場合のみならず、撮影者が撮影対象に対して意図的に投光を行うような状況に適用することが可能である。

このような状況として、例えば、低照度環境下における撮影を挙げることができる。従来の撮像装置では、フラッシュ光として１種類の分光放射特性を有する１種類の照明光のみを利用するものであった。そのため、雰囲気光が低照度である場合には、フラッシュを用いて撮像された画像中において、正反射領域が、フラッシュ光によるものなのか、雰囲気光に基づく適切なものであるのかを判断することが出来なかった。しかしながら、本実施形態に係る正反射領域の特定方法を用いることで、低照度環境下であっても、フラッシュ光等のアクティブな投光に起因する正反射領域を正しく判別することが可能となる。

また、本実施形態に係る正反射領域の特定方法は、太陽光又はフラッシュ成分と同一の分光放射特性を有する光源下における撮影にも適用することが可能である。フラッシュ光源と雰囲気光の分光放射特性が同一である場合、雰囲気光による正反射領域を正しく撮影することが望まれる。フラッシュ光源が単一で雰囲気光と同一である場合、フラッシュ光の有無で正反射領域を特定することが可能であるが、複数の異なる分光放射特性の光源を利用して撮影を行うことで、より精度の高い正反射領域の特定を行うことが可能となる。

なお、上記では、フラッシュ光を用いた撮影を例に挙げて説明を行ったが、本実施形態に係る正反射領域の特定方法は、かかる場合以外にも、撮影者が意図的に被写体へ投光を行う場合に対して有効であることは言うまでもない。

以上、本実施形態に係る撮像装置１０の機能の一例を示した。上記の各構成要素は、汎用的な部材や回路を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。また、各構成要素の機能を、ＣＰＵ等が全て行ってもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用する構成を変更することが可能である。

なお、上述のような本実施形態に係る撮像装置の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。

＜光源の設置方法について＞
続いて、図７を参照しながら、本実施形態に係る光源の設置方法について、簡単に説明する。図７は、本実施形態に係る撮像装置の一例について説明するための説明図である。なお、以下の説明では、撮像装置１０に対して２つの光源１１５ａ，１１５ｂが設置される場合を例に挙げて、説明を行うものとする。

本実施形態に係る撮像装置１０では、正反射領域を特定するために分光放射特性の異なる複数の光源を利用するが、かかる複数の光源の少なくとも一つは、撮像装置１０に対して着脱可能に設けられていてもよい。

すなわち、図７（ａ）に示したように、２つの光源１１５ａ，１１５ｂの双方が撮像装置の本体に設けられていても良いし、図７（ｂ）に示したように、一方の光源（図７（ｂ）では、光源１１５ｂ）が、撮像装置１０に対して着脱可能に装着される外部ユニットに設けられていても良い。また、図７（ｃ）に示したように、２つの光源１１５ａ，１１５ｂの双方が、撮像装置１０に対して着脱可能に装着される外部ユニットに設けられていても良い。また、図７（ｄ）に示したように、２つの光源１１５ａ、１１５ｂが撮像装置本体と同期撮影可能な外部ユニットに設けられていても良い。

このような構成とすることにより、複数の光源の撮像装置に対する設置の自由度を向上させることが可能となる。

以上、本実施形態に係る撮像装置における光源の設置方法について、簡単に説明した。

＜撮像方法の流れについて＞
次に、図８を参照しながら、本実施形態に係る撮像装置１０で行われる撮像方法の流れの一例について、簡単に説明する。図８は、本実施形態に係る撮像方法の流れの一例を示した流れ図である。

本実施形態に係る撮像装置１０は、まず、第１フラッシュ光を被写体に対して投光し（ステップＳ１０１）、被写体を撮像する（ステップＳ１０３）。その後、撮像装置１０は、生成された第１撮像画像を、ＲＡＭ１０５や記録メディア１２７等に保存する（ステップＳ１０５）。

次に、撮像装置１０は、第２フラッシュ光を被写体に対して投光し（ステップＳ１０７）、被写体を撮像する（ステップＳ１０９）。その後、撮像装置１０は、生成された第２撮像画像を、ＲＡＭ１０５や記録メディア１２７等に保存する（ステップＳ１１１）。

続いて、撮像装置１０の画像処理部１１３に設けられた判断部１５３は、第１撮像画像と参照出力比率とを利用して、正反射候補領域を抽出する（ステップＳ１１３）とともに、第２撮像画像と参照出力比率とを利用して、正反射候補領域を抽出する（ステップＳ１１５）。

その後、判断部１５３は、画像間で重複する正反射候補領域を正反射領域と判断する（ステップＳ１１７）。その後、判断部１５３は、特定した正反射領域に関する正反射領域位置情報を、補間処理部１５５に出力する。

次に、補間処理部１５５は、判断部１５３から出力された正反射領域位置情報を利用して、特定した正反射領域に対して補間処理を実施する（ステップＳ１１９）。

このような流れで処理を行うことで、本実施形態に係る撮像装置１０は、正反射領域を正確に特定することが可能となる。

なお、上記説明では、第１撮像画像及び第２撮像画像の双方を取得した後に、正反射候補領域を抽出する場合について説明したが、各撮像画像を取得した後に正反射候補領域を抽出してもよい。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

例えば以上説明したような、本発明の実施形態に係る撮像装置１０は、デジタルスチルカメラに限定されるものではなく、カムコーダ、医療用カメラ、監視用カメラ、工業用カメラ、車載カメラ、各種モバイル機器等、アクティブに投光を行い、光電変換素子を利用して画像情報を出力する装置全般に適用可能である。

１０ 撮像装置
１０１ ＣＰＵ
１０３ ＲＯＭ
１０５ ＲＡＭ
１０７ 撮像光学系
１０９ 撮像素子
１１１ 光学系駆動部
１１３ 画像処理部
１１５ 投光光源
１１７ 表示制御部
１１９ 表示装置（ＬＣＤ／ＥＶＦ）
１２１ 操作インタフェース（操作Ｉ／Ｆ）
１２３ 操作部
１２５ 記録メディアインタフェース（記録メディアＩ／Ｆ）
１２７ 記録メディア

Claims (10)

1. 互いに異なる分光放射特性を有する照明光をそれぞれ投光する複数の光源と、
   複数の前記照明光を利用して被撮像物を撮像する撮像部と、
   前記複数の照明光それぞれを撮像した際に前記撮像部から出力される画素間の出力比率が、参照出力比率として予め格納される記憶部と、
   前記撮像部から出力される前記複数の照明光を利用した前記被撮像物の撮像画像と、前記記憶部に格納された前記参照出力比率とを利用して、前記撮像画像に前記照明光の正反射領域が存在するかを判断する判断部と、
   を備える
   ことを特徴とする、撮像装置。
2. 前記判断部は、
   それぞれの前記照明光を利用して撮像された前記撮像画像において、前記照明光に対応する前記参照出力比率と同様の出力比率を有する箇所を抽出して正反射候補領域とし、
   抽出された前記正反射候補領域が複数の前記撮像画像の間で互いに一致した場合に、一致した当該正反射候補領域を、前記照明光の正反射領域と判断する
   ことを特徴とする、請求項１に記載の撮像装置。
3. 前記複数の光源は、前記照明光の投射角が互いに略同一となるように配設される
   ことを特徴とする、請求項１又は２に記載の撮像装置。
4. 前記正反射領域に含まれる画素に対して補間処理を行う補間処理部を更に備える
   ことを特徴とする、請求項１〜３の何れか１項に記載の撮像装置。
5. 前記補間処理部は、前記撮像画像における隣接画素、前記照明光を利用した撮像の前後に得られた撮像画像、又は、前記照明光の強度変調の度合いに応じて、前記正反射領域に含まれる画素を補間する
   ことを特徴とする、請求項４に記載の撮像装置。
6. 前記補間処理部は、前記正反射領域が所定の閾値以上の大きさを有していた場合、当該正反射領域の補間方法をユーザに選択させるための通知を出力する
   ことを特徴とする、請求項４に記載の撮像装置。
7. 前記補間処理部は、前記正反射領域が所定の閾値以上の大きさを有していた場合、撮像エラーが発生した旨をユーザに知らせるための通知を出力する
   ことを特徴とする、請求項４に記載の撮像装置。
8. 前記複数の光源のうち少なくとも１つは、前記撮像装置に対して着脱可能に設けられる
   ことを特徴とする、請求項１〜７の何れか１項に記載の撮像装置。
9. 互いに異なる分光放射特性を有する照明光をそれぞれ投光する複数の光源から照射される複数の前記照明光を利用して、被撮像物を撮像する撮像ステップと、
   予め保持されている、前記複数の照明光それぞれを撮像した際に前記撮像部から出力される画素間の出力比率である参照出力比率と、前記撮像ステップで出力される前記複数の照明光を利用した前記被撮像物の撮像画像と、を利用して、前記撮像画像に前記照明光の正反射領域が存在するかを判断する判断ステップと、
   を含む
   ことを特徴とする、撮像方法。
10. コンピュータに、
    互いに異なる分光放射特性を有する照明光をそれぞれ投光する複数の光源から照射される複数の前記照明光それぞれを撮像した際に出力される画素間の出力比率を、参照出力比率として記憶する記憶機能と、
    前記複数の照明光を利用して撮像された被撮像物の撮像画像と、前記参照出力比率とを利用して、前記撮像画像に前記照明光の正反射領域が存在するかを判断する判断機能と、
    を実現させるためのプログラム。
    

Images