JP2019140698A - 撮像装置及びプログラム - Google Patents

Abstract

【課題】適正な撮像動作を行うことができる撮像装置を提供する。【解決手段】本発明の撮像装置は、被写体を撮像して画像を取得する撮像部と、前記被写体を含む空間の奥行の情報を取得する情報取得部と、前記情報取得部で取得した情報に基づいて、前記撮像部で取得した画像に対する処理を行う制御部と、を備える。【選択図】 図１

Description

撮像装置及びプログラムに関する。

適正露光が得られるように本発光時のストロボ発光量（光量と発光時間）を算出する撮影装置が知られている（特許文献１）。

特開２００３−１６１９８７号公報

本発明は、適正な撮像動作を行うことができる撮像装置を提供することを目的とする。

本発明を例示する撮像装置の一態様は、被写体を撮像して画像を取得する撮像部と、前記被写体を含む空間の奥行の情報を取得する情報取得部と、前記情報取得部で取得した情報に基づいて、前記撮像部で取得した画像に対する処理を行う制御部と、を備える。

また、本発明を例示するプログラムの一態様は、被写体を撮像して画像を取得する撮像処理と、前記被写体を含む空間の奥行の情報を取得する情報取得処理と、前記情報取得処理で取得した情報に基づいて、前記撮像処理で取得した画像に対する処理を行う制御処理と、をコンピュータに実行させるものである。

本発明によれば、適正な撮像動作を行うことができる。

本発明の一例である電子カメラの概略を示すブロック図である。 発光量を決定する決定部の構成を示すブロック図である。 決定部が発光量を決定する動作手順を示すフローチャートである。 決定部が取得、及び生成するマップを仮想的に説明した説明図であり、（Ａ）は実画像、（Ｂ）は深度マップ、（Ｃ）は縮小輝度マップ、（Ｄ）は縮小輝度マップ、（Ｅ）は仮想の証明輝度マップ、（Ｆ）は仮想の輝度マップをそれぞれ一例として示す説明図である。 外部フラッシュと電子カメラとを含む撮影システムの一形態を示す説明図である。 図５で説明した撮影システムの構成を示すブロック図である。 図６で説明した電子カメラの決定部の構成を示すブロック図である。 図７で説明した決定部が発光量を決定する動作手順を示すフローチャートである。

［第１実施形態］
本発明の撮像装置の一実施形態を示す電子カメラ１０は、図１に示すように、撮像部１１、深度マップ取得部１２、ＲＯＭ１３、ＲＡＭ１４、記録部１５、フラッシュ制御部１６、内蔵フラッシュ１７、操作部１８、表示制御部１９、表示部２０、タッチパネル２１、及びＣＰＵ２２を備える。撮像部１１、深度マップ取得部１２、ＲＯＭ１３、ＲＡＭ１４、記録部１５、表示制御部１９、及びＣＰＵ２２は、それぞれバス２３に接続されている。また、ＣＰＵ２２には、フラッシュ制御部１６、操作部１８、及びタッチパネル２１が接続されている。タッチパネル２１は、表示部２０に設けられている。表示部２０は、スルー画像等を表示するためのもので、表示制御部１９により表示が制御される。フラッシュ制御部１６は、内蔵フラッシュ１７が接続されており、内蔵フラッシュ１７の発光を制御する。

操作部１８は、電源操作部、レリーズ操作部等を備える。ＲＯＭ１３は、内蔵フラッシュ１７の発光情報（ガイドナンバや周辺低下光量を含む情報）や、撮影用プログラムや発光量決定用プログラム等、ＣＰＵ２２に実行させるためのプログラムが記憶されている。ＲＡＭ１４は、ＣＰＵ２２の作業領域やデータの一時的な記憶領域等に使用される。記録部１５には、本撮像時に取得する実画像のデータが記録される。

撮像部１１は、撮像レンズにより結像する被写体の光像を所定の露出により撮像素子の結像面に結像させ、結像される被写体の光像を撮像素子により電気信号に変換して実画像を生成する。なお、撮像部１１は、実画像取得部の一例である。

深度マップ取得部１２は、奥行き情報である深度マップ、又はそれを含む３次元情報（以下、「深度マップ」と称す）を、実画像と略同時に、同じ撮像範囲となるように取得する。取得した深度マップは、実画像と関連付けしてＲＡＭ１４に格納される。なお、深度マップ取得部１２は、周知の「ステレオカメラによる深度マップの生成手法」、「赤外光を利用したＴＯＦ（Time of Flight）手法」、「赤外光の反射パターンを利用した手法」、及び「動きベクトルからの深度マップの生成手法」等の技術を利用して深度マップを生成する深度マップ生成回路を備える。生成される深度マップは、例えばある基準位置を基に深さ（被写体までの距離）が深い画素の場合にはその画素の輝度を高くする等、各画素における深度に応じた輝度分布を求めたグレースケールの画像である。なお、深度マップ取得部１２は、３次元情報取得部の一例である。

ＣＰＵ２２は、ＡＥ・ＡＦ部２４、判定部２５、及び決定部２６を備える。ＡＥ・ＡＦ部２４は、実画像の一部（測距領域と測光領域）に基づいて被写体輝度の情報と被写体距離の情報（被写体のコントラストを示すＡＦ評価値の情報）とを取得し、これら情報に基づいてＩＳＯ感度、シャッタ速度、及び絞り値を含む露出が適正露出になるように、また、撮影レンズが合焦位置に移動するように撮像部１１を制御する。

ＣＰＵ２２は、レリーズ操作部の半押し操作に応答して、低輝度被写体か否かを判定するために撮像部１１から実画像を取得する事前撮影を行う。事前撮影時に取得した実画像は、ＲＡＭ１４に一時的に格納される。判定部２５は、事前撮影時に取得した実画像の一部の被写体輝度が、例えば予め決めた閾値以下の場合、低輝度被写体であると判定する。

ＣＰＵ２２は、判定部２５が低輝度被写体であると判定した場合、深度マップ取得部１２を動作させて深度マップを取得し、取得した深度マップと事前撮影時に取得した実画像とを利用して適正露光を得るための内蔵フラッシュ１７の発光量を決定し、レリーズ操作部の全押し操作に応答して、先に決めた発光量に基づいて内蔵フラッシュ１７を発光して本撮影を行う。

ＣＰＵ２２は、フラッシュ撮影を行う場合、予め決められた露出値（ＩＳＯ感度、絞り値、及びシャッタ速度）に撮像部１１の露出を設定する。本撮影時に取得した実画像は、撮像データとして記録部１５に記憶される。なお、レリーズ操作部としては、半押しと全押しとの二段押し構造の代わりに一段押し構造のものを使用してもてもよい。この場合には、押し操作に応答して事前撮影を行って発光量を決定してから一定時間経過後に、本撮影を行えばよい。

決定部２６は、事前撮影により取得した実画像と深度マップとに基づいて、内蔵フラッシュ１７により距離に応じた被写体を照明した時に得られる仮想の反射光量、すなわち仮想の被写体輝度情報（以下、「仮想輝度情報」と称す。）を作成し、作成された仮想輝度情報に基づいて、着目被写体を含む領域の輝度値が所定の輝度値になるように内蔵フラッシュ１７の発光量を決める。なお、決定部２６は、決定手段の一例である。

具体的には、決定部２６は、図２に示すように、縮小輝度マップ作成部２７、縮小深度マップ作成部２８、照明輝度マップ作成部２９、仮想輝度マップ作成部３０、及び発光量決定部３１を含む。これら構成は、判定部２５が低輝度被写体であると判定した場合、図３に示す手順に従って発光量を決定する。

まず、ＣＰＵ２２は、適度被写体であると判定した場合、深度マップ取得部１２を作動して深度マップを取得し、取得した深度マップをＲＡＭ１４に記憶する（Ｓ−１）。なお、この時点では、事前撮影に応答して実画像がＲＡＭ１４に格納されている。

縮小輝度マップ作成部２７は、ＲＡＭ１４から実画像を読み出し、読み出した実画像の有効画像領域を分割した領域毎に、各画素の輝度値を平均して求めた平均輝度値を分布させた縮小輝度マップを実画像に基づいて作成する（Ｓ−２）。ここで、実画像を図４（Ａ）に、実画像に対応する深度マップを図４（Ｂ）に、実画像に基づいて作成した縮小輝度マップを図４（Ｃ）にそれぞれ示す。

縮小深度マップ作成部２８は、前記各領域に対応するエリア毎に、各画素の深度値を平均して求めた平均深度値を前記エリア毎に分布させた縮小深度マップを深度マップ（図４（Ｄ）参照）に基づいて作成する（Ｓ−３）。なお、図４（Ｃ）及び同図（Ｄ）では、縮小したマップを拡大して示している。

照明輝度マップ作成部２９は、内蔵フラッシュ１７の発光情報（発光量や照射角等の情報）と縮小深度マップとに基づいて、前記発光情報に含まれる基本の発光量で内蔵フラッシュ１７を照明した時に得られる被写体からの反射光量を前記エリア毎に算出した仮想の照明輝度マップ(図４（Ｅ）参照)を作成する（Ｓ−４）。このとき、発光量と距離とをパラメータとする輝度値のテーブルを予めＲＯＭ１３に記憶しておき、読み出して使用することで照明輝度マップを作成する時の演算を簡略化することができる。

仮想輝度マップ作成部３０は、照明輝度マップと輝度マップとを合成して仮想輝度マップ（図４（Ｆ）参照）を作成する（Ｓ−５）。仮想輝度マップは、実際の環境下（定常光下）で内蔵フラッシュを発光した時に得られる被写体からの反射光量を前記領域毎に算出した仮想の被写体輝度情報である。

そして、発光量決定部３１は、仮想輝度マップに基づいて、着目被写体を含む領域３２（図４（Ｆ）参照）の輝度値が所定の輝度値になるように内蔵フラッシュ１７の発光量を決める。この作業は、仮想輝度マップに対して着目被写体を含む領域３２の輝度値を抽出し（Ｓ−６）、抽出した輝度値が予め決めた所定の輝度値か否かを判定する（Ｓ−７）。抽出した輝度値が所定の輝度値ではない場合には、前記基準の発光量に対して再び設定する発光量を増減させて照明輝度マップを作り直し（Ｓ−８）、作り直した照明輝度マップと輝度マップとを合成して仮想輝度マップを作り直し（Ｓ−９）、作り直した仮想輝度マップから着目被写体を含む領域３２の輝度値を抽出し（Ｓ−６）、抽出した輝度値が所定の輝度値か否かを判定していく（Ｓ−７）。抽出した輝度値が所定の輝度値である場合には、このとき設定した発光量を本撮影時の発光量に決める（Ｓ−１０）。

所定の輝度値としては、許容する範囲をもった値としてもよい。この場合には、着目被写体を含む領域３２の輝度値が許容範囲内に収まっているか否かを判定すればよい。ここで、着目被写体を含む領域３２としては、仮想輝度マップの領域のうち、輝度値が一番高い領域とするのが好適である。

なお、事前撮影後に実画像を表示部２０に表示して、表示される実画像上のうち、着目被写体又はそれを含む領域を、タッチパネル２１を使って択一的に選択するように構成してもよい。タッチパネル２１は、選択手段の一例である。

また、照明輝度マップを最初に作成する時に用いる基準の発光量は、後から設定する発光量よりも低めに設定しておくのが好ましい。というのは、後から発光量を徐々に上げて仮想輝度マップを作り直して判定する方が、仮想輝度マップのいずれかの領域の輝度値が高輝度（白飛び）になり難く、よって輝度値の判定を迅速に行うことができるためである。なお、逆に、内蔵フラッシュ１７の最大発光量を基準の発光量として設定しておき、後から発光量を徐々に下げるようにしてもよい。

［第２実施形態］
第２実施形態は、図５に示すように、フラッシュ装置４５を電子カメラ４６から離れた位置に配置して、人物４７に対してフラッシュ撮影を行う撮影システム４８を示す例である。なお、符号４９は、フラッシュ光を反射する物体の反射面を示す。フラッシュ装置４５は、照明手段の一例である。

電子カメラ４６は、図６に示すように、図１で説明した構成に加えて、フラッシュ装置４５との間で無線通信を行う送受信機５０を備える。フラッシュ装置４５には、発光部５１、送受信部５２、位置検出部５３、方向検出部５４、発光情報記憶部５５、及びこれらを統括的に制御する制御部５６を備えている。位置検出部５３は、測地衛星からの電波を受信して、測定された現在位置を示す位置情報を得る、例えばＧＰＳ（Global Positioni
ng Satellite）センサを含む。制御部５６は、位置検出部５３から得られる位置情報を、電子カメラ４６からの要求に応じて、送受信部５２を介して電子カメラ４６に送信する。

方向検出部５４は、例えば、電子コンパスと、加速度センサとから構成される。電子コンパスは、ホール素子等の磁気素子により構成され、地磁気を検出して方位を検出し、また、加速度センサは、傾斜（仰角）を検出する。制御部５６は、電子カメラ４６からの要求に応じて、方向検出部５４から得られる発光部５１の発光方向の情報を、送受信部５２を介して電子カメラ４６に送信する。

発光情報記憶部５５は、発光量（ガイドナンバ）や照射角等の発光部情報を予め記憶している。制御部５６は、電子カメラ４６からの要求に応じて、発光部情報を発光情報記憶部５５から読み出して、送受信部５２を介して電子カメラ４６に送信する。この実施形態では、位置情報、発光方向の情報、及び発光部情報が発光情報の一例である。

制御部５６は、送受信部５２を介して電子カメラ４６で決められる発光量の情報、及びトリガ信号等が送信されることに基づいて、発光部５１の発光を制御する。なお、フラッシュ装置４５と電子カメラ４６とを無線接続しているが、代わりに有線接続してもよい。

電子カメラ４６のＣＰＵ２２は、決定部５７を備える。決定部５７は、図７に示すように、縮小輝度マップ作成部２７、縮小深度マップ作成部２８、反射光輝度マップ作成部６０、照明輝度マップ作成部６１、仮想輝度マップ作成部３０、及び発光量決定部３１を含む。ここで、第２実施形態では、図２で説明した構成と比べて、反射光輝度マップ作成部６０を備えている。反射光輝度マップ作成部６０は、縮小輝度マップと縮小深度マップとに基づいて物体の反射面４９の反射率を求めて反射光輝度マップを作成する。照明輝度マップ作成部６１は、縮小輝度マップ、発光情報、及び反射光輝度マップに基づいて照明輝度マップを作成する。なお、図２で説明したと同じ構成には同符号を付与して詳しい説明を省略する。

判定部２５は、事前撮影により低輝度被写体であると判定した場合、図８に示す手順に従って発光量を決定する。この第２実施形態では、図３で説明した手順と比べて、反射光輝度マップ作成部６０が縮小輝度マップと縮小深度マップとに基づいて物体の反射面４９の反射率を求めて反射光輝度マップを作成する手順（Ｓ−１１）を含む。具体的には、縮小深度マップに対して、距離の類似性に応じた平滑化を施すことで反射面４９を特定し、また、縮小輝度マップに対しては、特定した反射面４９の範囲毎に、色の類似性に応じた平滑化を施すことにより各反射面４９の反射率を特定する。

照明輝度マップ作成部６１は、フラッシュ装置４５に発光情報の要求を送信し、これに対して受信される発光情報（発光位置、発光方向、発光量、照射角等の情報）、先に作成した縮小深度マップ、及び反射光輝度マップに基づいて、フラッシュ装置４５で発光した時に直接届く直接光と、周囲の物体に反射して間接的に届く反射光とにより照明される被写体からの反射光量を領域毎に算出した仮想の照明輝度マップを作成する（Ｓ−１２）。その後は、第１実施形態で説明と同様に、仮想輝度マップを作成し、仮想輝度マップから得られる着目被写体を含む領域の輝度値が予め決めた所定の輝度値になるように、照明輝度マップを作成する時に設定する発光量を求める。

上記第２実施形態では、反射光輝度マップを作成し、定常光、照明光、及び反射光との３つ光に基づいて仮想輝度マップを作っているが、反射光輝度マップ作成部を省略して定常光、及び照明光のみで作ってもよい。また、第２実施形態で説明した反射光輝度マップ作成部を第１実施形態で用いて、第１実施形態でも定常光、照明光、及び反射光との３つ光に基づいて仮想輝度マップを作るようにしてもよい。

上記各実施形態では、電子カメラ１０として説明しているが、カメラ付き携帯電話やカメラ付電子機器等でもよい。また、放電発光によって閃光を発生する閃光光源を用いた内蔵フラッシュ１７、及びフラッシュ装置（外部フラッシュ）４５として説明しているが、本発明の照明手段としてはこれに限らず、ＬＥＤ(Light Emitting Diode)を用いた照明手段を使用してもよい。また、照明手段としては、複数使用してもよい。この場合には、マスターフラッシュと、前記マスターフラッシュからの本発光に同調して発光する単体又は複数のスレーブフラッシュとを使用すればよい。

上記各実施形態では、照度輝度マップや仮想輝度マップを作るための演算を簡略化するために、実画像（輝度マップ）と深度マップとをそれぞれ縮小しているが、本発明ではこれに限らず、縮小しなくてもよい。また、上記各実施形態では、領域の輝度値や深度値を平均化して縮小マップを得るバイリニア法を用いているが、代わりに、バイキュービック法で縮小化をしてもよい。

上記各実施形態では、被写体輝度が低輝度被写体の時に、フラッシュ撮影を行うための発光量を決定しているが、本発明ではこれに限らず、例えば日中シンクロ撮影モードが選択された時には、被写体輝度に関わらず発光量を決定してフラッシュ撮影を行うように構成してもよい。

上記各実施形態では、シャッタレリーズの前に実画像、及び深度マップを常に１コマ分だけＲＡＭに記憶しておき、シャッタレリーズの時にその前に記憶しておいた実画像、及び深度マップをＲＡＭから読み出して発光量を決めるように構成してもよい。

上記各実施形態では、撮像部１１と深度マップ取得部１２とを一体に設けた電子カメラ１０として説明しているが、撮像部１１と深度マップ取得部１２とのいずれか一方、又は両方を別に設けた構成であってもよい。この場合、別に設けた方から実画像と深度マップの一方又は両方を外部から入力する構成にすればよい。また、撮像部１１、深度マップ取得部１２、及び照明手段を別々に設けてもよい。この場合、本発明としては、撮像部１１、深度マップ取得部１２、及び照明制御手段（ＣＰＵ２２）が省略され、実画像と深度マップとを外部入力とし、入力される実画像と深度マップとに基づいて照明光量を決定する照明光量決定方法、及び装置としてもよい。

以上、本発明を好適な実施の形態に基づき具体的に説明したが、本発明は上記各実施形態で説明した構成に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることは言うまでもない。

１０，４６ 電子カメラ
１７ 内蔵フラッシュ
２６，５７ 決定部
４５ フラッシュ装置

Claims (6)

1. 被写体を撮像して画像を取得する撮像部と、
   前記被写体を含む空間の奥行の情報を取得する情報取得部と、
   前記情報取得部で取得した情報に基づいて、前記撮像部で取得した画像に対する処理を行う制御部と、を備える撮像装置。
2. 請求項１に記載の撮像装置において、
   前記制御部は、前記情報取得部で取得した情報に基づいて、前記撮像部で取得した画像に含まれる被写体の特徴を示す情報を生成する撮像装置。
3. 請求項２に記載の撮像装置において、
   前記制御部は、前記情報取得部で取得した情報に基づいて、前記撮像部で取得した画像に含まれる被写体の特徴を分布図で示す情報を生成する撮像装置。
4. 請求項３に記載の撮像装置において、
   前記制御部は、前記情報取得部で取得した情報に基づいて、前記撮像部で取得した画像に含まれる被写体の輝度を分布図で示す情報を生成する撮像装置。
5. 請求項２から請求項４のいずれか一項に記載の撮像装置において、
   前記制御部が生成した前記撮像部で取得した画像に含まれる被写体の特徴を示す情報に基づいて、前記撮像部による画像取得に用いる動作条件を決定する決定部を備える撮像装置。
6. 被写体を撮像して画像を取得する撮像処理と、
   前記被写体を含む空間の奥行の情報を取得する情報取得処理と、
   前記情報取得処理で取得した情報に基づいて、前記撮像処理で取得した画像に対する処理を行う制御処理と、をコンピュータに実行させるプログラム。