JP2015095775A - 撮像装置および撮像方法 - Google Patents

Abstract

【課題】測光センサが設けられるカメラであって、カメラの構造を複雑にすることなく、測光センサで得られた撮影前の画像を利用して、撮像画像に対する画像処理の精度を向上させる。
【解決手段】測光センサ用画像処理部１０１はフラッシュ撮影前に得られた準備画像データの中からプリ発光が相対的に強く当たる領域を抽出し、その領域を第１の抽出画像として生成する。縮小画像生成部１０５はフラッシュ撮影により得られた撮像画像データのデータ量を小さくした縮小画像データを生成する。パターンマッチング部１０３は縮小画像と第１の抽出画像との間でパターンマッチングを行い、縮小画像から第１の抽出画像に対応する第１の対応領域を検出する。画像処理部１０７は、撮像画像データ、縮小画像データおよび第１の対応領域の情報に基づいて撮像画像にホワイトバランス処理を行う。
【選択図】図４

Description

本発明は、測光センサにより得られる情報を用いて画像処理をする撮像装置および撮像方法に関する。

従来、ファインダ内に測光センサを設けたカメラが知られている。測光センサはファインダの接眼光学系の光軸からはずれた位置に設けられるため、測光センサに結像する光は撮影レンズの光軸に対して傾斜角を有しており、測光センサと撮像素子の間には視差がある。

この視差を補正することができるカメラとして特許文献１に開示されたものが知られている。このカメラでは、ファインダから見た被写体像と撮像画像との間の視差を補正するために、被写体距離に応じて撮像素子を移動させる機構が設けられる。

特開２００４−３５４４３９号公報

このようにファインダから見た被写体像と撮像画像との間の視差をなくすためには、構造が複雑化したり所定の制御が必要となる。一方、画素数の大きな測光センサが最近開発されている。すなわち、測光センサで得られる画像は撮像素子で得られる画像ほど高精細ではないが所定のレベルで被写体を識別できる。発明者は、撮影前に測光センサによって検出される画像を利用して、撮像画像に対する画像処理の精度を向上させることを着想した。

本発明は、測光センサが設けられるカメラであって、カメラの構造を複雑にすることなく、測光センサで得られた撮影前の画像を利用して、撮像画像に対する画像処理の精度を向上させる撮像装置および撮像方法を提供することを目的としている。

本発明に係る撮影装置は、被写体の撮像画像データを取得する第１の撮像素子と、被写体の画像に対して光軸に垂直な面の方向にずれた画像である準備画像データを取得する第２の撮像素子と、撮像画像データと準備画像データを一時記憶する画像データ一時記憶手段と、撮像画像データに対して画像処理を行う画像処理手段と、撮像画像データと準備画像データから特定領域を抽出する領域抽出手段とを備え、領域抽出手段は、撮影動作の実行時に、準備画像データから特定領域を抽出して第１の抽出画像として画像データ一時記憶手段に記憶し、撮像画像データから第１の抽出画像に対応する第１の対応領域を検出し、画像処理手段は、第１の対応領域の撮像画像データに基づいて画像処理を実行することを特徴としている。

好ましくは、画像処理が、ホワイトバランス（ＷＢ）処理である。また、好ましくは、画像処理手段は、第１の対応領域については、第１の対応領域の撮像画像データに基づいて画像処理を実行し、他の領域については他の領域の撮像画像データに基づいて画像処理を実行する。また、好ましくは、画像データ一時記憶手段は、撮像画像データのＲＡＷデータと共に、ＲＡＷデータから生成される縮小画像データも併せて記憶し、領域抽出手段は、第１の抽出画像を縮小画像と比較して、第１の対応領域を検出する。

また、好ましくは、準備画像データに基づいて撮像画像取得時の露出値を求める露出制御手段をさらに備え、撮影動作の実行時に、露出制御手段により決定された露出値に基づいて撮像画像データを取得する。また、好ましくは、被写体を撮影する前に被写体に対して発光を行うプリ発光手段をさらに備え、領域抽出手段は、プリ発光手段を実行させて取得した準備画像データから第１の抽出画像を抽出する。また、好ましくは、領域抽出手段は、準備画像データから第１の抽出画像を抽出する際に、人物または動物の顔の領域を第１の抽出画像として抽出する。

また、好ましくは、準備画像データに対して光軸に垂直な面の方向にずれた画像である補助準備画像データを取得する測距センサと、準備画像データと補助準備画像データを合成した合成準備画像データを生成する画像合成手段とをさらに備え、領域抽出手段は、撮影動作の実行前に、補助準備画像データから部分領域毎の露出量である部分露出量が所定の閾値以上の領域を抽出して第２の抽出画像として画像データ一時記憶手段に記憶し、準備画像データから第２の抽出画像に対応する第２の対応領域を検出し、画像合成手段は、第２の対応領域を第２の抽出画像により置換することにより合成準備画像を生成し、領域抽出手段は、撮影動作の実行時に、合成準備画像データから特定領域を抽出して第１の抽出画像とする。

また、好ましくは、補助準備画像データに基づいて撮像画像取得時の合焦制御を行う測距センサをさらに備え、撮影動作の実行時に、測距センサにより決定された合焦制御と、測距センサにより取得された露出値に基づいて撮像画像データを取得する。また、好ましくは、可動ミラーが撮影光学系から撮像素子までの光路に配置され、可動ミラーが光路に配置された状態では、被写体像がファインダスクリーンに結像し、可動ミラーが光路から退避する状態では、被写体像が撮像素子に結像し、撮像画像データが取得され得る一眼レフの構成をさらに備え、第２の撮像素子は、ファインダスクリーンに結像した被写体像から準備画像データを取得する。

また、好ましくは、第１の撮像素子は、撮影光学系を介した被写体像が結像して撮像画像データの取得が可能であり、第２の撮像素子は、撮影光学系とは異なる測光光学系を介した被写体像により準備画像データを取得する位置に配置されている。

本発明に係る撮影方法は、被写体の撮像画像データを取得する撮像画像データ取得方法と、撮像画像データに対して光軸に垂直な面の方向にずれた画像である準備画像データを取得する準備画像データ取得方法と、撮像画像データと準備画像データを一時記憶する画像データ一時記憶方法と、撮像画像データに対して画像処理を行う画像処理方法と、撮像画像データと準備画像データから特定領域を抽出する領域抽出方法とを含み、撮影動作の実行時に、準備画像データから特定領域を抽出して第１の抽出画像として画像データ一時記憶手段に記憶し、撮像画像データから第１の抽出画像に対応する第１の対応領域を検出し、第１の対応領域の撮像画像データに基づいて画像処理を実行することを特徴としている。

本発明によれば、測光センサが設けられるカメラであって、カメラの構造を複雑にすることなく、測光センサで得られた撮影前の画像を利用して、撮像画像に対する画像処理の精度を向上させることが可能となる。

本発明の第１または第２の実施形態を適用したデジタルカメラの断面図である。 撮像素子と測光センサにそれぞれ結像した被写体像の位置ずれを示す図である。 デジタルカメラのシステム構成図である。 図３のＣＰＵにおけるホワイトバランス処理を示す概念図である。 フラッシュ撮影制御の動作を示すフローチャートである。 ホワイトバランス処理を示す図である。 パターンマッチングをしない場合のホワイトバランス処理を示す図である。 本発明の第２の実施形態に係るＣＰＵにおける画像合成処理を示す概念図である。 画像合成の処理を示すフローチャートである。 画像合成を示す図である。 パターンマッチングをしない場合の画像合成を示す図である。

以下、第１の実施形態を図面を参照して説明する。図１は一眼レフのデジタルカメラ１０すなわち撮像装置の断面図である。デジタルカメラ１０のカメラボディには、撮影光学系１１が設けられる。カメラボディ内において撮影光学系１１の光軸上には、撮像素子（第１の撮像素子）１３が設けられる。撮像素子１３は例えばＣＭＯＳである。撮影光学系１１を通った光が撮像素子１３の受光面に結像することにより、被写体の撮像画像（被写体の画像）データが得られる。撮像画像データは例えば２４００万画素のデータである。

撮影光学系１１の光軸上で、撮影光学系１１と撮像素子１３の間にはハーフミラーであるメインミラー（可動ミラー）１５が設けられる。図１に示すように、撮影待機状態においてメインミラー１５は撮影光学系１１の光軸に対して傾斜しており、撮影時には水平状態に定められる。撮影光学系１１を通った光はメインミラー１５により反射し、これによりファインダスクリーン１９に被写体像が結像する。メインミラー１５の反射面に対する裏面には、サブミラー１７が撮影光学系１１の光軸に対して傾斜状態に定められる。メインミラー１５を透過した光は、サブミラー１７において反射し、その下方に設けられた測距センサ２１に結像する。測距センサ２１は例えばＣＣＤである。

メインミラー１５において反射した光はペンタプリズム２３により接眼光学系２５に導かれる。測光センサ（第２の撮像素子）２７は接眼光学系２５よりも上方に設けられる。メインミラー１５において反射した光は測光センサ２７にも導かれ、測光センサ２７に結像する。測光センサ２７は例えばＣＣＤであるが撮像素子１３よりも画素数は少なく、例えば８万６千画素である。なお、本明細書において、撮像素子１３、測距センサ２１および測光センサ２７はともに画像を検出するための光電変換素子だが、説明の便宜のために各素子の従来の機能を示す名称で表記する。

測光センサ２７により得られる準備画像は、測光センサが接眼光学系の光軸からずれているため、撮像素子１３により得られる撮像画像に対して位置ずれがある。すなわち、測光センサ２７は撮像画像データに対して光軸に垂直な面の方向にずれた画像である準備画像データを検出する。例えば図２に示すように、撮像画像Ａ１と準備画像Ａ２では人物に合焦しているが、準備画像Ａ２は撮像画像Ａ１に対して位置ずれが生じるため、人物の足の先端が画像からはずれ、木の上方である空の画像領域が大きくなる。

準備画像Ａ２と撮像画像Ａ１との位置ずれ量は撮影光学系の条件や被写体距離によって変化する。例えばカメラに対して近くに位置する被写体である人物と遠くに位置する被写体である木とでは、準備画像Ａ２と撮像画像Ａ１における位置ずれ量は異なる。このように準備画像Ａ２と撮像画像Ａ１とでは全体的に位置ずれがあるが、この位置ずれの大きさは部分ごとに異なる。したがって準備画像Ａ２と撮像画像Ａ１との全体的な位置ずれを単純な演算によっては補正することができず、通常準備画像Ａ２を撮像画像Ａ１に利用することができない。本実施形態では準備画像が高精細であるため準備画像の一部を撮像画像の画像処理に利用している。

従来、測光センサは被写体の明るさを測定するために用いられ、被写体領域を例えば７７分割の領域に分割して測定していた。これに対して本実施形態に係る測光センサ２７は、被写体の明るさを測定するためだけでなく、ストロボ光が当たる被写体の画像領域を検出するためにも用いられる。すなわち測光センサ２７で検出される準備画像は、上述したように８万６千画素であり撮像画像よりは粗いが、従来のものに比べて多いので被写体像を検出することができる。

図３はデジタルカメラのシステム構成図を示す。撮像素子１３と測距センサ２１と測光センサ２７は信号処理部５７に設けられたメモリコントローラ５１に接続される。信号処理部５７にはＣＰＵ５５が設けられ、メモリコントローラ５１はＣＰＵ５５に接続される。メモリコントローラ５１はＳＤＲＡＭ５３に接続され、ＣＰＵ５５はフラッシュ（プリ発光手段）５９に接続される。信号処理部５７には、ＬＣＤディスプレイ６１と操作部６３とモータドライバ６５が接続され、また、メモリカード６７が着脱可能に取り付けられる。

撮像素子１３により得られる撮像画像データと測光センサ２７により得られる準備画像データは、メモリコントローラ５１に送られ、ＳＤＲＡＭ５３にＲＡＷ形式で一時的に保存される。ＬＣＤディスプレイ６１は信号処理部５７から出力される撮像画像データに基づいて撮像画像を表示する。メモリカード６７は信号処理部５７から出力される画像データを保存する。

モータドライバ６５はＣＰＵ５５からの駆動信号を入力して撮影光学系１１（図１）、メカシャッタ（図示せず）等を駆動する。操作部６３は、カメラボディに設けられるレリーズボタン、撮影モード切替ダイアル等である。操作部６３を操作することにより発生する動作指示信号がＣＰＵ５５に入力される。信号処理部５７はＳＤＲＡＭ５３に一時的に保存されたＲＡＷ形式の撮像画像データをＪＰＥＧ形式等の画像データに圧縮することができる。また信号処理部５７はメモリカード６７との間で撮像画像データの書き込みまたは読み出しを行う。ＣＰＵ５５はフラッシュ５９を制御する。

信号処理部５７は撮影前に測光センサ２７で得られた準備画像データに基づき撮像時の露出値を求める。撮影動作の実行時に、決定された露出値に基づいてモータドライバ６５、撮影光学系１１、シャッタ（不図示）が制御される。

図４はＣＰＵ５５におけるホワイトバランス処理を示す概念図である。この例において撮影はフラッシュ５９（図３参照）を発光させて行われる。測光センサ用画像処理部（領域抽出手段）１０１は撮影時にプリ発光することにより得られた準備画像データの中からプリ発光による受光量が相対的に多い領域を抽出する。また、測光センサ用画像処理部１０１は抽出した領域の画像である第１の抽出画像を生成する。第１の抽出画像はパターンマッチング部１０３に入力される。縮小画像生成部１０５は本発光により得られた撮像画像データのデータ量を小さくした縮小画像データを生成する。縮小画像データはパターンマッチング部１０３に入力される。パターンマッチング部１０３は縮小画像と第１の抽出画像との間でパターンマッチングを行い、縮小画像から第１の抽出画像に対応する第１の対応領域を検出する。第１の対応領域の情報は画像処理部１０７に入力される。なお第１の対応領域の情報には、第１の対応領域を有効に特定できたか否かも含まれる。画像処理部１０７は、撮像画像データ、縮小画像データおよび第１の対応領域の情報に基づいて撮像画像にホワイトバランス処理を行う。

図５を用いてフラッシュ撮影制御について説明する。ステップＳ１において被写体に対してプリ発光が行われる。ステップＳ２において測光センサは外光のみの場合における準備画像と、プリ発光時における準備画像を取得し、取得された２つの準備画像の各領域の部分露出量を比較する。部分露出量は各領域における露出量（輝度値）である。ステップＳ３において測光センサ用画像処理部１０１（図４参照）がステップＳ２における比較結果からプリ発光が相対的に強く当たる領域を抽出する。ステップＳ４において測光センサ用画像処理部１０１は抽出した領域の画像を第１の抽出画像として保存する。

ステップＳ５においてＣＰＵはプリ発光時に得られた準備画像に基づき本発光の光量を決定する。決定された光量に基づいてステップＳ６において本発光を行い、撮影動作が行われる。撮像動作により得られた撮像画像はステップＳ７においてＳＤＲＡＭ５３（図３参照）に保存される。ステップＳ８において縮小画像生成部１０５（図４参照）は保存された撮像画像を読み出しデータ量の小さい縮小画像を生成する。縮小画像を生成するのはパターンマッチングを行う際に小さいデータ量の画像データの方が処理負担が軽減されるからである。ステップＳ９においてパターンマッチング部１０３（図４参照）は縮小画像と第１の抽出画像との間でパターンマッチングを行う。パターンマッチングは、第１の抽出画像を縮小画像上で移動させるとともに、必要に応じて第１の抽出画像を拡大、縮小させることにより行われる。これにより縮小画像から第１の抽出画像に対応する第１の対応領域が検出される。

ステップＳ１０において画像処理部１０７（図４参照）がパターンマッチング部１０３から取得した第１の対応領域の情報に基づいて、第１の対応領域を有効に検出できたか否かを判断する。検出が有効である場合、ステップＳ１１において画像処理部１０７は、第１の対応領域については第１の対応領域の撮像画像データに基づいて、本発光が相対的に強く当たったものとしてホワイトバランス演算を行うとともに、他の領域については通常のホワイトバランス演算を行う。一方、検出が有効でない場合、ステップＳ１２において画像処理部１０７はすべての領域について通常のホワイトバランス演算を行う。ステップＳ１３において画像処理部はホワイトバランス演算の結果に基づいてホワイトバランス処理を実行する。

上述したフラッシュ撮影制御を図６を参照して、より具体的に説明する。第１の抽出画像Ａ１１は、プリ発光の前と後に測光センサにより取得された準備画像データにより得られる。プリ発光時の準備画像Ａ１２において破線枠Ａ１３の位置に第１の抽出画像Ａ１１がある。本発光が行われると、撮像素子により撮像画像が取得され、一時的にＳＤＲＡＭに保存される。撮像画像が読み出されデータ量の小さい縮小画像Ａ１４が生成され、縮小画像Ａ１４と第１の抽出画像Ａ１１との間でパターンマッチングが行われる。これにより破線枠Ａ１５により示される位置、すなわち縮小画像Ａ１４における人物の位置が第１の対応領域として検出される。また第１の対応領域に本発光が相対的に強く当たったものと仮定して第１の対応領域についてホワイトバランス演算を行うとともに、その他の領域については通常のホワイトバランス演算が行われる。これにより領域毎にホワイトバランス係数が決定される。このホワイトバランス係数に基づいて撮像画像Ａ１６にホワイトバランス処理が実行される。

このように本実施形態では、準備画像により抽出された第１の抽出画像に対応する撮像画像における領域をパターンマッチングにより検出し、この領域を第１の対応領域とする。すなわち、準備画像により取得された特定の領域に関する情報を撮像画像のホワイトバランス処理に利用できる。例えば、フラッシュのプリ発光が届かない領域には通常のホワイトバランス処理を施し、フラッシュ光のプリ発光が届く特定領域にはフラッシュの本発光が当たったものとしてホワイトバランス処理を施すことが可能となる。

これに対して、パターンマッチングを行わない場合について図７を用いて説明する。なお図６と同じ符号は同じものを示すため説明を省略する。撮像画像のデータ量を小さくした縮小画像Ａ２１と準備画像Ａ１２とでは位置ずれがあるため、破線枠Ａ１３の位置に人物が存在するという情報を縮小画像Ａ２１にそのまま適用すると破線枠Ａ２２の位置に人物が存在することになる。破線枠Ａ２２は人物の位置から下方にずれている。この誤った情報に基づきホワイトバランス処理を行うと撮像画像Ａ２３の斜線部Ａ２４で示されるように、顔の領域と手足の先端近傍においてホワイトバランス処理の精度が低下する。

図８は第２の実施形態に係るＣＰＵ２０１における画像合成処理を示す概念図である。測距センサ用画像処理部（領域抽出手段）２０３には測距センサ２１（図３参照）で取得された補助準備画像データが入力される。測距センサ２１は例えばＣＣＤであり、その画素数は測光センサ２７（図３参照）と同様に例えば８万６千画素である。補助準備画像は、準備画像に対して光軸に垂直な面の方向にずれた画像である。また、測光センサ２７が取得した準備画像に白飛びがある場合に、その画像の領域が白飛びのない補助準備画像に置換される。これは通常測距センサ２１の方が測光センサ２７よりもダイナミックレンジが広いことを利用している。

測距センサ用画像処理部２０３は補助準備画像データの中で、部分露出量が閾値Ｙｔｈ以上の画像領域がある場合、その画像領域を第２の抽出画像として抽出する。抽出された第２の抽出画像の情報はパターンマッチング部２０５に入力される。パターンマッチング部２０５はＳＤＲＡＭに一時的に保存された準備画像データを読み出し、準備画像と第２の抽出画像との間でパターンマッチングを行い、準備画像から第２の抽出画像に対応する第２の対応領域を検出する。第２の対応領域の情報は画像合成部（画像合成手段）２０７に入力される。画像合成部２０７は、準備画像における第２の対応領域を第２の抽出画像により置換することで準備画像と補助準備画像との画像合成処理を行う。

図９を用いて合成準備画像生成処理について説明する。ステップＳ１０１において測距センサは補助準備画像を取得する。ステップＳ１０２において、測距センサ用画像処理部２０３（図８参照）は補助準備画像の中から、部分露出量が閾値Ｙｔｈ（例えばＹｔｈ＝１２Ｅｖ）以上の画像領域を抽出する。ステップＳ１０３において、測距センサ用画像処理部２０３は抽出した領域の画像を第２の抽出画像として保存する。

ステップＳ１０４においてパターンマッチング部２０５（図８参照）は準備画像と第２の抽出画像との間でパターンマッチングを行う。パターンマッチングは、第２の抽出画像を準備画像上で移動させるとともに、必要に応じて第２の抽出画像を拡大、縮小させることにより行われる。これにより準備画像から第２の抽出画像に対応する第２の対応領域が検出される。

ステップＳ１０５において、画像合成部２０７（図８参照）はパターンマッチング部２０５から取得した第２の対応領域の情報に基づいて、第２の対応領域を有効に検出できたか否かを判断する。検出が有効である場合、ステップＳ１０６において、画像合成部２０７は準備画像における第２の対応領域を第２の抽出画像で置換するように画像合成処理を行う。一方、検出が有効でない場合、ステップＳ１０７において画像合成部２０７は後述する通常の画像合成処理を行う。

上述した画像合成処理を図１０を参照して、より具体的に説明する。測距センサにより取得された補助準備画像Ａ３１には、部分露出量が相対的に低い領域（人物と木の領域）Ａ３２と、部分露出量が相対的に高い領域（空と雲と地面の領域）Ａ３３とがある。領域Ａ３３の部分露出量が閾値Ｙｔｈ以上の場合、領域Ａ３３が第２の抽出画像として抽出され、測距センサ用画像処理部２０３（図８参照）に保存される。一方、補助準備画像Ａ３１と同時に測光センサにより取得される準備画像Ａ３４にも、部分露出量が相対的に低い領域（人物と木の領域）Ａ３５と部分露出量が相対的に高い領域（空と地面の領域）Ａ３６がある。しかし領域Ａ３６には、補助準備画像Ａ３１における領域Ａ３３のように本来雲が写っているはずであるが、白飛びしているために雲が写っていない。白飛びしている領域を検出するために、準備画像Ａ３４と第２の抽出画像との間でパターンマッチングが行われる。これにより準備画像Ａ３４における領域Ａ３６が第２の対応領域として検出される。次に、第２の対応領域において白飛びしたものと仮定して、第２の対応領域を第２の抽出画像により置換するように準備画像と補助準備画像を合成する。これにより合成準備画像Ａ３７が生成される。

一方、露出値を変化させて複数の撮像画像を取得し、それらの複数の撮像画像を合成してダイナミックレンジの広い合成撮像画像を取得する技術がある。本実施形態では、これらの複数回の撮影時における露出値を決定するために、準備画像データに基づいて算出される露出値と補助準備画像データに基づいて算出される露出値を用いる。例えば、図１０の準備画像Ａ３４に基づいて露出値がＥｖ＝１０と算出され、補助準備画像Ａ３１に基づいて露出値がＥｖ＝５と算出される。この場合、露出値をＥｖ＝５とした場合とＥｖ＝１０とした場合の２回の撮影を行い、撮影により取得された２つの撮像画像が合成される。

このように本実施形態では、補助準備画像により抽出された第２の抽出画像に対応する準備画像における領域をパターンマッチングにより検出し、この領域を第２の対応領域とする。これにより、白飛び等の異常が発生した第２の対応領域を異常のない第２の抽出画像により置換するように合成準備画像生成処理を行うことができる。例えば、準備画像において空の領域に白飛びが発生した場合に、補助準備画像における白飛びの発生していない部分画像により準備画像における空の画像領域を置換することにより、白飛びが発生していない合成準備画像が得られる。よって、準備画像よりもダイナミックレンジの広い合成準備画像が撮影前に得られる。

また、撮影前に取得された合成準備画像を、第１の実施形態における準備画像として用いることができる。これは露出値を変化させて複数の撮像画像を取得し、取得された複数の撮像画像を合成した合成撮像画像を生成する場合に特に有効である。すなわち、ダイナミックレンジの異なる２つのセンサにより得られた２つの露出値を用いて２回の撮影が行われるため、撮影前に得られた合成準備画像と撮影後に得られた合成撮像画像のダイナミックレンジが同等である。これにより第１の実施形態における第１の対応領域をパターンマッチングにより検出することが容易になる。

一方、補助準備画像と準備画像との間でパターンマッチングを行わない場合について図１１を用いて説明する。なお図１０と同じ符号は同じものを示すため説明を省略する。準備画像Ａ３４における領域Ａ３６において部分露出量が閾値Ｙｔｈ以上である場合、領域Ａ３６に対応する位置である領域Ａ４１の画像データで置換することになる。しかし、準備画像Ａ３４と補助準備画像Ａ３１とでは位置ずれがあるため、準備画像Ａ３４と補助準備画像Ａ３１とを合成した合成準備画像Ａ４２では、斜線部Ａ４３で示されるように、空の領域における木に隣接する部分や雲の上方の領域において画像合成の精度が低下する。

以上が本発明の実施形態の説明である。なお、第１の実施形態においてホワイトバランス処理について説明したが、他の画像処理にも本発明を適用できる。本発明を適用できる他の画像処理は例えば、白飛びや黒潰れを軽減する諧調補正処理や、ホワイトバランスを変えずに色再現を修正する場合の処理等である。また、第１の実施形態ではプリ発光により特定領域が抽出されたが、人物または動物の顔の領域を第１の抽出画像として抽出してもよい。顔の領域を抽出することは、撮像素子でも取得が可能であるが、撮影前に測光センサで顔の領域を抽出することにより、撮影後のデータ処理を迅速に行うことが可能となる。

また、図１に示されるように、第１の実施形態では測光センサ２７が接眼光学系２５よりも上方に設けられたが、測光センサ２７が接眼光学系２５の側方に設けられる場合もある。この場合、測光センサにより取得される準備画像と撮像素子により取得される撮像画像との間の位置ずれが左右方向に生じる。

また、図２の説明において、被写体距離によって位置ずれ量が変化することを説明したが、例えば人物に合焦する場合と木に合焦する場合との間でも、準備画像Ａ２と撮像画像Ａ２における画像全体の位置ずれの大きさは異なる。なお通常、準備画像の画角は撮像画像の画角の８割程度であり、撮像画像における周囲部分の被写体像は測光センサには結像しない。また通常、補助準備画像の画角は撮像画像の画角の６、７割程度である。また本明細書に添付した図面では説明の便宜上画角を考慮していない。

また、第２の実施形態において、測距センサは、補助準備画像における多点、すなわち面領域あるいは面方向の多点で合焦のための画像取得が可能である。また、閾値は、白飛びのみならず黒潰れを考慮して、閾値Ｙｔｈ１以上または閾値Ｙｔｈ２以下と設定してもよい。

また本明細書では一眼レフカメラについて説明したが、コンパクトデジタルカメラにも本発明は適用できる。この場合、撮像素子は、撮影光学系を介した被写体像が結像することにより撮像画像データの取得が可能であり、測光センサは、撮影光学系とは異なる測光光学系を介した被写体像により準備画像データを取得する位置に配置されている。

１０ デジタルカメラ
１１ 撮影光学系
１３ 撮像素子（第１の撮像素子）
１９ ファインダスクリーン
２１ 測距センサ
２５ 接眼光学系
２７ 測光センサ（第２の撮像素子）
５３ ＳＤＲＡＭ
５５、２０１ ＣＰＵ
５７ 信号処理部
５９ フラッシュ
６３ 操作部
１０１ 測光センサ用画像処理部
１０３、２０５ パターンマッチング部
１０５ 縮小画像生成部
１０７ 画像処理部
２０３ 測距センサ用画像処理部
２０７ 画像合成部
Ａ１、Ａ１６、Ａ２３ 撮像画像
Ａ２、Ａ１２、Ａ３４ 準備画像
Ａ１１ 第１の抽出画像
Ａ１４、Ａ２１ 縮小画像
Ａ３１ 補助準備画像
Ａ３７、Ａ４２ 合成準備画像

Claims (12)

1. 被写体の撮像画像データを取得する第１の撮像素子と、
   前記被写体の画像に対して光軸に垂直な面の方向にずれた画像である準備画像データを取得する第２の撮像素子と、
   前記撮像画像データと前記準備画像データを一時記憶する画像データ一時記憶手段と、
   前記撮像画像データに対して画像処理を行う画像処理手段と、
   前記撮像画像データと前記準備画像データから特定領域を抽出する領域抽出手段とを備え、
   前記領域抽出手段は、撮影動作の実行時に、前記準備画像データから特定領域を抽出して第１の抽出画像として前記画像データ一時記憶手段に記憶し、前記撮像画像データから前記第１の抽出画像に対応する第１の対応領域を検出し、
   前記画像処理手段は、前記第１の対応領域の撮像画像データに基づいて画像処理を実行することを特徴とする撮像装置。
2. 前記画像処理が、ホワイトバランス（ＷＢ）処理であることを特徴とする請求項１に記載の撮像装置。
3. 前記画像処理手段は、前記第１の対応領域については、前記第１の対応領域の撮像画像データに基づいて画像処理を実行し、他の領域については他の領域の撮像画像データに基づいて画像処理を実行することを特徴とする請求項１または請求項２に記載の撮像装置。
4. 前記画像データ一時記憶手段は、前記撮像画像データのＲＡＷデータと共に、前記ＲＡＷデータから生成される縮小画像データも併せて記憶し、
   前記領域抽出手段は、前記第１の抽出画像を前記縮小画像と比較して、前記第１の対応領域を検出することを特徴とする請求項１から請求項３のいずれかに記載の撮像装置。
5. 前記準備画像データに基づいて前記撮像画像取得時の露出値を求める露出制御手段をさらに備え、
   撮影動作の実行時に、前記露出制御手段により決定された露出値に基づいて前記撮像画像データを取得することを特徴とする請求項１から請求項４のいずれかに記載の撮像装置。
6. 被写体を撮影する前に被写体に対して発光を行うプリ発光手段をさらに備え、
   前記領域抽出手段は、前記プリ発光手段を実行させて取得した前記準備画像データから前記第１の抽出画像を抽出することを特徴とする請求項１から請求項５のいずれかに記載の撮像装置。
7. 前記領域抽出手段は、前記準備画像データから前記第１の抽出画像を抽出する際に、人物または動物の顔の領域を第１の抽出画像として抽出することを特徴とする請求項１から請求項６のいずれかに記載の撮像装置。
8. 前記準備画像データに対して光軸に垂直な面の方向にずれた画像である補助準備画像データを取得する測距センサと、
   前記準備画像データと前記補助準備画像データを合成した合成準備画像データを生成する画像合成手段とをさらに備え、
   前記領域抽出手段は、撮影動作の実行前に、前記補助準備画像データから部分領域毎の露出量である部分露出量が所定の閾値以上の領域を抽出して第２の抽出画像として前記画像データ一時記憶手段に記憶し、前記準備画像データから前記第２の抽出画像に対応する第２の対応領域を検出し、
   前記画像合成手段は、前記第２の対応領域を前記第２の抽出画像により置換することにより前記合成準備画像を生成し、
   前記領域抽出手段は、撮影動作の実行時に、前記合成準備画像データから特定領域を抽出して前記第１の抽出画像とすることを特徴とする請求項１から６のいずれかに記載の撮像装置。
9. 前記補助準備画像データに基づいて前記撮像画像取得時の合焦制御を行う測距センサをさらに備え、
   撮影動作の実行時に、前記測距センサにより決定された合焦制御と、前記測距センサにより取得された露出値に基づいて前記撮像画像データを取得することを特徴とする請求項８に記載の撮像装置。
10. 前記可動ミラーが撮影光学系から前記撮像素子までの光路に配置され、前記可動ミラーが前記光路に配置された状態では、被写体像がファインダスクリーンに結像し、前記可動ミラーが前記光路から退避する状態では、被写体像が前記撮像素子に結像し、前記撮像画像データが取得され得る一眼レフの構成をさらに備え、
    前記第２の撮像素子は、前記ファインダスクリーンに結像した被写体像から前記準備画像データを取得することを特徴とする請求項１から請求項９のいずれかに記載の撮像装置。
11. 前記第１の撮像素子は、撮影光学系を介した被写体像が結像して前記撮像画像データの取得が可能であり、
    前記第２の撮像素子は、前記撮影光学系とは異なる測光光学系を介した被写体像により前記準備画像データを取得する位置に配置されていることを特徴とする請求項１から請求項９のいずれかに記載の撮像装置。
12. 被写体の撮像画像データを取得する撮像画像データ取得方法と、
    前記撮像画像データに対して光軸に垂直な面の方向にずれた画像である準備画像データを取得する準備画像データ取得方法と、
    前記撮像画像データと前記準備画像データを一時記憶する画像データ一時記憶方法と、
    前記撮像画像データに対して画像処理を行う画像処理方法と、
    前記撮像画像データと前記準備画像データから特定領域を抽出する領域抽出方法とを含み、
    撮影動作の実行時に、前記準備画像データから特定領域を抽出して第１の抽出画像として前記画像データ一時記憶手段に記憶し、前記撮像画像データから前記第１の抽出画像に対応する第１の対応領域を検出し、
    前記第１の対応領域の撮像画像データに基づいて画像処理を実行することを特徴とする撮像方法。

Images